DLSS(Deep Learning Super-Sampling)
현대의 게임에선, 렌더링된 프레임을 즉시 화면에 표시하는 대신에 여러개의 렌더링된 이미지 입력을 결합하여 이미지 개선 후처리를 통해 앨리어싱과 같은 비주얼 아티팩트(왜곡 현상)들을 이미지의 디테일을 보존하면서 제거할려고 시도합니다.
그 예로, Temporal Anti-Aliasing(TAA) 가 있는데. TAA는 이전 프레임이 어디에 샘플링 되어야 할지 결정하는 모션 벡터들을 사용해 두개의 프레임을 결합하는 셰이더 기반 알고리즘입니다.
이 기법은 오늘날에 가장 일반적으로 사용되는 이미지 향상 알고리즘 중 하나입니다. 하지만, 이러한 이미지 개선 프로세스는 기본적으로 제대로 처리되기가 어렵습니다.
엔비디아의 연구자들은 이러한 타입의 문제를 인지하였습니다 - 깔끔한 알고리즘적 해결방안이 없는 이미지 분석 그리고 최저화 문제 => AI를 위한 완벽한 응용. 이 문서의 앞부분에서 말했듯이, 이미지 프로세싱 사례들(예를 들어 ImageNet)의 경우 딥러닝의 응용 분야중에서도 가장 성공적입니다.
딥 러닝은 현재 이미지의 픽셀들을 보고 그것이 개인지, 고양이인지, 새인지 등등.. 인지 할수 있는 초인적인(?) 능력을 가지고 있습니다. DLSS의 경우엔 픽셀들을 보고 렌더링된 이미지들을 결합하여 고 퀄리티의 결과물을 만들어 내는것이 목표지요. - 서로 다른 목적을 가지지만 이 들은 비슷한 능력입니다.
우리는 위의 문제를 풀기위해 개발된 딥 뉴럴 네트워크(DNN)를 딥 러닝 슈퍼 샘플링(DLSS)이라고 부릅니다. DLSS는 주어진 입력 샘플 셋을 통해 TAA 보다 훨씬 뛰어난 퀄리티의 결과물을 만들어냅니다.
또한 우리는 이 기능을 사용하여 전반적인 성능을 향상시킵니다.
TAA는 최종 목표 해상도에서 렌더링한후에 두 프레임을 결합하고 세부 사항을 빼는 반면, DLSS를 사용하면 적은수의 샘플들을 빠르게 렌더링한후에 목표 해상도를 가지는 TAA와 비슷한 퀄리티의 결과물을 유추해냅니다.
하지만 TAA 보다 대략 절반의 셰이딩 작업만 합니다.
Figure 22번은 UE4 Infiltrator 데모의 샘플링 결과물을 보여줍니다.
여기서 DLSS는 TAA와 비슷한 이미지 퀄리티를 더욱 향상된 성능(퍼포먼스)에서 제공합니다.
RTX 2080 Ti의 더 빠른 깡 렌더링 마력과 DLSS와 텐서 코어들을 이용한 성능 향상의 결합으로 RTX 2080 Ti는 GTX 1080 Ti보다 2배 더 좋은 퍼포먼스를 달성할 수 있게되었습니다.
- Figure 22. 튜링 아키텍쳐에서의 4K DLSS는 파스칼 아키텍쳐에서의 4K TAA보다 2배 더 빠릅니다.
이 결과의 핵심은 DLSS를 학습시키는 과정에 있으며, 이 과정에서 DLSS는 엄청 나게 많은 수의 슈퍼-고-퀄리티 예제들을 기반으로 원하는 퀄리티의 아웃풋을 생성합니다.
이 네트워크를 훈련시키기 위해선, 렌더링된 완벽한 퀄리티의 이미지를 위한 표준 기법(64X SuperSampling)을 이용해 렌더링된 수천장의 "ground truth" 레퍼런스 이미지들을 수집하였습니다. (ground truth = 참값, 실제값, 실제 결과물) 64x Supersampling은 한 픽셀당 한번의 셰이딩 연산을 하는대신 픽셀 안에서 서로 다른 오프셋을 가지는 64개의 샘플들의 색상값을 연산하여 결과물로 결합시켜 이상적인 디테일과 안티 앨리어싱 품질을 가진 이미지 결과물을 생성합니다.
또한 정상적으로 렌더링 된 일치하는 원시 입력 이미지를 캡처합니다.
다음으로, 우리는 각 입력을 64xSS(64x Super Sampling) 출력 프레임과 매치시키기 위해 DLSS 네트워크를 훈련시킵니다, DLSS가 출력물을 생성하도록 하고 이 출력물과 64xSS 목표 결과물과의 차이를 측정한후 이 차이를 기반으로 네트워크의 가중 치를 조정 하도록 합니다.
(이러한 작업을 back propagation 이라고 부릅니다.) 수많은 반복 끝에, DLSS는 64xSS의 퀄리티에 근접하는 결과물을 어떻게 만드는지와 TAA와 같은 전통적인 접근법에서 나타났던 Blurring, Disocclusion, 그리고 transparency 에 영향을 주는 문제들을 어떻게 회피할지에 대해 배우게됩니다.
추가적으로 위에서 설명했던 DLSS의 기능들은 표준 DLSS 모드에 대한것입니다. 우리는 표준 모델뿐만아니라 DLSS 2X라 부르는 두번째 모드도 제공하는데.
이경우 TAA가 아니라 64x Super Sampling을 통해 렌더링된 결과물 수준까지 근접시키기 위해 DLSS는 입력으로 최종 목표 해상도로 뢴더링된 이미지를 받은후에 더 큰 DLSS 네트워크를 통해 결합됩니다. (이 정도의 결과물은 어떠한 전통적인 방법으로도 실시간으로 얻는것이 불가능 했습니다) Figure 23번에서 DLSS 2X 모드의 작업이, 64x super-sampled 레퍼런스 이미지의 퀄리티에 거의 근접한 수준의 이미지 퀄리티를 제공하는것을 볼수있습니다.
- Figure 23. DLSS 2X vs 64x SS 이미지, 이 둘은 매의 눈이 아닌이상 구분하기 어려워 보입니다.
마지막으로, Figure 24번의 그림에서는 멀티 프레임 이미지 개선에 있어 까다로운 사례중 하나를 보여줍니다. 이 경우 반투명 화면이 다르게 움직이는 배경 위에 떠있습니다. TAA는 움직이는 오브젝트의 모션 벡터를 맹목적으로 따르는 경향이 있어 화면상의 세부 정보들을 흐리게 만들어 버립니다. DLSS는 씬(Scene) 안에서의 변화를 더욱 복잡하게 인식하고 입력물을 더 지능적으로 결합하는 방식으로 이러한 블러링 문제를 회피합니다.
- Figure 24, DLSS 2X는 TAA 보다 상당히 나은 Temporal Stability와 이미지 명확성을 제공합니다.
