[고든 정의 TECH+] 인공지능 게임 성능 향상 기술의 화룡점정 – 엔비디아 DLSS 3.5 공개

최근 인공지능 하드웨어의 핵심인 GPU 시장을 거머쥔 엔비디아에 대한 관심이 뜨겁습니다. 엔비디아는 반도체 업계 최초로 시총 1조 달러를 달성한 후 최근 계속 어닝 서프라이즈를 기록하면서 승승장구하고 있습니다.

그런데 사실 인공지능 이전에 GPU는 본래 게임이 주목적이었습니다. 전문 그래픽 작업을 위한 쿼드로 같은 별도의 시장이 있기는 했지만, 엔비디아의 젠슨 황 CEO가 연산 목적의 GPGPU와 CUDA에 힘을 주기 전까지 엔비디아는 게임 하드웨어 회사라고 해도 과언이 아니었습니다. 

그렇기 때문에 엔비디아가 게임 성능 향상을 위해 인공지능을 적극적으로 활용한다는 사실은 지극히 당연해 보입니다. 엔비디아는 2018년 RTX 2000 시리즈를 공개할 때 GPU와 통합된 인공지능 연산 유닛인 텐서 코어를 이용한 DLSS (Deep Learning Super-Sampling, 딥 러닝 슈퍼 샘플링)을 대대적으로 홍보했습니다. 

인공지능을 이용해서 저해상도 이미지를 고해상도 이미지처럼 업스케일링 하는 기술은 이미 당시에도 개발되어 있었습니다. DLSS는 게임에서 인공지능으로 고해상도 이미지를 학습한 다음 실제로는 저해상도로 그래픽을 출력한 후 여기에 인공지능 학습으로 추론한 고해상도 이미지를 추가하는 방식으로 이뤄집니다. 영상이나 사진의 인공지능 이미지 품질 향상 기능을 게임에서 활용한 것입니다. 

이 작업은 GPU 연산 유닛이 아니라 텐서 코어라는 별도의 연산 유닛에서 이뤄지기 때문에 GPU에 부하가 없고 저해상도로 이미지를 출력하므로 게임 화면의 초당 프레임을 높일 수 있습니다.

예를 들어 본래는 4K 해상도에서 초당 20 프레임도 안 되는 답답한 화면이 나오는데 DLSS를 적용하면 이보다 해상도가 25%인 풀HD 영상으로 60 프레임으로 출력한 후 마치 4K 해상도처럼 보이게 할 수 있습니다. 

하지만 실제로 DLSS는 1.0 버전까지 불안정한 기술이었고 지원하는 게임도 제한적이었습니다. 일부 지원하는 게임에서도 이미지 품질 향상 기술인 안티 앨리어싱과 충돌하거나 이미지가 뭉개지거나 깨지는 현상이 나타났습니다.  그러다가 DLSS 2.0에서 보다 쓸만한 기술이 되어 이미지 품질이 상당히 높아졌습니다. 저해상도에서 4K 고해상도 이미지를 추론하는 DLSS 슈퍼 레졸루션 (SR, Super Resolution) 기능이 RTX 3000 그래픽 카드에서 지원하는 DLSS 2.0에서 어느 정도 완성이 된 것입니다. 하지만 엔비디아는 여기서 한 가지 더 트릭을 생각해 냈습니다. 

RTX 4000 시리즈와 함께 공개된 DLSS 3.0은 프레임 생성 (FG, Frame Generation)이라는 신기술을 도입했는데, 이는 인공지능으로 각 영상 프레임 간의 중간 이미지를 넣어 더 부드러운 움직임과 화면 전환을 구현한 것입니다. 예를 들어 30 초당 화면이 30번 바뀌는 영상 사이사이에 인공지능으로 만든 중간 화면을 넣어 초당 60회 화면이 바뀌면 인간의 눈으로 봤을 때 영상이 훨씬 부드러워 보입니다. 

여기에 더해 엔비디아는 최근 게임스컴 2023에서 DLSS 3.0을 더 개선한 DLSS 3.5를 공개했습니다. DLSS 3.5의 핵심은 GPU의 자원을 덜 소모하면서 현실적인 광원 효과를 보여주는 광선 재구성 (RR, Ray Reconstruction) 기술입니다. 

사물이나 환경이 진짜처럼 보이기 위해서는 빛에 따른 반사나 그림자, 광원에 따른 명암 등이 실제처럼 표현되어야 합니다. 엔비디아의 RTX GPU들은 실시간 레이 트레이싱을 지원해 게임에서 현실적인 사물의 질감과 주변 환경을 보여줍니다. 하지만 이는 엄청난 GPU 성능을 요구해 게임 프레임을 떨어뜨리는 원인이었습니다. 

DLSS는 광선 효과의 인공지능 처리를 위해서 과거엔 수작업으로 처리하는 노이즈 제거 (Denoiser) 방식을 사용했습니다. 하지만 이 방법은 일부 픽셀을 잃어버려 이미지가 뭉개지거나 반대로 존재하는 사물이 나타나는 고스팅 현상을 일으킬 수 있었습니다.

광선 재구성 기술은 레이 트레이싱을 완벽히 보완하는 인공지능 이미지 품질 향상 기술로 게임 프레임을 희생시키지 않으면서 고품질의 레이 트레이싱 영상을 실시간으로 보여줄 수 있습니다. 

엔비디아는 사이버펑크 2077을 기준으로 DLSS를 적용하지 않았을 때, DLSS 슈퍼 레졸루션 (SR) 적용, DLSS 슈펴 레졸루션 (SR) + 프레임 생성 (FG), DLSS 슈펴 레졸루션 (SR) + 프레임 생성 (FG) + 광선 재구성 (RR) 기능을 적용한 결과물을 차례로 보여줬습니다.

그 결과 본래 초당 20프레임에 불과한 영상이 5배가 넘는 초당 108프레임으로 증가하고 이미지 품질도 개선되는 결과를 보여줬습니다. 레이 트레이싱까지 확장한 DLSS 3.5를 인공지능 게임 성능 향상의 화룡점정이라고 불러도 손색이 없는 이유입니다. 

물론 DLSS 3.5를 지원하는 게임은 초기엔 사이버펑크 2077를 포함해 몇 개 없습니다. 하지만 대부분의 게이밍 그래픽 카드가 엔비디아 제품인 점을 생각하면 DLSS이 표준으로 보급되는 것은 시간문제입니다. 

DLSS 3.5 지원 게임이 늘어나면 인공지능 적용 전 게임 성능에서도 엔비디아의 적수가 되기 어려운 AMD의 라데온이나 인텔 아크와의 성능 차이는 더 벌어질 가능성이 높아졌습니다. 하지만 이렇게 한 회사가 시장을 장악하는 것은 사실 소비자에게 좋지 못한 결과를 가져옵니다. 독점 기업은 대부분 가격을 인상하기 때문입니다.

실제 엔비디아 GPU의 가격은 인공지능 및 데이터 센터 부분만이 아니라 게이밍 부분도 치솟고 있습니다. 두 회사가 DLSS를 견제할 비장의 무기를 선보여야 하는 이유입니다. 

고든 정 과학 칼럼니스트 jjy0501@naver.com