DLSS 5, NBA 2K27로 첫 실전 데뷔 — 논란에서 호평으로

엔비디아의 차세대 그래픽 기술 DLSS 5가 첫 실전 데뷔전을 치렀다. 무대는 NBA 2K27이었다. 출시 시점은 9월 3일 오후 9시(태평양시), 지원 대상은 지포스 RTX 50 시리즈와 지포스 나우 얼티메이트로 한정됐다. 겉보기엔 평범한 출시였다. 하지만 이 기술은 반년 넘게 'AI 슬롭' 낙인과 씨름해왔고, 정식 출시 며칠 전에는 파일이 통째로 유출되는 사고까지 겹쳤다. 농구 게임 하나로 조용히 시작했다고 보기엔, 그 앞뒤 사정이 지나치게 파란만장하다.

9월 3일, 농구 게임으로 시작된 데뷔전

영상: NVIDIA GeForce 유튜브 채널

DLSS 5는 9월 3일 오후 9시(태평양시), NBA 2K27 전 세계 출시와 동시에 켜졌다.

지원 대상은 명확히 선이 그어져 있었다. 지포스 RTX 50 시리즈 데스크톱·노트북과, RTX 5080 사양으로 서비스되는 지포스 나우 얼티메이트뿐이었다.

기능을 쓰려면 같은 날 함께 배포된 지포스 게임 레디 드라이버 616.64도 필요했다.

숫자만 보면 조용한 기능 추가처럼 보인다. 그런데 이 기술은 3월 GTC에서 처음 공개된 순간부터 논란에 시달려왔다.

레지던트 이블 레퀴엠과 스타필드 시연 영상에서 캐릭터 얼굴이 부자연스럽게 바뀌었다는 지적이 쏟아졌고, 여기에 'AI 슬롭'이라는 이름이 붙었다.

정식 출시를 코앞에 두고는 파일이 유출되는 사고까지 벌어졌다. 모더들이 정식 배포 전에 먼저 뜯어보는 초유의 상황이 펼쳐진 것이다.

그 소란스러운 반년을 거쳐, DLSS 5는 결국 농구 코트 위에서 첫 실전을 치렀다.

기존 DLSS와는 완전히 다른 층위의 기술

영상: NVIDIA GeForce 유튜브 채널

DLSS라는 이름을 쓰지만, DLSS 5는 지금까지의 업스케일링·프레임 생성 기술과 작동하는 층위 자체가 다르다.

기존 DLSS는 해상도를 다뤘다. 낮은 해상도로 그린 프레임을 AI가 확대·보정하거나, 중간 프레임을 새로 만들어 끼워 넣는 방식이었다.

DLSS 5의 핵심인 '3D-가이드 뉴럴 렌더링(3D-Guided Neural Rendering)'은 전혀 다른 자리에서 작동한다.

렌더링 파이프라인의 맨 끝, 그러니까 게임 엔진이 프레임을 다 그린 직후에 얹히는 생성형 AI 단계다.

지오메트리, 즉 캐릭터와 사물의 3차원 형상은 건드리지 않는다. 대신 조명, 재질, 그림자만 다시 그린다.

입력값은 게임의 컬러 프레임과 모션 벡터다. AI 모델이 이를 받아 포토리얼한 조명·재질 반응을 만들어내되, 원본 3D 장면에 계속 고정(anchored)된 상태를 유지한다.

기반 기술은 원-스텝 픽셀 공간 디퓨전 모델(one-step pixel-space diffusion model)이다. 고해상도 실시간 렌더링에 맞춰 설계됐다.

신경망이 게임 엔진의 지오메트리·모션 벡터·텍스처에 직접 고정돼 있다는 점이 중요하다. 매 프레임을 새로운 프롬프트처럼 취급하지 않기 때문에, 프레임 사이가 매끄럽게 이어지는 시간적 안정성(temporal stability)을 유지할 수 있다.

머리카락, 천, 반투명 피부, 조명 방향처럼 미묘한 요소까지 이해하도록 훈련됐다. 피부 속에서 빛이 산란하는 효과, 자연스러운 머리카락 하이라이트, 선명한 접촉 그림자 같은 디테일이 여기서 나온다.

카메라 움직임, 지오메트리, 애니메이션, 오브젝트 배치, 상호작용, 기본 재질과 렌더링 색상은 여전히 게임 엔진의 몫이다. AI는 그 위에 다시 칠하는 역할만 한다 — 적어도 엔비디아의 설명으로는 그렇다.

실제 리뷰에서도 이 특성이 드러났다. 구루3D는 DLSS 5의 효과가 클로즈업이나 리플레이 화면에서는 뚜렷하지만, 카메라가 멀어지는 일반 플레이 화면에서는 상대적으로 은은해진다고 평가했다.

'AI 슬롭' 낙인이 찍힌 이유

DLSS 5가 처음 공개됐을 때 반응은 뜨거웠다. 다만 방향이 좋지 않았다.

3월 GTC 시연에서 엔비디아는 레지던트 이블 레퀴엠과 스타필드를 통해 기술을 보여줬는데, 시청자들이 가장 먼저 알아챈 건 캐릭터 얼굴이었다.

레온 S. 케네디와 그레이스 애쉬크로프트의 얼굴이 매끈하고 번들거리게 바뀌어, 마치 뷰티 필터를 씌운 것 같다는 지적이 쏟아졌다.

인터넷은 이 현상에 '야시파이드(yassified)'라는 이름을 붙였다.

공개 영상에서 가장 많은 공감을 얻은 댓글은 결과물을 AI 생성 이미지에 비유했고, 또 다른 댓글은 "이제 모든 게 유튜브 섬네일처럼 보인다"고 꼬집었다.

게이머스 넥서스는 그레이스의 달라진 얼굴을 두고 "다른 나라의 노인을 속이는 데 쓰이는 AI 생성 소개팅 사진" 같다며, "캐릭터도 영혼도 없다"고 혹평했다.

비판의 핵심은 단순한 호불호가 아니었다. 개발사가 공들여 만든 아트 디렉션을 AI가 임의로 바꿔버린다는 우려였다. 그렇게 'AI 슬롭'이라는 낙인이 따라붙었다.

흥미로운 건 캡콤의 반응이었다. 레지던트 이블 레퀴엠 프로듀서 쿠마자와 마사토는 "그건 우리가 디자인을 제대로 만들었다는 뜻이었다. 그레이스의 디자인에 대해 사람들이 그만큼 강한 의견을 가졌다는 건, 그녀가 그만큼 빠르게 팬들이 아끼는 캐릭터로 자리 잡았다는 뜻이니까"라고 말했다. 개발사는 이 반발을 오히려 스스로에 대한 증명으로 받아들인 셈이다.

젠슨 황 "그들은 완전히 틀렸다"

이 반발에 가장 강하게 맞선 사람은 엔비디아의 최고경영자 젠슨 황이었다.

GTC 현장에서 톰스하드웨어 편집장 폴 알콘과의 질의응답 도중, 그는 비판자들을 겨냥해 원문 그대로 옮기면 "음, 우선 그들은 완전히 틀렸다(Well, first of all, they're completely wrong)"고 잘라 말했다.

논지는 명확했다. "이건 후처리가 아니다. 프레임 단위의 후처리가 아니라, 지오메트리 레벨에서의 생성형 제어다." DLSS 5는 지오메트리와 텍스처를 포함한 게임의 모든 요소를 생성형 AI와 결합하는데, "그 전부는 게임 개발자의 직접적인 통제 아래 있다"는 게 그의 설명이었다.

다시 말해, 얼굴이 다르게 보인다면 그건 AI가 제멋대로 그린 결과가 아니라 개발사가 설정을 조정한 결과라는 취지다.

젠슨 황은 DLSS 5를 두고 "그래픽의 GPT 모먼트"라는 표현도 썼다. "손으로 만든 렌더링과 생성형 AI를 결합해 시각적 사실성을 크게 끌어올리면서도, 아티스트에게 필요한 창작 통제권은 그대로 유지한다"는 설명이었다.

다만 이 반박이 매끄럽기만 한 건 아니었다. 닷새 뒤 공개된 렉스 프리드먼 팟캐스트에서는 한결 누그러진 어조로 이렇게 말했다. "게이머들의 생각에도 일리가 있다고 본다. 나도 AI 슬롭을 좋아하지 않는다. AI가 만든 콘텐츠는 갈수록 다 비슷해 보이고, 다들 예쁘장하기만 하다 — 그들이 무슨 생각을 하는지 공감한다." 다만 곧바로 "그게 DLSS 5가 하려는 일은 아니다"라고 선을 그었다.

회사를 대표하는 발언과 개인적인 소감 사이에 온도차가 있었다는 뜻이다.

직접 써본 리뷰어들의 생각은 달라졌다

영상: NVIDIA GeForce 유튜브 채널

말뿐인 반박과 실제 체험은 다른 문제다. NBA 2K27 정식 출시를 전후해 여러 매체가 DLSS 5를 직접 플레이해봤고, 반응은 초기 우려와 꽤 달랐다.

테크레이더 기자는 겜스컴 현장에서 DLSS 5가 켜진 NBA 2K27을 RTX 5060 노트북과 지포스 나우로 직접 플레이해본 뒤, 이 기술을 향한 생각이 완전히 바뀌었다고 밝혔다.

피부의 조명과 그림자 디테일이 확연히 달라 보였고, 왜 초기 공개 영상이 그렇게 어색해 보였는지도 엔비디아 측 설명을 통해 납득할 수 있었다고 덧붙였다.

개발사 비주얼 콘셉트가 아트 방향을 해치지 않으려 신경 쓴 흔적도 눈에 띄었다. NBA 2K27에 적용된 DLSS 5 모델은 엔비디아가 아니라 개발사가 직접 파인튜닝한 버전이었다.

NBA 스타 타이리스 홀리버튼이 자신의 인게임 모델에 DLSS 5를 적용해보는 홍보 영상도 함께 공개됐다. 선수 본인이 직접 반응하는 방식으로, 논쟁이 됐던 '얼굴 왜곡' 우려를 정면으로 달래려는 시도로 읽힌다.

물론 성능 대가는 분명했다. 톰스하드웨어가 RTX 50 시리즈 전 라인업으로 측정한 결과, DLSS 5를 켜면 프레임이 큰 폭으로 떨어졌다. 1080p 기준으로는 대부분의 블랙웰 카드가 버텼지만, 해상도가 올라갈수록 부담이 커졌다. RTX 5090으로 1080p 레이트레이싱을 켠 상태에서도 180프레임에서 134프레임으로 떨어졌다는 다른 매체의 측정치도 있었다.

다만 반응이 전부 호의적으로 돌아선 건 아니다. 엔게젯은 정식 출시 이후에도 DLSS 5를 두고 "딱히 흥분할 이유가 없다"고 잘라 말했다. RTX 50 시리즈로만 한정된 하드웨어 장벽, 그리고 시연 영상만큼 극적이지 않은 실제 체감 효과를 이유로 들었다.

더 에프피에스 리뷰도 비슷한 톤이었다. 레이트레이싱보다도 덜 필수적인 기능이라며, "대부분의 게이머는 있는지 없는지도 모를 것"이라고 평했다. 다만 개발사가 절제해서 쓴다면 결과물이 나쁘지 않다는 점은 인정했다.

결국 리뷰들의 논조는 호평과 회의론이 뒤섞인 셈이다. 개발사들이 이 기술을 '이미 잘 만든 그래픽 위에 얹는 보너스'가 아니라 '그래픽을 공들여 만들 필요 자체를 없애는 지름길'로 오용할 수 있다는 걱정도 여전히 남아 있다.

정식 출시보다 며칠 빨랐던 유출

DLSS 5는 사실 9월 3일이 아니라 그보다 먼저 세상에 나왔다.

8월 말, NBA 2K27의 얼리 액세스 빌드 안에서 158MB짜리 파일(nvngx_dlssnr.dll)이 발견됐다. 정식 배포 전 버전 표기는 310.8.0.0이었다.

모더들은 이 파일을 곧바로 뜯어냈다. 몇 시간 만에 컨트롤에서 신경 렌더링이 작동하는 걸 확인했고, 하루도 지나지 않아 위쳐 3, GTA 5, 사이버펑크 2077, 레드 데드 리뎀션 2, 더 라스트 오브 어스 파트 2, 호그와트 레거시, 검은 신화: 오공, 스타필드, 킹덤 컴: 딜리버런스 2를 포함해 십수 개 게임에 이식했다.

결과는 게임마다 갈렸다. 일부는 조명이 인상적으로 개선됐다는 평가를 받았다.

반면 위쳐 3에서는 주인공 게롤트가 부쩍 나이 들어 보인다는 반응이 나오는 등, 정식 출시 전 우려됐던 것과 비슷한 '언캐니 밸리' 얼굴 왜곡이 재현된 사례도 있었다.

성능 부담도 함께 드러났다. RTX 5070 Ti로 컨트롤을 4K·레이트레이싱 하이·DLSS 퀄리티 조합에서 돌린 테스트에서는 71~72프레임이던 것이 신경 렌더링을 켜자 약 35프레임으로, 절반 가까이 떨어졌다.

사이버펑크 2077에서도 비슷한 낙폭이 확인됐다. RTX 5070으로 1440p 테스트 결과, 래스터라이즈는 138프레임에서 68프레임으로, 레이트레이싱 울트라는 111프레임에서 55프레임으로, 패스 트레이싱은 71프레임에서 45프레임으로 각각 떨어졌다.

엔비디아 입장에서는 달갑지 않은 조기 노출이었다. 기술의 장단점이 회사의 공식 발표보다 먼저, 그것도 통제되지 않은 환경에서 퍼진 셈이기 때문이다.

다음 타자들, 그리고 RTX 50 독점이라는 벽

엔비디아가 공식 발표한 향후 지원 계획은 짧지 않다.

AION 2, 어쌔신크리드 섀도우스, 블랙 스테이트, 신더 시티, 델타 포스, 호그와트 레거시, 저스티스, 나라카: 블레이드포인트, NTE: 네버니스 투 에버니스, 팬텀 블레이드 제로, 레지던트 이블 레퀴엠, 씨 오브 렘넌츠, 스타필드, 엘더스크롤4: 오블리비언 리마스터드, 웨어 윈즈 미트까지 15개 게임이 지원 목록에 이름을 올렸다. 모두 2026년 가을 출시가 목표다.

참고로 같은 시기 지원이 발표된 스타워즈 제로 컴퍼니, 오니무사: 웨이 오브 더 소드, 더 블러드 오브 던워커 등은 DLSS 5가 아니라 한 단계 아래 기술인 DLSS 4.5(슈퍼 레졸루션·멀티 프레임 생성)를 지원하는 게임이다. 3D-가이드 뉴럴 렌더링이 들어가는 진짜 DLSS 5 대상작과는 구분된다.

즉 NBA 2K27은 시작일 뿐, DLSS 5는 앞으로 훨씬 다양한 장르와 아트 스타일에서 시험대에 오르게 된다. 특히 레지던트 이블 레퀴엠은 애초에 논란의 진원지였던 만큼, 정식 지원판이 실제로 어떻게 나올지가 관심사다. 다만 이 글을 쓰는 시점까지 레지던트 이블 레퀴엠의 공식 DLSS 5 패치는 아직 배포되지 않았다.

다만 한계는 명확하다. DLSS 5의 3D-가이드 뉴럴 렌더링은 지포스 RTX 50 시리즈 데스크톱·노트북과 지포스 나우 얼티메이트에서만 작동한다. RTX 40 이하 지포스는 물론 라데온 사용자도 공식적으로는 대상이 아니다.

이 선을 두고 벌써부터 모더들이 다른 하드웨어로 이식을 시도하는 등 파열음도 나오고 있다. 그만큼 독점 구조에 대한 불만이 만만치 않다는 정황이다.

경쟁사들도 비슷한 방향을 살피고 있다. AMD는 간접광원을 생성형 모델에 프레임 단위로 맡기는 신경 렌더링 연구를 공개했지만, 아직 완성된 화면의 예술적 표현 전체를 AI에 맡기는 수준까지는 아니고, 차세대 RDNA 하드웨어를 염두에 둔 연구 단계에 머물러 있다. 인텔 XeSS는 다중 프레임 생성 고도화에 집중하고 있을 뿐, DLSS 5에 맞설 신경 렌더링 계획은 아직 공식적으로 나오지 않았다.

결국 DLSS 5의 성패는 두 가지에 달려 있다. 하나는 개발사들이 이 기술을 얼마나 신중하게 쓰느냐고, 다른 하나는 RTX 50 시리즈 바깥의 절대다수 게이머에게 이 기술이 그림의 떡으로 남을 것이냐다.