윈도우11 VIDEO_TDR_FAILURE 블루스크린 nvlddmkm.sys 해결 5가지 방법

윈도우11 VIDEO_TDR_FAILURE 블루스크린 오류는 그래픽 드라이버가 제한 시간 안에 응답하지 못하고, 윈도우가 실행한 드라이버 재설정마저 실패했을 때 나타납니다.

화면에 함께 표시되는 실패한 항목: nvlddmkm.sys는 엔비디아 그래픽 카드의 커널 모드 드라이버 파일이며, 오류 코드 0x00000116의 두 번째 매개변수가 이 파일을 오류 발생 모듈로 지목한 출력 결과입니다.

다만, 같은 상황에서 재설정이 성공하면 블루스크린 대신 화면이 잠시 검게 깜빡인 뒤 “디스플레이 드라이버가 응답을 중지했다가 복구되었습니다” 알림만 표시됩니다.

이 알림이 반복되다가 블루스크린으로 넘어갔다면 드라이버 파일 자체보다 GPU의 응답 지연이 누적된 상태이므로, 아래 글에서 소개하는 타임아웃 값을 늘리는 조치부터 적용합니다.

VIDEO_TDR_FAILURE 원인별 증상과 해결 방법은 아래 표와 같습니다.

원인	증상	해결
GPU 응답 지연	게임, 영상 편집 중 화면이 멈춘 뒤 블루스크린 발생	TdrDelay 값을 8로 늘려 타임아웃 연장
PCIe 링크 절전 복귀 실패	절전 해제 직후 또는 유휴 상태 이후 발생	링크 상태 전원 관리를 해제로 변경
드라이버 잔존 파일 충돌	드라이버 업데이트 직후 발생, nvlddmkm.sys 파일 없음 메시지 표시	DDU로 완전 삭제 후 클린 설치
화면 합성 오버레이 결함	창 모드 게임, 동영상 재생 중 깜빡임이 먼저 나타난 뒤 발생	MPO 비활성화
GPU 스케줄링 방식 충돌	드라이버를 새로 설치해도 특정 작업에서만 반복	하드웨어 가속 GPU 일정 예약 해제
TDR 반복 누적	1분 안에 화면 깜빡임이 5회를 넘겨 발생	드라이버 클린 설치 후 재발 여부 확인
오버클럭, 냉각 부족	고부하 작업 몇 분 뒤 반복 발생	오버클럭 해제 후 쿨러 점검

참고 : 일반 부팅으로 정상적인 진행이 어려울 경우 안전 모드를 통해 진입합니다.

1. TdrDelay 레지스트리 값으로 VIDEO_TDR_FAILURE 타임아웃 연장

윈도우는 GPU가 2초 안에 응답하지 않으면 드라이버를 강제로 재설정합니다. TdrDelay 값을 늘리면 이 대기 시간이 길어져, 고부하 작업 중 발생하는 재설정 자체가 줄어듭니다.

이 값을 조정하기 전에 레지스트리 값의 성격을 정확히 파악해야 합니다. 마이크로소프트의 TDR 레지스트리 키 공식 문서는 “최종 사용자는 이 레지스트리 키를 조작해서는 안 되며, 애플리케이션도 드라이버 개발 과정의 테스트나 디버깅 목적을 벗어나 조작해서는 안 된다”고 명시합니다.

TdrDelay는 드라이버 개발자가 타임아웃 동작을 시험하기 위한 값이므로, GPU가 느리게 응답하는 상태를 고치지 않고 감지 시점만 뒤로 미룹니다. 블루스크린이 멈추더라도 원인은 그대로 남아 있기 때문에, 블루스크린 증상을 임시로 해결한 후 드라이버 클린 설치와 전원 관리 설정 변경을 추가로 진행해야 합니다.

Windows + R 키를 눌러 실행 창에 regedit를 입력합니다. 레지스트리 편집기 주소창에 아래 경로를 붙여 넣고 Enter를 누릅니다.

HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Control\GraphicsDrivers

오른쪽 빈 공간을 마우스 오른쪽 버튼으로 클릭하고 새로 만들기 > DWORD(32비트) 값을 선택합니다. 64비트 윈도우에서도 QWORD가 아닌 DWORD로 만듭니다. 공식 문서가 이 키의 형식을 REG_DWORD로 규정하기 때문입니다.

이름을 TdrDelay로 입력하고 항목을 더블 클릭합니다. 단위를 10진수로 바꾼 뒤 값 데이터에 8을 입력하고 확인을 클릭합니다. 기본값 2초가 8초로 늘어나며, 컴퓨터를 재시작해야 적용됩니다.

TdrDelay를 8로 늘려도 블루스크린이 그대로라면, 타임아웃과 무관한 조건에서 정지 코드가 발생한 상태입니다.

마이크로소프트 공식 문서에서는 0x116이 발생하는 다른 두 가지 조건을 함께 규정합니다. 첫 번째로, 윈도우가 드라이버에 하드웨어 접근 중단을 지시한 뒤 실행 중이던 스레드가 TdrDdiDelay 값인 5초 안에 종료되지 못한 경우입니다. 두 번째는 1분 안에 TDR이 5회를 넘겨 발생한 경우입니다. 두 조건 모두 TdrDelay와 별개로 동작하므로, 이 값만 늘려서는 해결되지 않습니다.

2. PCI Express 링크 상태 전원 관리 해제

PCIe 링크가 절전 상태로 내려갔다가 복귀가 늦어지면 GPU가 선점 요청에 제때 응답하지 못합니다. 절전 해제 직후나 컴퓨터를 오래 켜 둔 뒤 블루스크린이 발생한다면 이 설정이 원인입니다.

PCI Express 링크 상태 전원 관리를 해제하려면, 제어판 > 하드웨어 및 소리 > 전원 옵션 > 설정 변경 > 고급 전원 관리 옵션 설정 변경에 진입합니다.

목록에서 PCI Express > 링크 상태 전원 관리를 펼치고 값을 해제로 바꾼 뒤 확인을 클릭합니다. 노트북에서는 배터리 사용과 전원 사용 항목이 따로 표시되므로 둘 다 해제로 바꿉니다.

이 항목은 PCI Express 규격의 ASPM 기능을 제어합니다. 마이크로소프트의 링크 상태 전원 관리 공식 문서는 적당한 절전을 “시스템은 링크가 유휴 상태일 때 L0 상태를 사용하려고 시도합니다”, 최대 절전을 “L1 상태를 사용하려고 시도합니다”라고 설명합니다. L1은 링크를 더 깊게 잠재우는 대신 복귀에 시간이 더 걸려, GPU가 2초 안에 응답하지 못하는 상황을 만듭니다.

고급 전원 관리 옵션 목록에 PCI Express 항목이 보이지 않는 경우가 있습니다. 같은 공식 문서는 이 설정의 숨겨진 설정 항목을 “예”로 표기하며, GUID를 ee12f906-d277-404b-b6da-e5fa1a576df5로 명시하고 있습니다.

윈도우가 기본적으로 감춰 두는 항목이라 제조사 설정에 따라 목록에서 빠질 수 있습니다. 이 경우 윈도우10/11 전원 옵션 고급 설정 항목 일부가 없을 때 추가하는 방법에서 다루는 레지스트리 Attributes 값 수정으로 항목을 다시 활성화 시킬 수 있습니다.

3. 안전 모드에서 DDU로 nvlddmkm.sys 드라이버 클린 설치

그래픽 드라이버를 덮어쓰는 방식으로 업데이트하면 이전 버전의 파일과 레지스트리 항목이 남습니다.

이 때 새 드라이버가 이 잔존 항목을 참조하면서 nvlddmkm.sys 파일 없음 메시지가 표시되거나, 불러온 드라이버 버전이 엇갈려 GPU 재설정이 실패합니다. 이 경우 남아있는 드라이버의 찌꺼기 항목까지 지우는 클린 설치 과정으로 두 증상을 함께 해결할 수 있습니다.

참고 : nvlddmkm.sy_ 파일을 직접 찾아 expand 명령어로 압축을 풀고 시스템 폴더에 복사하는 방법은 파일 하나만 되돌릴 뿐 레지스트리에 남은 이전 버전 정보를 정리하지 못해, 같은 오류가 다시 발생하니 적용하지 않아야 합니다.

클린 설치를 시작하기 전 빠른 시작을 먼저 해제합니다. 빠른 시작은 컴퓨터를 끌 때 커널 세션과 드라이버 상태를 hiberfil.sys 파일에 저장했다가 다음 부팅에서 그대로 복원합니다.

이 상태에서는 DDU로 드라이버를 지우고 재시작해도 이전 드라이버 정보가 되살아나 클린 설치가 무효가 됩니다. 마이크로소프트의 빠른 시작과 최대 절전 모드 구분 공식 문서는 하이브리드 종료에서 드라이버가 전달받는 시스템 상태 값이 실제 전환과 어긋날 수 있다고 설명합니다.

빠른 시작을 해제하려면, 제어판 > 하드웨어 및 소리 > 전원 옵션 > 전원 단추 작동 설정에 진입합니다. 현재 사용할 수 없는 설정 변경을 클릭한 뒤 종료 설정에서 빠른 시작 켜기(권장) 체크를 해제하고 변경 내용 저장을 클릭합니다.

항목이 목록에 없다면 최대 절전 모드가 꺼진 상태이며, 윈도우11 빠른 시작 켜기, 끄기 설정 방법에서 다루는 명령어로 항목을 되살릴 수 있습니다.

Display Driver Uninstaller를 개발사 Wagnardsoft 공식 페이지에서 내려받아 압축을 풉니다.

안전 모드로 진입하려면, 설정 > 시스템 > 복구 > 고급 시작 옵션에서 지금 다시 시작을 클릭합니다. 재시작 후 문제 해결 > 고급 옵션 > 시작 설정 > 다시 시작을 선택하고, 4 또는 F4 키를 눌러 안전 모드로 들어갑니다.

블루스크린이 반복돼 데스크톱 진입이 불가능하다면 전원 버튼을 10초간 눌러 강제 종료하는 과정을 세 번 반복해 복구 환경을 띄운 뒤 같은 메뉴로 진입합니다.

안전 모드로 재시작하기 전 인터넷 연결을 끊습니다. 드라이버를 지운 직후 윈도우 업데이트가 다른 버전을 자동으로 설치해 클린 설치가 무효가 되기 때문입니다.

안전 모드에서 DDU를 실행합니다. 오른쪽 상단에서 장치 종류를 GPU, 제조사를 NVIDIA로 선택합니다. Clean and restart를 클릭하면 드라이버 파일과 레지스트리 항목이 함께 삭제되고 컴퓨터가 재시작됩니다.

재시작한 뒤 엔비디아 공식 드라이버 다운로드 페이지에서 그래픽 카드 모델에 맞는 버전을 내려받습니다. 설치 화면에서 사용자 정의 설치를 선택하고 깨끗한 설치 수행에 체크한 뒤 설치를 진행합니다.

최신 버전을 설치한 뒤에도 같은 블루스크린이 나타나면 직전 Game Ready 버전이나 Studio 드라이버를 설치합니다. 최신 버전이 특정 GPU에서만 불안정한 경우가 있어, 버전을 한 단계 내리면 증상이 멈춥니다.

4. MPO(다중 평면 오버레이) 비활성화

MPO는 화면을 여러 겹의 평면으로 나눠 GPU 디스플레이 엔진이 직접 합성하는 기능입니다. 데스크톱 창 관리자(DWM)가 처리하던 작업을 GPU로 넘기는 구조라, 드라이버가 이 합성 요청을 제때 처리하지 못하면 화면이 깜빡인 뒤 응답이 끊깁니다.

창 모드로 실행한 게임이나 동영상 재생 중 깜빡임이 먼저 나타나고 블루스크린으로 이어졌다면 이 기능을 원인으로 봅니다.

레지스트리 편집기 주소창에 아래 경로를 붙여 넣고 Enter를 누릅니다.

HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Windows\Dwm

오른쪽 빈 공간을 마우스 오른쪽 버튼으로 클릭하고 새로 만들기 > DWORD(32비트) 값을 선택합니다. 이름을 OverlayTestMode로 입력하고 값 데이터에 5를 입력합니다.

윈도우11 24H2 이상에서는 같은 위치에 OverlayMinFPS 값을 DWORD(32비트) 형식으로 추가하고 값 데이터를 0으로 지정합니다.

데스크톱 창 관리자는 시작 시점에만 이 값을 읽으므로 컴퓨터를 재시작해야 적용됩니다.

OverlayTestMode는 마이크로소프트 문서에 등재되지 않은 값이며, 엔비디아의 MPO 지원 문서를 통해 알려졌습니다. 설정을 되돌릴 때는 값 데이터를 바꾸지 않고 항목 자체를 삭제한 뒤 재시작합니다.

5. 하드웨어 가속 GPU 일정 예약 해제

TDR은 GPU 스케줄러가 보낸 선점 요청에 GPU가 응답하지 못할 때 시작됩니다. 하드웨어 가속 GPU 일정 예약은 이 스케줄링 작업을 CPU에서 GPU 내장 스케줄러로 옮기는 기능이므로, 스케줄러를 바꾸는 설정 자체가 타임아웃이 발생하는 지점을 이동시킵니다.

드라이버를 새로 설치한 뒤에도 특정 게임이나 편집 프로그램에서만 블루스크린이 반복된다면 이 항목을 해제합니다.=

하드웨어 가속 GPU 일정 예약을 해제하려면, 설정 > 시스템 > 디스플레이 > 그래픽 > 기본 그래픽 설정 변경에 진입합니다.

하드웨어 가속 GPU 일정 예약 스위치를 끄고 컴퓨터를 재시작합니다.

목록에 이 항목이 표시되지 않는 경우가 있습니다. 이 기능은 WDDM 2.7 이상을 지원하는 드라이버에서만 노출되므로, 항목이 없다면 그래픽 카드가 해당 스케줄링 방식을 사용하지 않는 것입니다.

마치며

VIDEO_TDR_FAILURE는 그래픽 드라이버 하나의 문제로 끝나지 않고 화면 합성 방식, 스케줄링 설정, 전원 공급 상태가 함께 얽힌 결과로 나타납니다.

마이크로소프트의 0x116 공식 문서는 오버클럭된 구성 요소와 시스템 냉각 부족, 전원 부족을 원인으로 지목하고 있습니다. 특히 “잘못된 부품 호환성과 설정, 그중에서도 메모리 구성과 타이밍”을 명시하므로, 메인보드에서 XMP나 EXPO 메모리 프로파일을 켜 둔 상태라면 이 값을 끄고 재현 여부부터 확인합니다.

다섯 가지 방법을 모두 적용해도 블루스크린이 남는다면 그래픽 카드를 다른 슬롯이나 다른 컴퓨터에 연결해 하드웨어 결함 여부를 가려냅니다. 파워 서플라이 용량이 GPU 권장치에 미치지 못하는 상태에서도 같은 정지 코드가 반복되므로, 그래픽 카드를 교체한 직후 증상이 시작됐다면 전원 용량부터 확인합니다.

FAQ