윈도우 11 원격 데스크톱 연결 오류 코드 0x204 해결 방법

윈도우 원격 데스크톱으로 다른 PC에 접속하려는데 오류 코드 0x204, 확장 오류 코드 0x0가 표시되며 연결 화면이 열리지 않는 경우가 있는데요. 윈도우 PC끼리 연결할 때뿐 아니라 Mac의 Windows App에서 윈도우 PC로 접속할 때도 같은 코드가 나타납니다.

원격 데스크톱을 켜고 방화벽을 열어도 같은 오류가 반복되는 것은 오류 코드 0x204가 계정과 암호를 확인하는 단계가 아니라 그 앞에서 원격 PC로 가는 네트워크 연결이 열리지 않았다는 신호이기 때문입니다. 하지만 오류 화면에는 원인이 원격 PC의 설정인지 입력한 주소인지 중간 네트워크인지 구분할 정보가 없어서 설정을 하나씩 바꿔 보며 시간을 쓰게 되는 불편함이 있습니다.

원격 PC 설정과 입력한 주소를 확인해도 해결되지 않으면 접속하는 기기에서 원격 PC의 3389 포트까지 연결이 닿는지 테스트해 오류의 원인이 원격 PC 쪽인지 중간 네트워크 쪽인지 확인하고 테스트 결과에 따라 방화벽, 3389 수신 상태, 네트워크 경로, Mac 앱 권한 순서로 확인하면 됩니다.

1. 윈도우 원격 데스크톱 0x204 오류를 부르는 원격 PC 설정 확인하기

0x204 메시지는 접속하는 기기가 원격 PC로 가는 연결을 열지 못했다는 오류이며, 가장 먼저 원격 PC가 켜져 있고 원격 데스크톱 연결을 받을 수 있는 상태인지 확인해야 합니다.

원격 대상 PC에서 다음 항목을 확인합니다.

에디션

원격 PC의 에디션을 확인하려면, 설정 > 시스템 > 정보에 진입해 Windows 사양에서 에디션이 Pro, Enterprise, Education 중 하나인지 봅니다. Windows 11 Home은 다른 PC에 접속하는 용도로는 쓸 수 있지만 원격 데스크톱 연결을 받는 호스트는 될 수 없습니다.

원격 PC가 Home이라면 이후 단계로 해결되지 않으므로 Pro 이상으로 업그레이드하거나 다른 PC를 호스트로 써야 합니다.

원격 데스크톱 켜기

원격 데스크톱을 켜려면, 설정 > 시스템 > 원격 데스크톱에 진입해 원격 데스크톱을 켬으로 바꾸고 확인 창에서 확인을 누릅니다. 관리자 권한이 필요합니다. 같은 화면의 PC 이름은 접속하는 기기에서 입력할 이름입니다.

절전 해제

절전 또는 최대 절전 상태인 PC에는 접속할 수 없습니다. 절전을 해제하려면, 설정 > 시스템 > 전원 및 배터리 > 화면 및 절전에 진입해 전원 연결 시 절전 모드 시간을 안 함으로 바꿉니다.

2. PC 이름 대신 IP 주소로 연결하기

PC 이름 또는 도메인 주소로 연결되지 않는 PC가 IP 주소로는 열리는 경우가 있으므로, 접속 앱의 PC 이름 칸에 원격 PC의 IPv4 주소를 직접 입력해 연결합니다.

가정용 공유기 내부 네트워크에서는 PC 이름이 주소로 변환되지 않아 이름 대신 IP 주소를 입력해야 연결되는 경우가 많습니다. 원격 PC에서 터미널을 열고 ipconfig 명령을 실행하면 사용 중인 어댑터의 IPv4 주소(예: 192.168.0.12)가 나옵니다.

접속하는 기기에서는 다음 위치에 IP 주소를 입력합니다.

• 윈도우: Win + R을 눌러 mstsc를 실행하고 컴퓨터 칸에 IP를 입력합니다.
• Mac: Windows App에서 해당 PC 카드의 … 버튼을 눌러 편집을 선택하고 PC 이름 칸에 IP를 입력합니다.

이 방법이 안 된다면, 반대로 IP 주소 대신 원격 PC의 이름을 입력합니다. 여러 PC 중 한 대에서만 IP 주소로는 실패하고 이름으로는 연결된 사례가 Microsoft Q&A에 올라와 있습니다.

외부에서 접속할 때는 공유기의 포트포워딩 설정도 확인해야 합니다. 공유기가 원격 PC의 내부 IP 주소 대신 다른 IP로 연결되어 있으면 오류가 발생하므로 호스트 PC의 내부 IP가 맞는지 현재 주소를 다시 확인합니다.

3. RDP 3389 포트 연결 테스트

원격 데스크톱 연결은 기본적으로 TCP 3389 포트로 들어가므로, 접속하는 기기에서 이 포트를 직접 테스트하면 원인이 원격 PC 쪽인지 중간 네트워크 쪽인지 확인할 수 있습니다.

보통 네트워크 연결을 테스트할 때 ping을 사용하는데, 공유기(라우터)에서 ICMP 패킷을 걸러내는 경우가 있어 ping이 실패할 수 있습니다. 때문에 ping을 기준으로 연결 가능 여부를 판단할 수 없으니 열린 포트를 기준으로 네트워크 진단을 해야 합니다.

접속하는 PC에서 PowerShell을 열고 아래 명령을 실행합니다. IP 주소는 원격 PC의 IPv4 주소로 바꾸면 됩니다.

Test-NetConnection -ComputerName 192.168.0.12 -Port 3389 -InformationLevel Detailed

Mac에서는 터미널에서 아래 명령을 실행합니다.

nc -zv 192.168.0.12 3389

윈도우는 결과의 TcpTestSucceeded 값이 True인지, Mac은 succeeded 문구 여부를 봅니다.

원격 PC가 3389가 아닌 포트를 쓰도록 바뀌어 있다면 그 포트로 같은 테스트를 실행하고, 접속 앱에는 192.168.0.12:포트번호 형식으로 입력합니다.

원격 PC의 PowerShell에서 아래 명령을 실행하면 현재 포트 번호가 나옵니다.

Get-ItemProperty -Path 'HKLM:\SYSTEM\CurrentControlSet\Control\Terminal Server\WinStations\RDP-Tcp' -Name PortNumber

4. 방화벽의 원격 데스크톱 규칙과 네트워크 프로필 확인하기

3389 테스트가 실패하면 원격 PC에서 Windows 방화벽의 원격 데스크톱 규칙이 켜져 있고, 그 규칙이 PC가 지금 연결된 네트워크 프로필에 적용되는지 확인합니다. 방화벽 전체를 꺼서 해결하는 방식은 권장하지 않습니다.

원격 데스크톱 허용 규칙을 확인하려면, Win + R을 눌러 firewall.cpl을 실행하고 Windows 방화벽을 통해 앱 또는 기능 허용에서 원격 데스크톱의 개인, 공용 칸을 확인합니다.

관리자 권한 PowerShell에서 아래 명령으로 규칙 상태를 한 번에 볼 수 있습니다. 윈도우 표시 언어가 한국어이면 규칙 그룹 이름이 원격 데스크톱이고, 영어이면 Remote Desktop입니다.

Get-NetFirewallRule -DisplayGroup "원격 데스크톱" | Select-Object DisplayName, Enabled, Profile
Enable-NetFirewallRule -DisplayGroup "원격 데스크톱"

규칙이 켜져 있는데도 막힌다면 네트워크 프로필이 원인일 수 있습니다. 규칙이 개인에만 켜져 있고 PC가 지금 연결된 네트워크를 공용으로 분류하고 있으면 규칙이 적용되지 않습니다. 아래 명령의 NetworkCategory 값이 Public인지 Private 인지 확인합니다.

Get-NetConnectionProfile

집이나 사무실처럼 신뢰하는 네트워크에서 프로필을 바꾸려면, 설정 > 네트워크 및 인터넷 > 이더넷(Wi-Fi는 Wi-Fi의 해당 네트워크 속성)에 진입해 네트워크 프로필 유형을 개인 네트워크로 바꿉니다.

안티바이러스 같은 보안 프로그램에 자체 방화벽이 있다면 추가적으로 확인해 원격 데스크톱을 허용으로 변경합니다. 특히 은행권 사이트 접속으로 인해 자동으로 설치되는 AhnLab Safe Transaction의 원격 차단 설정은 필수적으로 확인합니다.

5. 원격 PC의 3389 수신 상태 확인 및 원격 데스크톱 서비스 다시 시작

원격 데스크톱 설정이 켜져 있고 방화벽이 열려 있어도 PC가 3389 포트를 수신하지 않으면 접속 시도는 계속 0x204로 끝납니다. 이 경우는 설정 화면에서는 보이지 않아서 원격 PC에서 직접 확인해야 합니다.

원격 PC의 PowerShell에서 아래 명령을 실행합니다. 3389 포트가 수신 중이면 LocalPort 3389에 Listen 상태가 한 줄 이상 출력됩니다. 아무것도 출력되지 않으면 PC가 3389 포트를 수신하지 않는 것이므로 아래 명령으로 서비스를 다시 시작합니다.

Get-NetTCPConnection -LocalPort 3389 -State Listen

수신이 안된다면 관리자 권한 PowerShell에서 원격 데스크톱 서비스(TermService)를 다시 시작한 뒤 확인합니다. 원격 세션 안에서 실행하면 그 세션이 끊기므로 원격 PC 앞에서 실행합니다.

Restart-Service -Name TermService -Force
Get-NetTCPConnection -LocalPort 3389 -State Listen

서비스를 다시 시작해도 출력이 없다면 PC를 재시작한 뒤 한 번 더 확인합니다. 그래도 상황이 동일하다면, 수신이 시작되지 않은 이유를 확인하기 위해 이벤트 뷰어에서 아래 기록을 찾아봅니다. 원격 접속 로그는 이벤트 뷰어 > 응용 프로그램 및 서비스 로그 > Microsoft > Windows > TerminalServices-RemoteConnectionManager > Operational에, 서비스와 인증서 오류는 Windows 로그 > 시스템에 있습니다.

조직이 관리하는 PC라면 그룹 정책이 로컬 원격 데스크톱 설정을 덮어쓰고 있을 수 있으므로 관리자에게 정책을 확인해 달라고 요청합니다.

6. VPN, 공유기 AP 격리, 모바일 핫스팟으로 연결이 막힌 네트워크 구간 찾기

원격 PC 설정이 모두 정상인데 특정 장소나 특정 기기에서만 3389 테스트가 실패한다면, 원격 PC가 아니라 그 사이 네트워크(VPN이나 공유기)가 포트를 막고 있는 것입니다.

VPN

사내 PC에 접속하는 경우 회사 VPN을 먼저 연결해야 합니다. VPN을 연결했는데도 3389 테스트가 실패한다면 VPN 정책이 3389 포트를 막고 있는 경우이므로, 관리 부서에 해당 PC와 3389 포트를 허용해 달라고 요청합니다.

모바일 핫스팟

원격 PC가 이미 외부에서 접속하도록 구성된 상태에서 집 Wi-Fi로는 0x204가 나는데 스마트폰 핫스팟으로 바꾸면 연결될 수 있습니다. 접속하는 기기를 핫스팟에 연결해 같은 3389 테스트를 실행했을 때 결과가 달라진다면 기존 공유기, 회선 업체, 회사 네트워크 가운데 한 곳이 3389를 막고 있는 것입니다.

공유기 AP 격리

같은 공유기의 Wi-Fi에 연결된 두 PC끼리만 연결되지 않는다면 공유기를 관리하는 페이지(주소창에 공유기 주소 입력)의 Wi-Fi 설정에서 AP 격리를 끄고 저장합니다. AP 격리는 같은 Wi-Fi에 붙은 기기들이 서로 통신하지 못하게 막는 기능이며, 이 설정을 끄자 연결된 사례가 있습니다. 메뉴 이름과 기능 지원 여부는 공유기마다 다릅니다.

7. Mac의 Windows App에서 로컬 네트워크 권한 다시 켜기

Mac에서 접속할 때 3389 테스트는 성공하는데 Windows App에서만 0x204가 나온다면, 앱의 로컬 네트워크 권한을 껐다가 다시 켭니다.

macOS에서 시스템 설정 > 개인정보 보호 및 보안 > 로컬 네트워크의 Windows App 항목이 켜져 있는데도 RDP 연결이 실패하다가, 이 항목을 껐다가 다시 켰을 때 문제가 해결될 수 있습니다. 처음 연결할 때 권한 요청 창을 거부했다면 같은 위치에서 항목을 켭니다.

1. Mac에서 로컬 네트워크 권한을 확인하려면, 시스템 설정 > 개인정보 보호 및 보안 > 로컬 네트워크에 진입합니다.
2. Windows App을 끈 뒤 다시 켭니다. 항목이 없으면 앱을 한 번 실행해 연결을 시도한 뒤 다시 확인합니다.
3. Windows App을 완전히 종료(Command + Q)하고 다시 실행해 연결합니다.

예전에 쓰던 Microsoft Remote Desktop 앱이 Mac에 남아 있다면 지금은 Windows App으로 대체된 상태이므로, App Store에서 Windows App을 설치하거나 업데이트해 다시 시도합니다.

마치며

윈도우 원격 데스크톱 0x204는 암호나 계정 문제가 아니라 접속하는 기기와 원격 PC 사이에 3389 포트 연결이 열리지 않았다는 신호이며, 원인은 원격 PC의 상태, 입력한 주소, 방화벽, 네트워크 경로, Mac 앱 권한 중 한 곳에 원인이 있습니다.

원격 PC 설정과 주소를 확인해도 오류가 해결되지 않는다면 Test-NetConnection 또는 nc -zv로 3389 연결 결과를 확인하면 어느 쪽을 고쳐야 하는지 원인을 좁힐 수 있습니다.

같은 오류가 반복된다면 원격 PC의 IP 주소가 바뀐 경우가 많으므로, 공유기를 관리하는 페이지에서 원격 PC의 IP 주소를 고정(DHCP 예약)해 두면 접속 앱에 저장한 주소를 계속 쓸 수 있습니다. 0x204가 사라지고 로그인 창이 보이기 시작했다면 연결 단계는 통과한 것입니다.

FAQ