OpenWrt 공유기에 VPN 설정하기: 집안 기기별 트래픽 분리 가이드

OpenWrt 공유기에 VPN을 설정하면 휴대폰과 PC에 같은 클라이언트를 반복해서 설치하지 않고도 집 안의 여러 기기를 한 곳에서 관리할 수 있습니다. 다만 모든 트래픽을 무조건 VPN으로 보내는 방식이 항상 좋은 선택은 아닙니다. 국내 서비스, 금융 사이트, 게임, 스마트홈 기기는 일반 연결이 더 적합할 수 있고, 특정 해외 서비스나 업무용 기기만 별도 회선을 사용해야 할 수도 있습니다. 이때 필요한 것이 기기별·도메인별 분할 라우팅입니다.

이 글에서는 OpenWrt 공유기에서 VPN을 구성할 때 먼저 확인해야 할 하드웨어와 펌웨어 조건, WireGuard와 OpenVPN의 차이, 구독 링크를 라우터에서 활용하는 방법, 특정 기기와 도메인만 VPN으로 보내는 절차를 정리합니다. 설정 전에 현재 네트워크 설정을 백업하고, DNS 누수와 속도 저하를 확인하며, 문제가 생기면 변경 사항을 단계적으로 되돌리는 방법까지 함께 살펴보겠습니다.

설정 전 준비: 공유기와 VPN 방식 확인

OpenWrt는 다양한 패키지와 네트워크 구성을 지원하지만, 모든 공유기가 같은 성능을 내는 것은 아닙니다. VPN 암호화는 공유기의 CPU와 메모리를 사용하므로 무선 성능이 충분한 모델이라도 암호화 처리에서는 속도가 제한될 수 있습니다. 특히 여러 기기가 동시에 연결되거나 고화질 영상과 대용량 전송을 함께 사용하는 환경에서는 CPU 사용률과 메모리 여유를 확인해야 합니다.

먼저 LuCI 관리 화면에서 OpenWrt 버전, 설치 가능한 저장 공간, 현재 WAN·LAN 인터페이스 이름을 확인하세요. 무선 공유기 앞단에 별도의 모뎀이나 라우터가 있다면 이중 NAT 여부도 점검해야 합니다. 클라이언트 모드로 외부 VPN 서버에 접속하는 경우에는 대개 큰 문제가 없지만, 외부에서 집으로 들어오는 연결이나 포트 포워딩을 함께 사용할 때는 NAT 구조가 장애 원인이 될 수 있습니다.

프로토콜은 서버가 제공하는 형식에 맞춰야 합니다. WireGuard는 설정 파일에 개인 키, 공개 키, 주소, 엔드포인트, 허용 IP가 들어가는 구조이며 비교적 가볍고 라우터에서 처리하기 쉽습니다. OpenVPN은 인증서와 키, 서버 주소, 암호화 옵션을 포함한 프로필을 사용하며 호환성은 넓지만 설정 항목이 더 많고 처리 부담이 커질 수 있습니다. Shadowsocks, VMess, Trojan, Hysteria2는 일반적으로 전용 클라이언트나 sing-box 계열의 구성이 필요합니다. OpenWrt에 해당 패키지를 설치할 수 있는지는 펌웨어 버전과 패키지 저장소에 따라 달라지므로, WireGuard나 OpenVPN 프로필처럼 보이지 않는 구독 링크를 바로 LuCI에 붙여 넣을 수 있다고 가정하면 안 됩니다.

• ✅ 공유기 펌웨어 버전과 CPU·메모리 여유를 먼저 확인하세요.
• ✅ 서버가 제공하는 WireGuard 또는 OpenVPN 프로필의 형식을 확인하세요.
• ✅ 기존 WAN, LAN, DHCP, 방화벽 설정을 백업한 뒤 변경하세요.
• ❌ 처음부터 모든 기기를 VPN 인터페이스로 강제하지 마세요.
• ❌ 구독 URL을 일반 설정 파일처럼 무작정 LuCI에 입력하지 마세요.

WireGuard와 OpenVPN: 어떤 방식을 먼저 적용할까

가정용 공유기에서 두 프로토콜의 선택은 이론적인 최고 속도보다 관리 편의성과 라우터 호환성을 기준으로 판단하는 것이 좋습니다. WireGuard 프로필을 정상적으로 받을 수 있고 OpenWrt에서 관련 패키지가 지원된다면, 구조가 간결해 초기 설정과 장애 확인이 비교적 쉽습니다. 반면 제공 업체가 OpenVPN 파일만 제공하거나 인증서 기반의 연결을 요구한다면 OpenVPN을 사용하는 것이 현실적인 선택입니다.

WireGuard에서 특히 주의할 항목은 AllowedIPs입니다. 이 값이 모든 IPv4·IPv6 트래픽을 뜻하도록 설정되면 기본 경로가 VPN으로 바뀔 수 있습니다. 전체 터널이 목적이라면 그에 맞는 라우팅과 DNS 정책을 함께 구성해야 하고, 일부 기기만 연결하려면 정책 라우팅 도구를 이용해 대상 기기의 주소나 별도 방화벽 그룹을 VPN 인터페이스에 연결해야 합니다. OpenVPN도 단순히 터널이 올라왔다고 분할 라우팅이 완성되는 것은 아닙니다. 기본 게이트웨이, 방화벽 영역, DNS 전달 규칙을 함께 확인해야 합니다.

서버 위치를 고를 때는 공유기의 위치와 실제 사용 목적을 분리해 생각하세요. 일반 웹 이용은 접속 경로가 안정적인 인접 지역에서 시작하고, 지역 조건이 있는 서비스는 해당 서비스가 요구하는 출구 지역을 먼저 확인해야 합니다. 같은 지역 안에서도 직결, 중계, IEPL 전용 회선처럼 경로가 다를 수 있으므로 한 번의 속도 측정만으로 전체 회선을 평가하지 말고 웹페이지 표시, 영상 재생, 파일 전송을 각각 확인하는 편이 정확합니다.

LuCI 설정 순서: 테스트 기기 하나로 안전하게 연결하기

설정은 백업, 패키지 설치, VPN 인터페이스 생성, 방화벽 영역 연결, 라우팅 정책 적용, DNS 확인 순서로 진행하는 것이 좋습니다. 메뉴 이름은 OpenWrt 버전과 설치한 네트워크 관리 패키지에 따라 조금씩 다를 수 있으므로, 특정 화면의 항목을 그대로 찾기보다 인터페이스·방화벽·DHCP·정책 라우팅이라는 기능 단위로 접근하세요.

백업 파일부터 저장하기

LuCI의 시스템 백업 기능으로 현재 설정을 저장하고, 가능하면 공유기 외부에도 파일을 보관하세요. 백업에는 무선 이름과 비밀번호, LAN 주소, DHCP 예약, 포트 포워딩, 방화벽 규칙이 포함될 수 있습니다. VPN 설정을 한 번에 여러 군데 바꾸면 나중에 어느 항목이 문제였는지 알기 어렵기 때문에 변경 전 상태를 기준점으로 남겨 두는 것이 중요합니다.

VPN 인터페이스와 방화벽 구성

WireGuard라면 서버가 제공한 개인 키와 주소, 피어 공개 키, 엔드포인트, keepalive 및 AllowedIPs 값을 원본과 대조하면서 입력합니다. OpenVPN이라면 제공된 프로필과 인증서 파일을 임의로 줄이거나 합치지 말고, 인증 방식과 사용자 정보를 요구하는지 확인하세요. 인터페이스가 생성된 뒤에는 VPN 인터페이스를 별도의 방화벽 영역에 넣고, LAN에서 VPN으로 나가는 전달 정책을 명시해야 합니다.

이 단계에서 WAN을 삭제하거나 LAN의 기본 경로를 바로 VPN으로 바꾸지 않는 것이 좋습니다. VPN 서버가 응답하지 않으면 공유기 자체가 인터넷에 접근하지 못하고, 설정을 되돌리기 위해 로컬 관리 화면까지 잃을 수 있기 때문입니다. 우선 VPN 인터페이스를 수동으로 시작하고, 관리용 PC가 일반 WAN을 통해 계속 연결되는지 확인한 뒤 다음 단계로 넘어가세요.

기기별 정책 라우팅 적용

분할 라우팅은 보통 기기의 IP 주소, DHCP 예약 이름, MAC 기반 그룹 또는 별도의 방화벽 마크를 기준으로 구성합니다. DHCP 예약을 사용하면 테스트 기기에 항상 같은 내부 주소를 배정할 수 있어 규칙이 바뀌는 문제를 줄일 수 있습니다. 다만 휴대폰은 무작위 MAC 주소 기능을 사용할 수 있으므로, MAC만 기준으로 삼을 때는 해당 기기의 무선 네트워크별 식별 방식도 확인해야 합니다.

일반 WAN: 관리용 PC, 프린터, 스마트홈 기기
VPN 정책: 테스트용 PC 또는 지정한 휴대폰
도메인 규칙: 필요한 서비스 도메인만 VPN 대상으로 지정
예외 규칙: 공유기 관리 주소와 로컬 네트워크는 항상 직접 연결

도메인 기준 정책은 DNS 조회 결과를 이용하므로 CDN이나 여러 IP를 사용하는 서비스에서는 항상 완벽하게 고정되지 않을 수 있습니다. 서비스가 사용하는 보조 도메인, 인증 도메인, 이미지 및 API 도메인을 놓치면 첫 화면은 열리지만 로그인이나 재생이 실패할 수 있습니다. 따라서 처음에는 기기 전체를 VPN 정책에 넣어 기본 연결을 확인한 다음, 도메인 단위로 범위를 줄이는 방식이 문제를 찾기 쉽습니다.

정책을 저장한 뒤에는 규칙의 우선순위를 확인하세요. 특정 기기를 VPN으로 보내는 규칙보다 “모든 트래픽은 WAN” 같은 포괄 규칙이 먼저 적용되면 원하는 동작이 나오지 않습니다. 반대로 VPN 예외 규칙이 너무 넓으면 프린터, NAS, 공유기 관리 페이지까지 외부 터널로 향할 수 있습니다. 로컬 네트워크 대역과 공유기 관리 주소는 예외로 남겨 두고, 정책 변경 후 관련 서비스를 재시작해 새 DHCP와 DNS 상태를 반영하세요.

DNS와 속도 점검: 연결됨 표시만 믿지 않기

VPN 인터페이스가 활성화되고 핸드셰이크가 표시되어도 실제 트래픽이 모두 원하는 경로로 이동한다고 단정할 수 없습니다. 먼저 테스트 기기에서 외부 IP가 예상한 출구 지역으로 나타나는지 확인하고, VPN 대상이 아닌 기기는 기존 경로를 유지하는지 비교하세요. 두 기기가 같은 공인 IP를 보인다면 분할 규칙이 적용되지 않았을 가능성이 있습니다.

DNS는 별도로 점검해야 합니다. 기기가 로컬 공유기의 DNS를 사용하더라도 공유기가 어떤 업스트림 DNS로 질의하는지, VPN 연결 시 DNS 요청이 일반 WAN으로 빠져나가는지 확인해야 합니다. DoH나 DoT를 기기에서 별도로 활성화하면 공유기의 DNS 정책을 우회할 수 있으므로 테스트할 때 브라우저의 보안 DNS 기능도 함께 확인하세요. DNS 오류가 의심되면 먼저 기기의 DNS 캐시를 비우고, Wi-Fi 연결을 끊었다가 다시 연결한 뒤 동일한 도메인을 재시험합니다.

• ✅ VPN 대상 기기와 일반 연결 기기의 외부 IP를 각각 비교하세요.
• ✅ VPN 대상 도메인의 로그인, 이미지, 영상, 파일 다운로드를 따로 확인하세요.
• ✅ DNS 요청이 어떤 인터페이스로 나가는지 공유기 로그와 클라이언트 설정에서 확인하세요.
• ✅ 속도는 다운로드만 보지 말고 업로드, 지속 연결, 페이지 응답도 함께 살펴보세요.
• ❌ 연결 상태 아이콘 하나만 보고 DNS 누수나 정책 적용을 끝냈다고 판단하지 마세요.

속도가 느릴 때는 원인을 구분해야 합니다. 공유기 CPU 사용률이 높다면 암호화 처리나 동시 연결 수가 부담일 수 있고, 특정 시간대에만 느리다면 회선 혼잡이나 출구 경로 문제일 수 있습니다. 모든 기기가 느리면 공유기와 VPN 터널을 먼저 보고, 한 기기만 느리면 해당 기기의 Wi-Fi 신호, DNS 캐시, 브라우저 설정을 확인하세요. 같은 지역의 다른 회선으로 바꿔 보고 결과가 달라지는지도 중요한 비교 기준입니다.

오류 처리와 되돌리기: 연결이 끊겼을 때의 순서

VPN을 켠 뒤 인터넷이 전혀 되지 않는다면 먼저 공유기와 외부 서버 사이의 터널이 실제로 수립되었는지 확인하세요. WireGuard는 최근 핸드셰이크 시간과 송수신 데이터 증가 여부를 확인하고, OpenVPN은 인증 실패, 인증서 만료, 서버 주소 오류가 로그에 표시되는지 살펴봅니다. 핸드셰이크가 없으면 AllowedIPs보다 키와 엔드포인트, 시스템 시간, 방화벽의 UDP 또는 TCP 허용 여부를 먼저 점검하는 것이 좋습니다.

터널은 정상인데 특정 사이트만 열리지 않는다면 DNS, MTU, 도메인 목록, 출구 지역을 차례로 확인하세요. 일부 사이트는 IP 주소와 DNS 응답 지역이 맞지 않을 때 연결을 거부할 수 있습니다. 영상이나 대용량 파일에서만 문제가 생기면 MTU와 경로의 단편화 가능성을 의심할 수 있지만, 값을 무작정 크게 또는 작게 바꾸기보다 한 번에 하나의 항목만 변경하고 이전 값을 기록해야 합니다.

설정 후 문제가 해결되지 않으면 가장 최근에 추가한 정책부터 비활성화하세요. VPN 인터페이스를 내리고 LAN의 기본 WAN 경로를 복원한 뒤, 필요한 경우 백업 파일을 사용해 설정을 되돌립니다. 원격으로만 접속 가능한 장소에서 공유기 설정을 바꾸는 것은 위험합니다. 로컬 접속이 가능한 상태에서 적용하고, 관리 화면과 일반 인터넷이 모두 복구되는지 확인한 뒤 다음 실험을 진행하세요.

자주 묻는 질문

구독 링크를 OpenWrt에 바로 가져올 수 있나요?

구독 링크가 WireGuard 설정 파일이나 OpenVPN 프로필을 직접 제공한다면 해당 형식에 맞춰 가져올 수 있습니다. 그러나 Clash, sing-box, Shadowrocket용 구독 링크는 OpenWrt의 기본 VPN 메뉴가 그대로 이해하지 못할 수 있습니다. 이 경우 호환되는 라우터 패키지와 변환 절차가 필요한데, 펌웨어 버전과 패키지 출처를 확인하지 않은 채 설정 파일을 변환하면 키, DNS, 라우팅 규칙이 손상될 수 있습니다.

기기별로 VPN과 일반 연결을 나눌 수 있나요?

가능합니다. DHCP 예약으로 기기의 내부 주소를 고정한 뒤 정책 라우팅에서 해당 주소를 VPN 인터페이스에 연결하는 방식이 일반적입니다. 스마트폰의 무작위 MAC 주소나 게스트 네트워크를 사용하는 경우에는 주소가 바뀔 수 있으므로, 정책 대상이 계속 유지되는지 다시 확인해야 합니다.

VPN은 연결됐는데 지역이 바뀌지 않는 이유는 무엇인가요?

해당 기기의 트래픽이 실제로 VPN 정책에 포함되지 않았거나, DNS가 일반 WAN으로 처리되고 있을 수 있습니다. 브라우저의 보안 DNS, 앱 내부 프록시, IPv6 경로도 함께 확인하세요. 외부 IP와 DNS 결과를 각각 점검해야 어느 단계에서 일반 경로가 남아 있는지 알 수 있습니다.

설정 후 공유기 인터넷이 끊기면 어떻게 해야 하나요?

먼저 로컬 LAN으로 LuCI에 접속해 VPN 인터페이스와 최근 정책을 비활성화하고 WAN 기본 경로를 복원하세요. 접속할 수 없다면 저장해 둔 설정 백업을 사용하거나 OpenWrt의 복구 절차를 확인해야 합니다. 다음 설정에서는 테스트 기기 하나만 대상으로 삼고, 변경 전 백업 파일을 별도로 보관하는 것이 안전합니다.

OpenWrt에서의 VPN 구성은 단순히 서버 주소를 입력하는 작업이 아니라, 인터페이스·방화벽·라우팅·DNS를 하나의 정책으로 맞추는 과정입니다. 먼저 호환되는 프로토콜로 단일 기기 연결을 확인하고, 그 다음 기기별 분할, 마지막으로 도메인별 예외를 추가하세요. 이러한 순서를 지키면 집 전체의 연결을 관리하면서도 프린터와 스마트홈 기기 같은 로컬 장치의 사용성을 유지하고, 문제가 생겼을 때 원래 네트워크로 안전하게 돌아갈 수 있습니다.