유엔 가이드라인이 던진 생활 속 AI 통제 원칙
교통 신호가 차량 흐름을 계산하고, 민원 시스템이 우선 처리 대상을 고르며, CCTV 분석 프로그램이 도시 안전을 보조하는 장면은 더 이상 먼 미래의 그림이 아니다. 2026년 11월 현재 시민이 체감하는 인공지능(AI)의 접점은 스마트폰 앱보다 도시 행정 안쪽으로 더 깊게 들어갔다.
국제전기통신연합(ITU)과 유엔 해비타트(UN-Habitat)가 발표한 '사람 중심의 스마트 지속 가능한 도시를 위한 U4SSC(United for Smart Sustainable Cities) 툴박스'는 이 변화에 분명한 선을 그었다. 도시가 AI를 쓰더라도 공공 결정은 의미 있는 인간 통제 아래에 남아야 하며, 위험이 이익보다 크면 지방정부가 해당 시스템을 멈추거나 거부해야 한다는 원칙이다.
이 가이드라인의 핵심은 기술 도입 속도를 늦추자는 주장이 아니다. 도시 행정에서 AI를 구매하고 설치하는 순간, 시민의 이동·복지·치안·주거 서비스에 영향을 미치는 판단 구조가 함께 바뀐다는 점을 정면으로 다룬다. ITU와 UN-Habitat는 U4SSC 툴박스에서 네 가지 핵심 원칙을 제시했으며, 그중 가장 실생활에 가까운 조항은 인간 통제와 중단 권한이다.
본지 분석으로는 이 문서가 스마트시티 정책의 무게중심을 '얼마나 빨리 자동화할 것인가'에서 '누가 최종 책임을 질 것인가'로 옮긴 데 의미가 있다. 스마트시티 AI는 시민에게 편리함을 제공할 수 있다. 버스 배차 간격을 조정하고, 상수도 누수를 감지하며, 폭우 때 침수 위험 지역을 먼저 표시하는 식의 활용은 도시 운영 비용을 줄이고 생활 안전을 높일 여지가 있다.
그러나 같은 기술이 복지 대상 선별, 단속 우선순위, 공공주택 배정 같은 영역으로 들어가면 이야기가 달라진다. 개인이 이해하기 어려운 모델이 행정 판단의 앞단에 서고, 담당 공무원이 시스템 결과를 사실상 그대로 따르는 구조가 굳어질 수 있기 때문이다. 유엔 가이드라인은 이 지점을 겨냥해 공공 결정의 최종 통제권이 인간에게 남아야 한다고 명시했다.
광고
가장 눈에 띄는 대목은 '멈출 권리'를 지방정부의 선택지가 아니라 행정 책임의 일부로 다룬 점이다. U4SSC 툴박스는 위험이 입증 가능한 이점보다 클 경우 도시 당국이 AI 시스템을 중단하거나 거부해야 한다고 권고했다.
이는 조달 계약을 맺은 뒤 문제가 생겨도 매몰 비용과 공급업체 논리에 끌려가는 관행을 견제한다. 특히 지방정부는 중앙정부나 대형 기술기업보다 기술 검증 인력과 예산이 부족한 경우가 많다. 그런 조건에서 '도입하지 않는 결정'까지 정당한 정책 행위로 인정한 점은 작지 않다.
본지 분석으로는 이 조항이 단순한 권고를 넘어, 입증되지 않은 기술에 대한 거부를 관료적 비활동이 아니라 건전한 공공 관리의 기준으로 재정의한 데 의미가 있다. 개발도상국 도시에는 이 원칙이 더 직접적인 의미를 갖는다.
U4SSC 툴박스 원문은 개발도상국 지방 행정부가 수입된 턴키 컴퓨팅 인프라의 수동적 테스트베드처럼 취급돼 온 문제를 지적했다. 턴키(Turnkey) 방식은 공급자가 시스템 구축부터 운영 준비까지 묶어 제공하는 형태를 뜻한다. 겉으로는 빠른 도입이 장점이지만, 지방정부가 알고리즘 구조와 데이터 처리 과정을 충분히 이해하지 못하면 운영 주권이 약해진다.
유엔 가이드라인은 이런 구조에서 도시가 '구매자'에 머물지 않고 공공 위험을 판단하는 책임 주체가 돼야 한다고 요구한다.
도시 행정 자동화가 시민 권리와 만나는 지점
U4SSC 툴박스는 아프리카, 아시아, 중동의 도시들이 생성형 AI(Generative AI) 도입에서 강한 모멘텀을 보이고 있다고 언급했다. 구체적인 수치는 원천 자료에서 확인되지 않았으나, 세 권역이 스마트시티 AI 확산의 전면에 서 있다는 점은 원문에서 확인된다.
인프라가 빠르게 늘어나는 도시는 낡은 행정 시스템을 건너뛰고 AI 기반 서비스로 이동하려는 유인이 크다. 문제는 낙관론이 검증 절차를 대체할 때 발생한다.
생활 쓰레기 수거 경로를 최적화하는 시스템과 취약계층 지원 대상을 가르는 시스템은 같은 AI라는 이름 아래 묶이지만, 시민에게 미치는 위험의 크기는 전혀 다르다.
광고
한국 독자에게도 이 논의는 남의 일이 아니다. 국내 지방자치단체들은 교통, 방범, 재난 대응, 민원 상담 등 여러 영역에서 스마트시티 사업을 추진해 왔다.
원본 자료가 한국 사례를 직접 다루지는 않았으나, 시민이 체감하는 쟁점은 같다. AI가 행정 효율을 높이더라도 잘못된 판단이 발생했을 때 누구에게 설명을 요구할 수 있는지, 담당자가 시스템 결과를 뒤집을 권한을 실제로 갖는지, 지방의회와 주민이 도입 전 위험 평가를 확인할 수 있는지가 관건이다. 편리한 앱 화면 뒤에 책임 소재가 흐려지면 스마트시티는 시민 친화적 기술이 아니라 불투명한 행정 장치가 된다.
정책 설계의 첫 단추는 조달 단계에 있다. 도시 AI는 대개 실험실에서 시민에게 바로 전달되지 않는다. 예산 편성, 입찰, 계약, 시범 운영, 확대 적용이라는 행정 절차를 거친다.
이 과정에서 성능 지표만 앞세우면 공급업체가 제시한 정확도와 처리 속도가 정책 판단을 압도한다. 반대로 U4SSC 툴박스가 제안한 인간 통제 원칙을 조달 문서에 반영하면 질문이 달라진다. 어떤 데이터로 학습했는지, 오류가 특정 집단에 몰릴 가능성은 없는지, 담당 공무원이 시스템 권고를 거부할 때 불이익을 받지 않는지 따져야 한다.
반론도 가능하다. 도시가 AI 도입 때마다 위험 평가와 중단 절차를 엄격히 요구하면 행정 효율이 떨어지고, 재난 대응처럼 시간이 중요한 서비스에서는 자동화의 장점이 줄어든다는 주장이다.
이 우려는 현실적이다. 다만 유엔 가이드라인이 말하는 인간 통제는 모든 결정을 회의실로 되돌리자는 뜻이 아니다.
위험 수준에 따라 통제 강도를 달리하고, 시민 권리에 큰 영향을 주는 결정일수록 설명과 이의제기 통로를 두자는 접근에 가깝다. 속도만 기준으로 삼으면 오류가 난 뒤 시민이 감당할 비용을 행정 시스템 밖으로 밀어내게 된다.
한국 스마트시티 정책에도 필요한 ‘거부권’ 설계
더 큰 변화는 AI 거버넌스의 무대가 국제 정상회의나 대형 모델 개발사에서 도시 청사와 구청 민원창구로 내려왔다는 점이다.
광고
그동안 AI 논의는 거대 언어모델, 실존적 위험, 국가 간 기술 경쟁에 치우치는 경향이 강했다. 그러나 시민이 실제로 AI와 마주치는 순간은 버스 노선 개편, 복지 심사, 단속 알림, 재난 문자처럼 생활 행정 안에서 발생한다.
ITU와 UN-Habitat의 U4SSC 툴박스는 이 접점을 제도 언어로 정리했다. 본지 분석으로는 앞으로 스마트시티 정책의 경쟁력은 센서 수나 플랫폼 규모보다 시민이 설명을 요구하고 시스템을 멈추게 할 수 있는 절차에서 갈릴 가능성이 크다.
한국의 정책 방향도 이 흐름을 외면하기 어렵다. 중앙정부가 AI 기본 원칙을 세우더라도 실제 위험은 지방정부의 사업 현장에서 구체화된다. 따라서 지자체가 AI 시스템을 도입할 때 사전 영향평가, 운영 중 감사, 시민 이의제기, 중단 기준을 계약 조건에 명시하는 방식이 필요하다.
U4SSC 툴박스는 법적 강제력을 직접 규정하지 않았지만, 국제기구의 정책 기준은 공공 조달 기준과 도시 평가 지표에 실질적 영향을 미칠 수 있다. 기술을 잘 쓰는 도시가 되려면 먼저 기술을 거절할 수 있는 도시가 돼야 한다. 이 사안의 핵심은 스마트시티를 반대할지 찬성할지의 문제가 아니다.
시민 생활을 바꾸는 행정 AI가 책임의 빈틈을 만들지 않도록, 도입 이전부터 멈춤 장치를 설계해야 한다는 요구다. 빠른 자동화는 눈에 잘 보이는 성과를 만든다.
그러나 공공 부문에서 더 중요한 성과는 시민이 납득할 수 있는 절차와 책임 있는 판단이다. 스마트시티의 다음 단계는 더 많은 알고리즘을 심는 일이 아니라, 알고리즘이 공공 결정을 대신하지 못하도록 도시의 권한 구조를 다시 짜는 일이다. ※ 이 기사는 국제전기통신연합(ITU) 및 유엔 해비타트(UN-Habitat)가 발표한 '사람 중심의 스마트 지속 가능한 도시를 위한 U4SSC 툴박스' 공식 자료를 참조하여 작성했다.
광고
발표 정확 일자와 세부 수치 일부는 제공된 원본 요약 자료에서 구체적으로 확인되지 않았으며, 해당 부분은 본문에서 별도로 표기했다. 공식 자료는 ITU(itu.int) 및 UN-Habitat(unhabitat.org) 공식 홈페이지에서 확인할 수 있다.
FAQ
Q. 일반 시민은 스마트시티 AI 도입에서 무엇을 확인해야 하나
A. 시민은 해당 시스템이 어떤 행정 결정에 쓰이는지 먼저 확인해야 한다. 교통 흐름 분석처럼 집단 단위 운영을 돕는 AI와 복지·단속·주거 배정처럼 개인 권리에 영향을 주는 AI는 위험 수준이 다르다. 지자체가 도입 목적, 사용 데이터, 이의제기 절차, 담당자의 최종 판단 권한을 공개하는지 살펴볼 필요가 있다. 도시 AI가 늘수록 주민 설명회와 지방의회 심의 과정에서 이런 항목이 핵심 점검 대상이 될 것이다.
Q. 유엔 가이드라인은 한국 지방정부에 바로 적용되나
A. 원본 자료만으로는 U4SSC 툴박스가 한국 지자체에 법적 구속력을 갖는다고 확인할 수 없다. 다만 ITU와 UN-Habitat가 제시한 기준은 국제 도시 정책과 공공 조달 논의에서 참고 기준으로 쓰일 수 있다. 한국 지방정부도 스마트시티 사업을 추진할 때 인간 통제, 위험 평가, 중단 기준을 계약과 운영 지침에 반영할 여지가 있다. 법적 의무화보다 행정 관행이 먼저 바뀌면 시민 보호 장치가 더 빠르게 자리 잡을 수 있다.
Q. AI 시스템을 멈추면 도시 서비스가 뒤처지지 않나
A. 모든 AI를 멈추자는 뜻이 아니라 위험이 이익보다 클 때 중단하거나 거부할 권한을 분명히 하자는 의미다. 성능이 검증된 교통·환경 관리 도구는 시민 편익을 높일 수 있지만, 권리 침해 가능성이 큰 영역에서는 더 엄격한 통제가 필요하다. 중단 기준이 계약 단계부터 명시되면 공급업체도 설명 가능성과 안전성을 초기부터 고려하게 된다. 장기적으로는 무리한 도입보다 신뢰를 갖춘 운영 체계가 도시 서비스의 지속성을 높인다.
▶ 법률 고민이 있다면 → 김연순법률노트 무료상담 바로가기
){kind=small}
){kind=small}
){kind=small}
){kind=small}
