뉴욕시의회가 10월 5일(현지시간) 시의원 51명 전원이 참여하는 전원위원회를 열고 AI 위험을 다루는 법안 10건을 심의했다. OpenAI·Anthropic·구글·메타의 정책 담당자 4명이 화상으로 선서하고 증언했고, 전직 AI 연구원 3명이 따로 증언했다. 법안은 아직 표결 전이다. 10건 중 8건은 정식 번호도 받지 않은 사전심의 안건이다.
기업 쪽은 규제 자체에는 선을 긋지 않았다. 다만 위험 수치와 검증 실패 시 출시 중단, 법적 책임처럼 시의회가 법안으로 겨냥한 구체적 약속 앞에서는 확답이 나오지 않았다.
시의원 51명 전원위원회를 연 이유…”AI 자율 규제는 이치에 안 맞는다”
전원위원회는 시 전체에 중대한 사안이 있을 때만 드물게 소집되는 형식이다. 시의회는 9월 16일 보도자료에서 청문회 개최를 알리며 이렇게 설명했다. 줄리 메닌 의장은 청문회에서 “AI가 스스로 규제할 것이라는 생각은 모든 이성에 어긋난다”고 말했다.
청문회는 지난주 미국 백악관과 주요 AI 기업들이 자발적 AI 안전 합의에 서명한 직후에 열렸다. 메닌 의장 설명에 따르면 메타가 가장 먼저 참석을 확정했고, Anthropic·OpenAI·구글은 소환 경고를 받은 뒤 참석에 합의했다. 소환장을 받은 1개사는 끝내 출석하지 않았다.
제3자 검증·셧다운 기능·24시간 사고 보고…법안 10건이 묻는 것
기업에 요구한 약속이 무엇인지는 법안 조항에서 드러난다. 가장 무게가 실린 것은 메닌 의장이 낸 제3자 검증 법안이다. 검증을 받지 않았거나 사람이 멈출 수 있는 기술적 기능이 없는 AI 모델은 시내에서 판촉·판매·배포할 수 없다. 현지 매체는 이 셧다운 기능을 ‘킬 스위치’라고 불렀다. 위반하면 건당 2만 5,000달러의 민사 벌금이 붙는다.
| 쟁점 | 대표 발의 | 핵심 의무 | 시행 |
|---|---|---|---|
| 제3자 검증·셧다운 기능 | 줄리 메닌 의장 | 검증 없거나 사람이 멈출 기능 없는 AI 모델 시내 판매 금지, 위반 건당 2만 5,000달러 | 공포 후 180일 |
| AI 위반 시민 신고 | 줄리 메닌 의장 | 신고자에게 회수액의 25%(직접 집행 시 50%) | 공포 후 180일 |
| 안전사고 보고 | 카밀라 행크스 | 시 계약업체·기관이 24시간 안에 시 사이버사령부에 보고, 24시간 안에 공개 | 공포 후 180일 |
| 오남용 피해 소송권 | 버지니아 멀로니 | 예견 가능한 피해에 합리적 안전장치가 없으면 제공사 상대 소송 가능 | 즉시 |
| 내부고발자 보호 | 케빈 라일리 | AI 관련 공중보건·안전 위험 신고를 시 내부고발자법 보호 대상에 포함 | 공포 후 60일 |
| AI 비상대응계획 | 치 오세 | 시 사이버사령부·비상관리국이 120일 안에 대응계획 수립 | 즉시 |
자료: 뉴욕시의회 위원회 보고서(2026년 10월 5일 청문회). 10건 중 8건은 사전심의 법안으로 표결 전
사고 보고 법안은 적용 대상이 좁다. 24시간 안에 보고할 의무는 AI 기업 일반이 아니라 시와 계약한 업체와 시 기관에 있다. 시 기술혁신국 산하 사이버사령부가 보고를 받아 24시간 안에 시 웹사이트에 공개한다. 소송권 법안은 제3자의 오남용 피해가 예견 가능했는데도 합리적 안전장치가 없었을 때에 한해 피해자가 AI를 제공한 회사를 상대로 소송을 낼 수 있게 했다. 시민 신고 법안은 집행으로 회수한 금액의 25%를 신고자에게 주고, 신고자가 직접 집행에 나서면 50%를 준다.
법안 10건 가운데 정식 번호가 있는 것은 2건이다. 나머지 8건은 임시번호만 달린 사전심의 안건이어서 문구가 바뀌거나 폐기될 수 있다. 10월 6일 오전 기준 안건 페이지에는 회의록과 표결 결과도 올라와 있지 않다.
위험을 수치로 묻자 4개사 모두 숫자를 내놓지 않았다
메닌 의장이 최악의 시나리오 위험을 확률로 말할 수 있느냐고 묻자 4개사 가운데 수치를 댄 곳은 없었다. OpenAI 정책개발·운영 총괄 모건 드와이어(Morgan Dwyer)는 “잘 모르겠다”고 답한 뒤, 재앙적 문제가 생길 확률이 1%든 10%든 20%든 어느 수준도 받아들일 수 없다고 했다. 인간의 통제 아래 둘 수 있다는 강한 근거가 없는 모델은 훈련하지 말아야 한다는 말도 덧붙였다. 메닌 의장은 “모른다, 중요하지 않다고 말하는 것은 기껏해야 경솔하다”고 받았다.
Anthropic 프런티어 레드팀 총괄 로건 그레이엄(Logan Graham)은 사이버보안에서 통제 상실까지 위험을 평가하는 작업을 설명했지만 백분율은 내놓지 않았다. 메타 AI 정책 담당 셰인 케이힐(Shane Cahill)은 부정확하게 말하고 싶지 않다며 나중에 답하겠다고 했다. 구글 AI 정책 담당 앨리스 프렌드(Alice Friend)의 설명은 결이 달랐다. 미래의 재앙적 AI 사건에 확률을 매길 엄밀한 과학적 방법이 아직 없다는 것이다. 프렌드는 이 분야가 “현 단계에서는 완벽한 과학이 아니다”라고 말했다. 프렌드의 답은 수치를 낼 측정 방법 자체가 아직 없다는 설명이었다.
검증에 실패하면 출시를 멈추겠느냐는 질문은 제3자 검증 법안과 맞닿아 있다. 메닌 의장은 내부 안전시험이나 독립 제3자 검증을 통과하지 못하면 출시하지 않겠다고 약속하겠느냐고 물었다. OpenAI는 안전하다고 믿지 않는 모델은 내놓지 않으며 과거에 출시를 늦춘 적도 있다고 답했지만, 검증에 실패하면 멈추겠느냐는 물음에는 전반적인 안전 절차를 다시 꺼냈다. 나머지 3개사도 검토 절차를 설명했을 뿐 일괄 약속은 하지 않았다. 메닌 의장은 이런 사안에서는 “간단한 예, 아니오가 대중에게 더 큰 신뢰를 줄 것”이라고 말했다.
법적 책임을 묻는 질문에서도 답의 모양은 갈렸다. 드와이어는 시스템을 안전하게 개발하고 평가할 책임은 있다면서도 가정 상황의 법적 책임에는 직접 답하지 않았다. 그레이엄은 기술 연구자로서 자신의 전문 영역 밖이라고 했고, 케이힐은 법무 담당이 아니라 추측하지 않겠다고 했다. 프렌드는 기존 법체계가 AI에도 적용된다며 “AI 없이 불법이면 AI를 써도 불법”이라고 말했다.
OpenAI·구글은 규제 지지…쟁점은 어느 단위에서 어떤 약속을 받느냐
규제 원칙을 두고는 오히려 기업 쪽에서 지지 발언이 나왔다. 드와이어는 자발적인 업계 약속만으로는 부족하며 프런티어 AI에 대한 정부 규제를 지지한다고 밝혔다. 프렌드는 포괄적인 연방 프레임워크를 지지한다고 했고 국가안보도 언급했다. Anthropic의 그레이엄도 스마트 규제를 환영한다는 입장이었다.
결국 청문회의 초점은 규제를 할지 말지가 아니라 어디서, 어떤 약속으로 하느냐였다. 표의 법안들은 판매 금지는 시내로, 사고 보고는 시 계약업체와 시 기관으로 범위를 좁혔다.
전직 연구자들은 법안 너머를 말했다…투명성, 속도 조절, 정렬 실패
청문회에는 기업 쪽과 다른 증언도 나왔다. 전 OpenAI·Anthropic 연구원 제이컵 콕슨(Jacob Coxon)은 이런 법안이 단기적으로는 도움이 될 수 있다고 봤다. 그러면서 기업들이 대중과 독립 전문가에게 훨씬 투명해져야 하고 “안전하다고 확신할 수 있을 때까지 프런티어 AI 개발 속도를 늦춰야 한다”고 했다. 지금 경로대로라면 인류가 AI에 대한 통제를 잃을 가능성이 더 높다는 게 자신의 평가라고도 했다. 개인 견해를 전제로 한 말이다.
전 OpenAI 연구원 대니얼 코코타일로(Daniel Kokotajlo)는 AI의 목표가 개발자 의도와 어긋나는 정렬 실패를 알아채는 능력이 낮고 오히려 나빠지고 있다고 말했다. 지금의 안전 조치가 나중에 떨어져 나갈 덕트테이프일 수 있다는 비유도 썼다. 전 구글 딥마인드 연구원 알렉스 터너(Alex Turner)는 “중국만이 우리의 잠재적 적은 아니다”라며, 상당히 높은 확률로 정렬되지 않은 AI라는 적을 우리 스스로 키우고 있다고 말했다.
기업 쪽은 규제에는 반대하지 않으면서 약속 앞에서는 신중했고, 전직 연구자들은 법안이 닿지 않는 지점까지 말했다. 메닌 의장은 청문회를 마치며 “오늘 답을 듣지 못했다고 느끼는 질문이 시의회에 아직 많다”고 했고, 4개사에 서면 질의 목록을 보내겠다고 밝혔다. 사전심의 법안 8건은 정식 번호 부여와 위원회 표결이 남아 있다.
연관 기사
