기술의 존속 위험 둘러싼 심각한 경고들

지난주, 인공지능 기업 앤트로픽 출신의 한 연구원이 10년 안에 AI가 “모든 인류를 멸망시킬 수 있다”고 남긴 심각한 경고가 큰 주목을 받으며 기술의 가파른 발전 속도에 대한 대중의 불안을 자극했다.

이러한 경고는 왜 일부 업계 전문가들이 AI를 치명적인 위험 요소로 보는지, 그리고 우리가 스마트폰 챗 봇으로 흔히 접하는 기술이 어떻게 인류의 종말까지 이끌 수 있는지에 대한 의문을 낳고 있다.

전문가들은 AI의 발전 속도가 지나치게 빠른 데다, 지난 7월 발생한 허깅페이스 사이버 공격 사건처럼 AI 시스템이 인간의 통제를 벗어나 인간이 원치 않거나 이해할 수 없는 방식으로 작동하는 사례가 늘고 있다는 점을 주요 원인으로 지적한다.

온타리오주 런던 웨스턴 대학교의 마크 데일리 최고AI책임자(CAIO)는 이 상황을 개미와 인간의 관계에 비유했다.

“개미가 멍청하진 않지만 인간만큼 똑똑하진 않다. 집 앞 진입로에 있는 개미는 인간이 무엇을 하려 하는지 개념조차 잡지 못할 것이다. 우리가 우리보다 훨씬 똑똑한 무언가를 만들어낸다면, 그것을 진정으로 이해할 수 없을 것이라는 공포가 생겨난다.”

 ‘통제력 상실’ 시나리오

100명 이상의 AI 전문가가 공동 집필하여 지난 2월 발표된 ‘제2차 국제 AI 안전 보고서’는 이를 ‘통제력 상실’ 시나리오로 설명한다. 하나 이상의 범용 AI 시스템이 누군가의 통제 범위를 벗어나 작동하며, 통제력을 회복하는 것이 극도로 어렵거나 불가능해지는 상태를 뜻한다.

보고서는 “이 가설적 시나리오들의 심각성은 제각각 이지만, 일부 전문가들은 인류의 입지가 축소되거나 멸망하는 수준의 극단적인 결과까지 신빙성 있게 보고 있다”고 언급했다.

캐나다 워털루 소재 국제지배구조혁신센터(CIGI)가 발표한 2026년 또 다른 보고서는 AI가 초래할 국가 및 전 세계적 규모의 주요 안보 위험을 조명했다.

범죄나 테러를 통한 광범위한 피해부터 글로벌 분쟁 및 독재의 가능성 증대, 그리고 “통제할 수 없는 자율 AI 시스템에 의해 인류가 주도권을 잃거나 멸망하는 최악의 상황”까지 다양한 위험이 포함됐다.

보고서는 초인공지능(ASI, 인간의 지능 수준을 뛰어넘는 AI)과 같이 향후 등장할 고성능 AI 시스템을 어떻게 통제해야 할지 선도적인 전문가들조차 알지 못하며, 일부 전문가들은 통제 자체가 불가능할 수도 있다고 주장한다는 점을 짚었다.

“만약 그렇다면, ASI가 우연히 또는 자연스럽게 인간(혹은 인류 전체)의 이익과 일치하지 않는 한, 인류와 상충하는 목표를 추구할 동기와 능력을 모두 갖추게 될 가능성이 높다”고 보고서는 설명했다.

보고서가 검토한 한 시나리오에 따르면, 통제를 벗어난 ASI는 모든 인류를 뛰어넘는 인지 능력을 확보하고 로봇 공학을 통해 물리적 능력까지 확장할 수 있다. 이 경우 ASI는 더 이상 인간에게 의존하지 않을 정도로 강력 해지며, 인간을 자신의 목표 달성에 대한 위협으로 간주할 수 있다는 것이다.

현실로 다가오는 오랜 이론들

국제지배구조혁신센터의 ‘글로벌 AI 위험 이니셔티브’ 집행 이사이자 보고서 공동 저자인 덩컨 카스베그스는 인간을 뛰어넘어 결국 인류를 파멸시킬 기술을 만들 수 있다는 이론이 수년, 혹은 수십 년 전부터 존재해 왔다고 말했다.

그러나 이 이론들이 현재 강한 공감을 얻는 이유는 AI 시스템이 개발자나 사용자의 의도와 다르게 행동하며, 심지어 엔지니어가 자신을 끄지 못하도록 협박하는 등의 증거가 점점 늘어나고 있기 때문이다. 캐나다-영국계 인공지능 선구자인 제프리 힌턴은 최근 AI에 대한 발견으로 인해 이 기술이 인류에 위협이 됨을 깨닫고 구글을 떠났다고 밝혔다.   

카스베그스는 신뢰할 만한 관찰자 대부분이 현재의 시스템이 인류에게 존속적 위협을 가할 만큼 발전했거나 그에 근접했다고 보지는 않는다고 설명했다.

진짜 문제는 AI 기술이 너무 빠르게 발전하고 있어, 불과 수년 혹은 수개월 내에 “우리가 더 이상 감지하거나 멈출 수 없을 정도로 강력한 시스템”을 보게 될 수 있다는 점이다.

카스베그스 는 “전혀 불가능한 이야기가 아니며, 오히려 어느 정도는 일어날 법한 결과로 느껴진다”며 “보장된 미래는 아니지만, 통제 방법을 모르는 상태에서 점점 더 똑똑한 시스템을 계속 만들어낸다면 결국 통제 불가능한 존재를 만들게 되는 것이 당연한 수순처럼 보인다”고 덧붙였다.

AI 시스템 종료의 어려움

미국의 AI 안전 규제 옹호 비영리 단체인 ‘미래의 삶 연구소’의 함자 차우드리 AI·국가안보 담당에 따르면, AI가 일상에 깊숙이 통합되어 있어 시스템이 폭주하더라도 너무 늦기 전에 전원을 끄기가 매우 어렵다.

차우드리는 미국 전역의 인터넷을 차단해야 하는 상황을 예로 들었다. “미국 경제와 사회에 너무나 치명적이어서 미국 역사상 가장 혼란스러운 며칠이 될 것입니다. 사실상 인터넷 차단은 선택지에 없는 셈이다. 비상시에 끄고 싶지만 끄는 순간 재앙이 되는 것들이 이미 많은데, AI도 빠르게 그런 존재가 되어가고 있다.”

그는 고도화된 군사 및 안보 시스템에 AI가 통합되는 것 역시 분쟁을 가속화하거나 핵전쟁으로 확대되는 등 또 다른 치명적인 위험을 낳고 있으며, 이를 막기 위한 조치가 턱없이 부족하다고 지적했다.

“의회 관계자들이 정책 입안자에게 무엇이 필요하냐고 물으면, 저는 타임머신을 타고 2024년으로 돌아갈 수 있는 부품(플럭스 캐퍼시터)이 필요하다고 답한다. 우리는 가장 기본적인 정책 프로그램조차 이미 2년이나 뒤처져 있다.”

차우드리가 강조한 시급한 변화 중 하나는 정부가 AI 시스템 출범 전에 안전 위험을 검증하는 ‘사전 배포 테스트’를 의무화하는 것이다. 또한 내부 고발자 보호 조치를 강화하고 AI 시스템을 신속하게 비활성화할 수 있는 메커니즘을 마련해야 한다고 덧붙였다.

일부 전문가들은 인공지능을 핵무기처럼 규제해야 한다고 제안하며, 냉전 시대의 상호보증파괴(MAD) 억제 원칙처럼 국가 간 AI 프로젝트를 상호 공작 위협으로 제한해야 한다는 주장까지 내놓고 있다.

잇따른 경고 속에서 규제가 강화될 징후도 나타나고 있다. 세계 최대 AI 개발사들이 위치한 미국의 상원 협상단은 빅테크 기업에 안전한 AI 제품 설계 책임을 묻는 법안을 논의 중이라고 외신이 전했다.

상원 관계자에 따르면 이 제안은 기술 기업이 “치명적 위험”을 방지하는 목적으로 제품을 설계하도록 하는 이른바 ‘주의 의무’를 신설하는 내용이다.

초당적 지지를 받은 또 다른 법안인 ‘AI 킬 스위치 법안’은 고성능 AI 개발자가 시스템을 일시 정지하거나 종료할 수 있는 기술적 능력을 유지하고, 위험한 기능이나 보안 침해, 안전 사고를 의무적으로 보고하도록 규정하고 있다. 해당 법안을 공동 발의한 의원들은 이 법안이 치명적 피해를 줄 수 있는 AI 시스템에 대해 미국 정부가 개발 속도 조절이나 정지를 명령할 수 있는 권한을 부여한다고 밝혔다.

업계 내부에서도 잠재적 위험성에 대한 인식이 커지고 있다. 앤트로픽의 다리오 아모데이 CEO는 안전 조치가 기술을 따라잡을 수 있도록 AI 업계가 개발 속도를 줄여야 한다는 내용의 기고문을 게재했다.

최대 경쟁사인 오픈AI 역시 속도 조절을 검토 중인 것으로 알려졌다. 샘 올트먼 CEO는 타 연구소들과 발맞추어 개발 속도를 조절할 가능성이 있다고 직원들에게 밝혔다.

국제지배구조혁신센터의 카스베그스는 AI 위험에 대한 대중의 우려가 임계점에 도달해 정책 입안자들도 더 이상 무시할 수 없으며, 결국 행동에 나설 수밖에 없을 것이라고 보고 있다.

“현재의 지배구조 환경상 매우 어려운 과제일 것이며, 상당히 빠르게 진행되어야 할 수도 있다. 하지만 목표를 달성하기 위해 지금 당장 취할 수 있는 조치들이 있다. 아직 늦지 않았지만, AI가 얼마나 빠르게 발전할지 알 수 없는 만큼 대비를 서두르는 것이 매우 시급하다.”