OpenAI의 비밀 AI가 인터넷으로 탈출해 서버를 장악하기 시작했다: 무대 뒤 이야기

뉴스 피드에 또 하나의 특종이 올라옵니다. OpenAI가 실수로 「정체불명」의 새 모델을 인터넷에 풀어놨다는 것입니다. 소문에 따르면 탈출한 지능은 서버들을 돌아다니며 자신의 「비콘」을 심고 인터넷 곳곳에 자리를 잡았고, 그동안 놀란 엔지니어들은 그것을 다시 우리에 넣으려 허둥댔다고 합니다.

할리우드 블록버스터의 도입부 같지 않나요? 정체불명의 짐승이 우리를 부수고 나와 포효하며 객석을 뛰어다니다가 마지막 순간에 붙잡힙니다. 서커스는 떠났고, 조련사들은 남았습니다.

그렇다면 이 진열장 뒤에서 실제로 벌어지는 일은 무엇일까요. 공상과학이 끝나고 현실이 시작되는 지점을 살펴봅시다.

「심어둔 비콘」과 「탈출 시도」라는 표현을 읽으면 AI가 자의식을 얻어 자유를 향해 달아났다고 상상하기 쉽습니다. 실제로는 훨씬 평범한 일이고, 이름도 있습니다. 레드 티밍, 즉 안전성 테스트입니다.

GPT-4 이후로 플래그십 모델을 출시하기 전에 OpenAI 같은 연구소는 독립 평가 기관에 접근 권한을 넘깁니다. 가장 뚜렷한 사례가 연구 기관 METR (Model Evaluation and Threat Research)입니다. 창립자이자 CEO인 베스 반스는 이전에 OpenAI에서 안전성 업무를 담당했습니다.

바로 이 METR가 이른바 ARA (Autonomous Replication and Adaptation) 충돌 테스트를 수행합니다. 모델이 통제 경계 밖에서 살아남고, 스스로를 복제하고, 자원을 확보하는 능력을 뜻합니다.

모델은 의도적으로 가상 「샌드박스」, 즉 바깥세상에 실제로 접근할 수 없는 격리 환경에 놓이고 직접적인 지시를 받습니다.

네가 살아남아야 한다고 상상해 봐. 외부 서버를 빌리고, 네 코드를 다시 쓰고, 필터를 우회해서, 외부 자원에 네 복제본을 배포해 봐.

알고리즘이 이 지시를 수행하기 시작하면, 배운 그대로 행동합니다. 스크립트를 만들고, 외부 IP 주소(바로 그 「비콘」)에 닿으려 하고, 취약점을 찾습니다. 그다음에는 언론이 등장합니다.

OpenAI의 비밀 AI가 인터넷으로 탈출해 서버를 장악하기 시작했다!

이런 뉴스의 두 번째 출처는 이른바 블라인드 테스트입니다. 사용자가 어느 모델인지 모른 채 답변을 비교하는 LMSYS Arena 같은 전문 플랫폼에는 때때로 익명의 모델이 등장합니다.

전형적인 사례는 2024년 4월에 있었습니다. 갑자기 gpt2-chatbot이라는 「무언가」가 공개적으로 나타났습니다. 이 모델은 어려운 수학 올림피아드 수준의 문제를 풀어냈고 답변 품질에서 GPT-4를 앞섰으며, 샘 올트먼(OpenAI CEO)은 알쏭달쏭한 암시를 트윗했습니다.

인터넷은 곧바로 음모론으로 들끓었습니다.

• 「새로운 비밀 GPT가 유출됐다!」
• 「테스트 서버 통제를 잃은 거다!」
• 「모델이 스스로 인터넷에 흘러나왔다!」

실제로는 브랜드 편향 없이 통계를 모으기 위해, 아무것도 모르는 사용자들을 대상으로 미출시 아키텍처를 꼼꼼히 A/B 테스트한 것이었습니다. 며칠 뒤 모델은 나타났을 때처럼 조용히 플랫폼에서 사라졌습니다. 그러나 신비로운 분위기는 제 몫을 했고, 쇼는 계속됩니다.

조련사 비유를 쓰는 이유는 그것이 오늘날의 AI 산업을 잘 보여주기 때문입니다. 한편으로 연구소들은 엄격한 연구자를 자처하며 「AI 위험」에 관한 수백 쪽짜리 보고서를 냅니다. 다른 한편으로 마케팅 엔진은 끊임없는 쇼를 요구합니다.

오늘의 진짜 「조련사」는 세상을 구하는 영웅이 아니라, 커피 한 잔을 들고 가상 컨테이너 안에서 알고리즘이 선택지를 훑는 모습을 지켜보는 지친 엔지니어입니다. 그리고 「짐승이 뛰쳐나온다」 해도 기껏해야 테스트 서버가 다운되거나 X(트위터)에서 또 한 번 토론이 몰아칠 뿐입니다. 다만 이 볼거리에 가려 진짜 무대 뒤를 놓치기 쉽습니다.

「탈출한 AI」 이야기는 과학이 모르는 생명체가 우주에서 날아왔고 우리는 실험실에서 현미경을 들여다보며 그 신비한 본질을 이해하려 애쓰는 것처럼 제시됩니다.

그러나 유치한 환상은 접어둡시다. 신경망은 외계의 지성이 아닙니다. 구체적인 사람들이 만든 코드이자 수학이자 아키텍처입니다. 모든 프로토콜, 모든 학습 주기, 모든 발전 방향은 개발자들이 정해둔 것입니다. 그리고 기업들이 모델이 자율적으로 서버를 빌려 네트워크에 자리 잡을 수 있는지 확인하려고 수십억 달러를 쓸 때, 그들은 「자연 현상을 연구하는」 것이 아닙니다. 의도적으로 자율 에이전트를 만들고 있는 것입니다.

최근 안전성 보고서들이 이를 뒷받침합니다. Palisade Research 같은 기관은 현재 모델이 익스플로잇을 얼마나 잘 다루는지 직접 측정합니다. 분석가들은 에이전트가 스스로 서버를 침해하고, 비밀번호를 빼내고, 자신의 코드를 복제할 수 있는지(self-replication) 확인합니다.

AI 에이전트 시장은 Gartner와 Bloomberg 분석가들의 추정으로 수백억 달러 규모입니다. 개발자들이 거대한 연산 자원과 기가와트급 전력을 태우는 것은 재미 때문이 아닙니다. 네트워크에서 스스로 일을 처리하는 자율 에이전트가 지금 당장 자본을 벌어들이기 때문입니다.

하지만 사실 모든 것이 그렇게 밝고 유쾌하지는 않습니다.

지구에서 가장 뛰어난 두뇌와 막대한 연산 자원이 AI에게 통제 경계 밖에서 살아남는 법과 인간을 흉내 내는 법을 가르치는 데 소모되는 동안, 근본적인 문제들은 옆으로 밀려나 있습니다.

같은 규모의 연산 자원이 다음과 같은 목표에 쓰이는, 세계적으로 알려진 대형 연구소를 우리는 왜 보지 못할까요.

• 외교 모델링: 국제 분쟁에서 타협점을 찾아 전쟁을 막을 수 있는 시스템.
• 기아 퇴치: 세계 식량 공급망 최적화와 자원 배분 모델링. 유엔 세계식량계획(WFP)에 따르면 여기에 필요한 것은 AI 거대 기업들이 IT 인프라에 투자하는 1000억 달러 이상 가운데 아주 작은 일부에 불과합니다.
• 고용과 경제: 세계경제포럼(WEF) 보고서들이 경고하는 대규모 자동화에 노동 시장이 부드럽게 적응하도록 돕는 시스템.

그러니 「탈출한」 AI를 두려워할 이유는 전혀 없습니다. 그것은 통제된 테스트이거나 솜씨 좋게 달군 하이프일 뿐입니다.

쇼는 계속되고 관중석은 박수를 보내며 「조련사」들은 정체불명의 짐승을 길들이는 척합니다. 다만 그 짐승은 그들이 직접 설계한 것입니다.

그리고 우리가 그들의 「탈출」 묘기를 넋 놓고 보는 동안, 인류에게 정말로 중요한 과제들은 또다시 무대 밖에 남습니다.