현실에 대한 갈증: GPT-6 Astra 뜯어보기

현대의 모든 언어 모델이 올라서 있는 Transformer 아키텍처는 2017년 구글에서 만들어졌습니다. OpenAI는 그것을 믿는 사람이 거의 없던 시절에 이 아키텍처의 스케일링에 걸었고, 그 뒤로 해마다 플래그십 모델을 내놓고 있습니다. 문제는 새 릴리스마다 진짜 진보가 정확히 어디에서 일어나는가입니다.

2026년 9월 3일 OpenAI는 GPT-6 Astra를 공개하며 AGI 시대의 도래를 선언했습니다. 회사 사장 그레그 브록만은 이 릴리스를 한 문장으로 요약했습니다. ARC-AGI-3 테스트가 완전히 정복되었다고.

몇 시간 뒤, 바로 그 테스트를 만드는 조직이 자체 측정치를 공개했습니다. OpenAI의 숫자와 거의 40퍼센트포인트 차이가 났습니다.

이어지는 네 개의 숫자는 이 릴리스를 둘러싼 모든 마케팅보다 더 많은 것을 말해 줍니다.

ARC-AGI-3는 낯선 상호작용 환경을 파악하는 능력을 검사합니다. 모델은 학습 데이터에 없던 곳에 떨어져 규칙을 진행하면서 알아내야 합니다. 흔히 인간과 통계 모델의 경계라고 불리는 능력이 바로 이것입니다. OpenAI는 99.9%를 보고했습니다. 테스트를 만든 조직 ARC Prize는 62.71%를 측정했습니다. 두 수치 모두 진짜이고, 차이는 모델을 어떻게 실행했는가에 있습니다.

여기서 하네스 이야기가 중요합니다. 하네스는 신경망 자체가 아니라 모델을 둘러싼 얼개, 즉 모델을 실행하고 그 메모를 저장하고 과제를 조각내어 넘기고 답을 모으는 외부 프로그램입니다. OpenAI는 자체 하네스를 썼습니다. 단계 사이에 모델의 내부 추론을 보존하고 긴 대화를 영리하게 압축하는 것이었습니다. ARC Prize의 것은 표준이며 모든 모델에 동일합니다.

ARC Prize의 판정은 이렇습니다. 차이는 메모리 처리에서 비롯되었고 신경망은 두 경우 모두 동일하다는 것. 37퍼센트포인트의 상승분은 모델 주변의 코드, 즉 하네스가 만들어 냈습니다.

ExploitBench는 모델이 프로그램의 취약점을 찾아낼 수 있는지 확인합니다. Astra는 100%를 기록했습니다.

같은 테스트를 과거 취약점 없이, 다시 말해 이미 인터넷에 설명되어 학습 데이터에 들어간 구멍을 빼고 다시 구성하자 39%가 나왔습니다.

몇 년째 이어져 온 논쟁이 그대로 숫자로 드러난 셈입니다. 이미 풀린 적이 있는 과제에서는 결과가 완벽에 가깝습니다. 정말로 새로운 과제에서는 2.5분의 1로 떨어집니다.

물론 알려지지 않은 취약점 탐색에서 39%도 여전히 높은 수치입니다. OpenAI가 이 모델에 사이버 역량의 위험 등급을 부여하고 일부 기능을 공개 접근에서 제외한 데에는 이유가 있습니다. 하지만 100%와 39%의 차이는 무엇보다 이미 알려진 것에 대한 시스템의 좋은 기억력을 말해 줍니다. 근본적으로 새로운 것을 찾아내는 능력에 대해서는 훨씬 적게 말해 줍니다.

독립적인 모델 비교 플랫폼 Artificial Analysis는 종합 지능 지수에서 Astra에 61.2점을 매겼습니다. 이전 모델 GPT-5.6 Sol에는 60.9점이었습니다. 한 세대에 0.3점입니다. 에이전트형 코딩, 즉 모델이 오래 혼자 작업하며 코드를 쓰고 실행하고 오류를 보고 고치는 과제에서도 격차는 있습니다. 67.0 대 65.1. 진보는 있고, 그것은 또다시 모델이 외부 도구와 루프를 도는 지점에 있습니다.

공식 요금에 따르면 Astra는 입력 100만 토큰당 10달러, 출력 100만 토큰당 50달러입니다. 직전 플래그십보다 2.5배 비쌉니다.

정리하면, 종합 지능 지수의 상승분은 거의 없는데 가격은 2.5배가 되었습니다.

상승분은 얼개를 개선한 곳에서 나타납니다. 단계 사이의 기억, 컴퓨터 조작, 긴 행동의 사슬. 모델을 순수한 상태로 측정하는 곳에서는 상승분이 오차 범위 안에 있고, 가격만 몇 배로 올랐습니다.

진보는 신경망에서 그 주변의 엔지니어링으로 이사했다.

메모리 관리로, 코드를 돌리는 샌드박스로, 해 보고 오류를 보고 고치는 순환으로, 외부 도구를 다루는 프로토콜로.

어떤 기술에나 있는 정상적인 단계입니다. 제트 엔진은 한 번 발명되었고, 그 뒤 40년은 기체와 연료와 계기와 정비에 쓰였습니다.

ARC-AGI의 저자이자 언어 모델 과대평가에 가장 가혹한 비판자 중 한 명인 프랑수아 숄레는 Astra 이후 AGI 등장 예측을 앞당겼습니다. 그의 표현으로는 진보가 자신이 예상한 것보다 약 두 배 빠르게 진행되고 있다는 것입니다. 그는 별도로 행동 효율 면에서 Astra가 처음으로 인간과 어깨를 나란히 했다고 짚었습니다. 평균적인 사람은 이 테스트에서 약 48%, Astra는 62.71%입니다. Epoch AI는 자체 역량 지수에서 기록적인 169점으로 Astra를 1위에 올렸습니다. 즉 모델의 암기를 직업적으로 잡아내는 사람들이 근본적인 무언가가 일어났다고 말하고 있는 것입니다.

GPT-5.6 Sol의 7.8%와 Claude Opus 5의 30.2%에서 62.71%로의 도약은 사실이고, 진보는 존재합니다. 다만 맥락이 중요합니다. 숄레 본인이 테스트 결과가 AGI의 등장을 증명하지는 않는다고 강조했고, 숫자가 갈린 원인으로 하네스의 차이를 지목하면서 99.9%와 62.7%를 직접 비교하는 것은 부적절하다고 말했습니다. 테스트를 만든 사람이 AI 거대 기업이 자기 결과를 어떻게 쓰는지 굳이 바로잡는 상황은 드물고 시사적입니다.

모델이 이미 할 수 있는 것과 실제로 업무 프로세스에 들어가 있는 것 사이의 간극은 지금 모델 세대 간의 간극보다 훨씬 큽니다. 시장이 AGI 시대가 왔는지를 논하는 동안, 정작 남아 있는 일은 두 층 아래에 있습니다. 통합, 기억, 접근 권한, 오류 처리, 사람에 의한 결과 검증입니다.

OpenAI가 2.5배를 받는 그 상승분의 상당 부분은 직접 얻을 수 있습니다. 주된 상승분은 모델을 둘러싼 얼개에 몰려 있고, 그 얼개는 이미 평범한 AI 엔지니어들이 쓰고 있기 때문입니다.

시스템을 만드는 사람에게는 좋은 소식입니다. 다음 모델이 모든 것을 대신 해결해 주기를 기다리는 사람에게는 나쁜 소식이고요.