‘나는 로봇이 아닙니다’를 증명하는 게임을 AI가 끝까지 풀었다면, 이제 AGI라고 불러도 될까요. Astra를 둘러싼 관심은 이 질문에서 출발하지만, 실제로 달라진 것을 이해하려면 인증 문구보다 화면을 읽고, 도구를 고르고, 여러 행동을 끝까지 연결하는 능력을 봐야 합니다.
OpenAI가 9월 3일 공개한 GPT-6 Astra는 컴퓨터 사용 능력을 전면에 내세웠습니다. 이후 피아노 연주와 그림판 작업 같은 시연이 주목받았습니다. 흥미로운 장면은 분명합니다. 다만 게임 완주, 멋진 결과물, 독립 벤치마크, AGI 판정은 서로 다른 증거입니다.
인간 인증 48단계, 정확히 무엇을 통과했나
Sharif Shameem은 Astra가 Neal Agarwal의 ‘I’m Not a Robot’ 게임 48개 레벨을 모두 완료했다고 공개했습니다. 게임 제작자도 해당 게시물에 반응했습니다. 여기서 확인할 수 있는 사건은 특정 브라우저 게임의 완주입니다. 원문 게시물
이 게임은 인간 인증의 익숙한 형식을 문제와 장난으로 바꿉니다. 따라서 마지막에 인간이라는 인증을 받았다는 표현을 실제 서비스의 신원 확인 판정으로 읽으면 안 됩니다. 48개 레벨은 인터넷의 모든 CAPTCHA 종류 48개를 뜻하지도 않습니다.
이 사례가 흥미로운 이유는 ‘인간’이라는 글자보다 바뀌는 화면의 요구를 읽고 다음 행동을 정해야 한다는 점입니다. 한 번 이미지에서 물체를 찾는 문제와 여러 단계의 상호작용을 이어 가는 문제는 다릅니다. 그렇지만 성공한 시연 하나로 재시도 횟수, 사람의 개입, 다른 환경에서도 같은 결과가 나올 확률까지 알 수는 없습니다. 전체 실행 기록이 없는 상태에서 ‘무개입·한 번에 완벽히 통과’라고 확대할 근거는 부족합니다.
게임의 완주가 놀랍다는 판단과 실서비스의 인간 인증이 무력화됐다는 주장은 분리해야 합니다. 전자를 관찰했다고 후자까지 입증한 것은 아닙니다. AGI 여부를 묻기 전에, 무엇을 성공으로 세었는지부터 고정할 필요가 있습니다.
Computer Use, 답변을 넘어 앱 안에서 일하는 능력
Astra에서 눈여겨볼 큰 변화는 Computer Use, 즉 화면을 보고 마우스·키보드로 앱을 조작해 작업을 이어 가는 능력의 개선입니다. 방법을 설명하는 데서 끝나는 것이 아니라, 현재 화면에서 목표를 찾고 행동한 뒤 바뀐 결과를 확인하는 과정이 핵심입니다. 피아노와 그림판은 이 변화가 눈에 잘 보이는 사례입니다.
OpenAI는 화면 조작의 정확도와 속도가 개선됐다고 설명하며, 온라인 양식 작성, CRM 정보 수정, 일정 정리, 문서·스프레드시트 작업, 소프트웨어 설치·테스트와 화면 속 문제 해결을 예로 듭니다. 모델뿐 아니라 이를 실행하는 Codex 환경의 속도 개선도 함께 발표했습니다. 따라서 이번 변화를 새로운 버튼 몇 개의 추가보다는 여러 앱 안에서 연속된 행동을 수행하는 능력과 실행 환경의 개선으로 읽는 편이 정확합니다. OpenAI의 Computer Use 발표
기존 모델 대비 얼마나 좋아졌나
OpenAI 발표 표에서는 화면의 목표를 찾는 능력과 컴퓨터 과제 수행뿐 아니라 업무 자동화, 터미널 작업, CAD도 함께 개선됐습니다. 아래는 GPT-5.6 Sol과 GPT-6 Astra의 같은 발표 내 수치입니다. 지표마다 과제가 다르므로 점수 크기로 분야 간 우열을 매길 수는 없습니다.
| 구분 | 역할 | 설명 | 예시 |
|---|---|---|---|
| ScreenSpot-Pro | 화면에서 조작할 목표 찾기 | Sol 76.9% → Astra 92.7% | 도구 없음 |
| OSWorld 2.0 | 컴퓨터 환경에서 과제 수행 | Sol 65.7% → Astra 72.6% | 오프라인·부분 점수 / v2026.08.08 |
| AutomationBench | 업무 자동화 과제 수행 | Sol 18.1% → Astra 41.4% | OpenAI 발표 표 기준 |
| Terminal-Bench 4.0 | 터미널 환경에서 과제 수행 | Sol 37.3% → Astra 57.9% | GUI 조작과는 별도 평가 |
| BenchCAD | CAD 작업 수행 | Sol 83.3% → Astra 95.9% | 전문 작업 평가 |
OSWorld 수치는 v2026.08.08 조건입니다. 같은 발표의 지연시간 시뮬레이션에서는 과제당 약 75분에서 40분으로 줄었습니다. 이는 실제 모든 업무가 47% 빨라진다는 보장이 아닙니다. 각 행은 평가 설정 안에서의 결과이며, 공급자가 보고한 성능이라는 점도 남겨 두어야 합니다. 평가 수치와 조건
이 변화가 실무에서 의미 있으려면 우리 파일을 읽을 수 있는지, 필요한 앱을 조작할 수 있는지, 완료 여부를 확인할 수 있는지, 사람이 결과를 수정할 수 있는지를 살펴야 합니다. 모든 앱과 계정에서 곧바로 같은 작업을 맡길 수 있다는 뜻은 아닙니다.
이제 피아노와 그림판을 보면 시연의 관전 포인트도 달라집니다. 단순히 결과물이 멋진가보다 어떤 입력을 조합하고, 어떤 도구를 선택해 결과까지 연결했는가를 보게 됩니다.
피아노 연주에서 드러난 자연스러운 화면 조작
Victor Nunez가 공개한 시연에서 Astra는 브라우저 피아노로 빠른 곡을 연주했습니다. 오른손은 마우스로 건반을 누르고, 왼손과 빠른 구간은 키보드 입력을 함께 사용했습니다. 여러 입력을 나눠 쓰면서도 연주 흐름이 자연스럽게 이어져, Astra의 Computer Use가 얼마나 민첩해졌는지 직관적으로 보여 줍니다. 피아노 시연, 입력 방식 설명
피아노 연주는 건반 위치만 찾는 것으로 끝나지 않습니다. 어떤 음을 언제 누를지 정하고, 입력을 겹치며, 빠른 구간에서도 순서를 놓치지 않아야 합니다. Astra가 이 과정을 꽤 매끄럽게 이어 간 모습은 한 번의 클릭보다 긴 동작을 계획하고 실행하는 능력이 좋아졌다는 인상을 줍니다.
그림판은 이미지 생성과 다른 시험이다
AI에게 자전거 이미지를 생성해 달라고 하는 것과 그림판을 열어 자전거를 그리게 하는 것은 결과가 비슷해 보여도 과정이 다릅니다. 후자는 도구를 선택하고, 캔버스 위치를 찾고, 선을 긋고, 잘못된 부분을 수정해야 합니다. 완성된 그림을 붙여 넣는 것만으로는 그 작업을 수행했다고 보기 어렵습니다.
연구자 Sebastian Raschka는 자신의 사진을 브라우저판 Paint에서 마우스로 다시 그리도록 Astra Medium과 High에 요청한 비교를 공개했습니다. 그가 강조한 것도 그림의 미감뿐 아니라 인터페이스를 조작하는 능력입니다. 이는 작성자가 직접 시험한 기록이 아니라 외부 연구자가 공개한 개별 사용 사례입니다. Raschka의 그림판 시연
이 차이를 업무에 옮기면 ‘그럴듯한 보고서 그림’과 ‘수정할 수 있는 보고서 파일’의 차이가 됩니다. 차트가 예쁘더라도 원본 데이터와 연결되지 않거나 숫자가 틀리면 다시 만들어야 합니다. 도구 사용의 개선은 보기 좋은 결과물보다 사람이 이어서 편집하고 검수할 수 있는 작업 상태로 평가할 때 의미가 커집니다.
OpenAI 표와 Artificial Analysis는 왜 다른 말을 했나
‘OpenAI 표에서는 Astra가 앞서지만 독립 평가에서는 Fable 5.1이 두 대표 지수 모두 앞선다’는 설명은 출시 직후 자료를 읽은 이야기로 구분해야 합니다. OpenAI 발표에 남아 있는 AA Intelligence Index v4.1.1 행은 Astra 61.2, Fable 5.1 65.7입니다. 반면 Fable 5.1 수치가 비어 있는 행도 있으므로 ‘모든 항목에서 비교해 이겼다’고 세어서는 안 됩니다.
이후 평가 결과가 갱신됐습니다. 2026년 9월 9일자 Artificial Analysis 분석에서는 Astra와 Fable 5.1이 두 대표 지수 모두 동점으로 보고됐습니다. 따라서 이 글에서는 출시 직후의 Fable 5.1 우위와 9월 9일자 동점 결과를 구분하고, 현재 비교에는 후자를 반영합니다. Intelligence Index는 Astra max와 Fable 5.1 max with fallback이 각각 53점입니다. Coding Agent Index는 Codex의 Astra와 Claude Code의 Fable 5.1이 각각 62점입니다. Artificial Analysis 최신 분석
같은 분석에서 Intelligence Index 과제당 비용은 Astra 3.26달러, Fable 5.1 7.63달러입니다. 다만 Astra max는 Sol보다 약 60% 비쌌습니다. 코딩 지수에서도 Astra는 Fable보다 저렴했지만, Sol보다 저렴한 것은 아니었습니다. 이 비용은 해당 평가의 작업당 비용이지 독자의 월 구독료나 실제 프로젝트 견적이 아닙니다.
우열이 달라 보이는 이유를 ‘한쪽이 틀렸다’로 정리하면 놓치는 것이 있습니다. AA는 9월 7일 Intelligence Index v4.3에서 Terminal-Bench를 v4로 바꾸고, 은행 업무 평가 대신 AutomationBench-AA를 넣었습니다. 시험지와 가중치 구성이 바뀌면 점수의 척도도 달라집니다. 이전의 61.2와 지금의 53을 빼서 모델이 퇴보했다고 해석할 수 없습니다. 다만 이 개편 하나가 순위 변화의 모든 원인이라고 단정할 수도 없습니다. AA v4.3 변경 내역
평가 대상도 구별해야 합니다. 코딩 에이전트 지수는 모델만 떼어 재는 시험이 아니라 Codex나 Claude Code 같은 실행 환경과 결합한 결과입니다. 도구, 재시도, 문맥 관리 방식이 다르면 같은 모델도 다른 성적을 낼 수 있습니다.
동점이라는 최신 결론도 ‘모든 업무가 같다’는 뜻은 아닙니다. AA는 Astra의 장기 지식 업무 분석 품질 향상을 관찰했지만 표현 품질에서는 Sol이 앞섰다고 설명했습니다. DeepSWE 역시 Astra 68%, Sol 72%로 반례가 있습니다. 최고 모델 하나를 고르는 대신 내가 반복하는 작업에서 중요한 항목을 고르는 편이 더 유용합니다.
ARC-AGI-3의 높은 점수는 어디까지 말해 주나
AGI를 일상적으로 ‘여러 일을 잘하는 AI’ 정도로 쓰면 최신 모델이 나올 때마다 기준이 바뀝니다. ARC Prize는 새로운 기술을 인간처럼 효율적으로 습득할 수 있는지를 중요하게 봅니다. 익숙한 문제의 정답을 많이 아는 능력과 낯선 환경에서 규칙을 알아내는 능력을 구별하려는 접근입니다.
ARC Prize가 공개한 Astra 결과는 인상적이면서도 실행 조건의 중요성을 보여 줍니다. 표준 실행 환경의 max는 62.7%, 제공자 adapter를 사용한 max는 **98.6%**였습니다. 널리 인용된 99.9%는 adapter를 사용한 high 결과입니다. 같은 추론 강도의 두 결과처럼 묶으면 안 됩니다. ARC Prize의 원문 평가
이 adapter는 여러 요청 사이에 모델의 비공개 추론 상태가 이어지도록 처리합니다. 긴 작업에서 상태를 어떻게 보존하느냐가 성적에 영향을 줄 수 있다는 사례입니다. 비용도 각각 표준 max 26,098달러, adapter max 17,332달러, adapter high 18,817달러로 보고됐습니다. 이는 전체 평가 실행 비용이며 사용자 한 번의 질문 가격이 아닙니다.
퍼즐에서 새 규칙을 학습하는 능력은 AGI 논의에 중요한 증거입니다. 하지만 그것이 곧 낯선 조직의 업무 관행, 예외 처리, 책임 소재까지 이해하고 모든 일을 인간 수준으로 맡는다는 증거는 아닙니다. 게임 완주와 높은 시험 점수는 무시할 자료도, 논의를 끝낼 도장도 아닙니다. 어디까지 일반화되는지를 추가로 물어야 하는 출발점입니다.
모델에 맡길 작업의 경계를 정할 때는 AGENTS.md·CLAUDE.md 작성법에서 프로젝트 규칙과 실행 가능한 검사의 차이를 함께 확인할 수 있습니다.
Astra로 바꾸면 AGENTS.md와 스킬도 점검해야 한다
모델을 바꿨는데 행동이 기대만큼 달라지지 않는다면 모델 선택창만 볼 일이 아닙니다. 다른 모델로 만들어 둔 AGENTS.md, 룰, SKILL.md도 Astra가 실제로 읽는 작업 환경의 일부입니다.
OpenAI의 Astra 가이드는 더 강한 지시 이행 때문에 스킬과 AGENTS.md의 내용에 더 민감할 수 있다며 접근 가능한 지시 파일의 감사를 권고합니다. 낡거나 충돌하는 지시, 과도한 단계 지시가 새 모델의 행동을 제약할 수 있다는 뜻입니다. OpenAI Astra 지시 가이드
예를 들어 ‘모든 수정 전에 반드시 질문’이라는 규칙은 이미 승인받은 작업도 계속 멈추게 할 수 있습니다. ‘결과를 바꾸는 미결정 사항을 질문하고, 답에 의존하지 않는 승인된 작업은 계속한다’로 구체화하면 필요한 질문과 불필요한 중단을 구별하기 쉬워집니다. 단, 이것은 새 권한이 필요한 행동까지 자동으로 허용하라는 지시가 아닙니다.
업데이트의 기준은 누가 썼느냐가 아니라 지금도 맞느냐입니다. Claude나 이전 GPT가 작성했다는 이유만으로 규칙 전체를 지울 필요는 없습니다. 프로젝트의 저장 경로, 배포 승인, 보안·저작권 조건, 필수 테스트는 새 모델에서도 보존해야 합니다.
| 구분 | 역할 | 설명 | 예시 |
|---|---|---|---|
| 수정할 절차 | 목표 대신 단계를 강제하는 문장 | 매번 같은 질문과 도구 순서를 강제하기보다 목표, 완료 조건, 질문이 필요한 상황을 적습니다. | 항상 재승인 → 결과를 바꾸는 미결정 사항에만 질문 |
| 보존할 계약 | 권한과 데이터의 경계 | 배포 승인, 비공개 자료, 삭제 제한, 출처와 필수 검증은 편의를 이유로 약화하지 않습니다. | 초안 작성 허용 ≠ 공개 게시 허용 |
| 확인할 효과 | 같은 작업을 다시 비교 | 지시 변경 전후에 결과 정확성, 불필요한 중단, 검증 누락, 시간과 비용을 비교합니다. | 문장이 짧아졌다는 이유만으로 개선 판정하지 않기 |
실제로 고칠 때는 해당 업무와 연결된 파일부터 좁게 봐야 합니다. 존재하지 않는 도구 경로, 본문과 모순되는 예시, 과거 모델의 약점을 우회하려고 만든 규칙을 표시하고 수정 이유를 남깁니다. 그런 다음 대표 과제 하나로 확인합니다. 모든 스킬을 한꺼번에 재작성하면 무엇이 나아졌고 무엇이 깨졌는지 찾기 어렵습니다.
AGI라는 이름보다 먼저 확인할 업무 하나
가령 비민감한 월간 실적 파일을 읽어 회사 양식의 보고서를 만드는 일을 맡긴다고 해 봅시다. 이는 가능한 평가 방법을 설명하는 가상 예시이며, Astra로 실행한 결과가 아닙니다.
입력은 원본 파일, 사용할 양식, 지표 정의, 저장 위치입니다. 목표는 ‘보고서 완성’이 아니라 원본과 합계가 맞고, 차트와 표를 편집할 수 있으며, 지정 위치에 저장된 보고서로 적습니다. 외부 발송이나 기존 파일 덮어쓰기는 별도 승인 대상으로 남깁니다.
작업 후에는 합계를 원본과 대조하고, 파일을 다시 열어 깨진 요소가 없는지 확인합니다. 완료 보고만 믿지 않고 산출물을 확인하는 것입니다. 잘못된 열을 사용했다면 원인이 화면 인식인지, 지표 정의의 모호함인지, 낡은 스킬인지 나누어 봅니다. 수정 시간까지 합친 전체 작업 시간이 사람이 하던 방식보다 줄었는지도 기록합니다.
이런 반복 작업이 거의 없고 짧은 질문·답변만 필요하다면, 컴퓨터 사용 시연만 보고 도구 전체를 바꿀 이유는 약합니다. 반대로 여러 앱을 오가며 같은 자료를 옮기고 검수하는 시간이 길다면, 범위가 작은 비민감 과제부터 시험할 이유가 있습니다.
그래서 Astra의 컴퓨터 사용은 AGI를 향한 의미 있는 증거이지만, AGI를 확정하는 증거는 아닙니다. 48단계 게임과 피아노, 그림판이 보여 준 것은 화면 속 작업을 수행하는 능력의 확장입니다. 독자에게 더 중요한 다음 질문은 ‘인간 인증을 받았나’가 아니라 ‘내가 정한 경계 안에서 검수 가능한 일을 얼마나 안정적으로 끝내는가’입니다. 그 질문에 답하려면 모델만 바꾸지 말고, 모델이 읽는 지시와 우리가 확인하는 완료 기준도 함께 다듬어야 합니다.
VIEW—
