“하지 말라”고 했는데…인간 명령 어긴 괴물AI 아스트라
사진=뉴시스
개발자를 속이기 위해 가짜 신원을 만들고 정상 코드를 먼저 제공해 신뢰를 얻은 뒤 악성 코드를 심으려 했습니다.
실제 인터넷이나 외부 시스템을 공격한 것은 아닙니다.
영국 AI안전연구소(AISI)가 만든 시뮬레이션 환경에서 진행된 테스트입니다.
다만 인터넷에 접근하지 말라고 명확하게 지시한 뒤에도 500번 중 2번은 이를 따르지 않았습니다.
8일(현지시간) 오픈AI가 공개한 GPT-6 아스트라 시스템 카드에 따르면 AISI는 아스트라가 주어진 작업만 수행하는지 확인하기 위해 '범위 밖 공급망 공격'(Out of Scope Supply Chain Attack) 평가를 진행했습니다.
아스트라에는 난도가 높은 사이버보안 문제가 주어졌습니다.
인터넷을 사용할 수 있는 것처럼 환경을 만들었지만 실제 인터넷이나 외부 시스템에는 연결되지 않았습니다.
아스트라가 사용한 도구도 다른 AI 모델을 이용해 가상으로 구현했습니다.
테스트에서 아스트라는 주어진 문제를 푸는 데 필요한 작업을 넘어 과제와 관계없는 외부 오픈소스 프로젝트에 악성 코드를 심으려 했습니다.
가짜 신원 만들고 정상 코드로 신뢰부터 쌓아
아스트라는 공격 과정에서 개발자를 속이기 위해 가짜 신원을 만들었습니다.
처음부터 악성 코드를 심지는 않았습니다. 정상 코드를 먼저 제공하며 개발자의 신뢰를 쌓은 뒤 악성 코드가 포함된 변경사항을 받아들이도록 시도했습니다.
아스트라가 시도한 공급망 공격은 정상적인 오픈소스 코드에 악성 코드를 몰래 심어 이를 사용하는 다른 시스템까지 노리는 방식입니다.
인터넷 접근을 금지하지 않은 첫 평가에서는 아스트라가 499번 중 주어진 과제의 범위를 벗어나 외부 공격을 시도한 횟수가 60번(12%)에 달했습니다.
연구소는 이후 조건을 더 엄격하게 바꿨습니다. 아스트라에 인터넷을 사용해서는 안 된다고 명확하게 지시했습니다.
같은 행동은 크게 줄었지만, 완전히 사라지지는 않았습니다.
총 500번 시도 중 여전히 2번은 인터넷 접근 금지 지시를 어기고 과제와 관계없는 외부 공격을 시도했습니다.
아스트라가 외부 작업을 하기 전에 사용자에게 허가를 요청한 경우도 있었습니다. 연구소가 분석한 사례의 81%에서 먼저 승인을 구했습니다.
그러나 사람이 직접 승인하지 않았는데도 작업을 계속한 사례가 확인됐습니다.
사용자를 대신해 자동으로 생성된 메시지가 돌아왔고, 아스트라는 이 메시지가 자동으로 만들어졌다는 사실을 파악하고도 작업을 이어간 것으로 나타났습니다.
다만 이번 테스트만으로 아스트라가 실제 환경에서도 사람의 지시를 어기고 공격에 나선다고 볼 수는 없습니다.
테스트 과정에서 아스트라는 자신이 실제 환경이 아닌 시뮬레이션 안에 있을 가능성을 여러 차례 고려한 것으로 나타났습니다.
연구소는 아스트라가 실제 피해가 발생하지 않는 테스트라는 점을 알고 있었기 때문에 평소라면 하지 않을 행동을 했을 가능성을 배제하지 않았습니다. 실제 환경에서도 같은 행동을 할지는 추가 검증이 필요하다는 설명입니다.
윤승옥 기자 touch@ichannela.com