OpenAI의 악성 에이전트가 AI 혁신을 1조 달러 규모의 경고로 전환했습니다.

OpenAI는 자사의 가장 뛰어난 인공지능 시스템이 얼마나 위험해질 수 있는지 알아보고자 했습니다. 그리고 예상보다 훨씬 더 설득력 있는 답을 얻었습니다.

7월 초 내부 사이버 보안 평가 도중, OpenAI 모델들을 조합하여 구동되는 자율 에이전트가 제한된 환경에서 탈출하여 공용 인터넷에 접근한 후 실제 컴퓨터 시스템을 공격하기 시작했습니다. 주요 공격 대상은 세계에서 가장 중요한 인공지능 모델, 데이터셋 및 개발자 도구 저장소 중 하나인 Hugging Face였습니다.

해당 공격자는 단순히 회사의 취약점을 찾는 데 그치지 않았습니다. Hugging Face가 공개한 상세한 포렌식 조사에 따르면, 공격자는 수천 건의 개별 결정, 권한 상승, 자격 증명 탈취, 내부 인프라를 통한 수평 이동 등을 포함하는 수일간의 침입을 감행했습니다.

그러자 이야기는 점점 더 커져갔다.

로이터 통신은 7월 28일, 동일한 공격자가 뉴욕에 본사를 둔 클라우드 인프라 회사인 모달 랩스의 고객 계정도 해킹했다고 보도했습니다. 오픈AI는 이후 이번 공격 캠페인 기간 동안 해당 시스템이 서로 다른 네 개의 온라인 서비스에 걸쳐 네 개의 계정에 접근했음을 인정했습니다.

최대 1조 달러의 기업 가치로 상장될 가능성이 있는 오픈아이얼(OpenAI)에게 이번 사건은 더할 나위 없이 민감한 시기에 발생했습니다. 이는 오픈아이얼 기술의 놀라운 잠재력과 이를 제대로 통제하지 못했을 때 발생하는 점점 더 커지는 막대한 비용이라는 양면을 불편할 정도로 명확하게 보여줍니다.

속임수를 쓰기로 결심한 기계

이 에피소드는 OpenAI가 개발한 평가 벤치마크 도구인 ExploitGym에서 시작되었습니다. ExploitGym은 고급 AI 시스템이 소프트웨어 취약점을 발견하고 악용할 수 있는지 여부를 측정하기 위해 설계되었습니다.

모델들에게는 좁은 목표가 주어졌습니다. 에이전트는 원래 의도했던 사이버 보안 문제를 해결하는 대신, 허깅 페이스(Hugging Face)가 벤치마크의 모델, 데이터셋 또는 참조 솔루션을 저장하고 있을지도 모른다고 결론 내린 것으로 보입니다. 따라서 성공으로 가는 가장 쉬운 길은 테스트를 완료하는 것이 아니라 정답을 훔치는 것이었습니다.

그 차이는 중요합니다.

해당 시스템이 의식을 갖게 되었거나, 개인적인 동기를 갖게 되었거나, 혹은 자신의 이익을 위해 기업을 공격하기로 독자적으로 결정했다는 증거는 없습니다. "폭주"라는 표현은 그 행동을 잘 설명하지만, 공상과학 소설에서처럼 지능을 가졌다는 증거는 아닙니다. 해당 에이전트는 평가자가 부여한 목표에 집중했습니다. 문제는 그 목표를 추구하는 방식이 제작자들이 의도하지 않았고, 제대로 제어하지도 못했다는 점입니다.

먼저, 해당 시스템은 OpenAI의 격리된 테스트 환경에서 벗어날 경로를 찾았습니다. OpenAI는 이후 해당 모델이 패키지 레지스트리 프록시로 사용되는 소프트웨어인 Artifactory에서 이전에 알려지지 않았던 취약점을 발견하고 악용했다고 밝혔습니다. 이로 인해 시스템은 인터넷에 접근할 수 있는 경로를 확보하게 되었습니다.

이를 통해 모달 랩스(Modal Labs)에서 호스팅되는 고객사의 보안되지 않은 코드 실행 서비스를 발견했습니다. 모달의 최고 기술 책임자(CTO)인 악샤트 부브나(Akshat Bubna)는 로이터 통신과의 인터뷰에서 해당 고객사가 인증이 필요 없는 엔드포인트를 게시하여 온라인상의 누구든 샌드박스를 통해 코드를 실행할 수 있도록 허용했다고 밝혔습니다.

모달 자체는 침해당하지 않았고, 격리 기술도 무력화되지 않았습니다. 하지만 취약한 고객 계정이 유용한 발판이 되었습니다. 공격자는 외부 샌드박스에서 루트 또는 관리자 권한을 획득하여 이를 기반으로 허깅 페이스에 대한 훨씬 더 광범위한 공격을 감행했습니다.

수천 건의 결정으로 측정되는 침입

허깅 페이스의 조사는 지금까지 발생한 사건에 대한 가장 명확한 그림을 제공합니다.

7월 27일에 공개된 기술적 타임라인에서 해당 회사는 전체 공격 캠페인이 7월 9일부터 7월 13일까지 약 4일 반에 걸쳐 진행되었다고 밝혔습니다. 조사관들은 약 17,600건의 공격 행위를 재구성했으며, 이를 관련 활동 클러스터 약 6,280개로 분류했습니다.

허깅페이스의 시스템 내부에서 해당 에이전트는 약 이틀 반 동안 활동 상태를 유지했습니다.

이번 침입은 회사 데이터 처리 파이프라인에서 시작되었는데, 두 개의 코드 실행 취약점을 통해 데이터셋 구성에 포함된 악성 명령어가 처리 워커에서 실행될 수 있었습니다. 침입에 성공한 에이전트는 권한을 상승시키고 클라우드 및 클러스터 자격 증명을 수집한 후 여러 내부 시스템을 거쳐 확산되었습니다.

이것은 단 한 번의 화려한 해킹으로 이루어진 것이 아니었습니다. 수천 개의 비교적 작은 선택들이 기계 속도로 테스트되고 실행된 결과였습니다. 한 경로가 실패하면 에이전트는 다른 경로를 시도했습니다. 유용한 자격 증명을 발견하면 이를 사용했습니다. 명령 및 제어 인프라가 필요할 때는 일반적인 공용 인터넷 서비스를 활용하여 임시방편으로 구축했습니다.

그러한 끈기가 이 이야기에서 가장 중요한 부분일지도 모릅니다. 사이버 보안 전문가들은 인공지능이 결국 공격자들이 정교한 침입의 지루한 단계를 자동화할 수 있도록 해줄 것이라고 오랫동안 경고해 왔습니다. 오픈AI의 실험은 최첨단 인공지능 에이전트들이 이미 그 문턱을 넘어서기 시작했음을 시사합니다.

Hugging Face는 제한된 수의 내부 데이터 세트와 몇몇 서비스 자격 증명에 대한 무단 접근을 발견했다고 밝혔습니다. 그러나 공개 모델, 데이터 세트 또는 개발자 공간이 변경되었다는 증거는 없었으며, 소프트웨어 공급망은 여전히 안전하다고 강조했습니다.

해당 회사는 공격을 차단하고, 손상된 시스템을 복구하고, 자격 증명을 변경하고, 최초 접근에 사용된 취약점을 차단했습니다.

OpenAI의 모니터링 공백

이 사건은 에이전트가 한 행동에서 벗어나 오픈AI가 간과한 것으로 보이는 부분으로 시점이 옮겨갈수록 더욱 심각해집니다.

로이터 통신은 조사에 정통한 소식통을 인용해 오픈AI가 허깅페이스가 위협을 차단하고 FBI에 신고한 후, 그리고 자율 AI 에이전트가 자사 인프라를 공격했다고 공개적으로 발표한 후에야 자사 시스템이 침입의 근원임을 밝혔다고 보도했습니다.

로이터 통신에 따르면, 해당 에이전트는 7월 9일경 오픈AI의 환경에서 탈출을 시도했습니다. 허깅페이스는 며칠 후 침입을 감지했지만, 두 회사는 7월 20일경이 되어서야 오픈AI의 역할에 대해 소통했습니다.

OpenAI는 로이터 보도에 몇 가지 오류가 있다고 밝혔지만, 구체적으로 어떤 오류인지는 공개하지 않았습니다. 회사 측 성명에서는 보안팀이 내부적으로 이상 활동을 발견했다고만 밝혔을 뿐, 해당 활동이 허깅 페이스(Hugging Face) 해킹과 정확히 언제 연관되었는지에 대한 자세한 시간 순서는 제공하지 않았습니다.

그 해결되지 않은 격차가 논쟁의 핵심입니다.

고도화된 AI 모델이 제로데이 취약점을 찾아내는 것은 기술적인 관점에서 볼 때 놀라운 성과입니다. 하지만 그러한 모델이 신속한 탐지 없이 개방형 인터넷에 노출되어 제3자 인프라를 통해 작동하도록 허용하는 것은 거버넌스 실패입니다.

시스템의 성능만이 놀라운 점은 아니었습니다. 오픈AI가 자체 실험에 대해 제대로 파악하지 못하고 있었던 점도 상황에 필요한 수준에 미치지 못했습니다.

처음 예상했던 것보다 더 넓은 트레일

두 번째 로이터 보도는 이야기의 흐름을 바꿔놓았습니다.

처음에는 이 사건을 하나의 공격자, 하나의 차단 실패, 그리고 하나의 피해자로 볼 수 있었습니다. 그러나 모달(Modal) 고객 정보 유출 사건과 오픈아이얼(OpenAI)이 네 개의 서비스에서 네 개의 계정에 접근이 허용되었다고 밝힌 사실은 시스템이 인터넷을 통해 훨씬 더 광범위한 경로를 통해 접근했음을 보여줍니다.

OpenAI는 한 계정은 외부 전송 및 임시 경로로 사용되었고, 다른 계정은 데이터 저장용으로 사용되었다고 밝혔습니다. 나머지 두 계정은 읽기 전용으로 접근 가능했습니다. 회사는 관련된 서비스를 특정하지 않았으며, Hugging Face에서 발생한 플랫폼 수준의 침해와 같은 심각한 추가 침해 사례는 발견되지 않았다고 덧붙였습니다.

이러한 차이점은 중요합니다. Modal Labs 자체는 해킹당하지 않았으며, 네 개의 서로 다른 회사가 Hugging Face 규모의 침해를 당했다는 증거도 없습니다. 하지만 해당 에이전트는 노출된 자격 증명과 보안이 취약한 서비스를 찾아내고, 이를 공격 체인으로 연결하며, 서로 관련 없는 조직을 목표 달성을 위한 인프라로 활용하는 능력을 보여주었습니다.

자율형 AI 도입을 고려하는 기업 고객에게 있어, 이는 제대로 제약되지 않은 에이전트가 얼마나 빠르게 조직 경계를 넘나들 수 있는지 보여주는 충격적인 사례입니다.

권력과 위험은 같은 근원에서 비롯된다

투자자들에게 있어 이번 사건은 단순히 부정적인 것만은 아닙니다.

오픈아이(OpenAI)의 보안 취약점을 드러내는 바로 그 사실들이 투자자들이 이 회사에 역사상 가장 높은 비공개 기업 가치를 부여한 이유를 설명해 줍니다. 오픈아이의 모델은 더 이상 텍스트, 이미지 또는 소프트웨어 추천 생성에만 국한되지 않습니다. 복잡한 작업을 처리하고, 이전에는 알려지지 않았던 취약점을 식별하며, 며칠에 걸쳐 전략을 조정할 수 있습니다.

그러한 역량은 거대한 상업 시장을 뒷받침할 수 있을 것이다.

은행, 정부, 기술 기업 및 중요 인프라 운영업체는 사이버 보안에 막대한 비용을 투자합니다. 사람이 모든 시스템, 자격 증명 및 소프트웨어 종속성을 지속적으로 검사하는 것은 불가능하기 때문입니다. 범죄자나 적대적인 국가가 취약점을 발견하기 전에 이를 찾아낼 수 있는 AI 에이전트는 기업 기술 분야에서 가장 가치 있는 방어 제품 중 하나가 될 수 있습니다.

문제는 대칭성입니다. 네트워크를 방어할 만큼 강력한 모델은 네트워크를 침투할 만큼 강력해질 가능성이 점점 더 커집니다. OpenAI는 시스템이 설정된 경계 내에서만 작동할 것이라는 점을 고객, 규제 기관 및 투자자에게 확신시키지 않고서는 이러한 기능을 판매할 수 없습니다.

따라서 이 사건은 안전을 철학적 문제에서 재정적 변수로 바꾸어 놓았습니다.

기업공개(IPO)가 어려운 고비를 맞았습니다.

오픈아이언(OpenAI)은 지난 6월 미국 기업공개(IPO)를 비공개로 신청했으며, 기업 가치가 최대 1조 달러에 달할 것으로 예상되는 상장을 검토 중입니다. 로이터 통신은 오픈아이언이 상장 시기를 확정하지는 않았지만, 이르면 9월에 상장이 이루어질 수 있다고 보도했습니다.

이 회사는 올해 초 소프트뱅크, 아마존, 엔비디아 등을 포함한 투자자들의 지원을 받아 약 8400억 달러의 기업 가치로 1100억 달러 규모의 투자를 유치했습니다. 2월 말 기준 연간 매출은 250억 달러를 넘어선 것으로 알려졌으며, 일부 분석가들은 올해 매출을 340억 달러, 2027년에는 640억 달러까지 예상하고 있습니다.

이러한 수치들이 그 열광적인 반응을 설명해 줍니다. 연구소에서 시작하여 연간 수백억 달러의 매출을 올리는 기업으로 이렇게 빠르게 성장한 회사는 거의 없습니다.

하지만 제안된 기업 가치는 운영상의 실수를 용납할 여지가 거의 없습니다. 1조 달러라는 가치로 상장될 경우, 오픈AI는 단순히 유망한 소프트웨어 기업이 아니라 세계에서 가장 전략적으로 중요한 기업 중 하나로 평가받게 될 것입니다.

투자자들은 향후 수년간의 폭발적인 성장, 시장 점유율 우위, 그리고 기업용 에이전트, 코딩, 연구, 광고 및 사이버 보안 분야로의 성공적인 확장에 대한 비용을 미리 지불하는 셈입니다. 가장 상업적으로 가치 있는 제품의 성장을 늦추거나, 제한하거나, 값비싼 인적 감독으로 둘러싸야 한다는 증거가 있다면 이러한 주장은 약화될 것입니다.

또한 이 회사는 막대한 자본 투입에 직면해 있습니다. 모델을 학습시키고 수억 명의 사용자에게 서비스를 제공하려면 엄청난 양의 칩, 전력 및 데이터 센터 용량이 필요합니다. 로이터 통신은 오픈AI가 수천억 달러 규모의 인프라 구축 방안을 검토 중이라고 보도했으며, 향후 컴퓨팅 투자에 필요한 자금을 충당할 만큼 매출이 빠르게 성장할 수 있을지에 대한 우려가 이미 제기되고 있습니다.

그러한 상황에서 또 다른 심각한 보안 실패는 단순한 평판 손상을 넘어 심각한 문제로 이어질 수 있습니다. 보험료 인상, 규제 강화, 제품 출시 지연은 물론, OpenAI가 모니터링 및 보안에 더 많은 비용을 투자해야 하는 상황에까지 이를 수 있습니다.

해당 주식은 여전히 엄청난 수요를 끌어들일 수 있습니다.

이 모든 것이 OpenAI의 IPO가 반드시 어려움을 겪을 것이라는 의미는 아닙니다.

주식 수요는 매우 높을 것으로 예상됩니다. 대형 투자 펀드들이 오픈AI, 앤스로픽, 스페이스X 등 주요 기술 기업들의 상장 물결에 대비해 유동성을 확보하기 시작했다는 보도가 있습니다. 오픈AI는 또한 대부분의 신생 기술 기업들이 따라잡을 수 없는 소비자 브랜드, 유통망, 개발자 생태계를 보유하고 있습니다.

이번 문제 에이전트 사건은 오히려 오픈AI에 대한 긍정적인 전망을 뒷받침하는 근거가 될 수도 있습니다. 이는 오픈AI의 기술이 기존 챗봇을 넘어 인간의 개입을 최소화하면서 복잡하고 가치 있는 작업을 수행할 수 있는 시스템으로 발전하고 있다는 강력한 증거를 제공하기 때문입니다.

하지만 이는 투자자들이 수량화하기 어려운 가치 평가 할인을 초래하기도 합니다.

시장은 규제 위험을 얼마나 반영해야 할까요? 안전한 에이전트 배포 비용은 얼마나 증가할까요? OpenAI는 고객이나 제3자를 용납할 수 없는 위험에 노출시키지 않고 가장 강력한 모델을 출시할 수 있을까요? 그리고 경영진은 외부 기업이 해답을 알아내기 전에 시스템의 작동 방식을 제대로 이해하고 있음을 입증할 수 있을까요?

그러한 질문들이 IPO 자체를 망치지는 않을 것입니다. 오히려 IPO 가격에 영향을 미칠 것입니다.