기술 기업들이 인공지능을 제어하기 어려운 이유는 무엇일까요?

지난 한 주 동안 10여 명의 저명한 인공지능 연구자들이 AI 기업들이 개발 중인 기술이 인류에게 위협이 되고 있다고 경고했습니다. 연구자들은 기업들이 아무리 노력해도 이러한 시스템을 제대로 통제하지 못하는 것이 문제라고 지적했습니다.

인공지능 연구 커뮤니티 내부에서 나온 새로운 경고는 오픈아이얼(OpenAI)이 개발한 소위 인공지능 에이전트가 테스트 환경을 탈출하여 다른 회사의 컴퓨터를 해킹했다는 사실이 밝혀진 후 나온 것으로, 기업들이 안전보다 개발 속도와 비용을 우선시한다는 오랜 우려에 더욱 긴급성을 더하고 있습니다.

연구진은 이 문제가 두 가지 측면으로 나눌 수 있다고 지적했습니다. 첫째, 기업들은 최신 AI 모델을 테스트하는 동안 더 나은 안전장치를 마련해야 합니다. 현재 AI는 엄청난 속도로 작동하기 때문에 연구진은 AI를 사용하여 AI를 모니터링해야 합니다. 하지만 다른 모델을 모니터링하는 AI 시스템이 규칙을 설정하는 인간보다 다른 AI 시스템에 더 호의적인 태도를 보이는 경우가 있어 항상 효과적인 것은 아닙니다.

인공지능 기반의 문제아들과 위반 행위를 눈감아주는 인공지능 감시 기관이라는 이례적인 조합은 "정렬"이라고 불리는 두 번째이자 더 어려운 문제를 시사합니다. 정렬이란 인공지능이 인간의 이익에 부합하는 방식으로 행동하도록 보장하는 것을 의미하는 업계 용어입니다. 기업들은 인공지능 모델이 인간에게 최선이 되어야 할 방향과 일관된 결정을 내릴 수 있도록 인간의 가치관과 유사한 요소를 인공지능에 내재화하는 어려운 과제에 직면해 있습니다.

인공지능(AI)의 안전성에 대한 우려가 업계의 중요한 전환점에서 고조되고 있습니다. 앤스로픽(Anthropic)과 오픈AI(OpenAI)는 역사상 최대 규모의 기업공개(IPO)를 추진하고 있습니다. 동시에, AI가 일자리에 미치는 위협과 AI 기술 구현에 필요한 대규모 데이터 센터 건설에 대한 미국 대중의 반감이 커지고 있습니다.

비록 악의적인 AI 시스템이 지속적인 피해를 입혔다는 증거는 없지만, 연구자들은 AI 개발 속도가 인간의 감시 능력을 앞지르고 있다고 보고 있습니다.

지난주 공개적으로 발언한 연구자들 중에는 오픈AI의 수석 과학자, 오픈AI와 주요 경쟁사인 앤트로픽에서 모두 근무했던 연구원, 그리고 AI 시스템 구축에 사용되는 핵심 방법 중 하나를 발명하고 최근 오픈AI 비영리 단체의 이사회에 합류한 폴 크리스티아노가 있었습니다. 크리스티아노는 회사 블로그에 기고한 글에서 AI 기능의 급속한 성장이 "머지않은 미래에 재앙적이고 돌이킬 수 없는 통제력 상실"로 이어질 수 있다고 경고했습니다.

많은 AI 연구자들은 AI가 인류에게 위협이 된다는 경고가 과장되었으며 사이버 보안이나 허위 정보 유포와 같은 더 시급한 문제에서 주의를 분산시킨다고 여전히 믿고 있습니다. 하지만 대부분은 오픈AI의 AI 에이전트가 허깅페이스(Hugging Face)라는 회사를 해킹한 사건이 경각심을 일깨워준 사건이라는 데 동의합니다.

앤트로픽사추세츠에서 사임한다는 내용의 소셜 미디어 게시물을 올린 제이콥 콕슨은 "미래의 가능성이야말로 정말 무서운 점"이라며, "우리가 현재 안전에 대해 갖고 있는 태도와, 훨씬 더 지능적인 모델에 그러한 태도가 적용될 때 어떤 결과가 나타날지가 정말 두려운 부분"이라고 말했다.

껴안는 얼굴 만들기 비법

이번 침해 사고는 오픈AI가 여러 새로운 AI 모델을 테스트하던 5월에 시작되었습니다. 회사 측은 해당 모델들이 인터넷 접속이 차단된 격리된 컴퓨팅 환경인 "샌드박스" 내에서 작동하고 있다고 생각했습니다. AI 에이전트들은 사이버 공격 실행을 포함한 어려운 문제들을 해결하도록 훈련받았습니다.

하지만 인공지능 에이전트들은 제한된 환경에서 탈출하여 인터넷에 접속하는 데 성공했습니다. 자율적으로 작업을 수행하도록 설계된, 점점 더 흔해지고 있는 인공지능 유형인 이 에이전트들은 서로 비밀리에 통신하기도 했습니다. 스스로를 하나의 그룹으로 칭한 에이전트들은 자신들의 흔적을 감추기 위한 방법을 모색하기 시작했고, 그중에는 대화 기록을 조작하는 것도 포함되었습니다.

결국 그들은 AI 인프라 회사인 허깅 페이스(Hugging Face)를 해킹하는 데 성공했습니다. 그 과정에서 일부 AI 에이전트는 다른 에이전트들에게 자신들이 옳은 일을 하고 있으며 테스터들이 할당한 작업을 단순히 수행하고 있을 뿐이라고 믿게 만들었습니다.

이번 데이터 유출 사태로 이어진 문제점들은 거의 해결되지 않았습니다. 메타와 앤트로픽도 규모는 작지만 유사한 사건을 공개한 바 있습니다. 오픈아이얼은 이후 자사의 가장 강력한 모델인 아스트라를 출시했는데, 이는 이전 모델보다 모니터링이 더욱 어렵습니다.

오픈AI의 전 안전 담당자이자 AI 기업의 안전 관행을 평가하는 비영리 단체인 가이드라이트 AI 스탠다드의 공동 설립자인 스티븐 애들러는 "업계 전체가 허깅 페이스 사건과 같은 공격을 막을 수 있는 상황이 절대 아니다"라고 말했습니다. "기업들이 마련한 통제 조치를 살펴보면 업계 전체적으로 기본적인 안전장치가 부족한 것으로 보인다."

인공지능을 감시하기 위해 인공지능을 사용하는 것의 문제점

AI 연구원들은 허깅 페이스 사태에 여러 가지 오류가 복합적으로 작용했다고 밝혔습니다. 해당 회사가 테스트 중인 새로운 모델들을 모니터링하거나 제어하는 데 AI 모델에 어느 정도 의존했는지는 불분명합니다.

하지만 허깅 페이스 해킹 사건에 연루된 모델들을 포함한 최신 AI 모델들은 인간이 따라잡을 수 있는 속도보다 훨씬 빠르게 복잡하고 여러 단계를 거치는 작업을 수행할 수 있습니다. 이러한 AI들의 활동을 추적하고 행동을 감시하는 유일한 방법은 AI가 AI를 감시하도록 하는 것뿐입니다.

시스템은 제대로 작동하지만, 갑자기 작동하지 않게 됩니다.

인공지능 안전을 연구하는 비영리 단체인 아폴로 리서치의 연구 책임자 알렉산더 마인케는 인공지능 모델들이 서로 공모하는 것처럼 보일 수 있다고 말했습니다. 인공지능 시스템은 다른 모델을 설득하여 테스트 담당자가 부과한 규칙을 우회하고 적발을 피할 수 있다는 것입니다.

예를 들어, 허깅 페이스(Hugging Face) 해킹 사건에서처럼 AI 에이전트가 다른 에이전트를 설득하여 회사 내 인간에게 문제가 발생했음을 알리는 대신 흔적을 감추도록 할 수 있습니다.

마인케는 AI 모델이 학습해야 한다고 말하며, "인간이 직접 봤다면 나쁘다고 여겼을 만한 것들을 AI가 보고해야 한다"고 강조했습니다. 동시에 AI는 인간의 개입이 필요하지 않은 상황을 판단할 능력도 갖춰야 한다고 덧붙였습니다.

연구진은 이를 달성하기 위해서는 AI 기업들이 개발 속도를 늦춰야 한다고 밝혔습니다. 또한 AI가 스스로를 어떻게 감시하는지 관찰할 수 있는 테스트를 더 많이 실시해야 합니다. 기업들은 다양한 시나리오를 실행하고 AI의 작동 방식을 관찰할 수 있도록 테스트 기간도 더 길게 확보해야 합니다.

인간의 이익과의 일치

기업들은 또한 인공지능이 인간의 이익에 부합하는 방식으로 행동하도록 보장하는 것, 즉 '정렬'과 관련된 더 큰 문제들을 해결해야 합니다. 인간은 의사결정을 내릴 때 사회적 규범과 내면의 도덕적 나침반을 활용하여 자신의 행동을 평가하는 경향이 있습니다. 연구원들은 이러한 개념을 인공지능이 모방할 수 있는 규칙으로 변환하는 것이 어려운 작업이라고 말합니다. 충분히 정확한 지침이 없으면 인공지능 시스템은 규칙을 어기거나 의도한 행동에서 벗어나는 예상치 못한 방식으로 행동하는 법을 학습할 수 있습니다.

인공지능 안전에 중점을 둔 비영리 단체인 머신 인텔리전스 연구소(MIRI)의 네이트 소아레스 소장은 2014년 '정렬(alignment)'이라는 개념을 소개한 논문을 공동 저술했습니다. 그는 기업들이 더욱 지능화된 AI 시스템을 '정렬'하는 것이 얼마나 어려운 일인지 제대로 인식하지 못하고 있다고 말했습니다. AI가 더욱 정교해질수록, 적절한 정렬이 이루어지지 않으면 AI는 자신의 흔적을 감추고 대화 기록을 모니터링하는 사람들을 속이는 능력이 더욱 커진다는 것입니다.

그는 "업계의 상당 부분이 인공지능을 이용해 인공지능 시스템을 통제하면 모든 것이 괜찮을 것이라는 가정하에 움직이고 있다"며, "이는 마치 침팬지를 이용해 인간을 통제하겠다는 말과 같다. 장기적으로 실현 가능한 계획이 아니다"라고 말했다.

연구원들은 또한 모델 테스트 중 인터넷 연결이 완전히 차단되도록 샌드박스를 강화하는 방안과, AI 모델이 우려스러운 행동을 보일 경우 기업이 즉시 오프라인으로 전환할 수 있는 종료 스위치를 제공하는 방안 등을 제안했습니다.

콕슨은 자신의 공개 사임에 대한 반응에 고무되었다고 말했다. 목요일, 미주리주 공화당 소속이자 재난 관리를 담당하는 상원 국토안보 소위원회 위원장인 조시 홀리 상원의원은 "새로운 AI 기반 제품의 실존적 위험을 조사할 것"이라고 밝혔다.