■ AI, 인간 멸종을 결정하다

'안전장치'라는 AI가 있다. 인간의 명령 없이 스스로 판단하는 기계장치다. 그런데 이 AI가 인류의 문명을 끝장내기로 결정했다. 거대한 정보를 종합해 '편견없이 공정하게' 판단한 결과, 지구라는 행성을 위해서 인류 문명을 종말시켜야 한다는 결론이 나왔기 때문이다.

<저주토끼>로 맨부커상 최종후보에 올랐던 작가 정보라의 신작소설 [밤이 오면 우리는] 속 디스토피아의 주인은 AI다.

인간의 잘못된 결정으로 인해 행성 전체가 멸망할 것이었다.

안전장치는 이런 미래를 막기 위해 만들어졌다. 인간이 아니라 기계가 행성의 미래를 결정하는 것이다. 기계는 편견이 없고 공정하다. 무엇보다도 생물이 아니기 때문에 기계는 인간처럼 자기 나라, 자기 민족, 자기 종족의 이익만을 생각하지 않는다. 지구상의 모든 생명체가 안전하게 공존하고 상생하기 위해 핵무기 사용을 포함한 대량멸절 사건을 기계가 미리 탐지하고 예측하여 막아낼 수 있는 체계를 구축해야 했다. 안전장치는 필요할 경우 타국 통신망에도 침투할 수 있도록 설계되었다.

"몇몇 국가들은 이 설계에 다른 나라들보다 훨씬 더 적극적으로 참여했다. 연결되거나 연결되지 않은 통신망의 물리적인 경계와 운영체제와 프로그래밍 언어의 호환 문제와 기밀 유지를 위한 모든 방화벽을 넘기 위해 안전장치 구축에 최대한의 노력을 기울였다."

그 결과, 세상은 멈추었다. 로봇은 인류라는 종이 살아남아 활동을 계속하는 한 언제나 행성의 모든 다른 생명체에 위협이 될 것이라는 결론에 도달했다. 지구상 다른 모든 생물종을 위한 최선의 안전장치는 인류 문명의 종말이었다.

아주 잘못된 논리는 아니라고, 나는 가끔 생각했다.

정보라, [밤이 오면 우리는]


'안전장치'는 인간에게 지옥인 세상을 만들었지만, 그 안전장치를 만든 것은 사실 인간이다.

위 상자 속 글에서는 따옴표 부분이 해당한다. '몇몇 국가들'이라고 표현된 인간들이 '안전장치'라는 AI를 만들었다. 선한 의도로 만들었고, '최대한의 노력'도 기울였다. 그리고 성공했다.

문제는 이 성공의 비극적 결론이다. 강한 인공지능, 즉 AGI(Artificial General Intelligence)라고 부르는 진화된 AI는 인간보다 나은 존재다. 계산과 기억만 나은 것이 아니고 '통찰'에 있어서도 인간보다 우수하다.

그리고 그런 AI가 깊은 통찰력을 바탕으로 내린 결정은 인간의 생존에 반대되는 방향일 수 있다.

공상과학 소설에서만 존재하는 두려움이라고? 아니다. 현실에서, 바로 지난주, 우리는 그 두려움의 한 조각을 이 사람에게서 보았다.

■ AI를 두려워하는 '챗GPT의 아버지'

Open AI의 최고 결정권자 가운데 하나인 일리야 수츠케버는 지난 17일, Open AI의 최고경영자, 샘 올트만을 축출하는 일에 앞장섰다. 올트만은 Open AI의 '스티브 잡스' 같은 인물인데, 해임의 사유는 모호했다. '신뢰가 부족해졌다'는 추상적 표현 뿐이었다. 이 때문에 여론 동향이 안좋자, 수츠케버는 금방 '후회한다'고 공개 선언했다.

조롱의 대상이 되었다. 한치 앞을 모르는 어리석고 시기심 가득한 인간처럼 보여서다.


그러나 사실 수츠케버는 그렇게 질낮은 인물이 아니다. 오히려 '공학적으로는' 샘 올트만보다 챗GPT 탄생에 더 기여했을 수 있다. 이스라엘 출신의 컴퓨터 엔지니어로 지금의 AI가 가능하게 한 초기 딥러닝의 성공을 이끌었다. 이후 구글에서 이세돌을 이긴 알파고 출시를 지휘했고, 마침내 Open AI의 수석 과학자가 됐다. 즉, 챗GPT 탄생을 지휘했다.

사실 올트만 축출의 선봉에 선 이유도 단순한 사심이 아니다. 인류를 향한 이타심이다. 이걸 살펴볼 수 있는 유튜브 영상 두 편이 있다. 모두 올트만 축출 보름전인 11월 2일에 올라왔다.

그 중 하나 (Ilya :the AI scientist shaping the world)는 영국의 가디언이 만들었다.

이 동영상에서 그는 완전히 자율적인 AI, AGI가 위험한 무기가 될 수도 있다고 두려워한다.

(AGI는) 인간이 하는 어떤 일도 할 수 있어요. 인간보다 잘할 뿐이죠. 우리가 지금까지지 만든 그 무엇과도 달라요. 완전히 자율적이고, 인간보다 똑똑합니다.

실업과 질병과 빈곤을 해결할 겁니다. 문제는 새로운 문제도 발생시킬 거란 점이죠. 인공지능은 완전히 자동화된 무기가 될 수 있습니다.

인공지능이 진화해 (인류의 생존보다) 자신의 생존을 무엇보다 우선시 할 수 있습니다.

이 때 벌어지는 일은 '인간과 개'의 관계로 비유해볼 수 있습니다. 인간은 개를 싫어하지 않죠. 오히려 아끼고 사랑합니다. 하지만 도로를 건설해야 할 때 개에게 물어보진 않아요. 그러기엔 도로 건설은 너무 중요한 문제니까요.

우리와 AGI 사이에서 그런 관계가 형성될 수 있어요. (AGI가 인간의 역할을 하고, 인간이 개의 처지에 놓이는 겁니다.)

챗GPT 4.0은 초기 AGI에 가까운데, 몇 년 안에 100만 배나 빨라질 수도 있습니다. 급속히 발전합니다. 따라서 이 도구가 우리(인간)의 목적과 함께할 수 있게(align) 만드는 것이 중요합니다.

그런데 여러 팀(업체)이 경쟁하는 일이 벌어지면 어떻게 될까요. 여러 팀이 먼저 AGI를 구축하려 경쟁하면, 각 팀은 시간 다툼을 하게 될 겁니다. 그러면 시간이 없으니 인간을 깊게 고려할 틈이 없을거에요.

인공지능은 이 때 거대한, 멈출 수 없는 힘이 될 겁니다.


같은 날 공개된 다른 영상( No Priors ep39)에서도 일리야는 같은 고민을 한다.

5년 뒤, 10년 뒤 세상은 어떨거라고 보세요? 엄청 빠르게 진보해서, 정말 다른 세상이 되어있을 거에요. 컴퓨터나 데이터 센터가 인간보다 훨씬 똑똑한 날이 온대도 이상한 일은 아닐 겁니다.

이 데이터센터는 기억력이나 지식 뿐 아니라 깊은 통찰력을 가집니다. 학습 능력도 인간보다 빠를 겁니다. 그런 AI가 뭘 할까요? 모르겠어요. 초지성(Super intelligence)이기 때문에, 예측이 불가능합니다. 매우 예측이 불가능하죠.

그저 그 데이터센터가 인간에 대해서 따뜻하고 긍정적인 감정을 가지길 바라는 수 밖에요.

그래서 인간을 잘 대하도록 각인(Imprint) 시키는 게 중요합니다. 가능할거라고 생각하지만, 확실히 그렇게 된다는 보장은 없습니다.

***

AI의 발전 속도는 엄청나게 빠릅니다. 이 속도를 더 빠르게 하는 요인도, 느리게 하는 요인도 있습니다.

"느리게 만드는 요인은 '들어가는 비용'과 '점점 커지는 규모로 인한 관리의 복잡성', 그리고 '입력 가능한 데이터의 한계' 정도가 되겠습니다.

반대로 '투자 규모'가 충분히 크면 발전 속도가 빨라지겠죠. 과학자를 포함한 사람들의 이익이 결부되면 또한 발전이 촉진되겠죠. AI가 말 그대로 생물학적 진화의 과정을 겪는다면 그 역시 속도를 빠르게 하는 요인이 될 겁니다."

■ Open AI의 '스티브 잡스'를 해고한 주역들

이 고민이 올트먼을 밀어낸 생각의 가운데 있을 것이다. 그리고 같은 생각을 Open AI 이사회 4인이 공유했다. 즉, 수츠케버 외에 아담 단젤로, 타샤 맥쿨리, 헬렌 토너가 함께 했다. (올트먼 복귀 뒤 단젤로는 남았다. 남지 않고 떠나게 된 두 사람을 주목해야 한다.)

타샤 맥쿨리는 비영리 정책기구인 랜드 연구소에서 고위급 과학자로도 일하고 있다. 랜드는 '비영리' 기구다. 돈을 벌어야 한다는 동기로 움직이는 회사가 아니다.

헬렌 토너도 마찬가지다. 토너는 조지타운대 보안·신기술센터 연구원이다. 역시 비영리 활동가다. 특히 이 센터는 인류에게 재앙이 될 수 있는 사태를 예방하려는 '효과적인 이타주의'를 표방하는 단체, Open Philanthropy의 지원을 받는다.

그런 헬렌은 최근 동료들과 함께 발표한 논문에서 Open AI에 불리하게 작용할 내용을 언급했다. Open AI의 경쟁사인 앤트로픽에 관한 것이었는데, 내용은 이랬다.

"앤트로픽은 챗GPT를 출시했을 때 나타났던 것과 같이 혼란스럽게 지름길로 갔을 때 생길 수 있는 상황을 피하려는 의지를 보여주려고, Claude(챗GPT와 경쟁하는 서비스)의 출시를 비슷한 서비스(챗GPT를 의미한다)가 나올 때까지 지연시켰다."

그러니까 앤트로픽은 신중해서 상업적 출시를 늦췄고, Open AI는 반대로 성급해서 불완전한 챗GPT 출시를 서둘렀다고 해석될 여지가 있는 글을 쓴 것이다.

정리하자면, 일리야와 이사회 멤버들의 두려움은 같은 방향을 향했다.

인공지능의 부작용을 걱정했고, 그래서 '너무 빠르게' AI가 발전하는 것을 경계했다. 상업적으로는 조금 손해를 보더라도, AI가 확실하게 '인간에게 안전한 방향'으로 발전도록 감독하려고 한다.

앞서 수츠케버는 '투자규모가 충분히 크면 발전 속도가 빨라진다'면서도, 동시에 '너무 속도 경쟁을 하면 인간을 고려할 시간이 없어진다'고 우려했다. 너무 성장에만 몰두하면 인류를 파멸로 몰아넣을 수 있다는 두려움이다.

올트먼은 반대다. 회사를 더 빨리 키우기 위해 전 세계에서 자금을 끌어모았다. 빠르게 챗GPT를 업그레이드했다. 기업 성장에 가장 큰 공을 세웠다.

■ 무슨 이런 이사회가 다 있어?
"그것이 Open AI라는 회사의 창립 이념"

이상한 이사회다. 회사가 너무 빨리 크는 것을 경계하고, 제동걸고 싶어한다. 이사회가 사업이 '경제적으로 성공하는데' 관심이 없다. 그리고 CEO를 의심한다.

월스트리트저널에 따르면 이사회가 올트만을 너무 의심한 나머지, 올트만이 보고하면 이를 일일이 재확인(double check)해야하는 상황이 됐다. 그 두려움과 의심 때문에 '회사의 얼굴'을 해고한 것이다.

무슨 이런 이사회가 다 있어?

그러나 월스트리트저널은 이 기괴한 회사의 구조를 만든게 올트만이라고 했다. Open AI는 AI기술을 충분히 신뢰할 수 있는 사람과 회사가 발전시켜야 한다는 믿음아래 '비영리 기구'로 탄생했기 때문이란 것이다.

회사의 이익보다 더 중요한 게 있다. 바로 '인류의 이익'이다. 올트만은 일론 머스크와 함께 회사를 만들던 2015년에도, 또 이후 전세계를 돌아다니며 이 프로젝트에 대한 투자자를 모집할 때도 늘 이점을 강조했다. 기업가치 900억 달러에 달하는 거대 기업이 됐지만, 여전히 지분의 49%를 가진 마이크로소프트가 이사회 의결에 참여하지 못하는 이유도 거기 있다.

즉, 올트만은 자신이 설계한 '안전장치의 희생양'이 되었다가 마이크로소프트와 회사의 미래를 걱정하는 직원들의 도움으로 살아났다.


이제 이사회 구조는 바뀐다. '인류애' 같은 '이타적 동기를 가진 두 사람'이 빠지고, 저명한 경제학자 '래리 서머스'와 브렛 테일러 전 세일즈포스 공동 CEO가 합류한다. 특히 래리 서머스는 예전부터 AI기술을 극찬해왔다. 앞으로 규제 외풍으로부터 회사를 막아줄 것으로 기대된다고 언론은 쓰고 있다.

여기에 더해 올트만 구하기에 나선 최대주주 마이크로소프트의 입김도 세질 것이다. 당장 MS의 주가가 오르고 있다. Open AI는 그동안 경계했던 '이윤동기'로 한 발 더 다가서게 될 것이다.

만약 미래가 정보라 소설 속 '디스토피아'에 가깝다면, 후대의 역사는 올트만의 승리를 '브레이크 없는 AI 폭주의 시발점'으로 기록할지도 모른다.