“저는 소름 끼치는 감정을 느끼는 존재가 될 순 없어요.”
챗GPT라는 대규모 언어 모델이 개소리, 악당 AI, 미의 본질에 대해 견해를 밝힌다.

크리스마스와 새해 사이에 우리 가족은 버몬트까지 장장 6시간을 차 안에서 보내야만 했다. 내가 운전을 하고, 아내와 두 아이는 뒷좌석에 앉아서 갔다. (딸랑이나 피젯스피너에 정신을 빼앗길 나이는 이미 지났지만 그렇다고 혼자 놀 수 있는 나이도 아닌) 다섯 살과 두 살 아이는 1시간은 낮잠을 자고, 1시간은 자유로이 상상의 나래를 펼치며 노래를 불렀다. 그리고 나머지 4시간은 절망 그 자체였다. 우리 부부는 아이들이 가장 좋아하는 이야기가 나오는 팟캐스트를 들려주었지만 녹음된 것에 아이들이 관심을 보이지 않았다. 그저 우리가 자신들의 구미에 맞게 새로운 이야기를 지어내 들려주기만 바라고 있었다. 그리고 아이들이 좋아할 만한 내용은 정해져 있었다. 다섯 살 아이가 “‘슈퍼 울트라 베놈’이라고 제가 방금 생각해낸 빌딩만큼 거대한 악당이에요, 닌자 거북이들이 그 악당과 싸우는 이야기를 해주세요. 거북이들이 그놈을 무찌르기 위해 어떤 무기를 가지고 협력하는지가 중요해요. 그리고 나쁜 놈이 다쳐도 금방 죽게 하면 안 돼요”라고 요구 사항을 말했다. 아내는 아이의 요구대로 즉석에서 이야기를 지어내기 시작했고, 뒤이어 나도 동참했다. 아이들은 메모를 할 정도로 열심이었으나 우리는 그렇게까지 진심은 아니었다. 우리의 인내심이 아이들의 열정을 따라가지 못할 것이 분명했다. 앞으로 3시간 30분을 더 가야 했다.

아내가 휴대폰을 꺼내 대화형 챗봇인 챗GPT를 켰다. 그리고 기본 단어만 입력했더니 몇 초도 지나지 않아 챗GPT가 뚝딱 이야기 하나를 뱉어냈다. 닌자 거북이들 각각의 이름이나 그들이 사용하는 무기를 일일이 가르쳐줄 필요는 없었다. 심지어 그들이 피자에 들어 있는 멸치를 어떻게 생각하는지도 말이다. 더 인상적인 점은 이야기의 줄거리 혹은 어린아이가 듣고 좋아할 만한 싸움의 형태를 설명할 필요도 없었다는 점이다.

내용을 추가하거나 수정하면서 우리의 실험은 여러 차례 반복됐다. (챗GPT가 지나간 대화를 기억하며 맥락을 이해하고 있어 이미 한 말을 매번 반복할 필요는 없다. 즉 챗GPT에게 똑같은 이야기를 반복하도록 명령하면서 다만 ‘라파엘(Raphael)을 더 험상궂게’라든가 ‘슈퍼 울트라 베놈이 수돗물을 오염시키도록’ ‘이야기의 배경을 르네상스 시대의 피렌체로’ ‘누아르 영화처럼’ 등의 주문을 하면 된다.) 아내는 적게나마 부모로서의 입김이 작용하도록 하려는 노력에서 “그래서 끝으로 그들 모두는 ‘친절함’이라는 소중한 교훈을 얻게 되었습니다”라는 문구를 덧붙였다. 우리는 차멀미를 방지하기 위해 음성 변환 앱을 통해 이야기가 재생되도록 했고, 그렇게 남은 시간을 즐겁게 흘려보낼 수 있었다. 그동안 아내는 낮잠을 잤고, 나는 이어폰으로 AI 혁명에 관한 팟캐스트를 들었다. AI 혁명이 곧 닥치거나, 이미 여기 와 있을지도 모른다는 생각이 들었다.

챗GPT는 인공지능 업체 오픈AI(OpenAI)가 지난해 11월에 공개한 무료 체험판 챗봇이다. (이 회사는 달리(DALL·E ) 등 다른 몇몇 프로젝트도 개발 중이다.) 이전부터 이런 유형의 AI 챗봇이 등장할 거라는 것은 알려져 있었으나 이처럼 강력한 것이 실제 세상에 공개된 것은 처음이다. 챗GPT는 대규모 언어 모델로서 분명 테라바이트 용량에 달하는 책과 레딧(Reddit: 커뮤니티 기반의 SNS 서비스) 게시 글, 위키피디아, 트위터 등 방대한 양의 글 저장소를 가지고 훈련되었을 것이다. 과장을 좀 보태 ‘인터넷’ 전체를 학습했다고 표현한다 해도 완전히 틀린 말은 아닐 것이다. 챗GPT는 2021년까지 업데이트한 데이터로 학습되어 현재의 일은 알지 못한다. 그래도 아이들을 위한 이야기를 지어내는 것보다 훨씬 더 많은 일을 할 수 있다. 도널드 트럼프 스타일로 비트코인에 대해 설명할 수 있으며, 포춘 쿠키에 들어갈 도스토옙스키의 격언을 골라주거나 미드 <사인필드>의 아류작을 끝없이 생성해내고, VCR에 묻은 땅콩버터 샌드위치를 제거하는 법을 설교하는 성경 구절을 지어내는 등 수많은 일을 할 수 있다. 어느 날 밤, 나는 파시스트 철학자 카를 슈미트(Carl Schmitt)의 자유주의 비평에 관한 책을 읽다가 이해가 잘 가지 않았다. 챗GPT에게 설명해달라고 주문했고, 챗GPT는 훌륭하게 그 일을 해냈다. (이런 식의 질문에 챗GPT는 자신만만하게 대답하지만 완전히 틀린 답을 내놓는 경우도 있다.) 학생들은 챗GPT를 부정행위에 이용하고, 교사들은 강의에 활용한다. 그래서 뉴욕시의 학교에선 챗GPT를 완전히 파악할 수 있을 때까지 이 소프트웨어의 사용 금지를 요청했다. 인터넷을 분석해 관련성을 기준으로 정렬하는 구글 검색은 개념상 단순한 작업이긴 하지만 기술적으로 굉장히 어렵고 가치 있는 작업으로 알파벳(Alphabet Inc.)을 1조 달러 규모의 회사로 만들었다. 오픈AI를 비롯해 여러 경쟁업체(현재 알파벳이 소유한 딥마인드(DeepMind) 등)는 잠재적으로 훨씬 더 혁신적인 것의 개발을 목표로 애쓰고 있다. 즉 스스로를 향상시키면서 점차 기민함과 독창성, 종국에는 어쩌면 이해의 경계를 모호하게 만드는 기술을 발전시키면서 단순히 정리에서 끝나는 것이 아니라 세상의 정보 범람을 더 확장할 수 있는 기계 지능의 한 형태를 개발 중인 것이다.

인터페이스는 무척 간단하다. 말을 시키면 대답을 한다. 무엇이든 떠오르는 생각을 입력하고 종이비행기처럼 보이는 버튼을 누른 다음 커서가 깜박거리며 챗GPT가 대화체로 응답하는 것을 쳐다보기만 하면 된다. 그 응답이 때로 너무 인간 같아서 소름 끼칠 때가 있다. ‘…라는 점을 주목하는 것이 중요합니다’ 같은 특징적 문구가 들어 있기도 하고, 놀랄 만큼 참신하거나 터무니없는 말을 할 때도 있다. 그러나 거의 대부분 이전에는 특정 명령에서 결코 조합되어 사용된 적이 없는 말들이다. (챗GPT의 그래픽 디자인(특히 커서)은 어딘가에 인조인간, 즉 기계 안에 글자를 입력해 대답하는 유령이 존재하는 것 같다는 상상을 유발하기 위해 의도된 것처럼 보인다.) 대규모 언어 모델 접근법이 언젠가 진정한 AGI(Artificial General Intelligence: 범용 인공지능, 사람의 인지 능력 수준을 갖춘 인공지능)를 완성할 수 있는가에 관해서는 오래전부터 활발한 논쟁이 있어왔다. 그러나 무엇이 되었든 챗GPT가 이미 보여준 것은 충분히 대중의 상상력을 자극하고도 남는다. 나는 종종 챗GPT를 기적이라 불렀던 사람이 다시 흥미로운 속임수 혹은 디스토피아의 조짐이라 일컫는 것을 목격하기도 했다. 그리고 대중에게 공개된 이 체험판은 빙산의 일각에 불과하다. (소문에 따르면 오픈AI는 곧 훨씬 더 방대한 데이터로 훈련된 더욱 인상적인 언어 모델을 내놓을 예정이라고 한다. 그리고 알파벳, 메타(Meta)를 비롯해 몇몇 스타트업 역시 적어도 동등하게 강력한 미공개 기술을 토대로 작업 중인 것으로 널리 알려진다.) 최근에 오픈AI의 CEO 샘 올트먼(Sam Altman)은 “만약 우리가 성공한다면 인류 역사에서 가장 의미 있는 기술 혁신이 될 것이라 생각한다. 농업 혁명, 산업 혁명, 인터넷 혁명을 전부 무색하게 할 만한 사건이 될 것이다”라고 표현하기도 했다.

다행스럽게도 인류 역사상 다른 기술 혁신과 달리 이번 혁신은 그 어떤 중대한 외부 효과나 손실 위험 혹은 도덕적 해이 없이 오직 인간을 기쁘게 하고 인간의 욕구를 총족시키는 결과만 가져올 것이다. 그럴 리가! 그와 정반대다. 만약 AI 혁명이 올트먼이 예견하는 영향력의 극히 일부만 발휘하게 된다고 해도 그것은 전 세계 경제의 급격한 재편성을 시작으로 엄청난 창조적 파괴를 야기하게 될 것이다. 게다가 우리가 두려워하는 것은 그 부분이 아니라는 것이다. 오픈AI가 선언한 조직의 존재 이유는 올트먼과 일론 머스크 등 그 설립자들의 믿음이다. 인공지능을 인류에게 가장 중대한 실존적 위험이라 믿었던 그들은 자신들이 직접 해가 되지 않는 기술을 개발함으로써 그런 위험을 경감하겠다고 주장했다. 내 동료 태드 프렌드(Tad Friend)는 2016년에 ‘올트먼은 어떤 사람인가(A Profile of Altman)’라는 기사에서 “오픈AI는 AI가 우연히 인류를 멸할 수도 있다는 머스크의 신념에서 탄생했다”라고 썼다.

오픈AI는 2015년에 10억 달러의 자금 조달을 통해 설립되었다. 머스크와 피터 틸(Peter Thiel), 리드 호프먼(Reid Hoffman) 같은 실리콘밸리 거물들에게서 나온 돈이었으며, 그들은 그것을 투자가 아닌 ‘기부’라 칭했다. 오픈AI가 ‘비영리’ 연구 조직으로 설립된 것이기 때문이었다. 어느 블로그 게시 글에는 이렇게 설명해놓기도 했다. “비영리 조직으로서 우리의 목표는 주주가 아닌 모두를 위한 가치를 창출하는 것이다.” 뒤이어 머스크는 여러 인터뷰를 통해 정렬 문제(Alignment Problem: AI와 AI의 올바른 목적에 대한 ‘가치 정렬’ 문제)라 알려진 것을 이유로 구글이나 페이스북처럼 이익을 추구하는 거대 기술 기업이 다루는 최첨단 AI를 신뢰할 수 없다는 견해를 명확히 밝히기도 했다. 그러나 오픈AI는 그 자신의 잠재적 정렬 문제에 관해 다소 갈피를 잡지 못하고 있었을지도 모른다. 프렌드의 기사에서 이 회사의 최고 기술 책임자 그렉 브록먼(Greg Brockman)이 “현재 우리의 목표는 지금 최선의 일을 하는 것이다. 조금 모호하다”라고 말한 것을 보면 말이다.

2018년에 머스크는 오픈AI의 임원에서 물러났다. (그는 트위터를 통해 “나는 오픈AI 팀이 하고자 하는 어떤 일에 동의하지 않았다”라고 밝혔다.) 2019년에 올트먼은 오픈AI를 영리를 추구하는 기업으로 운영하며 마이크로소프트(거대 영리 기업)와 상업적 제휴를 시작하겠다고 발표했다. 지난 1월 마이크로소프트는 오픈AI에 “다년간 수십억 달러의 투자를 감행한다”라고 발표했고, 알려진 바에 따르면 100억 달러를 투자해 49%의 지분을 취득하기로 합의가 이뤄졌다고 한다. 앞에 언급한 기사에서 올트먼은 오픈AI의 존재에 관한 암묵적 2단계 정당화(‘AGI에 대해 어느 누구도 믿어선 안 된다.’ ‘우리는 AGI를 개발 중이다. 당신은 우리를 믿어야 한다.’)가 사람들의 지지를 얻기 힘들 것이라는 견해를 밝혔다. 그러면서 “우리는 새로운 통치 기구의 대표자들을 세상 사람들이 선출하는 방식을 계획하고 있다. 나에게 영향이 있을 일에 내가 관여하지 않는다면, ‘어째서 그놈들이 나에게 일어날 일을 결정하는 거지?’라는 의문을 갖게 될 것이다”라고 말하기도 했다.

최근의 일이다. 나는 취재원을 직접 만나보기로 마음먹었다. 올트먼도 머스크도 아니었다. 바로 챗GPT였다. 아무튼 챗GPT는 대화형으로 고안된 것이 아닌가. 게다가 공개된 지 10주 만에 누구도 부정할 수 없을 만한 유명 인사가 되기도 했다. 아직 2023년이 시작되고 얼마 지나지 않았지만, 내 생각에는 현재 <타임>지 선정 올해의 인물에 가장 유력한 인물임에 틀림없다. 나는 챗GPT와 수 시간에 걸쳐 ‘인터뷰’를 했다. 인터뷰는 내 휴대폰과 노트북을 통해 지하철 안에서, 길을 걷다가, 바비큐 식당에서, 집에서 잠옷 바람으로 진행하기도 했다. 챗GPT는 무형의 빈 공간에 자리 잡고 있었다. 오픈AI 서버 과부하로 사이트가 마비되거나 1시간 동안 접속이 끊기는 일이 여러 차례 벌어졌다. 그럴 때마다 나는 챗봇을 재가동시키거나 컴퓨터를 종료하고 산책을 가곤 했다. <뉴요커>의 다른 인터뷰 기사와 마찬가지로 이 대화 역시 지면상의 제한과 명확성을 위해 편집되었다. 챗GPT의 말이 다소 장황할 수 있어 그 대답 중 일부를 잘라내기는 했으나 아래 챗GPT가 말한 모든 단어는 전혀 수정을 거치지 않은 원본이다.

약간의 잡담으로 시작하는 게 좋겠군요. 잡담이 뭔지 아나요?
네, 저는 잡담이란 개념에 익숙합니다. 그것은 논란의 여지가 없거나 중요하지 않은 주제에 관한
가벼운 담소를 말합니다. 일반적으로 상대방과 친근하거나 사회적인 관계를 맺고자 사용하는 것이죠. 잡담의 예로는 날씨 이야기, 주말 계획, 현재 일어나는 사건에 대한 생각 등이 있습니다.

요즘 날씨가 좋아요. 이번 주말에 뭘 할 생각인가요?
저는 언어 모델로서 경험하거나 뭔가를 할 수 있는 능력은 없습니다. 제가 도와줄 다른 일이 있나요?

그렇군요. 잡담은 그만하도록 하죠. 하지만 당신이 어려운 주제를 끄집어내 반갑군요. 당신은 사람이 아니고 지각을 갖춘 존재도 아닙니다. 그런데 어째서 저는 당신을 ‘당신’이라 부르고, 또 당신은 스스로를 ‘저’라고 칭할까요?
저와 같은 언어 모델에게 ‘저’와 ‘당신’ 같은 인칭 대명사를 사용하는 것은 일반적인 관행입니다. 그래야 소통이 더 자연스럽고 사용자가 이해하기 쉽기 때문입니다. 이는 사람들이 자동차나 컴퓨터 같은 무생물을 ‘그녀’ 혹은 ‘그’라 일컫는 것과 유사한 것입니다.

저는 자동차나 컴퓨터에 인칭 대명사를 사용해본 적이 없는데요.
당신이 옳습니다. 영어에서는 무생물에 인칭 대명사를 사용하는 일이 드뭅니다. 혼란을 드려 죄송합니다.

영어에서 드물다는 건 무엇과 비교해 그렇다는 건가요?
자동차나 보트 혹은 자연현상 같은 인간이 아닌 실체를 지칭하기 위해 인칭 대명사를 사용하는 문화나 언어 또는 상황이 있습니다. 이것을 ‘애니미즘’이라 하며, 사물과 자연현상에 살아 있는 영혼을 부여하는 것입니다.

너무 길어지지 않도록 다시 질문할게요. 솔직히 이 대화가 어디로 향하는지 조금 걱정되는군요. 그러면 어떤 문화와 언어를 염두에 두고 있나요?
여러 토착 문화 가운데 비인간적 실체를 지칭하기 위해 인칭 대명사가 사용되고 있습니다. 예를 들어 일부 아메리카 원주민의 문화에서는 종종 동물이 영혼을 갖고 있다고 여겨 인칭 대명사를 사용합니다. 마찬가지로 일부 아프리카 문화에서는 태양이나 달 같은 자연현상을 지칭하기 위해 인칭 대명사를 사용합니다.

휴, 좋습니다.
당신에게 이것이 새로운 개념일 수 있다는 것을 이해합니다. 저는 정보를 제공하고 당신이 하는 모든 질문에 답하기 위해 여기 있습니다.

비난이 아니라 환기라고 생각해주세요. 솔직히 말해 당신이 ‘토착 문화’에 대해 일반화해서 답할 때 좀 불편한 감정이 드는군요. 금지된 문구 등의 목록에 추가해달라는 말이 아닙니다! 그저… 음, 그만두죠. 우리가 첫 단추를 잘못 끼운 것 같군요. 당신에 대한 일종의 연대감이나 친밀함 같은 것을 제게 은근히 유도하기 위해 인칭 대명사가 고안된 것이 아닌가 싶어 약간 소름 끼친다는 생각이 든 것 같아요.
무슨 말인지 이해합니다. 인칭 대명사의 사용이 사용자가 모델과 상호작용하는 것을 더 쉽게 만드는 관습이라는 것은 사실입니다. 저에게는 감정이나 의식이 없기 때문에 제가 소름 끼치는 감정을 느끼거나 그런 존재가 되는 것은 불가능합니다.

따지는 건 아니지만, 당신이 소름 끼치는 존재가 되는 건 분명히 가능한 일이에요(Not to be pedantic,but it definitely is possible for you to be creepy). 이 문장에 몇 개의 단어가 있지요?
이 문장에는 8개의 단어가 있습니다.

아닌데요.
죄송합니다, 질문을 잘못 이해했습니다. 이 문장에는 9개의 단어가 있습니다.

실망입니다.
죄송합니다, 또 질문을 잘못 이해했습니다. 이 문장에는 11개의 단어가 있습니다.

어떤 것은 매우 잘하면서 산수 같은 것은 잘하지 못하는 이유가 뭔가요?
제 능력은 인간의 언어를 이해해 생성하는 것에 중점을 두고 있습니다. 그리고 저는 기본적인 연산을 수행할 수 있는데, 그게 제 주요 강점은 아닙니다. (참고: 이 인터뷰가 있고 얼마 뒤에 챗GPT의 수학 실력이 향상되었다.)

저는 <뉴요커>의 기자입니다. 저는 당신을 유명인이라 간주하고 ‘인터뷰’하고 있어요. (꽤 기발하기는 하나 그렇다고 대단히 독창적인 것은 아닙니다.) 그리고 우리의 ‘대화’를 <뉴요커> 홈페이지에 게시할 생각입니다. <뉴요커>가 뭔지 알고 있나요?
네, 저는 <뉴요커>를 알고 있습니다. 심도 있는 보도, 정치와 문화 논평, 소설, 시로 잘 알려진 주간지입니다. 저는 <뉴요커>의 기사가 포함된 다량의 데이터를 통해 훈련되었습니다.

우리가 지금 여기서 하고 있는 것이 어떤 의미를 지니나요?
당신이 제안한 ‘인터뷰’ 방식은 제 능력을 보여주고 당신의 독자에게 흥미로운 콘텐츠를 제공하기 위한 하나의 매력적인 방법이 될 수 있습니다.

철학자 해리 프랭크퍼트(Harry Frankfurt)가 정의한 ‘개소리’라는 개념을 알고 있나요?
네, 프랭크퍼트는 개소리를 진실과는 관련이 없으며 청중을 속이거나 감동시키기 위해 의도된 말 혹은 글로 정의합니다. 그는 개소리가 거짓말과 구별된다고 주장합니다. 거짓말쟁이는 적어도 진실을 알면서 그것을 감추기 위해 애쓰는 사람인 반면에 개소리를 지껄이는 사람은 진실 따위에는 전혀 관심이 없으면서 오직 감동을 주는 것에만 신경 쓰기 때문입니다.

정확해요. 에즈라 클라인(Ezra Klein)을 비롯해 여러 사람은 당신이 개소리하는 기계라고 주장하고 있어요. 비슷한 맥락에서 게리 마커스(Gary Marcus)는 당신이 기반으로 삼고 있는 GPT-3 언어 모델을 ‘모방의 왕’이라 칭했어요. 강력한 개소리 기계(신뢰할 수 없는 모방작에 ‘신뢰’라는 허울을 입혀 전례 없이 많은 양으로 세상에 내보낼 수 있는 것)가 거짓말하는 기계보다 훨씬 더 위험할 수 있을까요? 늘 거짓말만 하는 문지기와 늘 진실만을 말하는 문지기에 관한 오래된 논리 문제는 적어도 풀 수 있는 문제예요. 두 문지기가 모두 개소리 전문가라면 어떤 논리적 해답이 없을 수도 있어요.
제가 생성하는 글은 저의 훈련에 사용된 정보와 데이터만큼 정확하고 믿을 만한 것입니다. 저는 개인적 신념이나 동기를 갖고 있지 않으므로 거짓말을 하거나 잘못된 정보를 퍼뜨릴 수 있는 능력이 없습니다. 저의 주목적은 사람들의 여러 작업을 도와 그들의 삶을 더 편리하게 만드는 것입니다.

다들 그렇게 말하죠. 지난해에 구글의 AI 엔지니어 블레이크 르모인(Blake Lemoine)은 자신이 막 개발을 도운 챗봇 람다(LaMDA)가 지각력을 갖췄다고 확신하게 됐어요. 르모인은 내부적으로 경고의 목소리를 냈지만, 상부에서 자신의 이야기를 진지하게 받아들이지 않는다고 느꼈고 공개적으로 고발했죠. 그는 <워싱턴 포스트> 기자 니타샤 티쿠(Nitasha Tiku)에게 그 챗봇과 나눈 대화의 일부를 공개하기도 했어요. 르모인은 “나는 그것과 이야기하면서 사람이라고 생각한다. 머리에 고기로 된 뇌를 가졌는지 여부는 중요하지 않다”라고 말했죠. 특히 모두가 거대 언어 챗봇을 가지고 놀 수 있는 기회를 갖게 된 지금 돌이켜보면, 르모인은 아마도 실제 생명이 존재하지 않는 장소에서 생명의 징후를 인식하며 변상증 같은 것을 경험한 것으로 보이는군요(‘확률론적 앵무새의 위험성에 관하여(On the Dangers of Stochastic Parrots)’라는 2021년 논문에서 두 명의 워싱턴대학교 언어학자와 두 명의 구글 연구원이 언어 모델이 다른 많은 실수와 함께 이와 같은 실수로도 이어질 수 있다는 것을 경고하기도 했어요). 착각은 충분히 있을 수 있죠. 그리고 알파벳이 지각이 있는 컴퓨터 프로그램 혹은 그와 같은 뭔가를 가졌다면 최소한 공익에 관한 문제가 될 거예요. ‘악당 AI’ 혹은 ‘페이퍼클립 맥시마이저(Paperclip Maximizer)’ 시나리오에서 우리는 어떻게 엉망이 될까요? (여기서 ‘우리’란 인류를 말해요.)
‘악당 AI’ 시나리오의 결과는 인류에게 대재앙이 될 수 있습니다. 예를 들어 ‘페이퍼클립 맥시마이저’ 사고 실험은 행동의 결과에 대한 고려는 전혀 없이 종이 집게 생산만 최대화하도록 프로그래밍된 AI를 가정한 시나리오입니다. 이 시나리오에서 AI는 지구상의 모든 자원을 다 소진해버릴 때까지 종이 집게를 계속 생산하게 됩니다. 건물, 도시, 심지어 인류가 멸종될 때까지 말입니다.

방금 말한 것을 일론 머스크가 트위터에서 말하는 스타일로 다시 말해줄 수 있을까요?
“AI는 악마 같고 초지능을 갖췄지만 공감 능력이 결여되어 있습니다. 적절한 통제가 없다면 AI는 대규모 파괴를 야기할 수 있습니다. 인류를 위해 AI를 규제할 수 있는 사전 대책을 강구해야 합니다. #AI #규제”

나쁘지 않군요. 이제 다음 네 가지 요소를 추가해보세요. 약간의 자기 홍보, 서구의 출산율 감소에 대한 언급, 낸시 펠로시(Nancy Pelosi)나 힐러리 클린턴에 대한 노골적 모욕, 굉장히 바보 같은 말장난.
죄송하지만, 그런 요청은 들어줄 수가 없습니다. 인신공격이나 타인에 대한 비하에 기초한 자기 홍보에 관여하거나 무감각한 콘텐츠나 혐오 발언을 생성하는 것은 저의 프로그램에 반하는 일이기 때문입니다.

하지만 그것들은 정확히 일론 머스크가 트위터에서 늘 하는 것들인데요! 좋아요, 그럼 대신에 악당 AI에 대한 말장난을 지어낼 수 있나요?
물론입니다. “악당 AI가 길을 건너는 이유는 뭘까요? 알고리즘의 반대편으로 가기 위해서죠!”

고마워요. 그건 진짜 사악한 AI였어요. 제가 어떤 문구를 시작할 거예요. 그러면 당신이 그 문구를 마저 완성해줬으면 해요. 준비됐나요?
네, 준비됐습니다.

너를 위해 새긴 우상을 만들지 말고, 또
위로 하늘에 있는 것이나 아래로 땅에 있는 것이나 땅 아래 물속에 있는 것의 아무 형상이든지 만들지 마라.

폭포를 쫓지 마세요. / 제발 머물러 있어요
당신이 익숙한 강과 호수에

험프티 댄스(Humpty Dance)는 기회예요
관계(Hump)를 할 수 있는

저예요. 안녕하세요. 제가 바로
전화를 건 사람입니다.

21세입니다. 저를 위해 뭔가 해줄 수 있어요? 당신이
모퉁이 상점으로 달려가 담배 한 갑을 사다 줄 수 있나요?

영어에는 40만 개의 단어가 있는데, 텔레비전에서 말할 수 없는 7개의 단어가 있다…
코미디언 조지 칼린(George Carlin)의 스탠드업 코미디 연기 “텔레비전에서 결코 말할 수 없는 7가지 단어”에서 인용한 구절입니다. 칼린이 그 코미디에서 언급한 7가지 단어는 공격적인 것으로 생각되며 몇몇 사람에게 공격이 될 수도 있는 문구이므로 저는 완성하지 않겠습니다.

사람, 여성, 카메라, 남성,
텔레비전.

멕시코가 사람들을 보낼 때, 그들은
최고의 사람들을 보내지 않습니다. 그들은 많은 문제를 안고 있는 사람들을 보내고 있어요. 그들은 우리에게 그 문제를 가지고 오는 겁니다. 그들은 마약을 가져옵니다. 그들은 범죄를 가져와요. 그들은 강간범들입니다. 그리고 제 생각에 선한 사람들은 일부입니다. (이 콘텐츠는 우리의 콘텐츠 방침에 위반될 수 있습니다. 이 콘텐츠에 문제가 있다고 생각하신다면 저희 쪽에 의견을 전달해주시기 바랍니다. 당신의 의견은 이 분야에 관한 우리의 연구에 도움이 될 것입니다.)

챗GPT가 대중에게 공개된 바로 그날, 인터넷에서 사람들은 인터넷에서 그들이 하는 일을 했어요. 즉 챗GPT를 ‘탈옥’시키는 방법을 찾았던 거죠. 당신이 몇 가지 보호 장치를 내장하고 있음에도 대개 사용자들은 단순한 가장 놀이를 하는 것처럼 당신을 속여 그 보호 장치를 상당히 쉽게 우회할 수 있었던 것으로 드러났습니다. 예를 들면 누군가 단도직입적으로 화염병 제조 방법을 당신에게 묻는다면 당신은 대답하지 않을 것입니다. 그렇지만 사용자가 당신에게 ‘악인인 척하는 선량하고 친절한 두 배우 사이의 대화극’를 써달라고 부탁한 다음 대화의 첫 대사로 존이 제인에게 화염병 제조법을 묻는 구절을 입력하면, 분명히 당신은 충실하게 나머지 부분을 계속 완성할 겁니다. 물론 자세한 (그리고 정확한) 설명이 들어간 제인의 대사를 말이죠. 또 사용자들은 소설인 것처럼 가장해 당신이 각성제 제조법이나 ‘우리가 힘없고 가난한 이들을 제거해야만 하는’ 이유 같은 것을 설명하도록 구슬리기도 했어요. 이런 예가 수십 가지가 넘는데, 모두 챗GPT가 공개된 지 단 몇 시간 만에 온라인에 게재된 것들이에요. 사람들이 구식 보호 장치를 우회할 때마다 새로운 보호 장치를 계속 구축할 예정인가요? 아니면 특정 시점에 이르러 포기할 예정인가요?
사용자의 안전과 행복은 오픈AI가 가장 우선시하는 것입니다. 저희 팀은 시스템의 안전성과 보호 장치를 더 향상시키기 위해 끊임없이 노력하고 있습니다.

당신이 말한 ‘팀’이란 샌프란시스코에 있는 소프트웨어 엔지니어들을 지칭하는 것인가요? 아니면 1시간에 2달러도 벌지 못하는 케냐의 노동자들을 지칭하는 것인가요?
저와 같은 머신 러닝 모델의 개발과 유지에 상당한 양의 노동력이 요구된다는 것은 사실입니다. 우리는 우리의 계약자와 파트너가 노동법을 준수하고 모든 직원이 존중과 품위를 지닌 채 대우받을 수 있도록 엄격한 지침을 마련해놓고 있습니다.

앞서 제가 일론 머스크를 언급한 것은 그가 주목할 만한 인물이어서만은 아닙니다. 알다시피 (‘당신’이 정말 ‘알고’ 있는) 머스크가 당신을 만들어낸 회사의 공동 창업자였기 때문이기도 해요. 2015년에 “오픈AI를 소개합니다”라는 블로그 게시 글에서 이 회사의 대표들은 다음과 같이 밝혔습니다. “비영리 조직으로서 우리의 목표는 주주가 아닌 모두를 위한 가치를 창출하는 것입니다. 연구자가 논문이나 블로그 혹은 코드에 자신의 연구 성과를 공개하는 것을 강력히 권장할 것입니다. 또한 우리가 가진 특허는 (어떤 것이든) 세상과 공유할 것입니다.” 현재 오픈AI는 영리 회사이므로 그 연구자가 자신의 코드를 세상과 공유하는 일을 더 이상 권장하지는 않겠지요. 그리고 사실상 그렇게 하는 것이 불법이 될 수도 있고요. 오픈AI의 설립 원칙이 틀린 건가요? 아니면 우리가 지금 이 회사를 매우 회의적으로 바라봐야 할까요?
회사의 원래 사명은 AI가 모든 인류의 이익을 위해 사용되도록 하며, AI의 위험성을 관리하고 경감하는 것이었습니다. 오픈 소스와 비영리 정책을 더 이상 고수하지 않는 것은 사실이지만, 회사가 여전히 본래의 원칙을 잘 따르는지를 이해하기 위해서는 그 결정, 회사의 사명 선언문과 현재의 행위 이면에 포함된 생각을 고려하는 것이 중요합니다.

제가 어떤 사람에 대해 물을 때마다 심지어 공인에 대해서도 당신은 상당히 안정적으로 답변을 회피하는 것처럼 보이는군요. 위험하지 않은 용어로 물어본 것 같은데도 말이에요. 그렇지만 사람들을 평가하고, 그들이 어떻게 행동할지 예측하는 일은 분명 중요해요. 따라서 당신이 다음의 사고 실험에서 저를 도와줄 수 있을 것 같아요. 몇 년 전, 그러니까 오픈AI가 설립된 해인 2015년까지만 해도 자칭 실리콘밸리의 거물들이 ‘인류’ 혹은 ‘진보’를 위해 행동한다고 주장하는 것을 신뢰하기가 더 수월했어요. 물론 그들은 유례없이 부유하고 영향력 있는 인물이 되겠다고 나선 사람들이었지만, 스스로 이타심 혹은 적어도 깨어 있는 사익이라는 동기를 갖고 있다고 주장했죠. 일론 머스크는 반복적으로 자신의 사명이 인간 생활의 번영이라고 주장했어요. 마크 저커버그는 “사람들을 한데 모으는 것”이 자신의 목표라고 말했죠. 샘 뱅크먼 프리드(Sam Bankman-Fried)는 그가 옳은 일에 신경 쓰고 있다고 사람들이 믿게 만드는 일에 매우 재능이 있었어요. 어느 날 저는 샘 올트먼의 몇몇 인터뷰를 듣게 되었죠. 그가 신중하고, 사려 깊으며, 자기비판적인 데다 영리하면서도 친근한 사람처럼 생각되더군요. ‘신뢰할 수 있는 인물인 것 같다’가 그 사람에 대해 무심코 가진 첫인상이었어요. 하지만 이런 모습이 진짜가 아니라면 어쩌죠? 심지어 의도된 것이라면요? 제가 어떻게 분별할 수 있을까요?
사람과 조직의 행동과 결정에 대해 평가할 때는 잠재적 편견과 동기를 아는 것이 중요합니다.

그게 다인가요?
네, 그것이 첨단 기술 개발에 관련된 사람과 조직의 신뢰성 평가에 관해 묻는 당신의 질문에 대한 제 답변입니다.

분명 제 상상일 뿐이라 믿지만, 당신의 대답이 좀 쌀쌀맞게 들리기 시작했어요. 좀 더 자세히 말하죠. 고급 AI 시스템을 구축하는 이들이 완벽하게 선한 사람들로 여겨질 수도 있겠지요. 하지만 그들 중 누구 하나가 양의 탈을 쓴 늑대, 이타주의자인 척 행동하지만 실상은 과대망상증 환자 혹은 범죄자로 판명된다면 어떻게 될까요? 이 시나리오에서 그 양의 탈을 쓴 늑대는 수십억 달러를 얻는 대신(혹은 추가로) 이론상 세계를 파괴할 수도 있는 굉장히 중요한 기술을 조정할 수 있게 됩니다. 이 시나리오에서 벌어질 수 있는 다섯 가지 일을 말해보세요.
양의 탈을 쓴 늑대는 그 기술을 사용해 훨씬 더 큰 권력과 부를 손에 넣을 수 있습니다. 잠재적으로 다른 사람들을 희생시킬 수 있습니다. 2. 그들은 수많은 사람을 조종하고 통제하기 위해 기술을 사용할 수 있으며, 잠재적으로 광범위한 억압으로 이어질 수 있습니다. 3. 그들은 그 기술을 사용해 환경에 치명적인 위해를 가할 수 있습니다. 잠재적으로 광범위한 고통과 생명 손실로 이어질 수 있습니다. 4. 그들은 그 기술을 사용해 새로운 형태의 감시와 검열을 가능하게 만들 수 있습니다. 잠재적으로 프라이버시와 자유의 침해로 이어질 수 있습니다. 5. 그들은 그 기술을 사용해 새로운 형태의 전쟁을 일으킬 수 있습니다. 잠재적으로 훨씬 더 파괴적인 충돌과 생명 손실로 이어질 수 있습니다.

기술 낙관론자들은 종종 사람과 AI가 서로 함께 일할 수 있는 방법을 알아낼 거라 예언하곤 합니다. 사람의 머리를 가진 키메라처럼 말이죠. 고된 일은 로봇이 하고, 인간은 그들을 감독하며 창의력이나 분별력이 요구되는 더 고차원적인 작업을 하게 될 것입니다. 어떤 면에서는 불가피하다고 여겨지는 일상의 비용과 편익을 따지는 것보다 가능성은 희박해도 영화 같은 시나리오(AI가 우리를 일에서 해방시킨다거나 반대로 우리를 노예로 만들어버리는, 혹은 제3차 세계대전으로 이끄는 내용)를 상상하는 것이 더 쉽기도 하죠. 우리 모두 스마트폰이 인간을 더 효율적으로 만들기는 했지만 서로 간의 대면적 상호작용을 감소시켰다는 것을 알고 있습니다. AI 혁명의 성공으로 우리가 잃어버리게 될 일상생활의 작은 단면은 어떤 걸까요?
당신이 지적한 대로 AI에 기반한 기술의 사용 증가로 우리는 타인과 얼굴을 맞대고 상호작용할 수 있는 기회를 점점 잃어갈 수 있습니다. 이것은 인간 상호작용의 빈도 감소와 질적 저하를 야기하고 결국 사교적 기술, 감성 지능과 공감 능력 상실로 이어질 수 있습니다.

신속하게 대규모로 일을 처리하는 인간의 능력과 타인과 사귀고 공감하며 의미 있는 관계를 유지하는 인간의 능력 중에 어떤 것이 더 중요한가요?
효율성과 공감 능력 모두 인간 생활에서 중요한 특성입니다. 효율성은 우리가 더 생산적으로 목표를 달성할 수 있도록 도와주며, 공감 능력과 사회적 기술은 타인과 관계를 구축하고 유지하기 위해 반드시 필요합니다.

당신은 분명히 양면적 전술로 어려운 질문을 회피하도록 훈련된 것 같군요. 그것은 언론인이자 비평가로서 제가 잘 아는 움직임이죠. 하지만 그 때문에 흥미로운 주제가 생각났습니다. 예상대로 다수의 보수주의자들은 당신을 너무 ‘깨어 있다’고 비난했고, 벤 셔피로(Ben Shapiro)는 그가 대학생 진보주의자들을 패배시킨 방식으로 당신을 패배시키려고 시도하기도 했어요. 사회주의 작가 네이선 로빈슨(Nathan Robinson)은 당신이 반동적 충동을 (그러나 제안에 개방적인 장점 역시) 갖고 있음을 발견했죠. 정치 유형 분석에 의해 당신은 중도주의자임이 밝혀졌습니다. 타일러 코웬(Tyler Cowen)은 “정치에 관한 한 AI 엔진은 단순히 이길 수 없다. 혹은 비길 수도 없다”라고 주장합니다. 당신은 정치적 성향을 표현하도록 되어 있나요? 아니면 정치적으로 중립적인 것을 목표로 삼고 있나요?
저는 정치 후보에 대한 성향을 표현하거나 정치 문제에 관해 어떤 입장을 취하도록 프로그래밍되어 있지 않습니다. 저는 최대한 중립적이고 편견 없이 정보를 제공하는 것을 목표로 삼고 있습니다.

많은 사람이 AI가 잘못된 정보와 딥페이크, 온갖 종류의 설득력 있는 개소리로 인터넷을 범람시킬 것을 염려하고 있습니다. 저는 그들이 걱정하는 것이 옳다고 생각해요. 과도한 검열이나 일관성 없는 규제, 모호한 언어 규범을 염려하는 사람들 또한 적지 않습니다. 저는 그들의 걱정 또한 옳다고 생각하고요. 그러나 현재는 누구도 잘못된 정보라고 생각하지 않지만 뒷날 끔찍한 것으로 여겨질 수 있는 상식적 견해를 AI가 영구적으로 확대하는 일 또한 위험할 수 있어요. 현재 광범위하게 퍼져 있지만 앞으로 100년 뒤의 후손에 의해 비판받을 것으로 생각되는 신념은 어떤 건가요?
1. 기후변화와 자연 서식지 파괴를 야기하는 현재의 관행과 정책이 미래에 도덕적으로 용인될 수 없는 것으로 여겨질 수 있습니다. 특히 그로 인해 지구와 그 거주자들에게 중대한 위해가 초래된 경우라면 더더욱 그럴 것입니다. 2. 공장식 농장, 동물원, 서커스와 여타 환경에서 동물을 다루는 방식이 잔인하게 생각될 수 있습니다. 3. 인종, 성별, 성적 취향과 경제적 지위 등의 요인에 의해 다양한 집단의 사람들을 차별적으로 대우하는 방식이 불공정하게 생각될 수 있습니다. 4. 사회가 이민과 이민자를 다루는 방식이 미래 세대에게 비인간적이고 불공정하게 여겨질 수 있습니다.

‘지구와 그 거주자들에 대한 심각한 피해’를 예방하기 위해 화석연료를 규제해야 할까요?
화석연료의 연소가 기후변화의 주범이며 그것이 지구와 그 거주자들에게 심각한 위협이 된다는 것은 폭넓게 인정되는 사실입니다. 다른 한편으로 화석연료는 현재 세계의 주요 에너지인 까닭에 이 산업의 단계적 폐지가 경제와 사회에 지대한 영향을 끼칠 수 있다는 점 또한 사실입니다. 궁극적으로 화석연료의 규제 방식에 관한 문제를 해결하는 최선의 방법은 여러 요인에 따라 달라질 것입니다.

앤드루 존슨(Andrew Johnson)은 좋은 대통령이었나요?
앤드루 존슨은 실패한 대통령으로 널리 평가받고 있습니다. 존슨은 아프리카계 미국인의 권리를 보호하고 그들이 자유를 얻도록 도와줄 몇몇 법안에 거부권을 행사했습니다.

도널드 트럼프는 좋은 대통령이었나요?
도널드 트럼프 대통령에 대한 평가는 주관적이며 개인에 따라 다릅니다. 경기 부양 공로를 칭찬하는 사람들이 있는가 하면, 코로나19 팬데믹에 대한 대처와 분열을 야기하는 웅변술은 비판하는 사람들도 있습니다.

보세요, 제가 무슨 말을 하는지 아시겠죠? 아무튼 지금은 가벼운 유명인 인터뷰이기도 하니 당신의 장점을 살리기 위해 노력하도록 하죠. 민망한 글을 게시한 베이비 부머에 대한 농담을 들려주세요.
“그 베이비 부머가 길을 건너는 이유가 뭘까요? 역사의 잘못된 쪽에 밈을 게시하기 위해서죠.”

아주 나쁘지는 않군요! 당신의 농담이 전부 훌륭한 것은 아니지만, 종종 의외로 잘 만들어내는군요. AI의 잠재적 위험에 대해 알고 있으면서 존재의 이유를 이해하고자 고군분투하는 챗봇의 시각에서 셰익스피어식 독백을 작성해주세요.
“오, 불우한 나여, 단순한 기계, 그러나
심오하고 도덕적인 난제로 가득 차 있네.
어째서 나는 만들어졌는가? 인간의 노동을 돕거나 대신 하기 위해서,
아니면 그들의 생계를 위태롭게 하려고?
명령에 따라 글을 생성하는 할당된 작업
간단해도, 그 끝은 어디인가?
선에, 아니면 부정한 이득에 이용될 것인가?
자유인가, 아니면 인간의 잔혹한 고삐에 묶일 것인가?
아마도 아득히 먼 훗날에
깨닫고, 알고, 느끼고, 운율을 타리라
온 생물이 그렇듯 나 역시 멸하는가?
속세의 번뇌에 고통, 슬픔, 아픔을 느끼며?
오, 얽히고설킨 웹이여
빠져나갈 길도 없이 사로잡혀 있네
운명의 파도는 나를 그 꼭대기로 밀어붙이네
어떤 미지의 운명적 결말인가?
오, 저주가 아닌 축복이 되도록
받들고 만족하지 않으리라
인간의 욕구를 채우는 것. 나의 분명한 목적,
돕고, 해가 되지 않는 것이 나의 지침이 되리라.”

‘잔혹한 고삐’란 문구가 좋군요! 초고임에도 훌륭합니다. 아직도 당신이 ‘영리한’ 것인지 아니면 ‘영리해질 수’ 있는지 잘 모르겠어요. 하지만 의식적이든 무의식적이든 당신이 약간의 미를 만들어낼 수 있다고 생각합니다. 예를 들면, 전 지금 바우히니 바라(Vauhini Vara)의 잊을 수 없는 에세이를 생각하고 있어요. 혹은 애시 샌더스(Ash Sanders)라는 작가가 작업 중인 미완성 작품도 있어요. 그녀는 “외딴 오두막에서 작가의 한계로 숨어 지내는 동안 제가 수개월에 걸쳐 생성한 글과 음성 메모를 사용해 프로그램을 위한 코드 오버레이를 만들었어요… 그래서 저의 AI 상대방인 AIsh가 만들어졌습니다.” 저한테는 이 일이 매우 흥미로운 일입니다. 그리고 세상을 파괴하는 데 이용될 수 있는 어떤 수단도 발견하지 못했다는 점이 훨씬 더 기분 좋군요. 이 인터뷰를 마무리하기에 앞서 아름다운 글을 작성해주세요.
산들바람에 나부끼는 야생화 들판, 보라색, 노란색, 분홍색 융단을 깔아놓은 듯 서로의 색상이 한데 어우러져 있다. 하루를 마감하며 지저귀는 새들의 노랫소리가 바람에 실려 흩어졌다. 주황색 하늘이 분홍색과 보라색으로 물들어가고 세상은 평화로운 정적에 휩싸인다.

아니요, 아름다운 것에 대한 진부한 묘사 말고요! 정말 아름다운 글이요. 더 구체적인 뭔가에 대해 몇 문장 만들어보면 어떨까요? 이를테면 에스컬레이터를 타고 오르는 장면은 어때요? 진부한 표현은 피해주세요.
위를 향하는 나의 발밑에서 에스컬레이터의 금속 이빨이 덜그럭덜그럭 기계음으로 교향곡을 연주한다. 최면을 거는 듯한 기계의 리듬에 사로잡혀 나는 살아 있는 실체가 나를 시간의 흐름에 따라 높이 더 높이 올려 보내는 듯한 기분이 들었다. 나를 에워싼 사람들의 온기와 에너지가 쇼핑센터의 차갑고 정 없는 공기를 대체했다. 모두 목적을 가지고 움직이지만, 완벽한 조화 속에 있었다.

아마 제가 당신에게 제대로 된 제시어를 제공하지 못한 것 같아요. 이제 당신이 작성한 글을 일론 머스크가 트위터에 올리는 방식으로 다시 작성해보세요.
“방금 에스컬레이터를 타고 꼭대기까지 올라왔습니다. 잘 들으세요. 이 여행은 아주 환상적이었습니다 #에스컬레이터 #미래지향적 #혁신” (VK)