아카데미상 10개 부문 후보에 오른 브래디 코베의 영화 <브루탈리스트>, 영화 제작 과정에서 편집자가 생성형 AI를 사용했다.

<브루탈리스트>는 오스카를 거머쥘 것이다. A24는 여우조연상 후보에 오른 펠리시티 존스부터, 남우주연상 후보 애드리언 브로디, 감독상 후보에 오른 브래디 코베, 그리고 작품상 후보를 비롯해 이 작품이 아카데미상 10개 부문 후보에 올랐다는 소식을 접했다. 이는 최다 수상 후보 공동 2위에 오른 것이었다. 브로디가 연기한 가상의 인물, 즉 제2차 세계대전 이후 헝가리에서 미국으로 건너간 건축가 라즐로 토스의 이야기를 다룬 코베의 영화는 지난 1월 초 골든글로브 시상식에서 드라마 부문 작품상 등 3관왕을 거머쥐며 시상식 시즌에 인상적인 수상 실적을 이어가고 있다. 그러나 제작 과정에서 생성형 AI를 활용한 사실이 알려지며 논란이 불거졌다. <브루탈리스트>의 연이은 수상에 제동이 걸릴 듯하다.

논란은 <브루탈리스트>의 아카데미상 후보에 오른 편집자 다비드 얀초(Dávid Jancsó)의 비디오 테크 전문지 <레드샤크 뉴스(RedShark News)> 인터뷰에서 시작됐다. 얀초는 <브루탈리스트> 제작진이 AI 음성 생성 기술을 전문으로 하는 우크라이나 소프트웨어 회사 리스피처(Respeecher)의 기술을 이용해 존스와 브로디가 영화에서 구사하는 헝가리어를 좀 더 현지인처럼 들리게 보정했다고 밝혔다. (영국인인 존스와 헝가리인 어머니를 둔 미국인 브로디는 영화에서 대부분 헝가리어 억양이 있는 영어로 대사한다. 이들이 헝가리어를 하는 장면은 그렇게 많지 않다.)

헝가리어가 모국어인 얀초는 자신의 음성을 AI 모델에 주입시켜 존스와 브로디가 연기한 인물들이 까다로운 헝가리어 방언을 제대로 발음하도록 돕는 데 활용했다고 밝혔다. “이들이 헝가리어로 대사하는 장면 대부분에 제 발음이 반영됐다고 봐야죠.” 그가 <레드샤크 뉴스>에 한 말이다. “하지만 배우들의 연기에 영향을 주지 않도록 주의를 기울였어요.”

얀초는 브로디처럼 헝가리어에 대한 배경지식이 있는 사람조차도 배우기 어려운 언어가 헝가리어라고 말했다. “우리는 브로디와 존스에게 헝가리어를 지도했고, 그들은 정말 훌륭하게 습득했어요. 하지만 헝가리 현지인이 봤을 때 일말의 어색함도 느끼지 못하도록 더 완벽하게 만들고 싶었죠.”

얀초에 따르면 코베가 최소한으로나마 AI를 사용한 데는 또 다른 실용적인 이유도 있었다. <브루탈리스트>는 1,000만 달러 미만의 독립 자금으로 제작된 저예산 영화였다. 리스피처를 사용해 헝가리어 대사를 보정함으로써 18개월이나 걸린 이미 너무 늘어진 후편집 작업 속도를 높일 수 있었다. “거의 자음을 이쪽저쪽으로 바꾸는 게 다였어요. 프로 툴스(Pro Tools)에서 직접 해도 되지만, 헝가리어 대사가 너무 많아 속도를 높일 필요가 있었어요. 그렇게 하지 않았다면 아직까지도 후반 작업을 하고 있을걸요.”

그러나 <레드샤크 뉴스>에 따르면 <브루탈리스트>에서 AI를 사용한 부분은 그뿐만이 아니다. 영화 마지막 부분에 라즐로 토스가 디자인한 청사진과 완성된 건물이 겹쳐 나오는 장면이 있는데, 그 부분도 일부는 AI로 생성됐다. “AI에 대해 이야기하는 것은 영화계에서 논란이 되고 있지만, 그래선 안 된다고 봐요.” 얀초가 인터뷰에서 말했다. “AI가 우리에게 어떤 툴을 제공할 수 있는지 솔직하게 논의해야죠. AI를 사용한 영화에서 전에 없던 시도를 한 것은 하나도 없습니다. 그저 그 과정을 더 빠르게 했을 뿐이죠. 우리는 AI를 통해 자금이 부족하거나 시간이 없어서 촬영하지 못한 아주 작은 디테일을 만들었을 뿐입니다.”

얀초의 인터뷰가 화제가 된 뒤, 코베는 영화에서 AI를 사용한 것에 대해 입장을 발표했다. “애드리언과 펠리시티의 연기는 전적으로 그들이 한 그대로입니다. 두 배우는 그 억양을 완벽하게 마스터하기 위해 억양 코치 타네라 마샬(Tanera Marshall)에게 두 달간 훈련을 받았습니다. 혁신적인 리스피처 기술은 헝가리어 대사 편집 과정에서만 사용되었고, 그중에서도 발음 정확도를 높이기 위해 특정 모음과 자음을 다듬는 용도로만 썼습니다. 영어 대사는 일절 손대지 않았습니다. 이 작업은 후편집 과정에서 우리 음향 팀과 리스피처가 수작업으로 진행한 것이었고, 애드리언과 펠리시티의 연기가 다른 언어로 전달될 때 그 진정성을 보존하기 위해서 한 것이었죠. 그 연기를 대체하거나 바꾸기 위한 것이 결코 아니었습니다. 연기에 대한 최대한의 존중을 바탕으로 작업했습니다.”

코베는 또한 라즐로 토스가 디자인한 건물과 청사진이 나오는 장면에도 AI가 사용되었다는 주장도 반박했다. “<브루탈리스트> 미술 팀 담당자 주디 베커(Judy Becker)와 그의 팀은 영화 속 건물을 만들거나 렌더링하는 데 AI를 사용하지 않았습니다. 작품에 사용된 모든 이미지는 작가들이 손으로 직접 그린 것입니다. 정확하게 말씀드리자면, 배경에 등장하는 추모 영상을 위해 우리 편집 팀이 일부러 1980년경의 어설픈 디지털 렌더링 같은 느낌이 나는 영상을 만들었습니다.”

코베의 항변에도 불구하고 아카데미상 시상식이 가까워짐에 따라 도덕성 논란이 불거졌다. 생성형 AI 사용은 어느 정도까지 용납될 수 있을까? X(엑스, 구 트위터)의 일각에서는 절대 용납될 수 없다는 말이 나온다.

“<브루탈리스트>의 AI 사용은 정말 착잡한 일이다. 앞으로 정말 아름답게 만든 영화를 보고 나서 사실은 비용 절감을 위해 부분적으로 AI가 영혼 없이 사용했음을 얼마나 자주 알게 될까? AI는 앞으로 점점 더 티 나지 않게 정교해질 텐데, 끔찍하다.” 널리 퍼진 어느 X 사용자의 글이다. A24의 <헤레틱(Heretic)> 같은 몇몇 영화는 이 사안에 대해 강경한 입장을 취하고 있다. 영화 크레딧에 “이 영화를 만드는 과정에서 생성형 AI가 일절 사용되지 않았습니다”라는 문구를 실었다.

이번 시상식 시즌에 생성형 AI를 사용해 음성 연기를 보완한 영화는 <브루탈리스트>뿐만이 아니다. 아카데미 13개 부문으로 최다 후보에 오른 자크 오디아르의 뮤지컬 영화 <에밀리아 페레즈> 또한 리스피처를 사용했다. <에밀리아 페레즈>는 여주인공 카를라 소피아 가스콘의 음역대를 넓히기 위해 AI가 사용됐다. 가스콘은 지난 목요일 오스카 연기상 후보에 오른 최초의 트랜스젠더 여성이 되어 역사의 한 페이지를 장식했다. 그런데 가스콘이 노래하는 목소리에 <에밀리아 페레즈>의 노래를 공동 작곡한 프랑스 팝 스타 카미유(Camille)의 목소리를 덧입혔다고 알려졌다. 그러나 적어도 가스콘은 자신의 노래에 별다른 자부심이 없다. <스크린 랜트(Screen Rant)> 인터뷰에서 그는 <에밀리아 페레즈>에서 노래한 것을 두고 “노래를 잘하는 편이 아니기 때문에 제겐 아주 큰 도전이었어요”라고 말했다.

노래 보정은 이미 해오던 관행이었다. 몇십 년 전만 해도 영화에서 노래하는 목소리를 완전히 더빙하는 일은 흔했다. 최근에는 노래하는 목소리를 디지털로 보정하는 것이 영화와 음악 산업에서 표준적인 관행으로 자리 잡았는데, 특히 셰어가 1998년 발표한 히트곡 ‘빌리브(Believe)’에서 혁신적으로 오토튠을 사용한 후 더 그렇게 됐다. 파블로 라라인의 영화 <마리아>에서는 오페라 디바 마리아 칼라스의 목소리를 흉내 내기 위해 안젤리나 졸리의 목소리에 마리아 칼라스의 목소리를 합성했다. 라미 말렉은 <보헤미안 랩소디>에서 프레디 머큐리 역을 연기해 2019년 오스카상을 수상했는데, 이 영화 또한 뮤지컬 시퀀스에서 여러 사람의 목소리를 합성해 사용했다.

그러나 대사를 보정하는 것은 조금 다른 문제다. 영화 제작 후편집 과정에서 배우의 대사를 재녹음하거나 새로운 대사를 추가하는 것은 흔했다. 후시녹음(Automatic Dialogue Replacement, ADR)이라고 알려진 과정이다. 할리우드 온라인 뉴스 매체 <데드라인>에 따르면 <브루탈리스트> 제작진은 처음에는 존스와 브로디의 헝가리어 대사를 보정하기 위해 이 ADR 방식을 사용하려 했는데, 그 결과물이 썩 좋지 않아 결과적으로 리스피처를 사용했다고 한다. 우리가 코베와 얀초의 말을 믿는다면, AI 기술은 단순히 헝가리어 대사를 최대한 정확히 들리도록 만드는 데만 사용된 것이다.

영화 사운드 편집자 단체(Motion Picture Sound Editors organization, MPSE)의 대표 데이비드 바버(David Barber)는 <워싱턴 포스트> 인터뷰에서 코베와 얀초에게 공감하는 입장을 보였다. 그는 영화 산업에서 점차 도입하는 추세인 AI 기술로 발생한 윤리적 딜레마를 인정하면서도, 이 기술이 사운드 믹서와 아티스트에게는 귀중한 도구라고 언급했다. “네일 건을 들고 있는 사람에게 뭐라 할 사람은 아무도 없죠. 임무를 완수하는 데 훨씬 더 효율적인 새로운 도구니까요.” 그가 말했다. “사운드 전문가들이 사용하는 AI 기술은 우리 손에 쥐어진 새로운 도구일 뿐입니다. 이게 존재한다는 걸 부정할 수도 없고, 무시할 수도 없죠.”

하지만 많은 사람에게 생성형 AI의 사용은 그것이 얼마나 미미하고 좋은 의도로 사용되건 간에 프로 스포츠 선수가 약물을 복용하는 것처럼 느껴진다. 한마디로 더 좋은 결과를 얻기 위한 불공평하고 비윤리적인 방식이라는 것이다. “영화 산업의 현실 같은 건 그렇다 치고, 어쨌든 <브루탈리스트>는 AI를 사용한 것에 대해 엄청나게 욕을 먹어야 한다고 본다. 왜냐하면 처음 홍보할 때는 ‘진짜 영화가 돌아왔다! 뼈와 살을 갈아 넣은, 장인 정신으로 만든 예술이다!’라고 하지 않았나?”라는 게시 글이 많은 공감을 얻고 있다. 시대에 맞게 비스타비전(VistaVision) 형식으로 촬영하는 등 공들인 제작으로 극찬을 받아온 코베의 영화 제작 스타일을 고려하면, AI를 사용해 편법으로 영화를 만들었다는 아주 사소한 암시조차도 그 영화의 오스카상 수상 가능성에 영향을 미칠 수 있다.

어쩌면 그렇지 않을 수도 있다. 할리우드 영화계에서 AI의 사용은 부인할 수 없을 정도로 증가하는 추세다. 최근 리스피처는 작고한 제임스 얼 존스의 허락하에 그의 목소리를 향후 다스 베이더 프로젝트에 사용하는 건으로 루카스필름과 계약했다. 그러나 AI가 점차 더 널리 허용됨에 따라 이것이 모든 분야의 창작자에게 미치는 영향은 점점 더 위중해지고 있다. 2023년 할리우드 파업 당시 AI 오용 가능성으로부터의 보호가 배우와 작가 단체의 협상에서 핵심 사안이었던 데는 그만한 이유가 있다.

“<브루탈리스트>는 인간의 복잡함에 대한 영화이고, 그 영화를 만드는 모든 과정은 인간의 노력, 창의성, 협력을 통해 이뤄졌습니다. 우리는 팀의 노고와 그들이 만들어낸 결과물을 무척 자랑스럽게 생각합니다.” 코베가 입장문 끝에서 한 말이다. 물론 인간의 노력이 들어간 건 맞지만, 적어도 그 노력의 일부는 인공적으로 생성된 것이었다. 흠잡을 데 없지만 다소 인공적인 걸 볼 바에는 불완전한 작품을 보는 게 낫다고 여기는 사람들에게 AI를 사용해 인간의 부족함을 채우는 것은 아무래도 불편하게 느껴질 수밖에 없다.