[K-VIBE] 이은준의 AI 톺아보기…인공지능 시대의 시네마 문법-①

[※ 편집자 주 = 한국국제교류재단(KF)의 지난해 발표에 따르면 세계 한류 팬은 약 2억2천500만명에 육박한다고 합니다. 또한 시간과 공간의 제약을 초월해 지구 반대편과 동시에 소통하는 '디지털 실크로드' 시대도 열리고 있습니다. 바야흐로 '한류 4.0'의 시대입니다. 연합뉴스 동포·다문화부 K컬처팀은 독자 여러분께 새로운 시선으로 한국 문화를 바라보는 데 도움이 되고자 전문가 칼럼 시리즈를 준비했습니다. 시리즈는 매주 게재하며 영문 한류 뉴스 사이트 K 바이브에서도 영문으로 보실 수 있습니다.]

필자는 올해 초 미국에서 열린 AI 영화제에서 입상한 적이 있다. 오랫동안 전자음악에 천착해 온 내가 영상 전문가로서 영화제에서 입상해 상당히 감개무량했다. 그도 그럴 것이 대학에서 학생을 지도하면서 자신만의 예술 세계를 일궈가야 하는 삶을 살아 온 결과물이 생각보다 빨리 나왔기 때문이다. 그 모든 게 다 인공지능(AI) 기술의 발달 덕이다. 이제 필자는 AI 영화감독이라는 새로운 '부캐릭터'로 살 수 있게 됐다.

AI 영화는 그저 영상을 자동으로 생성하는 기술의 조합이 아니다. 내게는, 인간의 직관을 작동할 수 있는 프로토콜로 번역하는 작업이었다. 전통적인 영화에서는 현장과 장비가 리얼리티를 담보했다면, AI 영화에서는 데이터와 프롬프트가 리얼리티를 시뮬레이션한다.

필자는 이 과정 전체를 일종의 '개념적 촬영 시스템'으로 접근한다. 실제 카메라는 존재하지 않지만, AI 프롬프트 언어가 그 역할을 대신한다. 이번 칼럼에서는 실질적 작업 과정의 흐름을 공개해 AI 영상 제작자에게 도움을 드리고자 한다.

먼저 개념 설계라는 '스토리 프롬프팅'(Story Prompting)이라는 과정으로 시작한다. AI 영화 제작의 첫 단계는 시나리오 작성 이후 '개념 프롬프트'를 쓰는 것이다. 일반적인 대본은 대화와 행동 중심으로 구성되지만, AI 영상은 언어적 뉘앙스와 감각 묘사가 중요하다.

예를 들어, "A man walks into a diner"이란 문장은 너무 단순하다.

AI는 공간의 질감과 정서를 이해하지 못하기 때문에, "A man enters a chrome diner under flickering neon lights, reflections bending through glass, silence thick with nostalgia."처럼 재구성해야 AI는 그 문장 속 분위기, 질감, 정서를 시각적으로 잘 해석할 수 있다.

이렇게 서사 프롬프트가 곧 화면구성을 지시하는 언어로 작동한다.

이 단계에서 챗 GPT나 클로드(Claude)를 시나리오 보조로 활용해 비주얼 중심의 텍스트 구조를 만들어도 된다. 하지만, 어디까지나 아직은 보조로만 사용한다. 스토리 구성을 AI에 전적으로 맡기는 순간, 제작자의 작가성과 예술성이 사라지기 때문에 이 부분은 다른 작업자에게도 필자는 조심하라고 주의하는 부분이다.

AI는 문장 안의 시간성, 감정의 온도, 시점의 밀도를 분석하며, 이후 이미지/비디오 모델이 이해할 수 있는 '언어적 스토리보드'를 만들 수 있게 된다.

두 번째로 비주얼을 개발해야 한다. 이 과정은 모델 레이어링(Model Layering)이라는 프롬프트로 시작한다. 한 장면을 만들기 위해 필자는 여러 AI 모델을 겹쳐 쓴다. 대부분의 AI 영상 작업자가 그럴 것이다. 수많은 실험을 통해서 각 단계와 역할에 맞는 AI 모델을 찾아내고, 그 모델을 유기적으로 사용하며 하나의 일관된 작품을 만들기 위해 노력할 것이다.

예를 들어, 캐릭터의 외형은 다양한 실험을 통해 가장 적합한 모델을 찾고, 공간 톤은 런웨이(Runway)나 피카랩(Pika Labs), 조명과 색감의 톤매핑은 크리(Krea)나 매그니픽(Magnific)을 이용한다.

방금 언급한 AI 각 모델의 강점은 다르다.

런웨이는 빠른 콘티 구현에 적합하고, 피카는 인물 감정과 카메라 움직임이 자연스럽다.

크리는 색의 계층을 세밀하게 조정해주고, 매그니픽은 저해상도 이미지를 영화적인 질감으로 다시 한번 확장해서 화질을 개선한다.

이 과정을 통해 한 장면이 단일 모델이 아닌 여러 생성기의 협주 구조로 완성된다.

AI가 하나의 카메라가 아니라, 서로 다른 강점과 감각을 가진 다중 카메라 시스템처럼 작동하는 셈이다.

각 모델은 시기마다 업데이트되는 알고리즘과 렌더링 방식이 다르기 때문에, 특정 모델의 '절대적 장점'이라고 볼 수는 없다. 오늘 뛰어났던 모델이, 다른 모델이 공개되면서 내일은 품질이 뒤처질 수도 있다.

그래서 AI 영상 작업자는 기술의 소비자가 아니라, 모델의 진화를 실시간으로 추적하는 감각적 조사자가 돼야 한다. 런웨이, 피카, 매그니픽, 크리같은 플랫폼은 주기적으로 모델 버전을 바꾸며, 그 안에서 색 보정의 알고리즘이나 노이즈 처리 방식이 미묘하게 달라진다.

이 때문에 AI 영상 제작자는 항상 각 회사의 업데이트 로그를 주의 깊게 팔로우해야 하고, 새로운 버전이 출시될 때마다 테스트 샷을 만들어 그 차이를 체감해야 한다. 같은 프롬프트라도 버전별로 결과가 전혀 다르게 나올 수 있기 때문이다.

AI 시네마토그래프는 결국 모델을 '사용'하는 기술이 아니라, 모델의 변화를 '읽는' 감각으로 완성된다. (2편에서 계속)

이은준 미디어아티스트·인공지능 영상 전문가

▲ 경일대 사진영상학부 교수

<정리 : 이세영 기자>

[email protected]