KR102227258B1 - 인공지능 기술을 이용한 연기 보정 시스템 - Google Patents

Abstract

본 발명은 인공지능 기술을 이용한 연기 보정 시스템에 관한 것이다.
본 발명에 따른 인공지능 기술을 이용한 연기 보정 시스템은, 외부로부터 입력된 좋은 연기 소스로부터 좋은 연기요소를 추출하여 학습하는 연기 학습 모듈과;상기 연기 학습 모듈의 연기 학습 결과로 생성되는 연기 인공지능 모듈; 및 새롭게 입력된 연기 소스를 학습된 상기 연기 인공지능 모듈을 이용하여 연기를 보정하는 연기 보정 모듈을 포함한다.
이와 같은 본 발명에 의하면, 인공지능 기술을 활용하여 다양한 연기자들의 연기 소스로부터 좋은 연기를 학습하고, 그 학습된 연기를 연기자가 연기하는 연기소스에 적용하여 연기자의 연기를 보정함으로써, 영화 제작의 후반 작업을 효과적으로 수행할 수 있는 장점이 있다.

Description

인공지능 기술을 이용한 연기 보정 시스템{Acting compensation system using artificial intelligence technology}

본 발명은 인공지능 기술을 이용한 연기 보정 시스템에 관한 것으로서, 더 상세하게는 다양한 연기 소스로부터 연기 요소를 추출하여, 인공지능 기술을 이용하여 연기를 학습하고, 실제로 연기자가 연기하는 환경에 합습된 연기를 적용하여, 연기자의 연기를 자동으로 보정할 수 있는 인공지능 기술을 이용한 연기 보정 시스템에 관한 것이다.

영화 후반작업 진행에 있어 촬영된 연기자의 연기를 CG(Computer Graphics)로 수정하는 것이 자주 요구되고 있다. 이럴 경우 다시 촬영하면 해결될 수 있겠지만 시간과 비용적인 차원에서 쉽지 않은 일이다.

연기자의 연기를 바꿔야 할 경우 연기자의 3차원 캐릭터를 제작해서 수작업을 통해 연기를 바꾼 후 다시 합성을 통해 영상을 보정하게 되는데 이에 상당한 비용과 시간이 요구된다.

한편, 한국 등록특허공보 제10-1014852호(특허문헌 1)에는 "인공지능 기반의 캐릭터 동작 생성 장치, 방법 및 그 기록 매체"가 개시되어 있는 바, 이에 따른 인공지능 기반의 캐릭터 동작 생성 장치는, 신체 부위별로 구분된 특징 벡터들을 저장하는 데이터베이스; 사용자로부터 생성하려는 동작 종류를 입력받고, 상기 데이터베이스의 특징 벡터들 중 상기 입력받은 동작 종류에 해당하는 특징 벡터를 신체 부위별로 랜덤하게 선택하고, 상기 랜덤하게 선택된 특징 벡터를 서로 결합하여 새로운 동작에 대한 동작 벡터를 생성하는 동작 생성부; 상기 사용자에 의해 미리 검색된 캐릭터의 신체 구조에 따라 상기 동작 벡터를 보정하고, 가상 환경에서 물리법칙을 부여하는 물리 엔진을 적용하고 상기 보정된 동작 벡터를 상기 캐릭터에 적용한 후 상기 캐릭터가 상기 새로운 동작을 수행하게 하는 동작 실행부; 및 상기 새로운 동작이 수행되는 과정에서 상기 캐릭터에 적용된 동작 벡터가 상기 캐릭터에 적용되기 이전의 동작 벡터와 비교하여 제2임계값 미만으로 변형되면, 상기 변형된 동작 벡터를 신체 부위별로 구분하여 상기 데이터베이스에 저장하는 동작 관리부를 포함하는 것을 특징으로 한다.

이상과 같은 특허문헌 1의 경우, 가상 환경에서 로봇 제어에 있어서 동작의 다양성 부족, 움직임의 획일성 문제를 극복하면서, 캐릭터의 개성을 반영하고 자연스러운 동작을 구현할 수 있는 장점이 있을지는 모르겠으나, 이는 가상 환경에서 로봇의 움직임을 제어하기 위한 것으로 실제 인간(연기자)의 연기를 바꾸어야 하는 상황에서는 인간(연기자)의 실제 행동 특성에 맞게 시스템을 설계변경해야 하는 등 적용하기 어려운 문제를 내포하고 있다.

한국 등록특허공보 제10-1014852호(2011.02.15. 공고)

본 발명은 이상과 같은 사항을 종합적으로 감안하여 창출된 것으로서, 다양한 연기자들의 연기 소스를 인공지능 기술을 활용하여 분석 및 학습하고, 그 학습된 연기를 실제 연기자가 연기하는 소스에 적용하여 연기자의 연기를 보정함으로써, 영화 제작의 후반 작업을 효과적으로 수행할 수 있는 인공지능 기술을 이용한 연기 보정 시스템을 제공함에 그 목적이 있다.

상기의 목적을 달성하기 위하여 본 발명에 따른 인공지능 기술을 이용한 연기 보정 시스템은,

외부로부터 입력된 좋은 연기 소스로부터 좋은 연기요소를 추출하여 학습하는 연기 학습 모듈과;

상기 연기 학습 모듈의 연기 학습 결과로 생성되는 연기 인공지능 모듈; 및

새롭게 입력된 연기 소스를 학습된 상기 연기 인공지능 모듈을 이용하여 연기를 보정하는 연기 보정 모듈을 포함하는 점에 그 특징이 있다.

여기서, 상기 연기 학습 모듈은 입력된 연기소스로부터 연기 요소를 추출하는 연기요소 추출부와, 추출된 연기요소를 이용하여 학습하는 연기 학습부를 포함하여 구성될 수 있다.

또한, 상기 연기 보정 모듈은 입력된 연기소스로부터 연기 요소를 추출하는 연기요소 추출부와, 추출된 연기요소를 학습된 상기 연기 인공지능 모듈을 활용하여 보정된 연기결과를 만들어내는 연기 보정부를 포함하여 구성될 수 있다.

이와 같은 본 발명에 의하면, 인공지능 기술을 활용하여 다양한 연기자들의 연기 소스로부터 좋은 연기를 학습하고, 그 학습된 연기를 연기자가 연기하는 연기소스에 적용하여 연기자의 연기를 보정함으로써, 영화 제작의 후반 작업을 효과적으로 수행할 수 있는 장점이 있다.

도 1은 본 발명에 따른 인공지능 기술을 이용한 연기 보정 시스템의 구성을 개략적으로 나타낸 도면이다.
도 2는 도 1에 도시된 인공지능 기술을 이용한 연기 보정 시스템의 연기 학습 모듈에서의 연기 학습 과정을 나타낸 도면이다.
도 3은 도 1에 도시된 인공지능 기술을 이용한 연기 보정 시스템의 연기 보정 모듈에서의 연기 보정 과정을 나타낸 도면이다.
도 4는 본 발명에 따른 인공지능 기술을 이용한 연기 보정 시스템에 의한 연기 보정 결과의 일 예를 나타낸 도면이다.

본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정되어 해석되지 말아야 하며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 한다.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다. 또한, 명세서에 기재된 "…부", "…기", "모듈", "장치" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.

이하 첨부된 도면을 참조하여 본 발명의 실시예를 상세히 설명한다.

도 1은 본 발명의 실시예에 따른 인공지능 기술을 이용한 연기 보정 시스템의 구성을 개략적으로 나타낸 도면이다.

도 1을 참조하면, 본 발명에 따른 인공지능 기술을 이용한 연기 보정 시스템(100)은, 연기 학습 모듈(110), 연기 인공지능 모듈(120) 및 연기 보정 모듈 (130)을 포함하여 구성된다.

연기 학습 모듈(110)은 외부로부터 입력된 좋은 연기 소스로부터 좋은 연기요소를 추출하여 학습한다. 즉, 연기 학습 모듈(110)은 다양한 연기소스로부터 학습에 사용할 연기요소를 추출하여 후술하는 연기 인공지능 모듈(120)에 좋은 연기를 학습시키는 역할을 수행한다. 여기서, 이와 같은 연기 학습 모듈(110)은 입력된 연기소스로부터 연기 요소를 추출하는 연기요소 추출부(111)와, 추출된 연기요소를 이용하여 학습하는 연기 학습부(112)을 포함하여 구성될 수 있다.

연기 인공지능 모듈(120)은 상기 연기 학습 모듈(110)의 연기 학습 결과로 생성된다. 연기 인공지능 모듈의 구성은 일반적인 딥러닝 기반의 인공지능 기법을 사용할 수 있다.

연기 보정 모듈(130)은 새롭게 입력된 연기 소스를 학습된 상기 연기 인공지능 모듈(120)을 이용하여 연기를 보정한다. 즉, 연기 보정 모듈(130)은 보정을 원하는 연기소스를 입력받아 최종적으로 연기 인공지능 모듈(120)에 의해 보정된 연기결과를 만들어내는 역할을 수행한다. 여기서, 이와 같은 연기 보정 모듈(130)은 입력된 연기 소스로부터 연기 요소를 추출하는 연기요소 추출부(131)와, 추출된 연기요소를 학습된 상기 연기 인공지능 모듈(120)을 활용하여 보정된 연기결과를 만들어내는 연기 보정부(132)를 포함하여 구성될 수 있다.

도 2는 도 1에 도시된 인공지능 기술을 이용한 연기 보정 시스템의 연기 학습 모듈에서의 연기 학습 과정을 나타낸 도면이다.

도 2를 참조하면, 먼저 외부로부터 연기 소스를 연기 학습 모듈(110)에 의해 수신하면(단계 S201), 수신한 연기 소스는 연기요소 추출부(111)에 의해 얼굴 표정 및 몸동작 등의 연기요소가 추출되고(단계 S202), 이 추출된 연기요소를 입력으로 하여 연기 학습부(112)에 의해 연기 인공지능 모듈(120)을 학습시킨다(단계 S303).

여기서, 상기 연기 소스는 동영상 혹은 다양한 포맷의 연기 요소를 포함하고 있는 소스를 의미한다. 얼굴 표정 연기요소는 얼굴을 구성하는 눈, 코, 입, 눈썹 등의 움직임을 수치화 하는 방법을 사용하게 되는데, 예를 들어 좌우의 눈을 감은 정도, 눈썹의 움직임, 입의 움직임 등을 수치화하여 사용한다. 얼굴 표정을 수치화하는 방법은 일반적인 영상 처리 방법에 의해 구현할 수 있다. 또한, 몸동작 연기요소는 몸을 구성하는 어깨, 팔, 손, 몸통, 다리, 발 등의 움직임을 수치화 하는 방법을 사용하게 되는데, 주로 몸을 구성하는 요소들의 3차원 위치와 방향을 수치화하여 사용한다. 몸동작을 수치화하는 방법은 마찬가지로 일반적인 영상처리 방법에 의해 구현할 수 있다.

도 3은 도 1에 도시된 인공지능 기술을 이용한 연기 보정 시스템의 연기 보정 모듈에서의 연기 보정 과정을 나타낸 도면이다.

도 3을 참조하면, 먼저 외부로부터 연기 소스를 연기 보정 모듈(130)에 의해 수신하면(단계 S301), 입력된 연기 소스는 연기요소 추출부(131)에 의해 얼굴 표정 및 몸동작 등의 연기요소가 추출되고(단계 S302), 추출된 연기요소는 연기 보정부(132)에서 미리 학습된 연기 인공지능 모듈(120)을 이용하여 보정되고 재합성되어 최종적으로 보정된 연기결과를 만들어낸다(단계 S303). 여기서, 입력되는 연기소스는 보정이 필요한 연기 소스로서, 동영상 혹은 다양한 포맷의 연기요소를 포함하는 소스를 의미한다. 연기요소 추출부(131)에서는 연기 학습 모듈(110)의 연기요소 추출부(111)와 마찬가지로 입력된 연기 소스로부터 얼굴 표정 및 몸동작 등의 연기 요소를 추출하게 된다. 연기 보정부(132)는 연기요소 추출부(131)에 의해 추출된 연기 요소들을 연기 인공지능 모듈(120)을 활용하여 보정된 좋은 연기요소로 변환하고, 보정된 연기요소를 활용하여 최종적으로 보정된 연기결과를 만들어낸다. 보정된 연기결과를 만들어내는 것은 얼굴표정 및 몸동작 연기요소를 활용하여 연기 소스를 만들어내는 것으로서, 유니티 혹은 언리얼 등의 일반적인 게임 엔진의 렌더링 기능을 활용하여 구현할 수 있다.

도 4는 본 발명에 따른 인공지능 기술을 이용한 연기 보정 시스템에 의한 연기 보정 결과의 일 예를 나타낸 도면이다.

도 4를 참조하면, 놀라는 연기 보정 예시(410)는 연기 인공지능 모듈(120)을 놀라는 연기로 학습시킨 후, 일반적인 표정(411)을 입력하였을 경우 최종적으로 놀라는 표정(412)을 만들어내는 결과를 보여준다. 또한, 기뻐하는 연기 보정 예시(420)는 연기 인공지능 모듈(120)을 기뻐하는 연기로 학습시킨 후, 일반적인 표정(421)을 입력하였을 경우 최종적으로 기뻐하는 표정(422)을 만들어내는 결과를 보여준다.

이상의 설명과 같이, 본 발명에 따른 인공지능 기술을 이용한 연기 보정 시스템은 인공지능 기술을 활용하여 다양한 연기자들의 연기 소스로부터 좋은 연기를 학습하고, 그 학습된 연기를 연기자가 연기하는 연기소스에 적용하여 연기자의 연기를 보정함으로써, 영화 제작의 후반 작업을 효과적으로 수행할 수 있는 장점이 있다.

이상, 바람직한 실시예를 통하여 본 발명에 관하여 상세히 설명하였으나, 본 발명은 이에 한정되는 것은 아니며, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 다양하게 변경, 응용될 수 있음은 당해 기술분야의 통상의 기술자에게 자명하다. 따라서, 본 발명의 진정한 보호 범위는 다음의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술적 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.

100:(본 발명)인공지능 기술을 이용한 연기 보정 시스템
110: 연기 학습 모듈 111,131: 연기요소 추출부
112: 연기 학습부 120: 연기 인공지능 모듈
130: 연기 보정 모듈 132: 연기 보정부

Claims (5)

1. 외부로부터 입력된 좋은 연기 소스로부터 좋은 연기요소를 추출하여 학습하는 연기 학습 모듈과;
   상기 연기 학습 모듈의 연기 학습 결과로 생성되는 연기 인공지능 모듈; 및
   새롭게 입력된 연기 소스를 학습된 상기 연기 인공지능 모듈을 이용하여 연기를 보정하는 연기 보정 모듈을 포함하고,
   상기 연기 보정 모듈은,
   입력된 연기소스로부터 연기 요소를 추출하는 연기요소 추출부와;
   추출된 연기요소를 학습된 상기 연기 인공지능 모듈을 활용하여 보정된 연기결과를 만들어내는 연기 보정부를 포함하며,
   상기 연기 요소는 얼굴을 구성하는 눈, 코, 입, 눈썹의 움직임을 수치화한 하나의 요소로서의 얼굴 표정 연기요소와, 몸을 구성하는 어깨, 팔, 손, 몸통, 다리, 발의 움직임을 수치화한 하나의 요소로서의 몸동작 연기요소를 포함하는 인공지능 기술을 이용한 연기 보정 시스템.
   
2. 제1항에 있어서,
   상기 연기 학습 모듈은,
   입력된 연기소스로부터 연기 요소를 추출하는 연기요소 추출부와;
   추출된 연기요소를 이용하여 학습하는 연기 학습부를 포함하여 구성되는 인공지능 기술을 이용한 연기 보정 시스템.
   
3. 제2항에 있어서,
   상기 입력된 연기소스는 동영상 혹은 다양한 포맷의 연기 요소를 포함하고 있는 소스인 인공지능 기술을 이용한 연기 보정 시스템.
4. 삭제
5. 제1항에 있어서,
   상기 입력된 연기 소스는 보정이 필요한 연기 소스로서, 동영상 혹은 다양한 포맷의 연기요소를 포함하는 소스인 인공지능 기술을 이용한 연기 보정 시스템.

Images