KR102546532B1 - 발화 영상 제공 방법 및 이를 수행하기 위한 컴퓨팅 장치 - Google Patents
발화 영상 제공 방법 및 이를 수행하기 위한 컴퓨팅 장치 Download PDFInfo
- Publication number
- KR102546532B1 KR102546532B1 KR1020210085515A KR20210085515A KR102546532B1 KR 102546532 B1 KR102546532 B1 KR 102546532B1 KR 1020210085515 A KR1020210085515 A KR 1020210085515A KR 20210085515 A KR20210085515 A KR 20210085515A KR 102546532 B1 KR102546532 B1 KR 102546532B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- speech
- state image
- standby state
- frame
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/205—3D [Three Dimensional] animation driven by audio data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
- G10L21/10—Transforming into visible information
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/02—Methods for producing synthetic speech; Speech synthesisers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
- H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
- G10L21/10—Transforming into visible information
- G10L2021/105—Synthesis of the lips movements from speech, e.g. for talking heads
Abstract
발화 영상 제공 방법 및 이를 수행하기 위한 컴퓨팅 장치가 개시된다. 개시되는 일 실시예에 따른 컴퓨팅 장치는, 하나 이상의 프로세서들, 및 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치로서, 영상 내 인물이 대기 상태에 있는 대기 상태 영상을 생성하고, 대기 상태 영상의 기 설정된 기준 프레임 간의 이미지 보간을 위해 대기 상태 영상에서 기 설정된 프레임 간격으로 복수 개의 백모션 이미지를 포함하는 백모션 이미지 셋을 생성하는 대기 상태 영상 생성 모듈, 발화 내용의 소스에 기반하여 영상 내 인물이 발화 상태에 있는 발화 상태 영상을 생성하는 발화 상태 영상 생성 모듈, 및 대기 상태 영상을 재생하다가 대기 상태 영상과 발화 상태 영상을 합성하여 합성 발화 영상을 생성하는 영상 재생 모듈을 포함한다.
Description
본 발명의 실시예는 발화 영상 제공 기술과 관련된다.
최근, 인공 지능 분야의 기술 발전에 따라 다양한 유형의 콘텐츠가 인공 지능(Artificial Intelligence : AI) 기술에 기초하여 생성되고 있다. 그 일 예로, 어떤 전달하고자 하는 음성 메시지가 있을 때, 그 음성 메시지를 유명 인물(예를 들어, 대통령 등)이 말하는 것과 같은 발화 영상을 생성하여 사람들의 주의를 끌고자 하는 경우가 있다. 이는 유명 인물의 영상에서 유명 인물이 특정 메시지를 말하는 것처럼 입 모양 등을 특정 메시지에 맞게 생성하여 구현하게 된다.
또한, 인공 지능(AI)이 사람과 대화(예를 들어, 영상 통화 등)를 진행할 수 있는 기술들이 연구되고 있다. 이러한 기술들에서는 발화 영상을 합성하는데 시간이 걸리고 많은 데이터가 필요하기 때문에 실시간 대화하는 영상(또는 발화하는 영상)을 생성하기가 어렵다는 문제점이 있다. 즉, 인공 지능이 상대방의 말을 인식하고 어떤 답변을 해야 하는지 결정해야 하며, 그 답변에 대응하는 발화 영상을 생성하기까지 시간이 걸리기 때문에 상대방의 입장에서는 인공 지능의 발화 영상이 부자연스럽게 느껴지게 된다.
본 발명의 실시예는 인공 지능 기반의 발화 영상을 실시간 제공하는 새로운 기법을 제공하기 위한 것이다.
개시되는 일 실시예에 따른 컴퓨팅 장치는, 하나 이상의 프로세서들, 및 상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치로서, 영상 내 인물이 대기 상태에 있는 대기 상태 영상을 생성하고, 상기 대기 상태 영상의 기 설정된 기준 프레임 간의 이미지 보간을 위해 상기 대기 상태 영상에서 기 설정된 프레임 간격으로 복수 개의 백모션 이미지를 포함하는 백모션 이미지 셋을 생성하는 대기 상태 영상 생성 모듈; 발화 내용의 소스에 기반하여 영상 내 인물이 발화 상태에 있는 발화 상태 영상을 생성하는 발화 상태 영상 생성 모듈; 및 상기 대기 상태 영상을 재생하다가 상기 대기 상태 영상과 상기 발화 상태 영상을 합성하여 합성 발화 영상을 생성하는 영상 재생 모듈을 포함한다.
상기 백모션 이미지 셋은, 영상 속 인물의 초기 발화 모양이 서로 다른 복수 개의 백모션 이미지를 포함할 수 있다.
상기 영상 재생 모듈은, 상기 발화 상태 영상의 생성이 완료되는 시점을 기준으로 백모션 이미지 셋을 추출하고, 상기 백모션 이미지 셋에 기반하여 재생 중인 대기 상태 영상을 기 설정된 기준 프레임으로 되돌리고, 상기 기준 프레임부터 상기 발화 상태 영상의 프레임과 합성하여 합성 발화 영상을 생성할 수 있다.
상기 영상 재생 모듈은, 상기 발화 상태 영상의 생성이 완료되는 시점에서 상기 재생 중인 대기 상태 영상의 현재 프레임 이후의 프레임들 중 백모션 이미지 셋을 갖는 가장 가까운 프레임을 검출하고, 상기 검출된 프레임의 백모션 이미지 셋을 추출할 수 있다.
상기 영상 재생 모듈은, 상기 백모션 이미지 셋 중 상기 발화 내용의 소스와 대응하는 초기 발화 모양을 갖는 백모션 이미지를 추출하고, 추출한 상기 백모션 이미지를 보간 이미지로 사용하여 상기 대기 상태 영상을 상기 기준 프레임으로 되돌릴 수 있다.
상기 영상 재생 모듈은, 상기 합성 발화 영상을 재생하는 중 상기 발화 상태 영상이 종료되는 경우 상기 발화 상태 영상의 종료 시점부터 상기 대기 상태 영상을 다시 재생할 수 있다.
상기 발화 상태 영상 생성 모듈은, 상기 발화 내용의 소스에 기반하여 상기 발화 상태 영상의 음성 파트 및 영상 파트를 각각 생성하되, 상기 대기 상태 영상 속 인물의 얼굴 부분에 대해 상기 영상 파트를 생성할 수 있다.
상기 영상 재생 모듈은, 상기 대기 상태 영상의 얼굴 부분을 상기 발화 상태 영상의 영상 파트로 교체하고, 상기 얼굴 부분이 교체된 대기 상태 영상과 상기 발화 상태 영상의 음성 파트를 합성하여 상기 합성 발화 영상을 생성할 수 있다.
개시되는 다른 실시예에 따른 컴퓨팅 장치는, 하나 이상의 프로세서들, 및 상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치로서, 영상 내 인물이 대기 상태에 있는 대기 상태 영상을 생성하고, 상기 대기 상태 영상의 기 설정된 기준 프레임 간의 이미지 보간을 위해 상기 대기 상태 영상에서 기 설정된 프레임 간격으로 복수 개의 백모션 이미지를 포함하는 백모션 이미지 셋을 생성하는 대기 상태 영상 생성 모듈; 및 발화 내용의 소스를 서버로 전송하고, 상기 서버로부터 영상 내 인물이 발화 상태에 있는 발화 상태 영상을 수신하며, 상기 대기 상태 영상을 재생하다가 상기 대기 상태 영상과 상기 발화 상태 영상을 합성하여 합성 발화 영상을 생성하는 영상 재생 모듈을 포함한다.
개시되는 일 실시예에 따른 발화 영상 제공 방법은, 하나 이상의 프로세서들, 및 상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치에서 수행되는 방법으로서, 영상 내 인물이 대기 상태에 있는 대기 상태 영상을 생성하는 동작; 상기 대기 상태 영상의 기 설정된 기준 프레임 간의 이미지 보간을 위해 상기 대기 상태 영상에서 기 설정된 프레임 간격으로 복수 개의 백모션 이미지를 포함하는 백모션 이미지 셋을 생성하는 동작; 발화 내용의 소스에 기반하여 영상 내 인물이 발화 상태에 있는 발화 상태 영상을 생성하는 동작; 및 상기 대기 상태 영상을 재생하다가 상기 대기 상태 영상과 상기 발화 상태 영상을 합성하여 합성 발화 영상을 생성하는 동작을 포함한다.
개시되는 다른 실시예에 따른 발화 영상 제공 방법은, 하나 이상의 프로세서들, 및 상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치에서 수행되는 방법으로서, 영상 내 인물이 대기 상태에 있는 대기 상태 영상을 생성하는 동작; 상기 대기 상태 영상의 기 설정된 기준 프레임 간의 이미지 보간을 위해 상기 대기 상태 영상에서 기 설정된 프레임 간격으로 복수 개의 백모션 이미지를 포함하는 백모션 이미지 셋을 생성하는 동작; 발화 내용의 소스를 서버로 전송하는 동작; 상기 서버로부터 영상 내 인물이 발화 상태에 있는 발화 상태 영상을 수신하는 동작; 및 상기 대기 상태 영상을 재생하다가 상기 대기 상태 영상과 상기 발화 상태 영상을 합성하여 합성 발화 영상을 생성하는 동작을 포함한다.
개시되는 실시예에 의하면, 대기 상태 영상을 미리 준비하고 대기 상태 영상을 재생하는 중 발화 상태 영상을 생성하여 대기 상태 영상과 합성함으로써, 합성 발화 영상을 실시간으로 생성할 수 있으며, 그로 인해 인공 지능 기반의 대화 관련 서비스를 실시간으로 제공할 수 있게 된다.
또한, 발화 상태 영상의 생성 시 영상 파트를 대기 상태 영상 속 인물의 얼굴 부분에 대해 생성하고, 대기 상태 영상의 얼굴 부분을 발화 상태 영상의 영상 파트로 교체하여 합성 발화 영상을 생성함으로써, 합성 발화 영상의 생성에 따른 시간을 줄이면서 데이터 량을 줄일 수 있게 된다.
또한, 대기 상태 영상에서 기 설정된 간격으로 백모션 이미지 셋을 마련하고, 백모션 이미지 셋 중 발화 내용의 소스와 대응하는 백모션 이미지를 재생시켜 현재 대기 상태 영상의 프레임을 첫 번째 프레임과 연결시키며, 대기 상태 영상의 첫 번째 프레임과 발화 상태 영상을 합성함으로써, 대기 상태 영상의 재생 중 언제 발화 상태 영상이 생성되더라도 다른 변수를 고려하지 않고도 합성 발화 영상을 용이하게 생성할 수 있으며, 합성 발화 영상 속 인물의 발화 모양이 자연스럽게 이어지도록 할 수 있게 된다.
도 1은 본 발명의 일 실시예에 따른 발화 영상 제공 장치의 구성을 나타낸 블록도
도 2는 본 발명의 일 실시예에서 백모션 이미지가 생성된 상태를 나타낸 도면
도 3은 본 발명의 일 실시예에서 대기 상태 영상과 발화 상태 영상을 합성하는 상태를 개략적으로 나타낸 도면
도 4는 본 발명의 일 실시예에서 영상 재생 모듈이 재생 중인 대기 상태 영상을 첫 번째 프레임으로 되돌리는 상태를 개략적으로 나타낸 도면
도 5는 본 발명의 일 실시예에서 영상 재생 모듈이 합성 발화 영상을 재생하기까지의 과정을 개략적으로 나타낸 도면
도 6은 본 발명의 일 실시예에 따른 발화 영상 제공 시스템의 구성을 나타낸 도면
도 7은 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도
도 2는 본 발명의 일 실시예에서 백모션 이미지가 생성된 상태를 나타낸 도면
도 3은 본 발명의 일 실시예에서 대기 상태 영상과 발화 상태 영상을 합성하는 상태를 개략적으로 나타낸 도면
도 4는 본 발명의 일 실시예에서 영상 재생 모듈이 재생 중인 대기 상태 영상을 첫 번째 프레임으로 되돌리는 상태를 개략적으로 나타낸 도면
도 5는 본 발명의 일 실시예에서 영상 재생 모듈이 합성 발화 영상을 재생하기까지의 과정을 개략적으로 나타낸 도면
도 6은 본 발명의 일 실시예에 따른 발화 영상 제공 시스템의 구성을 나타낸 도면
도 7은 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도
이하, 도면을 참조하여 본 발명의 구체적인 실시형태를 설명하기로 한다. 이하의 상세한 설명은 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다.
본 발명의 실시예들을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 본 발명의 실시예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다.
이하의 설명에 있어서, 신호 또는 정보의 "전송", "통신", "송신", "수신" 기타 이와 유사한 의미의 용어는 일 구성요소에서 다른 구성요소로 신호 또는 정보가 직접 전달되는 것뿐만이 아니라 다른 구성요소를 거쳐 전달되는 것도 포함한다. 특히 신호 또는 정보를 일 구성요소로 "전송" 또는 "송신"한다는 것은 그 신호 또는 정보의 최종 목적지를 지시하는 것이고 직접적인 목적지를 의미하는 것이 아니다. 이는 신호 또는 정보의 "수신"에 있어서도 동일하다. 또한 본 명세서에 있어서, 2 이상의 데이터 또는 정보가 "관련"된다는 것은 하나의 데이터(또는 정보)를 획득하면, 그에 기초하여 다른 데이터(또는 정보)의 적어도 일부를 획득할 수 있음을 의미한다.
또한, 제1, 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로 사용될 수 있다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성 요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다.
도 1은 본 발명의 일 실시예에 따른 발화 영상 제공 장치의 구성을 나타낸 블록도이다.
도 1을 참조하면, 발화 영상 제공 장치(100)는 대기 상태 영상 생성 모듈(102), 발화 상태 영상 생성 모듈(104), 및 영상 재생 모듈(106)을 포함할 수 있다.
일 실시예에서, 대기 상태 영상 생성 모듈(102), 발화 상태 영상 생성 모듈(104), 및 영상 재생 모듈(106)은 물리적으로 구분된 하나 이상의 장치를 이용하여 구현되거나, 하나 이상의 프로세서 또는 하나 이상의 프로세서 및 소프트웨어의 결합에 의해 구현될 수 있으며, 도시된 예와 달리 구체적 동작에 있어 명확히 구분되지 않을 수 있다.
예시적인 실시예에서, 발화 영상 제공 장치(100)는 인공 지능을 이용한 대화(AI 대화) 또는 영상 통화(AI 영상 통화) 등을 수행하기 위한 장치일 수 있으나, 이에 한정되는 것은 아니다. 발화 영상 제공 장치(100)는 인공 지능을 기반으로 발화 영상(예를 들어, 대화 또는 영상 통화 등을 위한 발화 영상)을 생성하고 생성한 발화 영상을 화면에 표시하거나 외부(예를 들어, 대화 상대방의 단말 또는 대화 상대방 단말과 발화 영상 제공 장치(100)를 중계하는 중계 서버 등)로 전송할 수 있다.
예를 들어, 발화 영상 제공 장치(100)는 인공 지능과 대화하고자 하는 사용자 단말에 설치될 수도 있고, 무인 주문용 키오스크, 전자식 안내 데스크, 옥외 광고 스크린, 로봇 등 다양한 장치 또는 시설에 설치될 수 있다.
여기서, 발화 영상은 인공 지능 기반으로 합성된 영상으로, 소정의 인물이 발화하는 영상이다. 여기서, 소정의 인물은 가상의 인물일 수도 있고 대중들에게 널리 알려진 인물(예를 들어, 연예인, 스포츠 선수, 대통령, 아나운서 등)일 수 있으나, 이에 한정되는 것은 아니다.
대기 상태 영상 생성 모듈(102)은 영상 내 인물이 대기 상태에 있는 영상(이하, 대기 상태 영상이라 지칭할 수 있음)을 생성할 수 있다. 여기서, 대기 상태는 영상 내 인물이 발화를 하기 전의 상태(예를 들어, 상대방의 말을 듣고 있는 상태 또는 대화가 있기 전 말 없이 있는 상태 등)일 수 있다.
대기 상태 영상 생성 모듈(102)은 기 설정된 재생 시간(예를 들어, 5초 내지 30초 등)을 갖는 대기 상태 영상을 생성할 수 있다. 대기 상태 영상은 영상 내 인물이 대기 상태에 있는 동안 자연스러운 동작을 표현하도록 마련될 수 있다. 즉, 대기 상태 영상은 영상 내 인물이 상대방의 말을 듣는 동안 그에 따른 인물의 표정, 자세, 및 동작(예를 들어, 고개를 끄덕이는 동작, 두 손을 모으고 경청하는 동작, 고개를 갸우뚱 하는 동작, 미소를 짓는 표정 등)을 자연스럽게 표현하도록 마련될 수 있다.
대기 상태 영상은 기 설정된 재생 기간을 가지는 바, 복수 개의 프레임을 포함하게 된다. 그리고, 영상 내 인물이 대기 상태에 있는 동안 자연스러운 동작을 표현하기 위해 대기 상태 영상 내 각 프레임은 변화된 이미지를 포함할 수 있다. 예시적인 실시예에서, 대기 상태 영상은 첫 번째 프레임부터 마지막 프레임까지 재생되는 경우, 마지막 프레임에서 다시 첫 번째 프레임으로 되돌아가서 반복 재생되도록 마련될 수 있다.
대기 상태 영상 생성 모듈(102)은 대기 상태 영상의 각 프레임 이외에 백모션(back motion) 이미지를 생성할 수 있다. 백모션 이미지는 대기 상태 영상의 임의의 프레임과 대기 상태 영상의 기 설정된 기준 프레임 간의 이미지 보간(Interpolation)을 위한 것일 수 있다. 이하에서는, 기준 프레임을 대기 상태 영상의 첫 번째 프레임인 것을 일 예로 설명하기로 한다. 그러나, 기준 프레임이 이에 한정되는 것은 아니다.
대기 상태 영상 생성 모듈(102)은 대기 상태 영상의 임의의 프레임에서 대기 상태 영상의 첫 번째 프레임(즉, 기준 프레임)으로 되돌아갈 때 임의의 프레임과 첫 번째 프레임이 자연스럽게 연결되도록 하기 위해 백모션 이미지를 생성할 수 있다.
도 2는 본 발명의 일 실시예에서 백모션 이미지가 생성된 상태를 나타낸 도면이다. 도 2를 참조하면, 대기 상태 영상 생성 모듈(102)은 대기 상태 영상에서 기 설정된 시간 간격(또는 프레임 간격) 마다 백모션 이미지를 생성할 수 있다. 이하, 대기 상태 영상에서 백모션 이미지가 생성된 지점을 백모션 포인트라 지칭할 수 있다. 즉, 대기 상태 영상 생성 모듈(102)은 대기 상태 영상의 각 백모션 포인트에 해당되는 프레임과 대기 상태 영상의 기준 프레임이 자연스럽게 연결되도록 백모션 이미지를 생성할 수 있다.
이때, 대기 상태 영상 생성 모듈(102)은 각 백모션 포인트마다 영상 속 인물의 초기 발화 모양이 서로 다른 복수 개의 백모션 이미지들을 생성할 수 있다. 여기서, 초기 발화 모양은 영상 속 인물이 말을 시작하려고 할 때의 입 및 입 주위의 모양을 의미하는 것으로, 영상 속 인물이 말을 하려고 하는 발화 내용에 따라 달라질 수 있다.
예를 들어, 대기 상태 영상 생성 모듈(102)은 각 백모션 포인트마다 영상 속 인물이 제1 초기 발화 모양을 갖는 제1 백모션 이미지(#1), 영상 속 인물이 제2 초기 발화 모양을 갖는 제2 백모션 이미지(#2), 영상 속 인물이 제3 초기 발화 모양을 갖는 제3 백모션 이미지(#3), 영상 속 인물이 제4 초기 발화 모양을 갖는 제4 백모션 이미지(#4), 및 영상 속 인물이 제5 초기 발화 모양을 갖는 제5 백모션 이미지(#5)를 포함하는 백모션 이미지 셋(IS)을 생성할 수 있다. 여기서는, 초기 발화 모양이 5개인 것을 일 예로 설명하였으나, 이에 한정되는 것은 아니며 초기 발화 모양은 그 이외의 다양한 개수로 분류될 수 있다.
발화 상태 영상 생성 모듈(104)은 영상 내 인물(대기 상태 영상 속 인물과 아이덴티티가 동일한 인물)이 발화 상태에 있는 영상(이하, 발화 상태 영상이라 지칭할 수 있음)을 생성할 수 있다. 여기서, 발화 상태는 영상 내 인물이 발화를 하는 상태(예를 들어, 대화 또는 영상 통화 등의 상대방에게 말을 하는 상태)를 의미할 수 있다.
발화 상태 영상 생성 모듈(104)은 입력되는 발화 내용의 소스에 기반하여 발화 상태 영상을 생성할 수 있다. 발화 내용의 소스는 텍스트 형태일 수 있으나, 이에 한정되는 것은 아니며 음성 형태일 수도 있다.
발화 내용의 소스는 발화 영상 제공 장치(100)가 상대방의 발화를 분석하여 인공 지능을 통해 생성할 수 있으나, 이에 한정되는 것은 아니며 외부 장치(미도시)(예를 들어, 상대방의 발화를 분석하여 발화 내용의 소스를 생성하는 장치) 또는 관리자로부터 입력된 것일 수도 있다. 이하, 발화 내용의 소스는 텍스트인 것을 일 예로 설명하기로 한다.
발화 상태 영상 생성 모듈(104)은 발화 내용의 텍스트(예를 들어, "안녕하세요. 저는 AI 튜터 대니입니다")에 기반하여 발화 상태 영상의 음성 파트 및 영상 파트를 각각 생성하고, 생성한 음성 파트와 영상 파트를 합성하여 발화 상태 영상을 생성할 수 있다. 텍스트 기반으로 음성 및 영상을 생성하는 기술은 기 공지된 기술이므로 이에 대한 자세한 설명은 생략하기로 한다.
영상 재생 모듈(106)은 대기 상태 영상 모듈(102)이 생성한 대기 상태 영상을 재생시킬 수 있다. 영상 재생 모듈(106)은 대기 상태 영상을 재생하여 대화 상대방에게 제공할 수 있다. 예시적인 실시예에서, 영상 재생 모듈(106)은 대기 상태 영상을 재생하여 발화 영상 제공 장치(100)에 구비된 화면에 표시할 수 있다. 이 경우, 대화 상대방은 발화 영상 제공 장치(100)의 화면을 보면서 영상 속 인물과 대화할 수 있다.
또한, 영상 재생 모듈(106)은 대기 상태 영상을 재생하여 외부 장치(예를 들어, 대화 상대방의 단말 또는 중계 서버 등)로 전송할 수 있다. 이 경우, 대화 상대방은 자신의 단말(예를 들어, 스마트 폰, 태블릿 PC, 노트북, 데스크 탑 PC 등)이나 무인 주문용 키오스크, 전자식 안내 데스크, 옥외 광고 스크린 등을 통해 영상을 제공 받고 영상 속 인물과 대화할 수 있다.
영상 재생 모듈(106)은 대기 상태 영상을 재생하는 중 발화 상태 영상이 생성되는 경우, 대기 상태 영상과 발화 상태 영상을 합성하여 합성 발화 영상을 생성하고, 합성 발화 영상을 재생할 수 있다. 영상 재생 모듈(106)은 합성 발화 영상을 대화 상대방에게 제공할 수 있다.
도 3은 본 발명의 일 실시예에서 대기 상태 영상과 발화 상태 영상을 합성하는 상태를 개략적으로 나타낸 도면이다. 도 3을 참조하면, 영상 재생 모듈(106)은 대기 상태 영상의 얼굴 부분을 발화 상태 영상의 영상 파트(즉, 해당 인물의 얼굴 부분)로 교체하고, 발화 상태 영상의 음성 파트를 합성하여 합성 발화 영상을 생성할 수 있다.
예시적인 실시예에서, 영상 재생 모듈(106)은 대기 상태 영상을 재생하는 중 발화 상태 영상의 생성이 완료되는 경우, 대기 상태 영상의 기준 프레임으로 돌아가 대기 상태 영상의 기 설정된 기준 프레임부터 발화 상태 영상의 프레임과 합성하여 합성 발화 영상을 생성할 수 있다. 예를 들어, 대기 상태 영상과 발화 상태 영상의 합성은 대기 상태 영상의 첫 번째 프레임에서 이루어질 수 있다.
이 경우, 대기 상태 영상과 발화 상태 영상의 합성 지점을 대기 상태 영상의 기준 프레임으로 통일시킴으로써, 대기 상태 영상의 재생 중 언제 발화 상태 영상이 생성되더라도 다른 변수(예를 들어, 발화 영상 제공 장치(100)와 상대방 단말 간의 네트워크 환경 등)를 고려하지 않고도 대기 상태 영상과 발화 상태 영상을 합성하여 합성 발화 영상을 용이하게 생성할 수 있게 된다.
이때, 영상 재생 모듈(106)은 대기 상태 영상의 첫 번째 프레임과 발화 상태 영상을 합성하기 위해 재생 중인 대기 상태 영상을 첫 번째 프레임(즉, 기준 프레임)으로 되돌린 후, 대기 상태 영상의 첫 번째 프레임과 발화 상태 영상을 합성할 수 있다.
즉, 영상 재생 모듈(106)이 대기 상태 영상을 재생하는 중에 발화 내용의 소스가 입력되면 발화 상태 영상 생성 모듈(104)은 발화 내용의 소스에 기반하여 발화 상태 영상을 생성하게 된다. 발화 상태 영상의 생성이 완료된 경우, 영상 재생 모듈(106)은 발화 상태 영상의 생성이 완료된 시점을 기준으로 가장 가까운 시점(즉, 백모션 포인트)의 백모션 이미지 셋을 보간 이미지로 사용하여 대기 상태 영상을 첫 번째 프레임으로 되돌릴 수 있다. 이때, 영상 재생 모듈(106)은 백모션 이미지 셋 중 발화 내용의 소스에 기반하여 그에 대응하는 초기 발화 모양을 갖는 백모션 이미지를 추출할 수 있다.
도 4는 본 발명의 일 실시예에서 영상 재생 모듈(106)이 재생 중인 대기 상태 영상을 첫 번째 프레임으로 되돌리는 상태를 개략적으로 나타낸 도면이다. 도 4를 참조하면, 대기 상태 영상의 재생 중 j번째 프레임에서 발화 상태 영상의 생성이 완료된 경우, 영상 재생 모듈(106)은 대기 상태 영상의 현재 재생 중인 j번째 프레임 이후의 프레임들 중 백모션 이미지 셋을 갖는 가장 가까운 프레임을 검출할 수 있다.
예를 들어, j번째 프레임 이후의 프레임들 중 백모션 이미지를 갖는 가장 가까운 프레임이 k번째 프레임인 경우, 영상 재생 모듈(106)은 k번째 프레임의 백모션 이미지 셋(예를 들어, 제1 백모션 이미지(#1) 내지 제5 백모션 이미지(#5))를 추출할 수 있다. 영상 재생 모듈(106)은 발화 상태 영상을 생성하는데 사용된 발화 내용의 소스에 기반하여 백모션 이미지 셋 중 발화 내용의 소스와 대응하는 초기 발화 모양을 갖는 백모션 이미지(예를 들어, 제2 백모션 이미지(#2))를 추출할 수 있다.
영상 재생 모듈(106)은 추출한 제2 백모션 이미지(#2)를 보간 이미지로 하여 대기 상태 영상을 첫 번째 프레임으로 되돌릴 수 있다. 즉, 영상 재생 모듈(106)은 k번째 프레임의 백모션 이미지 셋 중 제2 백모션 이미지(#2)를 재생시켜 대기 상태 영상을 첫 번째 프레임으로 자연스럽게 되돌릴 수 있다.
도 5는 본 발명의 일 실시예에서 영상 재생 모듈이 합성 발화 영상을 재생하기까지의 과정을 개략적으로 나타낸 도면이다.
도 5를 참조하면, 영상 재생 모듈(106)은 대기 상태 영상을 재생(①)하다가 발화 상태 영상의 생성이 완료된 경우, 발화 상태 영상의 생성이 완료된 시점을 기준으로 백모션 이미지 셋을 갖는 가장 가까운 프레임(예를 들어, k번째 프레임)을 검출할 수 있다. 영상 재생 모듈(106)은 k번째 프레임의 백모션 이미지 셋 중 발화 내용의 소스와 대응하는 초기 발화 모양을 갖는 제2 백모션 이미지(#2)를 재생(②)시켜 대기 상태 영상의 k번째 프레임과 첫 번째 프레임을 자연스럽게 연결할 수 있다.
다음으로, 영상 재생 모듈(106)은 대기 상태 영상의 첫 번째 프레임부터 발화 상태 영상의 프레임과 합성하여 합성 발화 영상을 생성하고 재생(③)할 수 있다. 영상 재생 모듈(106)은 대기 상태 영상의 첫 번째 프레임의 얼굴 부분을 발화 상태 영상의 영상 파트로 교체하여 합성 발화 영상을 생성할 수 있다. 이때, 발화 내용의 소스와 대응하는 초기 발화 모양을 갖는 제2 백모션 이미지가 보간 이미지로 재생된 후 합성 발화 영상이 재생되기 때문에, 합성 발화 영상 속 인물의 발화 모양이 자연스럽게 표현되게 된다.
개시되는 실시예에 의하면, 대기 상태 영상을 미리 준비하고 대기 상태 영상을 재생하는 중 발화 상태 영상을 생성하여 대기 상태 영상과 합성함으로써, 합성 발화 영상을 실시간으로 생성할 수 있으며, 그로 인해 인공 지능 기반의 대화 관련 서비스를 실시간으로 제공할 수 있게 된다.
또한, 발화 상태 영상의 생성 시 영상 파트를 대기 상태 영상 속 인물의 얼굴 부분에 대해 생성하고, 대기 상태 영상의 얼굴 부분을 발화 상태 영상의 영상 파트로 교체하여 합성 발화 영상을 생성함으로써, 합성 발화 영상의 생성에 따른 시간을 줄이면서 데이터 량을 줄일 수 있게 된다.
또한, 대기 상태 영상에서 기 설정된 간격으로 백모션 이미지 셋을 마련하고, 백모션 이미지 셋 중 발화 내용의 소스와 대응하는 백모션 이미지를 재생시켜 현재 대기 상태 영상의 프레임을 첫 번째 프레임과 연결시키며, 대기 상태 영상의 첫 번째 프레임과 발화 상태 영상을 합성함으로써, 대기 상태 영상의 재생 중 언제 발화 상태 영상이 생성되더라도 다른 변수를 고려하지 않고도 합성 발화 영상을 용이하게 생성할 수 있으며, 합성 발화 영상 속 인물의 발화 모양이 자연스럽게 이어지도록 할 수 있게 된다.
본 명세서에서 모듈이라 함은, 본 발명의 기술적 사상을 수행하기 위한 하드웨어 및 상기 하드웨어를 구동하기 위한 소프트웨어의 기능적, 구조적 결합을 의미할 수 있다. 예컨대, 상기 "모듈"은 소정의 코드와 상기 소정의 코드가 수행되기 위한 하드웨어 리소스의 논리적인 단위를 의미할 수 있으며, 반드시 물리적으로 연결된 코드를 의미하거나, 한 종류의 하드웨어를 의미하는 것은 아니다.
도 6은 본 발명의 일 실시예에 따른 발화 영상 제공 시스템의 구성을 나타낸 도면이다.
도 6을 참조하면, 발화 영상 제공 시스템(200)은 발화 영상 제공 장치(201), 서버(203), 및 상대방 단말(205)을 포함할 수 있다. 발화 영상 제공 장치(201)는 통신 네트워크(250)를 통해 서버(203) 및 상대방 단말(205)과 통신 가능하게 연결될 수 있다.
몇몇 실시예들에서, 통신 네트워크(250)는 인터넷, 하나 이상의 로컬 영역 네트워크(local area networks), 광역 네트워크(wide area networks), 셀룰러 네트워크, 모바일 네트워크, 그 밖에 다른 종류의 네트워크들, 또는 이러한 네트워크들의 조합을 포함할 수 있다.
발화 영상 제공 장치(201)는 대기 상태 영상 생성 모듈(211) 및 영상 재생 모듈(213)을 포함할 수 있다. 여기서, 대기 상태 영상 생성 모듈(211)은 도 1에 도시된 대기 상태 영상 생성 모듈(102)과 동일하므로 이에 대한 자세한 설명은 생략하기로 한다.
영상 재생 모듈(213)은 발화 내용의 소스가 입력되는 경우, 발화 내용의 소스를 서버(203)로 전송할 수 있다. 서버(203)는 발화 내용의 소스에 기반하여 발화 상태 영상을 생성할 수 있다. 즉, 서버(203)는 발화 상태 영상 생성 모듈(221)을 포함할 수 있다. 예시적인 실시예에서, 서버(203)는 머신 러닝 기술에 기반하여 발화 내용의 소스로부터 발화 상태 영상(즉, 음성 파트 및 영상 파트)를 생성할 수 있다. 서버(203)는 생성한 발화 상태 영상을 영상 재생 모듈(213)로 송신할 수 있다.
영상 재생 모듈(213)은 대기 상태 영상을 재생하여 상대방 단말(205)로 제공할 수 있다. 영상 재생 모듈(213)은 대기 상태 영상을 재생하는 중에 서버(203)로부터 기 설정된 시간 분량의 발화 상태 영상을 수신하는 경우, 수신한 발화 상태 영상과 대기 상태 영상을 합성하여 합성 발화 영상을 생성할 수 있다. 영상 재생 모듈(213)은 합성 발화 영상을 상대방 단말(205)로 제공할 수 있다.
영상 재생 모듈(213)은 서버(203)로부터 발화 상태 영상의 다음 시간 분량이 수신되지 않는 경우, 서버(203)로부터 발화 상태 영상의 다음 시간 분량이 수신될 때까지 대기한 후 수신한 발화 상태 영상과 대기 상태 영상을 합성하여 합성 발화 영상을 생성할 수 있다.
도 7은 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경(10)을 예시하여 설명하기 위한 블록도이다. 도시된 실시예에서, 각 컴포넌트들은 이하에 기술된 것 이외에 상이한 기능 및 능력을 가질 수 있고, 이하에 기술된 것 이외에도 추가적인 컴포넌트를 포함할 수 있다.
도시된 컴퓨팅 환경(10)은 컴퓨팅 장치(12)를 포함한다. 일 실시예에서, 컴퓨팅 장치(12)는 발화 영상 제공 장치(100)일 수 있다.
컴퓨팅 장치(12)는 적어도 하나의 프로세서(14), 컴퓨터 판독 가능 저장 매체(16) 및 통신 버스(18)를 포함한다. 프로세서(14)는 컴퓨팅 장치(12)로 하여금 앞서 언급된 예시적인 실시예에 따라 동작하도록 할 수 있다. 예컨대, 프로세서(14)는 컴퓨터 판독 가능 저장 매체(16)에 저장된 하나 이상의 프로그램들을 실행할 수 있다. 상기 하나 이상의 프로그램들은 하나 이상의 컴퓨터 실행 가능 명령어를 포함할 수 있으며, 상기 컴퓨터 실행 가능 명령어는 프로세서(14)에 의해 실행되는 경우 컴퓨팅 장치(12)로 하여금 예시적인 실시예에 따른 동작들을 수행하도록 구성될 수 있다.
컴퓨터 판독 가능 저장 매체(16)는 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보를 저장하도록 구성된다. 컴퓨터 판독 가능 저장 매체(16)에 저장된 프로그램(20)은 프로세서(14)에 의해 실행 가능한 명령어의 집합을 포함한다. 일 실시예에서, 컴퓨터 판독 가능 저장 매체(16)는 메모리(랜덤 액세스 메모리와 같은 휘발성 메모리, 비휘발성 메모리, 또는 이들의 적절한 조합), 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 그 밖에 컴퓨팅 장치(12)에 의해 액세스되고 원하는 정보를 저장할 수 있는 다른 형태의 저장 매체, 또는 이들의 적합한 조합일 수 있다.
통신 버스(18)는 프로세서(14), 컴퓨터 판독 가능 저장 매체(16)를 포함하여 컴퓨팅 장치(12)의 다른 다양한 컴포넌트들을 상호 연결한다.
컴퓨팅 장치(12)는 또한 하나 이상의 입출력 장치(24)를 위한 인터페이스를 제공하는 하나 이상의 입출력 인터페이스(22) 및 하나 이상의 네트워크 통신 인터페이스(26)를 포함할 수 있다. 입출력 인터페이스(22) 및 네트워크 통신 인터페이스(26)는 통신 버스(18)에 연결된다. 입출력 장치(24)는 입출력 인터페이스(22)를 통해 컴퓨팅 장치(12)의 다른 컴포넌트들에 연결될 수 있다. 예시적인 입출력 장치(24)는 포인팅 장치(마우스 또는 트랙패드 등), 키보드, 터치 입력 장치(터치패드 또는 터치스크린 등), 음성 또는 소리 입력 장치, 다양한 종류의 센서 장치 및/또는 촬영 장치와 같은 입력 장치, 및/또는 디스플레이 장치, 프린터, 스피커 및/또는 네트워크 카드와 같은 출력 장치를 포함할 수 있다. 예시적인 입출력 장치(24)는 컴퓨팅 장치(12)를 구성하는 일 컴포넌트로서 컴퓨팅 장치(12)의 내부에 포함될 수도 있고, 컴퓨팅 장치(12)와는 구별되는 별개의 장치로 컴퓨팅 장치(12)와 연결될 수도 있다.
이상에서 본 발명의 대표적인 실시예들을 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
100 : 발화 영상 제공 장치
102 : 대기 상태 영상 생성 모듈
104 : 발화 상태 영상 생성 모듈
106 : 영상 재생 모듈
200 : 발화 영상 제공 시스템
201 : 발화 영상 제공 장치
203 : 서버
205 : 상대방 단말
211 : 대기 상태 영상 생성 모듈
213 : 영상 재생 모듈
221 : 발화 상태 영상 생성 모듈
102 : 대기 상태 영상 생성 모듈
104 : 발화 상태 영상 생성 모듈
106 : 영상 재생 모듈
200 : 발화 영상 제공 시스템
201 : 발화 영상 제공 장치
203 : 서버
205 : 상대방 단말
211 : 대기 상태 영상 생성 모듈
213 : 영상 재생 모듈
221 : 발화 상태 영상 생성 모듈
Claims (11)
- 하나 이상의 프로세서들, 및
상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치로서,
영상 내 인물이 대기 상태에 있는 대기 상태 영상을 생성하고, 상기 대기 상태 영상의 기 설정된 기준 프레임 간의 이미지 보간을 위해 상기 대기 상태 영상에서 기 설정된 프레임 간격으로 복수 개의 백모션 이미지를 포함하는 백모션 이미지 셋을 생성하는 대기 상태 영상 생성 모듈;
상기 대기 상태 영상의 재생 중 발화 내용의 소스에 기반하여 영상 내 인물이 발화 상태에 있는 발화 상태 영상을 생성하는 발화 상태 영상 생성 모듈; 및
상기 대기 상태 영상을 재생하다가 상기 대기 상태 영상과 상기 발화 상태 영상을 합성하여 합성 발화 영상을 생성하는 영상 재생 모듈을 포함하고,
상기 백모션 이미지 셋은 영상 속 인물의 초기 발화 모양이 서로 다른 복수 개의 백모션 이미지를 포함하고,
상기 영상 재생 모듈은 상기 발화 상태 영상의 생성이 완료되는 시점을 기준으로 상기 재생 중인 대기 상태 영상의 현재 프레임 이후의 프레임들 중 백모션 이미지 셋을 갖는 가장 가까운 프레임을 검출하고, 상기 검출된 프레임의 백모션 이미지 셋을 추출하고, 상기 추출된 백모션 이미지 셋 중에서 상기 발화 내용의 소스에 대응하는 초기 발화 모양을 갖는 백모션 이미지를 추출하고, 상기 추출된 백모션 이미지를 보간 이미지로 사용하여 상기 대기 상태 영상을 상기 기준 프레임으로 되돌리고, 상기 기준 프레임부터 상기 발화 상태 영상의 프레임과 합성하여 합성 발화 영상을 생성하고,
상기 발화 상태 영상 생성 모듈은, 상기 발화 내용의 소스에 기반하여 상기 발화 상태 영상의 음성 파트 및 영상 파트를 각각 생성하되, 상기 대기 상태 영상 속 인물의 얼굴 부분에 대해 상기 영상 파트를 생성하고,
상기 영상 재생 모듈은, 상기 대기 상태 영상의 얼굴 부분을 상기 발화 상태 영상의 영상 파트로 교체하고, 상기 얼굴 부분이 교체된 대기 상태 영상과 상기 발화 상태 영상의 음성 파트를 합성하여 상기 합성 발화 영상을 생성하는, 컴퓨팅 장치.
- 삭제
- 삭제
- 삭제
- 삭제
- 청구항 1에 있어서,
상기 영상 재생 모듈은,
상기 합성 발화 영상을 재생하는 중 상기 발화 상태 영상이 종료되는 경우 상기 발화 상태 영상의 종료 시점부터 상기 대기 상태 영상을 다시 재생하는, 컴퓨팅 장치.
- 삭제
- 삭제
- 하나 이상의 프로세서들, 및
상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치로서,
영상 내 인물이 대기 상태에 있는 대기 상태 영상을 생성하고, 상기 대기 상태 영상의 기 설정된 기준 프레임 간의 이미지 보간을 위해 상기 대기 상태 영상에서 기 설정된 프레임 간격으로 복수 개의 백모션 이미지를 포함하는 백모션 이미지 셋을 생성하는 대기 상태 영상 생성 모듈; 및
상기 대기 상태 영상의 재생 중 발화 내용의 소스를 서버로 전송하고, 상기 서버로부터 영상 내 인물이 발화 상태에 있는 발화 상태 영상을 수신하며, 상기 대기 상태 영상을 재생하다가 상기 대기 상태 영상과 상기 발화 상태 영상을 합성하여 합성 발화 영상을 생성하는 영상 재생 모듈을 포함하고,
상기 백모션 이미지 셋은 영상 속 인물의 초기 발화 모양이 서로 다른 복수 개의 백모션 이미지를 포함하고,
상기 영상 재생 모듈은 상기 발화 상태 영상이 수신된 시점을 기준으로 상기 재생 중인 대기 상태 영상의 현재 프레임 이후의 프레임들 중 백모션 이미지 셋을 갖는 가장 가까운 프레임을 검출하고, 상기 검출된 프레임의 백모션 이미지 셋을 추출하고, 상기 추출된 백모션 이미지 셋 중에서 상기 발화 내용의 소스에 대응하는 초기 발화 모양을 갖는 백모션 이미지를 추출하고, 상기 추출된 백모션 이미지를 보간 이미지로 사용하여 상기 대기 상태 영상을 상기 기준 프레임으로 되돌리고, 상기 기준 프레임부터 상기 발화 상태 영상의 프레임과 합성하여 합성 발화 영상을 생성하고,
상기 발화 상태 영상은 음성 파트 및 상기 대기 상태 영상 속 인물의 얼굴 부분인 영상 파트를 포함하고,
상기 영상 재생 모듈은, 상기 대기 상태 영상의 얼굴 부분을 상기 발화 상태 영상의 영상 파트로 교체하고, 상기 얼굴 부분이 교체된 대기 상태 영상과 상기 발화 상태 영상의 음성 파트를 합성하여 상기 합성 발화 영상을 생성하는, 컴퓨팅 장치.
- 하나 이상의 프로세서들, 및
상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치에서 수행되는 방법으로서,
영상 내 인물이 대기 상태에 있는 대기 상태 영상을 생성하는 동작;
상기 대기 상태 영상의 기 설정된 기준 프레임 간의 이미지 보간을 위해 상기 대기 상태 영상에서 기 설정된 프레임 간격으로 복수 개의 백모션 이미지를 포함하는 백모션 이미지 셋을 생성하는 동작;
상기 대기 상태 영상을 재생하는 동작;
상기 대기 상태 영상의 재생 중 발화 내용의 소스에 기반하여 영상 내 인물이 발화 상태에 있는 발화 상태 영상을 생성하는 동작; 및
상기 대기 상태 영상을 재생하다가 상기 대기 상태 영상과 상기 발화 상태 영상을 합성하여 합성 발화 영상을 생성하는 동작을 포함하고,
상기 백모션 이미지 셋은 영상 속 인물의 초기 발화 모양이 서로 다른 복수 개의 백모션 이미지를 포함하고,
상기 합성 발화 영상을 생성하는 동작은,
상기 발화 상태 영상의 생성이 완료되는 시점을 기준으로 상기 재생 중인 대기 상태 영상의 현재 프레임 이후의 프레임들 중 백모션 이미지 셋을 갖는 가장 가까운 프레임을 검출하고, 상기 검출된 프레임의 백모션 이미지 셋을 추출하고, 상기 추출된 백모션 이미지 셋 중에서 상기 발화 내용의 소스에 대응하는 초기 발화 모양을 갖는 백모션 이미지를 추출하고, 상기 추출된 백모션 이미지를 보간 이미지로 사용하여 상기 대기 상태 영상을 상기 기준 프레임으로 되돌리고, 상기 기준 프레임부터 상기 발화 상태 영상의 프레임과 합성하여 합성 발화 영상을 생성하고,
상기 발화 상태 영상을 생성하는 동작은, 상기 발화 내용의 소스에 기반하여 상기 발화 상태 영상의 음성 파트 및 영상 파트를 각각 생성하되, 상기 대기 상태 영상 속 인물의 얼굴 부분에 대해 상기 영상 파트를 생성하고,
상기 합성 발화 영상을 생성하는 동작은, 상기 대기 상태 영상의 얼굴 부분을 상기 발화 상태 영상의 영상 파트로 교체하고, 상기 얼굴 부분이 교체된 대기 상태 영상과 상기 발화 상태 영상의 음성 파트를 합성하여 상기 합성 발화 영상을 생성하는, 발화 영상 제공 방법.
- 하나 이상의 프로세서들, 및
상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치에서 수행되는 방법으로서,
영상 내 인물이 대기 상태에 있는 대기 상태 영상을 생성하는 동작;
상기 대기 상태 영상의 기 설정된 기준 프레임 간의 이미지 보간을 위해 상기 대기 상태 영상에서 기 설정된 프레임 간격으로 복수 개의 백모션 이미지를 포함하는 백모션 이미지 셋을 생성하는 동작;
상기 대기 상태 영상을 재생하는 동작;
상기 대기 상태 영상의 재생 중 발화 내용의 소스를 서버로 전송하는 동작;
상기 서버로부터 영상 내 인물이 발화 상태에 있는 발화 상태 영상을 수신하는 동작; 및
상기 대기 상태 영상을 재생하다가 상기 대기 상태 영상과 상기 발화 상태 영상을 합성하여 합성 발화 영상을 생성하는 동작을 포함하고,
상기 백모션 이미지 셋은 영상 속 인물의 초기 발화 모양이 서로 다른 복수 개의 백모션 이미지를 포함하고,
상기 합성 발화 영상을 생성하는 동작은,
상기 발화 상태 영상이 수신된 시점을 기준으로 상기 재생 중인 대기 상태 영상의 현재 프레임 이후의 프레임들 중 백모션 이미지 셋을 갖는 가장 가까운 프레임을 검출하고, 상기 검출된 프레임의 백모션 이미지 셋을 추출하고, 상기 추출된 백모션 이미지 셋 중에서 상기 발화 내용의 소스에 대응하는 초기 발화 모양을 갖는 백모션 이미지를 추출하고, 상기 추출된 백모션 이미지를 보간 이미지로 사용하여 상기 대기 상태 영상을 상기 기준 프레임으로 되돌리고, 상기 기준 프레임부터 상기 발화 상태 영상의 프레임과 합성하여 합성 발화 영상을 생성하고,
상기 발화 상태 영상은 음성 파트 및 상기 대기 상태 영상 속 인물의 얼굴 부분인 영상 파트를 포함하고,
상기 합성 발화 영상을 생성하는 동작은, 상기 대기 상태 영상의 얼굴 부분을 상기 발화 상태 영상의 영상 파트로 교체하고, 상기 얼굴 부분이 교체된 대기 상태 영상과 상기 발화 상태 영상의 음성 파트를 합성하여 상기 합성 발화 영상을 생성하는, 발화 영상 제공 방법.
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210085515A KR102546532B1 (ko) | 2021-06-30 | 2021-06-30 | 발화 영상 제공 방법 및 이를 수행하기 위한 컴퓨팅 장치 |
| PCT/KR2021/008828 WO2023277231A1 (ko) | 2021-06-30 | 2021-07-09 | 발화 영상 제공 방법 및 이를 수행하기 위한 컴퓨팅 장치 |
| US17/765,094 US11830120B2 (en) | 2021-06-30 | 2021-07-09 | Speech image providing method and computing device for performing the same |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210085515A KR102546532B1 (ko) | 2021-06-30 | 2021-06-30 | 발화 영상 제공 방법 및 이를 수행하기 위한 컴퓨팅 장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20230003894A KR20230003894A (ko) | 2023-01-06 |
| KR102546532B1 true KR102546532B1 (ko) | 2023-06-22 |
Family
ID=84690290
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210085515A KR102546532B1 (ko) | 2021-06-30 | 2021-06-30 | 발화 영상 제공 방법 및 이를 수행하기 위한 컴퓨팅 장치 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US11830120B2 (ko) |
| KR (1) | KR102546532B1 (ko) |
| WO (1) | WO2023277231A1 (ko) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017094527A1 (ja) * | 2015-12-04 | 2017-06-08 | 日本電産株式会社 | 動画生成システムおよび動画表示システム |
Family Cites Families (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100300962B1 (ko) * | 1998-07-24 | 2001-10-27 | 윤종용 | 음성합성을위한립싱크방법및그장치 |
| GB0008537D0 (en) * | 2000-04-06 | 2000-05-24 | Ananova Ltd | Character animation |
| US6661418B1 (en) * | 2001-01-22 | 2003-12-09 | Digital Animations Limited | Character animation system |
| US7019749B2 (en) * | 2001-12-28 | 2006-03-28 | Microsoft Corporation | Conversational interface agent |
| US7136818B1 (en) * | 2002-05-16 | 2006-11-14 | At&T Corp. | System and method of providing conversational visual prosody for talking heads |
| US7076430B1 (en) * | 2002-05-16 | 2006-07-11 | At&T Corp. | System and method of providing conversational visual prosody for talking heads |
| US6919892B1 (en) * | 2002-08-14 | 2005-07-19 | Avaworks, Incorporated | Photo realistic talking head creation system and method |
| US7168953B1 (en) * | 2003-01-27 | 2007-01-30 | Massachusetts Institute Of Technology | Trainable videorealistic speech animation |
| US7260539B2 (en) * | 2003-04-25 | 2007-08-21 | At&T Corp. | System for low-latency animation of talking heads |
| US7797146B2 (en) * | 2003-05-13 | 2010-09-14 | Interactive Drama, Inc. | Method and system for simulated interactive conversation |
| KR20080019842A (ko) * | 2006-08-29 | 2008-03-05 | 김용일 | 유명 인사의 동영상 메시지 제공 시스템 및 방법 |
| US20090044112A1 (en) * | 2007-08-09 | 2009-02-12 | H-Care Srl | Animated Digital Assistant |
| WO2011152575A1 (ko) * | 2010-05-31 | 2011-12-08 | 주식회사 클루소프트 | 발음기관 애니메이션 생성 장치 및 방법 |
| GB201301981D0 (en) * | 2013-02-04 | 2013-03-20 | Headcast Ltd | Presenting audio/visual animations |
| US10217260B1 (en) * | 2017-08-16 | 2019-02-26 | Td Ameritrade Ip Company, Inc. | Real-time lip synchronization animation |
| JP2019096114A (ja) | 2017-11-24 | 2019-06-20 | 学校法人早稲田大学 | 口唇アニメーション生成装置及び口唇アニメーション生成方法 |
| US11062494B2 (en) * | 2018-03-06 | 2021-07-13 | Didimo, Inc. | Electronic messaging utilizing animatable 3D models |
| KR101925440B1 (ko) | 2018-04-23 | 2018-12-05 | 이정도 | 가상현실 기반 대화형 인공지능을 이용한 화상 대화 서비스 제공 방법 |
| US10580187B2 (en) * | 2018-05-01 | 2020-03-03 | Enas TARAWNEH | System and method for rendering of an animated avatar |
| KR102346755B1 (ko) | 2019-06-21 | 2022-01-03 | 주식회사 딥브레인에이아이 | 음성 신호를 이용한 발화 동영상 생성 방법 및 장치 |
-
2021
- 2021-06-30 KR KR1020210085515A patent/KR102546532B1/ko active IP Right Grant
- 2021-07-09 US US17/765,094 patent/US11830120B2/en active Active
- 2021-07-09 WO PCT/KR2021/008828 patent/WO2023277231A1/ko unknown
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017094527A1 (ja) * | 2015-12-04 | 2017-06-08 | 日本電産株式会社 | 動画生成システムおよび動画表示システム |
Non-Patent Citations (2)
| Title |
|---|
| Amir Jamaludin et al., ‘You Said That?: Synthesising Talking Faces from Audio’, International Journal of Computer Vision, 127, pp.1767~1779, 2019.* |
| Iryna Korshunova et al., ‘Fast Face-Swap Using Convolutional Neural Networks’, Proceedings of the IEEE International Conference on Computer Vision (ICCV), pp.3677~3685, 2017.* |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20230003894A (ko) | 2023-01-06 |
| US11830120B2 (en) | 2023-11-28 |
| WO2023277231A1 (ko) | 2023-01-05 |
| US20230005202A1 (en) | 2023-01-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110444196B (zh) | 基于同声传译的数据处理方法、装置、系统和存储介质 | |
| US10217466B2 (en) | Voice data compensation with machine learning | |
| KR102639526B1 (ko) | 발화 영상 제공 방법 | |
| CN111294463B (zh) | 一种智能应答方法及系统 | |
| US20230047858A1 (en) | Method, apparatus, electronic device, computer-readable storage medium, and computer program product for video communication | |
| CN113194203A (zh) | 一种用于听障人士的沟通系统、接听拨打方法及通讯系统 | |
| JP2003037826A (ja) | 代理画像表示装置およびテレビ電話装置 | |
| US20140129228A1 (en) | Method, System, and Relevant Devices for Playing Sent Message | |
| US8937635B2 (en) | Device, method and system for real-time screen interaction in video communication | |
| CN105282621A (zh) | 一种语音消息可视化服务的实现方法及装置 | |
| WO2018020828A1 (ja) | 翻訳装置および翻訳システム | |
| KR102546532B1 (ko) | 발화 영상 제공 방법 및 이를 수행하기 위한 컴퓨팅 장치 | |
| US6501751B1 (en) | Voice communication with simulated speech data | |
| KR102509106B1 (ko) | 발화 영상 제공 방법 및 이를 수행하기 위한 컴퓨팅 장치 | |
| KR102510892B1 (ko) | 발화 영상 제공 방법 및 이를 수행하기 위한 컴퓨팅 장치 | |
| CN115359796A (zh) | 数字人手语播报方法、装置、设备及存储介质 | |
| US20200184973A1 (en) | Transcription of communications | |
| CN117198293B (zh) | 数字人语音交互方法、装置、计算机设备和存储介质 | |
| KR20240023962A (ko) | 발화 비디오 제공 장치 및 방법 | |
| WO2024032111A1 (zh) | 在线会议的数据处理方法、装置、设备、介质及产品 | |
| WO2024038976A1 (ko) | 발화 비디오 제공 장치 및 방법 | |
| CN112232092A (zh) | 具备机器与人工协同模式的同声传译方法以及系统 | |
| CN112995568A (zh) | 一种基于视频客服系统及构建方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| AMND | Amendment | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) | ||
| GRNT | Written decision to grant |