KR20220139781A - 영상 생성 방법 및 장치 - Google Patents
영상 생성 방법 및 장치 Download PDFInfo
- Publication number
- KR20220139781A KR20220139781A KR1020210188883A KR20210188883A KR20220139781A KR 20220139781 A KR20220139781 A KR 20220139781A KR 1020210188883 A KR1020210188883 A KR 1020210188883A KR 20210188883 A KR20210188883 A KR 20210188883A KR 20220139781 A KR20220139781 A KR 20220139781A
- Authority
- KR
- South Korea
- Prior art keywords
- character
- shot
- determining
- image
- movement
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 230000001815 facial effect Effects 0.000 claims description 53
- 230000008921 facial expression Effects 0.000 claims description 31
- 230000008859 change Effects 0.000 claims description 30
- 230000004044 response Effects 0.000 claims description 30
- 230000003993 interaction Effects 0.000 claims description 28
- 230000014509 gene expression Effects 0.000 claims description 15
- 210000004709 eyebrow Anatomy 0.000 claims description 12
- 210000001747 pupil Anatomy 0.000 claims description 11
- 230000007704 transition Effects 0.000 claims description 11
- 210000003128 head Anatomy 0.000 claims description 8
- 210000000744 eyelid Anatomy 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 4
- 238000010304 firing Methods 0.000 claims description 4
- 238000004891 communication Methods 0.000 description 21
- 230000036544 posture Effects 0.000 description 14
- 238000012545 processing Methods 0.000 description 11
- 230000015654 memory Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 4
- 230000008451 emotion Effects 0.000 description 4
- 230000005291 magnetic effect Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 230000006855 networking Effects 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 238000013136 deep learning model Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241001300198 Caperonia palustris Species 0.000 description 1
- 241000556720 Manga Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 235000000384 Veronica chamaedrys Nutrition 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 210000000617 arm Anatomy 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 210000002414 leg Anatomy 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000000214 mouth Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
- G11B27/036—Insert-editing
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/04—Segmentation; Word boundary detection
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/18—Speech classification or search using natural language modelling
- G10L15/183—Speech classification or search using natural language modelling using context dependencies, e.g. language models
- G10L15/187—Phonemic context, e.g. pronunciation rules, phonotactical constraints or phoneme n-grams
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
- G10L21/10—Transforming into visible information
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/57—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for processing of video signals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Computational Linguistics (AREA)
- Acoustics & Sound (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Signal Processing (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
Abstract
영상 생성 방법 및 장치가 개시된다. 일 실시 예에 따른 영상 생성 방법은 사용자의 음성 데이터에 기초하여, 사용자에 대응하여 생성된 캐릭터의 움직임을 결정하는 단계, 음성 데이터 및 영상의 목적에 기초하여, 가상의 카메라로 움직임이 결정된 캐릭터를 촬영한 장면에 해당하는 샷을 결정하는 단계 및 결정된 샷에 기초하여, 음성 데이터에 대응하는 영상을 생성하는 단계를 포함한다.
Description
아래 실시 예들은 영상 생성 방법 및 장치에 관한 것으로, 구체적으로는 캐릭터를 포함하는 영상 생성 방법 및 장치에 관한 것이다.
최근 모바일 스마트 기기의 발달로 네트워크를 통해 다른 사용자들과 교류를 위한 온라인 플랫폼 서비스인 소셜 네트워킹 서비스(social networking service; SNS)의 이용이 증가하고 있다. SNS는 사용자 간의 의사소통, 정보 공유 및 인맥 확대 등을 통해 사회적 관계를 생성하고 강화하는 목적을 달성하기 위하여 글, 사진, 영상, 음성 등 다양한 형태의 정보 교환을 통한 소셜 네트워킹 기능을 제공한다. 자신의 개성과 생각을 자유롭게 표현하고, 다른 사용자와 편리하게 의사 소통할 수 있는 다양한 형태의 소셜 네트워킹 서비스에 대한 기술이 요구되고 있다.
아래 실시 예들은 사용자의 입력에 따른 움직이는 캐릭터를 생성하고, 움직이는 캐릭터를 다양한 촬영 기법으로 촬영한 영상을 생성하는 기술을 제공할 수 있다.
아래 실시 예들은 영상 생성을 위해 필요한 요소들을 자동으로 생성하고, 자동으로 생성된 요소들의 편집 기능을 제공하는 영생 생성 기술을 제공할 수 있다.
다만, 기술적 과제는 상술한 기술적 과제들로 한정되는 것은 아니며, 또 다른 기술적 과제들이 존재할 수 있다.
일 측에 따른 영상 생성 방법은 사용자의 음성 데이터에 기초하여, 상기 사용자에 대응하여 생성된 캐릭터의 움직임을 결정하는 단계; 상기 음성 데이터 및 영상의 목적에 기초하여, 가상의 카메라로 상기 움직임이 결정된 캐릭터를 촬영한 장면에 해당하는 샷을 결정하는 단계; 및 상기 결정된 샷에 기초하여, 상기 음성 데이터에 대응하는 영상을 생성하는 단계를 포함한다.
상기 샷을 결정하는 단계는 상기 음성 데이터 내 발화 구간에 기초하여, 상기 샷의 길이를 결정하는 단계; 및 상기 목적에 기초하여, 상기 샷의 유형을 결정하는 단계를 포함할 수 있다.
상기 샷의 유형은 상기 샷에 투영된 캐릭터의 크기에 기초한 샷의 크기 및 상기 샷에 투영된 캐릭터의 각도에 기초한 샷의 앵글에 의해 구분될 수 있다.
상기 샷을 결정하는 단계는 상기 목적에 기초하여, 복수의 샷들- 상기 복수의 샷들은 샷의 유형이 서로 다른 복수의 샷들을 포함함 -의 시퀀스를 결정하는 단계; 상기 음성 데이터의 크기 변화에 기초하여, 상기 음성 데이터를 복수의 발화 구간들로 구분하는 단계; 및 상기 복수의 발화 구간들에 기초하여, 상기 복수의 샷들의 길이들을 결정하는 단계를 포함할 수 있다.
상기 복수의 샷들의 길이들을 결정하는 단계는 상기 목적 및 상기 복수의 발화 구간들에 기초하여, 샷이 전환되는 적어도 하나의 전환점을 결정하는 단계; 및 상기 전환점에 기초하여, 상기 복수의 샷들의 길이들을 결정하는 단계를 포함할 수 있다.
상기 샷을 결정하는 단계는 사용자의 입력에 기초하여, 상기 시퀀스 내 샷들의 순서를 변경하는 단계; 사용자의 입력에 기초하여, 상기 시퀀스에 적어도 하나의 샷을 추가하는 단계; 사용자의 입력에 기초하여, 상기 시퀀스 내 적어도 하나의 샷을 삭제하는 단계; 사용자의 입력에 기초하여, 상기 시퀀스 내 샷의 유형을 변경하는 단계; 및 사용자의 입력에 기초하여, 상기 시퀀스 내 샷의 길이를 변경하는 단계 중 적어도 하나를 더 포함할 수 있다.
상기 캐릭터의 움직임을 결정하는 단계는 상기 음성 데이터에 대응하는 발음 정보에 기초하여, 상기 캐릭터의 입 모양의 움직임을 결정하는 단계를 포함할 수 있다.
상기 캐릭터의 움직임을 결정하는 단계는 상기 목적에 기초하여 상기 캐릭터의 표정을 결정하는 단계; 상기 음성 데이터에 기초하여 상기 캐릭터의 얼굴 요소의 움직임을 결정하는 단계; 및 상기 결정된 캐릭터의 표정 및 상기 캐릭터의 얼굴 요소의 움직임을 결합하는 단계를 포함할 수 있다.
상기 캐릭터의 표정을 결정하는 단계는 사용자의 입력에 기초하여, 상기 캐릭터의 얼굴 표정을 변경하는 단계를 더 포함할 수 있다.
상기 캐릭터의 움직임을 결정하는 단계는 상기 사용자의 얼굴 영상 데이터를 획득하는 단계; 상기 얼굴 영상 데이터에서 눈동자의 움직임, 눈꺼풀의 움직임, 눈썹의 움직임 및 고개의 움직임 중 적어도 하나를 포함하는 상기 얼굴 특징의 움직임을 추출하는 단계; 및 상기 추출된 상기 얼굴 특징의 움직임에 기초하여, 상기 캐릭터의 얼굴 요소의 움직임을 결정하는 단계를 더 포함할 수 있다.
상기 캐릭터는 제1 사용자에 대응하여 생성되며, 상기 음성 데이터 내 제1 음성 데이터에 기초하여 움직임이 결정된 제1 캐릭터; 및 제2 사용자에 대응하여 생성되며, 상기 음성 데이터 내 제2 음성 데이터에 기초하여 움직임이 결정된 제2 캐릭터를 포함할 수 있다.
상기 샷을 결정하는 단계는 상기 음성 데이터 내 제1 음성 데이터, 상기 음성 데이터 내 제2 음성 데이터 및 상기 목적에 기초하여, 상기 제1 캐릭터 및 상기 제2 캐릭터에 대응하는 샷을 결정하는 단계를 포함할 수 있다.
상기 샷을 결정하는 단계는 상기 목적에 기초하여, 상기 샷에 포함된 상기 제1 캐릭터 및 상기 제2 캐릭터의 배치를 결정하는 단계를 포함할 수 있다.
상기 캐릭터의 움직임을 결정하는 단계는 상기 목적, 상기 제1 음성 데이터 및 상기 제2 음성 데이터 중 적어도 하나에 기초하여, 상기 제1 캐릭터 및 상기 제2 캐릭터의 인터랙션을 결정하는 단계; 및 상기 결정된 인터랙션에 기초하여, 상기 제1 캐릭터의 움직임 및 상기 제2 캐릭터의 움직임을 결정하는 단계를 더 포함할 수 있다.
상기 음성 데이터는 제1 사용자 단말로부터 획득된 제1 음성 데이터 및 제2 사용자 단말로부터 획득된 제2 음성 데이터를 포함할 수 있다.
일 측에 따른 영상 생성 장치는 사용자의 음성 데이터에 기초하여, 상기 사용자에 대응하여 생성된 캐릭터의 움직임을 결정하고, 상기 음성 데이터 및 영상의 목적에 기초하여, 가상의 카메라로 상기 움직임이 결정된 캐릭터를 촬영한 장면에 해당하는 샷을 결정하며, 상기 결정된 샷에 기초하여, 상기 음성 데이터에 대응하는 영상을 생성하는, 적어도 하나의 프로세서를 포함한다.
상기 프로세서는, 상기 샷을 결정함에 있어서, 상기 목적에 기초하여, 복수의 샷들- 상기 복수의 샷들은 샷의 유형이 서로 다른 복수의 샷들을 포함함 -의 시퀀스를 결정하고, 상기 음성 데이터의 크기 변화에 기초하여, 상기 음성 데이터를 복수의 발화 구간들로 구분하고, 상기 복수의 발화 구간들에 기초하여, 상기 복수의 샷들의 길이들을 결정할 수 있다.
상기 프로세서는, 상기 샷을 결정함에 있어서, 사용자의 입력에 기초하여, 상기 시퀀스 내 샷들의 순서를 변경하는 동작; 사용자의 입력에 기초하여, 상기 시퀀스에 적어도 하나의 샷을 추가하는 동작; 사용자의 입력에 기초하여, 상기 시퀀스 내 적어도 하나의 샷을 삭제하는 동작; 사용자의 입력에 기초하여, 상기 시퀀스 내 샷의 유형을 변경하 동작; 및 사용자의 입력에 기초하여, 상기 시퀀스 내 샷의 길이를 변경하는 동작 중 적어도 하나를 더 수행할 수 있다.
상기 프로세서는, 상기 캐릭터의 움직임을 결정함에 있어서, 상기 목적에 기초하여 상기 캐릭터의 표정을 결정하고, 상기 음성 데이터에 기초하여 상기 캐릭터의 얼굴 요소의 움직임을 결정하며, 상기 결정된 캐릭터의 표정 및 상기 캐릭터의 얼굴 요소의 움직임을 결합할 수 있다.
상기 프로세서는, 상기 캐릭터의 표정을 결정함에 있어서, 사용자의 입력에 기초하여, 상기 캐릭터의 얼굴 표정을 변경할 수 있다.
도 1은 일 실시 예에 따른 영상 생성 방법의 동작 흐름도이다.
도 2는 일 실시 예에 따른 캐릭터에 대응하는 다양한 표정들의 예시를 도시한 도면이다.
도 3은 일 실시 예에 따른 영상의 목적에 대응하여 결정된 서로 다른 유형의 샷들의 예시를 도시한 도면이다.
도 4는 일 실시 예에 따른 시간의 흐름에 따른 소리의 크기 변화의 그래프의 예시를 도시한 도면이다.
도 5내지 도 9는 일 실시 예에 따른 결정된 샷의 편집을 위한 인터페이스의 예시를 도시한 도면들이다.
도 10은 일실시예에 따른 영상 생성 시스템의 구성을 설명하기 위한 블록도이다.
도 2는 일 실시 예에 따른 캐릭터에 대응하는 다양한 표정들의 예시를 도시한 도면이다.
도 3은 일 실시 예에 따른 영상의 목적에 대응하여 결정된 서로 다른 유형의 샷들의 예시를 도시한 도면이다.
도 4는 일 실시 예에 따른 시간의 흐름에 따른 소리의 크기 변화의 그래프의 예시를 도시한 도면이다.
도 5내지 도 9는 일 실시 예에 따른 결정된 샷의 편집을 위한 인터페이스의 예시를 도시한 도면들이다.
도 10은 일실시예에 따른 영상 생성 시스템의 구성을 설명하기 위한 블록도이다.
실시예들에 대한 특정한 구조적 또는 기능적 설명들은 단지 예시를 위한 목적으로 개시된 것으로서, 다양한 형태로 변경되어 구현될 수 있다. 따라서, 실제 구현되는 형태는 개시된 특정 실시예로만 한정되는 것이 아니며, 본 명세서의 범위는 실시예들로 설명한 기술적 사상에 포함되는 변경, 균등물, 또는 대체물을 포함한다.
제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 해석되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설명된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 실시예들을 첨부된 도면들을 참조하여 상세하게 설명한다. 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고, 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 일실시예에 따른 영상 생성 방법의 동작 흐름도이다.
도 1을 참조하면, 일 실시 예에 따른 영상 생성 방법은 입력 데이터를 획득하는 단계(110), 캐릭터를 결정하는 단계(120), 캐릭터의 움직임을 결정하는 단계(130), 캐릭터에 대응하는 샷을 결정하는 단계(140) 및 음성 데이터에 대응하는 영상을 생성하는 단계(150)를 포함할 수 있다.
일 실시 예에 따른 영상 생성 방법은 영상 생성 시스템의 적어도 하나의 프로세서에 의해 수행될 수 있다. 영상 생성 시스템은 음성 데이터, 얼굴을 포함하는 얼굴 영상 데이터 및 영상의 목적을 포함하는 입력 데이터를 처리하여, 입력 데이터에 대응하는 영상을 출력하는 시스템으로 적어도 하나의 프로세서에 의해 구동될 수 있다. 이하에서, 영상 생성 시스템은 시스템으로 간략하게 지칭될 수 있다.
일 실시 예에 따르면, 영상 생성 시스템은 장치로 구현될 수 있으며, 영상 생성 시스템이 구현된 장치는 사용자 단말(예: 휴대폰, 컴퓨터) 및 서버를 포함할 수 있다. 사용자 단말은 사용자로부터 입력 데이터를 수신하고, 사용자에게 입력 데이터의 처리에 따른 영상을 제공하기 위한 사용자 인터페이스를 포함할 수 있다. 사용자 단말은 네트워크를 통해 서버와 작동적으로 연결될 수 있다. 이하에서, 사용자 단말은 단말로 간략하게 지칭될 수 있다. 일 실시 예에 따른 영상 생성 방법의 동작들은 시스템 내 단말 또는 서버를 구성하는 프로세서에 의해 수행될 수 있다. 일 실시 예에 따른 영상 생성 시스템의 구체적인 구성은 이하의 도 10을 통해 상술한다.
일 실시 예에 따른 단계(110)는 음성 데이터, 얼굴을 포함하는 얼굴 영상 데이터 및 영상의 목적을 포함하는 입력 데이터를 획득하는 단계를 포함할 수 있다. 음성 데이터는 사용자의 발화에 의해 생성된 소리 신호에 해당할 수 있다. 얼굴 영상 데이터는 적어도 하나의 얼굴 포함하는 영상 데이터로, 정지 영상 및 동영상을 포함할 수 있다. 이하에서는, 얼굴 영상 데이터는 동영상인 경우를 예로 들어 설명하나 이에 한정되는 것은 아니다.
일 실시 예에 따른 얼굴 영상 데이터 및 음성 데이터는 시간 축으로 동기화된 데이터에 해당할 수 있다. 예를 들어, 획득된 얼굴 영상 데이터는 발화하는 사용자의 얼굴을 촬영한 동영상에 해당할 수 있고, 획득된 음성 데이터는 얼굴 영상 데이터에 시간 축으로 동기화된 발화하는 사용자의 음성 신호를 포함할 수 있다.
영상의 목적은 생성되는 영상의 주제 또는 스타일에 관한 것으로, 예를 들어 진심이 담긴 주장, 강한 의지, 객관적인 분석, 로맨틱한 대화, 언쟁, 즐거운 대화, 신나는 일, 무서운 대화, 고마운 마음, 슬픈 경험, 난처한 상황, 억울한 일을 포함할 수 있다.
일 실시 예에 따르면, 입력 데이터는 사용자로부터 입력을 위한 사용자 인터페이스를 통해 획득될 수 있다. 일 예로, 사용자는 사용자 단말에 설치된 어플리케이션에서 제공되는 사용자 인터페이스를 통해 동영상을 촬영하여 음성 데이터 및 얼굴 영상 데이터를 입력할 수 있다. 일 예로, 사용자는 사용자 단말에 설치된 어플리케이션에서 제공되는 사용자 인터페이스를 통해 영상의 목적으로 선택 가능한 미리 결정된 선택지들이 사용자에게 제공될 수 있으며, 미리 정해진 영상의 목적에 관한 선택지 중 사용자에 의해 선택된 적어도 하나가 획득된 영상의 목적으로 획득될 수 있다.
일 실시 예에 따른 단계(120) 내지 단계(140)는 획득된 입력 데이터에 기초하여 영상 생성을 위한 파라미터를 설정하는 단계를 포함할 수 있다. 영상 생성을 위한 파라미터는 영상에 포함되는 적어도 하나의 요소를 결정하기 위한 인자로, 예를 들어 캐릭터의 외형에 관한 파라미터, 캐릭터의 움직임에 관한 파라미터 및 샷에 관한 파라미터를 포함할 수 있으나 이에 제한되는 것은 아니다.
일 실시 예에 따르면, 단계(110)에서 획득된 입력 데이터는 캐릭터의 외형 결정에 관한 사용자의 선택 입력을 포함할 수 있다. 일 실시 예에 따르면, 단계(120)는 단계(110)에서 획득된 캐릭터의 외형 결정에 관한 사용자의 선택 입력에 기초하여, 캐릭터를 결정하는 단계를 포함할 수 있다. 캐릭터를 결정한다는 것은 캐릭터의 외형에 관한 파라미터의 값을 결정하는 것을 의미할 수 있다. 캐릭터의 외형에 관한 파라미터 값은 캐릭터의 외형을 결정 짓는 외형에 관한 요소들(예: 헤어스타일, 얼굴형, 체형, 피부색, 눈썹, 눈, 코, 입, 의상) 각각에 대한 파라미터 값을 포함할 수 있다. 캐릭터의 외형에 관한 파라미터 값에 기초하여 캐릭터의 외형이 시각적으로 결정될 수 있다.
일 실시 예에 따르면, 캐릭터의 외형 결정에 관한 사용자의 선택 입력에 의해 캐릭터의 다양한 외형에 관한 파라미터가 결정될 수 있다. 예를 들어, 사용자의 선택 입력에 의해 캐릭터의 유형(예: 외계인, 동물, 사람)에 관한 파라미터 값, 캐릭터의 스타일(예: 일본 망가 스타일, 미국 코믹 스타일)에 관한 파라미터 값 캐릭터의 의상에 관한 파라미터 값이 결정될 수 있다.
일 실시 예에 따르면, 캐릭터의 외형에 관한 요소들에 대응하여 미리 정해진 복수의 후보들이 사용자에게 제공될 수 있으며, 사용자는 각 요소에 대응하여 제공된 복수의 후보들 중 어느 하나를 선택하는 방식으로 캐릭터의 외형에 관한 요소들의 파라미터 값들을 결정할 수 있다. 예를 들어, 사용자는 인터페이스를 통해 제공되는 복수의 헤어스타일, 복수의 얼굴형, 복수의 눈 모양, 복수의 피부색, 복수의 의상 중 어느 하나를 선택함으로써 캐릭터의 외형에 관한 요소들의 파라미터 값들을 결정할 수 있다. 일 실시 예에 따르면, 복수의 후보들은 다른 사용자에 의해 생성된 캐릭터의 외형에 관한 요소들을 포함할 수 있다.
일 실시 예에 따르면, 단계(120)는 단계(110)에서 획득된 얼굴 영상 데이터로부터 추출된 얼굴 특징에 기초하여, 캐릭터를 결정하는 단계를 포함할 수 있다. 다시 말해, 얼굴 영상 데이터로부터 추출된 얼굴 특징에 기초하여 캐릭터가 결정될 수 있다. 일 실시 예에 따르면, 얼굴 특징은 얼굴 영상에서 인식되는 얼굴 요소들의 특징으로, 예를 들어 얼굴 윤곽, 눈, 코, 입, 눈썹의 특징점(들)의 위치에 기초하여 획득된 눈동자의 위치, 눈썹의 모양 및 고개의 방향을 포함할 수 있다. 다양한 얼굴 인식 알고리즘 또는 얼굴 특징 추출 알고리즘에 기초하여 얼굴 영상 데이터에서 얼굴 특징이 추출될 수 있다.
일 실시 예에 따르면, 얼굴 영상 데이터에서 추출된 얼굴 특징에 기초하여 캐릭터의 외형에 관한 파라미터의 값이 결정될 수 있다. 예를 들어, 추출된 눈썹 모양에 기초하여 캐릭터의 눈썹 요소에 관한 파라미터 값이 결정될 수 있고, 추출된 고개 방향에 기초하여 캐릭터의 고개 요소에 관한 파라미터 값이 결정될 수 있으며, 추출된 눈동자의 위치에 기초하여 캐릭터의 눈 요소에 관한 파라미터 값이 결정될 수 있다.
일 실시 예에 따르면, 얼굴 영상 데이터에서 추출되는 얼굴 특징 외에 다른 특징에 더 기초하여 캐릭터가 결정될 수 있다. 예를 들어, 얼굴 영상 데이터에서 추출되는 성별, 피부색, 얼굴형, 헤어스타일의 특징에 기초하여 캐릭터의 외형에 관한 파라미터 값이 결정될 수 있다.
일 실시 예에 따르면, 얼굴 영상 데이터에서 추출된 얼굴 특징 또는 다른 특징에 기초하여 결정된 파라미터 값도 사용자의 선택 입력에 의해 변경될 수 있다. 예를 들어, 사용자의 선택 입력에 의해 이미 결정된 캐릭터의 눈썹 모양, 성별, 피부색, 얼굴형, 헤어스타일이 변경될 수 있다.
일 실시 예에 따르면, 단계(130)는 얼굴 영상 데이터로부터 추출된 얼굴 특징의 움직임 및 음성 데이터에 기초하여, 캐릭터의 움직임을 결정하는 단계를 포함할 수 있다. 일 실시 예에 따르면, 얼굴 특징의 움직임은 얼굴 영상 데이터의 복수의 프레임들에 대응하여 추출된 적어도 하나의 얼굴 특징의 시간의 흐름에 따른 위치 변화 및 모양 변화를 포함할 수 있다. 예를 들어, 눈동자의 위치 변화를 포함하는 눈동자의 움직임, 눈꺼풀의 깜빡이는 움직임을 포함하는 눈꺼풀의 움직임, 눈썹의 높이 변화 및 각도 변화를 포함하는 눈썹의 움직임, 고개의 방향 변화를 포함하는 고개의 움직임을 포함할 수 있다.
일 실시 예에 따르면, 단계(110)에서 획득된 얼굴 영상 데이터에서 추출된 얼굴 특징의 움직임 및 단계(110)에서 획득된 음성 데이터에 기초하여, 캐릭터의 움직임이 결정될 수 있다. 캐릭터의 움직임은 캐릭터 전체 또는 캐릭터의 일부의 위치 및/또는 모양이 시간의 흐름에 따라 변화하는 것으로, 얼굴 영상 데이터로부터 추출된 얼굴 특징의 움직임에 대응하는 움직임을 포함할 수 있다. 예를 들어, 캐릭터의 움직임은 얼굴 특징의 움직임에 대응하는 캐릭터 자체, 캐릭터의 눈썹, 눈동자, 눈꺼풀, 팔, 다리, 또는 입의 위치 및/또는 모양의 시간의 흐름에 따른 움직임을 포함할 수 있다.
일 실시 예에 따른 단계(130)는 음성 데이터의 발음 정보에 기초하여, 단계(110)에서 획득된 음성 데이터에 대응하는 발음 정보에 기초하여, 캐릭터의 입 모양의 움직임을 결정하는 단계 및 단계(110)에서 획득된 얼굴 영상 데이터의 복수의 프레임들에 대응하여 추출된 얼굴 특징의 움직임에 기초하여, 캐릭터의 얼굴 요소의 움직임을 결정하는 단계를 포함할 수 있다.
일 실시 예에 따르면, 발음 정보에 대응하는 입 모양은 미리 결정될 수 있다. 예를 들어, [a] 발음에 대응하는 제1 입 모양이 미리 결정될 수 있으며, 해당 발음을 소리 내기 위한 사람의 실제 입 모양을 참조하여 결정될 수 있다.
일 실시 예에 따르면, 단계(110)에서 획득된 음성 데이터를 음성 인식하여, 음성 데이터의 각 프레임에 대응하는 발음 정보가 획득될 수 있다. 발음 정보에 대응하여 미리 결정된 입 모양에 기초하여, 각 프레임의 발음 정보에 대응하는 입 모양이 결정될 수 있고, 각 프레임에 대응하여 결정된 입 모양을 프레임의 시간 순서로 연결함으로써, 입 모양의 움직임이 생성될 수 있다.
일 실시 예에 따르면, 캐릭터의 얼굴 요소의 움직임은 얼굴 영상 데이터의 복수의 프레임들에 대응하여 추출된 얼굴 특징의 움직임에 기초하여 결정될 수 있다. 예를 들어, 복수의 프레임들에 대응하여 추출된 눈동자의 위치의 변화에 기초하여 캐릭터의 눈동자의 움직임이 결정될 수 있고, 복수의 프레임들에 대응하여 추출된 고개 방향의 변화에 기초하여 캐릭터의 고개의 움직임이 결정될 수 있다. 여기서, 얼굴 요소는 입 모양을 제외한 캐릭터의 얼굴에 포함된 눈썹, 눈과 같은 얼굴 요소를 포함할 수 있다.
일 실시 예에 따른 단계(130)는 획득된 목적에 기초하여 캐릭터의 표정을 결정하는 단계, 획득된 얼굴 특징의 움직임 및 음성 데이터에 기초하여 캐릭터의 얼굴 요소의 움직임을 결정하는 단계 및 결정된 캐릭터의 표정 및 결정된 캐릭터의 얼굴 요소의 움직임을 결합하는 단계를 포함할 수 있다. 여기서, 얼굴 요소는 입 모양을 포함할 수 있다.
일 실시 예에 따르면, 단계(120)에서 결정된 캐릭터에 대응하여 복수의 표정들에 해당하는 복수의 캐릭터의 얼굴의 형상들이 미리 결정될 수 있다. 예를 들어, 도 2를 참조하면, 결정된 캐릭터에 대응하는 복수의 표정들에 해당하는 캐릭터의 얼굴의 형상들(201 내지 205)이 결정될 수 있다.
일 실시 예에 따르면, 특정 표정에 해당하는 캐릭터의 얼굴의 형상에 음성 데이터에 대응하는 발음 정보에 기초하여 결정된 입 모양의 움직임이 결합되어 특정 표정으로 발화하는 캐릭터의 움직임이 생성될 수 있다.
일 실시 예에 따르면, 결합된 표정에 따라 입 모양의 일부 파라미터가 보정될 수 있다. 예를 들어, 도 2를 참조하면, 웃는 표정(202)과 결합된 경우, 발음 정보에 따라 움직임이 결정된 입 모양의 파라미터는 입이 더 벌어진 형태로 보정되거나 입꼬리가 더 올라간 형태로 보정될 수 있다. 한편, 화난 표정(201)과 결합된 경우, 발음 정보에 따라 움직임이 결정된 입 모양의 파라미터는 입이 옆으로 더 벌어진 형태로 보정될 수 있다.
일 실시 예에 따르면, 특정 표정에 해당하는 캐릭터의 얼굴의 형상에 추출된 얼굴 특징의 움직임에 기초하여 결정된 눈동자의 움직임이 결합되어 획득된 얼굴 영상 데이터에 대응하는 캐릭터의 움직임이 생성될 수 있다.
일 실시 예에 따르면, 영상의 목적에 기초하여 결정된 캐릭터의 표정은 복수의 표정들을 포함할 수 있다. 다시 말해, 캐릭터의 표정은 복수의 표정들을 포함하는 표정 시퀀스를 포함할 수 있다. 예를 들어, 얼굴 영상 데이터 또는 음성 데이터의 제1 프레임 내지 제2 프레임까지는 제1 표정, 제3 프레임부터 제4 프레임까지는 제2 표정으로 캐릭터의 표정이 결정될 수 있다.
다시 도 1을 참조하면, 일 실시 예에 따른 단계(140)는 단계(110)에서 획득된 음성 데이터 및 영상의 목적에 기초하여, 캐릭터에 대응하는 샷을 결정하는 단계에 해당할 수 있다. 샷은 촬영의 기본 단위로 한 번에 촬영한 장면을 의미하는 것으로, 투영된 피사체의 크기에 기초한 샷의 크기에 관한 유형(예: 클로즈 업 샷, 바스트 샷, 풀 샷, 롱 샷), 샷에 투영된 피사체의 각도에 기초한 샷의 앵글에 관한 유형(예: 버드아이 뷰 샷, 하이앵글 샷, 아이레벨 샷, 로우앵글 샷)로 샷의 유형이 구분될 수 있다. 이 외에도 샷의 유형은 샷에 포함된 피사체의 수에 기초한 유형(예: 원 샷, 투샷, 쓰리 샷, 그룹 샷), 카메라의 조작에 기초한 유형(예: 패닝 샷, 틸트 샷, 줌 샷), 카메라의 이동에 기초한 유형(예: 달리 샷, 트래킹 샷, 아크 샷, 에어리얼 샷)과 같은 다양한 유형을 포함할 수 있다. 일 실시 예에 따르면, 피사체는 단계(120) 내지 단계(130)에 의해 움직임이 결정된 캐릭터에 해당할 수 있으며, 결정된 샷은 가상의 공간에서 가상의 카메라로 움직이는 캐릭터를 촬영한 장면에 해당할 수 있다.
일 실시 예에 따른 단계(140)는 획득된 음성 데이터 내 발화 구간에 기초하여, 샷의 길이를 결정하는 단계 및 획득된 목적에 기초하여, 샷의 유형을 결정하는 단계를 포함할 수 있다.
일 실시 예에 따르면, 샷을 결정하는 단계(140)는 영상의 목적에 기초하여, 복수의 샷들의 시퀀스를 결정하는 단계, 음성 데이터의 크기 변화에 기초하여, 음성 데이터를 복수의 발화 구간들로 구분하는 단계, 및 복수의 발화 구간들에 기초하여, 복수의 샷들의 길이들을 결정하는 단계를 포함할 수 있다.
일 실시 예에 따른 단계(140)는 목적에 대응하는 적어도 하나의 샷을 포함하는 샷 시퀀스를 결정하는 단계를 포함할 수 있다. 샷 시퀀스는 하나의 샷 또는 순서가 정해진 복수의 샷들을 포함할 수 있다. 샷 시퀀스에 포함된 복수의 샷들은 샷의 유형이 구분되는 서로 다른 복수의 샷들을 포함할 수 있다. 일 예로, 샷 시퀀스에 포함된 복수의 샷들은 샷의 크기 및 샷의 앵글 중 적어도 하나가 서로 다른 복수의 샷들을 포함할 수 있다.
일 실시 예에 따르면, 목적에 대응하는 샷 시퀀스는 해당 목적을 위한 촬영 영상 촬영 시 활용되는 샷에 기초하여 결정될 수 있다. 예를 들어, 도 3을 참조하면, 영상의 목적이 '인터뷰'인 경우, '인터뷰'의 목적의 영상 촬영 시 활용되는 4개의 샷들을 포함하는 샷 시퀀스가 '인터뷰' 목적에 대응하여 결정될 수 있다. 샷 시퀀스에 포함된 복수의 샷들은 서로 다른 유형의 샷들을 포함할 수 있다. 샷 시퀀스에 포함된 복수의 샷들은 샷의 크기 및 샷의 앵글 중 적어도 하나가 서로 다른 제1 유형 내지 제4 유형의 샷들을 포함할 수 있다. 예를 들어, 샷(301)과 샷(302)은 피사체를 가슴까지 촬영하고 있는 바 샷의 크기는 동일하나, 샷(301)은 정면, 샷(302)은 사선 방향에서 피사체를 촬영하고 있는 바 샷의 앵글이 다르다. 또 예를 들어, 샷(301)과 샷(303)은 피사체를 정면에서 촬영하고 있는 바 샷의 앵글은 동일하나, 샷(303)은 피사체의 목까지, 샷(301)은 피사체의 가슴까지 촬영하고 있는 바 샷의 크기가 다르다.
일 실시 예에 따른 샷 시퀀스에 포함된 복수의 샷들의 길이들은 음성 데이터 내 발화 구간에 기초하여 결정될 수 있다. 발화 구간은 음성 데이터에서 발화가 지속되는 구간으로, 예를 들어 음성 데이터에서 발화 시작 지점으로 인식된 지점부터 해당 발화의 종료 지점으로 인식된 지점까지의 구간 또는 음성 데이터에서 발화의 시작 지점으로 인식된 지점부터 해당 발화의 다음 발화의 시작 지점으로 인식된 지점까지의 구간이 하나의 발화 구간에 해당할 수 있다.
일 실시 예에 따르면, 획득된 음성 데이터에 포함된 시간에 따른 소리의 크기 변화에 기초하여 음성 데이터에서 발화의 시작 지점 또는 발화의 종료 지점이 인식될 수 있다. 예를 들어, 도 4는 획득된 음성 데이터에 대응하는 시간의 흐름에 따른 소리의 크기 변화의 그래프를 도시한다. 도 4를 참조하면, 소리의 크기 변화에 기초하여 발화의 시작 지점 또는 종료 지점이 인식될 수 있으며, 음성 데이터는 인식된 발화의 시작 지점 또는 종료 지점을 경계로 하는 발화 구간들(411 내지 415)로 구분될 수 있다. 발화의 시작 지점 또는 종료 지점은 소리 신호의 크기가 급변하는 지점, 소리 신호의 크기가 임계 값 미만으로 감소하는 지점, 소리 신호의 크기가 임계 값 이상으로 증가하는 지점에 기초하여 결정될 수 있으나, 이에 한정되는 것은 아니다. 이 외에도 음성 데이터의 음성 인식 결과를 이용하여 문장이 시작되는 지점 또는 문장이 끝나는 지점이 발화의 시작 지점 또는 종료 지점으로 결정될 수 있다.
일 실시 예에 따르면, 특정 발화의 시작 지점은 이전 발화의 종료 지점과 동일할 수도 있고, 이전 발화의 종료 지점보다 이후로 인식될 수 있다. 예를 들어, 특정 발화의 시작 지점으로 인식된 지점과 이전 발화의 종료 지점으로 인식된 지점 사이의 시간 간격이 미리 정해진 임계 값 미만인 경우, 특정 발화의 시작 지점과 이전 발화의 종료 지점은 동일한 지점으로 결정될 수 있다. 예를 들어, 도 4를 참조하면, 구간(412)에 대응하는 발화의 종료 지점(403)과 구간(413)에 대응하는 발화의 시작 지점(403)은 동일한 지점으로 결정될 수 있다. 한편, 구간(413)에 대응하는 발화의 종료 지점(404)과 구간(415)에 대응하는 발화의 시작 지점(405)은 다른 지점으로 결정될 수 있으며, 이 경우 구간(414)은 발화의 음성 신호를 포함하지 않을 수 있으나, 구간(414)도 발화 구간에 포함될 수 있다.
일 실시 예에 따르면, 샷의 길이는 적어도 하나의 발화 구간을 포함하도록 결정될 수 있다. 예를 들어, 도 4를 참조하면, 2개의 샷을 포함하는 샷 시퀀스가 결정된 경우, 시간적으로 앞선 순서의 제1 샷은 음성 데이터의 시작 지점(401)부터 지점(402), 지점(403), 지점(404) 및 지점(405) 중 어느 하나까지의 길이로 결정될 수 있다. 다시 말해, 제1 샷은 음성 데이터의 시작 지점(401)부터 1개 내지 4개 중 어느 하나의 개수의 구간을 포함하는 길이로 결정될 수 있다. 샷 시퀀스에서 제1 샷의 다음 샷인 제2 샷은 제1 샷이 끝난 지점부터 음성 데이터의 종료 지점(406)까지 1 개 내지 4개 중 어느 하나의 개수의 구간을 포함하는 길이로 결정될 수 있다.
일 실시 예에 따르면, 복수의 샷들의 길이들을 결정하는 단계는 영상의 목적 및 복수의 발화 구간들에 기초하여, 샷이 전환되는 적어도 하나의 전환점을 결정하는 단계, 및 결정된 전환점에 기초하여, 복수의 샷들의 길이들을 결정하는 단계를 포함할 수 있다. 음성 데이터에 포함된 발화 구간의 경계는 샷의 전환이 발생하는 전환점으로 결정될 수 있다. 결정된 전환점의 개수는 샷 시퀀스에 포함된 샷들의 개수에 대응될 수 있다. 예를 들어, 샷 시퀀스에 포함된 시간 순서상 첫번째 샷은 음성 데이터의 시작 지점에서 시간 순서상 첫번째 전환점까지의 길이로 결정될 수 있고, 두번째 샷은 첫번째 전환점부터 두번째 전환점까지의 길이로 결정될 수 있다. 마지막 샷은 이전 샷이 종료된 지점부터 음성 데이터의 종료 지점까지의 길이로 결정될 수 있다.
일 실시 예에 따르면, 샷 시퀀스에 포함된 샷의 개수 및 음성 데이터에서 결정된 전환점의 개수는 획득된 영상의 목적에 기초하여 결정될 수 있다. 예를 들어, 영상의 목적이 박진감을 표현하기 위한 것인 경우 샷 전환이 많이 발생하도록 샷 시퀀스에 포함된 샷의 개수 및 음성 데이터 내 전환점의 개수가 결정될 수 있다.
일 실시 예에 따르면, 샷들 간의 길이는 임의로 결정될 수도 있고, 영상의 목적에 기초하여 결정될 수도 있다. 예를 들어, 영상의 목적에 따라 샷 시퀀스에 포함된 복수의 샷들의 길이가 비슷하게 결정되도록 음성 데이터 내 전환점이 결정될 수 있다. 상술한 바와 같이, 음성 데이터 내 전환점은 음성 데이터에 포함된 발화 구간 사이의 경계로 결정될 수 있다. 또 예를 들어, 영상의 목적에 따라 샷 시퀀스에 포함된 복수의 샷들 각각에 포함된 음성 구간의 개수가 동일하도록 음성 데이터 내 전환점이 결정될 수 있다. 또 예를 들어, 영상의 목적에 따라 샷 시퀀스에 포함된 복수의 샷들 사이의 길이의 비율이 결정될 수 있으며, 결정된 비율을 추종하도록 음성 데이터 내 전환점이 결정될 수 있다.
일 실시 예에 따르면, 획득된 영상의 목적에 기초하여 샷에 포함되는 캐릭터의 자세 및 자세의 움직임이 결정될 수 있다. 예를 들어, 인터뷰의 영상 목적에 대응하여 캐릭터의 자세는 앉아있는 자세로 결정될 수 있으며, 앉아있는 자세에서 발화에 따른 손 동작의 제스처를 포함하도록 자세의 움직임이 결정될 수 있다.
일 실시 예에 따르면, 획득된 영상의 목적에 기초하여 샷에 포함되는 배경 및 소품이 결정될 수 있다. 예를 들어, 인터뷰의 영상 목적에 대응하여 인터뷰 공간에 대응하는 배경이 결정될 수 있으며, 의자나 카메라가 소품으로 샷에 포함될 있다.
일 실시 예에 따르면, 영상의 목적에 대응하는 샷들은 규칙 기반 모델에 기초하여 결정될 수 있다. 예를 들어, 미리 정의된 규칙에 기초하여, 특정 목적에 대응하는 샷들의 집합 또는 특정 목적에 대응하는 샷들의 시퀀스가 결정될 수 있다. 미리 정의된 규칙에 기초하여 특정 목적에 대응하는 샷들의 집합이 결정된 경우, 미리 정의된 규칙에 기초하여 샷들 간의 순서가 결정될 수 있다. 샷들 간의 순서는 임의로 결정될 수도 있고, 샷들 간의 미리 정해진 우선 순위에 기초하여 결정될 수도 있다.
일 실시 예에 따르면, 영상의 목적에 대응하는 샷들은 통계 기반 모델에 기초하여 결정될 수 있다. 통계 기반 모델은 특정 목적의 영상에 등장하는 샷들의 빈도, 특정 목적의 영상에서 제1 샷 이후에 제2 샷이 나올 확률과 같이 통계적 확률에 기반하여 특정 목적의 영상에 대응하는 샷들의 집합 또는 샷들의 시퀀스를 출력하는 모델에 해당할 수 있다.
일 실시 예에 따르면, 영상의 목적에 대응하는 샷들은 학습 기반 모델에 기초하여 결정될 수 있다. 학습 기반 모델은 영상 데이터에서 영상의 목적과 영상 데이터에서 사용된 샷의 유형을 학습하여, 영상의 목적을 입력하는 경우 입력된 목적에 대응하는 샷들의 집합 또는 샷들의 시퀀스를 출력하는 모델에 해당할 수 있다. 학습 기반 모델은 딥 러닝 모델을 포함할 수 있으며, 딥 러닝 모델의 구조는 다양하게 구성될 수 있다. 학습 기반 모델의 구조에 따라 다양한 학습 방법에 기초하여 학습될 수 있다.
일 실시 예에 따르면, 제1 모델에 기초하여 특정 목적에 대응하는 샷들의 집합이 결정된 경우, 샷들 간의 순서는 임의로 결정될 수도 있고, 제2 모델에 기초하여 결정될 수도 있다. 다시 말해, 특정 목적에 대응하는 샷들의 집합을 결정하는 방법과 샷들의 순서를 결정하는 방법은 서로 다른 모델을 이용할 수 있다. 예를 들어, 특정 목적에 대응하는 샷들의 집합은 통계 기반의 제1 모델을 이용하여 결정되고, 샷들의 순서는 규칙 기반의 제2 모델을 이용하여 결정될 수 있다.
일 실시 예에 따르면, 샷 시퀀스에 포함된 샷들의 길이들은 규칙 기반 모델, 통계 기반 모델 및 학습 기반 모델 중 적어도 하나에 기초하여 결정될 수 있다. 샷 시퀀스에 포함된 샷들의 길이들은 샷 시퀀스를 결정하는 모델에서 음성 데이터에 기초하여 결정될 수도 있으며, 샷 시퀀스를 결정하는 모델과 독립적으로 구성된 모델에서 샷 시퀀스 및 음성 데이터에 기초하여 결정될 수도 있다.
일 실시 예에 따르면, 영상의 목적에 대응하는 샷에 포함된 요소들은 규칙 기반 모델, 통계 기반 모델 및 학습 기반 모델 중 적어도 하나에 기초하여 결정될 수 있다. 샷에 포함된 요소들은 샷에 포함된 캐릭터의 자세 또는 자세의 움직임, 샷에 포함된 배경 또는 소품을 포함할 수 있다.
일 실시 예에 따르면, 결정된 샷 및 샷에 포함된 요소들은 사용자 입력에 기초하여 변경될 수 있다. 예를 들어, 사용자 입력에 기초하여 결정된 샷 시퀀스의 순서가 변경될 수 있고, 샷 시퀀스에 포함된 샷의 유형이 변경될 수도 있고, 결정된 샷들의 길이들이 변경될 수도 있으며, 샷 시퀀스에 포함된 샷들이 추가 또는 삭제될 수도 있다. 또한, 사용자 입력에 기초하여 샷에 포함된 캐릭터의 외형, 표정, 자세가 변경될 수 있으며, 샷에 포함된 배경, 소품이 변경될 수 있다. 일 실시 예에 따른 사용자 입력에 기초하여 결정된 샷 및 샷에 포함된 요소들을 변경하는 동작은 이하의 도 5 내지 도 9를 통해 상술한다.
다시 도 1을 참조하면, 일 실시 예에 따른 단계(150)는 결정된 샷에 기초하여, 음성 데이터에 대응하는 영상을 생성하는 단계를 포함할 수 있다. 일 실시 예에 따르면, 결정된 샷에 기초하여, 움직임이 결정된 캐릭터를 포함하는 영상이 생성될 수 있다. 생성된 영상은 결정된 움직임에 따라 움직이는 캐릭터를 결정된 샷 시퀀스에 따른 샷의 유형으로 결정된 길이로 순서대로 촬영한 영상에 대응될 수 있다.
일 실시 예에 따르면, 생성된 영상은 입력된 음성 데이터와 함께 출력될 수 있으며, 음성 데이터와 시간 축으로 동기화된 영상에 해당할 수 있다. 예를 들어, 생성된 영상은 음성 데이터에 대응하는 발화를 하도록 움직임이 결정된 캐릭터를 포함할 수 있다.
일 실시 예에 따르면, 입력된 음성 데이터는 음성을 제외한 잡음을 제거하는 등의 전처리 작업이 수행될 수 있으며, 목소리를 변경하는 변조 작업이 수행될 수도 있다.
일 실시 예에 따른 영상 생성 방법은 복수의 캐릭터들을 포함하는 영상을 생성하는 동작을 포함할 수 있다. 이하에서는 설명의 편의를 위하여 복수는 2인 경우를 예로 들어 설명하겠으나, 2개의 캐릭터를 포함하는 영상을 생성하기 위한 동작은 2 이상의 캐릭터를 포함하는 영상을 생성하는 동작에 적용될 수 있다.
일 실시 예에 따른 복수의 캐릭터들은 제1 얼굴 영상 데이터로부터 획득된 제1 얼굴 특징의 움직임 및 제1 음성 데이터에 기초하여 움직임이 결정되는 제1 캐릭터 및 제2 얼굴 영상 데이터로부터 획득된 제2 얼굴 특징의 움직임 및 제2 음성 데이터에 기초하여 움직임이 결정된 제2 캐릭터를 포함할 수 있다. 여기서, 제1 얼굴 영상 데이터 및 제1 음성 데이터는 제1 사용자 단말로부터 획득된 입력 데이터에 해당할 수 있고, 제2 얼굴 영상 데이터 및 제2 음성 데이터는 제2 사용자 단말로부터 획득된 입력 데이터에 해당할 수 있다.
일 실시 예에 따르면, 제1 캐릭터의 외형은 제1 사용자 단말에서 획득된 캐릭터의 외형 결정에 관한 선택 입력에 기초하여 결정될 수 있고, 제2 캐릭터의 외형은 제2 사용자 단말에서 획득된 캐릭터의 외형 결정에 관한 선택 입력에 기초하여 결정될 수 있다.
예를 들어, 영상 생성 시스템에 수신되는 입력 데이터는 제1 사용자 단말 및 제2 사용자 단말의 실시간 영상 통화 데이터를 포함할 수 있다. 이 경우, 제1 사용자 단말을 통해 제1 사용자 단말에서 촬영된 제1 얼굴 영상 데이터 및 제1 사용자 단말을 통해 수신되는 사용자의 음성인 제1 음성 데이터가 수신될 수 있으며, 제2 사용자 단말을 통해 제2 사용자 단말에서 촬영된 제2 얼굴 영상 데이터 및 제2 사용자 단말을 통해 수신되는 사용자의 음성인 제2 음성 데이터가 수신될 수 있다.
일 실시 예에 따르면, 영상 생성 시스템에 수신되는 입력 데이터는 제1 사용자 단말로부터 수신된 제1 입력 데이터 및 제1 입력 데이터와 관련하여 제2 사용자 단말로부터 수신된 제2 입력 데이터를 포함할 수 있다. 예를 들어, 제1 사용자 단말로부터 수신된 제1 입력 데이터에 기초하여 제1 캐릭터를 포함하는 제1 영상이 생성된 경우, 제2 사용자로 단말로부터 제1 영상에 대응하는 제2 입력 데이터가 수신될 수 있으며, 제2 입력 데이터에 기초하여 제1 영상에 이어지는 제2 영상이 생성될 수 있다. 제2 영상은 제2 입력 데이터 및 제1 영상에 포함된 제1 캐릭터의 움직임 및 제1 영상에 포함된 다른 요소에 기초하여 결정될 수 있다. 예를 들어, 제1 영상에서 벤치에 앉아 말을 하는 제1 캐릭터를 포함하는 경우, 제2 영상은 제1 캐릭터의 옆에 앉아 말을 하는 제2 캐릭터를 포함하도록 생성될 수 있다.
일 실시 예에 따르면, 캐릭터의 움직임을 결정하는 단계(130)는 영상의 목적, 제1 음성 데이터 및 제2 음성 데이터 중 적어도 하나에 기초하여, 제1 캐릭터 및 제2 캐릭터의 인터랙션을 결정하는 단계 및 결정된 인터랙션에 기초하여, 제1 캐릭터의 움직임 및 제2 캐릭터의 움직임을 결정하는 단계를 더 포함할 수 있다. 인터랙션은 대화하기, 악수하기, 포옹하기와 같이 복수의 캐릭터들의 상호 작용 또는 상호 접촉을 포함하는 행동을 의미할 수 있다.
일 실시 예에 따르면, 제1 캐릭터 및 제2 캐릭터 사이의 인터랙션은 획득된 영상의 목적에 기초하여 결정될 수 있다. 일 예로, 영상의 목적 각각에 대응하여 복수의 인터랙션 후보들이 미리 결정될 수 있다. 예를 들어, '로맨틱한 대화'의 목적의 경우, 손잡기, 포옹하기와 같은 인터랙션이 인터랙션 후보들로 결정될 수 있고, '토론하기'의 목적의 경우 악수하기와 같은 인터랙션이 인터랙션 후보들로 결정될 수 있다.
일 실시 예에 따르면, 제1 캐릭터 및 제2 캐릭터 사이의 인터랙션은 획득된 음성 데이터에 기초하여 결정될 수 있다. 특정 단어에 대응하는 인터랙션이 미리 결정되고, 음성 데이터에서 해당 단어가 인식되는 경우 이에 대응되는 인터랙션이 결정될 수 있다. 예를 들어, 획득된 제1 음성 데이터 또는 제2 음성 데이터에서 '사랑해'의 단어가 인식된 경우, 포옹하기의 인터랙션이 결정될 수 있다.
일 실시 예에 따르면, 획득된 영상의 목적에 따라 인식된 단어에 대응하는 인터랙션이 다르게 결정될 수 있다. 예를 들어, 제1 목적에서는 제1 단어가 인식되는 경우 제1 인터랙션이 결정될 수 있으나, 제2 목적에서는 동일한 제1 단어가 인식되는 경우 제1 인터랙션과 다른 제2 인터랙션이 결정될 수 있다. 일 실시 예에 따르면, 음성 데이터에서 인식된 단어에 기초하여 영상의 목적에 대응하여 미리 결정된 복수의 인터랙션 후보들 중 어느 하나가 선택될 수 있다.
일 실시 예에 따르면, 제1 캐릭터 및 제2 캐릭터 사이의 인터랙션은 사용자의 입력에 기초하여 결정될 수 있다. 사용자는 인터페이스를 통해 제1 캐릭터 및 제2 캐릭터 사이의 인터랙션을 결정하기 위한 요청을 입력할 수 있다. 예를 들어 미리 결정된 제1 캐릭터 및 제2 캐릭터 사이의 인터랙션 후보들 중 어느 하나를 선택함으로써, 제1 캐릭터 및 제2 캐릭터 사이의 인터랙션을 결정하기 위한 요청을 입력할 수 있다. 제1 캐릭터 및 제2 캐릭터 사이의 인터랙션 후보들은 상술한 바와 같이 영상의 목적에 기초하여 미리 결정될 수 있다.
일 실시 예에 따르면, 샷을 결정하는 단계(140)는 제1 음성 데이터, 제2 음성 데이터 및 영상의 목적에 기초하여, 제1 캐릭터 및 제2 캐릭터에 대응하는 샷을 결정하는 단계를 포함할 수 있다. 제1 캐릭터 및 제2 캐릭터에 대응하는 샷을 결정하는 단계는 제1 캐릭터 및 제2 캐릭터에 대응하는 샷은 제1 캐릭터 및 제2 캐릭터 중 적어도 하나를 포함하는 샷을 포함할 수 있다. 다시 말해, 제1 캐릭터 및 제2 캐릭터에 대응하는 샷은 제1 캐릭터만 등장하거나, 제2 캐릭터만 등장하거나, 또는 제1 캐릭터 및 제2 캐릭터가 모두 등장하도록 설정될 수 있다. 예를 들어, '토론하기'의 목적의 경우, 제1 캐릭터가 발화하는 시점에는 제1 캐릭터를 정면에서 촬영하는 샷이 결정될 수 있고, 제2 캐릭터가 발화하는 시점에는 제1 캐릭터를 정면에서 촬영하는 샷이 결정될 수 있다. 또 예를 들어, '로맨틱한 대화하기'의 목적의 경우, 제1 캐릭터 및 제2 캐릭터가 포함되도록 촬영하는 샷이 결정될 수 있다.
일 실시 예에 따르면, 샷을 결정하는 단계(140)는 영상의 목적에 기초하여, 샷에 포함된 제1 캐릭터 및 제2 캐릭터의 배치를 결정하는 단계를 포함할 수 있다. 제1 캐릭터 및 제2 캐릭터의 배치는 샷에 표시되는 제1 캐릭터 및 제2 캐릭터 사이의 위치 관계 및 제1 캐릭터 및 제2 캐릭터의 구도를 포함할 수 있다. 예를 들어, 영상의 목적에 기초하여, 제1 캐릭터 및 제2 캐릭터는 마주보고 앉아 있도록 배치가 결정될 수 있고, 나란히 서 있도록 배치가 결정될 수 있으며, 제1 캐릭터는 서 있고, 제2 캐릭터는 제1 캐릭터를 바라보며 앉아있도록 배치가 결정될 수 있고, 제1 캐릭터가 제2 캐릭터의 뒤에서 접근하는 배치가 결정될 수도 있다.
일 실시 예에 따르면, 영상의 목적에 기초하여 제1 캐릭터 및 제2 캐릭터의 관계가 결정될 수 있으며, 결정된 관계에 기초하여 제1 캐릭터 및 제2 캐릭터의 배치가 결정될 수 있다. 예를 들어, 제1 캐릭터 및 제2 캐릭터의 관계가 친구 또는 연인으로 결정된 경우, 제1 캐릭터 및 제2 캐릭터는 나란히 배치될 수 있다.
일 실시 예에 따르면, 영상의 목적에 기초하여 커뮤니케이션의 종류 또는 상황의 종류가 결정될 수 있으며, 결정된 커뮤니케이션의 종류에 기초하여 제1 캐릭터 및 제2 캐릭터의 배치가 결정될 수 있다. 예를 들어, 물건을 사고 파는 커뮤니케이션, 정보를 공유하는 커뮤니케이션, 또는 언쟁 또는 싸움의 상황으로 커뮤니케이션의 종류 또는 상황의 종류가 결정된 경우, 제1 캐릭터 및 제2 캐릭터는 마주보도록 배치될 수 있고, 영상을 보는 사람에게 동의를 구하거나 판정을 구하는 상황으로 상황의 종류가 결정된 경우, 동일한 방향을 바라보도록 제1 캐릭터 및 제2 캐릭터의 배치가 결정될 수 있다.
일 실시 예에 따르면, 영상의 목적에 기초하여 제1 캐릭터 및 제2 캐릭터 사이의 감정이 결정될 수 있으며, 결정된 감정의 종류에 기초하여 제1 캐릭터 및 제2 캐릭터의 배치가 결정될 수 있다. 예를 들어, 사랑 또는 고마움으로 감정의 종류가 결정된 경우, 제1 캐릭터 및 제2 캐릭터는 마주보도록 배치될 수 있고, 놀람 또는 공포로 감정의 종류가 결정된 경우, 제1 캐릭터가 제2 캐릭터의 뒤에서 접근하도록 배치가 결정될 수 있다.
일 실시 예에 따르면, 제1 캐릭터 및 제2 캐릭터 사이의 배치는 획득된 영상의 목적에 기초하여 결정될 수 있다. 일 예로, 영상의 목적 각각에 대응하여 복수의 배치 후보들이 미리 결정될 수 있다. 예를 들어, '로맨틱한 대화'의 목적의 경우, 벤치에 나란히 앉아 있는 배치, 마주보며 앉아 있는 배치, 손잡고 서 있는 배치와 같은 배치 후보들이 결정될 수 있다.
일 실시 예에 따르면, 제1 캐릭터 및 제2 캐릭터의 배치는 사용자의 입력에 기초하여 결정될 수 있다. 사용자는 인터페이스를 통해 제1 캐릭터 및 제2 캐릭터 사이의 배치를 결정하기 위한 요청을 입력할 수 있다. 예를 들어, 미리 결정된 제1 캐릭터 및 제2 캐릭터 사이의 배치 후보들 중 어느 하나를 선택함으로써, 제1 캐릭터 및 제2 캐릭터 사이의 배치를 결정하기 위한 요청을 입력할 수 있다. 제1 캐릭터 및 제2 캐릭터 사이의 배치 후보들은 상술한 바와 같이 영상의 목적에 기초하여 미리 결정될 수 있다.
일 실시 예에 따르면, 단계(120) 내지 단계(140)의 동작들은 병렬적으로 수행될 수도 있고, 순차적으로 수행될 수도 있다. 일 예로, 캐릭터를 결정하는 동작(120)과 캐릭터의 움직임을 결정하는 동작(130)은 병렬적으로 수행될 수 있고, 결정된 캐릭터에 결정된 캐릭터의 움직임이 합성되어 움직이는 캐릭터가 영상에 포함될 수 있다. 또 일 예로, 캐릭터에 대응하는 샷을 결정하는 동작(140)은 캐릭터를 결정하는 동작(120) 및 캐릭터의 움직임을 결정하는 동작(130)과 병렬적으로 수행될 수 있으며, 샷을 결정하는 동작(140)에 의해 임의의 캐릭터를 특정 각도 및 특정 크기로 촬영하는 샷들의 시퀀스가 결정되고, 동작(120) 및 동작(130)에 의해 결정된 움직이는 캐릭터를 동작(140)에 의해 결정된 샷들의 시퀀스로 촬영함으로써 영상이 생성될 수 있다.
도 5내지 도 9는 일 실시 예에 따른 결정된 샷의 편집을 위한 인터페이스의 예시를 도시한다.
도 5를 참조하면, 결정된 샷 시퀀스는 복수의 샷들을 포함할 수 있으며, 복수의 샷들은 샷의 유형이 서로 구분되는 샷들을 포함할 수 있다. 예를 들어, 제1 샷(501)은 캐릭터를 정면의 각도에서 가슴 위치까지 촬영한 제1유형의 샷에 해당하며, 제2 샷(502)은 캐릭터를 정면의 각도에서 무릎 위치까지 촬영한 제2 유형의 샷에 해당할 수 있다. 일 실시 예에 따르면, 결정된 샷 시퀀스는 유형이 동일한 샷을 복수 개 포함할 수 있다. 예를 들어, 결정된 샷 시퀀스에 포함된 제1 샷(501)과 제3 샷(503)은 동일한 유형의 샷에 해당할 수 있다.
일 실시 예에 따르면, 결정된 샷 시퀀스는 음성 데이터 내 발화 구간에 기초하여 샷의 길이가 결정될 수 있다. 상술한 바와 같이 샷들의 전환이 일어나는 지점(511 내지 514)은 발화의 시작 지점 또는 종료 지점으로 인식된 지점으로 발화 구간의 경계에 해당할 수 있다.
일 실시 예에 따르면, 인터페이스는 영상의 목적에 대응하여 결정된 복수의 샷들의 시퀀스를 변경하기 위한 인터페이싱 객체(530)를 제공할 수 있으며, 사용자는 인터페이싱 객체(530)에 기초하여, 결정된 샷들의 시퀀스를 변경할 수 있다. 일 실시 예에 따른 인터페이싱 객체(530)는 사용자의 입력에 반응하여 샷 시퀀스를 변경하는 명령을 전달하도록 구성된 인터페이싱 객체에 해당할 수 있다. 예를 들어, 인터페이싱 객체(530)를 클릭하는 샷 변경 입력에 반응하여, 샷 시퀀스에 포함된 샷들의 순서가 변경될 수 있고, 샷 시퀀스에 포함된 샷들의 유형이 변경될 수 있고, 샷 시퀀스에 포함된 샷들의 개수가 변경될 수 있으며, 샷들의 길이가 변경될 수 있다.
예를 들어, 도 5에 도시된 인터페이스에 포함된 인터페이싱 객체(530)를 선택하는 샷 변경 입력에 따라, 도 5에 도시된 샷 시퀀스(510)가 도 6에 도시된 샷 시퀀스(610)로 변경될 수 있다. 도 6을 참조하면, 샷 변경 입력에 따라 샷 시퀀스(610)에 포함된 샷들의 개수가 변경될 수 있으며, 샷 시퀀스(610)에 포함된 샷들의 유형이 변경될 수 있다.
다시 도 5를 참조하면, 일 실시 예에 따른 인터페이싱 객체(530)에 의한 샷 시퀀스의 변경은 랜덤으로 수행될 수도 있다. 예를 들어, 영상의 목적에 대응하여 결정된 샷들의 집합에서 일부가 랜덤으로 선택되어 랜덤으로 순서가 결정될 수 있다. 또 예를 들어, 샷 시퀀스를 결정하는 모델에서 복수의 샷 시퀀스들의 후보가 출력될 수 있고, 출력된 샷 시퀀스들의 후보에서 랜덤으로 결정될 수 있다. 또 예를 들어, 결정된 샷 시퀀스에서 샷들의 순서가 랜덤으로 변경될 수 있다.
일 실시 예에 따르면, 인터페이싱 객체(530)에 의한 샷 시퀀스의 변경은 미리 정의된 규칙에 따라 수행될 수도 있다. 예를 들어, 영상의 목적에 대응하여 결정된 샷들의 집합에서 일부가 미리 정해진 순서에 따라 선택되어 샷 시퀀스가 결정될 수 있다. 또 예를 들어, 샷 시퀀스를 결정하는 모델에서 복수의 샷 시퀀스들의 후보가 출력될 수 있고, 출력된 샷 시퀀스들의 후보에서 미리 정해진 순서에 따라 결정될 수 있다.
일 실시 예에 따르면, 인터페이스는 영상의 목적에 대응하여 결정된 복수의 샷들의 집합(520)을 제공할 수 있으며, 사용자는 제공된 샷들의 집합(520)에 기초하여 결정된 샷 시퀀스의 구성을 변경할 수 있다. 예를 들어, 사용자는 인터페이스를 통해 샷들의 집합(520)에서 샷(521)을 선택하여, 샷 시퀀스에 포함된 샷(505)을 변경하는 요청을 입력할 수 있으며, 사용자의 변경 입력에 반응하여 샷 시퀀스(510)는 도 7에 도시된 샷 시퀀스(710)로 변경될 수 있다.
또 예를 들어, 사용자는 인터페이스를 통해 샷들의 집합(520)에서 적어도 하나의 샷을 선택하여 샷 시퀀스의 특정 위치에 추가하는 요청을 입력할 수 있으며, 사용자의 추가 입력에 반응하여 샷 시퀀스(510)는 도 8에 도시된 샷 시퀀스(810)로 변경될 수 있다.
일 실시 예에 따르면, 사용자는 인터페이스를 통해 결정된 샷 시퀀스에 포함된 적어도 일부의 샷의 크기 또는 앵글을 변경하는 요청을 입력할 수 있다. 예를 들어, 사용자는 샷 시퀀스에 포함된 적어도 하나의 샷을 선택하여 샷에 포함된 캐릭터의 크기를 제어하거나, 샷에 포함된 캐릭터의 각도를 제어함으로써, 샷의 크기 또는 앵글을 변경하는 요청을 입력할 수 있다. 다시 말해, 영상의 목적에 대응하여 자동으로 결정된 샷 유형 외에 사용자의 입력에 기초하여 결정된 특정 유형의 샷이 샷 시퀀스에 포함될 수 있다.
일 실시 예에 따르면, 사용자는 인터페이스를 통해 결정된 샷 시퀀스에 포함된 적어도 일부의 샷을 삭제하는 요청을 입력할 수 있다. 예를 들어, 사용자는 샷 시퀀스에 포함된 샷을 선택하여 샷 시퀀스에서 삭제할 것을 요청할 수 있으며, 사용자에 의해 선택된 샷은 샷 시퀀스에서 삭제될 수 있다. 샷 시퀀스에 포함된 일부 샷이 삭제됨에 따라, 삭제된 샷의 앞 또는 뒤에 위치한 샷의 길이가 조절될 수 있다.
일 실시 예에 따르면, 인터페이스는 영상의 목적에 대응하여 결정된 복수의 샷들의 길이를 조절할 수 있는 기능을 제공할 수 있다. 사용자는 인터페이스를 통해 샷의 경계의 위치를 변경함으로써, 결정된 샷 시퀀스의 길이를 변경하는 요청을 입력할 수 있다. 샷 경계의 위치는 발화 구간의 경계로 변경될 수 있으며, 사용자가 입력한 샷 경계의 위치가 발화 구간의 경계에 해당하지 않는 경우, 마그네틱 효과에 의해 가까운 발화 구간의 경계로 샷 경계의 위치가 변경될 수 있다. 예를 들어, 사용자는 인터페이스를 통해 샷(502)과 샷(503)의 경계의 위치(512)를 위치(515)로 변경하는 요청을 입력할 수 있으며, 사용자의 변경 입력에 반응하여 샷 시퀀스(510)는 도 9에 도시된 샷 시퀀스(910)로 변경될 수 있다.
일 실시 예에 따르면, 영상의 목적에 기초하여 결정된 캐릭터의 표정 또는 영상에 대응하는 캐릭터의 복수의 표정들의 시퀀스는 사용자의 선택 입력에 의해 변경될 수 있다. 예를 들어, 사용자는 캐릭터에 대응하여 인터페이스를 통해 제공되는 복수의 표정들에 대한 선택 입력에 의해 각 프레임에 대응하여 결정된 표정을 다른 표정으로 변경할 수 있으며, 표정 시퀀스에 다른 표정을 추가하여 각 프레임에 대응하는 표정을 결정할 수 있다.
일 실시 예에 따르면, 사용자의 입력에 의해 특정 샷에 대응하는 시각적 요소들 및 청각적 요소들이 결정될 수 있다. 예를 들어, 전체 샷 또는 일부 샷에 대응하는 캐릭터의 자세, 소품, 배경, 텍스트와 같은 시각적 요소들이 사용자의 입력에 의해 설정되거나 변경될 수 있다. 또 예를 들어, 특정 샷에 대응하는 효과음, 전체 샷 또는 일부 샷에 대응하는 배경 음악과 같은 청각적 요소들이 사용자 입력에 의해 설정되거나 변경될 수 있다.
일 실시 예에 따르면, 사용자의 입력에 의해 설정 또는 변경되는 요소들은 인터페이스를 통해 제공되는 복수의 후보들 중 일부를 선택하는 입력에 의해 결정될 수 있다. 예를 들어, 인터페이스를 통해 캐릭터의 다양한 자세에 관한 복수의 후보들이 제공될 수 있으며, 사용자는 캐릭터의 자세에 관한 복수의 후보들 중 어느 하나를 선택함으로써, 샷에 의해 결정되는 장면의 캐릭터의 자세 또는 자세의 시퀀스를 결정할 수 있다. 또 예를 들어, 인터페이스를 통해 효과음에 관한 복수의 후보들이 제공될 수 있으며, 사용자는 특정 시점에 영상에 포함될 효과음을 복수의 후보들 중 선택함으로써, 효과음을 결정할 수 있다.
도 10은 일실시예에 따른 영상 생성 시스템의 구성을 설명하기 위한 블록도이다.
도 10을 참조하면, 일 실시 예에 따른 영상 생성 시스템은 장치로 구현될 수 있으며, 영상 생성 시스템이 구현된 장치는 단말(1010) 및 서버(1020)를 포함할 수 있다. 다시 말해, 일실시예에 따른 단말(1010) 및 서버(1020)는 상술한 영상 생성 방법을 수행하는 영상 생성 장치에 해당할 수 있다. 도 10에 도시된 시스템의 구성은 발명의 설명을 위한 일 예로 시스템에 포함되는 단말의 수나 서버의 수가 도 10과 같이 한정되는 것은 아니다.
일 실시 예에 따른 단말(1010)은 컴퓨터 장치로 구현되는 고정형 단말이거나 이동형 단말일 수 있다. 예를 들면, 단말(1010)은 스마트폰(smart phone), 휴대폰, 컴퓨터, 노트북, 디지털방송용 단말, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 태블릿 PC를 포함할 수 있다. 일 예로 사용자 단말은 무선 또는 유선 통신 방식을 이용하여 네트워크(1030)를 통해 서버(1020) 및/또는 다른 전자 기기들과 통신할 수 있다.
일 실시 예에 따른 서버(1020)는 단말(1010)과 네트워크(1030)를 통해 통신하여 명령, 코드, 파일, 컨텐츠, 서비스 등을 제공하는 컴퓨터 장치 또는 복수의 컴퓨터 장치들로 구현될 수 있다. 통신 방식은 제한되지 않으며, 네트워크(1030)가 포함할 수 있는 통신망(예: 이동통신망, 유선 인터넷, 무선 인터넷, 방송망)을 활용하는 통신 방식, 기기들 간의 근거리 무선 통신 방식을 포함할 수 있다. 예를 들어, 네트워크(1030)는, PAN(personal area network), LAN(local area network), CAN(campus area network), MAN(metropolitan area network), WAN(wide area network), BBN(broadband network), 인터넷 등의 네트워크 중 하나 이상의 임의의 네트워크를 포함할 수 있다.
일 실시 예에 따르면, 서버(1020)는 네트워크(1030)를 통해 접속한 단말(1010)로 어플리케이션의 설치를 위한 파일을 제공할 수 있다. 이 경우 단말(1010)은 서버(1020)로부터 제공된 파일을 이용하여 어플리케이션을 설치할 수 있다. 또한, 단말(1010)이 포함하는 운영체제(Operating System, OS) 및 적어도 하나의 프로그램(예: 브라우저 또는 설치된 어플리케이션)의 제어에 따라 서버(1020)에 접속하여 서버(1020)가 제공하는 서비스나 컨텐츠를 제공받을 수 있다. 예를 들어, 단말(1010)이 어플리케이션의 제어에 따라 네트워크(1030)를 통해 서비스 요청 메시지를 서버(1020)로 전송하면, 서버(1020)는 서비스 요청 메시지에 대응하는 코드를 단말(1010)로 전송할 수 있고, 단말(1010)은 어플리케이션의 제어에 따라 코드에 따른 화면을 구성하여 표시함으로써 사용자에게 컨텐츠를 제공할 수 있다.
일 실시 예에 따르면, 단말(1010)과 서버(1020)는 메모리(1011, 1021), 프로세서(1013, 1023), 통신 모듈(1015, 1025) 및 입출력 인터페이스(1017, 1027)를 포함할 수 있다.
프로세서(1013, 1023)는 도 1 내지 도 9를 통하여 전술한 적어도 하나의 동작을 수행할 수 있다. 예를 들어, 프로세서(1013) 또는 프로세서(1023)에서 도 1 내지 도 9를 통하여 전술한 동작들을 수행할 수도 있고, 프로세서(1013)에서 도 1 내지 도 9를 통하여 전술한 일부 동작을 수행하고, 프로세서(1023)에서 다른 일부 동작을 수행할 수도 있다. 프로세서(1013, 1023)는 기본적인 산술, 로직 및 입출력 연산을 수행함으로써, 컴퓨터 프로그램의 명령을 처리하도록 구성될 수 있다. 명령은 메모리(1011, 1021) 또는 통신 모듈(1015, 1025)에 의해 프로세서(1013, 1023)로 제공될 수 있다.
메모리(1011, 1021)는 도 1 내지 도 9를 통하여 전술한 영상 생성 방법과 관련된 정보를 저장하거나 전술한 영상 생성 방법이 구현된 프로그램을 저장할 수 있다. 메모리(1011, 1021)는 컴퓨터에서 판독 가능한 기록 매체로서, 휘발성 메모리 또는 비휘발성 메모리일 수 있다. 일 예로, 전술한 영상 생성 방법이 구현된 프로그램은 서버(1020)에서 네트워크(1030)를 통해 제공하는 파일들에 의해 단말(1010)에 설치되어 구동되는 브라우저나 어플리케이션을 위한 코드를 포함할 수 있다.
일 실시 예에 따른 통신 모듈(1015, 1025)은 네트워크(1030)를 통해 단말(1010)과 서버(1020)가 서로 통신하기 위한 기능을 제공할 수 있으며, 다른 전자 기기 또는 다른 서버와 통신하기 위한 기능을 제공할 수 있다. 일 예로, 단말(1010)의 프로세서(1013)가 메모리(1011)와 같은 기록 장치에 저장된 프로그램 코드에 따라 생성한 요청이 통신 모듈(1015)의 제어에 따라 네트워크(1030)를 통해 서버(1020)로 전달될 수 있다. 일 예로, 서버(1020)의 프로세서(1023)의 제어에 따라 제공되는 제어 신호나 명령, 컨텐츠, 파일 등이 통신 모듈(1025)과 네트워크(1030)를 거쳐 단말(1010)의 통신 모듈(1015)을 통해 단말(1010)로 수신될 수 있다. 예를 들어 통신 모듈(1015)을 통해 수신된 서버(1020)의 제어 신호나 명령 등은 프로세서(1013)나 메모리(1011)로 전달될 수 있고, 컨텐츠나 파일 등은 단말(1010)이 더 포함할 수 있는 저장 매체로 저장될 수 있다.
입출력 인터페이스(1017, 1027)는 입출력 장치(1019)와의 인터페이스를 위한 수단일 수 있다. 예를 들어, 입력 장치는 키보드 또는 마우스 등의 장치를, 그리고 출력 장치는 어플리케이션의 통신 세션을 표시하기 위한 디스플레이와 같은 장치를 포함할 수 있다. 다른 예로, 입출력 인터페이스(1017)는 터치스크린과 같이 입력과 출력을 위한 기능이 하나로 통합된 장치와의 인터페이스를 위한 수단일 수도 있다. 보다 구체적인 예로, 단말(1010)의 프로세서(1013)는 메모리(1011)에 로딩된 컴퓨터 프로그램의 명령을 처리함에 있어서 서버(1020)가 제공하는 데이터를 이용하여 구성되는 서비스 화면이나 컨텐츠가 입출력 인터페이스(1017)를 통해 디스플레이에 표시될 수 있다. 사용자로부터 수신된 입출력 장치(1019)를 통한 입력은 입출력 인터페이스(1017)를 통해 단말(1010)의 프로세서(1013)에서 처리 가능한 형태로 제공될 수 있다.
일 실시 예에 따르면, 단말(1010) 및 서버(1020)는 도 10에 도시되지 않은 다른 구성 요소들을 포함할 수 있다. 예를 들어, 단말(1010)은 상술한 입출력 장치(1019) 중 적어도 일부를 포함하도록 구현되거나 또는 트랜시버(transceiver), GPS(Global Positioning System) 모듈, 카메라, 각종 센서, 데이터베이스 등과 같은 다른 구성 요소들을 더 포함할 수도 있다.
이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 컨트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 저장할 수 있으며 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
위에서 설명한 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 또는 복수의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 이를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
Claims (20)
- 사용자의 음성 데이터에 기초하여, 상기 사용자에 대응하여 생성된 캐릭터의 움직임을 결정하는 단계;
상기 음성 데이터 및 영상의 목적에 기초하여, 가상의 카메라로 상기 움직임이 결정된 캐릭터를 촬영한 장면에 해당하는 샷을 결정하는 단계; 및
상기 결정된 샷에 기초하여, 상기 음성 데이터에 대응하는 영상을 생성하는 단계
를 포함하는,
영상 생성 방법.
- 제1항에 있어서,
상기 샷을 결정하는 단계는
상기 음성 데이터 내 발화 구간에 기초하여, 상기 샷의 길이를 결정하는 단계; 및
상기 목적에 기초하여, 상기 샷의 유형을 결정하는 단계
를 포함하는,
영상 생성 방법.
- 제2항에 있어서,
상기 샷의 유형은
상기 샷에 투영된 캐릭터의 크기에 기초한 샷의 크기 및 상기 샷에 투영된 캐릭터의 각도에 기초한 샷의 앵글에 의해 구분되는,
영상 생성 방법.
- 제1항에 있어서,
상기 샷을 결정하는 단계는
상기 목적에 기초하여, 복수의 샷들- 상기 복수의 샷들은 샷의 유형이 서로 다른 복수의 샷들을 포함함 -의 시퀀스를 결정하는 단계;
상기 음성 데이터의 크기 변화에 기초하여, 상기 음성 데이터를 복수의 발화 구간들로 구분하는 단계; 및
상기 복수의 발화 구간들에 기초하여, 상기 복수의 샷들의 길이들을 결정하는 단계
를 포함하는,
영상 생성 방법.
- 제4항에 있어서,
상기 복수의 샷들의 길이들을 결정하는 단계는
상기 목적 및 상기 복수의 발화 구간들에 기초하여, 샷이 전환되는 적어도 하나의 전환점을 결정하는 단계; 및
상기 전환점에 기초하여, 상기 복수의 샷들의 길이들을 결정하는 단계
를 포함하는,
영상 생성 방법.
- 제4항에 있어서,
상기 샷을 결정하는 단계는
사용자의 입력에 기초하여, 상기 시퀀스 내 샷들의 순서를 변경하는 단계;
사용자의 입력에 기초하여, 상기 시퀀스에 적어도 하나의 샷을 추가하는 단계;
사용자의 입력에 기초하여, 상기 시퀀스 내 적어도 하나의 샷을 삭제하는 단계;
사용자의 입력에 기초하여, 상기 시퀀스 내 샷의 유형을 변경하는 단계; 및
사용자의 입력에 기초하여, 상기 시퀀스 내 샷의 길이를 변경하는 단계
중 적어도 하나를 더 포함하는,
영상 생성 방법.
- 제1항에 있어서,
상기 캐릭터의 움직임을 결정하는 단계는
상기 음성 데이터에 대응하는 발음 정보에 기초하여, 상기 캐릭터의 입 모양의 움직임을 결정하는 단계
를 포함하는,
영상 생성 방법.
- 제1항에 있어서,
상기 캐릭터의 움직임을 결정하는 단계는
상기 목적에 기초하여 상기 캐릭터의 표정을 결정하는 단계;
상기 음성 데이터에 기초하여 상기 캐릭터의 얼굴 요소의 움직임을 결정하는 단계; 및
상기 결정된 캐릭터의 표정 및 상기 캐릭터의 얼굴 요소의 움직임을 결합하는 단계
를 포함하는,
영상 생성 방법.
- 제8항에 있어서,
상기 캐릭터의 표정을 결정하는 단계는
사용자의 입력에 기초하여, 상기 캐릭터의 얼굴 표정을 변경하는 단계
를 더 포함하는,
영상 생성 방법.
- 제1항에 있어서,
상기 캐릭터의 움직임을 결정하는 단계는
상기 사용자의 얼굴 영상 데이터를 획득하는 단계;
상기 얼굴 영상 데이터에서 눈동자의 움직임, 눈꺼풀의 움직임, 눈썹의 움직임 및 고개의 움직임 중 적어도 하나를 포함하는 상기 얼굴 특징의 움직임을 추출하는 단계; 및
상기 추출된 상기 얼굴 특징의 움직임에 기초하여, 상기 캐릭터의 얼굴 요소의 움직임을 결정하는 단계
를 더 포함하는,
영상 생성 방법.
- 제1항에 있어서,
상기 캐릭터는
제1 사용자에 대응하여 생성되며, 상기 음성 데이터 내 제1 음성 데이터에 기초하여 움직임이 결정된 제1 캐릭터; 및
제2 사용자에 대응하여 생성되며, 상기 음성 데이터 내 제2 음성 데이터에 기초하여 움직임이 결정된 제2 캐릭터
를 포함하고,
상기 샷을 결정하는 단계는
상기 음성 데이터 내 제1 음성 데이터, 상기 음성 데이터 내 제2 음성 데이터 및 상기 목적에 기초하여, 상기 제1 캐릭터 및 상기 제2 캐릭터에 대응하는 샷을 결정하는 단계
를 포함하는,
영상 생성 방법.
- 제11항에 있어서,
상기 샷을 결정하는 단계는
상기 목적에 기초하여, 상기 샷에 포함된 상기 제1 캐릭터 및 상기 제2 캐릭터의 배치를 결정하는 단계
를 포함하는,
영상 생성 방법.
- 제11항에 있어서,
상기 캐릭터의 움직임을 결정하는 단계는
상기 목적, 상기 제1 음성 데이터 및 상기 제2 음성 데이터 중 적어도 하나에 기초하여, 상기 제1 캐릭터 및 상기 제2 캐릭터의 인터랙션을 결정하는 단계; 및
상기 결정된 인터랙션에 기초하여, 상기 제1 캐릭터의 움직임 및 상기 제2 캐릭터의 움직임을 결정하는 단계
를 더 포함하는,
영상 생성 방법.
- 제11항에 있어서,
상기 음성 데이터는 제1 사용자 단말로부터 획득된 제1 음성 데이터 및 제2 사용자 단말로부터 획득된 제2 음성 데이터를 포함하는,
영상 생성 방법.
- 하드웨어와 결합되어 제1항 내지 제14항 중 어느 하나의 항의 방법을 실행시키기 위하여 매체에 저장된 컴퓨터 프로그램.
- 사용자의 음성 데이터에 기초하여, 상기 사용자에 대응하여 생성된 캐릭터의 움직임을 결정하고,
상기 음성 데이터 및 영상의 목적에 기초하여, 가상의 카메라로 상기 움직임이 결정된 캐릭터를 촬영한 장면에 해당하는 샷을 결정하며,
상기 결정된 샷에 기초하여, 상기 음성 데이터에 대응하는 영상을 생성하는,
적어도 하나의 프로세서
를 포함하는,
영상 생성 장치.
- 제16항에 있어서,
상기 프로세서는,
상기 샷을 결정함에 있어서,
상기 목적에 기초하여, 복수의 샷들- 상기 복수의 샷들은 샷의 유형이 서로 다른 복수의 샷들을 포함함 -의 시퀀스를 결정하고,
상기 음성 데이터의 크기 변화에 기초하여, 상기 음성 데이터를 복수의 발화 구간들로 구분하고,
상기 복수의 발화 구간들에 기초하여, 상기 복수의 샷들의 길이들을 결정하는,
영상 생성 장치.
- 제17항에 있어서,
상기 프로세서는,
상기 샷을 결정함에 있어서,
사용자의 입력에 기초하여, 상기 시퀀스 내 샷들의 순서를 변경하는 동작;
사용자의 입력에 기초하여, 상기 시퀀스에 적어도 하나의 샷을 추가하는 동작;
사용자의 입력에 기초하여, 상기 시퀀스 내 적어도 하나의 샷을 삭제하는 동작;
사용자의 입력에 기초하여, 상기 시퀀스 내 샷의 유형을 변경하 동작; 및
사용자의 입력에 기초하여, 상기 시퀀스 내 샷의 길이를 변경하는 동작
중 적어도 하나를 더 수행하는,
영상 생성 장치.
- 제16항에 있어서,
상기 프로세서는,
상기 캐릭터의 움직임을 결정함에 있어서,
상기 목적에 기초하여 상기 캐릭터의 표정을 결정하고,
상기 음성 데이터에 기초하여 상기 캐릭터의 얼굴 요소의 움직임을 결정하며,
상기 결정된 캐릭터의 표정 및 상기 캐릭터의 얼굴 요소의 움직임을 결합하는,
영상 생성 장치.
- 제19항에 있어서,
상기 프로세서는,
상기 캐릭터의 표정을 결정함에 있어서,
사용자의 입력에 기초하여, 상기 캐릭터의 얼굴 표정을 변경하는,
영상 생성 장치.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210188883A KR20220139781A (ko) | 2021-04-08 | 2021-12-27 | 영상 생성 방법 및 장치 |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210045651A KR102345729B1 (ko) | 2021-04-08 | 2021-04-08 | 영상 생성 방법 및 장치 |
| KR1020210188883A KR20220139781A (ko) | 2021-04-08 | 2021-12-27 | 영상 생성 방법 및 장치 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210045651A Division KR102345729B1 (ko) | 2021-04-08 | 2021-04-08 | 영상 생성 방법 및 장치 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20220139781A true KR20220139781A (ko) | 2022-10-17 |
Family
ID=79348226
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210045651A KR102345729B1 (ko) | 2021-04-08 | 2021-04-08 | 영상 생성 방법 및 장치 |
| KR1020210188883A KR20220139781A (ko) | 2021-04-08 | 2021-12-27 | 영상 생성 방법 및 장치 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210045651A KR102345729B1 (ko) | 2021-04-08 | 2021-04-08 | 영상 생성 방법 및 장치 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US20220328070A1 (ko) |
| EP (1) | EP4071760A1 (ko) |
| JP (1) | JP2024513515A (ko) |
| KR (2) | KR102345729B1 (ko) |
| CN (1) | CN117441192A (ko) |
| WO (1) | WO2022215823A1 (ko) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102601159B1 (ko) * | 2022-09-30 | 2023-11-13 | 주식회사 아리아스튜디오 | 버추얼 휴먼 인터렉션 생성 장치 및 그에 대한 방법 |
| US12023160B1 (en) * | 2023-06-16 | 2024-07-02 | Carlos Andrés Cuestas Rodríguez | Non-invasive remote system and method to determine the probability of deceit based on artificial intelligence |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6947044B1 (en) * | 1999-05-21 | 2005-09-20 | Kulas Charles J | Creation and playback of computer-generated productions using script-controlled rendering engines |
| JP5326910B2 (ja) * | 2009-01-20 | 2013-10-30 | ソニー株式会社 | 情報処理装置、情報処理方法およびプログラム |
| US8726161B2 (en) * | 2010-10-19 | 2014-05-13 | Apple Inc. | Visual presentation composition |
| US10290320B2 (en) * | 2015-12-09 | 2019-05-14 | Verizon Patent And Licensing Inc. | Automatic media summary creation systems and methods |
| KR20190046371A (ko) * | 2017-10-26 | 2019-05-07 | 에스케이텔레콤 주식회사 | 얼굴 표정 생성 장치 및 방법 |
| KR102449670B1 (ko) * | 2018-01-16 | 2022-09-30 | 삼성전자주식회사 | 복수의 카메라를 이용하여 영상 데이터를 생성하는 방법 및 서버 |
| KR102530264B1 (ko) * | 2018-08-08 | 2023-05-09 | 삼성전자 주식회사 | 아바타에 대응하는 속성에 따른 아이템을 제공하는 방법 및 장치 |
| KR20200046417A (ko) * | 2018-10-24 | 2020-05-07 | 삼성전자주식회사 | 보정 이미지 기반 아바타 생성 방법 및 장치 |
| CN113302694A (zh) * | 2019-01-18 | 2021-08-24 | 斯纳普公司 | 用于基于模板生成个性化视频的系统和方法 |
| US11114086B2 (en) * | 2019-01-18 | 2021-09-07 | Snap Inc. | Text and audio-based real-time face reenactment |
-
2021
- 2021-04-08 KR KR1020210045651A patent/KR102345729B1/ko active IP Right Grant
- 2021-11-26 JP JP2023562502A patent/JP2024513515A/ja not_active Withdrawn
- 2021-11-26 CN CN202180099111.0A patent/CN117441192A/zh active Pending
- 2021-11-26 WO PCT/KR2021/017653 patent/WO2022215823A1/ko active Application Filing
- 2021-12-27 KR KR1020210188883A patent/KR20220139781A/ko not_active Application Discontinuation
-
2022
- 2022-04-05 EP EP22166669.6A patent/EP4071760A1/en not_active Withdrawn
- 2022-04-05 US US17/713,465 patent/US20220328070A1/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| JP2024513515A (ja) | 2024-03-25 |
| EP4071760A1 (en) | 2022-10-12 |
| KR102345729B1 (ko) | 2022-01-03 |
| US20220328070A1 (en) | 2022-10-13 |
| CN117441192A (zh) | 2024-01-23 |
| WO2022215823A1 (ko) | 2022-10-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11114086B2 (en) | Text and audio-based real-time face reenactment | |
| US11222632B2 (en) | System and method for intelligent initiation of a man-machine dialogue based on multi-modal sensory inputs | |
| US11995758B2 (en) | Photorealistic real-time portrait animation | |
| US20220150285A1 (en) | Communication assistance system, communication assistance method, communication assistance program, and image control program | |
| US20160134840A1 (en) | Avatar-Mediated Telepresence Systems with Enhanced Filtering | |
| KR101306221B1 (ko) | 3차원 사용자 아바타를 이용한 동영상 제작장치 및 방법 | |
| KR102509666B1 (ko) | 텍스트 및 오디오 기반 실시간 얼굴 재연 | |
| CN111833418A (zh) | 动画交互方法、装置、设备以及存储介质 | |
| CN113362263B (zh) | 变换虚拟偶像的形象的方法、设备、介质及程序产品 | |
| WO2022252866A1 (zh) | 一种互动处理方法、装置、终端及介质 | |
| KR102345729B1 (ko) | 영상 생성 방법 및 장치 | |
| US11212383B2 (en) | Customizing text messages in modifiable videos of multimedia messaging application | |
| JP7278307B2 (ja) | コンピュータプログラム、サーバ装置、端末装置及び表示方法 | |
| KR101913811B1 (ko) | 얼굴 표현 및 심리 상태 파악과 보상을 위한 얼굴 정보 분석 방법 및 얼굴 정보 분석 장치 | |
| KR20180132364A (ko) | 캐릭터 기반의 영상 표시 방법 및 장치 | |
| JP2021086415A (ja) | 仮想人物対話システム、映像生成方法、映像生成プログラム | |
| KR20230173638A (ko) | 애니메이션을 저작하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체 | |
| CN113176827B (zh) | 基于表情的ar交互方法、系统、电子设备及存储介质 | |
| JP2021086618A (ja) | 仮想人物対話システム、映像生成方法、映像生成プログラム | |
| CN113989463A (zh) | 一种会议显示方法、装置、系统和电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E601 | Decision to refuse application | ||
| E902 | Notification of reason for refusal |