KR20240020923A - 표정 인식 가능한 영상 콘텐츠 제작 시스템 및 방법 - Google Patents

표정 인식 가능한 영상 콘텐츠 제작 시스템 및 방법 Download PDF

Info

Publication number
KR20240020923A
KR20240020923A KR1020220099248A KR20220099248A KR20240020923A KR 20240020923 A KR20240020923 A KR 20240020923A KR 1020220099248 A KR1020220099248 A KR 1020220099248A KR 20220099248 A KR20220099248 A KR 20220099248A KR 20240020923 A KR20240020923 A KR 20240020923A
Authority
KR
South Korea
Prior art keywords
unit
actor
live
facial
character
Prior art date
Application number
KR1020220099248A
Other languages
English (en)
Inventor
계영진
Original Assignee
주식회사 아리모아
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 아리모아 filed Critical 주식회사 아리모아
Priority to KR1020220099248A priority Critical patent/KR20240020923A/ko
Publication of KR20240020923A publication Critical patent/KR20240020923A/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Abstract

본 발명은 자연스러운표정구현이 가능하도록 하며, 얼굴부위별로 미세하게 표정범위를 조절하여 보다 풍부하고 섬세한 표정을 구현할 수 있는 표정 인식 가능한 영상 콘텐츠 제작 시스템 및 방법에 관한 것으로, 3D 모델링 프로그램에 의해 3D 캐릭터를 생성하는 캐릭터 생성부와, 모션센서가 부착된 연기자의 모션을 캡쳐하여 3D 모션 데이터를 생성하는 모션 캡쳐부와, 연기자가 착용 가능한 형태로 형성되되, 연기자의 표정을 캡쳐하여 표정 데이터를 생성하는 페이셜 캡쳐부와, 상기 3D 캐릭터에 상기 3D 모션 데이터와 상기 표정 데이터를 실시간으로 연동시켜 연기와 표정이 구현된 3D 가상 캐릭터를 생성하는, 언리얼 게임엔진부와, 스튜디오에서 크로마키 촬영하여 연기자의 연기가 포함된 스튜디오 실사 영상을 생성하는 실사 촬영부 및 상기 실사 촬영부에서 촬영한 스튜디오 실사 영상을 토대로 상기 연기자의 표정 및 행동을 분석하는 분석부 및 상기 분석부와 무선 통신되되, 상기 분석부에서 분석된 사항을 토대로 3D 가상캐릭터 영상을 합성 및 편집하여 3D 기반 영상 콘텐츠를 생성하는 콘텐츠 생성부를 포함하는 것을 특징으로 하는 한다.

Description

표정 인식 가능한 영상 콘텐츠 제작 시스템 및 방법{System and method of face recognizable video content procution}
본 발명은 에 관한 것으로, 더욱 상세하게는, 3D 기반 라이브커머스, 동요콘텐츠, 율동콘텐츠 또는 숏폼콘텐츠를 신속하게 제작하도록 하며, 보다 자연스러운표정구현이 가능하도록 하며, 얼굴부위별로 미세하게 표정범위를 조절하여 보다 풍부하고 섬세한 표정을 구현할 수 있는 표정 인식 가능한 영상 콘텐츠 제작 시스템 및 방법에 관한 것이다.
일반적으로, 게임엔진은 본래 게임을 개발하기 위한 소프트 웨어로서, 3D 그래픽을 표현하는 랜더링엔진, 물리적인 효과를 내는 물리엔진, 애니메이션, 인공 지능, 네트워크 등의 다양한 기능을 제공한다.
이와 같은 게임엔진의 그래픽은 에셋(asset)이라 불리는 모델링 등 을 통하여 구현된 데이터를 받아 이를 랜더링하여 표현하게 되고, 에셋은 영상의 배경이나 캐릭터를 이루게 되는데, 캐릭터의 연기는 실제 연기자의 연기를 모션 캡처 시스템과 얼굴표정감지 시스템을 통하여 받아들여 캐릭터에 맵핑하여 캐릭터의 연기로 구현하여 화면을 구성할 수 있다.
한편, 탈인형 또는 손인형 캐릭터가 등장하는 콘텐츠보다는 3D 캐릭터가 등장하는 콘텐츠의 활용도가 높은 편이므로, 모션캡쳐와 게임엔진을 활용하여 3D 기반 영상 콘텐츠를 제작하기도 한다.
이에, 스튜디오 실사 영상과 3D 가상 캐릭터 영상의 합성시, 이질감을 최소화하여서 3D 기반 영상 콘텐츠를 제작하여 시청시 거부감을 최소화하고, 영상 콘텐츠의 조회수를 높일 필요성이 제기된다.
대한민국 등록특허공보 제10-1826025호(2018.02.07.)
본 발명은 상기한 문제점을 해결하기 위하여 안출된 것으로, 본 발명의 목적은 3D 기반 라이브커머스, 동요콘텐츠, 율동콘텐츠 또는 숏폼콘텐츠를 신속하게 제작하도록 하며, 보다 자연스러운표정구현이 가능하도록 하며, 얼굴부위별로 미세하게 표정범위를 조절하여 보다 풍부하고 섬세한 표정을 구현할 수 있는 표정 인식 가능한 영상 콘텐츠 제작 시스템 및 방법을 제공하는 것이다.
본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 본 발명의 기술분야에서 통상의 지식을 지닌 자에게 명확하게 이해될 수 있을 것이다.
본 발명은 상기의 목적을 달성하기 위해서, 3D 모델링 프로그램에 의해 3D 캐릭터를 생성하는 캐릭터 생성부와, 모션센서가 부착된 연기자의 모션을 캡쳐하여 3D 모션 데이터를 생성하는 모션 캡쳐부와, 연기자가 착용 가능한 형태로 형성되되, 연기자의 표정을 캡쳐하여 표정 데이터를 생성하는 페이셜 캡쳐부와, 상기 3D 캐릭터에 상기 3D 모션 데이터와 상기 표정 데이터를 실시간으로 연동시켜 연기와 표정이 구현된 3D 가상 캐릭터를 생성하는, 언리얼 게임엔진부와, 스튜디오에서 크로마키 촬영하여 연기자의 연기가 포함된 스튜디오 실사 영상을 생성하는 실사 촬영부 및 상기 실사 촬영부에서 촬영한 스튜디오 실사 영상을 토대로 상기 연기자의 표정 및 행동을 분석하는 분석부 및 상기 분석부와 무선 통신되되, 상기 분석부에서 분석된 사항을 토대로 3D 가상캐릭터 영상을 합성 및 편집하여 3D 기반 영상 콘텐츠를 생성하는 콘텐츠 생성부를 포함하는 것을 특징으로 하는 한다.
또한, 상기 분석부는 상기 스튜디오 실사 영상의 카메라앵글과 렌즈화각과 조리개값에 상응하도록가상공간상에서 상기 3D 가상 캐릭터의 카메라앵글과 렌즈화각과 조리개값을 분석하는 것을 특징으로 한다.
또한, 상기 분석부는 상기 스튜디오 실사 영상에 표시되는 연기자의 얼굴의 트랙킹 정보를 분석하는 것을 특징으로 한다.
또한, 상기 모션 캡쳐부는 상기 연기자의 대본텍스트에 따른 수어 관련 3D 모션 데이터를 생성하는 것을 특징으로 한다.
또한, 본 발명의 표정 인식 가능한 영상 콘텐츠 제작 방법은 캐릭터 생성부에서 3D 모델링 프로그램에 의해 3D 캐릭터를 생성하는 캐릭터 생성 단계와, 모션 캡쳐부에서 모션센서가 부착된 연기자의 모션을 캡쳐하여 3D 모션 데이터를 생성하는 모션 캡쳐 단계와, 페이션 캡쳐부에서 연기자가 착용 가능한 형태로 형성되되, 연기자의 표정을 캡쳐하여 표정 데이터를 생성하는 페이셜 캡쳐 단계와, 언리얼 게임엔진부에서 상기 3D 캐릭터에 상기 3D 모션 데이터와 상기 표정 데이터를 실시간으로 연동시켜 연기와 표정이 구현된 3D 가상 캐릭터를 생성하는 언리얼 게임엔진 단계와, 실사 촬영부에서 스튜디오에서 크로마키 촬영하여 연기자의 연기가 포함된 스튜디오 실사 영상을 생성하는 실사 촬영 단계와, 분석부에서 상기 실사 촬영부에서 촬영한 스튜디오 실사 영상을 토대로 상기 연기자의 표정 및 행동을 분석하는 분석 단계 및 콘텐츠 생성부에서 상기 분석부와 무선 통신되되, 상기 분석부에서 분석된 사항을 토대로 3D 가상캐릭터 영상을 합성 및 편집하여 3D 기반 영상 콘텐츠를 생성하는 콘텐츠 생성 단계를 포함하는 것을 특징으로 한다.
본 발명은 분석부에서 스튜디오 실사 영상을 분석하여 연기자의 행동 및 표정을 파악하여 3D 영상 콘텐츠를 제작할 수 있는 효과를 제공한다.
또한, 보다 간소한 구성에 의해 3D 기반 라이브커머스, 동요콘텐츠, 율동콘텐츠 또는 숏폼콘텐츠를 신속하게 제작하도록 하며, 보다 자연스러운 표정구현이 가능하도록 하며, 얼굴부위별로 미세하게 표정범위를 조절하여 보다 풍부하고 섬세한 표정을 구현할 수 있고, 3D 캐릭터의 수어연기를 구현하여 시청자 편의성을 제공할 수 있는 효과가 있다.
도 1은 본 발명의 바람직한 일실시예에 따른 표정 인식 가능한 영상 콘텐츠 제작 시스템을 나타낸 구성도이다.
도 2는 도 1의 표정 인식 가능한 영상 콘텐츠 제작 시스템의 구현도를 나타낸 예시도이다.
도 3은 도 2의 표정 인식 가능한 영상 콘텐츠 제작 시스템의 폐이셜 캡쳐부 및 카메라 컨트롤 패드와 3D 스페이스 마우스를 나타낸 예시도이다.
도 4는 본 발명의 바람직한 일실시예에 따른 표정 인식 가능한 영상 콘텐츠 제작 방법을 나타낸 순서도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
아래 첨부된 도면을 참조하여 본 발명의 실시를 위한 구체적인 내용을 상세히 설명한다. 도면에 관계없이 동일한 부재번호는 동일한 구성요소를 지칭하며, "및/또는"은 언급된 아이템들의 각각 및 하나 이상의 모든 조합을 포함한다.
비록 제1, 제2 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도있음은 물론이다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며, 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다.
도 1은 본 발명의 바람직한 일실시예에 따른 표정 인식 가능한 영상 콘텐츠 제작 시스템을 나타낸 구성도이고, 도 2는 도 1의 표정 인식 가능한 영상 콘텐츠 제작 시스템의 구현도를 나타낸 예시도이며, 도 3은 도 2의 표정 인식 가능한 영상 콘텐츠 제작 시스템의 폐이셜 캡쳐부 및 카메라 컨트롤 패드와 3D 스페이스 마우스를 나타낸 예시도이고, 도 4는 본 발명의 바람직한 일실시예에 따른 표정 인식 가능한 영상 콘텐츠 제작 방법을 나타낸 순서도이다.
도 1 내지 도 3에 도시된 바와 같이, 본 발명의 표정 인식 가능한 영상 콘텐츠 제작 시스템(100)은 캐릭터 생성부(110), 모션 캡쳐부(120), 페이셜 캡쳐부(130), 언리얼 게임엔진부(140), 실사 촬영부(150), 분석부(160) 및 콘텐츠 생성부(170)를 포함하여 구성된다.
먼저, 상기 캐릭터 생성부(110)는 3D 모델링 프로그램에 의해, 라이브커머스, 동요콘텐츠, 율동콘텐츠 또는 숏폼콘텐츠에 적합한 다양한 3D 캐릭터를 생성하여 캐릭터 라이브러리에 저장한다.
다음으로, 모션 캡쳐부(120)는 모션센서가 부착된 연기자의 모션을 감지하고 캡쳐하여 3D 캐릭터와 연동되는 3D 모션 데이터를 생성하여 모션 라이브러리(121)에 저장한다.
여기서, 모션센서는 다수의 자이로센서, 가속도센서, 지자기센서 또는 광학방식의 3D 센서일 수 있다.
한편, 모션 캡쳐부(120)는 시나리오에 따른 출연자의 대본텍스트에 따른 수어 관련 팔과 손과 손가락의 3D 모션 데이터를 미리 생성하고, 콘텐츠 생성부(160)에서는, 스튜디오 실사 영상과 3D 가상 캐릭터 영상의 합성시, 출연자의 대본텍스트에 따라 발성된 음성과 실시간으로 연동하여 3D 가상 캐릭터의 수어연기를 구현하도록 하여서, 음성과 실시간으로 매칭되도록 3D 가상 캐릭터가 수어를 제공하여 청각이 정상적이지 않은 시청자도 영상 콘텐츠를 이해하도록 하고, 3D 가상 캐릭터에 의해 친근감을 주어 거부감없이 시청하도록 할 수도 있다.
또한, 3D 가상 캐릭터 영상의 생성시, 출연자와의 대본연기시에 출연자의 대본텍스트의 음성을 마이크를 통해 실시간으로 인식하고 식별하여, 음성엔진모듈에 의해 3D 가상 캐릭터의 대본텍스트를 발성하도록 하거나, 대화풍선을 통해 출연자 또는 3D 가상 캐릭터의 대본텍스트에 따른 문장을 대화풍선을 통해 오버랩하여 표시하여서, 다양한 글씨체와 색상을 가진 자막을 활용하여 시청몰입도를 높이도록 할 수도 있다.
여기서, 3D 가상 캐릭터에 의한 대본텍스트의 발성시, 립싱크 생성 엔진에 의해, 발성에 따라 3D 캐릭터의 입술모양을 일치시켜 립싱크처리하여서, 3D 가상 캐릭터의 발성을 보다 자연스럽게 하여 거부감을 최소화할 수도 있다.
다음으로, 페이셜 캡쳐부(130)는 도 3에 예시된 바와 같이, 목걸이형 또는 헬맷형으로 구성되어, 라이브링크 페이스 소프트웨어가 설치된 아이폰 등의 스마트기기의 카메라를 통해 연기자의 얼굴 표정을 캡쳐하여 다양한 표정 데이터를 생성하여 표정 라이브러리(131)에 저장한다.
한편, 페이셜 캡쳐부(130)는 연기자의 표정과 연동하여 눈동자 트래킹 데이터와 눈깜빡임 데이터와 입술 움직임 데이터가 포함된 표정 데이터를 생성하여, 얼굴 근육 움직임과 연동하여 보다 자연스러운 표정구현이 가능하도록 할 수도 있다.
다음으로, 언리얼 게임엔진부(140)는 3D 캐릭터에 3D 모션 데이터와 표정 데이터를 각각 불러들여 상호 실시간으로 연동시켜서, 라이브커머스, 동요콘텐츠, 율동콘텐츠 또는 숏폼콘텐츠의 시나리오에 적용되는 연기와 표정이 매칭되어 구현된 3D 가상 캐릭터를 생성한다.
한편, 언리얼 게임엔진부(140)는 표정 라이브러리(131)에 표정 데이터를 변환하여 표정과 관련된 얼굴부위별로 표정범위를 조절하는 표정조절모듈을 구비하여, 연기자의 부재 또는 변경시 표정조절모듈을 통해 표정 데이터를 변환하여 3D 캐릭터에 적용하거나, 얼굴부위별로 미세하게 표정범위, 예컨대, 미소부터 함박웃음까지의 보다 풍부하고 섬세한 표정을 단계적으로 구현할 수도 있다.
또한, 언리얼 게임엔진부(140)는 해당 시나리오에 따라 구현된 각각의 3D 가상공간에 3D 캐릭터를 임포트하여 바디 리깅(body rigging), 페이셜 리깅(facial rigging) 및 라이팅(lighting)을 세팅할 수 있다.
다음으로, 실사 촬영부(150)는 크로마키 배경의 스튜디오에서 크로마키 촬영하여 출연자의 연기가 포함된 스튜디오 실사 영상을 생성한다.
그리고 상기 분석부(160)는 상기 실사 촬영부(150)에서 촬영한 스튜디오 실사 영상을 토대로 상기 연기자의 표정 및 행동을 분석하게 된다.
이때, 상기 분석부(160)는 상기 스튜디오 실사 영상의 카메라앵글과 렌즈화각과 조리개값에 상응하도록가상공간상에서 상기 3D 가상 캐릭터의 카메라앵글과 렌즈화각과 조리개값을 분석할 수 있다.
또한, 상기 분석부(160)는 상기 스튜디오 실사 영상에 표시되는 연기자의 얼굴의 트랙킹 정보를 분석할 수 있다.
다음으로, 상기 콘텐츠 생성부(170)는 상기 분석부(160)와 무선 통신되되, 상기 분석부(160)에서 분석된 사항을 토대로 3D 가상캐릭터 영상을 합성 및 편집하여 3D 기반 영상 콘텐츠를 생성한다.
또한, 상기 콘텐츠 생성부(170)는 3D 가상 캐릭터 영상의 카메라앵글과 렌즈화각과 조리개값을 세팅하고, 가상공간상에서의 1대 이상의 미리 세팅된 가상 카메라를 선택하는 아이패드 등의 카메라 컨트롤 패드(171)와, 가상카메라의 카메라움직임과 다이나믹한 카메라앵글을 정교하게 조절하는 3D 스페이스마우스(172)의 참조)를 포함할 수 있다.
또한, 콘텐츠 생성부(170)는 실사촬영 영상캡쳐와 카메라 전환과 음향발수신 기능을 구비한 스위처(173)를 포함할 수 있다.
또한, 스튜디오 실사 영상의 조명수, 조명각도 또는 조명세기와 일치하도록 가상공간상에서의 조명의 세팅값을 설정하여서, 스튜디오 실사 영상과 3D 가상 캐릭터 영상의 합성시 이질감이 최소화되도록 할 수도 있다.
다음으로, 본 발명의 표정 인식 가능한 영상 콘텐츠 제작 방법은 캐릭터 생성 단계(S100), 모션 캡쳐 단계(S200), 페이셜 캡쳐 단계(S300), 언리얼 게임엔진 단계(S400), 실사 촬영 단계(S500), 분석 단계(S600) 및 콘텐츠 생성 단계(S700)로 이루어진다.
먼저, 상기 캐릭터 생성부에서 3D 모델링 프로그램에 의해 3D 캐릭터를 생성한다.(S100)
그리고 모션 캡쳐부(120)는 모션센서가 부착된 연기자의 모션을 감지하고 캡쳐하여 3D 캐릭터와 연동되는 3D 모션 데이터를 생성하여 모션 라이브러리(121)에 저장한다.
여기서, 모션센서는 다수의 자이로센서, 가속도센서, 지자기센서 또는 광학방식의 3D 센서일 수 있다.
모션 캡쳐부(120)에서 모션센서가 부착된 연기자의 모션을 캡쳐하여 3D 모션 데이터를 생성한다.(S200)
한편, 모션 캡쳐부(120)는 시나리오에 따른 출연자의 대본텍스트에 따른 수어 관련 팔과 손과 손가락의 3D 모션 데이터를 미리 생성하고, 콘텐츠 생성부(160)에서는, 스튜디오 실사 영상과 3D 가상 캐릭터 영상의 합성시, 출연자의 대본텍스트에 따라 발성된 음성과 실시간으로 연동하여 3D 가상 캐릭터의 수어연기를 구현하도록 하여서, 음성과 실시간으로 매칭되도록 3D 가상 캐릭터가 수어를 제공하여 청각이 정상적이지 않은 시청자도 영상 콘텐츠를 이해하도록 하고, 3D 가상 캐릭터에 의해 친근감을 주어 거부감없이 시청하도록 할 수도 있다.
이후, 페이션 캡쳐부에서 연기자가 착용 가능한 형태로 형성되되, 연기자의 표정을 캡쳐하여 표정 데이터를 생성한다.(S300)
한편, 페이셜 캡쳐부(130)는 연기자의 표정과 연동하여 눈동자 트래킹 데이터와 눈깜빡임 데이터와 입술 움직임 데이터가 포함된 표정 데이터를 생성하여, 얼굴 근육 움직임과 연동하여 보다 자연스러운 표정구현이 가능하도록 할 수도 있다.
이후, 언리얼 게임엔진부에서 상기 3D 캐릭터에 상기 3D 모션 데이터와 상기 표정 데이터를 실시간으로 연동시켜 연기와 표정이 구현된 3D 가상 캐릭터를 생성한다.(S400)
한편, 언리얼 게임엔진부(140)는 표정 라이브러리(131)에 표정 데이터를 변환하여 표정과 관련된 얼굴부위별로 표정범위를 조절하는 표정조절모듈을 구비하여, 연기자의 부재 또는 변경시 표정조절모듈을 통해 표정 데이터를 변환하여 3D 캐릭터에 적용하거나, 얼굴부위별로 미세하게 표정범위, 예컨대, 미소부터 함박웃음까지의 보다 풍부하고 섬세한 표정을 단계적으로 구현할 수도 있다.
이후, 실사 촬영부(150)에서 스튜디오에서 크로마키 촬영하여 연기자의 연기가 포함된 스튜디오 실사 영상을 생성한다.
그리고 분석부에서 상기 실사 촬영부에서 촬영한 스튜디오 실사 영상을 토대로 상기 연기자의 표정 및 행동을 분석한다.
이때, 상기 분석부(160)는 상기 스튜디오 실사 영상의 카메라앵글과 렌즈화각과 조리개값에 상응하도록가상공간상에서 상기 3D 가상 캐릭터의 카메라앵글과 렌즈화각과 조리개값을 분석할 수 있다.
또한, 상기 분석부(160)는 상기 스튜디오 실사 영상에 표시되는 연기자의 얼굴의 트랙킹 정보를 분석할 수 있다.
이후, 콘텐츠 생성부에서 상기 분석부와 무선 통신되되, 상기 분석부에서 분석된 사항을 토대로 3D 가상캐릭터 영상을 합성 및 편집하여 3D 기반 영상 콘텐츠를 생성한다.
또한, 상기 콘텐츠 생성부(170)는 3D 가상 캐릭터 영상의 카메라앵글과 렌즈화각과 조리개값을 세팅하고, 가상공간상에서의 1대 이상의 미리 세팅된 가상 카메라를 선택하는 아이패드 등의 카메라 컨트롤 패드(171)와, 가상카메라의 카메라움직임과 다이나믹한 카메라앵글을 정교하게 조절하는 3D 스페이스마우스(172)의 참조)를 포함할 수 있다.
또한, 콘텐츠 생성부(170)는 실사촬영 영상캡쳐와 카메라 전환과 음향발수신 기능을 구비한 스위처(173)를 포함할 수 있다.
또한, 스튜디오 실사 영상의 조명수, 조명각도 또는 조명세기와 일치하도록 가상공간상에서의 조명의 세팅값을 설정하여서, 스튜디오 실사 영상과 3D 가상 캐릭터 영상의 합성시 이질감이 최소화되도록 할 수도 있다.
이상과 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해되어야 한다.
100 : 표정 인식 가능한 영상 콘텐츠 제작 시스템
110 : 캐릭터 생성부
120 : 모션 캡쳐부
130 : 페이셜 캡쳐부
140 : 언리얼 게임엔진부
150 : 실사 촬영부
160 : 분석부
170 : 콘텐츠 생성 단계
100 : 캐릭터 생성 단계
200 : 모션 캡쳐 단계
300 : 페이셜 캡쳐 단계
400 : 언리얼 게임엔진 단계
500 : 실사 촬영 단계
600 : 분석 단계
700 : 콘텐츠 생성 단계

Claims (5)

  1. 3D 모델링 프로그램에 의해 3D 캐릭터를 생성하는 캐릭터 생성부;
    모션센서가 부착된 연기자의 모션을 캡쳐하여 3D 모션 데이터를 생성하는 모션 캡쳐부;
    연기자가 착용 가능한 형태로 형성되되, 연기자의 표정을 캡쳐하여 표정 데이터를 생성하는 페이셜 캡쳐부;
    상기 3D 캐릭터에 상기 3D 모션 데이터와 상기 표정 데이터를 실시간으로 연동시켜 연기와 표정이 구현된 3D 가상 캐릭터를 생성하는, 언리얼 게임엔진부;
    스튜디오에서 크로마키 촬영하여 연기자의 연기가 포함된 스튜디오 실사 영상을 생성하는 실사 촬영부;
    상기 실사 촬영부에서 촬영한 스튜디오 실사 영상을 토대로 상기 연기자의 표정 및 행동을 분석하는 분석부; 및
    상기 분석부와 무선 통신되되, 상기 분석부에서 분석된 사항을 토대로 3D 가상캐릭터 영상을 합성 및 편집하여 3D 기반 영상 콘텐츠를 생성하는 콘텐츠 생성부;를 포함하는 것을 특징으로 하는 표정 인식 가능한 영상 콘텐츠 제작 시스템.
  2. 제 1 항에 있어서,
    상기 분석부는,
    상기 스튜디오 실사 영상의 카메라앵글과 렌즈화각과 조리개값에 상응하도록가상공간상에서 상기 3D 가상 캐릭터의 카메라앵글과 렌즈화각과 조리개값을 분석하는 것을 특징으로 하는 표정 인식 가능한 영상 콘텐츠 제작 시스템.
  3. 제 1 항에 있어서,
    상기 분석부는,
    상기 스튜디오 실사 영상에 표시되는 연기자의 얼굴의 트랙킹 정보를 분석하는 것을 특징으로 하는 표정 인식 가능한 영상 콘텐츠 제작 시스템.
  4. 제 1 항에 있어서,
    상기 모션 캡쳐부는,
    상기 연기자의 대본텍스트에 따른 수어 관련 3D 모션 데이터를 생성하는 것을 특징으로 하는 표정 인식 가능한 영상 콘텐츠 제작 시스템.
  5. 캐릭터 생성부에서 3D 모델링 프로그램에 의해 3D 캐릭터를 생성하는 캐릭터 생성 단계;
    모션 캡쳐부에서 모션센서가 부착된 연기자의 모션을 캡쳐하여 3D 모션 데이터를 생성하는 모션 캡쳐 단계;
    페이션 캡쳐부에서 연기자가 착용 가능한 형태로 형성되되, 연기자의 표정을 캡쳐하여 표정 데이터를 생성하는 페이셜 캡쳐 단계;
    언리얼 게임엔진부에서 상기 3D 캐릭터에 상기 3D 모션 데이터와 상기 표정 데이터를 실시간으로 연동시켜 연기와 표정이 구현된 3D 가상 캐릭터를 생성하는 언리얼 게임엔진 단계;
    실사 촬영부에서 스튜디오에서 크로마키 촬영하여 연기자의 연기가 포함된 스튜디오 실사 영상을 생성하는 실사 촬영 단계;
    분석부에서 상기 실사 촬영부에서 촬영한 스튜디오 실사 영상을 토대로 상기 연기자의 표정 및 행동을 분석하는 분석 단계; 및
    콘텐츠 생성부에서 상기 분석부와 무선 통신되되, 상기 분석부에서 분석된 사항을 토대로 3D 가상캐릭터 영상을 합성 및 편집하여 3D 기반 영상 콘텐츠를 생성하는 콘텐츠 생성 단계;를 포함하는 것을 특징으로 하는 표정 인식 가능한 영상 콘텐츠 제작 방법.
KR1020220099248A 2022-08-09 2022-08-09 표정 인식 가능한 영상 콘텐츠 제작 시스템 및 방법 KR20240020923A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220099248A KR20240020923A (ko) 2022-08-09 2022-08-09 표정 인식 가능한 영상 콘텐츠 제작 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220099248A KR20240020923A (ko) 2022-08-09 2022-08-09 표정 인식 가능한 영상 콘텐츠 제작 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR20240020923A true KR20240020923A (ko) 2024-02-16

Family

ID=90056294

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220099248A KR20240020923A (ko) 2022-08-09 2022-08-09 표정 인식 가능한 영상 콘텐츠 제작 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR20240020923A (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101826025B1 (ko) 2016-07-22 2018-02-07 한국과학기술연구원 사용자 인터렉션이 가능한 3d 영상 콘텐츠 생성 시스템 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101826025B1 (ko) 2016-07-22 2018-02-07 한국과학기술연구원 사용자 인터렉션이 가능한 3d 영상 콘텐츠 생성 시스템 및 방법

Similar Documents

Publication Publication Date Title
CN111970535B (zh) 虚拟直播方法、装置、系统及存储介质
US11481943B2 (en) Information processing apparatus, information processing method, and program
US9939887B2 (en) Avatar control system
KR102503413B1 (ko) 애니메이션 인터랙션 방법, 장치, 기기 및 저장 매체
US10916044B2 (en) Information processing apparatus, information processing method, and program
US7053915B1 (en) Method and system for enhancing virtual stage experience
US20190197755A1 (en) Producing realistic talking Face with Expression using Images text and voice
JP4725936B1 (ja) 入力支援装置、入力支援方法及びプログラム
US11354871B2 (en) Head-mountable apparatus and methods
CN110750161A (zh) 一种交互系统、方法、移动设备及计算机可读介质
JP2016038601A (ja) Ｃｇキャラクタ対話装置及びｃｇキャラクタ対話プログラム
CN114155322A (zh) 一种场景画面的展示控制方法、装置以及计算机存储介质
Malleson et al. Rapid one-shot acquisition of dynamic VR avatars
KR20230127792A (ko) 3d 기반 영상 콘텐츠 제작 시스템
US20240054732A1 (en) Intermediary emergent content
KR20240020923A (ko) 표정 인식 가능한 영상 콘텐츠 제작 시스템 및 방법
JP2007026090A (ja) 映像作成装置
WO2023130715A1 (zh) 一种数据处理方法、装置、电子设备、计算机可读存储介质及计算机程序产品
US11222667B2 (en) Scene-creation using high-resolution video perspective manipulation and editing techniques
KR20120076456A (ko) 감성인식 아바타 미디어 제작 장치 및 방법
WO2023281803A1 (ja) 情報処理装置、情報処理方法および記憶媒体
US20240163414A1 (en) Information processing apparatus, information processing method, and system
Srinivasan Virtual 360-Degree Dramatic Theatre: A New Branch in Experimental Theatre
CN116863047A (zh) 一种在互动影视场景中的角色生成方法及装置
CN117135331A (zh) 一种用于生成3d数字人视频的方法及系统

Legal Events

Date Code Title Description
E902 Notification of reason for refusal