KR20230127792A - System for making picture contents based on 3 dimension - Google Patents

System for making picture contents based on 3 dimension Download PDF

Info

Publication number
KR20230127792A
KR20230127792A KR1020220025525A KR20220025525A KR20230127792A KR 20230127792 A KR20230127792 A KR 20230127792A KR 1020220025525 A KR1020220025525 A KR 1020220025525A KR 20220025525 A KR20220025525 A KR 20220025525A KR 20230127792 A KR20230127792 A KR 20230127792A
Authority
KR
South Korea
Prior art keywords
content
character
virtual character
dimensional
facial
Prior art date
Application number
KR1020220025525A
Other languages
Korean (ko)
Inventor
계영진
Original Assignee
주식회사 아리모아
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 아리모아 filed Critical 주식회사 아리모아
Priority to KR1020220025525A priority Critical patent/KR20230127792A/en
Publication of KR20230127792A publication Critical patent/KR20230127792A/en

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/203D [Three Dimensional] animation
    • G06T13/403D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
    • G10L21/10Transforming into visible information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/478Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4781Games
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/488Data services, e.g. news ticker
    • H04N21/4888Data services, e.g. news ticker for displaying teletext characters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/816Monomedia components thereof involving special video data, e.g 3D video

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Graphics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Economics (AREA)
  • Geometry (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Processing Or Creating Images (AREA)

Abstract

In accordance with the present invention, disclosed is a three-dimensional image content production system comprising: a character creation part (110) generating a three-dimensional character with a three-dimensional modeling program; a motion capture part (120) capturing a motion of an actor equipped with a motion sensor to generate three-dimensional motion data; a facial capture part (130) formed into a necklace or helmet shape to generate facial expression data by capturing a facial expression of the actor; an Unreal game engine part (140) creating a three-dimensional virtual character in which acting and facial expressions are implemented by linking the three-dimensional motion data and the facial expression data to the three-dimensional character in real time; an actual image photography part (150) generating a studio actual image including the actor by performing chromakey photography in a studio; and a content generation part (160) generating a three-dimensional virtual character image by setting a camera angle, a lens view angle and an aperture value of the three-dimensional virtual character on a virtual space to correspond to a camera angle, a lens view angle and an aperture value of the studio actual image, and editing and synthesizing the studio actual image and the three-dimensional virtual character image, thereby generating three-dimensional image content of live commerce, children song content, dance content or short form content. Therefore, the three-dimensional image content production system can quickly produce three-dimensional image content with simpler elements.

Description

3D 기반 영상 콘텐츠 제작 시스템{SYSTEM FOR MAKING PICTURE CONTENTS BASED ON 3 DIMENSION}3D-based video content production system {SYSTEM FOR MAKING PICTURE CONTENTS BASED ON 3 DIMENSION}

본 발명은 보다 간소한 구성에 의해 3D 기반 라이브커머스, 동요콘텐츠, 율동콘텐츠 또는 숏폼콘텐츠를 신속하게 제작하도록 하며, 보다 자연스러운 표정구현이 가능하도록 하며, 얼굴부위별로 미세하게 표정범위를 조절하여 보다 풍부하고 섬세한 표정을 구현할 수 있는, 3D 기반 영상 콘텐츠 제작 시스템에 관한 것이다.The present invention makes it possible to quickly produce 3D-based live commerce, nursery rhyme content, rhythmic content, or short-form content with a simpler configuration, and enables more natural expressions, and finely adjusts the range of expressions for each facial part to provide richer It relates to a 3D-based video content production system capable of realizing delicate facial expressions.

주지하는 바와 같이, 게임엔진은 본래 게임을 개발하기 위한 소프트웨어로서, 3D 그래픽을 표현하는 랜더링엔진, 물리적인 효과를 내는 물리엔진, 애니메이션, 인공 지능, 네트워크 등의 다양한 기능을 제공한다.As is well known, a game engine is originally software for developing a game, and provides various functions such as a rendering engine for expressing 3D graphics, a physics engine for generating physical effects, animation, artificial intelligence, and networks.

이와 같은 게임엔진의 그래픽은 에셋(asset)이라 불리는 모델링 등을 통하여 구현된 데이터를 받아 이를 랜더링하여 표현하게 되고, 에셋은 영상의 배경이나 캐릭터를 이루게 되는데, 캐릭터의 연기는 실제 연기자의 연기를 모션 캡처 시스템과 얼굴표정감지 시스템을 통하여 받아들여 캐릭터에 맵핑하여 캐릭터의 연기로 구현하여 화면을 구성할 수 있다.The graphics of such a game engine receives data implemented through modeling called assets and renders them, and the assets form the background or character of the video. It can be received through the capture system and facial expression detection system, mapped to a character, and implemented as a character's performance to compose a screen.

한편, 탈인형 또는 손인형 캐릭터가 등장하는 콘텐츠보다는 3D 캐릭터가 등장하는 콘텐츠의 활용도가 높은 편이므로, 모션캡쳐와 게임엔진을 활용하여 3D 기반 영상 콘텐츠를 제작하기도 한다.On the other hand, since content featuring 3D characters is more utilized than content featuring de-puppet or hand-puppet characters, 3D-based video content is sometimes produced using motion capture and game engines.

이에, 스튜디오 실사 영상과 3D 가상 캐릭터 영상의 합성시, 이질감을 최소화하여서 3D 기반 영상 콘텐츠를 제작하여 시청시 거부감을 최소화하고, 영상 콘텐츠의 조회수를 높일 필요성이 제기된다.Accordingly, there is a need to produce 3D-based video contents by minimizing the sense of heterogeneity when synthesizing a studio real-life video and a 3D virtual character video, thereby minimizing the feeling of rejection when viewing and increasing the number of views of the video content.

한국 공개특허공보 제10-2017-0119895호 (게임엔진을 이용한 영상제작 시스템, 2017.10.30)Korean Patent Publication No. 10-2017-0119895 (video production system using game engine, 2017.10.30) 한국 등록특허공보 제10-2254193호 (3차원 캐릭터를 생성하는 캐릭터 생성 시스템 및 그 방법, 2021.06.02)Korean Patent Registration No. 10-2254193 (Character creation system and method for creating 3D characters, 2021.06.02)

본 발명의 사상이 이루고자 하는 기술적 과제는, 보다 간소한 구성에 의해 3D 기반 라이브커머스, 동요콘텐츠, 율동콘텐츠 또는 숏폼콘텐츠를 신속하게 제작하도록 하며, 보다 자연스러운 표정구현이 가능하도록 하며, 얼굴부위별로 미세하게 표정범위를 조절하여 보다 풍부하고 섬세한 표정을 구현할 수 있는, 3D 기반 영상 콘텐츠 제작 시스템을 제공하는 데 있다.The technical problem to be achieved by the spirit of the present invention is to quickly produce 3D-based live commerce, children's song content, rhythmic content, or short-form content with a simpler configuration, to enable more natural facial expressions, and to create fine It is an object of the present invention to provide a 3D-based video content production system capable of implementing richer and more detailed facial expressions by adjusting the facial expression range appropriately.

전술한 목적을 달성하고자, 본 발명의 실시예는, 3D 모델링 프로그램에 의해 3D 캐릭터를 생성하는 캐릭터 생성부; 모션센서가 부착된 연기자의 모션을 캡쳐하여 3D 모션 데이터를 생성하는 모션 캡쳐부; 목걸이형 또는 헬맷형으로 구성되어, 연기자의 표정을 캡쳐하여 표정 데이터를 생성하는 페이셜 캡쳐부; 상기 3D 캐릭터에 상기 3D 모션 데이터와 상기 표정 데이터를 실시간으로 연동시켜 연기와 표정이 구현된 3D 가상 캐릭터를 생성하는, 언리얼 게임엔진부; 스튜디오에서 크로마키 촬영하여 출연자의 연기가 포함된 스튜디오 실사 영상을 생성하는 실사 촬영부; 및 상기 스튜디오 실사 영상의 카메라앵글과 렌즈화각과 조리개값에 상응하도록 가상공간상에서 상기 3D 가상 캐릭터의 카메라앵글과 렌즈화각과 조리개값을 세팅하여 3D 가상 캐릭터 영상을 생성하고, 상기 스튜디오 실사 영상과 상기 3D 가상 캐릭터 영상을 합성하고 편집하여서, 라이브커머스, 동요콘텐츠, 율동콘텐츠 또는 숏폼콘텐츠의 3D 기반 영상 콘텐츠를 생성하는, 콘텐츠 생성부;를 포함하는, 3D 기반 영상 콘텐츠 제작 시스템을 제공한다.In order to achieve the above object, an embodiment of the present invention, a character generation unit for generating a 3D character by a 3D modeling program; a motion capture unit generating 3D motion data by capturing a motion of an actor to which a motion sensor is attached; a facial capture unit configured in the form of a necklace or a helmet to capture a facial expression of an actor and generate facial expression data; an unreal game engine unit for generating a 3D virtual character with acting and expressions by linking the 3D motion data and the facial expression data with the 3D character in real time; A live-action filming unit that creates a studio live-action video including performers' acting by chroma-key shooting in a studio; And setting the camera angle, lens angle of view and aperture value of the 3D virtual character in virtual space to correspond to the camera angle, lens angle of view and aperture value of the studio live-action image to generate a 3D virtual character image, and the studio live-action image and the It provides a 3D-based video content production system including; a content creation unit that synthesizes and edits 3D virtual character images to generate 3D-based video content of live commerce, children's song content, rhythmic content, or short-form content.

여기서, 상기 언리얼 게임엔진부는 상기 표정 데이터를 변환하여 표정과 관련된 얼굴부위별로 표정범위를 조절할 수 있다.Here, the Unreal game engine unit may convert the facial expression data and adjust the facial expression range for each facial part related to the facial expression.

또한, 상기 언리얼 게임엔진부는, 시나리오에 따라 구현된 3D 가상공간에 상기 3D 캐릭터를 임포트하여 바디 리깅, 페이셜 리깅 및 라이팅을 세팅할 수 있다.In addition, the Unreal game engine unit may set body rigging, facial rigging, and lighting by importing the 3D character into a 3D virtual space implemented according to a scenario.

또한, 상기 콘텐츠 생성부는, 상기 3D 가상 캐릭터 영상의 카메라앵글과 렌즈화각과 조리개값을 세팅하고, 가상공간상에서의 1대 이상의 미리 세팅된 가상카메라를 선택하는 카메라 컨트롤 패드와, 상기 가상카메라의 카메라움직임과 다이나믹한 카메라앵글을 정교하게 조절하는 3D 스페이스마우스를 포함할 수 있다.In addition, the content creation unit may set a camera angle, a lens angle of view, and an aperture value of the 3D virtual character image, and a camera control pad for selecting one or more preset virtual cameras in a virtual space, and a camera of the virtual camera. It can include a 3D space mouse that finely adjusts movement and dynamic camera angles.

또한, 상기 모션 캡쳐부는 출연자의 대본텍스트에 따른 수어 관련 3D 모션 데이터를 생성하고, 상기 콘텐츠 생성부에서는, 상기 스튜디오 실사 영상과 상기 3D 가상 캐릭터 영상의 합성시, 출연자의 대본텍스트에 따라 발성된 음성과 실시간으로 연동하여 상기 3D 가상 캐릭터의 수어연기를 구현할 수 있다.In addition, the motion capture unit generates sign language-related 3D motion data according to the performer's script text, and in the content generator, when synthesizing the studio live action video and the 3D virtual character video, the voice uttered according to the performer's script text It is possible to realize the sign language performance of the 3D virtual character by interworking with in real time.

또한, 상기 3D 가상 캐릭터 영상의 생성시, 출연자와의 대본연기시에 출연자의 대본텍스트의 음성을 마이크를 통해 실시간으로 인식하고 식별하여, 음성엔진모듈에 의해 상기 3D 가상 캐릭터의 대본텍스트를 발성하도록 하거나, 대화풍선을 통해 상기 3D 가상 캐릭터의 대본텍스트에 따른 문장을 대화풍선을 통해 오버랩하여 표시할 수 있다.In addition, when the 3D virtual character image is generated and the script is performed with the performer, the voice of the performer's script text is recognized and identified in real time through a microphone, and the script text of the 3D virtual character is uttered by the voice engine module Alternatively, sentences according to the script text of the 3D virtual character may be overlapped and displayed through the dialog balloon.

또한, 상기 대본텍스트의 발성시, 립싱크 생성엔진에 의해, 발성에 따라 상기 3D 캐릭터의 입술모양을 일치시켜 립싱크처리할 수 있다.In addition, when the script text is uttered, lip sync processing may be performed by matching the shape of the lips of the 3D character according to the utterance by the lip sync generation engine.

또한, 상기 음성엔진모듈은, 출연자의 음성의 발화속도를 식별하고 발화속도에 상응하여 상기 3D 가상 캐릭터의 대본텍스트를 발성하도록 할 수 있다.In addition, the voice engine module may identify the speech speed of the performer's voice and utter script text of the 3D virtual character corresponding to the speech speed.

또한, 상기 페이셜 캡쳐부는 표정과 연동하여 눈동자 트래킹 데이터와 눈깜빡임 데이터와 입술 움직임 데이터가 포함된 표정 데이터를 생성할 수 있다.In addition, the facial capture unit may generate facial expression data including pupil tracking data, eye blink data, and lip movement data in conjunction with facial expressions.

본 발명에 의하면, 보다 간소한 구성에 의해 3D 기반 라이브커머스, 동요콘텐츠, 율동콘텐츠 또는 숏폼콘텐츠를 신속하게 제작하도록 하며, 보다 자연스러운 표정구현이 가능하도록 하며, 얼굴부위별로 미세하게 표정범위를 조절하여 보다 풍부하고 섬세한 표정을 구현할 수 있고, 3D 캐릭터의 수어연기를 구현하여 시청자 편의성을 제공할 수 있는 효과가 있다.According to the present invention, 3D-based live commerce, nursery rhyme content, rhythmic content, or short-form content can be quickly produced with a more simple configuration, and more natural expressions can be realized, and the expression range is finely adjusted for each face part. A richer and more detailed facial expression can be implemented, and sign language acting of a 3D character can be implemented to provide viewer convenience.

도 1은 본 발명의 실시예에 의한 3D 기반 영상 콘텐츠 제작 시스템의 개략적인 구성도를 도시한 것이다.
도 2는 도 1의 3D 기반 영상 콘텐츠 제작 시스템의 구현도를 예시한 것이다.
도 3은 도 2의 3D 기반 영상 콘텐츠 제작 시스템의 폐이셜 캡쳐부 및 카메라 컨트롤 패드와 3D 스페이스마우스를 각각 예시한 것이다.
도 4는 도 2의 3D 기반 영상 콘텐츠 제작 시스템에 의한 영상 콘텐츠 제작 과정을 각각 예시한 것이다.
도 5는 도 2의 3D 기반 영상 콘텐츠 제작 시스템에 의한 제작된 영상 콘텐츠를 각각 예시한 것이다.
1 shows a schematic configuration diagram of a 3D-based video contents production system according to an embodiment of the present invention.
FIG. 2 illustrates an implementation diagram of the 3D-based video contents production system of FIG. 1 .
FIG. 3 illustrates a lung capture unit, a camera control pad, and a 3D space mouse of the 3D-based video content production system of FIG. 2, respectively.
FIG. 4 illustrates each video content production process by the 3D-based video content production system of FIG. 2 .
FIG. 5 illustrates video contents produced by the 3D-based video contents production system of FIG. 2 .

이하, 첨부된 도면을 참조로 전술한 특징을 갖는 본 발명의 실시예를 더욱 상세히 설명하고자 한다.Hereinafter, embodiments of the present invention having the above-described characteristics will be described in more detail with reference to the accompanying drawings.

본 발명의 실시예에 의한 3D 기반 영상 콘텐츠 제작 시스템은, 3D 모델링 프로그램에 의해 3D 캐릭터를 생성하는 캐릭터 생성부(110), 모션센서가 부착된 연기자의 모션을 캡쳐하여 3D 모션 데이터를 생성하는 모션 캡쳐부(120), 목걸이형 또는 헬맷형으로 구성되어, 연기자의 표정을 캡쳐하여 표정 데이터를 생성하는 페이셜 캡쳐부(130), 3D 캐릭터에 3D 모션 데이터와 표정 데이터를 실시간으로 연동시켜 연기와 표정이 구현된 3D 가상 캐릭터를 생성하는, 언리얼 게임엔진부(140), 스튜디오에서 크로마키 촬영하여 출연자가 포함된 스튜디오 실사 영상을 생성하는 실사 촬영부(150), 및 스튜디오 실사 영상의 카메라앵글과 렌즈화각과 조리개값에 상응하도록 가상공간상에서 3D 가상 캐릭터의 카메라앵글과 렌즈화각과 조리개값을 세팅하여 3D 가상 캐릭터 영상을 생성하고, 스튜디오 실사 영상과 3D 가상 캐릭터 영상을 편집하고 합성하여서, 라이브커머스, 동요콘텐츠, 율동콘텐츠 또는 숏폼콘텐츠의 3D 기반 영상 콘텐츠를 생성하는, 콘텐츠 생성부(160)를 포함하여, 보다 간소한 구성에 의해 3D 기반 영상 콘텐츠를 신속하게 제작하는 것을 요지로 한다.A 3D-based video content production system according to an embodiment of the present invention includes a character creation unit 110 that creates a 3D character by a 3D modeling program, and motion that captures motion of an actor to which a motion sensor is attached to generate 3D motion data. Capture unit 120, composed of a necklace type or helmet type, facial capture unit 130 that captures an actor's expression and generates facial expression data, acting and facial expression by linking 3D motion data and facial expression data to a 3D character in real time Unreal game engine unit 140, which generates the implemented 3D virtual character, live-action filming unit 150, which creates a studio live-action video including performers by chroma key shooting in a studio, and camera angle and lens of the studio live-action video 3D virtual character video is created by setting the camera angle, lens angle of view and aperture value of the 3D virtual character in virtual space to correspond to the angle of view and aperture value, and by editing and synthesizing the studio real-life video and 3D virtual character video, live commerce, The main point is to rapidly produce 3D-based video contents with a simpler configuration, including a content generator 160 that generates 3D-based video contents of children's song content, rhythmic content, or short-form content.

이하, 도 1 내지 도 5를 참조하여, 전술한 구성의 3D 기반 영상 콘텐츠 제작 시스템을 구체적으로 상술하면 다음과 같다.Hereinafter, with reference to FIGS. 1 to 5, the detailed description of the 3D-based video content production system having the above configuration is as follows.

우선, 캐릭터 생성부(110)는 3D 모델링 프로그램에 의해, 라이브커머스, 동요콘텐츠, 율동콘텐츠 또는 숏폼콘텐츠에 적합한 다양한 3D 캐릭터를 생성하여 캐릭터 라이브러리에 저장한다.First, the character creation unit 110 creates various 3D characters suitable for live commerce, children's song content, rhythm content, or short-form content using a 3D modeling program and stores them in a character library.

다음, 모션 캡쳐부(120)는 모션센서가 부착된 연기자의 모션을 감지하고 캡쳐하여 3D 캐릭터와 연동되는 3D 모션 데이터를 생성하여 모션 라이브러리(121)에 저장한다.Next, the motion capture unit 120 detects and captures the motion of an actor to which a motion sensor is attached, generates 3D motion data linked with a 3D character, and stores the motion data in the motion library 121 .

여기서, 모션센서는 다수의 자이로센서, 가속도센서, 지자기센서 또는 광학방식의 3D 센서일 수 있다.Here, the motion sensor may be a plurality of gyro sensors, acceleration sensors, geomagnetic sensors, or optical 3D sensors.

다음, 페이셜 캡쳐부(130)는, 도 3의 (a)에 예시된 바와 같이. 목걸이형 또는 헬맷형으로 구성되어, 라이브링크 페이스 소프트웨어가 설치된 아이폰 등의 스마트기기의 카메라를 통해 연기자의 얼굴 표정을 캡쳐하여 다양한 표정 데이터를 생성하여 표정 라이브러리(131)에 저장한다.Next, the facial capture unit 130, as illustrated in (a) of FIG. It is composed of a necklace type or a helmet type, and captures the facial expression of the actor through the camera of a smart device such as an iPhone with Live Link Face software installed, generates various expression data, and stores them in the expression library 131.

한편, 페이셜 캡쳐부(130)는 연기자의 표정과 연동하여 눈동자 트래킹 데이터와 눈깜빡임 데이터와 입술 움직임 데이터가 포함된 표정 데이터를 생성하여, 얼굴 근육 움직임과 연동하여 보다 자연스러운 표정구현이 가능하도록 할 수도 있다.On the other hand, the facial capture unit 130 may generate facial expression data including pupil tracking data, eye blink data, and lip movement data in conjunction with the actor's expression, so that a more natural facial expression can be realized in association with facial muscle movement. there is.

다음, 언리얼 게임엔진부(140)는 3D 캐릭터에 3D 모션 데이터와 표정 데이터를 각각 불러들여 상호 실시간으로 연동시켜서, 라이브커머스, 동요콘텐츠, 율동콘텐츠 또는 숏폼콘텐츠의 시나리오에 적용되는 연기와 표정이 매칭되어 구현된 3D 가상 캐릭터를 생성한다.Next, the Unreal game engine unit 140 loads 3D motion data and facial expression data into the 3D character and interlocks them in real time, so that the acting and expression applied to the scenario of live commerce, children's song content, rhythmic content, or short-form content are matched to create a 3D virtual character that has been implemented.

한편, 언리얼 게임엔진부(140)는 표정 라이브러리(131)에 표정 데이터를 변환하여 표정과 관련된 얼굴부위별로 표정범위를 조절하는 표정조절모듈을 구비하여, 연기자의 부재 또는 변경시 표정조절모듈을 통해 표정 데이터를 변환하여 3D 캐릭터에 적용하거나, 얼굴부위별로 미세하게 표정범위, 예컨대, 미소부터 함박웃음까지의 보다 풍부하고 섬세한 표정을 단계적으로 구현할 수도 있다.On the other hand, the Unreal game engine unit 140 converts facial expression data into the expression library 131 and is provided with an expression control module that adjusts the expression range for each facial part related to the expression, and when the actor is absent or changes, through the expression control module. Expression data may be converted and applied to a 3D character, or richer and more detailed expressions may be implemented step by step, such as a range of facial expressions finely for each facial part, for example, from a smile to a big smile.

또한, 언리얼 게임엔진부(140)는, 해당 시나리오에 따라 구현된 각각의 3D 가상공간에 3D 캐릭터를 임포트하여 바디 리깅(body rigging), 페이셜 리깅(facial rigging) 및 라이팅(lighting)을 세팅할 수 있다.In addition, the Unreal game engine unit 140 can set body rigging, facial rigging, and lighting by importing 3D characters into each 3D virtual space implemented according to the scenario. there is.

다음, 실사 촬영부(150)는 크로마키 배경의 스튜디오에서 크로마키 촬영하여 출연자의 연기가 포함된 스튜디오 실사 영상을 생성한다.Next, the live-action filming unit 150 performs chroma-key photography in a studio with a chroma-key background to generate a studio live-action video including the performer's performance.

다음, 콘텐츠 생성부(160)는 스튜디오 실사 영상에 적용된 카메라앵글과 렌즈화각과 조리개값에 상응하도록 가상공간상에서 3D 가상 캐릭터의 카메라앵글과 렌즈화각과 조리개값을 세팅하여 스튜디오 실사 영상의 구도에 적합한 3D 가상 캐릭터 영상을 생성하고, 최종적으로, 중앙통제 모니터(164)를 통해, 스튜디오 실사 영상과 3D 가상 캐릭터 영상을 합성하고 편집하여서, 라이브커머스, 동요콘텐츠, 율동콘텐츠 또는 숏폼콘텐츠의 3D 기반 영상 콘텐츠를 생성한다.Next, the content creation unit 160 sets the camera angle, lens angle of view, and aperture value of the 3D virtual character in the virtual space to correspond to the camera angle, lens angle of view, and aperture value applied to the studio live-action video, so that it is suitable for the composition of the studio live-action video. 3D-based video content of live commerce, children's song content, rhythmic content, or short-form content by generating a 3D virtual character image and finally synthesizing and editing the studio real-life video and 3D virtual character video through the central control monitor 164 generate

또한, 콘텐츠 생성부(160)는, 3D 가상 캐릭터 영상의 카메라앵글과 렌즈화각과 조리개값을 세팅하고, 가상공간상에서의 1대 이상의 미리 세팅된 가상카메라를 선택하는 아이패드 등의 카메라 컨트롤 패드(161)(도 3의 (b) 참조)와, 가상카메라의 카메라움직임과 다이나믹한 카메라앵글을 정교하게 조절하는 3D 스페이스마우스(162)(도 3의 (c) 참조)를 포함할 수 있다.In addition, the content generator 160 sets the camera angle, lens angle of view, and aperture value of the 3D virtual character image, and selects one or more preset virtual cameras in the virtual space using a camera control pad such as an iPad ( 161) (see FIG. 3(b)) and a 3D space mouse 162 (see FIG. 3(c)) that precisely adjusts the camera movement and dynamic camera angle of the virtual camera.

또한, 콘텐츠 생성부(160)는 실사촬영 영상캡쳐와 카메라 전환과 음향발수신 기능을 구비한 스위처(163)를 포함할 수 있다.In addition, the content creation unit 160 may include a switcher 163 equipped with live action video capture, camera switching, and sound transmission/reception functions.

또한, 스튜디오 실사 영상의 조명수, 조명각도 또는 조명세기와 일치하도록 가상공간상에서의 조명의 세팅값을 설정하여서, 스튜디오 실사 영상과 3D 가상 캐릭터 영상의 합성시 이질감이 최소화되도록 할 수도 있다.In addition, by setting the lighting setting value in the virtual space to match the number of lights, lighting angle, or light intensity of the studio real-life video, it is possible to minimize the sense of heterogeneity when synthesizing the studio real-life video and the 3D virtual character image.

한편, 모션 캡쳐부(120)는, 시나리오에 따른 출연자의 대본텍스트에 따른 수어 관련 팔과 손과 손가락의 3D 모션 데이터를 미리 생성하고, 콘텐츠 생성부(160)에서는, 스튜디오 실사 영상과 3D 가상 캐릭터 영상의 합성시, 출연자의 대본텍스트에 따라 발성된 음성과 실시간으로 연동하여 3D 가상 캐릭터의 수어연기를 구현하도록 하여서, 음성과 실시간으로 매칭되도록 3D 가상 캐릭터가 수어를 제공하여 청각이 정상적이지 않은 시청자도 영상 콘텐츠를 이해하도록 하고, 3D 가상 캐릭터에 의해 친근감을 주어 거부감없이 시청하도록 할 수도 있다.On the other hand, the motion capture unit 120 generates in advance 3D motion data of sign language-related arms, hands, and fingers according to script texts of performers according to scenarios, and in the content generator 160, studio live-action video and 3D virtual characters When synthesizing the video, the 3D virtual character's sign language is realized in real time by linking with the voice spoken according to the script text of the performer, so that the 3D virtual character provides sign language to match the voice in real time, so that viewers with abnormal hearing Also, it is possible to understand the video content and to give a sense of familiarity through 3D virtual characters so that it can be viewed without feeling repulsive.

또한, 3D 가상 캐릭터 영상의 생성시, 출연자와의 대본연기시에 출연자의 대본텍스트의 음성을 마이크를 통해 실시간으로 인식하고 식별하여, 음성엔진모듈에 의해 3D 가상 캐릭터의 대본텍스트를 발성하도록 하거나, 대화풍선을 통해 출연자 또는 3D 가상 캐릭터의 대본텍스트에 따른 문장을 대화풍선을 통해 오버랩하여 표시하여서, 다양한 글씨체와 색상을 가진 자막을 활용하여 시청몰입도를 높이도록 할 수도 있다.In addition, when generating a 3D virtual character image or performing a script with a performer, the voice of the script text of the performer is recognized and identified in real time through a microphone, so that the voice engine module utters the script text of the 3D virtual character, Sentences according to the script text of the performer or 3D virtual character may be overlapped and displayed through the dialog balloon, so that the viewer's immersion may be increased by using subtitles having various fonts and colors.

여기서, 3D 가상 캐릭터에 의한 대본텍스트의 발성시, 립싱크 생성엔진에 의해, 발성에 따라 3D 캐릭터의 입술모양을 일치시켜 립싱크처리하여서, 3D 가상 캐릭터의 발성을 보다 자연스럽게 하여 거부감을 최소화할 수도 있다.Here, when the script text is uttered by the 3D virtual character, the lip sync generation engine matches the shape of the lips of the 3D character according to the utterance, so that the utterance of the 3D virtual character is more natural and the feeling of rejection can be minimized.

또한, 음성엔진모듈은, 출연자의 음성의 발화속도와 음성톤을 식별하고 발화속도와 음성톤에 상응하거나 유사한 발화속도와 음성톤으로 3D 가상 캐릭터의 대본텍스트를 발성하도록 하여, 출연자와 3D 가상 캐릭터 사이의 대화를 보다 자연스럽게 하여 출연자와 3D 가상 캐릭터 사이의 대화에서의 이질감을 최소화하도록 할 수도 있다.In addition, the voice engine module identifies the speech speed and voice tone of the performer's voice and utters the script text of the 3D virtual character with a speech speed and voice tone corresponding to or similar to the speech speed and voice tone, so that the performer and the 3D virtual character It is possible to minimize the sense of difference in the conversation between the performer and the 3D virtual character by making the conversation between the performers more natural.

도 4는 도 2의 3D 기반 영상 콘텐츠 제작 시스템에 의한 영상 콘텐츠 제작 과정을 각각 예시한 것으로, 이를 간략히 상술하면, 모션 캡쳐부(120)에 의해 모션센서가 부착된 연기자의 모션을 감지하고 캡쳐하여 3D 캐릭터와 연동되는 3D 모션 데이터를 생성하며, 페이셜 캡쳐부(130)에 의해 라이브링크 페이스 소프트웨어가 설치된 아이폰 등의 스마트기기의 카메라를 통해 연기자의 얼굴 표정을 캡쳐하여 다양한 표정 데이터를 생성하고(a), 언리얼 게임엔진부(140)에 의해 3D 캐릭터에 3D 모션 데이터와 표정 데이터를 각각 불러들여 상호 실시간으로 연동시켜서, 라이브커머스, 동요콘텐츠, 율동콘텐츠 또는 숏폼콘텐츠의 시나리오에 적용되는 연기와 표정이 매칭되어 구현된 3D 가상 캐릭터를 생성하고(b), 콘텐츠 생성부(160)에 의해 스튜디오 실사 영상과 3D 가상 캐릭터 영상을 합성하고 편집하여서, 도 5에 예시된 바와 같이, 동요콘텐츠, 율동콘텐츠, 라이브커머스, TV시리즈 애니메이션 또는 VR/AR 콘텐츠의 3D 기반 영상 콘텐츠를 생성한다(c).FIG. 4 illustrates each video content production process by the 3D-based video content production system of FIG. 3D motion data linked with a 3D character is generated, and various expression data are generated by capturing facial expressions of an actor through a camera of a smart device such as an iPhone in which Live Link Face software is installed by the facial capture unit 130 (a ), the Unreal game engine unit 140 loads 3D motion data and facial expression data into 3D characters and interlocks them in real time, so that acting and facial expressions applied to scenarios of live commerce, children's song content, rhythmic content, or short-form content By creating a 3D virtual character that is matched and implemented (b), and synthesizing and editing the studio real-life video and the 3D virtual character video by the content creation unit 160, as illustrated in FIG. 5, children's song content, rhythmic content, Create 3D-based video content for live commerce, TV series animation, or VR/AR content (c).

따라서, 전술한 바와 같은 3D 기반 영상 콘텐츠 제작 시스템의 구성에 의해서, 보다 간소한 구성에 의해 3D 기반 라이브커머스, 동요콘텐츠, 율동콘텐츠 또는 숏폼콘텐츠를 신속하게 제작하도록 하며, 보다 자연스러운 표정구현이 가능하도록 하며, 얼굴부위별로 미세하게 표정범위를 조절하여 보다 풍부하고 섬세한 표정을 구현할 수 있고, 3D 캐릭터의 수어연기를 구현하여 시청자 편의성을 제공할 수 있다.Therefore, by the configuration of the 3D-based video content production system as described above, 3D-based live commerce, nursery rhyme content, rhythmic content, or short-form content can be quickly produced by a simpler configuration, and more natural expressions can be realized. It is possible to finely adjust the expression range for each face part to implement a richer and more delicate expression, and to provide viewer convenience by implementing sign language acting of a 3D character.

본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원 시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.The embodiments described in this specification and the configurations shown in the drawings are only one of the most preferred embodiments of the present invention, and do not represent all of the technical spirit of the present invention, so various equivalents that can replace them at the time of this application. It should be understood that there may be waters and variations.

110 : 캐릭터 생성부 120 : 모션 캡쳐부
121 : 모션 라이브러리 130 : 페이셜 캡쳐부
131 : 표정 라이브러리 140 : 언리얼 게임엔진부
150 : 실사 촬영부 160 : 콘텐츠 생성부
161 : 카메라 컨트롤 패드 162 : 3D 스페이스마우스
163 : 스위처 164 : 중앙통제 모니터
110: character creation unit 120: motion capture unit
121: motion library 130: facial capture unit
131: expression library 140: Unreal game engine
150: live action shooting unit 160: content creation unit
161: camera control pad 162: 3D space mouse
163: switcher 164: central control monitor

Claims (9)

3D 모델링 프로그램에 의해 3D 캐릭터를 생성하는 캐릭터 생성부;
모션센서가 부착된 연기자의 모션을 캡쳐하여 3D 모션 데이터를 생성하는 모션 캡쳐부;
목걸이형 또는 헬맷형으로 구성되어, 연기자의 표정을 캡쳐하여 표정 데이터를 생성하는 페이셜 캡쳐부;
상기 3D 캐릭터에 상기 3D 모션 데이터와 상기 표정 데이터를 실시간으로 연동시켜 연기와 표정이 구현된 3D 가상 캐릭터를 생성하는, 언리얼 게임엔진부;
스튜디오에서 크로마키 촬영하여 출연자의 연기가 포함된 스튜디오 실사 영상을 생성하는 실사 촬영부; 및
상기 스튜디오 실사 영상의 카메라앵글과 렌즈화각과 조리개값에 상응하도록 가상공간상에서 상기 3D 가상 캐릭터의 카메라앵글과 렌즈화각과 조리개값을 세팅하여 3D 가상 캐릭터 영상을 생성하고, 상기 스튜디오 실사 영상과 상기 3D 가상 캐릭터 영상을 합성하고 편집하여서, 라이브커머스, 동요콘텐츠, 율동콘텐츠 또는 숏폼콘텐츠의 3D 기반 영상 콘텐츠를 생성하는, 콘텐츠 생성부;를 포함하는,
3D 기반 영상 콘텐츠 제작 시스템.
Character generation unit for generating a 3D character by a 3D modeling program;
a motion capture unit generating 3D motion data by capturing a motion of an actor to which a motion sensor is attached;
a facial capture unit configured in the form of a necklace or a helmet to capture a facial expression of an actor and generate facial expression data;
an unreal game engine unit for generating a 3D virtual character with acting and expressions by linking the 3D motion data and the facial expression data with the 3D character in real time;
A live-action filming unit that creates a studio live-action video including performers' acting by chroma-key shooting in a studio; and
A 3D virtual character image is created by setting the camera angle, lens angle of view, and aperture value of the 3D virtual character in virtual space to correspond to the camera angle, lens angle of view, and aperture value of the studio live-action video, and the studio live-action video and the 3D A content creation unit that synthesizes and edits virtual character images to create 3D-based video content of live commerce, children's song content, rhythm content, or short-form content;
3D-based video contents production system.
제1항에 있어서,
상기 언리얼 게임엔진부는 상기 표정 데이터를 변환하여 표정과 관련된 얼굴부위별로 표정범위를 조절하는 것을 특징으로 하는,
3D 기반 영상 콘텐츠 제작 시스템.
According to claim 1,
Characterized in that the Unreal game engine unit converts the expression data and adjusts the expression range for each facial part related to the expression.
3D-based video contents production system.
제1항에 있어서,
상기 언리얼 게임엔진부는, 시나리오에 따라 구현된 3D 가상공간에 상기 3D 캐릭터를 임포트하여 바디 리깅, 페이셜 리깅 및 라이팅을 세팅하는 것을 특징으로 하는,
3D 기반 영상 콘텐츠 제작 시스템.
According to claim 1,
Characterized in that the Unreal game engine unit sets body rigging, facial rigging, and lighting by importing the 3D character into a 3D virtual space implemented according to a scenario.
3D-based video contents production system.
제1항에 있어서,
상기 콘텐츠 생성부는, 상기 3D 가상 캐릭터 영상의 카메라앵글과 렌즈화각과 조리개값을 세팅하고, 가상공간상에서의 1대 이상의 미리 세팅된 가상카메라를 선택하는 카메라 컨트롤 패드와, 상기 가상카메라의 카메라움직임과 다이나믹한 카메라앵글을 정교하게 조절하는 3D 스페이스마우스를 포함하는 것을 특징으로 하는,
3D 기반 영상 콘텐츠 제작 시스템.
According to claim 1,
The content creation unit sets the camera angle, lens angle of view, and aperture value of the 3D virtual character image, and a camera control pad for selecting one or more preset virtual cameras in a virtual space; Characterized in that it includes a 3D space mouse that precisely adjusts the dynamic camera angle.
3D-based video contents production system.
제1항에 있어서,
상기 모션 캡쳐부는 출연자의 대본텍스트에 따른 수어 관련 3D 모션 데이터를 생성하고,
상기 콘텐츠 생성부에서는, 상기 스튜디오 실사 영상과 상기 3D 가상 캐릭터 영상의 합성시, 출연자의 대본텍스트에 따라 발성된 음성과 실시간으로 연동하여 상기 3D 가상 캐릭터의 수어연기를 구현하는 것을 특징으로 하는,
3D 기반 영상 콘텐츠 제작 시스템.
According to claim 1,
The motion capture unit generates sign language-related 3D motion data according to the performer's script text;
Characterized in that the content creation unit realizes sign language acting of the 3D virtual character in real-time in conjunction with a voice uttered according to a performer's script text when synthesizing the live-action studio video and the 3D virtual character video,
3D-based video contents production system.
제1항에 있어서,
상기 3D 가상 캐릭터 영상의 생성시, 출연자와의 대본연기시에 출연자의 대본텍스트의 음성을 마이크를 통해 실시간으로 인식하고 식별하여, 음성엔진모듈에 의해 상기 3D 가상 캐릭터의 대본텍스트를 발성하도록 하거나, 대화풍선을 통해 상기 3D 가상 캐릭터의 대본텍스트에 따른 문장을 대화풍선을 통해 오버랩하여 표시하는 것을 특징으로 하는,
3D 기반 영상 콘텐츠 제작 시스템.
According to claim 1,
When the 3D virtual character image is generated, when the script is performed with the performer, the voice of the performer's script text is recognized and identified in real time through a microphone, and the script text of the 3D virtual character is uttered by a voice engine module, Characterized in that the sentence according to the script text of the 3D virtual character is overlapped and displayed through the dialog balloon,
3D-based video contents production system.
제6항에 있어서,
상기 대본텍스트의 발성시, 립싱크 생성엔진에 의해, 발성에 따라 상기 3D 캐릭터의 입술모양을 일치시켜 립싱크처리하는 것을 특징으로 하는,
3D 기반 영상 콘텐츠 제작 시스템.
According to claim 6,
Characterized in that, when the script text is uttered, lip sync processing is performed by matching the lip shape of the 3D character according to the utterance by a lip sync generation engine.
3D-based video contents production system.
제6항에 있어서,
상기 음성엔진모듈은, 출연자의 음성의 발화속도를 식별하고 발화속도에 상응하여 상기 3D 가상 캐릭터의 대본텍스트를 발성하도록 하는 것을 특징으로 하는,
3D 기반 영상 콘텐츠 제작 시스템.
According to claim 6,
Characterized in that the voice engine module identifies the speaking speed of the performer's voice and utters the script text of the 3D virtual character corresponding to the speech speed.
3D-based video contents production system.
제1항에 있어서,
상기 페이셜 캡쳐부는 표정과 연동하여 눈동자 트래킹 데이터와 눈깜빡임 데이터와 입술 움직임 데이터가 포함된 표정 데이터를 생성하는 것을 특징으로 하는,
3D 기반 영상 콘텐츠 제작 시스템.
According to claim 1,
Characterized in that the facial capture unit generates expression data including eye tracking data, eye blink data, and lip movement data in conjunction with facial expressions,
3D-based video contents production system.
KR1020220025525A 2022-02-25 2022-02-25 System for making picture contents based on 3 dimension KR20230127792A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220025525A KR20230127792A (en) 2022-02-25 2022-02-25 System for making picture contents based on 3 dimension

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220025525A KR20230127792A (en) 2022-02-25 2022-02-25 System for making picture contents based on 3 dimension

Publications (1)

Publication Number Publication Date
KR20230127792A true KR20230127792A (en) 2023-09-01

Family

ID=87975222

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220025525A KR20230127792A (en) 2022-02-25 2022-02-25 System for making picture contents based on 3 dimension

Country Status (1)

Country Link
KR (1) KR20230127792A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102602936B1 (en) * 2023-07-14 2023-11-16 (주)엔아이지씨 Electronic device for generating short form based on collected data through artificial intelligence and method using the same

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170119895A (en) 2016-04-20 2017-10-30 (주)위지윅스튜디오 Video production system using game engine
KR102254193B1 (en) 2020-08-12 2021-06-02 주식회사 오텀리브스 System of generating animation character and Method thereof

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170119895A (en) 2016-04-20 2017-10-30 (주)위지윅스튜디오 Video production system using game engine
KR102254193B1 (en) 2020-08-12 2021-06-02 주식회사 오텀리브스 System of generating animation character and Method thereof

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102602936B1 (en) * 2023-07-14 2023-11-16 (주)엔아이지씨 Electronic device for generating short form based on collected data through artificial intelligence and method using the same

Similar Documents

Publication Publication Date Title
US9939887B2 (en) Avatar control system
KR102488458B1 (en) Mouth shape synthesis device and method using artificial neural network including face discriminator
JP4725936B1 (en) Input support apparatus, input support method, and program
US7053915B1 (en) Method and system for enhancing virtual stage experience
JP2021192222A (en) Video image interactive method and apparatus, electronic device, computer readable storage medium, and computer program
US8655152B2 (en) Method and system of presenting foreign films in a native language
CN114357135B (en) Interaction method, interaction device, electronic equipment and storage medium
WO2022106654A2 (en) Methods and systems for video translation
JP2019523902A (en) Method and apparatus for generating a virtual or augmented reality presentation using 3D audio positioning
CN110266973A (en) Method for processing video frequency, device, computer readable storage medium and computer equipment
JP2002150317A (en) Image display device
JP2005518581A (en) Method and system for generating a cartoonized talking head
US11211074B2 (en) Presentation of audio and visual content at live events based on user accessibility
JP2016038601A (en) Cg character interaction device and cg character interaction program
KR20230127792A (en) System for making picture contents based on 3 dimension
US20230326161A1 (en) Data processing method and apparatus, electronic device, computer-readable storage medium, and computer program product
CN116016986A (en) Virtual person interactive video rendering method and device
KR20240020923A (en) System and method of face recognizable video content procution
KR102360919B1 (en) A host video directing system based on voice dubbing
Tsioustas et al. Innovative applications of natural language processing and digital media in theatre and performing arts
Wolfe et al. Exploring localization for mouthings in sign language avatars
TWI706292B (en) Virtual Theater Broadcasting System
US20210134327A1 (en) Scene-creation using high-resolution video perspective manipulation and editing techniques
JPH11149285A (en) Image acoustic system
US10139780B2 (en) Motion communication system and method

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E601 Decision to refuse application