KR101858168B1 - System and method of providing interactive anmation system based on remote-control using digital character - Google Patents

System and method of providing interactive anmation system based on remote-control using digital character Download PDF

Info

Publication number
KR101858168B1
KR101858168B1 KR1020170000214A KR20170000214A KR101858168B1 KR 101858168 B1 KR101858168 B1 KR 101858168B1 KR 1020170000214 A KR1020170000214 A KR 1020170000214A KR 20170000214 A KR20170000214 A KR 20170000214A KR 101858168 B1 KR101858168 B1 KR 101858168B1
Authority
KR
South Korea
Prior art keywords
motion
digital character
real time
information
animation
Prior art date
Application number
KR1020170000214A
Other languages
Korean (ko)
Inventor
박일호
나경우
Original Assignee
(주) 마로스튜디오
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주) 마로스튜디오 filed Critical (주) 마로스튜디오
Priority to KR1020170000214A priority Critical patent/KR101858168B1/en
Application granted granted Critical
Publication of KR101858168B1 publication Critical patent/KR101858168B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/503—Blending, e.g. for anti-aliasing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware

Abstract

Disclosed are a system and method for providing a remote control-based interactive animation using a digital character. The system for providing an interactive animation includes: a motion sensing device for creating motion information by sensing a motion of an actor and transmitting the created motion information in real time; a relay server (intermediate server) for receiving the motion information in real time from the motion sensing device, searching for a digital character of the motion information received in real time, and transmitting the searched digital character and the motion information in real time; and an animation display device for receiving the digital character and the motion information in real time from the relay server, and displaying in real time the digital character received in real time by applying the motion information received in real time. According to the system and method for providing a remote control-based interactive animation using a digital character as described above, since motions and expressions of a motion actor are sensed in real time and applied to a digital character of an animation, real-time performance of the motion actor can be appreciated through the animation.

Description

디지털 캐릭터를 이용한 원격제어 기반의 인터렉티브 애니메이션 제공 시스템 및 제공 방법{SYSTEM AND METHOD OF PROVIDING INTERACTIVE ANMATION SYSTEM BASED ON REMOTE-CONTROL USING DIGITAL CHARACTER}TECHNICAL FIELD [0001] The present invention relates to a system and a method for providing an interactive animation based on a remote control using a digital character,

본 발명은 인터렉티브 애니메이션(interactive animation) 제공 시스템 및 제공 방법에 관한 것으로서, 구체적으로는 디지털 캐릭터(Digital Character)를 이용한 원격제어 기반의 인터렉티브 애니메이션 제공 시스템 및 제공 방법에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a system and a method for providing an interactive animation, and more particularly, to a system and a method for providing an interactive animation based on a remote control using a digital character.

종래의 애니메이션(animation)은 다양한 기법을 통해 제작되는데, 그 중 모션(motion) 배우의 모션에 의해 움직이는 디지털 캐릭터(Digital Character)가 이용되기도 한다. 모션 배우의 섬세한 몸 동작과 손가락 움직임 그리고 표정까지도 세밀하게 디지털 캐릭터를 통해 표현된다.Conventional animation is produced through various techniques, among which a digital character moving by motion of a motion actor is used. Motion actor's delicate body movements, finger movements and expressions are expressed in detail through digital characters.

그런데, 이러한 움직임이나 표정 등은 모션 배우의 모션 감지 데이터를 디지털 캐릭터에 미리 적용하여 애니메이션을 생성하게 되며, 실시간으로 배우의 동작이 애니메이션의 디지털 캐릭터에 적용되지는 않는다. 디지털 캐릭터를 통해 섬세한 동작과 움직임을 구현하기에는 그 데이터 양이 매우 많고 구현의 정확도도 떨어지기 때문이다.However, such movements and facial expressions generate animations by preliminarily applying motion detection data of a motion actor to a digital character, and an actor's motion in real time is not applied to a digital character of an animation in real time. This is because the amount of data is very large and the accuracy of implementation is low to achieve delicate motion and movement through digital characters.

한편, 캐릭터 퍼포먼스(character performance) 영상은 그 제공자가 이를 시청하는 시청자에게 일방적으로 제공하는 패러다임(paradigm)에 따라 구현되며, 원격지에서 이를 시청하는 시청자들의 반응을 볼 수 있다거나 이를 고려하여 애니메이션의 스토리를 달리 설정하거나 상호 간에 상호 작용을 할 수 있는 방식은 적용된 바 없다.On the other hand, a character performance image is implemented in accordance with a paradigm that a provider unilaterally provides to viewers who view the character performance, and a viewer can see the reaction of the viewer watching the remote performance, There is no way to set them differently or to interact with each other.

여러 관객들이 있는 경우 그 반응에 따라 애니메이션의 디지털 캐릭터가 연기를 다르게 하거나 반응을 고려하여 연기를 하는 경우, 관객들의 호응과 참여를 높이고 영상의 흥미를 더 높일 수 있게 될 수 있다.If there are multiple audiences, if the animated digital characters are acting differently according to the reaction or acting according to the reaction, it may be possible to enhance the audience 's response and participation and increase the interest of the image.

10-130622110-1306221

본 발명의 목적은 디지털캐릭터를 이용한 원격제어 기반의 인터렉티브 애니메이션 제공 시스템을 제공하는 데 있다.An object of the present invention is to provide a system for providing an interactive animation based on a remote control using a digital character.

본 발명의 다른 목적은 디지털캐릭터를 이용한 원격제어 기반의 인터렉티브 애니메이션 제공 방법을 제공하는 데 있다.It is another object of the present invention to provide a method for providing an interactive animation based on a remote control using a digital character.

상술한 본 발명의 목적에 따른 디지털캐릭터를 이용한 원격제어 기반의 인터렉티브 애니메이션 제공 시스템은, 배우의 모션(motion)을 감지하여 모션 정보를 생성하고, 생성된 모션 정보를 실시간으로 송신하는 모션 감지 장치; 상기 모션 감지 장치로부터 모션 정보를 실시간 수신하고, 실시간 수신된 모션 정보의 디지털 캐릭터(Digital Character)를 검색하고, 검색된 디지털 캐릭터와 모션 정보를 실시간으로 송신하는 중계 서버(Intermediate server); 상기 중계 서버로부터 디지털 캐릭터와 모션 정보를 실시간 수신하고, 실시간 수신된 디지털 캐릭터에 상기 실시간 수신된 모션 정보를 적용하여 실시간 디스플레이하는 애니메이션 디스플레이(animation display) 장치를 포함하도록 구성될 수 있다.A system for providing an interactive animation based on a remote control using a digital character according to an object of the present invention includes: a motion sensing device for sensing motion of an actor to generate motion information and transmitting the generated motion information in real time; An intermediary server for receiving motion information from the motion sensing device in real time, searching for a digital character of motion information received in real time, and transmitting the retrieved digital character and motion information in real time; And an animation display device that receives the digital character and the motion information from the relay server in real time and real-time displays the real-time received digital image by applying the real-time received motion information to the received digital character.

여기서, 상기 중계 서버는, 애니메이션 영상을 상기 애니메이션 디스플레이 장치로 실시간 송신하여 디스플레이하도록 제어하고, 상기 애니메이션 디스플레이 장치는, 상기 애니메이션 영상 상에 상기 디지털 캐릭터를 디스플레이하도록 구성될 수 있다.Here, the relay server may control to transmit and display an animation image in real time to the animation display device, and the animation display device may be configured to display the digital character on the animation image.

그리고 상기 애니메이션 디스플레이 장치를 통해 애니메이션을 시청하는 관객을 촬영하여 관객 영상을 생성하고 생성된 관객 영상을 실시간으로 송신하는 관객 반응 수집 장치; 상기 관객 반응 수집 장치로부터 관객 영상을 실시간으로 수신하고, 상기 배우가 관객의 반응을 모니터링(monitoring)하면서 모션을 할 수 있도록 상기 실시간으로 수신된 관객 영상을 디스플레이하는 관객 영상 디스플레이 장치를 더 포함하도록 구성될 수 있다.An audience reaction collecting device for generating an audience image by capturing an audience viewing the animation through the animation display device and transmitting the generated audience image in real time; And an audience image display device for receiving the audience image in real time from the audience reaction collection device and displaying the received audience image in real time so that the actor can perform motion while monitoring the reaction of the audience .

여기서, 상기 중계 서버는, 상기 디지털 캐릭터의 미리 정해진 동작에 대한 동작 정보를 미리 저장하고, 소정 시점에 미리 저장된 동작 정보를 실행할 수 있도록 상기 동작 정보를 상기 애니메이션 디스플레이 장치로 실시간 송신하도록 구성될 수 있다.Here, the relay server may be configured to store operation information on a predetermined operation of the digital character in advance, and transmit the operation information to the animation display device in real time so as to execute operation information previously stored at a predetermined time .

이때, 상기 중계 서버는, 상기 디지털 캐릭터가 상기 동작 정보를 실행한 후 상기 모션 정보에 따라 다음 동작을 실행할 수 있도록 블렌딩(blending) 기법에 따라 연결하여 상기 모션 정보를 실시간으로 송신하도록 구성될 수 있다.At this time, the relay server may be configured to transmit the motion information in real time by connecting according to a blending technique so that the digital character can perform the next operation according to the motion information after executing the operation information .

상술한 본 발명의 다른 목적에 따른 디지털 캐릭터를 이용한 원격제어 기반의 인터렉티브 애니메이션 제공 방법은, 중계 서버가 모션 감지 장치 및 영상 디스플레이 장치로부터 네트워크 주소를 각각 확인하고, 상기 모션 감지 장치 및 영상 디스플레이 장치 간에 직접 통신 가능하도록 상기 확인된 네트워크 주소를 상기 모션 감지 장치 및 영상 디스플레이 장치 상호 간에 교환하여 전달하는 단계; 모션 감지 장치가 배우의 모션을 감지하여 모션 정보를 생성하고, 생성된 모션 정보를 중계 서버로 실시간으로 송신하는 단계; 상기 중계 서버가 상기 모션 감지 장치로부터 모션 정보를 실시간 수신하고, 실시간 수신된 모션 정보의 디지털 캐릭터(Digital Character)를 검색하고, 검색된 디지털 캐릭터와 모션 정보를 애니메이션 디스플레이(animation display) 장치로 실시간으로 송신하는 단계; 애니메이션 디스플레이 장치는 상기 중계 서버로부터 디지털 캐릭터와 모션 정보를 실시간 수신하고, 실시간 수신된 디지털 캐릭터에 상기 실시간 수신된 모션 정보를 적용하여 실시간 디스플레이하는 단계를 포함하도록 구성될 수 있다.According to another aspect of the present invention, there is provided a method for providing an interactive animation based on a remote control using a digital character, the relay server verifying network addresses from a motion sensing device and an image display device, Exchanging the identified network address between the motion sensing device and the image display device so as to enable direct communication; Generating motion information by sensing the motion of the actor and transmitting the generated motion information to the relay server in real time; The relay server receives motion information from the motion sensing device in real time, searches for a digital character of real-time motion information, transmits the retrieved digital character and motion information to an animation display device in real time ; The animation display device may be configured to receive the digital character and motion information from the relay server in real time, and to display the real-time received digital information in real time by applying the real-time received motion information.

여기서, 상기 중계 서버가 상기 모션 감지 장치로부터 모션 정보를 실시간 수신하고, 실시간 수신된 모션 정보의 디지털 캐릭터를 검색하고, 검색된 디지털 캐릭터와 모션 정보를 애니메이션 디스플레이 장치로 실시간으로 송신하는 단계는, 상기 중계 서버가 미리 저장된 애니메이션 영상을 상기 애니메이션 디스플레이 장치로 실시간 송신하여 디스플레이하도록 제어하도록 구성될 수 있다.Here, the relay server may receive the motion information from the motion sensing device in real time, search the digital character of the motion information received in real time, and transmit the retrieved digital character and motion information to the animation display device in real time, The server can be configured to transmit and display the animation image pre-stored in real time to the animation display device.

이때, 애니메이션 디스플레이 장치는 상기 중계 서버로부터 디지털 캐릭터와 모션 정보를 실시간 수신하고, 실시간 수신된 디지털 캐릭터에 상기 실시간 수신된 모션 정보를 적용하여 실시간 디스플레이하는 단계는, 상기 애니메이션 디스플레이 장치가 상기 애니메이션 영상 상에 상기 디지털 캐릭터를 디스플레이하도록 구성될 수 있다.At this time, the animation display device receives the digital character and the motion information from the relay server in real time, and real-time display by applying the real-time received motion information to the digital character received in real time, And display the digital character on the display unit.

한편, 관객 반응 수집 장치가 상기 애니메이션 디스플레이 장치를 통해 애니메이션을 시청하는 관객을 촬영하여 관객 영상을 생성하고 생성된 관객 영상을 관객 영상 디스플레이 장치로 실시간으로 송신하는 단계; 상기 관객 영상 디스플레이 장치가 상기 관객 반응 수집 장치로부터 관객 영상을 실시간으로 수신하고, 상기 배우가 관객의 반응을 모니터링(monitoring)하면서 모션을 할 수 있도록 상기 실시간으로 수신된 관객 영상을 디스플레이하는 단계를 더 포함하도록 구성될 수 있다.The audience reaction collection device captures an audience watching the animation through the animation display device to generate an audience image, and transmits the generated audience image to the audience image display device in real time; Displaying the received audience image in real time so that the audience image display device receives the audience image in real time from the audience reaction collection device and allows the actor to perform motion while monitoring the reaction of the audience . ≪ / RTI >

그리고 상기 중계 서버가 상기 모션 감지 장치로부터 모션 정보를 실시간 수신하고, 실시간 수신된 모션 정보의 디지털 캐릭터를 검색하고, 검색된 디지털 캐릭터와 모션 정보를 애니메이션 디스플레이 장치로 실시간으로 송신하는 단계는, 상기 중계 서버가 상기 디지털 캐릭터의 미리 정해진 동작에 대하여 미리 저장된 동작 정보를 소정 시점에 실행할 수 있도록 상기 동작 정보를 상기 애니메이션 디스플레이 장치로 실시간 송신하도록 구성될 수 있다.The relay server receives motion information from the motion sensing device in real time, searches the digital character of the motion information received in real time, and transmits the retrieved digital character and motion information to the animation display device in real time, Can transmit the operation information to the animation display device in real time so that the operation information can be executed at a predetermined point in time, the operation information pre-stored with respect to the predetermined operation of the digital character.

그리고 상기 중계 서버가 상기 모션 감지 장치로부터 모션 정보를 실시간 수신하고, 실시간 수신된 모션 정보의 디지털 캐릭터를 검색하고, 검색된 디지털 캐릭터와 모션 정보를 애니메이션 디스플레이 장치로 실시간으로 송신하는 단계는, 상기 디지털 캐릭터가 상기 동작 정보를 실행한 후 상기 모션 정보에 따라 다음 동작을 실행할 수 있도록 블렌딩(blending) 기법에 따라 연결하여 상기 모션 정보를 실시간으로 송신하도록 구성될 수 있다.The relay server receives motion information from the motion sensing device in real time, searches for a digital character of real-time motion information, and transmits the retrieved digital character and motion information to the animation display device in real time. After performing the operation information, the motion information may be connected according to a blending method so as to perform the next operation according to the motion information to transmit the motion information in real time.

상술한 디지털 캐릭터를 이용한 원격제어 기반의 인터렉티브 애니메이션 제공 시스템 및 제공 방법에 의하면, 모션 배우의 동작과 표정 등을 실시간으로 감지하여 애니메이션의 디지털 캐릭터에 적용하도록 구성됨으로써, 모션 배우의 실시간 연기를 애니메이션을 통해 감상할 수 있는 효과가 있다. According to the system and method for providing interactive animation based on the remote control using the digital character, the operation and the expression of the motion actor are detected in real time and applied to the digital character of the animation, so that the real- There is an effect that can be appreciated through.

한편, 모션 배우는 원격지의 관객들의 반응을 실시간으로 모니터링하면서 연기를 할 수 있으므로, 배우와 관객 간에 실시간 상호 작용을 할 수 있는 효과가 있다.On the other hand, the actor can perform real-time monitoring of the reaction of the audience in the remote place, so that there is an effect of real-time interaction between the actor and the audience.

다른 한편, 모션 배우의 세밀한 손가락 동작이라든가 표정 또는 얼굴 변경이나 변신 등의 어려운 동작과 표정을 미리 저장해 놓고 특정 순간에 임포트(import)하여 디지털 캐릭터에 실시간 적용하도록 구성됨으로써, 실시간 디지털 캐릭터 연기에 따른 데이터 속도 문제를 해결하고 환타지(fantasy) 동작과 같은 모션으로 표현하기 어려운 동작을 표현할 수 있는 효과가 있다.On the other hand, it is configured to store a difficult motion and a facial expression such as facial expression, facial change, or transformation in advance in a detailed finger action of a motion actor and import it at a specific moment and apply it to the digital character in real time, It has the effect of solving the speed problem and expressing motion that is difficult to express in motion such as fantasy motion.

도 1은 본 발명의 일 실시예에 따른 디지털 캐릭터를 이용한 원격제어 기반의 인터렉티브 애니메이션 제공 시스템의블록 구성도이다.
도 2는 본 발명의 일 실시예에 따른 디지털 캐릭터 영상을 나타내는 예시도이다.
도 3은본 발명의 일 실시예에 따른 디지털 캐릭터를 이용한 원격제어 기반의 인터렉티브 애니메이션 제공 방법의 흐름도이다.1 is a block diagram of a system for providing an interactive animation based on a remote control using a digital character according to an embodiment of the present invention.
2 is a diagram illustrating an example of a digital character image according to an exemplary embodiment of the present invention.
3 is a flowchart of a method for providing an interactive animation based on a remote control using a digital character according to an embodiment of the present invention.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 발명을 실시하기 위한 구체적인 내용에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.While the invention is susceptible to various modifications and alternative forms, specific embodiments thereof are shown by way of example in the drawings and will herein be described in detail to the concrete inventive concept. It should be understood, however, that the invention is not intended to be limited to the particular embodiments, but includes all modifications, equivalents, and alternatives falling within the spirit and scope of the invention. Like reference numerals are used for like elements in describing each drawing.

제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.The terms first, second, A, B, etc. may be used to describe various elements, but the elements should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, the first component may be referred to as a second component, and similarly, the second component may also be referred to as a first component. And / or < / RTI > includes any combination of a plurality of related listed items or any of a plurality of related listed items.

어떤 구성요소가 다른 구성요소에 "연결되어"있다거나 "접속되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다거나 "직접 접속되어"있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.It is to be understood that when an element is referred to as being "connected" or "connected" to another element, it may be directly connected or connected to the other element, . On the other hand, when an element is referred to as being "directly connected" or "directly connected" to another element, it should be understood that there are no other elements in between.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다"또는 "가지다"등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used in this application is used only to describe a specific embodiment and is not intended to limit the invention. The singular expressions include plural expressions unless the context clearly dictates otherwise. In the present application, the terms "comprises" or "having" and the like are used to specify that there is a feature, a number, a step, an operation, an element, a component or a combination thereof described in the specification, But do not preclude the presence or addition of one or more other features, integers, steps, operations, elements, components, or combinations thereof.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs. Terms such as those defined in commonly used dictionaries are to be interpreted as having a meaning consistent with the contextual meaning of the related art and are to be interpreted as either ideal or overly formal in the sense of the present application Do not.

이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.Hereinafter, preferred embodiments according to the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시예에 따른 디지털 캐릭터를 이용한 원격제어 기반의 인터렉티브 애니메이션 제공 시스템의 블록 구성도이고, 도 2는 본 발명의 일 실시예에 따른 디지털 캐릭터 영상을 나타내는 예시도이다.FIG. 1 is a block diagram of a system for providing an interactive animation based on a remote control using a digital character according to an embodiment of the present invention, and FIG. 2 is an exemplary view illustrating a digital character image according to an embodiment of the present invention.

먼저 도 1을 참조하면, 본 발명의 일 실시예에 따른 디지털 캐릭터(Digital Character)를 이용한 원격제어 기반의 인터렉티브 애니메이션(interactive animation) 제공 시스템(100)은 모션(motion) 감지 장치(110), 중계 서버(Intermediate Server)(120), 애니메이션 디스플레이(animation display) 장치(130), 관객 반응 수집 장치(140) 및 관객 영상 디스플레이 장치(150)를 포함하도록 구성될 수 있다.Referring to FIG. 1, a system 100 for providing an interactive animation based on a remote control using a digital character according to an embodiment of the present invention includes a motion sensing device 110, An interactive display device 120, an animation display device 130, an audience reaction collection device 140, and an audience image display device 150. [

디지털 캐릭터를 이용한 원격제어 기반의 인터렉티브 애니메이션 제공 시스템(100)은 원격지의 모션 배우의 동작과 표정 등을 애니메이션의 디지털 캐릭터에 실시간 적용하여 디스플레이하도록 구성된다. 도 2에서 보듯이 이러한 디지털 캐릭터의모습과 동작이 애니메이션에 구현되는 예가 도시되어 있다.The system 100 for providing an interactive animation based on a remote control using a digital character is configured to display the operation and facial expression of a motion actor of a remote place in real time on a digital character of animation. As shown in FIG. 2, an example in which the shape and operation of the digital character are implemented in an animation is shown.

또한, 모션 배우는 관객들의 반응을 실시간 모니터링하면서 연기를 하여 실시간으로 상호 작용할 수 있도록 구성되며, 세밀한 표정이라든가 환타지 동작, 얼굴 변신 등의 모션만으로 표현하기 어려운 동작 정보나 표현 정보를 미리 저장하고 이를 실시간으로 임포트(import)하여 표현할 수 있도록 구성된다.In addition, motion learners are actively monitoring the reaction of the audience in real time and are able to interact with each other in real time. The motion information and presentation information, which are difficult to express only by motion such as detailed expression, fantasy motion, It is configured to be able to import and express.

이하, 세부적인 구성에 대하여 설명한다.Hereinafter, the detailed configuration will be described.

모션 감지 장치(110)는 배우의 모션, 얼굴 표정 등을 실시간으로 모션 정보 내지는 표현 정보를 생성하고 그 생성된 모션 정보 내지는 표현 정보를 디지털 캐릭터 ID와 함께 실시간으로 중계 서버(120)로 송신하도록 구성될 수 있다.The motion sensing device 110 generates motion information or presentation information in real time of the actor's motion, facial expression, etc., and transmits the generated motion information or presentation information to the relay server 120 in real time along with the digital character ID .

여기서, 배우는 애니메이션 상의 디지털 캐릭터의 모션을 연기하기 위한 배우이다. 배우는 애니메이션 상의 디지털 캐릭터의 동작을 실시간 모니터링하면서 연기를 할 수 있다. 동시에 여러 명의 배우가 연기를 할 수 있고 이에 상응하여 여러 디지털 캐릭터가 동시에 애니메이션 상에 출연할 수 있다.Here, the actor is an actor for postponing the motion of the digital character in the animation. The actor can perform the action while monitoring the motion of the digital character in the animation in real time. At the same time, several actors can act, and correspondingly, several digital characters can appear on the animation at the same time.

중계 서버(120)는 P2P(peer-to-peer) 서버(미도시)와 릴레이(relay) 서버(미도시)의 결합 구성으로 구성될 수 있다.The relay server 120 may be configured as a combination of a peer-to-peer (P2P) server (not shown) and a relay server (not shown).

P2P 서버는 모션 감지 장치(110)와 애니메이션 디스플레이 장치(130)의 네트워크 주소를 각각 수집 및 저장하여 데이터베이스(database)를 구축하고 모션 감지 장치(110)와 애니메이션 디스플레이 장치(130)로 각각 상대방의 주소를 전송하여 교환하도록 구성될 수 있다. P2P 서버는 상호 간의 네트워크 주소 교환에 의해 모션 감지 장치(110) 및 애니메이션 디스플레이 장치(130)가 서로 직접 통신을 가능하게 하는 구성이다.The P2P server collects and stores the network addresses of the motion sensing device 110 and the animation display device 130 to construct a database and transmits the addresses to the motion sensing device 110 and the animation display device 130, To exchange data. The P2P server is a configuration in which the motion sensing device 110 and the animation display device 130 can directly communicate with each other by mutual network address exchange.

한편, 릴레이 서버는 모션 감지 장치(110)에서 감지된 모션 정보를 그 수신 시에 바로 애니메이션 디스플레이 장치(130)로 그 디지털 캐릭터와 함께 전달하여 실시간으로 애니메이션 디플레이 장치(130)가 디스플레이할 수 있도록 하기 위한 구성이다. On the other hand, the relay server transmits the motion information detected by the motion sensing device 110 to the animation display device 130 along with the digital character, so that the animation display device 130 can display the motion information in real time .

모션 감지 장치(110)로부터 모션 정보 및 해당 디지털 캐릭터ID를 실시간 수신하고, 실시간 수신된 모션 정보의 디지털 캐릭터(Digital Character)를 디지털 캐릭터 ID를 이용하여 검색하도록 구성될 수 있다.The motion information and the corresponding digital character ID are received in real time from the motion sensing device 110 and the digital character of the motion information received in real time is retrieved using the digital character ID.

여기서, 중계 서버(120)는 디지털 캐릭터 정보를 미리 저장해 놓도록 구성될 수 있다.Here, the relay server 120 may be configured to store digital character information in advance.

그리고 중계 서버(120)는 애니메이션 영상도 미리 저장해 놓도록 구성될 수 있다.Also, the relay server 120 may be configured to store an animation image in advance.

중계 서버(120)는 애니메이션 영상과 디지털 캐릭터 그리고 그 디지털 캐릭터의 모션 정보를 동기화하여 실시간으로 애니메이션 디스플레이 장치(130)로 송신하도록 구성될 수 있다.The relay server 120 may be configured to transmit the animation image, the digital character, and the motion information of the digital character to the animation display device 130 in real time.

애니메이션 디스플레이 장치(130)는 중계 서버(120)로부터 디지털 캐릭터와 모션 정보 그리고 애니메이션 영상을 실시간 수신하도록 구성될 수 있다. 그리고 애니메이션 영상에 디지털 캐릭터의 그 모션 정보에 따른 디지털 캐릭터의 움직임을 구현하여 실시간으로 디스플레이하도록 구성될 수 있다.The animation display device 130 may be configured to receive digital characters, motion information, and animation images from the relay server 120 in real time. Then, the motion of the digital character according to the motion information of the digital character may be implemented in the animation image and displayed in real time.

애니메이션 디스플레이 장치(130)는 야외 공연장의 대형 디스플레이가 될 수 있으며, 가정 내에 구비된 모니터(monitor)나 TV(television)이 될 수도 있다.The animation display device 130 may be a large display of an outdoor theater or may be a monitor or a television provided in a home.

관객 반응 수집 장치(140)는 관객의 영상은 물론 현장 음향, 관객들의 채팅창, 댓글 등의 다양한 관객 반응을 수집하는 구성이다.The audience reaction collecting device 140 collects various audience responses such as a scene sound, a chat window of the audience, a comment, as well as an image of the audience.

관객 반응 수집 장치(140)는 애니메이션 디스플레이 장치(130)가 설치되는 곳에 함께 구비될 수 있다.The audience response collection device 140 may be provided together with the location where the animation display device 130 is installed.

관객 반응 수집 장치(140)는 애니메이션 디스플레이 장치(130)를 통해 애니메이션을 시청하는 관객을 촬영하여 관객 영상을 생성하고 그 관객 영상을 중계 서버(120)를 통해 관객 영상 디스플레이 장치(150)로 실시간으로 송신하도록 구성될 수 있다. 관객 반응 수집 장치(140)는 관객의 말소리도 수집하여 관객 영상과 함께 송신하도록 구성될 수 있다.The audience reaction collection device 140 generates an audience image by photographing an audience watching an animation through the animation display device 130 and transmits the audience image to the audience image display device 150 in real time through the relay server 120 Gt; The audience reaction collection device 140 may be configured to collect the audience's speech and transmit it together with the audience image.

관객 영상 디스플레이 장치(150)는 중계 서버(120)를 통해웹 카메라(140)로부터 관객 영상을 실시간으로 수신하여 디스플레이하도록 구성될 수 있다.The viewer image display device 150 can be configured to receive and display the viewer image in real time from the web camera 140 through the relay server 120. [

이러한 관객 영상은 모션 배우가 관객의 반응을 실시간으로 모니터링(monitoring)하면서 모션을 하거나 연기 그리고 대사를 할 수 있도록 하기 위한 구성이다. 모션 배우는 관객의 반응을 시청하면서 MC(master of ceremony) 진행을 할 수도 있으며 관객에게 대본에 없는 대사를 하면서 서로 상호 작용을 할 수 있다.Such an audience image is a structure in which a motion actor can monitor the reaction of an audience in real time, and can perform motion, acting and metabolism. Motion learners can watch MC's (master of ceremony) while watching the reaction of the audience, and can interact with each other while audiences do dialogue without dialogue.

기존에는 모션 배우의 모션을 이용하여 애니메이션 영상을 제작한 후 일방적으로 출력하는 방식이기에 배우와 관객 간의 상호 작용이 불가능하였지만, 본 발명에서는 실시간으로 모션 배우의 모션, 표현, 말을 애니메이션에 적용하여 출력하며 관객의 반응도 실시간을 모니터링할 수 있으므로 상호 작용이 가능해진다.Conventionally, since an animation image is produced using a motion actor's motion and then output unilaterally, interaction between the actor and the audience is impossible. However, in the present invention, motion, expression, and speech of a motion actor are applied to an animation in real time And the interaction of the audience can be monitored because the reaction of the audience can be monitored in real time.

그런데, 이러한 모션 배우의 세밀한 손가락 동작이나 얼굴 표정은 그 데이터량이 많고 전송 속도에도 문제가 있어서 애니메이션 전송과 출력에 랙(rack)이 걸리게 되는 문제점이 있다.However, there is a problem that the detailed act or facial expression of such a motion actor has a large amount of data and a problem in the transmission speed, so that the animation transmission and the output are racked.

또한, 애니메이션에 구현되는 판타지(fantasy) 동작, 예를 들어 디지털 캐릭터가 변신하거나 얼굴이 수시로 바뀌거나 하늘을 날아 오르는 등의 다양한 동작에 대해서는 모션 배우의 모션만으로 표현하기가 어렵다는 문제점이 있다. 또한 배우와 관객이 상호 작용하면서 관객의 반응에 따라 배우가 특수한 효과를 표현하는 동작이 있는 경우 이러한 동작의 구현도 모션만으로 표현할 수는 없다.In addition, there is a problem that it is difficult to express a variety of motion such as a fantasy motion that is implemented in an animation, for example, a digital character is changed, a face is changed frequently, or the sky is flying, by only the motion actor's motion. Also, if the actor interacts with the audience and the actor expresses the special effect according to the viewer 's reaction, the implementation of this action can not be expressed only by the motion.

이러한 세세한 표정과 동작 그리고 판타지 동작은 중계 서버(120)에 미리 저장해 놓도록 구성될 수 있다. 이러한 동작 정보는 모션 배우의 동작 개시 명령에 따라 또는 미리 정해진 시점이나 조건에 따라 디지털 캐릭터가 실행하도록 구성될 수 있다.Such detailed facial expressions, operations, and fantasy operations may be stored in the relay server 120 in advance. This operation information can be configured to be executed by the digital character according to an operation start command of the motion actor or according to a predetermined time or condition.

즉, 중계 서버(120)는 미리 저장된 동작 정보를 실행할 수 있도록 해당 동작 정보를 애니메이션 디스플레이 장치(130)로 실시간 송신하도록 구성될 수 있다.That is, the relay server 120 may be configured to transmit the corresponding operation information to the animation display device 130 in real time so that the relay server 120 can execute the stored operation information.

이러한 미리 저장된 동작 정보에 따라 디지털 캐릭터가 실행되는 동안에는 모션 배우의 모션 정보는 차단된다. 위 미리 저장된 동작 정보가 모두 실행되고 나면 모션 배우의 모션 정보에 따라 디지털 캐릭터가 동작하게 되는데, 중계 서버(120) 디지털 캐릭터가 그 동작 정보를 실행한 후 모션 배우의 모션 정보에 따라 다음 동작을 실행할 수 있도록 블렌딩(blending) 기법에 따라 연결하도록 모션 배우의 모션 정보를 실시간으로 애니메이션 디스플레이 장치(130)로 송신하도록 구성될 수 있다.The motion information of the motion actor is blocked while the digital character is being executed according to the pre-stored motion information. After all of the pre-stored operation information is executed, the digital character is operated according to the motion information of the motion actor. After the digital character of the relay server 120 executes the motion information, the next action is executed according to the motion information of the motion actor And to transmit the motion information of the motion actor to the animation display device 130 in real time so as to be connected according to a blending technique so that the motion information can be displayed.

도 3은 본 발명의 일 실시예에 따른 디지털 캐릭터를 이용한 원격제어 기반의 인터렉티브 애니메이션 제공 방법의 흐름도이다.3 is a flowchart of a method for providing an interactive animation based on a remote control using a digital character according to an embodiment of the present invention.

도 3을 참조하면, 먼저 중계 서버(120)가 모션 감지 장치(110) 및 영상 디스플레이 장치(130)로부터 네트워크 주소를 각각 확인하고, 모션 감지 장치(110) 및 영상 디스플레이 장치(130) 간에 직접 통신 가능하도록 앞서 확인된 네트워크 주소를 모션 감지 장치(110) 및 영상 디스플레이 장치(130) 상호 간에 교환하여 전달한다(S101).3, the relay server 120 first verifies the network addresses from the motion sensing device 110 and the image display device 130, and directly communicates between the motion sensing device 110 and the image display device 130. [ The network address previously confirmed is exchanged between the motion sensing device 110 and the image display device 130 so as to be able to be transmitted (S101).

다음으로, 모션 감지 장치(110)가 배우의 모션을 감지하여 모션 정보를 생성하고, 생성된 모션 정보를 중계 서버(Intermediate server)(120)로 실시간으로 송신한다(S102).Next, the motion sensing device 110 senses motion of the actor to generate motion information, and transmits the generated motion information to the intermediary server 120 in real time (S102).

다음으로, 중계 서버(120)가 모션 감지 장치(110)로부터 모션 정보를 실시간 수신하고, 실시간 수신된 모션 정보의 디지털 캐릭터(Digital Character)를 검색하고, 검색된 디지털 캐릭터와 모션 정보를 애니메이션 디스플레이(animation display) 장치(130)로 실시간으로 송신한다(S103).Next, the relay server 120 receives the motion information from the motion sensing device 110 in real time, searches the digital character of the motion information received in real time, and displays the retrieved digital character and motion information in an animation display display device 130 in real time (S103).

여기서, 중계 서버(120)가 미리 저장된 애니메이션 영상을 애니메이션 디스플레이 장치(130)로 실시간 송신하여 디스플레이하도록 제어하도록 구성될 수 있다.Here, the relay server 120 may be configured to transmit the animation image stored in advance to the animation display device 130 so as to transmit the animation image in real time.

그리고 중계 서버(120)가 디지털 캐릭터의 미리 정해진 동작에 대하여 미리 저장된 동작 정보를 소정 시점에 실행할 수 있도록 동작 정보를 애니메이션 디스플레이 장치(130)로 실시간 송신하도록 구성될 수 있다.And transmit the operation information to the animation display device 130 in real time so that the relay server 120 can execute the operation information stored in advance for the predetermined operation of the digital character at a predetermined time.

한편, 중계 서버(120)는 디지털 캐릭터가 동작 정보를 실행한 후 모션 정보에 따라 다음 동작을 실행할 수 있도록 블렌딩(blending) 기법에 따라 연결하여 모션 정보를 실시간으로 송신하도록 구성될 수 있다.Meanwhile, the relay server 120 may be configured to transmit motion information in real time by connecting according to a blending technique so that the digital character can execute the next operation according to the motion information after executing the operation information.

다음으로, 애니메이션 디스플레이 장치(130)는 중계 서버(120)로부터 디지털 캐릭터와 모션 정보를 실시간 수신하고, 실시간 수신된 디지털 캐릭터에 실시간 수신된 모션 정보를 적용하여 실시간 디스플레이한다(S104).Next, the animation display device 130 receives the digital character and motion information from the relay server 120 in real time, and real-time displays the real-time received digital character by applying the received motion information in real time (S104).

여기서, 애니메이션 디스플레이 장치(130)가 애니메이션 영상 상에 디지털 캐릭터를디스플레이하도록 구성될 수 있다.Here, the animation display device 130 may be configured to display a digital character on the animation image.

다음으로, 관객 반응 수집 장치(140)가 애니메이션 디스플레이 장치(130)를 통해 애니메이션을 시청하는 관객을 촬영하여 관객 영상을 생성하고 생성된 관객 영상을 관객 영상 디스플레이 장치(150)로 실시간으로 송신한다(S105).Next, the audience reaction collection device 140 photographs an audience who watches an animation through the animation display device 130, generates an audience image, and transmits the generated audience image to the audience image display device 150 in real time S105).

다음으로, 관객 영상 디스플레이 장치(150)가 관객 반응 수집 장치(140)로부터 관객 영상을 실시간으로 수신하고, 배우가 관객의 반응을 모니터링(monitoring)하면서 모션을 할 수 있도록 실시간으로 수신된 관객 영상을 디스플레이한다(S106).Next, the viewer image display apparatus 150 receives an audience image in real time from the audience reaction collecting apparatus 140 and displays the received audience image in real time so that the actor can perform motion while monitoring the reaction of the audience (S106).

이상 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.It will be apparent to those skilled in the art that various modifications and variations can be made in the present invention without departing from the spirit or scope of the invention as defined in the following claims. There will be.

110: 모션 감지 장치
120: 중계 서버
130: 애니메이션 디스플레이 장치
140: 관객 반응 수집 장치
150: 관객 영상 디스플레이 장치110: Motion detection device
120: Relay server
130: Animation display device
140: Audience reaction collector
150: audience image display device

Claims (10)

복수의 배우의 모션(motion)을 감지하여 모션 정보를 생성하고, 생성된 모션 정보 및 해당 디지털 캐릭터 ID를 실시간으로 송신하는 모션 감지 장치;
상기 모션 감지 장치로부터 모션 정보 및 해당 디지털 캐릭터 ID를 실시간 수신하고, 실시간 수신된 디지털 캐릭터 ID를 이용하여 디지털 캐릭터(Digital Character)를 검색하고, 검색된 디지털 캐릭터와 상기 실시간 수신된 모션 정보를 실시간으로 송신하는 중계 서버(Intermediate server);
상기 중계 서버로부터 디지털 캐릭터와 모션 정보를 실시간 수신하고, 실시간 수신된 디지털 캐릭터에 상기 실시간 수신된 모션 정보를 적용하여 실시간 디스플레이하는 애니메이션 디스플레이(animation display) 장치;
상기 애니메이션 디스플레이 장치를 통해 애니메이션을 시청하는 관객을 촬영하여 관객 영상을 생성하고, 현장 음향, 관객의 음성, 관객의 채팅창 채팅글 및 댓글을 포함하는 관객 반응 데이터를 수집하여 생성하고, 상기 생성된 관객 영상 및 상기 생성된 관객 반응 데이터를 실시간으로 송신하는 관객 반응 수집 장치;
상기 관객 반응 수집 장치로부터 관객 영상 및 관객 반응 데이터를 실시간으로 수신하고, 상기 배우가 관객의 반응을 모니터링(monitoring)하면서 모션을 할 수 있도록 상기 실시간으로 수신된 관객 영상을 디스플레이하는 관객 영상 디스플레이 장치를 포함하고,
상기 중계 서버는,
애니메이션 영상을 상기 애니메이션 디스플레이 장치로 실시간 송신하여 디스플레이하도록 제어하고,
상기 애니메이션 디스플레이 장치는,
상기 애니메이션 영상 상에 상기 디지털 캐릭터를 디스플레이하도록 구성되고,
상기 중계 서버는,
상기 디지털 캐릭터의 미리 정해진 동작에 대한 동작 정보를 미리 저장하고, 소정 시점에 미리 저장된 동작 정보를 실행할 수 있도록 상기 동작 정보를 상기 애니메이션 디스플레이 장치로 실시간 송신하도록 구성되고,
상기 중계 서버는,
상기 디지털 캐릭터가 상기 동작 정보를 실행한 후 상기 모션 정보에 따라 다음 동작을 실행할 수 있도록 블렌딩(blending) 기법에 따라 연결하여 상기 모션 정보를 실시간으로 송신하도록 구성되고,
상기 중계 서버는,
모션 배우에 의해 표현하기 어려운 디지털 캐릭터의 세밀한 표정, 환타지(fantasy) 동작 및 얼굴 변신을 포함하는 동작 정보 및 표현 정보를 미리 저장하고, 상기 모션 감지 장치에 의해 모션 배우의 동작 개시 명령이 감지되거나 또는 미리 정해진 시점이 되거나 미리 정해진 조건이 성립되면 상기 세밀한 표정, 환타지 동작 및 얼굴 변신을 포함하는 동작 정보 및 표현 정보를 임포트(import)하여 상기 디지털 캐릭터에 적용하도록 구성되며, 상기 임포트된 동작 정보 및 표현 정보가 수행되는 동안에는 상기 모션 배우의 모션 정보를 해당 디지털 캐릭터에 적용하는 것을 차단하고, 상기 임포트된 동작 정보 및 표현 정보가 수행된 후에 블렌딩 기법에 따라 상기 모션 배우의 모션 정보와 연결하여 적용하도록 구성되는 것을 특징으로 하는 디지털 캐릭터를 이용한 원격제어 기반의 인터렉티브 애니메이션(interactive animation) 제공 시스템.
A motion sensing device for sensing motion of a plurality of actors to generate motion information, and transmitting the generated motion information and the corresponding digital character ID in real time;
The motion information and the corresponding digital character ID are received in real time from the motion detection device, the digital character is searched using the digital character ID received in real time, and the searched digital character and the real-time received motion information are transmitted in real time (Intermediate server);
An animation display device for receiving the digital character and the motion information from the relay server in real time and applying the real-time received motion information to the real-time received digital character in real time for display;
A viewer image is generated by capturing an audience watching an animation through the animation display device, and audience response data including a scene sound, an audience voice, a chat window chat text and a comment of a viewer are collected and generated, An audience response collection device for transmitting the audience image and the generated audience response data in real time;
A viewer image display device for receiving the audience image and the audience response data from the audience reaction collection device in real time and displaying the received audience image in real time so that the actor can monitor the reaction of the audience while monitoring the reaction, Including,
The relay server includes:
An animation image is transmitted to the animation display device in real time to be displayed,
The animation display device includes:
And display the digital character on the animation image,
The relay server includes:
And to transmit the operation information to the animation display device in real time so that the operation information on the predetermined operation of the digital character is stored in advance and the operation information previously stored at a predetermined time can be executed,
The relay server includes:
After the digital character executes the operation information, the digital character is connected according to a blending technique so as to be able to perform the next operation in accordance with the motion information to transmit the motion information in real time,
The relay server includes:
The motion information and the presentation information including the detailed expression, the fantasy motion, and the face transformation of the digital character difficult to be expressed by the motion actor are stored in advance, and the motion start command of the motion actor is detected by the motion sensing device And importing operation information and expression information including the detailed facial expression, a fantasy operation, and a facial transformation and applying the imported operation information and expression information to the digital character when a predetermined time or predetermined condition is established, The motion information of the motion actor is prevented from being applied to the digital character while the information is being performed, and the motion information of the motion actor is applied in connection with the motion information of the motion actor according to the blending technique after the imported motion information and the presentation information are performed And a digital character Remote control-based interactive animation (interactive animation) delivery system.
삭제delete 삭제delete 삭제delete 삭제delete 중계 서버가 모션 감지 장치 및 영상 디스플레이 장치로부터 네트워크 주소를 각각 확인하고, 상기 모션 감지 장치 및 영상 디스플레이 장치 간에 직접 통신 가능하도록 상기 확인된 네트워크 주소를 상기 모션 감지 장치 및 영상 디스플레이 장치 상호 간에 교환하여 전달하는 단계;
모션 감지 장치가 복수의 배우의 모션을 감지하여 모션 정보를 생성하고, 생성된 모션 정보 및 해당 디지털 캐릭터 ID를 중계 서버로 실시간으로 송신하는 단계;
상기 중계 서버가 상기 모션 감지 장치로부터 모션 정보 및 해당 디지털 캐릭터 ID를 실시간 수신하고, 실시간 수신된 디지털 캐릭터 ID를 이용하여 디지털 캐릭터(Digital Character)를 검색하고, 검색된 디지털 캐릭터와 상기 실시간 수신된 모션 정보를 애니메이션 디스플레이(animation display) 장치로 실시간으로 송신하는 단계;
애니메이션 디스플레이 장치는 상기 중계 서버로부터 디지털 캐릭터와 모션 정보를 실시간 수신하고, 실시간 수신된 디지털 캐릭터에 상기 실시간 수신된 모션 정보를 적용하여 실시간 디스플레이하는 단계;
관객 반응 수집 장치가 상기 애니메이션 디스플레이 장치를 통해 애니메이션을 시청하는 관객을 촬영하여 관객 영상을 생성하고, 현장 음향, 관객의 음성, 관객의 채팅창 채팅글 및 댓글을 포함하는 관객 반응 데이터를 수집하여 생성하고, 상기 생성된 관객 영상 및 상기 생성된 관객 반응 데이터를 관객 영상 디스플레이 장치로 실시간으로 송신하는 단계;
상기 관객 영상 디스플레이 장치가 상기 관객 반응 수집 장치로부터 관객 영상 및 관객 반응 데이터를 실시간으로 수신하고, 상기 배우가 관객의 반응을 모니터링(monitoring)하면서 모션을 할 수 있도록 상기 실시간으로 수신된 관객 영상 및 관객 반응 데이터를 디스플레이하는 단계를 포함하고,
상기 중계 서버가 상기 모션 감지 장치로부터 모션 정보 및 해당 디지털 캐릭터 ID를 실시간 수신하고, 실시간 수신된 디지털 캐릭터 ID를 이용하여 디지털 캐릭터(Digital Character)를 검색하고, 검색된 디지털 캐릭터와 상기 실시간 수신된 모션 정보를 애니메이션 디스플레이(animation display) 장치로 실시간으로 송신하는 단계는,
상기 중계 서버가 미리 저장된 애니메이션 영상을 상기 애니메이션 디스플레이 장치로 실시간 송신하여 디스플레이하도록 제어하고,
상기 애니메이션 디스플레이 장치는 상기 중계 서버로부터 디지털 캐릭터와 모션 정보를 실시간 수신하고, 실시간 수신된 디지털 캐릭터에 상기 실시간 수신된 모션 정보를 적용하여 실시간 디스플레이하는 단계는,
상기 애니메이션 디스플레이 장치가 상기 애니메이션 영상 상에 상기 디지털 캐릭터를 디스플레이하도록 구성되고,
상기 중계 서버가 상기 모션 감지 장치로부터 모션 정보 및 해당 디지털 캐릭터 ID를 실시간 수신하고, 실시간 수신된 디지털 캐릭터 ID를 이용하여 디지털 캐릭터(Digital Character)를 검색하고, 검색된 디지털 캐릭터와 상기 실시간 수신된 모션 정보를 애니메이션 디스플레이(animation display) 장치로 실시간으로 송신하는 단계는,
상기 중계 서버가 상기 디지털 캐릭터의 미리 정해진 동작에 대하여 미리 저장된 동작 정보를 소정 시점에 실행할 수 있도록 상기 동작 정보를 상기 애니메이션 디스플레이 장치로 실시간 송신하도록 구성되고,
상기 중계 서버가 상기 모션 감지 장치로부터 모션 정보 및 해당 디지털 캐릭터 ID를 실시간 수신하고, 실시간 수신된 디지털 캐릭터 ID를 이용하여 디지털 캐릭터(Digital Character)를 검색하고, 검색된 디지털 캐릭터와 상기 실시간 수신된 모션 정보를 애니메이션 디스플레이(animation display) 장치로 실시간으로 송신하는 단계는,
상기 디지털 캐릭터가 상기 동작 정보를 실행한 후 상기 모션 정보에 따라 다음 동작을 실행할 수 있도록 블렌딩(blending) 기법에 따라 연결하여 상기 모션 정보를 실시간으로 송신하도록 구성되고,
상기 중계 서버가 상기 모션 감지 장치로부터 모션 정보 및 해당 디지털 캐릭터 ID를 실시간 수신하고, 실시간 수신된 디지털 캐릭터 ID를 이용하여 디지털 캐릭터(Digital Character)를 검색하고, 검색된 디지털 캐릭터와 상기 실시간 수신된 모션 정보를 애니메이션 디스플레이(animation display) 장치로 실시간으로 송신하는 단계는,
모션 배우에 의해 표현하기 어려운 디지털 캐릭터의 세밀한 표정, 환타지(fantasy) 동작 및 얼굴 변신을 포함하는 동작 정보 및 표현 정보를 미리 저장하고, 상기 모션 감지 장치에 의해 모션 배우의 동작 개시 명령이 감지되거나 또는 미리 정해진 시점이 되거나 미리 정해진 조건이 성립되면 상기 세밀한 표정, 환타지 동작 및 얼굴 변신을 포함하는 동작 정보 및 표현 정보를 임포트(import)하여 상기 디지털 캐릭터에 적용하도록 구성되며, 상기 임포트된 동작 정보 및 표현 정보가 수행되는 동안에는 상기 모션 배우의 모션 정보를 해당 디지털 캐릭터에 적용하는 것을 차단하고, 상기 임포트된 동작 정보 및 표현 정보가 수행된 후에 블렌딩 기법에 따라 상기 모션 배우의 모션 정보와 연결하여 적용하도록 구성되는 것을 특징으로 하는 디지털 캐릭터를 이용한 원격제어 기반의 인터렉티브 애니메이션(interactive animation) 제공 방법.The relay server confirms each network address from the motion sensing device and the image display device and exchanges the confirmed network address with each other between the motion sensing device and the image display device so that the relay server can directly communicate between the motion sensing device and the image display device ;
Generating motion information by sensing motion of a plurality of actors by the motion sensing device, and transmitting the generated motion information and the digital character ID to the relay server in real time;
The relay server receives the motion information and the corresponding digital character ID from the motion sensing device in real time, searches for a digital character using the digital character ID received in real time, and transmits the retrieved digital character and the real- To an animation display device in real time;
The animation display device real-time receiving the digital character and motion information from the relay server and real-time displaying the real-time received motion information by applying the real-time received motion information to the real-time received digital character;
The audience reaction collection device captures an audience watching the animation through the animation display device, generates an audience image, and collects and generates audience response data including a scene sound, a voice of the audience, a chat window chat text and a comment of the audience Transmitting the generated audience image and the generated audience response data to a viewer image display device in real time;
The viewer image display apparatus receives the viewer image and the audience response data from the audience reaction collection apparatus in real time and displays the viewer image and the audience information received in real time so that the actor can perform motion while monitoring the reaction of the viewer And displaying the reaction data,
The relay server receives the motion information and the corresponding digital character ID from the motion sensing device in real time, searches for a digital character using the digital character ID received in real time, and transmits the retrieved digital character and the real- To an animation display device in real time,
The relay server controls to transmit the animation image stored in advance to the animation display device in real time to display the animation image,
Wherein the animation display device receives the digital character and the motion information from the relay server in real time and applies the real-time received motion information to the real-
Wherein the animation display device is configured to display the digital character on the animation image,
The relay server receives the motion information and the corresponding digital character ID from the motion sensing device in real time, searches for a digital character using the digital character ID received in real time, and transmits the retrieved digital character and the real- To an animation display device in real time,
The relay server is configured to transmit the operation information to the animation display device in real time so that the relay server can execute operation information pre-stored with respect to a predetermined operation of the digital character at a predetermined time,
The relay server receives the motion information and the corresponding digital character ID from the motion sensing device in real time, searches for a digital character using the digital character ID received in real time, and transmits the retrieved digital character and the real- To an animation display device in real time,
After the digital character executes the operation information, the digital character is connected according to a blending technique so as to be able to perform the next operation in accordance with the motion information to transmit the motion information in real time,
The relay server receives the motion information and the corresponding digital character ID from the motion sensing device in real time, searches for a digital character using the digital character ID received in real time, and transmits the retrieved digital character and the real- To an animation display device in real time,
The motion information and the presentation information including the detailed expression, the fantasy motion, and the face transformation of the digital character difficult to be expressed by the motion actor are stored in advance, and the motion start command of the motion actor is detected by the motion sensing device And importing operation information and expression information including the detailed facial expression, a fantasy operation, and a facial transformation and applying the imported operation information and expression information to the digital character when a predetermined time or predetermined condition is established, The motion information of the motion actor is prevented from being applied to the digital character while the information is being performed, and the motion information of the motion actor is applied in connection with the motion information of the motion actor according to the blending technique after the imported motion information and the presentation information are performed And a digital character Remote control-based interactive animation (interactive animation) method provided. 삭제delete 삭제delete 삭제delete 삭제delete
KR1020170000214A 2017-01-02 2017-01-02 System and method of providing interactive anmation system based on remote-control using digital character KR101858168B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170000214A KR101858168B1 (en) 2017-01-02 2017-01-02 System and method of providing interactive anmation system based on remote-control using digital character

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170000214A KR101858168B1 (en) 2017-01-02 2017-01-02 System and method of providing interactive anmation system based on remote-control using digital character

Publications (1)

Publication Number Publication Date
KR101858168B1 true KR101858168B1 (en) 2018-05-16

Family

ID=62451797

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170000214A KR101858168B1 (en) 2017-01-02 2017-01-02 System and method of providing interactive anmation system based on remote-control using digital character

Country Status (1)

Country Link
KR (1) KR101858168B1 (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009536406A (en) * 2006-05-07 2009-10-08 株式会社ソニー・コンピュータエンタテインメント How to give emotional features to computer-generated avatars during gameplay

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009536406A (en) * 2006-05-07 2009-10-08 株式会社ソニー・コンピュータエンタテインメント How to give emotional features to computer-generated avatars during gameplay

Similar Documents

Publication Publication Date Title
CN109976690B (en) AR glasses remote interaction method and device and computer readable medium
CN107633441A (en) Commodity in track identification video image and the method and apparatus for showing merchandise news
CN102421012B (en) Method and system for acquiring screenshot picture of television program
CN107911737A (en) Methods of exhibiting, device, computing device and the storage medium of media content
CN105704502A (en) Live video interactive method and device
CN111627116A (en) Image rendering control method and device and server
CN109213304A (en) Gesture interaction method and system for live broadcast teaching
JP2020065229A (en) Video communication method, video communication device, and video communication program
CN111107434A (en) Information recommendation method and device
CN111179392A (en) Virtual idol comprehensive live broadcast method and system based on 5G communication
KR20110006976A (en) Mutimedia syncronization control system for display space from experience space
CN108320331B (en) Method and equipment for generating augmented reality video information of user scene
CN109116987A (en) A kind of holographic display system based on Kinect gesture control
CN114302221A (en) Virtual reality equipment and screen-casting media asset playing method
KR101858168B1 (en) System and method of providing interactive anmation system based on remote-control using digital character
CN113259544B (en) Remote interactive holographic demonstration system and method
CN110944140A (en) Remote display method, remote display system, electronic device and storage medium
CN113315885B (en) Holographic studio and system for remote interaction
KR20160136160A (en) Virtual Reality Performance System and Performance Method
CN115129280A (en) Virtual reality equipment and screen-casting media asset playing method
CN114915798A (en) Real-time video generation method, multi-camera live broadcast method and device
CN112423035A (en) Method for automatically extracting visual attention points of user when watching panoramic video in VR head display
CN109542234A (en) A kind of information displaying method and device for Size Dwelling Design
KR101816446B1 (en) Image processing system for processing 3d contents displyed on the flat display and applied telepresence, and method of the same
CN113259602B (en) Method and system for scheduling interactive holographic video

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant