KR20170059310A - Device for transmitting tele-presence image, device for receiving tele-presence image and system for providing tele-presence image - Google Patents

Device for transmitting tele-presence image, device for receiving tele-presence image and system for providing tele-presence image Download PDF

Info

Publication number
KR20170059310A
KR20170059310A KR1020150163544A KR20150163544A KR20170059310A KR 20170059310 A KR20170059310 A KR 20170059310A KR 1020150163544 A KR1020150163544 A KR 1020150163544A KR 20150163544 A KR20150163544 A KR 20150163544A KR 20170059310 A KR20170059310 A KR 20170059310A
Authority
KR
South Korea
Prior art keywords
image
telepresence
interaction
transmitting
telepresence image
Prior art date
Application number
KR1020150163544A
Other languages
Korean (ko)
Other versions
KR102404130B1 (en
Inventor
김종흠
양태길
한상훈
Original Assignee
주식회사 케이티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 케이티 filed Critical 주식회사 케이티
Priority to KR1020150163544A priority Critical patent/KR102404130B1/en
Publication of KR20170059310A publication Critical patent/KR20170059310A/en
Application granted granted Critical
Publication of KR102404130B1 publication Critical patent/KR102404130B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N5/23264—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/74—Circuits for processing colour signals for obtaining special effects
    • H04N9/75—Chroma key

Abstract

The present invention relates to a telepresence image transmission device, a telepresence image reception device, and a telepresence image provision system. The telepresence image transmission device according to the present invention comprises: a telepresence image processing part processing a telepresence image received from a photographing apparatus; an interaction image generation part generating an interaction image based on sensor data received from a sensor; and a transmission part transmitting the telepresence image and an image based on the interaction image to the telepresence image reception device. The transmitted images are configured to be output by the telepresence image reception device.

Description

텔레 프레젠스 영상 송신 장치, 텔레 프레젠스 영상 수신 장치 및 텔레 프레젠스 영상 제공 시스템{DEVICE FOR TRANSMITTING TELE-PRESENCE IMAGE, DEVICE FOR RECEIVING TELE-PRESENCE IMAGE AND SYSTEM FOR PROVIDING TELE-PRESENCE IMAGE} TECHNICAL FIELD [0001] The present invention relates to a telepresence image transmitting apparatus, a teleprecence image receiving apparatus, and a telepresence image providing system.

본 발명은 텔레 프레젠스 영상 송신 장치, 텔레 프레젠스 영상 수신 장치 및 텔레 프레젠스 영상 제공 시스템에 관한 것이다. The present invention relates to a telepresence image transmitting apparatus, a telepresence image receiving apparatus, and a telepresence image providing system.

텔레프레젠스(Telepresence) 기술이란, 실제로 상대방과 마주하고 있는 것과 같은 착각을 일으키게 하는 가상현실기술과 인터넷기술이 결합된 기술을 말한다. 텔레 프레젠스는 주로 영상회의에 이용되고 있으며, 영상회의에서는 텔레프레젠스를 통해 멀리 떨어져 있는 회의 참석자가 동일한 장소에서 참여한 것과 같이 표정, 느낌, 말하는 억양, 컨디션까지 전달함으로써, 회의 참석자 간의 의사소통이 원활하도록 하게 만들어 준다. Telepresence technology is a technology that combines Internet technology with virtual reality technology that causes the illusion that it is actually facing the other party. Telepresence is mainly used for video conferencing. In teleconferencing, telepresence helps participants to communicate with each other by conveying facial expressions, feelings, speaking intonations, and physical conditions, as far as conference attendees from far away participate in the same place. Make it smooth.

이러한 텔레프레젠스 기술과 관련하여, 선행기술인 한국공개특허 제 2014-0141353호는 사용자 단말을 이용한 텔레프레즌스 시스템에 대해 개시하고 있다. Related to this telepresence technology, Korean Patent Laid-Open Publication No. 2014-0141353 discloses a telepresence system using a user terminal.

최근에는, 텔레프레젠스 기술을 이용한 라이브 콘서트 서비스가 제작되고 있다. 다만, 텔레프레젠스 기술이 적용된 라이브 콘서트는 연출된 시나리오에 따라 생성된 디지털 파일을 반복 재생하는 형태로 서비스가 제공된다는 점에서 서비스 제공에 한계가 존재한다. Recently, a live concert service using telepresence technology is being produced. However, the live concert with telepresence technology is limited in terms of service provision because the service is provided in the form of repetitively reproducing the generated digital file according to the scenarios in which it is created.

공연 콘텐츠 편집 도구를 이용하여 공연 무대장면의 편집 및 재생, 공연장에서의 디스플레이 환경에 맞는 실시간 텔레 프레젠스 영상을 출력할 수 있도록 하는 텔레 프레젠스 영상 송신 장치, 텔레 프레젠스 영상 수신 장치 및 텔레 프레젠스 영상 제공 시스템을 제공하고자 한다. 또한, 복수의 디스플레이 스크린과 그에 대응하는 복수의 영상을 동기화하여 하나의 콘텐츠로 제공함으로써, 다이나믹한 공연 체험을 제공하는 텔레 프레젠스 영상 송신 장치, 텔레 프레젠스 영상 수신 장치 및 텔레 프레젠스 영상 제공 시스템을 제공하고자 한다. 실시간 텔레 프레젠스 콘텐츠 서비스의 제공을 통해 차별화된 홀로그램 공연 서비스를 제공하는 텔레 프레젠스 영상 송신 장치, 텔레 프레젠스 영상 수신 장치 및 텔레 프레젠스 영상 제공 시스템을 제공하고자 한다. 다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.Teleprecence video transmission device, teleprecence video reception device, and telepresence device, which enable real time telepresence video output according to the display environment in a venue to be edited and reproduced, using the performance content editing tool, And to provide a video providing system. In addition, a plurality of display screens and a plurality of images corresponding thereto are synchronized with each other to provide a single content, thereby providing a dynamic performance experience, a telepresence image receiving apparatus, and a telepresence image providing system . A telepresence image transmitting apparatus, a telepresence image receiving apparatus, and a telepresence image providing system that provide differentiated hologram performance services through provision of a real-time telepresence content service. It is to be understood, however, that the technical scope of the present invention is not limited to the above-described technical problems, and other technical problems may exist.

상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 일 실시예는 촬영 장치로부터 수신된 텔레 프레젠스 영상을 처리하는 텔레 프레젠스 영상 처리부, 센서로부터 수신된 센서 데이터에 기초하여 인터렉션 영상을 생성하는 인터렉션 영상 생성부 및 텔레 프레젠스 영상 수신 장치로 상기 텔레 프레젠스 영상 및 상기 인터렉션 영상에 기초한 영상을 전송하는 전송부를 포함하고, 상기 전송된 영상은 상기 텔레 프레젠스 영상 수신 장치에 의해 출력되도록 구성된 것인 텔레 프레젠스 영상 송신 장치를 제공할 수 있다. According to an aspect of the present invention, there is provided a telepresence image processing unit for processing a telepresence image received from an image capturing apparatus, an image generation unit for generating an interaction image based on sensor data received from the sensor, And a transmitting unit transmitting an image based on the telepresence image and the interaction image to a telepresence image receiving apparatus, wherein the transmitted image is configured to be output by the telepresence image receiving apparatus The present invention can provide a teleprecence image transmitting apparatus.

또한, 본 발명의 다른 실시예는, 텔레 프레젠스 영상 송신 장치로부터 텔레 프레젠스 영상 및 센서 데이터를 수신하는 수신부, 상기 수신된 텔레 프레젠스 영상을 처리하는 텔레 프레젠스 영상 처리부, 상기 수신된 센서 데이터에 기초하여 인터렉션 영상을 생성하는 인터렉션 영상 생성부 및 상기 텔레 프레젠스 영상 및 상기 인터렉션 영상에 기초한 영상을 출력하는 출력부를 포함하는 텔레 프레젠스 영상 수신 장치를 제공할 수 있다. According to another embodiment of the present invention, there is provided a telepresence image transmitting apparatus including a receiving unit for receiving a telepresence image and sensor data from a telepresence image transmitting apparatus, a telepresence image processing unit for processing the received telepresence image, And an output unit for outputting an image based on the telepresence image and the interaction image. The present invention also provides a telepresence image receiving apparatus including:

상술한 과제 해결 수단은 단지 예시적인 것으로서, 본 발명을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 기재된 추가적인 실시예가 존재할 수 있다.The above-described task solution is merely exemplary and should not be construed as limiting the present invention. In addition to the exemplary embodiments described above, there may be additional embodiments described in the drawings and the detailed description of the invention.

전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 공연 콘텐츠 편집 도구를 이용하여 공연 무대장면의 편집 및 재생, 공연장에서의 디스플레이 환경에 맞는 실시간 텔레 프레젠스 영상을 출력할 수 있도록 하는 텔레 프레젠스 영상 송신 장치, 텔레 프레젠스 영상 수신 장치 및 텔레 프레젠스 영상 제공 시스템을 제공할 수 있다. 또한, 복수의 디스플레이 스크린과 그에 대응하는 복수의 영상을 동기화하여 하나의 콘텐츠로 제공함으로써, 다이나믹한 공연 체험을 제공하는 텔레 프레젠스 영상 송신 장치, 텔레 프레젠스 영상 수신 장치 및 텔레 프레젠스 영상 제공 시스템을 제공할 수 있다. 실시간 텔레 프레젠스 콘텐츠 서비스의 제공을 통해 차별화된 홀로그램 공연 서비스를 제공하는 텔레 프레젠스 영상 송신 장치, 텔레 프레젠스 영상 수신 장치 및 텔레 프레젠스 영상 제공 시스템을 제공할 수 있다.According to any one of the above-mentioned objects of the present invention, there is provided a telepresence system capable of editing and reproducing a performance stage scene using a performance content editing tool, and outputting a real time telepresence image suitable for a display environment in a theater A video transmitting apparatus, a telepresence video receiving apparatus, and a telepresence video providing system. In addition, a plurality of display screens and a plurality of images corresponding thereto are synchronized with each other to provide a single content, thereby providing a dynamic performance experience, a telepresence image receiving apparatus, and a telepresence image providing system Can be provided. A telepresence image transmitting apparatus, a telepresence image receiving apparatus, and a telepresence image providing system that provide differentiated hologram performance services through provision of a real-time telepresence content service can be provided.

도 1은 본 발명의 일 실시예에 따른 텔레 프레젠스 영상 시스템의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 텔레 프레젠스 영상 송신 장치의 구성도이다.
도 3a 내지 도 3g은 본 발명의 일 실시예에 따른 텔레 프레젠스 영상 송신 장치에서 텔레 프레젠스 영상으로부터 객체를 추출하는 과정을 설명하기 위한 예시적인 도면이다.
도 4a 내지 도 4c는 본 발명의 일 실시예에 따른 텔레 프레젠스 영상 송신 장치에서 텔레 프레젠스 영상 및 배경 영상을 보정 및 합성하는 과정을 설명하기 위한 예시적인 도면이다.
도 5는 본 발명의 일 실시예에 따른 텔레 프레젠스 영상 송신 장치에서 텔레 프레젠스 영상을 송신하는 방법의 순서도이다.
도 6은 본 발명의 일 실시예에 따른 텔레 프레젠스 영상 수신 장치의 구성도이다.
도 7은 본 발명의 일 실시예에 따른 텔레 프레젠스 영상 수신 장치에서 텔레 프레젠스 영상을 수신하는 방법의 순서도이다.
도 8은 본 발명의 일 실시예에 따른 무대 장치를 도시한 예시적인 도면이다.
도 9는 본 발명의 일 실시예에 따른 텔레 프레젠스 영상을 하나의 홀로그램 스크린을 이용하여 출력하는 과정을 설명하기 위한 예시적인 도면이다.
도 10a 내지 도 10c는 본 발명의 일 실시예에 따른 텔레 프레젠스 영상을 복수의 홀로그램 스크린을 이용하여 출력하는 과정을 설명하기 위한 예시적인 도면이다.
도 11은 본 발명의 일 실시예에 따른 텔레 프레젠스 영상과 배경 영상을 도시한 예시적인 도면이다.
도 12은 본 발명의 일 실시예에 따른 객체에 대한 제스처에 기초하여 인터렉션 영상을 출력하는 과정을 설명하기 위한 예시적인 도면이다. 1 is a configuration diagram of a telepresence image system according to an embodiment of the present invention.
2 is a configuration diagram of a telepresence image transmitting apparatus according to an embodiment of the present invention.
3A to 3G are explanatory diagrams illustrating a process of extracting an object from a telepresence image in a telepresence image transmitting apparatus according to an embodiment of the present invention.
4A to 4C are exemplary diagrams illustrating a process of correcting and synthesizing telepresence images and background images in a telepresence image transmitting apparatus according to an embodiment of the present invention.
5 is a flowchart illustrating a method of transmitting a telepresence image in a telepresence image transmitting apparatus according to an embodiment of the present invention.
6 is a configuration diagram of a telepresence image receiving apparatus according to an embodiment of the present invention.
7 is a flowchart of a method of receiving a telepresence image in a telepresence image receiving apparatus according to an embodiment of the present invention.
8 is an exemplary diagram illustrating a stage apparatus according to an embodiment of the present invention.
9 is an exemplary diagram illustrating a process of outputting a telepresence image according to an embodiment of the present invention using one hologram screen.
FIGS. 10A to 10C are exemplary diagrams illustrating a process of outputting a telepresence image according to an embodiment of the present invention using a plurality of hologram screens.
11 is an exemplary diagram illustrating a telepresence image and a background image according to an embodiment of the present invention.
12 is an exemplary diagram for explaining a process of outputting an interaction image based on a gesture for an object according to an embodiment of the present invention.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다. Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings, which will be readily apparent to those skilled in the art. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. In order to clearly illustrate the present invention, parts not related to the description are omitted, and similar parts are denoted by like reference characters throughout the specification.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. Throughout the specification, when a part is referred to as being "connected" to another part, it includes not only "directly connected" but also "electrically connected" with another part in between . Also, when an element is referred to as "including" an element, it is to be understood that the element may include other elements as well as other elements, And does not preclude the presence or addition of one or more other features, integers, steps, operations, components, parts, or combinations thereof.

본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1 개의 유닛이 2 개 이상의 하드웨어를 이용하여 실현되어도 되고, 2 개 이상의 유닛이 1 개의 하드웨어에 의해 실현되어도 된다.In this specification, the term " part " includes a unit realized by hardware, a unit realized by software, and a unit realized by using both. Further, one unit may be implemented using two or more hardware, or two or more units may be implemented by one hardware.

본 명세서에 있어서 단말 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말 또는 디바이스와 연결된 서버에서 대신 수행될 수도 있다. 이와 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능 중 일부도 해당 서버와 연결된 단말 또는 디바이스에서 수행될 수도 있다.In this specification, some of the operations or functions described as being performed by the terminal or the device may be performed in the server connected to the terminal or the device instead. Similarly, some of the operations or functions described as being performed by the server may also be performed on a terminal or device connected to the server.

이하 첨부된 도면을 참고하여 본 발명의 일 실시예를 상세히 설명하기로 한다. Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시예에 따른 텔레 프레젠스 영상 시스템의 구성도이다. 도 1을 참조하면, 텔레 프레젠스 영상 시스템(1)은 촬영 장치(110), 텔레 프레젠스 영상 송신 장치(120), 텔레 프레젠스 영상 수신 장치(130) 및 복수의 프로젝터(140)를 포함할 수 있다. 도 1에 도시된 촬영 장치(110), 텔레 프레젠스 영상 송신 장치(120), 텔레 프레젠스 영상 수신 장치(130) 및 복수의 프로젝터(140)는 텔레 프레젠스 영상 시스템(1)에 의하여 제어될 수 있는 구성요소들을 예시적으로 도시한 것이다. 1 is a configuration diagram of a telepresence image system according to an embodiment of the present invention. 1, a telepresence image system 1 includes a photographing apparatus 110, a telepresence image transmitting apparatus 120, a telepresence image receiving apparatus 130, and a plurality of projectors 140 . The photographing apparatus 110, the telepresence image transmitting apparatus 120, the telepresence image receiving apparatus 130 and the plurality of projectors 140 shown in FIG. 1 are controlled by the telepresence image system 1 Illustrate exemplary components that may be employed.

도 1의 텔레프레젠스 영상 시스템(1)의 각 구성요소들은 일반적으로 네트워크(network)를 통해 연결된다. 예를 들어, 도 1에 도시된 바와 같이, 텔레 프레젠스 영상 송신 장치(120)는 네트워크를 통해 텔레 프레젠스 영상 수신 장치(130)와 동시에 또는 시간 간격을 두고 연결될 수 있다. 일반적으로 텔레프레젠스는 송신 행위와 수신 행위가 동시에 이루어지기 때문에 송신기능과 수신기능은 구분이 될 수 있지만, 시스템적으로는 송신기능과 수신기능을 모두 포함할 수 있다.Each component of the telepresence image system 1 of FIG. 1 is generally connected via a network. For example, as shown in FIG. 1, the telepresence image transmitting apparatus 120 may be connected to the telepresence image receiving apparatus 130 via a network at the same time or at intervals. In general, the telepresence can be classified into a transmission function and a reception function because both a transmission operation and a reception operation are performed at the same time, but the system may include both a transmission function and a reception function.

네트워크는 단말들 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 이러한 네트워크의 일 예는, Wi-Fi, 블루투스(Bluetooth), 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), 3G, 4G, 5G, LTE 등이 포함되나 이에 한정되지는 않는다.A network refers to a connection structure in which information can be exchanged between nodes such as terminals and servers. An example of such a network is Wi-Fi, Bluetooth, Internet, LAN Network, wireless LAN, WAN, PAN, 3G, 4G, 5G, LTE, and the like.

일 실시예에서, 텔레 프레젠스 영상 송신 장치(120)는 촬영 장치(110)로부터 수신된 텔레 프레젠스 영상을 처리할 수 있다. 예를 들어, 텔레 프레젠스 영상 송신 장치(120)는 수신된 텔레 프레젠스 영상으로부터 크로마 키(Chroma-Key)를 제거하고, 크로마 키가 제거된 텔레 프레젠스 영상의 절단면을 블러링(Blurring)함으로써 텔레 프레젠스 영상의 객체를 추출할 수 있다. In one embodiment, the telepresence image transmission device 120 may process the telepresence image received from the imaging device 110. For example, the telepresence image transmitting apparatus 120 removes the chroma key from the received telepresence image and blurs the cut surface of the telepresence image from which the chroma key has been removed The object of the telepresence image can be extracted.

텔레 프레젠스 영상 송신 장치(120)는 센서로부터 수신된 센서 데이터에 기초하여 인터렉션 영상을 생성할 수 있다. 예를 들어, 텔레 프레젠스 영상 송신 장치(120)는 센서 데이터로부터 객체의 패턴을 분석하고, 분석된 제스처의 패턴과 매칭되는 커맨드에 기초하여 인터렉션 영상을 생성할 수 있다. 이 때, 텔레 프레젠스 영상 송신 장치(120)는 분석된 제스처의 패턴을 추적하여 생성된 인터렉션 영상을 이동시키심으로써 송신측과 수신측이 상호 인터렉션 할 수 있다. 이때, 센서는 모션 센서, 음성 센서, 중력 센서 및 광센서 등을 포함할 수 있다.The telepresence image transmitting apparatus 120 can generate an interaction image based on the sensor data received from the sensor. For example, the telepresence image transmission device 120 may analyze the pattern of the object from the sensor data and generate an interaction image based on a command matched with the pattern of the analyzed gesture. At this time, the telepresence image transmitting apparatus 120 tracks the pattern of the analyzed gesture and moves the generated interaction image so that the transmitting side and the receiving side can interact with each other. Here, the sensor may include a motion sensor, a voice sensor, a gravity sensor, and a light sensor.

텔레 프레젠스 영상 송신 장치(120)는 텔레 프레젠스 영상 수신 장치(130)로 텔레 프레젠스 영상 및 인터렉션 영상에 기초한 영상을 전송할 수 있다. 이 때, 인터렉션 영상은 커맨드에 대응하는 오브젝트, 오브젝트 속성값(오브젝트가 출력될 파라미터), 오브젝트의 출력 좌표값 등을 포함하는 메타데이터로 구성되며, 텔레 프레젠스 영상 송신 장치(120)는 이동된 인터렉션 영상이 수신측으로 전송되는 경우, 텔레 프레젠스 영상 수신 장치(130)로 좌표값이 수정된 메타데이터를 전송할 수 있다. 즉, 송신측과 수신측 사이에는 가상의 홀로그램 스크린 공간(공유화면)이 존재하며, 송신측과 수신측은 각자 소프트웨어에서 공유되는 데이터를 가지고 동일한 화면을 공유할 수 있다. 단, 새로운 오브젝트를 불러와서 선택하고 상대방에게 전송(공유화면에 적용)하는 과정은 송신측에서만 이루어지는 행위이기 때문에 단계적으로 구분될 수 있다. 이때, 송신측은 공유화면과 자신의 UI화면의 영역을 구분하여 표시할 수 있다.The telepresence image transmitting apparatus 120 can transmit an image based on the telepresence image and the interaction image to the telepresence image receiving apparatus 130. At this time, the interaction image is composed of metadata, including an object corresponding to the command, an object attribute value (parameter to output the object), an output coordinate value of the object, etc., and the telepresence image transmitting apparatus 120 transmits When the interaction image is transmitted to the reception side, the metadata in which the coordinate value is modified by the telepresence image reception device 130 can be transmitted. That is, there is a virtual hologram screen space (shared screen) between the transmitting side and the receiving side, and the transmitting side and the receiving side can share the same screen with data shared in software. However, the process of loading a new object, selecting it, and transmitting it to the other party (applying it to the shared screen) is an action performed only on the transmitting side, so that it can be divided in stages. At this time, the transmitting side can display the shared screen and the area of its UI screen separately.

텔레 프레젠스 영상 송신 장치(120)는 텔레 프레젠스 영상 수신 장치(130)로부터 피드백 정보를 수신할 수 있다. 이 때, 텔레 프레젠스 영상 송신 장치(120)는 피드백 정보에 기초하여 텔레 프레젠스 영상 및 인터렉션 영상 등을 보정하고, 보정된 영상을 텔레 프레젠스 영상 수신 장치(130)로 전송할 수 있다. 여기서, 피드백 정보는 상황 정보 및 모니터링 정보 등을 포함하고, 상황 정보는 영상이 출력되는 장소의 조명 정보 및 객석 정보 등을 포함하고, 모니터링 정보는 출력된 영상에 포함된 텔레 프레젠스 영상과 인터렉션 영상 간의 해상도 차이값 및 좌표 차이값 등을 포함할 수 있다. The telepresence image transmitting apparatus 120 can receive the feedback information from the telepresence image receiving apparatus 130. At this time, the telepresence image transmitting apparatus 120 can correct the telepresence image, the interaction image, and the like based on the feedback information, and transmit the corrected image to the teleprecence image receiving apparatus 130. Here, the feedback information includes situation information and monitoring information, and the situation information includes illumination information and audience information at a location where the image is output, and the monitoring information includes a telepresence image included in the output image and an interaction image A resolution difference value and a coordinate difference value between the two images.

텔레 프레젠스 영상 송신 장치(120)는 텔레 프레젠스 영상 및 인터렉션 영상을 동기화하여 합성하고, 합성된 영상의 화면을 캡쳐할 수 있다. 이 때, 텔레 프레젠스 영상 송신 장치(120)는 텔레 프레젠스 영상 수신 장치(130)로 캡쳐된 영상의 화면을 전송할 수 있다. 이때, 캡처된 화면을 전송하는 방식은 인터렉션 화면을 생성하는 소프트웨어가 구비되어 있지 않은 환경의 수신측을 위하여 양자간 동일한 화면을 공유하기 위해 어느 한쪽에서 화면을 생성하고 전달하여 디스플레이하는 방식일 수 있다.The telepresence image transmitting apparatus 120 can synchronize and synthesize the telepresence image and the interaction image, and capture the screen of the synthesized image. At this time, the telepresence image transmitting apparatus 120 can transmit a screen image captured by the telepresence image receiving apparatus 130. At this time, the method of transmitting the captured screen may be a method of generating, transmitting, and displaying a screen from one of the two to share the same screen for the receiving side in an environment in which software for creating an interaction screen is not provided .

텔레 프레젠스 영상 수신 장치(130)는 텔레 프레젠스 영상 송신 장치(120)로부터 텔레 프레젠스 영상 및 인터렉션 영상을 수신할 수 있다. 이 때, 텔레 프레젠스 영상 수신 장치(130)는 실시간으로 텔레 프레젠스 영상 및 인터렉션 영상을 수신하여 압축을 해제하고, 텔레 프레젠스 영상 및 인터렉션에 기초한 영상을 프로젝터(140)를 통해 출력할 수 있다. 예를 들어, 텔레 프레젠스 영상 수신 장치(130)는 제 1 프로젝터를 통해 텔레 프레젠스 영상 및 인터렉션 영상을 출력하고, 제 2 프로젝터를 통해 사전에 정의된 배경영상을 출력할 수 있다. The telepresence image receiving apparatus 130 can receive the telepresence image and the interaction image from the telepresence image transmitting apparatus 120. At this time, the telepresence image receiving apparatus 130 receives the telepresence image and the interaction image in real time, decompresses the image, and outputs the image based on the telepresence image and the interaction through the projector 140 . For example, the telepresence image receiving apparatus 130 may output the telepresence image and the interaction image through the first projector and output a predefined background image through the second projector.

다른 실시예에서, 텔레 프레젠스 영상 송신 장치(120)는 촬영 장치(110)로부터 수신된 텔레 프레젠스 영상을 압축하여 텔레 프레젠스 영상 수신 장치(130)로 전송할 수 있다. 또한, 텔레 프레젠스 영상 송신 장치(120)는 센서로부터 수신된 센서 데이터를 생성하여 압축한 후, 텔레 프레젠스 영상 수신 장치(130)로 전송할 수 있다. In another embodiment, the telepresence image transmitting apparatus 120 may compress the telepresence image received from the photographing apparatus 110 and transmit the compressed telepresence image to the telepresence image receiving apparatus 130. In addition, the telepresence image transmitting apparatus 120 may generate sensor data received from the sensor, compress the sensor data, and transmit the sensor data to the telepresence image receiving apparatus 130.

텔레 프레젠스 영상 수신 장치(130)는 텔레 프레젠스 영상 송신 장치(120)로부터 텔레 프레젠스 영상 및 센서 데이터를 수신할 수 있다. The telepresence image receiving apparatus 130 can receive the telepresence image and sensor data from the telepresence image transmitting apparatus 120.

텔레 프레젠스 영상 수신 장치(130)는 수신된 텔레 프레젠스 영상을 처리할 수 있다. 예를 들어, 텔레 프레젠스 영상 수신 장치(130)는 수신된 텔레 프레젠스 영상으로부터 크로마 키(Chroma-Key)를 제거하고, 크로마 키가 제거된 텔레 프레젠스 영상의 절단면을 블러링(Blurring)함으로써 텔레 프레젠스 영상의 객체를 추출할 수 있다. The telepresence image receiving apparatus 130 can process the received telepresence image. For example, the telepresence image receiving apparatus 130 removes the chroma-key from the received telepresence image and blurs the cut surface of the telepresence image from which the chroma key has been removed The object of the telepresence image can be extracted.

텔레 프레젠스 영상 수신 장치(130)는 수신된 센서 데이터에 기초하여 인터렉션 영상을 생성할 수 있다. 예를 들어, 텔레 프레젠스 영상 수신 장치(130)는 센서 데이터로부터 객체에 대한 제스처의 패턴을 분석하고, 분석된 제스처의 패턴과 매칭되는 커맨드에 기초하여 인터렉션 영상을 생성할 수 있다. 이 때, 텔레 프레젠스 영상 수신 장치(130)는 분석된 제스처의 패턴을 추적하여 생성된 인터렉션 영상을 이동시킬 수 있다. 여기서, 인터렉션 영상은 커맨드에 대응하는 오브젝트 및 좌표값을 포함하는 메타데이터로 구성되고, 인터렉션 영상이 이동되는 경우, 텔레 프레젠스 영상 수신 장치(130)는 텔레 프레젠스 영상 송신 장치(120)로 좌표값이 수정된 메타데이터를 전송할 수 있다. The telepresence image receiving apparatus 130 can generate an interaction image based on the received sensor data. For example, the telepresence image receiving device 130 may analyze a pattern of gestures for the object from the sensor data, and generate an interaction image based on a command matched with the pattern of the analyzed gesture. At this time, the telepresence image receiving apparatus 130 can move the generated interaction image by tracking the pattern of the analyzed gesture. In this case, the interaction image is composed of metadata and metadata including the object corresponding to the command and the coordinate value. When the interaction image is moved, the teleprecence image receiving apparatus 130 transmits the coordinates The metadata with the modified value can be transmitted.

텔레 프레젠스 영상 수신 장치(130)는 텔레 프레젠스 영상 및 인터렉션 영상에 기초한 영상을 프로젝터(140)를 통해 출력할 수 있다. 예를 들어, 텔레 프레젠스 영상 수신 장치(130)는 제 1 프로젝터를 통해 텔레 프레젠스 영상 및 인터렉션 영상에 기초한 영상을 출력하고, 제 2 프로젝터를 통해 사전에 정의된 배경영상을 출력할 수 있다.The telepresence image receiving apparatus 130 can output an image based on the telepresence image and the interaction image through the projector 140. For example, the telepresence image receiving apparatus 130 outputs an image based on the telepresence image and the interaction image through the first projector, and outputs a predefined background image through the second projector.

텔레 프레젠스 영상 수신 장치(130)는 텔레 프레젠스 영상 및 인터렉션 영상에 대한 피드백 정보를 생성할 수 있다. 이 때, 텔레 프레젠스 영상 수신 장치(130)는 텔레 프레젠스 영상 송신 장치(120)로 피드백 정보를 전송할 수 있다. 여기서, 피드백 정보는 상황 정보 및 모니터링 정보 등을 포함하고, 상황 정보는 영상이 출력되는 장소의 조명 정보 및 객석 정보 등을 포함하고, 모니터링 정보는 출력된 영상에 포함된 텔레 프레젠스 영상과 인터렉션 영상 간의 해상도 차이값 및 좌표 차이값 등을 포함할 수 있다. The telepresence image receiving apparatus 130 can generate feedback information on the telepresence image and the interaction image. At this time, the telepresence image receiving apparatus 130 can transmit the feedback information to the telepresence image transmitting apparatus 120. Here, the feedback information includes situation information and monitoring information, and the situation information includes illumination information and audience information at a location where the image is output, and the monitoring information includes a telepresence image included in the output image and an interaction image A resolution difference value and a coordinate difference value between the two images.

텔레 프레젠스 영상 수신 장치(130)는 텔레 프레젠스 영상 및 인터렉션 영상을 동기화하여 합성하고, 합성된 영상을 출력할 수 있다.  The telepresence image receiving apparatus 130 can synthesize the telepresence image and the interaction image, synthesize them, and output the synthesized image.

도 2는 본 발명의 일 실시예에 따른 텔레 프레젠스 영상 송신 장치의 구성도이다. 2 is a configuration diagram of a telepresence image transmitting apparatus according to an embodiment of the present invention.

일 실시예에서, 텔레 프레젠스 영상 송신 장치(120)는 텔레 프레젠스 영상 처리부(210), 인터렉션 영상 생성부(220), 전송부(230), 수신부(240), 보정부(250), 영상 합성부(260) 및 화면 캡쳐부(270)를 포함할 수 있다. The telepresence image transmission apparatus 120 includes a telepresence image processing unit 210, an interaction image generation unit 220, a transmission unit 230, a reception unit 240, a correction unit 250, A composition unit 260 and a screen capture unit 270. [

텔레 프레젠스 영상 처리부(210)는 촬영 장치(110)로부터 수신된 텔레 프레젠스 영상을 처리할 수 있다. 예를 들어, 텔레 프레젠스 영상 처리부(210)는 수신된 텔레 프레젠스 영상으로부터 크로마 키(Chroma-Key)를 제거하고, 후처리로서 크로마 키가 제거된 텔레 프레젠스 영상의 절단면을 블러링(Blurring)하거나, 노이즈를 제거하거나, 리커버리함으로써 텔레 프레젠스 영상의 객체를 추출할 수 있다. 텔레 프레젠스 영상을 처리하는 과정에 대해서는 도 3a 내지 도 3g를 통해 상세히 설명하도록 하겠다. The telepresence image processing unit 210 may process the telepresence image received from the photographing apparatus 110. [ For example, the telepresence image processing unit 210 removes the chroma key from the received telepresence image and performs a blurring process on the cut surface of the chroma key-removed telepresence image as a post- ), Removing noise, or recovering the object of the telepresence image. The process of processing the telepresence image will be described in detail with reference to FIGS. 3A to 3G.

도 3a 내지 도 3g은 본 발명의 일 실시예에 따른 텔레 프레젠스 영상 송신 장치에서 텔레 프레젠스 영상으로부터 객체를 추출하는 과정을 설명하기 위한 예시적인 도면이다. 3A to 3G are explanatory diagrams illustrating a process of extracting an object from a telepresence image in a telepresence image transmitting apparatus according to an embodiment of the present invention.

도 3a는 촬영 장치(110)로부터 수신한 텔레 프레젠스 영상을 도시한 예시적인 도면이다. 도 3a를 참조하면, 촬영 장치(110)는 그린 스크린을 배경으로 하여 사람 객체를 촬영한 텔레 프레젠스 영상을 생성할 수 있다. 이 때, 촬영 장치(110)는 생성된 텔레 프레젠스 영상을 텔레 프레젠스 영상 송신 장치(120)로 전송할 수 있다. 3A is an exemplary diagram showing a telepresence image received from the photographing apparatus 110. FIG. Referring to FIG. 3A, the photographing apparatus 110 may generate a telepresence image obtained by photographing a human object using a green screen as a background. At this time, the photographing apparatus 110 can transmit the generated telepresence image to the telepresence image transmitting apparatus 120.

도 3b는 텔레 프레젠스 영상 송신 장치(120)에서 텔레 프레젠스 영상으로부터 크로마 키를 제거하는 과정을 도시한 예시적인 도면이다. 도 3b를 참조하면, 텔레 프레젠스 영상 송신 장치(120)는 수신된 텔레 프레젠스 영상으로부터 크로마 키 및 루마 키(Luma Key)를 제거하고, 배경 부분에 존재하는 노이즈를 제거할 수 있다. 여기서, 크로마 키는, 블루, 그린과 같은 색상의 스크린의 배경을 색상차를 이용하여 제거하는 것을 의미하고, 루미 키는, 색상의 밝기를 이용하여 제거하는 것을 의미한다. 3B is an exemplary diagram illustrating a process of removing a chroma key from a telepresence image in the telepresence image transmitting apparatus 120. [ Referring to FIG. 3B, the telepresence image transmitting apparatus 120 may remove a chroma key and a luma key from the received telepresence image, and remove noise existing in the background portion. Here, the chroma key means to remove the background of a screen having a color such as blue or green using a color difference, and the rumi key means to remove the color using the brightness of the color.

도 3c는 텔레 프레젠스 영상 송신 장치(120)에서 텔레 프레젠스 영상을 블러링하는 과정을 도시한 예시적인 도면이다. 도 3c를 참조하면, 크로마 키가 제거된 텔레 프레젠스 영상에 배경과 객체 간의 단절감이 존재하므로, 텔레 프레젠스 영상 송신 장치(120)는 크로마 키가 제거된 텔레 프레젠스 영상의 절단면을 블러링 처리할 수 있다. 3C is an exemplary diagram illustrating a process of blurring a telepresence image in the telepresence image transmission apparatus 120. FIG. Referring to FIG. 3C, since there is a sense of disconnect between the background and the object in the telepresence image from which the chroma key has been removed, the teleprecence image transmission device 120 performs blurring processing on the cut surface of the chroma key- can do.

도 3d는 텔레 프레젠스 영상의 객체를 도시한 예시적인 도면이다. 도 3d를 참조하면, 텔레 프레젠스 영상 송신 장치(120)는 상기의 크로마 키 제거 과정 및 블러링 과정을 거쳐 텔레 프레젠스 영상의 객체를 추출할 수 있다. FIG. 3D is an exemplary diagram showing an object of a telepresence image. Referring to FIG. 3D, the telepresence image transmitting apparatus 120 may extract an object of the telepresence image through the chroma key elimination process and the blurring process.

도 3e는 추출된 객체의 색상을 조절하는 과정을 도시한 예시적인 도면이다. 도 3e를 참조하면, 텔레 프레젠스 영상 송신 장치(120)는 텔레 프레젠스 영상으로부터 추출된 객체의 색상, 명도, 채도, 명암비, 컬러 필터(Color Filter) 등을 선택 및 조절하여 객체에 적용시킬 수 있다. 3E is an exemplary diagram illustrating a process of adjusting the color of the extracted object. Referring to FIG. 3E, the telepresence image transmitting apparatus 120 can select and adjust the color, brightness, saturation, contrast ratio, and color filter of an object extracted from the telepresence image to be applied to the object have.

도 3f는 추출된 객체의 크기 및 위치를 조절하는 과정을 도시한 예시적인 도면이다. 도 3f를 참조하면, 텔레 프레젠스 영상 송신 장치(120)는 텔레 프레젠스 영상으로부터 추출된 객체의 크기, 회전 각도, 좌표, 이동 효과 등을 설정하여 객체에 적용시킬 수 있다. FIG. 3F is an exemplary diagram illustrating a process of adjusting the size and position of the extracted object. Referring to FIG. 3F, the telepresence image transmitting apparatus 120 may set the size, rotation angle, coordinates, movement effect, and the like extracted from the telepresence image to the object.

도 3g는 추출된 객체에 특수 효과를 적용하는 과정을 도시한 예시적인 도면이다. 도 3g를 참조하면, 텔레 프레젠스 영상 송신 장치(120)는 텔레 프레젠스 영상으로부터 추출된 객체에 그림자 효과 및 반사 효과 등을 적용시킬 수 있다. 3G is an exemplary diagram illustrating a process of applying a special effect to an extracted object. Referring to FIG. 3G, the telepresence image transmitting apparatus 120 may apply a shadow effect and a reflection effect to an object extracted from the telepresence image.

다시 도 2로 돌아와서, 인터렉션 영상 생성부(220)는 센서로부터 수신된 센서 데이터에 기초하여 인터렉션 영상을 생성할 수 있다. 이때, 센서 데이터는 인터렉션 프로그램에 의해 처리될 수 있고, 인터렉션 영상은 소정의 정의된 시나리오에 따라 구동되는 인터렉션 프로그램 실행화면을 의미할 수 있다. 2, the interaction image generating unit 220 may generate the interaction image based on the sensor data received from the sensor. At this time, the sensor data may be processed by the interaction program, and the interaction image may mean an interaction program execution screen driven according to a predetermined defined scenario.

구체적으로, 인터렉션 프로그램는 수집된 센서 데이터에 대한 패턴을 분석하고, 분석에 기초하여 수행할 명령 커멘드와 메타데이터를 생성할 수 있습니다. 이러한 인터렉션 프로그램 실행화면은 인터렉션 영상과 관련된 메타데이터(스크립트)에 의하여 구현될 수 있다. 예를 들어, 인터렉션 영상 생성부(220)는 센서 데이터로부터 객체에 대한 제스처의 패턴을 분석하고, 분석된 제스처의 패턴에 기초하여 메타데이터를 생성하거나, 분석된 제스처의 패턴과 매칭되는 커맨드에 기초하여 인터렉션 영상을 생성할 수 있다. 이 때, 인터렉션 영상 생성부(220)는 분석된 제스처의 패턴을 추적하여 생성된 인터렉션 영상을 이동시킬 수 있다. 여기서, 인터렉션 영상은 커맨드에 대응하는 오브젝트 및 좌표값을 포함하는 메타데이터로 구성되는 것일 수 있다. 따라서, 송신단과 수신단은 메타데이터를 주고 받음으로써 송신단과 수신단 간의 인터렉션 영상을 동기화 시킬 수 있다. 예를 들어, 사람 객체의 주먹을 쥐었다 피는 동작을 통해 꽃, 음원 디스크 등과 같은 새로운 그래픽 객체를 불러올 수 있으며, 사람 객체가 손가락으로 그래픽 객체를 선택하면, 인터렉션 영상 생성부(220)는 제스처의 패턴을 추적하여 그래픽 객체를 이동시킬 수 있다. 또한, 다른 예를 들어, 송신측에서 생성한 데이터와 수신측으로부터 수신한 데이터를 함께 처리하여 인터렉션 화면이 구성되며, 이때 인터렉션 화면에는 송신측의 시청화면과 함께 수신측의 시청화면(최종합성화면) 또는 송신측이 수신측에게 전송한 인터렉션 화면도 함께 디스플레이될 수 있다.Specifically, an interaction program can analyze the patterns of collected sensor data and generate command commands and metadata to perform based on the analysis. Such an interaction program execution screen can be implemented by metadata (script) related to the interaction image. For example, the interaction image generation unit 220 may analyze the pattern of the gesture with respect to the object from the sensor data, generate the metadata based on the pattern of the analyzed gesture, or generate the metadata based on the command matched with the pattern of the analyzed gesture So that an interaction image can be generated. At this time, the interaction image generation unit 220 may track the pattern of the analyzed gesture and move the generated interaction image. Here, the interaction image may be composed of metadata including an object corresponding to the command and a coordinate value. Therefore, the transmitting end and the receiving end can synchronize the interaction image between the transmitting end and the receiving end by exchanging the metadata. For example, a new graphic object such as a flower, a sound source disc, or the like can be called through the operation of holding a fist of a human object. When a human object selects a graphic object with a finger, the interaction image generation unit 220 generates a gesture You can trace the pattern to move graphic objects. For example, the data generated by the transmitting side and the data received by the receiving side are processed together to form an interaction screen. At this time, the interaction screen includes a viewing screen of the transmitting side and a viewing screen of the receiving side ) Or an interaction screen transmitted from the transmitting side to the receiving side.

전송부(230)는 텔레 프레젠스 영상 수신 장치(130)로 텔레 프레젠스 영상 및 인터렉션 영상에 기초한 영상을 전송할 수 있다. 이 때, 전송된 영상은 텔레프레젠스 영상 수신 장치(130)에 의해 출력될 수 있다. 또한, 전송부는, 텔레 프레젠스 영상 수신 장치(130)로 텔레 프레젠스 영상 및 인터렉션 영상을 각각 전송할 수 있다. The transmitting unit 230 may transmit the telepresence image and the image based on the interaction image to the telepresence image receiving apparatus 130. At this time, the transmitted image can be output by the teleprecence image receiving apparatus 130. Also, the transmitting unit may transmit the telepresence image and the interaction image to the telepresence image receiving apparatus 130, respectively.

또한, 전송부는, 텔레 프레젠스 영상 수신 장치(130)로 텔레 프레젠스 영상 및 인터렉션 영상과 관련된 메타데이터(실행 스크립트, 즉, 명령어 및 파라미터의 집합)를 전송할 수 있다. 이때, 전송부는 인터렉션 영상 대신 메타데이터를 전송함으로써 송신단과 수신단에서 각각 인터렉션 프로그램 실행화면을 사전 정의된 서비스 시나리오에 따라 동기화하여 실행할 수 있다. 이때, 전송부(230)는 인터렉션 영상이 이동되는 경우, 텔레 프레젠스 영상 수신 장치(130)로 좌표값이 수정된 메타데이터를 전송할 수 있다. In addition, the transmitting unit may transmit meta data (an execution script, that is, a set of commands and parameters) related to the telepresence image and the interaction image to the telepresence image receiving apparatus 130. [ At this time, the transmitting unit can transmit the meta data in place of the interaction video so that the interaction program execution screen can be synchronized and executed in the transmitting end and the receiving end, respectively, in accordance with the predefined service scenario. At this time, when the interaction image is moved, the transmitter 230 may transmit the metadata whose coordinate value has been modified by the teleprances image receiving apparatus 130. [

수신부(240)는 텔레 프레젠스 영상 수신 장치(130)로부터 피드백 정보를 수신할 수 있다. 여기서, 피드백 정보는 상황 정보 및 모니터링 정보 등을 포함하고, 상황 정보는 영상이 출력되는 장소의 조명 정보 및 객석 정보 등을 포함하고, 모니터링 정보는 출력된 영상에 포함된 텔레 프레젠스 영상과 인터렉션 영상 간의 해상도 차이값 및 좌표 차이값 등을 포함할 수 있다. The receiving unit 240 may receive feedback information from the telepresence image receiving apparatus 130. Here, the feedback information includes situation information and monitoring information, and the situation information includes illumination information and audience information at a location where the image is output, and the monitoring information includes a telepresence image included in the output image and an interaction image A resolution difference value and a coordinate difference value between the two images.

보정부(250)는 피드백 정보에 기초하여 텔레 프레젠스 영상 및 인터렉션 영상 등을 보정할 수 있다. 이 때, 보정된 영상은 전송부(230)를 통해 텔레 프레젠스 영상 수신 장치(130)로 전송될 수 있다. The correcting unit 250 can correct the telepresence image and the interaction image based on the feedback information. At this time, the corrected image may be transmitted to the teleprances image receiving apparatus 130 through the transmitting unit 230.

영상 합성부(260)는 텔레 프레젠스 영상 및 인터렉션 영상을 동기화하여 합성할 수 있다. 텔레 프레젠스 영상 및 인터렉션 영상을 보정하고 합성하는 과정에 대해서는 도 4a 내지 도 4c를 통해 상세히 설명하도록 하겠다. The image synthesizer 260 can synthesize the telepresence image and the interaction image in synchronization. The process of correcting and synthesizing the telepresence image and the interaction image will be described in detail with reference to FIGS. 4A to 4C.

도 4a 내지 도 4c는 본 발명의 일 실시예에 따른 텔레 프레젠스 영상 송신 장치에서 텔레 프레젠스 영상 및 배경 영상을 보정 및 합성하는 과정을 설명하기 위한 예시적인 도면이다. 4A to 4C are exemplary diagrams for explaining a process of correcting and synthesizing telepresence images and background images in a telepresence image transmitting apparatus according to an embodiment of the present invention.

도 4a는 영상 합성부(260)에서 제 1 장면(scene)에 대한 텔레 프레젠스 영상 및 인터렉션 영상을 합성하는 과정을 설명하기 위한 예시적인 도면이다. 도 4a를 참조하면, 영상 합성부(260)는 제 1 장면의 time=t1에서 바닷가를 배경으로 하는 배경영상(410)에 제 1 객체(411)인 달을 합성할 수 있다. 이 때, 합성된 영상은 텔레 프레젠스 영상 수신 장치(130)로 전송될 수 있다. 또는, 인터렉션 영상의 전송으로서, 각각의 객체 또는 오브젝트가 동작하는 시나리오를 시간순서에 따라 스크립트 형태의 실행명령어로 정의된 스크립트(메타데이터)를 생성하고, 이를 수신측으로 전송하고, 전송된 스크립트(메타데이터)를 이용하여 송신측과 수신측간의 동기화를 진행하여 인터렉션 영상을 실행할 수 있다.FIG. 4A is an exemplary diagram illustrating a process of synthesizing a telepresence image and an interaction image for a first scene in the image composition unit 260. FIG. Referring to FIG. 4A, the image synthesizer 260 may synthesize a month as a first object 411 in a background image 410 having a beach background at time = t1 of a first scene. At this time, the synthesized image can be transmitted to the telepresence image receiving apparatus 130. Alternatively, as the transmission of the interaction image, a script (meta data) defined by an execution command in the form of a script is generated according to a time sequence of a scenario in which each object or object operates, and transmitted to the receiving side, Data can be used to perform synchronization between the transmitting side and the receiving side to execute the interactive image.

도 4b는 보정부(250)에서 제 1 장면에 대한 텔레 프레젠스 영상 및 배경 영상을 보정하는 과정을 설명하기 위한 예시적인 도면이다. 도 4a 및 도 4b를 참조하면, 보정부(250)는 제 1 장면에서 합성된 영상에 제 2 객체(420)로 여성을 추가로 합성할 수 있다. 이 때, 보정부(250)는 제 2 객체(420)에 대해 time=t1~t2, 색=black, 크기=80, 그림자=없음 등으로 설정하여 제 1 장면을 보정할 수 있다. 한편, 인터렉션 영상은 시나리오상 텔레프레젠스 뒤쪽에 위치해야 하는 경우 배경영상과 합성되고, 앞쪽에 위치해야 하는 경우 텔레프레젠스 영상과 합성될 수 있다4B is an exemplary diagram for explaining a process of correcting the telepresence image and background image for the first scene in the correcting unit 250. [ Referring to FIGS. 4A and 4B, the corrector 250 may further synthesize a woman with the second object 420 on the image synthesized in the first scene. At this time, the correcting unit 250 can correct the first scene by setting time = t1 to t2, color = black, size = 80, shadow = none, etc. for the second object 420. [ On the other hand, the interaction image may be combined with the background image if it is to be located behind the telepresence in the scenario, and may be combined with the telepresence image if it is to be located in the front

도 4c는 제 1 장면및 제 2 장면을 실시간으로 합성하는 과정을 설명하기 위한 예시적인 도면이다. 도 4a 내지 도 4c를 참조하면, 전송부(230)는 도 4b에서 제 1 장면에 대하여 합성된 영상을 텔레 프레젠스 영상 수신 장치(130)로 전송할 수 있다. 4C is an exemplary diagram for explaining a process of synthesizing the first scene and the second scene in real time. Referring to FIGS. 4A to 4C, the transmitter 230 may transmit the synthesized image of the first scene to the telepresence image receiver 130 in FIG. 4B.

이 때, 제 1 장면에서 제 2 장면으로 장면이 전환되는 경우, 영상 합성부(260)는 제 2 장면의 time=t2에서 바닷가를 배경으로 하는 배경영상(410)을 달과 구름을 배경으로 하는 배경영상(430)으로 전환하고, 제 3 객체(431)인 남성을 추가로 합성할 수 있다. 즉, 제 2 객체(420)인 여성이 time=t1~t2로 설정되어 있으므로, 영상 합성부(260)는 제 2 장면에서 달과 구름을 배경으로 하는 배경영상(430)에 남성과 여성을 합성할 수 있다. 이 때, 합성된 영상을 텔레 프레젠스 영상 수신 장치(130)로 전송될 수 있다. At this time, when the scene is switched from the first scene to the second scene, the image synthesizer 260 generates a background image 410 having a beach at the time = t2 of the second scene, The background image 430 and the third object 431 can be further synthesized. That is, since the woman as the second object 420 is set to time = t1 to t2, the image synthesizer 260 synthesizes the male and female in the background image 430 having the background of the moon and the cloud in the second scene can do. At this time, the synthesized image can be transmitted to the telepresence image receiving apparatus 130.

다시 도 2로 돌아와서, 화면 캡쳐부(270)는 합성된 영상의 화면을 캡쳐할 수 있다. 이 때, 캡쳐된 영상의 화면은 전송부(230)를 통해 텔레 프레젠스 영상 수신 장치(130)로 전송될 수 있다. Returning to FIG. 2, the screen capture unit 270 can capture a screen of the synthesized image. At this time, the screen of the captured image can be transmitted to the telepresence image receiving apparatus 130 through the transmitting unit 230.

다른 실시예에서, 텔레 프레젠스 영상 송신 장치(120)는 전송부(230)만을 포함할 수 도 있다. 이 때, 전송부(230)는 촬영 장치(110)로부터 수신된 텔레 프레젠스 영상을 텔레 프레젠스 영상 수신 장치(130)로 전송할 수 있다. 또한, 전송부(230)는 센서로부터 수신된 센서 데이터를 텔레 프레젠스 영상 수신 장치(130)로 전송할 수 있다. In another embodiment, the telepresence image transmitting apparatus 120 may include only the transmitting unit 230. [ At this time, the transmitting unit 230 can transmit the telepresence image received from the photographing apparatus 110 to the telepresence image receiving apparatus 130. The transmitting unit 230 may transmit the sensor data received from the sensor to the telepresence image receiving apparatus 130.

도 5는 본 발명의 일 실시예에 따른 텔레 프레젠스 영상 송신 장치에서 텔레 프레젠스 영상을 송신하는 방법의 순서도이다. 도 5에 도시된 실시예에 따른 텔레 프레젠스 영상 송신 장치(120)에 의해 수행되는 텔레 프레젠스 영상을 송신하는 방법은 도 1에 도시된 실시예에 따른 텔레 프레젠스 영상 시스템(1)에서 시계열적으로 처리되는 단계들을 포함한다. 따라서, 이하 생략된 내용이라고 하더라도 도 1 내지 도 4c에 도시된 실시예에 따른 텔레 프레젠스 영상 시스템(1)에 관하여 이미 기술된 내용은 도 5에 도시된 실시예에 따른 텔레 프레젠스 영상 송신 장치(120)에 의해 수행되는 텔레 프레젠스 영상을 송신하는 방법에도 적용된다. 5 is a flowchart illustrating a method of transmitting a telepresence image in a telepresence image transmitting apparatus according to an embodiment of the present invention. The method of transmitting the telepresence image performed by the telepresence image transmitting apparatus 120 according to the embodiment shown in FIG. 5 is the same as that of the telepresence image transmitting apparatus 1 according to the embodiment shown in FIG. And thermally processed. 1 to 4C, the content already described with respect to the telepresence image system 1 according to the embodiment shown in Figs. 1 to 4C is the same as the telepresence image transmission apparatus 1 according to the embodiment shown in Fig. 5, The present invention is also applied to a method of transmitting a telepresence image performed by the terminal 120.

단계 S510에서 텔레 프레젠스 영상 송신 장치(120)는 촬영 장치(110)로부터 수신된 텔레 프레젠스 영상을 처리할 수 있다. 예를 들어, 텔레 프레젠스 영상 송신 장치(120)는 수신된 텔레 프레젠스 영상으로부터 크로마 키(Chroma-Key)를 제거하고, 크로마 키가 제거된 텔레 프레젠스 영상의 절단면을 블러링(Blurring)함으로써, 텔레 프레젠스 영상의 객체를 추출할 수 있다. 단계 S520에서 텔레 프레젠스 영상 송신 장치(120)는 센서로부터 수신된 센서 데이터에 기초하여 인터렉션 영상을 생성할 수 있다. 예를 들어, 텔레 프레젠스 영상 송신 장치(120)는 센서 데이터로부터 객체에 대한 제스처의 패턴을 분석하고, 분석된 제스처의 패턴과 매칭되는 커맨드에 기초하여 인터렉션 영상을 생성할 수 있다. 또는, 텔레 프레젠스 영상 송신 장치(120)는 분석된 제스처의 패턴을 추적하여 생성된 인터렉션 영상을 이동시킬 수 있다. 여기서, 인터렉션 영상은 커맨드에 대응하는 오브젝트 및 좌표값을 포함하는 메타데이터로 구성되고, 인터렉션 영상이 이동되는 경우, 텔레 프레젠스 영상 수신 장치(130)로 좌표값이 수정된 메타데이터를 전송할 수 있다. 단계 S530에서 텔레 프레젠스 영상 송신 장치(120)는 텔레 프레젠스 영상 수신 장치(130)로 텔레 프레젠스 영상 및 인터렉션 영상에 기초한 영상을 전송할 수 있다. 이 때, 전송된 영상은 텔레 프레젠스 영상 수신 장치(130)에 의해 출력될 수 있다. In step S510, the telepresence image transmitting apparatus 120 can process the telepresence image received from the photographing apparatus 110. [ For example, the telepresence image transmitting apparatus 120 removes the chroma key from the received telepresence image and blurs the cut surface of the telepresence image from which the chroma key has been removed , The object of the telepresence image can be extracted. In step S520, the telepresence image transmitting apparatus 120 can generate an interaction image based on the sensor data received from the sensor. For example, the telepresence image transmission device 120 may analyze the pattern of gestures for the object from the sensor data and generate an interaction image based on the matching command with the pattern of the analyzed gesture. Alternatively, the telepresence image transmission device 120 may track the pattern of the analyzed gesture and move the generated interaction image. Here, the interaction image is composed of metadata including the object corresponding to the command and the coordinate value, and when the interaction image is moved, the meta data having the coordinate value modified by the teleprances image receiving apparatus 130 can be transmitted . In step S530, the telepresence image transmitting apparatus 120 can transmit an image based on the telepresence image and the interaction image to the telepresence image receiving apparatus 130. [ At this time, the transmitted image can be output by the teleprecence image receiving apparatus 130.

도 5에서는 도시되지 않았으나, 텔레 프레젠스 영상 송신 장치(120)는 텔레 프레젠스 영상 수신 장치(130)로부터 피드백 정보를 수신하는 단계 및 피드백 정보에 기초하여 텔레 프레젠스 영상 및 인터렉션 영상 중 하나 이상을 보정하는 단계를 더 포함할 수 있다. 이 때, 텔레 프레젠스 영상 송신 장치(120)는 텔레 프레젠스 영상 수신 장치(130)로 보정된 영상을 전송할 수 있다. Although not shown in FIG. 5, the telepresence image transmitting apparatus 120 can receive at least one of the telepresence image and the interaction image based on the feedback information and the feedback information from the telepresence image receiving apparatus 130 And a step of calibrating. At this time, the telepresence image transmitting apparatus 120 can transmit the corrected image to the telepresence image receiving apparatus 130.

도 5에서는 도시되지 않았으나, 텔레 프레젠스 영상 송신 장치(120)는 텔레 프레젠스 영상 및 인터렉션 영상을 동기화하여 합성하는 단계 및 합성된 영상의 화면을 캡쳐하는 단계를 더 포함할 수 있다. 이 때, 텔레 프레젠스 영상 송신 장치(120)는 텔레 프레젠스 영상 수신 장치(130)로 캡쳐된 영상의 화면을 전송할 수 있다. Although not shown in FIG. 5, the telepresence image transmitting apparatus 120 may further include a step of synchronizing and synthesizing the telepresence image and the interaction image, and a step of capturing a screen of the synthesized image. At this time, the telepresence image transmitting apparatus 120 can transmit a screen image captured by the telepresence image receiving apparatus 130.

상술한 설명에서, 단계 S510 내지 S530은 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다.In the above description, steps S510 to S530 may be further divided into further steps or combined into fewer steps, according to an embodiment of the present invention. Also, some of the steps may be omitted as necessary, and the order between the steps may be changed.

도 6은 본 발명의 일 실시예에 따른 텔레 프레젠스 영상 수신 장치의 구성도이다. 6 is a configuration diagram of a telepresence image receiving apparatus according to an embodiment of the present invention.

일 실시예에서, 텔레 프레젠스 영상 수신 장치(130)는 수신부(610), 텔레 프레젠스 영상 처리부(620), 인터렉션 영상 생성부(630), 출력부(640), 피드백 정보 생성부(650), 전송부(660) 및 영상 합성부(670)를 포함할 수 있다. 이하에서 서술되는 텔레 프레젠스 영상 수신 장치(130)의 구성 중 텔레 프레젠스 영상 송신 장치(120)와 대응되는 구성은 텔레 프레젠스 영상 송신 장치(120)의 각 구성과 기능적으로 일치할 수 있다.The telepresence image receiving apparatus 130 includes a receiving unit 610, a telepresence image processing unit 620, an interaction image generating unit 630, an output unit 640, a feedback information generating unit 650, A transmission unit 660, and an image synthesis unit 670. [ The configuration corresponding to the telepresence image transmitting apparatus 120 among the configurations of the telepresence image receiving apparatus 130 described below can functionally coincide with the respective configurations of the telepresence image transmitting apparatus 120. [

수신부(610)는 텔레 프레젠스 영상 송신 장치(120)로부터 텔레 프레젠스 영상 및 센서 데이터를 수신할 수 있다. 또한, 수신부(610)는 텔레 프레젠스 영상 및 센서 데이터로부터 생성된 인터렉션 영상을 수신할 수 있다. 또한, 수신부(610)는 텔레 프레젠스 영상 및 인터렉션 영상에 기초된 합성 영상을 수신할 수 있다.The receiving unit 610 can receive the telepresence image and the sensor data from the telepresence image transmitting apparatus 120. Also, the receiving unit 610 can receive the telepresence image and the interaction image generated from the sensor data. Also, the receiving unit 610 can receive the composite image based on the telepresence image and the interaction image.

텔레 프레젠스 영상 처리부(620)는 수신된 텔레 프레젠스 영상을 처리할 수 있다. The telepresence image processing unit 620 can process the received telepresence image.

인터렉션 영상 생성부(630)는 수신된 센서 데이터에 기초하여 인터렉션 영상을 생성할 수 있다. The interaction image generating unit 630 can generate an interaction image based on the received sensor data.

출력부(640)는 텔레 프레젠스 영상 및 인터렉션 영상에 기초한 영상을 출력할 수 있다. 또한, 출력부(640)는 영상 합성부(670)에서 텔레 프레젠스 영상 및 인터렉션 영상이 동기화되어 합성되면, 합성된 영상을 출력할 수 있다. The output unit 640 can output an image based on the telepresence image and the interaction image. In addition, the output unit 640 can output the synthesized image when the telepresence image and the interaction image are synthesized and synthesized in the image synthesis unit 670.

피드백 정보 생성부(650)는 텔레 프레젠스 영상 및 인터렉션 영상에 대한 피드백 정보를 생성할 수 있다. 예를 들어, 피드백 정보 생성부(650)는 상황 정보 및 모니터링 정보를 포함하는 피드백 정보를 생성할 수 있다. 여기서, 상황 정보는 영상이 출력되는 장소의 조명 정보 및 객석 정보 등을 포함하고, 모니터링 정보는 출력된 영상에 포함된 텔레 프레젠스 영상과 인터렉션 영상 간의 해상도 차이값 및 좌표 차이값 등을 포함할 수 있다. The feedback information generating unit 650 may generate feedback information on the telepresence image and the interaction image. For example, the feedback information generating unit 650 may generate feedback information including the status information and the monitoring information. Here, the context information includes illumination information and seat information of a place where the image is output, and the monitoring information may include a resolution difference value and a coordinate difference value between the telepresence image and the interaction image included in the output image have.

전송부(660)는 텔레 프레젠스 영상 송신 장치(120)로 피드백 정보를 전송할 수 있다. 또한, 전송부(660)는 인터렉션 영상이 이동되는 경우, 텔레 프레젠스 영상 송신 장치(120)로 좌표값이 수정된 메타데이터를 전송할 수 있다. The transmitting unit 660 may transmit the feedback information to the telepresence image transmitting apparatus 120. In addition, when the interaction image is moved, the transmitter 660 may transmit the metadata in which the coordinate value is modified by the teleprecence image transmitter 120. [

영상 합성부(670)는 텔레 프레젠스 영상 및 인터렉션 영상을 동기화하여 합성할 수 있다. The image synthesis unit 670 can synthesize the telepresence image and the interaction image in synchronization.

상기의 텔레 프레젠스 영상 처리부(620), 인터렉션 영상 생성부(630), 영상 합성부(670)에 대한 설명은 도 2의 텔레 프레젠스 영상 송신 장치(120)의 텔레 프레젠스 영상 처리부(210), 인터렉션 영상 생성부(220), 영상 합성부(260)에 대한 설명과 동일하므로 자세한 설명은 생략하도록 하겠다. The telepresence image processor 620, the interaction image generator 630 and the image synthesizer 670 are the same as the telepresence image processor 210 of the telepresence image transmitter 120 of FIG. The interaction image generating unit 220, and the image synthesizing unit 260, detailed description thereof will be omitted.

다른 실시예에서, 텔레 프레젠스 영상 수신 장치(130)는 수신부(610), 출력부(640), 피드백 정보 생성부(650), 전송부(660)를 포함할 수 있다. 예를 들어, 수신부(610)에서 텔레 프레젠스 영상 송신 장치(120)로부터 텔레 프레젠스 영상 및 인터렉션 영상에 기초한 영상을 수신하면, 출력부(640)에서 제 1 프로젝터를 통해 텔레 프레젠스 영상과 인터렉션 영상의 합성영상을 출력하고, 제 2 프로젝터를 통해 사전에 정의된 배경영상 또는 배경영상과 인터렉션 영상의 합성영상을 출력할 수 있다. 이 때, 피드백 정보 생성부(650)에서 상황 정보 및 모니터링 정보를 포함하는 피드백 정보를 생성하면, 전송부(660)에서 텔레 프레젠스 영상 송신 장치(120)로 피드백 정보를 전송할 수 있다. The telepresence image receiving apparatus 130 may include a receiving unit 610, an output unit 640, a feedback information generating unit 650, and a transmitting unit 660. For example, when the receiving unit 610 receives an image based on the telepresence image and the interaction image from the telepresence image transmitting apparatus 120, the output unit 640 performs the interaction with the telepre- essance image through the first projector And outputs a combined image of the background image or the background image defined in advance through the second projector and the interaction image. At this time, if the feedback information generator 650 generates the feedback information including the context information and the monitoring information, the feedback information can be transmitted from the transmitter 660 to the telepresence image transmitter 120.

도 7은 본 발명의 일 실시예에 따른 텔레 프레젠스 영상 수신 장치에서 텔레 프레젠스 영상을 수신하는 방법의 순서도이다. 도 7에 도시된 실시예에 따른 텔레 프레젠스 영상 수신 장치(130)에 의해 수행되는 텔레 프레젠스 영상을 수신하는 방법은 도 1에 도시된 실시예에 따른 텔레 프레젠스 영상 시스템(1)에서 시계열적으로 처리되는 단계들을 포함한다. 따라서, 이하 생략된 내용이라고 하더라도 도 1 내지 도 6에 도시된 실시예에 따른 텔레 프레젠스 영상 시스템(1)에 관하여 이미 기술된 내용은 도 7에 도시된 실시예에 따른 텔레 프레젠스 영상 수신 장치(130)에 의해 수행되는 텔레 프레젠스 영상을 수신하는 방법에도 적용된다. 7 is a flowchart of a method of receiving a telepresence image in a telepresence image receiving apparatus according to an embodiment of the present invention. The method of receiving the telepresence image performed by the telepresence image receiving apparatus 130 according to the embodiment shown in FIG. 7 is the same as that of the telepresence image receiving apparatus 130 shown in FIG. And thermally processed. Therefore, the contents already described with respect to the telepresence image system 1 according to the embodiment shown in Figs. 1 to 6 even if omitted from the following description are the same as those of the telepresence image receiving apparatus 1 according to the embodiment shown in Fig. The present invention is also applied to a method of receiving a telepresence image performed by the wireless terminal 130. [

단계 S710에서 텔레 프레젠스 영상 수신 장치(130)는 텔레 프레젠스 영상 송신 장치(120)로부터 텔레 프레젠스 영상 및 센서 데이터를 수신할 수 있다. 단계 S720에서 텔레 프레젠스 영상 수신 장치(130)는 수신된 텔레 프레젠스 영상을 처리할 수 있다. 예를 들어, 텔레 프레젠스 영상 수신 장치(130)는 수신된 텔레 프레젠스 영상으로부터 크로마 키(Chroma-Key)를 제거하고, 크로마 키가 제거된 텔레 프레젠스 영상의 절단면을 블러링(Blurring)함으로써, 텔레 프레젠스 영상의 객체를 추출할 수 있다. 단계 S730에서 텔레 프레젠스 영상 수신 장치(130)는 수신된 센서 데이터에 기초하여 인터렉션 영상을 생성할 수 있다. 예를 들어, 텔레 프레젠스 영상 수신 장치(130)는 센서 데이터로부터 객체에 대한 제스처의 패턴을 분석하고, 분석된 제스처의 패턴과 매칭되는 커맨드에 기초하여 인터렉션 영상을 생성할 수 있다. 이 때, 텔레 프레젠스 영상 수신 장치(130)는 분석된 제스처의 패턴을 추적하여 생성된 인터렉션 영상을 이동시킬 수 있다. 단계 S740에서 텔레 프레젠스 영상 수신 장치(130)는 텔레 프레젠스 영상 및 인터렉션 영상에 기초한 영상을 출력할 수 있다. The telepresence image receiving apparatus 130 may receive the telepresence image and the sensor data from the telepresence image transmitting apparatus 120 in step S710. In step S720, the telepresence image receiving apparatus 130 can process the received telepresence image. For example, the telepresence image receiving apparatus 130 removes the chroma-key from the received telepresence image and blurs the cut surface of the telepresence image from which the chroma key has been removed , The object of the telepresence image can be extracted. In step S730, the telepresence image receiving device 130 can generate an interaction image based on the received sensor data. For example, the telepresence image receiving device 130 may analyze a pattern of gestures for the object from the sensor data, and generate an interaction image based on a command matched with the pattern of the analyzed gesture. At this time, the telepresence image receiving apparatus 130 can move the generated interaction image by tracking the pattern of the analyzed gesture. In step S740, the telepresence image receiving apparatus 130 can output an image based on the telepresence image and the interaction image.

도 7에서는 도시되지 않았으나, 텔레 프레젠스 영상 수신 장치(130)는 텔레 프레젠스 영상 및 인터렉션 영상에 대한 피드백 정보를 생성하는 단계 및 텔레 프레젠스 영상 송신 장치(120)로 피드백 정보를 전송하는 단계를 더 포함할 수 있다. 여기서, 피드백 정보는 상황 정보 및 모니터링 정보 등을 포함하고, 상황 정보는 영상이 출력되는 장소의 조명 정보 및 객석 정보 등을 포함하고, 모니터링 정보는 출력된 영상에 포함된 텔레 프레젠스 영상과 인터렉션 영상 간의 해상도 차이값 및 좌표 차이값 등을 포함할 수 있다. Although not shown in FIG. 7, the telepresence image receiving apparatus 130 generates feedback information for the telepresence image and the interaction image, and transmits the feedback information to the telepresence image transmitting apparatus 120 . Here, the feedback information includes situation information and monitoring information, and the situation information includes illumination information and audience information at a location where the image is output, and the monitoring information includes a telepresence image included in the output image and an interaction image A resolution difference value and a coordinate difference value between the two images.

도 7에서는 도시되지 않았으나, 텔레 프레젠스 영상 수신 장치(130)는 인터렉션 영상이 객체가 이동함에 따라 이동되는 경우, 텔레 프레젠스 영상 송신 장치(120)로 좌표값이 수정된 메타데이터를 전송하는 단계를 더 포함할 수 있다. 이 때, 인터렉션 영상은 커맨드에 대응하는 오브젝트 및 좌표값을 포함하는 메타데이터로 구성될 수 있다. Although not shown in FIG. 7, the telepresence image receiving apparatus 130 transmits the metadata whose coordinate values have been modified by the telepresence image transmitting apparatus 120 when the interaction image moves as the object moves As shown in FIG. At this time, the interaction image may be composed of metadata including an object corresponding to the command and a coordinate value.

도 7에서는 도시되지 않았으나, 텔레 프레젠스 영상 수신 장치(130)는 텔레 프레젠스 영상 및 인터렉션 영상을 동기화하여 합성하는 단계를 더 포함할 수 있다. 이 때, 텔레 프레젠스 영상 수신 장치(130)는 합성된 영상을 출력할 수 있다. Although not shown in FIG. 7, the telepresence image receiving apparatus 130 may further include a step of synchronizing and synthesizing the telepresence image and the interaction image. At this time, the telepresence image receiving apparatus 130 can output the synthesized image.

상술한 설명에서, 단계 S710 내지 S740은 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다.In the above description, steps S710 to S740 may be further divided into further steps or combined into fewer steps, according to an embodiment of the present invention. Also, some of the steps may be omitted as necessary, and the order between the steps may be changed.

도 8은 본 발명의 일 실시예에 따른 무대 장치를 도시한 예시적인 도면이다. 도 8을 참조하면, 텔레 프레젠스 영상 수신 장치(130)는 제 1 프로젝터(810)를 통해 배경 영상(820)을 출력할 수 있다. 이 때, 텔레 프레젠스 영상 수신 장치(130)는 제 2 프로젝터(811)를 통해 텔레 프레젠스 영상(830)을 출력할 수 있다. 이때, 인터렉션 영상은 텔레프레젠스 영상 또는 배경영상과 합성되어 제 1프로젝터 또는 제 2 프로젝터를 통해 디스플레이될 수 있다.8 is an exemplary diagram illustrating a stage apparatus according to an embodiment of the present invention. Referring to FIG. 8, the telepresence image receiving apparatus 130 may output the background image 820 through the first projector 810. At this time, the telepresence image receiving apparatus 130 can output the telepresence image 830 through the second projector 811. [ At this time, the interaction image may be combined with the telepresence image or the background image and displayed through the first projector or the second projector.

여기서, 홀로그램 스크린은 투명 소재의 반사체로, 관객은 스크린에 투영된 영상과 스크린 뒤의 빛을 함께 볼 수 있게 된다. 이러한 홀로그램 스크린의 특성으로 인해 관객은 공연자가 무대에서 실제로 공연하는 듯한 느낌을 받을 수 있게 된다. Here, the hologram screen is a reflector of a transparent material, so that the viewer can see the image projected on the screen and the light behind the screen together. Due to the nature of the hologram screen, the audience can feel that the performer is actually performing on stage.

도 9는 본 발명의 일 실시예에 따른 텔레 프레젠스 영상을 하나의 홀로그램 스크린을 이용하여 출력하는 과정을 설명하기 위한 예시적인 도면이다. 도 9를 참조하면, 텔레 프레젠스 영상 수신 장치(130)는 제 1 프로젝터를 통해 메인 스크린(900)에 배경영상을 출력할 수 있다. 또한, 텔레 프레젠스 영상 수신 장치(130)는 별도의 프로젝터를 통해 좌측 파사드 스크린(901)과 우측 파사드 스크린(902)에 배경 영상을 출력할 수 있다.9 is an exemplary diagram illustrating a process of outputting a telepresence image according to an embodiment of the present invention using one hologram screen. Referring to FIG. 9, the telepresence image receiving apparatus 130 may output a background image to the main screen 900 through the first projector. In addition, the telepresence image receiving apparatus 130 can output a background image to the left facade screen 901 and the right facade screen 902 through a separate projector.

텔레 프레젠스 영상 수신 장치(130)는 제 2 프로젝터를 통해 제 1 촬영장의 텔레 프레젠스 영상과 제 2 촬영장의 텔레 프레젠스 영상을 하나의 홀로그램 스크린에 동시에 출력할 수 있다. 이 때, 홀로그램 스크린의 나머지 영역이 블랙의 이미지로 출력이 되나, 관객은 블랙 영역을 통해 홀로그램 스크린의 뒤에 위치하는 배경 영상을 볼 수 있게 된다. The teleprecence image receiving apparatus 130 can simultaneously output the telepresence image of the first photographing site and the telepresence image of the second photographing site to a single hologram screen through the second projector. At this time, the remaining area of the hologram screen is output as an image of black, but the viewer can see the background image positioned behind the hologram screen through the black area.

도 10a 내지 도 10c는 본 발명의 일 실시예에 따른 텔레 프레젠스 영상을 복수의 홀로그램 스크린을 이용하여 출력하는 과정을 설명하기 위한 예시적인 도면이다. FIGS. 10A to 10C are exemplary diagrams illustrating a process of outputting a telepresence image according to an embodiment of the present invention using a plurality of hologram screens.

도 10a는 메인 스크린과 파사드 스크린을 도시한 예시적인 도면이다. 도 10a를 참조하면, 텔레 프레젠스 영상 수신 장치(130)는 제 1 프로젝터를 통해 메인 스크린(1000)에 배경 영상을 출력할 수 있다. 또한, 텔레 프레젠스 영상 수신 장치(130)는 별도의 프로젝터를 통해 좌측 파사드 스크린(1001)과 우측 파사드 스크린(1002)에 배경 영상을 출력할 수 있다. 10A is an exemplary diagram illustrating a main screen and a facade screen. Referring to FIG. 10A, the telepresence image receiving apparatus 130 may output a background image to the main screen 1000 through the first projector. Also, the telepresence image receiving apparatus 130 can output a background image to the left facade screen 1001 and the right facade screen 1002 through a separate projector.

도 10b는 텔레 프레젠스 영상 송신 장치(120)에서 텔레 프레젠스 영상을 처리하는 과정을 도시한 예시적인 도면이다. 도 10b를 참조하면, 촬영 장치(110)는 그린 스크린을 배경으로 남성(1010)을 촬영한 텔레 프레젠스 영상 및 여성(1020)을 촬영한 텔레 프레젠스 영상을 텔레 프레젠스 영상 송신 장치(120)로 전송할 수 있다. FIG. 10B is an exemplary diagram illustrating a process of processing a telepresence image in the telepresence image transmitting apparatus 120. FIG. 10B, the photographing apparatus 110 transmits a telepresence image photographed by the male 1010 and a telepresence image photographed by the female 1020 to the telepresence image transmitting apparatus 120, Lt; / RTI >

텔레 프레젠스 영상 송신 장치(120)는 수신된 텔레 프레젠스 영상으로부터 크로마 키(Chroma-Key)를 제거하고, 크로마 키가 제거된 텔레 프레젠스 영상의 절단면을 블러링(Blurring)하여 텔레 프레젠스 영상의 제 1 객체인 남성(1010) 및 제 2 객체인 여성(1020)을 추출할 수 있다. 이 때, 텔레 프레젠스 영상 송신 장치(120)는 제 1 객체(1010)를 포함하는 텔레 프레젠스 영상과 제 2 객체(1020)를 포함하는 텔레 프레젠스 영상을 텔레 프레젠스 영상 수신 장치(130)로 전송할 수 있다. The telepresence image transmission apparatus 120 removes the chroma key from the received telepresence image and blurs the cut surface of the telepresence image from which the chroma key has been removed to generate a telepresence image The first object 1010 of the first object and the woman 1020 of the second object. At this time, the telepresence image transmitting apparatus 120 transmits the telepresence image including the first object 1010 and the telepresence image including the second object 1020 to the teleprecence image receiving apparatus 130, Lt; / RTI >

텔레 프레젠스 영상 수신 장치(130)는 제 2 프로젝터를 통해 제 1 홀로그램 스크린(1011)에 제 1 객체(1010)를 포함하는 텔레 프레젠스 영상을 출력할 수 있다. 또한, 텔레 프레젠스 영상 수신 장치(130)는 제 3 프로젝터를 통해 제 2 홀로그램 스크린(1021)에 제 2 객체(1020)를 포함하는 텔레 프레젠스 영상을 출력할 수 있다. 이 때, 관객의 입장에서 제 1 홀로그램 스크린(1011)에 표시된 객체가 제 2 홀로그램 스크린(1021)에 표시된 객체보다 앞쪽에 위치한 것과 같은 느낌을 제공하기 위해, 텔레 프레젠스 영상 송신 장치(130)는 제 1 객체(1010)를 포함하는 텔레 프레젠스 영상을 스케일업(scale-up)하고, 영상의 이미지를 더 밝고 선명하게 나오도록 온포커스(on-focus) 처리하고, 제 2 객체(1020)를 포함하는 텔레 프레젠스 영상을 스케일다운(scale-down)하고, 이미지가 흐릿하게 나오도록 아웃포커스(out-focus)처리함으로써, 제 1 객체(1010)와 제 2 객체(1020) 간의 공간감을 제공할 수 있다. The teleprecence image receiving apparatus 130 can output the telepresence image including the first object 1010 to the first hologram screen 1011 through the second projector. The telepresence image receiving apparatus 130 may output the telepresence image including the second object 1020 to the second hologram screen 1021 through the third projector. At this time, in order to provide the viewer with the feeling that the object displayed on the first hologram screen 1011 is located ahead of the object displayed on the second hologram screen 1021, the telepresence image transmitting device 130 The telepresence image including the first object 1010 is scaled up and on-focus processed so that the image of the image appears brighter and sharper, and the second object 1020 The telepresence image included in the first object 1010 and the second object 1020 are scaled down and out-focused so that the image is blurred to provide a sense of space between the first object 1010 and the second object 1020 .

도 10c는 텔레 프레젠스 영상 수신 장치(130)에서 텔레 프레젠스 영상을 복수의 홀로그램 스크린에 출력한 예시적인 도면이다. 도 10c를 참조하면, 텔레 프레젠스 영상 수신 장치(130)는 제 2 프로젝터를 통해 제 1 홀로그램 스크린에 제 1 객체를 포함하는 텔레 프레젠스 영상을 출력하고, 제 3 프로젝터를 통해 제 2 홀로그램 스크린에 제 2 객체를 포함하는 텔레 프레젠스 영상을 출력함으로써, 제 1 객체 및 제 2 객체가 하나의 영상에 존재하는 것과 같은 느낌을 제공할 수 있다. FIG. 10C is an exemplary diagram showing a telepresence image receiving apparatus 130 outputting a telepresence image to a plurality of hologram screens. Referring to FIG. 10C, the telepresence image receiving apparatus 130 outputs a telepresence image including the first object to the first hologram screen through the second projector, and outputs the teleprejence image to the second hologram screen through the third projector By outputting the telepresence image including the second object, it is possible to provide a feeling that the first object and the second object exist in one image.

도 11은 본 발명의 일 실시예에 따른 텔레 프레젠스 영상과 배경 영상을 도시한 예시적인 도면이다. 도 9 내지 도 11을 참조하면, 텔레 프레젠스 영상 수신 장치(130)가 하나의 홀로그램 스크린을 통해 텔레 프레젠스 영상을 출력하거나, 복수의 홀로그램 스크린을 통해 텔레 프레젠스 영상을 출력하였을 때의 영상 화면이다. 11 is an exemplary diagram illustrating a telepresence image and a background image according to an embodiment of the present invention. 9 to 11, when the telepresence image receiving apparatus 130 outputs a telepresence image through one hologram screen or a telepresence image through a plurality of hologram screens, to be.

도 12는 본 발명의 일 실시예에 따른 객체에 대한 제스처에 기초하여 인터렉션 영상을 출력하는 과정을 설명하기 위한 예시적인 도면이다. 도 12를 참조하면, 텔레 프레젠스 영상 수신 장치(130)는 제 1 프로젝터를 통해 놀이공원을 배경으로 하는 배경 영상(1200)을 출력하고, 제 2 프로젝터를 통해 달(1210), 벤치에 앉아 있는 여성(1220), 서있는 여성(1230), 가로등(1240), 눈(1250), 꽃(1260) 등을 스크린에 출력할 수 있다. 이 때, 서 있는 여성(1230)이 가로등(1240)을 터치하는 액션을 취하면, 제스처의 패턴과 매칭되는 커맨드로 꽃(1260)에서 불꽃 효과를 나타낼 수 있다. 12 is an exemplary diagram for explaining a process of outputting an interaction image based on a gesture for an object according to an embodiment of the present invention. 12, the telepresence image receiving apparatus 130 outputs a background image 1200 having a theme park as a background through a first projector, and displays a background image 1200 on a moon 1210 through a second projector, A woman 1220, a standing woman 1230, a street lamp 1240, an eye 1250, a flower 1260, and the like can be displayed on the screen. At this time, when the standing woman 1230 takes an action of touching the streetlight 1240, a flame effect can be displayed in the flower 1260 with a command matched with the pattern of the gesture.

도 1 내지 도 12를 통해 설명된 텔레 프레젠스 영상 송신 장치에서 텔레 프레젠스 영상을 송신하는 방법, 텔레 프레젠스 영상 수신 장치에서 텔레 프레젠스 영상을 수신하는 방법은 컴퓨터에 의해 실행되는 매체에 저장된 컴퓨터 프로그램 또는 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 또한, 도 1 내지 도 12를 통해 설명된 텔레 프레젠스 영상 송신 장치에서 텔레 프레젠스 영상을 송신하는 방법, 텔레 프레젠스 영상 수신 장치에서 텔레 프레젠스 영상을 수신하는 방법은 컴퓨터에 의해 실행되는 매체에 저장된 컴퓨터 프로그램의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다. A method of transmitting a telepresence image in the telepresence image transmitting apparatus described in FIGS. 1 to 12, a method of receiving a telepresence image in a telepresence image receiving apparatus, a method of receiving a telepresence image in a computer But may also be embodied in the form of a program or a recording medium including instructions executable by the computer. 1 to 12, a method of transmitting a telepresence image in a telepresence image transmitting apparatus, a method of receiving a telepresence image in a telepresence image receiving apparatus, But may also be embodied in the form of a stored computer program. Computer readable media can be any available media that can be accessed by a computer and includes both volatile and nonvolatile media, removable and non-removable media. In addition, the computer-readable medium may include both computer storage media and communication media. Computer storage media includes both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data. Communication media typically includes any information delivery media, including computer readable instructions, data structures, program modules, or other data in a modulated data signal such as a carrier wave, or other transport mechanism.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다. It will be understood by those skilled in the art that the foregoing description of the present invention is for illustrative purposes only and that those of ordinary skill in the art can readily understand that various changes and modifications may be made without departing from the spirit or essential characteristics of the present invention. will be. It is therefore to be understood that the above-described embodiments are illustrative in all aspects and not restrictive. For example, each component described as a single entity may be distributed and implemented, and components described as being distributed may also be implemented in a combined form.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다. The scope of the present invention is defined by the appended claims rather than the detailed description and all changes or modifications derived from the meaning and scope of the claims and their equivalents are to be construed as being included within the scope of the present invention do.

110: 촬영 장치
120: 텔레 프레젠스 영상 송신 장치
130: 텔레 프레젠스 영상 수신 장치
140: 프로젝터
210: 텔레 프레젠스 영상 처리부
220: 인터렉션 영상 생성부
230: 전송부
240: 수신부
250: 보정부
260: 영상 합성부
270: 화면 캡쳐부
610: 수신부
620: 텔레 프레젠스 영상 처리부
630: 인터렉션 영상 생성부
640: 출력부
650: 피드백 정보 생성부
660: 전송부
670: 영상 합성부110: photographing apparatus
120: Telepresence image transmitting device
130: Telepresence image receiving device
140: Projector
210: Telepresence image processing unit
220: Interaction image generation unit
230:
240: Receiver
250:
260:
270: Screen capture unit
610:
620: telepresence image processing unit
630: Interaction image generation unit
640:
650: feedback information generating unit
660:
670:

Claims (19)

텔레 프레젠스(Tele-presence) 영상을 송신하는 장치에 있어서,
촬영 장치로부터 수신된 텔레 프레젠스 영상을 처리하는 텔레 프레젠스 영상 처리부;
센서로부터 수신된 센서 데이터에 기초하여 인터렉션 영상을 생성하는 인터렉션 영상 생성부; 및
텔레 프레젠스 영상 수신 장치로 상기 텔레 프레젠스 영상 및 상기 인터렉션 영상에 기초한 영상을 전송하는 전송부
를 포함하고,
상기 전송된 영상은 상기 텔레 프레젠스 영상 수신 장치에 의해 출력되도록 구성된 것인, 텔레 프레젠스 영상 송신 장치.
An apparatus for transmitting a tele-presence image, the apparatus comprising:
A telepresence image processing unit for processing the telepresence image received from the photographing apparatus;
An interaction image generation unit for generating an interaction image based on sensor data received from a sensor; And
A transmitting unit for transmitting the telepresence image and the image based on the interaction image to a telepresence image receiving apparatus,
Lt; / RTI >
And the transmitted image is output by the telepresence image receiving apparatus.
제 1 항에 있어서,
상기 텔레 프레젠스 영상 수신 장치로부터 피드백 정보를 수신하는 수신부; 및
상기 피드백 정보에 기초하여 상기 텔레 프레젠스 영상 및 상기 인터렉션 영상 중 하나 이상을 보정하는 보정부
를 더 포함하고,
상기 전송부는, 상기 텔레 프레젠스 영상 수신 장치로 상기 보정된 영상을 전송하도록 구성되는 것인, 텔레 프레젠스 영상 송신 장치.
The method according to claim 1,
A receiving unit for receiving feedback information from the telepresence image receiving apparatus; And
And a correcting unit correcting at least one of the telepresence image and the interaction image based on the feedback information,
Further comprising:
Wherein the transmitting unit is configured to transmit the corrected image to the telepresence image receiving apparatus.
제 2 항에 있어서,
상기 피드백 정보는, 상황 정보 및 모니터링 정보 중 하나 이상을 포함하고,
상기 상황 정보는 상기 영상이 출력되는 장소의 조명 정보 및 객석 정보 중 하나 이상을 포함하고,
상기 모니터링 정보는 상기 출력된 영상에 포함된 상기 텔레 프레젠스 영상과 상기 인터렉션 영상 간의 해상도 차이값 및 좌표 차이값 중 하나 이상을 포함하는 것인, 텔레 프레젠스 영상 송신 장치.
3. The method of claim 2,
Wherein the feedback information includes at least one of status information and monitoring information,
Wherein the status information includes at least one of illumination information and audience information at a place where the image is output,
Wherein the monitoring information includes at least one of a resolution difference value and a coordinate difference value between the telepresence image and the interaction image included in the output image.
제 1 항에 있어서,
상기 텔레 프레젠스 영상 처리부는, 상시 수신된 텔레 프레젠스 영상으로부터 크로마 키(Chroma-Key)를 제거하고, 상기 크로마 키가 제거된 상기 텔레 프레젠스 영상의 절단면을 블러링(Blurring)함으로써 상기 텔레 프레젠스 영상의 객체를 추출하도록 구성되는 것인, 텔레 프레젠스 영상 송신 장치.
The method according to claim 1,
The telepresence image processing unit removes a chroma key from a telepresence image that is always received and blurring a cut surface of the telepresence image from which the chroma key is removed, And extracting an object of the Zence image.
제 1 항에 있어서,
상기 인터렉션 영상 생성부는, 상기 센서 데이터로부터 객체에 대한 제스처의 패턴을 분석하고,
상기 분석된 제스처의 패턴과 매칭되는 커맨드에 기초하여 상기 인터렉션 영상을 생성하도록 구성되는 것인, 텔레 프레젠스 영상 송신 장치.
The method according to claim 1,
The interaction image generation unit analyzes a pattern of a gesture with respect to an object from the sensor data,
And generate the interaction image based on a command matched with the pattern of the analyzed gesture.
제 5 항에 있어서,
상기 인터렉션 영상 생성부는, 상기 분석된 제스처의 패턴을 추적하여 상기 생성된 인터렉션 영상을 이동시키도록 구성되는 것인, 텔레 프레젠스 영상 송신 장치.
6. The method of claim 5,
Wherein the interaction image generation unit is configured to track the pattern of the analyzed gesture and to move the generated interaction image.
제 6 항에 있어서,
상기 인터렉션 영상은, 상기 커맨드에 대응하는 오브젝트 및 상기 객체에 대한 좌표값을 포함하는 메타데이터로 구성되고,
상기 전송부는, 상기 인터렉션 영상이 이동되는 경우, 상기 텔레 프레젠스 영상 수신 장치로 상기 좌표값이 수정된 메타데이터를 전송하도록 구성되는 것인, 텔레 프레젠스 영상 송신 장치.
The method according to claim 6,
Wherein the interaction image is composed of metadata including an object corresponding to the command and a coordinate value for the object,
Wherein the transmitting unit is configured to transmit the modified metadata to the telepresence image receiving apparatus when the interaction image is moved.
제 1 항에 있어서,
상기 텔레 프레젠스 영상 및 상기 인터렉션 영상을 동기화하여 합성하는 영상 합성부; 및
상기 합성된 영상의 화면을 캡쳐하는 화면 캡쳐부
를 더 포함하고,
상기 전송부는, 상기 텔레 프레젠스 영상 수신 장치로 상기 캡쳐된 영상의 화면을 전송하도록 구성되는 것인. 텔레 프레젠스 영상 송신 장치.
The method according to claim 1,
An image synthesizer for synchronizing and synthesizing the telepresence image and the interaction image; And
A screen capture unit for capturing a screen of the synthesized image,
Further comprising:
Wherein the transmitting unit is configured to transmit a screen of the captured image to the telepresence image receiving apparatus. Telepresence video transmission device.
텔레 프레젠스(Tele-presence) 영상을 수신하는 장치에 있어서,
텔레 프레젠스 영상 송신 장치로부터 텔레 프레젠스 영상 및 센서 데이터를 수신하는 수신부;
상기 수신된 텔레 프레젠스 영상을 처리하는 텔레 프레젠스 영상 처리부;
상기 수신된 센서 데이터에 기초하여 인터렉션 영상을 생성하는 인터렉션 영상 생성부; 및
상기 텔레 프레젠스 영상 및 상기 인터렉션 영상에 기초한 영상을 출력하는 출력부
를 포함하는, 텔레 프레젠스 영상 수신 장치.
An apparatus for receiving a tele-presence image, the apparatus comprising:
A receiving unit for receiving the telepresence image and the sensor data from the telepresence image transmitting apparatus;
A telepresence image processing unit for processing the received telepresence image;
An interaction image generation unit for generating an interaction image based on the received sensor data; And
An output unit for outputting an image based on the telepresence image and the interaction image,
And a telepresence image receiving device.
제 9 항에 있어서,
상기 텔레 프레젠스 영상 및 상기 인터렉션 영상에 대한 피드백 정보를 생성하는 피드백 정보 생성부; 및
상기 텔레 프레젠스 영상 송신 장치로 피드백 정보를 전송하는 전송부;
를 더 포함하는 것인, 텔레 프레젠스 영상 수신 장치.
10. The method of claim 9,
A feedback information generating unit for generating feedback information on the telepresence image and the interaction image; And
A transmitting unit for transmitting feedback information to the telepresence image transmitting apparatus;
The telepresence image receiving apparatus further comprising:
제 10 항에 있어서,
상기 피드백 정보는, 상황 정보 및 모니터링 정보 중 하나 이상을 포함하고,
상기 상황 정보는 상기 영상이 출력되는 장소의 조명 정보 및 객석 정보 중 하나 이상을 포함하고,
상기 모니터링 정보는 상기 출력된 영상에 포함된 상기 텔레 프레젠스 영상과 상기 인터렉션 영상 간의 해상도 차이값 및 좌표 차이값 중 하나 이상을 포함하는 것인, 텔레 프레젠스 영상 수신 장치.
11. The method of claim 10,
Wherein the feedback information includes at least one of status information and monitoring information,
Wherein the status information includes at least one of illumination information and audience information at a place where the image is output,
Wherein the monitoring information includes at least one of a resolution difference value and a coordinate difference value between the telepresence image and the interaction image included in the output image.
제 9 항에 있어서,
상기 텔레 프레젠스 영상 처리부는, 상시 수신된 텔레 프레젠스 영상으로부터 크로마 키(Chroma-Key)를 제거하고, 크로마 키가 제거된 상기 텔레 프레젠스 영상의 절단면을 블러링(Blurring)함으로써 상기 텔레 프레젠스 영상의 객체를 추출하도록 구성되는 것인, 텔레 프레젠스 영상 수신 장치.
10. The method of claim 9,
The telepresence image processing unit removes the chroma key from the telepresence image that is always received and blurring the cut surface of the telepresence image from which the chroma key has been removed, And extracting an object of the image.
제 9 항에 있어서,
상기 인터렉션 영상 생성부는,
상기 센서 데이터로부터 객체에 대한 제스처의 패턴을 분석하고,
상기 분석된 제스처의 패턴과 매칭되는 커맨드에 기초하여 상기 인터렉션 영상을 생성하도록 구성되는 것인, 텔레 프레젠스 영상 수신 장치.
10. The method of claim 9,
The interactive image generation unit generates,
Analyzing a pattern of gestures for the object from the sensor data,
And generate the interaction image based on a command matched with the pattern of the analyzed gesture.
제 13 항에 있어서,
상기 인터렉션 영상 생성부는, 상기 분석된 제스처의 패턴을 추적하여 상기 생성된 인터렉션 영상을 이동시키도록 구성되는 것인, 텔레 프레젠스 영상 수신 장치.
14. The method of claim 13,
Wherein the interaction image generation unit is configured to track the pattern of the analyzed gesture and to move the generated interaction image.
제 14 항에 있어서,
상기 인터렉션 영상은, 상기 커맨드에 대응하는 오브젝트 및 좌표값을 포함하는 메타데이터로 구성되고,
상기 인터렉션 영상이 이동되는 경우, 상기 텔레 프레젠스 영상 송신 장치로 상기 좌표값이 수정된 메타데이터를 전송하는 전송부
를 더 포함하도록 구성되는 것인, 는 것인, 텔레 프레젠스 영상 수신 장치.
15. The method of claim 14,
Wherein the interaction image is composed of metadata including an object corresponding to the command and a coordinate value,
And a transmission unit for transmitting the meta data having the coordinate value modified by the telepresence image transmission apparatus when the interaction image is moved,
And wherein the telepresence image receiving apparatus further comprises:
제 9 항에 있어서,
상기 텔레 프레젠스 영상 및 상기 인터렉션 영상을 동기화하여 합성하는 영상 합성부
를 더 포함하고,
상기 출력부는, 상기 합성된 영상을 출력하도록 구성되는 것인. 텔레 프레젠스 영상 수신 장치.
10. The method of claim 9,
An image synthesis unit for synchronizing and synthesizing the telepresence image and the interaction image,
Further comprising:
And the output unit is configured to output the synthesized image. Teleprecence video receiving device.
텔레 프레젠스(Tele-presence) 영상을 제공하는 시스템에 있어서,
텔레 프레젠스 영상 송신 장치; 및
텔레 프레젠스 영상 수신 장치
를 포함하고,
상기 텔레 프레젠스 영상 송신 장치는,
촬영 장치로부터 수신된 텔레 프레젠스 영상을 처리하고,
센서로부터 수신된 센서 데이터에 기초하여 인터렉션 영상을 생성하고,
상기 텔레 프레젠스 영상 수신 장치로 상기 텔레 프레젠스 영상 및 상기 인터렉션 영상에 기초한 영상을 전송하고,
상기 텔레 프레젠스 영상 수신 장치는,
상기 수신된 영상을 출력하도록 구성되는 것인, 텔레 프레젠스 영상 제공 시스템.
1. A system for providing tele-presence images,
Telepresence video transmission device; And
Telepresence image receiving device
Lt; / RTI >
The telepresence image transmitting apparatus includes:
Processes the telepresence image received from the photographing apparatus,
Generates an interaction image based on the sensor data received from the sensor,
Transmitting the telepresence image and the image based on the interaction image to the telepresence image receiving apparatus,
The telepresence image receiving apparatus includes:
And output the received video.
제 17 항에 있어서,
상기 텔레 프레젠스 영상 송신 장치는, 상기 센서 데이터로부터 객체에 대한 제스처의 패턴을 분석하고,
상기 분석된 제스처의 패턴과 매칭되는 커맨드에 기초하여 상기 인터렉션 영상을 생성하도록 구성되는 것인, 텔레 프레젠스 영상 제공 시스템.
18. The method of claim 17,
Wherein the telepresence image transmitting device analyzes a pattern of a gesture with respect to an object from the sensor data,
And generate the interaction image based on a command matched with the pattern of the analyzed gesture.
제 18 항에 있어서,
상기 인터렉션 영상은, 상기 커맨드에 대응하는 오브젝트 및 좌표값을 포함하는 메타데이터로 구성되고,
상기 텔레 프레젠스 영상 송신 장치는, 상기 인터렉션 영상이 이동되는 경우, 상기 텔레 프레젠스 영상 수신 장치로 상기 좌표값이 수정된 메타데이터를 전송하도록 구성되는 것인, 텔레 프레젠스 영상 제공 시스템.19. The method of claim 18,
Wherein the interaction image is composed of metadata including an object corresponding to the command and a coordinate value,
Wherein the telepresence image transmitting apparatus is configured to transmit the metadata in which the coordinate value is modified to the telepresence image receiving apparatus when the interaction image is moved.
KR1020150163544A 2015-11-20 2015-11-20 Device for transmitting tele-presence image, device for receiving tele-presence image and system for providing tele-presence image KR102404130B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150163544A KR102404130B1 (en) 2015-11-20 2015-11-20 Device for transmitting tele-presence image, device for receiving tele-presence image and system for providing tele-presence image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150163544A KR102404130B1 (en) 2015-11-20 2015-11-20 Device for transmitting tele-presence image, device for receiving tele-presence image and system for providing tele-presence image

Publications (2)

Publication Number Publication Date
KR20170059310A true KR20170059310A (en) 2017-05-30
KR102404130B1 KR102404130B1 (en) 2022-05-31

Family

ID=59053041

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150163544A KR102404130B1 (en) 2015-11-20 2015-11-20 Device for transmitting tele-presence image, device for receiving tele-presence image and system for providing tele-presence image

Country Status (1)

Country Link
KR (1) KR102404130B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110945863A (en) * 2018-05-23 2020-03-31 华为技术有限公司 Photographing method and terminal equipment
WO2022115380A1 (en) * 2020-11-30 2022-06-02 Intel Corporation Methods and apparatus to provide remote telepresence communication

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110066298A (en) * 2009-12-11 2011-06-17 한국전자통신연구원 Collaborative mixed reality server, terminal, system and method for executing collaborative mixed reality service
KR20120129293A (en) * 2011-05-19 2012-11-28 주식회사 뉴이레디자인 A method and a system for generating interactive contents based on augmented reality
KR20130026003A (en) * 2011-09-03 2013-03-13 한남대학교 산학협력단 Stereoscopic 3d image system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110066298A (en) * 2009-12-11 2011-06-17 한국전자통신연구원 Collaborative mixed reality server, terminal, system and method for executing collaborative mixed reality service
KR20120129293A (en) * 2011-05-19 2012-11-28 주식회사 뉴이레디자인 A method and a system for generating interactive contents based on augmented reality
KR20130026003A (en) * 2011-09-03 2013-03-13 한남대학교 산학협력단 Stereoscopic 3d image system

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110945863A (en) * 2018-05-23 2020-03-31 华为技术有限公司 Photographing method and terminal equipment
CN110945863B (en) * 2018-05-23 2021-05-11 华为技术有限公司 Photographing method and terminal equipment
US11409493B2 (en) 2018-05-23 2022-08-09 Huawei Technologies Co., Ltd. Photographing method and terminal device
US11435975B2 (en) 2018-05-23 2022-09-06 Huawei Technologies Co., Ltd. Preview display method based on multi-angle and communication system
US11797255B2 (en) 2018-05-23 2023-10-24 Huawei Technologies Co., Ltd. Preview display method based on multi-angle and communication system
WO2022115380A1 (en) * 2020-11-30 2022-06-02 Intel Corporation Methods and apparatus to provide remote telepresence communication

Also Published As

Publication number Publication date
KR102404130B1 (en) 2022-05-31

Similar Documents

Publication Publication Date Title
US8339418B1 (en) Embedding a real time video into a virtual environment
US9679369B2 (en) Depth key compositing for video and holographic projection
KR101713772B1 (en) Apparatus and method for pre-visualization image
EA018293B1 (en) Video and telepresence processing method
US11475652B2 (en) Automatic representation toggling based on depth camera field of view
US20210166485A1 (en) Method and apparatus for generating augmented reality images
CN213461894U (en) XR-augmented reality system
JP2010157906A (en) Video display device
KR102404130B1 (en) Device for transmitting tele-presence image, device for receiving tele-presence image and system for providing tele-presence image
KR101665988B1 (en) Image generation method
WO2023236656A1 (en) Method and apparatus for rendering interactive picture, and device, storage medium and program product
JP5813542B2 (en) Image communication system, AR (Augmented Reality) video generation device, and program
CN112887653B (en) Information processing method and information processing device
KR20130067855A (en) Apparatus and method for providing virtual 3d contents animation where view selection is possible
CN116962744A (en) Live webcast link interaction method, device and live broadcast system
CN114915798A (en) Real-time video generation method, multi-camera live broadcast method and device
KR102561903B1 (en) AI-based XR content service method using cloud server
US20240015264A1 (en) System for broadcasting volumetric videoconferences in 3d animated virtual environment with audio information, and procedure for operating said device
KR20180092469A (en) Method for presentation broadcasting using 3d camera and web real-time communication
TWI836141B (en) Live broadcasting method for real time three-dimensional image display
JP2007323481A (en) Video data transmission system and method, transmission processing apparatus and method, and reception processing apparatus and method
Helzle Immersive media productions involving light fields and virtual production LED walls
TW202213990A (en) Live broadcasting system for real time three-dimensional image display
KR20200025083A (en) One-person media broadcasting system for production and relay of virtual reality video
Fairchild Video based reconstruction system for mixed reality environments supporting contextualised non-verbal communication and its study

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant