KR102404130B1 - 텔레 프레젠스 영상 송신 장치, 텔레 프레젠스 영상 수신 장치 및 텔레 프레젠스 영상 제공 시스템 - Google Patents

텔레 프레젠스 영상 송신 장치, 텔레 프레젠스 영상 수신 장치 및 텔레 프레젠스 영상 제공 시스템 Download PDF

Info

Publication number
KR102404130B1
KR102404130B1 KR1020150163544A KR20150163544A KR102404130B1 KR 102404130 B1 KR102404130 B1 KR 102404130B1 KR 1020150163544 A KR1020150163544 A KR 1020150163544A KR 20150163544 A KR20150163544 A KR 20150163544A KR 102404130 B1 KR102404130 B1 KR 102404130B1
Authority
KR
South Korea
Prior art keywords
image
telepresence
interaction
tele
unit
Prior art date
Application number
KR1020150163544A
Other languages
English (en)
Other versions
KR20170059310A (ko
Inventor
김종흠
양태길
한상훈
Original Assignee
주식회사 케이티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 케이티 filed Critical 주식회사 케이티
Priority to KR1020150163544A priority Critical patent/KR102404130B1/ko
Publication of KR20170059310A publication Critical patent/KR20170059310A/ko
Application granted granted Critical
Publication of KR102404130B1 publication Critical patent/KR102404130B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N5/23264—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/74—Circuits for processing colour signals for obtaining special effects
    • H04N9/75—Chroma key

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

텔레 프레젠스(Tele-presence) 영상을 송신하는 장치는 촬영 장치로부터 수신된 텔레 프레젠스 영상을 처리하는 텔레 프레젠스 영상 처리부, 센서로부터 수신된 센서 데이터에 기초하여 인터렉션 영상을 생성하는 인터렉션 영상 생성부 및 텔레 프레젠스 영상 수신 장치로 텔레 프레젠스 영상 및 인터렉션 영상에 기초한 영상을 전송하는 전송부를 포함하고, 전송된 영상은 텔레 프레젠스 영상 수신 장치에 의해 출력되도록 구성된다.

Description

텔레 프레젠스 영상 송신 장치, 텔레 프레젠스 영상 수신 장치 및 텔레 프레젠스 영상 제공 시스템{DEVICE FOR TRANSMITTING TELE-PRESENCE IMAGE, DEVICE FOR RECEIVING TELE-PRESENCE IMAGE AND SYSTEM FOR PROVIDING TELE-PRESENCE IMAGE}
본 발명은 텔레 프레젠스 영상 송신 장치, 텔레 프레젠스 영상 수신 장치 및 텔레 프레젠스 영상 제공 시스템에 관한 것이다.
텔레프레젠스(Telepresence) 기술이란, 실제로 상대방과 마주하고 있는 것과 같은 착각을 일으키게 하는 가상현실기술과 인터넷기술이 결합된 기술을 말한다. 텔레 프레젠스는 주로 영상회의에 이용되고 있으며, 영상회의에서는 텔레프레젠스를 통해 멀리 떨어져 있는 회의 참석자가 동일한 장소에서 참여한 것과 같이 표정, 느낌, 말하는 억양, 컨디션까지 전달함으로써, 회의 참석자 간의 의사소통이 원활하도록 하게 만들어 준다.
이러한 텔레프레젠스 기술과 관련하여, 선행기술인 한국공개특허 제 2014-0141353호는 사용자 단말을 이용한 텔레프레즌스 시스템에 대해 개시하고 있다.
최근에는, 텔레프레젠스 기술을 이용한 라이브 콘서트 서비스가 제작되고 있다. 다만, 텔레프레젠스 기술이 적용된 라이브 콘서트는 연출된 시나리오에 따라 생성된 디지털 파일을 반복 재생하는 형태로 서비스가 제공된다는 점에서 서비스 제공에 한계가 존재한다.
공연 콘텐츠 편집 도구를 이용하여 공연 무대장면의 편집 및 재생, 공연장에서의 디스플레이 환경에 맞는 실시간 텔레 프레젠스 영상을 출력할 수 있도록 하는 텔레 프레젠스 영상 송신 장치, 텔레 프레젠스 영상 수신 장치 및 텔레 프레젠스 영상 제공 시스템을 제공하고자 한다. 또한, 복수의 디스플레이 스크린과 그에 대응하는 복수의 영상을 동기화하여 하나의 콘텐츠로 제공함으로써, 다이나믹한 공연 체험을 제공하는 텔레 프레젠스 영상 송신 장치, 텔레 프레젠스 영상 수신 장치 및 텔레 프레젠스 영상 제공 시스템을 제공하고자 한다. 실시간 텔레 프레젠스 콘텐츠 서비스의 제공을 통해 차별화된 홀로그램 공연 서비스를 제공하는 텔레 프레젠스 영상 송신 장치, 텔레 프레젠스 영상 수신 장치 및 텔레 프레젠스 영상 제공 시스템을 제공하고자 한다. 다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 일 실시예는 촬영 장치로부터 수신된 텔레 프레젠스 영상을 처리하는 텔레 프레젠스 영상 처리부, 센서로부터 수신된 센서 데이터에 기초하여 인터렉션 영상을 생성하는 인터렉션 영상 생성부 및 텔레 프레젠스 영상 수신 장치로 상기 텔레 프레젠스 영상 및 상기 인터렉션 영상에 기초한 영상을 전송하는 전송부를 포함하고, 상기 전송된 영상은 상기 텔레 프레젠스 영상 수신 장치에 의해 출력되도록 구성된 것인 텔레 프레젠스 영상 송신 장치를 제공할 수 있다.
또한, 본 발명의 다른 실시예는, 텔레 프레젠스 영상 송신 장치로부터 텔레 프레젠스 영상 및 센서 데이터를 수신하는 수신부, 상기 수신된 텔레 프레젠스 영상을 처리하는 텔레 프레젠스 영상 처리부, 상기 수신된 센서 데이터에 기초하여 인터렉션 영상을 생성하는 인터렉션 영상 생성부 및 상기 텔레 프레젠스 영상 및 상기 인터렉션 영상에 기초한 영상을 출력하는 출력부를 포함하는 텔레 프레젠스 영상 수신 장치를 제공할 수 있다.
상술한 과제 해결 수단은 단지 예시적인 것으로서, 본 발명을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 기재된 추가적인 실시예가 존재할 수 있다.
전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 공연 콘텐츠 편집 도구를 이용하여 공연 무대장면의 편집 및 재생, 공연장에서의 디스플레이 환경에 맞는 실시간 텔레 프레젠스 영상을 출력할 수 있도록 하는 텔레 프레젠스 영상 송신 장치, 텔레 프레젠스 영상 수신 장치 및 텔레 프레젠스 영상 제공 시스템을 제공할 수 있다. 또한, 복수의 디스플레이 스크린과 그에 대응하는 복수의 영상을 동기화하여 하나의 콘텐츠로 제공함으로써, 다이나믹한 공연 체험을 제공하는 텔레 프레젠스 영상 송신 장치, 텔레 프레젠스 영상 수신 장치 및 텔레 프레젠스 영상 제공 시스템을 제공할 수 있다. 실시간 텔레 프레젠스 콘텐츠 서비스의 제공을 통해 차별화된 홀로그램 공연 서비스를 제공하는 텔레 프레젠스 영상 송신 장치, 텔레 프레젠스 영상 수신 장치 및 텔레 프레젠스 영상 제공 시스템을 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 텔레 프레젠스 영상 시스템의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 텔레 프레젠스 영상 송신 장치의 구성도이다.
도 3a 내지 도 3g은 본 발명의 일 실시예에 따른 텔레 프레젠스 영상 송신 장치에서 텔레 프레젠스 영상으로부터 객체를 추출하는 과정을 설명하기 위한 예시적인 도면이다.
도 4a 내지 도 4c는 본 발명의 일 실시예에 따른 텔레 프레젠스 영상 송신 장치에서 텔레 프레젠스 영상 및 배경 영상을 보정 및 합성하는 과정을 설명하기 위한 예시적인 도면이다.
도 5는 본 발명의 일 실시예에 따른 텔레 프레젠스 영상 송신 장치에서 텔레 프레젠스 영상을 송신하는 방법의 순서도이다.
도 6은 본 발명의 일 실시예에 따른 텔레 프레젠스 영상 수신 장치의 구성도이다.
도 7은 본 발명의 일 실시예에 따른 텔레 프레젠스 영상 수신 장치에서 텔레 프레젠스 영상을 수신하는 방법의 순서도이다.
도 8은 본 발명의 일 실시예에 따른 무대 장치를 도시한 예시적인 도면이다.
도 9는 본 발명의 일 실시예에 따른 텔레 프레젠스 영상을 하나의 홀로그램 스크린을 이용하여 출력하는 과정을 설명하기 위한 예시적인 도면이다.
도 10a 내지 도 10c는 본 발명의 일 실시예에 따른 텔레 프레젠스 영상을 복수의 홀로그램 스크린을 이용하여 출력하는 과정을 설명하기 위한 예시적인 도면이다.
도 11은 본 발명의 일 실시예에 따른 텔레 프레젠스 영상과 배경 영상을 도시한 예시적인 도면이다.
도 12은 본 발명의 일 실시예에 따른 객체에 대한 제스처에 기초하여 인터렉션 영상을 출력하는 과정을 설명하기 위한 예시적인 도면이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1 개의 유닛이 2 개 이상의 하드웨어를 이용하여 실현되어도 되고, 2 개 이상의 유닛이 1 개의 하드웨어에 의해 실현되어도 된다.
본 명세서에 있어서 단말 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말 또는 디바이스와 연결된 서버에서 대신 수행될 수도 있다. 이와 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능 중 일부도 해당 서버와 연결된 단말 또는 디바이스에서 수행될 수도 있다.
이하 첨부된 도면을 참고하여 본 발명의 일 실시예를 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 텔레 프레젠스 영상 시스템의 구성도이다. 도 1을 참조하면, 텔레 프레젠스 영상 시스템(1)은 촬영 장치(110), 텔레 프레젠스 영상 송신 장치(120), 텔레 프레젠스 영상 수신 장치(130) 및 복수의 프로젝터(140)를 포함할 수 있다. 도 1에 도시된 촬영 장치(110), 텔레 프레젠스 영상 송신 장치(120), 텔레 프레젠스 영상 수신 장치(130) 및 복수의 프로젝터(140)는 텔레 프레젠스 영상 시스템(1)에 의하여 제어될 수 있는 구성요소들을 예시적으로 도시한 것이다.
도 1의 텔레프레젠스 영상 시스템(1)의 각 구성요소들은 일반적으로 네트워크(network)를 통해 연결된다. 예를 들어, 도 1에 도시된 바와 같이, 텔레 프레젠스 영상 송신 장치(120)는 네트워크를 통해 텔레 프레젠스 영상 수신 장치(130)와 동시에 또는 시간 간격을 두고 연결될 수 있다. 일반적으로 텔레프레젠스는 송신 행위와 수신 행위가 동시에 이루어지기 때문에 송신기능과 수신기능은 구분이 될 수 있지만, 시스템적으로는 송신기능과 수신기능을 모두 포함할 수 있다.
네트워크는 단말들 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 이러한 네트워크의 일 예는, Wi-Fi, 블루투스(Bluetooth), 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), 3G, 4G, 5G, LTE 등이 포함되나 이에 한정되지는 않는다.
일 실시예에서, 텔레 프레젠스 영상 송신 장치(120)는 촬영 장치(110)로부터 수신된 텔레 프레젠스 영상을 처리할 수 있다. 예를 들어, 텔레 프레젠스 영상 송신 장치(120)는 수신된 텔레 프레젠스 영상으로부터 크로마 키(Chroma-Key)를 제거하고, 크로마 키가 제거된 텔레 프레젠스 영상의 절단면을 블러링(Blurring)함으로써 텔레 프레젠스 영상의 객체를 추출할 수 있다.
텔레 프레젠스 영상 송신 장치(120)는 센서로부터 수신된 센서 데이터에 기초하여 인터렉션 영상을 생성할 수 있다. 예를 들어, 텔레 프레젠스 영상 송신 장치(120)는 센서 데이터로부터 객체의 패턴을 분석하고, 분석된 제스처의 패턴과 매칭되는 커맨드에 기초하여 인터렉션 영상을 생성할 수 있다. 이 때, 텔레 프레젠스 영상 송신 장치(120)는 분석된 제스처의 패턴을 추적하여 생성된 인터렉션 영상을 이동시키심으로써 송신측과 수신측이 상호 인터렉션 할 수 있다. 이때, 센서는 모션 센서, 음성 센서, 중력 센서 및 광센서 등을 포함할 수 있다.
텔레 프레젠스 영상 송신 장치(120)는 텔레 프레젠스 영상 수신 장치(130)로 텔레 프레젠스 영상 및 인터렉션 영상에 기초한 영상을 전송할 수 있다. 이 때, 인터렉션 영상은 커맨드에 대응하는 오브젝트, 오브젝트 속성값(오브젝트가 출력될 파라미터), 오브젝트의 출력 좌표값 등을 포함하는 메타데이터로 구성되며, 텔레 프레젠스 영상 송신 장치(120)는 이동된 인터렉션 영상이 수신측으로 전송되는 경우, 텔레 프레젠스 영상 수신 장치(130)로 좌표값이 수정된 메타데이터를 전송할 수 있다. 즉, 송신측과 수신측 사이에는 가상의 홀로그램 스크린 공간(공유화면)이 존재하며, 송신측과 수신측은 각자 소프트웨어에서 공유되는 데이터를 가지고 동일한 화면을 공유할 수 있다. 단, 새로운 오브젝트를 불러와서 선택하고 상대방에게 전송(공유화면에 적용)하는 과정은 송신측에서만 이루어지는 행위이기 때문에 단계적으로 구분될 수 있다. 이때, 송신측은 공유화면과 자신의 UI화면의 영역을 구분하여 표시할 수 있다.
텔레 프레젠스 영상 송신 장치(120)는 텔레 프레젠스 영상 수신 장치(130)로부터 피드백 정보를 수신할 수 있다. 이 때, 텔레 프레젠스 영상 송신 장치(120)는 피드백 정보에 기초하여 텔레 프레젠스 영상 및 인터렉션 영상 등을 보정하고, 보정된 영상을 텔레 프레젠스 영상 수신 장치(130)로 전송할 수 있다. 여기서, 피드백 정보는 상황 정보 및 모니터링 정보 등을 포함하고, 상황 정보는 영상이 출력되는 장소의 조명 정보 및 객석 정보 등을 포함하고, 모니터링 정보는 출력된 영상에 포함된 텔레 프레젠스 영상과 인터렉션 영상 간의 해상도 차이값 및 좌표 차이값 등을 포함할 수 있다.
텔레 프레젠스 영상 송신 장치(120)는 텔레 프레젠스 영상 및 인터렉션 영상을 동기화하여 합성하고, 합성된 영상의 화면을 캡쳐할 수 있다. 이 때, 텔레 프레젠스 영상 송신 장치(120)는 텔레 프레젠스 영상 수신 장치(130)로 캡쳐된 영상의 화면을 전송할 수 있다. 이때, 캡처된 화면을 전송하는 방식은 인터렉션 화면을 생성하는 소프트웨어가 구비되어 있지 않은 환경의 수신측을 위하여 양자간 동일한 화면을 공유하기 위해 어느 한쪽에서 화면을 생성하고 전달하여 디스플레이하는 방식일 수 있다.
텔레 프레젠스 영상 수신 장치(130)는 텔레 프레젠스 영상 송신 장치(120)로부터 텔레 프레젠스 영상 및 인터렉션 영상을 수신할 수 있다. 이 때, 텔레 프레젠스 영상 수신 장치(130)는 실시간으로 텔레 프레젠스 영상 및 인터렉션 영상을 수신하여 압축을 해제하고, 텔레 프레젠스 영상 및 인터렉션에 기초한 영상을 프로젝터(140)를 통해 출력할 수 있다. 예를 들어, 텔레 프레젠스 영상 수신 장치(130)는 제 1 프로젝터를 통해 텔레 프레젠스 영상 및 인터렉션 영상을 출력하고, 제 2 프로젝터를 통해 사전에 정의된 배경영상을 출력할 수 있다.
다른 실시예에서, 텔레 프레젠스 영상 송신 장치(120)는 촬영 장치(110)로부터 수신된 텔레 프레젠스 영상을 압축하여 텔레 프레젠스 영상 수신 장치(130)로 전송할 수 있다. 또한, 텔레 프레젠스 영상 송신 장치(120)는 센서로부터 수신된 센서 데이터를 생성하여 압축한 후, 텔레 프레젠스 영상 수신 장치(130)로 전송할 수 있다.
텔레 프레젠스 영상 수신 장치(130)는 텔레 프레젠스 영상 송신 장치(120)로부터 텔레 프레젠스 영상 및 센서 데이터를 수신할 수 있다.
텔레 프레젠스 영상 수신 장치(130)는 수신된 텔레 프레젠스 영상을 처리할 수 있다. 예를 들어, 텔레 프레젠스 영상 수신 장치(130)는 수신된 텔레 프레젠스 영상으로부터 크로마 키(Chroma-Key)를 제거하고, 크로마 키가 제거된 텔레 프레젠스 영상의 절단면을 블러링(Blurring)함으로써 텔레 프레젠스 영상의 객체를 추출할 수 있다.
텔레 프레젠스 영상 수신 장치(130)는 수신된 센서 데이터에 기초하여 인터렉션 영상을 생성할 수 있다. 예를 들어, 텔레 프레젠스 영상 수신 장치(130)는 센서 데이터로부터 객체에 대한 제스처의 패턴을 분석하고, 분석된 제스처의 패턴과 매칭되는 커맨드에 기초하여 인터렉션 영상을 생성할 수 있다. 이 때, 텔레 프레젠스 영상 수신 장치(130)는 분석된 제스처의 패턴을 추적하여 생성된 인터렉션 영상을 이동시킬 수 있다. 여기서, 인터렉션 영상은 커맨드에 대응하는 오브젝트 및 좌표값을 포함하는 메타데이터로 구성되고, 인터렉션 영상이 이동되는 경우, 텔레 프레젠스 영상 수신 장치(130)는 텔레 프레젠스 영상 송신 장치(120)로 좌표값이 수정된 메타데이터를 전송할 수 있다.
텔레 프레젠스 영상 수신 장치(130)는 텔레 프레젠스 영상 및 인터렉션 영상에 기초한 영상을 프로젝터(140)를 통해 출력할 수 있다. 예를 들어, 텔레 프레젠스 영상 수신 장치(130)는 제 1 프로젝터를 통해 텔레 프레젠스 영상 및 인터렉션 영상에 기초한 영상을 출력하고, 제 2 프로젝터를 통해 사전에 정의된 배경영상을 출력할 수 있다.
텔레 프레젠스 영상 수신 장치(130)는 텔레 프레젠스 영상 및 인터렉션 영상에 대한 피드백 정보를 생성할 수 있다. 이 때, 텔레 프레젠스 영상 수신 장치(130)는 텔레 프레젠스 영상 송신 장치(120)로 피드백 정보를 전송할 수 있다. 여기서, 피드백 정보는 상황 정보 및 모니터링 정보 등을 포함하고, 상황 정보는 영상이 출력되는 장소의 조명 정보 및 객석 정보 등을 포함하고, 모니터링 정보는 출력된 영상에 포함된 텔레 프레젠스 영상과 인터렉션 영상 간의 해상도 차이값 및 좌표 차이값 등을 포함할 수 있다.
텔레 프레젠스 영상 수신 장치(130)는 텔레 프레젠스 영상 및 인터렉션 영상을 동기화하여 합성하고, 합성된 영상을 출력할 수 있다.
도 2는 본 발명의 일 실시예에 따른 텔레 프레젠스 영상 송신 장치의 구성도이다.
일 실시예에서, 텔레 프레젠스 영상 송신 장치(120)는 텔레 프레젠스 영상 처리부(210), 인터렉션 영상 생성부(220), 전송부(230), 수신부(240), 보정부(250), 영상 합성부(260) 및 화면 캡쳐부(270)를 포함할 수 있다.
텔레 프레젠스 영상 처리부(210)는 촬영 장치(110)로부터 수신된 텔레 프레젠스 영상을 처리할 수 있다. 예를 들어, 텔레 프레젠스 영상 처리부(210)는 수신된 텔레 프레젠스 영상으로부터 크로마 키(Chroma-Key)를 제거하고, 후처리로서 크로마 키가 제거된 텔레 프레젠스 영상의 절단면을 블러링(Blurring)하거나, 노이즈를 제거하거나, 리커버리함으로써 텔레 프레젠스 영상의 객체를 추출할 수 있다. 텔레 프레젠스 영상을 처리하는 과정에 대해서는 도 3a 내지 도 3g를 통해 상세히 설명하도록 하겠다.
도 3a 내지 도 3g은 본 발명의 일 실시예에 따른 텔레 프레젠스 영상 송신 장치에서 텔레 프레젠스 영상으로부터 객체를 추출하는 과정을 설명하기 위한 예시적인 도면이다.
도 3a는 촬영 장치(110)로부터 수신한 텔레 프레젠스 영상을 도시한 예시적인 도면이다. 도 3a를 참조하면, 촬영 장치(110)는 그린 스크린을 배경으로 하여 사람 객체를 촬영한 텔레 프레젠스 영상을 생성할 수 있다. 이 때, 촬영 장치(110)는 생성된 텔레 프레젠스 영상을 텔레 프레젠스 영상 송신 장치(120)로 전송할 수 있다.
도 3b는 텔레 프레젠스 영상 송신 장치(120)에서 텔레 프레젠스 영상으로부터 크로마 키를 제거하는 과정을 도시한 예시적인 도면이다. 도 3b를 참조하면, 텔레 프레젠스 영상 송신 장치(120)는 수신된 텔레 프레젠스 영상으로부터 크로마 키 및 루마 키(Luma Key)를 제거하고, 배경 부분에 존재하는 노이즈를 제거할 수 있다. 여기서, 크로마 키는, 블루, 그린과 같은 색상의 스크린의 배경을 색상차를 이용하여 제거하는 것을 의미하고, 루미 키는, 색상의 밝기를 이용하여 제거하는 것을 의미한다.
도 3c는 텔레 프레젠스 영상 송신 장치(120)에서 텔레 프레젠스 영상을 블러링하는 과정을 도시한 예시적인 도면이다. 도 3c를 참조하면, 크로마 키가 제거된 텔레 프레젠스 영상에 배경과 객체 간의 단절감이 존재하므로, 텔레 프레젠스 영상 송신 장치(120)는 크로마 키가 제거된 텔레 프레젠스 영상의 절단면을 블러링 처리할 수 있다.
도 3d는 텔레 프레젠스 영상의 객체를 도시한 예시적인 도면이다. 도 3d를 참조하면, 텔레 프레젠스 영상 송신 장치(120)는 상기의 크로마 키 제거 과정 및 블러링 과정을 거쳐 텔레 프레젠스 영상의 객체를 추출할 수 있다.
도 3e는 추출된 객체의 색상을 조절하는 과정을 도시한 예시적인 도면이다. 도 3e를 참조하면, 텔레 프레젠스 영상 송신 장치(120)는 텔레 프레젠스 영상으로부터 추출된 객체의 색상, 명도, 채도, 명암비, 컬러 필터(Color Filter) 등을 선택 및 조절하여 객체에 적용시킬 수 있다.
도 3f는 추출된 객체의 크기 및 위치를 조절하는 과정을 도시한 예시적인 도면이다. 도 3f를 참조하면, 텔레 프레젠스 영상 송신 장치(120)는 텔레 프레젠스 영상으로부터 추출된 객체의 크기, 회전 각도, 좌표, 이동 효과 등을 설정하여 객체에 적용시킬 수 있다.
도 3g는 추출된 객체에 특수 효과를 적용하는 과정을 도시한 예시적인 도면이다. 도 3g를 참조하면, 텔레 프레젠스 영상 송신 장치(120)는 텔레 프레젠스 영상으로부터 추출된 객체에 그림자 효과 및 반사 효과 등을 적용시킬 수 있다.
다시 도 2로 돌아와서, 인터렉션 영상 생성부(220)는 센서로부터 수신된 센서 데이터에 기초하여 인터렉션 영상을 생성할 수 있다. 이때, 센서 데이터는 인터렉션 프로그램에 의해 처리될 수 있고, 인터렉션 영상은 소정의 정의된 시나리오에 따라 구동되는 인터렉션 프로그램 실행화면을 의미할 수 있다.
구체적으로, 인터렉션 프로그램는 수집된 센서 데이터에 대한 패턴을 분석하고, 분석에 기초하여 수행할 명령 커멘드와 메타데이터를 생성할 수 있습니다. 이러한 인터렉션 프로그램 실행화면은 인터렉션 영상과 관련된 메타데이터(스크립트)에 의하여 구현될 수 있다. 예를 들어, 인터렉션 영상 생성부(220)는 센서 데이터로부터 객체에 대한 제스처의 패턴을 분석하고, 분석된 제스처의 패턴에 기초하여 메타데이터를 생성하거나, 분석된 제스처의 패턴과 매칭되는 커맨드에 기초하여 인터렉션 영상을 생성할 수 있다. 이 때, 인터렉션 영상 생성부(220)는 분석된 제스처의 패턴을 추적하여 생성된 인터렉션 영상을 이동시킬 수 있다. 여기서, 인터렉션 영상은 커맨드에 대응하는 오브젝트 및 좌표값을 포함하는 메타데이터로 구성되는 것일 수 있다. 따라서, 송신단과 수신단은 메타데이터를 주고 받음으로써 송신단과 수신단 간의 인터렉션 영상을 동기화 시킬 수 있다. 예를 들어, 사람 객체의 주먹을 쥐었다 피는 동작을 통해 꽃, 음원 디스크 등과 같은 새로운 그래픽 객체를 불러올 수 있으며, 사람 객체가 손가락으로 그래픽 객체를 선택하면, 인터렉션 영상 생성부(220)는 제스처의 패턴을 추적하여 그래픽 객체를 이동시킬 수 있다. 또한, 다른 예를 들어, 송신측에서 생성한 데이터와 수신측으로부터 수신한 데이터를 함께 처리하여 인터렉션 화면이 구성되며, 이때 인터렉션 화면에는 송신측의 시청화면과 함께 수신측의 시청화면(최종합성화면) 또는 송신측이 수신측에게 전송한 인터렉션 화면도 함께 디스플레이될 수 있다.
전송부(230)는 텔레 프레젠스 영상 수신 장치(130)로 텔레 프레젠스 영상 및 인터렉션 영상에 기초한 영상을 전송할 수 있다. 이 때, 전송된 영상은 텔레프레젠스 영상 수신 장치(130)에 의해 출력될 수 있다. 또한, 전송부는, 텔레 프레젠스 영상 수신 장치(130)로 텔레 프레젠스 영상 및 인터렉션 영상을 각각 전송할 수 있다.
또한, 전송부는, 텔레 프레젠스 영상 수신 장치(130)로 텔레 프레젠스 영상 및 인터렉션 영상과 관련된 메타데이터(실행 스크립트, 즉, 명령어 및 파라미터의 집합)를 전송할 수 있다. 이때, 전송부는 인터렉션 영상 대신 메타데이터를 전송함으로써 송신단과 수신단에서 각각 인터렉션 프로그램 실행화면을 사전 정의된 서비스 시나리오에 따라 동기화하여 실행할 수 있다. 이때, 전송부(230)는 인터렉션 영상이 이동되는 경우, 텔레 프레젠스 영상 수신 장치(130)로 좌표값이 수정된 메타데이터를 전송할 수 있다.
수신부(240)는 텔레 프레젠스 영상 수신 장치(130)로부터 피드백 정보를 수신할 수 있다. 여기서, 피드백 정보는 상황 정보 및 모니터링 정보 등을 포함하고, 상황 정보는 영상이 출력되는 장소의 조명 정보 및 객석 정보 등을 포함하고, 모니터링 정보는 출력된 영상에 포함된 텔레 프레젠스 영상과 인터렉션 영상 간의 해상도 차이값 및 좌표 차이값 등을 포함할 수 있다.
보정부(250)는 피드백 정보에 기초하여 텔레 프레젠스 영상 및 인터렉션 영상 등을 보정할 수 있다. 이 때, 보정된 영상은 전송부(230)를 통해 텔레 프레젠스 영상 수신 장치(130)로 전송될 수 있다.
영상 합성부(260)는 텔레 프레젠스 영상 및 인터렉션 영상을 동기화하여 합성할 수 있다. 텔레 프레젠스 영상 및 인터렉션 영상을 보정하고 합성하는 과정에 대해서는 도 4a 내지 도 4c를 통해 상세히 설명하도록 하겠다.
도 4a 내지 도 4c는 본 발명의 일 실시예에 따른 텔레 프레젠스 영상 송신 장치에서 텔레 프레젠스 영상 및 배경 영상을 보정 및 합성하는 과정을 설명하기 위한 예시적인 도면이다.
도 4a는 영상 합성부(260)에서 제 1 장면(scene)에 대한 텔레 프레젠스 영상 및 인터렉션 영상을 합성하는 과정을 설명하기 위한 예시적인 도면이다. 도 4a를 참조하면, 영상 합성부(260)는 제 1 장면의 time=t1에서 바닷가를 배경으로 하는 배경영상(410)에 제 1 객체(411)인 달을 합성할 수 있다. 이 때, 합성된 영상은 텔레 프레젠스 영상 수신 장치(130)로 전송될 수 있다. 또는, 인터렉션 영상의 전송으로서, 각각의 객체 또는 오브젝트가 동작하는 시나리오를 시간순서에 따라 스크립트 형태의 실행명령어로 정의된 스크립트(메타데이터)를 생성하고, 이를 수신측으로 전송하고, 전송된 스크립트(메타데이터)를 이용하여 송신측과 수신측간의 동기화를 진행하여 인터렉션 영상을 실행할 수 있다.
도 4b는 보정부(250)에서 제 1 장면에 대한 텔레 프레젠스 영상 및 배경 영상을 보정하는 과정을 설명하기 위한 예시적인 도면이다. 도 4a 및 도 4b를 참조하면, 보정부(250)는 제 1 장면에서 합성된 영상에 제 2 객체(420)로 여성을 추가로 합성할 수 있다. 이 때, 보정부(250)는 제 2 객체(420)에 대해 time=t1~t2, 색=black, 크기=80, 그림자=없음 등으로 설정하여 제 1 장면을 보정할 수 있다. 한편, 인터렉션 영상은 시나리오상 텔레프레젠스 뒤쪽에 위치해야 하는 경우 배경영상과 합성되고, 앞쪽에 위치해야 하는 경우 텔레프레젠스 영상과 합성될 수 있다
도 4c는 제 1 장면및 제 2 장면을 실시간으로 합성하는 과정을 설명하기 위한 예시적인 도면이다. 도 4a 내지 도 4c를 참조하면, 전송부(230)는 도 4b에서 제 1 장면에 대하여 합성된 영상을 텔레 프레젠스 영상 수신 장치(130)로 전송할 수 있다.
이 때, 제 1 장면에서 제 2 장면으로 장면이 전환되는 경우, 영상 합성부(260)는 제 2 장면의 time=t2에서 바닷가를 배경으로 하는 배경영상(410)을 달과 구름을 배경으로 하는 배경영상(430)으로 전환하고, 제 3 객체(431)인 남성을 추가로 합성할 수 있다. 즉, 제 2 객체(420)인 여성이 time=t1~t2로 설정되어 있으므로, 영상 합성부(260)는 제 2 장면에서 달과 구름을 배경으로 하는 배경영상(430)에 남성과 여성을 합성할 수 있다. 이 때, 합성된 영상을 텔레 프레젠스 영상 수신 장치(130)로 전송될 수 있다.
다시 도 2로 돌아와서, 화면 캡쳐부(270)는 합성된 영상의 화면을 캡쳐할 수 있다. 이 때, 캡쳐된 영상의 화면은 전송부(230)를 통해 텔레 프레젠스 영상 수신 장치(130)로 전송될 수 있다.
다른 실시예에서, 텔레 프레젠스 영상 송신 장치(120)는 전송부(230)만을 포함할 수 도 있다. 이 때, 전송부(230)는 촬영 장치(110)로부터 수신된 텔레 프레젠스 영상을 텔레 프레젠스 영상 수신 장치(130)로 전송할 수 있다. 또한, 전송부(230)는 센서로부터 수신된 센서 데이터를 텔레 프레젠스 영상 수신 장치(130)로 전송할 수 있다.
도 5는 본 발명의 일 실시예에 따른 텔레 프레젠스 영상 송신 장치에서 텔레 프레젠스 영상을 송신하는 방법의 순서도이다. 도 5에 도시된 실시예에 따른 텔레 프레젠스 영상 송신 장치(120)에 의해 수행되는 텔레 프레젠스 영상을 송신하는 방법은 도 1에 도시된 실시예에 따른 텔레 프레젠스 영상 시스템(1)에서 시계열적으로 처리되는 단계들을 포함한다. 따라서, 이하 생략된 내용이라고 하더라도 도 1 내지 도 4c에 도시된 실시예에 따른 텔레 프레젠스 영상 시스템(1)에 관하여 이미 기술된 내용은 도 5에 도시된 실시예에 따른 텔레 프레젠스 영상 송신 장치(120)에 의해 수행되는 텔레 프레젠스 영상을 송신하는 방법에도 적용된다.
단계 S510에서 텔레 프레젠스 영상 송신 장치(120)는 촬영 장치(110)로부터 수신된 텔레 프레젠스 영상을 처리할 수 있다. 예를 들어, 텔레 프레젠스 영상 송신 장치(120)는 수신된 텔레 프레젠스 영상으로부터 크로마 키(Chroma-Key)를 제거하고, 크로마 키가 제거된 텔레 프레젠스 영상의 절단면을 블러링(Blurring)함으로써, 텔레 프레젠스 영상의 객체를 추출할 수 있다. 단계 S520에서 텔레 프레젠스 영상 송신 장치(120)는 센서로부터 수신된 센서 데이터에 기초하여 인터렉션 영상을 생성할 수 있다. 예를 들어, 텔레 프레젠스 영상 송신 장치(120)는 센서 데이터로부터 객체에 대한 제스처의 패턴을 분석하고, 분석된 제스처의 패턴과 매칭되는 커맨드에 기초하여 인터렉션 영상을 생성할 수 있다. 또는, 텔레 프레젠스 영상 송신 장치(120)는 분석된 제스처의 패턴을 추적하여 생성된 인터렉션 영상을 이동시킬 수 있다. 여기서, 인터렉션 영상은 커맨드에 대응하는 오브젝트 및 좌표값을 포함하는 메타데이터로 구성되고, 인터렉션 영상이 이동되는 경우, 텔레 프레젠스 영상 수신 장치(130)로 좌표값이 수정된 메타데이터를 전송할 수 있다. 단계 S530에서 텔레 프레젠스 영상 송신 장치(120)는 텔레 프레젠스 영상 수신 장치(130)로 텔레 프레젠스 영상 및 인터렉션 영상에 기초한 영상을 전송할 수 있다. 이 때, 전송된 영상은 텔레 프레젠스 영상 수신 장치(130)에 의해 출력될 수 있다.
도 5에서는 도시되지 않았으나, 텔레 프레젠스 영상 송신 장치(120)는 텔레 프레젠스 영상 수신 장치(130)로부터 피드백 정보를 수신하는 단계 및 피드백 정보에 기초하여 텔레 프레젠스 영상 및 인터렉션 영상 중 하나 이상을 보정하는 단계를 더 포함할 수 있다. 이 때, 텔레 프레젠스 영상 송신 장치(120)는 텔레 프레젠스 영상 수신 장치(130)로 보정된 영상을 전송할 수 있다.
도 5에서는 도시되지 않았으나, 텔레 프레젠스 영상 송신 장치(120)는 텔레 프레젠스 영상 및 인터렉션 영상을 동기화하여 합성하는 단계 및 합성된 영상의 화면을 캡쳐하는 단계를 더 포함할 수 있다. 이 때, 텔레 프레젠스 영상 송신 장치(120)는 텔레 프레젠스 영상 수신 장치(130)로 캡쳐된 영상의 화면을 전송할 수 있다.
상술한 설명에서, 단계 S510 내지 S530은 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다.
도 6은 본 발명의 일 실시예에 따른 텔레 프레젠스 영상 수신 장치의 구성도이다.
일 실시예에서, 텔레 프레젠스 영상 수신 장치(130)는 수신부(610), 텔레 프레젠스 영상 처리부(620), 인터렉션 영상 생성부(630), 출력부(640), 피드백 정보 생성부(650), 전송부(660) 및 영상 합성부(670)를 포함할 수 있다. 이하에서 서술되는 텔레 프레젠스 영상 수신 장치(130)의 구성 중 텔레 프레젠스 영상 송신 장치(120)와 대응되는 구성은 텔레 프레젠스 영상 송신 장치(120)의 각 구성과 기능적으로 일치할 수 있다.
수신부(610)는 텔레 프레젠스 영상 송신 장치(120)로부터 텔레 프레젠스 영상 및 센서 데이터를 수신할 수 있다. 또한, 수신부(610)는 텔레 프레젠스 영상 및 센서 데이터로부터 생성된 인터렉션 영상을 수신할 수 있다. 또한, 수신부(610)는 텔레 프레젠스 영상 및 인터렉션 영상에 기초된 합성 영상을 수신할 수 있다.
텔레 프레젠스 영상 처리부(620)는 수신된 텔레 프레젠스 영상을 처리할 수 있다.
인터렉션 영상 생성부(630)는 수신된 센서 데이터에 기초하여 인터렉션 영상을 생성할 수 있다.
출력부(640)는 텔레 프레젠스 영상 및 인터렉션 영상에 기초한 영상을 출력할 수 있다. 또한, 출력부(640)는 영상 합성부(670)에서 텔레 프레젠스 영상 및 인터렉션 영상이 동기화되어 합성되면, 합성된 영상을 출력할 수 있다.
피드백 정보 생성부(650)는 텔레 프레젠스 영상 및 인터렉션 영상에 대한 피드백 정보를 생성할 수 있다. 예를 들어, 피드백 정보 생성부(650)는 상황 정보 및 모니터링 정보를 포함하는 피드백 정보를 생성할 수 있다. 여기서, 상황 정보는 영상이 출력되는 장소의 조명 정보 및 객석 정보 등을 포함하고, 모니터링 정보는 출력된 영상에 포함된 텔레 프레젠스 영상과 인터렉션 영상 간의 해상도 차이값 및 좌표 차이값 등을 포함할 수 있다.
전송부(660)는 텔레 프레젠스 영상 송신 장치(120)로 피드백 정보를 전송할 수 있다. 또한, 전송부(660)는 인터렉션 영상이 이동되는 경우, 텔레 프레젠스 영상 송신 장치(120)로 좌표값이 수정된 메타데이터를 전송할 수 있다.
영상 합성부(670)는 텔레 프레젠스 영상 및 인터렉션 영상을 동기화하여 합성할 수 있다.
상기의 텔레 프레젠스 영상 처리부(620), 인터렉션 영상 생성부(630), 영상 합성부(670)에 대한 설명은 도 2의 텔레 프레젠스 영상 송신 장치(120)의 텔레 프레젠스 영상 처리부(210), 인터렉션 영상 생성부(220), 영상 합성부(260)에 대한 설명과 동일하므로 자세한 설명은 생략하도록 하겠다.
다른 실시예에서, 텔레 프레젠스 영상 수신 장치(130)는 수신부(610), 출력부(640), 피드백 정보 생성부(650), 전송부(660)를 포함할 수 있다. 예를 들어, 수신부(610)에서 텔레 프레젠스 영상 송신 장치(120)로부터 텔레 프레젠스 영상 및 인터렉션 영상에 기초한 영상을 수신하면, 출력부(640)에서 제 1 프로젝터를 통해 텔레 프레젠스 영상과 인터렉션 영상의 합성영상을 출력하고, 제 2 프로젝터를 통해 사전에 정의된 배경영상 또는 배경영상과 인터렉션 영상의 합성영상을 출력할 수 있다. 이 때, 피드백 정보 생성부(650)에서 상황 정보 및 모니터링 정보를 포함하는 피드백 정보를 생성하면, 전송부(660)에서 텔레 프레젠스 영상 송신 장치(120)로 피드백 정보를 전송할 수 있다.
도 7은 본 발명의 일 실시예에 따른 텔레 프레젠스 영상 수신 장치에서 텔레 프레젠스 영상을 수신하는 방법의 순서도이다. 도 7에 도시된 실시예에 따른 텔레 프레젠스 영상 수신 장치(130)에 의해 수행되는 텔레 프레젠스 영상을 수신하는 방법은 도 1에 도시된 실시예에 따른 텔레 프레젠스 영상 시스템(1)에서 시계열적으로 처리되는 단계들을 포함한다. 따라서, 이하 생략된 내용이라고 하더라도 도 1 내지 도 6에 도시된 실시예에 따른 텔레 프레젠스 영상 시스템(1)에 관하여 이미 기술된 내용은 도 7에 도시된 실시예에 따른 텔레 프레젠스 영상 수신 장치(130)에 의해 수행되는 텔레 프레젠스 영상을 수신하는 방법에도 적용된다.
단계 S710에서 텔레 프레젠스 영상 수신 장치(130)는 텔레 프레젠스 영상 송신 장치(120)로부터 텔레 프레젠스 영상 및 센서 데이터를 수신할 수 있다. 단계 S720에서 텔레 프레젠스 영상 수신 장치(130)는 수신된 텔레 프레젠스 영상을 처리할 수 있다. 예를 들어, 텔레 프레젠스 영상 수신 장치(130)는 수신된 텔레 프레젠스 영상으로부터 크로마 키(Chroma-Key)를 제거하고, 크로마 키가 제거된 텔레 프레젠스 영상의 절단면을 블러링(Blurring)함으로써, 텔레 프레젠스 영상의 객체를 추출할 수 있다. 단계 S730에서 텔레 프레젠스 영상 수신 장치(130)는 수신된 센서 데이터에 기초하여 인터렉션 영상을 생성할 수 있다. 예를 들어, 텔레 프레젠스 영상 수신 장치(130)는 센서 데이터로부터 객체에 대한 제스처의 패턴을 분석하고, 분석된 제스처의 패턴과 매칭되는 커맨드에 기초하여 인터렉션 영상을 생성할 수 있다. 이 때, 텔레 프레젠스 영상 수신 장치(130)는 분석된 제스처의 패턴을 추적하여 생성된 인터렉션 영상을 이동시킬 수 있다. 단계 S740에서 텔레 프레젠스 영상 수신 장치(130)는 텔레 프레젠스 영상 및 인터렉션 영상에 기초한 영상을 출력할 수 있다.
도 7에서는 도시되지 않았으나, 텔레 프레젠스 영상 수신 장치(130)는 텔레 프레젠스 영상 및 인터렉션 영상에 대한 피드백 정보를 생성하는 단계 및 텔레 프레젠스 영상 송신 장치(120)로 피드백 정보를 전송하는 단계를 더 포함할 수 있다. 여기서, 피드백 정보는 상황 정보 및 모니터링 정보 등을 포함하고, 상황 정보는 영상이 출력되는 장소의 조명 정보 및 객석 정보 등을 포함하고, 모니터링 정보는 출력된 영상에 포함된 텔레 프레젠스 영상과 인터렉션 영상 간의 해상도 차이값 및 좌표 차이값 등을 포함할 수 있다.
도 7에서는 도시되지 않았으나, 텔레 프레젠스 영상 수신 장치(130)는 인터렉션 영상이 객체가 이동함에 따라 이동되는 경우, 텔레 프레젠스 영상 송신 장치(120)로 좌표값이 수정된 메타데이터를 전송하는 단계를 더 포함할 수 있다. 이 때, 인터렉션 영상은 커맨드에 대응하는 오브젝트 및 좌표값을 포함하는 메타데이터로 구성될 수 있다.
도 7에서는 도시되지 않았으나, 텔레 프레젠스 영상 수신 장치(130)는 텔레 프레젠스 영상 및 인터렉션 영상을 동기화하여 합성하는 단계를 더 포함할 수 있다. 이 때, 텔레 프레젠스 영상 수신 장치(130)는 합성된 영상을 출력할 수 있다.
상술한 설명에서, 단계 S710 내지 S740은 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다.
도 8은 본 발명의 일 실시예에 따른 무대 장치를 도시한 예시적인 도면이다. 도 8을 참조하면, 텔레 프레젠스 영상 수신 장치(130)는 제 1 프로젝터(810)를 통해 배경 영상(820)을 출력할 수 있다. 이 때, 텔레 프레젠스 영상 수신 장치(130)는 제 2 프로젝터(811)를 통해 텔레 프레젠스 영상(830)을 출력할 수 있다. 이때, 인터렉션 영상은 텔레프레젠스 영상 또는 배경영상과 합성되어 제 1프로젝터 또는 제 2 프로젝터를 통해 디스플레이될 수 있다.
여기서, 홀로그램 스크린은 투명 소재의 반사체로, 관객은 스크린에 투영된 영상과 스크린 뒤의 빛을 함께 볼 수 있게 된다. 이러한 홀로그램 스크린의 특성으로 인해 관객은 공연자가 무대에서 실제로 공연하는 듯한 느낌을 받을 수 있게 된다.
도 9는 본 발명의 일 실시예에 따른 텔레 프레젠스 영상을 하나의 홀로그램 스크린을 이용하여 출력하는 과정을 설명하기 위한 예시적인 도면이다. 도 9를 참조하면, 텔레 프레젠스 영상 수신 장치(130)는 제 1 프로젝터를 통해 메인 스크린(900)에 배경영상을 출력할 수 있다. 또한, 텔레 프레젠스 영상 수신 장치(130)는 별도의 프로젝터를 통해 좌측 파사드 스크린(901)과 우측 파사드 스크린(902)에 배경 영상을 출력할 수 있다.
텔레 프레젠스 영상 수신 장치(130)는 제 2 프로젝터를 통해 제 1 촬영장의 텔레 프레젠스 영상과 제 2 촬영장의 텔레 프레젠스 영상을 하나의 홀로그램 스크린에 동시에 출력할 수 있다. 이 때, 홀로그램 스크린의 나머지 영역이 블랙의 이미지로 출력이 되나, 관객은 블랙 영역을 통해 홀로그램 스크린의 뒤에 위치하는 배경 영상을 볼 수 있게 된다.
도 10a 내지 도 10c는 본 발명의 일 실시예에 따른 텔레 프레젠스 영상을 복수의 홀로그램 스크린을 이용하여 출력하는 과정을 설명하기 위한 예시적인 도면이다.
도 10a는 메인 스크린과 파사드 스크린을 도시한 예시적인 도면이다. 도 10a를 참조하면, 텔레 프레젠스 영상 수신 장치(130)는 제 1 프로젝터를 통해 메인 스크린(1000)에 배경 영상을 출력할 수 있다. 또한, 텔레 프레젠스 영상 수신 장치(130)는 별도의 프로젝터를 통해 좌측 파사드 스크린(1001)과 우측 파사드 스크린(1002)에 배경 영상을 출력할 수 있다.
도 10b는 텔레 프레젠스 영상 송신 장치(120)에서 텔레 프레젠스 영상을 처리하는 과정을 도시한 예시적인 도면이다. 도 10b를 참조하면, 촬영 장치(110)는 그린 스크린을 배경으로 남성(1010)을 촬영한 텔레 프레젠스 영상 및 여성(1020)을 촬영한 텔레 프레젠스 영상을 텔레 프레젠스 영상 송신 장치(120)로 전송할 수 있다.
텔레 프레젠스 영상 송신 장치(120)는 수신된 텔레 프레젠스 영상으로부터 크로마 키(Chroma-Key)를 제거하고, 크로마 키가 제거된 텔레 프레젠스 영상의 절단면을 블러링(Blurring)하여 텔레 프레젠스 영상의 제 1 객체인 남성(1010) 및 제 2 객체인 여성(1020)을 추출할 수 있다. 이 때, 텔레 프레젠스 영상 송신 장치(120)는 제 1 객체(1010)를 포함하는 텔레 프레젠스 영상과 제 2 객체(1020)를 포함하는 텔레 프레젠스 영상을 텔레 프레젠스 영상 수신 장치(130)로 전송할 수 있다.
텔레 프레젠스 영상 수신 장치(130)는 제 2 프로젝터를 통해 제 1 홀로그램 스크린(1011)에 제 1 객체(1010)를 포함하는 텔레 프레젠스 영상을 출력할 수 있다. 또한, 텔레 프레젠스 영상 수신 장치(130)는 제 3 프로젝터를 통해 제 2 홀로그램 스크린(1021)에 제 2 객체(1020)를 포함하는 텔레 프레젠스 영상을 출력할 수 있다. 이 때, 관객의 입장에서 제 1 홀로그램 스크린(1011)에 표시된 객체가 제 2 홀로그램 스크린(1021)에 표시된 객체보다 앞쪽에 위치한 것과 같은 느낌을 제공하기 위해, 텔레 프레젠스 영상 송신 장치(130)는 제 1 객체(1010)를 포함하는 텔레 프레젠스 영상을 스케일업(scale-up)하고, 영상의 이미지를 더 밝고 선명하게 나오도록 온포커스(on-focus) 처리하고, 제 2 객체(1020)를 포함하는 텔레 프레젠스 영상을 스케일다운(scale-down)하고, 이미지가 흐릿하게 나오도록 아웃포커스(out-focus)처리함으로써, 제 1 객체(1010)와 제 2 객체(1020) 간의 공간감을 제공할 수 있다.
도 10c는 텔레 프레젠스 영상 수신 장치(130)에서 텔레 프레젠스 영상을 복수의 홀로그램 스크린에 출력한 예시적인 도면이다. 도 10c를 참조하면, 텔레 프레젠스 영상 수신 장치(130)는 제 2 프로젝터를 통해 제 1 홀로그램 스크린에 제 1 객체를 포함하는 텔레 프레젠스 영상을 출력하고, 제 3 프로젝터를 통해 제 2 홀로그램 스크린에 제 2 객체를 포함하는 텔레 프레젠스 영상을 출력함으로써, 제 1 객체 및 제 2 객체가 하나의 영상에 존재하는 것과 같은 느낌을 제공할 수 있다.
도 11은 본 발명의 일 실시예에 따른 텔레 프레젠스 영상과 배경 영상을 도시한 예시적인 도면이다. 도 9 내지 도 11을 참조하면, 텔레 프레젠스 영상 수신 장치(130)가 하나의 홀로그램 스크린을 통해 텔레 프레젠스 영상을 출력하거나, 복수의 홀로그램 스크린을 통해 텔레 프레젠스 영상을 출력하였을 때의 영상 화면이다.
도 12는 본 발명의 일 실시예에 따른 객체에 대한 제스처에 기초하여 인터렉션 영상을 출력하는 과정을 설명하기 위한 예시적인 도면이다. 도 12를 참조하면, 텔레 프레젠스 영상 수신 장치(130)는 제 1 프로젝터를 통해 놀이공원을 배경으로 하는 배경 영상(1200)을 출력하고, 제 2 프로젝터를 통해 달(1210), 벤치에 앉아 있는 여성(1220), 서있는 여성(1230), 가로등(1240), 눈(1250), 꽃(1260) 등을 스크린에 출력할 수 있다. 이 때, 서 있는 여성(1230)이 가로등(1240)을 터치하는 액션을 취하면, 제스처의 패턴과 매칭되는 커맨드로 꽃(1260)에서 불꽃 효과를 나타낼 수 있다.
도 1 내지 도 12를 통해 설명된 텔레 프레젠스 영상 송신 장치에서 텔레 프레젠스 영상을 송신하는 방법, 텔레 프레젠스 영상 수신 장치에서 텔레 프레젠스 영상을 수신하는 방법은 컴퓨터에 의해 실행되는 매체에 저장된 컴퓨터 프로그램 또는 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 또한, 도 1 내지 도 12를 통해 설명된 텔레 프레젠스 영상 송신 장치에서 텔레 프레젠스 영상을 송신하는 방법, 텔레 프레젠스 영상 수신 장치에서 텔레 프레젠스 영상을 수신하는 방법은 컴퓨터에 의해 실행되는 매체에 저장된 컴퓨터 프로그램의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
110: 촬영 장치
120: 텔레 프레젠스 영상 송신 장치
130: 텔레 프레젠스 영상 수신 장치
140: 프로젝터
210: 텔레 프레젠스 영상 처리부
220: 인터렉션 영상 생성부
230: 전송부
240: 수신부
250: 보정부
260: 영상 합성부
270: 화면 캡쳐부
610: 수신부
620: 텔레 프레젠스 영상 처리부
630: 인터렉션 영상 생성부
640: 출력부
650: 피드백 정보 생성부
660: 전송부
670: 영상 합성부

Claims (19)

  1. 텔레 프레젠스(Tele-presence) 영상을 송신하는 장치에 있어서,
    촬영 장치로부터 수신된 텔레 프레젠스 영상을 처리하는 텔레 프레젠스 영상 처리부;
    센서로부터 수신된 센서 데이터에 기초하여 인터렉션 영상을 생성하는 인터렉션 영상 생성부; 및
    텔레 프레젠스 영상 수신 장치로 상기 텔레 프레젠스 영상 및 상기 인터렉션 영상에 기초한 영상을 전송하는 전송부
    를 포함하고,
    상기 전송된 영상은 상기 텔레 프레젠스 영상 수신 장치에 의해 출력되도록 구성된 것이되,
    상기 텔레 프레젠스 영상 수신 장치로부터 상황 정보 및 모니터링 정보 중 하나 이상을 포함하는 피드백 정보를 수신하는 수신부; 및
    상기 피드백 정보에 기초하여 상기 텔레 프레젠스 영상 및 상기 인터렉션 영상 중 하나 이상을 보정하는 보정부
    를 더 포함하는 것인, 텔레 프레젠스 영상 송신 장치.
  2. 제 1 항에 있어서,
    상기 전송부는, 상기 텔레 프레젠스 영상 수신 장치로 상기 보정된 영상을 전송하도록 구성되는 것인, 텔레 프레젠스 영상 송신 장치.
  3. 제 2 항에 있어서,
    상기 상황 정보는 상기 영상이 출력되는 장소의 조명 정보 및 객석 정보 중 하나 이상을 포함하고,
    상기 모니터링 정보는 상기 출력된 영상에 포함된 상기 텔레 프레젠스 영상과 상기 인터렉션 영상 간의 해상도 차이값 및 좌표 차이값 중 하나 이상을 포함하는 것인, 텔레 프레젠스 영상 송신 장치.
  4. 제 1 항에 있어서,
    상기 텔레 프레젠스 영상 처리부는, 상시 수신된 텔레 프레젠스 영상으로부터 크로마 키(Chroma-Key)를 제거하고, 상기 크로마 키가 제거된 상기 텔레 프레젠스 영상의 절단면을 블러링(Blurring)함으로써 상기 텔레 프레젠스 영상의 객체를 추출하도록 구성되는 것인, 텔레 프레젠스 영상 송신 장치.
  5. 제 1 항에 있어서,
    상기 인터렉션 영상 생성부는, 상기 센서 데이터로부터 객체에 대한 제스처의 패턴을 분석하고,
    상기 분석된 제스처의 패턴과 매칭되는 커맨드에 기초하여 상기 인터렉션 영상을 생성하도록 구성되는 것인, 텔레 프레젠스 영상 송신 장치.
  6. 제 5 항에 있어서,
    상기 인터렉션 영상 생성부는, 상기 분석된 제스처의 패턴을 추적하여 상기 생성된 인터렉션 영상을 이동시키도록 구성되는 것인, 텔레 프레젠스 영상 송신 장치.
  7. 제 6 항에 있어서,
    상기 인터렉션 영상은, 상기 커맨드에 대응하는 오브젝트 및 상기 객체에 대한 좌표값을 포함하는 메타데이터로 구성되고,
    상기 전송부는, 상기 인터렉션 영상이 이동되는 경우, 상기 텔레 프레젠스 영상 수신 장치로 상기 좌표값이 수정된 메타데이터를 전송하도록 구성되는 것인, 텔레 프레젠스 영상 송신 장치.
  8. 제 1 항에 있어서,
    상기 텔레 프레젠스 영상 및 상기 인터렉션 영상을 동기화하여 합성하는 영상 합성부; 및
    상기 합성된 영상의 화면을 캡쳐하는 화면 캡쳐부
    를 더 포함하고,
    상기 전송부는, 상기 텔레 프레젠스 영상 수신 장치로 상기 캡쳐된 영상의 화면을 전송하도록 구성되는 것인. 텔레 프레젠스 영상 송신 장치.
  9. 텔레 프레젠스(Tele-presence) 영상을 수신하는 장치에 있어서,
    텔레 프레젠스 영상 송신 장치로부터 텔레 프레젠스 영상 및 센서 데이터를 수신하는 수신부;
    상기 수신된 텔레 프레젠스 영상을 처리하는 텔레 프레젠스 영상 처리부;
    상기 수신된 센서 데이터에 기초하여 인터렉션 영상을 생성하는 인터렉션 영상 생성부; 및
    상기 텔레 프레젠스 영상 및 상기 인터렉션 영상에 기초한 영상을 출력하는 출력부
    를 포함하되,
    상기 텔레 프레젠스 영상 및 상기 인터렉션 영상에 대한 상황 정보 및 모니터링 정보 중 하나 이상을 포함하는 피드백 정보를 생성하는 피드백 정보 생성부; 및
    상기 텔레 프레젠스 영상 송신 장치로 피드백 정보를 전송하는 전송부;
    를 더 포함하고,
    상기 텔레 프레젠스 영상 송신 장치에 의해 상기 피드백 정보에 기초하여 상기 텔레 프레젠스 영상 및 상기 인터렉션 영상 중 하나 이상이 보정되는 것인, 텔레 프레젠스 영상 수신 장치.
  10. 삭제
  11. 제 9 항에 있어서,
    상기 상황 정보는 상기 영상이 출력되는 장소의 조명 정보 및 객석 정보 중 하나 이상을 포함하고,
    상기 모니터링 정보는 상기 출력된 영상에 포함된 상기 텔레 프레젠스 영상과 상기 인터렉션 영상 간의 해상도 차이값 및 좌표 차이값 중 하나 이상을 포함하는 것인, 텔레 프레젠스 영상 수신 장치.
  12. 제 9 항에 있어서,
    상기 텔레 프레젠스 영상 처리부는, 상시 수신된 텔레 프레젠스 영상으로부터 크로마 키(Chroma-Key)를 제거하고, 크로마 키가 제거된 상기 텔레 프레젠스 영상의 절단면을 블러링(Blurring)함으로써 상기 텔레 프레젠스 영상의 객체를 추출하도록 구성되는 것인, 텔레 프레젠스 영상 수신 장치.
  13. 제 9 항에 있어서,
    상기 인터렉션 영상 생성부는,
    상기 센서 데이터로부터 객체에 대한 제스처의 패턴을 분석하고,
    상기 분석된 제스처의 패턴과 매칭되는 커맨드에 기초하여 상기 인터렉션 영상을 생성하도록 구성되는 것인, 텔레 프레젠스 영상 수신 장치.
  14. 제 13 항에 있어서,
    상기 인터렉션 영상 생성부는, 상기 분석된 제스처의 패턴을 추적하여 상기 생성된 인터렉션 영상을 이동시키도록 구성되는 것인, 텔레 프레젠스 영상 수신 장치.
  15. 제 14 항에 있어서,
    상기 인터렉션 영상은, 상기 커맨드에 대응하는 오브젝트 및 좌표값을 포함하는 메타데이터로 구성되고,
    상기 인터렉션 영상이 이동되는 경우, 상기 텔레 프레젠스 영상 송신 장치로 상기 좌표값이 수정된 메타데이터를 전송하는 전송부
    를 더 포함하도록 구성되는 것인, 는 것인, 텔레 프레젠스 영상 수신 장치.
  16. 제 9 항에 있어서,
    상기 텔레 프레젠스 영상 및 상기 인터렉션 영상을 동기화하여 합성하는 영상 합성부
    를 더 포함하고,
    상기 출력부는, 상기 합성된 영상을 출력하도록 구성되는 것인. 텔레 프레젠스 영상 수신 장치.
  17. 텔레 프레젠스(Tele-presence) 영상을 제공하는 시스템에 있어서,
    텔레 프레젠스 영상 송신 장치; 및
    텔레 프레젠스 영상 수신 장치
    를 포함하고,
    상기 텔레 프레젠스 영상 송신 장치는,
    촬영 장치로부터 수신된 텔레 프레젠스 영상을 처리하고,
    센서로부터 수신된 센서 데이터에 기초하여 인터렉션 영상을 생성하고,
    상기 텔레 프레젠스 영상 수신 장치로 상기 텔레 프레젠스 영상 및 상기 인터렉션 영상에 기초한 영상을 전송하고,
    상기 텔레 프레젠스 영상 수신 장치는,
    상기 수신된 영상을 출력하도록 구성되는 것이되,
    상기 텔레 프레젠스 영상 송신 장치는 상기 텔레 프레젠스 영상 수신 장치로부터 상황 정보 및 모니터링 정보 중 하나 이상을 포함하는 피드백 정보를 수신하고,
    상기 피드백 정보에 기초하여 상기 텔레 프레젠스 영상 및 상기 인터렉션 영상 중 하나 이상을 보정하는 것인, 텔레 프레젠스 영상 제공 시스템.
  18. 제 17 항에 있어서,
    상기 텔레 프레젠스 영상 송신 장치는, 상기 센서 데이터로부터 객체에 대한 제스처의 패턴을 분석하고,
    상기 분석된 제스처의 패턴과 매칭되는 커맨드에 기초하여 상기 인터렉션 영상을 생성하도록 구성되는 것인, 텔레 프레젠스 영상 제공 시스템.
  19. 제 18 항에 있어서,
    상기 인터렉션 영상은, 상기 커맨드에 대응하는 오브젝트 및 좌표값을 포함하는 메타데이터로 구성되고,
    상기 텔레 프레젠스 영상 송신 장치는, 상기 인터렉션 영상이 이동되는 경우, 상기 텔레 프레젠스 영상 수신 장치로 상기 좌표값이 수정된 메타데이터를 전송하도록 구성되는 것인, 텔레 프레젠스 영상 제공 시스템.
KR1020150163544A 2015-11-20 2015-11-20 텔레 프레젠스 영상 송신 장치, 텔레 프레젠스 영상 수신 장치 및 텔레 프레젠스 영상 제공 시스템 KR102404130B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150163544A KR102404130B1 (ko) 2015-11-20 2015-11-20 텔레 프레젠스 영상 송신 장치, 텔레 프레젠스 영상 수신 장치 및 텔레 프레젠스 영상 제공 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150163544A KR102404130B1 (ko) 2015-11-20 2015-11-20 텔레 프레젠스 영상 송신 장치, 텔레 프레젠스 영상 수신 장치 및 텔레 프레젠스 영상 제공 시스템

Publications (2)

Publication Number Publication Date
KR20170059310A KR20170059310A (ko) 2017-05-30
KR102404130B1 true KR102404130B1 (ko) 2022-05-31

Family

ID=59053041

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150163544A KR102404130B1 (ko) 2015-11-20 2015-11-20 텔레 프레젠스 영상 송신 장치, 텔레 프레젠스 영상 수신 장치 및 텔레 프레젠스 영상 제공 시스템

Country Status (1)

Country Link
KR (1) KR102404130B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3780575B1 (en) * 2018-05-23 2022-11-16 Huawei Technologies Co., Ltd. Photographing method and terminal device
WO2022115380A1 (en) * 2020-11-30 2022-06-02 Intel Corporation Methods and apparatus to provide remote telepresence communication

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110066298A (ko) * 2009-12-11 2011-06-17 한국전자통신연구원 협력형 혼합현실 서버, 단말기 및 시스템과 이를 이용한 협력형 혼합 현실 서비스방법
KR20120129293A (ko) * 2011-05-19 2012-11-28 주식회사 뉴이레디자인 증강현실 기반 인터렉티브 컨텐츠 생성 방법 및 시스템
KR101251049B1 (ko) * 2011-09-03 2013-04-05 (주)네오텍소프트 스테레오스코픽 3차원 영상 시스템

Also Published As

Publication number Publication date
KR20170059310A (ko) 2017-05-30

Similar Documents

Publication Publication Date Title
US9424678B1 (en) Method for teleconferencing using 3-D avatar
US20220264068A1 (en) Telepresence system and method
US8339418B1 (en) Embedding a real time video into a virtual environment
US9679369B2 (en) Depth key compositing for video and holographic projection
EA018293B1 (ru) Способ обработки видео- и телеприсутствия
JP5851625B2 (ja) 立体視映像処理装置、立体視映像処理方法及び立体視映像処理用プログラム
JP2006262484A (ja) 画像通信中の画像合成方法及び装置
TW201401880A (zh) 在視訊中使眼睛對齊之系統及方法
WO2019193364A1 (en) Method and apparatus for generating augmented reality images
KR102404130B1 (ko) 텔레 프레젠스 영상 송신 장치, 텔레 프레젠스 영상 수신 장치 및 텔레 프레젠스 영상 제공 시스템
KR20210081082A (ko) 객체의 모션 데이터 기반의 아바타 컨텐츠를 제공하는 서버, 방법 및 사용자 단말
KR101665988B1 (ko) 영상 생성 방법
WO2023236656A1 (zh) 互动画面的渲染方法、装置、设备、存储介质及程序产品
US20240015264A1 (en) System for broadcasting volumetric videoconferences in 3d animated virtual environment with audio information, and procedure for operating said device
KR20130067855A (ko) 시점 선택이 가능한 3차원 가상 콘텐츠 동영상을 제공하는 장치 및 그 방법
CN116962744A (zh) 网络直播的连麦互动方法、装置及直播系统
CN112887653B (zh) 一种信息处理方法和信息处理装置
CN114915798A (zh) 实时视频生成方法、多摄像头直播方法及装置
KR20180092469A (ko) 3d카메라와 웹 실시간 통신을 이용한 실시간 프레젠테이션 방송 방법
KR102561903B1 (ko) 클라우드 서버를 이용한 ai 기반의 xr 콘텐츠 서비스 방법
WO2023012976A1 (ja) 映像処理装置、映像処理方法およびプログラム
CN114283055A (zh) 一种虚拟现实设备及图片显示方法
KR20200025083A (ko) 가상현실 영상의 제작 및 중계를 위한 1인 미디어 방송 시스템
KR101690729B1 (ko) 입체조정을 위한 스테레오 카메라의 구간별 설정값 조정형 영상컨텐츠 제작방법
TW202213990A (zh) 即時三維影像顯示的直播系統

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant