KR101769118B1 - 텔레프레젠스 영상 합성 장치, 텔레프레젠스 영상 합성 시스템 및 원격지 촬영 장치 - Google Patents

텔레프레젠스 영상 합성 장치, 텔레프레젠스 영상 합성 시스템 및 원격지 촬영 장치 Download PDF

Info

Publication number
KR101769118B1
KR101769118B1 KR1020160014858A KR20160014858A KR101769118B1 KR 101769118 B1 KR101769118 B1 KR 101769118B1 KR 1020160014858 A KR1020160014858 A KR 1020160014858A KR 20160014858 A KR20160014858 A KR 20160014858A KR 101769118 B1 KR101769118 B1 KR 101769118B1
Authority
KR
South Korea
Prior art keywords
telepresence
image
virtual object
telepresence image
physical property
Prior art date
Application number
KR1020160014858A
Other languages
English (en)
Other versions
KR20170093451A (ko
Inventor
양태길
김종흠
한상훈
서장원
Original Assignee
주식회사 케이티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 케이티 filed Critical 주식회사 케이티
Priority to KR1020160014858A priority Critical patent/KR101769118B1/ko
Publication of KR20170093451A publication Critical patent/KR20170093451A/ko
Application granted granted Critical
Publication of KR101769118B1 publication Critical patent/KR101769118B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/157—Conference systems defining a virtual conference space and using avatars or agents
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/16—Arrangements for providing special services to substations
    • H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1813—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
    • H04L12/1827—Network arrangements for conference optimisation or adaptation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

원격지의 텔레프레젠스 영상 간의 상호작용에 기초하여 합성된 영상을 제공하는 장치은 적어도 하나 이상의 원격지 촬영 장치로부터 각각의 텔레프레젠스 영상 및 객체의 움직임을 촬영한 영상으로부터 검출된 상기 객체의 움직임에 해당하는 이벤트 정보를 수신하는 수신부, 이벤트 정보에 기초하여 가상 오브젝트를 생성하고, 생성된 가상 오브젝트에 자체 물리적 속성을 측정하는 오브젝트 생성부, 각 텔레프레젠스 영상 및 가상 오브젝트를 합성하는 영상 합성부 및 각 텔레프레젠스 영상 및 가상 오브젝트에 대한 합성 영상을 출력하는 출력부를 포함하고, 자체 물리적 속성은 가상 오브젝트의 속도, 위치 및 방향 중 하나 이상을 포함한다.

Description

텔레프레젠스 영상 합성 장치, 텔레프레젠스 영상 합성 시스템 및 원격지 촬영 장치{DEVICE AND SYSTEM FOR SYNTHESIZING TELE-PRESENCE VIDEO AND DEVICE FOR FILMING REMOTE AREA}
본 발명은 텔레프레젠스 영상 합성 장치, 텔레프레젠스 영상 합성 시스템 및 원격지 촬영 장치에 관한 것이다.
텔레프레젠스(Telepresence) 기술이란, 실제로 상대방과 마주하고 있는 것과 같은 착각을 일으키게 하는 가상현실기술과 인터넷기술이 결합된 기술을 말한다. 텔레프레젠스는 주로 영상회의에 이용되고 있으며, 영상회의에서는 텔레프레젠스를 통해 멀리 떨어져 있는 회의 참석자가 동일한 장소에서 참여한 것과 같이 표정, 느낌, 말하는 억양, 컨디션까지 전달함으로써, 회의 참석자 간의 의사소통이 원활하도록 하게 만들어 준다.
이러한 텔레프레젠스 기술과 관련하여, 선행기술인 한국공개특허 제 2014-0141353호는 사용자 단말을 이용한 텔레프레젠스 시스템에 대해 개시하고 있다.
최근에는, 텔레프레젠스 기술을 이용한 다양한 무대 공연이 제작되고 있다. 다만, 텔레프레젠스 기술이 적용된 무대 공연은 가상 또는 물리적 상호작용의 구현 시, 텔레프레젠스 영상과 가상 또는 물리적 상호작용 간의 동기화가 어려우며, 가상 그래픽의 위치 및 움직임을 맵핑하기 어렵다는 단점을 가지고 있다.
가상 그래픽 공간에서의 기술과 현실에서의 물리적 요소를 결합하여, 서로 다른 지역에 위치한 원격지 출연자들이 홀로그램 무대를 통해 한 공간에 존재하는 것처럼 보여지도록 하는 텔레프레젠스 영상 합성 장치, 텔레프레젠스 영상 합성 시스템 및 원격지 촬영 장치를 제공하고자 한다. 또한, 텔레프레젠스 영상과 가상 오브젝트가 합성된 합성 영상이 홀로그램 무대에서 지연 없이 보여지도록 하는 텔레프레젠스 영상 합성 장치, 텔레프레젠스 영상 합성 시스템 및 원격지 촬영 장치를 제공하고자 한다. 다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 일 실시예는 적어도 하나 이상의 원격지 촬영 장치로부터 각각의 텔레프레젠스 영상 및 객체의 움직임을 촬영한 영상으로부터 검출된 상기 객체의 움직임에 해당하는 이벤트 정보를 수신하는 수신부, 상기 이벤트 정보에 기초하여 가상 오브젝트를 생성하고, 상기 생성된 가상 오브젝트에 자체 물리적 속성을 측정하는 오브젝트 생성부, 상기 각 텔레프레젠스 영상 및 상기 가상 오브젝트를 합성하는 영상 합성부 및 상기 각 텔레프레젠스 영상 및 상기 가상 오브젝트에 대한 합성 영상을 출력하는 출력부를 포함하고, 상기 자체 물리적 속성은 상기 가상 오브젝트의 속도, 위치 및 방향 중 하나 이상을 포함하는 것인 텔레프레젠스 영상 합성 장치를 제공할 수 있다.
또한, 본 발명의 다른 실시예는, 복수의 원격지 촬영 장치 및 텔레프레젠스 영상 합성 장치를 포함하고, 상기 복수의 원격지 촬영 장치는 객체에 대한 텔레프레젠스 영상을 촬영하여 상기 텔레프레젠스 영상 합성 장치로 전송하고, 상기 객체의 움직임을 촬영한 영상으로부터 상기 객체의 움직임에 해당하는 이벤트 정보를 검출하여 상기 텔레프레젠스 영상 합성 장치로 전송하고, 상기 텔레프레젠스 영상 합성 장치는 상기 복수의 원격지 촬영 장치로부터 상기 각각의 텔레프레젠스 영상 및 상기 이벤트 정보를 수신하고, 상기 이벤트 정보에 기초하여 가상 오브젝트를 생성하고, 상기 생성된 가상 오브젝트에 자체 물리적 속성을 측정하고, 상기 각 텔레프레젠스 영상 및 상기 가상 오브젝트를 합성하고, 상기 각 텔레프레젠스 영상 및 상기 가상 오브젝트에 대한 합성 영상을 출력하도록 구성되고, 상기 자체 물리적 속성은 상기 가상 오브젝트의 속도, 위치 및 방향 중 하나 이상을 포함하는 것인 텔레프레젠스 영상 합성 시스템을 제공할 수 있다.
또한, 본 발명의 또 다른 실시예는, 객체에 대한 텔레프레젠스 영상을 촬영하여 텔레프레젠스 영상 합성 장치로 전송하는 영상 전송부 및 상기 객체의 움직임을 촬영한 영상으로부터 상기 객체의 움직임에 해당하는 이벤트 정보를 검출하여 상기 텔레프레젠스 영상 합성 장치로 전송하는 이벤트 전송부를 포함하고, 상기 이벤트 정보에 기초하여 상기 텔레프레젠스 영상 합성 장치에 의해 가상 오브젝트가 생성되고, 상기 생성된 가상 오브젝트는 자체 물리적 속성이 측정되고, 상기 각 텔레프레젠스 영상 및 상기 가상 오브젝트는 합성되어 출력되고, 상기 자체 물리적 속성은 상기 가상 오브젝트의 속도, 위치 및 방향 중 하나 이상을 포함하는 것인 원격지 촬영 장치를 제공할 수 있다.
상술한 과제 해결 수단은 단지 예시적인 것으로서, 본 발명을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 기재된 추가적인 실시예가 존재할 수 있다.
전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 가상 그래픽 공간에서의 기술과 현실에서의 물리적 요소를 결합하여, 서로 다른 지역에 위치한 원격지 출연자들이 홀로그램 무대를 통해 한 공간에 존재하는 것처럼 보여지도록 하는 텔레프레젠스 영상 합성 장치, 텔레프레젠스 영상 합성 시스템 및 원격지 촬영 장치를 제공할 수 있다. 또한, 텔레프레젠스 영상과 가상 오브젝트가 합성된 합성 영상이 홀로그램 무대에서 지연 없이 보여지도록 하는 텔레프레젠스 영상 합성 장치, 텔레프레젠스 영상 합성 시스템 및 원격지 촬영 장치를 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 텔레프레젠스 영상 합성 시스템의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 원격지 촬영 장치의 구성도이다.
도 3은 본 발명의 일 실시예에 따른 원격지 촬영 장치에서 원격지의 텔레프레젠스 영상 간의 상호작용에 기초하여 합성된 영상을 제공하는 방법의 순서도이다.
도4는 본 발명의 일 실시예에 따른 텔레프레젠스 영상 장치의 구성도이다.
도 5a 내지 도 5c는 본 발명의 일 실시예에 따른 텔레프레젠스 영상 합성 장치에서 각 텔레프레젠스 영상 및 가상 오브젝트를 합성하는 과정을 설명하기 위한 예시적인 도면이다.
도 6은 본 발명의 일 실시예에 따른 텔레프레젠스 영상 시스템에서 원격지의 텔레프레젠스 영상 간의 상호작용에 기초하여 합성된 영상을 제공하는 과정을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 텔레프레젠스 영상 장치에서 원격지의 텔레프레젠스 영상 간의 상호작용에 기초하여 합성된 영상을 제공하는 방법의 순서도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1 개의 유닛이 2 개 이상의 하드웨어를 이용하여 실현되어도 되고, 2 개 이상의 유닛이 1 개의 하드웨어에 의해 실현되어도 된다.
본 명세서에 있어서 단말 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말 또는 디바이스와 연결된 서버에서 대신 수행될 수도 있다. 이와 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능 중 일부도 해당 서버와 연결된 단말 또는 디바이스에서 수행될 수도 있다.
이하 첨부된 도면을 참고하여 본 발명의 일 실시예를 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 텔레프레젠스 영상 합성 시스템의 구성도이다. 도 1을 참조하면, 텔레프레젠스 영상 합성 시스템(1)은 복수의 원격지 촬영 장치(110) 및 텔레프레젠스 영상 합성 장치(120)를 포함할 수 있다. 도 1에 도시된 복수의 원격지 촬영 장치(110) 및 텔레프레젠스 영상 합성 장치(120)는 텔레프레젠스 영상 합성 시스템(1)에 의하여 제어될 수 있는 구성요소들을 예시적으로 도시한 것이다.
도 1의 텔레프레젠스 영상 합성 시스템(1)의 각 구성요소들은 일반적으로 네트워크(network)를 통해 연결된다. 예를 들어, 도 1에 도시된 바와 같이, 복수의 원격지 촬영 장치(110)는 네트워크를 통해 텔레프레젠스 영상 합성 장치(120)와 동시에 또는 시간 간격을 두고 연결될 수 있다.
네트워크는 단말들 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 이러한 네트워크의 일 예는, Wi-Fi, 블루투스(Bluetooth), 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), 3G, 4G, 5G, LTE 등이 포함되나 이에 한정되지는 않는다.
복수의 원격지 촬영 장치(110)는 텔레프레젠스 영상을 촬영하는 제 1 촬영 장치(111) 및 객체의 움직임을 촬영하는 제 2 촬영 장치(112)를 포함하며, 복수의 원격지 촬영 장치(110)는 제 1 촬영 장치(111) 및 제 2 촬영 장치(112)의 시선 방향, 해상도 및 화면 사이즈 등을 포함할 수 있다. 이 때, 복수의 원격지 촬영 장치(110)는 제 1 촬영 장치(111) 및 제 2 촬영 장치(112)의 시선 방향, 해상도 및 화면 사이즈 등을 일치시키도록 조절함으로써, 가상공간에서 텔레프레젠스 영상과 가상 오브젝트가 공간적으로 정확히 맵핑되도록 할 수 있다.
복수의 원격지 촬영 장치(110)는 객체에 대한 텔레프레젠스 영상을 촬영하여 텔레프레젠스 영상 합성 장치(120)로 전송할 수 있다.
복수의 원격지 촬영 장치(110)는 객체의 움직임을 촬영한 영상으로부터 객체의 움직임에 해당하는 이벤트 정보를 검출하여 텔레프레젠스 영상 합성 장치(120)로 전송할 수 있다.
복수의 원격지 촬영 장치(110)는 자체 물리적 속성 및 상호 물리적 속성에 기초하여 텔레프레젠스 영상 및 가상 오브젝트를 모니터링할 수 있다. 이 때, 복수의 원격지 촬영 장치(110)는 자체 물리적 속성 및 상호 물리적 속성에 기초하여 텔레프레젠스 영상 및 가상 오브젝트에 대한 텍스트 또는 가상 그래픽을 생성하여 모니터링할 수 있다. 예를 들어, 복수의 원격지 촬영 장치(110)는 자체 물리적 속성 및 상호 물리적 속성에 기초하여 객체의 움직임에 대한 유효 여부를 판단하고, 유효 여부 판단에 기초하여 객체의 움직임을 촬영한 영상으로부터 객체의 움직임에 해당하는 이벤트 정보를 검출하고, 검출된 이벤트 정보를 텔레프레젠스 영상 합성 장치(120)로 전송할 수 있다. 즉, 복수의 원격지 촬영 장치(110)는 객체의 움직임을 촬영한 영상으로부터 기존의 자체 물리적 속성 및 상호 물리적 속성을 변경시킬 수 있는 유효한 객체의 움직임을 판단하고, 유효하다고 판단된 객체의 움직임에 해당하는 이벤트 정보를 검출할 수 있다. 다시 말해, 본원 발명은 객체의 움직임을 촬영한 영상으로부터 불필요한 객체의 움직임은 무시하고 유효한 객체의 움직임만을 감지함으로써 자원의 낭비 및 오류 발생을 최소화할 수 있다.
텔레프레젠스 영상 합성 장치(120)는 복수의 원격지 촬영 장치(110)로부터 각각의 텔레프레젠스 영상 및 이벤트 정보를 수신할 수 있다.
텔레프레젠스 영상 합성 장치(120)는 이벤트 정보에 기초하여 가상 오브젝트를 생성하고, 생성된 가상 오브젝트에 자체 물리적 속성을 측정할 수 있다. 여기서, 자체 물리적 속성은 가상 오브젝트의 속도, 위치 및 방향 등을 포함할 수 있다. 또한, 텔레프레젠스 영상 합성 장치(120)는 텔레프레젠스 영상으로부터 실제 오브젝트를 인식하고, 가상 오브젝트 및 실제 오브젝트 간의 상호작용에 의한 상호 물리적 속성을 측정할 수 있다. 여기서, 상호 물리적 속성은 가상 오브젝트 및 실제 오브젝트 간의 충돌, 충돌 예상 시간 및 거리 등을 포함할 수 있다.
텔레프레젠스 영상 합성 장치(120)는 자체 물리적 속성 및 상호 물리적 속성을 원격지 촬영 장치(110)로 전송할 수 있다. 예를 들어, 텔레프레젠스 영상 합성 장치(120)는 자체 물리적 속성 및 상호 물리적 속성을 가상 오브젝트 및 실제 오브젝트에 대한 실제 측정값을 포함하는 구조체의 형식으로 생성하여 원격지 촬영 장치(110)로 전송할 수 있다.
텔레프레젠스 영상 합성 장치(120)는 각 텔레프레젠스 영상의 프레임에 삽입된 타임코드 및 이벤트 정보에 삽입된 타임코드에 기초하여 각 텔레프레젠스 영상 및 가상 오브젝트 간의 동기를 맞출 수 있다. 예를 들어, 텔레프레젠스 영상 합성 장치(120)는 각 텔레프레젠스 영상 및 가상 오브젝트가 합성되기 전 기설정된 시간 동안 각 텔레프레젠스 영상 및 가상 오브젝트를 버퍼링하여 각 텔레프레젠스 영상 및 가상 오브젝트 간의 동기를 맞출 수 있다.
텔레프레젠스 영상 합성 장치(120)는 각 텔레프레젠스 영상 및 가상 오브젝트를 합성할 수 있다.
텔레프레젠스 영상 합성 장치(120)는 각 텔레프레젠스 영상 및 가상 오브젝트에 대한 합성 영상을 출력할 수 있다.
도 2는 본 발명의 일 실시예에 따른 원격지 촬영 장치의 구성도이다. 도 2를 참조하면, 원격지 촬영 장치(110)는 영상 전송부(210) 및 이벤트 전송부(220)를 포함할 수 있다.
영상 전송부(210)는 객체에 대한 텔레프레젠스 영상을 촬영하여 텔레프레젠스 영상 합성 장치(120)로 전송할 수 있다. 여기서, 객체에 대한 텔레프레젠스 영상은 제 1 촬영 장치(111)로부터 촬영된 것일 수 있다.
이벤트 전송부(220)는 객체의 신체부위 또는 움직임을 촬영한 영상으로부터 객체의 신체부위 또는 움직임에 해당하는 이벤트 정보를 검출하여 텔레프레젠스 영상 합성 장치(120)로 전송할 수 있다. 이 때, 객체의 움직임을 촬영한 영상은 제 2 촬영 장치(112)로부터 촬영된 것일 수 있다.
또한, 이벤트 전송부(220)는 텔레프레젠스 영상 합성 장치(120)로부터 자체 물리적 속성 및 상호 물리적 속성을 수신하면, 자체 물리적 속성 및 상호 물리적 속성에 기초한 이벤트 정보를 텔레프레젠스 영상 합성 장치(120)로 전송할 수 있다. 예를 들어, 이벤트 전송부(220)는 자체 물리적 속성 및 상호 물리적 속성에 기초하여 객체의 움직임에 대한 유효 여부를 판단하고, 유효 여부 판단에 기초하여 객체의 움직임을 촬영한 영상으로부터 객체의 움직임에 해당하는 이벤트 정보를 검출하고, 검출된 이벤트 정보를 텔레프레젠스 영상 합성 장치(120)로 전송할 수 있다. 여기서, 자체 물리적 속성은 가상 오브젝트의 속도, 위치 및 방향 등을 포함하며, 상호 물리적 속성은 가상 오브젝트 및 실제 오브젝트 간의 충돌, 충돌 예정 시간 및 거리 등을 포함할 수 있다.
도 3은 본 발명의 일 실시예에 따른 원격지 촬영 장치에서 원격지의 텔레프레젠스 영상 간의 상호작용에 기초하여 합성된 영상을 제공하는 방법의 순서도이다. 도 3에 도시된 실시예에 따른 원격지 촬영 장치(110)에 의해 수행되는 원격지의 텔레프레젠스 영상 간의 상호작용에 기초하여 합성된 영상을 제공하는 방법은 도 1에 도시된 실시예에 따른 텔레프레젠스 영상 합성 시스템(1)에서 시계열적으로 처리되는 단계들을 포함한다. 따라서, 이하 생략된 내용이라고 하더라도 도 1 및 도 2에 도시된 실시예에 따른 원격지 촬영 장치(110)에 관하여 이미 기술된 내용은 도 1 및 도 2에 도시된 실시예에 따른 텔레프레젠스 영상 합성 시스템(1)에 관하여 이미 기술된 내용은 도 3에 도시된 실시예에 따른 원격지 촬영 장치(110)에 의해 수행되는 원격지의 텔레프레젠스 영상 간의 상호작용에 기초하여 합성된 영상을 제공하는 방법에도 적용된다.
단계 S310에서 원격지 촬영 장치(110)는 객체에 대한 텔레프레젠스 영상을 촬영하여 텔레프레젠스 영상 합성 장치(120)로 전송할 수 있다. 단계 S320에서 원격지 촬영 장치(110)는 객체의 움직임을 촬영한 영상으로부터 객체의 움직임에 해당하는 이벤트 정보를 검출하여 텔레프레젠스 영상 합성 장치(120)로 전송할 수 있다.
상술한 설명에서, 단계 S310 내지 S320은 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다.
도4는 본 발명의 일 실시예에 따른 텔레프레젠스 영상 장치의 구성도이다. 도 4를 참조하면, 텔레프레젠스 영상 장치(120)는 수신부(410), 오브젝트 생성부(420), 피드백부(430), 동기부(440), 영상 합성부(450) 및 출력부(460)를 포함할 수 있다.
수신부(410)는 적어도 하나 이상의 원격지 촬영 장치(110)로부터 각각의 텔레프레젠스 영상 및 객체의 신체부위 또는 움직임을 촬영한 영상으로부터 검출된 객체의 신체부위 또는 움직임에 해당하는 이벤트 정보를 수신할 수 있다.
또한, 수신부(410)는 자체 물리적 속성 및 상호 물리적 속성에 기초하여 원격지 촬영 장치에 의해 판단된 객체의 움직임에 대한 유효 여부에 따라 원격지 촬영 장치(110)로부터 객체의 움직임에 해당하는 이벤트 정보를 수신할 수 있다.
오브젝트 생성부(420)는 이벤트 정보에 기초하여 가상 오브젝트를 생성할 수 있다. 또한, 오브젝트 생성부(420)는 이벤트 정보에 기초하여 가상 오브젝트를 소멸시킬 수도 있다.
오브젝트 생성부(420)는 생성된 가상 오브젝트에 자체 물리적 속성을 측정할 수 있다. 여기서, 자체 물리적 속성은 가상 오브젝트의 속도, 위치 및 방향 등을 포함할 수 있다. 예를 들어, 오브젝트 생성부(420)는 측정한 자체 물리적 속성에 기초하여 가상 오브젝트를 이동시키거나, 움직이도록 할 수 있다. 또한, 오브젝트 생성부(420)는 텔레프레젠스 영상으로부터 실제 오브젝트를 인식하고, 가상 오브젝트 및 실제 오브젝트 간의 상호작용에 의한 상호 물리적 속성을 측정할 수 있다. 여기서, 상호 물리적 속성은 가상 오브젝트 및 실제 오브젝트 간의 충돌, 충돌 예정 시간 및 거리 등을 포함할 수 있다.
피드백부(430)는 자체 물리적 속성 및 상호 물리적 속성을 원격지 촬영 장치(110)로 전송할 수 있다. 여기서, 자체 물리적 속성 및 상호 물리적 속성은 가상 오브젝트 및 실제 오브젝트에 대한 측정값을 포함하는 구조체의 형식으로 생성되어 원격지 촬영 장치(110)로 전송될 수 있다. 텔레프레젠스 영상 및 가상 오브젝트는 자체 물리적 속성 및 상호 물리적 속성에 기초하여 원격지 촬영 장치(110)에 의해 모니터링될 수 있으며, 텔레프레젠스 영상 및 가상 오브젝트는 텔레프레젠스 영상 및 가상 오브젝트에 대한 텍스트 또는 가상 그래픽이 생성되어 원격지 촬영장치(110)에 의해 모니터링될 수 있다. 이 때, 텔레프레젠스 영상 및 가상 오브젝트에 대한 모니터링은 복수의 원격지와 상호 작용을 하기 위해 수행되는 것이며, 복수의 원격지와의 상호 작용을 위해 합성 영상을 원격지 촬영 장치(110)로 바로 전송하는 경우, 네트워크 상에서 지연 요소가 발생할 수 있으므로, 구조체의 형식으로 생성된 자체 물리적 속성 및 상호 물리적 속성을 원격지 촬영 장치(110)로 전송함으로써, 합성 영상에서 영상 지연이 발생할 수 있는 불필요한 지연 요소를 제거할 수 있다.
동기부(440)는 각 텔레프레젠스 영상의 프레임에 삽입된 타임코드 및 이벤트 정보에 삽입된 타임코드에 기초하여 각 텔레프레젠스 영상 및 가상 오브젝트 간의 동기를 맞출 수 있다. 이는, 원격지 촬영 장치(110)로부터 수신한 텔레프레젠스 영상 간 또는 이벤트 정보 간에 시간적 오차가 존재할 수 있으므로, 동기부(440)에서 이러한 시간적 오차를 해결하기 위해 일정시간 동안 버퍼링을 수행함으로써, 텔레프레젠스 영상 및 가상 오브젝트 간의 동기를 맞출 수 있다. 예를 들어, 동기부(440)는 각 텔레프레젠스 영상 및 가상 오브젝트가 합성되기 전 기설정된 시간 동안 각 텔레프레젠스 영상 및 가상 오브젝트를 버퍼링하여 각 텔레프레젠스 영상 및 가상 오브젝트 간의 동기를 맞출 수 있다. 이 때, 동기부(440)는 각 텔레프레젠스 영상의 프레임에 삽입된 타임코드 및 이벤트 정보에 삽입된 타임코드를 비교하여, 버퍼링된 영상의 프레임을 가시적이지 않은 범위 내에서 고의적으로 누락 또는 지연시킴으로써 동기를 맞출 수 있다.
영상 합성부(450)는 각 텔레프레젠스 영상 및 가상 오브젝트를 합성할 수 있다. 이 때, 영상 합성부(440)는 각 텔레프레젠스 영상 및 이벤트 정보를 공간적으로 맵핑시킴으로써, 각 텔레프레젠스 영상 및 가상 오브젝트를 합성시킬 수 있다. 예를 들어, 영상 합성부(450)는 원격지 촬영 장치(110)로부터 수신한 이벤트 정보에 기초하여, 이벤트 정보에 포함된 동작 인식 좌표를 가상 공간의 실제 영상의 좌표로 맵핑시킴으로써 각 텔레프레젠스 영상 및 가상 오브젝트를 합성할 수 있다.
출력부(460)는 각 텔레프레젠스 영상 및 가상 오브젝트에 대한 합성 영상을 출력할 수 있다.
도 5a 내지 도 5c는 본 발명의 일 실시예에 따른 텔레프레젠스 영상 합성 장치에서 각 텔레프레젠스 영상 및 가상 오브젝트를 합성하는 과정을 설명하기 위한 예시적인 도면이다.
도 5a는 제 1 원격지와 제 2 원격지를 도시한 도면이다. 도 5a를 참조하면, 제 1 원격지(510)의 원격지 촬영 장치는 제 1 촬영 장치를 통해 텔레프레젠스 영상을 촬영하고, 제 2 촬영 장치를 통해 객체의 움직임을 촬영할 수 있다. 예를 들어, 제 1 원격지(510)의 원격지 촬영 장치는 제 1 원격지(510)에 위치한 사람이 공을 터치하여 제 2 원격지(520)로 던지는 움직임을 촬영할 수 있다. 이 때, 제 1 원격지(510)의 원격지 촬영 장치는 객체의 움직임을 촬영한 영상으로부터 객체의 움직임에 해당하는 이벤트 정보를 검출할 수 있다. 제 1 원격지(510)의 원격지 촬영 장치는 텔레프레젠스 영상 및 객체의 움직임에 해당하는 이벤트 정보를 텔레프레젠스 영상 합성 장치(120)로 전송할 수 있다.
제 2 원격지(520)의 원격지 촬영 장치는 제 1 촬영 장치를 통해 텔레프레젠스 영상을 촬영하고, 제 2 촬영 장치를 통해 객체의 움직임을 촬영할 수 있다. 예를 들어, 제 2 원격지(520)의 원격지 촬영 장치는 제 2 원격지(520)에 위치한 사람이 제 1 원격지에서 던진 공을 받는 움직임을 촬영할 수 있다. 이 때, 제 2 원격지(520)의 원격지 촬영 장치는 객체의 움직임을 촬영한 영상으로부터 객체의 움직임에 해당하는 이벤트 정보를 검출할 수 있다. 제 2 원격지(520)의 원격지 촬영 장치는 텔레프레젠스 영상 및 객체의 움직임에 해당하는 이벤트 정보를 텔레프레젠스 영상 합성 장치(120)로 전송할 수 있다.
도 5b는 가상 오브젝트를 생성하는 과정을 설명하기 위한 도면이다. 도 5b를 참조하면, 텔레프레젠스 영상 합성 장치(120)가 제 1 원격지(510) 및 제 2 원격지(520)로부터 각각의 텔레프레젠스 영상 및 객체의 움직임을 촬영한 영상(530)으로부터 검출된 객체의 움직임에 해당하는 이벤트를 수신하면, 텔레프레젠스 영상 합성 장치(120)는 이벤트 정보에 기초하여 가상 오브젝트(540)를 생성할 수 있다. 예를 들어, 텔레프레젠스 영상 합성 장치(120)는 가상 오브젝트(540)로서 공을 생성할 수 있다. 이 때, 텔레프레젠스 영상 합성 장치(120)는 생성된 가상 오브젝트에 자체 물리적 속성을 측정할 수 있다. 또한, 텔레프레젠스 영상 합성 장치(120)는 가상 오브젝트 및 실제 오브젝트 간의 상호작용에 의한 상호 물리적 속성을 측정할 수 있다.
도 5c는 각 텔레프레젠스 영상 및 가상 오브젝트가 합성된 합성 영상을 도시한 도면이다. 도 5c를 참조하면, 텔레프레젠스 영상 합성 장치(120)는 측정된 가상 오브젝트의 자체 물리적 속성을 변경하여 각 텔레프레젠스 영상 및 가상 오브젝트를 합성할 수 있다. 자체 물리적 속성은 가상 오브젝트의 속도, 위치 및 방향 등을 포함할 수 있다. 예를 들어, 텔레프레젠스 영상 합성 장치(120)는 제 1 원격지(510)에서 제 2 원격지(520)를 향해 날아가고 있는 가상 오브젝트인 공에 대해 제 1 원격지(510) 및 제 2 원격지(520)와 공과의 거리, 공의 위치, 공의 날아가는 속도 등을 변경하여 제 1 원격지(510)의 텔레프레젠스 영상, 제 2 원격지(520)의 텔레프레젠스 영상과 공을 합성하여 합성 영상(550)을 출력할 수 있다. 또한, 텔레프레젠스 영상 합성 장치(120)는 측정된 가상 오브젝트의 상호 물리적 속성을 변경하여 각 텔레프레젠스 영상 및 가상 오브젝트를 합성할 수 있다. 상호 물리적 속성은 가상 오브젝트 및 실제 오브젝트 간의 충돌, 충돌 예정 시간 및 거리 등을 포함할 수 있다. 예를 들어, 제 2 원격지(520)의 객체가 가상 오브젝트인 공을 받기 직전인 경우, 텔레프레젠스 영상 합성 장치(120)는 가상 오브젝트인 공과 제 2 원격지(520)의 객체와의 충돌, 충돌 예정 시간 및 거리 등을 변경하여 제 1 원격지(510)의 텔레프레젠스 영상, 제 2 원격지(520)의 텔레프레젠스 영상 및 가상 오브젝트를 합성하여 합성 영상(550)을 출력할 수 있다.
도 6은 본 발명의 일 실시예에 따른 텔레프레젠스 영상 시스템에서 원격지의 텔레프레젠스 영상 간의 상호작용에 기초하여 합성된 영상을 제공하는 과정을 설명하기 위한 도면이다. 도 6을 참조하면, 텔레프레젠스 영상 시스템(1)은 제 1 원격지의 원격지 촬영 장치, 제 2 원격지의 원격지 촬영 장치 및 텔레프레젠스 영상 합성 장치(120)를 포함할 수 있다.
제 1 원격지의 원격지 촬영 장치는 제 1 촬영 장치로 객체에 대한 텔레프레젠스 영상을 촬영할 수 있고, 제 2 촬영 장치로 객체의 움직임을 촬영할 수 있다(S601). 제 1 원격지의 원격지 촬영 장치는 객체의 움직임을 촬영한 영상으로부터 객체의 움직임에 해당하는 이벤트 정보를 검출하여(S602), 텔레프레젠스 영상 및 이벤트 정보를 텔레프레젠스 영상 합성 장치(120)로 전송할 수 있다(S603).
제 2 원격지의 원격지 촬영 장치는 제 1 촬영 장치로 객체에 대한 텔레프레젠스 영상을 촬영할 수 있고, 제 2 촬영 장치로 객체의 움직임을 촬영할 수 있다(S604). 제 2 원격지의 원격지 촬영 장치는 객체의 움직임을 촬영한 영상으로부터 객체의 움직임에 해당하는 이벤트 정보를 검출하여(S605), 텔레프레젠스 영상 및 이벤트 정보를 텔레프레젠스 영상 합성 장치(120)로 전송할 수 있다(S606).
텔레프레젠스 영상 합성 장치(120)는 제 1 원격지에서의 텔레프레젠스 영상 및 이벤트 정보를 수신하고, 제 2 원격지에서의 텔레프레젠스 영상 및 이벤트 정보를 수신할 수 있다(S607). 이 때, 텔레프레젠스 영상 합성 장치(120)는 수신한 이벤트 정보에 기초하여 가상 오브젝트를 생성하고, 생성된 가상 오브젝트에 자체 물리적 속성을 측정할 수 있다(S608). 또한, 텔레프레젠스 영상 합성 장치(120)는 텔레프레젠스 영상으로부터 실제 오브젝트를 인식하고, 가상 오브젝트 및 실제 오브젝트 간의 상호작용에 의한 상호 물리적 속성을 측정할 수 있다(S609). 텔레프레젠스 영상 합성 장치(120)는 측정된 자체 물리적 속성 및 상호 물리적 속성을 제 1 원격지의 원격지 촬영 장치로 전송하고(S610), 제 2 원격지의 원격지 촬영 장치로 전송할 수 있다(S611).
제 1 원격지의 원격지 촬영 장치는 자체 물리적 속성 및 상호 물리적 속성에 기초하여 텔레프레젠스 영상 및 가상 오브젝트를 모니터링할 수 있다(S612).
제 2 원격지의 원격지 촬영 장치는 자체 물리적 속성 및 상호 물리적 속성에 기초하여 텔레프레젠스 영상 및 가상 오브젝트를 모니터링할 수 있다(S613).
텔레프레젠스 영상 합성 장치(120)는 각 텔레프레젠스 영상의 프레임에 삽입된 타임코드 및 이벤트 정보에 삽입된 타임코드에 기초하여 각 텔레프레젠스 영상 및 가상 오브젝트 간의 동기를 맞출 수 있다(S614). 이 때, 텔레프레젠스 영상 합성 장치(120)는 각 텔레프레젠스 영상 및 가상 오브젝트를 합성하여(S615), 각 텔레프레젠스 영상 및 가상 오브젝트에 대한 합성 영상을 출력할 수 있다(S616).
상술한 설명에서, 단계 S601 내지 S616은 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다.
도 7은 본 발명의 일 실시예에 따른 텔레프레젠스 영상 장치에서 원격지의 텔레프레젠스 영상 간의 상호작용에 기초하여 합성된 영상을 제공하는 방법의 순서도이다. 도 7에 도시된 실시예에 따른 텔레프레젠스 영상 장치(120)에 의해 수행되는 원격지의 텔레프레젠스 영상 간의 상호작용에 기초하여 합성된 영상을 제공하는 방법은 도 1에 도시된 실시예에 따른 텔레프레젠스 영상 합성 시스템(1)에서 시계열적으로 처리되는 단계들을 포함한다. 따라서, 이하 생략된 내용이라고 하더라도 도 1 내지 도 6에 도시된 실시예에 따른 텔레프레젠스 영상 합성 시스템(1)에 관하여 이미 기술된 내용은 도 7에 도시된 실시예에 따른 텔레프레젠스 영상 합성 장치(120)에 의해 수행되는 원격지의 텔레프레젠스 영상 간의 상호작용에 기초하여 합성된 영상을 제공하는 방법에도 적용된다.
단계 S710에서 텔레프레젠스 영상 합성 장치(120)는 적어도 하나 이상의 원격지 촬영 장치(110)로부터 각각의 텔레프레젠스 영상 및 객체의 움직임을 촬영한 영상으로부터 검출된 객체의 움직임에 해당하는 이벤트 정보를 수신할 수 있다. 또한, 텔레프레젠스 영상 합성 장치(120)는 자체 물리적 속성 및 상호 물리적 속성에 기초하여 원격지 촬영 장치(110)에 의해 판단된 객체의 움직임에 대한 유효 여부에 따라 원격지 촬영 장치(110)로부터 객체의 움직임에 해당하는 이벤트 정보를 수신할 수 있다. 단계 S720에서 텔레프레젠스 영상 합성 장치(120)는 이벤트 정보에 기초하여 가상 오브젝트를 생성하고, 생성된 가상 오브젝트에 자체 물리적 속성을 측정할 수 있다. 여기서, 자체 물리적 속성은 가상 오브젝트의 속도, 위치 및 방향 등을 포함할 수 있다. 예를 들어, 텔레프레젠스 영상 합성 장치(120)는 텔레프레젠스 영상으로부터 실제 오브젝트를 인식하고, 가상 오브젝트 및 실제 오브젝트 간의 상호작용에 의한 상호 물리적 속성을 측정할 수 있다. 여기서, 상호 물리적 속성은 가상 오브젝트 및 실제 오브젝트 간의 충돌, 충돌 예정 시간 및 거리 등을 포함할 수 있다. 자체 물리적 속성 및 상호 물리적 속성은 가상 오브젝트 및 실제 오브젝트에 대한 측정값을 포함하는 구조체의 형식으로 생성되어 원격지 촬영 장치(110)로 전송될 수 있다. 이 때, 텔레프레젠스 영상 및 가상 오브젝트는 자체 물리적 속성 및 상호 물리적 속성에 기초하여 원격지 촬영 장치(110)에 의해 모니터링될 수 있다. 예를 들어, 텔레프레젠스 영상 및 가상 오브젝트는 텔레프레젠스 영상 및 가상 오브젝트에 대한 텍스트 또는 가상 그래픽이 생성되어 원격지 촬영 장치(110)에 의해 모니터링될 수 있다. 단계 S730에서 텔레프레젠스 영상 합성 장치(120)는 각 텔레프레젠스 영상 및 가상 오브젝트를 합성할 수 있다. 단계 S640에서 텔레프레젠스 영상 합성 장치(120)는 각 텔레프레젠스 영상 및 가상 오브젝트에 대한 합성 영상을 출력할 수 있다.
도 7에서는 도시되지 않았으나, 텔레프레젠스 영상 합성 장치(120)는 자체 물리적 속성 및 상호 물리적 속성을 원격지 촬영 장치(110)로 전송하는 단계를 더 포함할 수 있다.
도 7에서는 도시되지 않았으나, 텔르프레젠스 영상 합성 장치(120)는 각 텔레프레젠스 영상의 프레임에 삽입된 타임코드 및 이벤트 정보에 삽입된 타임코드에 기초하여 각 텔레프레젠스 영상 및 가상 오브젝트 간의 동기를 맞추는 단계를 더 포함할 수 있다. 이 때, 텔레프레젠스 영상 합성 장치(120)는 각 텔레프레젠스 영상 및 가상 오브젝트가 합성되기 전 기설정된 시간 동안 각 텔레프레젠스 영상 및 가상 오브젝트를 버퍼링하여 각 텔레프레젠스 영상 및 가상 오브젝트 간의 동기를 맞출 수 있다.
상술한 설명에서, 단계 S710 내지 S740은 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다.
도 1 내지 도 7을 통해 설명된 원격지 촬영 장치에서 원격지의 텔레프레젠스 영상 간의 상호작용에 기초하여 합성된 영상을 제공하는 방법 및 텔레프레젠스 영상 합성 장치에서 원격지의 텔레프레젠스 영상 간의 상호작용에 기초하여 합성된 영상을 제공하는 방법은 컴퓨터에 의해 실행되는 매체에 저장된 컴퓨터 프로그램 또는 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 또한, 도 1 내지 도 7을 통해 설명된 원격지 촬영 장치에서 원격지의 텔레프레젠스 영상 간의 상호작용에 기초하여 합성된 영상을 제공하는 방법 및 텔레프레젠스 영상 합성 장치에서 원격지의 텔레프레젠스 영상 간의 상호작용에 기초하여 합성된 영상을 제공하는 방법 컴퓨터에 의해 실행되는 매체에 저장된 컴퓨터 프로그램의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
110: 원격지 촬영 장치
120: 텔레프레젠스 영상 합성 장치
210: 영상 전송부
220: 이벤트 전송부
410: 수신부
420: 오브젝트 생성부
430: 피드백부
440: 동기부
450: 영상 합성부
460: 출력부

Claims (20)

  1. 원격지의 텔레프레젠스 영상 간의 상호작용에 기초하여 합성된 영상을 제공하는 장치에 있어서,
    적어도 하나 이상의 원격지 촬영 장치로부터 각각의 텔레프레젠스 영상 및 객체의 움직임을 촬영한 영상으로부터 검출된 상기 객체의 움직임에 해당하는 이벤트 정보를 수신하는 수신부;
    상기 이벤트 정보에 기초하여 가상 오브젝트를 생성하고, 상기 생성된 가상 오브젝트의 자체 물리적 속성을 측정하는 오브젝트 생성부;
    상기 각 텔레프레젠스 영상 및 상기 가상 오브젝트를 합성하는 영상 합성부; 및
    상기 각 텔레프레젠스 영상 및 상기 가상 오브젝트에 대한 합성 영상을 출력하는 출력부
    를 포함하고,
    상기 자체 물리적 속성은 상기 가상 오브젝트의 속도, 위치 및 방향 중 하나 이상을 포함하는 것이되,
    상기 오브젝트 생성부는 상기 텔레프레젠스 영상으로부터 실제 오브젝트를 인식하고, 상기 가상 오브젝트 및 상기 실제 오브젝트 간의 상호작용에 의한 상호 물리적 속성을 측정하고,
    상기 상호 물리적 속성은 상기 가상 오브젝트 및 상기 실제 오브젝트 간의 충돌, 충돌 예정 시간 및 거리 중 하나 이상을 포함하도록 구성되는 것인, 텔레프레젠스 영상 합성 장치.
  2. 삭제
  3. 제 1 항에 있어서,
    상기 자체 물리적 속성 및 상기 상호 물리적 속성을 상기 원격지 촬영 장치로 전송하는 피드백부
    를 더 포함하는 것인, 텔레프레젠스 영상 합성 장치.
  4. 제 3 항에 있어서,
    상기 자체 물리적 속성 및 상기 상호 물리적 속성은 상기 가상 오브젝트 및 상기 실제 오브젝트에 대한 측정값을 포함하는 구조체의 형식으로 생성되어 상기 원격지 촬영 장치로 전송되도록 구성되는 것인, 텔레프레젠스 영상 합성 장치.
  5. 제 3 항에 있어서,
    상기 텔레프레젠스 영상 및 상기 가상 오브젝트는 상기 자체 물리적 속성 및 상기 상호 물리적 속성에 기초하여 상기 원격지 촬영 장치에 의해 모니터링되는 것인, 텔레프레젠스 영상 합성 장치.
  6. 제 5 항에 있어서,
    상기 텔레프레젠스 영상 및 상기 가상 오브젝트는 상기 텔레프레젠스 영상 및 상기 가상 오브젝트에 대한 텍스트 또는 가상 그래픽이 생성되어 상기 원격지 촬영 장치에 의해 모니터링되는 것인, 텔레프레젠스 영상 합성 장치.
  7. 제 3 항에 있어서,
    상기 수신부는 상기 자체 물리적 속성 및 상기 상호 물리적 속성에 기초하여 상기 원격지 촬영 장치에 의해 판단된 상기 객체의 움직임에 대한 유효 여부에 따라 상기 원격지 촬영 장치로부터 상기 객체의 움직임에 해당하는 이벤트 정보를 수신하도록 구성되는 것인, 텔레프레젠스 영상 합성 장치.
  8. 제 1 항에 있어서,
    상기 각 텔레프레젠스 영상의 프레임에 삽입된 타임코드 및 상기 이벤트 정보에 삽입된 타임코드에 기초하여 상기 각 텔레프레젠스 영상 및 상기 가상 오브젝트 간의 동기를 맞추는 동기부
    를 더 포함하는 것인, 텔레프레젠스 영상 합성 장치.
  9. 제 8 항에 있어서,
    상기 동기부는 상기 각 텔레프레젠스 영상 및 상기 가상 오브젝트가 합성되기 전 기설정된 시간 동안 상기 각 텔레프레젠스 영상 및 상기 가상 오브젝트를 버퍼링하여 상기 각 텔레프레젠스 영상 및 상기 가상 오브젝트 간의 동기를 맞추도록 구성되는 것인, 텔레프레젠스 영상 합성 장치.
  10. 원격지의 텔레프레젠스 영상 간의 상호작용에 기초하여 합성된 영상을 제공하는 시스템에 있어서,
    복수의 원격지 촬영 장치; 및
    텔레프레젠스 영상 합성 장치
    를 포함하고,
    상기 복수의 원격지 촬영 장치는
    객체에 대한 텔레프레젠스 영상을 촬영하여 상기 텔레프레젠스 영상 합성 장치로 전송하고,
    상기 객체의 움직임을 촬영한 영상으로부터 상기 객체의 움직임에 해당하는 이벤트 정보를 검출하여 상기 텔레프레젠스 영상 합성 장치로 전송하고,
    상기 텔레프레젠스 영상 합성 장치는,
    상기 복수의 원격지 촬영 장치로부터 상기 각각의 텔레프레젠스 영상 및 상기 이벤트 정보를 수신하고,
    상기 이벤트 정보에 기초하여 가상 오브젝트를 생성하고, 상기 생성된 가상 오브젝트의 자체 물리적 속성을 측정하고,
    상기 각 텔레프레젠스 영상 및 상기 가상 오브젝트를 합성하고,
    상기 각 텔레프레젠스 영상 및 상기 가상 오브젝트에 대한 합성 영상을 출력하도록 구성되고,
    상기 자체 물리적 속성은 상기 가상 오브젝트의 속도, 위치 및 방향 중 하나 이상을 포함하는 것이되,
    상기 텔레프레젠스 영상 합성 장치는 상기 텔레프레젠스 영상으로부터 실제 오브젝트를 인식하고,
    상기 가상 오브젝트 및 상기 실제 오브젝트 간의 상호작용에 의한 상호 물리적 속성을 측정하고,
    상기 상호 물리적 속성은 상기 가상 오브젝트 및 상기 실제 오브젝트 간의 충돌, 충돌 예상 시간 및 거리 중 하나 이상을 포함하도록 구성되는 것인, 텔레프레젠스 영상 합성 시스템.
  11. 삭제
  12. 제 10 항에 있어서,
    상기 텔레프레젠스 영상 합성 장치는 상기 자체 물리적 속성 및 상기 상호 물리적 속성을 상기 원격지 촬영 장치로 전송하도록 구성되는 것인, 텔레프레젠스 영상 합성 시스템.
  13. 제 12 항에 있어서,
    상기 텔레프레젠스 영상 합성 장치는 상기 자체 물리적 속성 및 상기 상호 물리적 속성을 상기 가상 오브젝트 및 상기 실제 오브젝트에 대한 실제 측정값을 포함하는 구조체의 형식으로 생성하여 상기 원격지 촬영 장치로 전송하도록 구성되는 것인, 텔레프레젠스 영상 합성 시스템.
  14. 제 12 항에 있어서,
    상기 원격지 촬영 장치는 상기 자체 물리적 속성 및 상기 상호 물리적 속성에 기초하여 상기 텔레프레젠스 영상 및 상기 가상 오브젝트를 모니터링하도록 구성되는 것인, 텔레프레젠스 영상 합성 시스템.
  15. 제 14 항에 있어서,
    상기 원격지 촬영 장치는 상기 자체 물리적 속성 및 상기 상호 물리적 속성에 기초하여 상기 텔레프레젠스 영상 및 상기 가상 오브젝트에 대한 텍스트 또는 가상 그래픽을 생성하여 모니터링하도록 구성되는 것인, 텔레프레젠스 영상 합성 시스템.
  16. 제 12 항에 있어서,
    상기 원격지 촬영 장치는 상기 자체 물리적 속성 및 상기 상호 물리적 속성에 기초하여 상기 객체의 움직임에 대한 유효 여부를 판단하고,
    상기 유효 여부 판단에 기초하여 상기 객체의 움직임을 촬영한 영상으로부터 상기 객체의 움직임에 해당하는 이벤트 정보를 검출하고,
    상기 검출된 이벤트 정보를 상기 텔레프레젠스 영상 합성 장치로 전송하도록 구성되는 것인, 텔레프레젠스 영상 합성 시스템.
  17. 제 10 항에 있어서,
    상기 텔레프레젠스 영상 합성 장치는 상기 각 텔레프레젠스 영상의 프레임에 삽입된 타임코드 및 상기 이벤트 정보에 삽입된 타임코드에 기초하여 상기 각 텔레프레젠스 영상 및 상기 가상 오브젝트 간의 동기를 맞추도록 구성되는 것인, 텔레프레젠스 영상 합성 시스템.
  18. 제 17 항에 있어서,
    상기 텔레프레젠스 영상 합성 장치는 상기 각 텔레프레젠스 영상 및 상기 가상 오브젝트가 합성되기 전 기설정된 시간 동안 상기 각 텔레프레젠스 영상 및 상기 가상 오브젝트를 버퍼링하여 상기 각 텔레프레젠스 영상 및 상기 가상 오브젝트 간의 동기를 맞추도록 구성되는 것인, 텔레프레젠스 영상 합성 시스템.
  19. 제 10 항에 있어서,
    상기 원격지 촬영 장치는 상기 텔레프레젠스 영상을 촬영하는 제 1 촬영 장치 및 상기 객체의 움직임을 촬영하는 제 2 촬영 장치를 포함하고,
    상기 제 1 촬영 장치 및 상기 제 2 촬영 장치의 시선 방향, 해상도 및 화면 사이즈 중 하나 이상을 일치시키도록 구성되는 것인, 텔레프레젠스 영상 합성 시스템.
  20. 원격지의 텔레프레젠스 영상 간의 상호작용에 기초하여 합성된 영상을 제공하는 원격지 촬영 장치에 있어서,
    객체에 대한 텔레프레젠스 영상을 촬영하여 텔레프레젠스 영상 합성 장치로 전송하는 영상 전송부; 및
    상기 객체의 움직임을 촬영한 영상으로부터 상기 객체의 움직임에 해당하는 이벤트 정보를 검출하여 상기 텔레프레젠스 영상 합성 장치로 전송하는 이벤트 전송부
    를 포함하고,
    상기 이벤트 정보에 기초하여 상기 텔레프레젠스 영상 합성 장치에 의해 가상 오브젝트가 생성되고, 상기 생성된 가상 오브젝트는 자체 물리적 속성이 측정되고,
    상기 각 텔레프레젠스 영상 및 상기 가상 오브젝트는 합성되어 출력되고,
    상기 자체 물리적 속성은 상기 가상 오브젝트의 속도, 위치 및 방향 중 하나 이상을 포함하는 것이되,
    상기 각 텔레프레젠스 영상으로부터 실제 오브젝트가 인식되고,
    상기 가상 오브젝트 및 상기 실제 오브젝트 간의 상호작용에 의한 상호 물리적 속성이 측정되고,
    상기 상호 물리적 속성은 상기 가상 오브젝트 및 상기 실제 오브젝트 간의 충돌, 충돌 예상 시간 및 거리 중 하나 이상을 포함하도록 구성되는 것인, 원격지 촬영 장치.
KR1020160014858A 2016-02-05 2016-02-05 텔레프레젠스 영상 합성 장치, 텔레프레젠스 영상 합성 시스템 및 원격지 촬영 장치 KR101769118B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160014858A KR101769118B1 (ko) 2016-02-05 2016-02-05 텔레프레젠스 영상 합성 장치, 텔레프레젠스 영상 합성 시스템 및 원격지 촬영 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160014858A KR101769118B1 (ko) 2016-02-05 2016-02-05 텔레프레젠스 영상 합성 장치, 텔레프레젠스 영상 합성 시스템 및 원격지 촬영 장치

Publications (2)

Publication Number Publication Date
KR20170093451A KR20170093451A (ko) 2017-08-16
KR101769118B1 true KR101769118B1 (ko) 2017-08-17

Family

ID=59752589

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160014858A KR101769118B1 (ko) 2016-02-05 2016-02-05 텔레프레젠스 영상 합성 장치, 텔레프레젠스 영상 합성 시스템 및 원격지 촬영 장치

Country Status (1)

Country Link
KR (1) KR101769118B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11210838B2 (en) * 2018-01-05 2021-12-28 Microsoft Technology Licensing, Llc Fusing, texturing, and rendering views of dynamic three-dimensional models

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101990373B1 (ko) * 2017-09-29 2019-06-20 클릭트 주식회사 가상현실 영상 제공 방법 및 이를 이용한 프로그램
KR102614496B1 (ko) * 2019-08-09 2023-12-15 엘지전자 주식회사 Xr 디바이스 및 그 제어 방법
KR102332074B1 (ko) * 2020-02-10 2021-11-29 한국과학기술원 텔레프레즌스를 위한 원격 공간 아바타 배치 방법 및 그 장치
KR20210146741A (ko) * 2020-05-27 2021-12-06 삼성전자주식회사 3차원 객체에 2차원 객체를 합성하기 위한 전자 장치, 전자 장치의 동작 방법 및 비일시적 저장 매체
WO2022115380A1 (en) * 2020-11-30 2022-06-02 Intel Corporation Methods and apparatus to provide remote telepresence communication

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11210838B2 (en) * 2018-01-05 2021-12-28 Microsoft Technology Licensing, Llc Fusing, texturing, and rendering views of dynamic three-dimensional models

Also Published As

Publication number Publication date
KR20170093451A (ko) 2017-08-16

Similar Documents

Publication Publication Date Title
KR101769118B1 (ko) 텔레프레젠스 영상 합성 장치, 텔레프레젠스 영상 합성 시스템 및 원격지 촬영 장치
US11962940B2 (en) System and method for augmented reality multi-view telepresence
KR102375307B1 (ko) 가상 현실 뷰포트를 공유하기 위한 방법, 장치, 및 시스템
WO2014103094A1 (ja) 情報処理装置、情報処理システム、および情報処理方法
EP1670237A2 (en) Matching un-synchronized image portions
JP2008140271A (ja) 対話装置及びその方法
JP4539015B2 (ja) 画像通信装置、および画像通信方法、並びにコンピュータ・プログラム
JP2020065229A (ja) 映像通信方法、映像通信装置及び映像通信プログラム
US20220030214A1 (en) Generation and distribution of immersive media content from streams captured via distributed mobile devices
WO2017141584A1 (ja) 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム
WO2020213430A1 (ja) 映像処理装置、映像処理方法及び映像処理プログラム
CN112351251A (zh) 图像处理系统和终端设备
WO2017134770A1 (ja) 映像同期装置
JP5813542B2 (ja) 画像コミュニケーションシステム、ＡＲ（ＡｕｇｍｅｎｔｅｄＲｅａｌｉｔｙ）動画生成装置及びプログラム
JP2005142765A (ja) 撮像装置及び方法
JP6004978B2 (ja) 被写体画像抽出装置および被写体画像抽出・合成装置
KR102298047B1 (ko) 디지털 콘텐츠를 녹화하여 3d 영상을 생성하는 방법 및 장치
US20210287336A1 (en) Tracking sparse objects and people in large scale environments
US11076224B2 (en) Processing of data of a video sequence in order to zoom to a speaker detected in the sequence
JP2006197036A (ja) 立体画像表示装置および立体画像表示方法
WO2020066699A1 (ja) 情報統合方法、情報統合装置、及び情報統合プログラム
EP4033755A1 (en) System for broadcasting volumetric videoconferences in 3d animated virtual environment with audio information, and method for operating said system
JP4586447B2 (ja) 画像処理装置及び方法、プログラム
JP2023183684A (ja) 表示システムおよび撮像装置
WO2022181378A1 (ja) 画像処理装置、画像処理方法、及びプログラム

Legal Events

Date Code Title Description
GRNT Written decision to grant