KR20160084991A - 마스터 기기, 슬레이브 기기 및 그 제어 방법 - Google Patents

마스터 기기, 슬레이브 기기 및 그 제어 방법 Download PDF

Info

Publication number
KR20160084991A
KR20160084991A KR1020150001789A KR20150001789A KR20160084991A KR 20160084991 A KR20160084991 A KR 20160084991A KR 1020150001789 A KR1020150001789 A KR 1020150001789A KR 20150001789 A KR20150001789 A KR 20150001789A KR 20160084991 A KR20160084991 A KR 20160084991A
Authority
KR
South Korea
Prior art keywords
slave device
image
slave
motion information
master device
Prior art date
Application number
KR1020150001789A
Other languages
English (en)
Other versions
KR102144515B1 (ko
Inventor
우지환
김도완
유한일
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020150001789A priority Critical patent/KR102144515B1/ko
Priority to PCT/KR2015/013129 priority patent/WO2016111470A1/ko
Priority to CN201580075494.2A priority patent/CN107211191B/zh
Priority to EP15877190.7A priority patent/EP3229482B1/en
Priority to US15/542,002 priority patent/US10437055B2/en
Publication of KR20160084991A publication Critical patent/KR20160084991A/ko
Application granted granted Critical
Publication of KR102144515B1 publication Critical patent/KR102144515B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H04N13/044—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network
    • H04N21/43637—Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/10—Program control for peripheral devices
    • G06F13/105—Program control for peripheral devices where the programme performs an input/output emulation function

Abstract

가상 현실(virtual reality) 서비스를 제공하는 슬레이브 기기로 영상을 제공하는 마스터 기기가 개시된다. 마스터 기기는, 입체 영상을 입력받는 컨텐츠 입력부, 가상 현실 서비스를 제공하는 슬레이브 기기와 통신을 수행하는 통신부 및, 슬레이브 기기로부터 수신된 모션 정보에 기초하여 입력된 입체 영상 중 해당 슬레이브 기기의 모션 상태에 대응되는 시점 영역을 결정하고, 결정된 시점 영역의 영상을 슬레이브 기기로 전송하도록 통신부를 제어하는 프로세서를 포함한다.

Description

마스터 기기, 슬레이브 기기 및 그 제어 방법 { MASTER DEVICE, SLAVE DEVICE AND CONTROL METHOD THEREOF }
본 발명은 마스터 기기, 슬레이브 기기 및 그 제어 방법에 대한 것으로, 보다 상세하게는, VR 서비스를 제공하는 마스터 기기, 슬레이브 기기 및 그 제어 방법에 대한 것이다.
일반적으로, VR(Virtual Reality: 가상 현실) 기술은 컴퓨터 그래픽(Computer Graphic, CG) 기술을 통하여 만들어진 실제 환경과 유사한 3차원 가상 환경 내에서 인체의 모든 감각(시각, 청각, 후각, 미각, 촉각)이 상호 작용하여 가상으로 창조한 세계에 몰입되게 함으로써 참여자에게 가상 공간을 3차원적으로 재현하고 인간을 이 가상 공간에 몰입시킴으로써 정보의 활용을 극대화하는 것을 궁극적 목표로 하는 기술을 말한다.
예를 들어, VR 헤드셋을 쓰면 눈앞에 하얀 눈으로 뒤덮인 스키장이 나타난다. 전후좌우는 물론 위아래 어디든 고개를 돌려봐도 스키장 한가운데다. 발에 달린 스노보드가 미끄러지기 시작하더니 갑자기 절벽이 나타난다. 순간 발 아래가 허공이다. 머리는 이게 가상현실이라는 사실을 인지하고 있지만, 현장감이 뛰어나다 보니 헤드셋 속 가상의 스키장이 현실처럼 느껴진다.
이와 같이 VR 서비스는 사용자에게 새로운 경험을 제공하지만, 컨텐츠 구매 및 소비와 관련하여 상용적으로 서비스되고 있지 못한다는 문제점이 있었다.
본 발명은 상술한 필요성에 따른 것으로, 본 발명의 목적은, 마스터 기기가 슬레이브 기기의 모션 정보에 기초하여 각 슬레이브 기기에 적합한 영상을 제공할 수 있는 마스터 기기, 슬레이브 기기 및 그 제어 방법을 제공함에 있다.
상술한 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 가상 현실(virtual reality) 서비스를 제공하는 슬레이브 기기로 영상을 제공하는 마스터 기기는, 입체 영상을 입력받는 컨텐츠 입력부, 가상 현실 서비스를 제공하는 상기 슬레이브 기기와 통신을 수행하는 통신부 및, 상기 슬레이브 기기로부터 수신된 모션 정보에 기초하여 상기 입력된 입체 영상 중 해당 슬레이브 기기의 모션 상태에 대응되는 시점 영역을 결정하고, 결정된 시점 영역의 영상을 상기 슬레이브 기기로 전송하도록 상기 통신부를 제어하는 프로세서를 포함한다.
또한, 상기 프로세서는, 상기 입력된 입체 영상에 포함된 좌안 영상 및 우안 영상을 각각 가상의 입체 공간에 투영하여 좌안 입체 공간 영상 및 우안 입체 공간 영상을 생성하고, 생성된 좌안 및 우안 입체 공간 영상에서 상기 슬레이브 기기의 모션 상태에 대응되는 시점 영역을 추출하여 상기 슬레이브 기기로 전송할 수 있다.
또한, 상기 프로세서는, 상기 슬레이브 기기로부터 수신된 기기 디스플레이 정보에 기초하여 영상 버퍼의 일 영역을 전송 버퍼로 확보하고, 상기 전송 버퍼에 상기 슬레이브 기기의 모션 정보에 대응되는 영상을 버퍼링하여 해당 슬레이브 기기로 전송할 수 있다.
또한, 상기 마스터 기기의 모션 상태를 센싱하는 센서부를 더 포함하며, 상기 프로세서는, 상기 센싱된 모션 상태를 기준으로, 상기 슬레이브 기기로부터 수신된 모션 정보를 캘리브레이션하여 상기 슬레이브 기기에 대응되는 상대 모션 정보를 생성하고, 생성된 상대 모션 정보에 기초하여 상기 슬레이브 기기의 모션 상태에 대응되는 시점 영역을 결정할 수 있다.
또한, 상기 프로세서는, 현재 수신된 슬레이브 기기의 모션 정보를 기초로 상기 슬레이브 기기의 향후 모션 정보를 예측하고, 예측된 모션 정보에 기초하여 상기 입력된 영상 중 상기 슬레이브 기기의 향후 모션 상태에 대응되는 시점 영역의 영상을 상기 슬레이브 기기로 전송할 수 있다.
또한, 상기 프로세서는, 복수의 슬레이브 기기로부터 수신된 모션 정보가 기설정된 임계 범위 내에 속하는 경우 상기 복수의 슬레이브 기기를 하나의 그룹으로 그룹핑하고, 동일한 그룹에 속하는 복수의 슬레이브 기기에 동일한 시점 영역의 영상을 전송할 수 있다.
한편, 본 발명의 일 실시 예에 따른 가상 현실(virtual reality) 서비스를 제공하는 슬레이브 기기는, 입력된 입체 영상에 기초하여 가상 현실 서비스를 제공하는 마스터 기기와 통신을 수행하는 통신부, 상기 슬레이브 기기의 모션 상태를 센싱하는 센서부 및, 상기 센싱된 모션 상태에 대한 정보를 상기 마스터 기기로 전송하고, 상기 마스터 기기로부터 상기 센싱된 모션 상태에 대응되는 시점 영역의 영상을 수신하여 출력하도록 제어하는 프로세서를 포함한다.
또한, 상기 프로세서는, 상기 마스터 기기로부터 상기 마스터 기기의 모션 정보가 수신되면, 상기 수신된 모션 정보를 기준으로 상기 센싱된 모션 상태를 캘리브레이션하여 상기 슬레이브 기기에 대응되는 상대 모션 정보를 생성하고, 생성된 상대 모션 정보를 상기 마스터 기기로 전송할 수 있다.
또한, 상기 프로세서는, 상기 마스터 기기로부터 상기 전송된 정보를 기초로 예측된 향후 모션 상태에 대응되는 시점 영역의 영상을 수신되면, 수신된 영상 중 실시간 모션 상태를 기초로 결정된 시점 영역의 영상을 출력할 수 있다.
또한, 상기 프로세서는, 상기 센싱된 모션 상태에 대한 정보와 함께 상기 슬레이브 기기의 기기 정보를 상기 마스터 기기로 전송하고, 상기 기기 정보에 기초하여 상기 마스터 기기로부터 상기 센싱된 모션 상태에 대응되는 시점 영역의 영상을 수신할 수 있다.
또한, 본 발명의 일 실시 예에 따른 가상 현실(virtual reality) 서비스를 제공하는 마스터 기기 및 슬레이브 기기를 포함하는 영상 시스템에 있어서, 모션 상태를 센싱하고, 센싱된 모션 상태에 대한 모션 정보를 마스터 기기로 전송하는 슬레이브 기기 및, 상기 슬레이브 기기로부터 수신된 모션 정보에 기초하여 입력된 입체 영상 중 해당 슬레이브 기기의 모션 상태에 대응되는 시점 영역을 결정하고, 결정된 시점 영역의 영상을 상기 슬레이브 기기로 전송하는 마스터 기기를 포함한다.
한편, 본 발명의 일 실시 예에 따른 가상 현실(virtual reality) 서비스를 제공하는 슬레이브 기기로 영상을 제공하는 마스터 기기의 제어 방법은, 입체 영상을 입력받는 단계, 상기 슬레이브 기기로부터 수신된 모션 정보에 기초하여 상기 입력된 영상 중 해당 슬레이브 기기의 모션 상태에 대응되는 시점 영역을 결정하는 단계 및, 상기 결정된 시점 영역의 영상을 상기 슬레이브 기기로 전송하는 단계를 포함한다.
또한, 상기 입력된 입체 영상에 포함된 좌안 영상 및 우안 영상을 각각 가상의 입체 공간에 투영하여 좌안 입체 공간 영상 및 우안 입체 공간 영상을 생성하는 단계 및, 상기 생성된 좌안 및 우안 입체 공간 영상에서 상기 슬레이브 기기의 모션 상태에 대응되는 시점 영역을 추출하는 단계를 더 포함할 수 있다.
또한, 상기 슬레이브 기기로 전송하는 단계는, 상기 슬레이브 기기로부터 수신된 기기 디스플레이 정보에 기초하여 영상 버퍼의 일 영역을 전송 버퍼로 확보하고, 상기 전송 버퍼에 상기 슬레이브 기기의 모션 정보에 대응되는 영상을 버퍼링하여 해당 슬레이브 기기로 전송할 수 있다.
또한, 상기 마스터 기기의 모션 상태를 센싱하는 단계;를 더 포함하며, 상기 시점 영역을 결정하는 단계는, 상기 센싱된 모션 상태를 기준으로, 상기 슬레이브 기기로부터 수신된 모션 정보를 캘리브레이션하여 상기 슬레이브 기기에 대응되는 상대 모션 정보를 생성하고, 생성된 상대 모션 정보에 기초하여 상기 슬레이브 기기의 모션 상태에 대응되는 시점 영역을 결정할 수 있다.
또한, 현재 수신된 슬레이브 기기의 모션 정보를 기초로 상기 슬레이브 기기의 향후 모션 정보를 예측하는 단계 및, 예측된 모션 정보에 기초하여 상기 입력된 파노라마 영상 중 상기 슬레이브 기기의 향후 모션 상태에 대응되는 시점 영역의 영상을 상기 슬레이브 기기로 전송하는 단계를 더 포함할 수 있다.
또한, 상기 슬레이브 기기로 전송하는 단계는, 복수의 슬레이브 기기로부터 수신된 모션 정보가 기설정된 임계 범위 내에 속하는 경우 상기 복수의 슬레이브 기기를 하나의 그룹으로 그룹핑하고, 동일한 그룹에 속하는 복수의 슬레이브 기기에 동일한 시점 영역의 영상을 전송할 수 있다.
또한, 본 발명의 일 실시 예에 따른 가상 현실(virtual reality) 서비스를 제공하는 슬레이브 기기의 제어 방법은, 상기 슬레이브 기기의 모션 상태를 센싱하는 단계, 상기 센싱된 모션 상태에 대한 정보를, 입력된 입체 영상에 기초하여 가상 현실 서비스를 제공하는 마스터 기기로 전송하는 단계 및, 상기 마스터 기기로부터 상기 센싱된 모션 상태에 대응되는 시점 영역의 영상을 수신하여 출력하는 단계를 포함한다.
또한, 상기 마스터 기기로 전송하는 단계는, 상기 마스터 기기로부터 상기 마스터 기기의 모션 정보가 수신되면, 상기 수신된 모션 정보를 기준으로 상기 센싱된 모션 상태를 캘리브레이션하여 상기 슬레이브 기기에 대응되는 상대 모션 정보를 생성하고, 생성된 상대 모션 정보를 상기 마스터 기기로 전송할 수 있다.
또한, 상기 마스터 기기로부터 상기 전송된 모션 정보를 기초로 예측된 향후 모션 상태에 대응되는 시점 영역의 영상을 수신되면, 수신된 영상 중 실시간 모션 상태를 기초로 결정된 시점 영역의 영상을 출력하는 단계를 더 포함할 수 있다.
상술한 바와 같이 본 발명의 다양한 실시 예에 따르면 복수의 사용자가 하나의 컨텐츠를 공유하면서 각각 최적의 몰입을 제공할 수 있는 적합한 영상을 제공받을 수 있게 된다.
도 1은 본 발명의 일 실시 예에 따른 사용자 단말 장치의 일 구현 예를 나타내는 도면이다.
도 2a 및 도 2b는 본 발명의 다양한 실시 예에 따른 시나리오를 설명하기 위한 도면들이다.
도 3a 내지 도 3c는 본 발명의 일 실시 예에 따른 마스터 기기의 구성을 나나태는 블럭도들이다.
도 4는 본 발명의 일 실시 예에 따른 슬레이브 기기의 구성을 나나태는 블럭도들이다.
도 5는 본 발명의 일 실시 예에 따른 마스터 기기 및 슬레이브 기기 간의 동작을 자세히 설명하기 위한 시퀀스도이다.
도 6a 및 도 6b는 본 발명의 일 실시 예에 따른 모션 정보 캘리브레이션 방법을 자세히 설명하기 위한 도면들이다.
도 7은 본 발명의 일 실시 예에 따른 모션 정보 기반 영상 분할 방법을 자세히 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시 예에 따라 파노라마 VR 컨텐츠를 생성하여 출력하는 방법을 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시 예에 따른 마스터 기기의 제어 방법을 설명하기 위한 흐름도이다.
도 10은 본 발명의 일 실시 예에 따른 슬레이브 기기의 제어 방법을 설명하기 위한 흐름도이다.
도 1은 본 발명의 일 실시 예에 따른 사용자 단말 장치의 일 구현 예를 나타내는 도면이다.
도 1에 따르면, 본 발명의 일 실시 예에 따른 VR 기기(100, 200-1, 200-2, 200-3)는 가상 현실 서비스를 제공하는 머리 착용식 단말 즉, 헤드셋 형태로 구현될 수 있다.
구체적으로, VR 기기(100, 200-1, 200-2, 200-3)는 사용자의 머리 움직임을 추적하여 시야 영상을 즉각적으로 업데이트할 수 있도록 구현되며, 2D 영상 뿐 아니라 3D 영상을 제공할 수 있도록 구현될 수 있다. 예를 들어, 사용자가 헤드셋을 착용하면 사용자의 시야를 완전히 장악해 360도 입체 영상과 음향을 제공하며, VR 기기의 자이로 센서와 가속도 센서 등이 사용자가 고개를 위아래 혹은 좌우로 움직이는 것을 감지해 그 방향에 알맞은 시각효과를 내도록 구현될 수 있다. VR은 넓게는 정보를 화면 등에 겹쳐 3차원으로 보여주는 증강현실(Augmented Reality?AR)까지 포함하는 개념이 될 수 있다.
또한, VR 기기(100, 200-1, 200-2, 200-3)는 스마트폰을 연결해 모니터로서 사용함으로써, 스마트폰의 프로세서나 배터리를 그대로 사용하므로 완전히 무선으로 이용되는 형태로 구현될 수 있으나, 반드시 이에 한정되는 것인 아니며, 모니터 일체형 VR 기기로 구현될 수 있음은 물론이다.
또한, VR 기기(100, 200-1, 200-2, 200-3)의 헤드셋 본체에는 조작용 트랙 패드, 리턴 버튼, 음량 조정 키 등이 탑재될 수 있고, 스마트 폰의 뒷면 카메라로 눈 앞의 이미지를 화면에 비추는 것도 가능하도록 구현될 수 있다. 또한 헤드셋 본체의 센서 뿐 아니라, 스마트폰 내장 자이로센서와 가속도센서로 움직임을 추적하는 것도 가능하도록 구현될 수 있다.
한편, 본 발명의 일 실시 예에 따르면, 마스터 VR 기기(100)(이하, 마스터 기기)는 슬레이브 기기(200-1, 200-2, 200-3)(이하, 슬레이브 기기)와 통신을 수행하여 입력된 컨텐츠를 슬레이브 기기(200-1, 200-2, 200-3)로 스트리밍할 수 있는데, 이하에서는 도면을 참조하여 본 발명에 대해 자세히 설명하도록 한다.
도 2a 및 도 2b는 본 발명의 다양한 실시 예에 따른 시나리오를 설명하기 위한 도면들이다.
도 2a에 도시된 본 발명의 일 실시 예에 따른 시나리오는 마스터 기기(100) 만이 콘텐츠에 대한 접근 권한을 가지며, 슬레이브 기기(200-1, 200-2, 200-3)가 마스터 기기(100)로부터 콘텐츠를 스트리밍받는 형태가 될 수 있다. 이 경우, 마스터 기기(100)는 유료 콘텐츠를 구매한 후, 슬레이브 기기(200-1, 200-2, 200-3)의 접속 허가 여부를 판단하고 구매한 콘텐츠를 슬레이브 기기(200-1, 200-2, 200-3)와 공유할 수 있다. 구체적으로는, 접속이 허가된 슬레이브 기기(200-1, 200-2, 200-3)가 마스터 기기(100)에 자신의 모션 정보를 전송하고, 마스터 기기(200)는 슬레이브 기기(200-1, 200-2, 200-3) 각각의 모션 정보에 기초하여 슬레이브 기기(200-1, 200-2, 200-3)에 대응되는 서브 콘텐츠를 전송할 수 있다.
도 2b에 도시된 본 발명의 다른 실시 예에 따른 시나리오는 마스터 기기를 착용한 사용자가 유명 박물관, 유적지 등을 관광하는 경우 가상 투어 가이드(virtual tour guide)를 제공받고, 슬레이브 기기(200-1, 200-2, 200-3)로 획득한 가 가상 투어 가이드를 제공하는 형태가 될 수 있다. 이 경우, 원거리의 슬레이브 기기(200-1, 200-2, 200-3) 사용자들도 마스터 기기의 사용자와 동일한 투어 경험을 제공받을 수 있게 된다.
이하에서는, 상술한 다양한 시나리오를 구현하기 위한 본 발명의 다양한 실시 예에 대해 설명하도록 한다.
도 3a 내지 3c는 본 발명의 일 실시 예에 따른 마스터 기기의 구성을 나나태는 블럭도들이다.
도 3a에 따르면, 본 발명의 일 실시 예에 따른 마스터 기기(100)는 영상 입력부(110), 통신부(120) 및 프로세서(130)를 포함한다. 여기서, 마스터 기기(100)는 가상 현실 서비스를 제공하며, 가상 현실(virtual reality) 서비스를 제공하는 슬레이브 기기로 VR 영상을 제공하는 기능을 한다.
영상 입력부(110)는 영상을 입력받는다. 여기서, 입력되는 영상은 VR 서비스 제공을 위한 좌안 및 우안 영상을 포함하는 3D 영상이 될 수 있으나, 이에 한정되는 것은 아니며, 파노라마 VR 컨텐츠, 일반 2D 영상 등도 이에 포함될 수 있다. 예를 들어, 영상 입력부(110)를 통해 좌안 및 우안 영상을 포함하는 3D 영상이 수신되는 경우, 후술하는 프로세서(130)는 수신된 3D 영상에 기초하여 파노라마 VR 영상을 생성할 수 있다.
통신부(120)는 슬레이브 기기(200-1, 200-2, 200-3)와 통신을 수행한다. 여기서, 통신부(130)는 BT(BlueTooth), WI-FI(Wireless Fidelity), Zigbee, IR(Infrared), Serial Interface, USB(Universal Serial Bus), NFC(Near Field Communication) 등과 같은 다양한 통신 방식을 통해 슬레이브 기기(200-1, 200-2, 200-3) 또는 외부 서버(미도시)와 통신을 수행할 수 있다. 예를 들어, 통신부(120)는 외부 서버로부터 3D 영상을 컨텐츠를 스트리밍 또는 다운로드 형태로 수신할 수 있다.
구체적으로, 통신부(120)는 기설정된 이벤트가 발생하면, 슬레이브 기기(200-1, 200-2, 200-3)와의 기정의된 통신 방식에 따라 통신을 수행하여 연동 상태가 될 수 있다. 여기서, 연동은 마스터 기기(100)와 슬레이브 기기(200-1, 200-2, 200-3) 간에 통신이 초기화되는 동작, 네트워크가 형성되는 동작, 기기 페어링이 수행되는 동작 등 통신이 가능한 상태가 되는 모든 상태를 의미할 수 있다. 예를 들어, 슬레이브 기기(200-1, 200-2, 200-3)의 기기 식별 정보가 마스터 기기(100)로 제공되고, 그에 따라 양 기기 간의 페어링 절차가 수행될 수 있다. 예를 들어, 마스터 기기(100) 또는 슬레이브 기기(200-1, 200-2, 200-3)에서 기설정된 이벤트가 발생하면, DLNA(Digital Living Network Alliance) 기술을 통해 주변 기기를 탐색하고 탐색된 기기와 페어링을 수행하여 연동 상태가 될 수 있다.
프로세서(130)는 마스터 기기(100)의 전반적인 동작을 제어한다.
특히, 프로세서(130)는 슬레이브 기기(200-1, 200-2, 200-3)로부터 수신된 모션 정보에 기초하여 입력된 3D 영상 중 해당 슬레이브 기기(200-1, 200-2, 200-3)의 모션 상태에 대응되는 시점(또는 방향) 영역을 결정할 수 있다. 이 후, 프로세서(130)는 결정된 시점 영역의 영상을 슬레이브 기기로 전송하도록 통신부(120)를 제어할 수 있다. 여기서, 모션 정보는 슬레이브 기기(200-1, 200-2, 200-3)의 전방향에 대한 실시간 방향 정보 및 각도 정보 등이 될 수 있으나, 이에 한정되는 것은 아니며, 이동 속도 정보, 회전 정보 등도 이에 포함될 수 있다. 또한, 슬레이브 기기(200-1, 200-2, 200-3)로부터 최초 방향 정보 및 각도 정보가 수신된 이후에는 이전에 수신된 방향 및 각도 정보를 기준으로 이동된 방향 및 각도 정보를 수신하는 것도 가능하지만, 이에 한정되는 것은 아니다.
이 경우, 프로세서(130)는 슬레이브 기기(200-1, 200-2, 200-3)로부터 수신된 기기 정보, 예를 들어 디바이스 ID에 기초하여 슬레이브 기기(200-1, 200-2, 200-3)에 대응되는 영상을 해당 슬레이브 기기(200-1, 200-2, 200-3)로 전송할 수 있다. 또한, 프로세서(130)는 슬레이브 기기(200-1, 200-2, 200-3)로부터 수신된 기기 디스플레이 정보에 기초하여 영상 버퍼의 일 영역을 전송 버퍼로 확보하고, 전송 버퍼에 슬레이브 기기의 모션 정보에 대응되는 영상을 버퍼링하여 해당 슬레이브 기기(200-1, 200-2, 200-3)로 전송할 수 있다. 이 경우 프로세서(130)는 슬레이브 기기(200-1, 200-2, 200-3) 각각에 대응되는 전송 버퍼를 별도로 확보할 수 있다.
이 경우, 프로세서(130)는 입력된 입체 영상에 포함된 좌안 영상 및 우안 영상을 각각 가상의 입체 공간에 투영하여 좌안 입체 공간 영상 및 우안 입체 공간 영상을 생성하고, 생성된 좌안 및 우안 입체 공간 영상에서 슬레이브 기기(200-1, 200-2, 200-3) 각각의 모션 상태에 대응되는 시점 영역을 추출하여 각 슬레이브 기기200-1, 200-2, 200-3)로 전송할 수 있다.
프로세서(130)는 입력된 영상을 압축 해제(또는 디코딩)하고 영상 버퍼에 저장하고 영상 버퍼에 저장된 영상에서 슬레이브 기기(200-1, 200-2, 200-3)의 모션 정보에 대응되는 영역을 추출한 후, 추출된 영상을 압축(또는 인코딩)하여 슬레이브 기기(200-1, 200-2, 200-3)로 전송할 수 있다.
또는, 프로세서(130)는 슬레이브 기기(200-1, 200-2, 200-3)의 모션 정보에 대응되는 영역을 추출한 후 디코딩하여 슬레이브 기기(200-1, 200-2, 200-3)로 전송할 수도 있으며, 모션 정보에 대응되는 영역 중 이전에 전송된 영상 외의 마진 영역 만을 디코딩하여 전송할 수도 있다.
또는, 프로세서(130)는 마스터 기기(100)에서 현재 출력되는 디코딩된 메인 영상과 함께, 슬레이브 기기(200-1, 200-2, 200-3)의 모션 정보를 기초로 판단된 영역에 대한 마진 영상을 코덱으로 저화질 영상이나, 인코딩된 영상으로 슬레이브 기기(200-1, 200-2, 200-3)로 전송할 수 있다. 여기서, 마진 영상은 슬레이브 기기(200-1, 200-2, 200-3)의 모션 정보를 기초로 판단된 영역 중 디코딩된 메인 영상을 제외한 영상이 될 수 있다. 이 경우, 슬레이브 기기(200-1, 200-2, 200-3)는 수신된 마진 영상을 디코딩하여 수신된 메인 영상과 합성하여 출력함으로써, 영상 전송으로 인한 딜레이를 최소화할 수 있다.
또한, 프로세서(130)는 현재 수신된 슬레이브 기기(200-1, 200-2, 200-3)의 모션 정보를 기초로 슬레이브 기기(200-1, 200-2, 200-3)의 향후 모션 정보를 예측하고, 예측된 모션 정보에 기초하여 입력된 영상 중 슬레이브 기기(200-1, 200-2, 200-3)의 향후 모션 상태에 대응되는 시점 영역의 영상을 슬레이브 기기(200-1, 200-2, 200-3)로 전송할 수 있다. 예를 들어, 프로세서(130)는 기존의 Kalman filter 와 같은 필터링 방법을 이용하여 슬레이브 기기(200-1, 200-2, 200-3)의 향후 모션 상태를 추적하여 예측할 수 있다.
또한, 프로세서(130)는 복수의 슬레이브 기기로부터 수신된 모션 정보가 기설정된 임계 범위 내에 속하는 경우 복수의 슬레이브 기기를 하나의 그룹으로 그룹핑하고, 동일한 그룹에 속하는 복수의 슬레이브 기기에 동일한 시점 영역의 영상을 전송할 수 있다. 예를 들어, 프로세서(130)는 우측 방향 10 °~ 15 °사이의 모션 정보를 갖는 제1 및 제2 슬레이브 기기를 하나의 그룹으로 그룹핑하여 해당 모션 정보에 대응되는 동일한 시점 영역의 영상을 제1 및 제2 슬레이브 기기로 전송할 수 있다.
도 3b는 도 3a에 도시된 마스터 기기의 구체적 구성을 나타내는 블럭도이다. 도 3b에 따르면, 마스터 기기(100')는 영상 입력부(110), 통신부(120), 프로세서(130), 센서부(140), 영상 처리부(150) 및 저장부(160)를 포함한다. 도 3b에 도시된 구성 중 도 3a에 도시된 구성과 중복되는 부분에 대해서는 자세한 설명을 생략하도록 한다.
센서부(140)는 마스터 기기의 모션 상태를 센싱한다.
구체적으로, 센서부(140)는 모션 상태를 센싱하기 위한 지자기 센서, 자이로 센서, 가속도 센서 등을 포함한다. 지자기 센서는 마스터 기기(100')의 회전 상태 및 이동 방향 등을 감지하기 위한 센서이다. 자이로 센서는 마스터 기기(100')의 회전각을 감지하기 위한 센서이다. 지자기 센서 및 자이로 센서는 둘 다 구비될 수도 있으나, 이 중 하나만 구비되어 있더라도 마스터 기기(100')는 회전 상태를 감지할 수 있다. 가속도 센서는 마스터 기기(100')의 기울어진 정도를 감지하기 위한 센서이다.
또한, 센서부(140)는 기기에 부착된 터치 패드를 통한 터치 또는 호버링 조작을 감지하는 터치 센서, 근접 센서 등을 더 포함할 수 있다.
이 경우, 프로세서(130)는 센서부(140)에서 센싱된 모션 상태를 기준으로, 슬레이브 기기로부터 수신된 모션 정보를 캘리브레이션하여 슬레이브 기기에 대응되는 상대 모션 정보를 생성하고, 생성된 상대 모션 정보에 기초하여 슬레이브 기기의 모션 상태에 대응되는 시점 영역을 결정할 수 있다. 다만, 이는 일 실시 예에 불과하며, 경우에 따라서 프로세서(130)는 센싱된 모션 상태에 대응되는 모션 정보를 슬레이브 기기로 전송하고, 슬레이브 기기로부터 캘리브레이션된 상대 모션 정보를 수신하는 것도 가능하다. 즉, 캘리브레이션 과정은 마스터 기기 또는 슬레이브 기기 중 어느 한 쪽에서 수행될 수 있다. 여기서, 슬레이브 기기의 상대 모션 정보는, 예를 들어 마스터 기기(100)의 방향 정보가 우측 방향 10 °이고, 슬레이브 기기의 방향 정보가 우측 방향 13 °인 경우, 마스터 기기(100)의 방향 정보를 기준으로 한 우측 방향 3°가 될 수 있다.
영상 처리부(150)는 센서부(140)에서 센싱된 모션 상태에 대응되는 영상을 렌더링하여 디스플레이(160)로 제공하는 기능을 한다.
디스플레이(160)는 영상 처리부(150)를 통해 렌더링된 영상을 디스플레이한다. 이 경우, 디스플레이부(160)는 LCD(Liquid Crystal Display Panel), OLED(Organic Light Emitting Diodes) 등으로 구현될 수 있으나, 이에 한정되는 것은 아니다. 또한, 디스플레이(110)는 경우에 따라 플렉서블 디스플레이, 투명 디스플레이 등으로 구현되는 것도 가능하다. 한편, 도 1에서 언급한 바와 같이 스마트폰을 연결해 모니터로서 사용하는 경우, 디스플레이(160)는 스마트폰의 디스플레이로 구현될 수 있음은 물론이다.
저장부(170)는 마스터 기기(100')를 구동시키기 위한 O/S(Operating System) 소프트웨어 모듈, 각종 멀티미디어 컨텐츠와 같은 다양한 데이터를 저장한다.
특히, 도 3c를 참고하면, 저장부(170)에는 센싱 모듈(171), 영상 추출 모듈(172), 모션 예측 모듈(173) 및 그룹 관리 모듈(174) 등의 프로그램이 저장되어 있을 수 있다.
센싱 모듈(171)은 각종 센서들로부터 정보를 수집하고, 수집된 정보를 분석 및 관리하는 모듈이다. 예를 들어, 센싱 모듈(171)은 모션 인식 모듈, 터치 인식 모듈, 음성 인식 모듈 등을 포함할 수 있다.
영상 추출 모듈(172)은 센싱 모듈(171)에 의해 수집/분석된 모션 정보 또는 슬레이브 기기로부터 수신된 모션 정보에 대응되는 영상을 판단하고, 추출하는 기능을 한다.
모션 예측 모듈(173)은 현재 수신된 슬레이브 기기의 모션 정보를 기초로 슬레이브 기기의 향후 모션 정보를 예측하여 예측 모션 정보를 생성하는 기능을 한다.
그룹 관리 모듈(174)은 복수의 슬레이브 기기로부터 수신된 모션 정보가 기설정된 임계 범위 내에 속하는 경우 복수의 슬레이브 기기를 하나의 그룹으로 그룹핑하여 관리하는 기능을 한다.
한편, 상술한 프로세서(130)의 동작은 저장부(170)에 저장된 프로그램에 의해 이루어질 수 있다.
구체적으로, 프로세서(130)는 RAM(131), ROM(132), 메인 CPU(133), 그래픽 처리부(134), 제1 내지 n 인터페이스(135-1 ~ 135-n), 버스(136)를 포함한다.
RAM(131), ROM(132), 메인 CPU(133), 그래픽 처리부(134), 제1 내지 n 인터페이스(135-1 ~ 135-n) 등은 버스(136)를 통해 서로 연결될 수 있다.
제1 내지 n 인터페이스(135-1 내지 135-n)는 상술한 각종 구성요소들과 연결된다. 인터페이스들 중 하나는 네트워크를 통해 외부 장치와 연결되는 네트워크 인터페이스가 될 수도 있다.
메인 CPU(133)는 저장부(170)에 액세스하여, 저장부(170)에 저장된 O/S를 이용하여 부팅을 수행한다. 그리고, 저장부(170)에 저장된 각종 프로그램, 컨텐츠, 데이터 등을 이용하여 다양한 동작을 수행한다. 예를 들어, 메인 CPU(133)는 센싱 모듈(171)을 이용하여 모션 정보를 수집/분석하고, 영상 추출 모듈(172)을 이용하여 분석된 모션 정보 또는 슬레이브 기기로부터 수신된 모션 정보에 대응되는 영상을 판단하고, 추출할 수 있다.
ROM(132)에는 시스템 부팅을 위한 명령어 세트 등이 저장된다. 턴온 명령이 입력되어 전원이 공급되면, 메인 CPU(133)는 ROM(132)에 저장된 명령어에 따라 저장부(140)에 저장된 O/S를 RAM(131)에 복사하고, O/S를 실행시켜 시스템을 부팅시킨다. 부팅이 완료되면, 메인 CPU(133)는 저장부(140)에 저장된 각종 어플리케이션 프로그램을 RAM(131)에 복사하고, RAM(131)에 복사된 어플리케이션 프로그램을 실행시켜 각종 동작을 수행한다.
그래픽 처리부(134)는 연산부(미도시) 및 렌더링부(미도시)를 이용하여 아이콘, 이미지, 텍스트 등과 같은 다양한 객체를 포함하는 화면을 생성한다. 연산부(미도시)는 수신된 제어 명령에 기초하여 화면의 레이아웃에 따라 각 객체들이 표시될 좌표값, 형태, 크기, 컬러 등과 같은 속성값을 연산한다. 렌더링부(미도시)는 연산부(미도시)에서 연산한 속성값에 기초하여 객체를 포함하는 다양한 레이아웃의 화면을 생성한다.
도 4는 본 발명의 일 실시 예에 따른 슬레이브 기기의 구성을 나나태는 블럭도이다.
도 4에 따르면, 본 발명의 일 실시 예에 따른 슬레이브 기기(200)는 통신부(210), 센서부(220) 및 프로세서(230)를 포함한다. 여기서, 슬레이브 기기(200)는 마스터 기기(100)로부터 VR 컨텐츠를 수신하여 가상 현실 서비스를 제공하는 기능을 힌다. 한편, 슬레이브 기기(200)의 기본적인 구조 및 동작은 도 3a 내지 도 3c에서 설명한 마스터 기기(100)의 구조 및 동작과 동일하므로 슬레이브 기기(200)의 고유 동작에 대해서만 설명하도록 한다.
통신부(210)는 마스터 기기(100)와 통신을 수행한다. 예를 들어, 통신부(210)는 마스터 기기(100)로부터 자신의 모션 상태에 대응되는 3D 영상을 스트리밍 형태로 수신할 수 있다.
센서부(220)는 슬레이브 기기(200)의 모션 상태를 센싱한다.
프로세서(230)는 센서부(220)에 의해 센싱된 모션 상태에 대한 정보를 마스터 기기(100)로 전송하고, 마스터 기기(100)로부터 센싱된 모션 상태에 대응되는 시점 영역의 영상을 수신하여 디스플레이를 통해 출력하도록 제어한다.
구체적으로, 프로세서(230)는 마스터 기기(100)로부터 마스터 기기(100)의 모션 정보가 수신되면, 수신된 모션 정보를 기준으로 센서부(220)에 의해 센싱된 모션 상태를 캘리브레이션하여 슬레이브 기기(200)에 대응되는 상대 모션 정보를 생성하고, 생성된 상대 모션 정보를 마스터 기기(100)로 전송할 수 있다.
또한, 프로세서(230)는 마스터 기기(100)로부터 예측된 향후 모션 상태에 대응되는 시점 영역의 영상을 수신되면, 수신된 영상 중 실시간 모션 상태를 기초로 결정된 시점 영역의 영상을 출력할 수 있다.
또한, 프로세서(230)는 마스터 기기(100)로부터 현재 마스터 기기(100)를 통해 제공되는 디코딩된 메인 영상 및 슬레이브 기기(200)의 모션 정보를 기초로 판단된 영역에 대한 마진 영상이 저화질 영상이나, 인코딩된 영상으로 수신되면, 수신된 마진 영상을 디코딩하여 수신된 메인 영상과 합성하여 출력할 수 있다.
또한, 프로세서(230)는 슬레이브 기기(200)의 기기 정보, 예를 들어 디바이스 ID를 마스터 기기(100)로 전송하고, 마스터 기기(100)로부터 모션 상태에 대응되는 시점 영역의 영상을 수신할 수 있다.
또한, 프로세서(230)는 슬레이브 기기(200)의 기기 디스플레이 정보, 예를 들어 해상도 정보를 마스터 기기(100)로 전송하고, 마스터 기기(100)로부터 해상도 정보에 대응되는 영상을 수신할 수 있다.
한편, 슬레이브 기기(200)의 세부 구성은 도 3b에 도시된 마스터 기기(100')의 세부 구성과 유사하므로 자세한 설명은 생략하도록 한다.
도 5는 본 발명의 일 실시 예에 따른 마스터 기기 및 슬레이브 기기 간의 동작을 자세히 설명하기 위한 시퀀스도이다.
도 5에 도시된 시퀀스도에 따르면, 우선 슬레이브 기기(200)가 주변의 마스터 기기(200)를 검색(S511)하여 접속 요청을 할 수 있다(S512). 이 경우, 슬레이브 기기(200)는 자신의 디바이스 ID를 마스터 기기(200)로 전송할 수 있다.
이어서, 마스터 기기(100)는 슬레이브 기기(200)로부터 수신된 디바이스 ID를 확인한 후(S513), ID를 출력하여 사용자에게 확인을 요청한다(S514).
사용자가 슬레이브 기기(200)의 접속을 승인하면(S515:Y), 슬레이브 기기(200)에 슬레이브 기기의 정보를 요청할 수 있다(S517). 다만, 사용자가 슬레이브 기기(200)의 접속을 승인하지 않는 경우(S515:N), 슬레이브 기기(200)에 접속 거절 통보를 할 수 있다(S516).
한편, 마스터 기기(100)로부터 정보 요청을 수신한 슬레이브 기기(200)는 자신의 기기 정보를 확인한 후(S518), 기기 디스플레이 정보, 예를 들어 해상도 정보를 마스터 기기(100)로 전송한다(S519).
이어서, 마스터 기기(100)는 수신된 디스플레이 정보를 기초로 초기 영상을 전송할 영상 버퍼 영역을 확보한다(S520). 예를 들어, 마스터 기기(100)는 수신된 슬레이브 기기(200)의 해상도 정보에 대응되는 버퍼 영역을 확보할 수 있다.
이 후, 마스터 기기(100)는 자신의 모션 정보를 확인하여(S521), 슬레이브 기기(200)로 전송한다(S522).
이 경우, 슬레이브 기기(200)는 마스터 기기(100)로부터 수신된 모션 정보에 기초하여 자신의 모션 정보를 캘리브레이션한다(S523).
한편, 마스터 기기(100)는 컨텐츠 재생 종료 여부를 판단하여(S524), 컨텐츠 재생이 종료된 경우(S524:Y) 전송 종료를 슬레이브 기기(200)에 통보하고(S525), 컨텐츠 재생이 계속 중인 경우((S524:N)에는 슬레이브 기기(200)에 모션 정보를 요청한다(S526).
이 경우, 슬레이브 기기(200)는 모션 정보 캘리브레이션 결과에 기초하여 실시간 모션 정보를 생성하여(S527), 마스터 기기(100)로 전송한다(S528).
마스터 기기(100)는 슬레이브 기기(200)로부터 전송된 모션 정보를 기초로 Q복수의 슬레이브 기기를 그룹핑하여 관리한다(S529).
또한, 마스터 기기(100)는 슬레이브 기기(200)의 모션 정보를 추적하여 향후 모션 정보를 예측한 후(S530), 전송용 버퍼를 업데이트한다(S531).
이후, 마스터 기기(100)는 전송용 버퍼의 영상을 슬레이브 기기(200)로 전송하고, 슬레이브 기기(200)는 S527 단계에서 생성된 실시간 모션 정보에 기초하여 수신된 영상을 분할하여(S533), 분할된 영상을 렌더링한다(S534).
도 6a 및 도 6b는 본 발명의 일 실시 예에 따른 모션 정보 캘리브레이션 방법을 자세히 설명하기 위한 도면들이다.
도 6a 및 도 6b에서는 슬레이브 기기가 마스터 기기의 모션 정보를 수신하여 마스터 기기의 모션 정보를 기초로 자신의 모션 정보를 캘리브레이션 하는 방법을 설명하도록 한다. 다만, 경우에 따라서는, 마스터 기기가 슬레이브 기기의 모션 정보를 수신하여 자신의 모션 정보를 기초로 슬레이브 기기의 모션 정보를 캘리브레이션 할 수 있음은 물론이다.
도 6a는 본 발명의 일 실시 예에 따라 시야 align 기능이 OFF 된 경우를 나타내는 것으로, 슬레이브 기기(200)에서 마스터 기기(100) 사용자의 시야와 슬레이브 기기(200) 사용자의 시야갸 얼라인되는 기능이 OFF 시킨 경우를 나타낸다.
시야 align 기능이 OFF 된 경우에는, 슬레이브 기기(200)가 최초에 마스터 기기(100)에 접속하게 되면 슬레이브 기기(200) 자체의 모션 정보에 기초하여 모션 캘리브레이션을 수행할 수 있다. 이 경우, 슬레이브 기기(200)는 마스터 기기(100)에 최초 접속시, 마스터 기기(100)에 제공되는 영상과 다른 시점의 영상을 수신할 수 있다.
도 6b는 본 발명의 다른 실시 예에 따라 시야 align 기능이 ON 된 경우를 나타내는 것으로, 슬레이브 기기(200)에서 마스터 기기(100) 사용자의 시야와 슬레이브 기기(200) 사용자의 시야갸 얼라인되는 기능이 ON 시킨 경우를 나타낸다.
시야 align 기능이 ON 된 경우에는, 슬레이브 기기(200)가 최초에 마스터 기기(100)에 접속하게 되면 슬레이브 기기(200)의 시야를 마스터 기기(100)의 시야에 얼라인 시킨 후, 추후의 모션 정보를 산출할 수 있다. 예를 들어, 슬레이브 기기(200)의 캘리브레이션 모션 정보는 θslave := θslave + (θmaster - θslave )와 같이 산출될 수 있다. 이 경우, 슬레이브 기기(200)는 마스터 기기(100)에 최초 접속시, 마스터 기기(100)에 제공되는 영상과 동일한 시점의 영상을 수신할 수 있다.
도 7은 본 발명의 일 실시 예에 따른 모션 정보 기반 영상 분할 방법을 자세히 설명하기 위한 도면이다.
도 7은 마스터 기기(100)에서 슬레이브 기기(200)로 전송하는 영상(710)을 나타내는 것으로, 마스터 기기(100)는 슬레이브 기기(200)의 모션 정보에 기초하여 모션 기반 기준 위치(711)을 기준으로 산출된 영상(712) 뿐 아니라, 여분의 인접 영상까지 포함한 영상(710)을 슬레이브 기기(200)로 전송할 수 있다.
이 경우, 슬레이브 기기(200)는 모션 기반 기준 위치(711)을 기준으로 수신된 영상(710)을 분할하여 분할된 영상(712)을 렌더링하여 출력할 수 있다.
도 8은 본 발명의 일 실시 예에 따라 파노라마 VR 컨텐츠를 생성하여 출력하는 방법을 설명하기 위한 도면이다.
도 8에 도시된 바에 따르면, 마스터 기기(100)는 외부 소스로부터 3D 영상이 입력되면 좌우 영상을 분리한 후(810), 각각을 가상의 입체 원형 공간에 투영시켜 좌안 입체 영상 및 우안 입체 영상을 생성한다(820). 이 경우, 생성된 입체 영상은 파노라마 VR 영상이 될 수 있으며, 기존의 3차원 기반의 아바타(Avatar), 오브젝트(Object), 공간(Scene), 실사 기반의 파노라마(Panorama) VR 및 포토 오브젝트(Photo Object) VR 등의 다양한 VR 기법을 이용하여 파노라마 VR 영상을 생성할 수 있다.
다만, 좌안 영상 및 우안 영상이 분리된 스테레오 영상을 수신하는 경우에는 해당 좌우 영상을 그대로 이용할 수도 있으며, 2D-3D 변환 기법에 따라 2D 영상을 기반으로 3D 영상을 생성하여 이용할 수도 있으나 이에 대한 자세한 설명은 생략하도록 한다.
이 후, 가상 카메라 엔진을 통해 원하는 시점 영상을 선택하여 각각 좌우 영상으로 출력(840)함으로써 3D VR 영상을 제공할 수 있게 된다.
한편, 마스터 기기(100)는 모션이 변경되는 경우 모션 정보를 분석하고(850), 분석된 모션 정보에 기초하여 가상 카메라의 방향을 조정(860)하여 가상 카메라 엔진(830)을 통해 대응되는 모션 정보에 대응되는 시점 영역의 좌우 영상을 추출하여 출력할 수 있다(840). 즉, 원형의 입체 공간 내에 가상 카메라가 있다고 가정한 경우 마스터 기기(100)의 모션에 대응되는 방향으로 가상 카메라의 방향을 조정하고 원형의 입체 공간 내에 매핑된 영상 중 방향이 조정된 가상 카메라에 의해 캡쳐되는 영상을 추출하여 출력할 수 있다.
또한, 마스터 기기(100)는 슬레이브 기기(200)에 영상을 스트리밍하는 경우에는 슬레이브 기기(200)로부터 수신된 모션 정보에 기초하여 가상 카메라의 방향을 조정(860)하여 가상 카메라 엔진(830)을 통해 대응되는 모션 정보에 대응되는 시점 영역의 좌우 영상을 추출하여 슬레이브 기기(200)로 전송할 수 있다.
이 후, 가상 카메라 엔진을 통해 원하는 시점 영상을 선택하여 각각 좌우 영상으로 제공함으로써 3D VR 영상을 제공할 수 있게 된다.
한편, 슬레이브 기기(200) 또한 마스터 기기(100)로부터 모션 정보에 대응되는 3D 영상을 수신되면, 마스터 기기(100)와 동일한 방식으로 수신된 3D 영상을 처리하여 제공할 수 있다.
도 9는 본 발명의 일 실시 예에 따른 마스터 기기의 제어 방법을 설명하기 위한 흐름도이다.
도 9에 도시된 본 발명의 일 실시 예에 따른 가상 현실(virtual reality) 서비스를 제공하는 슬레이브 기기로 영상을 제공하는 마스터 기기의 제어 방법에 따르면, 우선 입체 영상이 입력되면(S910), 슬레이브 기기로부터 수신된 모션 정보에 기초하여 입력된 영상 중 해당 슬레이브 기기의 모션 상태에 대응되는 시점 영역을 결정한다(S920). 이후, 결정된 시점 영역의 영상을 슬레이브 기기로 전송한다(S930).
또한, 마스터 기기의 제어 방법은, 입력된 입체 영상에 포함된 좌안 영상 및 우안 영상을 각각 가상의 입체 공간에 투영하여 좌안 입체 공간 영상 및 우안 입체 공간 영상을 생성하는 단계 및, 생성된 좌안 및 우안 입체 공간 영상에서 슬레이브 기기의 모션 상태에 대응되는 시점 영역을 추출하는 단계를 더 포함할 수 있다.
또한, 슬레이브 기기로 전송하는 S930 단계에서는, 슬레이브 기기로부터 수신된 기기 디스플레이 정보에 기초하여 영상 버퍼의 일 영역을 전송 버퍼로 확보하고, 전송 버퍼에 슬레이브 기기의 모션 정보에 대응되는 영상을 버퍼링하여 해당 슬레이브 기기로 전송할 수 있다.
또한, 마스터 기기의 제어 방법은, 마스터 기기의 모션 상태를 센싱하는 단계를 더 포함하며, 시점 영역을 결정하는 S920 단계에서는, 센싱된 모션 상태를 기준으로, 슬레이브 기기로부터 수신된 모션 정보를 캘리브레이션하여 슬레이브 기기에 대응되는 상대 모션 정보를 생성하고, 생성된 상대 모션 정보에 기초하여 슬레이브 기기의 모션 상태에 대응되는 시점 영역을 결정할 수 있다.
또한, 마스터 기기의 제어 방법은, 현재 수신된 슬레이브 기기의 모션 정보를 기초로 슬레이브 기기의 향후 모션 정보를 예측하는 단계 및, 예측된 모션 정보에 기초하여 입력된 파노라마 영상 중 슬레이브 기기의 향후 모션 상태에 대응되는 시점 영역의 영상을 슬레이브 기기로 전송하는 단계를 더 포함할 수 있다.
또한, 슬레이브 기기로 전송하는 S930 단계에서는, 복수의 슬레이브 기기로부터 수신된 모션 정보가 기설정된 임계 범위 내에 속하는 경우 복수의 슬레이브 기기를 하나의 그룹으로 그룹핑하고, 동일한 그룹에 속하는 복수의 슬레이브 기기에 동일한 시점 영역의 영상을 전송할 수 있다.
도 10은 본 발명의 일 실시 예에 따른 슬레이브 기기의 제어 방법을 설명하기 위한 흐름도이다.
도 10에 도시된 본 발명의 일 실시 예에 따른 가상 현실(virtual reality) 서비스를 제공하는 슬레이브 기기의 제어 방법에 따르면, 우선 슬레이브 기기의 모션 상태를 센싱한다(S1010).
이어서, 센싱된 모션 상태에 대한 정보를, 입력된 입체 영상에 기초하여 가상 현실 서비스를 제공하는 마스터 기기로 전송한다(S1020).
이 후, 마스터 기기로부터 센싱된 모션 상태에 대응되는 시점 영역의 영상을 수신하여 출력한다(S1030).
또한, 마스터 기기로 전송하는 S1020 단계에서는, 마스터 기기로부터 상기 마스터 기기의 모션 정보가 수신되면, 수신된 모션 정보를 기준으로 센싱된 모션 상태를 캘리브레이션하여 슬레이브 기기에 대응되는 상대 모션 정보를 생성하고, 생성된 상대 모션 정보를 마스터 기기로 전송할 수 있다.
또한, 슬레이브 기기의 제어 방법은, 마스터 기기로부터 전송된 모션 정보를 기초로 예측된 향후 모션 상태에 대응되는 시점 영역의 영상을 수신되면, 수신된 영상 중 실시간 모션 상태를 기초로 결정된 시점 영역의 영상을 출력하는 단계를 더 포함할 수 있다.
이상과 같이, 본 발명의 다양한 실시 예에 따르면, 상술한 바와 같이 본 발명의 다양한 실시 예에 따르면 복수의 사용자가 하나의 컨텐츠를 공유하면서 각각 최적의 몰입을 제공할 수 있는 적합한 영상을 제공받을 수 있게 된다.
한편, 이러한 다양한 실시 예에 따른 방법들은 프로그래밍되어 각종 저장 매체에 저장될 수 있다. 이에 따라, 저장 매체를 실행하는 다양한 유형의 전자 장치에서 상술한 다양한 실시 예에 따른 방법들이 구현될 수 있다.
구체적으로는, 본 발명의 일 실시 예에 따르면, 슬레이브 기기로부터 수신된 모션 정보에 기초하여 입력된 영상 중 해당 슬레이브 기기의 모션 상태에 대응되는 시점 영역을 결정하는 단계 및, 결정된 시점 영역의 영상을 입력된 영상에서 추출하는 단계를 순차적으로 수행하는 프로그램이 저장된 비일시적 판독 가능 매체(non-transitory computer readable medium)가 제공될 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
100: 마스터 기기 110: 영상 입력부
120: 통신부 130: 프로세서
200: 슬레이브 기기 210: 통신부
220: 센서부 230: 프로세서

Claims (20)

  1. 가상 현실(virtual reality) 서비스를 제공하는 슬레이브 기기로 영상을 제공하는 마스터 기기에 있어서,
    입체 영상을 입력받는 컨텐츠 입력부;
    가상 현실 서비스를 제공하는 상기 슬레이브 기기와 통신을 수행하는 통신부; 및
    상기 슬레이브 기기로부터 수신된 모션 정보에 기초하여 상기 입력된 입체 영상 중 해당 슬레이브 기기의 모션 상태에 대응되는 시점 영역을 결정하고, 결정된 시점 영역의 영상을 상기 슬레이브 기기로 전송하도록 상기 통신부를 제어하는 프로세서;를 포함하는 마스터 기기.
  2. 제1항에 있어서,
    상기 프로세서는,
    상기 입력된 입체 영상에 포함된 좌안 영상 및 우안 영상을 각각 가상의 입체 공간에 투영하여 좌안 입체 공간 영상 및 우안 입체 공간 영상을 생성하고, 생성된 좌안 및 우안 입체 공간 영상에서 상기 슬레이브 기기의 모션 상태에 대응되는 시점 영역을 추출하여 상기 슬레이브 기기로 전송하는 것을 특징으로 하는 마스터 기기.
  3. 제1항에 있어서,
    상기 프로세서는,
    상기 슬레이브 기기로부터 수신된 기기 디스플레이 정보에 기초하여 영상 버퍼의 일 영역을 전송 버퍼로 확보하고, 상기 전송 버퍼에 상기 슬레이브 기기의 모션 정보에 대응되는 영상을 버퍼링하여 해당 슬레이브 기기로 전송하는 것을 특징으로 하는 마스터 기기.
  4. 제1항에 있어서,
    상기 마스터 기기의 모션 상태를 센싱하는 센서부;를 더 포함하며,
    상기 프로세서는,
    상기 센싱된 모션 상태를 기준으로, 상기 슬레이브 기기로부터 수신된 모션 정보를 캘리브레이션하여 상기 슬레이브 기기에 대응되는 상대 모션 정보를 생성하고, 생성된 상대 모션 정보에 기초하여 상기 슬레이브 기기의 모션 상태에 대응되는 시점 영역을 결정하는 것을 특징으로 하는 마스터 기기.
  5. 제1항에 있어서,
    상기 프로세서는,
    현재 수신된 슬레이브 기기의 모션 정보를 기초로 상기 슬레이브 기기의 향후 모션 정보를 예측하고, 예측된 모션 정보에 기초하여 상기 입력된 영상 중 상기 슬레이브 기기의 향후 모션 상태에 대응되는 시점 영역의 영상을 상기 슬레이브 기기로 전송하는 것을 특징으로 하는 마스터 기기.
  6. 제1항에 있어서,
    상기 프로세서는,
    복수의 슬레이브 기기로부터 수신된 모션 정보가 기설정된 임계 범위 내에 속하는 경우 상기 복수의 슬레이브 기기를 하나의 그룹으로 그룹핑하고, 동일한 그룹에 속하는 복수의 슬레이브 기기에 동일한 시점 영역의 영상을 전송하는 것을 특징으로 하는 마스터 기기.
  7. 가상 현실(virtual reality) 서비스를 제공하는 슬레이브 기기에 있어서,
    입력된 입체 영상에 기초하여 가상 현실 서비스를 제공하는 마스터 기기와 통신을 수행하는 통신부;
    상기 슬레이브 기기의 모션 상태를 센싱하는 센서부; 및
    상기 센싱된 모션 상태에 대한 정보를 상기 마스터 기기로 전송하고, 상기 마스터 기기로부터 상기 센싱된 모션 상태에 대응되는 시점 영역의 영상을 수신하여 출력하도록 제어하는 프로세서;를 포함하는 슬레이브 기기.
  8. 제7항에 있어서,
    상기 프로세서는,
    상기 마스터 기기로부터 상기 마스터 기기의 모션 정보가 수신되면, 상기 수신된 모션 정보를 기준으로 상기 센싱된 모션 상태를 캘리브레이션하여 상기 슬레이브 기기에 대응되는 상대 모션 정보를 생성하고, 생성된 상대 모션 정보를 상기 마스터 기기로 전송하는 것을 특징으로 하는 슬레이브 기기.
  9. 제7항에 있어서,
    상기 프로세서는,
    상기 마스터 기기로부터 상기 전송된 정보를 기초로 예측된 향후 모션 상태에 대응되는 시점 영역의 영상을 수신되면, 수신된 영상 중 실시간 모션 상태를 기초로 결정된 시점 영역의 영상을 출력하는 것을 특징으로 하는 것을 특징으로 하는 슬레이브 기기.
  10. 제7항에 있어서,
    상기 프로세서는,
    상기 센싱된 모션 상태에 대한 정보와 함께 상기 슬레이브 기기의 기기 정보를 상기 마스터 기기로 전송하고, 상기 기기 정보에 기초하여 상기 마스터 기기로부터 상기 센싱된 모션 상태에 대응되는 시점 영역의 영상을 수신하는 것을 특징으로 하는 슬레이브 기기.
  11. 가상 현실(virtual reality) 서비스를 제공하는 마스터 기기 및 슬레이브 기기를 포함하는 영상 시스템에 있어서,
    모션 상태를 센싱하고, 센싱된 모션 상태에 대한 모션 정보를 마스터 기기로 전송하는 슬레이브 기기; 및
    상기 슬레이브 기기로부터 수신된 모션 정보에 기초하여 입력된 입체 영상 중 해당 슬레이브 기기의 모션 상태에 대응되는 시점 영역을 결정하고, 결정된 시점 영역의 영상을 상기 슬레이브 기기로 전송하는 마스터 기기;를 포함하는 영상 시스템.
  12. 가상 현실(virtual reality) 서비스를 제공하는 슬레이브 기기로 영상을 제공하는 마스터 기기의 제어 방법에 있어서,
    입체 영상을 입력받는 단계;
    상기 슬레이브 기기로부터 수신된 모션 정보에 기초하여 상기 입력된 영상 중 해당 슬레이브 기기의 모션 상태에 대응되는 시점 영역을 결정하는 단계; 및
    상기 결정된 시점 영역의 영상을 상기 슬레이브 기기로 전송하는 단계;를 포함하는 제어 방법.
  13. 제12항에 있어서,
    상기 입력된 입체 영상에 포함된 좌안 영상 및 우안 영상을 각각 가상의 입체 공간에 투영하여 좌안 입체 공간 영상 및 우안 입체 공간 영상을 생성하는 단계; 및
    상기 생성된 좌안 및 우안 입체 공간 영상에서 상기 슬레이브 기기의 모션 상태에 대응되는 시점 영역을 추출하는 단계;를 더 포함하는 것을 특징으로 하는 제어 방법.
  14. 제12항에 있어서,
    상기 슬레이브 기기로 전송하는 단계는,
    상기 슬레이브 기기로부터 수신된 기기 디스플레이 정보에 기초하여 영상 버퍼의 일 영역을 전송 버퍼로 확보하고, 상기 전송 버퍼에 상기 슬레이브 기기의 모션 정보에 대응되는 영상을 버퍼링하여 해당 슬레이브 기기로 전송하는 것을 특징으로 하는 제어 방법.
  15. 제12항에 있어서,
    상기 마스터 기기의 모션 상태를 센싱하는 단계;를 더 포함하며,
    상기 시점 영역을 결정하는 단계는,
    상기 센싱된 모션 상태를 기준으로, 상기 슬레이브 기기로부터 수신된 모션 정보를 캘리브레이션하여 상기 슬레이브 기기에 대응되는 상대 모션 정보를 생성하고, 생성된 상대 모션 정보에 기초하여 상기 슬레이브 기기의 모션 상태에 대응되는 시점 영역을 결정하는 것을 특징으로 하는 제어 방법.
  16. 제12항에 있어서,
    현재 수신된 슬레이브 기기의 모션 정보를 기초로 상기 슬레이브 기기의 향후 모션 정보를 예측하는 단계; 및
    예측된 모션 정보에 기초하여 상기 입력된 파노라마 영상 중 상기 슬레이브 기기의 향후 모션 상태에 대응되는 시점 영역의 영상을 상기 슬레이브 기기로 전송하는 단계;를 더 포함하는 것을 특징으로 하는 제어 방법.
  17. 제12항에 있어서,
    상기 슬레이브 기기로 전송하는 단계는,
    복수의 슬레이브 기기로부터 수신된 모션 정보가 기설정된 임계 범위 내에 속하는 경우 상기 복수의 슬레이브 기기를 하나의 그룹으로 그룹핑하고, 동일한 그룹에 속하는 복수의 슬레이브 기기에 동일한 시점 영역의 영상을 전송하는 것을 특징으로 하는 제어 방법.
  18. 가상 현실(virtual reality) 서비스를 제공하는 슬레이브 기기의 제어 방법에 있어서,
    상기 슬레이브 기기의 모션 상태를 센싱하는 단계;
    상기 센싱된 모션 상태에 대한 정보를, 입력된 입체 영상에 기초하여 가상 현실 서비스를 제공하는 마스터 기기로 전송하는 단계; 및
    상기 마스터 기기로부터 상기 센싱된 모션 상태에 대응되는 시점 영역의 영상을 수신하여 출력하는 단계;를 포함하는 제어 방법.
  19. 제18항에 있어서,
    상기 마스터 기기로 전송하는 단계는,
    상기 마스터 기기로부터 상기 마스터 기기의 모션 정보가 수신되면, 상기 수신된 모션 정보를 기준으로 상기 센싱된 모션 상태를 캘리브레이션하여 상기 슬레이브 기기에 대응되는 상대 모션 정보를 생성하고, 생성된 상대 모션 정보를 상기 마스터 기기로 전송하는 것을 특징으로 하는 제어 방법.
  20. 제18항에 있어서,
    상기 마스터 기기로부터 상기 전송된 모션 정보를 기초로 예측된 향후 모션 상태에 대응되는 시점 영역의 영상을 수신되면, 수신된 영상 중 실시간 모션 상태를 기초로 결정된 시점 영역의 영상을 출력하는 단계;를 더 포함하는 것을 특징으로 하는 제어 방법.
KR1020150001789A 2015-01-07 2015-01-07 마스터 기기, 슬레이브 기기 및 그 제어 방법 KR102144515B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020150001789A KR102144515B1 (ko) 2015-01-07 2015-01-07 마스터 기기, 슬레이브 기기 및 그 제어 방법
PCT/KR2015/013129 WO2016111470A1 (ko) 2015-01-07 2015-12-03 마스터 기기, 슬레이브 기기 및 그 제어 방법
CN201580075494.2A CN107211191B (zh) 2015-01-07 2015-12-03 主设备、从设备及其控制方法
EP15877190.7A EP3229482B1 (en) 2015-01-07 2015-12-03 Master device, slave device, and control method therefor
US15/542,002 US10437055B2 (en) 2015-01-07 2015-12-03 Master device, slave device, and control method therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150001789A KR102144515B1 (ko) 2015-01-07 2015-01-07 마스터 기기, 슬레이브 기기 및 그 제어 방법

Publications (2)

Publication Number Publication Date
KR20160084991A true KR20160084991A (ko) 2016-07-15
KR102144515B1 KR102144515B1 (ko) 2020-08-14

Family

ID=56356126

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150001789A KR102144515B1 (ko) 2015-01-07 2015-01-07 마스터 기기, 슬레이브 기기 및 그 제어 방법

Country Status (5)

Country Link
US (1) US10437055B2 (ko)
EP (1) EP3229482B1 (ko)
KR (1) KR102144515B1 (ko)
CN (1) CN107211191B (ko)
WO (1) WO2016111470A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200012265A (ko) * 2018-07-26 2020-02-05 (주)소프트젠 Vr 영상을 이용한 다중 사용자 시청각 교육 시스템 및 교육 방법
WO2023059142A1 (ko) * 2021-10-07 2023-04-13 주식회사 벤타브이알 다수 사용자 동시 교육이 가능한 vr영상 관리 방법 및 시스템

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9690374B2 (en) * 2015-04-27 2017-06-27 Google Inc. Virtual/augmented reality transition system and method
US10976982B2 (en) 2018-02-02 2021-04-13 Samsung Electronics Co., Ltd. Guided view mode for virtual reality
IT202100003686A1 (it) * 2021-02-17 2022-08-17 H Farm Education S R L Apparecchiatura di realtà virtuale condivisa e relativo metodo
JPWO2022220308A1 (ko) * 2021-04-16 2022-10-20

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070062703A (ko) * 2005-12-13 2007-06-18 권영대 입체 영상을 이용한 가상현실 구현장치 및 방법
US20120274750A1 (en) * 2011-04-26 2012-11-01 Echostar Technologies L.L.C. Apparatus, systems and methods for shared viewing experience using head mounted displays
US20130083173A1 (en) * 2011-09-30 2013-04-04 Kevin A. Geisner Virtual spectator experience with a personal audio/visual apparatus
US20140132705A1 (en) * 2012-11-09 2014-05-15 Nintendo Co., Ltd. Image generation method, image display method, storage medium storing image generation program, image generation system, and image display device
JP2014187559A (ja) * 2013-03-25 2014-10-02 Yasuaki Iwai 仮想現実提示システム、仮想現実提示方法
KR20140128579A (ko) * 2013-04-29 2014-11-06 에스케이플래닛 주식회사 단말기의 영상데이터 전송 방법 및 이를 위한 장치

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010217719A (ja) 2009-03-18 2010-09-30 Ricoh Co Ltd 装着型表示装置、その制御方法及びプログラム
JP5198515B2 (ja) * 2010-07-29 2013-05-15 京セラドキュメントソリューションズ株式会社 画像形成装置
US20120041599A1 (en) 2010-08-11 2012-02-16 Townsend William T Teleoperator system with master controller device and multiple remote slave devices
KR101284348B1 (ko) 2010-10-14 2013-07-08 심혁훈 상호작용을 통한 증강현실 구현 시스템 및 운영방법
KR20120044461A (ko) 2010-10-28 2012-05-08 (주)브이엔에스텍 융합 현실을 이용한 가상 훈련 장치 및 방법
KR101329935B1 (ko) 2011-01-27 2013-11-14 주식회사 팬택 이종 마커를 이용해서 원격으로 증강현실 서비스를 공유하는 증강현실 시스템 및 그 방법
US20170352188A1 (en) * 2011-03-24 2017-12-07 Pantomime Corporation Support Based 3D Navigation
JP5708261B2 (ja) 2011-05-31 2015-04-30 ブラザー工業株式会社 ヘッドマウントディスプレイ連携装置、及びヘッドマウントディスプレイの連携プログラム
US20120327116A1 (en) 2011-06-23 2012-12-27 Microsoft Corporation Total field of view classification for head-mounted display
US9897805B2 (en) 2013-06-07 2018-02-20 Sony Interactive Entertainment Inc. Image rendering responsive to user actions in head mounted display
JP5993127B2 (ja) * 2011-10-25 2016-09-14 オリンパス株式会社 頭部装着型表示装置、情報端末、プログラム、情報記憶媒体、画像処理システム、頭部装着型表示装置の制御方法及び情報端末の制御方法
KR20140025930A (ko) 2012-08-23 2014-03-05 삼성전자주식회사 헤드마운트형 디스플레이장치 및 그 제어방법
CN103731725A (zh) 2012-10-15 2014-04-16 尹长久 一种电子辅助显示传输系统解决方案
KR20140139840A (ko) 2013-05-28 2014-12-08 삼성전자주식회사 디스플레이 장치 및 그 제어방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070062703A (ko) * 2005-12-13 2007-06-18 권영대 입체 영상을 이용한 가상현실 구현장치 및 방법
US20120274750A1 (en) * 2011-04-26 2012-11-01 Echostar Technologies L.L.C. Apparatus, systems and methods for shared viewing experience using head mounted displays
US20130083173A1 (en) * 2011-09-30 2013-04-04 Kevin A. Geisner Virtual spectator experience with a personal audio/visual apparatus
US20140132705A1 (en) * 2012-11-09 2014-05-15 Nintendo Co., Ltd. Image generation method, image display method, storage medium storing image generation program, image generation system, and image display device
JP2014187559A (ja) * 2013-03-25 2014-10-02 Yasuaki Iwai 仮想現実提示システム、仮想現実提示方法
KR20140128579A (ko) * 2013-04-29 2014-11-06 에스케이플래닛 주식회사 단말기의 영상데이터 전송 방법 및 이를 위한 장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200012265A (ko) * 2018-07-26 2020-02-05 (주)소프트젠 Vr 영상을 이용한 다중 사용자 시청각 교육 시스템 및 교육 방법
WO2023059142A1 (ko) * 2021-10-07 2023-04-13 주식회사 벤타브이알 다수 사용자 동시 교육이 가능한 vr영상 관리 방법 및 시스템

Also Published As

Publication number Publication date
EP3229482B1 (en) 2020-07-22
CN107211191B (zh) 2020-08-28
US10437055B2 (en) 2019-10-08
WO2016111470A1 (ko) 2016-07-14
US20180003969A1 (en) 2018-01-04
EP3229482A4 (en) 2018-03-07
CN107211191A (zh) 2017-09-26
EP3229482A1 (en) 2017-10-11
KR102144515B1 (ko) 2020-08-14

Similar Documents

Publication Publication Date Title
EP3229482B1 (en) Master device, slave device, and control method therefor
US11024083B2 (en) Server, user terminal device, and control method therefor
CN105915990B (zh) 一种虚拟现实头盔及其使用方法
US20150138065A1 (en) Head-mounted integrated interface
JP6619871B2 (ja) 媒介現実コンテンツの共有
JP5800501B2 (ja) 表示制御プログラム、表示制御装置、表示制御システム、及び、表示制御方法
JP2011128220A (ja) 情報提示装置、情報提示方法及びプログラム
JP2020024752A (ja) 情報処理装置及びその制御方法、プログラム
JP6751205B2 (ja) ディスプレイ装置及びその制御方法
KR20120072126A (ko) 간접체험을 위한 비주얼 서로게이트와 그 공급 장치 및 방법
EP3196734B1 (en) Control device, control method, and program
CN110622110B (zh) 提供沉浸式现实内容的方法和装置
US10437874B2 (en) Searching image content
KR20170087292A (ko) Hmd 디바이스 및 그 제어 방법
CN111373347A (zh) 虚拟现实内容的提供
KR20180017736A (ko) Hmd 및 그 hmd의 제어 방법
JP2016122392A (ja) 情報処理装置、情報処理システム、その制御方法及びプログラム
KR102140077B1 (ko) 서버, 사용자 단말 장치 및 그 제어 방법
KR102261739B1 (ko) 증강 현실 미디어 콘텐츠의 적응적 스트리밍 시스템 및 적응적 스트리밍 방법
JP7405083B2 (ja) 情報処理装置、情報処理方法、及びプログラム
CN111344776A (zh) 信息处理装置、信息处理方法和程序
KR102612430B1 (ko) 전이학습을 이용한 딥러닝 기반 사용자 손 동작 인식 및 가상 현실 콘텐츠 제공 시스템
KR20230012196A (ko) 가상공간과 현실공간 연결 서비스 서버, 사용자 단말 장치 및 그 제어 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right