KR101997066B1 - 가상 현실 영상 시스템 및 그 동작 방법 - Google Patents

가상 현실 영상 시스템 및 그 동작 방법 Download PDF

Info

Publication number
KR101997066B1
KR101997066B1 KR1020170184183A KR20170184183A KR101997066B1 KR 101997066 B1 KR101997066 B1 KR 101997066B1 KR 1020170184183 A KR1020170184183 A KR 1020170184183A KR 20170184183 A KR20170184183 A KR 20170184183A KR 101997066 B1 KR101997066 B1 KR 101997066B1
Authority
KR
South Korea
Prior art keywords
unit
virtual reality
control
image
mobile terminal
Prior art date
Application number
KR1020170184183A
Other languages
English (en)
Inventor
이승연
이정중
신규용
김지호
심재훈
Original Assignee
주식회사호텔롯데
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사호텔롯데 filed Critical 주식회사호텔롯데
Priority to KR1020170184183A priority Critical patent/KR101997066B1/ko
Application granted granted Critical
Publication of KR101997066B1 publication Critical patent/KR101997066B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615—Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43637—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Marketing (AREA)
  • Theoretical Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

본 발명은 가상 현실 영상 시스템 및 그 동작 방법에 관한 것으로서, 디스플레이부, 디스플레이부와 접속되며, 내장된 어플리케이션을 기반으로 가상 현실 영상을 디스플레이부를 통해 출력하는 모바일 단말부, 가상 현실 영상의 재생을 제어하기 위한 영상 제어 정보를 모바일 단말부로 전송하여 디스플레이부를 통해 출력되는 가상 현실 영상의 재생을 제어하는 제어부, 및 영상 제어 정보를 최초 생성하여 제어부로 1차 전송한 후, 트리거(trigger) 신호만을 제어부로 전송하여 제어부로부터 모바일 단말부로의 영상 제어 정보의 전송을 제어하는 제어 컴퓨팅 디바이스부를 포함하는 것을 특징으로 한다.

Description

가상 현실 영상 시스템 및 그 동작 방법{VIRTUAL REALITY DISPLAY SYSTEM AND OPERATION METHOD THEREOF}
본 발명은 가상 현실 영상 시스템 및 그 동작 방법에 관한 것으로서, 더욱 상세하게는 모바일 기반으로 가상 현실 영상을 사용자에게 제공할 수 있는 가상 현실 영상 시스템 및 그 동작 방법에 관한 것이다.
최근 가상 현실(Virtual Reality)은 게임, 영화, 공연, 전시, 교육 및 관광 등 광범위한 분야에서 비약적인 발전을 이루고 있으며, 또한 테마파크에 설치된 어트랙션(attraction)에도 그 적용이 확대되어 가고 있다. 일반적으로 어트랙션은 유원지 등에 설치된 놀이기구로서 사용자가 탑승한 상태로 회전운동, 기울기운동, 등속운동, 가속이동, 수평이동 및 상하이동 등을 다양하게 조합한 움직임을 제공함으로써 사용자에게 즐거움을 제공하는 기구를 지칭하며, 근래에는 사용자가 탑승한 기구를 기계적인 방식으로 구동하는 것과 동시에 소정 시나리오에 따른 영상을 사용자에게 제공함으로써, 몰입감 있는 가상현실을 체험할 수 있게 하는 가상현실 어트랙션이 발전하고 있다.
이러한 가상 현실 시스템은 콘텐츠 및 입출력장치 등의 디바이스의 성능 발전을 기반으로 시공간의 제약을 극복하여 인간의 상상력을 만족시킨 측면에서 그 발전 가능성이 무궁한 것으로 평가되고 있으나, 테마파크에 적용되는 가상현실 어트랙션은 그 구현이 주로 1인칭에 제한되고 PC형 기반으로 이루어지는 측면에서 활성화가 되지 못하고 있는 실정이다. 따라서, 가상현실 어트랙션의 다인승화를 위해서는 모바일 기반으로 가상 현실을 제공하는 시스템이 요청된다.
모바일 기반으로 가상 현실을 제공하기 위해서는 가상 현실 시스템의 최상위 컨트롤러로부터 모바일 단말로 연결되는 신호 라인의 동기화가 요구되며, 이때 상기 신호 라인에 개입되는 디바이스가 증가할수록 송수신되는 데이터의 통신 손실이 가중되어 사용자에게 제공되는 가상 현실 영상의 품질이 저하되는 문제점이 발생하게 된다.
본 발명의 배경기술은 대한민국 공개특허공보 제10-1998-0035726호(1998.08.05. 공개)에 개시되어 있다.
본 발명은 전술한 문제점을 해결하기 위해 창안된 것으로서, 본 발명의 일 측면에 따른 목적은 종래의 가상현실 어트랙션이 PC형 기반으로 1인칭에 국한되어 구현되었던 한계를 극복하기 위해 모바일 기반으로 다인승 가상현실 어트랙션을 구현하고, 모바일 기반으로 다인승 가상현실 어트랙션을 구현함에 있어 발생하는 통신 손실을 최소화하여 사용자에게 제공되는 가상 현실 영상의 품질 저하를 방지할 수 있는 가상 현실 영상 시스템 및 그 동작 방법을 제공하는 것이다.
본 발명의 일 측면에 따른 가상 현실 영상 시스템은 디스플레이부, 상기 디스플레이부와 접속되며, 내장된 어플리케이션을 기반으로 가상 현실 영상을 상기 디스플레이부를 통해 출력하는 모바일 단말부, 상기 가상 현실 영상의 재생을 제어하기 위한 영상 제어 정보를 상기 모바일 단말부로 전송하여 상기 디스플레이부를 통해 출력되는 가상 현실 영상의 재생을 제어하는 제어부, 및 상기 영상 제어 정보를 최초 생성하여 상기 제어부로 1차 전송한 후, 트리거(trigger) 신호만을 상기 제어부로 전송하여 상기 제어부로부터 상기 모바일 단말부로의 상기 영상 제어 정보의 전송을 제어하는 제어 컴퓨팅 디바이스부를 포함하는 것을 특징으로 한다.
본 발명에 있어 상기 제어부는, 상기 제어 컴퓨팅 디바이스부로부터 1차 전송되는 상기 영상 제어 정보를 저장한 후, 차후 상기 제어 컴퓨팅 디바이스부로부터 상기 트리거 신호가 전송되면 상기 저장한 영상 제어 정보를 상기 모바일 단말부로 전송함으로써 상기 가상 현실 영상의 재생을 제어하는 것을 특징으로 한다.
본 발명에 있어 상기 영상 제어 정보는, 모션 시뮬레이터를 제어하기 위한 모션 데이터, 상기 어플리케이션의 구동을 제어하기 위한 어플리케이션 제어 명령, 및 상기 디스플레이부를 통해 출력되는 가상 현실 영상의 프레임 정보를 포함하는 것을 특징으로 한다.
본 발명에 있어 상기 디스플레이부를 통해 출력되는 가상 현실 영상은, 상기 모션 데이터 및 상기 어플리케이션 제어 명령을 토대로 상기 모션 시뮬레이터의 모션과 동기화되는 것을 특징으로 한다.
본 발명에 있어 상기 제어 컴퓨팅 디바이스부는, 미리 설정된 프레임 설정 범위에서 상기 모바일 단말부의 고유 설정 프레임에 해당하는 프레임으로서 상기 프레임 정보를 생성하고, 상기 모바일 단말부는, 상기 어플리케이션을 기반으로, 상기 제어부로부터 전송받은 프레임 정보에 따라 상기 가상 현실 영상을 상기 디스플레이부를 통해 출력하는 것을 특징으로 한다.
본 발명에 있어 상기 디스플레이부 및 상기 모바일 단말부는, 각각 제1 내지 제N 디스플레이디바이스 및 제1 내지 제N 모바일 단말을 포함하고, 상기 제어부는, 상기 제1 내지 제N 모바일 단말로 상기 영상 제어 정보를 전송하여 상기 제1 내지 제N 모바일 단말에 각각 접속된 상기 제1 내지 제N 디스플레이 디바이스를 통해 출력되는 각 가상 현실 영상의 재생을 제어하는 것을 특징으로 한다.
본 발명에 있어 상기 디스플레이부는, 사용자의 머리에 장착되어 상기 사용자에게 상기 가상 현실 영상을 제공하는 HMD(Head Mounted Display)를 포함하는 것을 특징으로 한다.
본 발명의 일 측면에 따른 가상 현실 영상 시스템의 동작 방법은 제어 컴퓨팅 디바이스부가, 디스플레이부를 통해 출력되는 가상 현실 영상의 재생을 제어하기 위한 영상 제어 정보를 최초 생성하는 단계, 제어부가, 상기 제어 컴퓨팅 디바이스부로부터 상기 영상 제어 정보를 1차 전송받는 단계, 상기 제어 컴퓨팅 디바이스부가, 상기 제어부로 트리거(trigger) 신호를 전송하는 단계, 상기 제어부가, 상기 제어 컴퓨팅 디바이스부로부터 상기 트리거 신호를 전송받은 경우, 모바일 단말부로 상기 영상 제어 정보를 전송하는 단계, 및 상기 모바일 단말부가, 상기 제어부로부터 상기 영상 제어 정보를 전송받아 내장된 어플리케이션을 기반으로 상기 가상 현실 영상을 상기 디스플레이부를 통해 출력하는 단계를 포함하는 것을 특징으로 한다.
본 발명은 상기 영상 제어 정보를 1차 전송받는 단계에서, 상기 제어부는, 상기 제어 컴퓨팅 디바이스부로부터 1차 전송받은 상기 영상 제어 정보를 저장하고, 상기 영상 제어 정보를 전송하는 단계에서, 상기 제어부는, 상기 제어 컴퓨팅 디바이스부로부터 상기 트리거 신호가 전송되면 상기 저장한 영상 제어 정보를 상기 모바일 단말부로 전송함으로써 상기 가상 현실 영상의 재생을 제어하는 것을 특징으로 한다.
본 발명에 있어 상기 영상 제어 정보는, 모션 시뮬레이터를 제어하기 위한 모션 데이터, 상기 어플리케이션의 구동을 제어하기 위한 어플리케이션 제어 명령, 및 상기 디스플레이부를 통해 출력되는 가상 현실 영상의 프레임 정보를 포함하는 것을 특징으로 한다.
본 발명에 있어 상기 디스플레이부를 통해 출력되는 가상 현실 영상은, 상기 모션 데이터 및 상기 어플리케이션 제어 명령을 토대로 상기 모션 시뮬레이터의 모션과 동기화되는 것을 특징으로 한다.
본 발명은 상기 영상 제어 정보를 최초 생성하는 단계에서, 상기 제어 컴퓨팅 디바이스부는, 미리 설정된 프레임 설정 범위에서 상기 모바일 단말부의 고유 설정 프레임에 해당하는 프레임으로서 상기 프레임 정보를 생성하고, 상기 가상 현실 영상을 상기 디스플레이부를 통해 출력하는 단계에서, 상기 모바일 단말부는, 상기 어플리케이션을 기반으로, 상기 제어부로부터 전송받은 프레임 정보에 따라 상기 가상 현실 영상을 상기 디스플레이부를 통해 출력하는 것을 특징으로 한다.
본 발명에 있어 상기 디스플레이부 및 상기 모바일 단말부는, 각각 제1 내지 제N 디스플레이디바이스 및 제1 내지 제N 모바일 단말을 포함하고, 상기 영상 제어 정보를 전송하는 단계에서, 상기 제어부는, 상기 제1 내지 제N 모바일 단말로 상기 영상 제어 정보를 전송하여 상기 제1 내지 제N 모바일 단말에 각각 접속된 상기 제1 내지 제N 디스플레이 디바이스를 통해 출력되는 각 가상 현실 영상의 재생을 제어하는 것을 특징으로 한다.
본 발명에 있어 상기 디스플레이부는, 사용자의 머리에 장착되어 상기 사용자에게 상기 가상 현실 영상을 제공하는 HMD(Head Mounted Display)를 포함하는 것을 특징으로 한다.
본 발명의 일 측면에 따르면, 본 발명은 모바일 기반으로 가상현실 어트랙션을 구현함으로써 가상현실 어트랙션의 다인승화가 가능하고, 최상위 컨트롤러로부터 모바일 단말로 연결되는 신호 라인을 통해 송수신되는 데이터를 최소화하는 방식을 적용하여 통신 손실로 인한 가상 현실 영상의 품질 저하를 방지할 수 있으며, 가상 현실 영상 프레임을 최적화하여 가상 현실 영상의 재생을 제어함으로써 가상 현실에서 발생할 수 있는 체험 불균형을 해소할 수 있다.
도 1은 본 발명의 일 실시예에 따른 가상 현실 영상 시스템을 설명하기 위한 블록구성도이다.
도 2는 본 발명의 일 실시예에 따른 가상 현실 영상 시스템이 다인승으로 구현되는 실시예를 설명하기 위한 예시도이다.
도 3은 본 발명의 일 실시예에 따른 가상 현실 영상 시스템의 동작 방법을 설명하기 위한 흐름도이다.
이하, 첨부된 도면들을 참조하여 본 발명에 따른 가상 현실 영상 시스템 및 그 동작 방법의 실시예를 설명한다. 이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 일 실시예에 따른 가상 현실 영상 시스템을 설명하기 위한 블록구성도이고, 도 2는 본 발명의 일 실시예에 따른 가상 현실 영상 시스템이 다인승으로 구현되는 실시예를 설명하기 위한 예시도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 가상 현실 영상 시스템은 제어 컴퓨팅 디바이스부(100), 제어부(200), 모바일 단말부(300) 및 디스플레이부(400)를 포함할 수 있다.
제어 컴퓨팅 디바이스부(100)는 디스플레이부(400)를 통해 출력되는 가상 현실 영상의 재생을 제어하기 위한 영상 제어 정보를 최초 생성하는 데이터 생성용 디바이스로 기능할 수 있다. 제어 컴퓨팅 디바이스부(100)는 영상 제어 정보를 생성하는 소프트웨어가 탑재된 컴퓨터 장치로 구현될 수 있다. 한편, 디스플레이부(400)를 통해 출력되는 가상 현실 영상은 후술할 모바일 단말부(300)에 내장된 어플리케이션에 미리 저장된 영상을 의미한다.
여기서, 영상 제어 정보는 모션 데이터, 어플리케이션 제어 명령 및 가상 현실 영상의 프레임 정보를 포함할 수 있으며, 영상 제어 정보는 제어 컴퓨팅 디바이스부(100)로부터 제어부(200)를 통해 모바일 단말로 전송되어 디스플레이부(400)를 통해 출력되는 가상 현실 영상의 재생을 제어하는 역할을 수행할 수 있다.
영상 제어 정보에 대하여 구체적으로 설명하면, 모션 데이터는 모션 시뮬레이터, 즉 사용자가 탑승하는 의자 등의 형태로 구현되어 가상 현실 영상에 대응되도록 기계적으로 동작함으로써 사용자에게 가상 현실을 제공하는 기계 장치를 제어하기 위한 데이터로서, 모션 시뮬레이터의 속도 데이터, 가속도 데이터 및 위치 데이터 등을 포함하는 데이터를 의미한다. 어플리케이션 제어 명령은 모바일 단말부(300)에 내장된 어플리케이션의 구동을 제어하기 위한 제어 명령으로서, 어플리케이션의 시작 명령, 정지 명령, 일시 정지 명령을 비롯하여 재생 속도 조절 명령(예: 1배속 이하 또는 1 ~ 2 배속의 재생 명령) 등을 포함하는 제어 명령을 의미한다. 가상 현실 영상의 프레임 정보는 모바일 단말부(300)의 어플리케이션을 기반으로 디스플레이부(400)를 통해 출력되는 가상 현실 영상의 프레임 레이트 정보를 의미한다. 이러한 영상 제어 정보의 기능에 대한 구체적인 설명은 후술한다.
제어 컴퓨팅 디바이스부(100)는 영상 제어 정보를 최초 생성하여 제어부(200)로 1차 전송할 수 있으며, 영상 제어 정보의 1차 전송 후에는 트리거(trigger) 신호만을 제어부(200)로 전송하여 제어부(200)로부터 모바일 단말부(300)로의 영상 제어 정보의 전송을 제어할 수 있다. 이에 대한 구체적인 설명은 후술한다.
한편, 제어 컴퓨팅 디바이스부(100) 및 제어부(200) 간의 통신 방식으로는 USB(Universal Serial Bus) 통신과 같은 유선 통신 방식이 채용될 수 있다.
제어부(200)는 제어 컴퓨팅 디바이스부(100)로부터 전송받은 영상 제어 정보를 모바일 단말부(300)로 전송하여 디스플레이부(400)를 통해 출력되는 가상 현실 영상의 재생을 제어하는 컨트롤러의 기능을 수행할 수 있다.
이때, 제어부(200)는 제어 컴퓨팅 디바이스부(100)로부터 1차 전송되는 영상 제어 정보를 저장한 후, 차후 제어 컴퓨팅 디바이스부(100)로부터 트리거 신호가 전송되면 저장한 영상 제어 정보를 모바일 단말부(300)로 전송함으로써 가상 현실 영상의 재생을 제어할 수 있다.
구체적으로, 디스플레이부(400)를 통해 가상 현실 영상이 출력되는 동안 지속적으로 영상 제어 정보가 제어 컴퓨팅 디바이스부(100)에 의해 생성되고 제어부(200)로 전송된 후, 제어부(200)에 의해 프로세싱되고 모바일 단말부(300)로 전송되어 가상 현실 영상이 디스플레이부(400)를 통해 출력되는 경우를 고려할 때, 제어 컴퓨팅 디바이스부(100), 제어부(200), 모바일 단말부(300) 및 디스플레이부(400)로 연결되는 신호 라인에서의 데이터 손실이 가중되어 가상 현실 영상의 품질이 저하되는 문제점이 존재한다. 따라서, 본 실시예에서는 제어 컴퓨팅 디바이스부(100)가 영상 제어 정보를 최초 생성하여 제어부(200)로 1회에 한하여 전송하고, 제어부(200)는 1회 전송된 영상 제어 정보를 저장한 상태에서, 차후 제어 컴퓨팅 디바이스부(100)로부터 트리거 신호가 전송되면 저장한 영상 제어 정보를 모바일 단말부(300)로 전송함으로써 가상 현실 영상의 재생을 제어하는 구성을 채용한다.
즉, 전술한 것과 같이 디스플레이부(400)를 통해 출력되는 가상 현실 영상은 모바일 단말부(300)에 내장된 어플리케이션에 미리 저장되어 있어, 제어 컴퓨팅 디바이스부(100)는 가상 현실 영상에 대응되는 모션 데이터, 어플리케이션 제어 명령 및 프레임 정보를 최초 1회 생성하여 제어부(200)로 전송할 수 있으며, 제어부(200)는 제어 컴퓨팅 디바이스부(100)로부터 전송되는 모션 데이터, 어플리케이션 제어 명령 및 프레임 정보를 저장할 수 있다. 제어부(200)에는 이러한 영상 제어 정보를 저장하기 위한 메모리 소자(RAM(Random Access Memory), HDD(Hard Disk Drive) 또는 SSD(Solid State Drive))가 탑재되어 있을 수 있다. 이후, 제어 컴퓨팅 디바이스부(100)는 트리거 신호만을 제어부(200)로 전송할 수 있으며, 제어부(200)는 제어 컴퓨팅 디바이스부(100)로부터 트리거 신호가 전송되면 저장한 모션 데이터, 어플리케이션 제어 명령 및 프레임 정보를 모바일 단말부(300)로 전송함으로써 가상 현실 영상의 재생을 제어할 수 있다. 제어 컴퓨팅 디바이스부(100)가 모션 데이터, 어플리케이션 제어 명령 및 프레임 정보를 제어부(200)로 최초 전송할 때, 가상 현실 영상의 재생 시점에 따른 시간 플래그(flag) 정보를 모션 데이터, 어플리케이션 제어 명령 및 프레임 정보에 각각 부가하여 전송할 수 있으며, 이에 따라 제어 컴퓨팅 디바이스부(100)가 시간 플래그 정보를 트리거 신호로서 제어부(200)로 전송하면, 제어부(200)는 저장된 영상 제어 정보 중에서 전송된 시간 플래그 정보에 해당하는 모션 데이터, 어플리케이션 제어 명령 및 프레임 정보를 추출하여 모바일 단말부(300)로 전송함으로써 가상 현실 영상의 재생을 제어할 수 있다.
전술한 통신 방식을 제어 컴퓨팅 디바이스부(100) 및 제어부(200) 간의 통신 관점에서 볼 때, 1회의 영상 제어 정보의 전송 및 차후의 트리거 신호의 전송으로 이원화되는 통신 방식으로 구현되어 영상 제어 정보의 생성 및 전송이 지속적으로 유지되는 통신 방식으로 인한 데이터 손실을 저감시킬 수 있다. 또한, 영상 제어 정보의 통신 관점에서 볼 때, 제어 컴퓨팅 디바이스부(100) 및 제어부(200) 간의 1회 통신과, 제어부(200) 및 모바일 단말부(300) 간의 통신으로 이원화됨으로써, 제어 컴퓨팅 디바이스부(100) 및 제어부(200) 간의 영상 제어 정보의 전송이 지속적으로 유지되는 통신 방식으로 인한 데이터 손실을 저감시킬 수 있다.
모바일 단말부(300)는 디스플레이부(400)와 유무선 접속되며, 내장된 어플리케이션을 기반으로 가상 현실 영상을 디스플레이부(400)를 통해 출력할 수 있다. 모바일 단말부(300)는 제어부(200)로부터 영상 제어 정보가 전송되면 디스플레이부(400)를 통해 가상 현실 영상을 출력하기 위한 전용 어플리케이션이 미리 내장되어 있을 수 있다. 모바일 단말부(300)는 사용자가 소지하고 있는 스마트폰과 같은 모바일 단말뿐만 아니라 태블릿, PDA(Personal Digital Assistant) 또는 PMP(Portable Multimedia Player) 등 디스플레이부(400)와 접속되어 내장된 어플리케이션을 기반으로 가상 현실 영상을 디스플레이부(400)를 통해 출력할 수 있는 모든 텔레매틱스 단말을 포함할 수 있다.
디스플레이부(400)는 모바일 단말부(300)와 유무선 접속되며, 모바일 단말부(300)에 내장된 어플리케이션의 가상 현실 영상을 출력하여 사용자에게 제공할 수 있다. 디스플레이부(400)는 사용자의 머리에 장착되는 HMD(Head Mounted Display)를 포함함으로써 사용자에게 가상 현실 영상을 제공할 수 있다.
한편, 디스플레이부(400)를 통해 출력되는 가상 현실 영상은 모션 데이터 및 어플리케이션 제어 명령을 토대로 모션 시뮬레이터의 모션과 동기화될 수 있다.
구체적으로, 전술한 것과 같이 모션 데이터는 모션 시뮬레이터를 제어하기 위한 데이터를 의미하며, 제어부(200)는 제어 컴퓨팅 디바이스부(100)로부터의 트리거 신호에 따라 모션 데이터를 모바일 단말부(300) 및 모션 시뮬레이터로 동시에 전송할 수 있다(자세히는, 제어부(200)는 모션 데이터를 모션 시뮬레이터의 구동을 제어하기 위한 모션 컨트롤러로 전송할 수 있다). 따라서, 디스플레이부(400)를 통해 출력되는 가상 현실 영상에 소정의 이벤트가 발생하는 시점과 모션 데이터가 제어부(200)로부터 모바일 단말부(300)로 전송되는 시점이 동기되어야 가상 현실 영상 및 모션 시뮬레이터의 모션이 동기화될 수 있다. 이에, 제어 컴퓨팅 디바이스는 트리거 신호를 제어부(200)로 전송하여 제어부(200)로부터 모바일 단말부(300)로의 어플리케이션 제어 명령의 전송을 제어할 수 있으며, 모바일 단말부(300)로 전송되는 어플리케이션 제어 명령에 따라 가상 현실 영상의 재생(시작, 정지, 일시 정지 또는 재생 속도)이 제어됨으로써 가상 현실 영상 및 모션 시뮬레이터의 모션이 동기화될 수 있다.
한편, 제어 컴퓨팅 디바이스부(100)는 영상 제어 정보를 최초 생성할 때, 미리 설정된 프레임 설정 범위에서 모바일 단말부(300)의 고유 설정 프레임에 해당하는 프레임으로서 프레임 정보를 생성할 수 있으며, 이에 따라 모바일 단말부(300)는 어플리케이션을 기반으로, 제어부(200)로부터 전송받은 프레임 정보에 따라 가상 현실 영상을 디스플레이부(400)를 통해 출력할 수 있다. 프레임 설정 범위는 모바일 단말부(300)의 사양에 기초하여 다양하게 설계되어 제어 컴퓨팅 디바이스부(100)에 미리 설정되어 있을 수 있으며(예: 2 ~ 800,000), 모바일 단말부(300)의 고유 설정 프레임은 모바일 단말부(300)로부터 제공받는 방식으로 획득할 수 있다.
한편, 디스플레이부(400) 및 모바일 단말부(300)는 각각 제1 내지 제N 디스플레이 디바이스(400-1 ~ 400-N, 예: 제1 내지 제N HMD) 및 제1 내지 제N 모바일 단말(300-1 ~ 300-N, 예: 제1 내지 제N 스마트폰)을 포함할 수 있다. 이에 따라, 제어부(200)는 제1 내지 제N 모바일 단말(300-1 ~ 300-N)에 각각 접속된 제1 내지 제N 디스플레이 디바이스(400-1 ~ 400-N)를 통해 출력되는 각 가상 현실 영상의 재생을 제어할 수 있다.
즉, 본 실시예는 PC형 기반의 1인칭 가상현실 어트랙션이 아닌, 도 2에 도시된 것과 같이 모바일 기반으로 가상현실 어트랙션을 구현함으로써 가상현실 어트랙션의 다인승화가 가능한 실시예로 구현될 수 있다. 이때, 제어부(200)와 제1 내지 제N 모바일 단말(300-1 ~ 300-N) 간의 통신 방식으로는 Bluetooth, WIFI 또는 NFC(Near Field Communication)와 같은 무선 통신 방식이 채용될 수 있으며, 이를 위해 제어부(200) 및 모바일 단말부(300)에는 각각 통신 인터페이스(예: Blutooth Procesoor)가 탑재되어 있을 수 있다.
도 3은 본 발명의 일 실시예에 따른 가상 현실 영상 시스템의 동작 방법을 설명하기 위한 흐름도이다.
도 3을 참조하여 본 발명의 일 실시예에 따른 가상 현실 영상 시스템의 동작 방법을 설명하면, 먼저 제어 컴퓨팅 디바이스부(100)는 디스플레이부(400)를 통해 출력되는 가상 현실 영상의 재생을 제어하기 위한 영상 제어 정보를 최초 생성한다(S100).
S100 단계에서 생성되는 영상 제어 정보는 모션 시뮬레이터를 제어하기 위한 모션 데이터, 모바일 단말부(300)에 내장된 어플리케이션으 구동을 제어하기 위한 어플리케이션 제어 명령, 및 디스플레이부(400)를 통해 출력되는 가상 현실 영상의 프레임 정보를 포함할 수 있다.
또한, S100 단계에서 제어 컴퓨팅 디바이스부(100)는 미리 설정된 프레임 설정 범위에서 모바일 단말부(300)의 고유 설정 프레임에 해당하는 프레임으로서 프레임 정보를 생성할 수 있다.
이어서, 제어부(200)는 제어 컴퓨팅 디바이스부(100)로부터 S100 단계에서 생성된 영상 제어 정보를 1차 전송받는다(S200). S200 단계에서 제어부(200)는 제어 컴퓨팅 디바이스부(100)로부터 1차 전송받은 영상 제어 정보를 내부에 구비되느 메모리 소자에 저장할 수 있다.
이어서, 제어 컴퓨팅 디바이스부(100)는 트리거 신호를 제어부(200)로 전송한다.
이어서, 제어부(200)는 제어 컴퓨팅 디바이스부(100)로부터 트리거 신호를 전송받은 경우, 모바일 단말부(300)로 영상 제어 정보를 전송한다(S400). 즉, 제어부(200)는 제어 컴퓨팅 디바이스부(100)로부터 트리거 신호가 전소오디면 S200 단계에서 저장한 영상 제어 정보를 모바일 단말부(300)로 전송함으로써 가상 현실 영상의 재생을 제어한다.
이어서, 모바일 단말부(300)는 제어부(200)로부터 영상 제어 정보를 전송받아 내장된 어플리케이션을 기반으로 가상 현실 영상을 디스플레이부(400)를 통해 출력한다(S500). S500 단계에서 디스플레이부(400)를 통해 출력되는 가상 현실 영상은 전술한 것과 같이 모션 데이터 및 어플리케이션 제어 명령을 토대로 모션 시뮬레이터의 모션과 동기화될 수 있다. 또한, S500 단계에서 모바일 단말부(300)는 어플리케이션을 기반으로, S100 단계에서 고유 설정 프레임에 해당하는 프레임으로서 생성되어 제어부(200)로부터 전송받은 프레임 정보에 따라 가상 현실 영상을 디스플레이부(400)를 통해 출력할 수 있다.
한편, 디스플레이부(400) 및 모바일 단말부(300)는 각각 제1 내지 제N 디스플레이 디바이스(400-1 ~ 400-N) 및 제1 내지 제N 모바일 단말(300-1 ~ 300-N)을 포함할 수 있다. 이에 따라, S400 단계에서 제어부(200)는 제1 내지 제N 모바일 단말(300-1 ~ 300-N)로 영상 제어 정보를 전송하여 제1 내지 제N 모바일 단말(300-1 ~ 300-N)에 각각 접속된 제1 내지 제N 디스플레이 디바이스(400-1 ~ 400-N)를 통해 출력되는 각 가상 현실 영상으 재생을 제어할 수도 있다.
이와 같이 본 실시예는 모바일 기반으로 가상현실 어트랙션을 구현함으로써 가상현실 어트랙션의 다인승화가 가능하고, 최상위 컨트롤러로부터 모바일 단말로 연결되는 신호 라인을 통해 송수신되는 데이터를 최소화하는 방식을 적용하여 통신 손실로 인한 가상 현실 영상의 품질 저하를 방지할 수 있으며, 가상 현실 영상 프레임을 최적화하여 가상 현실 영상의 재생을 제어함으로써 가상 현실에서 발생할 수 있는 체험 불균형을 해소할 수 있다.
본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며 당해 기술이 속하는 기술분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.
100: 제어 컴퓨팅 디바이스부
200: 제어부
300: 모바일 단말부
300-1 ~ 300-N: 제1 내지 제N 모바일 단말
400: 디스플레이부
400-1 ~ 400-N: 제1 내지 제N 디스플레이 디바이스

Claims (14)

  1. 디스플레이부;
    상기 디스플레이부와 접속되며, 내장된 어플리케이션을 기반으로 가상 현실 영상을 상기 디스플레이부를 통해 출력하는 모바일 단말부;
    상기 가상 현실 영상의 재생을 제어하기 위한 영상 제어 정보를 상기 모바일 단말부로 전송하여 상기 디스플레이부를 통해 출력되는 가상 현실 영상의 재생을 제어하는 제어부; 및
    상기 영상 제어 정보를 최초 생성하여 상기 제어부로 1차 전송한 후, 트리거(trigger) 신호만을 상기 제어부로 전송하여 상기 제어부로부터 상기 모바일 단말부로의 상기 영상 제어 정보의 전송을 제어하는 제어 컴퓨팅 디바이스부;
    를 포함하고,
    상기 영상 제어 정보는, 모션 시뮬레이터를 제어하기 위한 모션 데이터, 상기 어플리케이션의 구동을 제어하기 위한 어플리케이션 제어 명령, 및 상기 디스플레이부를 통해 출력되는 가상 현실 영상의 프레임 정보를 포함하고,
    상기 디스플레이부를 통해 출력되는 가상 현실 영상은, 상기 모션 데이터 및 상기 어플리케이션 제어 명령을 토대로 상기 모션 시뮬레이터의 모션과 동기화되는 것을 특징으로 하는 가상 현실 영상 시스템.
  2. 제1항에 있어서,
    상기 제어부는, 상기 제어 컴퓨팅 디바이스부로부터 1차 전송되는 상기 영상 제어 정보를 저장한 후, 차후 상기 제어 컴퓨팅 디바이스부로부터 상기 트리거 신호가 전송되면 상기 저장한 영상 제어 정보를 상기 모바일 단말부로 전송함으로써 상기 가상 현실 영상의 재생을 제어하는 것을 특징으로 하는 가상 현실 영상 시스템.
  3. 삭제
  4. 삭제
  5. 제1항에 있어서,
    상기 제어 컴퓨팅 디바이스부는, 미리 설정된 프레임 설정 범위에서 상기 모바일 단말부의 고유 설정 프레임에 해당하는 프레임으로서 상기 프레임 정보를 생성하고,
    상기 모바일 단말부는, 상기 어플리케이션을 기반으로, 상기 제어부로부터 전송받은 프레임 정보에 따라 상기 가상 현실 영상을 상기 디스플레이부를 통해 출력하는 것을 특징으로 하는 가상 현실 영상 시스템.
  6. 제1항에 있어서,
    상기 디스플레이부 및 상기 모바일 단말부는, 각각 제1 내지 제N 디스플레이디바이스 및 제1 내지 제N 모바일 단말을 포함하고,
    상기 제어부는, 상기 제1 내지 제N 모바일 단말로 상기 영상 제어 정보를 전송하여 상기 제1 내지 제N 모바일 단말에 각각 접속된 상기 제1 내지 제N 디스플레이 디바이스를 통해 출력되는 각 가상 현실 영상의 재생을 제어하는 것을 특징으로 하는 가상 현실 영상 시스템.
  7. 제1항에 있어서,
    상기 디스플레이부는, 사용자의 머리에 장착되어 상기 사용자에게 상기 가상 현실 영상을 제공하는 HMD(Head Mounted Display)를 포함하는 것을 특징으로 하는 가상 현실 영상 시스템.
  8. 제어 컴퓨팅 디바이스부가, 디스플레이부를 통해 출력되는 가상 현실 영상의 재생을 제어하기 위한 영상 제어 정보를 최초 생성하는 단계;
    제어부가, 상기 제어 컴퓨팅 디바이스부로부터 상기 영상 제어 정보를 1차 전송받는 단계;
    상기 제어 컴퓨팅 디바이스부가, 상기 제어부로 트리거(trigger) 신호를 전송하는 단계;
    상기 제어부가, 상기 제어 컴퓨팅 디바이스부로부터 상기 트리거 신호를 전송받은 경우, 모바일 단말부로 상기 영상 제어 정보를 전송하는 단계; 및
    상기 모바일 단말부가, 상기 제어부로부터 상기 영상 제어 정보를 전송받아 내장된 어플리케이션을 기반으로 상기 가상 현실 영상을 상기 디스플레이부를 통해 출력하는 단계;
    를 포함하고,
    상기 영상 제어 정보는, 모션 시뮬레이터를 제어하기 위한 모션 데이터, 상기 어플리케이션의 구동을 제어하기 위한 어플리케이션 제어 명령, 및 상기 디스플레이부를 통해 출력되는 가상 현실 영상의 프레임 정보를 포함하고,
    상기 디스플레이부를 통해 출력되는 가상 현실 영상은, 상기 모션 데이터 및 상기 어플리케이션 제어 명령을 토대로 상기 모션 시뮬레이터의 모션과 동기화되는 것을 특징으로 하는 가상 현실 영상 시스템의 동작 방법.
  9. 제8항에 있어서,
    상기 영상 제어 정보를 1차 전송받는 단계에서, 상기 제어부는, 상기 제어 컴퓨팅 디바이스부로부터 1차 전송받은 상기 영상 제어 정보를 저장하고,
    상기 영상 제어 정보를 전송하는 단계에서, 상기 제어부는, 상기 제어 컴퓨팅 디바이스부로부터 상기 트리거 신호가 전송되면 상기 저장한 영상 제어 정보를 상기 모바일 단말부로 전송함으로써 상기 가상 현실 영상의 재생을 제어하는 것을 특징으로 하는 가상 현실 영상 시스템의 동작 방법.
  10. 삭제
  11. 삭제
  12. 제8항에 있어서,
    상기 영상 제어 정보를 최초 생성하는 단계에서, 상기 제어 컴퓨팅 디바이스부는, 미리 설정된 프레임 설정 범위에서 상기 모바일 단말부의 고유 설정 프레임에 해당하는 프레임으로서 상기 프레임 정보를 생성하고,
    상기 가상 현실 영상을 상기 디스플레이부를 통해 출력하는 단계에서, 상기 모바일 단말부는, 상기 어플리케이션을 기반으로, 상기 제어부로부터 전송받은 프레임 정보에 따라 상기 가상 현실 영상을 상기 디스플레이부를 통해 출력하는 것을 특징으로 하는 가상 현실 영상 시스템의 동작 방법.
  13. 제8항에 있어서,
    상기 디스플레이부 및 상기 모바일 단말부는, 각각 제1 내지 제N 디스플레이디바이스 및 제1 내지 제N 모바일 단말을 포함하고,
    상기 영상 제어 정보를 전송하는 단계에서, 상기 제어부는, 상기 제1 내지 제N 모바일 단말로 상기 영상 제어 정보를 전송하여 상기 제1 내지 제N 모바일 단말에 각각 접속된 상기 제1 내지 제N 디스플레이 디바이스를 통해 출력되는 각 가상 현실 영상의 재생을 제어하는 것을 특징으로 하는 가상 현실 영상 시스템의 동작 방법.
  14. 제8항에 있어서,
    상기 디스플레이부는, 사용자의 머리에 장착되어 상기 사용자에게 상기 가상 현실 영상을 제공하는 HMD(Head Mounted Display)를 포함하는 것을 특징으로 하는 가상 현실 영상 시스템의 동작 방법.
KR1020170184183A 2017-12-29 2017-12-29 가상 현실 영상 시스템 및 그 동작 방법 KR101997066B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170184183A KR101997066B1 (ko) 2017-12-29 2017-12-29 가상 현실 영상 시스템 및 그 동작 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170184183A KR101997066B1 (ko) 2017-12-29 2017-12-29 가상 현실 영상 시스템 및 그 동작 방법

Publications (1)

Publication Number Publication Date
KR101997066B1 true KR101997066B1 (ko) 2019-07-08

Family

ID=67255932

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170184183A KR101997066B1 (ko) 2017-12-29 2017-12-29 가상 현실 영상 시스템 및 그 동작 방법

Country Status (1)

Country Link
KR (1) KR101997066B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160139461A (ko) * 2015-05-27 2016-12-07 엘지전자 주식회사 헤드 마운티드 디스플레이 및 그 제어 방법
KR20170013653A (ko) * 2015-07-28 2017-02-07 재단법인대구경북과학기술원 Hmd형 가상현실 콘텐츠 모니터링 및 제어 시스템

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160139461A (ko) * 2015-05-27 2016-12-07 엘지전자 주식회사 헤드 마운티드 디스플레이 및 그 제어 방법
KR20170013653A (ko) * 2015-07-28 2017-02-07 재단법인대구경북과학기술원 Hmd형 가상현실 콘텐츠 모니터링 및 제어 시스템

Similar Documents

Publication Publication Date Title
JP7132280B2 (ja) Ｖｒ観戦のための拡大された視野再レンダリング
JP6526820B2 (ja) 乗り物酔いの監視及び、酔いを抑えるための追加音の付与
US9370718B2 (en) System and method for delivering media over network
EP2713369B1 (en) Immersive storytelling environment
US11806615B2 (en) Asynchronous virtual reality interactions
TW201337643A (zh) 具有輔助觸碰控制器的內容系統
JP2015523886A (ja) クラウド型ゲームシステムにおける描画リソースの動的割り当て
JP2020527300A (ja) ビデオ伝送方法、サーバ、ｖｒ再生端末及びコンピュータ読み取り可能な記憶媒体
KR20180110207A (ko) 제어 장치, 제어 방법, 및 정보 기억 매체
JP7382954B2 (ja) Ｖｒ酔い低減システム、ヘッドマウントディスプレイ、ｖｒ酔い低減方法及びプログラム
US10437055B2 (en) Master device, slave device, and control method therefor
US20160179206A1 (en) Wearable interactive display system
US10536682B2 (en) Method for reproducing an item of audiovisual content having haptic actuator control parameters and device implementing the method
JP6688378B1 (ja) コンテンツ配信システム、配信装置、受信装置及びプログラム
KR101997066B1 (ko) 가상 현실 영상 시스템 및 그 동작 방법
JP6756777B2 (ja) 情報処理装置および音発生方法
US11294615B2 (en) Incorporating external guests into a virtual reality environment
CN114026526A (zh) 程序、信息处理方法及信息处理装置
US11364442B2 (en) Interactive device
EP4306192A1 (en) Information processing device, information processing terminal, information processing method, and program
WO2021193400A1 (ja) 情報処理装置および画像配信方法
JP2023135565A (ja) 仮想現実空間の提供方法
WO2020100543A1 (ja) 情報処理システム、触覚提示装置、触覚提示方法、および記憶媒体
US20140006485A1 (en) Content providing system and control method thereof
JP6133567B2 (ja) ゲームシステム、ゲーム装置、ゲームプログラム、およびゲーム処理制御方法

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant