KR20180137816A - 가상 현실 체험 서비스를 제공하는 서버, 사용자 단말 및 방법 - Google Patents

가상 현실 체험 서비스를 제공하는 서버, 사용자 단말 및 방법 Download PDF

Info

Publication number
KR20180137816A
KR20180137816A KR1020170077548A KR20170077548A KR20180137816A KR 20180137816 A KR20180137816 A KR 20180137816A KR 1020170077548 A KR1020170077548 A KR 1020170077548A KR 20170077548 A KR20170077548 A KR 20170077548A KR 20180137816 A KR20180137816 A KR 20180137816A
Authority
KR
South Korea
Prior art keywords
user
camera
virtual
state
tracking information
Prior art date
Application number
KR1020170077548A
Other languages
English (en)
Other versions
KR102111501B1 (ko
Inventor
김강태
김이길
Original Assignee
주식회사 케이티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 케이티 filed Critical 주식회사 케이티
Priority to KR1020170077548A priority Critical patent/KR102111501B1/ko
Priority to US16/011,904 priority patent/US10754423B2/en
Publication of KR20180137816A publication Critical patent/KR20180137816A/ko
Application granted granted Critical
Publication of KR102111501B1 publication Critical patent/KR102111501B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/285—Analysis of motion using a sequence of stereo image pairs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H04N13/279—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0181—Adaptation to the pilot/driver
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/16—Indexing scheme for image data processing or generation, in general involving adaptation to the client's capabilities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Optics & Photonics (AREA)
  • Software Systems (AREA)
  • Business, Economics & Management (AREA)
  • Geometry (AREA)
  • Computing Systems (AREA)
  • Tourism & Hospitality (AREA)
  • Computer Hardware Design (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

서버에 의해 수행되는 가상 현실 체험 서비스 제공 방법은 가상 현실 공간에 소프트웨어적으로 구현된 복수의 가상 카메라를 배치하는 단계, 사용자 단말로부터 사용자 추적 정보를 수신하는 단계, 사용자 추적 정보에 기초하여 사용자의 상태를 판단하는 단계, 사용자의 상태에 기초하여 복수의 가상 카메라 각각의 동작 여부 및 해상도를 결정하는 단계, 복수의 가상 카메라에 해당하는 영상을 렌더링하는 단계, 렌더링된 복수의 영상을 스티칭하는 단계 및 스티칭된 영상을 사용자 단말로 전송하는 단계를 포함할 수 있다.

Description

가상 현실 체험 서비스를 제공하는 서버, 사용자 단말 및 방법{SERVER, DEVICE AND METHOD FOR PROVIDING VIRTUAL REALITY EXPERIENCE SERVICE}
본 발명은 가상 현실 체험 서비스를 제공하는 서버, 사용자 단말 및 방법에 관한 것이다.
가상 현실(VR; Virtual Reality) 기술을 이용한 가상 현실 체험 서비스는 사용자가 실공간의 고정된 위치에서 가상 현실을 체험하는 서비스에서 실공간을 돌아다니면서 체험하는 서비스로 발전하고 있다.
이러한, 가상 현실 체험 서비스는 물리 세계를 촬영하여 해당 물리 세계를 가상 공간으로서 스트리밍하는 서비스와 그래픽으로 제작된 3차원 이미지로 이루어진 가상 공간을 스트리밍하는 서비스로 나뉘어져 있다.
물리 세계를 가상 공간으로서 스트리밍하는 서비스는 6대의 물리 카메라를 통해 6방향의 물리 세계를 촬영하고, 각 물리 카메라에 의해 촬영된 영상을 단일 영상으로 스트칭한 후, 스티칭된 영상을 사용자 단말로 전송하는 방식이다.
이와 달리, 그래픽으로 제작된 3차원 이미지로 이루어진 가상 공간을 스트리밍하는 서비스는 3차원 이미지로 이루어진 그래픽 가상 공간이 제작되고, 그래픽 가상 공간 중 사용자의 시점에 해당하는 영상만을 사용자 단말로 전송하는 방식이다. 이와 같은 방식의 경우, 사용자의 시점이 이동하는 경우, 시점 이동에 따라 변경되는 영상의 전송 지연으로 사용자 단말의 화면에서 떨림 현상(즉, Juddering 또는 Jittering 현상)이 심하게 일어난다. 이러한 떨림 현상은 사용자에게 멀미감을 줄 수 있다.
선행 기술인 한국등록특허 제1577627호에는 1대의 가상 카메라를 이용하여 사용자의 위치에 따라 가상 카메라의 파라미터를 설정하고, 가상 카메라의 파라미터에 기초하여 복수의 에이전트에서 각각의 재생 영역에 따라 분할된 콘텐츠를 렌더링하는 구성이 개시되어 있다.
그래픽으로 제작된 3차원 이미지로 이루어진 가상 공간을 스트리밍하는 서비스에 있어서, 떨림 현상의 문제점을 해결하기 위한 방법으로서, 물리 세계를 가상 공간으로서 스트리밍하는 서비스에서 이용되던 방식을 변형하여 상황에 따라 다르게 스티칭된 영상을 생성하여 사용자 단말로 전송하고자 한다.
예를 들어. 가상 현실 공간에 복수의 가상 카메라를 배치하고, 복수의 가상 카메라에 해당하는 영상을 렌더링하고자 한다. 또한, 사용자 단말의 사용자 추적 정보에 기초하여 사용자의 상태를 판단하고, 사용자의 상태에 따라 복수의 가상 카메라 각각의 동작 여부 및 해상도를 결정하고자 한다. 또한, 사용자의 상태에 기초하여 결정된 가상 카메라의 동작 여부 및 해상도에 따라 복수의 가상 카메라에 해당하는 영상을 렌더링하고, 렌더링된 복수의 영상을 스티칭하여 사용자 단말로 전송하고자 한다. 다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 제 1 측면에 따른 서버에 의해 수행되는 가상 현실 체험 서비스 제공 방법은 가상 현실 공간에 소프트웨어적으로 구현된 복수의 가상 카메라를 배치하는 단계; 사용자 단말로부터 사용자 추적 정보를 수신하는 단계; 상기 사용자 추적 정보에 기초하여 사용자의 상태를 판단하는 단계; 상기 사용자의 상태에 기초하여 상기 복수의 가상 카메라 각각의 동작 여부 및 해상도를 결정하는 단계; 상기 복수의 가상 카메라에 해당하는 영상을 렌더링하는 단계; 상기 렌더링된 복수의 영상을 스티칭하는 단계; 및 상기 스티칭된 영상을 상기 사용자 단말로 전송하는 단계를 포함할 수 있다.
본 발명의 제 2 측면에 따른 가상 현실 체험 서비스를 제공하는 사용자 단말은 사용자의 위치를 추적하여 사용자 추적 정보를 생성하는 사용자 추적 정보 생성부; 상기 사용자 추적 정보를 서버로 전송하는 사용자 추적 정보 전송부; 가상 현실 공간에 소프트웨어적으로 구현된 복수의 가상 카메라로부터 렌더링된 복수의 영상이 스티칭된 영상을 상기 서버로부터 수신하는 스티칭 영상 수신부; 및 상기 스티칭된 영상에서 상기 사용자의 시점에 해당하는 영상을 출력하는 출력부를 포함하고, 상기 서버는 상기 사용자 추적 정보에 기초하여 상기 사용자의 상태를 판단하고, 상기 사용자의 상태에 기초하여 상기 복수의 가상 카메라 각각의 동작 여부 및 해상도를 결정할 수 있다.
본 발명의 제 3 측면에 따른 가상 현실 체험 서비스를 제공하는 서버는 가상 현실 공간에 복수의 가상 카메라를 배치하는 가상 카메라 배치부; 사용자 단말로부터 사용자 추적 정보를 수신하는 사용자 추적 정보 수신부; 상기 사용자 추적 정보에 기초하여 사용자의 상태를 판단하고, 상기 판단된 사용자의 상태에 기초하여 상기 복수의 가상 카메라 각각의 동작 여부 및 해상도를 결정하는 가상 카메라 제어부; 상기 복수의 가상 카메라에 해당하는 영상을 렌더링하는 렌더링부; 상기 렌더링된 복수의 영상을 스티칭하는 스티칭부; 및 상기 스티칭된 영상을 상기 사용자 단말로 전송하는 영상 전송부를 포함할 수 있다.
상술한 과제 해결 수단은 단지 예시적인 것으로서, 본 발명을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 기재된 추가적인 실시예가 존재할 수 있다.
전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 가상 현실 공간에 복수의 가상 카메라를 배치함으로써 사용자가 가상 현실 공간에서 자유롭게 이동할 수 있도록 하고, 사용자가 응시하는 시점에 해당하는 영상 및 그 시점의 주변 영상들을 모두 제공할 수 있다.
또한, 사용자 단말의 사용자 추적 정보에 기초하여 사용자의 상태를 판단하고, 사용자의 상태에 따라 복수의 가상 카메라 각각의 동작 여부를 결정하고, 해상도를 조절함으로써 렌더링 부하를 줄일 수 있다.
또한, 가상 카메라의 동작 여부 및 해상도에 따라 복수의 가상 카메라에 해당하는 영상을 렌더링하고, 렌더링된 복수의 영상을 스티칭하여 사용자 단말로 전송함으로써 서버의 스트리밍 속도를 향상시킬 수 있고, 사용자 단말에서의 화면 떨림 현상을 최소화할 수 있다.
또한, 서버로부터 스티칭된 영상을 수신한 사용자 단말은 서버로부터 추가적인 영상을 수신하지 않더라도 사용자의 시점 이동에 따라, 이동된 시점에 해당하는 영상 및 주변 영상들을 화면에 출력할 수 있고, 시점 이동시의 화면 떨림 현상을 최소화할 수 있다.
도 1a 및 1b는 본 발명의 일 실시예에 따른, 가상 현실 체험 서비스 제공 시스템의 구성도이다.
도 2는 본 발명의 일 실시예에 따른, 도 1a 및 1b에 도시된 서버의 블록도이다.
도 3a 내지 3f는 본 발명의 일 실시예에 따른, 복수의 가상 카메라의 배치 및 스티칭된 영상을 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따른, 도 1a 및 1b에 도시된 사용자 단말의 블록도이다.
도 5a 내지 5b는 본 발명의 일 실시예에 따른, 스티칭된 영상을 360도 뷰 이미지로 생성하는 방법을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른, 서버에서 가상 현실 체험 서비스 제공 방법을 나타낸 흐름도이다.
도 7은 본 발명의 일 실시예에 따른, 사용자 단말에서 가상 현실 체험 서비스 제공 방법을 나타낸 흐름도이다.
도 8은 본 발명의 다른 실시예에 따른, 가상 현실 체험 서비스 제공 방법을 나타낸 동작 흐름도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1 개의 유닛이 2 개 이상의 하드웨어를 이용하여 실현되어도 되고, 2 개 이상의 유닛이 1 개의 하드웨어에 의해 실현되어도 된다.
본 명세서에 있어서 단말 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말 또는 디바이스와 연결된 서버에서 대신 수행될 수도 있다. 이와 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능 중 일부도 해당 서버와 연결된 단말 또는 디바이스에서 수행될 수도 있다.
이하, 첨부된 구성도 또는 처리 흐름도를 참고하여, 본 발명의 실시를 위한 구체적인 내용을 설명하도록 한다.
도 1a 및 1b는 본 발명의 일 실시예에 따른, 가상 현실 체험 서비스 제공 시스템의 구성도이다.
도 1a 및 1b를 참조하면, 가상 현실 체험 서비스 제공 시스템은 서버(100) 및 사용자 단말(110)을 포함할 수 있다. 다만, 이러한 도 1a 및 1b의 가상 현실 체험 서비스 제공 시스템은 본 발명의 일 실시예에 불과하므로 도 1a 및 1b를 통해 본 발명이 한정 해석되는 것은 아니며, 본 발명의 다양한 실시예들에 따라 도 1a 및 1b와 다르게 구성될 수도 있다.
일반적으로, 도 1a 및 1b의 가상 현실 체험 서비스 제공 시스템의 각 구성요소들은 네트워크(120)를 통해 연결된다. 네트워크는 단말들 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 3G, 4G, 5G, 3GPP(3rd Generation Partnership Project), LTE(Long Term Evolution), WIMAX(World Interoperability for Microwave Access), 와이파이(Wi-Fi), 블루투스 통신, 적외선 통신, 초음파 통신, 가시광 통신(VLC: Visible Light Communication), 라이파이(LiFi) 등이 포함되나 이에 한정되지는 않는다.
서버(100)는 사용자가 착용하고 있는 사용자 단말(110)을 통해 가상 현실 체험 서비스를 제공할 수 있다.
서버(100)는 그래픽으로 제작된 3차원 이미지로 이루어진 가상 공간을 스트리밍하는 서비스를 제공함에 있어서, 떨림 현상의 문제점을 해결하기 위한 방법으로서, 물리 세계를 가상 공간으로서 스트리밍하는 구성을 변형하여 상황에 따라 다르게 스티칭된 영상을 생성하여 사용자 단말(110)로 전송할 수 있다.
예를 들어, 서버(100)는 그래픽으로 제작된 3차원 이미지로 이루어진 가상 공간의 각 방향에서의 영상을 렌더링하고, 렌더링된 복수의 영상을 스티칭할 수 있다. 서버(100)는 스티칭된 영상을 사용자 단말(110)로 전송할 수 있다.
하지만, 이와 같이 그래픽으로 제작된 3차원 이미지로 이루어진 가상 공간으로부터 생성된 스티칭 영상은 물리 세계를 촬영한 영상을 스티칭한 영상에 비해 그 용량이 상당히 크다. 따라서, 물리 세계를 촬영한 영상을 스티칭하는 구성을 그대로 적용할 경우 네트워크 부하가 지나치게 커지거나, 경우에 따라서는 사용자 단말(110)의 성능에 따라 서비스가 불가능한 경우가 발생할 수도 있다.
본 발명에서는 사용자 상태에 기초하여 가상 공간의 각 방향에 대한 가상 카메라의 동작 여부 및 해상도를 제어하여 이러한 문제점을 해결하고 있다.
구체적으로, 서버(100)는 가상 현실 공간에 소프트웨어적으로 구현된 복수의 가상 카메라를 배치할 수 있다. 예를 들어, 복수의 가상 카메라는 그래픽으로 제작된 가상 현실 공간을 형성하는 시각화된 3차원 이미지를 6개의 기설정된 방향(상, 하, 좌, 우, 전, 후)에서 투영할 수 있다. 복수의 가상 카메라는 상면, 하면, 좌면, 우면, 전면 및 후면 각각에 대응하는 상면 카메라, 하면 카메라, 좌면 카메라, 우면 카메라, 전면 카메라 및 후면 카메라 중 적어도 하나를 포함할 수 있다. 예를 들어, 가상 현실 공간은 그래픽으로 제작된 3차원 이미지로 이루어진 가상 공간일 수 있다.
서버(100)는 사용자 단말(110)로부터 사용자 추적 정보를 수신하고, 사용자 추적 정보에 기초하여 사용자의 상태(예컨대, 이동 상태 또는 정지 상태)를 판단할 수 있다. 여기서, 사용자 추적 정보는 사용자 단말(110)의 움직임 또는 이동 방향 변화에 따라 측정된 정보일 수 있다.
서버(100)는 사용자 단말(110)로부터 사용자 추적 정보를 수신하고, 사용자 추적 정보에 기초하여 사용자의 상태(예컨대, 이동 상태 또는 정지 상태)를 판단할 수 있다. 여기서, 사용자 추적 정보는 사용자 단말(110)의 움직임 또는 이동 방향 변화에 따라 측정된 정보일 수 있다.
서버(100)는 사용자의 상태에 기초하여 복수의 가상 카메라 각각의 동작 여부 및 해상도를 결정할 수 있다.
서버(100)는 사용자의 상태에 기초하여 결정된 복수의 가상 카메라 각각의 동작 여부 및 해상도에 따라 복수의 가상 카메라에 해당하는 영상을 렌더링할 수 있다.
서버(100)는 렌더링된 복수의 영상을 스티칭하고, 스티칭된 영상을 사용자 단말(110)에게 전송할 수 있다.
사용자 단말(110)은 사용자의 머리에 착용하는 디스플레이 장치로, 서버(100)로부터 수신된 스티칭된 영상에서 사용자의 시점에 해당하는 영상을 출력할 수 있다. 예를 들어, 사용자 단말(110)은 저가형 HMD(Head Mounted Device)로서 스마트폰을 포함하는 모바일 단말을 거치함으로써 스마트폰을 통해 VR 컨텐츠를 제공하는 장치일 수 있다. 다른 예를 들어, 사용자 단말(110)은 자체적으로 VR 컨텐츠를 제공하는 고가형 HMD일 수도 있다.
사용자 단말(110)은 다수의 센서 예를 들어, 위치 센서 또는 관성 센서를 통해 사용자 단말(110)의 위치 및 사용자의 시선 방향을 추적할 수 있다.
사용자 단말(110)은 이러한 사용자의 사용자 추적 정보를 서버(100)에게 전송할 수 있다. 여기서, 사용자 추적 정보는 사용자 단말(110)의 위치값, 회전값, 가속도 및 각속도 중 적어도 하나를 포함할 수 있다.
사용자 단말(110)은 서버(100)로부터 스티칭된 영상을 수신한 이후, 스티칭된 영상을 이용하여 사용자의 이동 시점에 해당하는 영상 및 주변 영상들을 화면에 출력할 수 있다. 이러한 출력 방식은 종래의 스트리밍 방식에서의 시점 이동에 따라 변경되는 영상의 전송 지연으로 발생되는 사용자 단말(110)의 화면 떨림 현상을 최소화할 수 있다.
사용자의 이동 범위가 좁은 경우, 도 1a와 같은 시스템으로 사용자 단말(110)의 관성 센서로부터 측정된 사용자 추적 정보에 기초하여 서버(100)에서 사용자의 이동 위치 및 회전 방향을 계산하여 사용자의 상태를 판단할 수 있다.
다른 실시예로서, 가상 현실 체험 서비스 제공 시스템은 도 1b와 같이, 사용자 단말(110)의 이동 위치를 트레킹하는 위치 추적 장치(130)와 위치 추적 장치(130)로부터 수신된 사용자 단말(110)의 위치 데이터를 서버(100)로 전송하는 게이트웨이(140)를 더 포함할 수 있다. 위치 추적 장치(130)는 예를 들면, RGB 카메라, 초음파센서, 적외선 센서 등을 포함할 수 있다.
이하에서는 도 1a 및 1b의 가상 현실 체험 서비스 제공 시스템의 각 구성요소의 동작에 대해 보다 구체적으로 설명한다.
도 2는 본 발명의 일 실시예에 따른, 도 1a 및 1b에 도시된 서버(100)의 블록도이다.
도 2를 참조하면, 서버(100)는 가상 카메라 배치부(200), 사용자 추적 정보 수신부(210), 가상 카메라 제어부(220), 사용자 상태 판단부(222), 렌더링부(230), 스티칭부(240) 및 영상 전송부(250)를 포함할 수 있다. 여기서, 가상 카메라 제어부(220)는 사용자 상태 판단부(222)와 연결될 수 있다. 다만, 도 2에 도시된 서버(100)는 본 발명의 하나의 구현 예에 불과하며, 도 2에 도시된 구성요소들을 기초로 하여 여러 가지 변형이 가능하다.
가상 카메라 배치부(200)는 가상 현실 공간에 복수의 가상 카메라를 배치할 수 있다. 가상 현실 공간은 예를 들어, 그래픽으로 제작된 3차원 이미지로 이루어진 공간일 수 있다. 복수의 가상 카메라는 소프트웨어적으로 구현된 카메라이고, 6 방향 각각에 대응하여 배치될 수 있다. 이러한, 복수의 가상 카메라를 도 3a 및 3b를 참조하여 설명하기로 한다.
잠시 도 3a를 참조하면, 가상 카메라 배치부(200)는 각 가상 카메라마다 촬영 방향 및 위치 정보를 설정하고, 설정된 정보에 기초하여 가상 현실 공간에 복수의 가상 카메라를 배치할 수 있다. 예를 들면, 복수의 가상 카메라는 상면, 하면, 좌면, 우면, 전면 및 후면 각각에 대응하는 상면 카메라(301), 하면 카메라(303), 좌면 카메라(305), 우면 카메라(307), 전면 카메라(309) 및 후면 카메라(311) 중 적어도 하나를 포함할 수 있다.
예를 들면, 가상 카메라 배치부(200)는 가상 현실 공간의 중앙에 복수의 카메라(301 내지 311)를 위치시키되, 가상 현실 공간의 상부를 촬영하도록 중앙으로부터 기설정된 거리에, 상면에 대응하는 상면 카메라(301)를 배치하고, 가상 현실 공간의 하부를 촬영하도록 중앙으로부터 기설정된 거리에, 하면에 대응하는 하면 카메라(303)를 배치할 수 있다. 도 3b에는 가상 현실 공간에 복수의 카메라(301 내지 311)가 배치된 예가 도시되어 있다.
이러한, 복수의 가상 카메라는 물리 세계를 촬영하여 해당 물리 세계를 가상 공간으로서 스트리밍하는 서비스에서 현실 세계를 6대의 물리 카메라로 6방향에서 촬영하는 방식과 같은 원리로 가상 현실 공간에 배치될 수 있다.
다시 도 2로 돌아오면, 가상 카메라 배치부(200)는 가상 현실 공간의 형태와 크기에 기초하여 복수의 가상 카메라를 배치 규칙을 설정할 수 있다. 예를 들면, 가상 카메라 배치부(200)는 가상의 룸에 대한 기준 면적, 종횡비율 등에 따라 복수의 가상 카메라 간의 배치 간격을 조절할 수 있다.
사용자 추적 정보 수신부(210)는 사용자 단말(110)로부터 사용자 추적 정보를 수신할 수 있다. 여기서, 사용자 추적 정보는 사용자 단말(110)의 이동 또는 움직임 변화에 따라 측정된 정보일 수 있다. 사용자 추적 정보에는 예를 들면, 사용자 단말(110)의 위치값, 회전값, 가속도 및 각속도 중 적어도 하나가 포함될 수 있다.
사용자 추적 정보 수신부(210)는 사용자 단말(110)이 서버(100)에 접속한 경우, 사용자 단말(110)에게 사용자 추적 정보를 요청할 수 있고, 사용자 단말(110)로부터 사용자 추적 정보를 실시간으로 수신하거나 기설정된 주기에 따라 수신할 수 있다.
가상 카메라 제어부(220)는 사용자 추적 정보에 기초하여 사용자의 상태를 판단할 수 있다. 여기서, 사용자의 상태는 예를 들면, 이동 상태 또는 정지 상태를 포함할 수 있다.
사용자 상태 판단부(222)는 시간에 따라 사용자의 위치 값이 변경되는 경우, 사용자의 상태를 이동 상태로 판단할 수 있다.
예를 들어, 사용자 상태 판단부(222)는 사용자 추적 정보에 기초하여 사용자의 이동 속도를 계산하고, 계산된 사용자 이동 속도에 기초하여 사용자의 상태를 이동 상태 또는 정지 상태 중 어느 하나를 판단할 수 있다. 예를 들면, 사용자 상태 판단부(222)는 사용자의 이동 속도가 0인 경우 또는 이동 속도가 기설정된 속도보다 작은 경우, 사용자의 상태를 정지 상태로 판단할 수 있다.
가상 카메라 제어부(220)는 판단된 사용자의 상태에 기초하여 복수의 가상 카메라 각각의 동작 여부 및 해상도를 결정할 수 있다.
예를 들어, 가상 카메라 제어부(220)는 사용자의 상태가 이동 상태인 경우, 사용자가 뒤를 보면서 전진하는 것은 불가능하므로 후면 카메라를 오프(Off)시켜 후면 카메라에 해당하는 영상의 렌더링을 중지시킬 수 있다.
다른 예를 들어, 가상 카메라 제어부(220) 사용자의 이동 속도가 기설정된 속도 이상인 경우, 예컨대, 사용자가 달리고 있는 것으로 판단된 경우, 후면 카메라 뿐만 아니라 좌면 카메라, 우면 카메라, 상면 카메라, 하면 카메라 중 적어도 하나를 추가로 오프시킬 수 있다. 적어도 하나의 가상 카메라를 추가로 오프시키는 이유는 사용자가 달리고 있는 경우에는 전면만을 응시할 확률이 높기 때문이다.
또한, 가상 카메라 제어부(220)는 사용자의 상태가 이동 상태인 경우, 상면 카메라, 하면 카메라, 좌면 카메라 및 우면 카메라 중 적어도 하나의 해상도를 전면 카메라의 해상도보다 낮게 설정할 수 있다. 예를 들어, 사용자가 이동하면서 영상을 시청하는 경우, 사용자의 양안은 카메라와 같이 모션 블러 현상이 발생하므로 전면 카메라를 제외한 나머지 카메라의 해상도를 낮춰도 사용자는 지각하기 어렵다. 또한, 가상 카메라 제어부(220)는 상면 카메라, 하면 카메라, 좌면 카메라 및 우면 카메라 중 적어도 하나의 해상도는 사용자의 이동 속도에 반비례하도록 설정할 수 있다. 예를 들어, 사용자가 빠르게 이동하는 경우, 사용자의 양안의 블러 현상이 더욱 심하게 발생하므로 전면 카메라를 제외한 나머지 카메라의 해상도를 많이 낮춰도 사용자는 지각하기 어렵다.
이렇게 사용자의 상태가 이동 상태일 때, 후면 카메라를 오프시키고, 전면 카메라를 제외한 나머지 카메라에 대한 해상도를 조절함으로써 각 카메라의 렌더링 부하를 낮출 수 있고, 스티칭된 영상의 크기를 대폭적으로 줄임으로써, 서버(100)의 영상 스트리밍 속도를 향상시킬 수 있다.
가상 카메라 제어부(220)는 사용자의 상태가 정지 상태인 경우, 상면 카메라, 하면 카메라, 좌면 카메라, 우면 카메라, 전면 카메라 및 후면 카메라 모두를 온(On)시킬 수 있다.
렌더링부(230)는 복수의 가상 카메라에 해당하는 영상을 렌더링할 수 있다. 여기서, 복수의 가상 카메라에 해당하는 영상은 그래픽으로 제작된 가상 현실 공간을 6방향(상, 하, 좌, 우, 전 및 후)에서 촬영한 3차원 이미지 영상일 수 있다.
렌더링부(230)는 온 상태인 복수의 가상 카메라를 렌더링할 수 있다. 예를 들어, 사용자의 상태가 이동 상태인 경우, 렌더링부(230)는 후면 카메라를 제외한 상면 카메라, 하면 카메라, 좌면 카메라, 우면 카메라 및 전면 카메라에 해당하는 영상을 렌더링할 수 있다.
예를 들어, 렌더링부(230)는 사용자의 상태가 이동 상태인 경우, 전면 카메라를 제외한 상면 카메라, 하면 카메라, 좌면 카메라, 우면 카메라에 해당하는 영상을 저해상도로 렌더링할 수 있다.
예를 들어, 렌더링부(230)는 사용자의 상태가 정지 상태인 경우, 상면 카메라, 하면 카메라, 좌면 카메라, 우면 카메라, 전면 카메라 및 후면 카메라 각각에 해당하는 영상을 렌더링할 수 있다. 상면 카메라, 하면 카메라, 좌면 카메라, 우면 카메라, 전면 카메라 및 후면 카메라 각각에 해당하는 영상은 도 3c와 같이 360도 영상으로 렌더링될 수 있다. 도 3d는 사용자 단말(110)에서 서버(100)로부터 수신된 영상을 렌더링하는 것을 나타내고 있다. 도 3e는 서버(100)에서 렌더링되는 영상(30)과 사용자 단말(110)에서 서버(100)로부터 수신된 영상(32)을 렌더링하는 것을 동시에 나타내고 있다.
스티칭부(240)는 렌더링된 복수의 영상을 스티칭할 수 있다. 예를 들어, 스티칭부(240)는 스티칭 알고리즘에 기초하여 렌더링된 복수의 영상을 스티칭할 수 있다. 스티칭부(240)는 렌더링된 복수의 영상을 연속된 단일 영상으로 스티칭할 수 있다. 이와 관련하여, 도 3f를 참조하여 영상을 스티칭하는 방법을 설명하기로 한다.
잠시, 도 3f를 참조하면, 스티칭부(240)는 각 가상 카메라의 배치 위치에 따라 렌더링된 복수의 영상을 스티칭할 수 있다. 예를 들면, 상면 카메라에 해당하는 영상(313), 하면 카메라에 해당하는 영상(315), 좌면 카메라에 해당하는 영상(317), 우면 카메라에 해당하는 영상(319), 전면 카메라에 해당하는 영상(321) 및 후면 카메라에 해당하는 영상(323) 각각에 해당하는 영상은 각 가상 카메라의 배치 위치에 기초하여 360도 영상으로 스티칭될 수 있다.
다시 도 2로 돌아오면, 스티칭부(240)는 사용자의 상태가 이동 상태인 경우, 후면 카메라에 해당하는 영상을 제외하고 렌더링된 상면 카메라, 하면 카메라, 좌면 카메라, 우면 카메라 및 전면 카메라에 해당하는 영상을 스티칭할 수 있다.
스티칭부(240)는 사용자의 상태가 정지 상태인 경우, 렌더링된 상면 카메라, 하면 카메라, 좌면 카메라, 우면 카메라, 전면 카메라 및 후면 카메라 모두가 렌더링된 영상을 스티칭할 수 있다.
영상 전송부(250)는 스티칭된 영상을 사용자 단말(110)에게 전송할 수 있다. 여기서, 스티칭된 영상은 가상 현실 공간을 360도 뷰 이미지로 생성하기 위해 텍스쳐링된 영상일 수 있다.
한편, 당업자라면, 가상 카메라 배치부(200), 사용자 추적 정보 수신부(210), 가상 카메라 제어부(220), 사용자 상태 판단부(222), 렌더링부(230), 스티칭부(240) 및 영상 전송부(250) 각각이 분리되어 구현되거나, 이 중 하나 이상이 통합되어 구현될 수 있음을 충분히 이해할 것이다.
도 4는 본 발명의 일 실시예에 따른, 도 1a 및 1b에 도시된 사용자 단말(110)의 블록도이다.
도 4를 참조하면, 사용자 단말(110)은 사용자 추적 정보 생성부(400), 사용자 추적 정보 전송부(410), 스티칭 영상 수신부(420), 출력부(430), 메시 생성부(432) 및 렌더링부(434)를 포함할 수 있다. 여기서, 출력부(430)는 메시 생성부(432) 및 렌더링부(434)와 연결될 수 있다. 다만, 도 4에 도시된 사용자 단말(110)은 본 발명의 하나의 구현 예에 불과하며, 도 4에 도시된 구성요소들을 기초로 하여 여러 가지 변형이 가능하다.
사용자 추적 정보 생성부(400)는 사용자의 위치를 추적하여 사용자 추적 정보를 생성할 수 있다. 예를 들면, 사용자 추적 정보 생성부(400)는 사용자 단말(110)에 탑재된 위치 센서(예컨대, GPS 센서)를 이용하여 사용자 단말의 위치값을 모니터링하고, 관성 센서(예컨대, 자이로스코프 센서)를 통해 사용자 단말의 회전값, 가속도 및 각속도를 측정할 수 있다.
사용자 추적 정보 전송부(410)는 사용자 추적 정보를 서버(100)에게 전송할 수 있다. 여기서, 사용자 추적 정보는 사용자 단말(110)의 위치값, 회전값, 가속도 및 각속도 중 적어도 하나를 포함할 수 있다.
스티칭 영상 수신부(420)는 가상 현실 공간에 소프트웨어적으로 구현된 복수의 가상 카메라로부터 렌더링된 복수의 영상이 스티칭된 영상을 서버(100)로부터 수신할 수 있다. 여기서, 가상 현실 공간은 그래픽으로 제작된 3차원 이미지로 이루어진 가상 공간일 수 있다. 복수의 가상 카메라는 가상 현실 공간에서 기설정된 지점을 기준으로 상부를 촬영하는 상면 카메라, 하부를 촬영하는 하면 카메라, 좌측을 촬영하는 좌면 카메라, 우측을 촬영하는 우면 카메라, 전면을 촬영하는 전면 카메라, 후면을 촬영하는 후면 카메라를 포함할 수 있다.
예를 들면, 스티칭 영상 수신부(420)는 사용자의 상태가 이동 상태인 경우, 복수의 가상 카메라 중 후면 카메라를 제외한 상면 카메라, 하면 카메라, 좌면 카메라, 우면 카메라 및 전면 카메라에서 렌더링된 영상들로 스티칭된 영상을 서버(100)로부터 수신할 수 있다. 이 때, 전면 카메라를 제외한 상면 카메라, 하면 카메라, 좌면 카메라 및 우면 카메라에 해당하는 영상들은 저해상도로 렌더링된 영상일 수 있다.
예를 들면, 스티칭 영상 수신부(420)는 사용자의 상태가 정지 상태인 경우, 상면 카메라, 하면 카메라, 좌면 카메라, 우면 카메라, 전면 카메라 및 후면 카메라 모두가 렌더링된 영상들로 스티칭된 영상을 서버(100)로부터 수신할 수 있다.
출력부(430)는 스티칭된 영상에서 사용자의 시점에 해당하는 영상을 출력할 수 있다. 구체적으로, 출력부(430)는 위치 센서 및 관성 센서로부터 감지된 사용자의 3차원 위치좌표 및 방향 좌표를 포함하는 시점 정보에 기초하여 스티칭된 영상으로부터 사용자의 시점 정보에 대응하는 영상을 출력할 수 있다. 예를 들면, 출력부(430)는 제 1 시점에서 제 2 시점으로의 사용자의 시선 변화가 있는 경우, 스티칭된 영상에서 제 1 시점에 대응하는 화면 좌표로부터 제 2 시점에 대응하는 화면 좌표로 전환하여 렌더링할 수 있다.
잠시 도 4와 도 5a 및 5b를 참조하여 사용자 단말(110)의 가상 현실 체험 어플리케이션에서 스티칭된 영상을 360도 뷰 이미지로 생성하는 방법을 설명하기로 한다.
메시 생성부(432)는 도 5a 및 도 5b와 같이 가상의 구 형상의 메시를 생성하고 스티칭된 영상을 구 형상의 메시의 내부에 입힐 수 있다.
렌더링부(434)는 구 형상의 메시의 내부에 텍스쳐링된 스티칭된 영상에서 사용자의 시점에 해당하는 영상을 렌더링할 수 있다.
다시 도 4로 돌아오면, 출력부(430)는 예를 들어, 구 형상의 메시의 내부에 소프트웨어적으로 구현된 가상 카메라를 배치시키고, 사용자의 시점에 따라 가상 카메라를 회전시켜 화면 영상이 부드럽게 전환되도록 가상 카메라의 영상 출력 방향을 제어할 수 있다. 출력부(430)는 사용자의 시점에 기초하여 구 형상의 메시에서의 가상 카메라의 방위(뷰의 방향)을 검출하고, 검출된 가상 카메라의 방위에 대응하는 영상을 출력할 수 있다.
한편, 당업자라면, 사용자 추적 정보 생성부(400), 사용자 추적 정보 전송부(410), 스티칭 영상 수신부(420), 출력부(430), 메시 생성부(432) 및 렌더링부(434) 각각이 분리되어 구현되거나, 이 중 하나 이상이 통합되어 구현될 수 있음을 충분히 이해할 것이다.
도 6은 본 발명의 일 실시예에 따른, 서버(100)에서 가상 현실 체험 서비스 제공 방법을 나타낸 흐름도이다.
도 6에 도시된 실시예에 따른 가상 현실 체험 서비스 제공 방법은 도 1a 내지 도 5b에 도시된 실시예에 따른 서버(100) 및 사용자 단말(110)에서 시계열적으로 처리되는 단계들을 포함한다. 따라서, 이하 생략된 내용이라고 하더라도 도 1a 내지 도 5b의 서버(100) 및 사용자 단말(110)에 관하여 기술된 내용은 도 6에 도시된 실시예에 따른 가상 현실 체험 서비스 제공 방법에도 적용될 수 있다.
도 6을 참조하면, 단계 S601에서 서버(100)는 가상 현실 공간에 소프트웨어적으로 구현된 복수의 가상 카메라를 배치할 수 있다. 여기서, 가상 현실 공간은 그래픽으로 제작된 3차원 이미지로 이루어진 가상 공간이다. 복수의 가상 카메라는 상면, 하면, 좌면, 우면, 전면 및 후면 각각에 대응하는 상면 카메라, 하면 카메라, 좌면 카메라, 우면 카메라, 전면 카메라 및 후면 카메라 중 적어도 하나를 포함할 수 있다.
단계 S603에서 서버(100)는 사용자 단말(110)로부터 사용자 추적 정보를 수신할 수 있다. 여기서, 사용자 추적 정보는 사용자 단말(110)의 위치값, 회전값, 가속도 및 각속도 중 적어도 하나를 포함할 수 있다.
단계 S605에서 서버(100)는 사용자 추적 정보에 기초하여 사용자의 상태를 판단할 수 있다. 여기서 사용자의 상태는 이동 상태 또는 정지 상태 중 어느 하나를 포함할 수 있다.
단계 S607에서 서버(100)는 사용자의 상태에 기초하여 복수의 가상 카메라 각각의 동작 여부 및 해상도를 결정할 수 있다.
단계 S609에서 서버(100)는 복수의 가상 카메라에 해당하는 영상을 렌더링할 수 있다.
단계 S611에서 서버(100)는 렌더링된 복수의 영상을 스티칭할 수 있다.
단계 S613에서 서버(100)는 스티칭된 영상을 사용자 단말(110)에게 전송할 수 있다.
상술한 설명에서, 단계 S601 내지 S613은 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다.
도 7은 본 발명의 일 실시예에 따른, 사용자 단말(110)에서 가상 현실 체험 서비스 제공 방법을 나타낸 흐름도이다.
도 7에 도시된 실시예에 따른 가상 현실 체험 서비스 제공 방법은 도 1a 내지 도 6에 도시된 실시예에 따른 서버(100) 및 사용자 단말(110)에서 시계열적으로 처리되는 단계들을 포함한다. 따라서, 이하 생략된 내용이라고 하더라도 도 1a 내지 도 6의 서버(100) 및 사용자 단말(110)에 관하여 기술된 내용은 도 7에 도시된 실시예에 따른 가상 현실 체험 서비스 제공 방법에도 적용될 수 있다.
도 7을 참조하면, 단계 S701에서 사용자 단말(110)은 사용자의 위치를 추적하여 사용자 추적 정보를 생성할 수 있다. 여기서, 사용자 추적 정보는 사용자 단말의 위치값, 회전값, 가속도 및 각속도 중 적어도 하나를 포함할 수 있다.
단계 S703에서 사용자 단말(110)은 사용자 추적 정보를 서버(100)에게 전송할 수 있다.
단계 S705에서 사용자 단말(110)은 가상 현실 공간에 소프트웨어적으로 구현된 복수의 가상 카메라로부터 렌더링된 복수의 영상이 스티칭된 영상을 서버(100)로부터 수신할 수 있다. 여기서, 서버(100)는 사용자 추적 정보에 기초하여 사용자의 상태를 판단하고, 사용자의 상태에 기초하여 복수의 가상 카메라 각각의 동작 여부 및 해상도를 결정할 수 있다.
단계 S707에서 사용자 단말(110)은 스티칭된 영상에서 사용자의 시점에 해당하는 영상을 출력할 수 있다.
상술한 설명에서, 단계 S701 내지 S707은 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다.
도 8은 본 발명의 일 실시예에 따른, 가상 현실 체험 서비스 제공 방법을 나타낸 동작 흐름도이다.
도 8에 도시된 실시예에 따른 가상 현실 체험 서비스 제공 방법은 도 1a 내지 도 7에 도시된 실시예에 따른 서버(100) 및 사용자 단말(110)에서 시계열적으로 처리되는 단계들을 포함한다. 따라서, 이하 생략된 내용이라고 하더라도 도 1a 내지 도 7의 서버(100) 및 사용자 단말(110)에 관하여 기술된 내용은 도 8에 도시된 실시예에 따른 가상 현실 체험 서비스 제공 방법에도 적용될 수 있다.
도 8을 참조하면, 단계 S801에서 사용자 단말(110)은 사용자의 위치를 추적하여 사용자 추적 정보를 생성할 수 있다. 여기서, 사용자 추적 정보는 사용자 단말의 위치값, 회전값, 가속도 및 각속도 중 적어도 하나를 포함할 수 있다.
단계 S803에서 사용자 단말(110)은 사용자 추적 정보를 서버(100)에게 전송할 수 있다.
단계 S805에서 서버(100)는 사용자 추적 정보에 기초하여 사용자의 상태를 판단할 수 있다. 예를 들면, 서버(100)는 시간에 따라 사용자의 위치 값이 변경되는 경우, 사용자의 상태를 이동 상태로 판단하고, 사용자의 위치 값이 변화가 없는 경우, 사용자의 상태를 정지 상태로 판단할 수 있다.
단계 S807에서 서버(100)는 사용자의 상태를 판단할 수 있다. 예를 들어, 서버(100)는 사용자의 상태가 이동 상태로 판단된 경우, 단계 S809에서 후면 카메라를 오프(Off)시켜 후면 카메라에 해당하는 영상의 렌더링을 중지시킬 수 있다.
단계 S811에서 서버(100)는 사용자의 상태가 이동 상태인 경우, 상면 카메라, 하면 카메라, 좌면 카메라 및 우면 카메라 중 적어도 하나의 해상도를 전면 카메라의 해상도보다 낮게 조절할 수 있다.
단계 S813에서 서버(100)는 사용자의 상태가 정지 상태로 판단된 경우, 상면 카메라, 하면 카메라, 좌면 카메라, 우면 카메라, 전면 카메라 및 후면 카메라 모두를 온(On)시킬 수 있다.
단계 S815에서 서버(100)는 카메라의 동작이 온으로 설정된 복수의 가상 카메라에 해당하는 영상을 렌더링할 수 있다.
단계 S817에서 서버(100)는 렌더링된 복수의 영상을 스티칭할 수 있다.
단계 S819에서 스티칭된 영상을 사용자 단말(110)에게 전송할 수 있다.
단계 S821에서 사용자 단말(110)은 스티칭된 영상을 가상의 구 형상의 메시 내부에 입힐 수 있다
단계 S823에서 사용자 단말(110)은 구형상의 메시의 내부에서 사용자의 시점에 해당하는 영상을 렌더링하여 화면에 출력할 수 있다.
상술한 설명에서, 단계 S801 내지 S823은 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다.
본 발명의 일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100: 서버
110: 사용자 단말

Claims (19)

  1. 서버에 의해 수행되는 가상 현실 체험 서비스 제공 방법에 있어서,
    가상 현실 공간에 소프트웨어적으로 구현된 복수의 가상 카메라를 배치하는 단계;
    사용자 단말로부터 사용자 추적 정보를 수신하는 단계;
    상기 사용자 추적 정보에 기초하여 사용자의 상태를 판단하는 단계;
    상기 사용자의 상태에 기초하여 상기 복수의 가상 카메라 각각의 동작 여부 및 해상도를 결정하는 단계;
    상기 복수의 가상 카메라에 해당하는 영상을 렌더링하는 단계;
    상기 렌더링된 복수의 영상을 스티칭하는 단계; 및
    상기 스티칭된 영상을 상기 사용자 단말로 전송하는 단계
    를 포함하는 것인, 가상 현실 체험 서비스 제공 방법.
  2. 제 1 항에 있어서,
    상기 가상 현실 공간은 그래픽으로 제작된 3차원 이미지로 이루어진 가상 공간인 것인, 가상 현실 체험 서비스 제공 방법.
  3. 제 1 항에 있어서,
    상기 복수의 가상 카메라는 상면, 하면, 좌면, 우면, 전면 및 후면 각각에 대응하는 상면 카메라, 하면 카메라, 좌면 카메라, 우면 카메라, 전면 카메라 및 후면 카메라 중 적어도 하나를 포함하는 것인, 가상 현실 체험 서비스 제공 방법.
  4. 제 1 항에 있어서,
    상기 사용자 추적 정보는 상기 사용자 단말의 위치값, 회전값, 가속도 및 각속도 중 적어도 하나를 포함하는 것인, 가상 현실 체험 서비스 제공 방법.
  5. 제 3 항에 있어서,
    상기 사용자의 상태를 판단하는 단계는
    상기 사용자 추적 정보에 기초하여 상기 사용자의 이동 속도를 계산하는 단계; 및
    상기 계산된 사용자 이동 속도에 기초하여 상기 사용자의 상태를 이동 상태 또는 정지 상태 중 어느 하나로 판단하는 단계
    를 포함하는 것인, 가상 현실 체험 서비스 제공 방법.
  6. 제 5 항에 있어서,
    상기 사용자의 상태에 기초하여 상기 복수의 가상 카메라 각각의 동작 여부 및 해상도를 결정하는 단계는
    상기 사용자의 상태가 이동 상태인 경우, 상기 후면 카메라를 오프(Off)시키는 단계
    를 포함하는 가상 현실 체험 서비스 제공 방법.
  7. 제 6 항에 있어서,
    상기 사용자의 상태에 기초하여 상기 복수의 가상 카메라 각각의 동작 여부 및 해상도를 결정하는 단계는
    상기 사용자의 상태가 이동 상태인 경우, 상기 상면 카메라, 상기 하면 카메라, 상기 좌면 카메라 및 상기 우면 카메라 중 적어도 하나의 해상도를 상기 전면 카메라의 해상도보다 낮게 설정하는 단계를 포함하는 가상 현실 체험 서비스 제공 방법.
  8. 제 7 항에 있어서,
    상기 사용자의 상태가 이동 상태인 경우, 상기 상면 카메라, 상기 하면 카메라, 상기 좌면 카메라 및 상기 우면 카메라 중 적어도 하나의 해상도는 상기 사용자의 이동 속도에 반비례하도록 설정되는 것인 가상 현실 체험 서비스 제공 방법.
  9. 제 5 항에 있어서,
    상기 사용자의 상태에 기초하여 상기 복수의 가상 카메라 각각의 동작 여부 및 해상도를 결정하는 단계는
    상기 사용자의 상태가 정지 상태인 경우, 상기 상면 카메라, 상기 하면 카메라, 상기 좌면 카메라, 상기 우면 카메라, 상기 전면 카메라 및 상기 후면 카메라 모두를 온(On)시키는 단계를 더 포함하는 가상 현실 체험 서비스 제공 방법.
  10. 가상 현실 체험 서비스를 제공하는 사용자 단말에 있어서,
    사용자의 위치를 추적하여 사용자 추적 정보를 생성하는 사용자 추적 정보 생성부;
    상기 사용자 추적 정보를 서버로 전송하는 사용자 추적 정보 전송부
    가상 현실 공간에 소프트웨어적으로 구현된 복수의 가상 카메라로부터 렌더링된 복수의 영상이 스티칭된 영상을 상기 서버로부터 수신하는 스티칭 영상 수신부; 및
    상기 스티칭된 영상에서 상기 사용자의 시점에 해당하는 영상을 출력하는 출력부
    를 포함하고,
    상기 서버는 상기 사용자 추적 정보에 기초하여 상기 사용자의 상태를 판단하고,
    상기 사용자의 상태에 기초하여 상기 복수의 가상 카메라 각각의 동작 여부 및 해상도를 결정하는 것인, 사용자 단말.
  11. 제 10 항에 있어서,
    상기 가상 현실 공간은 그래픽으로 제작된 3차원 이미지로 이루어진 가상 공간인 것인, 사용자 단말.
  12. 제 10 항에 있어서,
    상기 사용자 추적 정보는 상기 사용자 단말의 위치값, 회전값, 가속도 및 각속도 중 적어도 하나를 포함하는 것인, 사용자 단말.
  13. 제 10 항에 있어서,
    상기 출력부는
    가상의 구 형상의 메시를 생성하고 상기 스티칭된 영상을 상기 구 형상의 메시의 내부에 입히는 메시 생성부; 및
    상기 구 형상의 메시의 내부에서 상기 사용자의 시점에 해당하는 영상을 렌더링하는 렌더링부
    를 포함하는 사용자 단말.
  14. 가상 현실 체험 서비스를 제공하는 서버에 있어서,
    가상 현실 공간에 복수의 가상 카메라를 배치하는 가상 카메라 배치부;
    사용자 단말로부터 사용자 추적 정보를 수신하는 사용자 추적 정보 수신부;
    상기 사용자 추적 정보에 기초하여 사용자의 상태를 판단하고, 상기 판단된 사용자의 상태에 기초하여 상기 복수의 가상 카메라 각각의 동작 여부 및 해상도를 결정하는 가상 카메라 제어부;
    상기 복수의 가상 카메라에 해당하는 영상을 렌더링하는 렌더링부;
    상기 렌더링된 복수의 영상을 스티칭하는 스티칭부; 및
    상기 스티칭된 영상을 상기 사용자 단말로 전송하는 영상 전송부
    를 포함하는 서버.
  15. 제 14 항에 있어서,
    상기 복수의 가상 카메라는 상면, 하면, 좌면, 우면, 전면 및 후면 각각에 대응하는 상면 카메라, 하면 카메라, 좌면 카메라, 우면 카메라, 전면 카메라 및 후면 카메라 중 적어도 하나를 포함하는 것인, 서버.
  16. 제 15 항에 있어서,
    상기 가상 카메라 제어부는 상기 사용자 추적 정보에 기초하여 상기 사용자의 이동 속도를 계산하고, 상기 계산된 사용자 이동 속도에 기초하여 상기 사용자의 상태를 이동 상태 또는 정지 상태 중 어느 하나를 판단하는 사용자 상태 판단부
    를 포함하는 것인, 서버.
  17. 제 16 항에 있어서,
    상기 가상 카메라 제어부는 상기 사용자의 상태가 이동 상태인 경우, 상기 후면 카메라를 오프(Off)시키는 것인, 서버.
  18. 제 17 항에 있어서,
    상기 가상 카메라 제어부는 상기 사용자의 상태가 이동 상태인 경우, 상기 상면 카메라, 상기 하면 카메라, 상기 좌면 카메라 및 상기 우면 카메라 중 적어도 하나의 해상도를 상기 전면 카메라의 해상도보다 낮게 설정하는 것인, 서버.
  19. 제 16 항에 있어서,
    상기 가상 카메라 제어부는 상기 사용자의 상태가 정지 상태인 경우, 상기 상면 카메라, 상기 하면 카메라, 상기 좌면 카메라, 상기 우면 카메라, 상기 전면 카메라 및 상기 후면 카메라 모두를 온(On)시키는 것인, 서버.
KR1020170077548A 2017-06-19 2017-06-19 가상 현실 체험 서비스를 제공하는 서버, 사용자 단말 및 방법 KR102111501B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020170077548A KR102111501B1 (ko) 2017-06-19 2017-06-19 가상 현실 체험 서비스를 제공하는 서버, 사용자 단말 및 방법
US16/011,904 US10754423B2 (en) 2017-06-19 2018-06-19 Providing virtual reality experience service

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170077548A KR102111501B1 (ko) 2017-06-19 2017-06-19 가상 현실 체험 서비스를 제공하는 서버, 사용자 단말 및 방법

Publications (2)

Publication Number Publication Date
KR20180137816A true KR20180137816A (ko) 2018-12-28
KR102111501B1 KR102111501B1 (ko) 2020-05-15

Family

ID=64658131

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170077548A KR102111501B1 (ko) 2017-06-19 2017-06-19 가상 현실 체험 서비스를 제공하는 서버, 사용자 단말 및 방법

Country Status (2)

Country Link
US (1) US10754423B2 (ko)
KR (1) KR102111501B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020159304A1 (ko) * 2019-01-31 2020-08-06 주식회사 알파서클 가상현실을 표현하는 분할영상 사이의 전환시점을 제어하여 프레임 동기화를 구현하는 가상현실 영상전환방법 및 가상현실 영상재생장치
WO2021107708A1 (ko) * 2019-11-29 2021-06-03 주식회사 알파서클 복수의 카메라로부터 입력된 가상현실영상을 실시간 방송하기 위한 장치 및 방법
KR20220038197A (ko) * 2020-09-18 2022-03-28 김정진 온라인 기반의 디지털 촛불집회 제공 시스템
US11335066B2 (en) 2019-10-15 2022-05-17 Samsung Electronics Co., Ltd. Apparatus and operating method for displaying augmented reality object
KR20220133553A (ko) * 2021-03-25 2022-10-05 주식회사 네비웍스 실감훈련 관제장치 및 그 동작 방법

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108027967B (zh) * 2015-11-05 2020-09-29 华为技术有限公司 图像拼接的方法和电子设备
US10890764B2 (en) * 2019-03-07 2021-01-12 Novatek Microelectronics Corp. Method and system for video frame processing
CN114175630A (zh) * 2019-07-28 2022-03-11 谷歌有限责任公司 利用注视点网格渲染沉浸式视频内容的方法、系统和介质
EP3829166A1 (en) 2019-11-29 2021-06-02 InterDigital CE Patent Holdings A method and apparatus for decoding a 3d video
US11410387B1 (en) 2020-01-17 2022-08-09 Facebook Technologies, Llc. Systems, methods, and media for generating visualization of physical environment in artificial reality
US11210860B2 (en) 2020-01-27 2021-12-28 Facebook Technologies, Llc. Systems, methods, and media for visualizing occluded physical objects reconstructed in artificial reality
US11200745B2 (en) * 2020-01-27 2021-12-14 Facebook Technologies, Llc. Systems, methods, and media for automatically triggering real-time visualization of physical environment in artificial reality
US10950034B1 (en) 2020-01-27 2021-03-16 Facebook Technologies, Llc Systems, methods, and media for generating visualization of physical environment in artificial reality
US11451758B1 (en) 2020-02-12 2022-09-20 Meta Platforms Technologies, Llc Systems, methods, and media for colorizing grayscale images
US11592907B2 (en) * 2020-10-20 2023-02-28 Google Llc Gesture-triggered augmented-reality
US11843764B2 (en) * 2020-10-21 2023-12-12 Hewlett-Packard Development Company, L.P. Virtual reality headsets and method of managing user experience with virtual reality headsets
US20220148268A1 (en) * 2020-11-10 2022-05-12 Noderix Teknoloji Sanayi Ticaret Anonim Sirketi Systems and methods for personalized and interactive extended reality experiences
CN112533163B (zh) * 2020-11-24 2021-09-14 厦门大学 基于NB-IoT改进的融合超宽带和蓝牙的室内定位方法
US11622100B2 (en) * 2021-02-17 2023-04-04 flexxCOACH VR 360-degree virtual-reality system for dynamic events
KR20240073265A (ko) * 2022-11-17 2024-05-27 (주)뉴작 Xr cave 환경에서의 xr콘텐츠 제어 방법 및 시스템

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150091653A (ko) * 2014-02-03 2015-08-12 (주)에프엑스기어 사용자 시점 연동형 영상 처리 장치 및 그 방법
KR20150123605A (ko) * 2014-04-25 2015-11-04 세종대학교산학협력단 혼합 현실 콘텐츠 재생 장치 및 렌더링 방법
US20160225188A1 (en) * 2015-01-16 2016-08-04 VRstudios, Inc. Virtual-reality presentation volume within which human participants freely move while experiencing a virtual environment
KR20160121145A (ko) * 2015-04-10 2016-10-19 삼성전자주식회사 카메라 설정 방법 및 장치
KR20160126563A (ko) * 2015-04-24 2016-11-02 한국과학기술연구원 웹 상에 3차원 정보를 갖는 html 요소를 나타내기 위한 장치 및 방법
US20160320833A1 (en) * 2013-12-18 2016-11-03 Joseph Schuman Location-based system for sharing augmented reality content
KR20170013737A (ko) * 2015-07-28 2017-02-07 엘지전자 주식회사 헤드 마운트 디스플레이 장치 및 그 동작방법
KR101703924B1 (ko) * 2015-09-22 2017-02-07 하태진 관람위치 변경이 가능한 가상현실안경을 포함하는 가상현실 시스템

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6143612B2 (ja) 2013-09-02 2017-06-07 大成建設株式会社 パノラマ画像表示装置
KR102313485B1 (ko) 2015-04-22 2021-10-15 삼성전자주식회사 가상현실 스트리밍 서비스를 위한 영상 데이터를 송수신하는 방법 및 장치
US20190279428A1 (en) * 2016-11-14 2019-09-12 Lightcraft Technology Llc Team augmented reality system
US10416769B2 (en) * 2017-02-14 2019-09-17 Microsoft Technology Licensing, Llc Physical haptic feedback system with spatial warping
US10403050B1 (en) * 2017-04-10 2019-09-03 WorldViz, Inc. Multi-user virtual and augmented reality tracking systems

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160320833A1 (en) * 2013-12-18 2016-11-03 Joseph Schuman Location-based system for sharing augmented reality content
KR20150091653A (ko) * 2014-02-03 2015-08-12 (주)에프엑스기어 사용자 시점 연동형 영상 처리 장치 및 그 방법
KR20150123605A (ko) * 2014-04-25 2015-11-04 세종대학교산학협력단 혼합 현실 콘텐츠 재생 장치 및 렌더링 방법
KR101577627B1 (ko) * 2014-04-25 2015-12-15 세종대학교산학협력단 혼합 현실 콘텐츠 재생 장치 및 렌더링 방법
US20160225188A1 (en) * 2015-01-16 2016-08-04 VRstudios, Inc. Virtual-reality presentation volume within which human participants freely move while experiencing a virtual environment
KR20160121145A (ko) * 2015-04-10 2016-10-19 삼성전자주식회사 카메라 설정 방법 및 장치
KR20160126563A (ko) * 2015-04-24 2016-11-02 한국과학기술연구원 웹 상에 3차원 정보를 갖는 html 요소를 나타내기 위한 장치 및 방법
KR20170013737A (ko) * 2015-07-28 2017-02-07 엘지전자 주식회사 헤드 마운트 디스플레이 장치 및 그 동작방법
KR101703924B1 (ko) * 2015-09-22 2017-02-07 하태진 관람위치 변경이 가능한 가상현실안경을 포함하는 가상현실 시스템

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020159304A1 (ko) * 2019-01-31 2020-08-06 주식회사 알파서클 가상현실을 표현하는 분할영상 사이의 전환시점을 제어하여 프레임 동기화를 구현하는 가상현실 영상전환방법 및 가상현실 영상재생장치
US11412199B2 (en) 2019-01-31 2022-08-09 Alphacircle Co., Ltd. Method and device for implementing frame synchronization by controlling transit time
US11335066B2 (en) 2019-10-15 2022-05-17 Samsung Electronics Co., Ltd. Apparatus and operating method for displaying augmented reality object
US11798241B2 (en) 2019-10-15 2023-10-24 Samsung Electronics Co., Ltd. Apparatus and operating method for displaying augmented reality object
WO2021107708A1 (ko) * 2019-11-29 2021-06-03 주식회사 알파서클 복수의 카메라로부터 입력된 가상현실영상을 실시간 방송하기 위한 장치 및 방법
KR20210067155A (ko) * 2019-11-29 2021-06-08 주식회사 알파서클 복수의 카메라로부터 입력된 가상현실영상을 실시간 방송하기 위한 장치 및 방법
US11503268B2 (en) 2019-11-29 2022-11-15 Alphacircle Co., Ltd. Device and method for broadcasting virtual reality images input from plurality of cameras in real time
KR20220038197A (ko) * 2020-09-18 2022-03-28 김정진 온라인 기반의 디지털 촛불집회 제공 시스템
KR20220133553A (ko) * 2021-03-25 2022-10-05 주식회사 네비웍스 실감훈련 관제장치 및 그 동작 방법

Also Published As

Publication number Publication date
KR102111501B1 (ko) 2020-05-15
US20180364801A1 (en) 2018-12-20
US10754423B2 (en) 2020-08-25

Similar Documents

Publication Publication Date Title
KR102111501B1 (ko) 가상 현실 체험 서비스를 제공하는 서버, 사용자 단말 및 방법
KR102088472B1 (ko) 가상 현실 콘텐츠의 비디오 렌더링 속도의 조정 및 입체 이미지의 프로세싱
US11024083B2 (en) Server, user terminal device, and control method therefor
US20160238852A1 (en) Head mounted display performing post render processing
US20120154378A1 (en) Determining device movement and orientation for three dimensional views
US20150163473A1 (en) Image generating device and image generating method
EP2660645A1 (en) Head-mountable display system
US20190045125A1 (en) Virtual reality video processing
JP6422584B2 (ja) 情報処理装置
KR20180121994A (ko) 낮은-레이턴시 렌더링을 위한 와이드 베이스라인 스테레오
KR20150001425A (ko) 헤드 마운트 디스플레이 장치 및 그 동작방법
KR20170013737A (ko) 헤드 마운트 디스플레이 장치 및 그 동작방법
US20210329171A1 (en) Image adjustment system, image adjustment device, and image adjustment
KR20200073784A (ko) 가상 현실 서비스를 제공하는 서버, 단말 및 방법
KR20220133892A (ko) 무선 가상 및 증강 현실 시스템의 레이턴시 숨기기
CN106293561B (zh) 显示控制方法和装置、显示设备
KR20150006128A (ko) 헤드 마운트 디스플레이 장치 및 그 동작방법
CN114175630A (zh) 利用注视点网格渲染沉浸式视频内容的方法、系统和介质
CN109863443B (zh) Hmd传送系统及方法
WO2012127282A1 (en) Rearranging pixels of a three-dimensional display to reduce pseudo-stereoscopic effect
KR102503337B1 (ko) 이미지 디스플레이 방법, 장치 및 시스템
US11187895B2 (en) Content generation apparatus and method
KR102140077B1 (ko) 서버, 사용자 단말 장치 및 그 제어 방법
WO2019078833A1 (en) IMAGES OF INCREASED REALITY STABILIZED AND FOLLOWED
EP2689585A1 (en) Multi-layer optical elements of a three-dimensional display for reducing pseudo-stereoscopic effect

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant