KR20140033144A - 용적 방식 비디오 표현 기법 - Google Patents

용적 방식 비디오 표현 기법 Download PDF

Info

Publication number
KR20140033144A
KR20140033144A KR1020137033546A KR20137033546A KR20140033144A KR 20140033144 A KR20140033144 A KR 20140033144A KR 1020137033546 A KR1020137033546 A KR 1020137033546A KR 20137033546 A KR20137033546 A KR 20137033546A KR 20140033144 A KR20140033144 A KR 20140033144A
Authority
KR
South Korea
Prior art keywords
data
image
observer
mounted display
orientation
Prior art date
Application number
KR1020137033546A
Other languages
English (en)
Other versions
KR101925658B1 (ko
Inventor
스티븐 바티체
Original Assignee
마이크로소프트 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 코포레이션 filed Critical 마이크로소프트 코포레이션
Publication of KR20140033144A publication Critical patent/KR20140033144A/ko
Application granted granted Critical
Publication of KR101925658B1 publication Critical patent/KR101925658B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/02—Viewing or reading apparatus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Position Input By Displaying (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

헤드 마운티드 디스플레이(head-mounted display)를 통해 표현 공간 내의 비디오 이미지를 표현하는 것과 관련되는 다양한 실시예가 개시된다. 예를 들어, 개시된 일 실시예는 관측자 위치 데이터 및 오리엔테이션 데이터를 위치 및 오리엔테이션 감지 시스템으로부터 수신하는 단계를 포함하고, 관측자 위치 데이터 및 관측자 오리엔테이션 데이터에 근거하여 표현 공간에서 관측자를 찾아내고, 사용자가 향해 있는 방향을 판정하며, 헤드 마운티드 디스플레이 시스템의 오리엔테이션을 판정한다. 판정된 위치, 방향 및 오리엔테이션으로부터, 관측자의 시야에 기초하여 관측자의 시야 내에 있는 표현 공간의 부분에 매핑되는 용적 방식 이미지의 부분 및 오리엔테이션에 기초하여 표현 이미지가 판정된다. 표현 이미지는 이후에 헤드 마운티드 디스플레이로 송신된다.

Description

용적 방식 비디오 표현 기법{VOLUMETRIC VIDEO PRESENTATION}
비디오 콘텐트는 이차원 또는 삼차원 포맷으로 표현될 수 있다. 삼차원 비디오 표현은 흔히 관측자의 왼눈 및 오른눈으로 약간 다른 이미지를 전달하게 할 수 있는 필터링 안경을 사용하는 것을 포함한다. 이러한 비디오 표현에서, 디스플레이된 이미지는 삼차원을 가지는 것으로 보이나, 사용자 시점(perspective)을 변화시키는 것은 관측되는 콘텐트를 변화시키지 않는데, 이는 동일한 이미지가 관측 환경(viewing environment) 내의 관측자의 시점과 상관없이 관측자의 눈에 도달하기 때문이다.
가상 세계 및 다른 인터랙티브 컴퓨터 그래픽 표현은 사용자로 하여금 장면을 보는 제1 또는 제3 개인 캐릭터의 시점을 변경하는 사용자 입력을 통해 장면의 다른 부분을 보게 할 수 있다. 사용자는 사용자 입력 장치(예, 키보드, 조이스틱 등)로부터의 입력을 통해 가상 세계 또는 다른 컴퓨터 그래픽 환경에서 관측되는 시점을 제어할 수 있다.
사용자가 표현 공간(presentation space) 내에서의 시점을 변경함으로써 용적 방식 이미지 데이터에 대한 다른 시점을 볼 수 있도록, 헤드 마운티드 디스플레이(head-mounted display)를 통해 표현 공간 내의 비디오 이미지를 표현하는 것과 관련되는 다양한 실시예가 개시된다. 예를 들어, 개시된 일 실시예는 관측자 위치 데이터 및 오리엔테이션 데이터를 위치 및 오리엔테이션 감지 시스템으로부터 수신하는 단계를 포함하고, 관측자 위치 데이터 및 관측자 오리엔테이션 데이터에 근거하여 표현 공간에서 관측자를 찾아내고, 사용자가 향해 있는 방향(direction)을 판정하며, 헤드 마운티드 디스플레이 시스템의 오리엔테이션을 판정한다. 판정된 위치, 방위 및 오리엔테이션으로부터, 표현 공간의 관측자의 시야(field of view)에 기초하여 관측자의 시야 내에 있는 표현 공간에 매핑되는 용적 방식 이미지의 부분 및 오리엔테이션에 기초하여, 헤드 마운티드 디스플레이 시스템으로 송신하기 위한 표현 이미지(presentation image)가 결정된다. 표현 이미지는 이후에 헤드 마운티드 디스플레이로 송신된다.
본 요약은 상세한 설명에서 이하에 추가로 설명되는 선택 개념을 간략한 형태로 소개하기 위해 제공된다. 본 요약은 청구된 발명의 대상의 주요 특징이나 핵심 특징을 식별시키려는 것이 아니며 청구된 발명의 대상의 범주를 제한하는데 사용하려는 것도 아니다. 또한, 청구된 발명의 대상은 본 명세서의 임의의 부분에 언급된 임의의 또는 모든 문제점을 해결하는 구현예에 한정되지 않는다.
도 1은 본 명세서의 실시예에 따른 표현 공간 내의 관측자에 대한 개략적인 묘사(depiction)를 나타내고 또한 표현 공간 내의 관측자의 시점(perspective)의 함수로서 사용자에게 제시되는 비디오 이미지를 나타내는 도면이다.
도 2는 용적 방식 비디오 표현 시스템의 실시예에 대한 블록도를 나타낸다.
도 3은 헤드 마운티드 디스플레이 시스템에 대한 일 실시예를 나타낸다.
도 4는 관측자에게 용적 방식 비디오 이미지를 제시하는 방법의 일 실시예를 나타내는 흐름도이다.
도 5는 인터랙티브 그래픽 사용자 인터페이스를 제시하는 방법에 대한 일 실시예를 나타내는 흐름도를 도시한다.
도 6은 사용자 상호작용을 수신하기 전의 인터랙티브 시점 인터페이스에 대한 일 실시예를 나타내는 도면이다.
도 7은 사용자 상호작용을 수신한 후의 도 6의 사용자 인터페이스를 나타내는 도면이다.
도 8은 컴퓨팅 장치에 대한 예시적인 실시예를 나타내는 도면이다.
전술한 바와 같이, 가상 세계 및 그 외의 컴퓨터 그래픽 표현은 장면이 관측 되는데 사용되는 제1 또는 제3 개인 캐릭터의 시점을 변경하는 사용자 입력을 통해 사용자로 하여금 장면에 대한 상이한 시점을 보는 것을 가능하게 할 수 있다. 사용자는 사용자 입력 장치(예, 키보드, 조이스틱 등)로부터의 입력을 통해 가상 세계 또는 다른 컴퓨터 그래픽 환경에서 관측되는 시점을 제어할 수 있다.
그러나, 플레이어가 현재 가상 세계 경험을 누릴 수 있는 인터랙티버티(interactivity)의 정도는 가상 세계에서 사용자 움직임을 제어하는 데 사용되는 메커니즘에 의해 제한된다. 예를 들어, 키보드, 조이스틱, 디렉션 패드 등과 같은 가상 세계를 탐색하기 위한 수동 입력 장치의 사용은 사용자가 가상 세계와의 보다 현실적인 인터랙티버티(예를 들면, 장면의 다른 시점을 관측 위해 가상 세계 장면 내를 걸을 수 있는 것)를 누리는 것을 방해한다.
또한, 전술한 바와 같이, 비디오 표현은 비디오 콘텐트 아이템 내의 시점을 변경하는 기능을 관측자에게 제공하지 않을 수 있다. 예를 들어, 컴퓨터 그래픽 표현과 달리, 비디오 관측자는 180도만큼 시점이 변하도록 선택함으로써 비디오 관측자의 관점(point of view) 이면에서 발생하는 액션을 보는 기능을 가질 수 없다.
따라서, 사용자가 다양한 시점으로 비디오 콘텐트 표현을 보도록 비디오 콘텐트 표현 공간 내에서 이동할 수 있는 방식의 비디오 콘텐트의 표현에 관한 실시예가 본 명세서 개시된다. 예를 들어, 풋볼 게임을 보고 있는 관측자가 게임의 스크럼 라인(a line of srimmage)을 더 가까이 보기 위해 관측 환경(viewing environment) 내에서 걷을 수 있다. 마찬가지로, 드라마 표현을 보고 있는 관측자는 룸 내에서 상이한 시점으로 캐릭터들을 보도록 장면이 이루어지고 있는 룸 주위를 걸을 수 있다.
개시된 실시예는 헤드 마운티드 디스플레이를 사용하여 관측자에게 이미지를 디스플레이하고, 위치 및 오리엔테이션 추적 시스템을 사용하여 표현 공간 내의 사용자 모션 및 오리엔테이션을 추적한다. 이러한 위치 및 오리엔테이션 추적 시스템은 예를 들면, 표현 공간을 영상화하도록 구성되는 하나 이상의 카메라 및/또는 회전, 피치 및/또는 요(yaw) 축을 따라 사용자의 머리의 오리엔테이션을 추적하는 헤드 마운티드 디스플레이상의 하나 이상의 센서를 포함할 수 있다.
위치 및 오리엔테이션 추적 시스템은 또한 카메라 비컨 시스템(camera beacon system)을 포함할 수 있다. 예를 들어, 표현 공간 내의 객체는 헤드 마운티드 디스플레이 시스템상의 카메라가 구조광 패턴(structured light pattern)을 보고 추적할 수 있도록 공간적으로 상관되고 구조화되는 레퍼런스 신호를 방출하도록 구성될 수 있다. 구조광 패턴의 이미지는 이후에 사용자 위치 및 오리엔테이션을 판정하는데 사용될 수 있다. 또 다른 실시예에서, 단일 광각 카메라(wide field of view camera)가 표현 공간에 제공될 수 있고, 헤드 마운티드 디스플레이 시스템은 사용자 위치 및 오리엔테이션을 판정하도록 카메라에 의해 관측될 수 있는 공간적으로 구조적으로 상관된 비컨(beacon)을 방출한다. 유사한 시스템은 무선 주파수 비커닝 기법(radiofrequency beaconing)을 사용할 수 있다. 이러한 위치 및 오리엔테이션 추적 시스템은 예시를 위해 설명된 것이고 임의의 방식으로 제한하고자 하는 것이 아니며, 자기 시스템(magnetic system)과 같은 임의의 적합한 모션 추적 시스템이 사용될 수 있다는 것을 이해해야할 것이다.
위치 및 오리엔테이션 추적 시스템으로부터, 표현 공간에서의 사용자 눈의 위치 및 오리엔테이션을 기술하는 데이터가 획득될 수 있고, 헤드 마운티드 디스플레이를 통한 디스플레이를 위해 이미지를 계산하고 렌더링하는 데 사용될 수 있다. 이러한 위치 및 오리엔테이션 분석은 프레임-바이-프레임 기준으로 또는 표현 공간 내의 사용자의 움직임이 검출되는 경우에만 수행될 수 있다. 어느 경우에든, 사용자는 표현 공간 내에서 물리적으로 움직이는 것에 의해 매우 다양한 시점의 비디오 표현을 볼 수 있다.
이러한 시스템은 용적 방식 비디오 데이터를 표현 공간에 매핑함으로써 비디오 데이터가 표현 공간(예컨대, 룸) 내에 제시될 수 있게 한다. 본 명세서에 사용된 "용적 방식 비디오 데이터(volumetric video data)"라는 용어는 비디오 데이터의 객체의 외관 및 공간적 관계가 미리보기 볼륨(viewing volume) 내에서 다양한 시점으로 적절히 렌더링될 수 있도록 복수의 시야(view)로부터 캡처된 비디오 데이터를 기술한다. 보다 더 구체적인 예로서, 드라마 표현이 복수의 상이한 각도(예를 들면, 음향 스테이지를 실질적으로 둘러싸는)로 카메라에 의해 레코딩될 수 있다. 이후에, 카메라로부터의 이미지 데이터가 복수의 카메라에 의해 캡쳐되는 시점의 범위 내에서 모든 이미지 데이터를 포함하는 비디오 파일을 형성하도록 함께 연결될 수 있다. 드라마 표현이 비디오에 의해 캡처되는 콘텐트 생성 공간의 기하학적 지식은 생성 공간이 캡처된 비디오 데이터에 매핑되게 할 수 있다. 이후에, 이러한 매핑은 비디오 데이터가 제시되는 표현 공간에 적용될 수 있다. 이러한 방식으로, 표현 공간의 볼륨이 매핑된 비디오 데이터로 채워질 수 있고, 이에 따라 표현 공간 내의 관측자가 헤드 마운티드 디스플레이 시스템을 통해 표현 공간 내에서 임의의 적합한 시점으로 비디오 콘텐트를 본다. 표현 공간 및 비디오 데이터에 캡쳐된 콘텐츠 생성 공간 볼륨(content rpoduction space volume) 사이의 기하학적 불일치가 비디오 콘텐트의 사이드(side)를 자르기(cropping) 함으로써, 사용자로 하여금 표현 공간의 에지에서 뷰 내부 및/또는 외부로 비디오 콘텐트를 스크롤링하는 것을 가능하게 함으로써(예를 들면 이미지 센서(들)에 의해 검출된 제스처 입력에 의해), 사용자가 (시야(view)의 반대로) 이동할 수 있는 비디오 데이터 볼륨의 부분을 제한함으로써 및/또는 임의의 다른 적합한 방식으로 처리될 수 있다.
도 1은 이러한 용적 방식 비디오 표현에 대한 예시적인 사용 시나리오를 나타낸다. 관측자(100)가 룸 내의 다양한 위치에 배치된 복수의 카메라(104, 106)를 포함하는 표현 공간(102)에 표현된다. 카메라(104, 106)는 표현 공간(102) 내의 관측자(100)의 위치를 추적하는 데 사용될 수 있다. 두 개의 카메라가 설명을 위해 도시되나, 임의의 적합한 수의 카메라가 표현 공간(102) 내의 관측자(100)의 위치를 추적하는 데 사용될 수 있다는 것을 이해할 수 있을 것이다. 또한, 표현 공간은 전술한 것에 한정되지 않고 임의의 다른 적합한 위치 및 오리엔테이션 추적 시스템을 포함할 수 있다는 것을 이해할 수 있을 것이다.
또한, 표현 공간(102)은 용적 방식 이미지 표현을 보기 위해 관측자(100)가 착용하는 헤드 마운티드 디스플레이 스크린(110)을 포함한다. 단일 관측자(100)가 예시를 위해 도시되었으나, 복수의 관측자가 표현 공간(102) 내에서 비디오 표현을 볼 수 있다는 것을 이해할 수 있을 것이다.
표현 공간(102)은 추가로 비디오 표현 컴퓨팅 장치(112)를 포함한다. 비디오 표현 컴퓨팅 장치(112)는 비디오 표현을 위한 용적 방식 비디오 데이터를 수신하고 용적 방식 비디오 데이터를 표현 공간에 매핑하도록 구성된다. 용적 방식 비디오 데이터는 임의의 적합한 소스(DVD 플레이어와 같은 로컬 소스 및/또는 네트워크를 통한 원격 소스를 포함하나, 이에 한정되는 것은 아님)로부터 수신될 수 있다는 것을 이해해야 할 수 있을 것이다.
비디오 표현 컴퓨팅 장치(112)는 추가로, 카메라(104, 106)로부터의 관측자 추적 이미지 데이터 및 헤드 마운티드 디스플레이 시스템(110)(이하에 설명됨) 상의 다양한 센서로부터의 모션 데이터를 수신하여 표현 공간(102)의 관측자(100)의 눈의 위치 및 오리엔테이션이 추적되게 하도록 구성된다. 또한, 일부 실시예에서, 헤드 마운티드 디스플레이 시스템(100) 상의 눈동자 추적 카메라로부터의 입력이 관측자가 응시하는 방향에 관한 입력을 제공할 수 있다. 이러한 입력으로부터, 비디오 표현 컴퓨팅 장치(112)는 관측자(100)에게 표현하기 위해 헤드 마운티드 디스플레이 시스템(110)으로 송신될 이미지를 결정할 수 있다.
이러한 프레임-바이-프레임(frame-by-frame) 기반의 프로세스를 수행함으로써, 표현 공간(102) 내에서 관측자가 돌아다님에 따라 상이한 이미지가 관측자에게 제시될 수 있다. 예를 들어, 도 1은 야구 게임을 보고 있는 관측자(100)를 나타낸다. 시간 t0에서의 제1 시점에서, 관측자(100)는 본루(home plate) 뒤에 관측 시점(viewing perspective)을 두는 위치에 배치된다. 다음으로, 시간 t1에서, 관측자(100)는 야구 게임이 제1 베이스 라인을 따라 관측될 수 있게 하는 위치 및 오리엔테이션으로 표현 공간(102) 내에서 이동한다. 이후에, t2에서 관측자(100)는 제1 베이스 라인을 따라 더 멀리 이동하고 우측 필드를 향하는 타격을 보기 위해 오리엔테이션을 변경한다. 이러한 방식으로, 관측자(100)는 표현 공간(102) 내에서 이동함으로써 간단히 게임이 관측되는 시점(persepctive)을 변경할 수 있다. 표현 공간을 용적 방식 비디오 데이터에 매핑하는 것 및 용적 방식 데이터의 이용가능한 시점의 범위에 따라, 관측자가 야구 필드상의 시점(예, 투수 또는 포수 뒤) 또는 임의의 다른 적합한 시점에 대한 변경을 할 수 있다.
도 2는 도 1의 관측 환경에 대한 블록도를 나타낸다. 도 1의 표현 공간(102)은 점선으로 도시되고 비디오 표현 컴퓨팅 장치(112)를 포함하는 것으로 도시된다. 그러나, 통신 채널이 비디오 표현 컴퓨팅 공간 장치(112)와 다양한 입력 센서 및 표현 공간(102)에서 사용되는 출력 장치 사이에 존재하는 한, 비디오 표현 컴퓨팅 장치(102) 및/또는 임의의 다른 적합한 컴포넌트가 표현 공간(102)으로부터 물리적으로 분리되어 배치될 수 있다.
헤드 마운티드 디스플레이 시스템(110)은 다양한 센서 및 출력 장치를 포함할 수 있다. 예를 들어, 헤드 마운티드 디스플레이 시스템(110)은 시스루 디스플레이 서브시스템(200)을 포함할 수 있고, 이로써 이미지가 렌즈(202)에 투사될 수 있고 렌즈(202) 내에 배치된 이미지 생성 요소(예, 시스루 OLED 디스플레이)에 의해 생성될 수 있다. 헤드 마운티드 디스플레이 시스템(110)은 하나 이상의 이미지 센서(204)를 추가로 포함할 수 있다. 예를 들어, 이미지 센서(204)는 관측자의 눈동자가 추적되도록 하는 이미지 데이터를 획득하도록 구성되는 눈 추적 이미지 센서를 포함할 수 있다. 마찬가지로, 이미지 센서(204)는 예를 들면 제스처 기반 사용자 입력을 가능하게 하는 하나 이상의 외부를 향하는 이미지 센서(outward facing image sensor)를 포함할 수 있다. 일부 실시예에서, 제스처 기반 사용자 입력은 또한 표현 공간 카메라(104, 106)를 통해 검출될 수 있는 반면에, 다른 실시예에서는 제스처 기반 입력이 사용되지 않을 수 있다. 헤드 마운티드 디스플레이 시스템(110)은 추가로 음성 명령을 사용자 입력으로 사용하는 것을 가능하게 하는 하나 이상의 마이크로폰(206)을 포함할 수 있다. 선택적으로 또는 추가적으로, 헤드 마운티드 디스플레이 시스템(110)에서 분리된 관측 환경 마이크로폰(207)이 관측자의 음성 명령을 검출하는 데 사용될 수 있다.
헤드 마운티드 디스플레이 시스템(110)은 추가로, 관측자가 헤드 마운티드 디스플레이 시스템(110)을 착용하고 있는 경우에 관측자의 머리의 움직임을 검출하기 위한 하나 이상의 모션 센서(208)를 포함할 수 있다. 모션 센서(208)는 관측자의 머리의 움직임 또는 눈의 오리엔테이션을 추적하기 위해 비디오 표현 컴퓨팅 장치(112)로 제공하기 위한 모션 데이터를 출력할 수 있다. 이러한 모션 데이터가 회전, 피치 및/또는 요 축을 따라 사용자의 머리의 기울기를 검출하는 것을 용이하게 하기 때문에, 이러한 데이터를 오리엔테이션 데이터라고 지칭할 수도 있다. 마찬가지로, 모션 센서(208)는 또한 사용자 입력 장치로서 이용될 수 있고, 이에 따라 사용자는 목과 머리 또는 신체의 어느 부위의 제스처를 통해서도 헤드 마운티드 디스플레이 시스템(110)과 상호작용할 수 있다. 임의의 적합한 센서 및/또는 센서들의 조합이 사용될 수 있기 때문에, 도 2에 도시된 센서는 예시를 위한 것이며 임의의 방식으로 제한하기 위한 것이 아니라는 것을 이해할 수 있을 것이다.
헤드 마운티드 디스플레이 시스템(110)은 헤드 마운티드 디스플레이 시스템(110)의 다양한 입력 및 출력 장치와 통신 연결되는 로직 서브시스템(212) 및 데이터 보유 서브시스템(214)을 가지는 컨트롤러(210)를 추가로 포함한다. 데이터 보유 서브시스템(214)은 로직 서브시스템(212)에 의해 실행가능하며, 예를 들어 통신 서브시스템(216)을 통해 (처리되지 않거나 처리된 형태로) 입력을 센서로부터 비디오 표현 컴퓨팅 장치(112)로 전송 및 수신하고, 비디오 표현 컴퓨팅 장치(112)로부터 이미지 데이터를 수신하며, 시스루 디스플레이 서브시스템(200)을 통해 관측자에게 이러한 이미지를 제시하는 명령어를 저장한다. 오디오는 헤드 마운티드 디스플레이 시스템상의 하나 이상의 스피커(218)를 통해 또는 다른 오디오 출력(220)을 통해 표현 공간에 제시될 수 있다.
헤드 마운티드 디스플레이 시스템(110)은 임의의 적합한 물리적 형태를 가질 수 있다. 예를 들어, 일부 실시예에서, 헤드 마운티드 디스플레이 시스템(110)은 도 3에 도시된 한 쌍의 선글라스의 형태를 취할 수 있다. 다른 실시예에서, 헤드 마운티드 디스플레이 시스템(110)은 사용자의 눈(들)의 전방에 시스루 디스플레이 시스템이 지원되는 임의의 다른 적합한 형태를 가질 수 있다. 도 3은 외부를 향하는 이미지 센서(204)와 눈 추적 이미지 센서(300) 모두를 도시하고 있다는 것에 주의해야할 것이다.
도 2로 돌아가서, 도 1의 카메라(104, 106)가 카메라 1 및 카메라 n으로 도시되고, 이는 임의의 적합한 수의 카메라(두 개로 한정되는 것이 아님)가 사용되어 표현 공간(102)의 사용자 모션을 추적하고 비디오 표현 컴퓨팅 장치로 관측자 위치 데이터를 제공할 수 있다는 것을 나타낸다. 또한, 임의의 다른 적합한 위치 및 오리엔테이션 검출 시스템이 사용될 수 있다는 이해할 수 있을 것이다.
복수의 카메라가 관측자 위치 추적에 사용되는 경우에, 카메라는 임의의 적합한 방식으로 표현 공간을 향해 시준(calibrating)될 수 있다. 일부 실시예에서, 카메라는 자동 시준(self-calibrate)되도록 구성될 수 있다. 예를 들어, 각각의 카메라가 구조광 패턴을 표현 공간으로 투사하는 구조광 투사 시스템을 포함할 수 있다. 이러한 구조광 패턴은 이후에 카메라에 의해 검출되어 표현 환경에 자동 시준되게 할 수 있다. 이후에, 표현 공간에서 하나의 카메라의 다른 카메라에 대한 위치를 시준하기 위해, 하나의 카메라가 구조광 패턴을 방출하면서 그 카메라가 이미지를 캡쳐할 수 있다. 어느 카메라가 구조광 패턴을 방출했는지에 대한 지식에 따른 이미지 내의 구조광 패턴의 외관 및 위치가 이후에 비디오 표현 컴퓨팅 장치에 의해 사용되어 각각의 카메라마다 획득된 이미지들 간의 중첩(overlap)을 측정할 수 있다. 이는 각각의 카메라 사이에 중첩되는 시야(view)가 판정될 때까지 모든 카메라 쌍들에 대해 수행될 수 있다.
비디오 표현 컴퓨팅 장치(112)는 표현 공간(102) 내의 헤드 마운티드 디스플레이 시스템(110), 카메라(104, 106), 마이크로폰(207) 및 오디오 출력부(220)와 통신하는 것으로 도시된다. 또한, 비디오 표현 컴퓨팅 장치(112)는 복수의 콘텐트 소스(표현 공간(102) 내에 배치된 콘텐트 소스 1(222) 및 표현 공간(102) 외부에 배치된 콘텐트 소스 2(224, 226)를 포함함)로부터 입력을 수신하는 것으로 도시된다.
콘텐트 소스(222)는 임의의 적합한 로컬 콘텐트 소스(예, DVD 플레이어, DVR(digital video recorder), 또는 이외의 그러한 로컬 미디어 데이터 소스)를 나타낼 수 있다. 마찬가지로, 콘텐트 소스(224, 226)는 비디오 표현 컴퓨팅 장치(112)에 의해 액세스가능한 임의의 원격 콘텐트 소스를 나타낼 수 있다. 예를 들어, 콘텐트 소스 2 및/또는 콘텐트 소스 n은 용적 방식 비디오 데이터가 그로부터 스트리밍되거나 다운로드될 수 있는 웹사이트를 나타낼 수 있다. 마찬가지로, 콘텐트 소스(224, 226)는 임의의 적합한 원격 미디어 소스(예, 케이블 텔레비전 제공자, 위성 텔레비전 제공자, 컴퓨터 네트워크 액세스가능 스트리밍 미디어 제공자 등)을 나타낼 수 있다. 이와 같이, 네트워크(228)는 콘텐트가 원격 소스로부터 수신되는 데 이용될 수 있는 임의의 적합한 네트워크(들)를 나타낼 수 있다.
도 4는 헤드 마운티드 디스플레이를 통해 용적 방식 비디오를 제시하는 방법(400)에 대한 실시예를 나타내는 흐름도를 도시한다. 방법(400)을 수행하기 전에, 비디오 표현 컴퓨팅 장치가 표현 공간의 볼륨에 대해 표현 공간에 배치된 이미지 센서를 시준할 수 있다는 것을 이해할 수 있을 것이다. 이러한 시준은 임의의 적합한 방식으로, 그리고 임의의 적합한 빈도(시스템 설정(setup)시를 포함하나 이에 한정되는 것은 아님)로 수행될 수 있다.
먼저, 방법(400)은 용적 방식 이미지 데이터를 수신하는 단계 및 용적 방식 이미지 데이터를 표현 공간에 매핑하는 단계(402)를 포함한다. 이러한 매핑은 예를 들어, 사용자가 이동할 수 있는 용적 방식 이미지 내의 영역을 나타내는 용적 방식 이미지 데이터의 일부를 판정하는 단계 및 이어서 그 이미지의 일부 내의 픽셀을 표현 공간의 위치와 연관시키는 단계를 포함한다.
일부의 경우에, 전체 이미지 볼륨이 인터랙티브일 수 있고 이에 따라 사용자는 임의의 바람직한 시점으로 각각의 이미지 프레임의 객체를 볼 수 있다. 보다 구체적인 예로서, 용적 방식 드라마 표현은, 사용자로 하여금 디스플레이되는 장면의 가장자리 주위를 걷게 하고 장면의 전체 볼륨을 통과하며 그 영역 내의 모든 시점에서 액터의 이미지를 보게 하는 데 충분한 수의 카메라 각도로 레코딩될 수 있다. 이러한 표현에 대한 구체적인 일 예에서, 장면 내 벽(wall)의 이미지의 위치는 표현 공간에서 실제 벽의 위치에 대응할 수 있다. 이미지가 임의의 다른 적합한 경계 외관(boundary appreance)을 가질 수 있다는 것을 이해할 수 있을 것이다.
다른 경우에, 이미지 볼륨의 일부만이 인터랙티브일 수 있으며, 이에 따라 사용자는 용적 방식 비디오 콘텐트 내의 객체 및/또는 사람의 일부 시점을 드러내도록 이동하지 못할 수도 있다.
용적 방식 비디오 데이터를 표현 공간에 매핑한 후에, 방법(400)은 용적 방식 비디오 데이터의 프레임을 검색하는 단계(404) 및 이후에 관측자에게 표현하기 위해 헤드 마운티드 디스플레이에 송신할 이미지를 결정하는 다양한 프로세스를 수행하는 단계를 포함한다. 예를 들어, 방법(400)은 표현 공간 내의 이미지 센서로부터 관측자 추적 데이터를 수신하는 단계(408) 및 추적 이미지 데이터를 통해 표현 공간 내에서 관측자를 찾아내는 단계(410)를 포함할 수 있다. 표현 공간 내의 복수의 관측자가 이러한 방식으로 식별될 수 있다는 것을 이해할 수 있을 것이다. 마찬가지로, 관측자 추적 데이터는 또한 사용자가 표현 공간에서 향해 있는 방향(412에 나타냄)을 판정하는데 사용될 수도 있다.
또한, 헤드 마운티브 디스플레이 시스템상의 모션 센서로부터의 데이터가 관측자에게 제시할 이미지를 결정하는 것을 돕는데 사용할 수 있다. 예를 들어, 방법(400)은 헤드 마운티드 디스플레이 시스템상의 하나 이상의 모션 센서로부터 모션 데이터를 수신하는 단계(414에 나타냄) 및 이후에 헤드 마운티드 디스플레이( 및 이에 따른 사용자 눈)의 오리엔테이션을 판정하는 단계(416)를 포함할 수 있다.
일부 실시예에서, 눈동자 추적 데이터가 헤드 마운티드 디스플레이 시스템상의 이미지 센서로부터 수신될 수 있다(418에 나타냄). 이러한 데이터는 이후에 정면을 바라보는 관측자에 대응하는 헤드 마운티드 시스템의 광학 축에 관하여 관측자의 시선(vision)이 향하는 방향을 판정하는 데 사용될 수 있다(420에 나타냄).
다음으로, 관측자 추적 데이터, 오리엔테이션 데이터 및/또는 눈동자 추적 데이터에 기초하여, 방법(400)은 표현 공간을 비디오 데이터에 매핑하는 것에 기초하여 표현 공간 내의 관측자의 시야(field of view) 내에 있는 용적 방식 비디오 데이터의 현재 프레임의 부분 및 오리엔테이션을 판정하는 단계(422)를 포함한다. 이후에, 424에서, 비디오 표현 컴퓨팅 장치는 표현을 위해 헤드 마운티드 디스플레이 시스템으로 송신할 표현 이미지를 결정하고, 그 이미지를 송신한다(426). 용적 방식 비디오 데이터의 각각의 프레임에 대해 프로세스(404 내지 426)를 수행함으로써, 용적 방식 비디오 표현이 관측자에게 제시될 수 있다(428에 나타냄).
일부 실시예에서, 인터랙티브 그래픽 사용자 인터페이스는 또한 예를 들면, 비디오 표현의 제어를 가능하게 하도록 관측자에게 제시될 수도 있다. 도 5는 용적 방식 그래픽 사용자 인터페이스를 제시하는 방법(500)을 나타내는 흐름도를 도시하고, 도 6 및 도 7은 이러한 사용자 인터페이스에 대한 예시적인 구현예를 나타낸다. 방법(500)은 그래픽 사용자 인터페이스에 대한 사용자 요청을 검출하는 단계(502) 및 헤드 마운티드 디스플레이 시스템으로 사용자 인터페이스를 송신하는 단계(504)를 포함한다. 사용자는 임의의 적합한 방식으로 그래픽 사용자 인터페이스를 요청할 수 있다. 예를 들어, 도 6을 참조하면, 사용자는 특정한 자세(posture)로 전방을 향하여 손(602)을 뻗는 제스처를 행함으로써 사용자 인터페이스를 요청한다. 이에 응답하여, 복수의 누르기 가능한 요소(예, 버튼(606))를 포함하는 그래픽 사용자 인터페이스(604)가 명백히 사용자의 팔이 닿는 거리 내에 디스플레이된다. 임의의 유형의 사용자 인터페이스 요소(누르기 가능한 요소, 당기기 가능한 요소, 옮기기 가능한 요소, 회전가능한 요소 등을 포함하나 이에 한정되는 것은 아님)가 표현될 수 있다는 것을 이해할 수 있을 것이다. 또한, 손(602)은 헤드 마운티드 디스플레이 시스템을 통해 보이는 사용자의 실제 손을 나타낼 수 있고 또는 사용자 인터페이스 이미지의 일부로서 사용자에게 디스플레이되고 사용자의 실제 손의 모션을 추적하도록 구성되는 아바타를 나타낼 수 있다는 것을 이해할 수 있을 것이다.
다음으로 방법(500)은 사용자 인터페이스 이미지와 상호작용하는 사용자 제스처를 검출하는 단계(506)를 포함한다. 이에 응답하여, 방법(500)은 사용자 제스처의 효과를 표현하는 변경된 사용자 인터페이스 이미지를 송신하는 단계(508) 및 요청된 액션을 수행하는 단계(510)를 포함한다. 예를 들어, 도 7을 참조하면, 사용자는 손가락을 펴고 버튼(606)을 누름으로써 사용자 인터페이스 이미지와 상호작용한다. 이에 응답하여, 버튼은 활성화된 상태로 (예, 다른 버튼에 비하여 눌려있는 상태로 또는 다른 버튼에 비하여 임의의 적합한 시각적 방식으로 대조되는 상태로) 표현된다.
일부 실시예에서, 사용자는 제스처에 추가하여 또는 제스처를 대신하는 음성 명령을 통해 비디오 표현 컴퓨팅 장치(112)와 상호작용할 수 있다. 따라서, 방법(500)은 오디오 입력을 수신하고 오디오 입력 내의 음성 명령을 검출하는 단계(512)와, 오디오 입력에서 요청된 액션을 수행하는 단계(514)를 포함한다. 오디오 입력은 헤드 마운티드 디스플레이상에 배치되거나 표현 공간 내 다른 곳에 배치될 수 있는 마이크로폰을 통해 수신될 수 있다. 사용자가 임의의 다른 적합한 방식으로 비디오 표현 컴퓨팅 장치와 상호작용할 수 있다는 것 또한 이해할 수 있을 것이다.
사용자 인터페이스 상호작용 중에 비디오 표현이 다양한 방식으로 디스플레이 될 수 있다는 것을 이해할 수 있을 것이다. 예를 들어, 도 6 및 도 7을 참조하면, 비디오 표현은 사용자 인터페이스 액션 중에 일시 정지되는 것으로 도시된다. 다른 경우에, 비디오 표현은 계속될 수 있고 또는 전혀 디스플레이되지 않을 수도 있다.
따라서 본 명세서에 설명된 비디오 콘텐트의 표현은 현재의 비디오 콘텐트 표현 방법보다 더 몰입도 높은 경험을 가능하게 할 수 있고, 각각의 관측자가 그 관측자에게 가장 흥미로운 시점을 선택하는 것을 가능하게 할 수 있다.
일부 실시예에서, 전술한 방법 및 프로세스가 하나 이상의 컴퓨터(예, 비디오 표현 컴퓨팅 장치(112))를 포함하는 컴퓨팅 시스템에 연관될 수 있다. 구체적으로, 본 명세서에 설명된 방법 및 프로세스는 컴퓨터 애플리케이션, 컴퓨터 서비스, 컴퓨터 API, 컴퓨터 라이브러리 및/또는 다른 컴퓨터 프로그램 제품으로 구현될 수 있다.
도 8은 전술한 방법 및 프로세스 중 하나 이상을 수행할 수 있는 비제한적인 컴퓨팅 시스템(800)을 개략적으로 나타낸다. 컴퓨팅 시스템(800)은 간략화된 형식으로 도시된다. 실질적으로 임의의 컴퓨터 아키텍처가 본 명세서의 범주를 벗어나지 않는 범위에서 사용될 수 있다는 것을 이해할 수 있을 것이다. 다른 실시예에서, 컴퓨팅 시스템(800)은 메인프레임 컴퓨터, 서버 컴퓨터, 데스크톱 컴퓨터, 랩톱 컴퓨터, 태블릿 컴퓨터, 홈 엔터테인먼트 컴퓨터, 네트워크 컴퓨팅 장치, 모바일 컴퓨팅 장치, 모바일 통신 장치, 게임 장치 등의 형태를 취할 수 있다.
컴퓨팅 시스템(800)은 로직 서브시스템(802)과 데이터 보유 서브시스템(804)를 포함한다. 컴퓨팅 시스템(800)은 디스플레이 서브시스템(06), 통신 서브시스템(808), 및/또는 도 8에 도시되지 않은 다른 컴포넌트를 선택적으로 포함할 수 있다. 컴퓨팅 시스템(800)은 예를 들어, 키보드, 마우스, 게임 콘트롤러, 카메라, 마이크, 및/또는 터치 스크린 등과 같은 사용자 입력 장치를 선택적으로 포함할 수도 있다.
로직 서브시스템(802)은 하나 이상의 명령어를 실행하도록 구성되는 하나 이상의 물리적 장치를 포함할 수 있다. 예를 들어, 로직 서브시스템은 하나 이상의 애플리케이션, 서비스, 프로그램, 루틴, 라이브러리, 객체, 컴포넌트, 데이터 구조, 또는 기타 논리적 구성의 일부인 하나 이상의 명령어를 실행하도록 구성될 수 있다. 이러한 명령어는 작업을 수행하고, 데이터 유형을 구현하며, 하나 이상의 장치의 상태를 변겨하고, 또는 그 밖의 원하는 결과에 이르도록 구현될 수 있다.
로직 서브시스템은 소프트웨어 명령어를 실행하도록 구성되는 하나 이상의 프로세서를 포함할 수 있다. 추가적으로 또는 이에 갈음하여, 로직 서브시스템은 하드웨어나 펌웨어 명령어를 실행하도록 구성되는 하나 이상의 하드웨어 또는 펌웨어 로직 머신을 포함할 수 있다. 로직 서브시스템의 프로세서는 싱글코어 또는 멀티코어일 수 있고, 로직 서브시스템상에서 실행되는 프로그램은 병렬 또는 분산 처리용으로 구성될 수도 있다. 로직 서브시스템은 둘 이상의 장치에 걸쳐 분산되는 개별 컴포넌트를 선택적으로 포함할 수 있으며, 이들은 협응 처리를 위해 원격으로 배치되거나 구성될 수 있으며 이들 양자일 수도 있다. 로직 서브시스템의 하나 이상의 측면은 가상화될 수도 있고 클라우드 컴퓨팅 환경에서 구성되는 원격으로 액세스 가능한 네트워크화된 컴퓨팅 장치에 의해 실행될 수도 있다.
데이터 보유 서브시스템(804)은 본 명세서에서 설명된 방법 및 프로세스를 구현하는 로직 서브시스템에 의해 실행가능한 명령어 및/또는 데이터를 보유하도록 구성되는 하나 이상의 물리적이고 비 일시적인 장치일 수 있다. 이러한 방법 및 절차가 구현될 때, 데이터 보유 서브시스템은 (예컨대, 다른 데이터를 보유하도록) 변환될 수 있다.
데이터 보유 서브시스템(804)은 분리가능형 매체 및/또는 빌트인 장치를 포함할 수 있다. 데이터 보유 서브시스템(804)은 무엇보다도 광학 메모리 장치(예컨대, CD, DVD, HD-DVD, Blu-Ray Disc 등), 반도체 메모리 장치(예컨대, RAM, EPROM, EEPROM 등) 및/또는 자기적 메모리 장치(예컨대, 하드 디스크 드라이브, 플로피 디스크 드라이브, 테이프 드라이브, MRAM 등)를 포함할 수 있다. 데이터 보유 서브시스템(804)은 휘발성, 비휘발성, 동적, 정적, 판독/기록, 판독전용, 랜덤 액세스, 순차 액세스, 위치 어드레스 지정(location addressable), 파일 어드레스 지정(file addressable) 및 콘텐트 어드레스 지정(content addressable) 특성 중 하나 이상을 갖는 장치를 포함할 수 있다. 일부 실시예에서, 로직 서브시스템(802) 및 데이터 보유 서브시스템(804)은 애플리케이션 특정 집적 회로 또는 시스템 온 칩과 같은 하나 이상의 공통 장치로 통합될 수 있다.
또한, 도 8은 분리가능형 컴퓨터 판독가능 저장 매체(810)의 형태인 데이터 보유 서브시스템의 한 측면을 도시하는데, 이것은 데이터 및/또는 본 명세서에서 설명된 방법 및 프로세스를 구현하도록 실행가능한 명령어를 저장 및/또는 전송하는 데 사용될 수 있다. 분리가능형 컴퓨터 저장 매체는 여러 가지 중에서도 CD, DVD, HD-DVD, Blu-Ray Disc, EEPROM, 및/또는 플로피 디스크의 형태를 취할 수 있다.
데이터 보유 서브시스템(804)은 하나 이상의 물리적이고 비일시적인 장치를 포함하는 것으로 이해될 것이다. 그에 반해, 본 명세서에서 설명된 명령어들의 일부 실시예적 측면들은 적어도 유한한 기간에 동안에는 물리적 장치에 의해 보유되지 않는 순수한 신호(예컨대, 전자기 신호, 광학 신호 등)에 의해 일시적인 방식으로 전파될 수 있다. 더욱이, 본 발명에 관한 데이터 및/또는 다른 형태의 정보는 순수한 신호에 의해 전파될 수 있다.
"모듈", "프로그램", 및 "엔진"이라는 용어는 하나 이상의 특정한 기능을 수행하도록 구현되는 컴퓨팅 시스템(800)의 일 측면을 설명하기 위해 사용될 수 있다. 일부의 경우, 이러한 모듈, 프로그램, 또는 엔진은 데이터 보유 서브시스템(804)에 의해 보유되는 명령어를 실행하는 로직 서브시스템(802)을 통해 인스턴스화될 수 있다. 상이한 모듈, 프로그램, 및/또는 엔진은 동일한 애플리케이션, 서비스, 코드 블록, 오브젝트, 라이브러리, 루틴, API, 함수 등으로부터 인스턴스화될 수 있음이 이해될 것이다. 마찬가지로, 동일한 모듈, 프로그램, 및/또는 엔진이 상이한 애플리케이션, 서비스, 코드 블록, 오브젝트, 루틴, API, 함수 등에 의해 인스턴스화 될 수도 있다. "모듈", "프로그램", 및 "엔진"이라는 용어는 실행 가능한 파일, 데이터 파일, 라이브러리, 드라이버, 스크립트, 데이터베이스 기록 등의 각각이나 이들의 그룹을 포괄하는 것을 의미한다.
디스플레이 서브시스템(806)이 포함될 경우, 이는 데이터 보유 서브시스템(804)에 의해 보유되는 데이터의 시각적 표현을 표시하기 위해 사용될 수 있다. 본 명세서에서 설명된 방법 및 절차는 데이터 보유 서브시스템에 보유되는 데이터를 변경하고, 그에 따라 데이터 보유 서브시스템(806)의 상태를 변환하므로, 디스플레이 서브시스템의 상태도 마찬가지로 변환되어 기저의 데이터에 대한 변화를 시각적으로 표현한다. 디스플레이 서브시스템(806)은 임의의 유형의 기법을 사실상 이용하는 하나 이상의 디스플레이 장치를 포함할 수 있다. 이러한 디스플레이 장치는 로직 서브시스템 및/또는 데이터 보유 서브시스템과 공유된 장소에서 결합될 수도 있고, 또는 이러한 디스플레이 장치는 전술한 헤드 마운티드 디스플레이 시스템과 같은 주변 디스플레이 장치일 수도 있다.
통신 서브시스템(808)이 포함될 경우, 이는 컴퓨팅 시스템(800)을 하나 이상의 다른 컴퓨팅 장치와 통신가능하게 연결하도록 구성될 수 있다. 통신 서브시스템(808)은 하나 이상의 상이한 통신 프로토콜을 이용하여 컴파일 가능한 유선 및/또는 무선 통신 장치를 포함할 수 있다. 비제한적인 예로서, 통신 서브시스템은 무선 전화 네트워크, 무선 LAN, 유선 LAN, 무선 광역 네트워크, 유선 광역 네트워크 등을 통해 통신하도록 구성될 수 있다. 일부 실시예에서, 통신 서브시스템은 컴퓨팅 장치(800)로 하여금 인터넷과 같은 네트워크를 통해 다른 장치로/로부터 매시지를 송신 및/또는 수신하게 할 수 있다.
본 명세서에서 설명된 구성 및/또는 접근법은 사실상 예시적인 것일 뿐이고, 이들 구체적인 실시예들 또는 예시들은 다양한 변형예가 가능하므로 한정적인 의미로 고려되어서는 안 된다. 본 명세서에서 설명된 구체적인 루틴 또는 방법은 하나 이상의 임의의 개수의 프로세싱 전략을 대표한다. 이와 같이, 도시된 다양한 동작들은 도시된 순서에 따라 수행될 수도 있으나, 다른 순서에 따르거나, 병렬적이거나, 일부 경우를 생략하여 수행될 수도 있다. 마찬가지로, 전술한 프로세스들의 순서도 변경될 수 있다.
본 발명의 대상은 본 명세서에 개시된 여러 프로세스, 시스템 및 구성, 및 기타 특징, 기능, 동작, 및/또는 속성의 신규하고 비자명한 조합 및 하위조합 모두를 포함할 뿐만 아니라 이들의 모든 균등물도 포함한다.

Claims (10)

  1. 로직 서브시스템과,
    상기 로직 서브시스템에 의해 실행가능한 명령어가 저장되는 데이터 보유 서브시스템을 포함하되,
    상기 명령어는
    위치 및 오리엔테이션 감지 시스템(location and orientation sensing system)으로부터 관측자 위치 데이터 및 관측자 오리엔테이션 데이터를 수신하고,
    상기 관측자 위치 데이터 및 상기 관측자 오리엔테이션 데이터로부터, 표현 공간(presentation space)에서 관측자를 찾아내고, 상기 표현 공간에서 상기 사용자가 향해 있는 방향을 판정하며, 상기 표현 공간 내에서 헤드 마운티드 디스플레이 시스템(head-mounted display system)의 오리엔테이션을 판정하고,
    상기 관측자 위치 데이터 및 상기 관측자 오리엔테이션 데이터에 기초하여 상기 관측자의 시야(field of view) 내에 있는 상기 표현 공간의 일부분에 매핑된 용적 방식 이미지(volumetric image)의 부분 및 오리엔테이션을 판정함으로써 상기 헤드 마운티트 디스플레이 시스템으로 송신될 표현 이미지를 결정하며,
    상기 헤드 마운티드 디스플레이로 상기 표현 이미지를 송신하도록 실행되는
    컴퓨팅 장치.
  2. 제1항에 있어서,
    상기 명령어는 추가로, 상기 헤드 마운티드 디스플레이 시스템상의 눈동자 추적 이미지 센서로부터의 눈동자 추적 데이터를 수신하고,
    상기 눈동자 추적 데이터에 기초하여 상기 표현 이미지를 결정하도록 실행되는
    컴퓨팅 장치.
  3. 제1항에 있어서,
    상기 명령어는 추가로, 상기 용적 방식 이미지의 입력을 수신하고,
    상기 용적 방식 이미지를 상기 표현 공간에 매핑하도록 구성되는
    컴퓨팅 장치.
  4. 제1항에 있어서,
    상기 용적 방식 이미지 데이터는 복수의 각도에서 캡쳐된 장면의 비디오 이미지 데이터를 포함하는
    컴퓨팅 장치.
  5. 제1항에 있어서,
    상기 명령어는 추가로, 상기 오리엔테이션 데이터로부터 상기 헤드 마운티드 디스프레이의 회전(roll), 피치(pitch) 및 요(yaw)를 검출하도록 실행되는
    컴퓨팅 장치.
  6. 제1항에 있어서,
    상기 명령어는 추가로
    사용자 인터페이스를 요청하는 사용자 입력을 검출하고,
    디스플레이를 위해 상기 헤드 마운티드 디스플레이로 송신할 사용자 인터페이스 이미지를 결정하고 - 상기 사용자 인터페이스 이미지는 사용자 인터페이스 요소를 포함함 - ,
    상기 사용자 인터페이스 이미지를 상기 헤드 마운티드 디스플레이로 송신하고,
    상기 사용자 인터페이스 이미지와 상호작용하는 사용자 제스처를 검출하며,
    상기 사용자 제스처 검출에 응답하여 상기 사용자 인터페이스 이미지상의 상기 사용자 제스처의 효과를 나타내는 변경된 사용자 인터페이스 이미지를 송신하도록 실행되는
    컴퓨팅 장치.
  7. 제6항에 있어서,
    상기 사용자 인터페이스 요소는 누르기 가능한 요소 및 당기기 가능한 요소 중 적어도 하나를 포함하는
    컴퓨팅 장치.
  8. 제1항에 있어서,
    상기 명령어는 상기 표현 공간 내의 복수의 관측자를 검출하고,
    상기 표현 공간 내의 각각의 관측자의 위치에 기초하여 상기 복수의 관측자 각각에게 송신할 상이한 이미지를 결정하도록 실행되는
    컴퓨팅 장치.
  9. 제1항에 있어서,
    상기 명령어는 추가로
    오디오 입력을 수신하고,
    상기 오디오 입력 내의 음성 명령(voice command)을 검출하며,
    상기 오디오 입력에 응답하여 기능을 수행하도록 실행되는
    컴퓨팅 장치.
  10. 용적 방식 비디오 이미지 데이터를 제시하는 방법으로서,
    상기 용적 방식 비디오 이미지 데이터를 수신하는 단계와,
    상기 용적 방식 비디오 이미지 데이터를 표현 공간에 매핑하는 단계와,
    복수의 이미지 캡처 장치로부터의 관측자 추적 이미지 데이터를 수신하는 단계와,
    상기 관측자 추적 이미지 데이터를 통해 표현 공간 내에서 관측자를 찾아내고 상기 사용자가 상기 표면 공간에서 향해 있는 방향을 판정하는 단계와,
    헤드 마운티드 디스플레이 시스템상의 모션 센서로부터 오리엔테이션 데이터를 수신하는 단계와,
    상기 오리엔테이션 데이터로부터, 상기 표현 공간에서의 상기 헤드 마운티드 디스플레이 시스템의 오리엔테이션을 판정하는 단계와,
    상기 헤드 마운티드 디스플레이 시스템상의 이미지 센서로부터 눈동자 추적 데이터를 수신하는 단계와,
    상기 눈동자 추적 데이터로부터, 상기 관측자의 시선(vison)이 향하는 방향을 판정하는 단계와,
    상기 관측자 추적 이미지 데이터, 상기 오리엔테이션 데이터 및 상기 눈동자 추적 데이터에 기초하여 상기 관측자의 시야(field of view) 내에 있는 표현 공간에 매핑되는 용적 방식 이미지의 부분 및 오리엔테이션을 판정함으로써, 상기 헤드 마운티드 디스플레이 시스템으로 송신될 표현 이미지를 결정하는 단계와,
    상기 표현 이미지를 상기 헤드 마운티드 디스플레이로 송신하는 단계
    를 포함하는 용적 방식 비디오 이미지 데이터를 제시하는 방법.
KR1020137033546A 2011-06-17 2012-06-12 용적 방식 비디오 표현 기법 KR101925658B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/163,407 US8964008B2 (en) 2011-06-17 2011-06-17 Volumetric video presentation
US13/163,407 2011-06-17
PCT/US2012/042064 WO2012173998A2 (en) 2011-06-17 2012-06-12 Volumetric video presentation

Publications (2)

Publication Number Publication Date
KR20140033144A true KR20140033144A (ko) 2014-03-17
KR101925658B1 KR101925658B1 (ko) 2019-02-27

Family

ID=47353374

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020137033546A KR101925658B1 (ko) 2011-06-17 2012-06-12 용적 방식 비디오 표현 기법

Country Status (7)

Country Link
US (1) US8964008B2 (ko)
EP (1) EP2721443A4 (ko)
JP (1) JP6223965B2 (ko)
KR (1) KR101925658B1 (ko)
CN (1) CN103608716B (ko)
TW (1) TWI571130B (ko)
WO (1) WO2012173998A2 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016190489A1 (ko) * 2015-05-27 2016-12-01 엘지전자 주식회사 헤드 마운티드 디스플레이 및 그 제어 방법
WO2017217675A1 (ko) * 2016-06-13 2017-12-21 주식회사 네비웍스 가상현실게임제어장치 및 그 동작 방법

Families Citing this family (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10795457B2 (en) 2006-12-28 2020-10-06 D3D Technologies, Inc. Interactive 3D cursor
US11228753B1 (en) 2006-12-28 2022-01-18 Robert Edwin Douglas Method and apparatus for performing stereoscopic zooming on a head display unit
US11275242B1 (en) 2006-12-28 2022-03-15 Tipping Point Medical Images, Llc Method and apparatus for performing stereoscopic rotation of a volume on a head display unit
US11315307B1 (en) 2006-12-28 2022-04-26 Tipping Point Medical Images, Llc Method and apparatus for performing rotating viewpoints using a head display unit
US8941560B2 (en) 2011-09-21 2015-01-27 Google Inc. Wearable computer with superimposed controls and instructions for external device
US20130083252A1 (en) * 2011-10-04 2013-04-04 David John Boyes Gesture recognition capable picture video frame
US20150097772A1 (en) * 2012-01-06 2015-04-09 Thad Eugene Starner Gaze Signal Based on Physical Characteristics of the Eye
KR101958778B1 (ko) * 2012-08-31 2019-03-15 엘지전자 주식회사 헤드 마운트 디스플레이 및 이를 이용한 디지털 디바이스 제어 방법
US8933882B2 (en) 2012-12-31 2015-01-13 Intentive Inc. User centric interface for interaction with visual display that recognizes user intentions
CN104020935A (zh) * 2013-02-28 2014-09-03 国际商业机器公司 用于控制显示屏上的显示对象的方法和装置
US10905943B2 (en) * 2013-06-07 2021-02-02 Sony Interactive Entertainment LLC Systems and methods for reducing hops associated with a head mounted system
US10137361B2 (en) 2013-06-07 2018-11-27 Sony Interactive Entertainment America Llc Systems and methods for using reduced hops to generate an augmented virtual reality scene within a head mounted system
US9908048B2 (en) * 2013-06-08 2018-03-06 Sony Interactive Entertainment Inc. Systems and methods for transitioning between transparent mode and non-transparent mode in a head mounted display
US10304238B2 (en) * 2013-07-23 2019-05-28 National Ict Australia Limited Geo-located activity visualisation, editing and sharing
KR102120764B1 (ko) 2013-09-16 2020-06-09 엘지전자 주식회사 포터블 디바이스 및 그 제어 방법
WO2015037784A1 (en) * 2013-09-16 2015-03-19 Lg Electronics Inc. Portable device and control method thereof
US9083860B2 (en) 2013-10-09 2015-07-14 Motorola Solutions, Inc. Method of and apparatus for automatically controlling operation of a user-mounted recording device based on user motion and event context
US9635424B2 (en) * 2014-07-18 2017-04-25 Sony Interactive Entertainment America Llc Virtual high definition video player
JP2016046642A (ja) * 2014-08-21 2016-04-04 キヤノン株式会社 情報処理システム、情報処理方法及びプログラム
CN104216533B (zh) * 2014-08-28 2017-06-06 东华大学 一种基于DirectX9的头戴式虚拟现实显示器
WO2016041088A1 (en) * 2014-09-19 2016-03-24 Sulon Technologies Inc. System and method for tracking wearable peripherals in augmented reality and virtual reality applications
TWI530821B (zh) * 2014-09-25 2016-04-21 中強光電股份有限公司 頭戴式顯示系統及其操作方法
KR102309281B1 (ko) * 2014-11-07 2021-10-08 삼성전자주식회사 오브젝트를 표시하는 방향 기반 전자 장치 및 방법
KR20160059765A (ko) * 2014-11-19 2016-05-27 삼성전자주식회사 전자 장치의 디스플레이 방법 및 장치
US20160210780A1 (en) * 2015-01-20 2016-07-21 Jonathan Paulovich Applying real world scale to virtual content
US10013808B2 (en) * 2015-02-03 2018-07-03 Globus Medical, Inc. Surgeon head-mounted display apparatuses
US9897806B2 (en) 2015-02-10 2018-02-20 Dreamworks Animation L.L.C. Generation of three-dimensional imagery to supplement existing content
US9721385B2 (en) * 2015-02-10 2017-08-01 Dreamworks Animation Llc Generation of three-dimensional imagery from a two-dimensional image using a depth map
US20160261908A1 (en) * 2015-03-05 2016-09-08 Htc Corporation Media streaming system and control method thereof
JP6501904B2 (ja) * 2015-05-27 2019-04-17 グーグル エルエルシー 球面ビデオのストリーミング
EP3307407B1 (en) 2015-06-14 2020-09-09 Sony Interactive Entertainment Inc. Expanded field of view re-rendering for vr spectating
WO2017143289A1 (en) * 2016-02-17 2017-08-24 Gopro, Inc. System and method for presenting and viewing a spherical video segment
US10245507B2 (en) * 2016-06-13 2019-04-02 Sony Interactive Entertainment Inc. Spectator management at view locations in virtual reality environments
WO2018002882A1 (en) * 2016-06-30 2018-01-04 Nokia Technologies Oy Method and apparatus for rotation and switching of video content
US10652284B2 (en) 2016-10-12 2020-05-12 Samsung Electronics Co., Ltd. Method and apparatus for session control support for field of view virtual reality streaming
WO2018074263A1 (ja) * 2016-10-20 2018-04-26 ソニー株式会社 情報処理装置、情報処理方法、プログラム、およびコミュニケーションシステム
US10999602B2 (en) 2016-12-23 2021-05-04 Apple Inc. Sphere projected motion estimation/compensation and mode decision
US11259046B2 (en) 2017-02-15 2022-02-22 Apple Inc. Processing of equirectangular object data to compensate for distortion by spherical projections
US10924747B2 (en) 2017-02-27 2021-02-16 Apple Inc. Video coding techniques for multi-view video
GB2561882A (en) * 2017-04-27 2018-10-31 Nokia Technologies Oy Virtual reality viewport adaption
US11093752B2 (en) * 2017-06-02 2021-08-17 Apple Inc. Object tracking in multi-view video
US10706813B1 (en) * 2018-02-03 2020-07-07 Facebook Technologies, Llc Apparatus, system, and method for mitigating motion-to-photon latency in head-mounted displays
CN108337573A (zh) * 2018-03-26 2018-07-27 京东方科技集团股份有限公司 一种赛事实时解说的实现方法和介质
WO2020012071A1 (en) * 2018-07-10 2020-01-16 Nokia Technologies Oy A method, an apparatus and a computer program product for volumetric video coding
US11089281B2 (en) 2018-11-27 2021-08-10 At&T Intellectual Property I, L.P. Volumetric video creation from user-generated content
US11006091B2 (en) 2018-11-27 2021-05-11 At&T Intellectual Property I, L.P. Opportunistic volumetric video editing
US11528538B2 (en) 2018-12-21 2022-12-13 Koninklijke Kpn N.V. Streaming volumetric and non-volumetric video
US11675424B2 (en) 2019-01-22 2023-06-13 Hewlett-Packard Development Company, L.P. Mixed reality presentation
US10970519B2 (en) 2019-04-16 2021-04-06 At&T Intellectual Property I, L.P. Validating objects in volumetric video presentations
US11074697B2 (en) 2019-04-16 2021-07-27 At&T Intellectual Property I, L.P. Selecting viewpoints for rendering in volumetric video presentations
US11153492B2 (en) 2019-04-16 2021-10-19 At&T Intellectual Property I, L.P. Selecting spectator viewpoints in volumetric video presentations of live events
US11012675B2 (en) 2019-04-16 2021-05-18 At&T Intellectual Property I, L.P. Automatic selection of viewpoint characteristics and trajectories in volumetric video presentations
US11023729B1 (en) * 2019-11-08 2021-06-01 Msg Entertainment Group, Llc Providing visual guidance for presenting visual content in a venue
US20230008125A1 (en) * 2019-12-16 2023-01-12 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Augmenting a view of a real-world environment with a view of a volumetric video object
US11330252B2 (en) * 2020-02-12 2022-05-10 At&T Intellectual Property I, L.P. Apparatus and method for providing content with multiplane image transcoding
US11622100B2 (en) * 2021-02-17 2023-04-04 flexxCOACH VR 360-degree virtual-reality system for dynamic events
JP2023159708A (ja) 2022-04-20 2023-11-01 キヤノン株式会社 撮像システムの制御装置および制御方法
US20240071007A1 (en) * 2022-08-31 2024-02-29 Snap Inc. Multi-dimensional experience presentation using augmented reality
US20240073404A1 (en) * 2022-08-31 2024-02-29 Snap Inc. Controlling and editing presentation of volumetric content

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH086708A (ja) * 1994-04-22 1996-01-12 Canon Inc 表示装置
KR19980023727U (ko) * 1996-10-31 1998-07-25 배순훈 지문인식을 이용한 자동차 도어 열림장치

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07325934A (ja) 1992-07-10 1995-12-12 Walt Disney Co:The 仮想世界に向上したグラフィックスを提供する方法および装置
US6008781A (en) 1992-10-22 1999-12-28 Board Of Regents Of The University Of Washington Virtual retinal display
CA2197175A1 (en) * 1994-08-10 1996-02-22 Retinal Display Cayman Ltd. Head mounted display optics
EP0707288B1 (en) * 1994-10-14 2003-08-27 Canon Kabushiki Kaisha Image processing method and apparatus
JPH08116556A (ja) * 1994-10-14 1996-05-07 Canon Inc 画像処理方法および装置
US6327381B1 (en) 1994-12-29 2001-12-04 Worldscape, Llc Image transformation and synthesis methods
KR20020025301A (ko) 2000-09-28 2002-04-04 오길록 다중 사용자를 지원하는 파노라믹 이미지를 이용한증강현실 영상의 제공 장치 및 그 방법
JP2003244728A (ja) * 2002-02-15 2003-08-29 Mitsubishi Heavy Ind Ltd 仮想映像作成装置及び仮想映像作成方法
US7337410B2 (en) 2002-11-06 2008-02-26 Julius Lin Virtual workstation
US7352340B2 (en) 2002-12-20 2008-04-01 Global Imagination Display system having a three-dimensional convex display surface
AU2004237202A1 (en) * 2003-04-30 2004-11-18 D4D Technologies, Llc Intra-oral imaging system
US7190496B2 (en) 2003-07-24 2007-03-13 Zebra Imaging, Inc. Enhanced environment visualization using holographic stereograms
US7814436B2 (en) * 2003-07-28 2010-10-12 Autodesk, Inc. 3D scene orientation indicator system with scene orientation change capability
US8323106B2 (en) * 2008-05-30 2012-12-04 Sony Computer Entertainment America Llc Determination of controller three-dimensional location using image analysis and ultrasonic communication
JP4373286B2 (ja) * 2004-05-06 2009-11-25 オリンパス株式会社 頭部装着型表示装置
WO2006086223A2 (en) * 2005-02-08 2006-08-17 Blue Belt Technologies, Inc. Augmented reality device and method
US7925391B2 (en) * 2005-06-02 2011-04-12 The Boeing Company Systems and methods for remote display of an enhanced image
CN1877390A (zh) * 2005-06-08 2006-12-13 大学光学科技股份有限公司 具有数字内容显示的焦距可调整的头戴式显示系统及用于实现该系统的装置
US7843449B2 (en) 2006-09-20 2010-11-30 Apple Inc. Three-dimensional display system
US9323055B2 (en) * 2006-05-26 2016-04-26 Exelis, Inc. System and method to display maintenance and operational instructions of an apparatus using augmented reality
US20100110368A1 (en) 2008-11-02 2010-05-06 David Chaum System and apparatus for eyeglass appliance platform
US20100128112A1 (en) 2008-11-26 2010-05-27 Samsung Electronics Co., Ltd Immersive display system for interacting with three-dimensional content
KR101647722B1 (ko) * 2009-11-13 2016-08-23 엘지전자 주식회사 영상표시장치 및 그 동작방법
US8836771B2 (en) * 2011-04-26 2014-09-16 Echostar Technologies L.L.C. Apparatus, systems and methods for shared viewing experience using head mounted displays

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH086708A (ja) * 1994-04-22 1996-01-12 Canon Inc 表示装置
KR19980023727U (ko) * 1996-10-31 1998-07-25 배순훈 지문인식을 이용한 자동차 도어 열림장치

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016190489A1 (ko) * 2015-05-27 2016-12-01 엘지전자 주식회사 헤드 마운티드 디스플레이 및 그 제어 방법
US10585283B2 (en) 2015-05-27 2020-03-10 Lg Electronics Inc. Head mounted display and control method therefor
WO2017217675A1 (ko) * 2016-06-13 2017-12-21 주식회사 네비웍스 가상현실게임제어장치 및 그 동작 방법

Also Published As

Publication number Publication date
TWI571130B (zh) 2017-02-11
US8964008B2 (en) 2015-02-24
KR101925658B1 (ko) 2019-02-27
EP2721443A2 (en) 2014-04-23
CN103608716B (zh) 2016-03-30
JP6223965B2 (ja) 2017-11-01
EP2721443A4 (en) 2015-04-22
JP2014525049A (ja) 2014-09-25
WO2012173998A3 (en) 2013-07-11
TW201301892A (zh) 2013-01-01
US20120320169A1 (en) 2012-12-20
CN103608716A (zh) 2014-02-26
WO2012173998A2 (en) 2012-12-20

Similar Documents

Publication Publication Date Title
KR101925658B1 (ko) 용적 방식 비디오 표현 기법
JP6708689B2 (ja) 三次元ゲームプレイの共有
US10497175B2 (en) Augmented reality virtual monitor
US9024844B2 (en) Recognition of image on external display
US9429912B2 (en) Mixed reality holographic object development
US20130141419A1 (en) Augmented reality with realistic occlusion
JP6611733B2 (ja) 表示装置の閲覧者の注視誘引
US10055888B2 (en) Producing and consuming metadata within multi-dimensional data
US9977492B2 (en) Mixed reality presentation
EP2887322B1 (en) Mixed reality holographic object development
US20140240351A1 (en) Mixed reality augmentation
KR20140014160A (ko) 실감형 디스플레이 경험
US11854148B2 (en) Virtual content display opportunity in mixed reality
JP7249975B2 (ja) 位置に基づくゲームプレイコンパニオンアプリケーションへユーザの注目を向ける方法及びシステム
WO2018076927A1 (zh) 一种适用于空间系统的操作方法及装置、存储介质

Legal Events

Date Code Title Description
N231 Notification of change of applicant
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant