KR20170047386A - 3d 홀로그래픽 환경에서의 콘텐츠 관리 - Google Patents

3d 홀로그래픽 환경에서의 콘텐츠 관리 Download PDF

Info

Publication number
KR20170047386A
KR20170047386A KR1020177008957A KR20177008957A KR20170047386A KR 20170047386 A KR20170047386 A KR 20170047386A KR 1020177008957 A KR1020177008957 A KR 1020177008957A KR 20177008957 A KR20177008957 A KR 20177008957A KR 20170047386 A KR20170047386 A KR 20170047386A
Authority
KR
South Korea
Prior art keywords
end user
mobile device
virtual cylinder
curved
radius
Prior art date
Application number
KR1020177008957A
Other languages
English (en)
Other versions
KR102482217B1 (ko
Inventor
죠셉 반 덴 휴벨
켄 울레트
벤 서그덴
토드 오모타니
마쿠스 태너
그레그 알트
마이클 해일
제프 서덜랜드
Original Assignee
마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 filed Critical 마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Publication of KR20170047386A publication Critical patent/KR20170047386A/ko
Application granted granted Critical
Publication of KR102482217B1 publication Critical patent/KR102482217B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G06K9/52—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

대화형 증강 현실 환경 내에서 콘텐츠를 관리하는 방법이 설명된다. 최종 사용자에 신체 고정된 것으로 나타나는 가상 실린더 상에 배치되는 하나 이상의 곡선형 슬레이트들을 사용하여 최종 사용자에게 콘텐츠(예를 들어, 웹페이지)가 디스플레이될 수 있는 증강 현실 환경이 머리 장착형 디스플레이 디바이스(HMD)의 최종 사용자에게 제공될 수 있다. 가상 실린더는 하나 이상의 곡선형 슬레이트들이 최종 사용자로부터 동일한 거리에서 디스플레이되는 것으로 나타나도록 최종 사용자 주위에 위치될 수 있고, 최종 사용자는 가상 실린더의 중앙에 배치될 수 있다. 하나 이상의 곡선형 슬레이트들 각각의 위치 및 크기는 가상 실린더 상에 투영된 가상 포인터 및 머리 제스처를 사용하여 최종 사용자에 의해 제어될 수 있다.

Description

3D 홀로그래픽 환경에서의 콘텐츠 관리{MANAGEMENT OF CONTENT IN A 3D HOLOGRAPHIC ENVIRONMENT}
본 발명은 3D 홀로그래픽 환경에서의 콘텐츠 관리에 관한 것이다.
증강 현실(augmented reality; AR)은 실세계 환경(또는 실세계 환경을 나타내는 데이터)의 인지가 컴퓨터로 생성된 가상 데이터로 증강되거나 또는 수정되는 증강된 실세계 환경을 제공하는 것과 관련이 있다. 예를 들어, 실세계 환경을 나타내는 데이터는 카메라 또는 마이크로폰과 같은 감각 입력 디바이스들을 사용하여 실시간으로 캡처될 수 있으며, 가상 이미지 및 가상 사운드를 비롯한 컴퓨터로 생성된 가상 데이터로 증강될 수 있다. 가상 데이터는 또한 실세계 환경에서의 실세계 객체와 연관된 텍스트 설명과 같은 실세계 환경에 관련된 정보를 포함할 수 있다. AR 환경 내의 객체는 실제 객체(즉, 특정 실세계 환경 내에 존재하는 객체) 및 가상 객체(즉, 특정 실세계 환경 내에 존재하지 않는 객체)를 포함할 수 있다.
가상 객체를 AR 환경 내에 현실감 있게 통합하기 위해, AR 시스템은 맵핑(mapping) 및 로컬라이제이션(localization)을 포함한 여러 가지의 태스크들을 수행할 수 있다. 맵핑은 실세계 환경의 맵을 생성하는 프로세스와 관련이 있다. 로컬라이제이션은 실세계 환경의 맵에 대한 특정 시점이나 포즈를 찾는 프로세스와 관련이 있다. 일부 경우들에서, AR 시스템은 실세계 환경 내에서 이동하는 모바일 디바이스의 포즈를 실시간으로 로컬화하여 모바일 디바이스가 실세계 환경 내에서 이동함에 따라 증강될 모바일 디바이스와 관련된 특정 뷰를 결정할 수 있다.
콘텐츠를 디스플레이하고 관리할 수 있는 대화형 증강 현실 환경을 가능하게 하는 기술이 설명된다. 일부 실시예들에서, 최종 사용자에 신체 고정된 것(body-locked)으로 나타나는 가상 실린더 상에 배치되는 하나 이상의 곡선형 슬레이트(curved slate)들을 사용하여 최종 사용자에게 콘텐츠(예를 들어, 2차원 이미지 또는 텍스트 콘텐츠)가 디스플레이될 수 있는 증강 현실 환경이 머리 장착형 디스플레이 디바이스(head-mounted display device; HMD)의 최종 사용자에게 제공될 수 있다. 가상 실린더는 하나 이상의 곡선형 슬레이트들이 최종 사용자로부터 동일한 거리에서 디스플레이되는 것으로 나타나도록 최종 사용자 주위에 위치될 수 있고, 최종 사용자는 가상 실린더의 중앙에 배치될 수 있다(예를 들어, 가상 실린더의 축은 지면에 수직으로 위치하여 최종 사용자의 머리를 관통하여 연장될 수 있다). 하나 이상의 곡선형 슬레이트들 각각 상에서 디스플레이하기 위해 선택된 콘텐츠 및 하나 이상의 곡선형 슬레이트들 각각의 위치 및/또는 크기는 제스처(예컨대, 손 제스처 또는 머리 제스처) 및 가상 실린더 상에 투영된 가상 포인터를 사용하여 최종 사용자에 의해 제어될 수 있다. 하나의 예시에서, 가상 포인터는 머리 고정형인 것으로 나타나고 머리 움직임을 사용하여 최종 사용자에 의해 제어되는 것으로 나타날 수 있고, 가상 실린더는 최종 사용자의 신체에 신체 고정된 것으로 나타날 수 있다.
본 요약은 아래의 상세한 설명에서 보다 상세하게 설명되는 개념들의 선택을 단순한 형태로 소개하기 위해 제공된 것이다. 본 요약은 청구된 발명내용의 중요한 특징들 또는 필수적인 특징들을 식별시키려는 의도는 없으며, 또한 청구된 발명내용의 범위를 결정하는데 도움을 주려고 의도된 것도 아니다.
도 1은 개시된 기술이 실시될 수 있는 네트워크 컴퓨팅 환경의 일 실시예의 블록도이다.
도 2a는 제2 모바일 디바이스와 통신하는 모바일 디바이스의 일 실시예를 도시한다.
도 2b는 HMD의 일부의 일 실시예를 도시한다.
도 2c는 시선점(point of gaze)까지 연장되는 시선 벡터가 원위 동공간 거리(inter-pupillary distance; IPD)와 정렬하기 위해 사용되는 HMD의 일부의 일 실시예를 도시한다.
도 2d는 시선점까지 연장되는 시선 벡터가 근위 동공간 거리(IPD)와 정렬하기 위해 사용되는 HMD의 일부의 일 실시예를 도시한다.
도 3a는 시선 검출 엘리먼트들을 포함하는 이동가능형 디스플레이 광학 시스템을 갖는 HMD의 일부의 일 실시예를 도시한다.
도 3b는 시선 검출 엘리먼트들을 포함하는 이동가능형 디스플레이 광학 시스템을 갖는 HMD의 일부의 대안적인 실시예를 도시한다.
도 4a는 HMD의 최종 사용자가 바라본 증강 현실 환경의 일 실시예를 도시한다.
도 4b는 HMD의 최종 사용자에게 디스플레이되는 곡선형 슬레이트 세트의 일 실시예를 도시한다.
도 4c는 곡선형 슬레이트의 재배치의 일 실시예를 도시한다.
도 4d는 곡선형 슬레이트의 위치에 적용된 자석 스내핑(magnetic snapping) 기능의 일 실시예를 도시한다.
도 4e는 HMD의 최종 사용자가 바라본 증강 현실 환경의 일 실시예를 도시한다.
도 5a는 하나 이상의 곡선형 슬레이트들을 사용하여 대화형 증강 현실 환경 내에서 콘텐츠를 관리하는 방법의 일 실시예를 설명하는 흐름도이다.
도 5b는 하나 이상의 곡선형 슬레이트들을 사용하여 대화형 증강 현실 환경 내에서 콘텐츠를 관리하는 방법의 다른 실시예를 설명하는 흐름도이다.
도 5c는 모바일 디바이스의 최종 사용자를 둘러싸는 하나 이상의 가상 실린더 상에 배치된 하나 이상의 곡선형 슬레이트들을 사용하여 대화형 증강 현실 환경 내에서 콘텐츠를 관리하는 방법의 대안적인 실시예를 설명하는 흐름도이다.
도 6은 모바일 디바이스의 일 실시예의 블록도이다.
대화형 증강 현실 환경 내에서 콘텐츠를 디스플레이하고 관리하기 위한 기술이 설명된다. 일부 실시예들에서, 최종 사용자에 신체 고정된 것으로 나타나는 가상 실린더 상에 배치되는 하나 이상의 곡선형 슬레이트들(또는 하나 이상의 곡면들)을 사용하여 최종 사용자에게 콘텐츠(예를 들어, 웹페이지, 비디오, 및 텍스트)가 디스플레이될 수 있는 증강 현실 환경이 머리 장착형 디스플레이 디바이스(HMD)의 최종 사용자에게 제공될 수 있다. 가상 실린더는 하나 이상의 곡선형 슬레이트들이 최종 사용자로부터 동일한 거리에서 디스플레이되는 것으로 나타나도록(예컨대, 하나 이상의 곡선형 슬레이트들은 1미터 반경을 갖는 가상 실린더 상에 배치될 수 있다) 최종 사용자 주위에 위치될 수 있고, 최종 사용자는 가상 실린더의 중앙에 배치될 수 있다(예를 들어, 가상 실린더의 축은 지면에 수직으로 위치하여 최종 사용자의 몸통과 머리를 관통하여 연장될 수 있다). 하나 이상의 곡선형 슬레이트들 각각 상에서 디스플레이하기 위해 선택된 콘텐츠 및 하나 이상의 곡선형 슬레이트들 각각의 위치 및/또는 크기는 제스처(예컨대, 손 제스처 또는 머리 제스처) 및 가상 실린더 상에 투영된 가상 포인터를 사용하여 최종 사용자에 의해 제어될 수 있다. 하나의 예시에서, 가상 포인터는 머리 고정형인 것으로 나타나고 머리 움직임을 사용하여 최종 사용자에 의해 제어되는 것으로 나타날 수 있는 반면에, 가상 실린더는 최종 사용자의 신체에 신체 고정된 것으로 나타난다.
일부 경우들에서, HMD는 HMD의 최종 사용자 주위에 위치한 보이지 않는 실린더 상에 배열된 하나 이상의 곡선형 슬레이트들을 투영할 수 있다. 하나 이상의 곡선형 슬레이트들 각각은 콘텐츠(예컨대, 이미지, 텍스트, 비디오, 라이브 비디오 피드, 또는 웹페이지 콘텐츠)를 디스플레이하거나 또는 컴퓨팅 애플리케이션(예컨대, 이메일 애플리케이션, 워드 프로세싱 애플리케이션, 웹 브라우저 애플리케이션, 웹 기반 애플리케이션, 또는 인스턴트 메시징 애플리케이션)에 대한 액세스를 제공할 수 있다. 일부 경우들에서, 하나 이상의 곡선형 슬레이트들은, 최종 사용자를 둘러싸는 실린더 주위에 배열되기보다는, 구형, 원추형, 또는 최종 사용자를 둘러쌀 수 있는 곡면을 갖는 다른 3D 형상으로 배열될 수 있다. 일부 실시예들에서, 하나 이상의 곡선형 슬레이트들은 가상 실린더 주위에 배열될 수 있고, 최종 사용자의 신체의 일부분에 대해 신체 고정된 것으로 나타난다. 하나의 예시에서, 하나 이상의 곡선형 슬레이트들은, 실린더 상에 배열된 하나 이상의 곡선형 슬레이트들의 배향 및 위치가 최종 사용자의 신체의 일부분에 대해 고정된 것으로 나타나도록(예를 들어, 곡선형 슬레이트는 최종 사용자의 가슴 또는 몸통 앞에서 고정된 위치를 갖는 것으로 나타날 수 있다) 최종 사용자의 신체의 일부분에 대해 신체 고정될 수 있다.
일부 실시예들에서, HMD의 최종 사용자는 머리 제스처, 손 제스처 및/또는 음성 명령을 사용하여 최종 사용자를 둘러싸는 가상 실린더의 표면을 따라 곡선형 슬레이트의 위치를 이동시키거나 제어할 수 있다. 하나의 예시에서, 최종 사용자는 곡선형 슬레이트를 선택하기 위해 가상 실린더 상에 투영된 가상 포인터를 제어할 수 있다. 가상 포인터는 HMD의 최종 사용자에게 가상 레이저 포인터로서 또는 가상 십자선으로서 나타날 수 있다. 곡선형 슬레이트가 (예를 들어, 음성 명령을 통해 또는 적어도 임계 시구간 동안 곡선형 슬레이트 상에서 가상 포인터를 호버링(hover)함으로써) 선택되면, 최종 사용자는 추가적인 머리 제스처 또는 머리 움직임을 사용하여 곡선형 슬레이트를 이동시킬 수 있다. 일부 경우들에서, 가상 포인터는 시선 검출 기술들을 사용하여 최종 사용자에 의해 제어될 수 있다(예를 들어, 최종 사용자는 가상 포인터를 가상 실린더의 해당 영역으로 이동시키기 위해 적어도 특정 시구간 동안 가상 실린더의 영역을 응시함으로써 가상 포인터를 제어할 수 있다). 다른 예시에서, 최종 사용자는 손 제스처를 사용하여(예를 들어, 손을 편 상태에서 주먹을 쥐는 제스처를 사용하여) 곡선형 슬레이트를 가상적으로 잡고, (예를 들어, 주먹을 쥔 제스처를 유지하면서) 곡선형 슬레이트를 이동시키며, 그런 후 (예를 들어, 주먹을 쥔 상태에서 손을 펴는 제스처를 사용하여) 가상 실린더 내의 새로운 위치에서 곡선형 슬레이트를 풀어놓아줌으로써 곡선형 슬레이트를 제어할 수 있다. 일 실시예에서, 최종 사용자가 가상 실린더의 표면 주위로 선택된 곡선형 슬레이트를 이동시킬 때, 선택된 곡선형 슬레이트를 위한 공간을 만들기 위해 선택되지 않은 다른 곡선형 슬레이트들은 변위되거나 또는 그렇지 않고 각자의 현재 위치로부터 멀리 이동될 수 있다. 일 예시에서, 선택된 곡선형 슬레이트가 선택되지 않은 다른 곡선형 슬레이트들을 지나가는 동안 선택되지 않은 다른 곡선형 슬레이트들은 뒤쪽으로 밀려나거나 또는 그 모습이 멀어지도록 회전될 수 있다.
일 실시예에서, 곡선형 슬레이트(또는 곡선형 디스플레이 구조물)는 HMD의 최종 사용자를 둘러싸는 실린더형 업무 영역 주위로 이동될 수 있다. 곡선형 슬레이트는 실린더형 업무 영역의 그리드 레이아웃과 연관된 제1 개수의 그리드 조각들로 분할될 수 있다(예컨대, 곡선형 슬레이트는 9개의 그리드 조각들로 분할될 수 있다). 곡선형 슬레이트의 가장자리들은 실린더형 업무 영역의 그리드 레이아웃의 가장자리들과 정렬되거나 또는 이에 대해 스내핑(snap)될 수 있다. 실린더형 업무 영역은 그리드 레이아웃과 연관된 제2 개수의 그리드 조각들로 분할될 수 있다(예컨대, 실린더형 업무 영역은 1000개의 그리드 조각들로 분할될 수 있다). 곡선형 슬레이트가 실린더형 업무 영역 내에서 신장되거나 크기 변경됨에 따라, 곡선형 슬레이트는 제1 개수의 그리드 조각들보다 더 많은 수의, 실린더형 업무 영역의 그리드 조각들을 포함하도록 성장할 수 있다(예컨대, 곡선형 슬레이트는 9개의 그리드 조각들로부터 성장하여 실린더형 업무 영역의 25개의 그리드 조각들을 소비할 수 있다). 곡선형 슬레이트는 곡선형 슬레이트의 가장자리들 또는 모서리들을 드래깅(drag) 또는 이동시킴으로써 수평 방식 및/또는 수직 방식으로 확장될 수 있다. 일 실시예에서, 실린더형 업무 영역 내에서 곡선형 슬레이트를 이동시키고 풀어놓아주는 것은 곡선형 슬레이트가 선택되지 않은 다른 곡선형 슬레이트들의 가장자리들에 대해 스내핑되거나 또는 정렬되게 할 수 있다. 이 경우, 곡선형 슬레이트가 최종 사용자에 의해 풀어놓아질 때, 곡선형 슬레이트는, 곡선형 슬레이트를 하나 이상의 선택되지 않은 다른 곡선형 슬레이트들의 가장자리들과 정렬시키는 자석 스내핑 기능을 가질 수 있다.
일부 실시예들에서, 최종 사용자에 신체 고정된 것으로 나타나는 두 개 이상의 가상 실린더들 상에 배치되는 하나 이상의 곡선형 슬레이트들을 사용하여 최종 사용자에게 콘텐츠가 디스플레이될 수 있는 증강 현실 환경이 HMD의 최종 사용자에게 제공될 수 있다. 2개 이상의 가상 실린더들 각각은 다른 가상 실린더들과는 상이한 반경을 가질 수 있다(예컨대, 1차 실린더는 1미터의 반경을 갖는 반면에, 2차 실린더는 3미터의 반경을 가질 수 있다). 일부 경우들에서, 두 개의 가상 실린더들은 동일한 반경을 가질 수 있지만, 최종 사용자 주위에서 상이한 높이로 배열될 수 있다. 일 실시예에서, 최종 사용자로부터 연장되는 제1 반경의 제1 실린더는 업무 환경과 연관될 수 있고 업무 관련 콘텐츠(예를 들어, 이메일 리더(email reader), 워드 프로세싱 문서, 비디오, 또는 라이브 회의 피드)를 포함할 수 있으며, 최종 사용자로부터 연장되는 제2 반경의 제2 실린더는 가정 환경과 연관될 수 있고 개인 콘텐츠(예를 들어, 텔레비전 쇼 또는 영화, 스포츠 경기와 연관된 웹페이지, 검색 엔진 인터페이스, 또는 인스턴트 메시징 클라이언트)를 포함할 수 있다. 제2 반경은 제1 반경과 상이할 수 있다(예를 들어, 제1 반경은 3피트일 수 있고, 제2 반경은 9피트일 수 있다). 하나의 예시에서, 가상 실린더의 반경은 최종 사용자가 존재하는 환경에 기초하여 자동적으로 조정될 수 있다. 하나의 예시에서, 제1 반경은, 최종 사용자가 업무 환경 내의 고정된 위치에 있을 때(예를 들어, 책상에 앉아 있거나 업무 환경과 연관된 건물 내에 위치해 있음) 1미터로 설정될 수 있고, 최종 사용자가 가정 환경 내에서 이동 중일 때 3미터로 조정될 수 있다. 다른 예시에서, 최종 사용자가 업무 환경 밖에 위치해 있을 때(예를 들어, GPS 좌표에 따라 최종 사용자는 업무 환경과 연관된 지리적 위치 밖에 위치해 있는 것으로 결정됨), 제2 실린더는 1차 실린더를 포함할 수 있고, 최종 사용자를 둘러싸는 두 개 이상의 가상 실린더들 중 가장 작은 반경을 할당받을 수 있으며; 최종 사용자가 업무 환경 내부에서 움직일 때, 제1 실린더는 1차 실린더를 포함할 수 있고, 최종 사용자를 둘러싸는 두 개 이상의 가상 실린더들 중 가장 작은 반경을 할당받을 수 있다. 1차 실린더 이외의 다른 가상 실린더들 상에 위치한 곡선형 슬레이트들은, 1차 실린더 상에 위치한 곡선형 슬레이트에 의해 디스플레이되는 콘텐츠가 잘 보이도록 부분적으로 투명하거나 음영처리될 수 있다. 가상 실린더가 환경 내에 들어맞지 않으면, 해당 실린더와 연관된 곡선형 슬레이트들은 최종 사용자에게 디스플레이되지 않을 수 있다.
모바일 디바이스의 최종 사용자에 신체 고정되고 최종 사용자를 둘러싸는 하나 이상의 가상 실린더들 상에 배치된 곡선형 슬레이트들을 사용하여 콘텐츠 및 애플리케이션을 관리하는 한가지 이점은 최종 사용자에게 콘텐츠 및 애플리케이션에 대한 액세스를 제공하는데 필요한 공간과 에너지가 줄어든다는 점이다. 예를 들어, HMD는 수많은 컴퓨팅 애플리케이션들을 최종 사용자에게 투영하고 최종 사용자가 추가적인 컴퓨터 모니터 또는 스크린 없이 수많은 컴퓨팅 애플리케이션과 상호작용할 수 있게 해줄 수 있다. 따라서, 일반적으로 하나 이상의 컴퓨터 모니터와 같은, 업무용 책상에서 발견되는 전자 디바이스들은 최종 사용자가 착용하는 저전력의 소형 폼 팩터 HMD로 대체될 수 있다. 또한, 최종 사용자를 둘러싼 하나 이상의 가상 실린더들을 이용하여 방대한 양의 콘텐츠에 액세스하고 이를 제어하는 능력 및 최종 사용자의 환경 또는 위치에 기초한 하나 이상의 가상 실린더들에 대한 곡선형 슬레이트들의 동적 할당은 향상된 기능과 향상된 사용자 효율성을 갖춘 사용자 인터페이스를 제공한다.
도 1은 개시된 기술이 실시될 수 있는 네트워크화된 컴퓨팅 환경(100)의 일 실시예의 블록도이다. 네트워크화된 컴퓨팅 환경(100)은 하나 이상의 네트워크들(180)을 통해 상호연결된 복수의 컴퓨팅 디바이스들을 포함한다. 하나 이상의 네트워크들(180)은 특정 컴퓨팅 디바이스가 다른 컴퓨팅 디바이스에 연결되고 이와 통신할 수 있게 해준다. 도시된 컴퓨팅 디바이스들은 모바일 디바이스(11), 모바일 디바이스(12), 모바일 디바이스(19), 및 서버(15)를 포함한다. 일부 실시예들에서, 복수의 컴퓨팅 디바이스들은 도시되지 않은 다른 컴퓨팅 디바이스들을 포함할 수 있다. 일부 실시예들에서, 복수의 컴퓨팅 디바이스들은 도 1에서 도시된 것보다 많거나 적은 컴퓨팅 디바이스들을 포함할 수 있다. 하나 이상의 네트워크들(180)은 기업 사설 네트워크와 같은 보안 네트워크, 무선 개방 네트워크, 근거리 네트워크(Local Area Network; LAN), 광역 네트워크(Wide Area Network; WAN), 및 인터넷과 같은 비보안화 네트워크를 포함할 수 있다. 하나 이상의 네트워크들(180)의 각각의 네트워크는 허브, 브리지, 라우터, 스위치, 및 유선 네트워크 또는 직접 유선 접속과 같은 유선 전송 매체를 포함할 수 있다.
보충 정보 서버 또는 애플리케이션 서버를 포함할 수 있는 서버(15)는 클라이언트가 서버로부터 정보(예컨대, 텍스트, 오디오, 이미지, 및 비디오 파일)를 다운로드할 수 있게 하거나, 또는 서버 상에 저장된 특정 정보와 관련된 검색 질의를 수행하게 할 수 있다. 일반적으로, "서버"는 클라이언트-서버 관계에서 호스트로서 작동하는 하드웨어 디바이스, 또는 하나 이상의 클라이언트들과 자원을 공유하거나 또는 이들을 위한 작업을 수행하는 소프트웨어 프로세스를 포함할 수 있다. 클라이언트-서버 관계에서 컴퓨팅 디바이스들 간의 통신은 특정 자원에 대한 액세스를 문의하거나 또는 특정 작업을 수행할 것을 문의하는 요청을 클라이언트가 서버에 보내는 것에 의해 개시될 수 있다. 이어서 서버는 요청된 동작을 수행하고 응답을 클라이언트에 반송할 수 있다.
서버(15)의 일 실시예는 네트워크 인터페이스(155), 프로세서(156), 및 메모리(157)를 포함하며, 이들 모두는 서로 통신한다. 네트워크 인터페이스(155)는 서버(15)가 하나 이상의 네트워크들(180)에 연결되도록 해준다. 네트워크 인터페이스(155)는 무선 네트워크 인터페이스, 모뎀, 및/또는 유선 네트워크 인터페이스를 포함할 수 있다. 프로세서(156)는 여기서 논의된 프로세스들을 수행하기 위해 서버(15)가 메모리(157)에 저장된 컴퓨터 판독가능 명령어들을 실행할 수 있게 해준다.
모바일 디바이스(19)의 일 실시예는 네트워크 인터페이스(145), 프로세서(146), 메모리(147), 카메라(148), 센서들(149), 및 디스플레이(150)를 포함하며, 이들 모두는 서로 통신한다. 네트워크 인터페이스(145)는 모바일 디바이스(19)가 하나 이상의 네트워크들(180)에 연결되도록 해준다. 네트워크 인터페이스(145)는 무선 네트워크 인터페이스, 모뎀, 및/또는 유선 네트워크 인터페이스를 포함할 수 있다. 프로세서(146)는 여기서 논의된 프로세스들을 수행하기 위해 모바일 디바이스(19)가 메모리(147)에 저장된 컴퓨터 판독가능 명령어들을 실행할 수 있게 해준다. 카메라(148)는 환경의 컬러 이미지 및/또는 깊이 이미지를 캡처할 수 있다. 모바일 디바이스(19)는 환경의 이미지를 캡처하는 외향 카메라 및 모바일 디바이스의 최종 사용자의 이미지를 캡처하는 내향 카메라를 포함할 수 있다. 센서들(149)은 모바일 디바이스(19)와 연관된 모션(motion) 및/또는 배향(orientation) 정보를 생성할 수 있다. 일부 경우들에서, 센서들(149)은 관성 측정 유닛(inertial measurement unit; IMU)을 포함할 수 있다. 디스플레이(150)는 디지털 이미지 및/또는 비디오를 디스플레이할 수 있다. 디스플레이(150)는 시쓰루(see-through) 디스플레이를 포함할 수 있다.
일부 실시예들에서, 네트워크 인터페이스(145), 프로세서(146), 메모리(147), 카메라(148), 및 센서들(149)를 비롯한 모바일 디바이스(19)의 다양한 컴포넌트들은 단일 칩 기판 상에 통합될 수 있다. 하나의 예시에서, 네트워크 인터페이스(145), 프로세서(146), 메모리(147), 카메라(148), 및 센서들(149)은 시스템 온 칩(system on a chip; SOC)으로서 통합될 수 있다. 다른 실시예들에서, 네트워크 인터페이스(145), 프로세서(146), 메모리(147), 카메라(148), 및 센서들(149)은 단일 패키지 내에 통합될 수 있다.
일부 실시예들에서, 모바일 디바이스(19)는 카메라(148), 센서들(149), 및 프로세서(146) 상에서 동작하는 제스처 인식 소프트웨어를 사용함으로써 내추럴 사용자 인터페이스(natural user interface; NUI)를 제공할 수 있다. 내추럴 사용자 인터페이스를 통해, 사람의 신체 부위와 움직임이 검출되고, 해석되어, 컴퓨팅 애플리케이션의 다양한 양태들을 제어하는데 사용될 수 있다. 하나의 예시에서, 내추럴 사용자 인터페이스를 이용하는 컴퓨팅 디바이스는 컴퓨팅 디바이스를 제어하기 위해 사람이 특정 제스처를 수행했는지를 검출할 수 있다.
네트워크화된 컴퓨팅 환경(100)은 하나 이상의 컴퓨팅 디바이스들을 위한 클라우드 컴퓨팅 환경을 제공할 수 있다. 클라우드 컴퓨팅은 공유된 자원, 소프트웨어, 및/또는 정보가 인터넷(또는 다른 글로벌 네트워크)을 통해 요구에 따라 하나 이상의 컴퓨팅 디바이스들에 제공되는 인터넷 기반 컴퓨팅을 말한다. "클라우드"라는 용어는 이것이 나타내는 기저 인프라구조의 추상화로서 인터넷을 묘사하기 위해 컴퓨터 네트워킹 다이어그램에서 사용되는 클라우드 모양을 기반으로 한 인터넷에 대한 은유적 표현으로서 사용된 것이다.
하나의 예시에서, 모바일 디바이스(19)는 증강 현실 환경 또는 혼합 현실 환경을 머리 장착형 디스플레이 디바이스(HMD)의 최종 사용자에게 제공하는 HMD를 포함한다. HMD는 비디오 시쓰루 및/또는 광학 시쓰루 시스템을 포함할 수 있다. 최종 사용자가 착용한 광학 시쓰루 HMD는 (예를 들어, 투명한 렌즈를 통해) 실세계 환경의 현실 직시를 가능하게 할 수 있고, 동시에, 가상 객체의 이미지를 최종 사용자의 시야에 투영함으로써 최종 사용자가 인지한 실세계 환경을 가상 객체로 증강시킬 수 있다.
HMD를 이용하여, 최종 사용자는 HMD를 착용하면서 실세계 환경(예를 들어, 거실) 주위를 이동할 수 있고 가상 객체의 이미지로 겹쳐진 실세계의 뷰들을 인지할 수 있다. 가상 객체는 실세계 환경과의 일관된 공간적 관계를 유지하는 것으로 나타날 수 있다(즉, 최종 사용자가 실세계 환경 내에서 자신의 머리를 돌리거나 이동할 때, 최종 사용자에게 디스플레이되는 이미지는 가상 객체가 최종 사용자에 의해 인지될 때 실세계 환경 내에 존재하는 것으로 나타나도록 변경될 수 있다). 가상 객체는 또한 최종 사용자의 시점에 대해 고정된 것으로 나타날 수 있다(예컨대, 최종 사용자가 실세계 환경 내에서 자신의 머리를 돌리거나 이동하는 것에 관계없이 최종 사용자의 시점에서 항상 오른쪽 상단 모서리에 나타나는 가상 메뉴). 일 실시예에서, 카메라 로컬라이제이션이 모바일 디바이스(19)(즉, 클라이언트 측) 상에서 수행될 수 있는 반면에 실세계 환경의 환경 맵핑은 서버(15)(즉, 서버 측)에 의해 수행될 수 있다. 가상 객체는 실세계 객체와 연관된 텍스트 설명을 포함할 수 있다.
일부 실시예들에서, 모바일 디바이스(19)와 같은 모바일 디바이스는 서버(15)와 같은 클라우드 내의 서버와 통신할 수 있고, 모바일 디바이스와 연관된 위치 정보(예를 들어, GPS 좌표를 통한 모바일 디바이스의 위치) 및/또는 이미지 정보(예를 들어, 모바일 디바이스의 시야 내에서 검출된 객체에 관한 정보)를 서버에 제공할 수 있다. 이에 응답하여, 서버는 서버에 제공된 위치 정보 및/또는 이미지 정보에 기초하여 하나 이상의 가상 객체를 모바일 디바이스에 전송할 수 있다. 일 실시예에서, 모바일 디바이스(19)는 하나 이상의 가상 객체를 수신하기 위한 특정 파일 포맷을 규정할 수 있고, 서버(15)는 특정 파일 포맷의 파일 내에 임베딩된 하나 이상의 가상 객체를 모바일 디바이스(19)에 전송할 수 있다.
일부 실시예들에서, 모바일 디바이스(19)와 같은 모바일 디바이스는 가상 콘텐츠 리더를 비롯한 증강 현실 환경을 제공하는 HMD를 포함할 수 있다. 가상 콘텐츠 리더는 콘텐츠가 HMD의 최종 사용자에 의해 판독될 수 있는 증강 현실 환경 내의 가상 객체를 포함할 수 있다. 일 실시예에서, 가상 콘텐츠 리더는 최종 사용자의 시점에 대해 고정된 것으로 나타나는 가상 객체(즉, 머리 고정된 가상 객체)를 포함할 수 있다. 예를 들어, 가상 콘텐츠 리더는 최종 사용자가 자신의 머리를 어떻게 돌리는지에 관계없이 최종 사용자의 시점의 왼쪽 상단 모서리에 나타날 수 있다. 다른 실시예에서, 가상 콘텐츠 리더는 증강 현실 환경 내에서 일관된 공간 관계를 유지하는 것으로 나타나는 가상 객체(즉, 월드 고정형 가상 객체)를 포함할 수 있다. 예를 들어, 최종 사용자가 증강 현실 환경 내에서 자신의 머리를 돌리거나 이동할 때, HMD 상에서 최종 사용자에게 디스플레이되는 이미지는, 가상 콘텐츠 리더가 특정 위치에서(예를 들어, 벽 상에서) 증강 현실 환경 내에 존재하는 것으로 나타나도록 변경될 수 있다.
일부 실시예들에서, 모바일 디바이스(19)와 같은 모바일 디바이스는 최종 사용자에 신체 고정된 것으로 나타나는 가상 실린더 상에 위치되는 하나 이상의 곡선형 슬레이트들을 사용하여 콘텐츠와 애플리케이션이 HMD의 최종 사용자에게 디스플레이될 수 있는 증강 현실 환경을 제공하는 HMD를 포함할 수 있다. 가상 곡선형 슬레이트는 증강 현실 환경(즉, 신체 고정된 가상 객체) 내에서 최종 사용자의 신체의 배향에 대해 고정된 것으로 나타나는 가상 객체를 포함할 수 있다. 하나의 예시에서, 최종 사용자가 증강 현실 환경 내에서 자신의 머리를 돌리거나 이동할 때, HMD 상에서 최종 사용자에게 디스플레이되는 이미지는, 가상 곡선형 슬레이트가 최종 사용자의 신체의 배향에 대해 고정된 위치에서 증강 현실 환경 내에 존재하는 것으로 나타나도록 변경될 수 있다(예를 들어, 가상 곡선형 슬레이트는 최종 사용자가 증강 현실 환경 내에서 어떻게 자신의 머리를 움직이거나 이동하는지에 관계없이 최종 사용자의 가슴 앞 2미터쯤에 위치하는 것으로 나타날 수 있다). 다른 예시에서, 최종 사용자가 증강 현실 환경 내에서 자신의 머리를 돌리거나 이동할 때, HMD 상에서 최종 사용자에게 디스플레이되는 이미지는, 가상 곡선형 슬레이트가 HMD의 최종 사용자를 둘러싸는 가상 실린더의 일부분 상에 배열된 것으로 나타날 수 있도록 변경될 수 있다. 가상 실린더는 최종 사용자 주위에 위치될 수 있고, 최종 사용자는 가상 실린더의 중앙에 배치될 수 있으며(예를 들어, 가상 실린더의 축은 최종 사용자의 몸통과 머리를 관통하여 수직으로 연장될 수 있다), 가상 실린더는, 가상 실린더의 축에 평행하고 가상 실린더 내에 놓여 있는 제1 라인이 최종 사용자의 신체의 배향에 대해 고정된 것으로 나타나도록 배향된 것으로 나타날 수 있다(예를 들어, 제1 라인은 최종 사용자가 증강 현실 환경 내에서 어떻게 자신의 머리를 움직이거나 이동하는지에 관계없이 최종 사용자의 가슴 앞 4미터쯤에 위치할 수 있다).
도 2a는 제2 모바일 디바이스(5)와 통신하는 모바일 디바이스(19)의 일 실시예를 도시한다. 모바일 디바이스(19)는 시쓰루 HMD를 포함할 수 있다. 도시된 바와 같이, 모바일 디바이스(19)는 유선 연결(6)을 통해 모바일 디바이스(5)와 통신한다. 그러나, 모바일 디바이스(19)는 또한 무선 연결을 통해 모바일 디바이스(5)와 통신할 수 있다. 모바일 디바이스(5)는 연산 집약적 프로세싱 태스크(예를 들어, 가상 객체의 렌더링)를 오프로딩(offload)하고 모바일 디바이스(19) 상에서 증강 현실 환경을 제공하는데 사용될 수 있는 가상 객체 정보 및 다른 데이터를 저장하기 위해 모바일 디바이스(19)에 의해 사용될 수 있다. 모바일 디바이스(5)는 또한 모바일 디바이스(5)와 연관된 모션 및/또는 배향 정보를 모바일 디바이스(19)에 제공할 수 있다. 하나의 예시에서, 모션 정보는 모바일 디바이스(5)와 연관된 속도 또는 가속도를 포함할 수 있고, 배향 정보는 특정 좌표계 또는 기준 프레임에 대한 회전 정보를 제공하는 오일러 각을 포함할 수 있다. 일부 경우들에서, 모바일 디바이스(5)는 모바일 디바이스(5)와 연관된 모션 및/또는 배향 정보를 획득하기 위해 관성 측정 유닛(inertial measurement unit; IMU)과 같은 모션 및 배향 센서를 포함할 수 있다. IMU는 3축 가속도계, 3축 자이로, 및 3축 자기 센서를 포함할 수 있다. 모바일 디바이스(5)는 IMU를 사용하여 관성 프레임을 결정할 수 있다. 관성 기준 프레임은 북쪽을 가리키는 x축, 동쪽을 가리키는 y축, 지구쪽 아래를 가리키는 z축을 포함할 수 있다.
일 실시예에서, 모바일 디바이스(5)와 같은 모바일 디바이스는, 모바일 디바이스의 배향이 모바일 디바이스의 최종 사용자의 신체에 대해 고정(또는 실질적으로 고정)된 상태로 유지되도록 위치될 수 있다. 하나의 예시에서, 모바일 디바이스는 최종 사용자가 입은 바지 또는 반바지의 뒷 주머니 내에 위치될 수 있다. 다른 예시에서, 모바일 디바이스는 최종 사용자가 입은 셔츠 또는 자켓의 앞 주머니 내에 위치될 수 있다. 다른 예시에서, 모바일 디바이스는 최종 사용자의 허리 둘레에 착용된 벨트에 묶이거나 끼워질 수 있다. 이러한 경우들에서, 최종 사용자의 신체에 대한 모바일 디바이스의 배향은 모바일 디바이스에 의해 생성된 가속도계 및 자력계 데이터를 사용하여 결정될 수 있다. 모바일 디바이스는 가속도계 및 자력계 데이터에 기초하여 중력 벡터 또는 지구 표면에 수직인 벡터를 생성할 수 있다. 중력 벡터는 모바일 디바이스 상의 점으로부터 지면쪽을 향하는 벡터와 일치할 수 있다. 일 실시예에서, 가상 실린더의 축은 중력 벡터와 일치할 수 있다. 축은 모바일 디바이스와 교차하고 중력 벡터와 평행한 선과 일치할 수 있다. 모바일 디바이스는 또한 중력 벡터와 직교하고 가속도계 및 자력계 데이터에 기초하여 북쪽 방향을 향하는 벡터 또는 북 벡터(North vector)를 생성할 수 있다. 일부 경우들에서, 교정 단계 동안, 모바일 디바이스는 최종 사용자에게 북쪽을 향해서 신체의 앞쪽을 북쪽 벡터와 정렬할 것을 요청함으로써 전방(front facing) 벡터를 결정할 수 있다. 그런 후, 전방 벡터는 모바일 디바이스에 의해 생성된 NED(North East Down) 기준 프레임에 대해 움직일 수 있다.
도 2b는 도 1에서의 모바일 디바이스(19)와 같은 HMD의 일부분의 일 실시예를 도시한다. HMD(200)의 우측만이 도시된다. HMD(200)는 우측 안경다리(202), 코걸이부(204), 안경 알(216), 및 안경 프레임(214)을 포함한다. 우측 안경다리(202)는 프로세싱 유닛(236)과 통신하는 캡처 디바이스(213)(예를 들어, 전방 카메라 및/또는 마이크로폰)를 포함한다. 캡처 디바이스(213)는 디지털 이미지 및/또는 비디오를 레코딩하기 위한 하나 이상의 카메라를 포함할 수 있고, 프로세싱 유닛(236)에 시각적 레코딩을 전송할 수 있다. 하나 이상의 카메라는 색상 정보, IR 정보, 및/또는 깊이 정보를 캡처할 수 있다. 캡처 디바이스(213)는 또한 사운드를 레코딩하기 위한 하나 이상의 마이크로폰을 포함할 수 있으며, 오디오 레코딩을 프로세싱 유닛(236)에 전송할 수 있다.
우측 안경다리(202)는 또한 생체측정 센서(220), 안구 추적 시스템(221), 신체 대면 카메라(222), 이어폰(230), 모션 및 배향 센서(238), GPS 수신기(232), 전원 공급기(239), 및 무선 인터페이스(237)를 포함하며, 이들은 모두 프로세싱 유닛(236)과 통신한다. 생체측정 센서(220)는 HMD(200)의 최종 사용자와 연관된 맥박수 또는 심박수를 결정하기 위한 하나 이상의 전극들 및 HMD(200)의 최종 사용자와 연관된 체온을 결정하기 위한 온도 센서를 포함할 수 있다. 일 실시예에서, 생체측정 센서(220)는 최종 사용자의 안경다리를 가압하는 맥박 측정 센서를 포함한다. 모션 및 배향 센서(238)는 3축 자력계, 3축 자이로, 및/또는 3축 가속도계를 포함할 수 있다. 일 실시예에서, 모션 및 배향 센서(238)는 관성 측정 유닛(IMU)을 포함할 수 있다. GPS 수신기는 HMD(200)와 연관된 GPS 위치를 결정할 수 있다. 프로세싱 유닛(236)은 하나 이상의 프로세서들, 및 하나 이상의 프로세서들 상에서 실행될 컴퓨터 판독가능 명령어들을 저장하기 위한 메모리를 포함할 수 있다. 메모리는 또한 하나 이상의 프로세서들 상에서 실행될 다른 유형의 데이터를 저장할 수 있다.
일 실시예에서, 안구 추적 시스템(221)은 하나 이상의 내향 카메라를 포함할 수 있다. 하나 이상의 내향 카메라는 HMD의 최종 사용자의 안구의 이미지를 캡처할 수 있다. 다른 실시예에서, 안구 추적 시스템(221)은 안구 추적 조명 소스 및 이와 연관된 안구 추적 이미지 센서를 포함할 수 있다. 일 실시예에서, 안구 추적 조명 소스는 적외선 발광 다이오드(LED) 또는 미리 결정된 IR 파장 또는 파장 범위를 방출하는 레이저(예를 들어, VCSEL)와 같은 하나 이상의 적외선(IR) 방출기를 포함할 수 있다. 일부 실시예들에서, 안구 추적 센서는 글린트(glint) 위치를 추적하기 위한 IR 카메라 또는 IR 위치 감지 검출기(PSD)를 포함할 수 있다. 안구 추적 시스템에 관한 더 많은 정보가 "Head Mounted Eye Tracking and Display System"이라는 명칭으로 2008년 7월 22일에 등록된 미국 특허 제7,401,920호, 및 "Integrated Eye Tracking and Display System"이라는 명칭으로 2011년 9월 26일에 출원된 미국 특허 출원 제13/245,700호에서 찾아볼 수 있다.
일 실시예에서, 신체 대면 카메라(222)는 하나 이상의 하향 카메라들을 포함할 수 있다. 하나 이상의 하향 카메라들은 HMD의 최종 사용자의 신체의 일부분의 이미지를 캡처할 수 있다. 예를 들어, 하나 이상의 하향 카메라들은 최종 사용자의 몸통, 가슴, 복부, 또는 골반 영역의 이미지를 캡처할 수 있다. 최종 사용자의 신체의 이미지는 HMD에 대한 최종 사용자의 신체의 배향을 결정하는데 사용될 수 있다. 하나의 예시에서, 이미지 프로세싱 기술이 최종 사용자의 신체의 이미지에 적용되어 최종 사용자의 몸통이 HMD에 대해 향하고 있는 방향을 결정할 수 있다.
일 실시예에서, 안경 알(216)은 시쓰루 디스플레이를 포함할 수 있으며, 이에 의해 프로세싱 유닛(236)에 의해 생성된 이미지는 시쓰루 디스플레이 상에서 투영되고/투영되거나 디스플레이될 수 있다. 캡처 디바이스(213)는 캡처 디바이스(213)에 의해 캡처된 시야(field of view)가 HMD(200)의 최종 사용자가 바라보는 시야와 일치하도록 교정될 수 있다. 이어폰(230)은 가상 객체들의 투영된 이미지들과 연관된 사운드들을 출력하는데 사용될 수 있다. 일부 실시예들에서, HMD(200)는 전방 카메라들에 의해 캡처된 시야와 연관된 스테레오 정보로부터 깊이를 획득하기 위해 2개 이상의 전방 카메라들(예를 들어, 각각의 안경다리에 하나씩)을 포함할 수 있다. 2개 이상의 전방 카메라들은 또한 3D, IR, 및/또는 RGB 카메라를 포함할 수 있다. 깊이 정보는 또한 모션 기술로부터의 깊이를 이용하여 단일 카메라로부터 획득될 수 있다. 예를 들어, 두 개의 이미지들이 상이한 시점에서 두 개의 상이한 공간점과 연관된 단일 카메라로부터 획득될 수 있다. 그런 후, 두 개의 상이한 공간점에 관한 위치 정보가 주어지면 시차 계산이 수행될 수 있다.
일부 실시예들에서, HMD(200)는 각막 중심, 눈알 회전 중심, 또는 동공 중심과 같은 하나 이상의 인간 눈 엘리먼트들과 관련하여 시선 검출 엘리먼트 및 3차원 좌표계를 사용하여 최종 사용자의 안구들의 각각의 안구에 대한 시선 검출을 수행할 수 있다. 시선 검출은 최종 사용자가 시야 내에서 초점을 맞추고 있는 곳을 식별하는데 사용될 수 있다. 시선 검출 엘리먼트의 예시들은 생성된 글린트를 나타내는 데이터를 캡처하기 위한 글린트 생성 조명기 및 센서를 포함할 수 있다. 일부 경우들에서, 평면 기하학을 사용하여 두 개의 글린트들에 기초하여 각막 중심이 결정될 수 있다. 각막의 중심은 동공 중심과 눈알 회전 중심을 연결하며, 이는 특정 시선 또는 시야각에서 최종 사용자의 안구의 광축을 결정하기 위한 고정 위치로서 취급될 수 있다.
도 2c는 시선점까지 연장되는 시선 벡터가 원위 동공간 거리(IPD)와 정렬하기 위해 사용되는 HMD(2)의 일부의 일 실시예를 도시한다. HMD(2)는 도 1에서의 모바일 디바이스(19)와 같은 모바일 디바이스의 일례이다. 도시된 바와 같이, 시선 벡터들(180l 및 180r)은 최종 사용자로부터 멀리 있는 시선점에서 교차한다(즉, 시선 벡터들(180l 및 180r)은 최종 사용자가 멀리 있는 개체를 보고 있을 때 교차하지 않는다). 눈알들(160l 및 160r)에 대한 눈알 모델이 굴스트란드(Gullstrand) 도식 안구 모델에 기초하여 각각의 안구에 대해 예시되어 있다. 각각의 눈알은 회전 중심(166)을 갖는 구체(sphere)로서 모델링되며, 중심(164)을 갖는 구체로서 모델링된 각막(168)을 포함한다. 각막(168)은 눈알과 함께 회전하고, 눈알의 회전 중심(166)은 고정점으로서 취급될 수 있다. 각막(168)은 중심에 동공(162)을 가지면서 홍채(170)를 덮는다. 각각의 각막의 표면(172) 상에는 글린트(174, 176)가 있다.
도 2c에서 도시된 바와 같이, 센서 검출 영역(139)(즉, 각각 139l 및 139r)은 안경 프레임(115) 내의 각각의 디스플레이 광학 시스템(14)의 광축과 정렬된다. 하나의 예시에서, 검출 영역과 연관된 센서는 프레임(115)의 좌측 상의 조명기들(153a, 153b)에 의해 각각 생성된 글린트(174l, 176l)를 나타내는 이미지 데이터 및 프레임(115)의 우측 상의 조명기들(153c, 153d)에 의해 각각 생성된 글린트(174r, 176r)를 나타내는 이미지 데이터를 캡처할 수 있는 하나 이상의 카메라들을 포함할 수 있다. 최종 사용자의 시야는, 안경 프레임(115) 내의 디스플레이 광학 시스템(14l, 14r)을 통해, 실제 객체(190, 192, 194)와 가상 객체(182, 184) 둘 다를 포함한다.
회전 중심(166)에서부터 각막 중심(164)을 거쳐 동공(162)까지 형성된 축(178)은 안구의 광축을 구성한다. 시선 벡터(180)는 중심와(fovea)로부터 동공(162)의 중심을 관통하여 연장되는 시선 또는 시각축이라고도 칭해질 수 있다. 일부 실시예들에서, 광축이 결정되고, 시선 벡터로서 선택되는 시각축을 획득하기 위해 사용자 교정을 통해 작은 보정이 결정된다. 각각의 최종 사용자에 대해, 상이한 수평 및 수직 위치들에 있는 복수의 미리 결정된 위치들 각각에서 디스플레이 디바이스에 의해 가상 객체가 디스플레이될 수 있다. 광축은 각각의 위치에 있는 개체의 디스플레이 동안 각각의 안구에 대해 계산될 수 있고, 상기 위치로부터 사용자의 안구로 연장되는 것으로서 모델링된 광선일 수 있다. 수평 및 수직 성분을 갖는 시선 오프셋 각도는 모델링된 광선과 정렬되도록 광축이 어떻게 이동되어야 하는지에 기초하여 결정될 수 있다. 상이한 위치들로부터, 수평 또는 수직 성분들을 갖는 평균 시선 오프셋 각도는 계산된 각각의 광축에 적용될 작은 보정으로서 선택될 수 있다. 일부 실시예들에서, 수평 성분만이 시선 오프셋 각도 보정을 위해 사용된다.
도 2c에서 도시된 바와 같이, 시선 벡터들(180l, 180r)은 눈알로부터 시야 내 시선점으로 연장될 때 서로가 가까워지기 때문에 완벽하게 평행하지는 않다. 각각의 디스플레이 광학 시스템(14)에서, 시선 벡터(180)는 센서 검출 영역(139)의 중심을 지나가는 광축과 교차하는 것으로 나타난다. 이 구성에서, 광축들은 동공간 거리(IPD)와 정렬된다. 최종 사용자가 정면을 바라보고 있을 때에 측정된 IPD를 원위 IPD라고도 부른다.
도 2d는 시선점까지 연장되는 시선 벡터가 근위 동공간 거리(IPD)와 정렬하기 위해 사용되는 HMD(2)의 일부분의 일 실시예를 도시한다. HMD(2)는 도 1에서의 모바일 디바이스(19)와 같은 모바일 디바이스의 일례이다. 도시된 바와 같이, 좌측 안구의 각막(168l)은 우측으로 또는 최종 사용자의 코쪽으로 회전되고, 우측 안구의 각막(168r)은 좌측으로 또는 최종 사용자의 코쪽으로 회전된다. 두 동공 모두 최종 사용자의 특정 거리 내에 있는 실제 객체(194)를 응시하고 있다. 각각의 안구로부터의 시선 벡터들(180l, 180r)은 실제 객체(194)가 위치하는 파눔(Panum)의 융합 영역(195)에 진입한다. 파눔의 융합 영역은 인간 시각에서와 같은 양안 시각계에서의 단일 시각의 영역이다. 시선 벡터들(180l, 180r)의 교차는 최종 사용자가 실제 객체(194)를 바라보고 있음을 나타낸다. 이러한 거리에서, 눈알들이 안쪽으로 회전하면, 눈알들의 동공들 간의 거리는 근위 IPD까지 감소한다. 근위 IPD는 일반적으로 원위 IPD보다 약 4mm 작다. 디스플레이 광학 시스템(14)의 IPD 정렬을 근위 IPD의 정렬로 스위칭하거나 조정하기 위해, 근위 IPD 거리 기준(예를 들어, 최종 사용자로부터 4피트 미만에 있는 시선점)이 사용될 수 있다. 근위 IPD의 경우, 각각의 디스플레이 광학 시스템(14)은 최종 사용자의 코쪽으로 이동될 수 있으며, 이에 따라, 광축, 및 검출 영역(139)은 검출 영역들(139ln, 139rn)로 나타낸 바와 같이 코쪽으로 수 밀리미터 이동한다. HMD의 최종 사용자에 대한 IPD를 결정하고 이에 따라 디스플레이 광학 시스템을 조정하는 것에 관한 더 많은 정보는 "Personal Audio/Visual System"이라는 명칭으로 2011년 9월 30일에 출원된 미국 특허 출원 제13/250,878호에서 찾아볼 수 있다.
도 3a는 시선 검출 엘리먼트들을 포함하는 이동가능형 디스플레이 광학 시스템을 갖는 HMD(2)의 일부분의 일 실시예를 도시한다. 각각의 안구에 대한 렌즈로서 나타나는 것은 각각의 안구(즉, 14l, 14r)에 대한 디스플레이 광학 시스템(14)을 나타낸다. 디스플레이 광학 시스템은 가상 콘텐츠를 HMD의 렌즈를 통해 보이는 실제 직시 실세계 뷰와 원활하게 융합시키기 위한 시쓰루 렌즈 및 광학 엘리먼트들(예를 들어, 거울, 필터)를 포함한다. 디스플레이 광학 시스템(14)은 일반적으로 시쓰루 렌즈의 중심에 있는 광축을 가지며, 여기서 광은 일반적으로 왜곡없는 뷰를 제공하도록 시준된다. 예를 들어, 안과 전문의가 일반적인 안경을 최종 사용자의 얼굴에 맞춰줄 때, 보통적으로, 각각의 동공이 각각의 렌즈의 중심 또는 광축과 정렬되는 위치에서 최종 사용자의 코에 안경이 안착되어 일반적으로 시준된 광이 최종 사용자의 안구에 도달하여 선명하거나 왜곡없는 뷰를 초래하도록 안경이 맞춰진다.
도 3a에서 도시된 바와 같이, 적어도 하나의 센서의 검출 영역(139r, 139l)은 그 각각의 디스플레이 광학 시스템(14r, 14l)의 광축과 정렬되어, 검출 영역(139r, 139l)의 중심이 광축을 따른 광을 캡처한다. 디스플레이 광학 시스템(14)이 최종 사용자의 동공과 정렬되면, 각각의 센서(134)의 각각의 검출 영역(139)은 최종 사용자의 동공과 정렬된다. 검출 영역(139)의 반사광은 하나 이상의 광학 엘리먼트를 통해 카메라의 실제 이미지 센서(134)로 전달되는데, 이 센서는, 도시된 실시예에서, 프레임(115) 내부에 있는 것으로서 점선으로 도시되어 있다. 일부 실시예들에서, 센서(134)는 최종 사용자의 안구의 이미지 또는 안구를 둘러싸는 안면 특징의 이미지를 캡처하기 위한 이미지 센서 또는 RGB 카메라를 포함할 수 있다. 최종 사용자의 콧등(nasal bridge)과 같은 최종 사용자와 관련된 고정된 안면 특징을 캡처하기 위해 다른 내향 이미지 센서들이 프레임(115)과 통합될 수도 있다.
일 실시예에서, 적어도 하나의 센서(134)는 가시광 카메라(예를 들어, RGB 또는 컬러 카메라)일 수 있다. 하나의 예시에서, 광학 엘리먼트 또는 광 조사(light directing) 엘리먼트는 부분적으로 투과성이고 부분적으로 반사성인 가시광 반사 거울을 포함한다. 가시광 카메라는 최종 사용자의 안구의 동공의 이미지 데이터를 제공하는 반면, IR 광검출기(152)는 스펙트럼의 IR 부분에 있는 반사체인 글린트를 캡처한다. 가시광 카메라를 사용하는 경우, 카메라에 의해 캡처된 안구 데이터에서는 가상 이미지의 반사체가 나타날 수 있다. 원하는 경우 이미지 필터링 기술을 사용하여 가상 이미지 반사체를 제거할 수 있다. IR 카메라는 안구 상의 가상 이미지 반사체에 민감하지 않을 수 있다.
다른 실시예에서, 적어도 하나의 센서(134)(즉, 134l, 134r)는 IR 카메라 또는 IR 방사선이 조사될 수 있는 위치 감지 검출기(position sensitive detector; PSD)이다. 안구으로부터 반사된 IR 방사선은 조명기(153), 다른 IR 조명기(도시되지 않음)의 입사 방사선으로부터 또는 안구으로부터 반사된 주변 IR 방사선으로부터 유래된 것일 수 있다. 일부 경우들에서, 센서(134)는 RGB 및 IR 카메라의 조합일 수 있으며, 광 조사 엘리먼트는 가시광 반사 또는 전환 엘리먼트 및 IR 방사선 반사 또는 전환 엘리먼트를 포함할 수 있다. 일부 경우들에서, 센서(134)는 시스템(14)의 렌즈 내에 임베딩될 수 있다. 추가적으로, 사용자 시야 내로 카메라를 융합시켜서 사용자의 혼란을 줄이도록 이미지 필터링 기술이 적용될 수 있다.
도 3a에서 도시된 바와 같이, 광검출기(152)와 쌍을 이루는 네 개 세트의 조명기(153)가 있으며, 조명기(153)에 의해 생성된 입사광과 광검출기(152)에서 수신된 반사광 간의 간섭을 피하기 위해 광검출기(152)와 조명기(153)는 배리어(154)에 의해 분리된다. 도면에서 불필요한 혼란을 피하기 위해, 도면 부호는 대표적인 쌍에 대하여 도시되어 있다. 각각의 조명기는 대략 미리 결정된 파장의 좁은 광 빔을 생성하는 적외선(IR) 조명기일 수 있다. 각각의 광검출기는 대략 미리 결정된 파장의 광을 캡처하도록 선택될 수 있다. 적외선은 또한 근적외선을 포함할 수 있다. 조명기 또는 광검출기의 파장 드리프트(wavelength drift)가 있을 수 있거나 또는 파장에 대한 작은 범위가 허용될 수 있으므로, 조명기 및 광검출기는 생성 및 검출을 위한 파장에 대한 허용오차 범위를 가질 수 있다. 센서가 IR 카메라 또는 IR 위치 감지 검출기(PSD)인 일부 실시예들에서, 광검출기는, 추가적인 데이터 캡처 디바이스를 포함할 수 있으며, 또한 조명기의 동작, 예컨대, 파장 드리프트, 빔 폭 변화 등을 모니터링하는데 사용될 수 있다. 광검출기는 또한 센서(134)와 같은 가시광 카메라로 글린트 데이터를 제공할 수 있다.
도 3a에서 도시된 바와 같이, 각각의 디스플레이 광학 시스템(14) 및 (예를 들어, 카메라(134)와 그 검출 영역(139), 조명기(153) 및 광검출기(152)와 같은) 각각의 안구와 대면해 있는 시선 검출 엘리먼트의 구성들은 이동가능형 내부 프레임 부분(117l, 117r) 상에 위치된다. 이 예에서, 디스플레이 조정 메커니즘은 모터(203)에 의해 구동되는 샤프트(205)의 안내 및 힘 하에서 프레임(115) 내에서 좌측에서 우측으로 또는 그 반대 방향으로 슬라이딩하는 내부 프레임 부분(117)에 부착되는 샤프트(205)를 갖는 하나 이상의 모터(203)를 포함한다. 일부 실시예들에서, 하나의 모터(203)는 양쪽의 내부 프레임들을 구동시킬 수 있다.
도 3b는 시선 검출 엘리먼트들을 포함하는 이동가능형 디스플레이 광학 시스템을 갖는 HMD(2)의 일부분의 대안적인 실시예를 도시한다. 도시된 바와 같이, 각각의 디스플레이 광학 시스템(14)은 개별적인 프레임 부분(115l, 115r)에 둘러싸여 있다. 각각의 프레임 부분들은 모터(203)에 의해 개별적으로 이동될 수 있다. 일부 실시예들에서, 적어도 하나의 센서(134)는 최종 사용자의 안구의 이미지 또는 안구를 둘러싸는 안면 특징의 이미지를 캡처하기 위한 이미지 센서 또는 RGB 카메라를 포함할 수 있다. 최종 사용자의 콧등과 같은 최종 사용자와 관련된 고정된 안면 특징을 캡처하기 위해 다른 내향 이미지 센서들이 프레임(115)과 통합될 수 있다.
도 4a는 HMD(402)의 최종 사용자가 바라본 증강 현실 환경(410)의 일 실시예를 도시한다. HMD(402)는 도 1에서의 모바일 디바이스(19)와 같은 모바일 디바이스를 포함할 수 있다. 증강 현실 환경(410)은 HMD(402)의 최종 사용자를 둘러싸는 가상 실린더를 포함할 수 있다. 가상 실린더는 곡선형 슬레이트(422)와 같은 하나 이상의 곡선형 슬레이트들이 HMD(402)의 최종 사용자에게 디스플레이되는 비가시적인 실린더를 포함할 수 있다. 하나 이상의 곡선형 슬레이트들 각각은 최종 사용자에게 콘텐츠를 디스플레이하는 워핑된(warped) 2차원 이미지를 포함할 수 있다. 도시된 바와 같이, 곡선형 슬레이트(422)는 최종 사용자에게 라이브 비디오 피드(예를 들어, 라이브 비디오 통화)를 디스플레이할 수 있다. 가상 실린더는 가상 실린더의 상부(412) 및 가상 실린더의 하부(414)를 포함할 수 있다. 일 실시예에서, HMD(402)의 최종 사용자는 2개 이상의 가상 실린더들에 의해 둘러싸일 수 있으며, 2개 이상의 가상 실린더들의 중앙에 위치할 수 있다. 하나의 예시에서, 가상 실린더의 상부(412)는 최종 사용자의 최상부를 둘러싸는 제1 가상 실린더를 포함할 수 있고, 가상 실린더의 하부(414)는 최종 사용자의 바닥부를 둘러싸는 제2 가상 실린더를 포함할 수 있다. 가상 실린더는 반경(406) 및 축(404)과 연관될 수 있다. 가상 실린더의 축(404)은 지면에 수직으로 위치되고 최종 사용자의 몸통 및 머리를 관통하여 연장될 수 있다. 가상 실린더 내의 하나 이상의 곡선형 슬레이트들 각각의 위치는 제스처(예를 들어, 손 제스처 또는 머리 제스처)를 사용하여 최종 사용자에 의해 제어될 수 있다.
일부 실시예들에서, 하나 이상의 곡선형 슬레이트들은 가상 실린더 주위에 배열될 수 있고, 최종 사용자의 신체의 일부분에 대해 신체 고정된 것으로 나타난다. 하나의 예시에서, 하나 이상의 곡선형 슬레이트들은, 가상 실린더 상에 배열된 하나 이상의 곡선형 슬레이트들의 배향 및 위치가 최종 사용자의 몸통의 정면 부위에 대해 고정된 것으로 나타나도록 최종 사용자의 신체의 일부분에 대해 신체 고정될 수 있다. 일부 실시예들에서, 최종 사용자는 머리 제스처, 손 제스처, 및/또는 음성 명령을 사용하여 가상 실린더의 표면을 따라 하나 이상의 곡선형 슬레이트들의 곡선형 슬레이트의 위치를 이동시키거나 제어할 수 있다. 곡선형 슬레이트는, 이동되어 가상 실린더 내의 새로운 위치에서 풀어놓아진 후, 이 새로운 위치로부터 최종 사용자의 신체 부분에 대해 신체 고정된 것으로 다시 나타날 수 있다.
일부 경우들에서, 곡선형 슬레이트(422)와 같은 곡선형 슬레이트는 2차원 이미지를 가상 실린더의 표면과 정렬되는 곡선형 이미지로 워핑시킴으로써 생성될 수 있다. 하나의 예시에서, 제1의 2차원 이미지는 2차(quadratic) 이미지 전달 함수를 통해 곡선형 슬레이트와 연관된 제2의 2차원 이미지로 맵핑될 수 있다. 2차 이미지 전달 함수는 평면 2차원 이미지를 원추, 구, 또는 실린더 형상의 일부분과 같은, 곡면으로 맵핑하는데 사용될 수 있다.
일 실시예에서, 가상 실린더의 축(404)은 최종 사용자의 신체에 부착되거나 최종 사용자의 신체에 대해 고정된 위치(또는 실질적으로 고정된 위치)에 배치된 제2 모바일 디바이스의 배향에 기초하여 결정될 수 있다. 하나의 예시에서, 제2 모바일 디바이스는 최종 사용자가 입고 있는 바지의 뒷주머니에 배치되거나 또는 최종 사용자의 허리 둘레에 착용된 벨트에 부착될 수 있다. 이 경우, 가상 실린더의 축(404)은 제2 모바일 디바이스에 의해 생성된 가속도계 및 자력계 데이터에 기초하여 중력 벡터 또는 지구쪽으로 향하는 벡터와 일치할 수 있다. 다른 실시예에서, 가상 실린더의 축(404)은 도 2b에서의 신체 대면 카메라(222)와 같은 하나 이상의 신체 대면 카메라들에 의해 캡처된 이미지들에 기초하여 결정될 수 있다. 하나 이상의 신체 대면 카메라들은 최종 사용자의 몸통, 가슴, 복부, 또는 골반 영역을 비롯한 최종 사용자의 신체의 이미지들을 캡처할 수 있다. 이 경우, 가상 실린더의 축(404)은 HMD에 의해 생성된 중력 벡터와 평행하고, 최종 사용자의 신체의 캡처된 이미지에서 식별된 최종 사용자의 신체 상의 점들과 교차하는 선과 일치할 수 있다.
도 4b는 도 1에서의 모바일 디바이스(19)와 같은, HMD의 최종 사용자에게 디스플레이되는 곡선형 슬레이트 세트의 일 실시예를 도시한다. 곡선형 슬레이트 세트는 최종 사용자를 둘러싸는 가상 실린더의 표면 상에 위치할 수 있다. 곡선형 슬레이트 세트는 (예를 들어, 라이브 비디오 피드를 디스플레이하는) 곡선형 슬레이트(422), (예를 들어, 검색 엔진 인터페이스를 디스플레이하는) 곡선형 슬레이트(424), (예를 들어, 전자 메시징 애플리케이션을 디스플레이하는) 곡선형 슬레이트(426), 및 (예를 들어, 게임 애플리케이션을 디스플레이하는) 곡선형 슬레이트(428)를 포함한다. 도시된 바와 같이, 가상 실린더 상에서의 재배치를 위해 곡선형 슬레이트를 선택하거나 또는 곡선형 슬레이트의 가장자리 또는 모서리를 드래그하여 곡선형 슬레이트의 크기를 재조정하기 위해 최종 사용자에 의해 가상 포인터(430)가 사용될 수 있다.
도 4c는 도 4b로부터의 곡선형 슬레이트(422)의 재배치의 일 실시예를 도시한다. 도시된 바와 같이, 곡선형 슬레이트(422)는 최종 사용자에 의해, 도 4b에서 이전에 곡선형 슬레이트(424)가 디스플레이되었던 새로운 위치로 이동되었다. 하나의 예시에서, 곡선형 슬레이트(422)에 대한 새로운 위치의 방향(432)으로의 최종 사용자에 의해 수행되는 손 제스처가 곡선형 슬레이트(422)를 새로운 위치로 이동시키는데 사용될 수 있다. 이 경우, 곡선형 슬레이트(424)는 곡선형 슬레이트(422)를 위한 공간을 만들기 위해 가상 실린더 내의 다른 위치로 자동적으로 이동되거나, 또는 가상 실린더보다 더 큰 반경을 갖는 제2 가상 실린더로 자동적으로 뒤쪽으로 밀려날 수 있다.
도 4d는 곡선형 슬레이트의 위치에 적용된 자석 스내핑 기능의 일 실시예를 도시한다. 도시된 바와 같이, 곡선형 슬레이트(424)는 최종 사용자에 의해 곡선형 슬레이트(422)의 특정 거리 내에 있는 새로운 위치로 이동된다. 곡선형 슬레이트(424)가 새로운 위치에서 최종 사용자에 의해 풀어놓아지면, 자석 스내핑 기능은 곡선형 슬레이트(424)를 곡선형 슬레이트(422)의 가장자리와 정렬되는 다른 위치로 방향(434)으로 스내핑시킬 수 있다.
도 4e는 HMD(402)의 최종 사용자가 바라본 증강 현실 환경(411)의 일 실시예를 도시한다. HMD(402)는 도 1에서의 모바일 디바이스(19)와 같은 모바일 디바이스를 포함할 수 있다. 증강 현실 환경(411)은 HMD(402)의 최종 사용자를 둘러싸는 제1 반경의 제1 가상 실린더, 및 HMD(402)의 최종 사용자를 둘러싸는 제1 반경보다 큰 제2 반경의 제2 가상 실린더를 포함할 수 있다. 제2 곡선형 슬레이트(442)는 제2 가상 실린더의 표면 상에 배열될 수 있고, 최종 사용자에게 부분적으로 투명하게 될 수 있다. 제1 가상 실린더의 표면 상에는 제1 곡선형 슬레이트(444)가 배열될 수 있다. 일 실시예에서, 제1 가상 실린더는 업무 환경과 연관될 수 있고, 업무 관련 콘텐츠(예컨대, 라이브 미팅 비디오 피드)를 포함할 수 있으며, 제2 가상 실린더는 가정 환경과 연관될 수 있고, 개인 콘텐츠(예컨대, 게임 애플리케이션)를 포함할 수 있다. 제1 가상 실린더의 제1 반경은 HMD(402)의 최종 사용자의 위치에 기초하여 설정될 수 있다. 하나의 예시에서, 최종 사용자가 업무 환경과 연관된 GPS 위치에 있다면, 제1 반경은 2미터로 설정될 수 있고, 제1 가상 실린더는 최종 사용자에 가장 가까운 1차 실린더를 포함할 수 있다. 최종 사용자가 업무 환경과 연관된 GPS 위치를 이탈하면, 제1 반경은 10미터로 설정될 수 있고, 제2 반경은 2미터로 설정될 수 있으며, 제2 가상 실린더는 최종 사용자에 가장 가까운 1차 실린더를 포함할 수 있다.
도 5a는 모바일 디바이스의 최종 사용자를 둘러싸는 하나 이상의 가상 실린더 상에 배치된 하나 이상의 곡선형 슬레이트들을 사용하여 대화형 증강 현실 환경 내에서 콘텐츠를 관리하는 방법의 일 실시예를 설명하는 흐름도이다. 일 실시예에서, 도 5a의 프로세스는 도 1에서의 모바일 디바이스(19)와 같은 모바일 디바이스에 의해 수행될 수 있다.
단계(502)에서, HMD(또는 다른 모바일 디바이스)를 사용하여 디스플레이될 제1 콘텐츠 세트가 획득된다. 제1 콘텐츠 세트는 이미지, 텍스트, 비디오, 라이브 비디오 피드, 또는 웹페이지 콘텐츠를 포함할 수 있다. 제1 콘텐츠 세트는 또한 컴퓨팅 애플리케이션(예를 들어, 이메일 애플리케이션, 워드프로세싱 애플리케이션, 웹 브라우저 애플리케이션, 웹 기반 애플리케이션, 또는 인스턴트 메시징 애플리케이션)과 연관된 사용자 인터페이스를 디스플레이하기 위한 콘텐츠와 일치할 수 있다. 단계(504)에서, HMD의 최종 사용자를 둘러싸는 가상 실린더에 대한 축이 결정된다. 일 실시예에서, 가상 실린더의 축은 최종 사용자의 신체에 부착되거나 최종 사용자의 신체에 대해 고정된 위치(또는 실질적으로 고정된 위치)에 배치된 제2 모바일 디바이스의 배향에 기초하여 결정될 수 있다. 다른 실시예에서, 가상 실린더의 축은 HMD의 IMU에 의해 생성된 IMU 정보 및 도 2b에서의 신체 대면 카메라(222)와 같은 신체 대면 카메라를 사용하여 캡처된 최종 사용자의 이미지에 기초하여 결정될 수 있다. 이 경우, 가상 실린더의 축은 IMU에 의해 생성된 중력 벡터와 평행하고, 최종 사용자의 신체의 캡처된 이미지에서 식별된 최종 사용자의 신체 상의 점들과 교차하는 선과 일치할 수 있다.
단계(506)에서, 가상 실린더의 반경이 결정된다. 일부 경우들에서, 가상 실린더의 반경은 HMD의 위치에 기초하여 설정될 수 있다. 예를 들어, HMD가 업무 환경과 연관된 GPS 위치에 있다면, 반경은 2미터로 설정될 수 있다. HMD가 가정 환경과 연관된 GPS 위치에 있다면, 반경은 3미터로 설정될 수 있다.
단계(508)에서, 제1 곡선형 슬레이트를 디스플레이할 가상 실린더의 일부분이 결정된다. 가상 실린더의 일부분은 가상 실린더 내에 있는 4개의 곡선들에 의해 경계지어지는 가상 실린더의 곡면 영역을 포함할 수 있다. 가상 실린더의 일부분은 제1 곡선형 슬레이트가 디스플레이될 수 있는 가상 실린더의 곡면 영역과 일치할 수 있다. 제1 곡선형 슬레이트를 디스플레이할 가상 실린더의 일부분은 최종 사용자에 의한 선택에 의해(예를 들어, 최종 사용자는 제1 곡선형 슬레이트의 초기 위치를 규정할 수 있다), 또는 가상 실린더 내의 미리 정의된 위치 또는 디폴트 초기 위치에 제1 곡선형 슬레이트를 위치시킴으로써 결정될 수 있다. 단계(510)에서, 제1 곡선형 슬레이트와 연관된 하나 이상의 이미지들이 제1 콘텐츠 세트를 사용하여 생성된다. 일부 경우들에서, 하나 이상의 이미지들은 가상 실린더 상으로 2차원 이미지를 맵핑하는 2차 이미지 전달 함수를 사용하여 제1 콘텐츠 세트를 포함하는 2차원 이미지를 하나 이상의 이미지들로 워핑시킴으로써 생성될 수 있다. 단계(512)에서, 제1 콘텐츠 세트가 가상 실린더의 일부분 내에 위치하는 것으로 나타나고, 제1 곡선형 슬레이트가 HMD의 최종 사용자에 신체 고정된 것으로 나타나도록, 하나 이상의 이미지들이 HMD를 사용하여 디스플레이된다.
단계(514)에서, HMD의 최종 사용자에 의한 제1 곡선형 슬레이트의 재배치가 검출된다. 단계(516)에서, HMD의 최종 사용자에게 디스플레이된 제2 곡선형 슬레이트는 제1 곡선형 슬레이트의 재배치를 검출한 것에 응답하여 자동적으로 재배치된다. 일 실시예에서, 최종 사용자는 제1 곡선형 슬레이트를 재배치시키기 위해 제스처 인식을 사용하여 HMD에 의해 인식되는 손 제스처를 수행할 수 있다. 다른 실시예에서, 제1 곡선형 슬레이트는 가상 포인터를 사용하여 최종 사용자에 의해 제1 곡선형 슬레이트를 선택하고 드래그하여 재배치될 수 있다. 제1 곡선형 슬레이트는 또한, 제1 곡선형 슬레이트의 선택을 확인하기 위해 최종 사용자가 적어도 임계 시구간 동안 제1 곡선형 슬레이트를 응시한 것을 (예를 들어, 시선 검출 기술을 통해) 검출하고, 최종 사용자가 특정 머리 제스처 또는 움직임(예컨대, 고개를 끄덕거리는 모션)을 수행한 것을 검출함으로써 선택될 수 있다.
도 5b는 모바일 디바이스의 최종 사용자를 둘러싸는 하나 이상의 가상 실린더 상에 배치된 하나 이상의 곡선형 슬레이트들을 사용하여 대화형 증강 현실 환경 내에서 콘텐츠를 관리하는 방법의 다른 실시예를 설명하는 흐름도이다. 일 실시예에서, 도 5b의 프로세스는 도 1에서의 모바일 디바이스(19)와 같은 모바일 디바이스에 의해 수행될 수 있다.
단계(532)에서, 모바일 디바이스의 위치가 결정된다. 모바일 디바이스의 위치는 모바일 디바이스의 GPS 위치와 일치할 수 있다. 단계(534)에서, 모바일 디바이스를 사용하여 디스플레이될 제1 콘텐츠 세트가 상기 위치에 기초하여 결정된다. 하나의 예시에서, GPS 위치가 업무 환경과 일치하면, 제1 콘텐츠 세트는 업무 관련 콘텐츠를 포함할 수 있다. 다른 예에서, GPS 위치가 가정 환경과 일치하면, 제1 콘텐츠 세트는 업무 관련 콘텐츠와는 상이한 가정 관련 콘텐츠 또는 개인 콘텐츠를 포함할 수 있다.
단계(536)에서, 모바일 디바이스를 사용하여 디스플레이될 제2 컴퓨팅 애플리케이션 세트가 상기 위치에 기초하여 결정된다. 하나의 예시에서, GPS 위치가 업무 환경과 일치하면, 제2 컴퓨팅 애플리케이션 세트는 업무 관련 컴퓨팅 애플리케이션을 포함할 수 있다. 다른 예에서, GPS 위치가 가정 환경과 일치하면, 제2 컴퓨팅 애플리케이션 세트는 업무 관련 컴퓨팅 애플리케이션과는 상이한 개인 컴퓨팅 애플리케이션을 포함할 수 있다.
단계(538)에서, 모바일 디바이스를 둘러싸는 가상 실린더의 반경이 상기 위치에 기초하여 결정된다. 하나의 예시에서, 모바일 디바이스가 업무 환경과 연관된 GPS 위치에 있으면, 반경은 제1 거리로 설정될 수 있다. 모바일 디바이스가 가정 환경과 연관된 GPS 위치에 있으면, 반경은 제1 거리보다 크거나 또는 작은 제2 거리로 설정될 수 있다.
단계(540)에서, 제1 콘텐츠 세트에 대응하는 제1 곡선형 슬레이트 세트가 가상 실린더의 반경에 기초하여 생성된다. 가상 실린더의 반경은 모바일 디바이스의 최종 사용자로부터의 가상 실린더의 거리 및 가상 실린더의 전체 크기를 결정할 수 있다. 제1 곡선형 슬레이트 세트는 2차 이미지 전달 함수를 사용하여 제1 콘텐츠 세트를 포함하는 2차원 이미지들을 제1 곡선형 슬레이트 세트로 맵핑함으로써 생성될 수 있다. 단계(542)에서, 제2 컴퓨팅 애플리케이션 세트에 대응하는 제2 곡선형 슬레이트 세트가 가상 실린더의 반경에 기초하여 생성된다. 제2 곡선형 슬레이트 세트는 2차 이미지 전달 함수를 사용하여 제2 컴퓨팅 애플리케이션 세트를 위한 사용자 인터페이스들의 이미지들을 제2 곡선형 슬레이트 세트로 맵핑함으로써 생성될 수 있다. 단계(544)에서, 제1 곡선형 슬레이트 세트 및 제2 곡선형 슬레이트 세트는 모바일 디바이스를 사용하여 디스플레이된다. 제1 곡선형 슬레이트 세트 및 제2 곡선형 슬레이트 세트는 모바일 디바이스의 최종 사용자에 신체 고정된 것으로 나타나고 가상 실린더의 표면 상에 배열된 것으로 나타날 수 있다.
도 5c는 모바일 디바이스의 최종 사용자를 둘러싸는 하나 이상의 가상 실린더 상에 배치된 하나 이상의 곡선형 슬레이트들을 사용하여 대화형 증강 현실 환경 내에서 콘텐츠를 관리하는 방법의 대안적인 실시예를 설명하는 흐름도이다. 일 실시예에서, 도 5c의 프로세스는 도 1에서의 모바일 디바이스(19)와 같은 모바일 디바이스에 의해 수행될 수 있다.
단계(552)에서, 제1 반경의 제1 가상 실린더를 사용하여 투영될 제1 콘텐츠 세트가 획득된다. 단계(554)에서, 제2 반경의 제2 가상 실린더를 사용하여 투영될 제2 콘텐츠 세트가 획득된다. 일 실시예에서, 제1 가상 실린더는 업무 환경과 연관될 수 있고 업무 관련 콘텐츠(예를 들어, 이메일 리더(email reader), 워드 프로세싱 문서, 비디오, 또는 라이브 회의 피드)를 포함할 수 있으며, 제2 가상 실린더는 가정 환경과 연관될 수 있고 개인 콘텐츠(예를 들어, 텔레비전 쇼 또는 영화, 스포츠 경기와 연관된 웹페이지, 검색 엔진 인터페이스, 또는 인스턴트 메시징 클라이언트)를 포함할 수 있다.
단계(556)에서, 제1 반경 및 제2 반경은 모바일 디바이스의 위치에 기초하여 결정된다. 제1 반경은 제2 반경과는 상이한 값 또는 상이한 길이를 할당받을 수 있다(예를 들어, 제1 반경은 제2 반경에 할당된 값보다 작은 값을 할당받을 수 있다). 일 실시예에서, 모바일 디바이스의 위치는 제1 가상 실린더 또는 제2 가상 실린더가 가장 작은 반경을 갖는 1차 가상 실린더인지 여부를 결정할 수 있다. 하나의 예시에서, 모바일 디바이스의 위치가 업무 환경과 일치하면, 업무 환경과 연관된 가상 실린더는 1차 가상 실린더를 포함할 수 있고, 모바일 디바이스를 둘러싸는 2개 이상의 가상 실린더들 중에서 가장 작은 반경을 할당받을 수 있다. 다른 예시에서, 모바일 디바이스가 업무 환경 밖에 위치해 있을 때(예를 들어, GPS 좌표에 따라 모바일 디바이스는 업무 환경과 연관된 지리적 위치 밖에 위치해 있는 것으로 결정됨), 가정 환경과 연관된 가상 실린더는 1차 실린더를 포함할 수 있고, 최종 사용자를 둘러싸는 두 개 이상의 가상 실린더들 중 가장 작은 반경을 할당받을 수 있다.
단계(558)에서, 제1 가상 실린더 및 제2 가상 실린더에 대한 축이 결정된다. 축은 제1 가상 실린더 및 제2 가상 실린더 모두에 의해 사용되는 공통 축을 포함할 수 있다. 일 실시예에서, 제1 가상 실린더 및 제2 가상 실린더의 축은 최종 사용자의 신체에 부착되거나 최종 사용자의 신체에 대해 고정된 위치(또는 실질적으로 고정된 위치)에 배치된 제2 모바일 디바이스의 배향에 기초하여 결정될 수 있다. 다른 실시예에서, 제1 가상 실린더 및 제2 가상 실린더의 축은 HMD의 IMU에 의해 생성된 IMU 정보 및 도 2b에서의 신체 대면 카메라(222)와 같은 신체 대면 카메라를 사용하여 캡처된 최종 사용자의 이미지에 기초하여 결정될 수 있다. 이 경우, 제1 가상 실린더 및 제2 가상 실린더의 축은 IMU에 의해 생성된 중력 벡터와 평행하고, 최종 사용자의 신체의 캡처된 이미지에서 식별된 최종 사용자의 신체 상의 점들과 교차하는 선과 일치할 수 있다.
단계(560)에서, 제1 곡선형 슬레이트와 연관된 제1 이미지 세트가 제1 콘텐츠 세트를 사용하여 생성된다. 제1 곡선형 슬레이트는 제1 가상 실린더의 제1 부분을 덮을 수 있다. 제1 곡선형 슬레이트는 제1 콘텐츠 세트를 디스플레이하는 제1 이미지를 2차 이미지 전달 함수를 통해 제1 곡선형 슬레이트와 연관된 제2 이미지로 맵핑함으로써 생성될 수 있다. 단계(562)에서, 제2 곡선형 슬레이트와 연관된 제2 이미지 세트가 제2 콘텐츠 세트를 사용하여 생성된다. 제2 곡선형 슬레이트는 제2 가상 실린더의 제2 부분을 덮을 수 있다. 제2 곡선형 슬레이트는 제2 콘텐츠 세트를 디스플레이하는 제3 이미지를 2차 이미지 전달 함수를 통해 제2 곡선형 슬레이트와 연관된 제4 이미지로 맵핑함으로써 생성될 수 있다. 단계(564)에서, 제1 이미지 세트 및 제2 이미지 세트는 모바일 디바이스를 사용하여 디스플레이된다. 일부 경우들에서, 모바일 디바이스는 HMD를 포함할 수 있다. 단계(566)에서, 모바일 디바이스의 배향 변경이 검출된다. 단계(568)에서, 배향 변경을 검출한 것에 응답하여 제1 곡선형 슬레이트와 연관된 제3 이미지 세트가 생성되고 디스플레이된다. 제1 곡선형 슬레이트가 모바일 디바이스의 최종 사용자에 신체 고정된 것으로 나타나도록 제3 이미지 세트가 생성된다.
일부 실시예들에서, 모바일 디바이스는 모바일 디바이스의 위치에 기초하여 제1 가상 실린더의 제1 반경 및 제2 가상 실린더의 제2 반경을 동적으로 조정할 수 있다. 하나의 예시에서, 모바일 디바이스가 업무 환경 내에 있는 것으로부터 업무 환경 밖으로 이동함에 따라, 모바일 디바이스는, 상기 모바일 디바이스가 업무 환경 내에 있을 때 제1 반경이 제2 반경보다 작고 상기 모바일 디바이스가 업무 환경 밖에 있을 때 제1 반경이 제2 반경보다 크도록, 제1 반경 및 제2 반경을 조정할 수 있다. 일부 경우들에서, 모바일 디바이스 상에 저장된 맵핑 테이블이 모바일 디바이스의 위치에 기초하여 제1 반경 및 제2 반경을 결정하는데 사용될 수 있다.
일부 실시예들에서, 모바일 디바이스는 가상 실린더 내에 디스플레이되는 곡선형 슬레이트의 수에 기초하여 가상 실린더의 반경을 동적으로 조정할 수 있다. 하나의 예시에서, 가상 실린더 내에서 디스플레이되는 곡선형 슬레이트들의 수가 디스플레이되는 곡선형 슬레이트의 임계 개수 미만인 경우, 가상 실린더의 반경은 제1 반경으로 설정될 수 있다. 디스플레이될 곡선형 슬레이트들의 수가 곡선형 슬레이트들의 임계 개수를 초과할 것이라는 것을 검출하면, 모바일 디바이스는 가상 실린더의 반경을 제1 반경보다 큰 제2 반경으로 설정할 수 있다. 일부 경우들에서, 디스플레이될 곡선형 슬레이트들의 수가 곡선형 슬레이트들의 임계 개수를 초과할 것이라는 것을 검출하면, 모바일 디바이스는 제2 가상 실린더를 추가하고 하나 이상의 곡선형 슬레이트들을 해당 가상 실린더로부터 제2 가상 실린더에 할당할 수 있다.
일부 실시예들에서, 모바일 디바이스는 가상 실린더 내에서의 곡선형 슬레이트들의 슬레이트 오버랩의 수에 기초하여 가상 실린더의 반경을 동적으로 조정할 수 있다. 모바일 디바이스를 사용하여 디스플레이될 때 두 개의 곡선형 슬레이트들의 영역들이 오버랩하는 경우 두 개의 곡선형 슬레이트들은 오버랩될 수 있다. 하나의 예시에서, 가상 실린더 내에서 디스플레이되는 슬레이트 오버랩의 수가 오버랩의 임계 개수 미만인 경우, 가상 실린더의 반경은 제1 반경으로 설정될 수 있다. 슬레이트 오버랩의 수가 오버랩의 임계 개수를 초과한다고 검출하면, 모바일 디바이스는 가상 실린더의 반경을 제1 반경보다 큰 제2 반경으로 설정할 수 있다. 일부 경우들에서, 슬레이트 오버랩의 수가 슬레이트 오버랩의 임계 개수를 초과한다고 검출하면, 모바일 디바이스는 제2 가상 실린더를 추가하고 하나 이상의 곡선형 슬레이트들을 해당 가상 실린더로부터 제2 가상 실린더에 할당할 수 있다.
개시된 기술의 일 실시예는 시쓰루 디스플레이와 통신하는 하나 이상의 프로세서들을 포함한다. 하나 이상의 프로세서들은 제1 콘텐츠 세트를 획득하고, 전자 디바이스의 최종 사용자를 둘러싸는 제1 가상 실린더의 축을 결정하고, 제1 가상 실린더의 반경을 결정하고, 제1 곡선형 슬레이트와 연관된 하나 이상의 이미지들을 제1 콘텐츠 세트를 사용하여 생성하며, 제1 곡선형 슬레이트가 제1 가상 실린더의 일부분 내에 위치하는 것으로 나타나고, 제1 곡선형 슬레이트가 전자 디바이스의 최종 사용자에 신체 고정된 것으로 나타나도록, 하나 이상의 이미지들이 시쓰루 디스플레이를 사용하여 디스플레이되게 한다.
개시된 기술의 일 실시예는 모바일 디바이스를 사용하여 대화형 증강 현실 환경 내에서 콘텐츠를 관리하는 방법을 포함하며, 이 방법은, 모바일 디바이스를 사용하여 디스플레이될 제1 콘텐츠 세트를 결정하는 단계, 모바일 디바이스의 최종 사용자를 둘러싸는 제1 가상 실린더의 축을 결정하는 단계, 제1 가상 실린더의 반경을 결정하는 단계, 제1 곡선형 슬레이트와 연관된 하나 이상의 이미지들을 제1 콘텐츠 세트를 사용하여 생성하는 단계, 및 제1 곡선형 슬레이트가 제1 가상 실린더의 일부분 내에 위치하는 것으로 나타나고, 제1 곡선형 슬레이트가 모바일 디바이스의 최종 사용자에 신체 고정된 것으로 나타나도록, 하나 이상의 이미지들이 모바일 디바이스를 사용하여 디스플레이되게 하는 단계를 포함한다. 일부 경우들에서, 상기 방법은 모바일 디바이스의 위치를 결정하는 단계 및 상기 위치에 기초하여 상기 반경을 결정하는 단계를 더 포함할 수 있다. 일부 실시예들에서, 상기 방법은 제2 콘텐츠 세트를 획득하는 단계, 모바일 디바이스의 최종 사용자를 둘러싸는 제2 가상 실린더의 제2 반경을 결정하는 단계, 제2 곡선형 슬레이트를 디스플레이할 제2 가상 실린더의 제2 부분을 결정하는 단계, 제2 곡선형 슬레이트와 연관된 하나 이상의 다른 이미지들을 제2 콘텐츠 세트를 사용하여 생성하는 단계, 및 제2 곡선형 슬레이트가 제2 가상 실린더의 제2 부분 내에 위치하는 것으로 나타나고, 제2 곡선형 슬레이트가 모바일 디바이스의 최종 사용자에 신체 고정된 것으로 나타나도록, 하나 이상의 다른 이미지들이 모바일 디바이스를 사용하여 디스플레이되게 하는 단계를 더 포함할 수 있다. 상기 방법은 모바일 디바이스의 위치에 기초하여 제1 가상 실린더의 반경 및 제2 가상 실린더의 제2 반경을 동적으로 조정하는 단계를 더 포함할 수 있다. 모바일 디바이스는 머리 장착형 디스플레이 디바이스를 포함할 수 있다.
개시된 기술의 일 실시예는 모바일 디바이스의 위치를 결정하는 단계, 모바일 디바이스의 위치에 기초하여 디스플레이될 제1 콘텐츠 세트를 결정하는 단계, 모바일 디바이스의 최종 사용자를 둘러싸는 제1 가상 실린더의 축을 결정하는 단계, 모바일 디바이스의 위치에 기초하여 제1 가상 실린더의 반경을 결정하는 단계, 제1 곡선형 슬레이트와 연관된 하나 이상의 이미지들을 제1 콘텐츠 세트를 사용하여 생성하는 단계, 및 제1 곡선형 슬레이트가 제1 가상 실린더의 일부분 내에 위치하는 것으로 나타나고, 제1 곡선형 슬레이트가 모바일 디바이스의 최종 사용자에 신체 고정된 것으로 나타나도록, 하나 이상의 이미지들이 모바일 디바이스의 시쓰루 디스플레이를 사용하여 디스플레이되게 하는 단계를 포함한다.
도 6은 도 1에서의 모바일 디바이스(19)와 같은 모바일 디바이스(8300)의 일 실시예의 블록도이다. 모바일 디바이스들에는 랩톱 컴퓨터, 포켓 컴퓨터, 휴대 전화, HMD, 개인용 정보 단말기, 및 무선 수신기/송신기 기술과 통합된 핸드헬드 미디어 디바이스가 포함될 수 있다.
모바일 디바이스(8300)는 하나 이상의 프로세서(8312) 및 메모리(8310)를 포함한다. 메모리(8310)는 애플리케이션들(8330) 및 비휘발성 저장장치(8340)를 포함한다. 메모리(8310)는 비휘발성 및 휘발성 메모리를 비롯한, 임의의 다양한 메모리 저장 매체 유형들일 수 있다. 모바일 디바이스 운영체제는 모바일 디바이스(8300)의 상이한 동작들을 다루며, 전화걸기 및 전화받기, 텍스트 메시징, 음성메일 체크하기 등과 같은 동작들을 위한 사용자 인터페이스들을 포함할 수 있다. 애플리케이션들(8330)은 사진 및/또는 비디오를 위한 카메라 애플리케이션, 어드레스 북, 캘린더 애플리케이션, 미디어 플레이어, 인터넷 브라우저, 게임, 알람 애플리케이션, 및 다른 애플리케이션들과 같은, 임의의 프로그램 집합체일 수 있다. 메모리(8310) 내의 비휘발성 저장 컴포넌트(8340)는 음악, 사진, 연락처 데이터, 스케쥴링 데이터, 및 기타 화일들과 같은 데이터를 포함할 수 있다.
하나 이상의 프로세서(8312)는 시쓰루 디스플레이(8309)와 통신한다. 시쓰루 디스플레이(8309)는 실세계 환경과 연관된 하나 이상의 가상 객체를 디스플레이할 수 있다. 하나 이상의 프로세서(8312)는 또한 안테나(8302)에 결합된 RF 송신기/수신기(8306)와 통신하고, 적외선 송신기/수신기(8308)와 통신하고, GPS(Global Positioning Service) 수신기(8365)와 통신하며, 가속도계 및/또는 자력계를 포함할 수 있는 움직임/배향 센서(8314)와 통신한다. RF 송신기/수신기(8308)는 블루투스® 또는 IEEE 802.11 표준과 같은 다양한 무선 기술 표준을 통한 무선 통신을 가능하게 할 수 있다. 가속도계는 모바일 디바이스에 통합되어 사용자가 제스처를 통해 명령을 입력할 수 있게 해주는 지능형 사용자 인터페이스 애플리케이션 및 모바일 디바이스가 회전될 때 디스플레이를 세로모드에서 가로모드로 자동적으로 변경시킬 수 있는 배향 애플리케이션과 같은 애플리케이션을 가능케 할 수 있다. 가속도계는, 예컨대 반도체 칩 상에 내장된 (마이크로미터 크기의) 미세 기계적 디바이스인 미소 전자기계 시스템(micro-electromechanical system; MEMS)에 의해 제공될 수 있다. 가속도 방향뿐만이 아니라 배향, 진동 및 충격이 감지될 수 있다. 하나 이상의 프로세서(8312)는 또한 링거/진동기(8316), 사용자 인터페이스 키패드/스크린(8318), 스피커(8320), 마이크로폰(8322), 카메라(8324), 광 센서(8326), 및 온도 센서(8328)와 통신한다. 사용자 인터페이스 키패드/스크린은 터치 감지 스크린 디스플레이를 포함할 수 있다.
하나 이상의 프로세서(8312)는 무선 신호들의 송신 및 수신을 제어한다. 송신 모드 동안, 하나 이상의 프로세서(8312)는 마이크로폰(8322)로부터의 음성 신호, 또는 다른 데이터 신호를 RF 송신기/수신기(8306)에 제공한다. 송신기/수신기(8306)는 안테나(8302)를 통해 신호를 송신한다. 착신 콜, 텍스트 메시지, 캘린더 리마인더, 알람 클록 리마인더, 또는 다른 통지를 사용자에게 시그널링하기 위해 링거/진동기(8316)가 이용된다. 수신 모드 동안, RF 송신기/수신기(8306)는 안테나(8302)를 통해 원격 스테이션으로부터 음성 신호 또는 데이터 신호를 수신한다. 수신된 음성 신호는 스피커(8320)에 제공되는 반면에, 다른 수신된 데이터 신호들은 적절하게 프로세싱된다.
추가적으로, 배터리(8304)를 재충전하기 위해, 모바일 디바이스(8300)를 AC 어댑터 또는 전원 도킹 스테이션과 같은 외부 전원에 연결하기 위해 물리적 커넥터(8388)가 사용될 수 있다. 물리적 커넥터(8388)는 또한 외부 컴퓨팅 디바이스로의 데이터 연결부로서 이용될 수 있다. 데이터 연결부는 모바일 디바이스 데이터를 다른 디바이스 상의 컴퓨팅 데이터와 동기화시키는 것과 같은 동작들을 허용한다.
개시된 기술은 많은 다른 범용 또는 특수 목적 컴퓨팅 시스템 환경 또는 구성으로 동작한다. 본 기술과 함께 이용하기에 적합할 수 있는 공지된 컴퓨팅 시스템들, 환경들, 및/또는 구성들의 예시들에는, 비제한적인 예로서, 개인 컴퓨터, 서버 컴퓨터, 핸드헬드 또는 랩탑 디바이스, 멀티프로세서 시스템, 마이크로프로세서 기반 시스템, 셋탑 박스, 프로그래밍가능 가전 제품, 네트워크 PC, 미니컴퓨터, 메인프레임 컴퓨터, 위 시스템들 또는 디바이스들 중 임의의 것을 포함하는 분산형 컴퓨팅 환경 등이 포함된다.
본 개시된 기술은 프로그램 모듈들과 같이, 컴퓨터에 의해 실행되는 컴퓨터로 실행가능한 명령어들의 일반적 환경에서 설명될 수 있다. 일반적으로, 본 명세서에서 설명된 소프트웨어 및 프로그램 모듈들은 특정한 태스크들을 수행하거나 또는 특정한 추상적 데이터 유형들을 구현하는, 루틴들, 프로그램들, 오브젝트들, 컴포넌트들, 데이터 구조들, 및 다른 유형들의 구조들을 포함한다. 하드웨어 또는 하드웨어와 소프트웨어의 조합이 본 명세서에서 설명된 소프트웨어 모듈을 대신할 수 있다.
본 개시된 기술은 또한 태스크들이 통신 네트워크를 통해 링크된 원격 프로세싱 디바이스들에 의해 수행되는 분산형 컴퓨팅 환경들에서 실시될 수 있다. 분산형 컴퓨팅 환경에서, 프로그램 모듈들은 메모리 저장 디바이스들을 비롯한 로컬 및 원격 컴퓨터 저장 매체 둘 다에 위치할 수 있다.
본 명세서의 목적 상, 본 개시된 기술과 연관된 각각의 프로세스는 하나 이상의 컴퓨팅 디바이스에 의해 지속적으로 수행될 수 있다. 프로세스에서의 각각의 단계는 다른 단계들에서 사용된 것과 동일하거나 또는 다른 컴퓨팅 디바이스들에 의해 수행될 수 있으며, 각각의 단계는 반드시 단일 컴퓨팅 디바이스에 의해 수행될 필요는 없다.
본 명세서의 목적을 위해, 명세서에서 "실시예", "일 실시예", "일부 실시예들", 또는 "다른 실시예"의 언급은 상이한 실시예들을 설명하기 위해 사용될 수 있으며, 반드시 동일한 실시예를 지칭하지는 않는다.
본 명세서의 목적 상, 연결은 직접 연결 또는 간접 연결(예컨대, 다른 파트를 통한 연결)일 수 있다.
본 명세서의 목적 상, 객체들의 "세트"라는 용어는 하나 이상의 객체들의 "세트"를 말한다.
본 명세서의 목적 상, "~에 기초하여"라는 용어는 "적어도 ~에 부분적으로 기초하여"로서 읽혀질 수 있다.
본 명세서의 목적 상, 추가적인 문맥없이, "제1" 객체, "제2" 객체, 및 "제3" 객체와 같은 숫자 용어의 사용은 객체의 순서를 암시하지 않을 수 있고, 대신에 다른 객체를 식별하기 위한 식별 목적으로 사용될 수 있다.
본 발명내용은 구조적 특징들 및/또는 방법론적 동작들에 특유적인 용어로 기술되었지만, 첨부된 청구항들에서 정의된 발명내용은 위에서 설명된 이러한 특정한 특징들 또는 동작들로 반드시 제한될 필요는 없다는 것을 이해하여야 한다. 이보다는, 위에서 설명된 특정한 특징들 및 동작들은 청구항들을 구현하는 예시 형태들로서 개시된 것이다.

Claims (10)

  1. 대화형 증강 현실 환경을 제공하는 전자 디바이스에 있어서,
    시쓰루(see-through) 디스플레이; 및
    상기 시쓰루 디스플레이와 통신하는 하나 이상의 프로세서들
    을 포함하고,
    상기 하나 이상의 프로세서들은 제1 콘텐츠 세트를 획득하고,
    상기 하나 이상의 프로세서들은 상기 전자 디바이스의 최종 사용자를 둘러싸는 제1 가상 실린더의 축을 결정하고, 상기 제1 가상 실린더의 반경을 결정하고,
    상기 하나 이상의 프로세서들은 제1 곡선형 슬레이트(curved slate)와 연관된 하나 이상의 이미지들을 상기 제1 콘텐츠 세트를 사용하여 생성하고,
    상기 하나 이상의 프로세서들은, 상기 제1 곡선형 슬레이트가 상기 제1 가상 실린더의 일부분 내에 위치하는 것으로 나타나고, 상기 제1 곡선형 슬레이트가 상기 전자 디바이스의 상기 최종 사용자에 신체 고정(body-locked)된 것으로 나타나도록, 상기 하나 이상의 이미지들이 상기 시쓰루 디스플레이를 사용하여 디스플레이되게 하며,
    상기 하나 이상의 프로세서들은 상기 전자 디바이스에 대한 상기 최종 사용자의 신체의 배향을 결정하고, 상기 전자 디바이스에 대한 상기 최종 사용자의 신체의 배향에 기초하여 상기 하나 이상의 이미지들이 디스플레이되게 하는 것인, 대화형 증강 현실 환경을 제공하는 전자 디바이스.
  2. 제1항에 있어서,
    상기 하나 이상의 프로세서들은 상기 전자 디바이스의 위치를 결정하고, 상기 위치에 기초하여 상기 제1 가상 실린더의 반경을 결정하는 것인, 대화형 증강 현실 환경을 제공하는 전자 디바이스.
  3. 제1항 또는 제2항에 있어서,
    상기 하나 이상의 프로세서들은 제2 콘텐츠 세트를 획득하고,
    상기 하나 이상의 프로세서들은 상기 모바일 디바이스의 상기 최종 사용자를 둘러싸는 제2 가상 실린더의 제2 반경을 결정하고,
    상기 하나 이상의 프로세서들은 제2 곡선형 슬레이트와 연관된 하나 이상의 다른 이미지들을 상기 제2 콘텐츠 세트를 사용하여 생성하고,
    상기 하나 이상의 프로세서들은, 상기 제2 곡선형 슬레이트가 상기 제2 가상 실린더의 제2 부분 내에 위치하는 것으로 나타나고, 상기 제2 곡선형 슬레이트가 상기 전자 디바이스의 상기 최종 사용자에 신체 고정된 것으로 나타나도록, 상기 하나 이상의 다른 이미지들이 상기 시쓰루 디스플레이를 사용하여 디스플레이되게 하며,
    상기 반경은 상기 제2 반경보다 작은 것인, 대화형 증강 현실 환경을 제공하는 전자 디바이스.
  4. 제3항에 있어서,
    상기 하나 이상의 프로세서들은 상기 전자 디바이스의 위치에 기초하여 상기 제1 가상 실린더의 반경 및 상기 제2 가상 실린더의 제2 반경을 동적으로 조정하는 것인, 대화형 증강 현실 환경을 제공하는 전자 디바이스.
  5. 제1항 또는 제2항에 있어서,
    상기 하나 이상의 프로세서들은 상기 전자 디바이스의 상기 최종 사용자에 의한 상기 제1 곡선형 슬레이트의 재배치를 검출하고, 상기 제1 곡선형 슬레이트의 재배치를 검출한 것에 응답하여 상기 전자 디바이스의 상기 최종 사용자에게 디스플레이된 제2 곡선형 슬레이트를 자동적으로 재배치하는 것인, 대화형 증강 현실 환경을 제공하는 전자 디바이스.
  6. 제5항에 있어서,
    상기 하나 이상의 프로세서들은 상기 제1 곡선형 슬레이트의 재배치를 검출한 것에 응답하여 상기 제2 곡선형 슬레이트를 상기 제1 반경과는 상이한 제2 반경의 제2 가상 실린더에 할당하는 것인, 대화형 증강 현실 환경을 제공하는 전자 디바이스.
  7. 제1항 내지 제6항 중 어느 한 항에 있어서,
    상기 하나 이상의 프로세서들은 상기 최종 사용자의 몸통에 부착된 제2 모바일 디바이스에 의해 생성된 중력 벡터를 사용하여 상기 제1 가상 실린더의 축을 결정하고,
    상기 전자 디바이스는 머리 장착형 디스플레이 디바이스를 포함한 것인, 대화형 증강 현실 환경을 제공하는 전자 디바이스.
  8. 모바일 디바이스를 사용하여 대화형 증강 현실 환경 내에서 콘텐츠를 관리하는 방법에 있어서,
    모바일 디바이스를 사용하여 디스플레이될 제1 콘텐츠 세트를 결정하는 단계,
    상기 모바일 디바이스의 최종 사용자를 둘러싸는 제1 가상 실린더의 축을 결정하는 단계,
    상기 제1 가상 실린더의 반경을 결정하는 단계,
    제1 곡선형 슬레이트와 연관된 하나 이상의 이미지들을 상기 제1 콘텐츠 세트를 사용하여 생성하는 단계,
    상기 제1 곡선형 슬레이트가 상기 제1 가상 실린더의 일부분 내에 위치하는 것으로 나타나고, 상기 제1 곡선형 슬레이트가 상기 모바일 디바이스의 상기 최종 사용자에 신체 고정된 것으로 나타나도록, 상기 하나 이상의 이미지들을 상기 모바일 디바이스를 사용하여 디스플레이하는 단계 - 상기 하나 이상의 이미지들을 디스플레이하는 단계는 상기 모바일 디바이스에 대한 상기 최종 사용자의 신체의 배향을 결정하는 단계 및 상기 모바일 디바이스에 대한 상기 최종 사용자의 신체의 배향에 기초하여 상기 하나 이상의 이미지들을 디스플레이하는 단계를 포함함 -,
    상기 모바일 디바이스의 상기 최종 사용자에 의한 상기 제1 곡선형 슬레이트의 재배치를 검출하는 단계, 및
    상기 제1 곡선형 슬레이트의 재배치를 검출한 것에 응답하여 상기 모바일 디바이스의 상기 최종 사용자에게 디스플레이된 제2 곡선형 슬레이트를 자동적으로 재배치하는 단계
    를 포함하는 대화형 증강 현실 환경 내에서의 콘텐츠 관리 방법.
  9. 제8항에 있어서,
    상기 모바일 디바이스의 위치를 결정하는 단계
    를 더 포함하고,
    상기 제1 가상 실린더의 반경을 결정하는 단계는 상기 위치에 기초하여 상기 반경을 결정하는 단계를 포함하며,
    상기 제2 곡선형 슬레이트를 자동적으로 재배치하는 단계는 상기 제2 곡선형 슬레이트를 상기 반경과는 상이한 제2 반경의 제2 가상 실린더에 할당하는 단계를 포함한 것인, 대화형 증강 현실 환경 내에서의 콘텐츠 관리 방법.
  10. 제8항에 있어서,
    상기 모바일 디바이스의 위치를 결정하는 단계 - 상기 제1 콘텐츠 세트를 결정하는 단계는 상기 위치에 기초하여 상기 제1 콘텐츠 세트를 결정하는 단계를 포함함 -, 및
    상기 제1 가상 실린더 내에서의 곡선형 슬레이트들의 슬레이트 오버랩의 수에 기초하여 상기 제1 가상 실린더의 반경을 동적으로 조정하는 단계
    를 더 포함하며,
    상기 모바일 디바이스는 머리 장착형 디스플레이 디바이스를 포함한 것인, 대화형 증강 현실 환경 내에서의 콘텐츠 관리 방법.
KR1020177008957A 2014-09-03 2015-08-31 3d 홀로그래픽 환경에서의 콘텐츠 관리 KR102482217B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/476,642 2014-09-03
US14/476,642 US9508195B2 (en) 2014-09-03 2014-09-03 Management of content in a 3D holographic environment
PCT/US2015/047631 WO2016036625A1 (en) 2014-09-03 2015-08-31 Management of content in a 3d holographic environment

Publications (2)

Publication Number Publication Date
KR20170047386A true KR20170047386A (ko) 2017-05-04
KR102482217B1 KR102482217B1 (ko) 2022-12-27

Family

ID=54140662

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177008957A KR102482217B1 (ko) 2014-09-03 2015-08-31 3d 홀로그래픽 환경에서의 콘텐츠 관리

Country Status (5)

Country Link
US (1) US9508195B2 (ko)
EP (2) EP3531274B1 (ko)
KR (1) KR102482217B1 (ko)
CN (1) CN106662989B (ko)
WO (1) WO2016036625A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021229266A1 (en) * 2020-05-13 2021-11-18 Tajmirriahi Arman A folding headset with curved frame hmd, electronic accessories and their control methods

Families Citing this family (77)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10600245B1 (en) * 2014-05-28 2020-03-24 Lucasfilm Entertainment Company Ltd. Navigating a virtual environment of a media content item
KR102309281B1 (ko) * 2014-11-07 2021-10-08 삼성전자주식회사 오브젝트를 표시하는 방향 기반 전자 장치 및 방법
JP6524661B2 (ja) * 2014-12-19 2019-06-05 富士通株式会社 入力支援方法、入力支援プログラムおよび入力支援装置
US9791917B2 (en) * 2015-03-24 2017-10-17 Intel Corporation Augmentation modification based on user interaction with augmented reality scene
US11243640B2 (en) 2015-04-21 2022-02-08 Dell Products L.P. Information handling system modular capacitive mat with extension coupling devices
US11106314B2 (en) 2015-04-21 2021-08-31 Dell Products L.P. Continuous calibration of an information handling system projected user interface
US9804718B2 (en) 2015-04-21 2017-10-31 Dell Products L.P. Context based peripheral management for interacting with an information handling system
US9791979B2 (en) 2015-04-21 2017-10-17 Dell Products L.P. Managing inputs at an information handling system by adaptive infrared illumination and detection
US9983717B2 (en) 2015-04-21 2018-05-29 Dell Products L.P. Disambiguation of false touch inputs at an information handling system projected user interface
US9804733B2 (en) 2015-04-21 2017-10-31 Dell Products L.P. Dynamic cursor focus in a multi-display information handling system environment
US9720550B2 (en) 2015-04-21 2017-08-01 Dell Products L.P. Adaptable input active zones at an information handling system projected user interface
US9921644B2 (en) * 2015-04-21 2018-03-20 Dell Products L.P. Information handling system non-linear user interface
US10139854B2 (en) 2015-04-21 2018-11-27 Dell Products L.P. Dynamic display resolution management for an immersed information handling system environment
US9720446B2 (en) 2015-04-21 2017-08-01 Dell Products L.P. Information handling system projected work space calibration
US9690400B2 (en) 2015-04-21 2017-06-27 Dell Products L.P. Information handling system interactive totems
US9753591B2 (en) 2015-04-21 2017-09-05 Dell Products L.P. Capacitive mat information handling system display and totem interactions
US20170092002A1 (en) * 2015-09-30 2017-03-30 Daqri, Llc User interface for augmented reality system
US9600938B1 (en) * 2015-11-24 2017-03-21 Eon Reality, Inc. 3D augmented reality with comfortable 3D viewing
WO2017113757A1 (zh) * 2015-12-31 2017-07-06 北京小鸟看看科技有限公司 一种环绕式界面布局方法、三维沉浸式环境下内容切换方法和列表切换方法
CN105955454A (zh) * 2016-04-15 2016-09-21 北京小鸟看看科技有限公司 一种用于虚拟现实系统的防眩晕方法和装置
US10489978B2 (en) * 2016-07-26 2019-11-26 Rouslan Lyubomirov DIMITROV System and method for displaying computer-based content in a virtual or augmented environment
WO2018020661A1 (ja) * 2016-07-29 2018-02-01 三菱電機株式会社 表示装置、表示制御装置および表示制御方法
US20180082477A1 (en) * 2016-09-22 2018-03-22 Navitaire Llc Systems and Methods for Improved Data Integration in Virtual Reality Architectures
GB2554925A (en) * 2016-10-14 2018-04-18 Nokia Technologies Oy Display of visual data with a virtual reality headset
EP3316080B1 (en) * 2016-10-26 2021-08-25 HTC Corporation Virtual reality interaction method, apparatus and system
US10853651B2 (en) 2016-10-26 2020-12-01 Htc Corporation Virtual reality interaction method, apparatus and system
US10139973B2 (en) 2016-11-09 2018-11-27 Dell Products L.P. Information handling system totem tracking management
US10139930B2 (en) 2016-11-09 2018-11-27 Dell Products L.P. Information handling system capacitive touch totem management
US10146366B2 (en) 2016-11-09 2018-12-04 Dell Products L.P. Information handling system capacitive touch totem with optical communication support
US10139951B2 (en) 2016-11-09 2018-11-27 Dell Products L.P. Information handling system variable capacitance totem input management
US10496216B2 (en) 2016-11-09 2019-12-03 Dell Products L.P. Information handling system capacitive touch totem with optical communication support
CN108072374A (zh) * 2016-11-11 2018-05-25 英业达科技有限公司 导航系统及导航方法
EP3322186A1 (en) * 2016-11-14 2018-05-16 Thomson Licensing Method and device for transmitting data representative of an image
WO2018090056A2 (en) * 2016-11-14 2018-05-17 Taqtile Cross-platform multi-modal virtual collaboration and holographic maps
CN106534963A (zh) * 2016-11-24 2017-03-22 北京小米移动软件有限公司 直播处理方法、装置及终端
CN106851240A (zh) * 2016-12-26 2017-06-13 网易（杭州）网络有限公司 图像数据处理的方法及装置
WO2018144890A1 (en) * 2017-02-03 2018-08-09 Warner Bros. Entertainment, Inc. Rendering extended video in virtual reality
US10438399B2 (en) 2017-02-10 2019-10-08 Sony Interactive Entertainment LLC Paired local and global user interfaces for an improved augmented reality experience
US20180267615A1 (en) * 2017-03-20 2018-09-20 Daqri, Llc Gesture-based graphical keyboard for computing devices
EP3379828A1 (en) 2017-03-23 2018-09-26 Thomson Licensing Device and method for immersive visual representations and individual head equipment
US11054894B2 (en) 2017-05-05 2021-07-06 Microsoft Technology Licensing, Llc Integrated mixed-input system
US10747386B2 (en) 2017-06-01 2020-08-18 Samsung Electronics Co., Ltd. Systems and methods for window control in virtual reality environment
US10895966B2 (en) 2017-06-30 2021-01-19 Microsoft Technology Licensing, Llc Selection using a multi-device mixed interactivity system
US11023109B2 (en) 2017-06-30 2021-06-01 Microsoft Techniogy Licensing, LLC Annotation using a multi-device mixed interactivity system
US10521096B2 (en) * 2017-07-24 2019-12-31 Disney Enterprises, Inc. Virtual reality experience control system
US10564420B2 (en) * 2017-10-02 2020-02-18 International Business Machines Corporation Midair interaction with electronic pen projection computing system
US10671237B2 (en) * 2017-10-16 2020-06-02 Microsoft Technology Licensing, Llc Human-machine interface for presenting a user interface on a virtual curved visual surface
US10712899B2 (en) 2017-10-17 2020-07-14 Microsoft Technology Licensing, Llc Human-machine interface tethered to a user position in a three-dimensional VR or AR environment
CN107908278B (zh) * 2017-10-20 2020-04-28 华为技术有限公司 一种虚拟现实vr界面生成的方法和装置
KR102028036B1 (ko) * 2018-01-18 2019-11-04 주식회사 뉴냅스 뇌연결성 기반의 시지각 트레이닝 장치, 방법 및 프로그램
US10585294B2 (en) 2018-02-19 2020-03-10 Microsoft Technology Licensing, Llc Curved display on content in mixed reality
US10459528B2 (en) 2018-02-28 2019-10-29 Dell Products L.P. Information handling system enhanced gesture management, control and detection
US10664101B2 (en) 2018-06-28 2020-05-26 Dell Products L.P. Information handling system touch device false touch detection and mitigation
US10852853B2 (en) 2018-06-28 2020-12-01 Dell Products L.P. Information handling system touch device with visually interactive region
US10761618B2 (en) 2018-06-28 2020-09-01 Dell Products L.P. Information handling system touch device with automatically orienting visual display
US10635199B2 (en) 2018-06-28 2020-04-28 Dell Products L.P. Information handling system dynamic friction touch device for touchscreen interactions
US10817077B2 (en) 2018-06-28 2020-10-27 Dell Products, L.P. Information handling system touch device context aware input tracking
US10795502B2 (en) 2018-06-28 2020-10-06 Dell Products L.P. Information handling system touch device with adaptive haptic response
US10930183B2 (en) * 2018-11-22 2021-02-23 Electronics And Telecommunications Research Institute Hologram content generation apparatus, integrated hologram content control system having the same, and method for operating the hologram content generation apparatus
DE102019135676A1 (de) * 2018-12-26 2020-07-02 Htc Corporation Objektverfolgungssystem und objektverfolgungsverfahren
US11853533B1 (en) * 2019-01-31 2023-12-26 Splunk Inc. Data visualization workspace in an extended reality environment
US11599238B2 (en) * 2019-04-02 2023-03-07 Vyaire Medical, Inc. System and method for generating a virtual reality interface for displaying patient health data
EP4025963A4 (en) * 2019-09-03 2023-08-30 Light Field Lab, Inc. LIGHT FIELD DISPLAY FOR MOBILE DEVICES
US11354012B1 (en) * 2019-10-18 2022-06-07 Splunk Inc. Automated placement and time selection for dashboard panels in an extended reality environment
CN111240414B (zh) * 2020-01-23 2021-03-09 福州贝园网络科技有限公司 一种眼镜腰带式计算机装置
CN113923338A (zh) * 2020-07-07 2022-01-11 黑快马股份有限公司 具有画面稳定功能的跟拍系统及具有画面稳定功能的跟拍方法
US11176755B1 (en) 2020-08-31 2021-11-16 Facebook Technologies, Llc Artificial reality augments and surfaces
US11227445B1 (en) 2020-08-31 2022-01-18 Facebook Technologies, Llc Artificial reality augments and surfaces
GB202015887D0 (en) * 2020-10-07 2020-11-18 Veeride Geo Ltd Hands-free pedestrian navigation system and method
US11409405B1 (en) 2020-12-22 2022-08-09 Facebook Technologies, Llc Augment orchestration in an artificial reality environment
CN113158938B (zh) * 2021-04-29 2023-08-22 西安外事学院 基于协方差矩阵最小特征值的快速抗旋转景象匹配方法
US11762952B2 (en) 2021-06-28 2023-09-19 Meta Platforms Technologies, Llc Artificial reality application lifecycle
KR20230021618A (ko) * 2021-08-05 2023-02-14 주식회사 애니랙티브 라인레이저 센서기반의 홀로터치 디스플레이 시스템 및 그에 대한 구현 방법
US11798247B2 (en) 2021-10-27 2023-10-24 Meta Platforms Technologies, Llc Virtual object structures and interrelationships
US11748944B2 (en) 2021-10-27 2023-09-05 Meta Platforms Technologies, Llc Virtual object structures and interrelationships
US20230196766A1 (en) * 2021-12-22 2023-06-22 Meta Platforms Technologies, Llc Artificial Reality Applications Through Virtual Object Definitions and Invocation
US20240071002A1 (en) * 2022-08-30 2024-02-29 Rovi Guides, Inc. Systems and methods for pinning content items to locations in an augmented reality display based on user preferences

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080005702A1 (en) * 2006-05-31 2008-01-03 Abb Technology Ltd. Virtual work place
US20090237403A1 (en) * 2008-03-21 2009-09-24 Hiroshi Horii Image drawing system, image drawing server, image drawing method, and computer program
US20110242090A1 (en) * 2010-04-02 2011-10-06 Qualcomm Incorporated Augmented reality direction orientation mask

Family Cites Families (63)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5257094A (en) * 1991-07-30 1993-10-26 Larussa Joseph Helmet mounted display system
JPH11272721A (ja) * 1998-03-19 1999-10-08 Fujitsu Ltd 干渉チェック結果表示方法および干渉チェック結果表示装置ならびに干渉チェック結果表示プログラムが記録されたコンピュータ読取可能な記録媒体
JP4240343B2 (ja) * 1998-12-19 2009-03-18 株式会社セガ 画像生成装置および画像生成方法
US6909443B1 (en) * 1999-04-06 2005-06-21 Microsoft Corporation Method and apparatus for providing a three-dimensional task gallery computer interface
US6757068B2 (en) * 2000-01-28 2004-06-29 Intersense, Inc. Self-referenced tracking
US6834436B2 (en) * 2001-02-23 2004-12-28 Microstrain, Inc. Posture and body movement measuring system
WO2002071743A1 (en) * 2001-03-05 2002-09-12 Matsushita Electric Industrial Co., Ltd. Epg display apparatus, epg display method, medium, and program
US7092859B2 (en) * 2002-04-25 2006-08-15 Autodesk, Inc. Face modification tool
US7120875B2 (en) * 2002-10-29 2006-10-10 X-Labs Holdings, Llc Method and apparatus for augmented reality hybrid tracking system with fiducial-based heading correction
US7401920B1 (en) 2003-05-20 2008-07-22 Elbit Systems Ltd. Head mounted eye tracking and display system
JP4522140B2 (ja) * 2004-05-14 2010-08-11 キヤノン株式会社 指標配置情報推定方法および情報処理装置
JP4213135B2 (ja) * 2005-04-22 2009-01-21 ザイオソフト株式会社 展開画像投影方法、展開画像投影プログラム、展開画像投影装置
JP4804256B2 (ja) * 2006-07-27 2011-11-02 キヤノン株式会社 情報処理方法
JP4901539B2 (ja) * 2007-03-07 2012-03-21 株式会社東芝 立体映像表示システム
US10078306B2 (en) 2007-05-11 2018-09-18 M R Stephenson Group Limited Security holograms formed using lenticular multichannel image generation device
US7990394B2 (en) * 2007-05-25 2011-08-02 Google Inc. Viewing and navigating within panoramic images, and applications thereof
CN101583898B (zh) * 2007-11-20 2011-12-07 松下电器产业株式会社 光束扫描式显示装置、显示方法以及汽车
US8786675B2 (en) * 2008-01-23 2014-07-22 Michael F. Deering Systems using eye mounted displays
US9812096B2 (en) * 2008-01-23 2017-11-07 Spy Eye, Llc Eye mounted displays and systems using eye mounted displays
GB2466497B (en) 2008-12-24 2011-09-14 Light Blue Optics Ltd Touch sensitive holographic displays
WO2010072065A1 (zh) * 2008-12-25 2010-07-01 深圳市泛彩溢实业有限公司 全息三维图像信息采集装置、方法及还原装置、方法
US8427508B2 (en) * 2009-06-25 2013-04-23 Nokia Corporation Method and apparatus for an augmented reality user interface
US9728006B2 (en) * 2009-07-20 2017-08-08 Real Time Companies, LLC Computer-aided system for 360° heads up display of safety/mission critical data
US8531452B2 (en) * 2009-07-21 2013-09-10 Konami Digital Entertainment Co., Ltd. Video game machine, gaming image display control method and display mode switching control method
JP5227910B2 (ja) * 2009-07-21 2013-07-03 株式会社コナミデジタルエンタテインメント ビデオゲーム装置、ゲーム画像表示方法及びゲーム画像表示プログラム
US8564534B2 (en) * 2009-10-07 2013-10-22 Microsoft Corporation Human tracking system
US8325187B2 (en) * 2009-10-22 2012-12-04 Samsung Electronics Co., Ltd. Method and device for real time 3D navigation in panoramic images and cylindrical spaces
EP2579955B1 (en) * 2010-06-11 2020-07-08 Harmonix Music Systems, Inc. Dance game and tutorial
US9916006B2 (en) * 2010-07-23 2018-03-13 Telepatheye Inc. Eye-wearable device user interface and method
US8531355B2 (en) * 2010-07-23 2013-09-10 Gregory A. Maltz Unitized, vision-controlled, wireless eyeglass transceiver
US9035944B2 (en) * 2010-08-06 2015-05-19 Intergraph Corporation 3-D model view manipulation apparatus
JP5579014B2 (ja) * 2010-10-12 2014-08-27 キヤノン株式会社 映像情報処理装置および方法
JP5738569B2 (ja) * 2010-10-15 2015-06-24 任天堂株式会社 画像処理プログラム、装置、システムおよび方法
US9632315B2 (en) * 2010-10-21 2017-04-25 Lockheed Martin Corporation Head-mounted display apparatus employing one or more fresnel lenses
US8625200B2 (en) * 2010-10-21 2014-01-07 Lockheed Martin Corporation Head-mounted display apparatus employing one or more reflective optical surfaces
US8576276B2 (en) * 2010-11-18 2013-11-05 Microsoft Corporation Head-mounted display device which provides surround video
US20130009994A1 (en) * 2011-03-03 2013-01-10 Thomas Casey Hill Methods and apparatus to generate virtual-world environments
CN102812497B (zh) * 2011-03-03 2016-06-08 松下知识产权经营株式会社 能够提供随后体验影像的影像提供装置、影像提供方法
JP5918618B2 (ja) * 2011-06-03 2016-05-18 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法
US9323325B2 (en) * 2011-08-30 2016-04-26 Microsoft Technology Licensing, Llc Enhancing an object of interest in a see-through, mixed reality display device
US8847988B2 (en) * 2011-09-30 2014-09-30 Microsoft Corporation Exercising applications for personal audio/visual system
US9345957B2 (en) * 2011-09-30 2016-05-24 Microsoft Technology Licensing, Llc Enhancing a sport using an augmented reality display
US20130246967A1 (en) * 2012-03-15 2013-09-19 Google Inc. Head-Tracked User Interaction with Graphical Interface
US20130261410A1 (en) * 2012-03-28 2013-10-03 Larger Reality Technologies LLC System and Method for Body and In-Vivo Device, Motion and Orientation Sensing and Analysis
JP5921320B2 (ja) * 2012-04-27 2016-05-24 富士通テン株式会社 表示システム、携帯装置、車載装置、及び、プログラム
US8532675B1 (en) * 2012-06-27 2013-09-10 Blackberry Limited Mobile communication device user interface for manipulation of data items in a physical space
US9256961B2 (en) * 2012-06-28 2016-02-09 Here Global B.V. Alternate viewpoint image enhancement
US9235241B2 (en) * 2012-07-29 2016-01-12 Qualcomm Incorporated Anatomical gestures detection system using radio signals
US9292951B2 (en) * 2012-08-22 2016-03-22 Cable Television Laboratories, Inc. Service coverage identification using augmented reality
US20140125698A1 (en) * 2012-11-05 2014-05-08 Stephen Latta Mixed-reality arena
JP6066676B2 (ja) * 2012-11-06 2017-01-25 株式会社ソニー・インタラクティブエンタテインメント ヘッドマウントディスプレイおよび映像提示システム
EP4099136A1 (en) * 2013-02-22 2022-12-07 Sony Group Corporation Head- mounted display and image display device
US9142034B2 (en) * 2013-03-14 2015-09-22 Microsoft Technology Licensing, Llc Center of mass state vector for analyzing user motion in 3D images
US9392129B2 (en) * 2013-03-15 2016-07-12 John Castle Simmons Light management for image and data control
US9335547B2 (en) * 2013-03-25 2016-05-10 Seiko Epson Corporation Head-mounted display device and method of controlling head-mounted display device
JP6359644B2 (ja) * 2013-05-02 2018-07-18 クアルコム，インコーポレイテッド コンピュータビジョンアプリケーション初期化を容易にするための方法
US9367960B2 (en) * 2013-05-22 2016-06-14 Microsoft Technology Licensing, Llc Body-locked placement of augmented reality objects
US9230368B2 (en) * 2013-05-23 2016-01-05 Microsoft Technology Licensing, Llc Hologram anchoring and dynamic positioning
US10262462B2 (en) * 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
JP6329343B2 (ja) * 2013-06-13 2018-05-23 任天堂株式会社 画像処理システム、画像処理装置、画像処理プログラム、および画像処理方法
US9766460B2 (en) * 2014-07-25 2017-09-19 Microsoft Technology Licensing, Llc Ground plane adjustment in a virtual reality environment
JP2016062486A (ja) * 2014-09-19 2016-04-25 株式会社ソニー・コンピュータエンタテインメント 画像生成装置および画像生成方法
US10438409B2 (en) * 2014-12-15 2019-10-08 Hand Held Products, Inc. Augmented reality asset locator

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080005702A1 (en) * 2006-05-31 2008-01-03 Abb Technology Ltd. Virtual work place
US20090237403A1 (en) * 2008-03-21 2009-09-24 Hiroshi Horii Image drawing system, image drawing server, image drawing method, and computer program
US20110242090A1 (en) * 2010-04-02 2011-10-06 Qualcomm Incorporated Augmented reality direction orientation mask

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021229266A1 (en) * 2020-05-13 2021-11-18 Tajmirriahi Arman A folding headset with curved frame hmd, electronic accessories and their control methods

Also Published As

Publication number Publication date
WO2016036625A1 (en) 2016-03-10
EP3195105A1 (en) 2017-07-26
EP3531274B1 (en) 2020-06-24
CN106662989A (zh) 2017-05-10
EP3531274A1 (en) 2019-08-28
KR102482217B1 (ko) 2022-12-27
CN106662989B (zh) 2019-05-28
US20160063762A1 (en) 2016-03-03
US9508195B2 (en) 2016-11-29
EP3195105B1 (en) 2019-11-06

Similar Documents

Publication Publication Date Title
KR102482217B1 (ko) 3d 홀로그래픽 환경에서의 콘텐츠 관리
KR102408318B1 (ko) 실세계 객체들의 가상 표현들
US9442567B2 (en) Gaze swipe selection
US9552060B2 (en) Radial selection by vestibulo-ocular reflex fixation
KR102213725B1 (ko) 모바일 디바이스 착용 시의 머리 움직임 추적
US9384737B2 (en) Method and device for adjusting sound levels of sources based on sound source priority
US9767720B2 (en) Object-centric mixed reality space
US9317971B2 (en) Mechanism to give holographic objects saliency in multiple spaces
KR20150092165A (ko) Ｉｍｕ를 이용한 직접 홀로그램 조작
WO2016122991A1 (en) Automatic generation of virtual materials from real-world materials
KR20160111942A (ko) 자동 컨텐츠 스크롤링
EP2932355A1 (en) People-triggered holographic reminders

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant