KR102350300B1 - 시선 스와이프 선택 - Google Patents
시선 스와이프 선택 Download PDFInfo
- Publication number
- KR102350300B1 KR102350300B1 KR1020217029479A KR20217029479A KR102350300B1 KR 102350300 B1 KR102350300 B1 KR 102350300B1 KR 1020217029479 A KR1020217029479 A KR 1020217029479A KR 20217029479 A KR20217029479 A KR 20217029479A KR 102350300 B1 KR102350300 B1 KR 102350300B1
- Authority
- KR
- South Korea
- Prior art keywords
- virtual object
- end user
- virtual
- gaze swipe
- edges
- Prior art date
Links
- 230000009471 action Effects 0.000 claims abstract description 169
- 238000000034 method Methods 0.000 claims abstract description 42
- 230000004886 head movement Effects 0.000 claims abstract description 35
- 230000004044 response Effects 0.000 claims abstract description 27
- 230000004913 activation Effects 0.000 claims description 35
- 238000001514 detection method Methods 0.000 claims description 29
- 230000033001 locomotion Effects 0.000 claims description 17
- 230000004424 eye movement Effects 0.000 claims 1
- 210000001508 eye Anatomy 0.000 description 46
- 230000003287 optical effect Effects 0.000 description 35
- 230000003190 augmentative effect Effects 0.000 description 24
- 230000000875 corresponding effect Effects 0.000 description 16
- 239000013598 vector Substances 0.000 description 15
- 210000003128 head Anatomy 0.000 description 13
- 238000005516 engineering process Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 9
- 239000012634 fragment Substances 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 238000012545 processing Methods 0.000 description 9
- 210000001747 pupil Anatomy 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 210000004087 cornea Anatomy 0.000 description 6
- 230000003993 interaction Effects 0.000 description 6
- 238000013507 mapping Methods 0.000 description 6
- 230000005855 radiation Effects 0.000 description 5
- 230000001815 facial effect Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 230000004807 localization Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000001179 pupillary effect Effects 0.000 description 3
- 208000024875 Infantile dystonia-parkinsonism Diseases 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 210000005252 bulbus oculi Anatomy 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000001427 coherent effect Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 208000001543 infantile parkinsonism-dystonia Diseases 0.000 description 2
- 230000005055 memory storage Effects 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013481 data capture Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 230000004418 eye rotation Effects 0.000 description 1
- 208000013057 hereditary mucoepithelial dysplasia Diseases 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000003032 molecular docking Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04842—Selection of displayed objects or displayed text elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Optics & Photonics (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
가상 물체의 핸즈프리 선택을 가능하게 하는 방법이 개시된다. 일부 실시형태에 있어서, 시선 스와이프 행동을 이용하여 가상 물체를 선택할 수 있다. 시선 스와이프 행동은 머리 장착형 디스플레이 디바이스(HMD)의 최종 사용자가 머리 움직임을 수행하는 것을 수반할 수 있고, 상기 머리 움직임은 최종 사용자가 제어하는 가상 포인터가 가상 물체의 2개 이상의 에지를 가로질러 스와이프되는지 검출하기 위해 HMD에 의해 추적된다. 일부 경우에, 시선 스와이프 행동은 HMD의 최종 사용자가 가상 물체를 응시하는 동안 최종 사용자가 그들의 머리 움직임을 이용하여 가상 물체의 2개의 에지를 통해 가상 포인터를 이동시키는 것을 포함할 수 있다. 시선 스와이프 행동의 검출에 응답하여, HMD는 시선 스와이프 행동의 속도 및 가상 물체의 크기에 기초하여 HMD에서 디스플레이될 제2 가상 물체를 결정할 수 있다.
Description
증강 현실(AR: augmented reality)은 실세계 환경(또는 실세계 환경을 나타내는 데이터)의 인식이 컴퓨터 발생 가상 데이터로 증강 또는 수정되는 증강된 실세계 환경을 제공하는 것과 관련된다. 예를 들면, 실세계 환경을 나타내는 데이터는 카메라 또는 마이크와 같은 감각 입력 디바이스를 이용하여 실시간으로 포착되고 가상 이미지 및 가상 음향을 포함한 컴퓨터 발생 가상 데이터로 증강될 수 있다. 가상 데이터는 실세계 환경 내 실세계 물체와 연관된 텍스트 설명과 같은 실세계 환경과 관련된 정보를 또한 포함할 수 있다. AR 환경 내의 물체들은 실물(즉, 특정 실세계 환경 내에 존재하는 물체)과 가상 물체(즉, 특정 실세계 환경 내에 존재하지 않은 물체)를 포함할 수 있다.
가상 물체를 AR 환경에 현실감 있게 통합하기 위해 AR 시스템은 전형적으로 맵핑 및 국지화(localization)를 포함한 몇가지 타스크를 수행한다. 맵핑은 실세계 환경의 맵을 발생하는 처리와 관련된다. 국지화는 실세계 환경의 맵과 관련된 특정 시점(point of view) 또는 포즈를 위치시키는 처리와 관련된다. 일부 경우에, AR 시스템은 모바일 디바이스가 실세계 환경 내에서 움직일 때 증강될 필요가 있는 모바일 디바이스와 연관된 특정 뷰를 결정하기 위해 실세계 환경 내에서 움직이는 모바일 디바이스의 포즈를 실시간으로 국지화할 수 있다.
증강 현실 환경 내에서 가상 물체의 핸즈프리 선택을 가능하게 하는 기술이 개시된다. 일부 실시형태에 있어서, 하나 이상의 가상 물체의 선택은 하나 이상의 가상 물체와의 시선 스와이프 상호작용(gaze swipe interaction)을 이용하여 제어될 수 있다. 가상 물체와의 시선 스와이프 상호작용은 머리 장착형 디스플레이 디바이스(head-mounted display device, HMD)의 최종 사용자가 머리 움직임을 수행하는 것을 수반할 수 있고, 상기 머리 움직임은 최종 사용자가 제어하는 가상 포인터가 가상 물체의 2개 이상의 에지(edge)를 가로질러(즉, 관통하여) 스와이프(swipe)하였는지 검출하기 위해 HMD에 의해 추적된다. 일부 경우에, 시선 스와이프 상호작용은 HMD의 최종 사용자가 가상 물체를 응시하는 동안 상기 최종 사용자가 그들의 머리 움직임을 이용하여 가상 포인터를 상기 가상 물체의 2개의 에지를 통해 이동시키는 시선 스와이프 행동을 포함할 수 있다. 시선 스와이프 행동의 검출에 응답하여, HMD는 시선 스와이프 행동의 속도 및 시선 스와이프 행동이 수행된 가상 물체의 크기에 기초하여 HMD에서 디스플레이할 제2 가상 물체를 결정할 수 있다.
이 요약은 뒤의 상세한 설명 부분에서 더 구체적으로 설명하는 개념들의 선택을 간단한 형태로 소개하기 위해 제공된다. 이 요약은 청구된 주제의 핵심적인 특징 또는 본질적인 특징을 식별하기 위한 것으로 의도되지 않고, 또한 청구된 주제의 범위를 결정함에 있어서의 보조자로서 사용되는 것으로 의도되지 않는다.
도 1은 개시되는 기술이 실시될 수 있는 네트워크 컴퓨팅 환경의 일 실시형태의 블록도이다.
도 2a는 제2 모바일 디바이스와 통신하는 모바일 디바이스의 일 실시형태를 보인 도이다.
도 2b는 HMD의 일부의 일 실시형태를 보인 도이다.
도 2c는 응시점까지 연장되는 시선 벡터를 원격 동공간 거리(IPD)를 정렬하기 위해 이용하는 HMD의 일부의 일 실시형태를 보인 도이다.
도 2d는 응시점까지 연장되는 시선 벡터를 근접 동공간 거리(IPD)를 정렬하기 위해 이용하는 HMD의 일부의 일 실시형태를 보인 도이다.
도 3a는 시선 검출 요소를 포함한 움직이는 디스플레이 광학 시스템과 함께 HMD의 일부의 일 실시형태를 보인 도이다.
도 3b는 시선 검출 요소를 포함한 움직이는 디스플레이 광학 시스템과 함께 HMD의 일부의 대안적인 실시형태를 보인 도이다.
도 4a는 증강 현실 환경 내의 가상 물체를 바라보는 최종 사용자가 착용하는 HMD의 일 실시형태를 보인 도이다.
도 4b는 증강 현실 환경 내의 가상 물체들을 바라보는 최종 사용자가 착용하는 HMD의 일 실시형태를 보인 도이다.
도 5a는 가상 물체를 선택하는 방법의 일 실시형태를 설명하는 흐름도이다.
도 5b는 가상 물체를 선택하는 방법의 대안적인 실시형태를 설명하는 흐름도이다.
도 6은 가상 물체를 선택하는 방법의 일 실시형태를 설명하는 흐름도이다.
도 7은 모바일 디바이스의 일 실시형태의 블록도이다.
도 2a는 제2 모바일 디바이스와 통신하는 모바일 디바이스의 일 실시형태를 보인 도이다.
도 2b는 HMD의 일부의 일 실시형태를 보인 도이다.
도 2c는 응시점까지 연장되는 시선 벡터를 원격 동공간 거리(IPD)를 정렬하기 위해 이용하는 HMD의 일부의 일 실시형태를 보인 도이다.
도 2d는 응시점까지 연장되는 시선 벡터를 근접 동공간 거리(IPD)를 정렬하기 위해 이용하는 HMD의 일부의 일 실시형태를 보인 도이다.
도 3a는 시선 검출 요소를 포함한 움직이는 디스플레이 광학 시스템과 함께 HMD의 일부의 일 실시형태를 보인 도이다.
도 3b는 시선 검출 요소를 포함한 움직이는 디스플레이 광학 시스템과 함께 HMD의 일부의 대안적인 실시형태를 보인 도이다.
도 4a는 증강 현실 환경 내의 가상 물체를 바라보는 최종 사용자가 착용하는 HMD의 일 실시형태를 보인 도이다.
도 4b는 증강 현실 환경 내의 가상 물체들을 바라보는 최종 사용자가 착용하는 HMD의 일 실시형태를 보인 도이다.
도 5a는 가상 물체를 선택하는 방법의 일 실시형태를 설명하는 흐름도이다.
도 5b는 가상 물체를 선택하는 방법의 대안적인 실시형태를 설명하는 흐름도이다.
도 6은 가상 물체를 선택하는 방법의 일 실시형태를 설명하는 흐름도이다.
도 7은 모바일 디바이스의 일 실시형태의 블록도이다.
증강 현실 환경 내에서 가상 물체의 핸즈프리 선택을 가능하게 하는 기술이 개시된다. 일부 실시형태에 있어서, 하나 이상의 가상 물체의 선택은 하나 이상의 가상 물체와의 시선 스와이프 상호작용을 이용하여 제어될 수 있다. 이차원 가상 물체와의 시선 스와이프 상호작용은 머리 장착형 디스플레이 디바이스(HMD)의 최종 사용자가 머리 움직임을 수행하는 것을 수반할 수 있고, 상기 머리 움직임은 최종 사용자가 제어하는 가상 포인터가 가상 물체의 2개 이상의 에지를 가로질러(즉, 관통하여) 스와이프하였는지 검출하기 위해 HMD에 의해 추적된다. 가상 포인터(예를 들면, 가상 레이저 포인터 또는 가상 십자선)는 HMD의 최종 사용자에게 디스플레이될 수 있고 최종 사용자 머리로부터 연장하는 머리 고정 순방향 벡터에 대응할 수 있다. 일부 경우에, 시선 스와이프 상호작용은 HMD의 최종 사용자가 가상 물체를 응시하는 동안 최종 사용자가 그들의 머리 움직임을 이용하여 가상 포인터를 가상 물체의 2개의 에지를 통해 이동시키는 시선 스와이프 행동을 포함할 수 있다. 시선 스와이프 행동의 검출에 응답하여, HMD는 시선 스와이프 행동의 속도 및 시선 스와이프 행동이 수행된 가상 물체의 크기에 기초하여 HMD에서 디스플레이할 제2 가상 물체를 결정할 수 있다. 상기 제2 가상 물체는 시선 스와이프 행동의 검출에 후속하여 HMD에서 디스플레이될 수 있다.
HMD의 최종 사용자에 의한 가상 물체의 핸즈프리 선택을 수반하는 한가지 문제점은 가상 물체의 선택 영역과 식별하는 선택 기준이 증강 현실 환경 내의 동일 영역을 점유하기 때문에 잘못된 양성 선택(positive selection)이 검출될 수 있다는 것이다. 예를 들면, HMD의 최종 사용자는 최종 사용자가 텍스트를 읽는 동안 텍스트(예를 들면, 가상 부호)를 포함한 가상 물체를 비의도적으로 선택할 수 있다. 따라서, HMD의 최종 사용자에 대하여 머리 추적, 눈 추적 및/또는 시선 추적을 적용하는 것과 같은 핸즈프리 기술을 이용하여 가상 물체를 선택할 때 가상 물체의 잘못된 선택을 방지하는 것이 필요하다.
일 실시형태에 있어서, 증강 현실 환경은 제1 크기의 제1 가상 물체 집합(예를 들면, 큰 가상 물체) 및 상기 제1 크기와 다른 제2 크기의 제2 가상 물체 집합(예를 들면, 작은 가상 물체)을 포함할 수 있다. 가상 물체의 크기가 HMD의 최종 사용자가 가상 물체를 의도적으로 선택하는 능력에 영향을 줄 수 있기 때문에, 제1 가상 물체 집합 중의 제1 가상 물체는 제1 시선 스와이프 행동을 이용하여 선택되고 제2 가상 물체 집합 중의 제2 가상 물체는 상기 제1 시선 스와이프 행동과는 다른 제2 시선 스와이프 행동을 이용하여 선택될 수 있다. 일 예로서, 상기 제1 시선 스와이프 행동은 최종 사용자가 머리 움직임을 이용하여 제1 가상 물체의 에지 중 임의의 2개를 통하여 가상 포인터를 이동시키는 것을 포함할 수 있다(예를 들면, 가상 포인터는 제1 가상 물체를 수직 방식 또는 수평 방식으로 관통할 수 있다). 그러나 제2 가상 물체를 선택하기 위해, 제2 시선 스와이프 행동은 최종 사용자가 추가의 동작을 수행할 것을 요구할 수 있다. 일 예로서, 제2 시선 스와이프 행동은 최종 사용자가 머리 움직임을 이용하여 가상 포인터를 제2 가상 물체의 강조된(또는 특정된) 에지 쌍을 통하여 제1 방향으로 이동시키는 것을 포함할 수 있다. 다른 예로서, 제2 시선 스와이프 행동은 최종 사용자가 가상 포인터를 제2 가상 물체의 강조된 에지 쌍을 통하여 제1 방향으로 이동시키고, 그 다음에 가상 포인터를 상기 강조된 에지 쌍을 통하여 상기 제1 방향과 반대인 제2 방향으로 역으로 이동시키는 것을 포함할 수 있다. 다른 예로서, 제2 시선 스와이프 행동은 최종 사용자가 가상 포인터를 제2 가상 물체의 적어도 3개의 에지를 통하여 이동시키는 것을 포함할 수 있다.
일부 경우에, 가상 물체는 가상 책, 가상 텔레비전, 가상 웹 브라우저 또는 HMD의 최종 사용자에게 콘텐츠를 디스플레이하는 다른 가상 물체를 포함할 수 있다. 가상 물체는 복수의 에지에 의해 경계 지어지는 형상을 포함할 수 있다. 일 예로서, 상기 형상은 정사각형, 사각형 또는 다각형을 포함할 수 있다. 제1 선택 유형(예를 들면, 가상 텔레비전과 연관된 다음 채널로 또는 가상 책의 다음 페이지로 이동하기 위한 것)을 수행하기 위해, HMD의 최종 사용자는 가상 물체의 제1 에지 및 제2 에지를 통하여 스와이프하는 제1 시선 스와이프 행동을 수행할 수 있다. 상기 제1 선택 유형과 상이한 제2 선택 유형(예를 들면, 가상 텔레비전과 연관된 이전 채널로 또는 가상 책의 이전 페이지로 이동하기 위한 것)을 수행하기 위해, HMD의 최종 사용자는 가상 물체의 제1 에지 및 제3 에지를 통하여 스와이프하는 제2 시선 스와이프 행동을 수행할 수 있다. 상기 제2 시선 스와이프 행동은 상기 제1 시선 스와이프 행동에 의해 횡단되는 것과 다른 에지 쌍에 대응할 수 있다. 일부 경우에, 가상 물체의 제1 에지 쌍은 제1 에지 쌍을 식별하기 위해 제1색(예를 들면, 오렌지색)을 이용하여 강조되고, 가상 물체의 제2 에지 쌍은 제2 에지 쌍을 식별하기 위해 제2색(예를 들면, 청색)을 이용하여 강조될 수 있다. 대응하는 선택 유형을 결정하기 위해 시선 스와이프 행동과 연관된 방향이 또한 사용될 수 있다. 예를 들면, 제1 에지 쌍을 통하여 좌측에서 우측으로 스와이프하는 최종 사용자는 제1 선택 유형을 트리거하고, 제1 에지 쌍을 통하여 우측에서 좌측으로 스와이프하는 최종 사용자는 제2 선택 유형을 트리거할 수 있다. 일 예로서, 가상 물체는 가상 웹 브라우저에 대응하고, 제1 선택 유형은 가상 웹 브라우저를 이전에 본 웹페이지로 역으로 이동시키는 것이고 제2 선택 유형은 새로운 탭(tab)을 여는 것에 대응할 수 있다.
일 실시형태에 있어서, 시선 스와이프 행동은 2개 이상의 가상 물체를 관통할 수 있다. 다중 선택 시선 스와이프 행동은 HMD의 최종 사용자가 공통의 시선 스와이프 행동을 이용하여 복수의 가상 물체를 동시에 선택하게 할 수 있다. 일 예로서, 가상 물체는 8개의 이미지를 포함한 문서 및 이미지를 저장하기 위한 전자 폴더에 대응할 수 있다. 8개의 이미지 중 3개를 선택하기 위해, 최종 사용자는 선택하고자 하는 3개의 이미지를 관통하는 시선 스와이프 행동을 수행할 수 있다. 시선 스와이프 행동은 3개의 이미지를 관통하는 하나의 긴 시선 스와이프 동작을 포함할 수 있다. 다른 예로서, 가상 물체는 가상 텔레비전에 대응할 수 있다. 최종 사용자는 가상 텔레비전을 관통하는 제1 시선 스와이프 행동을 수행하고 최종 사용자가 본 최종의 8개의 텔레비전 채널과 대응하는 8개의 선택 단편(fragment)들이 8개의 가상 물체로서 디스플레이되게 할 수 있다. 최종 사용자는 8개의 가상 물체 중의 2개를 관통하는 시선 스와이프 행동을 수행할 수 있고, 이것은 가상 텔레비전이 선택된 상기 2개의 채널을 디스플레이하게 할 수 있다(예를 들면, 화상 내 화상 방식 또는 나란한(side-by-side) 방식을 이용해서). 일부 경우에, 복수의 개별적인 시선 스와이프 행동을 이용하여 피선택 물체 그룹 내의 각각의 피선택 물체를 선택할 수 있다. 이 경우에, 잘못 선택된 물체는 선택 해제 스와이프 행동(예를 들면, 잘못 선택되는 물체를 최초에 선택하기 위해 사용했던 것과 반대 방향으로 상기 잘못 선택된 물체를 스와이프하는 것)을 이용하여 선택 해제될 수 있다.
도 1은 개시되는 기술이 실시될 수 있는 네트워크 컴퓨팅 환경(100)의 실시형태를 보인 블록도이다. 네트워크 컴퓨팅 환경(100)은 하나 이상의 네트워크(180)를 통해 상호접속되는 복수의 컴퓨팅 디바이스를 포함한다. 상기 하나 이상의 네트워크(180)는 특정 컴퓨팅 디바이스가 다른 컴퓨팅 디바이스와 접속하여 통신할 수 있게 한다. 도시된 컴퓨팅 디바이스는 모바일 디바이스(11, 12, 19)와 서버(15)를 포함한다. 일부 실시형태에 있어서, 복수의 컴퓨팅 디바이스는 도시를 생략한 다른 컴퓨팅 디바이스를 포함할 수 있다. 일부 실시형태에 있어서, 복수의 컴퓨팅 디바이스는 도 1에 도시된 컴퓨팅 디바이스의 수보다 더 많은 또는 더 적은 수의 컴퓨팅 디바이스를 포함할 수 있다. 하나 이상의 네트워크(180)는 기업 사설 네트워크와 같은 보안 네트워크, 무선 개방 네트워크, 근거리 통신망(LAN), 광역 통신망(WAN) 및 인터넷과 같은 비보안 네트워크를 포함할 수 있다. 하나 이상 네트워크(180)의 각 네트워크는 허브, 브리지, 라우터, 스위치, 및 유선 네트워크 또는 직접 유선 접속과 같은 유선 전송 매체를 포함할 수 있다.
보조 정보 서버 또는 응용 서버를 포함할 수 있는 서버(15)는 클라이언트가 서버로부터 정보(예를 들면, 텍스트, 오디오, 이미지 및 비디오 파일)를 다운로드하거나, 서버에 저장된 특정 정보에 관한 조사 질의를 수행할 수 있게 한다. 일반적으로, "서버"는 클라이언트-서버 관계에서 호스트로서 작용하는 하드웨어 디바이스, 또는 하나 이상의 클라이언트와 자원을 공유하거나 상기 하나 이상의 클라이언트에 대한 작업을 수행하는 소프트웨어 프로세스를 포함할 수 있다. 클라이언트-서버 관계에서 컴퓨팅 디바이스들 간의 통신은 클라이언트가 특정 자원에 대한 접근 또는 수행 대상의 특정 작업을 요구하는 요청(request)을 서버에 전송함으로써 개시될 수 있다. 서버는 그 다음에 상기 요청된 동작들을 수행하고 클라이언트에게 응답을 보낼 수 있다.
서버(15)의 일 실시형태는 네트워크 인터페이스(155), 프로세서(156), 메모리(157) 및 번역기(158)를 포함하고, 이 컴포넌트들은 모두 서로 통신한다. 네트워크 인터페이스(155)는 서버(15)가 하나 이상의 네트워크(180)에 접속하게 한다. 네트워크 인터페이스(155)는 무선 네트워크 인터페이스, 모뎀 및/또는 유선 네트워크 인터페이스를 포함할 수 있다. 프로세서(156)는 서버(15)가 메모리(157)에 저장된 컴퓨터 판독가능 명령어를 실행하여 여기에서 설명하는 처리들을 수행하게 한다. 번역기(158)는 제1 파일 형식의 제1 파일을 제2 파일 형식의 대응하는 제2 파일로 번역하는 맵핑 로직을 포함할 수 있다(즉, 제2 파일은 제1 파일의 번역된 버전일 수 있다). 번역기(158)는 제1 파일 형식의 파일(또는 그 일부)을 제2 파일 형식의 대응하는 파일로 맵핑하기 위한 명령어를 제공하는 파일 맵핑 명령어를 이용하여 구성될 수 있다.
모바일 디바이스(19)의 일 실시형태는 네트워크 인터페이스(145), 프로세서(146), 메모리(147), 카메라(148), 센서(149) 및 디스플레이(150)를 포함하고, 이 컴포넌트들은 모두 서로 통신한다. 네트워크 인터페이스(145)는 모바일 디바이스(19)가 하나 이상의 네트워크(180)에 접속하게 한다. 네트워크 인터페이스(145)는 무선 네트워크 인터페이스, 모뎀 및/또는 유선 네트워크 인터페이스를 포함할 수 있다. 프로세서(146)는 모바일 디바이스(19)가 메모리(157)에 저장된 컴퓨터 판독가능 명령어를 실행하여 여기에서 설명하는 처리들을 수행하게 한다. 카메라(148)는 환경의 색 이미지 및/또는 깊이 이미지(depth image)를 포착할 수 있다. 모바일 디바이스(19)는 환경의 이미지를 포착하는 외향 카메라 및 모바일 디바이스의 최종 사용자의 이미지를 포착하는 내향 카메라를 포함할 수 있다. 센서(149)는 모바일 디바이스(19)와 관련된 움직임 및/또는 방위 정보를 생성할 수 있다. 일부 경우에, 센서(149)는 관성 측정 유닛(inertial measurement unit, IMU)을 포함할 수 있다. 디스플레이(150)는 디지털 이미지 및/또는 비디오를 디스플레이할 수 있다. 디스플레이(150)는 시스루(see-through) 디스플레이를 포함할 수 있다.
일부 실시형태에 있어서, 네트워크 인터페이스(145), 프로세서(146), 메모리(147), 카메라(148) 및 센서(149)를 포함한 모바일 디바이스(19)의 각종 컴포넌트는 단일 칩 기판에 통합될 수 있다. 일 예로서, 네트워크 인터페이스(145), 프로세서(146), 메모리(147), 카메라(148) 및 센서(149)는 시스템 온 칩(SOC)으로서 통합될 수 있다. 다른 실시형태에 있어서, 네트워크 인터페이스(145), 프로세서(146), 메모리(147), 카메라(148) 및 센서(149)는 단일 패키지 내에 통합될 수 있다.
일부 실시형태에 있어서, 모바일 디바이스(19)는 카메라(148), 센서(149), 및 프로세서(146)에서 동작하는 행동 인식 소프트웨어를 이용하여 자연적 사용자 인터페이스(natural user interface, NUI)를 제공할 수 있다. 자연적 사용자 인터페이스에 의해, 인간의 신체 부분 및 움직임이 검출, 해석 및 사용되어 컴퓨팅 응용의 각종 양태를 제어할 수 있다. 일 예로서, 자연적 사용자 인터페이스를 이용하는 컴퓨팅 디바이스는 컴퓨팅 디바이스와 상호작용하는 사람의 의도(예를 들면, 컴퓨팅 디바이스를 제어하기 위해 최종 사용자가 특정 행동을 수행한 것)를 추론할 수 있다.
네트워크 컴퓨팅 환경(100)은 하나 이상의 컴퓨팅 디바이스에 대한 클라우드 컴퓨팅 환경을 제공할 수 있다. 클라우드 컴퓨팅은 인터넷 기반 컴퓨팅을 말하고, 공유 자원, 소프트웨어 및/또는 정보는 인터넷(또는 다른 글로벌 네트워크)을 통해 온디맨드로 하나 이상의 컴퓨팅 디바이스에 제공된다. 용어 "클라우드"는 인터넷이 나타내는 하부 기반구조의 추상 개념으로서 인터넷을 묘사하기 위해 컴퓨터 네트워크 도에서 사용되는 구름 그림에 기초한 인터넷의 은유로서 사용된다.
일 예로서, 모바일 디바이스(19)는 머리 장착형 디스플레이 디바이스(HMD)의 최종 사용자에게 증강 현실 환경 또는 혼합 현실 환경을 제공하는 HMD를 포함한다. HMD는 비디오 시스루 시스템 및/또는 광학 시스루 시스템을 포함할 수 있다. 최종 사용자가 착용한 광학 시스루 HMD는 (예를 들면, 투명 렌즈를 통하여) 실세계 환경의 실제 직접 보기를 가능하게 하고, 이와 동시에 최종 사용자의 시야에 가상 물체의 이미지를 투영하여 가상 물체와 함께 최종 사용자에게 인지되는 실세계 환경을 증강시킬 수 있다.
HMD를 이용해서, 최종 사용자는 HMD를 착용하고 실세계 환경(예를 들면, 거실) 주위에서 이동하고 가상 물체의 이미지가 중첩된 실세계의 모습을 인지할 수 있다. 가상 물체는 실세계 환경과 간섭성 공간 관계를 유지하도록 나타날 수 있다(즉, 최종 사용자가 실세계 환경 내에서 그의 머리를 돌리거나 움직일 때, 최종 사용자에게 디스플레이되는 이미지는 가상 물체가 최종 사용자에 의해 인지되는 실세계 환경 내에 존재하는 것처럼 나타나도록 변경될 것이다). 가상 물체는 또한 최종 사용자의 관점과 관련하여 고정되게 나타날 수 있다(예를 들면, 최종 사용자가 실세계 환경 내에서 그의 머리를 돌리거나 움직이는 방법과 관계없이 최종 사용자 관점의 상부 우측 코너에 항상 나타나는 가상 메뉴). 일 실시형태에 있어서, 실세계 환경의 환경 맵핑은 서버(15)에 의해(즉, 서버 측에서) 수행되고, 카메라 국지화는 모바일 디바이스(19)에서(즉, 클라이언트 측에서) 수행될 수 있다. 가상 물체는 실세계 물체와 연관된 텍스트 설명을 포함할 수 있다.
일부 실시형태에 있어서, 모바일 디바이스(19)와 같은 모바일 디바이스는 서버(15)와 같은 클라우드 내의 서버와 통신할 수 있고, 모바일 디바이스와 연관된 위치 정보(예를 들면, GPS 좌표를 통한 모바일 디바이스의 위치) 및/또는 이미지 정보(예를 들면, 모바일 디바이스의 시야 내에서 검출된 물체에 관한 정보)를 서버에게 제공할 수 있다. 그 응답으로, 서버는 서버에 제공된 상기 위치 정보 및/또는 이미지 정보에 기초하여 하나 이상의 가상 물체를 모바일 디바이스에 전송할 수 있다. 일 실시형태에 있어서, 모바일 디바이스(19)는 하나 이상의 가상 물체를 수신하기 위한 특정 파일 형식을 지정하고, 서버(15)는 상기 특정 파일 형식의 파일 내에서 구체화되는 하나 이상의 가상 물체를 모바일 디바이스(19)에 전송할 수 있다.
일부 실시형태에 있어서, 모바일 디바이스(19)와 같은 모바일 디바이스는 가상 콘텐츠 판독기를 포함한 증강 현실 환경을 제공하는 HMD를 포함할 수 있다. 가상 콘텐츠 판독기는 HMD의 최종 사용자에 의해 콘텐츠가 판독될 수 있는 증강 현실 환경 내의 가상 물체를 포함할 수 있다. 일 실시형태에 있어서, 가상 콘텐츠 판독기는 최종 사용자의 관점과 관련하여 고정되게 나타나는 가상 물체(즉, 머리 고정형 가상 물체)를 포함할 수 있다. 예를 들면, 가상 콘텐츠 판독기는 최종 사용자가 그의 머리를 돌리는 방법과 관계없이 최종 사용자의 관점의 상부 좌측 코너에 나타날 수 있다. 다른 실시형태에 있어서, 가상 콘텐츠 판독기는 증강 현실 환경 내에서 일관된 공간 관계를 유지하도록 나타나는 가상 물체(즉, 만물 고정형(world-locked) 가상 물체)를 포함할 수 있다. 예를 들면, 최종 사용자가 증강 현실 환경 내에서 그의 머리를 돌리거나 움직일 때, HMD로 최종 사용자에게 디스플레이되는 이미지는 가상 콘텐츠 판독기가 특정 위치(예를 들면, 벽)에서 증강 현실 환경 내에 존재하는 것처럼 나타나도록 변경될 것이다.
일부 실시형태에 있어서, 하나 이상의 가상 물체의 선택은 HMD의 최종 사용자가 수행하는 시선 스와이프 행동을 이용하여 제어될 수 있다. 시선 스와이프 행동을 수행하기 전에, 최종 사용자는 관심 있는 가상 물체 다음에 나타나도록 가상 포인터를 트리거하기 위해 시선 스와이프 활성화 이벤트를 수행할 수 있다. 일 예로서, 만일 최종 사용자가 가상 물체를 3초 이상 응시하고 있으면, 가상 포인터가 가상 물체의 일측에 나타날 것이고 최종 사용자의 머리 움직임을 이용하여 최종 사용자에 의해 제어될 것이다. 가상 포인터는 HMD의 최종 사용자에게 가상 레이저 포인터로서 또는 가상 십자선으로서 나타날 수 있다. 가상 포인터가 트리거된 후에, 가상 포인터는 하나 이상의 시선 스와이프 행동을 이용하여 또한 주문제작될 수 있다(예를 들면, 최종 사용자는 가상 포인터의 유형을 더 강조되게 또는 물체 픽업 손 커서(object pickup hand cursor)로 되게 조정할 수 있고, 최종 사용자는 가상 포인터의 크기 또는 가상 포인터와 연관된 민감도를 최종 사용자의 머리 움직임에 기초하여 또한 조정할 수 있다). 일부 경우에, 시선 스와이프 활성화 이벤트를 검출한 때, 가상 물체의 에지가 다른 선택 옵션과 대응하게 강조될 수 있다. 시선 스와이프 행동은 HMD의 최종 사용자가 가상 물체를 응시하는 동안 최종 사용자가 자신의 머리 움직임을 이용하여 가상 물체의 2개의 에지를 통해 가상 포인터를 이동시킬 때 검출될 수 있다. 시선 스와이프 행동의 검출에 응답하여, HMD는 시선 스와이프 행동의 속도에 따라 HMD에서 디스플레이할 제2 가상 물체를 결정할 수 있다(예를 들면, 제2 가상 물체는 속도가 기설정된 속도 역치 이상인 경우에만 디스플레이될 수 있다).
도 2a는 제2 모바일 디바이스(5)와 통신하는 모바일 디바이스(19)의 일 실시형태를 보인 도이다. 모바일 디바이스(19)는 시스루 HMD를 포함할 수 있다. 도시된 바와 같이, 모바일 디바이스(19)는 유선 접속(6)을 통하여 모바일 디바이스(5)와 통신한다. 그러나 모바일 디바이스(19)는 무선 접속을 통해 모바일 디바이스(5)와 또한 통신할 수 있다. 모바일 디바이스(5)는 연산 집약적 처리 타스크(예를 들면, 가상 물체의 연출)를 오프로드하기 위해서 및 모바일 디바이스(19)에서 증강 현실 환경을 제공하기 위해 사용될 수 있는 가상 물체 정보 및 기타 데이터를 저장하기 위해 모바일 디바이스(19)에 의해 사용될 수 있다. 모바일 디바이스(5)는 모바일 디바이스(5)와 연관된 움직임 및/또는 방위 정보를 모바일 디바이스(19)에게 또한 제공할 수 있다. 일 예로서, 움직임 정보는 모바일 디바이스(5)와 연관된 속도 또는 가속도를 포함하고, 방위 정보는 특정 좌표계 또는 준거 틀(frame of reference) 주위의 회전 정보를 제공하는 오일러 각(Euler angle)을 포함할 수 있다. 일부 경우에, 모바일 디바이스(5)는 모바일 디바이스(5)와 연관된 움직임 및/또는 방위 정보를 획득하기 위해 관성 측정 유닛(IMU)과 같은 움직임 및 방위 센서를 포함할 수 있다.
도 2b는 도 1의 모바일 디바이스(19)와 같은 HMD의 일부의 일 실시형태를 보인 도이다. HMD(200)의 우측만이 도시되어 있다. HMD(200)는 우측 안경다리(202), 코 브리지(204), 안경알(216) 및 안경알 프레임(214)을 포함한다. 우측 안경다리(202)는 처리 유닛(236)과 통신하는 캡처 디바이스(213)(예를 들면, 전면 카메라 및/또는 마이크)를 포함한다. 캡처 디바이스(213)는 디지털 이미지 및/또는 비디오를 녹화하기 위한 하나 이상의 카메라를 포함하고, 시각적 기록을 처리 유닛(236)에 전송할 수 있다. 상기 하나 이상의 카메라는 색 정보, IR 정보 및/또는 깊이 정보를 포착할 수 있다. 캡처 디바이스(213)는 또한 녹음용의 하나 이상의 마이크를 포함할 수 있고, 청각적 기록을 처리 유닛(236)에 전송할 수 있다.
우측 안경다리(202)는 또한 생물 측정 센서(220), 눈 추적 시스템(221), 이어폰(230), 움직임 및 방위 센서(238), GPS 수신기(232), 전원(239) 및 무선 인터페이스(237)를 포함하고, 상기 컴포넌트들은 모두 처리 유닛(236)와 통신한다. 생물 측정 센서(220)는 HMD(200)의 최종 사용자와 관련된 맥박 또는 심박수를 결정하는 하나 이상의 전극 및 HMD(200)의 최종 사용자와 관련된 체온을 결정하는 온도 센서를 포함할 수 있다. 일 실시형태에 있어서, 생물 측정 센서(220)는 최종 사용자의 안경다리에 대하여 눌러지는 맥박수 측정 센서를 포함한다. 움직임 및 방위 센서(238)는 3축 자력계, 3축 자이로, 및/또는 3축 가속도계를 포함할 수 있다. 일 실시형태에 있어서, 움직임 및 방위 센서(238)는 관성 측정 유닛(IMU)를 포함할 수 있다. GPS 수신기는 HMD(200)와 연관된 GPS 위치를 결정할 수 있다. 처리 유닛(236)는 하나 이상의 프로세서, 및 상기 하나 이상의 프로세서에서 실행되는 컴퓨터 판독가능 명령어를 저장하는 메모리를 포함할 수 있다. 메모리는 상기 하나 이상의 프로세서에서 실행되는 다른 유형의 데이터를 또한 저장할 수 있다.
일 실시형태에 있어서, 눈 추적 시스템(221)은 하나 이상의 내향 카메라를 포함할 수 있다. 다른 실시형태에 있어서, 눈 추적 시스템(221)은 눈 추적 조명원 및 관련된 눈 추적 이미지 센서를 포함할 수 있다. 일 실시형태에 있어서, 눈 추적 조명원은 대략 미리 정해진 적외선(IR) 파장 또는 소정 범위의 파장을 방사하는 적외선 발광 다이오드(LED) 또는 레이저(예를 들면, VCSEL)와 같은 하나 이상의 IR 방사체를 포함할 수 있다. 일부 실시형태에 있어서, 눈 추적 센서는 반짝이는 위치를 추적하는 IR 카메라 또는 IR 위치 감응 검출기(PSD)를 포함할 수 있다. 눈 추적 시스템에 대한 더 많은 정보는 "머리 장착형 눈 추적 및 디스플레이 시스템"(Head Mounted Eye Tracking and Display System)의 명칭으로 2008년 7월 22일자 허여된 미국 특허 제7,401,920호, 및 "통합형 눈 추적 및 디스플레이 시스템"(Integrated Eye Tracking and Display System)의 명칭으로 2011년 9월 26일자 출원된 미국 특허 출원 제13/245,700호에서 찾아볼 수 있다.
일 실시형태에 있어서, 안경알(216)은 시스루 디스플레이를 포함할 수 있고, 이것에 의해, 처리 유닛(236)에 의해 생성된 이미지가 시스루 디스플레이에 투영 및/또는 디스플레이될 수 있다. 캡처 디바이스(213)는 캡처 디바이스(213)에 의해 포착된 시야가 HMD(200)의 최종 사용자에 의해 보여지는 시야에 대응하도록 교정될 수 있다. 이어폰(230)은 가상 물체의 투영 이미지와 연관된 음향을 출력하기 위해 사용될 수 있다. 일부 실시형태에 있어서, HMD(200)는 전면 카메라에 의해 포착된 시야와 연관된 스테레오 정보로부터 깊이를 획득하기 위해 2개 이상의 전면 카메라(예를 들면, 각 안경다리에 하나씩)를 포함할 수 있다. 상기 2개 이상의 전면 카메라는 3D, IR 및/또는 RGB 카메라를 또한 포함할 수 있다. 깊이 정보는 움직임 기술로부터의 깊이를 이용하여 단일 카메라로부터 또한 획득될 수 있다. 예를 들면, 상이한 시점에서 2개의 상이한 공간 지점과 연관된 단일 카메라로부터 2개의 이미지가 획득될 수 있다. 그 다음에, 상기 2개의 상이한 공간 지점에 관한 주어진 위치 정보에 대하여 시차 계산이 수행될 수 있다.
일부 실시형태에 있어서, HMD(200)는 각막 중심, 안구 회전 중심 또는 동공 중심과 같은 하나 이상의 인간 눈 요소에 관한 3차원 좌표계 및 시선 검출 요소를 이용한 최종 사용자의 각 눈의 시선 검출을 수행할 수 있다. 시선 검출은 최종 사용자가 시야 내에서 초점을 맞추는 곳을 식별하기 위해 사용될 수 있다. 시선 검출 요소의 예로는 반짝임 생성 조명기, 및 생성된 반짝임을 나타내는 데이터를 포착하기 위한 센서가 있다. 일부 경우에, 각막 중심은 평면 지오메트리를 이용한 2개의 반짝임에 기초하여 결정될 수 있다. 각막 중심은 동공 중심과 안구 회전 중심을 연결하고, 이것은 소정 시선 또는 시각(viewing angle)에서 최종 사용자 눈의 광축을 결정하기 위한 고정된 위치로서 취급될 수 있다.
도 2c는 응시점까지 연장되는 시선 벡터를 원격(far) 동공간 거리(IPD)를 정렬하기 위해 이용하는 HMD(2)의 일부의 일 실시형태를 보인 도이다. HMD(2)는 도 1의 모바일 디바이스(19)와 같은 모바일 디바이스의 일 예이다. 도시된 바와 같이, 시선 벡터(180l, 180r)는 최종 사용자로부터 멀리 떨어진 응시점에서 교차한다(즉, 시선 벡터(180l, 180r)는 최종 사용자가 멀리 있는 물체를 바라볼 때 교차하지 않는다). 안구(160l, 160r)용의 안구 모델은 굴스트란드(Gullstrand)의 개략적 눈 모델에 기초하여 각 눈에 대해 예시되어 있다. 각 안구는 회전 중심(166)을 가진 구로서 모델링되고 중심(164)을 가진 구로서 모델링된 각막(168)을 포함한다. 각막(168)은 안구와 함께 회전하고, 안구의 회전 중심(166)은 고정점으로서 취급될 수 있다. 각막(168)은 그 중심에서 동공(162)과 함께 홍채(170)를 덮는다. 각 각막의 표면(172)에는 반짝임(174, 176)이 있다.
도 2c에 도시된 바와 같이, 센서 검출 영역(139, 즉 각각 139l과 139r)은 안경알 프레임(115) 내에서 각 디스플레이 광학 시스템(14)의 광축과 정렬된다. 일 예로서, 검출 영역과 연관된 센서는 프레임(115)의 좌측에서 조명기(153a, 153b)에 의해 각각 발생된 반짝임(174l, 176l)을 나타내는 이미지 데이터, 및 프레임(115)의 우측에서 조명기(153c, 153d)에 의해 각각 발생된 반짝임(174r, 176r)을 나타내는 데이터를 포착할 수 있는 하나 이상의 카메라를 포함할 수 있다. 안경알 프레임(115)의 디스플레이 광학 시스템(14l, 14r)을 통해서, 최종 사용자의 시야는 실물(190, 192, 194)과 가상 물체(182, 184)를 둘 다 포함한다.
각막 중심(164)을 통하여 회전 중심(166)으로부터 동공(162)까지 형성된 축(178)은 눈의 광축을 포함한다. 시선 벡터(180)는 동공(162)의 중심을 통하여 중심와(fovea)로부터 연장하는 시선 또는 시각축이라고도 또한 부른다. 일부 실시형태에 있어서, 광축이 결정되고 작은 보정이 시선 벡터로서 선택된 시각축을 획득하기 위해 사용자 교정을 통해 결정된다. 각각의 최종 사용자에 대하여, 가상 물체는 상이한 수평 및 수직 위치의 다수의 미리 정해진 위치 각각에서 디스플레이 디바이스에 의해 디스플레이될 수 있다. 광축은 각 위치에서 물체를 디스플레이하는 동안 각 눈에 대하여 계산될 수 있고, 광선(ray)은 그 위치로부터 사용자의 눈으로 연장하는 것으로 모델링될 수 있다. 수평 성분 및 수직 성분에 의한 시선 오프셋 각은 모델링된 광선과 정렬하도록 광축이 어떻게 움직여야 하는지에 기초하여 결정될 수 있다. 상이한 위치로부터, 수평 성분 및 수직 성분에 의한 평균 시선 오프셋 각은 각각의 계산된 광축에 적용할 작은 보정으로서 선택될 수 있다. 일부 실시형태에 있어서, 수평 성분만을 사용하여 시선 오프셋 각 보정을 행할 수 있다.
도 2c에 도시된 것처럼, 시선 벡터(180l, 180r)는 벡터들이 안구로부터 응시점에서의 시야로 연장할 때 벡터들이 함께 더 가까워지기 때문에 완전하게 평행이 아니다. 각각의 디스플레이 광학 시스템(14)에서, 시선 벡터(180)는 센서 검출 영역(139)이 중심 맞추어지는 광축과 교차하는 것으로 나타난다. 이 구성에서, 광축은 동공간 거리(IPD)와 정렬된다. 최종 사용자가 똑바로 앞을 바라볼 때, 측정된 IPD는 원격 IPD라고 또한 부른다.
도 2d는 응시점까지 연장하는 시선 벡터를 근접(near) 동공간 거리(IPD)를 정렬하기 위해 이용하는 HMD(2)의 일부의 일 실시형태를 보인 도이다. HMD(2)는 도 1의 모바일 디바이스(19)와 같은 모바일 디바이스의 일 예이다. 도시된 바와 같이, 좌측 눈의 각막(168l)은 우측으로 즉 최종 사용자의 코쪽으로 회전하고, 우측 눈의 각막(168r)은 좌측으로 즉 최종 사용자의 코쪽으로 회전한다. 양측 동공은 최종 사용자로부터 특정 거리에 있는 실물(194)을 응시하고 있다. 각 눈으로부터의 시선 벡터(180l, 180r)는 실물(194)이 위치된 파눔 영역(Panum's fusional region)(195)으로 들어간다. 파눔 영역은 인간의 시각(vision)과 같이 양안용의 뷰잉 시스템 내 단일 시각의 영역이다. 시선 벡터(180l, 180r)의 교차는 최종 사용자가 실물(194)을 바라보고 있는 것을 표시한다. 그러한 거리에서 안구가 내측으로 회전할 때, 동공간의 거리는 근접 IPD로 감소한다. 근접 IPD는 전형적으로 원격 IPD보다 작은 약 4mm이다. 근접 IPD 거리 기준(예를 들면, 최종 사용자로부터 4피트 미만인 응시점)은 디스플레이 광학 시스템(14)의 IPD 정렬을 근접 IPD의 정렬로 전환 또는 조정하기 위해 사용할 수 있다. 근접 IPD의 경우에, 각각의 디스플레이 광학 시스템(14)은 최종 사용자의 코쪽으로 이동될 수 있고, 그래서 광축 및 검출 영역(139)은 검출 영역(139ln, 139rn)으로 표시된 것처럼 수 밀리미터만큼 코쪽으로 이동한다.
HMD의 최종 사용자에 대한 IPD를 결정하는 것 및 그에 따라서 디스플레이 광학 시스템을 조정하는 것에 대한 더 많은 정보는 "개인 청각/시각 체계"(Personal Audio/Visual System)의 명칭으로 2011년 9월 30일자 출원된 미국 특허 출원 제13/250,878호에서 찾아볼 수 있다.
도 3a는 시선 검출 요소를 포함한 움직이는 디스플레이 광학 시스템과 함께 HMD(2)의 일부의 일 실시형태를 보인 도이다. 각 눈에 대하여 렌즈로서 나타나는 것은 각 눈에 대한 디스플레이 광학 시스템(14)을 표시한다(즉, 14l과 14r). 디스플레이 광학 시스템은 HMD의 렌즈를 통하여 보이는 실제의 직접적인 실세계 뷰와 가상 콘텐츠를 끊김없이 융합하기 위한 시스루 렌즈와 광학 요소(예를 들면, 미러, 필터)를 포함한다. 디스플레이 광학 요소(14)는 광이 왜곡없는 뷰를 제공하도록 대체로 시준되는 시스루 렌즈의 중심에 있는 광축을 갖는다. 예를 들면, 눈 관리 전문가가 통상적인 안경알 쌍을 최종 사용자의 얼굴에 맞출 때, 안경알은 일반적으로 각 동공이 각 렌즈의 중심 또는 광축과 정렬되어 깨끗하고 왜곡없는 조망을 위해 대체로 시준된 광이 최종 사용자의 눈에 도달되게 하는 위치에서 안경알이 최종 사용자의 코 위에 놓이도록 맞추어진다.
도 3a에 도시된 바와 같이, 적어도 하나의 센서의 검출 영역(139r, 139l)은 검출 영역(139r, 139l)의 중심이 광축을 따르는 광을 포착하도록 그 각각의 디스플레이 광학 시스템(14r, 14l)의 광축과 정렬된다. 만일 디스플레이 광학 시스템(14)이 최종 사용자의 동공과 정렬되면, 각 센서(134)의 각 검출 영역(139)은 최종 사용자의 동공과 정렬된다. 검출 영역(139)의 반사광은 카메라의 실제 이미지 센서(134)에 하나 이상의 광학 요소를 통하여 전달되고, 이것은 도시된 실시형태에 있어서 프레임(115) 내측에 있는 것으로 점선으로 표시되어 있다. 일부 실시형태에 있어서, 센서(134)는 최종 사용자의 눈 또는 눈 주위의 얼굴 모습의 이미지를 포착하기 위한 이미지 센서 또는 RGB 카메라를 포함할 수 있다. 콧날(nasal bridge)과 같이 최종 사용자와 관련된 고정된 얼굴 모습을 포착하기 위해 다른 내향 이미지 센서가 또한 프레임(115)에 통합될 수 있다.
일 실시형태에 있어서, 적어도 하나의 센서(134)는 가시광 카메라(예를 들면, RGB 또는 컬러 카메라)일 수 있다. 일 예로서, 광학 요소 또는 광 지향 요소는 부분적으로 투과하고 부분적으로 반사하는 가시광 반사경을 포함한다. 가시광 카메라는 최종 사용자 눈의 동공의 이미지 데이터를 제공하고, IR 광검출기(152)는 스펙트럼의 IR 부분의 반사인 반짝임을 포착한다. 만일 가시광 카메라를 이용하면, 가상 이미지의 반사는 카메라가 포착한 눈 데이터에서 나타날 수 있다. 필요하다면 가상 이미지 반사를 제거하기 위해 이미지 필터링 기술을 사용할 수 있다. IR 카메라는 눈에서의 가상 이미지 반사에 민감하지 않을 수 있다.
다른 실시형태에 있어서, 적어도 하나의 센서(134, 즉 134l과 134r)는 IR 복사선이 지향되는 IR 카메라 또는 위치 감지 검출기(position sensitive detector, PSD)이다. 눈으로부터 반사된 IR 복사선은 조명기(153) 또는 다른 IR 조명기(도시 생략됨)의 입사 복사선으로부터 또는 눈으로부터 반사된 주변 IR 복사선으로부터 올 수 있다. 일부 경우에, 센서(134)는 RGB 및 IR 카메라의 조합일 수 있고, 광 지향 요소는 가시광 반사 또는 전환 요소와 IR 복사선 반사 또는 전환 요소를 포함할 수 있다. 일부 경우에, 센서(134)는 시스템(14)의 렌즈에 매립될 수 있다. 추가로, 이미지 필터링 기술을 적용하여 카메라를 사용자 시야에 조합시킴으로써 사용자에 대한 임의의 혼란(distraction)을 감소시킬 수 있다.
도 3a에 도시된 바와 같이, 조명기(153)에서 발생한 입사광과 광검출기(152)에서 수신된 반사광 간의 간섭을 피하기 위해 광검출기(152)와 쌍을 이루지만 벽(154)에 의해 분리된 조명기(153)의 집합이 4개 있다. 도면에서의 불필요한 혼잡을 피하기 위해, 도면의 참조 번호는 대표적인 쌍에 대하여 나타내었다. 각각의 조명기는 미리 정해진 파장 부근의 좁은 광빔을 발생하는 적외선(IR) 조명기일 수 있다. 각각의 광검출기는 상기 미리 정해진 파장 부근의 광을 포착하도록 선택될 수 있다. 적외선은 근적외선을 또한 포함할 수 있다. 조명기 또는 광검출기의 파장 표류가 있을 수 있고 또는 파장 부근의 작은 범위가 수용될 수 있기 때문에, 조명기 또는 광검출기는 발생 및 검출을 위한 파장 부근의 공차 범위를 가질 수 있다. 일부 실시형태에 있어서, 센서가 IR 카메라 또는 IR 위치 감지 검출기(PSD)인 경우, 광검출기는 추가의 데이터 캡처 디바이스를 포함할 수 있고 조명기의 동작, 예를 들면, 파장 표류, 빔 폭 변화 등을 모니터링하기 위해 또한 사용될 수 있다. 광검출기는 센서(134) 등의 가시광 카메라에게 반짝임 데이터를 또한 제공할 수 있다.
도 3a에 도시된 바와 같이, 각각의 디스플레이 광학 시스템(14) 및 각 눈과 대면하는 시선 검출 요소(예를 들면, 카메라(134) 및 그 검출 영역(139), 조명기(153) 및 광검출기(152))의 배열은 움직이는 내측 프레임부(117l, 117r)에 위치된다. 이 예에서, 디스플레이 조정 메카니즘은 내측 프레임부(117)에 부착된 샤프트(205)를 가진 하나 이상의 모터(203)를 포함하고, 상기 내측 프레임부(117)는 모터(203)에 의해 구동되는 샤프트(205)의 안내 및 동력하에 프레임(115) 내에서 좌측에서 우측으로 또는 그 반대로 미끄러진다. 일부 실시형태에 있어서, 하나의 모터(203)가 양측의 내측 프레임을 구동할 수 있다.
도 3b는 시선 검출 요소를 포함한 움직이는 디스플레이 광학 시스템과 함께 HMD(2)의 일부의 대안적인 실시형태를 보인 도이다. 도시된 바와 같이, 각각의 디스플레이 광학 시스템(14)은 별도의 프레임부(115l, 115r)에 내포된다. 각각의 프레임부는 모터(203)에 의해 따로따로 움직일 수 있다. 일부 실시형태에 있어서, 적어도 하나의 센서(134)는 최종 사용자의 눈 또는 눈 주위의 얼굴 모습의 이미지를 포착하기 위한 이미지 센서 또는 RGB 카메라를 포함할 수 있다. 콧날과 같이 최종 사용자와 관련된 고정된 얼굴 모습을 포착하기 위해 다른 내향 이미지 센서가 프레임(115)에 통합될 수 있다.
도 4a는 증강 현실 환경(410) 내의 가상 물체(40)를 바라보는 최종 사용자가 착용하는 HMD(402)의 일 실시형태를 보인 도이다. HMD(402)는 도 1의 모바일 디바이스(19)와 같은 모바일 디바이스를 포함할 수 있다. 가상 물체는 제1 에지(41), 제2 에지(42) 및 제3 에지(43)를 포함하는 가상 웹 브라우저를 포함할 수 있다. 가상 웹 브라우저는 제1의 선택 가능한 이미지(49)(예를 들면, 제2 웹페이지에 연결하는 것) 및 제2의 선택 가능한 이미지(48)(예를 들면, 현재 보여지는 웹페이지 내의 하이퍼텍스트 링크에 대응한 것)를 포함할 수 있다. 최종 사용자를 위해 하이퍼텍스트 링크의 선택을 더 쉽게 하기 위해, 선택 가능한 이미지(48)와 같은 하나 이상의 선택 가능한 이미지는 현재 보여지는 웹페이지의 측면에 나타나고 최종 사용자가 하이퍼텍스트 링크를 따르기 위해 상기 선택 가능한 이미지를 통해 시선 스와이프 행동을 수행할 수 있게 한다.
일 실시형태에 있어서, 제1 방향으로 에지(41)와 에지(42)를 통하여 좌측에서 우측으로 최종 사용자 시선 스와이프에 대응하는 제1 시선 스와이프 행동은 가상 웹 브라우저가 제1 동작(예를 들면, 다음 웹페이지로 순방향 이동하는 것)을 수행하게 하고, 상기 제1 방향에 반대되는 제2 방향으로 에지(42)와 에지(41)를 통하여 우측에서 좌측으로 최종 사용자 시선 스와이프에 대응하는 제2 시선 스와이프 행동은 가상 웹 브라우저가 제2 동작(예를 들면, 이전 웹페이지로 역방향 이동하는 것)을 수행하게 할 수 있다. 새로운 탭을 열거나 현재 보여지는 웹페이지 내에서 하이퍼텍스트 링크와 연관된 선택 가능한 이미지의 사용을 가능하게 하기 위해, 최종 사용자는 에지(41)와 에지(43)를 통한 최종 사용자 시선 스와이프에 대응하는 제3 시선 스와이프 행동을 수행할 수 있다. 제2의 선택 가능한 이미지(48)를 선택하기 위해, 최종 사용자는 최종 사용자가 제1 방향으로 제2의 선택 가능한 이미지(48)를 통해 가상 포인터를 이동시키고 그 다음에 특정 시구간 내에 상기 제1 방향에 반대되는 제2 방향으로 상기 제2의 선택 가능한 이미지(48)를 통해 가상 포인터를 역으로 이동시키는 시선 스와이프 행동을 수행할 수 있다(예를 들면, 왔다갔다하는 시선 스와이프 행동이 2초 이내에 수행된다).
일 실시형태에 있어서, 특정 시선 스와이프 행동과 연관된 동작은 특정 시선 스와이프 행동이 수행된 후에 바뀌거나 변경될 수 있다. 일 예로서, 제1 시선 스와이프 행동(예를 들면, 가상 텔레비전을 통한 좌측에서 우측으로의 스와이프)은 제1 시점에서 고속 순방향 동작에 대응하고, 제1 시선 스와이프 행동이 수행된 후 상기 제1 시선 스와이프 행동은 상기 제1 시점에 후속하는 제2 시점에서 2배의 고속 순방향 동작에 대응할 수 있다. 특정 시선 스와이프 행동과 연관된 동작들은 제1 시선 스와이프 행동의 제1 수행이 고속 순방향 동작에 대응하고 제1 시선 스와이프 행동의 제2 수행이 2배의 고속 순방향 동작에 대응하며, 제1 시선 스와이프 행동의 제3 수행이 4배의 고속 순방향 동작에 대응하도록 직렬화(cascade)될 수 있다. 상기 제1 시선 스와이프 행동의 반대 방향으로의 역 시선 스와이프 행동은 동작 순서를 이전의 대응하는 동작으로 후퇴시킴으로써 상기 직렬화 동작들을 원상태로 돌릴 수 있다. 일부 경우에, 전체 동작 더미(stack)를 취소하기 위해 취소 시선 스와이프 행동이 수행될 수 있다. 일부 실시형태에 있어서, 제1 시선 스와이프 행동의 제1 수행의 속도는 제1 시선 스와이프 행동의 제2 수행에 대응하는 후속 동작을 결정하기 위해 사용될 수 있다. 일 예로서, 만일 제1 시선 스와이프 행동의 제1 수행의 속도가 역치보다 더 크면, 제1 시선 스와이프 행동의 제2 수행은 2배의 고속 순방향 동작 대신에 8배의 고속 순방향 동작에 대응할 수 있다(즉, 2배 및 4배의 고속 순방향 동작은 시선 스와이프 행동의 속도에 기초하여 건너뛸 수 있다).
도 4b는 증강 현실 환경(411) 내의 가상 물체(51-54)들을 바라보는 최종 사용자가 착용하는 HMD(402)의 일 실시형태를 보인 도이다. HMD(402)는 도 1의 모바일 디바이스(19)와 같은 모바일 디바이스를 포함할 수 있다. 각각의 가상 물체(51-54)는 가상 텔레비전(즉, 증강 현실 환경(411) 내에 존재하는 것으로서 HMD(402)의 최종 사용자에게 디스플레이되는 텔레비전)을 이용하여 보여지는 텔레비전 채널과 대응할 수 있다. 일 실시형태에 있어서, HMD(402)의 최종 사용자가 (예를 들면, 수평 방식 또는 수직 방식으로) 가상 텔레비전을 관통하는 제1 시선 스와이프 행동을 수행한 후에 가상 물체(51-54)는 최종 사용자가 최종으로 본(즉, 가장 최근에 본) 4개의 텔레비전 채널에 대응하게 나타날 수 있다. 최종 사용자는 특정 채널을 선택하고 가상 텔레비전이 선택된 채널을 다시 나타내고 디스플레이하게 하도록 가상 물체(51-54) 중의 하나를 관통하는 제2 시선 스와이프 행동을 수행할 수 있다. 일부 경우에, 최종 사용자는 4개의 가상 물체(51-54) 중 2개의 관통하는 제2 시선 스와이프 행동을 수행할 수 있고, 이것은 가상 텔레비전이 선택된 2개의 채널을 다시 나타내고 디스플레이하게 한다(예를 들면, 화상 내 화상 형식 또는 나란한 형식을 이용해서).
제2 시선 스와이프 행동을 수행하기 전에, 최종 사용자는 가상 물체(51-54) 다음에 나타나도록 가상 포인터(55)를 트리거하기 위해 시선 스와이프 활성화 이벤트를 수행할 수 있다. 일 예로서, 만일 최종 사용자가 2초 이상 가상 물체(51)를 응시하면, 가상 포인터(55)가 가상 물체(51)의 좌측에 나타나고 최종 사용자가 그의 머리 움직임을 이용하여 제어할 수 있게 된다. 일 실시형태에 있어서, 제2 시선 스와이프 행동은 HMD의 최종 사용자가 가상 물체(51)를 응시하는 동안 그의 머리 움직임을 이용하여 가상 포인터(55)를 가상 물체(51)의 2개의 에지를 통하여 이동시킬 때 검출될 수 있다.
도 5a는 가상 물체를 선택하는 방법의 일 실시형태를 설명하는 흐름도이다. 일 실시형태에 있어서, 도 5a의 프로세스는 도 1의 모바일 디바이스(19)와 같은 모바일 디바이스에 의해 수행될 수 있다.
단계 502에서, 제1 가상 물체가 HMD의 최종 사용자에게 디스플레이된다. 제1 가상 물체는 복수의 에지를 포함할 수 있고 또는 복수의 에지에 의해 경계 지어질 수 있다. 일부 경우에, 제1 가상 물체는 가상 책, 가상 텔레비전, 가상 웹 브라우저 또는 HMD의 최종 사용자에게 콘텐츠를 디스플레이하는 다른 가상 물체를 포함할 수 있다. 제1 가상 물체의 형상은 원형, 삼각형, 정사각형, 사각형 또는 다각형을 포함할 수 있다.
단계 504에서, 최종 사용자가 수행한 시선 스와이프 활성화 이벤트가 검출된다. 시선 스와이프 활성화 이벤트는 HMD를 시선 스와이프 행동을 검출하는 상태로 둘 수 있다. HMD가 시선 스와이프 행동을 검출하는 상태로 된 후에, 최종 사용자의 머리 움직임이 머리 추적을 이용하여 추적될 수 있다.
단계 506에서, 상기 시선 스와이프 활성화 이벤트의 검출에 응답하여 가상 포인터가 HMD의 최종 사용자에게 디스플레이된다. 가상 포인터는 머리 움직임을 이용하여 최종 사용자에 의해 제어될 수 있다. 일부 실시형태에 있어서, 최종 사용자는 제1 가상 물체 다음에 나타나도록 가상 포인터를 트리거하기 위해 시선 스와이프 활성화 이벤트를 수행할 수 있다. 일 예로서, 만일 최종 사용자가 3초 이상 가상 물체를 응시하면, 가상 포인터가 제1 가상 물체의 일측에 나타날 것이고, 또는 가상 포인터가 제1 가상 물체를 통하여 스와이프될 수 있도록 다른 방식으로 상기 제1 가상 물체 외측에 배치될 수 있다. 다른 예로서, 만일 최종 사용자가 제1 가상 물체를 응시한 후 상기 제1 가상 물체에 촛점을 맞추면서 한쪽 눈을 감으면, 가상 포인터가 제1 가상 물체의 일측에 나타날 것이다. 가상 포인터는 HMD의 최종 사용자에게 가상 레이저 포인터로서 또는 가상 십자선으로서 나타날 수 있다. 가상 포인터는 최종 사용자의 머리로부터 또는 HMD 상의 고정점으로부터 연장하는 머리 고정 순방향 벡터에 대응할 수 있다.
일부 경우에, 상기 시선 스와이프 활성화 이벤트의 검출시에, 제1 가상 물체의 복수의 에지 중 하나 이상의 에지가 다른 가상 물체 선택 옵션에 대응하여 강조될 수 있다. 일 예로서, 제1 선택 유형에 대응하는 제1 에지 쌍이 제1 에지 쌍을 식별하도록 제1색(예를 들면, 오렌지 색)으로 착색되고 제2 선택 유형에 대응하는 제2 에지 쌍이 상기 제1색과 상이한 제2색(예를 들면, 청색)으로 착색될 수 있다. 상기 제1 선택 유형은 가상 텔레비전과 연관된 다음 채널로 또는 가상 책의 다음 페이지로 이동하는 것에 대응할 수 있다. 상기 제2 선택 유형은 가상 텔레비전과 연관된 이전 채널로 또는 가상 책의 이전 페이지로 이동하는 것에 대응할 수 있다.
단계 508에서, HMD의 최종 사용자가 수행한 시선 스와이프 행동이 검출된다. 시선 스와이프 행동은 최종 사용자가 가상 포인터를 복수의 에지 중 적어도 2개의 에지를 통하여 이동시키는 것에 대응할 수 있다. 일 예로서, 시선 스와이프 행동은 최종 사용자가 머리 움직임을 이용하여 가상 포인터를 제1 가상 물체의 에지 중 임의의 2개를 통하여 이동시키는 것을 포함할 수 있다(예를 들면, 가상 포인터는 수직 방식으로 또는 수평 방식으로 제1 가상 물체를 완전히 관통할 수 있다). 다른 예로서, 시선 스와이프 행동은 최종 사용자가 머리 움직임을 이용하여 가상 포인터를 제1 가상 물체의 제1 에지 쌍을 통하여 이동시키는 것을 포함할 수 있다. 다른 예로서, 시선 스와이프 행동은 최종 사용자가 가상 포인터를 제1 가상 물체의 제1 에지 쌍을 통하여 제1 방향으로 이동시키고 그 다음에 가상 포인터를 상기 제1 에지 쌍을 통하여 상기 제1 방향과 반대인 제2 방향으로 역으로 이동시키는 것을 포함할 수 있다. 다른 예로서, 시선 스와이프 행동은 최종 사용자가 가상 포인터를 제1 가상 물체의 적어도 3개의 에지를 통하여 이동시키는 것을 포함할 수 있다. 일부 경우에, 적어도 3개의 에지가 교차되는 순서는 상기 적어도 3개의 에지 각각에 표시된 숫자를 이용하여 최종 사용자에게 전달될 수 있다. 일부 경우에, 시선 스와이프 행동은 최종 사용자가 제1 가상 물체를 응시하는 동안 또는 제1 가상 물체와 눈 접촉을 유지하는 동안 최종 사용자가 가상 포인터를 복수의 에지 중 적어도 2개의 에지를 통하여 이동시키는 것을 포함할 수 있다.
단계 510에서, 시선 스와이프 행동의 속도가 결정된다. 시선 스와이프 행동의 속도는 시선 스와이프 행동이 제1 가상 물체의 제1 에지(예를 들면, 진입 에지)로부터 제1 가상 물체의 제2 에지(예를 들면, 진출 에지)로 이동하는데 걸리는 시간에 기초하여 결정될 수 있다. 일 실시형태에 있어서, 시선 스와이프 행동의 검출에 응답하여 이루어지는 (예컨대 새로운 가상 물체를 디스플레이하는) 선택 동작은 시선 스와이프 행동의 속도가 특정 속도 범위 내(예를 들면, 1m/s-5m/s 사이)에 있는 경우에만 수행될 수 있다. 다른 실시형태에 있어서, 시선 스와이프 행동의 검출에 응답하여 이루어지는 선택 동작은 시선 스와이프 행동의 속도가 기설정된 속도 역치 이상(예를 들면, 속도가 3m/s보다 크다)인 경우에만 수행될 수 있다. 일부 경우에, 시선 스와이프 행동에 대응하는 선택 유형은 시선 스와이프 행동의 속도에 의존할 수 있다. 일 예로서, 제1 속도로 수행되는 시선 스와이프 행동은 제1 선택 유형을 트리거하고, 상기 제1 속도보다 더 빠른 제2 속도로 수행되는 시선 스와이프 행동은 상기 제1 선택 유형과 다른 제2 선택 유형을 트리거할 수 있다.
단계 512에서, 제1 가상 물체의 크기가 결정된다. 일부 경우에, 시선 스와이프 행동에 대응하는 선택 유형은 제1 가상 물체의 크기에 의존할 수 있다. 일 예로서, 제1 크기의 제1 가상 물체에서 수행되는 시선 스와이프 행동은 제1 선택 유형을 트리거하고, 상기 제1 크기보다 더 큰 제2 크기의 제1 가상 물체에서 수행되는 시선 스와이프 행동은 상기 제1 선택 유형과 다른 제2 선택 유형을 트리거할 수 있다.
단계 514에서, 제1 가상 물체와 상이한 제2 가상 물체가 시선 스와이프 행동의 속도, 제1 가상 물체의 크기, 및 시선 스와이프 행동에 의해 횡단된 복수의 에지 중 적어도 2개의 에지에 기초하여 결정된다. 단계 516에서, 제2 가상 물체가 HMD를 이용하여 HMD의 최종 사용자에게 디스플레이된다. 일 예로서, 제1 가상 물체는 제1 웹페이지를 디스플레이하는 가상 웹 브라우저에 대응하고, 제2 가상 물체는 상기 제1 웹페이지와 상이한 제2 웹페이지를 디스플레이하는 가상 웹 브라우저에 대응할 수 있다. 다른 예로서, 제1 가상 물체는 제1 텔레비전 채널을 디스플레이하는 가상 텔레비전에 대응하고, 제2 가상 물체는 제2 텔레비전 채널을 디스플레이하는 가상 텔레비전에 대응할 수 있다. 일부 경우에, 시선 스와이프 행동의 검출에 응답하여 새로운 가상 물체를 디스플레이하는 대신에, 제1 가상 물체가 새로운 정보를 디스플레이하도록 재구성될 수 있다. 다른 예로서, 제1 가상 물체는 파일 및/또는 이미지를 저장하는 전자 폴더에 대응하고 제2 가상 물체는 전자 폴더의 콘텐츠를 디스플레이하는(예를 들면, 전자 폴더에 저장된 파일 및 하위 폴더를 디스플레이하는) 전자 폴더의 개방 버전에 대응할 수 있다.
일부 실시형태에 있어서, 시선 스와이프 행동은 2개 이상의 가상 물체를 관통할 수 있다. 다중 선택 시선 스와이프 행동은 HMD의 최종 사용자가 공통의 시선 스와이프 행동을 이용하여 복수의 가상 물체를 동시에 선택하게 할 수 있다. 일 예로서, 가상 물체는 가상 텔레비전에 대응할 수 있다. 최종 사용자는 제1 시선 스와이프 행동을 수행하여 가상 텔레비전을 최종 사용자가 가장 최근에 본 8개의 텔레비전 채널에 대응하는 8개의 선택 단편으로 나누고 상기 8개의 선택 단편과 연관된 8개의 가상 물체를 디스플레이하게 할 수 있다. 최종 사용자는 8개의 가상 물체 중의 2개를 관통하는 시선 스와이프 행동을 수행할 수 있고, 이것은 가상 텔레비전이 선택된 상기 2개의 채널을 디스플레이하게 할 수 있다(예를 들면, 화상 내 화상 형식 또는 나란한 형식을 이용해서).
도 5b는 가상 물체를 선택하는 방법의 대안적인 실시형태를 설명하는 흐름도이다. 일 실시형태에 있어서, 도 5b의 프로세스는 도 1의 모바일 디바이스(19)와 같은 모바일 디바이스에 의해 수행될 수 있다.
단계 522에서, 제1 가상 물체가 HMD의 최종 사용자에게 디스플레이된다. 제1 가상 물체는 복수의 에지에 의해 경계 지어진 형상을 포함할 수 있다. 일부 경우에, 제1 가상 물체는 가상 책, 가상 텔레비전, 가상 웹 브라우저 또는 HMD의 최종 사용자에게 콘텐츠를 디스플레이하는 다른 가상 물체를 포함할 수 있다. 제1 가상 물체의 형상은 원형, 삼각형, 정사각형, 사각형 또는 다각형을 포함할 수 있다.
단계 524에서, 최종 사용자가 수행한 시선 스와이프 활성화 이벤트가 검출된다. 시선 스와이프 활성화 이벤트는 HMD를 시선 스와이프 행동을 검출하는 상태로 둘 수 있다. HMD가 시선 스와이프 행동을 검출하는 상태로 된 후에, 최종 사용자의 머리 움직임이 머리 추적을 이용하여 추적될 수 있다.
단계 526에서, 상기 시선 스와이프 활성화 이벤트의 검출에 응답하여 가상 포인터가 제1 가상 물체 부근에서 HMD의 최종 사용자에게 디스플레이된다. 가상 포인터는 머리 움직임을 이용하여 최종 사용자에 의해 제어될 수 있다. 일부 실시형태에 있어서, 최종 사용자는 제1 가상 물체 다음에 나타나도록 가상 포인터를 트리거하기 위해 시선 스와이프 활성화 이벤트를 수행할 수 있다. 일 예로서, 만일 최종 사용자가 3초 이상 가상 물체를 응시하면, 가상 포인터가 제1 가상 물체의 일측에 나타날 것이고, 또는 가상 포인터가 제1 가상 물체를 통하여 스와이프될 수 있도록 다른 방식으로 상기 제1 가상 물체 외측에 배치될 수 있다. 다른 예로서, 만일 최종 사용자가 제1 가상 물체를 응시한 후 상기 제1 가상 물체에 촛점을 맞추면서 한쪽 눈을 감으면, 가상 포인터가 제1 가상 물체의 일측에 나타날 것이다.
단계 528에서, HMD의 최종 사용자가 수행한 시선 스와이프 행동이 검출된다. 시선 스와이프 행동은 최종 사용자가 제1 가상 물체를 응시하면서 최종 사용자가 머리 움직임을 이용하여 가상 포인터를 복수의 에지 중 적어도 2개의 에지를 통하여 이동시키는 것에 대응할 수 있다. 일 예로서, 시선 스와이프 행동은 최종 사용자가 머리 움직임을 이용하여 가상 포인터를 제1 가상 물체의 에지 중 임의의 2개를 통하여 이동시키는 것을 포함할 수 있다(예를 들면, 가상 포인터는 수직 방식으로 또는 수평 방식으로 및 임의의 방향으로 제1 가상 물체를 완전히 관통할 수 있다).
단계 530에서, 복수의 선택 단편들이 시선 스와이프 행동에 기초하여 식별된다. 단계 532에서, 복수의 선택 단편들이 HMD의 최종 사용자에게 디스플레이된다. 복수의 선택 단편은 증강 현실 환경 내의 대응하는 복수의 선택 단편으로서 HMD의 최종 사용자에게 디스플레이될 수 있다. 단계 534에서, HMD의 최종 사용자가 수행한 제2 시선 스와이프 행동이 검출된다. 제2 시선 스와이프 행동은 최종 사용자가 머리 움직임을 이용하여 가상 포인터를 상기 복수의 선택 단편들 중 적어도 2개의 선택 단편을 통하여 이동시키는 것에 대응할 수 있다. 단계 536에서 상기 제2 시선 스와이프 행동의 검출에 응답하여 제3 가상 물체가 HMD의 최종 사용자에게 디스플레이된다.
도 6은 가상 물체를 선택하는 방법의 일 실시형태를 설명하는 흐름도이다. 일 실시형태에 있어서, 도 6의 프로세스는 도 1의 모바일 디바이스(19)와 같은 모바일 디바이스에 의해 수행될 수 있다.
단계 602에서, 제1 가상 물체가 증강 현실 환경 내에서 디스플레이된다. 제1 가상 물체는 복수의 에지에 의해 경계 지어진 형상을 포함할 수 있다. 제1 가상 물체는 HMD의 최종 사용자에게 디스플레이될 수 있다. 일부 경우에, 제1 가상 물체는 가상 책, 가상 텔레비전, 가상 웹 브라우저 또는 HMD의 최종 사용자에게 콘텐츠를 디스플레이하는 다른 가상 물체를 포함할 수 있다. 제1 가상 물체의 형상은 원형, 삼각형, 정사각형, 사각형 또는 다각형을 포함할 수 있다.
단계 604에서, 제1 가상 물체의 크기가 결정된다. 단계 606에서, 시선 스와이프 활성화 이벤트가 검출된다. 시선 스와이프 활성화 이벤트는 HMD를 시선 스와이프 행동을 검출하는 상태로 둘 수 있다. HMD가 시선 스와이프 행동을 검출하는 상태로 된 후에, 최종 사용자의 머리 움직임이 머리 추적을 이용하여 추적될 수 있다. 시선 스와이프 활성화 이벤트는 머리 움직임을 이용하여 HMD의 최종 사용자에 의해 제어될 수 있는 가상 포인터의 디스플레이를 또한 가능하게 한다.
단계 608에서, 상기 시선 스와이프 활성화 이벤트의 검출에 응답하여 제1 가상 물체의 크기에 따라 복수의 에지 중 하나 이상의 에지가 강조된다. 일 실시형태에 있어서, 만일 제1 가상 물체의 크기가 크기 역치 이상이면, 제1 가상 물체의 제1 에지 쌍이 제1색을 이용하여 강조되고(예를 들면, 정사각형 가상 물체의 상부 에지와 하부 에지가 오렌지 색으로 착색될 수 있다) 제1 선택 유형에 대응할 수 있다. 그렇지 않고 만일 제1 가상 물체의 크기가 크기 역치 미만이면, 제1 가상 물체의 제1 에지 쌍이 제2색(예를 들면, 청색)을 이용하여 강조되고 상기 제1 선택 유형과 다른 제2 선택 유형에 대응할 수 있다.
단계 610에서, 복수의 에지 중 적어도 2개의 에지를 관통하는 시선 스와이프 행동이 검출된다. 시선 스와이프 행동은 HMD에 의해 검출될 수 있다. 시선 스와이프 행동은 HMD의 최종 사용자가 제1 가상 물체를 응시하는 동안 최종 사용자가 머리 움직임을 이용하여 복수의 에지 중 적어도 2개의 에지를 통하여 가상 포인터를 이용시키는 것에 대응할 수 있다. 일 예로서, 시선 스와이프 행동은 최종 사용자가 머리 움직임을 이용하여 가상 포인터를 제1 가상 물체의 복수의 에지 중 임의의 2개를 통하여 이동시키는 것을 포함할 수 있다(예를 들면, 가상 포인터는 수직 방식으로 또는 수평 방식으로 및 임의의 방향으로 제1 가상 물체를 완전히 관통할 수 있다).
단계 612에서, 디스플레이될 제2 가상 물체가 시선 스와이프 행동의 검출에 응답하여 결정된다. 단계 614에서, 제2 가상 물체가 증강 현실 환경 내에서 디스플레이된다. 일 예로서, 제1 가상 물체는 파일 및/또는 이미지를 저장하는 전자 폴더에 대응하고 제2 가상 물체는 전자 폴더의 콘텐츠를 디스플레이하는(예를 들면, 전자 폴더에 저장된 파일 및 하위 폴더를 디스플레이하는) 전자 폴더의 개방 버전에 대응할 수 있다.
개시된 기술의 일 실시형태는 시스루 디스플레이와 통신하는 하나 이상의 프로세서를 포함한다. 시스루 디스플레이는 가상 물체를 전자 디바이스의 최종 사용자에게 디스플레이한다. 가상 물체는 복수의 에지를 포함한다. 하나 이상의 프로세서는 최종 사용자에 의해 수행된 시선 스와이프 활성화 이벤트를 검출하고 시선 스와이프 활성화 이벤트의 검출에 응답하여 최종 사용자에게 가상 포인터를 디스플레이한다. 하나 이상의 프로세서는 최종 사용자에 의해 수행된 시선 스와이프 행동을 검출한다. 시선 스와이프 행동은 하나 이상의 머리 움직임을 이용하여 최종 사용자가 복수의 에지 중 2개 이상의 에지를 통하여 가상 포인터를 이동시키는 것에 대응한다. 하나 이상의 프로세서는 시선 스와이프 행동의 속도를 결정한다. 하나 이상의 프로세서는 시선 스와이프 행동의 속도 및 시선 스와이프 행동에 의해 횡단되는 복수의 에지 중의 2개 이상의 에지에 기초하여 상기 가상 물체와 다른 제2 가상 물체를 결정한다. 하나 이상의 프로세서는 상기 제2 가상 물체가 시스루 디스플레이를 이용하여 디스플레이되게 한다.
개시된 기술의 일 실시형태는 가상 물체를 HMD의 최종 사용자에게 디스플레이하는 단계를 포함한다. 가상 물체는 복수의 에지를 포함한다. 이 방법은 최종 사용자에 의해 수행된 시선 스와이프 활성화 이벤트를 검출하는 단계와, 시선 스와이프 활성화 이벤트의 검출에 응답하여 HMD의 최종 사용자에게 가상 포인터를 디스플레이하는 단계와, HMD의 최종 사용자에 의해 수행된 시선 스와이프 행동을 검출하는 단계를 또한 포함한다. 시선 스와이프 행동은 하나 이상의 머리 움직임을 이용하여 최종 사용자가 복수의 에지 중 2개 이상의 에지를 통하여 가상 포인터를 이동시키는 것에 대응한다. 이 방법은 시선 스와이프 행동의 속도를 결정하는 단계와, 시선 스와이프 행동의 속도 및 시선 스와이프 행동에 의해 횡단되는 복수의 에지 중의 적어도 2개의 에지에 기초하여 상기 가상 물체와 다른 제2 가상 물체를 결정하는 단계와, 상기 제2 가상 물체를 HMD의 최종 사용자에게 디스플레이하는 단계를 또한 포함한다.
개시된 기술의 일 실시형태는 가상 물체를 HMD의 최종 사용자에게 디스플레이하는 단계를 포함한다. 가상 물체는 복수의 에지에 의해 경계 지어지는 형상을 포함한다. 이 방법은 최종 사용자에 의해 수행된 시선 스와이프 활성화 이벤트를 검출하는 단계와, 시선 스와이프 활성화 이벤트의 검출에 응답하여 HMD의 최종 사용자에게 가상 포인터를 디스플레이하는 단계와, HMD의 최종 사용자에 의해 수행된 시선 스와이프 행동을 검출하는 단계를 또한 포함한다. 시선 스와이프 행동은 하나 이상의 머리 움직임을 이용하여 최종 사용자가 가상 물체를 응시하는 동안 최종 사용자가 복수의 에지 중 2개 이상의 에지를 통하여 가상 포인터를 이동시키는 것에 대응한다. 시선 스와이프 행동을 검출하는 단계는 HMD를 이용하여 최종 사용자의 하나 이상의 머리 움직임을 추적하는 단계를 포함한다. 이 방법은 시선 스와이프 행동의 속도를 결정하는 단계와, 시선 스와이프 행동의 속도 및 시선 스와이프 행동에 의해 횡단되는 복수의 에지 중의 2개 이상의 에지에 기초하여 상기 가상 물체와 다른 제2 가상 물체를 결정하는 단계와, 상기 제2 가상 물체를 HMD의 최종 사용자에게 디스플레이하는 단계를 또한 포함한다.
도 7은 도 1의 모바일 디바이스(19)와 같은 모바일 디바이스(8300)의 일 실시형태의 블록도이다. 모바일 디바이스는 랩톱 컴퓨터, 포켓 컴퓨터, 이동 전화기, HMD, 개인용 정보 단말기, 및 무선 수신기/송신기 기술에 의해 통합된 핸드헬드 미디어 디바이스를 포함할 수 있다.
모바일 디바이스(8300)는 하나 이상의 프로세서(8312) 및 메모리(8310)를 포함한다. 메모리(8310)는 애플리케이션(8330) 및 비휘발성 스토리지(8340)를 포함한다. 메모리(8310)는 비휘발성 및 휘발성 메모리를 포함한 임의의 다양한 메모리 스토리지 미디어 유형일 수 있다. 모바일 디바이스 운영체제는 모바일 디바이스(8300)의 상이한 동작을 취급하고 전화 호출, 텍스트 메시징, 음성메일 체크 등을 배치 및 수신하는 것과 같은 동작을 위한 사용자 인터페이스를 내포할 수 있다. 애플리케이션(8330)은 사진 및/또는 비디오용의 카메라 애플리케이션, 주소록, 캘린더 애플리케이션, 미디어 플레이어, 인터넷 브라우저, 게임, 알람 애플리케이션, 및 기타 애플리케이션과 같은 임의의 프로그램 분류일 수 있다. 메모리(8310)의 비휘발성 스토리지 컴포넌트(8340)는 음악, 사진, 접촉 데이터, 스케줄링 데이터 및 기타 파일과 같은 데이터를 저장할 수 있다.
하나 이상의 프로세서(8312)는 시스루 디스플레이(8309)와 통신한다. 시스루 디스플레이(8309)는 실세계 환경과 연관된 하나 이상의 가상 물체를 디스플레이할 수 있다. 하나 이상의 프로세서(8312)는 안테나(8302)에 연결된 RF 송신기/수신기(8306), 적외선 송신기/수신기(8308), 글로벌 위치확인 서비스(GPS) 수신기(8365), 및 가속도계 및/또는 자력계를 포함하는 움직임/방위 센서(8314)와 또한 통신한다. RF 송신기/수신기(8306)는 블루투스® 또는 IEEE 802.11 표준과 같은 각종 무선 기술 표준을 통해 무선 통신을 가능하게 한다. 가속도계는 사용자가 행동을 통해 명령을 입력하게 하는 인텔리전트 사용자 인터페이스 애플리케이션, 및 모바일 디바이스가 회전된 때 초상으로부터 풍경으로 디스플레이를 자동으로 변경할 수 있는 방위 애플리케이션과 같은 애플리케이션이 가능하도록 모바일 디바이스에 통합되었다. 가속도계는 예를 들면 반도체 칩에 구축된 작은 기계 디바이스(마이크로미터 치수의 것)인 마이크로 전기기계 시스템(MEMS)에 의해 제공될 수 있다. 가속도 방향뿐만 아니라 방위, 진동 및 충격이 감지될 수 있다. 하나 이상의 프로세서(8312)는 또한 링거/진동기(8316), 사용자 인터페이스 키패드/스크린(8318), 스피커(8320), 마이크(8322), 카메라(8324), 광센서(8326) 및 온도 센서(8328)와 통신한다. 사용자 인터페이스 키패드/스크린은 터치 감응 스크린 디스플레이를 포함할 수 있다.
하나 이상의 프로세서(8312)는 무선 신호의 송신 및 수신을 제어한다. 송신 모드 중에, 하나 이상의 프로세서(8312)는 마이크(8322)으로부터의 음성 신호 또는 다른 데이터 신호를 RF 송신기/수신기(8306)에 제공한다. 송신기/수신기(8306)는 안테나(8302)를 통해 신호를 송신한다. 링거/진동기(8316)는 유입 호출, 텍스트 메시지, 캘린더 리마인더, 알람 시계 리마인더 또는 다른 통지를 사용자에게 신호하기 위해 사용된다. 수신 모드 중에, RF 송신기/수신기(8306)는 안테나(8302)를 통해 원격 스테이션으로부터 음성 신호 또는 데이터 신호를 수신한다. 수신된 음성 신호는 스피커(8320)에 제공되고, 다른 수신된 데이터 신호들이 적절히 처리된다.
추가로, 물리적 커넥터(8388)가 모바일 디바이스(8300)를 배터리(8304) 충전을 위해 AC 어댑터 또는 전력 도킹 스테이션과 같은 외부 전원에 접속하기 위해 사용될 수 있다. 물리적 커넥터(8388)는 외부 컴퓨팅 디바이스에 대한 데이터 접속으로서 또한 사용될 수 있다. 상기 데이터 접속에 의해 다른 디바이스의 컴퓨팅 데이터와 모바일 디바이스 데이터와의 동기화 등의 동작이 가능하다.
개시된 기술은 각종의 다른 범용 또는 특수 용도 컴퓨팅 시스템 환경 또는 구성과 함께 동작할 수 있다. 본 발명의 기술과 함께 사용하기에 적합한 잘 알려진 컴퓨팅 시스템, 환경 및/또는 구성의 비제한적인 예로는 퍼스널 컴퓨터, 서버 컴퓨터, 핸드헬드 또는 랩톱 디바이스, 멀티프로세서 시스템, 마이크로프로세서 기반 시스템, 셋톱박스, 프로그램가능한 가전제품, 네트워크 PC, 미니컴퓨터, 메인프레임 컴퓨터, 전술한 임의의 시스템 또는 디바이스를 포함한 분산형 컴퓨팅 환경 등이 있다.
개시된 기술은 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터 실행가능 명령어의 일반적인 관계로 설명될 수 있다. 일반적으로, 여기에서 설명한 소프트웨어 및 프로그램 모듈은 특정의 타스크를 수행하거나 특정의 추상적 데이터 유형을 구현하는 루틴, 프로그램, 오브젝트, 컴포넌트, 데이터 구조, 및 다른 유형의 구조를 포함한다. 하드웨어 또는 하드웨어와 소프트웨어의 조합이 여기에서 설명한 소프트웨어 모듈을 대체할 수 있다.
개시된 기술은 타스크가 통신 네트워크를 통해 연결된 원격 처리 유닛에 의해 수행되는 분산형 컴퓨팅 환경에서 또한 실시될 수 있다. 분산형 컴퓨팅 환경에 있어서, 프로그램 모듈은 메모리 스토리지 디바이스를 포함한 국지적 및 원격 컴퓨터 스토리지 매체 둘 다에 위치될 수 있다.
이 문서의 목적상, 개시된 기술과 관련된 각각의 처리는 연속적으로 및 하나 이상의 컴퓨팅 디바이스에 의해 수행될 수 있다. 처리에 있어서의 각 단계는 다른 단계에서 사용된 것과 동일한 컴퓨팅 디바이스 또는 다른 컴퓨팅 디바이스에 의해 수행될 수 있고, 각 단계는 반드시 단일 컴퓨팅 디바이스에 의해 수행될 필요가 없다.
이 문서의 목적상, 명세서에서 "실시형태", "일 실시형태", 일부 실시형태", 또는 "다른 실시형태"의 인용은 상이한 실시형태를 설명하기 위해 사용될 수 있고, 반드시 동일 실시형태를 인용하는 것이 아니다.
이 문서의 목적상, 접속은 직접 접속 또는 (예컨대 다른 부품을 경유하는) 간접 접속일 수 있다.
이 문서의 목적상, 용어 물체의 "설정"(set)은 하나 이상 물체의 "설정"을 의미할 수 있다.
비록 주제가 구조적 특징 및/또는 방법적 동작에 특유한 언어로 설명되어 있지만, 첨부된 특허 청구범위에서 규정되는 주제는 반드시 전술한 특유의 특징 또는 동작으로 제한되지 않는다는 것을 이해하여야 한다. 오히려, 전술한 특유의 특징 및 동작들은 특허 청구범위를 구현하는 예시적인 형태로서 개시된다.
Claims (20)
- 전자 디바이스로서,
복수의 에지(edge)를 포함하는 가상 물체(virtual object)를 디스플레이하도록 구성된 디스플레이; 및
하나 이상의 프로세서
를 포함하고,
상기 하나 이상의 프로세서는, 상기 전자 디바이스의 최종 사용자(end user)에 의해 수행된 시선 스와이프 활성화 이벤트를 검출하고, 상기 디스플레이로 하여금 상기 시선 스와이프 활성화 이벤트의 검출에 응답하여 에지 횡단의 순서를 디스플레이하게 하도록 구성되고,
상기 하나 이상의 프로세서는, 상기 복수의 에지 중의 2개 이상의 에지 위에 놓인 심볼을 디스플레이함으로써 상기 에지 횡단의 순서를 디스플레이하도록 구성되고,
상기 하나 이상의 프로세서는, 상기 에지 횡단의 순서에 기초하여 상기 복수의 에지 중의 2개 이상의 에지를 통해 횡단하는 상기 최종 사용자에 의해 수행되는 시선 스와이프 행동(gaze swipe gesture)을 검출하도록 구성되고,
상기 하나 이상의 프로세서는, 상기 시선 스와이프 행동에 의해 횡단된 상기 2개 이상의 에지에 기초하여, 상기 가상 물체와 상이한 제2 가상 물체를 결정하고, 상기 디스플레이로 하여금 상기 제2 가상 물체를 디스플레이하게 하도록 구성되는 것인, 전자 디바이스. - 제1항에 있어서,
상기 전자 디바이스는 머리 장착형 디스플레이 디바이스(head-mounted display device)를 포함하고,
상기 심볼은 숫자를 포함하고,
상기 디스플레이는 상기 머리 장착형 디스플레이 디바이스의 시스루(see-through) 디스플레이를 포함하고,
상기 하나 이상의 프로세서는, 상기 머리 장착형 디스플레이 디바이스를 사용하여 상기 최종 사용자의 하나 이상의 머리 움직임을 추적함으로써 상기 최종 사용자가 상기 시선 스와이프 행동을 수행한 것을 검출하도록 구성되는 것인, 전자 디바이스. - 제1항에 있어서,
상기 하나 이상의 프로세서는, 상기 시선 스와이프 활성화 이벤트의 검출에 응답하여 상기 디스플레이가 가상 포인터를 디스플레이하게 하도록 구성되고,
상기 하나 이상의 프로세서는, 상기 복수의 에지 중의 2개 이상의 에지를 통해 하나 이상의 머리 움직임을 사용하여 상기 사용자가 상기 가상 포인터를 이동시킨 것을 검출하도록 구성되는 것인, 전자 디바이스. - 제3항에 있어서,
상기 전자 디바이스는 머리 장착형 디스플레이 디바이스(head-mounted display device)를 포함하고,
상기 하나 이상의 프로세서는, 상기 최종 사용자가 상기 가상 물체를 응시하는 동안 상기 최종 사용자가 상기 복수의 에지 중의 2개 이상의 에지를 통하여 상기 가상 포인터를 이동시킨 것을 검출하는 것에 응답하여, 상기 시선 스와이프 행동을 검출하도록 구성되고,
상기 하나 이상의 프로세서는, 상기 머리 장착형 디스플레이 디바이스를 사용하여 상기 최종 사용자의 눈 움직임을 추적함으로써 상기 최종 사용자가 상기 가상 물체를 응시한 것을 검출하도록 구성되는 것인, 전자 디바이스. - 제3항에 있어서,
상기 하나 이상의 프로세서는, 상기 최종 사용자가 상기 가상 물체를 응시하는 동안 상기 복수의 에지 중의 3개 이상의 에지를 통하여 상기 최종 사용자가 상기 가상 포인터를 이동시킨 것을 검출한 것에 응답하여, 상기 시선 스와이프 행동을 검출하도록 구성되는 것인, 전자 디바이스. - 제1항에 있어서,
상기 하나 이상의 프로세서는, 상기 시선 스와이프 행동의 속도를 결정하고, 상기 시선 스와이프 행동의 속도에 기초하여 상기 제2 가상 물체를 결정하도록 구성되는 것인, 전자 디바이스. - 제1항에 있어서,
상기 하나 이상의 프로세서는, 상기 가상 물체의 사이즈를 결정하고, 상기 가상 물체의 사이즈에 기초하여 상기 제2 가상 물체를 결정하도록 구성되는 것인, 전자 디바이스. - 제1항에 있어서,
상기 가상 물체는, 상기 복수의 에지에 의해 경계 지어지는 형상을 포함하는 것인, 전자 디바이스. - 제1항에 있어서,
상기 시선 스와이프 활성화 이벤트는 상기 최종 사용자가 적어도 역치 시구간(threshold period of time) 동안 상기 가상 물체를 응시하는 것을 포함하는 것인, 전자 디바이스. - 방법으로서,
복수의 에지를 포함하는 가상 물체를 머리 장착형 디스플레이 디바이스의 최종 사용자에게 디스플레이하는 단계;
상기 최종 사용자에 의해 수행된 시선 스와이프 활성화 이벤트를 검출하는 단계;
상기 시선 스와이프 활성화 이벤트를 검출하는 것에 응답하여 에지 횡단의 순서를 디스플레이하는 단계 - 상기 에지 횡단의 순서를 디스플레이하는 단계는 상기 복수의 에지 중의 2개 이상의 에지 위에 놓인 심볼을 디스플레이하는 단계를 포함함 - ;
상기 에지 횡단의 순서에 기초하여 상기 복수의 에지 중의 2개 이상의 에지를 통하여 횡단하는 상기 최종 사용자에 의해 수행된 시선 스와이프 행동을 검출하는 단계;
상기 시선 스와이프 행동에 의해 횡단된 상기 2개 이상의 에지에 기초하여 상기 가상 물체와 상이한 제2 가상 물체를 결정하는 단계; 및
상기 머리 장착형 디스플레이 디바이스를 사용하여 상기 제2 가상 물체를 디스플레이하는 단계
를 포함하는, 방법. - 제10항에 있어서,
상기 시선 스와이프 행동을 검출하는 단계는, 상기 머리 장착형 디스플레이 디바이스를 사용하여 상기 최종 사용자의 하나 이상의 머리 움직임을 추적하는 단계를 포함하고,
상기 심볼은 숫자를 포함하는 것인, 방법. - 제11항에 있어서,
상기 시선 스와이프 활성화 이벤트를 검출하는 것에 응답하여 가상 포인터를 디스플레이하는 단계를 더 포함하고,
상기 시선 스와이프 행동을 검출하는 단계는, 상기 하나 이상의 머리 움직임을 사용하여 상기 복수의 에지 중의 2개 이상의 에지를 통하여 상기 최종 사용자가 상기 가상 포인터를 이동시킨 것을 검출하는 단계를 포함하는 것인, 방법. - 제10항에 있어서,
상기 시선 스와이프 활성화 이벤트를 검출하는 것에 응답하여 가상 포인터를 디스플레이하는 단계를 더 포함하고,
상기 시선 스와이프 행동을 검출하는 단계는, 상기 최종 사용자가 상기 가상 물체를 응시하는 동안 상기 복수의 에지 중의 2개 이상의 에지를 통하여 상기 최종 사용자가 상기 가상 포인터를 이동시킨 것을 검출하는 단계를 포함하는 것인, 방법. - 제10항에 있어서,
상기 시선 스와이프 활성화 이벤트를 검출하는 것에 응답하여 가상 포인터를 디스플레이하는 단계를 더 포함하고,
상기 시선 스와이프 행동을 검출하는 단계는, 상기 복수의 에지 중의 3개 이상의 에지를 통하여 상기 최종 사용자가 상기 가상 포인터를 이동시킨 것을 검출하는 단계를 포함하는 것인, 방법. - 제10항에 있어서,
상기 제2 가상 물체를 결정하는 단계는, 상기 시선 스와이프 행동의 속도를 결정하는 단계 및 상기 시선 스와이프 행동의 속도에 기초하여 상기 제2 가상 물체를 결정하는 단계를 포함하는 것인, 방법. - 제10항에 있어서,
상기 제2 가상 물체를 결정하는 단계는, 상기 가상 물체의 사이즈를 결정하는 단계 및 상기 가상 물체의 사이즈에 기초하여 상기 제2 가상 물체를 결정하는 단계를 포함하는 것인, 방법. - 제10항에 있어서,
상기 가상 물체는, 상기 복수의 에지에 의해 경계 지어지는 형상을 포함하는 것인, 방법. - 제10항에 있어서,
상기 시선 스와이프 활성화 이벤트는 상기 최종 사용자가 적어도 역치 시구간 동안 상기 가상 물체를 응시하는 것을 포함하는 것인, 방법. - 제10항에 있어서,
상기 시선 스와이프 활성화 이벤트를 검출하는 것에 응답하여, 제1 선택 유형과 연관된 2개 이상의 에지를 강조하는(highlighting) 단계를 더 포함하는, 방법. - 하나 이상의 프로세서가 방법을 수행하도록 프로그래밍하기 위한 컴퓨터 판독 가능 코드를 포함하는 하나 이상의 하드웨어 스토리지 디바이스로서,
상기 방법은,
복수의 에지를 포함하는 가상 물체를 머리 장착형 디스플레이 디바이스의 최종 사용자에게 디스플레이하는 단계;
상기 최종 사용자에 의해 수행된 시선 스와이프 활성화 이벤트를 검출하는 단계;
상기 시선 스와이프 활성화 이벤트를 검출하는 것에 응답하여 에지 횡단의 순서를 디스플레이하는 단계 - 상기 에지 횡단의 순서를 디스플레이하는 단계는 상기 머리 장착형 디스플레이 디바이스를 사용하여 상기 복수의 에지 중의 2개 이상의 에지 위에 놓인 숫자를 디스플레이하는 단계를 포함함 - ;
상기 에지 횡단의 순서에 기초하여 상기 2개 이상의 에지를 통하여 횡단하는 상기 최종 사용자에 의해 수행된 시선 스와이프 행동을 검출하는 단계 - 상기 시선 스와이프 행동을 검출하는 단계는 상기 머리 장착형 디스플레이 디바이스를 사용하여 상기 최종 사용자의 하나 이상의 머리 움직임을 추적하는 단계를 포함함 - ;
상기 시선 스와이프 행동에 의해 횡단된 상기 2개 이상의 에지에 기초하여 상기 가상 물체와 상이한 제2 가상 물체를 결정하는 단계; 및
상기 머리 장착형 디스플레이 디바이스를 사용하여 상기 제2 가상 물체를 디스플레이하는 단계
를 포함하는 것인, 하나 이상의 하드웨어 스토리지 디바이스.
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US14/161,694 | 2014-01-23 | ||
| US14/161,694 US9201578B2 (en) | 2014-01-23 | 2014-01-23 | Gaze swipe selection |
| PCT/US2015/011671 WO2015112433A1 (en) | 2014-01-23 | 2015-01-16 | Gaze swipe selection |
| KR1020167020904A KR102304827B1 (ko) | 2014-01-23 | 2015-01-16 | 시선 스와이프 선택 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020167020904A Division KR102304827B1 (ko) | 2014-01-23 | 2015-01-16 | 시선 스와이프 선택 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210116705A KR20210116705A (ko) | 2021-09-27 |
| KR102350300B1 true KR102350300B1 (ko) | 2022-01-11 |
Family
ID=52450600
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020167020904A KR102304827B1 (ko) | 2014-01-23 | 2015-01-16 | 시선 스와이프 선택 |
| KR1020217029479A KR102350300B1 (ko) | 2014-01-23 | 2015-01-16 | 시선 스와이프 선택 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020167020904A KR102304827B1 (ko) | 2014-01-23 | 2015-01-16 | 시선 스와이프 선택 |
Country Status (5)
| Country | Link |
|---|---|
| US (2) | US9201578B2 (ko) |
| EP (1) | EP3097460B1 (ko) |
| KR (2) | KR102304827B1 (ko) |
| CN (1) | CN106415444B (ko) |
| WO (1) | WO2015112433A1 (ko) |
Families Citing this family (152)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9229233B2 (en) | 2014-02-11 | 2016-01-05 | Osterhout Group, Inc. | Micro Doppler presentations in head worn computing |
| US9298007B2 (en) | 2014-01-21 | 2016-03-29 | Osterhout Group, Inc. | Eye imaging in head worn computing |
| US9400390B2 (en) | 2014-01-24 | 2016-07-26 | Osterhout Group, Inc. | Peripheral lighting for head worn computing |
| US9965681B2 (en) | 2008-12-16 | 2018-05-08 | Osterhout Group, Inc. | Eye imaging in head worn computing |
| US20150205111A1 (en) | 2014-01-21 | 2015-07-23 | Osterhout Group, Inc. | Optical configurations for head worn computing |
| US9715112B2 (en) | 2014-01-21 | 2017-07-25 | Osterhout Group, Inc. | Suppression of stray light in head worn computing |
| US9952664B2 (en) | 2014-01-21 | 2018-04-24 | Osterhout Group, Inc. | Eye imaging in head worn computing |
| US10986223B1 (en) | 2013-12-23 | 2021-04-20 | Massachusetts Mutual Life Insurance | Systems and methods for presenting content based on user behavior |
| US10051113B1 (en) | 2016-03-22 | 2018-08-14 | Massachusetts Mutual Life Insurance Company | Systems and methods for presenting content based on user behavior |
| US10178222B1 (en) | 2016-03-22 | 2019-01-08 | Massachusetts Mutual Life Insurance Company | Systems and methods for presenting content based on user behavior |
| US10432781B1 (en) | 2016-03-22 | 2019-10-01 | Massachusetts Mutual Life Insurance Company | Systems and methods for presenting content based on user behavior |
| US9671613B2 (en) | 2014-09-26 | 2017-06-06 | Osterhout Group, Inc. | See-through computer display systems |
| US11103122B2 (en) | 2014-07-15 | 2021-08-31 | Mentor Acquisition One, Llc | Content presentation in head worn computing |
| US9575321B2 (en) | 2014-06-09 | 2017-02-21 | Osterhout Group, Inc. | Content presentation in head worn computing |
| US9829707B2 (en) | 2014-08-12 | 2017-11-28 | Osterhout Group, Inc. | Measuring content brightness in head worn computing |
| US9810906B2 (en) | 2014-06-17 | 2017-11-07 | Osterhout Group, Inc. | External user interface for head worn computing |
| US9594246B2 (en) | 2014-01-21 | 2017-03-14 | Osterhout Group, Inc. | See-through computer display systems |
| US9841599B2 (en) | 2014-06-05 | 2017-12-12 | Osterhout Group, Inc. | Optical configurations for head-worn see-through displays |
| US10191279B2 (en) | 2014-03-17 | 2019-01-29 | Osterhout Group, Inc. | Eye imaging in head worn computing |
| US10649220B2 (en) | 2014-06-09 | 2020-05-12 | Mentor Acquisition One, Llc | Content presentation in head worn computing |
| US20150277118A1 (en) * | 2014-03-28 | 2015-10-01 | Osterhout Group, Inc. | Sensor dependent content position in head worn computing |
| US9939934B2 (en) | 2014-01-17 | 2018-04-10 | Osterhout Group, Inc. | External user interface for head worn computing |
| US20160019715A1 (en) | 2014-07-15 | 2016-01-21 | Osterhout Group, Inc. | Content presentation in head worn computing |
| US9746686B2 (en) | 2014-05-19 | 2017-08-29 | Osterhout Group, Inc. | Content position calibration in head worn computing |
| US10684687B2 (en) | 2014-12-03 | 2020-06-16 | Mentor Acquisition One, Llc | See-through computer display systems |
| US11227294B2 (en) | 2014-04-03 | 2022-01-18 | Mentor Acquisition One, Llc | Sight information collection in head worn computing |
| US10254856B2 (en) | 2014-01-17 | 2019-04-09 | Osterhout Group, Inc. | External user interface for head worn computing |
| US9299194B2 (en) | 2014-02-14 | 2016-03-29 | Osterhout Group, Inc. | Secure sharing in head worn computing |
| US20150228119A1 (en) | 2014-02-11 | 2015-08-13 | Osterhout Group, Inc. | Spatial location presentation in head worn computing |
| US9529195B2 (en) | 2014-01-21 | 2016-12-27 | Osterhout Group, Inc. | See-through computer display systems |
| US20150206173A1 (en) | 2014-01-21 | 2015-07-23 | Osterhout Group, Inc. | Eye imaging in head worn computing |
| US9651784B2 (en) | 2014-01-21 | 2017-05-16 | Osterhout Group, Inc. | See-through computer display systems |
| US11487110B2 (en) | 2014-01-21 | 2022-11-01 | Mentor Acquisition One, Llc | Eye imaging in head worn computing |
| US9753288B2 (en) | 2014-01-21 | 2017-09-05 | Osterhout Group, Inc. | See-through computer display systems |
| US9494800B2 (en) | 2014-01-21 | 2016-11-15 | Osterhout Group, Inc. | See-through computer display systems |
| US11892644B2 (en) | 2014-01-21 | 2024-02-06 | Mentor Acquisition One, Llc | See-through computer display systems |
| US9529199B2 (en) | 2014-01-21 | 2016-12-27 | Osterhout Group, Inc. | See-through computer display systems |
| US11669163B2 (en) | 2014-01-21 | 2023-06-06 | Mentor Acquisition One, Llc | Eye glint imaging in see-through computer display systems |
| US11737666B2 (en) | 2014-01-21 | 2023-08-29 | Mentor Acquisition One, Llc | Eye imaging in head worn computing |
| US12093453B2 (en) | 2014-01-21 | 2024-09-17 | Mentor Acquisition One, Llc | Eye glint imaging in see-through computer display systems |
| US9836122B2 (en) | 2014-01-21 | 2017-12-05 | Osterhout Group, Inc. | Eye glint imaging in see-through computer display systems |
| US20150205135A1 (en) | 2014-01-21 | 2015-07-23 | Osterhout Group, Inc. | See-through computer display systems |
| US9615742B2 (en) | 2014-01-21 | 2017-04-11 | Osterhout Group, Inc. | Eye imaging in head worn computing |
| US9766463B2 (en) | 2014-01-21 | 2017-09-19 | Osterhout Group, Inc. | See-through computer display systems |
| US9846308B2 (en) | 2014-01-24 | 2017-12-19 | Osterhout Group, Inc. | Haptic systems for head-worn computers |
| US12112089B2 (en) | 2014-02-11 | 2024-10-08 | Mentor Acquisition One, Llc | Spatial location presentation in head worn computing |
| US9852545B2 (en) | 2014-02-11 | 2017-12-26 | Osterhout Group, Inc. | Spatial location presentation in head worn computing |
| US9401540B2 (en) | 2014-02-11 | 2016-07-26 | Osterhout Group, Inc. | Spatial location presentation in head worn computing |
| US20150241963A1 (en) | 2014-02-11 | 2015-08-27 | Osterhout Group, Inc. | Eye imaging in head worn computing |
| US20160187651A1 (en) | 2014-03-28 | 2016-06-30 | Osterhout Group, Inc. | Safety for a vehicle operator with an hmd |
| US9672210B2 (en) | 2014-04-25 | 2017-06-06 | Osterhout Group, Inc. | Language translation with head-worn computing |
| US10853589B2 (en) | 2014-04-25 | 2020-12-01 | Mentor Acquisition One, Llc | Language translation with head-worn computing |
| US9651787B2 (en) | 2014-04-25 | 2017-05-16 | Osterhout Group, Inc. | Speaker assembly for headworn computer |
| US10663740B2 (en) | 2014-06-09 | 2020-05-26 | Mentor Acquisition One, Llc | Content presentation in head worn computing |
| US20240295922A1 (en) * | 2014-06-20 | 2024-09-05 | Uday Parshionikar | Gesture based user interfaces, apparatuses and systems using eye tracking, head tracking, hand tracking, facial expressions and other user actions |
| KR20160015972A (ko) * | 2014-08-01 | 2016-02-15 | 엘지전자 주식회사 | 웨어러블 디바이스 및 그 제어 방법 |
| US9684172B2 (en) | 2014-12-03 | 2017-06-20 | Osterhout Group, Inc. | Head worn computer display systems |
| USD751552S1 (en) | 2014-12-31 | 2016-03-15 | Osterhout Group, Inc. | Computer glasses |
| USD753114S1 (en) | 2015-01-05 | 2016-04-05 | Osterhout Group, Inc. | Air mouse |
| US10878775B2 (en) | 2015-02-17 | 2020-12-29 | Mentor Acquisition One, Llc | See-through computer display systems |
| US20160239985A1 (en) | 2015-02-17 | 2016-08-18 | Osterhout Group, Inc. | See-through computer display systems |
| TWI567670B (zh) * | 2015-02-26 | 2017-01-21 | 宅妝股份有限公司 | 切換虛擬實境模式與擴增實境模式的管理方法以及系統 |
| US10156721B2 (en) * | 2015-03-09 | 2018-12-18 | Microsoft Technology Licensing, Llc | User-based context sensitive hologram reaction |
| US9791917B2 (en) * | 2015-03-24 | 2017-10-17 | Intel Corporation | Augmentation modification based on user interaction with augmented reality scene |
| KR102477849B1 (ko) * | 2015-09-15 | 2022-12-15 | 엘지전자 주식회사 | 이동 단말기 및 그것의 제어방법 |
| US10565446B2 (en) | 2015-09-24 | 2020-02-18 | Tobii Ab | Eye-tracking enabled wearable devices |
| EP3353630B1 (en) | 2015-09-24 | 2021-05-26 | Tobii AB | Eye-tracking enabled wearable devices |
| US20170092002A1 (en) * | 2015-09-30 | 2017-03-30 | Daqri, Llc | User interface for augmented reality system |
| US10466780B1 (en) | 2015-10-26 | 2019-11-05 | Pillantas | Systems and methods for eye tracking calibration, eye vergence gestures for interface control, and visual aids therefor |
| WO2017075100A1 (en) | 2015-10-26 | 2017-05-04 | Pillantas Inc. | Systems and methods for eye vergence control |
| KR102450416B1 (ko) | 2015-11-04 | 2022-10-05 | 삼성전자주식회사 | 전자 장치, 웨어러블 장치 및 전자 장치에서 디스플레이되는 객체를 제어하는 방법 |
| CN107111381A (zh) * | 2015-11-27 | 2017-08-29 | Fove股份有限公司 | 视线检测系统、凝视点确认方法以及凝视点确认程序 |
| JP6231585B2 (ja) | 2016-01-05 | 2017-11-15 | 株式会社Ｑｄレーザ | 画像投影装置 |
| US10616662B2 (en) | 2016-02-10 | 2020-04-07 | Disney Enterprises, Inc. | Systems and methods to provide video and control signals over an internet protocol communications network |
| US10788966B2 (en) * | 2016-02-10 | 2020-09-29 | Disney Enterprises, Inc. | Systems and methods for interacting with a virtual interface |
| US10347017B2 (en) * | 2016-02-12 | 2019-07-09 | Microsoft Technology Licensing, Llc | Interactive controls that are collapsible and expandable and sequences for chart visualization optimizations |
| US10748312B2 (en) | 2016-02-12 | 2020-08-18 | Microsoft Technology Licensing, Llc | Tagging utilizations for selectively preserving chart elements during visualization optimizations |
| US10591728B2 (en) | 2016-03-02 | 2020-03-17 | Mentor Acquisition One, Llc | Optical systems for head-worn computers |
| US10667981B2 (en) | 2016-02-29 | 2020-06-02 | Mentor Acquisition One, Llc | Reading assistance system for visually impaired |
| US10592586B1 (en) | 2016-03-22 | 2020-03-17 | Massachusetts Mutual Life Insurance Company | Systems and methods for improving workflow efficiency and for electronic record population |
| US10579708B1 (en) | 2016-03-22 | 2020-03-03 | Massachusetts Mutual Life Insurance Company | Systems and methods for improving workflow efficiency and for electronic record population utilizing intelligent input systems |
| US10306311B1 (en) | 2016-03-24 | 2019-05-28 | Massachusetts Mutual Life Insurance Company | Intelligent and context aware reading systems |
| US10360254B1 (en) * | 2016-03-24 | 2019-07-23 | Massachusetts Mutual Life Insurance Company | Intelligent and context aware reading systems |
| JP6630607B2 (ja) * | 2016-03-28 | 2020-01-15 | 株式会社バンダイナムコエンターテインメント | シミュレーション制御装置及びシミュレーション制御プログラム |
| US20170293363A1 (en) * | 2016-04-07 | 2017-10-12 | Jeffrey Shawn McLaughlin | System And Methods For Eye Gaze Triggered Control Of Appliance By Hand Gesture |
| CN109416572A (zh) | 2016-04-29 | 2019-03-01 | 托比股份公司 | 启用眼睛跟踪的可穿戴设备 |
| US10990169B2 (en) | 2016-06-28 | 2021-04-27 | Rec Room Inc. | Systems and methods for assisting virtual gestures based on viewing frustum |
| US10268266B2 (en) | 2016-06-29 | 2019-04-23 | Microsoft Technology Licensing, Llc | Selection of objects in three-dimensional space |
| JP2018005091A (ja) * | 2016-07-06 | 2018-01-11 | 富士通株式会社 | 表示制御プログラム、表示制御方法および表示制御装置 |
| US10489978B2 (en) * | 2016-07-26 | 2019-11-26 | Rouslan Lyubomirov DIMITROV | System and method for displaying computer-based content in a virtual or augmented environment |
| US10678327B2 (en) | 2016-08-01 | 2020-06-09 | Microsoft Technology Licensing, Llc | Split control focus during a sustained user interaction |
| US9871774B1 (en) | 2016-09-29 | 2018-01-16 | International Business Machines Corporation | Secured file transfer management on augmented reality (AR) and virtual reality (VR) devices |
| US9824206B1 (en) | 2016-09-29 | 2017-11-21 | International Business Machines Corporation | Eye gazing passcode generation crossing augmented reality (AR) and virtual reality (VR) devices |
| CN111610858B (zh) | 2016-10-26 | 2023-09-19 | 创新先进技术有限公司 | 基于虚拟现实的交互方法及装置 |
| CN106534963A (zh) * | 2016-11-24 | 2017-03-22 | 北京小米移动软件有限公司 | 直播处理方法、装置及终端 |
| US10474226B2 (en) * | 2016-11-30 | 2019-11-12 | Seiko Epson Corporation | Head-mounted display device, computer program, and control method for head-mounted display device |
| KR20180074369A (ko) * | 2016-12-23 | 2018-07-03 | 삼성전자주식회사 | 3차원 컨텐츠의 썸네일 관리 방법 및 그 장치 |
| US10534429B2 (en) | 2017-01-10 | 2020-01-14 | International Business Machines Corporation | Method of instant sharing invoked from wearable devices |
| US10348725B2 (en) | 2017-01-10 | 2019-07-09 | International Business Machines Corporatino | Method of instant sharing invoked from wearable devices |
| US10249295B2 (en) | 2017-01-10 | 2019-04-02 | International Business Machines Corporation | Method of proactive object transferring management |
| US10298690B2 (en) | 2017-01-10 | 2019-05-21 | International Business Machines Corporation | Method of proactive object transferring management |
| US20180267615A1 (en) * | 2017-03-20 | 2018-09-20 | Daqri, Llc | Gesture-based graphical keyboard for computing devices |
| CN106873783A (zh) * | 2017-03-29 | 2017-06-20 | 联想(北京)有限公司 | 信息处理方法、电子设备及输入装置 |
| US10249095B2 (en) | 2017-04-07 | 2019-04-02 | Microsoft Technology Licensing, Llc | Context-based discovery of applications |
| IL252056A (en) | 2017-05-01 | 2018-04-30 | Elbit Systems Ltd | Head-up display device, system and method |
| CN111133365B (zh) | 2017-05-01 | 2023-03-31 | 奇跃公司 | 内容到空间3d环境的匹配 |
| CN107463258A (zh) * | 2017-08-07 | 2017-12-12 | 北京铂石空间科技有限公司 | 头戴式显示设备、头戴式显示交互系统及显示交互方法 |
| KR102518404B1 (ko) | 2017-09-29 | 2023-04-06 | 삼성전자주식회사 | 전자 장치 및 그의 시선 정보를 이용한 컨텐트 실행 방법 |
| KR20220100102A (ko) | 2017-09-29 | 2022-07-14 | 애플 인크. | 시선-기반 사용자 상호작용 |
| CN111684495A (zh) | 2017-12-22 | 2020-09-18 | 奇跃公司 | 用于在混合现实系统中管理和显示虚拟内容的方法和系统 |
| US10739861B2 (en) * | 2018-01-10 | 2020-08-11 | Facebook Technologies, Llc | Long distance interaction with artificial reality objects using a near eye display interface |
| IL275822B2 (en) * | 2018-01-17 | 2024-02-01 | Magic Leap Inc | Eye center for determining rotation, choosing depth plane and processing camera position in display systems |
| IL276621B2 (en) | 2018-02-22 | 2024-05-01 | Magic Leap Inc | A browser for mixed reality systems |
| EP3756079A4 (en) | 2018-02-22 | 2021-04-28 | Magic Leap, Inc. | OBJECT GENERATION WITH PHYSICAL MANIPULATION |
| US11086474B2 (en) * | 2018-04-09 | 2021-08-10 | Spatial Systems Inc. | Augmented reality computing environments—mobile device join and load |
| WO2019217081A1 (en) | 2018-05-09 | 2019-11-14 | Apple Inc. | Selecting a text input field using eye gaze |
| US10908419B2 (en) | 2018-06-28 | 2021-02-02 | Lucyd Ltd. | Smartglasses and methods and systems for using artificial intelligence to control mobile devices used for displaying and presenting tasks and applications and enhancing presentation and display of augmented reality information |
| US10855978B2 (en) | 2018-09-14 | 2020-12-01 | The Toronto-Dominion Bank | System and method for receiving user input in virtual/augmented reality |
| US11353952B2 (en) | 2018-11-26 | 2022-06-07 | Tobii Ab | Controlling illuminators for optimal glints |
| US11137874B2 (en) | 2019-02-22 | 2021-10-05 | Microsoft Technology Licensing, Llc | Ergonomic mixed reality information delivery system for dynamic workflows |
| TWI725574B (zh) * | 2019-02-22 | 2021-04-21 | 宏達國際電子股份有限公司 | 頭戴式顯示裝置以及眼球追蹤游標的顯示方法 |
| USD900204S1 (en) | 2019-03-22 | 2020-10-27 | Lucyd Ltd. | Smart glasses |
| USD900203S1 (en) | 2019-03-22 | 2020-10-27 | Lucyd Ltd. | Smart glasses |
| USD899493S1 (en) | 2019-03-22 | 2020-10-20 | Lucyd Ltd. | Smart glasses |
| USD900205S1 (en) | 2019-03-22 | 2020-10-27 | Lucyd Ltd. | Smart glasses |
| USD899499S1 (en) | 2019-03-22 | 2020-10-20 | Lucyd Ltd. | Smart glasses |
| USD899496S1 (en) | 2019-03-22 | 2020-10-20 | Lucyd Ltd. | Smart glasses |
| USD899500S1 (en) | 2019-03-22 | 2020-10-20 | Lucyd Ltd. | Smart glasses |
| USD899495S1 (en) | 2019-03-22 | 2020-10-20 | Lucyd Ltd. | Smart glasses |
| USD899498S1 (en) | 2019-03-22 | 2020-10-20 | Lucyd Ltd. | Smart glasses |
| USD900920S1 (en) | 2019-03-22 | 2020-11-03 | Lucyd Ltd. | Smart glasses |
| USD899494S1 (en) | 2019-03-22 | 2020-10-20 | Lucyd Ltd. | Smart glasses |
| USD900206S1 (en) | 2019-03-22 | 2020-10-27 | Lucyd Ltd. | Smart glasses |
| USD899497S1 (en) | 2019-03-22 | 2020-10-20 | Lucyd Ltd. | Smart glasses |
| CN113711174A (zh) | 2019-04-03 | 2021-11-26 | 奇跃公司 | 用混合现实系统在虚拟三维空间中管理和显示网页 |
| JP7356827B2 (ja) * | 2019-06-26 | 2023-10-05 | 株式会社コロプラ | プログラム、情報処理方法、及び情報処理装置 |
| CN110333785B (zh) * | 2019-07-11 | 2022-10-28 | Oppo广东移动通信有限公司 | 信息处理方法、装置、存储介质及增强现实设备 |
| CN114342367A (zh) * | 2019-09-13 | 2022-04-12 | 索尼集团公司 | 再现装置、再现方法和记录介质 |
| USD955467S1 (en) | 2019-12-12 | 2022-06-21 | Lucyd Ltd. | Sport smartglasses having flat connector hinges |
| USD954135S1 (en) | 2019-12-12 | 2022-06-07 | Lucyd Ltd. | Round smartglasses having flat connector hinges |
| USD954136S1 (en) | 2019-12-12 | 2022-06-07 | Lucyd Ltd. | Smartglasses having pivot connector hinges |
| USD958234S1 (en) | 2019-12-12 | 2022-07-19 | Lucyd Ltd. | Round smartglasses having pivot connector hinges |
| USD954137S1 (en) | 2019-12-19 | 2022-06-07 | Lucyd Ltd. | Flat connector hinges for smartglasses temples |
| USD974456S1 (en) | 2019-12-19 | 2023-01-03 | Lucyd Ltd. | Pivot hinges and smartglasses temples |
| EP4104436A4 (en) | 2020-02-14 | 2024-03-13 | Magic Leap, Inc. | VIRTUAL OBJECT MOVEMENT SPEED CURVE FOR VIRTUAL AND AUGMENTED REALITY DISPLAY SYSTEMS |
| US11282523B2 (en) | 2020-03-25 | 2022-03-22 | Lucyd Ltd | Voice assistant management |
| US20210357021A1 (en) * | 2020-05-13 | 2021-11-18 | Northwestern University | Portable augmented reality system for stepping task therapy |
| US20230050526A1 (en) * | 2021-08-10 | 2023-02-16 | International Business Machines Corporation | Internet of things configuration using eye-based controls |
| EP4250031A1 (en) * | 2022-03-22 | 2023-09-27 | Basf Se | An augmented reality based automation system with a hands free selection of a virtual object |
| CN114972700A (zh) * | 2022-06-22 | 2022-08-30 | 阿里巴巴（中国）有限公司 | 虚拟环境中的物体选择方法、装置及电子设备 |
| US20240071002A1 (en) * | 2022-08-30 | 2024-02-29 | Rovi Guides, Inc. | Systems and methods for pinning content items to locations in an augmented reality display based on user preferences |
| CN116610219B (zh) * | 2023-07-21 | 2024-01-12 | 广州宏途数字科技有限公司 | 一种可智能互动阅读方法、装置、计算设备和存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100201621A1 (en) | 2007-08-07 | 2010-08-12 | Osaka Electro-Communication University | Moving object detecting apparatus, moving object detecting method, pointing device, and storage medium |
| US20120257035A1 (en) | 2011-04-08 | 2012-10-11 | Sony Computer Entertainment Inc. | Systems and methods for providing feedback by tracking user gaze and gestures |
| US20130154913A1 (en) | 2010-12-16 | 2013-06-20 | Siemens Corporation | Systems and methods for a gaze and gesture interface |
| US20130169560A1 (en) | 2012-01-04 | 2013-07-04 | Tobii Technology Ab | System for gaze interaction |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7401920B1 (en) | 2003-05-20 | 2008-07-22 | Elbit Systems Ltd. | Head mounted eye tracking and display system |
| US7561143B1 (en) | 2004-03-19 | 2009-07-14 | The University of the Arts | Using gaze actions to interact with a display |
| US8648880B2 (en) * | 2010-06-03 | 2014-02-11 | Sony Corporation | Terminal device, display method, and application computer program product |
| US9285874B2 (en) * | 2011-02-09 | 2016-03-15 | Apple Inc. | Gaze detection in a 3D mapping environment |
| AU2011204946C1 (en) * | 2011-07-22 | 2012-07-26 | Microsoft Technology Licensing, Llc | Automatic text scrolling on a head-mounted display |
| US20130083018A1 (en) | 2011-09-30 | 2013-04-04 | Kevin A. Geisner | Personal audio/visual system with holographic objects |
| US8235529B1 (en) * | 2011-11-30 | 2012-08-07 | Google Inc. | Unlocking a screen using eye tracking information |
| JP5945417B2 (ja) | 2012-01-06 | 2016-07-05 | 京セラ株式会社 | 電子機器 |
| US9058054B2 (en) | 2012-02-29 | 2015-06-16 | Google Inc. | Image capture apparatus |
| CN102981620A (zh) * | 2012-11-27 | 2013-03-20 | 中兴通讯股份有限公司 | 一种终端操作方法及终端 |
| KR102081930B1 (ko) * | 2013-03-21 | 2020-02-26 | 엘지전자 주식회사 | 시선 위치를 디텍트하는 디스플레이 디바이스 및 제어 방법 |
-
2014
- 2014-01-23 US US14/161,694 patent/US9201578B2/en active Active
-
2015
- 2015-01-16 EP EP15702893.7A patent/EP3097460B1/en active Active
- 2015-01-16 KR KR1020167020904A patent/KR102304827B1/ko active IP Right Grant
- 2015-01-16 KR KR1020217029479A patent/KR102350300B1/ko active IP Right Grant
- 2015-01-16 WO PCT/US2015/011671 patent/WO2015112433A1/en active Application Filing
- 2015-01-16 CN CN201580005721.4A patent/CN106415444B/zh active Active
- 2015-10-28 US US14/925,796 patent/US9442567B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100201621A1 (en) | 2007-08-07 | 2010-08-12 | Osaka Electro-Communication University | Moving object detecting apparatus, moving object detecting method, pointing device, and storage medium |
| US20130154913A1 (en) | 2010-12-16 | 2013-06-20 | Siemens Corporation | Systems and methods for a gaze and gesture interface |
| US20120257035A1 (en) | 2011-04-08 | 2012-10-11 | Sony Computer Entertainment Inc. | Systems and methods for providing feedback by tracking user gaze and gestures |
| US20130169560A1 (en) | 2012-01-04 | 2013-07-04 | Tobii Technology Ab | System for gaze interaction |
Also Published As
| Publication number | Publication date |
|---|---|
| US9442567B2 (en) | 2016-09-13 |
| US20160048204A1 (en) | 2016-02-18 |
| EP3097460A1 (en) | 2016-11-30 |
| CN106415444A (zh) | 2017-02-15 |
| EP3097460B1 (en) | 2019-01-09 |
| WO2015112433A1 (en) | 2015-07-30 |
| CN106415444B (zh) | 2019-10-01 |
| KR20160113139A (ko) | 2016-09-28 |
| KR102304827B1 (ko) | 2021-09-23 |
| KR20210116705A (ko) | 2021-09-27 |
| US9201578B2 (en) | 2015-12-01 |
| US20150205494A1 (en) | 2015-07-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102350300B1 (ko) | 시선 스와이프 선택 | |
| KR102305380B1 (ko) | 자동 컨텐츠 스크롤링 | |
| US10643389B2 (en) | Mechanism to give holographic objects saliency in multiple spaces | |
| CN107111370B (zh) | 现实世界对象的虚拟表示 | |
| KR102213725B1 (ko) | 모바일 디바이스 착용 시의 머리 움직임 추적 | |
| US9552060B2 (en) | Radial selection by vestibulo-ocular reflex fixation | |
| KR102482217B1 (ko) | 3d 홀로그래픽 환경에서의 콘텐츠 관리 | |
| US20140152558A1 (en) | Direct hologram manipulation using imu | |
| US20140002496A1 (en) | Constraint based information inference | |
| EP2932355A1 (en) | People-triggered holographic reminders |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A107 | Divisional application of patent | ||
| A201 | Request for examination | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |