KR20170090490A - 시선 타겟 애플리케이션 런처 - Google Patents

시선 타겟 애플리케이션 런처 Download PDF

Info

Publication number
KR20170090490A
KR20170090490A KR1020177018380A KR20177018380A KR20170090490A KR 20170090490 A KR20170090490 A KR 20170090490A KR 1020177018380 A KR1020177018380 A KR 1020177018380A KR 20177018380 A KR20177018380 A KR 20177018380A KR 20170090490 A KR20170090490 A KR 20170090490A
Authority
KR
South Korea
Prior art keywords
application launcher
display
user
sight
head
Prior art date
Application number
KR1020177018380A
Other languages
English (en)
Other versions
KR102473259B1 (ko
Inventor
테일러 레흐만
김 파스칼 핌멜
크세르크레스 베하리
란지브 바드
지아시 장
Original Assignee
마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 filed Critical 마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Publication of KR20170090490A publication Critical patent/KR20170090490A/ko
Application granted granted Critical
Publication of KR102473259B1 publication Critical patent/KR102473259B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

실시예는 애플리케이션 런처의 디스플레이된 위치를 제어하는 방법을 개시한다. 예시적인 방법은 안구 추적 카메라를 통해 시선 타겟을 인식하는 단계, 및 사용자 트리거에 응답하여, 디스플레이를 통해 시선 타겟에서 애플리케이션 런처를 디스플레이하는 단계를 포함하며, 상기 애플리케이션 런처는 런칭을 위해 선택가능한 복수의 애플리케이션을 제시한다. 예시적인 방법은 복수의 애플리케이션 중 하나의 애플리케이션의 사용자 선택을 인식하는 단계, 및 디스플레이를 통해, 시선 타겟에서 애플리케이션 런처를 복수의 애플리케이션 중 선택된 애플리케이션으로 대체하는 단계를 더 포함한다.

Description

시선 타겟 애플리케이션 런처{GAZE TARGET APPLICATION LAUNCHER}
컴퓨팅 장치는 작업을 수행하기 위한 애플리케이션을 실행할 수 있다. 컴퓨팅 장치의 애플리케이션에 액세스하기 위해, 이용가능한 애플리케이션의 표시를 갖는 사용자 인터페이스 요소가 선택을 위해 제시(present)될 수 있다.
실시예들은 컴퓨팅 장치에 대한 애플리케이션 런처의 위치를 제어하기 위해 개시된다. 예시적인 방법은 시선 타겟을 인식하는 단계 및 사용자 트리거에 응답하여 시선 타겟에 애플리케이션 런처를 디스플레이하는 단계를 포함한다. 상기 방법은 복수의 애플리케이션 중 하나 애플리케이션의 사용자 선택을 인식하는 단계, 및 시선 타겟에서 애플리케이션 런처를 복수의 애플리케이션 중 선택된 애플리케이션으로 대체하는 단계를 더 포함한다.
이 [발명의 내용]은 이하 [발명을 실시하기 위한 구체적인 내용]에서 더 설명되는 단순화된 형태의 개념의 선택을 소개하기 위해 제공된다. 이 [발명의 내용]은 청구된 발명 대상의 주요 피처나 필수적인 특징을 식별하도록 의도되지 않으며, 청구 대상의 범위를 제한하기 위해 사용되도록 의도되지 않는다. 또한, 청구 대상은 본 명세서의 임의의 부분에서 언급된 임의의 또는 모든 단점을 해결하는 구현에 제한되지 않는다.
도 1은 컴퓨팅 장치 및 연관 디스플레이와 상호작용하기 위한 예시적인 환경을 나타낸다.
도 2는 애플리케이션 런처의 위치를 제어하기 위한 예시적인 방법의 흐름도이다.
도 3은 도 1의 예시적인 환경에서 헤드 마운티드 디스플레이 장치의 사용자의 예시적인 시야를 나타낸다.
도 4a 및 도 4b는 헤드 마운티드 디스플레이를 통한 사용자의 시야의 예시적인 타임 라인을 나타낸다.
도 5는 디스플레이 장치 상에 애플리케이션 런처를 제시하기 위한 예시적인 환경을 나타낸다.
도 6은 예시적인 컴퓨팅 시스템의 블록도이다.
도 7은 헤드 마운티드 디스플레이의 일례를 개략적으로 나타낸다.
본 개시의 컴퓨팅 장치는 애플리케이션 런칭을 용이하게 하도록 구성된다. 일례에 있어서, 증강 현실 컴퓨팅 장치는 사용자가 보고있는 시선 타겟(gaze target)을 인식할 수 있다. 사용자 트리거에 응답하여, 증강 현실 컴퓨팅 장치는 애플리케이션 런처가 시선 타겟에서 위치되는 것처럼 보이도록 애플리케이션 런처[또는 애플리케이션 런처 어포던스(affordance) 또는 미리보기(preview)]의 증강 현실 이미지를 디스플레이하도록 구성된다. 애플리케이션 런처로부터 후속하여 런칭된 애플리케이션은 애플리케이션 런처를 대체할 수 있다. 이와 같이, 애플리케이션 런처에 대한 위치를 선택함으로써, 사용자는 후속하여 런칭되는 애플리케이션에 대한 위치를 효과적으로 선택하고 있다. 두 선택 모두 사용자의 시선을 기반으로 한다. 다른 예에서, 종래의 디스플레이 상의 사용자의 시선이 가늠(assess)되고, 시선의 디스플레이 위치에서 애플리케이션 런처 또는 미리보기가 디스플레이되고, 사용자 선택에 응답하여 런칭된 애플리케이션이 애플리케이션 런처를 대체한다.
증강 현실 환경에서, 애플리케이션 런처는 사용자가 증강 현실 체험을 떠나지 않고 현실 세계의 환경에서 임의의 적합한 표면 상에 "갑자기(out of thin air)" 또는 오버레이로서 애플리케이션을 런칭하게 한다. 이러한 환경에서, 애플리케이션 런처는, 런처가 헤드 마운티드 디스플레이 장치(head-mounted display device)의 움직임에 관계없이 런처가 현실 세계 객체와 동일한 위치에 머무르는 것처럼 보이도록, 월드-로크(world-locked)될 수 있다. 다른 구현에 있어서, 애플리케이션 런처는 사용자가 움직이는 것처럼 보이도록 바디-로크(body-locked)될 수 있다. 일부 구현에서, 애플리케이션 런처는 월드-로크와 바디-로크 모드 사이에서 스위칭될 수 있다.
도 1은 사용자(102)가 컴퓨팅 장치(104) 및 헤드 마운티드 디스플레이 장치(106) 중 하나 이상과 상호작용하여 애플리케이션을 런칭할 수 있는 예시적인 환경(100)을 도시한다. 예를 들어, 애플리케이션은 헤드 마운티드 디스플레이 장치(106)를 사용하여 런칭될 수 있다. 컴퓨팅 장치(104)는 비디오 게임 콘솔, 홈 엔터테인먼트 장치(예를 들어, 오디오/비디오 수신기), 개인용 컴퓨팅 장치, 랩탑, 스마트 폰, 태블릿 컴퓨팅 장치, 및/또는 임의의 다른 적절한 컴퓨팅 시스템을 포함하지만 그것에 한정되지 않은 임의의 적합한 컴퓨팅 장치를 포함할 수 있다. 헤드 마운티드 디스플레이 장치(106)는 시스루(see-through) 디스플레이(들) 및 스피커(들)를 통해 볼 수 있는 현실 세계 환경에 대한 증강으로서 디스플레이 데이터를 제시하기 위한 시스루 디스플레이(들)와 같은 하나 이상의 출력 장치를 포함할 수 있다. 헤드 마운티드 디스플레이(HMD) 장치(106)는 HMD 장치에 통합되거나 HMD 장치에 통신가능하게 결합된 하나 이상의 센서 서브시스템을 더 포함할 수 있다. 예를 들어, 하나 이상의 센서 서브시스템은 안구 추적(eye-tracking) 카메라(예를 들어, 착용자의 시선 타겟을 결정하기 위해 헤드 마운티드 디스플레이 장치의 착용자의 눈의 이미지를 캡처하도록 구성된 후방향 카메라), 마이크로폰 및 전방향 카메라(예를 들어, 환경 이미지를 캡처하기 위해)를 포함할 수 있지만, 그것에 한정되지 않을 수 있다.
컴퓨팅 장치(104) 및/또는 헤드 마운티드 디스플레이 장치(106)는 애플리케이션 런처 및/또는 하나 이상의 런칭된 애플리케이션을 제시하기 위해 헤드 마운티드 디스플레이 장치(106)의 시스루 디스플레이(들) 및/또는 디스플레이 장치(108)에 통신가능하게 접속될 수 있다. 다른 구현에 있어서, 애플리케이션 런칭 기능은 디스플레이 디바이스(108) 및/또는 헤드 마운티드 디스플레이 디바이스(106)의 온-보드 컴퓨팅 시스템에 의해 처리될 수 있다. 또 다른 구현에 있어서, 애플리케이션 런칭 기능 중 적어도 일부는 원격 컴퓨터 또는 서비스에 의해 처리될 수 있다. 예시적인 애플리케이션 런처(109)는 환경의 벽 상에 도시되고, 점선은 애플리케이션 런처가 헤드 마운티드 디스플레이 디바이스(106)를 통해 환경에 대한 증강으로서 보여질 수 있음을 나타낸다. 애플리케이션 런처(109)는 하나 이상의 아이콘 또는 각각의 사용자 인터페이스 요소의 선택을 통해 런치될 수있는 하나 이상의 애플리케이션을 표시하는 다른 사용자 인터페이스 요소를 포함할 수 있다.
센서(110)는 [예를 들어, 환경(100)의] RGB 이미지 데이터/프레임 및/또는 깊이 이미지 데이터/프레임을 캡처하기 위한 가시광 카메라, 적외선 카메라, 및/또는 가시/적외선 광 프로젝터 중 하나 이상을 포함할 수 있다. 일부 예에서, 센서(110)의 하나 이상의 카메라는 사용자의 시선 타겟을 결정하기 위해 사용자의 눈의 이미지를 캡처하도록 구성된 안구 추적 카메라일 수 있다. 센서(110)는 [예를 들어, 환경(100)으로부터] 사운드를 수신하기 위한 하나 이상의 방향성 마이크로폰을 추가적으로 또는 대안적으로 포함할 수 있다.
도 2는 애플리케이션 런처의 위치를 제어하기 위한 방법(200)의 흐름도이다. 방법(200)은 컴퓨팅 장치(104), 헤드 마운티드 디스플레이 장치(106), 또는 원격 컴퓨팅 장치 또는 서비스를 포함하지만 이에 한정되지 않는 임의의 적합한 컴퓨팅 장치에 의해 수행될 수 있다. 202에서, 방법(200)은 시선 타겟을 인식하는 단계를 포함한다. 시선 타겟을 인식하기 위해 임의의 적절한 시선 추적 기술이 수행될 수 있다. 예를 들어, 도 1의 헤드 마운티드 디스플레이 장치(106)의 안구 추적 카메라 및/또는 센서(110)의 안구 추적 카메라는, 시선 방향을 결정하기 위해 사용자의 눈의 이미지를 캡처할 수 있다. 시선 방향은 디스플레이 또는 표면(예를 들어, 도 1의 헤드 마운티드 디스플레이 장치(106), 디스플레이 장치(108)의 시스루 디스플레이 및/또는 프로젝터가 이미지를 투사할 수 있는 표면)을 향하여 사용자의 눈으로부터 연장하는 벡터를 포함할 수 있다. 시선 방향의 벡터가 디스플레이와 교차하는 위치(예를 들어, 픽셀 좌표)는 시선 타겟(예를 들어, 시선이 향하는 디스플레이 상의 위치)이 되는 것으로 결정될 수 있다. 다른 예에서, 시선 타겟은 머리 이동을 추적함으로써 인식될 수 있다. 그러한 예에서, 여기에 사용되는 용어 "시선"은 머리 타겟팅 시선이라고 말할 수 있다.
204에서, 이 방법은 애플리케이션 런처를 디스플레이하라는 요청을 표시하는 사용자 트리거를 인식하는 단계를 포함한다. 사용자 트리거는 컴퓨팅 장치 및/또는 헤드 마운티드 디스플레이 장치에 의해 인식가능한 임의의 적절한 사용자 입력을 포함할 수 있다. 예를 들어, 사용자 트리거는 (예를 들어, 시선 타겟을 인식하기 위해 사용되는) 안구 추적 카메라 및 다른 촬상 장치[예를 들어, 도 1의 센서(110)와 같은, 환경을 촬상하기 위한 가시광, 적외선 또는 깊이 카메라] 중 하나 이상을 통해 인식되는 제스처(예를 들어, 손, 얼굴 및/또는 신체 제스처)을 포함할 수 있다. 사용자 트리거는 추가적으로 또는 대안적으로 마이크로폰 및 하나 이상의 음성 인식 모듈(예를 들어, 컴퓨팅 장치에 국부적인, 및/또는 컴퓨팅 장치에 통신가능하게 접속된 원격 서비스 내의)을 통해 인식되는 음성 명령을 포함할 수 있다. 추가 또는 대안적인 예에서, 사용자 트리거는 지속적인 시선(예를 들어, 사용자 시선이 시선 타겟으로 향한다는 인식 및/또는 시선 타겟이 트리거 문턱값보다 큰 지속시간 동안 유지된다는 인식)을 포함할 수 있다. 시선 타겟 인식을 포함하는 사용자 트리거는 시선이 디스플레이, 사용자 인터페이스 및/또는 환경의 "비어 있는" 영역으로 향한다는 것을 식별하는 단계을 포함할 수 있다. 예를 들어, "비어 있는" 영역은 사용자 인터페이스 요소를 포함하지 않는 영역 및/또는 선택가능한 현실 세계 또는 디스플레이된 객체를 포함하지 않는 영역을 포함할 수 있다.
사용자 트리거는 추가적으로 또는 대안적으로 디스플레이 장치 상에 디스플레이된 사용자 인터페이스 요소에 향해진 시선, 제어 장치 또는 다른 입력 장치(예를 들어, 런치 애플리케이션에 사용되는 컴퓨팅 장치 및/또는 헤드 마운티드 디스플레이 외부의 제어 장치) 상의 물리적인 버튼 작동, 임의의 다른 적절한 사용자 입력을 포함할 수 있다. 사용자 입력들의 임의의 조합이 사용자 트리거로서 인식될 수 있음을 이해해야 한다.
206에 나타낸 바와 같이, 이 방법은 사용자 트리거에 응답하여 시선 타겟에서 애플리케이션 런처[예를 들어, 도 1의 애플리케이션 런처(109)]의 위치 미리보기(positional preview)를 디스플레이하는 단계를 포함할 수 있다. 애플리케이션 런처의 위치 미리보기를 디스플레이하는 단계는 사용자가 애플리케이션 런처의 배치를 미세 조정할 기회를 제공할 수 있다. 위치 미리보기는 또한 사용자가 미리보기에 의해 표시된 위치에서 애플리케이션 런처의 배치가 시선 타겟 및 사용자 트리거의 의도된 결과임을 확인하게 할 수 있다. 예를 들어, 위치 미리보기는 애플리케이션 런처의 윤곽(예를 들어, 애플리케이션 런처에 대응하는 사용자 인터페이스 요소 또는 애플리케이션 윈도우의 외부 에지의 윤곽)일 수 있다. 추가적인 또는 대안적인 예에서, 위치 미리보기는, 애플리케이TUS 런처가 디스플레이될 위치, 크기 및/또는 형상의 표시를 제공하는, 애플리케이션 런처의 반투명 버전, 애플리케이션 런처의 애니메이션, 및/또는 애플리케이션 런처의 다른 변형된 버전(예를 들어, 상이한 크기, 회전, 형상, 및/또는 다른 특징을 가짐)일 수 있다. 일부 예에 있어서, 위치 미리보기의 중심은 디스플레이에서 애플리케이션 런처와 동일한 픽셀 좌표에 있을 수 있다(위치 미리보기가 수락되면). 이러한 방식으로, 미리보기는 디스플레이될 애플리케이션 런처 및/또는 애플리케이션의 외형, 크기, 위치 및/또는 다른 특징의 근사치를 제공할 수 있다(예를 들어, 사용자로 하여금 런칭될 애플리케이션이 차지할 공간의 양을 결정하게 함).
208에 나타낸 바와 같이, 방법(200)은 확인 입력 또는 미리보기 지속시간의 만료가 인식되었는지를 결정하는 단계를 포함할 수 있다. 확인 입력은 임의의 적절한 사용자 입력을 포함할 수 있고, 사용자 트리거와 관련하여 상술된 예들 중 하나 이상을 포함하지만 그에 한정되지 않는다. 예를 들어, 확인 입력은 헤드 마운티드 디스플레이에 통합된 및/또는 원격인 카메라에 의해 인식가능한 제스처를 포함할 수 있다. 위치 미리보기는 추가적으로 또는 대안적으로 미리보기를 확인/취소/조정하는 미리보기 부재 사용자 입력을 디스플레이하는 시간량을 정의하는 미리정의 된(예를 들어, 제조자에 의해 및/또는 사용자 제어 설정 내에서 정의된) 미리보기 지속시간을 가질 수 있다.
208에서 확인 입력이 인식되지 않고 미리보기 지속시간이 만료되지 않았다면(예를 들어, 208에서 "아니오"), 방법은 취소 또는 조정 입력이 인식되는지를 결정하기 위해 210으로 진행할 수 있다. 취소 입력은 애플리케이션 런처(및 연과된 위치 미리보기)의 제시를 취소하려는 의도를 표시하는 적절한 사용자 입력(예를 들어, 전술한 사용자 입력 예들 중 하나 이상의 임의의 조합)을 포함할 수 있다. 예를 들어, 취소 입력은 사용자로 하여금 거짓 긍정(false positive) 사용자 트리거 인식을 표시하게 할 수 있다. 조정 입력은, 위치 미리보기(및 후속하여 디스플레이 된 애플리케이션 런처)의 위치를 조정하려는 사용자를 식별하는, 취소 입력과는 상이한 사용자 입력을 포함할 수 있다. 조정 입력은 위치 미리보기를 이동시키는 방향, 위치 미리보기를 이동시키는 양, 및/또는 위치 미리보기의 에지, 중심 및/또는 다른 부분이 위치될 디스플레이 상의 위치를 표시하는 사용자 입력을 포함할 수 있다. 예를 들어, 사용자는 조정이 이루어질 것임을 표시하는 제스처를 수행할 수 있고, 미리보기의 중심이 위치되는 새 위치를 응시할 수 있다
210에서 취소 및/또는 조정 입력이 수신되지 않으면(210에서 "아니오"), 방법은 212로 진행하여 현재 위치에서 미리보기를 디스플레이하는 것을 계속하고, 208로 리턴하여 확인 입력 및/또는 미리보기 기간의 만료에 대해 체크를 계속할 수 있다. 반대로, 취소 및/또는 조정 입력이 210에서 수신되면(210에서 "예"), 방법은 단계(214)로 진행하여 현재 위치에서 미리보기를 디스플레이하는 것을 중단할 수 있다. 예를 들어, 취소 입력이 210에서 인식되면, 미리보기는 디스플레이로부터 완전히 제거될 수 있고, 방법은 새로운 시선 타겟을 인식하기 위해 종료되고/종료되거나 202로 리턴될 수 있다. 조정 입력이 210에서 인식되면, 방법은 216에 표시된 바와 같이 새로운 위치로 미리보기를 이동시키는 단계 및 확인 입력 및/또는 미리보기의 만료에 기초하여 새로운 위치가 수용가능한지를 결정하기 위해 단계(208)로 리턴하는 단계를 포함할 수 있다.
208으로 돌아가서, 확인 입력 또는 미리보기 지속시간의 만료가 인식되면(208에서 "예"), 방법은 218로 진행하여 애플리케이션 런처를 디스플레이한다. 예를 들어, 위치 미리보기는, 애플리케이션 런처의 적어도 에지, 중심 또는 다른 부분이 위치 미리보기(예를 들어, 206에서 디스플레이되고, 그리고/또는 216에서 개로운 위치에 있는)의 에지, 중심, 또는 다른 부분의 각각의 위치에 배치되도록, 220에 나타낸 바와 같이 애플리케이션 런처로 대체될 수 있다. 미리보기가 디스플레이되지 않는 예들에서(예를 들어, 206-216이 수행되지 않음), 204에서 인식된 사용자 트리거에 직접 응답하여, 218에서 애플리케이션 런처가 디스플레이될 수 있음을 이해해야 한다. 예시적인 애플리케이션 런처(109)가 도 1에 도시되고, 도 4a, 도 4b 및 도 5에 관하여 추가의 예들이 이하 설명된다. 일부 예들에서, 미리보기 지속시간은 확인보다는 오히려 위치 미리보기 및 애플리케이션 런처 디스플레이의 취소와 연관될 수 있음을 이해해야 한다. 그러한 예들에서, 208에서 미리보기 지속시간의 만료는 방법이 218이 아닌 214로 진행하게 할 수 있다.
218에서 디스플레이된 애플리케이션 런처는 런칭을 위해 선택가능한 복수의 애플리케이션을 제시할 수 있다. 예를 들어, 애플리케이션 런처는 컴퓨팅 장치에 의해 실행가능한 모든 애플리케이션 및/또는 컴퓨팅 장치에 의해 실행가능한 애플리케이션의 서브세트를 제시할 수 있다. 후자의 예에서, 애플리케이션의 서브세트는 자동으로 사용자 선호도, 컴퓨팅 장치의 현재 컨텍스트(예를 들어, 컴퓨팅 장치의 환경, 컴퓨팅 장치의 상태, 시각 등), 컴퓨팅 장치의 최근 활동(예를 들어, 열린 또는 최근 사용된 애플리케이션), 현재 시선 타겟, 사용자 명령어 및/또는 임의의 다른 적절한 파라미터에 기초한 제시를 위해 자동적으로 선택될 수 있다. 애플리케이션 런처는 애플리케이션 런처의 경계 내에서 볼 수 있는 더 많은 애플리케이션들을 포함할 수 있고, 스크롤링 및/또는 페이지 조정은 런치를 위해 현재 제시된 애플리케이션을 변경하기 위해 사용될 수 있다.
222에서 방법(200)은 애플리케이션 런처에서 애플리케이션의 사용자 선택을 인식하는 단계를 포함한다. 애플리케이션은 임의의 적합한 방식으로 수행될 수 있고, 상술된 사용자 입력 메카니즘들 중 어느 것을 포함할 수 있다. 예를 들어, 사용자는 그 애플리케이션을 식별하는 음성 명령을 제공하고, 그리고/또는 그 애플리케이션을 식별하는 애플리케이션 런처 내의 디스플레이된 사용자 인터페이스 요소 쪽으로 시선을 향하게 함으로써 특정 애플리케이션을 식별할 수 있다. 또다른 예로서, 사용자는 하나 이상의 카메라에 의해 식별된 포인팅 제스처를 수행할 수 있다.
224에서 표시된 바와 같이, 상기 방법은 애플리케이션 런처를 선택된 애플리케이션으로 대체하는 단계를 포함한다. 예를 들어, 애플리케이션 런처를 선택된 애플리케이션으로 대체하는 단계는 시선 타겟 및/또는 애플리케이션 런처의 위치에서 선택된 애플리케이션의 그래픽 사용자 인터페이스 요소 및/또는 윈도우를 디스플레이하는 단계를 포함할 수 있다. 애플리케이션 런처를 애플리케이션으로 대체하는 단계는, 애플리케이션의 디스플레이가능한 부분(예를 들어, 에지, 중심, 경계 등)이 애플리케이션 런처의 각각의 부분에 정렬되고 애플리케이션 런처 대신에 디스플레이되도록, 위치 미리보기를 애플리케이션 런처로 선택적으로 대체하는 것과 유사 할 수있다. 여기서 사용된 바와 같이, 애플리케이션을 런칭하는데 적용되는 용어 "런치"는 애플리케이션을 실행하는 것 및/또는 애플리케이션을 포커싱/디스플레이하는 것(예를 들어, 이미 실행된/현재 실행중인 애플리케이션 시스템에 와이드 포커싱을 부여하거나, 그렇지 않으면 애플리케이션 런처에 의해 정의된 위치에서 애플리케이션이 디스플레이 상에 보여지도록 가져오는 것)을 포함할 수 있다.
도 3은 도 1의 환경(100) 내의 헤드 마운티드 디스플레이 장치(106)의 사용자(102)의 예시적인 시야(300)를 도시한다. 예를 들어, 시야(300)는 헤드 마운티드 디스플레이 장치(106)의 시스루 디스플레이(들)을 통해 볼 수 있는 환경(100)의 일부를 나타낼 수 있다. 시야 내에서, 사용자는 시선 타겟(304)에 대응할 수 있는 시선 라인(302)에 의해 표시되는 방향으로 응시할 수 있다. 예를 들어, 사용자가 애플리케이션을 런칭하려는 경우, 시선 타겟(304)에 위치된 비어 있는 벽이 선택될 수 있다.
또한, 도 4a 및 도 4b는 헤드 마운티드 디스플레이[예를 들어, 도 1 및 도 3의 헤드 마운티드 디스플레이 장치(106)의 사용자(102)]의 시스루 디스플레이를 통한 시야의 예시적인 타임 라인(400)을 도시한다. 예를 들어, 시간 T1에서의 시야 내에서, 도 1의 컴퓨팅 장치(104), 디스플레이 장치(108) 및 센서 장치(110)와 같은 환경(100)에서의 현실 세상 객체는, (예를 들어, 날씨 및 새로운 메시지 표시를 나타내는) 통지 아이콘(402)과 같은 디스플레이된 증강 요소와 나란히 볼 수 있다. 시선 라인(404)에 의해 대표되는 바와 같이, 사용자의 시선이 실제 세계 환경의 벽에 대응하는 시선 타겟(406)을 향해질 수 있다.
시간 T2 이전에, 시선 타겟(406)에서 애플리케이션 런처를 디스플레이하려는 의도를 표시하는 사용자 트리거가 인식된다. 예를 들어, 사용자 트리거는 시간 T1과 T2 사이의 어느 시점에서 수행 및/또는 인식될 수 있다. 따라서, 애플리케이션 런처의 위치 미리보기(408)는, 미리보기가 시선 타겟의 중심에 놓이도록, 현실 세계 환경에 대한 증강으로서 디스플레이될 수있다.
시간 T3 이전에, 위치 미리보기가 애플리케이션 런처의 의도된 위치를 표시한다는 확인을 표시하는 확인 입력이 인식된다. 예를 들어, 확인 입력이 시간 T2와 T3 사이의 어떤 지점에서 수행 및/또는 인식되었을 수 있다. 따라서, 위치 미리보기(408)는 애플리케이션 런처(410)로 대체된다. 애플리케이션 런처(410)는 복수의 아이콘(412) - 각 아이콘이 런칭을 위한 상이한 선택가능한 애플리케이션을 식별함 - 을 포함한다. 애플리케이션 런처는 이전에 위치 미리보기가 차지한 공간과 동일한 공간을 차지한다.
시간 T4에서, 시선 라인(414)에 의해 표시된 사용자 시선은 아이콘들(412) 중 선택된 하나[예를 들어, 아이콘(412a)]로 향하게 된다. 애플리케이션의 사용자 선택은 시간 T4와 T5 사이의 어느 시점에서 수행된다. 따라서, 시간 T5에서, 애플리케이션 런처가 선택된 애플리케이션[예를 들어, 선택된 애플리케이션과 연관된 사용자 인터페이스 윈도우(416)]으로 대체된다. 도시된 예에서, 선택된 애플리케이션은 애플리케이션 런처와 동일한 경계 내에 제시되지만, 다른 구성이 제공될 수도 있다. 예를 들어, 사용자 인터페이스 윈도우(416)의 중심은 애플리케이션 런처(410)의 중심과 동일한 위치에 위치될 수 있지만, 런칭된 애플리케이션은 애플리케이션 런처와는 상이한 크기, 방향, 및/또는 형상을 가질 수 있다.
도 5는 도 1의 환경(100)에서의 사용자(102)가, 헤드 마운티드 디스플레이 장치(106) 및 연관된 시스루 디스플레이(들)보다는, 컴퓨팅 장치(104) 및 디스플레이 장치(108)와 상호작용하는 예시적인 시나리오를 나타낸다. 예시된 바와 같이, 사용자 트리거와 함께 시선 라인(502)에 의해 표시되는 사용자102)의 시선은 컴퓨팅 시스템(104)으로 하여금 디스플레이스 장치(108) 상에 애플리케이션 런터(504)를 디스플레이하도록 할 수 있다. 예를 들어, 센서 장치(110)는 사용자(102)의 눈을 촬상하고, 컴퓨팅 장치(104)로 이미지를 전송할 수 있다. 컴퓨팅 장치(104)는 이미지를 분석하고, 그리고/또는 원격 처리/분석을 위해 네트워크를 통해 원격 서비스(예를 들어, 클라우드 컴퓨팅 장치)로 이미지를 전송할 수 있다. 이미지를 분석할 때, 컴퓨팅 장치는 시선 방향을 결정하고, 시선 방향을 디스플레이 장치(108) 상의 위치로 맵핑하여 시선 타겟을 결정할 수 있다. 사용자 트리거 및/또는 위치 미리보기의 확인에 응답하여, 컴퓨팅 장치(104)는 시선 타겟의 위치에서 애플리케이션 런처를 디스플레이하도록(예를 들어, 시선 타겟에서 애플리케이션 런처를 중심으로) 디스플레이 장치에 지시할 수 있다.
상술된 방법 및 시스템은 컴퓨팅 장치 및/또는 헤드 마운티드 디스플레이 장치의 사용자에 대한 심리스 애플리케이션 런칭 체험을 제공할 수 있다. 애플리케이션 런처(및 이후에 선택된 애플리케이션)로 하여금 사용자 선택 위치에 배치될 수있게함으로써, 사용자가 기존의 디스플레이된 객체의 번거로운 재배열 또는 증강 현실 환경에서 현실 세계 객체로부터의 간섭없이 새로운 애플리케이션을 런칭할 수있게 할 수 있다.
일부 실시 예에서, 여기에 설명되는 방법 및 프로세스는 하나 이상의 컴퓨팅 장치의 컴퓨팅 시스템에 관련될 수 있다. 특히, 이러한 방법 및 프로세스는 컴퓨터 애플리케이션 프로그램 또는 서비스, API(application-programming interface), 라이브러리 및/또는 다른 컴퓨터 프로그램 제품으로서 구현될 수 있다.
도 6은 상술된 방법 및 프로세스 중 하나 이상을 실시할 수 있는 컴퓨팅 시스템(600)의 비제한적인 실시예를 개략적으로 도시한다. 컴퓨팅 시스템(600)은 단순화된 형태로 도시된다. 컴퓨팅 시스템(600)은 하나 이상의 헤드 마운티드 디스플레이 장치, 착용가능한 장치, 퍼스널 컴퓨터, 서버 컴퓨터, 태블릿 컴퓨터, 홈 엔터테인먼트 컴퓨터, 네트워크 컴퓨팅 장치, 게임 장치, 모바일 컴퓨팅 장치, 이동 통신 장치(예를 들어, 스마트 폰) 및/또는 다른 컴퓨팅 장치의 형태를 취할 수 있다. 예를 들어, 컴퓨팅 시스템(600)은 도 1, 도 3 및 도 5의 컴퓨팅 장치(104) 및/또는 헤드 마운티드 디스플레이 장치(106)를 포함할 수 있고 그리고/또는 그 내부에 포함될 수 있다.
컴퓨팅 시스템(600)은 로직 머신(602) 및 저장 머신(604)을 포함한다. 컴퓨팅 시스템(600)은 디스플레이 서브시스템(606), 입력 서브시스템(608), 통신 서브시스템(610) 및/또는 도 6에 도시되지 않은 다른 컴포넌트를 선택적으로 포함할 수 있다.
로직 머신(602)은 명령어들을 실행하도록 구성된 하나 이상의 물리적 장치들을 포함한다. 예를 들어, 로직 머신은 하나 이상의 애플리케이션, 서비스, 프로그램, 루틴, 라이브러리, 객체, 컴포넌트, 데이터 구조, 또는 다른 로직 구조의 일부인 명령어들을 실행하도록 구성될 수 있다. 그러한 명령어들은 태스크를 수행하거나, 데이터 유형을 구현하거나, 하나 이상의 컴포넌트의 상태를 변환하거나, 기술적 효과를 달성하거나, 그렇지 않으면 원하는 결과에 도달하도록 구현될 수 있다.
로직 머신은 소프트웨어 명령어들을 실행하도록 구성된 하나 이상의 프로세서를 포함할 수 있다. 추가적으로 또는 대안적으로, 로직 머신은 하드웨어 또는 펌웨어 명령어들을 실행하도록 구성된 하나 이상의 하드웨어 또는 펌웨어 로직 머신을 포함할 수 있다. 로직 머신의 프로세서는 단일 코어 또는 다중 코어일 수 있고, 그 위에서 실행되는 명령어들은 순차, 병렬 및/또는 분산된 프로세싱을 위해 구성될 수 있다. 로직 머신의 개별 컴포넌트들은 선택적으로 협조된 프로세싱(coordinated processing)를 위해 원격으로 위치 및/또는 구성될 수 있는 둘 이상의 개별 디바이스들 사이에 분배될 수 있다. 로직 머신의 양상은 클라우드 컴퓨팅 구성으로 구성된 원격 액세스가능한 네트워크 컴퓨팅 장치에 의해 가상화되고 실행될 수 있다.
저장 머신(604)은 여기에 설명된 방법 및 프로세스를 구현하기 위해 로직 머신에 의해 실행가능한 명령어들을 보유하도록 구성된 하나 이상의 물리적 장치를 포함한다. 이러한 방법 및 프로세스가 구현될 때, 저장 머신(604)의 상태는, 예를 들어 상이한 데이터를 보유하기 위해, 변환될 수 있다.
저장 머신(604)은 제거가능한 그리고/또는 내장된(built-in) 장치를 포함할 수 있다. 저장 머신(604)은 그 중에서도 광학 메모리(예를 들어, CD, DVD, HD-DVD, 블루레이 디스크 등), 반도체 메모리(예를 들어, RAM, EPROM, EEPROM 등) 및/또는 자기 메모리(예를 들어, 하드디스크 드라이브, 플로피디스크 드라이브, 테이프 드라이브, MRAM 등)를 포함할 수 있다. 저장 머신(604)은 휘발성, 비휘발성, 동적, 정적, 읽기/쓰기, 읽기전용, 랜덤 액세스, 순차 액세스, 위치 어드레서블, 파일 어드레서블 및/또는 콘텐트 어드레서블 장치를 포함할 수 있다.
저장 머신(604)은 하나 이상의 물리적 장치를 포함한다는 것이 인지될 것이다. 그러나, 여기서 설명된 명령어들의 양상은, 대안적으로, 유한한 기간 동안 물리적 장치에 의해 보유되지 않는 통신 매체(예를 들어, 전자기 신호, 광학 신호 등)에 의해 전파될 수 있다.
로직 머신(602) 및 저장 머신(604)의 양상들은 하나 이상의 하드웨어 로직 컴포넌트에 함께 통합될 수 있다. 이러한 하드웨어 로직 컴포넌트는 예를 들어, FPGA(Field-Programmable Gate Array), PASIC/ASIC(Program- and Application-Specific Integrated Circuit), PSSP/ASSP(Program- and Application-Specific Standard Product), SOC(system-on-a-chip) 및 CPL(complex programmable logic device)와 같은 디바이스를 포함할 수 있다.
용어 "모듈", "프로그램" 및 "엔진"은 특정 기능을 수행하도록 구현된 컴퓨팅 시스템(600)의 일양상을 기술하는데 사용될 수 있다. 몇몇 경우에, 모듈, 프로그램 또는 엔진은 저장 머신(604)에 의해 보유된 명령어들을 실행하는 로직 머신(602)을 통해 예시될 수 있다. 상이한 모듈, 프로그램 및/또는 엔진이 동일한 애플리케이션, 서비스, 코드 블록, 객체, 라이브러리, 루틴, API, 함수 등으로부터 예시될 수 있음이 이해될 것이다. 마찬가지로, 동일한 모듈, 프로그램 및/또는 엔진이 상이한 애플리케이션, 서비스, 코드 블록, 객체, 루틴, API, 함수 등에 의해 예시될 수 있다. 용어 "모듈", "프로그램" 및 "엔진"은 실행가능한 파일, 데이터 파일, 라이브러리, 드라이버, 스크립트, 데이터베이스 레코드 등의 개별 또는 그룹을 포함할 수 있다.
여기서 사용된 "서비스"는 다중 사용자 세션에 걸쳐 실행가능한 애플리케이션 프로그램이다. 서비스는 하나 이상의 시스템 컴포넌트, 프로그램 및/또는 기타 서비스에 이용가능할 수 있다. 일부 구현에서, 서비스는 하나 이상의 서버 컴퓨팅 장치 상에 실행할 수 있다
포함될 때, 디스플레이 서브시스템(606)은 저장 머신(604)에 의해 보유된 데이터의 시각적 표현을 제시하는데 사용될 수 있다. 이 시각적 표현은 그래픽 사용자 인터페이스(GUI)의 형태를 취할 수 있다. 여기서 기술된 방법 및 프로세스가 저장 머신에 의해 보유된 데이터를 변경함에 따라 저장 머신의 상태를 변환시키므로, 디스플레이 서브시스템(606)의 상태는 마찬가지로 하부 데이터(underlying data)에서의 변화를 시각적으로 나타내도록 변환될 수 있다. 예를 들어, 도 1의 헤드 마운티드 디스플레이 장치(106)의 로직 머신으로부터의 명령어들에 응답하여, 시스루 디스플레이의 상태는 사용자 트리거의 인식에 응답하여 애플리케이션 런처를 디스플레이하도록 변환될 수 있다. 디스플레이 서브시스템(606)은 가상으로 임의의 유형의 기술을 이용하는 하나 이상의 디스플레이 장치를 포함할 수 있다. 이러한 디스플레이 디바이스는 공유 엔클로저 내의 로직 머신(602) 및/또는 저장 머신(604)과 결합될 수 있거나, 그러한 디스플레이 디바이스는 주변 디스플레이 장치일 수 있다.
포함될 때, 입력 서브시스템(608)은 키보드, 마우스, 터치 스크린, 또는 게임 컨트롤러와 같은 하나 이상의 사용자 입력 장치를 포함하거나 그것과 인터페이싱할 수 있다. 일부 실시예에 있어서, 입력 서브시스템은 선택된 NUI(natural user input) 컴포넌트를 포함하거나 그것과 인터페이싱할 수 있다. 이러한 컴포넌트는 통합되거나 주변 장치일 수 있으고, 입력 동작의 변환 및/또는 처리는 온보드 또는 오프보드로 처리될 수 있다. 예시적인 NUI 컴포넌트는 스피치 및/또는 음성 인식을위한 마이크로폰; 머신 비전 및/또는 제스처 인식을 위한 적외선, 컬러, 입체 및/또는 깊이 카메라; 모션 검출 및/또는 의도 인식을 위한 헤드 추적기, 안구 추적기, 가속도계, 및/또는 자이로스코프뿐만 아니라; 뇌 활동을 가늠하기 위한 전계 감지 컴포넌트를 포함할 수 있다.
포함될 때, 통신 서브시스템(610)은 컴퓨팅 시스템(600)을 하나 이상의 다른 컴퓨팅 장치들과 통신가능하게 결합하도록 구성될 수 있다. 통신 서브시스템(610)은 하나 이상의 상이한 통신 프로토콜과 호환가능한 유선 및/또는 무선 통신 장치를 포함할 수 있다. 비제한적인 예로서, 통신 서브시스템은 무선 전화 네트워크 또는 유선 또는 무선 로컬 또는 광역 네트워크를 통한 통신을 위해 구성될 수 있다. 일부 실시예에서, 통신 서브시스템은 컴퓨팅 시스템(600)으로 하여금 인터넷과 같은 네트워크를 통해 다른 장치로 메세지를 전송하고/전송하거나 다른 장치로부터 메시지를 수신하게 할 수 있다.
도 7은 시스루 디스플레이(702)를 갖는 착용가능한 안경의 형태에서 도 1 및 도 3의 HMD 장치(106)의 비제한적인 예를 도시한다. HMD 장치는 투명, 반투명 및/또는 불투명 디스플레이가 보는 사람의 눈 또는 눈들의 전방에 지지되는 임의의 다른 적합한 형태를 취할 수 있다. 또한, 여기에 설명된 실시예는 모바일 컴퓨팅 장치, 랩톱 컴퓨터, 데스크톱 컴퓨터, 태블릿 컴퓨터, 다른 웨어러블 컴퓨터 등을 포함하지만 이에 제한되지 않는 임의의 다른 적절한 컴퓨팅 장치와 함께 사용될 수 있다.
HMD 장치(106)는 시스루 디스플레이(702) 및 컨트롤러(704)를 포함한다. 시스루 디스플레이(702)는 홀로그램 객체와 같은 이미지가 HMD 장치의 착용자의 눈으로 전달될 수 있게 할 수 있다. 시스루 디스플레이(702)는 투명 디스플레이를 통해 물리적 환경을 보는 착용자에게 현실 세계의 물리적 환경의 외관을 시각적으로 증강하도록 구성될 수 있다. 일례에서, 디스플레이는 그래픽 사용자 인터페이스 상에 하나 이상의 UI 객체를 디스플레이하도록 구성될 수 있다. 일부 실시예에서, 그래픽 사용자 인터페이스 상에 제시된 UI 객체는 현실 세계 환경의 전면에 중첩된 가상 객체일 수 있다. 마찬가지로, 일부 실시예에서, 그래픽 사용자 인터페이스 상에 제시된 UI 객체는 시스루 디스플레이(702)를 통해 보여지는 현실 세계 환경의 현실 세계 객체의 요소를 통합할 수 있다. 다른 예에서, 디스플레이는 게임, 비디오 또는 다른 시각적 컨텐츠와 연관된 가상 객체와 같은 하나 이상의 다른 그래픽 객체를 디스플레이하도록 구성될 수 있다.
임의의 적합한 메카니즘이 시스루 디스플레이(702)를 통해 이미지를 디스플레이하는데 사용될 수 있다. 예를 들어, 시스루 디스플레이(702)는 렌즈(706) 내에 위치된 이미지-생성 요소[예를 들어, 시스루 유기 발광 다이오드(Organic Light-Emitting Diode; OLED) 디스플레이 등]를 포함할 수 있다. 다른 예로서, 시스루 디스플레이(702)는 HMD 장치(106)의 프레임 내에 위치된 디스플레이 장치[예를 들어, LCOS(liquid crystal on silicon) 장치 또는 OLED 마이크로 디스플레이 등]를 포함할 수 있다. 이 예에서, 렌즈(706)는 디스플레이 장치로부터 착용자의 눈으로 광을 전달하기 위한 광 가이드로서 역할을 하거나 또는 그렇지 않으면 그러한 광 가이드를 포함할 수 있다. 이러한 광 가이드는 착용자가 보고 있는 물리적 환경 내에 위치된 3D 홀로그램 이미지를 착용자가 인지할 수 있게 하면서, 착용자로 하여금 물리적 환경에서 물리적 객체를 볼 수 있게 함으로써 복합된 현실 환경을 생성할 수 있게 한다.
또한, HMD 장치(106)는 컨트롤러(704)에 정보를 제공하기 위해 다양한 센서 및 관련 시스템을 포함할 수 있다. 이러한 센서는 하나 이상의 내측으로 향한 이미지 센서(708a 및 708b), 하나 이상의 외측으로 향한 이미지 센서(710), 관성 측정 유닛(inertial measurement unit; IMU)(712) 및 하나 이상의 마이크로폰(720)을 포함하지만, 이에 한정되지 않는다. 하나 이상의 내측으로 향한 이미지 센서(708a, 708b)는 착용자의 눈으로부터 시선 추적 데이터의 형태로 이미지 데이터를 획득하도록 구성될 수 있다[예를 들어, 센서(708a)가 착용자의 눈 중 하나에 대한 이미지 데이터를 획득할 수 있고, 센서(708b)가 착용자의 눈의 다른 하나에 대한 이미지 데이터를 획득할 수 있다]. HMD 장치는 이미지 센서(708a, 708b)로부터 수신된 정보에 기초하여 임의의 적절한 방식으로 착용자의 눈 각각의 시선 방향을 결정하도록 구성될 수 있다. 예를 들어, 적외선 광원과 같은 하나 이상의 광원(714a, 714b)은 착용자의 각 눈의 각막으로부터 광의 반짝임(glint)을 반사시키도록 구성될 수 있다. 그 다음에, 하나 이상의 이미지 센서들(708a, 708b)은 착용자의 눈의 이미지를 캡처하도록 구성될 수 있다. 이미지 센서(708a, 708b)로부터 수집된 이미지 데이터로부터 결정된 것과 같은 반짝임 및 동공의 이미지는 각 눈의 광학 축을 결정하기 위해 컨트롤러(704)에 의해 사용될 수 있다. 이 정보를 사용하여, 컨트롤러(704)는 착용자가 응시하고 있는 방향을 결정하도록 구성될 수 있다. 컨트롤러(704)는 착용자가 응시하고 있는 물리적 및/또는 가상 객체의 아이덴티티를 추가적으로 결정하도록 구성될 수 있다.
하나 이상의 외측으로 향한 이미지 센서(710)는 HMD 장치(106)가 위치된 물리적 환경으로부터 물리적 환경 데이터를 수신하도록 구성될 수 있다. 외측으로 향한 이미지 센서(710)로부터의 데이터는 착용자에 의해 또는 시야 내의 사람 또는 물리적 객체에 의해 수행되는 또는 다른 움직임과 같은 디스플레이(702)의 시야 내에서의 움직임을 검출하는데 사용될 수 있다. 일례에 있어서, 외측으로 향한 이미지 센서(710)로부터의 데이터는, 디스플레이 장치 상에 디스플레이된 UI 객체의 선택을 표시하는, 제스처(예를 들어, 손가락의 핀칭, 주먹 쥐기 등)와 같은 HMD 장치의 착용자에 의해 수행된 선택 입력을 검출하는데 사용될 수 있다. 외측으로 향한 센서로부터의 데이터는 현실 세계 환경에서 HMD 장치(106)의 위치/모션 추적을 가능하게 하는 방향/위치 및 방위 데이터(예를 들어, 촬상 환경 특징으로부터)를 결정하는데 사용될 수도 있다.
IMU(712)는 컨트롤러(704)에 HMD 장치(106)의 위치 및/또는 방위 데이터를 제공하도록 구성될 수 있다. 일 실시예에서, IMU(712)는 3축 또는 3자유도(three degrees of freedom) 위치 센서 시스템으로서 구성될 수 있다. 이 예시적인 위치 센서 시스템은 예를 들어 직교하는 3축(예를 들어, x, y, z)[예를 들어, 롤, 피치, 요(yaw)]에 대한 3D 공간 내에서 HMD 장치(106)의 방위의 변화를 표시하거나 측정하는 3개의 자이로스코프를 포함할 수 있다. IMU의 센서 신호로부터 도출된 방위는 시스루 디스플레이를 통해 하나 이상의 가상 UI 객체를 3자유도에서 디스플레이하는데 사용될 수 있다.
또 다른 예에서, IMU(712)는 6축 또는 6자유도 위치 센서 시스템으로서 구성될 수 있다. 이러한 구성은 직교하는 3축을 따라 HMD 장치(106)의 위치의 변화 및 직교하는 3축을 중심으로 장치 방위의 변화를 표시하거나 측정하기 위해 3개의 가속도계 및 3개의 자이로스코프를 포함할 수 있다. 일부 실시예에서, 외측으로 향한 이미지 센서(710) 및 IMU(712)로부터의 위치 및 방위 데이터는 HMD 장치(106)의 위치 및 방위를 결정하기 위해 함께 사용될 수 있다.
HMD 장치(106)는 또한 GPS 또는 다른 글로벌 내비게이션 시스템과 같은 다른 적절한 위치결정 기술을 지원할 수 있다. 또한, 위치 센서 시스템의 특정 예가 설명되었지만, 임의의 다른 적절한 위치 센서 시스템이 사용될 수 있다는 것이 인지될 것이다. 예를 들어, 머리 포즈 및/또는 움직임 데이터는 임의의 수의 자이로스코프, 가속도계, 관성 측정 유닛, GPS 장치, 기압계, 자력계, 카메라[예를 들어, 가시광 카메라, 적외선 광 카메라, 타임-오브-플라이트(time-of-flight) 깊이 카메라, 구조화된 광 깊이 카메라 등], 통신 장치(예를 들어, WIFI 안테나/인터페이스) 등을 포함하지만, 이에 한정되지 않는 착용자 및/또는 착용자 외부에 장착된 센서의 임의의 조합으로부터의 센서 정보에 기초하여 결정된다.
도 7에 계속해서, 컨트롤러(704)는 하나 이상의 내측으로 향한 화상 센서(708a, 708b)에 의해 검출된 정보에 기초하여 시간 경과에 따라 다수의 안구 시선 샘플을 기록하도록 구성될 수 있다. 각 안구 시선 샘플에 대해, 안구 추적 정보, 및 일부 실시예에서 머리 추적 정보[이미지 센서(710) 및/또는 IMU(712)로부터의]는 안구 시선이 시스루 디스플레이와 교하는 추정 위치를 생성하도록 그 안구 시건 샘플의 원점 및 방향 벡터를 추정하는데 사용될 수 있다. 안구 시선 샘플을 결정하는데 사용되는 안구 추적 정보 및 머리 추적 정보의 예로는 안구 시선 방향, 머리 방위, 안구 시선 속도, 안구 시선 가속도, 안구 시선 방향 각도 변화 및/또는 임의의 다른 적절한 추적 정보를 포함할 수 있다. 일부 실시예에서, 안구 시선 추적은 HMD 장치(106)의 착용자의 양 눈에 대해 독립적으로 기록될 수 있다.
상술된 바와 같이, HMD 장치(106)는 또한 오디오 데이터를 캡처하는 마이크로폰(720)과 같은 하나 이상의 마이크로폰을 포함할 수 있다. 일부 예에서, 하나 이상의 마이크로폰(720)은 2개 이상의 마이크로폰을 포함하는 마이크로폰 어레이를 포함할 수 있다. 예를 들어, 마이크로폰 어레이는 4개의 마이크로폰을 포함할 수 있고, 2개의 마이크로폰은 우측 렌즈 위에 위치결정되고, 2개의 마이크로폰은 HMD 장치의 좌측 렌즈 위에 위치결정된다. 또한, 오디오 출력은 스피커(722)와 같은 하나 이상의 스피커를 통해 착용자에게 제시될 수 있다. 일부 실시예에서, 마이크로폰 시스템은 시스루 디스플레이 상에 디스플레이되는 그래픽 사용자 인터페이스 상에 제시된 UI 객체의 선택을 표시하는 오디오 피드백을 제공하도록 구성될 수 있다.
컨트롤러(704)는 다양한 센서 및 HMD 장치의 디스플레이와 통신하는, 도 6과 관련하여 상시 더 상세히 논의된, 로직 머신 및 저장 머신을 포함할 수 있다. 일례에 있어서, 저장 머신은 여기에 설명된 바와 같이 디스플레이된 가상 객체에 대한 사운드를 하나 이상의 외부 스피커에 제공하기 위해 로직 머신에 의해 실행가능한 명령어들을 포함할 수 있다.
또 다른 예는, 안구 추적 카메라를 통해 시선 타겟을 인식하는 단계; 사용자 트리거에 응답하여 디스플레이를 통해 시선 타겟에서 애플리케이션 런처 - 상기 애플리케이션 런처는 런칭을 위해 선택가능한 복수의 애플리케이션을 제시함 - 를 디스플레이하는 단계; 복수의 애플리케이션 중 하나의 애플리케이션의 사용자 선택을 인식하는 단계; 및 디스플레이를 통해 시선 타겟에서 애플리케이션 런처를 복수의 애플리케이션 중 선택된 애플리케이션으로 대체하는 단계를 포함하는 방법을 제공한다. 이러한 예에서, 애플리케이션 런처를 복수의 애플리케이션 중 선택된 애플리케이션으로 대체하는 단계는 추가적으로 또는 대안으로 시선 타겟에서 복수의 애플리케이션 중 선택된 애플리케이션의 그래픽 사용자 인터페이스 요소를 디스플레이하는 단계를 포함할 수 있다. 이러한 예에서, 사용자 트리거는 추가적으로 또는 대안적으로 안구 추적 카메라 및 다른 촬상 장치 중 하나 이상을 통해 인식되는 제스처를 포함할 수 있다. 이러한 예에서, 사용자 트리거는 추가적으로 또는 대안적으로 마이크로폰을 통해 인식되는 음성 명령을 포함할 수 있다. 이러한 예에서, 사용자 트리거는 추가적으로 또는 대안적으로 지속적인 시선을 포함할 수 있고, 이 방법은 추가적으로 또는 대안적으로 안구 추적 카메라를 통해 트리거 문턱값보다 큰 지속시간 동안 사용자 시선이 시선 타겟으로 향하는 것을 인식하는 것에 응답하여 사용자 트리거를 인식하는 단계를 더 포함할 수 있다. 이러한 예에서, 상기 방법은 추가적으로 또는 대안적으로 애플리케이션 런처를 디스플레이하는 단계 이전에, 시선 타겟에서 애플리케이션 런처의 위치 미리보기를 디스플레이하는 단계를 더 포함할 수 있다. 이러한 예에서, 상기 방법은 추가적으로 또는 대안적으로 디스플레이를 통해 확인 입력에 응답하여 애플리케이션 런처의 위치 미리보기를 애플리케이션 런처로 대체하는 단계를 더 포함할 수 있다. 이러한 예에서, 디스플레이는 추가적으로 또는 대안적으로 헤드 마운티드 디스플레이 장치의 시스루 디스플레이를 포함할 수 있고, 안구 추적 카메라는 추가적으로 또는 대안적으로 헤드 마운티드 디스플레이 장치에 통합될 수 있다. 이러한 예에서, 디스플레이는 추가적으로 또는 대안적으로 헤드 마운티드 디스플레이 장치의 시스루 디스플레이를 포함할 수 있고, 사용자 트리거는 추가적으로 또는 대안적으로 헤드 마운티드 디스플레이 장치로부터 원격인 촬상 장치에 의해 캡처된 이미지의 분석에 기초하여 인식될 수 있다. 상술된 예들 중 임의의 것 또는 모두는 다양한 구현에서 임의의 적절한 방식으로 결합될 수 있다.
또 다른 예는, 안구 추적 카메라, 시스루 디스플레이, 로직 머신, 및 로직 머신에 의해 실행가능한 명령어들을 보유하는 저장 머신을 포함하는 헤드 마운티드 디스플레이 장치를 제공하고, 상기 명령어들은 안구 추적 카메라를 통해 시선 타겟을 인식하고, 사용자 트리거에 응답하여 시스루 디스플레이를 통해 시선 타겟에서 애플리케이션 런처 - 상기 애플리케이션 런처는 런칭을 위해 선택가능한 복수의 애플리케이션을 제시함 - 를 디스플레이하고, 복수의 애플리케이션 중 하나의 애플리케이션의 사용자 선택을 인식하고, 디스플레이스를 통해 시선 타겟에서 애플리케이션 런처를 복수의 애플리케이션 중 선택된 애플리케이션으로 대체하도록 실행가능하다. 이러한 예에서, 헤드 마운티드 디스플레이 장치는 추가적으로 또는 대안적으로 입력 서브시스템을 더 포함할 수 있고, 사용자 트리거는 추가적으로 또는 대안적으로 입력 서브시스템을 통해 검출될 수 있다. 이러한 예에서, 사용자 트리거는 추가적으로 또는 대안적으로 헤드 마운티드 디스플레이 장치 및 헤드 마운티드 디스플레이 장치로부터 원격인 카메라 중 하나 이상을 통해 인식되는 제스처를 포함할 수 있다. 이러한 예에서, 헤드 마운티드 디스플레이 장치는 추가적으로 또는 대안적으로 마이크로폰을 더 포함할 수 있고, 사용자 트리거는 추가적으로 또는 대안적으로 마이크로폰을 통해 인식된 음성 명령을 포함할 수 있다. 이러한 예에서, 사용자 트리거는 추가적으로 또는 대안적으로 지속적인 시선을 포함할 수 있고, 상기 명령어들은 추가적으로 또는 대안적으로 안구 추적 카메라를 통해 시선 타겟이 트리거 문턱값보다 큰 지속시간동안 유지된다고 결정하는 것에 응답하여 지속적인 시선을 인식하도록 또한 실행가능하다. 이러한 예에서, 애플리케이션 런처를 복수의 애플리케이션 중 선택된 애플리케이션으로 대체하는 것은 추가적으로 또는 대안적으로 시선 타겟에서 복수의 애플리케이션 중 선택된 애플리케이션의 그래픽 사용자 인터페이스 요소를 시스루 디스플레이를 통해 디스플레이하는 것을 포함할 수 있다. 이러한 예에서, 명령어들은 추가적으로 또는 대안적으로 애플리케이션 런처를 디스플레이하기 전에, 시스루 디스플레이를 통해 시선 타겟에서 애플리케이션 런처의 위치 미리보기를 디스플레이하도록 또한 실행가능하다. 이러한 예에서, 명령어들은 추가적으로 또는 대안적으로 확인 입력에 응답하여, 시스루 디스플레이를 통해 애플리케이션 런처의 위치 미리보기를 애플리케이션 런처로 대체하도록 또한 실행가능할 수 있다. 상술된 예들 중 임의의 것 또는 모두는 다양한 구현에서 임의의 적절한 방식으로 결합될 수 있다.
또 다른 예는 안구 추적 카메라, 입력 서브시스템, 시스루 디스플레이, 로직 머신, 및 로직 머신에 의해 실행가능한 명령어들을 보유하는 저장 머신을 포함하는 헤드 마운티드 디스플레이 장치를 제공하고, 상기 명령어들은 안구 추적 카메라를 통해 시선 타겟을 인식하고, 입력 서브시스템에 의해 검출된 사용자 트리거에 응답하여 시스루 디스플레이를 통해 시선 타겟에서 애플리케이션 런처의 위치 미리보기를 디스플레이하고, 복수의 애플리케이션들 중 하나의 애플리케이션의 사용자 선택을 인식하고, 입력 서브시스템을 통해 검출된 확인 입력에 응답하여 시스루 디스플레이스를 통해 애플리케이션 런처의 위치 미리보기를 러칭을 위해 선택가능한 복구의 애플리케이션을 제시하는 애플리케이션 런처로 대체하고, 복수의 애플리케이션 중 하나의 사용자 선택을 인식하고, 디스플레이를 통해 시선 타겟에서 애플리케이션 런처를 복수의 애플리케이션 중 선택된 애플리케이션으로 대체하도록 실행가능한다. 이러한 예에서, 사용자 트리거는 추가적으로 또는 대안적으로 지속적인 시선을 포함할 수 있고, 상기 명령어들은 추가적으로 또는 대안적으로 안구 추적 카메라를 통해 시선 타겟이 트리거 문턱값보다 큰 지속시간동안 유지된다고 결정하는 것에 응답하여 상기 지속적인 시선을 인식하도록 실행가능하다. 이러한 예에서, 사용자 트리거는 추가적으로 또는 대안적으로 입력 서브시스템을 통해 인식되는 제스처 및 음성 명령 중 하나 이상을 포함할 수 있다. 상술된 예들 중 임의의 것 또는 모두는 다양한 구현에서 임의의 적절한 방식으로 결합될 수 있다.
여기에 기술된 구성 및/또는 접근법은 사실상 예시적인 것이며, 다양한 변형이 가능하기 때문에 이들 특정 실시예 또는 예시는 제한적인 의미로 고려되지 않는다는 것이 이해될 것이다. 여기에 설명된 특정 루틴 또는 방법은 임의의 수의 처리 전략 중 하나 이상을 나타낼 수 있다. 이와 같이, 도시되고 설명된 다양한 동작이 도시되고 설명된 시퀀스로, 다른 시퀀스로, 병렬로, 또는 생략되어 수행될 수 있다. 마찬가지로, 상술된 프로세스의 순서는 변경될 수 있다.
본 명세서의 발명 대상은 여기에 개시된 다양한 프로세스, 시스템 및 구성, 및 다른 특징, 기능, 동작 및/또는 속성의 모든 신규하고 뻔하지 않은 조합 및 서브조합뿐만 아니라 임의의 모든 동등물을 포함한다.

Claims (15)

  1. 방법에 있어서,
    안구 추적(eye-tracking) 카메라를 통해 시선 타겟(gaze target)을 인식하는 단계;
    사용자 트리거에 응답하여, 디스플레이를 통해, 상기 시선 타겟에서 애플리케이션 런처(application launcher) - 상기 애플리케이션 런처는 런칭을 위해 선택가능한 복수의 애플리케이션을 제시함 - 를 디스플레이하는 단계;
    상기 복수의 애플리케이션 중 하나의 애플리케이션의 사용자 선택을 인식하는 단계; 및
    상기 디스플레이를 통해, 상기 시선 타겟에서 상기 애플리케이션 런처를 상기 복수의 애플리케이션 중 상기 선택된 애플리케이션으로 대체하는 단계
    를 포함하는 방법.
  2. 제 1 항에 있어서,
    상기 애플리케이션 런처를 상기 복수의 애플리케이션 중 상기 선택된 애플리케이션으로 대체하는 단계는 상기 시선 타겟에서 상기 복수의 애플리케이션 중 상기 선택된 애플리케이션의 그래픽 사용자 인터페이스(graphical user interface) 요소를 디스플레이하는 단계를 포함하는 것인 방법.
  3. 제 1 항에 있어서,
    상기 사용자 트리거는 상기 안구 추적 카메라 및 다른 촬상 장치 중 하나 이상을 통해 인식되는 제스처를 포함하는 것인 방법.
  4. 제 1 항에 있어서,
    상기 사용자 트리거는 마이크로폰을 통해 인식되는 음성 명령을 포함하는 것인 방법.
  5. 제 1 항에 있어서,
    상기 사용자 트리거는 지속적인 시선(sustained gaze)을 포함하고, 상기 방법은, 상기 안구 추적 카메라를 통해, 트리거 문턱값보다 큰 지속시간 동안 사용자 시선이 상기 시선 타겟으로 향하는 것을 인식하는 것에 응답하여 상기 사용자 트리거를 인식하는 단계를 더 포함하는 것인 방법.
  6. 제 1 항에 있어서,
    상기 애플리케이션 런처를 디스플레이하는 단계 이전에, 상기 시선 타겟에서 상기 애플리케이션 런처의 위치 미리보기(positional preview)를 디스플레이하는 단계를 더 포함하는 방법.
  7. 제 6 항에 있어서,
    상기 디스플레이를 통해, 확인 입력(confirmation input)에 응답하여 상기 어플리케이션 런처의 위치 미리보기를 상기 애플리케이션 런처로 대체하는 단계를 더 포함하는 방법.
  8. 제 1 항에 있어서,
    상기 디스플레이는 헤드 마운티드(head-mounted) 디스플레이 장치의 시스루(see-through) 디스플레이이고, 상기 안구 추적 카메라는 상기 헤드 마운티드 디스플레이 장치로 통합되는 것인 방법.
  9. 제 1 항에 있어서,
    상기 디스플레이는 헤드 마운티드 디스플레이 장치의 시스루 디스플레이이고, 상기 사용자 트리거는 상기 헤드 마운티드 디스플레이 장치로부터 원격인(remote) 촬상 장치에 의해 캡처된 이미지의 분석에 기초하여 인식되는 것인 방법.
  10. 헤드 마운티드 디스플레이 장치에있어서,
    안구 추적 카메라;
    시스루 디스플레이;
    로직 머신; 및
    상기 로직 머신에 의해 실행가능한 명령어들을 보유하는 저장 머신을 포함하고,
    상기 명령어들은,
    상기 안구 추적 카메라를 통해 시선 타겟을 인식하고,
    사용자 트리거에 응답하여, 상기 시스루 디스플레이를 통해 시선 타겟에서 애플리케이션 런처 - 상기 애플리케이션 런처는 런칭을 위해 선택가능한 복수의 애플리케이션을 제시함 - 를 디스플레이하고,
    상기 복수의 애플리케이션들 중 하나의 애플리케이션의 사용자 선택을 인식하고,
    상기 디스플레이스를 통해, 상기 시선 타겟에서 상기 애플리케이션 런처를 상기 복수의 애플리케이션 중 선택된 애플리케이션으로 대체하도록 실행가능한 것인 헤드 마운티드 디스플레이 장치.
  11. 제 10 항에 있어서,
    상기 사용자 트리거는, 상기 헤드 마운티드 디스플레이 장치 및 상기 헤드 마운티드 디스플레이 장치로부터 원격인 카메라 중 하나 이상을 통해 인식되는 제스처를 포함하는 것인 헤드 마운티드 디스플레이 장치.
  12. 제 10 항에 있어서,
    마이크로폰을 더 포함하고, 상기 사용자 트리거는 상기 마이크로폰을 통해 인식되는 음성 명령을 포함하는 것인 헤드 마운티드 디스플레이 장치.
  13. 제 10 항에 있어서,
    상기 사용자 트리거는 지속적인 시선을 포함하고, 상기 명령어들은 또한, 상기 안구 추적 카메라를 통해 상기 시선 타겟이 트리거 문턱값보다 큰 지속시간동안 유지된다고 결정하는 것에 응답하여 상기 지속적인 시선을 인식하도록 실행가능한 것인 헤드 마운티드 디스플레이 장치.
  14. 제 10 항에 있어서,
    상기 명령어들은 또한, 상기 애플리케이션 런처를 디스플레이하기 전에, 상기 시스루 디스플레이를 통해 상기 시선 타겟에서 상기 애플리케이션 런처의 위치 미리보기를 디스플레이하도록 실행가능한 것인 헤드 마운티드 디스플레이 장치.
  15. 제 14 항에 있어서,
    상기 명령어들은 또한, 확인 입력에 응답하여, 상기 시스루 디스플레이를 통해, 상기 애플리케이션 런처의 상기 위치 미리보기를 상기 애플리케이션 런처로 대체하도록 실행가능한 것인 헤드 마운티드 디스플레이 장치.
KR1020177018380A 2014-12-03 2015-11-23 시선 타겟 애플리케이션 런처 KR102473259B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/559,841 US10248192B2 (en) 2014-12-03 2014-12-03 Gaze target application launcher
US14/559,841 2014-12-03
PCT/US2015/062051 WO2016089638A1 (en) 2014-12-03 2015-11-23 Gaze target application launcher

Publications (2)

Publication Number Publication Date
KR20170090490A true KR20170090490A (ko) 2017-08-07
KR102473259B1 KR102473259B1 (ko) 2022-12-01

Family

ID=54784032

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177018380A KR102473259B1 (ko) 2014-12-03 2015-11-23 시선 타겟 애플리케이션 런처

Country Status (6)

Country Link
US (1) US10248192B2 (ko)
EP (1) EP3227762A1 (ko)
JP (1) JP2017538218A (ko)
KR (1) KR102473259B1 (ko)
CN (1) CN107003738B (ko)
WO (1) WO2016089638A1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210014892A (ko) * 2019-07-31 2021-02-10 삼성전자주식회사 Ar 객체 생성 방법 및 전자 장치
WO2022131615A1 (ko) * 2020-12-16 2022-06-23 삼성전자 주식회사 저지연으로 복수의 어플리케이션 데이터 전송 방법 및 장치
US11895286B2 (en) 2020-12-16 2024-02-06 Samsung Electronics Co., Ltd. Device and method for transmitting data of multiple applications with low latency
WO2024106901A1 (ko) * 2022-11-18 2024-05-23 삼성전자 주식회사 모바일 결제를 지원하는 헤드 마운트 장치, 그의 동작 방법 및 전자 장치

Families Citing this family (66)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130339859A1 (en) 2012-06-15 2013-12-19 Muzik LLC Interactive networked headphones
JP6297540B2 (ja) * 2013-04-22 2018-03-20 富士通株式会社 システムの制御方法、携帯情報端末の制御方法、サーバの制御方法
JP2016170528A (ja) * 2015-03-11 2016-09-23 株式会社リコー 頭部装着型表示装置及び頭部装着型表示装置における外部機器との接続方法
US9472196B1 (en) 2015-04-22 2016-10-18 Google Inc. Developer voice actions system
KR102110208B1 (ko) * 2015-05-08 2020-05-13 엘지전자 주식회사 안경형 단말기 및 이의 제어방법
EP3332311B1 (en) * 2015-08-04 2019-12-04 Google LLC Hover behavior for gaze interactions in virtual reality
JP6684559B2 (ja) * 2015-09-16 2020-04-22 株式会社バンダイナムコエンターテインメント プログラムおよび画像生成装置
US10692113B2 (en) * 2016-06-21 2020-06-23 Htc Corporation Method for providing customized information through advertising in simulation environment, and associated simulation system
CN107801413B (zh) * 2016-06-28 2020-01-31 华为技术有限公司 对电子设备进行控制的终端及其处理方法
CN106155326A (zh) * 2016-07-26 2016-11-23 北京小米移动软件有限公司 虚拟现实通讯中的对象识别方法和装置、虚拟现实设备
US20180077430A1 (en) * 2016-09-09 2018-03-15 Barrie Hansen Cloned Video Streaming
CN106200679B (zh) * 2016-09-21 2019-01-29 中国人民解放军国防科学技术大学 基于多模态自然交互的单操作员多无人机混合主动控制方法
US20180150204A1 (en) * 2016-11-30 2018-05-31 Google Inc. Switching of active objects in an augmented and/or virtual reality environment
KR20180071092A (ko) * 2016-12-19 2018-06-27 삼성전자주식회사 사용자의 시선 및 입력에 기반하여 제어되는 전자 장치, 모바일 전자 장치 및 디스플레이 장치
US10620910B2 (en) * 2016-12-23 2020-04-14 Realwear, Inc. Hands-free navigation of touch-based operating systems
US11099716B2 (en) 2016-12-23 2021-08-24 Realwear, Inc. Context based content navigation for wearable display
US10365493B2 (en) 2016-12-23 2019-07-30 Realwear, Incorporated Modular components for a head-mounted display
US10936872B2 (en) 2016-12-23 2021-03-02 Realwear, Inc. Hands-free contextually aware object interaction for wearable display
US10437070B2 (en) 2016-12-23 2019-10-08 Realwear, Inc. Interchangeable optics for a head-mounted display
US10393312B2 (en) 2016-12-23 2019-08-27 Realwear, Inc. Articulating components for a head-mounted display
US11507216B2 (en) 2016-12-23 2022-11-22 Realwear, Inc. Customizing user interfaces of binary applications
GB201702939D0 (en) * 2017-02-23 2017-04-12 Rotem Gal Systems, methods and computer readable storage media for conditioned accelerometer trigger in man-machine interface for virtual reality glasses
JP6610602B2 (ja) * 2017-04-07 2019-11-27 京セラドキュメントソリューションズ株式会社 表示入力装置
JP6774367B2 (ja) * 2017-04-11 2020-10-21 富士フイルム株式会社 ヘッドマウントディスプレイの制御装置とその作動方法および作動プログラム、並びに画像表示システム
US10264380B2 (en) * 2017-05-09 2019-04-16 Microsoft Technology Licensing, Llc Spatial audio for three-dimensional data sets
US10747386B2 (en) * 2017-06-01 2020-08-18 Samsung Electronics Co., Ltd. Systems and methods for window control in virtual reality environment
US10325409B2 (en) * 2017-06-16 2019-06-18 Microsoft Technology Licensing, Llc Object holographic augmentation
JP6852612B2 (ja) * 2017-07-26 2021-03-31 富士通株式会社 表示プログラム、情報処理装置、及び表示方法
EP3470962A3 (en) * 2017-10-16 2019-06-26 Tobii AB Improved computing device accessibility via eye tracking
US10776475B2 (en) * 2017-11-13 2020-09-15 International Business Machines Corporation Secure password input in electronic devices
CN107885016B (zh) * 2017-11-30 2021-06-01 北京小米移动软件有限公司 全息投影方法及装置
EP3520868A1 (en) 2018-02-06 2019-08-07 Gree, Inc. Game processing system, method of processing game, and program for processing game
JP6908573B2 (ja) 2018-02-06 2021-07-28 グリー株式会社 ゲーム処理システム、ゲーム処理方法、及びゲーム処理プログラム
CN116328317A (zh) * 2018-02-06 2023-06-27 日本聚逸株式会社 应用处理系统、应用处理方法以及应用处理程序
US10981067B2 (en) 2018-02-06 2021-04-20 Gree, Inc. Game processing system, method of processing game, and storage medium storing program for processing game
US11157075B2 (en) * 2018-05-01 2021-10-26 Dell Products, L.P. Gaze-activated voice services for interactive workspaces
DK180639B1 (en) * 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
EP3814875A1 (en) * 2018-06-26 2021-05-05 Alcon Inc. Binocular system for entering commands
JP7284449B2 (ja) * 2018-09-28 2023-05-31 株式会社リコー 表示端末、表示制御方法およびプログラム
CN109683705A (zh) * 2018-11-30 2019-04-26 北京七鑫易维信息技术有限公司 眼球注视控制交互控件的方法、装置和系统
AT522012A1 (de) * 2018-12-19 2020-07-15 Viewpointsystem Gmbh Verfahren zur Anpassung eines optischen Systems an einen individuellen Benutzer
US10789952B2 (en) * 2018-12-20 2020-09-29 Microsoft Technology Licensing, Llc Voice command execution from auxiliary input
KR20200091988A (ko) * 2019-01-23 2020-08-03 삼성전자주식회사 장치를 제어하기 위한 방법 및 그 전자 장치
JP7000364B2 (ja) 2019-01-29 2022-01-19 ファナック株式会社 ロボットシステム
CN110174937A (zh) * 2019-04-09 2019-08-27 北京七鑫易维信息技术有限公司 注视信息控制操作的实现方法及装置
CH716053A1 (de) * 2019-04-10 2020-10-15 Smart Secure Id Ag Biometrische Bildungsvorrichtung und biometrisches Bildungsverfahren zum Erfassen von Bilddaten eines Körperteils einer Person mit Benutzerführung.
US11269407B2 (en) * 2020-01-30 2022-03-08 Dell Products L.P. System and method of determining attributes of a workspace configuration based on eye gaze or head pose
US11455744B2 (en) 2020-02-07 2022-09-27 Toyota Research Institute, Inc. Systems and methods for determining a viewing direction of a user
US11392198B2 (en) 2020-10-20 2022-07-19 ROVl GUIDES, INC. Methods and systems of extended reality environment interaction based on eye motions
EP4232881A1 (en) * 2020-10-20 2023-08-30 Rovi Guides, Inc. Methods and systems of extended reality environment interaction based on eye motions
US11320903B1 (en) 2020-10-20 2022-05-03 Rovi Guides, Inc. Methods and systems of extended reality environment interaction based on eye motions
US11747896B2 (en) 2020-10-20 2023-09-05 Rovi Guides, Inc. Methods and systems of extended reality environment interaction based on eye motions
US11609629B2 (en) 2020-10-20 2023-03-21 Rovi Guides, Inc. Methods and systems of extended reality environment interaction based on eye motions
US11281291B1 (en) 2020-10-20 2022-03-22 Rovi Guides, Inc. Methods and systems of extended reality environment interaction based on eye motions
CN114527864B (zh) * 2020-11-19 2024-03-15 京东方科技集团股份有限公司 增强现实文字显示系统、方法、设备及介质
US11449149B2 (en) * 2021-02-03 2022-09-20 Google Llc Assistant device arbitration using wearable device data
JP2022136601A (ja) * 2021-03-08 2022-09-21 キヤノン株式会社 電子機器およびその制御方法およびプログラム
GB2606182B (en) * 2021-04-28 2023-08-23 Sony Interactive Entertainment Inc System and method of error logging
US11868523B2 (en) * 2021-07-01 2024-01-09 Google Llc Eye gaze classification
KR20230037147A (ko) * 2021-09-09 2023-03-16 한국전자통신연구원 비접촉 응시 기반 헤딩 정보를 이용한 사용자 명령 인식 장치 및 이를 이용한 방법
WO2023081574A1 (en) * 2021-11-02 2023-05-11 Google Llc Gaze-mediated augmented reality interaction with sources of sound in an environment
US20230135974A1 (en) 2021-11-04 2023-05-04 Microsoft Technology Licensing, Llc Multi-factor intention determination for augmented reality (ar) environment control
WO2023080957A1 (en) * 2021-11-04 2023-05-11 Microsoft Technology Licensing, Llc. Multi-factor intention determination for augmented reality (ar) environment control
WO2023080943A1 (en) * 2021-11-04 2023-05-11 Microsoft Technology Licensing, Llc. Multi-factor intention determination for augmented reality (ar) environment control
CN114679612A (zh) * 2022-03-15 2022-06-28 辽宁科技大学 智能家居系统及其控制方法
US12008160B2 (en) * 2022-03-30 2024-06-11 Apple Inc. Eye tracking based selection of a user interface (UI) element based on targeting criteria

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120249741A1 (en) * 2011-03-29 2012-10-04 Giuliano Maciocci Anchoring virtual images to real world surfaces in augmented reality systems
US20150049201A1 (en) * 2013-08-19 2015-02-19 Qualcomm Incorporated Automatic calibration of scene camera for optical see-through head mounted display
US9007301B1 (en) * 2012-10-11 2015-04-14 Google Inc. User interface

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8793620B2 (en) * 2011-04-21 2014-07-29 Sony Computer Entertainment Inc. Gaze-assisted computer interface
US20090199127A1 (en) * 2008-01-31 2009-08-06 Microsoft Corporation Previewing target display areas
US9041660B2 (en) * 2008-12-09 2015-05-26 Microsoft Technology Licensing, Llc Soft keyboard control
US9569001B2 (en) 2009-02-03 2017-02-14 Massachusetts Institute Of Technology Wearable gestural interface
US20130278631A1 (en) 2010-02-28 2013-10-24 Osterhout Group, Inc. 3d positioning of augmented reality information
US20120005624A1 (en) 2010-07-02 2012-01-05 Vesely Michael A User Interface Elements for Use within a Three Dimensional Scene
US9557812B2 (en) 2010-07-23 2017-01-31 Gregory A. Maltz Eye gaze user interface and calibration method
US8817053B2 (en) * 2010-09-30 2014-08-26 Apple Inc. Methods and systems for opening a file
CN106125921B (zh) 2011-02-09 2019-01-15 苹果公司 3d映射环境中的凝视检测
US8743244B2 (en) 2011-03-21 2014-06-03 HJ Laboratories, LLC Providing augmented reality based on third party information
US20120299962A1 (en) 2011-05-27 2012-11-29 Nokia Corporation Method and apparatus for collaborative augmented reality displays
AU2011204946C1 (en) 2011-07-22 2012-07-26 Microsoft Technology Licensing, Llc Automatic text scrolling on a head-mounted display
US8217856B1 (en) * 2011-07-27 2012-07-10 Google Inc. Head-mounted display that displays a visual representation of physical interaction with an input interface located outside of the field of view
US9323325B2 (en) * 2011-08-30 2016-04-26 Microsoft Technology Licensing, Llc Enhancing an object of interest in a see-through, mixed reality display device
US8963805B2 (en) 2012-01-27 2015-02-24 Microsoft Corporation Executable virtual objects associated with real objects
US9035878B1 (en) * 2012-02-29 2015-05-19 Google Inc. Input system
US20130241805A1 (en) * 2012-03-15 2013-09-19 Google Inc. Using Convergence Angle to Select Among Different UI Elements
US9423870B2 (en) * 2012-05-08 2016-08-23 Google Inc. Input determination method
US9389420B2 (en) 2012-06-14 2016-07-12 Qualcomm Incorporated User interface interaction for transparent head-mounted displays
WO2014015521A1 (en) * 2012-07-27 2014-01-30 Nokia Corporation Multimodal interaction with near-to-eye display
US9201500B2 (en) * 2012-09-28 2015-12-01 Intel Corporation Multi-modal touch screen emulator
US9977492B2 (en) 2012-12-06 2018-05-22 Microsoft Technology Licensing, Llc Mixed reality presentation
US20140195918A1 (en) * 2013-01-07 2014-07-10 Steven Friedlander Eye tracking user interface
US20140191927A1 (en) 2013-01-09 2014-07-10 Lg Electronics Inc. Head mount display device providing eye gaze calibration and control method thereof
US20150331590A1 (en) * 2013-01-25 2015-11-19 Hewlett-Packard Development Company, L.P. User interface application launcher and method thereof
US9368113B2 (en) * 2013-01-30 2016-06-14 Google Inc. Voice activated features on multi-level voice menu
US9791921B2 (en) 2013-02-19 2017-10-17 Microsoft Technology Licensing, Llc Context-aware augmented reality object commands
US20140247208A1 (en) * 2013-03-01 2014-09-04 Tobii Technology Ab Invoking and waking a computing device from stand-by mode based on gaze detection
US9619020B2 (en) 2013-03-01 2017-04-11 Tobii Ab Delay warp gaze interaction
KR20140108995A (ko) * 2013-03-04 2014-09-15 삼성전자주식회사 페이지의 일부 영역을 이용한 데이터 처리 방법 및 장치
US9685001B2 (en) * 2013-03-15 2017-06-20 Blackberry Limited System and method for indicating a presence of supplemental information in augmented reality
US20160109957A1 (en) * 2013-05-09 2016-04-21 Sony Computer Entertainment Inc. Information processing apparatus and application execution method
KR102098277B1 (ko) * 2013-06-11 2020-04-07 삼성전자주식회사 시선 추적을 이용한 시인성 개선 방법, 저장 매체 및 전자 장치
US10025378B2 (en) * 2013-06-25 2018-07-17 Microsoft Technology Licensing, Llc Selecting user interface elements via position signal
CN103605208B (zh) * 2013-08-30 2016-09-28 北京智谷睿拓技术服务有限公司 内容投射系统及方法
US9256785B2 (en) * 2013-11-12 2016-02-09 Fuji Xerox Co., Ltd. Identifying user activities using eye tracking data, mouse events, and keystrokes
US11347301B2 (en) * 2014-04-23 2022-05-31 Nokia Technologies Oy Display of information on a head mounted display

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120249741A1 (en) * 2011-03-29 2012-10-04 Giuliano Maciocci Anchoring virtual images to real world surfaces in augmented reality systems
US9007301B1 (en) * 2012-10-11 2015-04-14 Google Inc. User interface
US20150049201A1 (en) * 2013-08-19 2015-02-19 Qualcomm Incorporated Automatic calibration of scene camera for optical see-through head mounted display

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210014892A (ko) * 2019-07-31 2021-02-10 삼성전자주식회사 Ar 객체 생성 방법 및 전자 장치
WO2022131615A1 (ko) * 2020-12-16 2022-06-23 삼성전자 주식회사 저지연으로 복수의 어플리케이션 데이터 전송 방법 및 장치
US11895286B2 (en) 2020-12-16 2024-02-06 Samsung Electronics Co., Ltd. Device and method for transmitting data of multiple applications with low latency
WO2024106901A1 (ko) * 2022-11-18 2024-05-23 삼성전자 주식회사 모바일 결제를 지원하는 헤드 마운트 장치, 그의 동작 방법 및 전자 장치

Also Published As

Publication number Publication date
CN107003738B (zh) 2021-02-02
EP3227762A1 (en) 2017-10-11
KR102473259B1 (ko) 2022-12-01
WO2016089638A1 (en) 2016-06-09
JP2017538218A (ja) 2017-12-21
US10248192B2 (en) 2019-04-02
CN107003738A (zh) 2017-08-01
US20160162020A1 (en) 2016-06-09

Similar Documents

Publication Publication Date Title
KR102473259B1 (ko) 시선 타겟 애플리케이션 런처
EP3345074B1 (en) Augmented reality control of computing device
US10672103B2 (en) Virtual object movement
US10222981B2 (en) Holographic keyboard display
US9584915B2 (en) Spatial audio with remote speakers
US9824499B2 (en) Mixed-reality image capture
US9977492B2 (en) Mixed reality presentation
EP3092546B1 (en) Target positioning with gaze tracking
CN107209386B (zh) 增强现实视野对象跟随器
CN110569750B (zh) 一种用于视线检测校准的方法和计算设备
CN106489171B (zh) 立体图像显示器
US20180143693A1 (en) Virtual object manipulation
US10152851B2 (en) Notification artifact display
US20180150997A1 (en) Interaction between a touch-sensitive device and a mixed-reality device

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant