KR20180044292A - 투시 안경에 대한 보조 아이템 선택 - Google Patents

투시 안경에 대한 보조 아이템 선택 Download PDF

Info

Publication number
KR20180044292A
KR20180044292A KR1020187005428A KR20187005428A KR20180044292A KR 20180044292 A KR20180044292 A KR 20180044292A KR 1020187005428 A KR1020187005428 A KR 1020187005428A KR 20187005428 A KR20187005428 A KR 20187005428A KR 20180044292 A KR20180044292 A KR 20180044292A
Authority
KR
South Korea
Prior art keywords
user
display
view
indications
images
Prior art date
Application number
KR1020187005428A
Other languages
English (en)
Inventor
뱅쌍 알롬
삐에릭 쥬에
필립쁘 로베르
Original Assignee
톰슨 라이센싱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 톰슨 라이센싱 filed Critical 톰슨 라이센싱
Publication of KR20180044292A publication Critical patent/KR20180044292A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0123—Head-up displays characterised by optical features comprising devices increasing the field of view
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0181—Adaptation to the pilot/driver
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback

Abstract

증강 현실(AR) 상호작용 시스템 및 방법이 제공된다. 일 실시예에서, 시스템들은 사용자 입력을 수신하도록 구성되는 헤드 장착 사용자 인터페이스, 사용자 입력에 기초하여 데이터를 관리하도록 구성되는 프로세서, 카메라 및 디스플레이를 포함한다. 카메라 및 디스플레이는 프로세서를 통해 서로 및 헤드 장착 사용자 인터페이스와 통신을 프로세싱한다. 프로세서는 센서의 출력에 기초하여 사용자의 시야 및 사용자의 시야의 중심을 결정하고, 디스플레이로의 출력을 위해 이미지들을 렌더링하도록 구성된다. 이미지들 각각은 하나 이상의 물체 및 사용자의 시야 내의 선택가능한 물체에 각각 대응하는 복수의 표시들을 포함한다. 이미지들의 렌더링은 사용자의 시야가 주어진 표시에 중심을 둔다고 결정하는 것에 기초하여 복수의 디스플레이된 표시들 중 주어진 표시의 제1 디스플레이 속성을 변경하는 것을 포함한다. 프로세서는 또한 사용자의 시야가 임계치를 초과하는 시간량 동안 주어진 표시에 중심을 둔 채로 유지된다고 결정하는 것에 기초하여 주어진 표시를 선택하도록 구성된다.

Description

투시 안경에 대한 보조 아이템 선택
본 개시내용은 일반적으로 증강 현실 상호작용 시스템에 대한 것이고, 보다 일반적으로 투시 안경을 사용하는 증강 현실 상호작용 시스템에 관한 것이다.
본 섹션은, 아래에서 설명되고 그리고/또는 청구되는 본 발명의 다양한 양태들과 관련될 수 있는 본 기술분야의 다양한 양태들을 독자에게 소개하도록 의도된다. 이러한 논의는 더 양호한 이해를 돕기 위한 배경 정보를 독자에게 제공하는데 도움이 될 것으로 여겨진다. 따라서, 이러한 설명들은 선행 기술의 인정이 아니라 이러한 관점에서 읽혀져야 함을 이해해야 한다.
증강 현실(AR) 시스템들은 물리적 장면의 통합된 라이브 뷰(view)들을 제공하는 몰입형 환경들을 생성하며, 하나 이상의 증강 엘리먼트가 컴퓨터로 생성된다. AR 시스템들은 사운드, 비디오, 그래픽, 냄새, 햅틱 피드백 또는 다른 이러한 데이터와 같은 감각 입력을 통합한다. 이러한 방식으로 사용자에게 이용가능한 실세계 정보는 디지털 조작 및 프로세싱을 통해 추가로 강화될 수 있고, 사용자의 환경 및 이의 주변 물체들은 디지털로 강화된 컴포넌트들에 의해 덮여질 수 있다. 최근 수년에, 사용자에 의해 착용된 증강 현실 시스템들은 이들의 휴대성 및 사용 용이성으로 인해 대중성을 획득하고 있다. 투시 또는 스마트 안경은 이러한 시스템들의 가장 대중적인 형태 중 하나이다. 불행하게도, 이러한 안경의 사용자들은, 이들의 사용을 가능하게 하는 기술이 단점들을 갖기 때문에 많은 문제들에 직면하였다. 예를 들어, 많은 안경은 사용자가 오직 특정 각도로 보았을 때에만 잘 작동한다. 특히 물체들이 완전히 또는 부분적으로 서로 폐색하는 경우 사용자 입력을 제공하는 것이 또한 어려웠다. 스마트 안경은 제한된 기능을 제공하기 때문에 다른 심각한 문제가 또한 존재한다.
결과적으로, 정확한 데이터를 제공하고 사용자 입력을 최적화된 방식으로 프로세싱하고, 또한 사용자에게 뛰어난 몰입 경험을 제공하는 것이 중요하다.
증강 현실(AR) 상호작용 시스템 및 방법이 제공된다. 일 실시예에서, 시스템들은 사용자 입력을 수신하도록 구성되는 헤드 장착 사용자 인터페이스, 사용자 입력에 기초하여 데이터를 관리하도록 구성되는 프로세서, 카메라 및 디스플레이를 포함한다. 카메라 및 디스플레이는 프로세서를 통해 헤드 장착 사용자 인터페이스와 같이 서로 통신한다. 프로세서는 센서의 출력에 기초하여 사용자의 시야 및 사용자의 시야의 중심을 결정하고, 디스플레이로의 출력을 위해 이미지들을 렌더링하도록 구성된다. 이미지들 각각은 사용자의 시야 내의 선택가능한 물체에 각각 대응하는 하나 이상의 물체 및 복수의 표시들을 포함한다. 이미지들의 렌더링은 사용자의 시야가 주어진 표시에 중심을 둔다고 결정하는 것에 기초하여 복수의 디스플레이된 표시들 중 주어진 표시의 제1 디스플레이 속성을 변경하는 것을 포함한다. 프로세서는 또한 사용자의 시야가 임계치를 초과하는 시간량 동안 주어진 표시에 중심을 두고 유지된다고 결정하는 것에 기초하여 주어진 표시를 선택하도록 동작한다.
다른 실시예에서, 사용자 입력을 수신하도록 구성되는 사용자 인터페이스를 갖는 증강 현실 헤드 장착 사용자 인터페이스를 사용하는 아이템 선택 방법이 제공되며, 이 방법은, 프로세서를 통해 사용자의 시야 및 사용자의 시야의 중심을 결정하는 단계, 및 디스플레이로의 출력을 위해 이미지들을 렌더링하는 단계를 포함하고, 상기 각각의 이미지는 하나 이상의 물체 및 사용자의 시야 내의 선택가능한 물체에 각각 대응하는 복수의 표시들을 포함하고, 이미지들을 렌더링하는 단계는 사용자의 시야가 주어진 표시에 중심을 둔다고 결정하는 것에 기초하여 복수의 디스플레이된 표시들 중 주어진 표시의 제1 디스플레이 속성을 변경하는 단계를 포함한다. 방법은 또한 사용자의 시야가 임계치를 초과하는 시간량 동안 주어진 표시에 중심을 두고 유지된다고 결정하는 것에 기초하여 주어진 표시를 선택하는 단계를 포함한다.
또 다른 실시예에서 증강 현실(AR) 상호작용 시스템이 제공되며, 이 시스템은, 음성, 움직임 또는 터치의 형태로 사용자를 수용하기 위한 사용자 인터페이스 수단, 및 상기 사용자 인터페이스 수단 및 프로세서와의 통신 프로세싱시 이미지들을 디스플레이하기 위한 수단을 포함한다. 프로세서는 센서의 출력에 기초하여 사용자의 시야 및 사용자의 시야의 중심을 결정하는 것, 및 디스플레이로의 출력을 위해 이미지들을 렌더링하는 것을 수행하도록 동작하고, 각각의 이미지는 하나 이상의 물체 및 사용자의 시야 내의 선택가능한 물체에 각각 대응하는 복수의 표시들을 포함하고, 이미지들을 렌더링하는 것은 사용자의 시야가 주어진 표시에 중심을 둔다고 결정하는 것에 기초하여 복수의 디스플레이된 표시들 중 주어진 표시의 제1 디스플레이 속성을 변경하는 것을 포함한다. 프로세서는 또한 사용자의 시야가 임계치를 초과하는 시간량 동안 주어진 표시에 중심을 두고 유지된다고 결정하는 것에 기초하여 주어진 표시를 선택하도록 동작한다.
추가적인 특징들 및 이점들은 본 발명의 기술들을 통해 실현된다. 본 발명의 다른 실시예들 및 양상들은 본원에서 상세히 설명되고, 청구된 발명의 일부로 고려된다. 이점들 및 특징들에 의한 본 발명의 더 양호한 이해를 위해, 설명 및 도면들을 참조한다.
본 발명은, 어떠한 제한도 없이, 첨부된 도면들을 참조하여 다음의 실시예 및 실행 예들에 의해 더 양호하게 이해되고 예시될 것이다.
도 1은 예시적인 실시예에 따른 증강 현실(AR) 상호작용 시스템을 도시한다.
도 2a는 도 1의 실시예에 도시된 것과 같은 증강 현실 상호작용 시스템을 사용한 사용자 뷰의 예시를 도시한다.
도 2b는 예시적인 실시예에 따른 실제/가상 물체(들) 시스템을 시그널링하는 자동 배열 및 중심 수렴 표시들을 갖는 사용자 뷰의 예시를 도시한다.
도 3a는 아이템 선택 트리거링 직전의 사용자를 예시하는 일 실시예의 예시이고, 도 3b는 도 3a와 동일한 실시예 그러나 아이템 선택이 트리거링된 후의 도시를 제공한다.
도 1 내지 도 3에서, 표현된 도면들은 순수하게 기능적 엔티티들이고 물리적으로 별개인 엔티티들에 반드시 대응하는 것은 아닌 예들을 제공한다. 즉, 이들은 소프트웨어, 하드웨어의 형태로 개발될 수 있거나, 하나 이상의 프로세서를 포함하는 하나의 또는 몇몇 집적 회로들로 구현될 수 있다.
가능한 경우에는 항상, 동일하거나 유사한 부분들을 지칭하기 위해 도면들 전반에 걸쳐 동일한 참조 부호들이 사용될 것이다.
본 발명의 도면들 및 설명들은, 명료성을 위해, 전형적인 디지털 멀티미디어 콘텐츠 전달 방법들 및 시스템들에서 발견되는 많은 다른 엘리먼트들을 제거하면서, 본 발명의 명확한 이해와 관련된 엘리먼트들을 예시하기 위해 단순화되었음을 이해해야 한다. 그러나, 이러한 엘리먼트들은 본 기술분야에 널리 공지되어 있기 때문에, 이러한 엘리먼트들의 상세한 논의는 본원에 제공되지 않는다. 본원의 개시내용은 모든 이러한 변화들 및 수정에 관한 것이다.
도 1은 일 실시예에 따른 증강 현실(AR) 상호작용 시스템(100)의 도시이다. 증강 현실 상호작용 시스템(100)은 사용자 인터페이스 및 디스플레이와 관련된 프로세서(140)를 포함한다. 도 1의 사용자 인터페이스는, 터치, 음성 및 신체 움직임과 같은 상이한 형태들로 사용자 입력을 수신할 수 있는 상이한 컴포넌트들을 포함한다. 대안적 실시예에서들, 다른 사용자 입력이 추가될 수 있거나 또는 대안적으로 이들 중 하나 또는 서브세트가 허용될 수 있다.
도 1의 실시예에서 사용자 인터페이스는 프로세서(140)를 통해 터치 상호작용 영역(160), 센서(들)(170), 카메라(들)(150) 및 마이크로폰(들)(180)과 통신하는 헤드 장착 사용자 인터페이스(또한 헤드 장착 디바이스로 지칭됨)(110)를 포함한다. 센서(들)는 일 실시예에서, 모션 센서일 수 있지만, 다른 실시예들에서, 센서(들)는 광, 열, 습기에 반응하는 다양한 센서들 중 하나일 수 있고/있거나 또한 자이로 및 나침반 컴포넌트들을 포함할 수 있다.
도 1에 도시된 예에서, 또한 서로 통신하는 복수의 프로세서들(140)이 제공된다. 예로서, 프로세서들은 상이한 영역들에 내장되어, 하나는 터치 상호작용 영역(160), 그리고 다른 하나는 헤드 장착 컴포넌트들(110)에 내장된다. 그러나, 이는 오직 일 실시예이다. 다른 실시예들에서, 단지 하나의 프로세서가 사용될 수 있고 프로세서는 독립형일 수 있다. 또한, 프로세서(들)는 다른 컴퓨터들 또는 컴퓨팅 환경들 및 네트워크들과 통신을 프로세싱할 수 있다. 도 1에서, (비디오 카메라와 같은) 카메라(150) 및 마이크로폰(들)(180)은 또한 증강 현실 이미지들 및 사운드들을 사용자에게 제공하기 위해 사용될 수 있다. 일 실시예에서, 마이크로폰은 프로세서 또는 프로세싱 시스템에 입력을 제공할 수 있다. 몰입형 증강 현실 경험을 증가시키도록 사용자에게 향상된 사운드를 제공하기 위해 하나 이상의 스피커(즉, 라우드스피커)가 또한 사용될 수 있다. 일 실시예에서, 스피커들은 헤드 장착 사용자 인터페이스에 포함될 수 있거나 또는 이들은 별개의 엔티티로서 제공될 수 있거나 또는 심지어 다른 컴포넌트들에 부착될 수 있다.
도 1의 실시예에서, 헤드 장착 사용자 인터페이스(110)는 렌더링 스크린(130)으로서 참조되는 스크린을 포함하는 한 쌍의 투시 안경을 포함한다. 일 실시예에서, 안경은, 사용자에 의해 착용되고 있는 통상적인 안경일 수 있고, 렌더링 스크린들은 AR 시스템(100)과 함께 사용하기 위해 영구적으로 및/또는 일시적으로 추가될 수 있다.
헤드 장착 사용자 인터페이스들 및 특히 투시 안경은, 정확하게 인에이블된 경우 사용자에게 적절한 프라이버시 및 휴대성 둘 모두를 제공할 수 있다는 이점들을 제공한다. 불행하게도, 종래 기술은 작은 터치 영역 또는 음성 제어 모드를 요구한다는 점에서 이러한 안경에 의한 전통적인 사용자 인터페이스 디바이스들이 사용되도록 여전히 요구한다. 임의의 제스처 인지 특징들은, 존재한다면 매우 기본적이지만, 사용자 친화적이지 않은 번거로운 셋업들로 가득 차 있다는 큰 단점을 갖는다.
도 1의 실시예에서, 터치 상호작용 영역이 제공되지만, 이것은 단지 예시이며, 그 컴포넌트는 필수적은 아니다. 실제로, 일 실시예에서, 어떠한 터치 상호작용 영역에 대한 요구도 없다. 사용자 인터페이스는 음성, 카메라, 또는 어떠한 번거로운 추가적인 셋업들도 없이 제스처들을 등록하도록 인에이블되는 모션 센서와 같은 하나 이상의 센서 통해 제공될 수 있다. 예를 들어, 사용자는 사실상 사용자 입력을 제공받을 수 있으며 단지 이를 포인팅할 수 있어서, 동일한 가상 현실 환경을 공유하고 있지 않은 사람들에게는 사용자가 대기 중에 존재하지 않는 물리적 물체들을 타이핑하거나 포인팅하는 것처럼 보인다. 다른 실시예에서, 키보드는 사용자의 손에 나타날 수 있고, 사용자는 자기 자신의 다른 손가락을 사용하여 자기 자신의 손을 눌러서 이러한 선택을 함으로써 입력을 제공할 수 있다.
종래에, 컴퓨터들, 태블릿들 및 스마트 폰들과 같은 모바일 디바이스들 등과 같은 멀티미디어 디바이스들과 많은 사용자들의 상호작용들은 키보드들, 마우스, 터치 스크린 등과 같은 사용자 인터페이스에 의해 수행된다. 기술이 개선됨에 따라, 이러한 상호작용 모드들 중 일부는 매력적이지 않거나 번거로울 수 있다. 예를 들어, 사용자가 이동하는 동안 움직임의 자유가 중요하지만 전통적인 사용자 인터페이스들 및 사용자 접속부들은 항상 이용가능하지는 않을 수 있다. 음성 커맨드들은 이동성 관점에서 사용자 입력을 제공하는 매력적인 수단이지만, 음성 커맨드들은, 프라이버시가 지배적 관심사인 상황들에서 특정 결함들을 갖는다. 다른 상황들에서는, 음성 커맨드들을 사용하는 경우, 구별하기에 유사해 보이는 많은 상이한 물체들이 또한 문제들을 제시할 수 있다.
전용 터치 영역들을 선택하는 것은 또한 그 자체의 난제들을 제시한다. 최대 이동성을 허용하기 위해, 터치 영역들의 크기는 최소로 유지되어야 한다. 예를 들어, 터치 영역은 안경의 핸들(handle)들 상에 배치되도록 설계될 수 있다. 이러한 영역들을 비교적 작게 유지하는 난제는, 터치의 배치가 불편하게 위치되게 할 수 있거나, 또는 크기에 의해 많은 애플리케이션들에 요구되는 포인터 움직임을 제어하는 능력이 제한될 수 있다. 그 다음, 이는 또한 사용자의 시야에 영향을 미칠 것이고 시야를 매우 좁게 유지할 것이다(즉, 현재의 종래 기술에서는 30°보다 작거나 동일하다). 이는, 투시 안경을 통해 뷰잉될 때 증강 현실 환경의 시야가 나머지(실제) 장면의 관점에서 정의되기 때문이다. 최종 결과는, 사용자가 그 작은 영역 외부를 포인팅하는 것을 허용하지 않고, 사용자가 보고 있는 것 대부분을 제한한다(최종적으로 헤드를 움직이지 않으면 포인팅될 수 없다).
일 실시예에서, 헤드 장착 사용자 인터페이스(110)는 마이크로폰, 비디오 카메라, 터치 상호작용 영역, 렌더링 스크린, 스피커들 등과 같은 논의된 컴포넌트들을 수용하거나 물리적으로 연결시키도록 제조될 수 있다. 이러한 컴포넌트들 중 일부는 별개로 제공될 수 있지만 일부 실시예들에서는 편리하게 하나의 하우징 유닛에 제공될 수 있다. 예를 들어, 터치 상호작용 영역(160)은 부착부(165)로 헤드 장착 사용자 인터페이스(110)에 부착될 수 있다. 부착부는 수축가능하고, 상호작용 영역 자체는 일부 실시예들에서 헤드 장착 사용자 인터페이스(110)의 상보적 구획에 제공될 수 있다. 이는, 사용될 필요가 있는 경우 터치 영역이 적절한 풋프린트를 갖도록 허용할 것이다. 예를 들어, 일 실시예에서, 터치 영역은 불필요한 경우 접힐 수 있고, 헤드 장착 사용자 인터페이스 내에 배치될 수 있다.
대안적으로, 본 기술분야의 통상의 기술자들에 의해 인식될 수 있는 바와 같이, 컴포넌트들 중 일부는 연결되거나, 함께 위치되거나, 수용될 수 있다. 다른 실시예들은 본 기술분야의 통상의 기술자들에 의해 인식될 수 있는 바와 같이, 서로 간에 통신을 프로세싱하는 추가적인 컴포넌트들 및 다수의 프로세서들, 컴퓨터들, 디스플레이들, 센서들, 광학 디스플레이들, 투영 시스템들 및 입력 디바이스들을 사용할 수 있다. 하나 이상의 카메라, 마이크로기계적 디바이스들(MEMS) 및 GPS 또는 솔리드 스테이트 나침반을 포함할 수 있는 스마트폰들 및 태플릿들과 같은 모바일 디바이스들이 또한 사용될 수 있다. 도시된 바와 같이, 도 1이 예시로서 제공되지만, 대안적인 실시예들에서, 특정 선택들, 선호도들 및/또는 요구들을 처리하기 위해 컴포넌트들은 대체되고 추가되거나 삭제될 수 있다. 또한, 일 컴포넌트는 유사한 기능을 제공함을 가정하여 대체될 수 있다. 예를 들어, 터치 상호작용 영역(160)은, 하나 이상의 프로세서를 제공하도록 셀 폰 또는 태블릿과 같은 모바일 디바이스로 대체될 수 있다. 또한 안경에 대해 표시된 바와 같이, 이러한 상호교환가능성은, 완전한 이점 또는 사용가능성 및 휴대성을 취하기 위해 사용자가 다른 통상적인 용도들과 관련되어 사용되는 일상의 물체들 및 디바이스들을 시스템(100)에 통합하도록 허용한다. 또한, 헤드 장착 사용자 인터페이스(160)는, 사용자가 특수 렌즈들을 통해 비밀 스크린을 보도록 내장 또는 허용하는 많은 대안들 중 하나일 수 있고, 본 기술분야의 통상의 기술자들에 의해 인식될 수 있는 바와 같이, 헤드-장착 디스플레이(HMD), 헤드셋, 하니스(harness), 헬멧 또는 다른 웨어러블 및 넌-웨어러블 장치들의 일부일 수 있다. 대안으로, 본 기술분야의 통상의 기술자들에 의해 인식될 수 있는 바와 같이, 컴포넌트들 중 어느 것도 물리적으로 연결되지 않을 수 있거나, 또는 이들의 서브세트가 선택적으로 연결될 수 있다.
도 1의 실시예를 다시 참조하면, 도 1에서 사용된 것과 같은 센서(들)(170), 렌더링 스크린 또는 디스플레이(130), 마이크로폰(들) 및 카메라(150)는 물리적 세계의 용량에서 사용자에게 가상 정보를 제공하도록 정렬되고, 몰입형 및 모바일 경험을 허용하기 위해 사용자의 헤드 또는 신체 움직임들에 따라 조절하도록 응답할 것이다. 또한, 도 1의 실시예에서, 안경(120) 및 이들의 디스플레이(130)(렌더링 스크린)는, 실세계 뷰를 인터셉트하고 눈을 통해 이의 증강된 뷰를 다시 디스플레이하기 위해, 카메라(150), 일 실시예에서는 비디오 카메라를 포함할 수 있고 이와 통신할 수 있다. 그 다음, 실제 또는 가상 이미지는 인식될 수 있는 바와 같이, 안경 렌즈 조각들의 표면들을 통해 투영되거나 그로부터 반사될 수 있다.
투시 안경은 구체적으로, 장면의 실제 엘리먼트들을 추가적인 가상 엘리먼트들과 믹싱할 수 있기 때문에 증강 현실 기술과 통합하기에 특히 적합하다. 그러나, 문제는 (증강 현실의) 시야가 종종 매우 제한적이며, 기껏해야 수평으로 30° 이하인 것이다. 도 1의 예에서, 이를 위해, 투시 안경이 120에 제공되지만, 다른 실시예들에서는, 본 기술분야의 통상의 기술자들에 의해 인식될 수 있는 바와 같이 다른 유사한 컴포넌트들이 사용된다. 도 1의 예에서, 투시 안경은 도시된 바와 같이 디스플레이 및 비디오 카메라(150)를 통한 비디오 캡처 컴포넌트 둘 모두를 포함한다. 비디오 카메라(150)는 매우 작을 수 있지만, 일 실시예에서, 여전히 사용자의 눈들에 가까운(그러나 정확하게 동일하지는 않은) 시점으로부터 실제 장면의 부분을 포착하도록 여전히 인에이블된다. 일 실시예에서, 안경은 몇몇 층들, 예를 들어, 청색, 녹색 및 적색으로 구성될 수 있으며, 하나 이상의 광원은 광을 헤드 장착 사용자 인터페이스 또는 안경에 투영하기 위해 안경 옆에 제공될 수 있다. 일 실시예에서, 실제 깊이들 및 거리들에 대해 사용자를 속여 실제처럼 보이는 가상 물체들을 생성하기 위해, 광 입자들을 회절시키는 작은 주름진 홈들이 안경의 각각의 층에 제공될 수 있다.
제시되는 문제 자체는 시각적 컴포넌트들이 작은 풋프린트로 제시되는 복잡한 상황들과 관련이 있다. 서로 경합하는 이러한 물체들을 선택하는 것은, 사용자 입력이 높은 레벨의 상호작용을 요구하는 경우 때때로 곤란해진다. 이러한 상황들에서, 논의된 바와 같이 폐색 또는 포인터 크기가 작은 것으로 인한 또는 다른 유사한 상황들로 인한 물체들의 부적절한 선택은 불량한 데이터 관리를 초래한다. 제한된 풋프린트에 대해 서로 경합하는 몇몇 이러한 물체들 중 정확히 하나를 선택하는 상황들에서, 사용자 인터페이스의 선택이 제한될 것이다. 이 상황은, 사용자가 오직 카메라 각도 및 묘사된 이미지 프로세싱에만 기초하여 실제/가상 물체(들)를 포인팅하도록 허용되는 경우 더욱 더 복잡해진다. 이 시점은 사용자 자신의 눈 중 하나와 정확히 동일하지 않기 때문에, 특히 매우 가깝거나 자체-폐색되는 물체들이 존재하는 경우 복잡한 시너리(scenery)가 없으면 작업에 에러가 발생하기 쉽다.
다른 문제는 정확한 눈 추적 시스템들의 생성 및 신뢰가능한 추적 시선 분석을 제공하는 이들의 능력에 있다. 종래 기술의 디바이스들은 매우 제한된 시야를 가지며 더 많은 하드웨어 및 전용 프로세싱을 요구한다. 즉, 예를 들어 사용자가 가상 테이블을 보고 있고 자신의 헤드를 한쪽으로 기울이면, 사용자는 테이블에서 발생한 것의 뷰의 절반을 커팅할 것이다. 실제로, 이러한 상황들에서 사용자는 자신의 시선이 항상 중심에 유지되도록 보장해야 하고, 그렇지 않으면 사용자는 테이블에서 발생하고 있는 모든 것을 보지 못할 것이다.
모든 전자 디바이스들에서와 같이, 사용자에 대한 움직임의 자유와 제공될 수 있는 기능의 이용가능성 사이에 균형을 유지할 필요가 있다. 즉, 안경과 같은 헤드 장착 유닛과 원격 및 종종 멀리 떨어져 있는 프로세싱 유닛 사이에 부착되는 어떠한 케이블도 제공하지 않음으로써, 데이터를 송신하는 대역폭은 이용가능한 전력과 같이 영향받을 수 있다. 결과적으로, 움직임의 자유가 유지되더라도 사용자 관점에서 볼 때 최종적인 증강 현실 경험들은 대역폭 및 전력 제한들로 인해 영향받을 수 있다. 또한, 사용자가 투시 안경 또는 다른 헤드 장착 사용자 인터페이스들을 착용하는 동안 증강 현실 콘텍스트에서 일부 사용의 경우의 상호작용을 트리거링하도록 허용하는 것은 또한 다른 이유들로 인해 어려울 수 있다. 예를 들어 내장형 센서들, 특히 나침반, 자이로스코프들 및 다른 유사한 디바이스들을 통합한 것들을 사용하여 안경 또는 헤드 장착 유닛의 자세 및 배향을 측정하는 것은 요구되는 정확도를 제공하지 못할 수 있다. 이는, 사용자가 직선으로 전방을 보고 있지 않은 경우, 종래 기술은 사용자의 시선 방향을 추론하는데 충분히 정확한 방식을 제공하지 않았기 때문이다. 이를 더 복잡하게 하면, 부착된 카메라의 비디오를 사용하는 것은 때때로 복잡할 수 있으며, 사용자가 안경 또는 다른 유사한 수단을 통해 세계를 보는 것으로 인해 사용자의 뷰가 왜곡될 수 있기 때문에 항상 정확한 결과들을 생성하지는 않을 수 있다. 이는, 심지어 가상 물체들을 사용자에게 디스플레이하는 것에 영향을 미칠 수 있는데, 그 이유는, 이러한 안경 또는 다른 아이템들을 착용한 사용자의 관점으로부터 계산된 이전에 추정된 것에 따라 영향받은 위치를 이러한 물체들이 사용자에게 제시할 것이기 때문이다.
도 2 및 도 3과 관련하여 논의될 바와 같은 일 실시예에서, 경합하는 풋프린트들에서 물체 선택의 관련 문제들은 보조 아이템의 트리거링을 허용함으로써 해결된다. 논의될 바와 같이 도 2 및 도 3의 실시예에서, 특히 사용자 관점으로부터 볼 때 이러한 물체들의 임의의 폐색을 관리함으로써 상기 경합하는 물체들과 관련된 상호작용을 용이하게 할, 실제 또는 가상 물체들을 표현하는 표시들 및 썸네일들의 최적화된 레이아웃이 제시된다. 보다 양호한 이해를 위해, 도 2a의 도시에서 예가 제시된다.
도 2a는, 사용자(250)가, 이 경우에는 한 쌍의 투시 안경(120)을 포함할 수 있는 헤드 장착 사용자 인터페이스(110)를 착용하고 예시를 제공한다. 이러한 예에서, 사용자의 안경 또는 헤드 장착 사용자 인터페이스는 독립형 단일 디바이스일 수 있거나, 또는 하나 이상의 로컬 또는 원격 컴퓨팅 네트워크와 통신하는 보다 크고 보다 정교한 시스템의 일부일 수 있다. 도 2a에 도시된 시너리는 사용자의 뷰를 반영한다고 가정한다. 예시된 바와 같이, 도시된 사용자의 뷰는 가능하게는 집 내부로부터의 생활 공간을 예시하고 테이블/데스크 및 관련 의자의 부분적으로 폐색된 뷰들을 포함한다. 뷰는 또한 테이블/데스크의 최상부에 놓인 병의 이미지를 포함하고 병은 소파(couch)의 앞에 있는 것으로 보인다. 일부 물체(들)는 관련 사용의 경우를 따르는 이러한 장면에 추가될 수 있는 가상 물체(들)일 수 있다. 사용자의 직접적인 뷰는 파선들 및 화살표들(290)로 식별되고, 사용자의 주변 제한의 범주 및 범위 및 제한은 각각 라인들(280 및 285)에 의해 제공된다.
특정한 중립적 중심 영역 또는 물체는 200으로 식별된다. 논의될 바와 같이, 본 중립적 중심 영역 또는 물체의 할당은, 일 실시예에서, (뷰의 시점에서) 매우 가까운 실제 또는 가상 물체 사이의 불리한 상호작용을 제거함으로써 경합하는 또는 폐색 물체들의 용이한 선택을 허용한다. 이는, 또한 제스처들 및 사용자 움직임이 사용자 선택 인터페이스로서 사용되는 경우 헤드 움직임들을 감소시키거나 제거한다. 논의될 바와 같이, 물체들은 이미지 프로세싱을 통해 인식되는 것과 동일하게 실제 물체일 수 있거나 장면에 삽입된 가상 물체들일 수 있다.
일 실시예에서, 중심 영역 또는 물체(200)는 중심의 사용자 인터페이스 활성화 포인터를 통해 적어도 부분적으로 가시적이고 도달가능할 필요가 있다. 이러한 예에서, 소파가 위치된 방의 일부의 방향으로 보는 사용자가 도시되고, 이는, 움직임을 통해 사용자 인터페이스 활성화 포인터를 제공하는 사용자의 시선 및 눈 움직임이다.
일 실시예에서, 도 2a에 도시된 바와 같이, 일련의 표시들 및/또는 썸네일들이 스크린 상에 동적으로 디스플레이되고, 참조 부호들(201 내지 204)로 도시된다. 이러한 표시들 및/또는 썸네일들은 도시된 바와 같이 소파 및 테이블과 같은 상이하게 디스플레이되거나 식별된 아이템들과 각각 연관된다. 본 기술분야의 통상의 기술자들에 의해 인식될 수 있는 바와 같이, 이러한 표시들 및/또는 썸네일들은 오직 이해를 돕기 위해 이러한 실시예에서 사용됨을 주목해야 한다. 따라서, 다른 실시예들에서, 물체 명칭들, 물체들의 이미지들, 아이콘들, 이상화된 물체 이미지들 등과 같은, 그러나 이에 제한되는 것은 아닌 표시들 및/또는 썸네일들 대신에 유사한 다른 컴포넌트들이 사용될 수 있다. 일 실시예에서, 표시들 및/또는 썸네일들은, 이들 모두가 사용자의 스크린 또는 디스플레이 상에 디스플레이되는 동안 서로 중첩되지 않도록 느슨하거나 희박한 레이아웃으로 초기에 디스플레이될 수 있다. 이는, 각각의 표시 및 또는 썸네일의 연관된 물체가 사용자 시점에서 보여질 때 거의 완전히 또는 부분적으로 폐색될 수 있는 경우에도 이들이 별개로 보이도록 허용할 것이다.
일 실시예에서, 썸네일들 및/또는 표시들은 자체 배열되어 있으며, 적어도 초기에 사용자의 시야에서 중심 포인터 또는 중심 영역 또는 물체(200) 주위에 동일하게 분포될 수 있다. (일 실시예에서, 중심 포인터 및 중심 영역 또는 물체(200)는 상이한 한편, 다른 실시예에서 이들은 동일한 엔티티로 표현될 수 있다). 포인터는 (안경) 디스플레이 상에 중첩되고, 사용자가 움직이고 신체 또는 헤드 위치를 변경하는 동안 사용자 인터페이스 및 장면에 대해 고정된다. 별개의 중심 포인터가 존재하는 경우, 포인터 및/또는 중심 영역은 또한 빈 표시 또는 전용 썸네일과 같은 특정 기호들로 각각 표현될 수 있다. 중심 영역(200)은, 어떠한 물체도 그와 상호작용할 수 없도록 중립적 영역의 상징적 표현으로서 작용한다. 중심 영역(200)의 목적은 위치의 중립성을 유지하는 한편, 그 주위의 다른 아이템들은 움직이고 트리거링되는 것이다. 일 실시예에서 움직임은 느린 수집(slow gathering)과 유사할 수 있다. 즉, 중심 영역은 비-실행가능한(non-actionable) 물체로 취급된다. 다른 실시예들에서는, 다른 이유들로, 비-실행가능한 아이템들로 또한 지칭되는 다른 썸네일들 및/또는 표시들이 존재할 수 있다. 일 실시예에서, 사용자가 영역으로부터 멀리 보면, 수집되는 아이템에 속하는 표시 또는 썸네일은 다른 것들로부터 천천히 분리되어 최종적으로 사라질 것이어서, 다른 표시들 및 썸네일들이 더 많은 영역을 갖고 재배열되게 한다.
논의될 바와 같이 도 2b는 도 2a의 실시예의 다음 스테이지 프로세싱 도시를 제공한다. 도 2a 및 도 2b를 함께 고려하면, 사용자는, 사용자의 시점 중심을 향해 천천히 수렴하는 한편 여전히 중첩하지 않는 썸네일 또는 표시들을 사용하여 자신의 시점에 매우 가깝게 존재하는 실행가능한 물체들을 볼 것이다. 또한, 중심 영역(200)은 별개로 유지되고 선택된 다른 썸네일 또는 표시에 의해 점유되지 않는 점에 주목해야 한다. 도 2a를 다시 참조하면, 실행가능한 아이템들은 비-실행가능한 및 비-상호작용 아이템으로 지정되는 중심 영역(및 여기서는 포인터)(200) 주위에 디스플레이된다. 도 2a로부터 도 2b까지의 아이템들의 움직임은 그에 따라 화살표들 및 파선 곡선들로 도시되어 있다(도 2a).
도 2b에서, 썸네일들 및 표시들 모두는 도시된 바와 같이 중립적 물체 또는 영역(200) 주위에서 수렴하였다. 사용자의 시점은 290으로부터 292로 약간 시프트된다. 도 2b에서 다양한 상황들이 렌더링될 수 있다. 일례에서, 사용자는 의도적으로 시점을 변경하고, 다른 예에서 사용자의 헤드는 의자 상의 재조절 또는 몸의 윤곽을 제1 위치로부터 제2 위치로 시프트시키는 것과 같은 다양한 상이한 이유들로 움직인다. 그 이유가 무엇이든, 새로운 위치가 안정된다는 것을, 도시된 새로운 사용자 위치가 나타내면, 도 2b의 예의 레이아웃은, 그 위치에 있는 동안 안착된 경우에 후속할 수 있다. 알 수 있는 바와 같이, 사용자의 뷰에 가까운 물체들과 연관된 썸네일들 또는 표시들은, 사용자의 시점의 중심을 향하여 그러나 여전히 중립적 영역 또는 영역(200) 주위에서 그러나 여전히 중첩하지 않고 점차적으로 이동된다.
일 실시예에서, 사용자의 시점 및 방향이 시프트될 수 있기 때문에, 이에 대한 연속적인 고려가 존재한다. 이는, 본 기술분야의 통상의 기술자에 의해 인식될 수 있는 바와 같이 다양한 메커니즘들에 의해 달성될 수 있다. 예를 들어, 모션 검출기(센서) 또는 다른 이러한 수단을 갖는 헤드 장착 사용자 인터페이스 또는 안경에 배치된 센서들이 존재할 수 있다. 상이한 예에서, 카메라 이미지 자체가 사용될 수 있다. 일 실시예에서, 투시 안경은 사용자가 포인팅하고 있는 위치, 즉 특정 가상 또는 실제 물체를 추적하기 위해 사용될 수 있다. 이러한 후자의 실시예는 임의의 요구되는 헤드 움직임들을 제공하거나 적어도 움직임 범위를 감소시킬 필요성을 감소시킬 것이다. 이러한 실시예에서, 그 옵션을 포인팅하고 유사한 수단에 의해 이를 선택하는 것에 의한 사용자의 간단한 글랜싱(glancing)이 선택 동작을 트리거링할 것이다. 그러나, 사용자가 자신의 시점을 변경할 수는 있지만 사용자가 능동적으로 물체를 선택하지 않는 한 사용자가 그 방향을 계속 보고 있는 경우에도 선택이 행해지지는 않을 것이다. 이는, 일 실시예에서, 논의될 지연된 표시의 레이아웃 물체를 사용하여 물체 선택을 제공함으로써 달성될 수 있다. 이러한 개념은 도 2b의 실시예에 통합되어 추가적인 이해를 도울 수 있다.
도 2b에서, 도시된 바와 같이, 사용자는 자신의 위치를 변경하고 자신의 헤드를 움직였다. 새로운 뷰 및 각도는 참조 부호(292)에 의해 도시되고, 도면에 예시된 바와 같이 오래된 위치(290)에 비교되고 있다. 그에 따라, 표시들 및/또는 썸네일들(201 내지 204)은 여전히 중심 영역(200) 주위에서 움직인다. 일 실시예에서, (사용자의 시점에서) 중심 영역(200) 및 썸네일들 또는 표시들(201 내지 204)은 그에 따라 (시점에서의 변화에 따라) 그러나 작고 의도적인 지연으로 움직일 것이다. 이러한 실시예에서, 지연은, 아마도 아직 완전히 안정되지 않았고 여전히 이전의 상대적 포인터 위치로 약간 수렴할 수 있는 가까운 썸네일 또는 표시에 사용자가 결국 자신의 시선의 중심을 두는 것을 허용할 것이다. 중심 영역(200) 및/또는 중심 포인터 뿐만 아니라 동작 표시 및/또는 썸네일들(201 내지 204)은 그에 따라 자신들의 각각의 위치를 스위칭할 것이다. 표시들 및/또는 썸네일들 뿐만 아니라 중심 중립적 영역 및 포인터는 결국 어느 정도의 시간 이후 안정화될 것이다. 일 실시예에서, 지연 시간은 증강 현실 시스템(100)의 반응 시간을 감속시키거나 가속시키기 위해 사용자에 의해 조절가능하고 미리 선택될 수 있다. 이러한 적절한 기간이 경과하면, 그 다음, 사용자는 도 3a의 다음 스테이지 프로세스 단계에 디스플레이된 바와 같이 사용자 선택을 행할 수 있다. 도 3a에서 볼 수 있는 바와 같이, 여전히 위치들에서의 시프트가 존재한다.
유사한 다른 예에서, 사용자는 시그널링되거나 썸네일된 물체들(201 내지 204) 중 하나와 상호작용하기를 원한다. 이러한 실시예에서, 사용자는 자신의 시점을 그 (가능하게는 폐색된) 물체에 중심을 두기 위해 넓은 헤드 움직임을 행할 필요는 없지만, 대신에 사용자는 그 물체와 관련된 착신 또는 안정화된 선택된 썸네일 또는 표시를 향하는 정확한 포인터로 자신의 헤드를 약간만 움직일 필요가 있다. 그 다음, 잠시 동안 자신의 시점을 그 표시에 중심을 두고 유지하면, 이전에 논의된 바와 같이 표시의 크기가 증가할 것이다.
도시된 바와 같은 각각의 경우에, 의자를 표현하는 썸네일 또는 표시(201)의 크기는 그 물체가 선택될 수 있다는 것이 더욱 명백해짐에 따라 크기가 커진다. 도 2 및 도 3의 의자(201)에 대한 썸네일의 크기를 비교하는 것은 이러한 썸네일의 증가하는 크기를 나타낼 것이다. 이러한 예에서, 가능한 선택을 표현하기 위해 증가하는 크기가 선택되지만, 색상, 밝기, 반짝임 또는 깜박임 또는 다른 이러한 시각적으로 구별되는 특징들과 같은 다른 유사하게 구별되는 속성들이 사용될 수 있다. 또한, 의자(201)의 가능한 선택은 또한 일 실시예에 도시된 바와 같이 다른 표시들 및 레이아웃이 시프트되고 교체되게 한다.
도 3b는 선택 동작이 트리거링된 후의 다음 스테이지 프로세싱 단계를 도시한다. 도 3a 및 도 3b의 실시예들을 함께 고려하면, 사용자는 의자를 선택하는 것으로 결정하고, 썸네일(201)은 선택된 물체로서 트리거링될 때까지 크기가 증가할 것이다. 도 3b의 실시예에서, 선택 트리거는 의자(201)의 썸네일 또는 표시의 색상 및 어두움에서의 변화를 수반한다. 그러나, 다른 실시예들에서, 인식될 수 있는 바와 같이, 선택 및 트리거링은 다양한 상이한 방식들로 식별될 수 있다. 일부 예들은 본 기술분야의 통상의 기술자에게 인식될 수 있는 바와 같은 색상 변화(녹색에서 적색, 청색에서 황색 등) 또는 다른 유사한 콘텍스트들을 포함할 수 있다. 예를 들어, 표시 또는 썸네일은 선택하기 직전에 깜박이기 시작할 수 있고 선택이 행해지면 그 주위에 후광이 형성된다. 다른 실시예들에서, 몇몇 변화들이 발생할 수 있다. 예를 들어, 모든 썸네일들은 원래 하나의 색상, 예를 들어, 녹색으로 나타날 수 있고, 녹색으로부터 황색으로(도 2b에서 도 3a로) 느리게 변화하여, 가능한 선택이 행해지고 있음을 나타낼 수 있다. 썸네일들은 또한 크기에서 증가하거나, 깜박이기 시작하거나 다른 방식들로 식별된다. 최종 선택 동작이 트리거링되면, 썸네일은 상이한 색상(적색)으로 변하고, 심지어 형상을 (타원형에서 사각형 등으로) 변경할 수 있다. 논의된 바와 같이, 색상은 오직 하나의 이러한 표시자(indicator)이다. 다른 실시예에서, 표시는 이전에 중심을 둔 표시들(전형적으로 중립적 표시) 및 새로 선택된 표시 사이의 교체 장소(swapping place)일 수 있다. 다른 표시자들은 깜박임, 증가, 백열, 표시자들, 예를 들어 별 모양을 갖는 표시자들 또는 본 기술분야의 통상의 기술자들에 의해 인식될 수 있는 바와 같이 다른 표시자들에 대해 변하는 플래싱 표시자들을 포함할 수 있지만 이에 제한되는 것은 아니다.
도 3a 및 도 3b를 다시 참조하면, 도 3b와 도 3a 사이에서와 같이 물체의 표시가 증가하는 동안(즉, 201), 도 3a 및 도 3b의 레이아웃에서 다른 표시들(202 내지 204)은 도시된 바와 같이 표시들 및 물체들의 임의의 중첩 또는 폐색을 회피하기 위해 그에 따라 업데이트된다. 사용자가 선택된 표시를 다른 표시(도시되지 않음)로 스위칭하는 경우, 이전의 증가하는 표시(201)는 자신의 원래의 디폴트 크기로 다시 설정되고 다른 표시 또는 표시들 또는 썸네일들이 증가하는 프로세스를 나타낼 것이다. 일 실시예에서, 선택이 행해지면, 사용자는 또한 다른 표시들 및 썸네일들이 제거되도록 선택 또는 미리 선택할 수 있다. 이들은, 사용자가 다른 선택을 행하기를 원하면 다시 나타날 수 있다. 이러한 방식으로, 표시들 및 썸네일들은 항상 가시적은 아니어서 사용가능성 및 엔터테인먼트 즐거움을 증가시킬 것이다. 다른 실시예에서, 동작이 트리거링되고 선택이 행해지는 순간에, 선택된 물체와 관련되지 않은 다른 표시들 및/또는 썸네일들은 즉시 제거될 것이다. 중심 영역 또는 영역(200)은 또한 디스플레이로부터 제거될 수 있다(그리고 단지 트리거링되고 있는 사용 경우에 따라 가능하게는 추후에 디스플레이될 수 있다). 이러한 방식으로, 논의된 바와 같이, 적어도 일 실시예에서, 사용자가 예를 들어 사용자의 헤드, 움직임, 제스처들 또는 신체에 의한 움직임의 요구되는 진폭을 가져야 할 필요성은 최소화될 것이다. 실제/가상 물체(들)와의 상호작용에 기초한 트리거 상호작용과 선택 사이의 관계는 보다 자연스럽고 사용자 친화적인 시스템을 허용할 것이다. 또한, 사용자 선택가능성 및 장면에서 사용자 관점에서 선택된 아이템들의 트리거링의 도움으로, 아이템들은, 사용자의 현재의 시점으로부터 완전히 또는 부분적으로 폐색되어 나타나는 경우에도 (특히, 아이템이 다른 것에 의해 폐색되는 경우에도) 용이하게 선택될 수 있다. 이러한 방식으로, 일 실시예에 따르면, 관심있는 물체(들)가 식별 및 선택되자 마자, 썸네일들 및 표시들은 제거될 것이다. 일 실시예에서, 장면의 임의의 물체는 또한, 성질상 실제이든 또는 가상이든, 사용자에 의해 동일한 방식으로 제어되도록 선택될 수 있다. 일단 선택 프로세스가 완료되고 사용자가 임의의 동작을 위해 선택된 아이템을 더 이상 사용할 필요가 없으면, 일 실시예에서, 사용자는 도 2a 및 도 2b의 다중 표시 디스플레이 배열로 단순히 복귀할 것이다. 다른 실시예에서, 사용자가 메뉴로 복귀하는 것은 본 기술분야의 통상의 기술자들에 의해 인식될 수 있는 바와 같이 다른 방식들로 핸들링될 수 있다. 예를 들어, 이들은, 사용자가 다른 선택들을 이러한 상태로 다시 복귀시킴으로써 트리거링될 수 있다.

Claims (15)

  1. 디스플레이(130)를 포함하는 헤드 장착 디바이스(110)로서,
    상기 디바이스(110)는 프로세서(140)를 포함하거나 상기 프로세서(140)에 연결되도록 구성되고,
    상기 프로세서(140)는,
    센서(170)의 출력에 기초하여 사용자의 시야 및 상기 사용자의 시야의 중심을 결정하는 것;
    상기 디스플레이로의 출력을 위해 이미지들을 렌더링하는 것 - 각각의 상기 이미지는 선택가능한 복수의 표시들 및 적어도 하나의 물체를 포함하고, 상기 표시들 각각은 상기 사용자의 시야 내의 물체에 대응하고, 상기 이미지들을 렌더링하는 것은, 상기 사용자의 시야가 주어진 표시에 중심을 둔다고 결정하는 것에 기초하여, 상기 복수의 디스플레이된 표시들 중 상기 주어진 표시의 제1 디스플레이 속성을 변경하는 것을 포함함 -; 및
    상기 사용자의 시야가 임계치를 초과하는 시간량 동안 상기 주어진 표시에 중심을 둔 채로 유지된다고 결정하는 것에 기초하여, 상기 주어진 표시를 선택하는 것
    을 수행하도록 동작하는 헤드 장착 디바이스(110).
  2. 제1항에 있어서,
    상기 렌더링하는 것은, 상기 선택가능한 물체들에 대응하는 상기 복수의 표시들과 동시에 상기 사용자의 시야 내의 물체들을 디스플레이하도록 상기 이미지를 렌더링하는 것을 포함하는 헤드 장착 디바이스(110).
  3. 제1항 또는 제2항에 있어서,
    상기 주어진 표시의 제1 디스플레이 속성을 변경하는 것은, 상기 복수의 디스플레이된 표시들 중 다른 표시들의 디스플레이 크기에 대해 상기 주어진 표시의 디스플레이 크기를 확대시키는 것을 포함하는 헤드 장착 디바이스(110).
  4. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 이미지들을 렌더링하는 것은, 상기 주어진 표시를 선택하는 것에 기초하여, 상기 제1 디스플레이 속성 이외의 상기 주어진 표시의 제2 디스플레이 속성을 변경하는 것을 더 포함하는 헤드 장착 디바이스(110).
  5. 제1항 내지 제4항 중 어느 한 항에 있어서,
    상기 프로세서(140)는,
    상기 사용자의 시야의 중심이 상기 선택된 주어진 표시로부터 멀리 시프트되었다고 결정하는 것에 기초하여, 상기 주어진 표시를 선택한 이후에 상기 주어진 표시를 선택해제(deselecting)하는 것
    을 수행하도록 추가로 구성되는 헤드 장착 디바이스(110).
  6. 제1항 내지 제5항 중 어느 한 항에 있어서,
    상기 디바이스(110)는, 적어도 하나의 움직임, 음성, 또는 움직임과 음성을 통해 사용자 선택을 등록하도록 구성된 모션 센서(170) 및 마이크로폰(180)을 포함하는 헤드 장착 디바이스(110).
  7. 제1항 내지 제6항 중 어느 한 항에 있어서,
    상기 디바이스(110)는 터치를 통해 상기 사용자 선택을 등록하도록 구성된 상호작용 영역(160)을 포함하는 헤드 장착 디바이스(110).
  8. 제4항에 있어서,
    상기 디바이스(110)는 터치를 통해 상기 사용자 선택을 등록하도록 구성된 터치 상호작용 영역(160)을 더 포함하는 헤드 장착 디바이스(110).
  9. 제1항 내지 제8항 중 어느 한 항에 있어서,
    상기 디스플레이(130)는 상기 사용자의 눈에 근접하여 적어도 하나의 렌더링 스크린 상에 그래픽 이미지들을 디스플레이하도록 구성되고, 상기 렌더링 스크린은 상기 사용자에 의해 착용가능한 안경 프레임(120)에 기계적으로 결합되는 헤드 장착 디바이스(110).
  10. 제1항 내지 제9항 중 어느 한 항에 있어서,
    상기 디바이스(110)는, 터치, 움직임 또는 음성 각각을 통해 사용자 입력을 캡처하도록 구성된 터치 상호작용 영역(160), 마이크로폰(180) 및 모션 센서(170)를 갖는 헤드 장착 디바이스(110).
  11. 제1항 내지 제10항 중 어느 한 항에 있어서,
    상기 표시들은, 물체들의 이미지들과 적어도 하나의 물체 명칭들을 갖는 썸네일들인 헤드 장착 디바이스(110).
  12. 헤드 장착 디바이스(110)로서,
    음성, 움직임 또는 터치의 형태로 사용자를 수신하기 위한 사용자 인터페이스 수단; 및
    상기 사용자 인터페이스 수단과 프로세싱 통신하는, 이미지들을 디스플레이하기 위한 수단(130)
    을 포함하고,
    상기 디바이스(110)는 프로세서(140)를 포함하거나 상기 프로세서(140)에 연결되도록 구성되고,
    상기 프로세서(140)는,
    센서(170)의 출력에 기초하여 사용자의 시야 및 상기 사용자의 시야의 중심(200)을 결정하는 것;
    상기 디스플레이하기 위한 수단(130)으로의 출력을 위해 이미지들을 렌더링하는 것 - 각각의 상기 이미지는 선택가능한 복수의 표시들 및 적어도 하나의 물체를 포함하고, 상기 표시들 각각은 상기 사용자의 시야 내의 물체에 대응하고, 상기 이미지들을 렌더링하는 것은, 상기 사용자의 시야가 주어진 표시에 중심을 둔다고 결정하는 것에 기초하여, 상기 복수의 디스플레이된 표시들 중 상기 주어진 표시의 제1 디스플레이 속성을 변경하는 것을 포함함 -; 및
    상기 사용자의 시야가 임계치를 초과하는 시간량 동안 상기 주어진 표시에 중심을 둔 채로 유지된다고 결정하는 것에 기초하여, 상기 주어진 표시를 선택하는 것
    을 수행하도록 동작하는 헤드 장착 디바이스(110).
  13. 제12항에 있어서,
    상기 디스플레이하기 위한 수단(130)은, 상기 사용자의 눈에 근접하여 적어도 하나의 렌더링 스크린 상에 그래픽 이미지들을 디스플레이하도록 구성되고, 상기 렌더링 스크린은 안경 프레임(120)에 기계적으로 결합되는 헤드 장착 디바이스(110).
  14. 헤드 장착 디바이스(110)를 사용하여 아이템을 선택하는 방법으로서,
    사용자의 시야 및 상기 사용자의 시야의 중심(220)을 결정하는 단계;
    디스플레이를 위해 이미지들을 렌더링하는 단계 - 각각의 상기 이미지는 상기 사용자의 시야 내의 선택가능한 물체에 각각 대응하는 복수의 표시들 및 하나 이상의 물체들을 포함하고, 상기 이미지들을 렌더링하는 단계는, 상기 사용자의 시야가 주어진 표시에 중심을 둔다고 결정하는 것에 기초하여, 상기 복수의 디스플레이된 표시들 중 상기 주어진 표시의 제1 디스플레이 속성을 변경하는 단계를 포함함 -; 및
    상기 사용자의 시야가 임계치를 초과하는 시간량 동안 상기 주어진 표시에 중심을 둔 채로 유지된다고 결정하는 것에 기초하여, 상기 주어진 표시를 선택하는 단계
    를 포함하는 방법.
  15. 제14항에 있어서,
    상기 표시들은, 물체들의 이미지들과 적어도 하나의 물체 명칭들을 갖는 썸네일들인 방법.
KR1020187005428A 2015-08-28 2016-07-22 투시 안경에 대한 보조 아이템 선택 KR20180044292A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP15306326.8 2015-08-28
EP15306326 2015-08-28
PCT/EP2016/067503 WO2017036667A1 (en) 2015-08-28 2016-07-22 Assisted item selection for see through glasses

Publications (1)

Publication Number Publication Date
KR20180044292A true KR20180044292A (ko) 2018-05-02

Family

ID=54238369

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187005428A KR20180044292A (ko) 2015-08-28 2016-07-22 투시 안경에 대한 보조 아이템 선택

Country Status (6)

Country Link
US (1) US10656705B2 (ko)
EP (1) EP3341816A1 (ko)
JP (1) JP6757404B2 (ko)
KR (1) KR20180044292A (ko)
CN (1) CN107924234B (ko)
WO (1) WO2017036667A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2558284B (en) 2016-12-23 2021-12-08 Sony Interactive Entertainment Inc Virtual reality
US10957103B2 (en) * 2017-11-03 2021-03-23 Adobe Inc. Dynamic mapping of virtual and physical interactions
CN111198608B (zh) * 2018-11-16 2021-06-22 广东虚拟现实科技有限公司 信息提示方法、装置、终端设备及计算机可读取存储介质
WO2021121766A1 (en) * 2019-12-18 2021-06-24 Nextmind Sas Brain-computer interface
CN114397996A (zh) * 2021-12-29 2022-04-26 杭州灵伴科技有限公司 交互提示方法、头戴式显示设备和计算机可读介质

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6456262B1 (en) * 2000-05-09 2002-09-24 Intel Corporation Microdisplay with eye gaze detection
US20060095865A1 (en) * 2004-11-04 2006-05-04 Rostom Mohamed A Dynamic graphical user interface for a desktop environment
US7928926B2 (en) * 2006-06-27 2011-04-19 Panasonic Corporation Display apparatus and method for hands free operation that selects a function when window is within field of view
US8102334B2 (en) * 2007-11-15 2012-01-24 International Businesss Machines Corporation Augmenting reality for a user
US9405456B2 (en) * 2009-06-08 2016-08-02 Xerox Corporation Manipulation of displayed objects by virtual magnetism
US9916006B2 (en) * 2010-07-23 2018-03-13 Telepatheye Inc. Eye-wearable device user interface and method
KR101303948B1 (ko) * 2010-08-13 2013-09-05 주식회사 팬택 비가시 객체에 대한 증강 현실 정보 제공 장치 및 방법
JP5573808B2 (ja) * 2011-09-30 2014-08-20 ブラザー工業株式会社 ヘッドマウントディスプレイ
US20130328925A1 (en) * 2012-06-12 2013-12-12 Stephen G. Latta Object focus in a mixed reality environment
US20130335405A1 (en) 2012-06-18 2013-12-19 Michael J. Scavezze Virtual object generation within a virtual environment
CN102945564A (zh) * 2012-10-16 2013-02-27 上海大学 基于视频透视式增强现实的真三维建模系统和方法
US10503359B2 (en) * 2012-11-15 2019-12-10 Quantum Interface, Llc Selection attractive interfaces, systems and apparatuses including such interfaces, methods for making and using same
JP6375591B2 (ja) * 2013-01-15 2018-08-22 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、画像表示システム
US9329682B2 (en) * 2013-06-18 2016-05-03 Microsoft Technology Licensing, Llc Multi-step virtual object selection
US9129430B2 (en) * 2013-06-25 2015-09-08 Microsoft Technology Licensing, Llc Indicating out-of-view augmented reality images
KR20150008733A (ko) * 2013-07-15 2015-01-23 엘지전자 주식회사 안경형 휴대기기 및 그의 정보 투사면 탐색방법
US20150156028A1 (en) 2013-12-01 2015-06-04 Apx Labs, Llc Systems and methods for sharing information between users of augmented reality devices
US9552060B2 (en) * 2014-01-28 2017-01-24 Microsoft Technology Licensing, Llc Radial selection by vestibulo-ocular reflex fixation
CN105677134A (zh) * 2014-11-19 2016-06-15 珠海金山办公软件有限公司 一种对象选择方法及系统
CN104784931B (zh) * 2015-04-21 2018-07-06 广州多益网络股份有限公司 一种游戏对象的标识、选定方法及装置

Also Published As

Publication number Publication date
US10656705B2 (en) 2020-05-19
WO2017036667A1 (en) 2017-03-09
US20180253144A1 (en) 2018-09-06
CN107924234B (zh) 2021-03-19
EP3341816A1 (en) 2018-07-04
CN107924234A (zh) 2018-04-17
JP2018525750A (ja) 2018-09-06
JP6757404B2 (ja) 2020-09-16

Similar Documents

Publication Publication Date Title
US11557102B2 (en) Methods for manipulating objects in an environment
CN114721470A (zh) 用于与三维环境进行交互的设备、方法和图形用户界面
US9886086B2 (en) Gesture-based reorientation and navigation of a virtual reality (VR) interface
US10656705B2 (en) Assisted item selection for see through glasses
WO2019243160A1 (en) Sharing virtual content in a mixed reality scene
US20230336865A1 (en) Device, methods, and graphical user interfaces for capturing and displaying media
US20220191577A1 (en) Changing Resource Utilization associated with a Media Object based on an Engagement Score
US20230221833A1 (en) Methods for displaying user interface elements relative to media content
US11822716B2 (en) Directing a virtual agent based on eye behavior of a user
WO2023205362A1 (en) Obstructed objects in a three-dimensional environment
KR20230158505A (ko) 맵들을 위한 디바이스들, 방법들, 및 그래픽 사용자 인터페이스들
US20240104877A1 (en) Methods for time of day adjustments for environments and environment presentation during communication sessions
US20240104849A1 (en) User interfaces that include representations of the environment
US20240104871A1 (en) User interfaces for capturing media and manipulating virtual objects
US20240094819A1 (en) Devices, methods, and user interfaces for gesture-based interactions
US20240103685A1 (en) Methods for controlling and interacting with a three-dimensional environment
US20240103678A1 (en) Devices, methods, and graphical user interfaces for interacting with extended reality experiences
US20240104819A1 (en) Representations of participants in real-time communication sessions
US20240104859A1 (en) User interfaces for managing live communication sessions
WO2024064180A1 (en) User interfaces that include representations of the environment
WO2024064350A1 (en) User interfaces for capturing stereoscopic media
WO2024064278A1 (en) Devices, methods, and graphical user interfaces for interacting with extended reality experiences
WO2024059755A1 (en) Methods for depth conflict mitigation in a three-dimensional environment
WO2024064015A1 (en) Representations of participants in real-time communication sessions
WO2024064016A1 (en) Devices, methods, and user interfaces for gesture-based interactions