KR102475873B1 - 시야 밖 증강 현실 영상의 표시 - Google Patents

시야 밖 증강 현실 영상의 표시 Download PDF

Info

Publication number
KR102475873B1
KR102475873B1 KR1020227004295A KR20227004295A KR102475873B1 KR 102475873 B1 KR102475873 B1 KR 102475873B1 KR 1020227004295 A KR1020227004295 A KR 1020227004295A KR 20227004295 A KR20227004295 A KR 20227004295A KR 102475873 B1 KR102475873 B1 KR 102475873B1
Authority
KR
South Korea
Prior art keywords
display
user
view
field
augmented reality
Prior art date
Application number
KR1020227004295A
Other languages
English (en)
Other versions
KR20220028131A (ko
Inventor
토마스 조지 살터
벤 석든
다니엘 뎃포드
로버트 주니어 크로코
브라이언 킨
로라 매시
알렉스 키프만
피터 토비아스 킨브루
니콜라스 카무다
재커리 퀄스
미카엘 스카베제
리안 헤스팅스
카메론 브라운
토니 앰브러스
제이슨 스콧
존 베비스
제이미 비. 커첸바움
니콜라스 게르바스 파제트
미카엘 클루셔
렐자 마르코빅
스티븐 라타
다니엘 매컬로크
Original Assignee
마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 filed Critical 마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Priority to KR1020227042686A priority Critical patent/KR102562577B1/ko
Publication of KR20220028131A publication Critical patent/KR20220028131A/ko
Application granted granted Critical
Publication of KR102475873B1 publication Critical patent/KR102475873B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures

Abstract

투시형 디스플레이 시스템을 포함하는 증강 현실 컴퓨팅 디바이스 상에서 사용자 인터페이스를 동작시키는 것에 관련된 실시예들이 개시되어 있다. 예를 들어, 하나의 개시된 실시예는 사용자의 시야 밖에 위치해 있는 하나 이상의 객체들을 식별하는 것; 및 하나 이상의 객체들의 각각의 객체에 대해, 객체와 연관된 위치 정보의 표시를 사용자에게 제공하는 것을 포함한다.

Description

시야 밖 증강 현실 영상의 표시{INDICATING OUT-OF-VIEW AUGMENTED REALITY IMAGES}
헤드 마운티드 디스플레이 시스템(head-mounted display system)들 및 핸드헬드 모바일 디바이스들(예컨대, 스마트폰, 태블릿 컴퓨터 등)과 같은 증강 현실 컴퓨팅 디바이스는 사용자의 시야 및/또는 디바이스의 카메라의 시야 내의 가상 또는 현실 객체들에 관한 정보를 사용자에게 디스플레이하도록 구성될 수 있다. 예를 들어, 헤드 마운티드 디스플레이는 현실 세계 객체와 공간 정합(spatial registration)되어 있는 현실 세계 객체에 관한 가상 정보를 투시형 디스플레이 시스템을 통해 디스플레이하도록 구성될 수 있다. 이와 유사하게, 모바일 디바이스는 카메라 뷰파인더 창을 통해 이러한 정보를 디스플레이할 수 있다.
증강 현실 컴퓨팅 디바이스 상에서 사용자 인터페이스를 동작시키는 것에 관련된 실시예들이 개시되어 있다. 예를 들어, 하나의 개시된 실시예는 사용자의 시야 밖에 위치해 있는 하나 이상의 객체들을 식별하는 것; 및 하나 이상의 객체들의 각각의 객체에 대해, 객체와 연관된 위치 정보의 표시를 사용자에게 제공하는 것을 포함한다.
이 발명의 내용은 이하에서 발명을 실시하기 위한 구체적인 내용에 추가로 기술되는 일련의 개념들을 간략화된 형태로 소개하기 위해 제공된다. 이 발명의 내용은 청구된 발명 요지의 주요 특징들 또는 필수적인 특징들을 언급하기 위한 것이 아니며, 청구된 발명 요지의 범주를 제한하기 위해 사용되기 위한 것도 아니다. 게다가, 청구된 발명 요지가 본 개시 내용의 임의의 부분에서 살펴본 단점들의 일부 또는 전부를 해결하는 구현들로 제한되지 않는다.
도 1a 및 도 1b는 증강 현실 컴퓨팅 시스템에 대한 예시적인 사용 환경을 개략적으로 나타낸 도면.
도 2는 증강 현실 디스플레이 디바이스의 예시적인 실시예를 개략적으로 나타낸 도면.
도 3은 도 2의 디스플레이 디바이스의 블록도.
도 4 내지 도 8은 증강 현실 디스플레이 디바이스 상에서의 사용자의 시야 밖에 있는 객체들의 예시적인 표시들을 나타낸 도면.
도 9는 본 개시 내용에 따른, 증강 현실 컴퓨팅 디바이스 상에서 사용자 인터페이스를 동작시키는 예시적인 방법을 나타낸 도면.
도 10은 예시적인 컴퓨터 시스템을 개략적으로 나타낸 도면.
앞서 언급한 바와 같이, 증강 현실 디스플레이 디바이스는 사용 환경에서 현실 및/또는 가상 객체들과 연관된 가상 정보(예컨대, 컴퓨터에 의해 렌더링된 텍스트 및/또는 영상)를 디스플레이하도록 구성될 수 있다. 그렇지만, 증강 현실 디스플레이 디바이스가 증강 현실 영상이 디스플레이될 수 있는 제한된 시야를 가질 수 있기 때문에, 사용자는, 사용자의 후방과 같이, 이 시야 밖에 위치해 있는 연관된 증강 현실 정보를 포함하는 객체를 인식할 수 없다. 그에 따라, 사용자는 그 객체들에 대한 증강 현실 정보를 보고 그리고/또는 그와 상호작용할 기회를 놓칠 수 있다.
그에 따라, 그 환경에서 이러한 데이터의 제시를 위해 이용 가능한 시야 밖의 위치들에 배치된 증강 현실 데이터의 표시들을 증강 현실 디스플레이 디바이스를 통해 제공하는 것에 관련된 실시예들이 본 명세서에 개시되어 있다. 이 표시들은 오디오 표시들 및/또는 시각적 표시들(이들로 제한되지 않음)을 비롯한, 임의의 적당한 유형의 표시를 포함할 수 있다.
도 1a 및 도 1b는 증강 현실 디스플레이 디바이스(104)의 일 실시예에 대한 사용 환경(100)의 예시적인 실시예를 나타낸 것이다. 도시된 증강 현실 디스플레이 디바이스(104)는 헤드 마운티드 디스플레이 디바이스의 형태를 취하고, 증강 현실 영상이 디스플레이될 수 있는 시야(102)를 포함한다. 사용 환경(100)은 복수의 교차하는 거리들과, 건물들(120, 122, 124, 126, 및 128)을 비롯한 다양한 건물들을 포함하는 거리 환경의 형태를 취한다. 환경(100)이 예시를 위해 제시되어 있다는 것과 사용 환경이 임의의 다른 적당한 형태를 취할 수 있다는 것을 잘 알 것이다.
도 1a는 사용자(106)가 보는 환경(100)의 사시도를 나타낸 것이고, 도 1b는 환경(100)의 평면도를 나타낸 것이다. 앞서 언급한 바와 같이, 도 1a 및 도 1b에 도시된 시야(102)는 가상 영상으로 증강될 수 있는, 디스플레이 디바이스(104)를 통해 볼 수 있는 환경의 일부분을 포함한다. 일부 실시예들에서, 시야(102)는 사용자의 실제 시야와 실질적으로 동일 공간에 있을 수 있다. 다른 실시예들에서, 시야(102)는 사용자의 실제 시야의 보다 적은 부분을 차지할 수 있다. 시야(102)는 외연부(periphery)(103)를 포함하고, 외연부(103) 밖에 있는 증강 현실 영상은 증강 현실 디스플레이 디바이스(104)에 의해 디스플레이 가능하지 않다.
증강 현실 환경(100)은 각종의 현실 세계 객체들 그리고 현실 세계 표면들 및 객체들과 함께 디스플레이될 수 있는 각종의 가상 객체들 또는 시각적 특징들을 포함할 수 있다. 예를 들어, 건물들(120, 122, 124, 128, 및 126)은 레스토랑을 포함할 수 있다. 그에 따라, 사용자(106)가 환경(100)에서의 근처 레스토랑들에 관한 정보를 요청하는 경우, 증강 현실 디스플레이 디바이스는 대응하는 건물들과 공간 정합되어 있는 근처 레스토랑들의 가상 객체 표시들을 디스플레이할 수 있다. 이러한 표시의 비제한적인 예로서, 건물(120)이 레스토랑을 포함한다는 것을 나타내는 아이콘(153)(예컨대, 핀 또는 다른 마킹)이 건물(120) 상에 오버레이될 수 있다. 그에 부가하여, 상호명, 로고, 전화 번호, 메뉴, 평가(들) 등과 같은 임의의 다른 적당한 정보가 표시를 통해 디스플레이되거나 액세스 가능할 수 있다.
그렇지만, 건물들(122, 124, 126, 및 128)이 또한 레스토랑을 포함하더라도, 사용자(106)는 레스토랑들이 시야(102) 밖에 위치해 있는 것으로 인해 이 옵션들을 알지 못할 수 있다. 예를 들어, 사용자(106)에 아주 가까운 레스토랑을 포함하는 건물(122)이 시야(102) 바로 밖에 있다. 그에 따라, 사용자가 건물(122)을 시야(102)에 들어오게 하기 위해 움직이지 않는 한, 사용자(106)는 이 레스토랑을 알지 못할 수 있다.
이와 같이, 증강 현실 시야 밖에 있는 환경에서의 정보를 사용자에게 알려주기 위해 다양한 표시들(예컨대, 오디오 또는 시각적 특징들)이 사용자(106)에게 제시될 수 있다. 표시들이 영속적인 또는 비영속적인(예컨대, 사용자 요청 시에 디스플레이되는) 사용자 인터페이스에 의해 제공될 수 있고, 확장된 주변 공간에서의 이용 가능한 증강 현실 정보에 관한 정보를 제공할 수 있다. 이 인터페이스는 시각적(예컨대, 온스크린 마커들 또는 지도들에 의해 표현됨), 청각적(예컨대, 한 세트의 사운드들이 데이터의 존재 및 근접성을 사용자에게 알려주는 경우)일 수 있고 그리고/또는 임의의 다른 적당한 형태(예컨대, 촉각적/햅틱)를 취할 수 있다. 이러한 방식으로, 사용자의 물리적 환경에 포함된 디지털 정보를, 그 정보가 사용자의 시야를 벗어나 있을 때에도, 사용자에게 알려줄 수 있다.
본 개시 내용에 따른 증강 현실 디스플레이 디바이스는 도 1a 및 도 1b의 헤드 마운티드 디스플레이 디바이스(104) 및 다른 모바일 디바이스들과 같은 접안 디바이스(near-eye device)들(이들로 제한되지 않음)을 비롯한, 임의의 적당한 형태를 취할 수 있다. 도 2는 증강 현실 디스플레이 시스템(300)의 예시적인 실시예를 나타낸 것이고, 도 3은 디스플레이 시스템(300)의 블록도를 나타낸 것이다.
디스플레이 시스템(300)은, 영상들이 렌즈들(302)을 통해(예컨대, 렌즈들(302), 렌즈들(302) 내에 포함된 도광체 시스템(들) 상으로의 투사를 통해, 및/또는 임의의 다른 적당한 방식으로) 디스플레이될 수 있도록, 투시형 디스플레이 서브시스템(304)의 일부를 형성하는 하나 이상의 렌즈들(302)을 포함한다. 디스플레이 시스템(300)은 사용자가 보고 있는 배경 장면 및/또는 물리적 공간의 영상들을 획득하도록 구성된 하나 이상의 바깥쪽으로 향해 있는 영상 센서들(306)을 추가로 포함하고, 사용자로부터의 음성 명령들과 같은, 사운드들을 검출하도록 구성된 하나 이상의 마이크들(308)을 포함할 수 있다. 바깥쪽으로 향해 있는 영상 센서들(306)은 하나 이상의 깊이 센서들 및/또는 하나 이상의 2 차원 영상 센서들을 포함할 수 있다. 다른 실시예들에서, 투시형 디스플레이 서브시스템 대신에, 증강 현실 디스플레이 시스템이 바깥쪽으로 향해 있는 영상 센서에 대한 뷰파인더 모드를 통해 증강 현실 영상들을 디스플레이할 수 있다.
디스플레이 시스템(300)은, 앞서 기술된 바와 같이, 사용자의 각각의 눈의 시선의 방향 또는 초점의 방향 또는 위치를 검출하도록 구성된 시선 검출 서브시스템(gaze detection subsystem)(310)을 추가로 포함할 수 있다. 시선 검출 서브시스템(310)은 임의의 적당한 방식으로 사용자의 각각의 눈의 시선 방향들을 결정하도록 구성될 수 있다. 예를 들어, 도시된 실시예에서, 시선 검출 서브시스템(310)은 광의 번쩍임이 사용자의 각각의 안구로부터 반사하게 하도록 구성된, 적외선 광원과 같은, 하나 이상의 번쩍임 광원(312), 및 사용자의 각각의 안구의 영상을 포착하도록 구성된, 안쪽으로 향해 있는 센서들과 같은, 하나 이상의 영상 센서들(314)을 포함한다. 영상 센서(들)(314)를 통해 수집된 영상 데이터로부터 결정되는 사용자의 안구들로부터의 번쩍임들의 변화들 및/또는 사용자의 동공의 위치가 시선의 방향을 결정하는 데 사용될 수 있다. 게다가, 사용자의 양눈으로부터 투사된 시선들이 외부 디스플레이와 교차하는 위치는 사용자가 주시하고 있는 객체(예컨대, 디스플레이된 가상 객체 및/또는 현실 배경 객체)를 결정하는 데 사용될 수 있다. 시선 검출 서브시스템(310)은 임의의 적당한 수 및 배열의 광원들 및 영상 센서들을 가질 수 있다. 다른 실시예들에서, 시선 검출 서브시스템(310)이 생략될 수 있다.
디스플레이 시스템(300)은 부가의 센서들을 추가로 포함할 수 있다. 예를 들어, 디스플레이 시스템(300)은 디스플레이 시스템(300)의 위치가 결정될 수 있게 하기 위해 GPS(global positioning) 서브시스템(316)을 포함할 수 있다. 이것은 사용자의 주변 물리적 환경에 위치해 있는, 건물 등과 같은, 객체들을 식별하는 데 도움을 줄 수 있다.
디스플레이 시스템(300)은 사용자가 디스플레이 시스템(300)을 착용하고 있을 때 사용자의 머리의 움직임들을 검출하기 위해 하나 이상의 움직임 센서들(318)을 추가로 포함할 수 있다. 시선 검출을 위해서는 물론, 바깥쪽으로 향해 있는 영상 센서(들)(306)로부터의 영상들에서의 블러(blur)를 보정하는 데 도움을 주는 영상 안정화를 위해, 어쩌면 눈 추적 번쩍임 데이터 및 바깥쪽으로 향해 있는 영상 데이터와 함께, 움직임 데이터가 사용될 수 있다. 움직임 데이터의 사용은, 바깥쪽으로 향해 있는 영상 센서(들)(306)로부터의 영상 데이터가 분석(resolve)될 수 없더라도, 시선 위치의 변화들이 추적될 수 있게 할 수 있다. 마찬가지로, 사용자가 눈, 목 및/또는 머리의 제스처들을 통해서는 물론, 구두 명령들을 통해 디스플레이 시스템(300)과 상호작용할 수 있도록, 움직임 센서들(318)은 물론, 마이크(들)(308) 및 시선 검출 서브시스템(310)이 또한 사용자 입력 디바이스들로서 이용될 수 있다. 임의의 다른 적당한 센서들 및 센서들의 조합이 이용될 수 있기 때문에, 도 2 및 도 3에 예시된 센서들이 예시를 위해 도시되어 있고 결코 제한하려고 의도되어 있지 않다는 것을 잘 알 것이다.
디스플레이 시스템(300)은 센서들과 통신하는 논리 서브시스템(322) 및 저장 서브시스템(324)을 가지는 제어기(320), 시선 검출 서브시스템(310), 디스플레이 서브시스템(304), 및/또는 다른 구성요소들을 추가로 포함한다. 저장 서브시스템(324)은, 작업들 중에서도 특히, 예를 들어, 센서들로부터의 입력들을 수신하고 해석하기 위해, 사용자의 위치 및 움직임들을 식별하기 위해, 증강 현실 시야에서 현실 객체들을 식별하고 그에 대한 증강 현실 영상을 제시하기 위해, 사용자의 시야 밖에 위치해 있는 객체들을 검출하기 위해, 그리고 사용자의 시야 밖에 위치해 있는 객체들과 연관된 위치 정보의 표시들을 제시하기 위해, 논리 서브시스템(322)에 의해 실행 가능한 명령어들을 저장하고 있다.
도시된 디스플레이 디바이스들(104 및 300)이 예시를 위해 기술되어 있고 따라서 제한하려는 것이 아니라는 것을 잘 알 것이다. 게다가, 본 개시 내용의 범주를 벗어남이 없이, 디스플레이 디바이스가 도시된 것들 이외의 부가의 및/또는 대안의 센서들, 카메라들, 마이크들, 입력 디바이스들, 출력 디바이스들 등을 포함할 수 있다는 것을 잘 알 것이다. 그에 부가하여, 본 개시 내용의 범주를 벗어남이 없이, 디스플레이 디바이스 및 그의 다양한 센서들 및 서브 구성요소들의 물리적 구성이 각종의 상이한 형태들을 취할 수 있다.
도 4 내지 도 8은 증강 현실 디스플레이 디바이스 상에서 증강 현실 영상의 디스플레이를 위해 이용 가능한 시야(102) 밖에 있는 객체들의 표시들의 예시적인 실시예들을 나타낸 것이고, 여기서 표시된 객체들은 연관된 증강 현실 정보를 가지는 객체에 대응한다. “시야 밖에 있는” 등과 같은 용어는, 본 명세서에서 사용되는 바와 같이, 각을 이룬 시야 밖에 있는 객체들, 다른 객체들(현실 또는 가상)에 의해 폐색된 객체들, 및/또는 임의의 다른 이유로 직접 보이지 않는 객체들을 의미한다. 먼저, 도 4는 시각 T1에서의 그리고 나중의 제2 시각 T2에서의 예시적인 시야(102)를 나타내고 있다. 시각 T1에서, 객체(402) 및 객체(404)는 시야(102) 내에 있다. 객체들(402 및 404)은 현실 또는 가상 객체들을 포함할 수 있고, 여기서 가상 객체는 물리적 장면에 존재하지 않는 그리고 증강 현실 영상을 형성하기 위해 물리적 장면의 영상과 결합되는, 증강 현실 영상에 디스플레이되거나 디스플레이 가능한 임의의 객체일 수 있다. 이 예에서, 복수의 객체들이 시야(102) 밖에 위치되어 있다. 그에 따라, 마커들(406, 408, 410, 412, 및 414)의 형태의 대응하는 복수의 시각적 표시들이 시야(102) 내에 디스플레이되고, 그에 의해 시야(102) 밖에 위치해 있는 객체들의 존재를 나타낸다.
도시된 실시예에서, 마커들은 시야(102)의 외연부(103)에 인접하여 디스플레이되지만, 임의의 다른 적당한 모습을 가질 수 있다. 게다가, 마커들이 대응하는 시야 밖 객체의 상대 위치를 나타내는 위치에 디스플레이될 수 있다. 예를 들어, 시야(102)의 우측에 배치된 마커들(410, 412, 및 414)은 사용자의 시야 밖에 있는 사용자의 우측에 배치된 객체들을 나타낼 수 있고, 따라서 대응하는 객체들을 보기 위해 고개를 돌릴 방향을 나타낼 수 있다. 다른 예로서, 시야(102)의 상단 경계에 배치된 마커(408)는 사용자가 대응하는 객체를 보기 위해 위쪽으로 고개를 돌리거나 위쪽을 바라볼 수 있다는 것을 나타낼 수 있다. 또 다른 예로서, 마커(406)는 시야(102)의 우측에 디스플레이되고, 그에 의해 대응하는 객체를 보기 위해 우측을 바라보거나 우측으로 고개를 돌리라고 사용자를 안내한다.
시각 T2에서, 사용자는 마커(412)와 연관된 객체(416)가 사용자의 시야(102) 내에 들어오도록 그의 시야를 오른쪽으로 움직였다. 어떤 예들에서, 사용자의 주의를 객체(416)로 끌기 위해 객체(416)가 시야 내에 들어온 후에 마커(412)가 계속 디스플레이될 수 있다. 그렇지만, 다른 예들에서, 대응하는 객체가 시야(102)에 들어갈 때, 마커(412)가 더 이상 디스플레이되지 않을 수 있거나 모습이 변할 수 있다(예컨대, 색상, 형상, 크기, 디스플레이되는 정보의 내용, 배향 등을 변경함). 게다가, 시각 T2에 나타낸 오른쪽으로의 시야의 이러한 움직임은 객체(402)를 시야(102) 밖으로 이동시킨다. 이와 같이, 객체(402)가 이제 시야 밖에 좌측으로 위치해 있다는 것을 나타내기 위해, 객체(402)와 연관된 마커(418)가 시야의 좌측 가장자리에 디스플레이된다.
도시된 예에서, 시야(102) 내에 있는 그리고 시야(102) 밖에 있는 객체들에 대한 마커들 모두가 명확함을 위해 동일한 모습으로 나타내어져 있다. 그렇지만, 시야 내부의 객체들에 대해 상이한 정보가 디스플레이될 수 있거나 어떤 정보도 디스플레이되지 않을 수 있다는 것을 잘 알 것이다. 예를 들어, 근처 레스토랑들에 대한 검색의 예에서, 시야(102)의 외연부에 있는 마커들은 시야 밖 레스토랑들의 존재를 나타내지만 이름 정보를 나타내지 않을 수 있는 반면, 시야 내의 레스토랑들에 대한 마커들은 레스토랑 이름, 전화 번호, 메뉴들에 대한 링크들, 평가들 등과 같은 부가 정보를 포함할 수 있다. 마찬가지로, 특정의 상호에 대한 사용자 검색과 관련하여, 상호의 시야 밖 위치를 나타내는 주변 마커가 사라지고 다른 마커로 대체되지 않을 수 있는데, 그 이유는 상호명이 현실 세계 환경에서 분명히 명백할 수 있기 때문이다.
도 4에 도시된 시각적 표시자들이 예시를 위해 제시되어 있다는 것과 시각적 표시자가 임의의 다른 적당한 형태를 취할 수 있다는 것을 잘 알 것이다. 게다가, 표시자들은 상대 위치 이외의 정보를 나타낼 수 있다. 예를 들어, 시각적 표시자의 모습이, 객체와 사용자 사이의 거리 및/또는 객체로부터 사용자로의 방향과 같은, 객체의 특성들에 기초하여 변할 수 있다. 이와 같이, 마커의 모습이, 사용자로부터의 거리 및/또는 사용자에 상대적인 방향 등의 변화들과 같은, 사용자에 상대적인 객체의 변화들에 기초하여 변할 수 있다.
게다가, 표시자들은 위치 정보 이외의 다른 정보를 나타낼 수 있다. 예를 들어, 시각적 표시자의 모습은, 대응하는 수의 마커들이 디스플레이의 그 측면에 디스플레이될 수 있다는 점에서, 특정의 방향 또는 위치에 있는 증강 현실 정보를 포함하는 객체들의 밀도를 나타낼 수 있다. 다른 예로서, 디스플레이된 마커의 상대적으로 더 큰 크기가 그 마커와 연관된 상대적으로 더 많은 수의 객체들을 나타낼 수 있도록, 시각적 표시자의 크기는 그 시각적 표시자와 연관된 객체들의 수에 기초할 수 있다. 사용자가 환경에서 시점을 변경하거나 시야(102)를 변경할 때, 시야(102) 밖에 위치해 있는 특징들, 정보 및 객체들의 변화들을 반영하기 위해, 마커들의 디스플레이가 동적으로 업데이트될 수 있다는 것을 잘 알 것이다.
어떤 예들에서, 시각적 표시자가 디스플레이되는 위치가 시야(102)의 중심점(452)에 기초하여 결정될 수 있다. 예를 들어, 수직 방향 및 수평 방향 둘 다에서의 사용자의 시선의 중심점(452)은 마커가 시야(102)의 외연부(103)를 따라 우측, 좌측, 상단, 또는 하단에 나타나는지를 결정할 분할선과 마주하고 있을 수 있다. 이러한 예들에서, 사용자의 후방에서 약간 우측으로 위치해 있는 유형 자산(visible asset)이 시야(102)의 우측 외연부 상에 디스플레이된 마커에 의해 표시될 수 있다. 다른 실시예들에서, 시각적 표시들이 임의의 다른 적당한 방식으로 배치될 수 있다.
도 5는 증강 현실 자산들의 가상 지도(506)의 형태의 다른 예시적인 시각적 표시자를 나타낸 것이다. 시각 T1에서, 객체(502) 및 객체(504)는 사용자의 시야(102) 내에 있다. 가상 지도(506)는 시야(102)보다 더 큰 환경에서의 물리적 지역을 나타낸다. 예를 들어, 시야는 가상 지도의 폭(532)보다 더 작은 중앙 영역(508)을 포함하는 폭(532)을 갖는 직사각형 영역으로 나타내어질 수 있고, 여기서 중앙 영역(508)은 사용자의 시야(102)를 나타낸다. 어떤 예들에서, 중앙 영역(508)은 시야(102)의 중심(512)을 나타내는 중심 표시자 또는 도트(510)를 포함할 수 있다.
중앙 영역(508)은 사용자가 시야(102) 내에 디스플레이되는 연관된 증강 현실 정보를 가지는 요소들 또는 객체들과 시야(102) 밖에 디스플레이되는 것들을 식별하는 데 도움을 줄 수 있다. 예를 들어, 시각 T1에 나타낸 바와 같이, 중앙 영역(508) 내에 디스플레이되는 마커(502a)는 객체(502)에 대응할 수 있다. 시야(102) 밖에 있는 객체들에 대한 마커들은 가상 지도(506) 내에서 중앙 영역(508) 밖에 디스플레이된다. 예를 들어, 시야(102) 밖에 위치해 있는 객체들의 존재를 나타내기 위해, 시각적 표시자들 또는 마커들(518, 516a, 524, 및 526)이 가상 지도(506) 상에 디스플레이된다.
가상 지도(506)는 임의의 적당한 방식으로 디스플레이될 수 있다. 예를 들어, 가상 지도(506)는 사용자 주위에서의 요소들의 배치를 보여주는 영속적 머리 고정 지도(persistent head locked map)로서 디스플레이될 수 있고, 여기서 지도 상에 디스플레이되는 마커들은 사용자 움직임에 따라 위치를 변경할 수 있다. 게다가, 일부 실시예들에서, 가상 지도에 디스플레이되는 마커들의 모습은 마커들이 표현하는 객체들의 유형에 기초할 수 있다. 예를 들어, 제1 색상을 갖는 가상 지도(506)에서의 마커는 제1 유형의 객체(예컨대, 레스토랑)를 나타낼 수 있는 반면, 제2 색상을 갖는 가상 지도(506)에서의 마커는 제2 유형의 객체(예컨대, 소매점)를 나타낼 수 있다.
가상 지도(506)는 디스플레이 상에서 임의의 적당한 위치에 디스플레이될 수 있고, 임의의 적당한 모습을 가질 수 있다. 예를 들어, 도시된 실시예에서, 가상 지도(506)는 시야(102)의 하단 영역에 디스플레이된다. 게다가, 가상 지도(506)가 시야(102) 내의 요소들의 사용자의 뷰를 방해하지 않도록, 가상 지도(506)는 적어도 부분적으로 반투명하거나 투명할 수 있다. 도시된 실시예에서, 가상 지도는 사용자 주위의 360도 지역 내의 객체들의 표현들을 디스플레이할 수 있지만, 임의의 다른 적당한 각도 범위를 나타낼 수 있다.
계속하여 도 5에서, 시각 T2에서, 사용자의 시야는 마커(516a)와 연관된 객체(516)가 사용자의 시야(102) 내에 들어오도록 오른쪽으로 움직였다. 시각 T2에 나타낸 바와 같이, 마커(516b)는 이제 중앙 영역(508)에 디스플레이되어, 객체(516)가 이제 시야(102) 내에 위치해 있다는 것을 나타낸다. 어떤 예들에서, 가상 지도(506) 상에 디스플레이되는 객체와 연관된 마커의 모습은 객체가 시야(102)에 있는지 여부에 따라 변할 수 있다. 예를 들어, 마커(522)는 객체(516)가 시야(102) 밖에 위치해 있을 때 제1 방식으로(예컨대, 제1 색상, 크기 및/또는 형상으로) 디스플레이될 수 있고, 객체(516)가 시야(102)에 들어갈 때 다른 제2 방식으로 디스플레이될 수 있다. 유의할 점은, 시각 T2에 나타낸 오른쪽으로의 시야의 이러한 움직임이 객체(502)를 시야(102) 밖으로 이동시킨다는 것이다. 이와 같이, 객체(502)가 이제 시야 밖에 좌측으로 위치해 있다는 것을 나타내기 위해, 객체(502)와 연관된 마커(520b)가 가상 지도(506) 상에서 중앙 영역(508) 밖에 중앙 영역의 좌측으로 디스플레이된다.
도 6은 시각적 표시자의 다른 예시적인 실시예를 나타낸 것이다. 이 예에서, 방 환경(602)이 시야(102)에 보여진다. 시각 T1에서, 시야(102) 밖에 위치해 있는 객체가 시야(102)의 우측 하단 밖의 방향으로 존재하는 것을 나타내기 위해 시각적 표시자(604)가 시야(102)의 우측 하단 외연부에 디스플레이된다. 시각적 표시자(604)는 그가 표현하는 객체로 가기 위해 사용자가 따라갈 수 있는 루트, 경로, 화살표, 또는 다른 방향 표시를 포함할 수 있다. 도시된 실시예에서, 통지 블록 또는 다른 가상 객체를 나타낼 수 있는 시각적 표시자(604)가 객체(606)로부터 뻗어가는 텐드릴(예컨대, 포도나무와 같은 특징부 또는 선의 다른 표현)로 표현될 수 있다. 이와 같이, 사용자는 객체(606)를 보이게 하기 위해 오른쪽으로 고개를 돌리는 것에 의해 객체(606) 쪽으로 표시자(604)를 시각적으로 따라갈 수 있다.
텐드릴이 임의의 적당한 컨텍스트에서 현재 증강 현실 시야 밖에 위치해 있는 객체로 사용자의 시선을 인도하기 위해 사용될 수 있다. 텐드릴은 시야 내로부터 시야 밖의 객체 쪽으로 이어지는 선으로서 기능한다. 이와 같이, 사용자는 텐드릴이 이어지는 객체를 찾기 위해 텐드릴을 시각적으로 따라갈 수 있다. 이러한 텐드릴들은 시야 밖 객체들을 위해 영속적으로 디스플레이될 수 있거나, 적당한 트리거의 발생 시에 디스플레이될 수 있다. 예를 들어, 객체를 선택하거나 보기 위한 사용자 입력(음성, 시선, 제스처 등)의 수신 시에, 시야 밖 객체에 대한 텐드릴이 나타날 수 있다. 다른 예들에서, 세상 인식 이벤트(world recognition event)(예컨대, 객체, 이벤트, 또는 다른 현실 세계 관심 항목을 인식한 것)에 응답하여 텐드릴이 디스플레이될 수 있다.
다른 예로서, 대응하는 시야 밖 객체가 보여질 새로운 활동을 가질 때 텐드릴의 디스플레이가 트리거될 수 있다. 예를 들어, 새로운 이메일 메시지가 수신될 때 보는 사람의 시선을 시야 밖 이메일 받은 편지함으로 인도하는 텐드릴이 디스플레이될 수 있다. 그에 부가하여, 현재 사용자 포커스(user focus)를 가지는 시야 밖 객체를 나타내기 위해 텐드릴이 사용될 수 있다. 예를 들어, 사용자가 현재 텍스트 입력 상자에 텍스트를 입력하고 있다가 이어서 다른 방향을 주시함으로써 텍스트 상자가 더 이상 보이지 않는 경우, 텍스트 상자로 돌아가는 텐드릴의 디스플레이가 트리거될 수 있다. 텐드릴은 또한 다른 객체들에 의해 가려져 있는 객체들로 사용자를 인도할 수 있다. 예를 들어, 텐드릴은 코너 또는 벽을 돌아서 시야 밖 객체로 이어질 수 있다. 이 예들 중 임의의 것에서, 시야 밖 객체가 시야 내로 들어올 때 텐드릴이 존속되거나 사라질 수 있다.
텐드릴이 임의의 적당한 모습을 가질 수 있다. 예를 들어, 일부 실시예들에서, 텐드릴이 포도나무와 같은 모습을 가질 수 있다. 다른 실시예들에서, 텐드릴이 시야 밖 객체로 이어지는 경로의 임의의 다른 적당한 표현의 모습을 가질 수 있다. 텐드릴이 디스플레이의 외연부에 인접한 위치로부터 시작될 수 있거나, 사용자의 시야의 중심에 더 가까운 곳에서 시작될 수 있다. 게다가, 다른 실시예들과 관련하여 앞서 기술된 바와 같이, 객체 유형, 위치, 및/또는 가상 또는 현실 세계 배치와 같은, 객체 특성들에 기초하여 텐드릴의 색상, 형상, 크기, 불투명도, 및/또는 다른 적당한 특성이 변화될 수 있다.
일부 실시예들에서, 텐드릴의 생성을 사용자에게 알려주기 위해 오디오 큐(audio cue)들이 사용될 수 있다. 예를 들어, 상기 이메일 예를 사용할 때, 시야 밖 이메일 받은 편지함에 새 이메일 메시지의 수신 시에 텐드릴의 생성을 나타내기 위해, 웅 소리(hum), 톤, 또는 다른 적당한 사운드와 같은, 오디오 출력이 출력될 수 있다. 게다가, 객체에 관한 부가 정보를 제공하기 위해 사운드의 특성이 변화될 수 있다. 예를 들어, 고음의 웅 소리는 객체가 멀리 떨어져 있음을 나타내기 위해 사용될 수 있는 반면, 저음의 웅 소리는 근처에 있는 객체를 나타낼 수 있다. 이 실시예들이 예시를 위해 기술되어 있고 결코 제한하는 것으로 의도되어 있지 않다는 것을 잘 알 것이다.
어떤 예들에서, 시각적 표시자는 증강 현실 영상의 디스플레이를 위해 이용 가능한 시야 내로부터 이동되는 객체를 표현할 수 있다. 예를 들어, 도 7을 참조하면, 환경(702)에 있는 사용자는, 시각 T1에 나타낸 바와 같이, 처음에 사진, 사용자 인터페이스 컨트롤, 애플리케이션 인터페이스/창, 또는 임의의 다른 적당한 객체와 같은, 객체(704)와 상호작용하고 있을 수 있다.
사용자가 객체(704)와 상호작용하는 것을 끝냈을 때, 객체가 (자동으로 또는 사용자 동작에 의해) 시야(102) 밖에 있는 위치로 이동될 수 있다. 이와 같이, 시각 T2에 나타낸 바와 같이, 시야 밖 위치 쪽으로의 객체(704)의 움직임을 나타내는 애니메이션(706)이 시야(102) 내에 디스플레이될 수 있다. 애니메이션(706)의 모습은 객체(704)의 움직임의 다양한 특성들 및/또는 객체(704)가 보내지는 위치에 기초할 수 있다. 예를 들어, 애니메이션(706)의 속도는 객체(704)가 화면 밖으로 얼마나 먼 곳에 이르게 될 것인지를 나타낼 수 있고, 여기서 상대적으로 더 높은 속도는 시야 밖으로 상대적으로 더 먼 거리를 나타낼 수 있다. 애니메이션(706)은 경로를 따라 뻗어 있는 펄스들 또는 객체(704)가 이동해 가는 위치를 나타내는 텐드릴(이들로 제한되지 않음)을 비롯한 임의의 다른 적당한 형태를 취할 수 있다. 다음에 시각 T3을 참조하면, 객체(704)가 시야(102) 밖으로 움직인 후에, 객체(704)가 시야(102) 밖에 배치되어 있는 위치를 나타내는 마커(708)는 시야(102)의 외연부(103)에 디스플레이될 수 있다.
게다가, 일부 실시예들에서, 시야 밖에 위치해 있는 객체에 대해 수행되는 동작들을 나타내는 애니메이션이 시야(102) 내에 디스플레이될 수 있다. 예를 들어, 텐드릴이 이어지는 객체와의 사용자 상호작용에 기초한 텐드릴의 모습의 변화들이 객체와의 사용자 활동을 나타내기 위해 애니메이션화될 수 있다. 더 구체적인 예로서, 사용자가 시야에 디스플레이되는 객체(예컨대, 텍스트 입력 상자)를 보고 있고 시야 밖에 위치해 있는 현실 세계 입력 디바이스(예컨대, 키보드)를 통해 입력을 제공하는 경우, 시야 밖 객체(키보드)와의 이러한 사용자 활동을 나타내기 위해 애니메이션 또는 다른 적당한 표시자가 현실 세계 입력 디바이스에서 시작하고 시야 내의 텍스트 입력 상자에서 끝나는 것으로 디스플레이될 수 있다. 이러한 애니메이션이 임의의 적당한 모습을 가질 수 있다. 하나의 비제한적인 예로서, 사용자가 현실 세계 입력 디바이스에 입력을 제공할 때(예컨대, 사용자가 시야 밖에 위치해 있는 키보드 상의 키들을 누를 때), 입력 디바이스로부터 텍스트 입력 상자로 텐드릴을 따라 위로 진행하는 애니메이션화된 펄스가 디스플레이될 수 있다.
도 8은 증강 현실 환경(802)에서 시야 밖 객체들과 연관된 위치 정보를 나타내기 위한 텐트릴의 다른 예시적인 사용을 나타낸 것이다. 보다 구체적으로는, 도 8은 증강 현실 디스플레이 디바이스의 시야(806) 밖에 위치해 있는 복수의 가상 객체들(818, 820, 822 및 824)을 나타내고 있다. 가상 객체들(818, 820, 822 및 824)은 디스플레이 디바이스의 사용자와 상호작용할 수 있는 애플리케이션 사용자 인터페이스들 또는 임의의 다른 적당한 객체일 수 있다. 도 8은 또한 객체들(818, 820, 822 및 824)과 연관된 일군의 표시자들(810, 812, 814, 및 816)(아이콘들 등)을 나타내고 있고, 여기서 표시자들은 현재 시야(806) 내에 있는 위치에 현재 디스플레이되어 있다. 예를 들어, 표시자(810)는 객체(824)에 대응할 수 있고, 표시자(812)는 객체(834)에 대응할 수 있으며, 표시자(814)는 객체(820)에 대응할 수 있고, 표시자(816)는 객체(818)에 대응할 수 있다. 도 8은 또한 키보드(808) 형태의 현실 객체를 나타내고 있다.
가상 객체들(818, 820, 822, 및 824)은, 환경(802)에서 사용자의 시점에 변할 때 현실 세계 배경에 상대적으로 움직일 수 없다는 점에서, “세상에 고정”되어 있을 수 있다. 그에 따라, 가상 객체가 때로는 시야(806) 밖에 있을 수 있다. 이와 같이, 사용자는 일군의 표시자들을 보고 원하는 가상 객체에 대응하는 표시자를 선택하는 것(예컨대, 원하는 애플리케이션에 대응하는 아이콘을 선택하는 것)에 의해 객체들을 찾아낼 수 있다. 선택이 음성, 시선, 신체 제스처(예컨대, 움직임 센서들에 의해 검출되는 머리 제스처, 영상 센서에 의해 검출되는 팔 제스처 등), 및/또는 임의의 다른 적당한 메커니즘에 의해 행해질 수 있다. 이 선택의 결과, 사용자의 시선을 연관된 객체로 인도하는 시야(806) 내의 텐드릴(826)이 디스플레이될 수 있다. 도 8에서, 현재 사용자의 시야에 있는 텐드릴(826)의 일부가 실선으로 나타내어져 있고, 현재 시야 밖에 있는 일부는 파선으로 나타내어져 있다. 텐드릴을 그의 길이 동안 시각적으로 따라가는 것에 의해, 사용자는 원하는 가상 객체를 찾아낼 수 있다.
도 9는 사용자의 시야 밖에 위치해 있는 현실 및/또는 가상 객체들의 표시들을 제공하기 위해 증강 현실 컴퓨팅 디바이스 상의 사용자 인터페이스를 동작시키는 방법(900)의 일례를 나타낸 흐름도를 도시한 것이다. 이하에서 기술되는 바와 같이, 이 표시들은 시각적 표시들 및/또는 오디오 표시들을 포함할 수 있다.
902에서, 방법(900)은 연관된 증강 현실 정보를 포함하는 사용자의 시야 밖에 있는 객체들을 식별하는 것을 포함한다. 시야 밖에 있는 객체들을 식별하는 것은 객체들에 관한 정보를 임의의 방식으로(예컨대, 로컬적으로 발생되거나 검출된 정보 및/또는 다른 디바이스들로부터 획득된 정보) 획득하는 것을 포함한다. 객체들은 임의의 적당한 현실 및/또는 가상 객체들을 포함할 수 있다. 방법(900)은 사용자의 시야 밖에 있는 객체들과 연관된 위치 정보를 표시하는 것을 추가로 포함한다. 이 표시는 객체들을 보기 위해 바라볼 방향 및/또는 객체들에 관한 임의의 다른 적당한 정보를 사용자에게 전달하기 위해 사용자의 위치에 상대적인 객체의 위치에 관한 정보를 포함할 수 있다.
이 표시는 임의의 적당한 트리거에 응답하여 제공될 수 있다. 어떤 예들에서, 이 표시들은 사용자 입력, 예컨대, 제스처(시선 제스처, 신체 제스처 등), 음성 입력, 또는 다른 적당한 입력에 응답하여 사용자에게 제공될 수 있다. 다른 예들에서, 표시들이 사용자의 환경에 의존할 수 있는 프로그램적 트리거에 기초하여 사용자에게 자동으로 제공될 수 있다.
앞서 언급되고 906에 도시된 바와 같이, 표시자를 제시하는 것은 디스플레이 디바이스를 통해 시각적 표시자를 디스플레이하는 것을 포함할 수 있다. 디스플레이된 시각적 표시자는 임의의 적당한 모습을 가질 수 있다. 예를 들어, 908에 도시된 바와 같이, 시각적 표시자들은 마커들의 형태를 취할 수 있다. 게다가, 마커들의 모습은 객체를 보기 위해 고개를 돌릴 방향, 증강 현실 영상을 디스플레이하기 위해 이용 가능한 시야와 객체 사이의 거리 등과 같은 정보를 나타낼 수 있다. 마커들이 시야의 외연부에 또는 임의의 다른 적당한 위치에 디스플레이될 수 있다.
다른 예로서, 910에 나타낸 바와 같이, 시각적 표시자들은 또한 사용자가 연관된 객체들을 찾기 위해 시각적으로 따라갈 수 있는, 텐드릴과 같은, 경로의 형태를 취할 수 있다. 예를 들어, 마커는 사용자의 시야 내의 위치로부터 객체 쪽으로 또는 객체까지 뻗어 있는 시각적으로 디스플레이된 경로를 포함할 수 있다. 또 다른 예로서, 912에 나타낸 바와 같이, 시각적 표시자들이 가상 지도를 통해 디스플레이될 수 있다. 이러한 지도는 증강 현실 영상을 디스플레이하기 위해 사용 가능한 시야보다 더 큰 물리적 지역을 매핑하는 오버레이의 형태를 취할 수 있고, 임의의 적당한 모습(그의 비제한적인 예들이 앞서 기술되어 있음)을 가질 수 있다.
사용자가 시각적 표시자들의 디스플레이에 응답하여 고개를 돌리거나 움직일 때, 914에 나타낸 바와 같이, 시각적 표시자들의 디스플레이가 변할 수 있다. 예를 들어, 마커의 모습이 객체의 특성, 객체와 사용자 사이의 거리, 및 사용자에 상대적인 객체의 배향 중 하나 이상에 기초하여 변화될 수 있다. 마커의 디스플레이를 변화시키는 것은 객체의 색상을 변화시키는 것, 객체의 불투명도를 변화시키는 것, 객체의 크기를 변화시키는 것, 객체의 형상을 변화시키는 것, 및 객체의 움직임을 변화시키는 것 중 하나 이상을 포함할 수 있다. 마커의 모습이 객체의 특성에 기초하여 변화되는 경우, 특성은 전역적 특성 또는 컨텍스트 관련(예컨대, 응용 분야 관련) 특성을 포함할 수 있다. 예를 들어, 증강 현실 비디오 게임에서, 마커의 색상은 게임 객체의 상대 값/중요성(예컨대, 최고 값 또는 가장 어려운 적)을 나타내는 데 사용될 수 있다.
게다가, 사용자의 시야 밖에 있는 객체들의 표시는 또한 시각적 표시자들 대신에 또는 그에 부가하여 오디오 표시들을 포함할 수 있다. 이와 같이, 916에서, 방법(900)은 객체 또는 객체들의 존재를 나타내는 하나 이상의 사운드들을 스피커들로부터 방출하는 단계를 포함할 수 있다. 오디오 표시들은 임의의 적당한 형태를 취할 수 있다. 예를 들어, 표시들은 차임벨 소리/벨소리, 삐 소리, 다른 톤들은 물론, 컴퓨터화된 음성 출력들과 같은 더 복잡한 출력들의 형태를 취할 수 있다.
시각적 표시자들에서와 같이, 918에 나타낸 바와 같이, 시야 밖 객체들에 상대적인 사용자의 위치가 변할 때 또는 다른 상태 변화들에 기초하여 오디오 표시의 제시가 변할 수 있다. 사운드들이 객체의 특성, 객체와 사용자 사이의 거리, 및/또는 사용자에 상대적인 객체의 배향 중 하나 이상과 같은 임의의 적당한 인자들에 기초하여 변화될 수 있다. 게다가, 사운드들이 임의의 적당한 방식으로 변화될 수 있다. 예를 들어, 사운드들이 하나 이상의 사운드들의 볼륨을 변화시키는 것, 하나 이상의 사운드들의 하나 이상의 주파수들을 변화시키는 것, 사운드의 음색을 변화시키는 것, (예컨대, 객체와 사용자의 상대 위치들에 기초하여 머리 관련 전달 함수(head-related transfer function, HRTF)를 적용하는 것에 의해) 하나 이상의 사운드들의 겉보기 위치를 변화시키는 것, 및 촉각적/햅틱 응답을 변화시키는 것에 의해 변화될 수 있다. 더 구체적인 예로서, 사용자는 음성 또는 텍스트 입력을 통해 “근처에 커피숍이 있습니까”를 요청할 수 있다. 그에 응답하여, (각각의 커피숍에 대해 하나씩) 순차적으로 제시된 출력 톤들에 의해 커피숍들의 상대 위치들이 표현될 수 있고, 여기서 각각의 톤에 대해 2 개 이상의 스피커들(예컨대, 헤드 마운티드 디스플레이 디바이스 상의 이어폰) 각각에 적용되는 신호들이 사용자 및 연관된 커피숍의 상대 위치들에 기초하여 결정된 HRTF에 기초하여 수정된다.
다른 예들에서, 객체까지의 거리 및/또는 객체의 상대 위치가 또한 사운드의 사운드 패턴에 의해, 사운드의 템포에 의해, 사운드의 피치에 의해, 또는 사운드의 길이에 의해 표시될 수 있다. 이러한 사운드 품질들은 이용 가능한 정보의 밀도 및/또는 임의의 다른 적당한 정보를 나타내기 위해 추가로 사용될 수 있다. 예를 들어, 디스플레이의 각각의 측면 상의 객체들의 밀도가 밀도들을 나타내기 위해 사용되는 사운들의 피치에서의 상대적 차이들에 의해 표시될 수 있다.
일부 실시예들에서, 앞서 기술된 방법들 및 프로세스들은 하나 이상의 컴퓨팅 디바이스들의 컴퓨팅 시스템에 연계될 수 있다. 상세하게는, 이러한 방법들 및 프로세스들은 컴퓨터 애플리케이션 프로그램 또는 서비스, API(application-programming interface), 라이브러리, 및/또는 다른 컴퓨터 프로그램 제품으로서 구현될 수 있다.
도 10은 앞서 기술된 방법들 및 프로세스들 중 하나 이상을 수행할 수 있는 컴퓨팅 시스템(1000)의 비제한적인 실시예를 개략적으로 나타낸 것이다. 디스플레이 디바이스(104)는 컴퓨팅 시스템(1000)의 하나의 비제한적인 예일 수 있다. 컴퓨팅 시스템(1000)은 간략화된 형태로 도시되어 있다. 본 개시 내용의 범주를 벗어남이 없이, 거의 모든 컴퓨터 아키텍처가 사용될 수 있다는 것을 잘 알 것이다. 다른 실시예들에서, 컴퓨팅 시스템(1000)은 디스플레이 디바이스, 웨어러블 컴퓨팅 디바이스, 메인프레임 컴퓨터, 서버 컴퓨터, 데스크톱 컴퓨터, 랩톱 컴퓨터, 태블릿 컴퓨터, 홈 엔터테인먼트 컴퓨터, 네트워크 컴퓨팅 디바이스, 게임 디바이스, 모바일 컴퓨팅 디바이스, 이동 통신 디바이스(예컨대, 스마트폰) 등의 형태를 취할 수 있다.
컴퓨팅 시스템(1000)은 논리 서브시스템(1002) 및 저장 서브시스템(1004)을 포함한다. 컴퓨팅 시스템(1000)은 디스플레이 서브시스템(1006), 입력 서브시스템(1008), 통신 서브시스템(1010), 및/또는 도 10에 도시되지 않은 다른 구성요소들을 선택적으로 포함할 수 있다.
논리 서브시스템(1002)은 명령어들을 실행하도록 구성된 하나 이상의 물리 디바이스들을 포함한다. 예를 들어, 논리 서브시스템(1002)은 하나 이상의 애플리케이션들, 서비스들, 프로그램들, 루틴들, 라이브러리들, 객체들, 구성요소들, 데이터 구조들, 또는 다른 논리적 구성(logical construct)들의 일부인 명령어들을 실행하도록 구성될 수 있다. 이러한 명령어들은 작업을 수행하거나, 데이터 유형을 구현하거나, 하나 이상의 구성요소들의 상태를 변환하거나, 다른 방식으로 원하는 결과에 도달하도록 구현될 수 있다.
논리 서브시스템(1002)은 소프트웨어 명령어들을 실행하도록 구성된 하나 이상의 프로세서들을 포함할 수 있다. 그에 부가하여 또는 대안적으로, 논리 서브시스템(1002)은 하드웨어 또는 펌웨어 명령어들을 실행하도록 구성된 하나 이상의 하드웨어 또는 펌웨어 논리 기계들을 포함할 수 있다. 논리 서브시스템(1002)의 프로세서들은 단일 코어(single-core) 또는 멀티 코어(multi-core)일 수 있고, 그에서 실행되는 프로그램들은 순차, 병렬 또는 분산 처리를 위해 구성될 수 있다. 논리 서브시스템(1002)은 원격지에 위치되고 그리고/또는 조정된 처리(coordinated processing)를 위해 구성될 수 있는, 2 개 이상의 디바이스들에 걸쳐 분산되어 있는 개별 구성요소들을 선택적으로 포함할 수 있다. 논리 서브시스템(1002)의 양태들이 클라우드 컴퓨팅 구성으로 구성된, 원격적으로 액세스가능하고 네트워크화된 컴퓨팅 디바이스들에 의해 가상화되고 실행될 수 있다.
저장 서브시스템(1004)은 본 명세서에 기술된 방법들 및 프로세스들을 구현하기 위해 논리 서브시스템(1002)에 의해 실행 가능한 데이터 및/또는 명령어들을 보유하도록 구성된 하나 이상의 물리 디바이스들을 포함한다. 이러한 방법들 및 프로세스들이 구현될 때, 저장 서브시스템(1004)의 상태가 (예컨대, 다른 데이터를 보유하도록) 변환될 수 있다.
저장 서브시스템(1004)은 이동식 매체 및/또는 내장형 디바이스(built-in device)를 포함할 수 있다. 저장 서브시스템(1004)은, 그 중에서도 특히, 광 메모리 디바이스(예컨대, CD, DVD, HD-DVD, 블루레이 디스크 등), 반도체 메모리 디바이스(예컨대, RAM, EPROM, EEPROM 등), 및/또는 자기 메모리 디바이스(예컨대, 하드 디스크 드라이브, 플로피 디스크 드라이브, 테이프 드라이브, MRAM 등)를 포함할 수 있다. 저장 서브시스템(1004)은 휘발성, 비휘발성, 동적, 정적, 판독/기입, 판독 전용, 랜덤 액세스, 순차 액세스, 위치 주소화(location-addressable), 파일 주소화(file-addressable), 및/또는 내용 주소화(content-addressable) 디바이스들을 포함할 수 있다.
저장 서브시스템(1004)이 하나 이상의 물리 디바이스들을 포함하고, 전파 신호 자체를 배제한다는 것을 잘 알 것이다. 그렇지만, 일부 실시예들에서, 본 명세서에 기술된 명령어들의 측면들은 저장 디바이스에 저장되지 않고 통신 매체를 통해 순수 신호(예컨대, 전자기 신호, 광 신호 등)로서 전파될 수 있다. 게다가, 본 개시 내용에 관한 데이터 및/또는 다른 형태의 정보가 순수 신호에 의해 전파될 수 있다.
일부 실시예들에서, 논리 서브시스템(1002) 및 저장 서브시스템(1004)의 측면들이 본 명세서에 기술된 기능이 수행될 수 있는 하나 이상의 하드웨어 논리 구성요소들에 함께 통합될 수 있다. 이러한 하드웨어 논리 구성요소들은, 예를 들어, FPGA(field-programmable gate array), PASIC/ASIC(program- and application-specific integrated circuit), PSSP/ASSP(program- and application-specific standard product), SOC(system-on-a-chip) 시스템, 및 CPLD(complex programmable logic device)를 포함할 수 있다.
포함될 때, 디스플레이 서브시스템(1006)은 저장 서브시스템(1004)에 의해 보유된 데이터의 시각적 표현을 제시하기 위해 사용될 수 있다. 이 시각적 표현은 그래픽 사용자 인터페이스(GUI)의 형태를 취할 수 있다. 본 명세서에 기술된 방법들 및 프로세스들이 저장 서브시스템에 의해 보유된 데이터를 변경하고 따라서 저장 서브시스템의 상태를 변환시키기 때문에, 기본 데이터의 변화를 시각적으로 표현하기 위해 디스플레이 서브시스템(1006)의 상태도 마찬가지로 변환될 수 있다. 디스플레이 서브시스템(1006)은 거의 모든 유형의 기술을 이용하는 하나 이상의 디스플레이 디바이스들을 포함할 수 있다. 이러한 디스플레이 디바이스들은 공유 인클로저(shared enclosure)에서 논리 서브시스템(1002) 및/또는 저장 서브시스템(1004)과 결합될 수 있거나, 이러한 디스플레이 디바이스들이 주변 디스플레이 디바이스일 수 있다.
포함될 때, 입력 서브시스템(1008)은 키보드, 마우스, 터치 스크린, 또는 게임 컨트롤러와 같은 하나 이상의 사용자 입력 디바이스들을 포함하거나 그와 인터페이스할 수 있다. 일부 실시예들에서, 입력 서브시스템은 선택된 NUI(natural user input) 구성요소를 포함하거나 그와 인터페이스할 수 있다. 이러한 구성요소는 일체형이거나 주변 기기일 수 있고, 입력 동작들의 변환(transduction) 및/또는 처리가 온보드(on-board)로 또는 오프보드(off-board)로 처리될 수 있다. 예시적인 NUI 구성요소는 발화(speech) 및/또는 음성(voice) 인식을 위한 마이크; 기계 시각(machine vision) 및/또는 제스처 인식을 위한 적외선, 컬러, 입체(stereoscopic,), 및/또는 깊이 카메라; 움직임 검출 및/또는 의도 인식을 위한 머리 추적기, 눈 추적기, 가속도계, 및/또는 자이로스코프는 물론; 뇌 활동을 평가하기 위한 전기장 감지 구성요소를 포함할 수 있다.
포함될 때, 통신 서브시스템(1010)은 컴퓨터 시스템(1000)을 하나 이상의 다른 컴퓨팅 디바이스들과 통신 연결시키도록 구성될 수 있다. 통신 서브시스템(1010)은 하나 이상의 다른 통신 프로토콜들과 호환 가능한 유선 및/또는 무선 통신 디바이스들을 포함할 수 있다. 비제한적인 예들로서, 통신 서브시스템은 무선 전화 네트워크, 또는 유선 또는 무선 LAN(local-area network) 또는 WAN(wide-area network)을 통한 통신을 위해 구성될 수 있다. 일부 실시예들에서, 통신 서브시스템은 컴퓨터 시스템(1000)이 인터넷과 같은 네트워크를 통해 메시지들을 다른 디바이스들로 및/또는 그들로부터 송신 및/또는 수신할 수 있게 할 수 있다.
본 명세서에 기술된 구성들 및/또는 접근법들이 사실상 예시적인 것이라는 것과, 다양한 변형들이 가능하기 때문에, 이 구체적인 실시예들 또는 예들이 제한하는 의미로 간주되어서는 안된다는 것을 잘 알 것이다. 본 명세서에 기술된 구체적인 루틴들 또는 방법들은 임의의 수의 처리 전략들 중 하나 이상을 나타낼 수 있다. 그에 따라, 예시된 및/또는 기술된 다양한 동작들이 예시된 및/또는 기술된 순서로, 다른 순서로, 병렬로 수행될 수 있거나, 생략될 수 있다. 마찬가지로, 앞서 기술된 프로세스들의 순서가 변경될 수 있다.
본 개시 내용의 발명 요지는 본 명세서에 개시되어 있는 다양한 프로세스들, 시스템들 및 구성들과 다른 특징들, 기능들, 동작들 및/또는 특성들은 물론, 이들의 모든 등가물들의 모든 신규의 비자명한 콤비네이션들 및 서브콤비네이션들을 포함한다.

Claims (20)

  1. 투시형(see-through) 디스플레이 디바이스 상에서의 방법에 있어서,
    증강 현실 영상의 디스플레이를 위해 이용 가능한 상기 투시형 디스플레이 디바이스의 시야 밖에 위치된 하나 이상의 객체(object)를 검출하는 단계;
    상기 하나 이상의 객체 중의 각각의 객체에 대해, 상기 시야 밖에 위치된 상기 객체의 존재 및 방향의 표시를 사용자에게 제공하는 단계 - 상기 표시는 수직 사용자 시선 방향 및 수평 사용자 시선 방향에서 상기 시야보다 큰 물리적 지역을 나타내는 가상 지도를 포함함 -
    상기 투시형 디스플레이 디바이스에 상대적인 상기 객체의 위치의 변화, 상기 객체와 상기 투시형 디스플레이 디바이스 사이의 거리, 및 상기 객체의 특성 중 하나 이상에 기초하여, 상기 사용자에게 제공되는 상기 표시를 변화시키는 단계
    를 포함하는, 방법.
  2. 제1항에 있어서, 상기 표시는 상기 투시형 디스플레이 디바이스 상에 디스플레이되는 마커(marker) 및 스피커로부터 방출되는 사운드 중 하나 이상을 포함하는 것인, 방법.
  3. 증강 현실 컴퓨팅 디바이스에 있어서,
    디스플레이 시스템;
    논리 디바이스; 및
    명령어들을 포함하는 저장 디바이스로서, 상기 명령어들은,
    증강 현실 정보의 디스플레이를 위해 이용 가능한 시야 밖에 위치된 하나 이상의 가상 객체를 식별하고;
    상기 하나 이상의 가상 객체 중의 각각의 객체에 대해, 상기 시야의 외연부에 인접하여 상기 시야 내에 상기 가상 객체와 연관된 위치 정보의 표시를 사용자에게 제공하도록
    상기 논리 디바이스에 의해 실행가능한 것인, 상기 저장 디바이스
    를 포함하고,
    상기 디스플레이 시스템은 투시형 디스플레이 시스템을 포함하고,
    상기 명령어들은 상기 가상 객체와 연관된 위치 정보의 표시를 가상 지도로서 상기 투시형 디스플레이 시스템 상에 디스플레이하도록 실행가능한 것인, 증강 현실 컴퓨팅 디바이스.
  4. 제3항에 있어서, 상기 가상 객체와 연관된 위치 정보의 표시는 상기 사용자의 위치에 상대적인 상기 가상 객체의 위치의 표시를 포함하는 것인, 증강 현실 컴퓨팅 디바이스.
  5. 제4항에 있어서, 상기 명령어들은 상기 가상 객체와 연관된 위치 정보의 표시를 상기 디스플레이 시스템 상에 디스플레이하도록 실행가능한 것인, 증강 현실 컴퓨팅 디바이스.
  6. 제4항에 있어서, 상기 명령어들은 상기 가상 객체와 연관된 위치 정보의 표시를, 상기 가상 객체의 존재 및 상기 가상 객체를 보기 위해 고개를 돌릴 방향을 나타내는 마커(marker)로서 사용자의 시야 내에서 상기 디스플레이 시스템 상에 디스플레이하도록 실행가능한 것인, 증강 현실 컴퓨팅 디바이스.
  7. 제6항에 있어서, 상기 명령어들은 상기 마커를 상기 시야 내의 위치로부터 상기 가상 객체로 뻗어 있는 텐드릴(tendril)로서 디스플레이하도록 실행가능한 것인, 증강 현실 컴퓨팅 디바이스.
  8. 제6항에 있어서,
    상기 명령어들은 또한, 상기 가상 객체의 특성, 상기 가상 객체와 상기 사용자 사이의 거리, 및 상기 사용자에 상대적인 상기 가상 객체의 배향(orientation) 중 하나 이상에 기초하여, 상기 마커의 디스플레이를 변화시키도록 실행가능한 것인, 증강 현실 컴퓨팅 디바이스.
  9. 제8항에 있어서, 상기 명령어들은 상기 마커의 색상을 변화시키는 것, 상기 마커의 불투명도를 변화시키는 것, 상기 마커의 크기를 변화시키는 것, 상기 마커의 형상을 변화시키는 것, 및 상기 마커의 움직임을 변화시키는 것 중 하나 이상에 의해 상기 마커의 디스플레이를 변화시키도록 실행가능한 것인, 증강 현실 컴퓨팅 디바이스.
  10. 제3항에 있어서, 상기 명령어들은 상기 가상 객체와 연관된 위치 정보의 표시를 상기 가상 객체의 존재를 나타내는 스피커로부터 방출되는 하나 이상의 사운드로서 제공하도록 실행가능한 것인, 증강 현실 컴퓨팅 디바이스.
  11. 제10항에 있어서,
    상기 명령어들은 또한, 상기 가상 객체의 특성, 객체의 밀도, 상기 가상 객체와 상기 사용자 사이의 거리, 및 상기 사용자에 상대적인 상기 가상 객체의 배향 중 하나 이상에 기초하여, 스피커로부터 방출되는 상기 하나 이상의 사운드를 변화시키도록 실행가능한 것인, 증강 현실 컴퓨팅 디바이스.
  12. 제11항에 있어서, 상기 명령어들은 상기 하나 이상의 사운드의 볼륨을 변화시키는 것, 상기 하나 이상의 사운드의 하나 이상의 주파수를 변화시키는 것, 상기 하나 이상의 사운드의 위치를 변화시키는 것, 촉각적 응답을 변화시키는 것 중 하나 이상에 의해 스피커로부터 방출되는 상기 하나 이상의 사운드를 변화시키도록 실행가능한 것인, 증강 현실 컴퓨팅 디바이스.
  13. 삭제
  14. 제3항에 있어서, 상기 명령어들은 상기 가상 객체와 연관된 위치 정보의 표시를 사용자 입력에 응답하여 제공하도록 실행가능한 것인, 증강 현실 컴퓨팅 디바이스.
  15. 증강 현실 컴퓨팅 디바이스에 있어서,
    투시형 디스플레이 시스템;
    논리 디바이스; 및
    명령어들을 포함하는 저장 디바이스로서, 상기 명령어들은,
    증강 현실 정보의 디스플레이를 위해 이용 가능한 상기 투시형 디스플레이 시스템의 시야 밖에 위치된 객체를 식별하고;
    상기 시야 내의 위치로부터 상기 객체를 향해 이어지는 텐드릴을 상기 투시형 디스플레이 시스템을 통해 디스플레이하도록
    상기 논리 디바이스에 의해 실행가능한 것인, 상기 저장 디바이스
    를 포함하고,
    상기 텐드릴은 상기 객체를 찾기(locate) 위해 따라가기 위한 시각적 경로를 표시하고,
    상기 객체와 연관된 위치 정보의 표시는 가상 지도로서 상기 투시형 디스플레이 시스템 상에 디스플레이되는 것인, 증강 현실 컴퓨팅 디바이스.
  16. 제15항에 있어서, 상기 명령어들은 상기 텐드릴을 상기 객체로 뻗어 있는 것으로서 디스플레이하도록 실행가능한 것인, 증강 현실 컴퓨팅 디바이스.
  17. 제15항에 있어서,
    상기 명령어들은 또한, 상기 객체와의 사용자 상호작용에 기초하여 상기 텐드릴의 모습을 애니메션화하도록 실행가능한 것인, 증강 현실 컴퓨팅 디바이스.
  18. 제15항에 있어서,
    상기 명령어들은 또한, 상기 텐드릴의 생성을 나타내기 위해 하나 이상의 스피커로부터 사운드를 방출하도록 실행가능한 것인, 증강 현실 컴퓨팅 디바이스.
  19. 제15항에 있어서,
    상기 명령어들은 또한, 상기 객체가 상기 시야에 들어갈 때, 상기 텐드릴을 디스플레이하는 것을 중지하도록 실행가능한 것인, 증강 현실 컴퓨팅 디바이스.
  20. 제19항에 있어서,
    상기 명령어들은 또한, 상기 객체의 특성, 상기 객체와 사용자 사이의 거리, 및 상기 사용자에 상대적인 상기 객체의 배향 중 하나 이상에 기초하여, 상기 텐드릴의 디스플레이를 변화시키도록 실행가능하고,
    상기 명령어들은 상기 텐드릴의 색상을 변화시키는 것, 상기 텐드릴의 불투명도를 변화시키는 것, 상기 텐드릴의 크기를 변화시키는 것, 상기 텐드릴의 형상을 변화시키는 것, 및 상기 텐드릴의 움직임을 변화시키는 것 중 하나 이상에 의해 상기 텐드릴의 디스플레이를 변화시키도록 실행가능한 것인, 증강 현실 컴퓨팅 디바이스.
KR1020227004295A 2013-06-25 2014-06-20 시야 밖 증강 현실 영상의 표시 KR102475873B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020227042686A KR102562577B1 (ko) 2013-06-25 2014-06-20 시야 밖 증강 현실 영상의 표시

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US13/927,056 US9129430B2 (en) 2013-06-25 2013-06-25 Indicating out-of-view augmented reality images
US13/927,056 2013-06-25
PCT/US2014/043304 WO2014209770A1 (en) 2013-06-25 2014-06-20 Indicating out-of-view augmented reality images
KR1020167002161A KR102362268B1 (ko) 2013-06-25 2014-06-20 시야 밖 증강 현실 영상의 표시

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020167002161A Division KR102362268B1 (ko) 2013-06-25 2014-06-20 시야 밖 증강 현실 영상의 표시

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020227042686A Division KR102562577B1 (ko) 2013-06-25 2014-06-20 시야 밖 증강 현실 영상의 표시

Publications (2)

Publication Number Publication Date
KR20220028131A KR20220028131A (ko) 2022-03-08
KR102475873B1 true KR102475873B1 (ko) 2022-12-07

Family

ID=51210774

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020227042686A KR102562577B1 (ko) 2013-06-25 2014-06-20 시야 밖 증강 현실 영상의 표시
KR1020167002161A KR102362268B1 (ko) 2013-06-25 2014-06-20 시야 밖 증강 현실 영상의 표시
KR1020227004295A KR102475873B1 (ko) 2013-06-25 2014-06-20 시야 밖 증강 현실 영상의 표시

Family Applications Before (2)

Application Number Title Priority Date Filing Date
KR1020227042686A KR102562577B1 (ko) 2013-06-25 2014-06-20 시야 밖 증강 현실 영상의 표시
KR1020167002161A KR102362268B1 (ko) 2013-06-25 2014-06-20 시야 밖 증강 현실 영상의 표시

Country Status (5)

Country Link
US (3) US9129430B2 (ko)
EP (1) EP3014409A1 (ko)
KR (3) KR102562577B1 (ko)
CN (1) CN105378625A (ko)
WO (1) WO2014209770A1 (ko)

Families Citing this family (246)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9582937B2 (en) * 2008-01-02 2017-02-28 Nokia Technologies Oy Method, apparatus and computer program product for displaying an indication of an object within a current field of view
US9965681B2 (en) 2008-12-16 2018-05-08 Osterhout Group, Inc. Eye imaging in head worn computing
US9298007B2 (en) 2014-01-21 2016-03-29 Osterhout Group, Inc. Eye imaging in head worn computing
US9229233B2 (en) 2014-02-11 2016-01-05 Osterhout Group, Inc. Micro Doppler presentations in head worn computing
US9715112B2 (en) 2014-01-21 2017-07-25 Osterhout Group, Inc. Suppression of stray light in head worn computing
US9952664B2 (en) 2014-01-21 2018-04-24 Osterhout Group, Inc. Eye imaging in head worn computing
US20150205111A1 (en) 2014-01-21 2015-07-23 Osterhout Group, Inc. Optical configurations for head worn computing
US9400390B2 (en) 2014-01-24 2016-07-26 Osterhout Group, Inc. Peripheral lighting for head worn computing
DE102009037835B4 (de) 2009-08-18 2012-12-06 Metaio Gmbh Verfahren zur Darstellung von virtueller Information in einer realen Umgebung
US9606992B2 (en) * 2011-09-30 2017-03-28 Microsoft Technology Licensing, Llc Personal audio/visual apparatus providing resource management
JP6138566B2 (ja) * 2013-04-24 2017-05-31 川崎重工業株式会社 部品取付作業支援システムおよび部品取付方法
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
US9129430B2 (en) * 2013-06-25 2015-09-08 Microsoft Technology Licensing, Llc Indicating out-of-view augmented reality images
KR102165444B1 (ko) * 2013-08-28 2020-10-14 엘지전자 주식회사 증강현실 이미지를 디스플레이하는 포터블 디바이스 및 그 제어 방법
JP6201615B2 (ja) * 2013-10-15 2017-09-27 富士通株式会社 音響装置、音響システム、音響処理方法及び音響処理プログラム
WO2015066332A1 (en) * 2013-10-30 2015-05-07 Technology Against Als Communication and control system and method
EP3067781B1 (en) * 2013-11-05 2023-03-08 Sony Group Corporation Information processing device, method of processing information, and program
US20150145887A1 (en) * 2013-11-25 2015-05-28 Qualcomm Incorporated Persistent head-mounted content display
WO2015093129A1 (ja) * 2013-12-17 2015-06-25 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
SG2014000889A (en) 2014-01-03 2015-08-28 Creative Tech Ltd A system suitable for one or both of audio processing and graphics processing and a method of processing in association therewith
US9299194B2 (en) 2014-02-14 2016-03-29 Osterhout Group, Inc. Secure sharing in head worn computing
US9939934B2 (en) 2014-01-17 2018-04-10 Osterhout Group, Inc. External user interface for head worn computing
US9366868B2 (en) 2014-09-26 2016-06-14 Osterhout Group, Inc. See-through computer display systems
US20150277118A1 (en) 2014-03-28 2015-10-01 Osterhout Group, Inc. Sensor dependent content position in head worn computing
US9746686B2 (en) 2014-05-19 2017-08-29 Osterhout Group, Inc. Content position calibration in head worn computing
US9810906B2 (en) 2014-06-17 2017-11-07 Osterhout Group, Inc. External user interface for head worn computing
US20160019715A1 (en) 2014-07-15 2016-01-21 Osterhout Group, Inc. Content presentation in head worn computing
US9829707B2 (en) 2014-08-12 2017-11-28 Osterhout Group, Inc. Measuring content brightness in head worn computing
US11103122B2 (en) 2014-07-15 2021-08-31 Mentor Acquisition One, Llc Content presentation in head worn computing
US20150228119A1 (en) * 2014-02-11 2015-08-13 Osterhout Group, Inc. Spatial location presentation in head worn computing
US9448409B2 (en) 2014-11-26 2016-09-20 Osterhout Group, Inc. See-through computer display systems
US9594246B2 (en) 2014-01-21 2017-03-14 Osterhout Group, Inc. See-through computer display systems
US10254856B2 (en) 2014-01-17 2019-04-09 Osterhout Group, Inc. External user interface for head worn computing
US10684687B2 (en) 2014-12-03 2020-06-16 Mentor Acquisition One, Llc See-through computer display systems
US9575321B2 (en) 2014-06-09 2017-02-21 Osterhout Group, Inc. Content presentation in head worn computing
US9841599B2 (en) 2014-06-05 2017-12-12 Osterhout Group, Inc. Optical configurations for head-worn see-through displays
US10649220B2 (en) 2014-06-09 2020-05-12 Mentor Acquisition One, Llc Content presentation in head worn computing
US11227294B2 (en) 2014-04-03 2022-01-18 Mentor Acquisition One, Llc Sight information collection in head worn computing
US9529195B2 (en) 2014-01-21 2016-12-27 Osterhout Group, Inc. See-through computer display systems
US9671613B2 (en) 2014-09-26 2017-06-06 Osterhout Group, Inc. See-through computer display systems
US10191279B2 (en) 2014-03-17 2019-01-29 Osterhout Group, Inc. Eye imaging in head worn computing
US11892644B2 (en) 2014-01-21 2024-02-06 Mentor Acquisition One, Llc See-through computer display systems
US9766463B2 (en) 2014-01-21 2017-09-19 Osterhout Group, Inc. See-through computer display systems
US9529199B2 (en) 2014-01-21 2016-12-27 Osterhout Group, Inc. See-through computer display systems
US11487110B2 (en) 2014-01-21 2022-11-01 Mentor Acquisition One, Llc Eye imaging in head worn computing
US9532715B2 (en) 2014-01-21 2017-01-03 Osterhout Group, Inc. Eye imaging in head worn computing
US11737666B2 (en) 2014-01-21 2023-08-29 Mentor Acquisition One, Llc Eye imaging in head worn computing
US9836122B2 (en) 2014-01-21 2017-12-05 Osterhout Group, Inc. Eye glint imaging in see-through computer display systems
US9753288B2 (en) 2014-01-21 2017-09-05 Osterhout Group, Inc. See-through computer display systems
US9811159B2 (en) 2014-01-21 2017-11-07 Osterhout Group, Inc. Eye imaging in head worn computing
US9651784B2 (en) 2014-01-21 2017-05-16 Osterhout Group, Inc. See-through computer display systems
US9494800B2 (en) 2014-01-21 2016-11-15 Osterhout Group, Inc. See-through computer display systems
US20150205135A1 (en) 2014-01-21 2015-07-23 Osterhout Group, Inc. See-through computer display systems
US11669163B2 (en) 2014-01-21 2023-06-06 Mentor Acquisition One, Llc Eye glint imaging in see-through computer display systems
JP6299234B2 (ja) 2014-01-23 2018-03-28 富士通株式会社 表示制御方法、情報処理装置、および表示制御プログラム
US20160018652A1 (en) * 2014-01-24 2016-01-21 Osterhout Group, Inc. See-through computer display systems
US9846308B2 (en) 2014-01-24 2017-12-19 Osterhout Group, Inc. Haptic systems for head-worn computers
US9852545B2 (en) 2014-02-11 2017-12-26 Osterhout Group, Inc. Spatial location presentation in head worn computing
US20150241964A1 (en) 2014-02-11 2015-08-27 Osterhout Group, Inc. Eye imaging in head worn computing
US9401540B2 (en) 2014-02-11 2016-07-26 Osterhout Group, Inc. Spatial location presentation in head worn computing
JP6264972B2 (ja) * 2014-03-18 2018-01-24 富士通株式会社 表示装置、表示制御プログラム、および表示制御方法
US20160187651A1 (en) 2014-03-28 2016-06-30 Osterhout Group, Inc. Safety for a vehicle operator with an hmd
US10932657B2 (en) * 2014-04-02 2021-03-02 Transenterix Europe S.A.R.L. Endoscope with wide angle lens and adjustable view
US9672210B2 (en) 2014-04-25 2017-06-06 Osterhout Group, Inc. Language translation with head-worn computing
US9423842B2 (en) 2014-09-18 2016-08-23 Osterhout Group, Inc. Thermal management for head-worn computer
US9651787B2 (en) 2014-04-25 2017-05-16 Osterhout Group, Inc. Speaker assembly for headworn computer
US10853589B2 (en) 2014-04-25 2020-12-01 Mentor Acquisition One, Llc Language translation with head-worn computing
US10663740B2 (en) 2014-06-09 2020-05-26 Mentor Acquisition One, Llc Content presentation in head worn computing
US10930038B2 (en) 2014-06-10 2021-02-23 Lab Of Misfits Ar, Inc. Dynamic location based digital element
US10026226B1 (en) * 2014-06-10 2018-07-17 Ripple Inc Rendering an augmented reality object
US9226090B1 (en) * 2014-06-23 2015-12-29 Glen A. Norris Sound localization for an electronic call
US10320437B2 (en) * 2014-10-24 2019-06-11 Usens, Inc. System and method for immersive and interactive multimedia generation
US9898868B2 (en) * 2014-11-06 2018-02-20 Seiko Epson Corporation Display device, method of controlling the same, and program
KR102309281B1 (ko) * 2014-11-07 2021-10-08 삼성전자주식회사 오브젝트를 표시하는 방향 기반 전자 장치 및 방법
JP6447636B2 (ja) * 2014-11-12 2019-01-09 富士通株式会社 ウェアラブルデバイス、表示制御方法、及び表示制御プログラム
US9684172B2 (en) 2014-12-03 2017-06-20 Osterhout Group, Inc. Head worn computer display systems
USD743963S1 (en) 2014-12-22 2015-11-24 Osterhout Group, Inc. Air mouse
USD751552S1 (en) 2014-12-31 2016-03-15 Osterhout Group, Inc. Computer glasses
USD753114S1 (en) 2015-01-05 2016-04-05 Osterhout Group, Inc. Air mouse
KR20160096422A (ko) * 2015-02-05 2016-08-16 삼성전자주식회사 화면 표시 방법 및 전자 장치
US20170061700A1 (en) * 2015-02-13 2017-03-02 Julian Michael Urbach Intercommunication between a head mounted display and a real world object
US20160239985A1 (en) 2015-02-17 2016-08-18 Osterhout Group, Inc. See-through computer display systems
US10838207B2 (en) 2015-03-05 2020-11-17 Magic Leap, Inc. Systems and methods for augmented reality
CN107533233B (zh) 2015-03-05 2021-01-29 奇跃公司 用于增强现实的系统和方法
ES2778935T3 (es) * 2015-05-28 2020-08-12 Nokia Technologies Oy Representación de una notificación en una pantalla montada en la cabeza
US10547709B2 (en) 2015-06-18 2020-01-28 Qualtrics, Llc Recomposing survey questions for distribution via multiple distribution channels
US10325568B2 (en) 2015-08-03 2019-06-18 Qualtrics, Llc Providing a display based electronic survey
EP3130276B8 (en) * 2015-08-12 2020-02-26 TransEnterix Europe Sàrl Endoscope with wide angle lens and adjustable view
CN107924234B (zh) 2015-08-28 2021-03-19 交互数字Ce专利控股公司 透视眼镜的辅助物品选择
WO2017036953A1 (en) * 2015-09-02 2017-03-09 Thomson Licensing Method, apparatus and system for facilitating navigation in an extended scene
US20170092002A1 (en) * 2015-09-30 2017-03-30 Daqri, Llc User interface for augmented reality system
US10338677B2 (en) * 2015-10-28 2019-07-02 Microsoft Technology Licensing, Llc Adjusting image frames based on tracking motion of eyes
US9928648B2 (en) 2015-11-09 2018-03-27 Microsoft Technology Licensing, Llc Object path identification for navigating objects in scene-aware device environments
KR20170059760A (ko) * 2015-11-23 2017-05-31 엘지전자 주식회사 이동단말기 및 그 제어방법
WO2017091019A1 (en) 2015-11-27 2017-06-01 Samsung Electronics Co., Ltd. Electronic device and method for displaying and generating panoramic image
KR102632270B1 (ko) * 2015-11-27 2024-02-02 삼성전자주식회사 전자 장치 및 파노라마 영상 표시와 생성 방법
AU2016365422A1 (en) 2015-12-04 2018-06-28 Magic Leap, Inc. Relocalization systems and methods
US10489981B2 (en) * 2015-12-10 2019-11-26 Sony Corporation Information processing device, information processing method, and program for controlling display of a virtual object
CN105657370A (zh) * 2016-01-08 2016-06-08 李昂 一种封闭性的可穿戴全景摄像与处理系统及其操作方法
US10591728B2 (en) 2016-03-02 2020-03-17 Mentor Acquisition One, Llc Optical systems for head-worn computers
US10667981B2 (en) 2016-02-29 2020-06-02 Mentor Acquisition One, Llc Reading assistance system for visually impaired
US10176641B2 (en) 2016-03-21 2019-01-08 Microsoft Technology Licensing, Llc Displaying three-dimensional virtual objects based on field of view
US10133345B2 (en) * 2016-03-22 2018-11-20 Microsoft Technology Licensing, Llc Virtual-reality navigation
WO2017163517A1 (ja) * 2016-03-23 2017-09-28 日本電気株式会社 眼鏡型ウェアラブル情報端末、その制御方法および制御プログラム
JP6784289B2 (ja) * 2016-03-29 2020-11-11 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
KR20230098927A (ko) 2016-03-31 2023-07-04 매직 립, 인코포레이티드 포즈들 및 멀티-dof 제어기들을 사용하는 3d 가상 객체들과상호작용들
KR20230098916A (ko) * 2016-04-21 2023-07-04 매직 립, 인코포레이티드 시야 주위의 시각적 아우라
CN109416842B (zh) 2016-05-02 2023-08-29 华纳兄弟娱乐公司 在虚拟现实和增强现实中的几何匹配
EP3242228A1 (en) * 2016-05-02 2017-11-08 Artag SARL Managing the display of assets in augmented reality mode
KR20170126295A (ko) * 2016-05-09 2017-11-17 엘지전자 주식회사 헤드 마운티드 디스플레이 장치 및 그것의 제어방법
US10339933B2 (en) 2016-05-11 2019-07-02 International Business Machines Corporation Visualization of audio announcements using augmented reality
US10496156B2 (en) * 2016-05-17 2019-12-03 Google Llc Techniques to change location of objects in a virtual/augmented reality system
GB201608886D0 (en) * 2016-05-20 2016-07-06 Nokia Technologies Oy Virtual reality display
JP6711137B2 (ja) * 2016-05-25 2020-06-17 富士通株式会社 表示制御プログラム、表示制御方法および表示制御装置
JP6885402B2 (ja) * 2016-06-22 2021-06-16 ソニーグループ株式会社 情報処理装置、情報処理方法、及び、プログラム
EP3264222B1 (en) 2016-06-27 2019-04-10 Nokia Technologies Oy An apparatus and associated methods
US11032471B2 (en) * 2016-06-30 2021-06-08 Nokia Technologies Oy Method and apparatus for providing a visual indication of a point of interest outside of a user's view
JP6696331B2 (ja) * 2016-07-06 2020-05-20 富士ゼロックス株式会社 情報処理装置、画像形成システムおよびプログラム
US10460524B2 (en) * 2016-07-06 2019-10-29 Microsoft Technology Licensing, Llc Roll turning and tap turning for virtual reality environments
CN117741956A (zh) 2016-08-02 2024-03-22 奇跃公司 固定距离虚拟和增强现实系统及方法
US10176640B2 (en) * 2016-08-02 2019-01-08 Qualtrics, Llc Conducting digital surveys utilizing virtual reality and augmented reality devices
EP3287868B1 (en) * 2016-08-26 2020-10-14 Nokia Technologies Oy Content discovery
US10028016B2 (en) 2016-08-30 2018-07-17 The Directv Group, Inc. Methods and systems for providing multiple video content streams
US11301877B2 (en) 2016-09-01 2022-04-12 Qualtrics, Llc Providing analysis of perception data over time for events
US10565916B2 (en) * 2016-09-09 2020-02-18 Kt Corporation Providing streaming of virtual reality contents
JP2018049267A (ja) * 2016-09-16 2018-03-29 株式会社半導体エネルギー研究所 表示システム、電子機器および表示方法
KR102632795B1 (ko) * 2016-09-21 2024-02-02 삼성전자주식회사 컨텐츠와 연관된 네비게이터 표시 방법 및 이를 구현한 전자 장치
CN111899003A (zh) * 2016-12-13 2020-11-06 创新先进技术有限公司 基于增强现实的虚拟对象分配方法及装置
US10580146B2 (en) 2016-12-22 2020-03-03 Motorola Solutions, Inc. Method and system for tracking an object of interest in a talkgroup
CN108319274A (zh) * 2017-01-16 2018-07-24 吕佩剑 一种无人飞行器位置的图形显示方法
KR101949261B1 (ko) * 2017-01-23 2019-02-18 고범준 Ｖｒ 영상 생성 방법, ｖｒ 영상 처리 방법 및 ｖｒ 영상 처리 시스템
US10812936B2 (en) 2017-01-23 2020-10-20 Magic Leap, Inc. Localization determination for mixed reality systems
KR101810671B1 (ko) * 2017-03-07 2018-01-25 링크플로우 주식회사 전방향 영상의 방향 정보를 생성하는 방법 및 이러한 방법을 수행하는 장치
CA3055218A1 (en) 2017-03-17 2018-09-20 Magic Leap, Inc. Mixed reality system with color virtual content warping and method of generating virtual content using same
AU2018236457B2 (en) 2017-03-17 2021-04-29 Magic Leap, Inc. Mixed reality system with virtual content warping and method of generating virtual content using same
IL303275B1 (en) 2017-03-17 2024-04-01 Magic Leap Inc A mixed reality system with the assembly of multi-source virtual content and a method for creating virtual content using it
EP3379379A1 (en) * 2017-03-24 2018-09-26 Nokia Technologies Oy Virtual reality system and method
US10379606B2 (en) * 2017-03-30 2019-08-13 Microsoft Technology Licensing, Llc Hologram anchor prioritization
KR20180113109A (ko) * 2017-04-05 2018-10-15 삼성전자주식회사 전자 장치 및 전자 장치의 화면 표시 방법
US9754397B1 (en) * 2017-04-07 2017-09-05 Mirage Worlds, Inc. Systems and methods for contextual augmented reality sharing and performance
US10401954B2 (en) * 2017-04-17 2019-09-03 Intel Corporation Sensory enhanced augmented reality and virtual reality device
IL270002B2 (en) 2017-04-19 2023-11-01 Magic Leap Inc Multimodal task execution and text editing for a wearable system
KR102555443B1 (ko) 2017-05-01 2023-07-12 매직 립, 인코포레이티드 콘텐츠를 공간 3d 환경에 매칭
US11276375B2 (en) 2017-05-23 2022-03-15 Pcms Holdings, Inc. System and method for prioritizing AR information based on persistence of real-life objects in the user's view
EP3413167A1 (en) 2017-06-06 2018-12-12 Thomson Licensing Method and apparatus for inciting a viewer to rotate toward a reference direction when consuming an immersive content item
US20180373325A1 (en) * 2017-06-22 2018-12-27 Immersion Corporation Haptic dimensions in a variable gaze orientation virtual environment
US10405060B2 (en) * 2017-06-28 2019-09-03 At&T Intellectual Property I, L.P. Method and apparatus for augmented reality presentation associated with a media program
EP3422149B1 (en) * 2017-06-30 2023-03-01 Nokia Technologies Oy Methods, apparatus, systems, computer programs for enabling consumption of virtual content for mediated reality
KR102233667B1 (ko) * 2017-07-13 2021-03-31 삼성전자주식회사 네트워크 시스템에서 데이터를 전송하는 방법 및 장치
KR20200031083A (ko) * 2017-07-13 2020-03-23 소니 주식회사 정보 처리 장치, 정보 처리 방법, 및 프로그램
CN109756727B (zh) * 2017-08-25 2021-07-20 华为技术有限公司 信息显示方法及相关设备
US10423834B2 (en) 2017-08-31 2019-09-24 Uber Technologies, Inc. Augmented reality assisted pickup
US10447394B2 (en) * 2017-09-15 2019-10-15 Qualcomm Incorporated Connection with remote internet of things (IoT) device based on field of view of camera
US11080931B2 (en) * 2017-09-27 2021-08-03 Fisher-Rosemount Systems, Inc. Virtual x-ray vision in a process control environment
US11132053B2 (en) * 2017-09-28 2021-09-28 Apple Inc. Method and device for surfacing physical environment interactions during simulated reality sessions
CN109688347A (zh) * 2017-10-19 2019-04-26 阿里巴巴集团控股有限公司 多屏互动方法、装置及电子设备
KR101980297B1 (ko) * 2017-11-14 2019-05-20 고범준 3차원 vr 영상 처리 장치, 방법 및 프로그램
US11282133B2 (en) 2017-11-21 2022-03-22 International Business Machines Corporation Augmented reality product comparison
KR101997770B1 (ko) * 2017-12-06 2019-07-08 한국광기술원 증강현실 이미지 생성장치 및 방법
US10565761B2 (en) 2017-12-07 2020-02-18 Wayfair Llc Augmented reality z-stack prioritization
US11166080B2 (en) 2017-12-21 2021-11-02 Facebook, Inc. Systems and methods for presenting content
AU2018388581A1 (en) 2017-12-22 2020-07-23 Magic Leap, Inc. Methods and system for managing and displaying virtual content in a mixed reality system
CN108355354B (zh) * 2018-02-11 2021-08-10 网易（杭州）网络有限公司 信息处理方法、装置、终端和存储介质
EP3756079A4 (en) 2018-02-22 2021-04-28 Magic Leap, Inc. OBJECT GENERATION WITH PHYSICAL MANIPULATION
CA3089646A1 (en) * 2018-02-22 2019-08-20 Magic Leap, Inc. Browser for mixed reality systems
WO2019164514A1 (en) * 2018-02-23 2019-08-29 Google Llc Transitioning between map view and augmented reality view
KR102450948B1 (ko) 2018-02-23 2022-10-05 삼성전자주식회사 전자 장치 및 그의 증강 현실 객체 제공 방법
US20190266742A1 (en) * 2018-02-26 2019-08-29 Lenovo (Singapore) Pte. Ltd. Entity location provision using an augmented reality system
US10489982B2 (en) 2018-03-28 2019-11-26 Motorola Solutions, Inc. Device, system and method for controlling a display screen using a knowledge graph
US10504288B2 (en) 2018-04-17 2019-12-10 Patrick Piemonte & Ryan Staake Systems and methods for shared creation of augmented reality
US10916066B2 (en) * 2018-04-20 2021-02-09 Edx Technologies, Inc. Methods of virtual model modification
US10928900B2 (en) 2018-04-27 2021-02-23 Technology Against Als Communication systems and methods
US10768426B2 (en) 2018-05-21 2020-09-08 Microsoft Technology Licensing, Llc Head mounted display system receiving three-dimensional push notification
JP7136931B2 (ja) * 2018-06-05 2022-09-13 マジック リープ， インコーポレイテッド 空間３ｄ環境へのコンテンツのマッチング
US20190378334A1 (en) * 2018-06-08 2019-12-12 Vulcan Inc. Augmented reality portal-based applications
US20190385372A1 (en) * 2018-06-15 2019-12-19 Microsoft Technology Licensing, Llc Positioning a virtual reality passthrough region at a known distance
DE112019003579T5 (de) * 2018-07-13 2021-07-15 Sony Corporation Informationsverarbeitungseinrichtung, programm undinformationsverarbeitungsverfahren
EP3827299A4 (en) 2018-07-23 2021-10-27 Magic Leap, Inc. SYSTEM OF MIXED REALITY WITH VIRTUAL CONTENT DISTORTION AND PROCESS FOR GENERATING VIRTUAL CONTENT WITH IT
CN109109745B (zh) * 2018-07-27 2020-12-25 上海理工大学 一种显示缺失图像的系统
CN109109744B (zh) * 2018-07-27 2020-12-01 上海理工大学 一种显示缺失图像的系统及布置方法
CN108965644B (zh) * 2018-07-27 2020-12-01 上海理工大学 一种显示缺失图像的系统及布置方法
CN108919960B (zh) * 2018-07-27 2020-12-25 上海理工大学 一种显示缺失图像的系统
US11244509B2 (en) 2018-08-20 2022-02-08 Fisher-Rosemount Systems, Inc. Drift correction for industrial augmented reality applications
US10776954B2 (en) 2018-10-08 2020-09-15 Microsoft Technology Licensing, Llc Real-world anchor in a virtual-reality environment
US10740987B2 (en) * 2018-10-12 2020-08-11 The Boeing Company Augmented reality system for visualizing nonconformance data for an object
GB201817061D0 (en) 2018-10-19 2018-12-05 Sintef Tto As Manufacturing assistance system
US10721579B2 (en) 2018-11-06 2020-07-21 Motorola Solutions, Inc. Correlated cross-feed of audio and video
EP3667459A1 (en) * 2018-12-12 2020-06-17 Nokia Technologies Oy First-person perspective-mediated reality
JP2022515761A (ja) * 2018-12-21 2022-02-22 レイア、インコーポレイテッド ビュー終端インジケータを有するマルチビューディスプレイシステム、マルチビューディスプレイ及び方法
US10783714B2 (en) * 2019-01-29 2020-09-22 Verizon Patent And Licensing Inc. Methods and systems for automatically tailoring a form of an extended reality overlay object
EP3690627A1 (en) 2019-01-30 2020-08-05 Schneider Electric Industries SAS Graphical user interface for indicating off-screen points of interest
US11644940B1 (en) 2019-01-31 2023-05-09 Splunk Inc. Data visualization in an extended reality environment
US11853533B1 (en) * 2019-01-31 2023-12-26 Splunk Inc. Data visualization workspace in an extended reality environment
US10602302B1 (en) * 2019-02-06 2020-03-24 Philip Scott Lyren Displaying a location of binaural sound outside a field of view
WO2020171637A1 (en) 2019-02-20 2020-08-27 Samsung Electronics Co., Ltd. Apparatus and method for displaying contents on an augmented reality device
BR102019005162A2 (pt) 2019-03-15 2020-09-29 Samsung Eletrônica da Amazônia Ltda. Método para atualizar o campo de visão de interface gráfica de usuário em realidade aumentada
EP3712747A1 (en) * 2019-03-19 2020-09-23 Nokia Technologies Oy Indicator modes
US11562714B1 (en) * 2019-03-28 2023-01-24 Amazon Technologies, Inc. Remote generation of augmented reality overlays
EP3948747A4 (en) 2019-04-03 2022-07-20 Magic Leap, Inc. MANAGEMENT AND DISPLAY OF WEB PAGES IN A VIRTUAL THREE-DIMENSIONAL SPACE USING A MIXED REALITY SYSTEM
US11137908B2 (en) * 2019-04-15 2021-10-05 Apple Inc. Keyboard operation with head-mounted device
US10896584B2 (en) 2019-04-30 2021-01-19 Walmart Apollo, Llc Systems and methods for projecting action indicators
EP3734418A1 (en) * 2019-05-03 2020-11-04 XRSpace CO., LTD. Head mounted display system capable of displaying a virtual scene and a map of a real environment in a picture-in-picture mode, related method and related non-transitory computer readable storage medium
US11030822B2 (en) * 2019-05-15 2021-06-08 Microsoft Technology Licensing, Llc Content indicators in a 3D environment authoring application
US11287947B2 (en) 2019-05-15 2022-03-29 Microsoft Technology Licensing, Llc Contextual input in a three-dimensional environment
US11164395B2 (en) 2019-05-15 2021-11-02 Microsoft Technology Licensing, Llc Structure switching in a three-dimensional environment
US11039061B2 (en) 2019-05-15 2021-06-15 Microsoft Technology Licensing, Llc Content assistance in a three-dimensional environment
US11151967B2 (en) 2019-06-06 2021-10-19 Honeywell International Inc. Method and system for spawning attention pointers (ATP) for drawing attention of an user in a virtual screen display with augmented and virtual reality
CN112423190A (zh) * 2019-08-20 2021-02-26 苹果公司 用于头戴式设备的基于音频的反馈
US11800231B2 (en) * 2019-09-19 2023-10-24 Apple Inc. Head-mounted display
US20210097284A1 (en) * 2019-09-30 2021-04-01 Lenovo (Singapore) Pte. Ltd. Techniques for presentation of electronic content related to printed material
US11568640B2 (en) * 2019-09-30 2023-01-31 Lenovo (Singapore) Pte. Ltd. Techniques for providing vibrations at headset
US11816757B1 (en) * 2019-12-11 2023-11-14 Meta Platforms Technologies, Llc Device-side capture of data representative of an artificial reality environment
CN115380236A (zh) * 2020-01-24 2022-11-22 奇跃公司 使用单个控制器的内容移动和交互
EP3862804A1 (en) * 2020-02-05 2021-08-11 Leica Instruments (Singapore) Pte. Ltd. Apparatuses, methods and computer programs for a microscope system
KR102334091B1 (ko) * 2020-03-20 2021-12-02 주식회사 코클리어닷에이아이 오디오 인식을 수행하는 증강현실 디바이스 및 그의 제어방법
US11302077B2 (en) 2020-05-29 2022-04-12 Snap Inc. Augmented reality guidance that generates guidance markers
KR20220003254A (ko) * 2020-07-01 2022-01-10 삼성전자주식회사 증강 현실을 제공하는 전자 장치 및 그 방법
US11816887B2 (en) 2020-08-04 2023-11-14 Fisher-Rosemount Systems, Inc. Quick activation techniques for industrial augmented reality applications
US11227445B1 (en) 2020-08-31 2022-01-18 Facebook Technologies, Llc Artificial reality augments and surfaces
US11176755B1 (en) 2020-08-31 2021-11-16 Facebook Technologies, Llc Artificial reality augments and surfaces
US11270672B1 (en) 2020-11-02 2022-03-08 Microsoft Technology Licensing, Llc Display of virtual assistant in augmented reality
KR20220060103A (ko) * 2020-11-04 2022-05-11 삼성전자주식회사 전자 장치, ar 장치 및 그들의 데이터 전송 주기 제어 방법
US11893698B2 (en) * 2020-11-04 2024-02-06 Samsung Electronics Co., Ltd. Electronic device, AR device and method for controlling data transfer interval thereof
US11113893B1 (en) 2020-11-17 2021-09-07 Facebook Technologies, Llc Artificial reality environment with glints displayed by an extra reality device
US11782577B2 (en) 2020-12-22 2023-10-10 Snap Inc. Media content player on an eyewear device
US20220198603A1 (en) * 2020-12-22 2022-06-23 Snap Inc. Recentering ar/vr content on an eyewear device
US11797162B2 (en) 2020-12-22 2023-10-24 Snap Inc. 3D painting on an eyewear device
US11409405B1 (en) 2020-12-22 2022-08-09 Facebook Technologies, Llc Augment orchestration in an artificial reality environment
CN112684885B (zh) * 2020-12-25 2023-05-02 联想(北京)有限公司 一种显示控制方法及装置
KR20220121990A (ko) * 2021-02-26 2022-09-02 삼성전자주식회사 증강 현실 장치 및 증강 현실 장치와 상호작용하는 전자 장치
US20220276824A1 (en) * 2021-02-26 2022-09-01 Samsung Electronics Co., Ltd. Augmented reality device and electronic device interacting with augmented reality device
US11927756B2 (en) * 2021-04-01 2024-03-12 Samsung Electronics Co., Ltd. Method for providing augmented reality image and head mounted display device supporting the same
US11815679B2 (en) * 2021-04-16 2023-11-14 Industrial Technology Research Institute Method, processing device, and display system for information display
US11892624B2 (en) 2021-04-27 2024-02-06 Microsoft Technology Licensing, Llc Indicating an off-screen target
US11729573B2 (en) * 2021-05-18 2023-08-15 Snap Inc. Audio enhanced augmented reality
US11762952B2 (en) 2021-06-28 2023-09-19 Meta Platforms Technologies, Llc Artificial reality application lifecycle
WO2023022987A1 (en) * 2021-08-20 2023-02-23 Callisto Design Solutions Llc Digital assistant object placement
US11798247B2 (en) 2021-10-27 2023-10-24 Meta Platforms Technologies, Llc Virtual object structures and interrelationships
US11748944B2 (en) 2021-10-27 2023-09-05 Meta Platforms Technologies, Llc Virtual object structures and interrelationships
EP4177172A1 (en) 2021-11-03 2023-05-10 Sony Group Corporation Illumination-based assistance during extravehicular activity
CN114138120B (zh) * 2021-12-09 2023-02-14 北京冰镇山竹科技有限公司 一种运用于虚拟现实中的虚拟视角追踪方法及系统
US20230342100A1 (en) * 2022-04-20 2023-10-26 Snap Inc. Location-based shared augmented reality experience system
US20230359347A1 (en) * 2022-05-09 2023-11-09 SB22, Inc. Systems and methods for navigating interactive elements of an application
EP4276586A1 (en) * 2022-05-12 2023-11-15 Koninklijke Philips N.V. Providing information about an area of interest
US20240071006A1 (en) * 2022-08-31 2024-02-29 Snap Inc. Mixing and matching volumetric contents for new augmented reality experiences
US11947862B1 (en) 2022-12-30 2024-04-02 Meta Platforms Technologies, Llc Streaming native application content to artificial reality devices

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5880733A (en) 1996-04-30 1999-03-09 Microsoft Corporation Display system and method for displaying windows of an operating system to provide a three-dimensional workspace for a computer system
JP2000149167A (ja) 1998-11-10 2000-05-30 Nissan Motor Co Ltd 警報装置
US7639208B1 (en) * 2004-05-21 2009-12-29 University Of Central Florida Research Foundation, Inc. Compact optical see-through head-mounted display with occlusion support
WO2006081198A2 (en) * 2005-01-25 2006-08-03 The Board Of Trustees Of The University Of Illinois Compact haptic and augmented virtual reality system
EP1848966A1 (en) 2005-02-17 2007-10-31 Lumus Ltd Personal navigation system
JP4661314B2 (ja) * 2005-04-04 2011-03-30 ソニー株式会社 情報処理装置および方法、記録媒体、並びにプログラム
US20080218331A1 (en) 2007-03-08 2008-09-11 Itt Manufacturing Enterprises, Inc. Augmented reality-based system and method to show the location of personnel and sensors inside occluded structures and provide increased situation awareness
US20100149073A1 (en) * 2008-11-02 2010-06-17 David Chaum Near to Eye Display System and Appliance
US20100103103A1 (en) * 2008-08-22 2010-04-29 Palanker Daniel V Method And Device for Input Of Information Using Visible Touch Sensors
US20100238161A1 (en) 2009-03-19 2010-09-23 Kenneth Varga Computer-aided system for 360º heads up display of safety/mission critical data
US20100253700A1 (en) 2009-04-02 2010-10-07 Philippe Bergeron Real-Time 3-D Interactions Between Real And Virtual Environments
US8427508B2 (en) * 2009-06-25 2013-04-23 Nokia Corporation Method and apparatus for an augmented reality user interface
US8749557B2 (en) * 2010-06-11 2014-06-10 Microsoft Corporation Interacting with user interface via avatar
KR101667585B1 (ko) * 2010-06-25 2016-10-19 엘지전자 주식회사 이동 단말기 및 이것의 객체 정보 디스플레이 방법
KR101303948B1 (ko) * 2010-08-13 2013-09-05 주식회사 팬택 비가시 객체에 대한 증강 현실 정보 제공 장치 및 방법
KR101685983B1 (ko) * 2010-09-07 2016-12-13 엘지전자 주식회사 이동 단말기 및 그 제어방법
US20120050140A1 (en) 2010-08-25 2012-03-01 Border John N Head-mounted display control
US8860760B2 (en) 2010-09-25 2014-10-14 Teledyne Scientific & Imaging, Llc Augmented reality (AR) system and method for tracking parts and visually cueing a user to identify and locate parts in a scene
US20120182206A1 (en) 2011-01-17 2012-07-19 Ronald Steven Cok Head-mounted display control with sensory stimulation
US8686851B2 (en) * 2011-06-08 2014-04-01 General Electric Company System and method for rapid location of an alarm condition
US8217856B1 (en) 2011-07-27 2012-07-10 Google Inc. Head-mounted display that displays a visual representation of physical interaction with an input interface located outside of the field of view
JP5757567B2 (ja) * 2011-08-25 2015-07-29 国立研究開発法人情報通信研究機構 コンテンツ提示装置、コンテンツ提示プログラムおよびコンテンツ提示方法
US9423827B2 (en) * 2011-12-01 2016-08-23 Seebright Inc. Head mounted display for viewing three dimensional images
US9041741B2 (en) 2013-03-14 2015-05-26 Qualcomm Incorporated User interface for a head mounted display
US9129430B2 (en) * 2013-06-25 2015-09-08 Microsoft Technology Licensing, Llc Indicating out-of-view augmented reality images

Also Published As

Publication number Publication date
US20170069143A1 (en) 2017-03-09
EP3014409A1 (en) 2016-05-04
KR102562577B1 (ko) 2023-08-01
US9501873B2 (en) 2016-11-22
KR102362268B1 (ko) 2022-02-11
US9761057B2 (en) 2017-09-12
US20140375683A1 (en) 2014-12-25
KR20160023888A (ko) 2016-03-03
US20150325054A1 (en) 2015-11-12
KR20220028131A (ko) 2022-03-08
US9129430B2 (en) 2015-09-08
KR20220165840A (ko) 2022-12-15
WO2014209770A1 (en) 2014-12-31
CN105378625A (zh) 2016-03-02

Similar Documents

Publication Publication Date Title
KR102475873B1 (ko) 시야 밖 증강 현실 영상의 표시
US9734636B2 (en) Mixed reality graduated information delivery
CN107810465B (zh) 用于产生绘制表面的系统和方法
US10553031B2 (en) Digital project file presentation
US10008044B2 (en) Interactions of virtual objects with surfaces
KR102473259B1 (ko) 시선 타겟 애플리케이션 런처
US20200097093A1 (en) Touch free interface for augmented reality systems
US9977492B2 (en) Mixed reality presentation
US20160027218A1 (en) Multi-user gaze projection using head mounted display devices
KR102296121B1 (ko) 사용자 인터페이스 내비게이션
US20130342568A1 (en) Low light scene augmentation
KR20150108842A (ko) 혼합 현실 필터링
CN112154405B (zh) 三维推送通知
JP2017146651A (ja) 画像処理方法及び画像処理プログラム
EP3850468B1 (en) Snapping range for augmented reality objects

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
A107 Divisional application of patent
GRNT Written decision to grant