KR102300390B1 - 착용식 식품 영양 피드백 시스템 - Google Patents

착용식 식품 영양 피드백 시스템 Download PDF

Info

Publication number
KR102300390B1
KR102300390B1 KR1020207032249A KR20207032249A KR102300390B1 KR 102300390 B1 KR102300390 B1 KR 102300390B1 KR 1020207032249 A KR1020207032249 A KR 1020207032249A KR 20207032249 A KR20207032249 A KR 20207032249A KR 102300390 B1 KR102300390 B1 KR 102300390B1
Authority
KR
South Korea
Prior art keywords
wearer
data
food
display device
head mounted
Prior art date
Application number
KR1020207032249A
Other languages
English (en)
Other versions
KR20200129187A (ko
Inventor
로버트 제라울드
Original Assignee
마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 filed Critical 마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Publication of KR20200129187A publication Critical patent/KR20200129187A/ko
Application granted granted Critical
Publication of KR102300390B1 publication Critical patent/KR102300390B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/0092—Nutrition
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/02—Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/60—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to nutrition control, e.g. diets

Abstract

장치 시야 내에서 검출되는 식품 아이템들에 대한 피드백을 제공하도록 협력하는 투과형 헤드 마운티드 디스플레이 및 감지 장치들이 개시된다. 피드백은 개인 착용자 요구에 기초하는 경고들, 일반적인 영양 정보, 식품 소비 추적 및 사회적 상호작용들을 포함할 수 있다. 시스템은 장치 가까이의 식품 아이템들을 식별하고, 장치의 착용자와 관련된 피드백 정보를 결정하고, 피드백 정보를 디스플레이 내에 렌더링하는, 디스플레이 및 센서들과 통신하는 하나 이상의 처리 장치를 포함한다.

Description

착용식 식품 영양 피드백 시스템{WEARABLE FOOD NUTRITION FEEDBACK SYSTEM}
사람들은 일반적으로 그들이 소비하는 식품 아이템들에 대한 영양 정보를 알지 못한다. 사람들은 그들이 제공받는 식품의 식품 아이템들, 칼로리 함량, 성분들 및 혜택과 중요성에 대한 일반적인 지식을 가질 수 있지만, 각각의 식사에 대한 소비 및 영양 정보의 추적은 지루하다. 영양 정보의 제공은 자신들의 체중을 관찰하려는 사람들, 알레르기의 제약을 갖거나 엄격한 다이어트를 요하는 사람들에게 유익하다.
혼합 현실 디스플레이들(mixed reality displays)은 디스플레이 내에서 가상 이미지가 실세계 물리 환경과 혼합되는 것을 가능하게 한다. 혼합 현실을 위한 시스템들은 예를 들어 투과형 헤드 마운티드 디스플레이들(see through head mounted displays) 또는 착용자의 시야 내의 영역을 검출하는 내장 카메라들을 갖는 스마트폰들을 포함할 수 있다. 그러한 시스템들은 통상적으로 하나 이상의 애플리케이션의 제어하에 이미지를 제공하는 처리 유닛들을 포함한다.
착용식 식품 영양 피드백 시스템(wearable food nutrition feedback system)을 제공하기 위한 기술이 설명된다. 피드백 시스템은 장치의 시야 내에서 정보를 검출하는 복수의 센서를 갖는 투과형 근안 헤드 마운티드 디스플레이(see-through, near-eye, head mounted display)를 포함한다. 식품 아이템들이 시야 내에서 검출되며, 다양한 타입의 피드백이 장치의 착용자에게 제공된다. 피드백은 개인적인 착용자 요구에 기초하는 경고들, 일반적인 영양 정보, 식품 소비 추적 및 사회적 상호작용들을 포함할 수 있다. 시스템은 장치 가까이의 식품 아이템들을 식별하고, 장치의 착용자와 관련된 피드백 정보를 판단하고, 피드백 정보를 디스플레이 내에 렌더링하는, 디스플레이와 센서들과 통신하는 하나 이상의 처리 장치를 포함한다. 이러한 기술은 식품 준비 및 쇼핑과 관련된 사용들을 위해 확장될 수 있다.
본 요약은 상세한 설명에서 더 후술하는 개념들의 발췌를 간단한 형태로 소개하기 위해 제공된다. 본 요약은 청구 발명의 중요한 특징들 또는 본질적인 특징들을 식별하는 것을 의도하지 않으며, 청구 발명의 범위를 판단하는 데 있어서 보조물로서 사용되는 것도 의도하지 않는다.
도 1a는 조정 가능 IPD를 갖는 투과형 근안 헤드 마운티드 장치가 동작할 수 있는 시스템 환경에서의 그러한 투과형 근안 헤드 마운티드 장치의 일 실시예의 예시적인 컴포넌트들을 도시하는 블록도이다.
도 1b는 조정 가능 IPD를 갖는 투과형 근안 헤드 마운티드 장치의 다른 실시예의 예시적인 컴포넌트들을 도시하는 블록도이다.
도 2a는 먼 IPD를 정렬하기 위한 거리 및 방향에서 시선점(point of gaze)으로 연장하는 시선 벡터들의 예들을 나타내는 평면도이다.
도 2b는 가까운 IPD를 정렬하기 위한 거리 및 방향에서 시선점으로 연장하는 시선 벡터들의 예들을 나타내는 평면도이다.
도 3a는 IPD를 갖는 투과형 근안 헤드 마운티드 디스플레이를 정렬하기 위한 방법 실시예의 흐름도이다.
도 3b는 투과형 근안 헤드 마운티드 디스플레이 장치를 착용자 IPD와 정렬하기 위해 투과형 근안 헤드 마운티드 디스플레이 장치를 조정하기 위한 방법의 구현 예의 흐름도이다.
도 3c는 적어도 하나의 투과형 근안 헤드 마운티드 디스플레이 조정 메커니즘의 기계적 또는 자동적 조정의 상이한 예시적인 옵션들을 나타내는 흐름도이다.
도 4a는 하드웨어 및 소프트웨어 컴포넌트들에 대한 지원을 제공하는 투과형 근안 헤드 마운티드 디스플레이 장치의 안경 실시예 내의 안경 다리의 측면도이다.
도 4b는 하드웨어 및 소프트웨어 컴포넌트들에 대한 지원 및 마이크로 디스플레이 조립체의 삼차원 조정을 제공하는 투과형 근안 헤드 마운티드 디스플레이 장치의 일 실시예 내의 안경 다리의 측면도이다.
도 5a는 시선 검출 요소들의 배열을 포함하는 투과형 근안 헤드 마운티드 장치의 이동 가능 디스플레이 광학계의 일 실시예의 평면도이다.
도 5b는 시선 검출 요소들의 배열을 포함하는 투과형 근안 헤드 마운티드 장치의 이동 가능 디스플레이 광학계의 다른 실시예의 평면도이다.
도 5c는 시선 검출 요소들의 배열을 포함하는 투과형 근안 헤드 마운티드 장치의 이동 가능 디스플레이 광학계의 제3 실시예의 평면도이다.
도 5d는 시선 검출 요소들의 배열을 포함하는 투과형 근안 헤드 마운티드 장치의 이동 가능 디스플레이 광학계의 제4 실시예의 평면도이다.
도 6a는 하나 이상의 실시예들과 함께 사용될 수 있는 바와 같은 투과형 근안 헤드 마운티드 디스플레이 유닛의 하드웨어 및 소프트웨어 컴포넌트들의 일 실시예의 블록도이다.
도 6b는 투과형 헤드 마운티드 디스플레이 장치와 관련된 처리 유닛의 하드웨어 및 소프트웨어 컴포넌트들의 일 실시예의 블록도이다.
도 7은 본 기술에 따른 식품 피드백 방법을 나타내는 흐름도이다.
도 8은 본 기술을 구현하기 위한 시스템을 나타내는 블록도이다.
도 9는 본 기술에 따른 식품 피드백 방법의 제2 흐름도이다.
도 10은 투과형 근안 헤드 마운티드 디스플레이 장치의 착용자가 이용 가능한 식품 아이템들을 인식하기 위한 방법을 나타내는 흐름도이다.
도 11은 이용 가능한 식품 아이템들에 대한 영양 정보를 판단하기 위한 방법을 나타내는 흐름도이다.
도 12는 착용자에 대한 피드백을 판단하기 위한 방법을 나타내는 흐름도이다.
도 13은 식품 소비를 추적하기 위한 방법을 나타내는 흐름도이다.
도 14-19는 투과형 헤드 마운티드 디스플레이 장치의 착용자에게 제공되는 다양한 타입의 피드백을 나타내는 사시도들이다.
도 20은 예시적인 처리 장치의 블록도이다.
도 21은 다른 예시적인 처리 장치의 블록도이다.
본 명세서에서 설명되는 기술은 착용자의 식품 상호작용들 및 소비에 관한 피드백을 착용자에게 제공하는 투과형 헤드 마운티드 디스플레이 장치를 포함한다. 식품 아이템들이 장치의 시야 내에서 검출되고, 다양한 타입의 피드백이 장치의 착용자에게 제공된다. 피드백은 개인적인 착용자 요구에 기초하는 경고들, 일반적인 영양 정보, 식품 소비 추적 및 사회적 상호작용들을 포함할 수 있다. 시스템은 착용자 근방의 식품 아이템들을 식별하고, 장치의 착용자와 관련된 피드백 정보를 판단하고, 피드백 정보를 디스플레이 내에 렌더링한다.
제삼자 및 사용자 이력을 이용하여 정확하고 맞춤화된 피드백을 착용자에게 제공한다. 제삼자 식품 제공자들은 제품들에 대한 구체적인 영양 정보를 사용자에게 제공할 수 있다. 사용자 건강은 소비 및 식품 관련 문제(food interaction concern) 모두에 대해 추적될 수 있고, 문제들이 발생할 때 경고들이 사용자에게 제공될 수 있다. 본 기술은 식품 준비 및 쇼핑과 관련된 사용들을 위해 확장될 수 있다.
도 1-6은 시스템을 구현하는 데 적합한 예시적인 투과형 디스플레이 장치를 도시한다.
도 1a는 투과형 디스플레이 장치가 동작할 수 있는 시스템 환경에서의 그러한 장치의 일 실시예의 예시적인 컴포넌트들을 도시하는 블록도이다. 일 실시예에서, 본 기술은 투과형 근안 디스플레이 장치를 구현한다. 다른 실시예들에서, 상이한 타입들의 투과형 디스플레이 장치들이 사용될 수 있다. 시스템(10)은 와이어(6)를 통해 처리 유닛(4)과 통신하는 근안 헤드 마운티드 디스플레이 장치(2)로서의 투과형 디스플레이 장치를 포함한다. 다른 실시예들에서, 헤드 마운티드 디스플레이 장치(2)는 무선 통신을 통해 처리 유닛(4)과 통신한다. 처리 유닛(4)은 다양한 실시예들을 취할 수 있다. 일부 실시예들에서, 처리 유닛(4)은 착용자의 신체, 예로서 도시된 예에서는 손목 상에 또는 포켓 내에 착용될 수 있는 개별 유닛이며, 근안 디스플레이 장치(2)를 조작하는 데 사용되는 많은 컴퓨팅 능력을 포함한다. 처리 유닛(4)은 하나 이상의 컴퓨팅 시스템, 핫스팟, 셀룰러 데이터 네트워크 등과 무선으로(예로서, 와이파이, 블루투스, 적외선 또는 다른 무선 통신 수단을 통해) 통신할 수 있다. 다른 실시예들에서, 처리 유닛(4)의 기능은 디스플레이 장치(2)의 소프트웨어 및 하드웨어 컴포넌트들 내에 통합될 수 있다.
일 실시예에서 프레임(115) 내의 안경의 형상을 갖는 투과형 헤드 마운티드 디스플레이 장치(2)는 착용자의 머리에 착용되며, 따라서 착용자는 이 예에서 각각의 눈에 대한 디스플레이 광학계(14)로서 구현되는 디스플레이를 통해 볼 수 있으며, 따라서 착용자 정면의 공간의 실제 직접 뷰를 갖는다. "실제 직접 뷰"라는 용어의 사용은 물체들의 생성된 이미지 표현들을 보는 것이 아니라 사람의 눈으로 실세계 물체들을 직접 보는 능력을 지칭한다. 예를 들어, 방에서 유리를 통해 보는 것은 착용자가 방의 실제 직접 뷰를 갖는 것을 가능하게 하는 반면, 텔레비전에서 방의 비디오를 보는 것은 방의 실제 직접 뷰가 아니다. 소프트웨어, 예로서 게이밍 애플리케이션을 실행하는 상황에 기초하여, 시스템은 투과형 디스플레이 장치를 착용한 사람이 디스플레이를 통해 실세계 물체들을 보고 있는 동안 그 사람이 또한 볼 수 있는 때때로 가상 이미지들 또는 홀로그램들로 지칭되는 가상 물체들의 이미지들을 디스플레이 상에 투영할 수 있다.
프레임(115)은 시스템의 요소들을 적소에 유지하기 위한 지지대는 물론, 전기적 접속들을 위한 콘딧도 제공한다. 이 실시예에서, 프레임(115)은 아래에 더 설명되는 시스템의 요소들에 대한 지지대로서의 편리한 안경 프레임을 제공한다. 다른 실시예들에서는, 다른 지지 구조들이 사용될 수 있다. 그러한 구조의 일례는 바이저, 모자, 헬멧 또는 고글이다. 프레임(115)은 착용자의 귀들 각각 상에 배치하기 위한 안경 다리 또는 사이드 아암을 포함한다. 안경 다리(102)는 우측 안경 다리의 일 실시예를 나타내며, 디스플레이 장치(2)에 대한 제어 회로(136)를 포함한다. 프레임의 코 브리지(104)는 사운드들을 기록하고 오디오 데이터를 처리 유닛(4)으로 전송하기 위한 마이크(110)를 포함한다.
도 1b는 투과형 디스플레이 장치의 다른 실시예의 예시적인 컴포넌트들을 도시하는 블록도이다. 일부 실시예들에서, 처리 유닛(4)은 착용자의 신체, 예로서 손목 상에 착용되거나 이동 장치(예로서, 스마트폰)와 같은 개별 장치일 수 있는 개별 유닛이다. 처리 유닛(4)은 근처에 또는 멀리 위치하는지에 관계없이 하나 이상의 컴퓨팅 시스템(12)과 무선 네트워크(50)를 통해 유선 또는 무선으로(예로서, 와이파이, 블루투스, 적외선, RFID 송신, 무선 유니버설 직렬 버스(USB), 셀룰러, 3G, 4G 또는 다른 무선 통신 수단을 통해) 통신할 수 있다. 다른 실시예들에서, 처리 유닛(4)의 기능은 디스플레이 장치(2)의 소프트웨어 및 하드웨어 컴포넌트들 내에 통합될 수 있다.
하나 이상의 원격적인 네트워크 액세스 가능 컴퓨터 시스템(들)(12)이 처리 능력 및 원격 데이터 액세스를 위해 이용될 수 있다. 컴퓨팅 시스템(12)의 하드웨어 컴포넌트들의 일례가 도 16에 도시된다. 애플리케이션이 컴퓨팅 시스템(12) 상에서 실행되어, 투과형 디스플레이 시스템(10) 내의 하나 이상의 프로세서 상에서 실행되는 애플리케이션과 상호작용하거나 그에 대한 처리를 수행한다. 예를 들어, 3D 맵핑 애플리케이션이 하나 이상의 컴퓨터 시스템(12) 및 착용자의 디스플레이 시스템(10) 상에서 실행될 수 있다.
게다가, 일부 실시예들에서, 동일 환경 내의 또는 서로 통신하는 다른 투과형 헤드 마운티드 디스플레이 시스템들(10) 상에서 실행되는 애플리케이션들은 장치들 간의 피어 대 피어 구성에서 또는 하나 이상의 네트워크 액세스 가능 컴퓨팅 시스템에서 실행되는 물체 관리 서비스에 대해, 데이터 갱신들, 예를 들어 물체 식별자들 및 실제 물체에 대한 폐색 볼륨과 같은 폐색 데이터를 실시간으로 공유한다.
일부 예들에서 공유 데이터는 장치(2)에 의해 액세스될 수 있는 하나 이상의 참조 좌표계와 관련하여 참조될 수 있다. 다른 예들에서, 하나의 헤드 마운티드 디스플레이(HMD) 장치가 다른 HMD 장치로부터 이미지 데이터 또는 이미지 데이터로부터 도출된 데이터, 송신 HMD에 대한 위치 데이터, 예로서 상대 위치를 제공하는 GPS 또는 IR 데이터, 및 배향 데이터를 포함하는 데이터를 수신할 수 있다. HMD들 사이에 공유되는 데이터의 일례는 그의 정면 카메라들(113)에 의해 캡처된 이미지 데이터 및 깊이 데이터, 물체 식별 데이터 및 깊이 맵 내의 실제 물체들에 대한 폐색 볼륨들을 포함하는 깊이 맵 데이터이다. 실제 물체들은 여전히 식별되지 못하거나, HMD 장치 또는 지원 컴퓨터 시스템(예로서, 12) 또는 다른 디스플레이 시스템(10) 상에서 실행되는 소프트웨어에 의해 인식되었을 수 있다.
환경의 일례는 착용자가 위치하는 실제 위치의 360도 가시 부분이다. 착용자는 그의 시야인 그의 환경의 서브세트를 볼 수 있다. 예를 들어, 방이 환경이다. 사람이 집 안에 있을 수 있고, 부엌에서 냉장고의 상단을 보고 있을 수 있다. 냉장고의 상단은 그의 디스플레이 시야 내에 있고, 부엌은 그의 환경이지만, 그의 위층 침실은 그의 현재 환경의 일부가 아닌데, 이는 벽들 및 천장이 위층 침실에 대한 그의 뷰를 차단하기 때문이다. 물론, 그가 움직임에 따라 그의 환경이 바뀐다. 환경의 일부 다른 예들은 볼 필드, 거리 위치, 상점의 구획, 커피숍의 고객 구획 등일 수 있다. 위치는 다수의 환경을 포함할 수 있는데, 예를 들어 집은 위치일 수 있다. 착용자 및 그의 친구들은 집 전반에서 발생하는 게임을 실행하기 위해 그들의 디스플레이 장치 시스템들을 착용할 수 있다. 각각의 플레이어가 집에 대해 이동함에 따라 그의 환경이 바뀐다. 유사하게, 여러 개의 블록의 둘레는 위치일 수 있으며, 상이한 교점들은 상이한 교차로들이 보이게 됨에 따라 보이는 상이한 환경들을 제공한다. 일부 예들에서, 위치는 위치 추적 센서들 또는 데이터의 정밀도에 의존하는 환경일 수도 있다.
도 2a는 먼 동공간 거리(IPD)를 정렬하기 위한 거리 및 방향에서 시선점으로 연장하는 시선 벡터들의 예들을 나타내는 평면도이다. 도 2a는 착용자의 눈들이 무한대로, 예를 들어 5 피트를 초과하여 효과적으로 포커싱되는 시선점에서 교차하는 시선 벡터들의 예들, 즉 착용자가 전방을 직시할 때의 시선 벡터들의 예들을 나타낸다. 굴스트랜드 모형 눈 모델(Gullstrand schematic eye model)에 기초하는 각각의 눈에 대한 안구(160l, 160r)의 모델이 도시된다. 각각의 눈에 대해, 안구(160)는 회전 중심(166)을 갖는 구로서 모델링되며, 또한 구로서 모델링되고 중심(164)을 갖는 각막(168)을 포함한다. 각막은 안구와 함께 회전하며, 안구의 회전 중심(166)은 고정점으로서 취급될 수 있다. 각막은 자신의 중심에 동공(162)을 갖는 홍채(170)를 커버한다. 이 예에서, 각각의 각막의 표면(172) 상에는 글린트들(glints; 174, 176)이 존재한다.
도 2a의 도시된 실시예에서, 센서 검출 영역(139)(139l, 139r)은 안경 프레임(115) 내의 각각의 디스플레이 광학계(14)의 광축과 정렬된다. 검출 영역과 관련된 센서는 이 예에서는 프레임(115) 좌측의 조명기들(153a, 153b)에 의해 각각 생성되는 글린트들(174l, 176l)을 나타내는 이미지 데이터 및 조명기들(153c, 153d)에 의해 각각 생성되는 글린트들(174r, 176r)을 나타내는 데이터를 캡처할 수 있는 카메라이다. 디스플레이 광학계들(14l, 14r)은 안경 프레임(115) 내에 있지만, 착용자의 시야는 실제 물체들(190, 192, 194)뿐만 아니라 가상 물체들(182, 184, 186)도 포함한다.
회전 중심(166)으로부터 각막 중심(164)을 통해 동공(162)까지 형성되는 축(178)은 눈의 광축이다. 시선 벡터(180)는 때때로 와(fovea)로부터 동공(162)의 중심을 통해 연장하는 시선 또는 시각 축으로 지칭된다. 와는 망막 내에 위치하는 약 1.2도의 작은 영역이다. 계산된 광축과 시각 축 사이의 각도 오프셋은 수평 및 수직 성분들을 갖는다. 수평 성분은 광축으로부터 최대 5도이며, 수직 성분은 2도와 3도 사이이다. 많은 실시예에서, 광축이 결정되며, 시선 벡터로서 선택되는 시각 축을 얻기 위해 착용자 교정을 통해 작은 수정이 결정된다.
각각의 착용자에 대해, 상이한 수평 및 수직 위치들에 다수의 사전 결정된 위치 각각에 디스플레이 장치에 의해 가상 물체가 표시될 수 있다. 각각의 위치에서의 물체의 표시 동안 각각의 눈에 대해 광축이 계산될 수 있으며, 광선이 그 위치로부터 착용자 눈 안으로 연장하는 것으로 모델링될 수 있다. 수평 및 수직 성분들을 갖는 시선 오프셋 각도는 광축이 모델링된 광선과 정렬되기 위해 어떻게 이동되는지에 기초하여 판단될 수 있다. 상이한 위치들로부터, 수평 또는 수직 성분들을 갖는 평균 시선 오프셋 각도가 각각의 계산된 광축에 적용될 작은 수정으로서 선택될 수 있다. 일부 실시예들에서, 수평 성분은 시선 오프셋 각도 수정을 위해 사용된다.
시선 벡터들(180l, 180r)은 그들이 안구로부터 심벌들(181l, 181r)에 의해 지시되는 바와 같이 사실상 무한대에 있는 시선점에서 시야 내로 연장함에 따라 서로 더 가까워지므로 완전히 평행하지는 않다. 각각의 디스플레이 광학계(14)에서, 시선 벡터(180)는 센서 검출 영역(139)의 중심이 위치하는 광축과 교차하는 것으로 나타난다. 이러한 구성에서, 광축들은 동공간 거리(IPD)와 정렬된다. 착용자가 앞을 직시하고 있을 때, 측정된 IPD는 먼 IPD로도 지칭된다.
착용자가 멀리서 IPD를 정렬하기 위해 포커싱할 물체를 식별할 때, 물체는 각각의 디스플레이 광학계의 각각의 광축을 따르는 방향으로 정렬될 수 있다. 처음에, 광축과 착용자의 동공 간의 정렬은 알려지지 않는다. 먼 IPD의 경우, 방향은 광축을 통해 직진하는 방향일 수 있다. 가까운 IPD를 정렬할 때, 식별된 물체는 광축을 통과하는 방향에 있을 수 있으나, 가까운 거리들에서의 눈들의 이접 운동으로 인해 방향은 디스플레이 광학계들의 광축들 사이에 중심을 가질 수 있지만, 직선 방향은 아니다.
도 2b는 가까운 IPD를 정렬하기 위한 거리 및 방향에서 시선점으로 연장하는 시선 벡터들의 예들을 나타내는 평면도이다. 이 예에서, 좌안의 각막(168l)은 우측으로 또는 착용자의 코를 향해 회전되며, 우안의 각막(168r)은 좌측으로 또는 착용자의 코를 향해 회전된다. 양 동공은 착용자의 정면에서 훨씬 더 가까운 거리, 예를 들어 2 피트에 있는 실제 물체(194)를 응시하고 있다. 각각의 눈으로부터의 시선 벡터들(180l, 180r)은 실제 물체(194)가 위치하는 파늄의 융합 영역(Panum's fusional region)(195)으로 들어간다. 파늄의 융합 영역은 사람 시야 영역과 같은 양안 관찰 시스템의 단일 시야 영역이다. 시선 벡터들(180l, 180r)의 교점은 착용자가 실제 물체(194)를 보고 있다는 것을 나타낸다. 그러한 거리에서, 안구들은 안쪽으로 회전하므로, 그들의 동공들 사이의 거리는 가까운 IPD로 감소한다. 가까운 IPD는 통상적으로 먼 IPD보다 약 4㎜ 작다. 가까운 IPD 거리 기준, 예로서 4 피트보다 작은 거리의 시선점이 디스플레이 광학계들(14)의 IPD 정렬을 가까운 IPD의 정렬로 전환하거나 조정하는 데 사용될 수 있다. 가까운 IPD에 대해, 각각의 디스플레이 광학계(14)는 착용자의 코를 향해 이동될 수 있으며, 따라서 광축 및 검출 영역(139)은 검출 영역들(139ln, 139rn)에 의해 표현되는 바와 같이 코를 향해 수 밀리미터 이동한다.
착용자의 IPD를 자동으로 결정하고, STHMD를 자동으로 조정하여 최적의 착용자 관찰을 위한 IPD를 설정하기 위한 기술들이 함께 계류중인 투과형 근안 혼합 현실 디스플레이에서의 주시 탐지(Gaze Detection In A See-Through, Near-Eye, Mixed Reality Display)라는 발명의 명칭의 미국 특허 출원 제13221739호; 동공 간 거리 정렬을 위한 혼합 현실 디스플레이의 조정(Ajustment Of A Mixed Reality Display For Inter-Pupillary Distance Alignment)이라는 발명의 명칭의 미국 특허 출원 제13221707호; 및 근안 디스플레이 시스템에서 동공 간 거리 조정(Aligning Inter-Pupillary Distance In A Near-Eye Display System)이라는 발명의 명칭의 미국 특허 출원 제13221662호에 설명되어 있으며, 따라서 이들 출원 모두는 구체적으로 참조로서 통합된다.
일반적으로, 도 3a는 IPD를 갖는 투과형 근안 디스플레이를 정렬하기 위한 방법 실시예(300)의 흐름도이다. 단계 301에서, 제어 회로(136)의 하나 이상의 프로세서는 정렬 기준에 따라 투과형 근안 디스플레이 장치가 착용자의 IPD와 정렬되는지를 자동으로 판단한다. 정렬되지 않은 경우, 단계 302에서, 하나 이상의 프로세서는 장치를 착용자 IPD와 정렬시키기 위해 적어도 하나의 디스플레이 정렬 메커니즘에 의한 디스플레이 장치의 정렬을 유발한다. 투과형 근안 디스플레이 장치가 착용자 IPD와 정렬된 것으로 판단되는 경우, 옵션으로서, 303에서, 착용자에 대한 IPD 데이터 세트가 저장된다. 일부 실시예들에서, 디스플레이 장치(2)는 누군가가 디스플레이 장치(2)를 착용할 때마다 IPD 정렬이 존재하는지를 자동으로 판단할 수 있다. 그러나, IPD 데이터는 일반적으로 사람의 두개골의 한계로 인해 성인들에 대해 일정하므로, IPD 데이터 세트는 통상적으로 각각의 착용자에 대해 한 번 결정되고, 저장될 수 있다. 저장된 IPD 데이터 세트는 적어도 IPD 정렬 검사를 시작하기 위한 디스플레이 장치에 대한 초기 설정으로 사용될 수 있다.
도 3b는 투과형 근안 헤드 마운티드 디스플레이 장치를 착용자 IPD와 정렬하기 위해 디스플레이 장치를 조정하기 위한 방법의 구현 예의 흐름도이다. 이 방법에서는, 적어도 하나의 디스플레이 조정 메커니즘이 오정렬된 적어도 하나의 디스플레이 광학계(14)의 위치를 조정한다. 단계 407에서, 적어도 하나의 디스플레이 광학계에 대한 조정 기준을 충족시키기 위해 적어도 하나의 디스플레이 조정 메커니즘에 대해 하나 이상의 조정이 자동으로 결정된다. 단계 408에서, 그러한 적어도 하나의 디스플레이 광학계는 하나 이상의 조정 값에 기초하여 조정된다. 조정은 프로세서의 제어하에 자동으로 또는 아래에 더 설명되는 바와 같이 기계적으로 수행될 수 있다.
도 3c는 단계 408을 구현하는 데 사용될 수 있는 바와 같은 적어도 하나의 디스플레이 조정 메커니즘에 의한 기계적 또는 자동적 조정의 상이한 예시적인 옵션들을 나타내는 흐름도이다. 디스플레이 장치(2) 내의 디스플레이 조정 메커니즘의 구성에 따라, 하나 이상의 조정 값이 이미 결정된 단계 407로부터, 디스플레이 조정 메커니즘은 단계 334에서 하나 이상의 조정 값에 따라 프로세서의 제어하에 자동으로 적어도 하나의 디스플레이 조정 메커니즘을 조정할 수 있다. 대안으로서, 시스템과 관련된 하나 이상의 프로세서는 단계 333에 따라 적어도 하나의 디스플레이 조정 메커니즘에 대한 하나 이상의 조정 값의 착용자 적용을 위한 명령들을 전자적으로 제공할 수 있다. 명령들에 따른 자동 및 기계 조정의 결합의 예들이 존재할 수 있다.
전자적으로 제공되는 명령들의 일부 예들은 마이크로 디스플레이(120), 처리 유닛(4)에 의해 표시되는 명령들 또는 디스플레이 장치(2)의 스피커들(130)을 통한 오디오 명령들이다. 착용자 선호에 따라 또는 착용자에게 소정의 추가 제어를 허용하기 위해 자동 조정 및 기계 메커니즘을 갖는 장치 구성들이 존재할 수 있다.
도 4a는 시선 검출 요소들을 포함하는 이동 가능 디스플레이 광학계들을 갖는 안경으로서 구현되는 투과형 근안 디스플레이 장치의 예시적인 배열을 나타낸다. 각각의 눈에 대한 렌즈로서 나타나는 것은 각각의 눈에 대한 디스플레이 광학계(14)(예로서, 14r, 14l)를 나타낸다. 디스플레이 광학계는 통상의 안경 쌍에서와 같이 도 5a-5b 내의 투과형 렌즈(예로서, 118, 116)를 포함하지만, 가상 콘텐츠와 렌즈들(118, 116)을 통해 관찰되는 실제의 직접 실세계 뷰를 결함 없이 융합하기 위한 광학 요소들(예로서, 미러들, 필터들)도 포함한다. 디스플레이 광학계(14)는 왜곡 없는 뷰를 제공하도록 광을 대체로 시준하는 투과형 렌즈(118, 116)의 중심에 대체로 위치하는 광축을 갖는다. 예를 들어, 눈 치료 전문가가 통상의 안경 쌍을 착용자의 얼굴에 피팅할 때, 목표는 각각의 동공이 각각의 렌즈의 중심 또는 광축과 정렬되는 위치에서 안경이 착용자의 코 위에 배치되어 명료한 또는 왜곡 없는 뷰를 위해 대체로 시준된 광이 착용자의 눈에 도달하게 하는 것이다.
예시적인 디스플레이 장치(2)에서, 적어도 하나의 센서의 검출 영역은 그의 각각의 디스플레이 광학계의 광축과 정렬되며, 따라서 검출 영역의 중심은 광축을 따라 광을 캡처한다. 디스플레이 광학계가 착용자의 동공과 정렬되는 경우, 각각의 센서의 각각의 검출 영역은 착용자의 동공과 정렬된다. 검출 영역의 반사 광은 하나 이상의 광학 요소를 통해 이 예에서 점선에 의해 프레임(115) 내에 있는 것으로 도시되는 카메라의 실제 이미지 센서로 전달된다.
일례에서는, (일반적으로 RGB 카메라로도 지칭되는) 가시광 카메라가 센서일 수 있다. 광학 요소 또는 광 지향 요소의 일례는 부분 투과성 및 부분 반사성을 갖는 가시광 반사 미러이다. 가시광 카메라는 착용자의 눈의 동공의 이미지 데이터를 제공하는 반면, IR 광 검출기들(152)은 스펙트럼의 IR 부분에서의 반사들인 글린트들을 캡처한다. 가시광 카메라가 사용되는 경우, 가상 이미지들의 반사들은 카메라에 의해 캡처되는 눈 데이터 내에 나타날 수 있다. 필요한 경우에는 이미지 필터링 기술을 이용하여 가상 이미지 반사들을 제거할 수 있다. IR 카메라는 눈 상의 가상 이미지 반사들을 감지하지 못한다.
다른 예들에서, 적어도 하나의 센서는 IR 카메라, 또는 IR 복사선이 향할 수 있는 위치 감지 검출기(PSD)이다. 예를 들어, 고온 반사면이 가시광을 투과시키지만 IR 복사선을 반사할 수 있다. 눈으로부터 반사되는 IR 복사선은 조명기들, 다른 IR 조명기들(미도시)의 입사 복사선 또는 눈으로부터 반사되는 주변 IR 복사선일 수 있다. 일부 예들에서, 센서는 RGB 및 IR 카메라의 결합일 수 있으며, 광 지향 요소들은 가시광 반사 또는 방향 전환 요소 및 IR 복사선 반사 또는 방향 전환 요소를 포함할 수 있다. 일부 예들에서, 카메라는 소형, 예를 들어 2 밀리미터(㎜) x 2㎜일 수 있다.
다양한 타입의 시선 검출 시스템들이 본 시스템에서의 사용에 적합하다. 시선 벡터의 결정의 일부로서 각막 중심을 계산하는 일부 실시예들에서는, 2개의 글린트, 따라서 2개의 조명기로 충분할 것이다. 그러나, 다른 실시예들은 동공 위치, 따라서 시선 벡터를 결정함에 있어서 추가적인 글린트들을 사용할 수 있다. 글린트들을 나타내는 눈 데이터가 반복적으로, 예를 들어 초당 30 프레임 이상으로 캡처됨에 따라, 하나의 글린트에 대한 데이터가 눈꺼풀 또는 심지어 속눈썹에 의해 차단될 수 있지만, 다른 조명기에 의해 생성되는 글린트에 의해 데이터가 수집될 수 있다.
도 4a는 투과형 디스플레이 장치의 안경 실시예 내의 프레임(115)의 안경 다리(102)의 측면도이다. 프레임(115)의 정면에는 비디오 및 정지 이미지들을 캡처할 수 있는 물리 환경 대면 비디오 카메라(113)가 존재한다. 구체적으로, 일부 실시예들에서, 물리 환경 대면 카메라(113)는 깊이 카메라는 물론, 가시광 또는 RGB 카메라일 수도 있다. 예를 들어, 깊이 카메라는 가시광을 통과시키고 소정 파장 범위 내의 또는 조명기에 의해 CCD 또는 다른 타입의 깊이 센서로 전송되는 사전 결정된 파장 근처의 반사 IR 복사선을 지향시키는 가시 이미지 센서 정면의 IR 조명기 투과기 및 고온 미러와 같은 고온 반사면을 포함할 수 있다. 다른 타입의 가시광 카메라(RGB 카메라) 및 깊이 카메라가 사용될 수 있다. 깊이 카메라들에 대한 더 많은 정보가 2010년 6월 11일자로 출원된 미국 특허 출원 제12/813,675호에서 발견될 수 있으며, 이 출원 전체는 본 명세서에 참조로서 통합된다. 센서들로부터의 데이터는 제어 회로(136)의 프로세서(210) 또는 처리 유닛(4) 또는 이들 양자로 전송될 수 있고, 이들에 의해 처리될 수 있지만, 유닛(4)은 또한 데이터를 처리를 위해 네트워크 또는 보조 컴퓨팅 시스템을 통해 컴퓨터 시스템으로 전송할 수 있다. 처리는 이미지 분할 및 에지 검출 기술들을 통해 물체들을 식별하고, 착용자의 실세계 시야 내의 물체들에 깊이를 맵핑한다. 게다가, 물리 환경 대면 카메라(113)는 주변 광을 측정하기 위한 광 미터도 포함할 수 있다.
제어 회로(136)는 헤드 마운티드 디스플레이 장치(2)의 다른 컴포넌트들을 지원하는 다양한 전자 장치를 제공한다. 제어 회로(136)의 더 많은 상세는 아래에서 도 6a 및 6b와 관련하여 제공된다. 이어폰들(130), 관성 센서들(132), GPS 송수신기(144) 및 온도 센서(138)가 안경 다리(102) 내에 존재하거나 그에 장착된다. 일 실시예에서, 관성 센서들(132)은 3축 자기계(132A), 3축 자이로(132B) 및 3축 가속도계(132C)를 포함한다(도 7a 참조). 관성 센서들은 헤드 마운티드 디스플레이 장치(2)의 위치, 배향 및 급격한 가속을 감지하기 위한 것이다. 이러한 움직임들로부터, 머리 위치가 결정될 수도 있다.
디스플레이 장치(2)는 하나 이상의 가상 물체를 포함하는 하나 이상의 이미지를 생성할 수 있는 이미지 생성 유닛을 제공한다. 일부 실시예들에서는, 마이크로 디스플레이가 이미지 생성 유닛으로 사용될 수 있다. 이 예에서는 마이크로 디스플레이 조립체(173)가 광 처리 요소들 및 가변 포커스 조정기(135)를 포함한다. 광 처리 요소의 일례는 마이크로 디스플레이(120)이다. 다른 예들은 렌즈 시스템(122)의 하나 이상의 렌즈와 같은 하나 이상의 광학 요소 및 도 6a 및 6b의 반사 요소들(124a, 124b) 또는 도 6c 및 6d의 124와 같은 하나 이상의 반사 요소를 포함한다. 렌즈 시스템(122)은 단일 렌즈 또는 복수의 렌즈를 포함할 수 있다.
안경 다리(102)에 장착되거나 그 내부에 존재하는 마이크로 디스플레이(120)는 이미지 소스를 포함하고, 가상 물체의 이미지를 생성한다. 마이크로 디스플레이(120)는 아래의 도면들에 도시된 바와 같이 렌즈 시스템(122) 및 반사 요소(124) 또는 반사 요소들(124a, 124b)과 광학적으로 정렬된다. 광학적 정렬은 하나 이상의 광축을 포함하는 광 경로(133)를 따를 수 있다. 마이크로 디스플레이(120)는 가상 물체의 이미지를 렌즈 시스템(122)을 통해 투영하며, 이 렌즈 시스템은 이미지 광을 반사 요소(124) 상으로 지향시킬 수 있으며, 이 반사 요소는 광을 도 5c 및 5d에서와 같이 광 안내 광학 요소(112) 내로 또는 반사 요소(124a)(예로서, 미러 또는 다른 표면) 상으로 지향시키며, 이 반사 요소는 가상 이미지의 광을 부분 반사 요소(124b)로 지향시키며, 이 부분 반사 요소는 도 5a-5d에서와 같이 경로(133)를 따른 가상 이미지 뷰를 광축(142)을 따른 자연 또는 실제 직접 뷰와 결합한다. 뷰들의 결합들은 착용자의 눈 안으로 지향된다.
가변 포커스 조정기(135)는 마이크로 디스플레이 조립체의 광 경로 내의 하나 이상의 광 처리 요소 간의 변위 또는 마이크로 디스플레이 조립체 내의 요소의 광학적 배율을 변경한다. 렌즈의 광학적 배율은 그의 포커스 길이의 역수, 예를 들어 1/포커스 길이로서 정의되며, 따라서 하나의 변화는 다른 하나에 영향을 준다. 포커스 길이의 변화는 마이크로 디스플레이 조립체(173)에 의해 생성되는 이미지에 대해 포커스 내에 있는 시야의 영역, 예를 들어 소정 거리에 있는 영역의 변화를 유발한다.
마이크로 디스플레이 조립체(173)가 변위를 변경하는 일례에서, 변위 변화는 이 예에서 렌즈 시스템(122) 및 마이크로 디스플레이(120)와 같은 적어도 하나의 광 처리 요소를 지지하는 아마추어(137) 내에서 안내된다. 아마추어(137)는 선택된 변위 또는 광학적 배율을 달성하기 위해 요소들의 물리적 움직임 동안 광 경로(133)를 따른 정렬의 안정화를 돕는다. 일부 예들에서, 조정기(135)는 아마추어(137) 내의 렌즈 시스템(122) 내의 렌즈와 같은 하나 이상의 광학 요소를 이동시킬 수 있다. 다른 예들에서, 아마추어는 광 처리 요소 주위의 영역 내에 그루브들 또는 공간을 가질 수 있으며, 따라서 광 처리 요소를 이동시키지 않고서 요소, 예를 들어 마이크로 디스플레이(120) 위로 미끄러질 수 있다. 렌즈 시스템(122)과 같은 아마추어 내의 다른 요소는 시스템(122) 또는 그 안의 렌즈가 이동하는 아마추어(137)와 함께 미끄러지거나 이동하도록 부착된다. 변위 범위는 통상적으로 수 밀리미터(㎜) 정도이다. 일례에서, 범위는 1-2㎜이다. 다른 예들에서, 아마추어(137)는 변위가 아닌 다른 물리 파라미터들의 조정을 포함하는 포커스 조정 기술들을 위해 렌즈 시스템(122)에 대한 지지를 제공할 수 있다. 그러한 파라미터의 일례는 편광이다.
마이크로 디스플레이 조립체의 포커스 거리에 대한 더 많은 정보를 위해, 2012년 5월 10일자로 공개된 미국 특허 공개 번호 제2012-0113092-A1호, 발명자 Bar-Zeev 등이 "증강 현실 디스플레이를 위한 자동 가변 가상 포커스(Automatic Variable Virtual Focus for Augmented Reality Displays)"라는 발명의 명칭으로 2010년 11월 8일자로 출원한 출원 제12/941,825호를 참조하며, 이에 따라 이 출원은 참조로서 통합된다.
일례에서, 조정기(135)는 압전 모터와 같은 액추에이터일 수 있다. 액추에이터에 대한 다른 기술들도 이용될 수 있으며, 그러한 기술들의 일부 예들은 코일 및 영구 자석으로 형성되는 음성 코일, 자기 변형 요소 및 전기 변형 요소이다.
마이크로 디스플레이(120)를 구현하는 데 사용될 수 있는 상이한 이미지 생성 기술들이 존재한다. 예를 들어, 마이크로 디스플레이(120)는 백색광으로 백라이팅되는 광학적 활성 재료에 의해 광원을 변조하는 투과 투영 기술을 이용하여 구현될 수 있다. 이러한 기술들은 통상적으로 강력한 백라이트들 및 높은 광 에너지 밀도들을 갖는 LCD 타입 디스플레이들을 이용하여 구현된다. 마이크로 디스플레이(120)는 광학적 활성 재료에 의해 외부 광을 반사하고 변조하는 반사 기술을 이용하여 구현될 수도 있다. 조명은 기술에 따라 백색 광원 또는 RGB 광원에 의해 포워드라이팅된다. 디지털 광 처리(DLP), 실리콘 상의 액정(LCOS) 및 퀄컴사의 Mirasol(등록상표) 디스플레이 기술 모두는 대부분의 에너지가 변조된 구조로부터 반사되므로 효율적인 반사 기술들의 예들이며, 본 명세서에서 설명되는 시스템에서 사용될 수 있다. 게다가, 마이크로 디스플레이(120)는 디스플레이에 의해 광을 생성하는 발광 기술을 이용하여 구현될 수 있다. 예를 들어, 마이크로비전사의 Pico(상표) 엔진은 마이크로 미러에 의해 투과 요소로서 작용되는 소형 스크린 상으로 조정되거나 눈 안으로 직접 빔(레이저)으로 입사되는 레이저 신호를 방출한다.
도 4b는 하드웨어 및 소프트웨어 컴포넌트들에 대한 지원 및 마이크로 디스플레이 조립체의 삼차원 조정을 제공하는 디스플레이 장치의 다른 실시예 내의 안경 다리의 측면도이다. 위에서 도 5a에 도시된 번호들 중 일부는 도면에서의 혼란을 방지하기 위해 제거되었다. 디스플레이 광학계(14)가 3개의 차원 중 임의의 차원으로 이동되는 실시예들에서, 반사 요소(124) 및 마이크로 디스플레이 조립체(173)의 다른 요소들(예로서, 120, 122)에 의해 표현되는 광학 요소들도 디스플레이 광학계에 대한 가상 이미지의 광의 광 경로(133)를 유지하도록 이동될 수 있다. 이 예에서 디스플레이 조정 메커니즘(203) 및 샤프트들(205)에 의해 표현되는 하나 이상의 모터로 구성되는 XYZ 운반 메커니즘이 제어 회로(136)의 프로세서(210)의 제어하에 마이크로 디스플레이 조립체(173)의 요소들의 이동을 제어한다(도 6a 참조). 사용될 수 있는 모터들의 일례는 압전 모터들이다. 도시된 예에서, 하나의 모터가 아마추어(137)에 부착되고, 가변 포커스 조정기(135)도 이동시키며, 다른 디스플레이 조정 메커니즘(203)이 반사 요소(124)의 이동을 제어한다.
도 5a는 시선 검출 요소들의 배열을 포함하는 투과형 근안 장치(2)의 이동 가능 디스플레이 광학계(14)의 일 실시예의 평면도이다. 근안 디스플레이 장치(2)의 프레임(115)의 일부는 디스플레이 광학계(14)를 둘러쌀 것이며, 도시된 바와 같이 마이크로 디스플레이(120) 및 그와 관련된 요소들을 포함하는 마이크로 디스플레이 조립체(173)의 일 실시예의 요소들에 대한 지지를 제공할 수 있다. 디스플레이 시스템(14)의 컴포넌트들, 이 예에서는 우안 시스템에 대한 디스플레이 광학계(14r)를 보여주기 위해, 디스플레이 광학계를 둘러싸는 프레임(115)의 상부는 도시되지 않는다. 게다가, 브리지(104) 내의 마이크(110)는 디스플레이 조정 메커니즘(203)의 동작에 주의를 집중하기 위해 이 도면에는 도시되지 않는다. 도 4c의 예에서와 같이, 이 실시예에서의 디스플레이 광학계(14)는 이 예에서 마이크로 디스플레이 조립체(173)를 또한 둘러싸는 내부 프레임(117r)을 이동시킴으로써 이동된다. 이 실시예에서 디스플레이 조정 메커니즘(203)은 이 실시예에서 마이크로 디스플레이 조립체(173)를 포함하는 디스플레이 광학계(14)를 3개의 이동 축을 지시하는 심벌(145)에 의해 표시되는 바와 같은 3개의 차원 중 임의의 차원에서 병진 이동시키기 위해 내부 프레임(117r)에 부착되는 샤프트들(205)을 갖는 3축 모터들로서 구현되고 제공된다.
이 실시예에서 디스플레이 광학계(14)는 광축(142)을 가지며, 착용자에게 실세계의 실제 직접 뷰를 허용하는 투과형 렌즈(118)를 포함한다. 이 예에서, 투과형 렌즈(118)는 안경에서 사용되는 표준 렌즈이며, (무처방을 포함하는) 임의의 처방에 따라 제조될 수 있다. 다른 실시예에서, 투과형 렌즈(118)는 가변 처방 렌즈로 대체될 수 있다. 일부 실시예들에서, 투과형 근안 헤드 마운티드 디스플레이 장치(2)는 추가적인 렌즈들을 포함할 것이다.
디스플레이 광학계(14)는 반사 요소들(124a, 124b)을 더 포함한다. 이 실시예에서, 마이크로 디스플레이(120)로부터의 광은 광 경로(133)를 따라 반사 요소(124a)를 통해 렌즈(118) 내에 내장된 부분 반사 요소(124b)로 지향되며, 이 부분 반사 요소는 광 경로(133)를 따라 이동하는 가상 물체 이미지 뷰를 광축(142)을 따르는 자연 또는 실제 직접 뷰와 결합하며, 따라서 결합된 뷰들은 광축에서 착용자의 눈, 이 예에서는 우안 내로, 즉 가장 명료한 뷰를 위해 가장 시준된 광을 이용하여 그 위치로 지향된다.
광 센서의 검출 영역은 디스플레이 광학계(14r)의 일부이기도 하다. 광학 요소(125)는 광축(142)을 따라 수신되는 착용자의 눈으로부터의 반사 광을 캡처함으로써 검출 영역을 구현하며, 캡처된 광을 이 예에서 내부 프레임(117r) 내의 렌즈(118) 내에 위치하는 센서(134r)로 지향시킨다. 도시된 바와 같이, 이러한 배열은 센서(134r)의 검출 영역(139)의 중심이 디스플레이 광학계(14)의 중심과 정렬되는 것을 가능하게 한다. 예를 들어, 센서(134r)가 이미지 센서인 경우, 센서(134r)는 검출 영역(139)을 캡처하며, 따라서 이미지 센서에서 캡처된 이미지는 검출 영역(139)이므로 광축 상에 중심을 갖는다. 일례에서, 센서(134r)는 가시광 카메라 또는 RGB/IR 카메라의 결합이며, 광학 요소(125)는 착용자의 눈으로부터 반사되는 가시광을 반사하는 광학 요소, 예를 들어 부분 반사 미러를 포함한다.
다른 실시예들에서, 센서(134r)는 IR 카메라와 같은 IR 감지 장치이고, 요소(125)는 가시광을 통과시키고 IR 복사선을 센서(134r)를 향해 반사하는 고온 반사면을 포함한다. IR 카메라는 글린트들뿐만 아니라, 동공을 포함하는 착용자의 눈의 적외선 또는 근적외선 이미지도 캡처할 수 있다.
다른 실시예들에서, IR 센서(134r)는 때때로 광학 위치 센서로 지칭되는 위치 감지 장치(PSD)이다. 광 지향 요소들, 이 예에서는 도 5a-5d의 반사 요소들(125, 124, 124a, 124b)의 도시는 그들의 기능들을 나타낸다. 요소들은 임의 수의 형태를 취할 수 있으며, 카메라 센서 또는 착용자의 눈과 같은 의도된 목적지를 향해 광을 지향시키기 위한 하나 이상의 배열의 하나 이상의 광학 컴포넌트를 이용하여 구현될 수 있다.
위의 도 2a 및 2b에서 그리고 아래의 도면들에서 설명되는 바와 같이, 착용자가 정면을 직시하고 있으며, 검출 영역(139) 또는 이미지 센서(134r)가 사실상 디스플레이의 광축 상에 중심을 가질 때 착용자의 동공의 중심이 착용자의 눈의 캡처된 이미지 내에 중심을 가질 때, 디스플레이 광학계(14r)는 동공과 정렬된다. 양 디스플레이 광학계(14)가 그들 각각의 동공들과 정렬될 때, 광학 중심들 사이의 거리는 착용자의 동공간 거리와 매칭되거나 정렬된다. 도 6a의 예에서, 동공간 거리는 3개의 차원에서 디스플레이 광학계들(14)과 정렬될 수 있다.
일 실시예에서, 센서(134)에 의해 캡처된 데이터가 동공이 광축과 정렬되지 않은 것을 지시하는 경우, 처리 유닛(4) 또는 제어 회로(136) 또는 이들 양자의 하나 이상의 프로세서는 거리 또는 길이 측정 단위를 이미지의 픽셀 또는 다른 개별 단위 또는 영역과 상관시키는 맵핑 기준을 이용하여 동공의 중심이 광축(142)으로부터 얼마나 멀리 떨어졌는지를 판단한다. 판단된 거리에 기초하여, 하나 이상의 프로세서는 디스플레이 광학계(14r)가 광축(142)과 동공을 정렬시키기 위해 얼마나 많은 거리를 어느 방향으로 이동해야 하는지에 대한 조정들을 결정한다. 제어 신호들이 하나 이상의 디스플레이 조정 메커니즘 구동기들에 의해 컴포넌트들 각각, 예를 들어 하나 이상의 디스플레이 조정 메커니즘(203)을 구성하는 디스플레이 조정 메커니즘(203)에 인가된다. 이 예에서 모터들의 경우, 모터들은 그들의 샤프트들(205)을 이동시켜 내부 프레임(117r)을 제어 신호들에 의해 지시되는 적어도 하나의 방향으로 이동시킨다. 내부 프레임(117r)의 안경 다리 쪽에는 프레임(115)의 연성 부분들(215a, 215b)이 존재하며, 이들은 하나의 단부에서 내부 프레임(117r)에 부착되고, 디스플레이 광학계(14)가 각각의 동공에 대한 폭, 높이 또는 깊이 변화를 위해 3개의 방향 중 임의의 방향으로 이동함에 따라 내부 프레임(117)을 프레임(115)에 고정하기 위해 안경 다리 프레임(115)의 내부의 그루브들(217a, 217b) 내에서 미끄러진다.
센서에 더하여, 디스플레이 광학계(14)는 다른 시선 검출 요소들을 포함한다. 이 실시예에서는, 각각의 각막의 표면 상에 각각의 글린트를 각각 생성하기 위해 착용자의 눈에 특정 파장 범위 내의 또는 사전 결정된 파장 근처의 좁은 적외선 광빔들을 지향시키는 적어도 2개의 적외선(IR) 조명기(153)가 렌즈(118)의 측부들에서 프레임(117r)에 부착되지만, 더 많은 적외선 조명기가 부착될 수도 있다. 다른 실시예들에서, 조명기들 및 임의의 광 다이오드들이 렌즈들 상에, 예를 들어 코너들 또는 에지들에 존재할 수 있다. 이 실시예에서는, 적어도 2개의 적외선(IR) 조명기에 더하여 IR 광 검출기들(152)이 존재한다. 각각의 광 검출기(152)는 그의 대응하는 IR 조명기(153)의 의 특정 파장 범위 내의 IR 복사선을 렌즈(118)에 걸쳐 감지하며, 각각의 글린트를 검출하도록 배치된다. 도 4a-4c에 도시된 바와 같이, 조명기 및 광 검출기는 장벽(154)에 의해 분리되며, 따라서 조명기(153)로부터의 입사 IR 광은 광 검출기(152)에서 수신되는 반사 IR 광과 간섭하지 않는다. 센서(134)가 IR 센서인 경우, 광 검출기들(152)은 사용되지 않을 수 있거나, 추가적인 글린트 데이터 캡처 소스일 수 있다. 가시광 카메라의 경우, 광 검출기들(152)은 글린트들로부터의 광을 캡처하고 글린트 강도 값들을 생성한다.
도 5a-5d에서, 시선 검출 요소들, 예를 들어 검출 영역(139) 및 조명기들(153) 및 광 검출기들(152)의 위치들은 디스플레이 광학계(14)의 광축에 대해 고정된다. 이러한 요소들은 내부 프레임 상에서 디스플레이 광학계(14r), 따라서 그의 광축과 함께 이동할 수 있지만, 광축(142)에 대한 그들의 공간 관계는 변하지 않는다.
도 5b는 시선 검출 요소들의 배열을 포함하는 투과형 근안 장치의 이동 가능 디스플레이 광학계의 다른 실시예의 평면도이다. 이 실시예에서, 광 센서(134r)는 때때로 RGB 카메라로 지칭되는 가시광 카메라로서 구현될 수 있거나, IR 카메라 또는 가시 및 IR 범위들 양자 내의 광을 처리할 수 있는 카메라, 예로서 깊이 카메라로서 구현될 수 있다. 이 예에서, 이미지 센서(134r)는 검출 영역(139r)이다. 카메라의 이미지 센서(134)는 디스플레이 광학계의 광축(142) 상에 수직으로 배치된다. 일부 예들에서, 카메라는 투과형 렌즈(118)의 위 또는 아래에서 프레임(115) 상에 배치되거나 렌즈(118) 내에 내장될 수 있다. 일부 실시예들에서, 조명기들(153)은 카메라에 대한 광을 제공하며, 다른 실시예들에서 카메라는 주변 조명 또는 그 자신의 광원으로부터의 광을 이용하여 이미지들을 캡처한다. 캡처된 이미지 데이터는 동공과 광축의 정렬을 결정하는 데 사용될 수 있다. 이미지 데이터, 글린트 데이터 또는 이들 양자에 기초하는 시선 결정기술들이 시선 검출 요소들의 기하구조에 기초하여 사용될 수 있다.
이 예에서, 브리지(104) 내의 디스플레이 조정 메커니즘(203)은 방향 심벌(145)에 의해 지시되는 바와 같이 디스플레이 광학계(14r)를 착용자의 눈에 대해 수평 방향으로 이동시킨다. 연성 프레임 부분들(215a, 215b)은 시스템(14)이 이동함에 따라 그루브들(217a, 217b) 내에서 미끄러진다. 이 예에서, 마이크로 디스플레이 조립체(173) 실시예의 반사 요소(124a)는 정지해 있다. IPD가 통상적으로 한 번 결정되고 저장되므로, 행해질 수 있는 마이크로 디스플레이(120)와 반사 요소(124a) 간의 포커스 길이의 임의의 조정은 마이크로 디스플레이 조립체에 의해, 예를 들어 아마추어(137) 내의 마이크로 디스플레이 요소들의 조정을 통해 달성될 수 있다.
도 5c는 시선 검출 요소들의 배열을 포함하는 투과형 근안 장치의 이동 가능 디스플레이 광학계의 제3 실시예의 평면도이다. 디스플레이 광학계(14)는 IR 조명기들(153) 및 광 검출기들(152), 및 광축(142)의 아래 또는 위에서 프레임(115) 또는 렌즈(118) 상에 배치되는 광 센서(134r)를 포함하는 시선 검출 요소들의 유사한 배열을 갖는다. 이 예에서, 디스플레이 광학계(14)는 이미지들을 착용자의 눈 안으로 지향시키기 위한 반사 요소로서 광 안내 광학 요소(112)를 포함하며, 추가적인 투과형 렌즈(116)와 투과형 렌즈(118) 사이에 배치된다. 반사 요소(124)가 광 안내 광학 요소 내에 위치하고 요소(112)와 함께 이동함에 따라, 마이크로 디스플레이 조립체(173)의 일 실시예가 안경 다리(102) 상에, 이 예에서는 마이크로 디스플레이 조립체를 이동시키기 위한 적어도 하나의 샤프트를 포함하는 샤프트들(205)을 갖는 3축 메커니즘(203)의 세트로서 구현되는 디스플레이 광학계(14)용 디스플레이 조정 메커니즘(203)에 부착된다. 브리지(104) 상의 하나 이상의 디스플레이 조정 메커니즘(203)은 3개의 이동 축을 제공하는 디스플레이 조정 메커니즘(203)의 다른 컴포넌트들을 나타낸다. 다른 실시예에서, 디스플레이 조정 메커니즘은 장치들을 그들의 부착된 샤프트들(205)을 통해 수평 방향으로 이동시키도록 동작할 수 있다. 마이크로 디스플레이 조립체(173)용 메커니즘(203)은 또한 그를 수평으로 이동시켜, 마이크로 디스플레이(120)로부터 출사되는 광과 반사 요소(124) 간의 정렬을 유지할 것이다. 제어 회로의 프로세서(210)(도 7a 참조)가 그들의 이동을 조정한다.
광 안내 광학 요소(112)는 마이크로 디스플레이(120)로부터의 광을 헤드 마운티드 디스플레이 장치(2)를 착용하고 있는 착용자의 눈으로 전달한다. 광 안내 광학 요소(112)는 또한 헤드 마운티드 디스플레이 장치(2)의 정면으로부터의 광이 광 안내 광학 요소(112)를 통해 착용자의 눈으로 전달되는 것을 가능하게 하며, 따라서 착용자가 마이크로 디스플레이(120)로부터 가상 이미지를 수신하는 것에 더하여 헤드 마운티드 디스플레이 장치(2)의 정면의 공간의 실제 직접 뷰를 갖는 것을 가능하게 한다. 따라서, 광 안내 광학 요소(112)의 벽들은 투과형이다. 광 안내 광학 요소(112)는 제1 반사 요소(124)(예로서, 미러 또는 다른 표면)를 포함한다. 마이크로 디스플레이(120)로부터의 광은 렌즈 시스템(122)을 통과하며, 반사 요소(124) 상에 입사하게 된다. 반사 요소(124)는 마이크로 디스플레이(120)로부터의 입사광을 반사하며, 따라서 광은 내부 반사에 의해 광 안내 광학 요소(112)를 포함하는 평면 기판 내에 포획된다.
기판의 표면들로부터의 여러 번의 반사 후에, 포획된 광파들은 선택적 반사면들(126)의 어레이에 도달한다. 도면을 복잡하게 하지 않기 위해 5개의 표면(126) 중 하나만이 도시된다는 점에 유의한다. 반사면들(126)은 기판으로부터 그러한 반사면들 상에 입사되는 광파들을 착용자의 눈 안으로 결합한다. 광 안내 광학 요소의 더 많은 상세는 2008년 11월 20일자로 공개된 "기판 안내 광학 장치(Substrate-Guided Optical Devices)"라는 발명의 명칭의 미국 특허 출원 공개 제08/0285140호, 일련 번호 제12/214,366호에서 발견될 수 있으며, 이 출원은 그 전체가 본 명세서에 참조로서 통합된다. 일 실시예에서, 각각의 눈은 그 자신의 광 안내 광학 요소(112)를 가질 것이다.
도 5d는 시선 검출 요소들의 배열을 포함하는 투과형 근안 장치의 이동 가능 디스플레이 광학계의 제4 실시예의 평면도이다. 이 실시예는 광 안내 광학 요소(112)를 포함하는 도 5c의 실시예와 유사하다. 그러나, 유일한 광 검출기들은 IR 광 검출기들(152)이며, 따라서 이 실시예는 아래의 예들에서 설명되는 바와 같이 시선 검출을 위해 글린트 검출에만 의존한다.
도 5a-5d의 실시예들에서, 시선 검출 요소들, 예로서 검출 영역(139) 및 조명기들(153) 및 광 검출기들(152)의 위치들은 서로에 대해 고정된다. 이러한 예들에서, 그들은 또한 디스플레이 광학계(14)의 광축에 대해 고정된다.
위의 실시예들에서, 도시된 렌즈들의 특정 수는 예들일 뿐이다. 동일한 원리들로 동작하는 렌즈들의 다른 수들 및 구성들이 사용될 수 있다. 게다가, 위의 예들에서는, 투과형 근안 헤드 마운티드 디스플레이 장치(2)의 우측만이 도시된다. 전체 근안 디스플레이 장치는 예로서 렌즈들(116 및/또는 118)의 다른 세트, 도 5c 및 5d의 실시예들을 위한 다른 광 안내 광학 요소(112), 다른 마이크로 디스플레이(120), 다른 렌즈 시스템(122), 아마도 다른 환경 대면 카메라(113), 도 6a 내지 6c의 실시예들을 위한 다른 눈 추적 센서(134), 이어폰들(130) 및 온도 센서(138)를 포함할 것이다.
도 6a는 하나 이상의 실시예들과 함께 사용될 수 있는 바와 같은 투과형 근안 디스플레이 유닛(2)의 하드웨어 및 소프트웨어 컴포넌트들의 일 실시예의 블록도이다. 도 7b는 처리 유닛(4)의 다양한 컴포넌트들을 설명하는 블록도이다. 이 실시예에서, 근안 디스플레이 장치(2)는 처리 유닛(4)으로부터 가상 이미지에 대한 명령들을 수신하며, 센서 정보를 처리 유닛(4)에 역으로 제공한다. 처리 유닛(4) 내에 구현될 수 있는 소프트웨어 및 하드웨어 컴포넌트들은 도 6b에 도시되며, 디스플레이 장치(2)(도 1a 참조)로부터 센서 정보를 수신할 것이다. 그러한 정보에 기초하여, 처리 유닛(4)은 어디서 그리고 언제 가상 이미지를 착용자에게 제공할지를 판단하고, 그에 따라 명령들을 디스플레이 장치(2)의 제어 회로(136)로 전송할 것이다.
도 6a의 컴포넌트들 중 일부(예로서, 물리 환경 대면 카메라(113), 눈 센서(134), 가변 가상 포커스 조정기(135), 검출 영역(139), 마이크로 디스플레이(120), 조명기들(153), 이어폰들(130), 온도 센서(138), 디스플레이 조정 메커니즘(203))는 그러한 장치들 각각이 적어도 2개, 즉 헤드 마운티드 디스플레이 장치(2)의 좌측에 적어도 하나 그리고 우측에 적어도 하나가 존재한다는 것을 지시하기 위해 그림자로 도시된다는 점에 유의한다. 도 6a는 전력 관리 유닛(202)과 통신하는 제어 회로(200)를 도시한다. 제어 회로(200)는 프로세서(210), 메모리(214)(예로서, DRAM)와 통신하는 메모리 제어기(212), 카메라 인터페이스(216), 카메라 버퍼(218), 디스플레이 구동기(220), 디스플레이 포맷터(222), 타이밍 생성기(226), 디스플레이 출력(228) 및 디스플레이 입력 인터페이스(230)를 포함한다. 일 실시예에서, 구동기(220)의 컴포넌트들 모두는 하나 이상의 버스의 전용 라인들을 통해 서로 통신한다. 다른 실시예에서, 제어 회로(200)의 컴포넌트들 각각은 프로세서(210)와 통신한다.
카메라 인터페이스(216)는 2개의 물리 환경 대면 카메라(113) 및 각각의 눈 센서(134)에 대한 인터페이스를 제공하며, 카메라들(113), 센서(134)로부터 수신되는 각각의 이미지를 카메라 버퍼(218) 내에 저장한다. 디스플레이 구동기(220)는 마이크로 디스플레이(120)를 구동할 것이다. 디스플레이 포맷터(222)는 마이크로 디스플레이(120) 상에 표시되는 가상 이미지에 대한 정보를 증강 현실 시스템에 대한 처리를 수행하는 하나 이상의 컴퓨터 시스템의 하나 이상의 프로세서(예로서, 4, 210)에 제공할 수 있다. 타이밍 생성기(226)는 시스템에 대한 타이밍 데이터를 제공하는 데 사용된다. 디스플레이 출력(228)은 물리 환경 대면 카메라들(113) 및 눈 센서들(134)로부터의 이미지들을 처리 유닛(4)에 제공하기 위한 버퍼이다. 디스플레이 입력(230)은 마이크로 디스플레이(120) 상에 표시될 가상 이미지와 같은 이미지들을 수신하기 위한 버퍼이다. 디스플레이 출력(228) 및 디스플레이 입력(230)은 처리 유닛(4)에 대한 인터페이스인 대역 인터페이스(232)와 통신한다.
전력 관리 유닛(202)은 전압 조절기(234), 눈 추적 조명 구동기(236), 가변 조정기 구동기(237), 광 검출기 인터페이스(239), 오디오 DAC 및 증폭기(238), 마이크 전치 증폭기 오디오 ADC(240), 온도 센서 인터페이스(242), 디스플레이 조정 메커니즘 구동기(들)(245) 및 클럭 생성기(244)를 포함한다. 전압 조절기(234)는 대역 인터페이스(232)를 통해 처리 유닛(4)으로부터 전력을 수신하고, 그 전력을 헤드 마운티드 디스플레이 장치(2)의 다른 컴포넌트들에 제공한다. 조명 구동기(236)는 예를 들어 구동 전류 또는 전압을 통해 조명기들(153)을 제어하여, 사전 결정된 파장 근처에서 또는 소정 파장 범위 내에서 동작하게 한다. 오디오 DAC 및 증폭기(238)는 이어폰들(130)로부터 오디오 정보를 수신한다. 마이크 전치 증폭기 및 오디오 ADC(240)는 마이크(110)에 대한 인터페이스를 제공한다. 온도 센서 인터페이스(242)는 온도 센서(138)에 대한 인터페이스이다. 하나 이상의 디스플레이 조정 구동기(245)는 3개의 방향 중 적어도 하나의 방향에서의 이동의 조정 양들을 나타내는 제어 신호들을 각각의 디스플레이 조정 메커니즘(203)을 구성하는 하나 이상의 모터 또는 다른 장치에 제공한다. 전력 관리 유닛(202)은 또한 3축 자기계(132A), 3축 자이로(132B) 및 3축 가속도계(132C)에 전력을 제공하고, 그들로부터 역으로 데이터를 수신한다. 전력 관리 유닛(202)은 또한 GPS 송수신기(144)에 전력을 제공하며, 그로부터 역으로 데이터를 수신하고, 그에게 데이터를 전송한다. 일 실시예에서, 예를 들어 심박 센서를 포함하는 생체 센서(140)가 제공될 수 있다.
가변 조정기 구동기(237)는 제어 신호, 예로서 구동 전류 또는 구동 전압을 조정기(135)에 제공하여, 마이크로 디스플레이 조립체(173)의 하나 이상의 요소를 이동시켜, 제어 회로(13) 또는 처리 유닛(4) 또는 이들 양자의 프로세서(210)에서 실행되는 소프트웨어에 의해 계산되는 포커스 영역에 대한 변위를 달성하게 한다. 변위들의 범위, 따라서 포커스 영역들의 범위를 통한 스위핑의 실시예들에서, 가변 조정기 구동기(237)는 프로그래밍된 레이트 또는 주파수로 동작하기 위해 타이밍 생성기(226) 또는 대안으로서 클럭 생성기(244)로부터 타이밍 신호들을 수신한다.
광 검출기 인터페이스(239)는 각각의 광 검출기로부터의 전압 또는 전류 판독들을 위해 필요한 임의의 아날로그/디지털 변환을 수행하고, 판독치들을 프로세서 판독 가능 포맷으로 메모리 제어기(212)를 통해 메모리에 저장하고, 온도 및 파장 정밀도와 같은 광 검출기들(152)의 동작 파라미터들을 모니터링한다.
도 6b는 투과형 근안 디스플레이 유닛과 관련된 처리 유닛(4)의 하드웨어 및 소프트웨어 컴포넌트들의 일 실시예의 블록도이다. 처리 유닛(4)은 하드웨어 및 소프트웨어 컴포넌트들의 이 실시예는 물론, 유사한 기능들을 수행하는 유사한 컴포넌트들도 포함할 수 있다. 도 6b는 전력 관리 회로(306)와 통신하는 제어 회로(304)를 도시한다. 제어 회로(304)는 중앙 처리 유닛(CPU)(320), 그래픽 처리 유닛(GPU)(322), 캐시(324), RAM(326), 메모리(330)(예로서, DRAM)와 통신하는 메모리 제어기(328), 플래시 메모리(335)(또는 다른 타입의 비휘발성 저장 장치)와 통신하는 플래시 메모리 제어기(332), 대역 인터페이스(302) 및 대역 인터페이스(232)를 통해 투과형 근안 헤드 마운티드 디스플레이 장치(2)와 통신하는 디스플레이 출력 버퍼(336), 대역 인터페이스(302) 및 대역 인터페이스(232)를 통해 근안 디스플레이 장치(2)와 통신하는 디스플레이 입력 버퍼(338), 마이크에 대한 접속을 위해 외부 마이크 커넥터(342)와 통신하는 마이크 인터페이스(340), 무선 통신 컴포넌트(346)에 접속하기 위한 PCI 익스프레스 인터페이스, 및 USB 포트(들)(348)를 포함한다.
일 실시예에서, 무선 통신 컴포넌트(346)는 와이파이 인에이블드 통신 장치, 블루투스 통신 장치, 적외선 통신 장치 등을 포함할 수 있다. USB 포트는 처리 유닛(4) 상에 데이터 또는 소프트웨어를 로딩하는 것은 물론, 처리 유닛(4)을 충전하기 위해 처리 유닛(4)을 보조 컴퓨팅 장치에 도킹하는 데 사용될 수 있다. 일 실시예에서, CPU(320) 및 GPU(322)는 어디에, 언제 그리고 어떻게 이미지들을 착용자의 뷰 내에 삽입할지를 판단하기 위한 주요 일꾼들이다.
전력 관리 회로(306)는 클럭 생성기(360), 아날로그/디지털 컨버터(362), 배터리 충전기(364), 전압 조절기(366), 투과형 근안 헤드 마운티드 디스플레이 전력 인터페이스(376), 및 (처리 유닛(4)의 손목 띠 상에 위치하는) 온도 센서(374)와 통신하는 온도 센서 인터페이스(372)를 포함한다. 디지털 컨버터(362)에 대한 교류가 AC 전원을 수신하고 시스템을 위한 DC 전원을 생성하기 위한 충전 잭(370)에 접속된다. 전압 조절기(366)는 시스템에 대한 전력 공급을 위해 배터리(368)와 통신한다. 배터리 충전기(364)는 충전 잭(370)으로부터 전력을 수신할 때 (전압 조절기(366)를 통해) 배터리(368)를 충전하는 데 사용된다. 장치 전력 인터페이스(376)는 디스플레이 장치(2)에 전력을 제공한다.
전술한 시스템은 가상 이미지들을 착용자의 뷰에 추가하는 데 사용될 수 있으며, 따라서 가상 이미지들은 착용자가 보는 실제 이미지들과 혼합될 수 있다. 일례에서, 가상 이미지들은 본래의 장면의 일부로서 나타나는 방식으로 추가된다. 가상 이미지들의 추가의 예들이 2011년 5월 20일자로 출원된 "실시간 정보를 이용한 이벤트 증강(Event Augmentation With Real-Time Information)"이라는 발명의 명칭의 미국 특허 출원 제13/112,919호; 및 2010년 10월 15일자로 출원된 "실제 콘텐츠에 대한 가상 컨텐츠 통합(Fusing Virtual Content Into Real Content)"이라는 발명의 명칭의 미국 특허 출원 제12/905,952호로서, 2012년 4월 19일자로 공개된 미국 특허 공개 번호 제2012-0092328-A1호에서 발견될 수 있으며, 양 출원의 전체는 본 명세서에 참조로서 통합된다.
전술한 장치(2)를 이용하여, 본 기술은 소비 전에, 중에 그리고 후에 장치(2)의 착용자에 의해 이용 가능한 식품 아이템들에 관한 피드백을 착용자에게 제공하기 위한 시스템을 구현한다. 착용자가 식품과 관련된 임의의 상황을 만나는 경우, 착용자는 영양 및/또는 사회적 피드백을 제공받을 수 있다.
본 기술은 아래에서 식품 아이템들의 소비와 관련된 상황에서 착용자에게 피드백을 제공하는 데 있어서의 사용과 관련하여 설명될 것이다. 본 기술은 식품 아이템들을 이용하는 식사 준비에서 그리고 식품 아이템들에 대한 쇼핑에서 동일한 적용성을 발견한다는 것을 이해해야 한다.
도 7은 본 기술에 따른 일반적인 방법을 나타내는 흐름도이다. 702에서, 투과형 헤드 마운티드 디스플레이 장치(2)의 착용자에게 서빙되기 전에 어떤 식품 아이템들이 착용자에 의해 이용 가능한지에 관한 판단이 행해진다. 착용자에 의해 이용 가능한 식품들의 결정은 후술하는 임의 수의 수단에 의해 수행될 수 있다. 결정은 예를 들어 착용자가 집에 있고 식사를 준비하려고 할 때 행해진다. 이 예에서, 착용자는 처리 유닛(4)에 의해 이용 가능한 리스트로부터 또는 장치에 의해 추적된 아이템들로부터 제공되는 상이한 식품 타입들을 그의 집에 비축했을 수 있다. 결정은 예를 들어 착용자가 메뉴를 갖는 특정 식당에 있고 메뉴 상의 아이템들에 대한 정보에 액세스하고 메뉴에서의 착용자 시선에 기초하여 아이템들을 식별하는 것으로 알려지는 경우에 행해질 수 있다. 대안으로서, 장치(2)로부터 이용 가능한 센서 데이터를 통해, 공지된 식품 아이템들과 관련된 이미지 및 깊이 데이터와 외관을 매칭시킴으로써 식품 아이템들이 식별될 수 있다. 704에서, 식품이 결정되면, 소비 전에 착용자에게 피드백이 제공될 수 있다. 피드백은 영양 정보, 착용자 다이어트 문제들에 기초하는 특정 착용자 경고들 또는 친구들로부터의 사교 정보의 형태일 수 있다. 예를 들어, 착용자의 친구가 이전에 특정 위치에 갔었던 경우, 착용자의 친구가 먹고 즐긴 식품의 타입을 나타내는 추천이 표시될 수 있다. 유사하게, 착용자가 견과류 섭취에 대해 알레르기를 갖는 경우, 시스템은 견과류를 포함할 수 있는 공지된 또는 가능한 레시피들에 기초하여 경고들을 제공할 수 있다.
706에서, 식품이 착용자에게 제공될 때(그리고 식품이 착용자에게 근접할 때), 시스템은 어떤 식품 아이템들이 현재 착용자 앞에 있는지를 판단할 수 있다. 메뉴를 분석하는 동안, 착용자는 다양한 선택을 가질 수 있다. 일례에서, 시스템(2)의 마이크로부터의 오디오 인식을 통한 입력에 기초하여 착용자가 어떤 아이템을 선택했는지를 판단하는 것이 가능하다. 대안으로서, 접시가 착용자 앞에 놓이고, 식품이 착용자에 가까울 때, 식품과 관련된 이미지 데이터를 이용하여, 706에서 착용자 앞에 존재하는 실제 식품들을 결정할 수 있다.
708에서, 식사의 소비 직전에 피드백이 제공될 수 있다. 피드백은 704에서 제공되는 피드백과 유사할 수 있거나, 칼로리 정보 또는 착용자의 다이어트 문제들에 기초하는 경고들과 같이 더 구체적일 수 있다. 이어서, 710에서, 본 기술은 착용자가 착용자에 가까운 식품을 소비함에 따라 착용자가 무엇을 먹었는지를 모니터링할 수 있다. 712에서, 착용자 소비는 식품들의 타입들 및 착용자의 영양 정보에 관한 피드백을 착용자에게 제공하기 위해 식사, 1일, 1개월 또는 더 긴 기간에 걸쳐 추적될 수 있다.
도 8은 로컬 처리 유닛(4), 및 피드백 서비스(870)를 구현하는 원격 네트워크 접속 처리 환경(871)을 포함하는 처리 환경의 기능 컴포넌트들을 나타낸다. 도 8은 투과형 헤드 마운티드 디스플레이에서 영양 및 식품 소비 피드백을 제공하기 위한 소프트웨어 관점의 시스템의 블록도이다. 도 8은 처리 유닛(4)과 통신하는 하나 이상의 원격 컴퓨팅 시스템(870)과 연계하여 개인용 컴퓨팅 장치에 의해 구현될 수 있는 컴퓨팅 환경을 나타낸다. 통신 네트워크(50)를 통한 네트워크 접속은 원격 시스템(870) 상의 이용 가능 컴퓨팅 자원들을 이용하여 피드백 서비스를 제공하는 것을 가능하게 한다.
도 8의 실시예에 도시된 바와 같이, 처리 유닛(4) 내에 상주하는 소프트웨어 컴포넌트들은 운영 체제(802), 눈 추적 엔진(804), 이미지 및 오디오 처리 엔진(820), 피드백 애플리케이션(850A) 및 착용자 프로필 데이터 저장소(868)를 포함한다. 운영 체제(802)는 처리 유닛(4) 내의 하드웨어 요소들이 도 8에 도시된 기능 컴포넌트들의 고레벨 기능들과 상호작용하는 것을 가능하게 하기 위한 기반 구조를 제공한다.
눈 추적 엔진(804)은 장치(2)에 상대적인 눈의 움직임들과 관련된 착용자 시선을 추적한다. 눈 추적 엔진(804)은 시선 방향을 식별하고, 이미지 및 오디오 처리 엔진(820)과 연계하여 눈 위치, 눈 움직임들, 및 이미지 및 오디오 처리 엔진(820)에 의해 인식된 물체들에 기초하여 착용자 외부의 시선점을 식별할 수 있다. 이미지 및 오디오 처리 엔진(820)은 장치(2) 상에 제공되는 전술한 하나 이상의 센서로부터 비디오 및 이미지 데이터, 깊이 데이터 및 오디오 데이터를 포함하는 센서 입력 데이터를 수신한다. 이미지 및 깊이 정보는 착용자가 그의 머리 및 몸을 움직일 때 캡처한 외부 대면 센서들로부터 올 수 있다.
이미지 및 오디오 처리 엔진(820)은 제스처 인식 엔진(806), 시각 렌더링 엔진(828), 오디오 엔진(862) 및 사운드 인식 엔진(864)을 포함한다. 제스처 인식 엔진(806)은 피드백 애플리케이션(850A)과 같은 실행 애플리케이션에 대한 제어, 명령 또는 다른 인식된 움직임들을 지시하는 착용자에 의해 수행되는 액션들을 식별한다. 액션은 손 또는 손가락과 같은 착용자의 신체 일부에 의해 수행될 수 있지만, 눈 깜박임 시퀀스도 포함할 수 있다. 일 실시예에서, 제스처 인식 엔진(806)은 제스처 필터들의 집합을 포함하며, 이들 각각은 뼈대 모델의 적어도 하나의 부분에 의해 수행될 수 있는 제스처에 관한 정보를 포함한다. 제스처 인식 엔진(806)은 골격 모델, 및 제스처 필터들에 추가된 캡처 이미지로부터 도출된 그와 관련된 움직임들을 제스처 라이브러리와 비교하여, 착용자가 언제 하나 이상의 제스처를 수행했는지를 식별한다. 일부 예들에서, 제스처 동안 예를 들어 착용자의 손 또는 손가락의 이미지 모델을 포함하는 식품 아이템 데이터에 이미지 데이터를 매칭시키는 것이 인식된 제스처들의 뼈대 추적 대신 사용될 수 있다. 이미지 및 오디오 처리 엔진(820)은 주어진 위치에서 이용 가능할 수 있는 하나 이상의 캡처 장치로부터 수신된 이미지 깊이 데이터 및 오디오 데이터를 처리한다.
이미지 데이터로부터의 식품 아이템들의 식별을 위한 데이터가 장면 맵핑 엔진(808)에 의해 제공될 수 있다. 디스플레이 장치(2)의 디스플레이 시야의 3D 맵핑이 디스플레이 시야에 대한 캡처된 이미지 데이터 및 깊이 데이터에 기초하여 장면 맵핑 엔진(808)에 의해 결정될 수 있다. 깊이 맵은 캡처된 이미지 데이터 및 깊이 데이터를 나타낼 수 있다. 물체 간의 충돌이 착용자에게 어떻게 나타나는지는 착용자의 시점에 의존하므로 디스플레이 시야의 맵핑을 위해 뷰 의존 좌표계가 사용될 수 있다. 뷰 의존 좌표계의 일례는 X, Y, Z 좌표계이며, 여기서 Z축 또는 깊이 축은 수직으로 또는 투과형 디스플레이 장치(2)의 정면으로부터 법선으로서 연장한다. 일부 예들에서, 깊이 맵에 대한 이미지 및 깊이 데이터는 디스플레이 시야 내에 제공되고, 디스플레이 장치(2) 정면의 카메라들(113)로부터 수신된다. 디스플레이 시야는 원격적으로 또는 장면 맵핑 엔진(808)을 이용한 이전의 맵핑에 기초하여 이전에 제공된 환경 데이터의 세트를 이용하여 결정될 수 있다. 장면 맵핑 엔진에 의해 식별되는 아이템들은 피드백 애플리케이션(850a)에 의해 디스플레이 시야 내의 식품 아이템들을 결정하는 데 사용될 수 있다.
시각 렌더링 엔진(828)은 삼차원 홀로그래픽 가상 물체들, 이차원 이미지들, 컬러들 및 디스플레이 장치(2)의 디스플레이 내의 다른 정보의 예들을 포함할 수 있는 디스플레이 요소들을 착용자 디스플레이 내에 렌더링한다. 시각 렌더링 엔진(828)은 애플리케이션(850a)과 연계하여 동작하여 요소들을 디스플레이 내에 렌더링한다. 오디오 엔진(862)이 마이크(110)와 같은 오디오 입력들로부터의 입력을 해석한다.
피드백 애플리케이션(850A)은 식품 아이템들과의 착용자 상호작용들 전에, 중에 또는 후에 식품 관련 피드백을 착용자에게 제공한다. 피드백은 다이어트, 영양, 개인 및/또는 사회적일 수 있다. 일부 예들에서, 피드백은 착용자의 위치, 제삼자 정보 및 개인 정보를 고려할 수 있으며, 장치(2) 내의 착용자의 시야 내의 피드백을 제공할 수 있다. 애플리케이션(850A)은 식품 인식 엔진(852), 소비 입력 결정 엔진(854), 소비 추적 엔진(856), 영양 데이터(858) 및 로컬 데이터 저장소(860)를 포함한다. 식품 인식 엔진(852)은 텍스트 처리 및 분석 컴포넌트 및 식품 아이템 인식 컴포넌트 양자를 포함한다. 텍스트 분석 컴포넌트는 착용자가 메뉴 상의 하나 이상의 아이템을 응시할 때 장치(2)로부터의 이미지 입력 데이터를 분석하여, 예를 들어 공지된 위치에서 식당 메뉴 상에 기재된 아이템들을 식별하여 착용자에 의해 이용 가능한 아이템들을 결정할 수 있다. 착용자가 특정 아이템을 응시할 때, 장치가 착용자가 보고 있는 아이템을 결정하면, 피드백이 제공될 수 있다. 식품 아이템 인식 컴포넌트는 이미지 데이터를 평가하여, 식품 아이템들이 식품 아이템들에 대한 공지 패턴들과 매칭되는지를 판단한다. 식품 인식 엔진(852)은 또한 이미지 및 깊이 데이터와 같은 입력 데이터를 상이한 타입의 식품들에 대한 공지 프로필들에 매칭시킬 수 있다. 소정 식품 타입들은 다른 식품 타입들보다 더 양호하게 인식될 수 있을 것이다. 예를 들어, 햄버거는 일반적으로 단순한 닭 가슴살보다 더 양호하게 정의된다. 햄버거들은 그들을 특정 아이템으로서 식별하는 다수의 성분을 갖는다. 단순한 닭 가슴살은 많은 방법으로 준비될 수 있지만, 닭 상의 텍스처는 요리 방법에 관한 일부 단서들을 식품 인식 엔진에 제공할 수 있다. 일반적으로 이해되는 바와 같이, 식품은 일반적으로 둘 이상의 성분으로 구성되는 요리들을 포함한다. 후술하는 바와 같이, 식품은 다양한 방법들 중 하나, 및 제삼자들, 예로서 식당들 또는 식품 제조자들에 의해 제공되는 데이터, 착용자 자신의 레시피 데이터의 개인 저장소, 또는 피드백 서비스(870)에 의해 제공되는 공통 레시피 데이터의 데이터 저장소로부터 검색되는 특정 요리들 내의 성분들에 의해 식별될 수 있다.
애플리케이션(850A)은 소비 입력 엔진(854)을 포함한다. 소비 입력 엔진은 착용자가 언제 그리고 얼마나 많은 식품을 소비할 수 있는지를 판단한다. 착용자에 의한 식품 아이템들의 실제 소비는 소비 입력 이벤트를 트리거하여, 착용자가 현재 먹고 있다는 것을 시스템에 알리고, 시스템이 식품 인식 엔진에 의해 식별되는 식품들을 참조하여 착용자가 어떤 식품들을 먹고 있는지를 식별하는 것을 가능하게 하는 제스처들, 사운드들 또는 다른 지시자들에 기초하여 판단될 수 있다. 입력 엔진(854)은 어떤 이벤트들이 소비를 식별하는지 그리고 언제 사용자가 실제로 식품을 먹고 있는지를 판단한다. 소비 추적 엔진(856)은 소비 입력과 인식 엔진(852)에 의해 인식되거나 식별된 소비 식품 간의 관계를 계산하여, 착용자가 특정 기간의 코스에 걸쳐 얼마나 많이 소비했는지를 판단한다. 기간은 애플리케이션 제공자의 목표들에 따라 변할 수 있거나, 착용자에 의해 설정될 수 있다. 소비 추적 엔진(856)은 착용자로 하여금 그 기간 동안 착용자가 얼마나 많이 소비했는지를 판단하는 것을 가능하게 하며, 귀중한 피드백을 장치의 착용자에게 제공할 수 있다. 영양 데이터(858)는 전술한 레시피들과 같은 정보는 물론, 레시피들을 구성하는 성분들에 대한 일반적으로 이해되고 잘 알려진 데이터도 포함한다. 영양 데이터(858)는 제삼자가 특정 영양 값들을 제공하지 않는 경우에도 레시피들을 생성하고 가능한 영양 값들을 결정하는 데 사용될 수 있다. 예를 들어, 식품 인식 엔진이 햄버거가 착용자에 근접하고, 착용자가 지금 햄버거를 소비하고 있는 것으로 판단하는 경우, 영양 데이터는 햄버거를 구성하는 개별 성분들에 기초하는 데이터, 공지된 또는 일반 레시피, 및 햄버거의 가능한 영양 값 및 성분들이 무엇인지에 대한 계산을 포함할 수 있다.
로컬 데이터 저장소(860)는 착용자 고유 레시피들, 제삼자 영양 정보, 일반 레시피들 및 성분 영양 정보를 포함한다. 저장소(860)에서 이용 가능한 정보는 피드백 서비스(870)로부터 이용 가능한 그러한 정보의 더 큰 세트의 서브세트일 수 있다. 이러한 정보는 전술한 바와 같이 제삼자들에 의해 그들의 메뉴들 상의 특정 요리들에 대해 제공되는 레시피들을 포함할 수 있다. 이러한 정보는 예를 들어 제조자들에 의해 제공되는 레시피들도 포함할 수 있으며, 따라서 착용자는 레시피가 제조자 명령들에 따라 생성되는 경우에 영양 값이 정확하게 계산될 수 있다는 것을 알게 된다. 착용자가 장치(2)를 통해 또는 예를 들어 착용자 인터페이스를 통해 입력할 수 있는 착용자 개인 레시피들은 처리 환경 또는 피드백 서비스에 의해 다른 처리 환경에 제공될 수 있다.
사용자 프로필 데이터 저장소(868)는 착용자 소비 이력, 의료 정보 및 선호 및 비선호 요리들과 같은 착용자 선호들, 및 피드백 애플리케이션(850a)이 착용자에게 데이터를 제공하는 것을 가능하게 하는 다른 정보를 포함한다. 사용자 프로필 데이터 내의 추가 정보는 피드백 서비스(870)를 이용하여 저장될 수 있지만, 사용자 프로필 저장소(868) 내의 그리고 로컬 데이터 저장소(860) 내의 저장은 피드백 애플리케이션이 더 빠르게 정보에 액세스하고 귀중한 피드백을 장치(2)의 착용자에게 제공하는 것을 가능하게 한다.
피드백 서비스(870)는 관리자의 제어하에 복수의 처리 장치(871) 상에서 제공될 수 있다. 서비스(870)는 하나 이상의 장치(2)가 네트워크(50)를 통해 서비스에 접속하는 것을 가능하게 하는 사용자 통신 및 공유 컴포넌트(874)를 포함할 수 있다. 제삼자 제공자들(44) 및 디스플레이 장치들(2)의 다른 사용자들(448)은 데이터를 피드백 서비스에 제공할 수 있다. 착용자 프로필 저장소(876)는 사용자 프로필 데이터 저장소(868)에 저장된 것과 같은 착용자 프로필 데이터는 물론, 다른 착용자들(448)에 대한 프로필들도 포함한다. 공유는 다양한 착용자들이 사회적 공유 컴포넌트 내의 정보를 공유하는 것을 가능하게 하는 사용자 공유 컴포넌트(874)를 통해 가능해질 수 있다. 사용자 이력(872)은 다른 착용자들과 공유될 수 있는 개별 사용자들에 대한 착용자 이력을 포함할 수 있다. 예를 들어, 착용자가 특정 식당을 방문하고, 소셜 친구도 그 식당을 방문했던 경우, 착용자는 그 소셜 친구의 그 식당에서의 이전의 경험들에 대한 액세스를 제공받을 수 있으며, 따라서 착용자는 동일한 식사를 즐기거나 특히 불쾌한 요리를 피할 수 있다. 공유 데이터(882)는 다른 사용자들(448)에 의해 제공되는 명확히 공유되는 정보를 포함할 수 있다. 이것은 착용자 공유 컴포넌트(874)를 통해 유사한 장치들의 다른 착용자들과 공유될 수 있는 논평들, 강조들 및 검토들을 포함할 수 있다. 공유 컴포넌트는 착용자들이 피드백 서비스(870)의 다른 착용자들에 의해 이용 가능한 정보의 공개 및 비공개 저장소들을 생성하는 것을 포함해서 다른 착용자들과 공유하는 통상적인 소셜 네트워크를 생성하는 것을 가능하게 한다. 서비스 기반 피드백 애플리케이션(850A)은 애플리케이션(850A) 내에 도시된 컴포넌트들을 포함하지만, 컴퓨팅 서비스(870)의 일부로서 실행될 수 있다.
피드백 서비스(870) 내에는 일반 레시피 데이터(869) 및 제삼자 제공자 레시피 데이터(873)도 도시된다. 일반 레시피 데이터는 다양한 타입의 요리들에 대한 영양 값들을 포함할 수 있다. 예를 들어, 식품 인식 엔진(852)이 착용자가 빌 파르미기아나(veal parmigiana)의 접시 정면에 앉아 있지만, 그러한 특정 요리에 대한 어떠한 레시피 데이터도 이용 가능하지 않은 것으로 판단하는 경우에, 일반 레시피 데이터는 빌 파르미기아나의 통상적인 레시피에 대한 샘플 리스트, 즉 착용자에 가까운 "통상적인" 요리에 대한 소정 범위의 영양 정보를 제공할 수 있다.
제3 제공자 레시피 데이터(873)는 제조자들, 식당들 및/또는 위치들에 고유한 데이터이다. 예를 들어, 식당 체인이 그의 제삼자 레시피 데이터를 피드백 서비스(870)에 제출하기를 원하는 경우, 식당들 중 임의의 식당을 방문하는 착용자는 그 체인의 정보의 대한 액세스를 가질 것이다. 유사하게, 개별 식당들은 위치에 의해 식별될 수 있으며, 특정 제삼자 레시피 데이터를 피드백 서비스(870)에 제공할 수 있다.
도 9는 본 기술을 구현하기 위한 방법의 더 상세한 방법을 나타내는 흐름도이다. 도 9의 방법은 착용자가 식품을 소비하려고 할 때, 예를 들어 착용자가 식당을 방문하고/하거나 식품 소비 경험을 시작하려고 할 때 발생한다. 단계 902에서, 착용자 프로필이 검색된다. 일 실시예에서는, 착용자 프로필이 사용되지 않으며, 착용자 고유 정보에 대한 지식 없이 정보가 착용자에게 제공된다. 도 9의 실시예에서, 착용자 프로필은 착용자 소비 이력, 영양 문제들 및 착용자 선호들을 포함할 수 있다. 선호들은 착용자가 소비하는 요리 타입들에 대한 착용자의 통상적인 선호들 및 비선호들, 착용자가 장치에서 수신하기를 원하는 피드백의 타입의 지시, 소셜 친구들, 및 장치(2)의 착용자에 대한 피드백 경험을 맞춤화하기 위한 다른 정보를 포함할 수 있다.
단계 904에서, 착용자의 위치 배향 및 시선이 906에서 결정된다. 위치는 식품 아이템들을 식별할 뿐만 아니라 식품 아이템들에 대한 정보를 제공하는 데에도 사용될 수 있는 착용자 및 제삼자 데이터에 대한 기준을 제공한다. 배향 및 시선은 착용자가 어떤 식품 아이템들에 관심 있는지 그리고 어떤 식품 아이템들에 대한 피드백을 좋아할 수 있는지를 판단하는 데 사용될 수 있다. 위치 배향 및 시선의 결정은 착용자가 식당에, 집에 또는 시스템이 착용자 데이터 또는 제삼자 데이터로부터 레시피들을 식별할 수 있는 소정의 다른 위치에 있을 수 있는지에 대한 지시를 시스템에 제공한다.
단계 906 및 910은 착용자에 의해 이용 가능한 식품 아이템들을 결정하기 위한 메커니즘들을 제공한다. 단계 906 및 908은 도 9의 순서로, 역순으로 또는 각자 나머지 단계의 사용 없이 단독으로 제공될 수 있다.
906에서, 착용자는 착용자가 소비하려고 하는 식품의 타입을 수동으로 입력하기를 원하는지를 판단하도록 프롬프트될 수 있다. 착용자가 식품의 타입을 입력하기를 원하는 경우, 착용자는 907에서 착용자 입력을 제공할 수 있다. 착용자 입력은 장치(2) 내에서 착용자에게 제공되는 착용자 인터페이스에 의해 구동되는 사전에 채워진 선택들의 메뉴로부터 선택함으로써 제공될 수 있다. 착용자 인터페이스는 착용자의 위치, 또는 (예를 들어, 아래의 단계 908에 대해 도 10에서 설명되는 기술들을 이용함으로써) 식품 인식 엔진에 의해 인식되는 식품 아이템들에 의해 구동되는 메뉴에 기초하여 제삼자 정보로부터 도출될 수 있다.
착용자가 식품을 입력하면 또는 착용자가 수동 착용자 입력을 제공하기를 원하지 않는 경우, 단계 908에서, 어떤 타입의 식품이 이용 가능하고 착용자에 가까운지에 대한 판단이 행해진다. 단계 908은 아래에 더 상술되지만, 먼저 위치에 기초하여 제삼자 또는 착용자 고유 데이터가 이용 가능한지를 판단하는 단계를 포함할 수 있다. 예를 들어, 착용자가 집에 있는 경우, 착용자 레시피 데이터는 이용 가능한 식품의 타입을 결정하는 데에 유용할 가능성이 있다. 착용자가 식당에 있는 경우, 시스템은 식당에서 이용 가능한 메뉴를 분석할 수 있다. 단계 908에 대한 추가 정보가 아래에서 도 10과 관련하여 설명된다.
908에서 식품 아이템들이 인식되면, 910에서 영양 정보가 식별된 그리고 이용 가능한 식품 아이템들과 매칭된다.
이용 가능한 식품 아이템들에 대한 영양 정보가 912에서 결정되면, 착용자는 착용자가 어떤 피드백 타입들을 보기를 원하는지를 확인하도록 프롬프트될 수 있다. 피드백 타입들은 도 9에서와 같이 선택 가능하지 않을 수 있다는 것을 이해해야 한다. 즉, 착용자는 착용자의 입력 없이 단지 애플리케이션(850A)의 개발자에 의해 결정되는 바와 같이 사회 및 영양 피드백을 제공받을 수 있다.
912에서, 착용자는 착용자가 그의 사회 또는 이력 피드백을 원하는지에 대해 프롬프트될 수 있다. 사회 피드백은 장치의 착용자가 사회 미디어 친구인 다른 착용자들로부터의 추천들의 형태로 제공될 수 있다. 착용자가 912에서 사회 피드백을 수신하기를 원하는 경우, 사회 피드백은 914에서 도 14-19에서 제공되는 예들에 따라 제공될 수 있다. 915에서, 착용자는 착용자가 영양 피드백을 수신하기를 원하는지의 여부를 판단할 수 있다. 원하는 경우, 검출된 식품 아이템들의 영양 피드백이 916에서 착용자에게 제공될 수 있다. 착용자에게 제공되는 피드백의 예들은 도 14-19에 도시된다.
유사하게, 918에서 소비 모니터링이 요구되는 경우, 착용자 소비의 모니터링이 920에서 발생하고, 피드백이 922에서 제공된다. 착용자가 지금까지 소비한 식사들의 수 또는 착용자가 1일, 1주일 또는 1개월과 같은 특정 기간에 걸쳐 얼마나 많이 먹었는지에 대해 영양 기록을 지시하는 이력 소비 피드백이 제공될 수 있다. 옵션으로서, 단계 924에서, 착용자 소비 이력은 착용자에게 나중에 그의 소비에 대한 피드백을 제공하는 데 사용하기 위해 저장될 수 있다.
도 10은 착용자에 의해 이용 가능한 식품 아이템들을 인식하는 도 9의 단계 908을 수행하기 위한 하나의 예시적인 방법을 나타낸다. 단계 1002에서, 위치 데이터가 검색된다. 전술한 바와 같이, 위치 데이터는 사용자가 공지 위치에 있을 때 사용자에 의해 어떤 아이템들이 이용 가능한지를 판단하는 데 유용하다. 하나의 대안에서는, 위치 데이터가 사용되지 않으며, 제삼자 데이터가 상이한 방식으로, 예를 들어 QR 코드들 또는 다른 스캔 태그들에 의해 식품 아이템들과 관련될 수 있다. 단계 1004에서, 착용자가 공지 위치에 있는 경우(또는 데이터가 다른 수단에 의해 관련될 수 있는 경우), 단계 1006에서 위치 또는 식별 이벤트, 예로서 메뉴들 및 영양 데이터와 관련된 공지 식품 아이템들에 대한 데이터가 액세스된다. 위치가 알려지지 않는 경우 또는 공지 데이터에 액세스한 후, 장치(2)로부터의 센서 데이터가 1008에서 액세스된다. 1010에서, 센서 인식을 수행하여, 사용자에 의해 이용 가능한 식품 아이템들이 확인될 수 있는지를 판단한다. 이것은 이미지, 텍스트 또는 다른 타입의 데이터 인식 중 하나 또는 전부를 수행하여 착용자 시야 내의 아이템들을 식별하는 단계를 포함한다. 단계 1012에서, 공지 식품 타입들에 대한 데이터 - 성분들, 레시피들 및 설명들 -를 로컬 저장 장치(860)에 저장하고, 센서 데이터와 매칭시켜, 착용자 시야 내의 아이템들이 인식되는지의 여부를 판단할 수 있다. 아이템들이 인식되는 경우, 식품 및 준비의 타입은 1020에서 영양 정보를 위해 사용될 수 있다. 식품이 매칭되지 못하는 경우, 단계 1014에서 최상의 추측이 행해질 수 있다. 예를 들어, 불완전한 매칭이 발생하는 경우, 햄버거처럼 보이는 아이템이 닭고기 샌드위치, 칠면조 버거 또는 야채 버거로도 보일 수 있다. 단계 1014에서, 1012에서의 매치 내에서 개발자에 의해 결정된 불확실성의 레벨이 발생하는 경우, 1014에서 하나 이상의 대안이 제공될 수 있다. 착용자가 알려지지 않은 위치에 있고, 시스템이 햄버거와 유사하게 보이는 아이템이 착용자의 시야 내에 착용자에 가까이 있는 것으로 판단하는 경우, 시스템은 아이템이 "햄버거"이지만 닭고기 샌드위치, 야채 버거 또는 칠면조 버거 중 하나일 수도 있다고 생각한다는 지시로 착용자를 프롬프트할 수 있다.
매치 내에서 낮은 레벨의 불확실성이 발생하는 경우, 사용자는 1016에서 식품 아이템(들)을 식별할 기회를 제공받을 수 있다. 착용자가 아이템을 선택하기로 결정하는 경우, 착용자는 1018에서 수동 입력을 제공할 것이다. 착용자가 식품을 식별하지 않는 경우, 1020에서 최상의 추측이 이용된다.
도 11은 착용자의 시야 내에서 이용 가능한 식품 아이템들에 대한 영양 정보를 결정하는 도 9의 단계 910을 수행하기 위한 방법이다. 다시, 단계 1102에서, 착용자가 식당 또는 집과 같은 공지 위치에 있는지의 여부가 먼저 판단된다. 다시, 데이터를 영양 정보의 결정과 연관시키는 다른 방법들이 이용될 수 있다. 이 경우, 식품 아이템들 자체를 식별하는 것이 아니라, 위치 또는 데이터 연관성을 이용하여, 식별된 식품의 영양 정보에 대한 데이터에 액세스한다.
착용자가 공지된 위치에 있는 경우(또는 정보가 다른 방식으로 이벤트와 연관될 수 있는 경우), 1104에서, 공지된 착용자 레시피들, 공유 레시피들 또는 제삼자 레시피들이 검색된다. 1106에서, 식품 매치가 (예를 들어, 단계 1012에서) 발생한 경우, 검출된 식품에 대한 하나 이상의 제삼자 제공 또는 착용자 제공 레시피가 1110에서 식품 아이템에 매칭되고, 데이터가 1125에서 영양 피드백을 위해 제공된다. 식품이 1106에서 매칭되지 않지만, 착용자가 1108에서(예를 들어, 단계 1018에 의해) 식품을 식별하는 경우, 방법은 다시 단계 1110으로 진행한다. 착용자가 식품을 식별하지 않았고, 식품이 1106에서 매칭되지 못하는 경우, 1112에서 영양 데이터를 위해 최상의 추측 데이터가 사용된다. 착용자가 공지 위치에 있지 않은 경우(또는 추가 데이터가 이용 가능하지 않은 경우), 식품이 1114에서 매칭될 수 있는 경우, 방법은 아마도 매치에 기초하여 검출된 식품에 대한 하나 이상의 레시피를 검색하거나, 1120에서 인식된 성분들에 기초하여 이용가능한 가장 가능한 영양 성분들을 계산하고, 이 데이터를 1125에서 반환한다. 식품이 매칭되지 못하거나, 착용자가 1116에서 식품을 식별할 기회를 제공받는 경우, 그리고 착용자가 식품을 식별하기를 원하는 경우, 1118에서, 착용자는 착용자가 시각적으로 확인할 수 있는 준비된 식사들 및/또는 인식된 성분들에 대해 프롬프트될 수 있다. 착용자가 1118에서 이러한 정보를 제공하면, 시스템은 아마도 1120에서 검출된 식품에 대한 하나 이상의 레시피에 액세스할 수 있다. 착용자가 식품을 식별하기를 원하지 않고, 식품이 매칭되지 못하는 경우, 시스템은 도 10의 식품 인식 프로세스에 기초하여 최상의 추측 데이터를 검색하고, 아마도 1120에서 검출된 식품에 대한 하나 이상의 레시피에 액세스한다.
도 9 또는 도 10에서, 최상의 추측 데이터가 이용 가능하지 않은 경우, 방법은 단순히 식품 아이템들이 식별되지 못할 수 있다는 것을 사용자에게 지시할 수 있다.
도 12는 도 9의 단계 916을 수행하는 하나의 방법일 수 있는 무엇을 먹을지에 대한 착용자 피드백을 제공하기 위한 방법을 나타내는 흐름도이다. 단계 1202에서, 방법은 착용자가 식사 이벤트를 시작할 때 - 사용자가 먹으려고 앉거나 메뉴를 검토할 때 시작된다. 사용자가 먹고 있는지는 착용자에 의해 행해지는 제스처들, 사운드들, 및 장치(2)의 시야 내의 다른 액션들에 의해 결정될 수 있다. 착용자가 식사 이벤트를 시작하면, 1204에서, 착용자가 메뉴를 검토하고 있는지의 여부가 판단된다. 착용자가 메뉴를 검토하고 있는 경우, 착용자가 1206에서 메뉴 상에서 응시하는 각각의 아이템에 대해, 특정 착용자 피드백 또는 다른 관련 영양 정보가 1208에서 제공될 수 있다. 착용자가 메뉴 검토를 완료하면, 시스템은 1210에서 식품이 착용자에게 근접하기를 기다린다. 본 개시 내용과 관련하여, 착용자에게 인접한 식품 아이템들은 착용자의 도달 범위 또는 시야 내에 있는 식품 아이템들이다. 예를 들어, 착용자의 시선이 그의 정면의 식품에 놓이는 경우, 단계 1212에서, 아이템이 착용자 식사 위치에 근접한다는 판단이 행해지고, 1214에서 착용자의 시선이 놓이거나 일시 중지하는 아이템에 대한 특정 피드백 또는 다른 관련 영양 정보가 제공될 수 있다. 1216에서 착용자가 식품을 소비하기 시작하면, 임의의 또는 사전 결정된 피드백 포인트들(1218)에서, 피드백이 1220에서 착용자에게 제공될 수 있다. 피드백 포인트들은 시간, 착용자의 소비 레이트, 착용자가 처해 있는 환경의 타입(집 또는 식당) 또는 애플리케이션 제공자에 의해 구체적으로 결정되는 다른 데이터에 의해 결정될 수 있다.
도 13은 도 9의 단계 920에서 착용자의 식품 소비를 모니터링하기 위한 방법을 나타내는 흐름도이다. 단계 1302에서, 소비 이벤트가 결정된다. 소비 이벤트는 예를 들어 식품을 착용자의 입으로 가져가는 것으로 착용자를 인식하는 제스처, 착용자가 식품을 씹고 있는 것의 검출, 또는 착용자가 실제로 식품을 소비하고 있다는 것을 시스템에 지시하는 다른 사운드들 또는 제스처들일 수 있다. 1304에서, 시야를 검토하여, 소비를 지시하는 데이터가 존재하는지를 판단한다. 예를 들어, 착용자에 인접한 햄버거로부터 깨물기가 제거된 경우, 착용자가 실제로 식품을 소비하고 있다는 판단이 행해질 수 있으며, 따라서 902에서 소비 이벤트를 확인할 수 있다. 906에서 소비가 실제로 발생한 경우, 908에서 착용자에 인접한 영역이 스캐닝될 수 있다. 910에서, 소비 이벤트가 종료되었는지의 여부가 판단된다. 소비 이벤트가 종료되면, 912에서 피드백이 출력될 수 있다. 피드백은 소비 이벤트의 종료 전에 임의 수의 다양한 시간에 출력될 수 있다는 것을 이해해야 한다.
도 14-19는 착용자에게 제공될 수 있는 전술한 다양한 타입의 피드백을 나타낸다. 도 14-19는 예를 들어 렌즈들(118, 116)이 존재하지만 디스플레이 장치(2) 내의 착용자의 뷰의 일측을 나타낸다. 디스플레이의 일측만이 도시되지만, 디스플레이는 양 렌즈에서 동일하다는 것을 이해할 것이다.
도 14에서, 착용자의 뷰 내에, 메뉴 아이템(1482)을 갖는 메뉴(1411)가 도시된다. 도 14에 도시된 예에서, 특별 아이템(1482)이 장치(2)에 의해 인식된다. 이것은 공지된 식당 데이터를 인식된 메뉴 아이템에 매칭시킴으로써 수행될 수 있다. 착용자가 "빌 스페셜"을 소비하지 않아야 한다는 것을 착용자에게 지시하는 경고 스크린(1420)이 도시되는데, 그 이유는 빌 스페셜이 견과류를 갖는 것으로 알려졌기 때문이다. 식당 소유자는 제삼자 데이터 내에서 "빌 스페셜"의 준비에 대한 정보를 제공할 수 있으며, 견과류에 대한 사용자 문제가 사용자 프로필 데이터 내에서 인식될 수 있다.
도 15는 제공될 수 있는 사회 데이터에 대한 피드백을 나타내는 착용자의 투시를 지시하는 유사한 뷰이다. 동일 메뉴(1411)를 보는 장치(2)의 착용자는 착용자의 친구인 "Marsha"가 지난주에 빌 스페셜을 소비하였고 그것을 좋아한다는 것을 지시하는 사회 피드백(1425)을 제공받는다. 위치 또는 다른 태깅(tagging) 연관성들이 착용자의 친구인 "Marsha"로부터의 사회 공유 정보를 트리거할 수 있다.
도 16은 착용자 자신의 이력 데이터에 기초하여 착용자에게 제공되는 피드백을 지시하는 유사한 뷰이다. 도 16에서, 피드백(1510)은 착용자가 이 특정 식당에서 식사한 지난 번에 빌 스페셜을 좋아하지 않았다는 것을 지시한다.
도 17은 소비 피드백이 어떻게 착용자에게 제공될 수 있는지의 일례이다. 도 17에서, 착용자는 햄버거를 보고 있으며, 시스템은 "이것이 오늘 당신의 두 번째 푸짐한 식사이며, 확실히 이를 행하기를 원하는가"를 경고(1520)를 통해 착용자에게 지시하여, 착용자에게 착용자가 추가적인 푸짐한 식사를 소비하기를 원하는지의 여부를 고려하도록 프롬프트하는데, 그 이유는 시스템이 착용자가 오늘 이미 한 번의 푸짐한 식사를 소비했다는 사실을 추적했기 때문이다.
도 18은 시스템이 착용자의 시야 내에서 이용 가능한 식품(1818)의 타입을 결정할 수 없을 때 착용자에게 제공될 수 있는 피드백을 나타내는 유사한 사시도이다. 프롬프트(1824)는 시스템이 식품의 타입을 결정할 수 없다는 것을 지시하며, 착용자가 그것을 식별하기를 원하는지를 착용자에게 묻는다. 착용자는 시스템이 아이템이 해당할 가능성이 있는 것으로 판단한 다양한 식품 타입들 중 하나를 선택하도록 착용자에게 요청하는 도 18에 도시된 바와 같은 선택 메뉴를 제공받을 수 있다.
도 19는 시스템이 식품 아이템의 타입 또는 착용자에게 제공되고 있는 레시피를 확신하지 못하는 영양 피드백의 일례를 나타낸다. 이 경우, 착용자는 시스템의 "최상의 추측"(1830) 및 그러한 타입의 "통상적인" 아이템이 영양 데이터에 대해 가질 수 있는 것을 지시하는 정보의 세트를 제공받는다. 본 명세서에서 설명되는 다양한 예들은 예시적일 뿐이며, 다양한 상세, 컬러, 사운드 및 다른 정보의 다수의 상이한 타입의 피드백이 착용자에게 제공될 수 있다는 것을 이해해야 한다.
전술한 바와 같이, 본 기술은 식품 아이템들의 소비와 관련된 상황에서 착용자에게 피드백을 제공하는 데 있어서의 사용과 관련하여 설명되었다. 본 기술은 식사들의 준비에서 사용될 수 있다는 것을 이해해야 한다. 사용자가 식품 아이템들을 준비하고 있는 경우, 준비 프로세스 동안 성분 데이터가 인식될 수 있고, 영양 정보가 착용자에게 제공될 수 있다. 유사하게, 착용자가 식품을 쇼핑하고 있는 경우, 식품들의 선택들에 대한 정보 및 특정 아이템들에 대한 영양 정보가 착용자에게 제공될 수 있다.
게다가, 사회 정보가 식품의 준비와 관련된 상황들로 확장될 수 있다. 예를 들어, 소셜 친구를 위해 식사를 준비하고 있고, 그러한 친구에 대한 공유 정보가 식품 알레르기들 또는 문제들을 지시하는 경우, 그러한 피드백은 식사 준비 프로세스 동안 피드백 애플리케이션에 의해 제공될 수 있다.
도 20은 본 명세서에서 설명되는 기술의 실시예들에서 동작할 수 있는 예시적인 이동 장치(예로서, 처리 유닛(4))의 블록도이다. 통상적인 이동 전화의 예시적인 전자 회로가 도시된다. 장치(2000)는 하나 이상의 마이크로프로세서(2012) 및 본 명세서에서 설명되는 기능을 구현하기 위해 제어 프로세서(2012)의 하나 이상의 프로세서에 의해 실행되는 프로세서 판독 가능 코드를 저장하는 메모리(2010)(예로서, ROM과 같은 비휘발성 메모리 및 RAM과 같은 휘발성 메모리)를 포함한다.
이동 장치(2000)는 예를 들어 프로세서들(2012), 애플리케이션들을 포함하는 메모리(2050) 및 비휘발성 저장 장치를 포함할 수 있다. 프로세서(2012)는 통신들은 물론, 본 명세서에서 설명되는 상호작용 애플리케이션들을 포함하는 임의 수의 애플리케이션도 구현할 수 있다. 메모리(2050)는 비휘발성 및 휘발성 메모리를 포함하는 임의의 다양한 메모리 저장 매체 타입들일 수 있다. 장치 운영 체제가 이동 장치(2000)의 상이한 동작들을 처리하며, 전화 통화 주고 받기, 텍스트 메시징, 음성 메일 검사 등과 같은 동작들을 위한 착용자 인터페이스들을 포함할 수 있다. 애플리케이션들(2030)은 사진들 및/또는 비디오들을 위한 카메라 애플리케이션, 어드레스 북, 캘린더 애플리케이션, 미디어 플레이어, 인터넷 브라우저, 게임들, 다른 멀티미디어 애플리케이션들, 알람 애플리케이션, 다른 제삼자 애플리케이션들, 본 명세서에서 설명되는 상호작용 애플리케이션 등과 같은 임의 유형의 프로그램들일 수 있다. 메모리(2010) 내의 비휘발성 저장 컴포넌트(2040)는 웹 캐시들, 음악, 사진들, 콘택 데이터, 스케줄링 데이터 및 다른 파일들과 같은 데이터를 포함한다.
프로세서(2012)는 안테나(2002)에 또한 결합되는 RF 송신/수신 회로(2006), 적외선 송신기/수신기(2008), 와이파이 또는 블루투스와 같은 임의의 추가적인 통신 채널들(2060) 및 가속도계와 같은 이동/배향 센서(2014)와도 통신한다. 가속도계들은 착용자들이 제스처들을 통해 명령들을 입력하게 하는 지능형 착용자 인터페이스들과 같은 애플리케이션들, 및 GPS 위성과의 접촉이 파괴된 후에 장치의 이동 및 방향을 계산하는 실내 GPS 기능을 가능하게 하고, 전화가 회전될 때 장치의 배향을 검출하고 디스플레이를 세로로부터 가로로 자동 변경하기 위해 이동 장치들 내에 포함되었다. 가속도계는 예를 들어 반도체 칩 상에 형성된 (마이크로미터 치수의) 소형 기계 장치인 마이크로 전기 기계 시스템(MEMS)에 의해 제공될 수 있다. 가속 방향은 물론, 배향, 진동 및 충격이 감지될 수 있다. 프로세서(2012)는 링어/진동기(2016), 착용자 인터페이스 키패드/스크린, 생체 센서 시스템(2018), 스피커(2020), 마이크(2022), 카메라(2024), 광 센서(2026) 및 온도 센서(2028)와 더 통신한다.
프로세서(2012)는 무선 신호들의 송신 및 수신을 제어한다. 송신 모드 동안, 프로세서(2012)는 마이크(2022)로부터의 음성 신호 또는 다른 데이터 신호를 RF 송신/수신 회로(2006)에 제공한다. 송신/수신 회로(2006)는 안테나(2002)를 통한 통신을 위해 신호를 원격국(예로서, 고정국, 운영자, 다른 셀룰러 전화 등)으로 전송한다. 링어/진동기(2016)는 착신 통화, 텍스트 메시지, 캘린더 알림, 알람 클럭 알림 또는 다른 통지를 착용자에게 시그널링하는 데 사용된다. 수신 모드 동안, 송신/수신 회로(2006)는 안테나(2002)를 통해 원격국으로부터 음성 또는 다른 데이터 신호를 수신한다. 수신된 음성 신호가 스피커(2020)에 제공되며, 다른 수신된 데이터 신호들도 적절히 처리된다.
게다가, 물리 커넥터(2088)를 이용하여, 이동 장치(2000)를 AC 어댑터 또는 급전 도킹 스테이션과 같은 외부 전원에 접속할 수 있다. 물리 커넥터(2088)는 컴퓨팅 장치에 대한 데이터 접속으로도 사용될 수 있다. 데이터 접속은 이동 장치 데이터와 다른 장치 상의 컴퓨팅 데이터의 동기화와 같은 동작들을 가능하게 한다.
위성 기반 무선 내비게이션을 이용하여 착용자 애플리케이션들의 위치를 중계하는 GPS 송수신기(2065)가 그러한 서비스를 위해 인에이블된다.
도 21은 네트워크 액세스 가능 컴퓨팅 시스템 또는 컴패니언 처리 모듈을 구현하는 데 사용될 수 있는 컴퓨팅 시스템의 일 실시예의 블록도이다. 도 21은 하나 이상의 네트워크 액세스 가능 컴퓨팅 시스템(871) 또는 도 8에 도시된 컴퓨팅 환경의 소프트웨어 컴포넌트들의 적어도 일부를 호스트할 수 있는 처리 유닛(4)을 구현하는 데 사용될 수 있는 컴퓨팅 시스템의 일 실시예의 블록도이다. 도 21을 참조하면, 예시적인 시스템은 컴퓨팅 장치(2100)와 같은 컴퓨팅 장치를 포함한다. 컴퓨팅 장치(2100)는 그의 가장 기본적인 구성에서 통상적으로 하나 이상의 중앙 처리 유닛(CPU) 및 하나 이상의 그래픽 처리 유닛(GPU)을 포함하는 하나 이상의 처리 유닛(2102)을 포함한다. 컴퓨팅 장치(2100)는 메모리(2104)도 포함한다. 컴퓨팅 장치의 정확한 구성 및 타입에 따라, 메모리(2104)는 (RAM과 같은) 휘발성 메모리(2105), (ROM, 플래시 메모리 등과 같은) 비휘발성 메모리(2107) 또는 이 둘의 소정 조합을 포함할 수 있다. 이러한 가장 기본적인 구성은 도 21에 점선(2106)으로 도시된다. 게다가, 장치(2100)는 추가적인 특징들/기능도 가질 수 있다. 예를 들어, 장치(2100)는 자기 또는 광 디스크들 또는 테이프를 포함하지만 이에 한정되지 않는 추가적인 (이동식 및/또는 비이동식) 저장 장치도 포함할 수 있다. 그러한 추가적인 저장 장치는 도 16에 이동식 저장 장치(2108) 및 비이동식 저장 장치(2110)로 도시된다.
장치(2100)는 장치가 다른 장치들과 통신하는 것을 가능하게 하는 하나 이상의 네트워크 인터페이스와 같은 통신 접속(들)(2112)도 포함할 수 있다. 장치(2100)는 키보드, 마우스, 펜, 음성 입력 장치, 터치 입력 장치 등과 같은 입력 장치(들)(2114)도 구비할 수 있다. 디스플레이, 스피커, 프린터 등과 같은 출력 장치(들)(2116)도 포함될 수 있다. 모든 이러한 장치들은 이 분야에 잘 알려져 있으며, 여기서는 상세히 설명되지 않는다.
도면들에 도시된 예시적인 컴퓨터 시스템들은 컴퓨터 판독 가능 저장 장치들의 예들을 포함한다. 컴퓨터 판독 가능 저장 장치는 프로세서 판독 가능 저장 장치이기도 하다. 그러한 장치들은 컴퓨터 판독 가능 명령들, 데이터 구조들, 프로그램 모듈들 또는 다른 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현되는 휘발성 및 비휘발성, 이동식 및 비이동식 메모리 장치들을 포함할 수 있다. 프로세서 또는 컴퓨터 판독 가능 저장 장치들의 예들은 RAM, ROM, EEPROM, 캐시, 플래시 메모리 또는 다른 메모리 기술, CD-ROM, 디지털 다기능 디스크(DVD) 또는 다른 광학 디스크 저장 장치, 메모리 스틱 또는 카드, 자기 카세트, 자기 테이프, 매체 드라이브, 하드 디스크, 자기 디스크 저장 장치 또는 다른 자기 저장 장치, 또는 원하는 정보를 저장하는 데 사용될 수 있고 컴퓨터에 의해 액세스될 수 있는 임의의 다른 장치이다.
본 발명은 구조적인 특징들 및/또는 방법 단계들에 고유한 언어로 설명되었지만, 첨부된 청구항들에서 정의되는 발명은 전술한 특정 특징들 또는 단계들로 한정될 필요가 없다는 것을 이해해야 한다. 오히려, 전술한 바와 같은 특정 특징들 및 단계들은 청구항들을 구현하는 예시적인 형태들로서 개시된다.

Claims (20)

  1. 증강 디스플레이 장치로서,
    투과형 헤드 마운티드 디스플레이(see-through, head mounted display)와,
    상기 증강 디스플레이 장치의 시야 내의 시각 정보를 검출하는 복수의 센서와,
    상기 투과형 헤드 마운티드 디스플레이 및 상기 복수의 센서와 통신하는 하나 이상의 처리 장치를 포함하되,
    상기 하나 이상의 처리 장치는 자동으로
    공지 위치(known location)에서 식품 아이템을 평가하고, 상기 공지 위치와 관련된 식품 아이템 데이터에 액세스함으로써 상기 장치에 인접한 상기 식품 아이템을 식별하고,
    상기 공지 위치와 관련된 상기 식품 아이템 데이터와 메뉴 상의 아이템을 매칭시키며,
    상기 식별된 식품 아이템 중 하나 이상에 대한 것이며 상기 장치의 착용자와 관련된 피드백 정보를, 상기 식품 아이템 중 하나 이상을 소비하기 이전에 결정하며 - 상기 피드백 정보는 상기 공지 위치의 상기 식품 아이템 데이터에 기초한 상기 식품 아이템에 관한 영양 정보를 포함함 - ,
    상기 소비하기 이전에, 상기 피드백 정보를 가상 객체로서 상기 투과형 헤드 마운티드 디스플레이에 렌더링하는
    증강 디스플레이 장치.
  2. 제1항에 있어서,
    상기 하나 이상의 처리 장치는, 상기 식품 아이템에 대한 영양 정보를 결정하고,
    상기 피드백 정보는 상기 공지 위치의 상기 식품 아이템의 상기 식품 아이템 데이터에 기초한 상기 영양 정보를 포함하는
    증강 디스플레이 장치.
  3. 제1항에 있어서,
    상기 하나 이상의 처리 장치는 이미지 데이터에 액세스해서 상기 이미지 데이터에 기초하여 센서 데이터를 식품 타입에 매칭시키고,
    상기 하나 이상의 처리 장치는 상기 식품 아이템의 레시피 데이터에 기초하여 상기 영양 정보를 결정하는
    증강 디스플레이 장치.
  4. 제3항에 있어서,
    상기 하나 이상의 처리 장치는 착용자 프로필 정보에 액세스하고,
    상기 하나 이상의 처리 장치는 착용자 소비 이력에 기초하여 상기 식품 아이템을 식별하는
    증강 디스플레이 장치.
  5. 제1항에 있어서,
    상기 하나 이상의 처리 장치는 제삼자에 의해 제공되는 레시피 데이터에 액세스하고,
    상기 하나 이상의 처리 장치는 상기 공지 위치의 상기 식품 아이템과 관련된 레시피 정보에 기초하여 상기 투과형 헤드 마운티드 디스플레이 내에 피드백으로서 상기 영양 정보를 제공하는
    증강 디스플레이 장치.
  6. 제1항에 있어서,
    상기 하나 이상의 처리 장치는 착용자 프로필 정보에 액세스하고 상기 식품 아이템의 소비를 추적하며,
    상기 소비의 데이터는 상기 착용자 프로필 정보에 기록되고 후속 소비를 위해 상기 피드백 정보에 포함되는
    증강 디스플레이 장치.
  7. 제1항에 있어서,
    상기 소비는 착용자의 소비 제스처를 검출함으로써 식별되는
    증강 디스플레이 장치.
  8. 제1항에 있어서,
    상기 소비는 착용자의 소비 사운드를 검출함으로써 식별되는
    증강 디스플레이 장치.
  9. 제1항에 있어서,
    피드백은 상기 착용자의 하나 이상의 친구에 의한 상기 식품 아이템에 대한 피드백을 포함하는
    증강 디스플레이 장치.
  10. 프로세서 및 비일시적 컴퓨터 판독가능 저장소를 포함하는 투과형 헤드 마운티드 디스플레이 장치로서,
    상기 비일시적 컴퓨터 판독가능 저장소는 상기 프로세서에 의해 실행될 때 방법을 수행하는 컴퓨터 판독가능 명령어를 포함하고,
    상기 방법은
    상기 투과형 헤드 마운티드 디스플레이 장치 상에 장착된 복수의 센서로부터 입력을 수신하는 단계- 상기 복수의 센서는 상기 투과형 헤드 마운티드 디스플레이 장치의 시야 내의 이미지 데이터 및 상기 투과형 헤드 마운티드 디스플레이 장치의 착용자 시선을 검출하도록 장착됨 -와,
    상기 이미지 데이터 및 상기 착용자 시선에 기초하여 상기 투과형 헤드 마운티드 디스플레이 장치에 인접한 하나 이상의 식품 아이템을 식별하는 단계와,
    상기 투과형 헤드 마운티드 디스플레이 장치가 현재 위치되는 특정 위치와 관련된 제삼자 식품 아이템 데이터가 저장된 상기 비일시적 컴퓨터 판독가능 저장소로부터 상기 하나 이상의 식품 아이템에 대한 피드백 정보에 액세스하는 단계와,
    상기 식별된 식품 아이템 중 하나 이상의 소비를 검출하고 상기 식별된 식품 아이템 중 상기 하나 이상에 대한 소비 피드백 정보를 생성하는 단계 - 상기 소비 피드백 정보는, 상기 특정 위치와 관련된 상기 제삼자 식품 아이템 데이터에 기초해서 상기 식품 아이템 중 하나 이상과 관련된 영양 정보를 나타냄 - 와,
    상기 투과형 헤드 마운티드 디스플레이 장치에 가상 객체로서 디스플레이하기 위해 상기 하나 이상의 식품 아이템에 대한 상기 피드백 정보 및 상기 소비 피드백 정보를 제공하는 단계 - 상기 피드백 정보 각각은 상기 식품 아이템 중 하나 이상과 함께 식별가능함 - 를 포함하는
    투과형 헤드 마운티드 디스플레이 장치.
  11. 제10항에 있어서,
    상기 피드백 정보는
    상기 하나 이상의 식품 아이템에 대한 영양 정보와,
    상기 하나 이상의 식품 아이템에 대한 착용자 건강 정보와,
    상기 하나 이상의 식품 아이템과 관련된 친구 추천
    중 하나를 포함하는
    투과형 헤드 마운티드 디스플레이 장치.
  12. 제10항에 있어서,
    상기 식별하는 단계는
    상기 디스플레이 장치에 대한 현재 위치를 결정하는 단계와,
    상기 특정 위치와 관련된 식품 아이템 데이터에 액세스하는 단계와,
    상기 현재 위치 및 상기 식품 아이템 데이터에 기초하여 상기 이미지 데이터를 평가하여 식품 아이템을 결정하는 단계
    를 포함하는 투과형 헤드 마운티드 디스플레이 장치.
  13. 제12항에 있어서,
    상기 식별하는 단계는 상기 이미지 데이터 및 상기 착용자 시선을 평가하여 상기 특정 위치와 관련된 메뉴 상의 아이템을 분석하는 단계와, 상기 메뉴 상의 아이템을 상기 특정 위치와 관련된 상기 식품 아이템 데이터와 매칭시키는 단계를 포함하고,
    상기 피드백 정보를 제공하는 단계는 상기 특정 위치의 상기 식품 아이템에 대한 피드백 정보를 제공하는 단계를 포함하는
    투과형 헤드 마운티드 디스플레이 장치.
  14. 제10항에 있어서,
    상기 식별하는 단계는 상기 이미지 데이터 및 상기 착용자 시선을 평가하여, 메뉴 상의 공지된 식품과 관련된 데이터를 갖는 상기 이미지 데이터 내의 아이템을 상기 특정 위치와 관련된 식품 아이템 데이터와 매칭시키는 단계를 포함하고,
    상기 피드백 정보를 제공하는 단계는 상기 특정 위치의 상기 식품 아이템에 대한 피드백 정보를 제공하는 단계를 포함하는
    투과형 헤드 마운티드 디스플레이 장치.
  15. 투과형 헤드 마운티드 디스플레이 시스템의 시야 내의 식품 아이템에 대한 영양 정보를 제공하기 위한 방법으로서,
    상기 투과형 헤드 마운티드 디스플레이 시스템에 대한 현재 위치, 배향 및 시야를 결정하는 단계와,
    상기 현재 위치에 대해 제삼자 데이터가 이용가능한지를 결정하고, 이용가능한 경우에, 상기 제삼자 데이터를 상기 현재 위치와 연관시키는 단계 - 상기 제삼자 데이터는, 비일시적 저장소에 저장되어 있으며 상기 현재 위치에 있는 동안 상기 시스템의 착용자에 의해 소비되는 상기 식품 아이템과 관련된 식품 식별 데이터 및 상기 영양 정보를 포함함 - 와,
    상기 투과형 헤드 마운티드 디스플레이 시스템으로부터의 센서 데이터를 평가하여, 상기 시스템에 인접한 상기 식품 아이템을 식별하는 단계 - 상기 평가는 상기 현재 위치와 관련된 상기 비일시적 저장소로부터 획득된 상기 제삼자 데이터를 이용함 - 와
    상기 비일시적 저장소에 저장되어 있으며 상기 시스템의 착용자와 관련되고 상기 식별된 식품 아이템과 매칭되는 레시피 데이터에 기초해서 상기 영양 정보를 결정하는 단계와,
    상기 착용자에 의한 상기 식품 아이템의 적어도 일부에 대한 소비를 검출하는 단계와,
    상기 식품 아이템 중 적어도 하나에 대한 상기 제삼자 데이터 및 상기 레시피 데이터, 그리고 상기 소비에 기초한 상기 영양 정보를, 상기 투과형 헤드 마운티드 디스플레이 시스템 내에 가상 객체로서 상기 착용자에게 제공하는 단계
    를 포함하는 방법.
  16. 제15항에 있어서,
    상기 결정하는 단계는 사용자 프로필 정보에 액세스하는 단계, 상기 착용자의 하나 이상의 친구를 결정하는 단계, 및 상기 착용자의 상기 하나 이상의 친구에 기초하여 상기 영양 정보를 상기 착용자에게 제공하는 단계를 더 포함하는
    방법.
  17. 제16항에 있어서,
    상기 평가하는 것은 식품 아이템 데이터를 상기 센서 데이터와 매칭시켜 상기 현재 위치에서 상기 시야 내의 상기 식품 아이템을 식별하는 것을 포함하는
    방법.
  18. 제17항에 있어서,
    상기 결정하는 단계는 상기 현재 위치에서의 상기 식품 아이템의 결정에 기초하여, 평가된 영양 데이터를 식별된 식품 데이터와 매칭시키는 단계를 포함하는
    방법.

  19. 제18항에 있어서,
    착용자의 소비 제스처를 검출함으로써 소비를 검출하는 단계를 더 포함하는
    방법.
  20. 제18항에 있어서,
    착용자의 소비 사운드를 검출함으로써 소비를 검출하는 단계를 더 포함하는
    방법.
KR1020207032249A 2012-11-29 2013-11-29 착용식 식품 영양 피드백 시스템 KR102300390B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US13/689,293 2012-11-29
US13/689,293 US9189021B2 (en) 2012-11-29 2012-11-29 Wearable food nutrition feedback system
KR1020157014225A KR102179142B1 (ko) 2012-11-29 2013-11-29 착용식 식품 영양 피드백 시스템
PCT/US2013/072488 WO2014085764A1 (en) 2012-11-29 2013-11-29 Wearable food nutrition feedback system

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020157014225A Division KR102179142B1 (ko) 2012-11-29 2013-11-29 착용식 식품 영양 피드백 시스템

Publications (2)

Publication Number Publication Date
KR20200129187A KR20200129187A (ko) 2020-11-17
KR102300390B1 true KR102300390B1 (ko) 2021-09-08

Family

ID=49885390

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020207032249A KR102300390B1 (ko) 2012-11-29 2013-11-29 착용식 식품 영양 피드백 시스템
KR1020157014225A KR102179142B1 (ko) 2012-11-29 2013-11-29 착용식 식품 영양 피드백 시스템

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020157014225A KR102179142B1 (ko) 2012-11-29 2013-11-29 착용식 식품 영양 피드백 시스템

Country Status (6)

Country Link
US (3) US9189021B2 (ko)
EP (1) EP2926209A1 (ko)
JP (1) JP6328133B2 (ko)
KR (2) KR102300390B1 (ko)
CN (1) CN104838326B (ko)
WO (1) WO2014085764A1 (ko)

Families Citing this family (246)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10387914B2 (en) 2005-10-26 2019-08-20 Cortica, Ltd. Method for identification of multimedia content elements and adding advertising content respective thereof
US9529984B2 (en) 2005-10-26 2016-12-27 Cortica, Ltd. System and method for verification of user identification based on multimedia content elements
US10635640B2 (en) 2005-10-26 2020-04-28 Cortica, Ltd. System and method for enriching a concept database
US10180942B2 (en) 2005-10-26 2019-01-15 Cortica Ltd. System and method for generation of concept structures based on sub-concepts
US20160321253A1 (en) 2005-10-26 2016-11-03 Cortica, Ltd. System and method for providing recommendations based on user profiles
US11032017B2 (en) 2005-10-26 2021-06-08 Cortica, Ltd. System and method for identifying the context of multimedia content elements
US10191976B2 (en) 2005-10-26 2019-01-29 Cortica, Ltd. System and method of detecting common patterns within unstructured data elements retrieved from big data sources
US10372746B2 (en) 2005-10-26 2019-08-06 Cortica, Ltd. System and method for searching applications using multimedia content elements
US10380164B2 (en) 2005-10-26 2019-08-13 Cortica, Ltd. System and method for using on-image gestures and multimedia content elements as search queries
US11019161B2 (en) 2005-10-26 2021-05-25 Cortica, Ltd. System and method for profiling users interest based on multimedia content analysis
US9646005B2 (en) 2005-10-26 2017-05-09 Cortica, Ltd. System and method for creating a database of multimedia content elements assigned to users
US8326775B2 (en) 2005-10-26 2012-12-04 Cortica Ltd. Signature generation for multimedia deep-content-classification by a large-scale matching system and method thereof
US10535192B2 (en) 2005-10-26 2020-01-14 Cortica Ltd. System and method for generating a customized augmented reality environment to a user
US9218606B2 (en) 2005-10-26 2015-12-22 Cortica, Ltd. System and method for brand monitoring and trend analysis based on deep-content-classification
US10621988B2 (en) 2005-10-26 2020-04-14 Cortica Ltd System and method for speech to text translation using cores of a natural liquid architecture system
US8818916B2 (en) 2005-10-26 2014-08-26 Cortica, Ltd. System and method for linking multimedia data elements to web pages
US9372940B2 (en) 2005-10-26 2016-06-21 Cortica, Ltd. Apparatus and method for determining user attention using a deep-content-classification (DCC) system
US9767143B2 (en) 2005-10-26 2017-09-19 Cortica, Ltd. System and method for caching of concept structures
US9558449B2 (en) 2005-10-26 2017-01-31 Cortica, Ltd. System and method for identifying a target area in a multimedia content element
US11386139B2 (en) 2005-10-26 2022-07-12 Cortica Ltd. System and method for generating analytics for entities depicted in multimedia content
US11003706B2 (en) 2005-10-26 2021-05-11 Cortica Ltd System and methods for determining access permissions on personalized clusters of multimedia content elements
US20140093844A1 (en) * 2005-10-26 2014-04-03 Cortica, Ltd. Method for identification of food ingredients in multimedia content
US9489431B2 (en) 2005-10-26 2016-11-08 Cortica, Ltd. System and method for distributed search-by-content
US9191626B2 (en) 2005-10-26 2015-11-17 Cortica, Ltd. System and methods thereof for visual analysis of an image on a web-page and matching an advertisement thereto
US11361014B2 (en) 2005-10-26 2022-06-14 Cortica Ltd. System and method for completing a user profile
US10742340B2 (en) 2005-10-26 2020-08-11 Cortica Ltd. System and method for identifying the context of multimedia content elements displayed in a web-page and providing contextual filters respective thereto
US9466068B2 (en) 2005-10-26 2016-10-11 Cortica, Ltd. System and method for determining a pupillary response to a multimedia data element
US10585934B2 (en) 2005-10-26 2020-03-10 Cortica Ltd. Method and system for populating a concept database with respect to user identifiers
US9477658B2 (en) 2005-10-26 2016-10-25 Cortica, Ltd. Systems and method for speech to speech translation using cores of a natural liquid architecture system
US8312031B2 (en) 2005-10-26 2012-11-13 Cortica Ltd. System and method for generation of complex signatures for multimedia data content
US8266185B2 (en) 2005-10-26 2012-09-11 Cortica Ltd. System and methods thereof for generation of searchable structures respective of multimedia data content
US10848590B2 (en) 2005-10-26 2020-11-24 Cortica Ltd System and method for determining a contextual insight and providing recommendations based thereon
US11604847B2 (en) 2005-10-26 2023-03-14 Cortica Ltd. System and method for overlaying content on a multimedia content element based on user interest
US10776585B2 (en) 2005-10-26 2020-09-15 Cortica, Ltd. System and method for recognizing characters in multimedia content
US9384196B2 (en) 2005-10-26 2016-07-05 Cortica, Ltd. Signature generation for multimedia deep-content-classification by a large-scale matching system and method thereof
US10949773B2 (en) 2005-10-26 2021-03-16 Cortica, Ltd. System and methods thereof for recommending tags for multimedia content elements based on context
US10360253B2 (en) 2005-10-26 2019-07-23 Cortica, Ltd. Systems and methods for generation of searchable structures respective of multimedia data content
US10607355B2 (en) 2005-10-26 2020-03-31 Cortica, Ltd. Method and system for determining the dimensions of an object shown in a multimedia content item
US10380267B2 (en) 2005-10-26 2019-08-13 Cortica, Ltd. System and method for tagging multimedia content elements
US11620327B2 (en) 2005-10-26 2023-04-04 Cortica Ltd System and method for determining a contextual insight and generating an interface with recommendations based thereon
US10380623B2 (en) 2005-10-26 2019-08-13 Cortica, Ltd. System and method for generating an advertisement effectiveness performance score
US10614626B2 (en) 2005-10-26 2020-04-07 Cortica Ltd. System and method for providing augmented reality challenges
US11403336B2 (en) 2005-10-26 2022-08-02 Cortica Ltd. System and method for removing contextually identical multimedia content elements
US10698939B2 (en) 2005-10-26 2020-06-30 Cortica Ltd System and method for customizing images
US10193990B2 (en) 2005-10-26 2019-01-29 Cortica Ltd. System and method for creating user profiles based on multimedia content
US9953032B2 (en) 2005-10-26 2018-04-24 Cortica, Ltd. System and method for characterization of multimedia content signals using cores of a natural liquid architecture system
US9639532B2 (en) 2005-10-26 2017-05-02 Cortica, Ltd. Context-based analysis of multimedia content items using signatures of multimedia elements and matching concepts
US11216498B2 (en) 2005-10-26 2022-01-04 Cortica, Ltd. System and method for generating signatures to three-dimensional multimedia data elements
US10691642B2 (en) 2005-10-26 2020-06-23 Cortica Ltd System and method for enriching a concept database with homogenous concepts
US9031999B2 (en) 2005-10-26 2015-05-12 Cortica, Ltd. System and methods for generation of a concept based database
US10733326B2 (en) 2006-10-26 2020-08-04 Cortica Ltd. System and method for identification of inappropriate multimedia content
US9158116B1 (en) 2014-04-25 2015-10-13 Osterhout Group, Inc. Temple and ear horn assembly for headworn computer
US9229233B2 (en) 2014-02-11 2016-01-05 Osterhout Group, Inc. Micro Doppler presentations in head worn computing
US9400390B2 (en) 2014-01-24 2016-07-26 Osterhout Group, Inc. Peripheral lighting for head worn computing
US9965681B2 (en) 2008-12-16 2018-05-08 Osterhout Group, Inc. Eye imaging in head worn computing
US9715112B2 (en) 2014-01-21 2017-07-25 Osterhout Group, Inc. Suppression of stray light in head worn computing
US9952664B2 (en) 2014-01-21 2018-04-24 Osterhout Group, Inc. Eye imaging in head worn computing
US20150277120A1 (en) 2014-01-21 2015-10-01 Osterhout Group, Inc. Optical configurations for head worn computing
US9298007B2 (en) 2014-01-21 2016-03-29 Osterhout Group, Inc. Eye imaging in head worn computing
US9366867B2 (en) 2014-07-08 2016-06-14 Osterhout Group, Inc. Optical systems for see-through displays
US20150205111A1 (en) 2014-01-21 2015-07-23 Osterhout Group, Inc. Optical configurations for head worn computing
US9606992B2 (en) * 2011-09-30 2017-03-28 Microsoft Technology Licensing, Llc Personal audio/visual apparatus providing resource management
US9339691B2 (en) 2012-01-05 2016-05-17 Icon Health & Fitness, Inc. System and method for controlling an exercise device
US20130273509A1 (en) * 2012-04-16 2013-10-17 Christopher M. MUTTI Method of Monitoring Nutritional Intake by Image Processing
US10772559B2 (en) 2012-06-14 2020-09-15 Medibotics Llc Wearable food consumption monitor
US20210249116A1 (en) * 2012-06-14 2021-08-12 Medibotics Llc Smart Glasses and Wearable Systems for Measuring Food Consumption
US10130277B2 (en) 2014-01-28 2018-11-20 Medibotics Llc Willpower glasses (TM)—a wearable food consumption monitor
US9449340B2 (en) * 2013-01-30 2016-09-20 Wal-Mart Stores, Inc. Method and system for managing an electronic shopping list with gestures
US20160005329A1 (en) * 2013-02-28 2016-01-07 Sony Corporation Information processing device and storage medium
JP6024515B2 (ja) * 2013-02-28 2016-11-16 ソニー株式会社 情報処理装置および記憶媒体
EP2969058B1 (en) 2013-03-14 2020-05-13 Icon Health & Fitness, Inc. Strength training apparatus with flywheel and related methods
US9092954B2 (en) * 2013-03-15 2015-07-28 Immersion Corporation Wearable haptic device
WO2015072604A1 (ko) * 2013-11-15 2015-05-21 엘지전자(주) 투명 디스플레이 장치와 그의 제어방법
EP3623020A1 (en) 2013-12-26 2020-03-18 Icon Health & Fitness, Inc. Magnetic resistance mechanism in a cable machine
US11227294B2 (en) 2014-04-03 2022-01-18 Mentor Acquisition One, Llc Sight information collection in head worn computing
US10254856B2 (en) 2014-01-17 2019-04-09 Osterhout Group, Inc. External user interface for head worn computing
US20160019715A1 (en) 2014-07-15 2016-01-21 Osterhout Group, Inc. Content presentation in head worn computing
US20150228119A1 (en) 2014-02-11 2015-08-13 Osterhout Group, Inc. Spatial location presentation in head worn computing
US10649220B2 (en) 2014-06-09 2020-05-12 Mentor Acquisition One, Llc Content presentation in head worn computing
US9448409B2 (en) 2014-11-26 2016-09-20 Osterhout Group, Inc. See-through computer display systems
US9829707B2 (en) 2014-08-12 2017-11-28 Osterhout Group, Inc. Measuring content brightness in head worn computing
US9299194B2 (en) 2014-02-14 2016-03-29 Osterhout Group, Inc. Secure sharing in head worn computing
US9575321B2 (en) 2014-06-09 2017-02-21 Osterhout Group, Inc. Content presentation in head worn computing
US9529195B2 (en) 2014-01-21 2016-12-27 Osterhout Group, Inc. See-through computer display systems
US9939934B2 (en) 2014-01-17 2018-04-10 Osterhout Group, Inc. External user interface for head worn computing
US10684687B2 (en) 2014-12-03 2020-06-16 Mentor Acquisition One, Llc See-through computer display systems
US9366868B2 (en) 2014-09-26 2016-06-14 Osterhout Group, Inc. See-through computer display systems
US11103122B2 (en) 2014-07-15 2021-08-31 Mentor Acquisition One, Llc Content presentation in head worn computing
US9671613B2 (en) 2014-09-26 2017-06-06 Osterhout Group, Inc. See-through computer display systems
US9594246B2 (en) 2014-01-21 2017-03-14 Osterhout Group, Inc. See-through computer display systems
US10191279B2 (en) 2014-03-17 2019-01-29 Osterhout Group, Inc. Eye imaging in head worn computing
US20150277118A1 (en) 2014-03-28 2015-10-01 Osterhout Group, Inc. Sensor dependent content position in head worn computing
US9810906B2 (en) 2014-06-17 2017-11-07 Osterhout Group, Inc. External user interface for head worn computing
US9746686B2 (en) 2014-05-19 2017-08-29 Osterhout Group, Inc. Content position calibration in head worn computing
US9841599B2 (en) 2014-06-05 2017-12-12 Osterhout Group, Inc. Optical configurations for head-worn see-through displays
US11737666B2 (en) 2014-01-21 2023-08-29 Mentor Acquisition One, Llc Eye imaging in head worn computing
US9494800B2 (en) 2014-01-21 2016-11-15 Osterhout Group, Inc. See-through computer display systems
US9753288B2 (en) 2014-01-21 2017-09-05 Osterhout Group, Inc. See-through computer display systems
US9651784B2 (en) 2014-01-21 2017-05-16 Osterhout Group, Inc. See-through computer display systems
US11669163B2 (en) 2014-01-21 2023-06-06 Mentor Acquisition One, Llc Eye glint imaging in see-through computer display systems
US9615742B2 (en) 2014-01-21 2017-04-11 Osterhout Group, Inc. Eye imaging in head worn computing
US9836122B2 (en) 2014-01-21 2017-12-05 Osterhout Group, Inc. Eye glint imaging in see-through computer display systems
US9310610B2 (en) 2014-01-21 2016-04-12 Osterhout Group, Inc. See-through computer display systems
US9766463B2 (en) 2014-01-21 2017-09-19 Osterhout Group, Inc. See-through computer display systems
US11892644B2 (en) 2014-01-21 2024-02-06 Mentor Acquisition One, Llc See-through computer display systems
US9746676B2 (en) 2014-01-21 2017-08-29 Osterhout Group, Inc. See-through computer display systems
US20150205135A1 (en) 2014-01-21 2015-07-23 Osterhout Group, Inc. See-through computer display systems
US9811159B2 (en) 2014-01-21 2017-11-07 Osterhout Group, Inc. Eye imaging in head worn computing
US11487110B2 (en) 2014-01-21 2022-11-01 Mentor Acquisition One, Llc Eye imaging in head worn computing
US9846308B2 (en) 2014-01-24 2017-12-19 Osterhout Group, Inc. Haptic systems for head-worn computers
US9401540B2 (en) 2014-02-11 2016-07-26 Osterhout Group, Inc. Spatial location presentation in head worn computing
US20150241964A1 (en) 2014-02-11 2015-08-27 Osterhout Group, Inc. Eye imaging in head worn computing
US9852545B2 (en) 2014-02-11 2017-12-26 Osterhout Group, Inc. Spatial location presentation in head worn computing
US9659225B2 (en) * 2014-02-12 2017-05-23 Microsoft Technology Licensing, Llc Restaurant-specific food logging from images
CA2941655C (en) * 2014-03-05 2021-03-09 Arizona Board Of Regents On Behalf Of The University Of Arizona Wearable 3d augmented reality display with variable focus and/or object recognition
WO2015138339A1 (en) 2014-03-10 2015-09-17 Icon Health & Fitness, Inc. Pressure sensor to quantify work
US10004431B2 (en) * 2014-03-13 2018-06-26 Gary Stephen Shuster Detecting medical status and cognitive impairment utilizing ambient data
US20160187651A1 (en) 2014-03-28 2016-06-30 Osterhout Group, Inc. Safety for a vehicle operator with an hmd
US10127361B2 (en) 2014-03-31 2018-11-13 Elwha Llc Quantified-self machines and circuits reflexively related to kiosk systems and associated food-and-nutrition machines and circuits
US10318123B2 (en) 2014-03-31 2019-06-11 Elwha Llc Quantified-self machines, circuits and interfaces reflexively related to food fabricator machines and circuits
US20150278455A1 (en) * 2014-03-31 2015-10-01 Elwha Llc Quantified-self machines and circuits reflexively related to big-data analytics systems and associated fabrication machines and circuits
US9922307B2 (en) 2014-03-31 2018-03-20 Elwha Llc Quantified-self machines, circuits and interfaces reflexively related to food
US9672210B2 (en) 2014-04-25 2017-06-06 Osterhout Group, Inc. Language translation with head-worn computing
US10853589B2 (en) 2014-04-25 2020-12-01 Mentor Acquisition One, Llc Language translation with head-worn computing
US9423842B2 (en) 2014-09-18 2016-08-23 Osterhout Group, Inc. Thermal management for head-worn computer
US20150309534A1 (en) 2014-04-25 2015-10-29 Osterhout Group, Inc. Ear horn assembly for headworn computer
US9651787B2 (en) 2014-04-25 2017-05-16 Osterhout Group, Inc. Speaker assembly for headworn computer
US20160137312A1 (en) 2014-05-06 2016-05-19 Osterhout Group, Inc. Unmanned aerial vehicle launch system
US10663740B2 (en) 2014-06-09 2020-05-26 Mentor Acquisition One, Llc Content presentation in head worn computing
US10426989B2 (en) 2014-06-09 2019-10-01 Icon Health & Fitness, Inc. Cable system incorporated into a treadmill
WO2015195965A1 (en) 2014-06-20 2015-12-23 Icon Health & Fitness, Inc. Post workout massage device
WO2016049090A2 (en) * 2014-09-22 2016-03-31 Alexander Petrov System and method to assist a user in achieving a goal
US10671657B2 (en) * 2014-10-13 2020-06-02 Under Armour, Inc. System and method for food categorization
US9881518B2 (en) * 2014-11-19 2018-01-30 Empire Technology Development Llc Food intake controlling devices and methods
CA3195997A1 (en) 2014-11-21 2016-05-26 Christopher M. Mutti Imaging system for object recognition and assessment
US20160148536A1 (en) * 2014-11-26 2016-05-26 Icon Health & Fitness, Inc. Tracking Nutritional Information about Consumed Food with a Wearable Device
US9684172B2 (en) 2014-12-03 2017-06-20 Osterhout Group, Inc. Head worn computer display systems
US9881422B2 (en) * 2014-12-04 2018-01-30 Htc Corporation Virtual reality system and method for controlling operation modes of virtual reality system
USD743963S1 (en) 2014-12-22 2015-11-24 Osterhout Group, Inc. Air mouse
USD751552S1 (en) 2014-12-31 2016-03-15 Osterhout Group, Inc. Computer glasses
USD753114S1 (en) 2015-01-05 2016-04-05 Osterhout Group, Inc. Air mouse
US9858676B2 (en) * 2015-01-08 2018-01-02 International Business Machines Corporation Displaying location-based rules on augmented reality glasses
US20160217620A1 (en) 2015-01-23 2016-07-28 Stephen Constantinides Virtual work of expression within a virtual environment
US10146998B2 (en) * 2015-02-13 2018-12-04 Halliburton Energy Services, Inc. Distributing information using role-specific augmented reality devices
US20160239985A1 (en) 2015-02-17 2016-08-18 Osterhout Group, Inc. See-through computer display systems
US10878775B2 (en) 2015-02-17 2020-12-29 Mentor Acquisition One, Llc See-through computer display systems
US10391361B2 (en) 2015-02-27 2019-08-27 Icon Health & Fitness, Inc. Simulating real-world terrain on an exercise device
CN105988219B (zh) * 2015-03-17 2020-11-10 精工爱普生株式会社 头部佩戴型显示装置以及头部佩戴型显示装置的控制方法
US9690119B2 (en) 2015-05-15 2017-06-27 Vertical Optics, LLC Wearable vision redirecting devices
IL244255A (en) 2016-02-23 2017-04-30 Vertical Optics Llc Wearable devices for deflecting vision
US10135777B2 (en) 2015-05-27 2018-11-20 International Business Machines Corporation Leveraging an internet of things to initiate a physical object to perform a specific act that enhances an interaction of a user with the physical object
US10085685B2 (en) 2015-06-14 2018-10-02 Facense Ltd. Selecting triggers of an allergic reaction based on nasal temperatures
US10113913B2 (en) 2015-10-03 2018-10-30 Facense Ltd. Systems for collecting thermal measurements of the face
US10136852B2 (en) 2015-06-14 2018-11-27 Facense Ltd. Detecting an allergic reaction from nasal temperatures
US11436619B2 (en) 2015-06-22 2022-09-06 You Map Inc. Real time geo-social visualization platform
US10616727B2 (en) 2017-10-18 2020-04-07 YouMap, Inc. System and method for location-based content delivery and visualization
US11138217B2 (en) 2015-06-22 2021-10-05 YouMap, Inc. System and method for aggregation and graduated visualization of user generated social post on a social mapping network
US11265687B2 (en) 2015-06-22 2022-03-01 YouMap, Inc. Creating and utilizing map channels
US11356817B2 (en) 2015-06-22 2022-06-07 YouMap, Inc. System and method for location-based content delivery and visualization
US10139966B2 (en) 2015-07-22 2018-11-27 Osterhout Group, Inc. External user interface for head worn computing
US10699595B2 (en) * 2015-08-07 2020-06-30 International Business Machines Corporation Monitoring and status detection for consumable items
IL241033B (en) * 2015-09-02 2021-12-01 Eyeway Vision Ltd Projector system and method for ocular projection
TWI620098B (zh) * 2015-10-07 2018-04-01 財團法人資訊工業策進會 頭戴式裝置以及導覽方法
US10614502B2 (en) 2015-10-16 2020-04-07 International Business Machines Corporation In-store real-time food item selection recommendations
KR102359359B1 (ko) 2015-11-25 2022-02-08 삼성전자주식회사 사용자 단말 장치 및 그 제어 방법
WO2017105641A1 (en) 2015-12-15 2017-06-22 Cortica, Ltd. Identification of key points in multimedia data elements
US11195043B2 (en) 2015-12-15 2021-12-07 Cortica, Ltd. System and method for determining common patterns in multimedia content elements based on key points
US10850116B2 (en) 2016-12-30 2020-12-01 Mentor Acquisition One, Llc Head-worn therapy device
US10591728B2 (en) 2016-03-02 2020-03-17 Mentor Acquisition One, Llc Optical systems for head-worn computers
US10667981B2 (en) 2016-02-29 2020-06-02 Mentor Acquisition One, Llc Reading assistance system for visually impaired
US9880441B1 (en) 2016-09-08 2018-01-30 Osterhout Group, Inc. Electrochromic systems for head-worn computer systems
US9826299B1 (en) 2016-08-22 2017-11-21 Osterhout Group, Inc. Speaker systems for head-worn computer systems
US10493349B2 (en) 2016-03-18 2019-12-03 Icon Health & Fitness, Inc. Display on exercise device
US10625137B2 (en) 2016-03-18 2020-04-21 Icon Health & Fitness, Inc. Coordinated displays in an exercise device
US10272317B2 (en) 2016-03-18 2019-04-30 Icon Health & Fitness, Inc. Lighted pace feature in a treadmill
US9910284B1 (en) 2016-09-08 2018-03-06 Osterhout Group, Inc. Optical systems for head-worn computers
US10466491B2 (en) 2016-06-01 2019-11-05 Mentor Acquisition One, Llc Modular systems for head-worn computers
US10684478B2 (en) 2016-05-09 2020-06-16 Mentor Acquisition One, Llc User interface systems for head-worn computers
US10824253B2 (en) 2016-05-09 2020-11-03 Mentor Acquisition One, Llc User interface systems for head-worn computers
WO2017181017A1 (en) 2016-04-15 2017-10-19 Wal-Mart Stores, Inc. Partiality vector refinement systems and methods through sample probing
WO2017180977A1 (en) 2016-04-15 2017-10-19 Wal-Mart Stores, Inc. Systems and methods for facilitating shopping in a physical retail facility
MX2018012578A (es) 2016-04-15 2019-03-01 Walmart Apollo Llc Sistemas y metodos para proporcionar recomendaciones de productos basadas en contenido.
US10395428B2 (en) 2016-06-13 2019-08-27 Sony Interactive Entertainment Inc. HMD transitions for focusing on specific content in virtual-reality environments
US10168555B1 (en) * 2016-06-30 2019-01-01 Google Llc Wiring in a head-mountable device
US10373464B2 (en) 2016-07-07 2019-08-06 Walmart Apollo, Llc Apparatus and method for updating partiality vectors based on monitoring of person and his or her home
US10690936B2 (en) 2016-08-29 2020-06-23 Mentor Acquisition One, Llc Adjustable nose bridge assembly for headworn computer
US10678397B2 (en) * 2016-09-26 2020-06-09 Htc Corporation Method for providing demonstration information in simulation environment, and associated simulation system
US10671705B2 (en) 2016-09-28 2020-06-02 Icon Health & Fitness, Inc. Customizing recipe recommendations
USD840395S1 (en) 2016-10-17 2019-02-12 Osterhout Group, Inc. Head-worn computer
GB2555602B (en) * 2016-11-02 2020-02-12 Swimar Ltd Heads-up display for eyewear
USD845296S1 (en) * 2017-10-03 2019-04-09 Magic Leap, Inc. Head mounted audio-visual display system
USD862464S1 (en) 2016-11-16 2019-10-08 Magic Leap, Inc. Head mounted audio-visual display system
USD857694S1 (en) * 2016-11-16 2019-08-27 Magic Leap, Inc Pad for head mounted audio-visual display system
US11094017B1 (en) 2016-12-01 2021-08-17 Wells Fargo Bank, N.A. Visualizing investment changes using augmented reality
CN106599602B (zh) * 2016-12-29 2019-08-27 上海德鋆信息科技有限公司 展示制定组合标识物虚拟信息的增强现实装置及其方法
US10685576B2 (en) * 2016-12-30 2020-06-16 Suggestic, Inc. Augmented reality systems based on a dynamic feedback-based ecosystem and multivariate causation system
USD864959S1 (en) 2017-01-04 2019-10-29 Mentor Acquisition One, Llc Computer glasses
US11568356B1 (en) 2017-01-09 2023-01-31 Blue Yonder Group, Inc. System and method of augmented visualization of planograms
US20180232498A1 (en) * 2017-02-15 2018-08-16 At&T Intellectual Property I, L.P. Providing stimuli to regulate eating habits
US11927765B2 (en) 2017-04-17 2024-03-12 Akonia Holographics Llc Skew mirror auxiliary imaging
US20180349837A1 (en) * 2017-05-19 2018-12-06 Hcl Technologies Limited System and method for inventory management within a warehouse
WO2019008581A1 (en) 2017-07-05 2019-01-10 Cortica Ltd. DETERMINATION OF DRIVING POLICIES
WO2019012527A1 (en) 2017-07-09 2019-01-17 Cortica Ltd. ORGANIZATION OF DEPTH LEARNING NETWORKS
US10422995B2 (en) 2017-07-24 2019-09-24 Mentor Acquisition One, Llc See-through computer display systems with stray light management
US10578869B2 (en) 2017-07-24 2020-03-03 Mentor Acquisition One, Llc See-through computer display systems with adjustable zoom cameras
US11409105B2 (en) 2017-07-24 2022-08-09 Mentor Acquisition One, Llc See-through computer display systems
US10969584B2 (en) 2017-08-04 2021-04-06 Mentor Acquisition One, Llc Image expansion optic for head-worn computer
US10398855B2 (en) 2017-11-14 2019-09-03 William T. MCCLELLAN Augmented reality based injection therapy
US10896545B1 (en) * 2017-11-29 2021-01-19 Facebook Technologies, Llc Near eye display interface for artificial reality applications
US10528793B2 (en) * 2017-12-22 2020-01-07 International Business Machines Corporation Automatic identification of food substance
US11887719B2 (en) 2018-05-21 2024-01-30 MyFitnessPal, Inc. Food knowledge graph for a health tracking system
US10963696B2 (en) * 2018-07-09 2021-03-30 Google Llc Visual menu
US10846544B2 (en) 2018-07-16 2020-11-24 Cartica Ai Ltd. Transportation prediction system and method
CN109145010B (zh) * 2018-08-30 2020-09-29 Oppo广东移动通信有限公司 信息查询方法、装置、存储介质及穿戴式设备
JP7135653B2 (ja) * 2018-09-21 2022-09-13 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム
JPWO2020071057A1 (ja) * 2018-10-01 2021-09-24 ソニーグループ株式会社 情報処理装置、情報処理方法、及び記録媒体
US11181911B2 (en) 2018-10-18 2021-11-23 Cartica Ai Ltd Control transfer of a vehicle
US11126870B2 (en) 2018-10-18 2021-09-21 Cartica Ai Ltd. Method and system for obstacle detection
US10839694B2 (en) 2018-10-18 2020-11-17 Cartica Ai Ltd Blind spot alert
US20200133308A1 (en) 2018-10-18 2020-04-30 Cartica Ai Ltd Vehicle to vehicle (v2v) communication less truck platooning
US11126869B2 (en) 2018-10-26 2021-09-21 Cartica Ai Ltd. Tracking after objects
CN109584226B (zh) * 2018-11-26 2021-02-05 浙江瑞度新材料科技有限公司 一种质检系统以及方法
US10789535B2 (en) 2018-11-26 2020-09-29 Cartica Ai Ltd Detection of road elements
US11643005B2 (en) 2019-02-27 2023-05-09 Autobrains Technologies Ltd Adjusting adjustable headlights of a vehicle
US11285963B2 (en) 2019-03-10 2022-03-29 Cartica Ai Ltd. Driver-based prediction of dangerous events
US11694088B2 (en) 2019-03-13 2023-07-04 Cortica Ltd. Method for object detection using knowledge distillation
US11132548B2 (en) 2019-03-20 2021-09-28 Cortica Ltd. Determining object information that does not explicitly appear in a media unit signature
US10789527B1 (en) 2019-03-31 2020-09-29 Cortica Ltd. Method for object detection using shallow neural networks
US10776669B1 (en) 2019-03-31 2020-09-15 Cortica Ltd. Signature generation and object detection that refer to rare scenes
US10796444B1 (en) 2019-03-31 2020-10-06 Cortica Ltd Configuring spanning elements of a signature generator
US11222069B2 (en) 2019-03-31 2022-01-11 Cortica Ltd. Low-power calculation of a signature of a media unit
US11488290B2 (en) 2019-03-31 2022-11-01 Cortica Ltd. Hybrid representation of a media unit
US10667073B1 (en) * 2019-06-10 2020-05-26 Bose Corporation Audio navigation to a point of interest
US11138714B2 (en) 2019-09-04 2021-10-05 International Business Machines Corporation Augmented reality pattern overlays to facilitate waste reduction
WO2021095235A1 (ja) * 2019-11-15 2021-05-20 マクセル株式会社 表示装置、および表示方法
US11593662B2 (en) 2019-12-12 2023-02-28 Autobrains Technologies Ltd Unsupervised cluster generation
US10748022B1 (en) 2019-12-12 2020-08-18 Cartica Ai Ltd Crowd separation
US11348373B2 (en) 2020-02-21 2022-05-31 Microsoft Technology Licensing, Llc Extended reality gesture recognition proximate tracked object
US11590988B2 (en) 2020-03-19 2023-02-28 Autobrains Technologies Ltd Predictive turning assistant
US11827215B2 (en) 2020-03-31 2023-11-28 AutoBrains Technologies Ltd. Method for training a driving related object detector
US11756424B2 (en) 2020-07-24 2023-09-12 AutoBrains Technologies Ltd. Parking assist
US11409113B2 (en) 2020-11-13 2022-08-09 GlaiveRF, Inc. Wearable accessory with phased array antenna system
US20240004605A1 (en) * 2020-11-17 2024-01-04 Bose Corporation Wearable with eye tracking
WO2023076231A1 (en) * 2021-10-29 2023-05-04 Snap Inc. Adding graphical representation of real-world object
KR102404729B1 (ko) * 2021-12-15 2022-06-02 박준 가상현실, 증강현실 및 혼합현실 상황에서의 인공 미각 적용 방법
KR102385834B1 (ko) * 2021-12-15 2022-04-12 박준 오감 하드웨어 전달 방법

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001344661A (ja) 2000-05-30 2001-12-14 Sharp Corp 情報提供装置
JP2008217702A (ja) 2007-03-07 2008-09-18 Fujifilm Corp 撮影装置および撮影方法
US20100199232A1 (en) 2009-02-03 2010-08-05 Massachusetts Institute Of Technology Wearable Gestural Interface
JP2011055250A (ja) 2009-09-02 2011-03-17 Sony Corp 情報提供方法及び装置、情報表示方法及び携帯端末、プログラム、並びに情報提供システム
JP2011159162A (ja) 2010-02-02 2011-08-18 Sony Corp 画像処理装置、画像処理方法及びプログラム
AU2012201615A1 (en) 2011-07-22 2012-04-05 Microsoft Technology Licensing, Llc Automatic text scrolling on a head-mounted display
US20120179665A1 (en) 2011-01-07 2012-07-12 Access Business Group International Llc Health monitoring system
US20120178065A1 (en) 2011-01-10 2012-07-12 Morteza Naghavi Advanced Button Application for Individual Self-Activating and Monitored Control System in Weight Loss Program
US20120229624A1 (en) 2011-03-08 2012-09-13 Bank Of America Corporation Real-time image analysis for providing health related information
US20120242698A1 (en) 2010-02-28 2012-09-27 Osterhout Group, Inc. See-through near-eye display glasses with a multi-segment processor-controlled optical layer

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69735030T2 (de) 1996-06-12 2006-07-13 Seiko Epson Corp. Kalorieverbrauchmessvorrichtung
JP3356745B2 (ja) 1999-12-07 2002-12-16 ヤーマン株式会社 カロリー計算機
US6513532B2 (en) 2000-01-19 2003-02-04 Healthetech, Inc. Diet and activity-monitoring device
US20060122474A1 (en) 2000-06-16 2006-06-08 Bodymedia, Inc. Apparatus for monitoring health, wellness and fitness
US7693702B1 (en) 2002-11-01 2010-04-06 Lockheed Martin Corporation Visualizing space systems modeling using augmented reality
US20040162702A1 (en) 2003-02-19 2004-08-19 Pandipati Radha K. C. Diet/exercise monitor
WO2005013174A2 (en) 2003-07-28 2005-02-10 Bergantino Paul V Method and apparatus for managing a user’s health
IL157837A (en) 2003-09-10 2012-12-31 Yaakov Amitai Substrate-guided optical device particularly for three-dimensional displays
EP1724566A4 (en) 2004-03-12 2011-04-06 Joy World Pacific Co Ltd METHOD FOR MEASURING THE CALORIES OF AN OBJECT AND DEVICE FOR MEASURING THE CALORIES OF AN OBJECT
US7917401B2 (en) 2005-04-04 2011-03-29 Trent Baker Systems and methods for obtaining health and financial information with a handheld device
JP4759304B2 (ja) * 2005-04-07 2011-08-31 オリンパス株式会社 情報表示システム
US20060230123A1 (en) 2005-04-07 2006-10-12 Simmons Bonnie J Online Shopping and Item Selection System and Method
CA2552062C (en) 2005-07-22 2016-06-28 4121856 Canada Inc. System and methods for enhancing the experience of spectators attending a live sporting event
JP5119612B2 (ja) 2006-06-02 2013-01-16 株式会社日立製作所 代謝量モニタリング装置及び代謝量モニタリングシステム
US20080073430A1 (en) 2006-09-22 2008-03-27 Sickenius Louis S Sense and Respond Purchase Restriction Management System
US20080082465A1 (en) 2006-09-28 2008-04-03 Microsoft Corporation Guardian angel
US20090144081A1 (en) 2007-10-08 2009-06-04 Harlan Timothy S Methods and systems for dynamic meal plan generation
US20110218839A1 (en) 2007-10-22 2011-09-08 Ravi Vijay Shamaiengar Methods and systems for enabling the purchase of deliverable goods & services
US20090176526A1 (en) 2007-11-11 2009-07-09 Altman Peter A Longitudinal Personal Health Management System Using Mobile Data Capture
US8234124B2 (en) 2008-04-16 2012-07-31 International Business Machines Corporation Allergy prevention
US20100238161A1 (en) 2009-03-19 2010-09-23 Kenneth Varga Computer-aided system for 360º heads up display of safety/mission critical data
US20100257252A1 (en) 2009-04-01 2010-10-07 Microsoft Corporation Augmented Reality Cloud Computing
US20110112904A1 (en) 2009-11-12 2011-05-12 Steven Elliot Stupp Providing a recommendation based on a dietary preference
US20110270135A1 (en) 2009-11-30 2011-11-03 Christopher John Dooley Augmented reality for testing and training of human performance
WO2011106797A1 (en) 2010-02-28 2011-09-01 Osterhout Group, Inc. Projection triggering through an external marker in an augmented reality eyepiece
US20110318717A1 (en) 2010-06-23 2011-12-29 Laurent Adamowicz Personalized Food Identification and Nutrition Guidance System
US9292565B2 (en) 2010-06-30 2016-03-22 International Business Machines Corporation Template-based recognition of food product information
US20120053426A1 (en) 2010-08-31 2012-03-01 General Electric Company System and method for measuring calorie content of a food sample
US8296194B2 (en) 2010-09-21 2012-10-23 Microsoft Corporation Method, medium, and system for ranking dishes at eating establishments
US8884984B2 (en) 2010-10-15 2014-11-11 Microsoft Corporation Fusing virtual content into real content
US9292973B2 (en) 2010-11-08 2016-03-22 Microsoft Technology Licensing, Llc Automatic variable virtual focus for augmented reality displays
US9213405B2 (en) * 2010-12-16 2015-12-15 Microsoft Technology Licensing, Llc Comprehension and intent-based content for augmented reality displays
US20120233002A1 (en) 2011-03-08 2012-09-13 Abujbara Nabil M Personal Menu Generator
US8629815B2 (en) 2011-08-09 2014-01-14 Google Inc. Laser alignment of binocular head mounted display
US9285592B2 (en) 2011-08-18 2016-03-15 Google Inc. Wearable device with input and output structures
US9053483B2 (en) * 2011-09-30 2015-06-09 Microsoft Technology Licensing, Llc Personal audio/visual system providing allergy awareness

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001344661A (ja) 2000-05-30 2001-12-14 Sharp Corp 情報提供装置
JP2008217702A (ja) 2007-03-07 2008-09-18 Fujifilm Corp 撮影装置および撮影方法
US20100199232A1 (en) 2009-02-03 2010-08-05 Massachusetts Institute Of Technology Wearable Gestural Interface
JP2011055250A (ja) 2009-09-02 2011-03-17 Sony Corp 情報提供方法及び装置、情報表示方法及び携帯端末、プログラム、並びに情報提供システム
JP2011159162A (ja) 2010-02-02 2011-08-18 Sony Corp 画像処理装置、画像処理方法及びプログラム
US20120242698A1 (en) 2010-02-28 2012-09-27 Osterhout Group, Inc. See-through near-eye display glasses with a multi-segment processor-controlled optical layer
US20120179665A1 (en) 2011-01-07 2012-07-12 Access Business Group International Llc Health monitoring system
US20120178065A1 (en) 2011-01-10 2012-07-12 Morteza Naghavi Advanced Button Application for Individual Self-Activating and Monitored Control System in Weight Loss Program
US20120229624A1 (en) 2011-03-08 2012-09-13 Bank Of America Corporation Real-time image analysis for providing health related information
AU2012201615A1 (en) 2011-07-22 2012-04-05 Microsoft Technology Licensing, Llc Automatic text scrolling on a head-mounted display

Also Published As

Publication number Publication date
KR20150090092A (ko) 2015-08-05
EP2926209A1 (en) 2015-10-07
CN104838326B (zh) 2019-03-08
US9646511B2 (en) 2017-05-09
WO2014085764A1 (en) 2014-06-05
US20170270821A1 (en) 2017-09-21
JP2016506562A (ja) 2016-03-03
US20140147829A1 (en) 2014-05-29
KR102179142B1 (ko) 2020-11-16
KR20200129187A (ko) 2020-11-17
CN104838326A (zh) 2015-08-12
US20160027329A1 (en) 2016-01-28
US9189021B2 (en) 2015-11-17
JP6328133B2 (ja) 2018-05-23

Similar Documents

Publication Publication Date Title
KR102300390B1 (ko) 착용식 식품 영양 피드백 시스템
US9824698B2 (en) Wearable emotion detection and feedback system
US9696547B2 (en) Mixed reality system learned input and functions
TWI597623B (zh) 可穿戴基於行爲的視覺系統
US9767720B2 (en) Object-centric mixed reality space
US9552060B2 (en) Radial selection by vestibulo-ocular reflex fixation
EP2751609B1 (en) Head mounted display with iris scan profiling
US9645394B2 (en) Configured virtual environments
CN105009039A (zh) 使用imu的直接全息图操纵
EP3097461A1 (en) Automated content scrolling

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant