KR20140008467A - 통합형 손가락 추적 입력 센서를 갖는 착용식 헤드업 디스플레이 - Google Patents

통합형 손가락 추적 입력 센서를 갖는 착용식 헤드업 디스플레이 Download PDF

Info

Publication number
KR20140008467A
KR20140008467A KR1020137034402A KR20137034402A KR20140008467A KR 20140008467 A KR20140008467 A KR 20140008467A KR 1020137034402 A KR1020137034402 A KR 1020137034402A KR 20137034402 A KR20137034402 A KR 20137034402A KR 20140008467 A KR20140008467 A KR 20140008467A
Authority
KR
South Korea
Prior art keywords
finger
display
input device
processor
information
Prior art date
Application number
KR1020137034402A
Other languages
English (en)
Other versions
KR101473143B1 (ko
Inventor
리앙-유 치
루이스 리카르도 프라다 고메즈
로버트 알렌 리스캄프
산자이 지. 마빈커브
Original Assignee
구글 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 구글 인코포레이티드 filed Critical 구글 인코포레이티드
Publication of KR20140008467A publication Critical patent/KR20140008467A/ko
Application granted granted Critical
Publication of KR101473143B1 publication Critical patent/KR101473143B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547—Touch pads, in which fingers can move on a surface
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0118—Head-up displays characterised by optical features comprising devices for improving the contrast of the display / brillance control visibility
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/033—Indexing scheme relating to G06F3/033
    • G06F2203/0339—Touch strips, e.g. orthogonal touch strips to control cursor movement or scrolling; single touch strip to adjust parameter or to implement a row of soft keys

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

손가락 조작형 입력 장치를 통해 착용식 헤드업 디스플레이와 인터페이스하기 위한 시스템들, 방법들 및 장치들이 개시된다. 착용식 헤드업 디스플레이는 프로세서로부터 수신되는 디스플레이 정보를 수신하고 표시하기 위한 디스플레이 요소를 포함할 수 있으며, 또한 디스플레이 요소를 지지하고, 디스플레이 요소로부터 떨어져 연장하는 돌기를 갖는 착용식 프레임 구조를 포함할 수 있다. 돌기는 디스플레이 요소가 사용자의 시야 내에 배치되게 하는 방식으로 헤드업 디스플레이를 사용자의 신체에 고정하도록 구성될 수 있다. 착용식 프레임 구조에 고정된 손가락 조작형 입력 장치는 입력 장치의 표면에 대해 면 방향을 따르는 손가락의 위치 및 움직임 중 적어도 하나를 감지하고, 대응하는 입력 정보를 프로세서에 제공하도록 구성된다.

Description

통합형 손가락 추적 입력 센서를 갖는 착용식 헤드업 디스플레이{WEARABLE HEADS-UP DISPLAY WITH INTEGRATED FINGER-TRACKING INPUT SENSOR}
본 발명은 통합형 손가락 추적 입력 센서를 갖는 착용식 헤드업 디스플레이에 관한 것이다.
여기서 달리 지시되지 않는 한, 이 섹션에서 설명되는 내용들은 본원의 청구범위에 대한 종래 기술이 아니며, 이 섹션 내의 포함에 의해 종래 기술인 것으로 인정되지 않는다.
다양한 기술들을 이용하여 시스템의 사용자에게 정보를 표시할 수 있다. 정보를 표시하기 위한 일부 시스템들은 "헤드업" 디스플레이들을 이용할 수 있다. 헤드업 디스플레이는 한 쌍의 고글, 안경, 헤드밴드, 헬멧, 또는 사용자가 착용할 수 있는 다른 그러한 장치 내에 통합될 수 있다. 헤드업 디스플레이는 통상적으로 사용자의 눈 근처에 배치되고, 사용자의 시야에 대해 조정 및/또는 정렬되어, 사용자로 하여금 머리 움직임이 거의 또는 전혀 없이 표시 정보를 검토할 수 있게 해준다. 디스플레이는 또한 투명하거나 반투명하여, 사용자가 헤드업 디스플레이를 착용하고 있는 동안 주변 환경을 보고 그와 상호작용하는 것을 가능하게 할 수 있다. 일부 예들에서, 디스플레이는 투명하지 않을 수 있지만, 투명성 또는 반투명성을 시뮬레이션하기 위해 환경의 캡처된 이미지를 디스플레이 상에 투영할 수 있다. 다른 예들에서, 디스플레이는 저전력 레이저 스캐닝 기술을 통해 사용자의 망막 상에 직접 형성될 수 있다. 디스플레이용 이미지들 및 텍스트와 같은 디스플레이 정보를 생성하기 위해, 컴퓨터 처리 시스템이 사용될 수 있다. 그러한 헤드업 디스플레이들은 특히 항공 정보 시스템, 차량 내비게이션 시스템 및 비디오 게임과 같은 다양한 응용들을 갖는다.
예를 들어, 항공 정보 시스템들에서, 디스플레이 정보는 풍속, 고도, 수평선, 방향, 턴/뱅크(turn/bank) 및 슬립/스키드(slip/skid) 지시자들을 포함할 수 있다. 디스플레이 정보는 접근 및 착륙에 사용하기 위한 항공 데이터 및 심벌들도 포함할 수 있다. 예를 들어, 헤드업 디스플레이 내의 비행 안내 시스템은 계기 착륙 시스템 또는 증강형 글로벌 포지셔닝 시스템과 같은 내비게이션 보조물들에 기초하여 시각적 단서들을 제공할 수 있다. 다른 항공 이용들도 가능하다. 자동차 분야에서, 디스플레이 정보는 속도계, 회전 속도계 및 내비게이션 시스템 디스플레이들을 포함할 수 있다. 게다가, 야간 운전을 돕기 위해 야간 시각 정보가 표시될 수 있다. 다른 자동차 이용들도 가능하다.
머리에 장착되는 디스플레이 장치들에 대해 점점 더 많은 응용 및 용도가 개발됨에 따라, 더 복잡한 상호작용이 발생하고 있다. 예를 들어, 항공과 관련하여, 조종사는 아마도 파라미터 디스플레이 인터페이스(예를 들어, 풍속, 고도, 수평선, 방향 등의 표시)와 접근/착륙 디스플레이 인터페이스 사이에서 전환하기 위해 헤드업 디스플레이 내에 표시되는 정보와 인터페이스하는 것이 필요할 수 있다.
다른 더 복잡한 상호작용들도 필요할 수 있다. 예를 들어, 조종사는 하늘에서 다른 조종사들과 상호작용하고/하거나 하나 이상의 선택된 조종사에게 정보를 전송하기를 원할 수 있다. 버튼과 같은 현재의 해법들은 기능이 제한되며, 일반적으로 그들의 크기, 위치 및 구성 요구들로 인해 부피를 증가시키고, 광을 차단하고/하거나, 주변 시야를 줄인다.
발명의 요약
본 명세서에서는 착용식 헤드업 디스플레이를 제어하고 그와 인터페이스하기 위한 개량된 방법들 및 장치들이 개시된다. 일 실시예에서, 착용식 헤드업 디스플레이는 프로세서, 프로세서로부터 디스플레이 정보를 수신하고, 디스플레이 정보를 표시하도록 구성된 디스플레이 요소, 디스플레이 요소를 지지하고, 디스플레이 요소로부터 떨어져 연장하는 돌기를 갖는 착용식 프레임 구조 - 돌기는 고정시에 사용자의 시야 내에 디스플레이 요소를 배치하는 방식으로 사용자의 신체에 헤드업 디스플레이를 고정함 -, 및 착용식 프레임 구조에 고정된 손가락 조작형 입력 장치를 포함할 수 있으며, 입력 장치는 입력 장치의 표면에 대해 면 방향을 따르는 사용자의 손가락의 위치 및 움직임 중 적어도 하나를 감지하고, 대응하는 입력 정보를 프로세서에 제공하도록 구성될 수 있다. 이러한 방식으로, 착용식 헤드업 디스플레이와 인터페이스하고 그에 입력을 제공하기 위한 개량된 방법 및 장치가 제공될 수 있다. 예를 들어, 손가락 조작형 입력 장치로부터 프로세서에서 입력을 수신하는 것에 응답하여, 프로세서는 새로운 디스플레이 정보를 디스플레이 요소로 전송할 수 있다. 추가적인 입력은 디스플레이 정보에 대한 추가적인 갱신들을 유발할 수 있거나, 프로세서로 하여금 다른 기능들을 실행하게 할 수 있다.
다른 실시예에서, 디스플레이 정보는 입력 장치를 통해 행해질 수 있는 적어도 하나의 가능한 입력 동작 및 입력 동작과 관련된 기능 및 선택 중 하나를 포함할 수 있다. 예를 들어, 4개 옵션의 리스트가 디스플레이 정보를 통해 디스플레이 요소 상에 제공될 수 있으며, 4개의 옵션 각각을 선택 또는 실행하기 위한 관련 입력 동작의 지시가 동시에 제공될 수 있다. 일례에서, 상향 화살표가 4개의 옵션 중 제1 옵션 옆에 표시되어, 입력 장치를 통한 상향 스와이프가 제1 옵션을 선택할 수 있다는 것을 지시할 수 있고, 하향 화살표가 4개의 옵션 중 제2 옵션 옆에 표시되어, 입력 장치를 통한 하향 스와이프가 제2 옵션을 선택할 수 있다는 것을 지시할 수 있다. 순방향 및 역방향 화살표들이 4개의 옵션 중 나머지 2개의 옵션과 관련하여 디스플레이 요소 상에 표시될 수 있으며, 입력 장치를 통한 각각의 순방향 및 역방향 스와이프는 나머지 2개의 옵션 사이에서 선택할 수 있다. 다른 입력 액션들에 대해 다른 심벌들, 예를 들어 단일 탭에 대한 단일 원 및 이중 탭에 대한 (서로 인접하거나 안에 있는) 이중 원이 사용될 수 있다. 다른 타입의 스와이핑 패턴들(예로서, 제스처들) 및 다른 타입의 기능들도 가능하다.
일 실시예에서, 헤드업 디스플레이는 착용식 프레임 구조를 통해 함께 결합된 2개의 디스플레이 요소를 포함할 수 있다. 일례에서, 착용식 프레임 구조는 2개의 디스플레이 요소(예로서, 렌즈들)의 대향 측에 배치된 2개의 돌기를 포함하는 한 쌍의 안경일 수 있으며, 각각의 돌기는 각각의 렌즈 디스플레이 요소로부터 떨어져 연장한다. 게다가, 손가락 조작형 입력 장치가 2개의 돌기 중 제1 돌기를 통해 착용식 프레임 구조에 고정될 수 있다. 더구나, 제2 손가락 조작형 입력 장치가 2개의 돌기 중 제2 돌기를 통해 착용식 프레임 구조에 고정될 수 있고, 제2 입력 장치의 표면에 대해 면 방향을 따르는 손가락의 위치 및 움직임 중 적어도 하나를 감지하고, 대응하는 입력 정보를 프로세서에 제공하도록 구성될 수 있다. 그러한 구성은 전술한 착용식 헤드업 디스플레이가 오른손잡이 및 왼손잡이 사용자들 양자에 의해 조작되는 것을 가능하게 한다. 더구나, 이중 입력 구조는 제1 손가락 조작형 입력 장치가 미세 동작 입력 정보(fine-motor input information)를 프로세서에 제공하도록 구성되고 제2 손가락 조작형 입력 장치가 대동작(gross-motor input information)를 프로세서에 제공하도록 구성되는 입력 시스템을 가능하게 한다.
안경테(glasses stem) 상의 손가락 조작형 입력 장치(들)의 배치로 인해, 안경테들 및 입력 장치들은 사용자의 주변 시야를 차단 또는 방해하고/하거나 광이 사용자의 눈에 도달하지 못하게 할 수 있다. 그러한 사고를 방지하기 위하여, 일 실시예에서, 입력 장치(들)는 반투명할 수 있다. 다른 예에서, 입력 장치(들)는 실질적으로 투명할 수 있다. 예를 들어, 입력 장치들은 반투명하거나 실질적으로 투명한 유리 또는 플라스틱 기판 상에 형성될 수 있다. 금속 도체 감지 또는 구동 라인들이 인듐 주석 산화물(ITO)과 같은 실질적으로 투명한 금속 산화물로 형성될 수 있다.
다른 실시예에서, 입력 장치는 용량 감지, 저항 감지 및/또는 표면 음파(SAW) 프로세스를 통해 입력 장치의 표면에 대해 면 방향을 따르는 손가락의 위치 및 움직임 중 적어도 하나를 감지하도록 구성된 터치 감지 패드를 포함할 수 있다. 또 다른 실시예에서, 입력 장치는 광학 이미징 장치일 수 있으며, 광학 이미징 장치의 표면은 광학 이미징 장치의 외면에 제공된 렌즈일 수 있다. 이미지들을 초당 여러 번 캡처함으로써, 광학 이미징 장치는 입력 장치의 렌즈 표면에 대해 면 방향을 따르는 손가락의 위치 및 움직임을 정확하게 검출할 수 있다.
위의 요약은 예시적일 뿐, 결코 한정을 의도하지 않는다. 전술한 예시적인 양태들, 실시예들 및 특징들에 더하여, 도면들 및 아래의 상세한 설명을 참조함으로써 추가적인 양태들, 실시예들 및 특징들이 명확해질 것이다.
도면들에서:
도 1은 통합형 손가락 추적 입력 센서 장치를 갖는 착용식 헤드업 디스플레이의 일 실시예를 도시한다.
도 2는 착용식 헤드업 디스플레이 시스템의 일 실시예의 블록도를 도시한다.
도 3은 디스플레이 요소들을 포함하는 착용식 헤드업 디스플레이 장치의 일 실시예를 도시한다.
도 4는 통합형 손가락 추적 입력 센서 장치를 포함하는 착용식 헤드업 디스플레이 장치를 위한 다양한 입력 인터페이스들의 일 실시예를 도시한다.
도 5는 도 4의 통합형 손가락 추적 입력 센서 장치를 이용하여 헤드업 디스플레이 장치와 상호작용하는 예시적인 방법을 도시한다.
도 6은 도 4의 통합형 손가락 추적 입력 센서 장치를 이용하여 헤드업 디스플레이 장치와 상호작용하는 다른 예시적인 방법을 도시한다.
도 7a 및 7b는 추가적인 또는 대안적인 통합형 손가락 추적 입력 센서 장치들을 도시한다.
도 8은 통합형 손가락 추적 입력 센서 장치를 통해 착용식 헤드업 디스플레이 장치에 입력을 제공하는 예시적인 방법을 나타내는 흐름도이다.
도 9는 도 2의 착용식 헤드업 디스플레이 장치를 지원하기 위한 컴퓨팅 장치의 기능 블록도이다.
도 10은 예시적인 컴퓨터 프로그램 제품의 개념 부분 뷰를 나타내는 개략도이다.
아래의 상세할 설명에서는 그 일부를 형성하는 첨부 도면들을 참조한다. 도면들에서, 상황이 달리 지시하지 않는 한, 유사한 심벌들은 통상적으로 유사한 요소들을 지시한다. 상세한 설명, 도면들 및 청구항들에서 설명되는 실시예들은 한정을 의도하지 않는다. 본 명세서에서 제공되는 본 발명의 사상 또는 범위로부터 벗어나지 않고서, 다른 실시예들이 이용될 수 있고, 다른 변경들이 이루어질 수 있다. 본 명세서에서 일반적으로 설명되고 도면들에 예시되는 바와 같이, 본 발명의 양태들은 다양한 상이한 구성으로 배열, 대체, 결합, 분리 및 설계될 수 있으며, 이들 모두는 본 명세서에서 명확히 고려된다는 것을 쉽게 이해할 것이다.
여기서 개시되는 방법들 및 시스템들은 일반적으로 착용식 헤드업 디스플레이들 사이의 무선 방향 식별 및 통신과 관련된다. 먼저, 착용식 헤드업 디스플레이들의 예들이 설명되고, 이어서 이들의 동작 및 입력 상호작용이 설명된다.
1. 착용식 헤드업 디스플레이 장치들 및 시스템들
도 1은 착용식 헤드업 디스플레이 장치의 일 실시예를 도시한다. 도 1은 안경(102)을 착용식 헤드업 디스플레이 장치의 일례로서 도시하지만, 다른 타입의 착용식 헤드업 디스플레이들이 추가로 또는 대안으로 사용될 수 있다. 도 1에 도시된 바와 같이, 안경(102)은 렌즈 프레임들(104, 106)을 포함하는 프레임 요소들, 각각의 렌즈 요소들(108, 110), 센터 프레임 지지대(112), 2개의 연장하는 측부 아암(side-arm)(114, 116) 및 손가락 조작형 터치 패드들(122, 124)을 포함한다. 센터 지지대(112) 및 2개의 연장 측부 아암(114, 116)은 각각 사용자의 코 및 귀를 통해 사용자의 얼굴에 안경(102)을 고정하도록 구성된다. 프레임 요소들(104, 106, 112) 및 측부 아암들(114, 116) 각각은 플라스틱 또는 금속의 속이 찬 구조로 형성될 수 있거나, 배선 또는 컴포넌트 상호접속들이 안경(102)을 통해 내부에 라우팅되는 것을 가능하게 하기 위해 유사한 재료의 속이 빈 구조로 형성될 수 있다. 측부 아암들(114, 116) 각각은 디스플레이 요소로부터 떨어져 연장하고 디스플레이 요소를 사용자에게 고정하는 데 사용되는 돌기의 일례이다. 돌기는 플라스틱 또는 금속과 같은 단단한 또는 조금 단단한 재료로 형성될 수 있지만, 예를 들어 탄성체 또는 고무를 포함하는 다른 재료들로도 형성될 수 있다. 디스플레이 요소를 사용자의 귀에 고정하는 것에 더하여, 돌기는 추가로 또는 대안으로서 사용자의 머리의 후방 부분 주위로 연장함으로써 또는 아마도 머리 장착 헬멧 구조에 접속함으로써 디스플레이 요소를 사용자에 고정할 수 있다. 다른 가능성도 존재한다.
도 2는 착용식 헤드업 디스플레이 시스템의 일 실시예를 도시한다. 도 2에 도시된 바와 같이, 착용식 헤드업 디스플레이 시스템(200)은 접속(206)을 통해 컴퓨팅 장치(202)에 결합된 안경(102)을 포함할 수 있다. 컴퓨팅 장치(202)의 구조는 도 9와 관련하여 더 상세히 설명될 것이다. 일 실시예에서, 컴퓨팅 장치(202)는 안경(102) 자체 내에 통합될 수 있다. 다른 실시예에서, 컴퓨팅 장치(202)는 예를 들어 모자 또는 헬멧 내에 통합된 머리 장착 컴퓨팅 장치일 수 있거나, 예를 들어 허리 장착 셀폰 또는 개인용 휴대 단말기 내에 통합된 신체 장착 컴퓨팅 장치일 수 있다. 접속(206)은 유선 및/또는 무선 링크일 수 있다. 유선 링크는 예를 들어 병렬 버스 또는 유니버설 직렬 버스(USB)와 같은 직렬 버스를 포함할 수 있다. 무선 링크는 많은 가능성 가운데 특히 예를 들어 블루투스, IEEE 802.11, 셀룰러(GSM, CDMA, UMTS, EV-DO, WiMAX 또는 LTE 등) 또는 지그비(Zigbee)를 포함할 수 있다. 접속(206)은 데이터 및/또는 명령들을 안경(102)으로 그리고/또는 그로부터 전송하고, 손가락 조작형 터치 패드들(122, 124)로부터 수신된 입력을 전송하고/하거나, 각각의 렌즈(108 및/또는 110) 상에 표시할 디스플레이 데이터를 전송하도록 기능할 수 있다.
도 3은 디스플레이 요소들을 포함하는 착용식 헤드업 디스플레이 장치의 일 실시예를 도시한다. 도 3에 도시된 바와 같이, 렌즈들(108, 110)은 디스플레이 요소들로서 작용할 수 있다. 안경(102)은 측부 아암(116)의 내면에 결합되고 렌즈(108)의 내면 상에 디스플레이를 투영하도록 구성된 미니어처 프로젝터(302)를 포함할 수 있다. 예를 들어, 투영된 디스플레이는 현재 시간(304)을 포함할 수 있다. 추가로 또는 대안으로서, 제2 프로젝터(306)가 측부 아암(114)의 내면에 결합되고, 렌즈(110)의 내면 상에 디스플레이를 투영하도록 구성될 수 있다. 예를 들어, 투영된 디스플레이는 시스템(200)과 관련된 현재 배터리 레벨(308)을 포함할 수 있다. 게다가, 신호 강도 지시기(310)가 (원격 디스플레이(210)와의 접속(208)과 같은) 무선 접속과 관련된 신호 강도의 지시를 사용자에게 제공할 수 있다. 지시기(310)는 복수의 신호 강도 바를 제공하는 것으로 도시되지만, 수치 텍스트, 라인 그래프 등과 같은 다른 타입의 신호 강도 디스플레이들도 사용될 수 있다.
도 3에서, 렌즈들(108, 110)은 광 투영 시스템 내의 결합기로서 작용하며, 프로젝터들(302, 306)로부터 그들 상으로 투영된 광을 반사하는 코팅을 포함할 수 있다. 일부 실시예들에서, (예를 들어, 프로젝터들(302, 306)이 스캐닝 레이저 장치들일 때) 특별한 코팅이 필요하지 않을 수 있다. 물론, 다른 타입의 디스플레이 요소들도 사용될 수 있다. 예를 들어, 렌즈(108, 110) 자체가 전기 발광(EL) 디스플레이 또는 액정 디스플레이(LCD)와 같은 투명 또는 반투명 매트릭스 디스플레이를 포함할 수 있다. 그러한 매트릭스 디스플레이를 구동하기 위해 대응하는 디스플레이 드라이버가 렌즈 프레임들(104, 106) 내에 배치될 수 있다. 대안으로서 또는 추가로, 레이저 또는 LED 소스 및 스캐닝 시스템을 이용하여, 사용자의 하나 이상의 눈의 망막 상에 직접 래스터 디스플레이를 그릴 수 있다. 다른 가능성도 존재한다.
도 2를 다시 참조하면, 착용식 헤드업 디스플레이 시스템(200)은 또한 접속(208)을 통해 원격 장치(210)와 통신할 수 있다. 접속(208)은 접속(206)관련하여 전술한 하나 이상의 특성을 갖는 유선 및/또는 무선 링크일 수 있다. 원격 장치(210)는 착용식 헤드업 디스플레이 시스템(200)과 관련된 장치(또는 그의 사용자, 도시되지 않음)일 수 있으며, 셀폰, 개인용 휴대 단말기(PDA) 또는 소정의 다른 장치일 수 있다. 예를 들어, 원격 장치(210)는 블루투스 능력을 갖는 셀폰일 수 있으며, 각각의 렌즈(108 및/또는 110) 상에 표시할 정보를 제공할 수 있거나, 손가락 조작형 터치 패드들(122, 124)을 통해 수신된 입력 동작들에 응답하여 데이터 또는 명령어들의 전송을 위한 타겟을 제공할 수 있다. 접속(208)은 하나 이상의 기지국, 라우터, 스위치, LAN, WLAN, WAN, 액세스 포인트 또는 다른 네트워크 기반 구조를 포함할 수 있다. 예를 들어, 원격 장치(210)는 인터넷을 통해 액세스 가능할 수 있으며, 특정 웹 서비스(예를 들어, 소셜 네트워킹, 사진 공유, 주소록 등)와 관련된 컴퓨팅 클러스터를 포함할 수 있다.
도 4는 사용자로 하여금 안경(102) 및 컴퓨팅 장치(202)와 상호작용하는 것을 가능하게 하는 안경(102)을 위한 다양한 입력 인터페이스들의 일 실시예를 도시한다. 입력 인터페이스들은 많은 가능한 입력 요소 가운데 특히 손가락 조작형 터치 패드(122), 움직임 센서(402) 및 마이크(404) 중 하나 이상을 포함할 수 있다. 도 4는 측부 아암(116)의 측면도를 도시하지만, 추가적인 그리고 유사한 입력 인터페이스들이 측부 아암(114) 상에 제공될 수 있다. 예를 들어, 도 3에 도시된 바와 같이, 추가적인 손가락 조작형 터치 패드(124)가 측부 아암(114) 상에 제공될 수 있다.
도 4를 다시 참조하면, 손가락 조작형 터치 패드(122)는 많은 다른 가능성 가운데 특히 용량 감지, 저항 감지 및/또는 표면 음파(SAW) 프로세스를 통해 터치 패드(122)의 표면에 대해 (예로서, 도 4의 표면에 평행한) 면 방향을 따르는 손가락의 위치 및 움직임 중 적어도 하나를 감지할 수 있다. 게다가, 손가락 조작형 터치 패드(122)는 아마도 터치 패드(122)에 인가되는 압력의 레벨을 감지하는 것을 포함하여, 터치 패드(122)의 표면에 수직인 (예로서, 도 4의 표면 안으로의) 방향으로의 손가락의 움직임을 감지할 수 있다.
용량성 터치 패드에서는, 하나 이상의 절연층이 하나 이상의 도전층으로 코팅되며, 하나 이상의 도전층 중 적어도 하나에 구동 신호가 인가된다. 사용자의 신체는 도체로서 작용하므로, 사용자의 손가락으로 패드를 터치하는 것은 적어도 하나의 도전층의 정전기장의 왜곡을 유발하며, 이는 용량 변화로서 측정 가능하다. 상이한 용량 기술들을 이용하여 터치의 위치를 결정할 수 있다. 예를 들어, 표면 용량 방법에서는, 절연층의 일측만이 도전층으로 코팅된다. 이어서, 도전층에 낮은 전압이 인가되어 정전기장을 유발한다. 사용자의 손가락이 터치 패드 표면을 터치할 때, 커패시터가 동적으로 형성되며, 제어기가 용량 변화로부터 간접적으로 터치의 위치를 결정할 수 있다. 대안으로서, 상호 용량 방법에서는, 절연층에 의해 분리된 수직 및 수평 배열된 구동 라인들(예로서, 2개의 도전층)이 형성된다. 손가락을 어레이의 표면에 접근시키는 것은 분리된 구동 라인들의 교점 주위의 국지적 정전기장을 변화시켜, 대응하는 교차 영역들에서 구동 라인들 간의 상호 용량을 변화시킨다. 구동 라인들의 각각의 교점에서 용량 변화가 동시에 측정될 수 있으므로, 상호 용량을 이용하여 복수의 위치(다중 터치)에서 터치 위치들을 결정할 수 있다.
저항성 터치 패드에서는, 수평 및 수직 라인들을 갖는 2개의 도전층이 절연성 갭(예로서, 유리, 플라스틱, 공기 등)에 의해 분리되어 형성되며, 제1 도전층에 전압 기울기가 인가된다. 터치 패드의 표면과의 접촉이 행해질 때, 2개의 도전층은 함께 눌러지며, 제2 시트는 전압을 제1 시트를 따른 거리로서 측정하여, X 좌표를 제공한다. X 접촉 좌표가 획득된 후, Y 좌표를 확인하기 위해 제2 전압 기울기가 제2 시트에 인가된다. 이러한 2개의 동작은 접촉이 행해진 터치 위치를 제공한다.
SAW 터치 패드에서는, 패드 자체 전반에 도전층이 배치되지 않는다. 오히려, 송신 및 수신 트랜스듀서들 및 반사기들이 트랙 패드의 에지들에 배치된다. 송신 트랜스듀서들에 의해 방출되는 파동들은 반사기들을 통해 터치 패드를 통해 X 및 Y 방향으로 그리고 수신 트랜스듀서들로 반사된다. 손가락이 스크린을 터치할 때, 파동들의 일부가 흡수되어, 터치 이벤트 및 그에 대응하는 위치가 제어 회로에 의해 검출되게 한다.
본 명세서에서 여러 타입의 터치 패드가 설명되지만, 다른 현재 이용 가능한 그리고 다른 미래에 개발될 터치 검출 방법들이 본 발명의 범위 내에 포함된다.
도 4에 도시된 바와 같이, 측부 아암(116)의 폭은 터치 패드(122)가 형성되는 영역에서 더 두껍게 그리고 터치 패드(122)가 형성되지 않는 영역에서 더 얇게 형성될 수 있으며, 따라서 모든 평면 방향(예로서, 360도)에서 또는 상, 하, 전, 후와 같은 적어도 두 쌍의 정반대 방향들에서 손가락 움직임을 검출하는 데 충분한 공간이 제공될 수 있다.
터치 패드(122)의 영역에서의 측부 아암(116)의 확장된 폭은 사용자의 눈의 주변 시야를 방해할 수 있고/있거나, 광의 진입을 차단할 수 있으므로, 측부 아암(116) 및/또는 터치 패드(122)는 반투명한 또는 실질적으로 투명한 재료로 형성될 수 있다. 예를 들어, 측부 아암(116)은 아크릴(폴리메틀라메타크릴레이트), 부티레이트(셀룰로스 아세테이트 부티레이트), 렉산(폴리카보네이트) 및 PETG(글리콜 개질 폴리에틸렌 테르프탈레이트)와 같은 반투명한 또는 실질적으로 투명한 플라스틱 재료로 형성될 수 있다. 다른 타입의 플라스틱들도 사용될 수 있다. 플라스틱과 다른 반투명한 또는 실질적으로 투명한 재료들도 사용될 수 있다.
터치 패드(122)는 하나 이상의 반투명한 또는 투명한 절연성(예로서, 유리 또는 플라스틱) 층 및 하나 이상의 반투명한 또는 투명한 도전성(예로서, 금속) 층으로 형성될 수 있다. 유리는 극심한 가열 및 고속 냉각의 프로세스를 통해 제조된 강화 유리일 수 있다. 플라스틱은 폴리이미드, 폴리에틸렌 또는 폴리에스테르 계열의 플라스틱 막일 수 있다. 다른 타입의 반투명한 그리고/또는 실질적으로 투명한 유리들 및 플라스틱들도 사용될 수 있다. 도전층은 인듐 주석 산화물(ITO)과 같은 금속 산화물로 형성될 수 있다. 다른 타입의 절연성 및 도전성 층들도 사용될 수 있다.
터치 패드(122)의 에지들은 상승된, 톱니형 또는 거친 표면을 갖도록 형성되어, 사용자의 손가락이 터치 패드(122)의 에지에 닿을 때 사용자에게 촉각 피드백을 제공할 수 있다. 그러한 구조는 또한, 키보드의 "F" 및 "J" 키들 상에 통상적으로 제공되는 물리적 돌출부들이 타이피스트로 하여금 그의 손가락들을 키보드 상에 빠르게 정확히 배치하는 것을 가능하게 하는 방식과 유사하게, (터치 패드(122)의 위치에 관하여 제한된 시각적 단서를 갖거나 전혀 갖지 않은) 사용자로 하여금 측부 아암(116) 상에서 터치 패드(122)를 빠르게 찾는 것을 가능하게 할 수 있다. 물론, 상승된, 톱니형 그리고/또는 거친 표면은 대안으로서 또는 추가로 터치 패드(122)의 에지를 바로 지나 측부 아암(116) 내에 형성될 수 있다. 유사한 거친, 상승된 또는 톱니형 요소가 터치 패드(122)의 실질적으로 중앙에 제공되어, 사용자에게 추가적인 촉각적 단서들을 제공할 수 있다.
움직임 센서(402)는 안경(102)의 프레임 요소 상에 또는 그 안에 제공될 수 있으며, 사용자의 움직임을 추적하도록 구성되는 입력 장치로서 작용할 수 있다. 움직임 센서(402)는 많은 옵션 가운데 특히 가속도계, 자기계 또는 자이로스코프 중 하나 이상을 포함할 수 있다. 가속도계는 가속도를 측정하는 장치이다. 단일 및 다중 축 모델들이 가속도의 크기 및 방향을 벡터량으로서 검출할 수 있으며, 배향, 가속도, 진동 충격 및 낙하를 감지하는 데 사용될 수 있다. 자이로스코프는 각 운동량의 보존의 원리에 기초하여 배향을 측정하거나 유지하기 위한 장치이다. 일 타입의 자이로스코프, 즉 마이크로 전기 기계 시스템(MEMS) 기반 자이로스코프는 튜닝 포크, 진동 휠 및 공진 고체들 중 하나 이상의 리소그라피 구축 버전들을 이용하여 배향을 측정한다. 다른 타입의 자이로스코프들도 사용될 수 있다. 자기계는 장치 근처의 자기장의 강도 및/또는 방향을 측정하는 데 사용되는 장치이며, 사람 또는 장치가 향하고 있는 방향을 결정하는 데 사용될 수 있다. 다른 타입의 움직임 센서들이 추가로 또는 대안으로 사용될 수 있다.
움직임 센서(402)는 예를 들어 안경(102)을 착용한 사용자가 그의 머리 또는 신체를 언제, 얼마나 많이 그리고 아마도 얼마나 빠르게 우로, 좌로 회전 또는 이동시키거나, 위로 또는 아래로 기울였는지를 결정하는 데 사용될 수 있다. 센서(402)는 또한 사용자가 향하고 있는 주요 방향을 결정할 수 있다.
마이크(404)는 사운드를 전기 신호로 변환하는 임의의 음향 대 전기 트랜스듀서 또는 센서일 수 있다. 예를 들어, 마이크(404)는 많은 기술 가운데 특히 전자기 유도, 용량 변화, 압전 생성 또는 광 변조를 이용하여, 기계적 진동으로부터 전압 신호를 생성할 수 있다. 마이크(404)는 컴퓨팅 장치(202)의 음성 인식 프로그램과 통신하여, 사용자가 컴퓨팅 장치(202)로 하여금 특정 액션(들)을 취하게 하는 음성 명령들을 말할 수 있게 해준다. 마이크(404)는 다른 목적을 위해서도 사용될 수 있다.
하나의 터치 감지 패드(122), 하나의 움직임 센서(402) 및 하나의 마이크(404)가 도 4에 도시되지만, 일부 실시예들에서는 이러한 장치들의 서브세트가 제공될 수 있다. 적어도 하나의 실시예에서, 복수의 터치 감지 패드가 측부 아암(116) 및/또는 측부 아암(114) 상에 배치될 수 있다. 다른 실시예에서, (동일 또는 상이한) 마이크들의 어레이 또는 (동일 또는 상이한) 움직임 센서들의 어레이가 측부 아암(116) 및/또는 측부 아암(114) 상에 제공될 수 있다. 게다가, 도 4에 도시된 것과 다른 형상 및 치수를 갖는 터치 패드(122)가 제공될 수 있다.
입력 인터페이스는 (아마도 접속(206)을 통해) 컴퓨팅 장치(202)에 유선 또는 무선 결합되어, 사용자로 하여금 착용식 헤드업 디스플레이 시스템(200)의 설정들 및 특징들을 제어하고, 다른 착용식 헤드업 디스플레이들과 통신하고, 센서(402)로부터 배치 및/또는 움직임 정보를 제공하고/하거나, 렌즈(108, 110) 상의 디스플레이들을 제어하고 이들과 상호작용하는 것을 가능하게 할 수 있다.
2. 착용식 헤드업 디스플레이 시스템을 이용하는 입력 상호작용들
도 5 및 6은 터치 패드들(122, 124) 중 하나 이상이 안경(102)과 상호작용하는 데 사용될 수 있는 예시적인 입력 상호작용들을 도시한다. 도 5는 (이메일과 같은) 텍스트의 디스플레이와 관련된 입력 명령들 및 이들의 관련 기능들의 디스플레이를 도시하고, 도 6은 실세계 객체들과의 상호작용과 관련된 입력 명령들 및 이들의 관련 기능들의 디스플레이를 도시한다. 물론, 이들 도면은 사실상 예시적일 뿐이며, 입력 명령들 및 관련 기능들의 많은 다른 응용 및 조합이 본 발명에 비추어 가능하다.
도 5는 (이메일 인박스 내의 이메일들과 같은) 표시된 텍스트와의 상호작용들이 터치 패드들(122, 124) 중 하나 이상을 통해 달성될 수 있는 일 실시예를 도시한다. 이 실시예에서, 터치 패드(122) 또는 터치 패드(124) 중 하나가 조작될 수 있으며, 동일한 입력 기능이 입력에 응답하여 안경(102)에 의해 수행될 수 있다. 안경(102)의 각 측에 터치 패드들(122, 124)을 제공하는 것의 한 가지 장점은 동일 안경(102)이 왼손잡이 및 오른손잡이 사용자들 양자에 의해 자연스럽게 사용될 수 있다는 것이다.
도 5는 양 렌즈(108, 110) 상의 상이한 내용의 동시 디스플레이를 도시하지만, 사람의 이중 초점 시야의 중복 영역들 내의 그러한 동시적인 내용 디스플레이들은 2개의 상이한 디스플레이를 결합하고 이해하려는 두뇌의 시도의 결과로서 사용자를 혼동 및/또는 혼란시킬 수 있다. 따라서, 그러한 혼동 및/또는 혼란을 방지하기 위한 단계들이 취해질 수 있다. 일 실시예에서는, 양 렌즈(108, 110)가 중복 내용으로 채워질 수 있고, 사용자는 한 번에 하나의 렌즈(108, 110)에 집중하기 위해 한쪽 눈을 감도록 요청 또는 지시될 수 있다. 다른 실시예에서는, 렌즈들(108, 110) 중 하나만이 임의의 한 시기에 도 5에 도시된 정보를 포함하도록 구성된다. 추가적인 실시예에서는, 양 렌즈(108, 110)가 채워질 수 있지만, 디스플레이들(108, 110) 중 하나의 디스플레이의 대응하는 중복 부분들이 제거되거나, 희미해지거나, 얼룩지거나, 증대되어, 표시된 내용의 교차 영역들에서의 시각적 혼동 및/또는 혼란이 방지될 수 있다. 다른 가능성도 존재한다.
도 5에 도시된 바와 같이, 투영 장치(306)에 의해 렌즈(110) 상에 투영된 내용 디스플레이(500)는 아마도 안경(102)의 사용자와 관련된 이메일 인박스로부터 검색되어 원격 장치(210)에 저장된 이메일의 텍스트를 포함할 수 있다. 이메일 텍스트는 복수의 이용 가능 이메일 중 하나의 이메일만을 나타낼 수 있다. 스크롤 바(502)는 텍스트가 검색된 이메일의 나머지에 대한 표시된 텍스트의 상대적 위치의 지시를 제공할 수 있다.
사용자가 내용 디스플레이(500)와 인터페이스하기 위해 터치 패드(122 또는 124)를 어떻게 사용할지를 결정하는 것을 돕기 위해 그리고 내용 디스플레이(500)를 나타내기 전에, 요청시에 또는 주기적으로, 터치 패드들(122, 124) 중 하나 이상에서 실행될 수 있는 이용 가능 입력 명령들 및 이들의 관련 기능들을 사용자에게 알리도록 의도된 도움(help) 디스플레이(504)가 투영 장치(302)를 통해 렌즈(108) 상에 표시될 수 있다. 도움 디스플레이(504)가 표시되고 있는 시간 동안, 내용 디스플레이(500)가 렌즈(110)로부터 제거되거나, 내용 디스플레이(500)의 대응하는 중복 부분들이 증대되거나, 사용자가 렌즈(110)를 통해 보고 있는 대응하는 눈을 감도록 요청 또는 지시될 수 있다. 이 예에서, 도움 디스플레이(504)는 스크롤 업 명령(506), 스크롤 다운 명령(508), 다음 이메일 명령(510) 및 이전 이메일 명령(512)을 포함한다. 명령들(506-512) 각각은 관련 기능을 실행하기 위해 터치 패드들(122 및/또는 124) 중 하나에서 실행될 수 있는 입력 동작을 나타내는 대응하는 심벌과 함께 표시된다. 예를 들어, 스크롤 다운 명령(508)은 (하향 화살표 심벌에 의해 지시되는 바와 같이) 사용자가 그의 손가락을 터치 패드(124)를 통해 아래 방향으로 스와이핑함으로써 실행될 수 있다. 스크롤 다운 명령의 수신에 응답하여, 컴퓨팅 장치(202)는 내용 디스플레이(500)가 이전에 표시되지 않은 추가 텍스트를 이용하여 갱신되게 할 수 있으며, 스크롤 바(502)로 하여금 텍스트가 당겨진 이메일의 길이만큼 아래로 전진하게 할 수 있다. (상향 화살표 심벌에 의해 지시되는 바와 같이) 스크롤 업 명령(506)은 내용 디스플레이(500)가 이전에 표시된 텍스트를 이용하여 갱신되게 할 수 있으며, 스크롤 바(502)로 하여금 텍스트가 당겨진 이메일의 길이만큼 위로 돌아가게 할 수 있다.
다음 이메일 명령(510)은 내용 디스플레이(500)로 하여금 사용자와 관련된 이메일 인박스로부터의 다음 이메일(예를 들어, 더 최근에 수신된 또는 덜 최근에 수신된 이메일)에 대응하는 텍스트를 이용하여 갱신되게 할 수 있다. 이전 이메일 명령(512)은 내용 디스플레이(500)로 하여금 아마도 이전에 내용 디스플레이(500)에 표시된 이전 이메일에 대응하는 텍스트를 이용하여 갱신되게 할 수 있다. 다른 명령들 및 다른 타입의 텍스트, 심벌들 또는 이미지들도 사용될 수 있다.
일 실시예에서, 명령들 및 이들의 관련 기능들은 사용자에 의해 변경될 수 있다. 예를 들어, 도 5에서는 터치 패드(124)를 통한 순방향 스와이프가 다음 이메일의 로딩과 관련되지만, 일부 사용자들에게는 터치 패드(124)를 통한 역방향 스와이프가 다음 이메일일 로딩하는 것이 더 직관적일 수 있다. 명령들과 관련 기능들 사이의 연관성은 예를 들어 컴퓨팅 장치(202) 내의 리스트 또는 데이터베이스 내에 그리고/또는 원격 장치(210)에 저장될 수 있다. 국지적으로 또는 원격적으로 액세스 가능한 인터페이스가 사용자로 하여금 저장된 리스트 또는 데이터베이스에 액세스하여 연관성을 변경하는 것을 가능하게 할 수 있다. 예를 들어, 사용자는 유선 또는 무선 접속을 통해 컴퓨팅 장치(202) 및/또는 원격 장치(210)에 액세스하고, 터치 패드(124)를 통한 순방향 스와이프 대신에 역방향 스와이프와 관련되도록 다음 이메일 명령을 변경할 수 있다. 컴퓨팅 장치(202)(또는 원격 장치(210))는 새로 할당된 역방향 스와이프가 이전에 다른 기능(이전 이메일 기능)에 할당되었다는 것을 인식하는 것에 응답하여 사용자에게 새로운 명령을 이전 이메일 기능과 연관시키도록 요청할 수 있다. 이에 응답하여, 예를 들어, 사용자는 터치 패드(124)를 통한 순방향 스와이프를 이전 이메일 기능과 관련되는 것으로 기록할 수 있다. 새로운 명령의 선택은 사용자가 리스트로부터 새로운 명령을 선택함으로써 실행될 수 있거나, 사용자가 요청시에 터치 패드(124)를 통해 새로운 명령을 입력함으로써(예를 들어, 요청시에 터치 패드(124)를 통해 순방향으로 스와이핑함으로써) 실행될 수 있다. 이러한 방식으로, 입력 명령들의 고유 패턴들이 사용자에 의해 생성될 수 있으며, 요청시에 터치 패드(124)에서 검출된 손가락 모션 패턴을 기록함으로써 사용자별로 개인화될 수 있다.
일 실시예에서, 컴퓨팅 장치(202)에 저장된 리스트 또는 데이터베이스는 애플리케이션별로 맞춤화될 수 있으며, 따라서 예를 들어 다음 이메일 명령에 대한 변경이 웹 브라우징(예로서, 다음 링크 또는 다음 페이지 명령)과 같은 다른 기능들이 아니라 이메일 기능에만 적용될 수 있다. 다른 실시예에서, 리스트 또는 데이터베이스는 변경시에 컴퓨팅 장치(202)에서 실행되는 다른 관련된 또는 모든 기능들에 적용되는 전역적인 명령들을 저장할 수 있다. 다른 가능성도 존재한다.
일부 실시예들에서는, 이메일 애플리케이션이 처음 시작될 때 도움 디스플레이(504)가 렌즈(108 및/또는 110)에 표시되어, 이메일 애플리케이션을 내비게이션하기 위해 터치 패드(122 및/또는 124)를 통해 실행 가능한 이용 가능 입력 명령들을 사용자에게 상기시킬 수 있다. 도움 디스플레이(504)를 소정 기간(예로서, 1-5초) 동안 표시한 후, 도움 디스플레이(504)는 (렌즈(108 및/또는 110) 내에서) 내용 디스플레이(500)로 대체될 수 있다. 나중에, 도움 디스플레이(504)는 요청시에만(아마도, 도움 디스플레이(504)의 표시와 관련된 터치 패드(122 또는 124)를 통한 특정 모션, 도움 디스플레이(504)의 표시와 관련된 터치 패드(122 또는 124)의 특정 영역, 또는 터치 패드(122 또는 124)를 통해 사용자가 내비게이션하는 데 어려움을 겪고 있다는 것을 검출하는, 컴퓨팅 장치(202)에서 실행되는 알고리즘을 통해) 표시될 수 있다. 컴퓨팅 장치(202)는 터치 패드(122 또는 124)를 통한 인식되지 않는 움직임들의 수, 사용자가 반대 명령을 후속적으로 실행함으로써 이전 명령을 "취소"하는(예를 들어, 다음 이메일 명령을 한 번 입력한 후에 이전 이메일 명령을 두 번 입력하는) 횟수, 또는 입력 및 논리의 소정의 다른 조합에 기초하여 사용자가 내비게이션하는 데 어려움을 겪고 있다는 것을 검출할 수 있다.
도 6은 터치 패드들(122, 124) 중 하나 이상을 통해 실세계 객체들과의 상호작용들이 달성될 수 있는 일 실시예를 도시한다. 이 실시예에서, 각각의 터치 패드(122, 124)는 독립적으로 조작될 수 있으며, 상이한 대응하는 기능들을 제공할 수 있다. 독립적으로 조작될 때, 터치 패드들(122, 124) 중 하나는 사용자의 주된 손과 연관될 수 있고, 다른 하나는 사용자의 주되지 않은 손과 연관될 수 있다. 예를 들어, 오른손잡이 사용자가 도 6의 안경을 착용하고 있는 것으로 가정하면, 터치 패드(124)는 사용자의 주된 손과 연관될 것이고, 터치 패드(122)는 사용자의 주되지 않은 손과 연관될 것이다. 이러한 차이에 기초하여 상이한 기능들이 각각의 터치 패드(122, 124)에서 실행되는 유사한 입력 동작들에 할당될 수 있다.
도 6에 도시된 바와 같이, 실세계 객체들(600, 602)은 반투명 및/또는 투명 렌즈들(108, 110)을 통해 관찰될 수 있다. 예를 들어, 실세계 객체(600)는 축구공으로서 표시되고, 실세계 객체(602)는 의자로서 표시된다. 객체들(600, 602)이 (렌즈(108, 110) 내에) 두 번 표시되지만, 실제로는 하나의 각각의 객체(600, 602)만이 존재한다는 것을 이해해야 한다. 도 6의 객체들의 이중화는 (예를 들어, 2개의 약간 다른 오프셋 각도에서 객체들(600, 602)을 보는) 사람 사용자의 실세계 입체 시각 특성들을 반영하는 것을 의도한다. 선택 지시기(604)는 각각의 렌즈(108 및/또는 110) 상에 투영 장치들(302, 306) 중 하나 이상에 의해 투영된 중첩 선택 지시기이다. 안경(102) 상에 배치된 카메라(도시되지 않음)가 사용자의 시야를 캡처하고, 축구공(600) 및/또는 의자(602)와 같은 선택할 특정 객체들을 인식하도록 구성될 수 있다. 도움 디스플레이들(606 및/또는 608)이 렌즈들(108, 110) 상에 투영되어, 실세계 객체들(600, 602)과 상호작용하기 위한 옵션들을 사용자에게 제공할 수 있다. 도움 디스플레이들(606, 608)은 디스플레이들(500, 504)과 유사한 방식으로 표시될 수 있으며, 그들의 제한들과 유사한 제한들을 받을 수 있다. 예를 들어, 도움 디스플레이들(606, 608)은 동시에 표시될 수 있거나, 한 번에 하나만 표시될 수 있거나, 도움 디스플레이들(606, 608) 중 하나가 도움 디스플레이들(606, 608)의 대응하는 중복 영역들에서 증대되도록 표시될 수 있다.
도움 디스플레이(606)는 예를 들어 (예를 들어, 카메라를 통해) 컴퓨팅 시스템(202)에 의해 인식되는 객체를 선택하기 위한 기능들 및 관련 명령들을 제공한다. 예를 들어, 선택 지시기(604)는 컴퓨팅 시스템(202)에 의해 인식되는 복수의 객체 중 임의로 선택된 객체 위에 표시될 수 있다(또는 아마도 안경(102)이 사용자가 가장 관심을 갖는 것이라고 검출하는 객체 위에 표시될 수 있다). 도 6에 도시된 바와 같이, 축구공(600)이 최초로 선택될 수 있다. 선택 지시기(604)는 각각의 투영 장치(302, 304)를 통해 렌즈(108 및/또는 110) 내에 표시될 수 있다. 단일 손가락으로 터치 패드(124)를 더블 탭핑함으로써 도움 디스플레이(606)의 이 객체 선택 명령(610)이 실행될 수 있다(외측 원 내의 도트를 포함하는 심벌로 표시됨). 그러한 방식으로 현재 강조된 객체(예로서, 도 6의 축구공)를 선택하는 것은 선택된 객체에 대해 추가적인 기능들이 실행되는 것을 가능하게 할 수 있다. 예를 들어, 객체가 선택되면, 선택된 객체는 안경(102)과 통합된 이미징 장치(도시되지 않음)를 통해 사진을 촬영하기 위한 초점으로서 사용될 수 있다. 추가로 또는 대안으로서, 선택된 객체의 이미지를 이용하여 이미지 또는 정보 검색이 수행될 수 있다. 예를 들어, 축구공(600)의 이미지를 이용하여, 온라인 검색 기능을 통해 축구공들의 다른 이미지들을 찾거나, 온라인 제품 검색 기능을 수행하여 구매 가능한 축구공들을 찾거나, 일반적으로 축구 스포츠 또는 축구공들과 관련된 정보(역사, 구조 등)를 획득할 수 있다.
단일 손가락으로 터치 패드(124)를 단일 탭핑함으로써 도움 디스플레이(606)의 다른 객체 선택 명령(612)이 실행될 수 있다(빈 원을 포함하는 심벌로 표시됨). 다른 객체 선택 명령(612)은 현재 시야 내의 복수의 인식된 객체 각각을 통해 순환할 수 있다. 예를 들어, 터치 패드(124)의 단일 탭핑은 선택 지시기(604)가 축구공(600)으로부터 의자(602)로 이동하게 할 수 있다(그리고 이와 동시에 선택 지시기(604)가 의자(602)의 크기 및/또는 기하 구조를 수용하기 위해 자신의 형상을 변경하게 할 수 있다). 의자(602)가 선택되면, 터치 패드(124) 상의 단일 손가락을 이용한 더블 탭을 통해 이 객체 선택 명령(610)을 실행하여, 의자(602)에 대한 정보 및/또는 이미지들을 찾을 수 있다. 다른 가능성도 존재한다.
도움 디스플레이(504)와 유사하게, 객체 선택 애플리케이션이 처음 시작될 때 렌즈(108 및/또는 110) 내에 도움 디스플레이(606)를 표시하여, 사용자에게 터치 패드(122 또는 124)를 통해 실행가능한 이용 가능 입력 명령들을 상기시켜 객체 선택 애플리케이션을 내비게이션하게 할 수 있다. 도움 디스플레이(606)를 소정 기간(예로서, 1-5초) 동안 표시한 후, 도움 디스플레이(606)가 제거될 수 있다. 나중에, 도움 디스플레이(606)는 요청시에만(아마도, 도움 디스플레이(606)의 표시와 관련된 터치 패드(122 또는 124)를 통한 특정 모션, 도움 디스플레이(606)의 표시와 관련된 터치 패드(122 또는 124)의 특정 영역, 또는 터치 패드(122 또는 124)를 통해 사용자가 내비게이션하는 데 어려움을 겪고 있다는 것을 검출하는, 컴퓨팅 장치(202)에서 실행되는 알고리즘을 통해) 표시될 수 있다.
도움 디스플레이(608)는 예를 들어 렌즈들(108, 110)을 통해 관찰되고 통합 카메라(도시되지 않음)에 의해 촬영되는 바와 같은 장면의 이미지를 캡처하기 위한 기능들 및 관련 명령들을 제공한다. 예를 들어, 선택 지시기(604)는 명령들(614, 616)을 통한 이미지 캡처 프로세스를 위한 초점을 제공할 수 있다. 도움 디스플레이(608)의 이미지 캡처 명령(614)은 예를 들어 터치 패드(124) 상의 두 손가락 단일 탭에 의해 실행될 수 있으며(2개의 인접하는 빈 원을 포함하는 심벌로 표시됨), 카메라로 하여금 현재 선택된 객체(600)를 초점으로 이용하여 플래시 없이 이미지를 캡처하게 할 수 있다. 도움 디스플레이(606)의 플래시 이용 캡처 명령(616)은 예를 들어 터치 패드(124) 상의 두 손가락 더블 탭에 의해 실행될 수 있으며(각각의 외측 원들 내의 2개의 인접하는 도트를 포함하는 심벌로 표시됨), 카메라로 하여금 현재 선택된 객체(600)를 초점으로 이용하여 플래시를 이용하여 이미지를 캡처하게 할 수 있다. 도움 디스플레이(504)와 관련된 위의 설명과 유사하게, 기능들(614, 616)과 관련된 입력 명령들은 사용자에 의해 변경되고, 컴퓨팅 장치(202)에 저장될 수 있다. 게다가, 도움 디스플레이(606)와 관련된 위의 설명과 유사하게, 도움 디스플레이(608)는 필요한 경우에만 표시될 수 있거나, 그렇지 않은 경우에는 렌즈(110)로부터 제거될 수 있다.
전술한 바와 같이, 터치 패드들(122, 124)은 개별적이고 독립적인 입력을 안경(102)에 제공하는 데 사용될 수 있다. 도 6에 렌즈(110) 상에 도시된 배열에서, 오른손잡이 사용자를 가정하면, 터치 패드(122)는 이미지 캡처 초점 목적을 위해 선택 지시기(604)의 대동작 이동을 제공할 수 있으며, 터치 패드(124)는 (동일 또는 상이한 목적을 위해) 선택 지시기(604)의 미세 동작 이동을 제공할 수 있다. 예를 들어, 터치 패드(122)는 사용자가 터치 패드(122)를 통한 비교적 짧은 상향 스와이프를 통해 선택 지시기(604)를 사용자의 시야의 정상으로 빠르게 이동시키는 것을 가능하게 할 수 있다(예를 들어, 터치 패드(122)를 통한 수직 방향으로의 최대한의 스와이프는 사용자의 시야 전체의 선택 지시기(604)의 50% 이상의 이동을 유발할 수 있다). 한편, 터치 패드(124)는 사용자가 초점 선택을 미세 조정하기 위해 선택 지시기(604)를 작은 증가분만큼씩 이동시키는 것을 가능하게 할 수 있다(예를 들어, 터치 패드(124)를 통한 수직 방향으로의 최대한의 스와이프는 사용자의 시야 전체의 선택 지시기(604)의 10% 이하의 이동을 유발할 수 있다). 터치 패드들(122, 124) 사이의 대동작 및 미세 동작 입력을 이용하는 다른 응용들도 구현될 수 있다.
도 7a는 안경(102)과 상호작용하기 위한 추가적인 또는 대안적인 실시예를 도시한다. 도 7a에 도시된 바와 같이, 이미지 캡처 장치(702) 및 광원(704)이 (터치 패드(122)에 더하여 또는 그 대신) 측부 아암(116)에 결합될 수 있다. 광원(704) 및 이미지 캡처 장치(702)는 개별 장치들로서 도시되지만, 이들은 단일 장치로 결합될 수 있다. 광원(704) 및 이미지 캡처 장치(702)는 사용자의 손가락의 표면을 조명하고, 사용자의 손가락의 표면에서 고유하고 미세한 패턴들을 검출하도록 함께 동작한다. 이러한 패턴들의 이미지들을 초당 여러 번(예를 들어, 초당 수백 또는 수천 번 정도) 캡처함으로써, 사용자의 손가락의 근소한 움직임들이 기준 프레임(이전 이미지)과 현재 프레임(현재 이미지)의 비교에 의해 검출될 수 있으며, 그 차이는 컴퓨팅 장치(202)에 입력할 대응하는 움직임들로 변환될 수 있다. 광원(704)은 예를 들어 가시(예로서, 적색) 또는 비가시(예로서, 적외선) 스펙트럼의 광을 방출하는 레이저 또는 LED일 수 있다. 이미지 캡처 장치(702)는 광원(704)에 의해 방출되는 범위 내의 파장들을 검출할 수 있는 상보형 금속-산화물-반도체(CMOS) 또는 전하 결합 소자(CCD) 이미지 캡처 장치일 수 있다. 이미지 캡처 장치(702) 및 광원(704)을 통한 안경(102)과의 인터페이싱은 도 1-6과 관련하여 전술한 것과 동일한 방식으로 달성될 수 있다.
도 7b는 안경(102)과 상호작용하기 위한 다른 추가적인 또는 대안적인 실시예를 도시한다. 도 7b에 도시된 바와 같이, 터치 패드(706)는 측부 아암(116)에 결합되고, 측부 아암(116)의 에지들을 지나서 연장할 수 있다. 이러한 배열은 추가적인 제스처 공간을 제공하고, 사용자로 하여금 더 향상된 입력 패턴들을 생성할 수 있게 해주지만, 또한 도 4의 통합 터치 패드(122)보다 사용자의 시야로부터 더 많은 광을 차단하며, 사용자의 주변 시야를 더 많이 차단한다. 따라서, 이 시나리오에서는, 터치 패드(706)의 반투명성 및/또는 투명성의 레벨이 더 중요해질 수 있다. 게다가, 유리하게는, 이 배열에서 터치 패드(706)가 측부 아암(116)으로부터 제거될 수 있고, 헤드업 디스플레이 사용자가 필요로 할 때만 부착될 수 있다. 제거 가능 파스너들은 특히 벨크로(Velcro), 훅 및 태브(tab), 버튼, 스냅, 마찰 피팅, 나사, 스트라이크 및 래치 피팅, 압축 피팅, 리벳 및 쇠고리(grommet)를 포함할 수 있다. 영구 파스너들이 추가로 또는 대안으로 사용될 수 있다. 터치 패드(706)에 대한 전기 접속이 측부 아암(116)의 외면 상의 커넥터를 통해 제공될 수 있으며, 터치 패드(706)와 컴퓨팅 장치(202) 간의 통신이 유선 또는 무선 접속을 통해 이루어질 수 있다. 터치 패드(706)를 통한 안경(102)과의 인터페이싱은 도 1-6과 관련하여 전술한 것과 동일한 방식으로 달성될 수 있다.
도 5-7은 터치 패드들(122 및/또는 124)과 관련된 입력 명령들에 초점을 맞추었지만, 일 실시예에서 도움 디스플레이들(500, 504, 606, 608)은 움직임 센서(408)에 의해 검출될 수 있는 움직임들과 관련된 명령들 및 대응하는 심벌들 및 마이크(410)에 의해 검출될 수 있는 음성 명령들과 관련된 명령들 및 심벌들도 포함할 수 있다.
도 8은 안경(102)과 같은 헤드업 디스플레이와 인터페이스하는 예시적인 방법(800)을 나타내는 흐름도이다. 방법(800)은 제1 디스플레이 단계(802), 입력 단계(804) 및 제2 디스플레이 단계(806)를 포함한다.
단계 802에서, 착용식 헤드업 디스플레이의 적어도 하나의 디스플레이 요소에 디스플레이 정보가 제공된다. 이 디스플레이 정보는 현재 실행 애플리케이션에 관한 하나 이상의 지원되는 기능을 포함할 수 있으며, 각각의 기능에 대해, 대응하는 기능이 실행되거나 대응하는 선택이 선택되게 하기 위해 입력 장치에서 실행될 수 있는 관련 입력 명령(심벌을 통해 도시됨)을 포함할 수 있다. 관련 입력 명령들은 컴퓨팅 장치(202) 및/또는 원격 장치(210)에 저장된 리스트 또는 데이터베이스로부터 로딩될 수 있으며, 컴퓨팅 장치(202)에 의해 실행되고 있는 현재 애플리케이션의 결정에 따라 다를 수 있다.
단계 804에서, 입력 장치의 표면에 대해 면 방향을 따르는 손가락의 위치 또는 움직임에 관한 입력 정보가 결합된 손가락 조작형 입력 장치로부터 수신된다. 이 입력 정보는 단계 802에서 디스플레이 정보 내에 포함된 관련 입력 명령들 중 하나와 동일하거나 등가인 것으로 인식될 수 있다. 단계 806에서, 입력 정보의 수신에 응답하여 새로운 디스플레이 정보가 적어도 하나의 디스플레이 요소(및 아마도 단계 802에서와 동일한 적어도 하나의 디스플레이 요소)에 제공된다.
3. 착용식 헤드업 디스플레이 시스템을 위한 예시적인 하드웨어
도 9는 본 명세서에서 설명되는 적어도 일부 실시예들에 따라 배열된 전술한 착용식 헤드업 디스플레이들을 지원하기 위한 컴퓨팅 장치(202)의 기능 블록도이다. 컴퓨팅 장치(202)는 개인용 컴퓨터, 이동 장치, 셀룰러 폰, 비디오 게임 시스템, 글로벌 포지셔닝 시스템 또는 다른 전자 시스템일 수 있다. 매우 기본적인 구성(901)에서, 컴퓨팅 장치(202)는 통상적으로 하나 이상의 프로세서 또는 제어기(프로세서)(910) 및 시스템 메모리(920)를 포함한다. 프로세서(910)와 시스템 메모리(920) 사이의 통신을 위해 메모리 버스(930)가 사용될 수 있다. 원하는 구성에 따라, 프로세서(910)는 마이크로프로세서(μP), 마이크로컨트롤러(μC), 디지털 신호 프로세서(DSP) 또는 이들의 임의 조합을 포함하지만 이에 한정되지 않는 임의의 타입일 수 있다. 메모리 제어기(915)도 프로세서(910)와 함께 사용될 수 있거나, 일부 구현들에서는 메모리 제어기(915)가 프로세서(910)의 내부 요소일 수 있다.
원하는 구성에 따라, 시스템 메모리(920)는 (RAM과 같은) 휘발성 메모리, (ROM, 플래시 메모리 등과 같은) 비휘발성 메모리 또는 이들의 임의 조합을 포함하지만 이에 한정되지 않는 임의의 타입일 수 있다. 시스템 메모리(920)는 통상적으로 하나 이상의 애플리케이션(922) 및 프로그램 데이터(924)를 포함한다. 애플리케이션(922)은 본 발명에 따라 손가락 조작형 터치 패드들과 같은 입력 장치들을 제어하고 이들과 인터페이스하도록 배열된 입출력 장치 인터페이스 알고리즘들(923)과 같은 알고리즘들을 포함할 수 있다. 본 발명의 흐름 또는 메시지 도면들 내의 다른 프로세스 설명들, 단계들 또는 블록들은 프로세스에서의 특정 논리 기능들 또는 단계들을 구현하기 위해 애플리케이션 메모리(922)에 저장되어 있는 하나 이상의 실행가능한 명령어를 포함하는 코드의 모듈들, 세그먼트들 또는 부분들을 잠재적으로 표현하는 것으로서 이해되어야 하며, 이 분야의 통상의 기술자들이 이해하는 바와 같이, 관련된 기능에 따라 실질적으로 동시 또는 역순을 포함하는, 도시되고 설명된 것과 다른 순서로 기능들이 실행될 수 있는 방법들의 바람직한 실시예들의 범위 내에 대안 구현들이 포함된다.
프로그램 데이터(924)는 특히, 대응하는 손가락 조작형 터치 패드 조작들(또는 다른 입력 인터페이스들)을 통해 실행될 수 있고 하나 이상의 디스플레이 장치(992)로 전송되는 디스플레이 데이터 내에 포함될 수 있는 명령들에 대응하는 디스플레이 심벌들(925)을 포함할 수 있다. 일부 실시예들에서, 애플리케이션 메모리(922)에 저장된 애플리케이션들은 프로그램 데이터(924)를 이용하여 동작하도록 배열될 수 있다. 컴퓨팅 장치(202)는 추가적인 특징들 또는 기능, 및 기본 구성(901)과 임의의 장치들 및 인터페이스들 간의 통신을 용이하게 하기 위한 추가적인 인터페이스들을 구비할 수 있다. 예를 들어, 데이터 저장 장치들(950)은 이동식 저장 장치들(951), 비이동식 저장 장치들(952) 또는 이들의 조합일 수 있다. 이동식 저장 및 비이동식 저장 장치들의 예는 몇 가지 예로서 플렉시블 디스크 드라이브 및 하드 디스크 드라이브(HDD)와 같은 자기 디스크 장치들, 컴팩트 디스크(CD) 드라이브 또는 디지털 다기능 디스크(DVD) 드라이브와 같은 광 디스크 드라이브들, 반도체 드라이브들(SSD) 및 테이프 드라이브들을 포함한다.
컴퓨터 저장 매체는 컴퓨터 판독 가능 명령어들, 데이터 구조들, 프로그램 모듈들 또는 다른 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술에서 구현되는 휘발성 및 비휘발성, 이동식 및 비이동식 매체를 포함할 수 있다.
시스템 메모리(920), 이동식 저장 장치들(951)과 함께 사용하기 위한 이동식 저장 매체 및 비이동식 저장 장치(952)는 모두 컴퓨터 저장 매체의 예들이다. 컴퓨터 저장 매체는 RAM, ROM, EEPROM, 플래시 메모리 또는 다른 메모리 기술, CD-ROM, 디지털 다기능 디스크(DVD) 또는 다른 광학 저장 장치, 자기 카세트, 자기 테이프, 자기 디스크 저장 장치 또는 다른 자기 저장 장치, 또는 원하는 정보를 저장하는 데 사용될 수 있고 컴퓨팅 장치(202)에 의해 액세스될 수 있는 임의의 다른 매체를 포함하지만 이에 한정되지 않는다.
컴퓨팅 장치(202)는 하나 이상의 A/V 포트(963)를 통해 (예를 들어, 투영 장치들(302, 306) 및/또는 렌즈들(108, 110)을 포함할 수 있는) 디스플레이 장치들(992) 또는 스피커들과 같은 다양한 외부 장치들과 통신하도록 구성될 수 있는 그래픽 처리 유닛(961)을 포함할 수 있는 출력 인터페이스들(960)도 포함할 수 있다. 외부 통신 회로들(980)은 하나 이상의 다른 컴퓨팅 장치(990) 및/또는 하나 이상의 송신 및/또는 수신 장치(991)와의 통신을 용이하게 하도록 배열될 수 있는 네트워크 제어기(981)를 포함할 수 있다. 통신 접속은 통신 매체의 일례이다. 통신 매체는 통상적으로 반송파 또는 다른 전송 메커니즘과 같은 피변조 데이터 신호 내의 컴퓨터 판독 가능 명령어들, 데이터 구조들, 프로그램 모듈들 또는 다른 데이터에 의해 구현될 수 있으며, 임의의 정보 전달 매체를 포함한다. "피변조 데이터 신호"는 신호 내에 정보를 인코딩하는 방식으로 신호의 특성들 중 하나 이상이 설정 또는 변경된 신호일 수 있다. 제한이 아니라 예로서, 통신 매체는 유선 네트워크 또는 직접 유선 접속과 같은 유선 매체, 및 음향, 무선 주파수(RF), 적외선(IR) 및 다른 무선 매체와 같은 무선 매체를 포함할 수 있다. 본 명세서에서 사용되는 바와 같은 컴퓨터 판독 가능 매체라는 용어는 저장 매체 및 통신 매체 양자를 포함할 수 있다. 유형의 컴퓨터 판독 가능 매체라는 용어는 저장 매체만을 지칭할 수 있다.
컴퓨팅 장치(202)는 셀폰, 멀티칩 모듈(MCM), 주문형 집적 회로(ASIC), 필드 프로그래머블 게이트 어레이(FPGA), PDA, 개인용 미디어 플레이어 장치, 무선 웹-워치 장치, 개인용 헤드셋 장치, 주문형 장치, 또는 위의 기능들 중 임의의 기능을 포함하는 하이브리드 장치와 같은 소형 휴대용(또는 이동) 전자 장치의 일부로서 구현될 수 있다. 컴퓨팅 장치(202)는 또한 랩탑 컴퓨터 및 논-랩탑 컴퓨터 구성들 양자를 포함하는 개인용 컴퓨터로서 구현될 수 있다.
본 명세서에서 설명되는 배열들은 예시의 목적을 위한 것일 뿐이다. 따라서, 이 분야의 기술자들이 알듯이, 다른 배열들 및 다른 요소들(예로서, 기계, 인터페이스, 기능, 순서 및 기능들의 그룹 등)이 대신 사용될 수 있으며, 일부 요소들이 원하는 결과들에 따라 전부 생략될 수 있다. 게다가, 설명되는 요소들 중 다수는 개별 또는 분산 컴포넌트들로서 또는 임의의 적절한 조합 및 위치에서 다른 컴포넌트들과 관련하여 구현될 수 있는 기능 엔티티들이다.
본 발명은 다양한 양태들의 예시들로서 의도되는, 본원에서 설명되는 특정 실시예들로 한정되지 않아야 한다. 이 분야의 기술자들에게 명백하듯이, 본 발명의 사상 및 범위로부터 벗어나지 않고서 많은 변경 및 변형이 이루어질 수 있다. 본 명세서에서 열거된 것들에 더하여 본 발명의 범위 내의 기능적으로 균등한 방법들 및 장치들은 위의 설명으로부터 이 분야의 기술자들에게 명백할 것이다. 그러한 변경들 및 변형들은 첨부된 청구항들의 범위 내에 속하는 것을 의도한다.
일부 실시예들에서, 개시되는 방법들은 기계 판독 가능 형태의 컴퓨터 판독 가능 저장 매체 또는 유형의 컴퓨터 판독 가능 저장 매체 상에 인코딩된 컴퓨터 프로그램 명령어들로서 구현될 수 있다. 도 10은 본 명세서에서 설명되는 적어도 일부 실시예들에 따라 배열된, 컴퓨팅 장치 상에서 컴퓨터 프로세스를 실행하기 위한 컴퓨터 프로그램을 포함하는 예시적인 컴퓨터 프로그램 제품(1000)의 개념 부분 뷰를 나타내는 개략도이다. 일 실시예에서, 예시적인 컴퓨터 프로그램 제품(1000)은 신호 보유 매체(1001)를 이용하여 제공된다. 신호 보유 매체(1001)는 하나 이상의 프로세서에 의해 실행될 때 도 1-8과 관련하여 전술한 기능 또는 기능의 부분들을 제공할 수 있는 하나 이상의 프로그래밍 명령어(1002)를 포함할 수 있다. 따라서, 예를 들어, 도 8에 도시된 실시예를 참조하면, 방법(800)의 하나 이상의 특징이 신호 보유 매체(1001)와 관련된 하나 이상의 명령어에 의해 수행될 수 있다.
일부 예들에서, 신호 보유 매체(1001)는 하드 디스크 드라이브, 컴팩트 디스크(CD), 디지털 비디오 디스크(DVD), 디지털 테이프, 메모리 등과 같은, 그러나 이에 한정되지 않는 유형의 컴퓨터 판독 가능 매체(1003)를 포함할 수 있다. 일부 구현들에서, 신호 보유 매체(1001)는 메모리, 판독/기록(R/W) CD, R/W DVD 등과 같은, 그러나 이에 한정되지 않는 컴퓨터 기록 가능 매체(1004)를 포함할 수 있다. 일부 구현들에서, 신호 보유 매체(1001)는 디지털 및/또는 아날로그 통신 매체(예로서, 광섬유 케이블, 도파관, 유선 통신 링크, 무선 통신 링크 등)와 같은, 그러나 이에 한정되지 않는 통신 매체(1005)를 포함할 수 있다. 따라서, 예를 들어 신호 보유 매체(1001)는 무선 형태의 통신 매체(1005)(예로서, IEEE 802.11 표준 또는 다른 전송 프로토콜을 따르는 무선 통신 매체)에 의해 운반될 수 있다.
하나 이상의 프로그래밍 명령어(1002)는 예를 들어 컴퓨터 실행 가능 및/또는 논리 구현 명령어들일 수 있다. 일부 예들에서, 도 9의 컴퓨팅 장치(202)와 같은 컴퓨팅 장치는 컴퓨터 판독 가능 매체(1003), 컴퓨터 기록 가능 매체(1004) 및/또는 통신 매체(1005) 중 하나 이상에 의해 컴퓨팅 장치(202)로 전달되는 프로그래밍 명령어들(1002)에 응답하여 다양한 동작들, 기능들 또는 액션들을 제공하도록 구성될 수 있다.
본 명세서에서 다양한 양태들 및 실시예들이 개시되었지만, 이 분야의 기술자들에게는 다른 양태들 및 실시예들이 명백할 것이다. 본 명세서에서 개시되는 다양한 양태들 및 실시예들은 설명의 목적을 위한 것이고, 한정을 의도하지 않으며, 진정한 범위 및 사상은 아래의 청구항들, 및 이러한 청구항들이 권리를 갖는 균등물들의 전체 범위에 의해 지시된다. 본 명세서에서 사용되는 기술은 특정 실시예들을 설명하는 목적을 위한 것일 뿐, 한정을 의도하지 않는다는 것도 이해해야 한다.

Claims (20)

  1. 프로세서;
    디스플레이 요소 - 상기 디스플레이 요소는 상기 프로세서로부터 디스플레이 정보를 수신하고 상기 디스플레이 정보를 표시하도록 구성됨 -;
    상기 디스플레이 요소를 지지하는 착용식 프레임 구조 - 상기 착용식 프레임 구조는 전면 부분의 대향 측들에 배치되고 상기 전면 부분으로부터 떨어져 연장하는 2개의 돌기(projection)를 포함하고, 상기 착용식 프레임 구조는 상기 디스플레이 요소에 의해 표시되는 상기 디스플레이 정보를 보기 위한 위치에 착용되도록 구성되고, 상기 디스플레이 요소는 상기 2개의 돌기 중 제1 돌기에 결합됨 -; 및
    상기 제1 돌기에 고정된 손가락 조작형 입력 장치 - 상기 손가락 조작형 입력 장치는 입력 정보를 상기 프로세서에 제공하고, 상기 손가락 조작형 입력 장치의 표면에 대해 면 방향을 따르는 손가락의 위치 및 움직임 중 적어도 하나를 감지하도록 구성됨 -
    를 포함하는 시스템.
  2. 제1항에 있어서,
    상기 프로세서는 상기 프로세서가 상기 입력 정보를 수신하는 것에 응답하여 새로운 디스플레이 정보를 상기 디스플레이 요소로 전송하도록 구성되는 시스템.
  3. 제1항에 있어서,
    상기 디스플레이 정보는 상기 손가락 조작형 입력 장치를 이용하여 행해질 수 있는 가능한 입력 동작 및 상기 가능한 입력 동작과 관련된 기능 및 선택 중 하나를 지시하는 적어도 하나의 심벌을 포함하는 시스템.
  4. 제1항에 있어서,
    상기 손가락 조작형 입력 장치는 반투명한 시스템.
  5. 제1항에 있어서,
    상기 2개의 돌기 중 적어도 하나를 통해 상기 착용식 프레임 구조에 고정되는 제2 손가락 조작형 입력 장치를 더 포함하고, 상기 제2 손가락 조작형 입력 장치는 입력 정보를 상기 프로세서에 제공하고, 상기 제2 손가락 조작형 입력 장치의 표면에 대해 면 방향을 따르는 손가락의 위치 및 움직임 중 적어도 하나를 감지하도록 구성되는 시스템.
  6. 제1항에 있어서,
    상기 손가락 조작형 입력 장치는 유리 기판을 포함하는 시스템.
  7. 제1항에 있어서,
    상기 손가락 조작형 입력 장치는 플라스틱 기판을 포함하는 시스템.
  8. 제1항에 있어서,
    상기 디스플레이 요소는 프로젝터 요소를 포함하는 시스템.
  9. 제1항에 있어서,
    상기 손가락 조작형 입력 장치는 용량 감지, 저항 감지 및 표면 음파(SAW) 터치 감지 패드를 포함하는 시스템.
  10. 제1항에 있어서,
    상기 손가락 조작형 입력 장치는 광학 이미지 장치를 포함하는 시스템.
  11. 프로세서에 의해, 디스플레이 정보를 디스플레이 요소에 제공하는 단계 - 상기 디스플레이 요소는 전면 부분의 대향 측들에 배치되고 상기 전면 부분으로부터 떨어져 연장하는 2개의 돌기를 포함하는 착용식 프레임 구조에 의해 지지되고, 상기 착용식 프레임 구조는 상기 디스플레이 요소에 의해 표시되는 상기 디스플레이 정보를 보기 위한 위치에 착용되도록 구성되고, 상기 디스플레이 요소는 상기 2개의 돌기 중 제1 돌기에 결합됨 -;
    상기 프로세서에 의해, 손가락 조작형 입력 장치에 의해 제공되는 입력 정보를 수신하는 단계 - 상기 손가락 조작형 입력 장치는 상기 손가락 조작형 입력 장치의 표면에 대해 면 방향을 따르는 손가락의 위치 및 움직임 중 적어도 하나를 감지하도록 구성되고, 상기 입력 정보는 상기 면 방향을 따르는 상기 손가락의 상기 위치 및 움직임 중 상기 적어도 하나를 나타내고, 상기 손가락 조작형 입력 장치는 상기 제1 돌기를 통해 상기 착용식 프레임 구조에 고정됨 -; 및
    상기 프로세서에 의해, 상기 프로세서가 상기 입력 정보를 수신하는 것에 응답하여 새로운 디스플레이 정보를 상기 디스플레이 요소에 제공하는 단계
    를 포함하는 방법.
  12. 제11항에 있어서,
    상기 디스플레이 정보는 상기 손가락 조작형 입력 장치를 이용하여 행해질 수 있는 가능한 입력 동작 및 상기 가능한 입력 동작과 관련된 기능 및 선택 중 하나를 지시하는 적어도 하나의 심벌을 포함하고,
    입력 정보를 수신하는 단계는 상기 가능한 입력 동작의 지시를 수신하는 단계를 포함하는 방법.
  13. 제11항에 있어서,
    상기 손가락 조작형 입력 장치는 반투명한 방법.
  14. 제11항에 있어서,
    상기 프로세서에 의해, 상기 2개의 돌기 중 적어도 하나를 통해 상기 착용식 프레임 구조에 고정되는 제2 손가락 조작형 입력 장치에 의해 제공되는 입력 정보를 수신하는 단계를 더 포함하고, 상기 제2 손가락 조작형 입력 장치는 입력 정보를 상기 프로세서에 제공하고, 상기 제2 손가락 조작형 입력 장치의 표면에 대해 면 방향을 따르는 손가락의 위치 및 움직임 중 적어도 하나를 감지하도록 구성되는 방법.
  15. 제11항에 있어서,
    상기 디스플레이 요소 내의 프로젝터 요소를 이용하여 상기 디스플레이 정보를 투영하는 단계를 더 포함하는 방법.
  16. 컴퓨팅 장치에 의한 실행시에 상기 컴퓨팅 장치로 하여금,
    프로세서에 의해, 디스플레이 정보를 디스플레이 요소에 제공하는 동작 - 상기 디스플레이 요소는 전면 부분의 대향 측들에 배치되고 상기 전면 부분으로부터 떨어져 연장하는 2개의 돌기를 포함하는 착용식 프레임 구조에 의해 지지되고, 상기 착용식 프레임 구조는 상기 디스플레이 요소에 의해 표시되는 상기 디스플레이 정보를 보기 위한 위치에 착용되도록 구성되고, 상기 디스플레이 요소는 상기 2개의 돌기 중 제1 돌기에 결합됨 -;
    상기 프로세서에 의해, 손가락 조작형 입력 장치에 의해 제공되는 입력 정보를 수신하는 동작 - 상기 손가락 조작형 입력 장치는 상기 손가락 조작형 입력 장치의 표면에 대해 면 방향을 따르는 손가락의 위치 및 움직임 중 적어도 하나를 감지하도록 구성되고, 상기 입력 정보는 상기 면 방향을 따르는 상기 손가락의 상기 위치 및 움직임 중 상기 적어도 하나를 나타내고, 상기 손가락 조작형 입력 장치는 상기 제1 돌기를 통해 상기 착용식 프레임 구조에 고정됨 -; 및
    상기 프로세서에 의해, 상기 프로세서가 상기 입력 정보를 수신하는 것에 응답하여 새로운 디스플레이 정보를 상기 디스플레이 요소에 제공하는 동작
    을 포함하는 동작들을 수행하게 하는 명령어들을 저장한 컴퓨터 판독 가능 매체를 포함하는 제조물.
  17. 제16항에 있어서,
    상기 디스플레이 정보는 상기 손가락 조작형 입력 장치를 이용하여 행해질 수 있는 가능한 입력 동작 및 상기 가능한 입력 동작과 관련된 기능 및 선택 중 하나를 지시하는 적어도 하나의 심벌을 포함하고,
    입력 정보를 수신하는 동작은 상기 가능한 입력 동작의 지시를 수신하는 동작을 포함하는 제조물.
  18. 제16항에 있어서,
    상기 동작들은 상기 프로세서에 의해, 상기 2개의 돌기 중 적어도 하나를 통해 상기 착용식 프레임 구조에 고정되는 제2 손가락 조작형 입력 장치에 의해 제공되는 입력 정보를 수신하는 동작을 더 포함하고, 상기 제2 손가락 조작형 입력 장치는 입력 정보를 상기 프로세서에 제공하고, 상기 제2 손가락 조작형 입력 장치의 표면에 대해 면 방향을 따르는 손가락의 위치 및 움직임 중 적어도 하나를 감지하도록 구성되는 제조물.
  19. 제16항에 있어서,
    상기 동작들은 상기 디스플레이 요소 내의 프로젝터 요소를 이용하여 상기 디스플레이 정보를 투영하는 동작을 더 포함하는 제조물.
  20. 제16항에 있어서,
    상기 손가락 조작형 입력 장치는 반투명한 제조물.
KR1020137034402A 2011-05-25 2012-05-22 통합형 손가락 추적 입력 센서를 갖는 착용식 헤드업 디스플레이 KR101473143B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/115,430 2011-05-25
US13/115,430 US8203502B1 (en) 2011-05-25 2011-05-25 Wearable heads-up display with integrated finger-tracking input sensor
PCT/US2012/038968 WO2012162304A2 (en) 2011-05-25 2012-05-22 Wearable heads-up display with integrated finger-tracking input sensor

Publications (2)

Publication Number Publication Date
KR20140008467A true KR20140008467A (ko) 2014-01-21
KR101473143B1 KR101473143B1 (ko) 2014-12-15

Family

ID=46209551

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020137034402A KR101473143B1 (ko) 2011-05-25 2012-05-22 통합형 손가락 추적 입력 센서를 갖는 착용식 헤드업 디스플레이

Country Status (5)

Country Link
US (2) US8203502B1 (ko)
EP (1) EP2715432A4 (ko)
KR (1) KR101473143B1 (ko)
CN (1) CN103718082B (ko)
WO (1) WO2012162304A2 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150135847A (ko) * 2014-05-26 2015-12-04 엘지전자 주식회사 글래스 타입 단말기 및 이의 제어방법
KR20200003841A (ko) * 2017-11-20 2020-01-10 구글 엘엘씨 가상 현실/증강 현실 핸드헬드 제어기 감지

Families Citing this family (149)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5119636B2 (ja) * 2006-09-27 2013-01-16 ソニー株式会社 表示装置、表示方法
US9134534B2 (en) 2010-02-28 2015-09-15 Microsoft Technology Licensing, Llc See-through near-eye display glasses including a modular image source
US9341843B2 (en) 2010-02-28 2016-05-17 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a small scale image source
US8472120B2 (en) 2010-02-28 2013-06-25 Osterhout Group, Inc. See-through near-eye display glasses with a small scale image source
US9097890B2 (en) 2010-02-28 2015-08-04 Microsoft Technology Licensing, Llc Grating in a light transmissive illumination system for see-through near-eye display glasses
WO2011106797A1 (en) 2010-02-28 2011-09-01 Osterhout Group, Inc. Projection triggering through an external marker in an augmented reality eyepiece
US9182596B2 (en) 2010-02-28 2015-11-10 Microsoft Technology Licensing, Llc See-through near-eye display glasses with the optical assembly including absorptive polarizers or anti-reflective coatings to reduce stray light
US8477425B2 (en) 2010-02-28 2013-07-02 Osterhout Group, Inc. See-through near-eye display glasses including a partially reflective, partially transmitting optical element
US9097891B2 (en) 2010-02-28 2015-08-04 Microsoft Technology Licensing, Llc See-through near-eye display glasses including an auto-brightness control for the display brightness based on the brightness in the environment
US9091851B2 (en) 2010-02-28 2015-07-28 Microsoft Technology Licensing, Llc Light control in head mounted displays
US10180572B2 (en) 2010-02-28 2019-01-15 Microsoft Technology Licensing, Llc AR glasses with event and user action control of external applications
US8467133B2 (en) 2010-02-28 2013-06-18 Osterhout Group, Inc. See-through display with an optical assembly including a wedge-shaped illumination system
US20150309316A1 (en) 2011-04-06 2015-10-29 Microsoft Technology Licensing, Llc Ar glasses with predictive control of external device based on event input
US20120249797A1 (en) 2010-02-28 2012-10-04 Osterhout Group, Inc. Head-worn adaptive display
US9223134B2 (en) 2010-02-28 2015-12-29 Microsoft Technology Licensing, Llc Optical imperfections in a light transmissive illumination system for see-through near-eye display glasses
US9366862B2 (en) 2010-02-28 2016-06-14 Microsoft Technology Licensing, Llc System and method for delivering content to a group of see-through near eye display eyepieces
US9285589B2 (en) 2010-02-28 2016-03-15 Microsoft Technology Licensing, Llc AR glasses with event and sensor triggered control of AR eyepiece applications
US9229227B2 (en) 2010-02-28 2016-01-05 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a light transmissive wedge shaped illumination system
US9759917B2 (en) 2010-02-28 2017-09-12 Microsoft Technology Licensing, Llc AR glasses with event and sensor triggered AR eyepiece interface to external devices
US8488246B2 (en) 2010-02-28 2013-07-16 Osterhout Group, Inc. See-through near-eye display glasses including a curved polarizing film in the image source, a partially reflective, partially transmitting optical element and an optically flat film
US8482859B2 (en) 2010-02-28 2013-07-09 Osterhout Group, Inc. See-through near-eye display glasses wherein image light is transmitted to and reflected from an optically flat film
US9129295B2 (en) 2010-02-28 2015-09-08 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a fast response photochromic film system for quick transition from dark to clear
US9128281B2 (en) 2010-09-14 2015-09-08 Microsoft Technology Licensing, Llc Eyepiece with uniformly illuminated reflective display
WO2012125596A2 (en) 2011-03-12 2012-09-20 Parshionikar Uday Multipurpose controller for electronic devices, facial expressions management and drowsiness detection
US8749573B2 (en) * 2011-05-26 2014-06-10 Nokia Corporation Method and apparatus for providing input through an apparatus configured to provide for display of an image
US8873147B1 (en) * 2011-07-20 2014-10-28 Google Inc. Chord authentication via a multi-touch interface
US9690100B1 (en) * 2011-09-22 2017-06-27 Sprint Communications Company L.P. Wireless communication system with a liquid crystal display embedded in an optical lens
US9626013B2 (en) * 2011-12-05 2017-04-18 Sony Corporation Imaging apparatus
US9110502B2 (en) * 2011-12-16 2015-08-18 Ryan Fink Motion sensing display apparatuses
JP5884502B2 (ja) * 2012-01-18 2016-03-15 ソニー株式会社 ヘッドマウントディスプレイ
US9829715B2 (en) * 2012-01-23 2017-11-28 Nvidia Corporation Eyewear device for transmitting signal and communication method thereof
US9069166B2 (en) 2012-02-29 2015-06-30 Recon Instruments Inc. Gaze detecting heads-up display systems
US9001005B2 (en) 2012-02-29 2015-04-07 Recon Instruments Inc. Modular heads-up display systems
US8907867B2 (en) * 2012-03-21 2014-12-09 Google Inc. Don and doff sensing using capacitive sensors
JP5938977B2 (ja) * 2012-03-23 2016-06-22 ソニー株式会社 ヘッドマウントディスプレイ及び手術システム
US9857919B2 (en) * 2012-05-17 2018-01-02 Hong Kong Applied Science And Technology Research Wearable device with intelligent user-input interface
JP5953963B2 (ja) * 2012-06-13 2016-07-20 ソニー株式会社 頭部装着型映像表示装置
US20180048750A1 (en) * 2012-06-15 2018-02-15 Muzik, Llc Audio/video wearable computer system with integrated projector
US20130339859A1 (en) 2012-06-15 2013-12-19 Muzik LLC Interactive networked headphones
US20140005807A1 (en) * 2012-06-29 2014-01-02 Black & Decker Inc. System for Enhancing Operation of Power Tools
US20140002629A1 (en) * 2012-06-29 2014-01-02 Joshua J. Ratcliff Enhanced peripheral vision eyewear and methods using the same
US9268424B2 (en) 2012-07-18 2016-02-23 Sony Corporation Mobile client device, operation method, recording medium, and operation system
WO2014022230A2 (en) 2012-07-30 2014-02-06 Fish Robert D Electronic personal companion
US9316830B1 (en) 2012-09-28 2016-04-19 Google Inc. User interface
JP5962403B2 (ja) * 2012-10-01 2016-08-03 ソニー株式会社 情報処理装置、表示制御方法及びプログラム
US10234941B2 (en) * 2012-10-04 2019-03-19 Microsoft Technology Licensing, Llc Wearable sensor for tracking articulated body-parts
US9016857B2 (en) * 2012-12-06 2015-04-28 Microsoft Technology Licensing, Llc Multi-touch interactions on eyewear
WO2014107629A1 (en) * 2013-01-04 2014-07-10 Vuzix Corporation Interactive wearable and portable smart devices
US20140198034A1 (en) 2013-01-14 2014-07-17 Thalmic Labs Inc. Muscle interface device and method for interacting with content displayed on wearable head mounted displays
JP5915552B2 (ja) * 2013-01-23 2016-05-11 ソニー株式会社 ヘッドマウントディスプレイ、表示装置及び入力装置
US9791921B2 (en) 2013-02-19 2017-10-17 Microsoft Technology Licensing, Llc Context-aware augmented reality object commands
KR102330889B1 (ko) 2013-02-22 2021-11-26 페이스북 테크놀로지스, 엘엘씨 제스처-기반 제어를 위해 근활성도 센서 신호와 관성 센서 신호를 결합하는 방법 및 기기
JP5974928B2 (ja) * 2013-02-22 2016-08-23 ソニー株式会社 表示制御装置、表示装置、表示制御方法、およびプログラム
US9477315B2 (en) 2013-03-13 2016-10-25 Honda Motor Co., Ltd. Information query by pointing
US9873233B2 (en) * 2013-03-15 2018-01-23 Johnson & Johnson Vision Care, Inc. Ophthalmic lens viewing sets for three-dimensional perception of stereoscopic media
WO2014147455A1 (en) 2013-03-18 2014-09-25 Minkovitch Zvi Sports match refereeing system
CN105247861B (zh) 2013-03-22 2017-11-10 精工爱普生株式会社 红外视频显示眼镜
US9361501B2 (en) 2013-04-01 2016-06-07 Ncr Corporation Headheld scanner and POS display with mobile phone
DE102013206173A1 (de) * 2013-04-09 2014-10-09 Bayerische Motoren Werke Aktiengesellschaft Auswahl von Einzelelementen zur Anzeige auf einer Datenbrille
WO2014171568A2 (ko) * 2013-04-17 2014-10-23 한국과학기술원 소리를 이용한 터치 검출 방법, 장치 및 이를 이용한 디바이스
US9317114B2 (en) 2013-05-07 2016-04-19 Korea Advanced Institute Of Science And Technology Display property determination
US10152082B2 (en) 2013-05-13 2018-12-11 North Inc. Systems, articles and methods for wearable electronic devices that accommodate different user forms
KR102191867B1 (ko) 2013-07-10 2020-12-16 엘지전자 주식회사 복수의 유저 인터페이스 포맷을 포함하는 헤드 마운티드 디스플레이 디바이스 및 그 제어 방법
KR20150010229A (ko) 2013-07-18 2015-01-28 삼성디스플레이 주식회사 투명 디스플레이를 적용한 안경 및 그 제어 방법
KR102028761B1 (ko) 2013-07-26 2019-10-04 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 헤드 마운티드 디스플레이 및 그 제어 방법
US11921471B2 (en) 2013-08-16 2024-03-05 Meta Platforms Technologies, Llc Systems, articles, and methods for wearable devices having secondary power sources in links of a band for providing secondary power in addition to a primary power source
US11426123B2 (en) 2013-08-16 2022-08-30 Meta Platforms Technologies, Llc Systems, articles and methods for signal routing in wearable electronic devices that detect muscle activity of a user using a set of discrete and separately enclosed pod structures
US10042422B2 (en) 2013-11-12 2018-08-07 Thalmic Labs Inc. Systems, articles, and methods for capacitive electromyography sensors
US10188309B2 (en) 2013-11-27 2019-01-29 North Inc. Systems, articles, and methods for electromyography sensors
US20150124566A1 (en) 2013-10-04 2015-05-07 Thalmic Labs Inc. Systems, articles and methods for wearable electronic devices employing contact sensors
CN104423038B (zh) * 2013-08-19 2017-07-21 联想(北京)有限公司 电子设备及其焦点信息获取方法
US9788789B2 (en) 2013-08-30 2017-10-17 Thalmic Labs Inc. Systems, articles, and methods for stretchable printed circuit boards
KR101500130B1 (ko) * 2013-09-02 2015-03-06 현대자동차주식회사 스티어링 휠에 설치된 차량용 제어장치
US20150062164A1 (en) * 2013-09-05 2015-03-05 Seiko Epson Corporation Head mounted display, method of controlling head mounted display, computer program, image display system, and information processing apparatus
US10451874B2 (en) 2013-09-25 2019-10-22 Seiko Epson Corporation Image display device, method of controlling image display device, computer program, and image display system
US9936916B2 (en) 2013-10-09 2018-04-10 Nedim T. SAHIN Systems, environment and methods for identification and analysis of recurring transitory physiological states and events using a portable data collection device
US10405786B2 (en) 2013-10-09 2019-09-10 Nedim T. SAHIN Systems, environment and methods for evaluation and management of autism spectrum disorder using a wearable data collection device
CN103530038A (zh) * 2013-10-23 2014-01-22 叶晨光 头戴式智能终端的程序控制方法与装置
US9672649B2 (en) 2013-11-04 2017-06-06 At&T Intellectual Property I, Lp System and method for enabling mirror video chat using a wearable display device
KR102102643B1 (ko) * 2013-11-12 2020-04-21 엘지전자 주식회사 글래스 타입 단말기
CN103604439B (zh) * 2013-11-19 2017-01-04 江门市得实计算机外部设备有限公司 一种通过敲击、碰撞或振动实现功能切换的计步器
US9261700B2 (en) 2013-11-20 2016-02-16 Google Inc. Systems and methods for performing multi-touch operations on a head-mountable device
US9607409B2 (en) * 2013-12-23 2017-03-28 Empire Technology Development Llc Suppression of real features in see-through display
US20150187357A1 (en) 2013-12-30 2015-07-02 Samsung Electronics Co., Ltd. Natural input based virtual ui system for mobile devices
KR101558233B1 (ko) * 2013-12-31 2015-10-12 전자부품연구원 림 부분에 조작 수단이 마련된 안경형 디바이스 및 이를 통한 사용자 입력 방법
KR102201736B1 (ko) 2014-01-15 2021-01-12 엘지전자 주식회사 탈착형 헤드 마운티드 디스플레이 디바이스 및 그 제어 방법
US10067341B1 (en) 2014-02-04 2018-09-04 Intelligent Technologies International, Inc. Enhanced heads-up display system
JP2017509386A (ja) 2014-02-14 2017-04-06 サルミック ラブス インコーポレイテッド 弾性電気ケーブルのためのシステム、製品、及び方法、並びに、それを用いるウェアラブル電子デバイス
CA2939922A1 (en) 2014-02-24 2015-08-27 Brain Power, Llc Systems, environment and methods for evaluation and management of autism spectrum disorder using a wearable data collection device
KR102187848B1 (ko) 2014-03-19 2020-12-07 삼성전자 주식회사 프로젝터를 이용한 영상 표시 방법 및 이를 구현하는 착용형 전자장치
KR20150110032A (ko) * 2014-03-24 2015-10-02 삼성전자주식회사 영상데이터 처리 전자장치 및 방법
US10199008B2 (en) 2014-03-27 2019-02-05 North Inc. Systems, devices, and methods for wearable electronic devices as state machines
GB2540098A (en) * 2014-06-13 2017-01-04 Halliburton Energy Services Inc Monitoring hydrocarbon recovery operations using wearable computer machines
WO2015196021A1 (en) * 2014-06-19 2015-12-23 M-I Drilling Fluids U.K. Ltd. Intrinsically safe safety goggles with data display, user input and data communication
US9880632B2 (en) 2014-06-19 2018-01-30 Thalmic Labs Inc. Systems, devices, and methods for gesture identification
CN104111658B (zh) * 2014-07-17 2016-09-14 金陵科技学院 一种可通过智能眼镜进行监控拍摄及控制的无人机
WO2016018044A1 (en) * 2014-07-31 2016-02-04 Samsung Electronics Co., Ltd. Wearable device and method of controlling the same
US10540907B2 (en) 2014-07-31 2020-01-21 Intelligent Technologies International, Inc. Biometric identification headpiece system for test taking
KR20160023212A (ko) * 2014-08-21 2016-03-03 엘지전자 주식회사 글래스 타입의 이동 단말기 및 그 제어방법
US10410535B2 (en) 2014-08-22 2019-09-10 Intelligent Technologies International, Inc. Secure testing device
CN106662746B (zh) 2014-08-22 2020-10-23 国际智能技术公司 安全考试设备、系统和方法
CN105468620A (zh) * 2014-09-03 2016-04-06 雅虎公司 多媒体界面成像方法、系统和穿戴式设备
US20160091996A1 (en) * 2014-09-30 2016-03-31 Apple Inc. Liftoff input detection
US9799301B2 (en) 2014-10-09 2017-10-24 Nedim T. SAHIN Method, system, and apparatus for battery life extension and peripheral expansion of a wearable data collection device
WO2016057943A1 (en) 2014-10-10 2016-04-14 Muzik LLC Devices for sharing user interactions
EP3213268A1 (en) * 2014-10-30 2017-09-06 Philips Lighting Holding B.V. Controlling the output of contextual information using a computing device
US10438106B2 (en) 2014-11-04 2019-10-08 Intellignet Technologies International, Inc. Smartcard
US9535497B2 (en) * 2014-11-20 2017-01-03 Lenovo (Singapore) Pte. Ltd. Presentation of data on an at least partially transparent display based on user focus
US9807221B2 (en) 2014-11-28 2017-10-31 Thalmic Labs Inc. Systems, devices, and methods effected in response to establishing and/or terminating a physical communications link
KR102422793B1 (ko) 2014-12-04 2022-07-19 삼성전자주식회사 전자 디바이스 및 전자 디바이스를 통하여 글자 입력을 수신하기 위한 방법
KR102362727B1 (ko) * 2014-12-18 2022-02-15 엘지이노텍 주식회사 맥박 측정 장치 및 이를 이용한 컴퓨팅 장치
US20160216792A1 (en) * 2015-01-26 2016-07-28 Seiko Epson Corporation Head mounted display, and control method and control program for head mounted display
WO2016142975A1 (ja) * 2015-03-09 2016-09-15 ソニー株式会社 ウェアラブルディスプレイ、ウェアラブルディスプレイ用筐体及びウェアラブルディスプレイの製造方法
DE102015204780A1 (de) 2015-03-17 2016-09-22 Roschi Rohde & Schwarz AG Tragbares visuelles Anzeigegerät für ein elektrisches oder elektronisches Messgerät und Messplatzanordnung
DE102015206250A1 (de) * 2015-04-08 2016-10-13 Bayerische Motoren Werke Aktiengesellschaft Bedieneingaben für Systeme umfassend Touch Pads und Anzeigen
US11520557B2 (en) * 2015-04-10 2022-12-06 Advanced Cognitive Concepts Cognitive improvement system and method of testing
CN104765156B (zh) * 2015-04-22 2017-11-21 京东方科技集团股份有限公司 一种三维显示装置和三维显示方法
US10078435B2 (en) 2015-04-24 2018-09-18 Thalmic Labs Inc. Systems, methods, and computer program products for interacting with electronically displayed presentation materials
US10197816B2 (en) * 2015-05-26 2019-02-05 Lumenis Ltd. Laser safety glasses with an improved imaging system
US10289239B2 (en) 2015-07-09 2019-05-14 Microsoft Technology Licensing, Llc Application programming interface for multi-touch input detection
US9298283B1 (en) 2015-09-10 2016-03-29 Connectivity Labs Inc. Sedentary virtual reality method and systems
US10289205B1 (en) * 2015-11-24 2019-05-14 Google Llc Behind the ear gesture control for a head mountable device
US10678958B2 (en) 2015-12-28 2020-06-09 Intelligent Technologies International, Inc. Intrusion-protected memory component
JP2016173845A (ja) * 2016-05-16 2016-09-29 ソニー株式会社 情報処理装置、表示装置、情報処理方法、およびプログラム
US11216069B2 (en) 2018-05-08 2022-01-04 Facebook Technologies, Llc Systems and methods for improved speech recognition using neuromuscular information
EP3487395A4 (en) 2016-07-25 2020-03-04 CTRL-Labs Corporation METHODS AND APPARATUS FOR PREDICTING MUSCULOSKELETAL POSITION INFORMATION USING PORTABLE SELF-CONTAINED SENSORS
WO2018155392A1 (ja) * 2017-02-22 2018-08-30 三井化学株式会社 アイウェア
JP6792699B2 (ja) * 2017-03-13 2020-11-25 三井化学株式会社 アイウェア
TWM557588U (zh) * 2017-08-01 2018-04-01 李燕琴 可熱顯像的穿戴式裝置
CN111033359B (zh) * 2017-09-25 2022-01-14 三井化学株式会社 镜框部件
EP3697297A4 (en) 2017-10-19 2020-12-16 Facebook Technologies, Inc. SYSTEMS AND METHODS FOR IDENTIFYING BIOLOGICAL STRUCTURES ASSOCIATED WITH NEUROMUSCULAR SOURCE SIGNALS
US10634913B2 (en) 2018-01-22 2020-04-28 Symbol Technologies, Llc Systems and methods for task-based adjustable focal distance for heads-up displays
US11493993B2 (en) 2019-09-04 2022-11-08 Meta Platforms Technologies, Llc Systems, methods, and interfaces for performing inputs based on neuromuscular control
US11907423B2 (en) 2019-11-25 2024-02-20 Meta Platforms Technologies, Llc Systems and methods for contextualized interactions with an environment
US11481030B2 (en) 2019-03-29 2022-10-25 Meta Platforms Technologies, Llc Methods and apparatus for gesture detection and classification
US11961494B1 (en) 2019-03-29 2024-04-16 Meta Platforms Technologies, Llc Electromagnetic interference reduction in extended reality environments
US11150730B1 (en) 2019-04-30 2021-10-19 Facebook Technologies, Llc Devices, systems, and methods for controlling computing devices via neuromuscular signals of users
US10937414B2 (en) 2018-05-08 2021-03-02 Facebook Technologies, Llc Systems and methods for text input using neuromuscular information
JP6995650B2 (ja) * 2018-01-30 2022-01-14 Ｄｙｎａｂｏｏｋ株式会社 ウェアラブル機器及びその操作方法
DE102018204070A1 (de) 2018-03-16 2019-09-19 Carl Zeiss Ag Am Kopf tragbares visuelles Ausgabegerät
US10592001B2 (en) 2018-05-08 2020-03-17 Facebook Technologies, Llc Systems and methods for improved speech recognition using neuromuscular information
KR102184243B1 (ko) 2018-07-06 2020-11-30 한국과학기술연구원 Imu 센서를 이용한 손가락 동작 기반 인터페이스 제어 시스템
EP4241661A1 (en) 2018-08-31 2023-09-13 Facebook Technologies, LLC Camera-guided interpretation of neuromuscular signals
WO2020061451A1 (en) 2018-09-20 2020-03-26 Ctrl-Labs Corporation Neuromuscular text entry, writing and drawing in augmented reality systems
US10908428B2 (en) * 2018-09-25 2021-02-02 Facebook Technologies, Llc Multiple-device system with multiple power and data configurations
US11797087B2 (en) 2018-11-27 2023-10-24 Meta Platforms Technologies, Llc Methods and apparatus for autocalibration of a wearable electrode sensor system
US11733789B1 (en) * 2019-09-30 2023-08-22 Snap Inc. Selectively activating a handheld device to control a user interface displayed by a wearable device
US11868531B1 (en) 2021-04-08 2024-01-09 Meta Platforms Technologies, Llc Wearable device providing for thumb-to-finger-based input gestures detected based on neuromuscular signals, and systems and methods of use thereof
US11934852B1 (en) * 2022-11-30 2024-03-19 Trimble Solutions Corporation Providing help content proactively

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05300544A (ja) 1992-04-23 1993-11-12 Sony Corp 映像表示装置
WO1994009398A1 (en) 1992-10-20 1994-04-28 Alec Robinson Eye screen means with mounted visual display and communication apparatus
GB2299394A (en) * 1995-03-31 1996-10-02 Frazer Concepts Ltd Computer input devices
JPH10123450A (ja) 1996-10-15 1998-05-15 Sony Corp 音声認識機能付ヘッドアップディスプレイ装置
WO1999023524A1 (en) 1997-10-30 1999-05-14 The Microoptical Corporation Eyeglass interface system
US6236037B1 (en) * 1998-02-20 2001-05-22 Massachusetts Institute Of Technology Finger touch sensors and virtual switch panels
US6424338B1 (en) * 1999-09-30 2002-07-23 Gateway, Inc. Speed zone touchpad
US7958457B1 (en) 1999-12-20 2011-06-07 Wireless Agents, Llc Method and apparatus for scheduling presentation of digital content on a personal communication device
US8482488B2 (en) 2004-12-22 2013-07-09 Oakley, Inc. Data input management system for wearable electronically enabled interface
US6925611B2 (en) 2001-01-31 2005-08-02 Microsoft Corporation Navigational interface for mobile and wearable computers
JP2003067128A (ja) * 2001-08-30 2003-03-07 Sharp Corp パッド型ポインティングデバイスを有する情報処理装置
US6970157B2 (en) 2002-04-23 2005-11-29 Quadtri Technologies, Llc Wearable computing, input, and display device
US7337410B2 (en) * 2002-11-06 2008-02-26 Julius Lin Virtual workstation
WO2004061519A1 (ja) 2002-12-24 2004-07-22 Nikon Corporation ヘッドマウントディスプレイ
JP2005072867A (ja) * 2003-08-22 2005-03-17 Matsushita Electric Ind Co Ltd 頭部装着型表示装置
US8119213B2 (en) * 2005-02-08 2012-02-21 Antonini Fred A Elastomeric film
US20060007056A1 (en) * 2004-07-09 2006-01-12 Shu-Fong Ou Head mounted display system having virtual keyboard and capable of adjusting focus of display screen and device installed the same
KR100594117B1 (ko) 2004-09-20 2006-06-28 삼성전자주식회사 Ｈｍｄ 정보 단말기에서 생체 신호를 이용하여 키를입력하는 장치 및 방법
US7719521B2 (en) 2005-08-19 2010-05-18 Microsoft Corporation Navigational interface providing auxiliary character support for mobile and wearable computers
JP4961984B2 (ja) * 2006-12-07 2012-06-27 ソニー株式会社 画像表示システム、表示装置、表示方法
US7855718B2 (en) * 2007-01-03 2010-12-21 Apple Inc. Multi-touch input discrimination
DE202007019170U1 (de) 2007-03-29 2010-11-04 Carl Zeiss Ag HMD-Vorrichtung
CN201163312Y (zh) * 2008-01-14 2008-12-10 郭强 眼镜显示器式电子阅读器
US20100149073A1 (en) 2008-11-02 2010-06-17 David Chaum Near to Eye Display System and Appliance
CN201255787Y (zh) * 2008-09-12 2009-06-10 天津三星电子有限公司 电子眼镜
US8957835B2 (en) 2008-09-30 2015-02-17 Apple Inc. Head-mounted display apparatus for retaining a portable electronic device with display
CN103119512A (zh) * 2008-11-02 2013-05-22 大卫·乔姆 近眼式显示系统和装置
KR101578721B1 (ko) * 2008-12-15 2015-12-21 엘지전자 주식회사 네비게이션 단말기 및 네비게이션 단말기의 경로안내방법
US8212855B2 (en) * 2009-04-29 2012-07-03 Embarq Holdings Company, Llc Video conferencing eyewear
JP5195708B2 (ja) * 2009-09-30 2013-05-15 ブラザー工業株式会社 ヘッドマウントディスプレイ

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150135847A (ko) * 2014-05-26 2015-12-04 엘지전자 주식회사 글래스 타입 단말기 및 이의 제어방법
KR20200003841A (ko) * 2017-11-20 2020-01-10 구글 엘엘씨 가상 현실/증강 현실 핸드헬드 제어기 감지

Also Published As

Publication number Publication date
KR101473143B1 (ko) 2014-12-15
CN103718082A (zh) 2014-04-09
CN103718082B (zh) 2015-05-13
EP2715432A2 (en) 2014-04-09
WO2012162304A2 (en) 2012-11-29
US8203502B1 (en) 2012-06-19
EP2715432A4 (en) 2015-06-03
US20120299870A1 (en) 2012-11-29
WO2012162304A3 (en) 2013-04-04

Similar Documents

Publication Publication Date Title
KR101473143B1 (ko) 통합형 손가락 추적 입력 센서를 갖는 착용식 헤드업 디스플레이
US9830071B1 (en) Text-entry for a computing device
US9024843B2 (en) Wearable computer with curved display and navigation tool
US20130002724A1 (en) Wearable computer with curved display and navigation tool
US10133407B2 (en) Display apparatus, display system, method for controlling display apparatus, and program
US10114466B2 (en) Methods and systems for hands-free browsing in a wearable computing device
KR101570800B1 (ko) 트랙패드 입력 디바이스를 사용하여 디스플레이 상의 커서를 제어하는 시스템 및 방법
US9007301B1 (en) User interface
EP2834723B1 (en) Touch sensitive user interface
KR20230026505A (ko) 객체 조작을 사용한 증강 현실 경험들
KR20230124732A (ko) 가상 및 그래픽 엘리먼트들을 제어하기 위한 미세 손제스처들
US10191281B2 (en) Head-mounted display for visually recognizing input
US20180143693A1 (en) Virtual object manipulation
US20170115736A1 (en) Photo-Based Unlock Patterns
US10908425B2 (en) Transmission-type head mounted display apparatus, display control method, and computer program
CN116324581A (zh) 包括具有3d帧的虚拟场景的护目镜
JP6776578B2 (ja) 入力装置、入力方法、コンピュータープログラム
US20220375172A1 (en) Contextual visual and voice search from electronic eyewear device
KR20230079156A (ko) 컨텍스트-기반 전송 기능을 갖는 이미지 캡처 아이웨어
US20190179525A1 (en) Resolution of Directional Ambiguity on Touch-Based Interface Based on Wake-Up Gesture
JP2018081415A (ja) 入力装置、入力方法、コンピュータープログラム

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant