KR102227836B1 - 아이웨어 상에서의 멀티 터치 상호작용 기법 - Google Patents

아이웨어 상에서의 멀티 터치 상호작용 기법 Download PDF

Info

Publication number
KR102227836B1
KR102227836B1 KR1020157015065A KR20157015065A KR102227836B1 KR 102227836 B1 KR102227836 B1 KR 102227836B1 KR 1020157015065 A KR1020157015065 A KR 1020157015065A KR 20157015065 A KR20157015065 A KR 20157015065A KR 102227836 B1 KR102227836 B1 KR 102227836B1
Authority
KR
South Korea
Prior art keywords
eyewear
sensor
user
touch
sensor set
Prior art date
Application number
KR1020157015065A
Other languages
English (en)
Other versions
KR20150091322A (ko
Inventor
흐르보예 벵코
티모시 스코트 사포나스
Original Assignee
마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 filed Critical 마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Publication of KR20150091322A publication Critical patent/KR20150091322A/ko
Application granted granted Critical
Publication of KR102227836B1 publication Critical patent/KR102227836B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C11/00—Non-optical adjuncts; Attachment thereof
    • G02C11/10—Electronic devices other than hearing aids
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04104—Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Otolaryngology (AREA)
  • General Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Eyeglasses (AREA)

Abstract

본 발명은 예를 들어 컴퓨팅 장치와의 상호작용을 위한 입력 장치로서 구성된 아이웨어에 관한 것이다. 아이웨어는 예를 들어 탭, 프레스, 스와이프 및 핀치를 통해 아이웨어와의 사용자 상호작용을 나타내는 신호를 출력하는, 안경의 프레임 상에 위치한 멀티 터치 센서 세트를 포함한다. 신호에 대응하는 입력 데이터를 프로그램, 예를 들어 사용자가 상호작용하기를 원하는 프로그램에 제공하기 위한 센서 핸들링 로직이 사용될 수 있다.

Description

아이웨어 상에서의 멀티 터치 상호작용 기법{MULTI-TOUCH INTERACTIONS ON EYEWEAR}
컴퓨터 및 비디오 기술이 발전함에 따라, 사용자는 편리한 방식으로 컴퓨터와 상호작용할 필요가 있다. 한 가지 방식은 사용자가 안경에 렌더링되는 디스플레이 콘텐츠를 보게 되는, 머리에 착용하는 증강 현실 안경을 이용하는 것이다.
그러나, 머리에 착용하는 증강 현실 안경을 이용하는 시나리오(연속적인 사용 시나리오)에서, 상호작용기능(interactivity)은 사용자의 손에서 지속적으로 이용가능한 입력 장치를 가질 수 없음으로 인해 제약된다. 이러한 시나리오에서 손 제스처 또는 음성 명령을 사용할 수는 있지만, 이는 카메라 및/또는 마이크로폰을 필요로 하며, 말소리 및 심지어 조용한 제스처도 타인에게 방해를 줄 수 있는 도서관과 같은 여러 상황에서는 적절하지 않을 수 있다.
본 요약부는 아래의 상세한 설명에서 추가로 기술되는 대표적인 선택된 개념들을 간략화된 형식으로 소개하고자 제공된다. 본 요약부는 청구대상의 핵심적인 특징이나 필수적인 특징들을 밝히고자 함이 아니며, 청구 대상의 범위를 제한할 수 있는 어떠한 방식으로도 사용되려 하지 않는다.
간략히, 본 명세서에 기술된 본 발명의 다양한 측면은 입력 장치로서 아이웨어(eyewear)를 사용하는 것에 관한 것이며, 이 아이웨어는 아이웨어와의 사용자 상호작용을 감지하고 이 사용자 상호작용을 나타내는 신호를 출력하도록 구성된 하나 이상의 멀티 터치 센서를 포함하는 멀티 터치 센서 세트를 포함한다. 멀티 터치 센서 세트는 신호에 대응하는 입력 데이터를 프로그램에 제공하기 위해 센서 핸들링 로직에 결합될 수 있다.
하나의 측면에서, 멀티 터치 아이웨어 센서 세트와의 사용자 상호작용이 감지된다. 이 상호작용을 나타내는 신호는 상호작용식 프로그램과의 사용자 상호작용을 제공하기 위해 출력된다. 감지될 수 있는 예시적인 사용자 상호작용은 센서에서 검출되는 탭 또는 프레스 앤 홀드, 하나 이상의 센서를 통해 검출되는 스와이프 제스처(swipe gesture), 및/또는 센서에서 검출되는 핀치(pinch)를 포함한다.
일 측면에서, 아이웨어 센서 세트를 통해 감지되는 사용자 입력 활동에 대응하는 정보가 수신된다. 이 정보는 적어도 하나의 입력 이벤트 내로 처리되는데, 이 입력 이벤트에 대응하는 데이터는 예를 들어 프로그램 또는 장치의 현재 상태를 변경시키는 의미를 결정하기 위한 프로그램에 의한 소비를 위해 버퍼링된다.
다른 특징은 도면과 연계하여 후속하는 상세한 설명으로부터 명백해질 수 있다.
본 발명은 유사한 요소를 유사한 참조 번호로 나타내는 첨부한 도면에서 제한이 아닌 예시적으로 설명된다.
도 1은 하나의 예시적 실시예에 따라, 아이웨어 감지 상호작용(eyewear-sensed interaction)을 신호로서 컴퓨팅 장치에 전송하도록 구성된 컴포넌트들을 포함하는 블록도이다.
도 2(a) 및 도 2(b)는 하나의 예시적인 실시예에 따라, 센서들이 아이웨어에 배치될 수 있는 위치들을 나타낸다.
도 3(a) 및 도 3(b)는 하나의 예시적인 실시예에 따라, 아이웨어 기반 센서 및 이 센서와의 가능한 상호작용의 유형을 나타낸다.
도 4(a) 및 도 4(b)는 하나의 예시적인 실시예에 따라, 한 손 사용 및 두 손 사용 각각에 대한 아이웨어 기반 센서를 나타낸다.
도 5(a) 및 도 5(b)는 하나의 예시적인 실시예에 따라, 센서들이 아이웨어 스템(stem)에 배치될 수 있는 위치들, 및 이들과의 가능한 상호작용을 나타낸다.
도 6(a) 및 도 6(b)는 하나의 예시적인 실시예에 따라, 가능한 보다 복잡한 상호작용을 위해 센서들이 아이웨어 스템에 배치될 수 있는 위치를 나타낸다.
도 7(a) 및 도 7(b)는 하나의 예시적인 실시예에 따라, 터치를 감지할 수 있는 센서 및/또는 생체 측정 센서가 아이웨어에 배치될 수 있는 위치를 나타낸다.
도 8은 하나의 예시적인 실시예에 따라, 원하는 입력 기능에 맵핑되는 아이웨어 기반 센서를 나타낸다.
도 9는 하나의 예시적인 실시예에 따라, 아이웨어를 입력 장치로 사용하기 위해 취해질 수 있는 예시적인 단계들을 보여주는 흐름도이다.
도 10은 본 명세서에서 기술된 청구대상의 측면들이 구현될 수 있는 예시적인 컴퓨팅 환경을 나타내는 블록도이다.
본 명세서에서 설명된 기술의 다양한 측면은 일반적으로 컴퓨터 시스템과 인터페이싱할 때 사용될 수 있도록 안경 또는 유사한 아이웨어 장치의 프레임 또는 다른 영역이 터치에 반응하게 하는 것에 관한 것이다. 프레임의 표면 영역 및/또는 안경 표면의 일부 또는 전부는 예를 들어 프레임 내에 직접 몰딩되거나 그 프레임에 부착된 용량성 및/또는 저항성 터치 센서들을 결합함으로써 터치 상호작용되도록 터치에 반응할 수 있다. 또한, (예를 들어, 사용자가 현재 안경을 착용하고 있는지를 검출하는) 추가의 기능을 위해, 귀 너머의 위치, 또는 렌즈 간의 프레임 상의 지점과 같은 아이웨어 상의 전용 영역이 사용될 수 있다. 다른 사용 상태를 감지하기 위한 생체 측정 센서가 프레임 내에 구축될 수 있다.
다양한 유형의 가능한 상호작용을 제공하는 다양한 상호작용 기법도 설명된다. 이들 기법들 중 하나 이상은 무선 원격의, 3차원(3D) 포인터, 이동 전화기 등과 같은 다른 입력 장치로부터의 입력과 결합되어 추가의 또는 변형된 상호작용을 제공한다. 아이웨어를 통해 수신된 입력은 예를 들어 안구 추적 및/또는 머리 추적을 통해 획득된 다른 입력 데이터와 함께 사용되고 및/또는 이와 결합되어, 추가의 입력 정보를 변경 및/또는 제공할 수 있다.
본 명세서에서의 예시들은 비제한적인 것임을 이해해야 한다. 예를 들어, 일 예로 안경이 사용되지만, 임의의 다른 유형의 아이웨어가 본 명세서에 기술된 기술들을 이용할 수 있고, 아이웨어는 교정 렌즈를 갖는 안경, 3D(입체) 안경, 안전 안경, 썬글래스, 독서 안경, 활성 셔터를 갖는 안경, 고글 등을 포함하나, 이에 국한되지 않는 임의의 유형일 수 있다. 따라서, 아이웨어는 상호작용식 콘텐츠를 디스플레이하는 증강 현실 안경(근안 디스플레이)일 수 있지만, 반드시 그럴 필요는 없고, 이와 달리 아이웨어는 사용자가 상호작용하기를 원하는 임의의 유형의 콘텐츠를 어떻게 디스플레이되는지와는 상관없이 볼 수 있게 해주는 렌즈를 포함하나, 이에 국한되지 않는 임의의 유형의 안경 또는 고글일 수 있다. 그에 따라, 본 발명은 본 명세서에 기술된 임의의 특정 실시예, 측면, 개념, 구조, 기능 또는 예시에 국한되지 않는다. 그 보다, 본 명세서에 기술된 임의의 실시예, 측면, 개념, 구조, 기능 또는 예시는 비제한적이며, 본 발명은 일반적으로 컴퓨터 및 얼굴 검출에서의 이점 및 장점을 제공하는 다양한 방식으로 사용될 수 있다.
도 1은 본 명세서에서 설명을 위해 "안경"으로 예시되어 있는 아이웨어가 컴퓨팅 장치(104)에 결합되는 하나 이상의 멀티 터치 센서(1021-102n)의 세트를 포함하는 방식에 대한 예시적인 구현을 보여주는 블록도이다. 본 명세서에서 사용되는 바와 같이, "멀티 터치"는 센서의 온-오프 상태를 둘 이상 제공하는 센서를 지칭한다. 즉, 멀티 터치 센서는 둘 이상의 개별 센서의 상태에 대한 정보, 및/또는 단일 센서(또는 다수의 센서)가 복수의 가능한 트리거링 위치 중에서 트거링될 수 있는 장소를 예를 들어 가능하면 하나 이상의 좌표 지점으로 나타내는 위치 데이터를 제공할 수 있다.
컴퓨터 시스템(104)은 개인용 컴퓨터, 스마트폰, 슬레이트/태블릿, 헤드업 디스플레이, 및 가전(예를 들어, 텔레비전), 신체 내로 구축되는 두개골 간(inter-cranial)/시각적 및/또는 다른 장치일 수 있다. 필수적으로, 사용자가 제어가능하게 상호작용하기를 원하는 임의의 장치는 본 명세서에서 설명된 기법에 사용되기에 적절한다.
센서(1021-102n)는 손가락 또는 임의의 적절한 포인팅 메카니즘의 접촉 및/또는 인접성(예를 들어, 호버링)을 검출하는 용량성 센서, 저항성(전위차계) 센서, 압전 기반, 광학, 광 기반(예를 들어, 적외선), 반사성(에미터/검출기) 기반 및/또는 임의의 다른 유형의 센서일 수 있다. 프레임 및/또는 렌즈의 전체 표면 영역, 또는 전체 영역 미만의 영역이 터치를 감지할 수 있다. 센서는 프레임 및/또는 렌즈 재료 내에 내장될 수 있고, 또는 코팅이 그 센서에 도포될 수 있다. 적용에 따라 (예를 들어, 사용자의 팔의 길이 가까이에서 반사되는) 비교적 먼 거리에서의 상호작용을 검출하는 센서, 방수 센서 등과 같은 적절한 센서 유형이 결정될 수 있다.
센서는 개별적인 센서일 수 있고 및/또는 예를 들어 탭, 프레스, 스와이프 등이 감지될 수 있고 서로 구별될 수 있도록 어레이로서 배열될 수 있다. 센서들 중 일부는 안쪽을 바라보는 유형일 수 있는데, 예를 들어, 3D 안경 세트를 착용한 사용자는 하나의 프로파일로서 인식될 수 있고, 그에 따라 사용자의 딸이 동일한 안경을 착용했을 때 적용된 뷰 및 오디오 환경설정 대신 사용자의 환경설정이 적용될 수 있다.
센서는 하드 탭, 하드 스퀴즈, 소프트 탭 및 소프트 스퀴즈가 각각 상호작용 어휘에서 다른 의미를 가질 수 있도록 압력에 민감할 수 있다. 온 터치 감지 디스플레이 스크린과 같은 종래의 센서와는 달리, 사용자가 엄지손가락과 센서 압력에 반대되도록 프레임의 반대편 측면을 사용하는 손가락 사이에서 센서를 꼭 집을 수 있기 때문에 스퀴징이 가능하다.
센서에 의해 검출되는 입력, 또는 입력에 대응하는 데이터는 센서 핸들링 로직(106)에 의해 처리된다. 센서로부터 센서 핸들링 로직(106)에 의해 처리되는 신호로의 임의의 유형의 통신이 유선 또는 무선 통신을 통해 가능하다. 전원이 안경 내에 통합되거나, 통신 와이어가 이용가능하지 않은 센서에 결합될 수 있다. 센서 핸들링 로직(106)에 의해 수신 및/또는 처리되는 신호는 센서 핸들링 로직(106)의 외부에 있거나 또는 일부로 간주될 수 있는 증폭기, 아날로그-디지털 변환기, 변조기, 복조기 등과 같은 0 이상의 중개자 중 임의의 개수를 통해 전달될 수 있다.
일반적으로, 센서 핸들링 로직은 사용자 입력을, 활성 프로그램(110)에 의한 소비를 위해 버퍼(108)내로의 이벤트(예를 들어, 포인터 이벤트)로 처리할 수 있다. 버퍼는 다른 유형의 포인팅 장치 등을 통해 입력된 이벤트에 대응하는 클릭 이벤트, 좌표, 타임스팸프 등을 포함할 수 있다. 앞서 설명한 바와 같이, 상이한 압력은 상이한 입력을 제공할 수 있고, 또한 상이한 타이밍 고려사항도 상이한 입력을 제공할 수 있는데, 예를 들어 프레스 앤 홀드는 탭과는 다를 수 있다. 쉽게 알 수 있는 바와 같이, 이러한 식으로, 사용자는 안경과 연관된 센서(1021-102n)에서 감지된 사람의 동작을 통해 활성 프로그램과 상호작용할 수 있다.
도 2(a) 내지 도 8은 안경 프레임의 표면 및/또는 렌즈에 위치한 멀티 터치 감지 센서와의 소정의 상호작용이 행해질 수 있는 방식을 나타낸다. 이해할 수 있는 바와 같이, 도 2(a) 내지 도 8의 안경 및 도시된 센서는 단지 예시적인 예일 뿐이며, 도시된 센서의 실제 위치, 모양, 및/또는 크기는 임의의 특정 실시예를 나타내지 않으며 또한 그에 국한되지도 않는다.
도 2(a)에서, 렌즈를 지탱하는 프레임 부분(223-226) 및 이어피스 스템(earpiece stem)(222,227)을 포함하는, 센서에 대응하는 다양한 가능한 감지 지점(222-227)이 도시되어 있다. 도 2(b)에서, 투명할 수 있는 센서(229)가 하나의 렌즈 상에 도시되어 있다. 전체 렌즈 영역은 멀티 터치 감지형일 수 있고, 양 렌즈는 하나 이상의 센서를 포함할 수 있다. 렌즈 그 자체를 터치하는 것은 뷰 영역에서 발생하게 될 얼룩으로 인해 사용자가 보는 유형의 안경에 대해서는 이상적이지 않을 수 있지만, 소정의 시나리오에서, 접촉 감지보다 근접성 감지(proximity sensing)의 적용 및 사용은 렌즈 그 자체를 경유하는 감지로부터도 이득을 취할 수 있다.
도 3(a)는 안경 한 개의 렌즈 위 및 아래에 위치한 복수의 센서(332-335)를 나타낸다. 이러한 센서(332-335)는 개별적인 단일 터치 센서일 수 있다. 쉽게 알 수 있는 바와 같이, 어떤 센서가 활성화되는지는 상이한 상호작용 의미를 가질 수 있다.
도 3(b)는 접촉/근접 또는 1차원 스와이프를 통한 활성화를 감지하도록 구성된 센서(338)를 나타낸다. 하나의 스와이프 방향은 상호작용을 위해 허용된 단 하나의 스와이프 방향일 수 있고, 또는 두 개의 스와이프 방향이 허용될 수 있는데, 각각은 사용자 의도에 대해 동일한 의미 또는 독립적인 의미를 갖는다. 예를 들어, 비디오 콘텐츠를 보고 있는 사용자는 되감기를 위해 센서(338) 상에서 오른쪽에서 왼쪽으로 스위핑할 수 있고, 빨리감기를 위해 왼쪽에서 오른쪽으로 스위핑할 수 있거나, 또는 재생을 위해 센서(338)를 탭핑할 수 있다(탭은 물리적인 접촉을 필요로 하지 않는데, 예를 들어, 근접성 유형 센서에 잠시 근접해 있다가 제거되는 손가락은 물리적인 접촉 없이도 센서를 "탭"과 같이 구동시킬 수 있다). 또 다른 예로서, 카메라 유형의 애플리케이션에서의 줌인 또는 줌아웃이 스와이프 상호작용을 통해 제어될 수 있다.
도 4(a)는 두 개의 센서(442,443)가 한 손의 상호작용을 통해 사용될 수 있는 방식을 나타낸다. 상단 센서(442)에서의 접촉/가까운 근접성은 하나의 의미를 가질 수 있고, 하단 센서(443)에서는 다른 의미를 가질 수 있고, 또는 함께 구동되면 제3의 의미를 가질 수 있다. 사용자가 센서들을 함께 구동시킬 때 다소 부정확한 것을 허용하기 위해 예를 들어 센서 핸들링 로직(106)에서 구현되는 타이밍 메카니즘 등이 사용된다. 2번의 탭 또는 3번의 탭 등은 또 다른 의미들의 세트를 가질 수 있다. 이러한 한 쌍의 센서에 대해 스와이프도 사용될 수 있다.
도 4(b)는 도 4(a)와 유사하지만, 예를 들어 양손 조작을 위해 좌, 우, 상 및 하 렌즈(444-447)를 가진다. 쉽게 알 수 있는 바와 같이, 가능한 조합의 수는 보다 많은 상호작용 의미를 허용한다.
도 5(a) 및 도 5(b)는 안경 프레임의 스템 부분 상의 센서(552-554)를 나타낸다. 센서는 하나의 온-오프 센서(552,553)(타이밍을 통해 스와이프를 검출할 수 있음)일 수 있거나, 또는 직접 스와이프를 검출할 수 있다(도 5의 센서(554)). 쉽게 알 수 있는 바와 같이, 명시적으로 나타내지 않았지만 다수의 스와이프 가능 센서가 사용될 수 있고, 좌측 및 우측 아이웨어 스템 모두가 센서를 포함할 수 있다. 도 6(a)는 스템에 위치한 센서(662)와 하나의 렌즈 가까이에 위치한 센서(663,664)의 조합을 예시하는데, 이는 예를 들어 양손 혼합 모델을 제공한다. 쉽게 알 수 있는 바와 같이, 임의의 개수의 스템에 위치한 센서 및/또는 렌즈에 인접한(및/또는 렌즈 그 자체 상에 있는) 센서가 구현될 수 있고, 임의의 수의 개별적 및 종합적 의미를 갖는다.
도 6(b)는 반대 스와이프가 또 다른 의미를 갖는, 예를 들어 회전과 같은 양상을 제공하는 보다 복잡한 유형의 상호작용을 나타낸다. 줌인 대 줌아웃 기능, 초점 등을 갖춘 애플리케이션은 이러한 유형의 제스처를 이용할 수 있다.
도 7(a) 및 도 7(b)는 또 다른 예시적인 측면, 즉 눈 사이의 센서(772)와, (착용했을 때) 귀 뒤의 젖혀진 부분에 있는 센서(774)를 각각 나타낸다. 이러한 센서는 예를 들어 사용자 인터페이스에서 소정의 기능을 액세스하기 위해 터치 감지용으로 사용될 수 있다. 그러나, 예시적인 센서(772 및/또는 774)는 다른 목적을 위해, 예를 들어 이러한 센서(772 및/또는 774)가 반드시 터치 감지 센서일 필요는 없는 경우에 사용될 수도 있다. 예를 들어, 생체 측정 및/또는 다른 감지 중 하나 이상의 유형을 통해, 프레임은 도 7(a) 및 도 7(b)에서와 같이 코 및 귀 주변의 터치(즉, 피부 접촉)를 감지함으로써 프레임이 머리에 착용되고 있는지 여부를 자동으로 "인지"할 수 있다. 온도 감지는 특히 다른 곳에서 측정된 주변의 온도와 비교하여, 아이웨어가 착용되고 있는지 여부를 검출할 수 있는 하나의 방식이다. 용량성 감지도 인접 피부의 변형을 검출할 수 있는데, 이는 예를 들어 눈썹의 상승 또는 주름과 같은 소정 유형의 얼굴 표정을 검출하는데 사용될 수 있다. 아이웨어가 현재 착용되고 있는지에 대한 감지는 아이웨어가 사용되고 있지 않을 때 아이웨어의 디스플레이를 턴오프하고, 사용시 시스템을 자동으로 되돌리는데 사용될 수 있고, 이러한 상태 변화시 동작시키기 위한 소정의 로직 또는 회로가 아이웨어 내에 구축될 수 있다. 이러한 위치는 또한 터치 감지 상호작용을 감지하는 지점으로서 사용될 수 있다.
또한, 아이웨어 내에 내장되는 터치/근접성/다른 센서도 안경이 현재 착용되고 있는지 여부를 아는 것 이외의 목적에 사용될 수 있는 생체 측정 데이터를 수집하는데 사용될 수 있다. 예를 들어, 하나 이상의 센서는 (예컨대, 착용자의 귀 뒤에 있는) 머리의 다른 측면 상의 둘 이상의 센서(예를 들어, 전극)를 감시함으로써, 전기 피부 반응을 감지할 수 있고, EKG(electrocardiogram) 신호를 제공할 수 있고, 심박동수를 검출할 수 있다.
터치 감지는 예를 들어 사용자가 아이웨어를 통해 상호작용하려는 것과 대비되는 것으로, 사용자가 현재 안경을 붙잡고 이동시키려는지 여부를 결정하기 위해 감지 입력의 조합을 사용하도록, 관성 감지 등과 결합될 수 있다. 예를 들어, 하나 이상의 이동 (예를 들어, 관성) 센서는 머리 이동보다 많은 이동을 나타내는 이동량을 검출하여, 아이웨어가 비교적 안정적이고 상호작용을 위해 터치가 사용되고 있는 경우와는 대조적으로, 이와 같은 다른 동작들을 구별할 수 있다. 이러한 식으로, "올웨이즈 온(always on)" 인터페이스 등을 사용하는 경우, 이러한 입력은 관성의 상호작용 제스처를 인식하는 것과, 보다 나은/보다 안정적인 맞춤(fit)을 달성하기 위해 아이웨어를 붙잡고 조정하는 것과 같은 동작들을 검출하는 것 간을 구별하는데 사용될 수 있다.
도 8은 안경과 연관된 디스플레이된 사용자 인터페이스의 일 예를 나타내는데, 네 개의 옵션 각각은 간단히 센서(881-884)에 또는 이에 가까운 영역에서 프레임을 터치함으로써 활성화될 수 있다. 예를 들어, 활성화된 경우, 센서(881)는 "크럼(crumb)"(UI 내비게이션 추적에 도움이 되는 것)을 남길 수 있는 한편, 센서(882)는 활성화되는 경우 리코딩을 시작 또는 중단한다. 센서(883)는 탐색 엔진 또는 다른 탐색 메카니즘을 호출하는데 사용될 수 있다. 센서(884)는 스냅 기능을 통해 윈도우를 제어하는데 사용될 수 있다. 임의의 다른 기능, 명령 등이 이러한 센서들에 할당될 수 있고, 이들은 예를 들어 사용자가 인터페이싱하는 (예를 들어, 운영 시스템 또는 애플리케이션 프로그램)에 대해 맞춤화될 수 있고 및/또는 그에 의존할 수 있다.
이러한 식으로, 멀티 터치 센서를 갖는 안경은 예를 들어 이동 전화기, 컴퓨터 등과 같은 다른 장치에 대한 원격 입력 장치로서 사용될 수 있다. 안경은 무선 원격 3D 포인터 등으로서 기능할 수 있다.
또 다른 측면에서, 안경 기반 입력과 다른 입력 장치의 입력의 조합은 다양한 유용한 상호작용 시나리오를 제공한다. 예를 들어, 머리 추적 또는 안구 추적을 통해 사용자가 텔레비전을 보고 있는 것으로 알려져 있는 경우를 고려한다. 이 경우, 안경 상의 센서는 예를 들어 볼륨을 조정하고, 채널을 변경하기 위해 텔레비전과 상호작용하는데 사용될 수 있다. 사용자가 컴퓨터 디스플레이 스크린으로 방향을 돌리는 경우, 안경 상의 센서는 컴퓨터와 상호작용하는데 사용될 수 있다. 음성, 제스처 및 보다 일반적인 입력, 예를 들어 마우스 또는 키보드 입력이 안경 기반 입력을 통한 상호작용으로부터 이득을 얻을 수 있다.
또한, 터치 감지 안경은 안구 추적을 위한 센서, 카메라, 관성 센서, 파도 추적(jaw tracking), 온도 센서, 심장박동수 모니터, 전기 피부 응답, EEG, EMG, EKG 등과 같은, 안경 내에 구축된 다른 센서와 결합될 수 있다. 이러한 추가의 센서는 예를 들어 건강 모니터링에서의 올웨이즈 온 입출력 솔루션, 및 (예를 들어, 시선 모니터링, 관성 센서 또는 카메라와 결합된 경우) 3D 입력을 제공할 수 있다. 카메라/관성 센서/마이크로폰/시선 추적 등과 결합된 경우, 이들 안경은 시선에 따른 시각적 탐색 또는 증강 현실 비디오가 가능하게 하는데 사용될 수 있다.
도 9는 상호작용 입력 장치로서 아이웨어를 사용하는데 수행될 수 있는 예시적인 단계들을 요약한 예시적인 흐름도로서, 사용자 상호작용이 멀티 터치 센서 세트에 의해 검출되는 단계(902)로 시작한다. 단계(904)는 상호작용에 대응하는 신호를 출력하는 것을 나타낸다.
단계(906)는 예를 들어 생체 측정 센서에 의해 획득된 임의의 다른 신호를 출력하는 것을 나타낸다. 이러한 간단한 예에서, 단계(906)는 상호작용이 감지될 때마다 출력하는 것으로 도시되어 있지만, 이와 달리, 이러한 생체 측정 또는 다른 시그널링은, 예를 들어 초 단위로 샘플링하는 프로세스 및/또는 실질적인 상태 변화가 검출된 경우에만 출력하는 프로세스와 같은 별도의 프로세스의 일부일 수 있다. 또한, 다른 시그널링은 예를 들어 활성 안경을 사용하지 않을 경우 턴오프하고 사용하는 경우 턴온하기 위해 안경에 대해 내부적일 수 있다.
전술한 단계 및 단계(908)는 신호(또는 신호에 대응하는 디지털화된 및/또는 복조된 데이터와 같은, 신호에 대응하는 데이터)의 수신측에서의 동작에 관한 것이다. 단계(908,910)는 신호 및 대응하는 데이터를 수신하는 단계 및 사용자가 상호작용하는 프로그램에 의한 소비에 적합한 형태, 예를 들어, 클릭 및 좌표와 같은 포인터 이벤트로 데이터를 처리하는 단계를 나타낸다.
단계(912)는 프로그램을 위한 입력 이벤트를 버퍼링하는 단계를 나타낸다. 전술한 바와 같이, 프로그램은 사용자가 텔레비전을 보고 있는지 또는 컴퓨터를 보고 있는지와 같은 다른 상태 정보에 기초하여 전환될 수 있고, 그에 따라 각각이 프로그램과 연관된 상이한 버퍼 등(예를 들어, 타임스탬프 기반 라우팅)이 사용될 수 있다. 사용자 입력과 연관된 피드백은 UI 내에서의 시각적 변경 또는 다른 직접적인 변경(예를 들어, 오디오 볼륨의 증가)의 형태뿐만 아니라, 사용자가 쉽게 알 수 없는 경우 특히 유용할 수 있는, 입력이 수신되었음을 사용자가 알게 해주는 진동 또는 다른 촉각 피드백과 같은 추가의 피드백 형태로 제공될 수 있다.
예시적인 동작 환경
도 10은 도 1 내지 도 9의 예들이 구현될 수 있는 적절한 컴퓨팅 및 네트워크 환경(1000)의 일 예를 나타낸다. 컴퓨팅 시스템 환경(1000)은 적절한 컴퓨팅 환경의 일 예일뿐이며, 본 발명의 사용 또는 기능의 범주에 어떠한 제한도 두려 하지 않는다. 컴퓨팅 환경(1000)은 예시적인 동작 환경(1000)에 도시되어 있는 컴포넌트들 중 임의의 하나 또는 이들의 조합에 관련된 어떠한 종속성 또는 요구도 갖지 않는 것으로 해석되어야 한다.
본 발명은 다양한 다른 범용 또는 특수 목적의 컴퓨팅 시스템 환경 또는 구성으로 동작가능하다. 본 발명에 사용되기에 적절할 수 있는 잘 알려져 있는 컴퓨팅 시스템, 환경 및/또는 구성의 예는 개인용 컴퓨터, 서버 컴퓨터, 핸드 헬드 또는 랩탑 장치, 태블릿 장치, 멀티프로세서 시스템, 마이크로프로세서 기반 시스템, 셋탑 박스, 프로그램가능 소비자 전자기기, 네트워크 PC, 미니컴퓨터, 메인프레임 컴퓨터, 전술한 시스템 또는 장치 중 임의의 것을 포함하는 분산형 컴퓨팅 환경 등을 포함하나 이에 국한되지 않는다.
본 발명은 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터 실행가능 명령어의 일반적인 문맥으로 설명될 수 있다. 일반적으로, 프로그램 모듈은 특정 작업을 수행하거나 특정 추상 데이터 유형을 구현하는 루틴, 프로그램, 객체, 컴포넌트, 데이터 구조 등을 포함한다. 본 발명은 또한 통신 네트워크를 통해 링크되는 원격 처리 장치들에 의해 작업들이 수행되는 분산형 컴퓨팅 환경에서도 실시될 수 있다. 분산형 컴퓨팅 환경에서, 프로그램 모듈은 메모리 저장 장치를 포함하는 로컬 및/또는 원격 컴퓨터 저장 매체에 위치할 수 있다.
도 10을 참조하면, 본 발명의 다양한 측면을 구현하기 위한 예시적인 시스템이 컴퓨터(1010)의 형태인 범용 컴퓨팅 장치를 포함한다. 컴퓨터(1010)의 컴포넌트는 처리 장치(1020), 시스템 메모리(1030), 및 시스템 메모리를 포함하는 다양한 시스템 컴포넌트를 처리 장치(1020)에 연결하는 시스템 버스(1021)를 포함할 수 있지만, 이에 국한되지는 않는다. 시스템 버스(1021)는 메모리 버스 또는 메모리 컨트롤러, 주변 버스 및 다양한 버스 아키텍처 중 임의의 것을 이용하는 로컬 버스를 포함하는 임의의 다양한 타입의 버스 구조일 수 있다. 예시로서, 이러한 아키텍처는 산업 표준 아키텍처(ISA) 버스, 마이크로 채널 아키텍처(MCA) 버스, 개선된 ISA(EISA) 버스, 비디오 전자기기 표준 연합(VESA) 로컬 버스 및 메자닌(Mezzanine) 버스로도 알려진 주변기기 상호접속(PCI) 버스를 포함하지만, 이것으로 한정되는 것은 아니다.
컴퓨터(1010)는 전형적으로 다양한 컴퓨터 판독가능한 매체를 포함한다. 컴퓨터 판독가능한 매체는 컴퓨터(1010)에 의해 액세스될 수 있는 임의의 이용가능한 매체일 수 있으며, 휘발성 및 비휘발성 매체, 이동식 및 고정식 매체 모두를 포함한다. 예시로서, 컴퓨터 판독가능한 매체는 컴퓨터 저장 매체 및 통신 매체를 포함할 수 있지만, 이것으로 한정되는 것은 아니다. 컴퓨터 저장 매체는 컴퓨터 판독가능한 명령어, 데이터 구조, 프로그램 모듈 또는 그외의 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술에서 구현된 휘발성 및 비휘발성, 이동식 및 고정식 매체를 포함한다. 컴퓨터 저장 매체는 RAM, ROM, EEPROM, 플래시 메모리 또는 그외의 메모리 기술, CD-ROM, DVD 또는 그외의 광학 디스크 스토리지, 자기 카세트, 자기 테이프, 자기 디스크 스토리지 또는 그외의 자기 스토리지 장치, 또는 원하는 정보를 저장하는데 사용될 수 있고 컴퓨터(1010)에 의해 액세스될 수 있는 임의의 다른 매체를 포함하지만, 이것으로 한정되는 것은 아니다. 통신 매체는 전형적으로 반송파 또는 다른 수송 메커니즘과 같은 변조된 데이터 신호 내에 컴퓨터 판독가능한 명령어, 데이터 구조, 프로그램 모듈 또는 그외의 데이터를 포함하며, 임의의 정보 전달 매체를 포함한다. "변조된 데이터 신호(modulated data signal)"라는 표현은 신호 내에 정보를 인코딩하도록 자신의 특징들 중 하나 이상이 설정 또는 변경된 신호를 의미한다. 예시로서, 통신 매체는 무선 네트워크 또는 다이렉트-와이어 접속과 같은 유선 매체, 및 음향, RF, 적외선 및 그외의 무선 매체와 같은 무선 매체를 포함하지만 이것으로 제한되는 것은 아니다. 전술된 것들의 임의의 조합 또한 컴퓨터 판독가능한 매체의 범주 내에 포함될 수 있다.
시스템 메모리(1030)는 판독 전용 메모리(ROM)(1031) 및 랜덤 액세스 메모리(RAM)(1032)와 같은 휘발성 및/또는 비휘발성 메모리의 형태인 컴퓨터 저장 매체를 포함한다. 예로서 스타트-업 동안에 컴퓨터(1010) 내의 요소들 사이에서 정보를 전송하는 것을 돕는 베이직 루틴을 포함하는 베이직 입력/출력 시스템(1033)(BIOS)은 전형적으로 ROM(1031)에 저장된다. RAM(1032)은 전형적으로 처리 장치(1020)에 의해서 즉시 액세스 가능한 및/또는 현재 동작되고 있는 데이터 및/또는 프로그램 모듈을 포함한다. 예시로서, 도 10은 운영 시스템(1034), 애플리케이션 프로그램(1035), 다른 프로그램 모듈(1036) 및 프로그램 데이터(1037)를 도시하지만, 이것으로 제한되는 것은 아니다.
컴퓨터(1010)는 또한 다른 이동식/고정식, 휘발성/비휘발성 컴퓨터 저장 매체를 포함할 수 있다. 단지 예시로서, 도 10은 고정식의 비휘발성 자기 매체로 기록 또는 그로부터 판독하는 하드 디스크 드라이브(1041), 이동식의 비휘발성 자기 디스크(1052)로 기록 또는 그로부터 판독하는 자기 디스크 드라이브(1051) 및 CD-ROM 또는 그외의 광학 매체와 같은 이동식의 비휘발성 광학 디스크(1056)로 기록 또는 그로부터 판독하는 광학 디스크 드라이브(1055)를 도시한다. 그외의 예시적인 동작 환경에서 사용될 수 있는 이동식/고정식의, 휘발성/비휘발성 컴퓨터 저장 매체는, 자기 테이프 카세트, 플래시 메모리 카드, DVD, 디지털 비디오 테이프, 고체 상태 RAM, 고체 상태 ROM 등을 포함하지만, 이것으로 제한되는 것은 아니다. 하드 디스크 드라이브(1041)는 전형적으로 인터페이스(1040)와 같은 고정식 메모리 인터페이스를 통해 시스템 버스(1021)에 접속되며, 자기 디스크 드라이브(1051) 및 광학 디스크 드라이브(1055)는 전형적으로 인터페이스(1050)와 같은 이동식 메모리 인터페이스를 통해 시스템 버스(1021)에 접속된다.
위에서 언급되었으며 도 10에 도시된 드라이브 및 그와 연관된 컴퓨터 저장 매체는 컴퓨터(1010)에 대한 컴퓨터 판독가능한 명령어, 데이터 구조, 프로그램 모듈 및 그외의 데이터의 저장을 제공한다. 도 10에서, 예를 들어 하드 디스크 드라이브(1041)는 운영 시스템(1044), 애플리케이션 프로그램(1045), 다른 프로그램 모듈(1046) 및 프로그램 데이터(1047)를 저장하는 것으로 도시되었다. 이들 컴포넌트는 운영 시스템(1034), 애플리케이션 프로그램(1035), 다른 프로그램 모듈(1036) 및 프로그램 데이터(1037)와 동일할 수 있거나 또는 서로 다를 수 있다. 본 명세서에서 운영 시스템(1044), 애플리케이션 프로그램(1045), 다른 프로그램 모듈(1046) 및 프로그램 데이터(1047)에는 최소한 이들이 다른 사본임을 설명하기 위해서 다른 참조번호가 주어졌다. 사용자는 태블릿, 또는 전자 디지타이저(1064), 마이크로폰(1063), 키보드(1062) 및 마우스, 트랙볼 또는 터치패드와 같은 포인팅 장치(1061)와 같은 입력 장치를 통해 컴퓨터(1010)에 커맨드 및 정보를 입력할 수 있다. 도 10에 도시되어 있지 않은 다른 입력 장치는 조이스틱, 게임 패드, 위성 접시, 스캐너 등을 포함할 수 있다. 이들 및 그 밖의 다른 입력 장치는 시스템 버스에 연결된 사용자 입력 인터페이스(1060)를 통해 처리 장치(1020)에 종종 접속될 수 있지만, 병렬 포트, 게임 포트 또는 USB와 같은 그외의 인터페이스 및 버스 아키텍처에 의해서 접속될 수도 있다. 모니터(1091) 또는 다른 타입의 디스플레이 디바이스도 비디오 인터페이스(1090)와 같은 인터페이스를 통해 시스템 버스(1021)에 접속된다. 모니터(1091)는 또한 터치 스크린 패널 등과 통합될 수 있다. 태블릿형 개인용 컴퓨터에서와 같이 모니터 및/또는 터치 스크린은 컴퓨팅 장치(1010)가 통합되는 하우징에 물리적으로 결합된다. 또한, 컴퓨팅 장치(1010)와 같은 컴포터는 또한 출력 주변 인터페이스(1094) 등을 통해 연결될 수 있는 스피커(1095) 및 프린터(1096)와 같은 다른 주변 출력 장치를 포함할 수 있다.
컴퓨터(1010)는 원격 컴퓨터(1080)와 같은 하나 이상의 원격 컴퓨터로의 논리적 접속을 이용하여 네트워킹된 환경에서 동작할 수 있다. 원격 컴퓨터(1080)는 개인용 컴퓨터, 서버, 라우터, 네트워크 PC, 피어 장치 또는 그외의 공용 네트워크 노드일 수 있으며, 도 10에는 메모리 저장 장치(1081)만이 도시되어 있지만, 전형적으로 컴퓨터(1010)와 관련하여 전술된 다수의 또는 모든 요소들을 포함한다. 도 10에 도시된 논리적 접속은 하나 이상의 로컬 영역 네트워크(LAN)(1071) 및 광역 네트워크(WAN)(1073)를 포함하지만, 다른 네트워크도 포함할 수 있다. 이러한 네트워킹 환경은 사무실, 회사 전체의 컴퓨터 네트워크, 인트라넷 및 인터넷에서 흔한 것이다.
LAN 네트워킹 환경에서 사용될 때, 컴퓨터(1010)는 네트워크 인터페이스 또는 어댑터(1070)를 통해 LAN(1071)에 접속된다. WAN 네트워킹 환경에서 사용될 때, 컴퓨터(1010)는 전형적으로 모뎀(1072) 또는 인터넷과 같은 WAN(1073) 상에서의 통신을 확립하기 위한 다른 수단을 포함한다. 내부 또는 외부 모뎀일 수 있는 모뎀(1072)은 사용자 입력 인터페이스(1060) 또는 그외의 적절한 메커니즘을 통해 시스템 버스(1021)로 접속될 수 있다. 예를 들어 인터페이스 및 안테나를 포함하는 무선 네트워킹 컴포넌트는 액세스 포인트 또는 피어 컴퓨터와 같은 적절한 장치를 통해 WAN 또는 LAN에 결합될 수 있다. 네트워킹 환경에서, 컴퓨터(1010)에 대해 도시된 프로그램 모듈 또는 그의 일부가 원격 메모리 저장 장치에 저장될 수 있다. 예시로서, 도 10은 원격 애플리케이션 프로그램(1085)을 메모리 장치(1081)에 상에 존재하는 것으로 도시하지만, 이것으로 제한되는 것은 아니다. 도시된 네트워크 접속은 단지 예시적인 것이며, 컴퓨터들 사이의 통신 링크를 확립하기 위한 다른 수단이 사용될 수 있음을 이해할 것이다.
컴퓨터 시스템의 주된 부분이 저전력 상태에 있을지라도, 프로그램 콘텐츠, 시스템 상태 및 이벤트 통지와 같은 데이터가 사용자에게 제공될 수 있도록 (예를 들어, 콘텐츠의 보조 디스플레이를 위한) 보조 서브시스템(1099)이 사용자 인터페이스(1060)를 통해 연결된다. 이 보조 서브시스템(1099)은 주 처리 장치(1020)가 저전력 상태에 있는 동안 이들 시스템들 간의 통신을 가능하게 하기 위해 모뎀(1072) 및/또는 네트워크 인터페이스(1070)에 연결될 수 있다.
결론
본 발명은 다양한 변형 및 또 다른 구성에 놓일 수 있지만, 본 발명의 소정의 예시된 실시예가 도면에 도시되고 상세한 설명에 설명되었다. 그러나, 본 발명을 개시되어 있는 특정 실시예에 국한시키려는 의도는 없으며, 오히려, 본 발명은 본 발명의 사상 및 범주 내에 속하는 모든 변형, 대체 구성 및 등가물을 커버한다.

Claims (20)

  1. 입력 장치로서 구성된 아이웨어(eyewear)를 포함하는 시스템으로서,
    상기 아이웨어는 상기 아이웨어와의 사용자 상호작용을 감지하고 상기 사용자 상호작용을 나타내는 신호를 출력하도록 구성된 하나 이상의 멀티 터치 센서를 포함하는 멀티 터치 센서 세트를 포함하고,
    상기 멀티 터치 센서 세트는 상기 아이웨어의 사용자의 프로파일을 인식하기 위한 적어도 하나의 안쪽을 바라보는 센서(inward facing sensor)를 포함하고, 상기 멀티 터치 센서 세트는 상기 신호에 대응하는 입력 데이터를 프로그램에 제공하기 위해 센서 핸들링 로직에 결합되며, 상기 프로그램과 상호작용하기 위해 상기 인식된 프로파일에 대응하는 환경설정을 적용하고, 상기 프로그램은, 안구 추적 또는 머리 추적을 통해 획득된 다른 입력 데이터에 기초하여, 제각기의 디바이스와 상호작용하는 데 사용되는 복수의 프로그램 사이에서 전환되는
    시스템.
  2. 제1항에 있어서,
    상기 멀티 터치 센서 세트는 스와이프 제스처(swipe gesture)를 검출하도록 구성된 적어도 하나의 센서를 포함하는
    시스템.
  3. 제1항에 있어서,
    상기 멀티 터치 센서 세트는 복수의 상이한 압력을 검출하도록 구성된 적어도 하나의 센서를 포함하는
    시스템.
  4. 제1항에 있어서,
    상기 아이웨어는 증강 현실 안경, 근안(near-eye) 디스플레이, 교정 렌즈를 갖는 안경, 입체 안경, 안전 안경, 썬글래스, 독서 안경, 활성 셔터를 갖는 안경 또는 고글을 포함하는
    시스템.
  5. 제1항에 있어서,
    상기 멀티 터치 센서 세트는 용량성 센서, 저항성 센서, 압전 기반 센서, 광학 센서, 광 기반 센서 및 반사 센서 중 적어도 하나를 포함하는
    시스템.
  6. 제1항에 있어서,
    상기 멀티 터치 센서 세트의 적어도 일부는 상기 아이웨어의 프레임 내에 몰딩되거나, 상기 아이웨어의 프레임에 부착되거나, 또는 상기 아이웨어의 프레임 내에 몰딩되면서 상기 아이웨어의 프레임에 부착도 되는
    시스템.
  7. 제1항에 있어서,
    상기 멀티 터치 센서 세트의 적어도 일부는 상기 아이웨어의 렌즈 상에 위치하는
    시스템.
  8. 제1항에 있어서,
    상기 멀티 터치 센서 세트의 적어도 일부는 상기 아이웨어의 렌즈 위의 프레임 상에, 상기 아이웨어의 렌즈 아래의 프레임 상에, 또는 상기 아이웨어의 렌즈 위의 프레임 상 및 상기 아이웨어의 렌즈 아래의 프레임 상 모두에 위치하는
    시스템.
  9. 제1항에 있어서,
    상기 멀티 터치 센서 세트의 적어도 일부는 상기 아이웨어의 스템(stem) 상에 위치하는
    시스템.
  10. 제1항에 있어서,
    상기 아이웨어가 현재 사용자에 의해 착용되어 있는지 여부를 결정하는데 사용되는 신호를 제공하도록 구성된 적어도 하나의 센서를 더 포함하는
    시스템.
  11. 제1항에 있어서,
    상기 아이웨어가 현재 사용자에 의해 이동되고 있는지와 상기 사용자에 의해 입력 장치로서 사용되고 있는지 간을 구별하는데 사용되는 신호를 제공하도록 구성된 적어도 하나의 센서를 더 포함하는
    시스템.
  12. 제1항에 있어서,
    또 다른 입력 장치를 더 포함하되,
    상기 프로그램은 상기 멀티 터치 센서 세트에서 개시된 입력과 상기 또 다른 입력 장치에서 개시된 입력에 기초하여 동작하는
    시스템.
  13. 제1항에 있어서,
    상기 멀티 터치 센서 세트는 적어도 부분적으로 무선 매체를 통해 상기 센서 핸들링 로직에 결합되는
    시스템.
  14. 컴퓨팅 장치에 의해 수행되는 방법으로서,
    하나 이상의 센서를 포함하는 멀티 터치 아이웨어 센서 세트와의 사용자 상호작용을 감지하는 단계와,
    상호작용식 프로그램과의 사용자 상호작용을 제공하기 위해 상기 상호작용을 나타내는 신호를 출력하는 단계 ― 상기 상호작용식 프로그램은, 안구 추적 또는 머리 추적을 통해 획득된 다른 입력 데이터에 기초하여, 제각기의 디바이스와 상호작용하는 데 사용되는 복수의 상호작용식 프로그램 사이에서 전환됨 ― 와,
    상기 멀티 터치 아이웨어 센서 세트 내의 적어도 하나의 안쪽을 바라보는 센서를 사용하여 사용자의 프로파일을 인식하는 단계와,
    상기 상호작용식 프로그램과의 사용자 상호작용을 위해 상기 인식된 프로파일에 대응하는 환경설정을 적용하는 단계를 포함하는
    방법.
  15. 제14항에 있어서,
    상기 사용자 상호작용을 감지하는 단계는 탭, 프레스, 핀치 또는 스와이프 제스처, 또는 상기 탭, 상기 프레스, 상기 핀치 또는 상기 스와이프 제스처를 나타내는 신호들의 임의의 조합을, 상기 멀티 터치 아이웨어 센서 세트 내의 하나 이상의 센서를 통해 감지하는 단계를 포함하는
    방법.
  16. 제14항에 있어서,
    상기 사용자 상호작용을 감지하는 단계는 상기 멀티 터치 아이웨어 센서 세트 내의 센서에서 프레스 앤 홀드를 감지하는 단계를 포함하는
    방법.
  17. 컴퓨터 실행가능 명령어를 포함하는 하나 이상의 컴퓨터 판독가능 저장 매체로서,
    상기 컴퓨터 실행가능 명령어는 실행되는 경우,
    아이웨어 센서 세트를 통해 감지된 사용자 입력 활동에 대응하는 정보를 수신하는 단계와,
    상기 아이웨어 센서 세트 내의 적어도 하나의 안쪽을 바라보는 센서를 사용하여 사용자의 프로파일을 인식하는 단계와,
    상기 사용자의 인식된 프로파일에 기초하여 상기 정보를 적어도 하나의 입력 이벤트로 처리하는 단계와,
    상기 적어도 하나의 입력 이벤트에 대응하는 데이터를, 복수의 프로그램과 연관된 상이한 버퍼에 버퍼링하는 단계 ― 상기 복수의 프로그램은 제각기의 디바이스와 상호작용하는 데 사용되며, 안구 추적 또는 머리 추적을 통해 획득된 다른 입력 데이터에 기초하여 서로 전환됨 ― 를 수행하는
    컴퓨터 판독가능 저장 매체.
  18. 제17항에 있어서,
    상기 적어도 하나의 입력 이벤트에 대응하는 상기 데이터의 적어도 일부를 처리하여 의미를 결정하고, 상기 의미를 사용하여 프로그램 또는 장치의 현재 상태를 변경하는 컴퓨터 실행가능 명령어를 더 포함하는
    컴퓨터 판독가능 저장 매체.
  19. 제17항에 있어서,
    상기 적어도 하나의 입력 이벤트에 대응하는 상기 데이터를 또 다른 입력 메커니즘의 입력 데이터와 결합하는 컴퓨터 실행가능 명령어를 더 포함하는
    컴퓨터 판독가능 저장 매체.
  20. 제17항에 있어서,
    상기 센서 세트로부터의 정보에 대응하는 신호를 출력하는 컴퓨터 실행가능 명령어를 더 포함하되, 상기 신호를 출력하는 것은 탭, 프레스, 핀치 또는 스와이프 제스처를 나타내는 신호, 또는 탭, 프레스, 핀치 또는 스와이프 제스처를 나타내는 신호들의 임의의 조합을 출력하는 것을 포함하는
    컴퓨터 판독가능 저장 매체.


KR1020157015065A 2012-12-06 2013-12-02 아이웨어 상에서의 멀티 터치 상호작용 기법 KR102227836B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/707,286 2012-12-06
US13/707,286 US9016857B2 (en) 2012-12-06 2012-12-06 Multi-touch interactions on eyewear
PCT/US2013/072682 WO2014088971A1 (en) 2012-12-06 2013-12-02 Multi-touch interactions on eyewear

Publications (2)

Publication Number Publication Date
KR20150091322A KR20150091322A (ko) 2015-08-10
KR102227836B1 true KR102227836B1 (ko) 2021-03-12

Family

ID=49885392

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020157015065A KR102227836B1 (ko) 2012-12-06 2013-12-02 아이웨어 상에서의 멀티 터치 상호작용 기법

Country Status (7)

Country Link
US (1) US9016857B2 (ko)
EP (1) EP2929424B1 (ko)
JP (1) JP6522510B2 (ko)
KR (1) KR102227836B1 (ko)
CN (1) CN105122201B (ko)
ES (1) ES2858520T3 (ko)
WO (1) WO2014088971A1 (ko)

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120105740A1 (en) 2000-06-02 2012-05-03 Oakley, Inc. Eyewear with detachable adjustable electronics module
US8482488B2 (en) 2004-12-22 2013-07-09 Oakley, Inc. Data input management system for wearable electronically enabled interface
US7013009B2 (en) 2001-06-21 2006-03-14 Oakley, Inc. Eyeglasses with wireless communication features
US9823737B2 (en) * 2008-04-07 2017-11-21 Mohammad A Mazed Augmented reality personal assistant apparatus
EP2095178B1 (en) 2006-12-14 2015-08-12 Oakley, Inc. Wearable high resolution audio visual interface
KR20130025675A (ko) * 2011-09-02 2013-03-12 삼성전자주식회사 3ｄ안경과 디스플레이장치를 포함하는 사용자 건강 모니터링 시스템 및 디스플레이장치와 그 제어방법
CA2864691C (en) 2012-02-17 2018-05-01 Oakley, Inc. Systems and methods for removably coupling an electronic device to eyewear
US9814426B2 (en) 2012-06-14 2017-11-14 Medibotics Llc Mobile wearable electromagnetic brain activity monitor
US10130277B2 (en) 2014-01-28 2018-11-20 Medibotics Llc Willpower glasses (TM)—a wearable food consumption monitor
US20150212647A1 (en) * 2012-10-10 2015-07-30 Samsung Electronics Co., Ltd. Head mounted display apparatus and method for displaying a content
US9500865B2 (en) * 2013-03-04 2016-11-22 Alex C. Chen Method and apparatus for recognizing behavior and providing information
CN205177388U (zh) 2013-03-15 2016-04-20 奥克利有限公司 目镜系统
US9873233B2 (en) * 2013-03-15 2018-01-23 Johnson & Johnson Vision Care, Inc. Ophthalmic lens viewing sets for three-dimensional perception of stereoscopic media
WO2014201213A1 (en) 2013-06-12 2014-12-18 Oakley, Inc. Modular heads-up display system
US9575721B2 (en) * 2013-07-25 2017-02-21 Lg Electronics Inc. Head mounted display and method of controlling therefor
KR101558233B1 (ko) * 2013-12-31 2015-10-12 전자부품연구원 림 부분에 조작 수단이 마련된 안경형 디바이스 및 이를 통한 사용자 입력 방법
US9579060B1 (en) * 2014-02-18 2017-02-28 Orbitol Research Inc. Head-mounted physiological signal monitoring system, devices and methods
US20150242179A1 (en) * 2014-02-21 2015-08-27 Smart Technologies Ulc Augmented peripheral content using mobile device
KR101839441B1 (ko) * 2014-09-17 2018-03-16 (주)에프엑스기어 두드림에 의해 제어되는 헤드 마운트형 디스플레이 장치, 이의 제어 방법 및 이의 제어를 위한 컴퓨터 프로그램
KR20160069936A (ko) * 2014-12-09 2016-06-17 삼성전자주식회사 절전 제어 방법 및 이를 제공하는 전자 장치
WO2016142423A1 (en) * 2015-03-12 2016-09-15 Essilor International (Compagnie Générale d'Optique) A method for customizing a mounted sensing device
JP2018516111A (ja) * 2015-04-09 2018-06-21 マーシオ マーク アブリュー 人体上に支持され、人体の生体パラメータを測定し、かつ人体の特性を制御するように構成されたデバイス
US9888843B2 (en) 2015-06-03 2018-02-13 Microsoft Technology Licensing, Llc Capacitive sensors for determining eye gaze direction
US10896591B2 (en) * 2015-07-31 2021-01-19 Motorola Mobility Llc Eyewear with proximity sensors to detect outside line of sight presence and corresponding methods
JP6407824B2 (ja) * 2015-09-01 2018-10-17 株式会社東芝 メガネ型ウエアラブル端末およびこの端末を用いる方法
KR102521944B1 (ko) * 2015-10-02 2023-04-18 삼성디스플레이 주식회사 머리 탑재형 표시 장치 및 이의 제조 방법
JP6638392B2 (ja) * 2015-12-28 2020-01-29 セイコーエプソン株式会社 表示装置、表示システム、表示装置の制御方法、及び、プログラム
JP6740613B2 (ja) * 2015-12-28 2020-08-19 セイコーエプソン株式会社 表示装置、表示装置の制御方法、及び、プログラム
JP6442643B2 (ja) * 2016-03-22 2018-12-19 富士フイルム株式会社 装着性調整メガネシステム、装着性調整メガネ、および装着性調整メガネシステムに用いられるプログラム
JP6482728B2 (ja) * 2016-03-22 2019-03-13 富士フイルム株式会社 装着性調整値出力メガネシステム、装着性調整値出力メガネ、装着性情報検出メガネ、および装着性調整値出力メガネシステムに用いられるプログラム、並びに調整機能付メガネ
US9983418B2 (en) 2016-08-04 2018-05-29 Verily Life Sciences Llc Tactile interface for eye-mountable device
EP3519892B1 (en) 2016-09-27 2020-12-16 Snap Inc. Eyewear device mode indication
US20180235540A1 (en) 2017-02-21 2018-08-23 Bose Corporation Collecting biologically-relevant information using an earpiece
CN110291446B (zh) * 2017-02-22 2021-10-08 三井化学株式会社 眼睛佩戴物
US10146501B1 (en) 2017-06-01 2018-12-04 Qualcomm Incorporated Sound control by various hand gestures
US10213157B2 (en) * 2017-06-09 2019-02-26 Bose Corporation Active unipolar dry electrode open ear wireless headset and brain computer interface
US11835798B2 (en) * 2018-12-12 2023-12-05 Solos Technology Limited Eyewear systems, apparatuses, and methods for providing assistance to a user
US11733789B1 (en) * 2019-09-30 2023-08-22 Snap Inc. Selectively activating a handheld device to control a user interface displayed by a wearable device
CN110933501B (zh) * 2020-01-22 2020-05-22 恒信东方文化股份有限公司 Tv设备的儿童护眼方法、带有儿童护眼功能的tv设备及系统
US11204649B2 (en) * 2020-01-30 2021-12-21 SA Photonics, Inc. Head-mounted display with user-operated control
CN111368268B (zh) * 2020-02-28 2023-12-01 Oppo广东移动通信有限公司 用户识别方法、用户识别装置、存储介质与头戴式设备
EP3912548A1 (en) 2020-05-22 2021-11-24 Hsin-Yin Chiang Wearable electroencephalographic monitoring device
CN111522142A (zh) * 2020-06-14 2020-08-11 深圳市安之眼科技有限公司 一种ar智能眼镜
CN112527177A (zh) * 2020-12-07 2021-03-19 维沃移动通信有限公司 应用程序管理方法、装置及智能眼镜
US20230162531A1 (en) * 2021-11-22 2023-05-25 Microsoft Technology Licensing, Llc Interpretation of resonant sensor data using machine learning

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008065169A (ja) * 2006-09-08 2008-03-21 Sony Corp 表示装置、表示方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7656393B2 (en) 2005-03-04 2010-02-02 Apple Inc. Electronic device having display and surrounding touch sensitive bezel for user interface and control
US20050162402A1 (en) 2004-01-27 2005-07-28 Watanachote Susornpol J. Methods of interacting with a computer using a finger(s) touch sensing input device with visual feedback
JP2006146803A (ja) * 2004-11-24 2006-06-08 Olympus Corp 操作装置及び遠隔操作システム
US8072429B2 (en) 2006-12-22 2011-12-06 Cypress Semiconductor Corporation Multi-axial touch-sensor device with multi-touch resolution
US7924271B2 (en) 2007-01-05 2011-04-12 Apple Inc. Detecting gestures on multi-event sensitive devices
US20080180399A1 (en) 2007-01-31 2008-07-31 Tung Wan Cheng Flexible Multi-touch Screen
US7874666B2 (en) * 2007-03-26 2011-01-25 University Of Washington Through Its Center For Commercialization Smart sunglasses, helmet faceshields and goggles based on electrochromic polymers
US20100110368A1 (en) 2008-11-02 2010-05-06 David Chaum System and apparatus for eyeglass appliance platform
US9182854B2 (en) 2009-07-08 2015-11-10 Microsoft Technology Licensing, Llc System and method for multi-touch interactions with a touch sensitive screen
US8305433B2 (en) * 2009-12-23 2012-11-06 Motorola Mobility Llc Method and device for visual compensation
US8542215B2 (en) 2010-04-30 2013-09-24 Microchip Technology Incorporated Mutual capacitance measurement in a multi-touch input device
WO2012011893A1 (en) * 2010-07-20 2012-01-26 Empire Technology Development Llc Augmented reality proximity sensing
US8203502B1 (en) * 2011-05-25 2012-06-19 Google Inc. Wearable heads-up display with integrated finger-tracking input sensor
US8223088B1 (en) 2011-06-09 2012-07-17 Google Inc. Multimode input field for a head-mounted display
US8184067B1 (en) 2011-07-20 2012-05-22 Google Inc. Nose bridge sensor
US8217856B1 (en) 2011-07-27 2012-07-10 Google Inc. Head-mounted display that displays a visual representation of physical interaction with an input interface located outside of the field of view
US8744113B1 (en) * 2012-12-13 2014-06-03 Energy Telecom, Inc. Communication eyewear assembly with zone of safety capability

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008065169A (ja) * 2006-09-08 2008-03-21 Sony Corp 表示装置、表示方法

Also Published As

Publication number Publication date
CN105122201A (zh) 2015-12-02
US9016857B2 (en) 2015-04-28
ES2858520T3 (es) 2021-09-30
JP2016507802A (ja) 2016-03-10
EP2929424A1 (en) 2015-10-14
JP6522510B2 (ja) 2019-05-29
CN105122201B (zh) 2019-10-11
WO2014088971A1 (en) 2014-06-12
EP2929424B1 (en) 2021-02-17
KR20150091322A (ko) 2015-08-10
US20140160424A1 (en) 2014-06-12

Similar Documents

Publication Publication Date Title
KR102227836B1 (ko) 아이웨어 상에서의 멀티 터치 상호작용 기법
US11599154B2 (en) Adaptive enclosure for a mobile computing device
US10962809B1 (en) Eyewear device with finger activated touch sensor
US20180210544A1 (en) Head Tracking Based Gesture Control Techniques For Head Mounted Displays
CA2922493C (en) Presentation of a control interface on a touch-enabled device based on a motion or absence thereof
US9176652B1 (en) Method and system for dynamically defining scroll-wheel functionality on a touchpad
US20160147309A1 (en) Systems and Methods for Performing Multi-Touch Operations on a Head-Mountable Device
US20140049462A1 (en) User interface element focus based on user's gaze
US20150002475A1 (en) Mobile device and method for controlling graphical user interface thereof
KR102297102B1 (ko) 헤드 마운트 디스플레이 장치
KR102297473B1 (ko) 신체를 이용하여 터치 입력을 제공하는 장치 및 방법
KR20160139727A (ko) 글래스타입 단말기 및 이의 제어방법
KR200478490Y1 (ko) 헤드 마운트 장치
US20170163866A1 (en) Input System
CN111179560A (zh) 一种智能眼镜、控制装置及控制方法
WO2016147498A1 (ja) 情報処理装置、情報処理方法及びプログラム
US9535519B1 (en) Smart housing for extending trackpad sensing
WO2018209572A1 (zh) 头戴式显示设备及其交互输入方法
JP2016139174A (ja) ヘッドマウントディスプレイ、ヘッドマウントディスプレイの制御方法および制御プログラム
CN107924276B (zh) 电子设备及其文本输入方法
US11899840B2 (en) Haptic emulation of input device
WO2022103741A1 (en) Method and device for processing user input for multiple devices

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant