KR100811015B1 - 가상 입력 장치를 사용하여 데이터를 입력하는 방법 및 장치 - Google Patents

가상 입력 장치를 사용하여 데이터를 입력하는 방법 및 장치 Download PDF

Info

Publication number
KR100811015B1
KR100811015B1 KR1020027010394A KR20027010394A KR100811015B1 KR 100811015 B1 KR100811015 B1 KR 100811015B1 KR 1020027010394 A KR1020027010394 A KR 1020027010394A KR 20027010394 A KR20027010394 A KR 20027010394A KR 100811015 B1 KR100811015 B1 KR 100811015B1
Authority
KR
South Korea
Prior art keywords
user
input device
virtual
keyboard
virtual input
Prior art date
Application number
KR1020027010394A
Other languages
English (en)
Other versions
KR20020079847A (ko
Inventor
아바스 라피
사이러스 밤지
나짐 카레미
쉬라즈 쉬브지
Original Assignee
카네스타, 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 카네스타, 인코포레이티드 filed Critical 카네스타, 인코포레이티드
Publication of KR20020079847A publication Critical patent/KR20020079847A/ko
Application granted granted Critical
Publication of KR100811015B1 publication Critical patent/KR100811015B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0489—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using dedicated keyboard keys or combinations thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1632—External expansion units, e.g. docking stations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1662—Details related to the integrated keyboard
    • G06F1/1673—Arrangements for projecting a virtual keyboard
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/0202—Constructional details or processes of manufacture of the input device
    • G06F3/0221—Arrangements for reducing keyboard size for transport or storage, e.g. foldable keyboards, keyboards with collapsible keys
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G06F3/0426—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected tracking fingers with respect to a virtual keyboard projected or printed on the surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/22—Character recognition characterised by the type of writing
    • G06V30/228—Character recognition characterised by the type of writing of three-dimensional handwriting, e.g. writing in the air

Abstract

사용자는 키보드의 이미지와 같은 가상 입력 장치를 사용하는 PDA, 셀 텔레폰, 기구, 장치와 같은 컴패니언 시스템에 디지털 데이터를 입력한다. 센서는 실제 키보드상의 키와 관련된 사용자의 손가락 위치에 관한 3차원 위치 정보를 캡쳐한다. 이 정보는 가상 키가 두드려질 때 손가락의 위치 및 속도 및 형태에 대해 결정하기 위해 처리된다. 처리된 디지털 정보는 컴패니언 시스템으로 출력된다. 이 컴패니언 시스템은 사용자 손가락을 나타내는 키보드의 이미지를 포함하는 키보드의 이미지를 디스플레이할 수 있고, 그리고/또는 이러한 데이터로서 수문자 텍스트가 사용자에 의해 가상 입력 장치에 입력된다.

Description

가상 입력 장치를 사용하여 데이터를 입력하는 방법 및 장치{METHOD AND APPARATUS FOR ENTERING DATA USING A VIRTUAL INPUT DEVICE}
본 발명은 컴퓨터 시스템을 포함하는 전자 시스템에 명령 및/또는 데이터(총체적으로 "데이터"로 칭함)를 입력하는 것에 관한 것이다. 보다 상세하게, 본 발명은 컴퓨터 장치의 폼 팩터(form factor)가 키보드와 같은 통상적인 크기의 입력 장치를 사용하는 것을 불가능하게 하거나, 컴퓨터 장치와 입력 장치 사이의 거리로 인해 컴퓨터 장치에 케이블로 연결된 통상적인 입력 장치의 사용이 불편한 경우에 데이터를 입력하는 방법 및 장치에 관한 것이다.
입력 데이터를 수신하고 처리하는 컴퓨터 시스템은 기술분야에서 공지되어 있다. 통상적으로 이러한 시스템은 중앙 처리 장치(CPU), 지속성 롬(ROM), 램(RAM), CPU와 상호 연결된 적어도 하나의 버스, 메모리, 장치가 입력 데이터 및 명령과 연결되는 적어도 하나의 입력 포트, 및 모니터가 결과를 디스플레이하기 위해 연결된 통상의 출력 포트를 포함한다. 데이터를 입력하는 통상의 기술은 키보드, 마우스, 조이스틱, 원격 제어 장치, 전자 펜, 터치 패널 또는 패드 또는 디스플레이 스크린, 스위치 및 놉의 사용을 포함하며, 최근에는 수기 인식 및 음성 인식의 사용을 포함한다.
최근에, 컴퓨터 시스템 및 컴퓨터형 시스템은 대화식 TV, 셋톱 박스, 전자 캐시 레지스터, 합성 음악 발생기, 소위 개인용 디지털 보조장치(PDA)를 포함하는 휴대용 장치 및 무선 전화를 포함하는 새로운 세대의 전자 장치로의 진보를 인식하였다. 종래의 입력 방법 및 장치는 이러한 시스템과 함께 사용될 경우 언제나 적절하거나 편리한 것은 아니다.
예를 들어, 소정의 휴대용 컴퓨터 시스템은 전체 시스템이 사용자의 손이나 주머니에 적합할 수 있는 정도까지 소형화되었다. 작은 디스플레이를 보는 어려움을 극복하기 위해, 시스템 사용자가 착용하는 안경 프레임 상에 고정된 상용화된 가상의 디스플레이 부품을 사용하는 것이 가능하다. 사용자는 부품을 통해 보며, 이는 1″VGA 디스플레이일 수 있으며, 대략 대각선으로 15″크기의 큰 디스플레이에 나타난 것을 본다.
연구를 통해, 키보드 및/또는 마우스 같은 입력 장치의 사용은 컴패니언(companion) 컴퓨터 또는 컴퓨터형 시스템에서 데이터를 입력하거나 편집하는 가장 효율적인 기술임을 알 수 있다. 유감스럽게도, 입력 장치가 작을수록 실질적으로 데이터가 입력될 수 있는 속도가 느려질 수 있기 때문에, 더 작은 크기의 입력 장치와 관련한 문제를 극복하는 것이 더욱 어렵다. 예를 들어, 소정의 PDA 시스템은 약 3″× 7″크기의 키보드를 가진다. 비록 키보드를 통해서 데이터 및 명령이 PDA로 입력될 수 있지만, 대략 6″×12″ 크기인 표준 크기의 키보드를 사용할 때보다 키보드 입력 속도가 감소되며 불편이 증가한다. 다른 PDA 시스템은 간단히 키보드를 제거하고 사용자가 철필을 사용하여 수문자(alphanumeric) 문자를 기록하는 터치 스크린을 제공한다. 이어 PDA 내의 수기 인식 소프트웨어는 사용자가 터치 감지식 스크린 상에 철필로 기록한 수문자 문자를 번역 및 인식한다. 소정의 PDA는 터치 감지식 스크린 상에 키보드의 이미지를 디스플레이할 수 있으며 사용자가 철필로 다양한 키의 이미지를 터치함으로써 데이터를 입력할 수 있도록 한다. 다른 시스템에서, 사용자와 컴퓨터 시스템 사이의 거리가 유선 결합된 입력 장치의 편리한 사용을 방해하는데, 예를 들어 거실에서 사용자와 셋톱 박스 사이의 거리는 네비게이션을 위한 유선 마우스의 사용을 방해한다.
전자 장치로의 데이터 및 명령 입력의 또 다른 방법은 일련의 컴퓨터 시스템에 대해 명령으로 번역 및 변환되는 사용자의 동작 및 움직임의 가상 이미지를 인식하는 것이다. 이러한 접근 중 하나는 "Method and Device for Optical Input of Commands or Data"라는 제목으로 Korth에 특허 허여된 미국 특허 번호 5,767,842호(1998)에 개시된다. Korth는 컴퓨터 시스템 사용자가 예를 들어 키보드 키의 템플릿(template) 또는 인쇄된 외형을 구비한 키보드 크기의 종이와 같은 상상의 또는 가상의 키보드 상에 타이핑하는 것을 제안하였다. 템플릿은 가상의 키보드 키 상에서 타이핑할 수 있도록 사용자의 손가락을 안내하는데 사용된다. 가상 키보드에 포커싱된 통상의 TV(2-차원) 비디오 카메라는 사용자가 가상 키보드 상에서 "타이핑"할 때 가상 키(예로서 키의 프린트된 외형)가 어떤 시각에서 사용자의 손가락에 의해 터치되었는지를 어떻게든 인식한다고 기술된다.
그러나 Korth의 방법은 상대적으로 발광 데이터(luminescence data) 및 특히 주위의 광의 적절한 소스에 대한 의존성에서 발생하는 고유의 불명확성에 좌우된다. 종래의 2차원 비디오 카메라에 의해 출력된 비디오 신호가 인간의 눈에 의한 이미지 인식을 위해 적절한 형태인 반면, 신호 출력은 보여진 이미지를 컴퓨터가 인식하기에는 적절하지 않다. 예를 들어, Korth의 방법과 같은 응용에서, 사용자의 손가락 위치를 추적하기 위해서는, 컴퓨터 실행가능 소프트웨어가 비디오 카메라 출력 신호에서 픽셀의 광도 변화를 사용하여 각 손가락의 윤곽을 검출해야 한다. 이러한 추적 및 윤곽 결정은 배경색 또는 광이 정확하게 제어될 수 없을 경우 달성하기 어려운 일이며, 특히 사용자의 손가락을 닮을 수 있다. 게다가, 통상적으로 적어도 100 픽셀 × 100 픽셀인 Korth에 의해 취득되는 각각의 비디오 프레임은 그레이 스케일 또는 (통상적으로 RGB로 언급되는) 컬러 스케일 코드를 갖는다. 이러한 RGB 값 데이터에 한정되기 때문에, Korth 시스템에서의 마이크로프로세서 또는 신호 프로세서는 주위의 광 조건이 최적인 경우에 기껏해야 배경 이미지에 대해 손가락의 윤곽을 검출할 수 있다.
사용자의 손가락을 추적하는 데에 있어서 잠재적인 불명확함과 같은 부수적인 문제가 상당하다. 불명확성은 Korth의 기술에서는 극복할 수 없는데, 이는 통상의 비디오 카메라는 2차원 이미지 데이터를 출력하고 비디오 장면에서 물체의 실제 형상 및 거리에 대한 명확한 정보를 제공하지 않기 때문이다. Korth의 비디오 카메라의 유리한 위치로부터 카메라 렌즈의 축을 따라 타이핑 모션을 검출하는 것이 매우 어려울 것이다. 따라서, 유리한 위치가 상이한 다중 카메라는 복잡한 키 입력 모션을 적절하게 캡쳐할 필요가 있다. 또한, Korth의 도 1에 제안된 바와 같이, 사용자 손의 각각의 손가락에 대한 방해 없는 시야를 얻는 것이 어려운데, 예를 들어 오른손 집게손가락의 이미지를 얻는 것은 오른손 가운데 손가락의 이미지 블록 현상 등에 의해 방해받는다. 요약하면, 심지어 카메라가 양호한 주위의 광 및 유리한 위치에 놓이더라도, Korth의 방법은 가상 키보드 상의 어떤 열을 사용자의 손가락이 터치했는 지와 관련한 모호함을 포함한 많은 단점을 가진다.
심층 정보를 얻기 위한 노력으로, Korth의 접근 방식은 다중 2차원 비디오 카메라를 사용하여 뒤로 접혀질 수 있으며, 각각은 상이한 시야 각으로부터 관심 대상을 향해 조준된다. 제안은 간단하지만 현실적이지 않다. 다양한 카메라의 설정은 거추장스러우며 이중 카메라가 배치된 것과 같이 잠재적으로 고가이다. 각각의 카메라는 관측된 목적물 및 서로에 대해 정확하게 보정되어야 한다. 적절한 정밀도를 얻기 위해, 스테레오 카메라가 키보드에 대해 좌상부 및 우상부에 배치되어야 할 것이다. 심지어 이러한 구조에서, 카메라는 적어도 하나의 카메라의 관측범위 내에서 손가락을 방해하는 손가락에 의해 방해받는다. 게다가, 다양한 카메라에 의한 2차원 비디오 이미지 정보 출력으로부터 2차원 정보를 생성하기 위해 요구되는 계산은 이미지 데이터를 처리하는데 사용되는 컴퓨터 시스템의 처리에 부담을 준다. 당연히, 다중 카메라를 사용하는 것은 실질적으로 Korth의 신호 처리 요구를 복잡하게 한다. 결국, 타이핑 모션 동안 사용자의 손가락과 같은 정교한 물체의 움직임을 검출하고 인식하는 데 요구되는 카메라와 물체간 거리 해상도를 얻는 것이 오히려 더 어려울 수 있다.
요약하면, 타이핑에 사용된 사용자의 손의 2차원 광도 기초 비디오 이미지를 검사하고 소정의 시간에 소정의 키(가상 등)를 소정의 손이 터치한 이미지로부터 정확하게 결정하기 위해 Korth 접근을 사용하는 것은 현실적이지 않다. 이러한 단점은 얻어진 2차원 비디오 정보 처리가 Korth에 의해 제안된 바와 같이 계산된 이미지 패턴 인식에 논란 거리를 제공한다. 현실적으로 Korth의 기술은 그 자체로 유용성을 제공하지 않는다. 예를 들어, 이미지 획득 시스템 및 특히 주위의 광원은 필수적으로 모든 시간에 온 상태일 것이며, 충분한 동작 전압을 소비하여 실질적인 배터리 동작을 방해할 것이다. 심지어, 만일 Korth가 소정의 파워를 절약하기 위해 데이터 획득의 프레임 속도를 감소시키거나 낮추면, Korth 시스템은 적절한 주위의 광원을 필요로 한다.
파워 문제를 차치하더라도, Korth의 2차원 이미지 시스템은 셀 폰과 같은 소형의 컴패니언 장치에 휴대성을 주지 못하는데, 이는 Korth의 비디오 카메라(또는 카메라)가 키보드 위에 유리한 위치에 놓여야 하기 때문이다. 이러한 요구는 시스템이 동작하고 트랜싯(transit)에 저장될 때, Korth 시스템의 실제 크기에 제한을 준다.
필요한 것은 사용자가 컴퓨터 시스템에 전기적으로 연결되지 않은 가상의 키보드 또는 가상의 입력 장치를 사용하여 컴패니언 연산 시스템에 데이터를 입력할 수 있는 방법 및 시스템이다. 이러한 방법 및 시스템에 의해 구현되는 데이터 입력 인터페이스 에뮬레이터는, 여러 이미지-획득 장치를 사용할 필요없이, 사용자의 어떤 손가락이 가상 입력 장치 상에서 어떤 시간 시퀀스에 어떤 키(또는 심볼)를 터치하는지에 관해 의미 있는 3-차원으로 얻어진 정보를 제공한다. 바람직하게 이러한 시스템은 시스템 출력이 스캔-코드로 될 수 있거나 또는 컴패니언 연산 시스템에 의한 입력으로서 바로 사용 가능한 다른 형식이 될 수 있도록 신호 처리를 포함한다. 마지막으로, 이러한 시스템은 휴대가 용이하고, 셋업 및 동작이 용이해야 한다.
삭제
본 발명은 이러한 방법 및 시스템을 제공한다.
본 발명은 사용자가 수동 입력 장치의 수동 가상 에뮬레이션(passive virtual emulation)으로부터 명령 및 데이터(집합적으로 데이터로 부름)를 컴패니언 컴퓨터 시스템에 입력할 수 있게 하며, 컴패니언 컴퓨터 시스템은 PDA, 무선 전화, 또는 임의의 전자장치 또는 디지털 입력 신호 수신에 적합한 장치가 될 수 있다. 본 발명은 키보드, 키패드, 또는 디지털화된 표면과 같은 입력 장치를 에뮬레이팅하는데 사용되는 템플릿을 갖거나 디스플레이하는 기판상에서 사용자의 손가락 배치에 관한 3-차원 데이터를 주변 광 없이도 실시간 포착하는 기능을 하는 3-차원 센서 이미징 시스템을 포함한다. 바람직하게 기판은 수동형이며 키보드 키의 프린트된 이미지를 포함하는 접거나 또는 말려질 수 있는 종이 또는 플라스틱일 수 있으며, 또는 키보드 키의 행과 열이 어디에 위치하는지를 디마킹하는 간단한 표시 라인(indicia line)이 될 수 있다. 기판은 Z-축이 템플릿 키의 행을 형성하고, X-축이 템플릿 키의 열을 형성하며, Y-축이 기판상의 수직 높이를 지시하는 수평 X-Z 플랜상에 놓여 있는 것으로 형성될 수 있다. 만약 필요하다면, 기판 키보드 대신에, 본 발명은 컴패니언 장치 앞의 작업대 상에 있는 키보드의 그리드 또는 이미지를 투영하는 광을 사용하는 프로젝터를 포함할 수 있다. 투영된 패턴은 사용자가 이러한 표면상에서 "타이핑"할 때 가이드로서 기능을 한다. 투영 장치는 바람직하게 컴패니언 장치내에 포함되거나 또는 부착될 수 있다.
선택적으로, 기판은 타이핑 가이드로서 제거될 수 있다. 대신에 컴패니언 컴퓨터 장치의 스크린이 사용자에 의해 컴패니언 장치 앞의 테이블 탑 또는 다른 작업대(테이블 탑)상에서 "타이핑되는" 것에 따라 수문자(alphanumeric) 문자를 표시하는데 사용될 수 있다. 터치 타이피스트(touch typist)가 아닌 사용자를 위하여, 본 발명은 대안으로 (또는 추가로) 사용자에 의해 "눌려지는" 또는 "타이핑되는" 키보드 "키"를 도시하는 디스플레이 이미지를 제공할 수 있다. 사용자의 손가락 바로 아래에서 감지되는 "키"는 한 색상으로 디스플레이 내에서 하이라이트될 수 있는 반면, 실제로 동작되는 것으로 감지되는 "키"는 다른 색상 또는 콘트라스트로 하이라이트될 수 있다. 이러한 구성은 사용자가 컴패니언 장치 앞의 작업대 또는 가상 키보드 상에서 타이핑을 가능하게 한다. 바람직하게 사용자가 작업대 또는 가상 키보드상에서 타이핑함에 따라서, 해당 문자가 컴패니언 장치상에서 디스플레이된 텍스트 필드상에 나타난다.
따라서, 사용자가 자신의 가상 타이핑을 가이드하는데 여러 형태의 피드백이 사용될 수 있다. 사용자 손에서 어떤 손가락이 어떤 가상 키 또는 가상 키 포지션을 어떤 시간 순서로 "타이핑"했는지가 3-차원 센서 시스템에 의해 결정된다. 바람직하게, 3-차원 센서 시스템은 중앙 처리 장치(CPU) 및 관련 리드 온리 메모리(ROM) 및 랜덤 액세스 메모리(ROM)를 구비하는 신호 처리 유니트를 포함한다. 신호 처리 유니트 CPU에 의해 실행되는 소프트웨어 루틴은 3-차원 위치 정보가 수신되고 컴패니언 컴퓨터 시스템에 대한 장치 입력으로서 직접 호환 가능한 키-스캔 데이터 또는 다른 형식의 데이터로 사실상 실시간 변환되도록 ROM에 저장된다. 바람직하게 3-차원 센서는 특정 파장의 광을 방사하고, 스캐닝되는 물체, 예를 들어 사용자 손의 여러 표면 영역으로부터 리턴 에너지 주행 시간(time-of-flight)을 검출한다.
타이핑 세션(session)의 개시에서, 사용자는 작업대 또는 (만약 존재한다면) 가상 키보드상에 또는 인접하여 자신의 손가락을 놓을 것이다. 사용자 또는 일부 다른 물체가 3-차원 센서의 이미징 범위 내에 도달할 때까지, 본 발명은 대기, 저전력 소모 모드로 남아있게 된다. 대기 모드에서, 발산된 광학 펄스의 반복률은 만약 본 발명이 배터리 전원이라면 중요한 사항으로서 동작 전력을 유지하기 위해 초당 대략 1 내지 10 펄스로 느려진다. 이와 같이, 본 발명은 비교적 적은 펄스를 방사하지만 개략적이거나 낮은 Z-축 해상도를 갖는 이미지 데이터를 얻을 수 있다. 3-차원 캡쳐를 위한 다른 방법에서, 전력을 유지하기 위한 프레임 취득 속도와 해상도를 감소시키는 방법이 사용될 수 있다. 그럼에도, 이렇게 낮은 해상도 정보는 이미징 시야(imaging field of view) 내에서 물체의 유무에 대해 본 발명을 적어도 알리기에 충분하다. 물체가 이미징 시야에 진입할 때, 본 발명의 동작을 제어하는 CPU는 높은 펄스율이 사용되고 시스템 기능이 최대 전력으로 동작하는 일반 동작 모드로 진입할 것을 명령한다. 동작 전력을 유지하기 위하여, 사용자의 손가락 또는 다른 잠재적인 관련 물체가 이미징 시야로부터 제거될 때, 본 발명은 전력이 차단되고, 대기 전력 모드로 되돌아간다. 또한, 이러한 전력 차단은 바람직하게 관련 물체가 시간 임계값을 초과하는 연장된 시간 구간 동안 정지하여 유지될 때 발생한다.
사용자가 자신의 손가락을 가상 키보드 (또는 가상 키보드가 없다면, 본 발명이 실행되는 컴패니언 장치 앞에 있는 작업대)의 홈 행 키(A,S,D,F,J,K,L) 모두에 올려놓는다고 가정을 하자. 이미 최대 전력 모드에 있는 본 발명은 컴퓨터가 사용자의 입력에 기초하여 키보드 키에 위치를 할당하는 소프트 키 보정을 바람직하게 개시할 것이다. 사용자의 손가락은 임의의 (원하는) 키상에 놓여지고, 손가락의 정확한 위치에 기초하며, 소프트웨어는 사용자 손가락의 위치에 기초하여 키보드상의 키에 위치를 할당한다.
3-차원 센서 시스템은 사용자가 기판 템플릿상에 도시된 키를 "타이핑"할 때 또는 사용자가 컴패니언 장치 앞의 작업대 상에서 타이핑할 때 실제 키보드가 있다면 일반적으로 "키"가 놓여 있을 곳에 사용자의 손가락을 보여준다. 센서 시스템은 키보드, 마우스 등과 같은 종래 입력 장치에 의해 출력된 데이터와 기능적으로 구별되지 않는 형태로 데이터를 컴패니언 컴퓨터 시스템에 출력한다. 바람직하게 신호 처리 유니트 CPU에 의해 (또는 컴패니언 컴퓨터 시스템 내의 CPU에 의해) 실행가능한 소프트웨어는 입력되는 3-차원 정보를 처리하고 사용자의 손과 손가락 위치를 기판상의 키보드 또는 (가상 키보드가 없다면) 작업대의 이미지와 관련한 3-차원 공간으로 인식한다.
바람직하게 소프트웨어 루틴은 Z-축의 불연속성을 검사함으로써 각각의 프레임에 있는 사용자 손가락의 윤곽을 식별한다. 손가락이 키를 "타이핑" 할 때, 또는 키보드가 (실제 또는 가상으로) 존재한다면 키가 있어야할 작업대 영역에서 "타이핑"할 때, 사용자 손가락과 가상 키보드 또는 작업대 사이의 물리적 인터페이스가 검출된다. 소프트웨어 루틴은 바람직하게 손가락의 Y-축 속도를 계산하는 연속적인 프레임으로 이러한 인터페이스 경계를 위치시키기 위하여 광학적으로 얻어진 데이터를 검사한다. (다른 실시예에서, 초음파와 같은 낮은 주파수 에너지가 대신 사용될 수 있다.) 이러한 수직 손가락 움직임이 멈출 때, 또는 루틴에 따라, 손가락이 기판과 접촉할 때, 눌려지는 가상 키가 해당 손가락의 좌표(Z,X)로부터 식별된다. 이때 적절한 KEYDOWN 이벤트 명령이 부여될 수 있다. 본 발명은 다른 키가 접촉되는 (즉 "눌려지는") 순서를 정밀하게 검출하기 위해 (엄지 손가락을 포함하는) 모든 손가락에 대하여 유사한 분석을 수행한다. 이러한 방식으로, 소프트웨어는 적절한 KEYUP, KEYDOWN을 부여하고, 스캔 코드 데이터는 컴패니언 컴퓨터 시스템에 명령한다.
바람직하게 소프트웨어 루틴은 타이핑 동안 사용자 손의 이동, 예를 들어 가상 키보드상의 배치에서 에러를 인식하고 교정한다. 소프트웨어 루틴은 실제로 키를 "누르고" 있지 않으면서 가상 키 상에 있는 사용자 손가락으로 인해 유발되는 에러를 감소시키기 위하여 일부 히스테리시스(hysteresis)를 추가로 제공한다. 측정 에러는, 타이핑 적용시에, Z-값을 추적하기 위한 프레임 비율 조건이 X-값 및 Y-값을 추적하기 위한 프레임 비율 조건보다 낮다는 것을 관찰함으로써 더욱 감소될 수 있다. 즉, Z-방향의 손가락 움직임이 통상적으로 다른 축의 손가락 움직임보다 느리다. 또한 본 발명은 키보드 또는 다른 작업대 상에서 다른 경합하는 손가락들간의 충격 시간의 차이를 구분 짓는다. 바람직하게 이러한 차이는 충분히 높은 프레임 비율에서 X-축, Y-축 데이터를 관찰함으로써 이루어지며, 이것은 차이가 나는 Y-방향 타이밍이다. Z-축 관찰은 다른 손가락 사이의 차이를 구분할 필요가 없으며, 이로 인해 프레임 비율은 하나의 손가락이 Z-방향의 다른 키 사이로 이동할 수 있는 속도에 의해 제어될 수 있다. 바람직하게 본 발명에 의해 제공되는 소프트웨어 루틴은 노이즈 또는 지터(jitter)를 감소시키기 위해 여러 프레임에서 얻어진 Z-축 데이터를 평균한다. Z-값에 대한 유효 프레임 비율이 X-값 및 Y-값에 대한 유효한 프레임 비율과 관련하여 감소되지만, Z-값의 정확도는 개선되고 데이터 획득의 중요한 프레임 비율은 계속 얻어진다.
소프트웨어 루틴은 사용자가 임의의 키 조합으로 "타이핑"함으로써, 즉 그래픽 모드에서 Control과 Shift를 동시에 누름으로써, 간단하게 수문자 데이터 입력 모드로부터 그래픽 모드로 컴패니언 컴퓨터 시스템을 토글링(toggle)할 수 있게 하며, 템플릿은 디지털화 테이블을 에뮬레이팅하고, 사용자가 템플릿을 가로질러 자신의 손가락을 드래그함에 따라서, 접촉되는 포인트의 (Z, X) 궤적은 선, 기호 또는 컴패니언 컴퓨터 시스템에 있는 다른 그래픽을 그리는데 사용된다.
바람직하게 컴패니언 컴퓨터 시스템과 관련된 디스플레이는 사실상 실시간으로 사용자에 의해 수문자 또는 다른 데이터 입력을 디스플레이할 수 있다. 키보드 키와 손가락의 이미지를 묘사하는 것 외에 또, 컴패니언 컴퓨터 시스템 디스플레이에는 바로 입력될 수문자 문자를 도시하는 블록 커서가 제공될 수 있다. "키"가 사용자의 손가락에 의해 만져질 때 입력 피드백의 추가적인 형태는 촉각 피드백을 제공하는 일부 또는 모든 키 아래의 탄성 있는 영역을 형성함으로 이루어질 수 있다. 만약 적합한 컴패니언 장치가 사용된다면, 컴패니언 장치는 "타이핑된" 키의 명칭을 문자-대-문자로 크게 소리 나게 하기 위하여, 즉 사용자가 "cat"을 타이핑할 때 문자 "c"-"a"-"t"를 소리 나게 하는데 사용될 수 있다. 사용자의 손가락이 가상 키를 눌렀음을 감지함과 동시에 전자 키-클릭 사운드를 방출하는 컴패니언 장치를 포함함으로써 간단한 형태의 음향 피드백(acoustic feedback)이 제공된다.
본 발명의 다른 특징 및 장점이 첨부된 도면을 참조한 바람직한 실시예를 통한 이하의 설명에서 개시된다.
도 1A는 본 발명에 따른 수동 기판 키보드 템플릿을 사용하는 3차원 센서 시스템을 도시한다.
도 1B는 본 발명에 따른 기판 키보드 템플릿 없이 사용되는 3차원 센서 시스템을 도시한다.
도 1C는 본 발명에 따른 가상 키와 접촉하는 사용자의 손가락을 도시하는 가상 키보드의 컴패니언 장치 디스플레이를 도시한다.
도 1D는 본 발명에 따른 가상 키 상에 사용자에 의해 입력된 텍스트를 추가로 나타내는 도 1C의 디스플레이를 도시한다.
도 2A는 본 발명에 따라 부분적으로 접힌 상태의 수동 기판을 도시한다.
도 2B는 본 발명에 따라 부분적으로 말린(rolled-up) 상태이며 다른 문자 세트를 가진 수동 기판을 도시한다.
도 3은 본 발명에서 실행되는 3차원 신호 처리 및 센서 시스템의 예시적인 실시의 블록도이다.
도 4는 본 발명이 실행되는 3차원 센서 시스템에 사용되는 관련 광자 펄스 검출기 및 고속 카운터를 가진 전형적인 단일 픽셀 검출기의 블록도이다.
도 5는 본 발명에 따른 사용자 손가락의 윤곽 인식을 도시한다.
도 6은 본 발명에 따라, 눌려진 가상 키를 식별할 때 지그재그된 키 위치의 사용을 도시한다.
도 7A 내지 도 7O는 본 발명에 따라 사용자 손가락 위치를 식별할 때 사용하기 위한 광학적으로 취득된 3차원 데이터로부터 발생된 클러스터 매트릭스를 도시한다.
도 1A는 여기서는 책상 또는 다른 작업대(60) 최상부에 위치하는 것으로 도시된 사용자 손(40)의 손가락들이 기판(50)을 "타이핑" 할 때, 사용자 손(40)의 손가락(30) 쪽으로 에지가 집중하는 3차원 센서(20)를 포함하는 3차원 센서 시스템(10)을 도시한다. 기판(50)은 바람직하게는 예를 들면, 키보드인 데이터 입력 장치를 나타내는 선 또는 표시를 포함하는 프린트된 또는 투사된 템플릿(70)을 지닌다. 이와 같이, 템플릿(70)은 도시한 바와 같은 키보드 키의 프린트된 이미지를 가지지만, 이러한 키들은 전기적으로 수동적이며, 단지 실제 키의 표현일 뿐이다. 기판(50)은 X-축을 따른 여러 포인트가 키의 좌측에서 우측 열 위치와 관련되고, Z-축을 따른 여러 포인트가 키의 전방으로부터 후방으로 행 위치와 관련되며, Y-축 위치는 Z-X 평면 상부의 수직 거리와 관련되는 Z-X 평면에 있는 것으로 정의된다. (X, Y, Z) 위치는 벡터 위치 포인트의 연속이고 여러 축 위치는 도 1A에 지시된 소수의 포인트 이상으로 형성될 수 있다는 것을 알 수 있다.
바람직하게, 템플릿(70)은 단순히 키가 위치하는 곳을 구획하는 행 라인 및 열 라인을 포함한다. 템플릿(70)이 프린트되거나 다르게 상부에 나타나는 기판(50)은 도시된 실시예에서 키보드를 에뮬레이팅하는 가상 입력 장치이다. 이러한 기판(50) 및/또는 템플릿(70)은 본 명세서에서 디지털 데이터 및/또는 명령어들을 입력하기 위한 가상 키보드 또는 가상 장치로서 언급될 수 있다. 이러한 가상 입력 장치의 이점은 종이 또는 유연한 플라스틱 상에 프린트될 수 있고 도 2A에 도시된 것처럼 접히거나 또는 도 2B에 도시된 것처럼 말 수(또는 접어서 말 수) 있다. 여러 도면에서 용이한 설명을 위해 도시한 바와 같이, 키의 배열을 직각 행렬로 하였으나 키들의 배열이 반드시 직각 행렬일 필요는 없고, 실제 QWERTY 키보드와 같이 지그재그 위치 또는 오프셋(offset) 위치로 나열될 수 있음을 알 수 있다. 도 2B는 또한 템플릿(70)으로서, 여기서는 키릴 알파벳(Cyrillic alphabet) 문자로, 프린트된 엇갈린 키 세트를 구비한 장치를 도시한다. 필요하다면, 영문자와 러시아 문자를 예로 들어, 하나의 키세트는 템플릿의 한 측면상에 프린트될 수 있고, 두 번째 키세트는 템플릿의 나머지 측면상에 프린트될 수 있다.
도 1B-1D와 관련하여 설명하면, 택일적으로 가상 키보드의 이미지는 컴패니언 장치와 관련된 스크린 상에 디스플레이될 수 있다. 이러한 실시예에서, 바람직하게, 기판 및 작업대조차 필요하지 않고, 원한다면 사용자가 자취도 없이 "타이핑"할 수 있게 한다. 이러한 실시예는 디지털화 시트, 기타 등등을 에뮬레이팅하기 위하여, 사용되고 있는 "키보드"의 황급한 변화를 허용하는데 예를 들어, 영어 키보드, 또는 독어 키보드, 러시아어 키보드를 표현하는데 특히 유연하다. 다양한 키보드 및 키 세트가 컴패니언 장치 또는 시스템(80)과 관련하여 스크린(90) 상에 간단히 디스플레이될 수 있다. 뛰어난 유연성이 엇갈리는 키 세트를 본 발명에 사용되는 컴패니언 장치의 디스플레이 상에 다양한 문자 세트를 제공하는 가상 키의 디스플레이된 이미지로 표현함으로써 달성된다. 따라서, 도 1B에서, 가상 키보드는 가이드로서 제거되었고, 부가하여 휴대성과 유연성을 증진시킨다.
다양한 실시예에서, 가상 키보드(50)(도 1A에 도시)로부터, 또는 심지어 가상 키보드조차 없는 작업대(60)(도 1B에 도시)로부터 사용자에 의하여 입력된 데이터(및/또는 명령어)는 컴패니언 컴퓨터 또는 다른 시스템(80)에 결합될 수 있을 것이다. 제한 없이, 컴패니언 컴퓨터 시스템 또는 컴퓨터 유사 시스템은 PDA, 무선 전화, 노트북 PC, 펜 베이스 컴퓨터(pen-based computer), 또는 실제로 데이터를 입력하기에 적당한 임의의 다른 전자 시스템일 수 있다. 만약 가상 키보드가 사용된다면, 바람직하게, 가상 키보드가 사용되지 않을 때에는 가상 키보드를 접거나 말 수 있다. 접거나 또는 만 상태의 크기는 PDA 또는 다른 컴패니언 컴퓨터 시스템(80)에 저장되기에 충분히 작아질 수 있고, 가상 키보드는 데이터 및 명령어를 상기 PDA 또는 다른 컴패니언 컴퓨터 시스템에 입력하기 위해 사용될 것이다. 예를 들어, 접힌 상태의 키보드는 대략 2.5"×3" 정도의 크기일 수 있고, 바람직하게는 적어도 8"×8"보다는 작다. PDA용 가상 키보드는 PDA의 후미에 있는 포켓 내에 들어맞는 크기로 되어 있는 접혀진 폼 팩터를 갖는다. 그러나 가상 키보드가 사용될 때는, 가상 키보드라 할지라도 필수적으로 전체 크기가 되도록 펼친 상태 또는 푼 상태이다.
사용자가 컴패니언 시스템(80)에 데이터를 입력할 때, 전형적으로 시스템(80)상에 존재하는 디스플레이(90)는 가상 키보드로부터 입력(100)되는 데이터, 예를 들어, PDA에 입력되는 텍스트, 무선 전화에 입력되는 이메일 등을 실시간으로 표시할 수 있다. 하나의 실시예에서, 블록 커서(102)는 본 발명이 인지하여 타이핑되기로 되어 있는 개개의 수문자 문자, 예를 들어, 도 1A의 문자 "d"의 디스플레이를 둘러싼다. 이러한 시각적인 피드백 특성은 사용자가 데이터 엔트리의 정확성을 확인하도록 도와줄 수 있고, 목적하는 문자가 타이핑될 것을 보장하기 위해 사용자의 손가락을 재위치시키는데의 가이드를 제공한다. "키 클릭"과 같은 청각적인 피드백은 각각의 가상 키를 누를 때 사용자에게 부가적인 피드백을 제공하기 위하여 시스템(80)에 의해 방출될 수 있다. 필요하다면, 수동 범프(passive bumps : 107)가 사용자에게 촉각적인 피드백을 제공하기 위하여 가상 키보드에 형성될 수 있다. 예시의 방법에 의하여, 상기 범프는 예를 들어, 탄성 플라스틱으로부터 제조된 가상 키보드의 각각의 "키" 아래에 형성된 반구 형태일 수 있다.
주목해야 할 것으로서, 시각적인 피드백은 또한, 또는 대신에 컴패니언 장치의 스크린 상에 가상 키보드(기판 또는 컴패니언 장치 앞의 빈 작업대)의 이미지를 디스플레이함으로써 제공될 수 있다. 사용자가 타이핑할 때, 사용자는 그의 손가락이 가상 키보드에 따라 움직임으로써 그의 손가락을 나타내는 키보드의 이미지에 의하여 안내된다. 이러한 이미지는 사용자의 손가락 바로 아래에 있는 키를 하이라이트하는 것을 포함할 수 있고, 만약 키가 실제로 눌러지면, 상기 키는 다른 색 또는 콘트라스트로 하이라이트될 수 있다. 필요하다면, 컴패니언 장치의 스크린은 "분할"될 수 있고 그 결과 실제 수문자 문자는 타이핑될 때 스크린의 상부에 나타나고, 사용자의 손가락으로 중첩된 가상 키의 이미지는 스크린의 하부상에 나타난다(또는 그 반대로 나타남).
도 1A과 도 1B에서, 컴패니언 시스템(80)은 받침대(cradle)(110)에 장착된 상태로 도시되어 있고, 3차원 센서(20)는 상기 받침대에 영구적으로 부착될 수 있다. 택일적으로, 센서(20)는 컴패니언 장치(80)의 바람직하게 더 아래 부분내에 영구적으로 장착될 수 있다. 센서(20)로부터의 출력은 경로(120)를 경유하여 컴패니언 장치(80) 상의 데이터 입력 포트(130)에 결합된다. 받침대 또는 이와 유사한 것이 사용된다면, 받침대(110)로의 장치(80) 삽입은 자동적으로 센서(20)의 출력과 장치(80)에의 입력 사이의 연결을 형성하기 위하여 사용될 수 있다.
본 명세서에서 설명되는 것처럼, 도 1B의 구성은 유리하게 사용자가 데이터(예를 들어, 텍스트, 그래픽, 명령어)를 컴패니언 장치(80)에 입력할 수 있게 허용하고, 도 1A에 도시된 것처럼 심지어 프린트된 가상 키보드 없이도 입력할 수 있다. 이해를 돕기 위하여, X축과 Y축을 따르는 그리드 라인들은 컴패니언 장치(80)의 전방에서 작업대(60)상에 도시된다. 본 명세서에서 설명되는, 다양한 소프트웨어 매핑 기술들은 본 발명이 사용자의 손가락이 어떤 가상 키(키가 존재한다면)를 칠 것을 의도했는지 구별할 수 있도록 한다. 도 1A의 실시예가 가상 키보드로부터의 촉각적인 피드백을 허용하는 반면, 도 1B의 실시예는 그렇지 않다. 따라서, 장치(80)의 스크린(90)이 타이핑하는데 사용자를 보조하기 위해 이미지를 디스플레이하는 것이 선호된다. 물론, 도 1A의 실시예에서 처럼, 장치(80)는 사용자의 손가락이 "타이핑" 동안 표면(60)을 누를 때 청각적인 키 클릭 사운드를 낼 수 있다.
도 1C는 적절한 장치(80)로부터 이용 가능한 시각적 보조의 한 종류를 도시하고, 상기 보조는 물론 도 1A의 실시예와 함께 사용될 수 있다. 도 1C에서, 스크린(90)은 키보드 이미지(115) 및 사용자 손의 아웃라인 또는 다른 표현(40')의 적어도 일부를 디스플레이하고, 키가 실제 키보드 또는 가상 키보드상에 존재하는 위치와 관련된 손 위치 및 손가락 위치를 보여준다. 도시를 용이하게 하기 위하여, 도 1C는 단지 사용자의 왼손의 위치만을 도시한다. 키(예컨대, 만약 키보드가 존재한다면 상기 키가 존재할 표면(60)상의 위치)가 "터치" 되거나 또는 사용자의 손가락이 키를 "터치" 할 정도로 충분히 가까워짐에 따라 장치(80)는 그 키의 이미지를 밝게 하이라이트될 수 있고(예컨대, 관련 "소프트 키"를 디스플레이), 키가 "눌러지거나" 또는 "타이핑"됨에 따라 장치(80)는 상이한 컬러 또는 콘트라스트)를 이용하여 상기 키를 하이라이트할 수 있다. 예를 들면, 도 1C에서 "Y" 키가 하이라이트되거나 또는 콘트라스트되어 있는데, 이는 상기 키가 터치되었거나 또는 거의 터치될 준비가 되었다는 것을 지시하거나 또는 키가 사용자의 왼쪽 집게손가락에 의해 눌려졌다는 것을 지시한다. 도 1D에 도시된 바와 같이, 분할 스크린(split screen) 디스플레이가 장치(80)에 구비될 수 있는데, 여기서 스크린의 일부분은 가상 키보드상에서 사용자의 손가락 위치를 안내하기 위한 이미지들을 나타내는 한편, 스크린의 또 다른 부분은 사용자에 의해 장치(80)로 입력된 데이터 또는 명령(100)을 표시한다. 비록 도 1D는 타이핑되는 문자에 대응하는 텍스트를 도시하지만, 예컨대 스크린(90)상에 단어 "key"의 철자가 완성될 때 단어 "key" 중 "Y"가 하이라이트되지만, 데이터(100)는 그래픽으로 대신할 수 있다. 예를 들면, 사용자는 장치(80)에 그래픽 모드로의 진입을 명령할 수 있으며, 그래서 표면(60)(또는 가상 키보드(70))을 가로지르는 손가락의 움직임은 그래픽, 예컨대, 표면(60)상에 집게손가락이나 철필로 기록된 사용자의 시그너쳐(signature)를 생성할 수 있다. 정리하면, 사용자의 손가락(들) 또는 철필은 "사용자 디지트(user digit)"로 불릴 수 있다.
선택적으로, 본 발명과 관련된 소프트웨어(예컨대, 도 3의 소프트웨어 285)는 "타이핑" 에러를 줄이기 위하여 단어 문맥을 사용할 수 있다. 입력된 언어(예를 들어, 영어)에서 텍스트의 어휘를 미리 알 수 있다고 가정하자. 컴패니언 장치의 메모리는 그 언어에서 가장 자주 사용되는 단어를 포함하는 사전을 저장할 수 있으며, 사용자가 가상 키보드상에 또는 실제로 자취도 없이 단어를 타이핑하면 컴패니언 장치 소프트웨어는 지금까지 타이핑된 문자들을 사전의 후보 단어들과 매칭시킬 것이다. 예를 들면, 만약 사용자가 "S"를 입력하면 "S"로 시작되는 모든 단어들이 후보가 되며, 만약 사용자가 "SU"를 입력하면 "SU"로 시작되는 모든 단어들이 후보가 된다. 만약 사용자가 "SZ"를 입력하면, 적어도 영어에서는 매칭되는 후보 단어(들)가 존재하지 않는다. 사용자가 더 많은 문자들을 타이핑함에 따라, 타이핑된 단어에 매칭될 수 있는 후보 단어의 집합은 처리하기 쉬운 크기로 감소한다. 어떤 임계점에서, 예컨대 후보 단어들의 크기가 5∼10 단어로 감소할 때, 소프트웨어는 사용자에 의해 타이핑될 다음 문자에 확률을 할당할 수 있다. 예를 들면, 만약 사용자가 "SUBJ"를 입력하면, 다음 문자는 "W"보다는 "E"가 될 확률이 더 높다. 그러나 "E"와 "W"는 실제 또는 가상 키보드상에 인접하여 위치하기 때문에, 사용자가 "W" 키 근처를 누를 가능성이 있다. 상기 예에서, 컴패니언 장치 소프트웨어는 키 입력을 수정하고 사용자가 입력하려는 문자는 "E"라고 가정하는데 사용될 수 있다.
이제 3차원 센서(20)의 동작을 살펴보면, 센서는 공지된 주파수의 방사선(radiation)을 방사하고 시야 내의 물체 표면에 의해 되돌아온 에너지를 검출한다. 도 1A 및 도 1B에서 방사된 방사선은 광선(140)으로 도시되어 있다. 센서(20)는 Z축을 따라서 사용자의 손가락 끝(30)이 템플릿(70)의 어떤 부분(예를 들어, 가상키)을 언제 터치하는가를 검출한다. 도 1B에 도시된 바와 같이, 비록 템플릿(70)이 존재하지 않고 사용자가 단순히 장치(80) 앞의 작업대에서 타이핑하더라도, 센서(20)는 여전히 의미 있는 데이터를 출력할 수 있는 기능을 가진다. 상기 실시예에서, 컴패니언 장치(80)의 스크린(90)은 키보드(105)의 이미지(100')를 디스플레이할 수 있으며, 키보드(105)에서 예컨대 "T" 키(107)와 같이 "눌려지거나" 손가락 아래에 위치하는 "키"는 하이라이트 된다.
도 1A 및 도 1B에 도시된 바와 같이, 만약 필요하다면, 가시광선 빔(147)을 방사하는 광 또는 다른 프로젝터(145)가 사용자의 타이핑을 안내하기 위하여 가상 키보드 이미지를 투영하는데 사용될 수 있다. 예를 들면, 사용자의 타이핑을 안내하는 이미지를 투영하기 위하여 가시광선(예컨대 가시파장을 가지는 레이저 광)의 광원이 회절형 렌즈와 함께 사용될 수 있다. 이러한 실시예에서는, 일반적인 그래픽 파일 포맷(예를 들어, GIF)으로 주어질 수도 있는 키보드의 이미지가 렌즈상에 회절 패턴을 "에칭"하는데 사용될 수 있다. 비록 투영된 이미지의 일부는 가끔 사용자의 손가락 표면에 나타나지만, 그럼에도 불구하고 타이핑할 기판이 없는 상태에서는 이러한 투영된 가이드가 유용하다. 예컨대 미국 알라바마 35806 Huntsvill에 소재한 MEMS Optical, LLC에서 제조되는 광학기기 등을 포함하여, 회절형 광학기기를 사용함으로써 상기 투영 실시예를 구현하는데 응용할 수 있다.
도 3은 3차원 이미지 센서 시스템(200)의 예를 도시한 블록도이며, 상기 센서 시스템(200)은 바람직하게도 하나의 CMOS IC(210)로서 제조될 수 있다. 시스템(200)은 3차원 센서(20)와 동일한 하우징에 배치될 수 있으며, 본 발명을 구현하는데 사용될 수 있다. 본 명세서에 참조로서 통합되는 계류중 미국 특허 출원번호 제09/401,059호에 더 상세히 설명된 바와 같이, 상기 시스템은 유리하게도 이동 부품을 필요로 하지 않으며 비교적 적은 수의 오프-칩(off-chip) 구성 요소, 즉 1차적으로는 발광 다이오드(LED)나 레이저원(220) 그리고 관련 광 포커싱 시스템(optical focusing system)을 필요로 하며, 만약 적절한 쉴딩(shielding)이 구비된다면 레이저원(220)을 IC(210)가 제조될 수 있는 공통 기판상에 본딩할 수 있다. 비록 본 발명이 전술한 미국 실용 특허 출원에 개시된 3차원 센서(20)와 관련하여 설명되었지만, 본 발명은 다른 3차원 센서를 사용하여 구현될 수도 있다.
시스템(200)은 픽셀 검출기(240)의 어레이(230)를 포함하고, 각 픽셀 검출기(240)는 해당 검출기에서 출력되는 전하의 검출을 처리하는 전용 회로(250)를 구비한다. 가상 키보드 인식 애플리케이션에서, 어레이(230)는 15 ×100 픽셀 및 이에 상응하는 15 ×100 처리 회로(250)를 포함할 수 있다. 어레이의 크기는 Korth에 의해 개시된 종래의 2차원 비디오 시스템에서 요구되는 것보다 실질적으로 작다는 점에 주목할 필요가 있다. Korth는 4:3의 애스팩트 비(aspect ratio) 또는 경우에 따라서 2:1의 애스팩트 비를 요구하는 반면에, 본 발명은 실질적으로 3:1 보다 큰, 바람직하게는 약 15:2 또는 심지어 15:1의 애스팩트 비를 이용하는 데이터를 얻을 수 있고 처리할 수 있다. 도 1A 및 도 1B를 참조하면, X축에 대하여는 비교적 큰 영역이 포함되어야 하는 반면, 기판(50)상의 센서(20) 위치를 고려할 때 Y축에 대하여는 비교적 작은 거리가 포함될 것이 요구된다.
사용자가 타이핑하는 동안, 가상키의 행을 따라서 사용자의 여러 가지 손가락을 구별하기 위하여 높은 프레임 전송률이 요구된다. 그러나 주어진 타이핑 손가락의 전 후진 움직임은 실제로 빠르지 않을 것이다. 따라서, Z축 데이터 취득 속도는 X축 및 Y축 데이터의 취득 속도보다 느려도 된다. 예를 들면, Z축 데이터에 대하여는 10 프레임/초의 속도이지만, X축 및 Y축 데이터에 대하여는 30 프레임/초의 속도이다.
Z축의 프레임 전송률 감소는 키보드상의 손가락 위치 정보를 획득함에 있어 본 발명에서 필요한 전류를 감소시키는 실질적인 장점을 가진다. 실제로, 획득된 정보를 신호 처리함에 있어 본 발명은, 예컨대 Z축 위치 정보에 대한 프레임 중 1/3을 검사함으로써, 프레임에 대하여 Z축 정보를 평균화할 수 있다. 획득된 Z축 값은 노이즈 또는 지터(jitter)를 가지는데, 이는 평균화에 의해 감소될 수 있다. 예를 들면, Z값은 3개의 연속적인 이미지 프레임이 동일 처리된 Z값을 공유하도록 30 프레임/초 전송률을 가지는 3개의 연속적인 프레임을 평균할 수 있을 것이다. Z값에 대한 유효 프레임 속도는 X축 및 Y축 데이터 취득의 취득 속도의 1/3로 감소되는 반면, Z 데이터의 정확성은 노이즈 또는 지터를 평균함으로써 증가된다. 결과적으로 감소된 Z축 프레임 속도는 의미 있는 정보를 얻기에 여전히 충분히 빠르다. X축 및 Y축에 대하여 Z축에 상이한 프레임 속도를 사용하는 것은 본 발명에 유용하다. 예를 들면, X축 및 Y축 데이터와 관련하여 Z축의 감소된 취득 속도는 전류의 배출을 최소화하고 신호 처리기(CPU(260))에 잉여의 신호 처리 부담을 가하는 것을 방지한다.
따라서, 본 발명은 주변 광이 필요없이 3차원 이미지 데이터를 얻을 수 있는 반면, Korth와 같은 종래 시스템은 주변 광이 존재하는 조건하에서 2차원 광도 데이터를 얻을 수 있다. 핵심을 말하자면, 본 발명은 터치에 의해 인간이 물체를 감지할 수 있는 것과 유사하게, 예를 들어 손가락이나 기판과 같은 3차원 물체를 감지할 수 있다. 유리하게도, 이것은 비교적 작은 동작 전력, 예컨대 10mW의 3.3V 직류전압을 사용하여 얻어질 수 있으며, 이는 본 발명이 배터리에 의해 동작 가능하게 하고 비교적 소형의 이동 폼 팩터로 제조될 수 있게 한다.
사용자의 손과 손가락 그리고 기판의 3차원 이미지 데이터에 대하여 초당 다수의 프레임을 처리하는 것은 어레이(230)에 의해 가능하게 된다. 상기 데이터를 이용하여, 본 발명은 기판과 관련하여 또는 만약 기판이 존재하지 않는다면 컴패니언 장치(80) 앞의 작업대상에 키보드가 위치한다고 가정할 경우 가상키의 위치와 관련하여 손과 손가락의 3차원 이미지를 구성한다. 이에 대한 예시는 처음에 참조한 Bamji의 계류중 미국 특허출원에 개시되어 있다. 주행 시간 데이터로부터의 이러한 3차원 이미지 구성은 Korth에 의해 제안된 2차원 광도에 기초한 데이터를 이용하여 공간적 관계를 추측하는 종래 기술의 방법보다 우수하다. 주행시간법은, Bamji의 특허 출원에 개시된 바와 같이, 리턴 펄스 시간 측정, 위상 또는 주파수 검출, 또는 고속 셔터법(shutter method)을 포함한다. 주행시간법에 의존하지 않는 다른 방법들도 입체 이미지를 포함하는 3차원 데이터를 캡쳐할 수 있으며, 반사 강도(reflective intensity)로부터 깊이를 감지하는 광도 기반 기술이 사용될 수 있다.
실제로, 어레이(230)는 30 프레임/초의 속도로 데이터를 취득 및 생성할 수 있으며, 이러한 프레임 속도는 5 문자/초 속도, 즉 약 60 단어/초 속도의 가상 타이핑을 처리하는데 충분하다. 만약 어레이(230)가 예컨대 n개의 X축 픽셀과 m개의 Y축 픽셀을 포함하는 사각형이라면, n=100 및 m=15 라고 가정할 경우 1500개의 픽셀을 포함하는 그리드가 형성된다. 각 데이터 프레임에 대하여, 어레이(230)의 각 픽셀은 센서(20)로부터 픽셀에 의해 캡쳐된 물체(예, 사용자 손가락의 일부, 기판의 일부 등)의 표면까지의 벡터 거리를 표현하는 값, 예컨대 벡터 또는 Z축 값을 가진다. 상기 데이터는, 기껏해야 사용자의 손가락 윤곽과 가상 키보드상의 위치를 결정하는데 있어서 RGB 그레이 또는 컬러 스케일을 가지는 비디오 프레임을 제공하는, Korth의 광도 기반 이미지 데이터보다 더 유용하다.
취득된 3차원 데이터를 이용하여 소프트웨어(285)는 사용자 손가락의 실제 형상(일반적으로 실린더와 유사한 형상으로 가정된다)을 결정하고, 이에 따라 다른 손가락과 관련한, 기판상의 위치와 관련한, 그리고 3차원 센서(20)와 관련한 손가락의 상대 위치를 결정한다. 예를 들면, 도 1A에서 손가락이 Y=0의 위치로 이동하는 것이 감지될 때, 손가락이 아마 가상키를 타이핑하려고 한다는 것으로 판단될 수 있다. 만약 상기 손가락이 또는 Z=Z1 영역으로 이동하는 것이 감지되면, 손가락이 아마 가상 키보드상의 키 중 첫 번째 행에 위치한 어떤 가상키를 타이핑하려고 한다는 것으로 판단될 수 있다. 가상키가 막 눌려지려는 것에 대한 판단은 또한 속도 데이터를 고려할 수 있다. 예를 들면, 사용자의 손가락이 Y=0을 향해서 아래로 빨리 움직이면 아마 가상키를 누르려고 한다는 것으로 판단될 수 있다.
도 3에서, IC(210)는 (CPU를 의미하는) 마이크로프로세서 또는 마이크로컨트롤러 유니트(260), 랜덤 액세스 메모리(RAM; 270) 및 리드-온리 메모리(ROM; 280)를 포함하고, ROM의 일부에는 바람직하게도 본 발명을 구현하기 위해 CPU에 의해 실행되는 소프트웨어 루틴(285)이 저장되어 있다. 제어기 유니트(260)는 바람직하게도 약 50MHz로 동작하는 16비트 RISC 마이크로프로세서이다. 다른 기능들 중에, CPU(260)는 물체에 대한 벡터 거리 및 물체의 속도 계산을 수행하는데, 여기서 물체는 기판이나 사용자의 손을 말한다. IC(210)는 분할 가능한 고속의 클록(clock; 290), 다양한 연산 광 드라이브 입출력(I/O) 회로(300), 및 인터페이스 데이터/명령 입력/출력(I/O) 회로(310)를 더 포함한다. 디지털 키보드 스캔 형태의 데이터 또는 디지털화 장치 타블렛(tablet)/마우스 형태의 데이터가 시스템(200)과 관련된 I/O(310), 예컨대 COM 및/또는 USB 형태의 포트로부터 출력된다.
픽셀 감지 검출기의 2차원 어레이(230)는 통상의 표준 실리콘 기술을 이용하여 제조되는 것이 바람직한데, 이는 동일한 IC(210)에 회로들(250, 260, 270, 280, 290, 300)을 제조할 수 있는 이점을 가진다. 동일한 IC에 픽셀 검출기의 어레이와 함께 상기 회로들을 제조할 수 있어 신호 경로가 짧아지기 때문에 처리 및 지연 시간을 감소시킬 수 있다.
각 픽셀 검출기는 전류원, 이상적 다이오드, 및 션트(shunt) 임피던스와 노이즈 전류원의 병렬 결합으로 표현될 수 있다. 각 픽셀 검출기는 픽셀 검출기에서 감지된 입사되는 광자 에너지에 비례하는 전류를 출력한다. 바람직하게도 CMOS 제조가 CMOS 픽셀 다이오드 또는 포토게이트 검출 장치의 어레이를 구현하는데 이용된다. 예를 들면, 포토다이오드는 디퓨전(diffusion)과 웰(well) 또는 웰과 기판 접합을 이용하여 제조될 수 있다. 웰 대 기판 포토다이오드는 적외선(IR) 광에 보다 민감하며, 적은 캐패시턴스를 나타내므로 바람직하다.
도 3 및 도 4에 도시된 것처럼, 회로(250)는 각각의 픽셀 검출기(240)와 결합된다. 바람직하게 각각의 회로(250)는 펄스 피크 검출기(310), 고속 카운터(320)를 포함하고, 고속 클록(290)으로 액서스된다. 바람직하게 IC(210) 상에 형성된 고속 클록(200)은 바람직하게 약 500 MHz의 고정 주파수에서, 바람직하게 펄스가 출력됨에 따라 낮은 듀티 사이클로 높은 주파수 클록 펄스의 연속적인 열(train)을 출력한다. 물론, 다른 고속 클록 파라미터가 대신 사용될 수 있다. 이러한 펄스열은 각각의 고속 보간(interpolating) 카운터(320)의 입력 포트와 연결된다. 바람직하게 카운터(320)는 Bamji의 계류중인 특허 출원에 개시된 것처럼 서브-카운터일 수 있고, 70ps정도로 시간을 분석할 수 있다. 바람직하게 각각의 카운터(320)는 START 신호(예를 들어, 지금 카운터에서의 개시)를 수신하기 위한 포트, STOP 신호(예를 들어, 지금 카운터 작업 정지)를 수신하기 위한 포트, 및 CONTROL 신호(예를 들어, 지금 축적된 카운터 리셋)를 수신하기 위한 포트를 포함한다. CONTROL 및 START 신호는 제어기(260)로부터 이용가능하며, CLOCK 신호는 클록 유니트(290)로부터 이용가능하며, STOP 신호는 펄스 피크 검출기(310)로부터 이용가능하다.
가상 키보드(50)가 센서 렌즈와 거의 동일한 평면에 3차원 센서(20)로부터 약 20cm의 간격을 두고 위치된다. 전형적인 센서 렌즈 각도는 약 60°이기 때문에, 20cm의 간격은 가상 키보드의 광학 커버리지를 확보한다. 도 3에서는, 설명을 용이하게 하기 위해, 센서(20) 광 방출과 수집된 광 사이의 간격을 확대하였다.
개략적으로, 시스템(200)은 하기와 같이 동작한다. 시간(t0)에 마이크로프로세서(260)는 광원(220)에 원하는 물체, 예를 들어 기판(50) 및 사용자의 손가락(30)을 향해 포커스 렌즈(288')를 통과하며 300,000km/sec의 광속(C)으로 전도되는, 공지된 파장의 광 펄스를 방출하도록 명령한다. 광원(220)이 충분히 강한 경우, 렌즈(288')는 없어도 된다. 이미지화되는 물체의 표면에서 검출기 어레이에 의해 감지되는 시스템(200)을 향해 광의 적어도 일부가 다시 반사될 수 있다. 도 3에서, 원하는 물체는 사용자 손의 손가락(30)이며 기판(50)이 존재하는 경우는 기판(30)이며, 주목할 것은 "타이핑"을 하는 동안 손가락 위치로 사용자를 안내하기 위해 키보드 키(70) 또는 투사된 그리드 라인과 같이 볼 수 있는 표시를 포함할 수 있다.
도 1A에 도시된 것처럼, 기판(50) 상의 가상 키(70)의 위치(또는 다른 사용자가 이용가능한 표시)는 기판 상의 다른 키의 위치와 관련하여 X-Z 평면 상에 2차원으로 공지된다. 사용자의 손가락이 기판(50) 상에서 앞뒤로 이동함으로써, "타이핑"을 하는 동안 가상 키(70)가 터치되는, 어떤 가상 키가 어떤 시각에 사용자의 손가락에 의해 터치되는 것을 식별하기 위해 리턴 광학 에너지를 검사하는 것은 CPU(260) 및 소프트웨어 루틴(285)의 기능이다. 일단 이러한 정보가 얻어지면, 제공될 데이터 또는 명령이 실제 키보드 또는 다른 입력 장치에 의해 발생되는 것과 마찬가지로, 적절한 KEYUP, KEYDOWN, 키 스캔 코드 또는 다른 출력 신호가 컴패니언(companion) 장치(80)의 입력 포트(130)에 제공될 수 있다.
시간(t0)에 또는 그 이전에, 어레이(230)에 있는 각각의 픽셀 카운터(310)는 카운터에 앞서 유지된 임의의 카운터를 리셋하는, 제어기(260)로부터의 CONTROL 신호를 수신한다. 시간(t0)에 제어기(260)는 각각의 카운터에 START 명령을 지시하며, 이에 따라 각각의 카운터는 클록(290)으로부터 CLOCK 펄스를 카운터하고 축적하기 시작한다. 광 펄스 주행의 왕복 시간(TOF) 동안, 각각의 카운터는 긴 TOF를 나타내는 다수의 축적된 클록 펄스를 갖는 CLOCK 펄스를 축적하며, 이는 이미지화된 물체상의 광 반사 포인트 및 시스템(200) 사이의 보다 큰 거리를 의미한다.
시스템(200)에 관련된 포커스 렌즈(288)의 본질적인 특성은 이미지화된 물체(20)의 표면 상의 포인트로부터 반사된 광이 이러한 포인트 상에 포커스된 어레이에 있는 픽셀 상에만 떨어진다는 것이다. 따라서, 시간(t1)에 물체(20)의 표면 상에 가장 가까운 포인트로부터 반사되는 광자 광 에너지는 렌즈/필터(288)를 통과하고 그 포인트 상에 포커스되는 어레이(230)에 있는 픽셀 검출기(240)상으로 떨어진다. 렌즈(288)와 관련된 필터는 오직 광원(220)이 검출기 어레이 상으로 떨어짐으로써 방출된 파장을 갖는 입사광이 확실히 열화되지 않게 한다.
어레이(230) 내의 특정 픽셀 검출기(240)가 가장 가까운 사용자의 손가락 끝(70)의 가장 근거리 표면 포인트 상에 집중되어 있다고 가정한다. 관련된 검출기(300)는 이러한 대상물 포인트로부터 인입되는 광자 에너지에 응답하여 픽셀 검출기에 의해 출력되는 전압을 검출할 것이다. 바람직하게는, 펄스 검출기(300)는 픽셀 출력 전류 또는 전압의 작지만 빠른 변화를 감지하는 증폭 피크 검출기로서 실행된다. 빠르게 변화하는 출력 전압이 검출되기에 충분히 큰 경우, 검출기(300) 내의 로직(예컨대, SR 플립플롭)은 출력 펄스를 고정시키며, 그것은 관련된 카운터(320)에 STOP 신호로서 제공된다. 따라서, 관련된 카운터(320) 내에 축적된 카운트 수는 논의중인 손가락 끝의 인접부까지의 왕복 TOF, 측정이 가능한 정도로 떨어진 거리(Z1)를 나타낼 것이다.
거리(Z1)는 C가 광속인 이하의 관계로부터 결정될 수 있다.
Z1 = C·(t1-t0)/2
조금 경과된 시간(t2)에 광자 에너지는 사용자의 손가락 끝(30)의 다소 원거리 부분으로부터 렌즈(288)에 도달하고, 어레이(230) 상에 들어와서 다른 픽셀 검출기에 의해 검출될 것이다. 지금까지 이러한 다른 검출기와 관련된 카운터는 실제로 시간(t1)에 카운팅을 정지한 카운터를 제외하고 모든 카운터를 포함하기 때문에, 시간(t0)으로부터 시작하는 CLOCK 펄스를 계속하여 카운트한다. 시간(t2)에 인입되는 광자 에너지를 지금 막 수신하여 검출하는 픽셀과 관련된 펄스 검출기는 상기 관련된 카운터에 STOP 명령을 내릴 것이다. 이러한 카운터에 축적된 카운트는 손가락 끝의 중간 포인트까지의 왕복 TOF, 원거리 Z2를 반영한다. IC(210) 내에서, 메모리(280)에 저장된 소프트웨어 루틴(285)을 실행하는 제어기(260)는 대상물 표면 상의 각각의 광 반사 포인트에 대하여 TOF 데이터와 관련된 거리를 계산할 수 있다. 획득된 데이터의 연속적인 프레임을 검사함으로써 속도가 계산될 수 있다.
유사한 방식으로, 시간(t3)에 어레이 내의 또 다른 픽셀 검출기는 관련된 카운터에 STOP 명령을 내리도록 그 관련된 펄스 검출기(300)에 대하여 충분한, 이제 막 도달하는 광 에너지를 검출할 것이다. 이러한 카운터에 축적된 카운트는 이미지화된 물체까지 좀 더 먼 거리(Z3)에 대하여 TOF 데이터를 나타낸다. 설명을 용이하게 하기 위하여 도 3에서는 하나의 손가락 끝 근처로 들어오는, 단지 3개의 방사 광선 및 광 반사를 나타내지만, 사실상 거의 모든 기판 및 사용자의 손가락과 엄지손가락은 광원(220)으로부터의 조명을 받게 되며, 3차원 센서(20)와 관련된 렌즈(288)로 적어도 약간의 에너지를 반사시킬 것이다.
물론 어레이 내의 몇 개의 픽셀은 그들이 집중되는 대상 포인트로부터 충분히 반사된 광을 수신하지 못할 수도 있다. 따라서, (제어기(260)에 프로그래밍될 수 있는) 소정량의 시간의 경과 후에, 상기 센서 어레이 내의 각 픽셀과 관련된 카운터는 펄스 검출로 인하여 중단될 것이다(또는 거리(Z = 무한)에서 대상물에 대응하는 카운트를 유지하는 것으로 가정될 것이다).
상기한 바와 같이, 본 출원에서는 시스템(200)이 대략 20cm 내지 30cm, 예컨대 대략 20cm와 기판 상의 가상 키의 상부 및 하부 "행"을 분리하는 거리를 더한 범위 내에서 물체를 정확하게 이미지화할 수 있으면 충분하다. 검출된 반사광 펄스 각각에 의해, 어레이 내의 각 픽셀에 대한 카운터-계산된 TOF 거리값이 결정되어, 바람직하게는 유니트(270)와 관련된 RAM의 프레임 버퍼에 저장된다. 바람직하게는, 마이크로프로세서(260)가 시야 내의 물체와 물체 위치를 식별하기 위하여 RAM에 저장된 연속적인 프레임을 검사한다. 그리고 나서, 마이크로프로세서(260)는 물체, 예를 들어 손가락 움직임 속도를 계산할 수 있다. 거리 및 속도의 계산뿐만 아니라, 마이크로프로세서 및 관련된 온-칩 회로소자는 바람직하게는 사용자 손가락의 윤곽 또는 아웃라인을 인식하여, 기판 표면으로부터 손가락 표면을 구별하도록 프로그래밍된다. 일단 손가락 윤곽이 식별되면, 시스템(200)은 COM 또는 USB나 또는 컴패니언 컴퓨터 시스템으로의 명령 및 디지털 데이터와 관련되어 있는 다른 포트를 통하여 출력한다.
상기 예는 그 축적된 카운트가 시야 내에서 손가락 표면과 기판까지의 거리(Z1, Z2, Z3)를 계산하는데 사용될 수 있는 관련 카운터를, 3개의 개별 시간(t1, t2, t3)에 광자 에너지를 수신하는 3개의 픽셀 검출기가 어떻게 턴-오프하는지를 설명하였다. 실제로, 본 발명은 어레이의 크기에 따라 각각의 광 펄스당 3번이 아니라 수천 번 또는 수만 번 상기 계산을 처리할 것이다. 이런 처리는 ROM(280)에 저장된(또는 저장 가능한) 루틴(285)을 실행하기 위하여 마이크로프로세서(260)를 사용하여 IC 칩(210) 상에서 이루어질 수 있다. 어레이에서 각각의 픽셀 검출기는 검출 어레이 상에서 고유의 위치를 가지며, 각각의 픽셀 검출기와 연관된 고속 카운터로부터의 카운트 출력은 고유하게 식별될 수 있다. 따라서, 2차원 검출 어레이(230)에 의해 모아진 TOF 데이터는 사용자 손가락 및 기판과 같은 3차원 물체 표면에 정확한 거리를 제공하도록 처리된 신호일 수 있다. CMOS 호환 가능 검출기(240)로부터의 출력이 목표된 바와 같이 랜덤 방식으로 액세스될 수 있고, 이것은 임의의 순서로 TOF DATA를 출력하게 한다는 것으로 이해될 것이다.
삭제
광원(220)은 비록 다른 파장이 대신 사용될 수 있을지라도 약 800 nm의 파장을 가진 에너지를 방사하는 LED 또는 레이저이다. 800nm 파장 이하에서 방사된 광은 보여질 수 있고 레이저 효율은 감소된다. 900nm 이상에서 CMOS 센서 효율은 빠르게 감소하고, 임의의 경우 1100nm는 IC(210)와 같은 실리콘 기판상에서 제조되는 장치를 위한 상위 파장이다. 주목할 것은, 특정 파장을 가진 광 펄스 방사, 및 다른 파장의 입사 광 필터링에 의해, 시스템(200)은 주변 광에 의해 동작하거나 주변 광 없이 동작할 수 있다. 만약 기판(50)이 가상 키의 아웃라인을 형성하는 상승된 리지(ridge)를 포함하면, 사용자는 어둠 속에서 정확하게 타이프할 수 있고 시스템(200)은 여전히 적절히 작동하게 된다. 주변 광에 의존하지 않고 기능하는 이런 능력은 Korth에 의해 기술된 바와 같이 종래 기술 방법과 현저히 차이가 있다. 주목할 것은, 숙련된 터치 타이피스트가 아닌 사용자를 위해서도, 본 발명은 컴패니언 장치(80)의 디스플레이 상에 가상 키보드 이미지를 제공함으로써 어둠 속에서 사용될 수 있다.
주지한 바와 같이, 렌즈(288)는 어레이의 각각의 픽셀이 시야 내의 단 하나의 특정 포인트(예를 들어, 물체 표면 포인트)로부터 광을 수신하도록 센서 어레이(230)에 필터링된 입사광 에너지를 포커스하는 것이 바람직하다. 광파 진행 특성은 보통 렌즈(288)가 광을 센서 어레이 상에 포커스하는데 사용될 수 있게 한다. 만약 렌즈가 방사된 광을 포커스하기 위하여 요구되면, 미러형 배열이 사용된 경우, 하나의 렌즈는 288, 288'에 사용될 수 있다.
특정 응용에서, 센서 어레이(230)는 약 1cm 정도의 타깃 거리를 식별하기에 충분한 해상도를 가지며, 약 70ps(예를 들어, 1cm/C) 정도의 시간 차를 분석할 수 있어야 하는 각각의 픽셀을 포함한다. CMOS 실행 시스템 사양 측면에서, 고속 카운터(320)는 약 70ps 내로 시간을 분석할 수 있어야 하고, 피크 펄스 검출기(310)는 몇백 마이크로볼트(㎶) 정도의 검출 민감도로 약 70ps(약 100 샘플 정도 평균한 후)를 분석할 수 있는 낮은 노이즈 고속 유니트이어야 한다. 정확한 거리 측정은 펄스 검출기 응답 시간이 총 경과 시간에서 제외되는 것을 요구할 것이다. 마지막으로, 회로(280)에 의해 출력된 CLOCK 신호는 약 2ns 정도의 주기를 가져야 한다.
상기된 바와 같이, 각각의 보간 카운터(320)는 1cm 정도의 거리를 분석할 수 있으며, 이는 약 70ps 정도로 시간을 분석하는 것을 의미한다. 유효 70ps 사이클 시간을 가지는 10 비트 카운터를 사용하는 것은 약 10m(예를 들어, 1,024cm)의 최대 시스템 검출 거리를 양산한다. 보통 10 비트 카운터를 실행하는 것은 가장 안 좋은 경우 대략 40 게이트의 경로를 요구하고, 각각의 게이트는 약 8ns 정도의 총 진행 시간 동안 통상적으로 200ps를 요구한다. 이것은 차례로 가장 빠른 시스템 클록 사이클 시간을 약 10ns로 제한시킨다. 자리올림 예견(carry look-ahead) 하드웨어를 사용하는 것은 카운터 진행 시간을 일정한 비용으로 감소시키지만, 2ns 시스템 사이클 시간은 실행하기에 매우 어렵다.
요구된 사이클 시간을 달성하기 위하여, 소위 의사(pseudo) 랜덤 시퀀스 카운터(PRSC), 때때로 선형 시프트 레지스터(LSR)가 사용될 수 있다. PRSC 유니트를 포함하는 고속 카운터를 실행하는 것에 대한 자세한 것은 상기에 인용한 출원자의 공동 계류중인 실용신안 출원에서 알 수 있다.
광학 시야 내의 사용자 손가락 윤곽을 인식하는데 고려사항은 사용자 손가락 중 2개의 단면을 도시한 도 5를 참조하여 기술될 것이다. + 심볼은 손가락들을 이미지화하는 어레이(210)의 각각의 픽셀 센서에 대한 벡터 거리 값의 서브 프레임(인트라-프레임) 샘플을 나타낸다. 픽셀 센서와 관련된 고유 노이즈는 각각 획득된 샘플로 이미지화된 손가락 물체의 동일 포인트에 대해 가변되는 벡터 거리를 생성한다. 노이즈를 감소시키고 신호/노이즈를 개선하기 위하여, 센서는 도 5의 0 심볼에 의해 도시된 프레임에 대한 평균값을 형성하기 위하여 각각의 픽셀에 대한 측정을 평균한다. 도 5의 □심볼은 템플릿, 또는 예시적인 저장된 손가락 단면 모양 세트가 평균값을 해석하기 위하여 루틴(285)에 의해 사용될 때 교정된 평균값을 나타낸다. 이 방법은 거리 측정 정밀도를 향상시키고, 사용자 손가락 인식 불확실성을 감소시킨다.
데이터 캡쳐 노이즈는 사용자 손가락을 인식하고 손가락 모션 및 속도를 결정하기에 필요한 최소 프레임 속도에 영향을 줄 수 있다. 본 발명에 사용된 바와 같은 TOF 바탕 이미지에서, 비록 이미지화된 물체가 고정된 것으로 유지될지라도, 픽셀 레벨 노이즈는 그 자체가 하나의 프레임에서 다른 프레임으로 주어진 픽셀에 대한 거리값의 변화량으로서 나타난다.
용이한 설명을 위하여, 도 1A 및 2A, 2B에 도시된 키보드 이미지는 매트릭스, 예를 들어 균일한 행 및 열로서 도시된다. 그러나 실제로 도 6에 부분적으로 도시된 바와 같이, 표준 QWERTY형 키보드(및 다른 키 구조를 가진 키보드)는 오프셋 또는 지그재그 구조로 놓인다. 본 발명은 실제 키보드 레이아웃의 지그재그 배치를 고려함으로써 Z 축 해상도에 대한 요구를 바람직하게 감소시킨다. 따라서, 키보드의 상부에서 제 2 행은 약간 우측으로 이동되고, 제 3 행(상부로부터의)은 우측으로 좀 더 이동되며, 이런 식으로 계속된다. 이런 지그재그 배치는 인접 행의 키에 관련하여 오프셋 위치에서 각각의 행의 키를 배치한다. 예를 들어, 도 6의 키보드 문자 "G"를 주목한다. 점선의 사각형(400)은 문자 "G"를 칠 때 사용자에게 제공된 허용 가능한 범위를 가리킨다. 예를 들어, 사각형 영역 내의 가상 접촉은 사용자 손가락이 문자 "G"와 접촉하는 것으로서 해석될 것이다. Z로 표시되는 이 직사각형의 높이는 Z 축 좌표를 탐지할 때 허용되는 최대 에러 마진(margin)이다. 이 마진이 QWERTY 키보드 내의 하나의 행(R)의 높이보다 더 크다. 키를 위한 인식 영역이 직사각형일 필요가 없고 어떠한 합리적인 형태, 예를 들어 상기 키에 중심을 둔 타원형일 수 있다는 것이 또한 주목되어야 한다.
3차원 데이터의 획득된 프레임이 CPU(270)와 루틴(285)에 유효하게 될 때, 획득된 데이터로부터 사용자의 손가락의 인식이 진행된다. 이 작업은 데이터가 실제로 사용자 손가락의 3차원 표시를 포함하고, 손가락이 예를 들어, 가장자리에서 관찰될 때 다소 원통형인, 매우 잘 알려진 형태를 가질 것이라는 점에서 단순화된다. 언급한 바와 같이, 메모리(280)에 손가락 형태와 손가락 및 손의 휴리스틱스(heuristics)의 전형적인 템플릿을 저장하는 것은 손가락 위치를 인식하고 추적하기 위한 CPU 시간을 감소시킴으로써 손가락 인식을 빠르게 한다. 이러한 신호 처리는 빠르게 데이터 캡쳐 노이즈를 감소시키고 상기 획득된 3차원 데이터 중으로부터 사용자들의 손가락들을 보다 쉽게 분별할 수 있다. 신호 대 노이즈의 비율은 또한, 이미지화된 씬(scene)의 지식이 알려진 경우, 예를 들어 씬이 가상 키보드와 사용자의 손들을 포함하는 경우의 프레임 내부의 상태에서 개선될 수 있다. 바람직하게는 몇 백의 데이터 캡쳐가 평균화되거나 그렇지 않다면 획득된 데이터의 프레임을 구성하는데 사용된다.
일단 사용자의 손가락이 인식된다면, 소프트웨어 루틴(285)(또는 등가 루틴)은, CPU(260) 외에 의해 수행된, 손가락의 위치와 동작(예를 들면, 단위 시간당 위치의 상대적인 변화)을 다음에 결정할 수 있다. 손가락을 나타내는 데이터가 3차원이기 때문에, 루틴(285)은 단지 상기 사용자 손 위의 배경 이미지들과 초점을 쉽게 제거할 수 있다. Korth 2차원 이미징 설계 시에, 배경 물체(예를 들면, 사용자의 소매, 팔, 몸, 의자 윤곽 등)의 형태와 움직임이 물체 추적과 인식 소프트웨어 루틴을 혼동시킬 수 있기 때문에 이 작업은 매우 어렵다.
손가락 끝의 윤곽을 사용하여, 루틴(285)은 가상 키보드의 행, 예를 들면, 도 1A의 거리(Z1 또는 Z2)에 관해 상기 손가락의 위치를 결정하기 위해 Z-축 거리 측정을 사용한다. 언급된 바와 같이, 상기 축 측정의 입도(粒度)는 도 1A에 묘사된 것보다 실질적으로 더 크다. X-축 거리 측정은 상기 가상 키보드의 열에 관해 손가락 끝의 위치에 관한 데이터를 제공한다. 행 및 열 좌표 숫자들을 사용하여, 소프트웨어(285)는 예를 들면, 도 1A의 왼쪽 집게손가락에 의한 키 "T"에 의해 터치되는 실제의 가상 키를 결정할 수 있다.
사용자가 키보드, 숫자 패드, 전화기 패드 등과 같은 특정한 가상 입력 장치 상에 손가락을 위치시키는 것을 돕기 위해, 컴패니언 장치(80) 내의 소프트웨어가 상기 장치(예를 들면, PDA 또는 셀 방식 전화 스크린)와 연관된 스크린(90) 상에 또는 컴패니언 장치(80)에 결합된 디스플레이 단말 상에 소프트 키보드를 디스플레이하기 위해 사용될 수 있다. 소프트 키보드 이미지는 예를 들어 사용자의 손가락 아래서 직접 키를 하이라이트함으로써 가상 키보드(50) 상의(또는 가까운) 모든 키에 대한 사용자 손가락 위치를 보여줄 것이다. 키가 실제로 눌려졌을 때(상기 사용자의 손가락 움직임에 의해 인식될 때), 눌려진 키는 서로 다른 색 또는 음영을 사용하여 하이라이트될 수 있다. 만약 상기 가상 키들이 정확한 정지 위치에 있지 않다면, 상기 사용자는 적절한 시작 위치에 가상 키보드나 다른 입력 장치를 위치시키기 위해 컴패니언 장치에 명령할 수 있다. 예를 들면, 사용자가 대개 오른손 손가락을 홈 행 J, K, L, ":" 키 상에 위치시키고 왼손 손가락을 F, D, S 및 A 키 상에 위치시킴으로써 키 입력을 시작하면, 소프트웨어는 상기 위치로 가상 키보드의 키를 이동시킬 것이다.
사용자 손가락의 수직 Y-축 모션은 장치(50) 상의 가상 키가 타이프되거나 눌려지는지를 결정하기 위해 감지된다. 기계적인 키보드 상에 타이핑하는 동안, 몇몇의 손가락들은 동시에 움직일 수 있지만, 일반적으로 오직 하나의 손가락만 하나의 키를 누르며, 예를 들어 CONTROL 키와 "P" 키, 또는 오자 에러와 같이 존재하지 않는 이중 키를 입력한다. 본 발명에서, 소프트웨어 루틴(285)은 획득된 정보의 연속된 프레임으로부터 손가락 모션 정보를 결정한다. 유리하게는, 사람의 손은 손가락 모션에 어떤 제한을 가하고, 이 제한은 사용자의 손과 손가락의 이미지를 모델링하는데 채택된다. 예를 들어, 손가락의 연결 특성은 손가락의 움직임 사이에 어떤 결합을 내포한다. 손가락 관절에서의 자유도는 각 손가락이 예를 들어 다른 손가락들으로부터 더 가깝거나 더 멀게 움직이는데 일정 정도 자유스럽게 한다. 루틴(285)은 유리하게는 가상 키가 실제로 눌려지는지를 결정하기 위해 몇몇의 휴리스틱스를 사용할 수 있다. 예를 들어, 키 스트로크는 빠른 손가락 다운 모션 후 탐지된 손가락 업 모션을 시작하면서 감지될 수 있다. 가장 작은 Y-축 위치 또는 가장 큰 아래 방향 속도를 갖는 사용자의 손가락이 예를 들어 가상 데이터 입력 장치 상의 가상 키 중 하나를 누를, 키 입력 손가락으로서 선택된다.
사용자가 의도하지 않은 키 입력이 사용자의 손가락의 움직임을 지능적으로 모니터함으로써 식별된다. 예를 들어, 사용자가 의도하지 않은 키 입력을 시작함이 없이 기판(50)의 표면 상에 손가락을 올려 놓을 수 있다. 이것은 기계적인 키보드를 사용하는 타이피스트가 타이프하기에 충분히 단단한 어떠한 키도 누르지 않고 키 상에 그의 또는 그녀의 손가락을 올려놓는 조건과 유사하다. 본 발명의 사용자는 또한 의도하지 않은 어떠한 키도 시작하지 않고 가상 키보드 위로 그의 또는 그녀의 손가락을 부드럽게 움직이도록 허용된다. 소프트웨어(285)는 단지 의도적인 동작만이 컴패니언 컴퓨터 장치(80)에 데이터나 명령을 입력하기에 유효한 키 입력으로서 허용되도록 그 동작을 보정할 수 있다.
CPU(270)와 같은 CPU에 의해 실행되는 경우의 소프트웨어(285)는 본 발명의 사용자에 의해 가상 키가 타자되는 것을 인식하기 위한 알고리즘이나 루틴을 이행하는데 사용될 수 있다. 알고리즘에 대한 입력 데이터는 센서(20)로부터 획득된 3차원 광학 정보이다. 전형적인 알고리즘은 다음의 3가지 단계를 갖는 것으로 고려될 수 있다: 템플릿을 구축하고 개인화하는 단계, 보정 단계, 그리고 실제로 가상 키보드 또는 작업대 상에 사용자가 타이핑하는 것을 추적하는 단계. 이어지는 설명에서 모든 손가락이 사용되는 일반적인 타이핑이 시작된 것으로 가정될 것이다. 예를 들어 하나 또는 둘의 손가락만이 사용되는 경우, 상기 알고리즘의 특별한 경우가 적용될 것이다.
템플릿은 상이한 사용자를 위한 상이한 타이핑 자세의 미리 정해진 모델이 된다. 템플릿의 이러한 분류는 시스템 사용자 인구의 분석을 기초로 하며, 사용자의 다양한 타이핑 형태가 분류될 것이다. 템플릿은 입력 데이터(예를 들면, 타이핑 위치내의 손가락을 관측함으로써 수집된 데이터의 예) 또는 추적된 목표의 기하학적 특성의 미리 프로그램된 수학적 서술(예를 들어 손가락에 대한 원통형 서술)로부터 유도될 수 있다는 것을 유의해야 한다. 그 결과로 생기는 템플릿은 이때 ROM(280)에서 발생되며, 특히 루틴(285)이 생성된다. 키보드 키의 위치와 형태는 사용자의 스타일의 특정한 공통성을 부과하므로, 미리 정해진 템플릿의 수가 지나치게 많을 필요는 없다.
바람직하게, 본 발명의 개인 사용자는 템플릿을 제작하기 위해 필요한 단계를 통하여 사용자에게 안내하는 훈련 장치를 사용하여 그들 자신의 전용 템플릿을 만들 수도 있다. 이를 테면, 소프트웨어(285)의 훈련 프로그램 부분은 사용자에게 그 또는 그녀의 손가락을 가상 키보드 상의 타이핑 위치에, 또는 만약 존재한다면 컴패니언 시스템(80) 앞의 작업대에 놓도록 하는 명령을 디스플레이(90)에 표현할 수 있다. 훈련 프로그램은 사용자에게 각 손가락 아래의 가상 키를 반복적으로 누르도록 명령할 것이다. 엄지 손가락 움직임은 다른 손가락 움직임과 상이하며, 통상적으로 가상 키보드 또는 작업대의 스페이스 바 영역을 누르는 것으로 제한되므로, 광학적으로 엄지 손가락 움직임의 캡쳐는 특별한 경우로서 취급될 수 있다.
템플릿 구성시, 사용자의 손의 상이한 손가락과 같이 템플릿 이미지내의 물체의 분류를 구성하는 것이 바람직하다. 이하에서 더 자세히 상술되는 바와 같이, 이러한 방법 단계는 사용자의 손의 물리적 특성에 관한 분류자 또는 알고리즘 루틴을 위한 정보를 수집한다. 나중에, 실제 타이핑 동안에, 분류자는 획득한 프레임 내의 이미지를 각 사용자의 손가락에 빠르게 매핑하도록 이러한 템플릿을 사용한다. 템플릿 구조의 부분으로서, 바람직하게는 사용자의 손가락의 위치를 휴지 위치(rest position)에서 특정 키보드 키에 대해 매핑하는 것이 정의된다. 이를 테면, 루틴(285)과 CPU(270)는 사용자의 왼손의 손가락들은 "A", "S", "D" 및 "F" 키를 누르고 사용자의 오른손의 손가락들은 "J", "K", "L" 및 ":" 키를 누르도록 컴패니언 장치(80)에 명령할 수 있다. 이러한 방법 단계는 가상 키보드를 특정 사용자의 스타일에 개인화시킨다. 이러한 개인화 프로세스는 한 번 수행되며, 사용자의 타이핑 자세가 실질적으로 변하여 타이핑을 계속 할수록 잘못된 키가 너무 많이 확인되지 않는 한, 반복될 필요가 없다. 본 발명에 따른 보정 처리가 다음과 같이 수행될 수 있다. 타이핑 세션(session)의 개시에, 사용자는 텍스트 입력 모드로 장치(80)에 의해 구동되는 응용을 구동함으로써 컴패니언 장치(80)에 신호를 보낼 것이다. 예를 들면, 장치(80)가 PDA이면, 사용자는 스크린(80)상에 디스플레이된 텍스트 필드를 철필이나 손가락으로 접촉할 수 있으며, 그 결과 컴패니언(80) 응용의 입력 포커스를 텍스트 필드로 설정하게 된다. 다른 컴패니언 장치는 그러한 장치와 관련된 절차를 사용하여 적절한 텍스트 입력 모드로 설정될 수 있다.
다음으로, 사용자의 손가락은 가상 키보드나 단순히 작업대 상의 3차원 센서(20) 앞의 작업대의 타이핑 위치에 놓여진다. 이러한 단계는 타이핑 세션 개시 전에, 사용자 손가락을 템플릿의 구성요소에 매핑시키고, 사용자의 손가락을 가상 키보드의 키(또는 작업대)에 보정하기 위해 사용된다.
이러한 중대한 시기에, 3차원 센서(20)는 사용자 손가락의 윤곽 맵을 반복적으로 캡쳐할 것이다. 그렇게 캡쳐된 데이터는 예를 들면, 소프트웨어(285)에 의해 도 7A-7O에 도시된 바와 같은 테이블 또는 매트릭스에 배치될 것이다.
도 7A는 센서에 의해 이미지화된 바와 같이, 실제 키보드상에서 타이핑하는 사용자의 왼손을 도시한다. 센서(20)의 시야(FOV)는 본 실시예에서 실제 키보드인 상부 작업대로 쪽으로 의도적으로 향한다. 왼손의 다섯 손가락이 도시되며, 이는 손가락 1(엄지 손가락), 2, 3, 4 및 5(새끼 손가락)로 식별될 수 있다. 손가락 뒤 및 손가락 사이의 음영이 들어간 영역은 너무 어두워서 본 발명에 의해 사용자의 손가락의 부분으로 고려될 수 없는 영역을 나타낸다. 실제적인 세팅에서는 이해 및 묘사를 쉽게 하기 위해 여기서 도시된 균일한 어두운 영역보다는 어둠의 정도가 변화한다.
오버레이 그리드형 매트릭스 또는 테이블은 도 7A에 도시되며, 다양한 영역은 사용자의 손가락에 관련된 표면 부분과 센서(20) 사이의 표준화된 벡터 거리를 나타내는 디지트(digit)를 양자화한다. 이러한 양자화된 거리값은 본 발명에 의해, 예를 들면 소프트웨어(285)에 의해 동적으로 계산된다. 도 7A에서 도시된 매핑에서, 1, 2와 같은 낮은 디지트 값은 가까운 거리를 나타내며, 7, 8과 같은 더 높은 값은 큰 거리를 나타낸다. "d" 값은 감지된 불연속을 나타낸다. 센서(20)와 관련된 기술에 따라, "d" 값은 넓게 진동하며, 전면 물체의 부존재를 나타낼 수 있다. 도 7A에서, 사용자의 왼손 엄지손가락을 나타내는 양자화된 거리값은 사용자의 왼손 집게 손가락보다 센서(20)(7, 8의 비교적 높은 거리값으로 나타난 바와 같이)로부터 멀리 떨어져 있으며, 그 거리값은 비교적 낮다(예를 들면, 1). 사용자의 왼손 새끼손가락은 일반적으로 사용자의 집게 손가락보다 센서(20)로부터 더 멀다.
도 7A의 중앙부는 표준화된 거리값과 "d" 엔트리가 가능한 테이블 또는 매트릭스이다. 유사한 테이블도 도 7B-7O에 도시된다. 테이블 엔트리는 사용자 손가락의 윤곽을 표현할 수 있으며, 명암은 사용자의 손가락의 아웃라인에 거리 데이터의 가능한 매핑을 도시할 때 도움을 주기 위하여 이러한 테이블에 부가된다. 테이블에서 열을 지적하는 도 7A의 FOV 부분으로부터의 화살표는 데이터의 다양한 열이 사용자 손가락 위치의 윤곽을 어떻게 표현할 수 있는지를 나타낸다. 도 7A-7O에 도시된 테이블에서, 원형으로 된 숫자 "1", "2"..."5"는 사용자의 왼손 엄지손가락(손가락 "1"), 집게 손가락, 가운데 손가락, 약손가락 및 새끼 손가락(손가락 "5")의 인지된 위치에 상응하는 윤곽을 나타낸다.
상술한 바와 같이, 본 발명에서 템플릿은 센서(20)로부터 획득된 데이터로부터 사용자 손가락 위치를 식별하는 것을 돕는데 사용된다. 템플릿은 불연속이 명백하지 않을 때, 손가락 사이의 경계 구별시에 분류 알고리즘(또는 분류자)(285)을 도울 수 있다. 예를 들면, 도 7A에서, 사용자의 제 3 및 제 4 손가락(손가락 3 및 4)은 비교적으로 가깝다.
도 7A의 아랫부분에 어떤 시각에 눌려져야 할 어떤 키(실제 또는 가상)를 인식하는 전체 작업과 관련된 휴리스틱스뿐만 아니라 본 발명의 동적 속도 값, 센서 감지 거리 값에 의한 분석에 근거하여, 사용자가 타이핑하는 것을 동적으로 디스플레이되는 것을 나타낸다. 이에, 도 7A에 캡쳐된 순간에 "The quick brown fox jumped over the lazy dog"이라는 문장에서 막 "f" 문자를 타이프한 사용자의 왼쪽 집게 손가락(손가락 2)이 나타나고, 부분적으로 타이프된 구절(100)이 컴패니언 장치(80)의 디스플레이(90)상에 나타난다.
바람직하게 소프트웨어 루틴(285)의 보정 단계는 사용자에게 익숙하다. 따라서, 본질적으로 루틴(285)은 사용자의 손가락 아래로 가상 키보드를 이동시키거나 재배치한다. 이러한 절차는 센서(20)에서 템플릿의 손가락까지 획득된 이미지를 매핑함으로써, 그리고 사용자에 대한 템플릿 구성 단계 동안 결정된 통상의 위치에 맞춰 사용자에 의해 터치된 키를 매핑함으로써 수행될 수 있다.
보정 단계는 초기 상태 또는 휴지 위치를 형성하며, 키보드상의 특정 키에 대한 휴지 위치에서 사용자의 손가락을 매핑한다. 도 1B에 도시된 바와 같이, 스크린(90)이 이용 가능한 것으로 가정하고, 터치되거나 매우 근접한(눌려진 것이 아닌) 상기 "키(107)"는 바람직하게 컴패니언 장치(80)의 스크린(90)상에 디스플레이된 소프트 키보드(105) 상에서 하이라이트된다. 이 휴지 위치는 또한 사용자의 손가락이 타이핑 버스트(burst)의 끝이라고 가정한 위치에 존재할 것이다.
실제 타이핑 동안, 루틴(285)은 사용자의 손가락을 감지하고 가상 키보드상의 키를 교정하기 위한 손가락 움직임을 매핑한다. 이 알고리즘 단계를 시작하기 전에, 관련 컴패니언 장치(80) 응용은 텍스트 입력모드로 번역되고 키보드 이벤트(예를 들어, KEYUP 및 KEYDOWN)를 받아드릴 준비가 되어 있을 것이다.
루틴(285 : 또는 동등물)은 다양한 방식으로 구현될 수 있다. 바람직한 실시예에서, 루틴(285)은 3개의 모듈을 사용하게 된다. "분류자(classifier)" 모듈이 사용자 손가락에 대한 각 프레임에서 클러스터를 매핑하는데 사용된다. "추적자(tracker)" 모듈은 키를 치는 손가락 모션의 탐색 및 사용자 손가락과 가상 키보드 또는 다른 작업대 상의 위치간의 충격 포인트의 좌표를 결정함으로써 활동중인 손가락의 움직임을 추적하는 데 사용된다. 제 3 "맵퍼(mapper)" 모듈은 가상 키보드상의 특정 키에 대하여 사용자 손가락의 충격 포인트를 매핑하고 컴패니언 장치(80)로 키 이벤트를 보낸다. 이러한 전형적인 모듈은 하기에서 보다 자세히 설명될 것이다.
분류자 모듈의 역할은 광학적으로 획득된 데이터의 각 프레임에서 센서(20)에 의해 생성된 씬의 윤곽 맵을 분별한다. 클러스터 모듈은 동일한 표면 부분과 같이 어떤 공통 특성을 가지는 클러스터를 식별할 것이다. 중요하게도, 분류자는 동일한 클러스터가 획득된 데이터의 연속 프레임에서 다른 클러스터와 식별될 수 있도록 각 클러스터에 라벨을 붙일 것이다. 또한, 분류자는 각 클러스터의 경계를 결정하고, 특히 각 클러스터의 팁(tip)을 결정하는 데 상기 팁은 사용자 손가락의 끝에 대해 매핑한다. 상기의 목표는 사용자 손가락 자체를 인식하는 것이 아니고 사실상 가상 키 또는 키의 가상 위치를 누르는데 사용되는 스틱 또는 철필을 사용자가 보유하는 데 있을지도 모른다. 따라서, 상기 기술된 템플릿은 우선 상기 클러스터에 의미를 부여하며 클러스터 형성에 있어 조력하는데 사용된다.
클러스터를 클러스팅 또는 위치 선정하는 방법 중 하나는 가장 근접한 이웃 파티션을 형성하기 위해 가장 근접한 이웃 조건을 사용하는 것으로, 각 파티션은 사용자의 각 손가락에 대하여 매핑한다. 이러한 매핑은 사용자의 왼손에 대한 5개의 파티션 및 사용자의 오른손에 대한 5개의 파티션을 만들며, 왼손과 오른손 파티션은 개별적으로 처리될 수 있다.
파티션 형성의 한 방법은 Llyod의 알고리즘을 근거로 한다. 이 알고리즘의 상세는 이미지 처리 분야에서 널리 알려져 있으며, Allen Gersho와 Robert Gray의 Vector Quantization and Signal Comprssion 의 페이지 362에서 찾을 수 있다. 예로서, 한 손에 대한 파티션 세트를 Ct = {ci ; i = 1,..5} 로 설정한다. 각 파티션에서 포인트 세트를 Pi,t = {r:d(r,ci) < d(r,cj); 모든 j < > i}으로 정의하고, 여기서 함수 d()는 세트에서 2개의 포인트간의 거리 크기이다. 만약 d(r, ci) = d(r, cj)라면, "동점(tie)"은 하부의 인덱스를 가지는 세트 내에 포인트를 둠으로써 깨질 수 있다. 두 포인트 a 및 b에 대해, d(a, b)는 (xa-xb)2+(ya-yb)2+(za-zb)2 로 정의될 수 있으며, 여기서 x, y 및 z는 센서(20)로부터 획득한 축 크기이다. 함수 센터(Pi,t)는 Pi,t 내에서 중심 또는 포인트들의 중심으로서 정의될 수 있다. 이어 Ct+1 = {center(Pi,t); i=1,..5}로 정의한다. 새로운 중심을 사용하여, 상기한 바와 같이 Pi,t+1을 찾을 수 있다. 반복은 두 개의 연속적인 Pi 세트의 구성이 그대로 변화되지 않을 때까지 계속된다(예컨대 루틴(285) 또는 동등물에 의해). 전형적으로, 상기 반복은 3 내지 4 반복에 집중되고, 최종 세트 Pi내의 포인트는 각 사용자 손가락에 대한 포인트의 클러스터이다. 이 방법에서, 분류자의 궁극적 목표는 사용자 손가락 그 자체를 인식하는 것이 아니라 오히려 사용자 손가락에 의해 어떤 키가 눌려졌는지를 결정하는 것이다. 이러한 관찰은 분류자가 시스템 성능에 충돌하지 않는 타이핑 영역 주위에서 클러스터링의 부정확성을 견딜 수 있게 한다.
추적자 모듈은 이제 도 7A 내지 7O에 나타낸 매트릭스에 관하여 보다 자세히 기술될 것이며, 여기서 클러스터에는 데이터의 시각적 이해를 돕기 위해 명암을 넣는다. 바람직하게, 감지된 클러스터는 각 클러스터의 움직임을 계속 추적할 추적자 모듈에 입력된다. 추적자 모듈은 특히 비교적 빠르게 위 아래의 움직임을 경고하고, 클러스터의 속도 및 방향을 계산할 것이다.
도 7D 내지 7K에는 사용자의 두번 째 손가락이 위로 올라간 다음 손가락 끝 아래 (가상)키를 치기 위해 아래 쪽으로 움직임으로써 획득된 이미지 시퀀스를 나타내는 매트릭스 테이블을 도시하고 있다. 추적자 모듈에 의해 면밀히 모니터링되는 각 클러스터의 팁은 바람직하게 분류자 모듈에 의해 식별된다. 실제 이미지에서, 다른 사용자 손가락은 약간 움직일 수 있지만, 예에서 분류자는 다른 손가락의 움직임보다 왼쪽 집게손가락(손가락 2)의 가속도가 현저히 더 높은 것으로 판단한다.
도 7D 내지 7E에서, 방향과 감지된 클러스터(예컨대 사용자 손가락)의 팁을 나타내기 위해 화살표가 추가되었다. 도 7D 내지 7F에서 클러스터 또는 손가락의 움직임은 위쪽으로 향하고, 도 7F에서는 사용자의 손가락이 최대 위쪽 위치, 예를 들면, 센서(20) 취득 데이터에 의해 결정된 것과 같은 최대 Y 축 위치를 나타낸다. 도 7G 내지 7H에서, 클러스터 또는 손가락은 이제 아래 방향으로, 예를 들어 가상 키보드(50) 또는 작업대(60) 쪽으로 움직인다. 도 7I에서, 작업대 상의 가상 키 또는 키 위치를 가지는 사용자 손가락의 접촉이 감지된다.
손가락 끝의 수직 속도는 몇가지 방법으로 루틴(285 : 또는 다른 루틴)에 의해 계산될 수 있다. 바람직한 실시예에서, 추적자 모듈은 시퀀스 동안 획득된 프레임 수만큼 손가락 끝의 최고점 및 최저점간의 차이를 분할함으로써 사용자의 손가락 끝(분류자 모듈에 의해 식별된)의 수직 속도를 계산한다. 속도는 초당 프레임 속도와 상관없이 프레임 개수에 의해 Y 축 해상도에 대해 계산된다. 키 누름을 등록하기 위해, 이 계산된 Y 축 속도는 임계 속도보다 높거나 동일해야 한다. 이 임계 속도는 소프트웨어(285)에 의해 사용된 파라미터이며, 개인화 단계 동안 사용자가 조절 가능한 것이 바람직하다.
도 7J 내지 7O는 아래 및 뒤쪽 방향으로 사용자의 왼손 손가락(손가락 2)의 움직임을 보다 복잡한 순서로 나타내는 매트릭스 테이블을 도시한다. 도 7O에서, 이 손가락 모션이 가상 키보드(또는 이러한 가상 키가 발견되어질 장치(80) 앞의 작업대 상의 위치)의 제 1 행에서 키 상의 키 누름이 정점에 달하는 것을 나타낸다.
이제 맵퍼 모듈을 설명하면, 추적자 모듈이 키 누름을 검출한 것으로 판단한 경우 추적자 모듈은 맵퍼 모듈에 신호를 보낼 것이며, 추적자 모듈은 클러스터 팁의 클러스터 팁 좌표(X,Y,Z)를 통과시킨다. 맵퍼 모듈은 가상 키보드상의 행 위치를 결정하기 위해 Z 축 값을 사용하고, 행 내에서 키를 결정하기 위해 X 축 및 Y 축 값을 사용한다. 도 1A의 예에서, 좌표(X,Y,Z) 위치(7,0,3)는 가상 키보드상의 문자 "T"를 의미한다. 또한, CPU(285) 이외의 것에 의해 실행되는 루틴을 포함하는 다른 루틴이 대신 사용될 수 있지만, 다양한 모듈은 소프트웨어 루틴(285) 부분을 포함하는 것이 바람직한 것으로 이해한다.
변경과 변화는 다음의 청구항에 의해 규정된 본 발명의 주제와 사상에서 벗어나지 않는 한 공개된 구현들로부터 만들어질 수 있다. 예를 들어, 하나 이상의 센서는 3차원 위치 정보를 획득하기 위해 채용될 수 있다.

Claims (103)

  1. 삭제
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
  8. 삭제
  9. 삭제
  10. 삭제
  11. 삭제
  12. 삭제
  13. 삭제
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
  21. 삭제
  22. 사용자가 사용자 제어 대상(user-controlled object)을 이용하여 가상 입력 장치와 상호작용(interact)하는 방법으로서,
    (a) 단일 센서 시스템으로부터 주어진 시간에서의 단일 이미지를 나타내는 데이타를 획득하는 단계 - 상기 데이타로부터, 상기 사용자 제어 대상에 의해 접촉된 상기 가상 입력 장치 상의 정의된 위치가 식별가능하도록, 상기 사용자 제어 대상의 적어도 일부의 관련 위치의 3차원 좌표 정보가 결정될 수 있음 - ; 및
    (b) 상기 사용자 제어 대상의 속도와는 독립적으로, 상기 사용자 제어 대상의 일부가 상기 가상 입력 장치 상에 정의된 위치와 접촉하였는지를 결정하고, 접촉하였다면, 상기 가상 입력 장치의 어떤 기능이 상기 위치와 관련되는지를 결정하도록, (a) 단계에서 얻어진 데이타를 처리하는 단계를 포함하는, 가상 입력 장치와의 상호작용 방법.
  23. 제 22 항에 있어서,
    (c) 상기 (b) 단계에서 결정된 접촉 위치에 상응하는 정보가 컴패니언(companion) 시스템에게 이용가능하도록 하는 단계를 더 포함하며,
    상기 사용자 제어 대상은 상기 가상 입력 장치와 상호작용하여 상기 컴패니언 시스템에 정보를 제공하는, 가상 입력 장치와의 상호작용 방법.
  24. 제 23 항에 있어서,
    상기 (c) 단계에서, 상기 정보에 상응하는 것에는, (ⅰ) 수문자(alphanumeric) 문자를 표현하는 신호, (ⅱ) 수문자 문자를 표현하는 스캔 코드, (iii) 명령을 표현하는 신호, (iv) 명령을 표현하는 디지털 코드, (v) 상기 사용자 제어 대상의 이동을 표현하는 포인트들의 적어도 하나의 실시간 궤적을 표현하는 신호, 및 (vi) 상기 사용자 제어 대상의 이동을 표현하는 포인트들의 적어도 하나의 실시간 궤적을 표현하는 디지털 코드로 이루어진 그룹으로부터 선택된 적어도 하나의 정보 타입이 포함되는, 가상 입력 장치와의 상호작용 방법.
  25. 제 23 항에 있어서,
    상기 컴패니언 시스템은, (ⅰ) PDA, (ⅱ) 무선 전화기, (ⅲ) 이동통신 전화기, (iv) 셋톱 박스, (v) 이동식 전자 장치, (vi) 전자 장치, (vii) 컴퓨터, (viii) 입력 데이터를 받아들이기 위한 기기, 및 (ix) 전자 시스템으로 이루어진 그룹으로부터 선택된 적어도 하나의 장치를 포함하는, 가상 입력 장치와의 상호작용 방법.
  26. 제 22 항에 있어서,
    상기 단계 (a)는 2:1보다 큰 애스팩트 비(aspect ratio)를 가지는 고체 상태 센서를 제공하는 단계를 포함하는, 가상 입력 장치와의 상호작용 방법.
  27. 제 22 항에 있어서,
    상기 단계 (a)에서, 상기 데이타는 상기 단일 센서 시스템으로부터 상기 사용자 제어 대상의 일부까지의 주행 시간을 이용하여 얻어지는, 가상 입력 장치와의 상호작용 방법.
  28. 제 22 항에 있어서,
    상기 사용자 제어 대상은 (i) 상기 사용자의 손, (ii) 철필(stylus), 및 (iii) 임의 형상의 대상으로 이루어진 그룹에서 선택되는, 가상 입력 장치와의 상호작용 방법.
  29. 제 22 항에 있어서,
    상기 가상 입력 상치는, (ⅰ) 3차원 공간, (ⅱ) 물리적 평면, (iii) 기판, (iv) 실제 키보드의 사용자 가시가능 이미지를 갖는 기판, (v) 실제 키보드의 사용자 가시가능 이미지가 투사된 기판, (vi) 사용자 가시가능 타이핑 가이드가 투사된 기판, (vii) 실제 키보드의 사용자 가시가능 이미지를 갖고 사용자 디지트에 의해 눌러지는 경우 촉각적 피드백을 제공하는 수동 키 유사 영역을 포함하는 수동 기판, (viii) 미사용시보다 사용시 더 커지는 기판, (ix) 사용시 적어도 6" ×12" 크기가 되나 미사용시 6" ×8" 미만의 크기가 되는 기판, (x) 디스플레이 스크린, (x) 전자 디스플레이 스크린, (xii) LCD 스크린, (xiii) CRT 스크린, 및 (xiv) 플라즈마 스크린으로 이루어지는 그룹으로부터 선택되는 작업 영역 상에 정의되는, 가상 입력 장치와의 상호작용 방법.
  30. 제 22 항에 있어서,
    상기 가상 입력 장치에 대하여 상기 사용자 제어 대상의 피드백 가이드 배치를 상기 사용자에게 제공하는 단계를 더 포함하며,
    상기 피드백은 (ⅰ) 상기 가상 입력 장치가 가상 키보드인 경우 실제 키보드 상의 사용자 타이핑을 에뮬레이팅하는 촉각적 피드백, (ⅱ) 청각적 피드백, (ⅲ) 상기 가상 입력 장치가 가상 키보드인 경우 적어도 하나의 키보드 키의 이미지를 묘사하는 시각적 피드백 디스플레이, (ⅳ) 상기 가상 입력 장치가 가상 키보드인 경우 적어도 하나의 키보드 키와 상기 사용자 제어 대상의 적어도 일부를 포함하는 이미지를 묘사하는 시각적 피드백 디스플레이, (v) 상기 가상 입력 장치가 가상 키보드인 경우 상기 사용자 제어 대상에 인접한 키들이 상기 사용자 제어 대상에 의해 터치된 키들과 시각적으로 구별되는 키보드 키를 나타내는 시각적 피드백 디스플레이, (ⅴi) 상기 사용자 제어 대상에 의해 입력된 정보를 묘사하는 시각적 피드백 디스플레이, 및 (vii) 상기 가상 입력 장치가 가상 키보드인 경우 가상 키에 대하여 상기 사용자 제어 대상의 위치를 나타내는 이미지를 묘사하며, 상기 이미지의 크기가 상기 사용자 제어 대상으로부터 상기 가상 키보드까지의 거리를 나타내는 시각적 피드백 디스플레이로 구성되는 그룹으로부터 선택된 적어도 하나의 피드백 타입을 포함하는, 가상 입력 장치와의 상호작용 방법.
  31. 제 22 항에 있어서,
    상기 단계 (b)는 상기 정보를 실질적으로 실시간으로 처리하는 단계를 포함하는, 가상 입력 장치와의 상호작용 방법.
  32. 제 22 항에 있어서,
    상기 단계 (b)는, (i) 상기 사용자 제어 대상의 말단부의 3차원 위치, (ii) 적어도 하나의 방향에서의 상기 사용자 제어 대상의 말단부의 속도 정보, (iii) 상기 사용자 제어 대상의 템플릿 모델에 대한 획득된 정보의 매칭, (iv) 히스테리시스 정보 처리, (ⅴ) 사용자에 의해 입력되고 있는 언어 지식, 및 (vi) 시간의 함수로서의 상기 가상 입력 장치의 동적 구성 중 적어도 하나를 사용하여, 상기 가상 입력 장치 상의 위치에 대한 상기 사용자 제어 대상의 말단부의 공간적 위치를 결정하는 단계를 포함하는, 가상 입력 장치와의 상호작용 방법.
  33. 제 22 항에 있어서,
    상기 가상 입력 장치는 가상 키를 갖는 가상 키보드이며,
    상기 단계 (b)는,
    상기 사용자 제어 대상의 말단부 팁의 3차원 위치를 실제 키보드 상의 실제 키로 맵핑하는 단계; 및
    키가 가상 입력 장치 상에 존재한다면 실제 키중 어떤 것이 상기 사용자 제어 대상에 의해 타이핑되었을까를 식별하는 단계를 포함하는, 가상 입력 장치와의 상호작용 방법.
  34. 제 22 항에 있어서,
    상기 단계 (a)에서, 프레임들중 하나로부터 상기 3차원 좌표 정보가 획득될 수 있도록 상기 데이타가 프레임들에서 얻어지는, 가상 입력 장치와의 상호작용 방법.
  35. 제 22 항에 있어서,
    상기 가상 입력 장치의 사용자 가시가능 이미지가 적어도 하나의 회절형 광학 기기를 이용하여 작업 영역 상에 투사되는, 가상 입력 장치와의 상호작용 방법.
  36. 제 22 항에 있어서,
    상기 가상 입력 장치는 가상 키보드를 포함하고, 상기 사용자 제어 대상은 상기 사용자 손의 적어도 일부를 포함하는, 가상 입력 장치와의 상호작용 방법.
  37. 사용자가 사용자 제어 대상을 이용하여 기능에 연관된 적어도 하나의 위치를 갖는 가상 입력 장치와 상호작용하는 방법으로서,
    (a) 단일 센서 시스템으로부터 주어진 시간에서의 단일 이미지를 나타내는 프레임의 데이타를 획득하는 단계 - 상기 데이타로부터, 상기 사용자 제어 대상의 적어도 일부의 관련 위치의 3차원 좌표 정보가 상기 가상 입력 장치에 대하여 유도될 수 있음 - ; 및
    (b) 상기 사용자 제어 대상의 일부가 상기 가상 입력 장치 상에 정의된 위치와 접촉하였는지를 결정하고, 접촉하였다면, 상기 가상 입력 장치의 어떤 기능이 상기 위치와 관련되는지를 결정하도록, (a) 단계에서 얻어진 데이타를 처리하는 단계를 포함하는, 가상 입력 장치와의 상호작용 방법.
  38. 제 37 항에 있어서,
    (c) (b) 단계에서 결정된 가상 입력 장치에 대한 사용자 제어 대상의 접촉 위치에 상응하는 정보가 컴패니언 시스템에게 이용가능하도록 하는 단계를 더 포함하며,
    상기 사용자 제어 대상은 상기 가상 입력 장치와 상호작용하여 상기 컴패니언 시스템에 정보를 제공하는, 가상 입력 장치와의 상호작용 방법.
  39. 제 38 항에 있어서,
    상기 컴패니언 시스템은, (ⅰ) PDA, (ⅱ) 무선 전화기, (ⅲ) 이동통신 전화기, (iv) 셋톱 박스, (v) 이동식 전자 장치, (vi) 전자 장치, (vii) 컴퓨터, (viii) 입력 데이터를 받아들이기 위한 기기, 및 (ix) 전자 시스템으로 이루어진 그룹으로부터 선택된 적어도 하나의 장치를 포함하는, 가상 입력 장치와의 상호작용 방법.
  40. 제 37 항에 있어서,
    상기 단계 (a)에서, 상기 단일 센서 시스템은 적어도 하나의 센서 어레이를 포함하고, 3차원 좌표 정보는 상기 센서 어레이로부터 상기 사용자 제어 대상의 표면 부분까지의 주행 시간을 이용하여 획득되는, 가상 입력 장치와의 상호작용 방법.
  41. 제 37 항에 있어서,
    상기 단계 (a)는 2:1보다 큰 애스팩트 비를 가지는 고체 상태 센서를 제공하는 단계를 포함하는, 가상 입력 장치와의 상호작용 방법.
  42. 제 37 항에 있어서,
    상기 사용자 제어 대상은 (i) 상기 사용자의 손, (ii) 철필, 및 (iii) 임의 형상의 대상으로 이루어진 그룹에서 선택되는, 가상 입력 장치와의 상호작용 방법.
  43. 제 37 항에 있어서,
    상기 가상 입력 상치는, (ⅰ) 3차원 공간, (ⅱ) 물리적 평면, (iii) 기판, (iv) 실제 키보드의 사용자 가시가능 이미지를 갖는 기판, (v) 실제 키보드의 사용자 가시가능 이미지가 투사된 기판, (vi) 사용자 가시가능 타이핑 가이드가 투사된 기판, (vii) 실제 키보드의 사용자 가시가능 이미지를 갖고 사용자 디지트에 의해 눌러지는 경우 촉각적 피드백을 제공하는 수동 키 유사 영역을 포함하는 수동 기판, (viii) 미사용시보다 사용시 더 커지는 기판, (ix) 사용시 적어도 6" ×12" 크기가 되나 미사용시 6" ×8" 미만의 크기가 되는 기판, (x) 디스플레이 스크린, (x) 전자 디스플레이 스크린, (xii) LCD 스크린, (xiii) CRT 스크린, 및 (xiv) 플라즈마 스크린으로 이루어지는 그룹으로부터 선택되는 작업 영역 상에 정의되는, 가상 입력 장치와의 상호작용 방법.
  44. 제 37 항에 있어서,
    상기 가상 입력 장치에 대하여 상기 사용자 제어 대상의 피드백 가이드 배치를 상기 사용자에게 제공하는 단계를 더 포함하며,
    상기 피드백은 (ⅰ) 상기 가상 입력 장치가 가상 키보드인 경우 실제 키보드 상의 사용자 타이핑을 에뮬레이팅하는 촉각적 피드백, (ⅱ) 청각적 피드백, (ⅲ) 상기 가상 입력 장치가 가상 키보드인 경우 적어도 하나의 키보드 키의 이미지를 묘사하는 시각적 피드백 디스플레이, (ⅳ) 상기 가상 입력 장치가 가상 키보드인 경우 적어도 하나의 키보드 키와 상기 사용자 제어 대상의 적어도 일부를 포함하는 이미지를 묘사하는 시각적 피드백 디스플레이, (v) 상기 가상 입력 장치가 가상 키보드인 경우 상기 사용자 제어 대상에 인접한 키들이 상기 사용자 제어 대상에 의해 터치된 키들과 시각적으로 구별되는 키보드 키를 나타내는 시각적 피드백 디스플레이, (ⅴi) 상기 사용자 제어 대상에 의해 입력된 정보를 묘사하는 시각적 피드백 디스플레이, 및 (vii) 상기 가상 입력 장치가 가상 키보드인 경우 가상 키에 대하여 상기 사용자 제어 대상의 위치를 나타내는 이미지를 묘사하며, 상기 이미지의 크기가 상기 사용자 제어 대상으로부터 상기 가상 키보드까지의 거리를 나타내는 시각적 피드백 디스플레이로 구성되는 그룹으로부터 선택된 적어도 하나의 피드백 타입을 포함하는, 가상 입력 장치와의 상호작용 방법.
  45. 제 38 항에 있어서,
    (c) 단계에서, 상기 정보에 상응하는 것에는, (ⅰ) 수문자(alphanumeric) 문자를 표현하는 신호, (ⅱ) 수문자 문자를 표현하는 스캔 코드, (iii) 명령을 표현하는 신호, (iv) 명령을 표현하는 디지털 코드, (v) 상기 사용자 제어 대상의 이동을 표현하는 포인트들의 적어도 하나의 실시간 궤적을 표현하는 신호, 및 (vi) 상기 사용자 제어 대상의 이동을 표현하는 포인트들의 적어도 하나의 실시간 궤적을 표현하는 디지털 코드로 이루어진 그룹으로부터 선택된 적어도 하나의 정보 타입이 포함되는, 가상 입력 장치와의 상호작용 방법.
  46. 제 37 항에 있어서,
    상기 단계 (b)는, (i) 상기 사용자 제어 대상의 말단부의 3차원 위치, (ii) 적어도 하나의 방향에서의 상기 사용자 제어 대상의 말단부의 속도 정보, (iii) 상기 사용자 제어 대상의 템플릿 모델에 대한 획득된 정보의 매칭, (iv) 히스테리시스 정보 처리, (ⅴ) 사용자에 의해 입력되고 있는 언어 지식, 및 (vi) 시간의 함수로서의 상기 가상 입력 장치의 동적 구성 중 적어도 하나를 사용하여, 상기 가상 입력 장치 상의 위치에 대한 상기 사용자 제어 대상 디지트의 말단부의 공간적 위치를 결정하는 단계를 포함하는, 가상 입력 장치와의 상호작용 방법.
  47. 제 37 항에 있어서,
    상기 가상 입력 장치는 가상 키를 갖는 가상 키보드이며,
    상기 단계 (b)는,
    상기 사용자 제어 대상의 말단부 팁의 3차원 위치를 실제 키보드 상의 실제 키로 맵핑하는 단계; 및
    키가 가상 입력 장치 상에 존재한다면 실제 키중 어떤 것이 상기 사용자 제어 대상에 의해 타이핑되었을까를 식별하는 단계를 포함하는, 가상 입력 장치와의 상호작용 방법.
  48. 제 37 항에 있어서,
    상기 단계 (b)는 상기 정보를 실질적으로 실시간으로 처리하는 단계를 포함하는, 가상 입력 장치와의 상호작용 방법.
  49. 제 37 항에 있어서,
    상기 가상 입력 장치는 가상 키보드를 포함하고, 상기 사용자 제어 대상은 상기 사용자 손의 적어도 일부를 포함하는, 가상 입력 장치와의 상호작용 방법.
  50. 컴패니언 시스템에 정보를 입력하기 위하여 사용자 제어 대상을 이용하여 사용자가 기능과 연관되어 있는 적어도 하나의 위치를 갖는 가상 입력 장치와 상호작용하는 방법으로서,
    (a) 주어진 시간에서의 단일 이미지를 나타내는 데이타를 획득하기 위하여 단일 센서 시스템을 이용하는 단계 - 상기 데이타로부터, 상기 사용자 제어 대상에 의해 접촉된 상기 가상 입력 장치 상의 정의된 위치가 식별가능하도록, 상기 사용자 제어 대상의 적어도 일부의 관련 위치에 대하여 3차원 좌표 정보가 결정될 수 있음 - ;
    (b) 상기 사용자 제어 대상의 일부가 상기 가상 입력 장치 상에 정의된 위치와 접촉하였는지를 결정하고, 접촉하였다면, 상기 가상 입력 장치의 어떤 기능이 상기 위치와 관련되는지를 결정하도록, (a) 단계에서 얻어진 데이타를 처리하는 단계; 및
    (c) 상기 단계 (b)에서 처리된 정보를 상기 컴패니언 시스템에 대한 입력으로서 결합시키는 단계를 포함하는, 가상 입력 장치와의 상호작용 방법.
  51. 제 50 항에 있어서,
    상기 단계 (b)에서의 정보 처리는 상기 사용자 제어 대상의 속도와 독립적으로 수행되는, 가상 입력 장치와의 상호작용 방법.
  52. 제 50 항에 있어서,
    상기 사용자 제어 대상의 적어도 일부의 관련 위치에 대한 상기 3차원 좌표 정보는, 상기 센서 시스템으로부터 상기 사용자 제어 대상의 표면 일부까지의 주행 시간을 이용하여 얻어지는, 가상 입력 장치와의 상호작용 방법.
  53. 제 50 항에 있어서,
    상기 단계 (a)는 2:1보다 큰 애스팩트 비를 가지는 고체 상태 센서를 제공하는 단계를 포함하는, 가상 입력 장치와의 상호작용 방법.
  54. 제 50 항에 있어서,
    상기 사용자 제어 대상은 (i) 상기 사용자의 손, (ii) 철필, 및 (iii) 임의 형상의 대상으로 이루어진 그룹에서 선택되는, 가상 입력 장치와의 상호작용 방법.
  55. 제 50 항에 있어서,
    상기 가상 입력 상치는, (ⅰ) 3차원 공간, (ⅱ) 물리적 평면, (iii) 기판, (iv) 실제 키보드의 사용자 가시가능 이미지를 갖는 기판, (v) 실제 키보드의 사용자 가시가능 이미지가 투사된 기판, (vi) 사용자 가시가능 타이핑 가이드가 투사된 기판, (vii) 실제 키보드의 사용자 가시가능 이미지를 갖고 사용자 디지트에 의해 눌러지는 경우 촉각적 피드백을 제공하는 수동 키 유사 영역을 포함하는 수동 기판, (viii) 미사용시보다 사용시 더 커지는 기판, (ix) 사용시 적어도 6" ×12" 크기가 되나 미사용시 6" ×8" 미만의 크기가 되는 기판, (x) 디스플레이 스크린, (xi) 전자 디스플레이 스크린, (xii) LCD 스크린, (xiii) CRT 스크린, 및 (xiv) 플라즈마 스크린으로 이루어지는 그룹으로부터 선택된 작업 영역 상에 정의되는, 가상 입력 장치와의 상호작용 방법.
  56. 제 50 항에 있어서,
    상기 가상 입력 장치에 대하여 상기 사용자 제어 대상의 피드백 가이드 배치를 상기 사용자에게 제공하는 단계를 더 포함하며,
    상기 피드백은 (ⅰ) 상기 가상 입력 장치가 가상 키보드인 경우 실제 키보드 상의 사용자 타이핑을 에뮬레이팅하는 촉각적 피드백, (ⅱ) 청각적 피드백, (ⅲ) 상기 가상 입력 장치가 가상 키보드인 경우 적어도 하나의 키보드 키의 이미지를 묘사하는 시각적 피드백 디스플레이, (ⅳ) 상기 가상 입력 장치가 가상 키보드인 경우 적어도 하나의 키보드 키와 상기 사용자 제어 대상의 적어도 일부를 포함하는 이미지를 묘사하는 시각적 피드백 디스플레이, (v) 상기 가상 입력 장치가 가상 키보드인 경우 상기 사용자 제어 대상에 인접한 키들이 상기 사용자 제어 대상에 의해 터치된 키들과 시각적으로 구별되는 키보드 키를 나타내는 시각적 피드백 디스플레이, (ⅴi) 상기 사용자 제어 대상에 의해 입력된 정보를 묘사하는 시각적 피드백 디스플레이, 및 (vii) 상기 가상 입력 장치가 가상 키보드인 경우 가상 키에 대하여 상기 사용자 제어 대상의 위치를 나타내는 이미지를 묘사하며, 상기 이미지의 크기가 상기 사용자 제어 대상으로부터 상기 가상 키보드까지의 거리를 나타내는 시각적 피드백 디스플레이로 구성되는 그룹으로부터 선택된 적어도 하나의 피드백 타입을 포함하는, 가상 입력 장치와의 상호작용 방법.
  57. 제 50 항에 있어서,
    상기 (c) 단계에서, 상기 정보는, (ⅰ) 수문자(alphanumeric) 문자를 표현하는 신호, (ⅱ) 수문자 문자를 표현하는 스캔 코드, (iii) 명령을 표현하는 신호, (iv) 명령을 표현하는 디지털 코드, (v) 상기 사용자 제어 대상의 이동을 표현하는 포인트들의 적어도 하나의 실시간 궤적을 표현하는 신호, 및 (vi) 상기 사용자 제어 대상의 이동을 표현하는 포인트들의 적어도 하나의 실시간 궤적을 표현하는 디지털 코드로 이루어진 그룹으로부터 선택된 적어도 하나의 정보 타입을 포함하는, 가상 입력 장치와의 상호작용 방법.
  58. 제 50 항에 있어서,
    상기 단계 (b)는, (i) 상기 사용자 제어 대상의 말단부의 3차원 위치, (ii) 적어도 하나의 방향에서의 상기 사용자 제어 대상의 말단부의 속도 정보, (iii) 상기 사용자 제어 대상의 템플릿 모델에 대한 획득된 정보의 매칭, (iv) 히스테리시스 정보 처리, (ⅴ) 사용자에 의해 입력되고 있는 언어 지식, 및 (vi) 시간의 함수로서의 상기 가상 입력 장치의 동적 구성 중 적어도 하나를 사용하여, 상기 가상 입력 장치 상의 위치에 대한 상기 사용자 제어 대상의 말단부의 공간적 위치를 결정하는 단계를 포함하는, 가상 입력 장치와의 상호작용 방법.
  59. 제 50 항에 있어서,
    상기 가상 입력 장치는 가상 키를 갖는 가상 키보드이며,
    상기 단계 (b)는,
    상기 사용자 제어 대상의 말단부 팁의 3차원 위치를 실제 키보드 상의 실제 키로 맵핑하는 단계; 및
    키가 가상 입력 장치 상에 존재한다면 실제 키중 어떤 것이 상기 사용자 제어 대상에 의해 타이핑되었을까를 식별하는 단계를 포함하는, 가상 입력 장치와의 상호작용 방법.
  60. 제 50 항에 있어서,
    상기 단계 (a)에서, 프레임들중 하나로부터 상기 3차원 좌표 정보가 획득될 수 있도록 상기 데이타가 프레임들에서 얻어지는, 가상 입력 장치와의 상호작용 방법.
  61. 제 50 항에 있어서,
    상기 컴패니언 시스템은, (ⅰ) PDA, (ⅱ) 무선 전화기, (ⅲ) 이동통신 전화기, (iv) 셋톱 박스, (v) 이동식 전자 장치, (vi) 전자 장치, (vii) 컴퓨터, (viii) 입력 데이터를 받아들이기 위한 기기, 및 (ix) 전자 시스템으로 이루어진 그룹으로부터 선택된 적어도 하나의 장치를 포함하는, 가상 입력 장치와의 상호작용 방법.
  62. 제 50 항에 있어서,
    상기 가상 입력 장치의 사용자 가시가능 이미지가 적어도 하나의 회절형 광학 기기를 이용하여 작업 영역 상에 투사되는, 가상 입력 장치와의 상호작용 방법.
  63. 제 50 항에 있어서,
    상기 가상 입력 장치는 컴퓨터 마우스이며, 상기 단계 (b)는 실제 컴퓨터 마우스의 이동 이벤트에 대해 적어도 하나의 사용자 제어 대상의 이동을 나타내는 실시간 괘적 포인트들을 맵핑하는 단계를 포함하는, 가상 입력 장치와의 상호작용 방법.
  64. 제 50 항에 있어서,
    상기 가상 입력 장치는 트랙볼(trackball) 장치이고, 트랙볼에 대해 상기 사용자 제어 대상의 말단부 일부의 연속적인 3차원 좌표 위치 정보를 맵핑하고 실제 트랙볼이 존재한다면 트랙볼이 얼마나 회전할 것인가를 식별하는 단계를 더 포함하는, 가상 입력 장치와의 상호작용 방법.
  65. 제 50 항에 있어서,
    상기 가상 입력 장치는 가상 키보드를 포함하고, 상기 사용자 제어 대상은 상기 사용자 손의 적어도 일부를 포함하는, 가상 입력 장치와의 상호작용 방법.
  66. 사용자가 사용자 제어 대상을 이용하여 가상 입력 장치와 상호작용할 수 있게 하는 시스템으로서,
    주어진 시간에서의 단일 이미지를 나타내는 프레임의 데이타를 획득하는 단일 센서 시스템 - 상기 데이타로부터, 상기 사용자 제어 대상에 의해 접촉된 상기 가상 입력 장치 상의 정의된 위치가 식별가능하도록, 상기 사용자 제어 대상의 적어도 일부의 관련 위치의 3차원 좌표 정보가, (a) 단일 데이타 프레임 또는 (b) 상기 가상 입력 장치에 대하여 실질적으로 동일한 시간에 획득된 다중 데이타 프레임 중 하나로부터 유도될 수 있음 - ; 및
    단일 센서 시스템 획득 데이타를 처리하고, 상기 사용자 제어 대상의 일부가 상기 가상 입력 장치 상에 정의된 위치와 접촉하였는지를 결정하고, 접촉하였다면, 상기 가상 입력 장치의 어떤 기능이 상기 위치와 관련되는지를 결정하는, 상기 단일 센서 시스템에 결합된 프로세서를 포함하는 시스템.
  67. 제 66 항에 있어서,
    상기 사용자 제어 대상의 상기 가상 입력 장치와의 접촉으로부터 상기 프로세서에 의해 결정된 기능 정보를 컴패니언 장치에 출력하기 위한 수단을 더 포함하는 시스템.
  68. 제 67 항에 있어서,
    상기 컴패니언 장치는, (ⅰ) PDA, (ⅱ) 무선 전화기, (ⅲ) 이동통신 전화기, (iv) 셋톱 박스, (v) 이동식 전자 장치, (vi) 전자 장치, (vii) 컴퓨터, (viii) 입력 데이터를 받아들이기 위한 기기, 및 (ix) 전자 시스템으로 이루어진 그룹으로부터 선택된 적어도 하나의 장치를 포함하는 시스템.
  69. 제 66 항에 있어서,
    상기 시스템은 (i) 2:1 이상의 유효 애스팩트 비와 (ii) 상기 정보가 상기 단일 센서로부터 상기 사용자 제어 대상까지의 주행 시간을 이용하여 획득되는 점으로 이루어진 그룹으로부터 선택된 적어도 하나의 특징을 갖는 시스템.
  70. 제 66 항에 있어서,
    상기 사용자 제어 대상은 (i) 상기 사용자의 손, (ii) 철필, 및 (iii) 임의 형상의 대상으로 이루어진 그룹에서 선택되는 시스템.
  71. 제 66 항에 있어서,
    상기 가상 입력 상치는, (ⅰ) 3차원 공간, (ⅱ) 물리적 평면, (iii) 기판, (iv) 실제 키보드의 사용자 가시가능 이미지를 갖는 기판, (v) 실제 키보드의 사용자 가시가능 이미지가 투사된 기판, (vi) 사용자 가시가능 타이핑 가이드가 투사된 기판, (vii) 실제 키보드의 사용자 가시가능 이미지를 갖고 사용자 디지트에 의해 눌러지는 경우 촉각적 피드백을 제공하는 수동 키 유사 영역을 포함하는 수동 기판, (viii) 미사용시보다 사용시 더 커지는 기판, (ix) 사용시 적어도 6" ×12" 크기가 되나 미사용시 6" ×8" 미만의 크기가 되는 기판, (x) 디스플레이 스크린, (xi) 전자 디스플레이 스크린, (xii) LCD 스크린, (xiii) CRT 스크린, 및 (xiv) 플라즈마 스크린으로 이루어지는 그룹으로부터 선택되는 작업 영역 상에 정의되는 시스템.
  72. 제 66 항에 있어서,
    상기 프로세서가 실질적으로 실시간으로 결정하는 시스템.
  73. 제 66 항에 있어서,
    상기 사용자 제어 대상의 피드백 가이드 배치를 상기 사용자에게 제공하기 위한 수단을 더 포함하며,
    상기 피드백은 (ⅰ) 상기 가상 입력 장치가 가상 키보드인 경우 실제 키보드 상의 사용자 타이핑을 에뮬레이팅하는 촉각적 피드백, (ⅱ) 청각적 피드백, (ⅲ) 상기 가상 입력 장치가 가상 키보드인 경우 적어도 하나의 키보드 키의 이미지를 묘사하는 시각적 피드백 디스플레이, (ⅳ) 상기 가상 입력 장치가 가상 키보드인 경우 적어도 하나의 키보드 키와 상기 사용자 제어 대상의 적어도 일부를 포함하는 이미지를 묘사하는 시각적 피드백 디스플레이, (v) 상기 가상 입력 장치가 가상 키보드인 경우 상기 사용자 제어 대상에 인접한 키들이 상기 사용자 제어 대상에 의해 터치된 키들과 시각적으로 구별되는 키보드 키를 나타내는 시각적 피드백 디스플레이, (ⅴi) 상기 사용자 제어 대상에 의해 입력된 정보를 묘사하는 시각적 피드백 디스플레이, 및 (vii) 상기 가상 입력 장치가 가상 키보드인 경우 가상 키에 대하여 상기 사용자 제어 대상의 위치를 나타내는 이미지를 묘사하며, 상기 이미지의 크기가 상기 사용자 제어 대상으로부터 상기 가상 키보드까지의 거리를 나타내는 시각적 피드백 디스플레이로 구성되는 그룹으로부터 선택된 적어도 하나의 피드백 타입을 포함하는 시스템.
  74. 제 66 항에 있어서,
    상기 가상 입력 장치의 기능 정보는, (ⅰ) 수문자(alphanumeric) 문자를 표현하는 신호, (ⅱ) 수문자 문자를 표현하는 스캔 코드, (iii) 명령을 표현하는 신호, (iv) 명령을 표현하는 디지털 코드, (v) 상기 사용자 제어 대상의 이동을 표현하는 포인트들의 적어도 하나의 실시간 궤적을 표현하는 신호, 및 (vi) 상기 사용자 제어 대상의 이동을 표현하는 포인트들의 적어도 하나의 실시간 궤적을 표현하는 디지털 코드로 이루어진 그룹으로부터 선택된 적어도 하나의 정보 타입을 포함하는 위치와 관련되는 시스템.
  75. 제 66 항에 있어서,
    상기 프로세서는, (i) 상기 사용자 제어 대상의 말단부의 3차원 위치, (ii) 적어도 하나의 방향에서의 상기 사용자 제어 대상의 말단부의 속도 정보, (iii) 상기 사용자 제어 대상의 템플릿 모델에 대한 획득된 정보의 매칭, (iv) 히스테리시스 정보 처리, (ⅴ) 사용자에 의해 입력되고 있는 언어 지식, 및 (vi) 시간의 함수로서의 상기 가상 입력 장치의 동적 구성 중 적어도 하나를 사용하여, 상기 가상 입력 장치 상의 위치에 대한 상기 사용자 제어 대상 디지트의 말단부의 공간적 위치를 결정하는 시스템.
  76. 제 66 항에 있어서,
    상기 가상 입력 장치는 가상 키를 갖는 가상 키보드이며,
    상기 사용자 제어 대상의 말단부 팁의 3차원 위치를 실제 키보드 상의 실제 키로 맵핑하고, 키가 가상 입력 장치 상에 존재한다면 실제 키중 어떤 것이 상기 사용자 제어 대상에 의해 타이핑되었을까를 식별하기 위한 수단을 더 포함하는 시스템.
  77. 제 66 항에 있어서,
    작업 영역 상에 상기 가상 입력 장치의 사용자 가시가능 이미지를 투사하는 서브 시스템을 더 포함하며, 상기 서브 시스템은 적어도 하나의 회절형 광학 기기를 포함하는 시스템.
  78. 제 66 항에 있어서,
    상기 가상 입력 장치는 가상 키보드를 포함하고, 상기 사용자 제어 대상은 상기 사용자 손의 적어도 일부를 포함하는 시스템.
  79. 사용자가 사용자 제어 대상을 이용하여 가상 입력 장치와 상호작용할 수 있게 하는 시스템으로서,
    주어진 시간에서의 단일 이미지를 나타내는 데이타를 획득하는 단일 센서 시스템 - 상기 데이타로부터, 상기 사용자 제어 대상에 의해 접촉된 상기 가상 입력 장치 상의 정의된 위치가 식별가능하도록, 상기 사용자 제어 대상의 적어도 일부의 관련 위치의 3차원 좌표 정보가 식별될 수 있음 - ; 및
    단일 센서 시스템 획득 데이타를 처리하고, 상기 가상 입력 장치에 대한 상기 사용자 제어 대상의 속도를 계산할 필요없이 상기 사용자 제어 대상의 일부가 상기 가상 입력 장치 상에 정의된 위치와 접촉하였는지를 결정하고, 접촉하였다면, 상기 가상 입력 장치의 어떤 기능이 상기 위치와 관련되는지를 결정하는, 상기 단일 센서 시스템에 결합된 프로세서를 포함하는 시스템.
  80. 제 79 항에 있어서,
    상기 프로세서에 의해 결정된 기능 정보를 컴패니언 장치에 출력하기 위한 수단을 더 포함하는 시스템.
  81. 제 80 항에 있어서,
    상기 컴패니언 장치는, (ⅰ) PDA, (ⅱ) 무선 전화기, (ⅲ) 이동통신 전화기, (iv) 셋톱 박스, (v) 이동식 전자 장치, (vi) 전자 장치, (vii) 컴퓨터, (viii) 입력 데이터를 받아들이기 위한 기기, 및 (ix) 전자 시스템으로 이루어진 그룹으로부터 선택된 적어도 하나의 장치를 포함하는 시스템.
  82. 제 79 항에 있어서,
    상기 시스템은 (i) 2:1 이상의 유효 애스팩트 비와 (ii) 상기 정보가 상기 단일 센서로부터 상기 사용자 제어 대상까지의 주행 시간을 이용하여 획득되는 점으로 이루어진 그룹으로부터 선택된 적어도 하나의 특징을 갖는 시스템.
  83. 제 79 항에 있어서,
    상기 사용자 제어 대상은 (i) 상기 사용자의 손, (ii) 철필, 및 (iii) 임의 형상의 대상으로 이루어진 그룹에서 선택되는 시스템.
  84. 제 79 항에 있어서,
    상기 가상 입력 상치는, (ⅰ) 3차원 공간, (ⅱ) 물리적 평면, (iii) 기판, (iv) 실제 키보드의 사용자 가시가능 이미지를 갖는 기판, (v) 실제 키보드의 사용자 가시가능 이미지가 투사된 기판, (vi) 사용자 가시가능 타이핑 가이드가 투사된 기판, (vii) 실제 키보드의 사용자 가시가능 이미지를 갖고 사용자 디지트에 의해 눌러지는 경우 촉각적 피드백을 제공하는 수동 키 유사 영역을 포함하는 수동 기판, (viii) 미사용시보다 사용시 더 커지는 기판, (ix) 사용시 적어도 6" ×12" 크기가 되나 미사용시 6" ×8" 미만의 크기가 되는 기판, (x) 디스플레이 스크린, (xi) 전자 디스플레이 스크린, (xii) LCD 스크린, (xiii) CRT 스크린, 및 (xiv) 플라즈마 스크린으로 이루어지는 그룹으로부터 선택되는 작업 영역 상에 정의되는 시스템.
  85. 제 79 항에 있어서,
    상기 프로세서가 실질적으로 실시간으로 결정하는 시스템.
  86. 제 79 항에 있어서,
    상기 사용자 제어 대상의 피드백 가이드 배치를 상기 사용자에게 제공하기 위한 수단을 더 포함하며,
    상기 피드백은 (ⅰ) 상기 가상 입력 장치가 가상 키보드인 경우 실제 키보드 상의 사용자 타이핑을 에뮬레이팅하는 촉각적 피드백, (ⅱ) 청각적 피드백, (ⅲ) 상기 가상 입력 장치가 가상 키보드인 경우 적어도 하나의 키보드 키의 이미지를 묘사하는 시각적 피드백 디스플레이, (ⅳ) 상기 가상 입력 장치가 가상 키보드인 경우 적어도 하나의 키보드 키와 상기 사용자 제어 대상의 적어도 일부를 포함하는 이미지를 묘사하는 시각적 피드백 디스플레이, (v) 상기 가상 입력 장치가 가상 키보드인 경우 상기 사용자 제어 대상에 인접한 키들이 상기 사용자 제어 대상에 의해 터치된 키들과 시각적으로 구별되는 키보드 키를 나타내는 시각적 피드백 디스플레이, 및 (ⅴi) 상기 사용자 제어 대상에 의해 입력된 정보를 묘사하는 시각적 피드백 디스플레이로 구성되는 그룹으로부터 선택된 적어도 하나의 피드백 타입을 포함하는 시스템.
  87. 제 79 항에 있어서,
    상기 가상 입력 장치의 기능 정보는, (ⅰ) 수문자(alphanumeric) 문자를 표현하는 신호, (ⅱ) 수문자 문자를 표현하는 스캔 코드, (iii) 명령을 표현하는 신호, (iv) 명령을 표현하는 디지털 코드, (v) 상기 사용자 제어 대상의 이동을 표현하는 포인트들의 적어도 하나의 실시간 궤적을 표현하는 신호, 및 (vi) 상기 사용자 제어 대상의 이동을 표현하는 포인트들의 적어도 하나의 실시간 궤적을 표현하는 디지털 코드로 이루어진 그룹으로부터 선택된 적어도 하나의 정보 타입을 포함하는 위치와 관련되는 시스템.
  88. 제 79 항에 있어서,
    상기 프로세서는, (i) 상기 사용자 제어 대상의 말단부의 3차원 위치, (ii) 적어도 하나의 방향에서의 상기 사용자 제어 대상의 말단부의 속도 정보, (iii) 상기 사용자 제어 대상의 템플릿 모델에 대한 획득된 정보의 매칭, (iv) 히스테리시스 정보 처리, (ⅴ) 사용자에 의해 입력되고 있는 언어 지식, 및 (vi) 시간의 함수로서의 상기 가상 입력 장치의 동적 구성 중 적어도 하나를 사용하여, 상기 가상 입력 장치 상의 위치에 대한 상기 사용자 제어 대상 디지트의 말단부의 공간적 위치를 결정하는 시스템.
  89. 제 79 항에 있어서,
    상기 가상 입력 장치는 가상 키를 갖는 가상 키보드이며,
    상기 사용자 제어 대상의 말단부 팁의 3차원 위치를 실제 키보드 상의 실제 키로 맵핑하고, 키가 가상 입력 장치 상에 존재한다면 실제 키중 어떤 것이 상기 사용자 제어 대상에 의해 타이핑되었을까를 식별하기 위한 수단을 더 포함하는 시스템.
  90. 제 79 항에 있어서,
    작업 영역 상에 상기 가상 입력 장치의 사용자 가시가능 이미지를 투사하는 서브 시스템을 더 포함하며, 상기 서브 시스템은 적어도 하나의 회절형 광학 기기를 포함하는 시스템.
  91. 제 79 항에 있어서,
    상기 가상 입력 장치는 가상 키보드를 포함하고, 상기 사용자 제어 대상은 상기 사용자 손의 적어도 일부를 포함하는 시스템.
  92. 사용자 제어 대상과 가상 입력 장치간의 상호작용(interaction)을 결정하는 방법으로서,
    (a) 상기 가상 입력 장치 상의 다수의 식별가능한 위치들을 정의하는 단계;
    (b) 상기 사용자 제어 대상의 적어도 일부와 상기 가상 입력 장치 상에 정의된 상기 식별가능한 위치들의 적어도 하나 사이의 접촉을 감지하기 위해 주어진 시간에서의 단일 이미지를 나타내는 데이타를 획득하는 단일 센서 시스템으로 3차원 위치 좌표 정보를 센싱하는 단계; 및
    (c) 상기 감지된 사용자 제어 대상 콘택의 상기 단계 (b)에서 센싱된 적어도 하나의 위치에 할당된, 가상 입력 장치 관련 입력 기능을 결정하는 단계를 포함하는 상호작용 결정 방법.
  93. 제 92 항에 있어서,
    상기 가상 입력 장치는 가상 키보드를 포함하고, 상기 사용자 제어 대상은 상기 사용자 손의 적어도 일부를 포함하는 상호작용 결정 방법.
  94. 사용자 제어 대상과 가상 입력 장치간의 상호작용(interaction)을 결정하는 방법으로서,
    (a) 상기 가상 입력 장치 상의 다수의 식별가능한 위치들을 정의하는 단계;
    (b) 상기 사용자 제어 대상의 적어도 일부와 상기 가상 입력 장치 상에 정의된 상기 다수의 식별가능한 위치들의 적어도 하나 사이의 접촉을 감지하기 위해 주어진 시간에서의 단일 이미지를 획득하는 단일 센서 시스템으로 3차원 좌표 정보를 센싱하는 단계; 및
    (c) 상기 단계 (b)에서 센싱된 적어도 하나의 식별가능한 위치에 할당된 입력 기능을 결정하는 단계를 포함하는 상호작용 결정 방법.
  95. 제 94 항에 있어서,
    상기 단계 (b)는 상기 사용자 제어 대상이 일련의 상기 식별가능 위치를 통과하여 이동할 때 위치 좌표 정보를 센싱하는 단계를 포함하는 상호작용 결정 방법.
  96. 제 94 항에 있어서,
    상기 단계 (b)는 상기 사용자 제어 대상이 일련의 상기 식별가능 위치를 통과하여 이동할 때 위치 좌표 정보를 센싱하는 단계를 포함하고, 상기 단계 (c)는 상기 일련의 식별가능 위치들 중 최종 식별가능 위치에 할당된 입력 기능을 결정하는 단계를 포함하는 상호작용 결정 방법.
  97. 제 96 항에 있어서,
    상기 단계 (b)는 상기 사용자 제어 대상이 공통 평면 상에 정의된 일련의 상기 식별가능 위치를 통과하여 이동할 때 위치 좌표 정보를 센싱하는 단계를 포함하는 상호작용 결정 방법.
  98. 제 96 항에 있어서,
    상기 단계 (b)는 상기 다수의 식별 가능 위치들의 적어도 하나를 통과하고 평면을 따르는 상기 사용자 제어 대상의 이동을 감지하기 위해 위치 좌표 정보를 센싱하는 단계를 포함하는 상호작용 결정 방법.
  99. 제 94 항에 있어서,
    상기 단계 (b)는 상기 사용자 제어 대상이 일련의 상기 식별가능 위치를 통과하여 이동할 때 위치 좌표 정보를 센싱하는 단계를 포함하고, 상기 단계 (c)는 상기 일련의 식별가능 위치들 중 최초 식별가능 위치와 최종 식별가능 위치에 할당된 입력 기능을 결정하는 단계를 포함하는 상호작용 결정 방법.
  100. 제 94 항에 있어서,
    상기 가상 입력 장치는 가상 키보드를 포함하고, 상기 사용자 제어 대상은 상기 사용자 손의 적어도 일부를 포함하는 상호작용 결정 방법.
  101. 컴패니언 시스템에 정보를 입력하기 위하여 사용자가 사용자 제어 대상을 이용하여 가상 키보드와 상호작용할 수 있게 하는 시스템으로서,
    상기 가상 키보드는 적어도 두개의 가상 키 위치들을 정의하고, 상기 가상 키 위치들 각각은 관련 기능을 가지며, 상기 시스템은,
    상기 가상 키보드의 사용자 가시가능 이미지를 투사하기 위한 회절형 투사 서브 시스템 - 상기 서브 시스템은 적어도 하나의 회절형 광학 기기를 포함함 - ;
    주어진 시간에서의 단일 이미지를 나타내는 데이타를 획득하는 단일 센서 시스템 - 상기 데이타로부터, 상기 사용자 제어 대상에 의해 접촉된 상기 가상 키 위치 식별이 식별가능하도록, 상기 가상 키보드에 대하여 상기 사용자 제어 대상의 적어도 일부의 관련 위치에 대하여 3차원 좌표 정보가 결정될 수 있음 - ;
    상기 사용자 제어 대상의 일부가 상기 가상 키보드 상에 정의된 위치와 접촉하였는지를 결정하고, 접촉하였다면, 상기 가상 키보드의 어떤 기능이 상기 위치와 관련되는지를 결정하는, 상기 단일 센서 시스템으로부터 획득된 정보를 처리하기 위한 수단; 및
    이렇게 처리된 정보를 상기 컴패니언 시스템에 결합시키기 위한 수단을 포함하는 시스템.
  102. 제 101 항에 있어서,
    상기 사용자 제어 대상은 상기 사용자 손의 적어도 일부를 포함하는 시스템.
  103. 컴패니언 시스템에 정보를 입력하기 위하여 사용자가 사용자 제어 대상을 이용하여 가상 마우스와 상호작용할 수 있게 하는 시스템으로서,
    상기 가상 마우스의 사용자 가시가능 이미지를 투사하기 위한 회절형 투사 서브 시스템 - 상기 서브 시스템은 적어도 하나의 회절형 광학 기기를 포함함 - ;
    주어진 시간에서의 단일 이미지를 나타내는 데이타를 획득하는 단일 센서 시스템 - 상기 데이타로부터, 실제 마우스의 이동 에벤트에 대하여 상기 사용자 제어 대상의 이동을 나타내는 실시간 괘적 포인트들을 맵핑하도록, 상기 사용자 제어 대상의 적어도 일부의 관련 위치에 대하여 3차원 좌표 정보가 결정될 수 있음 - ;
    상기 사용자 제어 대상의 일부가 상기 가상 마우스와 접촉하였는지를 결정하고, 접촉하였다면, 실제 마우스의 관련 기능과 상대적 이동을 결정하는, 상기 단일 센서 시스템으로부터 획득된 정보를 처리하기 위한 수단; 및
    이렇게 처리된 정보를 상기 컴패니언 시스템에 결합시키기 위한 수단을 포함하는 시스템.
KR1020027010394A 2000-02-11 2001-02-12 가상 입력 장치를 사용하여 데이터를 입력하는 방법 및 장치 KR100811015B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US09/502,499 2000-02-11
US09/502,499 US6614422B1 (en) 1999-11-04 2000-02-11 Method and apparatus for entering data using a virtual input device

Publications (2)

Publication Number Publication Date
KR20020079847A KR20020079847A (ko) 2002-10-19
KR100811015B1 true KR100811015B1 (ko) 2008-03-11

Family

ID=23998118

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020027010394A KR100811015B1 (ko) 2000-02-11 2001-02-12 가상 입력 장치를 사용하여 데이터를 입력하는 방법 및 장치

Country Status (10)

Country Link
US (2) US6614422B1 (ko)
EP (1) EP1332488B1 (ko)
JP (1) JP2004500657A (ko)
KR (1) KR100811015B1 (ko)
CN (1) CN1232943C (ko)
AT (1) ATE481674T1 (ko)
AU (1) AU2001261818A1 (ko)
DE (1) DE60143094D1 (ko)
HK (1) HK1058425A1 (ko)
WO (1) WO2001059975A2 (ko)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100969681B1 (ko) * 2008-05-02 2010-07-14 주식회사 그린벨임베디드시스템 키보드 인식방법
KR101081476B1 (ko) 2009-10-14 2011-11-08 건국대학교 산학협력단 햅틱 ｕ테이블
WO2011106201A3 (en) * 2010-02-23 2011-12-22 Microsoft Corporation Projectors and depth cameras for deviceless augmented reality and interaction
WO2012070750A1 (ko) * 2010-11-25 2012-05-31 Choi Jin Won 단축키 지원 키보드
US9329469B2 (en) 2011-02-17 2016-05-03 Microsoft Technology Licensing, Llc Providing an interactive experience using a 3D depth camera and a 3D projector
US9480907B2 (en) 2011-03-02 2016-11-01 Microsoft Technology Licensing, Llc Immersive display with peripheral illusions
US9597587B2 (en) 2011-06-08 2017-03-21 Microsoft Technology Licensing, Llc Locational node device
JP2017072795A (ja) * 2015-10-09 2017-04-13 セイコーエプソン株式会社 プロジェクター、及び、プロジェクターの制御方法。
KR101873842B1 (ko) * 2015-03-11 2018-07-04 한양대학교 산학협력단 깊이 센서를 이용하는 가상 입력 장치 및 이를 이용하는 방법
US10346529B2 (en) 2008-09-30 2019-07-09 Microsoft Technology Licensing, Llc Using physical objects in conjunction with an interactive surface

Families Citing this family (596)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7831358B2 (en) * 1992-05-05 2010-11-09 Automotive Technologies International, Inc. Arrangement and method for obtaining information using phase difference of modulated illumination
US7808479B1 (en) 2003-09-02 2010-10-05 Apple Inc. Ambidextrous mouse
US7268774B2 (en) * 1998-08-18 2007-09-11 Candledragon, Inc. Tracking motion of a writing instrument
US20100008551A9 (en) * 1998-08-18 2010-01-14 Ilya Schiller Using handwritten information
US7233321B1 (en) 1998-12-15 2007-06-19 Intel Corporation Pointing device with integrated audio input
US6614422B1 (en) * 1999-11-04 2003-09-02 Canesta, Inc. Method and apparatus for entering data using a virtual input device
US7456820B1 (en) * 1999-05-25 2008-11-25 Silverbrook Research Pty Ltd Hand drawing capture via interface surface
US20030132950A1 (en) * 2001-11-27 2003-07-17 Fahri Surucu Detecting, classifying, and interpreting input events based on stimuli in multiple sensory domains
US20080122799A1 (en) * 2001-02-22 2008-05-29 Pryor Timothy R Human interfaces for vehicles, homes, and other applications
US6611252B1 (en) * 2000-05-17 2003-08-26 Dufaux Douglas P. Virtual data input device
EP1316055A4 (en) * 2000-05-29 2006-10-04 Vkb Inc DEVICE FOR ENTERING VIRTUAL DATA AND METHOD FOR ENTERING ALPHANUMERIC AND OTHER DATA
NO20003006L (no) * 2000-06-09 2001-12-10 Idex Asa Mus
US6803906B1 (en) 2000-07-05 2004-10-12 Smart Technologies, Inc. Passive touch system and method of detecting user input
US7058204B2 (en) * 2000-10-03 2006-06-06 Gesturetek, Inc. Multiple camera control system
US6906793B2 (en) * 2000-12-11 2005-06-14 Canesta, Inc. Methods and devices for charge management for three-dimensional sensing
US20020061217A1 (en) * 2000-11-17 2002-05-23 Robert Hillman Electronic input device
AU2002243265A1 (en) * 2000-11-19 2002-06-24 Canesta, Inc. Method for enhancing performance in a system utilizing an array of sensors that sense at least two-dimensions
FI113094B (fi) * 2000-12-15 2004-02-27 Nokia Corp Parannettu menetelmä ja järjestely toiminnon aikaansaamiseksi elektronisessa laitteessa ja elektroninen laite
CA2433791A1 (en) * 2001-01-08 2002-07-11 Vkb Inc. A data input device
US6943774B2 (en) * 2001-04-02 2005-09-13 Matsushita Electric Industrial Co., Ltd. Portable communication terminal, information display device, control input device and control input method
US6968073B1 (en) 2001-04-24 2005-11-22 Automotive Systems Laboratory, Inc. Occupant detection system
US8035612B2 (en) * 2002-05-28 2011-10-11 Intellectual Ventures Holding 67 Llc Self-contained interactive video display system
US7259747B2 (en) * 2001-06-05 2007-08-21 Reactrix Systems, Inc. Interactive video display system
US8300042B2 (en) * 2001-06-05 2012-10-30 Microsoft Corporation Interactive video display system using strobed light
US6904570B2 (en) * 2001-06-07 2005-06-07 Synaptics, Inc. Method and apparatus for controlling a display of data on a display screen
US6727891B2 (en) * 2001-07-03 2004-04-27 Netmor, Ltd. Input device for personal digital assistants
US8339379B2 (en) * 2004-04-29 2012-12-25 Neonode Inc. Light-based touch screen
JP2003152851A (ja) * 2001-11-14 2003-05-23 Nec Corp 携帯端末装置
US7257255B2 (en) * 2001-11-21 2007-08-14 Candledragon, Inc. Capturing hand motion
JP2003233805A (ja) * 2001-12-04 2003-08-22 Canon Inc 画像入力装置
AU2002362085A1 (en) * 2001-12-07 2003-07-09 Canesta Inc. User interface for electronic devices
KR20030050741A (ko) * 2001-12-19 2003-06-25 삼성전자주식회사 화면 크기와 입력키의 수가 제한되는 휴대용 기기에서의빠르고 간편한 캐릭터 입력 방법 및 이를 이용하는 휴대용기기
US7071924B2 (en) * 2002-01-10 2006-07-04 International Business Machines Corporation User input method and apparatus for handheld computers
US6977643B2 (en) * 2002-01-10 2005-12-20 International Business Machines Corporation System and method implementing non-physical pointers for computer devices
AU2003217587A1 (en) * 2002-02-15 2003-09-09 Canesta, Inc. Gesture recognition system using depth perceptive sensors
US10242255B2 (en) 2002-02-15 2019-03-26 Microsoft Technology Licensing, Llc Gesture recognition system using depth perceptive sensors
GB2386346B (en) 2002-03-12 2005-06-15 Eleksen Ltd Flexible foldable keyboard
US20030197685A1 (en) * 2002-04-23 2003-10-23 Leland Yi Wireless keyboard with a built-in web camera
US7170492B2 (en) * 2002-05-28 2007-01-30 Reactrix Systems, Inc. Interactive video display system
US7710391B2 (en) * 2002-05-28 2010-05-04 Matthew Bell Processing an image utilizing a spatially varying pattern
US7348963B2 (en) * 2002-05-28 2008-03-25 Reactrix Systems, Inc. Interactive video display system
US20050122308A1 (en) * 2002-05-28 2005-06-09 Matthew Bell Self-contained interactive video display system
JP2004005272A (ja) * 2002-05-31 2004-01-08 Cad Center:Kk 仮想空間移動制御装置及び制御方法並びに制御プログラム
US20030226968A1 (en) * 2002-06-10 2003-12-11 Steve Montellese Apparatus and method for inputting data
EP1540641A2 (en) * 2002-06-26 2005-06-15 VKB Inc. Multifunctional integrated image sensor and application to virtual interface technology
US7656393B2 (en) 2005-03-04 2010-02-02 Apple Inc. Electronic device having display and surrounding touch sensitive bezel for user interface and control
US11275405B2 (en) 2005-03-04 2022-03-15 Apple Inc. Multi-functional hand-held device
JP3630153B2 (ja) * 2002-07-19 2005-03-16 ソニー株式会社 情報表示入力装置及び情報表示入力方法、並びに情報処理装置
US7102615B2 (en) * 2002-07-27 2006-09-05 Sony Computer Entertainment Inc. Man-machine interface using a deformable device
US6922187B2 (en) * 2002-07-23 2005-07-26 International Business Machines Corporation Method and apparatus for implementing a compact portable computer system
US7151530B2 (en) 2002-08-20 2006-12-19 Canesta, Inc. System and method for determining an input selected by a user through a virtual interface
US20040041716A1 (en) * 2002-08-29 2004-03-04 Compx International Inc. Virtual keyboard and keyboard support arm assembly
US20040041828A1 (en) * 2002-08-30 2004-03-04 Zellhoefer Jon William Adaptive non-contact computer user-interface system and method
US7526120B2 (en) * 2002-09-11 2009-04-28 Canesta, Inc. System and method for providing intelligent airbag deployment
US20040066500A1 (en) * 2002-10-02 2004-04-08 Gokturk Salih Burak Occupancy detection and measurement system and method
US20040075735A1 (en) * 2002-10-17 2004-04-22 Koninklijke Philips Electronics N.V. Method and system for producing a pseudo three-dimensional display utilizing a two-dimensional display device
US6999008B2 (en) * 2002-10-21 2006-02-14 Actisys, Corporation Universal mobile keyboard
US7133563B2 (en) * 2002-10-31 2006-11-07 Microsoft Corporation Passive embedded interaction code
US7133031B2 (en) * 2002-10-31 2006-11-07 Microsoft Corporation Optical system design for a universal computing device
US7009594B2 (en) * 2002-10-31 2006-03-07 Microsoft Corporation Universal computing device
US8896575B2 (en) * 2002-11-04 2014-11-25 Neonode Inc. Pressure-sensitive touch screen
AU2003291304A1 (en) * 2002-11-06 2004-06-03 Julius Lin Virtual workstation
US7774075B2 (en) * 2002-11-06 2010-08-10 Lin Julius J Y Audio-visual three-dimensional input/output
US6954197B2 (en) * 2002-11-15 2005-10-11 Smart Technologies Inc. Size/scale and orientation determination of a pointer in a camera-based touch system
US20040113956A1 (en) * 2002-12-12 2004-06-17 International Business Machines Corporation Apparatus and method for providing feedback regarding finger placement relative to an input device
US7576727B2 (en) * 2002-12-13 2009-08-18 Matthew Bell Interactive directed light/sound system
AU2003301043A1 (en) 2002-12-13 2004-07-09 Reactrix Systems Interactive directed light/sound system
US20040119690A1 (en) * 2002-12-24 2004-06-24 Watters Scott W. System and method to interact remotely with an application displayed on a display device
US7102617B2 (en) * 2002-12-30 2006-09-05 Motorola, Inc. Compact optical pointing apparatus and method
TW594549B (en) * 2002-12-31 2004-06-21 Ind Tech Res Inst Device and method for generating virtual keyboard/display
US7194699B2 (en) * 2003-01-14 2007-03-20 Microsoft Corporation Animating images to reflect user selection
DE50308437D1 (de) * 2003-02-03 2007-11-29 Siemens Ag Projektion von synthetischer information
US8508508B2 (en) 2003-02-14 2013-08-13 Next Holdings Limited Touch screen signal processing with single-point calibration
US8456447B2 (en) 2003-02-14 2013-06-04 Next Holdings Limited Touch screen signal processing
US7629967B2 (en) 2003-02-14 2009-12-08 Next Holdings Limited Touch screen signal processing
US7532206B2 (en) 2003-03-11 2009-05-12 Smart Technologies Ulc System and method for differentiating between pointers used to contact touch surface
US7886236B2 (en) * 2003-03-28 2011-02-08 Microsoft Corporation Dynamic feedback for gestures
JP2006523074A (ja) * 2003-04-11 2006-10-05 カネスタ インコーポレイテッド センサのダイナミックレンジを差分拡大する方法及びシステム
US7176438B2 (en) * 2003-04-11 2007-02-13 Canesta, Inc. Method and system to differentially enhance sensor dynamic range using enhanced common mode reset
US7382360B2 (en) * 2003-04-15 2008-06-03 Synaptics Incorporated Methods and systems for changing the appearance of a position sensor with a light effect
KR100682885B1 (ko) * 2003-04-23 2007-02-15 삼성전자주식회사 공간형 정보 입력 장치 및 방법, 이를 위한 소프트 키매핑 방법 및 그에 따른 가상 키보드
CA2530987C (en) * 2003-07-03 2012-04-17 Holotouch, Inc. Holographic human-machine interfaces
US7581182B1 (en) * 2003-07-18 2009-08-25 Nvidia Corporation Apparatus, method, and 3D graphical user interface for media centers
US7173605B2 (en) * 2003-07-18 2007-02-06 International Business Machines Corporation Method and apparatus for providing projected user interface for computing device
US8217896B2 (en) * 2003-07-31 2012-07-10 Kye Systems Corporation Computer input device for automatically scrolling
US8487915B1 (en) 2003-09-11 2013-07-16 Luidia Inc. Mobile device incorporating projector and pen-location transcription system
US7382356B2 (en) * 2003-09-15 2008-06-03 Sharper Image Corp. Input unit for games and musical keyboards
US7411575B2 (en) 2003-09-16 2008-08-12 Smart Technologies Ulc Gesture recognition method and touch system incorporating the same
ES2385914T3 (es) * 2003-09-18 2012-08-03 Vodafone Group Plc Terminal de comunicación de información
US7439074B2 (en) * 2003-09-30 2008-10-21 Hoa Duc Nguyen Method of analysis of alcohol by mass spectrometry
DE602004016185D1 (de) * 2003-10-03 2008-10-09 Automotive Systems Lab Insassenerfassungssystem
US7274356B2 (en) 2003-10-09 2007-09-25 Smart Technologies Inc. Apparatus for determining the location of a pointer within a region of interest
WO2005041579A2 (en) 2003-10-24 2005-05-06 Reactrix Systems, Inc. Method and system for processing captured image information in an interactive video display system
JP4794453B2 (ja) * 2003-10-24 2011-10-19 インテレクチュアル ベンチャーズ ホールディング ６７ エルエルシー インタラクティブ・ビデオ・ディスプレイ・システムを管理する方法及びシステム
CA2541854A1 (en) * 2003-10-31 2005-05-12 Vkb Inc. Optical apparatus for virtual interface projection and sensing
US20050148432A1 (en) * 2003-11-03 2005-07-07 Carmein David E.E. Combined omni-directional treadmill and electronic perception technology
US20050096985A1 (en) * 2003-11-04 2005-05-05 Werden Todd C. Business system and method for a virtual point of sale system in a retail store
JP4611667B2 (ja) 2003-11-25 2011-01-12 健爾 西 情報入力器、収納装置、情報入力装置、及び情報処理装置
TWI227462B (en) * 2003-12-16 2005-02-01 Ind Tech Res Inst Projector device with virtual input element image
US20050141752A1 (en) * 2003-12-31 2005-06-30 France Telecom, S.A. Dynamically modifiable keyboard-style interface
WO2005066744A1 (en) 2003-12-31 2005-07-21 Abb Research Ltd A virtual control panel
US7355593B2 (en) 2004-01-02 2008-04-08 Smart Technologies, Inc. Pointer tracking across multiple overlapping coordinate input sub-regions defining a generally contiguous input region
WO2005065034A2 (en) * 2004-01-05 2005-07-21 Dikla Hasson System and method for improving typing skills
US7583842B2 (en) * 2004-01-06 2009-09-01 Microsoft Corporation Enhanced approach of m-array decoding and error correction
EP1710665A4 (en) * 2004-01-15 2012-12-26 Vodafone Plc MOBILE COMMUNICATION TERMINAL
US7263224B2 (en) * 2004-01-16 2007-08-28 Microsoft Corporation Strokes localization by m-array decoding and fast image matching
US7755608B2 (en) * 2004-01-23 2010-07-13 Hewlett-Packard Development Company, L.P. Systems and methods of interfacing with a machine
EP1751495A2 (en) * 2004-01-28 2007-02-14 Canesta, Inc. Single chip red, green, blue, distance (rgb-z) sensor
US7212109B2 (en) * 2004-02-13 2007-05-01 Ge Medical Systems Global Technology Company, Llc Hygienic input device for medical information systems
JP4522113B2 (ja) 2004-03-11 2010-08-11 キヤノン株式会社 座標入力装置
JP4429047B2 (ja) 2004-03-11 2010-03-10 キヤノン株式会社 座標入力装置及びその制御方法、プログラム
WO2005091651A2 (en) * 2004-03-18 2005-09-29 Reactrix Systems, Inc. Interactive video display system
JP2005267424A (ja) * 2004-03-19 2005-09-29 Fujitsu Ltd データ入力装置、情報処理装置、データ入力方法、データ入力プログラム
JP4475634B2 (ja) * 2004-03-26 2010-06-09 キヤノン株式会社 情報処理装置および方法
US7379562B2 (en) * 2004-03-31 2008-05-27 Microsoft Corporation Determining connectedness and offset of 3D objects relative to an interactive surface
US20050227217A1 (en) * 2004-03-31 2005-10-13 Wilson Andrew D Template matching on interactive surface
JP2005293473A (ja) * 2004-04-05 2005-10-20 Yokogawa Electric Corp 電子機器
US20050225473A1 (en) * 2004-04-08 2005-10-13 Alex Hill Infrared emission sensor
US7706638B1 (en) 2004-04-26 2010-04-27 National Semiconductor Corporation System, apparatus and method for color machine vision with black and white photoelectric sensor
US7394459B2 (en) * 2004-04-29 2008-07-01 Microsoft Corporation Interaction between objects and a virtual environment display
US7460110B2 (en) 2004-04-29 2008-12-02 Smart Technologies Ulc Dual mode touch system
US7538759B2 (en) 2004-05-07 2009-05-26 Next Holdings Limited Touch panel display system with illumination and detection provided from a single edge
BRPI0418857A (pt) * 2004-05-14 2007-11-20 Nokia Corp método, sistema e produto de programa de computador para controlar ao menos uma função do aparelho
US8120596B2 (en) 2004-05-21 2012-02-21 Smart Technologies Ulc Tiled touch system
US20050273201A1 (en) * 2004-06-06 2005-12-08 Zukowski Deborra J Method and system for deployment of sensors
US7787706B2 (en) 2004-06-14 2010-08-31 Microsoft Corporation Method for controlling an intensity of an infrared source used to detect objects adjacent to an interactive display surface
US7515135B2 (en) * 2004-06-15 2009-04-07 Research In Motion Limited Virtual keypad for touchscreen display
US7593593B2 (en) * 2004-06-16 2009-09-22 Microsoft Corporation Method and system for reducing effects of undesired signals in an infrared imaging system
KR100636483B1 (ko) 2004-06-25 2006-10-18 삼성에스디아이 주식회사 트랜지스터와 그의 제조방법 및 발광 표시장치
US7519223B2 (en) 2004-06-28 2009-04-14 Microsoft Corporation Recognizing gestures and using gestures for interacting with software applications
US7719523B2 (en) 2004-08-06 2010-05-18 Touchtable, Inc. Bounding box gesture recognition on a touch detecting interactive display
US7728821B2 (en) 2004-08-06 2010-06-01 Touchtable, Inc. Touch detecting interactive display
US7724242B2 (en) * 2004-08-06 2010-05-25 Touchtable, Inc. Touch driven method and apparatus to integrate and display multiple image layers forming alternate depictions of same subject matter
US20070046643A1 (en) * 2004-08-06 2007-03-01 Hillis W Daniel State-Based Approach to Gesture Identification
US20060036947A1 (en) * 2004-08-10 2006-02-16 Jelley Kevin W User interface controller method and apparatus for a handheld electronic device
US20060050062A1 (en) * 2004-08-19 2006-03-09 Masanori Ozawa Input device
US7576725B2 (en) * 2004-10-19 2009-08-18 Microsoft Corporation Using clear-coded, see-through objects to manipulate virtual objects
KR100663515B1 (ko) * 2004-11-08 2007-01-02 삼성전자주식회사 휴대 단말 장치 및 이를 위한 데이터 입력 방법
US20060101504A1 (en) * 2004-11-09 2006-05-11 Veveo.Tv, Inc. Method and system for performing searches for television content and channels using a non-intrusive television interface and with reduced text input
WO2006053011A2 (en) * 2004-11-09 2006-05-18 Veveo, Inc. Method and system for secure sharing, gifting, and purchasing of content on television and mobile devices
US20070266406A1 (en) * 2004-11-09 2007-11-15 Murali Aravamudan Method and system for performing actions using a non-intrusive television with reduced text input
US7895218B2 (en) * 2004-11-09 2011-02-22 Veveo, Inc. Method and system for performing searches for television content using reduced text input
DE102005061211B4 (de) * 2004-12-22 2023-04-06 Abb Schweiz Ag Verfahren zum Erzeugen einer Mensch-Maschine-Benutzer-Oberfläche
US7467075B2 (en) * 2004-12-23 2008-12-16 Covidien Ag Three-dimensional finite-element code for electrosurgery and thermal ablation simulations
US20130128118A1 (en) * 2004-12-23 2013-05-23 Kuo-Ching Chiang Smart TV with Multiple Sub-Display Windows and the Method of the Same
US20060152482A1 (en) 2005-01-07 2006-07-13 Chauncy Godwin Virtual interface and control device
US7796116B2 (en) 2005-01-12 2010-09-14 Thinkoptics, Inc. Electronic equipment for handheld vision based absolute pointing system
CN100410857C (zh) * 2005-01-27 2008-08-13 时代光电科技股份有限公司 资料输入装置
US7539513B2 (en) 2005-02-02 2009-05-26 National Telephone Products, Inc. Portable phone with ergonomic image projection system
US8009871B2 (en) 2005-02-08 2011-08-30 Microsoft Corporation Method and system to segment depth images and to detect shapes in three-dimensionally acquired data
WO2006091753A2 (en) * 2005-02-23 2006-08-31 Zienon, L.L.C. Method and apparatus for data entry input
US9760214B2 (en) 2005-02-23 2017-09-12 Zienon, Llc Method and apparatus for data entry input
WO2006090386A2 (en) * 2005-02-24 2006-08-31 Vkb Inc. A virtual keyboard device
US20060192763A1 (en) * 2005-02-25 2006-08-31 Ziemkowski Theodore B Sound-based virtual keyboard, device and method
US7826074B1 (en) 2005-02-25 2010-11-02 Microsoft Corporation Fast embedded interaction code printing with custom postscript commands
US20060215913A1 (en) * 2005-03-24 2006-09-28 Microsoft Corporation Maze pattern analysis with image matching
JP4612853B2 (ja) * 2005-03-29 2011-01-12 キヤノン株式会社 指示位置認識装置及びそれを有する情報入力装置
CN100367159C (zh) * 2005-04-04 2008-02-06 技嘉科技股份有限公司 虚拟键盘
US9128519B1 (en) 2005-04-15 2015-09-08 Intellectual Ventures Holding 67 Llc Method and system for state-based control of objects
US7421439B2 (en) 2005-04-22 2008-09-02 Microsoft Corporation Global metadata embedding and decoding
US20060242562A1 (en) * 2005-04-22 2006-10-26 Microsoft Corporation Embedded method for embedded interaction code array
US20060244720A1 (en) * 2005-04-29 2006-11-02 Tracy James L Collapsible projection assembly
US7499027B2 (en) * 2005-04-29 2009-03-03 Microsoft Corporation Using a light pointer for input on an interactive display surface
US20080246738A1 (en) * 2005-05-04 2008-10-09 Koninklijke Philips Electronics, N.V. System and Method for Projecting Control Graphics
US7729539B2 (en) * 2005-05-31 2010-06-01 Microsoft Corporation Fast error-correcting of embedded interaction codes
US8081822B1 (en) 2005-05-31 2011-12-20 Intellectual Ventures Holding 67 Llc System and method for sensing a feature of an object in an interactive video display
US7580576B2 (en) * 2005-06-02 2009-08-25 Microsoft Corporation Stroke localization and binding to electronic document
US20060279532A1 (en) * 2005-06-14 2006-12-14 Olszewski Piotr S Data input device controlled by motions of hands and fingers
US7525538B2 (en) * 2005-06-28 2009-04-28 Microsoft Corporation Using same optics to image, illuminate, and project
US8122034B2 (en) 2005-06-30 2012-02-21 Veveo, Inc. Method and system for incremental search with reduced text entry where the relevance of results is a dynamically computed function of user input search string character count
US20070008293A1 (en) * 2005-07-06 2007-01-11 International Business Machines Corporation Touch sensitive device and display
US20070019103A1 (en) * 2005-07-25 2007-01-25 Vkb Inc. Optical apparatus for virtual interface projection and sensing
US20070019099A1 (en) * 2005-07-25 2007-01-25 Vkb Inc. Optical apparatus for virtual interface projection and sensing
TW200708064A (en) * 2005-08-03 2007-02-16 Elan Microelectronics Corp Sensor array device of handheld image moving tracking sensor
US7817816B2 (en) * 2005-08-17 2010-10-19 Microsoft Corporation Embedded interaction code enabled surface type identification
US7779011B2 (en) 2005-08-26 2010-08-17 Veveo, Inc. Method and system for dynamically processing ambiguous, reduced text search queries and highlighting results thereof
US7788266B2 (en) 2005-08-26 2010-08-31 Veveo, Inc. Method and system for processing ambiguous, multi-term search queries
US7737999B2 (en) * 2005-08-26 2010-06-15 Veveo, Inc. User interface for visual cooperation between text input and display device
US7911444B2 (en) 2005-08-31 2011-03-22 Microsoft Corporation Input method for surface of interactive display
US20070063979A1 (en) * 2005-09-19 2007-03-22 Available For Licensing Systems and methods to provide input/output for a portable data processing device
US20070063982A1 (en) * 2005-09-19 2007-03-22 Tran Bao Q Integrated rendering of sound and image on a display
KR100631779B1 (ko) * 2005-10-07 2006-10-11 삼성전자주식회사 데이터 입력 장치 및 상기 장치를 이용한 데이터 입력 감지방법
US20070114277A1 (en) * 2005-11-21 2007-05-24 International Business Machines Corporation Apparatus and method for commercial transactions
US7644054B2 (en) * 2005-11-23 2010-01-05 Veveo, Inc. System and method for finding desired results by incremental search using an ambiguous keypad with the input containing orthographic and typographic errors
US20070130547A1 (en) * 2005-12-01 2007-06-07 Navisense, Llc Method and system for touchless user interface control
US8098277B1 (en) 2005-12-02 2012-01-17 Intellectual Ventures Holding 67 Llc Systems and methods for communication between a reactive video system and a mobile communication device
US8279168B2 (en) 2005-12-09 2012-10-02 Edge 3 Technologies Llc Three-dimensional virtual-touch human-machine interface system and method therefor
US8060840B2 (en) 2005-12-29 2011-11-15 Microsoft Corporation Orientation free user interface
KR101286412B1 (ko) * 2005-12-29 2013-07-18 삼성전자주식회사 다중기능 가상 사용자 입력 장치 및 방법
WO2007089663A2 (en) * 2006-01-27 2007-08-09 Veveo, Inc. System and method for incremental user query on handheld device
CN101589425A (zh) * 2006-02-16 2009-11-25 Ftk技术有限公司 将数据输入计算系统的系统和方法
US7515143B2 (en) * 2006-02-28 2009-04-07 Microsoft Corporation Uniform illumination of interactive display panel
US8380726B2 (en) 2006-03-06 2013-02-19 Veveo, Inc. Methods and systems for selecting and presenting content based on a comparison of preference signatures from multiple users
FR2898315B1 (fr) * 2006-03-08 2009-02-20 Peugeot Citroen Automobiles Sa Interface de commande d'un equipement fixe ou nomade de vehicule, avec utilisation d'un clavier virtuel
US8334841B2 (en) * 2006-03-13 2012-12-18 Navisense Virtual user interface method and system thereof
US8614669B2 (en) * 2006-03-13 2013-12-24 Navisense Touchless tablet method and system thereof
US8578282B2 (en) * 2006-03-15 2013-11-05 Navisense Visual toolkit for a virtual user interface
US7777728B2 (en) * 2006-03-17 2010-08-17 Nokia Corporation Mobile communication terminal
US8073860B2 (en) 2006-03-30 2011-12-06 Veveo, Inc. Method and system for incrementally selecting and providing relevant search engines in response to a user query
US10048860B2 (en) 2006-04-06 2018-08-14 Google Technology Holdings LLC Method and apparatus for user interface adaptation
WO2007124429A2 (en) * 2006-04-20 2007-11-01 Veveo, Inc. User interface methods and systems for selecting and presenting content based on user navigation and selection actions associated with the content
US9152241B2 (en) * 2006-04-28 2015-10-06 Zienon, Llc Method and apparatus for efficient data input
KR100756521B1 (ko) 2006-05-03 2007-09-10 포텍마이크로시스템(주) 유아 교육용 프로젝션 키보드 시스템 및 이를 이용한 키입력 방법
US7755026B2 (en) * 2006-05-04 2010-07-13 CandleDragon Inc. Generating signals representative of sensed light that is associated with writing being done by a user
WO2007137093A2 (en) * 2006-05-16 2007-11-29 Madentec Systems and methods for a hands free mouse
US7492445B1 (en) * 2006-06-05 2009-02-17 Cypress Semiconductor Corporation Method and apparatus for robust velocity prediction
US7830368B2 (en) 2006-06-06 2010-11-09 3M Innovative Properties Company Keypad with virtual image
EP2033064A1 (en) * 2006-06-15 2009-03-11 Nokia Corporation Mobile device with virtual keypad
US20150121287A1 (en) * 2006-07-03 2015-04-30 Yoram Ben-Meir System for generating and controlling a variably displayable mobile device keypad/virtual keyboard
JP4627052B2 (ja) 2006-07-06 2011-02-09 株式会社ソニー・コンピュータエンタテインメント 画像に連携した音声出力方法および装置
US7728816B2 (en) * 2006-07-10 2010-06-01 Cypress Semiconductor Corporation Optical navigation sensor with variable tracking resolution
US8913003B2 (en) * 2006-07-17 2014-12-16 Thinkoptics, Inc. Free-space multi-dimensional absolute pointer using a projection marker system
US8316324B2 (en) * 2006-09-05 2012-11-20 Navisense Method and apparatus for touchless control of a device
WO2008034057A2 (en) * 2006-09-14 2008-03-20 Veveo, Inc. Methods and systems for dynamically rearranging search results into hierarchically organized concept clusters
US8037414B2 (en) 2006-09-14 2011-10-11 Avaya Inc. Audible computer user interface method and apparatus
US20080176201A1 (en) * 2006-09-20 2008-07-24 Technologies Humanware Canada Inc. User interface for an audio book player
TWI333624B (en) * 2006-09-27 2010-11-21 Chia Hoang Lee A virtual input device and the input method thereof
US7925986B2 (en) 2006-10-06 2011-04-12 Veveo, Inc. Methods and systems for a linear character selection display interface for ambiguous text input
WO2008063987A2 (en) 2006-11-13 2008-05-29 Veveo, Inc. Method of and system for selecting and presenting content based on user identification
US20080114615A1 (en) * 2006-11-15 2008-05-15 General Electric Company Methods and systems for gesture-based healthcare application interaction in thin-air display
US9442607B2 (en) 2006-12-04 2016-09-13 Smart Technologies Inc. Interactive input system and method
EP1937032B1 (en) * 2006-12-20 2020-11-04 Electrolux Home Products Corporation N.V. Household appliance
KR100796779B1 (ko) 2007-01-02 2008-01-22 주식회사 셀런 무선입력장치의 다차원 공간맵핑을 통한 스캔 데이터송수신 방법 및 이를 위한 무선입력장치
US20080166175A1 (en) * 2007-01-05 2008-07-10 Candledragon, Inc. Holding and Using an Electronic Pen and Paper
CN100456219C (zh) * 2007-01-19 2009-01-28 崔永浩 借助物理传感方式令按键多重复用的键盘及其实现方法
US8212857B2 (en) 2007-01-26 2012-07-03 Microsoft Corporation Alternating light sources to reduce specular reflection
US20080252596A1 (en) * 2007-04-10 2008-10-16 Matthew Bell Display Using a Three-Dimensional vision System
EP2135155B1 (en) 2007-04-11 2013-09-18 Next Holdings, Inc. Touch screen system with hover and click input methods
US7895518B2 (en) * 2007-04-27 2011-02-22 Shapewriter Inc. System and method for preview and selection of words
US9176598B2 (en) 2007-05-08 2015-11-03 Thinkoptics, Inc. Free-space multi-dimensional absolute pointer with improved performance
KR100913962B1 (ko) * 2007-05-14 2009-08-26 삼성전자주식회사 이동통신 단말기의 문자 입력 방법 및 장치
KR100888864B1 (ko) * 2007-05-21 2009-03-17 한국과학기술원 바이오 레이더와 기울기 센서를 이용한 문자 입력 장치
CN101311881A (zh) * 2007-05-25 2008-11-26 佛山市顺德区顺达电脑厂有限公司 电子装置的辅助输入方法
WO2008148012A1 (en) * 2007-05-25 2008-12-04 Veveo, Inc. System and method for text disambiguation and context designation in incremental search
US20080313574A1 (en) * 2007-05-25 2008-12-18 Veveo, Inc. System and method for search with reduced physical interaction requirements
WO2008148009A1 (en) 2007-05-25 2008-12-04 Veveo, Inc. Method and system for unified searching across and within multiple documents
TWI334023B (en) * 2007-06-21 2010-12-01 Coretronic Corp Optical sensing module and display device using the same
US8246456B2 (en) * 2007-06-22 2012-08-21 Wms Gaming Inc. Wagering game machine with virtual input device
US8094137B2 (en) 2007-07-23 2012-01-10 Smart Technologies Ulc System and method of detecting contact on a display
US20090048710A1 (en) * 2007-08-15 2009-02-19 Deline Jonathan E Fuel dispenser
US8384693B2 (en) 2007-08-30 2013-02-26 Next Holdings Limited Low profile touch panel systems
US8432377B2 (en) 2007-08-30 2013-04-30 Next Holdings Limited Optical touchscreen with improved illumination
CA2699628A1 (en) 2007-09-14 2009-03-19 Matthew Bell Gesture-based user interactions with status indicators for acceptable inputs in volumetric zones
US9001016B2 (en) * 2007-09-19 2015-04-07 Nvidia Corporation Hardware driven display restore mechanism
US9110624B2 (en) 2007-09-21 2015-08-18 Nvdia Corporation Output restoration with input selection
US20090083035A1 (en) * 2007-09-25 2009-03-26 Ritchie Winson Huang Text pre-processing for text-to-speech generation
US8010895B2 (en) * 2007-10-24 2011-08-30 E-Lead Electronic Co., Ltd. Method for correcting typing errors according to character layout positions on a keyboard
WO2009059479A1 (en) * 2007-11-07 2009-05-14 Pohsien Chiu Input devices with virtual input interfaces
US8159682B2 (en) * 2007-11-12 2012-04-17 Intellectual Ventures Holding 67 Llc Lens system
CN101452354B (zh) * 2007-12-04 2012-08-22 纬创资通股份有限公司 电子装置的输入方法、内容显示方法及其应用
KR101352994B1 (ko) * 2007-12-10 2014-01-21 삼성전자 주식회사 적응형 온 스크린 키보드 제공 장치 및 그 제공 방법
KR101079598B1 (ko) * 2007-12-18 2011-11-03 삼성전자주식회사 디스플레이장치 및 그 제어방법
TWI357518B (en) * 2007-12-21 2012-02-01 Coretronic Corp Display screen and sensor module thereof
US8373549B2 (en) * 2007-12-31 2013-02-12 Apple Inc. Tactile feedback in an electronic device
US8405636B2 (en) 2008-01-07 2013-03-26 Next Holdings Limited Optical position sensing system and optical position sensor assembly
US8933876B2 (en) 2010-12-13 2015-01-13 Apple Inc. Three dimensional user interface session control
WO2009099296A2 (en) * 2008-02-05 2009-08-13 Lg Electronics Inc. Virtual optical input device for providing various types of interfaces and method of controlling the same
WO2009099280A2 (en) * 2008-02-05 2009-08-13 Lg Electronics Inc. Input unit and control method thereof
JP4626658B2 (ja) * 2008-02-14 2011-02-09 ソニー株式会社 表示装置、撮像装置および位置検出装置
US8698753B2 (en) * 2008-02-28 2014-04-15 Lg Electronics Inc. Virtual optical input device with feedback and method of controlling the same
US8259163B2 (en) 2008-03-07 2012-09-04 Intellectual Ventures Holding 67 Llc Display with built in 3D sensing
KR101007045B1 (ko) * 2008-03-12 2011-01-12 주식회사 애트랩 접촉센서 장치 및 이 장치의 포인팅 좌표 결정 방법
US8358277B2 (en) * 2008-03-18 2013-01-22 Microsoft Corporation Virtual keyboard based activation and dismissal
EP2103751A1 (de) * 2008-03-19 2009-09-23 BrainLAB AG Einbaueinheit für Anzeigevorrichtungen
CN101266520B (zh) * 2008-04-18 2013-03-27 上海触乐信息科技有限公司 一种可实现灵活键盘布局的系统
US8902193B2 (en) 2008-05-09 2014-12-02 Smart Technologies Ulc Interactive input system and bezel therefor
US20090289188A1 (en) * 2008-05-20 2009-11-26 Everspring Industry Co., Ltd. Method for controlling an electronic device through infrared detection
WO2009148210A1 (en) * 2008-06-02 2009-12-10 Lg Electronics Inc. Virtual optical input unit and control method thereof
US8595218B2 (en) * 2008-06-12 2013-11-26 Intellectual Ventures Holding 67 Llc Interactive display management systems and methods
US8936367B2 (en) 2008-06-17 2015-01-20 The Invention Science Fund I, Llc Systems and methods associated with projecting in response to conformation
US8723787B2 (en) 2008-06-17 2014-05-13 The Invention Science Fund I, Llc Methods and systems related to an image capture projection surface
US8308304B2 (en) 2008-06-17 2012-11-13 The Invention Science Fund I, Llc Systems associated with receiving and transmitting information related to projection
US8267526B2 (en) 2008-06-17 2012-09-18 The Invention Science Fund I, Llc Methods associated with receiving and transmitting information related to projection
US8820939B2 (en) 2008-06-17 2014-09-02 The Invention Science Fund I, Llc Projection associated methods and systems
US8608321B2 (en) 2008-06-17 2013-12-17 The Invention Science Fund I, Llc Systems and methods for projecting in response to conformation
US8641203B2 (en) 2008-06-17 2014-02-04 The Invention Science Fund I, Llc Methods and systems for receiving and transmitting signals between server and projector apparatuses
US20090310038A1 (en) 2008-06-17 2009-12-17 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Projection in response to position
US8733952B2 (en) 2008-06-17 2014-05-27 The Invention Science Fund I, Llc Methods and systems for coordinated use of two or more user responsive projectors
US20090309826A1 (en) 2008-06-17 2009-12-17 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Systems and devices
US8384005B2 (en) 2008-06-17 2013-02-26 The Invention Science Fund I, Llc Systems and methods for selectively projecting information in response to at least one specified motion associated with pressure applied to at least one projection surface
US8403501B2 (en) 2008-06-17 2013-03-26 The Invention Science Fund, I, LLC Motion responsive devices and systems
US8944608B2 (en) 2008-06-17 2015-02-03 The Invention Science Fund I, Llc Systems and methods associated with projecting in response to conformation
US8262236B2 (en) 2008-06-17 2012-09-11 The Invention Science Fund I, Llc Systems and methods for transmitting information associated with change of a projection surface
JP5015072B2 (ja) * 2008-06-18 2012-08-29 株式会社リコー 入力装置及び画像形成装置
US9152258B2 (en) * 2008-06-19 2015-10-06 Neonode Inc. User interface for a touch screen
US8068641B1 (en) 2008-06-19 2011-11-29 Qualcomm Incorporated Interaction interface for controlling an application
US7777899B1 (en) * 2008-06-19 2010-08-17 Gesturetek, Inc. Interaction interface for controlling an application
US8106749B2 (en) * 2008-07-14 2012-01-31 Sony Ericsson Mobile Communications Ab Touchless control of a control device
US8165881B2 (en) * 2008-08-29 2012-04-24 Honda Motor Co., Ltd. System and method for variable text-to-speech with minimized distraction to operator of an automotive vehicle
US20100057465A1 (en) * 2008-09-03 2010-03-04 David Michael Kirsch Variable text-to-speech for automotive application
US8228345B2 (en) * 2008-09-24 2012-07-24 International Business Machines Corporation Hand image feedback method and system
CN101685342B (zh) * 2008-09-26 2012-01-25 联想(北京)有限公司 一种动态虚拟键盘的实现方法及装置
US8750938B2 (en) * 2008-09-29 2014-06-10 Microsoft Corporation Glow touch feedback for virtual input devices
US8133119B2 (en) 2008-10-01 2012-03-13 Microsoft Corporation Adaptation for alternate gaming input devices
US20100177035A1 (en) * 2008-10-10 2010-07-15 Schowengerdt Brian T Mobile Computing Device With A Virtual Keyboard
KR100967356B1 (ko) * 2008-10-14 2010-07-05 고려대학교 산학협력단 3차원 손 모델 생성 기술을 이용한 가상 입력 방법 및 장치
US8339378B2 (en) 2008-11-05 2012-12-25 Smart Technologies Ulc Interactive input system with multi-angle reflector
US20110212774A1 (en) * 2008-11-14 2011-09-01 Karl Wudtke Terminal including a button and button having projected images and method
US8503932B2 (en) * 2008-11-14 2013-08-06 Sony Mobile Comminications AB Portable communication device and remote motion input device
EP2189884A1 (fr) * 2008-11-18 2010-05-26 Gemalto SA Clavier virtuel projeté et sécurisé
US8423916B2 (en) * 2008-11-20 2013-04-16 Canon Kabushiki Kaisha Information processing apparatus, processing method thereof, and computer-readable storage medium
US20100134409A1 (en) * 2008-11-30 2010-06-03 Lenovo (Singapore) Pte. Ltd. Three-dimensional user interface
GB2466023A (en) * 2008-12-08 2010-06-09 Light Blue Optics Ltd Holographic Image Projection Systems
TWI470478B (zh) * 2008-12-26 2015-01-21 Inventec Appliances Corp 電子裝置之虛擬鍵盤結構及其資料輸入方法
US9652030B2 (en) 2009-01-30 2017-05-16 Microsoft Technology Licensing, Llc Navigation of a virtual plane using a zone of restriction for canceling noise
US8866821B2 (en) 2009-01-30 2014-10-21 Microsoft Corporation Depth map movement tracking via optical flow and velocity prediction
US8295546B2 (en) 2009-01-30 2012-10-23 Microsoft Corporation Pose tracking pipeline
US8294767B2 (en) 2009-01-30 2012-10-23 Microsoft Corporation Body scan
US8140970B2 (en) * 2009-02-23 2012-03-20 International Business Machines Corporation System and method for semi-transparent display of hands over a keyboard in real-time
JP5201015B2 (ja) * 2009-03-09 2013-06-05 ブラザー工業株式会社 ヘッドマウントディスプレイ
US20100235786A1 (en) * 2009-03-13 2010-09-16 Primesense Ltd. Enhanced 3d interfacing for remote devices
US8773355B2 (en) 2009-03-16 2014-07-08 Microsoft Corporation Adaptive cursor sizing
US9256282B2 (en) 2009-03-20 2016-02-09 Microsoft Technology Licensing, Llc Virtual object manipulation
US8988437B2 (en) 2009-03-20 2015-03-24 Microsoft Technology Licensing, Llc Chaining animations
US8375311B2 (en) * 2009-03-24 2013-02-12 Disney Enterprises, Inc. System and method for determining placement of a virtual object according to a real-time performance
US20100251161A1 (en) * 2009-03-24 2010-09-30 Microsoft Corporation Virtual keyboard with staggered keys
US20100251176A1 (en) * 2009-03-24 2010-09-30 Microsoft Corporation Virtual keyboard with slider buttons
US20110256927A1 (en) 2009-03-25 2011-10-20 MEP Games Inc. Projection of interactive game environment
US9971458B2 (en) 2009-03-25 2018-05-15 Mep Tech, Inc. Projection of interactive environment
US20110165923A1 (en) 2010-01-04 2011-07-07 Davis Mark L Electronic circle game system
CN201444297U (zh) 2009-03-27 2010-04-28 宸鸿光电科技股份有限公司 触控装置、其激光光源组及其激光光源结构
TWI507945B (zh) 2009-03-27 2015-11-11 Tpk Touch Solutions Inc 觸控裝置及其光源結構
US8942428B2 (en) 2009-05-01 2015-01-27 Microsoft Corporation Isolate extraneous motions
US9015638B2 (en) 2009-05-01 2015-04-21 Microsoft Technology Licensing, Llc Binding users to a gesture based system and providing feedback to the users
US8503720B2 (en) 2009-05-01 2013-08-06 Microsoft Corporation Human body pose estimation
US8181123B2 (en) 2009-05-01 2012-05-15 Microsoft Corporation Managing virtual port associations to users in a gesture-based computing environment
US9377857B2 (en) 2009-05-01 2016-06-28 Microsoft Technology Licensing, Llc Show body position
US8340432B2 (en) 2009-05-01 2012-12-25 Microsoft Corporation Systems and methods for detecting a tilt angle from a depth image
US9898675B2 (en) 2009-05-01 2018-02-20 Microsoft Technology Licensing, Llc User movement tracking feedback to improve tracking
US9498718B2 (en) 2009-05-01 2016-11-22 Microsoft Technology Licensing, Llc Altering a view perspective within a display environment
US8638985B2 (en) 2009-05-01 2014-01-28 Microsoft Corporation Human body pose estimation
US8649554B2 (en) 2009-05-01 2014-02-11 Microsoft Corporation Method to control perspective for a camera-controlled computer
US8253746B2 (en) 2009-05-01 2012-08-28 Microsoft Corporation Determine intended motions
US8416193B2 (en) * 2009-05-21 2013-04-09 Microsoft Corporation Method of visualizing an input location
US9417700B2 (en) 2009-05-21 2016-08-16 Edge3 Technologies Gesture recognition systems and related methods
GB2470653B (en) 2009-05-26 2015-04-29 Zienon L L C Enabling data entry based on differentiated input objects
US8744121B2 (en) 2009-05-29 2014-06-03 Microsoft Corporation Device for identifying and tracking multiple humans over time
US8625837B2 (en) 2009-05-29 2014-01-07 Microsoft Corporation Protocol and format for communicating an image from a camera to a computing environment
US8542252B2 (en) 2009-05-29 2013-09-24 Microsoft Corporation Target digitization, extraction, and tracking
US8320619B2 (en) 2009-05-29 2012-11-27 Microsoft Corporation Systems and methods for tracking a model
US8379101B2 (en) 2009-05-29 2013-02-19 Microsoft Corporation Environment and/or target segmentation
US9383823B2 (en) 2009-05-29 2016-07-05 Microsoft Technology Licensing, Llc Combining gestures beyond skeletal
US8418085B2 (en) 2009-05-29 2013-04-09 Microsoft Corporation Gesture coach
US8509479B2 (en) 2009-05-29 2013-08-13 Microsoft Corporation Virtual object
US9400559B2 (en) 2009-05-29 2016-07-26 Microsoft Technology Licensing, Llc Gesture shortcuts
US8145594B2 (en) 2009-05-29 2012-03-27 Microsoft Corporation Localized gesture aggregation
US8176442B2 (en) 2009-05-29 2012-05-08 Microsoft Corporation Living cursor control mechanics
US9182814B2 (en) 2009-05-29 2015-11-10 Microsoft Technology Licensing, Llc Systems and methods for estimating a non-visible or occluded body part
US8856691B2 (en) 2009-05-29 2014-10-07 Microsoft Corporation Gesture tool
US8803889B2 (en) 2009-05-29 2014-08-12 Microsoft Corporation Systems and methods for applying animations or motions to a character
US7914344B2 (en) 2009-06-03 2011-03-29 Microsoft Corporation Dual-barrel, connector jack and plug assemblies
US8390680B2 (en) 2009-07-09 2013-03-05 Microsoft Corporation Visual representation expression based on player expression
US9159151B2 (en) 2009-07-13 2015-10-13 Microsoft Technology Licensing, Llc Bringing a visual representation to life via learned input from the user
US9274547B2 (en) 2009-07-23 2016-03-01 Hewlett-Packard Development Compamy, L.P. Display with an optical sensor
WO2011011024A1 (en) * 2009-07-23 2011-01-27 Hewlett-Packard Development Company, L.P. Display with an optical sensor
JP5127792B2 (ja) 2009-08-18 2013-01-23 キヤノン株式会社 情報処理装置、その制御方法、プログラム及び記録媒体
US9141193B2 (en) 2009-08-31 2015-09-22 Microsoft Technology Licensing, Llc Techniques for using human gestures to control gesture unaware programs
DE202009005253U1 (de) 2009-09-09 2010-01-07 Tpk Touch Solutions Inc. Berührungsvorrichtung, Laserquellenmodul und Laserquellenstruktur
US9166714B2 (en) 2009-09-11 2015-10-20 Veveo, Inc. Method of and system for presenting enriched video viewing analytics
US9122393B2 (en) * 2009-09-30 2015-09-01 At&T Mobility Ii Llc Predictive sensitized keypad
US8812972B2 (en) * 2009-09-30 2014-08-19 At&T Intellectual Property I, L.P. Dynamic generation of soft keyboards for mobile devices
US8816965B2 (en) * 2009-09-30 2014-08-26 At&T Mobility Ii Llc Predictive force sensitive keypad
US9128610B2 (en) * 2009-09-30 2015-09-08 At&T Mobility Ii Llc Virtual predictive keypad
US20110074692A1 (en) * 2009-09-30 2011-03-31 At&T Mobility Ii Llc Devices and Methods for Conforming a Virtual Keyboard
US8810516B2 (en) * 2009-09-30 2014-08-19 At&T Mobility Ii Llc Angular sensitized keypad
JP5471266B2 (ja) * 2009-10-07 2014-04-16 セイコーエプソン株式会社 位置検出機能付き投射型表示装置
JP5471275B2 (ja) * 2009-10-14 2014-04-16 セイコーエプソン株式会社 位置検出機能付き投射型表示装置
US20110126094A1 (en) * 2009-11-24 2011-05-26 Horodezky Samuel J Method of modifying commands on a touch screen user interface
JP5506375B2 (ja) * 2009-12-25 2014-05-28 キヤノン株式会社 情報処理装置及びその制御方法
JP5005758B2 (ja) * 2009-12-25 2012-08-22 株式会社ホンダアクセス 自動車における車載機器の操作装置
US20110164032A1 (en) * 2010-01-07 2011-07-07 Prime Sense Ltd. Three-Dimensional User Interface
US20110191516A1 (en) * 2010-02-04 2011-08-04 True Xiong Universal touch-screen remote controller
US20110191330A1 (en) * 2010-02-04 2011-08-04 Veveo, Inc. Method of and System for Enhanced Content Discovery Based on Network and Device Access Behavior
JP5499762B2 (ja) * 2010-02-24 2014-05-21 ソニー株式会社 画像処理装置、画像処理方法、プログラム及び画像処理システム
US9665278B2 (en) * 2010-02-26 2017-05-30 Microsoft Technology Licensing, Llc Assisting input from a keyboard
EP2363055A1 (en) 2010-03-01 2011-09-07 Electrolux Home Products Corporation N.V. Projector and household appliance comprising such a projector
GB2479858A (en) * 2010-03-23 2011-11-02 Secretpc Ltd Projector with virtual keyboard
TWI423096B (zh) * 2010-04-01 2014-01-11 Compal Communication Inc 具可觸控投影畫面之投影系統
US8818027B2 (en) * 2010-04-01 2014-08-26 Qualcomm Incorporated Computing device interface
US9311724B2 (en) 2010-04-23 2016-04-12 Handscape Inc. Method for user input from alternative touchpads of a handheld computerized device
US9891821B2 (en) 2010-04-23 2018-02-13 Handscape Inc. Method for controlling a control region of a computerized device from a touchpad
US8384683B2 (en) * 2010-04-23 2013-02-26 Tong Luo Method for user input from the back panel of a handheld computerized device
US9639195B2 (en) 2010-04-23 2017-05-02 Handscape Inc. Method using finger force upon a touchpad for controlling a computerized system
US9542032B2 (en) 2010-04-23 2017-01-10 Handscape Inc. Method using a predicted finger location above a touchpad for controlling a computerized system
US9678662B2 (en) 2010-04-23 2017-06-13 Handscape Inc. Method for detecting user gestures from alternative touchpads of a handheld computerized device
US9529523B2 (en) 2010-04-23 2016-12-27 Handscape Inc. Method using a finger above a touchpad for controlling a computerized system
US9891820B2 (en) 2010-04-23 2018-02-13 Handscape Inc. Method for controlling a virtual keyboard from a touchpad of a computerized device
US9310905B2 (en) 2010-04-23 2016-04-12 Handscape Inc. Detachable back mounted touchpad for a handheld computerized device
US8396252B2 (en) 2010-05-20 2013-03-12 Edge 3 Technologies Systems and related methods for three dimensional gesture recognition in vehicles
US20110285651A1 (en) * 2010-05-24 2011-11-24 Will John Temple Multidirectional button, key, and keyboard
CN102959616B (zh) 2010-07-20 2015-06-10 苹果公司 自然交互的交互真实性增强
US9201501B2 (en) 2010-07-20 2015-12-01 Apple Inc. Adaptive projector
US8918734B2 (en) 2010-07-28 2014-12-23 Nuance Communications, Inc. Reduced keyboard with prediction solutions when input is a partial sliding trajectory
US8451192B2 (en) 2010-08-13 2013-05-28 T-Mobile Usa, Inc. Utilization of interactive device-adjacent ambiently displayed images
US8449118B2 (en) 2010-08-13 2013-05-28 T-Mobile Usa, Inc. Device-adjacent ambiently displayed image
JP5601083B2 (ja) 2010-08-16 2014-10-08 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
US8666144B2 (en) 2010-09-02 2014-03-04 Edge 3 Technologies, Inc. Method and apparatus for determining disparity of texture
US8582866B2 (en) 2011-02-10 2013-11-12 Edge 3 Technologies, Inc. Method and apparatus for disparity computation in stereo images
WO2012030872A1 (en) 2010-09-02 2012-03-08 Edge3 Technologies Inc. Method and apparatus for confusion learning
US8655093B2 (en) 2010-09-02 2014-02-18 Edge 3 Technologies, Inc. Method and apparatus for performing segmentation of an image
US20120059647A1 (en) * 2010-09-08 2012-03-08 International Business Machines Corporation Touchless Texting Exercise
US20120062518A1 (en) * 2010-09-09 2012-03-15 Light Blue Optics Ltd Touch Sensing Systems
WO2012034069A1 (en) 2010-09-10 2012-03-15 Veveo, Inc. Method of and system for conducting personalized federated search and presentation of results therefrom
US8959013B2 (en) * 2010-09-27 2015-02-17 Apple Inc. Virtual keyboard for a non-tactile three dimensional user interface
GB2498485A (en) * 2010-10-05 2013-07-17 Hewlett Packard Development Co Entering a command
KR101044320B1 (ko) * 2010-10-14 2011-06-29 주식회사 네오패드 가상 키입력수단의 배경화면 컨텐츠 제공 방법 및 시스템
WO2012048380A1 (en) * 2010-10-14 2012-04-19 University Of Technology, Sydney Virtual keyboard
WO2012052069A1 (en) * 2010-10-22 2012-04-26 Sony Ericsson Mobile Communications Ab Mobile communication device with three-dimensional sensing and a method therefore
JP4846871B1 (ja) * 2010-10-28 2011-12-28 善博 和田 キー入力装置、それを備える携帯端末および携帯端末を入力装置として機能させるためのプログラム
CN102467298A (zh) * 2010-11-18 2012-05-23 西安龙飞软件有限公司 一种虚拟手机键盘的实现方式
US9019239B2 (en) 2010-11-29 2015-04-28 Northrop Grumman Systems Corporation Creative design systems and methods
US8872762B2 (en) 2010-12-08 2014-10-28 Primesense Ltd. Three dimensional user interface cursor control
US8839134B2 (en) * 2010-12-24 2014-09-16 Intel Corporation Projection interface techniques
WO2012089577A1 (en) * 2010-12-30 2012-07-05 Danmarks Tekniske Universitet Input device with three-dimensional image display
KR101816721B1 (ko) * 2011-01-18 2018-01-10 삼성전자주식회사 센싱 모듈, ｇｕｉ 제어 장치 및 방법
US9285874B2 (en) 2011-02-09 2016-03-15 Apple Inc. Gaze detection in a 3D mapping environment
US8970589B2 (en) 2011-02-10 2015-03-03 Edge 3 Technologies, Inc. Near-touch interaction with a stereo camera grid structured tessellations
US8942917B2 (en) 2011-02-14 2015-01-27 Microsoft Corporation Change invariant scene recognition by an agent
US9035940B2 (en) * 2011-03-08 2015-05-19 Nokia Corporation Apparatus and associated methods
JP2012208926A (ja) * 2011-03-15 2012-10-25 Nikon Corp 検出装置、入力装置、プロジェクタ、及び電子機器
US8963883B2 (en) 2011-03-17 2015-02-24 Symbol Technologies, Inc. Touchless interactive display system
US9857868B2 (en) 2011-03-19 2018-01-02 The Board Of Trustees Of The Leland Stanford Junior University Method and system for ergonomic touch-free interface
CN102693066B (zh) * 2011-03-25 2015-05-27 国基电子（上海）有限公司 触控式电子装置及其虚拟键盘操作方法
US8928589B2 (en) * 2011-04-20 2015-01-06 Qualcomm Incorporated Virtual keyboards and methods of providing the same
US8840466B2 (en) 2011-04-25 2014-09-23 Aquifi, Inc. Method and system to create three-dimensional mapping in a two-dimensional game
AU2011242487B2 (en) * 2011-05-16 2015-12-03 Handscape Inc., A Delaware Corporation Method for user input from the back panel of a handheld computerized device
TW201248452A (en) * 2011-05-30 2012-12-01 Era Optoelectronics Inc Floating virtual image touch sensing apparatus
US8760395B2 (en) 2011-05-31 2014-06-24 Microsoft Corporation Gesture recognition techniques
JP5914992B2 (ja) * 2011-06-02 2016-05-11 ソニー株式会社 表示制御装置、表示制御方法、およびプログラム
JP5880916B2 (ja) * 2011-06-03 2016-03-09 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
GB201110159D0 (en) 2011-06-16 2011-07-27 Light Blue Optics Ltd Touch sensitive display devices
GB201110157D0 (en) 2011-06-16 2011-07-27 Light Blue Optics Ltd Touch sensitive display devices
GB201110156D0 (en) 2011-06-16 2011-07-27 Light Blue Optics Ltd Touch-sensitive display devices
EP2725458B1 (en) * 2011-06-23 2016-06-15 Fujitsu Limited Information processing device, input control method, and input control program
US9459758B2 (en) 2011-07-05 2016-10-04 Apple Inc. Gesture-based interface with enhanced features
US9377865B2 (en) 2011-07-05 2016-06-28 Apple Inc. Zoom-based gesture user interface
US8881051B2 (en) 2011-07-05 2014-11-04 Primesense Ltd Zoom-based gesture user interface
US9448724B2 (en) * 2011-07-11 2016-09-20 International Business Machines Corporation Dynamically customizable touch screen keyboard for adapting to user physiology
US20140189569A1 (en) * 2011-07-18 2014-07-03 Syntellia, Inc. User interface for text input on three dimensional interface
US8971572B1 (en) 2011-08-12 2015-03-03 The Research Foundation For The State University Of New York Hand pointing estimation for human computer interaction
US9030498B2 (en) 2011-08-15 2015-05-12 Apple Inc. Combining explicit select gestures and timeclick in a non-tactile three dimensional user interface
US9122311B2 (en) 2011-08-24 2015-09-01 Apple Inc. Visual feedback for tactile and non-tactile user interfaces
US9218063B2 (en) 2011-08-24 2015-12-22 Apple Inc. Sessionless pointing user interface
US20130063366A1 (en) 2011-09-13 2013-03-14 Google Inc. User inputs of a touch-sensitive device
US20130249821A1 (en) * 2011-09-27 2013-09-26 The Board of Trustees of the Leland Stanford, Junior, University Method and System for Virtual Keyboard
GB201117542D0 (en) 2011-10-11 2011-11-23 Light Blue Optics Ltd Touch-sensitive display devices
JP6248635B2 (ja) * 2011-11-08 2017-12-20 ソニー株式会社 センサ装置、解析装置および記憶媒体
US9672609B1 (en) 2011-11-11 2017-06-06 Edge 3 Technologies, Inc. Method and apparatus for improved depth-map estimation
US8635637B2 (en) 2011-12-02 2014-01-21 Microsoft Corporation User interface presenting an animated avatar performing a media reaction
US9100685B2 (en) 2011-12-09 2015-08-04 Microsoft Technology Licensing, Llc Determining audience state or interest using passive sensor data
CN103176592B (zh) * 2011-12-22 2015-09-30 光宝科技股份有限公司 虚拟投影输入系统及其输入检测方法
JP5799817B2 (ja) * 2012-01-12 2015-10-28 富士通株式会社 指位置検出装置、指位置検出方法及び指位置検出用コンピュータプログラム
WO2013108031A2 (en) 2012-01-20 2013-07-25 Light Blue Optics Limited Touch sensitive image display devices
US20140362052A1 (en) * 2012-01-20 2014-12-11 Light Blue Optics Ltd Touch Sensitive Image Display Devices
US8854433B1 (en) 2012-02-03 2014-10-07 Aquifi, Inc. Method and system enabling natural user interface gestures with an electronic system
KR101953165B1 (ko) 2012-02-24 2019-05-22 토마스 제이. 모스카릴로 제스처 인식 디바이스들 및 방법들
US9229534B2 (en) 2012-02-28 2016-01-05 Apple Inc. Asymmetric mapping for tactile and non-tactile user interfaces
JP6051551B2 (ja) * 2012-03-19 2016-12-27 富士通株式会社 測距装置及び入力装置
CN104246682B (zh) * 2012-03-26 2017-08-25 苹果公司 增强的虚拟触摸板和触摸屏
GB201205303D0 (en) 2012-03-26 2012-05-09 Light Blue Optics Ltd Touch sensing systems
US8928590B1 (en) * 2012-04-03 2015-01-06 Edge 3 Technologies, Inc. Gesture keyboard method and apparatus
US8898687B2 (en) 2012-04-04 2014-11-25 Microsoft Corporation Controlling a media program based on a media reaction
JP5966535B2 (ja) * 2012-04-05 2016-08-10 ソニー株式会社 情報処理装置、プログラム及び情報処理方法
GB201206121D0 (en) 2012-04-05 2012-05-16 Bryant Jacklyn Apparatus and method for aiding the learning of a skill
US8850349B2 (en) 2012-04-06 2014-09-30 Google Inc. Smart user-customized graphical keyboard
KR20130115750A (ko) * 2012-04-13 2013-10-22 포항공과대학교 산학협력단 가상 키보드 상의 키 입력을 인식하는 방법 및 그 장치
US9069168B2 (en) * 2012-05-04 2015-06-30 Yong Yan Means for setting separation walls with predetermined heights and shapes on keypads to prevent unintended key hits
CA2775700C (en) 2012-05-04 2013-07-23 Microsoft Corporation Determining a future portion of a currently presented media program
US9122395B2 (en) * 2012-05-29 2015-09-01 Garett Engle Method of capturing system input by relative finger positioning
CN104335145A (zh) * 2012-06-08 2015-02-04 Kmt全球公司 基于空间位置识别的用户界面装置以及方法
CN102778951B (zh) * 2012-06-15 2016-02-10 惠州华阳通用电子有限公司 使用虚拟按键的输入设备及输入方法
JP5962249B2 (ja) * 2012-06-21 2016-08-03 富士通株式会社 文字入力プログラム、情報処理装置および文字入力方法
US9111135B2 (en) 2012-06-25 2015-08-18 Aquifi, Inc. Systems and methods for tracking human hands using parts based template matching using corresponding pixels in bounded regions of a sequence of frames that are a specified distance interval from a reference camera
US8934675B2 (en) * 2012-06-25 2015-01-13 Aquifi, Inc. Systems and methods for tracking human hands by performing parts based template matching using images from multiple viewpoints
DE102012013503B4 (de) * 2012-07-06 2014-10-09 Audi Ag Verfahren und Steuerungssystem zum Betreiben eines Kraftwagens
US9317109B2 (en) 2012-07-12 2016-04-19 Mep Tech, Inc. Interactive image projection accessory
US9305229B2 (en) 2012-07-30 2016-04-05 Bruno Delean Method and system for vision based interfacing with a computer
KR101385263B1 (ko) * 2012-08-23 2014-04-16 주식회사 셀루온 가상 키보드를 위한 시스템 및 방법
US8836768B1 (en) 2012-09-04 2014-09-16 Aquifi, Inc. Method and system enabling natural user interface gestures with user wearable glasses
TWI472954B (zh) * 2012-10-09 2015-02-11 Cho Yi Lin 可承載通訊電子裝置之可攜式電子輸入裝置及其系統
CN103729132B (zh) * 2012-10-15 2017-09-29 联想(北京)有限公司 一种字符输入方法、装置、虚拟键盘及电子设备
KR20140055173A (ko) * 2012-10-30 2014-05-09 삼성전자주식회사 입력 장치 및 그의 입력 제어 방법
US10824297B2 (en) 2012-11-26 2020-11-03 Google Llc System for and method of accessing and selecting emoticons, content, and mood messages during chat sessions
JP2014109876A (ja) * 2012-11-30 2014-06-12 Toshiba Corp 情報処理装置、情報処理方法及びプログラム
US9857470B2 (en) 2012-12-28 2018-01-02 Microsoft Technology Licensing, Llc Using photometric stereo for 3D environment modeling
DE102013000072A1 (de) * 2013-01-08 2014-07-10 Audi Ag Bedienschnittstelle für eine handschriftliche Zeicheneingabe in ein Gerät
IN2013CH00469A (ko) 2013-01-21 2015-07-31 Keypoint Technologies India Pvt Ltd
US10474355B2 (en) 2013-01-21 2019-11-12 Keypoint Technologies India Pvt. Ltd. Input pattern detection over virtual keyboard for candidate word identification
US9129155B2 (en) 2013-01-30 2015-09-08 Aquifi, Inc. Systems and methods for initializing motion tracking of human hands using template matching within bounded regions determined using a depth map
US9092665B2 (en) 2013-01-30 2015-07-28 Aquifi, Inc Systems and methods for initializing motion tracking of human hands
JP6127564B2 (ja) * 2013-02-15 2017-05-17 コニカミノルタ株式会社 タッチ判定装置、タッチ判定方法、およびタッチ判定プログラム
US9940553B2 (en) 2013-02-22 2018-04-10 Microsoft Technology Licensing, Llc Camera/object pose from predicted coordinates
JP2014170149A (ja) * 2013-03-05 2014-09-18 Funai Electric Co Ltd プロジェクタ
JP6037900B2 (ja) * 2013-03-11 2016-12-07 日立マクセル株式会社 操作検出装置及び操作検出方法
US10721448B2 (en) 2013-03-15 2020-07-21 Edge 3 Technologies, Inc. Method and apparatus for adaptive exposure bracketing, segmentation and scene organization
US9298266B2 (en) 2013-04-02 2016-03-29 Aquifi, Inc. Systems and methods for implementing three-dimensional (3D) gesture based graphical user interfaces (GUI) that incorporate gesture reactive interface objects
JP6171502B2 (ja) * 2013-04-04 2017-08-02 船井電機株式会社 プロジェクタおよびプロジェクタ機能を有する電子機器
JP2014203323A (ja) * 2013-04-08 2014-10-27 船井電機株式会社 空間入力装置
US9323338B2 (en) 2013-04-12 2016-04-26 Usens, Inc. Interactive input system and method
US20140354602A1 (en) * 2013-04-12 2014-12-04 Impression.Pi, Inc. Interactive input system and method
WO2014176370A2 (en) 2013-04-23 2014-10-30 Handscape Inc. Method for user input from alternative touchpads of a computerized system
KR101411569B1 (ko) 2013-06-05 2014-06-27 고려대학교 산학협력단 가상 키보드를 이용한 정보 처리 장치 및 방법
US10533850B2 (en) 2013-07-12 2020-01-14 Magic Leap, Inc. Method and system for inserting recognized object data into a virtual world
US9798388B1 (en) 2013-07-31 2017-10-24 Aquifi, Inc. Vibrotactile system to augment 3D input systems
US9778546B2 (en) 2013-08-15 2017-10-03 Mep Tech, Inc. Projector for projecting visible and non-visible images
CN104423578B (zh) * 2013-08-25 2019-08-06 杭州凌感科技有限公司 交互式输入系统和方法
US10168897B2 (en) 2013-08-30 2019-01-01 Hewlett-Packard Development Company, L.P. Touch input association
CN103558948A (zh) * 2013-10-31 2014-02-05 中山大学 一种应用在虚拟光学键盘人机交互方法
KR102206053B1 (ko) * 2013-11-18 2021-01-21 삼성전자주식회사 입력 도구에 따라 입력 모드를 변경하는 전자 장치 및 방법
US9857971B2 (en) * 2013-12-02 2018-01-02 Industrial Technology Research Institute System and method for receiving user input and program storage medium thereof
US9529465B2 (en) * 2013-12-02 2016-12-27 At&T Intellectual Property I, L.P. Secure interaction with input devices
CN103631382A (zh) * 2013-12-20 2014-03-12 大连大学 一种激光投影虚拟键盘
KR101483605B1 (ko) * 2014-01-03 2015-01-16 주식회사 큐브전자 빔프로젝터를 갖는 태블릿컴퓨터
US9507417B2 (en) 2014-01-07 2016-11-29 Aquifi, Inc. Systems and methods for implementing head tracking based graphical user interfaces (GUI) that incorporate gesture reactive interface objects
US9619105B1 (en) 2014-01-30 2017-04-11 Aquifi, Inc. Systems and methods for gesture based interaction with viewpoint dependent user interfaces
JP2015153353A (ja) * 2014-02-19 2015-08-24 パイオニア株式会社 情報処理装置及び方法、並びにコンピュータプログラム
CN104866070A (zh) * 2014-02-20 2015-08-26 联想(北京)有限公司 信息处理的方法及电子设备
CN103809756B (zh) * 2014-02-24 2018-08-31 联想(北京)有限公司 一种信息处理方法及电子设备
CN103793061B (zh) * 2014-03-03 2017-01-11 联想(北京)有限公司 一种控制方法及电子设备
FR3020480A1 (fr) * 2014-04-24 2015-10-30 Vincent Donnet Dispositif et procede interface de controle d'un terminal de communication
WO2015175964A1 (en) * 2014-05-15 2015-11-19 Burch Reuben Wearable devices for courier processing and methods of use thereof
CN104049772B (zh) * 2014-05-30 2017-11-07 北京搜狗科技发展有限公司 一种输入方法、装置和系统
US9766806B2 (en) 2014-07-15 2017-09-19 Microsoft Technology Licensing, Llc Holographic keyboard display
CN105451052B (zh) * 2014-08-28 2018-08-03 鸿富锦精密工业（深圳）有限公司 虚拟键盘建立方法及系统
CN105468209A (zh) * 2014-09-25 2016-04-06 硕擎科技股份有限公司 输入设备的虚拟二维定位模块及虚拟输入设备
CN107077221A (zh) * 2014-09-29 2017-08-18 惠普发展公司有限责任合伙企业 虚拟键盘
US9733048B2 (en) 2015-01-06 2017-08-15 Egismos Technology Corporation Shooting training and game system with virtual target
KR102345911B1 (ko) 2015-01-16 2022-01-03 삼성전자주식회사 가상 입력 장치 및 이를 이용한 사용자 입력 수신 방법
JP2016162162A (ja) * 2015-03-02 2016-09-05 株式会社リコー 接触検出装置、プロジェクタ装置、電子黒板装置、デジタルサイネージ装置、プロジェクタシステム及び接触検出方法
US10139854B2 (en) 2015-04-21 2018-11-27 Dell Products L.P. Dynamic display resolution management for an immersed information handling system environment
US9720446B2 (en) 2015-04-21 2017-08-01 Dell Products L.P. Information handling system projected work space calibration
US9804733B2 (en) 2015-04-21 2017-10-31 Dell Products L.P. Dynamic cursor focus in a multi-display information handling system environment
US9753591B2 (en) 2015-04-21 2017-09-05 Dell Products L.P. Capacitive mat information handling system display and totem interactions
US9720550B2 (en) 2015-04-21 2017-08-01 Dell Products L.P. Adaptable input active zones at an information handling system projected user interface
US11106314B2 (en) 2015-04-21 2021-08-31 Dell Products L.P. Continuous calibration of an information handling system projected user interface
US9804718B2 (en) 2015-04-21 2017-10-31 Dell Products L.P. Context based peripheral management for interacting with an information handling system
US9921644B2 (en) 2015-04-21 2018-03-20 Dell Products L.P. Information handling system non-linear user interface
US9791979B2 (en) * 2015-04-21 2017-10-17 Dell Products L.P. Managing inputs at an information handling system by adaptive infrared illumination and detection
US9690400B2 (en) 2015-04-21 2017-06-27 Dell Products L.P. Information handling system interactive totems
US9983717B2 (en) * 2015-04-21 2018-05-29 Dell Products L.P. Disambiguation of false touch inputs at an information handling system projected user interface
US11243640B2 (en) 2015-04-21 2022-02-08 Dell Products L.P. Information handling system modular capacitive mat with extension coupling devices
CN104881135B (zh) * 2015-05-28 2018-07-03 联想(北京)有限公司 一种信息处理方法及电子设备
CN104951073B (zh) * 2015-06-19 2017-03-29 济南大学 一种基于虚拟界面的手势交互方法
US9971457B2 (en) * 2015-06-26 2018-05-15 Intel Corporation Audio augmentation of touch detection for surfaces
CN106325488B (zh) * 2015-07-09 2019-07-09 北京搜狗科技发展有限公司 一种输入方法、输入装置、服务器和输入系统
IL244777A0 (en) * 2015-07-26 2016-07-31 Hagar Shema A device and method for studying people
JP2017037583A (ja) * 2015-08-14 2017-02-16 レノボ・シンガポール・プライベート・リミテッド コンピュータの入力システム
US11241216B2 (en) * 2015-09-09 2022-02-08 Canon Medical Systems Corporation Method of controlling portable information terminal and medical diagnostic imaging apparatus
US9898809B2 (en) * 2015-11-10 2018-02-20 Nanjing University Systems, methods and techniques for inputting text into mobile devices using a camera-based keyboard
US20170161903A1 (en) * 2015-12-03 2017-06-08 Calay Venture S.á r.l. Method and apparatus for gesture recognition
US20170160818A1 (en) * 2015-12-04 2017-06-08 Synerdyne Corporation Reprogramable multi-host, multi-character set keyboard
US10166995B2 (en) * 2016-01-08 2019-01-01 Ford Global Technologies, Llc System and method for feature activation via gesture recognition and voice command
CN109196577A (zh) * 2016-02-29 2019-01-11 智能灯公司D/B/A兰皮克斯 用于为计算机化系统提供用户界面并与虚拟环境交互的方法和设备
CN205540572U (zh) * 2016-03-08 2016-08-31 硕擎科技股份有限公司 供搭配手机使用的虚拟输入设备
TWI695307B (zh) * 2016-04-29 2020-06-01 姚秉洋 螢幕鍵盤之顯示方法及其電腦程式產品與非暫態電腦可讀取媒體
USD811485S1 (en) * 2016-05-24 2018-02-27 Tangible Play, Inc. Programming tile
USD811486S1 (en) * 2016-05-24 2018-02-27 Tangible Play, Inc. Programming tile
USD795348S1 (en) * 2016-05-24 2017-08-22 Tangible Play, Inc. Programming tile
USD795349S1 (en) 2016-05-24 2017-08-22 Tangible Play, Inc. Programming tile
USD812143S1 (en) * 2016-05-24 2018-03-06 Tangible Play, Inc. Programming tile
US10146337B2 (en) * 2016-09-15 2018-12-04 Samsung Electronics Co., Ltd. Digital handwriting device and method of using the same
US10146366B2 (en) 2016-11-09 2018-12-04 Dell Products L.P. Information handling system capacitive touch totem with optical communication support
US10139930B2 (en) 2016-11-09 2018-11-27 Dell Products L.P. Information handling system capacitive touch totem management
US10139973B2 (en) 2016-11-09 2018-11-27 Dell Products L.P. Information handling system totem tracking management
US10496216B2 (en) 2016-11-09 2019-12-03 Dell Products L.P. Information handling system capacitive touch totem with optical communication support
US10139951B2 (en) 2016-11-09 2018-11-27 Dell Products L.P. Information handling system variable capacitance totem input management
US10499039B2 (en) 2016-12-15 2019-12-03 Egismos Technology Corporation Path detection system and path detection method generating laser pattern by diffractive optical element
JP6390736B2 (ja) * 2017-03-15 2018-09-19 船井電機株式会社 空間入力装置
US20180267615A1 (en) * 2017-03-20 2018-09-20 Daqri, Llc Gesture-based graphical keyboard for computing devices
CA3061332A1 (en) * 2017-05-19 2018-11-22 Magic Leap, Inc. Keyboards for virtual, augmented, and mixed reality display systems
FR3075425A1 (fr) * 2017-12-14 2019-06-21 Societe Bic Appareil pour application de realite augmentee
US11460911B2 (en) 2018-01-11 2022-10-04 Steelseries Aps Method and apparatus for virtualizing a computer accessory
CN108196730A (zh) * 2018-01-18 2018-06-22 安徽三弟电子科技有限责任公司 一种多功能的激光虚拟键盘系统
KR102163825B1 (ko) * 2018-02-24 2020-10-13 링크플로우 주식회사 사용자 장치의 사용자 인터페이스 구현 방법 및 이러한 방법을 수행하는 장치
US10459528B2 (en) 2018-02-28 2019-10-29 Dell Products L.P. Information handling system enhanced gesture management, control and detection
TWI650677B (zh) * 2018-03-08 2019-02-11 三竹資訊股份有限公司 顯示動態虛擬鍵盤之方法及其電腦程式產品
CN112567319A (zh) * 2018-03-09 2021-03-26 彼乐智慧科技（北京）有限公司 一种信号输入的方法及装置
CN108646910A (zh) * 2018-03-20 2018-10-12 重庆邮电大学 一种基于深度图像的三维动态手指文本输入系统及方法
US10719173B2 (en) * 2018-04-04 2020-07-21 Facebook Technologies, Llc Transcribing augmented reality keyboard input based on hand poses for improved typing accuracy
US11188154B2 (en) * 2018-05-30 2021-11-30 International Business Machines Corporation Context dependent projection of holographic objects
KR102076350B1 (ko) * 2018-06-12 2020-02-11 박행운 가상 데이터 입력 화면을 이용한 오디오 데이터 입출력 장치 및 이의 실행 방법
US10664101B2 (en) 2018-06-28 2020-05-26 Dell Products L.P. Information handling system touch device false touch detection and mitigation
US10761618B2 (en) 2018-06-28 2020-09-01 Dell Products L.P. Information handling system touch device with automatically orienting visual display
US10635199B2 (en) 2018-06-28 2020-04-28 Dell Products L.P. Information handling system dynamic friction touch device for touchscreen interactions
US10817077B2 (en) 2018-06-28 2020-10-27 Dell Products, L.P. Information handling system touch device context aware input tracking
US10852853B2 (en) 2018-06-28 2020-12-01 Dell Products L.P. Information handling system touch device with visually interactive region
US10795502B2 (en) 2018-06-28 2020-10-06 Dell Products L.P. Information handling system touch device with adaptive haptic response
US10976820B2 (en) * 2018-07-12 2021-04-13 Microsoft Technology Licensing, Llc Natural interactions with virtual objects and data through touch
CN109144332B (zh) * 2018-10-12 2024-02-06 中国计量大学 移动电子设备及其便携式键盘和智能感知输入法
US10902250B2 (en) * 2018-12-21 2021-01-26 Microsoft Technology Licensing, Llc Mode-changeable augmented reality interface
CN109480904A (zh) * 2018-12-25 2019-03-19 无锡祥生医疗科技股份有限公司 一种超声成像方法、装置及系统
KR102269466B1 (ko) * 2019-05-21 2021-06-28 이진우 동작 인식 기반의 문자 입력 방법 및 그 장치
US10924639B2 (en) 2019-05-29 2021-02-16 Disney Enterprises, Inc. System and method for polarization and wavelength gated transparent displays
US11392290B2 (en) 2020-06-26 2022-07-19 Intel Corporation Touch control surfaces for electronic user devices and related methods
CN112684916A (zh) * 2021-01-12 2021-04-20 维沃移动通信有限公司 信息输入方法、装置及电子设备
CN115033170A (zh) * 2022-05-20 2022-09-09 阿里巴巴（中国）有限公司 一种基于虚拟键盘的输入控制系统、方法及相关装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5174759A (en) 1988-08-04 1992-12-29 Preston Frank S TV animation interactively controlled by the viewer through input above a book page
US5528263A (en) 1994-06-15 1996-06-18 Daniel M. Platzker Interactive projected video image display system
US5767842A (en) * 1992-02-07 1998-06-16 International Business Machines Corporation Method and device for optical input of commands or data
US5798519A (en) 1996-02-12 1998-08-25 Golf Age Technologies, Inc. Method of and apparatus for golf driving range distancing using focal plane array
WO2000002187A1 (en) * 1998-07-01 2000-01-13 Deluca Michael J Stereoscopic user interface method and apparatus

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4988981B1 (en) * 1987-03-17 1999-05-18 Vpl Newco Inc Computer data entry and manipulation apparatus and method
US5198877A (en) 1990-10-15 1993-03-30 Pixsys, Inc. Method and apparatus for three-dimensional non-contact shape sensing
US5168531A (en) * 1991-06-27 1992-12-01 Digital Equipment Corporation Real-time recognition of pointing information from video
JP3419050B2 (ja) * 1993-11-19 2003-06-23 株式会社日立製作所 入力装置
US5969698A (en) * 1993-11-29 1999-10-19 Motorola, Inc. Manually controllable cursor and control panel in a virtual image
US6281878B1 (en) * 1994-11-01 2001-08-28 Stephen V. R. Montellese Apparatus and method for inputing data
JP3481631B2 (ja) * 1995-06-07 2003-12-22 ザ トラスティース オブ コロンビア ユニヴァーシティー イン ザ シティー オブ ニューヨーク 能動型照明及びデフォーカスに起因する画像中の相対的なぼけを用いる物体の３次元形状を決定する装置及び方法
DE19539955A1 (de) * 1995-10-26 1997-04-30 Sick Ag Optische Erfassungseinrichtung
US5825352A (en) * 1996-01-04 1998-10-20 Logitech, Inc. Multiple fingers contact sensing method for emulating mouse buttons and mouse operations on a touch sensor pad
WO1998009270A1 (en) * 1996-08-28 1998-03-05 Via, Inc. Touch screen systems and methods
US6252598B1 (en) * 1997-07-03 2001-06-26 Lucent Technologies Inc. Video hand image computer interface
US6115128A (en) * 1997-09-17 2000-09-05 The Regents Of The Univerity Of California Multi-dimensional position sensor using range detectors
US6037882A (en) * 1997-09-30 2000-03-14 Levy; David H. Method and apparatus for inputting data to an electronic system
US6043805A (en) * 1998-03-24 2000-03-28 Hsieh; Kuan-Hong Controlling method for inputting messages to a computer
US6266048B1 (en) * 1998-08-27 2001-07-24 Hewlett-Packard Company Method and apparatus for a virtual display/keyboard for a PDA
US6614422B1 (en) * 1999-11-04 2003-09-02 Canesta, Inc. Method and apparatus for entering data using a virtual input device
US6512838B1 (en) * 1999-09-22 2003-01-28 Canesta, Inc. Methods for enhancing performance and data acquired from three-dimensional image systems
WO2002095679A2 (en) * 2001-05-23 2002-11-28 Canesta, Inc. Enhanced dynamic range conversion in 3-d imaging

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5174759A (en) 1988-08-04 1992-12-29 Preston Frank S TV animation interactively controlled by the viewer through input above a book page
US5767842A (en) * 1992-02-07 1998-06-16 International Business Machines Corporation Method and device for optical input of commands or data
US5528263A (en) 1994-06-15 1996-06-18 Daniel M. Platzker Interactive projected video image display system
US5798519A (en) 1996-02-12 1998-08-25 Golf Age Technologies, Inc. Method of and apparatus for golf driving range distancing using focal plane array
WO2000002187A1 (en) * 1998-07-01 2000-01-13 Deluca Michael J Stereoscopic user interface method and apparatus

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100969681B1 (ko) * 2008-05-02 2010-07-14 주식회사 그린벨임베디드시스템 키보드 인식방법
US10346529B2 (en) 2008-09-30 2019-07-09 Microsoft Technology Licensing, Llc Using physical objects in conjunction with an interactive surface
KR101081476B1 (ko) 2009-10-14 2011-11-08 건국대학교 산학협력단 햅틱 ｕ테이블
WO2011106201A3 (en) * 2010-02-23 2011-12-22 Microsoft Corporation Projectors and depth cameras for deviceless augmented reality and interaction
US8730309B2 (en) 2010-02-23 2014-05-20 Microsoft Corporation Projectors and depth cameras for deviceless augmented reality and interaction
US9509981B2 (en) 2010-02-23 2016-11-29 Microsoft Technology Licensing, Llc Projectors and depth cameras for deviceless augmented reality and interaction
WO2012070750A1 (ko) * 2010-11-25 2012-05-31 Choi Jin Won 단축키 지원 키보드
US9329469B2 (en) 2011-02-17 2016-05-03 Microsoft Technology Licensing, Llc Providing an interactive experience using a 3D depth camera and a 3D projector
US9480907B2 (en) 2011-03-02 2016-11-01 Microsoft Technology Licensing, Llc Immersive display with peripheral illusions
US9597587B2 (en) 2011-06-08 2017-03-21 Microsoft Technology Licensing, Llc Locational node device
KR101873842B1 (ko) * 2015-03-11 2018-07-04 한양대학교 산학협력단 깊이 센서를 이용하는 가상 입력 장치 및 이를 이용하는 방법
JP2017072795A (ja) * 2015-10-09 2017-04-13 セイコーエプソン株式会社 プロジェクター、及び、プロジェクターの制御方法。

Also Published As

Publication number Publication date
EP1332488A2 (en) 2003-08-06
CN1232943C (zh) 2005-12-21
US6614422B1 (en) 2003-09-02
EP1332488A4 (en) 2006-06-14
JP2004500657A (ja) 2004-01-08
AU2001261818A1 (en) 2001-08-20
DE60143094D1 (de) 2010-10-28
ATE481674T1 (de) 2010-10-15
US20040046744A1 (en) 2004-03-11
CN1439151A (zh) 2003-08-27
WO2001059975A3 (en) 2002-01-31
EP1332488B1 (en) 2010-09-15
KR20020079847A (ko) 2002-10-19
HK1058425A1 (en) 2004-05-14
WO2001059975A2 (en) 2001-08-16

Similar Documents

Publication Publication Date Title
KR100811015B1 (ko) 가상 입력 장치를 사용하여 데이터를 입력하는 방법 및 장치
US6512838B1 (en) Methods for enhancing performance and data acquired from three-dimensional image systems
US11093086B2 (en) Method and apparatus for data entry input
US10209881B2 (en) Extending the free fingers typing technology and introducing the finger taps language technology
US7050177B2 (en) Method and apparatus for approximating depth of an object&#39;s placement onto a monitored region with applications to virtual interface devices
US8971565B2 (en) Human interface electronic device
US8022928B2 (en) Free-space pointing and handwriting
US7006236B2 (en) Method and apparatus for approximating depth of an object&#39;s placement onto a monitored region with applications to virtual interface devices
US5900863A (en) Method and apparatus for controlling computer without touching input device
JP3529510B2 (ja) 情報入力装置および情報入力装置の制御方法
US20060028457A1 (en) Stylus-Based Computer Input System
US9264037B2 (en) Keyboard including movement activated optical keys and related methods
KR20150010702A (ko) 제스처 인식 디바이스들 및 방법들
JP2004500657A5 (ko)
GB2470654A (en) Data input on a virtual device using a set of objects.
CN108021238A (zh) 新概念盲打键盘
KR101053679B1 (ko) 입력 장치의 키 입력 및 포인트 입력 방법 및 이를 수행하는 입력 장치
WO2003100593A1 (en) Method and apparatus for approximating depth of an object&#39;s placement onto a monitored region

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
G170 Re-publication after modification of scope of protection [patent]
FPAY Annual fee payment

Payment date: 20130121

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20140123

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20150121

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20160127

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20170201

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20180201

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20190129

Year of fee payment: 12

FPAY Annual fee payment

Payment date: 20200129

Year of fee payment: 13