KR100734894B1

KR100734894B1 - 사용자 오브젝트와 가상 입력 장치의 상호작용을 탐색하고 배치하는 준 3차원 방법 및 장치

Info

Publication number: KR100734894B1
Application number: KR1020037003427A
Authority: KR
Inventors: 카를로 토마시; 아바스 라피
Original assignee: 카네스타, 인코포레이티드
Priority date: 2000-09-07
Filing date: 2001-09-07
Publication date: 2007-07-03
Also published as: JP2004513416A; EP1336172B1; EP1336172A1; KR20030038732A; ATE365942T1; HK1058571A1; WO2002021502A1; EP1336172A4; DE60129152D1; AU2001290674A1

Abstract

시스템(10)은 2개의 광 시스템 OS1(20), OS2(60)을 포함하고, 가상 장치(50)를 이용하여 컴패니언 장치(80)로 정보를 전송한다. 구조화된 광 실시예에서, OS1(20)은 가상 장치(50)상으로 이에 평행하게 광 에너지의 팬 빔 플레인(30)을 발산한다. 사용자 오브젝트(110)가 관심있는 빔 플레인을 관통하면, OS2(60)는 이벤트를 저장한다. 삼각 측량법은 가상 접촉을 검출할 수 있으며, 사용자가 의도한 정보를 컴패니언 시스템(80, 90)으로 전송한다. 비구조화 광 실시예에서, OS1(20)은 바람직하게도 디지털 카메라이며, 이는 광 에너지의 능동 소스에 의해 조명되는 관심있는 플레인을 한정하는 시야를 가진다. 바람직하게도, 능동 소스 OS1(20) 및 OS2(60)는 동기화되어 동작하여 주변광의 효과를 감소시킨다. 구조화되지 않은 수동 광 실시예는 광 에너지 소스가 주변광이라는 것을 제외하고는 더 작다. 감산 기술(substraction technique)은 바람직하게도 신호대 잡음비를 개선한다. 컴패니언 장치(80)는 본 발명을 수용할 수 있다.

Description

사용자 오브젝트와 가상 입력 장치의 상호작용을 탐색하고 배치하는 준 3차원 방법 및 장치{QUASI-THREE-DIMENSIONAL METHOD AND APPARATUS TO DETECT AND LOCALIZE INTERACTION OF USER-OBJECT AND VIRTUAL TRANSFER DEVICE}

2001년 4월 27일에 출원된 "플래너 범위 센서를 이용한 입력 방법"이라는 제하의, 현재 출원 중인 미국 가특허 출원 제60/287,115호와 2001년 2월 27일에 출원된 "가상 감지 표면을 위한 직교 삼각 시스템"이라는 제하의, 현재 출원 중인 미국 가특허 출원 제60/272,120호, 2000년 9월 7일에 출원된 "가상 키보드 시스템을 위한 이미지 프로세싱 기술 애플리케이션"이라는 제하의, 현재 출원 중인 미국 가특허 출원 제60/231,184호로부터 우선권을 주장한다. 게다가, 상기 출원은 2000년 2월 11일에 출원된 "가상 입력 장치를 사용하여 데이터를 입력하는 방법 및 장치"라는 제하의, 현재 출원 중인 미국 가특허 출원 제09/502,499호의 부분 연속 출원이다. 상기 출원 각각은 이하 참고로 통합되어 있다.

본 발명은 일반적으로 명령이나 데이터를 시스템에 입력하거나 또는 전송하기 위한 장치와 관련하여 스타일러스나 사용자의 손가락을 감지하는 것에 관한 것으로, 보다 구체적으로는 명령이나 또는 데이터 및/또는 다른 정보를 시스템에 입력하거나 전송하는데 사용되는 가상 장치와 관련한 감지에 관한 것이다.

명령 및/또는 데이터를 입력하거나 또는 다른 정보를 예를 들어 컴퓨터 시스템, 음악 장치, 심지어는 전화와 같은 전자 장치에 전송하기 위한 가상 입력 장치들의 사용이 종종 요구된다. 예를 들어, 비록 컴퓨터들이 현재는 거의 포켓 사이즈로 구현될 수 있지만, 작은 키보드에서 데이터나 명령들을 입력하는 것은 시간이 소모되며, 잘못 입력할 수 있다. 많은 셀룰러 전화기들이 요즘에는 전자 메일 통신을 수행하고 있지만, 실제적으로 상기 작은 전화기 터치 패드를 이용하여 메시지를 입력하는 것은 어렵다.

예를 들어, PDA는 컴퓨터의 많은 기능들을 가지고 있지만, 매우 작거나 존재하지 않는 키보드로 인해 많은 어려움이 있다. 만약 어떤 시스템이 사용자의 손가락이나 또는 스타일러스가 언제 가상 키보드에 접촉하고 있는지와 어떤 손가락이 어떤 가상 키에 접촉하고 있는지를 결정하기 위해 사용될 수 있으면, 상기 시스템의 출력은 키보드 정보 대신에 상기 PDA로 입력될 수 있을 것이다.(상기 "손가락" 또는 "손가락들" 및 "스타일러스(stylus)"란 용어들은 이하 동일한 의미로 사용된다). 상기와 같은 예에서, 상기 가상 키보드는 사용자의 손을 가이드하는, 키들이 프린트된 키보드 크기의 펼쳐진 한장의 종이일 수 있다. 상기 가상 키보드 또는 기타 입력 장치는 단순히 작업 표면이며, 센서들이나 기계적 또는 전기적 구성요소들을 가지고 있지 않다는 것을 이해할 수 있다. 상기 종이와 키들은 실제적으로는 정보를 입력하지 않지만, 상기 사용자의 손가락과 상기 종이의 부분 사이를 인터페이스하거나 또는 상호 작용할 수 있게 하며, 비록 종이가 아니더라고, 키들이 존재하는 작업 표면의 일부분은 상기 PDA에 정보를 입력하는데 사용될 수 있다. 유사한 가상 장치와 시스템이 셀룰러 전화에 전자 메일을 입력하는데 유용하게 사용될 수 있다. 가상 피아노-타입 키보드는 실제 음악 장치를 반주하는데 사용될 수 있다. 어떻게 사용자의 손가락이나 또는 스타일러스가 상기 가상 장치와의 관계에서 어디에 있는지를 탐색하고 감지할 수 있는지가 문제된다.

Korth의 "명령들 또는 데이터의 광학적 입력을 위한 방법 및 장치"라는 제하의 미국 특허 제5,767,848호는 양-방향 TV 비디오 카메라를 사용하는 가상 장치를 구현한다. 상기 광학 시스템은 휘도 데이터에 의존하며, 주변 광의 안정적인 소스를 요구하지만, 불행히도 휘도 데이터는 이미징 시스템을 혼동시킬 수 있다. 예를 들어, 전경 이미지의 사용자 손가락은 배경 지역으로부터 구분될 수 없을 수 있다. 게다가, 가상 장치를 방해하는 그늘이나 사용자의 손들에 기인한 다른 이미지 방해 현상은 Korth 시스템의 구현을 어느 정도 정확하게 작동하지 못하게 할 수 있다. Korth는 또한 상기 가상 장치와 관련하여 사용자의 손가락, 손가락 위치의 윤곽의 조명 및 손가락 움직임의 결정을 요구한다.

Bamji등의 "CMOS-호환 3차원 이미지 센서 IC"라는 제하로 1999년 9월 22일에 출원된 출원번호 제09/406,059호의 미국 특허 제______는 명령이나 데이터를 전자 시스템에 입력할 수 있는 가상 장치에서 사용할 수 있는 정교한 3차원 이미징 시스템을 공시하고 있다. 상기 특허에서, 여러 범위 확인 시스템들이 공시되어 있으며, 상기 시스템들은 사용자의 손가락팁과 예를 들어 키보드와 같은 가상 입력 장치 사이의 인터페이스를 결정하는데 사용될 수 있다. 이미징은 시간 진행 측정방법(time-flight measurement)을 사용하여 3차원에서 결정된다. 광원(light sorce)은 타겟 오브젝트, 예를 들면 가상 장치 방향으로 광학 에너지를 방사하고, 이미지 경로내의 오브젝트 부분에 의해 반사된 에너지는 광다이오드의 어레이에 의해 탐지되었다. 다양한 정교한 기술들을 사용하여, 광학 에너지 및 광다이오드 어레이에 의한 광학 에너지의 탐지 사이의 실제 비행 시간(time-of-flight)이 결정되었다. 이러한 계측은 3차원, 예를 들면 (x,y,z) 상에서 타겟 오브젝트상의 포인트에 대한 벡터 거리를 계산하는 것을 가능케 한다. 상기 시스템은 반사된 방사 에너지를 검사하고, 주변 광 없이 기능을 수행할 수 있다. 예를 들어 타겟 오브젝트가 컴퓨터 키보드의 레이아웃, 아마도 프린트된 키를 갖는 종이 라면, 상기 시스템은 어떤 사용자의 손가락이 어떤 순서로 타겟의 어느 부분, 예를 들면 어떤 가상 키를 터치하였는지를 결정할 수 있다. 물론 종이는 선택적이며 사용자의 손가락을 가이드하기 위하여 사용될 것이다.

Bamji 발명을 통해 획득된 3차원 데이터는 사용자 손가락이 표면, 예를 들면 가상 입력 장치를 터치하였을 때 사용자 손가락 위치를 밝혀내기 위해 소프트웨어 처리될 수 있다. 이러한 소프트웨어는 관련 전자장치 또는 시스템(예를 들면, 컴퓨터, PDA, 핸드폰, ,키오스크(Kiosk) 장치, 판매 장치 포인트 등)에 의해 실행되는 애플리케이션에 대한 키보드 이벤트 입력에 대한 요청으로 표면상의 위치에 대한 손가락 접촉을 식별할 수 있다. Bamji 시스템은 명령 및/또는 데이터를 3차원 이미징을 사용하여 사용자 시스템에 입력하는데 사용되어 사용자 손가락의 인터페이스 및 가상 입력 장치를 분석하지만, 보다 덜 복잡하고 보다 덜 정교한 시스템이 바람직하다. Bamji 시스템과 같이, 새로운 시스템은 대량 생산에 있어서 상대적으 로 저렴하여야 하고 배터리 동작이 가능하도록 상대적으로 적은 전력을 소모하여야 한다.

본 발명은 이러한 시스템을 제공한다.

본 발명은 가상 입력 장치로 사용자-오브젝트의 상호작용으로부터 정보를 획득하는 방법으로서, (a) 상기 가상 입력 장치의 가정 위치에 실질적으로 평행하고 상기 위치로 이격된 플레인을 규정하는 단계; (b) 사용자-오브젝트가 상기 가상 입력 장치와 상호작용하기 위하여 상기 플레인을 관통할 때를 감지하는 단계; 및 (c) 상기 플레인 상에서 상기 사용자-오브젝트의 일부의 상대적인 위치를 결정하는 단계를 포함한다. 본 발명은 사용자 손가락 또는 스타일러스와 상기에서 작업 표면으로 언급된 수동 터치 표면(예를 들면, 가상 입력 장치) 사이의 접촉 위치를 플레인 준-3차원 센싱을 사용하여 밝혀내는 것에 관한 것이다. 준-3차원 센싱은 접촉 포인트의 결정이 3차원 공간에서 임의적으로 방향이 정해진 2차원 표면을 기준으로 사용하여 3차원에서 이뤄지는 것을 의미한다. 일단 터치가 탐지되면, 본 발명은 터치 영역을 밝혀내어 가상 입력 장치의 어느 부위에서 터치가 발생하였는지, 터치된 영역에 상응하는 어떤 데이터 또는 명령 키스트로크가 이러한 터치에 응답하여 발생되었는지를 결정한다. 대안적으로, 가상 입력 장치는 가상 마우스 또는 트랙볼을 포함할 수 있다. 이러한 실시예에서, 본 발명은 가상 입력 장치와의 접촉 포인트 좌표를 탐지 및 리포트하고, 이러한 좌표들은 애플리케이션과 결합되어, 아마도 디스플레이 상의 커서(가상 마우스 또는 트랙볼)를 이동시키고 그림 또는 기록 애플리케이션(가상 펜 또는 스타일러스)용 소위 디지털 잉크를 제공한다. 다양한 실시예에서, 바람직하게는 삼각측량 분석 방법이 사용자-오브젝트의 가상 입력 장치와의 접촉이 어디서 일어났는지를 결정하기 위해 사용된다.

소위 구조화-광 실시예에서, 본 발명은 가상 입력 장치가 정의될 수 있는 작업 표면에 평행한 빔 앵글(φ)의 팬-빔(fan-beam) 및 작은 이격 거리(△Y)를 정의하는 광학 에너지 플레인을 발생시키는 제1 광학 시스템(OS1)을 포함한다. 이러한 실시예에서, 관심 있는 플레인은 OS1,일반적으로 레이저 또는 LED 광 발생기에 의해 발생된 광의 플레인이다. 이러한 2개의 평행한 플레인들은 일반적으로 수평하지만, 이들은 수직으로 배치되거나 편의에 따라 임의의 각으로 배치될 수도 있다. 본 발명은 OS1에 의해 방사된 것과 동일한 파장의 광학 에너지에 응답하는 제2 광학 시스템(OS2)을 추가로 포함할 수 있다. 바람직하게는, OS2 는 OS1 위에 배치되고 가상 입력 장치가 정의되는 영역 방향으로 상기 팬-빔 플레인에 대해 θ오프셋 각을 갖는다. OS2는 OS1에 의해 방사된 에너지에 응답하지만, 광학 에너지의 파장이 인간에게 시각적으로 보일 필요는 없다.

본 발명은 능동 또는 수동일 수 있는 비-구조화-광 구성을 사용하여 구현될 수도 있다. 수동 삼각측량 실시예에서, OS1은 광학 에너지의 능동 소스가 아닌 카메라이고, OS2는 OS1과 동일한 광학 에너지에 응답하는 카메라로서, 바람직하게는 상기한 바와 같이 배치된다. 이러한 실시예에서, 관심 있는 플레인은 OS1 카메라의 스캔 라인의 투사면이다. 능동 삼각측량 실시예와 같은 비-구조화-광 실시예에서, OS1 및 OS2 는 카메라들이고 본 발명은 OS1 및 OS2가 응답하는 파장들을 갖는 광학 에너지를 방사하는 능동 광원을 추가로 포함한다. 이러한 실시예에서 선택적으로, OS1 및 OS2는 능동 광원으로부터의 출력에 동기화된 셔터 매커니즘 각각을 포함하여, OS1 및 OS2의 셔터들은 광학 에너지가 방사되는 경우에는 개방되고, 그렇지 않은 경우에는 폐쇄되어 있다. 두개의 카메라를 이용하는 비구조화 광 구성의 장점은 작업 표면의 범퍼 또는 불규칙성을 더 우수하게 견딜 수 있다는 것이다. OS1에 의해 정의된 플레인은 작업 표면의 가장 높은 y-차원 포인트(예를 들어, 범퍼)에 따르도록 픽셀 엘리먼트를 감지하는 OS1의 적절한 행을 선택함으로써 선택될 수 있다.

구조화-광 실시예에서, OS2는 오브젝트, 예를 들어, 사용자 손가락 또는 스타일러스가 가상 입력 장치가 정의되는 작업 표면 영역을 터치하기 시작할 때까지 광 에너지를 검출하지 않을 것이다. 그러나, 오브젝트가 OS1에 의해 방출된 광 에너지의 플레인을 관통하자마자, 플레인을 교차하는 손가락 또는 스타일러스의 부분이 비추일 것이다(사용자에게 가시적으로 또는 비가시적으로). OS2는 조명된 오브젝트 영역에 의해 OS2에 대해 반사된 광 에너지를 검출함으로써 관련 플레인과의 교차를 감지한다. 필수적으로 본 발명에서는 OS1의 구성에 의해 결정된 바와 같이, 하나의 플레인만이 관심대상이며, 가상 입력 장치에 병렬인 3차원 공간에서 정의할 수 있는 모든 다른 플레인은 관계없는 것으로 경시될 수 있다. 따라서, 플레인 3차원 센서 시스템은 방출된 팬-빔 플레인상에 발생하는 가상 입력 장치와의 사용자 상호작용을 감지하며, 다른 플레인상의 상호작용은 무시한다.

이러한 방식으로, 본 발명은 가상 입력 장치를 터치한 오브젝트를 검출한다. 관련된 터치-교차가 발생한 것을 감지하면, 본 발명은 그후에 가상 장치의 플레인에 따라 터치의 위치를 2차원으로 국한시킨다. 바람직한 실시예에서, 국한된 이벤트는 가상 컴퓨터 키보드 또는 음악 키보드상의 가상 키가 사용자에 의해 터치됨을 식별하는 것을 포함할 수 있다. 사용자는 예를 들어, "시프트" 키와 또 다른 키와 같이, 한번에 하나 이상의 가상 키를 터치할 수 있다. 터치의 시간 순서는 본 발명에 의해 결정됨을 주목하라. 따라서, 사용자가 "시프트" 또는 "t"의 가상 키를 터치하고 그후에 문자 "h" 및 "e" 가상 키를 터치하면, 본 발명은 "T" 이후에 "h" 이후에 "e" 또는 "The"로서 입력을 인식할 것이다. 본 발명은 주변 광에 의존하지 않으며, 따라서 사용자가 가상 입력 장치의 위치를 알고 있는 것으로 가정하여, 주변 광이 존재하지 않을때도 완전하게 동작할 수 있다.

구조화-광 및/또는 비구조화-광 수동 삼각측량 방법은 사용자의 손과 감지 플레인 간의 접촉 포인트(x, z)를 결정하는데 이용될 수 있다. OS1과 OS2간의 기준선 거리(B)는 공지되어 있기 때문에, 측면이 B 및 OS1, OS2로부터 (x, z)로의 투사 광선(R1, R2)인 포인트 (x, z)와 OS1 및 OS2간에 삼각형이 형성된다. OS1 및 OS2는 투사 광선에 의해 형성된 각도 α₁ 및 α₂ 뿐만 아니라 기준 플레인으로부터 삼각 각도거리의 결정을 허용하며, 삼각법은 투사 광선 길이뿐만 아니라, 표면 포인트(x, z)로의 거리(z)를 산출한다.

본 발명과 관련된 프로세서 유니트는 각각의 가상 입력 장치를 통해 사용자 제어된 오브젝트의 각 교차를 식별하기 위해 소프트웨어를 실행하고, 그로부터 바람직하게는 삼각측량 분석을 이용하여 적절한 사용자-지정 입력 데이터 및/또는 명령을 결정한다. 데이터 및/또는 명령은 그후에 가상 입력 장치가 이용되는 장치 또는 시스템에 대한 입력으로서 본 발명에 의해 출력될 수 있다. 바람직하게는, 본 발명은 특히, 종종 키보드와 같은 큰 규모의 사용자 입력 장치를 구비하지 않는 PDA, 셀룰라 전화 및 다른 소형 팩터 장치 또는 시스템과 같은 컴패니언 장치 또는 시스템내에서 실행될 수 있다. 이러한 컴패니언 장치는 (i) PDA, (ⅱ) 휴대용 통신 장치, (ⅲ) 전자 장치, (ⅳ) 전자 게임 장치 및 (ⅴ) 악기 중 적어도 하나를 포함하며, 상기 가상 입력 장치는 (Ⅰ) 가상 키보드, (Ⅱ) 가상 마우스, (Ⅲ) 가상 트랙볼, (Ⅳ) 가상 펜, (Ⅴ) 가상 트랙패드 및 (Ⅵ) 사용자-인터페이스 선택기 중 적어도 하나를 포함한다. 또한, 이러한 가상 입력 장치는 (ⅰ) 테이블 상부, (ⅱ) 데스크 상부, (ⅲ) 벽(wall), (ⅳ) 판매점 장비, (ⅴ) 서비스점 장비, (ⅵ) 키오스크(kiosk), (ⅶ) 운송수단의 표면, (ⅷ) 투사 디스플레이, (ⅸ) 물리적 디스플레이, (x) CRT, 및 (xi) LCD 중에서 적어도 하나를 선택한 작업 표면에 맵핑된다.

본 발명의 다른 특징 및 장점은 첨부한 도면과 함께 하기의 바람직한 실시예의 상세한 기술을 통해 명백해질 것이다.

도 1a는 본 발명에 따라 가상 입력 장치에 대한 사용자 입력을 검출하는데 사용되는 플레인 준-3차원 검출 구조화-광 시스템을 도시한다.

도 1b는 본 발명에 따라 가상 입력 장치에 대한 사용자 입력을 검출하는데 사용되는 플레인 준-3차원 검출 비구조화 능동 광 시스템을 도시한다.

도 1c는 본 발명에 따라 가상 입력 장치에 대한 사용자 입력을 검출하는데 사용되는 플레인 준-3차원 검출 비구조화 수동 광 시스템을 도시한다.

도 2a는 본 발명에 따라 삼각측량을 이용하는 위치 결정에 관련된 기하학을 도시한다.

도 2b는 본 발명에 따라 제 1 광학 시스템으로서 공간-이격된 방사기 및 반사기의 이용을 도시한다.

도 3a-3e는 본 발명에 따라 OS2 센서, OS2 렌즈 및 조망의 유효 필드 및 이미지 품질에 따른 검출 플레인의 방위의 변동과 관련된 설계 교환을 도시한다.

도 4는 본 발명의 일 실시예에 따라, 도 1b의 예시적인 시스템의 프로세서 유니트에 의해 실행되는 기능을 도시하는 블록도이다.

도 5a는 본 발명에 따라 가상 장치가 5개의 사용자 선택가능 영역을 가지며 컴패니언 장치가 모니터인 실시예를 도시한다.

도 5b는 본 발명에 따라, 상기 가상 장치가 컴퓨터 키보드이며 컴패니언 장 치가 이동 송수신기인 실시예를 도시한다.

도 5c는 본 발명에 따라, 가상 장치가 벽에 설치되거나 투사되고 컴패니언 장치가 모니터인 실시예를 도시한다.

도 6은 본 발명에 따른 플레인 범위 감지를 도시한다.

도 7은 본 발명에 따라 대응하는 정보 또는 데이터 또는 명령을 출력하는데 이용하도록 터치 위치의 예시적인 계산에서 이용되는 좌표 거리 측정을 도시한다.

도 1a는 구조화-광 시스템 실시예에서, 정의된 가상 입력 장치(50 및/또는 50' 및/또는 50")가 있을 때 플레인 작업 표면(40)에 병렬인 광 에너지의 팬-빔 플레인(30)을 방출하는 제 1 광학 시스템(OS1)을 포함하는 준-플레인 3차원 감지 시스템(10)의 바람직한 실시예를 도시한다. 바람직하게는 상기 팬-빔은 팬 각(Φ)을 정의하며 작은 이격 거리(△Y)만큼 작업 표면으로부터 공간-이격된다. 작업 표면을 터치하려 시도하는 소정 오브젝트(예를 들어, 사용자 손가락 또는 스타일러스)는 먼저 팬-빔을 접촉해야 하며, 그로 인해 방출된 광 에너지를 통해 조명된다(가시적으로 또는 비가시적으로). 빔 플레인(30)과 작업 표면 플레인(40)이 도 1A에 수평으로 도시되지만, 이들 두 플레인은 수직으로 또는 실제로 시스템에서 요구하는 다른 각도로 위치할 수 있다. 제한없이, 작업 표면(40)은 투사 이미지를 포함하는 작업 데스크의 일부, 테이블 표면, 예를 들면 항공기의 트레이와 같은 운송수단의 일부, 바람막이 유리 혹은 계기판, 벽, 디스플레이 또는 CRT, LCD 등과 같은 디스플레이를 포함할 수 있다. 여기서 사용된 바와 같이, "플레인"이라는 용어는 전체 플레인의 일부(subset)로서 포함될 수 있는 것으로 이해될 수 있다. 예를 들면, 팬(fan)-빔 플레인(30)은 비록 한정된 폭을 가지며 모든 방향으로 무한하게 연장할 수는 없지만, 플레인으로서 지칭된다.

"가상 입력 장치"에 의한 입력 장치의 이미지는 아마도 인쇄된 이미지를 가지는 종이를 위치시킴으로써 작업 표면(40)상에 존재하거나, 또는 시스템(10)이 작업 표면상으로 입력 장치의 허상을 투사하므로써 또는 문자 그대로 작업 표면(40)상에 어떠한 실상 이미지도 없다고 할 수 있다. 이와 같이, 가상 입력 장치(50, 50', 50")는 작업 키와 같은 기계적 부분을 필요로 하지 않으며, 손가락 혹은 스타일러스의 터치에 민감할 필요가 없다: 요약하면, 가상 입력 장치는 바람직하게는 수동적이다.

도 1A의 예에서, 가상 입력 장치(50)는 실제 크기의 키보드로부터 위로 또는 아래로 전체 사이징 또는 스케일링되는 컴퓨터형 키보드이다. 필요한 경우, 가상 입력 장치는 가상 트랙볼(50') 및/또는 가상 터치패드(50")를 포함할 수 있다. 시스템(10)이 가상 키보드 입력 장치(50), 가상 트랙볼(50') 또는 가상 터치패드(50")를 이용할 때, 대략 50°내지 90° 바람직하게는 90°의 팬 각도가 팬 빔(30)이 일반적으로 사용되는 거리에서 전체 가상 입력 장치를 둘러싸도록 할 수 있다. 더욱이, 이러한 가상 입력 장치를 위해, 수 mm 바람직하게는 1mm에 이르는 이격 거리에서 잘 동작한다.

시스템(10)은 추가로 전형적으로 바람직하게는 OS1(20)으로부터 위쪽으로 이격되며 작업 표면(40)과 플레인(30)쪽으로 대략 10° 내지 90° 바람직하게는 대략 25°의 각도 Θ로 기울어진 플레인형 센서를 가진 카메라인 제 2 광학 시스템 OS2(60)을 포함한다. 시스템(10)은 다른 작업중에서 OS1과 OS2를 관리하는 전자 처리 시스템(70)을 더 포함한다. 시스템(70)은 적어도 바람직하게는 ROM과 RAM을 포함할 수 있는 중앙 처리 장치(CPU)와 관련 메모리를 포함한다.

도 1A에서, 시스템(10) 엘리먼트 OS1(20), OS2(60) 및 프로세서 유니트(70)는 장치(80)상에 또는 장치내에 위치하는 것으로 도시된다. 장치(80)는 시스템(10)의 독립형 장치일 수 있고, 실제로 데이터 또는 명령을 입력하는데 가상 입력 장치(50)가 사용되는 시스템 또는 장치일 수 있다. 후자의 경우, 장치(80)는 제한없이, 컴퓨터, PDA(도 1A에 도시된 바와 같이), 휴대전화, 악기 등일 수 있다. 만일 시스템 또는 장치(80)가 가상 입력 장치에 의해 제어되지 않는다면, 장치(90)는 데이터를 수신하기 위한 시스템/장치(80)에 전기적으로 연결될 수 있고 및/또는 가상 장치(50)로부터 입력을 명령하도록 제어된다. 가상 장치가 트랙볼(또느 마우스)(50') 또는 터치패드(50")일 때, 이러한 가상 장치와의 사용자 상호작용은 장치(80)에 의해 사용하기 위한 터치 좌표(x,z)를 포함하는 가공전 정보 또는 데이터를 직접 출력할 수 있다. 예를 들면, 가상 장치(50' 또는 50")와의 사용자 상호작용은 디스플레이(140)상에 커서를 재위치시키고 그렇지 않을 경우, 장치(80)에 의해 수행되는 애플리케이션을 변경하거나 또는 가상 마우스 혹은 트랙볼(50')을 사용하여 혹은 스타일러스(120')와 가상 터치패드(50")를 사용하여 사용자가 "기록"하는 것을 따르는 소위 디지털 링크(180)의 궤적으로 설계한다. 시스템/장치(90)는 제한없이 와이어를 포함할 수 있거나 무선일 수 있고 또는 인터넷을 포함하는 네트워크일 수 있는 매체(100)에 의해 시스템(80)에 전기적으로 연결될 수 있다.

구조화된-광 실시예에서, OS1(20)은 x-z 플레인(30)에 평행인 팬-빔(30)내에 광학 에너지를 방출한다. OS1은 비록 다른 광학 에너지원이 플레인(30)을 방출하는데 사용될 수도 있지만 레이저 라인 발생기 또는 LED 라인 발생기를 포함한다. 라인 발생기 OS1는 제 2 플레인과 교차할 때 제 2 플레인상의 라인을 따라 OS2가 보는 것을 조명하는 광 플레인을 방출하기 때문에 그렇게 불린다. 예를 들어, 만일 원통형 오브젝트가 플레인(30)과 교차하는 경우, OS2는 플레인(30)과 표면(40) 상부의 OS2 거리에 의존하는 애스팩트비를 가진 타원형 아크의 조명된 일부를 보게 될 것이다. 따라서, 주변 광을 배제하면, 플레인(30)상의 타원형 아크의 OS2에 의한 검출은 예를 들면 120R과 같은 오브젝트가 접촉한 또는 관통된 플레인(30)을 가지는 터치 상황을 나타낸다. 비록 여러 광학 방출기가 사용될 수 있지만 300nm 내지 1,000nm 사이의 파장으로 3mW 평균 전력을 출력하는 레이저 다이오드가 사용될 수 있다. 주변 광선의 파장(예를 들면, 대략 350nm 내지 700nm)이 사용될 수 있는 반면에, 주변 광선의 영향은 상기 파장을 피해서 필터링 또는 셔터 없이 최소화 될 수 있다. 따라서, 약600nm(가시 적색)에서 1000nm(심 적외선)까지의 파장이 사용될 수 있다. OS2는 바람직하게 주변 광선의 영향을 감소시키도록 필터를 포함하지만, 850nm 파장의 광학 에너지를 출력하는 레이저 다이오드는 경제적인 에미터를 사용할 것이다.

구조화 광 실시예에서 OS1는 바람직하게 고정되어 있지만, 팬-빔(30)은 팬-빔면(30)을 한정하도록 광학 에너지의 단일 방사선을 기계적으로 스위핑 (sweeping)함으로써 생성될 수 있다. 도 2B에 도시된 바와 같이, OS1은 사실상 팬 빔을 방사하는 광학 에너지 에미터(20-A) 및 표면(40)에 병렬인 팬 빔(30)을 감시하는 반사경(20-B)을 포함할 수 있다. 본 발명의 목적을 위해, 구조화 광 실시예에서, OS1(20)에 의해 방사된 광학 에너지는 사람에게 가시적이거나 가시적이지 않을 수 있다. OS2(60)는 바람직하게 OS1(20)에 의해 방사된 파장의 광학 에너지에 응답하는 카메라 시스템을 포함한다. "응답"에 의해 OS2는 OS1에 의해 방사된 동일한 파장의 에너지를 인식하고 이상적으로 실제로 다른 파장의 에너지를 인식하지 않거나 응답할 수 없다. 예를 들면, OS2는 OS1에 의해 방사된 것과는 다른 파장의 광학 에너지가 검출되지 않도록 예를 들면 컬러 필터와 같은 필터 시스템을 포함한다.

만약 필요한 경우, OS2는 예를 들면, 유니트(70)의 제어하에 OS1 및 OS2를 동시에 동기화하여 스위칭 온하고 오프함으로써 OS1으로부터 방사된 광학 에너지에 응답하게 구성될 수 있다. OS1 및 OS2는 바람직하게 동기화된 방식에서 기능적으로 개방하고 폐쇄하는 엘리먼트(22)로 설명된 셔터 메카니즘을 포함할 수 있다. 예를 들면, 전자 처리 시스템(70)은 원하는 듀티 사이클로 시간 주기 t₁동안 OS1, OS2, 또는 셔터 메카니즘(22)을 동시에 스위칭 온하고 그후에 OS1 및 OS2를 동시에 스위칭 오프시킬 수 있으며, 상기 t₁은 약 0.1ms 내지 약 35ms의 범위내에 있다. 만약 필요한 경우, OS1은 모든 시간에서 동작될 수 있으며, 플레인(30)은 OS1(20) 앞의 셔터(22)가 개방될 때만 방사하도록 허용된다. 다양한 셔터 구성에서, 동기 스위칭의 반복 비율은 바람직하게 프레임 데이터 획득의 적당한 비율을 촉진시키도록 약 20Hz 내지 약 300Hz범위가 된다. 개방 전력을 유지하고, 계산한 평균값을 감소시키기 위해 약 30Hz 내지 100Hz의 반복 비율은 적당한 비율로 대신할 것이다. 물론 OS2가 실제로 OS1에 의해 방사된 광학 에너지에만 응답하는 것을 보장하는 다른 디바이스 및 방법이 사용될 수 있다. 설명을 용이하게 하기 위해, 셔터(22)는 기계적인 엘리먼트로 표현되지만, 사실상 셔터(22)의 컨셉은 임의의 다양한 방식에서 광원 및 카메라를 켜고 끄는 것을 포함하도록 이해된다.

필요한 경우, 본 발명에서 사용된 광학 에너지의 소스는 상기 에너지가 주변 에너지로부터 판별되기 위해 더 잘 인에이블되도록 소위 표시(signature)를 가지도록 구성될 수 있다. 예를 들어, 제약 없이, 상기 소스는 본 발명에 사용된 카메라 또는 다른 센서 유니트가 주변 광선 에너지가 상기 표시의 부재로 인해 실제로 거절되는 동안의 상기 에너지를 더 쉽게 인식할 수 있도록 고정된 주파수로 변조될 수 있다. 요약하면, 주변 광선과 다른 광학 에너지에 대한 파장을 선택하는 것과 같은 표시 기술, 광원 및 카메라 센서의 동기화된 동작에 관계된 기술 및 광원 에너지를 변조 또는 그와 달리 태깅(tagging)하는 것은 본 발명에 의해 요구되는 정보의 신호/잡음비를 개선시킬 수 있다.

팬 빔 또는 광학 에너지의 다른 방사는 본질적으로 표면에 도달하지 않기 때문에 작업 표면(40)은 OS1에 의해 방사된 파장과 관련하여 반사하거나 반사하지 않도록 요구되지 않는다. 바람직하게 가상 입력 디바이스는 전체적으로 수동이다. 디바이스(50)가 수동이기 때문에, 필요하다면 완전한 크기의 디바이스보다 더 작게 스케일링될 수 있다. 또한, 수동 가상 입력 디바이스는 특히 "디바이스"가 실제 입력 디바이스의 인쇄 그래픽 이미지를 제공하는 종이의 단지 일부분이라면 아무 소용이 없을 수 있다.

도 1A에서, 시스템(10)의 사용자가 가상 입력 디바이스(50)의 바로 가까이에 있지는 않다고 가정하자. 구성된 광선의 실시예에서, OS1은 팬 빔면(30)에서 광학 에너지를 방사할 수 있지만, OS2는 어떤 오브젝트도 플레인(30)을 교차하지 않기 때문에 아무것도 검출할 수 없다. 사용자의 왼쪽 또는 오른쪽 팔(120L, 120R)의 손가락의 일부분(110)은 가상 입력 디바이스(50)가 정의된 작업 표면(40)의 영역의 일부분을 터치하도록 아래로 이동한다고 가정하자. 선택적으로, 사용자 제어 스타일러스(120')의 부분(110')은 작업 표면(40)의 관련 부분을 터치하도록 아래로 이동될 수 있다. 본 발명의 내용내에서, 터치는 본 발명에 관련된 소프트웨어에 의해 예를 들면 노트북, PDA, 셀룰러폰, 키오스크(kiosk) 디바이스, 세일 디바이스의 포인트 등과 같은 부속 디바이스 또는 시스템(80 또는 90)에서 동작하는 애플리케이션에 키보드 이벤트를 전송하기 위한 요구로서 해석된다.

도 1A에서, 사용자의 손가락이 아래방향으로 이동하여 광에너지 플레인(30)을 교차하기 시작할 때, 손가락 끝 페이싱(OS1)의 일부분은 광에너지(130)를 반사할 것이다. 반사된 적어도 일부의 광에너지(130)는 반사된 에너지의 파장이 OS1에 의해 방사된 에너지와 동일하기 때문에 OS2에 의하여 검출될 것이며, OS2는 파장의 에너지에 응답한다. 따라서, 평평한 준3차원 감지 시스템(10)은 팬 빔 플레인(30)에 의해 한정된 교차플레인에서 발생하는 사용자 제어 오브젝트(예컨대, 손가락, 스타일러스 등)의 상호작용에 의하여 반사된 광 에너지를 검출한다. 임의의 다른 플레인상에서 발생할 수 있는 상호작용은 본 발명과 관련이 없기 때문에 본 발명에서는 무시할 것이다.

따라서, 사용자의 손의 일부 또는 스타일러스와 같은 오브젝트가 OS1(20)에 의하여 방사된 광 에너지 플레인(30)을 교차할 때까지, OS2(60)에 의하여 검출할 반사된 광에너지(130)가 존재하지 않는다. 이러한 상황하에서, 시스템(10)은 어떠한 사용자의 입력도 만들어지지 않는다. 그러나, 오브젝트가 광에너지 플레인을 관통하자마자, 관통하는 오브젝트(예컨대, 손가락 끝, 스타일러스 끝 등)의 교차는 OS2(60)에 의하여 검출되며, 관통의 위치(x,z)는 시스템(10)과 연관된 프로세서 유니트(70)에 의하여 결정될 수 있다. 도 1A에서, 만일 사용자의 좌측 앞면 손가락이 공동좌표(x7,z3)로서 한정된 가상 입력장치(50)의 일부분과 접촉하면, 본 발명과 연관된 소프트웨어는 문자 "t"가 "프레스"되었다는 것을 결정할 수 있다. "시프트 키"가 또한 프레스되지 않기 때문에, 프레스된 문자는 낮은 경우 "t"로 이해된다.

기술된 실시예에서, 시스템(10)은 사용자가 실제 키보드상에 입력한 데이터 및/또는 명령을 나타내는 키스트로크를 발생하여 시스템(80, 또는 90)에 입력할 수 있다. 시스템(80 또는 90)으로의 상기와 같은 입력은 사용자에 의하여 가상 입력장치(50)상에 입력될 때 디스플레이(150)상에 정보(140)를 도시하기 위하여 사용될 수 있다. 원하는 경우에, 확장된 커서 영역(160)은 정보를 입력하는 사용자를 돕기 위하여 부가 가상입력을 제공하도록 실행될 수 있다. 원하는 경우에, 프로세서 유니트(70)는 시스템(80, 90)으로 하여금 사용자에게 도움을 주는 음향 피드백, 예컨대 가상 입력장치(50)상의 가상 키의 "프레싱"이 대응하는 전자 키클릭(keyclick) 사운드(170)를 방사하도록 한다. 만일 시스템(80 또는 90)이 컴퓨터 또는 PDA 또는 셀룰라 전화보다 오히려 음악 장치인 경우에, 음악 사운드(170)가 방사되며, 가상 입력장치(50)는 전자음악 발생기와 연관된 피아노 키보드와 유사한 구성을 가질 수 있다.

도 1b는 제 1 광학 시스템 OS1의 카메라(20')가 도 1a의 실시예에서 광학 에미터 OS1에 의해 정의되는 플레인(30)을 필수적으로 대체하는 관련 플레인(30')을 정의하는 비구조화 능동 광학 시스템(10)을 도시한다. 카메라(20') OS1은 바람직하게는 도 1a의 실시예에서 카메라(60) OS2에 유사할 수 있는 카메라(60) OS2와 유사하다. 예를 들어, OS1(20')은 적어도 하나의 라인 및 바람직하게는 픽셀 검출기 엘리먼트의 여러 라인을 포함하는 센서 어레이를 가질 수 있다. 도 1b의 실시예는 하나 이상의 광원(190), 배치된 중간물 OS1(20') 및 OS2(60)는 카메라 OS1(20') 및 카메라 OS2(60)에 의해 검출가능한 파장의 광 에너지를 발생시키는 경우에 구동된다. 카메라 OS1 및 OS2에 의한 검출에 따라 주변 광의 영향을 감소시키기 위해, 바람직하게는 각 카메라 및 각 광 에너지 에미터(190)는 예를 들어, 유니트(70)에 의해 바람직하게 동기화되는 셔터 메카니즘과 협력하여 동작한다. 따라서, 에미터(190)로부터의 광 에너지가 가상 입력 장치(50, 50', 50")에 대해 방사하도록 셔터(22)가 허용하는 기간동안, 유사한 셔터(22)는 카메라 OS1 및 OS2가 광 에너지를 검출하도록 허용할 것이다. 플레인(30')과 사용자-오브젝트(예컨대, 120L)의 상호작용은 OS1 및 OS2에 의해 검출된다. 교차 포인트의 위치는 그후에, 예를 들어 이후에 여기서 기술되는 삼각측량 방법을 이용하여 계산된다.

도 1b에서, 작업 표면(40)의 플레인에서의 융기 또는 불규칙성은 사용자-오브젝트(120L)와의 접촉 포인트(110) 근처에서 나타난다. 제 2 카메라 OS1(20')의 장점은 관련 플레인(30')이 작업 표면(40)의 최고 불규칙 부분 바로위에 놓이도록, 유니트(70)에 의해 선택될 수 있다는 것이다. 불규칙성이 도 1a의 실시예에서 작업 표면(40)에 존재한다면, 어떻게든 작업 표면에 관해 레이저 플레인(30)을 재위치설정해야 한다. 그러나, 도 1b에서, 상기 재위치설정의 결과는 OS1(20')을 갖는 검출기 어레이로부터 픽셀의 적절한 라인을 선택함으로써 전자적으로 단순하게 획득된다.

도 1b의 구성은 신호/잡음 비를 개선시키기 위해 여러 방법에 제공될 수 있음을 주목하라. 예를 들어, 셔터(22)는 에미터(190)가 예를 들어, 제어 유니트(70)에 의해 턴 오프되는 기간동안 카메라 OS1 및 OS2가 이미지 데이터를 수집하도록 허용할 수 있다. 이 때, OS1 및/또는 OS2에 의해 얻어진 소정의 이미지 데이터는 주변광으로부터 발생한 배경 잡음을 나타낼 것이다. (다시 말하면, 주변광의 효과를 최소화하기 위해, 에미터(190) 및 카메라(OS1, OS2)가 주변광의 파장으로부터 제거된 파장 상황에서 바람직하게 동작하는 것을 이해해야 한다.) 배경 잡음 신호로 지칭되는 것을 얻는다면, 카메라(OS1, OS2)는 표준으로 에미터(들)(190)와 동기 상태로 동작할 수 있다. 에미터(들)(190)와 동기 상태로 카메라(OS1, OS2)에 의해 얻어진 이미지 데이터는 주변광에 의한 소정의 (바람직하지 않은) 효과에 더하여, 예를 들면, 플레인(30')과 사용자-오브젝트 인터페이스와 같은 실제의 데이터를 포함할 것이다. 이어 프로세서 유닛(70)(또는 다른 유닛)은 실제 데이터 신호를 얻기 위해 잡음 신호를 더한 실제 데이터로부터 배경 잡음 신호를 능동적으로 제거할 수 있어서, 신호/잡음 비를 높인다.

도1C는 본 발명의 비구조화 수동 실시예를 도시한다. 도1C에서 시스템(10)은 어떠한 주변광의 소스(195)라도 이미지화 동안 사용된 광학 에너지를 제공한다는 점에서 수동적이다. 도1B의 시스템(10)과 유사하게, OS1은 관심오브젝트(30')의 플레인을 한정하는 카메라(20')이며, OS2는 카메라(60)이다. 통상적으로 플레인(30')은 수 mm의 거리인 작업 표면(40) 위의 거리(ΔY')로 한정될 것이다. 플레인(30')과의 사용자-오브젝트 인터페이스는 주변광 소스(195)로부터의 광학 에너지를 사용하여 OS1 및 OS2로 검출될 것이다. 이어 삼각측량법이 명세서에 설명된 바와 같이 플레인(30')과의 상호 작용 포인트 또는 상호 교차 포인트를 한정하는데 사용된다.

도2A는 사용자의 손가락 또는 오브젝트(120R)와 플레인(30) 사이의 차단 포인트의 위치가 삼각측량법에 의해 결정될 수 있는 기하구조를 도시한다. 도2A 및 도2B는 도1A-1C에 도시된 다양한 실시예의 분석을 설명하기 위해 사용될 수 있다.

본 발명에 사용되듯이, 삼각측량은 예를 들어, OS1(20), OS2(60)와 같은 두 개의 광학 시스템의 투사선(예를 들어, R1, R2)에 의해 형성된 삼각형의 기하학적 분석에 의해 관심있는 시야에서의 표면 형상을 결정한다. 베이스라인(B)은 두 개의 광학 시스템(OS1, OS2)의 투사 중심을 연결하는 라인의 알려진 길이를 나타낸다. 관심있는 시계에서 가시 표면 상의 포인트(X,Y)에 대해, 삼각형은 포인트의 위치 및 OS1 및 OS2에 의해 한정될 수 있다. 삼각형의 세변은 B, R1 및 R2이다. OS1 및 OS2는 기준 플레인으로부터의 삼각형의 각 거리 및, 두 개의 광학 시스템의 투사 중심과 표면 포인트를 연결하는 투사선에 의해 형성된 각(

,

)을 검출할 수 있다. 각(

,

) 및 베이스 라인(B) 완전하게 삼각형의 형상을 결정한다. 간단한 삼각법이 표면 포인트(X,Z)에 대한 거리 및 투사선(R1 및/또는 R2)의 길이를 산출하는데 사용될 수 있다.

OS1(20)이 단일 유닛으로서 장착되는 것이 요구된다. 예를 들어, 도2B는 제1 광학 시스템이 분기된 구조화 조명의 실시예를 도시한다: 일부분(OS1-A20-A)은 OS2 및, 거울과 같은 광 반사 장치인 제2 부분(OS1-B20-B)으로부터 거리(B)로 배치된 광 에미터이다. OS1-A에 의해 발생한 입사 팬 빔은 플레인(30)을 형성하기 위해 거울(20-B)에 의해 편향된다. 도2B의 방향에서, 거울(20-B)은 수평 플레인에 대해 45°경사지며, 편향은 실질적으로 수직인 플레인부터 실질적인 수평 플레인까지이다. 도2B 및 수동 광 실시예에서, OS2(60)는 통상적으로 관심있는 시계를 향하여 각(Φ)으로 조준된 카메라일 것이며, 소위 사용자의 손가락 또는 침은 팬 플레인(30) 아래에 배치된 가상 입력 장치를 "이용"할 것이다.

본 발명에 따른 삼각측량은 바람직하게 OS2(60)와 같은 평면 센서를 가진 표준 카메라를 사용한다. OS1(20)의 특성은 두 개의 상당히 넓은 부류들의 삼각측량들로 구별된다. 구조화 조명 삼각측량에서, OS1(20)은 통상적으로 빔이 표면 상의 이동 포인트를 투사하도록 이동하는 단일 라인과 같은 형상이 될 수 있는 레이저 또는 그와 유사한 것이다. 택일적으로 레이저 빔은 편평할 수도 있으며, 편평한 곡선을 투사하기 위해 이동된다. 언급되었듯이, 삼각측량 시스템의 또 다른 부류는 카메라가 OS1(20)으로 사용되는 수동 삼각측량으로 언급될 수도 있다. 구조화 조명 시스템은 광 플레인을 투사해야 하기 때문에 더 많은 동작 전력을 구축 및 소비하기 위해 보다 복잡한 경향이 있다. 수동 시스템은 비용이 덜 고가이며, 더 적은 전력을 소비한다. 그러나, 수동 시스템은 소위 대응하는 문제, 즉 두 이미지 중 어떤 쌍이 실체에서 동일한 포인트의 투사인지를 결정하는 문제를 해결해야 한다. 앞으로 논의되듯이, 본 발명에 따른 수동 비구조화 조명 삼각측량 실시예가 사용될 것이다.

시스템(10)은 OS1이 능동적으로 발광하고 OS2가 카메라인 구조화-광 시스템으로서 구현되든지 또는 OS1과 OS2가 모두 카메라인 수동 시스템으로서 구현되든지간에, OS2와 OS1으로부터의 정보는 어떤 이벤트가 발생하는지 검출할 수 있는 프로세싱 유니트(70)에 결합된다. 어떤 실시예에서도, 오브젝트(12R)가 OS1(20)과 관련하여 투사 플레인(30)을 교차하는 경우에, 교차를 검출할 수 있다. OS1이 광학 에너지를 발산하는 구조화-광 시스템 실시예에서, 교차는 교차된 오브젝트(120R)로부터 반사된 광학 에너지에 의해 표시되고 일반적으로 카메라인 OS2에 의해 검출된다. 수동 광학 시스템 실시예에서, 교차는 카메라인 OS1와 또한 카메라인 OS2에 의해 나타난다. 각각의 실시예에서, 플레인(30)의 교차는 표면(40)의 영역을 통과하여 오브젝트(120R)에 의해 터치되는 (x,z) 플레인이 아래에 놓여 있는 것처럼 검출된다. 바람직하게 시스템(10)은 OS1, OS2로부터 데이터를 수신하고 구조화-광 시스템 실시예 내의 반사된 이미지 좌표 또는 수동 시스템의 카메라 이미지 좌표로부터 플레인 교차 포지션(x,z)를 검출하기 위해 기하학을 사용하는 컴퓨팅 시스템(70)을 포함한다. 따라서, 이와 같은 초기 접촉 및 계속되는 접촉과 플레인(30)의 관통(터치 이벤트)을 검출하고 플레인 상의 교차 좌표 포지션을 검출하는 이중 작업이 달성될 수 있다.

요약하면, OS1이 플레인(30)과 관통된(intruding) 오브젝트(120R)의 교차를 인식할 때 터치 이벤트가 검출되고 선언된다. 두 개의 카메라 시스템에서, OS1으로부터 감지된 이미지와 OS2로부터 감지된 이미지의 포인트들 사이의 관련성이 설정된다. 그 후에, OS2 카메라 좌표는 플레인(30)의 관심 영역 내에 있는 이벤트의 (x,z) 좌표 포지션을 위치설정하기 위하여 터치-영역(x-축,z-축) 좌표로 변환된다. 바람직하게, 이러한 변환은 OS2에 포착될 수 있는 포인트의 이미지 좌표로부터 플레인(30)의 교차 포지션을 계산하기 위한 알고리즘을 실행하는 프로세서 유니트(70)에 의해 실행된다. 더욱이, 수동 광학 시스템은 OS1과 OS2의 이미지 배경으로부터 관통하는 오브젝트를 구별해야 한다. 여기서 시스템(10)이 수동 광학 시스템이라면, 카메라 OS1의 이미지와 카메라 OS2의 이미지 사이의 관련성이 설정될 필요가 있다. 여기서 시스템(10)이 구조화-광 시스템이라면, 주변 광으로 인한 간섭을 최소화하는 것이 바람직하다.

플레인(30) 상의 (X,Z) 교차 또는 팁 포지션의 계산을 살펴보자. 투시도에 서, 월드(world) 내의 플레인과 이미지는 호모그래피로 불린 변환과 관련한다. 이러한 플레인 상의 포인트(X,Z)는 컬럼 벡터 P = (X,Z,1)^T 로 표현되며, 여기서 위첨자 T는 이항을 나타낸다. 유사하게, 해당 이미지 포인트는 p = (x,z,1)^T 로 나타낸다.

다음에 호모그래피는 선형 변환 P = Hp 로 나타낸며, 여기서 H는 3 ×3 매트릭스이다.

이러한 호모그래피 매트릭스는 눈금으로 처리하여 나타낼 수 있다. 센서는 표면 상에 남아 있기 때문에, 표면과 관련한 센서 포지션은 일정하고, 눈금 처리는 오로지 한 번만 수행되면 된다. 눈금과 관련하여, 공지된 피치의 그리드가 플랫 표면 상에 위치하고 플랫 표면 위에서 센서가 남아 있게 된다. 그리드 꼭지점 P _i에 해당하는 이미지 포인트의 좌표 p _i는 이미지 내에서 측정된다. 다이렉트 선형 변환(DLT) 알고리즘은 호모그래피 매트릭스(H)를 검출하는데 사용될 수 있다. 이러한 DLT 변환은 당업계에 공지되어 있으며; 영국 캠프리지 대학 출판사에서 2000년에 발간된, Richard Hartley와 Andrew Zisserman의 Multiple View Geometry in Computer Vision 를 참조하면 된다.

일단 H를 알면, 이미지 내에서 포인트(p)에 해당하는 표면 포인트(P)는 상기 매트릭스-벡터 곱에 의해 바로 계산된다. 바람직하게 이러한 계산은 시스템(70)에 의해 실행된다.

이제 수동 광학 시스템 실시예에 대한 이미지 관련성에 대해 설명한다. 카메라 OS1(20)와 OS2(60)는 공간 내의 동일한 플레인을 나타낸다. 따라서, OS1의 라인-스캔 카메라 이미지와 OS2의 카메라 이미지 사이의 매핑은 그 자체로 호모그래프가 된다. 이것은 OS2 카메라 이미지와 팁 인터셉트 포지션의 계산과 관련하여 상기 설명한 플레인(30) 터치 표면 사이의 매핑과 유사하다. 따라서, 유사한 처리가 이러한 매핑을 계산하는데 사용될 수 있다.

라인 스캔 카메라 OS1(20)는 단일 라인으로 처리된(collapse) 터치 표면을 나타내거나 그레이징(graze)하기 때문에, 두 개의 이미지 사이의 호모그래피는 재생성된다. 각각의 OS2 카메라 포인트에 대하여 하나의 OS1 라인-스캔 이미지 포인트가 존재하지만, 각각의 OS1 라인-스캔 이미지 포인트에 대하여 OS2 카메라 포인트의 전체 라인이 존재한다. 이러한 재생성으로 인해, 상기 설명한 DLT 알고리즘은 포인트-대-라인 관련성을 산출하는데 (간단하게) 변형된다.

자명하게, 본 발명의 수동 광 실시예는 주변 광을 제어하지 않으며, 일반적인 배경으로부터 관통하여 교차하는 오브젝트 또는 팁을 구별하기 위해 시도할 수 있다. 요약하면, OS1 이미지 또는 OS2 이미지에서 특정 이미지 화소가 120R 같은 오브젝트상 일부의 이미지를 나타내는지, 일반적인 배경의 일부를 나타내는지를 식별한다. 시스템(70)에 의해 실행 가능한 알고리듬이 지금부터 기술될 것이다.

처음에, 관찰시 플레인(30)의 터치 표면만을 가진 하나 이상의 배경 이미지(I₁, ..., I_n)를 가정한다. 카메라들(OS1 및 OS2)이 컬러에 응답할 수 있고 R_bi(X, Z), G_bi(X, Z), B_bi(X, Z)가 화소 위치(X, Z)에서 배경 이미지 세기(I_i)의 적색, 녹색, 및 청색 성분인 것을 가정하자. S_b(X,Z)는 모든 이미지에 대하여 R_bi(X, Z), G_bi(X, Z), B_bi(X, Z)의 써머리(summary)이다. 예를 들어, S_b(X, Z)는 이미지 밝기 변화를 강조하지 않도록 평준화된 모든 배경 이미지(I₁, ..., I_n)상의 화소 위치(X, Z)에서 R_bi(X, Z), G_bi(X, Z), B_bi(X, Z)의 평균, 중간, 또는 다른 통계를 가진 3개의 벡터일 수 있다.

다음, 새로운 시퀀스의 이미지(J₁, ..., J_m)상에서 팁 화소에 대한 유사한 써머리(S_t)를 수집한다. 이런 제 2 써머리는 S_b(X, Z)에 대한 벡터의 이미지이기 보다는 단일 벡터이다. 다른 말로, S_t는 화소 위치(X, Z)에 의존하지 않는다. 이런 새로운 써머리는 사용자가 표면의 감지 영역에서 손가락 팁 또는 스타일러스를 배치하도록 하고 컬러가 (X, Z)에서 배경 써머리 S_b(X, Z)와 매우 다른 화소 위치(X, Z)에서만 값을 기록하고 j, x, z의 모든 값에 대한 통계를 계산함으로써 계산될 수 있다.

그 다음, 컬러 성분 c(X, Z) = (R(X, Z), G(X, Z), B(X, Z))을 가진 새로운 이미지가 제공된다면, (X, Z)에서의 특정 화소는 적당한 식별 법칙에 의해 팁이나 배경에 귀속된다. 예를 들어, 거리 d(c₁, c₂)는 3개의 벡터들(예를 들어, 유클리드 거리는 1이다) 사이에서 정의될 수 있고, 화소들은 다음 예시적인 법칙을 바탕으로 할당된다 :

만약 d(c(x,z), s_b(x, z)) << d(c(x, z), s_t)라면 배경.

만약 d(c(x, z), s_b(x, z)) >> d(c(x, z), s_t)라면 팁.

그외는 모름.

구조화된 광 삼각측량 실시예를 위한 주변 광 간섭을 감소시키기 위한 기술은 지금부터 기술될 것이다. 상기 실시예에서, OS2는 주변 광 및 라인 생성기에 의해 생성되고 관통 오브젝트에 의해 다시 반사되는 광 사이를 구별하기 위하여 필요하다.

제 1 방법을 사용하여, OS1은 근적외선에서 주변 광이 거의 영향을 미치지 않는 광 스펙트럼 영역의 에너지를 방사한다. 카메라 OS2상 적외선 필터는 OS2 센서에 의해 검출된 광이 일차적으로 오브젝트(예를 들어, 120R)로부터 카메라 OS2의 렌즈로 반사되는 것을 보장할 수 있다.

제 2 방법에서, OS1은 스펙트럼의 가시적 부분에서 동작하지만, 주변 광보다 실질적으로 밝다. 비록 이것이 원칙적으로 광원의 임의의 컬러로 달성될 수 있지만, 실내에서 사용시, 표준 형광 광이 이런 밴드에서 비교적 적은 방사선을 가지기 때문에 OS1(500 nm 내지 550 nm)에 대해 청색-녹색 광원을 사용하는 것이 유용할 수 있다. 바람직하게 OS2는 다른 파장에 대한 응답이 실질적으로 감쇠되는 것을 보장하기 위하여 매칭된 필터를 포함할 것이다.

주변 광의 효과를 감소시키기 위한 제 3 방법은 OS1에 대한 표준 가시적 레이저 소스, 및 OS2에 대한 컬러 카메라 센서를 사용한다. 이 방법은 상기된 동일한 배경 감산 알고리듬을 사용한다. 다음 결합이 상기된 바와 동일한 기술을 사용하여 정의될 수 있다 :

C(X, Z) = min{d(c(x, z), s_b(x z)), d(c(x, z), s_t}.

이 결합은 c(x, z)가 대표적인 오브젝트 팁 써머리 s_t(d(s_t, s_t) = 0인후) 및 배경 이미지 s_b(x, z)(d(s_b(x, z), s_b(x, z)) = 0인후)에 대하여 동일하고, 다른 오브젝트 팁 이미지 패치 및 배경의 가시적 부분에 대하여 영으로 근접할때 정확하에 영이 될 것이다. 다른 말로, 오브젝트 팁 및 배경은 이미지 C(x, z)에서 거의 가시적이지 않을 것이다. 비교하여, 레이저 이미터 OS1로부터의 투사 플레인(30)은 오브젝트 팁(120R)과 교차하는 위치에서, 항 d(c(x, z), s_t)은 영이 아닐것이고, 차례로 C(x, z)에 대해 실질적으로 영이 아닌 값을 형성한다. 이런 방법은 레이저(또는 다른 이미터) OS1에 의해 조명된 오브젝트 팁 화소만을 필수적으로 식별하는 목적을 달성한다. 이 방법은 다른 컬러의 광 이미터, 거리 d에 대해 다른 거리 정의, 및 다른 써머리 S_b(x, z) 및 S_t를 사용하기 위하여 가변될 수 있다.

도 1A에서 장치(80)가 PDA 또는 셀룰러 폰과 같은 콤팩트한 시스템이라면, 본 발명을 실행하기 위해 필요로 되는 사이즈를 줄이는 것이 특히 바람직하게 된다. OS2가 도 1A - 1C, 2A 및 2B에 나타낸 바와 같이 플레인(30) 또는 표면(40)에 대하여 소정의 각도 θ로 경사져 있는 경우, 보다 소형인 전체 형상을 얻을 수 있다. 그러나, 각도 θ가 감소함에 따라서, 카메라(OS2)는 더 얕은 각도로 플레인(30)을 보게 된다. 플레인(30)의 감지영역, 즉 하부의 가상 입력 장치를 조정하기 위하여 사용자 오브젝트에 의해 "터치될" 직사각 표면의 고정된 크기에 대하여, 거리(B)와 각도(θ)가 감소함에 따라 시야에 의해 경계가 정해진 유효영역은 감소한다. 그 결과는 효율적인 OS2 해상도를 감소시키는 것이어서, 도 3A에 나타낸 바와 같이 z-깊이 측정의 정확도를 감소시키게 되며, 여기서 L은 화소 검출기의 그 플레인이 직선 표시 OS2로 도시된, OS2와 관련된 카메라 렌즈를 표시한다.

도 3A에서 알 수 있는 바와 같이, 플레인(30)에 보다 가깝게 OS2를 이동시키는 것은 더 얕은 시점 및, 보다 소형인, 조금 덜 정확하게 감지되는 카메라 이미지를 가져오는 결과를 초래한다. 이들 불리한 부작용은 카메라(OS2)내의 화소검출기의 플레인을 경사지게 하여, 좀 더 확실하게 말하면 플레인(30)에 거의 나란하게 경사지게 함으로써 도 3B에 나타낸 바와 같이 감소시킬 수 있다. 도 3B의 경사진 구성에 있어서, 실질적으로 보다 큰 수의 이미지 주사 라인이 플레인(30)상의 감지 영역으로부터 광원뿔(the cone of ray)을 가로지르며, 이에 따라 깊이 해상도를 증가시킨다. 예컨대, 도 3A의 비교적 작은 거리(Dx)와, 지금 이용중인 보다 큰 수의 이미지 주사 라인을 나타내는 도 3B의 보다 큰 거리(Dx')를 비교한다. 또한, OS2 카메라 센서 플레인이 터치 표면의 플레인 또는 플레인(30)에 좀 더 나란하게 됨에 따라서, 터치 표면 이미지의 왜곡이 조금 덜하게 된다. 이것은 OS2 카메라 이미지에서 터치 표면(또는 플레인(30))상의 평행라인이 그대로 남아있을 것이라는 것을 암시한다. 유리한 점은 핀 변환(affin transformation)(시프트와 스케일)에 대한 호모그래피 (H)의 단순화이다. 또한, 이미지 해상도가 주요 시야 내에서 전체 감지영역에 대하여 보다 균일하게 된다.

이제 도 3C의 구성을 생각해보자. 플레인(30)상의 중요한 터치 감지영역 상의 여러 지점은 카메라(OS2)의 렌즈(L)로부터 서로 다른 거리에 있다는 것이 명백하다. 이것은 만약 렌즈(L)가 도 3A 또는 도 3B에 나타낸 바와 같이 위치한다면 정확하게 전체 감지영역에 집중될 수 없다는 것을 의미한다. 카메라 홍채를 닫는 것은 시야의 깊이를 증가시키는 한편, 결과로서 생기는 이미지는 희미해지고, 이미지 신호 대 잡음비는 악화될 것이다.

따라서, 렌즈(L)가 도 3B에 비해 재배치된 도 3C의 구성이 채용될 수 있다. 이 구성에서, 터치 표면(30), 카메라(OS2) 및 카메라 렌즈(L)는 소위 샤임플러그(Scheimpflug) 조건을 만족하게 된다고 하며, 그들의 각각의 플레인은 공통 라인, 도 3C에서 무한대인 라인을 따라 교차한다. 샤임플러그 조건에 대한 보다 상세한 설명은 "The Optical Society of America"(Handbook of Optics, Michael Bass, Editor in chief, McGraw-Hill, Inc., 1995.)에서 찾아볼 수 있다. 도 3C에서, 관련된 광학 시스템은 이 조건, 터치 표면(30)상의 모든 지점이 촛점 내에 있을 것이라는 조건을 만족한다. 따라서, 적절하게 경사진 센서(OS2)를 이용하여, 샤임플러그 조건을 만족하는 적절하게 배치된 렌즈(S), 표면 플레인(30)상의 중요한 지점의 OS2에 의해 관찰되는 이미지는 촛점 내에 있게 되고, 거의 왜곡없이 높은 해상도를 나타낼 것이다. 그러나, 샤임플러그 조건의 충족은, 플레인(30)상의 감지영역의 중심으로부터 관찰할 때 렌즈가 경계를 정하는 각도가 도 3B의 구성에 비하여 감소되기 때문에, 이미지 밝기의 손실을 초래한다. 결과적으로, 도 3B와 도 3C의 방향 사이의 중간방향에 OS2 카메라 렌즈를 위치시킴으로써, 촛점의 선명함과 이미지 밝기 사이에서 타협점을 찾는 것이 몇가지 응용에 있어서 바람직하다. 도 3D는 이러한 하나의 중간 구성을 도시하고 있으며, 렌즈(L)는 OS2 및 30의 플레인에 대하여 샤임플러그를 만족하는 방향으로부터 의도적으로 조금 벗어나 경사져 있다.

이러한 중간 방향은, 샤임플러그 조건을 만족시키지는 않지만, 조금 작은 각도에 의해서, 그 렌즈 축이 플레인(3)의 감지영역의 중심쪽으로 곧바로 향하는 구성보다 좋은 촛점을 또한 나타낸다. 도 3E는 또다른 중간적 구성을 나타내고, 그하나는 샤임플러그 조건이 완전하게 검증되지만, 카메라 센서(OS2)는 수평으로부터 벗어나 경사져 있다. 도 3E는 완전한 촛점에 도달할 수 있지만, 도 3C보다 조금 낮은 이미지 해상도와 좀 더 많은 왜곡을 나타낸다.

도 4는 시스템(10)내의 프로세서 유닛(70)의 동작 부분을 나타내는 블록도이며, 프로세서 유닛은 관심 플레인(30)과의 (x, z) 차단을 감지하고 확인하기 위하여 여기서 상술된 다양한 삼각측량과 다른 계산을 수행한다. 도 4의 좌측부와 같이, OS1(20) 및 OS2(30)으로부터의 정보는 픽셀 맵 200-1, 200-2에 개별적으로 입력된다. 도 4에서, 디지털화된 이미지 프레임의 스트림을 설명하는 OS1 및 OS2 입력은 본 발명에 따른 플레인 범위 센서 시스템(10)내의 광학 시스템 1(20)과 광학 시스템 2(60)에 의해 발생된다. 바람직한 실시예에서, 광학 시스템은 초당 적어도 약 30프레임(fps)을 발생시킨다. 더 높은 프레임 속도가 30fps에서 바람직하며, 사용자의 손가락 팁이나 스타일러스(stylus)는 2개의 프레임 사이의 가상 입력 장치 상에 "타이핑"하면서 몇몇 픽셀을 이동시킬 수 있다. 픽셀 맵 모듈 200-1, 200-2는 계산 유닛(70)과 관련된 메모리내의 OS1과 OS2로부터의 디지털 프레임을 만든다. 동기 장치 모듈(210)은 2개의 광학 시스템이 대략 동일한 시간에 디지털화된 이미지의 프레임을 생성하는 것을 보장한다. 필요한 경우, 이중-버퍼링 시스템은 하나의 프레임의 구성을 허용하도록 구현되며, 종전 프레임은 다른 모듈에 의해 처리된다. 접촉 감지 모듈(220)은 손가락 팁이나 스타일러스가 프레임의 선택된 로우에 나타날 때, 접촉을 감지한다(예를 들면, 사용자 손가락나 스타일러스와 OS1에 의해 감지된 광학 플레인과의 교차점). 접촉이 감지될 때, 팁 감지 모듈(230)은 상응하는 손가락 팁의 윤곽을 적절한 픽셀 맵 200-1이나 200-2에 저장한다. 도 4에서, OS1이 라이트 빔 발생기인 구조화된 라이트 실시예에서, 픽셀 맵은 생성되지 않으며, 접촉 감지는 OS1보다는 OS2로부터의 입력을 사용할 것이다.

접촉 위치 모듈(240)은 팁 감지 모듈(230)로부터의 팁 픽셀 좌표를 사용하며, 접촉 표면상의 접촉의 (x-z)좌표를 찾기 위하여 접촉은 접촉 감지 모듈(220)로부터 보고된다. 언급된 바와 같이, 접촉은 구조화된 광 실시예나 수동 광 실시예에서의 광학 에미터 OS1과 관련된 플레인(30)의 관통(penetration)과 동일하다. 픽셀 좌표를 X-Z 접촉 위치로 변환시키기 위한 수학적 방법이 기술된다.

키 식별 모듈(260)은 접촉의 X-Z 위치를 사용하며, 계산 유닛(70)과 관련된 메모리에 저장된 키보드 레이아웃 테이블(250)을 사용하여 상기 위치를 키 식별에 맵핑시킨다. 키보드 레이아웃 테이블(250)은 통상적으로 제로 원점에 대하여 각각의 키의 상부/하부/좌측 및 우측 좌표를 형성한다. 그와 같이, 키 식별 모듈(260)의 기능은 테이블(250)의 검색을 실행하고, 키가 접촉점의 (x, z)좌표를 포함하는지를 결정하는 것이다. 접촉된 (가상) 키가 식별될 때, 해석 모듈(270)은 키를 미리 결정된 키코드 값에 맵핑시킨다. 키코드 값은 키스트로크 통지를 수신하기 위해 대기하는 컴패니언 장치나 시스템(80)상에서 실행되는 애플리케이션에 출력되거나 통과된다. 실행중인 애플리케이션은 키스트로크를 해석하며, 그에 대한 의미를 지정한다. 예를 들면, 텍스트 입력 애플리케이션은 무슨 기호가 타이핑되었는지를 결정하기 위한 값을 사용한다. 전자 피아노 애플리케이션은 무슨 음악 노트가 인쇄되고 연주되는지를 결정한다.

이와는 달리, 도 4에 도시된 바와 같이, X-Z 접촉 좌표는 애플리케이션(280)에 직접 통과될 수 있다. 애플리케이션(280)은 가상 마우스나 가상 트랙볼 실시예에서 디스플레이상의 커서의 위치를 제어하거나, 가상 펜이나 가상 스타일러스 실시예에서 드로잉이나 핸드-라이팅 형태 애플리케이션을 위한 디스플레이상에 도시된 디지털 잉크 소스의 궤적을 제어하기 위한 좌표 데이터를 사용할 수 있다.

도 5a는 가상 장치(50)가 5개의 영역으로 제어되며, 컴패니언 장치(80, 90)가 모니터를 포함하는 시스템(10)의 간략화된 도이다. 이러한 실시예에서, 컴패니언 장치(80 또는 90)는 커서(310)에 의해 둘러싸여진 아이콘(140)을 포함하는 디스플레이(150)로 도시되며, 사용자는 가상 장치 (50') 여기서, 가상 트랙볼이나 마우스를 사용하여 움직일 수 있다. 예를 들면, 가상 장치(50')내에서, 사용자 손의 일부 120R(또는 스타일러스)가 가상 영역 300-1을 누르면, 컴패니언 장치(80, 90)상의 디스플레이된 커서(310)는 좌측으로 이동하도록 명령받을 것이다. 가상 영역 300-2가 눌러지면, 커서는 위로 이동한다. 가상 영역 300-3이 눌러지면, 커서는 오른쪽으로, 예를 들면 빵 조각 아이콘을 선택하기 위해 이동하며, 그리고 가상 영역 300-4가 눌러지면, 커서는 장치(80, 90)상의 디스플레이의 아래로 이동한다. 사용자가 5번째 영역 300-5, "엄지손가락(thumb up)" 영역을 누르면, 컴패니언 장치(80, 90)는 사용자 선택이 완료되었다는 것을 인지한다. 도 5a에서, 사용자가 영역 300-5를 누르면, "핫도그" 아이콘이 선택된다. 장치(80, 90)가 수퍼마켓내의 키오스크라면, 예를 들면, "핫도그" 아이콘을 선택하는 것은 마켓내에서 핫도그가 발견되거나, 핫도그의 다양한 브랜드의 가격이 판매되거나, 장치(80, 90)가 핫도그를 분배하는 것을 보여주는 디스플레이를 가져온다. 장치(80, 90)가 운송수단 세팅에 사용된다면, 아이콘(또는 워드)은 다양한 도착지(destination)가 될 것이고, 장치(80 또는 90)는 도착지에 대한 루트, 스케쥴, 및 요금을 지시할 것이며, 버스, 지하철, 항공기, 선박 등에 사용하기 위한 티켓마저도 분배할 수 있다. 예를 들어, 사용자는 여행 출발 지점 및 여행 도착 지점을 나타내는 입력 장치(50')의 두 영역을 누를 수 있으며, 그래서 시스템(10)은 디스플레이되어야 할, 그리고 필요한 경우 프린팅되어야 할, 적절한 운송 수단, 스케쥴, 요금 등을 디스플레이할 수 있다. 시스템(10)에 의하여 생성될 정보는 단순히 처리안된(raw) (x,z) 좌표일 수 있고, 컴패니언 장치에 의해 실행될 소프트웨어 어플리케이션은 디스플레이 상에 커서 또는 다른 정보를 재배치시키기 위하여 상기 (x,z) 좌표를 사용할 수 있다.

도 5A로부터 알 수 있듯이, 가상 장치(50')는 수동이며, 가상 장치(50')의 아웃라인은 아래놓인 작업 표면 상에 프린팅되거나 페인팅될 수 있고, 또는 그것의 아웃라인은 시스템(10)에 의해 투사될 수 있다. 가상 장치(50)의 여러 관심 영역들은 x-z 플레인과 관련한 좌표로 식별될 수 있다. 도 4의 키보드 레이아웃(250)의 정보에 대응하는 이하의 표 1에 나타난 정보를 살펴보자.

표 1

사용자의 손가락(또는 스타일러스)이 가상 입력 장치(50)의 영역에 접촉할 때, 터치 포지션 모듈(240)(도 4 참조)은 터치 포인트(110)의 (x,z) 좌표를 결정한다. 도 5에서, 터치 포인트(110)는 "B" 영역(300-4) 내부에 존재한다. 키 식별 모듈 (260)은 표 1에 나타난 것처럼 이러한 예에서 관련 (x,z) 플레인의 어디에서 터치 포인트 좌표가 나타날지 결정하기 위하여 키보드 레이아웃(250) 정보를 사용한다. 예시의 방법으로, 터치 좌표 (x,z)가 (1.5,0.5)라고 가정하자. 바람직하게 유닛 (70)(도 1A 참조)과 관련하여 메모리에 저장되고 유닛(70)에 의해 실행되는 서치 루틴은 1 < x < 2, 및 -1 < z < 1임을 결정한다. 표 1의 정보를 찾으면서, 키 식별 모듈은 터치 포인트(110)가 엔트리 B 내에 있음을 결정할 것이다. 이러한 예에서, 컴패니언 장치(80 및 90)는 영역 B가 접촉되었음을 알리는 시스템(10)으로부터 데이터를 수신한다. 시스템(10) 내의 프로세서 유닛(70)은 예를 들어 커서를 디스플레이 상에서 아래로 이동시키기 위하여 컴패니언 장치가 상기 이벤트와 관련된 임무를 수행하기 위하여 요구될 수 있는 다른 정보를 수신할 수 있게 한다.

도 5B는 도 1A에 도시된 것과 유사한 시스템(10)의 실시예를 도시한다. 도 5B에서, 가상 입력 장치(50)는 컴퓨터 키보드이고, 컴패니언 장치(80, 90)는 휴대용 송수신기, 예를 들어 휴대폰이다. 시스템(10)은 실제로 컴패니언 장치(80, 90) 내에서 구현될 수 있다. 그렇기 때문에, OS1은 장치(80, 90)의 하부 부분으로부터 팬-빔(30)을 방출할 수 있고, OS2는 동일한 장치의 상부 부분에 배치될 수 있다. 가상 입력 장치(50)는, 만약 필요한 경우, 장치(80, 90)로부터 광학적으로 투사될 수 있다. 대안적으로, 가상 입력 장치(50)는 예를 들어, 플라스틱, 종이 등과 같은 접을 수 있는 기판 상에 프린트될 수 있고, 상기 접을 수 있는 기판은 장치(80, 90) 내에 유지될 수 있으며, 그 다음에 이동되어 펼쳐질 수 있거나 풀어서 장치(80, 90)의 전면에 있는 평평한 작업 표면 상에 배치할 수 있다. 장치(80, 90)의 전면에 있는 가상 입력 장치(50)의 위치는, 가상 입력 장치(50)에 관심이 있는 임의의 영역에 놓인 팬-빔의 위치를 사용하여, OS1이 가상 입력 장치를 둘러싸는 팬-빔(30)을 방출할 수 있고, OS2가 사용자의 손가락 또는 커서와 같은 오브젝트의 교차부(110)를 검출할 수 있도록 되어 있다. 즉, OS2는 교차하는 상황의 이미지를 프로세서 유닛(70)으로 전송하고 프로세서 유닛(70)은 교차부의 위치를 결정한다.

도 5B에서, OS2는 오브젝트 120R이 팬-빔(130)을 차단할 때까지 반사된 광학 에너지를 검출하지 않을 것이고, 차단된 후에야 OS1에 의해 방출된 소정의 광학 에너지는 반사되고(130) OS2에 의해 검출될 것이다. 도 1A에 도시된 (x,z) 좌표 시스템과 관련하여, 교차 지점(110)은 근사적으로 위치(13,5)이다. 도 4와 관련하여, 키보드 레이아웃 표(250)는 가상 입력 장치(50) 상에 정의된, 예를 들어, "1", "2", ..."Q", "W"..."SHIFT"와 같은 각각의 가상 키에 대하여 적어도 하나의 엔트리를 가질 것이다. 도 5A와 관련하여 설명된 것과 유사한 엔트리 서치 프로세스가 바람직하게 유닛(70)에 의해 수행되어, 터치 포인트(110) 아래 놓인 관련 가상 키가 식별될 수 있다. 도 5B에서, 관련 키는 "I"이고, 문자 "I"는 사용자의 손 120R의 일부를 사용하여 휴대폰(80, 90) 안으로 입력되는 이메일 메세지 텍스트(140)의 부분으로서 디스플레이(150) 상에 나타난다. 휴대폰 키패드를 사용하여 힘들여 메세지를 입력하는 것과 대조적으로, 가상 키보드(50)를 사용하면 빠르게 터치형 메세지를 휴대폰(80, 90) 안으로 입력할 수 있다.

시스템(10)의 일실시예가 도시되어 있는 도 5C에서, 작업공간(40)은 수직 벽, 아마도 상점 또는 상가의 수직 벽이고, 가상 입력 장치(50)는 또한 수직으로 배치된다. 이러한 실시예에서, 가상 입력 장치(50)가 몇 개의 아이콘 및/또는 워드(320)와 함께 도시되어 있고, 상기 아이콘 및/또는 워드는 예를 들어, 터치 포인트(110)에서 사용자의 손에 의해 접촉될 때, 적절한 텍스트 및/또는 그래픽 이미지(140)가 컴패니언 장치(80, 90)의 디스플레이(150) 상에 나타나게 할 것이다. 도시된 예에서, 아이콘(320)은 상점의 위치 또는 매장을 표현할 수 있고, 디스플레이(150)는 아이콘 영역의 사용자 접촉에 응답하여 부가적인 정보를 쌍방향으로 제공할 것이다. 상가의 경우, 여러가지 아이콘은 전체 상점, 또는 상점 내의 매장 또는 영역 등을 나타낼 수 있다. 바람직하게, 110과 같은 터치포인트의 검출 및 한정(localization)은 도 3A 및 도 3B의 실시예와 관련하여 설명된 것처럼 수행된다. 바람직하게, 시스템(10) 내부의 프로세서 유닛(70)은 가상 입력 장치(50)의 어떤 아이콘 또는 텍스트 부분이 접촉되었는지, 및 어떤 명령 및/또는 데이터가 호스트 시스템(80, 90)에 통신되어야 하는지를 결정하기 위하여, 프로세서 유닛(70) 내에 저장되거나 프로세서 유닛(70) 안으로 로딩될 수 있는 소프트웨어를 실행한다.

도 5C의 실시예에서, 가상 입력 장치(50)가, 예를 들어 디스플레이(150)가 칼로리, 양념 내용물 등과 같은 상세한 정보를 제공할 수 있는 레스토랑의 메뉴처럼 자주 바뀌는 경향이 있다면, 장치(50)는 벽(40) 내부로부터 다시 투사될 수 있다. 알 수 있듯이, 여러가지 아이콘(320)의 레이아웃 및 위치가 변경된다면, 시스템(10)의 유닛(70) 내에 저장된 매핑 정보 또한 변경될 수 있다. 고정된 위치에 고정된 크기의 아이콘을 가지면서 가상 입력 장치의 속성 및 내용을 고정시킬 필요없이 빠르게 바꿀 수 있는 능력은 매우 유용하다. 필요한 경우, 실제로 몇몇 아이콘들은 크기 및 장치(50) 상의 위치가 고정될 수 있고, 사용자가 그것들을 접촉하는 것은 입력 장치(50) 상에 나타난 것 및 유닛(70) 내부에서 소프트웨어에 의하여 맵핑되는 것을 재맵핑(re-mapping)시키는 것을 선택하기 위하여 사용될 수 있다. 광고를 포함하여 단순히 정보를 디스플레이하는 것에 부가하여, 컴패니언 장치(80, 90)는 사용자를 위한 판매촉진 쿠폰(330)를 발행하기 위하여 사용될 수도 있다.

도 6으로 돌아와서, 터치 이벤트의 등록 방식 및 그 위치를 배치하는 것은 시스템(10)이 구조화된 광 시스템 또는 수동 광 시스템인지 여부에 따른 시스템 (10) 방식에 의해 결정된다. 상술한 바와 같이, 구조화된 광 시스템에서 OS1은 라인 발생 레이져 시스템일 수 있고, 그리고 수동 광 시스템에서, OS1은 디지털 카메라일 수 있다. 예를 들어 120R과 같은 오브젝트에 의해 차단될 때 각 시스템은 터치 이벤트의 (X,Z) 좌표가 후에 결정되는 터치 이벤트를 정의하는 플레인(30)을 정의한다. 일단 가상 터치의 (X,Z) 좌표가 결정되면, 본 발명은 시스템을 사용하는 사람이 의도한 입력 또는 명령이 무엇인지를 결정할 수 있다. 이러한 입력 또는 명령은 컴패니언 장치로 통용될 수 있으며, 이 장치는 또한 실제 본 발명에 포함된다.

시스템(10)이 수동 시스템이라면, 터치 이벤트는 손 끝의 윤곽이 OS1의 선택된 프레임 로우에 나타날 때 디지털 카메라에 등록된다. 터치의 (X,Z) 플레인(30)의 위치는 터치가 OS1에서 탐지될 때 오브젝트 팁(예를 들어 120R)에 상응하는 픽셀 위치에 의해 결정된다. 도 6에 도시한 바와 같이, 카메라 OS1으로부터 터치 포인트까지의 범위 또는 거리는 픽셀 프레임의 "근접" 단부로부터의 픽셀 수에 대한 어핀(affine) 함수이다.

구조화된 광 실시예에서, OS1은 통상적으로 레이져 라인 발생기이고, OS2는 OS1에 의해 방사된 광 에너지의 파장에 가장 민감한 카메라이다. 이는 OS1에 의해 방사된 것에 대응하는 파장만을 통과시킬 것이므로 OS2 상에 협대역 광 필터를 설치함으로써 획득할 수 있다. 대체적으로, OS2는 동기하여 OS1의 출력을 펄스하기 위해 개방 및 폐쇄하는 셔터를 포함할 수 있고, 예를 들어, OS2는 OS1이 광 에너지를 방사하는 시각에만 광 에너지를 볼 수 있다. 구조화된 광 시스템 중 어느 것이 든, OS2가 오직 플레인(30)을 차단하고 또 OS1에 의해 방사된 에너지를 반사하는 오브젝트을 탐지하는 것이 바람직하다.

상기의 경우, 터치 감지 검출과 범위 계산은 시스템(10)에 의해 수행된다. 따라서, 터치 이벤트는 예를 들어 손 끝 120R과 같은 오브젝트의 윤곽이 OS2의 시야내에 나타날 때 등록된다. 상기 예와 같이, 범위 거리는 픽셀 프레임의 "근접" 단부로부터의 픽셀 수에 대한 어핀 함수로서 계산될 수 있다.

도 4에 본 발명에 따른 분석적 단계의 다른 예를 도시한다. 도 1A에 도시된 바와 같이, 가상 입력 장치를 키보드(50)로 가정하고, 시스템(10)은 적어도 가상 키보드(50) 상에 사용자가 "터치한" 가상 키에 대응하는 스캔 코드를 포함하는 정보를 출력할 것이다. 도 1A 및 도 2A에서, 상부(예를 들면, "ESC", "F1", "F2", 등등의 가상 키를 가지는 로우)는 광학 시스템 OS1(20)으로부터 대략 20cm 거리인 것으로 가정한다. 카메라 OS2(60)는 대략 10cm 높이를 가지는 PDA 또는 그 밖의 장치 상에 내장되고, 플레인(30)에 관하여 이미 알고 있는 각 α₁=120°에 위치하는 것으로 가정한다. 또한, 카메라 OS2(60)은 대략 4mm 정도의 초점거리를 가지는 렌즈와 480 로우와 640 컬럼으로 배열된 카메라 센서를 가지는 것으로 가정한다.

가상 키보드(50)의 상부 왼쪽 코너의 Z 좌표는 컨벤션 X=0 와 Z=0, 예를 들어(0,0)으로 세트된다. 호모그래피 H는 카메라 OS2(60)의 기울기에 따른 가상 장치 상의 포인트들을 이미지상에서 나타낸다. 상기의 전형적인 호모그래피 행렬예시는 다음과 같다:

상기 행렬은, 여기에 기술된 어디에서나 마찬가지로, 교정 절차동안 단 한번에 결정될 필요가 있다.

도 1A 내지 도 7에서, 사용자(120L)는 문자 "T"에 대응하는 가상 키보드(50)의 영역을 터치하는 것으로 가정하고, 여기서 문자 "T"는 사용자의 손가락를 가이드하기 위해 기판상에 프린트될 수 있거나 시스템(10)에 의해 투사된 가상 입력 장치의 이미지의 일부일 수 있다. 상기 정의된 좌표 시스템을 사용하여, 도 7에 도시된 바와 같이, 키 "T"는 수평 좌표 X_min = 10.5 와 X_max= 12.4cm 사이에, 수직 좌표 Z_min= 1.9 와 Z_max = 3.8cm 사이에 위치한다고 할 수 있다.

도 6을 참조하면, 도면 하부에서 비네트(vignette)(340) 내에 나타난 바와 같이, 사용자의 손가락(120L;또는 스타일러스)이 센서 OS1(20)의 플레인을 교차하기 전에, 광이 없는 것을 탐지한 후, 그리고 블랙 픽셀로 이루어진 이미지를 볼 수 있다. 하지만, 사용자-오브젝트가 광학 플레인(30)을 교차하자 마자, 교차 이벤트 또는 인터페이스는 OS1(20)에 보여지게 된다. OS1(20)은 이제 도 6의 하부에서 비네트(350) 내에 도시된 이미지와 유사한 이미지를 생성한다. 사용자-오브젝트(예를 들어 손가락(120L))가 아래쪽을 향해 이동하는 팁(110)이 표면(40)에 도달할 때, 보다 많은 손가락이 보인다. 손가락의 윤곽은 이제 예를 들어 모서리 탐지를 사용하는 유니트(70)에 의해 결정된다. 이러한 결정은 "터치" 이벤트 비네트(360)로서 도 6의 하부에 도시된다. 이후, 도 4의 터치 탐지 모듈(220)은 터치된 표면(40)을 가지고, 이러한 사건의 팁 탐지 모듈(230)을 알려주는 사용자-오브젝트을 결정한다.

도 1A에 도시된 바와 같이, 가상 'T' 키는 가상 키보드(50)의 두번째 로우에서 발견되고, 따라서 센서 OS1(20)에 비교적 근접해 있다. 도 6에서, 이러한 상태는 위치(110')내의 손 끝에 대응한다. 또한 도 6에서, 광학 시스템 OS2(60)의 센서 상의 손 끝 위치(110') 하부의 투사는 이미지의 상부에 비교적 근접해 있다. 따라서, 생성된 손 끝 이미지의 모서리는 도 6의 상부에서 비네트(370)내에 도시된 것과 유사하다. 비네트(370)에서, 두 개의 그레이 정사각형은 손 끝의 하부 모서리 픽셀을 나타낸다.

대신에 사용자가 스페이스 바 또는 가상 키보드(50)의 하부에 근접한 다른 키를 친다면, 즉, 센서 OS1(20)로부터 더 멀어지게 한다면, 도 6에서 손 끝 위치(110)에 의해 도시된 상태가 발생한다. 이러한 비교적 먼 가상 키보드 상의 위치는 이미지의 하부에 근접한 픽셀에 맵핑되고, 모서리 이미지는 대신하여 발생된 도 6의 상부에서 비네트(380) 내에 스케치된 것과 유사하다. 중간의 가상 키 접촉 상황은 도 6의 상부의 비네트(390)에서 도시된 것과 더욱 유사한 모서리 이미지를 만들어내는 상태와 접촉한다.

상기 예의 가상 키 'T'를 누르면, 도 4의 팁 탐지 모듈(230)은 모서리 탐지 알고리즘을 가동하고, 이미지 로우(65)와 컬럼(492)에서 접촉되는 일반화된 영역을 나타내는 "블럽(blob)"의 하부 센터를 찾아낸다. 동종의 이미지는 벡터 P를 좌표화하고, 아래와 같이 형식화된다:

다음에 이미지 좌표 벡터(p)는 호모그래피 매트릭스(H)와 곱해져 가상 키보드의 기준 프레임에서 사용자 손가락끝의 좌표(P)를 생성한다:

그리고, 사용자 오브젝트 또는 손가락(120L)은 좌표 x=11.53cm, z=2.49cm의 위치에서 가상 키보드(50)를 터치하는 것으로 측정된다. 도 4의 키 식별 모듈(260)은 x_min ≤11.53 < x_max 및 y_min ≤2.49 < y_max가 되도록 키에 대한 키보드 레이아웃(250)을 검색한다.

이러한 조건들은 10.5 < 11.53 < 12.4 및 1.9 < 2.49 < 3.8 이므로 가상 "T" 키에 대하여 만족된다. 도 4를 참조하면, 키 식별 모듈(260)은 사용자 오브젝트가 가상 키보드(50)상의 가상 키 "T"를 터치하는 것으로 판단하고 이 사건(occurrence)을 해석 모듈(270)에 알린다.

사건이 반드시 키스트로크일 필요는 없다. 예를 들어, 사용자 오브젝트 또는 손가락이 "T" 키에 접촉하여 키와 접촉한 상태로 유지될 수도 있다. 이 경우, 키스트로크가 없었다는 것이 컴패니언 장치(80 또는 90)상에 동작하는 애플리케이션(280)에 전송될 것이다.

키 해석 모듈(270)은 바람직하게도 내부적으로 각 키의 업-상태 또는 다운-상태를 저장한다. 상기 모듈은 모든 프레임에서 어떤 키가 상태를 변경하였는가를 측정한다. 상기 실시예에서, 만약 키 "T"가 이전 프레임에서는 업-상태였지만 현재 프레임에서 다운-상태라는 것이 판단되면, 해석 모듈(270)은 KEYCODE 매시지를 애플리케이션(280)으로 전송한다. KEYCODE 코드는 "T" 키를 식별하는 'KEY ID' 태그와 함께 'KEY DOWN' 사건 식별자를 포함하고, 이에 의해 "T" 키가 사용자 오브젝트에 의해 방금 눌러졌다는 것을 애플리케이션(280)에게 알린다. 만약 "T" 키가 이전 프레임동안 다운-상태인 것으로 판단되면, KEYCODE는 "T" 키와 관련된 'KEY ID'와 함께 'KEY HELD' 사건 식별자를 포함한다. 키가 다운-상태에 있는 각 프레임(제1 프레임은 제외)에서 'KEY HELD'를 전송하는 것은 애플리케이션(280)이 키에 대한 어떠한 상태를 유지하는 것을 덜어준다. "T" 키가 이전 프레임에서는 다운-상태였지만 현재 프레임에서 업-상태인 것이 판단되면, 해석 모듈(270)은 "T" 키를 식별하는 'KEY ID' 태그와 함께 'KEY UP' 사건 식별자를 포함하는 KEYCODE를 전송하여, "T" 키가 사용자에 의해 방금 "해제(released)"되었다는 것을 애플리케이션(280)에게 알린다.

지금까지의 설명으로부터, 프레임 이미지는 단지 사용자 오브젝트의 단부(예, 손가락 팁)만을 포함한다는 것을 이해할 수 있을 것이다. 본 발명의 다양한 실시예는 가상 입력 또는 가상 전달 장치상에서 정의된 비교적 작은 공간으로부터 얻어진 3차원적 이미지 정보를 이용할 수 있다. 이러한 실시예를 구현하는 시스템은 비교적 저렴하게 제조될 수 있으며 자체 전원을 내장하여 동작할 수 있다. 시스템은 PDA, 휴대용 전화기 등과 같은 일반적 장치내에 구성될 수 있으며 사용자로부터의 정보의 입력 및 전송을 개선한다. 전술한 바와 같이, 주변광으로부터의 원하지 않는 효과는 동작하는 광 장치의 파장을 선택함으로써, 카메라와 광원을 동기화시킴으로써, 그리고 배경 노이즈를 나타내는 이미지을 검출하여 제거하는 신호 처리 기술에 의해서 감소될 수 있다.

하기에 청구된 본 발명의 사상 및 범위를 벗어나지 않고 다양한 변형 및 수정이 가능하다는 것을 당업자는 알 것이다.

Claims

삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
장치 플레인에 형성된 가상 입력 장치와 적어도 하나의 사용자-오브젝트의 상호작용으로부터 정보를 획득하는 방법으로서,

(a) 팬 빔(fan beam)을 이용하여 상기 장치 플레인에 실질적으로 평행하고 상기 적어도 하나의 사용자-오브젝트에 의한 광플레인의 관통이 상기 장치 플레인 상에서 가상 입력 장치를 상호작용적으로 접촉하는 것과 같도록 충분히 작은 거리로 상기 장치 플레인 상에 이격된 광 플레인을 발생시키는 단계;

(b) 상기 적어도 하나의 사용자-오브젝트 중 적어도 일부분이 상기 광 플레인을 관통하고 이로써 상기 장치 플레인 상의 하나의 위치에서 상호작용적으로 접촉하는지와 언제 관통하여 접촉하는지를 상기 광 플레인에서 반사된 광으로부터 검출하기 위해 주어진 시간에 하나의 이미지로 표현된 데이터를 획득하도록 하나의 센서를 사용하는 단계; 및

(c) 상기 단계(b)에서 발생하여 검출된 상기 장치 플레인과의 각각의 접촉에 대하여, 상기 하나의 센서와 관련한 접촉 위치를 결정하는 단계를 포함하며,

상기 단계(c)에서 결정된 각각의 접촉 위치와 관련한 상기 가상 입력 장치의 기능은 확인가능한(asertainable), 정보 획득 방법.
제 28 항에 있어서,

상기 가상 입력 장치와 관련하여 상기 단계(c)에서 결정된 접촉 위치와 같은 정보를 컴패니언 장치에 전달하는 단계(d)를 더 포함하는 것을 특징으로 하는 정보 획득 방법.
제 29 항에 있어서,

상기 컴패니언 장치는 (i) PDA, (ⅱ) 휴대용 통신 장치, (ⅲ) 전자 장치, (ⅳ) 전자 게임 장치 및 (ⅴ) 악기 중 적어도 하나를 포함하며, 상기 가상 입력 장치는 (Ⅰ) 가상 키보드, (Ⅱ) 가상 마우스, (Ⅲ) 가상 트랙볼, (Ⅳ) 가상 펜, (Ⅴ) 가상 트랙패드 및 (Ⅵ) 사용자-인터페이스 선택기 중 적어도 하나인 것을 특징으로 하는 정보 획득 방법.
제 29 항에 있어서,

상기 사용자-오브젝트는 사용자 손의 적어도 일부를 포함하고,

상기 가상 입력 장치는 가상 키보드를 포함하고,

상기 컴패니언 장치는 (ⅰ) PDA, (ⅱ) 휴대전화, 및 (ⅲ) 컴퓨터 중 적어도 하나를 포함하는 것을 특징으로 하는 정보 획득 방법.
제 29 항에 있어서,

상기 사용자-오브젝트는 사용자 손의 적어도 일부를 포함하고,

상기 가상 입력 장치는 가상 마우스를 포함하고,

상기 컴패니언 장치는 (ⅰ) PDA, (ⅱ) 휴대전화, 및 (ⅲ) 컴퓨터 중 적어도 하나를 포함하는 것을 특징으로 하는 정보 획득 방법.
제 29 항에 있어서,

상기 사용자-오브젝트는 사용자 손의 적어도 일부를 포함하고,

상기 가상 입력 장치는 가상 트랙볼을 포함하고,

상기 컴패니언 장치는 (ⅰ) PDA, (ⅱ) 휴대전화, 및 (ⅲ) 컴퓨터 중 적어도 하나를 포함하는 것을 특징으로 하는 정보 획득 방법.
제 29 항에 있어서,

상기 사용자-오브젝트는 사용자 손의 적어도 일부를 포함하고,

상기 가상 입력 장치는 가상 펜을 포함하고,

상기 컴패니언 장치는 (ⅰ) PDA, (ⅱ) 휴대전화, 및 (ⅲ) 컴퓨터 중 적어도 하나를 포함하는 것을 특징으로 하는 정보 획득 방법.
제 28 항에 있어서,

상기 단계(a)는 광학 에너지를 이용하여 상기 광플레인을 형성하는 단계를 포함하고, 상기 단계(b)는 상기 사용자-오브젝트의 적어도 일부분이 상기 광플레인을 관통할 때 상기 광학 에너지의 반사된 부분을 검출하는 단계를 포함하는 것을 특징으로 하는 정보 획득 방법.
제 28 항에 있어서,

상기 단계(b)와 상기 단계(c) 중 적어도 하나의 단계는 삼각측량분석을 이용하여 수행되는 것을 특징으로 하는 정보 획득 방법.
제 28 항에 있어서,

상기 가상 입력 장치는 (ⅰ) 테이블 상부, (ⅱ) 데스크 상부, (ⅲ) 벽(wall), (ⅳ) 판매점 장비, (ⅴ) 서비스점 장비, (ⅵ) 키오스크(kiosk), (ⅶ) 운송수단의 표면, (ⅷ) 투사 디스플레이, (ⅸ) 물리적 디스플레이, (x) CRT, 및 (xi) LCD 중에서 적어도 하나를 선택한 작업 표면에 맵핑되는 것을 특징으로 하는 정보 획득 방법.
제 28 항에 있어서,

상기 단계(b)는 렌즈 광학축이 구비된 렌즈를 갖는 카메라를 제공하는 단계 및 이미지 플레인을 제공하는 단계를 포함하고, 상기 렌즈 광학축과 관련하여 상기 이미지 플레인을 기울임으로써 상기 카메라의 심도(depth of field) 및 해상도 중 적어도 하나를 개선하는 단계를 더 포함하는 것을 특징으로 하는 정보 획득 방법.
제 28 항에 있어서,

상기 단계(a)는 광학소스를 이용하여 상기 광플레인을 형성하는 단계를 포함하고,

상기 단계(b)는 상기 광플레인의 관통을 감지하기 위한 카메라를 제공하는 단계를 포함하는 것을 특징으로 하는 정보 획득 방법.
제 39 항에 있어서,

상기 광학소스와 상기 카메라의 동작을 동기화시키는 단계를 더 포함하고,

상기 단계(b)와 상기 단계(c) 중 적어도 하나의 단계에서 얻어진 정보 정확도에 대한 주변광의 효과가 감소되는 것을 특징으로 하는 정보 획득 방법.
제 39 항에 있어서,

상기 광학소스는 주변광을 배제시키는데 사용된 신호(signature)를 갖는 광학 에너지를 방출시키는 것을 특징으로 하는 정보 획득 방법.
제 28 항에 있어서,

상기 단계(b)는 상기 사용자-오브젝트가 상기 광플레인으로부터 멀리 있는 경우를 결정함으로써 상기 주변광에 의해 발생된 주변광 정보를 획득하는 단계를 포함하고,

상기 단계(b)와 상기 단계(c) 중 적어도 하나의 단계는 상기 사용자-오브젝트가 상기 가상 입력 장치와 상호작용할 때 얻어진 정보로부터 상기 주변광 정보를 제거하는 단계를 포함하며,

상기 주변광 효과가 감소되는 것을 특징으로 하는 정보 획득 방법.
제 28 항에 있어서,

상기 사용자-오브젝트는 사용자 손의 적어도 일부를 포함하는 것을 특징으로 하는 정보 획득 방법.
제 28 항에 있어서,

상기 가상 입력 장치는 가상 키보드인 것을 특징으로 하는 정보 획득 방법.
제 28 항에 있어서,

상기 가상 입력 장치는 가상 마우스인 것을 특징으로 하는 정보 획득 방법.
제 28 항에 있어서,

상기 가상 입력 장치는 가상 트랙볼인 것을 특징으로 하는 정보 획득 방법.
제 28 항에 있어서,

상기 가상 입력 장치는 가상 펜인 것을 특징으로 하는 정보 획득 방법.