KR20110123257A

KR20110123257A - 능동 디스플레이 피드백에 의한 터치 포인터 명확화

Info

Publication number: KR20110123257A
Application number: KR1020117020746A
Authority: KR
Inventors: 그랜트 맥기브네이; 대니얼 맥레이놀즈; 패트릭 거틀러; 키지 죠안나 슈
Original assignee: 스마트 테크놀러지스 유엘씨
Priority date: 2009-02-11
Filing date: 2010-02-11
Publication date: 2011-11-14
Also published as: CN102369498A; CA2751607A1; US20100201812A1; MX2011008489A; WO2010091510A1; TW201101140A; EP2396710A4; EP2396710A1; BRPI1008547A2

Abstract

대화형 입력 시스템에서 포인터 불명확성을 해결하는 방법은 대화형 입력 시스템의 입력 표면 부근에서 복수의 포인터에 대한 복수의 잠재적인 포인터 위치를 계산하는 단계와, 각각의 잠재적인 포인터 위치와 관련된 시각적 표시자를 입력 표면상에 디스플레이하는 단계와, 시각적 표시자의 디스플레이로부터 유도된 피드백에 기초하여 실제 포인터 위치를 결정하는 단계를 포함한다.

Description

능동 디스플레이 피드백에 의한 터치 포인터 명확화{TOUCH POINTERS DISAMBIGUATION BY ACTIVE DISPLAY FEEDBACK}

본 발명은 일반적으로 대화형 입력 시스템에 관한 것이고, 특히 대화형 입력 시스템에서 포인터 불명확성을 해결하는 방법 및 이 방법을 이용하는 대화형 입력 시스템에 관한 것이다.

사용자가 능동 포인터(예를 들면, 빛, 음향 또는 다른 신호를 발생하는 포인터), 수동 포인터(예를 들면, 손가락, 실린더 또는 다른 물체) 또는 다른 적당한 입력 장치, 예를 들면 마우스 또는 트랙볼을 이용하여 응용 프로그램에 입력을 주입하게 하는 대화형 입력 시스템이 공지되어 있다. 이러한 대화형 입력 시스템으로는 비제한적인 예를 들자면 미국 특허 제5,448,263호; 6,141,000호; 6,337,681호; 6,747,636호; 6,803,906호; 7,232,986호; 7,236,162호 및 7,274,356호와, 미국 특허 출원 공개 제2004/0179001호에 개시된 것과 같이 아날로그 저항성 또는 머신 비젼 기술을 이용하여 포인터 입력을 등록하는 터치 패널을 구비한 터치 시스템(상기 특허 및 공개 출원은 캐나다 앨버타 캘거리에 소재하는 스마트 테크놀로지즈 ULC에 양도되었고 그 내용은 인용에 의해 그 전부가 여기에 통합된 것으로 한다); 전자기, 용량, 음향 또는 기타의 기술을 이용하여 포인터 입력을 등록하는 터치 패널을 구비한 터치 시스템; 태블렛 퍼스널 컴퓨터(PC); 터치 작동식 랩톱 PC; 개인용 디지털 단말기(PDA); 및 기타의 유사한 장치가 있다.

대화형 입력 표면에 관한 포인터의 검출을 용이하게 하기 위해, 각종 기술을 사용할 수 있다. 예를 들면, 토우(Toh)에게 허여된 미국 특허 제6,346,966호에는 관심대상 오브젝트를 내포하고 있는 장면(scene)에 다른 조명 기술을 동시에 적용하는 영상 취득 시스템(image acquisition system)에 대하여 개시되어 있다. 단일 오브젝트 위치 내에서, 상이한 조명 기술에 의해 조명되는 복수의 영상은 각 영상을 취득하기 위한 특수 파장 대역을 선택함으로써 취득될 수 있다. 전형적인 응용에 있어서, 오브젝트를 조명하기 위해 후방 조명 및 전방 조명 둘 다를 동시에 사용할 수 있고, 상이한 영상 분석 방법을 상기 영상들에 적용할 수 있다.

구스킨(Guskin)에게 허여된 미국 특허 제4,787,012호에는 적외선 광원을 이용하여 카메라에 의해 촬영되는 주체(subject)를 조명하는 방법 및 장치에 대하여 개시되어 있다. 적외선 광원은 촬영 대상의 얼굴을 비추도록 카메라 내부에 또는 카메라 위에 장착된다.

나카무라(Nakamura) 등이 출원한 미국 특허 출원 공개 제2006/0170658호에는 오브젝트가 스크린에 접촉하였는지에 대한 결정의 정확성 및 오브젝트의 좌표 위치 계산의 정확성을 둘 다 향상시키는 장치에 대하여 개시되어 있다. 이 장치는 영상의 가장자리(edge)를 검출하기 위한 가장자리 검출 회로를 포함한다. 가장자리를 이용해서, 접촉 결정 회로는 오브젝트가 스크린에 접촉하였는지 여부를 결정한다. 눈금조정 회로(calibration circuit)는 외부 광에 응답해서 광 센서의 감도를 조절하고, 광 센서의 출력 값에 기초하여 광학 센서의 구동 조건이 변경된다.

뉴톤(newton)이 출원한 미국 특허 출원 공개 제2005/0248540호에는 전면, 후면, 복수의 가장자리 및 내부 체적을 가진 터치 패널에 대하여 개시되어 있다. 에너지원은 터치 패널의 제1 가장자리 부근에 위치되고, 터치 패널의 내부 체적 내에서 전파되는 에너지를 방출하도록 구성된다. 산란 반사경은 터치 패널의 전면 부근에 위치되어 내부 체적으로부터 빠져나온 에너지의 적어도 일부를 산란식으로 반사한다. 적어도 하나의 검출기가 터치 패널의 제1 가장자리 부근에 위치되고, 이 검출기는 터치 패널의 전면에서 산란식으로 반사된 에너지의 강도 수준을 검출하도록 구성된다. 바람직하게는 2개의 검출기가 터치 패널의 제1 가장자리 부근에서 서로 이격되게 배치되어 간단한 삼각측량(triangulation) 기술을 이용하여 터치 위치를 계산하는 것이 좋다.

킹(King)이 출원한 미국 특허 출원 공개 제2003/0161524호에는 하나 이상의 상이한 조명 조건하에서 카메라를 이용하여 목표물의 영상을 촬영함으로써 목표물의 소정의 특징들을 구별하고 영상 분석을 이용하여 목표물에 대한 관심 정보를 추출함으로써 머신 비젼 시스템의 능력을 개선하는 방법 및 시스템에 대하여 개시되어 있다. 목표물의 상이한 특징들을 강조하기 위해 자외선 광이 단독으로 또는 축상(direct on-axis) 조명 및/또는 작은 각도 조명과 함께 사용된다. 목표물과 카메라 사이에 배치된 하나 이상의 필터는 카메라로 촬영한 하나 이상의 영상으로부터 원치않는 광을 걸러내는데 도움을 준다. 영상들은 종래의 영상 분석 기술에 의해 분석되고, 그 결과는 기록되거나 컴퓨터 디스플레이 장치에서 표시된다.

후방 투사 장치를 이용하여 대화형 입력 시스템(예를 들면, 후방 투사 디스플레이, 액정 표시(LCD) 장치, 플라즈마 텔레비전 등)의 입력 표면에 영상을 나타내는 대화형 입력 시스템에 있어서, 입력 표면과 접촉하는 복수의 포인터는 특히 2개의 촬상 장치만을 사용하는 대화형 입력 시스템에서 위치찾기 및 추적하기가 어렵다. 각 촬상 장치에 의해 포착된 영상에서 나타나는 포인터들은 포인터 사이즈 또는 포인터에 의해 반사된 광의 강도 등과 같은 방법을 이용하여 구별될 수 있다. 비록 이러한 포인터 구별 기술이 통제된 환경에서 잘 작용하기는 하지만, 통제되지 않은 환경에서 사용하는 경우 상기 포인터 구별 기술은 예를 들면 반사광 등의 주변 조명 효과 때문에 단점을 갖게 된다. 이러한 조명 효과는 배경에 있는 포인터가 전경(foreground)에 있는 포인터보다 촬상 장치에 더 밝게 나타나게 할 수 있고, 그 결과 부정확한 포인터가 촬상 장치에 더 가까운 것으로 식별될 수 있다. 또한, 2개의 촬상 장치를 이용하는 대화형 입력 시스템에서, 복수의 포인터가 입력 표면과 접촉하는 경우, 하나의 포인터가 촬상 장치 중 하나로부터의 다른 포인터를 불명료하게 하는 몇 개의 지점이 있고, 그 결과 불명료한 포인터의 정확한 위치에 대하여 불명확성을 야기하게 된다. 더 많은 포인터가 촬상 장치의 시계에 나타날 수 있기 때문에, 상기와 같은 불명확성의 가능성이 증가한다.

그러므로, 본 발명은 적어도 대화형 입력 시스템에서의 포인터 불명확성을 해결하는 신규 방법 및 이 방법을 이용하는 대화형 입력 시스템을 제공하는 것을 목적으로 한다.

본 발명의 하나의 태양에 따르면, 대화형 입력 시스템에서 포인터 불명확성을 해결하는 방법에 있어서, 대화형 입력 시스템의 입력 표면 부근에서 복수의 포인터에 대한 복수의 잠재적인 포인터 위치를 계산하는 단계와; 각각의 잠재적인 포인터 위치와 관련된 시각적 표시자를 입력 표면상에 디스플레이하는 단계와; 시각적 표시자의 디스플레이로부터 유도된 피드백에 기초하여 실제 포인터 위치를 결정하는 단계를 포함하는 포인터 불명확성 해결 방법이 제공된다.

본 발명의 다른 태양에 따르면, 대화형 입력 시스템에서 포인터 불명확성을 해결하는 방법에 있어서, 대화형 입력 시스템의 입력 표면과 접촉하는 적어도 2개의 포인터 각각과 관련된 가능한 터치 포인트 좌표를 계산하는 단계와; 제1 쌍의 가능한 터치 포인트 좌표와 관련된 영역에서 입력 표면상에 제1의 시각적 표시자를 디스플레이하고 제2 쌍의 가능한 터치 포인트 좌표와 관련된 영역에서 입력 표면상에 제2의 시각적 표시자를 디스플레이하는 단계와; 제1의 시각적 표시자의 디스플레이 및 제2의 시각적 표시자의 디스플레이 동안에 촬상 시스템으로 제1 영상을 포착하는 단계와; 제1 쌍의 가능한 터치 포인트 좌표와 관련된 영역에서 입력 표면상에 제2의 시각적 표시자를 디스플레이하고 제2 쌍의 가능한 터치 포인트 좌표와 관련된 영역에서 입력 표면상에 제1의 시각적 표시자를 디스플레이하는 단계와; 제2의 시각적 표시자의 디스플레이 및 제1의 시각적 표시자의 디스플레이 동안에 촬상 장치 시스템으로 제2 영상을 포착하는 단계와; 실제 터치 포인트 좌표를 검증하기 위해 제1 영상과 제2 영상을 비교하는 단계를 포함한 포인터 불명확성 해결 방법이 제공된다.

본 발명의 다른 태양에 따르면, 입력 표면과; 입력 표면의 입력 영역의 영상들을 포착하고 적어도 하나의 포인터가 입력 표면과 접촉하는 때를 검출하도록 동작하는 촬상 장치 시스템과; 촬상 장치 시스템에 응답하고 적어도 하나의 포인터와 관련된 영역에서 입력 표면상에 적어도 하나의 포인터의 위치 검증을 용이하게 하는 영상 패턴을 디스플레이하는 비디오 제어 장치를 포함한 대화형 입력 시스템이 제공된다.

본 발명의 다른 태양에 따르면, 대화형 입력 시스템에서 적어도 하나의 포인터의 위치를 결정하는 방법에 있어서, 입력 표면상의 적어도 하나의 포인터의 적어도 하나의 터치 포인트 좌표를 계산하는 단계와; 적어도 하나의 터치 포인트 좌표와 관련된 영역에서 입력 표면상에 제1의 시각적 표시자를 디스플레이하는 단계와; 제1의 시각적 표시자를 디스플레이하는 동안에 대화형 입력 시스템의 촬상 시스템을 이용하여 입력 표면의 제1 영상을 포착하는 단계와; 적어도 하나의 터치 포인트 좌표와 관련된 영역에서 입력 표면상에 제2의 시각적 표시자를 디스플레이하는 단계와; 제2의 시각적 표시자를 디스플레이하는 동안에 촬상 시스템을 이용하여 입력 표면의 제2 영상을 포착하는 단계와; 적어도 하나의 포인터의 입력 표면상의 위치를 검증하기 위해 제1 영상과 제2 영상을 비교하는 단계를 포함한 포인터 위치 결정 방법이 제공된다.

본 발명의 다른 태양에 따르면, 대화형 입력 시스템에서 적어도 하나의 포인터 위치를 결정하는 방법에 있어서, 적어도 하나의 포인터와 관련된 영역에서 대화형 입력 시스템의 입력 표면에 제1 패턴을 디스플레이하는 단계와; 제1 패턴을 디스플레이하는 동안 입력 표면의 제1 영상을 촬상 장치 시스템으로 포착하는 단계와; 적어도 하나의 포인터와 관련된 영역에서 대화형 입력 시스템의 입력 표면에 제2 패턴을 디스플레이하는 단계와; 제2 패턴을 디스플레이하는 동안 입력 표면의 제2 영상을 촬상 장치 시스템으로 포착하는 단계와; 주변 광의 변화를 격리시키기 위해 제2 영상으로부터 제1 영상을 처리하여 차분 영상을 계산하는 단계를 포함한 포인터 위치 결정 방법이 제공된다.

본 발명의 다른 태양에 따르면, 입력 표면과; 입력 표면의 영상들을 포착하도록 동작하는 촬상 장치 시스템과; 입력 표면에 접촉하여 입력 표면으로부터 광의 변화를 감지하는 센서를 구비한 적어도 하나의 능동 포인터와; 촬상 장치 시스템에 응답하고 적어도 하나의 능동 포인터와 통신하며 적어도 하나의 포인터와 관련된 영역에서 입력 표면상에 적어도 하나의 포인터의 위치 검증을 용이하게 하는 영상 패턴을 디스플레이하는 비디오 제어 장치를 포함한 대화형 입력 시스템이 제공된다.

본 발명의 다른 태양에 따르면, 대화형 입력 시스템에서 포인터 불명확성을 해결하기 위해 컴퓨팅 장치에 의해 실행가능한 컴퓨터 프로그램을 내포한 컴퓨터 판독가능 매체에 있어서, 상기 컴퓨터 프로그램이 대화형 입력 시스템의 입력 표면 부근에서 복수의 포인터에 대한 복수의 잠재적인 포인터 위치를 계산하는 프로그램 코드와; 각각의 잠재적인 포인터 위치와 관련된 시각적 표시자를 입력 표면상에 디스플레이하게 하는 프로그램 코드와; 시각적 표시자로부터 유도된 피드백에 기초하여 실제 포인터 위치를 결정하는 프로그램 코드를 포함하는 컴퓨터 판독가능 매체가 제공된다.

본 발명의 다른 태양에 따르면, 대화형 입력 시스템에서 포인터 불명확성을 해결하기 위해 컴퓨팅 장치에 의해 실행가능한 컴퓨터 프로그램을 내포한 컴퓨터 판독가능 매체에 있어서, 상기 컴퓨터 프로그램이 대화형 입력 시스템의 입력 표면과 접촉하는 적어도 2개의 포인터 각각과 관련된 가능한 터치 포인트 좌표를 계산하는 프로그램 코드와; 제1 쌍의 가능한 터치 포인트 좌표와 관련된 영역에서 입력 표면상에 제1의 시각적 표시자를 디스플레이하게 하고 제2 쌍의 가능한 터치 포인트 좌표와 관련된 영역에서 입력 표면상에 제2의 시각적 표시자를 디스플레이하게 하는 프로그램 코드와; 제1의 시각적 표시자의 디스플레이 및 제2의 시각적 표시자의 디스플레이 동안에 촬상 시스템으로 제1 영상을 포착하게 하는 프로그램 코드와; 제1 쌍의 가능한 터치 포인트 좌표와 관련된 영역에서 입력 표면상에 제2의 시각적 표시자를 디스플레이하게 하고 제2 쌍의 가능한 터치 포인트 좌표와 관련된 영역에서 입력 표면상에 제1의 시각적 표시자를 디스플레이하게 하는 프로그램 코드와; 제2의 시각적 표시자의 디스플레이 및 제1의 시각적 표시자의 디스플레이 동안에 촬상 장치 시스템으로 제2 영상을 포착하게 하는 프로그램 코드와; 실제 터치 포인트 좌표를 검증하기 위해 제1 영상과 제2 영상을 비교하는 프로그램 코드를 포함한 컴퓨터 판독가능 매체가 제공된다.

본 발명의 다른 태양에 따르면, 대화형 입력 시스템에서 포인터 불명확성을 해결하기 위해 컴퓨팅 장치에 의해 실행가능한 컴퓨터 프로그램을 내포한 컴퓨터 판독가능 매체에 있어서, 상기 컴퓨터 프로그램이 입력 표면상의 적어도 하나의 포인터의 적어도 하나의 터치 포인트 좌표를 계산하는 프로그램 코드와; 적어도 하나의 터치 포인트 좌표와 관련된 영역에서 입력 표면상에 제1의 시각적 표시자를 디스플레이하게 하는 프로그램 코드와; 제1의 시각적 표시자를 디스플레이하는 동안에 촬상 시스템을 이용하여 입력 표면의 제1 영상을 포착하게 하는 프로그램 코드와; 적어도 하나의 터치 포인트 좌표와 관련된 영역에서 입력 표면상에 제2의 시각적 표시자를 디스플레이하게 하는 프로그램 코드와; 제2의 시각적 표시자를 디스플레이하는 동안에 촬상 시스템을 이용하여 입력 표면의 제2 영상을 포착하게 하는 프로그램 코드와; 적어도 하나의 포인터의 입력 표면상의 위치를 검증하기 위해 제1 영상과 제2 영상을 비교하는 프로그램 코드를 포함한 컴퓨터 판독가능 매체가 제공된다.

본 발명의 다른 태양에 따르면, 대화형 입력 시스템에서 포인터 불명확성을 해결하기 위해 컴퓨팅 장치에 의해 실행가능한 컴퓨터 프로그램을 내포한 컴퓨터 판독가능 매체에 있어서, 상기 컴퓨터 프로그램이 적어도 하나의 포인터와 관련된 영역에서 대화형 입력 시스템의 입력 표면에 제1 패턴을 디스플레이하게 하는 프로그램 코드와; 제1 패턴을 디스플레이하는 동안 입력 표면의 제1 영상을 촬상 장치 시스템으로 포착하게 하는 프로그램 코드와; 적어도 하나의 포인터와 관련된 영역에서 입력 표면에 제2 패턴을 디스플레이하게 하는 프로그램 코드와; 제2 패턴을 디스플레이하는 동안 입력 표면의 제2 영상을 촬상 장치 시스템으로 포착하게 하는 프로그램 코드와; 주변 광의 변화를 격리시키기 위해 제2 영상으로부터 제1 영상을 처리하여 차분 영상을 계산하는 프로그램 코드를 포함한 컴퓨터 판독가능 매체가 제공된다.

본 발명은 대화형 입력 시스템에서 시각적 표시자의 디스플레이로부터 유도된 피드백에 기초하여 실제 포인터 위치를 결정하게 함으로써 포인터 불명확성을 해결하는 효과를 제공한다.

이제, 첨부도면을 참조하여 실시예들을 더욱 구체적으로 설명한다.
도 1은 2개의 촬상 장치를 이용하는 대화형 입력 시스템의 블록도이다.
도 2는 도 1의 대화형 입력 시스템의 일부를 형성하는 촬상 장치들 중 하나의 블록도이다.
도 3은 도 1의 대화형 입력 시스템의 일부를 형성하는 마스터 제어기의 블록도이다.
도 4A는 도 1의 대화형 입력 시스템의 일부를 형성하는 비디오 제어기의 블록도이다.
도 4B는 도 1의 대화형 입력 시스템에서 사용되는 다른 비디오 제어기의 블록도이다.
도 5는 가능한 포인터 위치 삼각측량 솔루션 및 포인터 불명확성 조건의 분해능을 결정하는 동안에 수행되는 단계들을 보인 흐름도이다.
도 6A 내지 도 6C는 유인 불명확성 조건 및 유인 불명확성 조건을 해결하기 위해 사용되는 능동 디스플레이 피드백을 보여주는 예시적인 도면이다.
도 7A 내지 도 7D는 다중 포인터 접촉 불명확성 조건 및 다중 포인터 접촉 불명확성 조건을 해결하기 위해 사용되는 능동 디스플레이 피드백을 보여주는 예시적인 도면이다.
도 7E 및 도 7F는 도 7A 내지 도 7D의 능동 디스플레이 피드백 중에 대화형 입력 시스템의 디스플레이 표면의 일부의 측단면도이다.
도 8A는 다중 포인터 접촉 불명확성 조건을 해결하기 위해 다중 포인터 접촉 불명확성 루틴 중에 수행되는 단계들을 보인 흐름도이다.
도 8B는 다중 포인터 접촉 불명확성 조건을 해결하기 위해 다른 다중 포인터 접촉 불명확성 루틴 중에 수행되는 단계들을 보인 흐름도이다.
도 9A는 삼각측량이 어려운 위치에서 포인터가 촬상 장치의 시계 내에 있을 때 촬상 장치의 시선을 보여주는 예시적인 도면이다.
도 9B는 불명료한 포인터 불명확성 조건을 보여주는 예시적인 도면이다.
도 9C 및 도 9D는 포인터 위치 삼각측량 솔루션에서 디스플레이 표면상의 계조 스폿의 플래싱을 보여주는 예시적인 도면이다.
도 9E 및 도 9F는 포인터 위치 삼각측량 솔루션에서 디스플레이 표면상의 계조 라인의 플래싱을 보여주는 예시적인 도면이다.
도 9G 및 도 9H는 포인터 위치 삼각측량 솔루션과 관련된 극좌표를 따라서 디스플레이 표면상의 계조 스폿의 플래싱을 보여주는 예시적인 도면이다.
도 9I 및 도 9J는 포인터 위치 삼각측량 솔루션과 관련된 극좌표를 따라서 디스플레이 표면상의 계조 라인의 플래싱을 보여주는 예시적인 도면이다.
도 10A는 도 1에 도시한 것과 유사한 대화형 입력 시스템에서 사용하기 위한 능동 포인터의 측면도이다.
도 10B는 도 10A의 대화형 입력 시스템에서 사용하는 도 10A의 능동 포인터를 나타내는 블록도이다.
도 10C는 도 10A의 대화형 입력 시스템과 능동 포인터 간의 통신 경로를 보인 도면이다.
도 11은 2개의 촬상 장치를 이용하는 다른 대화형 입력 시스템을 보인 블록도이다.
도 12는 전방 프로젝터를 사용하는 다른 대화형 입력 시스템의 측입면도이다.

이제 도 1을 참조하면, 사용자가 디지털 잉크, 마우스 이벤트 등의 입력을 응용 프로그램에 주입하게 하는 대화형 입력 시스템이 도시되어 있고, 총괄적으로 참조번호 20으로 표시되어 있다. 이 실시예에서, 대화형 입력 시스템(20)은 예컨대 플라즈마 텔레비전, 액정 표시(LCD) 장치, 평판 표시 장치, 음극선관(CRT) 모니터 등과 같은 디스플레이 유닛(도시 생략됨)과 결합하고 디스플레이 유닛의 디스플레이 표면(24)을 둘러싸는 조립체(22)를 포함한다. 프레임 또는 베젤(bezel)(26)은 디스플레이 표면(24)을 둘러싼다. 베젤(26)은 2005년 12월 6일자로 아키트(Akitt) 등에게 허여되고 스마트 테크놀로지즈 ULC에 양도된 미국 특허 제6,972,401호에 개시된 유형의 것일 수 있다. 상기 특허는 인용에 의해 그 전체 내용이 여기에 통합된 것으로 한다. 이 경우에, 베젤(26)은 디스플레이 표면(24)에 대한 적외선(IR) 백라이트를 제공한다. 조립체(22)는 머신 비젼(machine vision)을 이용하여 디스플레이 표면(24) 부근의 관심 영역에 들어온 포인터들을 검출한다. 대안적으로, 조립체(22)는 전자기식, 용량식, 음향식 또는 다른 기술을 이용하여 디스플레이 표면(24) 부근의 관심 영역에 들어온 포인터들을 검출할 수 있다.

조립체(22)는 마스터 제어기(30)에 결합된다. 마스터 제어기(30)는 범용 컴퓨팅 장치(32) 및 비디오 제어기(34)에 결합된다. 범용 컴퓨팅 장치(32)는 하나 이상의 응용 프로그램을 실행하고 마스터 제어기(30)로부터 전송된 포인터 위치 정보를 이용하여 비디오 제어기(34)에 제공되는 영상 데이터를 발생 및 갱신하며, 상기 발생 및 갱신된 영상 데이터가 디스플레이 유닛에 출력됨으로서 디스플레이 표면(24)에 나타나는 영상은 포인터 활동을 반영하게 된다. 이러한 방법으로, 디스플레이 표면(24)에 가장 가까운 포인터 활동이 쓰기(writing) 또는 그리기(drawing)로서 기록되거나 범용 컴퓨팅 장치(32)에서 동작하는 하나 이상의 응용 프로그램의 실행을 제어하기 위해 사용될 수 있다. 비디오 제어기(34)는 포인터 불명확성 조건이 검출된 때 디스플레이 유닛에 제공된 디스플레이 출력을 수정하여 포인터 불명확성 조건이 해결되게 하고, 그에 따라서 포인터 검증, 국소화 및 추적을 개선한다.

촬상 장치(40, 42)는 디스플레이 표면(24)의 2개의 코너 부근에 위치되어 일반적으로 상이한 유리한 위치(vantage)로부터 디스플레이 표면을 가로질러서 바라본다. 도 2를 참조하면, 촬상 장치(40, 42) 중의 하나가 구체적으로 도시되어 있다. 도면에서 알 수 있는 바와 같이, 각 촬상 장치는 모델 번호 BW25B로 부원 옵티컬 컴패니 리미티드에서 제조한 유형의 880 nm 렌즈(82)를 장착한 모델 번호 MT9V022로 아이다호 보이즈에 소재하는 마이크론 테크놀로지 인코포레이티드에서 제조한 것과 같은 영상 센서(80)를 포함한다. 렌즈(82)는 적어도 디스플레이 표면(24)을 포함하도록 충분히 넓은 시계를 영상 센서(80)에 제공한다. 영상 센서(80)는 데이터 버스(86)를 통해 선입선출(FIFO) 버퍼(84)와 통신하여 이 버퍼(84)에 영상 프레임 데이터를 출력한다. 디지털 신호 처리기(DSP)(90)는 제2 데이터 버스(92)를 통해 FIFO 버퍼(84)로부터 영상 프레임 데이터를 수신하고, 영상 센서(80)에 의해 포착된 영상 프레임에 하나 이상의 포인터가 존재할 때 직렬 입력/출력 포트(94)를 통해 마스터 제어기(30)에 포인터 데이터를 제공한다. 영상 센서(80)와 DSP(90)는 양방향성 제어 버스(96)를 통해 또한 통신한다. 영상 센서 눈금조정(calibration) 매개변수를 저장하고 있는 전자적으로 프로그램가능한 읽기 전용 메모리(EPROM)(98)는 DSP(90)에 접속된다. 촬상 장치의 구성요소들은 전원장치(100)로부터 전력을 공급받는다.

도 3은 마스터 제어기(30)를 구체적으로 도시한 것이다. 마스터 제어기(30)는 제1 직렬 입력/출력 포트(154) 및 제2 직렬 입력/출력 포트(156)를 구비한 DSP(152)를 포함한다. 마스터 제어기(30)는 통신 선로(158)를 통해 제1 직렬 입력/출력 포트(154)를 거쳐서 촬상 장치(40, 42)와 통신한다. 촬상 장치(40, 42)로부터 DSP(152)가 수신한 포인터 데이터는 DSP(152)에 의해 처리되어 포인터 위치 데이터를 발생한다. DSP(152)는 제2 직렬 입력/출력 포트(156) 및 직렬 선로 드라이버(162)를 거쳐서 통신 선로(164)를 통해 범용 컴퓨팅 장치(32)와 통신한다. 마스터 제어기(30)는 DSP(152)에 의해 액세스되는 대화형 입력 시스템 매개변수를 저장하는 EPROM(166)을 또한 포함한다. 마스터 제어기의 구성요소들은 전원장치(168)로부터 전력을 공급받는다.

이 실시예에서의 범용 컴퓨팅 장치(32)는 예를 들면 처리 유닛, 시스템 메모리(휘발성 및/또는 비휘발성 메모리), 기타의 고정식 또는 탈착식 메모리(예를 들면, 하드디스크 드라이브, RAM, ROM, EEPROM, CD-ROM, DVD, 플래시 메모리 등), 및 범용 컴퓨팅 장치의 각종 구성요소들을 처리 유닛에 결합하는 시스템 버스를 구비한 컴퓨터이다. 범용 컴퓨팅 장치(32)는 공유된 또는 원격 드라이브, 하나 이상의 네트워크 컴퓨터, 또는 기타의 네트워크 장치에 액세스하기 위한 네트워크 접속을 또한 포함할 수 있다. 처리 유닛은 처리중에 디스플레이 표면(24)에 나타난 그래픽 사용자 인터페이스를 제공하는 호스트 소프트웨어 애플리케이션/운영체제를 동작시켜서 자유 형식 또는 수기(handwritten) 잉크 오브젝트 및 기타 오브젝트가 디스플레이 표면(24)과의 포인터 상호작용에 의해 입력 및 조작될 수 있게 한다.

이제, 도 4A를 참조하면, 비디오 제어기(34)가 구체적으로 도시되어 있다. 이 실시예에서, 범용 컴퓨팅 장치(32)의 디스플레이 출력은 아날로그이고 비디오 그래픽 어레이(VGA) 아날로그 컴퓨터 디스플레이 표준에 따른다. 그 결과, 비디오 제어기(34)는 범용 컴퓨팅 장치(32)로부터 디스플레이 출력을 수신하고 이 디스플레이 출력을 적(R), 녹(G), 청(B), 수평(H) 및 수직(V) 신호 선로에 제공하는 VGA 입력 포트(200)를 포함한다. R, G 및 B 신호 선로는 스위치 유닛(204)을 통해 VGA 출력 포트(202)에 접속된다. H 및 V 신호 선로는 VGA 출력 포트(202)에 직접 접속된다. VGA 출력 포트(202)는 디스플레이 유닛에 디스플레이 출력을 제공한다. 동기화 유닛(206)은 H 및 V 신호 선로와 통신할 뿐만 아니라 영상 선택기(208)와 통신한다. 영상 선택기(208)는 마스터 제어기(30)와 통신하며, 스위치 유닛(204)에 접속된 피드백 아티팩트 출력(210) 및 A/B 포지션 출력(212)을 포함하고 있다. 영상 선택기(208)는, 마스터 제어기(30)에 응답해서, A/B 포지션 출력(212)에 의해 스위치 유닛(204)을 포지션 A로 제어하여 피드백 아티팩트 출력(210)이 VGA 출력 포트(202)에 연결된 R, G 및 B 신호 선로에 접속되게 하거나, 포지션 B로 제어하여 VGA 입력 포트(200)로부터의 R, G 및 B 신호 선로가 VGA 출력 포트(202)에 직접 접속되게 한다. 따라서, 비디오 제어기(34)는 마스터 제어기(30)에 응답해서 디스플레이 유닛에 전달되는 디스플레이 데이터를 동적으로 조작할 수 있고, 그 결과 포인터 검증, 국소화 및 추적을 개선하게 되며, 이것에 대해서는 뒤에서 자세히 설명한다.

구체적으로, 스위치 유닛(204)은 디스플레이 유닛에 의해 디스플레이되는 비디오 프레임이 수정될 필요가 없을 때 범용 컴퓨팅 장치(32)로부터의 디스플레이 출력이 VGA 입력 포트(200)와 VGA 출력 포트(202) 사이에서 통과하도록 포지션 B로 조절된다. 범용 컴퓨팅 장치(32)로부터의 디스플레이 출력의 비디오 프레임이 수정될 필요가 있을 때, 마스터 제어기(30)는 아티팩트 데이터에 대응하는 영상 아티팩트를 디스플레이해야 하는 디스플레이 표면(24)상의 위치를 표시하는 포지션 데이터 및 아티팩트 데이터를 포함하는 신호를 영상 선택기(208)에 보낸다. 영상 선택기(208)는 동기화 유닛(206)에 의해 V 신호 선로상의 V 신호를 모니터링함으로써 비디오 프레임의 시작을 검출한다. 그 다음에, 영상 선택기(208)는 동기화 유닛(206)에 의해 H 신호 선로상의 H 신호를 모니터링함으로써 범용 컴퓨팅 장치(32)에 의해 출력되는 비디오 프레임의 행(row)을 검출한다. 영상 아티팩트는 영상 선택기(208) 내에서 디지털식으로 발생되고 디지털-아날로그 변환기(도시 생략됨)에 의해 적당한 아날로그 신호로 변환된다. 영상 아티팩트를 디스플레이하기 위해 비디오 프레임의 행이 수정되어야 하면, 영상 선택기(208)는 범용 컴퓨팅 장치(32)에 의해 출력된 R/G/B 신호에 영상 아티팩트를 삽입하는데 필요한 타이밍을 계산하고, 스위치 유닛(204)을 포지션 A로 전환하여 적당한 타이밍에서 영상 아티팩트를 나타내는 R/G/B 신호를 피드백 아티팩트 출력(210)으로부터 VGA 출력 포트(202)로 송출하게 하며, 이어서 영상 아티팩트를 출력한 후에 스위치 유닛(204)을 다시 포지션 B로 전환한다.

도 4A에 도시한 실시예에 있어서, 범용 컴퓨팅 장치의 디스플레이 출력은 아날로그이지만, 이 기술에 숙련된 사람이라면 범용 컴퓨팅 장치의 디스플레이 출력이 디지털일 수 있다는 것을 알 것이다. 도 4B는 범용 컴퓨팅 장치에 의해 출력된 디지털 신호를 디지털 비디오 인터페이스(DVI) 컴퓨터 디스플레이 표준에 따라서 처리하도록 구성된 비디오 제어기(34)를 도시한 것이다. 이 실시예에서, 비디오 제어기(34)는 범용 컴퓨팅 장치(32)로부터의 출력을 수신하고 이 출력을 적/녹/청(R/G/B) 및 클럭 신호 선로에 제공하는 DVI 입력 포트(220)를 포함한다. R/G/B 신호 선로는 멀티플렉서(224)을 통해 DVI 출력 포트(222)에 접속된다. 클럭 신호 선로는 DVI 출력 포트(222)에 직접 접속된다. DVI 출력 포트(222)는 디스플레이 유닛에 디스플레이 출력을 제공한다. 클럭/동기화 검출 유닛(226)은 R/G/B 및 클럭 신호 선로와 통신할 뿐만 아니라 영상 선택기(228)와 통신한다. 영상 선택기(228)는 마스터 제어기(30)와 통신하며, 멀티플렉서(224)에 접속된 피드백 아티팩트 출력(230) 및 A/B 포지션 출력(232)을 포함하고 있다. 영상 선택기(228)는, 마스터 제어기(30)에 응답해서, A/B 포지션 출력(232)에 의해 멀티플렉서(224)를 포지션 A로 제어하여 DVI 입력 포트(220)로부터의 R/G/B 신호 선로가 DVI 출력 포트(222)에 직접 접속되게 하거나, 또는 포지션 B로 제어하여 피드백 아티팩트 출력(230)이 DVI 출력 포트(222)로 이어지는 R/G/B 신호 선로에 접속되게 한다. 따라서, 비디오 제어기(34)는 마스터 제어기(30)에 응답해서 디스플레이 유닛에 전달된 디스플레이 데이터를 동적으로 조작할 수 있다.

구체적으로, 멀티플렉서(224)는 디스플레이 유닛에 의해 디스플레이되는 비디오 프레임이 수정될 필요가 없을 때 범용 컴퓨팅 장치(32)로부터의 디스플레이 출력이 DVI 입력 포트(220)와 DVI 출력 포트(222) 사이에서 통과하도록 포지션 A로 조절된다. 범용 컴퓨팅 장치(32)로부터의 디스플레이 출력의 비디오 프레임이 수정될 필요가 있을 때, 마스터 제어기(30)는 영상 아티팩트를 디스플레이해야 하는 디스플레이 표면(24)상의 위치를 표시하는 포지션 데이터 및 아티팩트 데이터를 포함하는 신호를 영상 선택기(228)에 보낸다. 영상 선택기(228)는 클럭/동기화 검출 유닛(226)에 의해 R/G/B 신호 선로상의 동기화 신호를 모니터링함으로써 비디오 프레임의 시작을 검출한다. 그 다음에, 영상 선택기(228)는 클럭 신호 선로상의 클럭 신호를 모니터링하고, R/G/B 신호 선로상의 R/G/B 신호에 영상 아티팩트를 삽입하는데 필요한 타이밍을 계산하며, 멀티플렉서를 포지션 B로 제어하여 피드백 아티팩트 출력(230)이 DVI 출력 포트(222)에 접속되게 하며, DVI 출력 포트(222)로 이어지는 R/G/B 신호 선로에 영상 아티팩트를 출력한 후에 멀티플렉서(228)를 다시 포지션 A로 전환한다.

이 기술에 숙련된 사람이라면 디스플레이 출력 수정이 별도의 비디오 제어기에 의해 수행될 필요가 없다는 것을 이해할 것이다. 대신에, 디스플레이 출력 수정은 전형적으로 성능이 감소되기는 하지만 범용 컴퓨팅 장치(32)에서 동작하는 디스플레이 데이터 수정 애플리케이션을 이용하여 수행될 수 있다. 여기에서 설명하는 비디오 제어기는 매우 빠른 응답 시간을 제공하고 촬상 장치(40, 42)에 대하여 동기적으로 동작하도록 조절될 수 있다(예를 들면, 영상 센서는 디스플레이 출력이 수정되는 것과 동시에 영상 프레임을 포착할 수 있다). 이 동작은 범용 컴퓨팅 장치(32)에서 동작하는 디스플레이 데이터 수정 애플리케이션을 이용하여 복제하기가 어렵다.

이제 대화형 입력 시스템(20)의 일반적인 동작에 대하여 설명한다. 동작중에 각 촬상 장치(40, 42)의 DSP(90)는 클럭 신호를 발생하여 각 촬상 장치의 영상 센서(80)가 소정의 프레임률로 영상 프레임을 포착하게 한다. 영상 센서(80)에 제공된 클럭 신호는 촬상 장치(40, 42)의 영상 센서가 영상 프레임들을 실질적으로 동시에 포착하도록 동기화된다. 디스플레이 표면(24) 부근에 포인터가 없는 경우, 영상 센서(80)에 의해 포착된 영상 프레임은 베젤(26)에 의해 제공된 적외선 백라이트의 결과로서 실질적으로 방해받지 않는 밝은 대역을 포함한다. 그러나, 하나 이상의 포인터가 디스플레이 표면(24) 부근에 오면, 각 포인터는 베젤(26)에 의해 제공된 IR 백라이트를 폐색하고, 백색 대역(white band)을 방해(interrupt)하는 어두운 영역으로서 포착 영상 프레임에 나타난다.

각 촬상 장치(40, 42)의 영상 센서(80)에 의해 출력된 각 영상 프레임은 그 관련 DSP(90)에 전달된다. DSP(90)가 영상 프레임을 수신한 때, DSP(90)는 영상 프레임을 처리하여 하나 이상의 포인터의 존재를 검출한다. 하나 이상의 포인터가 영상 프레임에 존재하면, DSP(90)는 영상 프레임의 각 포인터에 대한 관측(observation)을 생성한다. 각 관측은 2개의 직선, 즉 촬상 장치의 촛점으로부터 연장하여 포인터의 우측 가장자리를 교차하는 하나의 선과 촬상 장치의 촛점으로부터 연장하여 포인터의 좌측 가장자리를 교차하는 다른 하나의 선 사이에 형성된 영역에 의해 규정된다. 그 다음에, DSP(90)는 상기 관측을 직렬 선로 드라이버(162)를 통해 마스터 제어기(30)에 전달한다.

마스터 제어기(30)는 촬상 장치(40, 42)로부터 수신된 관측에 응답해서 관측을 시험하여 중복되는 각 촬상 장치로부터의 관측을 결정한다. 각 촬상 장치가 중복되는 촬상 장치(40, 42)에 의해 발생된 관측을 야기하는 동일한 포인터를 보고 있을 때, 중복 관측의 교차선에 의해 묘사되는 결과적인 바운딩 박스의 중심 및 그에 따라서 디스플레이 표면(24)에 관련된 (x,y) 좌표 내의 포인터의 위치는 위에서 이 명세서에 통합된 모리슨(Morrison) 등의 미국 특허 제6,803,906호에 개시된 것과 같은 공지의 삼각측량을 이용하여 계산된다.

마스터 제어기(30)는 그 다음에 삼각측량 결과를 시험하여 하나 이상의 포인터 불명확성 조건이 존재하는지를 판단한다. 만일 존재하지 않으면, 마스터 제어기(30)는 각각의 계산된 포인터 위치를 범용 컴퓨팅 장치(32)에 출력한다. 범용 컴퓨팅 장치(32)는 그 다음에 각각의 수신된 포인터 위치를 처리하고, 만일 필요하다면 비디오 제어기(34)에 제공된 영상 출력을 갱신한다. 디스플레이 출력은 수정되지 않은 채로 비디오 제어기(34)를 통과하여 디스플레이 유닛에 제공된 영상이 포인터 활동을 반영하여 갱신되게 한다. 이 방법으로, 디스플레이 표면(24)과의 포인터 상호작용은 쓰기 또는 그리기로서 기록될 수 있고, 범용 컴퓨팅 장치(32)에서 동작하는 하나 이상의 응용 프로그램의 실행을 제어하기 위해 사용될 수 있다.

만일 하나 이상의 포인터 불명확성 조건이 존재하면, 마스터 제어기(30)는 각각의 포인터 불명확성 조건이 해결되게 하는 방식으로 범용 컴퓨팅 장치(32)의 디스플레이 출력을 동적으로 조작하도록 비디오 제어기(34)를 조절한다. 포인터 불명확성 조건이 해결되면, 마스터 제어기(30)는 각각의 계산된 포인터 위치를 범용 컴퓨팅 장치(32)에 출력한다. 범용 컴퓨팅 장치(32)는 그 다음에 각각의 수신된 포인터 위치를 처리하고, 만일 필요하다면 비디오 제어기(34)에 제공된 영상 출력을 갱신한다. 디스플레이 출력은 수정되지 않은 채로 비디오 제어기(34)를 통과하여 디스플레이 유닛에 제공된 영상이 포인터 활동을 반영하여 갱신되게 한다.

도 5를 참조하면, 디스플레이 표면(24)과 포인터 상호작용 중에 불명확성을 해결하기 위해 능동 디스플레이 피드백을 제공하는 처리가 도시되어 있다. 단계 502에서, 디스플레이 표면(24)과의 하나 이상의 포인터 접촉이 발생하고, 그 결과 각 촬상 장치(40, 42)는 각각의 검출된 포인터에 대한 관측을 마스터 제어기(30)에 제공한다. 단계 504에서, 마스터 제어기(30)는 디스플레이 표면(24)과 접촉하는 하나 이상의 포인터와 관련된 각각의 가능한 포인터 위치 솔루션을 삼각측량한다. 단계 506에서, 마스터 제어기(30)는 각각의 포인터 위치 삼각측량 솔루션을 시험하여 포인터 불명확성 조건이 존재하는지를 결정한다. 만일 포인터 불명확성 조건이 존재하지 않으면, 마스터 제어기(30)는 각각의 포인터 위치 삼각측량 솔루션을 범용 컴퓨팅 장치(32)에 전달한다. 범용 컴퓨팅 장치(32)는 그 응답으로 만일 필요하다면 포인터 활동을 반영하도록 디스플레이 유닛에 전달된 디스플레이 출력을 갱신한다. 마스터 제어기(30)는 또한 비디오 제어기(34)에 신호하여 디스플레이 출력이 수정되지 않은 채로 비디오 제어기(34)를 통과하게 한다.

단계 506에서 만일 포인터 불명확성 조건이 존재하면, 마스터 제어기(30)는 존재한 것으로 결정된 포인터 불명확성의 유형에 따라서 각종 포인터 불명확성 루틴 중의 하나를 실행하여 포인터 불명확성을 해결한다. 포인터 불명확성 조건이 해결된 후에, 처리는 단계 506으로 되돌아가서 임의의 다른 포인터 불명확성이 존재하는지를 판단한다. 모든 포인터 불명확성 조건이 해결되었으면, 마스터 제어기(30)는 각각의 포인터 위치 삼각측량 솔루션을 범용 컴퓨팅 장치(32)에 전달한다. 범용 컴퓨팅 장치(32)는 그 응답으로 만일 필요하다면 포인터 활동을 반영하도록 디스플레이 유닛에 전달된 디스플레이 출력을 갱신한다.

이 예에서, 단계 506 후에, 먼저 단계 507에서 유인 불명확성(decoy ambiguity) 조건이 존재하는지를 판단하기 위한 체크가 행하여진다. 만일 유인 불명확성 조건이 존재하면, 단계 506으로 되돌아가기 전에 단계 508에서 유인 불명확성 루틴이 실행된다. 만일 유인 불명확성 조건이 존재하지 않으면 또는 유인 불명확성 루틴이 실행된 후에는 단계 509에서 다중 포인터 접촉 불명확성 조건이 존재하는지를 판단하기 위한 체크가 행하여진다. 만일 다중 포인터 접촉 불명확성 조건이 존재하면 단계 506으로 되돌아가기 전에 단계 510에서 다중 포인터 접촉 불명확성 루틴이 실행된다. 만일 다중 포인터 접촉 불명확성 조건이 존재하지 않으면 또는 다중 포인터 접촉 불명확성 루틴이 실행된 후에는 단계 511에서 불명료한 포인터 불명확성 조건이 존재하는지를 판단하기 위한 체크가 행하여진다. 만일 불명료한 포인터 불명확성 조건이 존재하면, 단계 506으로 되돌아가기 전에 단계 512에서 불명료한 포인터 불명확성 루틴이 실행된다. 만일 불명료한 포인터 불명확성 조건이 존재하지 않으면 처리는 단계 506으로 되돌아간다. 포인터 불명확성 루틴이 실행되는 순서는 마스터 제어기의 연산 부하를 최소화하도록 선택된다. 그러나, 이 기술에 숙련된 사람이라면 포인터 불명확성 루틴이 임의의 소정의 순서로 실행될 수 있다는 것을 이해할 것이다. 이 기술에 숙련된 사람이라면 임의 유형의 포인터 불명확성 조건이 존재할 수 있고 그러한 포인터 불명확성 조건을 해결하기 위해 다른 포인터 불명확성 루틴이 실행될 수 있다는 것을 또한 이해할 것이다.

단계 508의 유인 불명확성 루틴은 유인 불명확성 조건을 해결하기 위해 실행된다. 유인 불명확성 조건은 적어도 하나의 촬상 장치(40 또는 42)가 예를 들면 주변 조명 조건, 먼지 또는 얼룩 등에 기인하는 베젤(26) 및/또는 촬상 장치의 렌즈(82)에서의 폐색 때문에 유인 포인터를 볼 때 발생한다. 도 6A는 유인 포인터 조건을 나타내는 예시적인 모습을 보여주는 도이다. 이 예에서는 하나의 포인터(602)가 지점 A에서 디스플레이 표면(24)과 접촉하고 있다. 점선의 시선으로 도시된 바와 같이, 촬상 장치(42)는 지점(602)만을 정확하게 보고 있다. 촬상 장치(40)는 점선의 시선으로 도시된 바와 같이 지점 602를 보고 있지만, 점선의 시선(604)으로 도시된 바와 같이 베젤(26)에서의 폐색의 결과로서 발생한 지점 B의 유인 포인터를 또한 보고 있다. 촬상 장치(40, 42)에 의해 출력된 관측의 처리 중에, 마스터 제어기(30)는 단일 포인터(602)에 대한 2개의 포인터 위치 삼각측량 솔루션을 생성하는데, 그 중 하나의 포인터 위치 삼각측량 솔루션은 위치 A에 대응하고 다른 하나의 포인터 위치 삼각측량 솔루션은 위치 B에 대응한다.

상기 유인 불명확성 조건의 검출에 응답해서, 유인 불명확성 루틴(508)의 실행중에, 마스터 제어기(30)는 베젤(26)을 오프 상태로 조절하고 비디오 제어기(34)에 신호하여 마스터 제어기(30)가 유인 불명확성 조건을 해결하게 하는 방식으로 비디오 제어기(34)가 범용 컴퓨팅 장치(32)의 디스플레이 출력을 수정하게 한다. 특히 도 6B에 도시된 바와 같이, 마스터 제어기(30)에 응답해서, 비디오 제어기(34)는 제1 비디오 프레임 세트의 각 비디오 프레임에 제1 집합의 표시자 -이 실시예에서는 스폿- 를 위치 A와 B에서 다른 명암도로 삽입하기 위해 범용 컴퓨팅 장치(32)에 의해 출력된 단일 비디오 프레임 또는 소수의 비디오 프레임(연속적이거나 비순차적이거나 또는 산재된 것)을 포함하는 제1 비디오 프레임 세트를 수정한다. 예를 들면, 위치 A에 제공된 각 비디오 프레임에 삽입된 스폿은 어둡고 위치 B에 제공된 각 비디오 프레임에 삽입된 스폿은 밝다.

비디오 제어기(34)는, 도 6C에 도시된 바와 같이, 제2 비디오 프레임 세트의 각 비디오 프레임에 제2 집합의 스폿을 위치 A와 B에서 다른 명암도로 삽입하기 위해 범용 컴퓨팅 장치(32)에 의해 출력된 단일 비디오 프레임 또는 소수의 비디오 프레임(연속적이거나 비순차적이거나 또는 산재된 것)을 포함하는 제2 비디오 프레임 세트를 또한 수정한다. 예를 들면, 위치 A에 제공된 각 비디오 프레임에 삽입된 스폿은 밝고 위치 B에 제공된 각 비디오 프레임에 삽입된 스폿은 어둡다. 제1 및 제2 비디오 프레임 세트는 연속적이거나 또는 소수의 비디오 프레임에 의해 분리될 수 있다.

디스플레이 출력이 스폿을 삽입하기 위해 수정되는 동안 촬상 장치(40, 42)에 의해 포착된 영상 프레임을 처리하는 중에, 영상 프레임을 시험하여 포인터 위치 삼각측량 솔루션에서의 조명의 변화를 판단한다. 만일 포인터 위치 삼각측량 솔루션을 교차하는 시선을 따르는 조명의 변화가 검출되지 않으면, 그 포인터 위치 삼각측량 솔루션은 유인이라고 결정된다. 만일 포인터 위치 삼각측량 솔루션을 교차하는 시선을 따르는 조명의 변화가 검출되면, 그 포인터 위치 삼각측량 솔루션은 실제 포인터 접촉을 나타내는 것이라고 결정된다. 이해할 수 있겠지만, 포인터(602)가 지점 A에서 디스플레이 표면(24)과 접촉하고 있을 때, 지점 A에서의 디스플레이 출력은 밝은 스폿과 어두운 스폿을 플래시(flash)하도록 수정되고, 포인터(602)는 밝은 스폿에 의해 조명되고 빛을 촬상 장치(40, 42) 쪽으로 반사하며, 어두운 스폿이 제공될 때 어둡게 되어서 촬상 장치에 의해 포착된 영상 프레임에서의 조명 변화를 야기한다. 포인터가 존재하지 않는 포인터 위치 삼각측량 솔루션과 교차하는 시선에 대하여, 밝은 스폿과 어두운 스폿을 플래시하는 동안에 촬상 장치에 의해 포착된 영상 프레임에서 조명의 변화는 사실상 없을 것이다.

도 5의 단계 510의 다중 포인터 접촉 불명확성 루틴은 다수의 포인터가 디스플레이 표면(24)에 동시에 접촉되고 마스터 제어기(30)가 모든 가상의 포인터 위치 삼각측량 솔루션을 판단하여 제거할 수 없을 때 발생할 수 있는 다중 포인터 불명확성 조건을 해결하기 위해 실행된다. 즉, 계산된 포인터 위치 삼각측량 솔루션의 수는 디스플레이 표면(24)과 접촉하는 포인터의 수를 초과한다. 단계 510의 다중 포인터 접촉 불명확성 루틴은 다중 포인터 접촉 불명확성을 제거하기 위해 폐루프 피드백 시퀀스를 사용한다. 도 7A는 2개의 포인터(700, 702)가 거의 동시에 디스플레이 표면(24)과 접촉하는 것을 보여주는 예시적인 도면이다. 도 7B에 도시한 바와 같이, 촬상 장치(40, 42)에 의해 출력된 관측의 처리중에, 포인터(700, 702)에 대해서는 2개의 포인터 위치 삼각측량 솔루션 쌍이 가능하다. 하나의 포인터 위치 삼각측량 솔루션 쌍은 위치 A와 B에 대응하고 실제 포인터 위치 삼각측량 솔루션을 나타낸다. 다른 포인터 위치 삼각측량 솔루션 쌍은 위치 C와 D에 대응하고 가상의 포인터 위치 삼각측량 솔루션을 나타낸다. 상기 2개의 포인터 위치 삼각측량 솔루션 쌍은 그 다음에 2개의 그룹으로 분할된다.

다중 포인터 접촉 불명확성 조건의 검출에 응답해서, 마스터 제어기(30)는 베젤(26)을 오프 상태로 조절하고 비디오 제어기(34)에 신호하여 마스터 제어기(30)가 다중 포인터 접촉 불명확성 조건을 해결하게 하는 방식으로 비디오 제어기(34)가 범용 컴퓨팅 장치(32)의 디스플레이 출력을 수정하게 한다. 특히 도 7C에 도시된 바와 같이, 마스터 제어기(30)에 응답해서, 비디오 제어기(34)는 제1 비디오 프레임 세트의 각 비디오 프레임에, 가능한 포인터 위치 삼각측량 솔루션의 일부 또는 전부에서 스폿, 고리, 별 등과 같은 제1 집합의 표시자를 삽입하기 위해 범용 컴퓨팅 장치(32)에 의해 출력된 단일 비디오 프레임 또는 소수의 비디오 프레임(연속적이거나 비순차적이거나 또는 산재된 것)을 포함하는 제1 비디오 프레임 세트를 수정한다. 포인터 위치 삼각측량 솔루션의 각 그룹에 대한 표시자는 다르지만 각 그룹 내에서 각각의 포인터 위치 삼각측량 솔루션에 대한 표시자는 동일하다. 즉 사이즈, 형상, 색, 명암도, 투명도 등이 동일하다. 예를 들면, 도 7C에 도시된 바와 같이, 위치 A와 B에 대응하는 포인터 위치 삼각측량 솔루션에 대한 표시자는 어두운 스폿이고 위치 C와 D에 대응하는 포인터 위치 삼각측량 솔루션에 대한 표시자는 밝은 스폿이다.

비디오 제어기(34)는 제2 비디오 프레임 세트의 각 비디오 프레임에, 가능한 포인터 위치 삼각측량 솔루션의 일부 또는 전부에서 스폿, 고리, 별 등과 같은 제2 집합의 표시자를 삽입하기 위해 범용 컴퓨팅 장치(32)에 의해 출력된 단일 비디오 프레임 또는 소수의 비디오 프레임(연속적이거나 비순차적이거나 또는 산재된 것)을 포함하는 제2 비디오 프레임 세트를 또한 수정한다. 유사하게, 포인터 위치 삼각측량 솔루션의 각 그룹에 대한 표시자는 다르지만 각 그룹 내에서 각각의 포인터 위치 삼각측량 솔루션에 대한 표시자는 동일하다. 즉 사이즈, 형상, 색, 명암도, 투명도 등이 동일하다. 예를 들면, 도 7D에 도시된 바와 같이, 위치 A와 B에 대응하는 포인터 위치 삼각측량 솔루션에 대한 표시자는 밝은 스폿이고 위치 C와 D에 대응하는 포인터 위치 삼각측량 솔루션에 대한 표시자는 어두운 스폿이다. 제1 및 제2 비디오 프레임 세트는 연속적이거나 또는 소수의 비디오 프레임에 의해 분리될 수 있다.

대안적으로, 제1 비디오 프레임 세트에 대하여, 밝은 스폿은 하나의 포인터 위치 삼각측량 솔루션에서 디스플레이되고 어두운 스폿은 나머지의 포인터 위치 삼각측량 솔루션에서 디스플레이된다. 예를 들면, 위치 A에 대응하는 포인터 위치 삼각측량 솔루션에서 디스플레이된 표시자는 밝고 위치 B, C 및 D에 대응하는 포인터 위치 삼각측량 솔루션에서 디스플레이된 표시자는 어두울 수 있다. 제2 비디오 프레임 세트에 대하여, 밝은 스폿은 다른 그룹의 하나의 포인터 위치 삼각측량 솔루션에서, 즉 위치 C 또는 D에 대응하는 포인터 위치 삼각측량 솔루션에서 디스플레이되고 나머지의 포인터 위치 삼각측량 솔루션에서 디스플레이되는 표시자는 어두울 수 있다. 이것은 실제 포인터 위치 삼각측량 솔루션 중의 하나가 조명의 변화를 관찰함으로써 식별되게 한다. 이제 하나의 실제 포인터 위치 삼각측량 솔루션이 공지되었기 때문에 다른 실제 포인터 위치 삼각측량 솔루션이 결정되고, 다른 것들에 대해서도 마찬가지이다. 대안적으로, 하나의 어두운 스폿과 3개의 밝은 스폿을 사용할 수 있다.

도 7E는 비디오 제어기(34)가 디스플레이 표면(24))에 접촉하는 포인터(700) 아래에서 밝은 스폿을 디스플레이하는 동안 디스플레이 표면(24)의 일부의 측단면도이다. 도면에서 알 수 있는 바와 같이, 포인터(700)는 포인터 아래에서 디스플레이되는 밝은 스폿(712)에 의해 조명된다. 그 결과, 포인터는 스폿(712)으로부터의 밝은 빛을 촬상 장치(40, 42) 쪽으로 반사하고, 이 반사광은 영상 프레임에서 포착된다. 도 7F에 도시한 바와 같이, 비디오 제어기(34)가 포인터 아래에서 어두운 스폿(714)을 디스플레이하면, 포인터(700) 아래에서 조명의 부재가 발생하고, 포인터(700)에 의해 촬상 장치(40, 42) 쪽으로 반사되는 추가의 빛은 없다. 표시자의 플래시 동안에 촬상 장치(40, 42)에 의해 포착된 영상 프레임 내의 조명의 변화는 마스터 제어기(30)에 의해 시험된다. 만일 디스플레이된 어두운 스폿(714)의 광도가 어두운 스폿의 디스플레이 전에 동일한 위치에서의 포착 영상 프레임의 광도보다 더 어두우면, 촬상 장치(40, 42)는 어두운 스폿의 디스플레이 전에 영상 프레임에서보다 더 어두운 포인터 영상을 볼 것이다. 만일 디스플레이된 밝은 스폿(712)의 광도가 밝은 스폿의 디스플레이 전에 동일한 위치에서의 포착 영상 프레임의 광도보다 더 밝으면, 촬상 장치(40, 42)는 밝은 스폿의 디스플레이 전에 영상 프레임에서보다 더 밝은 포인터 영상을 볼 것이다. 밝은 스폿 또는 어두운 스폿이 디스플레이되는 위치에서 포인터가 없으면, 촬상 장치(40, 42)에 의해 포착된 영상들은 극히 조금 변화할 것이다. 이것은 실제 포인터 위치 삼각측량 솔루션이 결정되게 한다.

도 8A는 도 7A 내지 도 7D에 도시한 다중 포인터 접촉 불명확성 조건을 해결하기 위해 수행되는 처리를 보인 것이다. 단계 802에서, 마스터 제어기(30)는 비디오 제어기(34)를 조절하여 도 7C에 도시한 것처럼 어두운 스폿을 위치 A와 B에서 디스플레이하고 밝은 스폿을 위치 C와 D에서 디스플레이하게 한다. 단계 804에서, 마스터 제어기(30)는 비디오 제어기(34)를 조절하여 도 7D에 도시한 것처럼 밝은 스폿을 위치 A와 B에서 디스플레이하고 어두운 스폿을 위치 C와 D에서 디스플레이하게 한다. 단계 806에서, 마스터 제어기(30)는 촬상 장치(40, 42)가 단계 802~804 중에 위치 A~D 중 임의의 위치에서 조명 변화의 존재를 나타내는 영상 프레임을 포착하였는지를 판단한다. 조명 변화가 검출되지 않았으면, 단계 808에서 마스터 제어기(30)는 어두운 스폿과 밝은 스폿이 디스플레이되는 위치들의 지점을 조정하고 단계 802로 되돌아간다. 만일 조명 변화가 검출되면, 단계 810에서, 마스터 제어기(30)는 단계 802로부터 단계 804까지의 조명 변화가 어두운 것으로부터 밝은 것으로의 변화이었는지를 판단한다. 만일 조명 변화가 어두운 것으로부터 밝은 것으로의 것이면, 단계 814에서, 마스터 제어기(30)는 위치 A와 B에 대응하는 포인터 위치 삼각측량 솔루션을 실제 포인터 위치 삼각측량 솔루션으로서 지정한다. 만일 조명 변화가 밝은 것으로부터 어두운 것으로의 것이면, 단계 816에서, 마스터 제어기(30)는 위치 C와 D에 대응하는 포인터 위치 삼각측량 솔루션을 실제 포인터 위치 삼각측량 솔루션으로서 지정한다. 만일 조명 변화가 밝은 것으로부터 어두운 것으로의 것이 아니면, 단계 808에서, 마스터 제어기(30)는 어두운 스폿과 밝은 스폿이 디스플레이되는 위치의 지점들을 조정하고 단계 802로 되돌아간다.

도 8B는 도 7A 내지 도 7D에 도시한 다중 포인터 접촉 불명확성 조건을 해결하기 위해 수행될 수 있는 다른 처리를 보인 것이다. 단계 822에서, 비디오 제어기(34)는 도 7C에 도시한 것처럼 어두운 스폿을 위치 A와 B에 대응하는 포인터 위치 삼각측량 솔루션에서 디스플레이하고 밝은 스폿을 위치 C와 D에 대응하는 포인터 위치 삼각측량 솔루션에서 디스플레이하도록 조절된다. 단계 824에서, 마스터 제어기(30)는 촬상 장치(40, 42)에 의해 포착된 영상 프레임이 어두운 스폿 및 밝은 스폿의 디스플레이 후에 위치 A~D에서 조명 변화의 존재를 나타내는지를 판단한다. 만일 광도에 있어서 더 밝은 변화로 판단되면, 단계 826에서, 마스터 제어기(30)는 위치 C와 D에 대응하는 포인터 위치 삼각측량 솔루션을 실제 포인터 위치 삼각측량 솔루션으로서 지정한다. 만일 광도에 있어서 더 어두운 변화로 판단되면, 단계 830에서, 마스터 제어기(30)는 위치 A와 B에 대응하는 포인터 위치 삼각측량 솔루션을 실제 포인터 위치 삼각측량 솔루션으로서 지정한다. 만일 광도에 있어서의 변화가 위치 A~D 중 어디에서도 검출되지 않으면, 단계 828에서, 비디오 제어기(34)는 도 7D에 도시한 것처럼 밝은 스폿을 위치 A와 B에서 디스플레이하고 어두운 스폿을 위치 C와 D에서 디스플레이하도록 조절된다. 단계 832에서, 마스터 제어기(30)는 촬상 장치(40, 42)에 의해 포착된 영상 프레임이 밝은 스폿 및 어두운 스폿의 디스플레이 후에 위치 A~D에서 광도의 변화를 나타내는지를 판단한다. 만일 광도에 있어서 더 어두운 변화로 판단되면, 단계 826에서, 마스터 제어기(30)는 위치 C와 D에 대응하는 포인터 위치 삼각측량 솔루션을 실제 포인터 위치 삼각측량 솔루션으로서 지정한다. 만일 광도에 있어서 더 밝은 변화로 판단되면, 단계 830에서, 마스터 제어기(30)는 위치 A와 B에 대응하는 포인터 위치 삼각측량 솔루션을 실제 포인터 위치 삼각측량 솔루션으로서 지정한다. 만일 광도에 있어서의 변화가 어느 위치에서도 검출되지 않으면, 단계 834에서, 마스터 제어기(30)는 어두운 스폿과 밝은 스폿이 디스플레이되는 위치의 지점들을 조정하고 단계 822로 되돌아간다.

전술한 실시예는 예를 들면 스폿과 같은 표시자를 포인터 위치 삼각측량 솔루션에 대응하는 모든 위치에 삽입하고 모든 목표 위치를 동시에 테스트하는 것을 묘사한다. 이 기술에 숙련된 사람이라면 다른 표시자 및 테스트 순서를 사용할 수 있다는 것을 이해할 것이다. 예를 들면, 단계 510의 다중 포인터 접촉 불명확성 루틴중에 비디오 제어기(34)는 단지 하나의 그룹의 포인터 위치 삼각측량 솔루션에서 다른 비디오 프레임에 다른 명암도의 표시자를 디스플레이하여 각 포인터 위치 삼각측량 솔루션 그룹이 하나씩 테스트되게 할 수 있다. 이 경우에 포인터 불명확성 루틴은 실제 포인터 위치 삼각측량 솔루션의 그룹이 발견된 때 종료한다. 대안적으로, 비디오 제어기(34)는 한번에 하나씩 각각의 포인터 위치 삼각측량 솔루션에서 다른 비디오 프레임에 다른 명암도의 표시자를 디스플레이하여 각 포인터 위치 삼각측량 솔루션이 개별적으로 테스트되게 할 수 있다. 상기 대안 실시예는 단계 508의 유인 불명확성 루틴에서 설명한 것처럼 유인 포인터들을 동시에 제거하기 위해 또한 사용될 수 있다. 다른 대안적인 실시예에 있어서, 표시자들은 촬상 장치(40, 42)에 의한 촬상에 더욱 적합한 위치에서 디스플레이 표면(24)상에 위치될 수 있다. 예를 들면, 밝은 스폿은 포인터 위치 삼각측량 솔루션에 일반적으로 대응하는 위치에서 디스플레이될 수 있지만, 중심에서 약간 벗어나서 포인터 위치 삼각측량 솔루션으로부터 촬상 장치(40, 42)로 향하는 벡터를 따라 촬상 장치(40, 42)에 더 근접할 수 있다. 이것은 포인터가 그 위치에 있는 경우 촬상 장치가 포인터의 더 밝은 조명을 포착하게 할 것이다.

유리하게도, 각 촬상 장치의 영상 프레임 포착률이 디스플레이 유닛의 리프레시율을 충분히 초과하도록 선택되기 때문에, 표시자는 비디오 프레임에 삽입되고 관측자에게 거의 잠재의식적으로 나타날 수 있다. 번쩍이는(flashing) 표시자에 의해 야기되는 혼란(distraction)을 더욱 줄이기 위해, 포인터 아래에서 물결 효과와 같은 위장 기술 또는 포지티브 목표 검증을 위한 더 긴 플래시 순서를 사용할 수 있다. 이 기술들은 관측자가 인식하는 영상 아티팩트를 숨기는데 도움을 주고 디스플레이 표면(24)과의 포인터 접촉이 정확하게 등록되었음을 확인하는 포지티브 피드백을 제공한다. 대안적으로, 촬상 장치(40, 42)는 비디오 제어기(34)에 의한 디스플레이 출력에의 표시자 삽입과 동기되게 영상 프레임을 포착하는 더 낮은 프레임률을 가질 수 있다.

도 5의 불명료한 포인터 불명확성 루틴(단계 512)은 대화형 입력 시스템이 디스플레이 표면(24)에 접촉하는 포인터의 위치를 정확히 판단할 수 없을 때 발생하는 불명료한 포인터 불명확성 조건을 해결하기 위해 사용된다. 도 9A는 촬상 장치(40, 42)로부터 포인터(902)로의 시선(904, 906)들 간의 각도가 약 180°일 때 발생하는 불명료한 포인터 불명확성 조건을 보여주고 있다. 이 경우에, 포인터의 위치는 각 촬상 장치(40, 42)로부터의 시선이 거의 일치하기 때문에 x-축을 따라서 결정하기가 어렵다. 불명료한 포인터 불명확성 조건의 다른 예는 도 9B에 도시되어 있다. 이 경우에, 2개의 포인터(908, 910)가 디스플레이 표면(24)에 접촉한다. 포인터(910)는 촬상 장치(42)가 포인터(908)를 보는 것을 차단한다. 삼각측량은 포인터(908)가 촬상 장치(40)의 시선(912)을 따라서 위치 A와 B 사이에 있다는 것만을 결정할 수 있고, 포인터(908)의 정확한 위치는 결정될 수 없다.

불명료한 포인터 불명확성 조건의 검출에 응답해서, 마스터 제어기(30)는 베젤(26)을 오프 상태로 조절하고 비디오 제어기(34)에 신호하여 마스터 제어기가 불명료한 포인터 불명확성 조건을 해결하게 하는 방식으로 비디오 제어기(34)가 범용 컴퓨팅 장치(32)의 디스플레이 출력을 수정하게 한다. 특히 도 9C에 도시된 바와 같이, 마스터 제어기(30)에 응답해서, 비디오 제어기(34)는 단일 비디오 프레임 또는 소수의 비디오 프레임(연속적이거나 비순차적이거나 또는 산재된 것)을 포함하는 제1 비디오 프레임 세트 중에 포인터(920)에 대한 추정 포인터 위치 삼각측량 솔루션 아래의 제1 계조(gradient) 패턴(922)을 플래시한다. 제1 계조 패턴(922)은 촬상 장치(40)의 시선(924)을 따라서 계조식의 명암도를 가져서 촬상 장치(40)에 접근할수록 명암도가 어두워지게 한다. 비디오 제어기(34)는, 도 9D에 도시된 바와 같이, 제2 비디오 프레임 세트에서 포인터(920)의 추정 포인터 위치 삼각측량 솔루션 아래의 제2 계조 패턴(926)을 또한 플래시한다. 제2 계조 패턴(926)은 시선(924)을 따라서 반대의 계조식 명암도를 가져서 촬상 장치(40)에 접근할수록 명암도가 밝아지게 한다. 2개의 계조 패턴(922, 926)의 중앙에서의 명암도는 동일하다. 이와 같이, 만일 추정 포인터 위치 삼각측량 솔루션이 정확하면, 포인터(920)는 제1 및 제2 비디오 프레임 세트의 디스플레이 출력의 조작중에 촬상 장치(40)에 의해 포착된 영상 프레임에서 대략 동일한 명암도를 가질 것이다. 만일 포인터(920)가 추정 포인터 위치 삼각측량 솔루션보다 촬상 장치(40)로부터 실제로 더 멀리 떨어져 있으면, 포인터(920))는 도 9C의 제1 비디오 프레임 세트의 비디오 프레임을 디스플레이하는 동안에보다 도 9D의 제2 비디오 프레임 세트의 비디오 프레임을 디스플레이하는 동안에 포착된 영상 프레임에서 더 어두워질 것이다. 만일 포인터(920)가 추정 포인터 위치 삼각측량 솔루션보다 촬상 장치(40)에 실제로 더 가까이 있으면, 포인터(920))는 도 9C의 제1 비디오 프레임 세트의 비디오 프레임을 디스플레이하는 동안에보다 도 9D의 제2 비디오 프레임 세트의 비디오 프레임을 디스플레이하는 동안에 포착된 영상 프레임에서 더 밝아질 것이다. 추정 포인터 위치 삼각측량 솔루션이 실제 포인터 위치에 대응하지 않는 경우에, 마스터 제어기(30)는 추정 포인터 위치 삼각측량 솔루션을 새로운 지점으로 이동시킨다. 새로운 추정 포인터 위치 삼각측량 솔루션은 도 9C의 제1 비디오 프레임 세트의 디스플레이 및 도 9D의 제2 비디오 프레임 세트의 디스플레이 동안에 포착된 영상 프레임들 간에 보여지는 명암도 차에 의해 결정된다. 대안적으로, 새로운 추정 포인터 위치 삼각측량 솔루션은 계조 패턴의 중앙과 계조 패턴의 가장자리 사이의 중간점에 의해 결정될 수 있다. 단계 512의 불명료한 포인터 불명확성 루틴은 정확한 포인터 위치 삼각측량 솔루션이 발견될 때까지 반복한다.

이 기술에 숙련된 사람이라면 불명료한 포인터 불명확성 루틴 중에 다른 패턴의 표시자를 사용할 수 있다는 것을 이해할 것이다. 예를 들어서 도 9E 및 도 9F에 도시한 바와 같이, 불연속 명암도를 가진 복수의 좁은 줄무늬(stripe)(928, 930)를 사용할 수 있고, 이 경우 복수의 줄무늬(928, 930)의 중앙에서의 명암도는 동일하다.

도 9G와 도 9F는 하나의 촬상 장치에 의해 포착된 영상 프레임을 이용하여 포인터 접촉점의 위치를 찾는 다른 실시예를 도시한 것이다. 이 실시예에서, 포인터 접촉점의 위치는 극좌표를 이용하여 결정된다. 촬상 장치(40))는 먼저 극선(polar line)(942)을 따라서 디스플레이 표면(24)에 접촉하는 포인터(940)를 검출한다. 촬상 장치(40)로부터의 거리를 결정하기 위해, 비디오 제어기(34)는 하나의 단부로부터 다른 단부로 이동하는 극선을 따르는 각 지점에서 암-명 스폿(dark to bright spot)(944)을 플래시한 다음에 명-암 스폿(bright to dark spot)(946)을 플래시한다. 마스터 제어기(30)는 만일 촬상 장치(40)에 의해 포착된 영상 프레임이 포인터 영상에서 어떠한 명암도 변화를 보이지 않는 경우에 다음 지점으로 이동하도록 비디오 제어기(34)에 신호한다. 촬상 장치(40)에 의해 포착된 영상 프레임이 명암도 변화를 보이면, 도 9C 내지 도 9F를 참조하여 설명한 것과 유사한 처리를 이용하여 정확한 포인터 위치 삼각측량 솔루션을 결정한다.

도 9I 및 도 9J는 하나의 촬상 장치에 의해 포착된 영상 프레임을 이용하여 포인터 접촉점을 찾는 또다른 대안적인 실시예를 도시한 것이다. 이 실시예에서, 포인터 접촉점의 위치는 극좌표를 이용하여 결정된다. 촬상 장치(40))는 먼저 극선(polar line)(962)을 따라서 디스플레이 표면(24)에 접촉하는 포인터(960)를 검출한다. 촬상 장치(40)로부터의 거리를 결정하기 위해, 비디오 제어기(34)는 극선(962)의 전체 세그멘트를 커버하는 계조식 명암도 패턴 또는 불연속 명암도 패턴을 가진 암-명 줄무늬(964)를 플래시한다. 비디오 제어기(34)는 그 다음에 패턴(964)과 반대인 패턴을 가진 명-암 줄무늬(966)를 플래시한다. 줄무늬의 명암도를 변화시키기 위한 다른 방법을 또한 사용할 수 있다. 마스터 제어기(30)는 도 9I 및 도 9J에 도시한 줄무늬의 디스플레이 중에 포착된 영상 프레임 내 포인터의 명암도 차를 비교함으로써 포인터 접촉 지점을 추정한다. 마스터 제어기(30)는 그 다음에 도 9C 내지 도 9F를 참조하여 설명한 것과 유사한 처리를 이용하여 추정 포인터 접촉 지점을 정제(refine)한다.

도 5에 도시한 처리의 대안으로서, 임의의 새로운 미확인 포인터가 촬상 장치(40, 42)에 의해 포착된 영상 프레임에서 나타날 때 능동 디스플레이 피드백을 또한 사용할 수 있다. 미확인 포인터는 능동 디스플레이 피드백에 의해 검증된 이전에 관측된 포인터와 관련될 수 없는 임의의 관측된 오브젝트이다. 이 처리중에, 마스터 제어기(30)가 관측 결과를 처리하고 미확인 포인터 접촉점이 존재하다고 결정한 때, 하나 이상의 미확인 포인터 접촉점이 존재하는지를 결정하기 위한 체크가 행하여진다. 만일 단지 하나의 미확인 포인터 접촉점이 존재하면, 미확인 포인터 접촉점은 단계 508과 관련하여 설명한 방식으로 실제로서 검증된다. 만일 하나 이상의 미확인 포인터 접촉점이 존재하면, 미확인 포인터 접촉점은 단계 510과 관련하여 설명한 방식으로 실제 및 가상으로서 검증된다. 만일 미확인 포인터 접촉점이 발견되지 않으면, 임의의 포인터 접촉점이 촬상 장치(40, 42)의 관측으로부터 차단되는지, 또는 임의의 포인터 접촉점이 단계 511과 관련하여 설명한 것처럼 디스플레이 표면(24)상의 빈약한 삼각측량 영역에 위치하고 있는지를 결정하기 위한 체크가 행하여진다. 만일 상기 조건들 중 어느 하나가 존재하면, 단계 512와 관련하여 설명한 방식으로 상기 포인터 접촉점들의 위치가 결정된다.

상기 실시예들에 있어서, 포인터들은 예를 들면 손가락, 원통 물질, 또는 디스플레이 표면(24)과 접촉하는 다른 물체 등의 수동 물체이고, 영상 프레임을 처리하여 베젤(26)에 의해 제공된 백라이트에 대응하는 밝은 배경을 방해하는 어두운 영역을 결정함으로써 검출된다. 만일 필요하다면, 조명된 베젤을 사용하는 대신에, 적외선 발광 다이오드(LED)와 같은 적외선 광원을 각 촬상 장치와 연합시키고 역반사성 베젤을 사용할 수 있다. 이 경우에, 적외선 LED는 디스플레이 표면(24)을 가로질러서 빛을 투과시킨다. 역반사성 베젤에 입사된 투과광은 촬상 장치(40, 42)로 되돌아와서 디스플레이 표면(24)과 접촉하는 수동 포인터에 대한 백라이트를 제공한다. 물론, 촬상 장치는 주변광 조건에서 영상 프레임을 포착하도록 동작할 수 있다. 이 경우에, 수동 베젤이 사용될 수 있다. 대화형 입력 시스템은 또한 능동 포인터와 함께 사용하기에 적합하다.

도 10A는 대화형 입력 시스템과 함께 사용하기 위한 예시적인 능동 포인터를 도시한 것이다. 도면에서 알 수 있는 바와 같이, 포인터(1100)는 절두원뿔 팁(frustoconical tip)(1104)으로 종단되는 주몸체(1102)를 포함한다. 팁(1104)은 디스플레이 유닛에서 방출된 빛을 감지하도록 촛점이 맞추어지는 센서(1105)(도 10C 참조)를 내장하고 있다. 팁(1104)으로부터 돌출된 것은 액츄에이터(1106)이다. 액츄에이터(1106)는 스프링(도시 생략됨)에 의해 팁(1104)의 외측으로 바이어스되어 있고 압력을 인가함으로써 팁(1104)의 내측으로 밀어 넣어질 수 있다. 액츄에이터(1106)는 주몸체(1102) 내의 스위치(도시 생략됨)에 접속되고, 상기 스위치는 액츄에이터(1106)가 스프링 바이어스에 저항하여 팁(1104) 내부로 밀어 넣어질 때 센서에 전력을 공급하도록 회로를 폐쇄한다. 센서에 전력이 공급되면, 포인터(1100)는 광을 수신할 수 있다. 회로가 폐쇄된 때, 주몸체(1102) 내의 무선 주파수 송신기(1112)(도 10C 참조)에도 또한 전력이 공급되어 송신기가 무선 신호를 송출한다.

도 10B는 대화형 입력 시스템(20), 및 디스플레이 표면(24)과 접촉하는 능동 포인터(1100))를 도시한 것이다. 앞의 실시예에서처럼, 능동 포인터(1100)가 디스플레이 표면(24)과 접촉하면 마스터 제어기(30)는 모든 가능한 포인터 위치 삼각측량 솔루션을 삼각측량하고 그 데이터를 추가의 처리를 위해 범용 컴퓨팅 장치(32)에 전송한다. 시스템 상태 정보를 통신하고 팁(1104) 내의 센서로부터의 신호 정보를 수신하기 위해 무선 주파수 수신기(1118)가 또한 범용 컴퓨팅 장치(32)에 수용된다. 무선 주파수 수신기(1118)는 팁(1104) 내의 센서(1105)에 의해 포착된 광의 특성들(예를 들면, 광도)을 통신 채널(1120)을 통해 수신한다. 능동 포인터(1100)의 액츄에이터(1106)가 팁(1104) 외측으로 바이어스된 때, 회로는 개방 상태를 유지하여 포인터의 무선 주파수 송신기(1112)에 의해 무선 신호가 방출되지 않는다. 따라서, 포인터(1100)는 수동 모드로 동작한다. 이 경우에, 범용 컴퓨팅 장치(32)의 디스플레이 출력은 수정되지 않은 채로 비디오 제어기(34)를 통과하여 디스플레이 유닛에 전달된다.

도 10C는 능동 펜(1100)을 구비한 대화형 입력 시스템(20)의 통신 경로를 나타내는 블록도이다. 능동 포인터(1100)의 송신기(1112)와 범용 컴퓨팅 장치(32)의 수신기(1118) 사이의 통신 채널(1120)은 일방향성이다. 통신 채널(1120)은 고주파수 무선 적외선 채널, 또는 블루투쓰와 같은 RF 채널로서 구현될 수 있다.

범용 컴퓨팅 장치(32)가 정확한 능동 포인터 위치를 결정할 수 없는 상황에서, 능동 포인터(1100)의 팁은 액츄에이터(1106)가 팁(1104) 내부로 밀어 넣어질 수 있는 충분한 힘으로 디스플레이 표면(24)과 접촉한다. 이것에 응답해서, 팁(1104) 내의 센서(1105)들에 전력이 공급되고 대화형 입력 시스템(20)의 무선 주파수 수신기(1118)가 포인터 동작의 상태 변화를 통지받는다. 이 모드에서, 능동 포인터(1100)는 디스플레이 표면(24)으로부터 범용 컴퓨팅 장치(32)까지 안전하고 공간적으로 국소화된 통신 채널을 제공한다. 위에서 설명한 것과 유사한 방법으로, 범용 컴퓨팅 장치(32)는 비디오 제어기(34)에 신호하여 임의의 비디오 프레임에 표시자 또는 아티팩트를 디스플레이하게 한다. 능동 포인터(1100)는 부근의 조명 변화를 감지하고, 그 조명 변화 정보를 통신 채널(1120)을 통해 범용 컴퓨팅 장치(32)에 전송한다. 그 다음에 범용 컴퓨팅 장치(32)는 수신된 정보에 기초하여 포인터 불명확성을 해결한다.

촬상 장치(40, 42)가 포인터 목표를 식별하는 확실성을 궁극적으로 저하시킬 수 있는 대화형 입력 시스템의 신호대 잡음비에 대한 주변광의 부정적 영향을 완화하기 위해 도 9C 내지 도 9F에 도시한 것과 같은 계조 패턴이 또한 사용된다. 시간 또는 위치에 따른 주변광의 변화는 능동 디스플레이 피드백 중에 촬상 장치(40, 42)에 의해 포착된 영상 프레임 내의 예상 광도에 있어서 바이어스 변화를 유도한다. 주변광의 변화의 격리는 촬상 장치(40, 42)에 의해 포착된 순차적 영상들을 차감함으로써 달성된다. 영상 프레임의 밝기는 디스플레이 유닛에서의 플래시로부터 포인터에 의해 반사된 빛과 주변광의 합으로 정해지기 때문에, 동일한 위치에서 동일하지만 방향이 반대인 계조 패턴 쌍의 플래싱이 비교를 위한 영상 프레임을 제공할 것이고, 이때 조절된 디스플레이 광은 별도의 다른 순간에 동일하다. 따라서 시퀀스에서의 제1 영상은 차분 주변광 영상 프레임을 계산하기 위해 그 후속 영상으로부터 차감된다. 이 방법은 범용 컴퓨팅 장치(32)에 통합되고 미래의 영상 프레임으로 포착되는 변화하는 주변 바이어스 광의 기여도를 예측하기 위해 반복된다.

대안적으로, 주변광의 역효과는 "조명이 조절되는 대화형 입력 시스템"이라는 명칭으로 출원되고 스마트 테크놀로지즈 ULC에 양도되었으며 인용에 의해 그 전체 내용이 여기에 통합되는 PCT 출원 번호 WO 2009/135313호에 개시된 것처럼 조절된 조명의 다중 직교 모드를 이용하여 또한 감소될 수 있다. 바람직하지 않은 주변광은 일반적으로 고정 성분과 몇 가지의 주기적인 성분으로 구성되기 때문에, 비디오 제어기(34)에 의해 발생되는 플래시의 빈도 및 순서는 DC 광원(예를 들면, 태양광) 및 AC 광원(예를 들면, 형광 램프)으로부터의 최대 분광 기여도(spectral contribution)와의 경쟁을 피하기 위해 특별하게 선택된다. 예를 들어서 8개의 서브프레임으로 8 월시 코드 집합 및 120 헤르쯔의 고유 프레임률을 선택하면 대화형 입력 시스템이 예측불능의 외부 광원을 걸러내고 통제된 광원만을 관측하게 한다. 이 경우의 촬상 장치(40, 42)는 초당 960 프레임의 서브프레임률로 동작하고, DC 및 AC 광원은 각각 0 헤르쯔 및 120 헤르쯔의 주파수 기여도에 의해 주로 특징지어진다. 이와는 반대로, 8 월시 코드 중 3개는 0 헤르쯔와 120 헤르쯔에서 스펙트럼 널(spectral null)을 가지며(960fps의 샘플률로) 포인터에 의한 반사를 위해 빛으로 개별적으로 조정된다. 월시 코드 발생기는 촬상 장치(40, 42)의 영상 센서 셔터와 동기화되고, 그 포착된 영상 프레임은 주변 미광(stray light)으로부터 포착된 신호 정보를 제거하도록 상관된다. 유리하게도, 영상 센서는 또한 그들 각각의 셔터가 급속한 빈도로 동작할 때 포화되기가 쉽지 않다.

만일 필요하다면, 능동 포인터(1100)는 팁(1104)에서 센서(도시 생략됨) 대신에 LED를 구비할 수 있다. 이 경우에, LED에 의해 방출된 광은 미광으로부터의 간섭을 피하고 대화형 입력 시스템 추가 특징 및 유연성을 제공하기 위해 위에서 설명한 것과 유사한 방식으로 조정된다. 상기 특징들 중의 일부는, 예를 들면, 추가적인 사용 모드, 복수의 펜에 대한 색 지정, 및 다중 포인터 환경 및 응용에서 포인터 목표의 개선된 위치찾기, 연합 및 검증이다.

대안적으로, 다중 사용자에 대한 포인터 식별이 여기에서 설명하는 기술을 이용하여 수행될 수 있다. 예를 들어서, 만일 사용자 A와 사용자 B가 각각 포인터 A와 포인터 B로 디스플레이 표면(24)상에서 쓰기를 하고 있으면, 각 포인터 위치 아래에서 다른 표시자를 디스플레이함으로써, 각 포인터가 독특하게 식별될 수 있다. 각 포인터의 각각의 시각적 표시자는 색 또는 패턴이 다를 수 있다. 대안적으로, 각 포인터 아래의 밝은 스폿은 독특하게 변조될 수 있다. 예를 들면, 밝은 스폿은 포인터 A 아래에서 디스플레이되고, 어두운 스폿은 포인터 B 아래에서 디스플레이될 수 있으며, 또는 포인터 B는 조명되지 않은 채로 있을 수 있다.

도 11은 대화형 입력 시스템(20)의 다른 실시예를 보인 것이다. 이 실시예에서, 마스터 제어기(30)는 촬상 장치(40, 42)에 의해 포착된 영상 프레임으로부터 모든 가능한 포인터 위치 삼각측량 솔루션을 삼각측량한다. 삼각측량 결과 및 영상 프레임 내 포인터들의 광도 정보는 범용 컴퓨팅 장치(32)에 보내진다. 범용 컴퓨팅 장치(32)는 위에서 설명한 바와 같이 그 메모리에 저장된 불명확성 제거 루틴을 사용하여 범용 컴퓨팅 장치(32)의 비디오 출력 버퍼를 수정한다. 표시자들은 범용 컴퓨팅 장치(32)로부터의 일부 비디오 프레임 출력에서 디스플레이된다. 범용 컴퓨팅 장치(32)는 삼각측량 결과 및 마스터 제어기(30)로부터 획득된 표시자를 가진 영상 프레임 내 포인터의 광도 정보를 이용하여 삼각측량 불명확성을 제거한다. 그 다음에, 다른 포인터 불명확성 상황이 발생하고 불명확성 루틴이 다시 사용될 때까지 실제 포인터 위치 삼각측량 솔루션이 추적된다.

여기에서 설명하는 불명확성 제거 루틴은 능동 및 수동 포인터를 둘 다 가진 많은 다른 유형의 카메라 기반 대화형 입력 시스템에 적용된다. 한 쌍의 촬상 장치를 사용하는 대신에, 미러 구성을 가진 하나의 촬상 장치를 또한 사용할 수 있다. 이 실시예에서, 미러는 포인터 위치를 삼각측량하기 위해 포인터에 대한 제2 벡터를 얻기 위해 사용된다. 이러한 구성은 스마트 테크놀로지즈 ULC에 양도되고 인용에 의해 그 전체 내용이 여기에 통합되는 엉(Ung) 등의 미국 특허 제7,274,356호 및 미국 특허 출원 공개 제2007/0236454호에 설명되어 있다.

비록 대화형 입력 시스템(20)의 상기 실시예들이 예를 들면 LCD 장치, CRT 모니터 또는 플라즈마 장치와 같은 디스플레이 유닛과 관련하여 설명되었지만, 하나 이상의 프로젝터를 이용하여 터치 표면에서의 디스플레이를 위한 영상을 제공하거나 포인터 위치 삼각측량 솔루션에 대응하는 위치에서 표시자들을 디스플레이할 수 있다. 도 12는 프로젝터(1202)를 이용한 대화형 터치 시스템(20)을 도시한 것이다. 마스터 제어기(30)는 다른 유리한 위치로부터 터치 패널(1204)의 터치 표면(1208)을 가로질러 관측하는 촬상 장치(40, 42)에 의해 포착된 영상 프레임으로부터 모든 가능한 포인터 위치 삼각측량 솔루션을 삼각측량하고 삼각측량 결과 및 포인터 영상의 광도 정보를 추가의 처리를 위해 범용 컴퓨팅 장치(32)에 보낸다. 범용 컴퓨팅 장치(32)는 위에서 설명한 바와 같이 그 메모리에 저장된 불명확성 제거 루틴을 이용하여 범용 컴퓨팅 장치(32)의 비디오 출력 버퍼를 수정한다. 그 다음에 표시자들이 위에서 설명한 것처럼 범용 컴퓨팅 장치(32)로부터의 일부 비디오 프레임 출력에 삽입된다. 프로젝터(1202)는 범용 컴퓨팅 장치(32)로부터 비디오 프레임을 수신하고 그 비디오 프레임을 터치 패널(1204)에서 디스플레이한다. 포인터(1206)가 터치 패널(1204)의 터치 표면(1208)에 접촉한 때, 프로젝터(1202)로부터 방출되어 포인터(1206) 부근의 터치 표면(1208)에 투사되는 빛(1210)은 포인터(1206) 쪽으로 반사되고 그 다음에 촬상 장치(40, 42) 쪽으로 반사된다.

위에서 설명한 것처럼 일부 비디오 프레임에 표시자를 삽입함으로써, 포인터(1206) 주변의 광도가 변화하고 촬상 장치(40, 42)에 의해 감지된다. 이러한 정보는 마스터 제어기(30))를 통해 범용 컴퓨팅 장치(32)에 보내진다. 범용 컴퓨팅 장치(32)는 삼각측량 결과 및 포인터 영상의 광도 정보를 이용하여 삼각측량 불명확성을 제거한다.

이 기술에 숙련된 사람이라면 표시자의 정확한 형상, 패턴 및 빈도가 다양한 응용 또는 환경을 수용하도록 달라질 수 있다는 것을 이해할 것이다. 예를 들면, 표시자는 사각형, 원형, 직사각형, 타원형, 고리형 또는 선형일 수 있다. 광도 패턴은 선형, 원형 또는 직각형일 수 있다. 패턴 내에서 강도 변화율은 또한 선형, 이진수(binary)형, 포물선형 또는 무작위(random)형일 수 있다. 일반적으로, 플래시 특성은 고정형 또는 가변형일 수 있고, 주변광, 포인터 치수, 사용자 제약, 시간, 추적 허용도, 또는 대화형 입력 시스템(20) 및 그 환경의 다른 매개변수에 의존한다. 유럽 및 기타 지역에서, 예를 들면 전기 시스템의 주파수는 50 헤르쯔이고, 따라서 고유 프레임율 및 서브프레임율은 각각 초당 100 및 800 프레임일 수 있다.

다른 실시예에 있어서, 조립체(22)는 각각의 픽셀 위치에서 적외선 광을 방출하는 디스플레이 유닛을 포함하고 촬상 장치(40, 42)의 영상 센서에는 적외선 필터가 제공된다. 이 구성에서 필터는 디스플레이 유닛에서 발생된 광 및 목표에 의해 반사된 광을 통과시키고 가시 스펙트럼으로부터의 미광은 영상 처리 엔진에 의한 처리가 금지되고 제거된다.

다른 실시예에 있어서, 촬상 장치(40, 42)의 영상 센서는 단일 광 다이오드, 광 레지스터, 또는 다른 광 에너지 센서로 교체된다. 이 실시예에서의 피드백 시퀀스는 대안적인 센서의 더 빈약한 분해능을 수용하도록 또한 변경될 수 있다. 예를 들면, 전체 디스플레이 표면(24)은 능동 피드백 시퀀스를 개시하기 위해, 또는 능동 피드백 시퀀스 중의 임의의 시간에 플래시 또는 라스터 주사될 수 있다. 목표 포인터가 위치정하여졌으면, 그 특성은 목표 포인터 아래의 영상 픽셀에서 조명된 능동 피드백 시퀀스를 부호화함으로써 또는 위에서 설명한 것과 유사한 방법으로 검증 및 관련될 수 있다.

또다른 실시예에서, 대화형 입력 시스템은 컬러 촬상 장치를 이용하고, 디스플레이되는 표시자들이 착색된다.

극선(도 9A 내지 도 9J 참조)을 따르는 불명확성 제거 루틴의 다른 실시예에서, 극좌표를 알고 있는 경우 3개의 선이 포인터 방향으로 극선을 따라 플래시된다. 제1 선은 어둡거나 흑색이고 제2 선은 백색이거나 밝으며, 제3 선은 흑색-백색 또는 암-명 선형 계조이다. 최초 2개의 플래시는 높은 광도 기준 및 낮은 광도 기준을 생성하기 위해 사용된다. 계조가 플래시될 때 포인터의 광도가 측정되면, 광도는 포인터의 위치를 추정하기 위해 밝은 측정치 및 어두운 측정치와 비교된다.

극선을 따르는 불명확성 제거 루틴의 또다른 실시예에서, 백색 즉 밝은 선이 디스플레이 표면(24)상에서 촬상 장치(40, 42)의 시선에 수직하게 디스플레이된다. 이 백색 즉 밝은 선은 레이더와 유사하게 촬상 장치로부터 멀어지게 급속히 이동할 수 있다. 이 선이 포인터에 도달한 때, 이 선은 포인터를 조명할 것이다. 백색 선과 촬상 장치 간의 거리에 따라서 거리와 각도가 결정될 수 있다.

대화형 입력 시스템의 구성요소들 간의 정보 교환은 다른 산업 표준 인터페이스를 통하여 달성될 수 있다. 이러한 인터페이스는 비제한적인 예를 들자면 RS232, PCI, 블루투쓰, 802.11(Wi-Fi), 또는 이들 각각의 임의의 후속 기술을 포함할 수 있다. 유사하게, 비디오 제어기(34)는 일 실시예에서 아날로그이었지만 다른 실시예에서 디지털일 수 있다. 대화형 입력 시스템(20)의 구성요소들의 특수한 배열 및 구성은 또한 바뀌어질 수 있다.

이 기술에 숙련된 사람이라면 여기에서 설명한 실시예의 다른 변형체 및 수정예가 청구범위에서 규정하는 본 발명의 범위 및 정신으로부터 벗어나지 않고 만들어질 수 있다는 것을 이해할 것이다.

20 : 대화형 입력 시스템 22 : 조립체
24 : 디스플레이 표면 26 : 프레임 또는 베젤
30 : 마스터 제어기 32 : 컴퓨팅 장치
34 : 비디오 제어기 40 : 촬상 장치
42 : 촬상 장치

Claims

대화형 입력 시스템에서 포인터 불명확성을 해결하는 방법에 있어서,
대화형 입력 시스템의 입력 표면 부근에서 복수의 포인터에 대한 복수의 잠재적인 포인터 위치를 계산하는 단계와;
각각의 잠재적인 포인터 위치와 관련된 시각적 표시자를 입력 표면상에 디스플레이하는 단계와;
시각적 표시자의 디스플레이로부터 유도된 피드백에 기초하여 실제 포인터 위치를 결정하는 단계를 포함하는 포인터 불명확성 해결 방법.
제1항에 있어서, 시각적 표시자를 디스플레이하는 단계는,
적어도 일부 잠재적 포인터 위치에서 시각적 표시자의 제1 집합을 디스플레이하는 단계와;
시각적 표시자의 제1 집합이 디스플레이되는 동안에 대화형 입력 시스템의 촬상 시스템에 의해 제1 영상 집합을 포착하는 단계와;
적어도 일부 잠재적 포인터 위치에서 시각적 표시자의 제2 집합을 디스플레이하는 단계와;
시각적 표시자의 제2 집합이 디스플레이되는 동안에 촬상 시스템에 의해 제2 영상 집합을 포착하는 단계를 포함한 것인 포인터 불명확성 해결 방법.
제2항에 있어서, 실제 포인터 위치를 결정하는 단계는 잠재적 포인터 위치로부터 적어도 하나의 실제 포인터 위치를 식별하기 위해 제1 영상 집합 및 제2 영상 집합을 처리하는 단계를 포함한 것인 포인터 불명확성 해결 방법.
제3항에 있어서, 상기 처리하는 단계는 제1 영상 집합과 제2 영상 집합 사이의 각각의 잠재적 포인터 위치에서 반사 광도의 차를 결정하는 단계를 포함한 것인 포인터 불명확성 해결 방법.
제2항에 있어서, 시각적 표시자의 제1 집합은 밝은 스폿과 어두운 스폿 중의 하나를 포함하고, 시각적 표시자의 제2 집합은 밝은 스폿과 어두운 스폿 중의 다른 하나를 포함한 것인 포인터 불명확성 해결 방법.
제2항에 있어서, 시각적 표시자의 제1 집합은 밝은 것으로부터 어두운 것으로의 것 및 어두운 것으로부터 밝은 것으로의 것 중의 하나의 계조 음영을 포함하고, 시각적 표시자의 제2 집합은 밝은 것으로부터 어두운 것으로의 것 및 어두운 것으로부터 밝은 것으로의 것 중의 다른 하나의 계조 음영을 포함한 것인 포인터 불명확성 해결 방법.
제1항에 있어서, 촬상 시스템은 상이한 유리한 위치로부터 입력 표면을 대략 가로질러서 바라보며 중복 시계를 가진 적어도 2개의 촬상 장치를 포함한 것인 포인터 불명확성 해결 방법.
대화형 입력 시스템에서 포인터 불명확성을 해결하는 방법에 있어서,
대화형 입력 시스템의 입력 표면과 접촉하는 적어도 2개의 포인터 각각과 관련된 가능한 터치 포인트 좌표를 계산하는 단계와;
제1 쌍의 가능한 터치 포인트 좌표와 관련된 영역에서 입력 표면상에 제1의 시각적 표시자를 디스플레이하고 제2 쌍의 가능한 터치 포인트 좌표와 관련된 영역에서 입력 표면상에 제2의 시각적 표시자를 디스플레이하는 단계와;
제1의 시각적 표시자의 디스플레이 및 제2의 시각적 표시자의 디스플레이 동안에 촬상 시스템으로 제1 영상을 포착하는 단계와;
제1 쌍의 가능한 터치 포인트 좌표와 관련된 영역에서 입력 표면상에 제2의 시각적 표시자를 디스플레이하고 제2 쌍의 가능한 터치 포인트 좌표와 관련된 영역에서 입력 표면상에 제1의 시각적 표시자를 디스플레이하는 단계와;
제2의 시각적 표시자의 디스플레이 및 제1의 시각적 표시자의 디스플레이 동안에 촬상 장치 시스템으로 제2 영상을 포착하는 단계와;
실제 터치 포인트 좌표를 검증하기 위해 제1 영상과 제2 영상을 비교하는 단계를 포함한 포인터 불명확성 해결 방법.
제8항에 있어서, 상기 비교하는 단계는 제1 영상과 제2 영상 사이의 실제 터치 포인트 좌표와 관련된 영역에서 반사광의 차를 결정하는 단계를 포함한 것인 포인터 불명확성 해결 방법.
제8항에 있어서, 제1의 시각적 표시자는 어두운 스폿과 밝은 스폿 중의 하나이고 제2의 시각적 표시자는 어두운 스폿과 밝은 스폿 중의 다른 하나인 포인터 불명확성 해결 방법.
제8항에 있어서, 촬상 시스템은 상이한 유리한 위치로부터 입력 표면을 대략 가로질러서 바라보며 중복 시계를 가진 적어도 2개의 촬상 장치를 포함한 것인 포인터 불명확성 해결 방법.
입력 표면과;
입력 표면의 입력 영역의 영상들을 포착하고 적어도 하나의 포인터가 입력 표면과 접촉하는 때를 검출하도록 동작하는 촬상 장치 시스템과;
촬상 장치 시스템에 응답하고 적어도 하나의 포인터와 관련된 영역에서 입력 표면상에 적어도 하나의 포인터의 위치 검증을 용이하게 하는 영상 패턴을 디스플레이하는 비디오 제어 장치를 포함한 대화형 입력 시스템.
제12항에 있어서, 영상 패턴은 제1 영상 및 콘트라스트를 발생하는 연속적인 제2 영상을 포함하고, 콘트라스트는 적어도 하나의 포인터의 위치를 검증하도록 적응된 것인 대화형 입력 시스템.
제13항에 있어서, 제1 영상은 어두운 스폿과 밝은 스폿 중 하나를 포함하고 제2 영상은 어두운 스폿과 밝은 스폿 중 다른 하나를 포함한 것인 대화형 입력 시스템.
제12항에 있어서, 비디오 제어 장치에 작용적으로 결합된 비디오 인터페이스를 더 포함하고, 비디오 인터페이스는 처리를 위해 비디오 제어 장치에 비디오 동기화 신호를 제공하도록 적응되며, 비디오 제어 장치는 상기 처리에 따라서 입력 표면에서 디스플레이되는 영상을 차단하고 영상 패턴을 디스플레이하는 것인 대화형 입력 시스템.
제12항에 있어서, 촬상 장치 시스템은 상이한 유리한 위치로부터 입력 표면의 입력 영역을 대략 가로질러서 바라보며 중복 시계를 가진 적어도 2개의 촬상 장치를 포함한 것인 대화형 입력 시스템.
제16항에 있어서, 촬상 장치 시스템은 포착된 영상 프레임을 처리하고 그 내부의 포인터의 존재를 검출하도록 적응된 적어도 하나의 제1 프로세서를 포함한 것인 대화형 입력 시스템.
제17항에 있어서, 적어도 하나의 제1 프로세서 및 비디오 제어 장치에 작용적으로 결합된 제2 프로세서를 더 포함하고, 검증에 기초해서 제2 프로세서는 적어도 하나의 제1 프로세서로부터 포인터 데이터를 수신하고 검증된 포인터 위치에 대응하는 포인터 위치 좌표 데이터를 발생하는 것인 대화형 입력 시스템.
제18항에 있어서, 제2 프로세서는 비디오 제어 장치에 의해 디스플레이하기 위한 영상 패턴을 발생하도록 적응된 영상 처리 유닛을 포함한 것인 대화형 입력 시스템.
제19항에 있어서, 영상 패턴은,
적어도 하나의 촬상 장치 시스템 쪽으로 이동하는 방향으로 어두운 색으로부터 밝은 색으로 변화하는 제1 명암도 계조를 포함한 제1 영상과;
적어도 하나의 촬상 장치 시스템으로부터 멀어지게 이동하는 방향으로 밝은 색으로부터 어두운 색으로 변화하는 제2 명암도 계조를 포함한 제2 영상을 포함한 것인 대화형 입력 시스템.
대화형 입력 시스템에서 적어도 하나의 포인터의 위치를 결정하는 방법에 있어서,
입력 표면상의 적어도 하나의 포인터의 적어도 하나의 터치 포인트 좌표를 계산하는 단계와;
적어도 하나의 터치 포인트 좌표와 관련된 영역에서 입력 표면상에 제1의 시각적 표시자를 디스플레이하는 단계와;
제1의 시각적 표시자를 디스플레이하는 동안에 대화형 입력 시스템의 촬상 시스템을 이용하여 입력 표면의 제1 영상을 포착하는 단계와;
적어도 하나의 터치 포인트 좌표와 관련된 영역에서 입력 표면상에 제2의 시각적 표시자를 디스플레이하는 단계와;
제2의 시각적 표시자를 디스플레이하는 동안에 촬상 시스템을 이용하여 입력 표면의 제2 영상을 포착하는 단계와;
적어도 하나의 포인터의 입력 표면상의 위치를 검증하기 위해 제1 영상과 제2 영상을 비교하는 단계를 포함한 포인터 위치 결정 방법.
제21항에 있어서, 상기 비교하는 단계는 제1 영상과 제2 영상 사이의 적어도 하나의 터치 포인트 좌표와 관련된 영역에서 반사광의 차를 결정하는 단계를 포함한 것인 포인터 위치 결정 방법.
제21항에 있어서, 제1의 시각적 표시자는 어두운 스폿과 밝은 스폿 중의 하나이고 제2의 시각적 표시자는 어두운 스폿과 밝은 스폿 중의 다른 하나인 포인터 위치 결정 방법.
제21항에 있어서, 제1의 시각적 표시자는 밝은 것으로부터 어두운 것으로의 것 및 어두운 것으로부터 밝은 것으로의 것 중의 하나의 계조 음영이고, 제2의 시각적 표시자는 밝은 것으로부터 어두운 것으로의 것 및 어두운 것으로부터 밝은 것으로의 것 중의 다른 하나의 계조 음영인 포인터 위치 결정 방법.
제21항에 있어서, 촬상 장치 시스템은 상이한 유리한 위치로부터 입력 표면을 대략 가로질러서 바라보며 중복 시계를 가진 적어도 2개의 촬상 장치를 포함한 것인 포인터 위치 결정 방법.
대화형 입력 시스템에서 적어도 하나의 포인터 위치를 결정하는 방법에 있어서,
적어도 하나의 포인터와 관련된 영역에서 대화형 입력 시스템의 입력 표면에 제1 패턴을 디스플레이하는 단계와;
제1 패턴을 디스플레이하는 동안 입력 표면의 제1 영상을 촬상 장치 시스템으로 포착하는 단계와;
적어도 하나의 포인터와 관련된 영역에서 입력 표면에 제2 패턴을 디스플레이하는 단계와;
제2 패턴을 디스플레이하는 동안 입력 표면의 제2 영상을 촬상 장치 시스템으로 포착하는 단계와;
주변 광의 변화를 격리시키기 위해 제2 영상으로부터 제1 영상을 처리하여 차분 영상을 계산하는 단계를 포함한 포인터 위치 결정 방법.
제26항에 있어서, 제1 패턴은 밝은 것으로부터 어두운 것으로의 것 및 어두운 것으로부터 밝은 것으로의 것 중의 하나의 계조 음영을 포함하는 것이고, 제2 패턴은 밝은 것으로부터 어두운 것으로의 것 및 어두운 것으로부터 밝은 것으로의 것 중의 다른 하나의 계조 음영을 포함한 것인 포인터 위치 결정 방법.
제26항에 있어서, 제1 패턴과 제2 패턴은 주변 광원을 걸러내도록 선택된 주파수를 갖는 것인 포인터 위치 결정 방법.
제28항에 있어서, 상기 주파수는 120 헤르쯔인 포인터 위치 결정 방법.
입력 표면과;
입력 표면의 영상들을 포착하도록 동작하는 촬상 장치 시스템과;
입력 표면에 접촉하고 입력 표면으로부터 광의 변화를 감지하는 센서를 구비한 적어도 하나의 능동 포인터와;
촬상 장치 시스템에 응답하고 적어도 하나의 능동 포인터와 통신하며 적어도 하나의 포인터와 관련된 영역에서 입력 표면상에 적어도 하나의 포인터의 위치 검증을 용이하게 하는 영상 패턴을 디스플레이하는 비디오 제어 장치를 포함한 대화형 입력 시스템.
제30항에 있어서, 영상 패턴은 제1 영상 및 콘트라스트를 발생하는 연속적인 제2 영상을 포함하고, 콘트라스트는 적어도 하나의 포인터의 위치를 검증하도록 적응된 것인 대화형 입력 시스템.
제31항에 있어서, 제1 영상은 어두운 스폿과 밝은 스폿 중 하나를 포함하고 제2 영상은 어두운 스폿과 밝은 스폿 중 다른 하나를 포함한 것인 대화형 입력 시스템.
제30항에 있어서, 비디오 제어 장치에 작용적으로 결합된 비디오 인터페이스를 더 포함하고, 비디오 인터페이스는 처리를 위해 비디오 제어 장치에 비디오 동기화 신호를 제공하도록 적응되며, 비디오 제어 장치는 상기 처리에 따라서 입력 표면에서 디스플레이되는 영상을 차단하고 영상 패턴을 디스플레이하는 것인 대화형 입력 시스템.
제30항에 있어서, 촬상 장치 시스템은 상이한 유리한 위치로부터 입력 표면을 대략 가로질러서 바라보며 중복 시계를 가진 적어도 2개의 촬상 장치를 포함한 것인 대화형 입력 시스템.
제30항에 있어서, 비디오 제어기는 무선 통신 링크를 통해 능동 포인터와 통신하는 것인 대화형 입력 시스템.
제30항에 있어서, 비디오 제어기는 고주파수 적외선 채널과 고주파수 RF 채널 중의 하나를 통해 능동 포인터와 통신하는 것인 대화형 입력 시스템.
대화형 입력 시스템에서 포인터 불명확성을 해결하기 위해 컴퓨팅 장치에 의해 실행가능한 컴퓨터 프로그램을 내포한 컴퓨터 판독가능 매체에 있어서,
상기 컴퓨터 프로그램이,
대화형 입력 시스템의 입력 표면 부근에서 복수의 포인터에 대한 복수의 잠재적인 포인터 위치를 계산하는 프로그램 코드와;
각각의 잠재적인 포인터 위치와 관련된 시각적 표시자를 입력 표면상에 디스플레이하게 하는 프로그램 코드와;
시각적 표시자로부터 유도된 피드백에 기초하여 실제 포인터 위치를 결정하는 프로그램 코드를 포함하는 컴퓨터 판독가능 매체.
대화형 입력 시스템에서 포인터 불명확성을 해결하기 위해 컴퓨팅 장치에 의해 실행가능한 컴퓨터 프로그램을 내포한 컴퓨터 판독가능 매체에 있어서,
상기 컴퓨터 프로그램이,
대화형 입력 시스템의 입력 표면과 접촉하는 적어도 2개의 포인터 각각과 관련된 가능한 터치 포인트 좌표를 계산하는 프로그램 코드와;
제1 쌍의 가능한 터치 포인트 좌표와 관련된 영역에서 입력 표면상에 제1의 시각적 표시자를 디스플레이하게 하고 제2 쌍의 가능한 터치 포인트 좌표와 관련된 영역에서 입력 표면상에 제2의 시각적 표시자를 디스플레이하게 하는 프로그램 코드와;
제1의 시각적 표시자의 디스플레이 및 제2의 시각적 표시자의 디스플레이 동안에 촬상 시스템으로 제1 영상을 포착하게 하는 프로그램 코드와;
제1 쌍의 가능한 터치 포인트 좌표와 관련된 영역에서 입력 표면상에 제2의 시각적 표시자를 디스플레이하게 하고 제2 쌍의 가능한 터치 포인트 좌표와 관련된 영역에서 입력 표면상에 제1의 시각적 표시자를 디스플레이하게 하는 프로그램 코드와;
제2의 시각적 표시자의 디스플레이 및 제1의 시각적 표시자의 디스플레이 동안에 촬상 장치 시스템으로 제2 영상을 포착하게 하는 프로그램 코드와;
실제 터치 포인트 좌표를 검증하기 위해 제1 영상과 제2 영상을 비교하는 프로그램 코드를 포함한 컴퓨터 판독가능 매체.
대화형 입력 시스템에서 포인터 불명확성을 해결하기 위해 컴퓨팅 장치에 의해 실행가능한 컴퓨터 프로그램을 내포한 컴퓨터 판독가능 매체에 있어서,
상기 컴퓨터 프로그램이,
입력 표면상의 적어도 하나의 포인터의 적어도 하나의 터치 포인트 좌표를 계산하는 프로그램 코드와;
적어도 하나의 터치 포인트 좌표와 관련된 영역에서 입력 표면상에 제1의 시각적 표시자를 디스플레이하게 하는 프로그램 코드와;
제1의 시각적 표시자를 디스플레이하는 동안에 촬상 시스템을 이용하여 입력 표면의 제1 영상을 포착하게 하는 프로그램 코드와;
적어도 하나의 터치 포인트 좌표와 관련된 영역에서 입력 표면상에 제2의 시각적 표시자를 디스플레이하게 하는 프로그램 코드와;
제2의 시각적 표시자를 디스플레이하는 동안에 촬상 시스템을 이용하여 입력 표면의 제2 영상을 포착하게 하는 프로그램 코드와;
적어도 하나의 포인터의 입력 표면상의 위치를 검증하기 위해 제1 영상과 제2 영상을 비교하는 프로그램 코드를 포함한 컴퓨터 판독가능 매체.
대화형 입력 시스템에서 포인터 불명확성을 해결하기 위해 컴퓨팅 장치에 의해 실행가능한 컴퓨터 프로그램을 내포한 컴퓨터 판독가능 매체에 있어서,
상기 컴퓨터 프로그램이,
적어도 하나의 포인터와 관련된 영역에서 대화형 입력 시스템의 입력 표면에 제1 패턴을 디스플레이하게 하는 프로그램 코드와;
제1 패턴을 디스플레이하는 동안 입력 표면의 제1 영상을 촬상 장치 시스템으로 포착하게 하는 프로그램 코드와;
적어도 하나의 포인터와 관련된 영역에서 입력 표면에 제2 패턴을 디스플레이하게 하는 프로그램 코드와;
제2 패턴을 디스플레이하는 동안 입력 표면의 제2 영상을 촬상 장치 시스템으로 포착하게 하는 프로그램 코드와;
주변 광의 변화를 격리시키기 위해 제2 영상으로부터 제1 영상을 처리하여 차분 영상을 계산하는 프로그램 코드를 포함한 컴퓨터 판독가능 매체.