KR20110005737A

KR20110005737A - 광학 베즐을 가진 대화형 입력 시스템

Info

Publication number: KR20110005737A
Application number: KR1020107027742A
Authority: KR
Inventors: 제레미 한센; 트레버 알 웰링톤; 마크 슬레빈스키
Original assignee: 스마트 테크놀러지스 유엘씨
Priority date: 2008-05-09
Filing date: 2009-05-08
Publication date: 2011-01-18
Also published as: CN102016773A; BRPI0911882A2; MX2010012263A; EP2274670A4; US8902193B2; CA2722824A1; US20090277694A1; CN102016773B; JP2011521331A; EP2274670A1; RU2010144572A; AU2009244012A1; WO2009135321A1

Abstract

대화형 입력 시스템(20)은 대상이 되는 영역을 적어도 부분적으로 둘러싸는 베즐(40 내지 44)을 포함한다. 베즐은 상부에 복수의 밴드(102, 104)를 갖고 있고 적어도 일부의 인접하는 밴드들은 서로 다른 광학 특성들을 갖고 있다. 적어도 하나의 이미징 디바이스(60)는 획득된 이미지가 밴드들에 대응하는 영역들을 포함하도록 상기 대상이 되는 영역을 응시하고 적어도 하나의 베즐을 본다. 처리 구조체(60)는 상기 대상이 되는 영역 내의 포인터의 존재를 검출하도록 복수의 영역들의 픽셀들을 처리한다.

Description

광학 베즐을 가진 대화형 입력 시스템{INTERACTIVE INPUT SYSTEM WITH OPTICAL BEZEL}

본 발명은 대화형 입력 시스템 및 대화형 입력 시스템용 베즐에 대한 것이다.

사용자로 하여금 액티브 포인터(예를 들어, 광, 사운드 또는 다른 신호를 방출하는 포인터), 패시브 포인터(예를 들어, 손가락, 실린더(cylinder), 또는 다른 물체) 또는 예를 들어, 마우스 또는 트랙볼과 같은 기타 적절한 입력 장치를 이용하여 애플리케이션 프로그램 내의 입력을 주입하게 허용하는 대화형 입력 시스템이 잘 알려져 있다. 이들 대화형 입력 시스템들은 이들로 한정되는 것은 아니지만, 본 발명의 출원인인 캐나다 알버타 캘거리의 SMART Technologies ULC사에게 양도된 미국 특허 제5,448,263호, 미국 특허 제6,141,000호, 미국 특허 제6,337,681호, 미국 특허 제6,747,636호, 미국 특허 제6,803,906호, 미국 특허 제7,232,986호, 미국 특허 제7,236,162호 및 미국 특허 제7,274,356호와 미국 특허 출원 번호 제2004/0179001호(여기서는 전체 내용을 참조로서 포함함)에 개시된 것과 같이 포인터 입력을 등록하기 위하여 아날로그 저항성 또는 머신 비젼 기술을 채용한 터치 패널을 포함하는 터치 시스템들과, 포인터 입력을 등록하기 위해 전자기, 용량, 음향 또는 기타 기술을 채용한 터치 패널을 포함하는 터치 시스템들과; 태블릿 퍼스널 컴퓨터들(PC들); 랩톱 PC들; 개인 휴대 정보 단말기(PDA); 및 다른 유사한 디바이스들을 포함한다.

위에서 포함된 Morrison 등의 미국 특허 제6,803,906호는 컴퓨터로 발생된 이미지가 제공되는 터치 표면과의 포인터 대화형을 검출하기 위해 머신 비젼을 채용하는 터치 시스템을 개시한다. 직사각형 베즐(bezel) 또는 프레임들은 터치 표면을 둘러싸고 자신의 코너부에 있는 디지털 카메라를 지지한다. 디지털 카메라는 둘러싸고 있는 오버랩하는 시야(overlapping fields of view)를 갖고 있고 일반적으로 터치 표면을 따라 응시한다. 디지털 카메라는 서로 다른 유리한 지점(vantage)으로부터 터치 표면을 따라 응시한 이미지들을 획득하여 이미지 데이터를 생성한다. 캡쳐링된 이미지 데이터 내에 포인터가 존재하는지 여부를 결정하기 위해 온-보드 디지털 신호 프로세서들에 의해 디지털 카메라에 의해, 획득된 이미지 데이터를 처리한다. 포인터가 캡쳐링된 이미지 데이터 내에 존재한다고 결정될 때, 디지털 신호 프로세서는 포인터 특징 데이터를 마스터 컨트롤러에 전달하고 이어서 마스터 컨트롤러는 포인터 특징 데이터를 처리하여 삼각 측량을 이용하여 터치 표면에 대한 (x,y) 좌표에서 포인터의 위치를 결정한다. 포인터 좌표는 하나 이상의 애플리케이션 프로그램을 실행하는 컴퓨터에 전달된다. 컴퓨터는 포인터 좌표를 이용하여 터치 표면 상에 제공되는 컴퓨터로 생성된 이미지를 업데이트한다. 따라서, 터치 표면 상의 포인터 접촉은 필기 또는 그림으로서 기록될 수 있거나 또는 컴퓨터에 의해 실행되는 애플리케이션 프로그램의 실행을 제어하는데 이용될 수 있다.

Morrison 등의 미국 특허 출원 공개 번호 제2004/0179001호는 터치 표면을 접촉하는데 이용된 패시브 포인터들을 차별화하여, 터치 표면과의 포인터 접촉에 응답하여 발생된 포인터 포지션 데이터가 터치 표면을 접촉하는데 이용된 포인터의 유형에 따라 처리될 수 있도록 하는 터치 시스템 및 방법을 개시하고 있다. 터치 시스템은 패시브 포인터에 의해 접촉되는 터치 표면과, 일반적으로 터치 표면을 따라 응시하는 시야를 갖는 적어도 하나의 이미징 디바이스를 포함한다. 적어도 하나의 프로세서는 적어도 하나의 이미징 디바이스와 통신하고, 적어도 하나의 이미징 디바이스에 의해, 획득된 이미지들을 분석하여 터치 표면을 접촉하는데 이용된 포인터의 유형과, 포인터 접촉이 이루어진 터치 표면 상의 위치를 결정한다. 결정된 포인터의 유형과, 포인터 접촉이 이루어진 터치 표면 상의 결정된 위치를 컴퓨터에 의해 이용하여, 컴퓨터에 의해 실행된 애플리케이션 프로그램의 실행을 제어한다.

일 실시예에서, 터치 표면을 접촉하는데 이용되는 포인터의 유형을 결정하기 위하여, 성장 곡선 방법(curve of growth method)을 채용하여 서로 다른 포인터들을 차별화한다. 이 방법의 실시 동안, 각각의 획득된 이미지 내의 각각의 픽셀의 로우(row of pixel)에 따른 합을 계산하여 이에 의해, 획득된 이미지의 로우와 동일한 포인트 수를 갖는 1차원 프로파일을 생성하도록 함으로써 수평 방향 강도 프로파일(HIP; horizontal intensity profile)을 형성한다. 그 후, HIP로부터 누적합(cumulative sum)을 형성함으로써 HIP로부터 성장 곡선을 생성한다.

패시브 터치 시스템은 액티브 터치 시스템보다 우수한 일부 이점들을 제공하며 매우 우수하게 동작하지만, 터치 시스템과 관련하여 액티브 포인터와 패시브 포인터 양쪽 모두를 이용하는 것은 프로세서 수 및/또는 프로세서 부하의 감소에 따라 더 높은 직관적 입력 모덜리티를 제공한다.

복수의 입력 모덜리티를 갖는 카메라 기반 터치 시스템이 고려되어 왔다. 예를 들어, Ogawa의 미국 특허 제7,202,860호는 손가락 또는 포인터를 이용하여 좌표 입력을 허용하는 카메라 기반 좌표 입력 디바이스를 개시하고 있다. 좌표 입력 디바이스는 디스플레이 스크린의 상부 좌측 및 상부 우측 코너부에 위치된 한 쌍의 카메라를 포함한다. 각각의 카메라의 시야는 디스플레이 스크린과 평행하게 디스플레이 스크린의 대각선 방향으로 대향하는 코너부로 확장한다. 적외선 발광 다이오드(Infrared emitting diode)는 각각의 카메라의 이미징 렌즈에 가깝게 배치되고 디스플레이 스크린의 주변 영역을 조사한다. 아웃라인 프레임은 디스플레이 스크린의 3개의 측면 상에 제공된다. 협폭 역반사성 테이프(narrow- width retro-reflection tape)는 아웃라인 프레임 상의 디스플레이 스크린 근처에 배치된다. 비반사성 반사성 블랙 테이프(non-reflective reflective black tape)는 역반사성 테이프와 접하여 그리고 역반사성 테이프를 따라 아웃라인 프레임에 부착된다. 역반사성 테이프는 적외선 발광 다이오드로부터 광을 반사시켜, 반사광이 강한 백색 신호로서 얻어지는 것을 허용한다. 사용자의 손가락이 디스플레이 스크린에 근접하여 위치될 때, 손가락은 역반사성 테이프의 이미지 상에 그림자로서 나타난다.

두개의 카메라로부터의 비디오 신호는 역반사성 테이프의 백색 이미지와 아웃라인 프레임 사이의 보더(border)를 검출하는 제어 회로에 공급된다. 보더에 가까운 백색 이미지로부터 픽섹들의 수평방향 라인이 선택된다. 픽셀들의 수평방향 라인은 사용자의 손가락이 디스플레이 스크린과 접촉하는 위치에 관련된 정보를 포함한다. 제어 회로는 터치 위치의 좌표를 결정한 다음, 좌표 값을 컴퓨터에 전송한다.

역반사성 팁을 갖는 펜이 디스플레이 스크린을 터치할 때, 터치 스크린으로부터 반사된 광은 백색 광으로서 등록되기에 충분할 정도로 강하다. 결과적인 이미지는 역반사성 테이프의 이미지와 구별되지 않는다. 그러나, 결과적인 이미지는 블랙 테이프의 이미지와 쉽게 구별된다. 이 경우, 아웃라인 프레임의 보더에 가까운 블랙 이미지로부터의 픽셀들의 라인이 선택된다. 픽셀들의 라인의 신호는 펜이 디스플레이 스크린과 접하는 위치에 관련된 정보를 포함한다. 제어 회로는 펜의 터치 위치의 좌표를 결정한 다음, 좌표 값을 컴퓨터에 전송한다.

Ogawar는 두개의 패스브 포인터 사이의 차이를 결정할 수 있지만, 입력 모덜리티의 수는 펜 및 손가락 입력과 같은 포인터의 상대적인 몇몇 유형으로 제한된다. 더 많은 포인터가 편광 기술을 이용할 수 있지만, 그러나 이들 기술은 다른 포인터 모덜리티와의 혼란을 피하기 위하여 디스플레이 스크린에 포인터가 접촉할 때 적절한 배향을 필요로 한다.

따라서, 본 발명의 목적은 적어도 신규의 대화형 입력 시스템 및 대화형 입력 시스템에 대한 신규의 베즐을 제공하는 것이다.

따라서, 일 양상에서, 대화형 입력 시스템이 제공되는데, 대화형 입력 시스템은 대상이 되는 영역을 적어도 부분적으로 둘러싸는 베즐 - 베즐은 상부에 복수의 밴드를 갖고 있고 적어도 일부의 인접하는 밴드들은 서로 다른 광학 특성들을 갖고 있음 - 과, 대상이 되는 영역을 응시하고 적어도 하나의 베즐을 보며, 그 결과 획득된 이미지가 밴드들에 대응하는 영역들을 포함하게 되는 적어도 하나의 이미징 디바이스와, 대상이 되는 영역 내의 포인터의 존재를 검출하도록 복수의 영역들의 픽셀들을 처리하는 처리 구조체를 포함한다.

일 실시예에서, 처리 구조체는 포인터의 존재에 의해 야기되는 영역에서의 불연속성을 검출하도록 픽셀들을 처리한다. 일 실시예에서, 밴드들은 일반적으로 수평방향이고, 조명을 반사하는 적어도 하나의 밴드와 조명을 흡수하는 적어도 하나의 밴드를 포함한다. 조명을 반사하는 밴드는 역반사성 물질의 밴드일 수 있다.

일 실시예에서, 베즐은 일반적으로 평면인 표면을 적어도 부분적으로 둘러싼다. 일반적으로 평면인 표면은 디스플레이 표면일 수 있다.

다른 양상에 따르면, 대화형 입력 시스템이 제공되는데, 대화형 입력 시스템은 대상이 되는 영역을 적어도 부분적으로 둘러싸는 베즐 - 베즐은 상부에 복수의 밴드를 갖고 있고 적어도 일부의 인접하는 밴드들은 서로 다른 광학 특성들을 갖고 있음 - 과, 대상이 되는 영역을 응시하고 적어도 하나의 베즐을 보는 적어도 하나의 이미징 디바이스와, 포인터의 유형과 무관하게 대상이 되는 영역 내의 포인터의 존재를 검출하기 위해 적어도 하나의 이미징 디바이스와 통신하고 복수의 밴드들에 대응하는 이미지 데이터를 처리하는 처리 구조체를 포함한다.

본 발명에 따르면, 신규의 개선된 대화형 입력 시스템 및 대화형 입력 시스템에 대한 신규의 개선된 베즐을 제공할 수 있다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 보다 완전하게 설명한다.
도 1은 대화형 입력 시스템의 사시도이다.
도 2는 도 1의 대화형 입력 시스템의 개략적인 정면도이다.
도 3은 도 1의 대화형 입력 시스템의 이미징 어셈블리 형성 부분의 블록도이다.
도 4는 도 1의 대화형 입력 시스템의 베즐 세그먼트 형성 부분의 일부분의 정면도이다.
도 5는 도 1의 대화형 입력 시스템의 디지틸 신호 프로세서 형성 부분의 블록도이다.
도 6a 내지 도 6c는 도 3의 이미징 어셈블리에 의해 캡쳐링된 이미지 프레임들이다.
도 7a 내지 도 7c는 도 6a 내지 도 6c의 이미지 프레임들의 픽셀 컬럼에 대하여 계산된 정규화된 VIPdark, VIPretro 및 D(x) 값들의 플롯을 나타낸다.
도 8은 도 1의 대화형 입력 시스템과 관련하여 이용된 펜 툴의 측면도이다.
도 9는 도 8의 펜 툴을 부분적으로 분해하여 나타낸 측면도이다.
도 10은 도 8의 펜 툴의 블록도이다.
도 11은 도 8의 펜 툴의 팁 어셈블리 형성 부분의 분해 사시도이다.
도 12는 도 11의 팁 어셈블리의 횡단면도이다.
도 13은 도 12의 팁 어셈블리의 팁 스위치 어셈블리 형성 부분의 분해 사시도이다.
도 14는 도 8의 펜 툴의 일레이저(eraser) 어셈블리 형성 부분의 분해 사시도이다.
도 15는 도 1의 대화형 입력 시스템과 관련하여 이용된 대안의 펜 툴의 측면도이다.
도 16a 및 도 16b는 도 1의 대화형 입력 시스템과 관련하여 이용된 또 다른 펜 툴의 측면도이다.
도 17a 및 도 17b는 도 1의 대화형 입력 시스템과 관련하여 이용된 또 다른 펜 툴의 측면도이다.
도 18은 도 1의 대화형 입력 시스템과 관련하여 이용된 또 다른 펜 툴의 측면도이다.
도 19는 펜 툴과 디스플레이 표면 간의 대화형에 응답하여 대화형 입력 시스템의 디스플레이 표면 상에 표현된 팝업 메뉴를 나타낸다.
도 20은 대안의 베즐 세그먼트의 일부분의 정면도를 나타낸다.

이하, 도 1 및 도 2를 참조하면, 사용자로 하여금 "잉크(ink)"와 같이 입력을 애플리케이션 프로그램 내에 주입하도록 하는 대화형 입력 시스템이 도시되어 있으며, 도면 부호 20으로 일반적으로 식별해 둔다. 이 실시예에서, 대화형 입력 시스템(20)은 예를 들어, 플라즈마 텔레비젼, 액정 디스플레이(LCD) 디바이스, 플랫 패널 디스플레이 디바이스, 음극선관 등과 같은 디스플레이 유닛(도시 생략)을 채용하여 디스플레이 유닛의 디스플레이 표면(24)을 둘러싸는 어셈블리(22)를 포함한다. 어셈블리(22)는 디스플레이 표면(24)에 근접하여 대상이 되는 영역 내에 발생되는 포인터들을 검출하는 머신 비젼을 채용하며, 통신 라인(28)을 통하여 적어도 하나의 디지털 신호 프로세서(DSP) 유닛(26)과 통신한다. 통신 라인(28)은 직렬 버스, 병렬 버스, USB(universal serial bus), 이더넷 접속 또는 기타 적절한 유선 접속으로 구현될 수 있다. DSP 유닛(26)은 이어서 USB 케이블(32)을 통하여 하나 이상의 애플리케이션 프로그램을 실행하는 컴퓨터(30)와 통신한다. 대안으로, DSP 유닛(26)은 예를 들어, 병렬 버스, RS-232 접속, 이더넷 접속 등과 같은 다른 유선 접속을 통해 컴퓨터(30)와 통신할 수 있거나 또는 예를 들어, 블루투스(Bluetooth), WiFi, ZigBee, ANT, IEEE 802.15.4, Z-Wave 등과 같은 적절한 무선 프로토콜을 이용한 무선 접속을 통해 컴퓨터(30)와 통신할 수 있다. 컴퓨터(30)는 DSP 유닛(26)을 통해 수신된 어셈블리(22)의 출력을 처리하고 디스플레이 유닛에 출력된 이미지 데이터를 조정하여, 디스플레이 표면(24) 상에 표현되는 이미지가 포인터 동작을 반영할 수 있게 한다. 이러한 방식으로, 어셈블리(22), DSP 유닛(26) 및 컴퓨터(30)는 디스플레이 표면(24) 근처에 포인터 동작이 필기 또는 그림으로서 기록되게끔 하거나 또는 컴퓨터(30)에 의해 실행되는 하나 이상의 애플리케이션 프로그램의 실행을 제어하는데 이용되게끔 한다.

어셈블리(22)는 디스플레이 유닛과 일체형으로 되거나 디스플레이 유닛에 부착되며 디스플레이 표면(24)을 둘러싸는 프레임 어셈블리를 포함한다. 프레임 어셈블리는 세개의 베즐 세그먼트(40 내지 44), 4개의 코너 피스(46) 및 툴 트레이 세그먼트(48)를 갖는 베즐을 포함한다. 베즐 세그먼트(40 및 42)는 디스플레이 표면(24)의 대향하는 측면 에지부를 따라 연장하는 한편, 베즐 세그먼트(44)는 디스플레이 표면(24)의 상단 에지부를 따라서 연장한다. 툴 트레이 세그먼트(48)는 디스플레이 표면(24)의 하단 에지부를 따라 연장하며 하나 이상의 액티브 펜 툴들(P)을 지원한다. 디스플레이 표면(24)의 좌측 상단과 우측 상단 코너부들에 인접하는 코너 피스(46)는 베즐 세그먼트(40 및 42)를 베즐 세그먼트(44)에 연결한다. 디스플레이 표면(24)의 좌측 하단과 우측 하단 코너부들에 인접하는 코너 피스(46)는 베즐 세그먼트(40 및 42)를 툴 트레이 세그먼트(48)에 연결한다. 이 실시예에서, 디스플레이 표면(24)의 좌측 하단과 우측 하단 코너부들에 인접하는 코너 피스(46)는 일반적으로 서로 다른 유리한 지점으로부터 전체 디스플레이 표면(24)을 가로질러 응시하는 이미징 어셈블리(60)를 수용한다. 베즐 세그먼트(40 내지 44)는 자신들의 내향 표면들이 이미징 어셈블리(60)에 의해 보여지도록 배향된다.

이하 도 3을 참조하면, 이미징 어셈블리(60) 중 하나가 보다 잘 나타나 있다. 알 수 있는 바와 같이, 이미징 어셈블리(60)는 Micron 사에 의해 모델 번호 MT9V022로 제조된 것으로서, Boowon사에 의해 모델 번호 BW25B로 제조된 유형의 880nm 렌즈에 맞추어진 이미지 센서(70)를 포함한다. 렌즈는 상부에 IR-투과/가시광 차단 필터를 갖고 있고 이미지 센서(70)를 98°시야로 제공하여 전체 디스플레이 표면(24)이 이미지 센서(70)에 의해 보여지도록 한다. 이미지 센서(70)는 I²C 직렬 버스를 통하여 통신 라인들(28) 중 하나를 수용하는 커넥터(72)에 연결된다. 이미지 센서(70)는 또한 클록(CLK) 수신기(76), 직렬 변환기(78) 및 전류 제어 모듈(80)에 뿐만 아니라 이미지 센서 교정 파라미터를 저장하는 전기적 소거가능하고 프로그래밍가능한 읽기 전용 메모리(EEPROM; 74)에 연결되어 있다. 클록 수신기(76)와 직렬 변환기(78)도 또한 커넥터(72)에 연결되어 있다. 전류 제어 모듈(80)도 또한 전원 공급 장치(84)와 커넥터(72)에 뿐만 아니라 대상이 되는 영역 및 관련된 렌즈에 조명을 제공하는 복수의 IR 발광 다이오드(LED) 또는 기타의 적절한 방사원(들)을 포함하는 적외선(IR) 광원(82)에 접속되어 있다.

클록 수신기(76)와 직렬 변환기(78)는 저가의 케이블링을 통하여 DSP 유닛(26)과 고속의 통신을 가능하게 하는 저전압의 차등 신호(LVDS; low voltage, differential signaling)를 채용한다. 클록 수신기(76)는 DSP 유닛(26)으로부터 타이밍 정보를 수신하고 이미지 센서(70)가 이미지 프레임을 캡쳐하여 출력하는 레이트를 결정하는 이미지 센서(70)에 클록 신호를 제공한다. 이미지 센서(70)에 의해 출력되는 각각의 이미지 프레임은 직렬 변환기(78)에 의해 직렬 변환되어, 커넥터(72)와 통신 라인(28)을 통하여 DSP 유닛(26)에 출력한다.

도 4는 베즐 세그먼트(40 내지 44) 중 하나의 내향 표면(100)의 부분을 나타낸다. 알 수 있는 바와 같이, 내향 표면(100)은 일반적으로 수평방향의 복수의 스트립 또는 밴드로 나누어지며, 각각의 대역은 서로 다른 광학적 특성을 갖는다. 이 실시예에서, 베즐 세그먼트의 내향 표면(100)은 두(2)개의 밴드(102 및 104)로 나누어진다. 디스플레이 표면(24)과 가장 가까운 밴드(102)는 역반사성 물질로 형성되고 디스플레이 표면(24)가 가장 먼 밴드(104)는 적외선(IR) 방사 흡수성 물질로 형성된다. 역반사성 물질의 특성의 최상의 이점을 취하기 위하여, 베즐 세그먼트(40 내지 44)는 자신들의 내향 표면이 디스플레이 표면(24)의 평면과 일반적으로 수직인 평면으로 연장되도록 배향된다.

이하 도 5를 참조하면, DSP 유닛(26)이 보다 잘 나타나 있다. 알 수 있는 바와 같이, DSP 유닛(26)은 직병렬 변환기(126)를 통하여 커넥터(122 및 124)에 연결된 비디오 포트(VP)를 갖는 예를 들어, 마이크로프로세서, 마이크로컨트롤러, DSP 등과 같은 컨트롤러(120)를 포함한다. 컨트롤러(120)는 또한 I²C 직렬 버스 스위치(128)를 통하여 각각의 커넥터(122, 124)에 연결된다. I²C 직렬 버스 스위치(128)는 클록(130 및 132)에 연결되어 있으며, 각각의 클록은 커넥터(122, 124) 들의 각각의 하나에 연결된다. 컨트롤러(120)는 무선 수신기(138), USB 케이블(32) 및 휘발성과 비휘발성 메모리를 포함한 메모리(142)를 수용하는 USB 커넥터(140)를 통하여 외부 안테나(136)와 통신한다. 클록(130 및 132)과 직병렬 변환기(126)는 LVDS(low voltage, differential signaling)를 유사하게 채용한다.

대화형 입력 시스템(20)은 디스플레이 표면(24)에 근접하여 그리고 이미징 어셈블리(60)의 시야 내에서 작용하는 액티브 펜 툴(P) 뿐만 아니라 예를 들어, 사용자의 손가락, 실린더 또는 기타 적절한 물체와 같은 패시브 포인터들을 검출할 수 있다. 쉬운 설명을 위하여, 패시브 포인터가 디스플레이 표면(24)에 근접하여 작용할 때의 대화형 입력 시스템(20)의 동작을 첫번째로 설명한다.

동작시, 컨트롤러(120)는 통신 라인(28)을 통하여 이미징 어셈블리(60)에 전달되는 클록 신호를 출력하도록 클록들(130 및 132)을 컨디셔닝한다. 각각의 이미징 어셈블리(60)의 클록 수신기(76)는 연관된 이미지 센서(70)의 프레임 레이트를 설정하기 위해 클록 신호를 이용한다. 이 실시예에서, 컨트롤러(120)는 각각의 이미지 센서(70)의 프레임 레이트가 두배의 원하는 이미지 프레임 출력 레이트이도록 클록 신호를 발생시킨다. 컨트롤러(120)는 또한 각각의 이미징 어셈블리(60)의 전류 제어 모듈(80)을 I²C 직렬 버스 상에서 시그널링한다. 응답하여, 각각의 전류 제어 모듈(80)은 전원 공급 장치(84)에 IR 광원(82)을 연결시킨 다음 전원 공급 장치(84)로부터 IR 광원(82)을 연결해제하여 각각의 IR 광원(82)이 온 및 오프로 전환하도록 한다. 온/오프 IR 광원 전환의 타이밍은 각각의 이미지 센서(70)에 의해 캡쳐링된 후속하는 이미징 프레임들 각각의 쌍에 대하여, IR 광원(82)이 온에 있을 때 하나의 이미지 프레임이 캡쳐링되고 IR 광원(82)이 오프에 있을 때 하나의 이미지 프레임이 캡쳐링되도록 제어된다.

IR 광원(82)이 온에 있을 때 IR 광원의 LED들은 적외선 조명으로 디스플레이 표면(24) 상의 대상이 되는 영역을 내리쬔다. 베즐 세그먼트(40 내지 44)의 IR 광원 흡수성 밴드(104) 상에 충돌하는 적외선 조명은 이미징 어셈블리(60)에 되돌아가지 않는다. 베즐 세그먼트(40 내지 44)의 역반사성 밴드(102) 상에 충돌하는 적외선 조명은 이미징 어셈블리(60)에 되돌아간다. 각각의 IR 광원(82)의 LED들의 구성은, 역반사성 밴드(102)가 일반적으로 자신들의 전체 길이에 걸쳐 균일하게 조명받도록 선택되어진다. 일반적으로 균일한 베즐 조명을 실현하는 예시적인 IR 광원 구성은 2008년 5월 9일자로 출원되고 알버타 캘거리에 있는 SMART Technologies ULC 사에게 양도되었으며, 발명의 명칭이 "Interactive Input System And Illumination Assembly Therefor"인 Hansen 등의 미국 특허 출원 번호 제12/118,552호(여기서는 그 전체 내용을 참조로서 포함한다)에 기재되어 있지만, 그러나 다른 조명 기술도 채용될 수 있다. 그 결과, 포인터의 부재시, 도 6a에 도시된 바와 같이, 각각의 이미지 어셈블리(60)의 이미지 센서(70)는 IR 방사 흡수성 밴드(104)에 대응하는 상위 다크 밴드(162)와 디스플레이 표면(24)에 대응하는 하위 다크 밴드(164) 사이에 배치된 길이 방향을 따라 실질적으로 균일한 강도를 갖는 브라이트 밴드(160)를 보게 된다. 포인터가 디스플레이 표면(24)에 근접하여 작용되고 IR 광원(82)으로부터 충분히 멀리 떨어져 있는 경우, 포인터는 역반사성 밴드(102)에 의해 반사되는 적외선 조명을 차광(occlude)한다. 그 결과, 포인터는 도 6b에 도시된 바와 같이 캡쳐된 이미지 프레임 내에 브라이트 밴드(160)를 차단하는 다크 영역(166)으로 나타난다.

위에 설명된 바와 같이, 각각의 이미징 어셈블리(60)의 이미지 센서(70)에 의해 출력되는 각각의 이미지 프레임은 DSP 유닛(26)으로 전달된다. DSP 유닛(26)이 이미징 어셈블리(60)로부터 이미지 프레임을 수신할 때, 컨트롤러(120)는 이미지 프레임을 처리하여, 내부에 포인터의 존재를 검출하고 포인터가 존재한다면, 삼각 측량을 이용하여 디스플레이 표면(24)에 대한 포인터의 포지션을 결정한다. 원하지 않는 광이 포인터 구별에 끼칠 수 있는 영향을 감소시키기 위하여, 컨트롤러(120)는 이미지 프레임 내의 광의 강도를 측정하기 보다는 이미지 프레임 내의 광의 불연속성을 측정하여 포인터의 존재를 검출한다. 일반적으로 원하지 않는 3가지 광원이 있는데, 이들은 주변광, 디스플레이 유닛으로부터의 광, IR 광원(82)에 의해 방사되어 이미징 어셈블리(60)에 근접한 물체에 산란되는 적외선 조명이다. 이해될 바와 같이, 포인터가 이미징 어셈블리(60)에 가깝다면, 연관된 IR 광원(82)에 의해 방사된 적외선 조명은 포인터를 직접 조사할 수 있으며, 그 결과, 포인터가 캡쳐된 이미지 프레임에서의 역반사성 밴드(102)와 같거나 더 밝게 될 수 있다. 그 결과, 포인터는 도 6c에 나타낸 바와 같이, 상위 다크 밴드 및 하위 다크 밴드(162 및 164)와 브라이트 밴드(160)를 따라 연장되는 브라이트 영역으로서 나타나기 보다는, 브라이트 밴드(160)를 차단하는 다크 영역으로서 이미지 프레임 내에 나타나지 않을 것이다.

컨트롤러(120)는 각각의 이미징 어셈블리(60)의 이미지 센서(70)에 의해 쌍으로 출력되는 연속하는 이미지 프레임들을 처리한다. 보다 자세하게는, 하나의 이미지 프레임이 수신될 때, 컨트롤러(120)는 이미지 프레임을 버퍼에 저장한다. 연속하는 이미지 프레임이 수신될 때, 컨트롤러(120)는 유사하게 이미지 프레임을 버퍼에 저장한다. 연속하는 이미지 프레임이 이용가능하면, 컨트롤러(120)가 두개의 이미지 프레임을 추출하여, 차이 이미지 프레임을 형성한다. 이미지 센서(70)의 프레임 레이트가 매우 충분하다고 가정하면, 연속하는 이미지 프레임들에서의 주변 광 레벨은 일반적으로 충분하게 변하지 않을 것이며 그 결과, 주변 광은 실질적으로 상쇄되어 차이 이미지 프레임에 나타나지 않는다.

일단 차이 이미지 프레임이 발생되었다면, 컨트롤러(120)는 차이 이미지 프레임을 처리하고, 포인터가 차이 이미지 프레임 내에 존재할 가능성을 나타내는 불연속 값을 발생시킨다. 포인터가 디스플레이 표면(24)에 근접하여 있지 않을 때, 불연속 값은 높다. 포인터가 디스플레이 표면(24)에 근접하여 있을 때, 불연속 값 중 일부가 문턱값 아래로 떨어져, 차이 이미지 프레임 내에 포인터의 존재가 쉽게 결정되어지도록 한다.

각각의 차이 이미지 프레임에 대하여 불연속 값을 발생시키기 위하여, 컨트롤러(120)는 차이 이미지 내의 브라이트 밴드(160)의 상단 에지부와 하단 에지부를 일반적으로 나타내는 베즐 라인 B_{retro_T}(x)와 B_{retro_B}(x) 사이의 차이 이미지 프레임의 각각의 픽셀 컬럼에 대한 수직 방향 강도 프로파일(VIP_retro)을 계산하고 차이 이미지 내의 상위 다크 밴드(162)의 상단 에지부와 하단 에지부를 일반적으로 나타내는 베즐 라인 B_{dark_T}(x)와 B_{dark_B}(x) 사이의 차이 이미지 프레임의 각각의 픽셀 컬럼에 대한 VIP_dark를 계산한다. 베즐 라인들은 설명될 바와 같이 대화형 입력 시스템 기동시 계산 동안에 수행되는 베즐 조사(finding) 절차를 통하여 결정된다.

베즐 라인 B_{retro_T}(x)와 B_{retro_B}(x) 사이의 그 픽셀 컬럼 내의 N개의 픽셀들의 강도 값(I)을 합산함으로써 각각의 픽셀 컬럼에 대한 VIP_retro를 계산한다. N의 값은 베즐 라인 B_{retro_T}(x)와 B_{retro_B}(x) 사이의 픽셀 로우의 개수가 되도록 결정되며, 이는 역반사성 밴드(102)의 폭과 동일하다. 임의의 베즐 라인이 차이 이미지 프레임의 픽셀을 따라 도중에 내려가면 픽셀로부터의 강도 레벨 기여도가 베즐 라인 B_{retro_T}(x)와 B_{retro_B}(x) 내로 떨어지는 픽셀의 크기에 비례하여 가중처리된다. 각각의 픽셀 컬럼에 대한 VIP_retro 계산시, 그 픽셀 컬럼 내에 있는 베즐 라인 B_{retro_T}(x)와 B_{retro_B}(x)의 위치는 정수 성분 B_{i_retro_T}(x), B_{i_retro_B}(x)과, 분수 성분 B_{f_retro_T}(x), B_{f_retro_B}(x)으로 나누어지며, 다음

으로 나타내어진다.

그 후 다음 식

에 따라 에지값에서의 적절한 가중 처리에 의해 베즐 라인들 B_{retro_T}(x)와 B_{retro_B}(x) 사이에 있는 픽셀 컬럼을 따라 N개의 픽셀들의 강도 값(I)을 합산함으로써 픽셀 컬럼에 대한 VIP_retro를 계산하며, 여기서,

이며 j는 0 내지 N의 범위이며, I는 베즐 라인 사이의 위치 x에서의 강도이다.

베즐 라인 B_{dark_T}(x) 와 B_{dark_B}(x) 사이의 각각의 픽셀 컬럼에 있는 K개의 픽셀 강도 값(I)을 합산함으로써 각각의 픽셀 컬럼에 대한 VIP_dark를 계산한다. K의 값은 베즐 라인 B_{dark_T}(x) 와 B_{dark_B}(x) 사이의 픽셀 로우의 개수가 되도록 결정되며, 이는 IR 방사 흡수성 밴드(104)의 폭과 동일하다. 임의의 베즐 라인이 차이 이미지 프레임의 픽셀을 따라 도중에 내려가면 픽셀로부터의 강도 레벨 기여도가 베즐 라인 B_{dark_T}(x)와 B_{dark_B}(x) 내로 떨어지는 픽셀의 크기에 비례하여 가중처리된다. 각각의 픽셀 컬럼에 대한 VIP_dark 계산시, 그 픽셀 컬럼 내에 있는 베즐 라인 B_{dark_T}(x)와 B_{dark_B}(x)의 위치는 정수 성분 B_{i_dark_T}(x), B_{i_dark_B}(x)과, 분수 성분 B_{f_dark_T}(x), B_{f_dark_B}(x)으로 나누어지며 다음,

으로 나타내어진다.

그 후, 다음 식,

에 따라 에지값에서의 적절한 가중 처리에 의해 베즐 라인들 B_{dark_T}(x)와 B_{dark_B}(x) 사이에 있는 픽셀 컬럼을 따라 N개의 픽셀들의 강도 값(I)을 합산함으로써 픽셀 컬럼에 대한 VIP_dark를 계산하며, 여기서

이며 j는 0 내지 N의 범위에 있다.

후속하여, VIP들을 픽셀 로우들의 대응하는 수로 나누어 VIP들을 정규화한다(N은 역반사성 영역에 대한 것이며 K는 다크 영역에 대한 것임).

에 따라 VIP_retro와 VIP_dark 사이의 차를 결정하여 각각의 픽셀 컬럼에 대한 불연속 값(D(x))을 계산한다.

도 7a는 도 6a의 이미지 프레임들의 픽셀 컬럼에 대하여 계산된 정규화된 VIP_dark, VIP_retro 및 D(x) 값들의 플롯을 나타낸다. 이해될 바와 같이, 이 이미지 프레임 내에는 포인터가 존재하지 않으며 이에 따라 이미지 프레임의 픽셀 컬럼 모두에 대해 높게 유지된다. 도 7b는 도 6b의 이미지 프레임들의 픽셀 컬럼에 대하여 계산된 정규화된 VIP_dark, VIP_retro 및 D(x) 값들의 플롯을 나타낸다. 알 수 있는 바와 같이, D(x) 커브는 이미지 프레임 내의 포인터의 위치에 대응하는 영역에서 낮은 값으로 떨어진다. 도 7c는 도 6c의 이미지 프레임들의 픽셀 컬럼에 대하여 계산된 정규화된 VIP_dark, VIP_retro 및 D(x) 값들의 플롯을 나타낸다. 알 수 있는 바와 같이, D(x) 커브가 또한 이미지 프레임 내의 포인터의 위치에 대응하는 영역에서 낮은 값으로 떨어진다.

각각의 차이 이미지 프레임의 픽셀 컬럼에 대한 불연속 값(D(x))이 결정되었다면, 각각의 차이 이미지 프레임에 대한 결과적인 D(x) 곡선을 조사하여, D(x) 곡선이 포인터의 존재를 상징하는 문턱값 아래로 떨어지는지 여부를 결정하며, 만약 문턱값 아래로 떨어진다면, 포인터의 대향 측면들을 나타내는 D(x) 곡선 내의 우측 에지값들과 좌측 에지값들을 검출한다. 보다 구체적으로, 각각의 차이 이미지 프레임 내에 좌측 에지값과 우측 에지값을 알아내기 위하여, D(x) 곡선의 1차 도함수를 계산하여, 구배 곡선(gradient curve; ∇D(x))을 형성한다. D(x) 곡선이 포인터의 존재를 상징하는 문턱값 아래로 떨어지면, 결과적인 구배 곡선 ∇D(x)는 D(x) 곡선 내의 급강하부(dip)에 의해 형성되는 에지값들을 나타내는 음의 피크와 양의 피크에 의해 경계가 한정되는 영역을 포함한다. 피크를 검출하고 그에 따라 영역의 경계를 검출하기 위하여, 구배 곡선 ∇D(x)는 에지값 검출기의 처리를 받는다.

보다 구체적으로, 문턱값(T)이 첫번째로 구배 곡선 (∇D(x))에 적용되어, 각각의 위치(x)에 대해 구배 곡선(∇D(x))의 절대 값이 문턱값보다 작다면, 구배 곡선(∇D(x))의 값은 다음

이면,

으로 기술되는 바와 같이 0으로 설정된다.

문턱값 처리 절차에 후속하여, 문턱값 처리된 구배 곡선(∇D(x))은 포인터의 대향 측면들을 나타내는 좌측 에지부와 우측 에지부에 대응하는 음의 스파이크와 양의 스파이크를 포함하며, 어느곳이든지 0의 값이 된다. 그 후, 좌측 에지값과 우측 에지값 각각을 문턱값 처리된 구배 곡선(∇D(x))의 두개의 0이 아닌(비제로) 스파이크로부터 검출한다. 좌측 에지값을 계산하기 위하여, 다음 식,

에 따라 픽셀 컬럼(X_left)으로부터 시작하는 문턱값 처리된 구배 곡선(∇D(x))의 좌측 스파이크로부터 중심 거리(CD_left)를 계산하며, 여기서 x_i는 구배 곡선(∇D(x))의 좌측 스파이크 내의 i번째 픽셀 컬럼의 픽셀 컬럼 수이고 i는 1에서부터 구배 곡선(∇D(x))의 좌측 스파이크의 폭까지 반복되며 X_left는 구배 곡선(∇D(x))을 따른 값과 연관된 픽셀 컬럼이며 그 값은 제로(0)에서부터, 시스템 노이즈에 기초하여 선험적으로 결정되는 문턱값만큼 달라진다. 그 후, 문턱값 처리된 구배 곡선(∇D(x))에서의 좌측 에지값을 X_left + CD_left와 동일하도록 결정한다.

우측 에지값을 계산하기 위하여, 다음 식,

에 따라 픽셀 컬럼(X_right)으로부터 시작하는 문턱값 처리된 구배 곡선(∇D(x))의 우측 스파이크로부터 중심 거리(CD_right)를 계산하며, 여기서 x_j는 구배 곡선(∇D(x))의 우측 스파이크 내의 j번째 픽셀 컬럼의 픽셀 컬럼 수이고 j는 1에서부터 구배 곡선(∇D(x))의 우측 스파이크의 폭까지 반복되며 X_right는 구배 곡선(∇D(x))을 따른 값과 연관된 픽셀 컬럼이며 그 값은 제로(0)에서부터, 시스템 노이즈에 기초하여 선험적으로 결정되는 문턱값만큼 달라진다. 그 후, 문턱값 처리된 구배 곡선(∇D(x))에서의 우측 에지값을 X_right + CD_right과 동일하도록 결정한다.

문턱값 처리된 구배 곡선(∇D(x))의 좌측 에지값과 우측 에지값이 계산되면, 식별된 좌측 에지값과 우측 에지값 사이의 중간값이 계산되어, 차이 이미지 프레임의 포인터 위치가 결정된다.

차이 이미지 프레임 내에서의 포인터의 위치가 결정된 후, 제어기(120)는 차이 이미지 프레임 내의 포인터 포지션을 이용하여, 위에 포함된 Morrison 등의 미국 특허 제6,803,906호에 설명된 것과 같이 잘 알려진 방식으로 삼각 측량을 이용해 디스플레이 표면(24)에 대한 포인터 포지션을 (x, y) 좌표로 계산한다. 그 후, 컨트롤러(120)에 의해, 계산된 포인터 좌표를 USB 케이블(32)을 통하여 컴퓨터(30)에 전달한다. 이어서, 컴퓨터(30)는 필요에 따라 수신된 포인터 좌표를 처리하고 디스플레이 유닛에 제공된 이미지 출력을 업데이트하여, 디스플레이 표면(24) 상에 표현된 이미지가 포인터 액티비티를 반영하도록 한다. 이 방식으로, 포인터와 디스플레이 표면(24)과의 대화형이 필기 또는 그림으로서 기록될 수 있거나 또는 컴퓨터(30) 상에서 실행하는 하나 이상의 애플리케이션 프로그램의 실행을 제어하는데 이용될 수 있다.

대화형 입력 시스템 기동시 수행되는 베즐 조사 절차 동안, 베즐 라인 B_{retro_T}(x), B_{retro_B}(x), B_{dark_T}(x) 및 B_{dark_B}(x)을 결정하게끔 각각의 이미지 센서가 교정 절차를 수행한다. 각각의 교정 절차 동안, 연관된 이미지 센서(70)에 의해 교정 이미지 쌍을 캡쳐한다. 이미지 센서와 연관된 IR 광원(82)이 온인 동안 교정 이미지 쌍 중 한 교정 이미지가 캡쳐되면, 이미지 센서와 연관된 IR 광원(82)이 오프인 동안 교정 이미지 쌍 중 다른 하나의 교정 이미지가 캡쳐된다. 그 후, 두개의 교정 이미지들을 추출하여 교정 차이 이미지를 형성하고 이에 의해 주변 조명 인공물을 제거한다. 그 후, 교정 차이 이미지의 대상이 되는 픽셀 로우들(즉, 역반사성 밴드(102)를 나타내는 브라이트 밴드(160)를 형성하는 픽셀 로우)를 결정한다.

이 프로세스 동안, 교정 차이 이미지의 각각의 픽셀 로우에 대한 픽셀 값의 합을 계산하여 교정 차이 이미지에 대한 수평방향 강도 프로파일을 발생시킨다. 그 후, 구배 필터를 수평방향 강도 프로파일에 적용시킨다. 구배 필터는 수평방향 강도 프로파일의 이차 도함수의 절대값을 계산하고 열여섯(16) 개의 포인트 가우시안 필터를 적용시켜 결과를 평활화한다. 그 후, 50퍼센트(50%)의 피크 값 보다 더 큰 값을 갖는 각각의 데이터 영역을 조사하여 최대 면적을 갖는 영역을 검출한다. 그 후, 그 영역의 중간값을 중심 픽셀 로우로서 지정한다. 조명 인공물과 외부 적외선 광원의 영향을 감소시키기 위해 이 프로세스 동안에 수평방향 강도 프로파일의 첫번째와 마지막 팔십(80)개의 픽셀 로우를 이용하지 않는다.

그 후, 교정 차이 이미지의 각각의 픽셀 컬럼을 처리하여 픽셀 컬럼 내에서 브라이트 밴드(160)에 대응하는 픽셀들을 결정한다. 처음에, 이미지 센서(70)의 위치들은 알려져 있지 않고 그에 따라 임의의 처리 방향이 선택된다. 이 실시예에서, 교정 차이 이미지의 픽셀 컬럼은 좌측에서 우측으로 처리된다. 각각의 픽셀 컬럼의 처리 동안에, 중심 픽셀 로우의 위치에 기초하여 픽셀 컬럼에 대한 픽셀 데이터의 미소 슬라이스를 구한다. 이 실시예에서, 슬라이스는 중심 픽셀 로우 상에 중심이 맞추어진 백개의 픽셀 로우를 포함한다. 각각의 이미지 슬라이스는 강도 및 폭에서 역반사성 밴드(102)를 근사시키는데 이용되는 가우시안 모델로 교차상관된다. 교차 상관의 결과들은 베즐의 역반사성 밴드(102)를 나타내는 교정 차이 이미지의 브라이트 밴드(160)를 식별시킨다. 이 교차 상관 결과가 추가의 브라이트 밴드(160)를 부각시키고 잡음을 감소시키기 위해 IR 광원(82)으로 캡쳐되었던 교정 이미지에 곱해(multiply)진다.

이후, 각각의 픽셀 컬럼에 대해, 피크 검색 알고리즘을 결과적인 픽셀 컬럼 데이터에 적용하여 피크를 알아낸다. 하나의 피크가 찾아지면, 픽셀 컬럼 내에서, 베즐의 역반사성 밴드(102)와 디스플레이 표면(24) 내의 반사성 간에 차별점이 없는 것으로 본다. 두개의 피크가 찾아지면, 픽셀 컬럼 내에서, 베즐의 역반사성 밴드(102)와 디스플레이 표면(24) 내의 반사성들이 가시가능하고 차별될 수 있는 것으로 본다. 두개의 피크가 찾아지는 각각의 픽셀 컬럼에 대해, 검출된 피크들을 둘러싸는 상승 에지부 및 하강 에지부를 찾음으로써, 역반사성 밴드를 나타내는 브라이트 밴드(160)의 폭과 디스플레이 표면(24) 내의 역반사성 밴드(24)의 반사성을 나타내는 밴드를 결정한다. 픽셀 컬럼 내의 브라이트 밴드(160)의 폭을 알면, 베즐 라인 B_{retro_T}(x)와 B_{retro B}(x)를 추정할 수 있다. 브라이트 밴드(160)의 폭으로부터, 상위 다크 밴드(162)가 브라이트 밴드의 폭과 일반적으로 동일한 폭을 갖고 브라이트 밴드(160) 바로 위에 있도록 결정된다. 베즐 라인 B_{dark_B}(x)은 베즐 라인 B_{retro_T}(x)과 일치하기 때문에 베즐 라인 B_{dark_T}(x)도 또한 추정될 수 있다.

그 후, 첫번째 백오십(150) 개의 그리고 마지막 백오십(150) 개의 픽셀 컬럼들에 대한 픽셀 컬럼 데이터의 강도를 조사하여 베즐의 시작 픽셀 컬럼과 마지막 픽셀 컬럼을 결정한다. 문턱값보다 낮은 첫번째 150개의 픽셀 컬럼 중 가장 안쪽의 픽셀 컬럼은 베즐의 시작이 되도록 결정되며, 문턱값 보다 낮은 마지막 150개의 픽셀 컬럼 중 가장 안쪽의 픽셀 컬럼은 베즐의 끝이 되도록 결정된다.

베즐의 시작과 끝의 포인트들을 찾은 후, 연속성 검사를 수행하여, 브라이트 밴드(160)의 픽셀들이 픽셀 컬럼마다 서로 가까이에 있음을 확인한다. 이 검사 동안에, 인접하는 픽셀 컬럼 내의 브라이트 밴드(160)의 픽셀들을 비교하여, 이들 픽셀 간 거리가 스파이크를 상징하는 문턱 거리를 넘어서는지 여부를 결정한다. 각각의 검출된 스파이크에 대하여, 스파이크 영역의 대향면들 상에 있는 브라이트 밴드(160)의 픽셀들은 내삽처리되고 내삽된 값들은 스파이크의 픽셀들을 교체하는데 이용된다. 이 처리는 이미지 센서 과다 노출 또는 베즐 차단에 의해 일어나는 브라이트 밴드(160) 내의 갭들을 패치시킬 뿐만 아니라 임의의 오식별된 베즐 포인트들을 평활화 처리한다.

그 후, 결과적인 이미지의 좌측면과 우측면에서의 브라이트 밴드(160)의 폭을 조사한다. 가장 작은 브라이트 밴드 폭과 연관된 결과적인 이미지의 면은 이미지 센서(70)로부터 가장 멀리 있는 베즐의 부분을 나타내는 것으로 간주된다. 그 후, 위에서 설명된 연속성 검사와, 각각의 픽셀 컬럼에서의 브라이트 밴드의 픽셀들을 결정하는 절차를 수행한다. 이 두번째 시도 동안에, 이미지 데이터가 처리되는 방향은 베즐에 대하여 이미지 센서(70)의 위치에 기초하고 있다. 이미지 센서(70)에 가장 가까운 베즐의 부분을 나타내는 이미지 데이터를 첫번째로 처리한다. 그 결과, 두번째 시도 동안에, 결과적인 이미지의 픽셀 컬럼은 디스플레이 표면(24)의 좌측 하단 코너부에서는, 이미지 센서(70)에 대하여 좌측에서 우측으로 처리되며, 디스플레이 표면(24)의 우측 하단 코너부에서는 이미지 센서(70)에 대하여 우측에서 좌측으로 처리된다. 이 두번째 시도 동안에, 피크 검색 알고리즘은 추정된 베즐 라인 B_{retro_T}(x)와 B_{retro_B}(x)에 대응하는 픽셀 컬럼 데이터에 대해 초점을 맞춘다.

이하, 도 8 내지 도 14를 참조하면, 대화형 입력 시스템(20)과 관련하여 이용하기 위한 펜 툴(P) 중 하나가 도시되어 있으며, 일반적으로 도면 부호 200으로 식별해둔다. 알 수 있는 바와 같이, 펜 툴(P)은 일단부에 팁 어셈블리(202)를 그리고 타단부에 일레이저 어셈블리(204)를 수용하는 상호접속된 하프쉘(half shell)을 포함한다. 팁 어셈블리(202)는 컨트롤러(212)가 탑재되어 있는 인쇄 회로 기판(210)을 포함한다. 컨트롤러(212)는 예를 들어 무선 주파수(RF) 안테나 또는 IR LED와 같은 무선 송수신기(216a 및 216b)를 통하여 신호들을 브로드캐스트하는 무선 유닛(214)과 통신한다. 팁 스위치 컨택트부(218)도 또한 인쇄 회로 기판(210) 상에 탑재되어 있다. 팁 스위치 어셈블리(220)가 인쇄 회로 기판(210) 상에 탑재되어 있다.

팁 스위치 어셈블리(220)는 컨택트 회로 영역(224)을 수용하는 원형 부분(223)을 갖는 폴리에스테르 플렉스 회로(222)를 포함한다. 컨택트 리드부(226)는 컨택트 회로 영역(224)으로부터 연장되어 원형 부분(223)의 평면에 대하여 90도 회전을 받는다. 리드부(228)는 컨택트 리드부(226)에 부착되어 있고 크림프 커넥터(crimp connector; 229)에서 종단한다. 크림프 커넥터(229)는 팁 스위치 컨택트(218)을 수용하여 이에 의해 팁 스위치 어셈블리(220)를 컨트롤러(212)에 전기적으로 연결시킨다. 플런저 어셈블리(230)는 플렉스 회로(222)와 정렬된다. 플런저 어셈블리(230)는 바디부(200)의 단부 상에 맞추어진 캡(232)을 관통한다. 캡(232)은 내부 스레디드 콘(internally threaded cone; 236)을 수용하는 외부 스레디드 노즈(externally threaded nose; 234)를 갖는다. 플런저 어셈블리(230)는 펜 툴(P)에 대한 필기 팁(writing tip)을 정의하기 위해 콘(236) 내에 홀을 통하여 연장된다.

플런저 어셈블리(230)는 실리콘으로 형성된 가요성 컵(240)을 포함한다. 플렉스 회로(222)를 마주보는 컵(240)의 표면은 전도성 패드(242)를 상부에 갖는다. 플런저 어셈블리(242)는 컨택트 회로 영역(224)와 정렬된다. 일반적으로 실린더형인 샤프트(244)는 컵(240)으로부터 연장된 실린더형 튜브(246)에 의해 수용되어진다. 샤프트(244)의 말단부의 상부에는 니브(nib; 248)가 형성되어 있다.

일레이저 어셈블리(204)는 양의 리드부와 음의 리드부를 갖는 배터리 캐리어(250)를 포함한다. 컨트롤러(212)에 전기적으로 연결된 스위치(254)를 지지하는 인쇄 회로 기판(252)은 배터리 캐리어(250)의 일단부에 고정되어 있다. 플런저(256)는 스위치(254)와 정렬되어 있으며, 배터리 캐리어(250)의 일단부와 인쇄 회로 기판(252)을 둘러싸고 바디부(200)의 단부에 맞추어진 홀더(260)를 관통한다. 상부에 펠트형 패드(felt-like pad; 264)를 갖는 캡(262)은 홀더(260)에 의해 수용되어진다. 시중에서 입수가능한 서브어셈블리(266)는 배터리 캐리어(250)의 타단부로부터 인쇄 회로 기판(210)으로 연장되며, 배터리 캐리어(250)의 단부와 맞물려 있는 하프쉘(268)에 의해 지지된다. 스프링(270)은 내부에 위치된 배터리(272)를 지지하기 위해 배터리 캐리어(250)에 의해 수용된다. 전기적 서브어셈블리(266)는 배터리(272)를 인쇄 회로 기판(252 및 210)에 연결시키며, 인쇄 회로 기판들 사이에 통신 채널을 제공한다.

펜 툴(P)이 디스플레이 표면(24)에 근접하여 작용하는 경우, 패시브 포인터를 참조하여 위에서 설명된 바와 동일한 방식으로, (x,y) 좌표에서의 디스플레이 표면에 대한 펜 툴의 위치를 계산한다. 그러나, 펜 툴(P)이 디스플레이 표면(24)과 접촉하여 작용하는 방식에 따라, 펜 툴(P)은 디스플레이 표면(24)에 대한 펜 툴 동작을 해석하는데 이용되는 모드 정보를 제공할 수 있다. 보다 구체적으로, 펜 툴(P)의 니브(248)가 디스플레이 표면(24)에 충분한 힘으로 접촉하여 작용하는 경우, 플런저 어셈블리(230)의 샤프트(244)가 바디부(200) 내에 내부 방향으로 이동한다. 샤프트(244)의 내부 방향 이동은 컵(240)으로 하여금 휘어지게 하여, 이에 의해 컵 상의 전도성 패드(242)를 플렉스 회로(222)의 컨택트 회로 영역(224)과 접촉하게 하고 그 결과 팁 스위치 어셈블리(220)의 폐쇄를 가져온다. 팁 스위치 어셈블리(220)의 폐쇄는 컨트롤러(212)에 의해 감지되어, 컨트롤러(212)로 하여금 무선 송신기(216a)를 통하여 브로드캐스트되는 변조 신호를 출력하도록 무선 유닛(214)을 컨디셔닝하게 한다. 무선 송신기(216a)는 변조 신호가 펜 툴(P)로부터 자신의 팁의 약간의 후방으로 방사되도록 위치결정된다.

플런저 어셈블리(230)의 설계는, 팁 스위치 어셈블리(220)를 폐쇄하도록 플런저 어셈블리(230)의 샤프트(244)를 이동시키는데 낮은 작용력이 필요하다는 점에서 이점을 제공한다. 또한, 팁 스위치 어셈블리(220)를 폐쇄하기 위해 플런저 어셈블리(230)의 샤프트(244)를 바디부(200) 내로 현저하게 이동시킬 필요가 없다. 구체적으로, 팁 스위치가 폐쇄하는데 단지 약 30g의 작동력(activation force)과 대략 0.1 mm와 동일한 샤프트 이동만이 필요하게 된다. 이들 인자는 펜 툴(P)에 훨씬 더 유연성있는 필기 느낌을 부여하고 종래 기술의 펜 툴에 비해 상당히 작은 잡음을 부여한다. 또한, 플렉스 회로(222)의 구성은 팁 스위치 어셈블리가 펜 툴(P)의 직경에 대해 감지되지 않을 정도의 영향을 주도록 하는 아주 적은 프로파일을 팁 스위치 어셈블리(220)에 제공한다.

펜 툴(P)의 캡(262)이 충분한 힘으로 디스플레이 표면(24)과 접촉하여 작용하는 경우 캡(262)은 홀더(260)로 이동하여 이에 의해 플런저(256)로 하여금 스위치(254)를 폐쇄시키도록 한다. 스위치(254)의 폐쇄는 컨트롤러(212)에 의해 감지되어, 컨트롤러(212)로 하여금 무선 송신기(216b)를 통하여 브로드캐스트되어지는 다르게 변조된 신호를 출력하도록 무선 유닛(214)을 컨디셔닝하게 한다. 이와 유사하게, 무선 송신기(216b)는 변조 신호가 펜 툴(P)로부터 자신의 일레이저 단부의 후방으로 미소하게 방사되도록 위치결정된다.

DSP 유닛(26)은 메모리(142) 내에 변조 신호/펜 툴 모드 매핑 테이블(modulated signal-to-pen tool mode mapping table)을 저장시킨다. 그 결과, 브로드캐스트된 변조 신호가 DSP 유닛(26)의 컨트롤러(120)에 의해 안테나(136)를 통하여 수신될 때, 컨트롤러(120)는 수신되어진 변조 신호와 매핑 테이블을 비교하여 펜 툴 모드를 결정한다. 이어서, 컨트롤러(120)는 이 정보를 이용하여, 발생되어진 포인터 좌표에 모드 정보를 할당하고, 이 모드 정보를 포인터 좌표와 함께 컴퓨터(30)에 전달함으로써, 포인터 좌표가 원하는 방식으로 컴퓨터(30)에 의해 처리되도록 한다. 이 실시예에서, 니브(248)가 디스플레이 표면(24)과 접촉하고 팁 스위치 어셈블리(220)가 폐쇄될 때, 펜 툴(P)은 잉크 모드에서 동작하고 있는 것으로 간주된다. 잉크 모드 정보는 컨트롤러(120)에 의해 발생된 포인터 좌표에 할당되는 한편, 펜 툴(P)은 이 모드에 있게 되어, 그 결과 컴퓨터(30)가 디스플레이 표면(24) 상에서 포인터 좌표를 필기 또는 그림(즉, 잉크 모드)으로서 처리하도록 한다. 이 실시예에서, 니브(262)가 디스플레이 표면(24)과 접촉하고 스위치(254)가 폐쇄될 때, 펜 툴(P)은 일레이저 모드에서 동작하고 있는 것으로 간주된다. 일레이저 모드 정보는 컨트롤러(120)에 의해 발생된 포인터 좌표에 할당되는 한편, 펜 툴(P)은 이 모드에 있게 되어, 그 결과 컴퓨터(30)가 디스플레이 표면(24) 상에서 포인터 좌표에 대응하는 위치에서 표시된 잉크를 지우도록 한다. 변조된 신호가 펜 툴(P)에 의해 출력되지 않을 때, 펜 툴(P)은 포인터 모드에서 동작하고 있는 것으로 간주되고 패시브 포인터로서 동일한 방식으로 처리된다. 포인터 모드 정보는 컨트롤러(120)에 의해 발생된 포인터 좌표에 할당되는 한편, 펜 툴(P)은 이 모드에 있게 되어, 그 결과 컴퓨터(30)가 마우스 이벤트로서 포인터 좌표를 처리하도록 한다.

필요에 따라, IR 광원(82)은 2008년 5월 9일자로 출원되고 알버타 캘거리에 있는 SMART Technologies ULC 사에게 양도되었으며, 발명의 명칭이 "Interactive Input System with Controlled Lighting"인 McReynolds 등의 미국 특허 출원 번호 제12/118,521호(여기서는 그 전체 내용을 참조로서 포함한다)에 설명된 바와 같이 변조될 수 있다. 이러한 방식으로, 이미지 프레임과 관련된 IR 광원으로부터의 조명의 기여에만 기초하여 각각의 이미징 어셈블리에 대한 이미지 프레임들을 발생시킬 수 있다. 펜 툴(P)에 의해 출력되어진 변조된 신호도 또한 변조될 수 있다.

도 8 내지 도 14는 예시적인 펜 툴을 보여주고 있지만, 당해 기술 분야의 숙련된 자는 서로 다른 구성의 펜 툴(P)이 대화형 입력 시스템(20)과 관련하여 이용될 수 있음을 이해할 것이다. 예를 들어, 도 15는 대안의 펜 툴(P)을 나타내는데 여기서, 유사한 물리적 기하 구조를 갖는 팁 어셈블리(302 및 304)가 펜 툴 바디부(306)의 대향 단부들에 제공된다. 이 경우, 펜 툴(P)에 의해 출력되어진 변조 신호는, 디스플레이 표면(24)과 접촉하여 작용하는 팁 어셈블리에 따라 달라진다.

도 16a 및 도 16b는 대화형 입력 시스템과 관련하여 이용하기 위한 또 다른 펜 툴(P)을 보여준다. 이 실시예에서, 팁 어셈블리(402)는 이전 실시예들의 것과 유사하다. 일레이저 어셈블리(404)는 보다 라운딩 처리된 물리적 구성을 갖는다. 이전의 실시예들과 달리, 마우스와 일레이저 포지션 사이에서 이동가능한 슬라이더 스위치(410)가 펜 툴(P)의 바디부(412)상에 제공된다. 슬라이더 스위치(410)의 포지션은 컨트롤러(212)에 의해 감지되며, 일레이저 어셈블리(404)가 디스플레이 표면(24)과 접촉하여 작용할 때 펜 툴(P)에 의해 출력되어진 변조 신호의 형태를 결정하는데 이용된다. 슬라이더 스위치(410)가 도 16a에 도시된 바와 같이 마우스 포지션에 위치되고, 일레이저 어셈블리(404)가 스위치(254)를 폐쇄시키기에 충분한 힘으로 디스플레이 표면(24)과 접촉하여 작용할 때, 펜 툴(P)은 컨트롤러(120)에 의해 매핑 테이블과 비교되는 변조된 신호를 출력하여 펜 툴(P)이 포인터 모드에서 동작하고 있다고 결정한다. 컨트롤러(120)는 이어서, 발생된 포인터 좌표에 포인터 모드 정보를 할당한다. 유사하게, 슬라이더 스위치(410)가 도 14b에 도시된 바와 같이 일레이저 포지션에 위치되고, 일레이저 어셈블리(404)가 스위치(254)를 폐쇄시키기에 충분한 힘으로 디스플레이 표면(24)과 접촉하여 작용할 때, 펜 툴(P)은 컨트롤러(120)에 의해 매핑 테이블과 비교되는 다르게 변조된 신호를 출력하여 펜 툴(P)이 일레이저 모드에서 동작하고 있다고 결정한다. 컨트롤러(120)는 이어서, 발생된 포인터 좌표에 일레이저 모드 정보를 할당한다.

도 17a 및 도 17b는 대화형 입력 시스템과 관련하여 이용하기 위한 또 다른 펜 툴(P)을 보여준다. 이 실시예에서, 일반적으로 동일한 물리적 구성을 갖는 팁 어셈블리(502 및 504)가 바디부(506)의 대향 단부들에 제공된다. 슬라이더 스위치(510)가 펜 툴(P)의 바디부(506) 상에 제공되어, 두 포지션 사이에서 팁 어셈블리(504)를 향하여 이동가능할 뿐만 아니라 두 포지션 사이에 팁 어셈블리(502)를 향하여 이동가능하게 된다. 보다 자세하게는, 슬라이더 스위치(510)는 잉크 포지션과 일레이저 포지션 사이에서 팁 어셈블리(502)를 향하여 이동가능하고 선택 클릭 포지션과 우측 클릭 포지션 사이에서 팁 어셈블리(504)를 향하여 이동가능하게 된다. 슬라이더 스위치(510)의 포지션은 컨트롤러(212)에 의해 감지되며, 팁 어셈블리가 팁 스위치 어셈블리(220)를 폐쇄시키기에 충분한 힘으로 디스플레이 표면(24)과 접촉하여 작용할 때 펜 툴(P)에 의해 출력되어진 변조 신호의 형태를 결정하는데 이용된다.

슬라이더 스위치(510)가 도 17a에 도시된 바와 같이 잉크 포지션에 위치되고, 팁 어셈블리(502)의 플런저가 팁 스위치 팁 스위치 어셈블리(220)를 폐쇄시키기에 충분한 힘으로 디스플레이 표면(24)과 접촉하여 작용할 때, 펜 툴(P)은 컨트롤러(120)에 의해 매핑 테이블과 비교되는 변조된 신호를 출력하여 펜 툴(P)이 잉크 모드에서 동작하고 있다고 결정한다. 컨트롤러(120)는 이어서, 발생된 포인터 좌표에 잉크 모드 정보를 할당한다. 유사하게, 슬라이더 스위치(510)가 도 17b에 도시된 바와 같이 일레이저 포지션에 위치되고, 팁 어셈블리(502)의 플런저가 팁 스위치 어셈블리(220)를 폐쇄시키기에 충분한 힘으로 디스플레이 표면(24)과 접촉하여 작용할 때, 펜 툴(P)은 컨트롤러(120)에 의해 매핑 테이블과 비교되는 다르게 변조된 신호를 출력하여 펜 툴(P)이 일레이저 모드에서 동작하고 있다고 결정한다. 컨트롤러(120)는 이어서, 발생된 포인터 좌표에 일레이저 모드 정보를 할당한다. 슬라이더 스위치(510)가 도 17a에 도시된 바와 같이 잉크 포지션에 위치되고, 팁 어셈블리(504)의 플런저가 팁 스위치 팁 스위치 어셈블리(220)를 폐쇄시키기에 충분한 힘으로 디스플레이 표면(24)과 접촉하여 작용할 때, 펜 툴(P)은 컨트롤러(120)에 의해 매핑 테이블과 비교되는 또 다른 다르게 변조된 신호를 출력하여 펜 툴(P)이 선택 모드에서 동작하고 있다고 결정한다. 컨트롤러(120)는 이어서, 발생된 포인터 좌표에 선택 모드 정보를 할당한다. 유사하게, 슬라이더 스위치(510)가 도 17b에 도시된 바와 같이 우측 클릭 포지션에 위치되고, 팁 어셈블리(504)의 플런저가 팁 스위치 팁 스위치 어셈블리(220)를 폐쇄시키기에 충분한 힘으로 디스플레이 표면(24)과 접촉하여 작용할 때, 펜 툴(P)은 컨트롤러(120)에 의해 매핑 테이블과 비교되는 또 다른 다르게 변조된 신호를 출력하여 펜 툴(P)이 우측 클릭 모드에서 동작하고 있다고 결정한다. 컨트롤러(120)는 이어서, 발생된 포인터 좌표에 우측 클릭 모드 정보를 할당한다.

도 18은 대화형 입력 시스템(20)과 관련하여 이용하기 위한 또 다른 펜 툴(P)을 보여준다. 이 실시예에서, 펜 툴(P)은 3개의 팁 어셈블리(602, 604 및 606)를 갖는데, 각각의 팁 어셈블리는 서로 다른 펜 툴 모드와 연관되어 있다. 보다 구체적으로, 이 실시예에서, 팁 어셈블리(602)는 잉크 모드와 연관되어 있고, 팁 어셈블리(604)는 일레이저 모드와 연관되어 있고, 팁 어셈블리(606)는 선택 모드와 연관되어 있다. 펜 툴(P)에 의해 출력되어진 변조 신호는, 디스플레이 표면(24)과 접촉하여 작용하는 팁 어셈블리에 따라 달라진다.

필요에 따라, 컴퓨터(30)는 매핑 테이블 내의 변조 신호/펜 툴 모드 매핑(modulated signal-to-pen tool mode mapping)을 정적으로 할당하기 보다는, 도 19에 도시된 바와 같이, 매핑을 시각적으로 표현하고 사용자로 하여금 펜 툴(P)에 의해 출력된 각각의 변조된 신호와 연관되어진 펜 툴 모드를 변경하도록 하는 그래픽 사용자 인터페이스(700)를 사용자 입력에 응답하여 제공할 수 있다.

펜 툴 유형(즉, 펜 툴의 동작 모드)을 결정하기 위해 펜 툴(P)에 의해 출력된 변조 신호를 이용하는 것에 더하여, 속성을 변조 신호에 할당하여, 컴퓨터(30)가 포인터 좌표들을 처리하도록 방식을 추가로 제어할 수 있다. 예를 들어, 사용자가 펜 툴(P)의 일레이저 어셈블리(또는 일레이저 모드를 나타내는 팁 어셈블리)를 이용하여 디스플레이 표면과 접촉하고 있다면, 매핑 테이블 내의 변조 신호에 속성을 할당할 수 있고, 그 결과 포인터 좌표가 컴퓨터(30)에 의해 처리될 때, 그 특정 펜 툴(P)을 이용하여 입력되었던 잉크만을, 또는 특정 컬러의 잉크만을, 또는 선택된 기하학적 형상(예를 들어, 직사각형, 원형, 정사각형 등)에 의해 한정되어진 잉크 만을 소거하도록 한다.

이해될 바와 같이, 특정한 펜 툴 모드가 설명되어 있지만, 당해 기술 분야의 숙련된 자는 대안의 펜 툴 모드 또는 펜 툴 모드들의 다른 조합을 펜 툴들에 의해 출력된 변조 신호에 할당할 수 있음을 알 것이다. 슬라이더 스위치들을 갖는 펜 툴(P)이 설명되어 있지만, 대안의 입력 인터페이스를 갖는 펜 툴들을 물론 이용하여 사용자로 하여금 펜 툴 모드(들)를 선택하도록 할 수 있다. 예를 들어, 펜 툴(P)은 복수의 버튼 스위치들, 복수의 포지션에 걸쳐서 토글링하는 단일의 버튼 스위치, 회전식 스위치, 하나 이상의 스크롤 휠, 압력 또는 배향 감지 스위치 등을 포함할 수 있으며, 각각의 스위치 또는 스위치 포지션은 펜 툴 동작 모드와 연관되어 있다. 대안적으로, 펜 툴(P)은 마이크로폰을 포함할 수 있고, 컨트롤러(212)는 음성 인식 소프트웨어를 실행시켜 펜 툴 모드를 입력된 음성 명령을 통하여 사용자에 의해 선택하도록 할 수 있다. 디스플레이 스크린(24)의 에지부를 태핑(tapping)하는 것과 같은 햅틱 명령(Haptic command)을 또한 이용하여 펜 툴 모드를 선택하게 할 수 있다.

특정 실시예가 도면들을 참조로 위에 설명되어 있지만, 당해 기술 분야의 숙련된 자는 다른 대안이 이용가능함을 알 것이다. 예를 들어, 위의 실시예에서, DSP 유닛(26)은 펜 툴(P)에 의해 출력된 변조 신호를 수신하기 위해 무선 수신기(138)와 안테나(136)를 포함하는 것으로 나타나 있다. 대안으로서, 각각의 이미징 어셈블리(60)에는, 펜 툴(P)에 의해 출력된 변조 신호를 수신하기 위해 무선 수신기와 안테나가 제공될 수 있다. 이 경우, 이미징 어셈블리에 의해 수신된 변조 신호는 이미지 프레임들과 함께 DSP 유닛(26)에 전송된다. 펜 툴(P)은 어셈블리(22) 또는 DSP 유닛(26)에 구속(tether)될 수 있으며, 이에 의해 펜 툴(P)에 의해 출력된 신호들이 유선 접속을 통하여 이미징 어셈블리들(60) 또는 DSP 유닛(26) 또는 이미지 어셈블리(들) 중 하나 이상에 전달되도록 할 수 있다.

위의 실시예에서, 포인터의 존재 및 위치를 결정하도록 불연속 값들(D(x))을 조사하여 처리한다. 당해 기술 분야의 숙련된 자는 포인터의 존재 및 위치를 결정하기 위해 VTP_retro 및 VIP_dark 값을 직접 처리할 수 있음을 알 것이다.

대안의 실시예에서, 이미징 어셈블리(60)는 디스플레이 표면(24)을 따라 응시하여 디스플레이 표면(24) 상에 나타나는 역반사성 밴드(102)의 반사가 이미지 프레임 내에서 캡처되어 브라이트 밴드(160) 아래쪽로부터 이격되어진 라이트 밴드로서 이미지 프레임 내에 나타난다. 이들 이미지 프레임의 처리 동안에, 각각의 이미지 프레임은 3개의 영역으로 분리되는데, 즉, 베즐 세그먼트의 IR 방사 흡수성 밴드(104)로부터의 기여분에 대응하는 다크 영역, 매우 밝은 영역(역반사) 영역 및 역반사성 밴드(102)의 반사의 기여분에 대응하는 브라이트(반사) 영역이 디스플레이 표면(24) 상에 나타난다.

일단 분리되면, 컨트롤러(120)는 개개의 영역들에 대한 VIP들을 발생시키고 VIP들을 처리하여, 디스플레이 표면(24)에 근접한 포인터가 존재하는지 여부와, 만약 존재한다면 디스플레이 표면(24)에 대한 (x,y) 좌표에서의 포인터의 포지션을 결정한다.

디스플레이 표면(24)과 근접하는 포인터를 검출하기 위하여, 다크 영역, 역반사성 영역 및 반사성 영역에 대한 VIP를 발생시킨 후, 다크 영역 VIP에 대한 각각의 VIP 값을 역반사성 VIP의 대응하는 VIP 값에서 뺀다. 각각의 차이값을 조사하여, 이것이 문턱 레벨보다 더 작은지 여부를 결정한다. 만약 작다면, 역반사성 VIP의 픽셀 컬럼을 플래그(flag)시킨다. 그 후, 부연 절차를 수행하여 스퓨리어스 플래그(spurious flag)를 검출한다. 보다 구체적으로, 역반사성 VIP의 각각의 플래그된 픽셀 컬럼에 대해, 자신의 좌측 및 우측에 대한 픽셀 컬럼들이 플래그되었는지 여부를 결정하는 검사를 행한다. 만약 그렇다면, 픽셀 컬럼을 포인터를 나타내는 것으로서 플래그한다.

그 후, 연속성 검사를 수행한다. 연속성 검사 동안에 다크 영역 VIP에 대한 각각의 VIP 값을 반사성 영역 VIP의 자신의 대응하는 VIP값에서 뺀다. 또한, 각각의 차이값을 조사하여, 이것이 문턱 레벨보다 더 작은지 여부를 결정한다. 만약 작다면, 반사성 VIP의 픽셀 컬럼을 플래그(flag)시킨다. 반사성 VIP의 플래그된 픽셀 컬럼에 대하여 위에서 설명된 것과 유사한 부연 처리를 수행한다. 이것에 후속하여, 포인터를 찾아내기 위하여, 역반사성 VIP와 반사성 VIP의 플래그된 픽셀 컬럼들을 비교하여 오버랩하는 플래그된 픽셀 컬럼들을 검출한다. 오버랩하는 픽셀 컬럼들을 검출하면, 역반사성 VIP에서의 오버랩의 경계에서의 픽셀 컬럼들은 포인터의 에지부들을 나타내는 것으로 간주된다. 그 후, 바운더리 픽셀 컬럼들 간의 중간점에서 픽셀 컬럼은 이미지 프레임 내의 포인터의 위치를 나타내는 것으로 간주된다.

위의 실시예에서, 각각의 베즐 세그먼트(40 내지 44)는 서로 다른 반사성 특성들을 갖는 밴드 쌍, 즉, 역반사성 특성 및 IR 방사 흡수성 특성을 포함하는 것으로 나타나 있다. 당해 기술 분야의 숙련된 자는 밴드의 순서가 반대로 될 수 있음을 알 것이다. 또한, 서로 다른 반사성 특성들을 갖는 밴드들을 채용할 수 있다. 예를 들어, 역반사성 밴드를 이용하기 보다는, 고반사성 물질로 형성된 밴드를 이용할 수 있다. 대안으로서, 밴드들이 다른 또는 교대 반사성 특성들을 갖고 있는 둘 보다 많은 밴드들을 포함하는 베즐 세그먼트를 이용할 수 있다. 예를 들어, 각각의 베즐 세그먼트는 둘 이상의 역반사성 밴드와 둘 이상의 방사 흡수성 밴드를 교대 구성으로 포함할 수 있다. 대안으로서, 역반사성 밴드들 중 하나 이상을 고반사성 물질로 교체할 수 있다. 이미지 프레임들이 서로 다른 영역으로 분리되어 처리될 때, 상위 영역들은 포인터 존재를 검출하는처리 동안에 특히 유용하다(포인터 위치는 반드시 그러한 것은 아님). 이해될 바와 같이, 포인터가 디스플레이 표면(24)을 향하여 예각으로 작용하는 경우, 디스플레이 표면(24)에 대하여 상위의 밴드에 있는 자신의 포지션은 도 20에 도시된 바와 같이 디스플레이 표면(24)에 근접하여 있는 밴드에서의 포인터 팁의 포지션과 상당히 다를 수 있다.

필요에 따라, 각각의 베즐 세그먼트의 기울기를 조정하여, 디스플레이 표면 자체에 의해 반사되고 후속하여 이미징 어셈블리(60)의 이미지 센서(70)를 향하는 광의 양을 제어할 수 있다.

프레임 어셈블리가 디스플레이 유닛에 부착되어 있는 것으로 나타나 있지만, 당해 기술 분야의 숙련된 자는 다른 구성들을 취할 수 있음을 알 것이다. 예를 들어, 프레임 어셈블리는 베즐(38)과 일체형으로 될 수 있다. 필요에 따라, 어셈블리(22)가 디스플레이 표면(24) 위에 놓여 있는 자체 패널을 포함할 수 있다. 이 경우, 패널을 실질적으로 광투과성 물질로 형성하여, 디스플레이 표면(24) 상에 표현되는 이미지가 패널을 통하여 명확하게 가시가능하게 되도록 하는 것이 바람직할 것이다. 물론, 어셈블리는 전방 또는 후방 프로젝션 디바이스에 이용될 수 있거나 또는 컴퓨터로 생성된 이미지가 프로젝션되는 기판을 둘러쌀 수 있다.

이미징 어셈블리가 디스플레이 표면의 하단 코너부에 인접하여 코너 피스에 의해 수용되는 것으로서 설명되어 있지만, 당해 기술 분야의 숙련된 자는 이미징 어셈블리가 디스플레이 표면에 대하여 서로 다른 위치에 위치될 수 있음을 알 것이다. 또한, 툴 트레이 세그먼트가 필요한 것은 아니며, 베즐 세그먼트로 대체될 수도 있다.

당해 기술 분야의 숙련된 자는 대화형 입력 시스템(20)의 동작이 디스플레이 표면(24)에 근접하여 작용하고 있는 단일의 포인터 또는 펜 툴(P)을 참조로 설명되어 있지만, 대화형 입력 시스템(20)은 디스플레이 표면에 근접하여 있는 복수의 포인터들/펜 툴들의 존재를 검출가능하며, 각각의 포인터는 이미지 센서들에 의해 캡쳐된 이미지 프레임 내에 나타남을 알고 있을 것이다.

바람직한 실시예가 설명되어 있지만, 당해 기술분야의 숙련된 자는 첨부된 청구항들의 범위 및 사상에 벗어남이 없이 변경 및 수정이 이루어짐을 알고 있을 것이다.

30: 컴퓨터
70: 이미지 센서
72: 커넥터
74: 파라미터 EEPROM
76: CLK 수신기
78: 직렬 변환기
80: 전류 제어부
80a: LED 전원 공급 레귤레이터
80b: 피드백 전압
80c: 전류 제어 및 온/오프 스위치
82b: 협소각 LED
82: IR 광원
84: 전원 공급 장치
122, 124: 커넥터
126: 직병렬 변환기
128 I²C 스위치
130, 132: 카메라 CLK
136: 외부 안테나
138: 무선 수신기
140: USB 커넥터
142: 메모리
220: 프론트 팁 스위치
214: 무선 유닛
212: 컨트롤러
266: 서브어셈블리
272: 배터리
254: 백 팁 스위치
216a, 216b: 송신기

Claims

대화형 입력 시스템에 있어서,
대상이 되는 영역을 적어도 부분적으로 둘러싸는 베즐(bezel) - 상기 베즐은 상부에 복수의 밴드를 갖고 있고, 적어도 일부의 인접하는 밴드들은 서로 다른 광학 특성들을 갖고 있음 - 과,
획득된 이미지가 밴드들에 대응하는 영역들을 포함하도록, 상기 대상이 되는 영역을 응시하고 적어도 하나의 베즐을 보는 적어도 하나의 이미징 디바이스와,
상기 대상이 되는 영역 내의 포인터의 존재를 검출하도록 복수의 영역들의 픽셀들을 처리하는 처리 구조체
를 포함하는 대화형 입력 시스템.
제1항에 있어서, 상기 처리 구조체는 상기 포인터의 존재에 의해 야기되는 영역에서의 불연속성을 검출하도록 상기 픽셀들을 처리하는 것인 대화형 입력 시스템.
제1항 또는 제2항에 있어서, 모든 인접하는 밴드들은 서로 다른 광학 특성들을 갖는 것인 대화형 입력 시스템.
제1항 내지 제3항 중 어느 한 항에 있어서, 밴드는 일반적으로 수평방향인 것인 대화형 입력 시스템.
제1항 내지 제4항 중 어느 한 항에 있어서, 밴드는 조명을 반사하는 적어도 하나의 밴드와, 조명을 흡수하는 적어도 하나의 밴드를 포함하는 것인 대화형 입력 시스템.
제5항에 있어서, 상기 조명을 반사하는 적어도 하나의 밴드는 역반사성 물질의 밴드를 포함하는 것인 대화형 입력 시스템.
제5항 또는 제6항에 있어서, 상기 조명을 흡수하는 적어도 하나의 밴드는 적외선광 흡수성 물질의 밴드를 포함하는 것인 대화형 입력 시스템.
제1항 내지 제7항 중 어느 한 항에 있어서, 상기 베즐은 일반적으로 평면인 표면을 적어도 부분적으로 둘러싸는 것인 대화형 입력 시스템.
제8항에 있어서, 상기 일반적으로 평면인 표면은 디스플레이 표면인 것인 대화형 입력 시스템.
제9항에 있어서, 상기 베즐은 밴드가 제공되는 적어도 하나의 일반적으로 평면인 표면을 포함하고, 적어도 하나의 베즐 표면의 평면은 상기 디스플레이 표면의 평면과 일반적으로 수직인 것인 대화형 입력 시스템.
제9항에 있어서, 상기 베즐은 밴드가 제공되는 적어도 하나의 일반적으로 평면인 표면을 포함하고, 적어도 하나의 베즐 표면의 평면은 상기 일반적으로 평면인 표면의 평면과 일반적으로 수직인 것인 대화형 입력 시스템.
대화형 입력 시스템에 있어서,
대상이 되는 영역을 적어도 부분적으로 둘러싸는 베즐 - 상기 베즐은 상부에 복수의 밴드를 갖고 있고, 적어도 일부의 인접하는 밴드들은 서로 다른 광학 특성들을 갖고 있음 - 과,
상기 대상이 되는 영역을 응시하고 적어도 하나의 베즐을 보는 적어도 하나의 이미징 디바이스와,
포인터의 유형과 무관하게 상기 대상이 되는 영역 내의 포인터의 존재를 검출하기 위해 상기 적어도 하나의 이미징 디바이스와 통신하여 복수의 밴드들에 대응하는 이미지 데이터를 처리하는 처리 구조체
를 포함하는 대화형 입력 시스템.
제12항에 있어서, 밴드의 광학 특성은 (i) 반사성 , (ii) 역반사성 및 (iii) 방사 흡수성으로부터 선택되는 것인 대화형 입력 시스템.
제12항 또는 제13항에 있어서, 상기 처리 구조체는 상기 포인터의 존재에 의해 야기되는 불연속성을 검출하도록 상기 이미지 데이터를 처리하는 것인 대화형 입력 시스템.
제12항 내지 제14항 중 어느 한 항에 있어서, 모든 인접하는 밴드들은 서로 다른 광학 특성들을 갖는 것인 대화형 입력 시스템.
제12항 내지 제15항 중 어느 한 항에 있어서, 밴드는 일반적으로 수평방향인 것인 대화형 입력 시스템.
제12항 내지 제16항 중 어느 한 항에 있어서, 상기 베즐은 일반적으로 평면인 표면을 적어도 부분적으로 둘러싸는 것인 대화형 입력 시스템.
제16항에 있어서, 상기 일반적으로 평면인 표면은 디스플레이 표면인 것인 대화형 입력 시스템.
제18항에 있어서, 상기 베즐은 밴드가 제공되는 적어도 하나의 일반적으로 평면인 표면을 포함하고, 적어도 하나의 베즐 표면의 평면은 상기 디스플레이 표면의 평면과 일반적으로 수직인 것인 대화형 입력 시스템.
제13항에 있어서, 상기 베즐은 두개의 밴드를 포함하는 것인 대화형 입력 시스템.
제20항에 있어서, 상기 베즐은 역반사성 밴드와 광 흡수성 밴드를 포함하는 것인 대화형 입력 시스템.
제21항에 있어서, 상기 처리 구조체는 상기 포인터의 존재에 의해 야기되는 불연속성을 검출하도록 상기 이미지 데이터를 처리하는 것인 대화형 입력 시스템.
제13항에 있어서, 상기 베즐은 적어도 세개의 밴드를 포함하는 것인 대화형 입력 시스템.
제23항에 있어서, 상기 처리 구조체는 상기 포인터의 존재에 의해 야기되는 불연속성을 검출하도록 상기 이미지 데이터를 처리하는 것인 대화형 입력 시스템.