KR20130019412A - 이미지 프레임들을 복조함으로써 능동 포인터 속성 결정 - Google Patents

이미지 프레임들을 복조함으로써 능동 포인터 속성 결정 Download PDF

Info

Publication number
KR20130019412A
KR20130019412A KR1020127028745A KR20127028745A KR20130019412A KR 20130019412 A KR20130019412 A KR 20130019412A KR 1020127028745 A KR1020127028745 A KR 1020127028745A KR 20127028745 A KR20127028745 A KR 20127028745A KR 20130019412 A KR20130019412 A KR 20130019412A
Authority
KR
South Korea
Prior art keywords
pointer
image frames
input system
interactive input
light source
Prior art date
Application number
KR1020127028745A
Other languages
English (en)
Inventor
그랜트 맥기브니
팀 라드케
Original Assignee
스마트 테크놀러지스 유엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 스마트 테크놀러지스 유엘씨 filed Critical 스마트 테크놀러지스 유엘씨
Publication of KR20130019412A publication Critical patent/KR20130019412A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0428—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by sensing at the edges of the touch surface the interruption of optical paths, e.g. an illumination plane, parallel to the touch surface which may be virtual

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Position Input By Displaying (AREA)

Abstract

상호작용식 입력 시스템은 관심의 영역을 주시하고 이미지 프레임들을 포착하는 시야(field of view)를 갖는 적어도 하나의 이미징 어셈블리(imaging assembly) 및 적어도 하나의 이미징 어셈블리와 통신하는 프로세싱 구조를 포함한다. 포인터가 포착된 이미지 프레임들에 존재할 때, 프로세싱 구조는 그의 주파수 컴포넌트들을 결정하기 위해 포착된 이미지 프레임들을 복조하고 포인터의 적어도 하나의 속성(attribute)을 결정하기 위해 주파수 컴포넌트들을 조사한다.

Description

이미지 프레임들을 복조함으로써 능동 포인터 속성 결정{ACTIVE POINTER ATTRIBUTE DETERMINATION BY DEMODULATING IMAGE FRAMES}
본 발명은 상호작용식 입력 시스템 및 이를 위한 정보 입력 방법에 관한 것이다.
사용자들이 입력(예를 들어, 디지털 잉크, 마우스 이벤트들 등)을 능동 포인터(예를 들어, 광, 사운드 또는 다른 신호를 방출하는 포인터), 수동 포인터(예를 들어, 손가락, 실린더 또는 다를 객체) 또는 예를 들어, 마우스 또는 트랙볼과 같은 다른 적합한 입력 디바이스를 이용하여 애플리케이션 프로그램내에 주입(inject)하도록 허용하는 상호작용식 입력 시스템들은 잘 알려져 있다. 이들 상호작용식 입력 시스템들은 본 출원의 양수인인 캐나다, 알버타, 칼거리에 소재한 SMART Technologies ULC에게 양도된 미국 특허 번호들 제5,448,263호; 제6,141,000호; 제6,337,681호; 제6,747,636호; 제6,803,906호; 제7,232,986호; 제7,236,162호; 및 제7,274,356호(이 특허출원의 내용들은 인용에 의해 포함됨)에 개시된 것과 같은 포인터 입력을 등록하기 위해 아날로그 저항성 또는 머신 비전 기술(analog resistive or machine vision technology)을 이용하는 터치 패널들을 포함하는 터치 시스템들; 포인터 입력을 등록하기 위해 전자기적, 용량성, 음향적 또는 다른 기술들을 이용하는 터치 패널들을 포함하는 터치 시스템들; 태블릿 개인용 컴퓨터들(PC들); 랩톱 PC들; 개인 휴대 정보 단말들(PDA들); 및 다른 유사한 디바이스들을 포함하지만 이들로 제한되지 않는다.
Morrison 등에 의한 위에 포함된 미국 특허 번호 제6,803,906호는 컴퓨터-생성 이미지가 제공되는 터치 표면과의 포인터 상호작용을 검출하기 위해 머신 비전(machine vision)을 이용하는 터치 시스템을 개시한다. 직사각형 베즐(rectangular bezel) 또는 프레임이 터치 표면을 둘러싸고 그의 코너들에서 디지털 카메라들을 지지한다. 디지털 카메라들은 터치 표면을 에워싸고 터치 표면을 주시하는 중첩하는 시야를 갖는다. 디지털 카메라들은 상이한 유리한 지점(vantage)으로부터 터치 표면에 걸쳐서 보이는 이미지들을 획득하고 이미지 데이터를 생성한다. 디지털 카메라들에 의해 획득된 이미지 데이터는 포인터가 포착된 이미지 데이터에 존재하는지를 결정하기 위해 온-보드(on-board) 디지털 신호 프로세서에 의해 프로세싱된다. 포인터가 포착된 이미지 데이터에 존재한다고 결정되면, 디지털 신호 프로세서들은 마스터 제어기에 포인터 특성 데이터를 전달하고, 마스터 제어기는 결국 삼각측량(triangulation)을 이용하여 터치 표면에 대해서 (x,y) 좌표들로 포인터의 위치를 결정하기 위해 포인터 특성 데이터를 프로세싱한다. 포인터 좌표들은 하나 이상의 애플리케이션 프로그램들을 실행하는 컴퓨터에 전달된다. 컴퓨터는 터치 표면 상에 제공되는 컴퓨터-생성 이미지를 업데이트하는데 포인터 좌표들을 이용한다. 이에 따라, 터치 표면 상의 포인터 접촉들은 쓰기 또는 그리기로서 기록되거나, 또는 컴퓨터에 의해 실행되는 애플리케이션 프로그램들의 실행을 제어하는데 이용된다.
Morrison 등에 의한 미국 특허 출원 공개 번호 제2004/0179001호는 터치 표면과의 포인터 접촉에 응답하여 생성된 포인터 위치 데이터가 터치 표면에 접촉하는데 사용된 포인터의 타입에 따라 프로세싱되도록 터치 표면을 접촉하는데 이용되는 수동 포인터들 간을 구분하는 터치 시스템 및 방법을 개시한다. 터치 시스템은 일반적으로 수동 포인터에 의해 접촉되는 터치 표면 및 터치 표면을 주시하는 시야(field of view)를 갖는 적어도 하나의 이미징 디바이스를 포함한다. 적어도 하나의 프로세서는 적어도 하나의 이미징 디바이스와 통신하고 터치 표면을 접촉하는데 이용된 포인터의 타입 및 포인터 접촉이 이루어지는 터치 표면 상의 위치를 결정하기 위해 적어도 하나의 이미징 디바이스에 의해 획득된 이미지들을 분석한다. 결정된 포인터의 타입 및 포인터 접촉이 이루어지는 터치 표면 상의 위치는 컴퓨터에 의해 실행되는 애플리케이션 프로그램의 실행을 제어하기 위해 컴퓨터에 의해 이용된다.
Morrison 등에 의한 미국 특허 출원 공개 번호 제2007/0165007호는 관심의 영역에 연관되는 적어도 2개의 이미징 디바이스들을 포함하는 상호작용식 입력 시스템을 개시한다. 적어도 2개의 이미징 디바이스는 상이한 유리한 지점들로부터 관심의 영역의 이미지들을 획득하고 중첩하는 시야들을 갖는다. 적어도 하나의 수신기는 포인터가 이미징 디바이스들의 시야들 내부 및 외부 둘 다에 있을 때 포인터 상태에 관하여 능동 포인터에 의한 데이터 출력을 수신하도록 동작 가능하다. 프로세싱 구조는 능동 포인터의 존재를 검출하기 위해 그리고 관심의 영역 내의 포인터의 위치를 결정하기 위해 적어도 하나의 수신기 및 적어도 2개의 이미징 디바이스들에 의해 획득된 데이터를 프로세싱한다.
다수의 상이한 타입들의 상호작용식 입력 시스템들이 존재하지만, 이러한 상호작용식 입력 시스템들에 대한 개선들이 계속 추구되고 있다.
그러므로 본 발명의 목적은 신규한 상호작용식 입력 시스템 및 그 정보 입력 방법을 제공하기 위한 것이다.
이에 따라, 일 양상에서 상호작용식 입력 시스템이 제공되며, 상기 상호작용식 입력 시스템은 관심의 영역을 주시하고 이미지 프레임들을 포착하는 시야(field of view)를 갖는 적어도 하나의 이미징 어셈블리(imaging assembly); 및 적어도 하나의 이미징 어셈블리와 통신하는 프로세싱 구조를 포함하고, 포인터가 포착된 이미지 프레임들에 존재할 때, 상기 프로세싱 구조는 그의 주파수 컴포넌트들을 결정하기 위해 포착된 이미지 프레임들을 복조하고 상기 포인터의 적어도 하나의 속성(attribute)을 결정하기 위해 주파수 컴포넌트들을 조사한다.
일 실시예에서, 복조 동안, 프로세싱 구조는 포착된 이미지 프레임들에 변환(transform)을 적용한다. 포인터는 관심의 영역 내로 변조된 방사선(modulated radiation)을 방출하는 펜 툴이다. 펜 툴에 의해 방출된 변조된 방사선은 적외선 방사선일 수 있고 속성은 포인터 입력 컬러 및 포인터 기능 중 임의의 하나를 포함한다.
일 실시예에서, 상호작용식 입력 시스템은 관심의 영역 내로 방사선을 방출하도록 구성된 적어도 하나의 광 소스를 더 포함할 수 있다. 적어도 하나의 광 소스는 온 상태와 오프 상태 사이에서 순환된다. 적어도 하나의 이미징 어셈블리는 연속적인 이미지 프레임들을 포착한다. 적어도 하나의 광 소스가 온 상태에 있을 때 하나의 이미지 프레임이 포착되고, 적어도 하나의 광 소스가 오프 상태에 있을 때 하나의 이미지 프레임이 포착된다. 프로세싱 구조는 차분(difference) 이미지 프레임들을 형성하기 위해 적어도 하나의 광 소스가 온 상태에 있을 때 포착된 이미지 프레임들로부터 적어도 하나의 광 소스가 오프 상태에 있을 때 포착된 이미지 프레임들을 차감하고, 합성 이미지 프레임을 형성하기 위해 차분 이미지 프레임들을 합산하고, 합성 이미지 프레임에서 포인터의 위치를 결정한다. 프로세싱 구조는 또한 포인터 위치와 연관된 분석 영역을 정의하고, 조사를 수행하기 위해 포착된 이미지 프레임들에 분석 영역을 적용한다.
일 실시예에서, 펜 툴은 압력 감지성 팁(pressure sensitive tip)을 포함하고, 팁 압력에 따라 방출된 방사선을 변조한다.
일 실시예에서, 적어도 하나의 이미징 어셈블리는 적어도 2개의 이미징 어셈블리들을 포함한다. 이미징 어셈블리들 각각은 관심의 영역에 대한 일반적으로 동일한 시계들(views)을 갖고 이미지 프레임들을 포착하는 적어도 2개의 광 센서들을 포함한다. 적어도 2개의 광 센서들은 일반적으로 엇갈리는 노출 기간들을 갖는다. 베즐은 관심의 영역을 적어도 부분적으로 둘러싸고 적어도 2개의 이미징 어셈블리의 시야에 있는 표면을 갖는다.
다른 양상에 따라, 상호작용식 입력 시스템에 정보를 입력하는 방법이 제공되는데, 이 방법은 관심의 영역의 이미지 프레임들을 포착하는 단계; 및 포인터가 포착된 이미지 프레임들에 존재할 때, 그의 주파수 컴포넌트들을 결정하기 위해 포착된 이미지 프레임을 복조하는 단계와 상기 포인터의 적어도 하나의 속성을 결정하기 위해 상기 주파수 컴포넌트들을 조사하는 단계를 포함한다.
본 발명에 따르면, 신규한 상호작용식 입력 시스템 및 그 정보 입력 방법을 제공하는 것이 가능하다.
실시예들은 첨부 도면들을 참조하여 이제 보다 완전히 기술될 것이다.
도 1은 상호작용식 입력 시스템의 개략적인 투시도이다.
도 2은 도 1의 상호작용식 입력 시스템의 개략적인 전면도이다.
도 3은 도 1의 상호작용식 입력 시스템의 부분을 형성하는 이미징 어셈블리의 블록도이다.
도 4는 도 1의 상호작용식 입력 시스템의 부분을 형성하는 마스터 제어기의 블록도이다.
도 5는 도 1의 상호작용식 입력 시스템과 함께 이용하기 위한 능동 펜 툴의 측면 입면도이다.
도 6은 도 5의 능동 펜 툴이 이미징 어셈블리의 시야에 있고 서브캐리어 주파수 조합에 따라 변조되는 방사선을 방출할 때 도 3의 이미징 어셈블리에 의해 포착되는 8개의 연속적인 이미지 프레임들의 시퀀스를 도시한다.
도 7은 도 1의 상호작용식 입력 시스템에 의해 이용되는 이미지 프로세싱 방법의 개략도이다.
도 8은 환경광 필터의 주파수 응답의 그래프적인 플롯이다.
도 9는 도 6의 이미지 프레임들로부터 형성되는 합성 이미지 프레임이다.
도 10은 도 6의 이미지 프레임들에 포인터 분석 영역을 적용함으로써 형성되는 이미지 프레임들의 시퀀스를 도시한다.
도 11은 도 10의 이미지 프레임들의 광 세기 변동의 그래프적인 플롯이다.
도 12는 도 11의 이미지 프레임 광 세기 변동의 주파수 도메인 표현의 그래프적인 플롯이다.
도 13a 및 도 13b는 8개의 서브캐리어 주파수 조합들의 주파수 도메인 표현들을 도시하는 그래프적인 플롯들이다.
도 14는 압력 감지성 입력을 적용한 펜 툴을 도시하는, 도 1의 상호작용식 입력 시스템의 입력 표면의 전면도이다.
도 15a 내지 도 15c는 도 14의 압력 감지성 입력에 대응하는 주파수 도메인 표현들의 그래프적인 플롯들이다.
도 16은 다수의 포인터들의 실제 및 가상(imaginary) 위치들을 도시하는, 도 1의 상호작용식 입력 시스템의 입력 표면의 전면도이다.
도 17a 및 도 17b는 각각의 이미징 어셈블리들에 의해 인식되는 바와 같은, 도 16에서 도시된 입력 표면에 대한 도면들이다.
도 18은 상호작용식 입력 시스템의 다른 실시예의 측면도이다.
도 19는 상호작용식 입력 시스템의 또 다른 실시예의 측면도이다.
도 20a 및 도 20b는 각각 상호작용식 입력 시스템의 또 다른 조합의 단면측 및 투시도들이다.
도 21은 도 1의 상호작용식 입력 시스템의 이미징 어셈블리들에 이용하기 위한 이미지 센서들의 측면 입면도이다.
도 22는 도 21의 이미지 센서들의 동작을 위해 이용되는 시간 시퀀스의 개략도이다.
도 23은 도 1의 상호작용식 입력 시스템과 함께 이용하기 위한 이미징 어셈블리의 측단면도이다.
도 24는 도 1의 상호작용식 입력 시스템과 함께 이용하기 위한 입력 툴의 다른 실시예의 평면도이다.
이제 도 1 및 도 2로 넘어가서, 사용자가 디지털 잉크, 마우스 이벤트들 등과 같은 입력을 애플리케이션 프로그램에 주입하도록 허용하는 상호작용식 입력 시스템이 도시되고 일반적으로 참조 번호(20)에 의해 식별된다. 이 실시예에서, 상호작용식 입력 시스템(20)은 예를 들어, 플라즈마 텔레비전, 액정 디스플레이(LCD) 디바이스, 평면 패널 디스플레이 디바이스, 음극선관(CRT) 모니터 등과 같은 디스플레이 유닛(도시되지 않음)과 인게이지(engage)하고 디스플레이 유닛의 디스플레이 표면(24)을 둘러싸는 어셈블리(22)를 포함한다. 어셈블리(22)는 디스플레 표면(24) 부근에서 관심의 영역내로 오게 된 하나 이상의 포인터들(P1 내지 P4)을 검출하기 위해 기계 비전(machine vision)을 이용하고 통신 라인들(28)을 통해 디지털 신호 프로세서(DSP) 유닛(26)과 통신한다. 통신 라인들(28)은 직렬 버스, 병렬 버스, 범용 직렬 버스(USB), 이더넷 연결 또는 다른 적합한 유선 연결로 구현될 수 있다. 대안적으로, 어셈블리(22)는 예를 들어, 블루투스, WiFi, ZigBee, ANT, IEEE 802.15.4, Z-Wave 등과 같은 적합한 무선 프로토콜을 이용한 무선 연결을 통해 DSP 유닛(26)과 통신할 수 있다. DSP 유닛(26)은 이어서 USB 케이블(32)을 통해 하나 이상의 애플리케이션 프로그램들을 실행하는 범용 컴퓨팅 디바이스(30)와 통신한다. 대안적으로, DSP 유닛(26)은 예를 들어, 병렬 버스, RS-232 연결, 이더넷 연결 등과 같은 다른 유선 연결을 통해 범용 컴퓨팅 디바이스(30)와 통신할 수 있거나, 또는 예를 들어, 블루투스, WiFi, ZigBee, ANT, IEEE 802.15.4, Z-Wave 등과 같은 적합한 무선 프로토콜을 이용한 무선 연결을 통해 범용 컴퓨팅 디바이스(30)와 통신할 수 있다. 범용 컴퓨팅 디바이스(30)는 DSP 유닛(26)을 통해 수신되는 어셈블리(22)의 출력을 프로세싱하고 디스플레이 유닛에 출력되는 이미지 데이터를 조정하여서, 디스플레이 표면(24) 상에 제시되는 이미지는 포인터 활동을 반영하게 된다. 이러한 방식으로, 어셈블리(22), DSP 유닛(26), 및 범용 컴퓨팅 디바이스(30)는 디스플레이 표면(24) 부근의 포인터 활동이 쓰기 또는 그리기로서 레코딩되거나 컴퓨터(30)에 의해 실행되는 하나 이상의 애플리케이션 프로그램들의 실행을 제어하는데 이용되도록 허용한다.
어셈블리(22)는 디스플레이 유닛에 기계적으로 부착된 프레임 어셈블리를 포함하고 디스플레이 표면(24)을 둘러싼다. 프레임 어셈블리는 3개의 베즐(bezel) 세그먼트들(40, 42 및 44), 4개의 코너 부품들(46) 및 툴 트레이 세그먼트(48)를 갖는 베즐(bezel)을 포함한다. 베즐 세그먼트들(40 및 42)이 디스플레이 표면(24)의 반대측 에지들을 따라 연장하는 반면에, 베즐 세그먼트(44)는 디스플레이 표면(24)의 상부 에지를 따라 연장한다. 툴 트레이 세그먼트(48)는 디스플레이 포면(24)의 하부 에지를 따라 연장하고 하나 이상의 펜 툴들(P)을 지지한다. 디스플레이 표면(24)의 상부 좌측 및 상부 우측 코너들에 인접한 코너 부품들(46)은 베즐 세그먼트들(40 및 42)을 베즐 세그먼트(44)에 결합한다. 디스플레이 표면(24)의 하부 좌측 및 하부 우측 코너들에 인접한 코너 부품들(46)은 베즐 세그먼트들(40 및 42)을 툴 트레이 세그먼트(48)에 결합한다. 이 실시예에서, 디스플레이 표면(24)의 하부 좌측 및 하부 우측 코너들에 인접한 코너 부품들(46)은 일반적으로 상이한 유리한 지점들로부터 전체 디스플레이 표면(24)에 걸쳐서 보이는 이미징 어셈블리들(60)을 수용한다. 베즐 세그먼트들(40, 42 및 44)은 그들의 내향으로 향하는 표면들이 이미징 어셈블리들(60)에 의해 인식되도록 배향된다.
이제 도 3으로 넘어가서, 이미징 어셈블리들(60) 중 하나가 더 잘 예시된다. 알 수 있는 바와 같이, 이미징 어셈블리(60)는 모델 번호 BW25B로 Boowon에 의해 제조되는 880nm 타입의 렌즈들에 맞춰지는 모델 번호 MT9V22로 Micron에 의해 제조되는 것과 같은 이미지 센서(70)를 포함한다. 렌즈는 그 위에 IR-통과/가시광 차단 필터(도시되지 않음)를 갖고, 대략 98도의 시야를 이미지 센서(70)에 제공하여서, 전체 디스플레이 표면(24)은 이미지 센서(70)에 의해 인식된다. 이미지 센서(70)는 I2C 직렬 버스를 통해 통신 라인들(28) 중 하나를 수용하는 커넥터(72)에 연결된다. 이미지 센서(70)는 또한 이미지 센서 교정 파라미터들을 저장하는 전기적으로 소거 가능한 프로그래밍 가능한 판독 전용 메모리(EEPROM)(74)는 물론 클록(CLK) 수신기(76), 직렬화기(78) 및 전류 제어 모듈(80)에 연결된다. 클록 수신기(76) 및 직렬화기(78)는 또한 커넥터(72)에 연결된다. 전류 제어 모듈(80)은 또한 하나 이상의 IR 발광 다이오드들(LED들) 및 연관된 렌즈 어셈블리들은 물론 전력 공급기(84) 및 커넥터(72)에 연결된다.
클록 수신기(76) 및 직렬화기(78)는 저가의 케이블(inexpensive cabling)을 통해 DSP 유닛(26)과의 고속 통신들을 가능하게 하기 위해 저전압의 차동 시그널링(low voltage, differential signaling; LVDS)을 이용한다. 클록 수신기(76)는 DSP 유닛(26)으로부터 타이밍 정보를 수신하고 이미지 센서(70)가 이미지 프레임들을 포착 및 출력하는 레이트(rate)를 결정하는 클록 신호들을 이미지 센서(70)에 제공한다. 이미지 센서(70)에 의해 출력된 각각의 이미지 프레임은 직렬화기(78)에 의해 직렬화(serialize)되고 커넥터(72) 및 통신 라인들(28)을 통해 DSP 유닛(26)에 출력된다.
이 실시예에서, 각각의 베즐 세그먼트(40, 42 및 44)의 내향으로 향하는 표면은 역반사(retro-reflective) 재료의 단일의, 길이로 연장하는 스트립(strip) 또는 밴드(band)를 포함한다. 역반사 재료의 특성들을 가장 잘 이용하기 위해, 베즐 세그먼트들(40, 42 및 44)은 그들의 내향으로 향하는 표면들이 일반적으로 디스플레이 표면(24)의 것에 수직한 면으로 연장하도록 배향된다.
이제 도 4로 넘어가서, DSP 유닛(26)이 더 잘 예시된다. 알 수 있는 바와 같이, DSP 유닛(26)은 예를 들어, 마이크로프로세서, 마이크로제어기, DSP, 역직렬화기들(126)을 통해 커넥터들(122 및 124)에 연결된 비디오 포트(VP)를 갖는 다른 적합한 프로세싱 구조 등과 같은 제어기(120)를 포함한다. 제어기(120)는 또한 I2C 직렬 버스 스위치(128)를 통해 각각의 커넥터(122, 124)에 연결된다. I2C 직렬 버스 스위치(128)는 클록들(130 및 132)에 연결되고, 이들 각각의 클록은 커넥터들(122, 124)의 각각의 커넥터에 연결된다. 제어기(120)는 USB 케이블(32)을 수용하는 USB 커넥터(140) 및 휘발성 메모리 및 비휘발성 메모리를 포함하는 메모리(142)와 통신한다. 클록들(130 및 132) 및 역직렬화기(126)는 저전압의 차동 신호들(LVDS)를 유사하게 이용한다.
이 실시예에서의 범용 컴퓨팅 디바이스(30)는 개인용 컴퓨터 또는 예를 들어, 프로세싱 유닛, 시스템 메모리(휘발성 메모리 및/또는 비휘발성 메모리), 다른 비-제거 가능한 메모리 또는 제거 가능한 메모리(예를 들어, 하드 디스크 드라이브, RAM, ROM, EEPROM, CD-ROM, DVD, 플래시 메모리 등), 및 다양한 컴퓨터 컴포넌트들을 프로세싱 유닛에 결합하는 시스템 버스를 포함하는 그 밖의 것이다. 범용 컴퓨팅 디바이스는 또한 공유 드라이브들 또는 원격 드라이브들에 액세스하기 위한 네트워크 연결, 하나 이상의 네트워킹된 컴퓨터들, 또는 다른 네트워킹된 디바이스들을 포함할 수 있다. 이미징 어셈블리(60)로부터 범용 컴퓨팅 디바이스에 의해 수신되는 포인터 데이터는 기술될 바와 같이 포인터 위치 데이터를 생성하도록 프로세싱된다.
상호작용식 입력 시스템(20)은 예를 들어, 이미징 어셈블리들(60)의 시야들 내로 그리고 디스플레이 표면(24) 부근내로 오게 되는 능동 펜 툴들(P)은 물론 사람의 손가락, 실린더 또는 다른 적합한 객체와 같은 수동 포인터들을 검출할 수 있다.
도 5는 상호작용식 입력 시스템(20)과 함께 이용하기 위한 능동 펜 툴(180)을 도시한다. 펜 툴(180)은 원추대 팁(frustoconical tip)(184)에서 종결하는 주 바디(182)를 갖는다. 팁(184)은 하나 이상의 소형 적외선 방출 다이오드들(IR LED들)(도시되지 않음)을 하우징한다. 적외선 LED들은 주 바디(182)에 또한 하우징되는 배터리(도시되지 않음)에 의해 전력공급된다. 팁(184)으로부터의 돌출은 펜촉(nib)을 닮은 액추에이터(186)이다. 액추에이터(186)는 스프링(도시되지 않음)에 의해 팁(184) 외부로 편향되지만, 팁에 압력을 가하면 팁(184) 내로 밀려질 수 있다. 액추에이터(186)는 액추에이터(186)가 팁(184) 내로 스프링 편향(spring bias) 반대로 밀려지면 IR LED들에 전력을 구동하기 위해 회로를 접속(close)하는 주 바디(182) 내의 스위치(도시되지 않음)에 연결된다. IR LED들이 전력공급되면, 펜 툴(180)은 그의 팁(184)으로부터 적외선 광 또는 방사선(radiation)을 방출한다. 이 실시예에서, 펜 툴(180)에 의해 방출되는 적외선 광은 상호작용식 입력 시스템(20)에 부가적인 포인터 정보를 제공하기 위해, 기술될 바와 같이 복수의 서브캐리어 주파수 조합들 중 하나에 따라 변조된다.
동작 동안, 제어기(120)는 통신 라인들(28)을 통해 이미징 어셈블리들(60)에 전달되는 클록 신호들을 출력하기 위해 클록들(130 및 132)을 컨디셔닝한다. 각각의 이미징 어셈블리(60)의 클록 수신기(76)는 연관된 이미지 센서(70)의 프레임 레이트를 세팅하기 위해 클록 신호들을 이용한다. 이 실시예에서, 제어기(120)는 각각의 이미지 센서(70)의 프레임 레이트가 원하는 이미지 프레임 출력 레이트의 8배가 되도록 클록 신호들을 생성한다. 제어기(120)는 또한 I2C 직렬 버스를 통해 각각의 이미징 어셈블리(60)의 전류 제어 모듈(80)에 시그널링한다. 이에 응답하여, 각각의 전류 제어 모듈(80)은 우선 IR 광 소스(82)를 전력 공급기(84)에 연결하고, 이어서 전력 공급기(84)로부터 IR 광 소스(82)를 단절한다. IR 광 소스의 온(on)/오프(off) 스위칭의 타이밍은, 각각의 이미지 센서(70)에 의해 포착된 연속적인 이미지 프레임들의 임의의 정해진 시퀀스에 있어서, IR 광 소스(82)가 온일 때 하나의 프레임이 포착되고 IR 광 소스(82)가 오프일 때 연속적인 이미지 프레임이 포착되도록 제어된다.
IR 광 소스(82)가 온일 때, IR 광 소스들(82)은 디스플레이 표면(24) 상의 관심의 영역을 적외선 조명으로 채운다(flood). 베즐 세그먼트들(40, 42, 44)의 역반사 밴드들(102)에 영향을 미치는 적외선 조명은 이미징 어셈블리들(60)로 되돌아온다. 그 결과, 포인터(P)의 부재시에, 각각의 이미징 어셈블리(60)는 도 6의 "이미지 1"에서 도시되는 바와 같이, 그 길이를 따라 실질적으로 균등한 세기를 갖는 밝은 밴드(bright band)를 인식한다. 각각의 이미징 어셈블리(60)는 또한 환경광(ambient light)으로부터 발생하는 결함들(702)을 인식한다. 포인터(P)가 디스플레이 표면(24) 부근내로 오게 되면, 포인터는 역반사 밴드들(102)에 의해 반사되는 적외선 조명을 차폐한다. 그 결과, 각각의 이미징 어셈블리는 포착된 이미지 프레임들에서 밝은 밴드(160)를 가로막는 영역을 인식한다. 포인터(P)가 능동 펜 툴(180)인 경우, 포인터는 기술될 바와 같이, 각각의 이미징 어셈블리(60)에 의해 인식되는 것과 같은 조명된 외관(illuminated appearance)을 가질 것이다.
IR 광 소스(82)가 오프일 때, 어떠한 적외선 조명도 베즐 세그먼트들(40, 42 및 44)의 역반사 밴드들(102)에 영향을 미치지 않는다. 결과적으로, 각각의 이미징 어셈블리(60)의 이미지 센서(70)는 역반사 밴드들(102)을 인식하지 못한다. 그러나 각각의 이미징 어셈블리(60)는 도 6의 "이미지 2"에서 도시되는 바와 같이 어두운 배경 상에서 환경광으로부터 발생하는 결함들(702)을 인식한다. IR 광 소스들(82)이 오프일 때 포인터가 디스플레이 표면(24) 부근에 있고, 포인터는 능동 펜 툴(180)인 경우, 각각의 이미징 어셈블리(60)는 또한 조명된 펜 툴(180)을 인식할 것이다.
상호작용식 입력 시스템(20)에 의해 이용되는 이미지 프레임 프로세싱 방법의 개략적인 개관이 도 7에서 도시된다. 위에서 언급한 바와 같이, 각각의 이미징 어셈블리(60)의 이미지 센서(70)에 의해 출력된 각각의 이미지 프레임(302)은 DSP 유닛(26)에 전달된다. 환경광이 포인터에 따라 차등적으로 미칠 수 있는 효과들을 감소시키기 위해 DSP 유닛(26)은 각각의 이미징 어셈블리(60)로부터 수신된 포착된 이미지 프레임들을 환경광 제거 프로세스(304)에 종속시킨다. 일반적으로 이미징 어셈블리(60)들에 가시적이며, 환경광 제거 프로세스(304)에 의해 제거될 원하지 않는 광의 3개의 카테고리들이 존재한다. 이들 원하지 않는 광의 카테고리들은 상호작용식 입력 시스템(20)을 둘러싸는 동작 환경으로부터 발생하는 광, 디스플레이 유닛에 의해 방출되는 광, 및 이미징 어셈블리들(60) 부근의 객체들에 의해 산재되는 IR 광 소스(82)에 의해 방출된 적외선 조명을 포함한다.
환경광 제거 프로세스(304) 동안, 각각의 이미징 어셈블리(60)로부터 수신된 연속적인 이미지 프레임들은 부가 및 차감되고, 이는 IR 광 소스들(82)의 주파수에서 발진하지 않는 소스들에 의해 기여되는(contributed) 광을 제거하기 위한 임시 필터로서 역할한다. 환경광 제거 프로세스는 또한 IR 광 소스들(82)의 발진 주파수와 상이하고, 아래에서 기술되는 바와 같이, 상호작용식 입력 시스템(20)에 정보를 전달하기 위한 능동 펜 툴(180)에 의해 이용되는 특정한 변조 주파수들의 광을 제거한다.
위에서 언급한 바와 같이, 각각의 이미징 어셈블리(60)는 교호하는 조명을 이용하여 연속적인 이미지들 프레임들(302)을 포착하고(하나의 이미지 프레임(302)은 IR 광 소스(82) 온(+)을 통해 포착되고 연속적인 이미지 프레임(302)은 IR 광 소스(82) 오프(-)를 통해 포착됨), 포착된 이미지 프레임들을 DSP 유닛(26)에 전달한다. 이 실시예에서, 이미지 프레임 포착 레이트는 초당 960 프레임들이다. 각각의 이미지 프레임(302)이 수신되면, 제어기(120)는 이미지 프레임(302)을 버퍼에 저장한다.
각각의 이미징 어셈블리(60)에 있어서, 8개의 연속적인 이미지 프레임들(302)이 이용 가능하면, DSP 유닛(26)은 일련의 4개의 차분 이미지 프레임들을 생성하기 위해 이전의 (+) 이미지 프레임으로부터 각각의 (-) 이미지 프레임을 차감한다. 4개의 차분(difference) 이미지 프레임들은 이어서 단일의 합성 이미지 프레임(306)을 형성하기 위해 합산되며, 이 단일의 합성 이미지 프레임(306)은 초당 120 프레임들의 감소된 프레임 레이트로 유효하게 포착된다. 베즐 세그먼트들(40, 42 및 44) 상의 역반사 밴드들은 합성 이미지 프레임(306)에서 밝은 밴드(160)로 나타나고, 일정한 광 소스들에 의해 그리고 능동 펜 툴(180)에 의해 기여되는 광은 흑색으로 필터링된다.
교호하는 이미지 프레임들을 부가 및 차감하는 프로세스는,
Figure pct00001
에 의해 기술되는 전달 함수를 갖는 이산 시간 필터(discrete time filter)를 이미지 프레임들의 시퀀스 내의 각 화소에 적용하고 나서, 매 8번째 필터 출력을 유지함으로써 초 당 960 프레임들로부터 초 당 유효한 120 프레임들로 이미지 프레임 레이트를 낮추도록 일련의 8개의 필터링된 이미지 프레임들의 부분제거(decimation)가 이어지는 것과 등가이다. 이러한 이산 시간 필터의 주파수 응답은 도 8에서 그래프로 플롯팅되고, 이 실시예에서 IR 광 소스(82)의 발진 주파수에 대응하는 480Hz에서 집중된 통과 대역을 갖는다. 480Hz 통과 대역은 (480Hz의) IR 광 소스들(82)에 의해 방출되고 베즐 세그먼트들(40, 42 및 44)로부터 반사되는 광이 이산 시간 필터를 통과하도록 허용한다. 부가적으로, 이산 시간 필터는 대부분의 환경광이 존재하는 주파수에 대응하는 0Hz의 널(null) 주파수를 갖는다. 이산 시간 필터는 또한 기술될 바와 같이 능동 펜 툴(180)에 의해 방출되는 IR 광을 변조하는데 이용되는 서브캐리어 주파수들에 대응하는 120Hz, 240Hz, 360Hz에 집중된 널 주파수들을 갖는다. 0Hz, 120Hz, 240Hz, 및 360Hz의 주파수들에서 변조되는 능동 펜 툴(180)에 의해 방출되는 광은 필터링될 것이고, 합성 이미지 프레임(306)에서 나타나지 않을 것이다. 0Hz 및/또는 120Hz의 주파수의 환경광이 또한 필터링된다. 이미지 프레임 레이트를 초 당 120 프레임들로 낮춘 이후에, 베즐 세그먼트들(40, 42 및 44) 상의 역반사 밴드들은 합성 이미지 프레임(306)에서 일반적으로 일정한 밝은 밴드(160)로 나타난다. 합성 이미지 프레임(306)은 이에 따라 하나 이상의 포인터들이 디스플레이 표면(24) 부근에 있는 경우 하나 이상의 영역들(162)에 의해 중단되는 어두운 배경 상의 밝은 밴드(160)로 이루어지는 높은 콘트라스트 이미지이다. 인지될 바와 같이, 이산 시간 필터를 이용하는 이점은 동일한 삼각측량 알고리즘들이 수동 포인터들 및 능동 펜 툴 둘 다와 함께 이용될 수 있다는 것이다.
합성 이미지 프레임(306)이 생성되면, 제어기(120)는 베즐 및 가능하게는 포인터를 나타내는 값들에 대한 합성 이미지 프레임의 세기를 조사한다. 특히, 제어기(120)는 합성 이미지 프레임(306)의 화소 컬럼(column)들에 대한 정규화된 세기 값들(I(x))을 계산한다. 인지될 바와 같이, 세기 값들(I(x))은 베즐이 포인터에 의해 차폐되지 않는 영역들에 대응하는 합성 이미지 프레임(306)의 화소 컬럼들에 대해 하이(high)로 그리고 중단되지 않은 채로 유지되고, 세기 값들(I(x))은 합성 이미지 프레임(306)에서 포인터의 위치에 대응하는 영역에서 로우(low) 값들로 떨어진다.
합성 이미지 프레임(306)의 화소 컬럼들에 대한 세기 값들(I(x))이 결정되면, 합성 이미지 프레임에 대한 결과적인 I(x) 곡선은 I(x) 곡선이 문턱값 아래로 떨어져서 포인터의 존재를 알리는지를 결정하고, 만약 문턱값 아래로 떨어지는 경우, 포인터의 반대 측들을 나타내는 I(x) 곡선의 좌측 에지 및 우측 에지를 검출하도록 조사된다. 특히, 합성 이미지 프레임(306)에서 좌측 에지 및 우측 에지를 발견하기 위해, I(x) 곡선의 제 1 파생물(derivative)이 경사 곡선(gradient curve)
Figure pct00002
를 형성하도록 계산된다. I(x) 곡선이 문턱값 아래로 떨어져서 포인터의 존재를 알리는 경우, 결과적인 경사 곡선(
Figure pct00003
)은 I(x) 곡선에서 급강하(dip)에 의해 형성되는 에지들을 나타내는 음의 피크(peak) 및 양의 피크에 의해 경계가 정해지는 영역을 포함할 것이다. 피크들을 검출하고 이에 따라 영역의 경계들을 검출하기 위해, 경사 곡선(
Figure pct00004
)은 에지 검출기에서 처리된다.
특히, 문턱값(T)이 먼저 경사 곡선(
Figure pct00005
)에 적용되어, 각각의 위치(x)에 대해, 경사 곡선(
Figure pct00006
)의 절대값이 문턱값 미만인 경우 경사 곡선(
Figure pct00007
)의 그 값은 다음 수학식에 의해 표현되는 바와 같이 0으로 세팅된다:
Figure pct00008
문턱화 절차(thresholding procedure)에 이어서, 문턱화된 경사 곡선(
Figure pct00009
)은 포인터의 반대 측면들을 나타내는 좌측 에지 및 우측 에지에 대응하는 음의 스파이크(negative spike) 및 양의 스파이크를 포함하고, 그 밖의 곳은 0이다. 좌측 에지 및 우측 에지들 각각은 이어서 문턱화된 경사 곡선(
Figure pct00010
)의 2개의 0이 아닌(non zero) 스파이크들로부터 검출된다. 좌측 에지를 계산하기 위해 CDleft는 다음에 따라 화소 컬럼(Xleft)에서 시작하는 문턱화된 경사 곡선(
Figure pct00011
)의 좌측 스파이크로부터 계산된다:
Figure pct00012
여기서 xi는 경사 곡선(
Figure pct00013
)의 좌측 스파이크의 i-번째 화소 컬럼의 화소 컬럼 번호이고, i는 1로부터 문턱화된 경사 곡선(
Figure pct00014
)의 좌측 스파이크의 폭까지 반복되고, Xleft는 그 값이 시스템 잡음에 기초하여 경험적으로 결정된 문턱값에 의해 0과 상이한 경사 곡선(
Figure pct00015
)에 따른 값과 연관된 화소 컬럼이다. 문턱화된 경사 곡선(
Figure pct00016
)의 좌측 에지는 이어서 Xleft + CDleft와 동일한 것으로 결정된다.
우측 예지를 계산하기 위해, 중심 거리(CDright)는 다음에 따라 화소 컬럼(Xright)에서 시작하는 문턱화된 경사 곡선(
Figure pct00017
)의 우측 스파이크로부터 계산된다:
Figure pct00018
여기서 xj는 문턱화된 경사 곡선(
Figure pct00019
)의 우측 스파이크에서 j-번째 화소 컬럼의 화소 컬럼 번호이고, j는 1로부터 문턱화된 경사 곡선(
Figure pct00020
)의 우측 스파이크의 폭까지 반복되고, Xright는 그 값이 시스템 잡음에 기초하여 경험적으로 결정된 문턱값에 의해 0과 상이한 경사 곡선(
Figure pct00021
)을 따른 값에 연관된 화소 컬럼이다. 문턱화된 경사 곡선의 우측 에지는 이어서 Xright + CDright와 동일한 것으로 결정된다.
문턱화된 경사 곡선(
Figure pct00022
)의 좌측 에지 및 우측 에지가 계산되면, 식별된 좌측 에지 및 우측 에지 간의 중간지점이 이어서 결정되고, 그럼으로써 합성 이미지 프레임(306)에서 포인터의 위치를 결정한다.
제어기(120)는 이어서 서브캐리어 주파수 조합에 의해 표현되는 포인터 정보가 수신되었는지를 결정하기 위해 도 9에서 도시된 바와 같이 일반적으로 포인터 위치 상에 집중되는 사각형 형상의 포인터 분석 영역(704)을 정의한다. 능동 펜 툴(180)이 포인터 분석 영역(704) 내에 있는 경우, 펜 툴(180)은 그것에 의해 방출된 IR 광의 결과로서 밝은 외관을 가질 것이다. 이 실시예에서, 펜 툴(180)에 의해 방출된 IR 광의 진폭은 3개의 서브캐리어 주파수들의 조합, 즉 120Hz, 240Hz, 및 360Hz를 이용하여 변동되고 여기서, 진폭은 이용된 각각의 서브캐리어 주파수에서 사인곡선 형태로(sinusoidally) 변동된다. 사인곡선 신호들이 부가될 때 총 광 세기가 음의 값을 갖는 것이 방지되도록 IR 조명에 dc 바이어스가 인가된다. 도 6은 능동 펜 툴(180)이 디스플레이 표면(24) 부근에 있을 때 이미징 어셈블리(60)에 의해 포착된 8개의 연속적인 이미지 프레임들을 도시한다. 알 수 있는 바와 같이, 펜 툴(180)을 나타내는 이미지 프레임들 내의 밝은 영역의 세기는 펜 툴(180)에 의해 방출된 변조된 IR 조명의 결과에 따라 변동한다.
포인터 분석 영역(704)을 한정했으면, DSP 유닛(26)은 버퍼에 저장된 8개의 포착된 이미지 프레임들(302) 각각에 포인터 분석 영역(704)을 적용한다. 포인터 분석 영역(704)에 대응하는 이미지 프레임들(302)의 영역들은 도 10에서 예시된다. DSP 유닛(26)은 이어서 포인터 분석 영역(704)에 대응하는 이미지 프레임들(302) 영역내의 측정된 광 세기의 복조(308)를 수행한다. 여기서, 영역 내의 총 광 세기는 각각의 이미지 프레임(302)에 대해 측정된다. 측정된 총 광 세기는 이미지 프레임 번호의 함수로서 처리되고 광 세기 변동(310)을 발생시킨다. 이러한 광 세기 변동(310)의 예는 도 11에서 그래프로 플롯팅된다. DSP 유닛(26)은 이어서 광 세기의 주파수 도메인 표현(312)을 산출하기 위해 광 세기 변동(310) 상에서 변환을 수행하고, 이는 도 12에서 그래프로 플롯팅된다. 이 실시예에서, 변환은 이산 푸리에 변환이지만, 당업자들은 시간 도메인에서 주파수 도메인으로의 임의의 변환이 이용될 수 있다는 것을 이해할 것이다. 초당 960프레임들의 프레임 레이트에 있어서, 8개 지점의 이산 푸리에 변환은 OHz, 120Hz, 240Hz, 360Hz, 및 480Hz의 주파수들을 리포트할 것이다. 0Hz에서의 측정은 환경광을 포함해서 모든 일정한 광 소스들로부터의 광, 및 능동 펜 툴 IR 조명에 인가된 바이어스를 나타내고, 폐기된다. 480Hz에서의 측정은 발진 IR 광 소스(82)로부터의 광을 나타내고 또한 폐기된다. 120Hz, 240Hz, 및 360Hz에서의 잔여 측정들은 능동 펜 툴(180)에 의해 방출된 변조된 서브캐리어들을 나타낸다.
능동 펜 툴들(180)에 의해 이용된 이용 가능한 캐리어 주파수들 및 IR 광 소스들(82)의 조명 레이트는 이미지 센서들(70)의 프레임 레이트(즉, 프레임 포착 레이트)에 의존한다. 앞서 언급한 바와 같이 이 실시예에서, 프레임 레이트는 초 당 960 프레임들이다. 그러므로 이 프레임 레이트에서 에일리어싱(aliasing)을 방지하기 위해 IR 광 소스들(82)에 대해 이용되는 변조 주파수의 상한은 480Hz이다. 이산 시간 필터는 120Hz, 240Hz 및 360Hz에서 널 주파수들을 갖는다. 인지될 바와 같이, 이 주파수들에서 널 주파수들을 배치하는 부가적인 이점은 이산 시간 필터가 포인터 위치를 결정하기 위한 이미지 프레임들의 프로세싱 동안 펜 툴들(180)에 의해 방출되는 변조된 IR 조명을 제거하고, 이미지 프로세싱 알고리즘을 간섭할 수 있는 상호작용식 입력 시스템(20)의 동작 환경에 공급되는 AC 전력과 연관된 임의의 고조파(frequency harmonics)를 또한 제거한다는 것이다.
방출된 IR 광을 변조하기 위해 능동 펜 툴(180)에 의해 이용되는 3개의 이용 가능한 서브캐리어 주파수들, 즉 120Hz, 240Hz 및 360Hz은 최대 변조 주파수(480Hz)의 정규화된 주파수들 pi/4, pi/2 및 3pi/4에 대응한다. 각각의 능동 펜 툴(180)은 3개의 서브캐리어 주파수들의 상이한 조합을 이용하여 방출된 IR 광을 변조할 수 있다. 이는 각각이 상호작용식 입력 시스템(20)에 의해 인지될 수 있는 고유한 변조 패턴을 갖는 총 8개의(또는 2n, 여기서 n은 이용 가능한 서브캐리어 주파수들의 수) 상이한 서브캐리어 주파수 조합들을 허용한다. 모든 3개의 서브캐리어 주파수들이 오프(off)인 조합은 예를 들어, 손가락과 같은 능동 펜 툴들이 아닌 포인터들을 위해 상호작용식 입력 시스템(20)에 의해 보존된다. 이는 능동 펜 툴들(180)과 함께 이용하기 위해 7개의 다른 고유한 서브캐리어 주파수 조합들을 제공한다. 각각의 고유한 서브캐리어 주파수 조합이 상이한 각각의 펜 툴(180)에 지정될 수 있으면, 이 정보는 능동 펜 툴의 아이덴티티가 상호작용식 입력 시스템(20)에 의해 인지되도록 허용한다. 인지될 바와 같이, 이 정보는 펜 컬러 또는 기능(예를 들어, 각각 수동 포인터/기능 없음, 좌측 마우스 클릭, 우측 마우스 클릭, 흑색, 적색, 녹색, 청색 및 지우개)과 같은 펜 툴의 속성을 나타내는데 이용될 수 있거나, 또는 상이한 사용자(예를 들어, 각각 사용자들 1 내지 8)를 나타내는데 이용될 수 있다. 8개의 서브캐리어 주파수 조합들이 표 1에서 아래에서 표면 만들어진다.
조합 번호 서브캐리어#1 서브캐리어#2 서브캐리어#3
1 오프 오프 오프
2 온 오프 오프
3 오프 온 오프
4 오프 오프 온
5 온 온 오프
6 온 오프 온
7 오프 온 온
8 온 온 온
이들 8개의 서브캐리어 주파수 조합들 각각의 주파수 도메인 표현들은 도 13a 및 도 13b에서 그래프로 플로팅된다. DSP 유닛(26)은 광 세기 변동(310)의 주파수 도메인 표현(312)을 분석하고 어느 주파수가 특정한 문턱값 위에 존재하는지를 결정함으로써 능동 펜 툴(180)의 아이덴티티를 결정한다. 조합 1의 경우에서와 같이 어떠한 주파수들도 주파수 도메인 표현에 존재하지 않는 경우, 상호작용식 입력 시스템(20)은 포인터가 수동적이라고 결정한다.
원하는 경우, 펜 툴 팁에 인가된 압력과 같은 펜 툴에 관한 부가적인 정보는 이미징 어셈블리들(60)의 프레임 레이트는 물론 변조를 위해 이용 가능한 서브캐리어들의 수 둘 다를 증가시킴으로써 펜 툴(180)에 의해 전달될 수 있다. 대안적으로, 서브캐리어 주파수들의 진폭은 변동될 수 있다. 이 방법은 2개 이상의 서브캐리어 주파수들, 즉, 도 13a 및 도 13b에서 조합들(5, 6, 7 및 8)을 포함하는 서브캐리어 주파수 조합들을 위해 이용될 수 있다. 이들 서브캐리어 주파수 조합들을 이용하는 펜 툴들은 펜 팁 압력이 하나 이상의 서브캐리어 주파수들의 진폭의 차이로서 명시되도록 인코딩될 수 있다. 도 14는 디스플레이 표면(24)에 걸쳐서 펜 툴(P)의 움직임을 개략적으로 예시하며, 이 움직임 동안 펜 툴(P)의 팁에 인가된 압력이 가벼운 압력(110)으로부터 중간 압력(112), 무거운 압력(114)으로 변동한다. 이들 영역들 각각에 대응하는 서브캐리어 주파수 신호 변조는 도 15a 내지 도 15c 각각에 그래프로 플롯팅된다. 상이한 조합에 대해 서브캐리어들의 진폭의 차이는 검출 동안 모든 서브캐리어들의 세기가 문턱치보다 높게 유지하기 위해 대략 +/- 25%로 유지된다. 2개 미만의 서브캐리어 주파수들을 포함하는 서브캐리어 주파수 조합들, 즉 서브캐리어 주파수 조합들(1, 2, 3, 및 4)을 이용하는 펜 툴들은 예를 들어, "지우개", "우클릭", "좌클릭" 등과 같이 압력 감지성을 요구하지 않는 펜 툴 기능들에 지정될 수 있다.
이러한 압력 감지성 특징을 활용하기 위해 능동 펜 툴들은 압력 감지성 팁을 포함할 수 있다. 특히, 압력 감지성 팁은 액추에이터(186)에 결합된 압력 센서를 포함할 수 있다. 압력 감지성 팁이 없는 능동 펜 툴들이 여전히 압력- 감지 가능한 상호작용식 입력 시스템과 함께 이용될 수 있지만, 서브캐리어들이 동일한 진폭을 갖는 세기 프로파일을 발생시킬 것이다.
포인터의 위치, 아이덴티티 및 (이용 가능한 경우) 팁 압력이 결정된 이후에, 제어기(120)는, 위에서-포함된 Morrison 등에 의한 미국 특허 번호 제6,803,906호에서 기술된 것과 같이 잘 알려진 삼각측량을 이용하여 포인터의 위치를 디스플레이 표면(24)에 대한 (x,y) 좌표들로 계산하기 위해 각각의 이미징 어셈블리(60)에 대해 생성된 합성 이미지 프레임(306)으로부터 결정된 포인터 위치들을 이용한다. 계산된 포인터 좌표 및 포인터 아이덴티티 및 (이용 가능한 경우) 팁 압력은 이어서 USB 케이블(32)을 통해서, 제어기(120)에 의해 범용 컴퓨팅 디바이스(30)로 전달된다. 범용 컴퓨팅 디바이스(30)는 이어서 수신된 포인터 좌표, 포인터 아이덴티티 및 (이용 가능한 경우) 팁 압력을 프로세싱하고 요구되는 경우 디스플레이 유닛에 제공되는 이미지 출력을 업데이트하여서, 디스플레이 표면(24) 상에 제시되는 이미지는 포인터 활동을 반영하게 된다. 이 방식으로, 디스플레이 표면(24)과의 포인터 상호작용은 쓰기 또는 그리기로서 레코딩되거나 컴퓨터(30) 상에서 실행되는 하나 이상의 애플리케이션 프로그램들의 실행을 제어하는데 이용된다.
당업자들은 변조된 IR 광 방출들을 갖는 펜 툴들(180)의 이용이 관심의 영역 내의 임의의 종류(즉, 능동 또는 수동)의 다수의 포인터들이 서로로부터 명확하게 되고 이에 따라 보다 정확히 트래킹되도록 허용한다는 것이 인지될 것이다. 2개의 포인터들이 도 16에서 예시된 바와 같이 지점들(100 및 102)에서 디스플레이 표면(24) 부근 내로 오게 될 때, 이미징 어셈블리들(60a 및 60b)은 각각 위에서 기술된 바와 같이 각각의 이미지 프레임들을 포착하고 DSP 유닛(26)은 삼각측량에 의해 포인터들의 위치를 발견하도록 시도한다. 이미징 어셈블리들(60a 및 60b)이 상이한 위치들에 위치되면, 이미징 어셈블리들(60a 및 60b)의 시야들은 각각 도 17a 및 도 17b에서 개략적으로 예시되는 바와 같이 상이하다. 명확화(disambiguation)는 보통, 포인터들이 지점들(100 및 102) 또는 지점들(104 및 106)에 위치되는지를 상호작용식 입력 시스템(20)이 구분될 수 없기 때문에 일어난다. 그러나 고유한 서브캐리어 주파수 조합을 갖는 변조된 IR 광을 각각 방출하는 펜 툴들(180)을 활용함으로써, 상호작용식 입력 시스템(20)은 펜 툴들(180)을 식별하고 2개의 포인터들 간을 정확히 구분하며, 이에 따라 그들의 위치를 삼각측량할 수 있다. 2개의 포인터들 중 하나가 손가락 또는 수동 스타일러스와 같은 수동 포인터인 경우조차도, 상호작용식 입력 시스템(20)은 여전히 2개의 포인터들 간을 구별할 수 있고 삼각측량에 의해 그들의 위치를 정확하게 결정할 수 있다. 제공된 이 기법을 이용하여 3개 이상의 포인터들(기껏해야 포인터들 중 하나만이 수동적임) 간을 구분하는 것이 가능하다.
위에서 기술된 펜 툴 정보 입력 방법은 전면 프로젝터를 이용한 상호작용식 입력 시스템들, 단지 하나의 이미징 어셈블리를 갖는 상호작용식 입력 시스템들, 및 3개 이상의 이미징 어셈블리들을 갖는 상호작용식 입력 시스템들을 포함하는 매우 다양한 상호작용식 입력 시스템들에서 이용될 수 있다. 예를 들어, 도 18은 전면 프로젝션 시스템의 디스플레이 표면을 둘러싸는 어셈블리(122)를 포함하는 상호작용식 입력 시스템(120)의 다른 실시예를 도시한다. 전면 프로젝션 시스템은 디스플레이 표면 상에 이미지들을 투영하는 프로젝터(198)를 활용한다. 어셈블리(122)의 하부 코너에 위치한 이미징 어셈블리들(160)은 디스플레이 표면을 주시한다. DSP 유닛(도시되지 않음)은 이미징 어셈블리들(160)에 의해 포착된 이미지 프레임들을 수신하고 디스플레이 표면 부근내로 오게 된 각각의 포인터의 위치를 발견하고 정보가 펜 툴(180)에 의해 전송되는지를 결정하기 위해 이전에 기술된 이미지 프로세싱 방법을 수행한다.
도 19는 전면 프로젝션 시스템을 이용하는 상호작용식 입력 시스템의 다른 실시예를 도시한다. 상호작용식 입력 시스템(220)은 프로젝터(298) 부근에 위치되고 디스플레이 표면을 관찰(view)하도록 구성되는 단일의 이미징 어셈블리(260)를 포함한다. DSP 유닛(도시되지 않음)은 이미징 어셈블리들(160)에 의해 포착된 이미지 프레임들을 수신하고 디스플레이 표면 부근내로 오게 된 포인터의 위치를 발견하고 정보가 펜 툴(180)에 의해 전송되는지를 결정하기 위해 이전에 기술된 이미지 프로세싱 방법을 수행한다.
도 20a 및 도 20b는 무선 슬래이트(wireless slate)로서 구성되는, 일반적으로 참조 번호(320)로 표시되는 상호작용식 입력 시스템의 또 다른 실시예를 도시한다. 상호작용식 입력 시스템(320)은 예를 들어, 유리, 아크릴, 또는 다른 적합한 재료와 같은 에너지 전송 재료로 형성된 일반적으로 투명한 패널 또는 태블릿(352)을 포함한다. 패널(352)은 이 실시예에서, 일반적으로 쐐기-형상(wedged-shaped)이며, 일반적으로 뒤에서 앞으로 하향으로 비탈지는, 경사진 일반적으로 직사각형의 상위 입력 표면(354)을 제공한다. 직사각형 확산층(356)의 형태의 에너지 분산 구조는 패널(352)에 임베딩되고 입력 표면(354) 약간 아래에 위치된다. 확산층(356)은 이 실시예에서, 캐나다 온타리오 마운트 포레스트의 Vintex Inc.에 의해 제조되는 V-CARE?, V-LITE? 배리어 패브릭(fabric)으로 형성되고 입력 표면(354)의 풋프린트(footprint)보다 작은 풋프린트를 갖지만, 당업자는 다른 확산 재료들이 또한 이용될 수 있다는 것이 이해될 것이다. 확산층(356) 바로 위에 있는 입력 표면(354)의 부분은 비활성 경계 영역(354b)에 의해 둘러싸이는 능동 입력 영역 또는 에어리어(354a)를 형성한다. 이미징 어셈블리들(360)의 쌍은 패널(352)에 의해 수용된다. 각각의 이미징 어셈블리(360)는 패널(352)의 상이한 배면 코너에 인접하게 위치되고, 이미징 어셈블리(360)의 시야가 확산층(356)의 아래표면(undersurface)에 걸쳐서 상향으로 그리고 패널(352)의 하부 층(372)과 확산층(356) 사이의 패널(352)을 향하도록 배향된다.
펜 툴(180)이 패널(352)의 입력 표면(354)과 접촉하게 되고 변조된 적외선 광을 방출할 때, 변조된 적외선 광은 패널(32)내에 진입한다. 포인터(180)가 능동 입력 영역(354a) 내의 입력 표면(354)에 접촉하는 경우, 패널(352)에 진입하는 변조된 적외선 광은 확산층(356)에 영향을 미치고 확산층(356)에 의해 분산된다. 분산된 광의 일부는 이미징 어셈블리들(360)로 지향되고 이에 따라 이미징 어셈블리들(360)은 확산층(56) 상의 밝은 영역을 인식한다. 이 밝은 영역은 포착된 이미지 프레임들에서 다른 어두운 배경 상에 나타난다. DSP 유닛(도시되지 않음)은 이미징 어셈블리들(360)에 의해 포착된 이미지 프레임들을 수신하고 입력 표면(354)과 접촉하게 되는 펜 툴(180)의 위치를 발견하기 위해 그리고 서브캐리어 주파수 조합에 의해 표현되는 정보를 결정하기 위해 앞서 기술된 이미지 프로세싱 방법을 수행한다.
위에서 기술된 실시예들에서, 각각의 이미징 어셈블리는 단일의 이미지 센서를 포함한다. 대안적으로, 이미징 어셈블리들은 이들이 일반적으로 동일한 시계(view)를 갖도록 서로 인접하게 위치되는 2개 이상의 더 느린 속도의 이미지 센서들을 포함할 수 있다. 도 21은 이미징 어셈블리 내에서 서로 인접하게 위치된 이미지 센서들(570 및 571)의 쌍을 예시한다. 여기서, 이미지 센서들(570 및 571)은 각각의 렌즈 어셈블리들(569)을 통해 관심의 영역을 관찰한다. 이미지 센서들(570 및 571)에 의해 포착된 이미지 데이터의 프로세싱은 이미지 센서들(570 및 571)에 의해 제공되는 프레임 레이트를 유효하게 2배가 되게 하기 위해 동기화된다. 이 동기화의 타이밍은 도 22에서 예시된다. 여기서, 이미지 센서들(570 및 571)은 각각 1/N 초의 노출 시간을 이용하고 초 당 N/2 프레임의 레이트로 이미지들을 포착할 수 있다. 동기화는 이미지 센서들(570 및 571)의 엇갈리는(staggering) 노출 기간들을 포함하여서, 노출 기간들은 일반적으로 중첩하지 않게 된다. 또 다른 다수의 센서 배열들이 가능한다. 예를 들어, 도 23은 빔 분할기(673)에 인접하고 상이한 배향들로 서로 인접하게 배치되는 이미지 센서들(670 및 671)의 쌍을 예시한다. 여기서, 펜 툴(180에 의해 방출된 변조된 IR 광은 빔 분할기를 통과하고 이미지 센서들(670 및 671)에 진입하여서, 이미지 센서들(670 및 671)은 동일한 이미지의 "미러들(mirrors)"을 인식하게 된다.
펜 툴(180)은 도 5에서 예시된 것과 같은 단일의 팁을 가질 수 있다. 대안적으로 펜 툴은 도 24에서 예시된 것과 같이 다수의 팁들을 가질 수 있으며, 각각의 팁은 고유한 서브캐리어 주파수에 의해 변형되는 IR 광을 방출하도록 구성된다. 예를 들어, 그 내용이 인용에 의해 여기에 포함되는, Bolt 등에 의한 미국 특허 출원 번호 제12/118,535호에 기술된 것과 같은 다른 펜 툴이 또한 이용될 수 있다.
위에서 기술된 바와 같이, 펜 툴(180)은 디스플레이 표면(24)과 접촉하면 눌려지는 팁-스위치의 트리거링 시에 변조된 IR 광을 방출한다. 대안적으로, 펜 툴은 사용자 조작된 스위치에 의해 변조된 IR 광을 방출할 수 있거나, 또는 일정하게, 또는 예를 들어, 배터리 전력을 보존하도록 가속도계가 움직임을 감지할 때만 광을 방출할 수 있다.
위에서 기술된 실시예들에서, 이미징 어셈블리들의 프레임 레이트는 960Hz이고, IR 광 소스들의 순환 레이트(cycling rate)는 480Hz이고, 서브캐리어 주파수들은 120Hz, 240 Hz, 및 360Hz이지만, 당업자들은 상호작용식 입력 시스템이 이 주파수들로 제한되지 않는다는 것을 인지할 것이다. 예를 들어, 이미징 어셈블리들은 초당 대략 106프레임들과 같은 매우 높은 프레임 레이트들, 또는 초당 30 프레임들과 같은 매우 낮은 프레임 레이트들이 가능할 수 있다. 프레임 레이트가 증가하면 전송될 수 있는 정보의 양이 증가하지만, 위에서 기술된 시스템들 및 방법들은 낮은 프레임 레이트들을 갖는 이미징 어셈블리들을 이용하여 실현 가능하다.
위에서 기술된 실시예들에서, IR 광 소스들이 프레임 레이트의 절반인 레이트로 순환되지만, 다른 실시예들에서, IR 광 소스들은 대안적으로 예를 들어, 프레임 레이트의 1/3, 1/4 또는 1/100와 같은 다른 레이트들로 순환될 수 있다. 1/100 프레임 레이트와 같은 프레임 레이트의 것 미만의 레이트들로 순환하는 광 소스들을 이용하는 상호작용식 입력 시스템들에서, IR 광 소스들이 오프인 동안 포착되는 임의의 이미지 프레임들은 포인터들을 식별하기 위해 존재하는 임의의 능동 펜 툴들의 광 세기 및 팁 압력과 같은 다른 정보를 분석하는데 이용될 수 있는 반면에, IR 광 소스들이 온인 동안 포착되는 이미지 프레임들은 환경광 제거 및 포인터 삼각측량을 위해 이용될 수 있다.
위에서 기술될 실시예들에서, 합성 이미지 프레임은 일련의 4개의 차분 이미지 프레임들을 생성하기 위해 일련의 8개의 연속적인 이미지 프레임들 내의 이전의 (+) 이미지로부터 각각의 (-) 이미지를 차감하고, 이어서 합성 이미지 프레임을 산출하기 위해 이들 차분 이미지 프레임들을 합산함으로써 형성되지만, 다른 실시예들에서, 합성 이미지 프레임은 대안의 접근법을 이용하여 형성될 수 있다. 예를 들어, 차분 이미지 프레임들은 평균화될 수 있다. 또 다른 실시예들에서, 8개 이외의 다른 다수의 이미지 프레임들이 이용될 수 있다. 또 다른 실시예들에서, 비-연속적인 이미지 프레임들은 합성 이미지 프레임을 형성하기 위해 대안적으로 이용될 수 있다.
위에서 기술된 실시예들에서, 포인터 분석 영역이 사각형이지만, 이 영역은 이 형상으로 제한되지 않는다는 것이 인지될 것이다. 이에 따라, 포인터 분석 영역은 직사각형, 원 등과 같은 다른 형상일 수 있다. 다른 실시예들에서, 포인터 분석 영역의 형상은 완전한 베즐을 에워싼다.
위에서 기술된 실시예들에서, 단일의 포인터 분석 영역이 포인터를 발견하기 위해 이용되지만, 다른 실시예들에서, 다수의 포인터 분석 영역들이 이용될 수 있다.
위에서 기술된 실시예들에서, 펜 툴 압력에 관한 정보는 서브캐리어 주파수의 진폭을 변동시킴으로써 상호작용식 입력 시스템에 전달되지만, 다른 실시예들에서, 펜 팁 압력은 각각의 서브캐리어 주파수에 할당됨으로써 대안적으로 전달될 수 있다.
위에서 기술된 실시예들에서, 베즐 세그먼트들이 IR 광 소스들에 의해 조명되는 역반사 재료의 밴드들을 포함하지만, 다른 실시예들에서, 베즐들은 역반사 재료를 포함하지 않고, 이에 따라 비-반사적이다. 이러한 다른 실시예들에서, IR 광 소스들이 존재하지 않을 수 있고, 상호작용식 입력 시스템은 대신에 이미징 어셈블리들의 시야 내에서 포인터를 발견하기 위해 능동 펜 툴들에 의해 방출되는 광에만 의존할 수 있다. 여기서, 베즐 세그먼트들은 일반적으로 어두울 것이고 능동 펜 툴에 의해 방출된 조명은 8개의 연속적인 이미지 프레임들 각각을 서로 부가함으로써 dc 주파수 컴포넌트를 통과하도록 필터링될 것이다. 환경광, 및 능동 펜들과 같은 dc 주파수 컴포넌트들을 갖는 조명의 소스들은 일반적으로 어두운 배경에 대비하여 밝게 나타날 것이다. 밝은 지점이 발견되면, 변조기는 그것이 능동 펜인지 또는 원하지 않는 다른 광의 소스인지를 결정하기 위해 적용된다. 또 다른 실시예들에서, 이전의 방법은 터치 표면과 연관되지 않은 베즐과 함께 이용될 수 있다.
위에서 기술된 실시예들에서, 베즐 세그먼트들은 IR 광 소스들에 의해 조명되는 역반사 재료의 밴드들을 포함하지만, 다른 실시예들에 Akitt 등에 의한 미국 특허 번호 제6,972,401호에 기술된 바와 같이 조명되는 베즐이 이용될 수 있다.
위에서 기술된 실시예들에서, 펜 툴(180) 및 광 소스(82)가 적외선 방사선을 방출하지만, 다른 실시예들에서, 다른 파장들의 방사선이 대안적으로 방출될 수 있다.
바람직한 실시예들이 기술되었지만, 당업자들은 변동물들 및 변형물들이 첨부된 청구항들에 의해 정의되는 것과 같은 본 발명의 범위 및 사상으로부터 벗어남 없이 만들어질 수 있다는 것이 인지될 것이다.

Claims (27)

  1. 상호작용식 입력 시스템으로서,
    관심의 영역을 주시하고 이미지 프레임들을 포착하는 시야(field of view)를 갖는 적어도 하나의 이미징 어셈블리(imaging assembly); 및
    상기 적어도 하나의 이미징 어셈블리와 통신하는 프로세싱 구조
    를 포함하고,
    포인터가 포착된 이미지 프레임들에 존재할 때, 상기 프로세싱 구조는 그의 주파수 컴포넌트들을 결정하기 위해 상기 포착된 이미지 프레임들을 복조하고 상기 포인터의 적어도 하나의 속성(attribute)을 결정하기 위해 상기 주파수 컴포넌트들을 조사하는 것인, 상호작용식 입력 시스템.
  2. 제 1 항에 있어서, 복조 동안, 상기 프로세싱 구조는 상기 포착된 이미지 프레임들에 변환(transform)을 적용하는 것인, 상호작용식 입력 시스템.
  3. 제 1 항 또는 제 2 항에 있어서, 상기 포인터는 상기 관심의 영역 내로 변조된 방사선(modulated radiation)을 방출하는 펜 툴(pen tool)인 것인, 상호작용식 입력 시스템.
  4. 제 3 항에 있어서, 상기 펜 툴에 의해 방출된 변조된 방사선은 적외선 방사선인 것인, 상호작용식 입력 시스템.
  5. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서, 상기 속성은 포인터 입력 컬러 및 포인터 기능 중 임의의 하나를 포함하는 것인, 상호작용식 입력 시스템.
  6. 제 5 항에 있어서, 상기 포인터 기능은 마우스 우클릭, 마우스 좌클릭, 지우개 중 임의의 것인, 상호작용식 입력 시스템.
  7. 제 1 항 내지 제 6 항 중 어느 한 항에 있어서, 상기 적어도 하나의 이미징 어셈블리는 적어도 2개의 이미징 어셈블리들을 포함하는 것인, 상호작용식 입력 시스템.
  8. 제 1 항 내지 제 6 항 중 어느 한 항에 있어서,
    상기 관심의 영역 내로 방사선을 방출하도록 구성된 적어도 하나의 광 소스
    를 더 포함하는 상호작용식 입력 시스템.
  9. 제 8 항에 있어서, 상기 적어도 하나의 광 소스는 온 상태와 오프 상태 사이에서 순환되는 것인, 상호작용식 입력 시스템.
  10. 제 9 항에 있어서, 상기 적어도 하나의 이미징 어셈블리는 연속적인 이미지 프레임들을 포착하고, 상기 적어도 하나의 광 소스가 상기 온 상태에 있을 때 하나의 이미지 프레임이 포착되고, 상기 적어도 하나의 광 소스가 상기 오프 상태에 있을 때 하나의 이미지 프레임이 포착되는 것인, 상호작용식 입력 시스템.
  11. 제 10 항에 있어서, 상기 프로세싱 구조는 차분(difference) 이미지 프레임들을 형성하기 위해 적어도 하나의 광 소스가 상기 온 상태에 있을 때 포착된 이미지 프레임들로부터 상기 적어도 하나의 광 소스가 상기 오프 상태에 있을 때 포착된 이미지 프레임들을 차감하고, 합성 이미지 프레임을 형성하기 위해 상기 차분 이미지 프레임들을 합산하고, 상기 합성 이미지 프레임에서 상기 포인터의 위치를 결정하는 것인, 상호작용식 입력 시스템.
  12. 제 11 항에 있어서, 상기 프로세싱 구조는 또한 상기 포인터 위치와 연관된 분석 영역을 정의하고, 상기 조사를 수행하기 위해 상기 포착된 이미지 프레임들에 상기 분석 영역을 적용하는 것인, 상호작용식 입력 시스템.
  13. 제 2 항에 있어서, 상기 펜 툴은 압력 감지성 팁(pressure sensitive tip)을 포함하고, 상기 펜 툴은 팁 압력에 따라 방출된 방사선을 또한 변조하는 것인, 상호작용식 입력 시스템.
  14. 제 7 항에 있어서,
    상기 관심의 영역 내로 방사선을 방출하도록 구성된 적어도 하나의 광 소스
    를 더 포함하는 상호작용식 입력 시스템.
  15. 제 14 항에 있어서, 상기 적어도 하나의 광 소스는 온 상태와 오프 상태 사이에서 순환되는 것인, 상호작용식 입력 시스템.
  16. 제 14 항 또는 제 15 항에 있어서, 상기 이미징 어셈블리들 각각은 상기 이미지 프레임들을 포착하는, 상기 관심의 영역에 대한 일반적으로 동일한 시계들(views)을 갖는 적어도 2개의 광 센서들을 포함하고, 상기 적어도 2개의 광 센서들은 일반적으로 엇갈리는 노출 기간들을 갖는 것인, 상호작용식 입력 시스템.
  17. 제 7 항, 제 14 항 또는 제 15 항 중 어느 한 항에 있어서,
    상기 관심의 영역을 적어도 부분적으로 둘러싸고 상기 적어도 2개의 이미징 어셈블리의 시야에 있는 표면을 갖는 베즐(bezel)
    을 더 포함하는 상호작용식 입력 시스템.
  18. 제 8 항 내지 제 12 항 또는 제 14 항 내지 제 16 항 중 어느 한 항에 있어서, 상기 적어도 하나의 광 소스에 의해 방출된 방사선은 적외선 방사선인 것인, 상호작용식 입력 시스템.
  19. 상호작용식 입력 시스템에 정보를 입력하는 방법으로서,
    관심의 영역의 이미지 프레임들을 포착하는 단계; 및
    포인터가 포착된 이미지 프레임들에 존재할 때, 그의 주파수 컴포넌트들을 결정하기 위해 상기 포착된 이미지 프레임을 복조하는 단계 및 상기 포인터의 적어도 하나의 속성을 결정하기 위해 상기 주파수 컴포넌트들을 조사하는 단계
    를 포함하는 상호작용식 입력 시스템에 정보를 입력하는 방법.
  20. 제 19 항에 있어서, 상기 복조하는 단계는 상기 포착된 이미지 프레임들에 변형을 적용하는 단계를 더 포함하는 것인, 상호작용식 입력 시스템에 정보를 입력하는 방법.
  21. 제 19 항 또는 제 20 항에 있어서, 상기 포인터는 상기 관심의 영역 내로 변조된 방사선을 방출하는 능동 펜 툴인 것인, 상호작용식 입력 시스템에 정보를 입력하는 방법.
  22. 제 19 항 내지 제 21 항 중 어느 한 항에 있어서,
    적어도 하나의 광 소스로부터 상기 관심의 영역 내로 방사선을 방출하는 단계
    를 더 포함하는 상호작용식 입력 시스템에 정보를 입력하는 방법.
  23. 제 22 항에 있어서, 상기 적어도 하나의 광 소스는 온 상태와 오프 상태 사이에서 순환되는 것인, 상호작용식 입력 시스템에 정보를 입력하는 방법.
  24. 제 23 항에 있어서, 상기 포착된 이미지 프레임들은 상기 온 상태 및 상기 오프 상태에 포착된 이미지 프레임들을 포함하는 것인, 상호작용식 입력 시스템에 정보를 입력하는 방법.
  25. 제 24 항에 있어서,
    차분 이미지 프레임들을 형성하기 위해 상기 온 상태에서 포착된 이미지 프레임들로부터 상기 오프 상태에서 포착된 이미지 프레임들을 차감하고, 상기 차분 이미지 프레임들을 합산함으로써 합성 이미지 프레임을 생성하는 단계;
    상기 합성 이미지 프레임에서 상기 포인터의 위치를 결정하는 단계; 및
    상기 포인터 위치와 연관된 분석 영역을 정의하는 단계
    를 더 포함하고,
    상기 조사하는 단계는 상기 포착된 이미지 프레임들에 적용된 상기 분석 영역 내에서 수행되는 것인, 상호작용식 입력 시스템에 정보를 입력하는 방법.
  26. 제 19 항 내지 제 25 항 중 어느 한 항에 있어서, 상기 속성은 포인터 입력 컬러 및 포인터 기능으로 구성된 그룹으로부터 선택되는 것인, 상호작용식 입력 시스템에 정보를 입력하는 방법.
  27. 제 26 항에 있어서, 상기 포인터 기능은 마우스 우클릭, 마우스 좌클릭 및 지우개 중 임의의 것인, 상호작용식 입력 시스템에 정보를 입력하는 방법.
KR1020127028745A 2010-04-01 2011-03-31 이미지 프레임들을 복조함으로써 능동 포인터 속성 결정 KR20130019412A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/752,882 US9189086B2 (en) 2010-04-01 2010-04-01 Interactive input system and information input method therefor
US12/752,882 2010-04-01
PCT/CA2011/000336 WO2011120143A1 (en) 2010-04-01 2011-03-31 Active pointer attribute determination by demodulating image frames

Publications (1)

Publication Number Publication Date
KR20130019412A true KR20130019412A (ko) 2013-02-26

Family

ID=44709081

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020127028745A KR20130019412A (ko) 2010-04-01 2011-03-31 이미지 프레임들을 복조함으로써 능동 포인터 속성 결정

Country Status (5)

Country Link
US (1) US9189086B2 (ko)
EP (1) EP2553553B1 (ko)
KR (1) KR20130019412A (ko)
CN (1) CN102918480A (ko)
WO (1) WO2011120143A1 (ko)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9019239B2 (en) * 2010-11-29 2015-04-28 Northrop Grumman Systems Corporation Creative design systems and methods
US20120154511A1 (en) * 2010-12-20 2012-06-21 Shi-Ping Hsu Systems and methods for providing geographically distributed creative design
US20120249479A1 (en) * 2011-03-31 2012-10-04 Smart Technologies Ulc Interactive input system and imaging assembly therefor
US8951120B2 (en) * 2011-09-19 2015-02-10 Sony Computer Entertainment America Llc Systems and methods for calibration and biasing for game controller
US9292109B2 (en) 2011-09-22 2016-03-22 Smart Technologies Ulc Interactive input system and pen tool therefor
TW201317839A (zh) * 2011-10-25 2013-05-01 Au Optronics Corp 觸控筆、觸控顯示系統以及觸控顯示方法
WO2013067625A1 (en) * 2011-11-11 2013-05-16 Smart Technologies Ulc Interactive pointer detection with image frame processing
WO2013104062A1 (en) 2012-01-11 2013-07-18 Smart Technologies Ulc Interactive input system and method
CA2862470C (en) * 2012-01-11 2018-10-23 Smart Technologies Ulc Calibration of an interactive light curtain
EP2820129A1 (en) 2012-03-02 2015-01-07 Sequenom, Inc. Methods and processes for non-invasive assessment of genetic variations
WO2014029020A1 (en) * 2012-08-20 2014-02-27 Ctx Virtual Technologies Inc. Keyboard projection system with image subtraction
US9292129B2 (en) * 2012-10-30 2016-03-22 Smart Technologies Ulc Interactive input system and method therefor
GB2508840B (en) * 2012-12-12 2015-10-21 Modular Software Ltd T A Reflective Thinking Method and apparatus for tracking the movement of a plurality of pointer devices within a scene
US20140232699A1 (en) * 2013-02-20 2014-08-21 Microvision, Inc. Interactive Projection System with Actuated Stylus
EP2971100A1 (en) 2013-03-13 2016-01-20 Sequenom, Inc. Primers for dna methylation analysis
BR112016009938B1 (pt) * 2013-11-19 2022-01-25 Wacom Co., Ltd Métodos de geração de dados de tinta e de desenho para renderização de dados de imagem
GB2522247A (en) * 2014-01-20 2015-07-22 Promethean Ltd Touch device detection
EP3736344A1 (en) 2014-03-13 2020-11-11 Sequenom, Inc. Methods and processes for non-invasive assessment of genetic variations
TWI608428B (zh) * 2014-03-27 2017-12-11 緯創資通股份有限公司 利用影像辨識產生相對應資訊之影像處理系統及其相關方法
US9993733B2 (en) * 2014-07-09 2018-06-12 Lumo Interactive Inc. Infrared reflective device interactive projection effect system
US10296142B2 (en) * 2015-12-22 2019-05-21 Ricoh Company, Ltd. Information display device, system, and recording medium
WO2018017083A1 (en) * 2016-07-20 2018-01-25 Hewlett-Packard Development Company, L.P. Near infrared transparent display border with underlyng encoded pattern.
CN107102781A (zh) * 2017-04-17 2017-08-29 华东师范大学 一种自标识触控笔及多点触控交互系统
JP7251094B2 (ja) 2018-10-22 2023-04-04 セイコーエプソン株式会社 位置検出装置、表示システム、及び、位置検出方法
JP7251095B2 (ja) * 2018-10-22 2023-04-04 セイコーエプソン株式会社 位置検出装置、表示装置、表示システム、及び、位置検出方法
JP2020144413A (ja) * 2019-03-04 2020-09-10 セイコーエプソン株式会社 表示方法および表示装置
US11845001B2 (en) * 2021-01-14 2023-12-19 Htc Corporation Calibration system and method for handheld controller
CN114821044B (zh) * 2022-05-31 2024-05-03 中煤科工机器人科技有限公司 一种基于梯度变换的方形指针式仪表示数识别方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4883926A (en) * 1988-04-21 1989-11-28 Hewlett-Packard Company Stylus switch
US6141000A (en) 1991-10-21 2000-10-31 Smart Technologies Inc. Projection display system with touch sensing on screen, computer assisted alignment correction and network conferencing
US5448263A (en) 1991-10-21 1995-09-05 Smart Technologies Inc. Interactive display system
JPH08179888A (ja) 1994-12-21 1996-07-12 Hitachi Ltd 大画面ディスプレイ用入力装置
US5793360A (en) * 1995-05-05 1998-08-11 Wacom Co., Ltd. Digitizer eraser system and method
WO1998044316A1 (en) 1997-04-02 1998-10-08 Goszyk Kurt A Adjustable area coordinate position data-capture system
JP3876942B2 (ja) * 1997-06-13 2007-02-07 株式会社ワコム 光デジタイザ
JP4033582B2 (ja) * 1998-06-09 2008-01-16 株式会社リコー 座標入力／検出装置および電子黒板システム
EP1128318A3 (en) 2000-02-21 2002-01-23 Cyberboard A/S Position detection device
JP2001265516A (ja) * 2000-03-16 2001-09-28 Ricoh Co Ltd 座標入力装置
US6803906B1 (en) 2000-07-05 2004-10-12 Smart Technologies, Inc. Passive touch system and method of detecting user input
US7532206B2 (en) 2003-03-11 2009-05-12 Smart Technologies Ulc System and method for differentiating between pointers used to contact touch surface
US7274356B2 (en) 2003-10-09 2007-09-25 Smart Technologies Inc. Apparatus for determining the location of a pointer within a region of interest
US7232986B2 (en) * 2004-02-17 2007-06-19 Smart Technologies Inc. Apparatus for detecting a pointer within a region of interest
US7460110B2 (en) * 2004-04-29 2008-12-02 Smart Technologies Ulc Dual mode touch system
TWI291642B (en) * 2004-07-15 2007-12-21 N trig ltd A tracking window for a digitizer system
US20060028457A1 (en) * 2004-08-08 2006-02-09 Burns David W Stylus-Based Computer Input System
KR101026156B1 (ko) * 2005-09-27 2011-04-05 노키아 코포레이션 멀티 캐리어 전송을 위한 파일럿 구조
US20070165007A1 (en) 2006-01-13 2007-07-19 Gerald Morrison Interactive input system
US7692639B2 (en) 2006-02-10 2010-04-06 Microsoft Corporation Uniquely identifiable inking instruments
US20090278794A1 (en) * 2008-05-09 2009-11-12 Smart Technologies Ulc Interactive Input System With Controlled Lighting

Also Published As

Publication number Publication date
EP2553553A1 (en) 2013-02-06
EP2553553A4 (en) 2014-08-20
US20110242060A1 (en) 2011-10-06
EP2553553B1 (en) 2018-10-17
WO2011120143A1 (en) 2011-10-06
CN102918480A (zh) 2013-02-06
US9189086B2 (en) 2015-11-17

Similar Documents

Publication Publication Date Title
KR20130019412A (ko) 이미지 프레임들을 복조함으로써 능동 포인터 속성 결정
US9292109B2 (en) Interactive input system and pen tool therefor
US8902193B2 (en) Interactive input system and bezel therefor
US20150277644A1 (en) Interactive input system and pen tool therfor
CN101971123B (zh) 具有可切换漫射体的交互式表面计算机
US8600107B2 (en) Interactive input system and method
KR20110013459A (ko) 제어된 조광을 갖춘 대화형 입력 시스템
CA2722822A1 (en) Interactive input system and illumination assembly therefor
US9274615B2 (en) Interactive input system and method
KR20120058594A (ko) 향상된 신호 대 노이즈비（ｓｎｒ）를 갖는 인터랙티브 입력 시스템 및 이미지 캡처 방법
JP2017507406A (ja) タッチセンス装置において軽減された感度で作動するための装置及び方法
JP2017509955A (ja) タッチセンサにおける可能なチャネルの動的割当
US20130257825A1 (en) Interactive input system and pen tool therefor
US20110095989A1 (en) Interactive input system and bezel therefor
US20150029165A1 (en) Interactive input system and pen tool therefor
US20110241987A1 (en) Interactive input system and information input method therefor
US20150248189A1 (en) Touch Sensing Systems
US20140267193A1 (en) Interactive input system and method
KR101549246B1 (ko) 멀티터치 시스템과 그 구동방법

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid