KR101980872B1 - 터치 이벤트 템플릿을 이용한 광학 터치-감지 장치에서의 다중 터치 이벤트 검출 - Google Patents

터치 이벤트 템플릿을 이용한 광학 터치-감지 장치에서의 다중 터치 이벤트 검출 Download PDF

Info

Publication number
KR101980872B1
KR101980872B1 KR1020187029929A KR20187029929A KR101980872B1 KR 101980872 B1 KR101980872 B1 KR 101980872B1 KR 1020187029929 A KR1020187029929 A KR 1020187029929A KR 20187029929 A KR20187029929 A KR 20187029929A KR 101980872 B1 KR101980872 B1 KR 101980872B1
Authority
KR
South Korea
Prior art keywords
beams
touch
numerical
touch event
metric
Prior art date
Application number
KR1020187029929A
Other languages
English (en)
Other versions
KR20180115367A (ko
Inventor
오웬 드럼
Original Assignee
랩트 아이피 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US13/460,703 external-priority patent/US9092092B2/en
Priority claimed from US13/460,709 external-priority patent/US8531435B2/en
Application filed by 랩트 아이피 리미티드 filed Critical 랩트 아이피 리미티드
Publication of KR20180115367A publication Critical patent/KR20180115367A/ko
Application granted granted Critical
Publication of KR101980872B1 publication Critical patent/KR101980872B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0421Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04104Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04109FTIR in optical digitiser, i.e. touch detection by frustrating the total internal reflection within an optical waveguide due to changes of optical properties or deformation at the touch location

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)
  • Switches Operated By Changes In Physical Conditions (AREA)

Abstract

광 터치-감지 장치는 복수의 동시적인 터치 이벤트들의 위치를 판단할 수 있다. 광 터치-감지 장치는 복수개의 에미터 및 검출기를 포함한다. 각각의 에미터는 검출기에 의해 수신되는 광 빔을 생성한다. 터치 이벤트는 광 빔을 방해한다. 어느 광 빔이 방해되었는지에 기반하여 실제 터치 이벤트를 판단하기 위해 터치 이벤트 템플릿이 이용된다.

Description

터치 이벤트 템플릿을 이용한 광학 터치-감지 장치에서의 다중 터치 이벤트 검출{Detecting Multitouch Events in an Optical Touch-Sensitive Device using Touch Event Templates}
본 발명은 일반적으로 터치-감지 장치에서의 다중 터치 이벤트 검출에 관한 것으로서, 특히 다중 터치 이벤트를 감지할 수 있는 광학적 방식에 관한 것이다.
본원은 2012년 4월 30일자로 출원된 미국 출원 제 13/460,703호(터치 이벤트 템플릿을 이용한 광 터치-감지 장치에서의 다중 터치 이벤트 검출)에 대한 우선권을 주장하는 PCT 출원이다. 상기 PCT 출원은 2012년 4월 30일자로 출원된 미국 출원 제 13/460,704호(라인 이미지를 이용한 광 터치-감지 장치에서의 다중 터치 이벤트 검출)에 대한 우선권을 또한 주장한다. 상기 PCT 출원은 2012년 4월 30일자로 출원된 미국 출원 제 13/460,709호(빔 정보 결합을 통한 광 터치-감지 장치에서의 다중 터치 이벤트 검출)에 대한 우선권을 또한 주장한다.
13/460,703호,13/460,704호 및 13/460,709호의 출원들은 각각이 2011년 2월 18일자로 출원된 미국 출원 13/059,817호(광 터치-감지 장치에서 다중 터치 이벤트를 검출하기 위한 장치 및 방법)에 대한 일부 계속 출원이다. 미국 출원 13/059,817호는 2009년 8월7일자로 출원된 국제 출원 제 PCT/EP2009/005736호(광 터치-감지 장치에서 다중 터치 이벤트를 검출하기 위한 장치 및 방법)에 대한 미국 국내 단계 출원이다. 국제 출원 제 PCT/EP2009/005736호는 2008년 8월 7일자로 출원된 IE 출원 S2008/0652호 및 2008년 10월 10일자로 출원된 IE 출원 S2008/0827호에 대한 우선권을 주장한다.
13/460,703호, 13/460,704호 및 13/460,709호의 출원들은 각각이 2011년 2월 18일자로 출원된 미국 출원 13/059,772호(변조 에미터를 구비한 광 제어 시스템)에 대한 일부 계속 출원이다. 미국 출원 13/059,772호는 2009년 8월 7일자로 출원된 국제 출원 제 PCT/EP2009/005739호(변조 에미터를 구비한 광 제어 시스템)에 대한 미국 국내 단계 출원이다. PCT/EP2009/005739호는 2008년 8월 7일자로 출원된 IE 출원 S2008/0651호에 대한 우선권을 주장한다.
상기 출원들의 내용은 전체적으로 본 명세서의 일부로 통합된다.
컴퓨팅 장치와 상호 작용하기 위한 터치-감지 디스플레이가 점차 보편화되고 있다. 터치-감지 디스플레이 및 기타 터치-감지 장치를 구현하기 위한 다수의 여러 기술들이 존재한다. 이러한 기술의 예로서, 예를 들어, 저항성 터치 스크린(resistive touch screen), 표면 초음파 터치 스크린(surface acoustic wave touch screens) 정전용량 터치 스크린(capacitive touch screen) 및 임의 유형의 광학 터치 스크린 등이 있다.
그러나, 이러한 방식의 대부분은 현재 단점들을 갖고 있다. 예를 들어, 일부 기술들은 많은 이동 전화기에 사용되는 작은 크기의 디스플레이에 대해서는 잘 동작하지만, 랩탑 또는 데스크톱 컴퓨터에 이용되는 디스플레이와 같이 더 큰 화면 크기에는 확장성이 좋지 않다. 특수 가공 표면 또는 표면에 특수 요소의 사용을 요구하는 기술의 경우에, 선형 인자 N 만큼 화면 크기를 증가시킬 경우에 N2 배 큰 영역의 스크린을 처리하기 위해 특수 가공이 확장되어야 하거나 N2배의 특수 요소가 필요함을 의미한다. 이는 허용하기 어려운 낮은 수율 또는 높은 비용을 발생시킬 수 있다.
일부 기술에 대한 또 다른 단점은 다중 터치 이벤트를 처리할 능력이 없거나 처리하는데 어려움이 있다는 것이다. 다중 터치 이벤트는 복수의 터치가 동시에 이루어질 때 발생한다. 이는 원시 검출 신호에 차후 해결되어야 할 모호성을 야기할 수 있다. 중요한 것은, 모호성이 신속하고 효율적인 계산 방법으로 해결되어야 한다는 것이다. 너무 느린 경우, 해당 기술은 시스템에서 요구하는 터치 샘플링 속도를 제공 할 수 없을 것이다. 한편, 지나치게 계산 집약적인 경우, 이는 기술의 비용 및 전력 소비를 상향시킬 것이다.
또다른 단점은 기술이 증가하는 해상도 요구 사항을 충족하지 못할 수 있다는 것이다. 터치-감지면은 길이와 폭(L) x 치수(W)의 직사각형이라고 가정한다. 또한, 응용은 터치 포인트가 각각 δl 및 δw의 정확도로 위치할 것을 요구한다고 가정한다. 그러한 경우에, 실질적으로 요구되는 해상도는 R = (LW) /(δl δw)이다. 우리는 접촉 포인트의 유효 숫자로 R을 표현한다. 기술이 진보함에 따라, 일반적으로 R의 분자는 증가하고 분모는 감소하게 되어, 요구되는 터치 해상도 R에 대한 전반적인 증가 추세로 이어질 것이다.
따라서, 개선된 터치-감지 시스템이 요구된다.
광 터치-감지 장치는 다수의 동시적인 터치 이벤트의 위치를 판단할 수 있다. 광학 터치-감지 장치는 다수의 에미터와 검출기를 포함한다. 각 에미터는 검출기에 의해 수신되는 광 빔을 생성한다. 바람직하게, 다수의 광 빔이 검출기에 의해 동시에 수신될 수 있도록 광 빔은 다중화된다. 터치 이벤트는 광 빔을 방해한다(disturb). 어느 광 빔이 방해되는지에 근거하여 실제 터치 이벤트를 판단하기 위해 터치 이벤트 템플릿이 사용된다.
일 측면에서, 예상되는 터치 이벤트의 그룹에 대한 터치 이벤트 템플릿 집합이 선험적으로(a priori) 결정된다. 예상되는 터치 이벤트의 각 터치 이벤트 템플릿은 예상 터치 이벤트에 의해 방해될 수 있는 적어도 2 개의 광 빔에 의해 정의된다. 터치 이벤트 템플릿은 실제 터치 이벤트에 의해 방해된 빔을 나타내는 정보와 비교된다. 이로부터, 실제 터치 이벤트가 판단된다. 일 예에서, 수신된 정보는 빔에 대한 방해 측정 수치이고, 비교는 상기 터치 이벤트 템플릿을 정의하는 빔들의 측정 수치 평균치(또는 다른 수학적 결합)에 기반한다.
변형된 실시예에서, 예상되는 터치 이벤트는 터치 이벤트의 분류(들), 예를 들어, 타원형 터치 이벤트 또는 원형 터치 이벤트를 포함한다. 터치 이벤트 분류는, 예를 들어, 크기, 방향 또는 위치의 함수로서 파라미터화될 수 있다. 대응하는 터치 이벤트 템플릿들은 파라미터에 대한 함수로서 터치 이벤트 분류를 포괄한다(span). 예를 들어, 터치 이벤트 템플릿 집합은 가변하는 직경의 원형 접촉 영역을 위해 구축되거나, 가변하는 크기, 편심 및 위치의 타원 접촉 영역을 위해 구축될 수 있다.
또 다른 측면에서, 빔의 개수 및 /또는 여러 빔들의 상대적인 중요도가 달라질 수 있다. 예를 들어, 터치 이벤트 템플릿 집합은 예상되는 터치 이벤트에 대한 일련의 터치 이벤트 템플릿을 포함할 수 있다. 일련의 템플릿 각각은 빔의 상이한 개수의 빔들에 의해 정의된다. 따라서, 특정의 예상 터치 이벤트에 대해, 2-빔, 4-빔, 6-빔 등의 템플릿이 있을 수 있다. 통상적으로, 적은 개수의 빔은 빠른 결과를 산출하고, 더 많은 개수의 빔은 신뢰할 수 있는 결과를 산출할 수 있다. 예를 들어, 터치 이벤트의 중심에 대한 근접도, 각도 다양성(diversity) 및/또는 에미터/검출기 다양성을 반영하기 위해 상이한 빔들에 상대적 가중치를 부여할 수 있다
또 다른 측면에서, 템플릿 모델이 사용될 수 있다. 템플릿 모델은 상이한 터치 이벤트 템플릿들을 생성하는데 사용될 수 있는 모델이다. 예를 들어, 모델은 변수의 함수일 수 있으며, 변수에 여러 값을 대입하여 상이한 템플릿들을 생성 할 수 있다. 일 예에서, 빔 방해도에 대한 수신된 정보는, 일반 템플릿 모델을 이용하여 모든 개별 템플릿들을 생성한 후에 모든 개별 템플릿들에 대해 매칭시키는 대신에, 일반 템플릿 모델에 대해 매칭시키고 변수의 값을 판단할 수 있다.
또 다른 측면에서, 템플릿의 개수를 감소 및/또는 처리 속도를 높이기 위해 시메트리(symmetry)가 사용된다. 템플릿은 또한, 처리 속도를 높이고/높이거나, 소비전력을 감소시키고/감소시키거나 메모리 또는 데이터 저장 요구 사항을 감소시키는 순서로 처리될 수 있다.
다른 실시예들은 전술한 측면들에 관련된 장치, 시스템 및 소프트웨어를 포함한다.
본 발명의 실시예들은 첨부된 도면들을 참조하여 예시적으로 설명될 것이다.
도 1은 일 실시예에 따른 광학 터치-감지 장치의 도면이다.
도 2는 일 실시예에 따라 터치 이벤트의 위치를 판단하기 위한 흐름도이다.
도 3a-3f는 광 빔과 터치 상호 작용에 관한 다양한 메커니즘을 설명한다.
도 4는 이진 및 아날로그 터치 상호 작용의 그래프이다.
도 5a-5c는 상이한 모양의 빔 풋프린트(footprint)를 도시한 평면도이다.
도 6a-6b는, 폭이 좁은 빔 및 넓은 빔 각각을 가로지르는 터치 포인트를 나타내는 평면도이다.
도 7은 도 6의 좁고 넓은 빔에 대한 이진 및 아날로그 응답 그래프이다.
도 8a-8b는 에미터에 의한 활성 영역의 범위를 나타내는 평면도이다.
도 8c-8d는 검출기에 의한 활성 영역의 범위를 나타내는 평면도이다.
도 8e는 교대로 위치하는 에미터 및 검출기를 예시하는 평면도이다.
도 9a-9c는 상이한 빔 단자의 관점에서 터치 포인트에 의해 차단되는 빔 패턴을 나타내는 평면도이다
도 9d는 9a-9c의 차단된 빔 및 도10a-10c의 라인 이미지에 기초하여 터치 포인트를 추정하는 것을 나타내는 평면도이다.
도 10a-10c는 도 9a-9c에 도시된 케이스에 대응하는 라인 이미지 그래프이다
도 11a는 두 개의 인접한 넓은 빔을 가로지르는 터치 포인트를 나타내는 평면도이다.
도 11b는 도 11a에 도시된 2개의 넓은 빔에 대한 아날로그 응답 그래프이다.
도 11c는 인접한 다수의 좁은 빔들을 가로지르는 터치 포인트를 나타내는 평면도이다.
도 12a-12e는 터치 이벤트의 템플릿을 나타내는 빔 경로의 평면도이다.
도 13은 터치 위치를 결정하기 위한 다중-패스(multi-pass) 방법의 흐름도이다.
I. 서론
A. 장치 개요
도 1은 일 실시예에 따른 광학 터치-감지 장치(100)를 도시한 도면이다. 광학 터치-감지 장치(100)는, 콘트롤러(110), 에미터/검출기 구동 회로(120) 및 터치-감지면 조립체(130)를 포함한다. 표면 조립체(130)는 터치 이벤트가 검출될 표면(131)을 포함한다. 표면(131) 자체는 전체적으로 수동 구조로 되어 있더라도, 편의상, 표면(131)에 의해 정의되는 영역은 활성 영역 또는 활성 표면으로 언급될 수 있다. 조립체(130)는 활성 표면(131)의 주변을 따라 배치된 에미터 및 검출기를 또한 포함한다. 도시된 예에서, Ea-Ej로 표시된 J개의 에미터 및 D1-Dk로 표시된 K 개의 검출기가 존재한다. 상기 장치는 도 1에 도시된 콘트롤러(110)와 별개로 또는 콘트롤러(110)의 일부로서 구현될 수 있는 터치 이벤트 프로세서(140)를 또한 포함한다. 터치 이벤트 프로세서(140)와 통신하기 위해, 예를 들어, 터치 이벤트 프로세서(140) 및 콘트롤러(110) 사이에, 터치 이벤트 프로세서(140)와 상기 터치 이벤트 프로세서에 연결된 다른 장치들 사이에 통신하기 위해 표준 API가 이용될 수 있다.
에미터/검출기 구동 회로(120)는 콘트롤러(110) 및 에미터 Ej 및 검출기 Dk 사이의 인터페이스 역할을 한다. 에미터는 검출기에 의해 수신되는 광 "빔"을 생성한다. 바람직하게, 하나의 에미터에 의해 생성되는 광은 하나 이상의 검출기에 의해 수신되고, 각각의 검출기는 하나 이상의 에미터로부터의 광을 수신한다. "빔"이 개별적인 빔이 아닌 다수의 검출기로 향하는 넓게 퍼진 광의 일부일지라도, 편의상 하나의 에미터에서 하나의 검출기로 향하는 광을 지칭할 것이다. 에미터 Ej 에서 검출기 Dk로 향하는 빔을 jk라고 한다. 도 1은 예를 들어 빔 a1, a2, a3, e1 및 eK로 명시적으로 표시한다. 활성 영역(131) 내의 터치는 특정 빔을 방해하여, 검출기 Dk에서 수신되는 것을 변화시킨다. 이러한 변화에 관한 데이터는 터치 이벤트 프로세서(140)에 전달되고, 터치 이벤트 프로세서(140)는 상기 데이터를 분석하여 표면(131)상의 터치 이벤트 위치(들) (및 시간)을 판단한다.
도 1에 도시된 광학 방식의 하나의 장점은 더 큰 화면 크기로 잘 확장된다는 것이다. 에미터 및 검출기가 둘레에 배치되어 있기 때문에, 선형 인자 N에 따른 화면 크기의 증가는 인자 N2이 아닌 N에 따라 둘레가 확장됨을 의미한다.
B. 프로세스 개요
도 2는 일 실시예에 따라 터치 이벤트의 위치를 결정하기 위한 흐름도이다. 이 프로세스는 도 1의 장치를 이용하여 설명될 것이다. 프로세스(200)는 대략 물리적 단계(210) 및 처리 단계(220)로 지칭되는 두 단계로 구분된다. 개념적으로, 이들 두 단계간의 구분선은 투과 계수 Tjk 집합이다.
투과 계수 Tjk는 광 빔과 상호 작용하는 터치 이벤트가 없었을 경우에 투과되었을 경우와 비교하여 에미터 j로부터 검출기 k로의 광 빔 투과율이다. 다음 예에서, 0(완전 차단 된 빔)에서 1(완전 투과 빔)으로의 스케일을 이용하겠다. 따라서, 터치 이벤트에 의해 방해받지 않는 빔 jk는 Tjk = 1 을 갖는다. 한편, 터치 이벤트에 의해 완전 차단되는 빔 jk는 Tjk = 0 을 갖는다. 터치 이벤트에 의해 부분적으로 차단되거나 감쇄되는 빔 jk는 0 < Tjk < 1을 갖는다. 가령, 터치 상호작용 특성에 따라 또는 정상적으로 도달하지 않을 광이 검출기로 편향되거나 산란되는 경우에, Tjk > 1도 가능하다.
이러한 특정 측정치를 사용하는 것은 순전히 일예에 불과하며, 다른 측정치들도 사용가능하다. 특히, 우리는 차단 광선에 가장 관심이 있기 때문에 (1-Tjk)와 같은 역 측정치도 일반적으로는 0 이므로 사용될 수 있다. 다른 예들로서, 흡수, 감쇄, 반사 또는 산란 측정치를 포함할 수 있다. 게다가, 도 2는 물리적 단계(210) 및 처리 단계(220) 사이의 구분선으로 Tjk을 사용하여 설명되고 있으나, Tjk가 명시적으로 계산될 필요는 없다. 물리적 단계(210) 및 처리 단계 (220)사이에 명확한 구분은 필요하지 않다.
도 2를 참조하면, 물리적 단계(210)는 물리적 설정으로부터 Tjk를 판단하는 과정이다. 처리 단계(220)는 Tjk로부터 터치 이벤트를 판단하는 과정이다. 도 2에 도시된 모델은 물리적 설정 및 근간이 되는 물리적 메커니즘을 후속 처리로부터 구분하고 있기 때문에 개념적으로 유용하다.
예를 들면, 물리적 단계(210)는 투과 계수 Tjk을 생성한다. 터치-감지면 조립체(130)에 대한 다수의 상이한 물리적 설계들이 가능하고, 최종 응용에 따라 상이한 설계 절충안들이 고려될 수 있다. 예를 들어, 에미터 및 검출기가 좁아지거나 넓어지거나, 좁은 각도 또는 넓은 각도를 갖거나, 다양한 파장을 갖거나, 다양한 전력을 가질 수 있으며, 통일되거나(coherent) 그렇지 않을 수 있다.
또 다른 예로서, 다수의 에미터로부터 방출되는 빔들이 각각의 검출기에 의해 수신되도록 여러 유형의 멀티플렉싱이 이용될 수 있다. 이러한 물리적 설정 및 동작 방식은, 이하에서, 주로 II 섹션에서 설명한다.
블록(210)의 내부는 프로세스(210)의 가능한 일 구현예를 도시한다. 이 예에서, 에미터(212)는 복수의 검출기에 빔을 방출한다. 터치-감지면을 가로 질러 이동하는 빔의 일부가 터치 이벤트에 의해 방해된다. 검출기는 멀티플렉싱된 광 형태로 에미터들로부터 빔을 수신한다(214). 수신된 빔들은 디멀티플렉싱되어 개별 빔 jk로 구분된다. 다음, 개별 빔 jk 각각에 대한 투과 계수 Tjk가 결정된다(218).
처리 단계(220) 또한 다양한 방식으로 구현될 수 있다. 후보 터치 포인트, 선 영상화(line imaging), 위치 보간, 터치 이벤트 템플릿 및 다중 패스 방식 모두 처리 단계(220)의 일부로 이용될 수 있는 기법의 예들이다. 이들중 일부가 이하에서, 주로 섹션 III에서 설명된다.
II. 물리적 설정
터치-감지 장치(100)는 다수의 상이한 방식으로 구현 될 수 있다. 다양한 설계 변형의 몇 가지 예를 들면 다음과 같다.
A. 전자요소
전자적 측면과 관련하여, 도 1은 기본적으로 예시적이고 기능적이다. 도 1에 도시된 다양한 박스들의 기능은 동일한 부품내에 함께 구현될 수 있다.
예를 들면, 콘트롤러(110) 및 터치 이벤트 프로세서(140)는, 하드웨어, 소프트웨어 또는 이 둘의 조합으로서 구현될 수 있다. 그들은 또한 (예를 들면, SoC 내 프로세서에서 실행되는 코드를 구비한 SoC로서) 함께 구현되거나, 개별적으로(예를 들어, 콘트롤러는 ASIC의 일부로서, 터치 이벤트 프로세서는 ASIC과 통신하는 별개의 프로세서칩에서 실행되는 소프트웨어로서) 구현될 수 있다. 예시적인 구현예로서, 전용 하드웨어(예를 들어, ASIC 또는 프로그램된 필드 프로그래머블 게이트 어레이(FPGA)) 및 펌웨어를 포함하는 소프트웨어 코드가 실행되는 마이크로프로세서 또는 마이크로 컨트롤러(임베드형 또는 독립형)가 포함된다. 소프트웨어 구현예는 소프트웨어를 업데이트함으로써 제조 후에 변경될 수 있다.
에미터/ 검출기 구동 회로(120)는 콘트롤러(110)와 에미터 및 검출기 사이의 인터페이스 역할을 한다. 일 실시예에서, 콘트롤러(110)에 대한 인터페이스는 적어도 부분적으로는 디지털 특성을 갖는다. 에미터에 대하여, 콘트롤러(110)는 에미터의 작동을 제어하는 명령을 전송할 수 있다. 이들 명령은, 예를 들어, 특정 동작(빔 전송 개시/정지, 빔의 특정 패턴 또는 시퀀스 변경, 회로의 전력 증가/감소, 전력 조정)을 수행하라는 의미의 일련의 비트들에 해당하는 인스트럭션일 수 있다. 또한, 이는 더욱 간단한 신호, 예를 들어, 빔 인에이블 신호일 수 있다. 빔 인에이블 신호가 하이(high)이면 에미터는 빔을 방출하고 빔 인에이블 신호가 로우(low)인 경우에 에미터는 빔을 방출하지 않는다.
회로(120)는 수신된 신호를 에미터를 구동하는 물리적 신호로 변환한다. 예를 들어, 회로(120)는 수신된 디지털 인스트럭션을 에미터의 구동 전류로 변환하기 위해, 디지털-아날로그 변환기에 결합된 소정의 디지털 로직을 포함할 수 있다. 회로(120)는 에미터를 동작시키기 위해 사용되는 다른 회로(예를 들어, 광 빔(또는 에미터를 구동하는 전기 신호)에 전기적 변조를 가하는 변조기, 에미터의 제어 루프 및 아날로그 피드백)를 또한 포함할 수 있다. 또한, 에미터는 콘트롤러에 정보를 전송할 수 있는데, 가령, 자신의 현재 상태에 대해 보고하는 신호를 제공할 수 있다.
검출기와 관련하여, 콘트롤러(110)는 또한 검출기의 동작을 제어하는 명령을 전송할 수 있고, 검출기는 콘트롤러(110)에 신호를 회신할 수 있다. 또한, 검출기는 검출기에 의해 수신된 빔에 관한 정보를 전송한다. 예를 들어, 회로(120)는 검출기로부터 가공되지 않거나 증폭된 아날로그 신호를 수신할 수 있다. 회로는, 이들 신호를 조절하고(예를 들어, 노이즈 억제하고), 아날로그에서 디지털 형태로 변환하고, 일부 디지털 처리(예, 복조)를 적용할 수도 있다.
B. 터치 상호 작용
도 3a-3f는 광 빔과의 터치 상호 작용에 대한 다양한 메커니즘을 예시한다. 도 3a는 불완전 내부 전반사(frustrated total internal reflection)에 따른 메커니즘을 예시한다. 점선으로 도시된 광 빔은 광학적으로 투명한 평면 도파로 (302)을 통해 에미터 E에서 검출기 D로 이동한다. 상기 빔은 불완전 내부 전반사에 의해 도파로(302)에 국한된다. 도파로는, 예를 들어, 플라스틱 또는 유리로 구성 될 수 있다. 투명 도파로(302)와 접촉하는 손가락 또는 스타일러스 등과 같은 객체 (304)는 일반적으로 도파로 주변의 공기보다 높은 굴절률을 갖는다. 접촉 영역 위에서, 객체로 인한 굴절률의 증가는 도파로 내의 빔의 불완전 내부 전반사를 방해한다. 불완전 내부 전반사가 방해되어 도판관에서의 광 누설이 증가하며, 접촉 영역을 통과하는 빔들을 감쇄시킨다. 대응하여, 객체(304)가 제거되면 통과하는 빛의 감쇄가 정지될 것이다. 접촉 포인트를 통과하는 빔의 감쇄는 검출기에서의 전력 감소를 야기하고, 이에 따라 줄어든 투과 계수 Tjk가 계산될 수 있다.
도 3b는 빔 차단에 따른 메커니즘을 도시한다. 에미터는 표면(306)에 근접한 빔을 생성한다. 표면(306)과 접촉하게 되는 객체(304)는 접촉 영역내의 빔을 부분적으로 또는 완전히 차단하게 된다. 도 3A 및 도 3B는 터치 상호작용에 대한 몇가지 물리적 메커니즘을 예시하고 있으나, 다른 메커니즘들 또한 이용될 수 있다. 예를 들어, 터치 상호작용은 전파 방향 또는 전파 각도(수평 또는 수직)에서의 변화, 산란, 또는 편광 변화에 기반할 수 있다.
예를 들면, 도 3c는 전파 각도에 기반한 여러 메카니즘을 나타낸다. 이 예에서, 광 빔은 TIR(total internal reflection))을 통해 도파로 (302)에 안내된다. 광 빔은 특정 각도로 도파로-공기 접면을 치고 다시 동일한 각도로 반사된다. 그러나, 터치(304)는 광 빔이 전파되는 각도를 변경한다. 도 3c에서, 광 빔은 터치(304) 이후에 가파른 전파 각도로 진행한다. 검출기 D는 전파 각도에 따라 가변하여 응답한다. 검출기 D는 원래 전파 각도로 진행하는 광 빔에 더 민감하거나 덜 민감할 수 있다. 그럼에도 불구하고, 터치(304)에 의해 방해되는 광 빔은 검출기 D에서 상이한 반응을 생성할 것이다.
도 3a-3c에서, 터치 객체는 상기 빔과 또한 상호 작용하는 객체였다. 이는 직접적인 상호 작용이라고 한다. 간접적인 상호 작용에서, 터치 객체는 중간 객체와 상호 작용하고, 상기 터치 객체는 광학 빔과 상호 작용한다. 도 3D는 중간 차단 구조물(308)을 이용하는 예를 도시한다. 일반적으로, 이러한 구조물(308)은 빔을 차단하지 않는다. 그러나, 도 3d에서, 객체(304)는 차단 구조물(308)과 접촉하고, 이는 차단 구조물이 부분적으로 또는 전체적으로 광 빔을 차단하는 원인이 된다. 도 3d에서 구조물(308)이 분리된 구조물로 도시되어 있으나 반드시 그러할 필요는 없다.
도 3e에서, 중간 구조물(310)은 압축될 수 있는, 부분 투과 시트이다. 아무런 접촉이 없을 경우, 시트는 일정한 양만큼 빔을 감쇠시킨다. 도 3e에서, 터치(304)는 시트를 압축시키고, 이에 따라 빔의 감쇄를 변화시킨다. 예를 들어, 시트의 위쪽 부분이 아래쪽 부분보다 더 불투명하여, 압축은 투과율을 감소시킨다. 대안적으로, 시트는 일정 밀도의 산란 사이트를 구비할 수 있다. 압축은 접촉 영역의 밀도를 증가시키고, 동일한 개수의 산란 사이트가 좀더 적은 부피를 차지하게 되고, 이에 따라 투과율을 감소시킨다. 불완전 TIR을 위해 유사한 간접 방식도 이용될 수 있다. 이와 같은 방식은 압축 정도 또는 압축률에 근거하여 접촉 압력 또는 터치 속도를 측정하기 위해 이용될 수 있다.
터치 메커니즘은 투과율을 감소시키는 대신에, 또는 투과율을 감소시키는 것에 부가하여 투과율을 또한 향상시킬 수도 있다. 예를 들어, 도 3e의 터치 상호작용은 투과율을 감소시키는 대신에 증가시킬 수 있다. 시트의 상부는 하부보다 좀 더 투명하고, 이에 따라 압축이 투과율을 증가시킨다.
도 3f는 에미터와 검출기간의 투과율이 터치 상호작용으로 인하여 증가하는 또다른 예를 도시한다. 도 3f는 평면도이다. 통상적으로 에미터 Ea는 검출기 D1에 의해 수신되는 빔을 생성한다. 아무런 터치 상호작용이 없는 경우, Ta1=1이고 Ta2=0 이다. 그러나, 터치 상호 작용(304)은 빔이 검출기 D1에 도달하는 것을 차단하고 차단된 광의 일부를 검출기 D2에 산란시킨다. 따라서, 검출기 D2는 평상시보다 에미터 Ea로부터 더 많은 광을 수신한다. 이에 따라, 터치 이벤트(304)가 없는 경우에, Ta1은 감소하고 Ta2는 증가한다.
단순화를 위해, 본 명세서의 나머지 부분에서, 터치 메커니즘은 주로 차단 특성을 갖는 것으로 가정하는데, 이는 에미터로부터 검출기로의 빔이 끼어드는 터치 이벤트에 의해 부분적으로 또는 완전히 차단될 것임을 의미한다. 이는 필요사항은 아니지만, 다양한 개념들을 설명하기에 편리하다.
편의를 위해, 터치 상호작용 메커니즘은 때때로 이진 또는 아날로그 중 하나로 분류될 수 있다. 이진 상호 작용은 기본적으로 터치와 관련하여 두 개의 가능한 응답을 갖는 것이다. 예를 들면, 비-차단 및 완전 차단, 또는 비-차단 및 10 % + 감쇄, 또는 FTIR 또는 비-FTIR을 포함한다. 아날로그 상호 작용은 터치에 대한 그레이스케일(grayscale)" 응답(비-차단에서 부분적 차단의 정도를 거쳐 완전 차단에 도달하는 응답)을 갖는다. 터치 상호 작용 메커니즘이 이진 또는 아날로그인지는 부분적으로 터치와 빔 사이의 상호 작용 성질에 따라 달라진다. 빔의 수직 크기에는 의존할 수 있지만, 빔의 횡방향 폭(후술하는 바와 같이, 이는 이진 또는 아날로그 감쇄를 얻기 위해 조작 될 수 있음)에는 의존하지 않는다.
도 4는 아날로그 터치 상호 작용 메커니즘에 비교한 이진 터치 상호 작용 메카니즘을 나타낸 그래프이다. 도 4는 터치의 깊이 z의 함수로서 투과율을 Tjk를 그래프로 나타낸 것이다. 치수 z는 활성 표면의 내부 및 외부이다. 커브(410)는 이진 응답이다. 낮은 z에서(즉, 터치가 아직 빔을 방해하지 않은 때), 투과율 Tjk는 최대값을 갖는다. 그러나 임의의 지점 Z0에서, 터치는 빔을 차단하고 투과율이 Tjk는 최소값으로 상당히 갑자기 떨어진다. 커브(420)는 광범위한 z 범위에 걸쳐 최대값 Tjk에서 최소값 Tjk 까지의 투과율이 발생하는 아날로그 응답을 보여준다. 커브(420)이 잘 동작하는 경우, Tjk의 측정된 값으로부터 z를 추정하는 것이 가능하다.
C. 에미터, 검출기 및 커플러
각각의 에미터는 다수의 검출기에 광을 전송한다. 일반적으로, 각 에미터는 동시에 하나 이상의 검출기에 광을 출력한다. 유사하게, 각 검출기는 서로 다른 다수의 에미터로부터 광을 수신한다. 광 빔은 가시광선, 적외선 및/또는 자외선 일 수 있다. 용어 "광"은 이들의 모든 파장을 포함하는 것으로 해석되고, 광학적과 같은 용어 또한 이에 따라 해석되어야 한다.
에미터 광원의 예에는 발광 다이오드(LED) 및 반도체 레이저가 포함된다. IR 소스도 사용될 수 있다. 광 빔의 변조는 광원을 직접 변조하거나, 예를 들면, 액정 변조기 또는 편향 미러(mirror) 변조기와 같은 외부 변조기를 사용함으로써 달성될 수 있다. 검출기의 센서 요소의 예에는, 전하 결합 소자, 광 다이오드, 광 레지스터, 광 트랜지스터 및 비선형의 모든 광 검출기가 포함될 수 있다. 전형적으로, 검출기는 수신된 광 빔의 강도에 관련되는 전기 신호를 출력한다.
또한, 에미터 및 검출기는 주 광원 및 센서 요소에 부가하여 광학 및/또는 전자 요소들을 포함할 수 있다. 예 를 들어, 에미터/검출기 및 원하는 빔 경로 간의 커플링을 위해 광학 요소가 사용될 수 있다. 광학 요소는 에미터에 의해 생성되거나 검출기에 의해 수신되는 빔의 형상을 변경하거나 콘디셔닝할 수 있다. 이러한 광학 요소로서, 렌즈, 프레넬(Fesnel) 렌즈, 미러, 필터, 비-영상화(non-imaging) 광학 요소 및 기타 광학 부품들이 포함될 수 있다.
본 명세서에서, 명확성을 위해, 광학적 경로가 펼쳐진 것으로 도시되어 있다. 따라서, 소스, 광 빔 및 센서가 하나의 평면에 배치된 것으로 도시될 것이다. 그러나, 실제 구현에서, 소스 및 센서는 통상적으로 광 빔과 동일 평면에 있지 않으며, 다양한 커플링 방식이 사용될 수 있다. 평면 도파로 또는 광섬유가 실제 빔 경로로부터/경로에 커플링시키기 위해 이용될 수 있다. 여유 공간 커플링(예를 들면, 렌즈 및 미러)도 사용될 수 있다. 예컨대, 1차원에 따른 도파로와 다른 차원에 따른 여유 공간 조합도 이용될 수 있다. 다양한 커플러 설계는 2011년 7월 22일에 출원된 미국 출원 제61/510,989호 광 커플러에 기재되어 있으며, 이는 본 명세서의 일부로서 참조된다.
D. 광 빔 경로
터치-감지 시스템의 또 다른 측면은 광 빔 및 빔 경로의 형상 및 위치이다. 도 1-2에서, 광 빔은 선으로 도시되어 있다. 이러한 선들이 빔을 대표하는 것으로 해석되겠으나, 빔 자체가 반드시 좁은 펜슬 빔은 아니다. 도 5a 내지 도 5c는 상이한 빔 형상들을 도시한다.
도 5a는 포인트 에미터 E, 포인터 검출기 D 및 에미터에서 검출기로의 좁은 펜슬 빔(510)을 도시한다. 도 5b에서, 포인트 에미터 E는 광폭 검출기 D에 의해 수신되는 팬-형 빔(520)을 생성한다. 도 5c에서, 광폭 에미터 E는 광폭 검출기 D에 의해 수신되는 직사각형 빔(530)을 생성한다. 이들은 빔의 평면도이고, 도시된 형상은 빔 경로의 풋프린트이다. 따라서, 빔(510)은 선과 같은 형태의 풋프린트를 갖고, 빔(520)은 에미터에서 좁고 검출기에서는 넓은 삼각형 형태의 풋프린트를 갖고, 빔(530)은 상당히 일정한 폭의 직사각형 풋 프린트를 갖는다. 도 5에서, 검출기 및 에미터는 빔 경로에 의해 보여지는 바와 같이 그들의 폭에 의해 표현된다. 실제 광원 및 센서들이 그만큼 넓지 않을 수 있다. 대신, 실제 광원 및 센서들의 측면 범위를 효과적으로 넓히거나 좁히기 위해 광학요소(예를 들면, 원통형 렌즈 또는 미러)들이 이용될 수 있다.
도 6a 내지 6b 및 도 7은 투과 계수 Tjk가 이진 또는 아날로그 양으로 취해지는지 여부에 따라 풋프린트의 폭이 결정되는 방식을 도시한다. 이들 도면에서, 터치 포인트는 접촉 영역(610)을 갖는다. 터치가 완전 차단이어서 접촉 영역(610)을 치는 어떠한 광도 차단된다고 가정한다. 도 6a는 터치 포인트가 좁은 빔을 지나 왼쪽에서 오른쪽으로 이동할 때 발생하는 현상을 도시한다. 왼쪽 그림에서와 같이, 빔은 전혀 차단되지 않다가(즉, 최대 Tjk를 갖다가), 접촉 영역(610)의 우측부가 빔을 차단하게 된다. 중간 그림에 도시된 바와 같이, 빔은 완전 차단된다(즉, 최소 Tjk를 갖는다). 접촉 영역 전체가 빔을 통과할 때까지 계속하여 완전 차단된다. 다음, 오른쪽 그림에 도시된 바와 같이, 다시 전혀 차단되지 않는다. 도 7의 커브(710)는 접촉 영역(610)의 측 방향 위치(x)에 관련된 투과율 Tjk를 도시한다. Tjk의 최소값과 최대값 사이의 가파른 전이는 이러한 응답의 이진 특성을 나타낸다.
도 6b는 터치 포인트가 넓은 빔을 지나 왼쪽에서 오른쪽으로 이동할 때 발생하는 현상을 도시한다. 가장 좌측의 시나리오에서, 빔이 차단되기 시작한다. 투과 계수 Tjk가 떨어지기 시작하지만 최소값과 최대값 사이의 값을 갖는다. 투과 계수 Tjk는 터치 포인트가 좀더 많은 빔을 차단할수록 계속해서 떨어져서, 중간 시나리오에서 빔이 완전 차단된다. 다음, 오른쪽 시나리오에서와 같이, 접촉 영역이 빔을 빠져 나갈 때 투과 계수 Tjk는 다시 증가하기 시작한다. 도 7의 커브(720)은 접촉 영역(510)의 횡방향 위치 x에 관련된 투과 계수 Tjk를 도시한다. 넓은 범위의 x에 걸친 전이는 이러한 응답의 아날로그 특성을 나타낸다.
도 5-7은 개별 빔 경로를 고려한다. 대부분의 구현에서, 각각의 에미터와 각각의 검출기는 다중 빔 경로를 지원한다.
도 8a는 포인트 에미터 Ej에서 생성된 빔 패턴이 광폭 검출기 D1-Dk로 전송되는 것을 도시한 평면도이다. 명확성을 위해, 3개의 빔, 빔 j1, 빔 j(K-1) 및, 중간 빔이 음영화되어 있다. 각각의 빔은 팬-형 풋프린트이다. 모든 풋프린트를 합친 것은 에미터 Ej의 커버리지 영역이다. 즉, 에미터 Ej의 커버리지 영역내에서 발생하는 임의의 터치 이벤트는 에미터 Ej로부터 방출된느 빔중 적어도 하나를 차단하게 된다. 도 8b는 에미터 Ej가 보다 넓은 에미터이고 직사각형" 범위(실제로는, 사다리꼴이지만 여기서는 직사각형으로 지칭함)를 갖는 빔을 생성한다는 점을 제외하고는 유사한 디자인이다. 3개의 음영화된 빔들은 도 8A의 검출기와 동일한 검출기를 위한 것이다.
모든 에미터 Ej가 모든 검출기 Dk에 대한 빔을 생성하는 것은 아닐 수도 있다. 도 1에서, 에미터 Ea에서 검출기 Dk로 향하는 빔 경로 aK를 고려해보자, 첫째, 에미터 Ea에 의해 생성된 광이 해당 방향으로 진행하지 않아서(즉, 에미터의 방사각이 충분히 넓지 않아서) 실제 빔이 전혀 없거나, 검출기의 수신각이 투과광을 검출할 만큼 넓지 못할 수도 있다. 두 번째, 빔이 존재하여 검출되었다 할지라도, 빔 경로가 유용한 정보를 산출하는 위치에 존재하지 않아 무시될 수 있다. 따라서, 투과 계수 Tjk는 에미터 Ej 및 검출기 Dk의 모든 조합에 대한 값을 갖지 않을 수 있다.
에미터로부터 방출되는 개별 빔들의 풋프린트와 에미터로부터 방출되는 모든 빔들의 커버리지 영역은 여러 가지 측정치로 설명될 수 있다. 개별 빔 경로 및 개별 검출기의 커버 영역을 설명하기 위해 사용될 수 있는 측정치로서, 공간 범위(즉, 폼), 각도 범위(즉, 에미터의 방사각, 검출기의 수신각) 및 풋프린트 형상이 포함된다.
하나의 에미터 Ej로부터 하나의 검출기 Dk로 향하는 개별 빔 경로는 에미터 Ej의 폭, 검출기 Dk의 폭 및/또는 이들 둘간의 빔경로를 정의하는 각도 및 형상에 의해 설명될 수 있다.
이들 개별적인 빔 경로는 하나의 에미터 Ej에 대해 모든 검출기에 걸쳐 통합되어 에미터 Ej에 대한 커버리지 역역을 산출할 수 있다. 에미터 Ej의 커버리지 영역은 에미터 Ej의 폭, 관련 검출기 Dk의 합산폭 및/또는 에미터 Ej로부터의 빔 경로의 총합을 정의하는 각도 및 형상에 의해 설명될 수 있다. 개별 풋프린트는 중첩될 수 있다(에미터에 근접한 도 8B를 참조하기 바란다). 이에 따라, 에미터의 커버리지 영역은 그의 풋프린트 총합과 동일하지 않을 수 있다. (에미터의 풋프린트 총합)/(에미터의 커버리지 영역) 비율은 중첩량에 대한 측정치의 일 예이다.
개별 에미터들에 대한 커버리지 영역을 모든 에미터들에 대해 합산하여 시스템의 전체 커버리지를 획득할 수 있다. 이러한 경우, 커버리지 영역이 활성 영역(131) 전체를 포함하여야 하기 때문에 전체 커버리지 영역의 형상은 중요하지 않다. 그러나, 활성 영역(131)내의 모든 지점들이 균일하게 커버되는 것은 아니다. 활성 영역(131)에 걸친 빔 경로의 분포는 얼마나 많은 수의 빔 경로들이 활성 영역내 상이한 지점(x,y)를 경유하는지를 계산함으로써 특징지어질 수 있다. 빔 경로 방향은 분포의 또다른 측면이다. 보통, 대략 동일한 방향으로 진행하는 3 개의 빔 경로로부터 도출되는 점(x, y)은 서로 60도의 각도로 진행하는 3개의 빔들에 의해 경유되는 점보다 약한 분포를 갖게 될 것이다.
에미터에 대한 전술한 설명은 검출기에 대해서도 또한 적용된다. 도 8A-8B의 에미터에 대해 구성된 도면들은 검출기에 대해서도 또한 구성될 수 있다. 가령, 도 8b는 도 8b의 검출기 D1에 대한 도면과 유사한 도면을 도시한다. 즉, 도 8c는 검출기 D1에 의해 수신되는 모든 빔 경로를 도시한다. 이러한 예에서 검출기 D1으로 향하는 빔 경로는 활성 영역의 하부측면을 따라 있는 에미터들로부터만 방출된 것이다. 좌측면상의 에미터들은 D1으로 결합시킬 필요가 없으며, (이 설계에서) 우측면상에는 에미터가 없다. 도 8d는 검출기 Dk에 대한 도면을 도시하는데, 이는 도 8b의 에미터 Ej와 유사한 위치에 있다.
검출기 Dk의 커버리비 영역은 검출기 Dk에 의해 수신되는 모든 빔들의 풋프린트를 합친 것이다. 모든 검출기의 커버리지 영역을 합치면 전체 시스템 커버리지가 산출된다.
E. 활성 영역 커버리지
활성 영역(131)의 커버리지는 빔 경로 형상뿐만 아니라, 에미터와 검출기의 배치 형태에 따라서도 달라진다. 대부분의 응용에서, 활성 영역은 직사각형 형태이며, 에미터와 검출기는 상기 직사각형의 4개 모서리를 따라 배치된다.
바람직한 방식에 따르면, 특정 모서리에 에미터만 배치하고 다른 모서리에는 검출기가 배치하는 대신에, 에미터와 검출기가 모서리를 따라 교대로 배치된다.
도 8e는 4개의 모든 모서리를 따라 에미터와 검출기가 교대하는 실시예를 도시한다. 음영 처리된 빔들이 에미터 Ej에 대한 커버리지를 도시한다.
F. 멀티플렉싱
여러 에미터가 여러 검출기에 다수의 광 빔을 전송하고, 각 광선의 작용은 일반적으로 요구되고 있기 때문에, 멀티플렉싱/디멀티플렉싱 방식이 이용된다. 예를 들어, 각각의 검출기는 일반적으로 하나의 에미터에 의해 생성된 광 빔으로부터의 광 또는 다수의 에미터들에 의해 생성된 다수의 광 빔들로부터의 광인지 여부에 관계없이 통상적으로 입사광의 강도를 나타내는 하나의 전기 신호를 출력한다. 그러나, 투과율 Tjk는 개별 광 빔의 jk의 특성이다.
상이한 유형의 멀티플렉싱이 이용될 수 있다. 사용되는 멀티플렉싱 방식에 따라, 콘텐트 및 투과되는 시점을 포함하는 빔의 투과 특성은 가변할 수 있다. 결론적으로, 멀티플렉싱 방식의 선택은 광 터치-감지 장치의 물리적 구성뿐만 아니라 그 동작에도 영향을 미칠 수 있다.
한가지 방식은 코드 분할 멀티플렉싱 방식이다. 이 방식에서, 각 에미 터에 의해 생성된 광 빔은 상이한 코드를 이용하여 인코딩된다. 검출기는 상이한 에미터들로부터의 광 빔들이 조합된 광 신호를 수신하지만, 수신된 빔은 코드에 따라 그의 세부 성분들로 분리될 수 있다. 이는 미국 출원 번호 제 13/059,772호(변조 에미터를 구비한 광 제어 시스템)에 더욱 상세하게 설명되어 있으며, 본 명세서의 일부로 참조된다.
또 다른 유사한 방식은 주파수 분할 멀티플렉싱 방식이다. 이 방식에서, 상이한 에미터들로부터 방출된 광 빔들은, 상이한 코드에 의해 변조되는 대신에 상이한 주파수에 의해 변조된다. 주파수는 검출된 광 빔에서 서로 다른 성분들이 전자적 필터링 또는 다른 전자 또는 소프트웨어 수단에 의해 복구될 수 있을 정도로 낮다.
시간 분할 멀티플렉싱도 또한 사용될 수 있다. 이 방식에서, 상이한 에미 터는 서로 다른 시간에 빔을 전송한다. 광학 빔 및 투과 계수 Tjk은 타이밍에 따라 식별된다. 시간 멀티플렉싱만이 이용되는 경우, 콘트롤러는 요구되는 터치 샘플링 속도를 만족시킬 수 있을 만큼 충분히 빠르게 에미터들을 순환시켜야 한다.
일반적으로, 광학 시스템과 함께 사용디는 다른 멀티플렉싱 기술로는, 파장 분할 멀티플렉싱, 편광 멀티플렉싱, 공간 멀티플렉싱 및 각도 멀티플렉싱을 포함한다. PSK, QAM 및 OFDM과 같은 전자 변조 방식이 상이한 빔들들 구별하기 위해 적용될 수도 있다.
여러 멀티플렉싱 기법들이 함께 사용될 수 있다. 예를 들어, 시분할 멀티플렉싱 및 코드 분할 멀티플렉싱이 결합될 수 있다. 코드 분할 멀티 플렉싱의 128개 에미터 및 시간 분할 멀티플렉싱의 128개 에미터 대신에, 에미터들이 16개로 이루어진 8개 그룹으로 분할될 수 있다. 8개 그룹은 시간 분할 멀티플렉싱되어 한 시점에서 오직 16개의 에미터들만이 동작하고, 이들 16개의 에미터들은 코드 분할 멀티플렉싱된다. 이러한 방식은, 가령, 임의의 시점에서 활성화되는 에미터의 개수를 줄여 장치의 전력 요구를 줄일 수 있다는 점에서 바람직할 수 있다.
III. 처리 단계
도 2의 처리 단계(220)에서, 터치 포인트의 위치를 결정하기 위해, 투과 계수 Tjk가 이용된다. 후보 터치 포인트, 선 영상화, 위치 보간, 터치 이벤트 템플릿, 다중-경로 처리 및 빔 가중화 등의 다양한 방식 및 기법들이 이용될 수 있다.
A. 후보 터치 포인트
하나의 방식은 터치 이벤트에 의해 영향을 받은 빔을 식별함에 따라 (투과 계수 Tjk에 근거하여) 터치 포인트를 결정하는 것이다. 후보 터치 포인트 목록은 후보 터치 포인트에 근접한 다른 빔을 고려하거나 다른 후보 터치 포인트를 고려함으로써 정제될 수 있다. 이러한 방식은 미국특허출원 제13/059,817호(광학 터치-감지 장치에서 다중 터치 이벤트를 검출하기 위한 방법 및 장치")에 좀 더 상세히 설명되어 있으며, 이는 본 명세서의 일부로 참조된다.
B. 라인 이미지화(line imaging)
이 기법은 검출기에 의해 수신되는 빔 집합이 터치 포인트의 라인 이미지를 형성하고, 여기서의 시점이 검출기의 위치라는 개념에 근거한다. 검출기는 에미터의 집합을 보고 있는 1차원 카메라로서 기능한다. 상호성으로 인해, 에미터에도 동일한 기능이 적용된다. 에미터에 의해 전송되는 빔 집합은 터치 포인트의 라인 이미지를 형성하고, 여기서 시점이 에미터의 위치이다.
도 9-10은 도 8b-8d에 도시된 에미터/검출기 배치를 이용하여 이러한 개념을 설명한다. 편의상, 용어 빔 단자가 에미터 및 검출기를 지칭하기 위해 이용된다. 따라서, 빔 단자(에미터 또는 검출기)로부터의 빔 집합은 터치 포인트의 라인 이미지를 형성하고, 여기서 시점은 빔 단자의 위치이다. .
도 9a-c는 활성 영역, 에미터와 검출기의 물리적인 설정을 도시한다. 이 예에서, 접촉 영역(910)을 갖는 터치 포인트가 있다. 도 9A는 에미터 Ej에서 검출기 Dk로 진행하는 모든 빔들인 빔 단자 Dk의 빔 패턴을 도시한다. 음영 처리된 에미터는 터치 포인트(910)에 의해 일부라도 빔이 차단됨을 나타낸다. 도 10a는 빔 단자 Dk에 의해 보여지는 대응 라인 이미지(1021)을 보여준다. 단자 Ea, Eb,...,E(J-4)에 대한 빔들은 차단되지 않으므로 투과 계수는 최대 값을 갖는다. 터치 포인트는 빔 단자 E(J-3), E(J-2) 및 E(J-1)의 빔 차단으로 보이고, 단자 E(J-2)가 주로 차단되는 것으로 보인다. 즉, 빔 단자 E(J-3)에서 단자 E(J-2)에 걸치는 라인 이미지 부분은 터치 이벤트의 1차원적 영상이다.
도 9b는 빔 단자 D1에 대한 빔 패턴을 도시하고, 도 10b는 빔 단자 D1에 의해 보여지는 대응 라인 이미지(1022)를 도시한다. 활성 영역의 좌측부에 존재하는 에미터는 검출기 D1와 빔 경로를 형성하지 않기 때문에, 라인 이미지가 모든 에미터에 걸쳐 있지는 않다. 도 9c 및 도 10c는 빔 단자 Ej에 의해 보여지는 대응 라인 이미지(1023) 및 빔 패턴을 도시한다.
도 9-10에 도시된 예는 광폭 빔 경로를 이용한다. 그러나 라인 이미지 기법은 좁거나 팬-형의 빔 경로에도 또한 이용될 수 있다.
도 10a-c는 터치 포인트(910)의 상이한 영상들을 도시한다. 터치 이벤트의 위치는 해당 라인 이미지를 처리함으로써 결정될 수 있다. 예를 들어, 터치 이벤트(910)의 위치를 결정하기 위해 상관 또는 컴퓨터 토모그래피(computerized tomography) 알고리즘에 기반한 방식들이 이용될 수 있다. 그러나, 좀더 적은 컴퓨터 자원들을 요청하는 간단한 방식들이 바람직하다.
터치 포인트(910)는 라인 이미지(1021-1023)의 각각에 "그림자"를 드리운다. 하나의 방식은 라인 이미지내 그림자 모서리를 찾고 그림자내 픽셀값을 이용하여 그림자 중심을 추정하는 방식에 기반한다. 터치 포인트는 해당 라인 어딘가를 따라 존재하는 것으로 가정된다. 즉, 해당 라인은 터치 포인트의 위치에 대한 후보 라인이다. 도 9d는 이를 도시한다. 도 9d에서, 라인(920A)은 도 9A 및 10A에 대응하는 후보 라인의 중심이다. 즉, 검출기 Dk의 중심에서 라인 이미지(1021)의 그림자 중심에 이르는 라인이다. 유사하게, 라인(920B)는 도 9B 및 10B에 대응하는 후보 라인이고, 라인(920C)는 도 9c 및 10c에 대응하는 라인이다. 최종 후보 라인(920A-C)은 빔 단자의 위치에 일측이 고정되고, 후보 라인 각도는 라인 이미지내 그림자로부터 보간된다. 터치 이벤트의 중심은 이들 후보 라인의 교차점들을 조합함으로서 추정될 수 있다.
도 10에 도시된 각 라인 이미지는 단일 빔 단자로부터 이에 대응하는 모든 상보적 빔 단자들로의 빔 패턴(즉, 하나의 검출기로부터 모든 대응 에미터들로 향하거나 하나의 에미터로부터 모든 대응 검출기로 향하는 빔 패턴)을 이용하여 생성되었다. 또다른 변형으로, 라인 이미지는 하나 이상의 빔 단자의 빔 패턴 정보를 결합함으로써 생성될 수 있다. 도 8e는 에미터 Ej에 대한 빔 패턴을 도시한다. 그러나, 대응 라인 이미지는 이에 대응하는 검출기가 연속적인 커버리지를 제공하지 못하기 때문에 갭을 가지게 된다. 따라서, 에미터 Ej 및 검출기 Dj의 2개의 부분적인 라인 이미지들이 결합되어 하나의 완전한 라인 이미지를 생성할 수 있다.
C. 라인 보간
통상적으로, 응용들은 터치 포인트의 위치를 파악하는데 있어서 특정 수준의 정확도를 요구할 것이다. 정확도를 증가시키는 한가지 방식은 에미터, 검출기 및 빔 경로의 밀도를 증가시켜 터치 포인트 위치의 미세한 변화도 여러 빔을 차단하도록 하는 것이다.
또다른 방식은 빔들을 보간하는 것이다. 도 10a-c의 라인 이미지에서, 터치 포인트는 여러 빔을 차단하지만, 빔 폭으로 인해 차단은 아날로그 응답을 갖는다. 따라서, 빔 단자들이 D의 간격을 갖더라도 터치 포인트의 위치는 아날로그값들에 기반하여 보간처리함으로써 좀더 나은 정확도로 판단될 수 있다. 이는 도 7의 커브(820)에도 또한 도시된다. 측정된 Tjk가 위치 x를 보간하기 위해 이용될 수 있다.
도 11a 및 b는 인접한 빔 경로들 사이의 보간에 기반한 방식을 도시한다. 도 11A는 2개의 빔 경로 a2 및 b1을 보여준다. 이들 빔 경로 모두는 폭이 넓고 서로 인접해 있다. 그러나, 왼쪽 시나리오에서, 터치 포인트는 빔 a2를 주로 차단한다. 중간 경우에서, 양 빔은 균등하게 차단된다. 오른쪽 경우에서, 터치 포인트는 빔 b1을 주로 차단하고 있다.
도 11b는 x에 관련된 2개의 투과 계수를 그래프로 도시한다. 커브(1121)는 계수 Ta2에 대한 것이고 커브(1122)는 계수 Tb1에 대한 것이다. 2개의 투과 계수 Ta2 및 Tb1을 고려함으로써, 터치 포인트의 위치 x는 보간될 수 있다. 예를 들어, 보간은 2개의 계수 차분 또는 비율에 기반할 수 있다.
보간 정확도는 빔 a2 및 b1을 가로지르는 광의 불균일한 분포를 보상함으로써 개선될 수 있다. 예를 들어, 빔 단면이 가우시안(Gaussian)인 경우에, 이는 보간을 수행할 때 고려될 수 있다. 또다른 변형에서, 광폭 에미터와 검출기가 자체적으로 여러 개의 방출 또는 검출 유닛으로 구성된 경우에, 이들은 개별 요소들로 분해되어 터치 위치를 좀 더 정확하게 판단할 수 있다. 이는, 첫 번째 패스를 이용하여 주어진 위치에서의 터치 이벤트가 존재한 것으로 판단된 후에 보조적 패스로 수행될 수 있다. 여러 개의 인접한 에미터들을 동시에 구동함으로써 광폭의 에미터와 유사하게 될 수 있다. 여러 개의 검출기 출력을 결합함으로써 광폭 검출기와 유사하게 되어, 단일 신호를 형성할 수 있다.
도 11c는 적은 수의 광 빔을 보간하는 대신에 다수의 좁은 빔들을 이용하는 경우를 도시한다. 이 예에서, 각 빔은 도 11c의 라인에 의해 표현되는 펜슬 빔이다. 터치 포인트(110)가 왼쪽에서 오른쪽으로 이동할 때 상이한 빔들을 차단한다. 터치 포인트(1110)의 위치를 판단하기 위한 대부분의 해결책은 빔 단자들의 미세한 간격에 의해 달성된다. 모서리 빔들은 좀더 미세한 위치 추정치를 제공하기 위해 보간될 수 있다.
D. 터치 이벤트 템플릿
일반적으로 고정된 에미터를 구비한 시스템의 경우에 그러한데, 빔 경로의 위치 및 형상이 공지된 경우에, 소정의 터치 이벤트에 대한 전송 계수를 미리 예측하는 것이 가능하다. 예상 터치 이벤트에 대한 템플릿이 선험적으로(priori) 생성될 수 있다. 터치 이벤트의 판단은 템플릿 매칭의 문제가 된다.
무작위 접근 방식이 사용되는 경우 각각의 가능한 터치 이벤트에 대해 하나의 템플릿이 생성될 수 있다. 그러나, 이는 많은 수의 템플릿을 초래할 수 있다. 예를 들어, 터치 이벤트의 하나의 분류(class)가 타원형 접촉 영역으로 모델링된다고 가정하고 빔들은 완전히 차단되거나 완전히 미차단되는 펜슬(pencil) 빔이라고 가정한다. 이와 같은 터치 이벤트 분류는, 5가지 요소들, 즉, 활성 영역 내 x 위치, 활성 영역 및 y 위치, 장축의 길이, 단축의 길이 및 장축의 방향의 함수로서 파라미터화될 수 있다. 이러한 분류의 터치 이벤트를 포함하는 무작위적 완전 템플릿 집합은 전술한 5가지 요소들을 포괄하여야(span) 한다. 또한, 템플릿 자체가 많은 요소를 가질 수 있다. 따라서, 템플릿 집합을 단순화하는 것이 바람직하다.
도 12a는 임의의 두 빔(30)의 단자들 사이의 가능한 모든 펜슬 빔 경로를 나타낸다. 이 예에서, 빔 단자는 에미터 또는 검출기로 표시되지 않는다. 가능한 모든 빔 경로를 실현하기 위해 충분한 에미터 및 검출기가 있다고 가정한다. 접촉 영역 (1210)에 대한 하나의 가능한 템플릿은 터치에 의해 영향 받을 수 있는 모든 빔 경로들의 집합이다. 그러나, 빔 경로의 개수가 많을수록 템플릿 매칭은 더욱 어려워진다. 게다가, 이러한 템플릿은 접촉 영역(1210)에 매우 한정적이다. 접촉 영역의 크기, 모양 또는 위치가 약간만 변경되더라도, 접촉 영역(1210)에 대한 템플릿은 더 이상 정확히 매칭되지 않을 것이다. 또한, 활성 영역의 다른 부분에 추가적인 접촉이 존재하는 경우에도, 템플릿은 검출된 데이터에 잘 매칭되지 않을 것이다. 따라서, 모든 가능한 빔 경로들이 세밀하게 판별되는 템플릿을 생성할 수 있다고 하더라도, 이는 구현하기에 계산 집약적일 수 있다.
도 12b는 접촉 영역(1210)에 의해 방해될 수 있는 4개의 빔들에만 기반한 좀더 간단한 템플릿을 도시한다. 이는 약간 다른 크기, 모향 또는 위치의 다른 접촉 영역들도 이 템플릿에 매칭될 수 있기 때문에 덜 한정적인 템플릿이다 이는 가능한 접촉 영역의 공간을 커버하기 위해 좀 더 적은 개수의 테플릿이 요구된다는 점에서 유익하다. 이 템플릿은 모든 중단 빔을 기반으로 하는 전체 템플릿에 비해 정확도는 떨어진다. 그러나, 작은 크기로 인해 매칭이 빠르다. 이러한 유형의 템플릿들은 종종 모든 가능한 투과 계수의 전체 집합에 비교하여 드물다.
2-빔 템플릿, 4-빔 템플릿 등 템플릿에 포함되는 빔의 개수가 증가하도록, 접촉 영역(1210)에 대해 일련의 템플릿이 정의될 수 있다. 일 실시예에서, 접촉 영역(1210)에 의해 중단되는 빔들이 1에서 N까지 순차적으로 정렬된다. n-빔 템플릿은 정렬 순서에서 처음 n 개의 빔을 선택함으로써 구성될 수 있다. 일반적으로, 공간적 또는 각도적으로 다양한 빔들이 좀 더 나은 템플릿을 생성하는 경향이 있다. 즉, 서로 60도로 작동하고 공통 지점에서 교차하지 않는 3개의 빔을 가진 템플릿은 서로 근접하여 대체로 평행한 3개의 빔을 기반으로 하는 것보다 더욱 견고한 템플릿을 생성하는 경향이 있다. 또한, 더 많은 빔들이 템플릿 매칭의 효과적인 SNR(signal-to-noise ratio)를 증가시킬 수 있으며, 상이한 에미터 및 검출기들로부터의 빔들인 경우에 특히 그러하다.
도 12b의 템플릿은 일련의 유사한 템플릿을 생성하기 위해 또한 사용될 수 있다. 도 12c에서, 접촉 영역(1220)은 도 12B와 동일하나, 오른쪽으로 이동되어 있다. 대응하는 네 개의 빔 템플릿이 도 12B의 빔 (1,21) (2,23) 및 (3,24)을 도 12C에 도시된 바와 같이 빔(4,18),(5,20) 및 (6,21)의 오른쪽으로 이동시킴으로써 생성될 수 있다. 이러한 유형의 템플릿들은 추상화될 수 있다. 추상화는 템플릿 모델로 지칭될 것이다. 이러한 특정 모델은 빔(12,28) (i, 22-i) (i+1, 24-i) (i+2,25-i)(i는 1에서 6까지임)에 의해 정의될 수 있다. 하나의 방식에 따르면, 개별 템플릿을 생성하기 위해 모델이 이용되고 실제 데이터가 개별 템플릿 각각에 대하여 매칭된다. 다른 방식에서, 데이터는 템플릿 모델에 대하여 매칭된다. 그러면, 매칭 프로세스는 템플릿 모델에 대한 매칭이 존재하는지 판단하고, 그러한 경우에 매칭을 산출한 i값을 판단하는 과정을 포함한다.
도 12d는 접촉 영역 주위에 "터치-프리(touch-free)" 영역을 사용하는 템플릿을 나타낸다. 실제 접촉 영역은 1230이다. 그러나, 접촉이 영역(1230)에서 이루어지는 경우에 바로 주위의 음영 영역에서는 접촉이 없을 것으로 가정한다. 따라서, 템플릿은 중단되는 접촉 영역(1230)내의 (a) 빔들과 중단되지 않는 음영 영역의 (b) 빔 들을 모두 포함한다. 도 12D에서, 실선 (2,20) (5,22)과 (11,27)는 템플릿의 중단 빔들이고 점선 (4,23)과 (13,29)는 템플릿의 중단되지 않은 빔들이다. 템플릿의 중단되지 않은 빔들은 다른 터치 포인트에 의해 그밖의 어디에서 중단될 수 있으므로, 이들을 사용할 때는 이러한 점을 고려하여야 한다. 예를 들어, 점선 (13,29)는 터치 포인트(1240)에 의해 중단될 수 있다.
도 12e는 감소 및 향상된 투과 계수 모두를 기반으로 하는 예제 템플릿을 도시한다. 실선 (2,20) (5,22)과 (11,27)는 템플릿에의 중단된 빔들로서, 그들의 투과 계수가 감소할 것임을 의미한다. 점선 (18,24)은 터치 포인트(1250)으로부터의 반사 또는 산란으로 인하여 투과 계수가 증가하게 될 빔이다.
다른 템플릿들도 가능하며, 다양한 방식으로 처리될 수 있다. 간단한 방법으로, 템플릿의 빔에 대한 방해도가 단순히 합산되거나 평균화될 수 있다. 각 빔으로부터의 잡음이 독립적인 것으로 추정되는 동안 각 빔은 부가 신호를 추가하기 때문에, 이는 이러한 측정에 대한 전체 SNR을 증가시킬 수 있다. 또 다른 방법으로, 합계 또는 다른 결합은 템플릿의 모든 빔에 동일한 가중치를 부여하지 않는 가중 프로세스일 수 있다. 예를 들어, 모델링되는 터치 이벤트의 중심에 근접하여 통과하는 빔은 더 멀리 떨어져있는 것보다 더 많이 가중될 수 있다. 또는, 템플릿의 빔의 각도 다양성은 또한 가중치로 표현 될 수 있다. 각도가 다양한 빔은 그렇지 않은 빔보다 더 많이 가중된다.
일련의 N 개 빔이 있는 경우에, 분석은 비교적 적은 개수의 빔들로 시작할 수 있다. 특정 신뢰 레벨 (또는 SNR)에 도달할 때까지 필요에 따라 추가적인 빔들이 프로세스에 추가될 수 있다. 다음에 추가되어야하는 빔의 선택은 소정의 스케줄에 따라 진행될 수 있다. 대안적으로, 그 시간까지의 처리 결과에 따라 진행할 수 있다. 가령, 특정 방향의 빔이 낮은 신뢰도 결과를 제공하는 경우, 전체적인 신뢰도를 증가시키기 위해 그 방향을 따라 있는 더 많은 빔들이 (다른 방향을 따라 광선의 비용으로)추가될 수 있다.
템플릿에 대한 데이터 레코드는 템플릿에 대한 추가 정보를 포함할 수 있다. 가령, 이러한 정보는, 접촉 영역의 위치, 접촉 영역의 크기 및 형상, 모델링되는 터치 이벤트 유형(예를 들어, 손가락, 스타일러스 등)을 포함할 수 있다.
템플릿의 지능적 설계 및 선택에 부가하여, 템플릿의 개수 및/또는 계산 부하를 줄이기 위해 대칭성(symmetries)이 또한 사용될 수 있다. 대부분의 응용은 x 축과 y 축에 대하여 대칭적으로 배치된 에미터와 검출기를 구비하는 직사각형의 활성 영역을 사용한다. 이 경우, 네 개의 사분면 대칭성이 이용되어 1/4배 감소 인자를 달성할 수 있다. 하나의 사분면에 대해 작성된 템플릿은 대칭성을 이용하여 다른 3개의 사분면으로 확장될 수 있다. 대안적으로, 다른 3개의 사분면에서의 가능한 터치 포인트에 대한 데이터는 변환된 후에 단일 사분면의 템플릿에 대하여 매칭될 수 있다. 활성 영역이 정사각형인 경우, 8개의 대칭성이 있을 수 있다.
이동-불변(shift-invariance)과 같은 다른 유형의 감소가 또한 템플릿의 개수 및/또는 계산 부하의 수를 줄일 수 있다. 도 12B-C의 템플릿 모델이 또 하나의 예이다.
또한, 템플릿의 처리 순서가 또한 연산 부하를 감소시키는데 사용될 수 있다. 근처에 있는 터치들의 템플릿 사이에 실질적인 유사성이 있을 수 있다. 예를 들어, 그들은 다수의 공통되는 빔을 가질 수 있다. 하나가 이전 템플릿 처리의 장점을 취할 수 있도록 하는 순서로 템플릿들을 진행함으로써 이점을 취할 수 있다.
E. 다중-경로 처리
도 2를 참조하면, 처리 단계는 단일 패스 프로세스일 필요 없으며 하나의 기술에만 제한될 필요도 없다. 터치 이벤트의 위치를 판단하기 위해 여러 처리 기법들이 결합되거나 함께 사용될 있다.
도 13은 여러 단계에 기반한 다중-경로 처리 단계의 흐름도이다. 이 예는 폭넓은 빔들이 에미터에서 검출기로 전송되는 도 9에 도시된 물리적 설정을 사용한다. 투과 계수 Tjk은 0(완전 차단)에서 1 (완전 차단 해제)에 이르는 아날로그 값이다.
제1 단계(1310)는 도 12B-D에서 설명되는 바와 같이, 빠른 이진 템플릿 매칭에 의존한다. 이 단계에서, 템플릿은 이진이며 투과율 T'jk 또한 이진으로 가정한다. 이진 투과율 T'jk 는 아날로그 값을 반올림 또는 임계치화함으로써 아날로그 값 Tjk로부터 생성될 수 있다(1312). 이진값 T'jk 는 후보 터치 포인트의 예비 목록을 생성하기 위해 이진 템플릿에 대하여 매칭된다(1314). 터치의 일부 유형이 임계값 위에 있는 빔을 생성하지 않는 경우 임계화된 투과율은 문제가 될 수 있다. 대안은 개별 투과율의 결합치(가령, 합)를 임계치화하는 것이다.
몇 가지 간단한 클린업(clean-up,1316)이 상기 목록을 개선하기 위해 수행된다. 예를 들어, 중복 후보 터치 포인트를 제거하거나 근접 또는 서로 유사한 후보 터치 포인트를 결합하는 간단한 것일 수 있다. 예를 들어, 이진 투과율 T'jk가 위치 (x, y)에서의 5mm 직경 터치, 위치(x, y)에서의 7mm 직경 터치 및 위치(x, y)에서의 9mm 직경 터치에 대해 템플릿을 매칭시킬 수 있다. 이들은 위치 (x, y)에서의 단일 후보 터치 포인트로 통합될 수 있다.
단계(1320)은 좀 더 정제된 방식을 이용하여, 오탐(false positive)을 제거하는데 사용된다. 각 후보 터치 포인트에 대하여, 실제 터치 포인트로서 후보를 입증하거나 제거하기 위해 인접 빔들이 사용될 수 있다. US 특허 출원 제 13/059,817호에 설명된 기술이 이러한 목적을 위해 사용될 수 있다. 이 단계는 광 빔의 실제 폭에 대한 고려에 부가하여 아날로그 값 Tjk를 또한 사용할 수 있다. 단계(1320)의 출력은 확인된 터치 포인트 목록이다.
최종 단계(1330)는 각 터치 포인트의 위치를 정제한다. 예를 들어, 앞서 설명한 보간 기술들이 보다 나은 정확도로 위치를 결정하기 위해 사용될 수 있다. 대략적인 위치가 이미 알려져 있기 때문에, 단계(1330)는 훨씬 적은 개수의 빔들(즉, 국부적으로 인접한 빔들)로 동작할 수 있으나, 해당 데이터에 좀 더 집중된 계산을 적용 할 수 있다. 최종 결과는 판단된 터치 위치이다.
또한, 다중-경로 처리를 위해 기타 다른 기술들이 사용될 수 있다. 예를 들어, 선 영상 또는 터치 이벤트 모델이 또한 사용될 수 있다. 대안적으로, 동일한 기법이 두 번 또는 반복적 방식으로 더 사용될 수 있다. 예를 들어, 터치 위치의 후보 집합을 판단하기 위해 저해상도 템플릿이 먼저 사용된 후에 터치의 정확한 위치 및 형상을 좀더 정확하게 판단하기 위해 좀더 높은 해상도 템플릿 또는 터치 이벤트 모델이 사용될 수 있다.
F. 빔 가중화
투과 계수를 처리함에 있어서, 투과 계수를 가중화하거나 우선순위 매기는 것은 통상적이다. 효율적으로 가중화하는 것은 일부 빔들이 다른 빔들보다 더욱 중요하다는 것을 의미한다. 가중화는 필요시에 처리중에 판단되거나, 룩업 테이블 또는 리스트로부터 선정되거나 검색될 수 있다.
빔을 가중화하기 위한 한 가지 요인은 각도 다양성이다. 일반적으로, 다양한 각도의 빔들에 상대적으로 각도가 덜 다양한 빔들에 비해 높은 가중치가 부여된다. 제1 빔이 주어진 경우에, 제1 빔과 적은 각도 다양성을 갖는 제2 빔(즉, 제1 빔과 대략적으로 평행인 빔)에는 가중치가 낮게 부여되는데, 이는 터치 이벤트의 위치에 대해 제1 빔이 제공하는 것 이외에 별다르게 추가적인 정보를 제공하지 못하기 때문이다. 역으로, 제1 빔에 대해 상대적으로 높은 각도 다양성을 갖는 제2 빔에는 제1 빔의 어디에 터치 포인트가 발생하는지를 판단하는데 좀더 높은 가중치가 부여된다.
빔을 가중화하기 위한 다른 요인은 빔 에미터 및/또는 검출기 사이의 위치 차이(즉, 공간적 다양성)이다. 일반적으로, 공간적 다양성이 클수록 더 높은 가중치가 부여되는데, 이는 이미 이용 가능한 정보에 비교하여 더 많은 정보를 나타내기 때문이다.
빔을 가중화하기 위한 또다른 가능한 요인은 빔 밀도이다. 활성 영역 구역을 경유하는 빔들이 다수 존재하는 경우에, 각 빔은 다수의 빔들중 하나에 불과하여 개별 빔은 덜 중요하게 되므로 가중화가 적게 될 수 있다. 역으로, 활성 영역 구역을 경유하는 빔들이 소수인 경우에, 이들 빔의 각각은 그들이 전달하는 정보가 좀더 중요해지기 때문에 가중화가 크게 될 수 있다.
또다른 측면에서, 빔을 가중화하기 위해 공칭(nominal) 빔 투과율(즉, 터치 이벤트가 존재하지 않는 경우의 투과율)이 이용될 수 있다. 더 높은 공칭 빔 투과율을 갖는 빔들이 낮은 공칭 빔 투과율을 갖는 빔들에 비해 더 잡음에 강하기 때문에 더욱신뢰할 수 있는 것으로 고려될 수 있다. 이용 가능한 경우에, 신호대 잡음비또한 빔을 가중화하기 위해 유사하게 이용될 수 있다. 좀더 높은 신호대 잡음비를 갖는 빔들은 좀더 신뢰할 수 있는 것으로 고려되어, 좀더 높은 가중치를 부여받을 수 있다.
가중치는, 일단 결정되면, 가능한 터치 위치에 연관된 소정의 템플릿의 성능 지수(신뢰도)를 계산하는데 이용될 수 있다. 빔 투과율/신호대 잡음비는 보간 프로세스에서도 이용될 수 있는데, 라인 이미지에서 소정의 터치 그림자로부터 도출된 보간된 라인 이미지에 연관된 단일의 신뢰도 측정치로 모여진다. 불확실한 빔 데이터로부터 도출된 라인들보다는 신뢰할 수 있는 빔들로 이루어진 그림자로부터 도출된 보간 라인들에 최종 터치 포인트 위치를 결정함에 있어 좀더 큰 가중치가 부여될 수 있다.
이들 가중치는 다수의 다양한 방식들로 이용될 수 있다. 하나의 방식에서, 후보 터치 포인트가 실제 터치 이벤트인지 여부는 후보 터치 포인트에 의해 차단될 빔들(또는 빔들의 부집합)의 투과 계수를 결합한 결과에 따라 판단된다. 투과 계수는 합산, 평균화, 중앙값/백분위수, 제곱근 등의 다양한 방식으로 결합될 수 있다. 가중화가, 가령, 비가중화된 평균 대신에 가중화된 평균을 구하는 프로세스의 일부로서 포함될 수 있다. 공통의 접촉 영역에서 중첩되는 다수의 빔들을 결합함으로써 좀더 높은 신호대 잡음비 및/또는 좀더 큰 신뢰도를 얻을 수 있다. 결합은 점진적으로 또는 반복적으로 수행되어, 높은 SNR, 높은 신뢰도 결정을 달성하기 위해 및/또는 터치 이벤트의 판단의 모호성을 줄이기 위해 필요한 만큼 결합되는 빔의 개수를 증가시킬 수 있다.
IV. 응용
전술한 터치-감지 장치는 다양한 응용들에서 이용될 수 있다. 응용의 한 종류로서, 터치-감지 디스플레이가 있다. 이는 테블릿, 랩탑, 데스크탑, 게임 콘솔, 스마트폰 및 다른 유형의 컴퓨터 장치들을 포함할 수 있다. 또한, TV용 디스플레이, 디지털 사이니지(digital signage), 공공 정보, 게시판, 전자책 및 다른 유형의 좋은 해상도 디스플레이를 포함할 수 있다. 그러나, 이들은 좀더 작거나 낮은 해상도의 디스플레이, 가령, 좀더 단순한 핸드폰, 사용자 콘트롤(복사 콘트롤, 프린터 콘트롤, 가전제품 콘트롤 등에도 사용될 수 있다. 이러한 터치-감지 장치들은 디스플레이이외의 다른 응용들에도 사용될 수 있다. 터치가 감지되는 표면은 인쇄된 영상 또는 단순히 임의의 딱딱한 표면과 같은 수동형 소자일 수 있다. 이러한 응용은 트랙볼 또는 마우스와 유사한 사용자 인터페이스로 이용될 수 있다.
V. 추가적인 고려 상황
전술한 도면들은 예시적인 목적으로 본 발명의 실시예들을 도시한 것이다. 본 기술 분야의 당업자들이라면 이하의 설명으로부터 이제까지 설명된 본 발명의 원리를 벗어나지 않는 범위내에서 다양한 변형된 구조 및 방법 실시예들이 채용될 수 있음을 쉽게 이해할 것이다.
전술한 설명을 통해, 본 기술 분야의 당업자들은 전술한 본 발명의 원리를 통해 추가적인 대안 구조 및 기능의 설계가 또한 이해될 것이다. 따라서, 특정 실시예들 및 응용들에 대하여 이제까지 서술하였지만, 이러한 실시예들이 여기서 설명된 정확한 구조 및 구성요소에 제한되는 것은 아님을 이해하여야 한다. 이하의 첨부된 청구항에 정의된 본 발명의 정신 및 범주를 벗어나지 않는 범위에서 이제까지 설명한 방법 및 장치의 구성, 동작 및 상세사항들에 다양한 변형, 변경 및 수정이 이루어질 수 있음은 본 기술분야의 당업자에게 자명하다.

Claims (23)

  1. 표면상의 동시적인 터치 이벤트를 판단하기 위한 방법으로서, 상기 표면은 그의 둘레에 배치되는 에미터 및 검출기를 포함하고, 상기 에미터는 상기 검출기에 의해 수신되는 광 빔을 산출하고, 상기 터치 이벤트는 상기 광 빔을 방해하고, 상기 방법은,
    아나로그 표시(analog indication) 및 빔 방해도의 등급 측정(gradated measure) 중 적어도 하나를 가지고, 상기 터치 이벤트에 의해 방해된 빔을 나타내는 수치 메트릭(numerical metrics)을 수신하는 단계;
    후보 터치 이벤트에 대해, 상기 후보 터치 이벤트에 의해 방해될 수 있는 적어도 2개의 빔들에 대한 상기 수치 메트릭을 결합하는 단계; 및
    상기 결합된 메트릭스에 기반하여 상기 터치 이벤트를 판단하는 단계;를 포함하고,
    상기 수치 메트릭을 결합하는 단계는,
    상기 수치 메트릭들의 가중 평균치를 산출하는 단계를 포함하며,
    상기 2개의 빔들이 동일한 에미터로부터 방출되거나 동일한 검출기에 의해 검출되는 경우에 상기 2개의 빔들은 적게 가중화되는, 방법.
  2. 제1항에 있어서,
    상기 수치 메트릭을 결합하는 단계는,
    결합되지 않은 수치 메트릭을 수신하는 것과 비교할 때, 더 높거나 동일한 SNR의 결과를 도출하는, 방법.
  3. 제1항에 있어서,
    상기 수치 메트릭을 결합하는 단계는,
    후보 터치 포인트가 터치 이벤트의 위치인지 여부를 판단함에 있어서 결합되지 않은 수치 메트릭보다 높은 신뢰도를 도출하는, 방법.
  4. 제1항에 있어서,
    상기 수치 메트릭을 결합하는 단계는,
    상기 수치 메트릭을 합산하는 단계를 포함하는 방법.
  5. 제1항에 있어서,
    상기 수치 메트릭을 결합하는 단계는,
    상기 수치 메트릭의 평균치를 산출하는 단계를 포함하는 방법.
  6. 제1항에 있어서,
    상기 수치 메트릭을 결합하는 단계는,
    상기 수치 메트릭의 중앙값을 선택하는 단계를 포함하는 방법.
  7. 제1항에 있어서,
    상기 수치 메트릭을 결합하는 단계는,
    상기 수치 메트릭의 특정 백분위수를 선택하는 단계를 포함하는 방법.
  8. 제1항에 있어서,
    상기 수치 메트릭을 결합하는 단계는,
    상기 수치 메트릭의 평균 제곱근을 산출하는 단계를 포함하는 방법.
  9. 제1항에 있어서,
    상기 수치 메트릭을 결합하는 단계는,
    K(K는 2이상의 정수임)개의 빔들에 대한 결합 메트릭을 판단하는 단계; 및
    K개 초과의 빔들에 대한 결합 메트릭을 후속하여 판단하는 단계;를 포함하는 방법.
  10. 제9항에 있어서,
    후보 터치 포인트에 대한 상기 빔들은 정렬되고,
    K개의 빔에 대한 결합 메트릭은 상기 정렬에서 첫 번째 K개의 빔들에 기반하고,
    K개 이상의 빔들에 대한 결합 메트릭은 상기 정렬에서 첫 번째 (K개 초과) 빔들에 기반하는 방법.
  11. 제9항에 있어서,
    상기 K개 초과의 빔들에 대한 결합 메트릭을 후속하여 판단하는 단계는,
    K개 빔들에 대한 결합 메트릭이 너무 낮은 신뢰도를 가질 때 발생하는, 방법.
  12. 제9항에 있어서,
    상기 K개 초과의 빔들에 대한 결합 메트릭을 후속하여 판단하는 단계는,
    K개 빔들에 대한 결합 메트릭이 너무 낮은 SNR를 가질 때 발생하는, 방법.
  13. 제9항에 있어서,
    상기 K개 초과의 빔들에 대한 결합 메트릭을 후속하여 판단하는 단계는,
    터치 이벤트를 판단할 때의 모호성(ambiguity)에 응답하여 발생하는, 방법.
  14. 제1항에 있어서,
    에미터들로부터 검출기들로 가는 빔들은 터치 이벤트에 의해 부분적으로 방해될 만큼의 충분한 폭을 가지고,
    상기 수치 메트릭은 이러한 부분적 방해도의 함수인, 방법.
  15. 제1항에 있어서,
    상기 수치 메트릭은 에미터들에서 검출기들로의 빔 투과를 나타내고,
    상기 적어도 2개의 빔은 상기 후보 터치 포인트에 의해 감소되는 투과를 갖게 되는 적어도 2개의 빔을 포함하는, 방법.
  16. 제1항에 있어서,
    상기 수치 메트릭은 에미터들과 검출기들 간의 빔 투과 계수인 방법.
  17. 제1항에 있어서,
    상기 수치 메트릭은 에미터들과 검출기들 간의 빔 편광(polarization) 변경치를 측정하는, 방법.
  18. 제1항에 있어서,
    상기 수치 메트릭은 에미터들과 검출기들 간의 빔의 전파각 변경치를 측정하는, 방법.
  19. 제1항에 있어서,
    후보 터치 포인트의 중앙에 근접한 빔이 상기 후보 터치 포인트의 중앙으로부터 멀리 떨어진 빔보다 더 많이 가중화되는, 방법.
  20. 제1항에 있어서,
    다양한 각도로 벌어진 빔들이 서로 평행한 빔들보다 더 많이 가중화되는, 방법.
  21. 제1항에 있어서,
    상기 적어도 2개의 빔들 모두 상기 후보 터치 포인트의 접촉 영역에서 중첩되는, 방법.
  22. 제1항에 있어서,
    상기 적어도 2개의 빔들 모두 상기 후보 터치 포인트의 접촉 영역에서 적어도 50% 중첩되는, 방법.
  23. 광터치-감지 장치로서,
    터치 이벤트가 검출될 표면;
    상기 표면의 둘레에 배치되는 복수의 에미터들 및 검출기들; 및
    상기 에미터들 및 검출기들에 직접적으로 또는 간접적으로 결합되는 터치 이벤트 프로세서를 포함하며,
    상기 에미터들은, 상기 검출기들에 의해 수신될 광 빔을 산출하고,
    상기 터치 이벤트는, 상기 광 빔을 방해하며,
    상기 터치 이벤트 프로세서는,
    터치 이벤트에 의해 방해된 빔을 나타내는 수치 메트릭을 수신하고,
    후보 터치 포인트에 대하여, 상기 후보 터치 포인트에 의해 방해될 수 있는 적어도 2개의 빔들에 대한, 최소 하나의 아나로그 표시(analog indication) 및 빔 방해도의 등급 측정(gradated measure)을 갖는 상기 수치 메트릭을 결합하며,
    상기 결합된 메트릭에 기반하여 터치 이벤트를 판단하고,
    상기 수치 메트릭을 결합하는 것은,
    상기 수치 메트릭의 가중 평균치를 산출하는 것을 포함하며,
    2개의 빔들이 동일한 에미터로부터 방출되거나 동일한 검출기에 의해 검출되는 경우, 상기 2개의 빔들은 적게 가중화되는, 광터치-감지 장치.
KR1020187029929A 2012-04-30 2013-04-30 터치 이벤트 템플릿을 이용한 광학 터치-감지 장치에서의 다중 터치 이벤트 검출 KR101980872B1 (ko)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US13/460,703 US9092092B2 (en) 2008-08-07 2012-04-30 Detecting multitouch events in an optical touch-sensitive device using touch event templates
US13/460,704 2012-04-30
US13/460,709 2012-04-30
US13/460,709 US8531435B2 (en) 2008-08-07 2012-04-30 Detecting multitouch events in an optical touch-sensitive device by combining beam information
US13/460,704 US9063615B2 (en) 2008-08-07 2012-04-30 Detecting multitouch events in an optical touch-sensitive device using line images
US13/460,703 2012-04-30
PCT/IB2013/001927 WO2014027241A2 (en) 2012-04-30 2013-04-30 Detecting multitouch events in an optical touch-sensitive device using touch event templates

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020147032009A Division KR101910607B1 (ko) 2012-04-30 2013-04-30 터치 이벤트 템플릿을 이용한 광학 터치-감지 장치에서의 다중 터치 이벤트 검출

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020197014019A Division KR102053346B1 (ko) 2012-04-30 2013-04-30 터치 이벤트 템플릿을 이용한 광학 터치-감지 장치에서의 다중 터치 이벤트 검출

Publications (2)

Publication Number Publication Date
KR20180115367A KR20180115367A (ko) 2018-10-22
KR101980872B1 true KR101980872B1 (ko) 2019-05-21

Family

ID=49780093

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020197014019A KR102053346B1 (ko) 2012-04-30 2013-04-30 터치 이벤트 템플릿을 이용한 광학 터치-감지 장치에서의 다중 터치 이벤트 검출
KR1020147032009A KR101910607B1 (ko) 2012-04-30 2013-04-30 터치 이벤트 템플릿을 이용한 광학 터치-감지 장치에서의 다중 터치 이벤트 검출
KR1020187029929A KR101980872B1 (ko) 2012-04-30 2013-04-30 터치 이벤트 템플릿을 이용한 광학 터치-감지 장치에서의 다중 터치 이벤트 검출

Family Applications Before (2)

Application Number Title Priority Date Filing Date
KR1020197014019A KR102053346B1 (ko) 2012-04-30 2013-04-30 터치 이벤트 템플릿을 이용한 광학 터치-감지 장치에서의 다중 터치 이벤트 검출
KR1020147032009A KR101910607B1 (ko) 2012-04-30 2013-04-30 터치 이벤트 템플릿을 이용한 광학 터치-감지 장치에서의 다중 터치 이벤트 검출

Country Status (5)

Country Link
EP (1) EP2845082B1 (ko)
JP (1) JP6216776B2 (ko)
KR (3) KR102053346B1 (ko)
CN (3) CN107329634B (ko)
WO (1) WO2014027241A2 (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10108301B2 (en) 2014-09-02 2018-10-23 Rapt Ip Limited Instrument detection with an optical touch sensitive device, with associating contacts with active instruments
WO2017203355A1 (en) * 2016-05-23 2017-11-30 Rapt Ip Limited Instrument detection with an optical touch sensitive device, with associating contacts with active instruments
CN117311543A (zh) 2017-09-01 2023-12-29 平蛙实验室股份公司 触摸感测设备
US11169641B2 (en) * 2018-01-23 2021-11-09 Beechrock Limited Compliant stylus interaction with touch sensitive surface
WO2019159012A1 (en) * 2018-02-19 2019-08-22 Rapt Ip Limited Unwanted touch management in touch-sensitive devices
CN112889016A (zh) 2018-10-20 2021-06-01 平蛙实验室股份公司 用于触摸敏感装置的框架及其工具
CN110515482B (zh) * 2019-07-05 2023-08-15 湖州佳格电子科技股份有限公司 基于表面形变的红外触摸屏压力感应方法
CN114730228A (zh) * 2019-11-25 2022-07-08 平蛙实验室股份公司 一种触摸感应设备

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6690363B2 (en) * 2000-06-19 2004-02-10 Next Holdings Limited Touch panel display system
US7262764B2 (en) * 2002-10-31 2007-08-28 Microsoft Corporation Universal computing device for surface applications
CN101137956A (zh) * 2005-03-10 2008-03-05 皇家飞利浦电子股份有限公司 用于检测与触摸屏显示器交互的多个对象的位置、大小和形状的系统和方法
JP5016049B2 (ja) * 2006-09-13 2012-09-05 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 対象の方向性の決定
US20090219256A1 (en) * 2008-02-11 2009-09-03 John David Newton Systems and Methods for Resolving Multitouch Scenarios for Optical Touchscreens
TW201005606A (en) * 2008-06-23 2010-02-01 Flatfrog Lab Ab Detecting the locations of a plurality of objects on a touch surface
JP5378519B2 (ja) * 2008-08-07 2013-12-25 ドラム,オウエン 光学タッチセンサー式デバイスにおけるマルチタッチ事象を検出する方法および装置
US8659556B2 (en) * 2008-09-10 2014-02-25 Apple Inc. Advanced receive channel architecture
WO2010036262A1 (en) * 2008-09-26 2010-04-01 Hewlett-Packard Development Company, L.P. Determining touch locations using disturbed light
FI121862B (fi) * 2008-10-24 2011-05-13 Valtion Teknillinen Järjestely kosketusnäyttöä varten ja vastaava valmistusmenetelmä
SE533704C2 (sv) * 2008-12-05 2010-12-07 Flatfrog Lab Ab Pekkänslig apparat och förfarande för drivning av densamma
TWI524238B (zh) * 2009-03-31 2016-03-01 萬國商業機器公司 多觸點光學接觸面板
US20100289755A1 (en) * 2009-05-15 2010-11-18 Honh Kong Applied Science and Technology Research Institute Co., Ltd. Touch-Sensing Liquid Crystal Display
RU2012118597A (ru) * 2009-10-19 2013-11-27 ФлэтФрог Лэборэторис АБ Определение данных касания для одного или нескольких предметов на сенсорной поверхности
CN102231093B (zh) * 2011-06-14 2013-07-31 伍斌 一种屏幕定位控制方法及装置

Also Published As

Publication number Publication date
KR20150056749A (ko) 2015-05-27
CN107329634A (zh) 2017-11-07
EP2845082A2 (en) 2015-03-11
CN111443832A (zh) 2020-07-24
CN104641329A (zh) 2015-05-20
KR101910607B1 (ko) 2018-10-23
WO2014027241A2 (en) 2014-02-20
CN107329634B (zh) 2021-03-16
CN104641329B (zh) 2017-09-08
WO2014027241A3 (en) 2014-09-12
KR20180115367A (ko) 2018-10-22
KR102053346B1 (ko) 2020-01-08
JP2015519649A (ja) 2015-07-09
KR20190055275A (ko) 2019-05-22
JP6216776B2 (ja) 2017-10-18
EP2845082B1 (en) 2021-10-06

Similar Documents

Publication Publication Date Title
US10795506B2 (en) Detecting multitouch events in an optical touch- sensitive device using touch event templates
KR101980872B1 (ko) 터치 이벤트 템플릿을 이용한 광학 터치-감지 장치에서의 다중 터치 이벤트 검출
US8531435B2 (en) Detecting multitouch events in an optical touch-sensitive device by combining beam information
US10534480B2 (en) Instrument detection with an optical touch sensitive device
US20200387237A1 (en) Instrument with Passive Tip
US11624878B2 (en) Waveguide-based image capture
US9671900B2 (en) Optical touch tomography
US9965101B2 (en) Instrument detection with an optical touch sensitive device
US9791977B2 (en) Transient deformation detection for a touch-sensitive surface

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
A302 Request for accelerated examination
A302 Request for accelerated examination
E701 Decision to grant or registration of patent right
A107 Divisional application of patent
GRNT Written decision to grant