KR101690205B1 - 광 터치 토모그래피 - Google Patents

광 터치 토모그래피 Download PDF

Info

Publication number
KR101690205B1
KR101690205B1 KR1020157017579A KR20157017579A KR101690205B1 KR 101690205 B1 KR101690205 B1 KR 101690205B1 KR 1020157017579 A KR1020157017579 A KR 1020157017579A KR 20157017579 A KR20157017579 A KR 20157017579A KR 101690205 B1 KR101690205 B1 KR 101690205B1
Authority
KR
South Korea
Prior art keywords
touch
determining
touch event
event
sensitive surface
Prior art date
Application number
KR1020157017579A
Other languages
English (en)
Other versions
KR20150109346A (ko
Inventor
줄리안 피오트
미하일로 코룬드지아
다닐 코르차긴
이반 도크매닉
마틴 베테를리
오웬 드럼
Original Assignee
랩트 아이피 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 랩트 아이피 리미티드 filed Critical 랩트 아이피 리미티드
Publication of KR20150109346A publication Critical patent/KR20150109346A/ko
Application granted granted Critical
Publication of KR101690205B1 publication Critical patent/KR101690205B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/04166—Details of scanning methods, e.g. sampling time, grouping of sub areas or time sharing with display driving
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0421—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04104—Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04109—FTIR in optical digitiser, i.e. touch detection by frustrating the total internal reflection within an optical waveguide due to changes of optical properties or deformation at the touch location

Abstract

광 터치-감지 장치는 다수의 동시에 발생하는 터치 이벤트의 터치 위치를 결정할 수 있다. 터치 이벤트는 터치 감지면을 걸쳐 전파되는 광 빔을 방해한다. 멀티-터치 이벤트에 의해, 하나의 빔은 하나의 터치 이벤트에 의한 것보다 더 많이 방해될 수 있다. 일 측면에서, 비선형 변환이 단일 광 빔에 대한 다수의 터치 이벤트의 효과를 선형화하기 위해 광 빔의 측정에 적용된다. 다른 측면에서, 공지의 터치 이벤트(즉, 기준 터치)의 효과가 미리 모델링되어 미지의 터치 이벤트는 기준 터치 이벤트에 관련하여 결정된다.

Description

광 터치 토모그래피{Optical Touch Tomography}
본원은 2012년 11월 30에 출원된 미국 가출원 제 61/732,225호 "광 터치 모토그래피(Optical Touch Tomography)"에 대한 우선권을 주장한다. 그 출원 전체가 본 명세서 포함된다.
본 발명은 터치-감지 장치 상에서 터치 이벤트를 검출하고 분해하는 것에 일반적으로 관련되며, 특히, 멀티-터치 이벤트를 감지하고 분해하는 것에 관련된다.
컴퓨팅 장치와의 상호 작용을 위한 터치-감지 디스플레이가 점점 대중화되고 있다. 터치-감지 디스플레이 및 기타 터치-감지 장치를 구현하기 위한 다수의 다양한 기술이 존재한다. 이러한 기술의 예로서, 저항성 터치 스크린, 탄성 표면파 터치 스크린, 전기 용량 터치 스크린 및 특정 종류의 광학식 터치 스크린을 들 수 있다.
그러나, 대부분 이러한 방식들은 현재 많은 결점을 갖고 있다. 예를 들어, 일부 기술은 현대 휴대 전화기에 사용되는 대부분 작은 크기의 디스플레이에서는 잘 동작할 수 있지만 노트북 또는 데스크탑 컴퓨터에 사용되는 디스플레이와 같이 더 큰 화면 크기에는 확장성이 좋지 않다. 특별하게 가공된 표면 또는 표면상의 특정 구성요소를 이용할 필요가 있는 기술에 대해서, 선형 인자 N으로 화면 크기를 증가시키는 것은 특별한 처리가 면적이 N2배 커진 화면을 다루기 위해서 반드시 확대되어야 하거나 N2배로 많은 특별한 요소가 필요하다는 것을 의미한다. 이는 수용불가할 정도로 낮은 수율 또는 엄청나게 높은 비용을 초래할 수 있다.
일부 기술의 다른 단점은 멀티-터치 이벤트를 처리하지 못하거나 처리하기 어렵다는 점이다. 멀티-터치 이벤트는 다수의 터치 이벤트가 동시에 발생할 때 발생한다. 이것은 원시 검출 신호를 불명확하게 할 수 있는데, 이 불명확성은 이후에 반드시 해결되어야 한다. 불명확성은 신속하고 연산적으로 효율적인 방식으로 반드시 해결되어야 한다는 점이 중요하다. 만약 지나치게 느리면, 그 기술은 시스템이 요구하는 터치 샘플링 비율을 전달할 수 없게 된다. 만약 연산량이 방대하면, 비용과 그 기술 사용에 필요한 전력 소비가 증가하게 된다.
다른 단점은 기술들이 증가하는 해상도 요구를 충족하지 못할 수 있다는 점이다. 터치-감지면이 길이와 폭 치수 L x W를 가진 직사각형이고, 응용은 터치 점이 각각 δl과 δw의 정확도로 위치되어야 한다고 가정하자. 유효한 필요 해상도는 R = (L W) / (δl δw)이다. 우리는 R을 터치 점의 유효 개수라고 표현하겠다. 기술이 진보할수록, R의 분자는 일반적으로 증가하고 분모는 감소하므로, 필요 터치 해상도 R에 대해서 전체적으로 증가하는 경향으로 나아가고 있다.
따라서, 개선된 터치-감지 시스템이 요구되고 있다.
광 터치-감지 장치는 다수의 동시에 발생하는 터치 이벤트의 터치 위치를 결정할 수 있다. 터치 이벤트는 터치 감지면을 걸쳐 전파되는 광 빔을 방해한다. 멀티-터치 이벤트에 의해, 하나의 빔은 하나의 터치 이벤트에 의한 것보다 더 많이 방해될 수 있다. 일 측면에서, 비선형 변환이 단일 광 빔에 대한 다수의 터치 이벤트의 효과를 선형화하기 위해 광 빔의 측정에 적용된다. 다른 측면에서, 공지의 터치 이벤트(즉, 기준 터치)의 효과가 미리 모델링되어 미지의 터치 이벤트는 기준 터치 이벤트에 관련하여 결정된다.
일부 실시예에서, 멀티-터치 이벤트로부터 발생한 빔 측정값이 수신된다. 빔 측정값은 멀티-터치 이벤트가 터치 지역 근처에서 광 빔을 방해하는 터치 감지면에 걸쳐 전송되는 상이한 광 빔으로부터 발생한다. 결합값 추정치는 광 빔 측정값과 전달 함수에 기초한 모델에 기초하여 결정된다. 결합값 추정치는 기준 터치에 대한 광 빔 방해의 척도이다. 전달 함수는 결합값에서 광 빔 측정치로의 전달 함수이다. 전달 함수는 선형이다.
멀티-터치 이벤트에서 개별 터치 이벤트에 대한 터치 지역(예를 들어, 터치 위치)은 결합값 추정치로부터 결정된다. 선택적으로, 터치 이벤트의 하나 이상의 다른 물리적 속성도 결정된다. 일부 실시예에서, 멀티-터치 이벤트를 생성하는 물체의 종류(예를 들어, 손가락, 스타일러스, 펜 등)는 멀티-터치 이벤트의 하나 이상의 특성(예를 들어, 터치 지역의 형상, 터치 지역의 면적, 터치 지역의 치수, 터치 이벤트의 압력 프로필 또는 기울기, 터치 이벤트의 압력 값 등)에 기초하여 결정된다.
다른 측면에서, 광 터치-감지 장치는 터치 감지면의 둘레를 따라서 위치된 다수의 에미터와 검출기를 포함한다. 각 에미터는 검출기에 의해 수신되는 광 빔을 생성한다. 광 빔은 바람직하게는 많은 광 빔이 하나의 검출기에 동시에 검출될 수 있는 방법으로 다중화된다. 멀티-터치 이벤트는 터치 감지면의 다양한 터치 지역에서 광 빔과 상호작용하는 동시 터치 이벤트를 포함할 수 있다.
다른 측면은, 구성요소, 장치, 시스템, 방법, 처리절차, 소프트웨어, 응용, 개선 및 상술한 것에 관련된 다른 기술을 포함한다.
본 발명의 실시예들이 첨부된 도면에 참조하여 예로서 설명될 것이다.
도 1은 일 실시예에 따른 광학 터치 감지 장치의 도면이다.
도 2는 일 실시예에 따라 터치 이벤트의 위치를 결정하기 위한 흐름도이다.
도 3a-3f는 광 빔과의 터치 상호작용에 대한 상이한 메커니즘을 도시한다.
도 4는 바이너리 및 아날로그 터치 상호작용의 그래프이다.
도 5a-5c는 상이하게 형성된 빔 풋프린트의 상면도이다.
도 6a-6b는 좁은 빔과 넓은 빔을 각각 가로질러 이동하는 터치 이벤트를 도시하고 있는 상면도이다.
도 7은 도 6의 좁은 빔과 넓은 빔에 대한 바이너리 및 아날로그 응답의 그래프이다.
도 8a-8b는 에미터에 의한 활성 영역을 도시하는 상면도이다.
도 8c-8d는 검출기에 의한 활성 영역을 도시하는 상면도이다.
도 8e는 교대로 배치된 에미터와 검출기를 도시하는 상면도이다.
도 9a는 멀티-터치 이벤트에 의해 방해된 광 빔을 도시하는 상면도이다.
도 9b는 도 9a의 광 빔과 멀티-터치 이벤트간의 터치 상호작용을 도시하는 측면도이다.
도 10은 기준 터치 세트를 도시하는 상면도이다.
도 11은 멀티-터치 이벤트를 개별 터치 이벤트로 분해하는 방법의 흐름도이다.
도 12는 터치 감지면에 대한 결합값 추정치의 그레이스케일 이미지이다.
도 13은 결합값 p에서 광 빔 측정치 b로의 전달 함수 M의 행렬 공식을 도시하고 있다.
도 14는 도 13의 행렬 공식의 역을 도시하고 있다.
도 15는 전달 함수 M을 보정하는 방법의 흐름도이다.
1. 소개
A. 장치 개요
도 1은 본 발명의 일 실시예에 따른 광 터치-감지 장치(100)의 블록도이다. 광 터치- 감지 장치(100)는, 제어기(110), 에미터/검출기 구동 회로(120) 및 터치-감지면 어셈블리(130)를 포함한다. 감지면 어셈블리(130)는 터치 이벤트가 검출될 표면(131)을 포함한다. 편의를 위해, 표면에 의해 정의되는 영역(131)은 종종 활성 표면 또는 표면으로 지칭하겠으나, 표면 자체는 전체적으로 패시브(passive) 구조일 수 있다. 어셈블리(130)는 활성 표면(131)의 둘레를 따라 배치된 에미터 및 검출기를 또한 포함한다. 상기 예에서, J개의 에미터는 Ea-EJ 로 표시되고, K개의 검출기는 D1-Dk로 표시된다 또한, 장치는 도 1에 도시된 바와 같이, 개별적으로 구현되거나 제어기(110)의 일부로서 구현될 수 있는 터치 이벤트 프로세서(140)를 포함한다. 터치 이벤트 프로세서(140)와 제어기 (110) 사이에, 또는, 터치 이벤트 프로세서(140)와 터치 이벤트 프로세서(140)에 접속된 다른 장치 사이에 통신하기 위해, 예를 들어, 표준 API가 이용될 수 있다.
에미터/검출기 구동 회로(120)는 제어기(110)와 에미터 Ej 및 검출기 Dk 사이의 인터페이스로서 역할을 한다. 에미터는 검출기에 의해 수신되는 광학 "빔"을 생성한다. 바람직하게, 하나의 에미터에 의해 생성된 광은 하나 이상의 검출기에 의해 수신되고, 각각의 검출기는 하나 이상의 에미터로부터 광을 수신한다. 편의상, "빔"은 하나의 에미터에서 하나의 검출기로 향하는 광을 지칭하겠지만, 개별 빔이라기 보다는 다수의 검출기들로 향하는 다수 빔의 일부일 수 있다. 에미터 Ej에서 검출기 Dk 에 향하는 빔을 빔 jk라 지칭한다. 도 1은 예로서 빔 a1, a2, a3, e1 및 eK를 표시한다. 활성 영역(131) 내의 터치는 특정 빔들을 방해하고, 이에 따라 검출기 Dk에 수신되는 빔들이 변한다. 이러한 변화에 대한 데이터가 터치 이벤트 프로세서(140)에 전달되고, 프로세서(140)는 해당 데이터를 분석하여 표면(131)에서의 터치 이벤트의 위치(들) (및 횟수)을 결정한다.
도 1에 도시된 광학 방식의 장점은 큰 스크린 크기에도 잘 확장된다는 것이다. 에미터와 검출기가 주변에 배치되므로, 선형 계수 N으로 스크린 크기를 증가시키면 주변 역시 N2가 아닌 N의 계수로 확장되는 것을 의미한다.
B. 프로세스 개요
도 2는 본 발명의 일 실시예에 따라 터치 이벤트의 위치를 결정하기 위한 흐름도이다. 이 프로세스는 도 1의 장치를 이용하여 설명될 것이다. 프로세스(200)는 물리적(또는 스캔) 단계(210) 및 처리 단계(220)로 지칭되는 두 단계로 대략 구별된다. 개념적으로, 이들 두 단계 사이의 분할선은 투과 계수 Tjk 집합이다.
투과 계수 Tjk 는 빔의 기준 투과율(baseline transmittance)에 비교한, 에미터 j로부터 검출기 k로의 광 빔 투과율이다. 광 빔에 대한 기준 투과율은 광 빔과 상호 작용하는 터치 이벤트가 없었다면 에미터 j에서 검출기 k로 투과되는 투과율이다. 일부 경우에, 기준 투과율은 터치 이벤트가 검출되기 전에 측정되거나 터치 이벤트가 없는 동안 특정 회수로 이전에 기록된 투과율 측정치의 평균일 수 있다. 일부 경우에, 기준 투과율은 과거에 기록된 투과율 측정치의 평균일 수 있다. 후술할 예시에서, 0(완전히 차단된 빔) 내지 1(완전히 투과된 빔) 스케일을 사용한다. 따라서, 터치 이벤트에 의해 방해되지 않은 빔 jk의 Tjk는 1이다. 터치 이벤트에 의해 완전치 차단된 빔 jk의 Tjk는 0이다. 터치 이벤트에 의해 부분적으로 차단되거나 감쇠된 빔 jk의 Tjk는 0<Tjk<1이다. 예를 들어 터치 상호작용의 특성에 따라 또는 광이 정상적으로는 도달할 수 없는 검출기 k로 굴절되거나 산란되는 경우에 Tjk>1일 수 있다.
이러한 특정 값을 사용하는 것은 단순히 일 예이며, 다른 측정치가 사용될 수도 있다. 우리는 간섭된 빔에 특히 관심있기 때문에, 보통은 0인 (1- Tjk)와 같은 역 측정치가 이용될 수도 있다. 다른 예로서, 흡수율, 감쇠율, 반사율 또는 산란율 측정치가 포함될 수 있다. 또한, 도 2에는 물리적 단계(210)와 처리 단계(220) 사이에 분할선으로서 Tjk를 이용하여 설명되었지만, Tjk가 명시적으로 산출될 필요는 없다. 물리적 단계(210)와 처리 단계(220)간의 명백한 구분도 요구되지 않는다.
도 2를 다시 참조하면, 물리적 단계(210)는 물리적인 셋업에서 Tjk를 결정하는 과정이다. 처리 단계(220)는 Tjk로부터 터치 이벤트를 결정한다. 도 2에 도시된 모델은 물리적 셋업과 그 근간이 되는 물리적 메커니즘을 후속 처리로부터 어느 정도 분리한다는 점에서 개념적으로 유용하다.
예를 들면, 물리적 단계(210)는 투과 계수 Tjk를 산출한다. 터치-감지면 어셈블리(130)에 대한 수많은 다양한 물리적 설계가 가능하고, 최종 응용에 따라 상이한 설계들의 절충점이 고려될 것이다. 예를 들어, 에미터 및 검출기는 좁거나 넓거나, 좁은 각도를 갖거나 넓은 각도를 가질 수 있으며, 다양한 파장, 다양한 전력을 가질 수 있으며, 코히런트(coherent)하거나 그렇지 않을 수 있다. 다른 예로서, 다수의 에미터들로부터의 빔들이 각 검출기에 의해 수신되도록 다양한 종류의 다중화가 또한 이용될 수 있다. 이러한 물리적인 셋업과 동작 방식 몇몇은 이하에서 주로 II절에서 설명한다.
블록(210)의 내부는 프로세스(210)의 가능한 구현 일 예를 도시한다. 이 예에서, 에미터는 복수의 검출기에 빔을 전송한다(212). 터치-감지면을 가로질러 이동하는 빔의 일부는 터치 이벤트에 의해 방해된다. 검출기는 다중화된 광 형태로 에미터로부터 빔을 수신한다(214). 수신된 빔은 개별 빔jk를 서로 구별하기 위해 역-다중화된다(216). 다음, 각 개별 빔 jk에 대한 투과 계수 Tjk는 터치 이벤트 동안 빔 jk의 투과율을 빔 jk의 기준 투과율과 비교(즉, 나누어)하여 결정된다(218).
처리 단계(220)는 물리적인 단계(210)로부터 멀티-터치 이벤트에서 발생한 Tjk 측정치를 획득하고, 하나 이상의 터치 이벤트에 대응하는 터치 지역(touch region)을 결정한다. 처리 단계(220)는 멀티-터치 이벤트시 터치 이벤트의 하나 이상의 물리적인 속성(예를 들어, 터치 또는 접촉 압력, 압력 기울기, 공간 압력 분포, 광 투과 특성 등)도 결정할 수 있다. 처리 단계(220)는 이하 III절에서 더 설명한다.
II. 물리적 셋업
터치-감지 장치(100)는 수많은 다양한 방식으로 구현될 수 있다. 이하는 다양한 설계중 일부의 예이다.
A.전자기
전자기적 특징과 관련하여, 도 1은 예시적인 것이며 본질적으로 기능적으로 도시된 것이다. 도 1에 도시된 상이한 박스들의 기능은 동일한 컴포넌트 내에 함께 구현될 수 있다.
예를 들어, 제어기(110)와 터치 이벤트 프로세서(140)는 하드웨어, 소프트웨어, 또는 이 둘의 조합으로 구현될 수 있다. 이들은 또한 일체로(예를 들어, 내부 프로세서 상에서 실행되는 코드를 구비한 SoC) 또는 개별적으로도(ASIC의 일부인 제어기, 및 그 ASIC과 통신하는 분리된 프로세서 칩 상에서 실행되는 소프트웨어인 터치 이벤트 프로세서) 구현될 수 있다. 예시적인 구현예는 전용 하드웨어(예를 들어 ASIC 또는 programmed field programmable gate array (FPGA)), 및 소프트웨어 코드(펌웨어를 포함)를 실행하는 마이크로프로세서 또는 마이크로컨트롤러( 임베디드 또는 스탠드얼론 )를 포함한다. 소프트웨어 구현은 제조 후 소프트웨어를 업데이트하여 수정될 수 있다.
에미터 /검출기 구동 회로(120)는 제어기(100)와 에미터 및 검출기 사이의 인터페이스로서 역할을 한다. 구현 예로, 제어기(110)에 대한 인터페이스는 특성상 적어도 부분적으로 디지털이다. 에미터에 관련하여, 제어기(110)는 에미터의 동작을 제어하는 명령을 보낼 수 있다. 명령은 빔 전송 시작/중지, 빔의 패턴 또는 시퀀스 변경, 출력 조정, 회로 전력 증가/감소와 같은 특정 동작을 취할 것을 의미하는, 예를 들어, 일련의 비트인 지시일 수 있다. 명령은 단순한 신호, 예를 들어, "빔 인에이블 신호"일 수도 있는데, 에미터는 빔 인에이블 신호가 하이일 때 빔을 전송하고 빔 인에이블 신호가 로우일 때는 전송하지 않는다.
에미터 /검출기 구동 회로(120)는 수신한 지시를 에미터를 구동하는 물리적인 신호로 변환한다. 예를 들어, 수신한 디지털 지시를 에미터 구동 전류로 변환하기 위하여 에미터 /검출기 구동 회로(120)는 디지털-아날로그 변환기에 결합된 디지털 로직을 포함할 수 있다. 에미터 /검출기 구동 회로(120)는 에미터를 동작하는데 이용되는 다른 회로도 포함할 수 있는데, 예를 들어, 전기적 변조를 광학 빔(또는 에미터를 구동하는 전기적 신호)에 부여하는 변조기, 제어 루프 및 에미터로부터의 아날로그 피드백이다. 에미터는 제어기로 정보도 보낼 수 있는데, 예를 들어, 에미터의 전류 상태에 대해 보고하는 신호를 제공할 수 있다.
검출기에 관련하여, 제어기(110)는 검출기의 동작을 제어하는 명령을 또한 보낼 수 있고, 검출기는 신호를 제어기에 리턴할 수 있다. 검출기는 검출기가 수신한 빔에 대한 정보도 전송한다. 예를 들어, 에미터 /검출기 구동 회로(120)는 검출기로부터 원시 또는 증폭된 아날로그 신호를 수신할 수 있다. 이후, 에미터 /검출기 구동 회로(120)는 이 신호를 조정(예를 들어, 잡음 억제)하고, 아날로그에서 디지털 형태로 변환하며, 일부 디지털 처리(예를 들어, 복조)를 적용할 수도 있다.
B.터치 상호작용
도 3a-3f는 광 빔과의 상이한 터치 상호작용 메커니즘을 도시하고 있다. 도 3a는 불완전한 내부 전반사(total internal reflection; TIR )에 기초한 메커니즘이다. 점선으로 표시된 광 빔은 광학적으로 투명한 도파관(302)을 통해 에미터 E에서 검출기 D로 이동한다. 빔은 내부 전반사에 의해 도파관(302)에 국한된다. 도파관은 예를 들어, 플라스틱 또는 유리로 구현될 수 있다. 투명한 도파관(302)과 접촉하게 되는 손가락 또는 스타일러스 같은 물체(304)는 도파관을 일반적으로 감싸는 공기에 비해 더 높은 굴절율을 가진다. 접촉 영역에 걸쳐, 물체로 인한 굴절율의 증가는 도파관 내 빔의 내부 전반사를 방해한다. 내부 전반사가 방해되면 도파관으로부터 광 누출이 증가되어 접촉 영역을 통과하는 빔이 감쇠된다 . 상대적으로, 물체(304)가 제거되면 통과하는 빔의 감쇠가 멈춘다. 터치 점을 통과하는 빔의 감쇠는 검출기에서 더 적은 전력을 야기하며, 이로부터 감소된 투과 계수 Tjk 가 계산될 수 있다.
도 3b는 빔 차단에 기초한 메커니즘을 도시하고 있다. 에미터는 표면(306)에 근접한 빔을 생성한다. 표면(306)에 접촉하게 되는 물체(304)는 접촉 영역 내에서 부분적으로 또는 전체적으로 빔을 차단한다. 도 3a와 3b는 터치 상호작용에 대한 일부 물리적인 메커니즘을 도시하고 있으나, 다른 메커니즘도 역시 이용될 수 있다. 예를 들어, 터치 상호작용은 폴라라이제이션 , 산란의 변화, 또는 전파 방향 또는 전파각(수평 또는 수직)의 변화에 기초할 수 있다.
예를 들어, 도 3c는 전파각에 기초한 상이한 메커니즘을 도시하고 있다. 본 예에서, 광 빔은 TIR 을 통해 도파관 (302) 내에서 가이드된다 . 광 빔은 특정 각도로 도파관 -공기 경계에 부딪치면 다시 동일한 각도로 반사된다. 그러나, 터치(304)는 광 빔이 전파되는 각도를 변경한다. 도 3c에서, 광 빔은 터치(304) 후 가파른 전파각으로 이동한다. 검출기 D는 전파각의 함수로서 변하는 응답을 가지게 된다. 검출기 D는 원래의 전파각으로 이동한 광 빔에 더 민감하거나 덜 민감할 수 있다. 그럼에도 불구하고 , 터치(304)에 의해 방해된 광 빔은 검출기 D에서 상이한 응답을 생성할 수 있다.
도 3a 내지 3c에서, 터치하는 물체는 빔과도 상호작용하는 물체이다. 이것은 직접 상호작용이라고 지칭하겠다. 간접 상호작용에서, 접촉하는 물체는 광 빔과 상호작용하는 중간 물체와 상호작용한다. 도 3d는 중간 차단 구조물(308)을 이용하는 예를 나타낸다. 정상적으로, 차단 구조물(308)은 빔을 차단하지 않는다. 그러나, 도 3d에서, 물체(304)가 차단 구조물(308)에 접촉하면, 광 빔을 부분적으로 또는 완전히 차단하게 된다. 도 3d에서, 차단 구조물들(308)이 분리되어 있는 것으로 도시되어 있으나, 반드시 그럴 필요는 없다.
도 3e에서, 중간 구조물(310)은 압축 가능한 부분적 투과 시트이다. 터치가 없으면, 시트는 특정한 양으로 빔을 감쇠시킨다. 도 3e에서, 터치(304)가 시트를 압축하면, 빔의 감쇠가 변경된다. 예를 들어, 시트의 상부는 하부보다 더 불투명할 수 있어서, 압축에 의해 투과율이 감소한다. 대안적으로, 시트는 특정 밀도로 산란 사이트들을 가질 수 있다. 압축은 접촉 영역에서 밀도를 증가시키며, 동일한 수의 산란 사이트들이 더 작은 체적을 점유하게 되므로, 투과율이 감소한다. 유사한 간접 방식이 불완전 TIR 에도 이용될 수 있다. 이 방식은 압축 정도 또는 압축률에 기초하여 접촉 압력 또는 터치 속도를 측정하는데 이용될 수 있다.
터치 메커니즘은 투과를 감소시키는 대신에 또는 투과를 감소시키는 것에 더하여 투과를 강화할 수도 있다. 예를 들어, 도 3e의 터치 상호작용은 투과를 감소시키지 않고 오히려 투과를 증가시킬 수 있다. 시트의 상부는 하부보다 더 투명할 수 있어서, 압축되면 투과율이 증가한다.
도 3f는 에미터와 검출기 사이의 투과율이 터치 메커니즘으로 인해 증가하는 다른 예를 나타낸다. 도 3f는 상면도이다 . 에미터 Ea 는 검출기 D1 에 의해 수신되는 빔을 정상적으로 생성한다. 터치 상호작용이 없는 때, Ta1 =1이고 Ta2 =0이다. 그러나, 터치 상호작용(304)은 빔이 검출기 D1 에 도달하지 못하게 차단하며 차단된 빛의 일부를 검출기 D2 로 산란시킨다. 그러므로, 검출기 D2 는 정상적으로 받을 수 있는 것보다 더 많은 빛을 에미터 Ea 로부터 받는다. 따라서, 터치 이벤트(304)가 있으면, Ta1 은 감소하고 Ta2 는 증가한다.
단순화를 위해, 이하에서는 터치 메커니즘이 주로 차단 특성을 갖는 것으로 가정한다. 이는 에미터로부터 검출기로 향하는 빔들이 이를 간섭하는 터치 이벤트에 의해 일부 또는 완전 차단됨을 의미한다. 이것이 반드시 요구되는 것은 아니나, 다양한 개념을 설명하는데 편리하다.
편의상, 터치 상호 작용 메커니즘은 때때로 바이너리 또는 아날로그 중 하나로 분류될 수 있다. 바이너리 상호 작용은 터치에 대한 함수로서 두 개의 가능한 응답을 기본적으로 갖는 것이다. 예를 들면, 비-차단과 완전-차단, 또는 비-차단과 10 % + 감쇠, 또는 불완전 하지 않은 것과 불완전한 TIR 여부이다. 아날로그 상호 작용은 비-차단을 거쳐 부분 차단에서 완전 차단 정도의 터치에 대한 "그레이 스케일" 응답을 갖는 것이다. 터치 상호작용 메커니즘이 바이너리 또는 아날로그인지 여부는 터치와 빔 사이 상호작용의 특성에 부분적으로 좌우된다. 빔의 수평 폭(이하에서 설명하듯이, 바이너리 또는 아날로그 감쇠를 얻기 위해 조작될 수도 있음)에 좌우되지는 않지만, 빔의 수직 크기에 의해 좌우될 수 있다.
도 4는 아날로그 터치 상호작용 메커니즘과 비교하여 바이너리 터치 상호작용 메커니즘을 도시한 그래프이다. 도 4는 터치 깊이 z의 함수로서 투과율 Tjk를 나타낸다. z 차원은 활성 표면 안쪽으로 그리고 바깥쪽으로 향하는 방향이다. 곡선(410)은 바이너리 응답이다. 낮은 z(즉, 터치가 빔을 아직 방해하지 않을 때)에서, 투과율 Tjk는 최대이다. 그러나, 어떤 점 z0에서, 터치가 빔을 방해하면 투과율 Tjk는 상당히 급격히 최소값으로 떨어진다. 곡선(420)은 최대 Tjk에서 최소 Tjk로의 천이가 더 넓은 z의 범위에 걸쳐 발생한 아날로그 응답을 나타낸다. 곡선(420)이 반응을 잘 나타냈다면, 측정된 Tjk에서 z를 추정할 수 있다.
C. 에미터, 검출기 및 커플러
각 에미터는 다수의 검출기로 광을 전송한다. 일반적으로, 각각의 에미터는 동시에 하나 이상의 검출기에 광을 출력한다. 유사하게, 각각의 검출기는 서로 다른 다수의 에미터들로부터 광을 수신한다. 광 빔은, 가시광선, 적외선 및/또는 자외선이 될 수 있다. 용어 "빛"은 이들 파장 모두를 포함하는 것을 의미하고, "광(optical)" 은 이에 따라 해석될 것이다.
에미터의 광원 예로서, 발광 다이오드(LED) 및 반도체 레이저가 포함된다. IR 소스도 사용될 수 있다. 광 빔은 광원을 직접적으로 변조하거나 예를 들어 액정 변조기나 굴절 거울 변조기와 같은 외부 변조기를 이용하여 변조될 수 있다. 검출기 센서 소자의 예는 전하 결합 소자, 포토다이오드, 포토레지스터, 포토 트랜지스터 및 비선형의 모든 광 검출기를 포함한다. 일반적으로, 검출기는 수신된 광 빔의 강도의 함수인 전기적 신호를 출력한다.
또한, 에미터 및 검출기는 주 광원 및 센서 소자에 부가하여 광학 및/또는 전자 장치를 포함할 수 있다. 예를 들어, 광학 장치는 에미터/검출기와 빔 경로 사이를 결합하는데 이용될 수 있다. 광학 장치는 재성형 또는 에미터에 의해 생성되거나 검출기에 의해 수신되는 빔을 조정하는데도 이용될 수 있다. 이러한 광학 장치는 렌즈, Fresnel 렌즈, 거울, 필터, 비-영상 광학 장치 및 다른 광학 요소를 포함할 수 있다.
본 설명에서, 광 경로는 명확성을 위해 접히지 않은 것으로 도시된다. 그러므로, 소스, 광 빔 및 센서는 한 평면에 있는 것으로 도시된다. 실제 구현에서, 소스와 센서는 광 빔과 같은 평면에 일반적으로 있지 않으므로, 다양한 결합 방식이 이용될 수 있다. 평면 도파관 또는 광섬유가 실제 빔 경로로 빛을 결합하는데 이용될 수 있다. 자유 공간 결합(예를 들어, 렌즈와 거울)도 이용될 수 있다. 예를 들어, 한 차원에서는 도파관으로 그리고 다른 차원에서는 자유 공간으로 결합하는 조합도 가능하다. 다양한 커플러 설계가 2011년 7월 22일 출원된 미국 특허출원번호 제61/510,989호 "Optical Coupler"에 설명되어 있으며, 여기에 일체로서 참조된다.
D. 광 빔 경로
터치-감지 시스템의 또 다른 특징은 광 빔과 빔 경로의 형상 및 위치이다. 도 1 및 2에서, 광 빔은 선으로 표시된다. 이들 선은 빔을 나타내는 것으로 해석되지만, 빔 자체는 필수적으로 좁은 연필 빔이지는 않다. 도 5a 내지 5c는 상이한 빔 형상을 도시하고 있다.
도 5a는 포인트 에미터 E, 포인트 검출기 D 및 에미터에서 검출기로의 좁은 "연필" 빔(510)을 나타낸다. 도 5b에서, 포인트 에미터 E는 광폭 검출기 D에 의해 수신되는 팬-형상 빔(520)을 생성한다. 도 5c에서, 광폭 에미터 E는 광폭 검출기 D에 의해 수신되는 "직사각형" 빔(530)을 생성한다. 이들은 빔의 상면도이며 도시된 형상은 빔 경로의 풋프린트이다. 따라서 빔(510)은 선 같은 풋프린트를 가지고, 빔(520)는 에미터에서는 좁고 검출기에서는 넓은 삼각형 풋프린트를 가지며, 빔(530)은 상당히 일정한 폭의 직사각형 풋프린트를 가진다. 도 5에서, 검출기와 에미터는 빔 경로에 의해 보여지는 각자의 폭으로 표현되었다. 실제 광원과 센서는 그렇게 넓지 않을 수 있다. 오히려, 광학 장치(예를 들어, 실린더형 렌즈 또는 거울)가 사용되어 실제 소스와 센서의 측면 크기를 효과적으로 넓히거나 좁힐 수 있다.
도 6a, 도 6b, 및 도 7은 풋프린트의 폭이 투과 계수 Tjk가 바이너리 또는 아날로그 양을 나타내는지를 결정할 수 있는 방법을 나타낸다. 이 도면에서, 터치 점은 접촉 영역(610)을 가진다. 터치가 완전 차단하여 접촉 영역(610)에 부딪히는 어떠한 빛도 차단한다고 가정한다. 도 6a는 터치 점이 좁은 빔을 지나 좌측에서 우측으로 이동하면 어떻게 되는지를 나타낸다. 가장 좌측 상태에서, 접촉 영역(610)의 우측 모서리가 빔을 가로막기 전까지 빔은 전혀 차단(즉, 최대 Tjk)되지 않는다. 이 지점에서, 빔은 완전 차단(즉, 최소 Tjk)되며, 중간 시나리오의 경우이기도 하다. 전체 접촉 영역이 빔을 통과할 때까지 완전 차단이 계속된다. 이후, 빔이 다시 완전 비-차단되며, 가장 우측 시나리오에 도시되어 있다. 도 7의 곡선(710)은 접촉 영역(610)의 수평 위치 x의 함수로서 투과 계수 Tjk를 나타낸다. 최소 및 최대 Tjk 사이의 가파른 천이는 이 응답의 바이너리 특성을 나타낸다.
도 6b는 터치 점이 광폭 빔을 지나서 좌측에서 우측으로 이동하면 어떻게 되는지를 나타낸다. 가장 좌측 시나리오에서, 빔은 막 차단되기 시작한다. 투과율 Tjk는 떨어지기 시작하지만 최소와 최대값 사이의 어떤 값이다. 투과율 Tjk는 터치점이 더 많은 빔을 차단하여 빔이 완전 차단되는 중간 시나리오가 될 때까지 계속해서 떨어진다. 이후, 투과율 Tjk는 가장 우측 시나리오에서 보여지듯이 접촉 영역이 빔을 빠져나가면 다시 증가하기 시작한다. 도 7의 곡선(720)은 접촉 영역(610)의 수평 위치 x의 함수로서 투과 계수 Tjk를 나타낸다. 넓은 범위의 x에 걸쳐진 천이는 이 응답의 아날로그 특성을 나타낸다.
도 5 내지 7은 개별 빔 경로를 고려한 것이다. 대부분의 구현 예에서, 각 에미터 및 각 검출기는 다중 빔 경로를 지원한다.
도 8a는 포인트 에미터에 의해 생성된 빔 패턴을 도시한 상면도이다. 에미터 Ej는 광폭 검출기 D1-DK로 빔을 전송한다. 명확하게 하기 위해 3개의 빔, 빔 j1, 빔 j(K-1), 중간 빔에 음영을 넣었다. 각 빔은 팬-형상 풋프린트를 가진다. 모든 풋프린트의 합이 에미터 Ej의 커버리지 영역이다. 즉, 에미터 Ej의 커버리지 영역 내의 터치 이벤트는 에미터 Ej의 빔 중 적어도 하나를 방해할 수 있다. 도 8B는 유사한 도면이나, 에미터 Ej는 광폭 에미터이어서 "직사각형" 풋프린트(실제로는 사다리꼴이나 우리는 직사각형이라고 지칭하겠다)를 갖는 빔을 생성한다. 음영을 넣은 세 개의 빔은 도 8a와 같이 동일한 에미터에 대한 것이다.
모든 디텍터 Ej가 모든 검출기 Dk를 위해 빔을 생성하지 않을 수 있다. 도 1에서, 에미터 Ea에서 검출기 DK로 가는 빔 경로 aK를 고려해보자. 첫 번째로, 에미터 Ea가 생성한 빛은 이 방향으로 이동하지 않을 수 있어서(즉, 에미터의 방사각이 충분히 넓지 않을 수 있음) 물리적인 빔이 전혀 없거나, 검출기의 수용각이 충분히 넓지 않아서 검출기가 입사광을 검출하지 못할 수 있다. 두 번째로, 검출할 수 있는 빔이 있더라도, 빔 경로가 유용한 정보를 생성할 수 있는 위치에 있지 않으므로 무시될 수 있다. 그러므로, 투과 계수 Tjk는 에미터 Ej와 검출기 Dk의 모든 조합에 대해 값을 갖지 않을 수 있다.
에미터로부터의 개별 빔의 풋프린트 및 에미터로부터의 모든 빔의 커버리지 영역은 상이한 양을 이용하여 설명될 수 있다. 공간적 범위(즉, 폭), 각고 크기(즉, 에미터의 방사각 및 검출기의 수용각) 및 풋프린트 형상은 개별 에미터의 커버리지 영역 뿐 아니라 개별 빔 경로를 설명하는데 사용될 수 있는 양이다.
하나의 에미터 Ej에서 하나의 검출기 Dk로 향하는 개별 빔 경로는, 에미터 Ej 폭, 검출기 Dk 폭 및/또는 각도, 이들 둘 사이의 빔 경로를 정의하는 형상에 의해 설명될수 있다.
이 개별 빔 경로는 한 에미터 Ej에 대해 모든 검출기에 걸쳐 합쳐져서 에미터 Ej에 대한 커버리지 영역을 생성할 수 있다. 에미터 Ej의 커버리지 영역은 에미터 Ej의 폭, 관련된 검출기 Dk의 합쳐된 폭 및/또는 에미터 Ej로부터의 빔 경로의 합을 정의하는 각도와 형상에 의해 설명될 수 있다. 개별 풋프린트는 중첩될 수 있다(에미터에 근접한 도 8b 참조). 그러므로, 에미터의 커버리지 영역은 풋프린트의 합과 같지 않을 수 있다. (에미터의 풋프린트 합)/(에미터의 커버리지 영역) 비율은 중첩 양의 한 척도이다.
개별 에미터에 대한 커버리지 영역은 모든 에미터에 걸쳐 합쳐져서 시스템의 전체 커버리지를 획득할 수 있다. 이 경우에, 활성 영역(131) 전체를 커버해야 하므로, 전체 커버리지 영역의 형상에는 그렇게 관심을 두지 않는다. 그러나, 활성 영역(131) 내의 모든 포인트들이 균일하게 커버되는 것은 아니다. 일부 포인트들은 다수의 빔 경로들에 의해 횡단되지만, 다른 포인트들은 그보다 훨씬 적은 수의 빔 경로에 의해서만 횡단될 수 있다. 활성 영역(131) 위의 빔 경로 분포는 얼마나 많은 빔 경로들이 활성 영역 내의 서로 다른 (X, Y) 포인트를 거치는지 산출함으로써 특정될 수 있다. 빔 경로의 방향은 분포의 또 다른 특징이다. 동일한 방향으로 대략 실행하는 세 개의 빔 경로로부터 도출되는 (x, y) 포인트는 서로 60도 각도를 이루어 실행하는 세 개의 빔 경로에 의해 획득되는 포인트보다 약한 분포를 가질 것이다.
에미터에 대해 상술한 설명은 검출기에도 적용된다. 도 8a 및 도 8b에서 에미터를 위해 그려진 도면은 검출기에 대해서도 그려질 수 있다. 예를 들어, 도 8c는 도 8b의 검출기 D1에 대한 유사한 도면을 나타낸다. 즉, 도 8c는 검출기 D1에 의해 수신되는 모든 빔 경로를 나타낸다. 본 예에서, 검출기 D1으로의 빔 경로는 활성 영역의 아래쪽 모서리를 따라 위치한 에미터들로부터만 온다. (본 예시적인 설계에서) 좌측 모서리에 위치한 에미터는 D1에 연결될 정도가 아니며 우측 모서리에는 에미터가 없다. 도 8d는 검출기 Dk에 대한 도면을 나타내며, 도 8b의 에미터 Ej와 유사한 위치에 있다.
검출기 Dk의 커버리지 영역은 이후 검출기 Dk에 의해 수신된 빔에 대한 모든 풋프린트의 합이다. 모든 검출기 커버리지 영역의 합은 전체 시스템 커버리지이다.
도면에서, 좁은 "연필" 빔의 경로는 직선으로 도시되며, 도파관이 거의 평면(즉, 상부 경계면과 하부 경계면이 평행한 면임)인 경우 실제 빔 경로를 잘 표현한다. 그러나, 이것이 요구되지는 않는다. 일부 실시예에서, 도파관은 완만하게 변하는 두께로 이루어져 곡선 빔 경로가 된다. 예를 들어, 도파관이 실질적으로 평면으로 보일 수 있고, 하나 이상의 도파관 경계면(예를 들어, 상면, 하면, 또는 모두)이 약간 경사지며, 도파관에 갇힌 광은 곡선 경로를 따라 이동한다. 다른 실시예로, 도파관은, 예를 들어 환경과 상호작용하는 자동차 제어 장치 또는 로봇 피부를 위한 곡선 터치 표면을 정의하는 임의의 형상을 나타낸다. 곡선 터치 표면의 경우에, 빔 경로는 연속적인 반사에 의해 정의되며, 각 반사는 도파관 경계면에서 국부적으로 발생한다(예를 들어, 내부 전반사에 기초함). 그러한 실시예에서, 도파관의 형상은 에미터에 의해 내부 전반사에 부합하는 각도를 갖도록 주입되는 빛이 다중 반사를 거쳐서 하나 이상의 검출기에 도달하기 전까지 도파관을 빠져나가지 않고 도파관 내에서 전파되도록 설계된다. 일반적으로, 하나 이상의 터치 이벤트를 검출할 수 있는 곡선 또는 직선 빔 경로가 이용될 수 있다.
E. 활성 영역 커버리지
활성 영역(131)의 커버리지는 빔 경로의 형상에 달려있지만 에미터와 검출기의 배치에도 달려 있다. 대부분의 응용에서, 활성 영역은 직사각형이며, 에미터와 검출기는 직사각형의 네 모서리를 따라 배치된다.
바람직한 방식으로, 특정 모서리에는 에미터만 그리고 다른 모서리에는 검출기만 배치하는 대신에, 에미터와 검출기가 모서리에 번갈아 배치된다. 도 8E는 에미터와 검출기가 네 개의 모서리를 따라 번갈아 배치된 예를 나타낸다. 음영으로 표시된 빔은 에미터 Ej의 커버리지 영역을 나타낸다.
F. 다중화
다수의 에미터가 다수의 광 빔을 다수의 검출기로 전송하기 때문에, 그리고 개별 빔의 작용이 일반적으로 바람직하므로, 다중화/역다중화 기법이 이용된다. 예를 들어, 빛이 하나의 에미터에 의해 생성된 하나의 광 빔으로부터 온 빛인지 아니면 많은 에미터에 의해 생성된 많은 광 빔으로부터 온 빛인지에 상관없이, 각 검출기는 입사광의 강도를 나타내는 단일 전기 신호를 일반적으로 출력한다. 그러나, 투과율 Tjk는 개별 광 빔 jk의 특성이다.
상이한 종류의 다중화가 이용될 수 있다. 이용되는 다중화 기법에 따라, 내용 및 언제 전송되는지를 포함하는 빔의 투과 특성이 변할 수 있다. 그 결과, 다중화 기법의 선택은 광 터치-감지 장치의 물리적인 구조뿐 아니라 그 동작 모두에 영향을 미칠 수 있다.
한 방법은 코드 분할 다중화에 기초한다. 이 방법에서, 각 에미터에 의해 생성된 광 빔은 상이한 코드를 이용하여 인코딩된다. 검출기는 상이한 에미터부터의 광 빔의 조합인 광 신호를 수신하지만, 수신된 빔은 코드에 기초하여 구성 성분들로 분리될 수 있다. 이 방법은 미국 출원번호 제13/059,772호 "Optical Control System With Modulated Emitters"에 상세하게 개시되어 있으며, 여기에 일체로 참조된다.
다른 유사한 방법은 주파수 분할 다중화이다. 이 방법에서, 상이한 코드로 변조하는 대신에, 상이한 에미터로부터의 광 빔은 상이한 주파수로 변조된다. 검출된 광 빔의 상이한 구성 성분들이 전자적인 필터링 또는 다른 전자적 또는 소프트웨어 수단에 의해 복구될 수 있을 정도로 주파수는 낮다.
시분할 다중화도 이용될 수 있다. 이 방법에서, 상이한 에미터는 상이한 시간에 빔을 전송한다. 광 빔과 투과 계수 Tjk는 타이밍에 기초하여 식별된다. 시분할 다중화만 이용되면, 제어기는 필요한 터치 샘플링 비율을 만족하기에 충분한 정도로 빠르게 에미터를 주기적으로 구동해야 한다.
광학 시스템에 일반적으로 이용되는 다른 다중화 기술은 파장 분할 다중화, 폴라라이제이션 다중화, 공간 다중화 및 각 다중화이다. PSK, QAM, 및 OFDM과 같은 전자적인 변조 기법도 상이한 빔을 구별하는데 적용 가능할 수 있다.
몇몇 다중화 기술은 함께 이용될 수 있다. 예를 들어, 시분할 다중화와 코드 분할 다중화는 결합될 수 있다. 128개의 코드 분할 다중화 에미터 또는 128개의 시분할 다중화 에미터 대신에, 에미터는 16개씩 8 그룹으로 분할될 수 있다. 8개의 그룹은 16개의 에미터만 임의의 시간에 동작하고 이 16개의 에미터는 코드 분할 다중화도록 함으로써 시분할 다중화할 수 있다. 이 기술은 예를 들어, 임의 시간에 활성화된 에미터의 수를 최소화하여 장치의 전력 요구를 감소하는 효과를 낼 수 있다.
III. 처리 단계
도 2의 처리단계에서, 투과 계수 Tjk가 이용되어 터치 이벤트의 위치, 그리고 선택적으로 터치 이벤트에 연관된 물리적인 속성을 결정한다.
A. 멀티-터치 이벤트
멀티-터치 이벤트는 복수의 동시 또는 실질적으로 동시 터치 이벤트를 포함한다. 멀티-터치 이벤트는 정지 또는 고정 터치 이벤트, 또는 시변 터치 이벤트를 포함할 수 있다. 정지 또는 고정 멀티-터치 이벤트의 예는 두 손가락 접촉, 터치 감지면상의 세 개의 접촉 등을 포함한다. 터치 감지면상의 시변 멀티-터치 이벤트의 예는 터치 감지면상에서 핀치(pinch) 제스처, 디-핀치 제스처, 멀티-핑거 스와이프 제스처, 및 멀티-핑거 탭 제스처를 포함한다. 터치 이벤트는 터치 감지면에 접촉하거나 미리 결정된 근접 범위 내로 진입하는 다양한 물체(예를 들어, 사람의 손가락, 스타일러스 또는 펜)에 기인한다.
도 9A와 도 9B(일정한 비율은 아님)는 세 개의 터치 이벤트(904A 내지 904C)의 상면 및 측면을 각각 도시하고 있다. 터치 이벤트(904)는 에미터 Ej에서 검출기 Dk로의 광 빔(910)과 상호작용한다. 도 9A와 도 9B에 도시되지는 않았지만, 하나 이상의 터치 이벤트(904)는 터치 감지면의 주변을 따라 위치한 추가적인 에미터-검출기 쌍에 상응하는 추가적인 빔과도 상호작용할 수 있다.
터치 이벤트(904)는 터치 지역과 터치 프로필에 의해 특징이 정해질 수 있다. 터치 이벤트의 터치 지역은 터치 감지면상에서 터치 이벤트의 공간 확장을 특징짓는다. 응용에 따라, 터치 지역은 상이한 파라미터로 정의될 수 있다. 예를 들어, 터치 지역은 터치 영역(예를 들어, 터치 지역의 면적), 터치 지역의 치수(예를 들어, 길이, 폭, 둘레, 주축, 반경, 또는 터치 감지면을 따라 측정 가능한 다른 치수), 터치 지역의 기하학적 형상(예를 들어, 원, 타원, 정사각형, n각형 등), 및/또는 터치 지역의 터치 위치(예를 들어, 중심점 또는 무게 중심)에 의해 특징이 정해질 수 있다.
동일한 멀티-터치 이벤트의 상이한 터치 이벤트들의 터치 지역들은 공간적으로 중첩되거나 중첩되지 않을 수 있다. 도 9a 및 도 9b에 도시된 바와 같이, 상이한 터치 이벤트들에 대한 터치 지역은 형상, 면적, 치수, 배향 등이 상이할 수 있다. 터치 지역들의 둘레는 매끈하거나, 들쭉날쭉하거나, 규칙적이거나, 대칭적이거나, 불규칙적이거나, 비대칭적이거나, 곡선이거나, 다각형이거나, 오목하거나, 볼록하거나, 닫혔거나, 실질적으로 닫혔거나, 임의의 다른 적합한 형상 또는 형태일 수 있다.
터치 이벤트의 터치 프로필은 터치 감지면과 터치 이벤트의 물리적인 상호작용에 연관된 물리적인 속성(예를 들어, 터치 또는 접촉 압력, 압력 기울기, 공간 압력 분포, 광 투과 특성 등)을 나타낸다. 상이한 터치 이벤트에 대한 터치 프로필은 상이할 수 있다. 터치 압력값, 터치 압력 기울기, 공간 압력 분포, 및 광 투과 특성은 하나의 멀티-터치 이벤트의 두 터치 이벤트 사이에서도 상이할 수 있다.
다중 터치 이벤트(904)가 광 빔(910)과 상호작용하면, 광 빔(910)에 대한 투과 계수 Tjk는 각 개별 터치 이벤트에 대한 개별 투과 계수의 함수이다. 광 빔(910)을 간섭하는 각 터치 이벤트(904)가 광 빔(910)에 대한 결합된 투과 계수 Tjk에 기여하는 것은 곱셈식으로 모델링될 수 있다. 세 개의 터치 이벤트(904A-C) 각각이 대응하는 개별 투과 계수TjkA-C를 가진다고 가정하자. 즉, (만약 터치 이벤트(904B, 904C)가 없다면) 터치 이벤트(904A)에 대한 투과 계수는 TjkA이다. 빔(910)에 대한 누적된 투과 계수 Tjk는 다음과 같이 계산될 수 있다.
Figure 112015063706204-pct00001
터치 이벤트와 광 빔간 상호작용의 정도는 결합값으로 표현될 수 있으며, 이하에서 상세히 설명한다. 예를 들어, 터치 이벤트에 의해 더 많이 산란되면 더 큰 결합값으로 표현되며, 덜 산란되면 더 작은 결합값으로 표현된다. 도 9a 및 도 9b에서, 결합값은 음영으로 표현되었다. 이 예에서, 각 터치 이벤트는 두 개의 음영을 가진다. 중앙의 솔리드 음영은 첫 번째 결합값을 나타내고 바깥쪽 점 음영은 두 번째 결합값을 나타낸다.
단순하게 하기 위해서 터치 이벤트 당 두 개의 결합값이 도 9a와 도 9b에 도시되었으나, 터치 이벤트는 두 개보다 많거나 작은 결합값으로 특징지어질 수 있다. 터치 이벤트는 이산 결합값 또는 연속적으로 변하는 결합값 또는 그 조합에 의해 특징지어질 수 있다. 일부 실시예에서, 터치 이벤트에 대한 결합값은 터치 지역의 바깥쪽 둘레에서 터치 이벤트의 중심 터치 위치까지 계속해서 단조롭게 증가하거나 감소하는 경향을 보인다. 대안적으로, 결합값은 터치 지역 내에서 단순 경향을 보일 필요가 없다. 이하의 특정 예에서, 각 터치 이벤트는 터치 지역에 걸친 변화를 설명하는 하나의 결합값으로 특징지어질 수 있다.
B. 기준 터치
일부 실시예에서, 터치 이벤트에 대한 터치 지역 및/터치 프로필은 기준 터치라고 지칭될 한 세트의 알려진 터치 이벤트에 대해 정의되거나 계산될 수 있다. 기준 터치는 미리 정의되거나, 미리 결정되거나, 미리 대응되거나 또는 알려질 수 있다. 또한, 이하에서 설명하듯이, 기준 터치는 실제 물리적인 터치에 대응할 수 있지만, 반드시 그래야 하는 것은 아니다. 예를 들어, 기준 터치는 실제 터치 이벤트에 의해 생성될 수 없는 터치 지역 및/또는 터치 프로필을 가질 수 있다.
도 10은 한 세트의 기준 터치(1010A-I)를 도시한 상면도이다. 이 예에서, 기준 터치(1010)는 2D 그리드에 위치한다. 각 기준 터치(1010)는 동일한 터치 영역, 치수 및 형상을 가진다. 기준 터치(1010)의 위치 Li는 규칙적인 2D 그리드에 배열되었다. 기준 터치 세트가 2D 기준 터치 존(1002)에 걸쳐있다. 많은 경우에, 기준 터치 존은 터치 감지면의 전체 활성 영역에 걸쳐있을 수 있다. 활성 영역의 상이한 지역에 기준 터치의 상이한 세트를 이용하거나, 동일한 지역에 다수의 기준 터치 세트(예를 들어, 변화하는 해상도)를 이용할 수도 있다.
C. 후보 터치 이벤트 식별
도 11은 멀티-터치 이벤트를 개별 터치 이벤트로 분해하는 방법의 흐름도로, 도 2의 처리 단계(220)의 예이다. 이 방법은 기준 터치를 이용한다.
멀티-터치 이벤트에 의한 광 측정치 Tjk를 수신한다(1102). 도 9에서 설명한 바와 같이, 광 빔(910)을 간섭하는 각 터치 이벤트(904)가 광 빔(910)에 대한 합쳐진 투과 계수 Tjk에 기여하는 것은 곱셈식으로 모델링될 수 있다.
일부 실시예에서, 개별 터치 이벤트로부터의 기여를 분리하는 것은 그들의 기여를 곱하기 보다는 더함으로써 단순화된다. 이는 비선형 함수에 기초한 광 측정치 Tjk를 바꿈으로써 할 수 있다. 그러한 실시예에서, 비선형 함수는 개별 투과 계수의 곱해진 기여를 더해진 기여로 바꾸므로, 이후 매트릭스 표현 및 처리를 가능하게 한다. 로그 함수는 변수들 사이의 곱셈 관계를 덧셈 관계로 바꾸는 특성(이하에서는 분리 성질이라 지칭함)을 가진다.
따라서, 빔 측정치Gjk가 비선형 함수를 이용하여 수신된 광 측정치 Tjk로부터 계산된다(1104). 곱셈 관계를 선형 관계로 변환하기 위해서, 로그 함수 Gjk=log Tjk가 이용될 수 있다. 분리 특성을 가진 비선형 함수의 다른 예는 다른 기준 로그 함수, 및 로그 함수의 선형화된 근사화(예를 들어, Taylor series expansion)를 포함한다. 예를 들어, 수학식 1에 로그 함수를 적용하면, 수학식 (2)와 같다.
Figure 112015063706204-pct00002
유사하게, 1근처에서 log Tjk의 1차 Taylor series expansion는 -(1-Tjk)가 된다. 계수 -(1-Tjk)는 빔 jk에 대한 손실 계수(예를 들어, 투과 계수에 반대임)를 물리적으로 나타낸다.
그러한 변환에 의한 선형화는 행렬의 사용을 가능하게 한다. 터치 상호작용은 수학식 (3)과 같이 특징지어질 수 있다.
Figure 112015063706204-pct00003
이 수학식은 도 13에 도시되어 있다. 열 벡터 p는 기준 터치에 대응하는 결합값 pi로 이루어져 있다. 예를 들어, 결합값 pi는 위치 Li에 있는 기준 터치에 대응할 수 있다. 열 벡터 b는 빔 측정값 bn으로 이루어져 있다. 예를 들어, 각 bn은 하나의 Gjk에 대응할 수 있다(이차원 jk에서 일차원 n으로 순서 변경(reordering)도 수행됨).
행렬 M은 각 빔 측정값에 대한 각 기준 터치의 효과를 설명하는 전달 함수이다. 예를 들어, 도 13에서 회색으로 음영 표시된 행렬 M의 두 번째 열을 고려해보자. 이 열은 기준 터치 2(즉, p2=1)는 있으나 다른 기준 터치는 없는 경우(즉, 다른 모든 pi=0)에 대한 응답인 빔 측정값 b을 나타낸다. 기준 터치의 존재에 상응하는 결합값으로 1을 선택할 필요는 없고, 다른 값이 선택될 수 있으며, 행렬 M은 그에 따라 수정될 수 있다.
수학식 (3)에서, 결합값 p가 주어지면, 빔 측정값 b를 계산할 수 있다. 우리는 역변환 문제를 해결했다. 결합값의 추정치 p'i가 전달 함수 M에 기초하여 빔 측정값 bn으로부터 멀티-터치 이벤트에 대해 결정된다(1106).
일부 실시예에서, 결합값 추정치는 전달 함수 M에 대응하는 의사-역행렬 R을 계산하여 결정된다. 결합값 추정치 p'i의 열 벡터 p'는 수학식 (4)에 기초하여 결정될 수 있다.
Figure 112015063706204-pct00004
여기서, R = M -1이다. 다른 역산(inversion process)도 이용될 수 있다. 예를 들어, 측정된 b와 M p'사이의 차이, 거리 또는 오차를 최소화하여 결정될 수 있다.
결합값 추정치 p'i는 기준 터치 i로의 멀티-터치 이벤트에 대한 결합값의 추정치를 제공한다. 도 12는 터치 감지면에 대한 결합값 추정치의 그레이스케일 이미지이다. 이 예에서, 그레이스케일 이미지의 각 픽셀은 상이한 결합값을 나타내며 폭(width)은 2.5mm이고 넓이(breadth)는 2.5mm이다. 흰색은 강한 결합값을 나타내며 검은색은 약한 결합값을 나타낸다. 일부 실시예에서, 결합값 추정치는 기준 터치에 비교할 때 터치 이벤트의 물리적인 속성(예를 들어, 건조하거나 유성이거나, 견고하거나, 느슨하거나 등과 같은 손가락 접촉의 종류에 기초한 손가락과 유리 사이의 평균 결합)을 나타낼 수 있다.
멀티-터치 이벤트에 대한 하나 이상의 터치 이벤트에 대응하는 터치 지역이 결합값 추정치 p'i로부터 결정된다(1108). 일부 실시예에서, 기준 터치는 일반적인 터치 이벤트보다 작도록 선택된다. 그 경우에, 터치 이벤트는 다수 기준 터치에 걸쳐 일반적으로 연장된다. 도 12에 도시된 바와 같이, 터치 이벤트에 대응하는 결합값 추정치 p'i는, 터치 지역(1210A, 1210B) 주변에 더 강한 결합값의 국부적인 지역과 같은 국부적인 얼룩(2D 이미지) 또는 언덕(3D 이미지)으로 보일 수 있다. 달리 말하면, 실제 터치 이벤트는 다수의 인접한 기준 터치의 조합으로 나타나며 하나 이상의 결합값 추정치 p'i에 영향을 미칠 수 있다. 이 영향은 국부화된 얼룩(blob)을 찾아서 실시간으로 터치 위치를 검출하는데 이용될 수 있다.
예를 들어, 일부 응용에서, 광 빔 측정치는 주기적으로 기록되며, 각 광 빔이 측정된 후 결합값 추정치의 "이미지"가 생성된다. 이에 따라, 광 빔 측정치의 각 세트에 대한 이미지가 미리 결정된 프레임 비율(예를 들어, 일반적으로 20Hz와 200Hz 사이)생성된다. 머신 비전과 같이 다양한 패턴 인식 방식이 빔 측정치의 연속된 세트로부터 생성된 이미지들에서 후보 터치 지역을 검출하는데 이용될 수 있다. 그러한 방식은 상술한 바와 같이 얼룩 검출이다.
다른 방법은 피크 발견(peak finding)이다. 피크 발견은 피크 또는 최대값이 2D 좌표계에서, 예를 들어, 수평 방향, 수직 방향, 및 선택적으로 대각선 방향과 같이 다수의 방향을 따라서 검출될 때 터치 지역을 검출한다. 이것은 일반적으로 n x n 공간 유닛 또는 픽셀(예를 들어, 3 x 3 픽셀 그룹)의 연속적인 그룹을 검사하여 할 수 있다. 픽셀은 하나 이상의 기준 터치 지역을 포함하거나 인접하는 기준 터치 지역 사이를 보간하여 형성된 공간 유닛으로 정의된다. 공간 유닛 또는 픽셀의 각 그룹에 대해서, 피크 조건이 검사된다. 피크 조건을 충족하면, 공간 유닛이 피크가 되거나 피크를 포함한다고 결정되며, 후보 터치 지역으로 식별된다. 이 방법은 n x n 공간 유닛 또는 픽셀 그룹이 후보 터치 지역이거나 후보 터치 지역이 아니라고 결정되는 바이너리 분류를 구현한다.
일부 실시예에서, 이미지에서 추출된 특징(예를 들어, cornerness, 곡률(curvature), Hessian 등)을 이용하는 더 정교한 분류 방법을 구현하여 후보 터치 지역을 검출한다. 예를 들어, 결합값 추정치의 픽셀 또는 공간 유닛에 대한 그레이스케일 분류 방법은 비-바이너리 분류 측정치 또는 점수를 제공하는데, 예를 들어, 공간 유닛이 후보 터치 지역이 될 가능성이 증가할 때 공간 유닛에 대한 분류 측정치 또는 점수가 (예를 들어, 연속적으로) 증가한다. 진정한 터치 이벤트는 다수의 인접하는 픽셀 또는 공간 유닛에 걸쳐 관찰된 증가하는 결합값으로 나타난다. 그러한 경우에, 높은(예를 들어, 특정된 점수 문턱값보다 큰) 분류 측정치 또는 점수를 가진 픽셀은 높은 분류 측정치 또는 점수(예를 들어, 특정 점수 문턱값보다 큰 점수)를 가진 인접 픽셀에 공간적으로 둘러쌓일 수 있다. 진정한 터치 이벤트의 중앙 위치는 통상적으로 중앙 화소 또는 가장 높은 분류 점수를 가진 픽셀이다.
일부 실시예에서, 문턱값이 비-바이너리 분류 측정치 또는 점수에 적용되어 공간 유닛 또는 픽셀이 후보 터치 지역인지 또는 후보 터치 지역을 포함하는지가 결정된다. 낮은 문턱값은 민감한 터치 검출을 가능하게 하지만 전달 함수 M의 역산에서의 잡음 또는 결함으로 인해 더 높은 오탐을 초래할 수 있다. 그러한 실시예에서, 문턱값은 잡음 추정, 후보 터치 지역까지 거리(이전 이미지 프레임으로부터의 예측에 기초함), 활성 터치 존에 관련된 픽셀 위치 등에 기초하여 동적으로 제어되거나, 수정되거나 또는 변경된다.
D. 보간
일부 실시예에서, 후보 터치 지역을 결정하기 전에, 결합값 추정치의 2D 이미지에서 공간 유닛 또는 픽셀의 수를 증가시키기 위해서, 추가적인 공간 유닛 또는 픽셀이 현재 픽셀들 사이에서 정의되며, 추가적인 픽셀에 대한 결합값 추정치는 수치 보간과 같은 방법에 의해 확인된다. 그 결과, 공간 해상도가 선형 시스템을 부정(underdetermined)시키지 않으면서 결합값 추정치의 2D 이미지 상에서 향상된다.
대안적인 실시예에서, 픽셀의 수는 수학식 과잉결정(overdetermined) 시스템을 나타내는 다수의 전달 함수 M을 이용하여, 그리고 선택적으로 다수의 의사-역변환 행렬 R을 정의하여 (과잉결정 시스템을 유지하면서 개선된 공간 해상도를 위해) 증가된다. 예를 들어, 픽셀의 수를 두 배로 하기 위해서, 제2 전달 함수가 쉬프트된 기준 터치 지역(예를 들어, 제1 전달 함수를 계산하는데 이용되는 기준 터치 지역의 위치에 관련된 특정된 오프셋에 기초함)의 세트를 이용하여 정의될 수 있다. 이 방법은 이미지의 개선된 공간 샘플링을 가능하게 하는 증가된 수의 결합값 추정치를 가진 이미지를 생성한다.
비슷한 선을 따라서, 기준 터치의 제1 세트가 정의될 수 있으며 대응하는 전달 함수 M과 의사-역행렬 R이 계산된다. 이후, 세 개의 추가적인 전달 함수와 세 개의 추가적인 의사-역변환 행렬이 제1 세트의 기준 터치를 반피치로 세 개의 기준 방향, 수평축, 수직축 및 양축을 공통으로(즉, 대각선) 따라서 오프셋하여 획득된 세 개의 추가적인 세트 또는 기준 터치에 대해 정의될 수 있다. 예를 들어, 도 12의 그레이스케일 이미지에서, 각 픽셀은 2.5mm x 2.5mm 치수를 가지며 5mm 피치로 인접 픽셀로부터 원래 분리되어 있어서, 공간 해상도가 좋지 않다. 그러나, 수직 및 수평 방향 반피치 오프셋에 대응하는 세 개의 추가적인 전달 함수 M을 이용함으로써, 개선된 효과적인 공간 해상도를 양 방향에서 생성한다. 효과적인 공간 해상도는 수평 및 수직 방향으로 체배 조합(예를 들어, 수평 방향으로 2배, 수직 방향으로 3배 등)에 의해서도 유사하게 개선될 수 있다.
E. 스크리닝
도 11의 방법(220)을 따라 계속하면, (예를 들어, 후보) 터치 지역이 결정된 후(1108), 터치 후보 지역이 스크리닝되어(1110) 오탐이 제거되고 확정된 터치 지역들을 획득한다. 일부 실시예에서, 오탐은 측정 잡음으로부터 또는 결합값 추정치의 결함이 있는 평가(예를 들어, 전달 함수 M에 대한 역산 결정의 계산적인 부정확)로부터 발생한다.
일부 실시예에서, 오탐 터치 지역을 제거하기 위해, 특정 후보 터치 지역 중심에서의 결합값을 특정(예를 들어, 미리 결정된) 문턱값과 비교한다. 만일 결합값이 특정 문턱값보다 크면, 해당 후보 터치 지역은 터치 지역임이 확정된다.
일부 실시예에서, 후보 터치 지역은 문턱값 또는 형상, 크기(예를 들어, 터치 지역의 면적, 터치 지역의 둘레), 치수 등에 기초한 제거 원칙을 적용하여 오탐 터치 지역으로서 또한 제거될 수 있다. 예를 들어, 특정 면적 문턱값보다 큰 면적을 가진 후보 터치 지역(예를 들어, 터치 감지면에 접촉한 사용자의 손바닥에 의해 생성)은 오탐 터치 지역으로 제거될 수 있다. 한편, 특정 면적 문턱값보다 작은 면적을 가진 후보 터치 지역(예를 들어, 터치 이벤트가 너무 작아 인간의 손가락일 수 없으며, 잡음이나 우연히 생성되었을 가능성이 높음)도 오탐 터치 지역으로서 제거될 수 있다. 일부 실시예에서, 터치 지역의 치수는 모델 또는 기하학적 형상(예를 들어, 포물면, Gaussian 등)을 후보 터치 지역의 중심 위치(예를 들어, 피크 결합값) 주변의 결합값 추정치에 일치시켜서 추정한 후, 터치 지역의 치수는 모델 최적 일치 파라미터에 기초하여 평가되며 치수가 특정 범위 내에 들지 않으면 후보 터치 지역은 오탐 터치 지역으로서 버려지거나 제거된다.
일부 실시예에서, 후보 터치 지역은 빔 측정치로부터 결합값을 추정할 때 다른 후보 터치 지역 또는 확인된 터치 지역에 기여하는 광 빔은 무시하거나 낮은 가중치를 부여함으로써 오탐으로서 또한 제거될 수 있다.
일부 실시예에서, 후보 터치 지역은 시간에 대한 다수의 연속된 이미지의 집합을 이용하여 오탐으로서 제거될 수 있다. 하나 이상의 이전 프레임(예를 들어 1 내지 5개의 이전 프레임)으로부터 대응하는 후보 터치 지역과 특정 수준의 일치를 보일 때 후보 터치 지역은 확인된 터치 지역으로 인정된다. 둘 이상의 대응하는 이미지 프레임으로부터의 둘 이상의 후보 터치 지역간 일치의 정도는 후보 터치 지역의 이동 속도, 후보 터치 지역이 이동 방향, 후보 터치 지역의 위치, 후보 터치 지역의 결합값, 후보 저치 지역의 형상 치수(예를 들어, 모델 최적 일치 파라미터) 등과 같은 비교 파라미터를 이용하여 선택적으로 결정된다. 일치 정보는 KNN(K nearest neighbor) 방식에 기초하여 비용 함수를 최소화하거나 임의의 적합한 방식을 이용하여 선택적으로 평가된다. 다수의 터치 지역이 감지되면, 확인된 터치 지역에 식별자(ID)가 선택적으로 부여된다.
F. 터치 위치
추가로, 도 11에 도시된 처리 단계(220)에서, 오탐을 제거하는 스크리닝(1110) 이후에, 예를 들어, 중심 위치를 추정하여(예를 들어, 도 12에 도시된 터치 지역(1210)에 대한 터치 위치(1212)), 확인된 터치 지역을 추가로 분석하여 확인된 터치 지역 각각에 대한 터치 위치를 식별한다(1112). 일부 실시예에서, 확인된 터치 지역 각각에 대한 터치 위치는 픽셀 해상도보다 더 정밀한 정확도로 결정될 수 있다. 서브 픽셀 해상도는 사용자 요구사항에 기초하여 결정될 수 있으며, 특정 응용에 대해서는 1/10 내지 1/1000 픽셀 피치 사이일 수 있다. 즉, 기준 터치가 5mm 중심-대-중심 간격으로 배치되면, 터치 위치는 이것의 1/10 내지 1/1000 정확도로 결정될 수 있다.
일부 실시예에서, 확인된 터치 지역의 터치 위치 또는 중심 위치는 결합값 추정치의 무게 중심, 또는 그 터치 지역에 대한 피크 결합값 추정치 주변 픽셀의 무게 중심을 연산하여 평가된다. 대안적인 실시예에서, 터치 위치는 최적 일치 파라미터(예를 들어, 포물면, Gaussian model fit)에 기초하거나 보간된 이미지에서의 터치 지역의 피크 위치에 기초하여 계산된다.
일부 실시예에서, 터치 위치는 기준 터치 위치에 관련된 절대값으로 추정된다(도 10에 도시됨). 대안적으로, 이동하거나 정적이지 않은 터치 이벤트에 대해, 터치 위치는 이전 이미지 프레임에서 동일한 터치 이벤트에 관련되어 식별된 터치 위치에 대해 계산될 수 있다. 다시 말해, 상대적인 위치는 프레임 f1(예를 들어, f2>f1)에서의 터치 이벤트의 위치에 관련하여 프레임 f2에서의 터치 이벤트의 상대적인 위치를 계산한다. 상대적인 위치를 계산하기 위해서, 피크 발견 교차-상관 함수와 같은 방법이 이용될 수 있다. 교차-상관은 프레임 f1의 터치 지역과 프레임 f2에서의 동일한 터치 지역 사이에 적용될 수 있다. 일반적으로, 터치 지역은 피크 결합값 추정치의 위치 주의의 작은 공간 윈도우 내에서 정의된다.
일부 실시예에서, 추적 필터(tracking filter)가 확인된 터치 지역 또는 모델 파라미터에 (예를 들어, 터치 지역을 식별하기 전에) 적용된다. 그러한 추적 필터는 Kalman 필터, 알파-베타 필터, 알파-베타-감마 필터. 또는, 조정 가능한 필터 계수를 가진 적용적 필터(예를 들어, 유한 임펄스 응답(FIR) 필터)를 포함한다. 다양한 대안적인 방법이 하나 이상의 터치 이벤트의 위치-절대적인 터치 위치 또는 상대적인 위치 쉬프트-를 식별하는데 이용될 수 있다.
G. 멀티-터치 이벤트의 물리적 속성
결합값 추정치는 터치 이벤트와 터치 감지면 사이 물리적 상호작용에 연관된 물리적 속성(예를 들어, 터치 또는 접촉 압력, 압력 기울기, 공간 압력 분포, 광 투과 특성 등)의 결과이다.
멀티-터치 이벤트의 터치 이벤트의 하나 이상의 물리적 속성은 결합값 추정치 p'i에서 선택적으로 결정된다(1114). 그러한 물리적 속성은 기준 터치의 공지된 물리적 속성(예를 들어, 공지된 결합값)에 관련되어 계산되거나 결정될 수 있다. 예를 들어, 터치 이벤트의 결합값은 기준 터치의 결합값과 비교하여 상이한 피부 종류에 기초하거나 감소된 유효 접촉 영역(예를 들어, 많은 지문을 가진 건조한 손가락의 경우)에 기초하여 감소(결합값 p<1)될 수 있다. 한편, 기준 터치에 관련된 터치 이벤트에 대한 개선된 결합값(예를 들어, 결합값 p>1)은 증가된 유효 터치 영역(예를 들어, 완전하거나 채워진 지문)을 가진 기름기 있는 손가락과 강한 광 결합으로부터 발생할 수 있다. 더욱이, 터치 이벤트에 대한 0의 결합값은 터치 영역과의 접촉 손실로부터 발생할 수 있다.
더욱이, 멀티-터치 이벤트에서 터치 이벤트를 생성하는 물체의 특성 또는 종류는 터치 이벤트의 하나 이상의 물리적 속성(예를 들어, 압력 프로필, 광 투과 특성 등)에 기초하거나, 선택적으로 터치 이벤트의 터치 지역(예를 들어, 치수, 면적, 둘레, 형상 등)에 기초하여 결정될 수 있다. 터치 이벤트를 생성하는 물체는 특정 손가락(예를 들어, 검지, 엄지, 약지, 애지 등), 또는 스타일러스나 펜 또는 임의의 적합한 장치 또는 터치 감지면과 상호작용할 수 있는 물체일 수 있다.
H. 전달 함수 M의 보정(Calibration of Transfer Function M)
전달 함수 M과 M의 역산(예를 들어, 의사-역행렬 R)은 연역적으로(예를 들어, 설계 및 공장에서 터치 감지 장치의 선행 보정하는 동안) 또는 작동중(예를 들어, 터치 센서 장치의 사용중 업데이트)에 결정될 수 있다.
도 15는 전달 함수 M을 보정하는 방법의 흐름도이다. 본 예에서, 기준 터치가 물리적으로 구현될 수 있다. 기준 터치는 터치 감지면상에 구비된다(1502). 이 기준 터치는 위치 Li에 있으며 결합값 pi = 1에 대응한다고 가정한다. 도 10의 예에서, 기준 터치는 Q x N 직사각형 그리드(40, 60, 80, 100, 1000, 등의 행과 열) 상에서 정의된다. 일부 실시예에서, 기준 터치 지역은 비균일하게 이격되어 터치 존(1002)에 걸쳐있다. 예를 들어, 기준 터치 지역의 밀도는 많은 움직임이 예상되는 영역-터치 존(1002)의 중심부 또는 터치 존(1002)의 모서리나 둘레-에 더 높게 정의될 수 있다. 일부 실시예에서, 기준 터치 지역은 서로 중첩되도록 크기가 정해진다. 도 10의 예에서, 인접하는 터치 지역 사이의 바람직한 간격(예를 들어, 피치)은 약 2 내지 10mm이다. 간격은 공백 지연에 의해 특정된다. 즉, 기준 터치 지역은 중첩하지 않는다. 대안적인 실시예에서, 기준 터치 지역은 다양한 형상(예를 들어, 원, 정사각형, 직사각형, 다각형 등)과 다양한 크기(예를 들어, 균일 또는 비균일)를 가질 수 있다. 일부 실시예에서, 원형 기준 터치 지역에 대해, 기준 터치 지역의 반경은 국부 피치 또는 기준 터치 지역 사이 간격(예를 들어, sqrt(2)*국부 피치보다 약간 큼)에 의해 변할 수 있다. 대안적인 실시예에서, 기준 터치 지역의 반경은 피치보다 작으므로, 중첩되는 기준 터치 영역이 없게 된다.
일부 실시예에서, 기준 터치를 터치 감지면에 응용하는 것은 인공 손가락을 특정 압력으로 각 위치 Li에 있는 기준 터치 지역에 위치시키는 로봇에 의해 실행될 수 있다. 그러한 실시예에서, 인공 로봇 손가락은 실제 사람 손가락(또는 일부 경우에, 스타일러스나 펜)의 특성에 유사한 특성을 선택적으로 가질 수 있다. 이에 따라, 그러한 인공 손가락은 디스크 또는 사람 피부의 속성과 유사한 물질(예를 들어, 벨벳, 실리콘, 고무 등)로 만들어지거나 덮인 플렉서블한 반구, 또는 형상, 치수, 광 투과, 및 다른 물리적 속성이 실제 인간 손가락을 닮은 임의의 유사한 조립품을 포함할 수 있다.
기준 터치로부터 발생한 광 측정치 Tjk가 수신된다(1504). 일부 실시예에서, 기준 터치로부터 기인한 광 측정치 Tjk는 도 2의 물리적 단계(210)을 참조하여 설명된 하나 이상의 단계들(예를 들어 단계 212-218)에 기초하여 수신된다.
기준 터치에 대한 수신된 광 측정값 Tjk에 대응하는 빔 측정값 bn(또는 Gjk)은 비선형 함수 또는 선형화된 근사화를 이용하여 계산된다(1506). bn 또는 b[n]은 빔 측정값 Gjk, 즉 에미터 Ej에서 검출기 Dk로의 빔(j, k)의 선형화된 투과 계수에 대응한다. 일부 실시예에서, 비선형 함수는 로그 함수이다. 일부 실시예에서, 로그 함수는 Taylor 급수에 의해 근사화된다.
전달 함수 M은 기준 터치 Li로부터 발생한 계산된 빔 측정값 bn에 기초하여 계산된다(1508). 상술한 바와 같이, 전달 함수 M은 각 기준 터치가 각 빔 측정값에 미치는 영향을 설명한다. 전달 함수 행렬 M의 각 열은 위치 Li에 있는 기준 터치로부터 발생한 (에미터 j에서 검출기 k로의 광 빔에 대한) 광 빔 측정값 Gjk를 나타낸다.
일반적인 경우에, M의 차원은 B x P이며, 여기서, B는 빔의 개수이며 P는 기준 터치 지역의 개수(예를 들어, 도 10의 예에서 P = Q*N)이다. 그러한 실시예에서, b는 빔 측정값 bn의 크기 B인 열 벡터이다. 일부 실시예에서, 전달 함수 M은 각 기준 터치 위치에서 제공된 기준 터치에 대해 측정되거나 관측된 빔 측정값으로부터 경험적으로 획득된다. 대안적인 실시예에서, 전달 함수 M은 시뮬레이션과 빔 측정값 bn 사이의 매핑에 의해 결정되며 위치 Li에 있는 기준 터치는 실제 손가락 상호작용을 모델링하는 핵심 함수에 의해 시뮬레이션된다. radial base function과 같은 핵심 함수가 이용될 수 있다.
전달 함수 M은 (결합값 p를 가진) 터치 이벤트가 빔 측정값 b에 얼마나 영향을 미치는지를 수학식 (5)에 따라서 정의한다.
Figure 112015063706204-pct00005
도 13을 참조하면, 행렬 M의 임의 열 i에서, 영 또는 실질적으로 0인 원소는 위치 Li에 있는 기준 터치에 의해 방해 받지 않는 광 빔에 대응하는 빔 측정치를 나타낸다. 행렬 M의 임의 열 i에 있는 0이 아닌 원소는 위치 Li에 있는 기준 터치와 대응하는 광 빔 사이의 상호작용에 대응하는 빔 측정값 Gjk를 반영한다. 예를 들어, 도 13에서, 행렬 M의 0이 아닌 원소(예를 들어, m22 및 m52; 짙은 회색으로 음영 처리됨)는 (선형 인덱스 n=2 및 n=5인) 대응하는 광 빔과 위치 L2에 있는 기준 터치 사이의 상호작용을 나타낸다. 반대로, (예를 들어, 옅은 회색으로 음영 처리된) 0의 값들은 광 빔이 위치 L2에 있는 기준 터치와 상호작용하지 않음을 나타낸다.
수학식 (5)에 대한 역산이 결정된다(1510). 일부 실시예에서, 전달 함수 M의 의사-역행렬 R이 Moore-Penrose 기준과 같은 하나 이상의 기준의 최적화에 기초하여 계산된다.
도 14에서, 의사-역행렬 R의 두 번째 행(회색 음영)은 빔 측정치 b를 이용하여 위치 L2에 있는 기준 터치에 대한 결합값 추정치 p'2를 평가하는데 이용된다. 짙은 회색 음영이 표시된 R의 두 번째 행의 원소(r22 및 r25)는 M의 짙은 회색 음영이 표시된 원소(도 13의 m22 및 m52)에 대응한다. R의 두 번째 행의 나머지 원소들은 옅은 회색으로 음영이 표시되며 전달 함수 M에 기초하여 위치 L2에 있는 기준 터치와 대응하는 광 빔 사이 상호작용을 나타내지 않는다.
일부 실시예에서, 연산 부하와 메모리 요구사양을 줄이기 위해서, 행렬 R의 희소 행렬 표현이 이용된다. 도 14에 도시된 바와 같이, R의 희소 표현은 위치 Li에서 터치 이벤트가 빔 측정값 bn에 대응하는 광 빔을 방해하지 않는 원소 (i, n)을 0으로 설정하여 공식화될 수 있다. 대안적인 실시예에서, 연산을 감소시키는 다른 기준은 빔 방향, 방행 강도, 예상 에너지, 또는 이들의 조합과 같은 기준에 기초하여 행렬 M의 원소를 버리거나 유지하는 것을 포함한다.
일부 실시예에서, 연산 부하와 메모리 요구사양을 추가로 줄이기 위해서, R의 0이 아닌 원소는 항목별로 수 비트로 (균일 또는 비균일 양자화 엔코더를 이용하여) 엔코딩된다. 0이 아닌 원소에 대해 엔코딩된 값은 직접 이용되거나 양자화 디코더에 의해 먼저 처리될 수 있다. 다른 실시예에서, 빔 측정값의 벡터 b는 빔 측정치별로 양자화 단계에서 미리 정의된 수의 비트로 엔코딩된다.
엔코딩된 값은 복원시 직접 이용되거나 양자와 디코더에 의해 먼저 처리된다. 일 실시예에서, 양자화는 디지털 해상도를 원소당 한 비트로 설정한다. 다른 실시예에서, 의사-역행렬과 빔 벡터 모두 원소당 한 비트로 양자화되며, 이 경우 도 14에 도시된 역산은 주어진 터치 지역에 대한 활성 광 빔의 개수를 카운팅하는 것과 동일하다. 전달 함수 M에 대한 역산을 결정하는 다양한 대안적인 방법이 이용될 수 있다. 대안적으로, 역산은 Kaczmarz와 같은 방법을 이용하여 반복적으로 평가될 수 있다.
일부 실시예에서, 기준 터치 지역 P의 개수는 빔 측정치 B의 개수보다 작아서, 수학식 과잉 결정 시스템이 된다. 대안적인 실시예에서, 빔 측정치 B의 개수가 기준 터치 지역 P의 개수보다 작으면, 수학식의 시스템이 부정(underdetermined)된다. 그러한 실시예에서, 압축된 센싱과 같은 역산 방법이 이용될 수 있다.
IV. 결합값 추정치의 충실도 개선(Improving Fidelity of Binding Value Estimates)
일부 실시예에서, 광 빔 측정치의 잡음 및 비선형성(예를 들어, 다른 구동 전자장치, 광 변환, 유리내에서의 광 전파(propagation), 광 획득, 수신 전자장치, 수신기 ADC 등) 감소는 결합값 추정치의 충실도를 개선할 수 있다. 임의의 빔 투과 계수의 충실도 개선은 다른 빔의 충실도를 선택적으로 희생할 수 있다. 예를 들어, 고지향성 에미터는 축외(off-axis) 검출기로 전송되는 빛을 희생하면서 직접적으로 대향하는 검출기를 향하는 빛을 증가시킨다.
결합값 추정치는 다양한 빔 측정치로부터의 잠재적으로 잡음이 있는 bn값을 결합하여 획득되므로, 일부 실시예에서 결합값 추정치의 전역적 측정 오류를 줄이거나 감소시키기 위하여 잡음과 비선형성은 광 빔에 균일하게 분포된다. 일부 실시예에서, 이것은, 예를 들어, 에미터 또는 검출기 각도 범위를 연장하거나 에미터와 검출기를 최적화 기준에 기초하여 미리 결정된 방향을 향하게(예를 들어, 광축을 중심을 향하게 하거나, 가장 가까운 모서리를 향하게 함) 하는 등 유리에서 전파하는 광을 가능한 균일하게 분포시킴으로써 달성된다. 이 방식들은 빛을 빔이 많은 지역으로부터 다른 방향으로 돌려서 유리 내에서 더 균형잡힌 광 분포를 야기한다.
대안적인 실시예에서, 에미터와 검출기의 위치는 측정치 충실도를 개선하기 위해 최적화된다. 일부 실시예에서, 에미터와 검출기의 위치는 국부 빔 밀도가 표면에 걸쳐 실질적으로 일정하게 유지되도록 디더링(dithering)된다. 규칙적인 피치 정렬의 일정한 거리와 비교할 때 디더링은 한 광학 요소(에미터 또는 검출기)로부터 다음 광학 요소까지의 거리를 변화시켜서 획득된다. 규칙적인 위치 그리드는 한 광학 요소로부터 다음 광학 요소까지 거리 변화가 (주어진 어레이 또는 면 내에서) 없으며 일정한 거리는 그리드 피치와 동일하다. 디터링 패턴은 최적화되어 어느 특정 지역에서의 빔 집중을 방지한다. 일 실시예에서, 디더링 패턴은 규칙적인 위치에 포지티브 및 네거티브 위치 변화로 구성된 영-평균 의사-랜덤 변화 패턴(zero-mean pseudo-random variation pattern)을 추가하여 획득된다(변화는 한 차원, 즉, 어레이 또는 터치 존 측면 방향에 일반적으로 적용됨). 변화의 크기는 변화가 추가되는 규칙적인 그리드의 피치보다 일반적으로 작다. 일 실시예에서, 의사-랜덤 패턴은 두 개의 연속된 값만 완만하게 변한다(패턴은 로우패스 스펙트럼을 갖음). 사인파 또는 코사인파 패턴(예를 들어, 모서리 근처에서 에미터-검출기 밀도를 증가시키거나 감소시킴)과 같은 다른 변화 패턴이 이용될 수 있다. 일부 실시예에서, 에미터와 검출기의 위치가 에미터-검출기 간격 또는 터치 존의 전체 치수와 같은 파라미터에 대한 제약들을 조건으로 하는 빔 밀도 균일성과 같은 측정 기준을 최적화하는 검색 단계를 통해 결정된다. 서치 단계는 다수 세트의 에미터-검출기 위치를 테스트하고 가장 좋은 최적화 측정 기준을 선택할 수 있다.
V. 응용
전술한 터치-감지 장치는 다양한 응용들에서 이용될 수 있다. 응용의 한 종류로서, 터치-감지 디스플레이가 있다. 이는 테블릿 , 랩탑 , 데스크탑 , 게임 콘솔, 스마트폰 및 다른 종류의 컴퓨터 장치들을 포함할 수 있다. 또한, TV용 디스플레이, 디지털 사이니지(digital signage ), 공공 정보, 게시판, 전자책 및 다른 종류의 좋은 해상도 디스플레이를 포함할 수 있다. 그러나, 이들은 좀더 작거나 낮은 해상도의 디스플레이, 가령, 좀더 단순한 핸드폰, 사용자 콘트롤(복사 콘트롤 , 프린터 콘트롤 , 가전제품 콘트롤 등에도 사용될 수 있다. 이러한 터치-감지 장치들은 디스플레이 이외의 다른 응용들에도 사용될 수 있다. 터치가 감지되는 “표면”은 인쇄된 영상 또는 단순히 임의의 딱딱한 표면과 같은 수동형 소자일 수 있다. 이러한 응용은 트랙볼 또는 마우스와 유사한 사용자 인터페이스로 이용될 수 있다.
VI. 추가적인 고려 상황
전술한 도면들은 예시적인 목적으로 본 발명의 실시예들을 도시한 것이다. 본 기술 분야의 당업자들이라면 이하의 설명으로부터 이제까지 설명된 본 발명의 원리를 벗어나지 않는 범위 내에서 다양한 변형된 구조 및 방법 실시예들이 채용될 수 있음을 쉽게 이해할 것이다.
전술한 설명을 통해, 본 기술 분야의 당업자들은 전술한 본 발명의 원리를 통해 추가적인 대안 구조 및 기능의 설계가 또한 이해될 것이다. 따라서, 특정 실시예들 및 응용들에 대하여 이제까지 서술하였지만, 이러한 실시예들이 여기서 설명된 정확한 구조 및 구성요소에 제한되는 것은 아님을 이해하여야 한다. 이하의 첨부된 청구항에 정의된 본 발명의 정신 및 범주를 벗어나지 않는 범위에서 이제까지 설명한 방법 및 장치의 구성, 동작 및 상세사항들에 다양한 변형, 변경 및 수정이 이루어질 수 있음은 본 기술분야의 당업자에게 자명하다.

Claims (39)

  1. 터치 감지면상의 복수의 터치 지역에서 발생하는 멀티-터치 이벤트를 결정하는 방법에 있어서,
    상기 방법은 컴퓨터 프로세서가 수행하는
    상기 멀티-터치 이벤트로부터 발생한 복수의 빔 측정값 bn을 수신하는 단계-여기서, 상이한 빔 측정값 bn은 상기 터치 감지면에 걸쳐 전송되는 상이한 광 빔으로부터 발생하고 상기 멀티-터치 이벤트는 상기 터치 지역 근처에서 상기 광 빔을 방해함-;
    상기 빔 측정값 bn으로부터 상기 터치 감지면의 대응하는 위치 Li에서 광 빔 방해를 추정하는 결합값 추정치 p'i를 결정하는 단계-여기서, 상기 결합값 추정치 p'i를 결정하는 단계는 선형 전달 함수로서 결합값 p에서 빔 측정값 bn으로의 전달 함수를 모델링하는 단계에 기초함-; 및
    상기 결합값 추정치 p'i로부터 상기 멀티-터치 이벤트에 대한 터치 지역을 결정하는 단계를 포함하는 터치 감지면상의 복수의 터치 지역에서 발생하는 멀티-터치 이벤트를 결정하는 방법.
  2. 제1항에 있어서, 상기 선형 전달 함수는 b = Mp 로 표현되며,
    여기서, b는 상기 빔 측정값 bn의 열 벡터이고,
    p 는 결합값 pi의 열 벡터이며,
    M 은 상기 선형 전달 함수이고, 행렬 M의 열 n은 위치 Li에 있는 기준 터치에서 발생한 빔 측정값 bn이며, 상기 기준 터치는 결합값 pi = 1에 대응하는 터치 감지면상의 복수의 터치 지역에서 발생하는 멀티-터치 이벤트를 결정하는 방법.
  3. 제2항에 있어서, 상기 결합값 추정치 p'i를 결정하는 단계는, b = Mp 에 역변환을 적용하는 단계를 포함하는 터치 감지면상의 복수의 터치 지역에서 발생하는 멀티-터치 이벤트를 결정하는 방법.
  4. 제2항에 있어서, 상기 결합값 추정치 p'i를 결정하는 단계는 p'= Rb 를 평가하는 단계를 포함하며,
    여기서, p'는 상기 결합값 추정치 p'i의 열 벡터이며,
    R은 상기 선형 전달 함수 M의 역행렬 R인 터치 감지면상의 복수의 터치 지역에서 발생하는 멀티-터치 이벤트를 결정하는 방법.
  5. 제4항에 있어서, R은 희소 행렬인 터치 감지면상의 복수의 터치 지역에서 발생하는 멀티-터치 이벤트를 결정하는 방법.
  6. 제4항에 있어서, R은 위치 L에서의 터치가 상기 빔 측정값 bn에 대한 광 빔을 방해하지 않는 원소에 대해 0인 터치 감지면상의 복수의 터치 지역에서 발생하는 멀티-터치 이벤트를 결정하는 방법.
  7. 제2항에 있어서, b = Mp 는 과잉 결정되는 터치 감지면상의 복수의 터치 지역에서 발생하는 멀티-터치 이벤트를 결정하는 방법.
  8. 제2항에 있어서, 상기 빔 측정값 bn의 개수는 위치 Li의 개수보다 큰 터치 감지면상의 복수의 터치 지역에서 발생하는 멀티-터치 이벤트를 결정하는 방법.
  9. 제2항에 있어서, 상기 행렬 M의 각 열 n은 적어도 50%가 0인 터치 감지면상의 복수의 터치 지역에서 발생하는 멀티-터치 이벤트를 결정하는 방법.
  10. 제2항에 있어서, 상기 기준 터치는 100 mm2 보다 작은 유한 영역을 점유하며 상기 행렬 M의 각 열 n은 상기 유한 영역의 외부에 있는 원소에 대해서 0을 가지는 터치 감지면상의 복수의 터치 지역에서 발생하는 멀티-터치 이벤트를 결정하는 방법.
  11. 제10항에 있어서, 상기 기준 터치는 일정한 영역을 점유하는 터치 감지면상의 복수의 터치 지역에서 발생하는 멀티-터치 이벤트를 결정하는 방법.
  12. 제10항에 있어서, 상기 기준 터치는 가변 영역을 점유하는 터치 감지면상의 복수의 터치 지역에서 발생하는 멀티-터치 이벤트를 결정하는 방법.
  13. 제2항에 있어서, 인접한 위치들 Li에 있는 상기 기준 터치들은 중첩하는 터치 감지면상의 복수의 터치 지역에서 발생하는 멀티-터치 이벤트를 결정하는 방법.
  14. 제2항에 있어서, 상기 기준 터치들은 적어도 1000개의 위치 Li를 점유하는 터치 감지면상의 복수의 터치 지역에서 발생하는 멀티-터치 이벤트를 결정하는 방법.
  15. 제2항에 있어서, 인접한 위치들 Li에 있는 상기 기준 터치들은 중첩하지 않는 터치 감지면상의 복수의 터치 지역에서 발생하는 멀티-터치 이벤트를 결정하는 방법.
  16. 제2항에 있어서, 상기 행렬 M의 각 열 n은 0보다 작은 원소를 가지는 터치 감지면상의 복수의 터치 지역에서 발생하는 멀티-터치 이벤트를 결정하는 방법.
  17. 제1항에 있어서, 상기 멀티-터치 이벤트로부터 발생한 복수의 빔 측정값 bn을 수신하는 단계는,
    에미터에서 검출기로의 광 빔의 광 측정치를 수신하는 단계-여기서, 광 측정치는 상기 광 빔의 방향으로 터치 이벤트의 비선형 함수임-; 및
    비선형 함수를 적용하여 상기 광 측정치에서 상기 빔 측정값 bn을 계산하는 단계를 포함하는
    터치 감지면상의 복수의 터치 지역에서 발생하는 멀티-터치 이벤트를 결정하는 방법.
  18. 제17항에 있어서, 상기 비선형 함수는 로그 함수인 터치 감지면상의 복수의 터치 지역에서 발생하는 멀티-터치 이벤트를 결정하는 방법.
  19. 제17항에 있어서, 상기 비선형 함수는 에미터에서 검출기로 광 빔의 광 투과의 로그 함수인 터치 감지면상의 복수의 터치 지역에서 발생하는 멀티-터치 이벤트를 결정하는 방법.
  20. 제17항에 있어서, 상기 비선형 함수는 에미터에서 검출기로 광 빔의 광 투과의 로그 함수의 선형화된 근사화이며, 상기 선형화된 근사화는 상기 광 빔의 광 손실 계수를 나타내는 터치 감지면상의 복수의 터치 지역에서 발생하는 멀티-터치 이벤트를 결정하는 방법.
  21. 제1항에 있어서, 상기 위치 Li는 직사각형 그리드 상에 있는 터치 감지면상의 복수의 터치 지역에서 발생하는 멀티-터치 이벤트를 결정하는 방법.
  22. 제1항에 있어서, 상기 위치 Li는 규칙적인 그리드 상에 있는 터치 감지면상의 복수의 터치 지역에서 발생하는 멀티-터치 이벤트를 결정하는 방법.
  23. 제1항에 있어서, 위치 L는 불규칙하게 이격된 터치 감지면상의 복수의 터치 지역에서 발생하는 멀티-터치 이벤트를 결정하는 방법.
  24. 제1항에 있어서, 상기 위치 Li는 서로간에 적어도 2mm 이격되는 터치 감지면상의 복수의 터치 지역에서 발생하는 멀티-터치 이벤트를 결정하는 방법.
  25. 제1항에 있어서, 상기 멀티-터치 이벤트에 대한 터치 지역을 결정하는 단계는 결합값 추정치 p'i에 문턱값을 적용하는 단계 및 상기 문턱값을 초과하는 결합값 추정치 p'i에 기초하여 후보 터치 지역을 식별하는 단계를 포함하는 터치 감지면상의 복수의 터치 지역에서 발생하는 멀티-터치 이벤트를 결정하는 방법.
  26. 제1항에 있어서, 상기 멀티-터치 이벤트에 대한 터치 지역을 결정하는 단계는 결합값 추정치 p'i에 기초하여 국부 특징에 문턱값을 적용하는 단계 및 상기 문턱값을 초과하는 상기 국부 특징에 기초하여 후보 터치 지역을 식별하는 단계를 포함하는 터치 감지면상의 복수의 터치 지역에서 발생하는 멀티-터치 이벤트를 결정하는 방법.
  27. 제1항에 있어서, 상기 멀티-터치 이벤트에 대한 터치 지역을 결정하는 단계는 각 터치 지역을 결정하기 위해 하나 이상의 결합값 추정치 p'i를 이용하는 단계를 포함하는 터치 감지면상의 복수의 터치 지역에서 발생하는 멀티-터치 이벤트를 결정하는 방법.
  28. 제27항에 있어서, 상기 멀티-터치 이벤트에 대한 터치 지역을 결정하는 단계는 각 터치 지역을 결정하기 위해 결합값 추정치들 p'i를 보간하는 단계를 포함하는 터치 감지면상의 복수의 터치 지역에서 발생하는 멀티-터치 이벤트를 결정하는 방법.
  29. 제1항에 있어서, 상기 터치 지역은 인접 위치들 Li사이 간격보다 작은 정확도로 결정될 수 있는 터치 감지면상의 복수의 터치 지역에서 발생하는 멀티-터치 이벤트를 결정하는 방법.
  30. 제1항에 있어서, 상기 선형 전달 함수는 연역적으로 결정되는 터치 감지면상의 복수의 터치 지역에서 발생하는 멀티-터치 이벤트를 결정하는 방법.
  31. 제1항에 있어서, 상기 선형 전달 함수에서의 변화를 보상하도록 자동적으로 보정하는 단계를 더 포함하되,
    상기 선형 전달 함수에서의 변화를 보상하도록 자동적으로 보정하는 단계는 상기 멀티-터치 이벤트로부터 발생한 복수의 빔 측정값 bn을 수신하는 단계 이전에 또는 상기 결합값 추정치 p'i로부터 상기 멀티-터치 이벤트에 대한 터치 지역을 결정하는 단계 이후에 수행되는, 터치 감지면상의 복수의 터치 지역에서 발생하는 멀티-터치 이벤트를 결정하는 방법.
  32. 제1항에 있어서, 상기 광 빔은 상기 터치 감지면의 둘레를 따라 배열된 에미터와 검출기간에 전송되는 터치 감지면상의 복수의 터치 지역에서 발생하는 멀티-터치 이벤트를 결정하는 방법.
  33. 제1항에 있어서, 다중 광 빔은 검출기에 의해 동시에 수신되는 터치 감지면상의 복수의 터치 지역에서 발생하는 멀티-터치 이벤트를 결정하는 방법.
  34. 제1항에 있어서, 상기 결합값 추정치 p'i로부터 상기 멀티-터치 이벤트의 터치 이벤트에 대한 물리적 속성을 결정하는 단계를 더 포함하되,
    상기 결합값 추정치 p'i로부터 상기 멀티-터치 이벤트의 터치 이벤트에 대한 물리적 속성을 결정하는 단계는, 상기 결합값 추정치 p'i로부터 상기 멀티-터치 이벤트에 대한 터치 지역을 결정하는 단계 이전 또는 이후에 수행되거나 상기 결합값 추정치 p'i로부터 상기 멀티-터치 이벤트에 대한 터치 지역을 결정하는 단계와 동시에 수행되는, 터치 감지면상의 복수의 터치 지역에서 발생하는 멀티-터치 이벤트를 결정하는 방법.
  35. 제34항에 있어서, 상기 터치 이벤트에 대한 물리적 속성을 결정하는 단계는 상기 터치 이벤트에 연관된 터치 압력, 압력 기울기, 공간 압력 분포, 광 투과 특성 중 하나 이상을 결정하는 단계를 포함하는 터치 감지면상의 복수의 터치 지역에서 발생하는 멀티-터치 이벤트를 결정하는 방법.
  36. 제34항에 있어서, 상기 멀티-터치 이벤트의 터치 이벤트에 대해 결정된 상기 물리적 속성에 기초하여 상기 멀티-터치 이벤트를 발생시킨 하나 이상의 물체를 식별하는 단계를 더 포함하는 터치 감지면상의 복수의 터치 지역에서 발생하는 멀티-터치 이벤트를 결정하는 방법.
  37. 제1항에 있어서, 상기 결합값 추정치 p'i로부터 상기 멀티-터치 이벤트의 상기 터치 지역에 대한 공간 특성을 결정하는 단계를 더 포함하되,
    상기 결합값 추정치 p'i로부터 상기 멀티-터치 이벤트의 상기 터치 지역에 대한 공간 특성을 결정하는 단계는, 상기 결합값 추정치 p'i로부터 상기 멀티-터치 이벤트에 대한 터치 지역을 결정하는 단계 이전 또는 이후에 수행되거나 상기 결합값 추정치 p'i로부터 상기 멀티-터치 이벤트에 대한 터치 지역을 결정하는 단계와 동시에 수행되는, 터치 감지면상의 복수의 터치 지역에서 발생하는 멀티-터치 이벤트를 결정하는 방법.
  38. 제37항에 있어서, 상기 터치 지역에 대한 상기 공간 특성을 결정하는 단계는 하나 이상의 상기 터치 지역에 연관된 치수, 경계, 둘레, 면적, 기하학적 형상을 결정하는 단계를 포함하는 터치 감지면상의 복수의 터치 지역에서 발생하는 멀티-터치 이벤트를 결정하는 방법.
  39. 제37항에 있어서, 상기 멀티-터치 이벤트의 상기 터치 지역에 대해 결정된 상기 공간 특성에 기초하여 상기 멀티-터치 이벤트를 발생시킨 하나 이상의 물체를 식별하는 단계를 더 포함하는 터치 감지면상의 복수의 터치 지역에서 발생하는 멀티-터치 이벤트를 결정하는 방법.
KR1020157017579A 2012-11-30 2013-11-27 광 터치 토모그래피 KR101690205B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201261732225P 2012-11-30 2012-11-30
US61/732,225 2012-11-30
PCT/IB2013/003172 WO2014083437A2 (en) 2012-11-30 2013-11-27 Optical touch tomography

Publications (2)

Publication Number Publication Date
KR20150109346A KR20150109346A (ko) 2015-10-01
KR101690205B1 true KR101690205B1 (ko) 2016-12-27

Family

ID=50693701

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020157017579A KR101690205B1 (ko) 2012-11-30 2013-11-27 광 터치 토모그래피

Country Status (5)

Country Link
US (3) US9092091B2 (ko)
KR (1) KR101690205B1 (ko)
CN (1) CN105247455B (ko)
TW (1) TWI549038B (ko)
WO (1) WO2014083437A2 (ko)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014083437A2 (en) * 2012-11-30 2014-06-05 Julien Piot Optical touch tomography
CN105283744B (zh) * 2013-06-05 2018-05-18 Ev 集团 E·索尔纳有限责任公司 用以确定压力地图的测量装置及方法
TWI498790B (zh) * 2013-06-13 2015-09-01 Wistron Corp 多點觸控系統與多點觸控訊號處理方法
JP6255321B2 (ja) * 2014-08-20 2017-12-27 アルプス電気株式会社 情報処理装置とその指先操作識別方法並びにプログラム
US9791976B2 (en) 2014-09-02 2017-10-17 Rapt Ip Limited Instrument detection with an optical touch sensitive device
US9965101B2 (en) 2014-09-02 2018-05-08 Rapt Ip Limited Instrument detection with an optical touch sensitive device
US10108301B2 (en) 2014-09-02 2018-10-23 Rapt Ip Limited Instrument detection with an optical touch sensitive device, with associating contacts with active instruments
TWI533181B (zh) * 2014-09-18 2016-05-11 緯創資通股份有限公司 光學式觸控感測裝置及其觸控信號判斷方法
US9791977B2 (en) 2014-12-16 2017-10-17 Rapt Ip Limited Transient deformation detection for a touch-sensitive surface
WO2016122385A1 (en) 2015-01-28 2016-08-04 Flatfrog Laboratories Ab Dynamic touch quarantine frames
EP3256936A4 (en) 2015-02-09 2018-10-17 FlatFrog Laboratories AB Optical touch system comprising means for projecting and detecting light beams above and inside a transmissive panel
WO2017099657A1 (en) 2015-12-09 2017-06-15 Flatfrog Laboratories Ab Improved stylus identification
WO2017203355A1 (en) * 2016-05-23 2017-11-30 Rapt Ip Limited Instrument detection with an optical touch sensitive device, with associating contacts with active instruments
CN106231219A (zh) * 2016-07-13 2016-12-14 乐视控股（北京）有限公司 一种电视显示屏及其操作方法，以及电视
KR102344055B1 (ko) * 2016-12-07 2021-12-28 플라트프로그 라보라토리즈 에이비 개선된 터치 장치
US10963104B2 (en) * 2017-02-06 2021-03-30 Flatfrog Laboratories Ab Optical coupling in touch-sensing systems
WO2018174786A1 (en) * 2017-03-22 2018-09-27 Flatfrog Laboratories Pen differentiation for touch displays
EP3602259A4 (en) 2017-03-28 2021-01-20 FlatFrog Laboratories AB TOUCH DETECTION DEVICE AND ITS ASSEMBLY PROCESS
CN111052058B (zh) 2017-09-01 2023-10-20 平蛙实验室股份公司 改进的光学部件
CN108235750B (zh) * 2018-01-15 2021-06-11 深圳市汇顶科技股份有限公司 指纹识别系统的按压检测方法、装置和终端设备
US11169641B2 (en) * 2018-01-23 2021-11-09 Beechrock Limited Compliant stylus interaction with touch sensitive surface
US11567610B2 (en) 2018-03-05 2023-01-31 Flatfrog Laboratories Ab Detection line broadening
US10983611B2 (en) 2018-06-06 2021-04-20 Beechrock Limited Stylus with a control
WO2020153890A1 (en) 2019-01-25 2020-07-30 Flatfrog Laboratories Ab A videoconferencing terminal and method of operating the same
EP3839706B1 (fr) * 2019-12-20 2023-07-05 The Swatch Group Research and Development Ltd Procede et dispositif de determination de position d'un objet sur une surface donnee
JP2023512682A (ja) 2020-02-10 2023-03-28 フラットフロッグ ラボラトリーズ アーベー 改良型タッチ検知装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7705835B2 (en) * 2005-03-28 2010-04-27 Adam Eikman Photonic touch screen apparatus and method of use
WO2007003196A2 (en) * 2005-07-05 2007-01-11 O-Pen Aps A touch pad system
AR064377A1 (es) * 2007-12-17 2009-04-01 Rovere Victor Manuel Suarez Dispositivo para sensar multiples areas de contacto contra objetos en forma simultanea
CN101971129A (zh) * 2008-02-11 2011-02-09 奈克斯特控股有限公司 解决光学触摸屏的多点触摸情景的系统和方法
TW201001258A (en) * 2008-06-23 2010-01-01 Flatfrog Lab Ab Determining the location of one or more objects on a touch surface
TW201005606A (en) * 2008-06-23 2010-02-01 Flatfrog Lab Ab Detecting the locations of a plurality of objects on a touch surface
US8531435B2 (en) * 2008-08-07 2013-09-10 Rapt Ip Limited Detecting multitouch events in an optical touch-sensitive device by combining beam information
SE533704C2 (sv) * 2008-12-05 2010-12-07 Flatfrog Lab Ab Pekkänslig apparat och förfarande för drivning av densamma
CN101963867B (zh) * 2009-07-24 2013-06-05 敦南科技股份有限公司 具备多点触控功能的触控输入装置及其方法
SE534244C2 (sv) * 2009-09-02 2011-06-14 Flatfrog Lab Ab Pekkänsligt system och förfarande för funktionsstyrning av detsamma
US20140085241A1 (en) * 2011-05-16 2014-03-27 Flatfrog Laboratories Ab Device and method for determining reduced performance of a touch sensitive apparatus
CN104160366A (zh) * 2011-11-28 2014-11-19 康宁股份有限公司 使用平面透明薄板的稳固的光学触摸屏系统和方法
EP2795437A4 (en) 2011-12-22 2015-07-15 Flatfrog Lab Ab TOUCH DETERMINATION WITH INTERACTION COMPENSATION
WO2014083437A2 (en) * 2012-11-30 2014-06-05 Julien Piot Optical touch tomography

Also Published As

Publication number Publication date
WO2014083437A3 (en) 2014-11-06
TWI549038B (zh) 2016-09-11
KR20150109346A (ko) 2015-10-01
US20170269777A1 (en) 2017-09-21
CN105247455B (zh) 2017-06-16
US9092091B2 (en) 2015-07-28
TW201428582A (zh) 2014-07-16
US20160034095A1 (en) 2016-02-04
CN105247455A (zh) 2016-01-13
US9671900B2 (en) 2017-06-06
WO2014083437A2 (en) 2014-06-05
US20140152624A1 (en) 2014-06-05

Similar Documents

Publication Publication Date Title
KR101690205B1 (ko) 광 터치 토모그래피
US10901556B2 (en) Instrument detection with an optical touch sensitive device
US9965101B2 (en) Instrument detection with an optical touch sensitive device
KR101738190B1 (ko) 보상 신호 프로파일을 갖는 터치 표면
TWI638302B (zh) 用於光學觸碰偵測之經振動波導表面
US10289256B2 (en) Dynamic assignment of possible channels in a touch sensor
US9347833B2 (en) Infrared touch and hover system using time-sequential measurements
CN112041799A (zh) 触摸敏感装置中的不需要的触摸管理
EP3074846A1 (en) Device and method for operating at mitigated sensitivity in a touch sensitive device
JP5876587B2 (ja) タッチスクリーンシステム及びコントローラ
JP6216776B2 (ja) タッチイベントテンプレートを使用した光タッチセンサー式装置におけるマルチタッチイベントの検出
US9791977B2 (en) Transient deformation detection for a touch-sensitive surface

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20191219

Year of fee payment: 4