KR20140077173A - 터치 결정을 위한 이미지 복원 - Google Patents

터치 결정을 위한 이미지 복원 Download PDF

Info

Publication number
KR20140077173A
KR20140077173A KR1020147009803A KR20147009803A KR20140077173A KR 20140077173 A KR20140077173 A KR 20140077173A KR 1020147009803 A KR1020147009803 A KR 1020147009803A KR 20147009803 A KR20147009803 A KR 20147009803A KR 20140077173 A KR20140077173 A KR 20140077173A
Authority
KR
South Korea
Prior art keywords
pattern
touch
current
surface portion
points
Prior art date
Application number
KR1020147009803A
Other languages
English (en)
Other versions
KR101941730B1 (ko
Inventor
토마스 크리스티안쏜
니클라스 올송
Original Assignee
플라트프로그 라보라토리즈 에이비
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 플라트프로그 라보라토리즈 에이비 filed Critical 플라트프로그 라보라토리즈 에이비
Publication of KR20140077173A publication Critical patent/KR20140077173A/ko
Application granted granted Critical
Publication of KR101941730B1 publication Critical patent/KR101941730B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • G06F3/04186—Touch location disambiguation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0421—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04109—FTIR in optical digitiser, i.e. touch detection by frustrating the total internal reflection within an optical waveguide due to changes of optical properties or deformation at the touch location

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)

Abstract

터치 감지는, 복수의 인커플링 지점들로부터 복수의 아웃커플링 지점들로, 예를 들어 TIR에 의해 신호들을 전달하고, 이에 의해 인커플링 지점과 아웃커플링 지점의 쌍들 사이의 터치 표면에 걸쳐 검출 라인들을 정의하도록 구성된 패널을 포함하는 터치 시스템을 사용하여 가능해진다. 신호 프로세서는, 반복하는 반복들의 시퀀스에서, 현재 반복과 이전 반복 사이의 신호 변화들을 나타내는 검출 라인들에 대한 변화 값들을 산출하고(22), 터치 표면에 걸쳐 차동 상호작용 패턴을 결정하기 위해 변화 값들에서 복원 알고리즘을 동작시키도록(23) 동작한다. 신호 프로세서는 또한 차동 상호작용 패턴의 함수로서 트래킹 패턴을 업데이트하고(24), 트래킹 패턴에 기초하여 현재 오프셋 패턴을 생성하도록(25) 동작한다. 오프셋 패턴은 터치 표면 상에서 현재 터치 상호작용을 나타내기 위해 생성되고, 표면 부분 상에서의 터치들의 식별(26)을 위해 제공된다. 트래킹 패턴은 터치 표면에 걸쳐 축적된 상호작용을 나타낼 수 있고, 터치 표면 상에서 오염들의 영향을 포함하거나 적어도 부분적으로 보상받을 수 있다.

Description

터치 결정을 위한 이미지 복원{IMAGE RECONSTRUCTION FOR TOUCH DETERMINATION}
본 발명은 일반적으로 터치 감지 시스템들 및 이러한 시스템들에 관련된 데이터 처리 기술들에 관한 것이고, 특히 이러한 시스템들에서 터치 결정을 위한 이미지 복원의 사용에 관한 것이다.
관련 출원에 대한 교차 참조
본 출원은 여기에서 참조에 의해 포함되는, 2011년 9월 27에 출원된 스웨덴 특허 출원 제1150879-3호, 및 2011년 9월 27일에 출원된 미국 가출원 제61/539608호의 이익을 주장한다.
터치 감지 시스템들("터치 시스템들")은 다양한 응용들에서 널리 사용된다. 일반적으로, 터치 시스템들은 터치 표면에 직접 접촉하거나 또는 접근하는(즉, 접촉하지 않음) 손가락 또는 스타일러스(stylus)와 같은 터치 오브젝트에 의해 활성화된다. 터치 시스템들은 예를 들어 터치 패널들에서 랩탑 컴퓨터들의 터치 패드들로서 사용되고, 예를 들어 이동 전화기들과 같은 핸드헬드 디바이스들 상의 디스플레이들에 대한 오버레이(overlay)들로서 사용된다. 디스플레이 상에 덮히거나 디스플레이에 통합된 터치 패널은 또한 "터치 스크린"을 의미한다. 많은 다른 응용들이 해당 분야에서 공지된다.
WO2011/028169 및 WO2011/049512는 방해된 내부 전반사(frustrated total internal reflection, FTIR)에 기초하는 터치 시스템들을 개시한다. 광 시트(light sheet)들은 내부 전반사(total internal reflection, TIR)에 의해 패널 내부에서 전파하기 위해 패널에 결합된다. 오브젝트가 패널의 터치 표면에 접촉하게 되는 경우, 전파되는 광(light)은 터치 지점에서 감쇠될 것이다. 광 센서들의 어레이들은 터치 표면의 둘레 주위에 배치되어 각각의 광 시트에 대해 수신된 광을 검출한다. 광 센서들로부터의 측정 신호들은, 터치 표면에 걸쳐 감쇠 값들의 2차원 분포를 생성하는 이미지 복원 알고리즘으로의 입력을 위해 반복적으로 처리될 수 있다. 하나 이상의 사용자들은 터치 표면과 상호작용하는 동안, 이것은 터치들의 현재 위치/크기/형태의 반복적인 결정을 가능하게 한다.
이러한 타입의 FTIR 기반 터치 시스템들에서, 터치들은, 예를 들어 터치 표면들 상에서의 지문들 및 다른 타입의 얼룩(smear)로부터 비롯되는 간섭들의 배경에 대해 검출될 필요가 있다. 간섭들의 영향은, 언제나 터치 표면 상에서 터치들을 적절하게 검출하는 것을 어렵게 하여, 시간에 따라 달라질 수 있을 뿐만 아니라 터치 표면에 걸쳐 달라질 수 있다. 또한, 터치하는 오브젝트와 터치 표면 사이의 상호작용의 정도는 시간에 따라 그리고 상이한 오브젝트들 사이에서 달라질 수 있다. 예를 들어, 상호작용은 오브젝트가 터치 표면 상에 고정된 위치에서 탭되는지(tapped), 드래그되는지(dragged) 또는 유지되는지 여부에 의존할 수 있다. 상이한 오브젝트들은 상호작용의 상이한 정도를 생성할 수 있고, 예를 들어 상호작용의 정도는 사용자의 손가락들 사이에서 달라질 수 있고, 심지어 상이한 사용자들의 손가락들 사이에서 더 달라질 수 있다. 터치하는 오브젝트는 예를 들어 1% 미만의 전파 광의 작은 감쇠만을 야기할 수 있다는 것이 또한 이해될 것이다. 소정의 시스템들은 대략 0.1%-0.01% 의 감쇠를 검출하도록 설계될 필요가 있을 수 있다.
상술한 WO2011/049512는 터치 표면 상의 오염을 보상하는 기술을 제안한다. 일 실시예에서, 광 센서들에서의 수신된 광 에너지는, 예를 들어 각각의 광 센서에 대한 기준 값으로 표준화함으로써 감쇠 값들로 변환되고, 여기서 감쇠 값들은 터치 표면에 걸쳐 감쇠 값들의 2차원 분포인 현재 광 상태를 생성하는 이미지 복원 알고리즘으로 입력된다. 터치 시스템은 또한, 터치 표면 상의 오염에 의해 야기되는 감쇠 값들의 2차원 분포인 배경 상태(background status)를 파악한다. 터치들은 현재 광(light) 상태에서 배경 상태를 뺌으로써 생성되는 보상된 광 상태에서 검출된다. 현재 광 상태에서 작은 감쇠로서 표현되는 터치를 검출할 수 있기 위해, 복원 알고리즘을 구현하여 감쇠 값들에서 높은 비트의 해상도를 갖는 현재 광 상태를 생성할 필요가 있을 수 있다. 그러나, 이것은 처리의 측면에서의 요구이고, 상당한 처리 시간을 야기할 수 있다. 복원 처리를 위한 이용 가능한 비트 해상도가 하드웨어 제약에 의해 제한될 수 있다는 점을 또한 예상할 수 있다.
상술한 WO2011/028169는 대안적인 보상 기술을 제안한다. 총괄적으로 배경 신호 프로필을 의미하고 측정된 에너지 값들의 감쇠 값들로의 변환 및 표준화에서 사용되는 광 센서들에 대한 기준 값들은 간헐적으로 업데이트되어 터치 표면 상의 오염들의 영향을 포함한다. 터치 시스템은 광 센서들로부터의 에너지 값들을 반복적으로 판독하고 현재(업데이트된) 기준 값들을 사용하여, 총괄적으로 현재 보상 신호 프로필을 의미하는, 감쇠 값들을 생성한다. 현재 보상 신호 프로필은, 예를 들어 터치 결정을 위해 더 처리될 수 있는 터치 표면에 걸친 감쇠 값들의 2차원 분포를 생성하는 이미지 복원 알고리즘에 의해 터치 결정을 위해 처리될 수 있다. 기준 값들의 업데이트를 통해 오염들의 영향을 추적함으로써, 터치 시스템은 복원 알고리즘으로의 입력에서 이미 오염들을 보상한다. 이론 상으로, 입력 측면에서의 보상에 의해, 복원된 이미지에서의 감쇠의 작은 변화를 검출할 수 있는 동안, 감소된 비트 해상도로 복원 알고리즘을 동작시키는 것이 가능하다. 그러나, 일 도전은 입력 측면에서의 충분하게 적절한 보상을 달성하는 것이다. 오염들로부터의 감쇠가 복원된 이미지에 남아있는 경우, 터치 결정은 거의 방해될 수 있다.
본 발명은 터치 결정을 위한 이미지 복원을 제공하는 것을 목적으로 한다.
본 발명의 목적은 적어도 부분적으로 종래 기술의 하나 이상의 한계들을 극복하는 것이다.
전술한 것을 고려하여, 일 목적은 FTIR 기반 터치 시스템에서 복원 처리에서의 감소된 비트 해상도를 가능하게 하는 것이다.
다른 목적은 FTIR 시스템의 터치 표면 상의 오염들의 영향에 대한 보상을 가능하게 하는 것이다.
또 다른 목적은 복원 처리에 의해 획득한 이미지에 기초하여 터치 검출을 용이하게 하는 것이다.
이하의 설명으로부터 나타날 수 있는 이러한 목적들 및 다른 목적들 중 하나 이상은, 독립 청구항들, 종속 청구항들에 의해 정의되는 그 실시예들에 따라 터치 결정을 가능하게 하는 방법, 컴퓨터 프로그램 제품, 터치 결정을 가능하게 하는 디바이스, 및 터치 감지 장치들에 의해 적어도 부분적으로 달성된다.
본 발명의 제1 양태는 터치 감지 장치로부터의 출력 신호에 기초하여 터치 결정을 가능하게 하는 방법이다. 그 장치는 복수의 인커플링(incoupling) 지점들로부터 복수의 아웃커플링(outcoupling) 지점들로 신호들을 전달하고, 이에 의해 인커플링 지점과 아웃커플링 지점의 쌍들 사이에서 패널의 표면 부분에 걸쳐 연장하는 검출 라인들을 정의하도록 구성된 패널, 인커플링 지점들에 연결되어 신호들을 생성하는 적어도 하나의 신호 생성기, 및 아웃커플링 지점들에 연결되어 검출 라인들에 대해 신호 값들의 시간 시퀀스(time-sequence)를 나타내는 출력 신호를 생성하는 적어도 하나의 신호 검출기를 포함한다. 그 방법은, 반복(iteration)들의 시퀀스 중 각각의 반복에서, 출력 신호에 기초하여 각각의 검출 라인에 대한 현재 신호 값을 획득하는 단계; 반복들의 시퀀스에서 이전 반복에서 획득된 현재 신호 값을 나타내는, 각각의 검출 라인에 대한 현재 기준 값을 검색하는 단계; 현재 신호 값 및 현재 기준 값의 함수로서 각각의 검출 라인에 대한 변화 값을 산출하는 단계; 변화 값들에서 복원 알고리즘을 작동시켜 표면 부분 상에서 차동 상호작용 패턴(differential interaction pattern)을 결정하는 단계; 차동 상호작용 패턴의 함수로서 트래킹 패턴(tracking pattern)을 업데이트하는 단계; 트래킹 패턴의 함수로서 현재 축적된 터치 상호작용 패턴을 생성하는 단계; 및 표면 부분 상에서 터치들의 식별을 위해 현재 축적된 터치 상호작용 패턴을 제공하는 단계를 포함한다.
제1 양태의 방법에서, 차동 상호작용 패턴은, 기준 값들이 검출 라인들에 대해 획득되었던 이전의 반복 이후로의 표면 부분 상에서 반복의 변화를 나타내기 위해 생성된다. 현재 반복과 관련하여 이전의 반복의 적절한 선택에 의해, 표면 부분 상에서의 반복의 최대 변화가 복원 처리에서 가능한 비트 해상도에 매칭하여 전파 광과의 약한 상호작용을 이용하여 터치들의 검출을 허용하는 것이 가능한다. 따라서 복원 처리에서의 변화 값들의 사용은 현재 신호 값들의 사용에 비교되는 복원 처리에서의 비트 해상도에 대한 요구를 낮출 수 있다는 것이 인식된다. 또한, 요구되는 비트 해상도에서의 감소는 처리 시간의 감소를 야기할 수 있다.
이것은, 그 보상이 본 발명의 범위 내에서 이루어지거나 시도될 수 있음에도 불구하고, 신호 값들(또는 그것들의 포맷된 버전(formatted version))이 복원 알고리즘으로 입력되기 전에 개별적인 신호 값들에 대한 오염들의 영향을 정확히 추적하고 보상할 필요없이 달성된다. 본원의 방법은 트래킹 패턴이 차동 상호작용 패턴의 함수로서 업데이트되는 2차원 트래킹을 포함한다. 2차원 트래킹의 결과는, 직접 또는 추가 처리 이후에, 터치 결정을 위해 처리될 현재 축적된 터치 상호작용 패턴을 생성하기 위해 사용된다. 그 방법이 반복들의 시퀀스에서, 즉 반복적으로 동작하고, 그 방법의 각각의 반복은 트래킹 패턴을 업데이트하기 위해 사용되는 차동 반복 패턴을 야기할 수 있다는 것이 인식되어야 한다. 따라서, 터치들이 로컬로 표면 부분에 추가되고 표면 부분으로부터 제거되기 때문에, 대응하는 상호작용 값들은 트래킹 패턴에서의 대응하는 위치들에서 변화할 것이고, 이에 의해 그 야기되는 축적된 터치 상호작용 패턴에 영향을 미칠 것이다. 트래킹 패턴에서 동작하고 축적된 터치 상호작용 패턴을 생성하기 위해 트래킹 패턴을 사용함으로써, 복원 처리의 후속으로, 즉 표면 부분에 걸쳐 상호작용 값들의 복원된 분포와 관련하여, 오염들의 영향을 추적하고 보상하는 것이 가능하다. 따라서 현재 축적된 터치 상호작용 패턴은 표면 부분 상에 있는 오염들의 영향을 적어도 부분적으로 보상하는 표면 부분 상의 전체 상호작용의 현재 분포를 나타내기 위해 생성될 수 있다.
2차원 트래킹은 표면 부분 상에 있는 모든 터치들을 검출하는 것을 용이하게 할 수 있다. 현재 축적된 터치 상호작용 패턴은 현재 반복에서 표면 부분에 걸친 상호작용의 "스냅샷(snapshot)"을 나타내기 위해 보여질 수 있다. 따라서, 터치하는 오브젝트는, 그것이 표면 부분에 걸쳐 움직이고 있거나 표면 부분 상에서 움직이지 않고 있든지 간에, 축적된 터치 상호작용 패턴을 나타낼 것이다.
전술한 것으로부터 이해되는 것처럼, 제1 양태의 방법은 반복들의 시퀀스에서 동작하여 차동 상호작용 패턴을 복원하고 현재 축적된 터치 상호작용 패턴을 생성하여, 표면 부분 상의 터치 상호작용은, 원한다면, 모든 반복에 대해 평가될 수 있다.
제1 양태에서 사용되는 현재 기준 값들은 이전 반복에서 획득되는 현재 신호 값들과 동일할 수 있다. 대안적으로, 그리고 특히, 복원 알고리즘이 변화 값들이 전용 포맷으로 제공되기를 요구하는 경우, 현재 기준 값들은 이전 반복에서 획득된 현재 신호 값들의 포맷된 버전일 수 있다.
"각각의 검출 라인에 대한 신호 값"을 생성하는 단계는 차동 상호작용 패턴을 복원하는 것에(그리고 축적된 터치 상호작용 패턴을 생성하는 것에) 관련되거나 유용한 것으로 간주되는 검출 라인들에 관련된 것으로 해석된다는 것이 주목되어야 한다. 따라서, 터치 감지 장치는, 그 방법의 하나 이상 또는 모든 반복들 동안 복원에서 사용되지 않는, 추가 검출 라인들을 실제로 정의할 수 있다.
일 실시예에서, 현재 트래킹 패턴을 생성하는 단계는 차동 상호작용 패턴을 이전 반복에서 생성된 트래킹 패턴에 추가하는 단계를 포함한다.
상술한 "상호작용 패턴들"의 각각은 표면 부분에 걸쳐 전파 광을 갖는 로컬 상호작용을 나타내는 "상호작용 값들"의 2차원 분포를 포함한다. 상호작용 값들은 상이한 포맷들로 제공될 수 있지만, 일반적으로 넓은 의미에서 일부 감쇠(local attenuation) 또는 일부 전송(local transmission)을 나타낼 수 있다. 신호 값들은 수신한 신호 에너지 또는 파워를 나타낼 수 있고, 변화 값들은 측정된 에너지, 차동 에너지(예를 들어 각각의 검출 라인에 대한 기준 에너지 값에 의해 빼진 측정된 에너지 값에 의해 제공됨), 상대 감쇠(relative attenuation)(예를 들어, 각각의 검출 라인에 대한 기준 에너지 값에 의해 나누어진 측정된 에너지 값에 의해 제공됨), 상대 전송(예를 들어 1-상대 감쇠에 대응함), 대수 감쇠(logarithmic attenuation)(상대 감쇠의 로그에 대응함) 등을 나타내기 위해 생성될 수 있다.
일 실시예에서, 변화 값들은 각각의 검출 라인에 대한 이전 신호 값과 현재 신호 값 사이의 상대적인 변화를 나타내기 위해 산출된다. 일 구현에서, 변화 값들은 각각의 검출 라인에 대한 상대적인 변화의 로그를 나타내기 위해 산출된다. 이에 의해, 차동 상호작용 패턴, 트래킹 패턴 및 축적된 터치 상호작용 패턴은 표면 부분에 걸친 감쇠 또는 전송 값의 분포들을 포함하기 위해 생성될 수 있다. 이러한 실시예는 또한 종래 기술에서 알려진 것처럼 신호 값들의 표준화를 위한 기준 값들을 획득할 필요를 감소시키거나 제거할 수 있다.
일 실시예에서, 복원 알고리즘은 단층 촬영 알고리즘(tomographic algorithm)과 같은 이미지 복원 알고리즘을 포함한다.
상기 방법의 반복들에 걸쳐 업데이트된 트래킹 패턴은 상이한 방식들로 구현될 수 있다.
제1 트래킹 실시예에서, 트래킹 패턴은, 즉 축적된 오염들의 영향을 포함하는 표면 부분에서의 전체 상호작용의 분포를 나타낸다. 이러한 실시예에서, 현재 축적된 터치 상호작용 패턴은 업데이트된 트래킹 패턴의 함수로서 생성될 수 있다. 현재 축적된 터치 상호작용 패턴을 생성하는 단계는, 표면 부분 상에 있는 오염들에 의해 야기되는 상호작용의 분포를 적어도 부분적으로 나타내는 백그라운드 패턴을 검색하는 단계, 및 백그라운드 패턴의 함수로서 업데이트된 트래킹 패턴을 보상하는 단계를 더 포함할 수 있다. 이것은 복원 처리의 후속으로 오염들의 영향에 대한 보상을 가능하게 하고, 2차원 분포에서 동작하는 간단한 방식을 제공할 수 있다. 예를 들어, 보상하는 단계는 업데이트된 트래킹 패턴으로부터 백그라운드 패턴을 빼는 단계를 포함할 수 있다. 일 실시예에서, 상기 방법은, 현재 반복에서 표면 부분 상에서 식별된 터치들의 함수로서 백그라운드 패턴을 업데이트하는 단계를 더 포함한다. 이에 의해, 백그라운드 패턴은 상기 방법의 반복들에 걸쳐 연속적으로 또는 간헐적으로 업데이트될 수 있다. 이러한 백그라운드 패턴을 업데이트하는 단계는 표면 부분에 추가된 오염들의 영향을 추정하는 단계 및 백그라운드 패턴에서 추정된 영향을 포함하는 단계를 포함할 수 있다. 예를 들어, 백그라운드 패턴은 전술한 WO2011/049512의 개시에 따라 업데이트될 수 있다.
제2 트래킹 실시예에서, 트래킹 패턴은 현재 축적된 터치 상호작용 패턴을 나타내도록 업데이트된다. 제2 트래킹 실시예는 증가된 강건성(robustness)를 제공하여, 예를 들어 진동들, 온도 드리프트(temperature drift)들 등으로 인한 터치 감지 장치들의 구조에서 변화들의 속도를 줄일 수 있다. 상술한 제1 트래킹 실시예에서, 현재 축적된 터치 상호작용 패턴의 생성은 표면 부분에서 전체 상호작용을 나타내는 트래킹 패턴으로부터 백그라운드 패턴을 빼는 것을 포함한다. 사용의 어느 정도의 시간 후에, 중요한 오염들(지문들, 얼룩 등)은 표면 부분에 놓여 트래킹 패턴 및 백그라운드 패턴 양쪽 모두에 큰 상호작용 값들을 야기시킬 수 있다. 큰 수들 중 어느 쪽에서의 작은 오류들은 작은 수일 수 있는 산출된 차이에서 중요한 오류들을 야기시킬 수 있다는 것이 인식된다. 트래킹 패턴이 오염들의 영향을 (전체적으로 또는 부분적으로) 보상할 수 있는 축적된 터치 상호작용 패턴을 나타내기 위해 생성되기 때문에, 이러한 민감도는 제2 트래킹 실시예에서 방지되거나 개선될 수 있다. 이에 의해, 트래킹 패턴은 더 작은 수들을 포함할 수 있고, 트래킹의 향상된 안정성 및 강건성을 야기한다. 추가적인 향상은 0(zero) 값들이 표면 부분에서의 터치 상호작용의 부재를 나타내도록 상호작용 값들을 생성함으로써 달성될 수 있다.
제2 트래킹 실시예는 또한, 백그라운드 패턴을 생략하고, 이에 의해 저장을 위해 전자 메모리에 반복적으로 접속하고 백그라운드 패턴을 검색할 필요를 생략하는 것이 가능하기 때문에, 제1 트래킹 실시예에 비하여 향상된 메모리 및 처리 효율을 가능하게 할 수 있다.
제2 트래킹 실시예는 이전 반복에서 업데이트된 트래킹 패턴 및 차동 상호작용 패턴의 함수로서 현재 축적된 터치 상호작용 패턴을 생성하고, 현재 축적된 터치 상호작용 패턴을 나타내기 위해 트래킹 패턴을 업데이트하는 것으로 보여질 수 있다.
제2 트래킹 실시예의 일 실시예에서, 트래킹 패턴을 업데이트하는 단계는 현재 반복에서 표면 부분에서 식별된 터치들의 함수로서 현재 축적된 터치 상호작용 패턴을 업데이트하는 단계를 포함한다. 상기 업데이트하는 단계는 복원 처리 이후에 오염들의 영향을 보상하는 것을 가능하게 하고, 2차원 분포에서 동작하는 간단한 방식을 제공할 수 있다. 예를 들어, 트래킹 패턴을 업데이트하는 단계는 표면 부분에 추가된 오염들의 영향을 추정하는 단계 및 현재 축적된 터치 상호작용 패턴으로부터 추정된 영향을 제거하는 단계를 포함할 수 있다. 이에 의해, 축적된 터치 상호작용 패턴은 상기 방법의 반복들에 걸쳐 오염들의 영향을 보상받는다. 예를 들어, 축적된 터치 상호작용 패턴은 전술한 WO2011/049512에서 개시된 백그라운드 패턴을 업데이트하는 것과 유사하게 업데이트될 수 있다.
제2 트래킹 실시예의 일 실시예에서, 현재 축적된 터치 상호작용 패턴은 이전 반복에서 업데이트된 트래킹 패턴 및 차동 상호작용 패턴의 합으로서 생성된다. 이러한 합은 트래킹 패턴을 업데이트하는 단계에서 획득될 수 있고, 현재 축적된 터치 상호작용 패턴을 생성하기 위해 재사용될 수 있거나 그 반대의 경우도 가능하다는 것이 이해될 것이다.
위에서 주목된 것처럼, "이전 반복"은 검출될 가장 약한 상호작용들의 고려하여 그리고 복원 처리에서 이용 가능한 비트 해상도를 고려하여 선택될 수 있다. 일 실시예에서, 이전 반복은 고정된 수의 반복들에 의해 현재 반복에 앞서도록 선택된다. 다른 실시에에서, 이전 반복은 2초 미만, 바람직하게는 1초 미만, 가장 바람직하게는 0.5초 미만일 수 있는 주어진 시간 기간만큼 현재 반복을 앞서도록 선택된다. 특정 구현에서, 이전 반복은 반복들의 시퀀스에서 바로 앞의 현재 반복이다. 대안적인 구현에서, 이전 신호 값은, 반복들의 시퀀스에서 미리 결정된 복수의 반복들 후에 현재 신호 값에 반복적으로 설정된다.
특정 구현에서, 제1 양태의 방법은 적어도 하나의 신호 생성기가 패널 내부에 광을 제공하도록 배치되는 터치 감지 장치의 출력 신호에서 동작하여, 광은 패널의 터치 표면과 대향하는 표면 사이에서 내부 반사들에 의해 인커플링 지점들로부터 아웃커플링 지점들로 전파하고, 광을 전파하는 것이 터치 표면들을 터치하는 하나 이상의 오브젝트들에 의해 로컬로 감쇠되도록 터치 감지 장치가 구성된다. 특히, 전파하는 광은 터치 표면의 광의 내부 전반사의 방해에 의해 감쇠될 수 있다.
본 발명의 제2 양태는, 데이터 처리 시스템에서 실행되는 경우, 제1 양태의 방법을 실행하도록 적응되는 컴퓨터 코드를 포함하는 컴퓨터 프로그램 제품이다.
본 발명의 제3 양태는 터치 감지 장치로부터의 출력 신호에 기초하여 터치 결정을 가능하게 하는 디바이스이다. 상기 장치는 복수의 인커플링 지점들로부터 복수의 아웃 커플링 지점들로 신호들을 전달하고, 이에 의해 인커플링 지점과 아웃커플링 지점의 쌍들 사이에서 패널의 표면 부분을 가로질러 연장하는 검출 라인들을 정의하도록 구성된 패널, 인커플링 지점들에 결합되어 신호들을 생성하는 신호 생성 수단, 및 아웃커플링 지점들에 결합되어 검출 라인들에 대해 신호 값들의 시간 시퀀스를 나타내는 출력 신호를 생성하는 신호 검출 수단을 포함한다. 상기 장치는, 출력 신호를 수신하는 입력, 및 반복들의 시퀀스에서 반복적으로, 출력 신호에 기초하여 각각의 검출 라인에 대한 현재 신호 값을 획득하고; 반복들의 시퀀스에서 이전 반복에서 획득된 현재 신호 값을 나타내는, 각각의 검출 라인에 대한 현재 기준 값을 검색하고; 현재 신호 값 및 현재 기준 값의 함수로서 각각의 검출 라인에 대한 변화 값을 산출하고; 변화 값들에서 복원 알고리즘을 동작시켜 표면 부분 상에서 차동 상호작용 패턴을 결정하고; 차동 상호작용 패턴의 함수로서 트래킹 패턴을 업데이트하고; 트래킹 패턴의 함수로서 현재 축적된 터치 상호작용 패턴을 생성하고; 표면 부분 상에서 터치들의 식별을 위해 현재 축적된 터치 상호작용 패턴을 제공하도록 구성되는 신호 프로세서를 포함한다.
본 발명의 제4 양태는 복수의 인커플링 지점들로부터 복수의 아웃 커플링 지점들로 신호들을 전달하고, 이에 의해 인커플링 지점과 아웃커플링 지점의 쌍들 사이에서 패널의 표면 부분을 가로질러 연장하는 검출 라인들을 정의하도록 구성된 패널; 인커플링 지점들에서 신호들을 생성하는 수단; 아웃커플링 지점들에서 검출된 신호들에 기초하여 출력 신호를 생성하는 수단; 및 제3 양태의 디바이스를 포함하는 터치 감지 장치이다.
본 발명의 제5 양태는 복수의 인커플링 지점들로부터 복수의 아웃 커플링 지점들로 신호들을 전달하고, 이에 의해 인커플링 지점과 아웃커플링 지점의 쌍들 사이에서 패널의 표면 부분을 가로질러 연장하는 검출 라인들을 정의하도록 구성된 패널; 인커플링 지점들에서 신호들을 생성하는 수단; 아웃커플링 지점들에서 검출된 신호들에 기초하여 출력 신호를 생성하는 수단; 및 제3 양태에 따라 터치 결정을 가능하게 하는 디바이스를 포함하는 터치 감지 장치이다.
본 발명의 제6 양태는 복수의 인커플링 지점들로부터 복수의 아웃커플링 지점들로 신호들을 전달하고, 이에 의해 인커플링 지점과 아웃커플링 지점의 쌍들 사이에서 패널의 표면 부분을 가로질러 연장하는 검출 라인들을 정의하도록 구성된 패널; 인커플링 지점들에 결합되어 신호들을 생성하는 적어도 하나의 신호 생성기; 아웃커플링 지점들에 결합되어 검출 라인들에 대해 신호 값들의 시간 시퀀스를 나타내는 출력 신호를 생성하는 적어도 하나의 신호 검출기; 및 출력 신호를 수신하도록 연결되고, 반복들의 시퀀스에서 반복적으로, 출력 신호에 기초하여 각각의 검출 라인에 대한 현재 신호 값을 획득하고; 반복들의 시퀀스에서 이전 반복에서 획득된 현재 신호 값을 나타내는, 각각의 검출 라인에 대한 현재 기준 값을 검색하고; 현재 신호 값 및 현재 기준 값의 함수로서 각각의 검출 라인에 대한 변화 값을 산출하고; 변화 값들에서 복원 알고리즘을 동작시켜 표면 부분 상에서 차동 상호작용 패턴을 결정하고; 차동 상호작용 패턴의 함수로서 트래킹 패턴을 업데이트하고; 트래킹 패턴의 함수로서 현재 축적된 터치 상호작용 패턴을 생성하고; 표면 부분 상에서 터치들의 식별을 위해 현재 축적된 터치 상호작용 패턴을 제공하도록 구성되는 신호 프로세서를 포함하는 터치 감지 장치이다.
제1 양태의 실시예들 중 임의의 실시예는 제2 내지 제6 양태들과 결합될 수 있다.
본 발명의 또 다른 목적들, 특징들, 양태들 및 장점들이 이하의 상세한 설명, 첨부된 청구항뿐만 아니라 도면들로부터 나타날 것이다.
본 발명의 실시예들은 이제 첨부한 개략도들을 참조하여 더 상세하게 설명될 것이다.
도 1은 터치 감지 장치의 평면도이다.
도 2a 내지 2b는 FTIR(frustrated total internal reflection)에 의해 동작하는 터치 감지 시스템들의 측면도 및 상면도이다.
도 3은 제1 실시예에 따른 터치 결정 방법의 순서도이다.
도 4는 제2 실시예에 따른 터치 결정 방법의 순서도이다.
도 5는 도 4의 방법을 구현하는 디바이스의 블록도이다.
도 6a 내지 6e는 이전의 전체 감쇠 패턴, 차이 패턴, 현재 전체 감쇠 패턴, 백그라운드 패턴, 및 오프셋 패턴을 도시한다.
도 7은 차이 패턴을 산출하는데 사용하기 위한 이전의 반복의 대안적인 선택을 도시한다.
본 발명은 터치 감지 장치의 터치 표면에 접촉하는 오브젝트들에 대한 터치 데이터의 추출을 가능하게 하는 기술들에 관한 것이다. 본 설명은 이러한 터치 감지 장치, 특히 광의 FTIR(frustra-ted total internal reflection)에 의해 동작하는 장치의 근본적인 개념을 제시함으로써 시작한다. 본 설명은 터치 결정 전의 신호 처리를 향상시키기 위한 실시예들을 계속하여 제시한다. 마지막으로, 상세한 예시들이 제공된다.
그 설명 동안, 동일한 참조 번호는 대응하는 엘리먼트들을 식별하기 위해 사용된다.
1. 터치 감지 장치
도 1은 터치 표면(1)에 걸쳐 소정의 형태의 에너지를 전송하는 개념에 기초하는 터치 감지 장치(100)를 도시한다. 터치 감지 장치(100)는 터치 표면(1)의 주변을 따라 분포되는 이미터들 및 센서들의 배치를 포함한다. 이미터 및 센서의 각각의 쌍은 이미터로부터 센서로의 방출된 신호에 대한 전파 경로에 대응하는 검출 라인을 정의한다. 도 1에서, 하나의 이러한 검출 라인 D만이 이미터(2)로부터 센서(3)로 연장하도록 도시되지만, 그 배치가 이미터에 의해 방출되고 센서에 의해 검출되는 신호에 각각 대응하는 교차하는 검출 라인들의 밀집한 그리드를 일반적으로 정의한다는 것이 이해되어야 한다. 따라서 검출 라인 D의 범위를 따라 터치 표면에 터치하는 임의의 오브젝트는 센서(3)에 의해 측정된 그것의 에너지를 감소시킨다. 따라서, 오브젝트에 의한 터치 표면(1) 상의 터치는 하나 이상의 검출 라인들의 감쇠를 야기한다.
센서들(3)의 배치는 그 배치로부터의 출력 신호를 샘플링하고 처리하는 신호 프로세서(10)에 전기적으로 연결된다. 출력 신호는 각각의 센서(3)에서 수신된 신호 에너지 또는 신호 파워를 나타낸다. 이하에서 설명될 것처럼, 신호 프로세서(10)는 터치 표면(1)에 걸쳐 (간단히, 이하에서 "상호작용 패턴" 또는 감쇠 필드"로 지칭되는) 상호작용 값들의 분포를 재현하기 위해 출력 신호를 처리하도록 구성될 수 있다. 상호작용 패턴은, 예를 들어 평범한 디지털 이미지와 같은 규칙적인 x-y 그리드에서 배치된 상호작용 값들처럼 많은 상이한 방법들로 나타낼 수 있지만, 다른 타입의 그리드들, 예를 들어 육각형 패턴들 또는 삼각형 메쉬(mesh)들이 가능할 수 있다. 상호작용 패턴은 터치 결정을 위해 신호 프로세서(10)에 의해 또는 별도의 디바이스(도시 안됨)에 의해 더 처리될 수 있고, 이는 각각의 터치하는 오브젝트의 위치(예를 들어, x, y 좌표들), 형태 또는 영역과 같은 터치 데이터의 추출을 포함할 수 있다.
도 1의 예시에서, 터치 감지 장치(100)는 또한 이미터들(2)의 활성화 및, 가능하다면, 검출기들(3)로부터의 데이터의 판독을 선택적으로 제어하도록 연결된 제어기(12)를 포함한다. 신호 프로세서(10) 및 제어기(12)는 별도의 유닛들로서 구성될 수 있거나, 그것들이 하나의 유닛에 포함될 수 있다. 신호 프로세서(10) 및 제어기(12) 중 하나 또는 양쪽 모두는 처리 유닛(14)에 의해 실행되는 소프트웨어에 의해 적어도 부분적으로 구현될 수 있다.
일반적으로, 터치 감지 장치(100)(터치 표면(1))는 원형, 타원형 또는 직사각형을 포함하는 다각형과 같은 임의의 형태일 수 있다. 터치 감지 장치(100)는 디스플레이 디바이스 또는 모니터 위에 덮히거나 통합되도록 설계될 수 있다.
터치 감지 장치(100)는 많은 상이한 형식 중 하나로 에너지의 전송을 허용하도록 구성될 수 있다. 따라서 방출된 신호들은 가시광 스펙트럼 영역 또는 적외선 스펙트럼 영역 또는 자외선 스펙트럼영역에서의 광 파장들, 전기적 에너지, 전자기 또는 자기 에너지, 또는 음파 및 초음파 에너지 또는 진동 에너지를 포함하지만 이에 제한되지 않는 터치 표면(1)에서 그리고 터치 표면(1)을 걸쳐 이동할 수 있는 임의의 방사선 또는 파장 에너지일 수 있다.
이하에서, 광의 전파에 기초하여 예시적인 실시예가 설명될 것이다. 도 2a는 광 전송 패널(4), 하나 이상의 광 이미터들(2)(하나가 도시됨) 및 하나 이상의 광 센서들(3)(하나가 도시됨)을 포함하는 터치 감지 장치(100)의 측면도이다. 패널(4)은 하나 이상의 레이어(layer)들에서 고체 물질로 이루어지고, 2개의 대향적이고 일반적으로 평행한 표면들(5, 6)을 정의하고, 평면이거나 곡선일 수 있다. 패널(4)은, 내부 반사들에 의해 광이 전파하는, 내부 방사선 전파 채널을 정의한다. 도 2a의 예시에서, 전파 채널은 패널(4)의 경계 표면들(5,6) 사이에서 정의되고, 여기서 상부 표면(5)은 전파 광이 터치 오브젝트들(7)과 상호작용하도록 하고 이에 의해 터치 표면(1)을 정의한다. 이것은, 패널(4)을 통해 전파할 때 이미터(들)(2)로부터의 광이 터치 표면(1)에서 내부 전반사(total internal reflextion, TIR)에 의해 반사되도록 패널(1)로 광을 주입시킴으로써 달성된다. 광은, 하부 표면(6)에서 또는 그 위의 반사 코팅에 대해 TIR에 의해 반사될 수 있다. 전파 채널이, 예를 들어 패널이 상이한 물질들의 다수의 레이어들을 포함하는 경우, 하부 표면(6)으로부터 이격되는 것이 가능하다. 센서들(3) 은 패널(4)의 주변에서 배치되어 수신된 광의 에너지를 나타내는 각각의 측정 신호를 생성한다.
도 2a에서 도시된 것처럼, 광은, 패널(4)의 상부 및 하부 표면들(5, 6)을 연결하는 엣지 부분을 통해 직접 패널(4) 내부 및 외부에 연결될 수 있다. 대안적으로, 도시되지 않았지만, (예를 들어, 웨지(wedge)의 형태로) 별도의 커플링 엘리먼트가 광을 패널(4)의 내부 및/또는 외부에 연결하기 위해 패널(4)의 상부 또는 하부 표면(5, 6)에 또는 엣지 부분에 부착될 수 있다. 오브젝트(7)가 경계 표면에 충분히 가까운 경우, 광의 일부가 오브젝트(7)에 의해 분산될 수 있고, 광의 일부가 오브젝트(7)에 의해 흡수될 수 있고, 광의 일부가 패널(4)에 걸쳐 그것의 원래 방향으로 패널에서 계속 전파할 수 있다. 따라서, 오브젝트(7)가 패널의 경계 표면(예를 들어, 상부 표면(5))을 터치하는 경우, 내부 전반사가 방해되고, 전송된 광의 에너지가 감소된다. 이러한 타입의 터치 감지 장치는 이하에서 "FTIR 시스템"( FTIR - 방해된 내부 전반사(Frustrated Total Internal Reflection)) 을 의미한다.
FTIR 시스템(100)은 복수의 검출 라인들 상에서 패널(4)을 통해 전송되는 광의 에너지를 측정하도록 동작될 수 있다. 이것은, 예를 들어 패널(4) 내부에서 대응하는 수의 광 시트들을 생성하기 위해 이격된 이미터들(2)의 세트를 활성화시키고, 각각의 광 시트의 전송된 에너지를 측정하기 위해 센서들(3)의 세트를 동작시킴으로써 행해질 수 있다. 이러한 실시예는 도2b에서 도시되고, 여기서 이미터(2)로부터 멀리 전파하는 동안, 각각의 이미터(2)는 패널(4)의 평면에서 연장하는 광의 빔을 생성한다. 각각의 빔은 패널(4) 상에서 인커플링 위치 내에서 하나 이상의 엔트리 또는 인커플링 지점들로부터 전파한다. 광 센서들(3)의 어레이들은 패널(4) 상에서 아웃커플링 위치 내에서 다수의 이격된 아웃커플링 지점들에서 이미터들(2)로부터 광을 수신하기 위해 패널(4)의 주변에 위치한다. 인커플링 및 아웃커플링 지점들은 단순히 빔이 각각 패널(4)로 진입하고 떠나는 위치를 지칭한다는 것이 이해되어야 한다. 따라서, 일 이미터/센서는 다수의 인커플링/아웃커플링 지점들에 광학적으로 결합될 수 있다. 그러나, 도 2b의 예시에서 검출 라인들 D는 개별적인 이미터-센서 쌍들에 의해 정의된다. 이러한 구현 및 추가적인 변형들이 참조에 의해 전체로 여기에 포함된 출원인의 WO2010/064983에서 더 상세히 개시된다.
도 2는 단순히 FTIR 시스템의 일 예시를 도시한다는 것이 이해될 것이다. 예를 들어, 검출 라인들은 대신에 패널 내부에서 광의 하나 이상의 빔들을 스위핑(sweeping)하거나 스캐닝함으로써 생성될 수 있다. FTIR 시스템들의 이러한 예시들 및 다른 예시들은 예를 들어 참조로 여기에서 모두 포함되는 US6972753, US7432893, US2006/0114237, US2007/0075648, WO2009/048365, WO2010/006882, WO2010/006883, WO2010/006884, WO2010/006885, WO2010/006886, 및 WO2010/134865에서 개시된다. 본 발명의 개념은 이러한 대안적인 FTIR 시스템들에도 또한 유리하게 적용될 수 있다.
구현과 관계없이, 광 센서들(3)은 신호 프로세서(10)에 의해 수신되고 샘플링되는 출력 신호를 집합적으로 제공한다. 출력 신호는 "투영(projection) 신호"로도 의미되는 다수의 서브-신호들을 포함하고, 각각은 소정의 광 이미터(2)에 의해 방출되고 소정의 광 센서(3)에 의해 수신되는 광의 에너지, 즉 소정의 검출 라인 상에서 수신된 에너지(또는 동등하게 파워 또는 강도)를 나타낸다. 구현에 따라, 신호 프로세서(10)는 개별적인 투영 신호들의 분리를 위해 출력 신호를 처리할 필요가 있을 수 있다.
2. 복원 알고리즘들 및 입력 포맷
위에서 주목된 것처럼, 복원 알고리즘은, 출력 신호에서의 투영 신호들에 기초하여, 터치 표면(1)에 걸쳐 상호작용 패턴을 결정하기 위해 사용될 수 있다. 본 발명의 실시예들은, 여과후 역투영(Filtered Back Projection), FFT 기반 알고리즘들, ART(Algebraic Reconstruction Technique), SART(Simultaneous Algebraic Reconstruction Technique) 등과 같은 단층 촬영 복원(tomographic reconstruction) 방법들을 포함하는, 투영 신호 값들에 기초하여 이미지 복원을 위한 임의의 이용 가능한 알고리즘을 사용할 수 있다. 대안적으로, 복원 알고리즘은, 하나 이상의 기저 함수들을 복원 값들에 적응시킴으로써 그리고/또는 베이스 도치(Bayesian inversion)와 같은 통계적 방법들에 의해 상호작용 패턴을 생성할 수 있다. 터치 결정에서 사용을 위해 설계된 이러한 복원 알고리즘들의 예시들은, 참조에 의해 여기에 포함된, WO2010/006883, WO2009/077962, WO2011/049511, WO2011/139213, 및 WO2012/050510에서 발견된다. 종래의 복원 방법들은 수학적 문헌, 예를 들어 Natterer의 "The Mathematics of Computerized Tomography", 및 Kak 및 Slaney의 "Principles of Computerized Tomographic Imaging"에서 발견된다.
상호작용 패턴은 터치 표면의 하나 이상의 서브영역들 내에서 복원될 수 있다. 서브영역들은 상술한 투영 신호들에 기초하여 터치 표면에 걸쳐 검출 라인들의 교차들을 분석함으로써 식별될 수 있다. 이러한 서브 영역들을 식별하기 위한 기술은 참조로 여기에 포함된 WO2011/049513에서 더 개시된다.
복원 알고리즘은 입력 값들( s )은 물리적 터치 시스템의 특성들을 반영하는 투영 함수 P 에 따라 상호작용 패턴 a 에 의존한다는 가정에 기초하여 설계된다: s=P(a) . 따라서 복원 알고리즘은 복원 함수의 사용에 의해 s 로부터 a 를 복원하도록 설계된다: P':a=P'(s) .
입력 값들 s 의 포맷은 복원 함수 P' 에 특유할 수 있다는 것이 이해될 것이다. 이하의 예시들은, 복원 함수 P' 가 감쇠 필드를 복원하도록 설계된다는 것, 즉 복원된 상호작용 패턴 a 에서의 각각의 상호작용 값("감쇠 값")이 감쇠하는 매체에 의해 에너지의 로컬 감쇠를 나타낸다는 것을 가정한다. 이러한 구현에서, 입력 값들 s 는 개별적인 검출 라인들에 대해 감쇠 값들로서 나타내질 수 있다.
입력 값들의 이러한 선택은, 전파 광이 터치하는 오브젝트(7)에 의해 차단되지 않을 것임을 나타내는, 도 2a를 참조하여 더 설명될 것이다. 따라서, 2개의 오브젝트들(7)이 이미터(2)로부터 센서(3)로 광 경로를 따라 서로 뒤에 배치되게 되는 경우, 양쪽 모두의 오브젝트들(7)은 전파 광과 상호작용할 것이다. 광 에너지가 충분한 경우, 광의 나머지는 센서(3)에 도달할 것이고 양쪽 모두의 상호작용들(터치들)이 식별되도록 하는 투영 신호를 생성할 것이다. 따라서, 다중 터치 FTIR 시스템들에서, 전송된 광은 복수의 터치들에 관한 정보를 전달할 수 있다.
k번째 검출 라인 D k 에 대한 전송 T k 는 감쇠하는 매체를 통해 감쇠의 정의로부터 획득될 수 있다:
Figure pct00001
이러한 공식에서, I k 는 감쇠하는 오브젝트(들)로 검출 라인 D k 상에서 전송 에너지를 나타내는 신호 값이고, I o,k 는 감쇠하는 오브젝트들 없이 검출 라인 D k 상에서 전송 에너지를 나타내는 신호 값이고, a(x) 는 검출 라인 D k 에 따른 감쇠 계수이다. 이러한 공식에서, 검출 라인은 검출 라인의 전체 범위를 따라 터치 표면과 상호작용하는 것으로 추정된다, 즉 검출 라인은 수학적 라인으로 나타난다.
따라서 복원 함수 P' 는 검출 라인들에 대해 전송 데이터에서 동작하도록 설계될 수 있다는 것이 인식된다. 이러한 전송 데이터는, 투영 값들을 각각의 백그라운드 또는 기준 값(REF k )으로 나눔으로써 획득될 수 있다. 기준 값들의 적절한 선택에 의해, 투영 값들은 이에 의해 전송 값들로 변환되고, 따라서 이는 검출 라인들의 각각에서 측정되는 이용 가능한 광 에너지의 (일반적으로 범위[0, 1]에서의) 일부를 나타낸다.
여과후 역투영(FBP)와 같은 소정의 단층촬영 복원 기술들은 라인 적분들을 처리하는 라돈 변환(Radon transform)의 이론에 기초한다. 따라서 이러한 복원 기술들은 전송의 음의 로그에 의해 주어진 포맷된 신호 값들 s k :
Figure pct00002
에서 동작하도록 설계될 수 있다.
실제로 포맷된 신호 값들 s k 은 각각의 검출 라인들 D k 에 대한 전체 감쇠의 측정이라는 것이 주목될 수 있다. 변형에서는, 양의 로그가 사용된다.
변형에서, 포맷된 신호 값들 s k 은 상기 표현에 대한 임의의 공지된 근사값에 의해 주어질 수 있다. T k 가 1에 근접한 경우 양호한 근사값이고 T k 의 더 작은 값들에 대해 또한 유용할 수 있는, -log(T k )의 간단한 근사값은 s k =1-T k 에 의해 주어진다.
3. 상호작용 패턴에서의 간섭들의 억제
그것의 다양한 양태들에서, 본 발명은, 예를 들어 터치 표면(1)에서의 오염들 또는 침전물들에 의해 야기되는 시간에 따라 변화하는 간섭들의 존재에서도, 터치 표면 상에서 터치들을 검출할 수 있는 터치 결정 기술에 관한 것이다. 간섭들의 억제는 반복들의 시퀀스에서 동작하는 처리 방법에서 달성된다. 각각의 반복에서, 복원 알고리즘은 터치 표면(1) 상에서 터치들의 2차원 분포를 나타내는 상호작용 패턴을 결정하기 위해 투영 신호들로부터 샘플링되는 현재 신호 값들에서 동작한다. 억제는, 각각의 검출 라인에 대해 그것의 현재 신호 값 및 이전의 신호 값에 기초하여 산출되는 변화 값들에서 복원 알고리즘을 동작시키고, 이전의 반복에서 생성된 트래킹 패턴을 업데이트하기 위해 결과로 초래된 차동 상호작용 패턴을 사용함으로써 달성된다. 트래킹 패턴은, 간섭들의 영향이 억제되는 축적된 터치 상호작용 패턴을 생성하기 위해 처리되거나 사용될 수 있다.
이하의 설명으로부터 알게 되듯이, 차동 간섭 패턴에 기초하여 트래킹 패턴을 업데이트함으로써, 초과 비트 해상도를 요구하기 않고 간단하고 처리 효율적인 방법으로 오염들의 영향을 추적하고 보상하는 것이 가능하다. 이하에서, 상이한 타입들의 트래킹 패턴을 사용하는 실시예들이 도 3 및 도 4의 순서도를 참조하여 설명될 것이다.
이하의 설명에서, 패턴에서 대응하는 "픽셀 값"을 갖는 "픽셀"에 대해 참조가 이루어진다. 여기에서 사용되는 것처럼, 픽셀은 패턴에서 정의되고 상호작용 값과 관련되는 모든 종류의 셀들, 기저 함수들 및 영역들을 포함하도록 의도된다.
또한, 이하의 예시들은 로컬 감쇠를 나타내고 "감쇠 패턴"을 의미하는 상호작용 패턴에 대해 주어진다.
도 3은 상술한 FTIR 시스템과 같은 터치 감지 장치에서 복원 및 터치 데이터 추출을 위한 방법의 제1 실시예를 도시한다. 상기 방법은 일반적으로 신호 프로세서(10)(도 1 내지 2)에 의해 반복적으로 실행되는 단계들(20 내지 27)의 시퀀스를 포함한다. 이러한 설명의 맥락에서, 단계들(20 내지 27)의 각각의 시퀀스는 반복 또는 감지 예시를 의미한다.
각각의 반복은, 일반적으로 전술한 투영 신호들의 각각으로부터 값을 샘플링함으로써, 측정 값들이 FTIR 시스템에서 광 센서들(3)로부터 샘플링되는 데이터 수집 단계(20)에 의해 시작한다. 데이터 수집 단계(20)는 각각의 검출 라인에 대한 하나의 투영 값을 야기한다. 데이터가 FTIR 시스템에서 모든 이용 가능한 검출 라인들에 대해 수집될 수 있지만 그렇지 않아도 된다라는 것이 주목될 수 있다. 데이터 수집 단계(20)는 또한 측정 값들의 전처리, 예를 들어 잡음 감소를 위한 필터링을 포함할 수 있다. 이후의 논의의 목적으로, 현재 투영 값은 일반적으로 It을 의미하지만, k개의 검출 라인들의 각각에 대해 하나의 이러한 값이 있다는 것이 인식된다. 단계(20)는 또한 후속 반복에서의 검색을 위해 전자 메모리 M에서 현재 투영 값 I t (또는 그것의 로그, 이하 참조)을 저장하는 것을 포함한다. 메모리 M(도 5)은 신호 프로세서(10)에 위치하거나 접속 가능하다.
단계(21)에서, 각각의 검출 라인에 대한 이전의 투영 값(I t-n 또는 그것의 로그, 이하 참조)은 메모리 M으로부터 검색된다. 이전의 투영 값들 I t-n 은 이전의 반복 동안 투영 신호들로부터 샘플링되었다. 이하의 예시에서, 이전의 투영 값들이 바로 이전의 반복(예를 들어, n=1)에서 샘플링된다고 추정된다. 다른 변형들은 이후에 설명될 것처럼 가능하다.
그 후에, 변화 값 ds t 는 현재 투영 값들 I t 및 이전 투영 값들 I t-n 을 사용하여 각각의 검출 라인에 대해 산출되고(단계(22)), 복원 함수 P' 는, "차이 패턴" 또는 "차동 상호작용 패턴"을 의미하는, 차이 값들의 2차원 분포 da t 를 생성하기 위해 변화 값들 ds t 의 결과로 초래되는 앙상블(ensemble)에서 동작한다(단계(23)). 차동 패턴은 터치 표면(또는 터치 표면의 관련 부분)에 걸친 차이 값들의 분포이고, 여기서 각각의 차이 값은 터치 표면 상의 특정 위치 또는 픽셀에서 현재 반복과 이전 반복 사이의 감쇠에서의 로컬 변화(증가/감소)를 나타낼 수 있다. 따라서 차이 패턴 da t 는 터치 표면(1)에 걸쳐 이러한 반복들 사이의 오염 기여에서의 그리고 터치 상호작용에서의 변화의 이미지로서 보여질 수 있다.
복원 단계(23)는 임의의 적합한 투영 함수 P' 를 사용할 수 있다. 대부분의 복원 함수들 P'은 적어도 거의 선형, 즉 P' (a· x +b· y )=a· P' ( x )+b· P' ( y )이다. 이에 의해 차이 패턴은 포맷된 신호 값들 사이의 차이에서 복원 함수 P' 를 동작시킴으로써 생성될 수 있다:
Figure pct00003
여기서 a t 및 a t-n 은 각각 현재 반복 및 이전 반복에서의 전체 감쇠 패턴이다. 따라서, 차이 패턴은 포맷된 신호 값들에서의 차이를 나타내는 변화 값들의 함수로서 생성될 수 있다. 포맷된 신호 값들의 상기 정의를 사용하여, 이하가 보여질 수 있다:
Figure pct00004
따라서, 변화 값 ds t 는 이전 반복과 현재 반복 사이의 검출 라인에 대한 투영 값의 상대적인 변화를 나타낸다. 이에 의해, 변화 값은 검출 라인에 대한 로그 신호 값들에서의 차이로서 산출될 수 있다는 것이 인식된다:
Figure pct00005
보여지는 것처럼, 차이 패턴 da t 는, 예를 들어 전용 기준 값 REF으로 투영 값들을 나눔으로써, 전송 값들과 같은 포맷된 신호 값들로 투영 값들을 변환할 필요 없이 복원될 수 있다. 이것은 처리 속도를 향상시킬 수 있다. 그러나, 소정의 실시예들에서, 변화 값 ds t 는 포맷된 신호 값들을 사용하여 산출되는 것이 가능하다.
또한, 차이 패턴을 복원하기 위해 변화 값들에서 동작함으로써, 복원된 분포에서 검출 가능한 상호작용의 매우 작은 변화들을 만드는 것이 가능하다. 반면에, 전체 감쇠 패턴(a t = P' (s t ))을 복원하기 위해 현재 포맷된 신호 값들 상에서 동작하는 종래 기술의 터치 시스템을 고려한다. 시스템이 일부 시간 동안 실행될 때, 투영 값들 I t 로 하여금 기준 값들 REF로부터 크게 나뉘도록 하여, 오염들은 터치 표면 상에서 축적될 것이다. 복원 기능은 약한 상호작용들이 전체 감쇠 패턴 a t 에서 검출 가능하기 위해 상당한 비트 해상도를 가지고 구현될 필요가 있을 수 있다는 것이 인식된다. 이러한 한계는 변화 값들 ds t 에서 동작함으로써 극복된다.
도 3의 단계(21)로 돌아가면, 메모리 M으로부터 검색된 데이터는 로그 값 log (I t-n )으로의 변환을 위한 단계(21)에서 처리되는 이전 투영 값 I t-n 일 수 있다는 것이 이해될 것이다. 그러나, 단계(20)가 현재 투영 값의 로그, log (I t ) 를 계산하고 저장하는 것이 더 효율적인 처리가 될 수 있어, 그것은 이후 반복의 단계(21)에서 검색되고 직접 사용될 수 있다.
추적 단계(24)에서, 트래킹 패턴 a t-n 은 메모리 M으로부터 검색된다. 트래킹 패턴은 이전 반복에서 업데이트되었고, 이제 픽셀마다 차이 패턴 da t 를 이전 트래킹 패턴 a t-n 에 추가함으로써 다시 업데이트된다:
Figure pct00006
이것은 메모리 M에 저장되는 현재 트래킹 패턴 a t 를 야기한다. 트래킹 패턴은 현재 포맷된 신호 값들 상에서 복원 함수를 동작시키는 종래의 접근에 의해 획득되는 감쇠 패턴(a t = P' (s t ))에 대응한다. 다시 말해, 트래킹 패턴은 전체 감쇠 패턴에 대응하지만, 이러한 패턴은, 반복마다, 차이 패턴을 시작 패턴 a 0 에 반복적으로 축적함으로써 생성된다:
Figure pct00007
시작 패턴 a 0은, 예를 들어 터치 표면에 걸쳐 상호작용의 전체 부재, 예를 들어 0(zero) 감쇠를 나타내도록 설정될 수 있다. 트래킹 패턴 a t-n 및 차이 패턴 da t 를 결합하기 위한 다른 함수들, 예를 들어 가중 합(weighted sum)을 사용하는 것이 가능하다.
보상 단계(25)에서, 현재 (업데이트된) 트래킹 패턴 a t 는 터치 표면 상에서 오염들의 영향을 보상받아, 축적된 터치 상호작용 패턴 또는 "오프셋 패턴" o t 를 생성한다. 오염은 터치 표면 상에서 오염들의 기여를 계속하여 추적함으로써 달성된다. 이를 위해, 단계(25)에서, 2차원 백그라운드 패턴 b t-1 은 메모리 M으로부터 검색되고, 픽셀마다 현재 트래킹 패턴 a t 로부터 빼진다:
Figure pct00008
백그라운드 패턴 b t-1 은 바로 이전 반복에서 결정될 수 있다. 현재 오프셋 패턴 o t 를 산출할 때 백그라운드 패턴 및 현재 트래킹 패턴에 상이한 가중치들을 적용하는 것이 가능하다.
후속의 추출 단계(26)에서, 오프셋 패턴은 터치 관련 특성들의 식별 및 터치 데이터의 추출을 위해 처리된다. 임의의 공지된 기술은 오프셋 패턴 내에서 터치들을 분리하기 위해 사용될 수 있다. 예를 들어, 일반적인 블럽 검출(blob detection) 및 트래킹 기술은 터치를 찾기위해 사용될 수 있다. 일 실시예에서, 임계점이 잡음을 제거하기 위해 오프셋 패턴에 우선 적용된다. (구현에 따라) 임계점 아래로 또는 위로 놓이는 상호작용 값들을 갖는 임의의 영역들은, 예를 들어 2차원 2차 다항식 또는 가우시안 벨 형태를 감쇠 값들에 맞춤으로써, 또는 감쇠 값들의 관성 타원을 발견함으로서 중심 및 형태를 발견하기 위해 더 처리될 수 있다. 또한, 클러스터링 알고리즘들, 엣지 검출 알고리즘들, 표준 블럽 검출, 수분 발산 기술(water shedding technique)들, 플러스 필 기술(flood fill technique)들 등과 같은 해당 분야에서 공지된 다수의 다른 기술들이 있다. 추출 단계(26)는 추출된 터치 데이터를 출력함으로서 끝날 수 있다.
백그라운드 추정 단계(27)는 터치 표면 상에서 오염들로부터 현재 신호 기여를 추정한다. 일반적으로, 오염들은 손가락들, 먼지, 액체들 등으로부터의 얼룩을 포함할 수 있다. 백그라운드 추정 단계는, 이러한 오염들, 그리고 아마도 다른 원인의 원치 않은 신호 구성요소들에 의해 야기되는 상호작용의 분포의 추정인, 업데이트된 백그라운드 패턴 b t (또는 "간섭 패턴")을 야기한다. 업데이트된 백그라운드 패턴 b t 는 하나 이상의 이후의 반복들에서 단계(25)에 의해 검색을 위해 메모리 M에 저장된다.
단계(27)에서, 현재 백그라운드 패턴 b t 는 (단계(24)로부터의) 현재 전체 상호작용 패턴 a t 및/또는 (단계(25)로부터의) 현재 오프셋 패턴 o t 및/또는 (단계(26)로부터의) 터치 상호작용들에 관한 정보를 결합하여 이전의 백그라운드 패턴 b t-1 의 공간적으로 대응하는 픽셀들의 값들에 기초하여 픽셀마다 추정될 수 있다. 그 추정이 하나 이상의 이전 반복들로부터의 대응하는 데이터를 고려하는 것도 또한 가능하다. 종종, 터치에 대응하는 것으로 간주되는 백그라운드 패턴의 픽셀들은 임의의 터치에 대응하지 않는 것으로 간주되는 픽셀들과는 다르게 업데이트된다. 백그라운드 패턴은 또한 섹션마다 업데이트될 수 있고, 여기서 각각의 섹션은 다수의 픽셀들을 포함한다. 추정 단계(27)는, 참조에 의해 전체로 여기에 포함되는 상술한 WO2011/049512에서 개시된 "백그라운드 상태"를 업데이트하기 위한 기술들 중 임의의 것에 따라 구현될 수 있다. 이러한 기술들에 대한 대안 또는 보충으로서, "지수형 망각(exponential forget)" 알고리즘에 따라 현재 백그라운드 패턴을 생성하는 것이 가능하다:
Figure pct00009
이러한 업데이트 알고리즘은 백그라운드 패턴으로 하여금 터치 상호작용 없이 영역들에서 전체 감쇠 패턴을 점진적으로 접근시키도록 할 것이다. 이에 의해, 터치가 터치 표면으로부터 사라질 때면 언제든지, 전체 감쇠 패턴의 대응하는 감쇠 값들을 향한 백그라운드 패턴의 로컬 및 점진적인 업데이트가 있을 것이다. 이것은 백그라운드 패턴을 업데이트하는 단순한 알고리즘 방식이다. ε=0.1가 오직 예시적인 값으로 주어진다는 것이 인식된다.
단계(27) 후에, 프로세스는 데이터 수집 단계(20)로 돌아간다.
단계들(20-27) 중 하나 이상이 동시에 달성될 수 있다는 것이 이해될 것이다. 예를 들어 후속하는 감지 사례의 데이터 수집 단계(20)는 단계들(21-27) 중 임의의 하나와 동시에 시작할 수 있다.
도 6a 내지 6e는 제1 실시예에 따른 방법의 일 반복에서 생성되고 사용되는 서로 다른 감쇠 패턴들을 도시한다. 그 패턴들은 터치 표면의 좌표 시스템 X, Y의 3D 플롯으로서 도시된다(도 2 참조). 도 6a는 이전 반복에서 결정된 전체 감쇠 패턴 a t-n 의 플롯이다. 패턴 a t-n 은, 터치들 및 오염들 양쪽 모두로부터의, 터치 표면 상에서 축적된 감쇠를 나타낸다. 도 6b는 현재 감지 사례에서 복원된 차이 패턴 da t 의 플롯이다. 현재 패턴 da t 는 터치들 및 오염들 양쪽 모두로부터의 이전 반복 이후에 추가된 감쇠를 나타낸다. 도 6c는 도 6a 및 6b에서 패턴들 a t-n 및 da t 의 합으로서 획득된 전체 감쇠 패턴 a t 의 플롯이다. 도 6d는 바로 이전 반복에서 추정된 백그라운드 패턴 b t-1 의 플롯이다. 패턴 b t-1 은 이전 터치로부터의 지문에 의해 야기된 제1 감쇠 구성요소 α1, 터치 표면 상에서 남아있는 손바닥으로부터의 얼룩에 의해 야기된 제2 감쇠 구성요소 α2, 및 흘린 액체에 의해 야기된 제3 감쇠 구성요소 α3를 나타낸다. 도 6e는 도 6c에서의 패턴 a t 로부터 도 6d에서의 패턴 b t-1 을 뺌으로서 획득된 현재 오프셋 패턴 o t 의 플롯이다. 터치로부터 비롯된 감쇠 구성요소 β1은 영(zero) 감쇠에 가까운 균일한 백그라운드 레벨에 대하여 보여진다.
도 4는 복원 및 터치 데이터 추출을 위한 방법의 제2 실시예를 도시한다. 제2 실시예는 트래킹 패턴의 정의 및 오염들의 영향이 처리되는 방식에서 제1 실시예와 다르다. 이하의 설명은 이러한 차이점들에 집중될 것이고, 단계들(20-23 및 26)은 제1 및 제2 실시예들 사이에서 동일하다는 것이 추정될 수 있다.
제2 실시예는 전체 감쇠 패턴으로부터 백그라운드 패턴을 뺌으로써(도 3의 단계 25) 오프셋 패턴을 생성하는 것을 방지하는데 유리할 수 있다는 이해에 기초한다. 오염들은 터치 표면 상에서 축적되기 때문에, 전체 감쇠 패턴 a t 뿐만 아니라 백그라운드 패턴 b t-1 은 적어도 로컬로 큰 감쇠 값들을 포함할 수 있다. 따라서, 큰 감쇠 값들이 서로로부터 빼지게 되면, 상당한 부정확성이 심지어 작은 오류들에 의해서도 오프셋 패턴 o t 에 도입되는 것이 가능하다. 또한 큰 감쇠 값들 사이의 작은 차이들의 검출은 전체 감쇠 패턴 a t 및 백그라운드 패턴 b t-1 양쪽 모두에서 바람직하기 않게 높은 비트 해상도를 필요하게 만들 수 있다.
제2 실시예에서, 트래킹 패턴은 오프셋 패턴의 백그라운드 보상 버전에 의해 형성된다. 이하에서 나타나게 될 것처럼, 이것은 전체 감쇠 패턴을 산출하거나 추적할 필요뿐만 아니라, 백그라운드 패턴을 업데이트하고 추적할 필요를 제거할 수 있다. 이것은 상기 방법을 터치 표면 상에서 오염의 축적에 대해 더 강건하게 만들고 요구되는 비트 해상도를 더 낮게 만들뿐만 아니라, 더 적은 데이터가 메모리에서 검색되고 저장될 필요가 있기 때문에 속도를 향상시키고/시키거나 상기 방법의 메모리 필요 요건을 낮출 수 있다.
이하의 동기가 상술한 지수형 망각 알고리즘을 사용하여 백그라운드 보상을 위해 주어지지만, 당업자는 다른 백그라운드 알고리즘들이 유사한 방식으로 구현될 수 있다는 것을 이해한다. 제1 실시예의 단계(25)에 따른 오프셋 패턴의 생성을 고려한다: o t = a t - b t-1 . 이것은 다음과 같이 다시 기재될 수 있다:
Figure pct00010
이것은 재그룹 후에 다음을 생성한다:
Figure pct00011
여기서 트래킹 패턴 o' t-1 은 터치 표면 상에서 오염들의 영향을 보상받기 위해 이전 반복에서 생성된 보상되거나 보정된 오프셋 패턴이다. 이것은 추적 단계(24)의 적절한 수정에 의해, 백그라운드 패턴을 분명하게 추정하고 추적(단계(27))할 필요를 생략하고 또한 이에 의해 백그라운드 패턴을 뺄(단계(25)) 필요를 생략하는 것이 가능하다.
도 4에서 예시되는 제2 실시예는, 제1 실시예의 보상 및 백그라운드 추정 단계들(25, 27)의 결합에 대응하는 이러한 수정된 추적 단계(24') 및 추정 단계(27')를 포함한다. 모든 다른 단계들(20-23 및 26)은 제1 실시예와 동일할 수 있고 더 설명되지 않을 것이다.
추적 단계(24')에서, 메모리 M으로부터 검색된 트래킹 패턴은, 이전 반복의 단계(27')에서 생성되었던 보상된 오프셋 패턴 o' t-1 이다. 제1 실시예의 단계(24)에서와 같이, 트래킹 패턴은 픽셀마다 차이 패턴 da t 를 이전 트래핑 패턴 o' t-1 에 추가함으로써 업데이트된다:
Figure pct00012
이것은, 이전 반복 이후에 추가된 오염들을 제외하고는, 오염들을 보상 받은 오프셋 패턴인 현재 트래킹 패턴 o t 를 야기한다. 이러한 오프셋 패턴 ot는 제1 실시예에서 단계(25)에 의해 생성된 오프셋 패턴과 동일하다는 것이 인식된다. 단계(24)와 유사하게, 단계(24')에서의 축적은 터치 표면에 걸친 상호작용의 전체 부재, 예를 들어 영(zero) 감쇠를 나타내도록 설정될 수 있는 개시 패턴 o0를 이용할 수 있다. 트래킹 패턴 ot-1 및 차이 패턴 dat를 결합하기 위한 다른 함수들, 예를 들어 가중 합을 사용하는 것이 또한 가능하다.
단계(24)로부터의 현재 오프셋 패턴 o t 는 추출 단계(26)에서 터치 데이터의 추출을 위해 처리된다.
추정 단계(27')는, 업데이트된 백그라운드 패턴을 사용하지 않고, 마지막 반복 이후에 터치 표면에 추가된 오염들의 영향에 대해 단계(24')로부터 현재 오프셋 패턴 o t 를 수정하도록 설계된다. 이러한 수정은, (단계(26)로부터의) 터치 상호작용들에 관한 정보 및/또는 (단계(24')로부터의) 현재 오프셋 패턴o t 및/또는 (이전 반복의 단계(27')로부터의) 이전 보상된 오프셋 패턴 o' t-1 에서 공간적으로 대응하는 픽셀들의 감쇠 값들에 기초하여 픽셀마다 행해질 수 있다. 추정이 더 되돌아가서의 반복들로부터의 대응하는 데이터를 고려하는 것이 또한 가능하다. 수정은 백그라운드 패턴을 추정하기 위한 상술한 기술들 중 임의의 것으로 유사하게 행해질 수 있다. 예를 들어, "지수형 망각" 알고리즘은 다음과 같이 구현될 수 있다:
Figure pct00013
이것은 오프셋 패턴으로 하여금 터치 반복이 없는 영역들에서 점진적으로 영(zero) 감쇠에 접근하도록 할 것인 반면, 다른 픽셀들/영역들은 로컬 터치 반복을 나타내는 값을 가질 것이다.
도 3 및 4를 비교함으로써, 백그라운드 패턴의 빼기(substraction)와 관련된 잠재적 문제들이 제2 실시예에서 극복되는 것이 인식되고, 또한 메모리 액세스들의 수가 감소될 수 있다는 것이 인식된다. 동작들의 수를 더 감소시키기 위해, 단계(27')는 단계(24')에 포함될 수 있어, 오염 수정은 추적의 일부로서 이루어진다. 도 4의 예시에서, 단계(24')는 다음과 같이 구현될 수 있다:
Figure pct00014
이에 의해 수정된 오프셋 패턴(o' t )의 생성은 이전 오프셋 패턴 ot-1에 기초하여 현재 오프셋 패턴 ot을 생성하기 위해 계산식들 내에 포함된다.
제1 및 제2 실시예들에 따른 방법들은 FTIR 시스템에서 광 센서들(3)로부터 측정 값들을 샘플링하도록 연결된 데이터 처리 디바이스(도 1-2의 신호 프로세서(10)와 비교됨)에 의해 구현될 수 있다. 도 5는 도 4의 방법을 구현하기 위한 이러한 데이터 처리 디바이스(10)의 예시를 도시한다. 도시된 예시에서, 디바이스(10)는 출력 신호를 수신하기 위해 입력(101)을 포함한다. 디바이스(10)는 현재 투영 값들을 샘플링하기 위한 데이터 수집 엘리먼트(또는 수단)(200), 이전 투영 값들을 검색하기 위한 검색 엘리먼트(또는 수단)(201), 변화 값들을 산출하기 위한 차이 산출 엘리먼트(또는 수단)(202), 오프셋 패턴을 복원하기 위한 복원 엘리먼트(또는 수단)(203), 트래킹 패턴을 축적하기 위한 트래킹 엘리먼트(또는 수단)(204'), 오프셋 패턴으로부터 터치 데이터를 추출하기 위한 추출 엘리먼트(또는 수단)(206), 추가된 오염들에 오프셋 패턴을 수정하기 위한 추정 엘리먼트(또는 수단)(207'), 및 터치 데이터를 출력하기 위한 출력(102)을 더 포함한다. 도 5의 데이터 처리 디바이스는 제1 실시예에 따른 방법을 구현하기 위한 대응하는 엘리먼트들/수단들을 대안적으로 포함할 수 있다.
추출 단계(26)는, 예를 들어 단계(25 또는 24')로부터 직접적으로 또는 메모리 M으로부터 현재 오프셋 패턴을 획득하는 별도의 디바이스에서 제1 및 제2 실시예들의 다른 단계들로부터 별도로 실행될 수 있다는 것이 이해될 것이다. 이러한 별도의 구현에서, 단계들(27 및 27')은 단계(26)에서 식별된 터치 데이터로 액세스될 수 있다.
디바이스(10)는 하나 이상의 범용 또는 특수 목적 컴퓨팅 디바이스들 상에서 실행되는 특수 목적 소프트웨어(또는 펌웨어)에 의해 구현될 수 있다. 이러한 맥락에서, 이러한 컴퓨팅 디바이스의 각각의 "엘리먼트" 또는 "수단"은 방법 단계의 개념적으로 동등한 것을 지칭하고; 하드웨어 또는 소프트웨어 루틴들의 특정 부분들과 엘리먼트들/수단들 사이에 항상 일대일 대응이 있지는 않는다는 것이 이해될 것이다. 하드웨어의 일 부분은 서로 다른 수단들/엘리먼트들을 포함한다. 예를 들어 처리 유닛은 하나의 명령어를 수행할 때 하나의 엘리먼트/수단으로 동작할 수 있지만, 다른 명령어를 수행할 때는 다른 엘리먼트/수단으로 동작할 수 있다. 또한, 하나의 엘리먼트/수단은 어떤 경우들에서는 하나의 명령어에 의해 구현될 수 있지만, 어떤 다른 경우들에서는 복수의 명령어들에 의해 구현될 수 있다. 자연적으로, 하나 이상의 엘리먼트들(수단들)이 유사한 하드웨어 구성요소들에 의해 완전히 구현되는 것이 가능하다.
소프트웨어 제어 디바이스(10)는 하나 이상의 처리 유닛들, 예를 들어 CPU("Central Processing Unit"), DSP("Digital Signal Processor"), ASIC ("Application-Specific Integrated Circuit"), 별개의 아날로그 및/또는 디지털 구성요소들, 또는 FPGA("Field Programmable Gate Array")와 같은 어떤 다른 프로그램 가능한 논리 디바이스를 포함할 수 있다. 디바이스(10)는 그 시스템 메모리를 포함하는 다양한 시스템 구성요소들을 처리 유닛에 연결하는 시스템 버스 및 시스템 메모리를 더 포함할 수 있다. 시스템 버스는 메모리 버스 또는 메모리 컨트롤러, 주변 버스, 및 다양한 버스 아키텍처들 중 임의의 것을 사용하는 로컬 버스를 포함하는 다양한 타입들의 버스 구조들 중 임의의 것일 수 있다. 시스템 메모리는 ROM(read only memory), RAM(random access memory) 및 플래시 메모리와 같은 비휘발성 메모리 및/또는 휘발성 메모리의 형태로 컴퓨터 저장 매체를 포함할 수 있다. 특수 목적 소프트웨어, 및 조정 요인들(adjustment factors)은 시스템 메모리, 또는 자기 매체, 광학 매체, 플래시 메모리 카드들, 디지털 테이프, 고체 상태 RAM(solid state RAM), 고체 상태 ROM 등과 같은, 컴퓨팅 디바이스에 접속 가능하거나 컴퓨팅 디바이스에 포함되는 다른 제거 가능한/제거 가능하지 않은 휘발성/비휘발성 컴퓨터 저장 매체에 저장될 수 있다. 데이터 처리 디바이스(10)는, 직렬 인터페이스, 병렬 인터페이스 USB 인터페이스, 무선 인터페이스, 네트워크 어댑터 등과 같은 하나 이상의 통신 인터페이스뿐만 아니라, A/D 컨버터와 같은 하나 이상의 데이터 습득 디바이스들을 포함할 수 있다. 특수 목적 소프트웨어는 기록 매체, 및 읽기 전용 메모리(read-only memory)를 포함하는 임의의 적합한 컴퓨터 판독가능 매체 상에서 디바이스(10)에 제공될 수 있다.
4. 결론
본 발명은 일부 실시예들을 참조하여 위에서 주로 설명되었다. 그러나, 해당 분야의 기술자에 의해 이미 인식되는 것처럼, 위에서 개시된 실시예들 이외의 다른 실시예들이, 첨부된 특허 청구항들에 의해서만 정의되고 제한되는 본 발명의 범위 및 의도 내에서 동일하게 가능하다.
상호작용 패턴이 터치 데이터 추출 이전에 후처리를 받게 될 수 있다는 것이 이해될 것이다(도 3 및 도 4의 단계 26 참조). 이러한 후처리는, 잡음 제거 및/또는 이미지 강화를 위해, 상이한 타입들의 필터링을 포함할 수 있다.
또한, FTIR 시스템에 대해 제공된 모든 상기 실시예들, 예시들, 변경들 및 대안들은 광(light) 이외의 다른 에너지의 전송에 의해 동작하는 터치 감지 장치에 동일하게 적용가능할 수 있다. 일 예시에서, 터치 표면은 전도성 패널로서 구현될 수 있고, 이미터들 및 센서들은 패널의 내부 및 외부로 전류를 연결하는 전극들일 수 있고, 출력 신호는 개별적인 검출 라인들 상에서 패널의 저항/임피던스를 나타낼 수 있다. 다른 예시에서, 터치 표면은 유전체(dielectric)로서 동작하는 물질을 포함할 수 있고, 이미터들 및 센서들은 전극들일 수 있고, 출력 신호는 개별적인 검출 라인들 상에서 패널의 커패시턴스를 나타낼 수 있다. 또 다른 예시에서, 터치 표면은 진동 전도 매체(vibration conducting medium)로서 동작하는 물질을 포함할 수 있고, 이미터들은 진동 생성기들(예를 들어, 음향 또는 압전 변환기들(acoustic or piezoelectric transducers))일 수 있고, 센서들은 진동 센서들(예를 들어, 음향 또는 압전 센서들)일 수 있다.
위에서 제공된 상세한 예시들에서, "이전 반복"은 바로 이전의 반복과 동일한 의미였다. 이것은 필수적인 것은 아니다. 이전 반복은 현재 반복으로부터 다시 되돌아가는 임의의 수의 반복들, 즉 매 n번째 반복일 수 있다. 그러나, 병렬 프로세스들이 각각의 반복에 대해 오프셋 패턴을 생성하기 위해 구현되지 않는다면, 오프셋 패턴은 매 n번째 반복마다 터치 데이터 추출에 대해서만 이용가능할 수 있다.
대안에서, 하나의 그리고 동일한 반복으로부터의 데이터는 다양한 후속 반복들에서 사용된다. 예를 들어, 변화 값들은 다수의 연이은 반복들에 대해 하나의 그리고 동일한 이전 반복에 대하여 산출될 수 있다. 이러한 예시는 도 7에서 나타나고, 여기서 이전 반복은 매 100번째 반복마다 현재 반복으로 설정되고, 이에 의해 변화 값들은 동일한 이전 반복에 대해 산출되고 100번의 연이은 반복들에 대해 이러한 이전 반복의 전체 상호작용 패턴에 축적된다.
다른 발명의 개념에 따라, 차이 패턴 da t 는 변화 값들에서 복원 함수를 동작시킴으로써가 아니라, 현재 반복에 대한 복원된 전체 감쇠 패턴과 이전 반복에 대한 복원된 전체 감쇠 패턴 사이의 픽셀 마다의 차이로서 생성된다:
Figure pct00015
이러한 변경은 복원을 위해 변화 값들을 사용하는 특정한 이점들을 제공할 수 없을 수 있지만, 여전히 제2 실시예와 관련하여 설명된 단계들(24' 및 27')을 사용함으로써 백그라운드 패턴을 추정하고 뺄 필요를 방지할 수 있다. 본 발명의 개념은, 반복들의 시퀀스 중 각각의 반복에서, 현재 투영 값들의 함수로서 터치 표면 상에서 현재 전체 반복 패턴을 결정하는 단계; 반복들의 시퀀스에서 이전 반복에서 결정된 전체 상호작용 패턴을 검색하는 단계; 이전 반복에서 결정된 전체 상호작용 패턴 및 현재 전체 상호작용 패턴의 함수로서 차동 상호작용 패턴을 생성하는 단계; 이전 반복에서 업데이트된 트래킹 패턴 및 차동 상호작용 패턴의 함수로서 현재 축적된 터치 상호작용 패턴을 생성하는 단계; 현재 축적된 터치 상호작용 패턴을 나타내기 위해 트래킹 패턴을 업데이트하는 단계 및 표면 부분 상에서 터치들의 식별을 위해 현재 축적된 터치 상호작용 패턴을 제공하는 단계를 구현하는 처리 방법(그리고 대응하는 컴퓨터 프로그램 제품, 디바이스 및 터치 감지 장치)을 포함하는 것을 알 수 있다.

Claims (24)

  1. 복수의 인커플링 지점들로부터 복수의 아웃커플링 지점들로 신호들을 전달하고, 이에 의해 인커플링 지점과 아웃커플링 지점의 쌍들 사이에서 패널(4)의 표면 부분에 걸쳐 연장하는 검출 라인들(D)을 정의하도록 구성된 패널(4), 상기 인커플링 지점들에 연결되어 상기 신호들을 생성하는 적어도 하나의 신호 생성기(2), 및 상기 아웃커플링 지점들에 연결되어 상기 검출 라인들(D)에 대한 신호 값들의 시간 시퀀스(time-sequence)를 나타내는 출력 신호를 생성하는 적어도 하나의 신호 검출기(3)를 포함하는 터치 감지 장치(100)로부터의 출력 신호에 기초하여 터치 결정을 가능하게 하는 방법에 있어서,
    반복들의 시퀀스의 각 반복에서,
    상기 출력 신호에 기초하여, 각각의 검출 라인(D)에 대한 현재 신호 값(I t )을 획득하는 단계;
    상기 반복들의 시퀀스에서 이전 반복에서 획득된 상기 현재 신호 값(I t-n )을 나타내는, 각각의 검출 라인(D)에 대한 현재 기준 값을 검색하는 단계;
    상기 현재 신호 값(I t ) 및 상기 현재 기준 값의 함수로서 각각의 검출 라인(D)에 대한 변화 값(ds t )을 산출하는 단계;
    상기 표면 부분(1) 상에서 차동 상호작용 패턴(differential interaction pattern)(da t )을 결정하기 위해 상기 변화 값들(ds t )에서 복원 알고리즘을 동작시키는 단계;
    상기 차동 상호작용 패턴(da t )의 함수로서 트래킹 패턴(tracking pattern)(a t-n ; o' t-1 )을 업데이트하는 단계;
    상기 트래킹 패턴(a t ; o' t-1 )의 함수로서 현재 축적된 터치 상호작용 패턴(o t )을 생성하는 단계; 및
    상기 표면 부분(1) 상에서 터치들의 식별을 위해 상기 현재 축적된 터치 상호작용 패턴(o t )을 제공하는 단계
    를 포함하는 방법.
  2. 제1항에 있어서,
    상기 현재 축적된 터치 상호작용 패턴(o t )은 상기 표면 부분(1) 상에 있는 오염들의 영향을 적어도 부분적으로 보상받는 상기 표면 부분(1) 상의 전체 상호작용의 현재 분포를 나타내는 방법.
  3. 제1항 또는 제2항에 있어서,
    상기 트래킹 패턴(a t-n ; o' t-1 )을 업데이트하는 단계는 상기 차동 상호작용 패턴(da t )을 상기 이전 반복에서 업데이트된 상기 트래킹 패턴(a t-n ; o' t-1 )에 추가하는 단계를 포함하는 방법.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 트래킹 패턴(a t-n )은 상기 표면 부분(1) 상에서 전체 상호작용의 분포를 나타내고, 상기 현재 축적된 터치 상호작용 패턴(o t )은 상기 업데이트된 트래킹 패턴(a t )의 함수로서 생성되는 방법.
  5. 제4항에 있어서,
    상기 현재 축적된 터치 상호작용 패턴(o t )을 생성하는 단계는 상기 표면 부분(1) 상에 있는 오염들에 의해 야기되는 상호작용의 분포를 적어도 부분적으로 나타내는 백그라운드 패턴(b t-1 )을 검색하는 단계, 및 상기 백그라운드 패턴(b t-1 )의 함수로서 상기 업데이트된 트래킹 패턴(a t )을 보상하는 단계를 더 포함하는 방법.
  6. 제5항에 있어서,
    상기 보상하는 단계는 상기 업데이트된 트래킹 패턴(a t )으로부터 상기 백그라운드 패턴(b t-1 )을 빼는 단계를 포함하는 방법.
  7. 제5항 또는 제6항에 있어서,
    상기 현재 반복에서 상기 표면 부분(1) 상에서 식별되는 상기 터치들의 함수로서 상기 백그라운드 패턴(b t-1 )을 업데이트하는 단계
    를 더 포함하는 방법.
  8. 제7항에 있어서,
    상기 백그라운드 패턴(b t-1 )을 업데이트하는 단계는, 상기 표면 부분에 추가된 오염들의 영향을 추정하는 단계 및 상기 백그라운드 패턴(b t-1 )에 상기 추정된 영향을 포함하는 단계를 포함하는 방법.
  9. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 트래킹 패턴(o' t )은 상기 현재 축적된 터치 상호작용 패턴(o t )을 나타내도록 업데이트되는 방법.
  10. 제9항에 있어서,
    상기 트래킹 패턴(o' t )을 업데이트하는 단계는 상기 현재 반복에서 상기 표면 부분(1) 상에서 식별된 터치들의 함수로서 상기 현재 축적된 터치 상호작용 패턴(o t )을 업데이트하는 단계를 포함하는 방법.
  11. 제10항에 있어서,
    상기 트래킹 패턴(o' t )을 업데이트하는 단계는 상기 표면 부분(1)에 추가된 오염들의 영향을 추정하는 단계 및 상기 현재 축적된 터치 상호작용 패턴(o t )로부터 상기 추정된 영향을 제거하는 단계를 포함하는 방법.
  12. 제9항 내지 제11항 중 어느 한 항에 있어서,
    상기 현재 축적된 터치 상호작용 패턴(o t )은 상기 이전 반복에서 업데이트된 상기 트래킹 패턴(o' t-1 ) 및 상기 차동 상호작용 패턴(da t )의 합으로서 생성되는 방법.
  13. 제1항 내지 제12항 중 어느 한 항에 있어서,
    각각의 변화 값(ds t )은 상기 검출 라인에 대한 상기 이전 신호 값(I t-n )과 상기 현재 신호 값(I t ) 사이의 상대적인 변화를 나타내도록 산출되는 방법.
  14. 제13항에 있어서,
    상기 변화 값(ds t )은 상기 상대적인 변화의 로그를 나타내도록 산출되는 방법.
  15. 제1항 내지 제14항 중 어느 한 항에 있어서,
    상기 이전 반복은 고정된 수의 반복들만큼 상기 현재 반복을 앞서는 방법.
  16. 제1항 내지 제15항 중 어느 한 항에 있어서,
    상기 이전 반복은 2초 미만, 바람직하게는 1초 미만, 그리고 가장 바람직하게는 0.5초 미만만큼 상기 현재 반복을 앞서는 방법.
  17. 제1항 내지 제16항 중 어느 한 항에 있어서,
    상기 이전 반복은 상기 반복들의 시퀀스에서 상기 현재 반복의 바로 앞에 있는 방법.
  18. 제1항 내지 제16항 중 어느 한 항에 있어서,
    상기 이전 신호 값은 상기 반복들의 시퀀스에서 미리 결정된 복수의 반복들 이후에 상기 현재 신호 값에 반복적으로 설정되는 방법.
  19. 제1항 내지 제18항 중 어느 한 항에 있어서,
    상기 복원 알고리즘은 단층 촬영 알고리즘(tomography algorithm)과 같은 이미지 복원 알고리즘을 포함하는 방법.
  20. 제1항 내지 제19항 중 어느 한 항에 있어서,
    상기 차동 상호작용 패턴(da t ), 상기 트래킹 패턴(a t ; o' t ) 및 상기 축적된 터치 상호작용 패턴(o t )은 상기 표면 부분(1)에 걸쳐 감쇠 또는 전송 값들의 분포들을 포함하는 방법.
  21. 데이터 처리 시스템 상에서 실행될 때 제1항 내지 제20항 중 어느 한 항의 방법을 실행하도록 적응되는 컴퓨터 코드를 포함하는 컴퓨터 프로그램 제품.
  22. 복수의 인커플링 지점들로부터 복수의 아웃커플링 지점들로 신호들을 전달하고, 이에 의해 인커플링 지점과 아웃커플링 지점의 쌍들 사이에서 패널(4)의 표면 부분(1)에 걸쳐 연장하는 검출 라인들(D)을 정의하도록 구성된 패널(4), 상기 인커플링 지점들에 연결되어 상기 신호들을 생성하는 신호 생성 수단(2), 및 상기 아웃커플링 지점들에 연결되어 상기 검출 라인들(D)에 대한 신호 값들의 시간 시퀀스를 나타내는 출력 신호를 생성하는 신호 검출 수단(3)을 포함하는 터치 감지 장치(100)로부터의 출력 신호에 기초하여 터치 결정을 가능하게 하는 디바이스에 있어서,
    상기 출력 신호를 수신하기 위한 입력(101), 및
    신호 프로세서(14)
    를 포함하고,
    상기 신호 프로세서(14)는, 반복들의 시퀀스에서 반복적으로,
    상기 출력 신호에 기초하여, 각각의 검출 라인(D)에 대한 현재 신호 값(I t )을 획득하고;
    상기 반복들의 시퀀스에서 이전 반복에서 획득된 상기 현재 신호 값(I t-n )을 나타내는, 각각의 검출 라인(D)에 대한 현재 기준 값을 검색하고;
    상기 현재 신호 값(I t ) 및 상기 현재 기준 값의 함수로서 각각의 검출 라인(D)에 대한 변화 값(ds t )을 산출하고;
    상기 표면 부분(1) 상에서 차동 상호작용 패턴(da t )을 결정하기 위해 상기 변화 값들(ds t )에서 복원 알고리즘을 동작시키고;
    상기 차동 상호작용 패턴(da t )의 함수로서 트래킹 패턴(a t-n ; o' t-1 )을 업데이트하고;
    상기 트래킹 패턴(a t ; o' t-1 )의 함수로서 현재 축적된 터치 상호작용 패턴(o t )을 생성하고;
    상기 표면 부분(1) 상에서 터치들의 식별을 위해 상기 현재 축적된 터치 상호작용 패턴(o t )을 제공하도록 구성되는 디바이스.
  23. 터치 감지 장치에 있어서,
    복수의 인커플링 지점들로부터 복수의 아웃커플링 지점들로 신호들을 전달하고, 이에 의해 인커플링 지점과 아웃커플링 지점의 쌍들 사이에서 패널(4)의 표면 부분(1)에 걸쳐 연장하는 검출 라인들(D)을 정의하도록 구성된 패널(4); 상기 인커플링 지점들에서 상기 신호들을 생성하기 위한 수단(2, 12); 상기 아웃커플링 지점들에서 검출된 신호들에 기초하여 출력 신호를 생성하기 위한 수단(3); 및 제22항에 따른 터치 결정을 가능하게 하기 위한 디바이스(10)
    를 포함하는 터치 감지 장치.
  24. 복수의 인커플링 지점들로부터 복수의 아웃커플링 지점들로 신호들을 전달하고, 이에 의해 인커플링 지점과 아웃커플링 지점의 쌍들 사이에서 패널(4)의 표면 부분(1)에 걸쳐 연장하는 검출 라인들(D)을 정의하도록 구성된 패널(4); 상기 인커플링 지점들에 연결되어 상기 신호들을 생성하는 적어도 하나의 신호 생성기(2, 12); 상기 아웃커플링 지점들에 연결되어 상기 검출 라인들(D)에 대한 신호 값들의 시간 시퀀스를 나타내는 출력 신호를 생성하는 적어도 하나의 신호 검출기(3); 및 상기 출력 신호를 수신하도록 연결된 신호 프로세서(10; 14)를 포함하는 터치 감지 장치에 있어서, 반복들의 시퀀스에서 반복적으로,
    상기 출력 신호에 기초하여, 각각의 검출 라인(D)에 대한 현재 신호 값(I t )을 획득하고;
    상기 반복들의 시퀀스에서 이전 반복에서 획득된 상기 현재 신호 값(I t-n )을 나타내는, 각각의 검출 라인(D)에 대한 현재 기준 값을 검색하고;
    상기 현재 신호 값(I t ) 및 상기 기준 값의 함수로서 각각의 검출 라인(D)에 대한 변화 값(ds t )을 산출하고;
    상기 표면 부분(1) 상에서 차동 상호작용 패턴(da t )을 결정하기 위해 상기 변화 값들(ds t )에서 복원 알고리즘을 동작시키고;
    상기 차동 상호작용 패턴(da t )의 함수로서 트래킹 패턴(a t-n ; o' t-1 )을 업데이트하고;
    상기 트래킹 패턴(a t ; o' t-1 )의 함수로서 현재 축적된 터치 상호작용 패턴(o t )을 생성하고;
    상기 표면 부분(1) 상에서 터치들의 식별을 위해 상기 현재 축적된 터치 상호작용 패턴(o t )을 제공하도록 구성된 터치 감지 장치.
KR1020147009803A 2011-09-27 2012-09-24 터치 결정을 위한 이미지 복원 KR101941730B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201161539608P 2011-09-27 2011-09-27
SE1150879-3 2011-09-27
SE1150879 2011-09-27
US61/539,608 2011-09-27
PCT/SE2012/051006 WO2013048312A2 (en) 2011-09-27 2012-09-24 Image reconstruction for touch determination

Publications (2)

Publication Number Publication Date
KR20140077173A true KR20140077173A (ko) 2014-06-23
KR101941730B1 KR101941730B1 (ko) 2019-01-24

Family

ID=47996678

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020147009803A KR101941730B1 (ko) 2011-09-27 2012-09-24 터치 결정을 위한 이미지 복원

Country Status (7)

Country Link
US (1) US8890849B2 (ko)
EP (1) EP2673696A4 (ko)
JP (1) JP2014530425A (ko)
KR (1) KR101941730B1 (ko)
CN (2) CN103842946B (ko)
TW (1) TW201329821A (ko)
WO (1) WO2013048312A2 (ko)

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE533704C2 (sv) 2008-12-05 2010-12-07 Flatfrog Lab Ab Pekkänslig apparat och förfarande för drivning av densamma
TW201203052A (en) 2010-05-03 2012-01-16 Flatfrog Lab Ab Touch determination by tomographic reconstruction
TW201333787A (zh) 2011-10-11 2013-08-16 Flatfrog Lab Ab 觸控系統中改良的多點觸控偵測
US9927920B2 (en) 2011-12-16 2018-03-27 Flatfrog Laboratories Ab Tracking objects on a touch surface
WO2013089623A2 (en) 2011-12-16 2013-06-20 Flatfrog Laboratories Ab Tracking objects on a touch surface
US9753577B2 (en) * 2011-12-30 2017-09-05 Parade Technologies, Ltd. Methods and apparatus to perform a detection operation
US9250794B2 (en) * 2012-01-23 2016-02-02 Victor Manuel SUAREZ ROVERE Method and apparatus for time-varying tomographic touch imaging and interactive system using same
US9588619B2 (en) 2012-01-31 2017-03-07 Flatfrog Laboratories Ab Performance monitoring and correction in a touch-sensitive apparatus
WO2013165305A2 (en) 2012-05-02 2013-11-07 Flatfrog Laboratories Ab Object detection in touch systems
US9626018B2 (en) 2012-05-02 2017-04-18 Flatfrog Laboratories Ab Object detection in touch systems
US10168835B2 (en) 2012-05-23 2019-01-01 Flatfrog Laboratories Ab Spatial resolution in touch displays
CN104662496B (zh) 2012-09-11 2017-07-07 平蛙实验室股份公司 在基于ftir的投影型触摸感测装置中的触摸力估计
KR101388699B1 (ko) * 2012-11-22 2014-04-24 삼성전기주식회사 터치 감지 방법 및 터치 감지 장치
WO2014168567A1 (en) 2013-04-11 2014-10-16 Flatfrog Laboratories Ab Tomographic processing for touch detection
US9874978B2 (en) 2013-07-12 2018-01-23 Flatfrog Laboratories Ab Partial detect mode
DE102013109560A1 (de) 2013-09-02 2015-03-05 Metasonic Gmbh System zum Erzeugen eines Quellcodes für ein Computerprogramm zur Ausführung und Simulation eines Prozesses
US10126882B2 (en) 2014-01-16 2018-11-13 Flatfrog Laboratories Ab TIR-based optical touch systems of projection-type
US10146376B2 (en) 2014-01-16 2018-12-04 Flatfrog Laboratories Ab Light coupling in TIR-based optical touch systems
WO2015199602A1 (en) 2014-06-27 2015-12-30 Flatfrog Laboratories Ab Detection of surface contamination
US9182280B1 (en) * 2014-08-08 2015-11-10 Thermo Scientific Portable Analytical Instruments Inc. Method for reducing frequency of taking background/reference spectra in FTIR or FTIR-ATR spectroscopy and handheld measurement device embodying same
US9524067B2 (en) * 2014-09-12 2016-12-20 Stmicroelectronics Asia Pacific Pte Ltd Capacitive touch screen with adaptive touch sensing threshold based on sharpness of the capacitive data
CN107209608A (zh) 2015-01-28 2017-09-26 平蛙实验室股份公司 动态触摸隔离帧
US10318074B2 (en) 2015-01-30 2019-06-11 Flatfrog Laboratories Ab Touch-sensing OLED display with tilted emitters
EP3256936A4 (en) 2015-02-09 2018-10-17 FlatFrog Laboratories AB Optical touch system comprising means for projecting and detecting light beams above and inside a transmissive panel
CN107250855A (zh) 2015-03-02 2017-10-13 平蛙实验室股份公司 用于光耦合的光学部件
US9804709B2 (en) 2015-04-28 2017-10-31 Samsung Display Co., Ltd. Vector fill segment method and apparatus to reduce display latency of touch events
KR102375270B1 (ko) * 2015-09-07 2022-03-18 삼성디스플레이 주식회사 구동 회로 및 그를 포함하는 전자 장치
BR102015022438A2 (pt) * 2015-09-10 2017-03-14 Samsung Eletrônica Da Amazônia Ltda sistema e método para definir material de aula com base em perfis de estudantes
CN108369470B (zh) 2015-12-09 2022-02-08 平蛙实验室股份公司 改进的触控笔识别
EP3545392A4 (en) 2016-11-24 2020-07-29 FlatFrog Laboratories AB AUTOMATIC TACTILE SIGNAL OPTIMIZATION
KR102495467B1 (ko) 2016-12-07 2023-02-06 플라트프로그 라보라토리즈 에이비 개선된 터치 장치
US10963104B2 (en) 2017-02-06 2021-03-30 Flatfrog Laboratories Ab Optical coupling in touch-sensing systems
WO2018174786A1 (en) 2017-03-22 2018-09-27 Flatfrog Laboratories Pen differentiation for touch displays
EP4036697A1 (en) 2017-03-28 2022-08-03 FlatFrog Laboratories AB Optical touch sensing apparatus
US20180374371A1 (en) * 2017-06-27 2018-12-27 International Business Machines Corporation Recommending learning activities
CN117311543A (zh) 2017-09-01 2023-12-29 平蛙实验室股份公司 触摸感测设备
US11567610B2 (en) 2018-03-05 2023-01-31 Flatfrog Laboratories Ab Detection line broadening
US11943563B2 (en) 2019-01-25 2024-03-26 FlatFrog Laboratories, AB Videoconferencing terminal and method of operating the same
US11237687B2 (en) 2019-01-25 2022-02-01 Samsung Electronics Co., Ltd. Systems and methods for touch detection using electric field tomography through resistive sheet
CN111061400B (zh) * 2019-12-31 2022-02-25 北京航空航天大学 基于Calderon算法对触摸屏图像重建的方法
CN111061399B (zh) * 2019-12-31 2021-10-26 北京航空航天大学 基于迭代算法处理电容信号并应用于触摸屏定位的方法
JP2023512682A (ja) 2020-02-10 2023-03-28 フラットフロッグ ラボラトリーズ アーベー 改良型タッチ検知装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090153519A1 (en) * 2007-12-17 2009-06-18 Suarez Rovere Victor Manuel Method and apparatus for tomographic touch imaging and interactive system using same
WO2009102681A2 (en) * 2008-02-11 2009-08-20 Next Holdings, Inc. Systems and methods for resolving multitouch scenarios for optical touchscreens

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6972753B1 (en) 1998-10-02 2005-12-06 Semiconductor Energy Laboratory Co., Ltd. Touch panel, display device provided with touch panel and electronic equipment provided with display device
DE50308334D1 (de) * 2002-05-07 2007-11-22 Schott Ag Beleuchtungseinrichtung für Schaltflächen
JP2006523869A (ja) * 2003-03-12 2006-10-19 オー−プン・アンパルトセルスカブ 放射線を放射する要素の位置を測定するシステム及び方法
US7432893B2 (en) 2003-06-14 2008-10-07 Massachusetts Institute Of Technology Input device based on frustrated total internal reflection
US8599140B2 (en) 2004-11-17 2013-12-03 International Business Machines Corporation Providing a frustrated total internal reflection touch interface
US8847924B2 (en) 2005-10-03 2014-09-30 Hewlett-Packard Development Company, L.P. Reflecting light
JP4567028B2 (ja) * 2006-09-26 2010-10-20 エルジー ディスプレイ カンパニー リミテッド マルチタッチ感知機能を有する液晶表示装置とその駆動方法
US8716614B2 (en) 2007-10-10 2014-05-06 Flatfrog Laboratories Ab Touch pad and a method of operating the touch pad
TW201013492A (en) 2008-06-23 2010-04-01 Flatfrog Lab Ab Determining the location of one or more objects on a touch surface
TW201005606A (en) 2008-06-23 2010-02-01 Flatfrog Lab Ab Detecting the locations of a plurality of objects on a touch surface
TW201007530A (en) 2008-06-23 2010-02-16 Flatfrog Lab Ab Detecting the location of an object on a touch surface
TW201001258A (en) 2008-06-23 2010-01-01 Flatfrog Lab Ab Determining the location of one or more objects on a touch surface
US8542217B2 (en) 2008-06-23 2013-09-24 Flatfrog Laboratories Ab Optical touch detection using input and output beam scanners
WO2010056177A1 (en) * 2008-11-12 2010-05-20 Flatfrog Laboratories Ab Integrated touch-sensing display apparatus and method of operating the same
SE533704C2 (sv) 2008-12-05 2010-12-07 Flatfrog Lab Ab Pekkänslig apparat och förfarande för drivning av densamma
US8317352B2 (en) * 2008-12-11 2012-11-27 Robert Saccomanno Non-invasive injection of light into a transparent substrate, such as a window pane through its face
JP4748266B2 (ja) * 2009-01-30 2011-08-17 ソニー株式会社 情報入力装置、情報入出力装置および電子機器
US20120068973A1 (en) 2009-05-18 2012-03-22 Flatfrog Laboratories Ab Determining The Location Of An Object On A Touch Surface
US20100309169A1 (en) * 2009-06-03 2010-12-09 Lumio Inc. Optical Touch Screen with Reflectors
US8692807B2 (en) * 2009-09-02 2014-04-08 Flatfrog Laboratories Ab Touch surface with a compensated signal profile
CN102648445A (zh) 2009-10-19 2012-08-22 平蛙实验室股份公司 提取代表触摸表面上一个或多个物体的触摸数据
RU2012118597A (ru) 2009-10-19 2013-11-27 ФлэтФрог Лэборэторис АБ Определение данных касания для одного или нескольких предметов на сенсорной поверхности
KR20120095926A (ko) 2009-10-19 2012-08-29 플라트프로그 라보라토리즈 에이비 2차원 보상을 가지는 터치 면
GB201000348D0 (en) * 2010-01-11 2010-02-24 St Microelectronics Res & Dev Improvements in or relating to optical navigation devices
TW201203052A (en) 2010-05-03 2012-01-16 Flatfrog Lab Ab Touch determination by tomographic reconstruction
CN101866247A (zh) * 2010-07-08 2010-10-20 合肥工业大学 基于受抑全内反射的侧面探测型多点触摸屏
EP2628068A4 (en) 2010-10-11 2014-02-26 Flatfrog Lab Ab TOUCH DETECTION BY TOMOGRAPHIC RECONSTRUCTION

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090153519A1 (en) * 2007-12-17 2009-06-18 Suarez Rovere Victor Manuel Method and apparatus for tomographic touch imaging and interactive system using same
WO2009102681A2 (en) * 2008-02-11 2009-08-20 Next Holdings, Inc. Systems and methods for resolving multitouch scenarios for optical touchscreens

Also Published As

Publication number Publication date
CN103842946B (zh) 2016-11-09
TW201329821A (zh) 2013-07-16
EP2673696A2 (en) 2013-12-18
CN106775054A (zh) 2017-05-31
CN103842946A (zh) 2014-06-04
US8890849B2 (en) 2014-11-18
US20140002400A1 (en) 2014-01-02
KR101941730B1 (ko) 2019-01-24
EP2673696A4 (en) 2014-03-26
JP2014530425A (ja) 2014-11-17
WO2013048312A2 (en) 2013-04-04
WO2013048312A3 (en) 2013-06-27

Similar Documents

Publication Publication Date Title
KR101941730B1 (ko) 터치 결정을 위한 이미지 복원
US9411464B2 (en) Touch determination with signal compensation
US10372265B2 (en) Performance monitoring and correction in a touch-sensitive apparatus
US10088957B2 (en) Touch force estimation in touch-sensing apparatus
EP2766797B1 (en) Improved multi-touch detection in a touch system
EP2791763B1 (en) Tracking objects on a touch surface
US20180018061A1 (en) Touch determination with improved detection of weak interactions
KR20140107452A (ko) 터치 표면 상의 객체 추적
WO2013165306A2 (en) Object detection in touch systems
KR20140014106A (ko) 신호 향상에 의한 터치 판단

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right