TW201339927A - 在觸控表面的追蹤目標 - Google Patents

在觸控表面的追蹤目標 Download PDF

Info

Publication number
TW201339927A
TW201339927A TW101147361A TW101147361A TW201339927A TW 201339927 A TW201339927 A TW 201339927A TW 101147361 A TW101147361 A TW 101147361A TW 101147361 A TW101147361 A TW 101147361A TW 201339927 A TW201339927 A TW 201339927A
Authority
TW
Taiwan
Prior art keywords
track
peak
touch surface
touch
peaks
Prior art date
Application number
TW101147361A
Other languages
English (en)
Inventor
Tomas Christiansson
Nicklas Ohlsson
Andreas Bjorklund
Mats Petter Wallander
Original Assignee
Flatfrog Lab Ab
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Flatfrog Lab Ab filed Critical Flatfrog Lab Ab
Publication of TW201339927A publication Critical patent/TW201339927A/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0421Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • G06F3/0418Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • G06F3/04186Touch location disambiguation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04109FTIR in optical digitiser, i.e. touch detection by frustrating the total internal reflection within an optical waveguide due to changes of optical properties or deformation at the touch location

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)

Abstract

一裝置在受抑內全反射技術(FTIR)式觸控裝置的觸控表面上實行追蹤目標的方法。上述方法重複運作以產生(50-52)互動樣式,指示觸控表面上的互動變化,確認(53)互動樣式中明顯峰值,以及根據明顯峰值更新(54)存在的動作軌道。至少在上述方法中斷續執行錯誤壓制處理(56),以處理明顯峰值及/或存在的動作軌道,用以確認隱含軌道等同潛在追蹤問題,為各隱含軌道定義二或更多動作提議,以及在上述方法的一或更多隨後的重複中產生動作提議的評估。錯誤壓制處理,藉由延緩最後決定如何追蹤隱含軌道的目標直到更多資訊可利用,改善追蹤。也容許追蹤問題的起源消退及/或目標從展示干擾的觸控表面上的區域移開。

Description

在觸控表面的追蹤目標 【相互參照相關申請案】
本申請案主張2011年12月16日提出申請的瑞典專利申請案第1151209-2號以及2011年12月16日提出申請的美國臨時專利申請案第61/576458的利益,兩者在此合併參考。
本發明係關於在觸控表面上追蹤目標的技術,特別有關於觸控裝置的觸控表面,藉由在光傳導面板內從複數的入耦合點到複數的出耦合點傳送光之運作,用以從面板內照明觸控表面。
觸控系統(“touch systems”)普遍用於各種應用。典型地,以接觸物體例如手指或尖筆,不論是直接接觸或通過接近(即,無接觸)觸控表面,起動觸控系統。觸控系統在控制面板內例如用作手提電腦的觸控板,以及用作例如行動電話的手持裝置上的顯示器覆蓋物。覆蓋於顯示器上或整合於其內的觸控面板也指”觸控螢幕”。在此技藝中許多其他應用是已知的。
觸控系統日益設計為能夠同步偵測二或更多觸控,此能力在此技藝中常被稱作”多點觸控”。
有許多已知的技術提供多點觸控,例如,藉由使用攝影機捕捉面板上從觸控點驅散的光,或是藉由組合電阻線格柵、電容感應器、應變計等至面板內。
聯合國專利第2011/028169號(WO2011/028169)以及聯合國專利第2011/049512號(WO2011/049512)揭露根據受抑內全反射技術(FTIR)的多點觸控系統。光薄板(light sheet)耦合入面板內,用以藉由內全反射(TIR)傳送進入面板。當物體接觸面板的觸控表面,傳送的光在觸控點上減弱。在複數的出耦合點以一或更多的光感應器測量傳導的光。處理來自光感應器的信號,用以輸入至影像重建演算,產生橫過觸控表面的2維(2D)互動表示。當一或一以上使用者與觸控表面互動時,這實現以2維表示重複決定碰觸的目前位置/尺寸/形狀。
上述觸控需要在干擾出現時偵測,例如測量雜訊、環境光、觸控表面上的污染(例如,指紋及其他類型的污點)、振動等。這些干擾可能不只是在時間上還橫過觸控表面變化,使得難以總是適當偵測觸控表面上的碰觸。又,接觸物體和觸控表面之間互動的程度可能在時間上以及在不同物體間變化。例如,互動係根據是否在觸控表面上輕擊、拖曳或保持物體在固定位置。不同的物體可以產生不同程度的互動,例如互動程度可以在使用者的指間變化,在不同使用者的指間更是如此。
一些碰觸的組合、合成動作以及互動和干擾的時間和空間的變化會使觸控的確認工作更吃力。使用者經驗會大受阻礙,如果在例如觸控螢幕上的前進動作由於系統在動作期 間不能偵測某些碰觸而被中斷。
上述聯合國專利第2011/028169號(WO2011/028169)以及聯合國專利第2011/049512號(WO2011/049512)提出不同的技術以壓制污染的影響,例如藉由以評估污染引起的互動之斷續更新的2維背景狀態補償2維表示,或是藉由以斷續地更新以代表污染影響之參考值標準化測量信號。如此的壓制不完全,或出現其他類型的干擾,以至2維表示可能仍然包含弄錯為接觸物體的峰值。
先前技術也包括聯合國專利第2010/006883號(WO2010/006883),揭露在光學多點觸控系統中用於觸控判定的技術,其中確認和處理減弱的光路徑,用以決定一組候補觸控,可以包括真實觸控和假像觸控。於是根據各候補觸控的形狀及/或區域,確認候補位置,可以確認假像觸控並以更進一步的處理除去。
本申請人已經確認需要干擾出現時在觸控表面上用以追蹤目標的改良技術。
本發明的一目的係至少部分克服先前技術的一或更多上述確認的限制。
另一目的係在FTIR操作的多點觸控系統的觸控表面上實現目標的追蹤。
又一目的係根據觸控表面上互動的2維表示,實現如此的追蹤,即使2維表示包含干擾引起的峰值。
根據申請專利範圍獨立項、申請專利範圍附屬項 定義的其實施例,利用方法、電腦程式產品、裝置以及觸控裝置,至少部分達成一或更多的這些目的,還有在以下說明中出現的其他目的。
本發明的第1形態係在觸控裝置的觸控表面上追蹤一或更多目標的動作之方法。觸控裝置可實施藉由在光傳導面板內從複數的入耦合點至複數的出耦合點以內部反射傳送光,用以從光傳導面板內照明觸控表面,其中至少一光偵測器係光學耦合至出耦合點以產生代表在出耦合點接收的光之輸出信號。上述方法以時間連續的重複操作,各重複包括:處理輸出信號,以產生表示觸控表面上互動的局部變化之互動樣式;處理互動樣式,用以確認明顯峰值;以及根據上述明顯峰值,更新前次重複中觸控表面上被視為存在之目標的存在動作軌道。上述方法更包括錯誤壓制處理,在上述時間連續的重複中至少斷續地執行,並包括:處理明顯峰值及/或存在的動作軌道,以確認隱含軌道等同潛在追蹤問題;為各隱含軌道定義至少二動作提議;以及在一或更多隨後的重複中產生上述至少二動作提議的評估。
藉由錯誤壓制處理,提供第1形態的方法一改良的能力,用以在FTIR操作的多點觸控系統的觸控表面上追蹤目標。錯誤壓制處理,設計為確認和處理潛在追蹤問題,為隱含軌道或蹤跡定義不同的動作提議。各動作提議代表在即將出現的重複中隱含軌道之假設動作。因此,可以評估關於下次重複中偵測到的明顯峰值之動作提議,容許延緩最後決定如何追蹤隱含軌道的目標。由於容許根據更多資訊作最後決定,這將 改良追蹤。又,容許追蹤問題的起源消退及/或目標從展示干擾的觸控表面上的區域移開。
一般,可以根據潛在追蹤問題的分類及/或根據先前重複期間隱含軌道之動作特徵,定義至少二動作提議。因此,不同類型的潛在追蹤問題可以導致在定義步驟中定義的不同動作提議。同樣地,隱含的軌道之最近的動作特徵(速度、加速度等)導致在定義步驟中定義的不同的動作提議。
在一實施例中,上述評估為各隱含軌道產生上述至少二動作提議中之一的選擇。又,更新存在的動作軌道的步驟可以包括根據上述選擇更新各隱含軌道。
在一實施例中,藉由處理明顯峰值以確認潛在的假峰值,以及藉由映射潛在的假峰值至存在的動作軌道,確認隱含軌道。
在一實施例中,上述至少二動作提議包括:第1提議,對應隱含軌道之目標是固定的;以及第2提議,對應隱含軌道之目標是移動的。
在一實施例中,上述至少二動作提議包括:第1提議,對應隱含軌道之目標從觸控表面移除;以及第2提議,對應隱含軌道之目標是移動的。
錯誤壓制處理可以根據預測的方法操作。在預測的方法的一實施例中,第2動作提議指示在第1評估時段期間目標繼續沿著預測軌道移動。又,定義上述至少二動作提議的步驟可以包括一步驟:產生上述預測軌道作為隱含軌道的函數,及/或上述評估可以包括一步驟:配對第1評估時段中確 認之至少部分的明顯峰值至預測軌道。還又,如果上述更新步驟包括一步驟:配對至少部分的明顯峰值至存在的動作軌道,上述錯誤壓制處理可以更包括一步驟:在第2評估時段期間防止配對上述至少部分的明顯峰值至隱含軌道。因此,錯誤壓制處理可以更包括下列步驟:在第2評估時段期間互動樣式中定義隱含軌道周圍不確定區域;以及防止在第2評估時段期間更新步驟運算位於上述不確定區域的上述明顯峰值。
另一選擇或另外,上述錯誤壓制處理可以根據一反應方法操作。在上述反應方法的一實施例中,如果更新步驟包括確認和加上新動作軌道至存在的動作軌道,上述評估包括一步驟:配對上述新動作軌道的候補至隱含軌道。又,配對的步驟可以是以下至少其中之一的函數:上述候補的起源之評估方向,以及隱含軌道和上述候補的目前位置之間的距離。還又,上述錯誤壓制處理可以包括一步驟:在第2評估時段期間互動樣式中定義隱含軌道周圍不確定區域,用以防止新動作軌道在上述不確定區域中被確認。
在一實施例中,潛在的追蹤問題由以下至少其中一引起:散射在觸控表面上的光,以及觸控表面上的污染變化。
在一實施例中,藉由以下至少其中之一確認潛在的追蹤問題:區域直觀推論法(heuristics),評估明顯峰值的區域;速度直觀推論法,評估存在的動作軌道的速度;加速度直觀推論法(heuristics),評估存在的動作軌道的加速度;散射偵測直觀推論法;以及污染偵測直觀推論法。
當明顯峰值包括正和負明顯峰值時,可以應用上 述散射偵測直觀推論法,以及各正明顯峰值代表互動樣式中局部增加的互動,且各負明顯峰值代表互動樣式中局部降低的互動。在一實施例中,當正峰值被視為關聯一或更多負明顯峰值時,散射偵測直觀推論法確認潛在追蹤問題。在一實施例中,散射偵測直觀推論法可以更要求上述一或更多負明顯峰值位於存在的動作軌道之外。當正明顯峰值與上述一或更多負明顯峰值有特定的空間關係時,正明顯峰值可以被視為關聯上述一或更多負明顯峰值。特定的空間關係可以在正明顯峰值與上述一或更多負峰值之間定義最大的距離。
當明顯峰值包括代表互動樣式中局部增加的互動之正明顯峰值時,可以應用污染偵測直觀推論法。在一實施例中,當正明顯峰值被視為位於沿著存在的動作軌道之一時,污染偵測直觀推論法確認潛在追蹤問題。在一實施例中,如果上述方法包括一步驟:配對至少部分的正明顯峰值至存在的動作軌道,用以確認一組配對的明顯峰值和一組非配對的明顯峰值,污染偵測直觀推論法可以更要求正明顯峰值包括在上述組非配對的明顯峰值內。
可以實施第1形態以處理觸控表面上的雙輕擊。在一如此實施例中,當存在的動作軌道在觸控表面上是固定的,並在展示時間性最小值時具有超出第1臨界值之互動力,可以確認潛在追蹤問題。又,上述至少二動作提議可以包括:第1提議,對應隱含軌道的目標是固定的,並在評估時段內保持接觸觸控表面;以及第2提議,斷續地從觸控表面移除對應隱含軌道的目標,然後在上述評估時段內帶回來接觸觸控表 面。還又,上述評估可以包括一步驟:監視在評估時段內關於第2臨界值之互動力。
在一實施例中,當複數的正峰值被視為在互動樣式內形成環狀時,可以確認潛在追蹤問題。
本發明的第2形態係電腦程式產品,包括電腦碼,當在資料處理系統上執行電腦碼時,改為執行第1形態的方法。
本發明的第3形態係一裝置,用以追蹤觸控裝置的觸控表面上一或更多目標的動作。可操作觸控裝置,藉由在光傳導面板內從複數的入耦合點至複數的出耦合點之內部反射,傳送光,用以從光傳導面板內照明觸控表面,其中光感應裝置光學耦合至出耦合點,以產生代表在出耦合點接收的光之輸出信號。上述裝置包括:一輸入,用於上述輸出信號;以及一信號處理器,配置為在時間連續的重複中操作。各重複包括以下步驟:處理輸出信號,以產生表示觸控表面上互動的局部變化之互動樣式;處理互動樣式,用以確認明顯峰值;以及根據上述明顯峰值,更新前次重複中觸控表面上被視為存在之目標的存在動作軌道。上述裝置更包括錯誤壓制模組,配置為在上述時間連續的重複中至少斷續地經由以下步驟運作:處理明顯峰值及/或存在的動作軌道,以確認隱含軌道等同潛在追蹤問題;為各隱含軌道定義至少二動作提議;以及在一或更多隨後的重複中產生上述至少二動作提議的評估。
本發明的第4形態係一裝置,用以追蹤上述觸控裝置的觸控表面上一或更多目標的動作。上述裝置配置為在時間連續的重複中操作,並包括:接收裝置,用以接收輸出信號; 處理輸出信號裝置,用以處理輸出信號,以產生指示觸控表面上局部互動變化的互動樣式;處理互動樣式裝置,用以處理互動樣式,以確認明顯的峰值;以及更新裝置,用以根據明顯的峰值,更新被視為存在於前次重複中觸控表面上之目標的存在動作軌道。上述裝置更包括錯誤壓制裝置,配置為在上述時間連續的重複中至少斷續地運作,並且包括:處理裝置,用以處理明顯峰值及/或存在的動作軌道,以確認隱含軌道等同潛在追蹤問題;定義裝置,用以為各隱含軌道定義至少二動作提議;以及產生評估裝置,用以在一或更多隨後的重複中產生上述至少二動作提議的評估。
本發明的第5形態係觸控裝置,包括:光傳導面板,配置為以內部反射從複數的入耦合點到複數的出耦合點傳送光,用以從光傳導面板內照明觸控表面;提供光的裝置,在入耦合點提供上述光;產生輸出信號裝置,用以產生輸出信號,代表在出耦合點接收的光;以及追蹤裝置,用以根據第3或4形態,追蹤一或更多目標的動作。
本發明的第6形態係觸控裝置,包括:光傳導面板,配置為以內部反射從複數的入耦合點到複數的出耦合點傳送光,用以從光傳導面板內照明觸控表面;至少一光發射器,光學耦合至入耦合點以提供光;至少一光偵測器,光學耦合至出耦合點以產生一輸出信號,代表在出耦合點接收的光;以及追蹤裝置,用以根據第3或4形態,追蹤一或更多目標的動作。
任一第1形態的以上確認的實施例,可以改為並實施為第2至6形態的實施例。
根據以下詳細的說明、附加的申請專利範圍以及圖式,本發明還有其他的目的、特徵、形態及優點將出現。
1‧‧‧面板
2‧‧‧發射器
3‧‧‧光感應器或偵測器
4‧‧‧觸控表面
5‧‧‧上表面
6‧‧‧下表面
7‧‧‧接觸物
10‧‧‧信號處理器
12‧‧‧控制器
14‧‧‧處理單元
90‧‧‧蹤跡
91、92‧‧‧區域
93‧‧‧舊蹤跡
94‧‧‧區域
100‧‧‧觸控裝置
102A‧‧‧輸入
102B‧‧‧輸出
200‧‧‧收集元件(或裝置)
201‧‧‧轉換元件(或裝置)
202‧‧‧樣式產生元件(或裝置)
203‧‧‧峰值偵測元件(或裝置)
204‧‧‧錯誤壓制元件(或裝置)
205‧‧‧更新元件(或裝置)
206‧‧‧輸出元件(或裝置)
a t ‧‧‧減弱樣式
b1‧‧‧封鎖區或不確定區
bt-1‧‧‧背景樣式
D‧‧‧偵測線
ds t ‧‧‧變化值
da t ‧‧‧差異樣式
M‧‧‧電子記憶體
s t ‧‧‧輸入值
t‧‧‧時間點
o t ‧‧‧偏移樣式
α1‧‧‧第1減弱成分
α2‧‧‧第2減弱成分
α3‧‧‧第3減弱成分
P' ‧‧‧重建函數
It‧‧‧投影信號
‧‧‧偶極峰值
THLt‧‧‧目前蹤跡歷史表
THLt-1‧‧‧蹤跡歷史表
T1‧‧‧第1蹤跡
T2‧‧‧第2蹤跡
p1-p6‧‧‧預測的位置
△t1‧‧‧評估期間
△t2‧‧‧評估期間
TH‧‧‧臨界水平
s1-s6‧‧‧搜尋區域
參考附圖,現在更詳細說明本發明的實施例。
[第1A-1B圖]係觸控FTIR系統的剖面及上平面圖;[第2A-2C圖]係分別為總減弱樣式、背景樣式和偏移樣式的3維圖;[第3A-3B圖]係代表兩移動目標的差異樣式圖;[第4圖]係顯示觸控表面上兩目標的動作軌道;[第5A圖]係根據本發明的實施例,用以追蹤目標的方法流程圖;[第5B圖]係用以實施第5A圖的方法之結構方塊圖;[第6A-6B圖]係顯示無錯誤壓制的追蹤,以及觸控表面上目標動作的對應解釋;[第7A-7F圖]係例證用以壓制追蹤錯誤的預測方法;[第8A-8B圖]係例證用以壓制追蹤錯誤的反應方法;[第9圖]係具有凸圓型的差異樣式;[第10A-10D圖]係減弱圖,作為不同類型的使用者互動之時間函數;[第11A-11D圖]係FTIR系統的平面圖,圖示散射的光可能如何引起干擾;[第12圖]係偏移樣式圖,包含散射的光引起的真峰值和假峰值;[第13A-13B圖]係FTIR系統的平面圖,圖示污染變化可 能如何引起干擾;[第14圖]係偏移樣式圖,包含污染變化引起的真峰值和假峰值;[第15圖]係差異樣式圖,包含污染變化引起的真峰值和假峰值;[第16A-16F圖]係圖示不具有錯誤壓制的追蹤;[第17A-17F圖]係圖示,作為時間函數,光沿著蹤跡散射的結果;[第18圖]係根據本發明的另一實施例,用以追蹤目標的方法流程圖;以及[第19圖]係圖示維持第18圖的方法中蹤跡歷史的處理。
說明本發明實施例之前,提供一些定義。
“觸控物體(touch object)”或“接觸物體(touching object)”係主動地或有意地或接觸或足夠接近觸控表面之實體物件,用以在觸控系統中以一或更多感應器偵測。上述實體物件可以是有生命的如手指或無生命的。
當觸控物體影響感應器測量的參數時,發生”互動”。
“互動力”係互動程度的相對或絕對測量。
“互動圖”或“互動樣式”係橫過觸控表面或其一部分的互動之2維分佈。如果”互動圖”包含減弱值,也指”減弱圖”或”減弱樣式”。
“觸控”係指互動樣式中所見的互動點。觸控可以關 聯不同的觸控參數,例如任何座標系統中觸控表面上的位置、互動力、尺寸(例如直徑、區域等)、形狀等。
“訊框”或”疊代”指示從資料收集開始並以決定觸控資料結束的重複事件。觸控資料可以包括或根據觸控參數之任何組合。
如同在此所使用的,”蹤跡”係關於互動的時間歷史的資訊。來自一連串訊框中,即不同的時間點,偵測的互動之觸控,被收集成蹤跡。
蹤跡可以關聯於不同的蹤跡參數,例如年代、位置、位置歷史、尺寸、形狀等。蹤跡的”年代”表示蹤跡已經存在多久,並可以提供作為許多的訊框、蹤跡中最早觸控的訊框數、時段等。蹤跡的”位置”由蹤跡中最新近的觸控位置提供,以及蹤跡的”尺寸”指示蹤跡中最新近的觸控尺寸。”位置歷史”或”動作軌道”指示橫過觸控表面的蹤跡之至少部分的空間伸展,例如提供為蹤跡中最近一些觸控的位置,或是蹤跡中所有觸控、近似蹤跡形狀的曲線、或是卡爾曼濾波器(Kalman filter)的位置。
以下全部說明,相同的參考數字係用於確認相當的元件。
1.觸控裝置
第1A-1B圖圖示觸控裝置100的範例實施例,觸控裝置100係根據FTIR(受抑內全反射技術)的概念,也表示”FTIR系統”。上述裝置的操作係藉由從發射器2到光感應器或偵測器3在面板1內傳送光,用以從面板1內照明觸控表 面4。面板1係用固體材料以一或更多層製成,可以是任何形狀。面板1定義一內部放射傳送通道,其中以內部反射傳送光。在第1圖的範例中,傳送通道定義在面板1的邊界表面5、6之間,其中上表面5容許傳送光與接觸物7互動,並藉此定義觸控表面4。藉由射入上述光進入面板1而達成,因此當上述光傳送通過面板1時,上述光在觸控表面4內以內全反射(TIR)反射。上述光在下表面6內可以以內全反射(TIR)或在其上的反射覆蓋膜上反射。也可以預料傳送通道與下表面6隔開,例如,如果面板包括多層的不同物質。觸控裝置100可以設計為覆蓋或整合在顯示裝置或監視器之上或其內。
裝置100容許非常接近或接觸觸控表面4的接觸物7與觸控點的傳送光互動。在此互動中,部分的光可以被物體7驅散,部分的光可以被物體7吸收,以及部分的光往其原方向繼續傳送橫過面板1。於是,物體7引起內全反射(TIR)的局部受抑,導致傳送光的能量(功率/強度)降低,如第1A圖的觸控物體7的下游變稀的線所示。
發射器2沿著觸控表面4的周圍分佈,用以在面板1內產生對應數量的光薄板。在第1B圖的範例中,各發射器2產生一光束,當光束在面板1內傳送時,在面板1的平面中擴大。各光束從面板1上一或一以上入口或入耦合點(埠)傳送。光感應器3沿著觸控表面4的周圍分佈以接收來自面板1上在許多隔開的出耦合點(埠)之發射器2的光。應了解入耦合及出耦合點只是指光束分別進入和離開面板1的位置。於是,一發射器/感應器可以光學耦合至許多入耦合/出耦合點。 不過,第1B圖的範例中,偵測線D由各個發射器-感應器對定義。
感應器3共同地提供一輸出信號,上述輸出信號由信號處理器10接收及取樣。上述輸出信號包含許多子信號,也指”投影信號”,各代表某一光發射器2發射的和某一光感應器3接收的能量。根據實施,信號處理器10可能需要處理用以分離各個投影信號的輸出信號。概念上,觸控裝置100被認為在觸控表面4上定義偵測線D的格柵,其中各偵測線D相當於從發射器2到感應器3的光傳送路徑,當投影在觸控表面4上時。因此,投影信號代表各個偵測線D上接收的光的能量或功率。了解接觸物7導致一或更多偵測線D上接收的能量降低(減弱)。
如以下將說明的,信號處理器10可以配置成處理投影信號,用以決定橫過觸控表面1的減弱值分佈(為了簡化,稱作”減弱樣式”),其中各減弱值代表局部的光減弱。上述減弱樣式可以以許多不同的方式,例如在一普通的數位影像中,表示為例如規律的x-y-格柵中排列的減弱值,但可預料其他類型的格柵,例如六角形樣式或三角形網眼。上述減弱樣式可以以信號處理器10或是以分離裝置(未顯示)對於觸控判定更進一步處理,可以包含抽出觸控資料,例如各接觸物體的位置(如x、y座標)、形狀或區域。
在圖示的範例中,觸控裝置100還包括控制器12,連接控制器12以選擇性控制發射器2的活化,並可以從感應器3讀出資料。信號處理器10和控制器12可以配置為分離單 元,或是可以組合在單一單元內。信號處理器10和控制器12中之一或兩者可以至少部分以處理單元14執行的軟體實行。
了解第1圖只是圖示FTIR系統的一範例。例如,可以取而代之在面板1內以掃過或掃描一或更多的光束產生偵測線,以及上述光可以取而代之經由上和下表面5、6耦合進及出面板1,例如藉由使用附加在面板1的專用耦合元件。另一選擇的FTIR系統的範例例如揭露於美國專利第6972753號(US6972753)、美國專利第7432893號(US7432893)、美國專利第2006/0114237號(US2006/0114237)、美國專利第2007/0075648號(US2007/0075648)、聯合國專利第2009/048365號(WO2009/048365)、聯合國專利第2010/006882號(WO2010/006882)、聯合國專利第2010/006883號(WO2010/006883)、聯合國專利第2010/006884號(WO2010/006884)、聯合國專利第2010/006885號(WO2010/006885)、聯合國專利第2010/006886號(WO2010/006886)、聯合國專利第2010/064983號(WO2010/064983)以及聯合國專利第2010/134865號(WO2010/134865),以上所有在此合併參考。上述發明概念也可以應用於如此另一選擇的FTIR系統。
2.減弱樣式
重建函數或演算法可以用於根據輸出信號中的投影信號,決定觸控表面4上的減弱樣式。根據投影信號值,本發明的實施例可以使用任何可用的影像重建演算法,包括斷層重建法,例如濾波逆投影(Filtered Back Projection)、傅立葉式 演算法、ART(代數重建技術)、SART(同步代數重建技術)等。或者,藉由改變一或更多的基礎函數及/或藉由統計法,例如貝氏反轉(Bayesian inversion),重建函數可以產生減弱樣式。設計用於觸控判定之如此的重建函數的範例,在聯合國專利第2010/006883號(WO2010/006883)、聯合國專利第2009/077962號(WO2009/077962)、聯合國專利第2011/049511號(WO2011/049511)、聯合國專利第2011/139213號(WO2011/139213)以及聯合國專利第2012/050510號(WO2012/050510)中可找到,以上所有在此合併參考。傳統的影像重建技術可在數學文獻中找到,例如Natterer所著的”The Mathematic of Computerized Tomography(電腦化的斷層掃描數學)”以及Kak和Slaney所著的”Principle of Computerized Tomography Imaging(電腦化的斷層成像原理)”。
根據反映實體接觸系統的性質:s t =P(a t )之投影函數 P ,假設輸入值s t 在時間點t依減弱樣式 a t 而定,據此設計重建函數。重建演算法因而設計為使用重建函數從s t 重建 a t a t =P'(s t )
了解輸入值s t 的格式對重建函數 P' 可以是特定的。為了實現減弱樣式的重建,輸入值s t 可以表示為各個偵測線的減弱值。如此的減弱值可以例如根據傳送值,而傳送值係藉由第k偵測線的投影值I k 除以各個參考值:Tk=I k /REF k 而得到。經由適當選擇參考值,可以產生傳送值以代表已經在各偵測線上測量之可用光能的分數(例如,在範圍[0,1]中)。可以提供各偵測線的輸入值例如為:sk=-log(Tk)或其近似值,例如sk=1-Tk
減弱樣式 a t 將代表在時間點t觸控表面上累積減弱的分佈。累積減弱包括接觸物引起的減弱及觸控面板上污染引起的減弱兩者,以及如此的互動樣式 a t 可以因此表示”總減弱樣式”或”總樣式”。
如先前技術章節所述,已知在此技藝中,對於觸控表面上污染的影響,至少部分補償上述總減弱樣式 a t ,產生補償的減弱樣式ot,表示”觸控減弱樣式”或”偏移樣式”。例如,聯合國專利第2011/049512號(WO2011/049512)提出重複產生目前光狀態(相當於總樣式)的一觸控裝置。上述觸控裝置也重複更新背景狀態(或”背景樣式”),係觸控表面上污染引起的估計減弱值的2維分佈。於是由目前光狀態減去背景狀態形成補償的光狀態(相當於偏移樣式)。另一選擇或補充的補償技術在聯合國專利第2011/028169號(WO2011/028169)中提出,其中參考值(REFk),用於轉換投影值為輸入值,斷續地更新以包括觸控表面4上污染的影響。藉由以更新參考值追蹤污染的影響,觸控裝置補償已經輸入至重建函數的污染,藉此直接產生偏移樣式。WO2011/049512和WO2011/028169以及申請人2012年9月24日提出申請的PCT(專利合作條約)申請編號PCT/SE2012/051006,全部在此合併參考。
總樣式 a t 圖示於第2A圖,成為觸控表面(參照第1B圖)的座標系統X,Y中的3D(3維)圖。樣式 a t 代表觸控表面上累積的減弱,來自觸控和污染兩者。第2B圖係背景樣式bt-1圖,展示來自較早的觸控指紋引起的第1減弱成分α1、停留在觸控表面上的手掌污點引起的第2減弱成分α2、以及液體濺出 引起的第3減弱成分α3。第2C圖係偏移樣式o t 圖,從 a t 減去bt-1得到,畫素接畫素。在接近零減弱的均勻背景水平上,可看見形成3觸控的3峰值β1、β2、β3。
了解推論得到此偏移樣式o t ,以反映觸控表面上觸控相關的減弱之長期變化,例如相較於無接觸物的乾淨觸控表面,以及基本上除去污染引起的差異,觸控表面上目標的目前排列引起的減弱差異。
也可以產生差別減弱樣式,代表較短時間規模上的變化,典型地在比蹤跡的時間範圍短(多了)的時段△t發生的變化。如此的差別減弱樣式在此表示”差異樣式”並由 da t 指定。
藉由目前偏移樣式減去先前偏移樣式: da t =o t -o t-△t ,可以計算差異樣式 da t 。或者,藉由目前總樣式減去先前總樣式可以計算差異樣式 da t da t =a t -a t-△t ,假設選擇△t夠小以避免明顯的污染形成,而對於接觸物動作夠長以產生減弱變化。在一範例中,時間差異大於約5毫秒,最好約20-80毫秒,但可以多達1-5秒。
在又另一選擇中,可以從變化值 ds t 重建差異樣式 da t ,變化值 ds t 係藉由取得目前時間點(t)和先前時間點(t-△t)之間輸入值差異而得到。
或者,同等地,藉由對數信號值中的差異: ds t =-log(I t /I t-△t )=log(I t-△t )-log(I t )
因此,重建函數 P' 可以運算變化值 ds t ,以產生差異樣式 da t ,假設重建函數 P' 至少趨近線性: da t =a t -a t-△t =P'(s t )-P'(s t-△t )=P'(s t -s t-△t )=P'(ds t )
藉由運算變化值,可以除去在不同時間點計算、儲存和取回總樣式或偏移樣式的需要。
用於產生差異樣式的又另一選擇揭露於申請人2012年10月8日提出申請的PCT(專利合作條約)申請編號PCT/SE2012/051073,全部在此合併參考。
與實施無關,差異樣式 da t 係橫過觸控表面(或觸控的有關部分)的差異值分佈,其中各差異值可以代表在觸控表面上特定位置或重建單元(畫素)中△t期間減弱的局部變化(增加/減少)。於是差異樣式 da t 可以看作橫過觸控表面在△t期間觸控互動和污染貢獻中的變化影像。差異樣式 da t 主要指示接觸觸控表面的移動目標,還有在△t期間移開和加入觸控表面的目標,引起的減弱時間性變化。移動目標在差異樣式中一般出現為”偶極峰值”,即正峰值和負峰值的組合。第3A圖係包含兩偶極峰值:的差異樣式 da t 之3D圖。第3B圖係第3A圖的差異樣式 da t 之平面圖。當目標在△t期間移動時,對應的觸控佔據新畫素,產生正峰值,並離開舊畫素,產生負峰值。如果目標從觸控表面移開,移開的觸控在差異樣式中將以單一負峰值表示,而且如果目標接觸觸控表面,新的觸控將以單一正峰值表示。第3B圖中,了解物體已經在△t期間移開彼此。
本發明的實施例可以運算總樣式、偏移樣式或差 異樣式,或是這些樣式的組合,以在觸控表面上追蹤目標的動作。以下,除非另外說明,於是參照意圖表示上述所有類型的樣式之”減弱樣式”或”樣式”。
3.追蹤
操作觸控裝置100,在連續時間點產生上述樣式,用以實現在觸控表面上追蹤目標的動作作為時間的函數。追蹤在觸控表面上產生動作軌道,並且可以例如容許辨認觸控表面上使用者控制的手勢。例如,第4圖顯示兩物體7的動作軌道T1、T2,以”解捏縮(un-pinch)”的手勢在觸控表面4上拖曳,可以被解釋為”放大”指令。
第5A圖係第1圖的裝置100中用以追蹤目標的方法實施例之流程圖。上述方法包括一連串的步驟50-56,典型地由信號處理器10(第1圖)重複執行。此說明書的本文中,各連串的步驟50-56表示”訊框”或”疊代”。
各訊框以資料收集步驟50開始,其中輸出信號從光感應器3取得,例如經由取樣來自各上述投影信號It的值。資料收集步驟50為各偵測線產生一投影值。可以注意到,可以但不需要,為裝置100中所有可用的偵測線收集資料。資料收集步驟50也包括投影值的預先處理,例如濾波以降低雜訊。
在轉換步驟51中,根據實施,處理投影值I t ,用以轉換為輸入值s t 或變化值 ds t
根據例如第2章節所述的任一技術,其次的樣式產生步驟52對輸入或變化值運算重建函數 P' 以產生樣式。
在峰值偵測步驟53中,例如使用任何已知的技 術,處理樣式以偵測峰值。在一實施例中,首先應用全體的或局部的臨界於偏移樣式,以壓制雜訊。減弱值落在臨界之上的任何區域,可以更進一步處理以找出局部最大值。例如藉由使例如2維2階多項或高斯(Gaussian)鐘形符合減弱值,或是藉由找出減弱值的慣性橢圓,可以更進一步處理確認的最大值以決定觸控形狀和中心位置。局部的最小值可以用相似的方式確認。此技藝中還有許多其他眾所周知的技術,例如分群(clustering)演算法、邊緣偵測演算法、標準斑點偵測、分流技術、填色技術等。步驟53產生一峰值表,可以包括不同峰值參數的值,例如峰值位置、峰值尺寸、峰值形狀、峰值減弱以及峰值符號。峰值減弱可以由峰值形狀內峰值減弱值或減弱值的加權總量提供。峰值符號指示峰值在樣式中是正或負。
步驟54配對峰值表中偵測的峰值至蹤跡歷史表THLt-1存在的蹤跡,蹤跡歷史表THLt-1係存在蹤跡的記錄並從電子記憶體M取回。上述記錄可以由任何適合的資料結構實施,線性的或非線性的,例如表、雜湊表(hash table)、二元樹(binary tree)等。維持蹤跡歷史表包含蹤跡參數值,用於視為關聯於目前訊框的蹤跡,例如視為存在的所有蹤跡,也可以包括不視為不太可能存在的任何蹤跡。如上所示,蹤跡參數可以例如包括對於各蹤跡的年代、位置、位置歷史、互動強度、尺寸、形狀。上述配對產生配對峰值、非配對峰值及非配對蹤跡。然後根據配對,更新蹤跡歷史表THLt-1,並在記憶體M中儲存為目前蹤跡歷史表THLt,用於即將出現的訊框。上述更新可以包括為存在蹤跡更新蹤跡參數值,移除終止的蹤跡,以 及為新蹤跡插入蹤跡參數值。
步驟55中,決定以及輸出目前觸控資料,於是處理回到資料收集步驟50。目前觸控資料可以指示終止的蹤跡(放開)、新蹤跡(按下)和關聯的參數值,以及進行的蹤跡和關聯的參數值。藉由選擇峰值偵測步驟期間決定的值、配對和更新例如峰值參數值或蹤跡參數值,可以決定上述參數值。步驟55可以輸出步驟54確認的所有存在和新的蹤跡之觸控資料。不過,步驟55實行”輸出濾波器”是可預料的,處理目前觸控資料以改良使用者經驗。例如,輸出濾波器可以延後用於許多訊框之新蹤跡的輸出,以壓制錯誤峰值偵測的影響。同樣地,輸出濾波器可以配置為延遲移除對許多訊框非配對的蹤跡,例如在這些訊框期間藉由輸出非配對的蹤跡之最近的觸控資料,或是藉由根據觸控歷史表中的蹤跡參數值,輸出為這些訊框投影的觸控資料。輸出濾波器配置為在步驟55發現的蹤跡中做主動選擇,以及只有輸出選擇的蹤跡的目前觸控資料,也是可預料的。
了解追蹤是吃力的任務,特別是出現干擾時,由於追蹤一定不只是正確地配對不同時間偵測的觸控,還正確地偵測新觸控的發生(即,新動作軌道開始,”按下”)以及存在的觸控消失(即,進行的動作軌道終止,”放開”)。也注意到,觸控在樣式中和作為時間函數兩者的減弱明顯不同。例如,常看到移動目標(“拖曳”)在FTIR式的觸控裝置中產生比固定的目標微弱的減弱。例如由測量雜訊、重建函數導入的偽影、或周圍的光,即始於面板外側來源並以感應器偵測的光,可以引起 干擾。如同以下第4章節將說明的,干擾也源自觸控表面上污染的不完全補償及/或被接觸物體驅散的光。了解追蹤處理可能嚴重受阻,如果弄錯干擾為真實觸控並用作新蹤跡的起點或作為位置加入存在的蹤跡。藉由適當設計上述輸出濾波器,可以避免使用者暴露於小的追蹤錯誤。不過,較大的追蹤錯誤可以在蹤跡歷史表中傳送,並瓦解使用者經驗。範例提供於第6A-6B圖。第6A圖顯示當手指拖曳通過觸控表面時,確認並在時間連續的訊框中配對的觸控位置(黑點)。虛線指示許多訊框追蹤失敗,引起追蹤分開拖曳為被停止的第1蹤跡T1,以及從第1蹤跡T1移開的第2蹤跡T2。失敗的追蹤例如可以由堆積指紋的手指引起,指紋配對進入第1蹤跡T1,因此停止時察覺是第1蹤跡T1。當手指從指紋移開時,追蹤再次偵測手指引起的峰值,並確認這些屬於新蹤跡T2。如第6B圖所示,從輸出步驟55接收觸控資料的應用控制器,可能解釋第1和第2蹤跡為代表兩物體7的解捏縮(un-pinch)手勢(參照第4圖)以及起始放大動作,另使用者驚訝且失望。
為了壓制追蹤錯誤,第5A圖中的方法包括錯誤壓制步驟56,錯誤壓制步驟56設計為在步驟54中更新蹤跡歷史表時,降低採用和傳送追蹤錯誤的可能性。在圖解的實施例中,錯誤壓制步驟56確認指示”隱含的蹤跡”的特定蹤跡之潛在追蹤問題,然後定義對於隱含的蹤跡之動作提議。動作提議係在追蹤處理下游中評估的不同假定,例如在指定的評估期。以下,假設評估以步驟56的部分執行。於是在其次訊框的步驟54中,評估的結果用於控制隱含蹤跡的更新。了解步驟56 可以,但不需要在每一訊框期間執行。同樣地,其次的動作提議評估可以,但不需要在評估期間為每一訊框執行。
在一實施例中,確認潛在追蹤問題係藉由應用專用的直觀推論法於步驟53偵測的峰值,用以確認任何不確定峰值(“可能假峰值”),即廣義上視為可能(或不視為不可能)源自干擾之峰值。可以調整直觀推論法以確認來自特定類型的干擾之峰值。不同直觀推論法的範例在以下第4章節提供。
參考第5A圖中的實施例,及其變形,了解可以同時產生一或更多的指示步驟。例如,其次訊框的資料收集步驟50可以與任一的步驟51-56同時起始。
3.1預測方法
在一實施例中,錯誤壓制步驟56係根據預測方法,即動作提議代表隱含蹤跡的可能未來軌道。為了解決第6圖中顯示的追蹤問題,步驟56可以定義兩不同的動作提議:停止物體(“停止提議”)以及物體繼續沿著暫時蹤跡往其目前方向移動(“移動提議”)。
預測方法例證於第7圖中,其中黑點代表配對的觸控位置,方形代表確認的追蹤問題,十字形代表偵測的峰值,白點代表預測的觸控位置,實線代表蹤跡,以及虛線代表暫時蹤跡。第7A圖提供在評估期間△t1配置的暫時蹤跡的概觀。當評估動作提議時,產生預測的位置p1-p6,代表在各連續訊框f1-f6中隱含蹤跡之似合理的位置。上述預測的位置p1-p6可以以步驟56定義,例如,如熟悉技藝者所熟知的,藉由從隱含蹤跡的位置歷史推斷。定義搜尋區域s1-s6關於各預 測的位置p1-p6,並且可以,但不需要,包括各個預測的位置p1-p6。動作提議的評估中,將處理落在搜尋區域s1-s6內的偵測峰值,用以評估移動提議。如果移動提議被視為很可能在評估期間△t1或末期,步驟54因此將會受信號通知更新蹤跡歷史表中的隱含蹤跡。評估期間△t1的長度影響FTIR系統對追蹤問題的敏感度。應該夠長以實現偵測未完的動作,而夠短以避免其他目標的動作錯誤連接至隱含蹤跡。評估期間△t1的長度還有搜尋區域s1-s6的配置和尺寸是例行實驗的問題。
許多可預料的實施之一顯示於第7B-7D圖。第7B圖中,在訊框f3期間搜尋區域s3中發現峰值,並指定為後補位置c3。如果在搜尋區域中發現一以上的峰值,上述評估可以選擇最佳配對(例如,根據彼此距離及/或尺寸相似、減弱力等)作為候補位置,或運算複數的候補位置。第7C圖中,找到訊框f4中確認的峰值,配對至候補位置c3(例如,根據彼此距離及/或尺寸相似、減弱力等)。這可以引起步驟56選擇移動提議並引起隱含的蹤跡被步驟54更新,如第7D圖所示。明顯地,在接受動作提議前,步驟56可能需要較大的連續配對候補位置。在一變形(未顯示)中,在接受移動提議前,步驟56可能需要連續的候補位置位於各個搜尋區域內。在另一變形中(未顯示),一候補位置一在一搜尋區域內,步驟56就可以接受動作提議。關於第7D圖,應了解預測位置(p1、p2以及可能p3),當在步驟54更新時,可以,但不需要,加至隱含蹤跡。
如果步驟56取而代之選擇停止提議,隱含的蹤跡將被更新,如第7E圖所示。應了解更新蹤跡的前端在彼此之 上包括複數觸控位置(各訊框f1-f6一個)。
在一變形中(未顯示),以單一搜尋區域取代或補充搜尋區域s1-s6,定義上述單一搜尋區域有關隱含蹤跡。可以定義單一搜尋區域,在評估期間△t1,包括暫時蹤跡的範圍(參照第7A圖)。例如,單一搜尋區域中偵測的所有峰值可以用於評估移動提議。
第7F圖顯示預測方法的延伸。在此,步驟56定義包括追蹤問題的封鎖區或不確定區b1。關於追蹤問題的位置、隱含蹤跡的目前位置、即將出現的訊框中隱含蹤跡的預測位置等,可以設定封鎖區b1。封鎖區b1將解決追蹤問題的原因在即將出現的訊框中可能殘留和影響追蹤處理之事實。封鎖區可以關聯不同的函數。在一變形中,防止步驟53偵測封鎖區b1內的峰值。在另一變形中,防止步驟56中的評估,根據封鎖區b1中偵測的峰值,評估動作提議。在另一變形中,防止步驟54配對封鎖區b1中偵測的峰值至其他蹤跡(即,不只是隱含蹤跡)。這些變形的組合是可能的。例如,在第7F圖中,封鎖區b1中的峰值不能產生新蹤跡,也不能用於評估動作提議。封鎖區b1典型存在於評估期間△t2,評估期間△t2可以,但不需要,與期間△t1相同。可能想要設定△t2,與△t1無關,因為△t2有關追蹤問題的起點的時間規模,而△t1有關與觸控表面真實互動的時間規模。
在一變形(未顯示)中,省略封鎖區,且容許以步驟53偵測新峰值,並由步驟54使用,但非配對至隱含蹤跡。因此,可以容許步驟54只使用偵測的峰值建立新蹤跡及/或更新 其他蹤跡而非隱含的蹤跡。
3.2反應方法
在另一實施例中,錯誤壓制步驟56係根據一反應方法,也就是說,根據隱含蹤跡的附近確認的蹤跡,評估動作提議,因此如此的蹤跡可以連接至隱含的蹤跡。上述反應方法也可以使用停止提議和移動提議。
反應方法例證於第8圖,其中黑點代表配對的觸控位置,方形代表確認的追蹤問題,點代表偵測的峰值,以及虛線箭頭代表起點的評估軌道。第8A圖顯示偵測潛在的追蹤問題後追蹤許多的訊框。定義封鎖區或不確定區b1,以包括潛在的追蹤問題,例如如同參考第7F圖以上所述。封鎖區b1將存在於評估期間△t2,並用於防止發生於封鎖區b1內的峰值被用於評估動作提議。根據實施,可以封鎖步驟53在封鎖區b1偵測峰值,或是可以防止步驟56根據封鎖區b1內偵測的峰值評估動作提議。類似於第7F圖中的範例,封鎖區b1可以具有防止步驟54配對在封鎖區b1內偵測的峰值至其他蹤跡之附加的效果。步驟56藉由在評估期間△t1分析封鎖區b1外偵測的新蹤跡可連接至隱含蹤跡,評估動作提議。此評估可以包括決定各新蹤跡起點的明顯方向,例如,藉由逆投影新蹤跡,如第8A圖中虛線箭頭所示。如果起點的方向足夠接近隱含的蹤跡,步驟56可以選擇移動提議並使隱含蹤跡由步驟54更新,如第8B圖所示。另一選擇或另外,步驟56中的評估可以根據隱含蹤跡和各新蹤跡的起點之間的距離,及/或隱含蹤跡內的觸控和新蹤跡內的觸控之間的區域及/或形狀內的相似性。
在一變形中(未顯示),可以組合使用封鎖區,步驟56限於評估在專用搜尋區內具有起點的新蹤跡,新蹤跡可以定義為有關隱含蹤跡,或是追蹤問題。藉由限制評估新蹤跡的數量,使用如此的搜尋區可以降低處理。搜尋區可以具有固定的位置和範圍,或是在評估期間△t1內可以具有時間變化範圍及/或位置。
3.3其他動作提議
停止和移動提議只是可以用於步驟56中之提議的範例。即使這些提議捕捉觸控表面上許多目標的動作,它們可以與其他及更詳細的動作提議組合或被取代,例如反轉提議(目標反轉方向)、左轉提議(目標往左轉90°)、右轉提議(目標往左轉90°)等。
在某些FTIR系統中,追蹤處理可能難以辨別”放開”現象(接觸物從觸控表面提起)以及開始移動的接觸物(靜止蹤跡)。例如,在差異樣式中,放開現象可能不只產生負峰值,還有在負峰值周圍的圓圈中產生小正峰值的”凸圓”。第9圖係具有如此凸圓形狀的差異樣式 da t 之範例。回到第3B圖,了解負和正峰值的結果組合可能錯誤解釋為目標動作而非放開現象。為了處理此潛在追蹤錯誤,步驟56可以配置為確認凸圓形狀為潛在追蹤問題,並定義將在評估期△t1期間評估之移動提議和”放開提議”。可以根據任一預測或反應方法,評估移動提議。如果否絕移動提議,可以選擇放開提議。或者,藉由評估潛在追蹤問題的位置有/無峰值,可以確認放開提議。
一般,應注意如果步驟56能夠確認或分類不同類 型的潛在追蹤問題,例如凸圓形狀、小的假峰值、正方柱(見以下),步驟56可以定義將根據潛在追蹤問題的類型評估之不同組合的提議。例如,正方柱可以導致移動和停止提議,而凸圓形狀可以導致移動如放開提議。另一選擇或另外,可以根據隱含蹤跡的位置歷史(即,前次訊框期間隱含蹤跡的動作特性)由步驟56定義不同提議,例如為運作中隱含蹤跡定義如此的停止和移動提議,以及為靜止中的隱含蹤跡定義放開和移動提議。
3.4斷續提起目標的追蹤
上述發明的追蹤技術也可適用於追蹤斷續從觸控表面提起的目標,例如產生雙輕擊。雙輕擊包含連續的兩輕擊,即按下、放開、按下、和放開。如果輕擊之間的時間很短,可能誤解雙輕擊為靜止蹤跡,即目標接觸觸控表面,然後保持此狀態。第10圖包括對於不同類型的觸控現象在偏移樣式中一位置上減弱力的時間變化圖。第10A圖代表觸控表面上單一輕擊。當減弱力上升至臨界水平TH之上時,偵測到按下現象,以及當減弱力下降至臨界水平TH(或是不同的臨界水平)之下時,偵測到放開現象。第10B-10C圖係當目標接觸觸控表面然後保持不動時,減弱力的時間變化之範例。按下之後一段時間,減弱力的降低可以(部分)歸因於接觸物和觸控表面之間的施壓變化。第10D圖代表快速連續的兩輕擊,其中輕擊之間的時間不容許減弱力降至臨界水平TH以下。傳統追蹤處理會因此忽視第10D圖的雙輕擊。錯誤壓制步驟56可以改為處理此狀況。例如,當發現蹤跡從起始(即從按下現象開始)在某一時 段內在減弱力中具有時間性最小值時,步驟56可以確認潛在追蹤問題。在第10C-10D圖中的箭頭找到時間性最小值。步驟56也可以定義”接觸提議”(目標保持接觸觸控表面)以及”雙擊提議”(目標產生雙擊)。然後在評估期間△t1由步驟56評估這些提議。如果減弱力在△t1內降至臨界水平TH以下,可以選擇雙擊提議,否則可以選擇接觸提議。
4.假峰值的起點和偵測
如上所述,假峰值可以用作潛在追蹤問題的指標。經由對FTIR系統特定的干擾,產生一些假峰值。以下,假峰值的兩不同起點在一些細節中討論,之後係不同直觀推論法(heuristics)的說明,可以用於確認假峰值。
4.1光散射引起的假峰值
光散射係物理處理,引起面板中一些傳送光脫離其原路徑。在FTIR系統中,在面板中可以有固有的散射,例如定義放射傳送通道的邊界表面中的不規則引起的散射,以及面板的塊材料中的不規則引起的散射。此散射可以是時間上不變的,並可由裝置的校準列入考慮。
在FTIR系統中,光散射也可以由接觸物引起,還有觸控表面上的污染,例如指紋和污點。這類型的光散射是動態的,即隨著系統被使用而變化,因為目標的位置和污染的分佈可能在時間上變化。又,光散射可能依目標的類型以及在觸控面板上多用力按下目標而不同。同樣地,光散射對於不同類型的污染可能不同,例如指紋和液體濺出。例如,依照傳送光的一致性,人的手指上或指紋中凹下和隆起的樣式可能引起不 規則的光散射,還有干擾/繞射現象。
第11A-11D圖顯示光散射對FTIR系統中以光感應器3測量的投影值之影響。對了簡化的目的,顯示系統具有一個光發射器2和5個光感應器3。第11A圖中,物體7接觸觸控表面。第11B圖中,假設裝置沒有動態的光散射。發射器2被活化產生第1和第2偵測線。第1偵測線直接通過物體7和觸控表面之間的接觸區,導致減少的投影值(即,增加的減弱)。第2偵測線直接通到接觸區的右邊並導致不變的投影值(即,無減弱)。第11C圖顯示動態光散射的效果。有些往前擊中接觸區的光被目標驅散,並衝擊第2偵測線的感應器。於是,如第11D圖所示,第2偵測線的投影值將代表到達其感應器之傳送光(第11B圖)以及到達其感應器的散射光(第11C圖)的總量。這導致第2偵測線增加的投影值(即,減少的減弱)。當物體7被局部污染例如指紋取代時,有關第11圖的討論同樣可適用。
如果現在物體7在第11D圖中從觸控表面提起(或是同等地,如果局部污染至少部分移除),第1偵測線的投影值將增加,而第2偵測線的投影值將減低(因為散射光被移除)。因此,第2偵測線的減弱將增加,可能在結果樣式中導致正峰值,可能錯誤解釋為新觸控。
了解動態光散射在偵測線之間導致光能的再分佈。典型地,但非通常,動態的光散射影響通行接近散射目標/污染之偵測線。這將導向結果樣式中減弱的再分佈。因為光散射沒有產生新的光,樣式中再分佈的減弱總量應為零。這表 示動態光散射在樣式中產生正和負兩峰值。這些散射引起的峰值典型地發散為在散射目標/污染周圍的局部現象。第12圖係覆蓋在偏移樣式(o t )之蹤跡T1的概要圖,包含起源於單一接觸物的峰值。峰值形成一限定群,具有兩正峰值和兩負峰值,在此共同指示”正方柱”。如此的正方柱可以置於代表物體7的一或更多真峰值(正/負)之上。真峰值藉此可以至少部分被正方柱隱藏。
4.2污染變化引起的假峰值
當目標沿著觸控表面上軌道移動,可以改變觸控表面上的污染。例如,如果目標是手指,可能添加手指油脂至觸控表面以及重新安排觸控表面上存在的污染兩者。如此的污染變化或”殘留變化”可以解釋為樣式中的峰值,即使處理樣式以主動補償污染,例如先前所述。
第13A圖係觸控表面4上物體7的概要圖,其中目標已經留下污染的蹤跡90,如虛線所示。藉由存在的技術,可以評估和補償蹤跡90引起的減弱。不過,可能難以完全補償污染的影響,特別是如果污染沿著蹤跡90及在蹤跡90內不均勻分佈。例如,第13A圖指示兩區域91、92,其中污染明顯大於預期。因此,區域91、92將在樣式內沿著動作軌道產生正峰值。這更進一步圖解於第14圖的偏移樣式o t ,其中看到局部增加的污染所引起的兩正峰值沿著單一接觸物體的一存在的蹤跡T1。相似的干擾可能發生在差異樣式 da t 中,如第15圖所示,其中蹤跡T1包含:其前端的正峰值,係目標的動作在△t期間在觸控表面上進入新區域所引起的;負峰值,係目 標從其先前位置移開所引起的;以及兩正峰值,係導向局部增加減弱之新添加的指紋所引起的。
第13B圖係其上有污染的舊蹤跡93之觸控表面4上物體7的概要圖。當拭去舊蹤跡93中一些污染時,物體7已經在觸控表面4上移動,而在表面4上堆積污染的新蹤跡90。當產生樣式時,如果不適當地評估舊蹤跡93中的污染,可能不是低估就是高估區域94中污染的數量,沿著目標的蹤跡產生正或負峰值。
4.3假峰值的偵測
根據潛在假峰值的偵測,可以確認或預估潛在追蹤問題。偵測假峰值,可以藉由專用的直觀推論法(heuristics)評估偵測的峰值,直觀推論法係設計為偵測已知以特定方式發生例如正方柱、凸圓形狀之假峰值,以及污染峰值,如前所述。另一選擇或另外地,偵測假峰值,可以藉由一般的直觀推論法,直觀推論法係設計為偵測蹤跡中不合理的或至少未必有的假峰值明示,例如過度的速度或速度變化。之後是專用和一般直觀推論法的一些範例。
4.3.1一般直觀推論法
一般直觀推論法可以計算和分析蹤跡的速度及/或加速度,以決定假峰值已經配對進入蹤跡。如果,例如,發現蹤跡的向心速度及/或向心加速度太大,例如不可能人為,可以確認蹤跡的追蹤問題。又,切線加速度(特別是減速度)以及切線速度可以指示追蹤問題。
第16圖顯示當假峰值配對進入傳統追蹤的蹤跡 時,蹤跡的明顯速度和加速度如何受影響。第16A圖顯示5個峰值形成的第1蹤跡。第16B圖中,第1蹤跡到達具有假峰值的區域,例如,方形柱,並配對至一峰值,而另一峰值(假)形成第2蹤跡的起點。第16C-16F圖中,第1和第2蹤跡連續配對至減弱樣式中普及的假峰值。了解第16C圖中第1蹤跡將展示明顯的向心速度和加速度,以及第16D圖中明顯的切線減速度。這些異常例之任一或兩者可以用於確認潛在追蹤問題。
應注意到與假峰值的起點無關,可能發生速度及/或加速度的異常例。例如,如果大量的污染留在移動目標後,產生配對進入對應蹤跡之正峰值,可能發生過度減速度。
另一一般直觀推論法可以分析偵測峰值的區域及/或形狀,以確認假峰值。
4.3.2專用的直觀推論法
可以設計一專用的直觀推論法,以確認上述方形柱。第17圖顯示當目標掃過觸控表面上污染區並因此引起明顯的光散射時產生的方形柱之時間性發展。蹤跡以實線指示,在問題區域轉換為虛線。應注意到峰值在減弱樣式中係光散射引起的峰值、接觸物引起的峰值、以及污染如指紋引起的峰值之重疊。第17A及17B圖顯示分別在方形柱的形成不久之前和之後的蹤跡。第17C-17E圖顯示當目標通過問題區時,方形柱逐漸減低範圍和大小。當離開問題區時,在第17E-17F圖中,目標由正峰值表示。第17F圖也包括持久指紋引起的蹤跡上之假峰值。如所見,一般負峰值的出現,以及特別蹤跡的外部,可能是光散射的指示。
因此,藉由應用”散射直觀推論法”,包括第1規則,規定關聯一或更多負峰值(例如位於其附近)的正峰值被指定為不確定峰值,可以確認潛在追蹤問題。可以應用第1規則至位於指定範圍的搜尋區內與一或更多負峰值一起之正峰值。例如可以定義搜尋區在各負峰值周圍。在一變形中,定義搜尋區在一或更多正峰值周圍,例如第17B圖中已經配對至蹤跡的正峰值。可以依FTIR系統的設計、重建函數以及散射目標/污染的最大可預料尺寸,設定搜尋區的範圍。在一非限制範例中,設定搜尋區的直徑在1-50mm(毫米)的範圍內。另一選擇中,藉由搜尋正及負峰值的特定空間組合的峰值,例如藉由模板配對,確認關聯負峰值的正峰值。如此的模板配對可以是獨立的尺度及/或循環,或是可以納入各個峰值的減弱力、尺寸、形狀等。
如上述,差異樣式可以呈現不源自干擾的負峰值,但隨著接觸物的動作軌道(蹤跡)(參照第3B和15圖)必然發生。於是,當運算差異樣式時,只要關聯的負峰值與目前蹤跡空間分開,第1規則可以,但不需要,更正以規定正峰值被指定為不確定峰值。也可以應用如此更正的第1規則至可以呈現相似負峰值,例如延遲的或不完全的污染補償所引起的偏移樣式。
又一變形中,散射直觀推論法可以包括第2規則,所有負峰值將被指定為不確定峰值,用以防止導入負峰值至蹤跡歷史表。不過,熟悉技藝者了解有其他排除負峰值的方式,例如在配對和更新步驟54(第5A圖)中排除使用所有的負峰值。
散射直觀推論法將降低確認散射現象引起的峰值為指示接觸物之可能性。又,散射直觀推論法可用於壓制源自其他類型干擾的峰值影響。
可以設計另一專用的直觀推論法以確認上述凸圓形狀,例如藉由模板配對或任何用於偵測環狀形成物如模糊聚類、休氏轉換(Hough transformation)等的技術。
可以設計又另一專用的直觀推論法以確認污染感應的正峰值。這”污染直觀推論法”可以包括第1規則,規定如果位於沿著存在的蹤跡,正峰值將被指定為不確定。污染直觀推論法可以包括第2規則,規定如此的正峰值,只要是非配對至存在的蹤跡,將被指定為不確定。第2規則將容許上述方法追蹤橫過另一蹤跡的觸控,因為配對的峰值不被污染直觀推論法確認。可預料污染直觀推論法也包括第3規則,規定正(配對或非配對)峰值,只要位於離存在蹤跡的前端的最大距離之內,將被指定為不確定峰值。第3規則將降低存在的蹤跡中發生的新觸控被指定為不確定峰值並被阻礙加入蹤跡歷史表之風險。由於污染感應的峰值很可能比較接近蹤跡的前端發生,可以使用第3規則而不導入假峰值至蹤跡歷史表。第3規則中使用的最大距離可以是歐式距離(Euclidian Distance)或沿著蹤跡的距離。在一實施中,最大距離是固定的絕對距離。在另一實施中,動態設定最大距離為蹤跡速度的函數,因此較高蹤跡速度導致較大的最大距離。這將確保污染感應的峰值被指定為不確定,還有目標快速移動橫過觸控表面。在一範例中,最大距離係沿著蹤跡的範圍,從目前位置到其先前位置一既定數 量的訊框,時間往前例如5、10、20個訊框。因此,正峰值只要落在蹤跡的最近軌道內,將被指定為不確定,其中最近軌道的範圍自動隨蹤跡的速度增減。
5.追蹤方法的範例
第18圖係追蹤方法的實施例流程圖,並顯示不同的步驟在單一訊框內如何運作以移入不同資料結構。接著在步驟52中(參照第5圖)中產生減弱樣式之後,峰值偵測步驟53偵測所有關聯的峰值,正和負兩者,以及儲存關於峰值表中峰值的資訊。峰值表的內容因此有關目前訊框。於是,步驟54運作以配對蹤跡歷史表中存在的蹤跡至峰值表中的正峰值。藉由加入目前資料至存在的蹤跡,而除去失去的蹤跡並加入新蹤跡,配對的結果用於更新蹤跡歷史表。因此以通過一些訊框的蹤跡資訊,更新蹤跡歷史表。下一步驟56A偵測潛在追蹤問題,例如藉由應用一或更多以上確認的直觀推論法。如果一或更多蹤跡發現潛在追蹤問題,為各隱含蹤跡引進兩或更多動作提議,以及對應的資訊儲存在暫時蹤跡表中。因此以關於通過一些訊框(在上述評估期間△t1之內)的各隱含蹤跡的一或更多動作提議之資訊,更新暫時蹤跡表。以下步驟56B評估動作提議和選擇,如果可能的話,暫時蹤跡表中對於一或更多隱含蹤跡的動作提議之一。然後以對於隱含蹤跡之選擇的動作提議更新蹤跡歷史表。步驟56B典型地運算添加至前次訊框中暫時蹤跡表的動作提議。然後步驟55輸出蹤跡歷史表中所有或子集的蹤跡中之最佳推斷,以及可以輸出代表所有或子集的隱含蹤跡之資料。有許多方式處理隱含蹤跡。在一範例中,根據提議 之一,例如移動提議或停止提議,步驟55可以輸出觸控資料,然後轉換(如果需要的話)至步驟56最後選擇的動作提議。
圖解的資料結構只是範例。例如,蹤跡歷史表和暫時蹤跡表可以組合為共有的資料結構。
步驟54可以看作維持蹤跡歷史表的處理。第19圖提供如此維持處理的詳細範例,係根據(步驟53中偵測的)目前峰值以及蹤跡歷史表中的蹤跡之間的配對,針對以目前蹤跡參數值更新蹤跡歷史表。
步驟61中,處理蹤跡歷史表中蹤跡的蹤跡參數值,用以產生目前訊框的預測值。根據實施,步驟61可以運作以預測蹤跡歷史表中所有蹤跡最有可能的位置(座標)、尺寸和形狀。可以省略步驟61,但目前被認為當計算配對值時(以下),改良距離測量的品質。
步驟62中,蹤跡參數的(預測)值配對至峰值表中峰值的對應參數值。因此,在蹤跡歷史表中每一峰值和每一蹤跡之間,計算配對值。配對值指示峰值和特定蹤跡之間配對的可能性。配對值可以例如計算為峰值的位置和蹤跡的(預測)位置之間歐式距離(Euclidian Distance)函數,及/或尺寸及/或形狀及/或減弱力的相似性的函數。又,對於被視為不可能的峰值-蹤跡組合,可以設定無效的配對值。可以由峰值的(預測)位置和蹤跡的位置之間最大距離提供對峰值-蹤跡組合的一限制。在一範例中,如果距離大於15mm(毫米),配對被視為不可能。對容許的峰值-蹤跡組合加以限制也使得對配對值計算使用敏捷的演算法成為可能,例如在觸控表面上分級搜尋。了 解可以計算配對值以納入包括在蹤跡歷史表中更進一步的蹤跡參數,例如蹤跡年代。
總樣式和偏移樣式中,接觸物由正峰值代表。對於如此的減弱樣式,步驟62可忽略所有的負峰值,即只有正峰值配對至存在的蹤跡。在差異樣式中,接觸物體可以由正和負峰值兩者代表,以及步驟62可以配對正峰值或負峰值、或其組合至存在的蹤跡。
步驟62中,確認的峰值根據配對值也被分配(即,配對)進入蹤跡歷史表,用以決定一蹤跡(如果有的話)作為各峰值的最佳配對。執行此分配的簡單方式,如果計算配對值以高的配對值表示較佳配對,係以最高配對值開始並進行至逐漸較低的配對值(貪婪法則),而且如果較佳的配對以較低的配對值表示的話,反之亦然。有許多其他和更多精巧的演算法,用以執行此分配,例如匈牙利法(Hungarian method)(庫恩演算法(Kuhn’s algorithm))或是任何其他根據配對值解決分成兩部分的配對之演算法。另一選擇中,上述分配說明關聯個別配對值之蹤跡的年代,例如經由從最早的配對值/蹤跡(年代參數的最大值)開始並進行至漸漸較新的配對值/蹤跡。
步驟62之後,各峰值不是被分配至存在的蹤跡(“配對峰值”)就是被確認為缺乏分配的蹤跡(“非配對的峰值”)。同樣地,各存在的蹤跡不是被分配至一峰值就是被確認為缺乏關聯(“非配對的蹤跡”)。
步驟63中,藉由為配對的峰值更新對應的蹤跡參數作為峰值參數值的函數,為所有配對的峰值更新蹤跡歷史表。
步驟64中,非配對的峰值被解釋為新蹤跡並且添加至蹤跡歷史表。如同在步驟63中,蹤跡參數值可以由峰值參數值提供,或計算作為峰值參數值的函數。
步驟65中,非配對的蹤跡被解釋為失去的蹤跡並從蹤跡歷史表中移除。在一變形中,移除如此的蹤跡延遲一些(例如1-10)訊框,使得找到屬於較後的訊框中的蹤跡變得可能,這可以例如避免移除可能暫時隱藏在雜訊或偽影中的微弱蹤跡。另一變形中,如果一或更多蹤跡參數值符合既定的標準,例如如果局部雜訊已經降低至預期以下,或是如果蹤跡的減弱力經過一連串的前次訊框已經快速降低(可以指示已經從觸控表面舉起對應物體),移除非配對的蹤跡。
根據在此揭露的不同實施例之追蹤方法可以以資料處理裝置(參照第1圖中10)實行,連接資料處理裝置以在FTIR系統中從光感應器3取樣測量值。第5B圖顯示如此的信號處理裝置10的範例,裝置10包括輸入102A,用以接收輸出信號。裝置10更包括資料收集元件(或裝置)200,用以得到目前投影值;轉換元件(或裝置)201,用以轉換目前投影值為目前輸入值或變化值;樣式產生元件(或裝置)202,用以產生目前減弱樣式;峰值偵測元件(或裝置)203,用以在目前減弱樣式中偵測峰值;錯誤壓制元件(或裝置)204,用以確認潛在追蹤問題,定義動作提議以及引起動作提議的隨後評估;更新元件(或裝置)205,用以更新蹤跡歷史表;輸出元件(或裝置)206,用以提供輸出的目前觸控資料;以及輸出102B,用以輸出目前觸控資料。
裝置10可以以特殊用途軟體(或韌體)實現,在一或一以上的一般用途或特殊用途計算裝置上執行。本文中,要了解如此的計算裝置的各”元件”或”裝置”(或同等地”模組”)係指方法步驟的概念同等物;不總是元件/裝置與特別件硬體或軟體程序之間一對一相符。一件硬體有時供給不同的裝置/元件。例如,當執行一指令時,處理單元可以用作一元件/裝置,但當執行另一指令時,用作另一元件/裝置。必然地,完全以類比硬體元件實現一或一以上的元件(裝置)是可預料的。
此軟體控制裝置10可以包括一或一以上的處理單元(參照第1B圖中14),例如CPU(中央處理單元)、DSP(數位信號處理器)、ASIC(特殊應用積體電路)、不連續類比及/或數位元件或某其他可編程邏輯裝置,例如FPGA(現場可編程閘陣列)。裝置10可以更包括系統記憶體和系統匯流排,系統匯流排耦合各種系統元件包括系統記憶體,至處理單元。系統匯流排可以是一些類型的匯流排結構之其中任一,包括記憶體匯流排或記憶體控制器、周邊匯流排以及使用各種匯流排結構其中任一的局部匯流排。上述系統記憶體可以包括揮發性及/或非揮發性記憶體形式的電腦儲存媒體,例如唯讀記憶(ROM)、隨機存取記憶體(RAM)及快閃記憶體。特殊用途軟體、蹤跡歷史表以及執行期間需要的任何其他資料可以儲存於系統記憶體內,或是包括在計算裝置之內或可存取計算裝置之其他可移動/不可移動揮發性/非揮發性電腦儲存媒體內,例如磁性媒體、光學媒體、快閃記憶卡、數位磁帶、固態RAM、固態ROM等。資料處理裝置10可以包括一或一以上的通訊界面,例如串列 界面(Serial Interface)、平行界面、USB(通用串列匯流排)界面、無線界面、網路配接器等,還有一或一以上的資料擷取裝置,例如A/D(類比/數位)轉換器。包括記錄媒體及唯讀記憶體的任何適當的電腦可讀取媒體中的特殊用途軟體可以提供給資料處理裝置10。
本發明主要參考一些實施例說明如上。不過,如同熟悉此技藝者易於感知的,除了以上揭露的實施例之外其他實施例同樣可能在本發明的範圍和精神內,由附加的專利範圍申請定義和限制。
例如,實行追蹤處理以使用預測和反應方法的組合,用以更進一步壓制追蹤問題的衝擊。
又,輸入值s t 的格式依重建函數 P' 以及想要的/需要的重建樣式精確度而定(或提供)。在另一選擇的實施中,可以例如提供格式作為傳送(例如,由參考值規格化的投影值提供)、能量差異(例如由投影值和參考值之間的差異提供)、或是能量差異的對數。如同以上所使用的,”對數”也意圖包含趨近任意底的真對數函數之函數。又,輸入值可以有任何符號,即它們可以或不可以乘以負值。根據重建函數,甚至可以使用投影值作為輸入值。關於產生差異樣式可以作相似的更正。於是,在更普遍的水平上,上述全體偏移和差異樣式可以視為”互動樣式”,包括與一或更多接觸物體引起的傳送光局部互動中變化的分佈。
50‧‧‧收集資料
51‧‧‧轉換為輸入值或變化值
52‧‧‧產生減弱樣式
53‧‧‧偵測峰值
56‧‧‧錯誤壓制;-確認追蹤問題;-定義在隨後的評估期間內將評估的動作提議
54‧‧‧配對和更新
55‧‧‧濾波和輸出
M‧‧‧電子記憶體
THLt‧‧‧目前蹤跡歷史表
THLt-1‧‧‧蹤跡歷史表

Claims (30)

  1. 一種在一觸控裝置(100)的一觸控表面(4)上追蹤一或更多目標(7)的動作之方法,上述觸控裝置(100)可實施藉由在一光傳導面板(1)內從複數的入耦合點至複數的出耦合點以內部反射傳送光,用以從上述光傳導面板(1)內照明上述觸控表面(4),其中至少一光偵測器(3)係光學耦合至上述出耦合點以產生代表在上述出耦合點接收的光之一輸出信號,其中上述方法以一時間連續的重複操作,各重複包括下列步驟:處理輸出信號步驟,處理(50-52)上述輸出信號,以產生表示上述觸控表面(4)上互動的局部變化之一互動樣式;處理互動樣式步驟,處理(53)互動樣式,用以確認明顯峰值;以及更新步驟,根據上述明顯峰值,更新(54)一前次重複中上述觸控表面(4)上被視為存在之目標(7)的存在動作軌道;其中,上述方法更包括一錯誤壓制處理,在上述時間連續的重複中至少斷續地執行,並包括:處理(56;56A)上述明顯峰值及/或上述存在的動作軌道,以確認隱含軌道等同一潛在追蹤問題;為各隱含軌道定義(56;56A)至少二動作提議;以及在一或更多隨後的重複中產生(56;56A)上述至少二動作提議的一評估。
  2. 如申請專利範圍第1項所述的方法,其中,上述評估為各隱含軌道產生上述至少二動作提議中之一的一選擇。
  3. 如申請專利範圍第2項所述的方法,其中,上述更新(54)上述存在的動作軌道的步驟包括根據上述選擇更新各隱含軌道。
  4. 如申請專利範圍第1至3項中任一項所述的方法,其中,藉由處理上述明顯峰值以確認潛在的假峰值,以及藉由映射上述潛在的假峰值至上述存在的動作軌道,確認上述隱含軌道。
  5. 如申請專利範圍第1至4項中任一項所述的方法,其中,上述至少二動作提議包括:一第1提議,對應上述隱含軌道之上述目標(7)是固定的;以及一第2提議,對應上述隱含軌道之上述目標(7)是移動的。
  6. 如申請專利範圍第1至5項中任一項所述的方法,其中,上述至少二動作提議包括:一第1提議,對應上述隱含軌道之上述目標(7)從上述觸控表面移除;以及一第2提議,對應上述隱含軌道之上述目標(7)是移動的。
  7. 如申請專利範圍第5或6項所述的方法,其中,上述第2動作提議指示在一第1評估時段期間上述目標(7)繼續沿著一預測軌道移動。
  8. 如申請專利範圍第7項所述的方法,其中,上述定義(56;56A)上述至少二動作提議的步驟包括一步驟:產生上述預測軌道作為上述隱含軌道的一函數。
  9. 如申請專利範圍第7或8項所述的方法,其中,上述評估 包括一步驟:配對上述第1評估時段中確認之至少部分的上述明顯峰值至上述預測軌道。
  10. 如申請專利範圍第7至9項中任一項所述的方法,其中上述更新(54)步驟包括一步驟:配對至少部分的上述明顯峰值至上述存在的動作軌道;其中上述錯誤壓制處理更包括一步驟:在一第2評估時段期間防止配對上述至少部分的上述明顯峰值至上述隱含軌道。
  11. 如申請專利範圍第10項所述的方法,其中,上述錯誤壓制處理更包括下列步驟:在上述第2評估時段期間上述互動樣式中定義上述隱含軌道周圍不確定區域(b1);以及防止在上述第2評估時段期間上述更新步驟(54)運算位於上述不確定區域(b1)的上述明顯峰值。
  12. 如申請專利範圍第5或6項所述的方法,其中,上述更新(54)步驟包括確認和添加新動作軌道至上述存在的動作軌道,其中上述評估包括配對上述新動作軌道的候補至上述隱含軌道。
  13. 如申請專利範圍第12項所述的方法,其中,上述配對是以下至少其中之一的一函數:上述候補的起源之一評估方向,以及上述隱含軌道和上述候補的一目前位置之間的一距離。
  14. 如申請專利範圍第12或13項所述的方法,其中,上述錯 誤壓制處理更包括:在一第2評估時段期間上述互動樣式中定義隱含軌道周圍上述不確定區域(b1),用以防止新動作軌道在上述不確定區域(b1)中被確認。
  15. 如申請專利範圍第1至14項中任一項所述的方法,其中,上述潛在的追蹤問題由以下至少其中一引起:散射在上述觸控表面上的光,以及上述觸控表面上的一污染變化。
  16. 如申請專利範圍第1至15項中任一項所述的方法,其中,藉由以下至少其中之一確認上述潛在的追蹤問題:一區域直觀推論法(heuristics),評估上述明顯峰值的一區域;一速度直觀推論法,評估上述存在的動作軌道的一速度;一加速度直觀推論法(heuristics),評估上述存在的動作軌道的一加速度;一散射偵測直觀推論法;以及一污染偵測直觀推論法。
  17. 如申請專利範圍第16項所述的方法,其中,上述明顯峰值包括正和負明顯峰值,其中各正明顯峰值代表上述互動樣式中一局部增加的互動,且各負明顯峰值代表上述互動樣式中一局部降低的互動;其中當一正峰值被視為關聯一或更多上述負明顯峰值時,上述散射偵測直觀推論法確認上述潛在追蹤問題。
  18. 如申請專利範圍第17項所述的方法,其中,上述散射偵測直觀推論法更要求上述一或更多上述負明顯峰值位於上述 存在的動作軌道之外。
  19. 如申請專利範圍第17或18項所述的方法,其中,當上述正明顯峰值與上述一或更多負明顯峰值有特定的空間關係時,上述正明顯峰值可以被視為關聯上述一或更多上述負明顯峰值。
  20. 如申請專利範圍第19項所述的方法,其中,上述特定的空間關係可以在上述正明顯峰值與上述一或更多負峰值之間定義一最大的距離。
  21. 如申請專利範圍第16項所述的方法,其中,上述明顯峰值包括代表上述互動樣式中局部增加的互動之正明顯峰值;其中當一正明顯峰值被視為位於沿著上述存在的動作軌道之一時,上述污染偵測直觀推論法確認上述潛在追蹤問題。
  22. 如申請專利範圍第21項所述的方法,更包括:配對至少部分的上述正明顯峰值至上述存在的動作軌道,用以確認一組配對的明顯峰值和一組非配對的明顯峰值;其中,上述污染偵測直觀推論法更要求上述正明顯峰值包括在上述組非配對的明顯峰值內。
  23. 如申請專利範圍第1至3項中任一項所述的方法,其中,當一存在的動作軌道在上述觸控表面(4)上是固定的,並在展示一時間性最小值時具有超出一第1臨界值之一互動力,可以確認上述潛在追蹤問題。
  24. 如申請專利範圍第23項所述的方法,其中,上述至少二動作提議包括:一第1提議,對應上述隱含軌道的上述目標(7)是固定的, 並在一評估時段內保持接觸上述觸控表面(4);以及一第2提議,斷續地從上述觸控表面(4)移除對應上述隱含軌道的上述目標(7),然後在上述評估時段內帶回來接觸上述觸控表面(4)。
  25. 如申請專利範圍第24項所述的方法,其中,上述評估包括:監視在上述評估時段內關於一第2臨界值之上述互動力。
  26. 如申請專利範圍第6項所述的方法,其中,當複數的正峰值被視為在上述互動樣式內形成一環狀時,確認上述潛在追蹤問題。
  27. 如申請專利範圍第1至26項中任一項所述的方法,其中,根據上述潛在追蹤問題的一分類及/或根據先前重複期間上述隱含軌道之一動作特徵,在上述定義步驟(56;56A)中可以定義至少二動作提議。
  28. 一種電腦程式產品,包括電腦碼,當在一資料處理系統上執行上述電腦碼時,改為執行前述申請專利範圍任一項中所述的方法。
  29. 一種裝置,用以追蹤一觸控裝置(100)的一觸控表面上一或更多目標的動作,可操作上述觸控裝置(100),藉由在一光傳導面板(1)內從複數的入耦合點至複數的出耦合點之內部反射,傳送光,用以從上述光傳導面板(1)內照明上述觸控表面(4),其中一光感應裝置(3)光學耦合至上述出耦合點,以產生代表在上述出耦合點接收的光之一輸出信號,其中上述裝置包括:一輸入(102A),用於上述輸出信號;以及 一信號處理器(14),配置為在一時間連續的重複中操作,各重複包括以下步驟:處理(50-52)上述輸出信號,以產生表示上述觸控表面(4)上互動的局部變化之一互動樣式;處理(53)互動樣式,用以確認明顯峰值;以及根據上述明顯峰值,更新(54)一前次重複中上述觸控表面(4)上被視為存在之目標(7)的存在動作軌道;上述裝置更包括一錯誤壓制模組(204),配置為在上述時間連續的重複中至少斷續地經由以下步驟運作:處理(56;56A)上述明顯峰值及/或上述存在的動作軌道,以確認隱含軌道等同一潛在追蹤問題;為各隱含軌道定義(56;56A)至少二動作提議;以及在一或更多隨後的重複中產生(56;56A)上述至少二動作提議的一評估。
  30. 一種觸控裝置,包括:一光傳導面板(1),配置為以內部反射從複數的入耦合點到複數的出耦合點傳送光,用以從上述光傳導面板(1)內照明一觸控表面(4);提供光裝置(2,12),用以在上述入耦合點提供上述光;產生輸出信號裝置(3),用以產生一輸出信號,代表在上述出耦合點接收的光;以及上述追蹤裝置(10),用以根據申請專利範圍第29項,追蹤一或更多目標(7)的動作。
TW101147361A 2011-12-16 2012-12-14 在觸控表面的追蹤目標 TW201339927A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
SE1151209 2011-12-16

Publications (1)

Publication Number Publication Date
TW201339927A true TW201339927A (zh) 2013-10-01

Family

ID=48613325

Family Applications (1)

Application Number Title Priority Date Filing Date
TW101147361A TW201339927A (zh) 2011-12-16 2012-12-14 在觸控表面的追蹤目標

Country Status (7)

Country Link
US (1) US8982084B2 (zh)
EP (1) EP2673697A4 (zh)
JP (1) JP2015505093A (zh)
KR (1) KR20140107452A (zh)
CN (1) CN104081323B (zh)
TW (1) TW201339927A (zh)
WO (1) WO2013089623A2 (zh)

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE533704C2 (sv) 2008-12-05 2010-12-07 Flatfrog Lab Ab Pekkänslig apparat och förfarande för drivning av densamma
TW201203052A (en) 2010-05-03 2012-01-16 Flatfrog Lab Ab Touch determination by tomographic reconstruction
US10168835B2 (en) 2012-05-23 2019-01-01 Flatfrog Laboratories Ab Spatial resolution in touch displays
US9952719B2 (en) 2012-05-24 2018-04-24 Corning Incorporated Waveguide-based touch system employing interference effects
US20140210770A1 (en) 2012-10-04 2014-07-31 Corning Incorporated Pressure sensing touch systems and methods
US10019113B2 (en) 2013-04-11 2018-07-10 Flatfrog Laboratories Ab Tomographic processing for touch detection
US9874978B2 (en) 2013-07-12 2018-01-23 Flatfrog Laboratories Ab Partial detect mode
US20150074597A1 (en) * 2013-09-11 2015-03-12 Nvidia Corporation Separate smoothing filter for pinch-zooming touchscreen gesture response
US10126882B2 (en) 2014-01-16 2018-11-13 Flatfrog Laboratories Ab TIR-based optical touch systems of projection-type
WO2015108479A1 (en) 2014-01-16 2015-07-23 Flatfrog Laboratories Ab Light coupling in tir-based optical touch systems
US9323449B2 (en) * 2014-05-09 2016-04-26 Htc Corporation Electronic apparatus and drawing method using the same
WO2015199602A1 (en) 2014-06-27 2015-12-30 Flatfrog Laboratories Ab Detection of surface contamination
CN107077257B (zh) * 2014-08-27 2020-11-03 惠普发展公司,有限责任合伙企业 使用全内反射的屏幕接触检测
US11182023B2 (en) 2015-01-28 2021-11-23 Flatfrog Laboratories Ab Dynamic touch quarantine frames
US10318074B2 (en) 2015-01-30 2019-06-11 Flatfrog Laboratories Ab Touch-sensing OLED display with tilted emitters
WO2016130074A1 (en) 2015-02-09 2016-08-18 Flatfrog Laboratories Ab Optical touch system comprising means for projecting and detecting light beams above and inside a transmissive panel
WO2016140612A1 (en) 2015-03-02 2016-09-09 Flatfrog Laboratories Ab Optical component for light coupling
FR3028341A1 (fr) * 2015-03-26 2016-05-13 Continental Automotive France Systeme de detection de la presence d'une portion de main sur un volant
EP4075246B1 (en) 2015-12-09 2024-07-03 FlatFrog Laboratories AB Stylus for optical touch system
EP3545392A4 (en) 2016-11-24 2020-07-29 FlatFrog Laboratories AB AUTOMATIC TACTILE SIGNAL OPTIMIZATION
KR102495467B1 (ko) 2016-12-07 2023-02-06 플라트프로그 라보라토리즈 에이비 개선된 터치 장치
CN108345415B (zh) * 2017-01-25 2023-06-30 豪威Tddi安大略有限合伙公司 利用对象速度信息的对象追踪
CN116679845A (zh) 2017-02-06 2023-09-01 平蛙实验室股份公司 触摸感测装置
US20180275830A1 (en) 2017-03-22 2018-09-27 Flatfrog Laboratories Ab Object characterisation for touch displays
CN110663015A (zh) 2017-03-28 2020-01-07 平蛙实验室股份公司 触摸感应装置和用于组装的方法
CN107368223B (zh) * 2017-07-31 2020-12-04 海信视像科技股份有限公司 多点触控的触摸点匹配方法及装置
CN117311543A (zh) 2017-09-01 2023-12-29 平蛙实验室股份公司 触摸感测设备
JP2021028733A (ja) * 2017-12-14 2021-02-25 国立研究開発法人産業技術総合研究所 物体識別装置及び物体識別システム
US10915782B2 (en) * 2017-12-14 2021-02-09 Pixart Imaging Inc. Image parameter calculating method, object tracking method, and image parameter calculating system
WO2019172826A1 (en) 2018-03-05 2019-09-12 Flatfrog Laboratories Ab Improved touch-sensing apparatus
CN109613483B (zh) * 2018-10-30 2021-07-20 上海无线电设备研究所 一种基于Hough变换的多目标航迹起始方法
CN109189273B (zh) * 2018-11-06 2021-11-26 业成科技(成都)有限公司 触控事件处理方法、装置、计算机设备和存储介质
WO2020153890A1 (en) 2019-01-25 2020-07-30 Flatfrog Laboratories Ab A videoconferencing terminal and method of operating the same
CN115039063A (zh) 2020-02-10 2022-09-09 平蛙实验室股份公司 改进的触摸感测设备
CN111609858B (zh) * 2020-05-28 2021-10-22 新石器慧通(北京)科技有限公司 定位误差确定方法、轨迹生成方法、装置及交通工具
CN112597922B (zh) * 2020-12-28 2024-03-26 深圳市普汇智联科技有限公司 一种基于无碰撞lstm的多目标轨迹预测方法
CN114860111B (zh) * 2022-05-23 2024-06-18 Oppo广东移动通信有限公司 触控轨迹的更新方法、装置、电子设备及存储介质

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6972753B1 (en) 1998-10-02 2005-12-06 Semiconductor Energy Laboratory Co., Ltd. Touch panel, display device provided with touch panel and electronic equipment provided with display device
US20120188206A1 (en) * 2001-11-02 2012-07-26 Neonode, Inc. Optical touch screen with tri-directional micro-lenses
US7432893B2 (en) 2003-06-14 2008-10-07 Massachusetts Institute Of Technology Input device based on frustrated total internal reflection
US8599140B2 (en) 2004-11-17 2013-12-03 International Business Machines Corporation Providing a frustrated total internal reflection touch interface
US20090135162A1 (en) * 2005-03-10 2009-05-28 Koninklijke Philips Electronics, N.V. System and Method For Detecting the Location, Size and Shape of Multiple Objects That Interact With a Touch Screen Display
US8847924B2 (en) 2005-10-03 2014-09-30 Hewlett-Packard Development Company, L.P. Reflecting light
WO2008068607A2 (en) * 2006-12-08 2008-06-12 Flatfrog Laboratories Ab Position determination in optical interface systems
US7855718B2 (en) * 2007-01-03 2010-12-21 Apple Inc. Multi-touch input discrimination
WO2009048365A1 (en) 2007-10-10 2009-04-16 Flatfrog Laboratories Ab A touch pad and a method of operating the touch pad
AR064377A1 (es) 2007-12-17 2009-04-01 Rovere Victor Manuel Suarez Dispositivo para sensar multiples areas de contacto contra objetos en forma simultanea
WO2009137355A2 (en) 2008-05-06 2009-11-12 Next Holdings, Inc. Systems and methods for resolving multitouch scenarios using software filters
TW201001258A (en) 2008-06-23 2010-01-01 Flatfrog Lab Ab Determining the location of one or more objects on a touch surface
EP2318903A2 (en) 2008-06-23 2011-05-11 FlatFrog Laboratories AB Detecting the location of an object on a touch surface
TW201005606A (en) 2008-06-23 2010-02-01 Flatfrog Lab Ab Detecting the locations of a plurality of objects on a touch surface
TW201007530A (en) 2008-06-23 2010-02-16 Flatfrog Lab Ab Detecting the location of an object on a touch surface
TW201013492A (en) * 2008-06-23 2010-04-01 Flatfrog Lab Ab Determining the location of one or more objects on a touch surface
KR20110096041A (ko) * 2008-11-12 2011-08-26 플라트프로그 라보라토리즈 에이비 터치 감지 일체형 디스플레이 장치 및 그 동작 방법
SE533704C2 (sv) 2008-12-05 2010-12-07 Flatfrog Lab Ab Pekkänslig apparat och förfarande för drivning av densamma
TWI399677B (zh) * 2009-03-31 2013-06-21 Arima Lasers Corp 光學偵測裝置及其方法
US20120068973A1 (en) 2009-05-18 2012-03-22 Flatfrog Laboratories Ab Determining The Location Of An Object On A Touch Surface
JP5582622B2 (ja) 2009-09-02 2014-09-03 フラットフロッグ ラボラトリーズ アーベー 補償信号プロファイルを有する接触面
EP2491479B1 (en) 2009-10-19 2018-10-03 FlatFrog Laboratories AB Extracting touch data that represents one or more objects on a touch surface
EP2491481A4 (en) * 2009-10-19 2014-08-20 Flatfrog Lab Ab DETERMINE TOUCH DATA FOR ONE OR MORE OBJECTS ON A TOUCH SURFACE
US20120200538A1 (en) * 2009-10-19 2012-08-09 Flatfrog Laboratories Ab Touch surface with two-dimensional compensation
TW201203052A (en) 2010-05-03 2012-01-16 Flatfrog Lab Ab Touch determination by tomographic reconstruction
EP2628068A4 (en) 2010-10-11 2014-02-26 Flatfrog Lab Ab TOUCH DETECTION BY TOMOGRAPHIC RECONSTRUCTION
TW201329821A (zh) 2011-09-27 2013-07-16 Flatfrog Lab Ab 用於觸控決定的影像重建技術
TW201333787A (zh) 2011-10-11 2013-08-16 Flatfrog Lab Ab 觸控系統中改良的多點觸控偵測

Also Published As

Publication number Publication date
US8982084B2 (en) 2015-03-17
JP2015505093A (ja) 2015-02-16
CN104081323A (zh) 2014-10-01
EP2673697A4 (en) 2014-07-02
CN104081323B (zh) 2016-06-22
EP2673697A2 (en) 2013-12-18
KR20140107452A (ko) 2014-09-04
WO2013089623A2 (en) 2013-06-20
WO2013089623A3 (en) 2013-09-12
US20140055421A1 (en) 2014-02-27

Similar Documents

Publication Publication Date Title
TW201339927A (zh) 在觸控表面的追蹤目標
US9927920B2 (en) Tracking objects on a touch surface
EP2791763B1 (en) Tracking objects on a touch surface
US10031623B2 (en) Touch determination with improved detection of weak interactions
US10088957B2 (en) Touch force estimation in touch-sensing apparatus
TW201333787A (zh) 觸控系統中改良的多點觸控偵測
KR101941730B1 (ko) 터치 결정을 위한 이미지 복원
US20120200538A1 (en) Touch surface with two-dimensional compensation
US11182023B2 (en) Dynamic touch quarantine frames
TW201411453A (zh) 觸控系統中的物件偵測
CN103492985A (zh) 带有信号增强的触摸确定