TWI597487B - 用於觸控點識別之方法及系統與相關聯電腦可讀媒體 - Google Patents

用於觸控點識別之方法及系統與相關聯電腦可讀媒體 Download PDF

Info

Publication number
TWI597487B
TWI597487B TW104129367A TW104129367A TWI597487B TW I597487 B TWI597487 B TW I597487B TW 104129367 A TW104129367 A TW 104129367A TW 104129367 A TW104129367 A TW 104129367A TW I597487 B TWI597487 B TW I597487B
Authority
TW
Taiwan
Prior art keywords
images
indicator
pattern
touch
pressure
Prior art date
Application number
TW104129367A
Other languages
English (en)
Other versions
TW201614216A (en
Inventor
凱漢 陳
大衛Ｂ 索爾特
康金曼
Original Assignee
惠普發展公司有限責任合夥企業
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 惠普發展公司有限責任合夥企業 filed Critical 惠普發展公司有限責任合夥企業
Publication of TW201614216A publication Critical patent/TW201614216A/zh
Application granted granted Critical
Publication of TWI597487B publication Critical patent/TWI597487B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0421—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145—Illumination specially adapted for pattern recognition, e.g. using gratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Position Input By Displaying (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • User Interface Of Digital Computer (AREA)

Description

用於觸控點識別之方法及系統與相關聯電腦可讀媒體
本發明係有關於用於觸控點識別之同調照射技術。
當一場景使用同調光源照明時可觀察到光斑圖樣。一光斑圖樣為由該同調光源發射的波前彼此干涉所產生的一非均勻強度圖樣。
依據本發明之一實施例，係特地提出一種系統，其包含：一第一感測器用以擷取由同調照明所照射的一第一物件之一部分的多個影像及該等多個影像中之各者的一擷取時間；及一處理器用以：比較該等多個影像中之兩個影像而識別一或多個觸控點，其中各個觸控點具有該等兩個影像間之一數值差係大於一臨界值；判定由該經識別的一或多個觸控點所形成的一空間形狀相對應於一指標物件之一指標端；關聯該空間形狀與該指標物件對該第一物件之一第一壓力；回應於決定該空間形狀之大小的一變化係大於該等多個影像中之隨後影像中之一給定變化，識別該 指標物件對該第一物件之一第二壓力，其中該第二壓力係基於該空間形狀之大小的該變化；及提供該第一壓力及該第二壓力作為一輸出。
100A-B‧‧‧系統
110‧‧‧同調光源
115‧‧‧透鏡
120‧‧‧物體
125‧‧‧指標物體
130‧‧‧光斑感測器
135‧‧‧追蹤感測器
140‧‧‧光斑變化處理系統
150、152‧‧‧光波
150a、152a‧‧‧點
190‧‧‧非光斑指標物件追蹤感測器
211‧‧‧輸入/輸出引擎
212‧‧‧影像擷取引擎
213‧‧‧觸控分析引擎
214‧‧‧追蹤引擎
215‧‧‧壓力引擎
216‧‧‧掃描器引擎
220‧‧‧資料儲存庫
310‧‧‧記憶體資源
311‧‧‧輸入/輸出模組
312‧‧‧影像擷取模組
313‧‧‧觸控分析模組
314‧‧‧追蹤模組
315‧‧‧壓力模組
316‧‧‧掃描模組
320‧‧‧處理資源
410‧‧‧平坦表面、觸控板
420‧‧‧手
425‧‧‧使用者的手指
430‧‧‧光斑圖樣變化
500、600‧‧‧方法
510-525、605-670‧‧‧方塊
附圖例示後述原理之各種實施例。實施例及附圖為例示性而非限制性。
圖1A描繪包括一光斑變化處理系統之一系統實例的方塊圖。
圖1B描繪一示意圖實例，顯示光斑係如何由光學系統產生及隨後由感測器擷取以供由一光斑變化處理系統處理。
圖2描繪一光斑變化處理系統實例的方塊圖。
圖3描繪一記憶體資源實例及一處理資源實例的方塊圖。
圖4A描繪一手指觸摸平坦表面實例之一影像。圖4B顯示基於識別光斑改變大於一臨界值所產生的影像實例。圖4C顯示自圖4B識別的一經識別的空間圖樣實例之矩心。
圖4D-4E顯示當一使用者的手指觸摸一觸控板時導致光斑圖樣之變化實例。
圖5描繪一流程圖例示辨識光斑圖樣變化用以決定一經檢測的觸摸之位置或時間的方法實例。
圖6A-6C程圖例示辨識光斑圖樣變化用以決定一經檢測的觸摸之壓力變化的方法實例。
較佳實施例之詳細說明
能夠辨識一平坦表面何時被觸摸的一觸控螢幕系統採用相機，該等相機係經對齊使得其光軸係平行於觸控螢幕的二維表面。然而，當受監視物件並不平坦時，諸如玩具，使用對齊的相機用於觸控檢測並不可行，特別當該物件並非事先已知時尤為如此。於某些情況下，麥克風可嵌置於該物件內部用以估計物件上出現觸摸的位置，但麥克風的使用要求物件的幾何形狀及材料為已知。後文描述用於檢測光斑圖樣變化用以識別一物件被觸摸何處及/或該物件何時被觸摸的技術。
圖1A描繪系統100A之一例之方塊圖，該系統包括一光斑變化處理系統140用以檢測一受監視的物件或物項120被一指標物件125觸摸時的位置及/或時間。受監視的物件120可以是二維平坦表面，諸如觸控板，或甚至三維物件，諸如書本。指標物件125可以是例如使用者的一根手指或多根手指或一觸控筆，於該處該指標物件125具有一或多個指標端用以觸控或接觸物件120。
一同調源110產生同調光用以照明受監視的物件120或受監視的物件之一部分，而可以是例如雷射。再者，指標物件125之部件包括但非限制性，指標端中之一或多者也可藉來自同調源110的同調照射明。任何波長照明皆可使用，例如紅外光波長。來自同調源110的光例如可使用發散光學器件散布而照明物件120。另外，適當光學器件可用以 將光聚焦成一線或一點，及藉掃描機構重複掃描以照明於一感測器諸如光斑感測器130之視野中的物件120及指標物件125，若存在時。物件120及指標物件125之藉同調源110的照射產生了顆粒狀光斑圖樣，其藉光斑感測器130檢測，及被檢測的光斑圖樣中之變化係藉光斑變化處理系統140分析。
一光斑圖樣為藉自一同調源發射的波之干涉所產生的光強度圖樣。於圖1B之系統100B中，同調源110產生具有相同相位的同調光波。由透鏡115表示的一或多個光學器件可準直由同調源110發射的同調光以照射一物件120。但於某些情況下，不使用透鏡115；舉例言之，其它光學器件作用在同調光上，或絲毫也不使用光學器件。物件120具有同調光衝擊其上的一非鏡面表面。注意同調源110可以任何角度照射欲被監視的物件。
以相同相位產生的且行進相同距離或行進距離差異達光波長之整數倍數的同調光波將係在相同相位且建設性干涉。此種情況係藉於圖1B之實例中的代表性光波150顯示，該等光波係自物件120之非鏡面表面朝向光斑感測器130反射。當建設性干涉光波150衝擊光斑感測器130上時，於點150a檢測得最大光強度。相反地，以相同相位產生的且行進距離差異達光波長之半的奇整數倍數的同調光波將係在不同相位且破壞性干涉。此種情況係藉於圖1B之實例中的代表性光波152顯示，該等光波也係自物件120之表面朝向光斑感測器130反射。當破壞性干涉光波152衝擊光斑 感測器130上時，於點150b檢測得零光強度。具有中間相位差的光波將具有最大光強度與零間之一強度位準。
使用靜態系統，諸如系統100B，於該處同調源110、透鏡115、受監視物件120、及光斑感測器130為靜止不動，藉光斑感測器130檢測得的光斑圖樣也屬靜止不動。然而，當系統100B中之某些事物改變時光斑圖樣可改變。事實上，光斑變化處理系統140可使用光斑圖樣中的改變而識別系統100B中的改變。舉例言之，若受監視物件120係由一指標物件125觸碰，使得藉同調光照射的受監視物件120之表面移動，則在到達光斑感測器130之前，同調光波行進的距離也將改變，結果導致光斑圖樣變化。該技術充分敏感用以檢測用於照明的該光之半波長的偏轉。於850奈米紅外光照射光源之實例中，物件120表面的425奈米偏轉能被檢測為一觸摸。如下呈示之技術優異地使用光斑圖樣改變之檢測用以決定何處及/或何時一受監視物件已被觸摸。
光斑感測器130可以是任何類型的感測器，諸如互補金氧半導體(CMOS)感測器或電荷耦合裝置(CCD)感測器，其回應於同調光之波長。光斑感測器130擷取在受監視物件120上及在其視野中之指標物件125的光斑圖樣，於該處被擷取影像可包括個別影像之擷取時間。於某些情況下，影像為整個視野的完整影像。完整影像中之二者可比較光斑圖樣變化。於某些情況下，該等影像中之各者擷取視野的一部分，例如，視野的一縱截割片，而數個影像用以產生整個視野的一組合影像。然後兩個組合影像可比較 光斑圖樣變化。
於若干實施例中，由光斑感測器130擷取的影像可藉光斑變化處理系統140處理，用以識別受監視物件120之表面及/或指標物件125之指標端的移動。於若干實施例中，藉光斑感測器130擷取的影像可藉光斑變化處理系統140處理用以追蹤及/或識別指標物件125。舉例言之，若一光斑改變圖樣相對應於指標物件125的形狀，則該光斑改變圖樣隨後可用以追蹤指標物件125。指標物件125的追蹤及識別資訊可用以縮窄於藉光斑感測器130擷取的該等影像中之光斑圖樣變化的關注區域。
回到圖1A，與光斑感測器130分開的一追蹤感測器135可用以擷取指標物件125的光斑圖樣影像，由光斑變化處理系統140用以追蹤指標物件125的一或多個指標點的移動。追蹤感測器135須回應於同調光之波長。
另外或此外，一非光斑指標物件追蹤感測器190可用以擷取指標物件125的非為光斑圖樣影像的影像。舉例言之，非光斑指標物件追蹤感測器190可以是回應於照明指標物件125的非同調光之波長之任何類型的感測器，諸如存在於環境中或自一可見光源發射的可見光波長(未顯示於圖1A)。非光斑指標物件追蹤感測器190之實例可包括一深度相機及一紅綠藍(RGB)相機。非光斑指標物件追蹤感測器190擷取指標物件125之影像，光斑變化處理系統140或其它外部處理器(圖中未顯示)可運用例如電腦視覺技術及演算法用以追蹤及識別指標物件125之指標端。
圖2及3描繪用於實現光斑變化處理系統140之實體及邏輯組件之實例。於圖2之實施例中，各種組件被識別為引擎211、212、213、214、215、216。引擎211、212、213、214、215、216之描述將聚焦在各個引擎的指定功能。然而，引擎一詞係指經組配以從事一指定功能的硬體與程式設計之組合。如有關圖3之例示，例如，各個引擎之硬體可包括一處理器及一記憶體，而程式設計為儲存於該記憶體上且可由處理器執行用以從事該指定功能的軟體碼。
圖2描繪光斑變化處理系統140之實例之方塊圖。光斑變化處理系統140可包括一輸入/輸出引擎211、一影像擷取引擎212、一觸控分析引擎213、一追蹤引擎214、一壓力引擎215、及一掃描器引擎216。該等引擎211、212、213、214、215、216中之各者可與資料儲存庫220互動。額外的或更少的引擎可含括於光斑變化處理系統140及各個例示的引擎中。
輸入/輸出引擎211可經組配以接收信號來觸發使用光斑感測器130及/或追蹤感測器135之擷取一光斑圖樣，或接收在由同調照射照明的一視野中之一受監視物件120、或該受監視物件120之一部分、及一指標物件125，若存在時，的一串列影像，連同各個影像之擷取時間用於分析。輸入/輸出引擎211可接收由光斑感測器130及/或追蹤感測器135及/或非光斑指標物件追蹤感測器190所擷取的影像。於有些情況下，輸入/輸出引擎211可接收得自一外部處理器的針對指標物件125之追蹤資訊，該處理器處理由非 光斑指標物件追蹤感測器190所擷取的影像。
輸入/輸出引擎211也可經組配以提供下列作為一輸出：1)指標物件125之一指標端相對於受監視物件120的一觸控位置，於該處該觸控位置係基於觸控像素之一經識別的光斑圖樣，該觸控像素亦即相對應於一光斑圖樣變化大於一臨界值的該影像中之像素；或2)產生該經識別的光斑圖樣之該等影像之擷取時間。於有些情況下，輸入/輸出引擎211可提供指標物件125對受監視物件120的一第一壓力及一第二壓力，或通知壓力已經發生變化作為一輸出。
影像擷取引擎212係經組配以使用光斑感測器130及/或追蹤感測器135來擷取由同調源110照射的一關注物件120、或一關注物件120之一部分、及一指標物件125，若存在時，的多個影像。影像擷取引擎212可使用一計時裝置，諸如時鐘，用以識別多個影像中之各者的擷取時間。於若干實施例中，同調照明係藉掃描器引擎216(容後詳述)而重複掃描橫過物件120或物件120之部分。於此種情況下，影像擷取引擎212連同掃描器引擎216一起工作，用以確保用以擷取各個影像的相機快門曝光時間係夠長，而擷取該視野的一整個掃描週期。
觸控分析引擎213係經組配以比較多個影像中的兩個影像，用以識別於影像中之一或多個觸控點，又稱觸控像素，於該處各個觸控點具有兩個影像間之數值差異係大於一臨界值。臨界值可預定為一常數值，可使用一演算法用以決定臨界值，或臨界值可調整適應性決定。如此， 若影像中之一特定像素的數值變化小，使得其小於臨界值，則該像素不被辨識為一觸控點，原因在於該變化可能係由於系統中的雜訊或環境中的變化，非關由指標物件在該受監視物件上所做的接觸。於若干實施例中，追蹤引擎214(容後詳述)追蹤一指標物件的一或多個指標端。於此等情況下，觸控分析引擎213可比較兩個影像中接近一或多個指標端的該等區域用以辨識觸控點，而非整個影像。又，觸控分析引擎213判定由觸控點所形成的空間形狀或圖樣是否相對應於一指標物件之指標端。
於若干實施例中，追蹤引擎214係經組配以使用光斑感測器130，從藉影像擷取引擎212擷取的影像中辨識與追蹤指標物件125之一或多個指標端。指標物件端可以是使用者的一或多根手指及/或觸控筆。追蹤引擎214可使用相對應於一指標物件之形狀的光斑圖樣變化用以追蹤及識別指標物件125之指標端。舉例言之，指標物件125可以是手。因使用者的手絕非完全靜止不動，故手的形狀之影像中觀察得的光斑圖樣變化可用以辨識手的指標端而決定觸控分析引擎213比較像素的區域。此等位置傳送給觸控分析引擎213用以查詢在環繞用以接觸受監視物件120的該(等)指標端周圍該等區域中的像素而縮窄了關注區域。
另外或此外，追蹤引擎214係經組配以使用，與得自光斑感測器130不同的，得自一或多個追蹤感測器135的光斑圖樣影像用以追蹤及識別指標物件125之指標端。再度，追蹤引擎214可使用相對應於一指標物件之形狀的光斑 圖樣變化用以追蹤及識別指標物件125之指標端。藉追蹤感測器135擷取的影像須與藉光斑感測器130擷取的影像對齊，使得被追蹤的指標物件125之指標端之一區域可與在藉光斑感測器130擷取的影像中之光斑圖樣變化交互相關。
另外或此外，追蹤引擎214係經組配以識別及追蹤得自由一或多個非光斑指標物件追蹤感測器190所擷取的影像之一或多個指標端。追蹤引擎214例如可使用電腦視覺技術及演算法用以針對基於非光斑圖樣的影像識別手指及/或觸控筆及其所在位置。於有些情況下，追蹤引擎214可根據由非光斑指標物件追蹤感測器190所擷取的影像，自一外部來源接收指標物件125之指標端的被追蹤位置。
壓力引擎215係經組配以比較藉同調照明所照射的一物項之一系列影像中之第一對連續影像的像素用以識別觸控像素，於該處兩個影像間之各個觸控像素之值的差係大於一臨界值；及識別及儲存相對應於一指標物件之指標端的觸控像素之第一圖樣。臨界值可預先決定為一固定值，或可適應性改變。壓力引擎215執行第二對影像之像素的另一項比較，用以識別及儲存相對應於該指標物件之指標端的觸控像素之第二圖樣。
壓力引擎215也係經組配以使第一圖樣關聯於指標物件朝向該物項的第一壓力，及當決定第二圖樣與第一圖樣之尺寸變化時，使第二圖樣關聯於指標物件朝向該物項的第二壓力，該第二壓力係根據該尺寸變化。舉例言之，針對半圓圖樣與手指在平坦表面上的第一壓力之關聯的情 況，若半圓圖樣之半徑加大，則手指在平坦表面上的第二壓力比第一壓力增加。針對一給定類型的表面，壓力呈空間圖樣維度之函數變化的校正可儲存於資料庫，用於自圖樣尺寸決定壓力，及第一及第二壓力或第一壓力與第二壓力間之量化差異可提供作為輸出。執行壓力估計，可用於繪圖應用，其中繪圖的線權值取決於施加的壓力而改變。
另外或此外，壓力引擎215可經組配以使第一圖樣關聯於指標物件對該物項的一觸碰。然後，當決定該系列影像中之隨後影像中的第二圖樣尺寸與第一圖樣尺寸之變化時，其中該變化係大於一給定變化，壓力引擎215使第二圖樣關聯於指標物件朝向該物項的壓力變化。該給定變化可以是常數值，或可適應性決定。壓力引擎215也可經組配以提供一輸出通知，壓力已經發生變化。如此，當觸碰時可與物項作接觸，及隨後觸碰壓力的增加超過一臨界值，觸發了壓力變化的辨識。本處理用在音樂鍵盤應用為有用，於該處由一使用者在鍵盤上觸碰一鍵時所產生的響度係根據檢測得之壓力變化。
於若干實施例中，掃描器引擎216係經組配以藉掃描來自同調源110的光於物件120上方而照射該受監視物件120。於某些情況下，該光之掃描方式係藉重複掃描照射該物件的光源或掃描光學器件橫過120。舉例言之，來自同調源110的輸出可使用一繞射光學透鏡而被展開成一線，掃描器引擎216可移動攜載透鏡來回橫過該物件的一機械平台用以照射該光斑感測器130之整個視野。於另一個實施例 中，自同調源110的輸出可聚焦在一點，且於該物件上水平地及垂直地掃描用以照射該光斑感測器130的整個視野。
資料儲存庫220可儲存資料，諸如光斑圖樣、光斑圖樣變化、壓力位準、及相對應於指標物件的空間光斑圖樣。
於前文描述中，各種組件被描述為硬體與程式設計之組合。此等組件可以多種方式實現。參考圖3，程式設計可以是儲存於有形記憶體資源310上的處理器可執行指令，及硬體可包括用於執行該等指令的處理資源320。如此，記憶體資源310可儲存程式指令，其當由處理資源320執行時實現了圖2之光斑變化處理系統140。
記憶體資源310籠統表示能夠儲存指令其可由處理資源320執行的任何數目之記憶體組件。記憶體資源310為非暫態，表示其不含暫態信號，反而係由經組配以儲存該等相關指令的一或多個記憶體組件組成。記憶體資源310可於單一裝置具體實施或可分散跨多個裝置。同理，處理資源320表示能夠執行由記憶體資源310所儲存的指令之任何數目之處理器。處理資源320可整合於單一裝置或可分散跨多個裝置。又，記憶體資源310可完全或部分整合於處理資源320的相同裝置內，或可以分開但可存取該裝置及處理資源320。
於一個實施例中，程式指令可以是安裝包的部件，其當安裝時可由處理資源320執行用以實現光斑變化處理系統140。於此種情況下，記憶體資源310可以是可攜式 媒體，諸如光碟(CD)、數位影音碟(DVD)、或快閃驅動裝置、或由一伺服器維持的記憶體自其中可下載與安裝一安裝包。於另一個實施例中，程式指令可以是已經安裝的一應用程式或多應用程式之部件。記憶體資源310可包括整合式記憶體，諸如硬碟驅動裝置、固態驅動裝置等。
於圖3之實施例中，儲存於記憶體資源310的可執行程式指令係描繪為輸入/輸出模組311、影像擷取模組312、觸控分析模組313、追蹤模組314、壓力模組315、及掃描模組316。輸入/輸出模組311表示程式指令其當執行時使得處理資源320執行輸入/輸出引擎211。影像擷取模組312表示程式指令其當執行時使得處理資源320執行影像擷取引擎212。觸控分析模組313表示程式指令其當執行時使得處理資源320執行觸控分析引擎213。追蹤模組314表示程式指令其當執行時使得處理資源320執行追蹤引擎214。壓力模組315表示程式指令其當執行時使得處理資源320執行壓力引擎215。掃描模組316表示程式指令其當執行時使得處理資源320執行掃描器引擎216。
圖4A為一手420的手指觸摸或接觸平坦表面410實例之一影像。圖4A-4C之垂直軸及水平軸上的編號相對應於獲得該影像之光斑感測器130中的像素數目。同調照明自手420及平坦表面410的反射在光斑感測器130產生一光斑圖樣。比較在手指觸摸表面410之前於時間T1擷取的第一影像中之光斑圖樣與在手指觸摸表面410之後於時間T2擷取的第二影像中之光斑圖樣。於用於檢測光斑圖樣變化的一 具體實施例中，計算第一影像與第二影像間之差。所得差影像經處理，使得具有強度變化大於一臨界值的像素於圖4B之影像例中顯示為白色，而其它像素顯示為黑色。
當手指在平坦表面410上下壓且因手指施加的壓力所致導致指尖周圍表面偏折時，光斑圖樣的變化可見為白點形成接近圖4B之影像中心的U字形半圓。U字形半圓相對應於在平坦表面410上接觸且下壓的指尖形狀。圖4B之實例中的其它白點並不相對應於一指標物件之形狀，故可被忽略。以相同方式一起改變的一組像素的識別為一指標物件已經觸碰受監視物件的指示。
最後，圖4C之影像例中之白點係經由計算得自圖4B之經識別實例U字形半圓的矩心獲得。矩心的所在位置可提供作為手指在平坦表面410上觸摸的所在位置。
於圖4D-4E之實施例中，當一使用者觸摸一觸控板410或一可撓性水平表面時例示光斑圖樣的變化。於圖4D中，於時間t1擷取，使用者的手420及手臂顯示懸停於觸控板410上方。使用者並非與觸控板410接觸。結果，並無任何因觸摸所致的光斑圖樣變化為可見。
於一接續時間t2，使用者的手指425觸摸觸控板410。如圖4E之該影像實施例中顯示，於使用者的手指425尖接觸觸控板410周圍該區域的觸控板410上可識別圓形光斑圖樣變化430。光斑圖樣變化430之直徑取決於表面410的可撓性，亦即用於較具可撓性的表面，光斑圖樣變化430之直徑較大。於時間t2光斑圖樣變化的存在傳訊使用者於時間 t2觸摸觸控板410。再者，圓形光斑變化圖樣之矩心可用作為決定於時間t2時在觸控板410上的觸摸位置。
圖5描繪一流程圖例示識別光斑圖樣變化用以決定一檢測得的觸摸之位置或時間之方法500實例。於方塊510，光斑變化處理系統接收在由一同調光源照射的一視野中一受監視物件之一系列第一影像，其中各個影像包括一擷取時間。回應於照射該受監視物件之同調光之波長，該等影像係由一感測器擷取。
於方塊512，系統自該系列影像或不同集合之影像追蹤一指標物件的一或多個指標端。舉例言之，指標端可以是作為指標物件之手的一或多根手指，或指標端可以是觸控筆指標物件之梢端。指標端可藉識別影像中之形狀及追隨該系列影像中指標端的移動加以追蹤。
然後於方塊515，系統比較該系列第一影像中之兩個影像的相對應像素值用以識別觸控像素。觸控像素為兩個影像間之數值改變的像素，且該改變大於一臨界值。舉例言之，若像素值於0至255之範圍，則針對數值改變的臨界值可設定於128。於方塊512識別的指標端之位置可用以準確定位觸控像素可能存在的區域。換言之，影像中不接近一指標端的區域無法獲得一觸控像素，原因在於遠離指標端將不發生觸碰故。但若不追蹤指標端，則可搜尋整個影像的觸控像素。
其次，於決定方塊520，系統決定是否已經識別觸控像素之一空間圖樣。該空間圖樣可相對應於一指標物 件之指標端。舉例言之，半圓形或圓形空間圖樣可相對應於指尖或觸控筆端。若一空間圖樣尚未經識別(方塊520-否)，則處理返回方塊515以進一步比較影像而識別觸控像素。
若一空間圖樣已經識別(方塊520-是)，於方塊525，系統提供一輸出。該輸出包括下列中之至少一者：i)指標端相對於受監視物件的觸控位置，於該處觸控位置係基於觸控像素的空間圖樣；或ii)產生該空間圖樣之兩個影像之擷取時間。
以觸控位置輸出為例，觸控位置例如可以是受監視物件上的一位置，例如手指在一平坦板上的位置，如圖4A中之實例所示。本技術置換下述解決方案，使用一觸控板用以檢測何時與觸控板表面作接觸。採用本技術，建構成當被觸摸時具有可控制的光斑大小之一板用在決定觸摸力之特性為有用。於一個實施例中，該板可由可撓性膜在橡膠基體頂上製成用以定位壓力變形。但對照射同調光之半波長為可撓性的任何表面皆可使用。
於另一個實施例中，觸控位置可以是三維物件諸如書本上的所在位置，於其上已經投影一複選問題，有虛擬按鈕相對應於不同答案。根據該使用者的觸摸相對於書本上的投影答案選擇之所在位置，可識別使用者的答案選擇。如此，此處描述之技術可用以辨識在任意物件上的三維觸摸。
一擷取時間輸出可用於在光斑感測器的視野中 當由未知材料製成的未知物件受監視時，及當物件被觸摸時間具有比物件已經被觸摸位置更大值時。舉例言之，若該物件為一書本的頁面已經被投影其上的一板，若可檢測在被投影書上任一處的觸摸時間，則可虛擬翻頁讓下一頁的投影顯示給使用者。於此種情況下，若光斑感測器及/或追蹤感測器係定位成不可能確切決定觸摸發生在何處，則知曉一觸摸出現在該物件上的時間瞬間仍然有用。
圖6A-6C描繪一流程圖，例示識別光斑變化圖樣用以決定一觸摸的壓力變化之方法600實例。於方塊605，光斑變化處理系統比較藉同調照明照射的一物項之一系列影像中之第一對影像之像素，其中兩個影像間之各個觸控像素之數值差係大於一臨界值。於若干實施例中，也可利用影像之擷取時間。
其次，於方塊610，系統識別且儲存觸控像素之第一圖樣其係相對應於一指標物件之指標端。
於方塊615，系統比較該系列影像中之第二對影像之像素。該第二對影像可包括得自第一對影像之該等影像中之一者，或為出現在該系列影像中之第一對影像之後的兩個不同影像。
及於方塊620，系統識別且儲存觸控像素之第二圖樣其係相對應於一指標物件之指標端。第一圖樣及第二圖樣可以是例如半圓形或圓形。自第一圖樣至第二圖樣的形狀甚至可略為改變，原因在於來自於以略為不同方向施加的指標端之雜訊或壓力故。
於方法中之此點，系統可執行處理用以識別壓力變化或慣量變化。針對識別壓力變化的情況，於方塊625，系統使第一圖樣關聯於指標物件對該物項的第一壓力。
然後，於決定方塊630，系統決定第二圖樣與第一圖樣之大小是否有改變。決定大小變化之一種方法係用以識別半圓形或圓形之半徑，決定自第一圖樣至第二圖樣是否增減。若未檢測得圖樣的大小變化(方塊630-否)，則處理返回方塊615用以比較第二對影像之像素。
於方塊635，若檢測得圖樣的大小變化(方塊630-是)，則系統使第二圖樣關聯於指標物件對該物項的第二壓力，於該處該第二壓力係基於該大小的變化。如此，若第二圖樣係大於第一圖樣，則第二壓力被考慮為大於第一壓力。壓力的幅值可以是定性，故壓力的增減為定性已知，但未決定施加壓力的實際量。另外，若已經校正板上或其它物件上的壓力，則壓力圖樣之大小可用以定量決定施加的壓力量。於方塊640，第一壓力及第二壓力值或壓力之變化係提供作為一輸出。也可提供第一壓力及第二壓力觸摸之位置及/或時間。
壓力變化可用在使用觸控筆作為指標物件的繪圖應用。使用觸控筆繪出的線權值係基於施加的壓力，換言之，壓力愈猛則線愈粗。壓力變化也可用在鍵盤應用，於該處由手指按壓在鍵盤上自各個鍵發出的音量係基於施加的壓力，換言之，壓力愈猛則聲音愈響亮。
針對識別壓力變化的情況，於方塊650，系統使 第一圖樣關聯於指標物件對該物項的第一觸碰。
然後於決定方塊655，系統決定於該系列第一影像中之隨後影像中之第二圖樣與第一圖樣之大小變化是否已被檢測。若未檢測得圖樣的大小變化(方塊655-否)，則處理返回方塊615。於方塊670，若檢測得圖樣的大小變化(方塊655-是)，則系統使第二圖樣關聯於指標物件對該物項的壓力變化且提供發生壓力變化之通知作為一輸出。也可提供壓力改變的時間。
並非全部步驟或特徵皆係用於所呈示技術之具體實施中。
100A‧‧‧系統
110‧‧‧同調源
120‧‧‧物件
125‧‧‧指標物件
130‧‧‧光斑感測器
135‧‧‧追蹤感測器
140‧‧‧光斑變化處理系統
190‧‧‧非光斑指標物件追蹤感測器

Claims (15)

  1. 一種用於觸控點識別之系統，其包含：一第一感測器，用以擷取由同調照明所照射的一第一物件之一部分的多個影像及該等多個影像中之各者的一擷取時間；及一處理器，用以：比較該等多個影像中之兩個影像而識別一或多個觸控點，其中各個觸控點具有該等兩個影像間大於一臨界值之一數值差；判定由該經識別的一或多個觸控點所形成的一空間形狀，其對應於一指標物件之一指標端；關聯該空間形狀與該指標物件對該第一物件之一第一壓力；回應於決定該空間形狀之大小的一變化係大於該等多個影像中之隨後影像中之一給定變化，識別該指標物件對該第一物件之一第二壓力，其中該第二壓力係基於該空間形狀之大小的該變化；及提供該第一壓力及該第二壓力作為一輸出。
  2. 如請求項1之系統，其中該處理器係進一步用以：自該等多個影像，追蹤該指標物件之一或多個指標端，其中該等兩個影像之該比較包含比較該等兩個影像之接近該一或多個指標端的區域。
  3. 如請求項1之系統，其進一步包含：一追蹤感測器，用以擷取該第一物件之該部分的多個追蹤影像，其中該處理器係進一步用以：自該等多個追蹤影像，追蹤或識別該指標物件之一或多個指標端，其中該等兩個影像之該比較包含比較該等兩個影像之接近該一或多個指標端的區域。
  4. 如請求項1之系統，其中該等兩個影像之該比較包含比較接近該空間形狀之區域。
  5. 如請求項1之系統，其進一步包含：一掃描機構，用以在擷取該等多個影像時使來自產生該同調照明的一光源之光掃描。
  6. 如請求項1之系統，其進一步包含：一光學元件，用以在擷取該等多個影像時散布來自產生該同調照明的一光源之光在該第一物件之該部分上。
  7. 如請求項1之系統，其中該處理器係用以決定該等兩個影像中於光斑圖樣中之一變化，及其中該一或多個觸控點係基於光斑圖樣中之該變化識別。
  8. 一種用於觸控點識別之方法，其包含：接收一系列影像，其包括由一同調光源照射之一受監視物件；比較該等系列影像中之第一影像的相對應像素值 用以識別觸控像素，其中各個觸控像素在該等第一影像間改變數值，及該變化係大於一臨界值；回應於該比較，識別對應於一指標物件之一指標端的觸控像素之一第一空間圖樣；使該第一空間圖樣關聯於該指標物件對該受監視物件之一第一壓力；回應於比較該等系列影像中之第二影像而識別觸控像素之一第二空間圖樣；回應於從該第一空間圖樣至該第二空間圖樣之大小的一變化大於一給定變化，使該第二空間圖樣與該指標物件對該受監視物件之一第二壓力相關聯。
  9. 如請求項8之方法，其進一步包含：自該等系列影像追蹤該指標物件之一或多個指標端，其中比較該等相對應像素之值包含比較該一或多個指標端周圍的一區域中的該等相對應像素之該等值。
  10. 如請求項8之方法，其進一步包含：接收一進一步系列之影像；及自該等進一步系列之影像追蹤該指標物件之一或多個指標端，其中比較該等相對應像素之值包含比較該一或多個指標端周圍的一區域中的該等相對應像素之該等值。
  11. 如請求項8之方法，其進一步包含：藉於該受監視物件上掃描來自該同調光源之光以 照射該受監視物件。
  12. 如請求項8之方法，其進一步包含：在使用一感測器擷取該等系列影像時散布來自該同調光源之光以照射在該感測器的視野內之該受監視物件。
  13. 一種非暫態電腦可讀媒體，其儲存有指令來使得一處理器用以：比較由同調照明照射的一物項之一系列影像中之一第一對影像之像素用以識別觸控像素，其中在該第一對影像間之各個觸控像素之數值之一差係大於一臨界值；回應於該第一對影像之該等像素之該比較，識別對應於一指標物件之一指標端的觸控像素之一第一圖樣；使該第一圖樣與該指標物件對該物項之一第一壓力相關聯；比較該等系列影像中之一第二對影像之像素；回應於該第二對影像之該等像素之該比較，識別對應於該指標物件之該指標端的觸控像素之一第二圖樣；回應於自該第一圖樣到該第二圖樣之大小的一變化大於一給定變化，使該第二圖樣與該指標物件對該受監視物件之一第二壓力相關聯。
  14. 如請求項13之非暫態電腦可讀媒體，其中所儲存的該等指令進一步使得該處理器用以：輸出：i)該第一壓力及該第二壓力，或ii)該第一壓 力與該第二壓力間之一定性差異。
  15. 如請求項13之非暫態電腦可讀媒體，其中所儲存的該等指令進一步使得該處理器用以：決定該第一對影像中之光斑圖樣中之一變化，及其中該第一對影像中之該等觸控像素係基於光斑圖樣中之該變化來識別。
TW104129367A 2014-09-05 2015-09-04 用於觸控點識別之方法及系統與相關聯電腦可讀媒體 TWI597487B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2014/054302 WO2016036385A1 (en) 2014-09-05 2014-09-05 Coherent illumination for touch point identification

Publications (2)

Publication Number Publication Date
TW201614216A TW201614216A (en) 2016-04-16
TWI597487B true TWI597487B (zh) 2017-09-01

Family

ID=55440234

Family Applications (1)

Application Number Title Priority Date Filing Date
TW104129367A TWI597487B (zh) 2014-09-05 2015-09-04 用於觸控點識別之方法及系統與相關聯電腦可讀媒體

Country Status (3)

Country Link
US (1) US10318077B2 (zh)
TW (1) TWI597487B (zh)
WO (1) WO2016036385A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016053277A1 (en) 2014-09-30 2016-04-07 Hewlett-Packard Development Company, L.P. Determining unintended touch rejection
WO2020192563A1 (en) * 2019-03-26 2020-10-01 Cho Jacky Distinguishing and tracking multiple objects when placed on capacitive touchscreen

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7015401B2 (en) 2001-11-23 2006-03-21 Aiptek International, Inc. Image processing system with handwriting input function and the method for forming the same
US7710391B2 (en) 2002-05-28 2010-05-04 Matthew Bell Processing an image utilizing a spatially varying pattern
JP4115198B2 (ja) * 2002-08-02 2008-07-09 株式会社日立製作所 タッチパネルを備えた表示装置
EP1576344A4 (en) 2002-11-18 2009-10-28 William B Spillman Jr SYSTEM, DEVICE, AND METHOD FOR DETECTING DISTURBANCES
US7161582B2 (en) 2003-08-29 2007-01-09 Microsoft Corporation Data input device for tracking and detecting lift-off from a tracking surface by a reflected laser speckle pattern
US20050078092A1 (en) 2003-10-08 2005-04-14 Clapper Edward O. Whiteboard desk projection display
US7427981B2 (en) 2004-04-15 2008-09-23 Avago Technologies General Ip (Singapore) Pte. Ltd. Optical device that measures distance between the device and a surface
US7737959B2 (en) 2005-09-08 2010-06-15 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Position detection system using laser speckle
US7599561B2 (en) 2006-02-28 2009-10-06 Microsoft Corporation Compact interactive tabletop with projection-vision
US20080018591A1 (en) 2006-07-20 2008-01-24 Arkady Pittel User Interfacing
US8199117B2 (en) 2007-05-09 2012-06-12 Microsoft Corporation Archive for physical and digital objects
US8121640B2 (en) 2009-03-19 2012-02-21 Microsoft Corporation Dual module portable devices
KR20120058594A (ko) * 2009-09-01 2012-06-07 스마트 테크놀러지스 유엘씨 향상된 신호 대 노이즈비（ｓｎｒ）를 갖는 인터랙티브 입력 시스템 및 이미지 캡처 방법
WO2011085023A2 (en) 2010-01-06 2011-07-14 Celluon, Inc. System and method for a virtual multi-touch mouse and stylus apparatus
TWI423096B (zh) 2010-04-01 2014-01-11 Compal Communication Inc 具可觸控投影畫面之投影系統
US8736583B2 (en) 2011-03-29 2014-05-27 Intel Corporation Virtual links between different displays to present a single virtual object
GB201110159D0 (en) 2011-06-16 2011-07-27 Light Blue Optics Ltd Touch sensitive display devices
US8842057B2 (en) 2011-09-27 2014-09-23 Z124 Detail on triggers: transitional states
US20130241887A1 (en) 2012-03-14 2013-09-19 Texas Instruments Incorporated Detecting and Tracking Touch on an Illuminated Surface
US20130342493A1 (en) 2012-06-20 2013-12-26 Microsoft Corporation Touch Detection on a Compound Curve Surface
US9557846B2 (en) 2012-10-04 2017-01-31 Corning Incorporated Pressure-sensing touch system utilizing optical and capacitive systems
US9131118B2 (en) 2012-11-14 2015-09-08 Massachusetts Institute Of Technology Laser speckle photography for surface tampering detection
CN103186304B (zh) 2013-01-21 2016-01-27 敦泰科技有限公司 实现多点触摸识别的单层自电容触摸屏及其数据处理方法

Also Published As

Publication number Publication date
TW201614216A (en) 2016-04-16
US10318077B2 (en) 2019-06-11
WO2016036385A1 (en) 2016-03-10
US20170285873A1 (en) 2017-10-05

Similar Documents

Publication Publication Date Title
US9542045B2 (en) Detecting and tracking touch on an illuminated surface using a mean-subtracted image
US9513768B2 (en) Generation of depth images based upon light falloff
US9916502B2 (en) Handling glare in eye tracking
JP6951056B2 (ja) 加速度に基づく動き許容および予測符号化
US20150309663A1 (en) Flexible air and surface multi-touch detection in mobile platform
US20180293739A1 (en) Systems, methods and, media for determining object motion in three dimensions using speckle images
US20030226968A1 (en) Apparatus and method for inputting data
US20100225588A1 (en) Methods And Systems For Optical Detection Of Gestures
US9922245B2 (en) Method and system for recognizing an object
KR20100037014A (ko) 사용자 입력 장치, 광학 손가락 네비게이션 방법 및 핸드 헬드 컴퓨팅 시스템
JP2005302036A (ja) デバイスと表面との間の距離を測定する光学デバイス
CN102467298A (zh) 一种虚拟手机键盘的实现方式
US9690430B2 (en) Touch detection apparatus, touch detection method and recording medium
US9389702B2 (en) Input association
US9285895B1 (en) Integrated near field sensor for display devices
TWI597487B (zh) 用於觸控點識別之方法及系統與相關聯電腦可讀媒體
JP6368593B2 (ja) 画像処理プログラム、情報処理システム、画像処理方法
TWI505136B (zh) 虛擬鍵盤輸入裝置及其輸入方法
US20180074648A1 (en) Tapping detecting device, tapping detecting method and smart projecting system using the same
Liao et al. Robust technique of analyzing and locating laser speckle patterns for optical computer mice
TWI564754B (zh) 空間運動感測器與空間運動感測方法
US9430823B1 (en) Determining camera sensor isolation
JP2016048454A (ja) 表示体、位置算出装置、情報処理方法、プログラム及び情報処理装置
WO2020036604A1 (en) Sensing a user's touch
Fujieda et al. Detection of finger height for a multi-touch mouse

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees