TWI578190B - 高效自由空間指紋辨識 - Google Patents

高效自由空間指紋辨識 Download PDF

Info

Publication number
TWI578190B
TWI578190B TW104105069A TW104105069A TWI578190B TW I578190 B TWI578190 B TW I578190B TW 104105069 A TW104105069 A TW 104105069A TW 104105069 A TW104105069 A TW 104105069A TW I578190 B TWI578190 B TW I578190B
Authority
TW
Taiwan
Prior art keywords
touch
contact
bright spot
depth image
hand
Prior art date
Application number
TW104105069A
Other languages
English (en)
Other versions
TW201602840A (zh
Inventor
志帆 邢
馬丁 彼德森
Original Assignee
英特爾股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 英特爾股份有限公司 filed Critical 英特爾股份有限公司
Publication of TW201602840A publication Critical patent/TW201602840A/zh
Application granted granted Critical
Publication of TWI578190B publication Critical patent/TWI578190B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0308—Detection arrangements using opto-electronic means comprising a plurality of distinctive and separately oriented light emitters or reflectors associated to the pointing device, e.g. remote cursor controller with distinct and separately oriented LEDs at the tip whose radiations are captured by a photo-detector associated to the screen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/34—Smoothing or thinning of the pattern; Morphological operations; Skeletonisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/11—Hand-related biometrics; Hand pose recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)

Description

高效自由空間指紋辨識
本文內所述之實施例大抵關於感知計算及較明確說為高效自由空間指紋辨識。
感知計算(例如，未來之計算)可包括投影觸碰表面(PTS)介面。投影觸碰表面可使用一投影機將使用者介面元件投影至一表面上，像是書桌或飯桌。因為表面本身無法接受輸入，投影觸碰表面可使用其他感測器觀察互動行為並以此作為輸入。例如，投影觸碰表面可包括一深度感測器，以辨識在投影使用者介面上或周圍移動(或定位)之手指(例如，指紋)，以判斷與介面之互動。
100‧‧‧投影觸碰表面系統
105‧‧‧基座
110‧‧‧垂直構件
115‧‧‧頭部
120‧‧‧深度感測器
125‧‧‧投影機
130‧‧‧手
135‧‧‧杯子
140‧‧‧底平面
145‧‧‧投影使用者介面
150‧‧‧表面
155‧‧‧直線發射器
160‧‧‧光平面
165‧‧‧觸碰亮點
170‧‧‧物件亮點
175‧‧‧電路執行裝置
180‧‧‧手識別器
185‧‧‧手骨架定位器
190‧‧‧表面觸碰定位器
200‧‧‧範例
205‧‧‧深度影像
210‧‧‧可能是手的觸點
215‧‧‧物件觸點
220‧‧‧遮罩
500‧‧‧機器
502‧‧‧硬體處理器
504‧‧‧主記憶體
506‧‧‧靜態記憶體
508‧‧‧互連
510‧‧‧顯示單元
512‧‧‧文數輸入裝置
514‧‧‧使用者介面導航裝置
516‧‧‧儲存裝置
518‧‧‧信號產生裝置
520‧‧‧網路介面裝置
521‧‧‧感測器
522‧‧‧機器可讀媒體
524‧‧‧指令
526‧‧‧通信網路
528‧‧‧輸出控制器
在不必然依比例繪示之圖式中，不同圖中之相同編號表示相似組件。具有不同尾碼字母之相同編號代表相似組件之不同實例。圖式大致上舉例揭示本文內所揭露之不同實施例，而非用於限制。
圖1揭示根據一實施例之一示範性投影觸碰表面系統包括一用於高效自由空間指紋辨識之電路執行裝置之方塊圖。
圖2A至2B揭示根據一實施例之用於高效自由空間指紋辨識之一深度影像及一遮罩之範例。
圖3揭示根據一實施例用於高效自由空間指紋辨識之方法之範例。
圖4揭示根據一實施例用於高效自由空間指紋辨識之方法之範例。
圖5係方塊圖，揭示執行一或多實施例的之一機器範例。
【發明內容及實施方式】
目前，供投影觸碰表面系統偵測指紋觸碰一投影使用者介面元件之普遍方式在於使用一來自深度感測器之深度影像。其次，手觸點可以從深度影像找到。使用在本文內時，一觸點即一數位影像之一區域(例如，像素、子像素、三維像素、等等之集合)，其中某些性質(例如，點距離、連通性、顏色、光度、等等)為恆定或者在一規定值範圍內變化。在找到手觸點之後，手骨架(例如，模型)即可從手觸點找出。最後，用於一或多個指紋之三維(3D)位置可從手骨架定位，以決定和投影使用者介面的互動。在一例子中，手骨架用於決定投影表面上或上方之使用者輸入的姿勢。
投影觸碰表面系統之現行實施方式會產生至少二個問題。第一，從深度影像中之觸點計算手骨架係密集計算過程，其可能耗廢在非手觸點上，像是並非用於輸入之物件。此物件之範例可包括一放置於桌上之杯子，其出現於深度感測器視野內。這項問題也隨著深度感測器解析度增加而惡化。
第二，目前的深度感測器性能難以模仿接近觸碰螢幕的使用者經驗，因為例如無法跟上使用者、缺乏深度解析度、深度影像有雜訊、等等。在某些例子中，一直線發射器用於投射出一平行且接近於觸碰表面之光平面。因此，手指觸碰到表面將破壞平面及將光反射至例如投影觸碰表面系統之一相機，並指示出有一觸碰發生。惟，在深度感測器使用一敏感於直線發射器波長之相機的例子中，相機無法告知觸碰與接近相機處之物件之間差異。
第一項問題可以在觸點是否遭遇到深度影像緣部之基礎上，藉由將觸點歸類成可能是手或物件來解決。依此方式分類觸點是基於對手連接到臂及一般位於深度感測器之目視平錐體以外之身體部位的觀察。對比之下，物件(像是杯子、電話、筆、等等)可能整個都在目視平錐體以內。被歸類為物件之觸點可以避免進行手骨架分析並因而省下昂貴的計算操作。因此，節省這些計算資源即可增加投影觸碰表面系統之效率。
第二項問題可以藉由將深度資料與手指干涉 到直線發射器所發出之光平面造成的亮點識別來解決。在此，亮點可在深度計算前先記錄於一影像中。例如，若深度感測器包含一紅外線(IR)發射器及一紅外線敏感性相機，及直線發射器發出紅外光，則在深度分析前由深度感測器相機擷取到的影像可用於偵測紅外光之亮點。如上所述，這些亮點是由手指干涉到紅外光平面並將其一部分反射回到相機所致。亮點可經過辨識及在深度影像之基礎上分類，以致使接近於表面之亮點歸類成觸碰及遠距於表面之亮點則為非觸碰。再者，亮點可以基於其他因素而盡可能刪除觸碰。例如，若亮點與例如指紋之模型(例如，尺寸、形狀、等等)不一致，亮點就可能歸類成非觸碰。在一例子中，手骨架可從深度影像決定。若亮點不對應於手骨架之手指，也可將之歸類為非觸碰。藉由辨識可能的觸碰亮點，即可使用觸碰表面上方之空中姿勢，而且不致於使用到投影使用者介面上之錯誤觸碰。因此，深度感測器與直線發射器之組合可以藉由增加投影觸碰表面系統之輸入準確度來增加使用者經驗。
上述解決辦法可依許多方式各別或併合使用。例如，藉由避免處理物件觸點而高效判斷手骨架可以藉由刪除不對應於可能的手觸點之亮點而提供高效亮點分析。惟，每次一或全部計算效率與準確性增加，皆導致投影觸碰表面系統之較高效自由空間手指辨識(例如，其實際上並未與觸敏性表面互動)。
圖1揭示一示範性投影觸碰表面系統100包 括一用於高效自由空間指紋辨識之電路執行裝置175之方塊圖。投影觸碰表面系統100可包括一基座105、一垂直構件110(其下部分可固定於基座105)、及一頭部115(其可固定於垂直構件110之上部分)。投影觸碰表面系統100也可包括一電路執行裝置175，其可通信聯結於(例如，有線、無線、內建式)基座105、垂直構件110、或頭部115之一或多者。
頭部115可包括一深度感測器120，其配置成具有一朝下之視野。如圖所示，厚虛線表示深度感測器120之視野。陰影區140表示深度感測器之目視平錐體中的底平面。底平面140與表面150重合。在一例子中，頭部115也可包括一投影機125，以執行投影使用者介面145(由畫線區145表示)。在一例子中，投影機125可設在別處，像是在天花板、另一裝置中、等等。在一例子中，深度感測器120包括一相機及光發射器。深度影像可以藉由將目視平錐體中之物件反射及由相機擷取的光發射器發射往返行程計時產生。在一例子中，相機對紅外光敏感及光發射器以紅外線光譜發光。
在一例子中，基座105包括一直線發射器155。直線發射器155可發射一平行於表面150之光平面160(由交叉陰影線區160表示)。如上所述，當相交時，此發射可造成亮點，像是物件亮點170及觸碰亮點165。
如圖1中所示，杯子135同時代表一實際杯件及一深度影像中之觸點。同樣地，手及腕(文後稱為 手)130亦代表一實際手及一深度影像中之觸點。
電路執行裝置175係可通信聯結於基座105、垂直構件110、或頭部115之一或全部者，以便接收深度感測器戎亮點資料的一或多個機器。在一例子中，電路執行裝置175之一或全部組件係罩覆在基座105、垂直構件110、或頭部115之一或多者內。電路執行裝置175可包括一手識別器180、一手骨架定位器185、或一表面觸碰定位器190之任一或所有者。
手識別器180可配置成辨識深度影像中由深度感測器120擷取之表面150。表面辨識容許深度影像中之像素(例如，三維像素)被歸類為邊緣像素(例如，表面150與深度感測器120之間的像素或是不在表面150上之像素)。吾人即從邊緣像素辨識觸點(例如，手130及杯子135)。在一例子中，手識別器180配置成從深度影像辨識一或多個觸點(例如，手130或杯子135)。在一例子中，不必先辨識表面150即可辨識觸點。在一例子中，觸點包含深度影像中之複數個鄰接像素(例如，邊緣像素)。因為深度影像可能有雜訊，像素是否呈鄰接狀可藉由計算二像素之間的距離及比較該距離於一臨限值來判斷。因此，若像素距離在臨限值以下，則兩像素即視為鄰接。惟，請注意許多習知方法之任一者皆可用於判斷哪些像素構成觸點。在一例子中，邊緣像素之外輪廓(例如，外形)可做計算。外輪廓內之像素為(組成)觸點之一部分。
手識別器180亦配置成將辨識過之觸點分 類。例如，針對每一辨識觸點，手識別器180可判斷觸點是否相交於深度影像之緣部。若觸點確實相交於緣部，觸點可歸類為可能是手。若觸點未相交於緣部，則其可歸類為物件。在一例子中，位置緊密之觸點(例如，在預先辨識之容差或基於環境之距離內)可歸類為可能是手。在一例子中，緊密度是基於投影觸碰表面系統之一或多個操作參數來判斷，像是深度影像雜訊、深度感測器120之定位、深度感測器之視野、等等。在一例子中，緊密度是在深度影像緣部之預定像素量內。
在一例子中，欲判斷觸點是否相交於深度影像之緣部，手識別器180可配置成產生深度影像之一遮罩。遮罩內之觸點可分類為相交於緣部、或者單純可能是手。遮罩外之觸點可分類為不相交於緣部、物件、或者單純忽略不計。在一例子中，忽略觸點等同於將觸點歸類為物件。欲產生遮罩時，手識別器可使用一空白遮罩開始，像是對應於深度影像中之像素的格子，其中格子之元件具有一空白值。手識別器可以從深度影像之各緣部到遮罩，添加許多像素給空白遮罩，因而產生邊界。在一例子中，邊界之緣部可包括不同於邊界之其他緣部的像素深度。在一例子中，邊界之緣部可以非直線形。
在邊界像素添加到遮罩之後，手識別器可判斷深度影像之一觸點像素、或對應於一觸點之輪廓是否對應於遮罩(例如，目前遮罩包括一與輪廓重疊之像素或觸點像素)。在此情況下，觸點之像素(例如，在輪廓內或在 輪廓本身上者)即添加到遮罩。此一範例揭示於圖2A及2B中並且說明於後。
手骨架定位器185可配置成判斷能否針對一觸點找到一手骨架模型。手骨架定位器185可對觸點使用任意數量之習知技術以計算、找出、匹配一手骨架等等於觸點。在一例子中，手骨架定位器185之活動限於可能是手之觸點。因此，手骨架定位器185僅施加於被歸類為可能是手之觸點。在一例子中，手骨架定位器185接收觸點及由手識別器180判斷之類別並判斷應處理哪些觸點。在一例子中，手骨架定位器185僅接收被歸類為可能是手之觸點。
表面觸碰定位器190可配置成辨識一由紅外線相機擷取之紅外線影像中的一或多個亮點(例如，亮點165及170)。在一例子中，亮點可包括複數個在一劃定光與暗之臨限值以上的像素。在一例子中，臨限值具有兩成分，即一高值及一低值。因此，在高值以上之像素可視為亮，在低值以上之像素則視為暗，及其他像素為不確定光度。在一例子中，不確定之像素可進一步處理以判斷其是否為亮。在一例子中，進一步處理可以基於投影觸碰表面系統100之可用計算資源做選擇性施加。
表面觸碰定位器190也可以配置成處理已辨識之亮點，將其分類為觸碰或非觸碰。在一例子中，分類係以一擷取之深度影像為基礎。在一例子中，分類可限定於亮點之尺寸、形狀、或其他特徵且不牽涉到深度影像。 例如，表面觸碰定位器190可具有一手指(或指紋)模型、或一手指之尺寸或形狀參數。此模型再比較於亮點。若亮點不符於模型參數，則其可歸類為非觸碰。例如，杯子135之亮點170明顯比預期指紋寬。在一例子中，諸亮點可以省略進一步處理。
在一例子中，欲將亮點分類為觸碰或非觸碰時，表面觸碰定位器190可以使用深度影像判斷亮點是否在表面150之一預定距離內。若亮點至表面150之距離超過預定距離，亮點即歸類為非觸碰。因此，單純觀察到亮點不接近表面即可容許其歸類為非觸碰並且避免進一步處理。
在一例子中，欲將亮點分類為觸碰或非觸碰時，表面觸碰定位器190可以判斷亮點是否連接於一從深度影像辨識之手觸點，及若亮點未連接於手觸點時將亮點歸類為非觸碰。例如，亮點170可歸類為非觸碰，因為其並未連接於手觸點130。
如上所述，表面觸碰定位器190可以使用許多機構將一亮點歸類為非觸碰。若亮點不符合手指模型，這些機構可依序施加以避免例如手觸點辨識。在一例子中，在處理鏈末端未被歸類為非觸碰之任意亮點即歸類為觸碰，如上所述者。
如上所述，手識別器180及表面觸碰定位器190之效率可以各別或組合使用。例如，手識別器180可以對表面觸碰定位器190使用上提供高效之手觸點130辨 識。反之，表面觸碰定位器190可以基於手指模型分析將亮點(例如，亮點165)辨識為觸碰及將亮點之像素加到遮罩，以利手觸點130偵測。在任一情況下，投影觸碰表面系統100之計算效率或準確性可以增加，導致較佳的使用者經驗。
圖2A至2B揭示用於高效自由空間指紋辨識之一深度影像205及一遮罩220之範例200。在圖2A中，深度影像205包括一物件觸點215及可能是手的觸點210。可能是手的觸點210揭示成延伸至深度影像之緣部外，以顯示觸點210相交於深度影像之緣部。觸點210、215兩者之外形可以視為上述輪廓。圖2B揭示遮罩220施加於深度影像205。如圖所示，遮罩220包括一邊界。可能是手的觸點210也包括在遮罩220中，因為邊界覆蓋可能是手的觸點210之一部分，如上所述。物件觸點215可以不做進一步處理(例如，無手骨架可做此處理時)，因為其並未受遮罩220覆蓋。
圖3揭示根據一實施例用於高效自由空間指紋辨識之方法300之範例。
在操作305，辨識由深度感測器擷取之一深度影像中之一表面。表面可以是一從深度影像衍生之目視平錐體中的一底平面。
在操作310，辨識深度影像中之一或多個觸點。如上所述，一或多個觸點中之一觸點可包括深度影像中之複數個鄰接像素，其較接近於深度感測器而非表面。 在一例子中，欲辨識觸點可包括辨識輪廓像素。如上所述，輪廓像素可以是表面與深度感測器之間的深度影像中之像素。在一例子中，可以判斷輪廓像素之外形。在一例子中，一封閉式外形可對應於一觸點。據此，由封閉式外形(在一例子中為該外形本身)圍封之像素即構成一觸點。在一例子中，深度影像之緣部可以是一外形之部分。因此，一相交於緣部之觸點係由其外形與緣部封閉。
在操作315，針對在操作310中辨識之一或多個觸點中的各觸點，可施加操作320、325。當已無辨識過之觸點時，方法300可以終止或移到其他處理(例如，辨識可能是手的觸點中之手骨架)。
在操作320，針對一既定觸點，判斷觸點是否相交於深度影像之一緣部。在一例子中，判斷一觸點是否相交於一緣部包括產生一對應於深度影像之遮罩。一由遮罩覆蓋之觸點即視為相交於緣部。在一例子中，欲產生遮罩時，來自深度影像之各緣部的預定數量像素可添加到遮罩。然後，當一觸點、或其外形之像素對應於遮罩之現有像素時，觸點之像素可添加到遮罩。
在操作325，一相交於深度影像之緣部的觸點可歸類為一可能是手的觸點。若觸點未相交於緣部則歸類為一物件觸點。
在一例子中，可以針對一觸點，嘗試找出一手骨架。在一例子中，若觸點被歸類為一物件，則不進行此項嘗試。因此，可以透過方法300避免昂貴的手骨架計 算。
圖4揭示根據一實施例用於高效自由空間指紋辨識之方法400之範例。
在操作405，辨識由一相機擷取之一影像中之一或多個亮點。亮點包含複數個在一光度臨限值以上之像素，像是上述關於圖1者。在一例子中，影像為紅外線影像及相機係敏感於紅外線(例如，紅外線相機)。
在操作410，亮點可分類成觸碰或非觸碰。在一例子中，此項分類係基於一深度影像。在一例子中，此項分類可包括判斷亮點是否連接於一從深度影像辨識之手觸點，及若亮點未連接於手觸點時將亮點歸類為非觸碰。在一例子中，此項分類可包括使用深度影像判斷亮點是否在表面之一預定距離內，及若亮點不在預定距離內，將亮點歸類為非觸碰。在一例子中，可以針對在操作405中辨識之各亮點執行操作415、420、425、及430。
在操作415，可以判斷亮點之尺寸及形狀是否與一指紋模型相對應。
在操作420，可以判斷亮點是否連接於一手觸點。
在操作425，可以判斷亮點是否在表面之一預定距離內。
在操作430，若操作415、420、及425之各項結果為真，亮點可歸類為觸碰。否則(例如，操作415、420、及425之任一者為偽)，亮點即歸類為非觸碰。在一 例子中，操作415、420、及425可依任意順序實施。在一例子中，操作415、420、及425可依序執行，以致使在前一操作中之偽判斷產生一非觸碰分類且排除進一步操作。
藉由使用方法400，投影觸碰表面系統之觸碰準確度可以增加並造成較佳的使用者經驗。再者，方法400的彈性性質也造成計算上之效率，並且藉由先辨識非觸碰亮點及排除額外處理而不致減低準確度。
圖5揭示執行本文內所述技術(例如，方法)之任一或多者的示範性機器500之方塊圖。在替代性實施例中，機器500可操作成單機裝置或者可連接於(例如，連網)其他機器。在連網配置方式中，機器500可以在伺服器機器、客戶機、或同時伺服器-客戶網路環境中操作。在一例子中，機器500作為點對點(P2P)(或其他配置)網路環境中之同級機器。機器500可以是個人電腦(PC)、平板個人電腦、機上盒(STB)、個人數位助理(PDA)、行動電話、網路器具、網路路由器、開關或橋接器、或是可執行指令(依序或其他)以指定機器應採取之動作的任意機器。再者，儘管僅繪示單一機器，「機器」一詞也應該包括個別或連結執行一組(或多組)指令以執行本文內所述任一或多種多法之機器的任意集合，像是雲端計算、軟體即服務(SaaS)、其他計算機集群構型。
如本文內所述，範例可包括、或是可操作在邏輯器或許多組件、模組、或機構上。模組為有形之實體 (例如，硬體)，可以在操作時執行特定操作。模組包括硬體。在一例子中，硬體可以特定建構成實施特定操作(例如，硬連線)。在一例子中，硬體可包括可建構之執行單元(例如，電晶體、電路、等等)及一含有指令之電腦可讀媒體，其中指令建構執行單元以在操作時實施特定操作。建構可以在執行單元或加載機構指示下進行。據此，當裝置操作時，執行單元係通信聯結於電腦可讀媒體。在此例子中，執行單元可以是超過一模組的其中之一者。例如，操作時執行單元可以由第一組指令建構，以在某一時間點執行第一模組及由第二組指令重新建構，以執行第一模組。
機器(例如，電腦系統)500可包括一硬體處理器502(例如，中央處理單元(CPU)、圖形處理單元(GPU)、硬體處理器核芯、或其任意組合)、一主記憶體504及一靜態記憶體506，其中某些或金部可以透過互連(例如，匯流排)508彼此通信。機器500可進一步包括一顯示單元510、一文數輸入裝置512(例如，鍵盤)、及一使用者介面(UI)導航裝置514(例如，滑鼠)。在一例子中，顯示單元510、文數輸入裝置512、及使用者介面(UI)導航裝置514可以是一觸控螢幕顯示器。機器500另外可包括一儲存裝置516(例如，驅動單元)、一信號產生裝置518(例如，喇叭)、一網路介面裝置520、及一或多個感測器521，像是全球定位系統(GPS)感測器、羅盤、加速計、或其他感測器。機器500可包括一輸出控制器528， 像是串聯(例如，通用序列匯流排(USB))、並聯、或其他有線或無線(例如，紅外線(IR)、近場通信(NFC)、等等)連接以供通信或控制一或多個周邊裝置(例如，列印機、讀卡機、等等)。
儲存裝置516可包括一機器可讀媒體522，供具體實施本文內所述方法或功能之任一或多者或由其使用的一或多組資料結構或指令524(例如，軟體)儲存於其上。在由機器500執行期間，指令524也可以全部或至少部分儲存於主記憶體504內、靜態記憶體506內或硬體處理器502內。在一例子中，硬體處理器502、主記憶體504、靜態記憶體506、或儲存裝置516之一或任意組合可構成機器可讀媒體。
儘管機器可讀媒體522揭示成單一媒體，「機器可讀媒體」一詞可包括一單一媒體或多數媒體(例如，集中式或分散式資料庫、及/或相關聯之快取記憶體及伺服器)，建構用於儲存一或多個指令524。
「機器可讀媒體」一詞可包括任意可儲存、編碼、或攜帶指令供機器500執行及令機器500執行本文內所述任一或多項技術之媒體，或是可儲存、編碼、或攜帶資料結構供諸指令使用或關聯之媒體。非限制性之機器可讀媒體可包括固態記憶體、及光學與磁性媒體。在一例子中，一密集式機器可讀媒體包含一具有複數靜質量粒子之機器可讀媒體。密集式機器可讀媒體之特定範例可包括：非揮發性記憶體，像是半導體記憶體裝置(例如電子 可程式化唯讀記憶體(EPROM)、電子可抹除可程式化唯讀記憶體(EEPROM))及快閃記憶體；磁碟，像是內部硬碟機及可移式磁碟；光磁碟機；及光磁唯讀記憶體及數位多功能唯讀記憶體光碟。
指令524可以進一步使用傳輸媒體透過網路介面裝置520利用許多傳輸協定(例如，訊框傳送、內部協定(IP))、傳輸控制協定(TCP)、使用者資料報協定(UDP)、超文件傳輸協定(HTTP)、等等)之任一者，以便在通信網路526上傳輸或接收。示範性通信網路可包括區域網路(LAN)、廣域網路(WAN)、封包資料網路(例如，網際網路)、行動電話網路(例如，蜂巢式網路)、簡易老式電話系統(POTS)網路、及無線資料網路(例如，電機電子工程師學會(IEEE)之習知Wi-Fi ® 802.11標準系列、電機電子工程師學會之習知Wi-Max ® 802.16標準系列)、電機電子工程師學會802.15.4標準系列、點對點(P2P)網路、諸如此類。在一例子中，網路介面裝置520可包括一或多個實體插口(例如，乙太網路、同軸、或電話插口)或是一或多個天線，以連接於通信網路526。在一例子中，網路介面裝置520可包括複數天線，以便使用單輸入多輸出(SIMO)、多輸入多輸出(MIMO)、或多輸入單輸出(MISO)技術之至少一者作無線通信。「傳輸媒體」一詞應包括可儲存、編碼、或攜帶指令供機器500執行之任意無形媒體，及包括數位式或類比式通信信號或其他無形媒體，以利此軟體通信。
其他注意事項及範例
範例1.一種用於高效自由空間指紋辨識之裝置，裝置包含：一基座；一垂直構件，垂直構件之一下部分固接於基座；一頭部，固接於垂直構件之一上部分，頭部包含一深度感測器，配置成具有一朝下之視野；及一硬體電路，執行手識別器以便：辨識由深度感測器擷取之一深度影像中之一表面，該表面係從深度影像衍生之一目視平錐體中之一底平面；辨識深度影像中之一或多觸點，一或多觸點中之一觸點包含深度影像中之複數鄰接像素，其較接近於深度感測器而非表面；及針對一或多觸點中之各觸點：判斷觸點是否相交於深度影像之一緣部；及若其與緣部相交則將觸點歸類為一可能是手，否則將觸點歸類為一物件。
在範例2中，範例1之標的選項性地包括，其中欲辨識一或多觸點時，手識別器即：辨識輪廓像素，輪廓像素係表面與深度感測器之間的深度影像中之像素；及判斷輪廓像素之外形，緊密之各外形對應於一或多觸點中之一觸點。
在範例3中，範例2之標的選項性地包括，其中判斷觸點是否相交於緣部包括手識別器產生一對應於深度影像之遮罩，係藉由：從深度影像之各緣部添加預定量之像素至遮罩；及當外形之一像素對應於遮罩之一現有像素時，將一觸點之像素添加至遮罩。
在範例4中，範例1至3任一項之標的選項性地包括一手骨架定位器，以判斷是否可針對一觸點而找出一手骨架模型。
在範例5中，範例4之標的選項性地包括，其中手骨架定位器僅施加於被歸類為一可能是手的觸點。
在範例6中，範例1至5任一項之標的選項性地包括，其中深度感測器包括一紅外線發射器及一紅外線相機，及其中基座包括一紅外線直線發射器，用於發射一與視野內之表面平行的紅外光平面。
在範例7中，範例6之標的選項性地包括一表面觸碰定位器，用於：辨識由紅外線相機擷取之一紅外線影像中之一或多亮點，亮點包含在一臨限值以上之複數像素；及針對一或多亮點中之各亮點，以深度影像為基礎將亮點分類成觸碰或非觸碰。
在範例8中，範例6至7任一項之標的選項性地包括，其中將亮點分類成觸碰或非觸碰包括表面觸碰定位器判斷亮點是否連接於一從深度影像辨識之手觸點，及若亮點未連接於手觸點，則將亮點歸類為非觸碰。
在範例9中，範例6至8任一項之標的選項性地包括，其中將亮點分類成觸碰或非觸碰包括表面觸碰定位器使用深度影像判斷亮點是否在表面之一預定距離內，及若亮點不在預定距離內，亮點即歸類為非觸碰。
在範例10中，範例6至9任一項之標的選項性地包括，其中將亮點分類成觸碰或非觸碰包括表面觸碰 定位器用於：判斷亮點之尺寸及形狀是否對應於一指紋之模型；判斷亮點是否連接於一手觸點；判斷亮點是否在表面之一預定距離內；及若亮點之尺寸及形狀各對應於指紋之模型、亮點連接於手觸點、及亮點在表面之一預定距離內為真，亮點即歸類為觸碰，否則亮點歸類為非觸碰。
範例11，範例1至10任一項之標的選項性地包括，或選項性地組合一標的，包括一種高效自由空間指紋辨識之方法，該方法係藉由一電路執行裝置執行，電路執行裝置包括一深度感測器，配置成具有一朝下之視野，該方法包含：辨識由深度感測器擷取之一深度影像中之一表面，該表面係從深度影像衍生之一目視平錐體中之一底平面；辨識深度影像中之一或多觸點，一或多觸點中之一觸點包含深度影像中之複數鄰接像素，其較接近於深度感測器而非表面；及針對一或多觸點中之各觸點：判斷觸點是否相交於深度影像之一緣部；及若其與緣部相交則將觸點歸類為一可能是手，否則將觸點歸類為一物件。
在範例12中，範例11之標的選項性地包括，其中辨識一或多觸點包括：辨識輪廓像素，輪廓像素係表面與深度感測器之間的深度影像中之像素；及判斷輪廓像素之外形，緊密之各外形對應於一或多觸點中之一觸點。
在範例13中，範例12之標的選項性地包括，其中判斷觸點是否相交於緣部包括產生一對應於深度影像之遮罩，係藉由：從深度影像之各緣部添加預定量之 像素至遮罩；及當外形之一像素對應於遮罩之一現有像素時，將一觸點之像素添加至遮罩。
在範例14中，範例11至13任一項之標的選項性地包括判斷是否可針對一觸點而找出一手骨架模型。
在範例15中，範例14之標的選項性地包括，其中判斷是否可針對觸點而找出一手骨架模型係限於被歸類為一可能是手的觸點。
在範例16中，範例11至15任一項之標的選項性地包括，其中深度感測器包括一紅外線發射器及一紅外線相機，及其中一用於裝置之基座包括一紅外線直線發射器，用於發射一與表面平行之紅外光平面。
在範例17中，範例16之標的選項性地包括：辨識由紅外線相機擷取之一紅外線影像中之一或多亮點，亮點包含在一臨限值以上之複數像素；及針對一或多亮點中之各亮點，以深度影像為基礎將亮點分類成觸碰或非觸碰。
在範例18中，範例16至17任一項之標的選項性地包括，其中將亮點分類成觸碰或非觸碰包括表面觸碰定位器判斷亮點是否連接於一從深度影像辨識之手觸點，及若亮點未連接於手觸點，則將亮點歸類為非觸碰。
在範例19中，範例16至18任一項之標的選項性地包括，其中將亮點分類成觸碰或非觸碰包括表面觸碰定位器使用深度影像判斷亮點是否在表面之一預定距離內，及若亮點不在預定距離內，亮點即歸類為非觸碰。
在範例20中，範例16至19任一項之標的選項性地包括，其中將亮點分類成觸碰或非觸碰包括表面觸碰定位器用於：判斷亮點之尺寸及形狀是否對應於一指紋之模型；判斷亮點是否連接於一手觸點；判斷亮點是否在表面之一預定距離內；及若亮點之尺寸及形狀各對應於指紋之模型、亮點連接於手觸點、及亮點在表面之一預定距離內為真，亮點即歸類為觸碰，否則亮點歸類為非觸碰。
範例21，範例11至20任一項之標的選項性地包括一機器可讀媒體，包括指令，其由一機器執行時，令機器執行範例11至20之方法之任一或多者。
範例22，範例11至20任一項之標的選項性地包括一系統，具有用於執行範例11至20之方法之任一或多者的構件。
範例23，範例1至22任一項之標的選項性地包括，或選項性地組合一種高效自由空間指紋辨識之系統，系統包含：支撐構件，用於將一投影頭升高至一表面上方；投影頭構件，固接於支撐構件，投影頭構件包含深度感測器構件，用於測量一目標物從投影頭構件朝向表面之距離；及手識別構件，用於：辨識由深度感測器構件擷取之一深度影像中之一表面，該表面係從深度影像衍生之一目視平錐體中之一底平面；辨識深度影像中之一或多觸點，一或多觸點中之一觸點包含深度影像中之複數鄰接像素，其較接近於深度感測器構件而非表面；及針對一或多觸點中之各觸點：判斷觸點是否相交於深度影像之一緣 部；及若其與緣部相交則將觸點歸類為一可能是手，否則將觸點歸類為一物件。
在範例24中，範例23之標的選項性地包括，其中辨識一或多觸點包括：辨識輪廓像素，輪廓像素係表面與深度感測器構件之間的深度影像中之像素；及判斷輪廓像素之外形，緊密之各外形對應於一或多觸點中之一觸點。
在範例25中，範例24之標的選項性地包括，其中判斷觸點是否相交於緣部包括產生一對應於深度影像之遮罩，係藉由：從深度影像之各緣部添加預定量之像素至遮罩；及當外形之一像素對應於遮罩之一現有像素時，將一觸點之像素添加至遮罩。
在範例26中，範例23至25任一項之標的選項性地包括一手骨架定位器構件，以判斷是否可針對一觸點而找出一手骨架模型。
在範例27中，範例26之標的選項性地包括，其中手骨架定位器構件僅施加於被歸類為一可能是手的觸點。
在範例28中，範例23至27任一項之標的選項性地包括，其中深度感測器構件包括一用於發射紅外光之紅外線發射器構件及一用於在目標物反射後擷取紅外光之紅外線相機構件，及其中支撐構件包括一紅外線直線發射器構件，用於發射一與紅外線相機構件之視野內之表面平行的紅外光平面。
在範例29中，範例28之標的選項性地包括一表面觸碰定位器構件，用於：辨識由紅外線相機構件擷取之一紅外線影像中之一或多亮點，亮點包含在一臨限值以上之複數像素；及針對一或多亮點中之各亮點，以深度影像為基礎將亮點分類成觸碰或非觸碰。
在範例30中，範例28至29任一項之標的選項性地包括，其中將亮點分類成觸碰或非觸碰包括判斷亮點是否連接於一從深度影像辨識之手觸點，及若亮點未連接於手觸點，則將亮點歸類為非觸碰。
在範例31中，範例28至30任一項之標的選項性地包括，其中將亮點分類成觸碰或非觸碰包括使用深度影像判斷亮點是否在表面之一預定距離內，及若亮點不在預定距離內，亮點即歸類為非觸碰。
在範例32中，範例28至31任一項之標的選項性地包括，其中將亮點分類成觸碰或非觸碰包括：判斷亮點之尺寸及形狀是否對應於一指紋之模型；判斷亮點是否連接於一手觸點；判斷亮點是否在表面之一預定距離內；及若亮點之尺寸及形狀各對應於指紋之模型、亮點連接於手觸點、及亮點在表面之一預定距離內為真，亮點即歸類為觸碰，否則亮點歸類為非觸碰。
以上詳細說明包括參考於附圖，其亦構成詳細說明之一部分。圖式藉由揭示說明可實施之實施例。這些實施例在此也稱為「範例」。諸範例可包括已揭示或揭述者以外之元件。惟，發明人也預期到僅設有那些已揭示 或揭述元件之範例。再者，發明人也預期到使用那些已揭示或揭述元件之任意組合或置換之範例(或其一或多態樣)，其相關於特定範例(或其一或多態樣)、或相關於本文內所揭示或揭述之其他範例(或其一或多態樣)。
相關於本案之所有公告、專利、及專利文件在此係以全文併入參考，如同個別併入供作參考。在本案與併入參考的諸文件之間有矛盾用法之情況下，併入參考文中之用法應視為對本案之補充，而對於不解之矛盾，本案之用法亦能控制之。
在本案中，本說明書中普遍之「a」或「an」等詞係用於包括一或一以上，其無關於任意其他情況或「至少一者」或「一或多者」之用法。在本案中，「或」一詞係指非排他性，像是「A或B」包括「A且非B」、「B且非A」及「A且B」，除非另有所指。在文後之申請專利範圍中，「包括」及「於其中」為「包含」及「其中」各詞之白話英文等義詞。再者，在文後之申請專利範圍中，「包括」及「包含」等詞屬於開放式，亦即，在申請專利範圍中包括此詞後面所列示者外之元件的系統、裝置、物件、或方法仍視為在申請專利範圍之範疇內。再者，在文後之申請專利範圍中，「第一」、「第二」及「第三」等詞僅用做標示，並無意於表示其標的物之數字要求。
上述說明意在揭示而非限制。例如，上述範例(或其一或多個態樣)可用於彼此組合。其他實施例也可 以使用，像是由習於此技者在審閱上述說明後為之。摘要是供讀者迅速確認技術揭露之本質及供瞭解其未用於詮釋或限制申請專利範圍之範疇或意旨。再者，在上述詳細說明中，不同特性可群集以令本案合理化。此舉不應該被解釋成非請求之揭露特性為不可或缺之請求項。反而，本發明標的少於特定揭露實施例之所有特性。因此，文後之申請專利範圍因而併入詳細說明中，且各請求項本身即為一各別實施例。實施例之範疇應該參考申請專利範圍，並且伴隨著諸申請專利範圍之等效技術的全部範疇來決定。
100‧‧‧投影觸碰表面系統
105‧‧‧基座
110‧‧‧垂直構件
115‧‧‧頭部
120‧‧‧深度感測器
125‧‧‧投影機
130‧‧‧手
135‧‧‧杯子
140‧‧‧底平面
145‧‧‧投影使用者介面
150‧‧‧表面
155‧‧‧直線發射器
160‧‧‧光平面
165‧‧‧觸碰亮點
170‧‧‧物件亮點
175‧‧‧電路執行裝置
180‧‧‧手識別器
185‧‧‧手骨架定位器
190‧‧‧表面觸碰定位器

Claims (22)

  1. 一種用於高效自由空間指紋辨識之裝置，該裝置包含：基座；垂直構件，該垂直構件之下部分固接於該基座；頭部，固接於該垂直構件之上部分，該頭部包含深度感測器，配置成具有朝下之視野；及硬體電路，執行手識別器以便：辨識由該深度感測器擷取之深度影像中之表面，該表面係從該深度影像衍生之目視平錐體中之底平面；辨識該深度影像中之一或多觸點，該一或多觸點中之觸點包含該深度影像中之複數鄰接像素，其較接近於該深度感測器而非該表面；及針對該一或多觸點中之各該觸點：判斷該觸點是否相交於該深度影像之緣部，包括該手識別器產生對應於該深度影像之遮罩，係藉由：從該深度影像之各該緣部添加預定量之該像素至該遮罩；及當該外形之像素對應於該遮罩之現有像素時，將該觸點之該像素添加至該遮罩；及若其與該緣部相交則將該觸點歸類為可能是手，否則將該觸點歸類為物件，該歸類基於該觸點是否在該遮罩內。
  2. 如申請專利範圍第1項之裝置，其中欲辨識該一 或多觸點時，該手識別器即：辨識輪廓像素，該輪廓像素係該表面與該深度感測器之間的該深度影像中之像素；及判斷該輪廓像素之外形，緊密之各該外形對應於該一或多觸點中之觸點。
  3. 如申請專利範圍第1項之裝置，包含手骨架定位器，以判斷是否可針對該觸點而找出該手骨架模型。
  4. 如申請專利範圍第3項之裝置，其中該手骨架定位器僅施加於被歸類為該可能是手的觸點。
  5. 如申請專利範圍第1項之裝置，其中該深度感測器包括紅外線發射器及紅外線相機，及其中該基座包括紅外線直線發射器，用於發射與該視野內之表面平行的紅外光平面。
  6. 如申請專利範圍第5項之裝置，包含表面觸碰定位器，用於：辨識由該紅外線相機擷取之紅外線影像中之一或多亮點，該亮點包含在臨限值以上之複數像素；及針對該一或多亮點中之各亮點，以該深度影像為基礎將該亮點分類成觸碰或非觸碰。
  7. 如申請專利範圍第5項之裝置，其中將該亮點分類成觸碰或非觸碰包括該表面觸碰定位器判斷該亮點是否連接於從該深度影像辨識之手觸點，及若該亮點未連接於該手觸點，則將該亮點歸類為非觸碰。
  8. 如申請專利範圍第5項之裝置，其中將該亮點分 類成觸碰或非觸碰包括該表面觸碰定位器使用該深度影像判斷該亮點是否在該表面之預定距離內，及若該亮點不在該預定距離內，該亮點即歸類為非觸碰。
  9. 如申請專利範圍第5項之裝置，其中將該亮點分類成觸碰或非觸碰包括該表面觸碰定位器用於：判斷該亮點之尺寸及形狀是否對應於指紋之模型；判斷該亮點是否連接於手觸點；判斷該亮點是否在該表面之預定距離內；及若該亮點之尺寸及形狀各對應於該指紋之模型、該亮點連接於該手觸點、及該亮點在該表面之預定距離內為真，該亮點即歸類為觸碰，否則該亮點歸類為非觸碰。
  10. 一種高效自由空間指紋辨識之方法，該方法係藉由電路執行裝置執行，該電路執行裝置包括深度感測器，配置成具有朝下之視野，該方法包含：辨識由該深度感測器擷取之深度影像中之表面，該表面係從該深度影像衍生之目視平錐體中之底平面；辨識該深度影像中之一或多觸點，該一或多觸點中之觸點包含該深度影像中之複數鄰接像素，其較接近於該深度感測器而非該表面；及針對該一或多觸點中之各該觸點：判斷該觸點是否相交於該深度影像之緣部，包括產生對應於該深度影像之遮罩，係藉由：從該深度影像之各該緣部添加預定量之該像素至遮罩；及 當該外形之像素對應於該遮罩之現有像素時，將該觸點之該像素添加至該遮罩；及若其與該緣部相交則將該觸點歸類為可能是手，否則將該觸點歸類為物件，該歸類基於該觸點是否在該遮罩內。
  11. 如申請專利範圍第10項之方法，其中辨識該一或多觸點包括：辨識輪廓像素，該輪廓像素係該表面與該深度感測器之間的該深度影像中之像素；及判斷該輪廓像素之外形，緊密之各該外形對應於該一或多觸點中之觸點。
  12. 如申請專利範圍第10項之方法，包含判斷是否可針對該觸點而找出該手骨架模型。
  13. 如申請專利範圍第12項之方法，其中判斷是否可針對該觸點而找出該手骨架模型係限於被歸類為該可能是手的觸點。
  14. 一種機器可讀媒體，其並非暫態傳遞信號，該機器可讀媒體包括指令，其由機器執行時，令該機器執行操作，包含：辨識由該深度感測器擷取之深度影像中之表面，該表面係從該深度影像衍生之目視平錐體中之底平面；辨識該深度影像中之一或多觸點，該一或多觸點中之觸點包含該深度影像中之複數鄰接像素，其較接近於該深度感測器而非該表面；及 針對該一或多觸點中之各該觸點：判斷該觸點是否相交於該深度影像之緣部，包括產生對應於該深度影像之遮罩，係藉由：從該深度影像之各該緣部添加預定量之該像素至遮罩；及當該外形之像素對應於該遮罩之現有像素時，將該觸點之該像素添加至該遮罩；及若其與該緣部相交則將該觸點歸類為可能是手，否則將該觸點歸類為物件，該歸類基於該觸點是否在該遮罩內。
  15. 如申請專利範圍第14項之機器可讀媒體，其中辨識該一或多觸點包括：辨識輪廓像素，該輪廓像素係該表面與該深度感測器之間的該深度影像中之像素；及判斷該輪廓像素之外形，緊密之各該外形對應於該一或多觸點中之觸點。
  16. 如申請專利範圍第14項之機器可讀媒體，包含判斷是否可針對觸點而找出手骨架模型。
  17. 如申請專利範圍第16項之機器可讀媒體，其中判斷是否可針對該觸點而找出該手骨架模型係限於被歸類為該可能是手的觸點。
  18. 如申請專利範圍第14項之機器可讀媒體，其中該深度感測器包括紅外線發射器及紅外線相機，及其中裝置之基座包括紅外線直線發射器，用於發射與該表面平行 的紅外光平面。
  19. 如申請專利範圍第18項之機器可讀媒體，包含：辨識由該紅外線相機擷取之紅外線影像中之一或多亮點，該亮點包含在臨限值以上之複數像素；及針對該一或多亮點中之各亮點，以該深度影像為基礎將該亮點分類成觸碰或非觸碰。
  20. 如申請專利範圍第18項之機器可讀媒體，其中將該亮點分類成觸碰或非觸碰包括判斷該亮點是否連接於從該深度影像辨識之手觸點，及若該亮點未連接於該手觸點，則將該亮點歸類為非觸碰。
  21. 如申請專利範圍第18項之機器可讀媒體，其中將該亮點分類成觸碰或非觸碰包括使用該深度影像判斷該亮點是否在該表面之預定距離內，及若該亮點不在該預定距離內，該亮點即歸類為非觸碰。
  22. 如申請專利範圍第18項之機器可讀媒體，其中將該亮點分類成觸碰或非觸碰包括：判斷該亮點之尺寸及形狀是否對應於指紋之模型；判斷該亮點是否連接於手觸點；判斷該亮點是否在該表面之預定距離內；及若該亮點之尺寸及形狀各對應於該指紋之模型、該亮點連接於該手觸點、及該亮點在該表面之預定距離內為真，該亮點即歸類為觸碰，否則該亮點歸類為非觸碰。
TW104105069A 2014-03-26 2015-02-13 高效自由空間指紋辨識 TWI578190B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US14/225,941 US9563956B2 (en) 2014-03-26 2014-03-26 Efficient free-space finger recognition

Publications (2)

Publication Number Publication Date
TW201602840A TW201602840A (zh) 2016-01-16
TWI578190B true TWI578190B (zh) 2017-04-11

Family

ID=54066923

Family Applications (1)

Application Number Title Priority Date Filing Date
TW104105069A TWI578190B (zh) 2014-03-26 2015-02-13 高效自由空間指紋辨識

Country Status (5)

Country Link
US (1) US9563956B2 (zh)
KR (1) KR101794148B1 (zh)
CN (1) CN104951064B (zh)
DE (1) DE102015102679A1 (zh)
TW (1) TWI578190B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9971490B2 (en) * 2014-02-26 2018-05-15 Microsoft Technology Licensing, Llc Device control
EP2993645B1 (en) * 2014-09-02 2019-05-08 Nintendo Co., Ltd. Image processing program, information processing system, information processing apparatus, and image processing method
KR20180096606A (ko) * 2015-12-21 2018-08-29 소니 주식회사 정보 처리 장치 및 정보 처리 방법
CN110838121A (zh) * 2018-08-15 2020-02-25 辽宁开普医疗系统有限公司 一种用于辅助骨龄鉴定的儿童手骨关节识别方法
US11073898B2 (en) * 2018-09-28 2021-07-27 Apple Inc. IMU for touch detection
CN109409316B (zh) * 2018-11-07 2022-04-01 极鱼（北京）科技有限公司 空中签名方法及装置
KR102660740B1 (ko) * 2020-12-28 2024-04-26 한국과학기술원 도메인 전이학습을 통한 적외선 카메라 기반의 손 자세 추정 방법 및 시스템
EP4400942A1 (en) * 2023-01-12 2024-07-17 ameria AG Touchless user interface control method, system, computer program and computer-readable medium

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201203089A (en) * 2010-06-22 2012-01-16 Microsoft Corp User tracking feedback
US20130257748A1 (en) * 2012-04-02 2013-10-03 Anthony J. Ambrus Touch sensitive user interface
US20130343601A1 (en) * 2012-06-22 2013-12-26 Charles Jia Gesture based human interfaces
US20140055364A1 (en) * 2012-08-23 2014-02-27 Celluon, Inc. System and method for a virtual keyboard

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8005263B2 (en) * 2007-10-26 2011-08-23 Honda Motor Co., Ltd. Hand sign recognition using label assignment
US20110205185A1 (en) * 2009-12-04 2011-08-25 John David Newton Sensor Methods and Systems for Position Detection
KR101105872B1 (ko) * 2010-08-20 2012-01-16 세종대학교산학협력단 적외선 카메라와 모니터를 이용한 손 인식 방법 및 장치
US8929612B2 (en) * 2011-06-06 2015-01-06 Microsoft Corporation System for recognizing an open or closed hand
KR101281461B1 (ko) * 2012-04-24 2013-07-03 군산대학교산학협력단 영상분석을 이용한 멀티 터치 입력 방법 및 시스템
JP2014202951A (ja) * 2013-04-05 2014-10-27 船井電機株式会社 画像投影装置、及び操作物検出方法
JP6202942B2 (ja) * 2013-08-26 2017-09-27 キヤノン株式会社 情報処理装置とその制御方法、コンピュータプログラム、記憶媒体

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201203089A (en) * 2010-06-22 2012-01-16 Microsoft Corp User tracking feedback
US20130257748A1 (en) * 2012-04-02 2013-10-03 Anthony J. Ambrus Touch sensitive user interface
US20130343601A1 (en) * 2012-06-22 2013-12-26 Charles Jia Gesture based human interfaces
US20140055364A1 (en) * 2012-08-23 2014-02-27 Celluon, Inc. System and method for a virtual keyboard

Also Published As

Publication number Publication date
US9563956B2 (en) 2017-02-07
CN104951064B (zh) 2018-08-03
TW201602840A (zh) 2016-01-16
CN104951064A (zh) 2015-09-30
DE102015102679A1 (de) 2015-10-01
US20150279019A1 (en) 2015-10-01
KR20150111833A (ko) 2015-10-06
KR101794148B1 (ko) 2017-11-06

Similar Documents

Publication Publication Date Title
TWI578190B (zh) 高效自由空間指紋辨識
US20230012241A1 (en) Augmented Reality for Three-Dimensional Model Reconstruction
KR102275349B1 (ko) 비디오 스트림에서 객체 모델링 및 대체
US9916502B2 (en) Handling glare in eye tracking
US20200250875A1 (en) Activity Surface Detection, Display and Enhancement of a Virtual Scene
JP7454743B2 (ja) ジェスチャの検出及び分析に基づくバーコードスキャン
US10324563B2 (en) Identifying a target touch region of a touch-sensitive surface based on an image
EP2984545B1 (en) Virtual touch screen
US10664090B2 (en) Touch region projection onto touch-sensitive surface
US11886643B2 (en) Information processing apparatus and information processing method
CN107209556B (zh) 用于对捕获对象相对于交互平面的交互的深度图像进行处理的系统及方法
JP6455186B2 (ja) 指先位置推定装置、指先位置推定方法、及び、プログラム
US8854393B2 (en) Information processing device, information processing method, and program
EP4050464A1 (en) Activity surface detection, display and enhancement of a virtual scene
JP2018048890A (ja) 姿勢推定システム、姿勢推定装置、及び距離画像カメラ
JP2021511594A (ja) 自動検査および部品登録
CN111742349B (zh) 信息处理装置、信息处理方法以及信息处理存储介质
US20160004386A1 (en) Gesture recognition device and gesture recognition method
KR20140103036A (ko) 객체 추적이 가능한 전자 장치