TWI802123B - 3d靜脈圖譜的辨識方法及其識別裝置 - Google Patents

3d靜脈圖譜的辨識方法及其識別裝置 Download PDF

Info

Publication number
TWI802123B
TWI802123B TW110145078A TW110145078A TWI802123B TW I802123 B TWI802123 B TW I802123B TW 110145078 A TW110145078 A TW 110145078A TW 110145078 A TW110145078 A TW 110145078A TW I802123 B TWI802123 B TW I802123B
Authority
TW
Taiwan
Prior art keywords
vein
atlas
pixels
wrist
identification device
Prior art date
Application number
TW110145078A
Other languages
English (en)
Other versions
TW202324190A (zh
Inventor
趙偉成
趙嘉信
蘇莉祺
楊季瑾
羅丞志
Original Assignee
財團法人工業技術研究院
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 財團法人工業技術研究院 filed Critical 財團法人工業技術研究院
Priority to TW110145078A priority Critical patent/TWI802123B/zh
Priority to US17/557,061 priority patent/US20230177870A1/en
Application granted granted Critical
Publication of TWI802123B publication Critical patent/TWI802123B/zh
Publication of TW202324190A publication Critical patent/TW202324190A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/14—Vascular patterns
    • G06V40/145—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Vascular Medicine (AREA)
  • Mathematical Physics (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Input (AREA)
  • Collating Specific Patterns (AREA)

Abstract

一種3D靜脈圖譜的辨識方法，包括以下步驟。利用識別裝置發出多個第一光束至使用者的手腕處。使識別裝置接收來自手腕的多個第一反射光束，以形成手腕處的第一3D靜脈圖譜。比對第一3D靜脈圖譜與資料庫內的手腕靜脈圖譜之間的差異，以識別使用者的身分或手勢。一種3D靜脈圖譜的識別裝置亦被提出。

Description

3D靜脈圖譜的辨識方法及其識別裝置
本發明是有關於一種辨識方法及識別裝置，且特別是有關於一種3D靜脈圖譜的辨識方法及其識別裝置。
隨著智慧手機、電視、平板電腦、遊戲機及車載系統的迅速普及，與智慧設備/系統的人機互動成為人們日常生活的重要活動。而輸入是人機互動最重要的功能之一。有別於傳統的人機互動技術，語音、人臉、指紋、手勢等更自然與方便的人機互動技術迅速發展且具有廣泛的應用潛力。
目前人機互動的方式分為視覺式、肌電圖（Electromyogram）式或肌肉活動訊號式。視覺式的人機互動例如使用相機來偵測手勢的影像，以判斷使用者手勢。然而，視覺式的人機互動雖不受限於生理因素的干擾，但其受限於使用者必須位於相機前，且不適用在低環境光的環境。肌電圖式的人機互動例如偵測不同手勢下肌肉運動所發出的肌電訊號，即肌電圖（Electromyography, EMG），以判斷使用者手勢。然而，肌電圖式的人機互動雖不受限於使用者的位置，且不受限於環境光的背景，但其受限於使用者生理因素的干擾，例如汗水。肌肉活動訊號式的人機互動例如偵測肌肉收縮時產生的振動訊號，即肌械圖（Mechanomyography, MMG），以判斷使用者手勢。然而，肌肉活動訊號式的人機互動雖不受限於使用者的位置、環境光的背景以及使用者生理因素的干擾，但其商業化有相當程度的困難。
本發明提供一種3D靜脈圖譜的辨識方法及其識別裝置，其不受限於使用者的位置、環境光的背景以及使用者生理因素的干擾，且其商業化成本較低。
本發明的一實施例提供一種3D靜脈圖譜的辨識方法，其包括以下步驟。利用識別裝置發出多個第一光束至使用者的手腕處。使識別裝置接收來自手腕的多個第一反射光束，以形成手腕處的第一3D靜脈圖譜。比對第一3D靜脈圖譜與資料庫內的手腕靜脈圖譜之間的差異，以識別使用者的身分或手勢。
本發明的一實施例提供一種3D靜脈圖譜的識別裝置，其包括多個發光畫素、多個感測畫素以及處理器。發光畫素排成陣列。感測畫素排成陣列。處理器電性連接至發光畫素與感測畫素。處理器控制發光畫素發出多個光束至使用者的手腕處，使感測畫素接收來自手腕的多個反射光束。處理器根據反射光束形成手腕處的3D靜脈圖譜，並比對3D靜脈圖譜與資料庫內的手腕靜脈圖譜之間的差異，以識別使用者的身分或手勢。
基於上述，在本發明的一實施例中，3D靜脈圖譜的辨識方法或識別裝置利用識別裝置所取得的手腕處的第一3D靜脈圖譜來識別使用者的身分或手勢。因此，3D靜脈圖譜的辨識方法或識別裝置同時具備了不受限於使用者的位置、環境光的背景以及使用者生理因素的干擾，並有利於商業化。
為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。
圖1是根據本發明的一實施例的3D靜脈圖譜的辨識方法的流程圖。圖2是利用本發明的一實施例的3D靜脈圖譜的辨識方法取得使用者的3D靜脈圖譜的示意圖。請同時參考圖1與圖2，本發明的一實施例提供一種3D靜脈圖譜的辨識方法，其包括以下步驟。利用識別裝置100、100’發出多個第一光束L1至使用者的手腕W處，步驟S100。使識別裝置100、100’接收來自手腕W的多個第一反射光束R1，以形成手腕W處的第一3D靜脈圖譜WP，步驟S120。比對第一3D靜脈圖譜WP與資料庫內的手腕靜脈圖譜DB1之間的差異，以識別使用者的身分或手勢，步驟S140。
詳細來說，本實施例的識別裝置100可為穿戴裝置，例如是智慧手錶等手腕部裝置，即識別裝置100與手腕W之間的間距約小於1毫米，如圖2所示，或例如是擴增實境顯示器、虛擬實境顯示器等頭戴式裝置，如圖6所示（即圖6的識別裝置100’’）。在另一實施例中，識別裝置100’可設置在行動裝置10內。識別裝置100’例如是行動裝置10的顯示器，如圖2所示。
在本實施例中，第一光束L1的發光波長落在包括850奈米±50的範圍內或940±50奈米的範圍內。在一較佳的實施例中，第一光束L1的發光波長落在包括850奈米±10的範圍內或940±10奈米的範圍內。
在本實施例中，3D靜脈圖譜的辨識方法更包括以下步驟。使識別裝置100、100’發出多個第二光束L2至使用者的臉部F或手掌P處。使識別裝置100、100’接收來自臉部F或手掌P的多個第二反射光束R2，以形成臉部F或手掌P處的第二3D靜脈圖譜FP、PP。比對第二3D靜脈圖譜FP、PP與資料庫內的臉部靜脈圖譜DB2或手掌靜脈圖譜DB3之間的差異，以識別使用者的身分。
在本實施例中，第二光束L2的發光波長落在包括850奈米±50的範圍內或940±50奈米的範圍內。在一較佳的實施例中，第二光束L2的發光波長落在包括850奈米±10的範圍內或940±10奈米的範圍內。
在一實施例中，上述發出第一光束L1或第二光束L2，以及接收第一反射光束R1或第二反射光束R2的識別裝置100、100’可為同一個裝置。例如，當識別裝置100為手腕部裝置時，識別裝置100可依使用情境隨時地取得第一3D靜脈圖譜WP，並完成識別使用者的身分或手勢。或者，使用者將識別裝置100朝臉部F或手掌P處發出第二光束L2，以取得第二3D靜脈圖譜FP、PP，並完成識別使用者的身分。例如，當識別裝置100’設置在行動裝置10內時，使用者需將識別裝置100’（或行動裝置10）朝向手腕W處發出第一光束L1，以取得第一3D靜脈圖譜WP，並完成識別使用者的身分或手勢。或者，使用者將識別裝置100’朝臉部F或手掌P處發出第二光束L2，以取得第二3D靜脈圖譜FP、PP，並完成識別使用者的身分。其中，第一3D靜脈圖譜WP或第二3D靜脈圖譜FP、PP皆可用以作為識別使用者身分的圖譜。但在一較佳的實施例中，由於第一3D靜脈圖譜WP能較佳的反應出不同手勢之間的差異，因此，使用第一3D靜脈圖譜WP來識別使用者的手勢具有精準度較高的優勢。
舉例來說，資料庫內的手腕靜脈圖譜DB1可包括多個手勢圖譜，如0（握拳）、1、2（或V或勝利）、3、4、5（手張開）或讚（比大拇指）等手勢。其中，多個手勢圖譜之間彼此存在差異。因此，本發明實施例的3D靜脈圖譜的辨識方法藉由比對第一3D靜脈圖譜WP與資料庫的手腕靜脈圖譜DB1中的多個手勢圖譜之間的相似度，以識別使用者的手勢。
在一實施例中，3D靜脈圖譜的辨識方法更包括：若第一3D靜脈圖譜WP與資料庫內的手腕靜脈圖譜DB1皆不相符，將第一3D靜脈圖譜WP新增至手腕靜脈圖譜DB1；以及根據新增的手腕靜脈圖譜DB1，利用卷積神經網路運算法預測使用者的身分或手勢。或者，若第二3D靜脈圖譜FP、PP與資料庫內的臉部靜脈圖譜DB2或手掌靜脈圖譜DB3皆不相符，將第二3D靜脈圖譜FP、PP新增至臉部靜脈圖譜DB2或手掌靜脈圖譜DB3；以及根據新增的臉部靜脈圖譜DB2或手掌靜脈圖譜DB3，利用卷積神經網路運算法預測使用者的身分。舉例來說，若一個新的使用者使用識別裝置100時，識別裝置100所取得的第一3D靜脈圖譜WP或第二3D靜脈圖譜FP、PP將不會與資料庫內的靜脈圖譜DB1、DB2或DB3相符合。此時，該新的使用者可選擇將其靜脈圖譜WP、FP或PP新增至資料庫的靜脈圖譜DB1、DB2或DB3內，並且利用卷積神經網路運算法預測使用者的身分或手勢，以作為日後識別身分或手勢的用途。
除了上述利用同一個識別裝置100或100’取得第一3D靜脈圖譜及第二3D靜脈圖譜的辨識方法，在另一實施例中，可利用不同的識別裝置100或100’來分別取得第一3D靜脈圖譜及第二3D靜脈圖譜FP、PP。例如，可利用識別裝置100取得第一3D靜脈圖譜WP，以識別使用者的身分或手勢，並利用另一個識別裝置100’取得第二3D靜脈圖譜FP、PP，以識別使用者的身分手勢。也就是說，識別裝置100可為第一識別裝置，且識別裝置100’可為第二識別裝置。
圖3A是根據本發明的第一實施例的識別裝置的俯視示意圖。圖3B是根據本發明的第一實施例的識別裝置的側視示意圖。其中，為了清楚示意發光畫素110與感測畫素120的設計方式，圖3A與圖3B簡單繪示多個發光畫素110中的其中兩個畫素。請同時參考圖3A與圖3B，在本實施例中，識別裝置100A包括多個發光畫素110以及多個感測畫素120。發光畫素110排成陣列，且用以發出第一光束L1或第二光束L2。感測畫素120排成陣列，且用以接收第一反射光束R1或第二反射光束R2。發光畫素110與感測畫素120設置在同一平面上，且每一發光畫素110環繞感測畫素120的其中之一。
詳細來說，本實施例的每一發光畫素110包括多個第一子發光畫素112以及多個第二子發光畫素114。第一子發光畫素112及第二子發光畫素114交錯排列且環繞感測畫素120的其中之一。其中，第一子發光畫素112的發光波長落在850奈米±50的範圍內或940±50奈米的範圍內的其中之一，且第二子發光畫素114的發光波長落在850奈米±50的範圍內或940±50奈米的範圍內的其中之另一。也就是說，第一子發光畫素112與第二子發光畫素114的發光波長不同。本發明一實施例的3D靜脈圖譜的辨識方法將發光畫素110設計為環繞感測畫素120，並具體將第一子發光畫素112及第二子發光畫素114設計為交錯排列且環繞感測畫素120的其中之一，其有助於提高3D靜脈圖譜WP、FP、PP的影像解析度，進而達成較佳的精準度。
在本實施例中，第一子發光畫素112或第二子發光畫素114可為發光二極體（light-emitting diode, LED）、微發光二極體（micro led）、次毫米發光二極體（mini led）、有機發光二極體（oled）或垂直共振腔面射型雷射（vertical-cavity surface-emitting laser, VCSEL）。而且，感測畫素120可為互補式金屬氧化物半導體（Complementary Metal-Oxide-Semiconductor, CMOS）等光感測元件，但本發明不以此為限。
在本實施例中，識別裝置100A更包括多個準直元件140。準直元件140分別設置在感測畫素120上。其中，感測畫素120的中心軸120C與準直元件140的光軸140C較佳是互相重合。在本實施例中，準直元件140可為透鏡元件（例如微透鏡）、針孔（pinhole）元件、超穎透鏡膜（metalens film）元件或液晶（liquid crystal）元件。
在本實施例中，第一反射光束R1或第二反射光束R2穿過準直元件140，再被感測畫素120接收後而形成第一3D靜脈圖譜WP或第二3D靜脈圖譜FP、PP。舉例來說，每一感測畫素120可包括多個子感測畫素122，每一準直元件140可包括多個子準直元件，且子感測畫素122的中心軸與子準直元件的光軸互相重合。不同角度的第一反射光束R1（或不同角度的第二反射光束R2）分別穿過不同位置的子準直元件，而被不同的子感測畫素122接收，因而形成帶有光場（light field）資訊的第一3D靜脈圖譜（或第二3D靜脈圖譜）。
在一實施例中，準直元件140可為可變焦元件，例如液晶透鏡、超穎透鏡或其他光學元件或不同畫素配置不同焦距感測元件，使識別裝置100A適於對應不同的識別部位調整其對焦距離。然而，在另一實施例中，識別裝置可同時設有多個準直元件。例如，識別裝置可包括第一準直元件及第二準直元件，且第一準直元件及第二準直元件皆設置在感測畫素120上，其中第一準直元件用以使第一3D靜脈圖譜或第二3D靜脈圖譜帶有光場資訊，且第二準直元件適於對應不同的識別部位調整其對焦距離。因此，當本發明一實施例的3D靜脈圖譜的辨識方法採用可變焦元件時，辨識方法有利於接觸式（例如使用穿戴式的識別裝置100）或非接觸式（contactless，例如使用設置於行動裝置內的識別裝置100’）等應用情境。
在本實施例中，識別裝置100A更包括多個顯示畫素130。顯示畫素130排成陣列。每一發光畫素110及其所環繞的感測畫素120設置在顯示畫素130的其中之一旁。每一顯示畫素130可包括多個子顯示畫素132。例如子顯示畫素132可為紅色、綠色、藍色或白色畫素，但本發明不以此為限。也就是說，識別裝置100A可為顯示面板，並可設置在行動裝置10內，如圖2所示。因此，藉由將識別裝置100A（或上述的識別裝置100’）整合為顯示感測器，其可進一步優化及安全化人機互動的程序。其中，在識別裝置100A中，每一顯示畫素130的大小約為30微米×30微米，每一發光畫素110的大小約為60微米×60微米，每一感測感測畫素120的大小約為40微米×40微米，且每一顯示畫素130和發光畫素110所形成的畫素的大小約為100微米×100微米。而圖3A繪示顯示畫素130旁皆設有感測畫素120，但本發明不以此為限。在另一實施例中，感測畫素120可間隔設置在顯示畫素130所排成的陣列內。即，感測畫素120與顯示畫素130的數量比可為1:2、1:3等。
在一實施例中，識別裝置100A更包括多個微晶片150以及處理器160。微晶片150電性連接至發光畫素110、感測畫素120、顯示畫素130與處理器160，使處理器160可透過微晶片150電性連接並控制發光畫素110、感測畫素120與顯示畫素130。例如，處理器160控制發光畫素110發出第一光束L1或第二光束L2，並根據來自感測畫素120所接收的第一反射光束R1或第二反射光束R2的訊號，以形成第一3D靜脈圖譜WP或第二3D靜脈圖譜FP、PP。
在一實施例中，上述的處理器160例如是包括微控制器單元（Microcontroller Unit，MCU）、中央處理單元（central processing unit，CPU)、微處理器（microprocessor）、數位訊號處理器（digital signal processor，DSP）、可程式化控制器、可程式化邏輯裝置（programmable logic device，PLD）或其他類似裝置或這些裝置的組合，本發明並不加以限制。此外，在一實施例中，處理器160的各功能可被實作為多個程式碼。這些程式碼會被儲存在一個記憶體中，由處理器160來執行這些程式碼。或者，在一實施例中，處理器160的各功能可被實作為一或多個電路。本發明並不限制用軟體或硬體的方式來實作處理器160的各功能。
在本實施例中，3D靜脈圖譜的辨識方法更包括以下步驟。利用處理器160接收第一3D靜脈圖譜WP或第二3D靜脈圖譜FP、PP。
在本實施例中，上述比對第一3D靜脈圖譜WP或第二3D靜脈圖譜FP、PP與資料庫內的手腕靜脈圖譜WP或臉部靜脈圖譜FP或手掌靜脈圖譜PP之間的差異包括以下步驟。使處理器160利用影像處理運算加強第一3D靜脈圖譜WP或第二3D靜脈圖譜FP、PP的對比度。使處理器160利用卷積神經網路（Convolutional Neural Networks, CNN）運算法比對加強後的第一3D靜脈圖譜WP或加強後的第二3D靜脈圖譜FP、PP與資料庫內之間的差異。其中，卷積神經網路運算法包括Keras或TensorFlow。
在本實施例中，上述使處理器160利用卷積神經網路比對加強後的第一3D靜脈圖譜WP與資料庫內之間的差異包括以下步驟。比對加強後的第一3D靜脈圖譜WP與在資料庫的手腕靜脈圖譜DB1中的多個手勢圖譜之間的相似度，以識別使用者的手勢。而加強第一3D靜脈圖譜WP或第二3D靜脈圖譜FP、PP的對比度更進一步提高本發明實施例的3D靜脈圖譜的辨識方法的精準度。
基於上述，在本發明的一實施例中，3D靜脈圖譜的辨識方法或識別裝置100、100’利用識別裝置100、100’取得手腕W處的第一3D靜脈圖譜WP，再比對第一3D靜脈圖譜WP與資料庫內的手腕靜脈圖譜DB1之間的差異，以識別使用者的身分或手勢。因此，3D靜脈圖譜的辨識方法同時具備了不受限於使用者的位置、環境光的背景以及使用者生理因素的干擾等優點。利用近紅外光的第一光束L1作為感測光束也有利於商業化。而且，採用紅外光靜脈感測來作為識別身分或手勢的基礎也同時使本發明實施例的3D靜脈圖譜的辨識方法具有辨識精準度高、安全性高、辨識速度快、成本低、隱私度高、識別裝置100、100’尺寸較小、使用者易接受等優勢。此外，識別裝置100可為穿戴裝置、或識別裝置100’可設置在行動裝置10，使本發明實施例的3D靜脈圖譜的辨識方法更具有容易使用的優勢。
此外，本發明實施例的3D靜脈圖譜的辨識方法或識別裝置100、100’更可利用識別裝置100、100’取得臉部F或手掌P處的第二3D靜脈圖譜FP、PP，再比對第二3D靜脈圖譜FP、PP與資料庫內的臉部靜脈圖譜DB2或手掌靜脈圖譜DB3之間的差異，以識別使用者的身分，其可進一步提高使用的方便性。
圖4是根據本發明的第二實施例的識別裝置的示意圖。其中，為了清楚示意發光畫素110B與感測畫素120B的設計方式，圖4簡單繪示多個發光畫素110B中的其中一個。請參考圖4，識別裝置100B與圖3A的識別裝置100A相似，其主要差異如下。在本實施例中，識別裝置100B包括多個發光畫素110B以及多個感測畫素120B。發光畫素110B排成陣列，且用以發出第一光束L1或第二光束L2。感測畫素120B排成陣列，且用以接收第一反射光束R1或第二反射光束R2。發光畫素110B分別設置在感測畫素120B上，且發光畫素110B的中心軸110C分別與感測畫素120B的中心軸120C互相重合。其中，發光畫素110B與感測畫素120B沿中心軸110C之間的間距約小於2.5毫米。
在本實施例中，每一發光畫素110B包括彼此交錯排列的多個第一子發光畫素112以及多個第二子發光畫素114。每一感測畫素120B包括彼此交錯排列的多個子感測畫素122。第一子發光畫素112與第二子發光畫素114沿其發光畫素110B的中心軸110C的投影與子感測畫素122交錯排列。此外，準直元件140B較佳是設計在位於感測畫素120B與發光畫素110B之間，使識別裝置100B（在垂直於中心軸110C上）的面積較小。此時，識別裝置100B適用於設置在有厚度小需求的系統內，例如門禁（access control）系統。而3D靜脈圖譜的辨識方法採用識別裝置100B的其餘優點相似於採用識別裝置100A的優點，在此不再贅述。
圖5是根據本發明的第三實施例的識別裝置的示意圖。請參考圖5，識別裝置100D與圖3A的識別裝置100A相似，其主要差異如下。在本實施例中，識別裝置100D的發光畫素110D與感測畫素120D交錯排列且設置在同一平面上。而且，準直元件140D分別設置在感測畫素120D上，且感測畫素120D的中心軸120C與準直元件140D的光軸140C互相重合。由於識別裝置100D的發光畫素110D與感測畫素120D皆設置在同一平面上的設計方式，使識別裝置100D在沿光軸140C上的厚度較小。而3D靜脈圖譜的辨識方法採用識別裝置100D的其餘優點相似於採用識別裝置100A的優點，在此不再贅述。
圖6是利用本發明的一實施例的3D靜脈圖譜的辨識方法解鎖交通工具的示意圖。請參考圖6，在本實施例中，3D靜脈圖譜的辨識方法更包括以下步驟。利用識別裝置100或100’’識別使用者U的身分。在識別使用者U的身分為正確後，解鎖交通工具M（例如圖6中的汽車或機車）、一行動裝置、一門禁或一行動支付。也就是說，在本發明實施例的3D靜脈圖譜的辨識方法中，識別裝置100或100’’可作為一種身分認證的媒介，以作為交通工具、行動裝置、門禁、行動支付等的生物鑰匙。
圖7是根據本發明的第四實施例的識別裝置的示意圖。請參考圖7，識別裝置100E與圖3A的識別裝置100A相似，其主要差異如下。在本實施例中，識別裝置100E為手腕部裝置，且具有錶頭區100E-1以及腕帶區100E-2。顯示畫素130E設置在錶頭區100E-1。發光畫素110E及感測畫素120E設置在腕帶區100E-2。其中，顯示畫素130E的排列方式可與識別裝置100A的顯示畫素130的排列方式相似，但本發明不以此為限。發光畫素110E及感測畫素120E的排列方式或設置方式可與識別裝置100A中的發光畫素110及感測畫素120或可與識別裝置100B中的發光畫素110B及感測畫素120B相似，但本發明不以此為限。由於識別裝置100E中的發光畫素110E及感測畫素120E設置在腕帶區100E-2，因此識別裝置100E適於識別手腕朝手心的一側處的靜脈圖譜（例如第一3D靜脈圖譜WP）。
圖8是根據本發明的第五實施例的識別裝置的示意圖。請參考圖8，識別裝置100F與圖7的識別裝置100E相似，其主要差異如下。在本實施例中，識別裝置100F為手腕部裝置，且具有錶頭區100F-1以及腕帶區100F-2。其中，顯示畫素130F設置在錶頭區100F-1的一側，且發光畫素110F及感測畫素120F設置在錶頭區100F-1相對於顯示畫素130F的另一側。因此識別裝置100F適於識別手腕朝手背的一側處的靜脈圖譜（例如第一3D靜脈圖譜WP）。
綜上所述，在本發明的一實施例中，3D靜脈圖譜的辨識方法或識別裝置利用識別裝置取得手腕處的第一3D靜脈圖譜，再比對第一3D靜脈圖譜與資料庫內的手腕靜脈圖譜之間的差異，以識別使用者的身分或手勢。因此，3D靜脈圖譜的辨識方法同時具備了不受限於使用者的位置、環境光的背景以及使用者生理因素的干擾等優點。而且，採用紅外光靜脈感測來作為識別身分或手勢的基礎也有利於商業化，並同時使本發明實施例的3D靜脈圖譜的辨識方法或識別裝置具有辨識精準度高、安全性高、辨識速度快、成本低、隱私度高、識別裝置尺寸較小、使用者易接受等優勢。
10:行動裝置
100、100’、100’’、100A、100B、100D、100E、100F:識別裝置
100E-1:錶頭區
100E-2:腕帶區
110、110B、110D、110E、110F:發光畫素
110C、120C、140C:中心軸
112:第一子發光畫素
114:第二子發光畫素
120、120B、120D、120E、120F:感測畫素
122:子感測畫素
130、130E、130F:顯示畫素
132:子顯示畫素
140、140B、140D:準直元件
150:微晶片
160:處理器
F:臉部
L1:第一光束
L2:第二光束
M:交通工具
P:手掌
R1:第一反射光束
R2:第二反射光束
U:使用者
W:手腕
DB1、DB2、DB3、FP、PP、WP:3D靜脈圖譜
S100、S120、S140:步驟
圖1是根據本發明的一實施例的3D靜脈圖譜的辨識方法的流程圖。 圖2是利用本發明的一實施例的3D靜脈圖譜的辨識方法取得使用者的3D靜脈圖譜的示意圖。 圖3A是根據本發明的第一實施例的識別裝置的俯視示意圖。 圖3B是根據本發明的第一實施例的識別裝置的側視示意圖。 圖4是根據本發明的第二實施例的識別裝置的示意圖。 圖5是根據本發明的第三實施例的識別裝置的示意圖。 圖6是利用本發明的一實施例的3D靜脈圖譜的辨識方法解鎖交通工具的示意圖。 圖7是根據本發明的第四實施例的識別裝置的示意圖。 圖8是根據本發明的第五實施例的識別裝置的示意圖。
S100、S120、S140:步驟

Claims (19)

  1. 一種3D靜脈圖譜的辨識方法，使用一識別裝置來執行以下步驟：利用該識別裝置發出多個第一光束至一使用者的手腕處；使該識別裝置接收來自該手腕的多個第一反射光束，以形成該手腕處的第一3D靜脈圖譜；比對該第一3D靜脈圖譜與一資料庫內的手腕靜脈圖譜之間的差異，以識別該使用者的身分或手勢；若該第一3D靜脈圖譜與該資料庫內的該手腕靜脈圖譜皆不相符，將該第一3D靜脈圖譜新增至該手腕靜脈圖譜；以及根據該新增的手腕靜脈圖譜，利用一卷積神經網路運算法預測該使用者的該身分或該手勢。
  2. 如請求項1所述的3D靜脈圖譜的辨識方法，更包括：使該識別裝置發出多個第二光束至該使用者的臉部或手掌處；使該識別裝置接收來自該臉部或該手掌的多個第二反射光束，以形成該臉部或該手掌處的第二3D靜脈圖譜；以及比對該第二3D靜脈圖譜與該資料庫內的臉部靜脈圖譜或手掌靜脈圖譜之間的差異，以識別該使用者的身分。
  3. 如請求項2所述的3D靜脈圖譜的辨識方法，更包括：若該第二3D靜脈圖譜與該資料庫內的該臉部靜脈圖譜或該手掌靜脈圖譜皆不相符，將該第二3D靜脈圖譜新增至該臉部靜脈 圖譜或該手掌靜脈圖譜；以及根據該新增的臉部靜脈圖譜或手掌靜脈圖譜，利用該卷積神經網路運算法預測該使用者的該身分。
  4. 如請求項2所述的3D靜脈圖譜的辨識方法，其中比對該第一3D靜脈圖譜或該第二3D靜脈圖譜與該資料庫內的該手腕靜脈圖譜或該臉部靜脈圖譜或該手掌靜脈圖譜之間的差異包括：利用一處理器接收該第一3D靜脈圖譜或該第二3D靜脈圖譜；使該處理器利用一影像處理運算加強該第一3D靜脈圖譜或該第二3D靜脈圖譜的對比度；以及使該處理器利用該卷積神經網路運算法比對該加強後的第一3D靜脈圖譜或該加強後的第二3D靜脈圖譜與該資料庫內之間的差異。
  5. 如請求項4所述的3D靜脈圖譜的辨識方法，其中使該處理器利用該卷積神經網路比對該加強後的第一3D靜脈圖譜與該資料庫內之間的差異包括：比對該加強後的第一3D靜脈圖譜與在該資料庫的手腕靜脈圖譜中的多個手勢圖譜之間的相似度，以識別該使用者的該手勢。
  6. 如請求項2所述的3D靜脈圖譜的辨識方法，更包括：在識別該使用者的該身分為正確後，解鎖一交通工具、一行動裝置、一門禁或一行動支付。
  7. 一種3D靜脈圖譜的識別裝置，包括： 多個發光畫素，排成陣列；多個感測畫素，排成陣列；以及一處理器，電性連接至該些發光畫素與該些感測畫素，其中該處理器控制該些發光畫素發出多個光束至一使用者的手腕處，使該些感測畫素接收來自該手腕的多個反射光束，該處理器根據該些反射光束形成該手腕處的3D靜脈圖譜，並比對該3D靜脈圖譜與一資料庫內的手腕靜脈圖譜之間的差異，以識別該使用者的身分或手勢，其中，若該3D靜脈圖譜與該資料庫內的該手腕靜脈圖譜皆不相符，該處理器將該3D靜脈圖譜新增至該手腕靜脈圖譜；以及根據該新增的手腕靜脈圖譜，該處理器利用一卷積神經網路運算法預測該使用者的該身分或該手勢。
  8. 如請求項7所述的3D靜脈圖譜的識別裝置，其中該些發光畫素與該些感測畫素設置在同一平面上，且每一發光畫素環繞該些感測畫素的其中之一。
  9. 如請求項8所述的3D靜脈圖譜的識別裝置，其中每一發光畫素包括：多個第一子發光畫素；以及多個第二子發光畫素，其中該些第一子發光畫素及該些第二子發光畫素交錯排列且環繞該些感測畫素的其中之一。
  10. 如請求項9所述的3D靜脈圖譜的識別裝置，其中該些第一子發光畫素的發光波長落在850奈米±50的範圍內或940±50奈米的範圍內的其中之一，且該些第二子發光畫素的發光波長落在850奈米±50的範圍內或940±50奈米的範圍內的其中之另一。
  11. 如請求項8所述的3D靜脈圖譜的識別裝置，更包括：多個準直元件，分別設置在該些感測畫素上，其中該些感測畫素的中心軸與該些準直元件的光軸互相重合。
  12. 如請求項8所述的3D靜脈圖譜的識別裝置，更包括：多個顯示畫素，排成陣列，其中每一發光畫素及其所環繞的感測畫素設置在該些顯示畫素的其中之一旁。
  13. 如請求項7所述的3D靜脈圖譜的識別裝置，其中該些發光畫素分別設置在該些感測畫素上，且該些發光畫素的中心軸分別與該些感測畫素的中心軸互相重合。
  14. 如請求項13所述的3D靜脈圖譜的識別裝置，其中每一發光畫素包括彼此交錯排列的多個第一子發光畫素以及多個第二子發光畫素；每一感測畫素包括彼此交錯排列的多個子感測畫素； 其中該些第一子發光畫素與該些第二子發光畫素沿其發光畫素的中心軸的投影與該些子感測畫素交錯排列。
  15. 如請求項13所述的3D靜脈圖譜的識別裝置，更包括：多個準直元件，分別設置在該些感測畫素上，其中該些準直元件位於該些感測畫素與該些發光畫素之間。
  16. 如請求項7所述的3D靜脈圖譜的識別裝置，其中該些發光畫素與該些感測畫素交錯排列且設置在同一平面上。
  17. 如請求項16所述的3D靜脈圖譜的識別裝置，更包括：多個準直元件，分別設置在該些感測畫素上，其中該些感測畫素的中心軸與該些準直元件的光軸互相重合。
  18. 如請求項7所述的3D靜脈圖譜的識別裝置，其中該識別裝置為手腕部裝置，且具有一錶頭區以及一腕帶區，該錶頭區與該腕帶相連接，該手腕部裝置更包括：多個顯示畫素，排成陣列，且設置在該錶頭區；其中該些發光畫素及該些感測畫素設置在該腕帶區。
  19. 如請求項7所述的3D靜脈圖譜的識別裝置，其中該識別裝置為手腕部裝置，且具有一錶頭區以及一腕帶區，該錶頭區與該腕帶相連接，該手腕部裝置更包括：多個顯示畫素，排成陣列，且設置在該錶頭區的一側； 其中該些發光畫素及該些感測畫素設置在該錶頭區相對於該些顯示畫素的另一側。
TW110145078A 2021-12-02 2021-12-02 3d靜脈圖譜的辨識方法及其識別裝置 TWI802123B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW110145078A TWI802123B (zh) 2021-12-02 2021-12-02 3d靜脈圖譜的辨識方法及其識別裝置
US17/557,061 US20230177870A1 (en) 2021-12-02 2021-12-21 Recognition method of 3d vein pattern and recognition device thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW110145078A TWI802123B (zh) 2021-12-02 2021-12-02 3d靜脈圖譜的辨識方法及其識別裝置

Publications (2)

Publication Number Publication Date
TWI802123B true TWI802123B (zh) 2023-05-11
TW202324190A TW202324190A (zh) 2023-06-16

Family

ID=86607831

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110145078A TWI802123B (zh) 2021-12-02 2021-12-02 3d靜脈圖譜的辨識方法及其識別裝置

Country Status (2)

Country Link
US (1) US20230177870A1 (zh)
TW (1) TWI802123B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10558278B2 (en) 2017-07-11 2020-02-11 Apple Inc. Interacting with an electronic device through physical movement
US20220374085A1 (en) * 2021-05-19 2022-11-24 Apple Inc. Navigating user interfaces using hand gestures
WO2024135431A1 (ja) * 2022-12-22 2024-06-27 富士フイルム株式会社 イメージングモジュール、ウェアラブル電子デバイス

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140016832A1 (en) * 2010-12-09 2014-01-16 Los Angeles Biomedical Research Institute Method and an apparatus for determining vein patterns from a colour image
CN111259858A (zh) * 2020-02-14 2020-06-09 上海闻泰信息技术有限公司 指静脉识别系统、方法、装置、电子设备及存储介质
TW202038137A (zh) * 2018-12-12 2020-10-16 美商太斯萊特健康股份有限公司 用於生物識別及健康狀態測定之光學設備及相關裝置
CN112036383A (zh) * 2020-11-04 2020-12-04 北京圣点云信息技术有限公司 一种基于手静脉的身份识别方法及装置
CN112560590A (zh) * 2020-11-30 2021-03-26 安徽澄小光智能科技有限公司 利用腕静脉主动识别身份的智能穿戴设备

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002092616A (ja) * 2000-09-20 2002-03-29 Hitachi Ltd 個人認証装置
KR102216126B1 (ko) * 2014-07-31 2021-02-16 삼성전자주식회사 정맥 인증을 이용하여 동작하는 웨어러블 디바이스 및 웨어러블 디바이스의 동작 방법
CN106407881B (zh) * 2015-07-29 2020-07-31 财团法人工业技术研究院 生物辨识装置及方法与穿戴式载体
US10679081B2 (en) * 2015-07-29 2020-06-09 Industrial Technology Research Institute Biometric device and wearable carrier
KR102480294B1 (ko) * 2016-05-04 2022-12-23 엘지전자 주식회사 웨어러블 디바이스 및 웨어러블 디바이스의 제어 방법
CN106919941B (zh) * 2017-04-26 2018-10-09 华南理工大学 一种三维手指静脉识别方法及系统
KR101882281B1 (ko) * 2017-09-15 2018-08-24 엘지전자 주식회사 디지털 디바이스 및 그의 생체 인증 방법
US11995166B2 (en) * 2020-12-17 2024-05-28 Jvckenwood Corporation Biometric authentication through vascular studies

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140016832A1 (en) * 2010-12-09 2014-01-16 Los Angeles Biomedical Research Institute Method and an apparatus for determining vein patterns from a colour image
TW202038137A (zh) * 2018-12-12 2020-10-16 美商太斯萊特健康股份有限公司 用於生物識別及健康狀態測定之光學設備及相關裝置
CN111259858A (zh) * 2020-02-14 2020-06-09 上海闻泰信息技术有限公司 指静脉识别系统、方法、装置、电子设备及存储介质
CN112036383A (zh) * 2020-11-04 2020-12-04 北京圣点云信息技术有限公司 一种基于手静脉的身份识别方法及装置
CN112560590A (zh) * 2020-11-30 2021-03-26 安徽澄小光智能科技有限公司 利用腕静脉主动识别身份的智能穿戴设备

Also Published As

Publication number Publication date
TW202324190A (zh) 2023-06-16
US20230177870A1 (en) 2023-06-08

Similar Documents

Publication Publication Date Title
TWI802123B (zh) 3d靜脈圖譜的辨識方法及其識別裝置
US11460885B2 (en) Eyewear device with fingerprint sensor for user input
US11100204B2 (en) Methods and devices for granting increasing operational access with increasing authentication factors
US10657363B2 (en) Method and devices for authenticating a user by image, depth, and thermal detection
CN110692062B (zh) 虹膜代码的累积和置信分配
KR102175595B1 (ko) 펄스형 광원을 이용한 근접 평면 분할
US20190130082A1 (en) Authentication Methods and Devices for Allowing Access to Private Data
KR101728635B1 (ko) 표정을 인식하기 위한 장치 및 방법
KR20160018318A (ko) 지문 인식 방법, 장치 및 시스템
KR101923320B1 (ko) 디스플레이에서의 지문 인식이 가능한 사용자 단말기 및 지문 인식 방법
US10452958B2 (en) System and method for image comparison based on hyperplanes similarity
US20190156003A1 (en) Methods and Systems for Launching Additional Authenticators in an Electronic Device
US11995166B2 (en) Biometric authentication through vascular studies
US20220172505A1 (en) Biometrics authentication device and biometrics authentication method for authenticating a person with reduced computational complexity
KR100553961B1 (ko) 지문 인증방법 및 그 지문 인증기능을 구비한 포인팅 장치
JP6346294B2 (ja) 測距光生成装置
JP2020042404A (ja) 撮像装置、構造物、情報処理装置、および生体認証システム
TWI647622B (zh) 生物辨識裝置
WO2020191595A1 (zh) 生物特征识别装置、方法和电子设备
CN113762227B (zh) 一种多姿态人脸识别方法
WO2021162682A1 (en) Fingerprint sensors with reduced-illumination patterns
WO2019077863A1 (ja) 識別装置及び電子機器
CN111566663B (zh) 用于光学脸部识别的多区域照明
JP7219429B2 (ja) 生体認証装置および生体認証方法
Zhernova Touchless Gesture Recognition for Smart Mirrors