TWI762007B - 手勢辨識系統以及手勢辨識方法 - Google Patents

手勢辨識系統以及手勢辨識方法 Download PDF

Info

Publication number
TWI762007B
TWI762007B TW109137552A TW109137552A TWI762007B TW I762007 B TWI762007 B TW I762007B TW 109137552 A TW109137552 A TW 109137552A TW 109137552 A TW109137552 A TW 109137552A TW I762007 B TWI762007 B TW I762007B
Authority
TW
Taiwan
Prior art keywords
fingerprint image
fingerprint
coordinate
gesture recognition
gesture
Prior art date
Application number
TW109137552A
Other languages
English (en)
Other versions
TW202125204A (zh
Inventor
葉肇懿
林冠儀
Original Assignee
神盾股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 神盾股份有限公司 filed Critical 神盾股份有限公司
Publication of TW202125204A publication Critical patent/TW202125204A/zh
Application granted granted Critical
Publication of TWI762007B publication Critical patent/TWI762007B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/13—Sensors therefor
    • G06V40/1318—Sensors therefor using electro-optical elements or layers, e.g. electroluminescent sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/1335—Combining adjacent partial images (e.g. slices) to create a composite input or reference pattern; Tracking a sweeping finger movement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/1347—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/1365—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/033—Indexing scheme relating to G06F3/033
    • G06F2203/0338—Fingerprint track pad, i.e. fingerprint sensor used as pointing device tracking the fingertip image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Image Input (AREA)

Abstract

本發明提出一種手勢辨識系統以及手勢辨識方法。手勢辨識系統包括指紋感測器以及處理電路。處理電路經由指紋感測器取得第一指紋影像以及第二指紋影像。處理電路取得在第一指紋影像當中的多個第一座標點的多個第一座標參數，以及取得在第二指紋影像當中的多個第二座標點的多個第二座標參數。第一指紋影像的多個第一座標點與第二指紋影像的多個第二座標點分別具有相互對應的多個灰階值。處理電路依據多個第一座標參數以及多個第二座標參數來判斷手勢操作。

Description

手勢辨識系統以及手勢辨識方法
本發明是有關於一種辨識系統，且特別是有關於一種手勢辨識系統以及手勢辨識方法。
對於現有的觸控感測面板而言，如觸控感測面板進一步整合有指紋感測器，則由於觸控感測面板的觸控面板及顯示面板再加上指紋感測器的感測單元層，因此將會導致整體的面板厚度增加。有鑑於此，以下將提出可替代觸控面板的觸控感應功能的幾個實施例的解決方案。
本發明提供一種手勢辨識系統以及手勢辨識方法可通過比對使用者的指紋影像來辨識使用者的手勢。
本發明的手勢辨識系統包括指紋感測器以及處理電路。處理電路耦接指紋感測器。處理電路用以經由指紋感測器取得第一指紋影像以及第二指紋影像。處理電路取得在第一指紋影像當中的多個第一座標點的多個第一座標參數，以及取得在第二指紋影像當中的多個第二座標點的多個第二座標參數。第一指紋影像的多個第一座標點與第二指紋影像的多個第二座標點分別具有相互對應的多個灰階值。處理電路依據多個第一座標參數以及多個第二座標參數來判斷手勢操作。
本發明的手勢辨識方法包括以下步驟：取得第一指紋影像以及第二指紋影像；取得在第一指紋影像當中的多個第一座標點的多個第一座標參數，並且取得在第二指紋影像當中的多個第二座標點的多個第二座標參數；以及依據多個第一座標參數以及多個第二座標參數來判斷手勢操作。第一指紋影像的多個第一座標點與第二指紋影像的多個第二座標點分別具有相互對應的多個灰階值。
基於上述，本發明的手勢辨識系統以及手勢辨識方法可依據使用者的指紋數位影像的指紋位置變化來辨識使用者的手勢。
為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。
為了使本揭露之內容可以被更容易明瞭，以下特舉實施例做為本揭露確實能夠據以實施的範例。另外，凡可能之處，在圖式及實施方式中使用相同標號的元件/構件/步驟，係代表相同或類似部件。
圖1是本發明的一實施例的手勢辨識系統的示意圖。參考圖1，手勢辨識系統100可為具有指紋感測功能的電子裝置，其中電子裝置可例如是手機、平板電腦、移動式裝置、穿戴示裝置等。手勢辨識系統100包括面板110、指紋感測器120以及處理電路130。指紋感測器120耦接處理電路130。在本實施例中，指紋感測器120可為全屏指紋感測器，並且包括多個薄膜電晶體影像感測單元設置在面板110的像素陣列中。面板110可例如是發光二極體(Light-Emitting Diode，LED)顯示面板、有機發光二極體(Organic Light-Emitting Diode，OLED)顯示面板或其他類型的顯示面板，因此所述像素陣列可例如由多個發光二極體像素單元以及所述多個薄膜電晶體影像感測單元陣列排列而成。在其他實施例中，指紋感測器120可為大面積的光學式指紋感測器，設置於面板110下方。
圖2是本發明的一實施例的手勢辨識系統的電路示意圖。參考圖1以及圖2，處理電路130可包括類比至數位轉換器131以及微控制器132。類比至數位轉換器131耦接指紋感測器120。微控制器132耦接應用模組140，其中應用模組140可例如是由電子裝置的中央處理單元執行的軟體程式，例如手機的中央處理器。在本實施例中，使用者可將手指放置在面板110上移動、轉動或滑動旋轉，以使指紋感測器120可連續取得使用者的多張指紋影像的感測信號，並且輸出至類比至數位轉換器131來產生所述多張指紋影像。在本實施例中，微控制器132可分析所述多張指紋影像的指紋位置變化來判斷使用者的手勢，並將對應的手勢操作資訊提供至應用模組140。在本實施例中，應用模組140可例如是儲存在電子裝置當中的應用軟體，並且應用模組140可依據手勢操作資訊來執行相對應的操作。
圖3是本發明的一實施例的手勢辨識方法的流程圖。參考圖1至圖3，手勢辨識系統100可執行如圖3的步驟S310~S350。在本實施例中，當使用者的手指放置或按壓在面板110上時，指紋感測器120可連續感測使用者的指紋。因此，在步驟S310，指紋感測器120可取得第一感測信號以及第二感測信號，其中所述第一感測信號例如對應於使用者的手指在第一時間點的位置的感測結果，並且所述第二感測信號例如對應於使用者的手指在第二時間點的位置的感測結果。指紋感測器120輸出第一感測信號以及第二感測信號至處理電路130。在步驟S320，處理電路130可將第一感測信號以及第二感測信號轉換為第一指紋影像以及第二指紋影像。在本實施例中，處理電路130的類比至數位轉換器131可分別將類比的第一感測信號以及第二感測信號轉換為第一數位信號以及第二數位信號，並接著將第一數位信號以及第二數位信號輸出至微控制器132，以使微控制器132可依據第一數位信號以及第二數位信號來產生第一指紋影像以及第二指紋影像。
在本實施例中，微控制器132可分析第一指紋影像以及第二指紋影像中的多個特徵點。在一實施例中，微控制器132可選擇具有相同的灰階值或在灰階值範圍(例如灰階值200~220)內的多個灰階值的多個座標點的所述多個特徵點來進行以下分析與判斷，但本發明並不限於此。因此，在步驟S330，微控制器132可取得在第一指紋影像中的多個第一座標點的多個第一座標參數。在步驟S340，微控制器132可取得在第二指紋影像中的多個第二座標點的多個第二座標參數。在步驟S350，微控制器132可依據所述多個第一座標參數以及所述多個第二座標參數來判斷手勢操作。對此，由於所述第一指紋影像以及所述第二指紋影像對應於相同指紋，因此本實施例的微控制器132可依據在所述第一指紋影像以及所述第二指紋影像當中的同一特徵點所分別對應的座標參數的位移變化、角度變化或同時使用位移與角度變化結果來判斷使用者的手指在指紋感測器120上的手勢動作。
值得注意的是，在一實施例中，微控制器132或應用模組140可先判斷所述第一指紋影像是否過指紋驗證。若所述第一指紋影像未通過指紋驗證，則微控制器132或應用模組140不執行相關操作。若所述第一指紋影像通過指紋驗證，則微控制器132或應用模組140將執行相關操作。舉例而言，應用模組140可例如用於執行電子裝置的螢幕解屏或鎖屏。當所述第一指紋影像通過指紋驗證時，應用模組140可更進一步依據判斷手勢操作來決定是否進行螢幕解屏或鎖屏，而提供具有安全性佳的螢幕解屏或鎖屏操作。當然，本發明亦可判斷所述第一指紋影像以及所述第二指紋影像是否皆通過指紋驗證，以提高安全性確認的層級。
圖4是本發明的一實施例的辨識原地轉動手勢以及滑動旋動手勢的流程圖。圖5A以及圖5B是本發明的一實施例的原地轉動手勢的指紋影像示意圖。圖6是本發明的一實施例的滑動旋動手勢的指紋影像示意圖。在本實施例中，微控制器132可進一步執行如圖4的步驟S410~S450，以實現辨識原地轉動手勢以及滑動旋動手勢的功能。步驟S410~S450可為圖3的步驟S350的進一步實施手段。先參考圖1至圖5B，在本實施例中，微控制器132可取得如圖5A以及圖5B所示的第一指紋影像510以及第二指紋影像520。微控制器132可分別選擇在第一指紋影像510的以及第二指紋影像520當中在灰階值範圍(例如灰階值200~220)內的多個灰階值的多個座標點，以例如取得對應所述多個灰階值的所述多個座標點分別在第一指紋影像510以及第二指紋影像520當中的多個第一座標點a1~a4的多個第一座標參數以及多個第二座標點b1~b4的多個第二座標參數。微控制器132可例如採用光流法(optical flow method)來辨識第一指紋影像510以及第二指紋影像520當中相近灰階值，以通過檢測影像像素點的強度(像素值或灰階值)隨時間變化而推斷出影像中的物體移動速度、方向以及軌跡。值得注意的是，所述多個座標點分別在第一指紋影像510以及第二指紋影像520當中所相對應的多個第一灰階值與多個第二灰階值為等比例關係。舉例而言，第一指紋影像510的第一座標點a1~a4的第一灰階值g1~g4以及第二指紋影像520的第二座標點b1~b4的第二灰階值h1~h4的關係可如以下式(1)，其中i為正整數，並且m為大於0的權重值。
Figure 02_image001
…………式(1)
在步驟S410，微控制器132可依據所述多個第一座標參數以及所述多個第二座標參數計算角度參數(
Figure 02_image003
)。舉例而言，所述角度參數(
Figure 02_image003
)可如以下式(2)、式(3)來取得，其中所述多個第一座標參數為(xi,yi)，並且所述多個第二座標參數為(xi’,yi’)。值得注意的是，在一實施例中，微控制器132可依據最多數量出現相同的旋轉角度所對應的座標參數來用於以下的手勢操作。
Figure 02_image005
…………式(2)
Figure 02_image007
…………式(3)
在步驟S420，微控制器132可輸出角度參數(
Figure 02_image003
)至應用模組140。應用模組140可依據所述角度參數(
Figure 02_image003
)來進行轉動手勢操作。在步驟S430，應用模組140可判斷第一指紋影像510與第二指紋影像520之間的數值範圍(曝光值的範圍)是否小於或等於預設閾值，其中預設閾值可例如是200(數位值)。對此，由於使用者的手指為放置在面板110對應指紋感測器120的感測區域的上原地轉動(單點持續按壓)，第一指紋影像510與第二指紋影像520所對應的類比至數位轉換器輸出值(曝光值)的變化較小，其範圍例如在340~450之間。對此，第一指紋影像510與第二指紋影像520分別的平均的類比至數位轉換器輸出值的數位值的差值例如是100，因此小於上述的預設閾值200(100＜200)。依據圖5A以及圖5B實施例，應用模組140可判斷第一指紋影像510與第二指紋影像520之間的數值範圍小於預設閾值。在步驟S440，應用模組140可依據角度參數來進行原地轉動手勢操作，例如轉動顯示介面中的圖標(Icon)的圖標角度。因此，本實施例的流程以及手勢辨識系統100可有效地辨識使用者的原地轉動手勢。
再參考圖1至圖4以及圖6，在另一實施例中，微控制器132可取得如圖6所示的第一指紋影像610以及第二指紋影像620。第一指紋影像610以及第二指紋影像620分別在指紋感測器120所取得的整體感測影像中的位置以及角度不同。在本實施例中，微控制器132可分別選擇在第一指紋影像610以及第二指紋影像620當中在灰階值範圍內的多個灰階值的多個座標點，以例如取得對應所述多個座標點分別在第一指紋影像610以及第二指紋影像620當中的多個第一座標點c1~c4的多個第一座標參數以及多個第二座標點d1~d4的多個第二座標參數。值得注意的是，所述多個座標點分別在第一指紋影像610以及第二指紋影像620當中所相對應的多個第一灰階值與多個第二灰階值為等比例關係(例如滿足上述式(1))。
在步驟S410，微控制器132可同樣如上述式(2)、式(3)的關係式來依據所述多個第一座標參數以及所述多個第二座標參數計算角度參數(
Figure 02_image003
)。在步驟S420，微控制器132可輸出角度參數(
Figure 02_image003
)至應用模組140。應用模組140可依據所述角度參數(
Figure 02_image003
)來進行轉動手勢操作。在步驟S430，應用模組140可判斷第一指紋影像610與第二指紋影像620之間的數值範圍是否小於或等於預設閾值。對此，由於使用者的手指為放置在指紋感測器120的感測區域的上滑動旋轉(過程中手指稍微離開指紋感測器)，第一指紋影像610與第二指紋影像620所對應的類比至數位轉換器輸出值的變化較大，其範圍例如在300~1000之間。對此，第一指紋影像510與第二指紋影像520分別的平均類比至數位轉換器輸出值的數位值的差值例如是700，因此大於上述的預設閾值200(700＞200)。對此，在步驟S440，應用模組140可依據角度參數來進行滑動旋轉手勢操作，例如將電子裝置的顯示畫面轉動90度。因此，本實施例的流程以及手勢辨識系統100可有效地辨識使用者的滑動旋轉手勢。
然而，上述的原地轉動手勢操作及滑動旋轉手勢操作並不限於必須執行上述的步驟S430所執行的指紋影像的數值範圍(曝光值的範圍)判斷。在本發明的其他實施例中，應用模組140依據當前的使用情境而僅依序執行步驟S410、S420、S440(未執行步驟S430)以依據角度參數來實現所述原地轉動手勢操作，或者應用模組140也可僅依序執行步驟S410、S420、S450(未執行步驟S430)以依據角度參數來實現所述滑動旋轉手勢操作。
圖7是本發明的一實施例的辨識移動手勢的流程圖。圖8是本發明的一實施例的移動手勢的指紋影像示意圖。在本實施例中，微控制器132可進一步執行如圖7的步驟S710~S730，以實現辨識移動手勢的功能。步驟S710~S730可為圖3的步驟S350的進一步實施手段。參考圖1至圖3以及圖7至圖8，在本實施例中，微控制器132可取得如圖8所示的第一指紋影像810以及第二指紋影像820。第一指紋影像810以及第二指紋影像820分別在指紋感測器120所取得的整體感測影像中的位置不同。
在本實施例中，微控制器132可分別選擇在第一指紋影像810以及第二指紋影像820當中在灰階值範圍內的多個灰階值的多個座標點，以例如取得對應所述多個灰階值的所述多個座標點分別在第一指紋影像810以及第二指紋影像820當中的多個第一座標點e1~e4的多個第一座標參數以及多個第二座標點f1~f4的多個第二座標參數。值得注意的是，所述多個座標點分別在第一指紋影像810以及第二指紋影像820當中所相對應的多個第一灰階值與多個第二灰階值為等比例關係(例如滿足上述式(1))。
在步驟S710，微控制器132可依據所述多個第一座標參數以及所述多個第二座標參數計算位移參數(
Figure 02_image009
及/或
Figure 02_image011
)。舉例而言，所述位移參數(
Figure 02_image009
及/或
Figure 02_image011
)可如以下式(4)、式(5)及/或式(6)、式(7)來取得，其中所述多個第一座標參數為(xi,yi)，並且所述多個第二座標參數為(xi’,yi’)。值得注意的是，在一實施例中，微控制器132可依據最多數量出現相同的位移量所對應的座標參數來用於以下的手勢操作。
Figure 02_image013
…………式(4)
Figure 02_image015
…………式(5)
Figure 02_image017
…………式(6)
Figure 02_image019
…………式(7)
在步驟S720，微控制器132可輸出位移參數(
Figure 02_image009
及/或
Figure 02_image011
)至應用模組140。在步驟S430，應用模組140可依據所述位移參數(
Figure 02_image009
及/或
Figure 02_image011
)來決定位移距離與位置，而進行移動手勢操作。舉例而言，應用模組140可依據位移參數(
Figure 02_image009
及/或
Figure 02_image011
)來決定顯示圖標(Icon)在顯示介面中的位移距離，例如顯示介面中的顯示介面中的X方向或Y方向上的位移距離，以移動顯示於顯示介面中的圖標(Icon)的圖標位置。因此，本實施例的流程以及手勢辨識系統100可有效地辨識使用者的移動手勢。
圖9是本發明的一實施例的指紋感測器的結構示意圖。參考圖1以及圖9，若圖1的指紋感測器120為全屏指紋感測器，則指紋感測器120可包括多個薄膜電晶體影像感測單元。在本實施例中，指紋感測器120可包括形成於多個薄膜電晶體影像感測單元上的多個微透鏡結構。圖9為表示一部分的指紋感測器120的結構。如圖9的結構900所示，指紋感測器120的薄膜電晶體影像感測單元911、912設置於底層，並且薄膜電晶體影像感測單元911、912上方可形成第一擋光層921，其中第一擋光層921的開口922、923在光感測方向對應於薄膜電晶體影像感測單元911、912。第一擋光層921上方的距離一段高度的位置可再形成第二擋光層931，其中第二擋光層931的開口932、933在光感測方向對應於開口922、923。開口932、933的開口面積大於開口932、933，並且開口932、933的開口中心軸線與開口932、933的開口中心軸線重疊(或稱具有相同開口中心軸線重疊)。
第一擋光層921與第二擋光層931之間可為透明材料層。接著，在第二擋光層931上方形成透明材料層940，並且透明材料層940上方形成微透鏡結構951、952。微透鏡結構951、952在光感測方向對應於薄膜電晶體影像感測單元911、912，以將感測光通過開口922、923、932、933聚焦至薄膜電晶體影像感測單元911、912。此外，在本實施例中，結構900總高度小於200微米(micrometer)。
圖10是本發明的另一實施例的指紋感測器的結構示意圖。參考圖1以及圖10，若圖1的指紋感測器120為全屏指紋感測器，則指紋感測器120可包括多個薄膜電晶體影像感測單元。在本實施例中，指紋感測器120可包括形成於多個薄膜電晶體影像感測單元上的多個方形錐狀孔洞。圖10為表示一部分的指紋感測器120的結構。如圖10的結構1000所示，指紋感測器120的薄膜電晶體影像感測單元陣列1010設置於底層，並且薄膜電晶體影像感測單元陣列1010上方可形成導光層1020，其中導光層1020包括多個方形錐狀孔洞1021~1024。導光層1020的方形錐狀孔洞1021~1024被黑色材料或吸光材料(斜線區域)包圍。因此，方形錐狀孔洞1021~1024可感測光通過方形錐狀孔洞1021~1024導光至薄膜電晶體影像感測單元陣列的在光感測方向對應的多個感測單元。此外，在本實施例中，結構1000總高度小於200微米。
綜上所述，本發明的手勢辨識系統以及手勢辨識方法，可通過指紋感測器來實現觸控面板的觸控功能例如辨識使用者的原地轉動手勢、滑動旋轉手勢以及移動手勢。換言之，在一些實施情境中，本發明的手勢辨識系統以及手勢辨識方法所利用的指紋感測器可用於取代設備本身的觸控面板，而減少設備成本與設備體積。或者，在另一些實施情境中，本發明的手勢辨識系統以及手勢辨識方法可搭配既有的觸控系統來提供額外的觸控功能或可額外用於特殊使用條件的觸控手段，例如設備要求取得需通過指紋辨識的觸控手勢。
雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
100:手勢辨識系統 110:面板 120:指紋感測器 130:處理電路 131:類比至數位轉換器 132:微控制器 140:應用模組 510、520、610、620、810、820:指紋影像 900:結構 911、912:薄膜電晶體影像感測單元 921、931:擋光層 922、923、932、933:開口 940:透明材料層 951、952:微透鏡結構 1000:結構 1010:薄膜電晶體影像感測單元陣列 1020:導光層 1021~1024:孔洞 a1~a4、b1~b4、c1~c4、d1~d4、e1~e4、f1~f4:座標點 S310~S350、S410~440、S710~S730:步驟
圖1是本發明的一實施例的手勢辨識系統的示意圖。 圖2是本發明的一實施例的手勢辨識系統的電路示意圖。 圖3是本發明的一實施例的手勢辨識方法的流程圖。 圖4是本發明的一實施例的辨識原地轉動手勢以及滑動旋動手勢的流程圖。 圖5A以及圖5B是本發明的一實施例的原地轉動手勢的指紋影像示意圖。 圖6是本發明的一實施例的滑動旋動手勢的指紋影像示意圖。 圖7是本發明的一實施例的辨識移動手勢的流程圖。 圖8是本發明的一實施例的移動手勢的指紋影像示意圖。 圖9是本發明的一實施例的指紋感測器的結構示意圖。 圖10是本發明的另一實施例的指紋感測器的結構示意圖。
S310~S350:步驟

Claims (11)

  1. 一種手勢辨識系統，包括：一指紋感測器；以及一處理電路，耦接所述指紋感測器，用以經由所述指紋感測器取得一第一指紋影像以及一第二指紋影像，所述處理電路依據一灰階值範圍分別選擇在所述第一指紋影像以及所述第二指紋影像的多個座標點，並且取得在所述第一指紋影像當中的多個第一座標點的多個第一座標參數，以及取得在所述第二指紋影像當中的多個第二座標點的多個第二座標參數，其中所述第一指紋影像的所述多個第一座標點與所述第二指紋影像的所述多個第二座標點分別具有相互對應的多個灰階值，其中所述處理電路依據所述多個第一座標參數以及所述多個第二座標參數來判斷一手勢操作，其中所述多個座標點分別在所述第一指紋影像以及所述第二指紋影像當中所相對應的多個第一灰階值與多個第二灰階值為一等比例關係。
  2. 如請求項1所述的手勢辨識系統，其中所述第一指紋影像通過指紋驗證，或所述第一指紋影像與所述第二指紋影像皆通過指紋驗證。
  3. 如請求項1所述的手勢辨識系統，其中所述處理電路依據所述多個第一座標參數以及所述多個第二座標參數計算一角 度參數或一位移參數，並且一應用模組依據所述角度參數或所述位移參數進行一手勢操作。
  4. 如請求項3所述的手勢辨識系統，其中所述應用模組依據一預設閾值比較所述第一指紋影像與所述第二指紋影像之間的一數值範圍，以決定進行的所述手勢操作為一原地轉動手勢操作或一滑動旋轉手勢操作。
  5. 如請求項4所述的手勢辨識系統，其中所述數值範圍為所述第一指紋影像與所述第二指紋影像之一曝光值差值。
  6. 如請求項1所述的手勢辨識系統，其中所述指紋感測器為一全屏指紋感測器，並且所述指紋感測器包括多個薄膜電晶體影像感測單元。
  7. 一種手勢辨識方法，包括：取得一第一指紋影像以及一第二指紋影像；取得在所述第一指紋影像當中的多個第一座標點的多個第一座標參數，並且取得在所述第二指紋影像當中的多個第二座標點的多個第二座標參數，包括：依據一灰階值範圍分別選擇在所述第一指紋影像以及所述第二指紋影像的多個座標點，並取得分別在所述第一指紋影像以及所述第二指紋影像當中的所述多個第一座標參數以及所述多個第二座標參數；以及依據所述多個第一座標參數以及所述多個第二座標參數來判斷一手勢操作， 其中所述第一指紋影像的所述多個第一座標點與所述第二指紋影像的所述多個第二座標點分別具有相互對應的多個灰階值，其中所述多個座標點分別在所述第一指紋影像以及所述第二指紋影像當中所相對應的多個第一灰階值與多個第二灰階值為一等比例關係。
  8. 如請求項7所述的手勢辨識方法，其中所述第一指紋影像通過指紋驗證，或所述第一指紋影像以及所述第二指紋影像皆通過指紋驗證。
  9. 如請求項7所述的手勢辨識方法，更包括：依據所述多個第一座標參數以及所述多個第二座標參數計算一角度參數或一位移參數；以及通過一應用模組依據所述角度參數或所述位移參數進行一手勢操作。
  10. 如請求項9所述的手勢辨識方法，其中通過所述應用模組依據所述角度參數或所述位移參數進行所述手勢操作的步驟包括：通過所述應用模組依據一預設閾值比較所述第一指紋影像與所述第二指紋影像之間的一數值範圍，以決定進行的所述手勢操作為一原地轉動手勢操作或一滑動旋轉手勢操作。
  11. 如請求項10所述的手勢辨識方法，其中所述數值範圍為所述第一指紋影像與所述第二指紋影像之一曝光值差值。
TW109137552A 2019-12-26 2020-10-29 手勢辨識系統以及手勢辨識方法 TWI762007B (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201962953590P 2019-12-26 2019-12-26
US62/953,590 2019-12-26
US201962954676P 2019-12-30 2019-12-30
US62/954,676 2019-12-30
US202063028575P 2020-05-22 2020-05-22
US63/028,575 2020-05-22

Publications (2)

Publication Number Publication Date
TW202125204A TW202125204A (zh) 2021-07-01
TWI762007B true TWI762007B (zh) 2022-04-21

Family

ID=74268370

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109137552A TWI762007B (zh) 2019-12-26 2020-10-29 手勢辨識系統以及手勢辨識方法

Country Status (5)

Country Link
US (1) US11600117B2 (zh)
KR (1) KR20220062120A (zh)
CN (1) CN112257634B (zh)
TW (1) TWI762007B (zh)
WO (1) WO2021129134A1 (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105630325A (zh) * 2015-08-31 2016-06-01 宇龙计算机通信科技(深圳)有限公司 基于指纹识别的手势操控方法、装置以及终端
TW201624348A (zh) * 2014-12-19 2016-07-01 比亞迪股份有限公司 指紋識別系統及指紋識別方法及電子設備
CN107122760A (zh) * 2017-05-16 2017-09-01 广东欧珀移动通信有限公司 指纹识别方法及相关产品
US20180101715A1 (en) * 2016-10-11 2018-04-12 Samsung Electronics Co., Ltd. Electronic device having plurality of fingerprint sensing modes and method for controlling the same
US20180113548A1 (en) * 2016-10-24 2018-04-26 Lg Display Co., Ltd. Touch screen device with integrated fingerprint sensor and method of driving of the same
TW201820206A (zh) * 2016-11-18 2018-06-01 大陸商比亞迪股份有限公司 指紋識別方法及電子裝置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160032611A (ko) * 2014-09-16 2016-03-24 삼성전자주식회사 터치 입력을 이용하여 전자 장치를 제어하는 방법 및 장치
CN104331656B (zh) * 2014-11-22 2017-11-07 广东欧珀移动通信有限公司 一种基于指纹识别传感器安全操作文件的方法及装置
US9514352B2 (en) * 2014-12-18 2016-12-06 Eaton Corporation Fingerprint enrollment using touch sensor data
US20160364600A1 (en) * 2015-06-10 2016-12-15 Microsoft Technology Licensing, Llc Biometric Gestures
US10229657B2 (en) 2015-06-17 2019-03-12 International Business Machines Corporation Fingerprint directed screen orientation
CN105528592A (zh) * 2016-01-18 2016-04-27 北京集创北方科技股份有限公司 一种指纹扫描和手势识别方法及装置
TWI620099B (zh) 2016-08-08 2018-04-01 宏達國際電子股份有限公司 決定畫面顯示方向之方法及使用其之電子裝置與電腦可讀取紀錄媒體
CN106502570B (zh) * 2016-10-25 2020-07-31 科世达（上海）管理有限公司 一种手势识别的方法、装置及车载系统
SE1751288A1 (en) * 2017-10-17 2019-04-18 Fingerprint Cards Ab Method of controlling an electronic device
CN108182046A (zh) 2017-12-29 2018-06-19 努比亚技术有限公司 控制屏幕旋转的方法及移动终端
CN108962159B (zh) 2018-06-25 2021-04-06 海信视像科技股份有限公司 图像显示方法和装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201624348A (zh) * 2014-12-19 2016-07-01 比亞迪股份有限公司 指紋識別系統及指紋識別方法及電子設備
CN105630325A (zh) * 2015-08-31 2016-06-01 宇龙计算机通信科技(深圳)有限公司 基于指纹识别的手势操控方法、装置以及终端
US20180101715A1 (en) * 2016-10-11 2018-04-12 Samsung Electronics Co., Ltd. Electronic device having plurality of fingerprint sensing modes and method for controlling the same
US20180113548A1 (en) * 2016-10-24 2018-04-26 Lg Display Co., Ltd. Touch screen device with integrated fingerprint sensor and method of driving of the same
TW201820206A (zh) * 2016-11-18 2018-06-01 大陸商比亞迪股份有限公司 指紋識別方法及電子裝置
CN107122760A (zh) * 2017-05-16 2017-09-01 广东欧珀移动通信有限公司 指纹识别方法及相关产品

Also Published As

Publication number Publication date
CN112257634B (zh) 2024-03-29
TW202125204A (zh) 2021-07-01
CN112257634A (zh) 2021-01-22
US11600117B2 (en) 2023-03-07
WO2021129134A1 (zh) 2021-07-01
KR20220062120A (ko) 2022-05-13
US20220343688A1 (en) 2022-10-27

Similar Documents

Publication Publication Date Title
CN103365410B (zh) 手势感测装置及具有手势输入功能的电子系统
US8957857B2 (en) Device and method for controlling mouse pointer
US9442601B2 (en) Information processing apparatus and information processing method
US9348462B2 (en) Gesture detection and recognition based upon measurement and tracking of light intensity ratios within an array of photodetectors
US20080303786A1 (en) Display device
US9417733B2 (en) Touch method and touch system
TWI471815B (zh) 手勢辨識裝置及方法
JP2006244446A (ja) 表示装置
JP2008250949A (ja) 画像処理装置、制御プログラム、コンピュータ読み取り可能な記録媒体、電子機器及び画像処理装置の制御方法
Ling et al. I know what you enter on gear vr
JP2008250950A (ja) 画像処理装置、制御プログラム、コンピュータ読み取り可能な記録媒体、電子機器及び画像処理装置の制御方法
JP2008250950A5 (zh)
JP2008250951A (ja) 画像処理装置、制御プログラム、コンピュータ読み取り可能な記録媒体、電子機器及び画像処理装置の制御方法
WO2021098799A1 (en) Face detection device, method and face unlock system
JP5015097B2 (ja) 画像処理装置、画像処理プログラム、コンピュータ読み取り可能な記録媒体、電子機器及び画像処理方法
CN111598149A (zh) 一种基于注意力机制的回环检测方法
TWI762007B (zh) 手勢辨識系統以及手勢辨識方法
WO2018082498A1 (en) Mid-air finger pointing detection for device interaction
TW201137792A (en) Displacement detecting device and displacement detecting method thereof
JP6906892B2 (ja) ジェスチャー入力機能付きディスプレイ
US20140267863A1 (en) Electronic Device and Imaging Method Thereof
Mishra et al. Virtual Mouse Input Control using Hand Gestures
TW201419087A (zh) 微體感偵測模組及其微體感偵測方法
CN102929434B (zh) 投影系统与其影像处理方法
TWI697827B (zh) 控制系統及其控制方法

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees