TW201544991A - ３ｄ手寫辨識方法及系統 - Google Patents

Abstract

本發明提供一種3D手寫辨識方法及系統，其利用深度感測器擷取使用者的手在凌空寫字時的手勢影像，判斷區分出手勢影像中所包含的實筆及虛筆，並將兩者分離，再從實筆及虛筆中擷取實筆特徵及虛筆特徵，將實筆特徵或虛筆特徵與資料庫中已訓練好的凌空寫字模型進行比對，藉以辨識使用者所寫的字，並認證該字是否為本人簽名。本發明利用深度感測器擷取手勢影像，不需影像處理，可大幅減少運算，且使用者手中不需握持任何硬體設備，對使用者而言極具直覺性及便利性。

Description

3D手寫辨識方法及系統

本發明係有關一種手寫辨識之技術，特別是指一種3D手寫辨識方法及系統。

現行常見的手寫簽名認證方法有基於觸控式螢幕與智慧型手機等兩大類，但這些方法皆有使用者必須與硬體設備進行接觸才能擷取手寫簽名的特性，又或者必須手持硬體才能進行，因此非常仰賴硬體設備，在使用的方便性上大打折扣，若要成為真正具人性化、直覺化的操作介面，則應該不須進行硬體上的接觸或手持硬體，才是真正的人性化與直覺化的操作介面。

其中接觸硬體方法係在觸控面板上操作，例如在觸控面板上簽名後，根據觸控面板上接觸點的移動軌跡擷取出文字特徵後與資料庫進行簽名比對，然而此一方法在硬體上需要特殊設備，價格亦較高昂，且容易被旁觀者看到簽名手法進而仿冒；而手持硬體方法則利用智慧型手機中的陀螺儀與加速度計作為特徵擷取裝置，使用者將手機當作筆在空中凌空簽名後，其文字特徵由陀螺儀與加速度計取出後與資料庫進行比對，然而此一方法在操作上仍需手持硬體裝置，同樣不夠人性化與直覺化。

有鑑於此，本發明遂針對上述習知技術之缺失，提出一種3D 手寫辨識方法及系統，以有效克服上述之該等問題。

本發明之主要目的在提供一種3D手寫辨識方法及系統，其係利用深度感測器作為手勢擷取裝置，讓使用者在無須接觸硬體，也無須手持或攜帶硬體設備的情況下直接於空中進行手勢簽名。

本發明之另一目的在提供一種3D手寫辨識方法及系統，其係將手勢影像中的實筆與虛筆區分開來，利用實筆中的特徵如轉折點、角點會被擷取下來進行文字認證，而虛筆中的特徵如提筆、落筆與筆順等特徵則會被擷取下來進行身份認證。

本發明之再一目的在提供一種3D手寫辨識方法及系統，其利用深度感測器直接擷取手勢影像，不須做影像處理，因此可大幅減少運算，又因為使用感測器進行取像，因此不受背景影像影響，也不受傳統攝影機與使用者角度影響以及光源方向的影響，且深度感測器擷取手勢部位的資訊可精準到0.1mm，可增強系統的穩定性。

為達上述之目的，本發明提供一種3D手寫辨識方法，包括下列步驟：於一使用者寫字的手下方或前方設置一深度感測器，利用深度感測器擷取手凌空寫字時的手勢影像；利用一處理器判斷區分出手勢影像中所包含的實筆及虛筆，並將實筆與虛筆分離；從實筆或虛筆中擷取複數實筆特徵或複數虛筆特徵；以及將實筆特徵或虛筆特徵與一資料庫中之一凌空寫字模型進行比對，辨識出使用者所寫的字。

本發明另提供一種3D手寫辨識系統，包括：一深度感測器，包括至少一感測單元以擷取使用者凌空寫字時的手勢影像；一處理器，與 深度感測器連接，區分出手勢影像中所包含的至少一實筆及至少一虛筆，並從實筆或虛筆中擷取複數實筆特徵或複數虛筆特徵，或同時擷取實筆特徵及虛筆特徵，以與一凌空寫字模型進行比對，辨識出使用者所寫的字；以及一資料庫，儲存實筆特徵、虛筆特徵及凌空寫字模型。

10‧‧‧深度感測器

12‧‧‧感測單元

14‧‧‧處理器

16‧‧‧資料庫

第1圖為本發明3D手寫辨識系統之一實施例方塊圖。

第2圖為本發明中深度感測器與手相對位置之實施例示意圖。

第3圖為本發明3D手寫辨識系統之流程圖。

第4A圖及第4B圖為偵測封閉曲線轉折點之示意圖。

第5A圖至第5E圖為辨認筆畫為虛筆或實筆的五個規則的實施例示意圖。

本發明是一種3D手寫辨識方法及系統，其提供一使用者能直接在空中寫字簽名後進行簽名認證的流程，使用者無須進行硬體接觸也無須手持任何硬體即可在空中進行簽名認證，並應用在個人身份認證與人機介面系統中，並達到不錯的簽名認證效果。

第1圖為本發明3D手寫辨識系統之實施例方塊圖，包括一深度感測器10、至少一感測單元12、一處理器14及一資料庫16，於第1圖之實施例中僅畫出一個感測單元12為例，此感測單元12用以擷取使用者凌空寫字時的手勢影像；處理器14及資料庫16與深度感測器10連接，處理器14可將手勢影像中所包含的至少一實筆及至少一虛筆區分出來，實筆為文字本 身，而虛筆為二實筆之間的軌跡，之後再從實筆或虛筆中擷取出複數實筆特徵或複數虛筆特徵，或同時擷取實筆特徵及虛筆特徵，再與一凌空寫字模型進行比對，辨識使用者所寫的字，及判斷是否為本人所寫的字甚至是簽名；資料庫16則儲存實筆特徵、虛筆特徵及凌空寫字模型。在此實施例中，處理器14及資料庫16皆設於深度感測器10中，但此二者亦可獨立於深度感測器10之外，只要以有線或無線的方式與深度感測器10連接傳輸資料即可。

深度感測器10具體設置於使用者的手下方或前方1~3公尺的距離，如第2圖所示之實施例，係將深度感測器10設置於使用者的手下方，可利用紅外線擷取手指書寫時的手勢影像。由圖中可清楚看出，使用者為空手，手中並沒有握持任何電子裝置，手指也並未接觸任何物體，完全是凌空書寫。

使用深度感測器10中的感測單元12偵測手勢部位，並將手勢於空中寫字的過程記錄下來，具有下列優點：一、由於直接擷取手勢部位，因此不須做影像處理，因此可大幅減少運算；二、因為使用感測單元12取像，而不是攝影機取像，因此不受背景影像影響，也不受傳統攝影機與使用者角度影響以及光源方向的影響；三、使用深度感測器擷取手勢部位的資訊可精準到0.1mm，大幅增強系統的穩定性。

第3圖為本發明3D手寫辨識方法之流程圖，首先步驟S10於使用者寫字的手下方或前方設置深度感測器，當使用者的手指凌空比劃寫字時，深度感測器完整擷取手凌空寫字時的手勢影像並記錄下來；步驟S12手勢影像的資料傳送到處理器，由於手勢影像為手指尖的移動軌跡影像， 此軌跡為連筆，因此必須利用處理器判斷區分出手勢影像中所包含的實筆及虛筆，並將實筆與虛筆分離；步驟S14從實筆或虛筆中擷取複數實筆特徵或複數虛筆特徵；最後在步驟S16中，將實筆特徵或虛筆特徵與資料庫中預先訓練好的凌空寫字模型進行比對，此時可由實筆特徵的轉折點辨識出筆畫，得知使用者寫的字為何，而藉由虛筆特徵則可認證使用者所寫的字是否為使用者本人的簽名，亦可由實筆特徵進行身份認證，達到空中簽名認證的目的。

其中，實筆為文字本身，而虛筆為二實筆之間的軌跡，代表了個人寫字行為中，提筆、落筆與筆順等個人習慣的軌跡，要偵測虛筆的開始與結束即為斷筆偵測，為了做到斷筆偵測，首先必須先做轉折點判斷，轉折點發生的地方通常即為斷筆所在，而轉折點之間有可能為虛筆軌跡，可利用直線近似原理及斜率變化判斷轉折點之位置，其中直線近似原理如第4A圖及第4B圖所示，將從(x_t,y_t)到(x_n,y_n)之間的一封閉曲線分割成數個黑點連接而成的小直線段，線段連接的地方為高曲率的位置，高曲率最大的位置即可能為斷筆處，此外，當有轉折點發生的時候，斜率必定有劇烈變化，故可利用轉折點前後線段的夾角，來判斷是否有轉折發生。處理完轉折點(亦即斷筆處理)後，接著便可進行實筆和虛筆辨認。

承上，當轉折點處進行斷筆處理，產生複數筆畫後，本發明中利用五個規則來對這些筆畫進行辨認，若是則為虛筆，若否則為實筆。首先第一個規則如第5A圖所示，在中文書寫中，往第二象限的筆劃不可能會發生，如“↑”、“←”、“↖”，所以有筆劃符合此條件，則判斷為虛筆，若否則判斷為實筆，例如書寫“口”時，往“↑”的方向為虛筆； 第二個規則如第5B圖所示，在中文書寫中，第一筆為“→”和第二筆為“→”之間不會出現“↘”的下筆方向，或是在第一筆為“↘”和第二筆為“↘”間不會出現“↙”的下筆方向，可推得兩平行線之間的筆劃為虛筆，例如書寫“二”時，兩條平行線間的筆劃為虛筆；第三個規則如第5C圖所示，在中文書寫中，不會出現與上一筆筆畫相反方向，例如書寫“天”時，“↙”和“↗”依序出現，則判斷第二出現的“↗”為虛筆；第四個規則如第5D圖所示，在中文書寫中，“↗”方向經常屬於提筆筆畫，除了與上一筆筆劃方向相反的情況(如前述規則三)，在左右結構的字或是左中右結構的字經常發生“↗”的方向筆劃，若符合此條件則判斷為虛筆，例如在書寫“你”時，可以看成左右兩個結構，當書寫完左邊兩劃，提筆準備第三劃時，中間這段則符合此條件，判斷為虛筆；最後第五個規則如第5E圖所示，在中文書寫中，“↙”方向筆劃也經常屬於提筆筆畫，像是上下結構的字，但也有可能是下筆筆劃，因此無法利用連續筆畫特徵判定。在此處我們設定一個閥值，當此筆劃與地面間的角度小於三十度，則判斷為虛筆，反之角度較大，則判斷為下筆筆劃，例如書寫“盟”時，當“明”書寫完畢提筆往下時，出現“↙”方向的筆劃且與地面角度小於三十度，判斷為虛筆。至此，才完成第3圖步驟S12中實筆與虛筆之分離。

由於每個人寫字時的習慣不同，不論是實筆或虛筆具有獨特性，因此可用於簽名認證(signature verification)，先利用實筆辨識出使用者所寫的是哪個字，接著利用虛筆或實筆特徵進行使用者的身分認證，因此需要如步驟S14所述在實筆和虛筆中找出特徵。實筆特徵可大體分為三類，包括外觀、統計、動態，其中外觀類包括簽名的長度、簽名的寬度、 各簽名字形狀及簽名的長度寬度比，統計類包括簽名的中心、簽名的總實筆數及簽名的面積，而動態類包括總簽名時間、總實筆時間、x方向實筆平均速度、y方向實筆平均速度和總實筆時間除總簽名時間。虛筆特徵亦可分為外觀、統計、動態三類，其中外觀類包括虛筆的總長度、虛筆的總寬度、各簽名字中虛筆的形狀，統計類包括虛筆的中心、簽名的總虛筆數、虛筆的總面積，而動態類包括總簽名時間、總虛筆時間、x方向虛筆平均速度、y方向虛筆平均速度、總虛筆時間除總簽名時間。

資料庫中所儲存的凌空寫字模型係利用各種空中寫字的實筆特徵與虛筆特徵進行訓練後得到的，用於訓練的簽名認證分類器包括類神經網路(Artificial Neural Network)、支援向量機(Support Vector Machine)、最近特徵線比對法(Nearest Feature Line matching)及最近特徵空間轉換法(Nearest Feature Space Embedding)等。當訓練好凌空寫字模型並儲存於資料庫之後，資料庫便知道該名使用者的字跡，每當使用時，只要使用者凌空寫字時的實筆特徵及虛筆特徵抽取出，並將其置入已訓練好的凌空寫字模型中進行比對，即可進行使用者的身分認證，例如資料庫中儲存有使用者「王大明」的凌空寫字模型，包括有簽名筆跡，當一使用者同樣在空中寫下「王大明」三個字時，凌空寫字模型先辨識出使用者寫的是什麼字，接著依據筆跡可辨識出這三個字是否為王大明本人所寫，以此推斷此使用者是否為王大明本人。

因此，本發明先利用多種簽名認證分類器將許多凌空寫字的實筆特徵與虛筆特徵訓練出凌空寫字模型後，只要啟動深度感測器，便可於使用者的手下方或前方擷取使用者的手勢影像，再抽取出筆畫特徵，即 可於凌空寫字模型中加以比對，辨識寫的是什麼字，特別是每個人的簽名習慣會與平常寫字不同，同一個字在一般寫字和在簽名時會有所差異，因此若是簽名，再辨識是否為該名字的本人所寫，達到簽名認證的效果。

綜上所述，本發明提供之3D手寫辨識方法及系統係利用深度感測器擷取使用者凌空寫字時的手勢影像，使用者無須接觸硬體、無須配帶任何硬體設備，且從手勢影像中分析出筆跡的實筆特徵和虛筆特徵後，可依據個人簽名特徵進行身份認證。由於不需接觸和配戴任何硬體設備，因此使用者可在最直覺與直接的情況下，於空中進行簽名，因此對使用者而言具有相當的便利性。

唯以上所述者，僅為本發明之較佳實施例而已，並非用來限定本發明實施之範圍。故即凡依本發明申請範圍所述之特徵及精神所為之均等變化或修飾，均應包括於本發明之申請專利範圍內。

Claims (18)

1. 一種3D手寫辨識方法，包括下列步驟：於一使用者寫字的手下方或前方設置一深度感測器，利用該深度感測器擷取該手凌空寫字時的手勢影像；利用一處理器判斷區分出該手勢影像中所包含的至少一實筆及至少一虛筆，並將該實筆與該虛筆分離；從該實筆或該虛筆中擷取複數實筆特徵或複數虛筆特徵；以及將該等實筆特徵或該等虛筆特徵與一資料庫中之一凌空寫字模型進行比對，辨識出該使用者所寫的字。
2. 如請求項1所述之3D手寫辨識方法，其中該實筆為文字本身，該虛筆為二該實筆之間的軌跡。
3. 如請求項1所述之3D手寫辨識方法，其中該凌空寫字模型係利用該等實筆特徵、該等虛筆特徵或二者一起進行複數種簽名認證分類器之訓練後所整合而成。
4. 如請求項3所述之3D手寫辨識方法，其中該等簽名認證分類器包括類神經網路(Artificial Neural Network)、支援向量機(Support Vector Machine)、最近特徵線比對法(Nearest Feature Line matching)及最近特徵空間轉換法(Nearest Feature Space Embedding)。
5. 如請求項1所述之3D手寫辨識方法，其中該深度感測器中包括至少一感測單元、該處理器及該資料庫。
6. 如請求項1所述之3D手寫辨識方法，其中該手勢影像係為該手的指尖的移動軌跡影像。
7. 如請求項1所述之3D手寫辨識方法，其中該實筆及該虛筆之判斷包括下列步驟：偵測該手勢影像之複數轉折點，將該手勢影像中具有該等轉折點處進行斷筆處理，產生複數筆畫；以及判斷該等筆畫之書寫方向及角度是否符合書寫原則，若不符合則為虛筆，若符合則為實筆。
8. 如請求項7所述之3D手寫辨識方法，其中該等轉折點偵測係包括利用直線近似原理及斜率變化判斷該等轉折點之位置。
9. 如請求項1所述之3D手寫辨識方法，其中該等實筆特徵包括簽名的長度、簽名的寬度、各簽名字形狀、簽名的長度寬度比、簽名的中心、簽名的總實筆數、簽名的面積、總簽名時間、總實筆時間、x方向該實筆平均速度、y方向該實筆平均速度和總實筆時間除總簽名時間。
10. 如請求項1所述之3D手寫辨識方法，其中該虛筆特徵包括該虛筆的總長度、該虛筆的總寬度、各簽名字中該虛筆的形狀、該虛筆的中心、簽名的總虛筆數、該虛筆的總面積、總簽名時間、總虛筆時間、x方向該虛筆平均速度、y方向該虛筆平均速度、總虛筆時間除總簽名時間。
11. 如請求項1所述之3D手寫辨識方法，其中該虛筆特徵或該實筆特徵與該凌空寫字模型中該使用者的一簽名進行比對後，可認證該使用者所寫的字為該使用者之本人簽名。
12. 一種3D手寫辨識系統，包括：一深度感測器，包括至少一感測單元以擷取一使用者凌空寫字時的手勢影像； 一處理器，與該深度感測器連接，區分出該手勢影像中所包含的至少一實筆及至少一虛筆，並從該實筆或該虛筆中擷取複數實筆特徵或複數虛筆特徵，或同時擷取該等實筆特徵及該等虛筆特徵，以與一凌空寫字模型進行比對，辨識該使用者所寫的字；以及一資料庫，儲存該等實筆特徵、該等虛筆特徵及該凌空寫字模型。
13. 如請求項12所述之3D手寫辨識系統，其中該實筆為文字本身，該虛筆為二該實筆之間的軌跡。
14. 如請求項12所述之3D手寫辨識系統，其中該凌空寫字模型係利用該等實筆特徵、該等虛筆特徵或二者一起進行複數種簽名認證分類器之訓練後所整合而成。
15. 如請求項14所述之3D手寫辨識系統，其中該等簽名認證分類器包括類神經網路(Artificial Neural Network)、支援向量機(Support Vector Machine)、最近特徵線比對法(Nearest Feature Line matching)及最近特徵空間轉換法(Nearest Feature Space Embedding)。
16. 如請求項12所述之3D手寫辨識系統，其中該等實筆特徵包括簽名的長度、簽名的寬度、各簽名字形狀、簽名的長度寬度比、簽名的中心、簽名的總實筆數、簽名的面積、總簽名時間、總實筆時間、x方向該實筆平均速度、y方向該實筆平均速度和總實筆時間除總簽名時間。
17. 如請求項12所述之3D手寫辨識系統，其中該等虛筆特徵包括該虛筆的總長度、該虛筆的總寬度、各簽名字中該虛筆的形狀、該虛筆的中心、簽名的總虛筆數、該虛筆的總面積、總簽名時間、總虛筆時間、x方向該虛筆平均速度、y方向該虛筆平均速度、總虛筆時間除總簽名時間。
18. 如請求項12所述之3D手寫辨識系統，其中該處理器利用該實筆特徵辨識該使用者所寫的字為何，並利用該虛筆特徵或該實筆特徵與該凌空寫字模型中該使用者的一簽名進行比對後，可認證該使用者所寫的字為該使用者之本人簽名。