TW201621756A - 偵測人員使用手持裝置的方法及裝置 - Google Patents

Abstract

一種偵測人員使用手持裝置的方法及裝置。此裝置包括影像擷取單元、儲存單元以及處理單元。影像擷取單元擷取人員的影像序列。儲存單元儲存影像序列以及預設嘴部資訊。處理單元耦接至儲存單元以取得影像序列。處理單元分析影像序列的每一個影像，以獲得臉部物件。處理單元依據臉部物件決定耳側位置區域以及嘴部位置區域。處理單元於影像序列的每一個影像，偵測目標物體，以計算目標物體的移動軌跡。在處理單元偵測到移動軌跡為目標物體朝向耳側位置區域移動之後，比對在嘴部位置區域中所偵測的嘴部動作資訊是否符合預設嘴部資訊，來判斷人員是否正在使用手持裝置。

Description

偵測人員使用手持裝置的方法及裝置

本發明是有關於一種影像辨識技術，且特別是有關於一種利用影像辨識技術來偵測人員使用手持裝置的方法及裝置。

隨著行動通訊等技術的快速發展，人們可使用諸如功能型手機(feature phone)或智慧型手機(smart phone)等類型的手持裝置來進行通話、傳訊息甚至是網際網路(Internet)瀏覽。此外，隨著半導體製程、材料、機構設計等技術的進步，手持裝置逐漸具備符合輕薄設計以方便手持操作。因此，手持裝置所帶來的方便性，使得人們的生活逐漸無法脫離手持裝置。

另一方面，隨著交通運輸的發達，促進了地方的發展，但是人為駕駛交通工具不當所造成之交通事故，儼然成為危害社會安全的主要因素。然而，人們時常會在駕駛交通工具同時還使用手持裝置，此時，人們往往會因為注意力分散等因素，而導致交通意外發生。因此，如何有效且即時地監控駕駛行為或其他不 適合使用手持裝置的情況，以避免意外發生，將會是此領域中極需解決之問題。

本發明提供一種偵測人員使用手持裝置的方法及裝置，其可透過影像辨識技術來判斷手持裝置的移動軌跡以及人員的嘴部動作，以準確且快速地判斷人員是否使用手持裝置。

本發明提供一種偵測人員使用手持裝置的方法，適用於電子裝置，此方法包括下列步驟。擷取人員的影像序列。分析影像序列的每一個影像，以獲得臉部物件。依據臉部物件來決定耳側位置區域以及嘴部位置區域。於影像序列的每一個影像，偵測目標物體，以計算目標物體的移動軌跡。在偵測到移動軌跡為目標物體朝向耳側位置區域移動之後，比對在嘴部位置區域中所偵測的嘴部動作資訊是否符合預設嘴部資訊，來判斷人員是否正在使用手持裝置。

在本發明的一實施例中，上述於影像序列的每一個影像，偵測目標物體，以計算目標物體的移動軌跡包括下列步驟。計算目標物體的垂直投影量與水平投影量，以獲得目標物體的尺寸範圍。於尺寸範圍內取基準點。藉由影像序列的每一個影像中的基準點的位置，獲得移動軌跡。

在本發明的一實施例中，上述依據臉部物件決定耳側位置區域以及嘴部位置區域包括下列步驟。藉由人臉偵測演算法獲 得臉部物件。於臉部物件中搜尋鼻孔物件。基於鼻孔物件的位置，往水平方向搜尋耳側位置區域。

在本發明的一實施例中，上述於臉部物件中搜尋鼻孔物件之後，更包括下列步驟。由鼻孔物件中辨識出鼻孔定位點。基於鼻孔定位點設定嘴部區域。對嘴部區域的影像進行影像處理以判斷人員之嘴部物件。依據嘴部物件在嘴部區域決定嘴部位置區域。

在本發明的一實施例中，上述在偵測到移動軌跡為目標物體朝向耳側位置區域移動包括下列步驟。依據耳側位置區域獲得興趣區域。將影像序列中之當前影像與參考影像兩者各自的興趣區域，執行影像相減演算法，以獲得目標區域影像。藉由參考影像的興趣區域，濾除目標區域影像的雜訊，以獲得目標物體。

在本發明的一實施例中，上述在偵測到移動軌跡為目標物體朝向耳側位置區域移動之後，比對在嘴部位置區域中所偵測的嘴部動作資訊是否符合預設嘴部資訊，來判斷人員是否正在使用手持裝置包括下列步驟。取得嘴部影像，且依據嘴部影像取得嘴部特徵。依據嘴部特徵來判斷嘴部影像為張開動作影像或閉合動作影像。在嘴部紀錄時間內，依序紀錄嘴部位置區域中所偵測到的所有閉合動作影像或張開動作影像並轉換成編碼序列。將編碼序列存入嘴部動作資訊。

在本發明的一實施例中，上述在偵測到移動軌跡為目標物體朝向耳側位置區域移動之後，比對在嘴部位置區域中所偵測 的嘴部動作資訊是否符合預設嘴部資訊，來判斷人員是否正在使用手持裝置包括下列步驟。在嘴部比對時間內，將嘴部位置區域的影像與樣板影像進行比對，以產生嘴型編碼。將嘴型編碼存入編碼序列中。將編碼序列存入嘴部動作資訊。

本發明提供一種偵測人員使用手持裝置的裝置，此裝置包括影像擷取單元、儲存單元以及處理單元。影像擷取單元擷取人員的影像序列。儲存單元儲存影像序列以及預設嘴部資訊。處理單元耦接至儲存單元以取得影像序列。處理單元分析影像序列的每一個影像，以獲得臉部物件。處理單元依據臉部物件決定耳側位置區域以及嘴部位置區域。於影像序列的每一個影像，偵測目標物體，以計算目標物體的移動軌跡。在處理單元偵測到移動軌跡為目標物體朝向耳側位置區域移動之後，比對在嘴部位置區域中所偵測的嘴部動作資訊是否符合預設嘴部資訊，來判斷人員是否正在使用手持裝置。

在本發明的一實施例中，上述的處理單元計算目標物體的垂直投影量與水平投影量，以獲得目標物體的尺寸範圍，於尺寸範圍內取基準點，且藉由影像序列的每一個影像中的基準點的位置，獲得移動軌跡。

在本發明的一實施例中，上述的處理單元藉由人臉偵測演算法獲得臉部物件，於臉部物件中搜尋鼻孔物件，且基於鼻孔物件的位置，往水平方向搜尋耳側位置區域。

在本發明的一實施例中，上述的處理單元由鼻孔物件中 辨識出鼻孔定位點，基於鼻孔定位點設定嘴部區域，對嘴部區域的影像進行影像處理以判斷人員之嘴部物件，且依據嘴部物件在嘴部區域決定嘴部位置區域。

在本發明的一實施例中，上述的處理單元依據耳側位置區域獲得興趣區域，將影像序列中之當前影像與參考影像兩者各自的興趣區域，執行影像相減演算法，以獲得目標區域影像。處理單元藉由參考影像的興趣區域，濾除目標區域影像的雜訊，以獲得目標物體。

在本發明的一實施例中，上述的處理單元取得嘴部影像，且依據嘴部影像取得嘴部特徵，依據嘴部特徵來判斷嘴部影像為張開動作影像或閉合動作影像，在嘴部紀錄時間內。處理單元依序紀錄嘴部位置區域中所偵測到的所有閉合動作影像或張開動作影像並轉換成編碼序列，且將編碼序列存入嘴部動作資訊。

在本發明的一實施例中，在嘴部比對時間內，處理單元將嘴部位置區域的影像與樣板影像進行比對，以產生嘴型編碼。處理單元將嘴型編碼存入編碼序列中，且將編碼序列存入嘴部動作資訊。

在本發明的一實施例中，上述的裝置更包括警示模組。警示模組耦接處理單元。當處理單元判斷人員正使用手持裝置時，透過警示模組啟動警示程序。

基於上述，本發明實施例可藉由影像辨識技術監控目標物體的移動軌跡是否朝向人員的耳側位置區域，再比對人員的嘴 部動作是否符合預設嘴部資訊，以判斷人員是否正在使用手持裝置。藉此，便能有效且準確地判斷人員是否正使用手持裝置。

為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

100‧‧‧裝置

110‧‧‧影像擷取單元

130‧‧‧儲存單元

150‧‧‧處理單元

S210~S290、S410~S490、S610~S690、S710~S770‧‧‧步驟

300、510、520、530、540、550‧‧‧影像

310‧‧‧臉部物件

320‧‧‧鼻孔物件

511、521、551、R‧‧‧興趣區域

B‧‧‧基準點

C1、C2‧‧‧邊界

E‧‧‧耳側位置區域

O‧‧‧目標物體

圖1是依據本發明一實施例說明一種裝置的方塊圖。

圖2是依據本發明一實施例說明一種偵測人員使用手持裝置的方法流程圖。

圖3是依照本發明一實施例的影像的示意圖。

圖4是依據本發明一實施例說明決定嘴部位置區域的流程範例。

圖5A~圖5E是依照本發明一實施例的偵測目標物體的示意圖。

圖6是依據本發明一實施例說明紀錄嘴部動作資訊的流程範例。

圖7是依據本發明另一實施例說明紀錄嘴部動作資訊的流程範例。

人們在抓取行動電話接聽來電的過程中，行動電話通常 會朝向耳側移動，以使行動電話的聽筒朝向耳朵，並使行動電話的話筒貼近嘴部。據此，本發明實施例便是對人員進行影像監控，且利用影像辨識技術來判斷人員是否將手持裝置朝向耳朵移動。同時，本發明實施例更判斷人員的嘴部動作是否符合預設嘴部資訊。藉此，便能有效且準確地判斷人員是否正使用手持裝置。以下提出符合本發明之精神的多個實施例，應用本實施例者可依其需求而對這些實施例進行適度調整，而不僅限於下述描述中的內容。

圖1是依據本發明一實施例說明一種偵測人員使用手持裝置的裝置的方塊圖。請參照圖1，裝置100包括影像擷取單元110、儲存單元130及處理單元150。在一實施例中，裝置100例如是設置在行車內，以對駕駛人進行偵測。在其他實施例中，裝置100亦可以使用於自動櫃員機(Automated Teller Machine；ATM)等自動交易裝置，以判斷例如是操作者是否正接聽手持裝置而進行轉帳操作。需說明的是，應用本發明實施例者可依據需求，將裝置100設置於任何需要監控人員是否正使用手持裝置的電子裝置或場所，本發明實施例不加以限制。

影像擷取單元110可以是電荷耦合元件(Charge coupled device；CCD)鏡頭、互補式金氧半電晶體(Complementary metal oxide semiconductor transistors；CMOS)鏡頭、或紅外線鏡頭的攝影機、照相機。影像擷取單元110用以擷取人員的影像，並將影像存放儲存單元130。

儲存單元130可以是任何型態的固定或可移動隨機存取記憶體(random access memory；RAM)、唯讀記憶體(read-only memory；ROM)、快閃記憶體(flash memory)、硬碟(Hard Disk Drive；HDD)或類似元件或上述元件的組合。

處理單元150耦接影像擷取單元110以及儲存單元130。處理單元150可以是中央處理器(Central Processing Unit；CPU)具有運算功能的晶片組、微處理器或微控制器(micro control unit；MCU)。本發明實施例處理單元150用以處理本實施例之裝置100的所有作業。處理單元150可透過影像擷取單元110取得影像，將影像儲存至儲存單元130中，並對影像進行影像處理之程序。

需說明的是，在其他實施例中，影像擷取單元110更具有照明元件，用以在光線不足時適時進行補光，以確保其所拍攝到的影像的清晰度。

為幫助理解本發明之技術，以下舉一情境說明本發明的應用方式。假設本發明實施例的裝置100設置於汽車上，一位駕駛人員坐在駕駛位置(未方便說明，以下以「人員」作為此駕駛人員)，裝置100上的影像擷取單元110可對人員進行拍攝。影像擷取單元110所擷取到人員的影像可包含人員的臉部、肩部甚至是半身。此外，假設手持裝置放置於排檔附近或儀表板上方等任何位置。於此，底下將依據此情境搭配諸多實施例來進行詳細說明。

圖2是依據本發明一實施例說明一種偵測人員使用手持 裝置(例如，功能型手機或智慧型手機等類型的行動電話)的方法流程圖。請參照圖2，本實施例的方法適用於圖1的裝置100。下文中，將搭配裝置100中的各項元件說明本發明實施例所述之方法。本方法的各個流程可依照實施情形而隨之調整，且並不僅限於此。

在步驟S210中，處理單元150透過影像擷取單元110擷取人員的影像序列。例如，影像擷取單元110可設定為每秒30張、45張等拍攝速度，以對人員進行拍攝，並將包括連續擷取的多張影像的影像序列儲存在儲存單元130中。

在其他實施例中，處理單元150亦可事先設定啟動條件。當符合此啟動條件時，處理單元150可致能影像擷取單元110來擷取人員的影像。例如，可在影像擷取單元110的附近設置感測器(例如，紅外線感測器)，裝置100利用紅外線感測器來偵測是否有人員位於影像擷取單元110可擷取影像的範圍內。倘若紅外線感測器偵測到在影像擷取單元110前方有人員出現(即，符合啟動條件)時，處理單元150便會致能影像擷取單元110開始擷取影像。另外，裝置100上亦可設置啟動鈕，當此啟動紐被按壓時，處理單元150才啟動影像擷取單元110。需說明的是，上述僅為舉例說明，本發明並不以此為限。

此外，處理單元150亦可對擷取到的影像序列執行背景濾除動作。例如，將第I張影像與第I+1張影像進行差分處理，I為正整數。之後，處理單元150可將濾除背影的影像轉為灰階影 像，藉此進行後續動作。

接著，由處理單元150開始對上述影像序列的每一張影像進行影像處理程序。在步驟S230中，處理單元150分析影像序列的每一個影像，以獲得臉部物件。具體而言，處理單元150分析影像序列以取得臉部特徵(例如，眼睛、鼻子、嘴唇等)，再利用臉部特徵的比對，來找出影像中的臉部物件。例如，儲存單元130儲存有特徵資料庫。此特徵資料庫包括了臉部特徵樣本(pattern)。而處理單元150藉由與特徵資料庫中的樣本進行比對來獲得臉部物件。針對偵測臉部的技術，本發明實施例可利用AdaBoost演算法或其他人臉偵測演算法(例如，主成份分析(Principal Component Analysis；PCA)、獨立成份分析(Independent Component Analysis；ICA)等演算法或利用Haar-like特徵來進行人臉偵測動作等)來獲得每一個影像中的臉部物件。

而在其他實施例中，在偵測臉部特徵之前，處理單元150更可先執行背景濾除動作。例如，處理單元150可透過影像擷取單元110事先擷取至少一張未存在人像的背景影像，以在獲得人員的影像之後，處理單元150可將包括人像的影像與背景影像進行相減，如此便能夠將背景濾除。之後，處理單元150可將濾除背影的影像轉為灰階影像，再轉為二值化影像。此時，處理單元150便可於二值化影像中來偵測臉部特徵。

在步驟S250中，處理單元150依據臉部物件決定至少一個耳側位置區域以及嘴部位置區域。

在一實施例中，為了更精準地獲得耳側位置區域，處理單元150更可在獲得臉部物件之後，於臉部物件中搜尋鼻孔物件，進而基於鼻孔物件的位置，往水平方向搜尋耳側位置區域。例如，往鼻孔物件的左右兩側搜尋左右臉頰的邊界。之後，處理單元150依據人臉與耳朵的相對位置，搜尋到的邊界為基準來獲得左右兩邊的耳側位置區域。接著，處理單元150可依據耳側位置區域獲得興趣區域(Region of Interest；ROI)。

舉例而言，圖3是依照本發明一實施例的影像的示意圖。處理單元150在偵測到影像300的臉部物件310之後，便可獲得鼻孔物件320，再由鼻孔物件320來找到左右兩邊的邊界C1、C2，並以邊界C1、C2為基準而獲得耳側位置區域。為方便說明，範例中僅舉其中一側臉頰的邊界C1來進行說明，然而，可依此類推至另一側臉頰的邊界C2。以邊界C1的座標為基準，處理單元150利用預先設定好的尺寸範圍而獲得耳側位置區域E。然後，處理單元150根據耳側位置區域E，再以另一預設尺寸範圍而獲得興趣區域R。需說明的是，圖3中耳側位置區域E以及興趣區域R的大小、位置及形狀在其他實施例中可能不同，本發明實施例不加以限制。

在另一實施例中，處理單元150由鼻孔物件中辨識出鼻孔定位點，基於鼻孔定位點設定嘴部區域，對嘴部區域的影像進行影像處理以判斷人員之嘴部物件，且依據嘴部物件在嘴部區域決定嘴部位置區域。

舉例而言，圖4是依據本發明一實施例說明決定嘴部位置區域的流程範例。處理單元150可基於鼻孔位置資訊設定嘴部區域，藉由例如是嘴唇顏色與皮膚、牙齒顏色深淺不同的差異，透過調整嘴部區域內的對比而獲得加強影像(步驟S410)，並進一步對此加強影像進行去雜點處理。例如，透過像素矩陣將雜點濾除。處理單元150便可獲得相對於加強影像更清晰的去雜點影像(步驟S430)。接著，處理單元150根據影像中某個顏色與另一個顏色的對比程度進行邊緣銳利化處理，以決定此去雜點影像中的邊緣，因而獲得銳化影像(步驟S450)。由於影像的複雜程度將決定影像占用的記憶容量，為提高比對的效能，處理單元150更對此銳化影像進行二值化處理。例如，處理單元150先設定門檻值，並將影像中的像素分為超出或低於此門檻值的二種數值，而可獲得二值化影像(步驟S470)。最後，處理單元150再次對二值化影像進行邊緣銳利化處理。此時，二值化影像中人員的嘴唇部位已相當明顯，處理單元150便可於嘴部區域中取出嘴部位置區域(步驟S490)。

需說明的是，應用本發明實施例者，可以依據設計需求來決定耳側位置區域以及嘴部位置區域，例如針對不同人員的臉部特徵(例如，臉寬、耳朵大小、嘴唇寬度等)進行調整，本發明並不以此為限。

在步驟S270中，處理單元150於影像序列的每一個影像，偵測目標物體，以計算此目標物體的移動軌跡。例如，目標 物體例如為手持裝置。處理單元150便在每一個影像中偵測手持裝置。此外，人員手腕上配戴的手錶或手指都可依據設計需求而作為目標物體。在一實施例中，處理單元150依據耳側位置區域獲得興趣區域，將當前影像與參考影像(可以是先前影像，例如此當前影像的前一幅影像或前N幅影像，亦或是預先設定的任一幅影像)兩者各自的興趣區域(例如，圖3的興趣區域R)執行影像相減演算法，以獲得目標區域影像。處理單元150並藉由參考影像的興趣區域，濾除目標區域影像的雜訊，以獲得目標物體。

舉例而言，圖5A~圖5E是依照本發明一實施例的偵測目標物體的示意圖。為了方便說明，圖5A~圖5E的灰階度將省略，而僅描示出灰階的邊緣來進行說明。圖5A所示為參考影像510以及興趣區域511。圖5B所示為目前影像擷取單元110所擷取的當前影像520、興趣區域521以及耳側位置區域E。圖5C所示為目標區域影像530。圖5D所示為濾除區域影像540。圖5E所示為具有目標物體O的區域影像550。

具體而言，處理單元150將參考影像510的興趣區域511與當前影像520的興趣區域521執行影像相減演算法之後，便能夠獲得兩張影像中具有差異的目標區域影像530。也就是說，目標區域影像530為興趣區域511與興趣區域521進行影像相減演算法後所獲得的結果。在目標區域影像530中，以虛線來表示非目標物體的其他雜訊。接著，為了濾除雜訊以獲得目標物體，處理單元150對參考影像510的興趣區域511的執行邊緣偵測演算法 及膨脹(dilate)演算法等，以獲得濾除區域影像540。然後，處理單元150將目標區域影像530與濾除區域影像540進行影像相減演算法後，便可獲得如圖5E所示具有目標物體O的區域影像550。

然後，處理單元150獲得目標物體之後，根據影像序列計算目標物體的移動軌跡。在一實施例中，處理單元150計算目標物體的垂直投影量與水平投影量，以獲得目標物體的尺寸範圍。舉例而言，處理單元150計算目標物體的垂直投影量，以獲得目標物體在垂直軸上的長度，且計算目標物體的水平投影量而獲得目標物體位於水平軸上的寬度。藉由上述長度與寬度，處理單元150便可獲得目標物體的尺寸範圍。

接著，處理單元150在尺寸範圍內取基準點，且藉由影像序列的每一個影像中的基準點的位置，獲得移動軌跡。處理單元150可依據目標物體的其中一點作為基準點，對每張影像中基準點的位置進行統計，進而獲得目標物體的移動軌跡。舉例而言，以圖5E為例，處理單元150計算出目標物體O的長度與寬度，以獲得尺寸範圍551。並且，處理單元150以尺寸範圍551的左上方頂點B作為基準點。而後續其他張影像的目標物體亦可依據尺寸範圍的左上方頂點作為基準點。據此，由多張影像的基準點便可得知目標物體的移動軌跡。需說明的是，上述依據尺寸範圍的左上方頂點作為基準點僅為舉例說明，本發明實施例不以此為限。

在步驟S290中，在處理單元150偵測到移動軌跡為目標 物體朝向耳側位置區域(例如，左耳側區域或右耳側區域)移動之後，比對在嘴部位置區域中所偵測的嘴部動作資訊是否符合預設嘴部資訊，來判斷人員是否正在使用手持裝置。

舉例而言，儲存單元130可事先儲存預設移動軌跡，處理單元150便可將偵測到的移動軌跡與預設移動軌跡進行比對，以判斷偵測到的移動軌跡是否朝向耳側位置區域。此預設移動軌跡可以是自興趣區域的任何位置點，以任何角度至耳側位置區域的直線或任何不規則的線段。此外，裝置100可事先以影像擷取單元110紀錄多次人員執行拿取手持裝置的動作，並將紀錄的移動軌跡進行分析，以儲存作為預設移動軌跡。

接著，在處理單元150偵測到移動軌跡為朝向耳側位置區域移動後，處理單元150持續依據影像擷取單元110所擷取到的後續影像序列，來比對在嘴部位置區域中所偵測的嘴部動作資訊是否符合預設嘴部資訊。例如，預設嘴部資訊是編碼序列、影像變動率或像素變動率等。在一個比對時間(例如，2秒、5秒等)內，處理單元150可比對影像序列所取得的嘴部動作資訊是否符合預設的編碼序列、影像變動率或像素變動率。若處理單元150判斷嘴部動作資訊是否符合預設嘴部資訊，則判定人員正在使用手持裝置。反之，則判斷人員並未使用手持裝置。

需說明的是，在比對在嘴部位置區域中所偵測的嘴部動作資訊是否符合預設嘴部資訊之前，處理單元150更先紀錄嘴部動作資訊以便後續比對。以下將舉實施例說明。

在一實施例中，處理單元150取得嘴部影像，且依據嘴部影像取得嘴部特徵，依據嘴部特徵來判斷嘴部影像為張開動作影像或閉合動作影像。在嘴部紀錄時間內，處理單元150依序紀錄嘴部位置區域中所偵測到的所有閉合動作影像或張開動作影像並轉換成編碼序列，且將編碼序列存入嘴部動作資訊。

舉例而言，圖6是依據本發明一實施例說明紀錄嘴部動作資訊的流程範例。請參照圖6，處理單元150在嘴部位置區域中取出數個嘴部特徵(步驟S610)，例如，嘴部特徵包括上唇部位以及下唇部位。具體而言，處理單元150取出嘴部特徵的方法，可藉由找出嘴部區域的左右兩側邊界，定義出左側嘴角與右側嘴角。同樣的，處理單元150藉由找出嘴部位置區域的上下兩側的輪廓線，並經由左側嘴角與右側嘴角的連線辨識出上唇部位與下唇部位。接著，處理單元150將上唇部位與下唇部位的間距與間隙值(例如，0.5公分、1公分等)進行比較(步驟S620)。判斷上唇部位與下唇部位間的間距是否大於間隙值(步驟S630)。若上唇部位與下唇部位間的間距大於間隙值，則代表使用者的嘴巴是張開的，並藉以獲得一張張開動作影像(步驟S640)。反之，則處理單元150獲得一張閉合動作影像(步驟S650)。

處理單元150依據閉合動作影像或張開動作影像產生編碼，並將編碼存入編碼序列中(例如，第N欄，N為正整數)(步驟S660)。編碼序列可以是二元編碼，或以摩斯電碼的方式編碼。例如，將張開動作影像定義為1，而閉合動作影像定義為0。若人 員張開嘴巴兩個單位時間後再閉起嘴巴兩個單位時間，則編碼序列即為(1,1,0,0)。接著，處理單元150判斷是否達到嘴部紀錄時間(步驟S670)。例如，處理單元150在步驟S610時啟動計時器，並在步驟S670判斷計時器是否到達嘴部紀錄時間。若處理單元150判斷計時器尚未達到嘴部紀錄時間，則使N=N+1(步驟S680)，並返回步驟S610繼續分辨嘴部的開闔狀況。並且，下次產生的編碼將會儲存至例如是編碼序列中的下一欄位(例如，第N+1欄)。其中，每一個第N欄位均代表一個單位時間(例如，200毫秒、500毫秒等)，儲存於欄位中的編碼則代表一個單位時間所紀錄的所有張開動作影像以及閉合動作影像的順序。

需說明的是，此範例中可在步驟S610至S680的流程中加入延遲時間(例如，100毫秒、200毫秒等)，使步驟S610至S680流程所耗費的時間等於單位時間，以使每個第N欄位代表一個單位時間。最後，處理單元150將編碼序列存入嘴部動作資訊(步驟S690)。

而在另一實施例中，在嘴部比對時間內，處理單元150將嘴部位置區域的影像與樣板影像進行比對，以產生嘴型編碼。處理單元150將嘴型編碼存入編碼序列中，且將編碼序列存入嘴部動作資訊。

舉例而言，圖7是依據本發明另一實施例說明紀錄嘴部動作資訊的流程範例。在本實施例中，嘴部動作資訊亦可代表多種嘴型之組合序列。請參照圖7，處理單元150將嘴部位置區域的 影像與儲存單元130中的數個樣板(pattern)影像進行比對(步驟S710)。樣板影像可以是具有辨識性的特定嘴部動作影像或唇語等，例如，朗讀日文五十音的「、、、、」、中文的「喂、您好、請說、我是」或英文的「hello」等的嘴部各處肌肉呈現的動作。這些樣板影像分別具有一定的變動彈性，即便人員臉部影像中的嘴型與樣板影像具有些微的差異，只要差異在變動彈性可容許的範圍內，處理單元150依然可辨識為與樣板影像相符。

接著，處理單元150判斷嘴部位置區域的影像相符於樣板影像(步驟S720)。若比對結果為相符，則處理單元150產生嘴型編碼，並將嘴型編碼存入編碼序列中(例如，第M欄，M為正整數)(步驟S730)。若比對結果為不符合，則處理單元150將M=M+1(步驟S740)，並返回步驟S710。接著，處理單元150判斷是否達到嘴部比對時間(步驟S750)。例如，處理單元150在步驟S710時啟動計時器，並在步驟S740判斷計時器是否到達嘴部比對時間。當計時器到達嘴部比對時間後，處理單元150將編碼序列存入嘴部動作資訊(步驟S770)。若處理單元150判斷計時器尚未達到嘴部比對時間，則使M=M+1(步驟S760)，並返回步驟S710繼續將嘴部位置區域的影像與樣板影像進行比對。

另一方面，人員通常會在抓取手持裝置至耳側附近後，待手持裝置位於適合通話的位置或人員可聽到手持裝置的聽筒發出的聲音，才會進行講話。因此，在一實施例中，處理單元150更判斷目標物體(例如，手持裝置)停留於耳側位置區域的停留 時間是否超過預設時間(例如，1秒、3秒等)。當停留時間超過預設時間時，處理單元150比對在嘴部位置區域中所偵測的嘴部動作資訊是否符合預設嘴部資訊。

此外，本發明實施例的裝置100亦可包括警示模組。警示模組耦接處理單元150。警示模組可以是顯示模組、燈光模組、振動模組或揚聲器模組其中之一或其組合。當處理單元150判斷人員正使用手持裝置時，透過警示模組啟動警示程序。具體而言，處理單元150產生提示信號至警示模組，警示模組便可依據提示信號來警示人員。例如，顯示模組可顯示文字、影像或圖像說明警告事宜(例如，小心！駕駛過程請勿使用手持裝置！)。燈光模組可以特定頻率閃爍燈光或發出特定顏色的燈光(例如，紅色、綠色等)。振動模組例如是包括振動馬達以產生固定頻率或變動頻率等振動。揚聲器模組可發出提示音。

在一些實施例中，預先儲存在儲存單元130中的預設嘴部資訊可以是取自樣板影像排列組合而成的預設嘴型編碼序列，且各預設嘴型編碼序列均對應於提示信號。例如，當使用者受到挾持時，人員可由嘴部作出唸誦「求救」的動作，但不必發出聲音。處理單元150便能以難以被察覺的方式，使警示模組產生求救訊號並發送至保全中心等處求援(警示模組可包括通訊模組)。

需說明的是，上述駕駛汽車(亦可以是飛機、船等)的情境是為了幫助實施例說明，但本發明實施例亦可應用在自動交易裝置或其他監控人員是否正使用手持裝置的電子裝置或場所。

綜上所述，本發明實施例所述的裝置可藉由影像辨識技術判斷目標物體的移動軌跡是否朝向人員的耳側位置區域，再判斷人員的嘴部動作是否符合預設嘴部資訊。當判斷結果都符合時，本發明實施例的裝置便可判斷人員正在使用手持裝置，亦可發出提示信號來警示人員。藉此，本發明實施例可有效且即時地監控駕駛行為或其他不適合使用手持裝置的情況，例如，駕駛人員更可提高警覺，自動交易裝置可幫助警察單位快速處理電話詐欺等問題。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

S210~S290‧‧‧步驟

Claims (15)

1. 一種偵測人員使用手持裝置的方法，適用於一電子裝置，包括：擷取一人員的一影像序列；分析該影像序列的每一個影像，以獲得一臉部物件；依據該臉部物件決定至少一耳側位置區域以及一嘴部位置區域；於該影像序列的每一個影像，偵測一目標物體，以計算該目標物體的一移動軌跡；以及其中在偵測到該移動軌跡為該目標物體朝向該至少一耳側位置區域移動之後，比對在該嘴部位置區域中所偵測的一嘴部動作資訊是否符合一預設嘴部資訊，來判斷該人員是否正在使用一手持裝置。
2. 如申請專利範圍第1項所述的方法，其中於該影像序列的每一個影像，偵測該目標物體，以計算該目標物體的該移動軌跡的步驟包括：計算該目標物體的一垂直投影量與一水平投影量，以獲得該目標物體的一尺寸範圍；於該尺寸範圍內取一基準點；以及藉由該影像序列的該每一個影像中的該基準點的位置，獲得該移動軌跡。
3. 如申請專利範圍第1項所述的方法，其中依據該臉部物件 決定至少一耳側位置區域以及一嘴部位置區域的步驟包括：藉由一人臉偵測演算法獲得該臉部物件；於該臉部物件中搜尋一鼻孔物件；以及基於該鼻孔物件的位置，往一水平方向搜尋該耳側位置區域。
4. 如申請專利範圍第3項所述的方法，其中於該臉部物件中搜尋該鼻孔物件的步驟之後，更包括：由該鼻孔物件中辨識出一鼻孔定位點；基於該鼻孔定位點設定一嘴部區域；以及對該嘴部區域的影像進行一影像處理以判斷該人員之一嘴部物件；以及依據該嘴部物件在該嘴部區域決定該嘴部位置區域。
5. 如申請專利範圍第1項所述的方法，其中在偵測到該移動軌跡為該目標物體朝向該至少一耳側位置區域中移動的步驟包括：依據該耳側位置區域獲得一興趣區域；將該影像序列中之一當前影像與一參考影像兩者各自的該興趣區域，執行一影像相減演算法，以獲得一目標區域影像；以及藉由該參考影像的該興趣區域，濾除該目標區域影像的雜訊，以獲得該目標物體。
6. 如申請專利範圍第1項所述的方法，其中在偵測到該移動軌跡為該目標物體朝向該至少一耳側位置區域移動之後，比對在該嘴部位置區域中所偵測的該嘴部動作資訊是否符合該預設嘴部 資訊，來判斷該人員是否正在使用該手持裝置的步驟包括：取得至少一嘴部影像，且依據該至少一嘴部影像取得多個嘴部特徵；依據該些嘴部特徵來判斷該至少一嘴部影像為一張開動作影像或一閉合動作影像；在一嘴部紀錄時間內，依序紀錄該嘴部位置區域中所偵測到的所有該閉合動作影像或該張開動作影像並轉換成一編碼序列；以及將該編碼序列存入該嘴部動作資訊。
7. 如申請專利範圍第1項所述的方法，其中在偵測到該移動軌跡為該目標物體朝向該至少一耳側位置區域移動之後，比對在該嘴部位置區域中所偵測的該嘴部動作資訊是否符合該預設嘴部資訊，來判斷該人員是否正在使用該手持裝置的步驟包括：在一嘴部比對時間內，將該嘴部位置區域的影像與多個樣板影像進行比對，以產生一嘴型編碼；將該嘴型編碼存入一編碼序列中；以及將該編碼序列存入該嘴部動作資訊。
8. 一種偵測人員使用手持裝置的裝置，包括：一影像擷取單元，擷取一人員的一影像序列；一儲存單元，儲存該影像序列以及一預設嘴部資訊；以及一處理單元，耦接至該儲存單元以取得該影像序列；其中該處理單元分析該影像序列的每一個影像，以獲得一臉部物件；該 處理單元依據該臉部物件決定至少一耳側位置區域以及一嘴部位置區域；於該影像序列的每一個影像中偵測一目標物體，以計算該目標物體的一移動軌跡；在該處理單元偵測到該移動軌跡為該目標物體朝向該至少一耳側位置區域移動之後，比對在該嘴部位置區域中所偵測的一嘴部動作資訊是否符合一預設嘴部資訊，來判斷該人員是否正在使用一手持裝置。
9. 如申請專利範圍第8項所述的裝置，其中該處理單元計算該目標物體的一垂直投影量與一水平投影量，以獲得該目標物體的一尺寸範圍，於該尺寸範圍內取一基準點，且藉由該影像序列的該每一個影像中的該基準點的位置，獲得該移動軌跡。
10. 如申請專利範圍第8項所述的裝置，其中該處理單元藉由一人臉偵測演算法獲得該臉部物件，於該臉部物件中搜尋一鼻孔物件，且基於該鼻孔物件的位置，往一水平方向搜尋該耳側位置區域。
11. 如申請專利範圍第10項所述的裝置，其中該處理單元由該鼻孔物件中辨識出一鼻孔定位點，基於該鼻孔定位點設定一嘴部區域，對該嘴部區域的影像進行一影像處理以判斷該人員之一嘴部物件，且依據該嘴部物件在該嘴部區域決定該嘴部位置區域。
12. 如申請專利範圍第8項所述的裝置，其中該處理單元依據該耳側位置區域獲得一興趣區域，將該影像序列中之一當前影像與一參考影像兩者各自的該興趣區域，執行一影像相減演算法，以獲得一目標區域影像，且該處理單元藉由該參考影像的該 興趣區域，濾除該目標區域影像的雜訊，以獲得該目標物體。
13. 如申請專利範圍第8項所述的裝置，其中該處理單元取得至少一嘴部影像，且依據該至少一嘴部影像取得多個嘴部特徵，依據該些嘴部特徵來判斷該至少一嘴部影像為一張開動作影像或一閉合動作影像，在一嘴部紀錄時間內，該處理單元依序紀錄該嘴部位置區域中所偵測到的所有該閉合動作影像或該張開動作影像並轉換成一編碼序列，且將該編碼序列存入該嘴部動作資訊。
14. 如申請專利範圍第8項所述的裝置，其中在一嘴部比對時間內，該處理單元將該嘴部位置區域的影像與多個樣板影像進行比對，以產生一嘴型編碼，該處理單元將該嘴型編碼存入一編碼序列中，且將該編碼序列存入該嘴部動作資訊。
15. 如申請專利範圍第8項所述的裝置，其中該裝置更包括：一警示模組，當該處理單元判斷該人員正使用該手持裝置時，透過該警示模組啟動一警示程序。