TWI550440B - 人員使用手持裝置的偵測方法以及系統 - Google Patents

Description

人員使用手持裝置的偵測方法以及系統

本發明是有關於一種影像辨識技術，且特別是有關於一種透過影像辨識技術來判斷人員是否使用手持裝置的偵測方法以及系統。

隨著科技的進步，製造商不斷開發諸如行動電話、平板電腦或可攜式隨身聽等手持裝置的功能，以使得手持裝置不僅可接聽電話、瀏覽網際網路，甚至可用以導航、購物、餐廳定位或交友等。由於手持裝置可為人們帶來許多便利，因此使得人們的生活逐漸無法脫離手持裝置。

手持裝置固然方便，但在一些特定場合中並不適合操作手持裝置，其可能會影響到自己或他人。例如，駕駛者在駕駛汽車的過程中接聽來電，將會使駕駛者分心，而造成意外。另一方面，近年來詐騙案件頻傳，詐騙集團通常會以電話誘騙受害者前往自動櫃員機(Automated Teller Machine；ATM)前進行操作， 並藉以取得受害者的財產。然而，現今監控人員使用手持裝置的系統通常會有處理速度不符合實際應用或辨識效果差等問題。有鑑於此，有需要提出一種有效且即時地監控人們使用手持裝置之方法，以避免危害發生。

本發明提供一種人員使用手持裝置的偵測方法以及系統，其可透過影像特徵擷取演算法對人員使用與未使用手持裝置的影像取得特徵訓練樣本，且透過在單次影像畫面中僅對單一興趣區域偵測人員是否使用手持裝置，以提昇判斷人員使用手持裝置的速度及準確度。

本發明提供一種人員是否使用手持裝置的偵測方法，適用於電子裝置，此偵測方法包括下列步驟。透過影像資料，以獲得特徵訓練樣本。依據特徵訓練樣本，分類成使用手持裝置類樣本以及未使用手持裝置類樣本。擷取人員的影像序列。依據影像序列偵測人員的臉部物件，以決定影像序列中任一個影像畫面內的興趣區域。在此任一個影像畫面中，偵測興趣區域其中之一是否符合使用手持裝置類樣本或未使用手持裝置類樣本，以決定是否切換至另一興趣區域來進行偵測，並藉以判斷人員是否使用手持裝置。

在本發明的一實施例中，上述在任一個影像畫面中，偵測興趣區域其中之一是否符合使用手持裝置類樣本或未使用手持 裝置類樣本，以決定是否切換至另一興趣區域來進行偵測，並藉以判斷人員是否使用手持裝置包括下列步驟。當在此任一個影像畫面中偵測到興趣區域其中之一符合使用手持裝置類樣本時，在下一影像畫面中繼續偵測相同的興趣區域是否符合使用手持裝置類樣本或未使用手持裝置類樣本。

在本發明的一實施例中，上述在任一個影像畫面中，偵測興趣區域其中之一是否符合使用手持裝置類樣本或未使用手持裝置類樣本，以決定是否切換至另一興趣區域來進行偵測，並藉以判斷人員是否使用手持裝置包括下列步驟。當在此任一個影像畫面中偵測到興趣區域其中之一符合未使用手持裝置類樣本時，在下一影像畫面切換至另一興趣區域來偵測是否符合使用手持裝置類樣本或未使用手持裝置類樣本。

在本發明的一實施例中，上述在任一個影像畫面中，偵測興趣區域其中之一是否符合使用手持裝置類樣本或未使用手持裝置類樣本，以決定是否切換至另一興趣區域來進行偵測，並藉以判斷人員是否使用手持裝置包括下列步驟。當偵測到興趣區域其中之一符合使用手持裝置類樣本時，增加計數值。當偵測到興趣區域其中之一符合未使用手持裝置類樣本時，減少計數值。當計數值到達門檻值時，判斷人員使用手持裝置。

在本發明的一實施例中，上述的影像資料包括使用手持裝置影像資料以及未使用手持裝置影像資料，而取得影像資料的特徵訓練樣本包括下列步驟。分別對使用手持裝置以及未使用手 持裝置的人員擷取影像訓練序列。分析影像訓練序列，以分別取得此人員的使用手持裝置影像資料以及未使用手持裝置影像資料。利用影像特徵擷取演算法取得使用手持裝置影像資料以及未使用手持裝置影像資料的特徵訓練樣本。

在本發明的一實施例中，上述依據影像資料的特徵訓練樣本來分類成使用手持裝置類樣本以及未使用手持裝置類樣本包括下列步驟。依據影像資料的特徵訓練樣本計算模組參數。依據模組參數建立分類器模組，以透過分類器模組將影像資料的特徵訓練樣本分類成使用手持裝置類樣本以及未使用手持裝置類樣本。透過影像特徵擷取演算法取得興趣區域其中之一的特徵資訊。透過分類器模組判斷特徵資訊是否符合使用手持裝置類樣本或未使用手持裝置類樣本。

本發明提供一種人員使用手持裝置的偵測系統，此偵測系統包括影像擷取裝置、儲存單元以及處理器。影像擷取裝置用以取得人員的影像序列。儲存單元用以儲存影像序列。處理器耦接影像擷取裝置以及儲存單元，處理器透過影像資料以獲得特徵訓練樣本，依據特徵訓練樣本，分類成使用手持裝置類樣本以及未使用手持裝置類樣本，且偵測人員的臉部物件，以決定影像序列中任一個影像畫面內的興趣區域。在此任一個影像畫面中，處理器偵測興趣區域其中之一是否符合使用手持裝置類樣本或未使用手持裝置類樣本，以決定是否切換至另一興趣區域來進行偵測，並藉以判斷人員是否使用手持裝置。

在本發明的一實施例中，當處理器在任一個影像畫面中偵測到興趣區域其中之一符合使用手持裝置類樣本時，在下一影像畫面中繼續偵測相同的興趣區域是否符合使用手持裝置類樣本或未使用手持裝置類樣本。

在本發明的一實施例中，當處理器在任一個影像畫面中偵測到興趣區域其中之一符合未使用手持裝置類樣本時，在下一影像畫面切換至另一興趣區域來偵測是否符合使用手持裝置類樣本或未使用手持裝置類樣本。

在本發明的一實施例中，當處理器偵測到興趣區域其中之一符合使用手持裝置類樣本時，增加計數值。當處理器偵測到興趣區域其中之一符合未使用手持裝置類樣本時，減少計數值。當計數值到達門檻值時，處理器判斷人員使用手持裝置。當計數值到達門檻值時，處理器判斷人員使用手持裝置。

在本發明的一實施例中，上述的影像資料包括使用手持裝置影像資料以及未使用手持裝置影像資料。而處理器透過影像擷取裝置分別對使用手持裝置以及未使用手持裝置的人員擷取影像訓練序列，且分析影像訓練序列，以分別取得此人員的使用手持裝置影像資料以及未使用手持裝置影像資料。並且，處理器利用影像特徵擷取演算法取得使用手持裝置影像資料以及未使用手持裝置影像資料的特徵訓練樣本。

在本發明的一實施例中，上述的處理器依據影像資料的特徵訓練樣本計算模組參數。並且，處理器依據模組參數建立分 類器模組，以透過分類器模組將影像資料的特徵訓練樣本分類成使用手持裝置類樣本以及未使用手持裝置類樣本。並且，處理器透過影像特徵擷取演算法取得興趣區域其中之一的特徵資訊。並且，處理器透過分類器模組判斷特徵資訊是否符合使用手持裝置類樣本或未使用手持裝置類樣本。

基於上述，本發明實施例可藉由在任一個影像畫面中依據人員的臉部物件所決定的其中一個興趣區域中偵測是否符合使用手持裝置類樣本或未使用手持裝置類樣本，以決定是否切換至另一個興趣區域來進行偵測。此外，本發明實施例更透過影像特徵擷取演算法以及支援向量機來分類使用手持裝置類樣本或未使用手持裝置類樣本。藉此，便能快速且準確地判斷人員是否使用手持裝置。

為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

100‧‧‧偵測系統

110‧‧‧影像擷取裝置

130‧‧‧儲存單元

150‧‧‧警示模組

170‧‧‧處理器

S210~S290、S310~S350、S510~S590、S1105~S1190、S1210~S1290‧‧‧步驟

400、800‧‧‧視窗區域

410、420‧‧‧單元區域

415‧‧‧像素

450、470‧‧‧區塊區域

605~645‧‧‧向量方向

650、670、710、720、730、740‧‧‧像素

700、770‧‧‧單元區域

810‧‧‧區塊區域

901~909‧‧‧樣本點

910、920、940‧‧‧超平面

1000‧‧‧臉部物件

1010~1070‧‧‧興趣區域

b‧‧‧位移

w‧‧‧垂直於超平面的向量

x‧‧‧樣本點

圖1是依據本發明一實施例說明一種人員使用手持裝置的偵測系統的方塊圖。

圖2是依據本發明一實施例說明一種人員使用手持裝置的偵測方法流程圖。

圖3是依據本發明一實施例說明取得影像資料的特徵訓練樣 本的流程圖。

圖4是依據本發明一實施例說明視窗區域、區塊區域、單元區域以及像素的示意圖。

圖5是依據本發明一實施例說明方向梯度直方圖的流程圖。

圖6A及6B是說明向量方向的範例。

圖7是累積特徵向量的範例。

圖8是視窗區域的方向梯度直方圖的範例。

圖9是超平面的示意圖範例。

圖10是興趣區域的範例。

圖11是支援向量機器(SVM)分類器模組的學習流程範例。

圖12是手持裝置偵測步驟流程範例。

諸如方向梯度直方圖(Histogram of Oriented Gradient；HOG)或Haar層疊(Cascade)等影像特徵擷取演算法經常用來結合諸如支援向量機器(support vector machine；SVM)、適應性增強(adaptive boosting；adaboost)等分類器，以透過機器學習方法對影像中所擷取到的特徵進行分類。據此，本發明實施例便是透過結合影像特徵擷取演算法以及機器學習方法，來分類成使用手持裝置類樣本以及未使用手持裝置類樣本。此外，為了提昇影像辨識的速度，本發明實施例更僅針對一張影像畫面中某一個興趣區域進行偵測，以決定是否在下一張影像畫面切換至另一個 興趣區域，並透過上述分類器模組來判斷人員是否使用手持裝置。藉此，本發明實施例便能提供準確又快速的手持裝置的使用狀態的偵測方法。以下提出符合本發明之精神的多個實施例，應用本實施例者可依其需求而對這些實施例進行適度調整，而不僅限於下述描述中的內容。

圖1是依據本發明一實施例說明一種人員使用手持裝置的偵測系統的方塊圖。請參照圖1，偵測系統100包括影像擷取裝置110、儲存單元130、警示模組150以及處理器170。本發明實施例的偵測系統100可設置於交通工具(例如，汽車、船、火車等)內，並用以對駕駛者進行偵測。此外，偵測系統100亦可設置於自動櫃員機(Automated Teller Machine；ATM)等自動交易裝置，並用以判斷例如是使用者是否受詐騙集團的電話指示而進行轉帳操作。在其他實施例中，應用本發明實施例者可依據需求，將偵測系統100設置於任何需要監控人員是否正使用手持裝置的電子裝置、設備或場所，本發明不加以限制。

影像擷取裝置110可以是電荷耦合元件(Charge coupled device；CCD)鏡頭、互補式金氧半電晶體(Complementary metal oxide semiconductor transistors；CMOS)鏡頭、或紅外線鏡頭的攝影機、照相機。影像擷取裝置110用以擷取人員的影像或影像序列，並將影像或影像序列儲存至儲存單元130。

需說明的是，在一些實施例中，影像擷取裝置110更具有照明元件(例如，發光二極體(Light Emitting Diode；LED))， 用以在光線不足時對待攝物體進行補光，以確保影像擷取裝置110所拍攝之影像具備高清晰度。

儲存單元130可以是任何型態的固定或可移動隨機存取記憶體(random access memory；RAM)、唯讀記憶體(read-only memory；ROM)、快閃記憶體(flash memory)、硬碟(Hard Disk Drive；HDD)或類似元件或上述元件的組合。

警示模組150可以是顯示模組(例如，液晶顯示器(Liquid Crystal Display；LCD)、有機電激發光顯示器(Organic Electro-Luminescent Display；OELD)等)、燈光模組(例如，具備至少一個發光二極體的模組)、振動模組(例如，包括振動馬達的模組)或揚聲器(Speaker)模組(例如，單聲道(mono)或立體聲(stereo)揚聲器)其中之一或其組合。

處理器170耦接影像擷取裝置110、儲存單元130以及警示模組150。處理器170可以是中央處理器(Central Processing Unit；CPU)具有運算功能的晶片組、微處理器或微控制器(micro control unit；MCU)。本發明實施例處理器170用以處理本實施例之偵測系統100的所有作業。處理器170可透過影像擷取裝置110取得影像或影像序列，對影像或影像序列進行影像特徵擷取演算法以及機器學習方法，並透過影像特徵擷取演算法且載入分類器模組來對影像或影像序列進行影像辨識，上述詳細步驟待後續實施例說明。

為幫助理解本發明之技術，以下舉一情境說明本發明的應 用方式。假設本發明實施例的裝置100設置於汽車上，駕駛者坐在駕駛位置(為方便說明，以下以「人員」作為此駕駛者)，偵測系統100上的影像擷取裝置110可對人員進行拍攝。影像擷取裝置110所擷取到人員的影像可包含人員的臉部、肩部甚至是半身。此外，假設手持裝置放置於排檔附近或儀表板上方等汽車內的任何位置。以下將依據此情境搭配諸多實施例來進行詳細說明。

圖2是依據本發明一實施例說明一種人員使用手持裝置的偵測方法流程圖。手持裝置例如是功能型手機或智慧型手機等類型的行動電話。請參照圖2，本實施例的方法適用於圖1的偵測系統100。下文中，將搭配偵測系統100中的各項元件說明本發明實施例所述之方法。本方法的各個流程可依照實施情形而隨之調整，且並不僅限於此。

在步驟S210中，處理器170透過影像資料，以獲得的特徵訓練樣本。在本實施例中，影像資料包括使用手持裝置影像資料以及未使用手持裝置影像資料。舉例而言，圖3是依據本發明一實施例說明取得影像資料的特徵訓練樣本的流程圖。請參照圖3，在步驟S310中，處理器170透過影像擷取裝置110分別對使用手持裝置以及未使用手持裝置的人員擷取影像訓練序列。偵測系統100例如是提供操作介面，以提示人員來分別拍攝使用手持裝置以及未使用手持裝置的影像畫面。此影像訓練序列例如是兩張、四張或十張等至少包括兩張使用手持裝置以及未使用手持裝置的訓練影像所組成。

接著，在步驟S330中，處理器170分析影像訓練序列，以分別取得此人員的使用手持裝置影像資料以及未使用手持裝置影像資料。由於上述影像訓練序列同時包括使用手持裝置以及未使用手持裝置的訓練影像，處理器170便可依據使用手持裝置以及未使用手持裝置的訓練影像，分別取得訓練影像中例如是影像大小、感光度(ISO值)、紅綠藍(Red、Green、Blue；RGB)資料(或亮度-彩度(brightness-chroma；YUV)、YIQ等)等任何類型的影像資料，以分別作為使用手持裝置影像資料以及未使用手持裝置影像資料。

然後，在步驟S350中，處理器170利用影像特徵擷取演算法取得使用手持裝置影像資料以及未使用手持裝置影像資料的特徵訓練樣本。在一實施例中，影像特徵擷取演算法是方向梯度直方圖(HOG)演算法。HOG演算法例如會先將影像畫面劃分為多種不同大小及數量的區域。例如，圖4是依據本發明一實施例說明視窗(windows)區域、區塊(block)區域、單元(cell)區域以及像素(pixel)的示意圖。請參照圖4，以單元區域410為例，單元區域410是由固定大小及數量的像素(例如，像素415)所組成的區域，各單元區域之間沒有重疊(例如，單元區域410及420)。而以區塊區域450為例，區塊區域450是由固定大小及數量的單元區域(例如，單元區域410及420)所組成的區域，各區塊區域之間允許重疊(例如，區塊區域450及470)。再以視窗區域400為例，視窗區域400是由固定大小及數量的區塊區域(例 如，區塊區域450及470)所組成的區域。在一實施例中，視窗區域亦可作為興趣區域(region of interest；ROI)。以下將舉一實施例說明HOG演算法應用於本發明的詳細步驟。

圖5是依據本發明一實施例說明方向梯度直方圖的流程圖。請同時參照圖4及圖5，在步驟S510中，處理器170計算各像素(例如，圖4的像素415)的梯度強度及梯度方向。舉例而言，處理器170透過邊緣偵測而對各像素進行梯度運算(gradient operation)(例如，使用羅伯特交錯梯度運算子(Roberts cross-gradient operator)、索貝爾運算子(Sobel operator)、Prewitt運算子(Prewitt operator)等一階梯度運算子，並藉以計算各像素的影像邊緣的強度值(即，梯度強度)以及影像邊緣的正交方向(即，梯度方向)。需說明的是，應用本發明實施例者可依據設計需求，透過不同梯度計算方法來取得各像素的梯度強度及梯度方向，本發明不加以限制。

接著，在步驟S530中，處理器170使用內插法將各梯度的向量強度依據梯度方向，分配給九個無視方向區域中鄰近的兩個向量方向。舉例而言，圖6A及6B是說明向量方向的範例。請先參照圖6A，一個圓形被平均劃分成18個向量方向(例如，向量方向610及615)。請接著同時參照圖6A及6B，圖6B的左方四個像素是經過步驟S510取得梯度強度以及梯度方向的示意圖。以像素650為例，處理器170依據像素650的梯度強度以及梯度方向，透過內插法計算出在圖6A中最接近的一個或兩個向量方向 (例如，向量方向610及615)，並計算像素650在所計算的向量方向上的分量大小，以取得如圖6B右方像素670所顯示的特徵向量(例如，以向量方向610及615呈現的特徵向量)。需說明的是，在其他實施例中，處理器170可劃分成4個、8個或20個等向量方向，本發明實施例不加以限制。

需說明的是，在本範例中，處理器170僅以9個向量方向(例如，向量方向605~645)作為依據。若像素的梯度方向所計算出的向量方向為對稱於向量方向605~645的相反方向，則其計算出的分量大小以負值計算。

然後，在步驟S550中，處理器170累積各單元區域中各像素的特徵向量。舉例而言，圖7是累積特徵向量的範例。請參照圖7，假設圖7左方的單元區域700包括像素710、720、730及740，像素710~740呈現經過步驟S530中依據圖6A所示各向量方向所轉換的特徵向量。而圖7右方的單元區域770是經過累積單元區域700中的所有像素710~740的特徵向量所得的特徵向量。也就是，累積像素710~740的特徵向量在向量方向上的分量大小。

在步驟S570中，處理器170將各區塊區域中的所有單元區域的特徵向量組成各區塊區域的特徵，並將各單元區域的梯度強度(即，特徵向量的大小)進行正規化(normalize)計算。接著，處理器170將視窗區域中的所有區塊區域的特徵結合，以形成視窗區域的HOG特徵(步驟S590)。舉例而言，圖8是視窗區 域的方向梯度直方圖的範例。請參照圖8，假設視窗區域800具有4*8=32個區塊區域(例如，區塊區域810)。以區塊區域810為例，區塊區域810的特徵是經由步驟S570所計算而來。

在一實施例中，處理器170可設定所載入之HOG演算法的運行程式HOGDescriptor()：winSize(64,128),blockSize(16,16),blockStride(8,8),cellSize(8,8),nbins(9)。winSize即為視窗區域(或是興趣區域)，在本實施例中，以80*104個像素作為視窗區域的大小。blockSize及cellSize分別是區塊區域及單元區域的選定大小。blockStride為鄰近區塊區域的平行及垂直距離。而nbins為將180度分割為幾個描述梯度的區間(即，向量方向的數量)。因此，在上述設定下，一個視窗區域具有9*12=108個區塊區域，各區塊區域包括4個單元區域，而各單元區域具有9個向量描述(即，特徵向量)。也就是說，一個視窗區域共有108*4*9=3888個特徵描述。需說明的是，在其他實施例中，HOG演算法的運行程式可設定成不同的視窗區域大小、區塊區域大小、單元區域大小、鄰近區塊區域的平行及垂直距離、或描述梯度的區間，本發明不以此為限。

此外，本發明實施例的影像特徵擷取演算法並不局限於HOG演算法，在其他實施例中，Haar層疊演算法、LBP演算法、SIFT演算法或SURF演算法等都可應用於本發明中，以取得影像特徵。

請繼續參照圖2，在步驟S230中，處理器170依據特徵 訓練樣本，分類成使用手持裝置類樣本以及未使用手持裝置類樣本。在一實施例中，處理器170依據影像資料的特徵訓練樣本計算模組參數。並且，處理器170依據模組參數建立分類器模組，以透過分類器模組(例如，程式碼、程式等)將影像資料的特徵訓練樣本分類成使用手持裝置類樣本以及未使用手持裝置類樣本。

舉例而言，處理器170可利用支援向量機器方法來進行分類。具體而言，處理器170先決定支援向量機器分類器的模組參數(例如，SVM類型、核心(kernel)類型、程度(degree)、伽瑪(gamma)等)。這些模組參數可以是事先定義或提供操作介面以供人員設定而來。接著，處理器170可將例如是圖5流程所取得的視窗區域的各特徵描述作為特徵訓練樣本，並輸入至經由上述模組參數所建立的分類器模組。處理器170可藉由取出特徵訓練樣本中靠近分類邊界的支援向量(support vector)，來找出一個能夠將特徵訓練樣本分類的超平面(hyperplane)，以使此超平面放置在一個位置，兩類樣本(即，使用手持裝置類樣本以及未使用手持裝置類樣本)中接近這個位置的點距離的都最遠，此超平面亦可稱作最大間隔超平面。

圖9是超平面的示意圖範例。請參照圖9，「X」(例如，樣本點901)及「○」(例如，樣本點902)是將特徵訓練樣本輸入至分類器模組後所映射的樣本點。而超平面920的數學形式可以方程式(1)表示： w．x-b=0 (1)，其中x是超平面上的樣本點，而w是垂直於超平面的向量，且b為位移。

為了取得最大間隔，處理器170要取得支持向量以及(與最大間隔超平面)平行且距離支持向量最近的超平面。因此，處理器170計算出超平面910及940，其可分別透過方程式(2)及(3)來表示：w．x-b=1 (2) w．x-b=-1 (3)其中，樣本點903、905及907以及樣本點904、906、908及909為最接近超平面920的樣本點，樣本點903、905及907以及樣本點904、906、908及909分別重疊於超平面910及940，且超平面910及940相距2/|w|。因此，處理器170便可決定超平面920為最大間隔超平面。

藉此，由於本發明實施例是輸入使用手持裝置影像資料以及未使用手持裝置影像資料，則處理器170便能透過分類器模組來將使用手持裝置影像資料以及未使用手持裝置影像資料的特徵訓練樣本，分類成使用手持裝置類樣本以及未使用手持裝置類樣本。

需說明的是，在其他實施例中，處理器170亦可使用適應性增強(adaboost)或類神經網路演算法，來建立分類器模組，本發明不加以限制。

在步驟S250中，處理器170透過影像擷取裝置110擷取人員的影像序列。例如，影像擷取裝置110可設定為每秒18張、30張、50張等拍攝速度，或僅拍攝兩張影像，以對人員進行拍攝，並將擷取的影像序列儲存在儲存單元130中。

在其他實施例中，處理器170亦可事先設定啟動條件。當符合此啟動條件時，處理器170可致能影像擷取裝置110來擷取人員的影像序列。例如，可在影像擷取裝置110的附近設置感測器(例如，紅外線感測器)。偵測系統100利用紅外線感測器來偵測是否有人員位於影像擷取裝置110可擷取影像的範圍內。倘若紅外線感測器偵測到在影像擷取裝置110前方有人員出現(即，符合啟動條件)時，處理器170便會致能影像擷取裝置110開始擷取影像序列。另外，偵測系統100上亦可設置啟動鈕，當此啟動鈕被按壓時，處理器170才啟動影像擷取裝置110。

此外，處理器170亦可對擷取到的影像序列執行背景濾除動作。例如，將第I張影像與第I+1張影像進行差分處理，I為正整數。之後，處理器170可將濾除背影的影像轉為灰階影像，藉此進行後續動作。

接著，由處理器170開始對上述影像序列的各張影像進行影像辨識程序。在步驟S270中，處理器170偵測人員的臉部物件，以決定影像序列中任一個影像畫面內的興趣區域。具體而言，處理器170分析影像序列以取得臉部特徵(例如，眼睛、鼻子、嘴唇等)，再利用臉部特徵的比對，來找出影像中的臉部物件。例 如，儲存單元130儲存有特徵資料庫。此特徵資料庫包括了臉部特徵樣本(pattern)。而處理器170藉由與特徵資料庫中的樣本進行比對來獲得臉部物件。針對偵測臉部物件的技術，本發明實施例可利用適應性增強演算法或其他人臉偵測演算法等演算法來獲得影像序列的各影像中的臉部物件。

在處理器170取得臉部物件後，便能決定興趣區域。舉例而言，圖10是興趣區域的範例。請參照圖10，處理器170先決定臉部物件1000，便在臉部物件1000的左右臉側附近決定興趣區域1010、1020、1030、1050、1060及1070。在本發明實施例中，興趣區域例如是對應於前述HOG演算法中的視窗區域(例如，圖4的視窗區域400或圖8的視窗區域800)。需說明的是，應用本發明實施例者可依據設計需求，調整興趣區域的位置、數量、大小，本發明不加以限制。

之後，在步驟S290中，在此任一個影像畫面中，處理器170偵測興趣區域其中之一是否符合使用手持裝置類樣本或未使用手持裝置類樣本，以決定是否切換至另一興趣區域來進行偵測，並藉以判斷人員是否使用手持裝置。

需說明的是，由於傳統透過HOG演算法的影像辨識，通常需要對整張影像畫面進行偵測，但卻造成辨識速度緩慢且不符合實際應用。據此，本發明便是僅針對影像畫面中的特定興趣區域來進行偵測，並且依據偵測結果來決定是否切換另一興趣區域，以提昇辨識速度。

例如，處理器170先對圖10的興趣區域1010作為影像序列中第一張影像畫面進行偵測。在一實施例中，處理器170透過影像特徵擷取演算法取得興趣區域其中之一的特徵資訊。並且，處理器170透過分類器模組判斷特徵資訊是否符合使用手持裝置類樣本或未使用手持裝置類樣本。例如，處理器170透過前述HOG演算法取得圖10的興趣區域1010中的HOG特徵，並將這些HOG特徵輸入SVM分類器模組來判定此興趣區域符合使用手持裝置類樣本或未使用手持裝置類樣本。

在一實施例中，當處理器170在任一個影像畫面中偵測到興趣區域其中之一符合使用手持裝置類樣本時，在下一影像畫面中繼續偵測相同的興趣區域是否符合使用手持裝置類樣本或未使用手持裝置類樣本。例如，處理器170在影像序列的第三張影像畫面中偵測圖10的興趣區域1010，則在第四張影像畫面中繼續偵測圖10的興趣區域1010。

而另一實施例中，當處理器170在影像序列的影像畫面中偵測到興趣區域其中之一符合未使用手持裝置類樣本時，在下一影像畫面切換至另一興趣區域來偵測是否符合使用手持裝置類樣本或未使用手持裝置類樣本。例如，處理器170在影像序列的第一張影像畫面中偵測圖10的興趣區域1010，則在第二張影像畫面中繼續偵測圖10的興趣區域1020。需說明的是，本發明實施例不加以限制興趣區域的偵測順序，例如，處理器170可先偵測圖10的興趣區域1010，再偵測圖10的興趣區域1060，端視設計需 求來決定。

需說明的是，上述下一影像畫面亦可能是前述任一個影像畫面後的第兩張影像畫面、第五張影像畫面等，應用本發明實施例者可依據設計需求進行調整。

此外，在一些實施例中，當處理器170判斷興趣區域為偵測到使用手持裝置的情況下，將進一步確認判定的合理性。例如，處理器170判斷的位置過於接近臉部，則會將偵測結果濾掉(例如，重新判定為符合未使用手持裝置類樣本)。

此外，為了降低影像識別的錯誤率，本發明更另設置計數器，以透過多次偵測來提昇準確度。在一實施例中，當處理器170偵測到興趣區域其中之一符合使用手持裝置類樣本時，增加計數器的計數值(例如，加1)。而當處理器170偵測到興趣區域其中之一符合未使用手持裝置類樣本時，減少計數值(例如，減1)。並且，當計數值到達門檻值(例如，18次、30次等)時，處理器170便判斷人員使用手持裝置。

在一些實施例中，當處理器170判斷人員使用手持裝置時，透過警示模組150啟動警示程序。處理器170可產生提示信號至警示模組，警示模組便可依據提示信號來警示人員。例如，顯示模組可顯示文字、影像或圖像說明警告事宜(例如，駕駛者正使用手持裝置！)。燈光模組可以特定頻率閃爍燈光或發出特定顏色的燈光(例如，紅色、藍色等)。振動模組例如是以產生固定頻率或變動頻率等振動。揚聲器模組可發出提示音(例如，長音 「逼」聲等)。

藉此，人員在駕駛汽車的過程中接聽來電時，設置於汽車上的偵測系統100便可快速偵測到人員正使用手持裝置，以提供使用手持裝置的警示。此外，本發明實施例亦可應用在自動交易裝置或其他監控人員是否正使用手持裝置的電子裝置或場所。為使本發明更輕易被理解，以下將另舉應用範例分別說明SVM分類器模組的訓練步驟以及手持裝置偵測步驟。

圖11是SVM分類器模組的學習流程範例。請參照圖11，在步驟S1105以及S1110中，處理器170分別取得使用手持裝置的訓練特徵資料(即，使用手持裝置影像資料)以及未使用手持裝置的訓練特徵資料(即，未使用手持裝置影像資料)。例如，處理器170透過影像擷取裝置110分別對使用手持裝置以及未使用手持裝置的人員拍攝多個影像，並依據這些影像產生手持裝置的訓練特徵資料以及未使用手持裝置的訓練特徵資料。

在步驟S1130中，處理器170將這些影像產生手持裝置的訓練特徵資料以及未使用手持裝置的訓練特徵資料轉換成例如是80*104像素大小(即，視窗區域)。接著，處理器170透過HOG影像特徵擷取演算法取得HOG特徵(步驟S1150)，再設定線性(linear)SVM參數(步驟S1170)。然後，處理器170便可將HOG特徵分類成使用手持裝置類樣本以及未使用手持裝置類樣本，已建立線性SVM分類器模組(步驟S1190)。

另一方面，圖12是手持裝置偵測步驟流程範例。請參照 圖12，處理器170透過影像擷取裝置110對人員擷取影像序列，以將輸入影像序列(步驟S1210)。影像序列中的影像畫面例如是640*480像素，而若欲提昇處理速度，可將解析度調低，例如是320*240像素。接著，處理器170依據輸入的影像序列來判斷是否偵測到人臉(步驟S1220)。若處理器170偵測到人臉，則處理器170依據偵測的人臉設定興趣區域(步驟S1230)。例如，在人臉的兩側分別畫出上、中、下共六個興趣區域(例如，圖10中的興趣區域1010~1070)。接著，處理器170對其中一個興趣區域進行手持裝置偵測(步驟S1240)，其中處理器170先對此興趣區域進行HOG影像特徵擷取演算法以取得HOG特徵(步驟S1245)，再透過SVM分類器模組來判斷這些HOG特徵是否符合使用手持裝置類樣本以及未使用手持裝置類樣本(步驟S1247)。若這些HOG特徵符合使用手持裝置類樣本(步驟S1250)，則處理器170增加計數器的計數值(步驟S1280)，且繼續對相同的興趣區域進行偵測。例如，若步驟S1240對圖10的興趣區域1070進行偵測，則繼續對圖10的興趣區域1070進行偵測。而若處理器170無法偵測到人臉或這些HOG特徵符合未使用手持裝置類樣本(步驟S1260)，則在下一個影像畫面切換另一個興趣區域(步驟S1270)，並減少計數器的計數值(步驟S1280)。例如，若步驟S1240對圖10的興趣區域1060進行偵測，則切換至圖10的興趣區域1020。接著，處理器170等待事件觸發(步驟S1290)。例如，處理器170判斷計數值是否到達門檻值(例如，18次)。若計數值到達門檻值， 則處理器170觸發警示信號，並透過警示模組150發出警示以告知人員。此外，處理器170會繼續進行步驟S1240手持裝置偵測，直到計數值歸零時，處理器170才會解除警示程序。

綜上所述，本發明實施例所述的偵測系統可透過影像特徵擷取演算法取得影像特徵，再將影像特徵透過機器學習方法對來分類成使用手持裝置類樣本以及未使用手持裝置類樣本。此外，偵測系統依據人員的臉部物件所決定的其中一個興趣區域中偵測是否符合使用手持裝置類樣本或未使用手持裝置類樣本，以決定是否在下一張影像畫面中切換至另一個興趣區域來進行偵測，並藉以判斷人員是否使用手持裝置。藉此，便能透過影像特徵擷取演算法以及機器學習方法來增加影像辨識的精確度，更能改善影像特徵擷取演算法的辨識速度，進而提供快速且精確的手持裝置使用狀態之偵測方法。駕駛者更能經由警示程序來提高警覺心，以降低意外發生率。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

S210~S290‧‧‧步驟

Claims (12)

1. 一種人員使用手持裝置的偵測方法，適用於一電子裝置，該偵測方法包括：透過多個影像資料，以獲得多個特徵訓練樣本；依據該些特徵訓練樣本，分類成一使用手持裝置類樣本以及一未使用手持裝置類樣本；擷取一人員的一影像序列；依據該影像序列偵測該人員的臉部物件，以決定該影像序列中任一個影像畫面內的多個興趣區域；以及在該任一個影像畫面中，偵測該些興趣區域其中之一是否符合該使用手持裝置類樣本或該未使用手持裝置類樣本，以決定是否切換至另一該興趣區域來進行偵測，並藉以判斷該人員是否使用一手持裝置。
2. 如申請專利範圍第1項所述的偵測方法，其中在該任一個影像畫面中，偵測該些興趣區域其中之一是否符合該使用手持裝置類樣本或該未使用手持裝置類樣本，以決定是否切換至另一該興趣區域來進行偵測，並藉以判斷該人員是否使用該手持裝置的步驟包括：當在該任一個影像畫面中偵測到該些興趣區域其中之一符合該使用手持裝置類樣本時，在下一影像畫面中繼續偵測相同的該興趣區域是否符合該使用手持裝置類樣本或該未使用手持裝置類樣本。
3. 如申請專利範圍第1項所述的偵測方法，其中在該任一個影像畫面中，偵測該些興趣區域其中之一是否符合該使用手持裝置類樣本或該未使用手持裝置類樣本，以決定是否切換至另一該興趣區域來進行偵測，並藉以判斷該人員是否使用該手持裝置的步驟包括：當在該任一個影像畫面中偵測到該些興趣區域其中之一符合該未使用手持裝置類樣本時，在下一影像畫面切換至另一該興趣區域來偵測是否符合該使用手持裝置類樣本或該未使用手持裝置類樣本。
4. 如申請專利範圍第1項所述的偵測方法，其中在該任一個該影像畫面中，偵測該些興趣區域其中之一是否符合該使用手持裝置類樣本或該未使用手持裝置類樣本，以決定是否切換至另一該興趣區域來進行偵測，並藉以判斷該人員是否使用該手持裝置的步驟包括：當偵測到該些興趣區域其中之一符合該使用手持裝置類樣本時，增加一計數值；當偵測到該些興趣區域其中之一符合未該使用手持裝置類樣本時，減少該計數值；以及當該計數值到達一門檻值時，判斷該人員使用該手持裝置。
5. 如申請專利範圍第1項所述的偵測方法，其中該些影像資料包括一使用手持裝置影像資料以及一未使用手持裝置影像資料，而取得該些影像資料的該些特徵訓練樣本的步驟包括： 分別對使用該手持裝置以及未使用該手持裝置的該人員擷取至少二影像訓練序列；分析該至少二影像訓練序列，以分別取得該人員的該使用手持裝置影像資料以及該未使用手持裝置影像資料；以及利用一影像特徵擷取演算法取得該使用手持裝置影像資料以及該未使用手持裝置影像資料的該些特徵訓練樣本。
6. 如申請專利範圍第1項所述的偵測方法，其中依據該些影像資料的該些特徵訓練樣本來分類成該使用手持裝置類樣本以及該未使用手持裝置類樣本的步驟包括：依據該些影像資料的該些特徵訓練樣本計算多個模組參數；依據該些模組參數建立一分類器模組，以透過該分類器模組將該些影像資料的該些特徵訓練樣本分類成該使用手持裝置類樣本以及該未使用手持裝置類樣本；透過一影像特徵擷取演算法取得該些興趣區域其中之一的多個特徵資訊；以及透過該分類器模組判斷該些特徵資訊是否符合該使用手持裝置類樣本或該未使用手持裝置類樣本。
7. 一種人員使用手持裝置的偵測系統，包括：一影像擷取裝置，用以取得一人員的一影像序列；一儲存單元，用以儲存該影像序列；以及一處理器，耦接該影像擷取裝置以及該儲存單元，該處理器透過多個影像資料以獲得多個特徵訓練樣本，依據該些特徵訓練 樣本，分類成一使用手持裝置類樣本以及一未使用手持裝置類樣本，且偵測一人員的臉部物件，以決定該影像序列中任一個影像畫面內的多個興趣區域，在該任一個影像畫面中，該處理器偵測該些興趣區域其中之一是否符合該使用手持裝置類樣本或該未使用手持裝置類樣本，以決定是否切換至另一該興趣區域來進行偵測，並藉以判斷該人員是否使用一手持裝置。
8. 如申請專利範圍第7項所述的偵測系統，其中當該處理器在該任一個影像畫面中偵測到該些興趣區域其中之一符合該使用手持裝置類樣本時，在下一影像畫面中繼續偵測相同的該興趣區域是否符合該使用手持裝置類樣本或該未使用手持裝置類樣本。
9. 如申請專利範圍第7項所述的偵測系統，其中當該處理器在該任一個影像畫面中偵測到該些興趣區域其中之一符合該未使用手持裝置類樣本時，在下一影像畫面切換至另一該興趣區域來偵測是否符合該使用手持裝置類樣本或該未使用手持裝置類樣本。
10. 如申請專利範圍第7項所述的偵測系統，其中當該處理器偵測到該些興趣區域其中之一符合該使用手持裝置類樣本時，增加一計數值，當該處理器偵測到該些興趣區域其中之一符合未該使用手持裝置類樣本時，減少該計數值，且當該計數值到達一門檻值時，該處理器判斷該人員使用該手持裝置。
11. 如申請專利範圍第7項所述的偵測系統，其中該些影像資料包括一使用手持裝置影像資料以及一未使用手持裝置影像資 料，而該處理器透過該影像擷取裝置對使用該手持裝置以及未使用該手持裝置的該人員擷取至少二影像訓練序列，分析該至少二影像訓練序列，以分別取得該人員的該使用手持裝置影像資料以及該未使用手持裝置影像資料，且利用一影像特徵擷取演算法取得該使用手持裝置影像資料以及該未使用手持裝置影像資料的該些特徵訓練樣本。
12. 如申請專利範圍第7項所述的偵測系統，其中該處理器依據該些影像資料的該些特徵訓練樣本計算多個模組參數，依據該些模組參數建立一分類器模組，以透過該分類器模組將該些影像資料的該些特徵訓練樣本分類成該使用手持裝置類樣本以及該未使用手持裝置類樣本，該處理器透過一影像特徵擷取演算法取得該些興趣區域其中之一的多個特徵資訊，且透過該分類器模組判斷該些特徵資訊是否符合該使用手持裝置類樣本或該未使用手持裝置類樣本。