TWI528331B

TWI528331B - 注意力偵測裝置、方法、電腦可讀取紀錄媒體、及其電腦程式產品

Info

Publication number: TWI528331B
Application number: TW103134731A
Authority: TW
Inventors: 鄒嘉駿; 許佳微; 林伯聰
Original assignee: 由田新技股份有限公司
Priority date: 2014-10-06
Filing date: 2014-10-06
Publication date: 2016-04-01
Also published as: CN105469025A; TW201614597A

Description

注意力偵測裝置、方法、電腦可讀取紀錄媒體、及其電腦程式產品

本發明係有關於一種注意力偵測裝置，尤指一種藉由偵測使用者的嘴部影像以判斷使用者注意力狀態的注意力偵測裝置。

依據研究顯示，在駕駛的同時使用無線通訊設備(例如，行動電話)或是與鄰座交談，均有可能導致駕駛者注意力不集中，進而增加肇事的機率。

依據科學家的研究，人腦運算的速度在各方面其實均遠勝於電腦，人腦可以處理相對於電腦複雜度更高的指令及動作，並經由不停的變化及配適，藉由訓練激發內部的潛能。惟，相較於電腦，人腦卻有一個美中不足的缺失，即是人腦並不適合進行多工處理，這類的缺失，係肇生於人腦中有關於「適應性執行控制」(adaptive executive control)的一種機制(David E.Meyer,1995,Adaptive executive control：Flexible multiple-task performance without pervasive immutable response-selection bottlenecks)。於David E.Meyer的研究中指出，人腦雖然具有多工處理的功能，然而由於人腦即時處理的能力有限，在處理事情時僅有足夠的能力接受一種刺激，因此，在同時處理多件事情時，人腦會自動地為每件事情安排優先順序，被排在優先順序較低的事件將被配給較低的注意力。

原則上，駕駛在開車時，注意力係集中於開車這個事件上，對於一個新手駕駛而言，由於駕駛經驗的不足將迫使駕駛者集中大部份的注意力於開車這個事件上，與鄰座交談時，注意力亦不容易因與其他人對話而分心。然而就一個長時間駕駛的駕駛者而言，對於車況、路況係具有相當的熟悉程度，於開車對話時，對話這個事件的優先順序反而會高於駕駛，使駕駛車輛反而成為注意力集中度較低之任務，造成行車危險。

在許多國家的法律規定中，係明確的指示駕駛不應在駕駛的同時使用行動電話，於某些國家則允許駕駛使用免持式聽筒進行通話。然而，不管是使用行動電話、使用免持式聽筒、甚或是與鄰座交談，均有可能導致駕駛注意力不集中提高行車危險，進而造成不可挽回的憾事。

本發明之主要目的，在於解決駕駛於開車時因注意力不集中而導致行車危險的問題。

為達到上述目的，本發明係提供一種注意力偵測裝置，包含一影像擷取單元以及一處理單元。該影像擷取單元用以連續拍攝使用者的臉部影像。該處理單元係配置成執行以下程式，該程式包含有：一搜尋框定義模組，依據該臉部影像的五官比例特徵定義一嘴部搜尋框；一影像處理模組，決定該嘴部搜尋框內的感興趣區域，並對該臉部影像的複數個圖幀分別進行影像處理；以及一計算模組，計算該感興趣區域於前後圖幀間的變化量，並於所述變化量大於預設條件時產生一指定訊號。

進一步地，該注意力偵測裝置更包含有一連續拍攝環境影像的第二影像擷取單元，該處理單元係配置成執行以下程式，該程式包含有：一人數統計模組，藉由第二影像擷取單元拍攝複數個環境影像，並於該環境影像中設定複數個辨識區塊，將前後的該環境影像進行差分處理以取得每一該辨識區塊內的變動量，當相對應該辨識區塊內的該變動量大於一閾值時，係判定該辨識區塊內有人，並統計偵測到人的該辨識區塊的數量以產生一人數統計資訊。

進一步地，該注意力偵測裝置更包含有一發出警示訊息的警示單元，該處理單元係配置成執行以下程式，該程式包含有：一面向偵測模組，藉由面向偵測手段取得使用者的臉部擺動頻率；以及一決策模組，藉由該指定訊號於該臉部擺動頻率大於預設數值、且該人數統計資訊大於預設人數時輸出一控制訊號至該警示單元。

進一步地，該注意力偵測裝置更包含有一連續拍攝環境影像的第二影像擷取單元，該處理單元係配置成執行以下程式，該程式包含有：一人數統計模組，藉由第二影像擷取單元拍攝複數個環境影像，並於該環境影像中設定複數個辨識區塊，將前後的該環境影像進行差分處理以取得每一該辨識區塊內的變動量，當相對應該辨識區塊內的變動量大於一閾值時，係判定該辨識區塊內有人，並統計偵測到人的該辨識區塊的數量以產生一人數統計資訊。

進一步地，該注意力偵測裝置更包含有一發出警示訊息的警示單元，該處理單元係配置成執行以下程式：該搜尋框定義模組依據該臉部影像的五官比例特徵定義一手機搜尋框；一手機偵測模組，偵測該手機搜尋框內是否有對應的預設物件；以及一決策模組，藉由該指定訊號於該手機搜尋框內檢測到該對應的預設物件時輸出一控制訊號至該警示單元的決策程序。

本發明之另一目的，在於提供一種注意力偵測方法，係用於一電子裝置，該方法包含：連續拍攝使用者的臉部影像；依據該臉部影像的五官比例特徵定義一嘴部搜尋框；決定該嘴部搜尋框內的感興趣區域，並對該臉部影像的複數個圖幀分別進行影像處理；以及計算該感興趣區域於前後該圖幀間的變化量，並於所述變化量大於預設條件時產生一指定訊號。

進一步地，依據該臉部影像的五官比例特徵定義該嘴部搜尋框的步驟包含：取得該臉部影像後偵測該臉部影像中的鼻孔區域以獲得二鼻孔中心位置；以及由該二鼻孔中心位置間的距離為參考值，定義該嘴部搜尋框。

進一步地，決定該嘴部搜尋框內的該感興趣區域的步驟包含：由色彩或強度值找到影像中上唇及下唇區域；定義該上唇區域及該下唇區域間所界定的區域為該感興趣區域。

進一步地，對該臉部影像的複數個圖幀分別進行影像處理的步驟包含：對該圖幀進行灰階處理以取得一灰階影像；調整該灰階影像的對比度以取得一強化影像；利用頂帽轉換法(Top-Hat Transformation)取得一均勻影像。

進一步地，計算該感興趣區域於前後該圖幀間的該變化量的步驟包含：對經所述影像處理過後的圖幀進行二值化處理；以及計算前後該圖幀中該上唇及該下唇之間破碎影像的像素數量，並計算該像素數量的該變化量。

本發明之又一目的，在於提供一種注意力偵測方法，係用於一電子裝置，包含：連續拍攝使用者的臉部影像；依據該臉部影像的五官比例特徵定義一嘴部搜尋框並於臉頰二側分別定義一手機搜尋框；決定該嘴部搜尋框內的感興趣區域，並對該臉部影像的複數個該圖幀分別進行影像處理；計算該感興趣區域於前後該圖幀間的變化量；於該嘴部影像前後該圖幀間像素變化量大於預設條件時觸發一指定訊號；以及藉由該指定訊號啟動一於該手機搜尋框內檢測到預設物件時輸出一控制訊號的決策程序。

進一步地，依據該臉部影像的五官比例特徵定義該手機搜尋框的步驟包含：取得該臉部影像後偵測該臉部影像中的鼻孔區域以獲得二鼻孔中心位置；以及以該二鼻孔中心位置間的距離作為參考值分別由二側方向延伸以定義該手機搜尋框。

進一步地，決定該嘴部搜尋框內的感興趣區域的步驟包含：由色彩或強度值找到影像中上唇及下唇區域；定義該上唇區域及該下唇區域間所界定的區域為該感興趣區域。

進一步地，計算該感興趣區域於前後該圖幀間的變化量的步驟包含：對經所述影像處理過後的該圖幀進行二值化處理；以及計算前後該圖幀中該上唇及該下唇之間破碎影像的像素數量，並計算該像素數量的變化量。

本發明之又一目的，在於提供一種注意力偵測方法，係用於一電子裝置，包含：連續拍攝使用者的臉部影像；依據該臉部影像的五官比例特徵定義一嘴部搜尋框；決定該嘴部搜尋框內的感興趣區域，並對該臉部影像的複數個圖幀分別進行影像處理；計算該感興趣區域於前後該圖幀間的變化量；藉由面向偵測手段判斷駕駛的臉部擺動頻率；於該嘴部影像前後圖幀間像素變化量大於預設條件時觸發一指定訊號；以及藉由該指定訊號啟動一於該臉部擺動頻率大於預設數值時輸出一控制訊號的決策程序。

進一步地，該面向偵測手段包含：取得該臉部影像後偵測該臉部影像中的鼻孔區域以獲得第一鼻孔位置以及第二鼻孔位置；依據該第一鼻孔位置及該第二鼻孔位置沿水平方向延伸，取得一第一邊界位置以及一第二邊界位置；計算該第一邊界位置及該第二邊界位置的中心點，並將該中心點作為一基準參考點；比較該基準參考點與該第一鼻孔位置，以判斷臉部是否向第一方向轉動；以及比較該基準參考點與該第二鼻孔位置，以判斷臉部是否向第二方向轉動。

進一步地，該面向偵測手段包含：取得該臉部影像後偵測該臉部影像中的鼻孔區域以獲得第一鼻孔位置以及第二鼻孔位置；依據該第一鼻孔位置及該第二鼻孔位置沿水平方向延伸，取得一第一邊界位置以及一第二邊界位置；計算該第一邊界位置及該第二邊界位置的中心點，並將該中心點作為一基準參考點；依據該第一鼻孔位置與該第二鼻孔位置所形成的一直線以及一基準線，獲得一轉動角度；當該第一鼻孔位置位於該基準參考點於第一方向的一側，且該轉動角度大於一預設閾值時，判斷臉部向該第一方向轉動；以及當該第二鼻孔位置位於該基準參考點於第二方向的一側，且該轉動角度大於一預設閾值時，判斷臉部向該第二方向轉動。

進一步地，該注意力偵測方法更進一步包含有一用以計算車上人數資訊的人數統計程序，藉由該指定訊號啟動一於該臉部擺動頻率大於預設數值、且該人數統計程序偵測到其他乘客時輸出一控制訊號的決策程序。

進一步地，該人數計算程序包含：連續拍攝複數個環境影像；於該環境影像中設定複數個辨識區塊；將前後的該環境影像進行差分處理以取得每一該辨識區塊內的變動量；當相對應該辨識區塊內的變動量大於一閾值時，係判定該辨識區塊內有人；統計偵測到人的該辨識區塊的數量以產生一人數資訊。

本發明之又一目的，在於提供一種電腦可讀取紀錄媒體，其上記錄一程式，當電子裝置載入該程式並執行後，係可完成以下之方法：連續拍攝使用者的臉部影像；依據該臉部影像的五官比例特徵定義一嘴部搜尋框；決定該嘴部搜尋框內的感興趣區域，並對該臉部影像的複數個圖幀分別進行影像處理；以及計算該感興趣區域於前後圖幀間的變化量，並於所述變化量大於預設條件時產生一指定訊號。

本發明之又一目的，在於提供一種電腦程式產品，當該電腦程式產品被載入電子裝置中執行時，係可完成以下之方法：連續拍攝使用者的臉部影像；依據該臉部影像的五官比例特徵定義一嘴部搜尋框；決定該嘴部搜尋框內的感興趣區域，並對該臉部影像的複數個圖幀分別進行影像處理；以及計算該感興趣區域於前後圖幀間的變化量，並於所述變化量大於預設條件時產生一指定訊號。

因此，本發明相較於前述習知技術具有以下之優異效果：

1.本發明係可藉由偵測使用者的嘴部影像，判斷使用者的注意力狀態。

2.本發明係可藉由偵測使用者的嘴部影像、以及偵測使用者是否使用行動裝置，判斷使用者的注意力狀態。

3.本發明係可借由偵測使用者的嘴部影像、以及偵測使用者的臉部方向，判斷使用者的注意力狀態。

100‧‧‧注意力偵測裝置

10‧‧‧影像擷取單元

20‧‧‧第二影像擷取單元

30‧‧‧處理單元

40‧‧‧儲存單元

50‧‧‧警示單元

F‧‧‧座標位置

F1‧‧‧搜尋框定義模組

F2‧‧‧手機偵測模組

F3‧‧‧影像處理模組

F4‧‧‧計算模組

F5‧‧‧面向偵測模組

F6‧‧‧人數統計模組

F7‧‧‧決策模組

D‧‧‧鼻孔間距

D1‧‧‧第一鼻孔位置(鼻孔中心位置)

D2‧‧‧第二鼻孔位置(鼻孔中心位置)

M‧‧‧中心位置

R‧‧‧嘴部搜尋框

R1‧‧‧手機搜尋框

R2‧‧‧手機搜尋框

Z1‧‧‧第一邊界位置(邊界點)

Z2‧‧‧第二邊界位置(邊界點)

N‧‧‧基準參考點

a1‧‧‧第一方向

a2‧‧‧第二方向

SL‧‧‧直線

BL‧‧‧基準線

θ‧‧‧轉動角度

P‧‧‧辨識區塊

步驟S1-步驟S13

步驟S31-步驟S34

步驟S311-步驟S312

步驟S341-步驟S343

步驟S61-步驟S66

步驟S101-步驟S104

步驟S111-步驟S115

圖1，係本發明注意力偵測裝置的方塊示意圖。

圖2，係本發明注意力偵測裝置的使用狀態示意圖。

圖3，係揭示使用者的臉部影像。

圖4A，係揭示使用者的正面臉部影像。

圖4B，係揭示使用者臉部朝第一方向轉動時的臉部影像。

圖4C，係揭示使用者臉部朝第二方向轉動時的臉部影像。

圖5(a)，係揭示使用者臉部朝第一方向轉動時鼻孔區域的示意圖。

圖5(b)，係揭示使用者臉部朝第一方向轉動時鼻孔區域的示意圖。

圖6，係揭示車內環境影像的示意圖。

圖7，係揭示本發明第一實施態樣的流程示意圖(一)。

圖8，係揭示本發明第一實施態樣的流程示意圖(二)。

圖9，係揭示本發明第一實施態樣的流程示意圖(三)。

圖10，係揭示本發明第一實施態樣的流程示意圖 (四)。

圖11，係揭示本發明第二實施態樣的流程示意圖(一)。

圖12，係揭示本發明第二實施態樣的流程示意圖(二)。

圖13，係揭示本發明第三實施態樣的流程示意圖(一)。

圖14，係揭示本發明第三實施態樣的流程示意圖(二)。

圖15，係揭示本發明第三實施態樣的流程示意圖(三)。

有關本發明之詳細說明及技術內容，現就配合圖式說明如下。再者，本發明中之圖式，為說明方便，其比例未必按實際比例繪製，而有誇大之情況，該等圖式及其比例並非用以限制本發明之範圍。

本發明係提供一種注意力偵測裝置及其方法，以下係舉複數實施例分別說明之：注意力偵測裝置：請參閱『圖1』及『圖2』，係為本發明注意力偵測裝置之方塊示意圖及使用狀態示意圖，如圖所示：本實施態樣之注意力偵測裝置100，主要係包含有一影像擷取單元10，一第二影像擷取單元20，一連結於該影像擷取單元10以及第二影像擷取單元20的處理單元30，一用以儲存或暫存資料的儲存單元40，以及一連結於該處理單元30的警示單元50。

所述的影像擷取單元10係用以連續拍攝使用者的臉部影像，所述的第二影像擷取單元20係用以拍攝車內的環境影像，所拍攝到的臉部影像及環境影像儲存於該儲存單元40中。該影像擷取單元10及第二影像擷取單元20可以是任何具有電荷耦合元件(Charge coupled device,CCD)鏡頭、互補式金氧半電晶體(Complementary Metal Oxide Semiconductor Transistors,CMOS)鏡頭、或紅外線鏡頭的攝影機，亦可以是可取得深度資訊的影像擷取設備，例如是深度攝影機(Depth Camera)或立體攝影機。

所述的處理單元30以及該儲存單元40係可共同構成一電腦或處理器，例如是個人電腦、工作站、主機電腦或其他型式之電腦或處理器，在此並不限制其種類。

於本實施態樣中，該處理單元30係耦接於該儲存單元40。該處理單元30可為中央處理器(Central Processing Unit,CPU)，或是其他可程式化並具有一般用途或特殊用途的微處理器(Microprocessor)、數位訊號處理器(Digital Signal Processor,DSP)、可程式化控制器、特殊應用積體電路(Application Specific Integrated Circuits,ASIC)、可程式化邏輯裝置(Programmable Logic Device,PLD)或其他類似裝置或這些裝置的組合。

所述的儲存單元40可以是任何型態的固定或可移動隨機存取記憶體(Random Access Memory,RAM)、唯讀記憶體(Read-Only Memory,ROM)、快閃記憶體(Flash Memory)或類似元件或上述元件的組合。該儲存單元40亦可由一或更多個可存取之非揮發性記憶構件所構成。具體而言，其可為硬碟、記憶卡，亦可為積體電路或韌體。

所述的警示單元50係可為揚聲器、燈號、顯示裝置或是任何其他可提示警示訊息予使用者(駕駛者)的輸出設備，於本發明中並不欲予以限定該警示單元的種類。

所述的處理單元30係可載入並執行以下程式，所述的程式依其任務不同，係包含有一搜尋框定義模組F1、一手機偵測模組F2、一影像處理模組F3、一計算模組F4、一面向偵測模組F5、一人數統計模組F6、以及一決策模組F7。以下係分別針對搜尋框定義模組F1、手機偵測模組F2、影像處理模組F3、計算模組F4、面向偵測模組F5、人數統計模組F6、以及決策模組F7所進行並處理的任務分別進行說明：

搜尋框定義模組

搜尋框定義模組F1係依據該臉部影像的五官比例特徵定義一嘴部搜尋框R以及一手機搜尋框R1、R2。

請一併參閱『圖3』所示，有關於嘴部搜尋框R的建立，其具體的演算方法如下，在此須注意影像中的原點(0,0)係位於影像中左上角的位置：該搜尋框定義模組F1由影像擷取單元10所取得的影像中搜尋符合臉部特徵的臉部影像，於此步驟中，係可經由擷取使用者的輪廓邊界，以判斷使用者臉部的位置，藉以分辨出使用者的臉部影像。該搜尋框定義模組F1經由該臉部影像中擷取出鼻孔特徵，並定位二鼻孔中心位置的座標D1(x₁,y₁)、D2(x₂,y₂)。接續，將二該鼻孔中心位置D1、D2連線，藉以取得鼻孔間距D，該鼻孔間距D係作為參考值用於定義該臉部影像中的五官比例特徵。接續，計算二鼻孔中心位置D1、D2間連線的中心位置M((x₁+x₂)/2,(y₁+y₂)/2)，並代入該鼻孔間距D，使該中心位置向下一段距離kD，取得一座標位置F((x₁+x₂)/2,{(y₁+y₂)/2}+kD)，將該座標位置F設定為搜尋框中心即可依據五官比例建立一嘴部搜尋框R。

有關於手機搜尋框R1、R2的建立，其具體的演算方法如下：該搜尋框定義模組F1由影像擷取單元10所取得的影像中搜尋符合臉部特徵的臉部影像，並擷取出使用者的輪廓邊界。經由該臉部影像中擷取出鼻孔特徵，並定位二鼻孔中心位置的座標D1(x₁,y₁)、D2(x₂,y₂)。接續，將二該鼻孔中心位置D1、D2進行連線，藉以取得鼻孔間距D，該鼻孔間距D係作為參考值用於定義該臉部影像中的五官比例特徵。接續，將二鼻孔中心位置D1、D2分別向左右兩側延伸，直至接觸二側輪廓邊界，藉以取得二邊界點Z1、Z2，藉由該邊界點Z1、Z2、以及參考值(鼻孔間距D)建立一手機搜尋框R1、以及手機搜尋框R2，再經由一手機偵測模組F2判斷該手機搜尋框R1、R2內是否有對應的物件以確認使用者是否使用手機。

所述手機偵測模組F2藉由手機搜尋框R1、R2判斷使用者是否使用手機的演算法有兩種。其一係可藉由影像分析的方式判斷是否正在使用手機，舉例而言，處理單元30係可計算於手機搜尋框R1、R2內是否有大面積的膚色連通集合(Connected Set)，判斷使用者的手是否位於該手機搜尋框R1、R2，若是，則可判定使用者係為正在使用手機的狀態。另一種方式則可藉由深度攝影機計算該手機搜尋框R1、R2的位置是否有相對應的預設物品存在，若是，則可判定該使用者正在使用手機。

影像處理模組

影像處理模組F3係決定該嘴部搜尋框內R的感興趣區域，並對該臉部影像的複數個圖幀分別進行影像處理(Image Processing)。所述的影像處理步驟係具有以下幾項主要的任務：藉由像素性質(色彩或是影像強度)，先於嘴部搜尋框R中搜尋出上唇及下唇區域，並定義該上唇及下唇區域間所界定(包圍)的區域為感興趣區域(Region of Interest)，藉以將該感興趣區域分割出來。所取得的感興趣區域將用於計算影像中的變動量。

有關於影像處理的部分係包含有以下幾項任務：將彩色影像轉換為僅包含有影像強度及像素座標成分的灰階影像(Gray Scale)，以便後端針對變化量的部分進行計算；將前述的灰階影像(Gray Scale)進行對比調整(Contrast Adjustment)藉以取得強化影像。此步驟用於增加影像中最高與最低強度準位之間的差，以便後端針對變化量的部分進行計算；進行頂帽轉換(Top-Hat Transformation)修正該強化影像，進而取得一均勻影像，避免後續影像經二值化處理(Thresholding)時分割錯誤。有關於頂帽轉換的演算公式如下：T _hat(f)=f-(f。b)

其中，T _hat(f)係為經頂帽轉換處理後的影像，f為原灰階影像，b係指結構元素，(f。b)係指灰階影像f被結構元素b所斷開(opening)。其演算法的意義為原灰階影像f減去經斷開(opening)處理過後的灰階影像，經陰影修正(Shading Correction)後的灰階影像背景影像強度將更顯均勻。

最後對該均勻影像進行二值化處理(Thresholding)，設定門檻值以取得感興趣區域中的亮部位或暗部位，以便後續計算變化量。

計算模組

計算模組F4係用於計算該感興趣區域於前後圖幀間的變化量，並於所述變化量大於預設條件時觸發一指定訊號(判定使用者正在說話)。於本實施態樣中，所述的感興趣區域係指上唇及下唇間所界定的區域，所述的變化量係指經由二值化處理後的前後影像間，於該感興趣區域中破碎圖形的像素變化量。所取得的二值化(門檻化)影像，將可清晰的分類出影像中破碎圖形的像素數量，藉由前後影像中像素數量的差異，將可計算出破碎圖形對應的變化量。當所述的變化量大於預設條件時，該處理單元30將產生一指定訊號，所述的指定訊號依實施例不同，可直接輸出至該警示單元50警示駕駛、或作為條件因素以便於決策程序中進行駕駛注意力判斷的條件，於本發明中並不予以限定。

所述的前後影像可於複數張影像中的每一區間內擷取一張，舉例而言，以20fps的影像擷取單元為例，若設定每10張擷取一張用以比對的圖像，則相當於每0.5秒進行一次比對。

面向偵測模組

該面向偵測模組F5係依據臉部影像中的五官做為參考特徵，藉由面向偵測手段計算出使用者的臉部方向，並於一預設時間內計算臉部擺動頻率。以下係揭示一種可行的實施態樣，用以計算使用者的面部方向。

請一併參閱『圖4A』、『圖4B』、及『圖4C』所示，該面向偵測模組F5係先偵測該臉部影像中的鼻孔區域以獲得第一鼻孔位置的座標D1(鼻孔中心位置D1)、及第二鼻孔位置的座標D2。依據第一鼻孔位置D1與第二鼻孔位置D2向二側水平方向延伸，係可找出相應於臉部輪廓的第一邊界位置Z1(邊界點Z1)與第二邊界位置Z2(邊界點Z2)。於獲得該第一邊界位置Z1與第二邊界位置Z2之後，面向偵測模組F5係計算該第一邊界位置Z1 與第二邊界位置Z2的中心點，並將該中心點作為一基準參考點N。如『圖4B』所示，比較該基準參考點N與該第一鼻孔位置D1，以判斷臉部是否向第一方向a1轉動，在第一鼻孔位置D1位於基準參考點N的第一方向a1的一側時，判定臉部向第一方向a1轉動。如『圖4C』所示，比較該基準參考點N與該第二鼻孔位置D2，以判斷臉部是否向第二方向a2轉動，在第一鼻孔位置D1位於基準參考點N的第二方向a2的一側時，判定臉部向第二方向a2轉動。

上述的臉部方向判斷步驟，可再輔以以下的演算流程，使臉部方向的判斷更為精確。請一併參閱『圖5』所示，將第一鼻孔位置D1與第二鼻孔位置D2的連線設定為直線SL，並設定一基準線BL做為參考特徵，取得該直線SL及基準線BL間的轉動角度θ。接續，預先設定一臨界角度Ag(預設閾值)，當第一鼻孔位置D1位於基準參考點N的第一方向a1的一側，且該轉動角度θ大於該臨界角度Ag時，判斷臉部向第一方向a1轉動；當第二鼻孔位置D2位於基準參考點N的第二方向a2的一側，且轉動角度θ大於該臨界角度Ag時，判斷臉部向第二方向a2轉動。

最後，於一預設時間(單位時間)內計算該臉部的轉動次數，即可計算取得臉部擺動頻率。

人數統計模組

該人數統計模組F6係用於偵測車上的人數，以判斷除駕駛外車上是否包含有其他乘客(用於判定駕駛是否與乘客交談)。

請一併參閱『圖6』，所述的人數統計程序係藉由第二影像擷取單元20(如圖2所示)拍攝複數個車內的環境影像，並於該環境影像中設定複數個辨識區塊P，所述的辨識區塊P係經由預先設定而分別對應至車上的每一個座位，並計算每一對應辨識區塊P的變動量。所述的變動量係經由將車上的前後環境影像進行差分處理(Difference)後取得。當相對應辨識區塊P內的變動量大於一閾值(預設)時，係判定該辨識區塊P內有人。經由統計偵測到人的辨識區塊P的數量，可取得車上的實際人數(人數資訊)。

決策模組

決策模組F7係於上述的參數及變因(如說話偵測結果、臉部擺動頻率、人數統計資訊)決定後，基於不同的情境產生不同的決策結果。原則上，偵測到駕駛在說話時，大致均發生於以下的三種情境。

情境一、駕駛者與鄰座交談：

一般情況，駕駛者與鄰座交談時，通常會將其注意力轉移至鄰座的乘客上，此時駕駛的臉部方向將自然地朝乘客的方向轉動。針對上述的情境，於本實施態樣中的決策程序係於偵測到使用者談話時(即收到指定訊號時)，同時分析使用者的臉部擺動頻率、以及車上的人數統計資訊。於該臉部擺動頻率大於預設數值，且判定該人數統計資訊大於預設人數時，將輸出一控制訊號至該警示單元50。

情境二、駕駛者使用手機：

另一種情境是駕駛者正在使用手機的情況，當駕駛者正在使用手機交談時，將會空出一支手用以接聽手機。針對上述的情境，於本實施態樣中的決策程序係於偵測到使用者談話時(即收到指定訊號時)，同時分析手機搜尋框(臉頰兩側)是否有偵測到對應的預設物件。於偵測到對應的預設物件時將輸出一控制訊號至該警示單元50。

情境三、駕駛者使用免持聽筒：

除使用手機的情況下，駕駛亦有可能使用免持聽筒，此時僅能偵測到使用者是否說話。於本情境下當偵測到駕駛正在談話時，產生的指定訊號將直接傳送至該警示單元50，藉以觸發警示訊息。

以上係已針對本發明硬體的部分、及所相對應執行的任務進行詳細的說明，接續，將針對本發明之方法步驟進一步進行說明。

注意力偵測方法：

第一實施態樣

請一併參閱『圖7』，係本發明第一實施態樣的流程示意圖，如圖所示：本實施態樣係提供一注意力偵測方法，該方法係可配合用於一電子裝置(如前述的注意力偵測裝置100)，藉以檢測使用者的注意力狀態。所述的步驟如下：首先，啟動注意力偵測裝置100，該注意力偵測裝置100係藉由該影像擷取單元10連續拍攝複數個影像，並將所取得的影像儲存至該儲存單元40(步驟S1)。接續，該處理單元30搜尋影像中的臉部影像(步驟S2)，並於偵測到臉部影像時繼續執行下一步驟；反之，若於影像中檢索不到臉部影像時，該處理單元30係持續執行偵測使用者臉部影像的任務，直至偵測到臉部影像或是裝置關閉。所述人臉辨識的任務可利用AdaBoost演算法或其他現有的人臉辨識演算法(如，利用Haar-like特徵來進行人臉辨識動作)來獲得各影像中的臉部影像。

於偵測到使用者的臉部影像時，該處理單元30係啟動一說話偵測程序，判斷使用者是否處於交談的狀態(步驟S3)。

其中，所述的說話偵測程序係包含有以下的演算步驟，請一併參閱『圖8』。首先，該處理單元30係於該儲存單元40內取得所述之複數個包含有臉部特徵的影像(即臉部影像)，並依據該臉部影像的五官比例特徵定義一嘴部搜尋框R(步驟S31)，該嘴部搜尋框R於影像中被定義時便可藉由色彩或灰度(Grey Level)決定影像中上唇及下唇間的感興趣區域(Region of Interest)(步驟S32)。接續，該處理單元30係對該臉部影像中的複數個圖幀分別進行影像處理(步驟S33)。於影像處理程序中係先搜尋出影像中上唇、下唇區域，並定義該上唇、下唇區域間所界定的區域為感興趣區域。同時執行以下任務：對該圖幀進行灰階處理以取得一灰階影像(Gray Scale)；調整該灰階影像的對比度以取得一強化影像；利用頂帽轉換法(Top-Hat Transformation)取得一均勻影像。經由上述的影像處理程序後將取得一處理後影像，此時，處理單元30計算該感興趣區域於前後圖幀間的變化量，並於所述變化量大於預設條件時判定該使用者正在交談，並輸出判定結果(步驟S34)。

完成上述步驟並取得該判定結果後係執行一決策程序判定使用者是否處於注意力不集中狀態(步驟S4)。於決策程序中，如判定使用者為注意力不集中狀態時，該處理單元30產生一指定訊號，並將該指定訊號傳遞至該警示單元50，警示使用者專心駕駛(步驟S5)；反之，則回到步驟S1，重複上述的迴圈。

請一併參閱『圖9』，於步驟S31中，所述的嘴部搜尋框係依據以下步驟取得：該處理單元30偵測該臉部影像中鼻孔區域，以獲得二鼻孔中心位置的座標D1(x₁,y₁)、D2(x₂,y₂)(步驟S311)。接續，由該二鼻孔中心位置間的距離為參考值向下一段距離定義該嘴部搜尋框R(步驟S312)。具體的方式如下，該處理單元將二該鼻孔中心位置D1、D2進行連線，藉以取得鼻孔間距D，該鼻孔間距D係作為參考值用於定義該臉部影像中的五官比例特徵。接續，計算二鼻孔中心位置D1、D2間連線的中心位置M((x₁+x₂)/2,(y₁+y₂)/2)，並代入該鼻孔間距D，使該中心位置M向下一段距離 kD(常數k係為一般嘴部中心至鼻孔間距以及二鼻孔中心位置間距的比值)，取得一座標位置F((x₁+x₂)/2,{(y₁+y₂)/2}+kD)，將該座標位置F設定為搜尋框中心即可依據五官比例建立一嘴部搜尋框R。

請一併參閱『圖10』，於步驟S34中，所述的變化量係依據以下步驟取得：對前述的處理後影像(均勻影像)進行二值化處理(Thresholding)，以取得感興趣區域中的亮部位或暗部位(步驟S341)，計算前後圖幀中該上唇及該下唇之間(感興趣區域)破碎影像(亮部位或暗部位)的像素數量(步驟S342)，接續，計算該像素數量的增減以取得變化量(步驟S343)。其中，於步驟S34中，所述的變化量係指經由二值化處理後的前後影像間，於該感興趣區域中破碎圖形的像素變化量。具體的方法，可藉由像素性質的分佈進行分割，例如經由前述的影像處理步驟(image processing)所取得的二值化(門檻化)影像，將可清晰的分類出影像中破碎圖形的像素數量，藉由前後影像中像素數量的增減，將可計算出破碎圖形對應的變化量。

第二實施態樣

本實施態樣與第一實施態樣的差異在於增加影像中的手機搜尋功能作為輔佐判斷因素，藉以判斷使用者的注意力狀態。有關於本實施態樣與第一實施態樣，以下係不再予以贅述。

請一併參閱『圖11』，係本發明第二實施態樣的流程示意圖，如圖所示：首先，啟動注意力偵測裝置100，該注意力偵測裝置100係藉由該影像擷取單元10連續拍攝複數個影像，並將所取得的影像儲存至該儲存單元40(步驟S1)。接續，該處理單元30係依據指令搜尋影像中的臉部影像(步驟S2)，於偵測到臉部影像時係繼續執行下一步驟；反之，若於影像中檢索不到臉部影像時，該處理單元30係持續執行偵測使用者臉部影像的任務，直至偵測到臉部影像或是裝置關閉。

於偵測到使用者的臉部影像時，該處理單元30係啟動一說話偵測程序，判斷使用者是否處於交談的狀態，並輸出一判定結果(步驟S3)。啟動說話偵測程序的同時，該處理單元30係啟動手機偵測程序，於使用者的臉頰二側分別定義一手機搜尋框，偵測該手機搜尋框內是否檢測到預設物件，判斷使用者是否正在使用手機，並輸出一判定結果(步驟S6)。

請一併參閱『圖12』，於步驟S6中所述的手機偵測程序係包含有以下步驟：該處理單元30由影像擷取單元10所取得的影像中搜尋符合臉部特徵的臉部影像，並擷取出使用者的輪廓邊界(步驟S61)。偵測該臉部影像中的鼻孔區域，以獲得二鼻孔中心位置的座標D1(x₁,y₁)、D2(x₂,y₂)(步驟S62)。接續，將二該鼻孔中心位置D1、D2進行連線，藉以取得鼻孔間距D，該鼻孔間距D係作為參考值用於定義該臉部影像中的五官比例特徵(步驟 S63)。接續，將二鼻孔中心位置D1、D2作為參考點分別向兩側方向水平延伸，直至接觸二側輪廓邊界，藉以取得二邊界點Z₁、Z₂(步驟S64)，藉由該邊界點Z1、Z2、以及參考值(鼻孔間距D)建立一手機搜尋框R1、以及手機搜尋框R2(步驟S65)。偵測手機搜尋框內是否有預設物件，若偵測到預設物件時，係輸出一判定結果(步驟S66)。

接續，藉由該指定訊號啟動一決策程序(步驟S7)。於決策程序中同時符合使用者正在談話並且正在使用手機(於手機搜尋框內偵測到預設物件)時，判定使用者處於注意力不集中狀態。於決策程序中，如判定使用者為注意力不集中狀態時，該處理單元30觸發一控制訊號，將該控制訊號傳遞至該警示單元50，警示使用者專心駕駛(步驟S8)；反之，則回到步驟S1，重複上述的迴圈。

第三實施態樣

本實施態樣與第一實施態樣的差異在於增加面向偵測手段、以及乘客數量偵測手段作為輔佐判斷因素，藉以判斷使用者的注意力狀態。有關於本實施態樣與第一實施態樣，以下係不再予以贅述。

請一併參閱『圖13』，係本發明第二實施態樣的流程示意圖，如圖所示：首先，啟動注意力偵測裝置100，該注意力偵測裝置100係藉由該影像擷取單元10連續拍攝複數個影像，並將所取得的影像儲存至該儲存單元40(步驟S1)。接續，該處理單元30係依據指令搜尋影像中的臉部影像(步驟S2)，於偵測到臉部影像時係繼續執行下一步驟；反之，若於影像中檢索不到臉部影像時，該處理單元30係持續執行偵測使用者臉部影像的任務，直至偵測到臉部影像或是裝置關閉。

於透過該影像擷取單元10拍攝使用者影像的同時，係啟動該第二影像擷取單元20(步驟S9)，並啟動一人數偵測程序，藉由該第二影像擷取單元20，拍攝駕駛環境以取得複數個環境影像，並計算車上的人數(步驟S10)。

於步驟S10所述的車上人數，係可依據以下步驟取得，請一併參閱『圖14』。首先，於該環境影像中設定複數個辨識區塊(步驟S101)。接續，將車上的前後環境影像進行差分處理(Difference)以取得影像變動量(步驟S102)。計算每一辨識區塊內的變動量，當相對應辨識區塊內的影像變動量大於一閾值時，係判定該辨識區塊內有人(步驟S103)，最後統計偵測到人的辨識區塊的數量，以統計人數，並輸出一人數資訊(步驟S104)。

於偵測到使用者的臉部影像時，該處理單元30係啟動一說話偵測程序，判斷使用者是否處於交談的狀態，並輸出一判定結果(步驟S3)。啟動說話偵測程序的同時，該處理單元30係啟動面向偵測程序，判斷使用者的臉部方向，並取得使用者(駕駛)的臉部擺動頻率，以輸出一判定結果(步驟S11)。

請一併參閱『圖15』，於步驟S11中所述的面向偵測手段係包含有以下步驟：首先，偵測該臉部影像中的鼻孔區域以獲得第一鼻孔位置的座標D1(x1,y1)(鼻孔中心位置D1)、及第二鼻孔位置的座標D2(x2,y2)(步驟S111)(鼻孔中心位置D2)。依據第一鼻孔位置D1與第二鼻孔位置D2向二側水平方向延伸，藉以找出相應於臉部輪廓的第一邊界位置Z1(邊界點Z1)與第二邊界位置Z2(邊界點Z2)(步驟S112)。於獲得該第一邊界位置Z1與第二邊界位置Z2之後，處理單元30係計算該第一邊界位置Z1與第二邊界位置Z2的中心點，並將該中心點作為一基準參考點N(步驟S113)。接著，比較該基準參考點N與第一鼻孔位置D1，以判斷臉部是否向第一方向a1轉動。另一方面同時，比較基準參考點N與第二鼻孔位置D2，以判斷臉部是否向第二方向a2轉動(步驟S114)。例如，在鼻孔中心位置D1位於參考點R的第一方向a1的一側時，判定臉部向第一方向a1轉動。而在鼻孔中心位置D2位於基準參考點N的第二方向a2的一側時，判定臉部向第二方向a2轉動。

上述的臉部方向判斷步驟中，於步驟S114中可再輔以以下的演算流程，使臉部方向的判斷更為精確。將第一鼻孔位置D1與第二鼻孔位置D2的連線設定為直線SL，並設定一基準線BL做為參考特徵，取得該直線SL及基準線BL間的轉動角度θ。預先設定一臨界角度Ag(預設閾值)，做為輔助判斷參數，當第一鼻孔位置D1位於基準參考點N的第一方向a1的一側，且該轉動角度θ大於該臨界角度Ag時，判斷臉部向第一方向a1轉動；當第二鼻孔位置D2位於基準參考點N的第二方向a2的一側，且轉動角度θ大於該臨界角度Ag時，判斷臉部向第二方向a2轉動。

最後，於一預設時間內計算該臉部方向的轉動次數，藉以取得臉部擺動頻率(步驟S115)。

取得該說話偵測程序的判定結果、該面向偵測程序以及車上人數的判定結果後執行一決策程序(步驟S12)，決策程序中判斷車上有其他乘客，且同時符合使用者談話、及臉部的擺動頻率大於一預設數值時，判定使用者處於注意力不集中狀態。於決策程序中，如判定使用者為注意力不集中狀態時，該處理單元30觸發一指定訊號，將該指定訊號傳遞至該警示單元50，警示使用者專心駕駛(步驟S13)；反之，則回到步驟S1，重複上述的迴圈。

本發明之方法步驟亦可作為一種軟體程式實施，用以儲存於光碟片、硬碟、半導體記憶裝置等電腦可讀取記錄媒體，並藉由該電腦可讀取記錄媒體載置於電子裝置上為該電子裝置所存取使用。具體而言，該電子裝置可以為小型的可攜式電子裝置、行車紀錄裝置、行車安全輔助裝置、車輛系統的ODB(On-board diagnostics)、電腦設備、或類此之電子裝置等。

綜上所述，本發明係可藉由偵測使用者的嘴部影像，判斷使用者的注意力狀態。其次，本發明係可藉由偵測使用者的嘴部影像、以及偵測使用者是否使用行動裝置，判斷使用者的注意力狀態。再者，本發明係可借由偵測使用者的嘴部影像、以及偵測使用者的臉部方向，判斷使用者的注意力狀態。

以上已將本發明做一詳細說明，惟以上所述者，僅為本發明之一較佳實施例而已，當不能以此限定本發明實施之範圍，即凡依本發明申請專利範圍所作之均等變化與修飾，皆應仍屬本發明之專利涵蓋範圍內。