TWI418478B - And a method and system for detecting the driving state of the driver in the vehicle - Google Patents

Description

用以檢測車輛內駕駛者之駕駛狀態之方法及系統

本發明是有關於一種用以檢測車輛內駕駛者之駕駛狀態之方法及系統。

在使用臉部特徵辨識技術之用於車輛內駕駛者的習知檢測系統中，一預定臉部辨識閥值是用做一固定臉部辨識標準，其可判定駕駛者是否正處於適當的駕駛條件中。該習知檢測系統基於該固定臉部辨識標準，判定駕駛者的臉部是否朝向車輛的前擋風玻璃，以及駕駛者的眼睛是否是閉闔的。然而，對於不同駕駛者以及車輛內的各種環境情況(如不同亮度及不同光源)而言，該習知檢測系統在使用固定臉部辨識標準的情況下，並無法確保正確的檢測結果。

因此，本發明之目的，即在提供一種用以檢測車輛內駕駛者之駕駛狀態之方法及系統，其可克服上述先前技術中的缺點。

根據本發明之一層面，本發明提供了一種用以檢測車輛內駕駛者之駕駛狀態之方法。該方法包含以下步驟：

a)持續擷取該車輛內該駕駛者之影像，以產生一連串影像圖框；

b)當該車輛移動時，基於a)步驟中產生的該等影像圖框，產生與該車輛內的環境情況相對應之一臉部辨識標準；

c)在該車輛移動時，判定該環境情況是否發生變化；

d)當判定該環境情況發生變化時，利用一已校正臉部辨識標準，更新該臉部辨識標準，其中該已校正臉部辨識標準對應至該發生變化之環境情況，且是基於在該發生變化之環境情況下，在步驟a)中所產生的影像圖框而產生；以及

e)基於該經校正臉部辨識標準，以及在產生該經校正臉部辨識標準之後所產生的影像圖框，判定該駕駛者之駕駛狀態是否為危險狀態，其中該危險狀態表示該駕駛者之臉部並未朝向該車輛之前擋風玻璃，或者該駕駛者之臉部朝向該車輛之前擋風玻璃，但該駕駛者的至少一個眼睛是閉闔的。

根據本發明之另一層面，本發明提供了一種用以檢測車輛內駕駛者之駕駛狀態之系統。該系統包含：一影像擷取單元，用以持續擷取該車輛內該駕駛者之影像，以產生一連串影像圖框；一處理單元，耦接至該影像擷取單元、從該影像擷取單元接收該等影像圖框，以及當該車輛移動時，可操作來處理該等影像圖框，以建立與該車輛內的環境情況相對應之一臉部辨識標準；以及一檢測單元，耦接至該處理單元，且用以在該車輛移動時，檢測該環境情況，該檢測單元在檢測到該環境情況發生變化時，輸出一觸發訊號至該處理單元；其中該處理單元在接收來自該檢測單元的觸發訊號時，基於來自該影像擷取單元的影像圖框，產生與該發生變化之環境情況相對應之一已校正臉部辨識標準，利用該已校正臉部辨識標準，更新該臉部辨識標準，以及基於該已校正臉部辨識標準，以及來自該影像擷取單元的影像圖框，判定該駕駛者之駕駛狀態是否為危險狀態，其中該危險狀態表示該駕駛者之臉部並未朝向該車輛之前擋風玻璃，或者該駕駛者之臉部朝向該車輛之前擋風玻璃，但該駕駛者的至少一個眼睛是閉闔的。

有關本發明之前述及其他技術內容、特點與功效，在以下配合參考圖式之一個較佳實施例的詳細說明中，將可清楚的呈現。

在本發明被詳細描述之前，要注意的是，在以下的說明內容中，類似的元件是以相同的編號來表示。

參閱圖1，根據本發明的用以檢測車輛內駕駛者之駕駛狀態之系統之較佳實施例包括一影像擷取單元1、一處理單元2、一檢測單元3、一警示單元4，以及一顯示單元5。

該影像擷取單元1持續擷取車輛內駕駛者的影像，以在車輛啟動時產生一連串影像圖框。在本較佳實施例中，該影像擷取單元1包括一個CCD/CMOS視訊攝影機。

該處理單元2耦接至該影像擷取單元1，且接收來自影像擷取單元1的影像圖框。當車輛移動時，該處理單元2可操作來處理該等影像圖框，以建立與車輛內的環境情況相對應之一臉部辨識標準。該臉部辨識標準與具有眼睛、鼻子及嘴巴中至少一者之駕駛者的臉部的一部分之駕駛者之一臉部特徵，以及一預定開眼影像樣本相關聯。在本實施例中，駕駛者的臉部特徵與具有眼睛、鼻子及嘴巴之駕駛者的臉部的一部分相對應。該臉部辨識標準包括一第一閥值以及一第二閥值。該第一閥值是從來自影像擷取單元1的一預定數量之影像圖框之子影像圖框的臉部檢測分數而獲得，其與駕駛者的臉部之該部分相對應，且是利用已知臉部檢測技術而產生。該第二閥值是從與一個駕駛者眼睛相對應之該預定數量之影像圖框之子影像圖框中的每一者以及該預定開眼影像樣本間的相關係數而獲得。例如，該第一閥值可藉由運算該等臉部檢測分數之一平均值減去該等臉部檢測分數之一可變參數(n)與一標準差之乘積而獲得，且該第二閥值可藉由運算該等相關係數之一平均值減去該等相關係數之一可變參數(n’)與一標準差之乘積而獲得，其中n與n’可根據系統需求而加以調整。

該檢測單元3耦接至該處理單元2，且用以在車輛移動時檢測環境情況。該檢測單元3在檢測到環境情況發生變化時，輸出一觸發訊號至該處理單元2。該環境情況變化包括相對於駕駛者臉部的車輛內亮度的變化，以及外部光源的方向之變化。在本實施例中，該檢測單元3可根據車輛頭燈操作上的變換而判定車輛內亮度是否發生變化。或者，該檢測單元3包括多個由光敏元件所組成的亮度感測器，諸如光敏電阻器，其等被設置來感測車輛內亮度。因此，該檢測單元3可根據流經光敏元件的電流之變化，判定車輛內亮度或者外部光源的方向是否發生變化。此外，當駕駛者藉由轉動車輛方向盤而使車輛轉彎時，相對於駕駛者臉部的固定光源(如太陽光)之方向可能會發生變化。因此，該檢測單元3可根據方向盤的旋轉來判定外部光源的變化。

該處理單元2可操作來當收到來自檢測單元3的觸發訊號時，基於在環境情況發生變化下由影像擷取單元1所產生的影像圖框，產生與發生變化之環境情況相對應的已校正臉部辨識標準。該已校正臉部辨識標準包括第一及第二閥值，其等由與產生臉部辨識標準相同之方式來產生。接著，該處理單元2利用該已校正臉部辨識標準來更新該臉部辨識標準。然後，該處理單元2基於該已校正臉部辨識標準以及來自該影像擷取單元1的影像圖框，判定駕駛者的駕駛狀態是否為危險狀態。當駕駛者的駕駛狀態為危險狀態時，駕駛者的臉部並未朝向車輛之前擋風玻璃，或是駕駛者的臉部雖朝向車輛之前擋風玻璃，但駕駛者的至少一個眼睛卻是閉闔的。

該處理單元2是可操作的，使得在產生該已校正臉部辨識標準後，產生來自影像擷取單元1的多個影像圖框之一臉部檢測結果，且判定該臉部檢測結果是否與該已校正臉部辨識標準相匹配。當處理單元2判定該臉部檢測結果未與該已校正臉部辨識標準相匹配時，駕駛者的駕駛狀態正處於危險狀態。在本實施例中，該臉部檢測結果包括一第一檢測值以及一第二檢測值。該第一檢測值為與駕駛者臉部之該部分相對應的該等影像圖框的子影像圖框的臉部檢測分數之一平均值。該第二檢測值為與駕駛者眼睛相對應的該等影像圖框的子影像圖框以及該預定開眼影像樣本間的相關係數的一平均值。因此，當該第一檢測值小於該已校正臉部辨識標準之第一閥值時，該處理單元2判定該臉部檢測結果並未與該已校正臉部辨識標準相匹配。在此情況下，該危險狀態表示，駕駛者的臉部並未朝向車輛的前擋風玻璃。此外，當該第一檢測值大於該已校正臉部辨識標準之第一閥值，但該第二檢測值小於該已校正臉部辨識標準之第二閥值時，該處理單元2判定該臉部檢測結果並未與該已校正臉部辨識標準相匹配。在此情況下，該危險狀態表示，駕駛者的臉部雖朝向車輛的前擋風玻璃，但駕駛者的眼睛卻是閉闔的。

該處理單元2是可操作的，使得當判定出駕駛者的駕駛狀態為危險狀態時，產生一警示輸出。

該警示單元4耦接至處理單元2，且用以接收並再生來自處理單元2的警示輸出。該警示單元4可包括蜂鳴器或LED中的至少一者。

該顯示單元5耦接至該處理單元2，且用以顯示由該影像擷取單元1所擷取的影像。

圖2為一流程圖，說明藉由該較佳實施例來執行的用以檢測車輛內駕駛者之駕駛狀態之方法。

在步驟S1中，當車輛啟動時，影像擷取單元1持續擷取車輛內駕駛者之影像，以產生一連串影像圖框。

在步驟S2中，當車輛移動時，處理單元2基於來自影像擷取單元1的影像圖框，建立與車輛內的環境情況相對應之臉部辨識標準。

在步驟S3中，檢測單元3判定環境情況是否發生變化。若判定結果為是，則進行步驟S4。否則，進行步驟S6。

在步驟S4中，處理單元2受組配以產生與發生變化之環境情況相對應之已校正臉部辨識標準，且利用該已校正臉部辨識標準更新該臉部辨識標準。

在步驟S5中，處理單元2受組配以基於該已校正臉部辨識標準，判定駕駛者的駕駛狀態是否為危險狀態。若判定結果為是，則進行步驟S7。否則，返回步驟S3。

在步驟S6中，處理單元2受組配以基於該臉部辨識標準，判定駕駛者的駕駛狀態是否為危險狀態。若判定結果為是，則進行步驟S7。否則，返回步驟S3。

在步驟S7中，處理單元2受組配以產生由警示單元4再生的一警示輸出。

綜上所述，該臉部辨識標準可針對不同駕駛者而建立，且該已校正臉部辨識標準可針對車輛內的各種環境情況而產生。因此，本發明之系統與前述習知檢測系統比較之下，可提供增強的檢測效果，且具有較優越的實用性。

惟以上所述者，僅為本發明之較佳實施例而已，當不能以此限定本發明實施之範圍，即大凡依本發明申請專利範圍及發明說明內容所作之簡單的等效變化與修飾，皆仍屬本發明專利涵蓋之範圍內。

1．．．影像擷取單元

2．．．處理單元

3．．．檢測單元

4．．．警示單元

5．．．顯示單元

S1~S7．．．步驟

圖1是一示意性電路方塊圖，說明根據本發明的用以檢測車輛內駕駛者之駕駛狀態之系統之較佳實施例；以及

圖2是一流程圖，說明藉由該較佳實施例來執行的用以檢測車輛內駕駛者之駕駛狀態之方法。

S1~S7．．．步驟

Claims (10)

1. 一種用以檢測車輛內駕駛者之駕駛狀態之方法，包含下列步驟：a)持續擷取該車輛內該駕駛者之影像，以產生一連串影像圖框；b)當該車輛移動時，基於a)步驟中產生的該等影像圖框，產生與該車輛內的環境情況相對應之一臉部辨識標準；c)在該車輛移動時，判定該環境情況是否發生變化；d)當判定該環境情況發生變化時，利用一已校正臉部辨識標準，更新該臉部辨識標準，其中該已校正臉部辨識標準對應至該發生變化之環境情況，且是基於在該發生變化之環境情況下，在步驟a)中所產生的影像圖框而產生，其中該臉部辨識標準以及該已校正臉部辨識標準中的每一者與對應於具有眼睛、鼻子及嘴巴中至少一者之駕駛者的臉部之一部分之駕駛者之一臉部特徵相關聯，其中該臉部辨識標準以及該已校正臉部辨識標準中的每一者包括一第一閥值，該第一閥值是從與該駕駛者之臉部之該部分相對應之影像圖框之子影像圖框的臉部檢測分數而獲得；以及e)基於該經校正臉部辨識標準，以及在產生該經校正臉部辨識標準之後所產生的影像圖框，判定該駕駛者之駕駛狀態是否為危險狀態，其中該危險狀態表示該駕 駛者之臉部並未朝向該車輛之前擋風玻璃，或者該駕駛者之臉部朝向該車輛之前擋風玻璃，但該駕駛者的至少一個眼睛是閉闔的，其中步驟e)還包括下列子步驟：e-1)當產生該已校正臉部辨識標準時，產生在步驟a)中所產生的一數量的該等影像圖框中之臉部檢測結果，其中該臉部檢測結果包括一第一檢測值，該第一檢測值為與該駕駛者之臉部之該部分相對應之該等影像圖框之子影像圖框的臉部檢測分數之一平均值；以及e-2)判定子步驟e-1)中所產生的臉部檢測結果是否與該已校正臉部辨識標準相匹配，其中當判定該臉部檢測結果與該已校正臉部辨識標準無法相匹配時，該駕駛者之駕駛狀態正處於危險狀態，其中當該第一檢測值小於該已校正臉部辨識標準之該第一閥值時，該臉部檢測結果並未與該已校正臉部辨識標準相匹配，且該危險狀態表示該駕駛者的臉部並未朝向該車輛之前擋風玻璃。
2. 根據申請專利範圍第1項所述之用以檢測車輛內駕駛者之駕駛狀態之方法，還包含：f)當在步驟e)中判定該駕駛者之駕駛狀態為危險狀態時，產生一警示輸出。
3. 根據申請專利範圍第1項所述之用以檢測車輛內駕駛者之駕駛狀態之方法，其中該環境情況之變化包括相對於該駕駛者之臉部的車輛內之亮度之變化以及一外部光源 之方向之變化中至少一者。
4. 根據申請專利範圍第1項所述之用以檢測車輛內駕駛者之駕駛狀態之方法，其中該臉部辨識標準以及該已校正臉部辨識標準中的每一者還與一預定開眼影像樣本相關聯。
5. 根據申請專利範圍第4項所述之用以檢測車輛內駕駛者之駕駛狀態之方法，其中：該臉部辨識標準以及該已校正臉部辨識標準中的每一者還包括一第二閥值，該第二閥值是從與一駕駛者眼睛相對應之影像圖框之子影像圖框以及該預定開眼影像樣本間的相關係數而獲得；該臉部檢測結果還包括一第二檢測值，該第二檢測值為與該駕駛者之眼睛相對應之該等影像圖框之子影像圖框以及該預定開眼影像樣本間的相關係數之一平均值；以及當該第一檢測值大於該已校正臉部辨識標準之該第一閥值，但該第二檢測值小於該已校正臉部辨識標準之該第二閥值時，該臉部檢測結果並未與該臉部辨識標準相匹配，且該危險狀態表示該駕駛者的臉部朝向該車輛之前擋風玻璃，但該駕駛者的眼睛是閉闔的。
6. 一種用以檢測車輛內駕駛者之駕駛狀態之系統，包含：一影像擷取單元，用以持續擷取該車輛內該駕駛者之影像，以產生一連串影像圖框；一處理單元，耦接至該影像擷取單元、從該影像擷 取單元接收該等影像圖框，以及當該車輛移動時，可操作來處理該等影像圖框，以建立與該車輛內的環境情況相對應之一臉部辨識標準；以及一檢測單元，耦接至該處理單元，且用以在該車輛移動時，檢測該環境情況，該檢測單元在檢測到該環境情況發生變化時，輸出一觸發訊號至該處理單元；其中該處理單元在接收來自該檢測單元的觸發訊號時，基於來自該影像擷取單元的影像圖框，產生與該發生變化之環境情況相對應之一已校正臉部辨識標準，其中該臉部辨識標準以及該已校正臉部辨識標準中的每一者與具有眼睛、鼻子及嘴巴中至少一者之駕駛者的臉部的一部分之駕駛者之一臉部特徵相關聯，利用該已校正臉部辨識標準，更新該臉部辨識標準，以及基於該已校正臉部辨識標準，以及來自該影像擷取單元的影像圖框，判定該駕駛者之駕駛狀態是否為危險狀態，其中該危險狀態表示該駕駛者之臉部並未朝向該車輛之前擋風玻璃，或者該駕駛者之臉部朝向該車輛之前擋風玻璃，但該駕駛者的至少一個眼睛是閉闔的，其中該處理單元可操作來當產生該已校正臉部辨識標準時，產生來自該影像擷取單元的一數量的該等影像圖框之臉部檢測結果，以及判定該臉部檢測結果是否與 該已校正臉部辨識標準相匹配，及當該處理單元判定該臉部檢測結果與該已校正臉部辨識標準無法相匹配時，該駕駛者之駕駛狀態為危險狀態，其中該臉部辨識標準以及該已校正臉部辨識標準中的每一者包括一第一閥值，該第一閥值是與對應於該駕駛者的臉部的該部分之該等影像圖框之子影像圖框之臉部檢測分數相關聯，該臉部檢測結果包括一第一檢測值，該第一檢測值為與該駕駛者的臉部的該部分相對應之該等影像圖框之子影像圖框的臉部檢測分數之一平均值；及當該第一檢測值小於該已校正臉部辨識標準之該第一閥值時，該臉部檢測結果並未與該已校正臉部辨識標準相匹配，且該危險狀態表示該駕駛者之臉部並未朝向該車輛之前擋風玻璃。
7. 根據申請專利範圍第6項所述之用以檢測車輛內駕駛者之駕駛狀態之系統，其中該處理單元可操作來當判定該駕駛者之駕駛狀態為危險狀態時，產生一警示輸出，該系統還包含一耦接至該處理單元之警示單元，用以接收並再生來自該處理單元之警示輸出。
8. 根據申請專利範圍第6項所述之用以檢測車輛內駕駛者之駕駛狀態之系統，其中該環境情況之變化包括相對於該駕駛者之臉部的車輛內之亮度之變化以及一外部光源之方向之變化中至少一者。
9. 根據申請專利範圍第6項所述之用以檢測車輛內駕駛者之駕駛狀態之系統，其中該臉部辨識標準以及該已校正臉部辨識標準中的每一者還與一預定開眼影像樣本相關聯。
10. 根據申請專利範圍第9項所述之用以檢測車輛內駕駛者之駕駛狀態之系統，其中該處理單元是可操作的，使得：該臉部辨識標準以及該已校正臉部辨識標準中的每一者還包括一第二閥值，該第二閥值是從與一駕駛者眼睛相對應之影像圖框之子影像圖框以及該預定開眼影像樣本間的相關係數而獲得；該臉部檢測結果還包括一第二檢測值，該第二檢測值為與該駕駛者之眼睛相對應之該等影像圖框之子影像圖框以及該預定開眼影像樣本間的相關係數之一平均值；以及當該第一檢測值大於該已校正臉部辨識標準之該第一閥值，但該第二檢測值小於該已校正臉部辨識標準之該第二閥值時，該臉部檢測結果並未與該臉部辨識標準相匹配，且該危險狀態表示該駕駛者的臉部朝向該車輛之前擋風玻璃，但該駕駛者的眼睛是閉闔的。