TW201913585A - 瞌睡偵測裝置及其瞌睡偵測方法 - Google Patents

瞌睡偵測裝置及其瞌睡偵測方法 Download PDF

Info

Publication number
TW201913585A
TW201913585A TW106129147A TW106129147A TW201913585A TW 201913585 A TW201913585 A TW 201913585A TW 106129147 A TW106129147 A TW 106129147A TW 106129147 A TW106129147 A TW 106129147A TW 201913585 A TW201913585 A TW 201913585A
Authority
TW
Taiwan
Prior art keywords
eye
closed
doze
pixel
determination circuit
Prior art date
Application number
TW106129147A
Other languages
English (en)
Other versions
TWI647666B (zh
Inventor
劉政德
陳裕彥
Original Assignee
緯創資通股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 緯創資通股份有限公司 filed Critical 緯創資通股份有限公司
Priority to TW106129147A priority Critical patent/TWI647666B/zh
Priority to CN201710816272.2A priority patent/CN109426797B/zh
Priority to US15/817,101 priority patent/US10482350B2/en
Application granted granted Critical
Publication of TWI647666B publication Critical patent/TWI647666B/zh
Publication of TW201913585A publication Critical patent/TW201913585A/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1103—Detecting eye twinkling
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G06V10/507—Summing image-intensity values; Histogram projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction
    • G06F2218/10—Feature extraction by analysing the shape of a waveform, e.g. extracting parameters relating to peaks

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Ophthalmology & Optometry (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Business, Economics & Management (AREA)
  • Psychiatry (AREA)
  • Emergency Management (AREA)
  • Social Psychology (AREA)
  • Physiology (AREA)
  • Dentistry (AREA)
  • Mechanical Engineering (AREA)
  • Emergency Alarm Devices (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本發明係提供一種瞌睡偵測裝置，包括：一影像擷取裝置，用以持續地擷取一使用者之複數張人臉影像；一警告裝置；一瞌睡判斷電路，用以從該複數張人臉影像中之一目前影像取得一眼睛區域，並計算該眼睛區域之一垂直直方圖，並依據該垂直直方圖判斷一眼睛部位，其中該瞌睡判斷電路係將該眼睛部位之一像素高度與一閉眼像素閥值比較以進行一閉眼判斷，並依據該閉眼判斷之結果進行一瞌睡偵測，其中當該瞌睡偵測之結果為該使用者係處於一瞌睡狀態，該瞌睡判斷電路係發送一控制信號至該警告裝置以發出一聲告聲。

Description

瞌睡偵測裝置及其瞌睡偵測方法
本發明係有關於瞌睡偵測裝置，特別是有關於一種瞌睡偵測裝置及其瞌睡偵測方法。
目前車用安全相關的系統，有針對車外的駕駛輔助系統(Advanced Driver Assistance Systems，ADAS)，也有針對車內的瞌睡偵測系統(Drowsiness Detection System)。以瞌睡偵測系統來說，在偵測到駕駛人精神狀況不好或打瞌睡時，要適時發出警告喚醒駕駛人。但要如何偵測駕駛人的狀況是件困難的技術，目前接觸式的技術直接偵測駕駛人心跳、血氧等參數的技術，也有非接觸式的技術直接偵測駕駛人外觀的技術。以非接觸式之技術來說，可利用偵測駕駛人的眼睛來判斷是否打瞌睡。然而，電腦裝置並不懂何謂張眼與閉眼，因此要由影像中的眼睛大小來判斷，但眼睛大小的閥值很難決定，不僅每個駕駛人不同，同一個駕駛人改變姿勢也會影響眼睛的大小。因此，傳統的方法並無法準確地利用影像判斷駕駛人的眼睛部位，這也會影響到瞌睡偵測的準確率。
因此，需要一種瞌睡偵測裝置及其瞌睡偵測方法以解決上述問題。
本發明係提供一種瞌睡偵測裝置，包括：一影像擷取裝置，用以持續地擷取一使用者之複數張人臉影像；一警告裝置；一瞌睡判斷電路，用以從該複數張人臉影像中之一目前影像取得一眼睛區域，並計算該眼睛區域之一垂直直方圖，並依據該垂直直方圖判斷一眼睛部位，其中該瞌睡判斷電路係將該眼睛部位之一像素高度與一閉眼像素閥值比較以進行一閉眼判斷，並依據該閉眼判斷之結果進行一瞌睡偵測，其中當該瞌睡偵測之結果為該使用者係處於一瞌睡狀態，該瞌睡判斷電路係發送一控制信號至該警告裝置以發出一聲告聲。
在本發明之一實施例中，瞌睡判斷電路係統計一目前週期中之該複數張人臉影像中之一最大像素高度，並依據該最大像素高度與該閉眼像素閥值之一差值決定是否更新該閉眼像素閥值。
承上述實施例，當該最大像素高度與該閉眼像素閥值之該差值大於或等於一預定值，該瞌睡判斷電路係將該閉眼像素閥值更新為該最大像素高度，其中當該最大像素高度與該閉眼像素閥值之該差值小於該預定值，該瞌睡判斷電路不更新該閉眼像素閥值。
在本發明之一實施例中，當該目前影像之該眼睛部位之該像素高度小於該閉眼像素閥值，該瞌睡判斷電路係判斷在該目前影像中之該眼睛部位係處於一閉眼狀態，其中當該目前影像之該眼睛部位之該像素高度大於或等於該閉眼像素閥值，該瞌睡判斷電路係判斷在該目前影像中之該眼睛部位係處於一張眼狀態。該瞌睡判斷電路更計算在一預定期間中之該 眼睛部位處於該閉眼狀態之一數量，且當該數量超過一預定數量時，該瞌睡判斷電路係發送該控制信號至該警告裝置以發出該聲告聲。
在本發明之一實施例中，該瞌睡判斷電路係統計在該眼睛區域中之每一列的黑色像素數量以產生該垂直直方圖。依據該垂直直方圖以取得複數個相對峰值，並由該複數個相對峰值決定一最大峰值，且依據該最大峰值以從該複數個相對峰值過濾出複數個有效峰值，其中該瞌睡判斷電路係由該複數個有效峰值中決定一最大範圍以做為該眼睛部位。
本發明更提供一種瞌睡偵測方法，用於一瞌睡偵測裝置，其中該瞌睡裝置包括一影像擷取裝置及一警告裝置，該方法包括：利用該影像擷取裝置持續地擷取一使用者之複數張人臉影像；從該複數張人臉影像中之一目前影像取得一眼睛區域；計算該眼睛區域之一垂直直方圖，並依據該垂直直方圖判斷一眼睛部位；將該眼睛部位之一像素高度與一閉眼像素閥值比較以進行一閉眼判斷，並依據該閉眼判斷之結果進行一瞌睡偵測；以及當該瞌睡偵測之結果為該使用者係處於一瞌睡狀態，發送一控制信號至該警告裝置以發出一聲告聲。
20‧‧‧使用者
100‧‧‧瞌睡偵測裝置
110‧‧‧影像擷取裝置
120‧‧‧瞌睡判斷電路
130‧‧‧警告裝置
131‧‧‧控制器
132‧‧‧揚聲器
210‧‧‧人臉區域
220‧‧‧眼睛區域
221-226‧‧‧相對峰值
第1圖係顯示依據本發明一實施例之瞌睡偵測裝置的功能方塊圖。
第2A圖係顯示依據本發明一實施例中之影像信號的示意圖。
第2B圖係顯示依據本發明一實施例中之影像信號中之眼睛區域的垂直直方圖。
第3圖係顯示依據本發明一實施例中之瞌睡偵測方法的流程圖。
為使本發明之上述目的、特徵和優點能更明顯易懂，下文特舉一較佳實施例，並配合所附圖式，作詳細說明如下。
第1圖係顯示依據本發明一實施例之瞌睡偵測裝置的功能方塊圖。
如第1圖所示，瞌睡偵測裝置100係對一使用者20進行瞌睡偵測。舉例來說，瞌睡偵測裝置100可安裝於車輛上之車用系統，用以偵測在車內之駕駛人(即使用者20)的眼睛之開闔情況，並據以判斷駕駛人的精神狀態是否良好。
在一實施例中，瞌睡偵測裝置100係包括一影像擷取裝置110、一瞌睡判斷電路120、以及一警告裝置130。
影像擷取裝置110例如可為具有感光耦合元件(Charge-coupled device，CCD)或是互補性氧化金屬半導體(complementary metal-oxide semiconductor，CMOS)感光元件的一攝影機。影像擷取裝置110係用以持續拍攝偵測目標(例如車輛之駕駛)之臉部並產生一影像信號。
瞌睡判斷電路120係接收來自影像擷取裝置110之影像信號，並分析該影像信號以判斷使用者20是否有打瞌睡的情況。上述之判斷流程之細節將詳述於後。舉例來說，瞌睡判 斷電路120例如可為一應用導向積體電路(application-specific integrated circuit，ASIC)、或是可由現場可程式化閘陣列(Field-Programmable Gate Array，FPGA)或是特定的邏輯電路所實現，但本發明並不限於此。。在一些實施例中，瞌睡判斷電路120例如可用一中央處理器(CPU)、數位信號處理器(DSP)、或影像信號處理器(ISP)所實現，但本發明並不限於此。
警告裝置130例如包括一控制器131以及一揚聲器132，其中控制器131係接收來自瞌睡判斷電路120之一控制信號，並控制揚聲器132發出相應之警告聲。
當瞌睡判斷電路120判斷使用者20有打瞌睡的情況，則瞌睡判斷電路120會發出一控制信號至警告裝置130。此時，警告裝置130係依據來自瞌睡判斷電路120之一控制信號以發出一警告聲以提醒使用者20。
第2A圖係顯示依據本發明一實施例中之影像信號的示意圖。
在一實施例中，當瞌睡判斷電路120接收到來自影像擷取裝置110之影像信號，瞌睡判斷電路120係分析該影像信號以判斷使用者之人臉區域210，並依據判斷出的人臉區域決定眼睛區域220，其中上述眼睛區域220亦可稱為感興趣區域(Region of Interest，ROI)。接著，瞌睡判斷電路120係計算眼睛區域220的垂直直方圖(vertical histogram)。需注意的是，眼睛區域220是指在人眼部位及其週圍的區域，也就是可能包括了鏡框、眉毛、眼瞼等區域。
第2B圖係顯示依據本發明一實施例中之影像信號 中之眼睛區域的垂直直方圖。
詳細而言，因為眼睛區域220在影像信號中所佔的比例較小，因此可針對眼睛區域中之每一列的像素進行統計。舉例來說，人的眼睛之像素通常只有黑跟白，也就是灰階值小於一預定閥值的像素係判斷為黑色像素，灰階值大於一預定閥值的像素係判斷為白色像素。然而，在眼睛區域220(即感興趣區域)可能包括了眼鏡之鏡框、或是眉毛等等非人眼之物件。因此，瞌睡判斷電路120可分別統計在眼睛區域220中之每一列的黑色像素的數量，並據以產生該垂直直方圖，其中垂直直方圖之水平方向表示像素數量、垂直方向則表示在眼睛區域220中之列數。本發明利用垂直直方圖搭配後續的判斷流程則可從眼睛區域220中過濾出人眼的部份。
在一實施例中，瞌睡判斷電路120會先從眼睛區域之垂直直方圖中判斷出複數個相對峰值。舉例來說，當在垂直直方圖中之一特定列的黑色像素數量與其鄰近上下兩列的黑色像素數量之差異大於一預定值時，則可判斷該特定列為一相對峰值，例如相對峰值221~226。接著，瞌睡判斷電路120係由該複數個相對峰值中找出複數個有效峰值。
更進一步而言，瞌睡判斷電路120會先由該複數個相對峰值中決定一最大相對峰值，並依據該最大相對峰值設定一閥值。舉例來說，上述閥值可為該最大相對峰值的一預定比例，例如2/3。需注意的是，上述預定比例可依實際情況進行調整。
請參考第2B圖，相對峰值221是在所有相對峰值 221~226中的最大值，故瞌睡判斷電路120會決定相對峰值221為最大相對峰值。瞌睡判斷電路120係以最大相對峰值乘上預定比例以做為閥值並過濾該複數個相對峰值。以預定比例=2/3為例，會由該複數個相對峰值中過濾出相對峰值221、223、及226，此即為有效峰值。
在取得有效峰值後，瞌睡判斷電路120會進一步判斷眼睛部位。舉例來說，瞌睡判斷電路120會從上述幾個有效峰值中找出範圍最大的區域並定義為眼睛部位，意即此區域即為眼睛部位之像素。更進一步而言，上述範圍之定義是指「從有效峰值往上與下找到第一個谷底」。因此，從第2B圖之例子來看，有效峰值223所相應的上下谷底峰值227及228之間會具有最大的範圍。故瞌睡判斷電路120會將峰值227及228之間的區域定義為眼睛部位並取得眼睛部位之像素高度(以像素數量表示)。在一實施例中，因為影像擷取裝置110係持續拍攝使用者之人臉影像，瞌睡判斷電路120會進一步定義出眼睛部位的影像張數。意即，瞌睡判斷電路120會統計有找到眼睛部位並且有計算出眼睛部位之像素高度之影像，並統計其數量。當影像數量未達到一預定數量，則瞌睡判斷電路120儲存目前影像的眼睛部位之像素高度。當影像數量已累積達到一預定數量(例如20張或300張，非限定)，則瞌睡判斷電路120則會從在該預定數量中的影像找出眼睛部位的最大像素高度，並更新最大像素高度之數值。需注意的是，該預定數量可視實際情況進行調整。
更進一步而言，瞌睡判斷電路120主要是判斷車輛 的駕駛人在駕駛狀態下的眼睛部位之狀態。然而，駕駛人在座位上往往會有各種動作(例如是喝咖啡、開置物箱、調整出風口、調整冷氣溫度、設定導航系統、轉頭聊天、檢視簡訊等等)，且在動作過程中有可能會讓眼睛部位的像素高度變小。因此，若影像張數之預定數量太小，瞌睡判斷電路120所取得的眼睛部位之最大像素高度可能是動作過程中的眼睛部位，而不是駕駛狀態時的眼睛部位。
在一實施例中，瞌睡判斷電路120更新眼睛部位的最大像素高度係以該預定數量之影像做為單位。舉例來說，當影像數量已累積達到一預定數量(例如20張或300張，非限定)，則瞌睡判斷電路120則會從在該預定數量中的影像找出眼睛部位的最大像素高度，並更新最大像素高度之數值，以及重置累積的影像張數。更新後的最大像素高度，則會用於下一個週期的瞌睡偵測判斷，例如在目前週期的影像數量尚未累積至該預定數量時，瞌睡判斷電路120會以上一個週期的最大像素高度進行閉眼判斷。
承上述實施例，在瞌睡判斷電路120取得最大像素高度後會先判斷是否已設定一閉眼像素閥值。舉例來說，若瞌睡判斷電路120判斷目前影像之眼睛部位的像素高度小於該閉眼像素閥值，則會累積一閉眼影像計數值。當在一預定時間內的閉眼影像計數值達到一上限值時，瞌睡判斷電路120則判斷該使用者有打瞌睡，並傳送一控制信號至警告裝置130以發出警告聲以提醒使用者。
更進一步而言，若尚未設定閉眼像素閥值(例如瞌 睡偵測裝置100剛啟動時)，瞌睡判斷電路120則會將目前週期之最大像素高度設定為該閉眼像素閥值，意即在第一個週期中可不進行瞌睡判斷。若已設定閉眼像素閥值，瞌睡判斷電路120則判斷目前週期所計算出的最大像素高度與該閉眼像素閥值之間的差值(取其絕對值)是否大於或等於一預定值X。若是，瞌睡判斷電路120則會將該閉眼像素閥值更新為目前週期所計算出的最大像素高度。若否，瞌睡判斷電路120則不更新該閉眼像素閥值。
舉例來說，在已設定閉眼像素閥值的情況下，瞌睡判斷電路120是要判斷駕駛人的頭部有沒有移動，即以上述的預定值X做為標準。意即，移動量大於或等於預定值X表示駕駛人的頭部有移動，需要更新閉眼像素閥值。移動量未超過預定值X表示駕駛人的頭部沒有移動或移動程度很小，不需要更新閉眼像素閥值。
表1係繪示依據本發明一實施例中判斷閉眼像素閥值的示意圖。
請參考表1，在此實施例中係設定該預定值X為2，且每一週期之影像數量為300，上述數值僅為用於說明，但本發明並不以此為限。
在影像0~300之第一週期，即瞌睡偵測裝置100剛啟動，使用者係正常駕駛，且此時並未設定閉眼偵測閥值。
在影像301~600之第二週期，使用者係正常駕駛。因尚未設定閉眼像素閥值，故在第一週期的最後一張影像(即影像300)之計算結束後，瞌睡判斷電路120則會將上一週期(影像0~300)所計算出的最大像素高度(例如12)設定為閉眼像素閥值，用於第二週期(影像301~600)之判斷。
在第二週期的最後一張影像(即影像600)之計算結束後，瞌睡判斷電路120則會將第二週期(影像301~600)所計算出的最大像素高度(例如12)與目前的閉眼像素閥值(例如12)進行比較，因兩者的差距為0，故瞌睡判斷電路120則不更新閉眼像素閥值，繼續用於第三週期(影像601~900)之判斷。
在影像601~900之第三週期，使用者有抬頭的動作。在第三週期的最後一張影像(即影像900)之計算結束後，瞌睡判斷電路120則會將第三週期(影像601~900)所計算出的最大像素高度(例如9)與目前的閉眼像素閥值(例如12)進行比較，因兩者的差距為3，已大於該預定值X，故瞌睡判斷電路120將閉眼像素閥值更新為第三週期之最大像素高度(例如9)，並用於第四週期(影像901~1200)之判斷。
在影像901~1200之第四週期，使用者係正常駕駛。在第四週期的最後一張影像(即影像1200)之計算結束後， 瞌睡判斷電路120則會將第四週期(影像901~1200)所計算出的最大像素高度(例如11)與目前的閉眼像素閥值(例如9)進行比較，因兩者的差距為2，已等於該預定值X，故瞌睡判斷電路120將閉眼像素閥值更新為第四週期之最大像素高度(例如11)，並用於第五週期(影像1201~1500)之判斷。
在影像1201~1500之第五週期，使用者係往後移動(例如調整駕駛座)。在第五週期的最後一張影像(即影像1500)之計算結束後，瞌睡判斷電路120則會將第五週期(影像1201~1500)所計算出的最大像素高度(例如8)與目前的閉眼像素閥值(例如11)進行比較，因兩者的差距為3，已大於該預定值X，故瞌睡判斷電路120將閉眼像素閥值更新為第五週期之最大像素高度(例如8)，並用於第六週期(影像1501~1800)之判斷。
在影像1501~1800之第六週期，使用者係正常駕駛。在第六週期的最後一張影像(即影像1800)之計算結束後，瞌睡判斷電路120則會將第六週期(影像1501~1800)所計算出的最大像素高度(例如10)與目前的閉眼像素閥值(例如8)進行比較，因兩者的差距為2，已等於該預定值X，故瞌睡判斷電路120將閉眼像素閥值更新為第六週期之最大像素高度(例如10)，並用於第七週期(影像1801~2100)之判斷。
在影像1801~2100之第七週期，使用者係正常駕駛。在第七週期的最後一張影像(即影像2100)之計算結束後，瞌睡判斷電路120則會將第七週期(影像1801~2100)所計算出的最大像素高度(例如12)與目前的閉眼像素閥值(例如10)進行比較，因兩者的差距為2，已等於該預定值X，故瞌睡判斷電路 120將閉眼像素閥值更新為第七週期之最大像素高度(例如10)，並用於後續之判斷。
第3圖係顯示依據本發明一實施例中之瞌睡偵測方法的流程圖。
在步驟S302，利用影像擷取裝置持續地擷取一使用者的複數張人臉影像。
在步驟S304，從該複數張人臉影像中之一目前影像取得一眼睛區域。舉例來說，瞌睡判斷電路120會先從目前影像中計算出一人臉區域，並由該人臉區域中判斷出一眼睛區域，其中上述決定人臉區域及眼睛區域之方法已為本發明中具有通常知識者所熟知，故其細節於此不再贅述。
在步驟S306，計算該眼睛區域之一垂直直方圖。舉例來說，瞌睡判斷電路120會統計在該眼睛區域中之每一列的黑色像素之數量，以產生該垂直直方圖。
在步驟S308，依據垂直直方圖以判斷一眼睛部位。舉例來說，瞌睡判斷電路120依據該眼睛區域中之該垂直直方圖以取得複數個相對峰值，並由該複數個相對峰值決定一最大峰值，並且依據該最大峰值以從該複數個相對峰值過濾出複數個有效峰值，以及由該複數個有效峰值中決定一最大範圍以做為該眼睛部位。
在步驟S310，判斷累積的人臉影像數量是否已達到一預定數量N。若是，則執行步驟S314，若否，則執行步驟S312。
在步驟S312，記錄眼睛部位之像素高度。舉例來 說，瞌睡判斷電路120在決定使用者的眼睛部位是否閉眼之閉眼像素閥值均是以週期計算，每個週期都會有固定的影像數量。此外，最大像素高度亦是每個週期中之人臉影像之像素高度的最大值。因此，在每個週期之最後一張影像處理後即可決定該週期的最大像素高度。
在步驟S314，取得眼睛部位之最大像素高度H。
在步驟S316，判斷是否已設定閉眼像素閥值。若是，則執行步驟S318，若否，則執行步驟S320。
在步驟S318，判斷最大像素高度與閉眼像素閥值THeye之差值的絕對值是否大於等於一預定值X。若是，則執行步驟S320，若否，則執行步驟S322。
在步驟S320，將閉眼像素閥值THeye更新為最大像素高度H。
在步驟S322，進行閉眼判斷。舉例來說，若目前影像之眼睛部位的像素高度小於閉眼像素閥值，則瞌睡判斷電路120可判斷目前影像之眼睛部位係處於一閉眼狀態。若目前影像之眼睛部位的像素高度大於或等於閉眼像素閥值，則瞌睡判斷電路120可判斷目前影像之眼睛部位係處於一張眼狀態。
在步驟S324，進行瞌睡偵測。舉例來說，若瞌睡判斷電路120判斷目前影像之眼睛部位的像素高度小於該閉眼像素閥值，則會累積一閉眼影像計數值。當在一預定時間內的閉眼影像計數值達到一上限值時，瞌睡判斷電路120則判斷該使用者有打瞌睡，並傳送一控制信號至警告裝置130以發出警告聲以提醒使用者。
綜上所述，本發明係提供一種瞌睡偵測裝置及其瞌睡偵測方法，其可使用動態偵測的方法調整眼睛部位的閥值，即便駕駛人改變姿勢也能對應修正閥值以避免誤差。
本發明雖以較佳實施例揭露如上，然其並非用以限定本發明的範圍，任何所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可做些許的更動與潤飾，因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。

Claims (14)

  1. 一種瞌睡偵測裝置，包括：一影像擷取裝置，用以持續地擷取一使用者之複數張人臉影像；一警告裝置；以及一瞌睡判斷電路，用以從該複數張人臉影像中之一目前影像取得一眼睛區域，並計算該眼睛區域之一垂直直方圖，並依據該垂直直方圖判斷一眼睛部位；其中該瞌睡判斷電路係將該眼睛部位之一像素高度與一閉眼像素閥值比較以進行一閉眼判斷，並依據該閉眼判斷之結果進行一瞌睡偵測；其中當該瞌睡偵測之結果為該使用者係處於一瞌睡狀態，該瞌睡判斷電路係發送一控制信號至該警告裝置以發出一聲告聲。
  2. 如申請專利範圍第1項所述之瞌睡偵測裝置，其中該瞌睡判斷電路係統計一目前週期中之該複數張人臉影像中之該眼睛部位之一最大像素高度，並依據該最大像素高度與該閉眼像素閥值之一差值決定是否更新該閉眼像素閥值。
  3. 如申請專利範圍第2項所述之瞌睡偵測裝置，其中當該最大像素高度與該閉眼像素閥值之該差值大於或等於一預定值，該瞌睡判斷電路係將該閉眼像素閥值更新為該最大像素高度；其中當該最大像素高度與該閉眼像素閥值之該差值小於該預定值，該瞌睡判斷電路不更新該閉眼像素閥值。
  4. 如申請專利範圍第1項所述之瞌睡偵測裝置，其中當該目前影像之該眼睛部位之該像素高度小於該閉眼像素閥值，該瞌睡判斷電路係判斷在該目前影像中之該眼睛部位係處於一閉眼狀態；其中當該目前影像之該眼睛部位之該像素高度大於或等於該閉眼像素閥值，該瞌睡判斷電路係判斷在該目前影像中之該眼睛部位係處於一張眼狀態。
  5. 如申請專利範圍第4項所述之瞌睡偵測裝置，其中該瞌睡判斷電路更計算在一預定期間中之該眼睛部位處於該閉眼狀態之一數量，且當該數量超過一預定數量時，該瞌睡判斷電路係發送該控制信號至該警告裝置以發出該聲告聲。
  6. 如申請專利範圍第1項所述之瞌睡偵測裝置，其中該瞌睡判斷電路係統計在該眼睛區域中之每一列的黑色像素數量以產生該垂直直方圖。
  7. 如申請專利範圍第6項所述之瞌睡偵測裝置，其中該瞌睡判斷電路更依據該垂直直方圖以取得複數個相對峰值，並由該複數個相對峰值決定一最大峰值，且依據該最大峰值以從該複數個相對峰值過濾出複數個有效峰值；其中該瞌睡判斷電路係由該複數個有效峰值中決定一最大範圍以做為該眼睛部位。
  8. 一種瞌睡偵測方法，用於一瞌睡偵測裝置，其中該瞌睡裝置包括一影像擷取裝置及一警告裝置，該方法包括：利用該影像擷取裝置持續地擷取一使用者之複數張人臉影像； 從該複數張人臉影像中之一目前影像取得一眼睛區域；計算該眼睛區域之一垂直直方圖，並依據該垂直直方圖判斷一眼睛部位；將該眼睛部位之一像素高度與一閉眼像素閥值比較以進行一閉眼判斷，並依據該閉眼判斷之結果進行一瞌睡偵測；以及當該瞌睡偵測之結果為該使用者係處於一瞌睡狀態，發送一控制信號至該警告裝置以發出一聲告聲。
  9. 如申請專利範圍第8項所述之瞌睡偵測方法，更包括：統計一目前週期中之該複數張人臉影像中之該眼睛部位之一最大像素高度；以及依據該最大像素高度與該閉眼像素閥值之一差值決定是否更新該閉眼像素閥值。
  10. 如申請專利範圍第9項所述之瞌睡偵測方法，更包括：當該最大像素高度與該閉眼像素閥值之該差值大於或等於一預定值，將該閉眼像素閥值更新為該最大像素高度；以及當該最大像素高度與該閉眼像素閥值之該差值小於該預定值，不更新該閉眼像素閥值。
  11. 如申請專利範圍第8項所述之瞌睡偵測方法，更包括：當該目前影像之該眼睛部位之該像素高度小於該閉眼像素閥值，判斷在該目前影像中之該眼睛部位係處於一閉眼狀態；以及當該目前影像之該眼睛部位之該像素高度大於或等於該閉 眼像素閥值，判斷在該目前影像中之該眼睛部位係處於一張眼狀態。
  12. 如申請專利範圍第11項所述之瞌睡偵測方法，更包括：計算在一預定期間中之該眼睛部位處於該閉眼狀態之一數量；以及當該數量超過一預定數量時，發送該控制信號至該警告裝置以發出該聲告聲。
  13. 如申請專利範圍第8項所述之瞌睡偵測方法，更包括：統計在該眼睛區域中之每一列的黑色像素數量以產生該垂直直方圖。
  14. 如申請專利範圍第13項所述之瞌睡偵測方法，更包括：依據該眼睛區域中之該垂直直方圖以取得複數個相對峰值，並由該複數個相對峰值決定一最大峰值；依據該最大峰值以從該複數個相對峰值過濾出複數個有效峰值；以及由該複數個有效峰值中決定一最大範圍以做為該眼睛部位。
TW106129147A 2017-08-28 2017-08-28 瞌睡偵測裝置及其瞌睡偵測方法 TWI647666B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW106129147A TWI647666B (zh) 2017-08-28 2017-08-28 瞌睡偵測裝置及其瞌睡偵測方法
CN201710816272.2A CN109426797B (zh) 2017-08-28 2017-09-12 瞌睡检测装置及其瞌睡检测方法
US15/817,101 US10482350B2 (en) 2017-08-28 2017-11-17 Drowsiness detection apparatus and drowsiness detection method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW106129147A TWI647666B (zh) 2017-08-28 2017-08-28 瞌睡偵測裝置及其瞌睡偵測方法

Publications (2)

Publication Number Publication Date
TWI647666B TWI647666B (zh) 2019-01-11
TW201913585A true TW201913585A (zh) 2019-04-01

Family

ID=65437087

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106129147A TWI647666B (zh) 2017-08-28 2017-08-28 瞌睡偵測裝置及其瞌睡偵測方法

Country Status (3)

Country Link
US (1) US10482350B2 (zh)
CN (1) CN109426797B (zh)
TW (1) TWI647666B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI799343B (zh) * 2022-08-26 2023-04-11 中原大學 運用田口法於汽車駕駛人夜間瞌睡偵測方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11345362B2 (en) * 2018-12-31 2022-05-31 Robert Bosch Gmbh Adaptive warnings and emergency braking for distracted drivers
CN110349381A (zh) * 2019-06-20 2019-10-18 镇江畅行交通科技有限公司 一种基于公交场景的人脸识别技术在公共安全方面的应用系统
US11978266B2 (en) 2020-10-21 2024-05-07 Nvidia Corporation Occupant attentiveness and cognitive load monitoring for autonomous and semi-autonomous driving applications

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2541688B2 (ja) * 1990-05-21 1996-10-09 日産自動車株式会社 眼位置検出装置
US6419638B1 (en) * 1993-07-20 2002-07-16 Sam H. Hay Optical recognition methods for locating eyes
JP3452685B2 (ja) * 1995-05-10 2003-09-29 三菱電機株式会社 顔画像の処理装置
JP3350296B2 (ja) * 1995-07-28 2002-11-25 三菱電機株式会社 顔画像処理装置
FR2773521B1 (fr) * 1998-01-15 2000-03-31 Carlus Magnus Limited Procede et dispositif pour surveiller en continu l'etat de vigilance du conducteur d'un vehicule automobile, afin de detecter et prevenir une tendance eventuelle a l'endormissement de celui-ci
US20070036438A1 (en) * 2005-08-15 2007-02-15 Lexmark International, Inc. Methods and systems for identifying red eye pairs
EP2363067B1 (en) * 2007-01-19 2016-01-06 Asahi Kasei Kabushiki Kaisha Arousal state classification model generating device, arousal state classifying device, and warning device
CN101425136B (zh) * 2008-10-24 2012-04-11 北京工业大学 视频图像局部二进制模式特征的获取方法和装置
WO2010092860A1 (ja) * 2009-02-13 2010-08-19 トヨタ自動車株式会社 生体状態推定装置及び車両制御装置
EP2237237B1 (en) * 2009-03-30 2013-03-20 Tobii Technology AB Eye closure detection using structured illumination
CN102696041B (zh) * 2009-12-02 2016-03-02 塔塔咨询服务有限公司 用于眼睛跟踪和司机睡意确认的成本效益高且稳健的系统和方法
TW201140511A (en) * 2010-05-11 2011-11-16 Chunghwa Telecom Co Ltd Drowsiness detection method
JP5418579B2 (ja) * 2011-12-06 2014-02-19 株式会社デンソー 開閉眼検出装置
US9247211B2 (en) * 2012-01-17 2016-01-26 Avigilon Fortress Corporation System and method for video content analysis using depth sensing
CN103150560B (zh) * 2013-03-15 2016-03-30 福州龙吟信息技术有限公司 一种汽车智能安全驾驶的实现方法
TWI511095B (zh) * 2014-07-17 2015-12-01 Nat Univ Chin Yi Technology 結合眼球影像與腦波之疲勞偵測方法
US20170119298A1 (en) * 2014-09-02 2017-05-04 Hong Kong Baptist University Method and Apparatus for Eye Gaze Tracking and Detection of Fatigue
JP6387892B2 (ja) * 2015-04-18 2018-09-12 トヨタ自動車株式会社 眠気検知装置
CN106250801A (zh) * 2015-11-20 2016-12-21 北汽银翔汽车有限公司 基于人脸检测和人眼状态识别的疲劳检测方法
CN106214166A (zh) * 2016-09-30 2016-12-14 防城港市港口区高创信息技术有限公司 一种戴眼镜驾驶员疲劳检测方法
CN106898118B (zh) * 2017-04-26 2019-04-16 华迅金安（北京）科技有限公司 防止疲劳驾驶的智能系统及方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI799343B (zh) * 2022-08-26 2023-04-11 中原大學 運用田口法於汽車駕駛人夜間瞌睡偵測方法

Also Published As

Publication number Publication date
TWI647666B (zh) 2019-01-11
US20190065898A1 (en) 2019-02-28
CN109426797A (zh) 2019-03-05
US10482350B2 (en) 2019-11-19
CN109426797B (zh) 2020-12-04

Similar Documents

Publication Publication Date Title
TWI647666B (zh) 瞌睡偵測裝置及其瞌睡偵測方法
US20200334477A1 (en) State estimation apparatus, state estimation method, and state estimation program
WO2015158087A1 (zh) 一种检测人眼健康状态的方法、装置及移动终端
JP5841538B2 (ja) 関心度推定装置および関心度推定方法
JP5109922B2 (ja) ドライバモニタリング装置およびドライバモニタリング装置用のプログラム
JP5343631B2 (ja) 運転支援装置
JP5177011B2 (ja) 開眼度特定装置
WO2018159036A1 (ja) 見守り支援システム及びその制御方法、並びにプログラム
JP6707969B2 (ja) 覚醒度判定装置
US20150173665A1 (en) State estimation device and state estimation program
WO2017067399A1 (zh) 一种基于图像识别的预警方法及装置
US10899356B2 (en) Drowsiness prevention device, drowsiness prevention method, and recording medium
CN107340849A (zh) 移动装置及其护眼控制方法
JP6601351B2 (ja) 視線計測装置
TWI492193B (zh) 觸發訊號的方法及車用電子裝置
CN111447497A (zh) 智能播放设备及其节能控制方法
JP6971582B2 (ja) 状態検出装置、状態検出方法、及びプログラム
JP2010273276A (ja) テレビ制御装置
US10762761B2 (en) Monitoring assistance system, control method thereof, and program
JP2018533240A (ja) 占有検出
JP5050794B2 (ja) 眠気検知装置、眠気検知方法
JP2007117365A (ja) 情報提示装置
JP2019008515A (ja) 見守り支援システム及びその制御方法
JP2011125620A (ja) 生体状態検出装置
JP6870514B2 (ja) 見守り支援システム及びその制御方法