TWI715958B - 評估駕駛者之疲勞分數的方法 - Google Patents

評估駕駛者之疲勞分數的方法 Download PDF

Info

Publication number
TWI715958B
TWI715958B TW108112128A TW108112128A TWI715958B TW I715958 B TWI715958 B TW I715958B TW 108112128 A TW108112128 A TW 108112128A TW 108112128 A TW108112128 A TW 108112128A TW I715958 B TWI715958 B TW I715958B
Authority
TW
Taiwan
Prior art keywords
driver
processing module
fatigue
image
score
Prior art date
Application number
TW108112128A
Other languages
English (en)
Other versions
TW202038187A (zh
Inventor
吳炳飛
陳冠宏
黃柏維
蔡尹晟
Original Assignee
國立交通大學
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 國立交通大學 filed Critical 國立交通大學
Priority to TW108112128A priority Critical patent/TWI715958B/zh
Priority to CN201910708449.6A priority patent/CN111797662A/zh
Priority to US16/559,358 priority patent/US11315350B2/en
Publication of TW202038187A publication Critical patent/TW202038187A/zh
Application granted granted Critical
Publication of TWI715958B publication Critical patent/TWI715958B/zh

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02416—Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/168—Evaluating attention deficit, hyperactivity
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6893—Cars
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/70—Multimodal biometrics, e.g. combining information from different biometric modalities
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/20—Workers
    • A61B2503/22—Motor vehicles operators, e.g. drivers, pilots, captains
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Psychiatry (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Cardiology (AREA)
  • Developmental Disabilities (AREA)
  • Child & Adolescent Psychology (AREA)
  • Social Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Educational Technology (AREA)
  • Psychology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physiology (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

一種評估駕駛者之疲勞分數的方法，藉由一處理模組來實施，該處理模組連接一持續地拍攝駕駛者以便連續獲得多張相關於駕駛者之影像的影像擷取模組，該評估駕駛者之疲勞分數的方法包含以下步驟：(A)該處理模組根據該影像擷取模組所擷取的該等影像，獲得一指示出駕駛者之生理狀態的生理資訊；(B)該處理模組根據該等影像之其中一者，獲得指示出駕駛者情緒的表情資訊；(C)該處理模組根據該等影像之其中一者，獲得一指示出駕駛者駕駛行為的行為資訊；(D)該處理模組根據該生理資訊、該表情資訊及該行為資訊，獲得一指示出駕駛者疲勞程度的疲勞分數。

Description

評估駕駛者之疲勞分數的方法
本發明是有關於一種用於車輛之影像處理系統的方法，特別是指一種安全駕駛評估方法。
目前習知的安全駕駛檢測裝置，皆是透過影像處理的方式判定相關於駕駛者的身體或臉部之動作的影像是否顯示出駕駛者處於疲備狀態，而影響到自身、乘客或其他用路人之安全，而此種方式因沒有考慮駕駛者的生理資訊(例如：心跳頻率)，因此在實際的實施上準確率並沒有達到理想的成果。
有鑑於此，故如何提供一種綜合考量駕駛者之生理資訊、駕駛者之臉部資訊及駕駛者之行為資訊的安全駕駛檢測方法，即為本創作所欲解決之首要課題。
因此，本發明的目的，即在提供一種可評估駕駛者之疲勞狀態的評估駕駛者之疲勞分數的方法。
於是，本發明評估駕駛者之疲勞分數的方法，藉由一處理模組來實施，該處理模組連接一持續地拍攝駕駛者以獲得多張相關於駕駛者之影像的影像擷取模組，該評估駕駛者之疲勞分數的方法包含一步驟(A)、一步驟(B)、一步驟(C)，以及一步驟(D)。
該步驟(A)是藉由該處理模組，根據該影像擷取模組所擷取的該等影像，獲得一指示出駕駛者之生理狀態的生理資訊。
該步驟(B)是藉由該處理模組，根據該等影像之其中一者，獲得一指示出駕駛者情緒的表情資訊。
該步驟(C)是藉由該處理模組，根據該等影像之其中一者，獲得一指示出駕駛者駕駛行為的行為資訊。
該步驟(D)是藉由該處理模組，根據該生理資訊、該表情資訊及該行為資訊，獲得一指示出駕駛者疲勞程度的疲勞分數。
本發明之功效在於：藉由該影像擷取模組所擷取的該等影像，獲得指示出駕駛者之生理狀態的該生理資訊、該表情資訊及該行為資訊，並根據該生理資訊、該表情資訊及該行為資訊，獲得指示出駕駛者疲勞程度的該疲勞分數，便可根據該疲勞分數判定出駕駛者當前的精神狀況，進而避免事故的發生。
200:通訊網路
1:評估系統
11:通訊模組
12:儲存模組
13:影像擷取模組
14:警示模組
15:處理模組
2:管理端
51、61:步驟
71、81:步驟
511~520:子步驟
518A、518B:子步驟
611、612:子步驟
711~714:子步驟
711A~711H:子步驟
712A~712H:子步驟
713A~713F:子步驟
714A~714F:子步驟
91~94:步驟
本發明的其他的特徵及功效，將於參照圖式的實施方式 中清楚地呈現，其中：圖1是一方塊圖，說明一執行本發明評估駕駛者之疲勞分數的方法之一實施例的評估系統；圖2是一流程圖，說明該實施例的一疲勞分數獲得及警示程序；圖3、4皆是流程圖，配合地說明該疲勞分數獲得及警示程序如何獲得生理資訊的細部流程；圖5是一流程圖，說明該疲勞分數獲得及警示程序如何獲得影像中之駕駛者之胸口部份的細部流程；圖6是一流程圖，說明該疲勞分數獲得及警示程序如何獲得表情資訊的細部流程；圖7是一流程圖，說明該疲勞分數獲得及警示程序如何獲得行為資訊的細部流程；圖8是一流程圖，說明該疲勞分數獲得及警示程序如何獲得眼部疲倦評估結果的細部流程；圖9是一流程圖，說明該疲勞分數獲得及警示程序如何獲得第一疲倦評估結果的細部流程；圖10是一流程圖，說明該疲勞分數獲得及警示程序如何獲得第二疲倦評估結果的細部流程；圖11是一流程圖，說明該疲勞分數獲得及警示程序如何獲得 第三疲倦評估結果的細部流程；及圖12是一流程圖，說明該實施例的一危險駕駛警示程序。
在本發明被詳細描述之前，應當注意在以下的說明內容中，類似的元件是以相同的編號來表示。
參閱圖1，執行本發明評估駕駛者之疲勞分數的方法的評估系統1的一實施例，該評估系統1經由一通訊網路200連接至一管理端2。
該評估系統1包括一連接至該通訊網路200的通訊模組11、一儲存模組12、一影像擷取模組13、一警示模組14，以及一電連接該通訊模組11、該儲存模組12、該影像擷取模組13與該警示模組14的處理模組15。
該儲存模組12儲存有根據多種已知的學習樣本，利用一監督式分類法或一非監督式分群法(例如：類神經網路演算法)所訓練出的多個分類模型，但不以類神經網路演算法為限。其中該等分類模型包含一疲勞程度分類模型、一表情分類模型，以及一駕駛行為分類模型。
該儲存模組12還儲存有根據該生理資訊所包含之每一者所對應的已知的學習樣本所訓練出之對應的一模糊化模型(Fuzzy Model)。
該影像擷取模組13用於持續地拍攝一駕駛者以便連續獲得多張相關於該駕駛者之影像，並用於持續地拍攝該駕駛者以便獲得多張連續的紅外光影像。
在該實施例中，該通訊模組11之實施態樣例如為能透過一無線網路或一藍芽通訊傳送並接收資訊之硬體，但不以此為限。
在該實施例中，該儲存模組12之實施態樣例如為一硬碟或一記憶體，但不以此為限。
在該實施例中，該影像擷取模組13例如包含一攝影機及一紅外線攝影機，但不以此為限。
在該實施例中，該警示模組14之實施態樣例如為一喇叭或一發光裝置，但不以此為限。
在該實施例中，該處理模組15之實施態樣例如為一運算邏輯單元，但不以此為限。
在該實施例中，該管理端2之實施態樣例如為一個人電腦、一伺服器或一雲端主機，但不以此為限。
以下將藉由本發明評估駕駛者之疲勞分數的方法之該實施例來說明該評估系統100之該通訊模組11、該儲存模組12、該影像擷取模組13、該警示模組14、該處理模組15，以及連接該評估系統100之管理端2各元件的運作細節，本發明評估駕駛者之疲勞 分數的方法包含一疲勞分數獲得及警示程序，以及一危險駕駛警示程序。
參閱圖2，該疲勞分數獲得及警示程序係用於獲得一指示出該駕駛者疲勞程度的疲勞分數，並包含一步驟51、一步驟61、一步驟71，以及一步驟81。
在該步驟51中，該處理模組15根據該影像擷取模組13所擷取的該等影像，獲得指示出該駕駛者之生理狀態的生理資訊。其中，該生理資訊至少包含一屬於一時域資訊(Time Domain)的正常竇性心搏間期之標準差(SDNN，Standard Deviation of Normal to Normal)、一屬於一頻域資訊(Frequency Domain)的交感/副交感神經平衡指標(LF/HF Ratio，Low Frequency/High Frequency Ratio)、一可同時屬於該時域資訊及該頻域資訊的心率、一屬於該時域資訊的血壓值，以及一屬於該頻域資訊的呼吸頻率之其中一者。
在該步驟61中，該處理模組15根據該等影像之其中一者，獲得指示出該駕駛者情緒的表情資訊。
在該步驟71中，該處理模組15根據該等影像之其中一者，獲得指示出該駕駛者駕駛行為的行為資訊。其中，該行為資訊至少包含一眼部疲倦評估結果、一第一疲倦評估結果、一第二疲倦評估結果，以及一第三疲倦評估結果之其中一者。
在該步驟81中，該處理模組15根據該生理資訊、該表情資訊，以及該行為資訊，利用預設的該疲勞程度分類模型進行(例如：類神經網路演算法)，以獲得指示出該駕駛者疲勞程度的該疲勞分數。值得特別說明的是，在該實施例中，該處理模組15可僅根據該生理資訊，並利用已訓練完成的該疲勞程度分類模型，獲得該疲勞分數。
特別地，當該疲勞程度分類模型僅根據該生理資訊，獲得該疲勞分數時，表示該疲勞程度分類模型是利用例如該非監督式分群法(例如：類神經網路演算法)，以及對應該生理資訊的訓練資料所訓練出，但不以類神經網路演算法為限。舉例來說，當該生理資訊僅包含該心率及該正常竇性心搏間期之標準差時，則該疲勞程度分類模型係根據該心率及該正常竇性心搏間期之標準差所對應的訓練資料所訓練出。又或者，當該生理資訊僅包含該交感及副交感神經平衡指標時，則該疲勞程度分類模型係根據該交感及副交感神經平衡指標所對應的訓練資料所訓練出。
特別地，當該疲勞程度分類模型僅根據該生理資訊及該表情資訊，獲得該疲勞分數時，表示該疲勞程度分類模型是利用例如該非監督式分群法(例如：類神經網路演算法)，以及對應該生理資訊與該表情資訊兩者的訓練資料所訓練出，但不以類神經網路演算法為限。
特別地，當該疲勞程度分類模型根據該生理資訊、該表情資訊及該行為資訊，獲得該疲勞分數時，表示該疲勞程度分類模型是利用例如該非監督式分群法(例如：類神經網路演算法)，以及對應該生理資訊與該表情資訊與該行為資訊三者的訓練資料所訓練出，但不以類神經網路演算法為限。特別地，該處理模組15還可以藉由判定該疲勞分數是否大於一警示疲勞閥值，產生並傳送一警示訊息至警示模組14，以提醒該駕駛者休息。特別地，該處理模組15還可以透過該通訊模組11將該生理資訊、該表情資訊之外、該行為資訊，以及該疲勞分數傳送至該管理端2，以供管理人員控管紀錄分析。
值得特別說明的是，在該步驟81中，對於包含於該生理資訊的每一者，該處理模組15先利用包含於該生理資訊的該者(例如：該心率)所對應的模糊化模型(例如：相關於該心率的模糊化模型)，獲得包含於該生理資訊的該者所對應的分數(例如：相關於駕駛者之的一心率分數)，接著，利用該監督式分類法或該非監督式分群法(例如：類神經網路演算法)，獲得該疲勞分數。值得特別說明的是，包含於該生理資訊之每一者所對應的模糊化模型係套用類高斯函數模型設計歸屬函數(Membership Function)以獲得各自對應的分數，而在其他實施例中，在利用該監督式分類法或該非監督式分群法獲得被分群或分類的結果後，還利用解模糊化 (Defuzzification)，才獲得該疲勞分數。
參閱圖3、4，值得特別說明的是，該步驟51還進一步包含一子步驟511、一子步驟512、一子步驟513、一子步驟514、一子步驟515、一子步驟516、一子步驟517、一子步驟518、一子步驟519，以及一子步驟520。其中，該子步驟511~該子步驟514用於獲得該正常竇性心搏間期之標準差，該子步驟511~該子步驟513及該子步驟515用於獲得該交感/副交感神經平衡指標，該子步驟511~該子步驟513及該子步驟516用於獲得該心率，該子步驟511~該子步驟513及該子步驟517用於獲得該血壓值，該子步驟518~該子步驟520用於獲得該呼吸頻率。
在該子步驟511中，對於每一影像，該處理模組15根據該影像，獲得該影像中之駕駛者之一臉部區域的一臉部圖像。值得特別說明的是，在該實施例中，該處理模組15係先將該臉部圖像轉灰階，接著，將該臉部圖像的所有灰階值取平均以獲得該臉部圖像所對應的該平均灰階值。其中，該臉部圖像之每一像素的灰階值是例如將影像中的三原色數值(RGB值)以不同權重或一些標準化後數值相加而得，例如可以是R*0.299+G*0.587+B*0.114，其中R為紅色數值、G為綠色數值、B為藍色數值，但不以此為限。而在例如為IR影像時，更可以視需求或影像特性來調整所取用該臉部圖像之每一像素的三原色數值或灰階強度值。值的特別說明的是， 在該實施例中，該臉部區域為該影像中之駕駛者的臉頰區域。
在該子步驟512中，該處理模組15根據每一張影像之該臉部圖像所對應的該平均灰階值，獲得一相關於該駕駛者之心跳的光體積變化描記圖訊號(PPG，Photoplethysmography)。
在該子步驟513中，該處理模組15根據該光體積變化描記圖訊號，獲得一相關於該駕駛者之心跳的時域波形圖。值得特別說明的是，隨著心跳的變化，臉部血液流動也隨著心跳在變化，這種血液流動就會引起臉部顏色的變化，藉由此原理即可根據每一張影像之臉部圖像的平均灰階值的變化來獲得該駕駛者之心跳的變化。
在該子步驟514中，該處理模組15根據該子步驟513所獲得之該時域波形圖中之每一組相鄰波峰之間距，獲得包含於該生理資訊的該正常竇性心搏間期之標準差。值得特別說明的是，於此步驟中是先將過小之波峰(亦即，雜訊)去除後，才獲得每一組相鄰波峰之間距。值得特別說明的是，該正常竇性心搏間期之標準差可由該時域波形圖獲得，因此，該正常竇性心搏間期之標準差屬於該時域資訊。
在該子步驟515中，該處理模組15將該步驟513所獲得之該時域波形圖利用一傅立葉頻譜轉換(PSD，power spectral density)之Lomb-Scargle Periodogram方法，獲得包含於該生 理資訊的該交感/副交感神經平衡指標。特別地，交感與副交感神經活性指標(LF)指低頻範圍(0.04-0.15Hz)的正常心跳間期的變異數，而副交感神經活性指標(HF)指高頻範圍(0.15-0.4Hz)的正常心跳間期的變異數。值得特別說明的是，在該實施例中，該處理模組15將該傅立葉頻譜轉換所獲得之譜密度中對應於0.04-0.15Hz範圍進行積分以求得對應於0.04-0.15Hz範圍之面積，即可獲得交感與副交感神經活性指標。此外，該處理模組15將該傅立葉頻譜轉換所獲得之譜密度中對應於0.15-0.4Hz範圍進行積分以求得對應於0.15-0.4Hz範圍之面積，即可獲得副交感神經活性指標。值得特別說明的是，該交感/副交感神經平衡指標需將該時域波形圖轉成該頻域資訊而獲得，因此，該生理資訊的該交感/副交感神經平衡指標屬於該頻域資訊。
在該子步驟516中，該處理模組15根據該步驟513所獲得之該時域波形圖，獲得包含於該生理資訊的該心率。值得特別說明的是，在該實施例中，該處理模組15根據該時域波形圖，獲得於一段時間區間內的心跳次數後，再根據該時間區間內的心跳次數推算出一分鐘的心跳次數(亦即，心率)。值得特別說明的是，該心率亦可透過將該時域波形圖利用該傅立葉頻譜轉換，先獲得每一心跳次數對應之出現頻率且屬於該頻域資訊的一關係圖，再由該關係圖獲得該心率。因此，該心率可同時屬於該時域資訊及該頻域資訊。
在該子步驟517中，該處理模組15根據該步驟513所獲得之該時域波形圖，獲得包含於該生理資訊的該血壓值(收縮壓與舒張壓)。值得特別說明的是，該子步驟511~該子步驟513及該子步驟517所述之獲得該血壓值的技術細節，可參考一由Po-Wei Huang等人發表於電機電子工程師學會(IEEE，Institute of Electrical and Electronics Engineers)之「基於圖像之非接觸式血壓評估方法(Image Based Contactless Blood Pressure Assessment using Pulse Transit Time)」此篇論文，但不以此為限。值得特別說明的是，該血壓值可由該時域波形圖之特徵換算獲得，因此，該血壓值屬於該時域資訊。
在該子步驟518中，對於每一張影像，該處理模組15根據該影像，獲得該張影像中之駕駛者之一胸口部份。
參閱圖5，值得特別說明的是，該子步驟518還進一步包含一子步驟518A，以及一子步驟518B。
在該子步驟518A中，對於每一張影像，該處理模組15根據該影像，獲得該影像中之駕駛者之一臉部部分。
在該子步驟518B中，對於每一張影像，該處理模組15根據該影像中之該臉部部分，利用一特徵點匹配演算法(SURF，Speeded Up Robust Features)，獲得每一影像中之駕駛者的胸口部分。
在該子步驟519中，該處理模組15根據該等影像中之胸口部份，利用一光流法(optical flow)追蹤該等影像中之胸口部份，以獲得相關於該等影像之胸口部分於一時間區間內的一胸口起伏軌跡。
在該子步驟520中，該處理模組15根據該胸口起伏軌跡，獲得一包含於該生理資訊的呼吸頻率。值得特別說明的是，在該實施例中，該處理模組15根據該時間區間內的該胸口起伏軌跡，獲得一於相關於該時間區間內之該胸口起伏軌跡的另一時域波形圖，再利用該傅立葉頻譜轉換，獲得每一呼吸次數對應之出現頻率且屬於該頻域資訊的另一關係圖，再根據該另一關係圖獲得該呼吸頻率。因此，該呼吸頻率屬於該頻域資訊。
參閱圖6，值得特別說明的是，該步驟61還進一步包含一子步驟611，以及一子步驟612。
在該子步驟611中，該處理模組15根據該影像擷取模組所擷取的該等影像中之最後一張影像(亦即，當前影像)，獲得該最後一張影像中之駕駛者的臉部部分。
在該子步驟612中，該處理模組15利用預設的該表情分類模型進行一類神經演算法，以獲得對應於該最後一張影像且相關於該駕駛者之表情，並包括一生氣分數、一厭惡分數、一害怕分數、一高興分數、一傷心分數，及一驚訝分數的表情資訊。值得特別 說明的是，該表情資訊獲得程序之技術細節可參考一由BING-FEI WU等人發表於電機電子工程師學會(IEEE，Institute of Electrical and Electronics Engineers)之「基於深度學習的臉部表情辨識模型(Adaptive Feature Mapping for Customizing Deep Learning Based Facial Expression Recognition Model)」此篇論文，但不以此為限。
參閱圖7，值得特別說明的是，該步驟71還進一步包含一子步驟711、一子步驟712、一子步驟713，以及一子步驟714。其中，該子步驟711用於獲得該眼部疲倦評估結果，該子步驟712用於獲得該第一疲倦評估結果，該子步驟713用於獲得該第二疲倦評估結果，該子步驟714用於獲得該第三疲倦評估結果。
在該子步驟711中，該處理模組15根據該影像擷取模組所擷取的該等影像中之最後一張影像，獲得包含於該行為資訊的該眼部疲倦評估結果。
參閱圖8，值得特別說明的是，該子步驟711還進一步包含一子步驟711A、一子步驟711B、一子步驟711C、一子步驟711D、一子步驟711E、一子步驟711F、一子步驟711G，以及一子步驟711H。
在該子步驟711A中，該處理模組15根據該影像擷取模組所擷取的該等影像中之最後一張影像，獲得該最後一張影像中之駕 駛者的臉部部分。
在該子步驟711B中，該處理模組15判定該最後一張影像中之駕駛者的臉部部分是否指示出該駕駛者為閉眼。當該處理模組15判定該最後一張影像中之駕駛者的臉部部分指示出該駕駛者為閉眼時，進行流程子步驟711C；當該處理模組15判定該最後一張影像中之駕駛者的臉部部分指示出該駕駛者為開眼時，進行流程子步驟711F。
在該子步驟711C中，該處理模組15判定其是否已啟動計時。當該處理模組15判定已啟動計時時，進行流程子步驟711D；當該處理模組15判定其未啟動計時時，進行流程子步驟711E。
在該子步驟711D中，該處理模組15根據當前的計時結果輸出包含於該行為資訊且指示出該駕駛者眼睛疲倦程度的該眼部疲倦評估結果。值得特別說明的是，在該子步驟711D中，該處理模組15會先判定當前的計時結果是否超過預設的一閉眼時間，當當前的計時結果超過該閉眼時間時，即表示閉眼時間過長，則該處理模組15所傳送的該眼部疲倦評估結果指示出該駕駛者眼睛疲倦程度較高，而當當前的計時結果未超過預設的該閉眼時間時，則該處理模組15所傳送的該眼部疲倦評估結果指示出該駕駛者眼睛疲倦程度較低。
在該子步驟711E中，該處理模組15啟動計時，且輸出預 設的該眼部疲倦評估結果，並回到流程子步驟711A。值得一提的是，由於輸入至該疲勞程度分類模型的輸入參數不可以為空(NULL)，因而，在本實施例的子步驟711E中，該處理模組15會將該眼部疲倦評估結果預設為指示出該駕駛者眼睛疲倦程度較低，以供後續進行類神經網路演算；然而，在其他實施方式中，該處理模組15亦可將該眼部疲倦評估結果預設為指示出該駕駛者眼睛疲倦程度中等或較高，並不以此為限。
在該子步驟711F中，該處理模組15判定其是否已啟動計時。當該處理模組15判定已啟動計時時，進行流程子步驟711G；當該處理模組15判定其未啟動計時時，進行流程子步驟711H。
在該子步驟711G中，該處理模組15根據當前的計時結果輸出包含於該行為資訊且指示出該駕駛者眼睛疲倦程度的該眼部疲倦評估結果。值得特別說明的是，在該子步驟711G中，該處理模組15會先關閉計時，以獲得一指示出該駕駛者閉眼至睜眼的第一時間長度，隨後將計時重設為初值(例如：初值為0)，並根據該第一時間長度獲得一相關於該駕駛者的眨眼頻率，接著，該處理模組15判定該眨眼頻率是否超過預設的一眨眼頻率閥值，當該眨眼頻率超過該眨眼頻率閥值時，則該處理模組15所傳送的該眼部疲倦評估結果指示出該駕駛者眼睛疲倦程度較高，當該眨眼頻率未超過該眨眼頻率閥值時，則該處理模組15所傳送的該眼部疲倦評估結果指 示出該駕駛者眼睛疲倦程度較低。
在該子步驟711H中，該處理模組輸出預設的該眼部疲倦評估結果，並回到流程子步驟711A。在本實施例的子步驟711H中，該處理模組15會將該眼部疲倦評估結果預設為指示出該駕駛者眼睛疲倦程度較低，以供後續進行類神經網路演算；然而，在其他實施方式中，該處理模組15亦可將該眼部疲倦評估結果預設為指示出該駕駛者眼睛疲倦程度中等或較高，並不以此為限。
在該子步驟712中，該處理模組15根據該影像擷取模組所擷取的該等影像中之最後一張影像，獲得包含於該行為資訊的該第一疲倦評估結果。
參閱圖9，值得特別說明的是，該子步驟712還進一步包含一子步驟712A、一子步驟712B、一子步驟712C、一子步驟712D、一子步驟712E、一子步驟712F、一子步驟712G，以及一子步驟712H。
在該子步驟712A中，該處理模組15根據該影像擷取模組所擷取的該等影像中之最後一張影像，獲得該最後一張影像中之駕駛者的臉部部分。
在該子步驟712B中，該處理模組15判定該最後一張影像中之該駕駛者的臉部部分所指示出該駕駛者之一低頭角度是否大於一角度預設值。當該處理模組15判定該最後一張影像中之低頭角 度大於該角度預設值時，進行流程子步驟712C；當該處理模組15判定該最後一張影像中之低頭角度未大於該角度預設值時，進行流程子步驟712F。值得特別說明的是，該低頭角度係為後腦杓與一平行頸椎之假想線的夾角。
在該子步驟712C中，該處理模組15判定其是否已啟動計時。當該處理模組15判定已啟動計時時，進行流程子步驟712D；當該處理模組15判定其未啟動計時時，進行流程子步驟712E。
在該子步驟712D中，該處理模組15根據當前的計時結果輸出包含於該行為資訊且指示出該駕駛者疲倦程度的該第一疲倦評估結果。值得特別說明的是，在該子步驟712D中，該處理模組15會先判定當前的計時結果是否超過預設的一低頭時間，當當前的計時結果超過該低頭時間時，即表示低頭時間過長，則該處理模組15所傳送的該第一疲倦評估結果指示出該駕駛者疲倦程度較高，而當當前的計時結果未超過預設的該低頭時間時，則該處理模組15所傳送的該第一疲倦評估結果指示出該駕駛者疲倦程度較低。
在該子步驟712E中，該處理模組15啟動計時，且輸出預設的該第一疲倦評估結果，並回到流程子步驟712A。值得一提的是，由於輸入至該疲勞程度分類模型的輸入參數不可以為空(NULL)，因而，在本實施例的子步驟712E中，該處理模組15會將該第一疲倦評估結果預設為指示出該駕駛者疲倦程度較低，以供 後續進行類神經網路演算；然而，在其他實施方式中，該處理模組15亦可將該第一疲倦評估結果預設為指示出該駕駛者疲倦程度中等或較高，並不以此為限。
在該子步驟712F中，該處理模組15判定其是否已啟動計時。當該處理模組15判定已啟動計時時，進行流程子步驟712G；當該處理模組15判定其未啟動計時時，進行流程子步驟712H。
在該子步驟712G中，該處理模組15根據當前的計時結果輸出包含於該行為資訊且指示出該駕駛者疲倦程度的該第一疲倦評估結果。值得特別說明的是，在該子步驟712G中，該處理模組15會先關閉計時，以獲得一指示出該駕駛者低頭至抬頭的第二時間長度，隨後將計時重設為初值(例如：初值為0)，並根據該第二時間長度獲得一相關於該駕駛者的點頭頻率，接著，該處理模組15判定該點頭頻率是否超過預設的一點頭頻率閥值，當該點頭頻率超過該點頭頻率閥值時，則該處理模組15所傳送的該第一疲倦評估結果指示出該駕駛者疲倦程度較高，當該點頭頻率未超過該點頭頻率閥值時，則該處理模組15所傳送的該第一疲倦評估結果指示出該駕駛者疲倦程度較低。
在該子步驟712H中，該處理模組輸出預設的該第一疲倦評估結果，並回到流程子步驟712A。在本實施例的子步驟712H中，該處理模組15會將該第一疲倦評估結果預設為指示出該駕駛者 疲倦程度較低，以供後續進行類神經網路演算；然而，在其他實施方式中，該處理模組15亦可將該第一疲倦評估結果預設為指示出該駕駛者疲倦程度中等或較高，並不以此為限。
在該子步驟713中，該處理模組15根據該影像擷取模組所擷取的該等影像中之最後一張影像，獲得包含於該行為資訊的該第二疲倦評估結果。
參閱圖10，值得特別說明的是，該步驟713還進一步包含一子步驟713A、一子步驟713B、一子步驟713C、一子步驟713D、一子步驟713E，以及一子步驟713F。
在該子步驟713A中，該處理模組15根據該影像擷取模組所擷取的該等影像中之最後一張影像，獲得該最後一張影像中之駕駛者的臉部部分及手部部分。
在該子步驟713B中，該處理模組15根據該最後一張影像中之駕駛者的臉部部分及手部部分，判定該駕駛者是否張開嘴巴。當該處理模組15判定該駕駛者張開嘴巴時，進行流程子步驟713C；當該處理模組15判定該駕駛者未張開嘴巴時，進行流程子步驟713F。值得特別說明的是，該處理模組15是藉由判定該最後一張影像中之駕駛者的臉部部分是否指示出該駕駛者開口，或該最後一張影像的臉部部分所指示出之該駕駛者嘴部部分是否與該最後一張影像的手部部分之重疊面積大於預設的一第一重疊面積閥 值，以判定該駕駛者是否張開嘴巴。當該處理模組15判定該最後一張影像中之駕駛者的臉部部分指示出該駕駛者開口，或該最後一張影像的嘴部部分與手部部分之重疊面積大於該第一重疊面積閥值時，則判定該駕駛者張開嘴巴；當該處理模組15判定該最後一張影像中之駕駛者的臉部部分並未指示出該駕駛者開口，或該最後一張影像的嘴部部分與手部部分之重疊面積不大於該第一重疊面積閥值時，則判定該駕駛者未張開嘴巴。
在該子步驟713C中，該處理模組15判定其是否已啟動計時。當該處理模組15判定已啟動計時時，進行流程子步驟713D；當該處理模組15判定其未啟動計時時，進行流程子步驟713E。
在該子步驟713D中，該處理模組15根據當前的計時結果輸出包含於該行為資訊且指示出該駕駛者疲倦程度的該第二疲倦評估結果。值得特別說明的是，在該子步驟713D中，該處理模組15會先判定當前的計時結果是否超過預設的一打哈欠時間，當當前的計時結果超過該打哈欠時間時，則該處理模組15所傳送的該第二疲倦評估結果指示出該駕駛者正在打哈欠，並且將計時重設為初值(例如：初值為0)，而當當前的計時結果未超過預設的該打哈欠時間時，則該處理模組15所傳送的該第二疲倦評估結果指示出該駕駛者未正在打哈欠。
在該子步驟713E中，該處理模組15啟動計時，且輸出預 設的該第二疲倦評估結果，並回到流程子步驟713A。值得一提的是，由於輸入至該疲勞程度分類模型的輸入參數不可以為空(NULL)，因而，在本實施例的子步驟713E中，該處理模組15會將該第二疲倦評估結果預設為指示出該駕駛者未正在打哈欠，以供後續進行類神經網路演算；然而，在其他實施方式中，該處理模組15亦可將該第二疲倦評估結果預設為指示出該駕駛者正在打哈欠，並不以此為限。
在該子步驟713F中，該處理模組15輸出包含於該行為資訊且指示出該駕駛者疲倦程度之預設的該第二疲倦評估結果，並回到流程子步驟713A。由於在該子步驟713F中，該處理模組15判定該駕駛者未張開嘴巴，因此該第二疲倦評估結果指示出該駕駛者未正在打哈欠。
在該子步驟714中，該處理模組15根據該影像擷取模組所擷取的該等影像中之最後一張影像，獲得包含於該行為資訊的該第三疲倦評估結果。
參閱圖11，值得特別說明的是，該步驟714還進一步包含一子步驟714A、一子步驟714B、一子步驟714C、一子步驟714D、一子步驟714E，以及一子步驟714F。
在該子步驟714A中，該處理模組15根據該影像擷取模組所擷取的該等影像中之最後一張影像，獲得該最後一張影像中之駕 駛者的臉部部分及手部部分。
在該子步驟714B中，該處理模組15根據該最後一張影像中之駕駛者的臉部部分及手部部分，判定該駕駛者之手部是否鄰近眼部。當該處理模組15判定該駕駛者之手部鄰近眼部時，進行流程子步驟714C；當該處理模組15判定該駕駛者之手部未鄰近眼部時，進行流程子步驟714F。值得特別說明的是，該處理模組15是藉由判定該最後一張影像的臉部部分所指示出之該駕駛者眼部部分是否與該最後一張影像的手部部分之重疊面積大於預設的一第二重疊面積閥值，以判定該駕駛者之手部是否鄰近眼部。當該處理模組15判定該最後一張影像的眼部部分與手部部分之重疊面積大於該第二重疊面積閥值時，則判定該駕駛者之手部鄰近眼部；當該處理模組15判定該最後一張影像的眼部部分與手部部分之重疊面積不大於該第二重疊面積閥值時，則判定該駕駛者之手部未鄰近眼部。
在該子步驟714C中，該處理模組15判定其是否已啟動計時。當該處理模組15判定已啟動計時時，進行流程子步驟714D；當該處理模組15判定其未啟動計時時，進行流程子步驟714E。
在該子步驟714D中，該處理模組15根據當前的計時結果輸出包含於該行為資訊且指示出該駕駛者疲倦程度的該第三疲倦評估結果。值得特別說明的是，在該子步驟714D中，該處理模組 15會先判定當前的計時結果是否超過預設的一揉眼時間，當當前的計時結果超過該揉眼時間時，則該處理模組15所傳送的該第三疲倦評估結果指示出該駕駛者正在揉眼，並且將計時重設為初值(例如：初值為0)，而當當前的計時結果未超過預設的該揉眼時間時，則該處理模組15所傳送的該第三疲倦評估結果指示出該駕駛者未正在揉眼。
在該子步驟714E中，該處理模組15啟動計時，且輸出預設的該第三疲倦評估結果，並回到流程子步驟714A。值得一提的是，由於輸入至該疲勞程度分類模型的輸入參數不可以為空(NULL)，因而，在本實施例的子步驟714E中，該處理模組15會將該第三疲倦評估結果預設為指示出該駕駛者未正在揉眼，以供後續進行類神經網路演算；然而，在其他實施方式中，該處理模組15亦可將該第三疲倦評估結果預設為指示出該駕駛者正在揉眼，並不以此為限。
在該子步驟714F中，該處理模組15輸出包含於該行為資訊且指示出該駕駛者疲倦程度之預設的該第三疲倦評估結果，並回到流程子步驟713A。由於在該子步驟714F中，該處理模組15判定該駕駛者之手部未鄰近眼部，因此該第三疲倦評估結果指示出該駕駛者未正在揉眼。
參閱圖12，該危險駕駛警示程序係根據該影像擷取模組 所擷取的該等影像中之最後一張影像判定該駕駛者是否為危險駕駛以發出警示，該危險駕駛警示程序包含一步驟91、一步驟92、一步驟93，以及一步驟94。
在該步驟91中，對於該影像擷取模組所擷取的每一張影像，該處理模組15利用預先建立的該駕駛行為分類模型，進行一類神經網路演算法，以獲得對應於該影像之多個對應於該駕駛者之多個不同駕駛行為的信心分數。值得特別說明的是，該等駕駛行為包含一正常駕駛狀態、一使用手機狀態、一飲食狀態，以及一轉身俯身取物狀態。
在該步驟92中，對於每一信心分數，該處理模組15根據每一影像的該信心分數於一預設期間的一變化量，輸出一相關於該駕駛者之駕駛行為的駕駛行為結果。得特別說明的是，每一影像的該信心分數於該預設期間所對應的該變化量若大於一預設的變化量閥值，則輸出該信心分數所對應的駕駛行為，作為該駕駛行為結果。
在該步驟93中，該處理模組15判定該駕駛行為結果是否為該正常駕駛狀態。當該處理模組15判定該駕駛行為結果為該正常駕駛狀態時，進行流程步驟91；當該處理模組15判定該駕駛行為結果不為該正常駕駛狀態時，進行流程步驟94。
在該步驟94中，該處理模組15產生並傳送另一警示訊息 至該警示模組14，以提醒該駕駛者專心開車。
綜上所述，本發明評估駕駛者之疲勞分數的方法，藉由該處理模組15根據該影像擷取模組13所擷取到的該等影像獲得該生理資訊、該表情資訊，以及該行為資訊，並利用類神經網路所訓練出之該疲勞程度分類模型進行分類，以獲得指示出該駕駛者疲勞程度的該疲勞分數，便可根據該疲勞分數判定出該駕駛者當前的精神狀況，除此之外，該處理模組15還可根據該影像擷取模組13所擷取到的該等影像，獲得該駕駛行為結果，判定該駕駛者是否處於危險駕駛狀態例如：正在手用手機，以提醒該駕駛者休息或專心開車，進而避免事故的發生。因此，故確實能達成本發明的目的。
惟以上所述者，僅為本發明的實施例而已，當不能以此限定本發明實施的範圍，凡是依本發明申請專利範圍及專利說明書內容所作的簡單的等效變化與修飾，皆仍屬本發明專利涵蓋的範圍內。
51:步驟
61:步驟
71:步驟
81:步驟

Claims (4)

  1. 一種評估駕駛者之疲勞分數的方法，藉由一處理模組來實施，該處理模組連接一持續地拍攝駕駛者以獲得多張相關於駕駛者之影像的影像擷取模組，該評估駕駛者之疲勞分數的方法包含以下步驟：(A)藉由該處理模組，根據該影像擷取模組所擷取的該等影像，獲得一指示出駕駛者之生理狀態的生理資訊，該生理資訊係屬於一時域資訊，該步驟(A)包含以下步驟，(A-1)對於每一影像，藉由該處理模組，根據該影像，獲得該張影像中之駕駛者之一臉部區域的一臉部圖像，(A-2)藉由該處理模組，根據每一張影像的該臉部圖像，獲得一相關於駕駛者之心跳的時域波形圖，及(A-3)藉由該處理模組，根據該時域波形圖，獲得相關於駕駛者之心跳且包含於該生理資訊的一心率，及一正常竇性心搏間期之標準差；(B)藉由該處理模組，根據該等影像之其中一者，獲得一指示出駕駛者情緒的表情資訊；(C)藉由該處理模組，根據該等影像之其中一者，獲得一指示出駕駛者駕駛行為的行為資訊；以及(D)藉由該處理模組，根據該生理資訊、該表情資訊及該行為資訊，獲得一指示出駕駛者疲勞程度的疲勞分數，該步驟(D)包含以下步驟， (D-1)藉由該處理模組，根據該生理資訊中的該心率，利用一相關於心率的模糊化模型，獲得相關於駕駛者的一心率分數，(D-2)藉由該處理模組，根據該生理資訊中的該正常竇性心搏間期之標準差，利用一相關於正常竇性心搏間期之標準差的模糊化模型，獲得相關於駕駛者的一正常竇性心搏間期之標準差分數，及(D-3)藉由該處理模組，根據該心率分數及該正常竇性心搏間期之標準差分數，利用一相關於該心率、該正常竇性心搏間期之標準差、該表情資訊及該行為資訊的疲勞程度分類模型，獲得指示出駕駛者疲勞程度的該疲勞分數。
  2. 一種評估駕駛者之疲勞分數的方法，藉由一處理模組來實施，該處理模組連接一持續地拍攝駕駛者以獲得多張相關於駕駛者之影像的影像擷取模組，該評估駕駛者之疲勞分數的方法包含以下步驟：(A)藉由該處理模組，根據該影像擷取模組所擷取的該等影像，獲得一指示出駕駛者之生理狀態的生理資訊，該生理資訊係屬於一頻域資訊，該步驟(A)包含以下步驟，(A-1)對於每一影像，藉由該處理模組，根據該影像，獲得該張影像中之駕駛者之一臉部區域的一臉部圖像，(A-2)藉由該處理模組，根據每一張影像的該臉部圖像，獲得一相關於駕駛者之心跳的時域波形圖， 及(A-3)藉由該處理模組，根據該時域波形圖，利用一傅立葉頻譜轉換，獲得包含於該生理資訊的一交感及副交感神經平衡指標；(B)藉由該處理模組，根據該等影像之其中一者，獲得一指示出駕駛者情緒的表情資訊；(C)藉由該處理模組，根據該等影像之其中一者，獲得一指示出駕駛者駕駛行為的行為資訊；以及(D)藉由該處理模組，根據該生理資訊、該表情資訊及該行為資訊，獲得一指示出駕駛者疲勞程度的疲勞分數，該步驟(D)包含以下步驟，(D-1)藉由該處理模組，根據該生理資訊中的該交感及副交感神經平衡指標，利用一相關於交感及副交感神經平衡指標的模糊化模型，獲得相關於駕駛者的一交感及副交感神經平衡指標分數，及(D-2)藉由該處理模組，根據該交感及副交感神經平衡指標分數，利用一相關於該交感及副交感神經平衡指標、該表情資訊及該行為資訊的疲勞程度分類模型，獲得指示出駕駛者疲勞程度的該疲勞分數。
  3. 如請求項1或2所述的評估駕駛者之疲勞分數的方法，其中，該步驟(A-2)包含以下步驟：(A-2-1)藉由該處理模組，根據每一張影像的該臉部圖像，獲得一光體積變化描記圖訊號；及(A-2-2)藉由該處理模組，根據該光體積變化描記圖 訊號，獲得該時域波形圖。
  4. 如請求項1或2所述的評估駕駛者之疲勞分數的方法，其中，該步驟(B)包含以下步驟：(B-1)藉由該處理模組，根據該影像擷取模組所擷取的該等影像中之最後一張影像，獲得該最後一張影像中之駕駛者的臉部部分；及(B-2)藉由該處理模組，透過一預設的表情分類模型，獲得對應於該最後一張影像之駕駛者的臉部部分之表情的表情資訊，且該表情資訊包括一生氣分數、一厭惡分數、一害怕分數、一高興分數、一傷心分數，及一驚訝分數。
TW108112128A 2019-04-08 2019-04-08 評估駕駛者之疲勞分數的方法 TWI715958B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW108112128A TWI715958B (zh) 2019-04-08 2019-04-08 評估駕駛者之疲勞分數的方法
CN201910708449.6A CN111797662A (zh) 2019-04-08 2019-08-01 评估驾驶者的疲劳分数的方法
US16/559,358 US11315350B2 (en) 2019-04-08 2019-09-03 Method for assessing driver fatigue

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW108112128A TWI715958B (zh) 2019-04-08 2019-04-08 評估駕駛者之疲勞分數的方法

Publications (2)

Publication Number Publication Date
TW202038187A TW202038187A (zh) 2020-10-16
TWI715958B true TWI715958B (zh) 2021-01-11

Family

ID=72663511

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108112128A TWI715958B (zh) 2019-04-08 2019-04-08 評估駕駛者之疲勞分數的方法

Country Status (3)

Country Link
US (1) US11315350B2 (zh)
CN (1) CN111797662A (zh)
TW (1) TWI715958B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021003172A1 (en) * 2019-06-30 2021-01-07 Moment Ai, Inc. Facial recognition and monitoring device, system, and method
FR3100640B1 (fr) * 2019-09-10 2021-08-06 Faurecia Interieur Ind Procédé et dispositif de détection de bâillements d’un conducteur d’un véhicule
CN112287818A (zh) * 2020-10-28 2021-01-29 白彧 一种智能车载驾驶员辅助系统及其工作方法
CN112528792B (zh) * 2020-12-03 2024-05-31 深圳地平线机器人科技有限公司 疲劳状态检测方法、装置、介质及电子设备
CN113033503A (zh) * 2021-05-14 2021-06-25 哈尔滨理工大学 一种多特征融合的危险驾驶行为检测方法及系统
CN113469023A (zh) * 2021-06-28 2021-10-01 北京百度网讯科技有限公司 确定警觉度的方法、装置、设备和存储介质
CN113415286B (zh) * 2021-07-14 2022-09-16 重庆金康赛力斯新能源汽车设计院有限公司 路怒检测方法和设备
CN113642522B (zh) * 2021-09-01 2022-02-08 中国科学院自动化研究所 基于音视频的疲劳状态检测方法和装置
WO2023037348A1 (en) * 2021-09-13 2023-03-16 Benjamin Simon Thompson System and method for monitoring human-device interactions
CN114241719B (zh) * 2021-12-03 2023-10-31 广州宏途数字科技有限公司 一种学生学习中视觉疲劳状态监测方法、装置及存储介质
CN116645658B (zh) * 2023-04-28 2024-06-21 重庆赛力斯凤凰智创科技有限公司 驾驶员动作幅度监测方法、系统、计算机设备和存储介质
CN117576668B (zh) * 2024-01-17 2024-04-05 江西科技学院 基于视频帧的多特征感知驾驶疲劳状态检测方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104508719A (zh) * 2012-07-17 2015-04-08 日产自动车株式会社 驾驶辅助系统以及驾驶辅助方法
TWM564431U (zh) * 2018-04-25 2018-08-01 國立交通大學 非接觸式心跳量測裝置
US10118487B1 (en) * 2014-05-05 2018-11-06 State Farm Mutual Automobile Insurance Company System and method to monitor and alert vehicle operator of impairment
CN109334406A (zh) * 2018-09-25 2019-02-15 吉利汽车研究院（宁波）有限公司 一种用于缓解驾驶疲劳的智能车载香氛系统

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110077548A1 (en) * 2004-04-01 2011-03-31 Torch William C Biosensors, communicators, and controllers monitoring eye movement and methods for using them
JP4487633B2 (ja) * 2004-05-24 2010-06-23 日産自動車株式会社 車両内コミュニケーション装置
JP4375420B2 (ja) * 2007-03-26 2009-12-02 株式会社デンソー 眠気警報装置、及びプログラム
US20140276090A1 (en) * 2011-03-14 2014-09-18 American Vehcular Sciences Llc Driver health and fatigue monitoring system and method using optics
US8725311B1 (en) * 2011-03-14 2014-05-13 American Vehicular Sciences, LLC Driver health and fatigue monitoring system and method
DE112014000934T5 (de) * 2013-02-21 2016-01-07 Iee International Electronics & Engineering S.A. Bildgebungsgestütztes Insassenüberwachungssystem mit breit gefächerter Funktionsunterstützung
US9751534B2 (en) * 2013-03-15 2017-09-05 Honda Motor Co., Ltd. System and method for responding to driver state
CN103714660B (zh) * 2013-12-26 2017-02-08 苏州清研微视电子科技有限公司 基于图像处理融合心率特征与表情特征实现疲劳驾驶判别的系统
CN103824420B (zh) * 2013-12-26 2016-12-07 苏州清研微视电子科技有限公司 基于心率变异性非接触式测量的疲劳驾驶识别系统
US11540780B2 (en) * 2015-12-23 2023-01-03 Koninklijke Philips N.V. Device, system and method for determining a vital sign of a person
CN105719431A (zh) 2016-03-09 2016-06-29 深圳市中天安驰有限责任公司 一种疲劳驾驶检测系统
US10328946B2 (en) * 2017-01-03 2019-06-25 Ge Global Sourcing Llc Alerter augmentation system
US11065958B2 (en) * 2017-01-03 2021-07-20 Transportation Ip Holdings, Llc Control system and method
US20190077409A1 (en) * 2017-07-31 2019-03-14 Alcohol Countermeasure Systems (International) Inc. Non-intrusive assessment of fatigue in drivers using eye tracking
TWM557690U (zh) * 2017-09-15 2018-04-01 Horn Enterprise Co Ltd 疲勞駕駛監測裝置
CN109460703B (zh) * 2018-09-14 2022-03-29 华南理工大学 一种基于心率和面部特征的非侵入式疲劳驾驶识别方法
CN109559481A (zh) * 2018-12-13 2019-04-02 平安科技（深圳）有限公司 驾驶风险智能识别方法、装置、计算机设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104508719A (zh) * 2012-07-17 2015-04-08 日产自动车株式会社 驾驶辅助系统以及驾驶辅助方法
US10118487B1 (en) * 2014-05-05 2018-11-06 State Farm Mutual Automobile Insurance Company System and method to monitor and alert vehicle operator of impairment
TWM564431U (zh) * 2018-04-25 2018-08-01 國立交通大學 非接觸式心跳量測裝置
CN109334406A (zh) * 2018-09-25 2019-02-15 吉利汽车研究院（宁波）有限公司 一种用于缓解驾驶疲劳的智能车载香氛系统

Also Published As

Publication number Publication date
CN111797662A (zh) 2020-10-20
US11315350B2 (en) 2022-04-26
US20200320319A1 (en) 2020-10-08
TW202038187A (zh) 2020-10-16

Similar Documents

Publication Publication Date Title
TWI715958B (zh) 評估駕駛者之疲勞分數的方法
EP3600040B1 (en) Determining emotions using camera-based sensing
US10813559B2 (en) Detecting respiratory tract infection based on changes in coughing sounds
KR101738278B1 (ko) 영상을 이용한 감정 인식 방법
US11154203B2 (en) Detecting fever from images and temperatures
Yan et al. Real-time driver drowsiness detection system based on PERCLOS and grayscale image processing
US20210280322A1 (en) Wearable-based certification of a premises as contagion-safe
US10791938B2 (en) Smartglasses for detecting congestive heart failure
US20210345888A1 (en) Detecting alcohol intoxication from video images
CN109993093A (zh) 基于面部和呼吸特征的路怒监测方法、系统、设备及介质
CN109460703B (zh) 一种基于心率和面部特征的非侵入式疲劳驾驶识别方法
WO2018218839A1 (zh) 一种活体识别方法和系统
US11328533B1 (en) System, method and apparatus for detecting facial expression for motion capture
US11127181B2 (en) Avatar facial expression generating system and method of avatar facial expression generation
Nie et al. SPIDERS: Low-cost wireless glasses for continuous in-situ bio-signal acquisition and emotion recognition
KR20210001486A (ko) 얼굴 영상 이미지를 이용하여 사용자의 건강 지표를 측정하는 방법 및 그를 이용한 장치
Lee et al. Multi-classifier for highly reliable driver drowsiness detection in Android platform
CN113040773A (zh) 一种数据采集处理方法
EP3956748B1 (en) Headset signals to determine emotional states
CN111803031A (zh) 一种非接触式吸毒人员复吸监测方法及系统
KR20200061016A (ko) 얼굴 피부 영상을 이용한 우울증 지수 측정 및 진단 방법
Jaiswal et al. Color space analysis for improvement in rPPG
US20230210423A1 (en) Healthcare apparatus for calculating stress index
Hwang User Recognition System Based on PPG Signal
Garg et al. Non-Contact Based Method for Heart Rate Estimation and Attention Monitoring