TWI758665B - 狀態辨識系統與方法 - Google Patents

狀態辨識系統與方法 Download PDF

Info

Publication number
TWI758665B
TWI758665B TW108144576A TW108144576A TWI758665B TW I758665 B TWI758665 B TW I758665B TW 108144576 A TW108144576 A TW 108144576A TW 108144576 A TW108144576 A TW 108144576A TW I758665 B TWI758665 B TW I758665B
Authority
TW
Taiwan
Prior art keywords
subject
identification
neural network
drink
convolutional neural
Prior art date
Application number
TW108144576A
Other languages
English (en)
Other versions
TW202122031A (zh
Inventor
張振豪
李欣翰
馬德芸
Original Assignee
國立中興大學
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 國立中興大學 filed Critical 國立中興大學
Priority to TW108144576A priority Critical patent/TWI758665B/zh
Publication of TW202122031A publication Critical patent/TW202122031A/zh
Application granted granted Critical
Publication of TWI758665B publication Critical patent/TWI758665B/zh

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本專利提出一套以臉部影像,來進行年齡辨識與酒駕偵測的狀態辨識系統。該系統使用視訊鏡頭攝取影像,並經由演算法取得所需的臉部區域後,再將資料進行演算法的前處理,接著利用深度卷積神經網路技術,基於VGG與DenseNet架構加以改良簡化,並合併兩者來進行兩階段的分類檢測。該系統以第一階段先進行年齡判別,再以第一階段判別結果來進行酒測的辨識。相較於傳統直接進行酒測判別的方式,本專利方法可大幅提高整體準確度。本專利也提出一套以臉部影像,來進行年齡辨識與酒駕偵測的狀態辨識方法。

Description

狀態辨識系統與方法
本發明係關於一種狀態辨識系統與方法,特別是有關於一種以臉部影像,來進行年齡辨識與酒駕偵測的狀態辨識系統與方法。
過去十幾年來,酒駕肇事事件層出不窮。儘管近年有逐年減少趨勢,但仍時常從電視新聞上看到酒駕肇事訊息。目前針對酒駕檢測,警方仍以呼氣式酒測儀為主,來進行確認。而經認證的酒測儀器價格昂貴,吹嘴亦為耗材;另外,也因為呼氣式的檢測方式為接觸式量測,會有衛生上的疑慮,在儀器的使用上也有許多不便利之處。
近年來,為了達到更便利且準確的檢測,國內外已有許多研究提出其他方法來取代傳統的呼氣式酒測儀器,其中有使用心電圖訊號(Electrocardiography,ECG)與光體積變化描記圖信號(Photoplethysmography,PPG)來進行檢測受測者的飲酒的狀態變化。另外,也有研究指出,可以藉由人在喝酒後面部會相對的產生變化進行酒駕檢測,或者使用紅外線相機進行採樣受測者臉部的熱紅外線圖相來進行辨識。但是,上述方法的辨識準確度皆不高。
因此,有必要提出一種更衛生、更準確與更快速的狀態辨識系統與方法。
本發明之主要目的係提供一種更衛生、更準確與更快速的狀態辨識系統。本發明之另一目的係提供提出一種更衛生、更準確與更快速的狀態辨識方法。
為達本發明之主要目的,本發明提供一種狀態辨識系統,具有兩階段辨識裝置,其包含:一視訊鏡頭,用於攝取一受測者之臉部影像;一第一辨識裝置,藉由該受測者之臉部影像,進行該受測者之年齡判別;以及一第二辨識裝置,藉由該受測者之臉部影像,進行該受測者之飲酒識別。
根據本發明之一特徵,該第一辨識裝置包含:一第一處理元件,由一第一演算法取得該受測者之臉部影像之一感興趣區域(Region of Interest),以及一第一分析元件,由該第一演算法對將該感興趣區域(Region of Interest)進行一前處理,以判別出三個年齡類別。
根據本發明之一特徵,該第一演算法係一使用超解析度測試序列(Visual Geometry Group,簡稱VGG)架構簡化後的深度卷積神經網路技術。
根據本發明之一特徵,該第二辨識裝置包含:一第二處理元件,由一第二演算法取得該受測者之臉部影像之一酒駕特徵,以及一第二分析元件,由該第二演算法對將該酒駕特徵進行一前處理,以判別出喝酒與未喝酒兩類狀態。
根據本發明之一特徵,該第二演算法係一使用緊密卷積神經 網路(Densely Connected Convolutional Networks,簡稱Densenet)架構簡化後的深度卷積神經網路技術。
為達本發明之另一目的,本發明提供一種狀態辨識方法,具有兩階段辨識流程,其包含下列步驟:使用一視訊鏡頭攝取一受測者之臉部影像;藉由該受測者之臉部影像,進行該受測者之年齡判別;以及藉由該受測者之臉部影像,進行該受測者之飲酒識別。
根據本發明之一特徵,進行該受測者之年齡判別步驟包含下列步驟:由一第一演算法取得該受測者之臉部影像之一感興趣區域(Region of Interest,ROI),以及由該第一演算法對將該感興趣區域進行一前處理,以判別出三個年齡類別。
根據本發明之一特徵,該第一演算法係一使用超解析度測試序列(Visual Geometry Group,簡稱VGG)架構簡化後的深度卷積神經網路技術。
根據本發明之一特徵,進行該受測者之飲酒識別步驟包含下列步驟:一第二處理元件,由該第二處理元件之一第二演算法取得該受測者之臉部影像之一酒駕特徵,以及一第二分析元件,由該第二演算法對將該酒駕特徵進行一前處理,以判別出喝酒與未喝酒兩類狀態。
根據本發明之一特徵,該第二演算法係一使用緊密卷積神經網路(Densely Connected Convolutional Networks,簡稱Densenet)架構簡化後的深度卷積神經網路技術。
根據本發明所揭示之狀態辨識系統與方法,用兩階段來進行年齡辨識與酒駕偵測的狀態辨識。該系統與方法具有下列功效: 1.不使用傳統吹嘴,所以能節省耗材與更佳衛生;2.比起認證的酒測儀器造價,能有更便宜的成本;以及3.比起其他紅外線與一階段人臉辨識,更快速、便利且準確。
10:第一辨識裝置
12:第一處理元件
14:第一分析元件
20:第二辨識裝置
22:第二處理元件
24:第二分析元件
30:視訊鏡頭
100:狀態辨識系統
第1圖係本發明之用於酒駕辨識之狀態辨識系統之示意圖;第2圖係本發明之用於酒駕辨識之狀態辨識方法之流程圖;第3圖係本發明之用於酒駕辨識之狀態辨識方法步驟2之詳細流程圖;第4圖係本發明之用於酒駕辨識之狀態辨識方法步驟3之詳細流程圖;第5圖係使用本發明之狀態辨識系統與方法之辨識結果。
由於傳統人臉辨識酒駕判斷,受到年齡會影響到影像方式的酒駕檢測結果,造成酒駕判斷的準確率偏低。過去幾年,人工智慧被廣泛地研究。深度卷積神經網路技術(Convolutional Neural Network,CNN)是一種前饋神經網路,它的人工神經元可以回應一部分覆蓋範圍內的周圍單元,對於大型圖像處理有出色表現。卷積神經網路由一個或多個卷積層和頂端的全連通層(對應經典的神經網路)組成,同時也包括關聯權重和池化層(pooling layer)。這一結構使得卷積神經網路能夠利用輸入資料的二維結構。與其他深度學習結構相比,卷積神經網路在圖像和語音辨識方面 能夠給出更好的結果。這一模型也可以使用反向傳播演算法進行訓練。相比較其他深度、前饋神經網路,卷積神經網路需要考量的參數更少,使之成為一種頗具吸引力的深度學習結構。
本專利主要為使用臉部影像來進行飲酒辨識,以及不同於其他國外研究直接對臉部影像進行判別。本專利則分為兩階段辨識,首先判別年齡、再以年齡結果來進行飲酒的識別,以提升整體準確度。
在透過研究人工智慧的技術,本發明之狀態辨識系統與方法以兩階段的辨識方式來進行酒駕的檢測。本專利之狀態辨識系統與方法,先進行第一階段的年齡判別,再以判別結果來進行最終的酒駕辨識,大幅改善整體檢測的準確度。
現請參考第1圖,其係本發明之用於酒駕辨識之狀態辨識系統之示意圖。該狀態辨識系統100,具有兩階段辨識裝置,其包含:一視訊鏡頭30;一第一辨識裝置10;以及一第二辨識裝置20。
該視訊鏡頭30,用於攝取一受測者之臉部影像。該第一辨識裝置10,藉由該受測者之臉部影像,進行該受測者之年齡判別。該第二辨識裝置20,藉由該受測者之臉部影像,進行該受測者之飲酒識別。
該第一辨識裝置10包含:一第一處理元件12與一第一分析元件14。該第一處理元件12,由一第一演算法取得該受測者之臉部影像之一感興趣區域(Region of Interest,ROI)。該第一分析元件14,由該第一演算法對將該感興趣區域進行一前處理,以判別出三個年齡類別。該三個年齡類別,分別為:青壯年(18-30歲)、中年(31-50歲)與老年(
Figure 108144576-A0305-02-0007-4
51歲)。該第一演算法係使用一超解析度測試序列(Visual Geometry Group,簡稱 VGG)架構簡化後的深度卷積神經網路技術。
該第一處理元件12與該第一分析元件14可以是微晶片(microchip)或微控制器(microcontroller),具有儲存與運算功能。
該第二辨識裝置20包含:一第二處理元件22與一第二分析元件24。該第二處理元件22,由一第二演算法取得該受測者之臉部影像之一酒駕特徵。該第二分析元件24,由該第二演算法對將該酒駕特徵進行一前處理,以判別出喝酒與未喝酒兩類狀態。該第二演算法係一使用緊密卷積神經網路(Densely Connected Convolutional Networks,簡稱Densenet)架構簡化後的深度卷積神經網路技術。
該第二處理元件22與該第二分析元件24可以是微晶片(microchip)或微控制器(microcontroller),具有儲存與運算功能。
該狀態辨識系統100使用前,係利用人工智慧的技術,對該狀態辨識系統100本身進行不斷地重複學習訓練。該狀態辨識系統100首先使用該視訊鏡頭30攝取多位受測者臉部影像,並經由演算法取得感興趣區域(Region of Interest)後,再將資料進行該第一演算法的前處理。該狀態辨識系統100會針對許多受測者,根據實際年齡,分為三個類別,分別為青壯年(18-30歲)、中年(31-50歲)與老年(
Figure 108144576-A0305-02-0008-5
51歲)。
另外,該狀態辨識系統100先根據呼氣式酒測儀,對許多受測者的數據分為為喝酒與未喝酒兩類,並利用基於深度卷積神經網路技術的第二演算法,對該狀態辨識系統100進行訓練。配合第一演算法得到的結果,該狀態辨識系統100可以將受測者先分別出青壯年(18-30歲)、中年(31-50歲)與老年(
Figure 108144576-A0305-02-0008-6
51歲),再分別出喝酒與未喝酒兩類。
其中,在該狀態辨識系統100中,深度卷積神經網路技術會使用VGG與Densenet架構加以改良簡化,最後,再合併到該狀態辨識系統100來進行兩階段神經網路的分類檢測,可以成功地進行飲酒識別。
在第一階段中的第一演算法,係使用一VGG架構簡化後的深度卷積神經網路技術判別受測者的年齡範圍。接著,第二階段中的第二演算法係一使用Densenet架構簡化後的深度卷積神經網路技術,進行臉部酒駕特徵的辨識。該狀態辨識系統100整體測試獲得了87.44%的準確率,證明了該狀態辨識系統100具有高準確性與應用的實用性。
本發明之狀態辨識系統與方法以兩階段的辨識方式來進行酒駕的檢測。本專利之狀態辨識系統與方法,先進行第一階段的年齡判別,再以判別結果來進行最終的酒駕辨識,大幅改善整體檢測的準確度。
現請參考第2圖,其係本發明之用於酒駕辨識之狀態辨識方法之流程圖。在該狀態辨識方法,具有兩階段辨識流程,其包含下列步驟:步驟1:使用一視訊鏡頭攝取一受測者之臉部影像;步驟2:藉由該受測者之臉部影像,進行該受測者之年齡判別;以及步驟3:藉由該受測者之臉部影像,進行該受測者之飲酒識別。
現請參考第3圖,其係本發明之用於酒駕辨識之狀態辨識方法步驟2之詳細流程圖。其中,在步驟2中,進行該受測者之年齡判別步驟包含下列步驟:步驟2-1:由一第一演算法取得該受測者之臉部影像之 一感興趣區域,以及步驟2-2:由該第一演算法對將該感興趣區域進行一前處理,以判別出三個年齡類別。
現請參考第4圖,其係本發明之用於酒駕辨識之狀態辨識方法步驟3之詳細流程圖。其中,在步驟3中,進行該受測者之飲酒識別步驟包含下列步驟:步驟3-1:由一第二演算法取得該受測者之臉部影像之一酒駕特徵,以及步驟3-2:由該第二演算法對將該酒駕特徵進行一前處理,以判別出喝酒與未喝酒兩類狀態。
其中,該第一演算法係一使用VGG架構簡化後的深度卷積神經網路技術,且該第二演算法係一使用Densenet架構簡化後的深度卷積神經網路技術。
亦即是,在該狀態辨識方法中,其深度卷積神經網路技術會使用VGG與Densenet架構加以改良簡化,經由不斷地訓練,再合併到該狀態辨識方法來進行兩階段神經網路的分類檢測,可以成功地進行飲酒識別。
傳統用於酒駕辨識之狀態辨識系統與方法的準確率約在70%到77%之間。本發明之該狀態辨識系統與方法整體的測試也獲得了87.44%的準確率,證明了本發明之系統與方法具有高準確性與應用的實用性。第5圖係使用本發明之狀態辨識系統與方法之辨識結果。本專利所提出用於酒駕辨識之狀態辨識系統與方法,可以使檢測上更加便利 外,也大幅提升了整體的準確度。
以上所述僅為本發明之具體實施例而已,並非用以限定本發明之申請專利範圍;凡其它未脫離本發明所揭示之精神下所完成之等效改變或修飾,均應包含在下述之申請專利範圍內。
10‧‧‧第一辨識裝置
12‧‧‧第一處理元件
14‧‧‧第一分析元件
20‧‧‧第二辨識裝置
22‧‧‧第二處理元件
24‧‧‧第二分析元件
30‧‧‧視訊鏡頭
100‧‧‧狀態辨識系統

Claims (2)

  1. 一種狀態辨識系統,具有兩階段辨識裝置,其包含:一視訊鏡頭,用於攝取一受測者之臉部影像;一第一辨識裝置,該第一辨識裝置具有一第一處理元件及一第一分析元件,該第一處理元件藉由一超解析度測試序列架構的深度卷積神經網路來取得該受測者之臉部影像之一感興趣區域,再將該感興趣區域透過該第一分析元件進行一前處理,以判別出該受測者之年齡類別;以及一第二辨識裝置,該第二辨識裝置具有一第二處理元件及一第二分析元件,該第二處理元件藉由一緊密卷積神經網路架構的深度卷積神經網路來取得該受測者之臉部影像之一酒駕特徵,再將該酒駕特徵透過該第二分析元件進行一前處理,以判別出該受測者的酒駕特徵是否符合該年齡類別所對應的酒駕特徵。
  2. 一種狀態辨識方法,具有兩階段辨識流程,其包含下列步驟:使用一視訊鏡頭攝取一受測者之臉部影像;通過一超解析度測試序列架構的深度卷積神經網路來取得該受測者之臉部影像之一感興趣區域,再將該感興趣區域進行一前處理,以判別出該受測者之年齡類別;以及通過一緊密卷積神經網路架構的深度卷積神經網路來取得該受測者之臉部影像之一酒駕特徵,再將該酒駕特徵進行一前處理,以判別出該受測者的酒駕特徵是否符合該年齡類別所對應的酒駕特徵。
TW108144576A 2019-12-05 2019-12-05 狀態辨識系統與方法 TWI758665B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
TW108144576A TWI758665B (zh) 2019-12-05 2019-12-05 狀態辨識系統與方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW108144576A TWI758665B (zh) 2019-12-05 2019-12-05 狀態辨識系統與方法

Publications (2)

Publication Number Publication Date
TW202122031A TW202122031A (zh) 2021-06-16
TWI758665B true TWI758665B (zh) 2022-03-21

Family

ID=77516785

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108144576A TWI758665B (zh) 2019-12-05 2019-12-05 狀態辨識系統與方法

Country Status (1)

Country Link
TW (1) TWI758665B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106462027A (zh) * 2014-06-23 2017-02-22 本田技研工业株式会社 对驾驶员状态进行响应的系统和方法
CN107169454A (zh) * 2017-05-16 2017-09-15 中国科学院深圳先进技术研究院 一种人脸图像年龄估算方法、装置及其终端设备

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106462027A (zh) * 2014-06-23 2017-02-22 本田技研工业株式会社 对驾驶员状态进行响应的系统和方法
CN107169454A (zh) * 2017-05-16 2017-09-15 中国科学院深圳先进技术研究院 一种人脸图像年龄估算方法、装置及其终端设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
WEI HUANG , XI LIU , MINGYUAN LUO , PENG ZHANG, WEI WANG,AND JIN WANG, "Video-Based Abnormal Driving Behavior Detection via Deep Learning Fusions", SPECIAL SECTION ON RECENT ADVANCES IN VIDEO CODING AND SECURITY, May 30, 2019, page 64571-84582. *

Also Published As

Publication number Publication date
TW202122031A (zh) 2021-06-16

Similar Documents

Publication Publication Date Title
Liao et al. Deep facial spatiotemporal network for engagement prediction in online learning
WO2021184619A1 (zh) 一种人体运动姿态识别评价方法及其系统
de Melo et al. Combining global and local convolutional 3d networks for detecting depression from facial expressions
CN111523462B (zh) 基于自注意增强cnn的视频序列表情识别系统及方法
CN109543526B (zh) 基于深度差异性特征的真假面瘫识别系统
CN109101865A (zh) 一种基于深度学习的行人重识别方法
CN111783576A (zh) 基于改进型YOLOv3网络和特征融合的行人重识别方法
CN109214373A (zh) 一种用于考勤的人脸识别系统及方法
CN111128242A (zh) 一种基于双深度网络的多模式情感信息融合与识别方法
CN107330393A (zh) 一种基于视频分析的新生儿疼痛表情识别方法
CN112801000B (zh) 一种基于多特征融合的居家老人摔倒检测方法及系统
Chang et al. Drunk driving detection using two-stage deep neural network
Shourie et al. Stratification of eye gaze using the proposed convolution neural network model
Gilanie et al. An Automated and Real-time Approach of Depression Detection from Facial Micro-expressions.
TWI758665B (zh) 狀態辨識系統與方法
Sadek et al. Neural network-based method for early diagnosis of autism spectral disorder head-banging behavior from recorded videos
Ghosh et al. A comparative study of deep learning algorithms for detecting food intake
Iamudomchai et al. Deep learning technology for drunks detection with infrared camera
CN109214286B (zh) 基于深度神经网络多层特征融合的人脸识别方法
KV et al. Deep Learning Approach to Nailfold Capillaroscopy Based Diabetes Mellitus Detection
CN115581435A (zh) 一种基于多传感器的睡眠监测方法和设备
CN113705339B (zh) 基于对抗性域适应策略的跨用户人体行为识别方法
CN110598607B (zh) 非接触式与接触式协同的实时情绪智能监测系统
Sulaiman et al. A systematic review on Evaluation of Driver Fatigue Monitoring Systems based on Existing Face/Eyes Detection Algorithms
Yang et al. Video system for human attribute analysis using compact convolutional neural network