TWI730376B - 臉部情緒與學習參與度偵測系統 - Google Patents
臉部情緒與學習參與度偵測系統 Download PDFInfo
- Publication number
- TWI730376B TWI730376B TW108128645A TW108128645A TWI730376B TW I730376 B TWI730376 B TW I730376B TW 108128645 A TW108128645 A TW 108128645A TW 108128645 A TW108128645 A TW 108128645A TW I730376 B TWI730376 B TW I730376B
- Authority
- TW
- Taiwan
- Prior art keywords
- participation
- score
- head
- facial
- emotion
- Prior art date
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
一種臉部情緒與學習參與度偵測系統，包含：一儲存單元，供儲存複數臉部表情圖像特徵值、複數情緒表情分數及複數心情權重；一攝影單元，供攝影一受測者之臉部，以提供複數臉部圖像；一處理單元，自該些臉部圖像提取複數圖像特徵值，並根據該些圖像特徵值，經類神經網路計算後，比對該儲存單元中的該些臉部表情圖像特徵值以擷取其中一該情緒表情分數與其中一該心情權重，以提供一情緒指數，該處理單元並分析判定該些臉部圖像中受測者的頭部角度與眼睛張開與否，分別提供一參與度頭部分數與一參與度眼睛分數，並將該參與度頭部分數與該參與度眼睛分數加以計算後提供一參與度分數。
Description
本發明係有關於一種臉部情緒與學習參與度偵測系統。
現今社會中，AI(人工智慧)運用層面廣泛，可以大量且快速地處理各種資訊，並藉由龐大資料庫與迅速的演算，提供各種分析數據，大大便利了人們的生活。
舉例來說，無處不見的攝影機與監視器拍攝了大量的人臉影像，除了有臉部辨識等應用方式之外，甚至還可藉由比對資料庫中事先儲存的各種模型圖樣來判斷臉部表情所代表的情緒，進而運用於其他用途。
專利TW I646438即是一例，其利用臉部表情的比對結果與生理訊號數據綜合判斷情緒，然而，僅與資料庫的模板比對仍嫌粗略，判斷結果並非精確，且無法看出受測者的投入或專注程度，在教學或是客製化服務時，仍有改善的空間。
本發明之主要目的在於提供一種臉部情緒與學習參與度偵測系統，可藉臉部表情之偵測判斷情緒與學習參與度。
為達成上述目的，本發明提供一種臉部情緒與學習參與度偵測系統，包含一儲存單元、一攝影單元與一處理單元。
該儲存單元供儲存複數臉部表情圖像特徵值、複數情緒表情分數及複數心情權重；該攝影單元供攝影一受測者之臉部，以提供複數臉部圖像；該處理單元自該些臉部圖像提取複數圖像特徵值，並根據該些圖像特徵值比對該儲存單元中的該些臉部表情圖像特徵值以擷取其中一該情緒表情分數與其中一該心情權重，以提供一情緒指數，該處理單元並分析判定該些臉部圖像中受測者的頭部角度與眼睛張開與否，分別提供一參與度頭部分數與一參與度眼睛分數，並將該參與度頭部分數與該參與度眼睛分數加以計算後提供一參與度分數；其中，將該參與度頭部分數與該參與度眼睛分數相乘成為當下的該參與度分數；其中，該參與度頭部分數之範圍介於0與1之間，當該受測者之頭部非朝向該攝影單元方向，該參與度頭部分數為0，當該受測者之頭部正對該攝影單元方向，該參與度頭部分數為1；其中，該參與度眼睛分數介於0與1之間，當該受測者之眼睛完全閉上，該參與度眼睛分數為0，當該受測者之眼睛完全張開，該參與度眼睛分數為1。
10:儲存單元
11:臉部表情圖像特徵值
12:情緒表情分數
13:心情權重
20:攝影單元
30:處理單元
40:臉部圖像
41:關鍵點
50:情緒指數
60:參與度分數
61:參與度頭部分數
62:參與度眼睛分數
圖1係本發明之系統架構圖。
圖2A、圖2B與圖2C係本發明之頭部轉動三軸角度示意圖。
圖3係本發明之臉部圖像關鍵點示意圖。
圖4係本發明之臉部情緒偵測結果示意圖。
以下僅以實施例說明本發明可能之實施態樣，然並非用以限制本發明所欲保護之範疇，合先敘明。
請參考圖1至圖4，本發明提供一種臉部情緒與學習參與度偵測系統，包含一儲存單元10、一攝影單元20與一處理單元30。
該儲存單元10供儲存複數臉部表情圖像特徵值11、複數情緒表情分數12及複數心情權重13；該攝影單元20供攝影一受測者之臉部，以提供複數臉部圖像40；該處理單元30自該些臉部圖像40提取複數圖像特徵值，並根據該些圖像特徵值比對該儲存單元10中的該些臉部表情圖像特徵值11以擷取其中一該情緒表情分數12與其中一該心情權重13，以提供一情緒指數50，該處理單元30並分析判定該些臉部圖像40中受測者的頭部角度與眼睛張開與否，分別提供一參與度頭部分數61與一參與度眼睛分數62，並將該參與度頭部分數61與該參與度眼睛分數62加總提供一參與度分數60。
關於該情緒指數的產生，於本實施例中，係以Python語言，首先使OpenCV取得人臉區域後，使用Dlib函式庫分析人臉特徵，接著使用深度學習演算法進行臉部情緒分類器，最後以Flask架構，製作成Web-based API來即時分析攝影單元的臉部資料，完成臉部情緒之判讀，如圖4所示，其中，情緒的種類可分為生氣(anger)、困惑(contempt)、噁心(disgust)、恐懼(fear)、開心(happiness)、自然(neutral)、難過(sadness)、驚訝(surprise)等，然並不限於此；其中，亦可使用其他程式語言。
關於該參與度分數60，該參與度頭部分數61之範圍介於0與1之間，當該受測者之頭部非朝向該攝影單元方向，該參與度頭部分數61為0，當該受測者之頭部正對該攝影單元方向，該參與度頭部分數61為1；該參與度眼睛分數62介於0與1之間，當該受測者之眼睛完全閉上，該參與度眼睛分數62為0，當該受測者之眼睛完全張開，該參與度眼睛分數62為1。
詳細來說，該處理單元30係以該些臉部圖像40之三個歐拉角數值(Pitch、Roll、Yaw)計算該受測者臉部相對該攝影單元的角度，如圖2A、2B、
2C所示，作為提供該參與度頭部分數61之依據；具體而言，該處理單元30係檢測出該些臉部圖像40中的複數個關鍵點41之位置(如圖3所示)，並計算該些關鍵點41的變化量，以計算三個歐拉角數值，於本實施例中，該些關鍵點41至少包含左眼角、右眼角、鼻尖、左嘴角、右嘴角與下巴，透過OpenCV電腦視覺函式庫中的SlvePnP函數解出旋轉向量，最後將旋轉向量轉換為三個歐拉角；其中，亦可使用其他程式語言。
藉由分別偵測該參與度眼睛分數62與該參與度頭部分數61，可將兩者相乘成為該時間當下的參與度分數60，當參與度眼睛分數62或參與度頭部分數61為1時(眼睛張開並正視攝影單元)，代表受測者當下高度參與，相反地，當參與度眼睛分數62或參與度頭部分數61為0時(眼睛未張開或受測者未面對攝影單元)，代表受測者當下並無參與，可藉由參與度分數60的高低來判斷受測者的當下的參與程度，若持續偵測一段時間，並將此段時間中收集的多個參與度分數60加總後平均，更可得到一參與度程度數值，進一步說明，該臉部情緒與學習參與度偵測系統另定義一時間區段值，該時間區段值表示偵測的一段時間，將於該時間區段值中所收集之複數該參與度分數60加總後平均以得到一參與度程度數值，藉以客觀評價整段時間的參與度，亦可藉由圖表來觀察參與度的變化。
藉由上述系統，可即時監測受測者的情緒與參與度，若與其他資訊結合，更可綜合分析出受測者在哪些因素或條件下會有較為正面或負面的情緒、參與度上升或下降，而可提供其他服務之參考，例如教學內容的改善等，亦可作為客製化服務的依據，藉由記錄各使用者的偏好，提供該使用者可能較喜好的內容或服務等等。
綜上所述，本發明提供之系統能藉由單純的攝影設備進行受測者的情緒與參與度即時判斷，判斷之資訊可進一步作為服務提供或教學評量等用途，極具進步之效。
| 10：儲存單元 11：臉部表情圖像特徵值 12：情緒表情分數 13：心情權重 20：攝影單元 30：處理單元 | 40：臉部圖像 50：情緒指數 60：參與度分數 61：參與度頭部分數 62：參與度眼睛分數 |
Claims (4)
- 一種臉部情緒與學習參與度偵測系統，包含：一儲存單元，供儲存複數臉部表情圖像特徵值、複數情緒表情分數及複數心情權重；一攝影單元，供攝影一受測者之臉部，以提供複數臉部圖像；一處理單元，自該些臉部圖像提取複數圖像特徵值，並根據該些圖像特徵值比對該儲存單元中的該些臉部表情圖像特徵值以擷取其中一該情緒表情分數與其中一該心情權重，以提供一情緒指數，該處理單元並分析判定該些臉部圖像中受測者的頭部角度與眼睛張開與否，分別提供一參與度頭部分數與一參與度眼睛分數，並將該參與度頭部分數與該參與度眼睛分數加總提供一參與度分數；其中，將該參與度頭部分數與該參與度眼睛分數相乘成為當下的該參與度分數；其中，該參與度頭部分數之範圍介於0與1之間，當該受測者之頭部非朝向該攝影單元方向，該參與度頭部分數為0，當該受測者之頭部正對該攝影單元方向，該參與度頭部分數為1；其中，該參與度眼睛分數介於0與1之間，當該受測者之眼睛完全閉上，該參與度眼睛分數為0，當該受測者之眼睛完全張開，該參與度眼睛分數為1。
- 如請求項1所述之臉部情緒與學習參與度偵測系統，其中該處理單元係以該些臉部圖像之三個歐拉角數值計算該受測者臉部相對該攝影單元的角度，作為提供該參與度頭部分數之依據。
- 如請求項2所述之臉部情緒與學習參與度偵測系統，其中該處理單元係檢測出該些臉部圖像中的複數個關鍵點之位置，並計算該些關鍵點的變化量，以計算三個歐拉角數值。
- 如請求項1所述之臉部情緒與學習參與度偵測系統，另定義一時間區段值，將於該時間區段值中所收集之複數該參與度分數加總後平均以得到一參與度程度數值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW108128645A TWI730376B (zh) | 2019-08-12 | 2019-08-12 | 臉部情緒與學習參與度偵測系統 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW108128645A TWI730376B (zh) | 2019-08-12 | 2019-08-12 | 臉部情緒與學習參與度偵測系統 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW202107333A TW202107333A (zh) | 2021-02-16 |
| TWI730376B true TWI730376B (zh) | 2021-06-11 |
Family
ID=75745273
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW108128645A TWI730376B (zh) | 2019-08-12 | 2019-08-12 | 臉部情緒與學習參與度偵測系統 |
Country Status (1)
| Country | Link |
|---|---|
| TW (1) | TWI730376B (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104766059A (zh) * | 2015-04-01 | 2015-07-08 | 上海交通大学 | 快速精确的人眼定位方法及基于人眼定位的视线估计方法 |
| TWM573494U (zh) * | 2018-10-02 | 2019-01-21 | 眾匯智能健康股份有限公司 | 根據臉部表情提供對應服務的系統 |
| CN109934150A (zh) * | 2019-03-07 | 2019-06-25 | 百度在线网络技术（北京）有限公司 | 一种会议参与度识别方法、装置、服务器和存储介质 |
-
2019
- 2019-08-12 TW TW108128645A patent/TWI730376B/zh active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104766059A (zh) * | 2015-04-01 | 2015-07-08 | 上海交通大学 | 快速精确的人眼定位方法及基于人眼定位的视线估计方法 |
| TWM573494U (zh) * | 2018-10-02 | 2019-01-21 | 眾匯智能健康股份有限公司 | 根據臉部表情提供對應服務的系統 |
| CN109934150A (zh) * | 2019-03-07 | 2019-06-25 | 百度在线网络技术（北京）有限公司 | 一种会议参与度识别方法、装置、服务器和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| TW202107333A (zh) | 2021-02-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Bishay et al. | Schinet: Automatic estimation of symptoms of schizophrenia from facial behaviour analysis | |
| Lisetti et al. | Facial Expression Recognition Using a Neural Network. | |
| Nicolaou et al. | Audio-visual classification and fusion of spontaneous affective data in likelihood space | |
| CN111507592B (zh) | 一种面向服刑人员的主动改造行为的评估方法 | |
| Wilhelm | Towards facial expression analysis in a driver assistance system | |
| Robin et al. | Improvement of face and eye detection performance by using multi-task cascaded convolutional networks | |
| CN109299641B (zh) | 一种列车调度员疲劳监测图像自适应处理算法 | |
| CN112883867A (zh) | 一种基于图像情感分析的学生在线学习评估方法及系统 | |
| CN111259815A (zh) | 一种人脸图像质量评估方法、系统、设备及介质 | |
| Petrova et al. | Group-level emotion recognition using a unimodal privacy-safe non-individual approach | |
| Tutsoy et al. | An emotion analysis algorithm and implementation to NAO humanoid robot | |
| Soltane et al. | A smart system to detect cheating in the online exam | |
| Golzadeh et al. | Emotion recognition using spatiotemporal features from facial expression landmarks | |
| TWI730376B (zh) | 臉部情緒與學習參與度偵測系統 | |
| CN108009532A (zh) | 基于3d成像的身份识别方法及终端 | |
| WO2021181991A1 (ja) | アクセシビリティ判定装置、アクセシビリティ判定方法、及びプログラム | |
| Al-Hamadi et al. | Emotional trace: Mapping of facial expression to valence-arousal space | |
| Yong et al. | Facial expression monitoring system using pca-bayes classifier | |
| RK | Real-time attention span tracking in online education | |
| Göngör et al. | An emotion analysis algorithm and implementation to NAO humanoid robot | |
| Nguyen et al. | Towards recognizing facial expressions at deeper level: Discriminating genuine and fake smiles from a sequence of images | |
| CN113920563A (zh) | 在线考试作弊识别方法、装置、计算机设备和存储介质 | |
| Zhang et al. | Real and apparent personality prediction in human-human interaction | |
| Salman et al. | Dynamic versus static facial expressions in the presence of speech | |
| Akash et al. | Monitoring and Analysis of Students’ Live Behaviour using Machine Learning |