TW202228150A - 情緒指標預測方法與系統 - Google Patents

情緒指標預測方法與系統 Download PDF

Info

Publication number
TW202228150A
TW202228150A TW109147021A TW109147021A TW202228150A TW 202228150 A TW202228150 A TW 202228150A TW 109147021 A TW109147021 A TW 109147021A TW 109147021 A TW109147021 A TW 109147021A TW 202228150 A TW202228150 A TW 202228150A
Authority
TW
Taiwan
Prior art keywords
prediction
emotion
index
integrated
markers
Prior art date
Application number
TW109147021A
Other languages
English (en)
Other versions
TWI811605B (zh
Inventor
李俊賢
王思捷
何亮融
陳亮恭
陳駿宏
彭莉甯
楊宗翰
詹韻玄
蔡宗憲
Original Assignee
宏碁股份有限公司
國立陽明交通大學
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 宏碁股份有限公司, 國立陽明交通大學 filed Critical 宏碁股份有限公司
Priority to TW109147021A priority Critical patent/TWI811605B/zh
Priority to US17/366,041 priority patent/US11955245B2/en
Priority to EP21190081.6A priority patent/EP4024403A1/en
Priority to CN202110931855.6A priority patent/CN114694206A/zh
Publication of TW202228150A publication Critical patent/TW202228150A/zh
Application granted granted Critical
Publication of TWI811605B publication Critical patent/TWI811605B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Biomedical Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Developmental Disabilities (AREA)
  • Child & Adolescent Psychology (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Memory System Of A Hierarchy Structure (AREA)

Abstract

一種情緒指標預測方法與系統。所述方法包括下列步驟。獲取受測者的多張影像。分析於影像之中受測者的多個情緒標記。依據影像各自對應的情緒標記計算多個預定時間週期內的多個整合情緒標記。依據整合情緒標記決定多個優選特徵。依據優選特徵建立情緒指標預測模型，以依據情緒指標預測模型預測情緒指標。

Description

情緒指標預測方法與系統
本發明是有關於一種情緒預測方法，且特別是有關於一種基於拍攝影像的情緒指標預測方法與系統。
近年來，由於生活品質的提升、醫療技術的快速發展及少子化等因素的影響，使得我國高齡人口數快速增加，佔總人口的比例亦逐年提高。因此，年長者的精神、心理健康狀態是現今社會關注的議題之一。年長者的心理狀況評估目前大部分仍然要依靠醫療人員進行定期評估，並可能搭配使用各種可量化的評估列表，例如常見的有Behave-AD量表、柯恩-曼斯菲爾德激動情緒行為量表（Cohen-Mansfield Agitation Inventory，CMAI）及神經精神評估量表（Neuropsychiatric Inventory，NPI），其中這些量表可包含高達百分之五十佔比與情緒相關的評量因子。但是，許多年長者不願意表達、未察覺自身異常的情緒變化或已經遺忘過去的實際情緒，加上身體機能退化，可能逐漸地導致憂鬱症、失智症、認知功能障礙等疾病的發生。
因此，若能透過科技的方式，持續觀察年長者的情緒，提早發現生活中情緒的變化，便能即時的做出處置，像是心理諮商、藥物治療等，延緩各種精神疾病的症狀，改善年長者的日常生活，以協助達到更良好的生活品質。
有鑑於此，本發明提出一種情緒指標預測方法與系統，其可透過持續觀察受測者的情緒表現來預測受測者的情緒指標，進而可協助判定受測者是否患有精神相關疾病。
本發明實施例提供一種情緒指標預測方法，適用於包括處理器的情緒指標預測系統。所述方法包括下列步驟：獲取受測者的多張影像；分析於影像之中受測者的多個情緒標記；依據影像各自對應的情緒標記計算多個預定時間週期內的多個整合情緒標記；依據整合情緒標記決定多個優選特徵；以及依據優選特徵建立情緒指標預測模型，以依據情緒指標預測模型預測情緒指標。
本發明實施例提供一種情緒指標預測系統，其包括儲存裝置以及處理器。所述儲存裝置記錄有多個指令。處理器耦接及儲存裝置，經配置以執行所述指令以：獲取受測者的多張影像；分析於影像之中受測者的多個情緒標記；依據影像各自對應的情緒標記計算多個預定時間週期內的多個整合情緒標記；依據整合情緒標記決定多個優選特徵；以及依據優選特徵建立情緒指標預測模型，以依據情緒指標預測模型預測情緒指標。
基於上述，於本發明實施例中，影像擷取設備可架設在受測者的活動範圍，以持續獲取受測者的臉部表情資訊。多張影像中受測者的情緒標記可基於受測者之臉部表情資訊而產生，並進而獲取分別屬於多個預定時間週期的多個整合情緒標記。基此，在基於這些整合情緒標記而萃取出與預測結果具有高度相關性的多個優選特徵後，可依據這些優選特徵建立出準確的情緒指標預測模型，以依據情緒指標預測模型預測情緒指標。於是，本發明實施例所預測的情緒指標是依據長時間持續觀察受測者而產生，其具有相當的可信賴度，進而可協助精神疾病的診斷。
圖1是依照本發明一實施例的情緒指標預測系統的功能方塊圖。但此僅是為了方便說明，並不用以限制本發明。首先圖1先介紹情緒指標預測系統之所有構件以及配置關係，詳細功能將配合後續實施例一併揭露。
請參照圖1，情緒指標預測系統10包括影像擷取設備110、儲存裝置120，以及處理器130。處理器130耦接至影像擷取設備110以及儲存裝置120。在一些實施例中，情緒指標預測系統10可包括具有儲存裝置120與處理器130的計算機裝置，以及連接於上述計算機裝置的影像擷取設備110。例如，基於影像的物件追蹤系統10可以是由電腦與外接攝影機而構成，本發明不在此設限。又或者，於一些實施例中，情緒指標預測系統10更可包括通訊介面（communication interface），其可將影像擷取設備110所擷取的影像資料藉由網路（例如網際網路）傳送至具有儲存裝置120與處理器130的計算機裝置，例如伺服器。
影像擷取設備110用以朝受測者擷取影像，並且包括具有透鏡以及感光元件的攝像鏡頭。感光元件用以感測進入透鏡的光線強度，進而產生影像。感光元件可以例如是電荷耦合元件（charge coupled device，CCD）、互補性氧化金屬半導體（complementary metal-oxide semiconductor，CMOS）元件或其他元件，本發明不在此設限。
儲存裝置120用以儲存檔案、影像、指令、程式碼、軟體元件等等資料，其可以例如是任意型式的固定式或可移動式隨機存取記憶體（random access memory，RAM）、唯讀記憶體（read-only memory，ROM）、快閃記憶體（flash memory）、硬碟或其他類似裝置、積體電路及其組合。
處理器130用以執行所提出的情緒指標預測方法，其例如是中央處理單元（Central Processing Unit，CPU），或是其他可程式化之一般用途或特殊用途的微處理器（Microprocessor）、數位訊號處理器（Digital Signal Processor，DSP）、可程式化控制器、特殊應用積體電路（Application Specific Integrated Circuits，ASIC）、可程式化邏輯裝置（Programmable Logic Device，PLD）、圖形處理器（Graphics Processing Unit，GPU）或其他類似裝置或這些裝置的組合。處理器130可執行記錄於儲存裝置120中的程式碼、軟體模組、指令等等，以實現本發明實施例的情緒指標預測方法。
圖2是依照本發明一實施例的情緒指標預測方法的流程圖。請參照圖2，本實施例的方式適用於上述實施例中的情緒指標預測系統10，以下即搭配情緒指標預測系統10中的各項元件說明本實施例方法的詳細步驟。
於步驟S201，處理器130從影像擷取設備110獲取受測者的多張影像。於一些實施例中，影像擷取設備110可架設在受測者的日常活動範圍內，以擷取受測者的多張影像。
於步驟S202，處理器130分析於這些影像之中受測者的多個情緒標記。於一些實施例中，處理器130可利用人臉偵測技術來偵測多張影像之中受測者的多個臉部影像區塊。舉例而言，處理器130可利用人臉偵測模型從各張影像中定位出受測者的一臉部影像區塊，並利用機器學習、深度學習或其他合適的演算法自臉部區塊檢測出用以標記臉部輪廓、五官形狀與五官位置的多個臉部特徵點（facial landmarks）。於一些實施例中，處理器130可以基於臉部影像區塊的尺寸與人臉偏轉角度對影像進行篩選操作，以保留臉部影像區塊足夠大且人臉偏轉角度夠小的影像。基此，人臉資訊不足的影像可以被淘汰而避免以可信度不高的訓練資料去建立情緒指標預測模型。此外，於一些實施例中，處理器130還可依據影像中的臉部影像區塊進行受測者的身份驗證，以避免取用的他人的臉部資訊。
接著，於一些實施例中，處理器130可分別將這些臉部影像區塊輸入至表情分類模型而獲取這些影像各自對應的情緒標記。此表情分類模型是已經以機器學習的方式預先訓練好的分類器，其可對各張影像中受測者的臉部情緒進行分類標記。舉例而言，處理器130可利用表情分類模型將臉部影像區塊中的臉部情緒分類為多種情緒類別，並依據上述分類結果獲取各張影像所對應的情緒標記。於一些實施例中，上述情緒標記可以是離散型的數值，例如為1、2、3、4等等，而此數值與情緒的正面程度成正相關。也就是說，情緒標記越高則受測者的情緒越正面，情緒標記越低則受測者的情緒越負面。然而，本發明對於情緒標記的種類數目與實際數值並不加以限制，其可視實際需求而設計。
於步驟S203，處理器130依據影像各自對應的情緒標記計算多個預定時間週期內的多個整合情緒標記。於一些實施例中，處理器130對各預定時間週期的情緒標進行統計運算，而獲取各預定時間週期內的整合情緒標記其中之一。上述之統計運算例如是平均運算或取眾數處理等等。具體而言，上述的預定時間週期的時間長度例如是以「一日」為單位，因此這些預定時間週期即為多個日期，但本發明不限制於此。影像擷取設備110可每日擷取到受測者的多張影像，而處理器130可依據受測者的多張影像獲取每日的多個情緒標記。並且，處理器130可統合每日的所有情緒標記而獲取分別對應至不同日的多個整合情緒標記。舉例而言，表1為某一受測者的情緒標記，而表2為該受測者的整合情緒標記。於此，假設情緒標記有4種，其分別為‘1’、‘2’、‘3’、‘4’。
受測者編號 日期 情緒標記
A 2019/3/6 3
A 2019/3/6 4
A 2019/3/6 3
A 2019/3/7 1
A 2019/3/7 1
… … …
表1
受測者編號 日期 整合情緒標記
A 2019/3/6 3 ({0,0,2,1})
A 2019/3/7 1 ({2,0,0,0})
… … …
表2
需說明的是，於一些實施例中，情緒指標預測模型可用以依據受測者的日常情緒表現來預測NPI分數。換言之，用以訓練情緒指標預測模型的真實資訊為受測者實際回答NPI量表內的問題而產生的NPI分數。因此，處理器130可統整實際進行NPI檢測的受檢日的前N天的N個整合情緒標記，並將這N個整合情緒標記作為訓練情緒指標預測模型的訓練資料集。舉例而言，表3為關於某一受測者之用以訓練情緒指標預測模型的訓練資料集。
受測者編號 NPI檢測的受檢日 前1日的 整合情緒標記 前2日的 整合情緒標記 前3日的 整合情緒標記 … 前N日的 整合情緒標記
A 2019/3/9 2 1 3 … 2
A 2019/6/12 2 1 1 … 1
… … … … … … …
表3
於步驟S204，處理器130依據整合情緒標記決定多個優選特徵。於一些實施例中，處理器130可依據預定義的多種特徵產生規則與多個整合情緒標記來產生多個初始特徵。於一些實施例中，處理器130可依據這些整合情緒標記獲取部份或全部的多個初始特徵。於一些實施例中，這些初始特徵可包括這些整合情緒標記與其統計運算結果。於一些實施例中，處理器130可直接將這些初始特徵作為優選特徵。於一些實施例中，處理器130可對這些初始特徵進行特徵萃取程序而提取出較為重要的優選特徵，而這些優選特徵對應至預定義的特徵產生規則其中之部份。也就是說，於一些實施例中，優選特徵可包括這些整合情緒標記。於一些實施例中，優選特徵可包括這些整合情緒標記的統計運算結果。於一些實施例中，優選特徵可包括這些整合情緒標記與其統計運算結果。這些整合情緒標記的運算統計運算結果可包括平均值、標準差，以及其他統計資訊。後續實施例將有詳細說明。附帶一提的是，於其他實施例中，可以被挑選為優選特徵的初始特徵還可包括依據這些影像所估測的受測者的睡眠品質指標與活動量指標。後續實施例將有詳細說明。
於步驟S205，處理器130依據優選特徵建立情緒指標預測模型，以依據情緒指標預測模型預測情緒指標。於一些實施例中，處理器130可依據真實的情緒指標（例如是實際進行NPI檢測而獲取的NPI分數）與挑選出來的優選特徵作為監督式機器學習演算法的訓練資料而建立情緒指標預測模型。也就是說，處理器130可依據一機器學習演算法與訓練資料來建立情緒指標預測模型。像是，上述之機器學習演算法可包括是迴歸分析演算法、多元適應性雲形回歸模型（Multivariate Adaptive Regression Splines，MARS）演算法、引導聚集（Bootstrap aggregating，Bagged）演算法、神經網路演算法、隨機森林（Random Forest）演算法、彈性網路（Elastic Net）演算法、最小絕對值收斂和選擇算子（least absolute shrinkage and selection operator，LASSO）演算法、k近鄰分類（k-nearest neighbor classification，KNN）演算法或支持向量迴歸（SVR）演算法等等，本發明對此不限制。
詳細而言，在情緒指標預測模型的訓練階段，處理器130可基於真實的NPI分數來標記多個整合情緒指標組成的資料集，並將這些已標記的資料集的優選特徵作為機器學習的訓練素材。以表3為範例，處理器130可依據於2019年3月9日進行NPI檢測而獲取的NPI分數來標記包括受測日前N天的N個整合情緒指標的資料集，並將這N個整合情緒指標所建立的優選特徵作為機器學習的訓練素材。基此，於一些實施例中，處理器130可依據一或多個受測者的資料來訓練出用以預測情緒指標的情緒指標預測模型。藉此，此情緒指標預測模型可依據受測者持續的日常情緒表現來預估受測者的一個情緒指標，進而協助精神相關疾病的診斷。然而，雖然上述實施例是以預測NPI分數為範例進行說明，但於其他實施例中，所述精神指標可以是基於其他量表或檢測方式而產生的指標數值。
圖3是依照本發明一實施例的情緒指標預測方法的流程圖。請參照圖3，本實施例的方式適用於上述實施例中的情緒指標預測系統10，以下即搭配情緒指標預測系統10中的各項元件說明本實施例方法的詳細步驟。
於步驟S301，處理器130從影像擷取設備110獲取受測者的多張影像。於步驟S302，處理器130分析於這些影像之中受測者的多個情緒標記。於步驟S303，處理器130依據影像各自對應的情緒標記計算多個預定時間週期內的多個整合情緒標記。上述步驟S301～步驟S303與圖2所示步驟S201～S203的操作原理相似，於此不再贅述。
於步驟S304，處理器130依據整合情緒標記決定多個優選特徵。於本實施例中，步驟S304可實施為步驟S3041～步驟S3045。於本實施例中，處理器130可先建立多個初始特徵，再對這些初始特徵進行特徵萃取程序而挑選出優選特徵。於本實施例中，這些初始特徵可包括整合情緒標記、整合情緒標記的統計運算結果、受測者的睡眠品質指標，以及受測者的活動量指標。
於是，於步驟S3041，處理器130將整合情緒標記設定為部份的初始特徵。舉例而言，處理器130可直接將NPI受檢日前7天的7個整合情緒標記設定為7個初始特徵。
於步驟S3042，處理器130對整合情緒標記進行至少一統計運算處理而獲取部份的初始特徵。假設NPI受檢日前7天的7個整合情緒標記分別為E1、E2、E3、E4、E5、E6、E7。為了方便說明，以下以整合情緒標記可分類為4種情緒，且分別為‘1’、‘2’、‘3’、‘4’為範例進行說明。於一些實施例中，處理器130可計算這些整合情緒標記E1～E7的平均值Mn而獲取一個初始特徵。於一些實施例中，處理器130可依據這些整合情緒標記E1～E7統計這4種情緒‘1’、‘2’、‘3’、‘4’各自的出現次數C1～C4以獲取4個初始特徵。於一些實施例中，處理器130可計算這些整合情緒標記E1～E7的標準差SD而獲取一個初始特徵。
於一些實施例中，假設情緒‘1’、‘2’為正面情緒，且情緒‘3’、‘4’為負面情緒。處理器130可計算正面情緒‘1’、‘2’的出現次數C1～C2的總和Pos而獲取一個初始特徵。處理器130可計算負面情緒‘3’、‘4’的出現次數C3～C4的總和Neg而獲取一個初始特徵。於一些實施例中，處理器130更可計算正面情緒的總和Pos與負面情緒的總和Neg之間的差距Diff而獲取一個初始特徵。此外，於一些實施例中，處理器130還依據相鄰兩天之情緒變化來建立初始特徵。像是，於一些實施例中，處理器130可計算相鄰兩日的整合情緒標記的差距的總和Diff_sum，而獲取一個初始特徵，其中此初始特徵可表示為|E1-E2|+|E2-E3|+|E3-E4|+|E4-E5|+|E5-E6|+|E6-E7|。於一些實施例中，處理器130可計算相鄰兩日的整合情緒標記的差距的全距Range而獲取一個初始特徵，此初始特徵可表示為Max(|E1-E2|, |E2-E3|, |E3-E4|, |E4-E5|, |E5-E6|, |E6-E7|)-Min(|E1-E2|, |E2-E3|, |E3-E4|, |E4-E5|, |E5-E6|, |E6-E7|)。
舉例而言，假設E1、E2、E3、E4、E5、E6、E7分別為1、2、2、3、2、4、1，則處理器130可依據多個統計運算而獲取如表4所示的多個初始特徵。
受測者編號 Mn C1 C2 C3 C4 SD
A 2.14 2 3 1 1 1.07
受測者編號 Pos Neg Diff Diff_sum Range  
A 5 2 3 8 3  
表4
於步驟S3043，處理器130依據影像獲取受測者的至少一活動量指標，並將至少一活動量指標設定為部份的初始特徵。於一些實施例中，從受測者所取得的影像，不僅限於取得與情緒相關特徵，也可以依據影像估測影像中受測者的活動量，例如：移動距離、肢體骨架的變化量、單日跨多張影像的行走軌跡變化幅度等。以移動距離為例，處理器130可以判定影像中受測者為站立或非站立以及是否為行走狀態，從而計算累積行走時間，則移動距離可為上述行走時間與受測者平均行走速度的乘積。受測者平均行走速度可依據年齡與性別而設定。換言之，於一些實施例中，活動量指標可包括受測者的移動距離、骨架變化量或行走軌跡變化幅度等等。上述活動量指標可以是依據一日或多日為單位進行估測而獲取。於一些實施例中，處理器130也可對不同日的活動量指標進行統計運算而獲取其他初始特徵。
於步驟S3044，處理器130依據影像或其他儀器獲取受測者的至少一睡眠品質指標，並將至少一睡眠品質指標設定為部份的初始特徵。於一些實施例中，可透過智慧儀器，例如智慧床墊或穿戴式電子裝置來偵測受測者的睡眠品質。例如，單日睡眠時間長度、深/淺眠佔睡眠時間比率、離床/翻身次數等。上述睡眠品質指標可以是依據一日或多日為單位進行估測而獲取。於一些實施例中，處理器130也可對不同日的睡眠品質指標進行統計運算而獲取其他初始特徵。
於步驟S3045，處理器130對初始特徵進行特徵萃取程序而提取出優選特徵。具體而言，處理器130可依據上述所有的初始特徵與多種機器學習演算法來訓練對應的預測模型，並進而依據各初始特徵的特徵權重、特徵重要性或特徵相關性進行各個初始特徵的排序動作而選擇出排序前幾名的一些特徵。舉例而言，對應於不同的機器學習演算法，處理器130可依據各初始特徵的P值(P-value)、赤池信息準則(Akaike information criterion，AIC)度量或特徵重要性(feature importance)來進行各個初始特徵的排序動作。依據各初始特徵被選擇到的次數或比率，處理器130可自K個初始特徵中選擇L個優選特徵，其中L≦K。
於步驟S305，處理器130依據優選特徵建立情緒指標預測模型，以依據情緒指標預測模型預測情緒指標。上述步驟S305與圖2所示步驟S205的操作原理相似，於此不再贅述。藉此，有別於傳統單純使用特定量表判定受測者有無精神相關疾病，例如憂鬱症或失智症，本發明實施例可依據每日的情緒表現、活動量與睡眠品質的變化，預測未來的情緒指標，因而可有效協助精神相關疾病的診斷準確性。
圖4是依照本發明一實施例的建立情緒指標預測模型的流程圖。請參照圖4，本實施例的方式適用於上述實施例中的情緒指標預測系統10，以下即搭配情緒指標預測系統10中的各項元件說明本實施例方法的詳細步驟。
於步驟S401，處理器130從影像擷取設備110獲取受測者的多張影像。於步驟S402，處理器130分析於這些影像之中受測者的多個情緒標記。於步驟S403，處理器130依據影像各自對應的情緒標記計算多個預定時間週期內的多個整合情緒標記。於步驟S404，處理器130根據整合情緒標記、整合情緒標記的統計運算結果、活動量指標以及睡眠品質指標獲取多個初始特徵。上述步驟S401～步驟S404的操作原理已於前述圖2與圖3的實施例清楚說明，於此不再贅述。
於步驟S405，處理器130切分模型訓練資料與模型驗證資料。不重複切分模型訓練資料與模型驗證資料的方式例如是K-fold演算法，可重複切分模型訓練資料與模型驗證資料的方式例如是Bootstrap演算法，但本發明並不在此限。於步驟S406，處理器130利用模型訓練資料對初始特徵進行特徵萃取程序而提取出多個優選特徵。如同圖3的實施例的說明，處理器130可基於多種不同機器學習演算法來進行初始特徵的特徵萃取程序，以從這些初始特徵中挑選出與模型輸出量較為相關的多個優選特徵。
需特別說明的是，於一些實施例中，處理器130可依據這些優選特徵建立多個預測模型，並獲取各預測模型的預測誤差。接著，處理器130可依據各預測模型的預測誤差，選擇預測模型其中之一作為最終的情緒指標預測模型。於一些實施例中，這些預測模型可包括第一預測模型、第二預測模型，以及整合預測模型。其中，整合預測模型的預測結果為第一預測模型的預測結果與第二預測模型的預測結果的加權總和。
請參照圖4，於本實施例中，於步驟S407，處理器130可依據第一機器學習演算法與多個優選特徵來建立第一預測模型。舉例而言，處理器130可依據傳統的統計學習演算法，像是MARS演算法、LASSO演算法或LM演算法來建立第一預測模型。
於步驟S408，處理器130可依據第二機器學習演算法與多個優選特徵來建立第二預測模型。舉例而言，處理器130可依據支持向量迴歸（SVR）演算法來建立第二預測模型。
於步驟S409，處理器130可依據第三機器學習演算法與多個優選特徵來建立第三預測模型。舉例而言，處理器130可依據深度神經網路演算法來建立第三預測模型。
於步驟S410，處理器130依據第四機器學習演算法與多個優選特徵來建立第四預測模型。於此，第四預測模型可為整合預測模型，其預測結果為第一預測模型的預測結果、第二預測模型的預測結果與第三預測模型的預測結果的加權總和。
在第一/第二/第三/第四預測模型的建立階段(訓練階段)，處理器130可依據真實資訊(例如，真實的NPI分數)來計算模型輸出與真實資訊之間的預測誤差，上述預測誤差例如是平均絕對百分比誤差（Mean Absolute Percent Error，MAPE）。於是，於步驟S411，處理器130依據各預測模型的預測誤差，選擇預測模型其中之一作為情緒指標預測模型。處理器130可挑選第一/第二/第三/第四預測模型其中具有最小預測誤差的一者作為情緒指標預測模型。
綜上所述，於本發明實施例中，多張影像中受測者的情緒標記可基於受測者之臉部表情資訊而產生，並進而獲取分別屬於多個預定時間週期的多個整合情緒標記。用以預測情緒指標的情緒指標預測模型可透過將這些整合情緒標記作為訓練資料集而建立。亦即，此情緒指標預測模型可依據受測者連日來的日常情緒表現而預測出受測者的情緒指標。因此，本發明實施例所預測的情緒指標是依據長時間持續觀察受測者而產生，其具有相當的可信賴度，進而可協助精神相關疾病的診斷，以避免受測者不願表態病情而延遲精神相關疾病診斷的情況發生。此外，用以建立情緒指標預測模型的優選特徵是經過特徵萃取程序而決定，因而可提昇模型可信度與降低運算量。除此之外，透過將基於影像或其他儀器而估測的睡眠品質指標與活動量指標作為建立情緒指標預測模型的輸入特徵，也可協助預測受測者未來的情緒發展，而有效協助精神相關疾病的診斷。
雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
10:情緒指標預測系統 110:影像擷取設備 120:儲存裝置 130:處理器 S201～S205, S301～S305, S401～S411:步驟
圖1是依照本發明一實施例的情緒指標預測系統的功能方塊圖。 圖2是依照本發明一實施例的情緒指標預測方法的流程圖。 圖3是依照本發明一實施例的情緒指標預測方法的流程圖。 圖4是依照本發明一實施例的建立情緒指標預測模型的流程圖。
S201~S205:步驟

Claims (20)

  1. 一種情緒指標預測方法，適用於包括處理器的情緒指標預測系統，所述方法包括： 獲取一受測者的多張影像； 分析於該些影像之中該受測者的多個情緒標記； 依據該些影像各自對應的該些情緒標記計算多個預定時間週期內的多個整合情緒標記； 依據該些整合情緒標記決定多個優選特徵；以及 依據該些優選特徵建立一情緒指標預測模型，以依據該情緒指標預測模型預測一情緒指標。
  2. 如請求項1所述的情緒指標預測方法，其中分析於該些影像之中該受測者的該些情緒標記的步驟包括： 偵測該些影像之中該受測者的該些臉部影像區塊；以及 分別將該些臉部影像區塊輸入至一表情分類模型而獲取該些影像各自對應的該些情緒標記。
  3. 如請求項1所述的情緒指標預測方法，其中依據該些影像各自對應的該些情緒標記計算多個預定時間週期內的多個整合情緒標記的步驟包括： 對各該些預定時間週期的該些情緒標進行統計運算，而獲取各該些預定時間週期內的該些整合情緒標記其中之一。
  4. 如請求項1所述的情緒指標預測方法，其中依據該些整合情緒標記決定該些優選特徵的步驟包括： 依據該些整合情緒標記獲取部份或全部的多個初始特徵；以及 對該些初始特徵進行特徵萃取程序而提取出該些優選特徵。
  5. 如請求項4所述的情緒指標預測方法，其中依據該些整合情緒標記獲取部份或全部的該些初始特徵的步驟包括： 將該些整合情緒標記設定為部份或全部的該些初始特徵。
  6. 如請求項4所述的情緒指標預測方法，其中依據該些整合情緒標記獲取部份或全部的該些初始特徵的步驟包括： 對該些整合情緒標記進行至少一統計運算處理而獲取部份或全部的該些初始特徵。
  7. 如請求項4所述的情緒指標預測方法，更包括： 依據該些影像獲取該受測者的至少一活動量指標；以及 將該至少一活動量指標設定為另一部份的該些初始特徵。
  8. 如請求項4所述的情緒指標預測方法，更包括： 依據該些影像或其他儀器獲取該受測者的至少一睡眠品質指標；以及 將該至少一睡眠品質指標設定為另一部份的該些初始特徵。
  9. 如請求項1所述的情緒指標預測方法，其中依據該些優選特徵建立該情緒指標預測模型的步驟包括： 依據該些優選特徵建立多個預測模型，並獲取各該些預測模型的預測誤差；以及 依據各該些預測模型的預測誤差，選擇該些預測模型其中之一作為該情緒指標預測模型。
  10. 如請求項9所述的情緒指標預測方法，其中該些預測模型包括第一預測模型、第二預測模型，以及整合預測模型，該整合預測模型的預測結果為該第一預測模型的預測結果與該第二預測模型的預測結果的加權總和。
  11. 一種情緒指標預測系統，包括： 一儲存裝置，記錄有多個指令；以及 一處理器，耦接該儲存裝置，經配置以執行所述指令以： 獲取一受測者的多張影像； 分析於該些影像之中該受測者的該些情緒標記； 依據該些影像各自對應的該些情緒標記計算多個預定時間週期內的多個整合情緒標記； 依據該些整合情緒標記決定多個優選特徵；以及 依據該些優選特徵建立一情緒指標預測模型，以依據該情緒指標預測模型預測一情緒指標。
  12. 如請求項11所述的情緒指標預測系統，其中該處理器更經配置以： 偵測該些影像之中該受測者的該些臉部影像區塊；以及 分別將該些臉部影像區塊輸入至一表情分類模型而獲取該些影像各自對應的該些情緒標記。
  13. 如請求項11所述的情緒指標預測系統，其中該處理器更經配置以： 對各該些預定時間週期的該些情緒標進行統計運算，而獲取各該些預定時間週期內的該些整合情緒標記其中之一。
  14. 如請求項11所述的情緒指標預測系統，其中該處理器更經配置以： 依據該些整合情緒標記獲取部份或全部的多個初始特徵；以及 對該些初始特徵進行特徵萃取程序而提取出該些優選特徵。
  15. 如請求項14所述的情緒指標預測系統，其中該處理器更經配置以： 將該些整合情緒標記設定為部份或全部的該些初始特徵。
  16. 如請求項14所述的情緒指標預測系統，其中該處理器更經配置以： 對該些整合情緒標記進行至少一統計運算處理而獲取部份或全部的該些初始特徵。
  17. 如請求項14所述的情緒指標預測系統，其中該處理器更經配置以： 依據該些影像獲取該受測者的至少一活動量指標；以及 將該至少一活動量指標設定為另一部份的該些初始特徵。
  18. 如請求項14所述的情緒指標預測系統，其中該處理器更經配置以： 依據該些影像或其他儀器獲取該受測者的至少一睡眠品質指標；以及 將該至少一睡眠品質指標設定為另一部份的該些初始特徵。
  19. 如請求項11所述的情緒指標預測系統，其中該處理器更經配置以： 依據該些優選特徵建立多個預測模型，並獲取各該些預測模型的預測誤差；以及 依據各該些預測模型的預測誤差，選擇該些預測模型其中之一作為該情緒指標預測模型。
  20. 如請求項11所述的情緒指標預測系統，其中該些預測模型包括第一預測模型、第二預測模型，以及整合預測模型，該整合預測模型的預測結果為該第一預測模型的預測結果與該第二預測模型的預測結果的加權總和。
TW109147021A 2020-12-31 2020-12-31 情緒指標預測方法與系統 TWI811605B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
TW109147021A TWI811605B (zh) 2020-12-31 2020-12-31 情緒指標預測方法與系統
US17/366,041 US11955245B2 (en) 2020-12-31 2021-07-02 Method and system for mental index prediction
EP21190081.6A EP4024403A1 (en) 2020-12-31 2021-08-06 Method and system for mental index prediction
CN202110931855.6A CN114694206A (zh) 2020-12-31 2021-08-13 情绪指标预测方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW109147021A TWI811605B (zh) 2020-12-31 2020-12-31 情緒指標預測方法與系統

Publications (2)

Publication Number Publication Date
TW202228150A true TW202228150A (zh) 2022-07-16
TWI811605B TWI811605B (zh) 2023-08-11

Family

ID=77249730

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109147021A TWI811605B (zh) 2020-12-31 2020-12-31 情緒指標預測方法與系統

Country Status (4)

Country Link
US (1) US11955245B2 (zh)
EP (1) EP4024403A1 (zh)
CN (1) CN114694206A (zh)
TW (1) TWI811605B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117038074A (zh) * 2023-08-01 2023-11-10 中国工业互联网研究院 基于大数据的用户管理方法、装置、设备及存储介质
CN117995399A (zh) * 2024-01-25 2024-05-07 徐州医科大学 基于多模态数据的大规模心理健康智能评价方法及系统

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1666967B1 (en) * 2004-12-03 2013-05-08 Magix AG System and method of creating an emotional controlled soundtrack
CN103530788A (zh) * 2012-07-02 2014-01-22 纬创资通股份有限公司 多媒体评价系统、多媒体评价装置以及多媒体评价方法
WO2015074116A1 (en) * 2013-11-20 2015-05-28 The Council Of The Queensland Institute Of Medical Research Burst analysis
US10191920B1 (en) * 2015-08-24 2019-01-29 Google Llc Graphical image retrieval based on emotional state of a user of a computing device
US10242034B1 (en) * 2015-12-28 2019-03-26 Amazon Technologies, Inc. Intelligent selection of images to create image narratives
US10467290B1 (en) * 2015-12-29 2019-11-05 Amazon Technologies, Inc. Generating and refining a knowledge graph
TWI642407B (zh) * 2016-10-11 2018-12-01 國立臺北護理健康大學 腦波偵測情緒裝置
CN106650621A (zh) * 2016-11-18 2017-05-10 广东技术师范学院 一种基于深度学习的情绪识别方法及系统
CN107463888B (zh) * 2017-07-21 2020-05-19 竹间智能科技（上海）有限公司 基于多任务学习与深度学习的人脸情绪分析方法及系统
CN107633203A (zh) * 2017-08-17 2018-01-26 平安科技（深圳）有限公司 面部情绪识别方法、装置及存储介质
US10511888B2 (en) * 2017-09-19 2019-12-17 Sony Corporation Calibration system for audience response capture and analysis of media content
US11083398B2 (en) * 2017-12-07 2021-08-10 Neucogs Ltd. Methods and systems for determining mental load
US10522143B2 (en) * 2018-02-27 2019-12-31 Microsoft Technology Licensing, Llc Empathetic personal virtual digital assistant
CN109190487A (zh) 2018-08-07 2019-01-11 平安科技（深圳）有限公司 人脸情绪识别方法、装置、计算机设备及存储介质
US11364894B2 (en) * 2018-10-29 2022-06-21 Hyundai Motor Company Vehicle and method of controlling the same
US20200138356A1 (en) * 2018-11-01 2020-05-07 Moodify Ltd. Emotional state monitoring and modification system
CN109816141A (zh) 2018-12-13 2019-05-28 平安科技（深圳）有限公司 基于数据分析的产品数据预测方法、装置、计算机设备
CN109583431A (zh) 2019-01-02 2019-04-05 上海极链网络科技有限公司 一种人脸情绪识别模型、方法及其电子装置
TWM579360U (zh) 2019-03-21 2019-06-11 嘉藥學校財團法人嘉南藥理大學 Questioning system for detecting facial expressions
GB2588747B (en) * 2019-06-28 2021-12-08 Huawei Tech Co Ltd Facial behaviour analysis
US11188718B2 (en) * 2019-09-27 2021-11-30 International Business Machines Corporation Collective emotional engagement detection in group conversations
US11778309B2 (en) * 2020-09-11 2023-10-03 International Business Machines Corporation Recommending location and content aware filters for digital photographs

Also Published As

Publication number Publication date
US11955245B2 (en) 2024-04-09
EP4024403A1 (en) 2022-07-06
US20220208383A1 (en) 2022-06-30
CN114694206A (zh) 2022-07-01
TWI811605B (zh) 2023-08-11

Similar Documents

Publication Publication Date Title
RU2648836C2 (ru) Системы, способы и компьютерочитаемые носители для выявления вероятного влияния медицинского состояния на пациента
Zhao et al. Direct cup-to-disc ratio estimation for glaucoma screening via semi-supervised learning
Ashraf et al. Automated video analysis of handwashing behavior as a potential marker of cognitive health in older adults
JP6199791B2 (ja) ペット健康診断装置、ペット健康診断方法及びプログラム
TWI811605B (zh) 情緒指標預測方法與系統
CN109426834A (zh) 信息处理装置、信息处理方法和信息处理系统
Al-Adhaileh Diagnosis and classification of Alzheimer's disease by using a convolution neural network algorithm
WO2020027213A1 (ja) 認知症リスクの提示システムおよび方法
Galán-Mercant et al. Assessing physical activity and functional fitness level using convolutional neural networks
Deepa et al. Automated grading of diabetic retinopathy using CNN with hierarchical clustering of image patches by siamese network
Balgetir et al. Detection of ataxia in low disability MS patients by hybrid convolutional neural networks based on images of plantar pressure distribution
CN116452593B (zh) 血管性认知障碍的ai评估模型的构建方法、装置及系统
CN116452592A (zh) 脑血管病ai认知功能评测模型的构建方法、装置及系统
Lysenko et al. Towards automated emotion classification of atypically and typically developing infants
Danacı et al. Analysis of static plantar pressure data with capsule networks: Diagnosing ataxia in MS patients with a deep learning-based approach
TW202042251A (zh) 健康管理方法與系統
Olmos et al. Gait patterns coded as Riemannian mean covariances to support Parkinson’s disease diagnosis
Mansy et al. Predictive modeling for diagnosis of cervical cancer with feature selection
Shakil et al. Toward Precision Diagnosis of Otitis Media: Introducing A Novel EARnet-AR Model
Liu et al. Deep Neural Network-Based Video Processing to Obtain Dual-Task Upper-Extremity Motor Performance Toward Assessment of Cognitive and Motor Function
Civit Masot A Contribution to Deep Learning based Medical Image Diagnosis Aids
Prajeeth et al. Smart System for Human Nail Disease Diagnosis and Underlying Systemic Disease
Nasien et al. A Machine Learning Model for Determination of Gender Utilizing Hybrid Classifiers
Pan Deep Transfer Learning Applied to Time-series Classification for Predicting Heart Failure Worsening Using Electrocardiography
Shourie et al. Alzheimer's Disorder Identification from MRI Images with EfficientNetB0