TW201833802A - 機械學習裝置及機械學習程式 - Google Patents

Abstract

提供能夠提高個人特定或情緒辨識、身體狀況推測之 精度的機械學習裝置及機械學習程式。

臉部特徵量算出部31從臉部影像算出臉部特徵 量，臉部個人特定部42將之與標記DB56中的個人特定用的臉部特徵量比較以特定個人。臉部特徵量算出部31所算出的臉部特徵量和標記DB56中的個人特定用的臉部特徵量之差大於特定值之時，用臉部特徵量算出部31已算出的臉部特徵量更新在標記DB56中的臉部特徵量。特定時間的期間中臉部特徵量算出部31算出近似的臉部特徵量的情況下，若標記DB56中不存在包含與前述臉部特徵量近似的特徵量的特定的個人之情緒記錄，則將包含詢問所得到的情緒和前述臉部特徵量的前述個人的記錄追加到標記DB56中。

Description

機械學習裝置及機械學習程式

本發明係關於累積用於個人特定或情緒辨識、身體狀況推測的特徵量之機械學習裝置及機械學習程式。

隨著計算能力的增加，而可以用臉部或聲音達成個人的特定或情緒的辨識。另外，隨著穿戴式機器(智慧手錶、活動量計)的普及，也能夠取得身體的活動．體溫．脈搏等的人的活體狀態。伴隨於此，藉由特定個人並辨識出前述個人的情緒，使得人和機器人的對話變得順利、或提供基於健康．運動管理面提出建議的服務。

為了實現個人特定或情緒辨識，而使用了機械學習的技術。機械學習中有2個過程：電腦從事物資料(訓練資料)尋找規律的學習、以及學習之後從未知事物的資料判斷是何事物的推測。在訓練資料標示了表示事物的標記，個人特定中標示了個人識別資訊的標記、情緒辨識中標示了喜．怒等標記。通常是在學習之後進行推測，但為了提高推測的精度，也會重複進行學習(再學習)。

專利文獻1中記載的技術為機械學習的1種，其目的在於辨識使用者的個性以提高個人特定或情緒辨識的精度。

先行技術文獻 專利文獻：

專利文獻1：日本特開2001-83984號公報

專利文獻1所記載的發明中，為了提高情緒辨識精度以及個人特定精度，向使用者詢問已辨識之情緒是否正確(參照專利文獻1的圖15和段落0063)。進行前述詢問的時機，是在辨識了情緒之後(參照專利文獻1的圖7之步驟102和段落0036)，反覆執行。

但是，連本人都未必能確實辨識人的情緒，且重複回答情緒對使用者而言是非常麻煩的，要盡量減少詢問才好。另外，關於身體狀況之辨識則無記載。

因此，本發明之課題為，提供能夠提高個人特定或情緒辨識、身體狀況推測之精度的機械學習裝置及機械學習程式。

為了解決前述課題，本發明為機械學習裝置，其係為連接了照相機和麥克風的機械學習裝置，其包括：臉部特徵量算出部，從前述照相機已拍攝的前述機械學習裝置的使用者之臉部資料算出臉部特徵量；聲音特徵量算出部，從前述麥克風已拾取的前述使用者的聲音資料算出聲音特徵量；記憶部，其記憶儲存包含前述臉部特徵量或前述聲音特徵量、前述使用者的個人識別標記、以及前述使用者的個人識別資訊的記錄的標記資料庫；校正功能部，更新前述標記資料庫；臉部個 人特定部，在前述標記資料庫中檢索含有與前述臉部特徵量算出部已算出的臉部特徵量接近的臉部特徵量之記錄，以輸出前述使用者的個人識別標記；聲音個人特定部，在前述標記資料庫中檢索含有與前述聲音特徵量算出部已算出的聲音特徵量接近的聲音特徵量之記錄，以輸出前述使用者的個人識別標記；前述校正功能部，前述臉部個人特定部已輸出前述使用者的個人識別標記時的前述臉部特徵量算出部所算出之臉部特徵量、與前述標記資料庫中的前述使用者之臉部特徵量的差大於特定值的情況下，將前述標記資料庫中的前述使用者的臉部特徵量更新為前述臉部特徵量算出部所算出的臉部特徵量；前述聲音個人特定部已輸出前述使用者的個人識別標記時的前述聲音特徵量算出部所算出的聲音特徵量、與前述標記資料庫中的前述使用者之聲音特徵量的差大於特定值的情況下，將前述標記資料庫中的前述使用者之聲音特徵量更新為前述聲音特徵量算出部所算出的聲音特徵量。

依據本發明，可提供能夠提高個人特定或情緒辨識、身體狀況推測之精度的機械學習裝置及機械學習程式。

21‧‧‧照相機

22‧‧‧麥克風

23‧‧‧脈搏感測器

31‧‧‧臉部特徵量算出部

32‧‧‧聲音特徵量算出部

33‧‧‧脈搏數取得部

41‧‧‧臉部情緒分析部

42‧‧‧臉部個人特定部

43‧‧‧聲音情緒分析部

44‧‧‧聲音個人特定部

45‧‧‧脈搏分析部

52‧‧‧個人．情緒．身體狀況推測部

56‧‧‧標記DB

57‧‧‧暫時標記DB

58‧‧‧標記履歷DB

800‧‧‧機械學習裝置

807‧‧‧機械學習功能

808‧‧‧特徵量算出功能

812‧‧‧校正功能

【圖1】表示本實施形態之機械學習裝置的軟體功能之構成的圖。

【圖2】例示本實施形態之機械學習裝置的功能構成之圖。

【圖3】用以說明本實施形態之情緒種類的圖。

【圖4】例示本實施形態之標記DB的資料構成的圖。

【圖5】例示本實施形態之暫時標記DB的資料構成的圖。

【圖6】例示本實施形態之標記履歷DB的資料構成之圖。

【圖7】本實施形態之機械學習處理全體的流程圖。

【圖8】本實施形態之標記DB更新處理中之臉部個人標記處理和聲音個人標記處理和臉部情緒標記處理的流程圖。

【圖9】本實施形態之標記DB更新處理中之聲音情緒標記處理和脈搏標記處理、及、標記履歷DB更新處理的流程圖。

≪軟體構成≫

以下，參照各圖說明用以實施本發明的形態。圖1為表示本實施形態之機械學習裝置800的軟體功能之構成的圖。軟體功能包含：組態設定801、結果輸出功能803、感測資料收訊功能804、訊號處理功能805、機械學習功能807、特徵量算出功能808、個人．情緒推測功能809、身體狀況推測功能810、故障診斷功能811、校正功能812。

機械學習裝置800使用纜線或近距離無線通信等與照相機、麥克風、脈搏感測器等的感測器820連接，並具有設定DB(Database)802、標記DB56、暫時標記DB57及標記履歷DB58。

組態設定801係為設定關於感測包含人或物的外部環境的感測器820或作為機械學習裝置800的電腦之硬體環境之參數的功能。設定DB802為，儲存由組態設定801所設定的參數之資料庫。結果輸出功能803為，輸出後述的個人．情緒推測功能 809、身體狀況推測功能810等所推測之結果的功能。

感測資料收訊功能804係為接收來自感測器820之資料的功能。訊號處理功能805係為處理從感測器820接收到的影像、聲音等的資料之功能，執行傅立葉轉換、影像處理、過濾等。

機械學習功能807為使用神經網路或遺傳編程、支援向量機等各種機械學習模型的通用機械學習的功能。特徵量算出功能808，用訊號處理功能805處理感測資料收訊功能804已接收的資料，算出特徵量，將之輸入機械學習功能807。聲音的特徵量中有聲音的音調．音高等，臉部的特徵量中有眼或口之端點的位置關係等。

個人．情緒推測功能809，使用機械學習功能807從人(機械學習裝置800的使用者)的感測資料特定個人或推測情緒。身體狀況推測功能810，使用機械學習功能807從人的感測資料推測身體狀況。故障診斷功能811，使用機械學習功能807從機器的感測資料診斷前述機器的故障原因或預測故障。使用結果輸出功能803，輸出個人．情緒推測功能809、身體狀況推測功能810、故障診斷功能811所推測．診斷的結果。

校正功能812，更新特徵量算出功能808所算出的特徵量、與個人．情緒推測功能809、身體狀況推測功能810、故障診斷功能811所推測．診斷的結果(個人識別資訊的標記或怒．喜等的情緒標記等)之關係。

標記DB56中，包含用於個人特定或情緒辨識(推測)的標記與特徵量的關係。暫時標記DB57中，暫時儲存了作為已推測 出的結果之標記。標記履歷DB58中，為了監視情緒或身體狀況的經年變化，儲存了已推測之標記的履歷。由於上述3個DB中含有個人資訊，因此必須要安全地被儲存。

以下說明的能夠提高個人特定或情緒辨識、身體狀況推測之精度的機械學習裝置800，係使用上述軟體功能實現。

≪機械學習裝置的功能構成≫

圖2為例示本實施形態之機械學習裝置800的功能構成之圖。機械學習裝置800具備：輸入/輸出部822、控制部823、記憶部824、虛擬機器監視器825、實時OS826、安全OS827、需要多功能OS(Rich OS)828、特徵量算出功能808、機械學習功能807、校正功能812、個人．情緒．身體狀況推測部52、標記DB56、暫時標記DB57、標記履歷BD58。另外，機械學習裝置800連接了照相機21、麥克風22、脈搏感測器23。

輸入/輸出部822，由通訊網路卡等構成，執行與照相機21或觸控面板(不圖示)等的裝置．機器之資料的收發。感測資料收訊功能804，經由輸入/輸出部822，接收來自照相機21、麥克風22、脈搏感測器23的資料。記憶部824，由RAM(Random Access Memory)或ROM(Read Only Memory)、硬碟構成，記憶各種程式、或記憶標記DB56、暫時標記DB57、標記履歷DB58。控制部823，由CPU(Central Processing Unit)構成，藉由執行記憶在記憶部824中的圖1所記載的各種功能的程式或其他程式，使機械學習裝置800發揮功能。

虛擬機器監視器825係為，使複數個電腦(OS(Operating System))在1台電腦上虛擬地動作的程式。實時 OS826係為，在虛擬機器監視器825上動作，要求處理時間保證的應用程式動作之OS。安全OS827係為，在虛擬機器監視器825上動作，要求高度安全之應用程式動作、或儲存資料的OS。需要多功能OS(rich OS)828係為，必須要高度的GUI(Graphical User Interface)的應用程式動作之OS。

特徵量算出功能808具備：臉部特徵量算出部31、聲音特徵量算出部32、脈搏數取得部33，由於要求實時間處理，因此在實時OS826動作。機械學習功能807具備：臉部情緒分析部41、臉部個人特定部42、聲音情緒分析部43、聲音個人特定部44、脈搏分析部45，由於要求實時間處理，因此在實時OS826動作。

為了處理個人資訊，校正功能812在安全OS827上動作，標記DB56、暫時標記DB57、標記履歷BD58儲存在安全OS827上。

臉部特徵量算出部31，從照相機21已拍攝的映像資料，算出使用者的臉部之特徵量。臉部特徵量算出部31已算出的特徵量，被輸出到臉部情緒分析部41和臉部個人特定部42。

聲音特徵量算出部32，算出麥克風22已拾取之使用者的聲音的特徵量。聲音特徵量算出部32已算出的特徵量，被輸出到聲音情緒分析部43和聲音個人特定部44。

脈搏數取得部33，取得脈搏感測器23已檢出的使用者之脈搏數，將之輸出到脈搏分析部45。

臉部情緒分析部41，從臉部特徵量算出部31已算出的特徵量，分析(推測)使用者的情緒，輸出情緒標記。情緒 標記中，除了喜怒哀楽的情緒標記之外，還有後述圖3中的表示座標的數值參數或圖3(b)記載的情緒標記。

圖3為用以說明本實施形態之情緒種類之圖。圖3(a)中顯示，用愉快度．覺醒度．疲勞度之3個軸來表示情緒。例如，「情緒：1,-2,0」的標記為表示愉快度為1、覺醒度為-2、疲勞度為0的狀態之情緒標記。圖3(b)以愉快度．覺醒度的2軸來表示情緒。「情緒：1,2」的標記為表示愉快度為1、覺醒度為2之狀態的情緒標記。亦可使用圖3(b)中所示的激動或警戒等的標記來取代2個數值。

回到圖2的說明，臉部情緒分析部41，在標記DB56中檢索具有與臉部特徵量算出部31已輸出的特徵量最相近之特徵量的記錄，以分析(推測)情緒。

圖4為例示本實施形態之標記DB56的資料構成的圖。標記DB56為表格形式的資料庫，1行(記錄)表示1個標記的關聯資訊。標記DB56由種類561、特徵量562、標記563、個人ID564、及更新時間565之列(屬性)構成。

種類561表示前述記錄的種類。種類中有含有臉部特徵量和情緒標記的臉部情緒、含有臉部特徵量和個人識別標記的臉部個人、含有聲音特徵量和情緒標記的聲音情緒、含有聲音特徵量和個人識別標記的聲音個人、含有脈搏數的脈搏。

特徵量562為代表前述記錄的特徵量。特徵量562的形式或內容隨著種類561而改變。例如，若種類561為臉部情緒，特徵量562為臉部特徵量算出部31所算出的特徵量的形式。例如，若種類561為脈搏，特徵量562為脈搏數取得部33所取得的脈搏 數。

標記563表示前述記錄的標記。標記的形式隨著種類561而改變。例如，若種類561為臉部情緒，標記563為，使用圖3(b)中說明的愉快度和覺醒度之2個參數表現情緒的標記(情緒標記)。若種類561為臉部個人，標記563為，表示「個人164」之個人識別資訊的標記(個人識別標記)。其它還有「身體狀況：不良」等的身體狀況標記。

個人ID564，表示前述記錄為特定個人或是一般，若為特定個人，則為前述個人識別資訊，若為一般則為「000」。若個人ID564為特定個人，特徵量562為代表前述個人的特徵量的特徵量。若個人ID564為「000」(一般)，特徵量562表示不倚賴個人之平均的特徵量。

更新時間565表示作成前述記錄的日時。

回到圖2的說明，臉部情緒分析部41，在標記DB56之中檢索種類561為臉部情緒，具有與臉部特徵量算出部31已輸出的特徵量最接近之特徵量562的記錄，並輸出前述記錄的標記563，以推測情緒，將情緒標記563輸出到暫時標記DB57和個人．情緒．身體狀況推測部52。參照圖7，將本處理的細節詳述如後。

圖5為例示本實施形態之暫時標記DB57的資料構成之圖。暫時標記DB57為表格形式的資料庫。1行為包含臉部情緒分析部41、臉部個人特定部42、聲音情緒分析部43、聲音個人特定部44、或、脈搏分析部45所輸出的標記之記錄。暫時標記DB57由種類571、特徵量572、標記573、準確度574、及 取得日時575之列構成。

種類571和標記DB56的種類561一樣，表示前述記錄的種類。

特徵量572，表示前述記錄的特徵量，例如，若前述記錄為臉部情緒分析部41所輸出的記錄，則為臉部特徵量算出部31所輸出的特徵量。

標記573，和標記DB56的標記563一樣，表示前述記錄的標記。

準確度574表示前述記錄之標記573的概率，當特徵量572和標記DB56中被檢索出的記錄之特徵量562越接近則其為越大的值。

取得日時575為作成前述記錄之日時。

回到圖2的說明，臉部個人特定部42，從臉部特徵量算出部31已算出的特徵量，檢索標記DB56，特定(推測)個人，將個人識別標記輸出到暫時標記DB57和個人．情緒．身體狀況推測部52。

聲音情緒分析部43，從聲音特徵量算出部32已算出的特徵量，檢索標記DB56，分析(推測)情緒，將情緒標記輸出到暫時標記DB57和個人．情緒．身體狀況推測部52。

聲音個人特定部44，從聲音特徵量算出部32已算出的特徵量，檢索標記DB56，特定(推測)個人，將個人識別標記輸出到暫時標記DB57和個人．情緒．身體狀況推測部52。

脈搏分析部45，從脈搏數取得部33已輸出的脈搏數，檢索標記DB56，分析(推測)情緒或身體狀況，將情緒標記或身體狀 況標記輸出到暫時標記DB57和個人．情緒．身體狀況推測部52。

校正功能812，從暫時標記DB57取得記錄，更新標記DB56或標記履歷DB58。藉由追加個人標記(個人ID564為個人的識別資訊)，能夠提高情緒分析的精度。參照圖8及圖9，詳述校正功能812的處理如後。

圖6為例示本實施形態之標記履歷DB58的資料構成之圖。標記履歷DB58中，將已檢出的情緒或身體狀況分類，並記錄作為履歷。標記履歷DB58為表格形式的資料庫，1行(記錄)表示表現出1個情緒的時間。標記履歷DB58由個人ID581、標記582、取得日時583、出現時間584之列構成。

個人ID581為被推測出前述記錄之情緒的個人的識別資訊。標記582為前述記錄的情緒標記。取得日時583表示推測出標記582之情緒的日時。出現時間584表示推測出前述記錄之情緒的累積時間。

個人．情緒．身體狀況推測部52，係由個人．情緒推測功能809(參照圖1)及身體狀況推測功能810組合而實現，從臉部情緒分析部41、臉部個人特定部42、聲音情緒分析部43、聲音個人特定部44、脈搏分析部45已輸出的標記綜合地特定出個人、或分析情緒或身體狀況。個人．情緒．身體狀況推測部52所特定的個人，係在後述的標記DB更新處理(參照圖8及圖9)中被參照。

≪機械學習處理≫

圖7為本實施形態之機械學習處理全體的流程圖。參照圖7，說明特徵量算出功能808、機械學習功能807、校正功能812 的處理。步驟S111~S114的一連串處理、步驟S121~S124的一連串處理、和步驟S131~S132的一連串處理之3個一連串處理，係分別非同步且獨立地進行處理。例如，有時候步驟S131~S132的一連串處理被執行一次的期間，步驟S111~S114的一連串處理被執行數次。

在步驟S111中，臉部特徵量算出部31從照相機21取得使用者的臉部影像。

在步驟S112中，臉部特徵量算出部31，從臉部影像算出臉部的特徵量，輸出到臉部情緒分析部41和臉部個人特定部42。特徵量為，眼的兩端和中點及上下點、口的兩端和中點及上下點、鼻尖、鼻孔、眉的兩端和中點等的點之相對位置關係。

在步驟S113中，臉部情緒分析部41，從臉部的特徵量分析(推測)情緒，將情緒標記輸出到暫時標記DB57和個人．情緒．身體狀況推測部52。詳言之，臉部情緒分析部41，在標記DB56(參照圖4)中，檢索種類561為臉部情緒、具有與臉部特徵量算出部31已輸出的特徵量最接近的特徵量562之記錄，將前述記錄的標記563輸出，藉此分析情緒。

不過，若個人．情緒．身體狀況推測部52已經特定出使用者個人，則臉部情緒分析部41如下述般分析情緒，輸出情緒標記。(1)在個人ID564為前述個人之識別資訊的記錄中檢索最接近的特徵量562，算出其與臉部特徵量算出部31已輸出的特徵量之距離。繼之，(2)在個人ID564為「000」的記錄中檢索具有最接近特徵量562的記錄，算出其與臉部特徵量算出部31已輸出的特徵量的距離。若(1)的記錄存在且(1)的距離小 於(2)所算出的距離的特定倍數，則輸出(1)的記錄之標記563，否則輸出(2)的記錄的標記563。

再者，將標記輸出到暫時標記DB57係為，將記錄追加到暫時標記DB57，種類571更新為臉部情緒、特徵量572更新為臉部特徵量算出部31已輸出的特徵量、標記573更新為標記563、準確度574更新為特徵量的接近度、取得日時575更新為現在時刻。

在步驟S114中，臉部個人特定部42，從臉部的特徵量特定(推測)個人，將個人識別標記輸出到暫時標記DB57和個人．情緒．身體狀況推測部52。詳言之，臉部個人特定部42，在標記DB56中，檢索種類561為臉部個人、具有與臉部特徵量算出部31已輸出的特徵量有特定接近度的特徵量562之記錄，輸出前述記錄的標記563，以特定個人。

若不存在具有特定的接近度之特徵量562的記錄，則臉部個人特定部42，將記錄作為未登錄的使用者，新追加到標記DB56。前述記錄的種類561為臉部個人、特徵量562為臉部特徵量算出部31已輸出的特徵量、標記563為新的個人識別標記、個人ID564為新的個人識別資訊、更新時間565為現在時刻。再者，若已特定出個人，且標記DB56中的前述個人的記錄之特徵量562、與臉部特徵量算出部31已輸出的特徵量為特定的接近度，則將已完成個人特定的個人識別標記輸出。

步驟S113和S114的處理，係分別非同步且獨立地處理。

步驟S121~S124的處理係為和步驟S111~S114同樣的處理，其中把照相機21換成麥克風22，臉部換成聲音。聲音 的特徵量為、倒頻譜(cepstrum)分析之共振頻率和峰值、傅立葉轉換的頻率能量分布、抽出音素的說話速度等。

在步驟S131中，脈搏數取得部33，從脈搏感測器23取得使用者的脈搏數。

在步驟S132中，脈搏分析部45，在標記DB56中檢索脈搏數接近的記錄，藉此從脈搏數分析(推測)情緒或身體狀況，將情緒標記或身體狀況標記輸出到暫時標記DB57和個人．情緒．身體狀況推測部52。

在步驟S113、S114、S123、S124或S132中，當暫時標記DB57被更新時，開始步驟S151之後的校正功能812的處理。再者，個人．情緒．身體狀況推測部52，參照已輸出的標記，執行使用者的個人特定、情緒推測、身體狀況推測。特定出的使用者之個人識別資訊，在後述的步驟S151或標記DB更新處理(步驟S152)中被參照。

在步驟S151中，校正功能812，判斷已追加的最新近的個人識別標記所示的已特定出的人物和已經特定出的人物是否為相同，若為相同(是)則進行步驟S154，若非相同(否)則進行步驟S152。

在步驟S152中，校正功能812執行標記DB更新處理。參照圖8及圖9，詳述本處理的細節。

在步驟S153中，校正功能812將暫時標記DB57中的記錄全部刪除。

在步驟S154中，校正功能812，判斷在前一次的標記DB更新處理之後是否已經過特定時間，若尚未經過(否)，則回到最 初之處理的步驟S111、S121、S131，若已經過(是)，則進行步驟S152。

≪標記DB更新處理≫

圖8為本實施形態之標記DB更新處理中的臉部個人標記處理、聲音個人標記處理、和臉部情緒標記處理的流程圖。圖9為本實施形態之標記DB更新處理中的聲音情緒標記處理和脈搏標記處理、及、標記履歷DB更新處理的流程圖。參照圖8和圖9，說明相當於步驟S152的校正功能812更新標記DB56的處理。

≪標記DB更新處理：臉部個人和聲音個人≫

步驟S212中，校正功能812，判斷在暫時標記DB57(參照圖5)的記錄中，臉部個人的準確度是否低下。詳言之，校正功能812，在暫時標記DB57的記錄中檢索種類571為臉部個人的記錄，判斷準確度574的平均值是否低於特定值。當準確度574低於特定值之記錄高於特定比率，則校正功能812可以判斷為準確度低下。

在步驟S213中，若校正功能812判斷為準確度低(是)則進行步驟S214，若判斷為不低(否)則進行步驟S215。

步驟S214中，校正功能812算出新的特徵量並更新標記DB56的前述個人識別標記之記錄。標記DB56的前述個人識別標記之記錄係為，標記563為對應於已特定之個人的個人識別標記，種類561為臉部個人之記錄。

校正功能812，在暫時標記DB57的記錄中檢索種類571為臉部個人的記錄，從前述記錄的特徵量572算出新的特徵 量，更新標記DB56的前述個人識別標記之記錄的特徵量562。要算出新的特徵量，算出從暫時標記DB57抽出的特徵量572之平均特徵量亦可，從特徵量572最密集之處選出作為代表的特徵量亦可。另外，用新的特徵量更新標記DB56的特徵量562亦可，用新的特徵量和標記DB56的特徵量562之中間的特徵量進行更新亦可。校正功能812將更新時間565更新為現在時刻。

在步驟S215中，校正功能812，判斷標記DB56的前述個人識別標記的記錄前一次更新後是否已經過特定期間。詳言之，校正功能812，判斷在標記DB56的記錄中標記563為對應於已特定的個人之個人識別標記，種類561為臉部個人之記錄的更新時間565是否在特定期間之前。

在步驟S216中，校正功能812，若判斷為已經過特定期間(是)則進行步驟S217，若判斷為尚未經過(否)則進行步驟S222。

在步驟S217中，校正功能812更新標記DB56的前述個人識別標記之記錄。更新的方法和步驟S214一樣。

步驟S222~S227係為，與步驟S212~S217相同的處理，其中臉部被替換為聲音。

≪標記DB更新處理：臉部情緒和聲音情緒≫

在步驟S231中，校正功能812，檢索暫時標記DB57，臉部情緒中是否有特徵量相近且在特定時間的期間中連續的記錄。詳言之，校正功能812，在暫時標記DB57的記錄中檢索種類571為臉部情緒的記錄，在特徵量572相近的記錄中，檢索是否有取得日時575在特定時間的期間中連續的記錄。

在步驟S232中，校正功能812，若步驟S231的檢索結果之記錄存在(是)，則進行步驟S233，若此種記錄不存在，則進行步驟T1(圖9的步驟S241)。

在步驟S233中，校正功能812，在標記DB56中檢索包含與檢索結果之記錄的特徵量572相近的特徵量562的臉部情緒之記錄。詳言之，校正功能812，在標記DB56的記錄中，檢索種類561為臉部情緒、特徵量562較特定值更接近檢索結果之特徵量572的記錄。

在步驟S234中，校正功能812，若步驟S233的檢索之結果中存在相近的記錄(是)，則進行步驟S235，若此種記錄不存在，則進行步驟T1(圖9的步驟S241)。

在步驟S235中，校正功能812，若步驟S233的檢索之標記DB56的記錄的個人ID564為已特定完畢的個人之識別資訊，則作為已在標記DB56登錄完畢，進行步驟T1(圖9的步驟S241)。若個人ID564不是已特定完畢的個人的識別資訊，校正功能812，讓使用者確認標記的內容是否正確之後，將前述標記登錄於標記DB56。

詳言之，校正功能812，將圖3(b)的圖顯示在觸控面板(未圖示)上並詢問，相對於步驟S233的檢索結果之記錄的標記573所示的情緒，取得日時575之時的情緒是否與之相近，若不相近的話是怎樣的情緒。繼之，校正功能812，追加記錄，將種類561更新為臉部情緒、特徵量562更新為步驟S233的檢索結果之記錄中的特徵量572的平均值、標記563更新為詢問之結果的標記、個人ID564更新為已特定完畢的個人之識別資訊、 更新時間565更新為現在時刻。亦可用步驟S214中所說明的作為代表的特徵量代替特徵量572的平均值。

步驟S241~S245為與步驟S231~S235相同的處理，其中臉部情緒替換為聲音情緒。

≪標記DB更新處理：脈搏≫

在步驟S251中，校正功能812，在暫時標記DB57的記錄中檢索種類571為脈搏的記錄，檢索是否有特徵量572的脈搏數高於特定值的記錄或低於特定值的記錄，且取得日時575是在特定時間的期間中連續的記錄。

在步驟S252中，校正功能812，若步驟S251的檢索結果之記錄存在(是)，則進行步驟S253，若不存在(否)，則進行步驟S261。

在步驟S253中，校正功能812，從步驟S251中的檢索結果之記錄中的取得日時575當時的情緒標記，判斷是否分類為高於特定脈搏數且情緒為激動狀態(參照圖3(b))、或者低於特定脈搏數且情緒為冷靜狀態。情緒標記可以取自取得日時575為步驟S251的檢索結果之記錄中的取得日時575當時，且種類571為臉部情緒或聲音情緒的記錄之標記573。

在步驟S254中，校正功能812，若分類可能(是)則進行步驟S255，若分類不能(否)則進行步驟S256。

步驟S255中，校正功能812，提示圖3(b)之情緒圖並詢問，相對於步驟S253的臉部情緒或聲音情緒所示的情緒，取得日時575當時的情緒是否與之相近，若不相近的話是怎樣的情緒。繼之，校正功能812，將記錄追加到標記DB56，將種類561更 新為脈搏、特徵量562更新為步驟S251的檢索結果之記錄的特徵量572的平均值、標記563更新為詢問之結果的標記、個人ID564更新為已特定完畢的個人的識別資訊、更新時間565更新為現在時刻。再者，若已在標記DB56登錄完畢作為對個人標記(特徵量562接近特徵量572的平均值、個人ID564為已特定完畢的個人之識別資訊的記錄存在)，則無需本處理。

步驟S256中，校正功能812，詢問使用者，在取得日時575時其身體狀況是否不佳。

在步驟S257中，校正功能812，詢問結果為，並無身體狀況不佳(否)，則進行步驟S261，若不佳(是)，則進行步驟S258。

步驟S258中，校正功能812，將身體狀況不良標記的記錄追加到標記DB56。詳言之，校正功能812，將記錄追加到標記DB56，將種類561更新為脈搏、特徵量562更新為步驟S251的檢索結果之記錄所包含的特徵量572的平均值、標記563更新為「身體狀況：不良」、個人ID564更新為已特定完畢的個人的識別資訊、更新時間565更新為現在時刻。

≪履歷DB更新處理≫

步驟S261中，校正功能812，將已檢出的情緒分類，將已檢出的累積時間儲存在標記履歷DB58(參照圖6)中。就情緒分類而言，係藉由位於圖3(b)的圖中的距離原點特定接近度的區域或除此之外的區分為激動/冷靜和愉快/不快的4個象限區域中的何者來予以分類。詳言之，校正功能812，若種類571為臉部情緒或聲音情緒、且標記573中的情緒標記的2個值小於特定值，則標示以「情緒：0,0」的標記，若分析為激動且愉快的 情緒則標示以「情緒：1,1」的標記並加以分類。其他象限也是一樣。針對5個區域的各情緒算出累積時間，作為取得日時575的間隔被檢出的時間，並追加記錄。記錄的個人ID581為已特定的個人的識別資訊、標記582為上述所示之情緒標記、取得日時583為現在時刻、出現時間584為上述的累積時間。

≪變形例≫

上述的實施形態中，校正功能812的標記DB更新處理，係於已經過特定時間時執行(圖7的步驟S154)。亦可在臉部情緒中取得了特定時間連續的相近特徵量時(圖8的步驟231)、聲音情緒中取得了特定時間連續的相近特徵量時(圖9的步驟241)、高於特定脈搏數的脈搏數連續時(圖9的步驟S251)、或低於特定脈搏數的脈搏數連續時(步驟S251)，開始標記DB更新處理。在發生關於情緒或身體狀況的詢問時(步驟S235、S245、S255、S256)，在檢出了發生時進行詢問，藉此能夠取得更正確的情緒或身體狀況。

上述實施形態中，為了取得活體狀態，使用了照相機或麥克風、脈搏感測器。不限於此，亦可使用取得體溫的感測器或3維加速度感測器取得活體狀態。例如，使用穿戴在手臂或腳的穿戴式機器，除了脈搏之外還取得體溫或血壓、身體震顫。另外，從照相機所取得的臉部的特徵量可以檢出臉部方向或視線方向，從臉部方向或視線方向的變化量、身體震顫量(震顫程度、頻率、時間)能夠得知包含發作在內的身體狀況不良的特徵量，個人．情緒．身體狀況推測部52能夠推測身體狀況不良。

若機械學習裝置800係搭載於汽車，則可以在推測到身體狀況不良的時點、或、由身體狀況不良的特徵量取得了異常的脈搏或身體震顫量等的時點，使汽車停止或者減速，而能夠防止意外事故。在步驟S261中，除了情緒履歷之外，將身體狀況不良的記錄集計並儲存在標記履歷DB58中，藉此能夠掌握身體狀況的經年變化。

再者，可以使用體重、體脂肪率、對話量、睡眠時間、紫外線被曝量、呼吸數、運動量、發聲音量等，作為其他的活體狀態資訊。另外，亦可使用溫度、濕度、光量、照度、紫外線量、氣壓、噪音等的環境資訊推測情緒或身體狀況，監視經年變化。

校正功能812，當判斷為步驟S151中已特定的個人(使用者)和之前已特定的個人不同時，執行標記DB更新處理。也可以不僅以一次的暫時標記DB57的更新就判斷為不同個人，而是在特定時間的期間中判定為不同個人之後再開始標記DB更新處理。藉此，即使是因為照相機拍攝狀況或別人的聲音混入等而使得個人特定變得不穩定，也可以防止非必要地頻繁執行標記DB更新處理的情況發生。

≪效果≫

上述的實施形態中，特定出個人的特徵量從標記DB56中的特徵量改變了的時候(圖8的步驟S212、步驟S222)或者已經過一定時間的時候(步驟S215、步驟S225)，則更新特徵量。藉此，即使是發生了經年變化的情況下，也能防止無法特定出個人的情況發生。另外，使用此經年變化後的個人特定的特徵 量，能夠更精確地特定出個人。

上述的實施形態中，表現於臉部特徵量或聲音特徵量的情緒，並非在表現出情緒之後立刻，而是在特定的時間期間連續表現之後(圖8的步驟S231、圖9的步驟S241)，再向使用者詢問並登錄於標記DB56。由於情緒在特定時間的期間中連續，所以使用者容易辨識前述情緒，能夠得到正確的情緒並登錄於標記DB56。進而，個人．情緒．身體狀況推測部52能夠更正確地推測情緒。

另外，在詢問之前，先確認未作為特定個人記錄登錄於標記DB56(步驟S235、步驟S245)。因此，能夠減少對於使用者的詢問次數，能夠減少回答的麻煩。

藉由登錄包含特定個人的特徵量562、及向前述個人詢問之情緒的標記563的記錄，能夠作成符合各個使用者的情緒表現的標記DB56，因此能夠達成精度更高的情緒推測。

從標記履歷DB58(參照圖6)，能夠掌握長期間當中的使用者的情緒之經年變化。例如，若「情緒：-1,-1」的標記582之出現時間584有增加的傾向，則可知使用者轉變為鬱結狀態，可以向使用者警告其有心理層面發生問題的可能性。

Claims (4)

1. 一種機械學習裝置，其係為連接了照相機和麥克風的機械學習裝置，其包括：臉部特徵量算出部，從前述照相機已拍攝的前述機械學習裝置的使用者之臉部資料算出臉部特徵量；聲音特徵量算出部，從前述麥克風已拾取的前述使用者的聲音資料算出聲音特徵量；記憶部，其記憶儲存包含前述臉部特徵量或前述聲音特徵量、前述使用者的個人識別標記、以及前述使用者的個人識別資訊的記錄的標記資料庫；校正功能部，更新前述標記資料庫；臉部個人特定部，在前述標記資料庫中檢索含有與前述臉部特徵量算出部已算出的臉部特徵量接近的臉部特徵量之記錄，以輸出前述使用者的個人識別標記；聲音個人特定部，在前述標記資料庫中檢索含有與前述聲音特徵量算出部已算出的聲音特徵量接近的聲音特徵量之記錄，以輸出前述使用者的個人識別標記；前述校正功能部，前述臉部個人特定部已輸出前述使用者的個人識別標記時的前述臉部特徵量算出部所算出之臉部特徵量、與前述標記資料庫中的前述使用者之臉部特徵量的差大於特定值的情況下，將前述標記資料庫中的前述使用者的臉部特徵量更新為前述臉部特徵量算出部所算出的臉部特徵量；前述聲音個人特定部已輸出前述使用者的個人識別標記時 的前述聲音特徵量算出部所算出的聲音特徵量、與前述標記資料庫中的前述使用者之聲音特徵量的差大於特定值的情況下，將前述標記資料庫中的前述使用者之聲音特徵量更新為前述聲音特徵量算出部所算出的聲音特徵量。
2. 如申請專利範圍第1項所記載的機械學習裝置，前述標記資料庫更儲存：包含前述臉部特徵量或前述聲音特徵量、情緒標記、以及、前述使用者的個人識別資訊之記錄；前述校正功能部，特定的時間期間中前述臉部特徵量算出部算出的臉部特徵量在特定的近似程度，前述標記資料庫中不存在包含與前述臉部特徵量近似的臉部特徵量和前述使用者的個人識別資訊之記錄的情況下，將包含前述臉部特徵量算出部算出的臉部特徵量、前述使用者的個人識別資訊、向前述使用者詢問情緒所得之結果的情緒之情緒標記的記錄追加到前述標記資料庫中；特定的時間期間中前述聲音特徵量算出部算出的聲音特徵量在特定近似程度，前述標記資料庫中不存在包含與前述聲音特徵量近似的聲音特徵量和前述使用者的個人識別資訊的記錄之情況下，將包含前述聲音特徵量算出部算出的聲音特徵量、前述使用者的個人識別資訊、向前述使用者詢問情緒所得到的結果之情緒的情緒標記的記錄追加到前述標記資料庫中。
3. 如申請專利範圍第2項所記載的機械學習裝置， 連接了脈搏感測器、血壓感測器或3維加速度感測器；前述標記資料庫，更記憶包含脈搏數、血壓或身體震顫量、情緒標記或身體狀況標記、以及、前述使用者的個人識別資訊之記錄；更包括：臉部情緒分析部，在前述標記資料庫中檢索含有與前述臉部特徵量算出部所算出的臉部特徵量近似之臉部特徵量的記錄，以輸出前述使用者的情緒標記；聲音情緒分析部，在前述標記資料庫中檢索含有與前述聲音特徵量算出部所算出的聲音特徵量近似的聲音特徵量之記錄，以輸出前述使用者的情緒標記；前述校正功能部，連接了前述脈搏感測器的情況下，特定時間的期間中脈搏感測器所計測的脈搏數在特定範圍外，前述臉部情緒分析部或前述聲音情緒分析部已輸出的情緒標記未滿足特定條件時，將包含前述脈搏數、前述使用者的個人識別資訊、表示向前述使用者詢問身體狀況所得之結果的身體狀況的身體狀況標記之記錄追加到前述標記資料庫中；連接了上述血壓感測器的情況下，特定的時間期間中血壓感測器所計測的血壓為特定範圍外，前述臉部情緒分析部或前述聲音情緒分析部已輸出的情緒標記未滿足特定條件時，將包含前述血壓、前述使用者的個人識別資訊、表示向前述使用者詢問身體狀況所得到的結果之身體狀況的身體狀況標記之記錄追加到前述標記資料庫中； 連接了前述3維加速度感測器的情況下，特定時間的期間中3維加速度感測器所計測的身體震顫量為特定範圍外，前述臉部情緒分析部或前述聲音情緒分析部已輸出的情緒標記未滿足特定條件時，將包含前述身體震顫量、前述使用者的個人識別資訊、表示向前述使用者詢問身體狀況所得到的結果之身體狀況的身體狀況標記之記錄追加到前述標記資料庫中。
4. 一種機械學習程式，其使電腦執行：臉部特徵量算出程序，從照相機已拍攝的使用者之臉部資料算出臉部特徵量；聲音特徵量算出程序，從麥克風已拾取的前述使用者的聲音資料算出聲音特徵量；標記資料庫操作程序，其操作儲存包含前述臉部特徵量或前述聲音特徵量、前述使用者的個人識別標記、以及前述使用者的個人識別資訊的記錄的標記資料庫；臉部個人特定程序，在前述標記資料庫中檢索含有與前述臉部特徵量算出程序已算出的臉部特徵量接近的臉部特徵量之記錄，以輸出前述使用者的個人識別標記；聲音個人特定程序，在前述標記資料庫中檢索含有與前述聲音特徵量算出程序已算出的聲音特徵量接近的聲音特徵量之記錄，以輸出前述使用者的個人識別標記；臉部特徵量更新程序，前述臉部個人特定程序已輸出前述使用者的個人識別標記時的前述臉部特徵量算出程序所算出之臉部特徵量、與前述標記資料庫中的前述使用者之臉 部特徵量的差大於特定值的情況下，將前述標記資料庫中的前述使用者的臉部特徵量更新為前述臉部特徵量算出程序所算出的臉部特徵量；聲音特徵量更新程序，前述聲音個人特定程序已輸出前述使用者的個人識別標記時的前述聲音特徵量算出程序所算出的聲音特徵量、與前述標記資料庫中的前述使用者之聲音特徵量的差大於特定值的情況下，將前述標記資料庫中的前述使用者之聲音特徵量更新為前述聲音特徵量算出程序所算出的聲音特徵量。