JP6853159B2

JP6853159B2 - 状態推定装置

Info

Publication number: JP6853159B2
Application number: JP2017210798A
Authority: JP
Inventors: 梶　洋隆; 洋隆梶; 将杉山
Original assignee: University of Tokyo NUC; Toyota Motor Corp
Current assignee: University of Tokyo NUC; Toyota Motor Corp
Priority date: 2017-10-31
Filing date: 2017-10-31
Publication date: 2021-03-31
Anticipated expiration: 2037-10-31
Also published as: JP2019080809A; CN109717879A; CN109717879B; US10556595B2; US20190126931A1

Description

本発明は、例えば、ユーザの状態を推定可能な状態推定装置の技術分野に関する。

ユーザの状態を推定するための方法の一例として、特許文献１には、運転者の心電図波形の特徴量に基づいて運転者毎の眠気検出モデルを構築し、構築した眠気検出モデルに基づいて運転者の眠気を検出する眠気検出方法が記載されている。

特開２０１５−２２６６９６号公報

特許文献１に記載された方法は、運転者による運転開始直後に（具体的には、運転者が運転を開始してから約３分以内に）取得された心電図波形の特徴量に基づいて、運転者毎の眠気検出モデルを構築している。しかしながら、運転開始後に眠気検出モデルが構築されるため、運転開始してからしばらくの間は、眠気検出モデルを構築できない区間がある。更には、心電図波形の特徴量は個人差や個人内差が大きく、また動作などによるアーチファクトの問題もあるため、運転者の３分間の心電図波形の特徴量だけに基づいて常に適切な眠気検出モデルが構築できるとは限らない。その結果、特許文献１に記載された方法は、運転者の眠気を適切に検出することができない可能性があるという技術的課題を有している。

尚、上述した技術的課題は、運転者の心電図波形の特徴量に基づいて運転者の眠気を検出する場合のみならず、ユーザの任意の生体情報及びユーザの任意の行動情報の少なくとも一方に基づいてユーザの状態を推定する場合においても同様に生じ得る。

本発明が解決しようとする課題には上記のようなものが一例としてあげられる。本発明は、ユーザの生体情報及び行動情報の少なくとも一方に基づいてユーザの状態を適切に推定することが可能な状態推定装置を提供することを課題とする。

本発明の状態推定装置の一の態様は、第１ユーザの生体情報及び行動情報の少なくとも一方に関する第１入力データを取得する取得手段と、前記第１入力データに基づいて、前記第１ユーザの状態を推定する推定動作を行う推定手段とを備え、前記推定手段は、（ｉ）前記第１ユーザの生体情報及び行動情報の少なくとも一方に関する第２入力データと、前記第２入力データに対応する前記第１ユーザの状態を示す第１正解データとを関連付けて含む第１学習データ、（ｉｉ）前記第１ユーザの生体情報及び行動情報の少なくとも一方に関する第３入力データを、前記第３入力データに対応する前記第１ユーザの状態を示す第２正解データと関連付けることなく含む第２学習データ、及び、（ｉｉｉ）前記第１ユーザとは異なる第２ユーザの生体情報及び行動情報の少なくとも一方に関する第４入力データと、前記第４入力データに対応する前記第２ユーザの状態を示す第３正解データとを関連付けて含む第３学習データを用いて前記推定動作の内容を最適化するための学習動作を行う。

図１は、本実施形態の状態推定装置の構成を示すブロック図である。図２は、推定動作の流れを示すフローチャートである。図３は、心電位の波形信号を示すグラフである。図４は、波形信号から特定可能なＲＲＩを示す波形図である。図５は、継続学習動作の流れを示すフローチャートである。図６は、推定誤差の発生率を示すグラフである。

以下、状態推定装置の実施形態について説明する。以下では、本発明の状態推定装置の一実施形態として、車両のドライバの心電波形に基づいて、ドライバの眠気度を推定することが可能な状態推定装置１について説明する。尚、ドライバは、後述する付記における「第１ユーザ」の一具体例である。

（１）状態推定装置１の構成
はじめに、図１を参照しながら、本実施形態の状態推定装置１の構成について説明する。図１は、本実施形態の状態推定装置１の構成を示すブロック図である。

図１に示すように、状態推定装置１は、心電位センサ１１と、演算装置１２と、記憶装置１３と、表示装置１４と、通信装置１５と、操作装置１６とを備える。

心電位センサ１１は、ドライバの心電位（つまり、心臓が発する電気信号）を検出可能な心電計である。心電位センサ１１による心電位の検出方法は、どのような方法であってもよい。心電位センサ１１は、例えば、ドライバの胸部に取り付け可能なウェアラブルセンサであるが、車両に固定されていてもよい。心電位センサ１１の検出結果（つまり、心電位の時間波形を示す波形信号）は、演算装置１２に出力される。

演算装置１２は、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）等の情報処理装置である。演算装置１２は、心電位センサ１１から出力される波形信号に基づいて、ドライバの眠気度を推定する。具体的には、演算装置１２は、ドライバが、眠気ありの状態にあるか又は眠気なしの状態にあるか（つまり、覚醒した状態にあるか）を推定する。眠気度を推定するために、演算装置１２は、演算装置１２の内部に論理的に構築される処理ブロックとして、後述する付記における「取得手段」の一具体例である入力インタフェース部１２０と、フィルタ部１２１と、特徴抽出部１２２と、後述する付記における「推定手段」の一具体例である状態推定部１２３と、学習データ生成部１２４と、運転判定部１２５とを備える。入力インタフェース部１２０は、心電位センサ１１から、心電位センサ１１から出力される波形信号を取得する。フィルタ部１２１は、入力インタフェース部１２０が取得した波形信号に対して、フィルタリング処理を施す。特徴抽出部１２２は、フィルタリング処理が施された波形信号の特徴量を抽出する。状態推定部１２３は、特徴抽出部１２２が抽出した特徴量に基づいて、ドライバの眠気度を推定するための推定動作を行う。状態推定部１２３は、更に、推定動作の内容を規定する係数パラメータα（詳細は、後述する）を最適化するための学習動作を行う。学習データ生成部１２４は、特徴抽出部１２２が抽出した特徴量に基づいて、状態推定部１２３が学習動作を行う際に利用する学習データＤＰを生成する。学習データＤＰは、ＰＵデータＤＰＵ及びＰＮデータＤＰＮという２種類のデータを含む。ＰＵデータＤＰＵ及びＰＮデータＤＰＮの詳細については、後に詳述する。運転判定部１２５は、ドライバが車両を運転しているか否かを判定する。

記憶装置１３は、ハードディスクや、フラッシュメモリ等の記録媒体である。記憶装置１３は、状態推定装置１の動作に関連する任意のデータを記憶する。特に、記憶装置１３は、学習動作によって最適化された係数パラメータα及び学習動作に用いられる学習データＤＰを記憶する。その他、記憶装置１３は、推定動作によって推定された眠気度を示すデータや、波形信号を示すデータや、抽出された特徴量を示すデータ等を記憶してもよい。尚、状態推定装置１は、記憶装置１３に加えて又は代えて、通信装置１５を介して状態推定装置１との間でデータの送受信が可能な外部記憶装置を備えていてもよい。

表示装置１４は、状態推定装置１の動作に関連する任意の表示動作を行う。例えば、表示装置１４は、演算装置１２によるドライバの眠気度の推定結果を表示する。

通信装置１５は、状態推定装置１と外部の装置との間でのデータの送受信を制御する。例えば、通信装置１５は、状態推定装置１と外部の装置との間での、記憶装置１３が記憶しているデータの送受信を制御する。

操作装置１６は、状態推定装置１の動作に関連するドライバ（或いは、状態推定装置１を使用する任意のユーザ）の操作の入力を受け付ける。例えば、操作装置１６は、推定動作の開始及び終了を要求するための操作の入力を受け付ける。

状態推定装置１は、上述した演算装置１２、記憶装置１３、表示装置１４、通信装置１５及び操作装置１６を備える携帯端末（例えば、スマートフォン等）を備えている。この場合、ドライバが携帯端末を保持したまま車両に乗車すれば、車両を運転しているドライバの眠気度が推定される。但し、状態推定装置１は、上述した演算装置１２、記憶装置１３、表示装置１４、通信装置１５及び操作装置１６を備えている限りは、このような携帯端末を備えていなくてもよい。

（２）状態推定装置１の動作
続いて、状態推定装置１の動作について説明する。上述したように、状態推定装置１は、ドライバの眠気度を推定するための推定動作及び係数パラメータαを最適化するための学習動作を行う。従って、以下では、推定動作及び学習動作について順に説明する。

（２−１）推定動作
はじめに、図２を参照しながら、推定動作について説明する。図２は、推定動作の流れを示すフローチャートである。

図２に示すように、まず、ドライバが操作装置１６を用いて推定動作の開始を要求した場合には、心電位センサ１１によって心電位が検出される（ステップＳ１１）。その結果、入力インタフェース部１２０は、心電位を示す波形信号を取得する（ステップＳ１１）。

その後、フィルタ部１２１は、ステップＳ１１で取得された波形信号に対してフィルタリング処理を施す（ステップＳ１２）。フィルタリング処理は、波形信号からノイズを取り除く第１処理を含んでいてもよい。フィルタリング処理は、波形信号の基線の動揺（つまり、変動）を取り除く第２処理を含んでいてもよい。

その後、特徴量抽出部１２２は、フィルタリング処理が施された波形信号の特徴量を抽出する（ステップＳ１３）。具体的には、特徴量抽出部１２２は、図３に示すように、波形信号を、所定の時間長（例えば、数十秒から百数十秒）を有する単位信号部分に区分する。特徴量抽出部１２２は、単位信号部分の特徴量を抽出する。特徴量抽出部１２２は、単位信号部分の特徴量を抽出する処理を、所定周期（例えば、数十秒から百数十秒）毎に繰り返す。尚、図３は、所定周期が単位信号部分の時間超よりも短い例を示している。この場合は、一の単位信号部分と他の単位信号部分とが部分的に重複する。

特徴量は、波形信号の特徴を示すパラメータである。本実施形態では、特徴量抽出部１２２は、ＲＲＩ（Ｒ−Ｒ−Ｉｎｔｅｒｖａｌ：心拍間隔）に関する特徴量を抽出するものとするが、どのような特徴量を抽出してもよい。尚、ＲＲＩは、図４に示すように、Ｒ波のピークの時間間隔に相当する指標である。ＲＲＩに関する特徴量は、例えば、ＲＲＩに対してＦＦＴ（ＦａｓｔＦｏｕｒｉｅｒＴｒａｎｓｆｏｒｍ）処理を施した場合に検出される低周波成分（例えば、０．０４Ｈｚから０．１５Ｈｚの周波数に相当する信号成分）の強度に相当するＬＦ、ＲＲＩに対してＦＦＴ処理を施した場合に検出される高周波成分（例えば、０．１５Ｈｚから０．４０Ｈｚの周波数に相当する信号成分）の強度に相当するＨＦ、時間軸上で隣接する２つのＲＲＩの差分が５０ミリ秒を超える心拍の割合（或いは、心拍の数）に相当するｐＮＮ５０、時間軸上で隣接する２つのＲＲＩの差分の２乗の平均値の平方根に相当するＲＭＳＳＤ、ＲＲＩの標準偏差をＲＭＳＳＤで除した値に相当するＳＤ／ＲＭＳＳＤ、ＲＲＩの分散値、及び、Ｒ波の数（つまり、波形のピークの数）のうちの少なくとも一つを含む。

但し、波形信号の状態によっては、特徴量抽出部１２２が特徴量を適切に抽出できない可能性がある。この場合には、特徴量抽出部１２２は、特徴量の適切な抽出が不可能であったことを示すエラーフラグを出力してもよい。例えば、信号レベル（つまり、振幅）が小さすぎる（例えば、所定レベルよりも小さい）波形信号から抽出される特徴量は、その信頼性が相対的に低い可能性がある。従って、波形信号の信号レベルが小さすぎる場合には、特徴量抽出部１２２は、エラーフラグを出力してもよい。エラーフラグが出力される場合には、状態推定部１２３は、ドライバの眠気度を推定しないことが好ましい。

特徴量抽出部１２２が抽出した特徴量（更には、エラーフラグ）は、特徴量抽出部１２２から状態推定部１２３へと出力される。更に、特徴量抽出部１２２が抽出した特徴量（更には、エラーフラグ）は記憶装置１３によって記憶される。この際、後に詳述するように、記憶装置１３は、特徴量抽出部１２２が抽出した特徴量を、学習データＤＰの一部として記憶してもよい。尚、ステップＳ１３において特徴量抽出部１２２が抽出した特徴量は、後述する付記における「第１入力データ」の一具体例である。

再び図２において、その後、状態推定部１２３は、ステップＳ１３で抽出された特徴量に基づいて、ドライバの眠気度を推定する（ステップＳ１４）。具体的には、まず、状態推定部１２３は、記憶装置１３が記憶しているＰＵデータＤＰＵ及びＰＮデータＤＰＮに基づいて、数式１に示す基底ベクトルφ（ｘ）を算出する。尚、数式１中において、変数ｘは、ステップＳ１３で抽出された特徴量（特に、ある単位信号部分の特徴量）を示しており、抽出された特徴量の種類の数がｄである場合には、数式２に示すように、ｄ次元のベクトル（つまり、行列）となる。また、数式１中において、変数ｂは、基底ベクトルφ（ｘ）の次元数を示す。その後、状態推定部１２３は、記憶装置１３が記憶している係数パラメータαを読み出す。係数パラメータαは、ｂ次元のベクトルであり、数式３に示される。その後、状態推定部１２３は、基底ベクトルφ（ｘ）及び係数パラメータαによって定義される線形モデルｇ（ｘ）に基づいて、眠気度を推定する。線形モデルｇ（ｘ）は、数式４に示される。具体的には、状態推定部１２３は、線形モデルｇ（ｘ）に対して、ステップＳ１３で抽出した特徴量ｘを入力して、その出力値を取得する。線形モデルｇ（ｘ）は、特徴量ｘから推定されるドライバの眠気度に応じた出力値を出力する。以下の説明では、線形モデルｇ（ｘ）は、−１から＋１の範囲において、ドライバの眠気度が大きくなればなるほど（つまり、ドライバが眠気ありの状態にある可能性が高くなるほど）小さな出力値を出力するものとする。但し、後述する学習動作による係数パラメータαの最適化により、線形モデルｇ（ｘ）は、ドライバの眠気度が相対的に大きい（つまり、ドライバが眠気ありの状態にある可能性が相対的に高い）場合に−１（或いは、−１に近い値）を出力し、ドライバの眠気度が相対的に小さい（つまり、ドライバが眠気ありの状態にある可能性が相対的に低い）場合に＋１（或いは、＋１に近い値）を出力するように最適化される。その後、状態推定部１２３は、線形モデルｇ（ｘ）の出力値が所定閾値（例えば、０）よりも大きい場合に、ドライバが眠気なしの状態にあると推定する。一方で、状態推定部１２３は、線形モデルｇ（ｘ）の出力値が所定閾値（例えば、０）よりも小さい場合に、ドライバが眠気ありの状態にあると推定する。従って、状態推定部１２３は、実質的には、２クラス分類器と等価である。

その後、表示装置１４は、ステップＳ１４におけるドライバの眠気度の推定結果を表示する（ステップＳ１５）。更に、ドライバが眠気ありの状態にあると推定された場合には、演算装置１２は、必要に応じてドライバに警告を発してもよい。例えば、演算装置１２は、表示装置１４を制御して、ドライバに警告を発する警告画像を表示してもよい。例えば、演算装置１２は、不図示のスピーカを制御して、ドライバに警告を発する警告音を出力してもよい。例えば、演算装置１２は、車両のシートやステアリングホイールに内蔵された不図示の振動装置を制御して、ドライバに警告を発する振動を発生させてもよい。

以上説明したステップＳ１１からステップＳ１５の処理が、ドライバが操作装置１６を用いて推定動作の終了を要求するまで繰り返し行われる（ステップＳ１６）。

（２−２）学習動作
続いて、学習動作について説明する。本実施形態では、状態推定装置１は、状態推定装置１が推定動作を開始する前に学習動作を行う。更に、状態推定装置１は、状態推定装置１が推定動作を開始した後にも学習動作を行う。従って、以下では、状態推定装置１が推定動作を開始する前に行われる学習動作（以下、“初期学習動作”と称する）及び状態推定装置１が推定動作を開始した後に行われる学習動作（以下、“継続学習動作”と称する）について順に説明する。

（２−２−１）初期学習動作
状態推定装置１は、状態推定装置１がドライバによって入手される前（言い換えれば、状態推定装置１が市場に出荷される前に）、初期学習動作を行う。言い換えれば、状態推定装置１は、状態推定装置１がドライバの眠気度を推定し始める前、初期学習動作を行う。この段階では、状態推定装置１は、状態推定装置１による眠気度の推定の対象となるドライバの心電位の検出結果を用いて初期学習動作を行うことは困難である。このため、状態推定装置１は、ドライバとは異なる被験者の心電位の検出結果を用いて初期学習動作を行う。

具体的には、まず、心電位センサ１１によって、初期学習動作に協力する被験者（典型的には、ドライバとは異なる被験者）の心電位が検出される。被験者は、後述する付記における「第２ユーザ」の一具体例である。その後、特徴抽出部１２２は、被験者の心電位の検出結果に基づいて、特徴量を抽出する。抽出された特徴量は、特徴抽出部１２２から学習データ生成部１２４に出力される。尚、初期学習動作において抽出された特徴量は、後述する付記における「第４入力データ」の一具体例である。

心電位の検出及び特徴量の抽出と並行して、不図示のカメラによって被験者が撮像される。その後、判定者（例えば、医師等の専門家）は、カメラによる撮像結果から被験者の顔の表情及び振る舞い等の少なくとも一つを特定し、特定した顔の表情及び振る舞い等の少なくとも一つに基づいて被験者が眠気ありの状態にあるか又は眠気なしの状態にあるかを判定する。つまり、判定者は、心電位が検出され且つ特徴量が抽出された時点での被験者の実際の眠気度を判定する。判定者による判定結果は、例えば、操作装置１６を用いて学習データ生成部１２４に入力される。尚、判定者による判定結果は、後述する付記における「第３正解データ」の一具体例である。

このような被験者の心電位の特徴量の抽出及び被験者の実際の眠気度の判定が、複数の被験者を対象に繰り返される。その結果、学習データ生成部１２４には、複数の被験者の心電位の特徴量と、複数の被験者の実際の眠気度が入力される。学習データ生成部１２４は、抽出された特徴量と判定者による判定結果（つまり、被験者の眠気度の正解を示す正解データ）とを被験者毎に関連付けられて含むデータを、学習データＤＰの一部であるＰＮデータＤＰＮとして生成する。生成されたＰＮデータＤＰＮは、記憶装置１３によって記憶される。被験者が複数存在することから、ＰＮデータＤＰＮは、眠気ありの状態にあった第１の被験者の心電位の特徴量と心電位が検出された時点で第１の被験者が眠気ありの状態にあったことを示す正解データとが関連付けられたデータ、及び、眠気なしの状態にあった第２の被験者（但し、第２被験者は第１被験者とは異なる）の心電位の特徴量と心電位が検出された時点で第２の被験者が眠気なしの状態にあったことを示す正解データとが関連付けられたデータの双方を含む可能性が高い。更には、被験者の心電位の検出がある程度継続して行われる場合には、心電位の検出中に、被験者の状態が、眠気ありの状態から眠気なしの状態へと又は眠気なしの状態から眠気ありの状態へと変わる可能性がある。その結果、ＰＮデータＤＰＮは、第１のタイミングで眠気ありの状態にあった第１の被験者の心電位の特徴量と第１のタイミングで第１の被験者が眠気ありの状態にあったことを示す正解データとが関連付けられたデータ、及び、第１のタイミングとは異なる第２のタイミングで眠気なしの状態にあった第１の被験者の心電位の特徴量と第２のタイミングで第１の被験者が眠気なしの状態にあったことを示す正解データとが関連付けられたデータの双方を含む可能性が高い。つまり、ＰＮデータＤＰＮは、被験者の状態を眠気ありの状態（例えば、ネガティブ（Ｎｅｇａｔｉｖｅ）な状態）及び眠気なしの状態（例えば、ポジティブ（Ｐｏｓｉｔｉｖｅ）な状態）という２つのクラスに分類する推定動作の内容を最適化する（つまり、係数パラメータαを最適化する）ために、被験者がポジティブな状態であることを示す正解データと特徴量とが関連付けられたデータ（いわゆる、正例データ（ＰｏｓｉｔｉｖｅＤａｔａ））及び被験者がネガティブな状態にあることを示す正解データと特徴量とが関連付けられたデータ（いわゆる、負例データ（ＮｅｇａｔｉｖｅＤａｔａ））の双方を含む。尚、このＰＮデータＤＰＮは、後述する付記における「第３学習データ」の一具体例である。

その後、状態推定部１２３は、ＰＮデータＤＰＮを用いて、推定動作の内容を規定する係数パラメータαを最適化する。この場合、上述したようにＰＮデータＤＰＮには被験者の実際の眠気度を示す正解データ（いわゆる、教師データ）が含まれていることから、状態推定部１２３は、教師あり学習法に基づいて、係数パラメータαを最適化する。具体的には、状態推定部１２３は、ＰＮデータＤＰＮに含まれる特徴量ｘを上述した数式３に示す線形モデルｇ（ｘ）に入力した場合に線形モデルｇ（ｘ）から出力される出力値と、ＰＮデータＤＰＮに含まれる正解データとの間の誤差（つまり、損失であり、例えば、二乗損失等）が最小になる又は第１許容値以下になるように、係数パラメータαを最適化する。その結果、推定動作の内容が最適化される。最適化された係数パラメータαは、記憶装置１３によって記憶される。

（２−２−２）継続学習動作
状態推定装置１は、状態推定装置１がドライバによって入手された後に（言い換えれば、状態推定装置１が市場に出荷された後に）、継続学習動作を行う。言い換えれば、状態推定装置１は、状態推定装置１がドライバの眠気度を推定し始めた後に、継続学習動作を行う。この段階では、ドライバが車両を運転することから、状態推定装置１は、状態推定装置１による眠気度の推定の対象となるドライバの心電位の検出結果を用いて継続学習動作を行うことができる。更には、記憶装置１３には、初期学習動作で用いられた、ドライバとは異なる被験者の心電位の検出結果に関するＰＮデータＤＰＮが記憶されているため、状態推定装置１は、ＰＮデータＤＰＮも用いて継続学習動作を行うことができる。以下、このような継続学習動作について、図５を参照しながら説明する。図５は、継続学習動作の流れを示すフローチャートである。尚、継続学習動作は、典型的には、上述した推定動作と並行して行われるが、推定動作が行われていない期間中に行われてもよい。

図５に示すように、まずは、ドライバの心電位の検出結果に基づく学習データＤＰであるＰＵデータＤＰＵが取得される。具体的には、まず、運転判定部１２５は、ドライバが車両を運転しているか否かを判定する（ステップＳ２１１）。例えば、上述したように演算装置１２を含む携帯端末をドライバが保有している場合には、運転判定部１２５は、携帯端末が備える不図示の加速度センサ等の検出結果に基づいてドライバの行動を推定し、ドライバが車両に乗車していると推定された場合に、ドライバが車両を運転していると判定してもよい。或いは、運転判定部１２５は、携帯端末が備える通信装置１４と車両が備える通信装置との近接度合いを通信装置１４の受信信号から推定し、ドライバが車両に乗車しているほどに通信装置１４と車両が備える通信装置とが近接していると推定された場合に、ドライバが車両を運転していると判定してもよい。或いは、状態推定装置１が車両に設置されている場合には、運転判定部１２５は、車両の状態（例えば、イグニションスイッチの状態）等に基づいて、ドライバが車両を運転しているか否かを判定してもよい。

ステップＳ２１１の判定の結果、ドライバが車両を運転していないと判定された場合には（ステップＳ２１１：Ｎｏ）、運転判定部１２５は、ドライバが車両を運転しているか否かを判定し続ける。

他方で、ステップＳ２１１の判定の結果、ドライバが車両を運転していると判定された場合には（ステップＳ２１１：Ｙｅｓ）、運転判定部１２５は、ドライバが車両の運転を開始してから所定時間（例えば、数分）が経過したか否かを判定する（ステップＳ２１２）。

ステップＳ２１２の判定の結果、ドライバが車両の運転を開始してから所定時間が未だに経過していないと判定された場合には（ステップＳ２１２：Ｎｏ）、ドライバは、車両を運転し始めたばかりであると推定される。この場合には、ドライバは、眠気なしの状態にある可能性が相対的に高いはずである。なぜならば、車両を漫然と運転し続けている場合にドライバが眠気を感じやすいところ、この段階では、ドライバは、まだそれほど長い期間にわたって車両を運転していないからである。このため、この場合に検出される心電位の特徴量は、眠気なしの状態にあるドライバの心電位の特徴量に相当する可能性が高い。つまり、このタイミングでドライバの心電位を検出すれば、眠気なしの状態にあるドライバの心電位の特徴量が抽出される可能性が高い。そこで、本実施形態では、心電位センサ１１によってドライバの心電位が検出され（ステップＳ２２１）、フィルタ部１２１によって波形信号に対してフィルタリング処理が施され（ステップＳ２２２）、特徴抽出部１２２によって波形信号の特徴量が抽出される（ステップＳ２２３）。尚、ステップＳ２２１からステップＳ２２３の処理は、夫々、ステップＳ１１からステップＳ１３の処理と同一であってもよい。抽出された特徴量は、特徴抽出部１２２から学習データ生成部１２４に出力される。その後、学習データ生成部１２４は、抽出された特徴量と、被験者の状態が眠気なしの状態にあるという正解を示す正解データとが関連付けられたデータを、ＰＵデータＤＰＵの一部として生成する（ステップＳ２２４）。つまり、学習データ生成部１２４は、被験者がポジティブな状態であることを示す正解データを含むデータ（いわゆる、正例データ（ＰｏｓｉｔｉｖｅＤａｔａ））を、学習データＤＰの一部（より具体的には、ＰＵデータＤＰＵの一部）として生成する。生成されたＰＵデータＤＰＵは、記憶装置１３によって記憶される。尚、ステップＳ２２３において抽出された特徴量は、後述する付記における「第２入力データ」の一具体例である。ステップＳ２２４において特徴量に関連付けられた正解データは、後述する付記における「第１正解データ」の一具体例である。ステップＳ２２４で作成されたＰＵデータＤＰＵは、後述する付記における「第１学習データ」の一具体例である。

他方で、ステップＳ２１２の判定の結果、ドライバが車両の運転を開始してから所定時間が既に経過していると判定された場合には（ステップＳ２１２：Ｙｅｓ）、ドライバは、眠気なしの状態にある場合もあれば、眠気ありの状態にある場合もある。つまり、ドライバの眠気度は、様々な要因に影響を受けて変動している可能性が高い。言い換えれば、ドライバの眠気度は、不定であると言える。この場合であっても、本実施形態では、心電位センサ１１によってドライバの心電位が検出され（ステップＳ２３１）、フィルタ部１２１によって波形信号に対してフィルタリング処理が施され（ステップＳ２３２）、特徴抽出部１２２によって波形信号の特徴量が抽出される（ステップＳ２３３）。尚、ステップＳ２３１からステップＳ２３３の処理は、夫々、ステップＳ１１からステップＳ１３の処理と同一であってもよい。抽出された特徴量は、特徴抽出部１２２から学習データ生成部１２４に出力される。この場合に抽出される特徴量は、眠気なしの状態にあるドライバの心電位の特徴量に相当する場合もあれば、眠気ありの状態にあるドライバの心電位の特徴量に相当する場合もある。そこで、学習データ生成部１２４は、被験者の実際の眠気度を示す正解データに関連付けることなく、抽出された特徴量をそのまま、ＰＵデータＤＰＵの一部として設定する（ステップＳ２３４）。つまり、学習データ生成部１２４は、被験者の眠気度に関する情報がないデータ（いわゆる、ラベルなしデータ（ＵｎｌａｂｅｌｅｄＤａｔａ））を、学習データＤＰの一部（より具体的には、ＰＵデータＤＰＵの一部）として生成する。生成されたＰＵデータＤＰＵは、記憶装置１３によって記憶される。尚、ステップＳ２３３において抽出された特徴量は、後述する付記における「第３入力データ」の一具体例である。ステップＳ２３４で作成されたＰＵデータＤＰＵは、後述する付記における「第２学習データ」の一具体例である。

尚、ステップＳ２１２で用いられる所定時間は、上述したように、眠気なしの状態を維持しながらドライバが車両を運転している状態と、ドライバの眠気度が不定になる状態とを、ドライバが車両の運転を開始してからの経過時間に基づいて区分するために用いられている。従って、所定時間は、これら２つの状態を適切に区分可能な適切な値に設定される。

その後、学習データ生成部１２４は、更新基準が成立しているか否かを判定する（ステップＳ２４）。更新基準は、ＰＵデータＤＰＵ及びＰＮデータＤＰＮを用いた係数パラメータαの最適化を開始するために成立するべき条件を示す。更新基準は、例えば、前回係数パラメータαが最適化されてから新たに生成されたＰＵデータＤＰＵのデータ量が所定量以上になるという条件である。所定量が大きくなればなるほど、係数パラメータαが最適化される頻度が少なくなる。このため、所定量は、適切な頻度で係数パラメータαが最適化されるように適切な値に設定される。

ステップＳ２４の判定の結果、更新基準が未だ成立していないと判定された場合には（ステップＳ２４：Ｎｏ）、ステップＳ２１２以降の動作が繰り返される。つまり、学習データＤＰの一部であるＰＵデータＤＰＵが生成され続ける。

他方で、ステップＳ２４の判定の結果、更新基準が成立していると判定された場合には（ステップＳ２４：Ｙｅｓ）、状態推定部１２３は、記憶装置１３に記憶されているＰＵデータＤＰＵ及びＰＮデータＤＰＮを用いて、係数パラメータαを最適化する（ステップＳ２５）。

ＰＮデータＤＰＮを用いた係数パラメータαの最適化は、上述したように教師あり学習法に基づく学習に相当する。一方で、上述したように、ＰＵデータＤＰＵには、ドライバが眠気なしの状態にあることを示す正解データと関連付けられている特徴量（つまり、正例データ）と、正解データと関連付けられていない特徴量（つまり、ラベルなしデータ）とが含まれている。このため、ＰＵデータＤＰＵを用いた係数パラメータαの最適化は、ＰＵ学習法（ＰＵＣｌａｓｓｉｆｉｃａｔｉｏｎ、ＰＵｌｅａｒｎｉｎｇ）に基づいて行われることが好ましい。

更に、上述したようにＰＮデータＤＰＮには、特徴量と正解データとが関連付けられた被験者データが、被験者の数だけ含まれている。このため、ＰＮデータＤＰＮを用いた係数パラメータαの最適化は、複数の被験者に夫々対応する複数の被験者データに基づいて係数パラメータαを夫々最適化する複数のタスクから構成されると言える。以降、ＰＮデータＤＰＮを用いた係数パラメータαの最適化を構成するタスクを、説明の便宜上“ＰＮタスク”と称する。更に、ＰＵデータＤＰＵを用いて最適化するべき係数パラメータαは、ＰＮデータＤＰＮを用いて最適化するべき係数パラメータαと同じである。このため、ＰＵデータＤＰＵを用いた係数パラメータαの最適化を構成するタスク（以降、ＰＵデータＤＰＵを用いた係数パラメータαの最適化を構成するタスクを、説明の便宜上“ＰＵタスク”と称する。）と、ＰＮデータＤＰＮを用いた係数パラメータαの最適化を構成する複数のＰＮタスクとは、相互に関連するタスクである。この場合、状態推定部１２３は、学習精度を向上させるために、マルチタスク学習法に基づいて複数のＰＮタスクとＰＵタスクとを行うことが好ましい。

以下、マルチタスク学習法に基づいて複数のＰＮタスクとＰＵタスクとを行うステップＳ２５の学習動作の一例について説明する。まず、ＰＮデータＤＰＮ及びＰＵデータＤＰＵ（但し、ラベルなしデータを除く）を構成する単位データ（つまり、ある特徴量ｘとある正解データｙとの組み合わせ）は、数式５によって示される。尚、数式５中において、変数ｉは、単位データの識別番号である。正解データｙは、数式６に示すように、＋１又は−１のいずれかとなるクラスラベルに相当する。また、複数のＰＮタスク及びＰＵタスクの夫々に固有のタスク番号ｔを割り当てる。タスク番号ｔは、数式７によって示される。尚、数式７中において、Ｔは、複数のＰＮタスク及びＰＵタスクの数を示す。また、タスク番号ｔのタスクに対応する基底関数φｔ（ｘ）、係数パラメータαｔ及び線形モデルｇｔ（ｘ）は、夫々、数式８から１０に示される。

このように規定される線形モデルｇ（ｘ）に対して、係数パラメータαを最適化するための学習基準を設定する。具体的には、例えば、数式１１に示す二乗損失ｌｓ（ｍ）を採用する場合には、数式１２に示す学習基準が設定可能である。尚、数式１１中において、変数ｚは、正解データｙと当該正解データｙに関連付けられた特徴量ｘが入力された線形モデルｇ（ｘ）の出力との積である。数式１２中の第１項は、ＰＵタスクの損失に相当する項である。数式１２中の第２項は、ＰＮタスクの損失に相当する項である。数式１２中の第３項は、正則化項に相当する。数式１２中の第４項は、複数のタスク間の情報共有化項に相当する。数式１２中の変数Ｎは、ＰＵデータＤＰＵに含まれる正例データ及びラベルなしデータの総数である。数式１２中の変数Ｍは、ＰＮデータＤＰＮに含まれる単位データの数（つまり、正例データ及び負例データの総数）である。数式１２中の変数Ｌは、変数Ｎと変数Ｍとの総和である。数式１２中の変数λｔは、タスク番号ｔのタスクに対応する超パラメータ（ハイパーパラメータ）である。数式１２中の変数ｗは、超パラメータである。数式１２中の変数ｔ及びｔ’は、夫々タスク番号を示す。数式１２中の変数γｔ、ｔ’は、タスク番号ｔのタスクとタスク番号ｔ’のタスクとの組み合わせに対応する超パラメータである。

更に、数式１２中の第１項（＝ＰＵタスクの損失）は、数式１３によって示される。数式１２中の第２項（＝ＰＮタスクの損失）は、数式１４によって示される。数式１３中の変数Ｎｕは、ＰＵデータＤＰＵ中のラベルなしデータの数を示す。数式１３中の変数Ｎ＋は、ＰＵデータＤＰＵ中の正例データの数を示す。数式１３及び１４中の変数Ｊは、全ての要素が１となるベクトルを示す。

数式１３中のΨ_Ｐは、数式１５によって示されるベクトル（行列）である。数式１３中のΨ_Ｕは、数式１６によって示されるベクトル（行列）である。数式１４中のΨ_Ｐ〜は、数式１７によって示されるベクトル（行列）である。数式１４中のΨ_Ｎは、数式１８によって示されるベクトル（行列）である。数式１７中の変数Ｍ＋は、ＰＮデータＤＰＮ中の正例データの数を示す。数式１８中の変数Ｍ−は、ＰＮデータＤＰＮ中の負例データの数を示す。数式１５から数式１８中の関数ψｔ（ｘ）は、数式１９によって示される。数式１９中の変数Ｏは、全ての要素が０となるベクトルを示す。

このような学習基準を最小化する係数パラメータαは、数式２０に示す学習則から算出可能である。数式２０中の変数Ｉは、単位行列である。数式２０中の変数Ｃは、ｔ行ｔ’列の要素が数式２１によって示される行列である。

状態推定部１２３は、このような学習則を踏まえて、係数パラメータαを最適化する。但し、上述した学習基準には、手動で設定しなければならない超パラメータλ、ｗ及びγが含まれている。また、基底ベクトルφ（ｘ）にも、場合によっては超パラメータが含まれる可能性がある。このため、状態推定部１２３は、超パラメータを設定しながら係数パラメータαを最適化するために、以下の手順で係数パラメータαを最適化することが好ましい。具体的には、まず、状態推定部１２３は、学習データＤＰ（つまり、ＰＮデータＤＰＮ及びＰＵデータＤＰＵ）を、超パラメータの候補を設定した上で係数パラメータαを最適化するために用いられる第１データと、第１データを用いて最適化された係数パラメータαを検証する（つまり、第１データを用いて最適化された係数パラメータαを用いて推定される眠気度の精度を検証する）ために用いられる第２データとに分割する。例えば、状態推定部１２３は、学習データＤＰのうちの所定割合（例えば、８０％）のデータ部分を第１データとして用い、学習データＤＰのうちの残りの（例えば、２０％）のデータ部分を第２データとして用いてもよい。その後、状態推定部１２３は、超パラメータλ、ｗ及びγに夫々所定の候補値を設定した上で、第１データを用いて係数パラメータαの最適化を行う。その後、状態推定部１２３は、第２データを用いて、最適化された係数パラメータαを検証する。具体的には、状態推定部１２３は、第１データを用いて最適化された係数パラメータαによって特定される線形モデルｇ（ｘ）に、第２データに含まれる特徴量ｘを入力することで、線形モデルｇ（ｘ）の出力値を取得する。その後、状態推定部１２３は、線形モデルｇ（ｘ）の出力値と第２データに含まれる正解データとを比較することで、眠気度の精度を検証する。状態推定部１２３は、このような動作を、最適な超パラメータλ、ｗ及びγが見つかるまで繰り返す。その後、最適な超パラメータλ、ｗ及びγ、並びに、学習データＤＰ（つまり、第１データ及び第２データの双方）を用いて、係数パラメータαを最適化する。その結果、係数パラメータαが最適化される。最適化された係数パラメータαは、記憶装置１３によって記憶される。

なお、超パラメータγについては、事前にタスク間の類似度が既知である場合には、それを用いて最適化の対象としなくてもよい。

以上説明したステップＳ２１１からステップＳ２５までの処理が繰り返し行われる。つまり、ドライバが車両を運転している限りは、新たなＰＵデータＤＰＵが生成され続け、既に生成済みのＰＮデータＤＰＮ及びＰＵデータＤＰＵに加えて、新たに生成されたＰＵデータＤＰＵを用いて、係数パラメータαが最適化され続ける。

（３）技術的効果
以上説明した状態推定装置１によれば、状態推定装置１がドライバの眠気度を推定するための推定動作を開始する前に、ドライバとは異なる被験者の心電位の検出結果に関するＰＮデータＤＰＮを用いて、推定動作の内容（つまり、係数パラメータα）が最適化される。このため、ドライバの心電位の検出結果を用いた学習動作が行われていない状態で状態推定装置１が推定動作を開始したとしても、状態推定装置１は、ドライバの眠気度を相対的に高い精度で推定することができる。更には、状態推定装置１が推定動作を開始する前に、状態推定装置１が眠気度を推定する対象となるドライバの心電位を実際に検出しなくてもよいため、ドライバの負担も軽減される。

一方で、ＰＮデータＤＰＮがドライバの心電位の検出結果に関するデータではない以上、ＰＮデータＤＰＮを用いて最適化された推定動作の内容（つまり、ＰＵデータを用いることなく最適化された推定動作の内容）は、個人差の影響に起因してドライバにとって必ずしも最適であるとは限らない。しかるに、本実施形態では、状態推定装置１が推定動作を開始した後には、ドライバの心電位の検出結果に関するＰＵデータＤＰＵを用いて推定動作の内容が最適化される。このため、状態推定装置１は、被験者の心電位の検出結果も考慮した上で、状態推定装置１が眠気度を推定する対象となるドライバに合わせて、推定動作の内容を最適化することができる。

その結果、状態推定装置１は、ドライバの眠気度を適切に推定することができる。例えば、図６は、ラベルなしデータ（つまり、正解データに関連付けられていない特徴量）を第１所定数含むＰＵデータＤＰＵを用いて係数パラメータαが最適化された場合における眠気度の推定誤差の発生率、ラベルなしデータを第２所定数（但し、第２所定数は第１所定数よりも多い）含むＰＵデータＤＰＵを用いて係数パラメータαが最適化された場合における眠気度の推定誤差の発生率、ラベルなしデータを第３所定数（但し、第３所定数は第２所定数よりも多い）含むＰＵデータＤＰＵを用いて係数パラメータαが最適化された場合における眠気度の推定誤差の発生率、及び、ＰＵデータＤＰＵを用いることなく（つまり、ＰＮデータＤＰＮのみを用いて）係数パラメータαが最適化された場合における眠気度の推定誤差の発生率を示すグラフである。図６に示すように、ＰＮデータＤＰＮのみを用いて係数パラメータαが最適化された場合と比較して、ＰＮデータＤＰＮ及びＰＵデータＤＰＵの双方を用いて係数パラメータαが最適化された場合の方が、推定誤差の発生率が低くなる。更には、ラベルなしデータの数が増えるほど（つまり、ドライバが車両を運転する時間ないしはドライバが心電位センサ１１を装着している時間が長いほど）、推定誤差の発生率が低くなる。

（４）変形例
上述した説明では、ＰＵデータＤＰＵ及びＰＮデータＤＰＮを用いた係数パラメータαの最適化を開始するために成立するべき更新基準は、前回係数パラメータαが最適化されてから新たに生成されたＰＵデータＤＰＵのデータ量に関する条件を含んでいる。しかしながら、更新基準は、ＰＵデータＤＰＵのデータ量に関する条件に加えて又は代えて、その他の条件を含んでいてもよい。例えば、更新基準は、ドライバが車両に乗車した回数に関する条件（例えば、前回係数パラメータαが最適化されてからドライバが車両に乗車した回数が所定回数以上であるという条件）を含んでいてもよい。例えば、更新基準は、ドライバが車両に乗車していた時間に関する条件（例えば、前回係数パラメータαが最適化されてからドライバが車両に乗車していた時間が所定時間以上であるという条件）を含んでいてもよい。例えば、更新基準は、ドライバからの要求に関する条件（例えば、ドライバが係数パラメータαの最適化を要求しているという条件）を含んでいてもよい。或いは、状態推定部１２３は、更新基準を用いることなく、ＰＵデータＤＰＵを取得する都度、係数パラメータαを最適化してもよい。つまり、状態推定部１２３は、ＰＮデータＤＰＮ及びＰＵデータＤＰＵを用いたオンライン学習を行ってもよい。

上述したＰＵデータＤＰＵ及びＰＮデータＤＰＮを用いた係数パラメータαの最適化の具体的方法は、二乗損失ｌｓ（ｍ）を採用する場合の学習基準を設定している。しかしながら、二乗損失ｌｓ（ｍ）とは異なる損失（例えば、ダブルヒンジ損失、指数損失又はロジスティック損失等）を採用した場合には、異なる学習基準が設定されてもよい。但し、ダブルヒンジ損失又はロジスティック損失等が採用される場合には、二乗損失ｌｓ（ｍ）を採用する場合のように解析的手法を用いて係数パラメータαを最適化することが困難であるため、凸最適化法等の手法を用いて係数パラメータαが最適化されることが好ましい。

上述したＰＵデータＤＰＵ及びＰＮデータＤＰＮを用いた係数パラメータαの最適化の具体的方法は、あくまで一例である。このため、状態推定部１２３は、上述した方法に限らず、ＰＮデータＤＰＮ及びＰＵデータＤＰＵを用いて係数パラメータαを最適化することができる限りは、どのような方法で係数パラメータαを最適化してもよい。例えば、状態推定部１２３は、（ｉ）ＰＮデータＤＰＮに含まれる特徴量ｘを上述した数式３に示す線形モデルｇ（ｘ）に入力した場合に線形モデルｇ（ｘ）から出力される出力値と、ＰＮデータＤＰＮに含まれる正解データとの間の誤差が最小になる又は第１許容値以下になり、（ｉｉ）ＰＵデータＤＰＵのうち正解データに関連付けられている特徴量ｘを上述した数式３に示す線形モデルｇ（ｘ）に入力した場合に線形モデルｇ（ｘ）から出力される出力値と、ＰＵデータＤＰＵに含まれる正解データとの間の誤差が最小になる又は第２許容値以下になり、且つ、（ｉｉｉ）ＰＵデータＤＰＵに含まれる特徴量ｘを２つの異なるクラス（つまり、眠気ありの状態と眠気なしの状態）とに適切に分類することができるように、係数パラメータαを最適化することができる限りは、どのような方法で係数パラメータαを最適化してもよい。

上述した説明では、状態推定装置１は、ドライバの心電位に基づいてドライバの眠気度を推定している。しかしながら、状態推定装置１は、ドライバの心電位に加えて又は代えて、ドライバのその他の生体情報に基づいてドライバの眠気度を推定してもよい。例えば、状態推定装置１は、ドライバをカメラで撮像し、撮像によって得られた画像を画像処理することで当該画像の特徴量（例えば、ドライバの顔の表情及び振る舞い等の少なくとも一つに関する特徴量）を抽出し、当該抽出した特徴量に基づいてドライバの眠気度を推定してもよい。

上述した説明では、状態推定装置１は、ドライバの生体情報に基づいてドライバの眠気度を推定している。しかしながら、状態推定装置１は、ドライバの生体情報に基づいてドライバの任意の状態を推定してもよい。例えば、状態推定装置１は、ドライバの生体情報からドライバの前頭前野の脳波に関する特徴量（例えば、シータ波の含有率に関する特徴量）を抽出し、当該抽出した特徴量に基づいてドライバの運転への集中度（逆に言えば、リラックス度合い）を推定してもよい。この場合、状態推定装置１は、ドライバに一定時間以上リラックスしてもらった上で生体情報を取得し、取得した生体情報の特徴量と被験者の状態がリラックス状態にあるという正解を示す正解データとが関連付けられたデータを、上述したＰＵデータＤＰＵに相当するデータとして生成してもよい。状態推定装置１は、被験者に特定の作業（例えば、文書作成、読書及びビデオ視聴等の少なくとも一つ）をしてもらった上で被験者の生体情報を取得し、取得した生体情報の特徴量と被験者の実際の状態を示す正解データとが関連付けられたデータを、上述したＰＮデータＤＰＮに相当するデータとして生成してもよい。

上述した説明では、状態推定装置１は、ドライバの生体情報に基づいてドライバの状態を推定している。しかしながら、状態推定装置１は、ドライバに限らず、任意のユーザの生体情報に基づいて任意のユーザの状態を推定してもよい。また、上述した説明では、状態推定装置１は、心電位や撮像によって得られた画像に基づいて（つまり、ユーザの生体情報）に基づいて、ユーザの状態を推定している。しかしながら、状態推定装置１は、生体情報に加えて又は代えて、任意のユーザの任意の行動情報（つまり、ユーザの行動に関する情報）に基づいて、任意のユーザの状態を推定してもよい。例えば、状態推定装置１は、腕や体幹に取り付けられた加速度センサや角速度センサなどから得られるユーザの行動情報を用いて任意のユーザの状態を推定してもよい。

（５）付記
以上説明した実施形態に関して、更に以下の付記を開示する。

（５−１）付記１
付記１に記載された状態推定装置は、第１ユーザの生体情報及び行動情報の少なくとも一方に関する第１入力データを取得する取得手段と、前記第１入力データに基づいて、前記第１ユーザの状態を推定する推定動作を行う推定手段とを備え、前記推定手段は、（ｉ）前記第１ユーザの生体情報及び行動情報の少なくとも一方に関する第２入力データと、前記第２入力データに対応する前記第１ユーザの状態を示す第１正解データとを関連付けて含む第１学習データ、（ｉｉ）前記第１ユーザの生体情報及び行動情報の少なくとも一方に関する第３入力データを、前記第３入力データに対応する前記第１ユーザの状態を示す第２正解データと関連付けることなく含む第２学習データ、及び、（ｉｉｉ）前記第１ユーザとは異なる第２ユーザの生体情報及び行動情報の少なくとも一方に関する第４入力データと、前記第４入力データに対応する前記第２ユーザの状態を示す第３正解データとを関連付けて含む第３学習データを用いて前記推定動作の内容を最適化するための学習動作を行うことを特徴とする状態推定装置である。

付記１に記載された状態推定装置によれば、第１ユーザの生体情報及び行動情報の少なくとも一方に関するデータ（つまり、第２及び第３入力データ）、並びに、第２ユーザの生体情報及び行動情報の少なくとも一方に関するデータ（つまり、第４入力データ）の双方を用いて、推定動作の内容が最適化される。このため、状態推定装置が第１ユーザの状態を推定し始める前に、第１ユーザとは異なる第２ユーザの生体情報及び行動情報の少なくとも一方に基づいて、推定動作の内容がある程度最適化される。その上で、状態推定装置が第１ユーザの状態を推定し始めた後には、第１ユーザと及び第２ユーザの双方の生体情報及び行動情報の少なくとも一方に基づいて、推定動作の内容が更に最適化される。このため、生体情報の個人差の影響を反映させながら、推定動作の内容が最適化される。従って、付記１に記載された状態推定装置は、第１ユーザの生体情報及び行動情報の少なくとも一方に基づいて第１ユーザの状態を適切に推定することができる。

（５−２）付記２
付記２に記載された状態推定装置は、前記学習動作は、前記第１及び第２学習データを用いて前記推定動作の内容を最適化するための第１処理タスクと、前記第３学習データを用いて前記推定動作の内容を最適化するための第２処理タスクとを、マルチタスク学習法に基づいて行うマルチタスク学習動作を含むことを特徴とする付記１に記載の状態推定装置である。

付記２に記載された状態推定装置によれば、マルチタスク学習動作を行うことで、推定動作の内容がより適切に且つより効率的に最適化される。

（５−３）付記３
付記３に記載された状態推定装置は、前記第１処理タスクは、ＰＵ（ＰｏｓｉｔｉｖｅＵｎｌａｂｅｌｅｄ）学習法に基づく処理タスクであり、前記第２処理タスクは、教師あり学習法に基づく処理タスクであることを特徴とする付記２に記載の状態推定装置である。

第１処理タスクは、第１正解データを含む第１学習データと第２正解データを含まない第２学習データとを用いて行われるタスクであるがゆえに、ＰＵ学習法に基づいて行われることが好ましい。一方で、第２処理タスクは、第３正解データを含む第３学習データを用いて行われるタスクであるがゆえに、教師あり学習法に基づいて行われることが好ましい。このため、付記３に記載された状態推定装置によれば、ＰＵ学習法に基づく第１処理タスクと教師あり学習法に基づく第２処理タスクとをマルチタスク学習法に基づいて行うことで、推定動作の内容がより適切に且つより効率的に最適化される。

（５−４）付記４
付記４に記載された状態推定装置は、前記推定手段は、前記第１ユーザの状態が、２種類の状態のいずれかであると推定可能であり、前記第１学習データは、前記第１ユーザの状態が前記少なくとも２種類の状態のうちの一の状態である場合に検出される生体情報及び行動情報の少なくとも一方に関する前記第２入力データと、前記第１ユーザの状態が前記一の状態であることを示す前記第１正解データとを関連付けて含むことを特徴とする付記１から３のいずれか一項に記載の状態推定装置である。

付記４に記載された状態推定装置によれば、２クラス分類を行う推定動作の内容が適切に最適化される。

（５−５）付記５
付記５に記載された状態推定装置は、前記推定手段は、複数の前記第２ユーザに夫々対応する複数の前記第３学習データを用いて前記学習動作を行うことを特徴とする付記１から４のいずれか一項に記載の状態推定装置である。

付記５に記載された状態推定装置によれば、複数の第２ユーザに対応する第３学習データ（つまり、複数の第２ユーザの生体情報及び行動情報の少なくとも一方に関する複数の第４入力データ）を用いて、推定動作の内容が最適化される。このため、生体情報及び行動情報の少なくとも一方の個人差の影響をより一層反映させながら、推定動作の内容が最適化される。従って、付記５に記載された状態推定装置は、第１ユーザの生体情報及び行動情報の少なくとも一方に基づいて第１ユーザの状態をより一層適切に推定することができる。

（５−６）付記６
付記６に記載された状態推定装置は、前記第１ユーザは、車両の運転者であり、前記第１ユーザの状態は、前記第１ユーザの眠気度合いであることを特徴とする付記１から５のいずれか一項に記載の状態推定装置である。

付記６に記載された状態推定装置によれば、運転車の生体情報及び行動情報の少なくとも一方に基づいて運転車の眠気度合いを適切に推定することができる。

（５−７）付記７
付記７に記載された状態推定装置は、前記第２入力データは、前記第１ユーザが前記車両の運転を開始してから所定時間が経過するまでの間に検出される生体情報及び行動情報の少なくとも一方に関するデータであり、前記第１正解データは、前記第１ユーザが眠気なしの状態にあることを示すデータであることを特徴とする付記６に記載の状態推定装置である。

第１ユーザが車両の運転を開始してから所定時間が経過するまでは（つまり、第１ユーザによる車両の運転の開始直後は）、第１ユーザは、眠気なしの状態にある可能性が相対的に高いことが、本願発明者等の実験によって明らかになっている。このため、付記７に記載された状態推定装置によれば、第１学習データが適切に取得可能となる。

（５−８）付記８
付記８に記載された状態推定装置は、前記第３入力データは、前記第１ユーザが前記車両の運転を開始してから所定時間が経過した後に検出される生体情報及び行動情報の少なくとも一方に関するデータであることを特徴とする付記６又は７に記載の状態推定装置である。

第１ユーザが車両の運転を開始してから所定時間が経過した後は、第１ユーザの眠気度合いは、様々な要因に影響を受けて変動する。つまり、第１ユーザは、眠気なしの状態にある場合もあれば、眠気ありの状態にある場合もある。この場合であっても、付記７に記載された状態推定装置によれば、第１ユーザが車両の運転を開始してから所定時間が経過した後に検出される生体情報及び行動情報の少なくとも一方に関するデータは、第２正解データに関連付けられていない第３入力データを含む第２学習データとして取得される。このため、第１ユーザが車両の運転を開始してから所定時間が経過した後に検出される生体情報及び行動情報の少なくとも一方に関する第３入力データが学習動作に用いられない場合と比較して、推定手段は、より多くの学習データを用いて学習動作を行うことができる。その結果、推定動作の内容がより適切に且つ迅速に最適化される。

本発明は、上述した実施形態に限られるものではなく、特許請求の範囲及び明細書全体から読み取れる発明の要旨或いは思想に反しない範囲で適宜変更可能であり、そのような変更を伴う状態推定装置もまた本発明の技術的範囲に含まれるものである。

１１心電位センサ
１２演算装置
１２０入力インタフェース部
１２１フィルタ部
１２２特徴抽出部
１２３状態推定部
１２４学習データ生成部
１２５運転判定部
１３記憶装置
１４表示装置
１５通信装置
１６操作装置
α 係数パラメータ
ＤＰ学習データ
ＤＰＮＰＮデータ
ＤＰＵＰＵデータ

Claims

第１ユーザの生体情報及び行動情報の少なくとも一方に関する第１入力データを取得する取得手段と、
前記第１入力データに基づいて、前記第１ユーザの状態を推定する推定動作を行う推定手段と
を備え、
前記推定手段は、（ｉ）前記第１ユーザの生体情報及び行動情報の少なくとも一方に関する第２入力データと、前記第２入力データに対応する前記第１ユーザの状態を示す第１正解データとを関連付けて含む第１学習データ、（ｉｉ）前記第１ユーザの生体情報及び行動情報の少なくとも一方に関する第３入力データを、前記第３入力データに対応する前記第１ユーザの状態を示す第２正解データと関連付けることなく含む第２学習データ、及び、（ｉｉｉ）前記第１ユーザとは異なる第２ユーザの生体情報及び行動情報の少なくとも一方に関する第４入力データと、前記第４入力データに対応する前記第２ユーザの状態を示す第３正解データとを関連付けて含む第３学習データを用いて前記推定動作の内容を最適化するための学習動作を行う
ことを特徴とする状態推定装置。
前記学習動作は、前記第１及び第２学習データを用いて前記推定動作の内容を最適化するための第１処理タスクと、前記第３学習データを用いて前記推定動作の内容を最適化するための第２処理タスクとを、マルチタスク学習法に基づいて行うマルチタスク学習動作を含む
ことを特徴とする請求項１に記載の状態推定装置。
前記第１処理タスクは、ＰＵ（ＰｏｓｉｔｉｖｅＵｎｌａｂｅｌｅｄ）学習法に基づく処理タスクであり、
前記第２処理タスクは、教師あり学習法に基づく処理タスクである
ことを特徴とする請求項２に記載の状態推定装置。
前記推定手段は、前記第１ユーザの状態が、２種類の状態のいずれかであると推定可能であり、
前記第１学習データは、前記第１ユーザの状態が前記少なくとも２種類の状態のうちの一の状態である場合に検出される生体情報及び行動情報の少なくとも一方に関する前記第２入力データと、前記第１ユーザの状態が前記一の状態であることを示す前記第１正解データとを関連付けて含む
ことを特徴とする請求項１から３のいずれか一項に記載の状態推定装置。
前記推定手段は、複数の前記第２ユーザに夫々対応する複数の前記第３学習データを用いて前記学習動作を行う
ことを特徴とする請求項１から４のいずれか一項に記載の状態推定装置。
前記第１ユーザは、車両の運転者であり、
前記第１ユーザの状態は、前記第１ユーザの眠気度合いである
ことを特徴とする請求項１から５のいずれか一項に記載の状態推定装置。
前記第２入力データは、前記第１ユーザが前記車両の運転を開始してから所定時間が経過するまでの間に検出される生体情報及び行動情報の少なくとも一方に関するデータであり、
前記第１正解データは、前記第１ユーザが眠気なしの状態にあることを示すデータである
ことを特徴とする請求項６に記載の状態推定装置。
前記第３入力データは、前記第１ユーザが前記車両の運転を開始してから所定時間が経過した後に検出される生体情報及び行動情報の少なくとも一方に関するデータである
ことを特徴とする請求項６又は７に記載の状態推定装置。