JP6191242B2 - 集中度推定装置 - Google Patents

Description

本発明は、集中度推定装置に関する。

人の集中度は、脳波（特に、θ波）と深い関係があることが知られている。しかし、日常、人から脳波を計測するのは難しい。そこで、集中度と相関のある生理情報（心拍、呼吸、皮膚電位活動等）を検出し、生理情報を用いて集中度を推定する技術が提案されている。特許文献１には、人から計測した複数の生体情報（心拍、呼吸、皮膚抵抗値等）と、複数の生体情報と集中状態とを対応付けた集中度ルール設定情報とから集中度を推定し、その推定した集中度を表示する集中度推定装置が開示されている。

特開平９−２６２２１６号公報 特開２００８−７９７３７号公報 特開２０１２−６３８８５号公報 特開２０１２−１０８５６号公報 特開２０１１−１６７３２３号公報

集中度には個人差が見られるため、個人差に応じた集中度の推定を行う上では改善の余地がある。特許文献１に開示されている集中度推定装置の場合、複数の生体情報と集中状態とを対応付けた集中度ルール設定情報に従って集中度を推定しており、この推定された集中度には個人差が反映されていない。

そこで、本発明は、個人差に応じて集中度を高精度に推定できる集中度推定装置を提供することを課題とする。

本発明に係る集中度推定装置は、対象者の集中度を推定する集中度推定装置であって、対象者から集中度と相関のある第１の情報を検出する第１情報検出手段と、第１情報検出手段で検出した第１の情報から集中度を推定する集中度推定手段と、対象者の入力による集中度と相関のある第２の情報を収集する第２情報収集手段と、第２情報収集手段で収集した第２の情報を集中度に変換する変換手段と、第２情報収集手段で収集した第２の情報に対応する第１情報検出手段で検出した第１の情報と、変換手段で変換した集中度を学習データとして学習する学習手段とを備え、集中度推定手段は、学習手段での学習結果を用いて第１の情報から集中度を推定することを特徴とする。

この集中度推定装置では、第１情報検出手段によって集中度と相関のある第１の情報を対象者から検出する。この第１の情報は、人の集中度と相関があるので、集中度の推定に用いることができ、例えば、心拍、呼吸、皮膚電位活動等の生理情報である。また、集中度推定装置では、第２情報収集手段によって集中度と相関のある第２の情報を対象者から収集する。この第２の情報は、人の入力による集中度と相関のある情報であるので、第１の情報と集中度との関係を個人適合させるために用いることができ、例えば、人によって入力される主観的な集中度、任意のタスクに対する反応時間である。集中度推定装置では、変換手段によって第２の情報を集中度に変換し、学習手段によって第２の情報に対応する第１の情報と、第２の情報から変換した集中度を学習データとして学習する。この学習により、第１の情報と集中度との関係を個人適合させることができる。そこで、集中度推定装置では、集中度推定手段によってその学習結果を用いて第１の情報から集中度を推定する。この推定された集中度は、個人適合させるための学習結果が反映されているので、対象者個人に応じた集中度である。このように、集中度推定装置は、対象者によって入力された集中度と相関のある第２の情報を収集し、第１の情報と、第２の情報から変換した集中度を学習データとして学習することにより、第１の情報と集中度との関係を個人適合させることができ、個人差に応じて集中度を高精度に推定できる。

本発明の上記集中度推定装置では、変換手段は、第２の情報から変換される集中度についてのばらつきを算出し、学習手段は、変換手段で算出した集中度のばらつきを加味して学習すると好適である。

第２の情報は、人によって入力されるので、ばらつき（誤差）がある。したがって、第２の情報から変換される集中度にも、ばらつきがある。そこで、集中度推定装置では、変換手段によって第２の情報から集中度を変換する際にその集中度のばらつきも算出する。そして、集中度推定装置では、学習手段によってその集中度のばらつきを加味して学習を行う。このように、集中度推定装置は、対象者によって入力された第２の情報のばらつき（ひいては、第２の情報から変換される集中度のばらつき）を加味して学習を行うことにより、学習によって集中度の推定結果が急激に変化せず、安定した推定が可能となる。

本発明によれば、対象者によって入力された集中度と相関のある第２の情報を収集し、第１の情報と、第２の情報から変換した集中度を学習データとして学習することにより、第１の情報と集中度との関係を個人適合させることができ、個人差に応じて集中度を高精度に推定できる。

本実施の形態に係る集中度推定装置の構成図である。 心拍特徴量から推定された集中度（推定ラベル）と脳波のθ波含有率による集中度（正解ラベル）との比較例を示すグラフである。 θ波含有率から集中度のクラスラベルを分類する方法の説明図である。 図１の記憶部に記憶される学習データの一例を示す模式図である。 図１の収集部で使用者による入力情報を収集するための表示画面の一例であり、（ａ）が主観集中度を収集するための表示画面であり、（ｂ）が反応時間を収集するための表示画面である。 心拍特徴量計測区間と使用者による入力情報の収集との対応関係の一例であり、（ａ）が心拍特徴量計測区間と主観集中度収集タイミングとの対応関係であり、（ｂ）が心拍特徴量計測区間と反応時間収集区間との対応関係である。 主観集中度及び反応時間とθ波含有率（集中度）との関係の一例であり、（ａ）が主観集中度とθ波含有率との関係であり、（ｂ）が反応時間とθ波含有率との関係である。 θ波含有率（集中度）と主観集中度との間のばらつきを示す図である。 使用者が歩行した場合の心拍特徴量計測区間と使用者による主観集中度収集タイミングとの対応関係の一例である。

以下、図面を参照して、本発明に係る集中度推定装置の実施の形態を説明する。なお、各図において同一又は相当する要素については同一の符号を付し、重複する説明を省略する。

本実施の形態に係る集中度推定装置は、使用者（特許請求の範囲に記載する集中度が推定される対象者に相当）が携帯するスマートフォンに集中度推定用アプリケーションが組み込まれて構成される。本実施の形態に係る集中度推定装置は、脳波（特に、θ波）を用いずに人の集中度を推定する。本実施の形態に係る集中度推定装置は、集中度を推定するために、集中度と相関のある第１の情報として心拍を用い、集中度と相関のある第２の情報として使用者が入力する主観集中度や使用者による入力の反応時間を用いる。

人の背景脳波のうちで４〜８Ｈｚの帯域は、θ波と呼ばれ、眠気を催したときに発生することが知られている。一方で、前頭部で計測されるＦｍθ波と呼ばれる特徴的な脳波があり、このＦｍθ波は一つのことに集中すると発生することが知られている。本発明者は、実験を通じてボタン押しや文章作成あるいは車両の運転中等においても、θ波パワーが有意に高まる現象を確認した。この結果から、Ｆｍθ波を直接観察せずに、θ波含有率又はθ波パワーから人の集中状態を判定できることが示唆されている。したがって、脳波のθ波含有率やθパワーによって、集中度を定義できる。しかし、日常、人から脳波を計測するのは難しい。

脳波以外の生理情報としては、例えば、心拍、呼吸、皮膚電位活動がある。これらの生理情報は、腕時計型や胸バンド型の装置を用いることにより、脳波計測よりも簡便に計測可能である。そこで、本実施の形態では、これらの生理情報の中から心拍を用いて、脳波により定義された集中度を推定する。

集中度には個人差が見られ、心拍等の生理情報が同じときでも人によって集中度が異なる場合がある。しかし、これらの生理情報と集中度との関係には、個人毎のデータが存在しない場合がある。そこで、この関係を個人適合させるために、集中度と相関のある使用者が入力する主観的な集中度と使用者による入力の反応時間を用いて学習を行う。

この学習としては、例えば、サポートベクタマシンに代表される機械学習手法で多クラス分類（特に、２クラス分類）又は回帰モデルを学習する。この学習には、不特定多数の人から取得した基本学習データセットと使用者から取得した追加学習データセットを用いる、基本学習データは、事前に集中するタスクと安静するタスクを実施したときの脳波のθ波含有率（集中度）と心拍の特徴量とを同時に計測して、θ波含有率を閾値判定した集中度と心拍特徴量とをセットとしたデータである。追加学習データは、使用者によって入力された主観集中度や反応時間を収集するとともにそれに対応した使用者の心拍の特徴量を計測し、この主観集中度や反応時間から変換された集中度と心拍特徴量とをセットしたデータである。

本実施の形態で用いる心拍特徴量について説明しておく。本実施の形態では、使用者から検出された心電位から複数の心拍特徴量を抽出する。この抽出方法としては、心電位の時系列データからＲＲ間隔（Ｒ波とＲ波の間隔）データを取得し、所定時間（例えば、３分間）のＲＲ間隔データから心拍特徴量を算出する。この心拍特徴量としては、ＲＲＶ、ＬＦ／ＨＦ、重心周波数、ピーク周波数の４つの特徴量を用いる。ＲＲＶは、ＲＲ間隔の分散である。ＬＦ／ＨＦは、ＲＲ間隔のパワースペクトルのうちＬＦ成分（０．０４〜０．１５［Ｈｚ］）をＨＦ成分（０．１５〜０．４［Ｈｚ］）で除算したものである。重心周波数は、ＲＲ間隔のパワースペクトルの重心を示す周波数である。ピーク周波数は、ＲＲ間隔のパワースペクトルの最大値を示す周波数である。本実施の形態では、このＲＲＶ、ＬＦ／ＨＦ、重心周波数、ピーク周波数の各値からなるベクトルを心拍特徴量ベクトルｘと呼ぶ。

図２には、この４つの心拍特徴量から推定した集中度と脳波のθ波含有量による集中度との比較例を示す。ここでは、ある被験者から心電位と脳波とを同時に検出し、心電位から４つの心拍特徴量を算出するとともに脳波からθ波含有率を取得した。本実施の形態では、集中度を集中と安静の２クラスで判別する。また、本実施の形態では、４つの心拍特徴量から２クラスの集中度を判別する手法として、２次判別分析（ＱＤＡ[Quadratic Discriminant Analysis])を用いる。図２では、θ波含有率の時間変化Ｇ１を閾値Ｓを用いて判別しており、閾値Ｓより大きい場合を集中とし、閾値Ｓ以下の場合を安静としている。この判別結果を、正解ラベルとして○印で示している。閾値Ｓは、実験等によって適宜設定される。また、心拍特徴量から推定した集中度を、推定ラベルとして×印で示している。この集中の正解ラベルと推定ラベルとを比較するとともに安静の正解ラベルと推定ラベルとを比較すると、正解ラベルと推定ラベルとが一致する部分が多い。この結果から、この心拍と脳波のθ波含有率（集中度）との間に相関があることが判る。

なお、本実施の形態には、３つの形態がある。第１の実施の形態は、集中度推定装置の基本の形態である。第２の実施の形態は、追加学習データのデータ量が増えるほど追加学習データを重視して学習を行う形態である。第３の実施の形態は、使用者からの主観集中度等の収集率を高めるための形態である。

それでは、図１を参照して、第１の実施の形態に係る集中度推定装置１について具体的に説明する。図１は、本実施の形態に係る集中度推定装置の構成図である。

集中度推定装置１は、心拍センサ１０、記憶部１１、収集部１２、変換部１３、学習部１４、集中度推定部１５、表示部１６を備えている。記憶部１１、収集部１２、変換部１３、学習部１４、集中度推定部１５、表示部１６は、スマートフォン内に構成される。心拍センサ１０は、スマートフォンと無線通信可能である。なお、第１の実施の形態では、心拍センサ１０が特許請求の範囲に記載する第１情報検出手段に相当し、収集部１２が特許請求の範囲に記載する第２情報収集手段に相当し、変換部１３が特許請求の範囲に記載する変換手段に相当し、学習部１４が特許請求の範囲に記載する学習手段に相当し、集中度推定部１５が特許請求の範囲に記載する集中度推定手段に相当する。

心拍センサ１０について説明する。心拍センサ１０は、心電位を検出するセンサである。心拍センサ１０は、使用者の胸部に装着される胸バンド型である。心拍センサ１０は、スマートフォンと無線通信するために、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の無線通信機能を有している。心拍センサ１０では、常時、使用者の心電位を検出し、検出した心電位を無線通信でスマートフォンに送信する。

記憶部１１について説明する。記憶部１１は、スマートフォンのメモリ装置の所定の領域に構成される。記憶部１１は、学習部１４で用いる学習データを記憶する。学習データには、記憶部１１に事前に記憶されている基本学習データと使用者から収集する毎に記憶部１１に記憶される追加学習データとがある。学習データは、心拍特徴量ベクトルｘ（ＲＲＶ、ＬＦ／ＨＦ、重心周波数、ピーク周波数）と集中度ベクトルｗ（安静クラスの確率、集中クラスの確率）との対からなる。

基本学習データは、使用開始前に不特定多数の人から取得された学習データである。この基本学習データの作成方法について説明する。事前の予備実験で、不特定多数の人から、脳波と心電位とを同時に所定時間分検出する。脳波からθ波含有率を取得すると、図３に示すように、θ波含有率Ｇ２を閾値Ｓを用いて判別する。そして、閾値Ｓより大きい場合、集中クラスの確率を１とし、安静クラスの確率を０とする。閾値Ｓ以下の場合、安静クラスの確率を１とし、集中クラスの確率を０とする。また、心電位からＲＲ間隔を取得すると、ＲＲ間隔からＲＲＶ、ＬＦ／ＨＦ、重心周波数、ピーク周波数を算出する。図４には、記憶部１１に記憶される基本学習データｘ_１，ｘ_２，・・・の一例を示している。なお、使用者本人の脳波や心電位を事前に検出できるのであれば、使用者本人の基本学習データを作成し、記憶部１１に記憶しておいてもよい。

追加学習データは、使用開始後に使用者から取得された学習データである。追加学習データの心拍特徴量ベクトルｘについては集中度推定部１５で作成されるので、集中度推定部１５で説明する。追加学習データの集中度ベクトルｗについては変換部１３で作成されるので、変換部１３で説明する。図４には、記憶部１１に記憶される追加学習データｘ’_１，ｘ’_２，・・・の一例を示している。

収集部１２について説明する。収集部１２では、使用者に入力させることによって使用者が集中している度合いの指標を収集する。この指標としては、使用者が判断する主観的な集中度と、使用者のタスクに対する集中度（本実施の形態では、タスクに対する反応時間）とがある。収集部１２は、スマートフォンの表示機能とタッチパネル機能を利用する。具体的には、収集部１２では、スマートフォンのディスプレイに使用者に入力させるための案内画面を表示させ、案内画面に従って使用者にタッチパネルで画面入力させる。そして、収集部１２では、その入力された情報を記録する。この記録された情報は、変換部１３で使われる。

主観集中度は、ＶＡＳ[Visual Analog Scale]によって収集される。ＶＡＳとは、１００［ｍｍ］の水平な直線の両端に０［集中していなかった］と１００［集中していた］が記載されており、使用者の主観で最もよく当てはまる位置に水平線に対して線を引いてもらう手法である。図５（ａ）には、ＶＡＳによる主観集中度を入力させるためのディスプレイでの表示画面例が示されており、「集中していた」寄りの位置に使用者によって入力された線が引かれている。収集部１２では、この１００ｍｍの水平線に対して引かれた線の左端からの距離をｍｍ単位で計測し、その値を主観集中度とする。主観集中度を収集する場合、デスクワーク（例えば、パソコンによる文章作成）、会議等の作業が終わってから、その作業のときの主観的な集中度を使用者に入力させる。この入力される主観集中度に対応する心拍特徴量の計測区間は、図６（ａ）に示すように、主観集中度の入力タイミングよりも前の区間（デスクワーク、会議等の作業を行っている区間）となる。

反応時間は、例えば、ディスプレイの画面内の所定の部分が光ってから使用者が画面を押すまでの時間が収集される。反応時間の収集は、１回だけ収集し、その１回の反応時間としてもよいし、あるいは、所定時間（例えば、５分間）の間に複数回収集し、その平均反応時間としてもよい。図５（ｂ）には、反応時間を収集するためのディスプレイでの表示画面例が示されており、画面の中心の円部分が光るとタッチパネル機能で使用者によって押される。収集部１２では、この光ってから押されるまでの時間を計測し、反応時間とする。反応時間の収集する場合、デスクワーク、会議等の作業が行われていない任意の時間に行ってよい。この収集される反応時間に対応する心拍特徴量の計測区間は、図６（ｂ）に示すように、反応時間を入力させる課題を実施している区間と同じ区間である。この区間で反応時間が複数回収集された後に、その複数回の反応時間の平均値が算出される。

変換部１３について説明する。変換部１３は、収集部１２によって収集された主観集中度や反応時間を集中度（安静クラスの所属確率と集中クラスの所属確率）に変換する。変換部１３での処理について具体的に説明する前に、各クラスの所属確率の求め方を説明する。図７には、５名の任意の人による事前実験で収集した主観集中度及び反応時間とθ波含有率（集中度）との関係の一例を示している。図７（ａ）には主観集中度とθ波含有率との関係を示しており、θ波含有率が高まるほど主観集中度が上昇している。このデータを線形回帰すると、線形回帰線Ｌ１が得られる。また、図７（ｂ）には反応時間とθ波含有率との関係を示しており、θ波含有率が高まるほど反応時間が短縮している。このデータを線形回帰すると、線形回帰線Ｌ２が得られる。この図７の例からも判るように、主観集中度や反応時間は、人が入力する情報であるので、入力した人の集中度（脳波のθ波含有率）との間に相関がある。したがって、この相関関係を線形回帰によって抽出することにより、主観集中度や反応時間からθ波含有率（集中度）を推定できる。

しかし、図７の例でも判るように、主観集中度や反応時間は、人の主観的な入力や人の行動であるので、集中度（脳波のθ波含有率）との間にばらつきがある。このように集中度と主観集中度や反応時間との間にはばらつき（誤差）が存在するので、主観集中度や反応時間を学習に用いる場合にはこのばらつきによる不確実性を考慮する必要がある。図８に示すように、θ波含有率（集中度）と主観集中度との間のばらつきについては、本実施の形態ではガウス分布Ｄに従うと仮定する。このガウス分布については、式（１）の線形回帰式ｆ（ｘ）及びその回帰残差の分散σ^２を求め、これをガウス分布のパラメータ（平均ｆ（ｘ）、分散σ^２）とする。本実施の形態では、ガウス分布Ｄにおいて閾値Ｓより大きい部分（斜線部分）の面積の割合を集中クラスの所属確率とし、ガウス分布Ｄにおいて閾値Ｓより小さい部分（無地部分）の面積の割合を安静クラスの所属確率とする。この面積については、正規分布表や公知の関数から求めることができる。なお、相関関係について、線形回帰以外にも、２次多項式等の非線形な関数を用いてもよい。

式（１）で示す線形回帰式ｆ（ｘ）及び分散σ^２を求めるためには、脳波（θ波含有率）のデータと主観集中度や反応時間のデータが必要となる。脳波については、基本的には、使用者から計測することができない。そこで、事前の予備実験で、不特定多数の人から、脳波を計測するとともに、主観集中度や反応時間を収集する。この各データの収集は、基本学習データの収集と合わせて行うとよい。そして、この脳波（θ波含有率）データと主観集中度や反応時間の各データとを用いて線形回帰を行い、主観集中度についての線形回帰式ｆ（ｘ）及びその回帰残差の分散σ^２、反応時間についての線形回帰式ｆ（ｘ）及びその回帰残差の分散σ^２をそれぞれ求める。変換部１３では、この事前に求めておいた線形回帰式ｆ（ｘ）及び分散σ^２を用いる。なお、使用者の脳波を計測できる場合、変換部１３で使用者の脳波のデータに基づく線形回帰式ｆ（ｘ）及び分散σ^２を求めるようにしてもよい。使用者の線形回帰式ｆ（ｘ）及び分散σ^２を求めることができれば、使用者個人への適合をより精度良く行うことができる。

変換部１３では、収集部１２で主観集中度が収集されると、その主観集中度に応じたガウス分布を主観集中度についての線形回帰式ｆ（ｘ）及び分散σ^２を用いて設定し、そのガウス分布を閾値Ｓで分割して安静クラスの所属確率と集中クラスの所属確率を算出する。また、変換部１３では、収集部１２で反応時間が収集されると、その反応時間に応じたガウス分布を反応時間についての線形回帰式ｆ（ｘ）及び分散σ^２を用いて設定し、そのガウス分布を閾値Ｓで分割して安静クラスの所属確率と集中クラスの所属確率を算出する。この変換部１３で安静クラスの所属確率と集中クラスの所属確率に変換される毎に、集中度推定部１５で算出される該当する区間の４つの心拍特徴量が対応付けられ、心拍特徴量ベクトルｘ’と集中度ベクトルｗ’との対で記憶部１１に追加学習データとして記憶される。学習部１４では、使用者個人に適合させるために、この心拍特徴量ベクトルｘ’と、集中度ベクトルｗ’を学習データとして学習する。

学習部１４について説明する。学習部１４は、記憶部１１に記憶されている基本学習データと追加学習データを用いて２次判別分析による学習を行う。この学習では、安静クラスと集中クラスに分けて学習を行い、各クラスの平均ベクトルと分散共分散行列を算出する。具体的には、学習部１４では、式（２）により、クラスｊ毎に重み付き標本平均ベクトルをそれぞれ算出する。さらに、学習部１４では、算出した重み付き標本平均ベクトルを用いて、式（３）により、クラスｊ毎に重み付き標本分散共分散Ｓ_ｊをそれぞれ算出する。なお、ｊは、クラス番号であり、{１（＝安静クラス），２（＝集中クラス）}である。ｌは、基本学習データの個数である。ｕは、追加学習データの個数である。ｗ_ｉｊは、重みベクトル（集中度ベクトル）であり、{ｗ_ｉ１（＝安静クラスの確率），ｗ_ｉ２（＝集中クラスの確率）}である。ｘ_ｉは、心拍特徴量ベクトルである。

この学習部１４で求められた各クラスの重み付き標本平均ベクトルと重み付き標本分散共分散は、集中度推定部１５で心拍特徴量ベクトルから集中度を推定する際に用いられる。なお、学習部１４での学習頻度は、追加学習データが１個追加される毎に学習を行ってもよいし、あるいは、追加学習データが所定個追加される毎に学習を行ってもよい。

集中度推定部１５について説明する。集中度推定部１５は、心拍センサ１０で検出された心電位を用いて４つの心拍特徴量を算出し、この４つの心拍特徴量から２クラスの集中度（θ波含有率が小さい場合の安静クラスと大きい場合の集中クラス）を推定する。この推定は、上記したように２次判別分析（ＱＤＡ）によって行われ、学習部１４で学習が既に行われている場合にはその学習結果（各クラスの重み付き標本平均ベクトルと重み付き標本分散共分散）が用いられる。具体的には、集中度推定部１５では、心拍センサ１０で検出された所定時間分の心電位の時系列データからＲＲ間隔データを取得し、この所定時間分のＲＲ間隔データからＲＲＶ、ＬＦ／ＨＦ、重心周波数、ピーク周波数を算出する。そして、集中度推定部１５では、ＲＲＶ、ＬＦ／ＨＦ、重心周波数、ピーク周波数からなる心拍特徴量ベクトルｘを用いて、式（４）により、クラスｊ毎にマハラノビス距離Ｄ_ｊ（ｘ）をそれぞれ算出する。さらに、集中度推定部１５では、この各クラスのマハラノビス距離Ｄ_ｊ（ｘ）を用いて、式（５）により、集中度（安静クラス、集中クラス）ｃ（ｘ）を推定する。なお、追加学習データがなく、学習部１４で学習が未だ行われていない初期段階の場合、各クラスの重み付き標本平均ベクトルと重み付き標本分散共分散については事前に設定されている初期値を用いる。

表示部１６について説明する。表示部１６は、スマートフォンのディスプレイによる表示機能を用いる。表示部１６では、集中度推定部１５での集中度の推定結果（安静クラス、集中クラス）をディスプレイに表示する。なお、表示部１６では、集中度の推定結果以外にも、その推定結果に関連する他の情報を表示してもよい。

図１を参照して、集中度推定装置１における動作の流れを簡単について説明する。使用者のスマートフォンには、集中度推定用アプリケーションが組み込まれている。記憶部１１には、基本学習データが事前に格納されている。また、変換部１３には、主観集中度についての線形回帰線ｆ（ｘ）と分散σ_２及び反応時間についての線形回帰線ｆ（ｘ）と分散σ_２が事前に設定されている。心拍センサ１０は、使用者の胸部に装着される。

使用開始すると、常時、心拍センサ１０では、使用者の心電位を検出し、その心電位データをスマートフォンに無線送信する。スマートフォンでは、この心電位データを受信する。集中度推定部１５では、所定時間分の心電位データからＲＲ間隔データを抽出し、所定時間分のＲＲ間隔データからＲＲＶ、ＬＦ／ＨＦ、重心周波数、ピーク周波数（心拍特徴量ベクトル）を算出する。

使用者から主観集中度を収集できる場合、収集部１２では、ＶＡＳによって使用者の主観集中度を収集する。あるいは、使用者の反応時間を収集できる場合、収集部１２では、使用者の反応の入力動作によって反応時間を収集する。収集部１２で主観集中度又は反応時間を収集する毎に、変換部１３では、その主観集中度又は反応時間に応じたガウス分布を線形回帰式ｆ（ｘ）と分散σ^２を用いて設定し、そのガウス分布を閾値Ｓで分割して安静クラスの所属確率と集中クラスの所属確率を算出する。この算出された各クラスの所属確率からなる集中度ベクトルと対応する区間の心拍特徴量ベクトルとは、記憶部１１に追加学習データとして記憶される。

記憶部１１に追加学習データが新たに追加されると、学習部１４では、式（２）によりクラスｊ毎に重み付き標本平均ベクトルをそれぞれ算出する。さらに、学習部１４では、この各クラスｊの重み付き標本平均ベクトルを用いて、式（３）によりクラスｊ毎に重み付き標本分散共分散をそれぞれ算出する。

集中度推定部１５では、心拍特徴量ベクトルｘを算出する毎に、各クラスの重み付き標本平均ベクトルと重み付き標本分散共分散を用いて、式（４）によりクラスｊ毎にマハラノビス距離をそれぞれ算出する。さらに、集中度推定部１５では、この各クラスのマハラノビス距離を用いて、式（５）により集中度のクラスを推定する。表示部１６では、この推定した集中度（安静クラス、集中クラス）をディスプレイに表示する。

この集中度推定装置１によれば、使用者の入力による主観集中度や反応時間を収集し、使用者の心拍特徴量と、主観集中度や反応時間から変換した集中度を学習データとして学習することにより、心拍特徴量と集中度（脳波のθ波）との関係を使用者個人に適合させることができ、使用者の集中度を高精度に推定できる。

また、集中度推定装置１によれば、対象者の入力による主観集中度や反応時間のばらつき（ひいては、主観集中度や反応時間から変換される集中度のばらつき）を加味して学習を行うことにより、不確実性のある追加学習データの学習への影響を抑えることができ、学習によって集中度の推定結果が急激に変化せず、安定した推定が可能となる。例えば、誤差が大きい主観集中度や反応時間があった場合でも、推定結果への影響が小さい。また、集中度推定装置１によれば、使用者の追加学習データを徐々に追加していくので、集中度の推定の傾向が緩やかに個人適合してゆくため、違和感がない。

また、集中度推定装置１によれば、スマートフォンのタッチパネル機能を利用して主観集中度の入力や単純なタスクに対する入力を使用者にさせるだけなので、追加学習データを簡単に収集することができる。使用者は、このような入力を行うだけなので、負担が少ない。また、集中度推定装置１によれば、使用者が常時携帯するスマートフォンに構成することにより、使用者の主観集中度や反応時間を収集する機会を増やすことができ、多くの追加学習データを収集することができる。

図１を参照して、第２の実施の形態に係る集中度推定装置２について説明する。この集中度推定装置２は、第１の実施の形態に係る集中度推定装置１と比較すると、追加学習データの個数が増えるほど追加学習データを重視して学習を行う点が異なる。したがって、集中度推定装置２は、第１の実施の形態に係る集中度推定装置１の学習部１４に代えて、学習部２４を備えている。第２の実施の形態では、学習部２４が特許請求の範囲に記載する学習手段に相当する。第２の実施の形態では、この学習部２４についてのみ説明する。

第１の実施の形態に係る集中度推定装置１では、基本学習データと追加学習データとを同様に取り扱って学習を行った。しかし、この学習は使用者個人に適合させるための学習であるが、基本学習データは使用者から得たデータでない。そこで、集中度推定装置２では、追加学習データの個数が多くなるほど、基本学習データの学習に及ぼす影響を小さくすることによって追加学習データを重視して学習を行う。

学習部２４での具体的な処理について説明する。学習部２４は、第１の実施の形態に係る学習部１４での学習に、追加学習データの個数の増加に応じた重みを加えて学習を行う。具体的には、学習部２４では、式（６）で示す重みパラメータａ_ｉを導入する。この重みパラメータａ_ｉは、追加学習データで学習する場合の重みを１に固定し、基本学習データで学習する場合の重みを追加学習データの個数ｕの割合が増加するほど小さくする。学習部２４では、この重みパラメータａ_ｉを用いて、式（７）により、クラスｊ毎に重み付き標本平均ベクトルをそれぞれ算出する。さらに、学習部２４では、各クラスの重み付き標本平均ベクトル及び重みパラメータａ_ｉを用いて、式（８）により、クラスｊ毎に重み付き標本分散共分散Ｓ_ｊをそれぞれ算出する。

この集中度推定装置２によれば、追加学習データの個数が増えるほど追加学習データを重視して学習を行うことにより、追加学習データの学習に及ぼす影響が大きくなり（基本学習データの学習に及ぼす影響が小さくなり）、心拍特徴量と集中度（脳波のθ波）との関係を使用者個人により適合させることができ、使用者の集中度をより高精度に推定できる。

図１を参照して、第３の実施の形態に係る集中度推定装置３について説明する。この集中度推定装置３は、第１の実施の形態に係る集中度推定装置１又は第２の実施の形態に係る集中度推定装置２と比較すると、使用者の入力による主観集中度等の収集方法を改善した点が異なる。したがって、集中度推定装置３は、第１、２の実施の形態に係る集中度推定装置１、２の収集部１２に代えて、収集部３２を備えている。第３の実施の形態では、収集部３２が特許請求の範囲に記載する第２情報収集手段に相当する。第３の実施の形態では、この収集部３２についてのみ説明する。

第１、２の実施の形態に係る集中度推定装置１、２では、デスクワーク等の作業を実施した後に、その作業の実施中の主観集中度を使用者に入力させている。しかし、使用者によっては入力を失念してしまい、主観集中度を収集できないと、追加学習データを十分に得られない。そこで、集中度推定装置３では、使用者の行動認識を行い、行動認識の結果に応じて使用者に対して主観集中度の入力を促す。例えば、デスクワーク中に歩行が認識された場合、デスクワークが中断又は終了したことを示していると考えられる。そこで、デスクワーク終了後に主観集中度が入力されていない状態で歩行した場合、歩行終了後の静止状態において使用者に歩行開始前のデスクワーク中の主観集中度の入力を促す。歩行しているか否かの判断には、スマートフォンに搭載される加速度センサを利用する。また、使用者に対する入力の促しには、スマートフォンのバイブレータ機能やアラーム機能を利用する。

収集部３２での具体的な処理について説明する。収集部３２は、スマートフォンの加速度センサで検出した加速度のノルムが閾値以上か否かを判定し、閾値以上の場合には使用者が歩行しているかあるいは何らかの作業をしている状態と推定し、閾値未満の場合には使用者が着座している状態と推定する。使用者が着座している状態（静止状態）と推定した場合、収集部３２では、その静止状態が一定時間以上続くと、バイブレータ機能で振動させたりあるいはアラーム機能でアラーム音を発生させるとともに、ディスプレイにＶＡＳによる主観集中度を入力させるための画面を表示させる。この表示する画面には、例えば、「歩行する前のデスクワーク中の集中度を入力して下さい」といく文章を挿入する。なお、加速度のノルムを判定する方法以外にも、加速度のノルムを周波数解析するなどの他の種々の方法で判定してもよい。また、加速度以外の情報を用いて歩行しているかを推定してもよい。

歩行している区間は、運動による心拍の変動が大きくなる。したがって、この区間の心拍特徴量は、追加学習データとして用いることはできない。そこで、歩行後に入力される主観集中度に対応する心拍特徴量の計測区間は、図９に示すように、歩行する前の区間とする。

なお、静止状態と推定した場合に、心拍に急激な変動があったときに主観集中度の入力を促してもよい。また、心拍等の生理情報を取得し、取得した生理情報が大きく変動した時刻を記録しておき、その生理情報が定常状態に戻った後にその大きく変動したときの時刻とその変動した事実を示し、その時刻のときの主観集中度の入力を促してもよい。また、任意のイベントが終了した後に主観集中度の入力を促してもよい。また、作業が持続していると考えられる場合（例えば、使用者の集中度が高い状態が継続した場合）、安静と推定されるまで主観集中度の入力を待ってもよい。また、主観集中度を１度だけ入力させるのではなく、上記した各入力を促すタイミングを基点として所定時間間隔（例えば、１０分間隔）で主観集中度の入力を複数回促してもよい。また、主観集中度の例を示しているが、反応時間についても同様に適用可能できる。

この集中度推定装置３によれば、使用者の行動や生理状態等を認識することにより、主観集中度等の入力を適切なタイミングで促すことができ、より多くの追加学習データを収集することができる。その結果、使用者個人により適合させることができ、使用者の集中度をより高精度に推定できる。

以上、本発明に係る実施の形態について説明したが、本発明は上記実施の形態に限定されることなく様々な形態で実施される。

例えば、本実施の形態ではスマートフォンを利用して集中度推定装置を構成したが、スマートフォン以外の携帯端末に集中度推定装置を構成してもよいし、タブレット型パソコンやノートパソコン等の携帯型のパソコンに集中度推定装置を構成してもよいし、車両に搭載のカーナビゲーションシステムに集中度推定装置を構成してもよいし、デスクトップ型のパソコンに集中度推定装置を構成してもよいし、あるいは、検出した心拍データや収集した主観集中度等をセンタのサーバやクラウドコンピュータ等に送信して、これらの遠隔のコンピュータにおいて集中度推定装置を構成してもよい。カーナビゲーションシステムに集中度推定装置を構成した場合、車両情報から車両の停車中を判断し、停車時間が一定時間続いたときにナビゲーション画面で主観集中度等の入力を促すことができる。このように構成することにより、車両運転中にスマートフォン等を操作できない状況でも運転終了後に追加学習データを収集することができ、収集率を向上できる。

また、本実施の形態では集中度と相関のある第１の情報として心拍を適用したが、第１の情報としては集中度と相関があれば他の情報でもよく、例えば、呼吸、皮膚電位活動等の他の生理情報でもよいし、体の揺れや目の動き等の体の動きの情報でもよいし、車両の運転者の場合には車間距離、ステアリング操作のふらつき、ヨーレートの変化等の運転情報でもよい。

また、本実施の形態では使用者によって入力される集中度と相関のある第２の情報としてスマートフォンのタッチパネルを利用した主観集中度や反応時間を適用したが、第２の情報としては集中度と相関のある他の情報でもよく、例えば、計算課題の回答時間や正答率、アクションゲームの反応時間や得点がある。また、入力方法についても、音声等の他の入力でもよい。

また、本実施の形態では集中度として集中と安静の２クラスで推定する構成としたが、集中度を３クラス以上で推定してもよい。

１，２，３…集中度推定装置、１０…心拍センサ、１１…記憶部、１２，３２…収集部、１３…変換部、１４，２４…学習部、１５…集中度推定部、１６…表示部。

Claims (2)

1. 対象者の集中度を推定する集中度推定装置であって、
   対象者から集中度と相関のある第１の情報を検出する第１情報検出手段と、
   前記第１情報検出手段で検出した第１の情報を所定の演算式に適用する演算により集中度を推定する集中度推定手段と、
   対象者の入力による集中度と相関のある第２の情報を収集する第２情報収集手段と、
   前記第２情報収集手段で収集した第２の情報を集中度に変換する変換手段と、
   前記第２情報収集手段で収集した第２の情報に対応する前記第１情報検出手段で検出した第１の情報と、前記変換手段で変換した集中度と、を学習データとして前記演算式に適用することで、前記演算の修正を行って学習する学習手段と、
   を備え、
   前記集中度推定手段は、前記学習手段での学習結果及び前記第１の情報を用いて集中度を推定することを特徴とする集中度推定装置。
2. 前記変換手段は、前記第２の情報から変換される集中度についてのばらつきを算出し、
   前記学習手段は、前記変換手段で算出した集中度のばらつきを加味して学習することを特徴とする請求項１に記載の集中度推定装置。

Images