JP6218336B2 - 情報処理能力推定装置、方法及びプログラム - Google Patents

Description

この発明は、ユーザの認知的な情報処理能力を推定するための情報処理能力推定装置、方法及びプログラムに関する。

従来、“Working Memory”や“Selective Attention”等のようなユーザの認知的な情報処理能力を推定する手法の１つとして、Advanced Trail Making Test（ＡＴＭＴ）を用いた手法が知られている。この手法は、ユーザが本来の業務に係るタスクを実行している期間に、当該本来の業務のタスクを一時中断させて別のタスク（検査用のタスク）を数分間実行させ、そのタスクの成績から情報処理能力を推定するものである（例えば非特許文献１を参照）。

一方、別の手法として、ユーザの心電波形に基づいて当該ユーザの情報処理能力の変化を推定する手法も知られている。この手法は、ユーザに心電センサを装着し、心電のＲ波ピーク間隔（以後ＲＲＩと呼称する）を測定し、この測定されたＲＲＩをスペクトル解析した際の高周波成分パワー（ＨＦ）と低周波成分パワー（ＬＦ）の比率であるＬＦ／ＨＦを用いて推定するものである（例えば非特許文献２を参照）。

K. Mizuno et al.: Utility of an Advanced Trail Making Test as a Neuropsychological Tool for an Objective Evaluation of Work Efficiency During Mental Fatigue, Fatigue Science for Human Health, pp.47-54, 2008. M. Tanaka et al., Central nervous system fatigue alters autonomic nerve activity, Life Sciences, Volume 84, Issues 7-8, pp. 235-239,2009.

ところが、非特許文献１に記載された手法は、推定する際に、ユーザが実行中の本来業務のタスクを一時中断させて検査用のタスクを数分間実行させる必要があるため、例えばオフィスワーカのように高い生産性が求められるユーザに対しては実施困難である。また、非特許文献２に記載された方法では、特定ユーザのＬＦ／ＨＦのみを用いて推定が行われる。ＬＦ／ＨＦの値は測定対象のユーザの体質や測定環境などに大きく依存する。このため、多様なユーザに対してＬＦ／ＨＦのみで情報処理能力を精度よく推定することは困難である。

この発明は上記事情に着目してなされたもので、その目的とするところは、ユーザが実行中の本来の業務のタスクを中断させずに済み、かつ多様なユーザの認知的な情報処理能力を精度良く推定することが可能な情報処理能力推定装置、方法及びプログラムを提供することにある。

上記目的を達成するためにこの発明の第１の態様は、事前データの測定対象となるユーザの作業中における心拍変動を示す特徴量と、当該複数のユーザの作業中における認知的な情報処理能力に関する情報とを、時刻が同じもの同士で対応付けた事前データを記憶する事前データベースを備え、推定対象となるユーザの作業中における心拍変動を示す特徴量を算出し、当該算出された心拍変動を示す特徴量と、上記事前データベースに記憶された事前データとに基づいて、上記推定対象となるユーザの認知的な情報処理能力値を推定するようにしたものである。

この発明の第２の態様は、モデル作成手段をさらに具備し、このモデル作成手段により、上記事前データ測定対象となるユーザの作業中における心拍変動を示す特徴量を説明変数とし、かつ当該ユーザの同時刻における作業成績を目的変数として回帰モデルを作成し、当該回帰モデルの作成の過程で算出される回帰係数を、上記説明変数としての心拍変動を示す特徴量と対応付けて上記事前データベースに記憶させる。そして、上記能力推定手段により、上記算出された心拍変動を示す特徴量に対応する回帰係数を上記事前データベースから読み出し、当該読み出された回帰係数と上記算出された心拍変動の特徴量とから上記推定対象となるユーザの認知的な情報処理能力値の推定値を算出するようにしたものである。

この発明の第３の態様は、上記推定対象となるユーザの情報処理能力値の推定値を算出する際に、先ず上記算出された心拍変動の時系列変化を示す複数の特徴量から特徴量間の類似度を表す第１の相関係数を算出する。続いて、上記事前データベースに事前データが記憶された事前データ測定対象ユーザについて、その心拍変動の時系列変化を示す複数の特徴量間の類似度を表す第２の相関係数を算出する。そして、上記算出された第１の相関係数と第２の相関係数との間の類似性を表す情報を算出し、当該算出された類似性を表す情報に基づいて上記事前データベースから回帰モデルの生成に用いる事前データを抽出し、当該抽出された事前データから推定モデルを作成して、その過程で算出される回帰係数と上記算出された心拍変動の特徴量とから上記推定対象となるユーザの認知的な情報処理能力値の推定値を算出するようにしたものである。

この発明の第４の態様は、上記心拍変動を示す特徴量として、心拍を示す心電波形から得た心拍間隔の平均値、心拍間隔の標準偏差（ＳＤＮＮ）および心拍間隔の差の二乗の平均値の平方根（ＲＭＳＳＤ）の少なくとも１つか、或いは脈波から得た脈拍間隔に基づく脈拍間隔の平均値、脈拍間隔の標準偏差（ＳＤＮＮ）および脈拍間隔の差の二乗の平均値の平方根（ＲＭＳＳＤ）の少なくとも１つを用いるようにしたものである。

この発明の第５の態様は、上記心拍変動を示す特徴量が、心拍を示す心電波形から得た心拍間隔の平均値、心拍間隔の標準偏差（ＳＤＮＮ）および心拍間隔の差の二乗の平均値の平方根（ＲＭＳＳＤ）のすべて、或いは脈波から得た脈拍間隔に基づく脈拍間隔の平均値、脈拍間隔の標準偏差（ＳＤＮＮ）および脈拍間隔の差の二乗の平均値の平方根（ＲＭＳＳＤ）のすべてである場合に、上記類似事前データを抽出する際に、上記心拍間隔の平均値とＳＤＮＮとの相関係数、またはＳＤＮＮとＲＭＳＳＤとの相関係数のいずれか一方が、予め設定した閾値以上の対象であればその条件を満たす事前データを上記事前データベースから抽出し、上記各相関係数が両方とも上記閾値未満であればその条件を満たす事前データを上記事前データベースから抽出するようにしたものである。

この発明の第１の態様によれば、事前データの測定対象となるユーザの作業中における心拍変動を示す特徴量と、当該ユーザの作業中における認知的な情報処理能力に関する情報とを、時刻が同じもの同士で対応付けて記憶した事前データベースが用意され、当該事前データベースを用いてユーザの情報処理能力が推定される。このため、ユーザは実行中の本来の業務のタスクを一時中断してＡＴＭＴタスクを実施する必要がなくなり、本来の作業を行いながら情報処理能力の変化を推定することが可能となる。この結果、例えばオフィスワーカのように高い生産性が求められるユーザに対しても能率推定を行うことができる。また、事前データベースに一人のユーザの異なる条件で生成した複数の事前データを記憶しておくか、或いは複数のユーザの事前データを記憶しておくことで、これら複数の事前データの中から推定対象ユーザの心拍変動を示す特徴量に対応する情報が選択されて認知的な情報処理能力の推定が行われるため、体質や作業環境の異なる多様なユーザに対しても、高精度の推定が可能となる。

この発明の第２の態様によれば、回帰モデルに着目し、ユーザの作業中における心拍変動を示す特徴量を説明変数とし、かつ当該ユーザの同時刻における作業成績を目的変数として回帰モデルが作成され、当該回帰モデルの作成の過程で算出される回帰係数が、上記説明変数としての心拍変動を示す特徴量と対応付けて事前データベースに記憶される。このため、事前データベースを情報処理能力推定装置により作成することが可能となり、これにより例えば同一の職場内の複数のユーザを事前データ測定対象のユーザとして選択して、それに対応する事前データベースを構成することが可能となる。

この発明の第３の形態によれば、推定対象のユーザについて得られた心拍変動を示す特徴量と類似性の高い事前データが事前データベースから抽出され、この抽出された事前データをもとに回帰係数が算出し直されて情報処理能力の推定値が算出される。すなわち、推定対象のユーザの心拍変動を示す特徴量の特徴に合わせて、推定に用いる事前データが変更される。このため、ユーザの認知的な情報処理能力の推定値の精度を向上させることができる。

この発明の第４の態様によれば、心拍変動を示す特徴量として、心電波形から得られる心拍間隔の平均値、心拍間隔の標準偏差（ＳＤＮＮ）および心拍間隔の差の二乗の平均値の平方根（ＲＭＳＳＤ）の少なくとも１つか、或いは脈波から得られる脈拍間隔に基づく脈拍間隔の平均値、脈拍間隔の標準偏差（ＳＤＮＮ）および脈拍間隔の差の二乗の平均値の平方根（ＲＭＳＳＤ）の少なくとも１つが用いられる。このため、心拍変動を示す特徴量として、多様なパラメータから任意のものを選んで使用することができる。

この発明の第５の態様によれば、類似事前データを抽出する際に、心拍間隔の平均値とＳＤＮＮとの相関係数、またはＳＤＮＮとＲＭＳＳＤとの相関係数のいずれか一方が、予め設定した閾値以上の対象であればその条件を満たす事前データが上記事前データベースから抽出され、上記各相関係数が両方とも上記閾値未満であればその条件を満たす事前データが上記事前データベースから抽出される。このため、類似する事前データの抽出処理を簡単な処理で実現できる。

すなわちこの発明によれば、ユーザが実行中の本来の業務のタスクを中断させずに済み、かつ多様なユーザの認知的な情報処理能力を精度良く推定することが可能な情報処理能力推定装置、方法及びプログラムを提供することができる。

この発明の第１の実施形態に係る情報処理能力推定装置の機能構成を示すブロック図。 図１に示した情報処理能力推定装置における事前データベース作成処理の手順と処理内容を示すフローチャート。 図１に示した情報処理能力推定装置における情報処理能力推定処理の手順と処理内容を示すフローチャート。 この発明の第２の実施形態に係る情報処理能力推定装置の機能構成を示すブロック図。 この発明の第３の実施形態に係る情報処理能力推定装置の機能構成を示すブロック図。 この発明の第４の実施形態に係る情報処理能力推定装置の機能構成を示すブロック図。 図６に示した情報処理能力推定装置における事前データベース作成処理の手順と処理内容を示すフローチャート。 図６に示した情報処理能力推定装置における情報処理能力推定処理の手順と処理内容を示すフローチャート。 この発明の第５の実施形態に係る情報処理能力推定装置による情報処理能力推定処理の手順と処理内容を示すフローチャート。

以下、図面を参照してこの発明に係わる実施形態を説明する。
［第１の実施形態］
（構成）
図１はこの発明の第１の実施形態に係る情報処理能力推定装置の機能構成を示すブロック図である。
第１の実施形態の情報処理能力推定装置は、事前データベース（事前ＤＢ）３と、この事前ＤＢ３に事前データを登録する機能ユニット１と、上記事前ＤＢ３を利用して推定対象ユーザの情報処理能力を推定する機能ユニット２Ａとを備える。

機能ユニット１は、脈波センサ１１、ＲＲＩ算出部１２と、ＨＲＶ特徴量算出部１３と、情報処理能力測定部１４と、モデル作成部１５を備える。
脈波センサ１１は事前データ測定対象ユーザの身体に装着され、脈波の測定信号を出力する。

ＲＲＩ算出部１２は、上記脈波センサ１１から出力された脈波測定信号をサンプリングしてディジタル信号からなる脈波データに変換した後、当該脈波データのピーク間隔（ＲＲＩ）を算出する。

情報処理能力測定部１４は、事前データ測定ユーザに対しAdvanced Trail Making Test（ＡＴＭＴ）タスクのインタフェースを提供し、３０分間ＡＴＭＴタスクを実施した後、その１分毎のタスク成績をタスク実施時刻と共に出力する。

ＨＲＶ特徴量算出部１３は、上記ＲＲＩ算出部１２により算出されたＲＲＩをもとに、例えば１分毎に最新１分間のＨＲＶ特徴量を算出する。そして、同時刻のタスク成績と上記算出されたＨＲＶ特徴量とをセットにして事前ＤＢ３に記憶させる。また、同時にモデル作成部１５に対しモデル作成指示を与える。

モデル作成部１５は、上記ＨＲＶ特徴量算出部１３からのモデル作成指示を受けて起動し、事前ＤＢ３から全てのタスク成績とＨＲＶ特徴量を読み出して、タスク成績を目的変数、ＨＲＶ特徴量を説明変数とする重回帰モデルを作成する。そして、この作成の過程で算出される重回帰係数を事前ＤＢ３に保存する処理を行う。

一方機能ユニット２Ａは、上記機能ユニット１と同様に、脈波センサ２１、ＲＲＩ算出部２２およびＨＲＶ特徴量算出部２３を備え、さらに情報処理能力推定部２４と、パフォーマンス可視化部２５Ａを備えている。

脈波センサ２１は、上記事前データ測定用の脈波センサ１１と同一の構成を有し、推定対象ユーザの身体に装着され、当該ユーザの脈波を測定しその測定信号を出力する。

ＲＲＩ算出部２２は、上記脈波センサ２１から出力された脈波の測定信号をサンプリングしてディジタル信号からなる脈波データに変換した後、当該脈波データのピーク間隔（ＲＲＩ）を算出する。

ＨＲＶ特徴量算出部２３は、上記事前データ測定用のＨＲＶ特徴量算出部１３と同様に、上記ＲＲＩ算出部１２により算出されたＲＲＩをもとに、例えば１分毎に最新１分間のＨＲＶ特徴量を算出する。

情報処理能力推定部２４は、上記ＨＲＶ特徴量算出部２３により算出されたＨＲＶ特徴量をもとに、事前ＤＢ３から対応する重回帰係数を読み出す。そして、この読み出された重回帰係数に上記ＨＲＶ特徴量算出部２３により算出されたＨＲＶ特徴量を乗算することで、推定対象ユーザの情報処理能力値の推定値を算出する。

パフォーマンス可視化部２５Ａは表示器を備え、上記情報処理能力推定部２４により算出された推定対象ユーザの情報処理能力値の推定値をもとに、例えば当該推定値の時系列変化を表す線グラフを生成し、この生成された線グラフを表示器に表示させる。

なお、上記各機能ユニット１，２Ａを構成する各部のうち、脈波センサ１１，２１を除いた各部は、図示しないプログラムメモリに格納されたプログラムを、装置が備える中央処理ユニット（ＣＰＵ）に実行させることにより実現される。

（動作）
次に、以上のように構成された装置の動作を、事前データ作成保存動作と、能力推定動作とに分けて説明する。
（１）事前データの作成および保存
事前データを作成する場合には、例えば職場内で無作為に複数の事前データ測定ユーザが選択され、この選択された複数の事前データ測定ユーザについてそれぞれ以下の処理が実行される。図２はその処理手順と処理内容を示すフローチャートである。なお、上記事前データ測定ユーザは、後述する推定対象ユーザを含んでいる方が好ましいが、含まなくてもかまわない。

すなわち、先ずステップＳ１１において、脈波センサ１１により上記事前データ測定ユーザの脈波が測定される。続いて、ステップＳ１２においてＲＲＩ算出部１２が起動され、上記脈波センサ１１から出力された脈波の測定信号が脈波データに変換された後、当該脈波データのピーク間隔（ＲＲＩ）が算出される。

また、それと同時にステップＳ１３により情報処理能力測定部１４が起動し、この情報処理能力測定部１４の制御の下、事前データ測定ユーザに対しAdvanced Trail Making Test（ＡＴＭＴ）タスクのインタフェースが提供される。事前データ測定ユーザは、提供されたＡＴＭＴタスクのインタフェースを使用して３０分間ＡＴＭＴタスクを実施する。情報処理能力測定部１４では、上記ＡＴＭＴタスクの実施中に、例えば１分間隔でタスクの成績が計算され、この計算されたタスク成績が実施時刻と共にＨＲＶ特徴量算出部１３に渡される。

ＨＲＶ特徴量算出部１３では、先ずステップＳ１４により、上記ＲＲＩ算出部１２により算出されたＲＲＩをもとに、例えば１分毎に最新１分間のＨＲＶ特徴量が算出される。なお、この１分毎のＨＲＶ特徴量の算出タイミングは、上記情報処理能力測定部１４によるタスク成績の計算タイミングと同期するように設定される。ＨＲＶ特徴量としては、ＲＲＩ平均値、ＲＲＩ標準偏差（ＳＤＮＮ）、および隣接ＲＲＩの差の２乗の平方根の平均値（ＲＭＳＳＤ）が算出される。なお、ＨＲＶ特徴量として、ＲＲＩをスペクトル解析することで得られる高周波帯（0.15Hz〜0.40Hz）および低周波帯（0.04Hz〜0.15Hz）それぞれのパワースペクトルの比であるＬＦ／ＨＦを算出するようにしてもよい。そしてステップＳ１５により、上記同時刻に算出されたＨＲＶ特徴量とタスク成績のセットが事前ＤＢ３に保存される。またこの保存後に、モデル作成部１５に対しモデル作成指示が出力される。

上記モデル作成指示が与えられるとモデル作成部１５では、ステップＳ１６により、事前ＤＢ３から全てのタスク成績とＨＲＶ特徴量が読み出され、タスク成績を目的変数、ＨＲＶ特徴量を説明変数とする重回帰モデルが作成される。そして、この作成の過程で算出された重回帰係数が、同一時刻に算出された上記ＨＲＶ特徴量と対応付けられた状態で事前ＤＢ３に保存される。

以上述べたステップＳ１１〜Ｓ１６による処理は、各事前データ測定ユーザについて繰り返し行われる。したがって、事前ＤＢ３には上記複数の事前データ測定ユーザの各々について得られた重回帰係数およびＨＲＶ特徴量が、時刻が同じもの同士で対応付けられて保存される。

（２）能力推定
上記事前ＤＢ３への事前データの登録完了後、推定対象ユーザに脈波センサ２１を装着し、機能ユニット２Ａを起動すると、推定対象ユーザの情報処理能力を推定する処理が以下のように実行される。図３はその処理手順と処理内容を示すフローチャートである。

すなわち、先ずステップＳ２１において、脈波センサ２１により上記事前データ測定ユーザの脈波が測定される。続いて、ステップＳ２２においてＲＲＩ算出部２２が起動され、上記脈波センサ２１から出力された脈波の測定信号が脈波データに変換された後、当該脈波データのピーク間隔（ＲＲＩ）が算出される。次にステップＳ２３において、ＨＲＶ特徴量算出部２３により、上記ＲＲＩ算出部２２により算出されたＲＲＩをもとに、例えば１分毎に最新１分間のＨＲＶ特徴量が算出される。ここで、算出されるＨＲＶ特徴量は、先に述べた事前データ作成時と同様に、ＲＲＩ平均値、ＲＲＩ標準偏差（ＳＤＮＮ）、および隣接ＲＲＩの差の２乗の平方根の平均値（ＲＭＳＳＤ）からなる。

上記ＨＲＶ特徴量が算出されると、続いて情報処理能力推定部２４の制御の下、以下の処理が実行される。すなわち、先ずステップＳ２４において、上記算出されたＨＲＶ特徴量をもとに事前ＤＢ３から対応する重回帰係数が読み出される。そしてステップＳ２５により、この読み出された重回帰係数に上記ＨＲＶ特徴量算出部２３により算出されたＨＲＶ特徴量が乗算され、その乗算結果が推定対象ユーザの情報処理能力値の推定値として出力される。

最後にステップＳ２６によりパフォーマンス可視化部２５Ａが起動し、上記情報処理能力推定部２４から出力された情報処理能力値の推定値をもとに、例えば当該推定値の時系列変化を表す線グラフが生成され、この生成された線グラフが表示器に表示される。なお、推定値の表示方法としては、線グラフのほか、数値や数値によって変化する何かしらの画像であってもよい。

（効果）
以上詳述したように第１の実施形態では、複数の事前データ測定ユーザについて測定したＨＲＶ特徴量とタスク成績のセットを事前ＤＢ３に保存すると共に、当該保存されたタスク成績を目的変数、ＨＲＶ特徴量を説明変数とする重回帰モデルを作成して、この作成の過程で算出された重回帰係数を上記ＨＲＶ特徴量と対応付けて事前ＤＢ３に保存している。そして、推定対象ユーザの情報処理能力を推定する際に、当該推定対象ユーザの脈波データからＨＲＶ特徴量を算出し、このＨＲＶ特徴量をもとに上記事前ＤＢ３から対応する重回帰係数を読み出して、この重回帰係数に上記ＨＲＶ特徴量を乗算することにより上記推定対象ユーザの情報処理能力の推定値を得るようにしている。

したがって、推定対象ユーザは実行中の本来の業務のタスクを一時中断してＡＴＭＴタスクを実施する必要がなくなり、これにより例えばオフィスワーカのように高い生産性が求められるユーザに対しても能率推定を実施することができる。なお、オフィスワーカに限らず、自動車や鉄道の運転者、航空機の操縦者等、肉体的能力より認知的能力を主に使う作業に従事するユーザに対しても、効果が得られる。

また、事前ＤＢ３には複数の事前データ測定ユーザに関するＨＲＶ特徴量とそれに対応する重回帰係数のセットが事前データとして記憶され、その中から推定対象ユーザのＨＲＶ特徴量に対応するデータが選択されて情報処理能力が推定される。このため、体質や作業環境の異なる多様なユーザに対しても、高精度の推定が可能となる。

さらに、事前ＤＢ３に事前データを記憶させる機能を備えたことで、例えば同一の職場内の複数のユーザを事前データ測定対象のユーザとして選択して、それに対応する事前ＤＢ３を構成するというように、用途に応じて適切な事前ＤＢ３を用意することができる。

［第２の実施形態］
この発明の第２の実施形態は、推定対象ユーザの作業ログを収集しておき、情報処理能力の推定値を表示する際に、上記作業ログを関連付けて表示するようにしたものである。

図４は、この発明の第２の実施形態に係る情報処理能力推定装置の機能構成を示すブロック図である。なお、同図において前記図１と同一部分には同一符号を付して詳しい説明は省略する。

本実施形態に係る情報処理能力推定装置は、情報処理能力を推定する機能ユニット２Ｂに作業ログ収集部２６を備えている。作業ログ収集部２６は、情報処理能力を推定中のユーザの作業ログを収集し、当該作業ログをその収集時刻と共にパフォーマンス可視化部２５Ｂへ出力する。収集される作業ログとしては、例えば作業に使用しているアプリケーション名や、マウスカーソルの移動量、キーボードの打鍵数等が挙げられる。

このような構成であるから、情報処理能力の推定中に当該ユーザの作業ログが作業ログ収集部２６により収集され、当該作業ログをその収集時刻と共にパフォーマンス可視化部２５Ｂへ送られる。パフォーマンス可視化部２５Ｂは、情報処理能力推定部２４により得られた上記ユーザの情報処理能力の推定値を、当該推定値が得られた時刻に同期して上記作業ログを表示する。

したがって第２の実施形態によれば、推定対象ユーザまたは当該ユーザの関係者は、当該ユーザの働き方をより詳細に把握することが可能となり、これによりユーザの作業について改善を促すことができる。なお、作業ログ収集部２６で収集する作業ログとしては、上記アプリケーション名や、マウスカーソルの移動量、キーボードの打鍵数以外に、例えばスクリーンショット等を用いてもよい。

［第３の実施形態］
この発明の第３の実施形態は、得られた情報処理能力の推定値に応じてユーザの五感を刺激するための帰還制御を行うようにしたものである。

図５は、この発明の第３の実施形態に係る情報処理能力推定装置の機能構成を示すブロック図である。なお、同図についても前記図１と同一部分には同一符号を付して詳しい説明は省略する。

本実施形態に係る情報処理能力推定装置は、情報処理能力を推定する機能ユニット２Ｃに、フィードバック部２７と、アロマデフューサ２８を備えている。フィードバック部２７は、情報処理能力推定部２４から出力された情報処理能力の推定値に基づいてアロマの噴出を制御する制御信号を生成し、アロマデュフューサ２８に与える。アロマデュフューサ２８は、上記フィードバック部２７から出力された制御信号に応じてアロマの噴出を可変する。

このような構成であるから、ユーザの情報処理能力の推定動作中に疲労などによりユーザの情報処理能力が低下し、それに伴い情報処理能力推定部２４により算出される情報処理能力の推定値が低下したとする。そうするとフィードバック部２７では、上記推定値が前回のタイミング（例えば１分前）において算出された推定値より２０％以上低下したか否かが判定される。そして、推定値が２０％以上低下したと判定されると、アロマの噴出を促す制御信号が生成され、アロマデュフューサ２８に供給される。このため、アロマデュフューサ２８が動作してアロマを噴出させる。アロマとしてはカモミールが適当である。

したがって第３の実施形態によれば、作業中の疲労などによりユーザの情報処理能力が低下すると、自動的にアロマが噴出される。このため、ユーザの情報処理能力の低下に応じた速やかな回復が可能となる。

［第４の実施形態］
この発明の第４の実施形態は、事前データの収集を、ユーザの作業ログの収集により代替することで、ＡＴＭＴのような認知タスクとしての情報処理能力測定部を用いた事前ＤＢの作成を不要にしたものである。

（構成）
図６は、この発明の第４の実施形態に係る情報処理能力推定装置の機能構成を示すブロック図である。本実施形態の情報処理能力推定装置は、事前ＤＢ３に事前データを登録する機能と、推定対象ユーザの情報処理能力を推定する機能を併せ持った機能ユニット４を備えている。

この機能ユニット４は、脈波センサ４１と、ＲＲＩ算出部４２と、ＨＲＶ特徴量算出部４３と、情報処理能力推定部４４と、パフォーマンス可視化部４５と、作業ログ収集部４６と、情報処理能力測定部４７を備えている。

脈波センサ４１は、事前データ測定対象ユーザまたは推定対象のユーザの身体に装着され、脈波の測定信号を出力する。ＲＲＩ算出部４２は、上記脈波センサ４１から出力された脈波測定信号をサンプリングしてディジタル信号からなる脈波データに変換した後、当該脈波データのピーク間隔（ＲＲＩ）を算出する。

作業ログ収集部２６は、事前データ測定対象ユーザの作業ログを収集し、当該作業ログをその収集時刻と共に情報処理能力測定部４７に出力する。

情報処理能力測定部４７は、上記作業ログの中から、例えば文書作成ソフトにより作業をしている時間帯を推定した後、当該推定された作業時間帯を１分の時間窓に分割し、各時間窓おけるタスク成績を算出する。そして、この算出された時間窓ごとのタスク成績と当該時間窓の時刻を、情報処理能力を表す値としてＨＲＶ特徴量算出部４３へ出力する。

ＨＲＶ特徴量算出部４３は、以下の処理機能を有する。
(1)事前データ作成モードにおいては、上記情報処理能力測定部４７から出力された各時間窓を表す時刻に、上記ＲＲＩ算出部４２により算出されたピーク間隔（ＲＲＩ）を同期させ、これにより上記時間窓ごとにそのピーク間隔（ＲＲＩ）をもとに最新の１分間におけるＨＲＶ特徴量を算出する。そして、当該算出されたＨＲＶ特徴量と、上記情報処理能力測定部４７により算出されたタスク成績とを、時刻が同一のもの同士で対応付け、このセットを事前データとして事前ＤＢ３に記憶させる。
(2)能力推定モードにおいては、上記ＲＲＩ算出部４２により算出されたピーク間隔（ＲＲＩ）をもとに、１分毎に最新１分間のＨＲＶ特徴量を算出する。

情報処理能力推定部２４は、能力推定モードにおいて、事前ＤＢ３からすべてのタスク成績とＨＲＶ特徴量のセットを読み出し、この読み出されたタスク成績を目的変数、ＨＲＶ特徴量を説明変数として重回帰モデルを作成する。そして、この作成された重回帰モデルに、上記ＨＲＶ特徴量算出部２３により算出されたＨＲＶ特徴量を代入することで、上記推定対象ユーザの情報処理能力値の推定値を算出する。

パフォーマンス可視化部２５Ａは表示器を備え、上記情報処理能力推定部２４により算出された推定対象ユーザの情報処理能力値の推定値をもとに、例えば当該推定値の時系列変化を表す線グラフを生成し、この生成された線グラフを表示器に表示させる。

なお、本実施形態においても、上記機能ユニット４を構成する各部のうち、脈波センサ４１を除いた各部は、図示しないプログラムメモリに格納されたプログラムを、装置が備える中央処理ユニット（ＣＰＵ）に実行させることにより実現される。

（動作）
次の、以上のように構成された装置の動作を、事前データ作成保存動作と、能力推定動作とに分けて説明する。
（１）事前データの作成および保存
事前データを作成する場合には、例えば職場内で無作為に複数の事前データ測定ユーザを選択し、この選択された複数の事前データ測定ユーザにパーソナルコンピュータを使用して何らかの作業を行わせる。そして、この状態で機能ユニット４を起動する。そうすると、機能ユニット４により以下の処理が実行される。図７はその処理手順と処理内容を示すフローチャートである。なお、上記事前データ測定ユーザは、後述する推定対象ユーザを含んでいる方が好ましいが、含まなくてもかまわない。

すなわち、先ずステップＳ３１において、脈波センサ４１により上記事前データ測定ユーザの脈波が測定される。続いて、ステップＳ３２においてＲＲＩ算出部４２が起動され、上記脈波センサ４１から出力された脈波の測定信号が脈波データに変換された後、当該脈波データのピーク間隔（ＲＲＩ）が算出される。

また、それと同時にステップＳ３３により作業ログ収集部４６が起動され、この作業ログ収集部４６の制御の下、事前データ測定対象ユーザの作業ログが収集され、当該収集された作業ログがその収集時刻と共に情報処理能力測定部４７に出力される。収集される作業ログとしては、例えば作業に使用しているアプリケーション名や、マウスカーソルの移動量、キーボードの打鍵数等が挙げられる。

続いてステップＳ３４において、情報処理能力測定部４７により、上記作業ログの中から、例えば文書作成ソフトにより作業をしている時間帯が推定される。そして、当該推定された作業時間帯が１分の時間窓に分割され、各時間窓おける作業ログ、例えば打鍵数がタスク成績として算出される。そして、この算出された時間窓ごとの打鍵数と当該時間窓の時刻が、情報処理能力を表す値としてＨＲＶ特徴量算出部４３へ出力される。

次にステップＳ３５において、ＨＲＶ特徴量算出部４３により、先ず上記情報処理能力測定部４７から出力された各時間窓を表す時刻に対し、上記ＲＲＩ算出部４２により算出されたピーク間隔（ＲＲＩ）を同期させる処理が行われる。これにより、上記時間窓ごとにそのピーク間隔（ＲＲＩ）をもとに最新の１分間におけるＨＲＶ特徴量が算出される。ここで、算出されるＨＲＶ特徴量は、ＲＲＩ平均値、ＲＲＩ標準偏差（ＳＤＮＮ）、および隣接ＲＲＩの差の２乗の平方根の平均値（ＲＭＳＳＤ）からなる。

そしてステップＳ３６により、当該算出されたＨＲＶ特徴量と、上記情報処理能力測定部４７により算出された打鍵数が、時刻が同一のもの同士で対応付けられて、事前ＤＢ３に記憶される。

（２）能力推定
上記事前ＤＢ３への複数の事前データ測定ユーザに関する事前データの登録が終了すると、以後推定対象ユーザに対する情報処理能力の推定処理が可能となる。図８はその処理手順と処理内容を示すフローチャートである。

推定対象ユーザに脈波センサ４１を装着すると、以後この脈波センサ４１により推定対象ユーザの脈波が測定される（ステップＳ４１）。続いて、ステップＳ４２においてＲＲＩ算出部４２が起動され、上記脈波センサ４１から出力された脈波の測定信号が脈波データに変換された後、当該脈波データのピーク間隔（ＲＲＩ）が算出される。次にステップＳ４３において、ＨＲＶ特徴量算出部４３により、上記ＲＲＩ算出部４２により算出されたＲＲＩをもとに、例えば１分毎に最新１分間のＨＲＶ特徴量が算出される。ここで、算出されるＨＲＶ特徴量は、先に述べた事前データ作成時と同様に、ＲＲＩ平均値、ＲＲＩ標準偏差（ＳＤＮＮ）、および隣接ＲＲＩの差の２乗の平方根の平均値（ＲＭＳＳＤ）からなる。

上記ＨＲＶ特徴量が算出されると、続いて情報処理能力推定部４４の制御の下、以下の処理が実行される。すなわち、先ずステップＳ４４において、事前ＤＢ３からすべてのタスク成績とＨＲＶ特徴量のセットが読み出され、この読み出されたタスク成績を目的変数、ＨＲＶ特徴量を説明変数として重回帰モデルが作成される。そしてステップＳ４５において、上記作成された重回帰モデルに、上記ＨＲＶ特徴量算出部４３により算出されたＨＲＶ特徴量が代入され、これにより上記推定対象ユーザの情報処理能力値の推定値が算出される。

最後にステップＳ４６において、パフォーマンス可視化部２５Ａにより、上記情報処理能力推定部４４により算出された推定対象ユーザの情報処理能力値の推定値をもとに、例えば当該推定値の時系列変化を表す線グラフが生成され、この生成された線グラフが表示器に表示される。なお、本実施形態においても、推定値の表示方法としては、線グラフのほか、数値や数値によって変化する何かしらの画像を用いることが可能である。

なお、本実施形態ではパーソナルコンピュータの作業ログのうち、文書作成ソフトにおける時間当たりの打鍵数を情報処理能力として扱ったが、例えばソフトウェア開発ツールにおける時間当たりの打鍵数や、プレゼンテーション作成ソフトウェアにおける時間当たりの配置したオブジェクト数等、その他のソフトウェアにおける指標を用いて推定してもよい。

（効果）
以上詳述したように第４の実施形態によれば、１つの機能ユニット４において、事前データの作成およびその登録処理と、推定対象ユーザの情報処理能力の推定処理との両方が行われるので、装置の構成を簡単化することができる。また、事前データを作成および登録する際に、事前データ測定ユーザの作業ログを作業ログ収集部４６により収集し、当該収集された作業ログをもとに事前データ測定ユーザの情報処理能力を算出するようにしたので、ＡＴＭＴのような認知タスクとしての情報処理能力測定部を用いた事前ＤＢの作成処理を不要にすることができる。

［第５の実施形態］
この発明の第５の実施形態は、第１の実施形態で述べた能力推定処理をさらに改良し、推定対象ユーザのＨＲＶの特徴量に合わせて、推定に用いる事前データを変更することで、推定精度を向上させるようにしたものである。

本実施形態におけるユーザの能力推定動作は以下のように行われる。図８はその処理手順と処理内容を示すフローチャートである。なお、事前データの作成および保存動作については図２に述べた処理手順と同一のため、ここでの説明は省略する。また、本実施形態における情報処理能力推定装置のブロック構成は図１と同一なので、図１を用いて説明を行う。

先ずステップＳ５１において、脈波センサ２１により上記事前データ測定ユーザの脈波が測定される。続いて、ステップＳ５２においてＲＲＩ算出部２２が起動され、上記脈波センサ２１から出力された脈波の測定信号が脈波データに変換された後、当該脈波データのピーク間隔（ＲＲＩ）が算出される。次にステップＳ５３において、ＨＲＶ特徴量算出部２３により、上記ＲＲＩ算出部２２により算出されたＲＲＩをもとに、例えば１分毎に最新１分間のＨＲＶ特徴量が算出される。ここで、算出されるＨＲＶ特徴量は、事前データ作成時と同様に、ＲＲＩ平均値、ＲＲＩ標準偏差（ＳＤＮＮ）、および隣接ＲＲＩの差の２乗の平方根の平均値（ＲＭＳＳＤ）からなる。

上記ＨＲＶ特徴量が算出されると、続いて情報処理能力推定部２４の制御の下、以下の処理が実行される。すなわち、先ずステップＳ５４において、事前ＤＢ３からすべての事前データ測定ユーザのタスク成績とＨＲＶ特徴量のセットが読み出される。次にステップＳ５５において、上記読み出されたすべての事前データ測定ユーザのＨＲＶ特徴量について、ユーザごとにＲＲＩ平均とＳＤＮＮ（標準偏差）、およびＳＤＮＮとＲＭＳＳＤ（脈波の差の二乗の平均値の平方根）の相関係数Ｒⁱ１，Ｒⁱ２がそれぞれ算出される。なお、i は事前データ測定ユーザの個人IDである。

続いてステップＳ５６において、推定対象ユーザのＲＲＩ平均とＳＤＮＮ、および，ＳＤＮＮとＲＭＳＳＤの相関係数Ｒ１，Ｒ２がそれぞれ算出される。そして、ステップＳ５７により上記算出された相関係数Ｒ１，Ｒ２が閾値＝０．７と比較される。この比較の結果、もしＲ１＞０．７またはＲ２＞０．７を満たすのであれば、事前ＤＢ３から読み出された各セットのうち、Ｒⁱ１＞０．７またはＲⁱ２＞０．７となるすべての事前データ測定ユーザのセットが学習用データとして選択される。これに対しＲ１＞０．７またはＲ２＞０．７を満たさない場合には、事前ＤＢ３から読み出されたデータセットのうち、Ｒⁱ１≦０．７またはＲⁱ２≦０．７となるすべての事前データ測定ユーザのセットが学習用データとして選択される。

次にステップＳ６０において、上記選択された学習用データにおけるタスク成績を被説明変数、ＨＲＶ特徴量を説明変数として重回帰モデルが作成され、重回帰係数が算出される。続いてステップＳ６１において、上記算出された重回帰係数に、上記ＨＲＶ特徴算出部２３により算出された推定対象ユーザのＨＲＶ特徴量が乗算され、これにより推定対象ユーザの情報処理能力値の推定値が算出される。

最後にステップＳ６２において、パフォーマンス可視化部２５Ａによりユーザの情報処理能力値の推定値をもとに、例えば当該推定値の時系列変化を表す線グラフが生成され、この生成された線グラフが表示器に表示される。なお、本実施形態においても、推定値の表示方法としては、線グラフのほか、数値や数値によって変化する何かしらの画像を用いることが可能である。

なお、本実施形態における事前データの選択手法は、ＲＲＩ平均とＳＤＮＮ、およびＳＤＮＮとＲＭＳＳＤの各相関係数を用いるものに限らず、推定対象ユーザと事前データ測定ユーザのＨＲＶ特徴量の差が最小となる事前データを選択する手法を用いてもよい。要するに、ＨＲＶ特徴量から算出可能な他の指標を用いて選択することができる。

以上詳述したように第５の実施形態によれば、推定対象ユーザのＨＲＶの特徴量に合わせて、推定に用いる事前データが変更される。このため、推定対象ユーザの情報処理能力の推定精度を向上させることができる。

［その他の実施形態］
なお、この発明は上記各実施形態に限定されるものではない。例えば、前記各実施形態では、事前データを作成する際に重回帰モデルを用いたが、他に多重線形性を排除できるPLS(Partial Least Square)回帰モデルや，複数のHRV特徴量に対して主成分分析を実施後に単回帰モデルを作成するPCR(Principal Components Regression)モデルを用いてもよい。

また、心拍変動の検出手段としては、脈波センサに限らず、心電計や心臓の鼓動に伴う胸の変位を検出するセンサなどを用いてもよい。その他、ＨＲＶ特徴量の算出手法や推定値の表示手法等についても、この発明の要旨を逸脱しない範囲で種々変形して実施可能である。
さらに、前記実施形態では複数の事前データ測定対象ユーザから取得した事前データを事前ＤＢに記憶しておくようにしたが、一人の事前データ測定対象ユーザが異なる環境または仕事の状況に置かれたときに取得した複数の事前データを事前データＤＢに記憶しておくようにしてもよい。

要するにこの発明は、上記各実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記各実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、各実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。

１…事前データ登録用の機能ユニット、２Ａ，２Ｂ，２Ｃ…ユーザの情報処理能力推定用の機能ユニット、３…事前ＤＢ、４…事前データ登録機能と情報処理能力推定機能を併せ持った機能ユニット、１１，２１，４１…脈波センサ、１２，２２，４２…ＲＲＩ算出部、１３，２３，４３…ＨＲＶ特徴量算出部、１４，４７…情報処理能力測定部、１５…モデル作成部、２４，４４…情報処理能力推定部、２５Ａ，２５Ｂ，４５…パフォーマンス可視化部、２６，４６…作業ログ収集部。

Claims (6)

1. 事前データの測定対象となるユーザの作業中における心拍変動を示す特徴量と、当該ユーザの作業中における認知的な情報処理能力に関する情報とを、時刻が同じもの同士で対応付けた事前データを記憶する事前データベースと、
   推定対象となるユーザの作業中における心拍変動を示す特徴量を算出する手段と、
   前記算出された心拍変動を示す特徴量と、前記事前データベースに記憶された事前データとに基づいて、前記推定対象となるユーザの認知的な情報処理能力値を推定する能力推定手段とを具備し、
   前記能力推定手段は、
   前記算出された心拍変動の時系列変化を示す複数の特徴量から特徴量間の類似度を表す第１の相関係数を算出する手段と、
   前記事前データベースに事前データが記憶された事前データ測定対象ユーザについて、その心拍変動の時系列変化を示す複数の特徴量間の類似度を表す第２の相関係数を算出する手段と、
   前記算出された第１の相関係数と第２の相関係数との間の類似性を表す情報を算出し、当該算出された類似性を表す情報に基づいて前記事前データベースから回帰モデルの生成に用いる事前データを抽出する類似事前データ抽出手段と、
   前記抽出された事前データから推定のための回帰モデルを作成し、その過程で算出される回帰係数と、前記算出された心拍変動の特徴量とから前記推定対象となるユーザの認知的な情報処理能力値の推定値を算出する手段と
   を備えることを特徴とする情報処理能力推定装置。
2. 前記事前データの測定対象となるユーザの作業中における心拍変動を示す特徴量を説明変数とし、かつ当該ユーザの同時刻における作業成績を目的変数として回帰モデルを作成し、当該回帰モデルの作成の過程で算出される回帰係数を、前記説明変数としての心拍変動を示す特徴量と対応付けて前記事前データベースに記憶させるモデル作成手段を、さらに具備し、
   前記能力推定手段は、前記算出された心拍変動を示す特徴量に対応する回帰係数を前記事前データベースから読み出し、当該読み出された回帰係数と前記算出された心拍変動の特徴量とから前記推定対象となるユーザの認知的な情報処理能力値の推定値を算出することを特徴とする請求項１記載の情報処理能力推定装置。
3. 前記心拍変動を示す特徴量は、心拍を示す心電波形から得た心拍間隔の平均値、心拍間隔の標準偏差（SDNN）および心拍間隔の差の二乗の平均値の平方根（RMSSD）の少なくとも１つか、或いは脈波から得た脈拍間隔に基づく脈拍間隔の平均値、脈拍間隔の標準偏差(SDNN)および脈拍間隔の差の二乗の平均値の平方根（RMSSD）の少なくとも１つであることを特徴とする請求項１または２記載の情報処理能力推定装置。
4. 前記心拍変動を示す特徴量が、心拍を示す心電波形から得た心拍間隔の平均値、心拍間隔の標準偏差（SDNN）および心拍間隔の差の二乗の平均値の平方根（RMSSD）のすべて、或いは脈波から得た脈拍間隔に基づく脈拍間隔の平均値、脈拍間隔の標準偏差(SDNN)および脈拍間隔の差の二乗の平均値の平方根（RMSSD）のすべてである場合に、
   前記類似事前データ抽出手段は、前記心拍間隔の平均値とSDNNとの相関係数、またはSDNNとRMSSDとの相関係数のいずれか一方が、予め設定した閾値以上の対象であればその条件を満たす事前データを前記事前データベースから抽出し、前記各相関係数が両方とも前記閾値未満であればその条件を満たす事前データを前記事前データベースから抽出することを特徴とする請求項１または２記載の情報処理能力推定装置。
5. コンピュータを備える情報処理能力推定装置が実行する情報処理能力推定方法であって、
   前記情報処理能力推定装置が、事前データ測定対象となるユーザの作業中における心拍変動を示す特徴量を算出すると共に、当該ユーザの同時刻における作業成績を算出する過程と、
   前記情報処理能力推定装置が、前記算出された心拍変動を示す特徴量を説明変数とし、かつ前記算出された作業成績を目的変数として回帰モデルを作成し、当該回帰モデルの作成の過程で算出される回帰係数を前記説明変数としての心拍変動を示す特徴量と対応付けて事前データベースに記憶させる過程と、
   前記情報処理能力推定装置が、推定対象となるユーザの作業中における心拍変動を示す特徴量を算出する過程と、
   前記情報処理能力推定装置が、前記算出された心拍変動を示す特徴量に対応する回帰係数を前記事前データベースから読み出し、当該読み出された回帰係数と前記算出された心拍変動の特徴量とから前記推定対象となるユーザの認知的な情報処理能力値の推定値を算出する過程とを具備し、
   前記認知的な情報処理能力値の推定値を算出する過程は、
   前記算出された心拍変動の時系列変化を示す複数の特徴量から特徴量間の類似度を表す第１の相関係数を算出する過程と、
   前記事前データベースに事前データが記憶された事前データ測定対象ユーザについて、その心拍変動の時系列変化を示す複数の特徴量間の類似度を表す第２の相関係数を算出する過程と、
   前記算出された第１の相関係数と第２の相関係数との間の類似性を表す情報を算出し、当該算出された類似性を表す情報に基づいて前記事前データベースから回帰モデルの生成に用いる事前データを抽出する類似事前データ抽出過程と、
   前記抽出された事前データから推定のための回帰モデルを作成し、その過程で算出される回帰係数と、前記算出された心拍変動の特徴量とから前記推定対象となるユーザの認知的な情報処理能力値の推定値を算出する過程と
   を備えることを特徴とする情報処理能力推定方法。
6. 請求項１乃至４のいずれかに記載の情報処理能力推定装置が具備する各手段が行う処理を、前記情報処理能力推定装置が備えるコンピュータに実行させるプログラム。
   

Images