JP6433616B2 - 心的活動状態評価支援装置、心的活動状態評価支援システム、及び心的活動状態評価支援方法 - Google Patents

心的活動状態評価支援装置、心的活動状態評価支援システム、及び心的活動状態評価支援方法 Download PDF

Info

Publication number
JP6433616B2
JP6433616B2 JP2018501416A JP2018501416A JP6433616B2 JP 6433616 B2 JP6433616 B2 JP 6433616B2 JP 2018501416 A JP2018501416 A JP 2018501416A JP 2018501416 A JP2018501416 A JP 2018501416A JP 6433616 B2 JP6433616 B2 JP 6433616B2
Authority
JP
Japan
Prior art keywords
error
signal
brain activity
information
mental
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2018501416A
Other languages
English (en)
Other versions
JPWO2017145226A1 (ja
Inventor
崇志 沼田
崇志 沼田
木口 雅史
雅史 木口
佐藤 大樹
大樹 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Publication of JPWO2017145226A1 publication Critical patent/JPWO2017145226A1/ja
Application granted granted Critical
Publication of JP6433616B2 publication Critical patent/JP6433616B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/369Electroencephalography [EEG]

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Public Health (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Educational Technology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Social Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Description

本発明は、心的活動状態評価支援装置、心的活動状態評価支援システム、及び心的活動状態評価支援方法に関する。
注意状態や気分、ストレスといった様々な心の状態(心的活動状態)を評価するために、脳活動信号を計測し、その計測データに信号処理を施すことで、被計測者の心的活動状態を算出する技術が提案されている。本技術分野の背景技術として特開2010−198232号公報(特許文献1)がある。
この公報には、「ユーザが一の意図を示した際の当該ユーザの第一脳活動データを取得する第一脳活動データ取得部と、前記ユーザが前記一の意図を示した際の当該ユーザの第二脳活動データを取得する第二脳活動データ取得部と、第一脳活動データから、前記示された一の意図が、複数の意図識別子のうちの一の意図識別子に対応する意図である第一確率を意図識別子ごとに算出する第一確率算出部と、第二脳活動データから、前記示された一の意図が、複数の意図識別子のうちの一の意図識別子に対応する意図である第二確率を意図識別子ごとに算出する第二確率算出部と、前記第一確率、および前記第二確率とを用いて意図識別子を取得する意図決定部と、前記意図識別子を出力する出力部とを具備する脳情報出力装置により、精度高く意図を検出できる。」と記載されている(要約参照)。
特開2010−198232
例えば、算出対象の心的活動状態に含まれない活動による脳活動(例えば注意状態が差算出対象である場合の感情や運動による脳活動)、個人特性(例えば脳構造、血管構造、慣れ、発達)、及び脳活動以外の生体活動(例えば眼球運動、筋活動)などの内部環境、並びに作業環境(例えば体動、姿勢)、周囲の環境(例えば照明の周波数、照度、温度、湿度などの空間的環境)、及び計測環境(例えばセンサの精度や装着状態)などの外部環境、の影響によって、脳活動信号は変化する。
つまり、脳活動信号は算出対象の心的活動状態以外の要因によって変化するため、当該脳活動信号から算出される当該心的状態の推定値も当該要因によって変化し、この変化量が当該推定値と当該心的活動状態の真の値との間の誤差の要因となる。つまり、ある心的活動状態を常に高精度に評価できる生体信号は必ずしも定まらない。
しかし、特許文献1に記載の技術は、生体信号計測時の内部環境や外部環境に応じて、生体信号に発生する誤差が変化することを想定していない。そこで、本発明の一態様は、脳活動信号から算出される心的活動状態の推定値と当該心的活動状態の真の値との間に誤差を発生させる要因の影響を考慮することで、複数種類の脳活動信号から、心的活動状態を高精度に示す脳活動信号を選択することを目的とする。
上記課題を解決するために本発明の一態様は、以下のような構成を採用する。複数種類の脳活動信号を用いた心的活動状態の評価、を支援する、心的活動状態評価支援装置であって、プロセッサと記憶装置とを含み、前記記憶装置は、前記複数種類の脳活動信号を変化させる前記心的活動状態以外の要因の程度を示す誤差計測信号と、前記複数種類の脳活動信号それぞれに対応する前記心的活動状態の推定値、の前記要因による誤差と、の対応を示す誤差算出情報を保持し、前記プロセッサは、前記誤差計測信号を取得し、前記誤差算出情報を参照して、前記取得した誤差計測信号から、前記複数種類の脳活動信号それぞれに対応する心的活動状態の推定値の前記要因による誤差を算出し、前記算出した誤差それぞれの大きさに基づいて、前記複数種類の脳活動信号から、第1種脳活動信号を選択し、前記第1種脳活動信号を示す情報を出力する、心的活動状態評価支援装置。
本発明の一態様によれば、複数種類の脳活動信号から、心的活動状態を高精度に示す脳活動信号を選択することできる。
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
実施例1における心的活動状態評価システムの構成例を示す概要図である。 実施例1における注意状態算出部による注意状態算出処理の概要の一例を示す説明図である。 実施例1における情報処理装置の構成例を示すブロック図である。 実施例1における注意状態学習部、注意状態算出部、及び注意状態出力部の構成例を示すブロック図である。 実施例1における脳活動信号情報の一例である。 実施例1における誤差計測信号情報の一例である。 実施例1における注意状態学習情報の一例である。 実施例1における注意状態学習特徴量情報の一例である。 実施例1における誤差学習情報の一例である。 実施例1における誤差学習特徴量情報の一例である。 実施例1における注意状態学習蓄積情報の一例である。 実施例1における誤差学習蓄積情報の一例である。 実施例1における最適信号学習情報の一例である。 実施例1における注意状態算出特徴量情報の一例である。 実施例1における注意状態算出情報の一例である。 実施例1における誤差算出情報の一例である。 実施例1における注意状態格納情報の一例である。 実施例1における誤差格納情報の一例である。 実施例1における最適注意状態選択情報の一例である。 実施例1における最適注意状態情報の一例である。 実施例1における誤差修正情報の一例である。 実施例1における注意状態学習部による処理の一例を示すフローチャートである。 実施例1における注意状態算出部による処理の一例を示すフローチャートである。 実施例1における注意状態出力部による処理の一例を示すフローチャートである。 実施例2における注意状態学習蓄積情報の修正処理の一例を示す説明図である。 実施例4における心的活動状態評価システムの構成例を示す概要図である。 実施例5における心的活動状態評価システムの構成例を示す概要図である。 実施例6における計測情報表示画面の一例である。 実施例6における設定画面の一例である。
以下、添付図面を参照して本発明の実施形態を説明する。本実施形態は本発明を実現するための一例に過ぎず、本発明の技術的範囲を限定するものではないことに注意すべきである。各図において共通の構成については同一の参照符号が付されている。
本実施形態は、心的活動状態の一例である注意状態を評価する方法及びシステムを説明するが、本実施形態は、以下に示す処理と同様の処理により、気分やストレス等の、注意状態以外の様々な心的活動状態の評価に適用できる。
図1は、心的活動状態評価システムの構成例を示す。心的活動状態評価システムは、例えば、情報処理装置1、脳活動計測装置2〜3、誤差計測装置4、入力装置5、及び出力装置6を含む。情報処理装置1は、注意状態学習部21、注意状態算出部51及び注意状態出力部71を含み、ユーザの注意状態を評価する。
脳活動計測装置2及び脳活動計測装置3それぞれは、情報処理装置1が注意状態を評価するための互いに異なる種類の脳活動信号を計測する。なお、本実施例において誤差計測信号を単に誤差信号とも呼ぶ。脳活動信号とは、脳の活動を評価するための、生体から取得される信号である。脳活動信号は、例えば、脳波信号、光トポグラフィ信号、脳磁信号、fMRI信号、PET信号を含む。例えば、脳活動計測装置2は、脳波信号を計測し、脳活動計測装置3は光トポグラフィ信号を計測する。
誤差計測装置4は、注意状態の誤差を評価するための誤差計測信号を計測する。誤差計測信号とは、脳活動信号を変化させる要因であって、評価対象の心的活動状態以外の要因、の程度を示す信号である。情報処理装置1は、誤差計測信号を用いて、計測された脳活動信号の誤差又は計測された脳活動信号から得られる注意状態の誤差、及び誤差を発生させる要因の影響を評価する。誤差計測信号は、例えば、眼電位、筋電位、室温、及びユーザの姿勢を含む。
情報処理装置1は、計測された複数種類の脳活動信号と計測された誤差計測信号を取得する。注意状態学習部21は、注意状態を算出する前に、各脳活動信号と誤差計測信号と各注意状態と各注意状態の誤差との間の関係を生成する。また、注意状態算出部51は、当該関係と各脳活動信号とに基づいて各注意状態と各注意状態の誤差を算出する。
注意状態算出部51は、各注意状態の誤差を比較して最も適切な誤差を示した注意状態を選択することで、誤差要因の影響を抑制した精度の高い注意状態評価を実施することができる。注意状態出力部71は、選択された注意状態と当該注意状態の誤差を出力装置6に出力する。図1における各装置や用語の詳細は以下の通りである。
注意状態は、例えば、注意種類と注意度との組み合わせから定まる状態である。注意種類とは、学術的に定義されている注意の種類と同義であり、選択性注意、持続性注意、転換性注意を含む。注意度とは、対応する種類の注意の強さを示す値である。
なお、注意状態と同様に、全ての心的活動に対して心的活動状態が定義される。心的活動状態は、当該心的活動状態の種類と、当該心的活動状態の強度とを含む。なお、当該心的活動状態の種類は、1種類からなってもよい。
外部信号とは、情報処理装置1の動作を制御する信号のうち、脳活動信号及び誤差計測信号を除いた信号である。入力装置5は、外部信号を入力するための装置であり、例えば、マウスやキーボード等の入力装置を含む。
出力装置6は、例えば、ディスプレイ装置、スピーカ、又はプリンタなどであり、プログラムの実行結果をオペレータが視認可能な形式で出力する。また、出力装置6は、注意課題を出力してもよい。注意課題についての詳細は後述する。また、注意課題を単に課題とも呼ぶ。
図1では、情報処理装置1が2種類の脳活動計測装置と1種類の誤差計測装置に接続されている例を説明しているが、情報処理装置1は、3種類以上の脳活動計測に接続されてもよいし、2種類以上の誤差信号計測装置に接続されてもよい。以下、本実施例では、情報処理装置1は、互いに異なる種類の脳活動信号を計測する複数の脳活動計測装置と、互いに異なる種類の誤差計測信号を計測する1以上の誤差計測装置に接続されているものとする。
注意状態学習部21は、注意状態の推定値と注意状態誤差とを高精度に算出するために、脳活動信号と注意状態と注意状態の誤差との関係を事前に学習する。注意状態算出部51は、高精度に注意状態を評価するために、脳活動信号、注意状態学習特徴量情報、及び誤差学習特徴量情報などを用いて、注意状態の推定値及び誤差を算出する。注意状態学習特徴量情報、及び誤差学習特徴量情報の詳細については後述する。
注意状態出力部71は、算出された注意状態の推定値及び誤差、注意状態選択情報、最小注意誤差修正情報、並びに算出特徴量群情報などを出力する。なお、情報処理装置1は心的活動状態評価システムの他の装置を含んでもよい。なお、図1では、各装置は有線で互いに接続されているが、ネットワークを介して無線で互いに接続されていてもよい。
図2は、注意状態算出部51による注意状態算出処理の概要の一例を示す。注意状態算出処理100は、例えば、注意度算出処理101、誤差算出処理102、一次元化処理103、比較処理104、及び決定処理105を含む。図2では、情報処理装置1が脳活動計測装置2及び脳活動計測装置3にのみ接続されている例を示す。
図2におけるグラフの縦軸は脳活動信号の指標値を、横軸は注意度を示す。注意度算出処理101、誤差算出処理102、及び一次元化処理103における、上段のグラフは脳活動計測装置2によって計測された脳活動信号の指標と注意度の相関を、下段のグラフは脳活動計測装置3によって計測された脳活動信号の指標と注意度の相関を示す。上段のグラフ及び下段のグラフの曲線は、予め定められていてもよいし、学習により生成されてもよい。本実施例では、当該曲線は予め定められているものとする。
脳活動信号の指標とは、注意の種類及び注意度を評価するための指標であり、脳活動信号から得られる特徴量の一例である。脳活動信号そのものも脳活動信号の指標の一例である。例えば脳波のα波パワー、β波パワー、及びP3振幅は、いずれも脳波信号の指標である。以下、脳活動信号の指標を単に指標とも呼ぶ。
まず、注意状態算出部51は注意度算出処理101において、各脳活動信号から各注意度の推定値を算出する。具体的には、注意状態算出部51は、脳活動計測装置2〜3それぞれから、同時刻の脳活動信号を取得し、取得した各脳活動信号を予め定められた指標に変換する。注意状態算出部51は、脳活動計測装置2に対応する指標を図2における上段のグラフの曲線が示す関数に代入して注意度の第1推定値を算出し、脳活動計測装置2に対応する指標を図2における下段のグラフの曲線が示す関数に代入して注意度の第2推定値を算出する。
注意状態算出部51は、誤差算出処理102において、各脳活動信号に対応する誤差関数を用いて、各注意度の推定値の誤差を算出する。誤差関数の決定方法の詳細については後述する。なお、誤差関数とは、誤差の範囲を算出するための関数であり、1以上の誤差要因を独立変数とし、誤差を従属変数とする関数である。誤差関数は、例えば、シグモイド関数であるが、その他の関数であってもよい。
注意状態算出部51は、一次元化処理103において、注意度の各推定値とその誤差をそれぞれ数直線上に表す。続いて、注意状態算出部51は、比較処理104において、注意度の各推定値の誤差、即ち数直線上に示された誤差を比較する。続いて、注意状態算出部51は、決定処理105により、注意度の推定値を決定する。図2の決定処理105の例では、注意状態算出部51は、誤差の範囲がより小さい第1推定値を注意度の推定値に決定している。
注意状態算出部51は、複数種類の脳活動信号に対する各注意度の推定値とその誤差を算出し、各誤差を一次元化した上で、誤差の大きさを比較することで、誤差要因の影響を考慮した上で、注意度の推定値を高精度に決定できる。ひいては、注意状態算出部51は、誤差要因の影響を抑制し、精度良く注意度を評価できる。
図3Aは、情報処理装置1の構成例を示す。情報処理装置1は、脳活動計測装置2及び脳活動計測装置3が取得した異なる種類の脳活動信号及び誤差計測信号の入力を受け付ける。情報処理装置1は、入力された信号を用いて注意状態の学習及び算出処理を行い、学習又は算出した情報を記憶し、処理結果、及び情報処理装置1に格納された情報を出力装置6へと出力する。
情報処理装置1は、例えば、入力部10、演算部20、記憶部80及び出力部15を有する計算機によって構成される。情報処理装置1は、物理的に一つの計算機上で、又は、論理的又は物理的に構成された複数の計算機上で構成される計算機システムであり、同一の計算機上で別個のスレッドで動作してもよく、複数の物理的計算機資源上に構築された仮想計算機上で動作してもよい。
入力部10は、他の装置に接続され、接続された他の装置から脳活動信号、誤差計測信号、及び外部信号等の入力を受け付ける。演算部20は、例えば、プロセッサを含むCPU(Central Processing Unit)である。演算部20は、記憶部80に格納されたプログラムを実行し、情報処理装置1における演算機能を担う。
記憶部80は、演算部20による演算結果及び演算部20に含まれる各部を実現するためのプログラムを記憶し、例えば、メモリ及び補助記憶装置を含む。メモリは、不揮発性の記憶素子であるROM及び揮発性の記憶素子であるRAMを含む。ROMは、不変のプログラム(例えば、BIOS)などを格納する。RAMは、DRAM(Dynamic Random Access Memory)のような高速かつ揮発性の記憶素子であり、プロセッサが実行するプログラム及びプログラムの実行時に使用されるデータを一時的に格納する。
補助記憶装置は、例えば、磁気記憶装置(HDD)、フラッシュメモリ(SSD)等の大容量かつ不揮発性の記憶装置であり、プロセッサが実行するプログラム及びプログラムの実行時に使用されるデータを格納する。すなわち、プログラムは、補助記憶装置から読み出されて、メモリにロードされて、プロセッサによって実行される。
出力部15は、演算部20による演算結果や、記憶部80に格納されている情報を、他の装置やディスプレイなどに出力する。出力部15は、例えば、出力インタフェース又は通信インタフェースである。出力インタフェースは、VGA及びHDMIなどを含む。通信インタフェースは、所定のプロトコルに従って、他の装置との通信を制御するネットワークインターフェース装置である。
プロセッサが実行するプログラムは、リムーバブルメディア(CD−ROM、フラッシュメモリなど)又はネットワークを介して情報処理装置1に提供され、非一時的記憶媒体である不揮発性の補助記憶装置に格納される。このため、情報処理装置1は、リムーバブルメディアからデータを読み込むインタフェースを有するとよい。
入力部10は、複数の脳活動信号入力部11、1以上の誤差計測信号入力部13、及び外部信号入力部14を含む。入力部10に含まれる各部は、例えば、入力インタフェース又は通信インタフェースを含む。入力インタフェースは、USB(Universal Serial Bus)等の、他の装置から情報入力を受け付けるシリアルインタフェースを含む。
脳活動信号入力部11それぞれは、例えば、1つの脳活動計測装置に接続され、当該脳活動計測装置から脳活動信号の入力を受け付ける。誤差計測信号入力部13それぞれは、例えば、1つの誤差計測装置に接続され、当該誤差計測装置から、誤差計測信号の入力を受け付ける。外部信号入力部14は、入力装置5に接続され、外部信号の入力を受け付ける。
演算部20は、注意状態学習部21、注意状態算出部51、及び注意状態出力部71を含む。例えば、演算部20は、記憶部80にロードされた注意状態学習プログラムに従って動作することで、注意状態学習部21として機能し、記憶部80にロードされた注意状態算出プログラムに従って動作することで、注意状態算出部51として機能する。演算部20に含まれる他の部についても同様である。
記憶部80は、それぞれ注意状態学習部21によって作成される、脳活動信号情報81、誤差計測信号情報82、注意状態学習情報83、注意状態学習特徴量情報84、誤差学習情報85、誤差学習特徴量情報86、注意状態学習蓄積情報87、誤差学習蓄積情報88、最適信号情報89を格納する。
また、記憶部80は、それぞれ注意状態算出部51によって算出される、算出特徴量群情報90、注意状態算出情報91、誤差算出情報92、注意状態格納情報93、最適注意状態選択情報95、最適注意状態情報96、誤差修正情報97を格納する。記憶部80に格納される各情報の詳細については後述する。
なお、本実施例及び他の実施例において、心的活動状態評価システムが使用する情報は、データ構造に依存せずどのようなデータ構造で表現されていてもよい。例えば、テーブル、リスト、データベース又はキューから適切に選択したデータ構造体が、情報を格納することができる。なお、本実施例では、テーブルに情報が格納されている例を説明する。
図3Bは、注意状態学習部21、注意状態算出部51、及び注意状態出力部71の構成例を示す。注意状態学習部21は、学習脳活動信号取得部22、学習誤差計測信号取得部24、注意状態学習情報作成部25、誤差学習情報作成部26、注意状態学習特徴量算出部29、誤差学習特徴量算出部30、注意状態学習特徴量蓄積部33、誤差学習特徴量蓄積部34、及び最適信号学習部37を含む。
学習脳活動信号取得部22は、注意状態学習時に脳活動信号入力部11それぞれに入力された脳活動信号を取得し、注意状態学習時における各脳活動信号に対応する脳活動信号情報81を作成する。学習誤差計測信号取得部24は、注意状態学習時に誤差計測信号入力部13それぞれに入力された誤差計測信号を取得し、注意状態学習時における各誤差計測信号に対応する誤差計測信号情報82を作成する。
注意状態学習情報作成部25は、注意状態学習時における各脳活動信号に対応する脳活動信号情報81を用いて、各脳活動信号に対応する注意状態学習情報83を作成する。誤差学習情報作成部26は、注意状態学習時における各脳活動信号に対応する脳活動信号情報81及び誤差計測信号情報82を用いて、各脳活動信号に対応する誤差学習情報85を作成する。
注意状態学習特徴量算出部29は、各脳活動信号に対応する注意状態学習情報83を用いて、各脳活動信号に対応する注意状態学習特徴量情報84を作成する。誤差学習特徴量算出部30は、各脳活動信号に対応する注意状態学習特徴量情報84及び誤差学習情報85を用いて、各脳活動信号に対応する誤差学習特徴量情報86を作成する。
注意状態学習特徴量蓄積部33は、各脳活動信号に対応する注意状態学習特徴量情報84を用いて、各脳活動信号に対応する注意状態学習蓄積情報87を作成する。誤差学習特徴量蓄積部34は、各脳活動信号に対応する誤差学習特徴量情報86を用いて、各脳活動信号に対応する誤差学習蓄積情報88を作成する。最適信号学習部37は、誤差学習蓄積情報88、及び誤差学習特徴量情報86を用いて、最適信号情報89を作成する。
注意状態算出部51は、算出脳活動信号取得部52、算出誤差計測信号取得部54、算出特徴量群算出部55、注意状態算出情報作成部58、誤差算出部59、注意状態情報格納部62、誤差情報格納部63、最適注意状態算出部64、最適注意状態選択部65、及び最適注意誤差修正情報算出部66を含む。
算出脳活動信号取得部52は、注意状態算出時に脳活動信号入力部11それぞれに入力された脳活動信号を取得し、注意状態算出時における各脳活動信号の脳活動信号情報81を作成する。算出誤差計測信号取得部54は、注意状態算出時に誤差計測信号入力部13それぞれに入力された誤差計測信号を取得し、注意状態算出時における各誤差計測信号に対応する誤差計測信号情報82を作成する。
算出特徴量群算出部55は、注意状態算出時における各脳活動信号の脳活動信号情報81を用いて、各脳活動信号の算出特徴量群情報90を作成する。注意状態算出情報作成部58は、各脳活動信号に対応する算出特徴量群情報90及び注意状態学習蓄積情報87を用いて、各脳活動信号に対応する注意状態算出情報91を作成する。
誤差算出部59は、各脳活動信号に対応する誤差学習蓄積情報88、各脳活動信号に対応する算出特徴量群情報90、及び算出誤差計測信号取得部54が作成した各誤差計測信号情報82を用いて、各脳活動信号に対応する誤差算出情報92を作成する。注意状態情報格納部62は、注意状態算出情報作成部58が算出した各注意状態算出情報91を用いて、注意状態格納情報93を作成する。誤差情報格納部63は、誤差算出部59が算出した各誤差算出情報92を用いて、誤差格納情報94を作成する。
最適注意状態選択部65は、誤差格納情報94を用いて、最適注意状態選択情報95を作成する。最適注意状態算出部64は、注意状態格納情報93及び最適注意状態選択情報95を用いて、最適注意状態情報96を作成する。最適注意誤差修正情報算出部66は、最適信号情報89及び最適注意状態情報96を用いて、誤差修正情報97を作成する。
注意状態出力部71は、例えば、最適注意状態出力部72、最適注意状態選択情報出力部73、誤差情報出力部74、及び最適注意誤差修正情報出力部75を含む。最適注意状態出力部72は、最適注意状態情報96の全部又は一部を出力部15に出力する。最適注意状態選択情報出力部73は、最適注意状態選択情報95の全部又は一部を出力部15に出力する。
誤差情報出力部74は、誤差格納情報94の全部又は一部を出力部15に出力する。最適注意誤差修正情報出力部75は、誤差修正情報97に含まれる判定結果又は当該判定結果に応じた情報を出力部15に出力する。誤差要因の影響を抑制するための指示は当該判定結果に応じた情報の一例である。当該判定結果に応じた情報は、例えば、予め記憶部80に格納されており、最適注意誤差修正情報出力部75によって取得される。注意状態出力部71は、上記の出力情報以外の、注意状態学習部21又は注意状態算出部51が作成した情報を出力してもよい。
図4A〜4Iは、注意状態学習部21によって作成される情報の例である。図4Aは、脳活動信号情報81の一例である。脳活動信号情報81は、例えば、脳活動信号名欄811と時間欄812と信号欄813とを含む。
脳活動信号名欄811は、脳活動信号の名称を格納する。時間欄812は、信号が取得された時刻を格納する。本実施形態では、注意状態学習時においては学習開始からの経過時間を、注意状態算出時においては算出開始からの経過時間を、当該時刻とする。信号欄813は、例えば、脳活動信号入力部11に入力された信号がA/D(アナログ/デジタル)変換された数値を格納する。
図4Bは、誤差計測信号情報82の一例である。誤差計測信号情報82は、例えば、誤差信号名欄821と時間欄822と信号欄823とを含む。誤差信号名欄821は、誤差計測信号の名称を格納する。
時間欄822の説明は、時間欄812の説明と同様であるため省略する。以下、時間欄のような、異なる情報それぞれに含まれる欄の説明は、当該欄の初出時のみに行う。信号欄823は、例えば、誤差計測信号入力部13に入力された信号の値又は、当該信号がA/D変換された数値を格納する。
図4Cは、注意状態学習情報83の一例である。注意状態学習情報83は、例えば、注意種類欄831と注意度欄832と脳活動信号名欄833と時間欄834と信号欄835を含む。注意種類欄831は、持続性注意、選択性注意、転換性注意、分配性注意等を含む注意の種類を格納する。注意度欄832は、注意度を格納する。注意度は、例えば0以上100以下の値で与えられ、値が大きいほど注意の程度が強い。なお、注意種類欄831の各セルは、複数の注意種類を含んでもよく、このとき、注意度欄832の対応するセルは当該注意種類それぞれに対応する注意度を格納する。
図4Dは、注意状態学習特徴量情報84の一例である。注意状態学習特徴量情報84は、例えば、注意種類欄841と注意度欄842と脳活動信号名欄843と時間欄844と信号欄845と指標欄846とを含む。指標欄846は、対応する脳活動信号の指標値を格納する。
なお、複数種類の指標が算出される場合、注意状態学習特徴量情報84は、当該複数の指標それぞれに対応する指標欄846を含む。また、注意種類欄841の各セルは、複数の注意種類を含んでもよく、このとき、注意度欄842の対応するセルは当該注意種類それぞれに対応する注意度を格納する。
図4Eは、誤差学習情報85の一例である。誤差学習情報85は、例えば、時間欄851と脳活動信号名欄852と脳活動信号欄853と誤差信号名欄854と誤差信号欄855とを含む。なお、複数種類の誤差計測信号が入力される場合、誤差学習情報85は、当該複数種類の誤差計測信号それぞれ対応する誤差信号名欄と誤差信号欄を含む。
図4Fは、誤差学習特徴量情報86の一例である。誤差学習特徴量情報86は、例えば、時間欄861と脳活動信号名欄862と脳活動信号欄863と脳活動信号誤差範囲欄864と指標欄865と指標誤差範囲欄866と誤差信号名欄867と誤差信号欄868とを含む。脳活動信号誤差範囲欄864は、誤差により変動し得る脳活動信号の範囲を示す値を格納する。指標誤差範囲欄866は、誤差により変動し得る指標値の範囲を示す値を格納する。
なお、複数種類の指標の誤差範囲が算出される場合、誤差学習特徴量情報86は、当該複数の指標欄それぞれに対応する指標欄865及び指標誤差範囲欄866を含む。また、複数種類の誤差計測信号が入力される場合、誤差学習特徴量情報86は、当該複数種類の誤差計測信号それぞれ対応する誤差信号名欄867と誤差信号欄868とを含む。
図4Gは、注意状態学習蓄積情報87の一例である。注意状態学習蓄積情報87は、例えば、脳活動信号名欄871と注意種類欄872と注意状態係数欄873とを含む。注意状態係数欄873は、指標から注意度を算出するための所定の関係式における係数を示す。当該所定の関係式が1次関数y=axである場合の注意状態係数はaである。
また、注意状態係数欄873の1つのセルが複数の注意状態係数を格納してもよい。具体的には、例えば当該所定の関係式が2次関数y=ax+bx+cである場合、a、b、及びcの3つの注意状態係数が存在する。このとき、注意状態係数欄873は、当該3つの注意状態係数のどれがa、b、cに相当するかを特定できる形式で当該3つの注意状態係数を格納する。なお、注意種類欄872の各セルは、複数の注意種類を含んでもよく、このとき、注意状態係数欄873の対応するセルは当該注意種類それぞれに対応する注意状態係数を格納する。
図4Hは、誤差学習蓄積情報88の一例である。誤差学習蓄積情報88は、例えば、脳活動信号名欄881と誤差信号名欄882と誤差要因欄883と誤差係数欄884とを含む。誤差要因欄883は、注意状態の評価において誤差に影響する要因を示す値を格納する。注意以外の脳活動、個人特性、他の生体活動、作業環境、及び周囲の環境はいずれも誤差要因の一例である。
誤差係数欄884は、誤差信号から誤差を算出するための所定の関係式の係数を格納する。また、注意状態係数欄873と同様に、誤差係数欄884は1つのセルが複数の誤差係数を格納してもよい。なお、複数種類の誤差計測信号が入力される場合、誤差学習特徴量情報86は、当該複数種類の誤差計測信号それぞれ対応する誤差信号名欄882を含む。
図4Iは、最適信号情報89の一例である。最適信号情報89は、例えば、時間欄891と誤差要因欄892と、脳活動信号入力部11に入力された脳活動信号の種類数と同数の脳活動信号欄893とを含む。脳活動信号欄893は、各脳活動信号についての情報を格納し、例えば、脳活動信号名欄894と誤差欄895と累計誤差欄896とを含む。誤差要因欄892は、複数の誤差要因を格納してもよい。
誤差欄895は、対応する脳活動信号の誤差を格納する。なお、誤差要因欄892が複数の誤差要因を格納する場合、各脳活動信号欄893は、各誤差要因に対応する誤差欄を含む。累計誤差欄896は、各誤差要因に対応する誤差の和を格納する。脳活動信号欄893に含まれる誤差欄895は1つであるため、累計誤差欄896と誤差欄に895に格納される値は同じである。なお、各誤差欄895及び各累計誤差欄896の最終行は、当該誤差欄895及び当該累計誤差欄896に含まれる値の合計値を格納する。
図5A〜5Hは、注意状態算出部51によって作成される情報の例である。図5Aは、算出特徴量群情報90の一例である。算出特徴量群情報90は、例えば、注意状態算出特徴量情報901と誤差算出特徴量情報902とを含む。
注意状態算出特徴量情報901は、例えば、脳活動信号名欄9011と時間欄9012と信号欄9013と指標欄9014とを含む。誤差算出特徴量情報902は、例えば、時間欄9021と脳活動信号名欄9022と脳活動信号欄9023と脳活動信号誤差範囲欄9024と指標欄9025と指標誤差範囲欄9026とを含む。
図5Bは、注意状態算出情報91の一例である。注意状態算出情報91は、例えば、時間欄911と脳活動信号名欄912と注意種類欄913と注意度欄914とを含む。
図5Cは、誤差算出情報92の一例である。誤差算出情報92は、例えば、時間欄921と脳活動信号名欄922と累計誤差欄923と誤差要因欄924と誤差欄925とを含む。
図5Dは、注意状態格納情報93の一例である。注意状態格納情報93は、例えば、時間欄931と、脳活動信号入力部11に入力された脳活動信号の種類数と同数の脳活動信号欄932と、を含む。脳活動信号欄932は、各脳活動信号についての情報を格納し、例えば、脳活動信号名欄933と注意種類欄934と注意度欄935とを含む。
図5Eは、誤差格納情報94の一例である。誤差格納情報94は、例えば、時間欄941と、誤差要因欄942と、脳活動信号入力部11に入力された脳活動信号の種類数と同数の脳活動信号欄943と、を含む。脳活動信号欄943は、各脳活動信号についての情報を格納し、例えば、脳活動信号名欄944と誤差欄945と累計誤差欄946とを含む。
図5Fは、最適注意状態選択情報95の一例である。最適注意状態選択情報95は、例えば、時間欄951と、最適信号名欄952と、最適誤差欄953と、脳活動信号入力部11に入力された脳活動信号の種類数と同数の脳活動信号欄954と、を含む。
最適信号名欄952は、脳活動信号入力部11に入力された脳活動信号のいずれかの名称を格納する。最適誤差欄953は、最適信号名欄952に格納された信号の誤差を格納する。脳活動信号欄954は、各脳活動信号についての情報を格納し、例えば、脳活動信号名欄955と累計誤差欄956とを含む。
図5Gは、最適注意状態情報96の一例である。最適注意状態情報96は、例えば、時間欄961と最適信号名欄962と注意種類欄963と注意度欄964と最適誤差欄965とを含む。
図5Hは、誤差修正情報97の一例である。誤差修正情報97は、例えば、時間欄971と学習最適信号欄972と算出最適信号欄973と判定結果欄974とを含む。学習最適信号欄972は、注意状態学習時に最適な誤差を示した脳活動計測信号の信号名を格納する。算出最適信号欄973は、注意状態算出時に最適な誤差を示した脳活動計測信号の信号名を格納する。判定結果欄974は、学習最適信号欄972と算出最適信号欄973とに格納されている脳活動信号名が一致しているか否かを示す判定結果を格納する。例えば、脳活動信号が同じである場合の判定結果は「OK」、異なる場合の判定結果は「NG」である。
以下、情報処理装置1の動作例を説明する。図6は、注意状態学習部21による処理の一例を示す。以下、脳活動信号入力部11には、第1脳活動信号〜第m脳活動信号(mは2以上の整数)が入力され、誤差計測信号入力部13には第1誤差計測信号〜第n誤差計測信号(nは1以上の整数)が入力されるものとする。また、各脳活動信号入力部11に入力される脳活動信号の種類、及び各誤差計測信号入力部13に入力される誤差計測信号の種類は予め定められている。
また、第i脳活動信号(iは1以上m以下の整数)に対応する脳活動信号情報81を第i脳活動信号情報81と呼ぶ。脳活動信号それぞれに対して生成される他の情報についても同様に表記する。また、誤差計測信号それぞれについて生成される情報についても同様に表記する。また、特に断らない限り、図6の説明においては、脳活動信号情報81及び誤差計測信号情報82は、注意状態学習時に生成される脳活動信号情報81及び誤差計測信号情報82を示す。
ステップ121において、例えば、ユーザに対して課題が提示され、ユーザは課題に対応する特定の行為を実行する。課題は、ユーザが当該課題に対応する特定の行為を実行することにより、当該ユーザの注意状態が変化するものであることが望ましい。ストループ課題は当該課題の一例であり、ストループ課題に対する回答は当該特定の行為の一例である。
なお、例えば、専門家等の他のユーザが人手で課題を提示してもよい。また、例えば、記憶部80が1以上の課題を含む課題情報を保持し、注意状態学習部21は任意に選択した又は専門家等の他のユーザによって指定された1つの課題を課題情報から取得して注意状態出力部71に送信し、注意状態出力部71が当該課題を出力装置6に出力することにより、課題を提示してもよい。
なお、課題情報は、各課題に対応する注意種類、各課題に対応する注意度を示す情報をさらに含んでもよい。各注意度を示す情報は、対応する課題に対する注意度そのものであってもよいし、ユーザの当該課題に対する成績から当該注意度が算出される関数であってもよい。
注意状態学習部21は、例えば、初回のステップ121においてのみ、課題の出力時刻を学習開始時刻にセットする。また、学習脳活動信号取得部22は、脳活動信号入力部11に入力された各種脳活動信号の取得を、学習誤差計測信号取得部24は誤差計測信号入力部13に入力された各種誤差信号の取得を、学習開始時刻のセットと同時に開始し、当該特定の行為が終了するまで実行する。注意状態学習部21は、例えば、当該特定の行為の終了通知をユーザから受け付ける。
ステップ122において、注意状態学習情報作成部25は、ステップ121で提示された課題に対応する注意状態を取得する。なお、注意状態学習情報作成部25は、専門家等の他のユーザから入力された注意状態を取得してもよいし、課題情報から注意状態を取得してもよい。また、1つの課題に複数の注意状態、即ち複数種類の注意種類及び当該注意種類それぞれの注意度、が対応していてもよい。
ステップ123において、学習脳活動信号取得部22は、ステップ121に提示された課題における各脳活動信号に対応する脳活動信号情報81を作成する。具体的には、学習脳活動信号取得部22は、脳活動信号入力部11それぞれから脳活動信号を取得し、脳活動信号入力部11それぞれに予め対応づけられた脳活動信号名を取得する。
学習脳活動信号取得部22は、各脳活動信号に対して、空の脳活動信号情報81を作成し、取得した脳活動信号名、脳活動信号の取得時刻、及び取得した脳活動信号をA/D変換した値それぞれを、当該脳活動信号情報81の脳活動信号名欄811、時間欄812、及び信号欄813に格納する。
ステップ124において、例えば、学習脳活動信号取得部22は、全ての課題に対する全ての脳活動信号情報81を作成したか否かを判定する。具体的には、例えば、学習脳活動信号取得部22は、ユーザ等から課題提示終了通知を受信し、かつ提示した課題全てに対する脳活動信号情報81を生成したか否かを判定する。また、学習脳活動信号取得部22は、課題情報に含まれる全ての課題が提示され、かつ提示した課題全てに対する脳活動信号情報81を生成したか否かを判定してもよい。
学習脳活動信号取得部22は、全ての課題に対する全ての脳活動信号情報81を作成した場合(ステップ124:YES)はステップ125に進み、作成していない脳活動信号情報81がある場合(ステップ124:NO)はステップ121に戻る。なお、注意状態学習部21に含まれる他の部がステップ124の判定処理を実行してもよい。以下、k周目のステップ121〜124からなるループ処理において提示された課題を第k課題と呼ぶ。
ステップ125において、学習脳活動信号取得部22は、カウンタiの値を1に設定する。ステップ126において、学習脳活動信号取得部22は、カウンタjの値を1に設定する。ステップ127において、学習脳活動信号取得部22は、カウンタkの値を1に設定する。なお、注意状態学習部21に含まれるどの部が各カウンタの値の設定を実行してもよい。
ステップ128において、注意状態学習情報作成部25は、第k課題があるか否かを判定する。注意状態学習情報作成部25は、第k課題があると判定すれば(ステップ128:YES)ステップ129に進み、ないと判定すれば(ステップ128:NO)ステップ142に進む。注意状態学習部21に含まれる他の部がステップ128の判定処理を実行してもよい。
ステップ129において、注意状態学習情報作成部25は、第i脳活動信号情報81があるか否かを判断する。注意状態学習情報作成部25は、第i脳活動信号情報81があると判定すれば(ステップ129:YES)ステップ130に進み、ないと判定すれば(ステップ129:NO)ステップ141に進む。注意状態学習部21に含まれる他の部が、ステップ129の判定処理を行ってもよい。
なお、ステップ129〜ステップ140で説明される情報は、特に断らない限り第k課題についての情報である。例えば、ステップS130における第i注意状態学習情報83は、第k課題における第i注意状態学習情報83を示す。
ステップ130において、注意状態学習情報作成部25は、第i注意状態学習情報83を生成する。具体的には、注意状態学習情報作成部25は、第i脳活動信号情報81から脳活動信号名欄811、時間欄812、及び信号欄813を抽出することにより、第i注意状態学習情報83の脳活動信号名欄833、時間欄834、及び信号欄の835それぞれの値を得る。
続いて、注意状態学習情報作成部25は、ステップS122において取得された第k課題の注意状態に含まれる注意種類及び注意度をそれぞれ、第i注意状態学習情報83の注意種類欄831及び注意度欄832に格納する。
ステップ131において、注意状態学習特徴量算出部29は、第i注意状態学習特徴量情報84を作成する。具体的には、例えば、注意状態学習情報作成部25は、第i注意状態学習情報83から注意種類欄831、注意度欄832、脳活動信号名欄833、時間欄834、及び信号欄835を抽出することにより、第i注意状態学習特徴量情報84の注意種類欄841、注意度欄842、脳活動信号名欄843、時間欄844、及び信号欄845それぞれの値を得る。
また、注意状態学習特徴量算出部29は各時刻における信号欄845の値に、所定の処理を施すことにより指標値を算出し、算出した各指標値を指標欄846に格納する。注意状態学習特徴量算出部29は、例えば、バンドパスフィルタやトレンド除去などのノイズを軽減するための信号処理を行うことにより各指標値を算出する。なお、注意状態学習特徴量算出部29は複数種類の指標を算出してもよい。
ステップ132において、注意状態学習特徴量蓄積部33は、第i注意状態学習蓄積情報87を作成する。具体的には、例えば、注意状態学習特徴量蓄積部33は、第i注意状態学習特徴量情報84から、脳活動信号名欄843及び注意種類欄841を抽出することにより、第i注意状態学習蓄積情報87の脳活動信号名欄871及び注意種類欄872それぞれの値を得る。注意状態学習特徴量蓄積部33は、第i注意状態学習蓄積情報87の注意種類欄872に格納された注意種類が重複するレコードを削除する。
続いて、注意状態学習特徴量蓄積部33は、注意種類欄872に格納された各注意種類について、注意状態係数算出処理を行う。具体的には、注意状態学習特徴量蓄積部33は、例えば、指標を独立変数、注意度を従属変数とする係数不明の所定の関係式と、第i注意状態学習特徴量情報84の当該注意種類の注意度欄842及び指標欄846の値と、を用いた最小二乗法等により当該関係式の係数を決定し、決定した係数を当該注意種類の注意状態係数に決定する。なお、当該所定の関係式は、例えば、注意種類ごとに異なってもよい。
ステップ133において、学習誤差計測信号取得部24は、ステップS123における各脳活動信号情報81の作成方法と同様の方法で、第k課題における第j誤差計測信号情報82を作成する。ステップ134において、学習誤差計測信号取得部24は、カウンタjの値を1、インクリメントする。
ステップ135において、学習誤差計測信号取得部24は、第j誤差計測信号情報82があるか否かを判定する。学習誤差計測信号取得部24は、第j誤差計測信号情報82があると判定した場合は(ステップS135:YES)ステップ133に戻り、ないと判定した場合は(ステップS135:NO)ステップ136に進む。
ステップ136において、誤差学習情報作成部26は、カウンタjの値を1に設定する。ステップ137において、誤差学習情報作成部26は、第i誤差学習情報85を作成する。具体的には、誤差学習情報作成部26は、例えば、時間欄をキーにして、第i誤差学習情報85と、第1誤差計測信号情報82乃至第j誤差計測信号情報82と、をマージすることにより、第i誤差学習情報85を作成する。
ステップ138において、誤差学習特徴量算出部30は、第i誤差学習特徴量情報86を作成する。具体的には、誤差学習特徴量算出部30は、第i誤差学習情報85と、第i注意状態学習特徴量情報84の時間欄844と指標欄846とからなるテーブルと、を時間欄をキーにマージすることにより、時間欄861、脳活動信号名欄862、脳活動信号欄863、指標欄865、誤差信号名欄867、及び誤差信号欄868の値を得る。
続いて、誤差学習特徴量算出部30は、各時刻について、例えば、当該時刻を含む所定範囲の時間窓における脳活動信号欄863の値の標準偏差を算出し、算出した標準偏差を当該時刻における脳活動信号誤差範囲に決定し、脳活動信号誤差範囲欄864に格納する。同様に、誤差学習特徴量算出部30は、各時刻について、例えば、当該時刻を含む所定範囲の時間窓における指標欄865の値の標準偏差を算出し、算出した標準偏差を当該時刻における指標誤差範囲に決定し、指標誤差範囲欄866に格納する。
ステップ139において、誤差学習特徴量蓄積部34は、第i誤差学習蓄積情報88を作成する。具体的には、誤差学習特徴量蓄積部34は、第i誤差学習特徴量情報86の脳活動信号名欄862と誤差信号名欄867の値を、取得する。
続いて、誤差学習特徴量蓄積部34は、取得した誤差信号名に対応する誤差要因を特定する。1種類の誤差計測信号が用いられている場合、誤差学習特徴量蓄積部34は、例えば、当該誤差計測信号に対応する予め定められた1以上の誤差要因を取得する。例えば、誤差計測信号である眼電位に誤差要因である眼球運動が対応している。また、例えば、誤差計測信号である眼電位に誤差要因である眼球運動と筋活動とが対応していてもよい。
また、複数種類の誤差計測信号が用いられている場合、誤差学習特徴量蓄積部34は、例えば、当該複数種類の誤差計測信号の組み合わせに対応する予め定められた1以上の誤差要因を取得する。
また、複数種類の誤差計測信号が用いられている場合、誤差学習特徴量蓄積部34は、例えば、クラスタリング法を用いて誤差要因を特定してもよい。具体的には、誤差学習特徴量蓄積部34は、各時刻における当該複数種類の誤差信号の値を誤差信号欄868から取得し、各種類の誤差信号の値を要素とする各時刻におけるベクトルを生成する。例えば、各種類の誤差信号からなるベクトル空間は予め複数のクラスタに分類され、各クラスタに予め誤差要因が対応付けられている。誤差学習特徴量蓄積部34は、生成した各ベクトルが属するクラスタに従って、1以上の誤差要因を特定する。
誤差学習特徴量蓄積部34は、特定した1以上の誤差要因それぞれを誤差要因欄883に格納する。また、誤差学習特徴量蓄積部34は、取得した脳活動信号名及び誤差信号名をそれぞれ脳活動信号名欄881及び誤差信号名欄882に格納する。
続いて、誤差学習特徴量蓄積部34は、誤差係数を算出する。具体的には、誤差学習特徴量蓄積部34は、例えば、誤差信号を独立変数、脳活動信号誤差範囲又は指標誤差範囲誤差を従属変数とする係数不明の所定の関係式と、第i誤差学習特徴量情報86の脳活動信号誤差範囲欄864、及び指標誤差範囲欄866又は誤差信号欄868の値と、を用いた最小二乗法等により当該関係式の係数を決定し、決定した係数を誤差係数に決定する。なお、誤差学習特徴量蓄積部34は、例えば、誤差要因ごとに異なる関係式を用いて誤差係数を算出してもよい。
ステップ140において、誤差学習特徴量蓄積部34は、カウンタjの値を1、インクリメントする。ステップ141において、注意状態学習情報作成部25は、カウンタkの値を1、インクリメントする。
ステップ142において、最適信号学習部37は、最適信号情報89を作成する。最適信号学習部37は1以上m以下の全ての整数iに対して、例えば、以下の処理を行うことにより、最適信号情報89を作成する。
最適信号学習部37は、全ての課題における、第i誤差学習特徴量情報86を縦に結合した第iテーブルを作成する。最適信号学習部37は、第iテーブルの時間欄861の値を時間欄891に格納する。なお、時間欄891へ値を格納する初回の当該処理のみにおいて行えばよい。最適信号学習部37は、空欄である脳活動信号欄893を1つ特定し、当該特定した脳活動信号欄893に含まれる脳活動信号名欄894に第i脳活動信号の名称を格納する。
最適信号学習部37は、第iテーブルの各レコードについて、以下の処理を行う。最適信号学習部37は、時間欄861、誤差信号名欄867、及び誤差信号欄868それぞれから時間、誤差信号名、及び誤差信号の値を取得する。最適信号学習部37は、取得した誤差信号名に対応する誤差要因と誤差係数を第i誤差学習蓄積情報88から取得する。最適信号学習部37は、取得した誤差要因それぞれについて、当該誤差要因に対応する所定の関係式に、取得した当該誤差要因に対応する誤差係数と取得した誤差信号の値とを代入することにより、当該誤差要因に対応する誤差の値を算出する。
最適信号学習部37は、算出した誤差の値それぞれを第i脳活動信号に対応する誤差欄895の当該時刻に対応するセルに格納し、第i脳活動信号に対応する誤差欄895の誤差の和を第i脳活動信号に対応する累計誤差欄896の当該時刻に対応するセルに格納する。
最適信号学習部37は、全ての整数iに対して上述の処理を実行した後に、例えば、最適信号情報89の最下段に合計値を示すレコードを追加し、各誤差欄895及び各累計誤差欄896の追加したレコード内のセルに各誤差欄895及び各累計誤差欄896の値の合計値を格納する。
なお、誤差係数を用いて算出される誤差と、注意状態係数を用いて算出される注意度と、の間で単位や次元が異なる場合、最適信号学習部37は、例えば、所定の関係式を用いて、最適信号情報89の各誤差欄895及び各累計誤差欄896の誤差を変換することにより、誤差の単位や次元を注意度の単位や次元に合わせてもよい。
上述のように、注意状態学習部21は、複数の脳活動信号及び1以上の誤差計測信号を取得し、各脳活動信号と注意状態と注意状態の誤差との関係を取得する。また、注意状態学習部21は、最適信号情報89を用いて最適誤差及び最適誤差を示した脳活動信号を取得することができ、ひいては精度の高い注意状態の推定値を算出可能な脳活動信号を取得できる。
図7は、注意状態算出部51による処理の一例を示す。以下、図6の説明と同様に、脳活動信号入力部11には、第1脳活動信号〜第m脳活動信号(mは2以上の整数)が入力され、誤差計測信号入力部13には第1誤差計測信号〜第n誤差計測信号(nは1以上の整数)が入力されるものとする。なお、特に断らない限り、図7の説明においては、脳活動信号情報81及び誤差計測信号情報82は、注意状態算出時に生成される脳活動信号情報81及び誤差計測信号情報82を示す。
ステップ151において、算出脳活動信号取得部52は、脳活動信号入力部11に脳活動信号が入力されたか否かを判定する。算出脳活動信号取得部52は、入力されたと判定した場合は(ステップS151:YES)ステップ152に進み、入力されていないと判定した場合は(ステップS151:NO)ステップ151の処理が再度実行される。
ステップ151において、例えば、算出誤差計測信号取得部54が誤差計測信号入力部13に誤差計測信号が入力されたか否かを判定してもよい。また、例えば、全ての脳活動信号入力部11及び誤差計測信号入力部13に信号が入力されていなければ再度ステップ151の処理が実行されてもよい。
ステップ152において、算出脳活動信号取得部52は各脳活動信号に対応する脳活動信号情報81を作成し、算出誤差計測信号取得部54は各誤差計測信号に対応する誤差計測信号情報82を作成する。
ステップ153において、算出脳活動信号取得部52は全ての脳活動信号についての脳活動信号情報81を生成したか否かを、算出誤差計測信号取得部54は全ての誤差計測信号についての誤差計測信号情報82を作成したか否か、を判定する。全ての信号情報が作成したと判定された場合は(ステップS153:YES)ステップ154に進み、作成されていない信号情報があると判定された場合は(S153:NO)ステップ151に戻る。
なお、ステップ151において、脳活動信号入力部11及び誤差計測信号入力部13の双方に信号が入力されなければ再度ステップ151を繰り返す場合、ステップ153の後、常にステップ154に進んでもよい。
ステップ154において、誤差算出特徴量取得部57は、カウンタiの値を1に設定する。なお、注意状態算出部51に含まれるどの部がカウンタの値の設定を実行してもよい。
ステップ155において、算出特徴量群算出部55は、第i脳活動信号情報81があるか否かを判定する。第i脳活動信号情報がある場合は(ステップ155:YES)ステップ156に進み、ない場合は(ステップ155:NO)ステップ160に進む。ステップ156の処理は、注意状態算出部51に含まれる他部が行ってもよい。
ステップ156において、算出特徴量群算出部55は、第i算出特徴量群情報90、即ち第i注意状態算出特徴量情報901及び第i誤差算出特徴量情報902を作成する。具体的には、例えば、算出特徴量群算出部55は、第i脳活動信号情報81の信号欄813の値それぞれから、当該値に対応する指標値をステップ131と同様の方法で算出する。算出特徴量群算出部55は、第i脳活動信号情報81に、算出した指標値を格納する列を付加することにより、第i注意状態算出特徴量情報901を作成する。
また、算出特徴量群算出部55は、第i脳活動信号情報81の信号欄813の値それぞれから、ステップ138と同様の方法で、脳活動信号誤差の範囲を算出する。また、算出特徴量群算出部55は、算出した指標値それぞれから、ステップ138と同様の方法で、指標誤差範囲を算出する。算出特徴量群算出部55は、第i脳活動信号情報81に、算出した脳活動信号誤差範囲を格納する列、算出した指標値を格納する列、及び算出した指標誤差範囲を格納する列を付加することにより、第i誤差算出特徴量情報902を作成する。
ステップ157において、注意状態算出情報作成部58は、第i注意状態算出情報91を作成する。具体的には、例えば、注意状態算出情報作成部58は、第i誤差算出特徴量情報902から、時間欄9021及び脳活動信号名欄9022の値を取得し、第i注意状態算出情報91の時間欄911、及び脳活動信号名欄912にそれぞれ格納する。
さらに、注意状態算出情報作成部58は、第i注意状態学習蓄積情報87に含まれる、全ての注意種類及び注意状態係数を全て取得する。注意状態算出情報作成部58は、各注意状態係数と当該注意状態係数に対応する所定の関係式を用いて、各時刻における各注意種類の注意度を算出する。注意状態算出情報作成部58は、各時刻について、最大の注意度と、注意度が最大である注意種類と、を特定する。注意状態算出情報作成部58は、注意種類欄913及び注意度欄914に、特定した注意種類及び注意度をそれぞれ格納する。
ステップ158において、誤差算出部59は、第i誤差算出情報92を作成する。具体的には、誤差算出部59は、例えば、第i誤差算出特徴量情報902の時間欄9021及び脳活動信号名欄9022の値を、第i誤差算出情報92の時間欄921及び脳活動信号名欄922にそれぞれ格納する。
続いて、誤差算出部59は、第i誤差学習蓄積情報88を参照して、誤差計測信号情報82が作成された誤差信号名、並びに当該誤差信号名に対応する誤差要因及び誤差係数を取得する。誤差算出部59は、全ての誤差計測信号情報82から各時刻における誤差信号の値を取得する。また、誤差算出部59は、第i誤差算出特徴量情報902から、各時刻における脳活動信号誤差範囲及び指標誤差範囲を取得する。
誤差算出部59は、取得した各誤差係数、当該誤差係数に対応する所定の関係式、並びに取得した誤差信号、脳活動信号誤差範囲、及び指標誤差範囲の値、を用いて、各時刻における脳活動信号の誤差それぞれを算出する。また、誤差算出部59は、各時刻について、各種類の誤差の和を算出する。誤差算出部59は、算出した各時刻の誤差の和を累計誤差欄923に、特定した各時刻の誤差要因それぞれを誤差要因欄924に、算出した各時刻の誤差それぞれを誤差欄925に格納する。
なお、誤差係数を用いて算出される誤差と、注意状態係数を用いて算出される注意度と、の間で単位や次元が異なる場合、誤差算出部59は、ステップS142と同様の方法を用いて、第i誤差算出情報92の各誤差欄925及び各累計誤差欄923の誤差を変換することにより、誤差の単位や次元を注意度の単位や次元に合わせてもよい。
ステップ159において誤差算出部59は、カウンタiの値を1、インクリメントする。ステップ160において、注意状態情報格納部62は注意状態格納情報93を作成し、誤差情報格納部63は誤差格納情報94を作成し、最適注意状態選択部65は最適注意状態選択情報95を作成する。
具体的には、注意状態情報格納部62は、第1注意状態算出情報91〜第m注意状態算出情報91を、時間欄911をキーにしてマージすることにより、注意状態格納情報93を作成する。また、誤差情報格納部63は、第1誤差算出情報92〜第m誤差算出情報92を、時間欄921をキーにしてマージすることにより、誤差格納情報94を作成する。
また、最適注意状態選択部65は、誤差格納情報94を参照して、各時刻について、第1脳活動信号〜第m脳活動信号から最適な誤差を示す脳活動信号である最適信号を選択し、当該選択した最適信号の累計誤差欄946の値を取得する。最適注意状態選択部65は、各時刻について、選択した最適信号の名称を最適信号名欄952に格納し、取得した累計誤差を最適誤差欄953に格納する。
なお、最適注意状態選択部65は、例えば、各時刻において、第1脳活動信号〜第m脳活動信号のうち、累計誤差が最小である脳活動信号を最適信号として選択する。また、最適注意状態選択部65は、例えば、第1脳活動信号〜第m脳活動信号から予め選択された複数の信号から最適信号を選択してもよい。以下、最適信号の累計誤差を最適誤差と呼ぶ。
また、例えば、最適注意状態選択部65は、最適信号情報89を参照し、各時刻における累計誤差の平均値が所定値以上である脳活動信号を、最適信号の選択候補から除外してもよい。また、例えば、最適注意状態選択部65は、累計誤差が所定値以下である脳活動信号からランダムに選択した1つの脳活動信号を、当該時刻の最適信号に決定してもよい。
ステップ161において、最適注意状態選択部65は、カウンタiの値を1に設定する。ステップ162において、最適注意状態算出部64は、第i脳活動信号が最適信号であるか否かを判定する。第i脳活動信号が最適誤差の場合は(ステップ162:YES)ステップ164に進み、最適誤差でない場合は(ステップ162:NO)ステップ163に進む。
ステップ163において、最適注意状態算出部64は、カウンタiの値を1、インクリメントする。ステップ164において、最適注意状態算出部64は、最適注意状態情報96を作成する。具体的には、最適注意状態算出部64は、最適注意状態選択情報95の時間欄951と最適信号名欄952と最適誤差欄953からなるテーブルと、注意状態格納情報93の時間欄931と最適信号における注意種類欄934及び注意度欄936からなるテーブルと、を、時間欄をキーにマージすることにより、最適注意状態情報96を作成する。
ステップ16において、最適注意誤差修正情報算出部66は、誤差修正情報97を作成する。具体的には、最適注意誤差修正情報算出部66は、最適注意状態情報96の時間欄961の値と最適信号名欄962の値とを、誤差修正情報97の時間欄971と算出最適信号欄973とにそれぞれ格納する。
また、最適注意誤差修正情報算出部66は、例えば、最適信号情報89の最終行の各脳活動信号の合計の累計誤差から、学習時における最適信号を選択する。学習時における最適信号の選択方法は、ステップ159における最適注意状態選択部65による最適信号の選択方法と同様である。
最適注意誤差修正情報算出部66は、学習時における最適信号を学習最適信号欄972に格納する。つまり、学習最適信号欄972には全て同じ値が格納される。最適注意誤差修正情報算出部66は、例えば、学習最適信号と算出最適信号が同一であるレコードの判定結果欄974に「OK」を格納し、学習最適信号と算出最適信号が異なるレコードの判定結果欄974に「NG」を格納する。
上述の注意状態算出処理において、注意状態算出部51は、注意状態学習部21が取得した複数種類の脳活動信号と注意状態と注意状態の誤差との関係を用いて、各脳活動信号から注意状態の推定値と注意状態の推定値の誤差とを算出する。注意状態算出部51は、算出した各誤差を比較することで最適誤差を取得し、最適誤差を示した脳活動信号による注意状態の推定値を選択する。これにより、注意状態算出部51は、誤差が大きく精度が悪い脳活動信号と当該脳活動信号による注意状態の推定値の影響を受けずに、精度良く注意状態を評価できる。
なお、注意状態学習部21及び注意状態算出部51が、複数の計測チャネル(計測点)から計測された同種の脳活動信号を用いる場合、例えば、当該複数の計測チャネルにおける脳活動信号の平均値、又は当該複数の計測チャネル間の一定時間幅の位相差若しくは相関などの指標を、当該種類の脳活動信号として用いればよい。また、この場合において、注意状態学習部21及び注意状態算出部51は、例えば、最適信号の選択方法と同様の方法を用いて、当該複数チャネルから1つのチャネルの脳活動信号を選択してもよい。
図8は、注意状態出力部71による処理の一例を示す。ステップ171において、最適注意状態出力部72は、出力情報が作成されたか否かを判定する。出力情報は、記憶部に格納された任意の情報からなる情報である。以下、出力情報は、最適注意状態情報96、最適注意状態選択情報95、誤差格納情報94、誤差修正情報97からなるものとする。
最適注意状態出力部72は、出力情報が作成されたと判定した場合は(ステップS1711:YES)ステップ172に進み、作成されていないと判定した場合は(ステップS1711:NO)ステップ171を繰り返す。なお、ステップ171の判定処理は、注意状態出力部71の他の部が実施してもよい。
ステップ172において、例えば、最適注意状態出力部72は最適注意状態情報96を、最適注意状態選択情報出力部73は最適注意状態選択情報95を、誤差情報出力部74は誤差格納情報94を、最適注意誤差修正情報出力部75は誤差修正情報97を、出力部15に出力する。なお、出力情報が他の情報を含む場合、注意状態出力部71に含まれるいずれかの部が当該他の情報を出力してもよいし、当該他の情報を出力するための出力部が注意状態出力部71に含まれていてもよい。
ステップ173において、最適注意誤差修正情報出力部75は、誤差修正情報97の判定結果を用いて、例えば現在時刻を含む所定幅の時間窓における全ての時刻において、学習最適信号と算出最適信号が一致しているか否かを判定する。最適注意誤差修正情報出力部75は、一致していると判定した場合は(ステップ173:YES)ステップ171に戻り、一致していないと判定した場合は(ステップ173:NO)ステップ174に進む。
ステップ174において、最適注意誤差修正情報出力部75は、最適信号情報89を参照して、例えば学習最適信号における最大の誤差を示した誤差要因を特定し、特定した誤差要因の抑制指示を出力部15に出力する。誤差要因の抑制指示は、例えば、誤差要因ごとに予め定められている。「脳波の電極をつけ直してください」という指示は、脳波の誤差要因の抑制指示の一例である。
このように、注意状態出力部71は、注意状態算出部51が算出した注意状態の推定値と推定値の誤差や、注意状態算出部51が作成した情報を、ユーザや計測者に対して示すことができる。また、注意状態出力部71は、学習最適信号と算出最適信号とを比較することで、誤差を小さくするための指示を出力することができる。ひいては、誤差要因の影響を抑制した、注意状態評価が実現される。
なお、図8の例では、最適注意誤差修正情報出力部75は、学習最適信号の誤差抑制指示を出力しているが、誤差格納情報94を参照して他の脳活動信号を選択し、選択した脳活動信号についての誤差抑制指示を出力してもよい。なお、注意状態出力部71は、作成された一部のみを出力してもよい。注意状態出力部71は、例えば、最適信号の名称のみを出力し、注意状態の評価をユーザが行ってもよい。このとき、心的活動状態評価システムは、心的活動状態の評価を支援する、心的活動状態評価支援システムである。
また、例えば、最適注意誤差修正情報出力部75は、選択した脳活動信号それぞれにおいて最大の誤差を示す誤差要因を抑制する指示を出力してもよい。また、例えば、最適注意誤差修正情報出力部75は、複数の脳活動信号の誤差要因それぞれの誤差を算出し、最大の誤差を示す誤差要因を抑制するように指示を出力してもよい。また、誤差抑制指示は、計測機器や環境設定機器による誤差要因を小さくするための計測設定や計測環境を変更指示等のように、計測者等のユーザ以外の対象に出力されてもよい。
また、例えば、演算部20の各部は、処理の一部を、専門家等のユーザの入力に従って実施してもよい。また、演算部20の各部は、例えば、事前に設定された情報や以前の注意状態学習時又は注意状態算出時に作成された情報を用いて処理を実行してもよい。また、例えば専門家の判断等により、注意状態及び注意状態の誤差を算出するための所定の関係式等が変更されてもよい。
本実施例の情報処理装置1は、注意状態学習蓄積情報87を修正する。本実施例及び後述する実施例では、実施例1との相違点を説明する。
図9は、注意状態学習蓄積情報87の修正処理の一例を示す。以下では、注意状態学習特徴量蓄積部33が修正処理を実行する例を説明するが、注意状態学習部21の他の部が修正処理を実行してもよいし、注意状態学習部21が修正処理を実行する部をさらに含んでいてもよい。に新たな機能部を追加して、その機能部により実施されてもよい修正処理110は、例えば、計測処理106、関係取得処理107、照合処理108、及び補正処理109を含む。
まず、計測処理106において、注意状態学習特徴量蓄積部33は、実施例1と同様の方法で、各注意度における各脳活動信号を計測する。続いて、注意状態学習特徴量蓄積部33は、各脳活動信号について、当該脳活動信号と注意状態の関係を示す関数(図中の曲線)をフィッティング等により生成する。
照合処理108において、注意状態学習特徴量蓄積部33は、例えば、計測処理106において第1注意度を示した各脳活動信号の値を1つずつ取得する。注意状態学習特徴量蓄積部33は、取得した各脳活動信号の値を当該脳活動信号に対応する関数に代入することにより取得した各脳活動信号値に対応する注意度の推定値を算出し、算出した各推定値の最大値と最小値の差が所定値以下であるか否か判定する。なお、当該所定値は0であってもよい。また、第1注意度は、例えば、計測処理106によって得られた注意度の平均的な値であることが好ましい。
注意状態学習特徴量蓄積部33は、算出した推定値の最大値と最小値の差が所定値を超えていると判定した場合、補正処理109を実行する。注意状態学習部21は、補正処理109において、関数を修正する。
注意状態学習特徴量蓄積部33は、例えば、最適信号情報89が示す最適信号以外の脳活動信号に対応する関数を修正する。例えば、注意状態学習特徴量蓄積部33は、最適信号情報89を参照して最適信号を特定し、取得した各脳活動信号の注意度の推定値の最大値と最小値の差が所定値以下になるように、最適信号以外の脳活動信号に対応する関数の係数をランダムに変更する。また、例えば、注意状態学習特徴量蓄積部33は、取得した各脳活動信号の注意度の推定値の平均値を算出し、取得した各脳活動信号の注意度の推定値が当該平均値と一致するように、各関数の係数をランダムに変更してもよい。
そして、注意状態学習特徴量蓄積部33は、修正した関係式を用いて、各時刻の各脳活動信号の注意度を再度算出し、算出した注意度を用いて注意状態係数を再度算出し、算出した注意状態係数を注意状態係数欄873に格納する。
修正処理110は、例えば、最適信号情報89を用いずに関数を修正する場合、ステップ142の直前に実施される。また、修正処理110は、関数の修正に最適信号情報89を用いる場合及び用いない場合の双方において、ステップ142の後に実施されてもよい。尚、ステップ142の後に修正処理110が実施される場合、再度ステップ142戻り最適信号情報89が再作成されてもよい。
本実施例の注意状態学習蓄積情報87は修正処理110を実行することにより、より精度の高い注意状態係数を得ることができ、ひいては、注意状態の推定精度を向上させることができる。
本実施例の情報処理装置1は、複数の脳活動信号を組み合わせて新たな脳活動信号を定義する。具体的には、例えば、情報処理装置1は、脳波と光トポグラフィの組み合わせを新たな脳活動信号として用いる。以下、実施例1と同様に脳活動信号入力部11には第1脳活動信号〜第m脳活動信号(mは2以上の整数)が入力されているものとする。
また、第1脳活動信号〜第m脳活動信号に含まれる複数の脳活動信号の組み合わせによって生成される新たな脳活動信号である第m+1脳活動信号〜第m+a脳活動信号(aは1以上の整数)それぞれが定義されているものとする。以下、これらの脳活動信号を組み合わせ脳活動信号と呼ぶ。
注意状態学習部21は、ステップ129において、第i脳活動信号情報がないと判定された後、m+1以上かつm+a以下の整数iについてステップ130〜ステップ139の処理を行う。つまり、注意状態学習部21は、組み合わせ脳活動信号それぞれに対応する、注意状態学習情報83、注意状態学習特徴量情報84、誤差学習情報85、誤差学習特徴量情報86、注意状態学習蓄積情報87、誤差学習蓄積情報を生成する。その後、注意状態学習部21はステップ141に遷移する。
また、注意状態算出部51は、ステップ155において、第i脳活動信号情報がないと判定された後、m+1以上かつm+a以下の整数iについてステップ156〜ステップ158の処理を行う。つまり、注意状態算出部51は、組み合わせ脳活動信号それぞれに対応する、算出特徴量群情報90、注意状態算出情報91、及び誤差算出情報92を作成する。また、注意状態算出部51は、ステップ160において、第1脳活動信号〜第m+a脳活動信号から、即ち脳活動信号入力部11入力された脳活動信号及び生成された組み合わせ脳活動信号から、最適信号を選択する。
なお、組み合わせ脳活動信号の名称、信号値、注意状態、指標は、例えば、以下のようにして決定される。例えば、組み合わせ脳活動信号の名称は、例えば、予め定められていてもよいし、当該組み合わせ脳活動信号を構成する複数の脳活動信号の名称の組み合わせであってよい。また、組み合わせ脳活動信号に対応する注意種類及び注意度は、例えば、当該組み合わせ脳活動信号を構成する複数の脳活動信号の注意種類及び注意度に応じて予め定められている。
また、注意状態学習部21及び注意状態算出部51は、組み合わせ脳活動信号の値を、例えば、当該組み合わせ脳活動信号を構成する複数の脳活動信号の値からなるベクトルに決定してもよいし、当該複数の脳活動信号の値を所定の関数に代入して得られる値に決定してもよい。
また、注意状態学習部21及び注意状態算出部51は、組み合わせ脳活動信号の指標値を、例えば、当該組み合わせ脳活動信号を構成する複数の脳活動信号の指標値からなるベクトルに決定してもよいし、当該複数の脳活動信号を構成する脳活動信号の指標値を所定の関数に代入して得られる値に決定してもよい。例えば、脳波信号から取得されるα波パワーと光トポグラフィ信号から取得される酸素化ヘモグロビン量変化との一定時間幅の相関係数は、脳波信号と光トポグラフィ信号とから構成される組み合わせ脳活動信号の指標の一例である。
本実施例の情報処理装置1は、複数の脳活動信号を組み合わせることにより、当該複数の脳活動信号に含まれる異なる性質をもつ指標の組み合わせによって生成される指標を取得し、当該指標と注意状態と注意状態の誤差との関係を取得することができる。本実施例の情報処理装置1は、例えば、持続性注意と選択性注意を組み合わせた転換性注意を評価する場合、持続性注意を精度良く評価できる光トポグラフィ信号の指標と、選択性注意を精度良く評価できる脳波信号の指標と、を組み合わせて新たな指標を作成することで、高い精度で注意状態を評価することができる。
なお、指標を組み合わせる条件は上記したものに限らず、情報処理装置1は、例えば、転換性注意を評価するために、光トポグラフィ信号から抽出した選択性注意の評価指標と、脳波信号から抽出した持続性注意の評価指標と、を組み合わせてもよいし、注意度を精度良く評価できる光トポグラフィ信号の指標と、注意の種類の切り替えを精度良く評価できる脳波信号の指標と、を組み合わせてもよい。
本実施例の心的状態評価システムは、心的活動対象計測装置により計測された心的活動対象の情報を計測する。図10は、本実施例の心的状態評価システムの構成例を示す。心的活動状態評価システムは、さらに1以上の心的活動対象計測装置7を含む。
心的活動対象とは、ユーザが心的活動状態を向けている対象やユーザの心的活動状態を誘起している対象である。心的活動状態として注意状態が評価される場合、ユーザの注意領域は心的活動対象の一例である。注意領域とは、ユーザが注意を向けている領域のことであり、例えば、出力装置6に含まれるディスプレイの一部分である。
なお、心的活動対象はハードウェアそのものでなくともよい。ユーザが、ディスプレイに表示された複数の画像のうち1の画像に注意を向けている場合は、当該1の画像が表示されているディスプレイの一部分が注意領域としてもよいし、当該1の画像自体が注意領域としてもよいし、当該1の画像に含まれる特定の情報、例えば当該1の画像に文字が含まれる場合における当該文字の文字色や意味等を注意領域としてもよい。
心的活動対象計測装置7は、心的活動対象を計測する。心的状態評価システムが、心的活動状態として注意状態を評価する場合、心的活動対象計測装置7は、ユーザの注意領域を計測するための装置であり、例えば視線計測装置である。視線計測装置が計測したユーザの視線を向けている領域を示す座標は、視線計測装置によって計測される信号の一例である。以下、心的活動対象計測装置7は、注意領域計測装置であるものとする。
以下、本実施例の情報処理装置1の構成について説明する。入力部10は、心的活動対象計測装置7が計測した、注意領域を示す信号の入力を受け付ける部をさらに含む。
注意状態学習部21及び注意状態算出部51は、例えば、入力部10から心的活動対象計測装置7が計測した信号を取得する機能部をさらに含む。また、注意状態学習部21は、例えば、注意領域学習情報、注意領域学習特徴量情報、及び注意領域学習特徴量蓄積情報それぞれを生成する機能部をさらに含む。また、注意状態算出部51は、例えば、注意領域算出特徴量情報、及び注意領域情報を算出するための機能部をさらに含む。
注意状態出力部71は、例えば、注意状態学習部21及び注意状態算出部51が作成した注意領域に関する情報を出力するための機能部をさらに含む。注意領域に関する情報とは、実施例1において作成されず、かつ本実施例において作成される情報であり、例えば注意領域情報を含み、例えば、ユーザからの指示に従って出力される。
注意領域学習情報、注意領域学習特徴量情報、及び注意領域学習特徴量蓄積情報それぞれは、注意状態学習情報83、注意状態学習特徴量情報84、及び注意領域学習特徴量蓄積情報それぞれの注意状態欄、注意度欄、脳活動信号名欄、指標欄、及び注意状態係数欄それぞれが、注意領域種類欄、注意領域欄、信号名欄、注意領域指標欄、及び注意領域係数欄に置換された情報である。
また、注意領域算出特徴量情報及び注意領域情報それぞれは、注意状態算出特徴量情報901及び注意状態算出情報91それぞれの脳活動信号名欄、指標欄、注意種類欄、及び注意度欄それぞれが、信号名欄、注意領域指標欄、注意領域種類欄、及び注意領域欄に置換された情報である。
注意状態学習部21及び注意状態算出部51は、注意領域種類及び注意領域を、例えば、専門家等による入力に従って、決定する。また、注意状態学習部21及び注意状態算出部51は、課題ごとに予め定められた注意領域種類及び注意領域を取得してもよい。
注意状態学習部21及び注意状態算出部51は、例えば、心的活動対象計測装置7が計測した信号を取得する機能部ごとに予め定められた名称を信号名として取得する。視線領域は、信号名の一例である。また、注意状態学習部21及び注意状態算出部51は、専門家等により入力された名称を、信号名に決定してもよい。
注意状態学習部21及び注意状態算出部51は、例えば、心的活動対象計測装置7が計測した信号からに所定の処理を施すことにより注意領域指標値を算出する。注意状態学習部21及び注意状態算出部51は、例えば、バンドパスフィルタやトレンド除去などのノイズを軽減するための信号処理を行うことにより注意領域指標値を算出する。
なお、注意状態学習部21及び注意状態算出部51は、専門家等から入力された、注意領域指標値を算出するためのアルゴリズムに従って、注意領域指標値を算出してもよい。視線計測装置が計測した、ユーザが視線を向けている領域座標、及びユーザの視線移動の軌跡はいずれも注意領域指標の一例である。
注意状態学習部21及び注意状態算出部51は、例えば、注意領域指標を独立変数、注意領域を従属変数とする係数不明の所定の関係式と、注意領域学習特徴量情報の該当する注意領域種類の注意領域欄及び注意領域指標欄の値と、を用いて注意領域係数を算出する。注意領域係数の算出方法は、注意状態係数の算出方法と同様である。
また本実施例における処理について、図6及び図7を参照し、実施例1と異なる処理を実行するステップを説明する。
ステップ122において、実施例1における処理に加えて、注意領域学習情報作成部は、ステップ121で出力された指示に対応する注意領域を取得する。ステップ123において:実施例1における処理に加えて、注意領域学習情報作成部は、注意領域学習情報に格納する信号を取得し、注意領域学習情報を生成する。
ステップ128において第k課題がない場合(ステップS128:NO)、実施例1における処理に加えて、ステップ142に進む前に、注意領域学習特徴量蓄積作成部は、注意領域学習特徴量蓄積情報を作成する。ステップ138において、実施例1における処理に加えて、注意領域学習特徴量作成部は、注意領域学習特徴量情報を作成する。
ステップ152において、実施例1における処理に加えて、注意領域算出特徴量作成部は、注意領域算出特徴量情報に格納する信号を取得し、注意領域算出特徴量情報を作成する。
ステップ164において、実施例1における処理に加えて、注意領域情報作成部は、注意領域情報を作成する。なお、注意領域情報作成処理は、ステップ164において必ずしも実行される必要はなく、ステップ161の直前から、ステップ166が実行されるまでの間に実行されればよい。
このように、本実施例の情報処理装置1は、心的活動対象計測装置7が計測した信号を用いることで、心的活動の対象を評価できる。特に心的活動対象計測装置7が注意領域計測装置である場合、情報処理装置1は、ユーザが注意を向けている対象を評価できる。注意状態は様々な要因により変化することが知られており、情報処理装置1は注意を向けている対象を評価することで、注意状態が変化した要因を評価できる。
本実施例の心的活動評価システムは、自律神経活動を用いて心的活動評価を行う。図10は、本実施例の心的活動評価システムの構成例を示す。心的活動評価システムは、自律神経活動計測装置8及び自律神経活動計測装置9をさらに含む。なお、心的活動評価システムに含まれる自律神経活動計測装置の台数は問わない。つまり、心的活動評価システムは1種類以上の自律神経活動信号を用いて、心的活動評価を実施する。
自律神経活動信号とは、自律神経の活動を評価することができ、生体から取得される信号である。心電図、血圧、呼吸量や呼吸間隔、発汗量、皮膚抵抗、皮膚温、鼓膜温はいずれも自律神経活動信号の一例である。自律神経活動計測装置8及び自律神経活動計測装置9は、自律神経活動信号を取得する。
以下、本実施例の情報処理装置1の構成について説明する。入力部10は、自律神経活動計測装置8及び自律神経活動計測装置9が計測した自律神経信号の入力を受け付けるための入力部をさらに含む。注意状態学習部21及び注意状態算出部51は、例えば、自律神経活動計測装置8及び自律神経活動計測装置9が計測した信号を、入力部10から取得する機能部をさらに含む。
なお、本実施例における処理フローは以下の通りである。注意状態学習部21は、ステップ129において、第i脳活動信号情報がないと判定された後、自律神経活動信号それぞれに対応する、注意状態学習情報83、注意状態学習特徴量情報84、誤差学習情報85、誤差学習特徴量情報86、注意状態学習蓄積情報87、誤差学習蓄積情報を生成する。その後、注意状態学習部21はステップ141に遷移する。
また、注意状態算出部51は、ステップ155において、第i脳活動信号情報がないと判定された後、自律神経信号それぞれに対応する、算出特徴量群情報90、注意状態算出情報91、及び誤差算出情報92を作成する。また、注意状態算出部51は、ステップ160において、第1脳活動信号〜第m脳活動信号及び全ての自律神経信号から、最適信号を選択する。また、注意状態学習部21及び注意状態算出部51は自律神経活動信号から各指標を算出してもよいし、脳活動信号と自律神経活動信号とから各指標を算出してもよい。
本実施例の情報処理装置1は、脳活動に加えて、自律神経活動を評価することで、より高精度に注意状態を評価可能な指標を取得できる。自律神経は、生体の恒常性を維持するために重要な役割を担っており、注意状態などの心的活動状態の変化に対する応答を示す。また、自律神経は脳の深部に位置する視床下部により制御されており、脳波や光トポグラフィ信号といった非侵襲的な脳活動計測により評価することは困難である。そのため、本実施例の情報処理装置1は、脳活動と自律神経活動を組み合わせた評価を実施することにより、より高精度に注意状態を評価できる。
本実施例は、ユーザが心的活動状態を評価する際に用いられるGUI(Graphical User Interface)を説明する。図12は、心的活動状態を評価するための計測情報表示画面の例である。計測情報表示画面200は、例えば、最適信号表示領域201、誤差要因表示領域202、学習最適信号表示領域203、心的活動状態表示領域204、データ選択領域205、脳計測信号表示領域206、誤差計測信号表示領域207、及びボタン208を含む。
最適信号表示領域201は、例えば、誤差修正情報97の算出最適信号の名称、評価中の心的活動状態の種類、及び当該算出最適信号を用いて算出された心的活動状態と心的活動状態の誤差を表示する。誤差要因表示領域202は、最適信号を用いて算出した心的活動状態、の誤差のうち、例えば、最大誤差を示した誤差要因と当該最大誤差と当該誤差要因による誤差を抑制する方法を表示する。
学習最適信号表示領域203は、例えば、誤差修正情報97の学習最適信号及び判定結果を表示する。図12の例では、算出最適信号が光トポグラフィ信号であり、学習最適信号が脳波信号であるため、学習最適信号表示領域203は判定結果「NG」を表示している。心的活動状態表示領域204は、例えば、評価中の心的活動状態の名称、及び評価中の心的活動状態の時系列データを表示する。
データ選択領域205は、例えば、心的活動状態を評価するための脳活動信号として、新規計測データを用いるか、又は既存データを読み込むかを選択するための入力を受け付ける。また、データ選択領域205は、計測開始と計測終了を実施するためのボタンを含む。脳計測信号表示領域206は、例えば、計測中の脳活動計測信号の名称、当該脳活動信号を用いて算出した心的活動状態と心的活動状態の誤差、及び当該脳活動計測信号の時系列データを表示する。
誤差計測信号表示領域207は、例えば、計測中の誤差計測信号の名称、各脳活動信号が示す心的活動状態に対して当該誤差計測信号が及ぼす誤差、及び、当該誤差計測信号の時系列データを表示する。ボタン208は、計測情報表示画面200と後述する設定画面のどちらを表示するかを選択するためのボタンである。
図13は、心的活動状態の評価パラメータなどを設定するための設定画面の例である。設定画面300は、例えば、脳活動信号設定領域301、誤差計測信号設定領域302、算出方法設定領域303、学習データ修正設定領域304、心的活動状態設定領域305、ボタン306、及びボタン214を含む。
脳活動信号設定領域301は、例えば、情報処理装置1において使用される脳活動信号、脳活動信号の計測点数、及び複数の計測点から得られた同種の脳活動信号から当該種類の脳活動信号の値を定める方法、それぞれを設定するための領域を含む。
誤差計測信号設定領域302は、例えば、情報処理装置1において使用される誤差計測信号、誤差計測信号に対応する誤差要因、及び誤差倍率を設定するための領域を含む。誤差倍率とは、誤差計測信号によって算出される誤差に重みづけを行うための倍率である。
算出方法設定領域303は、心的活動状態と心的活動状態の誤差を算出する方法を選択するための領域である。具体的には、ユーザは、算出方法設定領域303を介して、例えば、当該算出に学習データを用いるのか、学習データを用いずに算出するのか、また当該算出に学習データを用いる場合は、新規に学習を実行するのか、また既存データを用いるのか、を設定することができる。
学習データ修正設定領域304は、学習データの修正の有無及び修正する場合の修正方法を設定するための領域である。なお学習データの修正とは、実施例2における修正処理110に相当する。また、学習データの修正方法とは、例えば学習データにより算出された心的活動状態の推定値が一致しなかった場合に、当該推定値を一致させるために図9における曲線を修正するための方法を示す。
図12の学習データ修正設定領域304における、「平均値」は算出された推定値が算出された推定値平均値と一致するように、「最適誤差」は算出された推定値が最適誤差を示した脳活動信号を用いた心的活動状態の推定値に一致するように、「信号1」及び「信号2」それぞれは算出された推定値が脳活動信号1及び脳活動信号2それぞれを用いた心的活動状態の推定値に一致するように、当該曲線を修正するためのラジオボタンである。
心的活動状態設定領域305は、評価する心的活動状態を選択するための領域である。具体的には、心的活動状態設定領域305は、例えば、心的活動状態として、既存の心的活動状態を評価するのか、新規の心的活動状態を評価するのか、既存の心的活動状態を評価する場合は例えば注意状態を評価するのか、ストレス状態を評価するのか、気分状態を評価するのか等、を選択するためのラジオボタンを含む。ボタン306は、設定画面300において設定されたパラメータを保存するためのボタンである。
本実施例のGUIにより、ユーザが心的活動状態を評価する際に、評価結果を容易に理解できるとともに、学習データや評価パラメータなどの評価に用いる情報を容易に設定し、さらに当該設定を変更、追加、及び削除することができる。
なお、本実施例の計測情報表示画面200及び設定画面300に表示されている内容は一例であり、例えば、計測情報表示画面200は記憶部80に格納されている任意の情報を表示してもよいし、設定画面300は専門家等の知見に基づく情報を設定するための領域をさらに含んでもよい。
なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明したすべての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
また、上記の各構成・機能・処理部等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、SSD(Solid State Drive)等の記録装置、または、ICカード、SDカード等の記録媒体に置くことができる。また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしもすべての制御線や情報線を示しているとは限らない。実際には殆どすべての構成が相互に接続されていると考えてもよい。

Claims (15)

  1. 複数種類の脳活動信号を用いた心的活動状態の評価、を支援する、心的活動状態評価支援装置であって、
    プロセッサと記憶装置とを含み、
    前記記憶装置は、前記複数種類の脳活動信号を変化させる前記心的活動状態以外の要因の程度を示す誤差計測信号と、前記複数種類の脳活動信号それぞれに対応する前記心的活動状態の推定値、の前記要因による誤差を算出するための誤差係数と、の対応を示す誤差学習蓄積情報を保持し、
    前記プロセッサは、
    前記誤差計測信号を取得し、
    前記誤差学習蓄積情報が示す誤差係数と前記取得した誤差計測信号から、前記複数種類の脳活動信号それぞれに対応する心的活動状態の推定値の前記要因による誤差を算出し、
    前記算出した誤差それぞれの大きさに基づいて、前記複数種類の脳活動信号から、第1種脳活動信号を選択し、
    前記第1種脳活動信号を示す情報を出力する、心的活動状態評価支援装置。
  2. 請求項1に記載の心的活動状態評価支援装置であって、
    前記プロセッサは、
    複数の時刻における前記複数種類の脳活動信号と、前記複数の時刻における前記誤差計測信号と、を取得し、
    前記複数種類の脳活動信号それぞれについて、
    前記複数の時刻それぞれにおける、当該時刻を含む期間における当該脳活動信号の特徴量のばらつきを算出し、
    前記複数の時刻それぞれにおける誤差計測信号と前記算出したばらつきとの対応に基づいて、前記誤差学習蓄積情報に含まれる誤差計測信号と当該脳活動信号に対応する心的活動状態の推定値の前記要因による誤差との対応を決定する、心的活動状態評価支援装置。
  3. 請求項1に記載の心的活動状態評価支援装置であって、
    前記記憶装置は、前記複数種類の脳活動信号それぞれと前記心的活動状態の推定値との対応を示す心的活動状態学習情報をさらに保持し、
    前記プロセッサは、
    前記複数種類の脳活動信号を取得し、
    前記心的活動状態学習情報を参照して、前記第1種脳活動信号から前記心的活動状態の第1推定値を算出し、
    前記第1種脳活動信号を示す情報は、前記第1推定値を含む心的活動状態評価支援装置。
  4. 請求項3に記載の心的活動状態評価支援装置であって、
    前記プロセッサは、
    複数の時刻における前記複数種類の脳活動信号を取得し、
    予め定められた関係に従って、前記複数の時刻それぞれにおける前記複数種類の脳活動信号それぞれに対応する心的活動状態を決定し、
    前記複数種類の脳活動信号それぞれにおける、前記複数の時刻それぞれにおける当該脳活動信号それぞれと、前記複数の時刻それぞれにおける当該脳活動信号に対応する心的活動状態と、の関係に基づいて、前記心的活動状態学習情報を作成する、心的活動状態評価支援装置。
  5. 請求項3に記載の心的活動状態評価支援装置であって、
    表示装置に接続され、
    前記プロセッサは、前記第1推定値及び前記第1推定値の誤差を前記表示装置に出力する、心的活動状態評価支援装置。
  6. 請求項3に記載の心的活動状態評価支援装置であって、
    前記複数種類の脳活動信号に含まれる第2種脳活動信号から、前記心的活動状態を決定する第1関係と、
    前記複数種類の脳活動信号に含まれる第3種脳活動信号から、前記心的活動状態を決定する第2関係と、が予め定義され、
    前記プロセッサは、前記第2種脳活動信号の第1脳活動信号と、前記第3種脳活動信号の第2脳活動信号と、を取得し、
    前記第1関係が示す前記第1脳活動信号に対応する心的活動状態と、前記第2関係が示す前記第2脳活動信号に対応する心的活動状態と、の差は第1閾値以下であり、
    前記プロセッサは、
    前記心的活動状態学習情報を参照して、前記第1脳活動信号から前記心的活動状態の第2推定値を算出し、前記第2脳活動信号から前記心的活動状態の第3推定値を算出し、
    前記心的活動状態学習情報を修正し、
    前記修正において、前記心的活動状態学習情報に含まれる前記第2種脳活動信号と前記心的活動状態の推定値との対応、及び前記心的活動状態学習情報に含まれる前記第3種脳活動信号と前記心的活動状態の推定値との対応の少なくとも一方を、前記修正後の心的活動状態学習情報から算出される前記第2推定値と前記第3推定値との差が第2閾値以下となるように修正する、心的活動状態評価支援装置。
  7. 請求項6に記載の心的活動状態評価支援装置であって、
    前記第2閾値は0である、心的活動状態評価支援装置。
  8. 請求項1に記載の心的活動状態評価支援装置であって、
    前記要因は、前記複数種類の脳活動信号に含まれる複数の脳活動信号を組み合わせて生成される組み合わせ脳活動信号を変化させ、
    前記誤差学習蓄積情報は、前記誤差計測信号と、前記組み合わせ脳活動信号それぞれに対応する心的活動状態の推定値、の前記要因による誤差を算出するための誤差係数と、の対応を示し、
    前記プロセッサは、
    前記誤差学習蓄積情報が示す誤差係数と前記取得した誤差計測信号から、前記組み合わせ脳活動信号それぞれに対応する心的活動状態の推定値の前記要因による誤差を算出し、
    前記複数種類の脳活動信号の誤差及び前記組み合わせ脳活動信号の誤差それぞれの大きさに基づいて、前記複数種類の脳活動信号及び前記組み合わせ脳活動信号から、前記第1種脳活動信号を選択する、心的活動状態評価支援装置。
  9. 請求項1に記載の心的活動状態評価支援装置であって、
    前記プロセッサは、
    前記心的活動状態が向けられている対象又は前記心的活動状態を誘起する対象である心的活動対象を示す心的活動対象計測信号の入力を受け付け、
    前記心的活動対象計測信号に基づいて、前記心的活動対象を算出し、
    前記算出した心的活動対象を示す情報を出力する、心的活動状態評価支援装置。
  10. 請求項1に記載の心的活動状態評価支援装置であって、
    前記要因は、自律神経活動信号を変化させ、
    前記誤差学習蓄積情報は、前記誤差計測信号と、前記自律神経活動信号それぞれに対応する心的活動状態の推定値、の前記要因による誤差を算出するための誤差係数と、の対応を示し、
    前記プロセッサは、
    前記誤差学習蓄積情報が示す誤差係数と前記取得した誤差計測信号から、前記自律神経活動信号それぞれに対応する心的活動状態の推定値の前記要因による誤差を算出し、
    前記複数種類の脳活動信号の誤差及び前記自律神経活動信号の誤差それぞれの大きさに基づいて、前記複数種類の脳活動信号及び前記自律神経活動信号から、前記第1種脳活動信号を選択する、心的活動状態評価支援装置。
  11. 請求項1に記載の心的活動状態評価支援装置であって、
    前記プロセッサは、複数種類の前記誤差計測信号を取得し、
    前記誤差学習蓄積情報は、前記複数種類の誤差計測信号と前記要因との対応を示し、
    前記プロセッサは、
    前記誤差学習蓄積情報を参照して、前記第1種脳活動信号に対応する心的活動状態の推定値の、前記複数種類の誤差計測信号それぞれに対応する要因による誤差を算出し、
    前記算出した各要因に対応する誤差それぞれの大きさに基づいて、前記複数種類の誤差計測信号から第1種誤差計測信号を決定し、
    前記第1種誤差計測信号を示す情報を出力する、心的活動状態評価支援装置。
  12. 請求項11に記載の心的活動状態評価支援装置であって、
    表示装置に接続され、
    前記表示装置は、前記複数種類の誤差計測信号と、前記要因と、の対応を入力するための領域を含み、
    前記プロセッサは、
    前記複数種類の誤差計測信号と前記要因との対応の入力を受け付け、
    前記入力に従って、前記誤差学習蓄積情報に含まれる前記複数種類の誤差計測信号と前記要因との対応を作成し、
    前記誤差学習蓄積情報を参照して、前記第1種誤差計測信号に対応する要因を、前記第1種誤差計測信号を示す情報として出力する、心的活動状態評価支援装置。
  13. 請求項1に記載の心的活動状態評価支援装置であって、
    前記心的活動状態は、注意種類と注意度からなる注意状態であり、
    前記心的活動状態の誤差は前記注意度の誤差である、心的活動状態評価支援装置。
  14. 複数種類の脳活動信号を用いた心的活動状態の評価、を支援する、心的活動状態評価支援システムであって、
    心的活動状態評価支援装置と、誤差計測信号を取得する誤差計測装置と、を含み、
    心的活動状態評価支援装置は、
    前記複数種類の脳活動信号を変化させる前記心的活動状態以外の要因の程度を示す誤差計測信号と、前記複数種類の脳活動信号それぞれに対応する前記心的活動状態の推定値、の前記要因による誤差を算出するための誤差係数と、の対応を示す誤差学習蓄積情報を保持し、
    前記誤差計測装置から、前記誤差計測信号を取得し、
    前記誤差学習蓄積情報が示す誤差係数と前記取得した誤差計測信号から、前記複数種類の脳活動信号それぞれに対応する心的活動状態の推定値の前記要因による誤差を算出し、
    前記算出した誤差それぞれの大きさに基づいて、前記複数種類の脳活動信号から、第1種脳活動信号を選択し、
    前記第1種脳活動信号を示す情報を出力する、心的活動状態評価支援システム。
  15. 心的活動状態評価支援装置が、複数種類の脳活動信号を用いた心的活動状態の評価、を支援する、方法であって、
    前記心的活動状態評価支援装置は、
    前記複数種類の脳活動信号を変化させる前記心的活動状態以外の要因の程度を示す誤差計測信号と、前記複数種類の脳活動信号それぞれに対応する前記心的活動状態の推定値、の前記要因による誤差を算出するための誤差係数と、の対応を示す誤差学習蓄積情報を保持し、
    前記方法は、
    前記心的活動状態評価支援装置が、
    前記誤差計測信号を取得し、
    前記誤差学習蓄積情報が示す誤差係数と前記取得した誤差計測信号から、前記複数種類の脳活動信号それぞれに対応する心的活動状態の推定値の前記要因による誤差を算出し、
    前記算出した誤差それぞれの大きさに基づいて、前記複数種類の脳活動信号から、第1種脳活動信号を選択し、
    前記第1種脳活動信号を示す情報を出力する、方法。
JP2018501416A 2016-02-22 2016-02-22 心的活動状態評価支援装置、心的活動状態評価支援システム、及び心的活動状態評価支援方法 Expired - Fee Related JP6433616B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/055026 WO2017145226A1 (ja) 2016-02-22 2016-02-22 心的活動状態評価支援装置、心的活動状態評価支援システム、及び心的活動状態評価支援方法

Publications (2)

Publication Number Publication Date
JPWO2017145226A1 JPWO2017145226A1 (ja) 2018-06-07
JP6433616B2 true JP6433616B2 (ja) 2018-12-05

Family

ID=59686003

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018501416A Expired - Fee Related JP6433616B2 (ja) 2016-02-22 2016-02-22 心的活動状態評価支援装置、心的活動状態評価支援システム、及び心的活動状態評価支援方法

Country Status (2)

Country Link
JP (1) JP6433616B2 (ja)
WO (1) WO2017145226A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2020334716B2 (en) 2019-08-22 2022-07-28 Advanced Global Clinical Solutions Inc. Systems and methods for seizure detection based on changes in electroencephalogram (EEG) non-linearities

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006318450A (ja) * 2005-03-25 2006-11-24 Advanced Telecommunication Research Institute International 制御システム
JP2008301971A (ja) * 2007-06-06 2008-12-18 Fujitsu Component Ltd 脳波検出装置
JP2010022649A (ja) * 2008-07-22 2010-02-04 Nippon Telegr & Teleph Corp <Ntt> 指標選択装置及び方法ならびにコンピュータプログラム
JP5256517B2 (ja) * 2009-02-24 2013-08-07 本田技研工業株式会社 脳情報出力装置、ロボット、および脳情報出力方法
JP6213435B2 (ja) * 2014-09-18 2017-10-18 株式会社デンソーアイティーラボラトリ 注意過多状態判定装置及び注意過多状態判定プログラム

Also Published As

Publication number Publication date
WO2017145226A1 (ja) 2017-08-31
JPWO2017145226A1 (ja) 2018-06-07

Similar Documents

Publication Publication Date Title
JP7293050B2 (ja) 軽度認知障害判定システム
US10638965B2 (en) Method and system for monitoring stress conditions
JP6187902B2 (ja) 知的生産性分析装置、プログラム
JP6122884B2 (ja) 作業覚醒度推定装置、方法およびプログラム
JP6433616B2 (ja) 心的活動状態評価支援装置、心的活動状態評価支援システム、及び心的活動状態評価支援方法
JP2023089729A (ja) 計算機システム及び情動推定方法
KR101914189B1 (ko) 복수의 뇌신호에 대한 공통 패턴을 제공하는 장치 및 방법
JP6778657B2 (ja) モデル選択方法、モデル選択装置およびプログラム
JP6905892B2 (ja) 計算機システム
JP2000237146A (ja) ストレス計測装置
JP5207172B2 (ja) 波形解析装置及び波形解析プログラム
Poddar et al. Heart rate variability: Analysis and classification of healthy subjects for different age groups
JP2013192719A (ja) 解析装置、解析プログラムおよび解析方法
Hemakom et al. ECG and EEG based detection and multilevel classification of stress using machine learning for specified genders: A preliminary study
WO2021260836A1 (ja) 学習モデル生成装置、ストレス推定装置、学習モデル生成方法、ストレス推定方法、及びコンピュータ読み取り可能な記録媒体
JP2018175631A (ja) 生体情報波形処理方法、記憶媒体、プログラム及び生体情報波形処理装置
JP7016680B2 (ja) 生体情報処理装置、生体情報処理方法およびプログラム
Herbig et al. Multi-modal estimation of cognitive load in post-editing of machine translation
JP6689215B2 (ja) システム及び対話情報の出力方法
JP6966363B2 (ja) 推定システム、推定装置及び推定方法
WO2022157872A1 (ja) 情報処理装置、特徴量選択方法、教師データ生成方法、推定モデル生成方法、ストレス度の推定方法、およびプログラム
JP7458302B2 (ja) 理解難易度算出装置及び理解難易度算出方法。
KR102502399B1 (ko) 조현병에 대한 정보 제공 방법 및 이를 이용한 조현병에 대한 정보 제공용 디바이스
JP7183901B2 (ja) 睡眠状態判定装置、睡眠状態判定方法及びプログラム
JP2021504068A (ja) 認知機能の活動のリアルタイム測定のためのシステムおよびかかるシステムを較正する方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171212

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171212

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180807

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181009

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181023

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181106

R150 Certificate of patent or registration of utility model

Ref document number: 6433616

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees