JP6966363B2 - 推定システム、推定装置及び推定方法 - Google Patents

推定システム、推定装置及び推定方法 Download PDF

Info

Publication number
JP6966363B2
JP6966363B2 JP2018047111A JP2018047111A JP6966363B2 JP 6966363 B2 JP6966363 B2 JP 6966363B2 JP 2018047111 A JP2018047111 A JP 2018047111A JP 2018047111 A JP2018047111 A JP 2018047111A JP 6966363 B2 JP6966363 B2 JP 6966363B2
Authority
JP
Japan
Prior art keywords
worker
task
brain activity
data
amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018047111A
Other languages
English (en)
Other versions
JP2019154868A (ja
Inventor
康代 小竹
宏 中嶋
洋祐 片岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kokorotics
Original Assignee
Kokorotics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kokorotics filed Critical Kokorotics
Priority to JP2018047111A priority Critical patent/JP6966363B2/ja
Publication of JP2019154868A publication Critical patent/JP2019154868A/ja
Application granted granted Critical
Publication of JP6966363B2 publication Critical patent/JP6966363B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Description

本発明は、推定システム、推定装置及び推定方法に関する。
作業者のタスクを含む生産ラインのような作業現場において、生産物の生産性に対するパフォーマンス(特に、品質、生産量等)に影響を与える要因には、作業者の状態に起因する要因が含まれている。従来の作業現場では、このような作業者の状態に起因する生産性の程度を高める方法、又は生産性の程度の低下を抑制する(生産性を維持する)方法として、管理者が、作業者の身体的及び精神的な状態を視覚的に観察し、当該作業者の生産性を維持し、向上するように適切な指示を当該作業者に与える方法が採用されていた。
しかしながら、そのような方法は、管理者の主観に依拠して作業者の状態を判断するため、見落とし又は誤解に起因して、必ずしも適切な対処が実施されない恐れがある。つまり、従来の方法では、作業者の状態に起因する生産性(パフォーマンス)の程度を客観的にかつ反復可能な方法で測定することは難しく、上記のような生産ラインの生産性/効率を体系的に維持すること又は高めることは困難であった。
特開2016−146173号公報
作業に対して集中している状態を作業者がより長時間持続することができれば、上記のような生産ラインの生産性/効率を高める又は維持することができる。この作業者が作業に集中しているか否かを推定する一つの手がかりとして、作業を行っている間に作業者の脳活動量を測定することが挙げられる。
例えば、特許文献1では、心拍、呼吸、脳波、脳磁、酸素濃度、血流、表情、体動等の生体情報に基づいて、ユーザがコンテンツに集中しているか否かを判定する刺激提示システムが提案されている。具体的には、特許文献1で提案される刺激提示システムは、集中判定コンテンツを提示した後、次のコンテンツが提示される前に取得された生体情報に含まれる第1脳活動情報と、刺激提示コンテンツが提示されている時に取得された生体情報に含まれる第2脳活動情報とを比較する。そして、刺激提示システムは、第1脳活動情報と第2脳活動情報との差が所定の量以上ある場合に、刺激提示コンテンツにユーザが集中していると判定し、そうではない場合に、ユーザは集中していないと判定する。
特許文献1で提案されている方法によれば、測定された脳活動量に基づいて、作業者が作業に集中しているか否かを推定することができる。しかしながら、作業者が作業に集中しているか否かを正確に把握するためには、この脳活動量のみに基づくだけでは不十分である。なぜなら、脳活動量は、作業者の認知に利用している脳のリソースの量を示すに過ぎず、その脳のリソースが作業に割り振られているか否かは不明であるからである。例えば、作業者が、特定の作業に従事しているとする。この場合、その特定の作業に作業者が集中しているときには、その作業者から測定される脳活動量は高くなり得るが、その特定の作業以外の何らかの事象に作業者が集中しているときにも、その作業者から測定される脳活動量は高くなり得る。つまり、脳活動量のみに基づいて作業者の集中状態を判定する方法では、作業者が対象の作業に集中しているのか、それとも、対象の作業以外に集中しているのかを区別することができない。そのため、作業者の脳活動量のみを用いる方法では、作業現場における作業者の状態に起因する生産性の程度を正確に測定することは困難であり、当該作業現場における生産性の更なる向上を図ることは難しいと考えられる。
この課題は、上記のような生産ラインの生産性/効率を高める又は維持する場面だけではなく、人間が特定のタスクを実行するあらゆる場面で生じ得る。例えば、ドライバモニタリングシステムでは、ドライバの状態を把握する上で、ドライバが運転に集中しているか否かを特定することは重要である。また、例えば、教育の場面でも、生徒が学習に集中しているか否かを特定することは、教育効果の測定等において有用である。
本発明は、一側面では、このような実情を鑑みてなされたものであり、その目的は、作業者のタスクに対する集中の程度をより正確に推定可能な技術を提供することである。
本発明は、上述した課題を解決するために、以下の構成を採用する。
すなわち、本発明の一側面に係る推定システムは、学習のフェーズにおいて、所定の第1タスクを第1作業者が実行している間に当該第1作業者から測定された脳活動量を示す第1脳活動データを取得する第1取得部と、前記第1タスクの実行に対する感情の入力を受け付けることで、前記第1タスクの実行に関連した前記第1作業者の感情状態を示す第1感情データを取得する第2取得部と、前記第1作業者が前記第1タスクを実行した結果に基づいて特定された、前記第1作業者の前記第1タスクに対する集中の程度を示す実行結果データを取得する第3取得部と、前記第1脳活動データ、前記第1感情データ、及び前記実行結果データに基づいて、前記脳活動量及び前記感情状態と前記集中の程度との間の対応関係を特定する関係特定部と、推定のフェーズにおいて、所定の第2タスクを第2作業者が実行している間に当該第2作業者から測定される脳活動量を示す第2脳活動データを取得する第4取得部と、前記第2タスクの実行に対する感情の入力を受け付けることで、前記第2タスクの実行に関連した前記第2作業者の感情状態を示す第2感情データを取得する第5取得部と、前記対応関係に基づいて、前記第2脳活動データ及び前記第2感情データにより示される前記第2作業者の前記脳活動量及び前記感情状態から、前記第2作業者の前記第2タスクに対する集中の程度を推定する推定部と、前記第2作業者の前記第2タスクに対する集中の程度を推定した結果を出力する出力部と、を備える。
上記構成では、学習のフェーズにおいて、所定の第1タスクを第1作業者に実行させて、第1タスクを実行している間の第1作業者の脳活動量を測定する。また、第1タスクの実行に対する感情の入力を受け付けることで、当該第1タスクの実行に関連する第1作業者の感情状態を特定する。更に、第1作業者が第1タスクを実行した結果に基づいて、当該第1作業者の第1タスクに対する集中の程度を特定する。上記構成に係る推定システムは、これらに基づいて、脳活動量及び感情状態と集中の程度との間の対応関係を特定する。つまり、上記構成に係る推定システムは、作業者がどのような脳活動量及び感情状態にある場合に、当該作業者がタスクに対してどの程度集中しているかを特定する。
一方、推定のフェーズでは、上記構成に係る推定システムは、学習のフェーズにより得られた知見(対応関係)を利用して、対象の作業者のタスクに対する集中の程度を推定する。すなわち、推定のフェーズにおいて、所定の第2タスクを第2作業者に実行させて、第2タスクを実行している間の脳活動量を測定する。また、第2タスクの実行に対する感情の入力を受け付けることで、当該第2タスクの実行に関連する第2作業者の感情状態を特定する。上記構成に係る推定システムは、上記対応関係に基づいて、これらにより得られた第2作業者の脳活動量及び感情状態から、当該第2作業者の第2タスクに対する集中の程度を推定する。そして、上記構成に係る推定システムは、第2作業者の第2タスクに対する集中の程度を推定した結果を出力する。
したがって、上記構成に係る推定システムは、脳活動量及び感情状態の2つの指標を、作業に対する集中の程度に対応付けることによって、これら2つの指標に基づいて、作業者の作業に対する集中の程度を推定可能にしている。これら2つの指標のうち、脳活動量は、作業者の認知に利用している脳のリソースの量を示すことができる。一方、感情状態は、脳活動量と結びつくことで、その脳のリソースが何に割り振られているかを示し得る。そのため、脳活動量及び感情状態の2つの指標に基づくことで、作業者が作業に対して集中しているか否かをより正確に把握することができる。よって、上記構成によれば、作業者の作業に対する集中の程度をより正確に推定することができる。
なお、第1作業者は、学習に利用するデータを取得する対象となる作業者であり、第2作業者は、タスクに対する集中の程度を推定する対象となる作業者である。第1作業者と第2作業者とは、一致していてもよいし、一致していなくてもよい。また、第1タスクは、学習に利用するデータを取得する際に作業者に実行させるタスクであり、第2タスクは、集中の程度を推定する対象となるタスクである。第1タスクと第2タスクとは一致している又は関連しているのが好ましい。ただし、第1タスクと第2タスクとは必ずしも一致していなくてもよいし、関連していなくてもよい。各タスクは、例えば、生産ラインで作業者が行う作業等のような一定の時間に行う作業量が決まっているものであってよい。
上記一側面に係る推定システムにおいて、前記第1脳活動データ及び前記第2脳活動データにおける前記脳活動量は、位相同期指標(Phase locking index)の値により示されてよい。当該構成によれば、客観的かつ反復可能な方法により脳活動量の値を正確に測定可能であるため、作業者の作業に対する集中の程度をより正確に推定することができる。
上記一側面に係る推定システムにおいて、前記第1感情データ及び前記第2感情データにおける前記感情状態は、アローザル(Arousal)及びヴァレンス(Valence)の2つの指標により示されてよい。当該構成によれば、感情状態をより正確に表現可能であるため、作業者の作業に対する集中の程度をより正確に推定することができる。なお、アローザル及びヴァレンスは、ラッセル(Russell)の円環モデルに用いられる2つの指標である。アローザル(又は、Activation)は、覚醒度を表す指標であり、覚醒/鎮静の程度、又は活性/非活性の程度を示す。ヴァレンスは、感情価、すなわち感情の質を表す指標であり、ポジティブ/ネガティブの程度、又は快/不快の程度を示す。
なお、上記各形態に係る推定システムの別の形態として、以上の各構成を実現する情報処理方法であってもよいし、プログラムであってもよいし、このようなプログラムを記憶した、コンピュータその他装置、機械等が読み取り可能な記憶媒体であってもよい。ここで、コンピュータ等が読み取り可能な記憶媒体とは、プログラム等の情報を、電気的、磁気的、光学的、機械的、又は、化学的作用によって蓄積する媒体である。また、上記各形態に係る推定システムは、1又は複数台の情報処理装置により構成されてもよい。更に、上記各形態に係る推定システムから推定のフェーズに対応する一部の構成を抽出することで、別の形態に係るシステム、装置、方法、プログラム、及びプログラムを記憶した記憶媒体を構築してもよい。
また、例えば、本発明の一側面に係る推定装置は、所定のタスクを作業者が実行している間に当該作業者から測定される脳活動量を示す脳活動データを取得する第1取得部と、前記タスクの実行に対する感情の入力を受け付けることで、前記タスクの実行に関連した前記作業者の感情状態を示す感情データを取得する第2取得部と、前記脳活動量及び前記感情状態と集中の程度との間の対応関係を示す対応関係データを取得し、取得した当該対応関係データにより示される当該対応関係に基づいて、前記脳活動データ及び前記感情データにより示される前記作業者の前記脳活動量及び前記感情状態から、前記作業者の前記タスクに対する集中の程度を推定する推定部と、前記作業者の前記タスクに対する集中の程度を推定した結果を出力する出力部と、を備える。
また、例えば、本発明の一側面に係る推定方法は、コンピュータが、所定のタスクを作業者が実行している間に当該作業者から測定される脳活動量を示す脳活動データを取得するステップと、前記タスクの実行に対する感情の入力を受け付けることで、前記タスクの実行に関連した前記作業者の感情状態を示す感情データを取得するステップと、
前記脳活動量及び前記感情状態と集中の程度との間の対応関係を示す対応関係データを取得するステップと、取得した前記対応関係データにより示される前記対応関係に基づいて、前記脳活動データ及び前記感情データにより示される前記作業者の前記脳活動量及び前記感情状態から、前記作業者の前記タスクに対する集中の程度を推定するステップと、前記作業者の前記タスクに対する集中の程度を推定した結果を出力するステップと、を実行する、情報処理方法である。
本発明によれば、作業者の作業に対する集中の程度をより正確に推定可能な技術を提供することができる。
図1は、本発明が適用される場面の一例を模式的に例示する。 図2は、実施の形態に係る推定システムのハードウェア構成の一例を模式的に例示する。 図3は、実施の形態に係る推定システムのソフトウェア構成の一例を模式的に例示する。 図4は、実施の形態に係る脳活動データの一例を模式的に例示する。 図5Aは、感情状態を表現する手法の一例を説明するための図である。 図5Bは、実施の形態に係る感情データの一例を模式的に例示する。 図6は、実施の形態に係る推定システムの学習フェーズにおける処理手順の一例を例示する。 図7は、実施の形態に係る第1タスクの一例を模式的に例示する。 図8は、感情の入力を受け付ける画面の一例を模式的に例示する。 図9Aは、タスクに対する集中の程度が高い作業者の脳活動データ及び感情データの推移の一例を模式的に例示する。 図9Bは、タスクに対する集中の程度が低い作業者の脳活動データ及び感情データの推移の一例を模式的に例示する。 図10は、実施の形態に係る脳活動量及び感情状態と集中の程度との間の対応関係を示す対応関係データの一例を模式的に例示する。 図11は、実施の形態に係る推定システムの推定フェーズにおける処理手順の一例を例示する。
以下、本発明の一側面に係る実施の形態(以下、「本実施形態」とも表記する)を、図面に基づいて説明する。ただし、以下で説明する本実施形態は、あらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。つまり、本発明の実施にあたって、実施形態に応じた具体的構成が適宜採用されてもよい。なお、本実施形態において登場するデータを自然言語により説明しているが、より具体的には、コンピュータが認識可能な疑似言語、コマンド、パラメータ、マシン語等で指定される。
§1 適用例
まず、図1を用いて、本発明が適用される場面の一例について説明する。図1は、本実施形態に係る推定システム1の適用場面の一例を模式的に例示する。
本実施形態に係る推定システム1は、作業者の脳活動量及び感情状態の2つの指標から、当該作業者の作業に対する集中の程度を推定する情報処理装置である。具体的には、推定システム1は、学習のフェーズにおいて、所定の第1タスク40を第1作業者50が実行している間に当該第1作業者50から測定された脳活動量を示す第1脳活動データを取得する。また、推定システム1は、第1タスク40の実行に対する感情の入力を受け付けることで、第1タスク40の実行に関連した第1作業者50の感情状態を示す第1感情データを取得する。更に、推定システム1は、第1作業者50が第1タスク40を実行した結果に基づいて特定された、当該第1作業者50の第1タスク40に対する集中の程度を示す実行結果データを取得する。そして、推定システム1は、第1脳活動データ、第1感情データ、及び実行結果データに基づいて、脳活動量及び感情状態と集中の程度との間の対応関係を特定する。
一方、推定システム1は、推定のフェーズにおいて、所定の第2タスク41を第2作業者51が実行している間に当該第2作業者51から測定される脳活動量を示す第2脳活動データを取得する。また、推定システム1は、第2タスク41の実行に対する感情の入力を受け付けることで、当該第2タスク41の実行に関連した第2作業者51の感情状態を示す第2感情データを取得する。次に、推定システム1は、学習のフェーズで特定した対応関係に基づいて、第2脳活動データ及び第2感情データにより示される第2作業者51の脳活動量及び感情状態から、当該第2作業者51の第2タスク41に対する集中の程度を推定する。そして、推定システム1は、第2作業者51の第2タスク41に対する集中の程度を推定した結果を出力する。
以上のとおり、本実施形態に係る推定システム1は、学習のフェーズにおいて、脳活動量及び感情状態の2つの指標を、作業に対する集中の程度に対応付ける。そして、本実施形態に係る推定システム1は、推定のフェーズにおいて、学習のフェーズで特定した対応関係に基づいて、脳活動量及び感情状態の2つの指標から作業者(第2作業者51)の作業(第2タスク41)に対する集中の程度を推定する。これら2つの指標のうち、脳活動量は、作業者の認知に利用している脳のリソースの量を示し得る。一方、感情状態は、脳活動量と結びつくことで、その脳のリソースが何に割り振られているかを示し得る。そのため、脳活動量及び感情状態の2つの指標を利用することで、作業者が作業に対して集中しているか否かをより正確に把握することができる。よって、本実施形態に係る推定システム1によれば、作業者の作業に対する集中の程度をより正確に推定することができる。
なお、第1作業者50は、学習に利用するデータを取得する対象となる作業者であり、第2作業者51は、作業に対する集中の程度を推定する対象となる作業者である。第1作業者50と第2作業者51とは、同一人物であってもよいし、同一人物でなくてもよい。また、第1タスク40は、学習に利用するデータを取得する際に作業者に実行させる作業であり、第2タスク41は、集中の程度を推定する対象となる作業である。第1タスク40と第2タスク41とは一致している又は関連しているのが好ましい。ただし、第1タスク40と第2タスク41とは必ずしも一致していなくてもよいし、関連していなくてもよい。各タスク(40、41)は、例えば、生産ラインで作業者が行う作業等のような一定の時間に行う作業量が決まっているものであってよいがこれに限定されない。なお、ここでの作業者はタスクを実行する主体(人間)を意味しており、例えば、本推定システムを教育において利用する場合は、作業者は学習を行う生徒であってよい。
また、脳活動量の測定方法及び感情の入力方法は、実施の形態に応じて適宜選択されてよい。本実施形態では、第1作業者50の脳活動量の測定には、第1作業者50の頭部に装着された脳波計30が利用され、第1作業者50の感情の入力には、タッチパネル31が利用される。同様に、第2作業者51の脳活動量の測定には、第2作業者51の頭部に装着された脳波計35が利用され、第2作業者51の感情の入力には、タッチパネル36が利用される。
§2 構成例
[ハードウェア構成]
次に、図2を用いて、本実施形態に係る推定システム1のハードウェア構成の一例について説明する。図2は、本実施形態に係る推定システム1のハードウェア構成の一例を模式的に例示する。
図2に示されるとおり、本実施形態に係る推定システム1は、制御部11、記憶部12、外部インタフェース13、入力装置14、出力装置15、及びドライブ16が電気的に接続されたコンピュータである。なお、図2では、外部インタフェースを「外部I/F」と記載している。
制御部11は、ハードウェアプロセッサであるCPU(Central Processing Unit)、RAM(Random Access Memory)、ROM(Read Only Memory)等を含み、プログラム及び各種データに基づいて情報処理を実行するように構成される。記憶部12は、メモリの一例であり、例えば、ハードディスクドライブ、ソリッドステートドライブ等で構成される。本実施形態では、記憶部12は、プログラム8、第1脳活動データ121、第1感情データ122、実行結果データ123、対応関係データ124、第2脳活動データ125、第2感情データ126等の各種情報を記憶する。
プログラム8は、脳活動量及び感情状態と作業に対する集中の程度との対応関係を特定する学習のフェーズに係る後述の情報処理(図6)、及び特定した対応関係に基づいて、脳活動量及び感情状態から作業に対する集中の程度を推定する推定のフェーズに係る後述の情報処理(図11)を推定システム1に実行させるためのプログラムである。プログラム8は、各情報処理の一連の命令を含む。第1脳活動データ121は、所定の第1タスク40を第1作業者50が実行している間に当該第1作業者50から測定された脳活動量を示す。第1感情データ122は、第1タスク40の実行に関連した第1作業者50の感情状態を示す。実行結果データ123は、第1作業者50が第1タスク40を実行した結果に基づいて特定された、当該第1作業者50の第1タスク40に対する集中の程度を示す。対応関係データ124は、第1脳活動データ121、第1感情データ122、及び実行結果データ123に基づいて特定された、脳活動量及び感情状態と集中の程度との間の対応関係を示す。第2脳活動データ125は、所定の第2タスク41を第2作業者51が実行している間に当該第2作業者51から測定される脳活動量を示す。第2感情データ126は、第2タスク41の実行に関連した第2作業者51の感情状態を示す。詳細は後述する。
外部インタフェース13は、例えば、USB(Universal Serial Bus)ポート、専用ポート等であり、外部装置と接続するためのインタフェースである。外部インタフェース13の種類及び数は、接続される外部装置の種類及び数に応じて適宜選択されてよい。本実施形態では、推定システム1は、外部インタフェース13を介して、各脳波計(30、35)及び各タッチパネル(31、36)に接続される。
各脳波計(30、35)は、例えば、各作業者(50、51)の頭部に装着され、当該各作業者(50、51)の脳活動量を測定するために利用される。各脳波計(30、35)の種類は、特に限定されなくてよく、実施の形態に応じて適宜選択されてよい。また、第1作業者50の脳活動量の測定に利用される脳波計30と第2作業者51の脳活動量の測定に利用される脳波計35とは、同一であってもよいし、異なる種類のものであってもよい。
各タッチパネル(31、36)は、例えば、各作業者(50、51)の近傍に配置され、各タスク(40、41)の実行に対する感情の入力を受け付けるために利用される。各タッチパネル(31、36)の種類は、特に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。例えば、各タッチパネル(31、36)は、スマートフォン、タブレット端末等のコンピュータであってもよい。また、第1作業者50の感情の入力に利用されるタッチパネル31と第2作業者51の感情の入力に利用されるタッチパネル36とは、同一であってもよいし、異なる種類のものであってもよい。
入力装置14は、例えば、マウス、キーボード等の入力を行うための装置である。また、出力装置15は、例えば、ディスプレイ、スピーカ等の出力を行うための装置である。ユーザは、入力装置14及び出力装置15を利用して、推定システム1を操作することができる。
ドライブ16は、例えば、CDドライブ、DVDドライブ等であり、記憶媒体9に記憶されたプログラムを読み込むためのドライブ装置である。ドライブ16の種類は、記憶媒体9の種類に応じて適宜選択されてよい。上記プログラム8は、この記憶媒体9に記憶されていてもよい。
記憶媒体9は、コンピュータその他装置、機械等が記録されたプログラム等の情報を読み取り可能なように、当該プログラム等の情報を、電気的、磁気的、光学的、機械的又は化学的作用によって蓄積する媒体である。推定システム1は、この記憶媒体9から、上記プログラム8を取得してもよい。
ここで、図2では、記憶媒体9の一例として、CD、DVD等のディスク型の記憶媒体を例示している。しかしながら、記憶媒体9の種類は、ディスク型に限定される訳ではなく、ディスク型以外であってもよい。ディスク型以外の記憶媒体として、例えば、フラッシュメモリ等の半導体メモリを挙げることができる。
なお、推定システム1の具体的なハードウェア構成に関して、実施形態に応じて、適宜、構成要素の省略、置換及び追加が可能である。また、推定システム1は、汎用のPC(Personal Computer)等であってもよい。
[ソフトウェア構成]
次に、図3を用いて、本実施形態に係る推定システム1のソフトウェア構成の一例について説明する。図3は、本実施形態に係る推定システム1のソフトウェア構成の一例を模式的に例示する。
図3に示されるとおり、本実施形態に係る推定システム1は、制御部11によりプログラムを実行することで、第1取得部111、第2取得部112、第3取得部113、関係特定部114、第4取得部115、第5取得部116、推定部117、及び出力部118を備える。
学習のフェーズにおいて、第1取得部111は、所定の第1タスク40を第1作業者50が実行している間に当該第1作業者50から測定された脳活動量を示す第1脳活動データ121を取得する。第2取得部112は、第1タスク40の実行に対する感情の入力を受け付けることで、当該第1タスク40の実行に関連した第1作業者50の感情状態を示す第1感情データ122を取得する。第3取得部113は、第1作業者50が第1タスク40を実行した結果に基づいて特定された、当該第1作業者50の第1タスク40に対する集中の程度を示す実行結果データ123を取得する。関係特定部114は、第1脳活動データ121、第1感情データ122、及び実行結果データ123に基づいて、脳活動量及び感情状態と集中の程度との間の対応関係を特定し、特定した対応関係を示す対応関係データ124を生成する。
一方、推定のフェーズにおいて、第4取得部115は、所定の第2タスク41を第2作業者51が実行している間に当該第2作業者51から測定される脳活動量を示す第2脳活動データ125を取得する。第5取得部116は、第2タスク41の実行に対する感情の入力を受け付けることで、当該第2タスク41の実行に関連した第2作業者51の感情状態を示す第2感情データ126を取得する。推定部117は、対応関係データ124により示される対応関係に基づいて、第2脳活動データ125及び第2感情データ126により示される第2作業者51の脳活動量及び感情状態から、当該第2作業者51の第2タスク41に対する集中の程度を推定する。出力部118は、第2作業者51の第2タスク41に対する集中の程度を推定した結果を出力する。
推定システム1の各構成の動作については後述する動作例で詳細に説明する。なお、推定システム1のソフトウェア構成に関して、実施の形態に応じて、省略、置換及び追加が適宜行われてよい。
(脳活動量)
次に、図4を用いて、脳活動量を表現する方法の一例について説明する。図4は、各脳活動データ(121、125)の一例を模式的に例示する。図4に示されるとおり、本実施形態では、各脳活動データ(121、125)における各作業者(50、51)の脳活動量は、位相同期指標の値(以下、PLI値とも記載する)により示される。
一般的に、安静時(例えば、作業前)とタスクを実行している時(例えば、作業中)とで、所定周波数の音刺激に対する聴性定常反応(auditory steady state response:ASSR)の応答性に違いが生じることが知られている。そのため、聴性定常反応の応答性の違いによれば、脳活動量を客観的に測定することができる。
そこで、本実施形態では、イヤホン(不図示)等により各作業者(50、51)に所定周波数の音刺激を与え、各脳波計(30、35)により、聴性定常反応における脳波を測定する。そして、測定した脳波に基づいて、位相同期指標の値を算出する。位相同期指標は、脳波測定の計測チャネル間における位相の同期性を示す。なお、PLI値の算出には、公知の方法(例えば、Yusuke Yokota, Yasushi Naruse, "Phase coherence of auditory steady-state response reflects the amount of cognitive workload in a modified N-back task", Neuroscience Research 100(2015)39-45)が用いられてよい。PLI値として表れる部分131は、聴性定常反応に対するリソースの量を示し、安静時とタスク実行時との差分132は、作業(タスク)の認知に対するリソースの量を示し得る。
本実施形態では、このようなPLI値により、各作業者(50、51)の各タスク(40、41)に対する脳活動量が表される。ただし、脳活動量を表現する方法は、このようなPLI値を用いた例に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。なお、聴性定常反応は、40Hzの音刺激により強く誘発されることが知られている。そのため、本実施形態では、PLI値を得る際には、40Hzの音刺激が利用されてよい。
(感情状態)
次に、図5A及び図5Bを用いて、感情状態を表現する方法の一例について説明する。図5Aは、感情状態を表現する手法の一例を説明するための図である。図5Bは、各感情データ(122、126)の一例を模式的に例示する。本実施形態では、各感情データ(122、126)における各作業者(50、51)の感情状態は、アローザル(Arousal)及びヴァレンス(Valence)の2つの指標により示される。
アローザル及びヴァレンスは、ラッセルの円環モデルに用いられる2つの指標である。アローザル(又は、Activation)は、覚醒度を表す指標であり、覚醒/鎮静の程度、又は活性/非活性の程度を示す。一方、ヴァレンスは、感情価、すなわち感情の質を表す指標であり、ポジティブ/ネガティブの程度、又は快/不快の程度を示す。
図5Aの例では、アローザルが縦軸に割り当てられ、ヴァレンスが横軸に割り当てられており、アローザル及びヴァレンスはそれぞれ、−100〜+100までの数値で示される。各数値と感情状態との対応関係の一例として、アローザル及びヴァレンスの値が共に正である第1象限には、「enthusiastic/elated」の感情状態が対応付けられている。アローザルの値が正であり、ヴァレンスの値が負である第2象限には、「stressed」の感情状態が対応付けられている。アローザル及びヴァレンスの値が共に負である第3象限には、「fatigued」の感情が対応付けられている。アローザルの値が負であり、ヴァレンスの値が正である第4象限には、「relaxed」の感情が対応付けられている。
本実施形態では、このようなアローザル及びヴァレンスという2つの指標により、各作業者(50、51)の感情状態が表される。図5Bに例示されるように、各作業者(50、51)の感情状態は、例えば、アローザル及びヴァレンスの変化量、象限の変化等で示すことができる。ただし、感情状態を表現する方法は、このようなラッセルの円環モデルを用いた例に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。
§3 動作例
[学習のフェーズ]
次に、図6を用いて、脳活動量及び感情状態と作業に対する集中の程度とを対応付けるための学習のフェーズの情報処理について説明する。図6は、学習のフェーズにおける推定システム1の処理手順の一例を例示するフローチャートである。ただし、以下で説明する処理手順は一例に過ぎず、各処理は可能な限り変更されてよい。また、以下で説明する処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が可能である。
(ステップS101)
ステップS101では、制御部11は、所定の第1タスク40の実行を第1作業者50に指示するメッセージを出力する。メッセージの出力先及び出力方法はそれぞれ、特に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。制御部11は、例えば、出力装置15、第1作業者50の近傍に配置される出力装置(不図示)等を介して当該メッセージを出力してもよい。また、制御部11は、例えば、当該メッセージをディスプレイに表示してもよいし、当該メッセージの音声をスピーカから出力してもよい。
実行を指示する第1タスク40の種類は、特に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。第1タスク40は、例えば、部品の発注作業等であってよい。
図7は、本実施形態に係る第1タスク40の一例を例示する。図7により例示される第1タスク40は、タッチパネル31に表示されたライン401をなぞる作業である。ライン401を含む画像のデータは、記憶部12に保持されていてもよいし、ネットワークを介してNAS(Network Attached Storage)等の外部装置から取得されてもよい。また、ライン401の形状及び寸法は、実施の形態に応じて適宜決定されてよい。
制御部11は、画像データをタッチパネル31に転送することで、ライン401を含む画像をタッチパネル31に表示すると共に、ライン401をなぞるように指示するメッセージを出力装置15を介して出力する。制御部11は、タッチパネル31に対する操作を受け付けて、第1作業者50による第1タスク40の実行を監視する。第1タスク40は、このような単純な作業であってもよい。第1タスク40の実行を指示すると、制御部11は、次のステップS102に処理を進める。
(ステップS102)
図6に戻り、ステップS102では、制御部11は、第1取得部111として動作し、第1タスク40を第1作業者50が実行している間に当該第1作業者50から測定された脳活動量を示す第1脳活動データ121を取得する。
本実施形態では、脳活動量は、聴性定常反応におけるPLI値により示される。そこで、制御部11は、上記第1タスク40を実行中の第1作業者50の脳波を脳波計30により測定し、得られた脳波のデータからPLI値を算出し、算出したPLI値に基づいて、脳活動量を示す第1脳活動データ121を生成する。具体的には、制御部11は、算出したPLI値をそのまま第1脳活動データ121として取得してもよいし、算出したPLI値と所定の基準値(例えば、安静時のPLI値)との差分値を第1脳活動データ121として取得してもよい。また、制御部11は、算出したPLI値に正規化等の所定の演算処理を適用することで得られた値を第1脳活動データ121として取得してもよい。更に、脳波を複数回測定した場合、制御部11は、各測定により得られた脳波のデータから算出したPLI値の平均値、分散等を第1脳活動データ121として取得してもよい。
これにより、制御部11は、PLI値により脳活動量が表現された第1脳活動データ121を取得することができる。第1脳活動データ121を取得すると、制御部11は、次のステップS103に処理を進める。
なお、第1脳活動データ121を取得する方法は、このような例に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。例えば、上記第1脳活動データ121の生成は、推定システム1以外のその他の情報処理装置により行われてもよい。この場合、制御部11は、ネットワーク、記憶媒体等を介して、その他の情報処理装置により生成された第1脳活動データ121を取得してもよい。
(ステップS103)
ステップS103では、制御部11は、第2取得部112として動作し、第1タスク40の実行に対する感情の入力を受け付けることで、当該第1タスク40の実行に関連した第1作業者50の感情状態を示す第1感情データ122を取得する。本実施形態では、第1タスク40の実行に対する感情の入力に、タッチパネル31が用いられる。
図8は、感情の入力を受け付ける際に、本実施形態に係るタッチパネル31に表示される画面の一例を模式的に例示する。本実施形態では、感情状態は、アローザル及びヴァレンスの2つの指標により示される。そこで、制御部11は、アローザル及びヴァレンスの2つの軸を含む画面をタッチパネル31に表示し、第1タスク40の実行に対する感情の入力を受け付ける。この画面のデータは、記憶部12に保持されていてもよいし、ネットワークを介してNAS等の外部装置から取得されてもよい。感情の入力は、第1作業者50本人により行われてもよいし、第1作業者50以外の別の人物により行われてもよい。
そして、制御部11は、画面上のタッチされた位置(すなわち、回答結果)に基づいて、アローザル及びヴァレンスそれぞれの値を特定し、特定したアローザル及びヴァレンスそれぞれの値に基づいて、感情状態を示す第1感情データ122を生成する。具体的には、制御部11は、特定したアローザル及びヴァレンスそれぞれの値を第1感情データ122として取得してもよい。また、制御部11は、複数回の感情の入力を受け付け、各入力により得られたアローザル及びヴァレンスそれぞれの値の総和、平均値、分布等を第1感情データ122として取得してもよい。また、制御部11は、第1タスク40の実行前後に関して感情の入力を受け付け、第1タスク40の実行によるアローザル及びヴァレンスそれぞれの変化量として、各入力により得られたアローザル及びヴァレンスそれぞれの値の差分を算出してもよい。制御部11は、この第1タスク40の実行によるアローザル及びヴァレンスそれぞれの変化量を第1感情データ122として取得してもよい。
これにより、制御部11は、アローザル及びヴァレンスの2つの指標により感情状態が表現された第1感情データ122を取得することができる。第1感情データ122を取得すると、制御部11は、次のステップS104に処理を進める。
なお、第1感情データ122を取得する方法は、このような例に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。例えば、上記第1感情データ122の生成は、推定システム1以外のその他の情報処理装置により行われてもよい。この場合、制御部11は、ネットワーク、記憶媒体等を介して、その他の情報処理装置により生成された第1感情データ122を取得してもよい。
(ステップS104)
ステップS104では、制御部11は、第3取得部113として動作し、第1作業者50が第1タスク40を実行した結果に基づいて特定された、当該第1作業者50の第1タスク40に対する集中の程度を示す実行結果データ123を取得する。
集中の程度の表現方法は、特に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。集中の程度は、例えば、集中しているか否かを示す2値により表されてもよい。
また、集中の程度を特定する方法も、特に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。例えば、第1作業者50自身、又は第1作業者50が第1タスク40を実行している様子を観察した観察者が、第1作業者50の第1タスク40に対する集中の程度を評価してもよい。この場合、制御部11は、入力装置14、タッチパネル31等により、第1作業者50又は観察者からの入力を受け付けることで、第1タスク40に対する集中の程度を特定することができる。
制御部11は、例えば、上記いずれかの方法により、第1作業者50の第1タスク40に対する集中の程度を特定し、特定した集中の程度に基づいて、実行結果データ123を生成する。これにより、制御部11は、実行結果データ123を取得することができる。実行結果データ123を取得すると、制御部11は、次のステップS105に処理を進める。
なお、実行結果データ123を取得する方法は、このような例に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。例えば、上記実行結果データ123の生成は、推定システム1以外のその他の情報処理装置により行われてもよい。この場合、制御部11は、ネットワーク、記憶媒体等を介して、その他の情報処理装置により生成された実行結果データ123を取得してもよい。
(ステップS105及びS106)
ステップS105では、制御部11は、関係特定部114として動作し、ステップS102〜S104により取得した第1脳活動データ121、第1感情データ122、及び実行結果データ123に基づいて、脳活動量及び感情状態と集中の程度との間の対応関係を特定する。
次のステップS106では、制御部11は、特定した対応関係を示す対応関係データ124を生成する。そして、制御部11は、生成した対応関係データ124を記憶部12に保存する。これにより、制御部11は、本動作例に係る学習のフェーズの情報処理を終了する。
なお、脳活動量及び感情状態と集中の程度との対応関係を特定するのに利用する第1脳活動データ121、第1感情データ122、及び実行結果データ123の件数は、実施の形態に応じて適宜決定されてよい。制御部11は、ステップS101〜S104の処理を適宜繰り返すことで、第1脳活動データ121、第1感情データ122、及び実行結果データ123を収集することができる。
また、脳活動量及び感情状態と集中の程度との対応関係を特定する方法は、特に限定されなくてもよく、実施の形態に応じて適宜決定されてよい。
ここで、図9A及び図9Bを用いて、第1タスク40に対する集中の程度が高いケース及び低いケースそれぞれで、第1タスク40の実行を習得していく過程において、ステップS102及びS103により得られる第1脳活動データ121及び第1感情データ122にみられる傾向の一例を説明する。図9Aは、第1タスク40に対する集中の程度が高い作業者から得られる第1脳活動データ121及び第1感情データ122の推移の一例を模式的に例示する。図9Bは、第1タスク40に対する集中の程度が低い作業者から得られる第1脳活動データ121及び第1感情データ122の推移の一例を模式的に例示する。
第1タスク40の実行に作業者が集中している場合、第1タスク40に慣れていない学習初期の段階T10では、作業者の脳のリソースの多くは、第1タスク40の実行に利用され、また、その変動量は小さいと想定される。そのため、図9Aに示されるとおり、学習初期の段階T10では、得られるPLI値は比較的に小さくなり、PLI値の変動量(例えば、分散)も小さくなり得る。また、第1タスク40の実行に作業者が集中している場合、この学習初期の段階T10では、作業者の感情状態のうち覚醒度は比較的に高くなる一方で、第1タスク40の実行の緊張感から、ネガティブな感情価が高くなると想定される。そのため、感情状態を示す値は、アローザル及びヴァレンスのグラフでは第2象限に表れ得る。
続いて、作業者が、第1タスク40の実行に集中しながら、第1タスク40を繰り返し実行することで、当該第1タスク40に慣れ始めてくると、当該作業者の第1タスク40を実行する能力が向上する。これにより、第1タスク40の実行を詳細に認知しなくても、当該第1タスク40を完遂できるようになるため、第1タスク40の実行に利用する脳のリソースの量は減ると想定される。また、第1タスク40に慣れ始めると、第1タスク40の実行の緊張感が薄れてくることから、ポジティブな感情価が高くなると想定される。そのため、第1タスク40の実行に作業者が集中している場合に、第1タスク40に慣れ始めた学習中期の段階T11では、得られるPLI値は比較的に大きくなり、感情状態を示す値は、アローザル及びヴァレンスのグラフで第1象限に表れ得る。
更に、第1タスク40に完全に慣れると、第1タスク40の実行に利用する脳のリソースの量は更に少なくなり、また、第1タスク40の実行に飽きてくることから、ネガティブな感情価が高くなると想定される。そのため、第1タスク40の実行に作業者が集中している場合に、第1タスク40に慣れた学習終期の段階T12では、得られるPLI値は比較的に大きくなり、感情状態を示す値は、アローザル及びヴァレンスのグラフで第2象限に表れ得る。
一方、第1タスク40の実行に作業者が集中していない場合、脳活動量及び感情状態の示す傾向はばらつき得る。この場合、第1タスク40に慣れていない学習初期の段階T20では、作業者の脳のリソースは、第1タスク40の実行の他に、当該第1タスク40以外の何らかの事象にも利用されていると想定される。そのため、図9Bに示されるとおり、学習初期の段階T20では、得られるPLI値は比較的に小さくなり得るが、PLI値の変動量(例えば、分散)は比較的に大きくなり得る。また、第1タスク40の実行に作業者が集中していない場合には、作業者の覚醒度は低くなると想定される。そのため、学習初期の段階T20では、感情状態を示す値は、アローザル及びヴァレンスのグラフでは第3象限に表れ得る。
続いて、作業者が、第1タスク40の実行に集中していない場合には、第1タスク40を繰り返し実行しても、当該第1タスク40を実行する能力の向上は小さいと想定される。そのため、第1タスク40に慣れ始めた学習中期の段階T21でも、第1タスク40の実行に利用する脳のリソースの量はあまり減らないと想定される。よって、この段階T21でも、得られるPLI値は比較的に小さいままとなり得る。また、第1タスク40に慣れ始めたことで、ポジティブな感情価が高くなり得るが、作業者の覚醒度は低いままと想定される。そのため、この段階T21では、感情状態を示す値は、アローザル及びヴァレンスのグラフで第4象限に表れ得る。第1タスク40の実行に作業者が集中していない場合、この学習中期の段階T21以降は、脳活動量及び感情状態の傾向は、一定の方向には収束せず、ばらつくものと想定される。
次に、図10を用いて、図9A及び図9Bに例示される傾向から導出される脳活動量及び感情状態と集中の程度との対応関係の一例について説明する。図10は、図9A及び図9Bに例示される傾向に適合する各データ121〜123が得られた場合に、上記ステップS105及びS106により生成される対応関係データ124の一例を模式的に例示する。
図10で例示される対応関係データ124は、テーブル形式で表現されている。各レコード(行データ)は、第1脳活動データ121により示される脳活動量、第1感情データ122により示される感情状態、及び実行結果データ123により示される集中の程度の分布に基づいて特定される、脳活動量及び感情状態と集中の程度との1つの対応関係を示す。具体的には、その分布の状態に基づいて、脳活動量及び感情状態それぞれに対して、集中の程度を判定するための閾値が設定される。各レコードには、これにより設定された脳活動量及び感情状態に対して閾値が格納されている。
例えば、1つ目のレコードは、PLI値の平均値がTh1未満であり、PLI値の分散がTh2未満であり、かつ感情状態の値がアローザル及びヴァレンスのグラフの第2象限に属する場合に、集中の程度は中であることを示している。この1つ目のレコードは、上記第1タスク40に集中している場合における学習初期の段階T10に対応している。
また、例えば、2つ目のレコードは、PLI値の平均値がTh3以上であり、PLI値の分散がTh4未満であり、かつ感情状態の値がアローザル及びヴァレンスのグラフの第2象限に属する場合に、集中の程度は高いことを示している。この2つ目のレコードは、上記第1タスク40に集中している場合における学習終期の段階T12に対応している。
また、例えば、3つ目のレコードは、PLI値の平均値がTh5未満であり、PLI値の分散がTh6以上であり、かつ感情状態の値がアローザル及びヴァレンスのグラフの第3象限に属する場合に、集中の程度は低いことを示している。この3つ目のレコードは、上記第1タスク40に集中していない場合における学習初期の段階T20に対応している。
なお、図10で例示した各レコードの内容は、図9A及び図9Bに例示される傾向から導出される対応関係の一例を示すに過ぎず、脳活動量及び感情状態と集中の程度との対応関係は、これらの例に限定されなくてよく、実施の形態に応じて適宜決定されてよい。
[推定のフェーズ]
次に、図11を用いて、学習のフェーズで特定した対応関係に基づいて、対象の作業者の作業に対する集中の程度を推定する推定のフェーズの情報処理について説明する。図11は、推定のフェーズにおける推定システム1の処理手順の一例を例示するフローチャートである。なお、以下で説明する処理手順は、本発明の「推定方法」の一例である。ただし、以下で説明する処理手順は一例に過ぎず、各処理は可能な限り変更されてよい。また、以下で説明する処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が可能である。
(ステップS201)
ステップS201では、制御部11は、第4取得部115として動作し、所定の第2タスク41を第2作業者51が実行している間に当該第2作業者51から測定される脳活動量を示す第2脳活動データ125を取得する。第2脳活動データ125を取得すると、制御部11は、次のステップS202に処理を進める。
本ステップS201は、上記ステップS102と同様に実行可能である。すなわち、制御部11は、上記第1脳活動データ121を取得した方法と同様の方法により、第2作業者51の脳活動量を示す第2脳活動データ125を取得することができる。例えば、制御部11は、第2タスク41を実行中の第2作業者51の脳波を脳波計35により測定し、得られた脳波のデータからPLI値を算出することで、第2作業者51の脳活動量を示す第2脳活動データ125を取得することができる。ただし、ステップS201の処理は、ステップS102の処理と一致していなくてもよく、ステップS102とは異なる方法で(例えば、ステップS102で採用しなかった方法で)、第2作業者51の脳活動量を示す第2脳活動データ125を取得してもよい。
また、第2タスク41の種類は、第1タスク40と同様に、特に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。第2タスク41は、例えば、部品の発注作業等であってよい。
なお、制御部11は、第2作業者51が第2タスク41の実行を開始したことをトリガとして、本ステップS201の処理の実行を開始してもよい。
(ステップS202)
ステップS202では、制御部11は、第5取得部116として動作し、第2タスク41の実行に対する感情の入力を受け付けることで、当該第2タスク41の実行に関連した第2作業者51の感情状態を示す第2感情データ126を取得する。第2感情データ126を取得すると、制御部11は、次のステップS203に処理を進める。
本ステップS202は、上記ステップS103と同様に実行可能である。すなわち、制御部11は、上記第1感情データ122を取得した方法と同様の方法により、第2作業者51の感情状態を示す第2感情データ126を取得することができる。例えば、制御部11は、図8で例示されるアローザル及びヴァレンスの2つの軸を含む画面をタッチパネル36に表示し、第2タスク41の実行に対する感情の入力を受け付ける。そして、制御部11は、画面上のタッチされた位置(すなわち、回答結果)に基づいて、アローザル及びヴァレンスそれぞれの値を特定することで、第2作業者51の感情状態を示す第2感情データ126を取得することができる。
(ステップS203)
ステップS203では、制御部11は、推定部117として動作し、対応関係データ124を取得する。そして、制御部11は、取得した対応関係データ124により示される対応関係に基づいて、第2脳活動データ125及び第2感情データ126により示される第2作業者51の脳活動量及び感情状態から、当該第2作業者51の第2タスク41に対する集中の程度を推定する。
例えば、制御部11は、対応関係データ124により示される対応関係に基づいて、第2脳活動データ125及び第2感情データ126により示される第2作業者51の脳活動量及び感情状態に対応する、第2タスク41に対する集中の程度を導出する。集中の程度を導出は、対応関係データ124のデータ形式に応じて適宜行われてよい。
本実施形態では、対応関係データ124は、図10で例示されるテーブル形式で表現されている。制御部11は、ステップS201及びS202の処理により得られた第2作業者51の脳活動量及び感情状態と、各レコードの脳活動量及び感情状態それぞれのフィールドの値とを照合する。そして、制御部11は、ステップS201及びS202の処理により得られた第2作業者51の脳活動量及び感情状態に適合するレコードを抽出し、抽出したレコードの集中の程度のフィールドに格納された値を取得する。
これにより、制御部11は、対応関係データ124により示される対応関係に基づいて、第2脳活動データ125及び第2感情データ126により示される第2作業者51の脳活動量及び感情状態に対応する、第2タスク41に対する集中の程度を導出することができる。第2タスク41に対する集中の程度の推定(導出)が完了すると、制御部11は、次のステップS204に処理を進める。
(ステップS204)
ステップS204では、制御部11は、出力部118として動作し、出力装置15等を介して、第2作業者51の第2タスク41に対する集中の程度を推定した結果を出力する。制御部11は、ステップS203の処理によって、第2作業者51の第2タスク41に対する集中の程度を推定した結果を、例えば、ディスプレイに表示してもよいし、スピーカを介して音声で出力してもよい。
この推定結果の出力先は、特に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。推定結果の出力は、例えば、第2作業者51自身に向けて行われてもよいし、第2作業者51を監督する監督者等の第2作業者51以外の人物に向けて行われてよい。推定結果の出力が完了すると、制御部11は、本動作例に係る推定のフェーズの情報処理を終了する。
[特徴]
以上のとおり、本実施形態に係る推定システム1は、ステップS101〜S106の学習のフェーズにおいて、第1タスク40を実行させた第1作業者50から得られる第1脳活動データ121、第1感情データ122、及び実行結果データ123を利用して、脳活動量及び感情状態と作業に対する集中の程度との対応関係を学習する。そして、本実施形態に係る推定システム1は、ステップS201〜S204の推定のフェーズにおいて、学習のフェーズで得られた対応関係に基づいて、脳活動量及び感情状態の2つの指標から作業者(第2作業者51)の作業(第2タスク41)に対する集中の程度を推定する。
これら2つの指標のうち、脳活動量は、作業者の認知に利用している脳のリソースの量を示し得る。ただし、この脳活動量の指標のみでは、その脳のリソースが作業に割り振られているのか、作業以外の他の対象に割り振られているのかが不明である。そこで、本実施形態では、作業者の作業に対する集中の程度を推定するための指標として、脳活動量の他に、感情状態を更に利用する。この感情状態は、認知の対象に応じて変動し得るため、脳活動量と結びつくことで、その脳のリソースが何に割り振られているかを示し得る。そのため、脳活動量及び感情状態の2つの指標を利用することで、作業者が作業に対して集中しているか否かをより正確に把握することができる。したがって、本実施形態に係る推定システム1によれば、作業者の作業に対する集中の程度をより正確に推定することができる。
§4 変形例
以上、本発明の実施の形態を詳細に説明してきたが、前述までの説明はあらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。例えば、以下のような変更が可能である。なお、以下では、上記実施形態と同様の構成要素に関しては同様の符号を用い、上記実施形態と同様の点については、適宜説明を省略した。以下の変形例は適宜組み合わせ可能である。
<4.1>
上記実施形態では、各脳波計(30、35)により、各作業者(50、51)の脳活動量を測定している。また、各作業者(50、51)の脳活動量は、所定周波数の音刺激に対する聴性定常反応におけるPLI値により示されている。しかしながら、脳活動量の取得方法及び表現方法はそれぞれ、このような例に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。
<4.2>
上記実施形態では、各タッチパネル(31、36)を利用して、各作業者(50、51)の感情状態の入力を受け付けている。また、各作業者(50、51)の感情状態は、アローザル及びヴァレンスの2つの指標により示される。しかしながら、感情状態の入力方法及び表現方法はそれぞれ、このような例に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。
1…推定システム、
11…制御部、12…記憶部、13…外部インタフェース、
14…入力装置、15…出力装置、16…ドライブ、
111…第1取得部、112…第2取得部、113…第3取得部、
114…関係特定部、115…第4取得部、116…第5取得部、
117…推定部、118…出力部、
121…第1脳活動データ、122…第1感情データ、
123…実行結果データ、124…対応関係データ、
125…第2脳活動データ、126…第2感情データ、
30・35…脳波計、31・36…タッチパネル、
40…第1タスク、41…第2タスク、
50…第1作業者、51…第2作業者、
8…プログラム、9…記憶媒体

Claims (5)

  1. 学習のフェーズにおいて、所定の第1タスクを第1作業者が実行している間に当該第1作業者から測定された脳活動量を示す第1脳活動データを取得する第1取得部と、
    前記第1タスクの実行に対する感情の入力を受け付けることで、前記第1タスクの実行に関連した前記第1作業者の感情状態を示す第1感情データを取得する第2取得部と、
    前記第1作業者が前記第1タスクを実行した結果に基づいて特定された、前記第1作業者の前記第1タスクに対する集中の程度を示す実行結果データを取得する第3取得部と、
    前記第1脳活動データ、前記第1感情データ、及び前記実行結果データに基づいて、前記脳活動量及び前記感情状態と前記集中の程度との間の対応関係を特定する関係特定部と、
    推定のフェーズにおいて、所定の第2タスクを第2作業者が実行している間に当該第2作業者から測定される脳活動量を示す第2脳活動データを取得する第4取得部と、
    前記第2タスクの実行に対する感情の入力を受け付けることで、前記第2タスクの実行に関連した前記第2作業者の感情状態を示す第2感情データを取得する第5取得部と、
    前記対応関係に基づいて、前記第2脳活動データ及び前記第2感情データにより示される前記第2作業者の前記脳活動量及び前記感情状態から、前記第2作業者の前記第2タスクに対する集中の程度を推定する推定部と、
    前記第2作業者の前記第2タスクに対する集中の程度を推定した結果を出力する出力部と、
    を備える、
    推定システム。
  2. 前記第1脳活動データ及び前記第2脳活動データにおける前記脳活動量は、位相同期指標の値により示される、
    請求項1に記載の推定システム。
  3. 前記第1感情データ及び前記第2感情データにおける前記感情状態は、アローザル及びヴァレンスの2つの指標により示される、
    請求項1又は2に記載の推定システム。
  4. 所定のタスクを作業者が実行している間に当該作業者から測定される脳活動量を示す脳活動データを取得する第1取得部と、
    前記タスクの実行に対する感情の入力を受け付けることで、前記タスクの実行に関連した前記作業者の感情状態を示す感情データを取得する第2取得部と、
    前記脳活動量及び前記感情状態と集中の程度との間の対応関係を示す対応関係データを取得し、取得した当該対応関係データにより示される当該対応関係に基づいて、前記脳活動データ及び前記感情データにより示される前記作業者の前記脳活動量及び前記感情状態から、前記作業者の前記タスクに対する集中の程度を推定する推定部と、
    前記作業者の前記タスクに対する集中の程度を推定した結果を出力する出力部と、
    を備える、
    推定装置。
  5. コンピュータが、
    所定のタスクを作業者が実行している間に当該作業者から測定される脳活動量を示す脳活動データを取得するステップと、
    前記タスクの実行に対する感情の入力を受け付けることで、前記タスクの実行に関連した前記作業者の感情状態を示す感情データを取得するステップと、
    前記脳活動量及び前記感情状態と集中の程度との間の対応関係を示す対応関係データを取得するステップと、
    取得した前記対応関係データにより示される前記対応関係に基づいて、前記脳活動データ及び前記感情データにより示される前記作業者の前記脳活動量及び前記感情状態から、前記作業者の前記タスクに対する集中の程度を推定するステップと、
    前記作業者の前記タスクに対する集中の程度を推定した結果を出力するステップと、
    を実行する、
    推定方法。
JP2018047111A 2018-03-14 2018-03-14 推定システム、推定装置及び推定方法 Active JP6966363B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018047111A JP6966363B2 (ja) 2018-03-14 2018-03-14 推定システム、推定装置及び推定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018047111A JP6966363B2 (ja) 2018-03-14 2018-03-14 推定システム、推定装置及び推定方法

Publications (2)

Publication Number Publication Date
JP2019154868A JP2019154868A (ja) 2019-09-19
JP6966363B2 true JP6966363B2 (ja) 2021-11-17

Family

ID=67996632

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018047111A Active JP6966363B2 (ja) 2018-03-14 2018-03-14 推定システム、推定装置及び推定方法

Country Status (1)

Country Link
JP (1) JP6966363B2 (ja)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101980660B (zh) * 2008-09-19 2013-01-16 松下电器产业株式会社 注意力分散检测装置、及注意力分散检测方法
JP6191242B2 (ja) * 2013-05-30 2017-09-06 トヨタ自動車株式会社 集中度推定装置
ITUB20153636A1 (it) * 2015-09-15 2017-03-15 Brainsigns S R L Metodo per stimare uno stato mentale, in particolare un carico di lavoro, e relativo apparato
JP6985005B2 (ja) * 2015-10-14 2021-12-22 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 感情推定方法、感情推定装置、及び、プログラムを記録した記録媒体
JP6856860B2 (ja) * 2016-06-08 2021-04-14 株式会社脳機能研究所 集中度評価装置、集中度評価方法、及びプログラム

Also Published As

Publication number Publication date
JP2019154868A (ja) 2019-09-19

Similar Documents

Publication Publication Date Title
Bulagang et al. A review of recent approaches for emotion classification using electrocardiography and electrodermography signals
Nacke An introduction to physiological player metrics for evaluating games
Ahonen et al. Cognitive collaboration found in cardiac physiology: Study in classroom environment
US10839201B2 (en) Facial expression detection for screening and treatment of affective disorders
JP2015054240A (ja) コンテンツ評価システム及びそれを用いたコンテンツ評価方法
JP6935774B2 (ja) 推定システム、学習装置、学習方法、推定装置及び推定方法
Hubbard et al. Enhancing learning through virtual reality and neurofeedback: A first step
EP3617964A1 (en) Performance measurement device, performance measurement method and performance measurement program
JP7070253B2 (ja) パフォーマンス計測装置、パフォーマンス計測方法及びパフォーマンス計測プログラム
Sinha et al. Dynamic assessment of learners' mental state for an improved learning experience
Hou et al. CogniMeter: EEG-based brain states monitoring
Baig et al. Analyzing novice and expert user’s cognitive load in using a multi-modal interface system
JP6966363B2 (ja) 推定システム、推定装置及び推定方法
US10799139B2 (en) Method and system for EEG signal processing
van de Laar et al. Perspectives on user experience evaluation of brain-computer interfaces
JP2019022540A (ja) プログラム、情報処理装置およびストレス評価方法
Courtemanche et al. Multiresolution feature extraction during psychophysiological inference: addressing signals Asynchronicity
Gillani et al. Prediction of perceived stress scores using low-channel electroencephalography headband
JP6433616B2 (ja) 心的活動状態評価支援装置、心的活動状態評価支援システム、及び心的活動状態評価支援方法
Sourkatti et al. Investigation of different ML approaches in classification of emotions induced by acute stress
Moreno et al. Organizational behavior: psychophysiology assessment of leadership and management in team work and conflict resolution
US11929162B1 (en) Brain state protocol development and scoring system and method
Everson A Framework for Feedback Control of Stress Using Eeg and Audio
Lingelbach et al. Neuro-adaptive tutoring systems
US20220167895A1 (en) Method and system for testing cognition by processing the reaction of a subject to stimuli

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210113

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210915

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210928

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211021

R150 Certificate of patent or registration of utility model

Ref document number: 6966363

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150