JP6935774B2 - 推定システム、学習装置、学習方法、推定装置及び推定方法 - Google Patents

推定システム、学習装置、学習方法、推定装置及び推定方法 Download PDF

Info

Publication number
JP6935774B2
JP6935774B2 JP2018047112A JP2018047112A JP6935774B2 JP 6935774 B2 JP6935774 B2 JP 6935774B2 JP 2018047112 A JP2018047112 A JP 2018047112A JP 2018047112 A JP2018047112 A JP 2018047112A JP 6935774 B2 JP6935774 B2 JP 6935774B2
Authority
JP
Japan
Prior art keywords
worker
task
brain activity
data
amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018047112A
Other languages
English (en)
Other versions
JP2019159941A (ja
Inventor
康代 小竹
康代 小竹
中嶋 宏
宏 中嶋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Priority to JP2018047112A priority Critical patent/JP6935774B2/ja
Priority to PCT/JP2019/010182 priority patent/WO2019176992A1/ja
Publication of JP2019159941A publication Critical patent/JP2019159941A/ja
Application granted granted Critical
Publication of JP6935774B2 publication Critical patent/JP6935774B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/369Electroencephalography [EEG]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/369Electroencephalography [EEG]
    • A61B5/377Electroencephalography [EEG] using evoked responses
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/418Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS], computer integrated manufacturing [CIM]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Description

本発明は、推定システム、学習装置、学習方法、推定装置及び推定方法に関する。
作業者のタスクを含む生産ラインのような作業現場において、生産物の生産性に対するパフォーマンス(特に、品質、生産量等)に影響を与える要因には、作業者の状態に起因する要因が含まれている。従来の作業現場では、このような作業者の状態に起因する生産性の程度を高める方法、又は生産性の程度の低下を抑制する(生産性を維持する)方法として、管理者が、作業者の身体的及び精神的な状態を視覚的に観察し、当該作業者の生産性を維持し、向上するように適切な指示を当該作業者に与える方法が採用されていた。
しかしながら、そのような方法は、管理者の主観に依拠して作業者の状態を判断するため、見落とし又は誤解に起因して、必ずしも適切な対処が実施されない恐れがある。つまり、従来の方法では、作業者の状態に起因する生産性(パフォーマンス)の程度を客観的にかつ反復可能な方法で測定することは難しく、上記のような生産ラインの生産性/効率を体系的に維持すること又は高めることは困難であった。
特開2016−146173号公報
生産性に対するパフォーマンスに影響を与える作業者の状態に起因する要因の一つとして、作業者の作業に対する集中の程度を挙げることができる。作業に対して集中している状態を作業者がより長時間持続することができれば、上記のような生産ラインの生産性/効率を高める又は維持することができる。そこで、生産ラインの生産性/効率を体系的に高める又は維持するために、作業者から測定された生理学的データに基づいて、作業者の作業に対する集中の程度を推定することで、作業者の状態を可視化することが考えられる。この作業者の作業に対する集中の程度を推定する一つの手がかりとして、作業を行っている間に測定される作業者の脳活動量を挙げることができる。
例えば、特許文献1では、心拍、呼吸、脳波、脳磁、酸素濃度、血流、表情、体動等の生体情報に基づいて、ユーザがコンテンツに集中しているか否かを判定する刺激提示システムが提案されている。具体的には、特許文献1で提案される刺激提示システムは、集中判定コンテンツを提示した後、次のコンテンツが提示される前に取得された生体情報に含まれる第1脳活動情報と、刺激提示コンテンツが提示されている時に取得された生体情報に含まれる第2脳活動情報とを比較する。そして、刺激提示システムは、第1脳活動情報と第2脳活動情報との差が所定の量以上ある場合に、刺激提示コンテンツにユーザが集中していると判定し、そうではない場合に、ユーザは集中していないと判定する。
特許文献1で提案されている方法によれば、測定された脳活動量に基づいて、作業者の作業に対する集中の程度を推定することができる。これにより、パフォーマンスに影響を与える作業者の状態を客観的にかつ反復可能な方法で可視化することができるため、この可視化された作業者の情報に基づいて、生産ラインの生産性/効率を体系的に高める又は維持することができるようになる。
しかしながら、作業者の作業に対する集中の程度を正確に推定するためには、この脳活動量のみに基づくだけでは不十分である。なぜなら、脳活動量は、作業者の認知に利用している脳のリソースの量を示すに過ぎず、その脳のリソースが作業に割り振られているか否かは不明であるからである。例えば、作業者が、特定の作業に従事しているとする。この場合、その特定の作業に作業者が集中しているときには、その作業者から測定される脳活動量は高くなり得るが、その特定の作業以外の何らかの事象に作業者が集中しているときにも、その作業者から測定される脳活動量は高くなり得る。つまり、脳活動量のみに基づいて作業者の集中状態を判定する方法では、作業者が対象の作業に集中しているのか、それとも、対象の作業以外に集中しているのかを区別することができない。そのため、作業者の脳活動量のみを用いる方法では、作業現場における作業者の状態に起因する生産性の程度を正確に測定することは困難であり、当該作業現場における生産性の更なる向上を図ることは難しいと考えられる。
この課題は、上記のような生産ラインの生産性/効率を高める又は維持する場面だけではなく、人間が機械と協働するあらゆる場面で生じ得る。例えば、ドライバモニタリングシステムでは、ドライバの状態を把握する上で、ドライバが運転に集中しているか否かを特定することは重要である。
本発明は、一側面では、このような実情を鑑みてなされたものであり、その目的は、客観的にかつ反復可能な方法で、作業者の作業に対する集中の程度をより正確に推定可能な技術を提供することである。
本発明は、上述した課題を解決するために、以下の構成を採用する。
すなわち、本発明の一側面に係る推定システムは、学習のフェーズにおいて、所定の第1タスクを第1作業者が実行している間に、前記第1作業者の第1生理学的パラメータであって、脳活動量に関する第1生理学的パラメータを第1センサにより測定することで得られた、脳活動量を示す第1脳活動データを取得する第1取得部と、前記第1作業者の第2生理学的パラメータであって、感情状態に関する第2生理学的パラメータを第2センサにより測定することで得られた、前記第1タスクの実行に関連した前記第1作業者の感情状態を示す第1感情データを取得する第2取得部と、前記第1作業者が前記第1タスクを実行した結果に基づいて特定された、前記第1作業者の前記第1タスクに対する集中の程度を示す実行結果データを取得する第3取得部と、前記第1脳活動データ、前記第1感情データ、及び前記実行結果データに基づいて、前記脳活動量及び前記感情状態と前記集中の程度との間の対応関係を特定する関係特定部と、推定のフェーズにおいて、所定の第2タスクを第2作業者が実行している間に、前記第2作業者の前記第1生理学的パラメータを前記第1センサにより測定することで得られた、脳活動量を示す第2脳活動データを取得する第4取得部と、前記第2作業者の前記第2生理学的パラメータを前記第2センサにより測定することで得られた、前記第2タスクの実行に関連した前記第2作業者の感情状態を示す第2感情データを取得する第5取得部と、前記対応関係に基づいて、前記第2脳活動データ及び前記第2感情データにより示される前記第2作業者の前記脳活動量及び前記感情状態から、前記第2作業者の前記第2タスクに対する集中の程度を推定する推定部と、前記第2作業者の前記第2タスクに対する集中の程度を推定した結果に関連した出力処理を行う出力部と、を備える。
上記構成に係る推定システムでは、学習のフェーズにおいて、所定の第1タスクを第1作業者に実行させて、第1タスクを実行している間の第1作業者の脳活動量を第1センサにより測定する。また、第2センサを用いて、第1タスクの実行に関連する第1作業者の感情状態を測定する。更に、第1作業者が第1タスクを実行した結果に基づいて、当該第1作業者の第1タスクに対する集中の程度を特定する。そして、上記構成に係る推定システムは、これらに基づいて、脳活動量及び感情状態と集中の程度との間の対応関係、換言すると、作業者がどのような脳活動量及び感情状態にある場合に当該作業者がタスクに対してどの程度集中しているか、を特定する。
一方、推定のフェーズでは、上記構成に係る推定システムは、学習のフェーズにより得られた知見(対応関係)を利用して、対象の作業者のタスクに対する集中の程度を推定する。すなわち、推定のフェーズにおいて、所定の第2タスクを第2作業者に実行させて、第2タスクを実行している間の脳活動量を第1センサにより測定する。また、第2センサを用いて、第2タスクの実行に関連する第2作業者の感情状態を測定する。上記構成に係る推定システムは、上記対応関係に基づいて、これらにより得られた第2作業者の脳活動量及び感情状態から、当該第2作業者の第2タスクに対する集中の程度を推定する。そして、上記構成に係る推定システムは、第2作業者の第2タスクに対する集中の程度を推定した結果に関連した出力処理を行う。
後述するとおり、人間の状態は、外界とのインタフェースとして機能する認知状態、及び当該認知状態と相互作用する感情状態によってモデル化することができる。認知状態及び感情状態は、生理学的パラメータとして、適切なセンサにより客観的に測定することができる。このモデルに基づくと、人間の状態に起因する生産性の程度(すなわち、タスクに対するパフォーマンスの程度)は、客観的に測定され得る認知状態及び感情状態で当該人間がタスクに取り組んだ結果として得られる。
そこで、上記構成に係る推定システムは、それぞれ客観的かつ反復可能な方法により測定可能な脳活動量及び感情状態の2つの指標を作業に対する集中の程度に対応付けて、これら2つの指標に基づいて、作業者の作業に対する集中の程度を推定可能にする。これら2つの指標のうち、脳活動量は、作業者の認知に利用している脳のリソースの量を示すことができる。一方、感情状態は、脳活動量と結びつくことで、その脳のリソースが何に割り振られているかを示し得る。そのため、それぞれ客観的かつ反復可能な方法により測定可能な脳活動量及び感情状態の2つの指標に基づくことで、作業者が作業に対して集中しているか否かをより正確に把握することができる。よって、上記構成によれば、客観的にかつ反復可能な方法で、作業者の作業に対する集中の程度をより正確に推定することができる。
なお、第1作業者は、学習に利用するデータを取得する対象となる作業者であり、第2作業者は、タスクに対する集中の程度を推定する対象となる作業者である。第1作業者と第2作業者とは、一致していてもよいし、一致していなくてもよい。また、第1タスクは、学習に利用するデータを取得する際に作業者に実行させるタスクであり、第2タスクは、集中の程度を推定する対象となるタスクである。第1タスクと第2タスクとは一致している又は関連しているのが好ましい。ただし、第1タスクと第2タスクとは必ずしも一致していなくてもよいし、関連していなくてもよい。各タスクは、例えば、生産ラインで作業者が行う作業等のような一定の時間に行う作業量が決まっているものであってよい。
また、脳活動量を測定する第1センサ、及び感情状態を測定する第2センサはそれぞれ、実施の形態に応じて適宜決定されてよい。脳活動量に関する第1生理学的パラメータとして、例えば、脳波、脳血流、瞳孔径、視線方向、又はこれらの組み合わせが採用されてよい。これに応じて、第1センサには、例えば、脳波計(Electroencephalograph:EEG)、脳磁計(Magnetoencephalography:MEG)、機能的核磁気共鳴画像法(Functional Magnetic Resonance Imaging:fMRI)により脳活動に関連した血流を撮影するよう構成された磁気共鳴画像装置、カメラ、又はこれらの組み合わせが用いられてよい。また、感情状態に関する第2生理学的パラメータとして、例えば、表情、瞳孔径、音声、脳波、脳血流、心電図、血圧、皮膚電気反射(galvanic skin reflex:GSR)、又はこれらの組み合わせが採用されてよい。これに応じて、第2センサには、例えば、カメラ、マイクロフォン、脳波計、脳磁計、磁気共鳴画像装置、心電計、血圧計、皮膚電気反応計、又はこれらの組み合わせが用いられてよい。第1生理学的パラメータ及び第2生理学的パラメータとして同種の生理学的パラメータを測定対象とする場合、第1センサ及び第2センサは同じであってよい。
上記一側面に係る推定システムにおいて、前記出力部は、前記推定の結果により示される前記第2作業者の前記第2タスクに対する集中の程度に基づいて、前記第2タスクに対する介入処理の内容を決定してもよく、前記出力処理として、決定した前記内容の介入処理を実行してもよい。当該構成によれば、推定結果に基づいて適切な介入処理を選択するようにすることで、作業者の作業に対する集中の程度の改善又は維持を図ることができる。
上記一側面に係る推定システムにおいて、前記出力部は、前記推定の結果により示される前記第2作業者の前記第2タスクに対する集中の程度に基づいて、前記第2作業者が前記第2タスクに集中していないと判定される場合に、前記第2作業者が前記第2タスクに集中していないことを知らせるための注意喚起を実施することを前記介入処理の内容として決定してもよく、前記介入処理として、出力装置を介して前記注意喚起を実施してもよい。当該構成によれば、作業に集中していないと判定された作業者に対して注意喚起を実施することで、当該作業者の作業に対する集中の程度の改善を図ることができる。
上記一側面に係る推定システムにおいて、前記出力部は、前記推定の結果により示される前記第2作業者の前記第2タスクに対する集中の程度に基づいて、前記第2作業者が前記第2タスクに集中していないと判定される場合に、前記第2作業者が前記第2タスクを行う環境に関連する環境装置の動作を変更することを前記介入処理の内容として決定してもよく、前記介入処理として、決定した動作の変更を指示するための指令を前記環境装置に対して出力してもよい。当該構成によれば、作業者が作業に集中していないと判定した場合に、環境装置の動作を変更することで、当該作業者の作業に対する集中の程度の改善を図ることができる。なお、環境装置の種類は、作業者の作業を行う環境に影響を与える装置であれば、特に限定されなくてもよい。環境装置は、例えば、照明装置、音響装置、空調装置等であってよい。
上記一側面に係る推定システムにおいて、前記出力部は、前記推定の結果により示される前記第2作業者の前記第2タスクに対する集中の程度に基づいて、前記第2タスクに関連する関連装置の動作の内容を前記介入処理の内容として決定してもよく、前記介入処理として、決定した内容の動作を指示するための指令を前記関連装置に対して出力してもよい。当該構成によれば、作業者の作業に対する集中の程度に応じて、作業に関連する関連装置の動作を決定することで、作業の効率を改善したり、効率のよい状態を維持したりすることができる。
なお、関連装置の種類は、作業者の作業に関連する装置であれば、特に限定されなくてもよい。生産ラインで利用する場合、関連装置は、例えば、当該生産ラインにおいて第2作業者と協働するように構成された協働装置であってよい。協働装置は、例えば、作業者と協働するロボット、ベルトコンベアを駆動するコントローラ、生産ラインのセーフティ装置、部品供給装置(パーツフィーダ)等であってよい。また、ドライバモニタリングシステムで利用する場合、関連装置は、例えば、車両の運転を制御するように構成された制御装置であってよい。
上記一側面に係る推定システムにおいて、前記第1脳活動データ及び前記第2脳活動データにおける前記脳活動量は、位相同期指標(Phase locking index)の値により示されてよい。当該構成によれば、客観的かつ反復可能な方法により脳活動量の値を正確に測定可能であるため、作業者の作業に対する集中の程度をより正確に推定することができる。
上記一側面に係る推定システムにおいて、前記第1感情データ及び前記第2感情データにおける前記感情状態は、アローザル(Arousal)及びヴァレンス(Valence)の2つの指標により示されてよい。当該構成によれば、感情状態を正確に表現可能であるため、作業者の作業に対する集中の程度をより正確に推定することができる。なお、アローザル及びヴァレンスは、ラッセル(Russell)の円環モデルに用いられる2つの指標である。アローザル(又は、Activation)は、覚醒度を表す指標であり、覚醒/鎮静の程度、又は活性/非活性の程度を示す。ヴァレンスは、感情価、すなわち感情の質を表す指標であり、ポジティブ/ネガティブの程度、又は快/不快の程度を示す。
上記一側面に係る推定システムにおいて、前記実行結果データにおける前記集中の程度は、前記第1タスクの遂行にかかった時間、前記第1タスクの遂行の速度、及び前記第1タスクの実行のクオリティの少なくともいずれかによって特定されてよい。当該構成によれば、脳活動量及び感情状態の2つの指標に対応付ける作業者の作業に対する集中の程度を客観的かつ反復可能な方法でより正確に測定可能であるため、作業者の作業に対する集中の程度をより正確に推定することができる。
上記一側面に係る推定システムにおいて、前記対応関係は、前記第1脳活動データにより示される脳活動量、前記第1感情データにより示される感情状態、及び前記実行結果データにより示される集中の程度の分布に基づいて特定されてよい。当該構成によれば、脳活動量及び感情状態の2つの指標を作業に対する集中の程度に適切に対応付けることができるため、作業者の作業に対する集中の程度をより正確に推定することができる。
上記一側面に係る推定システムにおいて、前記分布に基づいて、前記脳活動量及び前記感情状態それぞれに対して、前記集中の程度を判定するための閾値が設定されてよく、前記推定部は、前記第2作業者の前記脳活動量及び前記感情状態それぞれと前記閾値と比較することで、前記第2作業者の前記第2タスクに対する集中の程度を推定してもよい。当該構成によれば、脳活動量及び感情状態の2つの指標を作業に対する集中の程度に適切に対応付けることができるため、作業者の作業に対する集中の程度をより正確に推定することができる。
また、上記各形態に係る推定システムは、生産ラインの制御、車両の制御等の場面に適宜適用可能に変更されてよい。
例えば、本発明の一側面に係る生産ライン制御システムは、学習のフェーズにおいて、所定の第1タスクを第1作業者が実行している間に、前記第1作業者の第1生理学的パラメータであって、脳活動量に関する第1生理学的パラメータを第1センサにより測定することで得られた、脳活動量を示す第1脳活動データを取得する第1取得部と、前記第1作業者の第2生理学的パラメータであって、感情状態に関する第2生理学的パラメータを第2センサにより測定することで得られた、前記第1タスクの実行に関連した前記第1作業者の感情状態を示す第1感情データを取得する第2取得部と、前記第1作業者が前記第1タスクを実行した結果に基づいて特定された、前記第1作業者の前記第1タスクに対する集中の程度を示す実行結果データを取得する第3取得部と、前記第1脳活動データ、前記第1感情データ、及び前記実行結果データに基づいて、前記脳活動量及び前記感情状態と前記集中の程度との間の対応関係を特定する関係特定部と、推定のフェーズにおいて、生産ラインにおける第2タスクを第2作業者が実行している間に、前記第2作業者の第1生理学的パラメータを第1センサにより測定することで得られた、脳活動量を示す第2脳活動データを取得する第4取得部と、前記第2作業者の第2生理学的パラメータを第2センサにより測定することで得られた、前記第2タスクの実行に関連した前記第2作業者の感情状態を示す第2感情データを取得する第5取得部と、前記対応関係に基づいて、前記第2脳活動データ及び前記第2感情データにより示される前記第2作業者の前記脳活動量及び前記感情状態から、前記第2作業者の前記第2タスクに対する集中の程度を推定する推定部と、前記第2作業者の前記第2タスクに対する集中の程度を推定した結果に基づいて、前記生産ラインにおいて前記第2作業者と協働するように構成された協働装置の動作を制御する動作制御部と、を備える。
また、例えば、本発明の一側面に係る車両制御システムは、学習のフェーズにおいて、所定の第1タスクを第1作業者が実行している間に、前記第1作業者の第1生理学的パラメータであって、脳活動量に関する第1生理学的パラメータを第1センサにより測定することで得られた、脳活動量を示す第1脳活動データを取得する第1取得部と、前記第1作業者の第2生理学的パラメータであって、感情状態に関する第2生理学的パラメータを第2センサにより測定することで得られた、前記第1タスクの実行に関連した前記第1作業者の感情状態を示す第1感情データを取得する第2取得部と、前記第1作業者が前記第1タスクを実行した結果に基づいて特定された、前記第1作業者の前記第1タスクに対する集中の程度を示す実行結果データを取得する第3取得部と、前記第1脳活動データ、前記第1感情データ、及び前記実行結果データに基づいて、前記脳活動量及び前記感情状態と前記集中の程度との間の対応関係を特定する関係特定部と、推定のフェーズにおいて、車両の運転に関連する第2タスクを、車両の運転者である第2作業者が実行している間に、前記第2作業者の第1生理学的パラメータを第1センサにより測定することで得られた、脳活動量を示す第2脳活動データを取得する第4取得部と、前記第2作業者の第2生理学的パラメータを第2センサにより測定することで得られた、前記第2タスクの実行に関連した前記第2作業者の感情状態を示す第2感情データを取得する第5取得部と、前記対応関係に基づいて、前記第2脳活動データ及び前記第2感情データにより示される前記第2作業者の前記脳活動量及び前記感情状態から、前記第2作業者の第2タスクに対する集中の程度を推定する推定部と、前記第2作業者の第2タスクに対する集中の程度を推定した結果に基づいて、前記車両の動作を制御する動作制御部と、を備える。
なお、上記各形態に係る推定システム、生産ライン制御システム、及び車両制御システムの別の形態として、以上の各構成を実現する情報処理方法であってもよいし、プログラムであってもよいし、このようなプログラムを記憶した、コンピュータその他装置、機械等が読み取り可能な記憶媒体であってもよい。ここで、コンピュータ等が読み取り可能な記憶媒体とは、プログラム等の情報を、電気的、磁気的、光学的、機械的、又は、化学的作用によって蓄積する媒体である。また、上記各形態に係る推定システムは、1又は複数台の情報処理装置により構成されてもよい。更に、上記各形態に係る推定システムから学習又は推定のフェーズに対応する一部の構成を抽出することで、別の形態に係るシステム、装置、方法、プログラム、及びプログラムを記憶した記憶媒体を構築してもよい。
例えば、本発明の一側面に係る学習装置は、所定のタスクを作業者が実行している間に、前記作業者の第1生理学的パラメータであって、脳活動量に関する第1生理学的パラメータを第1センサにより測定することで得られた、脳活動量を示す脳活動データを取得する第1取得部と、前記作業者の第2生理学的パラメータであって、感情状態に関する第2生理学的パラメータを第2センサにより測定することで得られた、前記タスクの実行に関連した前記作業者の感情状態を示す感情データを取得する第2取得部と、前記作業者が前記タスクを実行した結果に基づいて特定された、前記作業者の前記タスクに対する集中の程度を示す実行結果データを取得する第3取得部と、前記脳活動データ、前記感情データ、及び前記実行結果データに基づいて、前記脳活動量及び前記感情状態と前記集中の程度との間の対応関係を特定する関係特定部と、を備える。
また、例えば、本発明の一側面に係る学習方法は、コンピュータが、所定のタスクを作業者が実行している間に、前記作業者の第1生理学的パラメータであって、脳活動量に関する第1生理学的パラメータを第1センサにより測定することで得られた、脳活動量を示す脳活動データを取得するステップと、前記作業者の第2生理学的パラメータであって、感情状態に関する第2生理学的パラメータを第2センサにより測定することで得られた、前記タスクの実行に関連した前記作業者の感情状態を示す感情データを取得するステップと、前記作業者が前記タスクを実行した結果に基づいて特定された、前記作業者の前記タスクに対する集中の程度を示す実行結果データを取得するステップと、前記脳活動データ、前記感情データ、及び前記実行結果データに基づいて、前記脳活動量及び前記感情状態と前記集中の程度との間の対応関係を特定するステップと、を実行する、情報処理方法である。
また、例えば、本発明の一側面に係る推定装置は、所定のタスクを作業者が実行している間に、前記作業者の第1生理学的パラメータであって、脳活動量に関する第1生理学的パラメータを第1センサにより測定することで得られた、脳活動量を示す脳活動データを取得する第1取得部と、前記作業者の第2生理学的パラメータであって、感情状態に関する第2生理学的パラメータを第2センサにより測定することで得られた、前記タスクの実行に関連した前記作業者の感情状態を示す感情データを取得する第2取得部と、前記脳活動量及び前記感情状態と集中の程度との間の対応関係を示す対応関係データを取得し、取得した当該対応関係データにより示される当該対応関係に基づいて、前記脳活動データ及び前記感情データにより示される前記作業者の前記脳活動量及び前記感情状態から、前記作業者の前記タスクに対する集中の程度を推定する推定部と、前記作業者の前記タスクに対する集中の程度を推定した結果に関連した出力処理を行う出力部と、を備える。
また、例えば、本発明の一側面に係る推定方法は、コンピュータが、所定のタスクを作業者が実行している間に、前記作業者の第1生理学的パラメータであって、脳活動量に関する第1生理学的パラメータを第1センサにより測定することで得られた、脳活動量を示す脳活動データを取得するステップと、前記作業者の第2生理学的パラメータであって、感情状態に関する第2生理学的パラメータを第2センサにより測定することで得られた、前記タスクの実行に関連した前記作業者の感情状態を示す感情データを取得するステップと、前記脳活動量及び前記感情状態と集中の程度との間の対応関係を示す対応関係データを取得するステップと、取得した当該対応関係データにより示される当該対応関係に基づいて、前記脳活動データ及び前記感情データにより示される前記作業者の前記脳活動量及び前記感情状態から、前記作業者の前記タスクに対する集中の程度を推定するステップと、前記作業者の前記タスクに対する集中の程度を推定した結果に関連した出力処理を行うステップと、を実行する、情報処理方法である。
また、例えば、本発明の一側面に係る生産ライン制御装置は、生産ラインにおけるタスクを作業者が実行している間に、前記作業者の第1生理学的パラメータであって、脳活動量に関する第1生理学的パラメータを第1センサにより測定することで得られた、脳活動量を示す脳活動データを取得する第1取得部と、前記作業者の第2生理学的パラメータであって、感情状態に関する第2生理学的パラメータを第2センサにより測定することで得られた、前記タスクの実行に関連した前記作業者の感情状態を示す感情データを取得する第2取得部と、脳活動量及び感情状態と集中の程度との間の対応関係を示す対応関係データを取得し、取得した当該対応関係データにより示される当該対応関係に基づいて、前記脳活動データ及び前記感情データにより示される前記作業者の前記脳活動量及び前記感情状態から、前記作業者の前記タスクに対する集中の程度を推定する推定部と、前記作業者の前記タスクに対する集中の程度を推定した結果に基づいて、前記生産ラインにおいて前記作業者と協働するように構成された協働装置の動作を制御する動作制御部と、を備える。
また、例えば、本発明の一側面に係る車両制御装置は、車両の運転に関連するタスクを、車両の運転者である作業者が実行している間に、前記作業者の第1生理学的パラメータであって、脳活動量に関する第1生理学的パラメータを第1センサにより測定することで得られた、脳活動量を示す脳活動データを取得する第1取得部と、前記作業者の第2生理学的パラメータであって、感情状態に関する第2生理学的パラメータを第2センサにより測定することで得られた、前記タスクの実行に関連した前記作業者の感情状態を示す感情データを取得する第2取得部と、脳活動量及び感情状態と集中の程度との間の対応関係を示す対応関係データを取得し、取得した当該対応関係データにより示される当該対応関係に基づいて、前記脳活動データ及び前記感情データにより示される前記作業者の前記脳活動量及び前記感情状態から、前記作業者のタスクに対する集中の程度を推定する推定部と、前記作業者のタスクに対する集中の程度を推定した結果に基づいて、前記車両の動作を制御する動作制御部と、を備える。
本発明によれば、客観的にかつ反復可能な方法で、作業者の作業に対する集中の程度をより正確に推定可能な技術を提供することができる。
図1は、本発明が適用される場面の一例を模式的に例示する。 図2は、人間の状態を表すモデルの一例を模式的に例示する。 図3は、実施の形態に係る推定システムのハードウェア構成の一例を模式的に例示する。 図4は、実施の形態に係る推定システムのソフトウェア構成の一例を模式的に例示する。 図5は、実施の形態に係る脳活動データの一例を模式的に例示する。 図6Aは、感情状態を表現する手法の一例を説明するための図である。 図6Bは、実施の形態に係る感情データの一例を模式的に例示する。 図7は、実施の形態に係る推定システムの学習フェーズにおける処理手順の一例を例示する。 図8は、実施の形態に係る第1タスクの一例を模式的に例示する。 図9Aは、タスクに対する集中の程度が高い作業者の脳活動データ及び感情データの推移の一例を模式的に例示する。 図9Bは、タスクに対する集中の程度が低い作業者の脳活動データ及び感情データの推移の一例を模式的に例示する。 図10は、実施の形態に係る脳活動量及び感情状態と集中の程度との間の対応関係を示す対応関係データの一例を模式的に例示する。 図11は、実施の形態に係る推定システムの推定フェーズにおける処理手順の一例を例示する。 図12は、変形例に係る推定システムのソフトウェア構成の一例を模式的に例示する。 図13Aは、変形例に係る対応関係データの一例を模式的に例示する。 図13Bは、変形例に係る対応関係データの一例を模式的に例示する。 図14は、変形例に係る対応関係データの一例を模式的に例示する。 図15は、変形例に係る介入処理の実施される場面の一例を模式的に例示する。 図16は、変形例に係る介入処理の実施される場面の一例を模式的に例示する。 図17は、変形例に係る介入処理の実施される場面の一例を模式的に例示する。
以下、本発明の一側面に係る実施の形態(以下、「本実施形態」とも表記する)を、図面に基づいて説明する。ただし、以下で説明する本実施形態は、あらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。つまり、本発明の実施にあたって、実施形態に応じた具体的構成が適宜採用されてもよい。なお、本実施形態において登場するデータを自然言語により説明しているが、より具体的には、コンピュータが認識可能な疑似言語、コマンド、パラメータ、マシン語等で指定される。
§1 適用例
まず、図1を用いて、本発明が適用される場面の一例について説明する。図1は、本実施形態に係る推定システム1の適用場面の一例を模式的に例示する。
本実施形態に係る推定システム1は、それぞれセンサにより測定可能な脳活動量及び感情状態の2つの指標から、当該作業者の作業に対する集中の程度を推定する情報処理装置である。具体的には、推定システム1は、学習のフェーズにおいて、所定の第1タスク40を第1作業者50が実行している間に、第1作業者50の第1生理学的パラメータであって、脳活動量に関する第1生理学的パラメータを第1センサにより測定することで得られた、脳活動量を示す第1脳活動データを取得する。また、推定システム1は、第1作業者50の第2生理学的パラメータであって、感情状態に関する第2生理学的パラメータを第2センサにより測定することで得られた、第1タスク40の実行に関連した第1作業者50の感情状態を示す第1感情データを取得する。更に、推定システム1は、第1作業者50が第1タスク40を実行した結果に基づいて特定された、当該第1作業者50の第1タスク40に対する集中の程度を示す実行結果データを取得する。そして、推定システム1は、第1脳活動データ、第1感情データ、及び実行結果データに基づいて、脳活動量及び感情状態と集中の程度との間の対応関係を特定する。
本実施形態では、第1生理学的パラメータとして脳波が採用され、第2生理学的パラメータとして表情が採用される。これに応じて、本実施形態では、第1センサとして脳波計30が採用され、第2センサとしてカメラ31が採用される。すなわち、脳波計30により、第1タスク40を実行している間の第1作業者50の脳活動量を示す第1脳活動データが得られる。また、カメラ31により、第1タスク40の実行に関連した第1作業者50の感情状態を示す第1感情データが得られる。
一方、推定システム1は、推定のフェーズにおいて、所定の第2タスク41を第2作業者51が実行している間に、第2作業者51の第1生理学的パラメータを第1センサにより測定することで得られた、脳活動量を示す第2脳活動データを取得する。また、推定システム1は、第2作業者51の第2生理学的パラメータを第2センサにより測定することで得られた、第2タスク41の実行に関連した第2作業者51の感情状態を示す第2感情データを取得する。本実施形態では、上記のとおり、第1生理学的パラメータとして脳波が採用され、第2生理学的パラメータとして表情が採用される。そのため、脳波計35により第2脳活動データが得られ、カメラ36により第2感情データが得られる。次に、推定システム1は、学習のフェーズで特定した対応関係に基づいて、第2脳活動データ及び第2感情データにより示される第2作業者51の脳活動量及び感情状態から、当該第2作業者51の第2タスク41に対する集中の程度を推定する。そして、推定システム1は、第2作業者51の第2タスク41に対する集中の程度を推定した結果に関連した出力処理を行う。出力処理の一例として、第2作業者が第2タスクに集中していないと判定した場合に、推定システム1は、出力装置6を介してそのことを知らせるための注意喚起を実施する。
ここで、図2を用いて、人間の状態を表現するモデルについて説明する。図2は、人間の状態を表現するモデルの一例を模式的に例示する。とりわけ、人間の状態は、人間の様々なタイプの状態を考慮に入れた適切なモデルによって記述可能であり、適切なセンサにより直接的又は間接的に測定可能であり、かつ作業を実行する人間の効率性及び有効性において重要な役割を果たすという認識に本実施形態は基づいている。
具体的に、図2に示されるとおり、人間の状態は、認知状態及び感情状態によりモデル化することができる。これらのうち認知状態は、作業の実行に直接関係するため、入力(刺激)及び出力(生理学的パラメータ)により、外界とのインタフェースとして機能する。一方、感情状態は、認知状態に影響を受け得る。すなわち、特定の感情状態は、特定の認知状態に基づいて引き起こされ得る。したがって、認知状態及び感情状態は入力によって影響を受け、出力は、認知状態及び感情状態の相互作用の結果として測定される。
このモデルの議論で特に重要なことは、認知状態及び感情状態が互いにどのように相互作用するかに関わらず、認知状態及び感情状態の組み合わせの結果として、人間に入力及び出力があることである。換言すると、このモデルは、測定可能な入力及び出力を客観化するブラックボックスと見ることができ、その因果関係の内部メカニズムは本質的ではないが、入力と出力との因果関係は、認知状態と感情状態との組み合わせに関連している。したがって、このモデルの内部メカニズムの知識がなくても、それぞれ生理学的パラメータを介して測定可能な認知状態及び感情状態の組み合わせにより、人間の状態(本実施形態では、作業に対する集中の程度)を推定することができる。また、推定した人間の状態に基づいて、客観的かつ反復可能な方法により、作業を実行する当該人間の効率性及び有効性を改善又は維持することができる。
そこで、本実施形態に係る推定システム1は、学習のフェーズにおいて、それぞれセンサにより測定可能な脳活動量及び感情状態の2つの指標を、作業に対する集中の程度に対応付ける。そして、本実施形態に係る推定システム1は、推定のフェーズにおいて、学習のフェーズで特定した対応関係に基づいて、それぞれセンサにより測定した脳活動量及び感情状態の2つの指標から作業者(第2作業者51)の作業(第2タスク41)に対する集中の程度を推定する。これら2つの指標のうち、脳活動量(すなわち、認知的負荷(Mental Work Load))は、作業者の認知に利用している脳のリソースの量、すなわち、認知状態を示し得る。一方、上記モデルに示されるとおり、感情状態は、脳活動量と結びつくことで、その脳のリソースが何に割り振られているかを示し得る。そのため、それぞれセンサにより測定される脳活動量及び感情状態の2つの指標を利用することで、作業者が作業に対して集中しているか否かをより正確に把握することができる。よって、本実施形態に係る推定システム1によれば、客観的にかつ反復可能な方法で、作業者の作業に対する集中の程度をより正確に推定することができる。
なお、第1作業者50は、学習に利用するデータを取得する対象となる作業者であり、第2作業者51は、作業に対する集中の程度を推定する対象となる作業者である。第1作業者50と第2作業者51とは、同一人物であってもよいし、同一人物でなくてもよい。また、第1タスク40は、学習に利用するデータを取得する際に作業者に実行させる作業であり、第2タスク41は、集中の程度を推定する対象となる作業である。第1タスク40と第2タスク41とは一致している又は関連しているのが好ましい。ただし、第1タスク40と第2タスク41とは必ずしも一致していなくてもよいし、関連していなくてもよい。各タスク(40、41)は、例えば、生産ラインで作業者が行う作業等のような一定の時間に行う作業量が決まっているものであってよい。
また、脳活動量及び感情状態それぞれの測定方法及び測定具は、実施の形態に応じて適宜選択されてよい。本実施形態では、第1作業者50の脳活動量の測定には、当該第1作業者50の頭部に装着された脳波計30が利用され、第1作業者50の感情状態の測定には、当該第1作業者50の顔を撮影するように配置されたカメラ31が利用される。同様に、第2作業者51の脳活動量の測定には、当該第2作業者51の頭部に装着された脳波計35が利用され、第2作業者51の感情状態の測定には、当該第2作業者51の顔を撮影するように配置されたカメラ36が利用される。上記のとおり、各脳波計(30、35)は、本発明の「第1センサ」の一例であり、各カメラ(31、26)は、本発明の「第2センサ」の一例である。
§2 構成例
[ハードウェア構成]
次に、図3を用いて、本実施形態に係る推定システム1のハードウェア構成の一例について説明する。図3は、本実施形態に係る推定システム1のハードウェア構成の一例を模式的に例示する。
図3に示されるとおり、本実施形態に係る推定システム1は、制御部11、記憶部12、外部インタフェース13、入力装置14、出力装置15、及びドライブ16が電気的に接続されたコンピュータである。なお、図3では、外部インタフェースを「外部I/F」と記載している。
制御部11は、ハードウェアプロセッサであるCPU(Central Processing Unit)、RAM(Random Access Memory)、ROM(Read Only Memory)等を含み、プログラム及び各種データに基づいて情報処理を実行するように構成される。記憶部12は、メモリの一例であり、例えば、ハードディスクドライブ、ソリッドステートドライブ等で構成される。本実施形態では、記憶部12は、プログラム8、第1脳活動データ121、第1感情データ122、実行結果データ123、対応関係データ124、第2脳活動データ125、第2感情データ126等の各種情報を記憶する。
プログラム8は、脳活動量及び感情状態と作業に対する集中の程度との対応関係を特定する学習のフェーズに係る後述の情報処理(図7)、及び特定した対応関係に基づいて、脳活動量及び感情状態から作業に対する集中の程度を推定する推定のフェーズに係る後述の情報処理(図11)を推定システム1に実行させるためのプログラムである。プログラム8は、各情報処理の一連の命令を含む。第1脳活動データ121は、所定の第1タスク40を第1作業者50が実行している間に当該第1作業者50から測定された脳活動量を示す。第1感情データ122は、第1タスク40の実行に関連した第1作業者50の感情状態を示す。実行結果データ123は、第1作業者50が第1タスク40を実行した結果に基づいて特定された、当該第1作業者50の第1タスク40に対する集中の程度を示す。対応関係データ124は、第1脳活動データ121、第1感情データ122、及び実行結果データ123に基づいて特定された、脳活動量及び感情状態と集中の程度との間の対応関係を示す。第2脳活動データ125は、所定の第2タスク41を第2作業者51が実行している間に当該第2作業者51から測定された脳活動量を示す。第2感情データ126は、第2タスク41の実行に関連した第2作業者51の感情状態を示す。詳細は後述する。
外部インタフェース13は、例えば、USB(Universal Serial Bus)ポート、専用ポート等であり、外部装置と接続するためのインタフェースである。外部インタフェース13の種類及び数は、接続される外部装置の種類及び数に応じて適宜選択されてよい。本実施形態では、推定システム1は、外部インタフェース13を介して、各脳波計(30、35)、各カメラ(31、36)、及び出力装置6に接続される。
各脳波計(30、35)は、例えば、各作業者(50、51)の頭部に装着され、当該各作業者(50、51)の脳活動量を測定するために利用される。各脳波計(30、35)の種類は、特に限定されなくてよく、実施の形態に応じて適宜選択されてよい。また、第1作業者50の脳活動量の測定に利用される脳波計30と第2作業者51の脳活動量の測定に利用される脳波計35とは、同一であってもよいし、異なる種類のものであってもよい。
各カメラ(31、36)は、例えば、各作業者(50、51)の近傍において、各作業者(50、51)の顔を撮影可能に配置される。各カメラ(31、36)は、各作業者(50、51)の顔の表情の写り得る画像を撮影し、得られた画像を適宜解析することで、当該各作業者(50、51)の感情状態を測定するために利用される。各カメラ(31、36)の種類は、特に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。また、第1作業者50の感情状態の測定に利用されるカメラ31と第2作業者51の感情状態の測定に利用されるカメラ36とは、同一であってもよいし、異なる種類のものであってもよい。
出力装置6は、第2作業者51に所定の通知を行うために利用される。出力装置6は、何らかの通知が可能であれば、その種類は、特に限定されなくてもよい。出力装置6は、例えば、ディスプレイ、スピーカ、表示灯等であってよい。本実施形態では、この出力装置6は、例えば、第2作業者51の近傍、第2作業者51を監督する監督者の近傍等の、第2作業者51及び監督者の少なくとも一方に所定の通知を伝達可能な範囲に配置される。ただし、出力装置6の配置は、このような例に限定されなくてもよく、実施の形態に応じて適宜決定されてよい。また、出力装置6の種類は、後述する介入処理の種類に応じて適宜選択されてよい。なお、監督者には、第2作業者51を指導する指示者が含まれてよい。
入力装置14は、例えば、マウス、キーボード等の入力を行うための装置である。また、出力装置15は、例えば、ディスプレイ、スピーカ等の出力を行うための装置である。ユーザは、入力装置14及び出力装置15を利用して、推定システム1を操作することができる。
ドライブ16は、例えば、CDドライブ、DVDドライブ等であり、記憶媒体9に記憶されたプログラムを読み込むためのドライブ装置である。ドライブ16の種類は、記憶媒体9の種類に応じて適宜選択されてよい。上記プログラム8は、この記憶媒体9に記憶されていてもよい。
記憶媒体9は、コンピュータその他装置、機械等が記録されたプログラム等の情報を読み取り可能なように、当該プログラム等の情報を、電気的、磁気的、光学的、機械的又は化学的作用によって蓄積する媒体である。推定システム1は、この記憶媒体9から、上記プログラム8を取得してもよい。
ここで、図3では、記憶媒体9の一例として、CD、DVD等のディスク型の記憶媒体を例示している。しかしながら、記憶媒体9の種類は、ディスク型に限定される訳ではなく、ディスク型以外であってもよい。ディスク型以外の記憶媒体として、例えば、フラッシュメモリ等の半導体メモリを挙げることができる。
なお、推定システム1の具体的なハードウェア構成に関して、実施形態に応じて、適宜、構成要素の省略、置換及び追加が可能である。例えば、制御部11は、複数のハードウェアプロセッサを含んでもよい。ハードウェアプロセッサは、マイクロプロセッサ、FPGA(field-programmable gate array)等で構成されてもよい。記憶部12は、制御部11に含まれるRAM及びROMにより構成されてもよい。外部インタフェース13、入力装置14、及び出力装置15、及びドライブ16の少なくともいずれかは省略されてもよい。推定システム1は、ネットワークを介して外部装置とデータ通信するための通信インタフェースを備えてもよい。各脳波計(30、35)及び各カメラ(31、36)が通信インタフェースを備える場合、推定システム1は、各脳波計(30、35)及び各カメラ(31、36)にネットワークを介して接続されてもよい。推定システム1は、複数台のコンピュータで構成されてもよい。この場合、各コンピュータのハードウェア構成は、一致していてもよいし、一致していなくてもよい。また、推定システム1は、提供されるサービス専用に設計された情報処理装置の他、汎用のサーバ装置、PC(Personal Computer)等であってもよい。
[ソフトウェア構成]
次に、図4を用いて、本実施形態に係る推定システム1のソフトウェア構成の一例について説明する。図4は、本実施形態に係る推定システム1のソフトウェア構成の一例を模式的に例示する。
推定システム1の制御部11は、記憶部12に記憶されたプログラム8をRAMに展開する。そして、制御部11は、RAMに展開されたプログラム8をCPUにより解釈し、各構成要素を制御しながら、プログラム8に含まれる一連の命令に基づいた情報処理を実行する。これによって、図4に示されるとおり、本実施形態に係る推定システム1は、ソフトウェアモジュールとして、第1取得部111、第2取得部112、第3取得部113、関係特定部114、第4取得部115、第5取得部116、推定部117、及び出力部118を備えるコンピュータとして構成される。
学習のフェーズにおいて、第1取得部111は、所定の第1タスク40を第1作業者50が実行している間に、第1作業者50の第1生理学的パラメータであって、脳活動量に関する第1生理学的パラメータを第1センサにより測定することで得られた、脳活動量を示す第1脳活動データ121を取得する。本実施形態では、第1取得部111は、脳波計30により第1作業者50から測定された脳活動量を示す第1脳活動データ121を取得する。
第2取得部112は、第1作業者50の第2生理学的パラメータであって、感情状態に関する第2生理学的パラメータを第2センサにより測定することで得られた、第1タスク40の実行に関連した第1作業者50の感情状態を示す第1感情データ122を取得する。本実施形態では、第2取得部112は、カメラ31により測定された第1作業者50の感情状態を示す第1感情データ122を取得する。
第3取得部113は、第1作業者50が第1タスク40を実行した結果に基づいて特定された、当該第1作業者50の第1タスク40に対する集中の程度を示す実行結果データ123を取得する。関係特定部114は、第1脳活動データ121、第1感情データ122、及び実行結果データ123に基づいて、脳活動量及び感情状態と集中の程度との間の対応関係を特定し、特定した対応関係を示す対応関係データ124を生成する。
一方、推定のフェーズにおいて、第4取得部115は、所定の第2タスク41を第2作業者51が実行している間に、第2作業者51の第1生理学的パラメータであって、脳活動量に関する第1生理学的パラメータを第1センサにより測定することで得られた、脳活動量を示す第2脳活動データ125を取得する。本実施形態では、第4取得部115は、脳波計35により第2作業者51から測定された脳活動量を示す第2脳活動データ125を取得する。
第5取得部116は、第2作業者51の第2生理学的パラメータであって、感情状態に関する第2生理学的パラメータを第2センサにより測定することで得られた、第2タスク41の実行に関連した第2作業者51の感情状態を示す第2感情データ126を取得する。本実施形態では、第5取得部116は、カメラ36により測定された第2作業者51の感情状態を示す第2感情データ126を取得する。
推定部117は、対応関係データ124により示される対応関係に基づいて、第2脳活動データ125及び第2感情データ126により示される第2作業者51の脳活動量及び感情状態から、当該第2作業者51の第2タスク41に対する集中の程度を推定する。出力部118は、第2作業者51の第2タスク41に対する集中の程度を推定した結果に関連した出力処理を行う。
推定システム1の各ソフトウェアモジュールに関しては後述する動作例で詳細に説明する。なお、本実施形態では、推定システム1の各ソフトウェアモジュールはいずれも汎用のCPUにより実現されている。しかしながら、各ソフトウェアモジュールを実現する方法は、このような例に限定されなくてもよい。上記ソフトウェアモジュールの一部又は全部が、1又は複数の専用のプロセッサにより実現されてもよい。また、推定システム1のソフトウェア構成に関して、実施の形態に応じて、適宜、ソフトウェアモジュールの省略、置換及び追加が行われてもよい。
(脳活動量)
次に、図5を用いて、脳活動量を表現する方法の一例について説明する。図5は、各脳活動データ(121、125)の一例を模式的に例示する。本実施形態では、脳活動量に関する第1生理学的パラメータとして脳波が採用される。これに応じて、図5に示されるとおり、本実施形態では、各脳活動データ(121、125)における各作業者(50、51)の脳活動量は、位相同期指標の値(以下、PLI値とも記載する)により示される。
一般的に、安静時(例えば、作業前)とタスクを実行している時(例えば、作業中)とで、所定周波数の音刺激に対する聴性定常反応(auditory steady state response:ASSR)の応答性に違いが生じることが知られている。そのため、聴性定常反応の応答性の違いによれば、脳活動量を客観的に測定することができる。
そこで、本実施形態では、イヤホン(不図示)等により各作業者(50、51)に所定周波数の音刺激を与え、各脳波計(30、35)により、聴性定常反応における脳波を測定する。そして、測定した脳波に基づいて、位相同期指標の値を算出する。位相同期指標は、脳波測定の計測チャネル間における位相の同期性を示す。なお、PLI値の算出には、公知の方法(例えば、Yusuke Yokota, Yasushi Naruse, "Phase coherence of auditory steady-state response reflects the amount of cognitive workload in a modified N-back task", Neuroscience Research 100(2015)39-45)が用いられてよい。PLI値として表れる部分131は、聴性定常反応に対するリソースの量を示し、安静時とタスク実行時との差分132は、作業(タスク)の認知に対するリソースの量を示し得る。
本実施形態では、このようなPLI値により、各作業者(50、51)の各タスク(40、41)に対する脳活動量が表される。ただし、脳活動量を表現する方法は、このようなPLI値を用いた例に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。なお、聴性定常反応は、40Hzの音刺激により強く誘発されることが知られている。そのため、本実施形態では、PLI値を得る際には、40Hzの音刺激が利用されてよい。
(感情状態)
次に、図6A及び図6Bを用いて、感情状態を表現する方法の一例について説明する。図6Aは、感情状態を表現する手法の一例を説明するための図である。図6Bは、各感情データ(122、126)の一例を模式的に例示する。本実施形態では、各感情データ(122、126)における各作業者(50、51)の感情状態は、アローザル(Arousal)及びヴァレンス(Valence)の2つの指標により示される。
アローザル及びヴァレンスは、ラッセルの円環モデルに用いられる2つの指標である。アローザル(又は、Activation)は、覚醒度を表す指標であり、覚醒/鎮静の程度、又は活性/非活性の程度を示す。一方、ヴァレンスは、感情価、すなわち感情の質を表す指標であり、ポジティブ/ネガティブの程度、又は快/不快の程度を示す。
図6Aの例では、アローザルが縦軸に割り当てられ、ヴァレンスが横軸に割り当てられており、アローザル及びヴァレンスはそれぞれ、−100〜+100までの数値で示される。各数値と感情状態との対応関係の一例として、アローザル及びヴァレンスの値が共に正である第1象限には、「miracle」の感情状態が対応付けられている。アローザルの値が正であり、ヴァレンスの値が負である第2象限には、「slaughter」の感情状態が対応付けられている。アローザル及びヴァレンスの値が共に負である第3象限には、「fatigued」の感情が対応付けられている。アローザルの値が負であり、ヴァレンスの値が正である第4象限には、「relaxed」の感情が対応付けられている。
本実施形態では、このようにアローザル及びヴァレンスそれぞれの値と感情の種類とが予め対応付けられている。そこで、本実施形態では、感情状態に関する第2生理学的パラメータとして表情を採用する。具体的には、各カメラ(31、36)により得られる撮影画像に写り得る各作業者(50、51)の顔の表情を画像解析することで、当該各作業者(50、51)の表情に表れている感情の種類を特定する。顔の表情に基づいて感情の種類を特定する画像解析には、公知の方法が用いられてよい。公知の感情認識のソフトウェアとして、例えば、Affdex(Affectiva社)、Emotion API(Microsoft社)等を挙げることができる。あるいは、顔の表情に特定の感情が表れていることにより、例えば、口の開度、目の開度、眉毛の角度、口角の相対位置、口角の上がり度合い等の器官の属性が変化する。そのため、顔の画像解析によりこれらの器官の属性情報を取得し、属性情報と感情の種類との対応関係を示す情報(不図示)を参照して、取得した器官の属性情報に基づいて、各作業者(50、51)の感情の種類が特定されてもよい。そして、アローザル及びヴァレンスと感情の種類との対応関係を示す情報(不図示)を参照して、特定した感情の種類に対応するアローザル及びヴァレンスそれぞれの値が取得されてもよい。
これにより、本実施形態では、各カメラ(31、36)により測定される各作業者(50、51)の感情状態を、アローザル及びヴァレンスという2つの指標により表すことができる。なお、各撮影画像から得られるアローザル及びヴァレンスそれぞれの値をそのまま感情状態として取り扱ってもよい。また、図6Bに例示されるように、各作業者(50、51)の感情状態を、例えば、アローザル及びヴァレンスの変化量、象限の変化等により示してもよい。
§3 動作例
[学習のフェーズ]
次に、図7を用いて、脳活動量及び感情状態と作業に対する集中の程度とを対応付けるための学習のフェーズの情報処理について説明する。図7は、学習のフェーズにおける推定システム1の処理手順の一例を例示するフローチャートである。なお、以下で説明する処理手順は、本発明の「学習方法」の一例である。ただし、以下で説明する処理手順は一例に過ぎず、各処理は可能な限り変更されてよい。また、以下で説明する処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が可能である。
(ステップS101)
ステップS101では、制御部11は、所定の第1タスク40の実行を第1作業者50に指示するメッセージを出力する。メッセージの出力先及び出力方法はそれぞれ、特に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。制御部11は、例えば、出力装置15、第1作業者50の近傍に配置される出力装置(不図示)等を介して当該メッセージを出力してもよい。また、制御部11は、例えば、当該メッセージをディスプレイに表示してもよいし、当該メッセージの音声をスピーカから出力してもよい。
実行を指示する第1タスク40の種類は、特に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。第1タスク40は、例えば、端子の接続、ネジ締め等の工場の生産ラインで行われる作業であってもよい。また、第1タスク40は、例えば、自動車の運転等の機械の操作作業であってもよい。脳活動量、感情状態、及び集中の程度の測定のため、第1タスク40は、作業時間及び作業内容が定まっており、作業の成否(又は、良し悪し)が客観的に判定できるものであるのが好ましい。
図8は、本実施形態に係る第1タスク40の一例を例示する。図8により例示される第1タスク40は、タッチパネル400に表示されたライン401をなぞる作業である。タッチパネル400は、例えば、外部インタフェース13を介して推定システム1に接続される。ライン401を含む画像のデータは、記憶部12に保持されていてもよいし、ネットワークを介してNAS(Network Attached Storage)等の外部装置から取得されてもよい。また、ライン401の形状及び寸法は、実施の形態に応じて適宜決定されてよい。
制御部11は、画像データをタッチパネル400に転送することで、ライン401を含む画像をタッチパネル400に表示すると共に、ライン401をなぞるように指示するメッセージを上記の少なくともいずれか方法により出力する。制御部11は、タッチパネル400に対する操作を受け付けて、第1作業者50による第1タスク40の実行を監視する。第1タスク40は、このような単純な作業であってもよい。第1タスク40の実行を指示すると、制御部11は、次のステップS102に処理を進める。
(ステップS102)
図7に戻り、ステップS102では、制御部11は、第1取得部111として動作し、第1タスク40を第1作業者50が実行している間に、第1作業者50の第1生理学的パラメータであって、脳活動量に関する第1生理学的パラメータを第1センサにより測定することで得られた、脳活動量を示す第1脳活動データ121を取得する。本実施形態では、制御部11は、脳波計30により第1作業者50から測定された脳活動量を示す第1脳活動データ121を取得する。
本実施形態では、脳活動量は、聴性定常反応におけるPLI値により示される。そこで、制御部11は、上記第1タスク40を実行中の第1作業者50の脳波を脳波計30により測定し、得られた脳波のデータからPLI値を算出し、算出したPLI値に基づいて、脳活動量を示す第1脳活動データ121を生成する。具体的には、制御部11は、算出したPLI値をそのまま第1脳活動データ121として取得してもよいし、算出したPLI値と所定の基準値(例えば、安静時のPLI値)との差分値を第1脳活動データ121として取得してもよい。また、制御部11は、算出したPLI値に正規化等の所定の演算処理を適用することで得られた値を第1脳活動データ121として取得してもよい。更に、脳波を複数回測定した場合、制御部11は、各測定により得られた脳波のデータから算出したPLI値の平均値、分散等を第1脳活動データ121として取得してもよい。
これにより、制御部11は、PLI値により脳活動量が表現された第1脳活動データ121を取得することができる。第1脳活動データ121を取得すると、制御部11は、次のステップS103に処理を進める。
なお、第1脳活動データ121を取得する方法は、このような例に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。例えば、上記第1脳活動データ121の生成は、推定システム1以外のその他の情報処理装置により行われてもよい。この場合、制御部11は、ネットワーク、記憶媒体等を介して、その他の情報処理装置により生成された第1脳活動データ121を取得してもよい。
(ステップS103)
ステップS103では、制御部11は、第2取得部112として動作し、第1作業者50の第2生理学的パラメータであって、感情状態に関する第2生理学的パラメータを第2センサにより測定することで得られた、第1タスク40の実行に関連した第1作業者50の感情状態を示す第1感情データ122を取得する。本実施形態では、制御部11は、カメラ31により測定された第1作業者50の感情状態を示す第1感情データ122を取得する。
本実施形態では、カメラ31は、第1作業者50の顔を撮影可能に配置される。そこで、制御部11は、第1作業者50の顔の写り得る撮影画像を取得する。次に、制御部11は、上記の方法により、取得した撮影画像に写り得る第1作業者50の顔の表情を画像解析することにより、当該第1作業者50の表情に表れている感情の種類を特定する。続いて、制御部11は、アローザル及びヴァレンスと感情の種類との対応関係を示す情報(不図示)を参照して、特定した感情の種類に対応するアローザル及びヴァレンスそれぞれの値を取得する。アローザル及びヴァレンスと感情の種類との対応関係を示す情報は、例えば、記憶部12に保持されていてもよいし、ネットワークを介してNAS等の外部装置から取得されてもよい。
そして、制御部11は、取得したアローザル及びヴァレンスそれぞれの値に基づいて、感情状態を示す第1感情データ122を生成する。具体例として、制御部11は、制御部11は、取得したアローザル及びヴァレンスそれぞれの値をそのまま第1感情データ122として取得してもよい。また、制御部11は、複数回の感情の測定(上記一連の処理)を実施し、各測定により得られたアローザル及びヴァレンスそれぞれの値の総和、平均値、分布等を第1感情データ122として取得してもよい。また、制御部11は、第1タスク40の実行前後に感情の測定を実施し、第1タスク40の実行によるアローザル及びヴァレンスそれぞれの変化量として、各測定により得られたアローザル及びヴァレンスそれぞれの値の差分を算出してもよい。制御部11は、この第1タスク40の実行によるアローザル及びヴァレンスそれぞれの変化量を第1感情データ122として取得してもよい。
これにより、制御部11は、アローザル及びヴァレンスの2つの指標により感情状態が表現された第1感情データ122を取得することができる。第1感情データ122を取得すると、制御部11は、次のステップS104に処理を進める。
なお、第1感情データ122を取得する方法は、このような例に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。例えば、上記第1感情データ122の生成は、推定システム1以外のその他の情報処理装置により行われてもよい。この場合、制御部11は、ネットワーク、記憶媒体等を介して、その他の情報処理装置により生成された第1感情データ122を取得してもよい。
(ステップS104)
ステップS104では、制御部11は、第3取得部113として動作し、第1作業者50が第1タスク40を実行した結果に基づいて特定された、当該第1作業者50の第1タスク40に対する集中の程度を示す実行結果データ123を取得する。
集中の程度の表現方法は、特に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。集中の程度は、例えば、集中しているか否かを示す2値により表されてもよいし、複数の分類(集中している/していない/判定不能、高い/中程度/低い、等)により表されてもよいし、集中度合に対応する連続値(例えば、0〜100)により表されてもよい。
また、集中の程度を特定する方法も、特に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。例えば、第1作業者50自身、又は第1作業者50が第1タスク40を実行している様子を観察した観察者が、第1作業者50の第1タスク40に対する集中の程度を評価してもよい。この場合、制御部11は、入力装置14、タッチパネル400等により、第1作業者50又は観察者からの入力を受け付けることで、第1タスク40に対する集中の程度を特定することができる。
第1タスク40に対する集中の程度は、第1作業者50及び観察者の主観によらず、客観的な手法により特定することもできる。例えば、制御部11は、上記ステップS102により測定した脳活動量の変動に基づいて、第1作業者50の第1タスク40に対する集中の程度を特定してもよい。具体的な特定方法の一例として、制御部11は、脳波計30により得られた脳波のデータから、測定のウィンドウサイズ(例えば、30秒〜60秒)内における脳活動量の変動量を算出する。そして、制御部11は、算出した脳活動量の変動量が所定の閾値以下である状態が所定ウィンドウ数(例えば、5つ)以上持続しているか否かを判定する。脳活動量の変動量が所定の閾値以下である状態が所定ウィンドウ数以上持続している場合、制御部11は、第1作業者50は第1タスク40に対して集中していると評価してもよい。一方、そうではない場合、制御部11は、第1作業者50は第1タスク40に対して集中していないと評価してもよい。
また、例えば、第1タスク40に対する集中の程度は、第1タスク40の遂行にかかった時間、第1タスク40の遂行の速度、及び第1タスク40の実行のクオリティの3つの指標のうちの少なくともいずれかによって特定されてよい。各指標は、第1タスク40の種類に応じて適宜測定されてよい。図8で例示される本実施形態に係る第1タスク40では、制御部11は、以下のとおり、各指標を測定することができる。
すなわち、制御部11は、タッチパネル400上で第1作業者50がライン401をなぞっている時間を監視することで、第1タスク40の遂行にかかった時間(以下、遂行時間とも称する)、換言すると、第1タスク40の実行を開始してから完了するまでにかかった時間を測定することができる。この指標によれば、制御部11は、測定された遂行時間が所定の閾値以下である場合に、第1タスク40に対する集中の程度は高いと判定し、そうではない場合に、第1タスク40に対する集中の程度は低いと判定することができる。
また、制御部11は、これにより得られた第1タスク40の遂行時間に基づいて、第1タスク40の遂行の速度を算出することができる。この指標によれば、制御部11は、算出した遂行速度が所定の閾値以上である場合に、第1タスク40に対する集中の程度は高いと判定し、そうではない場合に、第1タスク40に対する集中の程度は低いと判定することができる。
また、第1タスク40は、ライン401をなぞるものであるから、ライン401を正確になぞれた場合に、第1タスク40の実行のクオリティは高く、そうではない場合に、第1タスク40の実行のクオリティは低いと評価可能である。そこで、制御部11は、第1作業者50がライン401をなぞっている間、タッチパネル400上を第1作業者50がタッチした位置とライン401とのずれの量を集計してもよい。そして、制御部11は、集計したずれの量に基づいて、第1タスク40の実行のクオリティ、換言すると、第1タスク40をどれくらい良く完了したかを特定してもよい。この指標によれば、制御部11は、第1タスク40の実行のクオリティが所定の閾値以上である場合に、第1タスク40に対する集中の程度は高いと判定し、そうではない場合に、第1タスク40に対する集中の程度は低いと判定することができる。
また、制御部11は、上記時間、速度、及びクオリティのうちの2つ以上の指標の組み合わせに基づいて、第1タスク40に対する集中の判定を評価してもよい。更に、制御部11は、第1タスク40を第1作業者50に複数回遂行させて、上記時間、速度、及びクオリティの少なくともいずれかのばらつき(例えば、分散、標準偏差)を算出してもよい。そして、制御部11は、このばらつきが大きいほど第1タスク40に対する集中の程度は低いと判定し、ばらつきが小さいほど第1タスク40に対する集中の程度は高いと判定してもよい。
制御部11は、例えば、上記いずれかの方法により、第1作業者50の第1タスク40に対する集中の程度を特定し、特定した集中の程度に基づいて、実行結果データ123を生成する。これにより、制御部11は、実行結果データ123を取得することができる。実行結果データ123を取得すると、制御部11は、次のステップS105に処理を進める。
なお、実行結果データ123を取得する方法は、このような例に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。例えば、上記実行結果データ123の生成は、推定システム1以外のその他の情報処理装置により行われてもよい。この場合、制御部11は、ネットワーク、記憶媒体等を介して、その他の情報処理装置により生成された実行結果データ123を取得してもよい。
また、上記ステップS102〜S104の処理順序は、図7の例に限定されなくてもよく、実施の形態に応じて適宜変更されてもよい。例えば、ステップS102の処理順序とステップS103の処理順序とは入れ替わってもよい。ステップS102〜S104の処理は並列に実行されてもよい。
(ステップS105及びS106)
ステップS105では、制御部11は、関係特定部114として動作し、ステップS102〜S104により取得した第1脳活動データ121、第1感情データ122、及び実行結果データ123に基づいて、脳活動量及び感情状態と集中の程度との間の対応関係を特定する。
次のステップS106では、制御部11は、特定した対応関係を示す対応関係データ124を生成する。そして、制御部11は、生成した対応関係データ124を記憶部12に保存する。これにより、制御部11は、本動作例に係る学習のフェーズの情報処理を終了する。
なお、脳活動量及び感情状態と集中の程度との対応関係を特定するのに利用する第1脳活動データ121、第1感情データ122、及び実行結果データ123の件数は、実施の形態に応じて適宜決定されてよい。制御部11は、ステップS101〜S104の処理を適宜繰り返すことで、第1脳活動データ121、第1感情データ122、及び実行結果データ123を収集することができる。
また、脳活動量及び感情状態と集中の程度との対応関係を特定する方法は、特に限定されなくてもよく、実施の形態に応じて適宜決定されてよい。例えば、制御部11は、第1脳活動データ121により示される脳活動量、第1感情データ122により示される感情状態、及び実行結果データ123により示される集中の程度の分布に基づいて、脳活動量及び感情状態と集中の程度との対応関係を特定することができる。
ここで、図9A及び図9Bを用いて、第1タスク40に対する集中の程度が高いケース及び低いケースそれぞれで、第1タスク40の実行を習得していく過程において、ステップS102及びS103により得られる第1脳活動データ121及び第1感情データ122にみられる傾向の一例を説明する。図9Aは、第1タスク40に対する集中の程度が高い作業者から得られる第1脳活動データ121及び第1感情データ122の推移の一例を模式的に例示する。図9Bは、第1タスク40に対する集中の程度が低い作業者から得られる第1脳活動データ121及び第1感情データ122の推移の一例を模式的に例示する。
第1タスク40の実行に作業者が集中している場合、第1タスク40に慣れていない学習初期の段階T10では、作業者の脳のリソースの多くは、第1タスク40の実行に利用され、また、その変動量は小さいと想定される。そのため、図9Aに示されるとおり、学習初期の段階T10では、得られるPLI値は比較的に小さくなり、PLI値の変動量(例えば、分散)も小さくなり得る。また、第1タスク40の実行に作業者が集中している場合、この学習初期の段階T10では、作業者の感情状態のうち覚醒度は比較的に高くなる一方で、第1タスク40の実行の緊張感から、ネガティブな感情価が高くなると想定される。そのため、感情状態を示す値は、アローザル及びヴァレンスのグラフでは第2象限に表れ得る。
続いて、作業者が、第1タスク40の実行に集中しながら、第1タスク40を繰り返し実行することで、当該第1タスク40に慣れ始めてくると、当該作業者の第1タスク40を実行する能力が向上する。これにより、第1タスク40の実行を詳細に認知しなくても、当該第1タスク40を完遂できるようになるため、第1タスク40の実行に利用する脳のリソースの量は減ると想定される。また、第1タスク40に慣れ始めると、第1タスク40の実行の緊張感が薄れてくることから、ポジティブな感情価が高くなると想定される。そのため、第1タスク40の実行に作業者が集中している場合に、第1タスク40に慣れ始めた学習中期の段階T11では、得られるPLI値は比較的に大きくなり、感情状態を示す値は、アローザル及びヴァレンスのグラフで第1象限に表れ得る。
更に、第1タスク40に完全に慣れると、第1タスク40の実行に利用する脳のリソースの量は更に少なくなり、また、第1タスク40の実行に飽きてくることから、ネガティブな感情価が高くなると想定される。そのため、第1タスク40の実行に作業者が集中している場合に、第1タスク40に慣れた学習終期の段階T12では、得られるPLI値は比較的に大きくなり、感情状態を示す値は、アローザル及びヴァレンスのグラフで第2象限に表れ得る。
一方、第1タスク40の実行に作業者が集中していない場合、脳活動量及び感情状態の示す傾向はばらつき得る。この場合、第1タスク40に慣れていない学習初期の段階T20では、作業者の脳のリソースは、第1タスク40の実行の他に、当該第1タスク40以外の何らかの事象にも利用されていると想定される。そのため、図9Bに示されるとおり、学習初期の段階T20では、得られるPLI値は比較的に小さくなり得るが、PLI値の変動量(例えば、分散)は比較的に大きくなり得る。また、第1タスク40の実行に作業者が集中していない場合には、作業者の覚醒度は低くなると想定される。そのため、学習初期の段階T20では、感情状態を示す値は、アローザル及びヴァレンスのグラフでは第3象限に表れ得る。
続いて、作業者が、第1タスク40の実行に集中していない場合には、第1タスク40を繰り返し実行しても、当該第1タスク40を実行する能力の向上は小さいと想定される。そのため、第1タスク40に慣れ始めた学習中期の段階T21でも、第1タスク40の実行に利用する脳のリソースの量はあまり減らないと想定される。よって、この段階T21でも、得られるPLI値は比較的に小さいままとなり得る。また、第1タスク40に慣れ始めたことで、ポジティブな感情価が高くなり得るが、作業者の覚醒度は低いままと想定される。そのため、この段階T21では、感情状態を示す値は、アローザル及びヴァレンスのグラフで第4象限に表れ得る。第1タスク40の実行に作業者が集中していない場合、この学習中期の段階T21以降は、脳活動量及び感情状態の傾向は、一定の方向には収束せず、ばらつくものと想定される。
次に、図10を用いて、図9A及び図9Bに例示される傾向から導出される脳活動量及び感情状態と集中の程度との対応関係の一例について説明する。図10は、図9A及び図9Bに例示される傾向に適合する各データ121〜123が得られた場合に、上記ステップS105及びS106により生成される対応関係データ124の一例を模式的に例示する。
図10で例示される対応関係データ124は、テーブル形式で表現されている。各レコード(行データ)は、第1脳活動データ121により示される脳活動量、第1感情データ122により示される感情状態、及び実行結果データ123により示される集中の程度の分布に基づいて特定される、脳活動量及び感情状態と集中の程度のとの1つの対応関係を示す。具体的には、その分布の具合に基づいて、脳活動量及び感情状態それぞれに対して、集中の程度を判定するための閾値が設定される。各レコードには、これにより設定された脳活動量及び感情状態に対して閾値が格納されている。
例えば、1つ目のレコードは、PLI値の平均値がTh1未満であり、PLI値の分散がTh2未満であり、かつ感情状態の値がアローザル及びヴァレンスのグラフの第2象限に属する場合に、集中の程度は中であることを示している。この1つ目のレコードは、上記第1タスク40に集中している場合における学習初期の段階T10に対応している。
また、例えば、2つ目のレコードは、PLI値の平均値がTh3以上であり、PLI値の分散がTh4未満であり、かつ感情状態の値がアローザル及びヴァレンスのグラフの第2象限に属する場合に、集中の程度は高いことを示している。この2つ目のレコードは、上記第1タスク40に集中している場合における学習終期の段階T12に対応している。
また、例えば、3つ目のレコードは、PLI値の平均値がTh5未満であり、PLI値の分散がTh6以上であり、かつ感情状態の値がアローザル及びヴァレンスのグラフの第3象限に属する場合に、集中の程度は低いことを示している。この3つ目のレコードは、上記第1タスク40に集中していない場合における学習初期の段階T20に対応している。
なお、図10で例示した各レコードの内容は、図9A及び図9Bに例示される傾向から導出される対応関係の一例を示すに過ぎず、脳活動量及び感情状態と集中の程度との対応関係は、これらの例に限定されなくてよく、実施の形態に応じて適宜決定されてよい。また、図10では、対応関係データ124はテーブル形式で表現されているが、対応関係データ124のデータ形式は、このようなテーブル形式に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。
[推定のフェーズ]
次に、図11を用いて、学習のフェーズで特定した対応関係に基づいて、対象の作業者の作業に対する集中の程度を推定する推定のフェーズの情報処理について説明する。図11は、推定のフェーズにおける推定システム1の処理手順の一例を例示するフローチャートである。なお、以下で説明する処理手順は、本発明の「推定方法」の一例である。ただし、以下で説明する処理手順は一例に過ぎず、各処理は可能な限り変更されてよい。また、以下で説明する処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が可能である。
(ステップS201)
ステップS201では、制御部11は、第4取得部115として動作し、所定の第2タスク41を第2作業者51が実行している間に、第2作業者51の第1生理学的パラメータであって、脳活動量に関する第1生理学的パラメータを第1センサにより測定することで得られた、脳活動量を示す第2脳活動データ125を取得する。本実施形態では、制御部11は、脳波計35により第2作業者51から測定された脳活動量を示す第2脳活動データ125を取得する。第2脳活動データ125を取得すると、制御部11は、次のステップS202に処理を進める。
本ステップS201は、上記ステップS102と同様に実行可能である。すなわち、制御部11は、上記第1脳活動データ121を取得した方法と同様の方法により、第2作業者51の脳活動量を示す第2脳活動データ125を取得することができる。例えば、制御部11は、第2タスク41を実行中の第2作業者51の脳波を脳波計35により測定し、得られた脳波のデータからPLI値を算出することで、第2作業者51の脳活動量を示す第2脳活動データ125を取得することができる。ただし、ステップS201の処理は、ステップS102の処理と一致していなくてもよく、ステップS102とは異なる方法で(例えば、ステップS102で採用しなかった方法で)、第2作業者51の脳活動量を示す第2脳活動データ125を取得してもよい。
また、第2タスク41の種類は、第1タスク40と同様に、特に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。第2タスク41は、例えば、端子の接続、ネジ締め等の工場の生産ラインで行われる作業であってもよい。また、第2タスク41は、例えば、自動車の運転等の機械の操作作業であってもよい。第1タスク40と第2タスク41とは、一致していてもよいし、相違していてもよい。
なお、制御部11は、第2作業者51が第2タスク41の実行を開始したことをトリガとして、本ステップS201の処理の実行を開始してもよい。第2作業者51が第2タスク41の実行を開始したことは、実施の形態に応じて適宜検知されてよい。当該検知には、例えば、カメラ、センサ等が利用されてよい。また、制御部11は、第2作業者51又はその他の人物からの入力を受け付けることで、第2作業者51が第2タスク41の実行を開始したこと検知してもよい。
(ステップS202)
ステップS202では、制御部11は、第5取得部116として動作し、第2作業者51の第2生理学的パラメータであって、感情状態に関する第2生理学的パラメータを第2センサにより測定することで得られた、第2タスク41の実行に関連した第2作業者51の感情状態を示す第2感情データ126を取得する。本実施形態では、制御部11は、カメラ36により測定された第2作業者51の感情状態を示す第2感情データ126を取得する。第2感情データ126を取得すると、制御部11は、次のステップS203に処理を進める。
本ステップS202は、上記ステップS103と同様に実行可能である。すなわち、制御部11は、上記第1感情データ122を取得した方法と同様の方法により、第2作業者51の感情状態を示す第2感情データ126を取得することができる。例えば、制御部11は、カメラ36から撮影画像を取得し、取得した撮影画像に写り得る第2作業者51の顔の表情を画像解析することで、当該第2作業者51の表情に表れている感情の種類を特定する。そして、制御部11は、アローザル及びヴァレンスと感情の種類との対応関係を示す情報を参照して、特定した感情の種類に対応するアローザル及びヴァレンスそれぞれの値を取得することで、第2作業者51の感情状態を示す第2感情データ126を取得することができる。ただし、ステップS202の処理は、ステップS103の処理と一致していなくてもよく、ステップS103とは異なる方法で(例えば、ステップS103で採用しなかった方法で)、第2作業者51の感情状態を示す第2感情データ126を取得してもよい。
なお、上記ステップS201及びS202の処理順序は、図11の例に限定されなくてもよく、実施の形態に応じて適宜変更されてもよい。例えば、ステップS201の処理順序とステップS202の処理順序とは入れ替わってもよい。また、ステップS201及びS202の処理は並列に実行されてもよい。
(ステップS203)
ステップS203では、制御部11は、推定部117として動作し、対応関係データ124を取得する。そして、制御部11は、取得した対応関係データ124により示される対応関係に基づいて、第2脳活動データ125及び第2感情データ126により示される第2作業者51の脳活動量及び感情状態から、当該第2作業者51の第2タスク41に対する集中の程度を推定する。
例えば、制御部11は、対応関係データ124により示される対応関係に基づいて、第2脳活動データ125及び第2感情データ126により示される第2作業者51の脳活動量及び感情状態に対応する、第2タスク41に対する集中の程度を導出する。集中の程度を導出は、対応関係データ124のデータ形式に応じて適宜行われてよい。
本実施形態では、対応関係データ124は、図10で例示されるテーブル形式で表現されており、各レコードには、上記分布に基づいて設定された、脳活動量及び感情状態それぞれに対する閾値が格納されている。そこで、制御部11は、ステップS201及びS202の処理により得られた第2作業者51の脳活動量及び感情状態それぞれと各レコードに格納された閾値を比較することで、第2作業者51の第2タスク41に対する集中の程度を推定する。
具体的には、制御部11は、ステップS201及びS202の処理により得られた第2作業者51の脳活動量及び感情状態と、各レコードの脳活動量及び感情状態それぞれのフィールドの値とを照合する。そして、制御部11は、ステップS201及びS202の処理により得られた第2作業者51の脳活動量及び感情状態に適合するレコードを抽出し、抽出したレコードの集中の程度のフィールドに格納された値を取得する。
これにより、制御部11は、対応関係データ124により示される対応関係に基づいて、第2脳活動データ125及び第2感情データ126により示される第2作業者51の脳活動量及び感情状態に対応する、第2タスク41に対する集中の程度を導出することができる。第2タスク41に対する集中の程度の推定(導出)が完了すると、制御部11は、次のステップS204に処理を進める。
(ステップS204)
ステップS204では、制御部11は、出力部118として動作し、第2作業者51の第2タスク41に対する集中の程度を推定した結果に関連した出力処理を行う。
出力処理の内容は、推定の結果に関連しているのであれば、特に限定されなくてもよい。本実施形態では、制御部11は、ステップS203における推定の結果により示される第2作業者51の第2タスク41に対する集中の程度に基づいて、第2タスク41に対する介入処理の内容を決定する。そして、制御部11は、出力処理として、決定した内容の介入処理を実行する。
介入処理は、第2作業者51の第2タスク41の実行に介入するための処理であり、当該第2作業者51の当該第2タスク41に対する集中の程度に影響を及ぼし得る処理であるのが好ましい。本実施形態では、出力装置6が、第2作業者51及び監督者(指導者)の少なくとも一方に所定の通知を伝達可能な範囲に配置されている。そこで、本実施形態では、制御部11は、ステップS203における推定の結果により示される第2作業者51の第2タスク41に対する集中の程度に基づいて、当該第2作業者51が第2タスク41に集中しているか否かを判定する。第2作業者51が第2タスク41に集中していると判定される場合には、制御部11は、本ステップS204による出力処理を省略してもよいし、第2作業者51が第2タスク41に集中していることを、第2作業者51を監督する監督者等の第2作業者51以外の人物に通知してもよい。一方、第2作業者51が第2タスク41に集中していないと判定される場合、制御部11は、第2作業者51が第2タスク41に集中していないことを知らせるための注意喚起を実施することを介入処理の内容として決定する。そして、制御部11は、当該介入処理として、出力装置6を介して注意喚起を実施する。これにより、推定結果に関連した出力処理が完了すると、制御部11は、本動作例に係る推定のフェーズの情報処理を終了する。
なお、第2作業者51が第2タスク41に集中しているか否かを判定する方法は、集中の程度の表現方法に応じて適宜決定されてよい。例えば、集中の程度が、集中しているか否かを示す2値により表されている場合、制御部11は、集中の程度を示す値に応じて、第2作業者51が第2タスク41に集中しているか否かを判定することができる。また、例えば、集中の程度が複数の分類で表現されている場合、各分類は、集中しているか否かのいずれかに対応付けられてよく、制御部11は、集中の程度を示す分類に応じて、第2作業者51が第2タスク41に集中しているか否かを判定することができる。また、例えば、集中の程度が連続値で表現されている場合、制御部11は、集中の程度を示す連続値と閾値とを比較することで、第2作業者51が第2タスク41に集中しているか否かを判定することができる。この場合、評価基準となる閾値は、適宜設定されてよい。
また、注意喚起を行う方法及びその内容は、実施の形態に応じて適宜決定されてよい。注意喚起の内容は、第2作業者51が第2タスク41に集中していないことを知らせることに関連していれば、特に限定されなくてもよい。例えば、出力装置6がディスプレイ又はスピーカである場合、制御部11は、当該注意喚起の介入処理として、集中していないことを知らせる警告、状態改善を促すメッセージ等をディスプレイに表示する又はスピーカを介して音声出力してもよい。状態改善を促すメッセージは、例えば、ストレッチ、深呼吸等を行うことによりリラックスするように指示するものであってよい。また、例えば、出力装置6が表示灯である場合、制御部11は、当該注意喚起の介入処理として、集中していないことを知らせる警告を行うために、点滅させる等の所定の表示方法で表示灯を稼働させてよい。
本実施形態では、制御部11は、このような注意喚起を、第2作業者51及び監督者の少なくとも一方に所定の通知を伝達可能な範囲に配置されている出力装置6を介して実施する。第2作業者51に対して注意喚起を行った場合には、当該注意喚起の介入処理によって、第2タスク41の実行に集中するように促すことで第2作業者51の第2タスク41に対する効率性及び有効性を改善又は維持することができる。加えて、第2作業者51が第2タスク41に集中していないと継続的に判定される場合に、第2タスク41の実行を止めるように第2作業者51に促してもよい。これにより、集中力が低下していることに起因して第2作業者51が第2タスク41の実行にあたり予期せぬトラブルに巻き込まれるのを防止することができる。
一方、第2作業者51を監督する監督者に対して注意喚起を行った場合には、第2作業者51の集中の程度が低下していることを監督者に知らせることで、当該第2作業者51の作業状態を改善するように当該作業者に促すことができる。加えて、第2作業者51が第2タスク41に集中していないと継続的に判定される場合に、第2タスク41の実行を止めるように監督者にレコメンドしてもよい。これにより、集中力が低下していることに起因して、第2作業者51が第2タスク41の実行にあたり予期せぬトラブルを発生させてしまうのを未然に防止するための施策を監督者にとらせることができる。
[特徴]
以上のとおり、本実施形態に係る推定システム1は、ステップS101〜S106の学習のフェーズにおいて、第1タスク40を実行させた第1作業者50から得られる第1脳活動データ121、第1感情データ122、及び実行結果データ123を利用して、脳活動量及び感情状態と作業に対する集中の程度との対応関係を学習する。そして、本実施形態に係る推定システム1は、ステップS201〜S204の推定のフェーズにおいて、学習のフェーズで得られた対応関係に基づいて、脳活動量及び感情状態の2つの指標から作業者(第2作業者51)の作業(第2タスク41)に対する集中の程度を推定する。
これら2つの指標のうち、脳活動量は、作業者の認知に利用している脳のリソースの量を示し得る。ただし、この脳活動量の指標のみでは、その脳のリソースが作業に割り振られているのか、作業以外の他の対象に割り振られているのかが不明である。そこで、本実施形態では、作業者の作業に対する集中の程度を推定するための指標として、脳活動量の他に、感情状態を更に利用する。図2のモデルに示されるとおり、この感情状態は、認知の対象に応じて変動し得るため、脳活動量と結びつくことで、その脳のリソースが何に割り振られているかを示し得る。そのため、脳活動量及び感情状態の2つの指標を利用することで、作業者が作業に対して集中しているか否かをより正確に把握することができる。また、脳活動量及び感情状態はそれぞれ、各生理学的パラメータ(本実施形態では、脳波及び顔の表情)に出力されるため、所定のセンサ(本実施形態では、脳波計及びカメラ)により測定可能である。したがって、本実施形態に係る推定システム1によれば、客観的にかつ反復可能な方法で、作業者の作業に対する集中の程度をより正確に推定することができる。
また、本実施形態では、推定システム1は、ステップS204により、ステップS203の推定の結果により示される第2作業者51の第2タスク41に対する集中の程度に基づいて、第2タスク41に対する介入処理の内容を決定する。そして、制御部11は、出力処理として、決定した内容の介入処理を実行する。具体的には、第2作業者51が第2タスク41に集中していないと判定される場合に、制御部11は、第2作業者51が第2タスク41に集中していないことを知らせるための注意喚起を実施することを介入処理の内容として決定する。そして、制御部11は、当該介入処理として、出力装置6を介して注意喚起を実施する。これにより、客観的かつ反復可能な方法で、作業を実行する作業者の効率性及び有効性を改善又は維持することができる。また、第2作業者51の集中力が低下していることに起因して、第2作業者51が第2タスク41の実行にあたり予期せぬトラブルを発生させてしてしまうのを防止することができる。
§4 変形例
以上、本発明の実施の形態を詳細に説明してきたが、前述までの説明はあらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。例えば、以下のような変更が可能である。なお、以下では、上記実施形態と同様の構成要素に関しては同様の符号を用い、上記実施形態と同様の点については、適宜説明を省略した。以下の変形例は適宜組み合わせ可能である。
<4.1>
上記実施形態では、各脳波計(30、35)により、各作業者(50、51)の脳活動量を測定している。また、各作業者(50、51)の脳活動量は、所定周波数の音刺激に対する聴性定常反応におけるPLI値により示されている。しかしながら、脳活動量を測定するための第1センサ及び脳活動量の表現方法はそれぞれ、このような例に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。また、脳活動量に関する第1生理学的パラメータは、脳波に限られなくてもよく、実施の形態に応じて適宜選択されてよい。
第1生理学的パラメータとして脳波を採用する場合、各作業者(50、51)の脳波を測定する第1センサには、上記脳波計の他、脳磁計が用いられてよい。また、第1生理学的パラメータとして、上記脳波の他、脳血流が採用されてもよい。この場合、脳活動量(脳血流)を測定するための第1センサには、磁気共鳴画像装置が用いられてもよい。また、第1生理学的パラメータとして、瞳孔径又は視線方向が採用されてもよい。この場合、脳活動量(瞳孔径又は視線方向)を測定するための第1センサには、カメラが用いられてもよい。これらに応じて、脳活動量は、PLI値以外の指標により表されてもよい。
したがって、上記実施形態では、脳活動量に関する第1生理学的パラメータとして、例えば、脳波、瞳孔径、視線方向、又はこれらの組み合わせが採用されてよい。これに応じて、各作業者(50、51)の脳波を測定する第1センサには、脳波計、脳磁計、カメラ、又はこれらの組み合わせが用いられてもよい。
<4.2>
上記実施形態では、各カメラ(31、36)により各作業者(50、51)の顔の表情を撮影することで、当該各作業者(50、51)の感情状態を測定している。しかしながら、感情状態を測定するための第2センサ及び第2生理学的パラメータは、このような例に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。
例えば、各カメラ(31、36)により各作業者(50、51)の瞳孔径を撮影することで、各作業者(50、51)の感情状態が測定されてもよい。瞳孔径により感情状態を測定する場合、その時間分解能は200Hz以上に設定されてよい。また、例えば、各作業者(50、51)の感情状態は、心電図により測定されてもよい。心電図により感情状態を測定する場合、その時間分解能は500Hz以上に設定されてよい。
また、例えば、各作業者(50、51)の感情状態は、脳波により測定されてもよい。脳波により感情状態を測定する方法の一例として、特定の感情状態を誘発する刺激(例えば、音楽、写真、映像等による刺激)と、当該刺激を付与したときに誘発される脳波パターン又は事象関連電位との対応関係を示す対応関係情報を予め取得してもよい。そして、各タスク(40、41)の実行に関連して各作業者(50、51)の脳波を脳波計により測定し、対応関係情報を参照して、測定された脳波パターン又は事象関連電位に基づいて、各作業者(50、51)の感情状態を導出してもよい。
また、例えば、各作業者(50、51)の感情状態は、脳血流により測定されてもよい。脳血流により感情状態を測定する方法の一例として、特定の感情と、脳血流の状態又は変化との対応関係を示す対応関係情報を予め取得してもよい。そして、各タスク(40、41)の実行に関連して各作業者(50、51)の脳血流を磁気共鳴画像装置により測定し、対応関係情報を参照して、測定された脳血流の状態又は変化に基づいて、各作業者(50、51)の感情状態を導出してもよい。
また、例えば、各作業者(50、51)の感情状態は、音声により測定されてもよい。音声により感情状態を測定する方法の一例として、特定の感情と音声の特徴量との対応関係を示す対応関係情報を予め取得してもよい。音声の特徴量には、例えば、ピーク、トーン、ピークとピークとの間の間隔等が採用されてよい。そして、各タスク(40、41)の実行に関連して各作業者(50、51)の音声をマイクロフォンにより測定し、測定された音声データから当該音声の特徴量を算出し、対応関係情報を参照して、算出された音声の特徴量に基づいて、各作業者(50、51)の感情状態を導出してもよい。その他、各作業者(50、51)の感情状態は、例えば、血圧、皮膚電気反射等から測定されてよい。この場合、第2センサには、例えば、血圧計、皮膚電気反応計等が用いられてよい。
したがって、上記実施形態では、感情状態に関する第2生理学的パラメータとして、例えば、表情、瞳孔径、音声、脳波、心電図、血圧、皮膚電気反射、又はこれらの組み合わせが採用されてよい。これに応じて、第2センサには、例えば、カメラ、マイクロフォン、脳波計、脳磁計、磁気共鳴画像装置、心電計、血圧計、皮膚電気反応計、又はこれらの組み合わせが用いられてよい。なお、第1生理学的パラメータ及び第2生理学的パラメータとして同種の生理学的パラメータを測定対象とする場合、第1センサ及び第2センサは同じであってよい。
なお、感情状態の測定では、感情状態の揺らぎ(すなわち、感情状態の連続的な変化)を取得するのが好ましい。そのため、感情状態の測定の時間分解能は比較的に高く設定されてよい。上記のとおり、瞳孔径により感情状態を測定する場合、その時間分解能は200Hz以上に設定されてよい。また、心電図により感情状態を測定する場合、その時間分解能は500Hz以上に設定されてよい。
また、上記実施形態では、アローザル及びヴァレンスの測定は、各カメラ(31、36)を用いて行われている。しかしながら、アローザル及びヴァレンスを測定する方法は、このような例に限定されなくてもよい。アローザル及びヴァレンスの測定には、カメラ以外のセンサが用いられてもよい。更に、アローザルの測定及びヴァレンスの測定にはそれぞれ、別個のセンサが用いられてもよい。
また、上記実施形態では、図6A及び図6Bに示されるとおり、感情状態は、アローザル及びヴァレンスの2軸で表現されている。しかしながら、感情状態の表現方法は、このような例に限定されなくてもよく、実施の形態に応じて適宜決定されてよい。感情状態は、例えば、アローザル及びヴァレンスの和として1軸で表現されてもよい。
<4.3>
上記実施形態に係るハードウェア構成の一例では、推定システム1は、1つのコンピュータで構成されている(図3)。しかしながら、推定システム1のハードウェア構成は、このような例に限定されなくてもよく、実施の形態に応じて適宜決定されてよい。例えば、推定システム1から学習又は推定のフェーズに対応する一部の構成を抽出することで、別の形態に係るシステム、装置、方法、プログラム、及びプログラムを記憶した記憶媒体を構築してもよい。
図12は、本変形例に係る推定システム1Aのソフトウェア構成の一例を模式的に例示する。本変形例に係る推定システム1Aは、学習装置100及び推定装置101により構成される。学習装置100は、ソフトウェアモジュールとして、第1取得部111、第2取得部112、第3取得部113、及び関係特定部114を備えるコンピュータとして構成される。これにより、学習装置100は、上記学習のフェーズにおけるステップS101〜S106の処理を実行する。すなわち、学習装置100は、第1脳活動データ121、第1感情データ122、及び実行結果データ123を取得し、取得した第1脳活動データ121、第1感情データ122、及び実行結果データ123に基づいて、脳活動量及び感情状態と集中の程度との対応関係を示す対応関係データ124を生成する。
一方、推定装置101は、ソフトウェアモジュールとして、第1取得部115A、第2取得部116A、推定部117、及び出力部118を備えるコンピュータとして構成される。第1取得部115Aは、上記第4取得部115と同様であり、第2取得部116Aは、上記第5取得部116と同様である。これにより、推定装置101は、上記推定のフェーズにおけるステップS201〜S204の処理を実行する。すなわち、推定装置101は、第2脳活動データ125及び第2感情データ126を取得し、対応関係データ124により示される対応関係に基づいて、取得した第2脳活動データ125及び第2感情データ126から作業に対する集中の程度を推定する。そして、推定装置101は、作業に対する集中の程度を推定した結果に関連した出力処理を行う。
なお、学習装置100及び推定装置101のハードウェア構成はそれぞれ、実施の形態に応じて適宜決定されてよく、上記推定システム1と同様であってよい。例えば、学習装置100及び推定装置101はそれぞれ、制御部、記憶部、外部インタフェース、入力装置、出力装置、及びドライブが電気的に接続されたコンピュータであってよい。学習装置100は、第1作業者50の脳活動量及び感情状態を測定するための脳波計30及びカメラ31に接続されてよい。推定装置101は、第2作業者51の脳活動量及び感情状態を測定するための脳波計35及びカメラ36に接続されてよい。学習装置100と推定装置101とのデータ通信の種類は、実施の形態に応じて適宜選択されてよい。また、推定装置101は、ステップS203の処理で利用する対応関係データ124を学習装置100から直接取得してもよいし、ネットワーク、記憶媒体、他の情報処理装置等を介して取得してもよい。
<4.4>
上記実施形態では、脳活動量及び感情状態と集中の程度との対応関係は、各データ121〜123により示される脳活動量、感情状態、及び集中の程度の分布に基づいて特定されている。また、当該対応関係はテーブル形式のデータで表現され、各レコードには、脳活動量及び感情状態それぞれに対して設定された、集中の程度を判定するための閾値が格納されている。しかしながら、脳活動量及び感情状態と集中の程度との対応関係の特定方法及び表現方法は、このような例に限定されなくてもよく、実施の形態に応じて適宜決定されてよい。
図13Aは、変形例に係る対応関係データ124Aを模式的に例示する。図13Aにより例示される対応関係データ124Aでは、アローザルの値及びヴァレンスの値の和により感情状態が表されており、脳活動量及び感情状態の2軸のグラフで、各データ121〜123の分布状態が表現されている。集中の程度の値に応じて、脳活動量及び感情状態の値の集合が得られる。図13Aの例では、集中の程度の高低に応じて、2つの集合が得られている。各集合は、脳活動量及び感情状態それぞれの値と集中の程度の値との対応関係を示す。
この表現方法を利用する場合、上記ステップS105及びS106では、制御部11は、集中の程度の値に応じて、脳活動量及び感情状態の値の集合を特定し、各データ121〜123の分布状態をそのまま対応関係データ124Aとして記憶部12に保存してもよい。このとき、制御部11は、各データ121〜123をグラフ上にプロットするようにしてもよい。
一方、上記ステップS203では、制御部11は、例えば、ステップS201及びS202で取得した脳活動量及び感情状態の値と各集合とのユークリッド距離を算出してもよい。各集合は、各集合の中心値によって代表させてもよい(図13Aの例では、点1231及び点1232)。
そして、制御部11は、算出したユークリッド距離の最も短い集合に対応する集中の程度の値を、第2作業者51の第2タスク41に対する集中の程度の推定結果として取得してもよい。また、ステップS201及びS202で取得した脳活動量及び感情状態の値と各集合とのユークリッド距離がいずれも所定値以上である場合には、制御部11は、第2作業者51の第2タスク41に対する集中の程度は不明であると判定してもよい。
図13Bは、図13Aの例における感情状態をアローザル及びヴァレンスの2軸のまま表現した対応関係データ124Bを模式的に例示する。すなわち、図13Bにより例示される対応関係データ124Bでは、脳活動量、アローザル、及びヴァレンスの3軸のグラフで、各データ121〜123の分布状態が表現されている。この図13Bにより例示される対応関係データ124Bは、上記対応関係データ124Aと同様に取り扱うことができる。
図14は、その他の変形例に係る対応関係データ124Cを模式的に例示する。図14により例示される対応関係データ124Cでは、アローザルの値及びヴァレンスの値の和により感情状態が表されており、集中の程度の値に応じて、脳活動量及び感情状態の値の範囲が設定されている。この集中の程度の値に応じて設定された脳活動量及び感情状態それぞれの値の範囲が、脳活動量及び感情状態それぞれの値と集中の程度の値との対応関係を示す。
この表現方法を利用する場合、上記ステップS105及びS106では、制御部11は、各データ121〜123に基づいて、集中の程度の値に応じた、脳活動量及び感情状態の値の範囲を設定してもよい。そして、制御部11は、集中の程度の値に応じて設定された脳活動量及び感情状態の値の範囲を示す情報を対応関係データ124Cとして記憶部12に保存してもよい。
一方、上記ステップS203では、制御部11は、例えば、ステップS201及びS202で取得した脳活動量及び感情状態それぞれの値が、対応関係データ124Cにより示される脳活動量及び感情状態それぞれに設定された範囲に含まれるか否かを判定する。そして、当該判定の結果、制御部11は、ステップS201及びS202で取得した脳活動量及び感情状態それぞれの値が満たす範囲に対応する集中の程度の値を、第2作業者51の第2タスク41に対する集中の程度の推定結果として取得してもよい。なお、ステップS201及びS202で取得した脳活動量及び感情状態それぞれの値が、対応関係データ124Cにおいて設定されたいずれの範囲も満たさない場合には、制御部11は、第2作業者51の第2タスク41に対する集中の程度は不明であると判定してもよい。
図14の例では、制御部11は、ステップS201で取得した脳活動量の値がB1〜B2の範囲に含まれ、かつステップS202で取得した感情状態の値がE1〜E2の範囲に含まれる場合に、第2作業者51の第2タスク41に対する集中の程度が高いと判定することができる。これに対して、ステップS201で取得した脳活動量の値がB1〜B2の範囲に含まれない、又はステップS202で取得した感情状態の値がE1〜E2の範囲に含まれない場合に、制御部11は、第2作業者51の第2タスク41に対する集中の程度が低いと判定することができる。
また、脳活動量、感情状態、及び集中の程度がそれぞれ連続値で得られる場合、上記推定システム1は、脳活動量及び感情状態と集中の程度との対応関係として、以下の数1に示される回帰式を導出してもよい。
Figure 0006935774
zは、集中の程度に対応し、xは、脳活動量に対応し、yは、感情状態に対応する。a及びbは、回帰係数である。上記ステップS105において、制御部11は、得られた各データ121〜123に対して回帰分析を行うことにより、回帰係数a及びbそれぞれの値を算出することができる。制御部11は、この回帰分析により得られる回帰式を、脳活動量及び感情状態と集中の程度との対応関係として取得してもよい。この場合、上記ステップS203では、制御部11は、ステップS201及びS202で取得した脳活動量及び感情状態それぞれの値を回帰式に代入することで、第2作業者51の第2タスク41に対する集中の程度を算出することができる。
また、上記推定システム1は、ニューラルネットワーク、サポートベクタマシン等の学習モデルを利用して、脳活動量及び感情状態と集中の程度との対応関係を学習してもよい。この場合、上記ステップS105において、制御部11は、脳活動量及び感情状態それぞれの値を入力すると、対応する集中の程度の値を出力するように、学習モデルの機械学習を行う。これにより、制御部11は、脳活動量及び感情状態と集中の程度との対応関係を学習した学習済みの学習モデル(識別器、分類器等と称されてもよい)を得ることができる。また、上記ステップS203では、制御部11は、ステップS201及びS202で取得した脳活動量及び感情状態それぞれの値を学習済みの学習モデルに入力することで、第2作業者51の第2タスク41に対する集中の程度を示す値を当該学習済みの学習モデルから得ることができる。なお、この学習モデルは、脳活動量及び/又は感情状態の変動量が所定値以下である持続期間、個人の属性等の補助情報の値を更に入力可能に構成されてよい。
<4.5>
上記実施形態に係る推定システム1は、上記ステップS203の処理に加えて、その他の方法で、第2作業者51の第2タスク41に対する集中の程度を推定してもよい。例えば、制御部11は、ステップS201により得られる脳活動量及び/又はステップS202により得られる感情状態の変動量を算出し、算出した脳活動量及び/又は感情状態の変動量が所定値以下である持続期間を測定してもよい。更に、制御部11は、測定した持続期間が所定の値以上であるか否かを判定してもよい。そして、制御部11は、測定した持続期間が所定の値以上である場合、第2作業者51の第2タスク41に対する集中の程度が高いと判定し、そうではない場合に、第2作業者51の第2タスク41に対する集中の程度が低いと判定してもよい。
なお、制御部11は、当該その他の方法による集中の程度を推定するステップ(以下、「他の推定ステップ」とも記載する)の処理を、上記ステップS203の後に実行してもよい。そして、両ステップによる推定の結果が一致している場合に、制御部11は、その推定の結果を信頼して、第2作業者51の第2タスク41に対する集中の程度を判定してもよい。一方、上記ステップS203による推定の結果と当該他の推定ステップによる推定の結果とが異なる場合、制御部11は、両ステップによる推定結果を信頼せずに、第2作業者51の第2タスク41に対する集中の程度は不明であると判定してもよい。
また、例えば、上記ステップS203において、第2作業者51の第2タスク41に対する集中の程度が不明であると判定した場合に、制御部11は、他の推定ステップにより、第2作業者51の第2タスク41に対する集中の程度を判定してもよい。
これにより、複数の指標に基づいて、第2作業者51の第2タスク41に対する集中の程度を推定することができるようになる。具体的には、他の推定ステップにより、上記ステップS203による推定の結果を補強したり、補足したり、信頼性を評価したりすることができる。そのため、第2作業者51の第2タスク41に対する集中の程度の推定精度を高めることができる。
<4.6>
上記実施形態に係る推定システム1は、上記ステップS204において、出力装置6を用いた介入処理として、第2タスク41に集中していないことを第2作業者51に通知することができる。この出力装置6を用いた介入処理は、第2作業者51等の人が認識可能な形態で行われてもよいし、人が認識不能な形態で行われてもよい。
人が認識可能な形態の介入処理として、上記実施形態における通知の他、風(又は風力)による刺激、熱気又は冷気による刺激等を挙げることができる。この場合、出力装置6として、風(又は風力)による刺激を付与可能に構成された送風装置、熱気による刺激を付与可能に構成された熱付与装置(例えば、ヒータ)、冷気による刺激を付与可能に構成された冷却装置等が用いられてよい。
また、人が認識不能な形態の介入処理として、人の認識可能な強度以下の電磁波(例えば、テラヘルツ帯の電磁波)による刺激、超音波による刺激等を挙げることができる。この場合、出力装置6には、電磁波による刺激を付与可能に構成された電磁波印加装置、超音波による刺激を付与可能に構成された超音波スピーカ等が用いられてよい。
<4.7>
上記実施形態に係る推定システム1は、介入処理として、第2作業者51が第2タスク41に集中していないことを知らせるための注意喚起を実施している。しかしながら、介入処理の内容は、このような例に限定されなくてもよく、実施の形態に応じて適宜決定されてよい。例えば、以下のように、作業者の集中の程度に応じて、装置の動作を制御する介入処理が実施しされてもよい。
(環境装置)
図15は、本変形例に係る介入処理の一例として、環境装置6Dの動作を制御する処理を実施する推定システム1Dの適用される場面を模式的に例示する。本変形例に係る推定システム1Dのハードウェア構成及びソフトウェア構成は、上記実施形態に係る推定システム1と同様に構成される。これにより、本変形例に係る推定システム1Dは、上記実施形態に係る推定システム1と同様に上記一連の情報処理を実施する。一方、上記実施形態に係る推定システム1とは異なり、推定システム1Dは、有線又は無線により、環境装置6Dに接続している。
環境装置6Dは、第2作業者51が第2タスク41を行う環境に関連するものであれば特に限定されなくてもよい。図15の例では、環境装置6Dは、コントローラ61及び照明装置62により構成されている。コントローラ61は、ハードウェアプロセッサ、メモリ等により、照明装置62の明るさ及び色を変更可能に適宜構成される。照明装置62は、例えば、LED照明器具等の公知の照明装置であってよく、第2作業者51が第2タスク41を行う場所を照らす。
この場合、推定システム1Dの制御部11は、上記ステップS204において、出力部118として動作して、ステップS203の推定の結果により示される第2作業者51の第2タスク41に対する集中の程度に基づいて、当該第2作業者51が第2タスク41に集中しているか否かを判定する。第2作業者51が第2タスク41に集中しているか否かを判定する方法は、上記実施形態と同様であってよい。
第2作業者51が第2タスク41に集中していると判定される場合には、制御部11は、照明装置62の状態を維持することを決定し、ステップS204による介入処理を省略してもよい。一方、第2作業者51が第2タスク41に集中していないと判定される場合、制御部11は、環境装置6Dの動作を変更することを介入処理の内容として決定する。そして、制御部11は、介入処理として、決定した動作の変更を指示するための指令を環境装置6Dに対して出力する。一例として、制御部11は、第2作業者51が第2タスク41に集中していないと判定した場合に、照明装置62の明るさ、色、照らす範囲等の照明環境を変更することを介入処理の内容として決定する。照明環境の変更内容は、第2作業者51の集中の程度を改善するように適宜決定されてよい。そして、推定システム1Dは、介入処理として、決定した照明環境の変更を指示するための指令をコントローラ61に対して出力してもよい。コントローラ61は、この指令に基づいて、照明装置62の動作を変更する。これにより、本変形例によれば、集中力の低下している第2作業者51が第2タスク41を行う環境を変更することで、第2作業者51の第2タスク41に対する集中の程度の改善を図ることができる。
なお、推定システム1Dの介入処理の対象となる環境装置は、作業者の作業を行う環境に影響を与える装置であれば、上記照明装置に限定されなくてもよい。例えば、環境装置は、音響装置、空調装置等であってよい。音響装置は、例えば、スピーカ、音源装置、コントローラ等により、作業者の作業を行う場所に音楽を流すことができるように構成される。推定システム1Dは、第2作業者51が第2タスク41に集中していないと判定した場合に、音楽のオン又はオフ、音量の変更、楽曲の変更等の音響環境の変更を行うことを介入処理の内容として決定してもよい。音響環境の変更内容は、例えば、リラクゼーション効果のある楽曲を選択する等、第2作業者51の集中の程度を改善するように適宜決定されてよい。そして、推定システム1Dは、介入処理として、決定した音響環境の変更を指示するための指令を音響装置に対して出力してもよい。
また、空調装置は、例えば、エア・コンディショナである。推定システム1Dは、第2作業者51が第2タスク41に集中していないと判定した場合に、空調装置の設定温度を変更することを介入処理の内容として決定してもよい。一例として、室温が高いことが第2作業者51の集中力を低下させていることに起因していると推定される場合、推定システム1Dは、空調装置の設定温度を下げることを介入処理の内容として決定してもよい。一方、室温が低いことが第2作業者51の集中力を低下させていることに起因していると推定される場合、推定システム1Dは、空調装置の設定温度を上げることを介入処理の内容として決定してもよい。そして、推定システム1Dは、介入処理として、決定した設定温度の変更を指示するための指令を空調装置に対して出力してもよい。更に、推定システム1Dは、ステップS201〜S204の処理を繰り返すことで、空調装置の設定温度の変更と第2作業者51の集中の程度との対応関係を特定して、第2作業者51の集中の程度が高くなるように空調装置の設定温度を決定してもよい。
<4.8>
上記実施形態、<4.6>、及び<4.7>では、介入処理は、第2作業者51の集中の程度を維持若しくは改善するため、又は集中の程度の低下に対する注意喚起を行うために、実施されている。すなわち、介入処理は、第2作業者51が第2タスク41を実施するのに直接的又は間接的に介入するために実行されている。しかしながら、介入処理の種類は、このような例に限定されなくてもよい。この他、介入処理は、例えば、第2作業者51の集中の程度が低下したことに起因する安全性又は生産性の低下を補うために実行されてよい。
(関連装置)
一例として、介入処理は、第2作業者51が第2タスク41を行う環境に関連する環境装置ではなく、第2タスク41に関連する関連装置に対して実施されてもよい。すなわち、上記ステップS204では、制御部11は、出力部118として動作して、ステップS203の推定の結果により示される第2作業者51の第2タスク41に対する集中の程度に基づいて、当該関連装置の動作の内容を介入処理の内容として決定してもよい。そして、制御部11は、介入処理として、決定した内容の動作を指示するための指令を関連装置に対して出力してもよい。なお、関連装置の種類は、作業者の作業に関連する装置であれば、特に限定されなくてもよい。関連装置は、例えば、生産ラインにおいて第2作業者と協働するように構成された協働装置であってもよいし、車両の運転を制御するように構成された制御装置であってよい。以下、各変形例について説明する。
(協働装置)
図16は、本変形例に係る介入処理の一例として、生産ラインにおいて第2作業者51と協働するように構成された協働装置6Eの動作を制御する処理を実施する推定システム1Eの適用される場面を模式的に例示する。本変形例に係る推定システム1Eのハードウェア構成及びソフトウェア構成は、上記実施形態に係る推定システム1と同様に構成される。これにより、本変形例に係る推定システム1Eは、上記実施形態に係る推定システム1と同様に上記一連の情報処理を実施する。一方、上記実施形態に係る推定システム1とは異なり、推定システムEは、無線又は有線により、協働装置6Eに接続している。
協働装置6Eは、生産ラインにおいて第2作業者51と協働するように構成されたものであれば特に限定されなくてもよい。図16の例では、協働装置6Eは、コントローラ63及びベルトコンベア64により構成されている。コントローラ63は、ハードウェアプロセッサ、メモリ等により、生産ラインにおけるベルトコンベア64の動作を制御可能に適宜構成される。ベルトコンベア64は、例えば、製品を組み立てるための部品を運搬する。本変形例に係る第2タスク41Eは、ベルトコンベア64で運搬される部品同士を組み立てる等の生産ラインで行われる作業である。
この場合、推定システム1Eの制御部11は、上記ステップS204において、出力部118として動作して、ステップS203の推定の結果により示される第2作業者51の第2タスク41Eに対する集中の程度に基づいて、ベルトコンベア64の動作速度(すなわち、部品供給速度)の変更を介入処理の内容として決定してもよい。例えば、上記実施形態と同様の方法により、第2作業者51が第2タスク41Eに集中していると判定される場合には、制御部11は、ベルトコンベア64の動作速度を速めることを介入処理の内容として決定してもよい。一方、第2作業者51が第2タスク41Eに集中していないと判定される場合には、制御部11は、ベルトコンベア64の動作速度を遅くすることを介入処理の内容として決定してもよい。
そして、制御部11は、決定したベルトコンベア64の動作速度の変更を指示するための指令をコントローラ63に対して出力してもよい。コントローラ63は、この指令に基づいて、ベルトコンベア64の動作速度を変更する。これにより、本変形例によれば、第2作業者51の集中の程度に適するように、当該第2作業者51に第2タスク41Eを実行させる頻度を調節することができる。そのため、客観的かつ反復可能な方法で、当該第2タスク41Eを実行する第2作業者51の効率性及び有効性を改善又は維持することができる。
なお、推定システム1Eの介入処理の対象となる協働装置は、生産ラインにおいて第2作業者51と協働するように構成されたものであれば、上記ベルトコンベアのコントローラに限定されなくてもよい。協働装置は、例えば、第2作業者51と協働するロボット、生産ラインのセーフティ装置、部品供給装置(パーツフィーダ)等であってよい。ロボットは、例えば、ロボットアーム等により、第2作業者51に部品を供給するように構成される。この場合、推定システム1Eは、上記ベルトコンベア64と同様に、ステップS203の推定の結果により示される第2作業者51の第2タスク41Eに対する集中の程度に基づいて、ロボットの動作速度の変更を介入処理の内容として決定してもよい。そして、制御部11は、決定したロボットの動作速度の変更を指示するための指令を、当該ロボットのコントローラに対して出力してもよい。
また、ロボットが、例えば、赤外線センサ等の人検出センサにより、第2作業者51が近接したと判定した場合に、その動作を停止する等のセーフティ機能を有していると想定する。この場合、制御部11は、このセーフティ機能の動作条件の変更を介入処理の内容として決定してもよい。例えば、上記実施形態と同様の方法により、第2作業者51が第2タスク41Eに集中していないと判定される場合に、制御部11は、人検出センサの検出感度を高めることで、セーフティ機能の作動タイミングを早める及び作動範囲を拡大することの少なくとも一方を介入処理の内容として決定してもよい。そして、制御部11は、セーフティ機能の作動タイミングを早める及び作動範囲を拡大することの少なくとも一方を指示するための指令を、当該ロボットのコントローラに対して出力してもよい。その他のセーフティ装置についても、このセーフティ機能を有するロボットと同様の介入処理を実施することができる。これにより、第2作業者51の集中力が低下していることに起因して、第2作業者51が第2タスク41Eの実行にあたり予期せぬトラブルを発生させるのを防止することができる。
なお、作動タイミングを早めることは、セーフティ機能を発動するタイミングを早めることであり、例えば、セーフティ機能を発動する条件を満たしてから当該機能を発動するまでの時間を短くすることである。また、作動範囲を拡大することは、セーフティ機能を発動する条件を拡げることであり、例えば、第2作業者51がロボットに近接したと判定する距離を拡げることである。
以上のとおり、本変形例では、推定システム1Eは、生産ライン制御システムとして、学習のフェーズにおいて、所定の第1タスク40を第1作業者50が実行している間に、第1作業者50の第1生理学的パラメータであって、脳活動量に関する第1生理学的パラメータを第1センサにより測定することで得られた、脳活動量を示す第1脳活動データ121を取得する第1取得部111と、第1作業者50の第2生理学的パラメータであって、感情状態に関する第2生理学的パラメータを第2センサにより測定することで得られた、第1タスク40の実行に関連した第1作業者50の感情状態を示す第1感情データ122を取得する第2取得部112と、第1作業者50が第1タスク40を実行した結果に基づいて特定された、第1作業者50の第1タスク40に対する集中の程度を示す実行結果データ123を取得する第3取得部113と、第1脳活動データ121、第1感情データ122、及び実行結果データ123に基づいて、脳活動量及び感情状態と集中の程度との間の対応関係を特定する関係特定部114と、推定のフェーズにおいて、生産ラインにおける第2タスク41Eを第2作業者51が実行している間に、第2作業者51の第1生理学的パラメータを第1センサにより測定することで得られた、脳活動量を示す第2脳活動データ125を取得する第4取得部115と、第2作業者51の第2生理学的パラメータを第2センサにより測定することで得られた、第2タスク41Eの実行に関連した第2作業者51の感情状態を示す第2感情データ126を取得する第5取得部116と、対応関係に基づいて、第2脳活動データ125及び第2感情データ126により示される第2作業者51の脳活動量及び感情状態から、第2作業者51の第2タスク41Eに対する集中の程度を推定する推定部117と、第2作業者51の第2タスク41Eに対する集中の程度を推定した結果に基づいて、生産ラインにおいて第2作業者51と協働するように構成された協働装置の動作を制御する動作制御部(出力部118)と、を備えるように構成されてよい。
これに応じて、本変形例では、生産ライン制御装置は、生産ラインにおけるタスク(第2タスク41E)を作業者(第2作業者51)が実行している間に、作業者の第1生理学的パラメータであって、脳活動量に関する第1生理学的パラメータを第1センサにより測定することで得られた、脳活動量を示す脳活動データを取得する第1取得部(第4取得部115)と、作業者の第2生理学的パラメータであって、感情状態に関する第2生理学的パラメータを第2センサにより測定することで得られた、タスクの実行に関連した作業者の感情状態を示す感情データを取得する第2取得部(第5取得部116)と、脳活動量及び感情状態と集中の程度との間の対応関係を示す対応関係データ(対応関係データ124)を取得し、取得した当該対応関係データにより示される対応関係に基づいて、脳活動データ及び感情データにより示される作業者の脳活動量及び感情状態から、作業者のタスクに対する集中の程度を推定する推定部(推定部117)と、作業者のタスクに対する集中の程度を推定した結果に基づいて、生産ラインにおいて作業者と協働するように構成された協働装置の動作を制御する動作制御部(出力部118)と、を備えるように構成されてよい。
(制御装置)
図17は、本変形例に係る介入処理の一例として、車両70の運転を制御するように構成された制御装置6Fの動作を決定する処理を実施する推定システム1Fの適用される場面を模式的に例示する。本変形例に係る推定システム1Fのハードウェア構成及びソフトウェア構成は、上記実施形態に係る推定システム1と同様に構成される。これにより、本変形例に係る推定システム1Fは、上記実施形態に係る推定システム1と同様に上記一連の情報処理を実施する。一方、上記実施形態に係る推定システム1とは異なり、推定システムFは、無線又は有線により、制御装置6Fに接続している。
制御装置6Fは、ハードウェアプロセッサ、メモリ等により、車両70の動作を制御するように適宜構成される。制御装置6Fが車両70の動作を制御する内容は、実施の形態に応じて適宜決定されてよい。例えば、制御装置6Fは、センサ(不図示)により車両70の前方に障害物が存在する場合にブレーキを動作させる、ステアリングの操舵支援を行う等の走行支援を行ってもよい。また、例えば、車両70が自動運転モードを実施可能である場合、制御装置6Fは、車両70の動作モードを手動運転モードから自動運転モードに切り替える等の走行制御を行ってもよい。本変形例に係る第2タスク41Fは車両70の運転作業であり、第2作業者51は車両70の運転手である。
この場合、推定システム1Fの制御部11は、上記ステップS204において、出力部118として動作して、ステップS203の推定の結果により示される第2作業者51の第2タスク41Fに対する集中の程度に基づいて、制御装置6Fに実行させる走行支援又は走行制御の内容を介入処理の内容として決定してもよい。そして、制御部11は、介入処理として、決定した走行支援又は走行制御の内容の動作を指示するための指令を制御装置6Fに対して出力してもよい。
例えば、上記実施形態と同様の方法により、第2作業者51が第2タスク41Fに集中していないと判定される場合に、制御部11は、走行支援又は走行制御の作動タイミングを早める及び作動範囲を拡大することの少なくとも一方を介入処理の内容として決定してもよい。そして、制御部11は、走行支援又は走行制御の作動タイミングを早める及び作動範囲を拡大することの少なくとも一方を指示するための指令を制御装置6Fに対して出力してもよい。なお、作動タイミングを早めること及び作動範囲を拡大することは、上記セーフティ機能の例と同様である。
また、例えば、第2作業者51が第2タスク41Fに集中していないと判定される場合に、制御部11は、車両70の動作モードを手動運転モードから自動運転モードに切り替えることを介入処理の内容として決定してもよい。そして、制御部11は、自動運転モードへの切り替えを指示するための指令を制御装置6Fに対して出力してもよい。加えて、既に自動運転モードを実施している又は自動運転モードへの切り替えを指示した場合に、制御部11は、第2作業者51が第2タスク41Fに集中していないと判定される間、自動運転モードから手動運転モードへの切り替えを禁止することを介入処理の内容として決定してもよい。そして、制御部11は、手動運転モードへの切り替えを禁止するための指令を制御装置6Fに対して出力してもよい。
更に、第2作業者51が第2タスク41に集中していないと判定される場合、制御部11は、介入処理として、車両70内に存在する第2作業者51に対して警告を行ってもよい。警告の方法及び内容は、実施の形態に応じて適宜決定されてよい。例えば、制御部11は、スピーカ(不図示)を介して音声により、車両70の運転に対する集中度を高めるように第2作業者51に対して警告を行ってもよい。また、例えば、制御部11は、ステアリングホイール、座席等の第2作業者51(運転者)と運転時に接触する部材を振動させることで、当該第2作業者51に対して警告を行ってもよい。更に、制御部11は、ステップS203の推定の結果により示される第2作業者51の第2タスク41Eに対する集中の程度に応じて、警告における音声の音量又は振動の強度を決定してもよい。これにより、第2作業者51の集中力が低下していることに起因して、第2作業者51が車両70を運転するにあたり予期せぬ事故を発生させてしまうのを防止することができる。
以上のとおり、本変形例では、推定システム1Fは、車両制御システムとして、学習のフェーズにおいて、所定の第1タスク40を第1作業者50が実行している間に、第1作業者50の第1生理学的パラメータであって、脳活動量に関する第1生理学的パラメータを第1センサにより測定することで得られた、脳活動量を示す第1脳活動データ121を取得する第1取得部111と、第1作業者50の第2生理学的パラメータであって、感情状態に関する第2生理学的パラメータを第2センサにより測定することで得られた、第1タスク40の実行に関連した第1作業者50の感情状態を示す第1感情データ122を取得する第2取得部112と、第1作業者50が第1タスク40を実行した結果に基づいて特定された、第1作業者50の第1タスク40に対する集中の程度を示す実行結果データ123を取得する第3取得部113と、第1脳活動データ121、第1感情データ122、及び実行結果データ123に基づいて、脳活動量及び感情状態と集中の程度との間の対応関係を特定する関係特定部114と、推定のフェーズにおいて、車両70の運転に関連する第2タスク41Fを、車両70の運転者である第2作業者51が実行している間に、第2作業者51の第1生理学的パラメータを第1センサにより測定することで得られた、脳活動量を示す第2脳活動データ125を取得する第4取得部115と、第2作業者51の第2生理学的パラメータを第2センサにより測定することで得られた、第2タスク41Fの実行に関連した第2作業者51の感情状態を示す第2感情データ126を取得する第5取得部116と、対応関係に基づいて、第2脳活動データ125及び第2感情データ126により示される第2作業者51の脳活動量及び感情状態から、第2作業者51の第2タスク41Fに対する集中の程度を推定する推定部117と、第2作業者51の第2タスク41Fに対する集中の程度を推定した結果に基づいて、車両70の動作を制御する動作制御部(出力部118)と、を備えるように構成されてよい。
これに応じて、本変形例では、車両制御装置は、車両の運転に関連するタスク(第2タスク41F)を、車両の運転者である作業者(第2作業者51)が実行している間に、作業者の第1生理学的パラメータであって、脳活動量に関する第1生理学的パラメータを第1センサにより測定することで得られた、脳活動量を示す脳活動データを取得する第1取得部(第4取得部115)と、作業者の第2生理学的パラメータであって、感情状態に関する第2生理学的パラメータを第2センサにより測定することで得られた、タスクの実行に関連した作業者の感情状態を示す感情データを取得する第2取得部(第5取得部116)と、脳活動量及び感情状態と集中の程度との間の対応関係を示す対応関係データ(対応関係データ124)を取得し、取得した当該対応関係データにより示される対応関係に基づいて、脳活動データ及び感情データにより示される作業者の脳活動量及び感情状態から、作業者のタスクに対する集中の程度を推定する推定部(推定部117)と、作業者のタスクに対する集中の程度を推定した結果に基づいて、車両の動作を制御する動作制御部(出力部118)と、を備えるように構成されてよい。
(その他)
なお、このように他の装置の制御を介入処理として行う各推定システム(1D、1E、1F)は、制御システムと称されてもよい。各推定システム(1D、1E、1F)の出力部118は、動作制御部、動作指示部等と称されてもよい。また、介入処理は、推定のフェーズで実施されるため、各推定システム(1D、1E、1F)を上記推定装置101と置き換えても、同様の介入処理を実施することができる。このように利用する場合、上記推定装置101は、動作制御装置、制御装置等と称されてよい。更に、各推定システム(1D、1E、1F)又は推定装置101と上記環境装置又は上記関連装置とは一体に構成されてもよい。
<4.9>
図9Aに示されるとおり、学習の段階(習熟の程度)に応じて、タスクを実行している際に得られる脳活動量及び感情状態の傾向は異なり得る。そのため、脳活動量及び感情状態と集中の程度との対応関係を示す上記対応関係データ124は、学習の段階ごとに用意されてもよい。すなわち、脳活動量及び感情状態と集中の程度との対応関係は、学習の段階ごとに設定されてもよい。
この場合、学習のフェーズにおいて、推定システム1の制御部11は、ステップS106を実行する前に、第1作業者50の第1タスク40に対する学習の段階を特定してもよい。学習の段階は、複数のグレードで表現されてもよいし、数値(スコア)で表現されてもよい。これに応じて、制御部11は、ステップS106において、脳活動量及び感情状態と集中の程度との対応関係を、特定した学習の段階に更に対応付けることで、脳活動量及び感情状態と集中の程度との対応関係を学習の段階ごとに示す対応関係データ124を生成してもよい。そして、制御部11は、生成した対応関係データ124を記憶部12に保存してもよい。これにより、脳活動量及び感情状態と集中の程度との対応関係を、学習の段階ごとに設定することができる。
なお、学習の段階を特定する方法は、実施の形態に応じて適宜選択されてよい。例えば、学習の段階は、第1作業者50による入力によって特定されてもよい。また、例えば、学習の段階は、第1作業者50が第1タスク40を実行した回数に応じて特定されてもよいし、第1作業者50から得られる脳活動量及び感情状態の少なくとも一方に応じて特定されてもよい。第1タスク40の実行回数、脳活動量、及び感情状態のいずれかから学習の段階を特定する場合、推定システム1の記憶部12は、これらの情報と学習の段階とを対応付けたテーブル形式等の参照情報を記憶していてもよい。制御部11は、この参照情報を参照することで、取得した第1タスク40の実行回数、脳活動量、及び感情状態のいずれかに応じて、第1作業者50の第1タスク40に対する学習の段階を特定することができる。
一方、推定のフェーズでは、推定システム1の制御部11は、ステップS203を実行する前に、第2作業者51の第2タスク41に対する学習の段階を特定してもよい。学習の段階の特定方法は、上記学習のフェーズと同様でよい。続いて、制御部11は、特定した学習の段階に関連付けられた、脳活動量及び感情状態と集中の程度との対応関係を取得してもよい。そして、制御部11は、ステップS203において、取得した対応関係に基づいて、ステップS201及びS202の処理に得られた第2作業者51の脳活動量及び感情状態に対応する、第2タスク41に対する集中の程度を導出してもよい。これにより、学習の段階に応じて、作業者の作業に対する集中の程度を推定することができるようになる。
<4.10>
上記実施形態に係る推定システム1は、ステップS204における出力処理として、介入処理を実施している。しかしながら、出力処理は、この介入処理に限られなくてもよく、実施の形態に応じて適宜決定されてよい。例えば、上記実施形態に係る推定システム1は、ステップS204における出力処理として、出力装置15等を介して、ステップS203の推定結果をそのまま出力してもよい。具体例として、制御部11は、第2作業者51の第2タスク41に対する集中の程度を推定した結果を、ディスプレイに表示してもよいし、スピーカを介して音声で出力してもよい。
また、推定システム1が通信インタフェース(不図示)を備える場合、制御部11は、上記ステップS204において、例えば、電子メール、ショートメッセージサービス、プッシュ通知等を利用して、第2作業者51の第2タスク41に対する集中の程度を推定した結果を出力してもよい。この場合、出力先となる電子メールアドレス、電話番号等は、記憶部12に予め登録されていてもよい。制御部11は、この予め登録されている電子メールアドレス、電話番号等を宛先として、第2作業者51の第2タスク41に対する集中の程度を推定した結果を出力してもよい。
この推定結果の出力先は、特に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。推定結果の出力は、例えば、第2作業者51自身に向けて行われてもよいし、第2作業者51を監督する監督者等の第2作業者51以外の人物に向けて行われてよい。
<4.11>
また、上記実施形態及び各変形例において、第2取得部112及び第5取得部116は、第2生理学的パラメータによらずに各作業者(50、51)の感情状態を示す各感情データ(122、125)を取得してもよい。例えば、第2取得部112及び第5取得部116は、各作業者(50、51)自身、各作業者(50、51)の監督者等のユーザからの入力を受け付けることで、各作業者(50、51)の感情状態を示す各感情データ(122、125)を取得してもよい。
この場合、例えば、推定システムは、学習のフェーズにおいて、所定の第1タスクを第1作業者が実行している間に、前記第1作業者の生理学的パラメータであって、脳活動量に関する生理学的パラメータをセンサにより測定することで得られた、脳活動量を示す第1脳活動データを取得する第1取得部と、前記第1タスクの実行に関連した前記第1作業者の感情状態を示す第1感情データを取得する第2取得部と、前記第1作業者が前記第1タスクを実行した結果に基づいて特定された、前記第1作業者の前記第1タスクに対する集中の程度を示す実行結果データを取得する第3取得部と、前記第1脳活動データ、前記第1感情データ、及び前記実行結果データに基づいて、前記脳活動量及び前記感情状態と前記集中の程度との間の対応関係を特定する関係特定部と、推定のフェーズにおいて、所定の第2タスクを第2作業者が実行している間に、前記第2作業者の前記生理学的パラメータを前記センサにより測定することで得られた、脳活動量を示す第2脳活動データを取得する第4取得部と、前記第2タスクの実行に関連した前記第2作業者の感情状態を示す第2感情データを取得する第5取得部と、前記対応関係に基づいて、前記第2脳活動データ及び前記第2感情データにより示される前記第2作業者の前記脳活動量及び前記感情状態から、前記第2作業者の前記第2タスクに対する集中の程度を推定する推定部と、前記第2作業者の前記第2タスクに対する集中の程度を推定した結果に関連した出力処理を行う出力部と、を備えるように構成されてもよい。
また、例えば、推定装置は、所定のタスクを作業者が実行している間に、前記作業者の生理学的パラメータであって、脳活動量に関する生理学的パラメータをセンサにより測定することで得られた、脳活動量を示す脳活動データを取得する第1取得部と、前記タスクの実行に関連した前記作業者の感情状態を示す感情データを取得する第2取得部と、前記脳活動量及び前記感情状態と集中の程度との間の対応関係を示す対応関係データを取得し、取得した当該対応関係データにより示される当該対応関係に基づいて、前記脳活動データ及び前記感情データにより示される前記作業者の前記脳活動量及び前記感情状態から、前記作業者の前記タスクに対する集中の程度を推定する推定部と、前記作業者の前記タスクに対する集中の程度を推定した結果に関連した出力処理を行う出力部と、を備えるように構成されてもよい。
1…推定システム、
11…制御部、12…記憶部、13…外部インタフェース、
14…入力装置、15…出力装置、16…ドライブ、
111…第1取得部、112…第2取得部、113…第3取得部、
114…関係特定部、115…第4取得部、116…第5取得部、
117…推定部、118…出力部、
121…第1脳活動データ、122…第1感情データ、
123…実行結果データ、124…対応関係データ、
125…第2脳活動データ、126…第2感情データ、
30・35…脳波計、31・36…カメラ、
40…第1タスク、41…第2タスク、
50…第1作業者、51…第2作業者、
8…プログラム、9…記憶媒体、
6…出力装置、
6D…環境装置、
61…コントローラ、62…照明装置、
6E…協働装置、
63…コントローラ、64…ベルトコンベア、
6F…制御装置、70…車両

Claims (16)

  1. 学習のフェーズにおいて、所定の第1タスクを第1作業者が実行している間に、前記第1作業者の第1生理学的パラメータであって、脳活動量に関する第1生理学的パラメータを第1センサにより測定することで得られた、所定のウィンドウサイズ内における脳活動量の変動量を示す第1脳活動データを取得する第1取得部と、
    前記第1作業者の第2生理学的パラメータであって、感情状態に関する第2生理学的パラメータを第2センサにより測定することで得られた、前記第1タスクの実行に関連した前記第1作業者の感情状態を示す第1感情データを取得する第2取得部と、
    前記第1作業者が前記第1タスクを実行した結果に基づいて特定された、前記第1作業者の前記第1タスクに対する集中の程度を示す実行結果データを取得する第3取得部と、
    前記第1脳活動データ、前記第1感情データ、及び前記実行結果データに基づいて、前記脳活動量の変動量及び前記感情状態と前記集中の程度との間の対応関係を特定する関係特定部と、
    推定のフェーズにおいて、所定の第2タスクを第2作業者が実行している間に、前記第2作業者の前記第1生理学的パラメータを前記第1センサにより測定することで得られた、前記所定のウィンドウサイズ内における脳活動量の変動量を示す第2脳活動データを取得する第4取得部と、
    前記第2作業者の前記第2生理学的パラメータを前記第2センサにより測定することで得られた、前記第2タスクの実行に関連した前記第2作業者の感情状態を示す第2感情データを取得する第5取得部と、
    前記対応関係に基づいて、前記第2脳活動データ及び前記第2感情データにより示される前記第2作業者の前記脳活動量の変動量及び前記感情状態から、前記第2作業者の前記第2タスクに対する集中の程度を推定する推定部と、
    前記第2作業者の前記第2タスクに対する集中の程度を推定した結果に関連した出力処理を行う出力部と、
    を備える、
    推定システム。
  2. 前記出力部は、
    前記推定の結果により示される前記第2作業者の前記第2タスクに対する集中の程度に基づいて、前記第2タスクに対する介入処理の内容を決定し、
    前記出力処理として、決定した前記内容の介入処理を実行する、
    請求項1に記載の推定システム。
  3. 前記出力部は、
    前記推定の結果により示される前記第2作業者の前記第2タスクに対する集中の程度に基づいて、前記第2作業者が前記第2タスクに集中していないと判定される場合に、前記第2作業者が前記第2タスクに集中していないことを知らせるための注意喚起を実施することを前記介入処理の内容として決定し、
    前記介入処理として、出力装置を介して前記注意喚起を実施する、
    請求項2に記載の推定システム。
  4. 前記出力部は、
    前記推定の結果により示される前記第2作業者の前記第2タスクに対する集中の程度に基づいて、前記第2作業者が前記第2タスクに集中していないと判定される場合に、前記第2作業者が前記第2タスクを行う環境に関連する環境装置の動作を変更することを前記介入処理の内容として決定し、
    前記介入処理として、決定した動作の変更を指示するための指令を前記環境装置に対して出力する、
    請求項2に記載の推定システム。
  5. 前記出力部は、
    前記推定の結果により示される前記第2作業者の前記第2タスクに対する集中の程度に基づいて、前記第2タスクに関連する関連装置の動作の内容を前記介入処理の内容として決定し、
    前記介入処理として、決定した内容の動作を指示するための指令を前記関連装置に対して出力する、
    請求項2に記載の推定システム。
  6. 前記関連装置は、生産ラインにおいて前記第2作業者と協働するように構成された協働装置である、
    請求項5に記載の推定システム。
  7. 前記関連装置は、車両の運転を制御するように構成された制御装置である、
    請求項5に記載の推定システム。
  8. 前記第1脳活動データ及び前記第2脳活動データにおける前記脳活動量は、位相同期指標の値により示される、
    請求項1から7のいずれか1項に記載の推定システム。
  9. 前記第1感情データ及び前記第2感情データにおける前記感情状態は、アローザル及びヴァレンスの2つの指標により示される、
    請求項1から8のいずれか1項に記載の推定システム。
  10. 前記実行結果データにおける前記集中の程度は、前記第1タスクの遂行にかかった時間、前記第1タスクの遂行の速度、及び前記第1タスクの実行のクオリティの少なくともいずれかによって特定される、
    請求項1から9のいずれか1項に記載の推定システム。
  11. 前記対応関係は、前記第1脳活動データにより示される脳活動量の変動量、前記第1感情データにより示される感情状態、及び前記実行結果データにより示される集中の程度の分布に基づいて特定される、
    請求項1から10のいずれか1項に記載の推定システム。
  12. 前記分布に基づいて、前記脳活動量の変動量及び前記感情状態それぞれに対して、前記集中の程度を判定するための閾値が設定され、
    前記推定部は、前記第2作業者の前記脳活動量の変動量及び前記感情状態それぞれと前記閾値と比較することで、前記第2作業者の前記第2タスクに対する集中の程度を推定する、
    請求項11に記載の推定システム。
  13. 所定のタスクを作業者が実行している間に、前記作業者の第1生理学的パラメータであって、脳活動量に関する第1生理学的パラメータを第1センサにより測定することで得られた、所定のウィンドウサイズ内における脳活動量の変動量を示す脳活動データを取得する第1取得部と、
    前記作業者の第2生理学的パラメータであって、感情状態に関する第2生理学的パラメータを第2センサにより測定することで得られた、前記タスクの実行に関連した前記作業者の感情状態を示す感情データを取得する第2取得部と、
    前記作業者が前記タスクを実行した結果に基づいて特定された、前記作業者の前記タスクに対する集中の程度を示す実行結果データを取得する第3取得部と、
    前記脳活動データ、前記感情データ、及び前記実行結果データに基づいて、前記脳活動量の変動量及び前記感情状態と前記集中の程度との間の対応関係を特定する関係特定部と、
    を備える、
    学習装置。
  14. コンピュータが、
    所定のタスクを作業者が実行している間に、前記作業者の第1生理学的パラメータであって、脳活動量に関する第1生理学的パラメータを第1センサにより測定することで得られた、所定のウィンドウサイズ内における脳活動量の変動量を示す脳活動データを取得するステップと、
    前記作業者の第2生理学的パラメータであって、感情状態に関する第2生理学的パラメータを第2センサにより測定することで得られた、前記タスクの実行に関連した前記作業者の感情状態を示す感情データを取得するステップと、
    前記作業者が前記タスクを実行した結果に基づいて特定された、前記作業者の前記タスクに対する集中の程度を示す実行結果データを取得するステップと、
    前記脳活動データ、前記感情データ、及び前記実行結果データに基づいて、前記脳活動量の変動量及び前記感情状態と前記集中の程度との間の対応関係を特定するステップと、
    を実行する、
    学習方法。
  15. 所定のタスクを作業者が実行している間に、前記作業者の第1生理学的パラメータであって、脳活動量に関する第1生理学的パラメータを第1センサにより測定することで得られた、所定のウィンドウサイズ内における脳活動量の変動量を示す脳活動データを取得する第1取得部と、
    前記作業者の第2生理学的パラメータであって、感情状態に関する第2生理学的パラメータを第2センサにより測定することで得られた、前記タスクの実行に関連した前記作業者の感情状態を示す感情データを取得する第2取得部と、
    前記脳活動量の変動量及び前記感情状態と集中の程度との間の対応関係を示す対応関係データを取得し、取得した当該対応関係データにより示される当該対応関係に基づいて、前記脳活動データ及び前記感情データにより示される前記作業者の前記脳活動量の変動量及び前記感情状態から、前記作業者の前記タスクに対する集中の程度を推定する推定部と、
    前記作業者の前記タスクに対する集中の程度を推定した結果に関連した出力処理を行う出力部と、
    を備える、
    推定装置。
  16. コンピュータが、
    所定のタスクを作業者が実行している間に、前記作業者の第1生理学的パラメータであって、脳活動量に関する第1生理学的パラメータを第1センサにより測定することで得られた、所定のウィンドウサイズ内における脳活動量の変動量を示す脳活動データを取得するステップと、
    前記作業者の第2生理学的パラメータであって、感情状態に関する第2生理学的パラメータを第2センサにより測定することで得られた、前記タスクの実行に関連した前記作業者の感情状態を示す感情データを取得するステップと、
    前記脳活動量の変動量及び前記感情状態と集中の程度との間の対応関係を示す対応関係データを取得するステップと、
    取得した当該対応関係データにより示される当該対応関係に基づいて、前記脳活動データ及び前記感情データにより示される前記作業者の前記脳活動量の変動量及び前記感情状態から、前記作業者の前記タスクに対する集中の程度を推定するステップと、
    前記作業者の前記タスクに対する集中の程度を推定した結果に関連した出力処理を行うステップと、
    を実行する、
    推定方法。

JP2018047112A 2018-03-14 2018-03-14 推定システム、学習装置、学習方法、推定装置及び推定方法 Active JP6935774B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018047112A JP6935774B2 (ja) 2018-03-14 2018-03-14 推定システム、学習装置、学習方法、推定装置及び推定方法
PCT/JP2019/010182 WO2019176992A1 (ja) 2018-03-14 2019-03-13 推定システム、学習装置、学習方法、推定装置及び推定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018047112A JP6935774B2 (ja) 2018-03-14 2018-03-14 推定システム、学習装置、学習方法、推定装置及び推定方法

Publications (2)

Publication Number Publication Date
JP2019159941A JP2019159941A (ja) 2019-09-19
JP6935774B2 true JP6935774B2 (ja) 2021-09-15

Family

ID=67906673

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018047112A Active JP6935774B2 (ja) 2018-03-14 2018-03-14 推定システム、学習装置、学習方法、推定装置及び推定方法

Country Status (2)

Country Link
JP (1) JP6935774B2 (ja)
WO (1) WO2019176992A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7286507B2 (ja) * 2019-10-09 2023-06-05 株式会社日立製作所 作業者管理装置、及び作業者管理方法
US11625636B2 (en) 2020-03-31 2023-04-11 Raytheon Company System and method for organic cognitive response (OCR) feedback for adaptive work instructions
JP7429440B2 (ja) 2020-10-09 2024-02-08 日本メナード化粧品株式会社 一過性の複合感情の推定装置、推定システム、推定方法および推定プログラム
WO2023012901A1 (ja) * 2021-08-03 2023-02-09 日本電信電話株式会社 感覚刺激呈示装置、感覚刺激呈示方法、プログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007079647A (ja) * 2005-09-09 2007-03-29 Fuji Xerox Co Ltd 情報処理システム、情報処理方法およびプログラム
JP6191242B2 (ja) * 2013-05-30 2017-09-06 トヨタ自動車株式会社 集中度推定装置
JP6594620B2 (ja) * 2013-12-20 2019-10-23 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 光脳機能計測装置
DE112017007252T5 (de) * 2017-03-14 2019-12-19 Omron Corporation Fahrerüberwachungsvorrichtung, fahrerüberwachungsverfahren, lernvorrichtung und lernverfahren

Also Published As

Publication number Publication date
WO2019176992A1 (ja) 2019-09-19
JP2019159941A (ja) 2019-09-19

Similar Documents

Publication Publication Date Title
JP6935774B2 (ja) 推定システム、学習装置、学習方法、推定装置及び推定方法
US10593349B2 (en) Emotional interaction apparatus
Golan et al. A framework for operator–workstation interaction in Industry 4.0
CN110072454B (zh) 生产管理设备、方法以及程序
US20190239795A1 (en) Emotion estimation apparatus, method, and program
Jerritta et al. Physiological signals based human emotion recognition: a review
Wioleta Using physiological signals for emotion recognition
Kulic et al. Affective state estimation for human–robot interaction
Croft Estimating intent for human-robot interaction
TWI478691B (zh) 睡意偵測方法及其裝置
KR102143343B1 (ko) 뇌활동 반영 자율신경계 신호 기반 집중도 또는 피로도 또는 졸음 모니터링 시스템
WO2018180134A1 (ja) 感情認識装置および感情認識プログラム
US10877444B1 (en) System and method for biofeedback including relevance assessment
WO2018222589A1 (en) System and method for treating disorders with a virtual reality system
Sundaravadivel et al. i-rise: An iot-based semi-immersive affective monitoring framework for anxiety disorders
Ehrlich et al. When to engage in interaction—And how? EEG-based enhancement of robot's ability to sense social signals in HRI
Henia et al. Emotion classification in arousal-valence dimension using discrete affective keywords tagging
JP2020035331A (ja) パフォーマンス計測装置、パフォーマンス計測方法及びパフォーマンス計測プログラム
Mindoro et al. Drowsy or not? Early drowsiness detection utilizing arduino based on electroencephalogram (eeg) neuro-signal
Giusti et al. A noninvasive system for evaluating driver vigilance level examining both physiological and mechanical data
Vettivel et al. System for detecting student attention pertaining and alerting
Ganesh et al. Real time vigilance detection using frontal EEG
Dávila-Montero et al. Exploring the relationship between speech and skin conductance for real-time arousal monitoring
Momin et al. Current status and future research directions in monitoring vigilance of individual or mass audience in monotonous working environment
WO2018158704A1 (en) Work management apparatus, method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200305

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210525

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210625

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210727

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210809

R150 Certificate of patent or registration of utility model

Ref document number: 6935774

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150