JP6582799B2 - サポート装置及びサポート方法 - Google Patents

Description

本発明は、車両やゲーム機、工場設備等の操作機器の操作をサポートするサポート装置、及びサポート方法に関する。

車両運転者の運転操作をサポートするサポート装置として、例えば特許文献１に記載されたものが知られている。該特許文献１には、車両がカーブ路に進入する際に、この車両の運転者の過去の運転傾向に基づいて、危険となり得る領域を検出することで、適切な危険判断を行うことが開示されている。

特開２００７−１６４４３２号公報

しかしながら、上述した特許文献１に開示された従来例は、車両の走行履歴に基づいてカーブ路の危険判断を行うので、高精度に操作環境の認識をサポートできないという問題があった。

本発明は、このような従来の課題を解決するためになされたものであり、その目的とするところは、高精度に操作環境の認識をサポートすることが可能なサポート装置及びサポート方法を提供することにある。

上記目的を達成するため、本発明に係るサポート装置の一態様は、対象者の脳活動を解析する脳活動解析部と、対象者の視線を解析する視線解析部を備える。また、対象者が視野に含まれる物体や状況を認識している度合である視覚処理深度が大きく、かつ、視線解析部で解析された対象者の視線移動量が大きい場合に、注意度合を大きく算出し、注意度合が所定閾値より大きい場合に、対象者の操作意図があると判断する操作意図検出部を備える。更に、操作意図検出部で、対象者に操作意図が有ることが検出された際に、操作行動についてのサポート指令を出力するサポート制御部を備える。

また、本発明に係るサポート方法の一態様は、対象者の脳活動を解析する工程と、対象者の視線を解析する工程と、脳活動を解析する工程で解析された対象者が視野に含まれる物体や状況を認識している度合である視覚処理深度が大きく、かつ、視線を解析する工程で解析された対象者の視線移動量が大きい場合に、注意度合を大きく算出し、注意度合が所定閾値より大きい場合に、対象者の操作意図があると判断する工程を備える。更に、対象者に操作意図が有ることが検出された際に、操作行動についてのサポート指令を出力する。

本発明によれば、対象者の脳活動、及び視線移動量に基づいて対象者の操作意図を検出するので、高精度に操作環境の認識をサポートすることが可能となる。

本発明の実施形態に係るサポート装置、及びその周辺機器の構成を示すブロック図である。 本発明の実施形態に係るサポート装置の処理手順を示すフローチャートである。 本発明の実施形態に係るサポート装置による、サポート処理を実施するタイミングを示す説明図である。 二人の運転者に対して視線移動量を測定したときの、視線移動の優位度を示すグラフである。

以下、本発明の実施形態を図面に基づいて説明する。図１は、本発明の実施形態に係るサポート装置、及びその周辺機器の構成を示すブロック図である。本実施形態では、操作機器として車両を例に挙げ、該車両を運転する運転者（対象者）の運転操作をサポートする場合について説明する。

図１に示すように、サポート装置１００は、視線解析部１１と、脳活動解析部１２と、運転意図検出部１３、及び環境判断制御部２７（サポート制御部）を備えている。

なお、サポート装置１００は、例えば中央演算ユニット（ＣＰＵ）や、ＲＡＭ、ＲＯＭ、ハードディスク等の記憶手段からなる一体型のコンピュータとして構成することができる。

視線解析部１１は、視線移動検出部２１、及び視線移動量データベース２２（視線移動量記憶部）に接続されている。また、脳活動解析部１２は、脳活動検出部２３、及び脳活動データベース２４（脳活動データ記憶部）に接続され、運転意図検出部１３は、周囲環境検出部２６、及び運転行動データベース２５（操作行動データ記憶部）に接続されている。

視線移動検出部２１は、運転者の眼球の動作を検出し、該運転者の視線移動を検出する。例えば、車両の適所に配設されたカメラで運転者の眼球を撮像し、撮像して得られた画像から眼球の動的な情報を取得する。そして、所定時間での眼球の動きに基づいて、運転者の視線移動量（所定時間当たりの視線移動量）を検出し、この視線移動量のデータを視線解析部１１に出力する。また、この視線移動量のデータは、視線移動量データベース２２に出力される。

視線移動量データベース２２は、車両の運転者毎に視線移動量を記憶する。具体的には、視線移動検出部２１で検出された運転者の視線移動量（これを、Ｓｎとする）を取得し、取得した視線移動量のデータを累積的に記憶する。

視線解析部１１は、視線移動検出部２１で検出される視線移動量と、この運転者の過去の視線移動量から、視線移動量の平均値（視線移動量平均値）を演算し、この平均値と、検出された視線移動量との差分から、運転者の視線が大きく移動しているか否かを判断する。

脳活動検出部２３は、運転者の脳波を検出する。具体的には、運転者の頭部に専用のプローブを装着し、該プローブで検出される脳波を取得する。そして、取得した脳波から、視覚処理深度（Visual Processing Depth；以下、ＶＰｎで示す）を求める。「視覚処理深度」とは、運転者の視野に存在する物体や状況を認識している度合いを定量的に示す数値であり、脳波に基づき運転者の脳内の視覚野の働きを検出することにより、認識することができる。なお、本実施形態では、脳活動の一例として「脳波」より得られる「視覚処理深度」を例に挙げて説明するが、例えば「ＮＩＲＳ」等を用いて脳活動を検出することも可能である。

脳活動データベース２４は、運転者の脳波に関するデータを累積的に記憶する。即ち、脳活動検出部２３で検出された視覚処理深度に関するデータを累積的に記憶する。

脳活動解析部１２は、脳活動データベース２４に記憶されている、各運転者の視覚処理深度の平均値（視覚処理平均値）を演算する。そして、脳活動検出部２３にてある運転者についての視覚処理深度のデータが取得された場合には、このデータと、この運転者についての視覚処理深度の平均値との差分を求める。そして、この差分に基づいてこの運転者の視覚処理深度の大小を判断する。

運転行動データベース２５は、各運転者の過去の運転行動データ（操作行動データ）を累積的に記憶する。例えば、ある運転者が頻繁に利用する走行路を走行しているときに、どの位置で車線変更したか、或いは、どの交差点で右折、左折したか、等の運転行動データを記憶する。

周囲環境検出部２６は、車両周囲の周囲環境を検出する。具体的には、車両に設置されたカメラ（図示省略）で撮像された車外画像に基づき、車両の近傍を走行する他車両、及びその他の障害物を検出する。そして、周囲環境に関する情報を取得し、周囲環境データとして運転意図検出部１３に出力する。

運転意図検出部１３は、運転者の視線移動量、視覚処理深度、運転者の過去の運転行動、及び周囲環境、の各データに基づいて、この運転者の注意度合（これを、Ａ１とする）を演算し、この注意度合Ａ１に基づいて、運転者の操作意図を検出する。換言すれば、運転者が将来にどのような行動をとるかを予測する。そして、操作意図に関するデータを環境判断制御部２７に出力する。

環境判断制御部２７は、運転意図検出部１３にて、運転者の運転行動に対するサポート処理を実行する際に、後段のサポート機器にサポート指令を出力する。例えば、運転者が車線変更をすることが運転意図検出部１３で検出された場合、即ち、運転行動についての操作意図が有ることが検出された場合には、図示省略の画像表示部（サポート機器）に、車両の周囲画像を表示させるための指令を出力する。即ち、操作行動についてのサポート指令を出力する。

以下、本実施形態に係るサポート装置１００の具体的な処理手順を、図２に示すフローチャートを参照して説明する。いま、車両が図３に示すように、片側二車線の走行路Ｘ１の右車線を走行しており、数秒後に左側の車線に車線変更する場合について説明する。

初めに、図２のステップＳ１１において、運転意図検出部１３は、運転者の視線移動量Ｓｎを取得する。その後、ステップＳ１２において、この運転者の視線移動量の平均値Ｓｂ（視線移動量平均値）との差分「Ｓｎ−Ｓｂ」（第２差分）を演算する。

運転者が車線変更する場合には、実際に車線変更する直前に、左右を注意深く見渡すようになる。即ち、視線移動検出部２１で検出される視線移動量Ｓｎが大きくなる。従って、視線移動量Ｓｎと、視線移動量データベース２２に記憶されている、この運転者の視線移動量の平均値Ｓｂとの差分「Ｓｎ−Ｓｂ」が大きくなる。

次いで、ステップＳ１３において、運転意図検出部１３は、視覚処理深度ＶＰｎを取得する。その後、ステップＳ１４において、この運転者の視覚処理深度の平均値ＶＰｂ（視覚処理平均値）との差分「ＶＰｎ−ＶＰｂ」（第１差分）を演算する。車線変更時には、脳活動検出部２３で検出される脳波から取得される視覚処理深度ＶＰｎが大きくなる。

上述したように、「視覚処理深度」とは、運転者の視野に含まれる物体や状況を認識している度合いを示している。つまり、運転者の視線が任意の物体にあるからといって、この物体を注視しているとは限らない。視野内の物体や状況を漫然として見ている場合（注視していない場合）には、視覚処理深度は小さい。反対に、視野内の物体や状況を集中して見ている場合には、視覚処理深度は大きい。車線変更の場合には、運転者は周囲に存在する他車両や障害物を注視しているので、視覚処理深度ＶＰｎは大きくなる。このため、視覚処理深度ＶＰｎと、視覚処理深度の平均値ＶＰｂとの差分「ＶＰｎ−ＶＰｂ」が大きくなる。

ステップＳ１５において、運転意図検出部１３は、上述した差分「Ｓｎ−Ｓｂ」と「ＶＰｎ−ＶＰｂ」の乗算値を注意度合Ａ１として求める。即ち、下記の（１）式により、注意度合Ａ１を演算する。
Ａ１＝（Ｓｎ−Ｓｂ）＊（ＶＰｎ−ＶＰｂ） …（１）

そして、運転意図検出部１３は、上記の（１）式で演算された注意度合Ａ１と、後述の処理で設定される閾値Ｌth（所定閾値）とを比較し、注意度合Ａ１が閾値Ｌthを上回った場合に、この旨を環境判断制御部２７に出力する。該環境判断制御部２７は、サポート処理を実行させるためのサポート指令信号を出力する。本実施形態では、サポート処理の一例として、運転者が車線変更（操作行動）すると推定された場合に、推定された時点よりも早い時点で、車線変更に必要な周囲画像を車載のディスプレイ（図示省略）等に拡大表示する。

ステップＳ１６〜Ｓ２２では、運転者の行動履歴の有無、及び行動実行の可能性の判断結果に基づいて、上記の閾値Ｌthを適切な数値に設定する。ここでは、行動履歴として運転者が過去に車線変更したことがあるか否かの履歴を採用し、行動実行の可能性として、車両の周囲に存在する他車両の多寡を例に挙げて説明する。

ステップＳ１６において、運転意図検出部１３は、行動履歴が有るか否かを判断する。この処理では、車両が現在走行している走行路において、過去に車線変更した履歴が有るか否かを判断する。この処理は、図１に示す運転行動データベース２５に記憶されているデータに基づいて判断することができる。そして、履歴が有る場合にはステップＳ１７に処理を進め、履歴が無い場合にはステップＳ１８に処理を進める。

ステップＳ１７において、運転意図検出部１３は、行動実行の可能性が有るか否かを判断する。具体的には、車両の周囲に多くの他車両が存在するか否かを判断し、他車両が少ない場合には、行動実行が可能である、即ち、車線変更が可能であると判断する。そして、行動実行が可能であると判断された場合には（ステップＳ１７でＹＥＳ）、ステップＳ２０において、閾値Ｌthを第１閾値Ｌth１に設定する。一方、行動実行が可能でないと判断された場合には（ステップＳ１７でＮＯ）、ステップＳ１９において、閾値Ｌthを第２閾値Ｌth２（但し、Ｌth２＞Ｌth１）に設定する。

一方、ステップＳ１８において、運転意図検出部１３は、行動実行の可能性が有るか否かを判断する。この処理は、前述したステップＳ１７の処理と同様である。行動実行が可能であると判断された場合には（ステップＳ１８でＹＥＳ）、ステップＳ２１において、閾値Ｌthを第３閾値Ｌth３に設定する。一方、行動実行が可能でないと判断された場合には（ステップＳ１８でＮＯ）、ステップＳ２２において、閾値Ｌthを第４閾値Ｌth４に設定する。ここで、各閾値は、Ｌth４＞Ｌth３＞Ｌth２＞Ｌth１なる関係を有する。

上述したステップＳ１６〜Ｓ２２の処理をまとめると、下記（Ａ）〜（Ｄ）に示す通りである。
（Ａ）行動履歴が有り、且つ行動実行が可能である場合には、閾値Ｌthを最も低い数値である「Ｌth１」に設定する。過去に運転者がその地点で頻繁に車線変更しており、更に、周囲を走行する他車両が少ない場合には、運転者は現在の走行地点の近傍で車線変更する可能性が高いと判断されるので、閾値Ｌthを低い数値である第１閾値Ｌth１に設定する。つまり、車線変更の意図有りと判断され易くなるように、閾値Ｌthを設定する。

（Ｂ）行動履歴が有り、且つ行動実行が可能でない場合には、閾値Ｌthを二番目に低い数値である第２閾値Ｌth２に設定する。過去に運転者がその地点で頻繁に車線変更しており、更に、周囲に多くの他車両が走行している場合には、閾値Ｌthを第１閾値Ｌth１よりも高い第２閾値Ｌth２に設定する。

（Ｃ）行動履歴が無く、且つ行動実行が可能である場合には、閾値Ｌthを三番目に低い数値である第３閾値Ｌth３に設定する。過去に運転者がその地点で車線変更した履歴が無く、更に、周囲を走行する他車両が少ない場合には、閾値Ｌthを第２閾値Ｌth２よりも高い第３閾値Ｌth３に設定する。

（Ｄ）行動履歴が無く、且つ行動実行が可能でない場合には、閾値Ｌthを最も高い数値である第４閾値Ｌth４に設定する。過去に運転者がその地点で車線変更した履歴が無く、更に、周囲を走行する他車両が多い場合には、運転者は現在の地点の近傍で車線変更する可能性は低いと判断される。従って、閾値Ｌthを第３閾値Ｌth３よりも高い第４閾値Ｌth４に設定する。

このように、注意度合Ａ１の大きさを判断するための閾値Ｌthを、運転者の行動履歴の有無、及び行動実行可能性に基づいて設定しているので、過去の運転行動、及び周囲環境に応じた適切な閾値Ｌthを設定することが可能となる。

次いで、図２のステップＳ２３において、運転意図検出部１３は、上記の（１）式で演算された注意度合Ａ１と、ステップＳ１９〜Ｓ２２の各処理で設定された閾値Ｌthとを比較する。そして、注意度合Ａ１が閾値Ｌthを上回った場合には（ステップＳ２３でＹＥＳ）、ステップＳ２４において、運転者は行動の意図（この例では、車線変更の意図）があるものと判断する。そして、行動の意図が有ると判断した場合には、環境判断制御部２７に、その旨を示す情報を出力する。そして、ステップＳ２５において、環境判断制御部２７は、サポート指令信号を出力する。その結果、例えば車両の左右の映像を車内に搭載したディスプレイに拡大表示する、等のサポート処理が実行される。よって、運転者は、車両の左右の状況をより詳しく認識することができ、車線変更に役立てることができる。

ステップＳ２６において、運転意図検出部１３は、行動が完了したか否かを判断する。具体的には、車線変更が終了したか否かを判断する。この処理は、例えば、短期間のオドメトリを検出することにより、車両が道路上の仕切り線（白線等）を跨いだことを認識することにより、車線変更が終了したことを検出できる。また、ＧＰＳデータを用いることにより、車線変更の終了を検出することも可能である。

そして、車線変更が完了した場合には、ステップＳ２７において、サポート指令の出力を終了する。一方、ステップＳ２３の処理で注意度合Ａ１が閾値Ｌthを上回らない場合には、ステップＳ１１からの処理を繰り返す。

このように、本実施形態では、運転者の脳活動、及び、視線移動量に基づいて、運転者の注意度合Ａ１を演算し、この注意度合Ａ１が予め設定した閾値Ｌthを上回った際に、サポート処理を実行する。即ち、車線変更しようとする運転者は、周囲の状況を確認するので視線移動量Ｓｎが大きくなり、且つ、視覚処理深度ＶＰｎが大きくなっている。そして、これらに基づいて運転者が車線変更する前の好適なタイミングで、サポート処理を実行することが可能となる。この際、運転者は、何らの操作入力を行う必要がないので、運転者に煩わしさを感じさせることなくサポート処理を実行することができる。

次に、サポート処理を実行するタイミングを設定する処理について説明する。上記の処理により、車線変更の意図が検出され、例えば、５秒後に車線変更動作が実行されると推定された場合には、推定された時刻よりも所定時間だけ前の時点（例えば、５秒前の時点）でサポート処理を実行することが可能である。しかし、サポート処理を必要とするタイミングは、運転者毎に異なる。例えば、運転者が初心者である場合には、早めのサポート処理を必要とし、運転者が熟練者である場合には、早めにサポート処理が実行されると却って煩わしさを感じてしまう。具体的には、車線変更のサポート処理として、車両の周囲画像を拡大してディスプレイ（図示省略）等に表示する処理を実行すると、熟練者にとってはこのような画像表示が早めに表示されると違和感を感じることがある。

本実施形態では、各運転者毎に車線を変更すると推定される時刻の、どの程度前の時点で視線移動が増大しているか測定し、この視線移動の度合いに基づいて、各運転者にとって違和感を感じることの無いサポート処理を実行するタイミングを設定する。そして、このデータを視線移動量データベース２２に記憶する。以下、具体的に説明する。

図４は、二人の運転者Ｍ１、Ｍ２に対して、視線移動量を測定したときの、視線移動の優位度を示すグラフである。図４（ａ）は運転者Ｍ１についての優位度データを示し、図４（ｂ）は運転者Ｍ２についての優位度データを示している。図４（ａ）、（ｂ）に示すグラフの縦軸は車線変更が実行される時刻を「０」としたときの、測定スタート時刻を示し、横軸は、測定終了時刻を示している。そして、図中に示す「＋」印は優位度の大きさを示している。詳細には、「＋」印の個数が多いほど優位度が高いことを示している。

そして、図４（ａ）に示す運転者Ｍ１の場合には、車線変更を開始する時刻の６秒前から、車線変更実行後の２秒後までの時間帯（符号Ｑ１参照）において、視線移動の優位度が高まっていることが理解される。即ち、この運転者Ｍ１にとっては、車線変更を実行すると推定される時刻の、６秒程度前の時点でサポート処理を実行し、車線変更を開始してから２秒後にサポート処理を終了するのが好適であると判断される。

一方、図４（ｂ）に示す運転者Ｍ２の場合には、車線変更を開始する時刻の２秒前から、車線変更実行後の２秒後までの時間帯（符号Ｑ２参照）において、視線移動の優位度が高まっていることが理解される。即ち、この運転者Ｍ２にとっては、車線変更を実行すると推定される時刻の、２秒程度前の時点でサポート処理を実行し、車線変更を開始してから２秒後にサポート処理を終了するのが好適であると判断される。

本実施形態では、このデータを考慮して、サポート処理の開始時刻、及び終了時刻を設定する。こうすることにより、運転が未熟な初心者に対し早い時点でのサポート処理を行うことにより、運転者に安心感を与えることができる。また、熟練度の高い運転者には早い時点でサポート処理を実行することによる煩わしさを回避することができる。

上記の内容を図３を参照して説明する。図３に示す地点Ｚ１〜Ｚ６の領域Ｌ３は、運転者が過去に車線変更した地点を示している。そして、車両Ｖ１が走行路Ｘ１を走行しており、地点Ｚ４にて車線変更すると推定された場合に、熟練度の高い運転者にとっては、車両Ｖ１が地点Ｚ４よりも若干手前である地点Ｚ３に達した時点で周囲画像を表示すれば良い。更に、地点Ｚ４で車線変更を実行した後、地点Ｚ５に達した時点で周囲画像の表示を終了させる。即ち、領域Ｌ２で周囲画像が表示されることになる。

また、運転者が初心者の場合には、地点Ｚ３よりも手前の地点Ｚ２にて周囲画像を表示する。即ち、領域Ｌ１で周囲画像が表示されることになる。この場合、実際に車線変更が実施される地点よりも長距離手前の時点で周囲画像が表示されるので、運転者に安心感を与えることができる。

一方、本実施形態を採用しない従来の方法では、運転者の意図を検出しないので、例えば、過去の運転履歴に基づいて、サポート処理を実行することになる。このため、例えば、車線変更の履歴が領域Ｌ３であった場合には、車両Ｖ１が領域Ｌ３を走行している間に、周囲画像を表示することになる。従って、本実施形態を採用する場合では、不要な領域において周囲画像の表示が省略されるので、運転者に煩わしさを感じさせることが無くなる。

このようにして、本実施形態に係るサポート装置１００では、運転者の脳活動、及び視線を解析し、これらの解析結果、及び、運転者の過去の操作行動に基づいて、運転者の操作意図、即ち、車線変更の意図を検出している。従って、車線変更が行われる前の時点で運転操作に関するサポート処理を実行することが可能となる。つまり、運転者が実際に車線変更の操作を行う前の時点で、車線変更するタイミングを推定し、車線変更操作が行われる前の時点で、周囲画像を拡大表示する等の処理を実行することができるので、運転者による車線変更の操作を容易に行うことができるように設定することが可能となる。

また、運転者の脳活動として、運転者の視覚処理深度を解析し、この解析結果に基づいて運転者による車線変更の意図を検出している。従って、運転者が周囲を注意深く認識している度合いに基づいて運転者による車線変更の意図を検出するので、より高精度な操作環境の認識のサポート処理を実行することが可能となる。

更に、運転者の視覚処理深度の平均値である視覚処理平均値（ＶＰｂ）を演算し、更に、この運転者について取得された視覚処理深度（ＶＰｎ）と、視覚処理平均値（ＶＰｂ）との差分である第１差分を演算し、この第１差分に基づいて、取得した視覚処理深度を解析している。従って、運転者の通常時における視覚処理深度との対比に基づく解析が可能となるので、より運転者個人の特質に適合した操作意図の検出が可能となる。

また、運転者の視線解析として、所定時間当たりの視線移動量を取得し、この視線移動量に基づいて、運転者による車線変更の意図を検出している。従って、運転者が視線移動しながら周囲を認識している度合いに基づいて運転者による車線変更の意図を検出するので、より高精度な操作環境の認識のサポート処理を実行することが可能となる。

更に、運転者の視線移動量平均値Ｓｂを演算し、更に、この運転者について取得された視線移動量Ｓｎと、視線移動量平均値Ｓｂとの差分である第２差分を演算し、この第２差分に基づいて、取得した視線移動量を解析している。従って、運転者の通常時における視線移動量との対比に基づく解析が可能となるので、より運転者個人の特質に適合した操作意図の検出が可能となる。

また、上記した第１差分と第２差分を乗算して、運転者の注意度合Ａ１を演算し、この注意度合Ａ１が所定閾値を上回った場合に、サポート処理を実行する。従って、運転者がサポートを必要としているときに、適切にサポート処理を実行することが可能となる。

更に、運転者の過去の操作行動を運転行動データベース２５から取得し、この操作行動データに基づいて、所定閾値を変更している。従って、運転者の過去の操作行動に適合した所定閾値の設定が可能となり、サポート処理の実行の可否を高精度に決定することが可能となる。

また、周囲環境検出部２６より、車両周囲の周囲環境データを取得し、この周囲環境データに基づいて、所定閾値を変更している。従って、周囲の環境、例えば、他車両の多寡に応じた所定閾値の設定が可能となり、サポート処理の実行の可否を高精度に決定することが可能となる。

更に、運転者の過去における操作行動データを取得できない場合で、注意度合Ａ１が所定閾値Ｌthよりも大きい場合には、サポート指令を出力するので、サポートが必要なときに、サポート処理が実行されないという問題の発生を回避することができる。

また、運転者の過去の操作行動から、該運転者が必要とするサポート時間を演算している。そして、運転者が車線変更を開始すると推定される時点から、上記のサポート時間だけ前の時点で、サポート処理を開始する。その結果、運転者の運転技能に適したタイミングでサポート処理を実行することが可能となる。即ち、初心者には早めにサポート処理が実行されるので安心感を与えることができ、熟練者には不要なサポート処理を割愛することにより、煩わしさを感じさせることを防止できる。

また、上述した実施形態では、操作行動として車両が車線変更する場合の動作を例に挙げて説明したが、例えば、車両が交差点を右折、左折する場合の動作についても採用することができる。具体的には、運転意図検出部１３にて、運転者が次の交差点を左折すると推定される場合には、車両の左側の画像を拡大して表示することにより、運転者による左折操作をサポートすることができる。

即ち、車両を運転する運転者に対してサポート処理を実行するので、運転者が車線変更する場合、或いは、右折、左折する場合に、周囲画像が表示することができ周囲の視認性が向上し、運転操作を円滑に実行させることが可能となる。

［変形例の説明］
上述した実施形態では、操作機器として、車両を例に挙げて説明した。しかし、本発明は、車両に限定されるものではなく、他の操作機器に適用することも可能である。具体的には、遊技者（対象者）がゲーム機を操作する場合や、工場の作業者が製造ラインで流れ作業を行う場合に適用することが可能である。

例えば、ゲーム機の場合には、遊技者がゲーム機を操作してゲームを実行する場合、該遊技者の頭部に脳波検出用のプローブを装着する。更に、遊技者の眼球の動きをカメラ等を用いて検出する。そして、該遊技者がゲームを実行している際に、この遊技者の視線移動量、及び、視覚処理深度を検出する。そして、これらの情報から、遊技者がゲーム機を実行する際の難易度を認識することができる。例えば、視線の移動量が小さく、且つ視覚処理深度が小さい場合には、この遊技者は、ゲームの内容に難しさを感じていないものと推定される。

このような場合には、この注意度合のデータをゲーム機側に送信し、ゲームの難易度を高めることも可能である。これとは反対に、遊技者の視線の移動量が大きく、且つ視覚処理深度が大きい場合には、この遊技者はゲームの内容に難しさを感じているものと推定できる。このような場合には、ゲームの難易度を低下させる。

即ち、サポート制御部は、操作意図検出部にて、遊技者（対象者）による操作意図が有ることが検出された場合には、操作行動についてのサポート指令を出力する。更に、脳活動解析部で解析された脳活動、及び視線解析部で解析された視線移動量のうちの少なくとも一方に基づいて、ゲーム機の難易度を変更する。つまり、遊技者が現在ゲーム機を操作して実施しているゲームに感じる難易度が、難しいか或いは簡単であるかを、検出できるので、これに合わせてゲームの難易度を変更する。即ち、遊技者の遊技のレベルに合わせた難易度に設定することができる。その結果、遊技者に対して、ゲームを実行しようとする意欲を高めることができ、より楽しみながらゲームを実行させることが可能となる。

また、本発明に係るサポート装置では、物品を製造する製造装置で、物品の加工を操作する作業者（対象者）に対してサポート処理を実行することも可能である。作業者の視線移動量、及び視覚処理深度を検出し、これらの情報に基づいて、作業を実行する際の負担の大きさを認識できる。そして、作業者の視線移動量、及び視覚処理深度が大きい場合には、加工処理の速度が速いものと判断し、加工処理の速度を低下させることができる。反対に、作業者の視線移動量、及び視覚処理深度が小さい場合には、加工速度をより速い速度に変更する。

即ち、サポート制御部は、操作意図検出部にて、対象者による操作意図が有ることが検出された場合には、操作行動についてのサポート指令を出力する。更に、脳活動解析部で解析された脳活動、及び視線解析部で解析された視線移動量のうちの少なくとも一方に基づいて、製造装置での物品の加工速度を変更する。

このように、作業者の視線移動量、視覚処理深度を測定することにより、該作業者による作業の容易性を認識することができるので、流れ作業の速度を変更することにより、より作業者の能力に適した流れ速度を設定でき、作業効率を向上させることが可能となる。

以上、本発明のサポート装置、及びサポート方法を図示の実施形態に基づいて説明したが、本発明はこれに限定されるものではなく、各部の構成は、同様の機能を有する任意の構成のものに置き換えることができる。

１１ 視線解析部
１２ 脳活動解析部
１３ 運転意図検出部
２１ 視線移動検出部
２２ 視線移動量データベース
２３ 脳活動検出部
２４ 脳活動データベース
２５ 運転行動データベース
２６ 周囲環境検出部
２７ 環境判断制御部（サポート制御部）
１００ サポート装置

Claims (11)

1. 対象者による操作機器の操作をサポートするサポート装置において、
   前記対象者の脳活動を解析する脳活動解析部と、
   前記対象者の視線を解析する視線解析部と、
   前記脳活動解析部で解析された前記対象者が視野に含まれる物体や状況を認識している度合である視覚処理深度が大きく、かつ、前記視線解析部で解析された前記対象者の視線移動量が大きい場合に、注意度合を大きく算出し、前記注意度合が所定閾値より大きい場合に、前記対象者の操作意図があると判断する操作意図検出部と、
   前記操作意図検出部で、前記対象者の操作意図が有ることが検出された際に、前記操作行動についてのサポート指令を出力するサポート制御部と、
   を備えたことを特徴とするサポート装置。
2. 前記対象者の視覚処理深度に関するデータを記憶する脳活動データ記憶部、及び、前記対象者の視線移動量を記憶する視線移動量記憶部、を更に備え、
   前記脳活動解析部は、前記脳活動データ記憶部に記憶されているデータから前記対象者の視覚処理深度の平均値である視覚処理平均値を演算し、更に、この対象者の視覚処理深度が取得された際には、取得された視覚処理深度と、前記視覚処理平均値との差分である第１差分を演算し、
   且つ、
   前記視線解析部は、前記視線移動量記憶部に記憶されたデータから前記対象者の視線移動量の平均値である視線移動量平均値を演算し、更に、この対象者の視線移動量が取得された際には、取得された視線移動量と、前記視線移動量平均値との差分である第２差分を演算し、
   前記操作意図検出部は、前記注意度合を、前記第１の差分と前記第２の差分に基づいて算出すること
   を特徴とする請求項１に記載のサポート装置。
3. 前記操作意図検出部は、前記対象者の過去における操作行動データを取得し、前記操作行動データに基づいて、前記所定閾値を変更すること
   を特徴とする請求項１または２に記載のサポート装置。
4. 前記操作意図検出部は、周囲環境データを取得し、前記周囲環境データに基づいて、前記所定閾値を変更すること
   を特徴とする請求項１〜３のいずれか１項に記載のサポート装置。
5. 前記操作意図検出部は、前記対象者の過去における操作行動データを取得し、前記サポート制御部は、前記対象者の過去における操作行動データを取得できない場合には、取得できる場合よりも高い所定閾値に設定すること
   を特徴とする請求項１〜４のいずれか１項に記載のサポート装置。
6. 前記対象者の、過去の操作行動を記憶する操作行動データ記憶部を更に備え、
   前記操作意図検出部は、前記操作行動データ記憶部に記憶されている対象者の過去の操作行動に基づいて、該対象者が必要とするサポート時間を演算し、
   前記サポート制御部は、対象者が操作を開始すると推定される時点から、前記サポート時間だけ前の時点で、前記サポート指令を出力すること
   を特徴とする請求項１〜５のいずれか１項に記載のサポート装置。
7. 前記操作機器は車両であることを特徴とする請求項１〜６のいずれか１項に記載のサポート装置。
8. 前記対象者による操作は、車両の車線変更、または交差点での右折、左折の操作であることを特徴とする請求項７に記載のサポート装置。
9. 前記操作機器はゲーム機であり、
   前記サポート制御部は、前記操作意図検出部にて、前記対象者による操作意図が有ることが検出された場合には、操作行動についてのサポート指令を出力すると共に、
   前記脳活動解析部で解析された脳活動、及び前記視線解析部で解析された視線移動量のうちの少なくとも一方に基づいて、前記ゲーム機の難易度を変更すること
   を特徴とする請求項１〜６のいずれか１項に記載のサポート装置。
10. 前記操作機器は、物品を製造する製造装置であり、前記対象者は、前記製造装置での物品の加工を操作する作業者であり、
    前記サポート制御部は、前記操作意図検出部にて、前記対象者による操作意図が有ることが検出された場合には、操作行動についてのサポート指令を出力すると共に、
    前記脳活動解析部で解析された脳活動、及び前記視線解析部で解析された視線移動量のうちの少なくとも一方に基づいて、製造装置での物品の加工速度を変更すること
    を特徴とする請求項１〜６のいずれか１項に記載のサポート装置。
11. 対象者による操作機器の操作をサポートするサポート方法において、
    前記対象者の脳活動を解析する工程と、
    前記対象者の視線を解析する工程と、
    前記対象者の脳活動、前記対象者の視線移動量、及び、前記対象者の過去の操作行動に基づいて、前記対象者の操作意図を検出する工程と、
    前記脳活動を解析する工程で解析された前記対象者が視野に含まれる物体や状況を認識している度合である視覚処理深度が大きく、かつ、前記視線を解析する工程で解析された前記対象者の視線移動量が大きい場合に、注意度合を大きく算出し、前記注意度合が所定閾値より大きい場合に、前記対象者の操作意図があると判断する工程と、
    前記対象者の操作意図が有ることが検出された際に、前記操作行動についてのサポート指令を出力する工程と、
    を備えたことを特徴とするサポート方法。
    
    

Images