JP5813562B2 - 操作支援装置、操作システム、操作支援方法、及びプログラム - Google Patents

Description

本発明は、操作支援装置、操作システム、操作支援方法、及びプログラムに係り、特に機器を操作する操作者の操作を支援する操作支援装置、操作システム、操作支援方法、及びプログラムに関する。

車両の外部を撮像して車両の操作者に表示する車両用表示装置であって、車両の操作者の視線が表示手段を見ていることを検知した場合に、撮像手段で撮像した画像を表示装置に明瞭に表示するように制御する車両用表示装置が知られている（例えば、特許文献１参照）。

また、操作者が関心を示す事項を予測し、予測した事項に関連する情報を収集して提示情報を取得し、操作者の視線が特定の機器に移動したことを判別した場合に、視線が移動した特定の機器に応じた情報を上記提示情報から外部に出力する視線移動検出情報提示装置も知られている（例えば、特許文献２参照）。

特開平６−２３３３０６号公報 特開２００１−１９４１６１号公報

しかしながら、上記従来の技術は、車両の操作者が車外映像を見るなど、運転中の恒常的な確認作業を支援することを前提として、単に表示手段や特定の機器を見ていることが検知されただけで操作者等の操作者を支援する支援表示を行なう構成となっている。上記技術を、車両に設けられた操作パネル等の操作を支援するための支援表示に用いた場合には、操作者が操作に習熟した段階においても毎回支援表示が発生し、煩わしい。従って、必要なときに必要な支援表示が行なわれることが望ましい。

本発明は、上記問題を解消するためになされたもので、操作者が操作装置の操作に困難を感じている際に支援表示を行なうことができる操作支援装置、操作システム、及び操作支援方法、及びプログラムを提供することを目的とする。

上記目的を達成するために、本発明の操作支援装置は、操作を受け付ける操作受付手段及び前記操作受付手段に対して設けられた表示手段を有する操作装置の操作者を撮影する撮影手段と、前記撮影手段により撮影された撮影画像に基づいて、前記操作者の視線の分析、又は前記操作者の指先の指示方向及び動きの分析を行なう分析手段と、前記操作者の視線、挙動、及び発話の少なくとも１つに基づいて、前記操作者の前記操作受付手段に対する操作を支援することが必要か否かを判断する判断手段と、前記判断手段により前記支援が必要と判断された場合に、前記操作者の前記操作受付手段に対する操作を支援するための支援表示が行なわれるように前記表示手段を制御する表示制御手段と、を備え、前記操作受付手段には異なる機能を実行するための複数の操作要素が配置され、前記判断手段は、前記操作者の視線又は前記操作者の指先が前記操作装置の方向を向いている時間又は該時間の単位時間あたりの割合が所定値を超えており、且つ前記操作者の単位時間あたりの視線又は指先の移動距離を示す移動速度が所定速度を超えていることが前記分析手段により分析された場合に、前記支援が必要であると判断し、前記表示制御手段は、前記複数の操作要素を複数のグループに区分けしたときに、前記操作者の視線又は指先が複数のグループ間を移動していることが前記分析手段により分析された場合には、前記支援表示として複数のグループの区分けが強調表示されるように前記表示手段を制御し、前記操作者の視線又は指先が前記複数のグループのうち１つのグループ内を移動していることが前記分析手段により分析された場合には、前記支援表示として該視線が向けられているグループに属する操作要素の各々が強調表示されるように前記表示手段を制御する。

このように、操作者の視線、挙動、及び発話の少なくとも１つに基づいて、操作者の操作受付手段に対する操作を支援することが必要か否かを判断し、必要であると判断した場合に、支援表示が行なわれるようにしたため、操作者が操作装置の操作に困難を感じている際に支援表示を行なうことができる。
また、 このように、操作者の視線又は指先が操作装置の方向を向いている時間又は該時間の単位時間あたりの割合が所定値を超えており、且つ操作者の単位時間あたりの視線又は指先の移動距離を示す移動速度が所定速度を超えていることが分析された場合に、支援表示が行なわれるため、容易に操作者が操作装置の操作に困難を感じていることを検出して支援表示を行なうことができる。
また、 このような構成により、操作者が感じている困難の種類に適した支援表示を行なうことができる。

また、前記操作要素から算出された正の視覚の誘導場と、前記操作要素のまとまりを区切る機能を有する仕切り部分から算出された負の視覚の誘導場とを合算して得られた視覚の誘導場の分布において、所定の閾値に相当する視覚の誘導場の値を有する点群を、前記複数のグループのうち前記分析手段に用いるグループの境界線として用いてもよい。

このような構成により、例えば、操作要素の種類や配置が変化する場合でも、適切に視線を分析して支援表示することができる。

また、本発明の操作システムは、操作を受け付ける操作受付手段及び前記操作受付手段に対して設けられた表示手段を有する操作装置と上記操作支援装置と、を備えている。

また、本発明の操作支援方法は、操作を受け付ける操作受付手段及び前記操作受付手段に対して設けられた表示手段を有する操作装置の操作者を撮影する撮影ステップと、前記撮影ステップにおいて撮影された撮影画像に基づいて、前記操作者の視線の分析、又は前記操作者の指先の指示方向及び動きの分析を行なう分析ステップと、前記操作者の視線、挙動、及び発話の少なくとも１つに基づいて、前記操作者の前記操作受付手段に対する操作を支援することが必要か否かを判断する判断ステップと、前記判断ステップにおいて前記支援が必要と判断された場合に、前記操作者の前記操作受付手段に対する操作を支援するための支援表示が行なわれるように前記表示手段を制御する表示制御ステップと、を備え、前記操作受付手段には異なる機能を実行するための複数の操作要素が配置され、前記判断ステップでは、前記操作者の視線又は前記操作者の指先が前記操作装置の方向を向いている時間又は該時間の単位時間あたりの割合が所定値を超えており、且つ前記操作者の単位時間あたりの視線又は指先の移動距離を示す移動速度が所定速度を超えていることが前記分析ステップにおいて分析された場合に、前記支援が必要であると判断し、前記表示制御ステップでは、前記複数の操作要素を複数のグループに区分けしたときに、前記操作者の視線又は指先が複数のグループ間を移動していることが前記分析ステップにおいて分析された場合には、前記支援表示として複数のグループの区分けが強調表示されるように前記表示手段を制御し、前記操作者の視線又は指先が前記複数のグループのうち１つのグループ内を移動していることが前記分析ステップにおいて分析された場合には、前記支援表示として該視線が向けられているグループに属する操作要素の各々が強調表示されるように前記表示手段を制御する。

また、本発明のプログラムは、コンピュータを、上記操作支援装置の分析手段と表示制御手段として機能させるためのプログラムである。

このような、操作システム、操作支援方法、及びプログラムによっても、操作者が操作装置の操作に困難を感じている際に支援表示を行なうことができる。

以上説明したように本発明によれば、操作者が操作装置の操作に困難を感じている際に支援表示を行なうことができる、という効果が得られる。

参考例及び第１実施形態に係る操作システムの機能構成を模式的に示した図である。 参考例に係る操作支援処理のフローチャートである。 車両における操作領域を模式的に示した図である。 （Ａ）は通常表示の一例を示す図であり、（Ｂ）は強調表示の一例を示す図である。 第１実施形態に係る操作装置の構成要素のレイアウト例を示す図である。 第１実施形態に係る操作支援処理のフローチャートである。 第２実施形態に係る操作システムの機能構成を模式的に示した図である。 視覚の誘導場を説明する説明図である。 誘導場計算結果の具体例を示す図である。 第２実施形態に係る操作支援処理のフローチャートである。 （Ａ）は、心理的グループの特定処理のフローチャートを示す図であり、（Ｂ）は、操作要素の誘導場の計算結果を模式的に示す図であり、（Ｃ）は、仕切りの誘導場の計算結果を模式的に示す図であり、（Ｄ）は、操作要素の誘導場と仕切りの誘導場とを合算した総計の誘導場を示す図である。 操作装置の画像の一例を示す図である。 誘導場の合算処理を模式的に示す図である。 視覚の誘導場の閾値とグループ数との関係の一例を示す図である。

［参考例］

以下、図面を参照して本参考例を詳細に説明する。図１は、本参考例に係る操作システム１０の機能構成を模式的に示した図である。以下、操作システム１０を、車両に設けられた操作システムとして説明するが、本発明は車両に設けられた操作システム１０に限定されるものではなく、様々な操作システムに適用され得る。図１に示すように、本参考例に係る操作システム１０は、操作支援装置１２及び操作装置１４を備えている。なお、車両の運転者は、操作装置１４を操作する操作者でもあるため、以下では、車両の運転者を操作者と呼称する。

操作装置１４は、タッチパネル・ディスプレイ３０、スイッチ３６、及び発光部３８を備えている。なお、本参考例では、タッチパネル・ディスプレイ３０及びスイッチ３６の各々が操作装置１４に設けられている例について説明するが、いずれか一方だけ設けられていてもよい。また、スイッチ３６は複数設けられていてもよい。

スイッチ３６は、車両に設けられた各種機器類（例えば、空調システム、オーディオシステム、カーナビゲーションシステム等の機器類）を動作させるための操作要素として操作装置１４に設けられている。スイッチ３６には、押圧されることにより、電気信号が発生する機構が設けられている。タッチパネル・ディスプレイ３０は、ディスプレイ３２にタッチパネルセンサ３４が重ねられて構成されている。タッチパネル・ディスプレイ３０に機器を動作させるためのアイコンの画像が表示されている場合には、該アイコンも操作要素として扱われる。

スイッチ３６及びタッチパネル・ディスプレイ３０は、図３に示すように、操作装置１４が有するパネル３９（図１では不図示）の開口部に嵌め込まれており、操作者の座席側から、操作者がスイッチ３６及びタッチパネル・ディスプレイ３０のタッチパネルセンサ３４を操作することが可能となっている。

操作者である車両の操作者は、操作装置１４が有するスイッチ３６を操作することにより、車両に設けられた各種機器類を動作させる。また、タッチパネル・ディスプレイ３０のディスプレイ３２に操作要素としてのアイコンの画像が表示されている場合には、操作者は、タッチパネルセンサ３４の該アイコンの画像の表示位置に対応する部分を指先等で接触操作することにより、車両に設けられた各種機器類を動作させる。このように、操作要素の各々には、予め定められた機器及び該機器の予め定められた機能が対応付けられており、操作要素を操作することで、対応付けられた機器の対応付けられた機能が実行される。なお、操作装置１４は車両に対して着脱可能であってもよい。本参考例では、操作装置１４が配置された領域を操作領域と呼称する。

発光部３８は、発光ダイオードなどの複数の発光素子により構成されているものとする。本参考例では、発光部３８は、操作装置１４のパネル３９の裏面にバックライトとして設けられており、発光部３８が発光すると、パネル３９の開口部と該開口部に嵌め込まれたスイッチ３６やタッチパネル・ディスプレイ３０との間隙（外周縁）から、発光部３８の発光光が透過して、運転席に着座した操作者から該透過した光を視認可能となっている（図３においては図示省略。）。これによりスイッチ３６及びタッチパネル・ディスプレイ３０の輪郭部分が照明される。なお、発光部３８の各々の配置位置は、これに限定されず、例えば、スイッチ３６及びタッチパネル・ディスプレイ３０の各々の近傍であって、操作装置１４のパネル３９の表面に配置されていてもよい。

なお、ディスプレイ３２及び発光部３８の各々は、視覚的な効果を有する構成要素であり、タッチパネルセンサ３４及びスイッチ３６の各々は、操作者の操作を受け付ける構成要素であるといえる。従って、以下では、ディスプレイ３２及び発光部３８の各々を総称して表示部１６と称し、タッチパネルセンサ３４及びスイッチ３６の各々を総称して操作受付部１８と称する。

操作支援装置１２は、撮影部２０、及び制御部２８を備えている。

撮影部２０は、運転席に座った操作者の撮影を行なうカメラである。撮影部２０は、少なくとも操作者の眼を含む領域を撮影する。撮影部２０により撮影された撮影画像の画像データは、制御部２８で用いられる。

制御部２８は、視線分析部２２及び表示制御部２４を備えている。視線分析部２２は、撮影部２０で撮影されて得られた画像データに基づいて、操作者の視線分析を行なう。表示制御部２４は、視線分析部２２の分析結果に基づいて、表示部１６の表示を制御する。本参考例では、表示制御部２４は、表示部１６に含まれる発光部３８への電流量等を制御して、該発光部３８の発光を制御するものとする。

なお、本参考例においては、制御部２８は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、及びＲＡＭ（Random Access Memory）を備えたコンピュータにより構成されているものとする。例えば、ＲＯＭを、制御部２８の視線分析部２２及び表示制御部２４の各機能を実行するためのプログラムを記憶した記憶媒体とし、ＣＰＵがＲＯＭに記憶されたプログラムを、ＲＡＭをワークエリアとして用いて実行することにより制御部２８の各機能を実現するようにしてもよい。プログラムを記憶する記憶媒体は、ＲＯＭに限定されるものではなく、例えば、ＨＤＤ（ハードディスク装置）や、ＣＤ−ＲＯＭ、フラッシュメモリ等の記録媒体であってもよい。なお、制御部２８は、視線分析部２２及び表示制御部２４の各々の機能を有する電子回路等のハードウェアにより構築されていてもよい。

以下、図２を参照して、本参考例の操作支援処理の一例について説明する。操作支援装置１２が起動すると、この操作支援処理の処理ルーチンが開始されると共に、撮影部２０による操作者の撮影も開始される。撮影部２０は、操作支援装置１２の起動中は、連続的に操作者の撮影を行なう。

ステップＳ１００において、表示制御部２４は、操作支援装置１２の起動直後から予め定められた時間が経過するまでは、通常表示が行なわれるように表示部１６を制御する。通常表示とは、図４（Ａ）に示すように、表示部１６の発光部３８が発光してない状態、或いは発光部３８の光量が予め定められた値以下で発光している状態をいう。

ステップＳ１０２において、視線分析部２２は、撮影部２０により撮影して得られた撮影画像の画像データを取得して、予め定められた記憶手段（例えば上記ＲＡＭ等）に記憶する。

ステップＳ１０４において、視線分析部２２は、操作支援装置１２が起動してから開始された撮影時間が所定時間を超えたか否かを判断する。視線分析部２２は、ステップＳ１０４において、撮影時間が所定時間を超えていないと判断した場合には、ステップＳ１０２に戻る。視線分析部２２は、ステップＳ１０４において、撮影時間が所定時間を超えたと判断した場合には、ステップＳ１０６に進む。すなわち、ここでは、スタートからの所定時間が経過し、視線分析を行なうのに十分な期間の撮影画像が取得された後に、該撮影画像の画像データの各々を用いて視線分析を行なうようにしている。

ステップＳ１０６において、視線分析部２２は、現在時刻から予め定められた時間遡った時刻までの期間（以下、分析期間という）に撮影され記憶された画像データに基づいて視線分析を行なう。具体的には、視線分析部２２は、まず、画像データが表わす撮影画像から、操作者の視線方向の検出を行なう。

視線方向の検出は、周知の技術を用いて行なう。例えば、seeingmachine社(http://www.seeingmachines.com/index.htm)のfacelabを用いてもよい。その場合には、撮影部２０の設置位置を基準とした眼の座標及び視線ベクトルを計測することができる。車両内における撮影部２０の設置座標を予め決めておくことで、車両を基準とした操作者の眼の座標位置が計算でき、また、眼の座標位置から視線方向ベクトルを得ることができる。視線方向の検出は、分析期間中に撮影された撮影画像の画像データの各々について行なう。

次に、視線分析部２２は、分析期間中の操作領域への視線滞在率を算出する。ここでは、視線方向が操作領域の方向を向いている時間の、単位時間あたりの割合を示す視線滞在率を算出する。より具体的には、分析期間に対し視線方向が操作領域の方向を向いている時間の割合を視線滞在率として算出する。更に、視線分析部２２は、分析期間における操作者の単位時間あたりの視線の移動距離（以下、視線速度という）を算出する。

ステップＳ１０８において、視線分析部２２は、操作領域内の視線滞在率が所定値を超えるか否かを判断する。算出された視線滞在率と比較される所定値は、予め、閾値として設定しておく。視線分析部２２は、ステップＳ１０８において、操作領域内の視線滞在率が所定値を超えると判断した場合には、ステップＳ１１０において、視線速度が所定速度を超えるか否かを判断する。算出された視線速度と比較される所定速度の値は、予め、閾値として設定しておく。

視線分析部２２は、ステップＳ１１０において、視線速度が所定速度を超えると判断した場合には、視線分析結果が操作者は操作装置１４の操作に困難を感じていることを示しているため、操作者の操作受付部１８に対する操作を支援することが必要であると判断する。そこで、ステップＳ１１２において、表示制御部２４は、操作者の操作装置１４の操作受付部１８に対する操作を支援するための支援表示として、強調表示が行なわれるように表示部１６を制御する。本参考例において、強調表示とは、図４（Ｂ）に示すように、操作装置１４の操作要素の各々、或いは複数の操作要素のまとまり（操作要素群）が強調されるように、表示部１６の発光部３８が予め定められた値を超える光量（輝度といってもよい）で発光している状態をいう。強調表示により、スイッチ３６やタッチパネル・ディスプレイ３０の輪郭の輝度がアップして、操作者が操作装置１４を操作することが容易になる。

なお、ステップＳ１１２において、既に強調表示が行なわれていた場合には、表示制御部２４は、強調表示が継続されるように表示部１６を制御する。

一方、視線分析部２２は、ステップＳ１０８において、操作領域内の視線滞在率が所定値を超えないと判断した場合、及びステップＳ１１０において、視線速度が所定速度を超えないと判断した場合には、視線分析結果が操作者は操作装置１４の操作に困難を感じている状態にはないことを示しているため、ステップＳ１１４において、表示制御部２４は、通常表示が行なわれるように表示部１６を制御する。

なお、ステップＳ１１４において、既に通常表示が行なわれていた場合には、表示制御部２４は、通常表示が継続されるように表示部１６を制御する。

本参考例では、操作者が操作装置１４を操作しようとしている意図（操作の意図）と、操作装置１４の操作を迷っている迷いの状況とを検出することで、操作者が操作装置１４の操作に困難を感じていることを検出するようにしている。

操作の意図は、操作者の視線滞在率から検出する。視線滞在率が所定値を超えている場合には、操作者は操作領域に視線を向けており、操作装置１４に含まれる何らかの機能の操作要素を探索していると推定できる。なお、ここでは、視線滞在率を用いたが、視線方向が操作領域の方向を向いている時間（視線滞在時間）を用いてもよい。迷いの状況は、視線速度によって検出する。これは、操作者が、操作要素の探索作業を行なっている状況下では、視線速度が高くなるという経験的な法則に基づいている。本参考例では、操作の意図及び迷いの状況の両条件がそろったときに、通常表示を強調表示（支援表示）に切替える。これにより、操作者の操作負担を軽減する。

なお、操作者による操作装置１４の探索時間が長くなると、周辺への注意不足につながり、車両などにおいては、周辺への注意不足につながることもある。逆に、表示部１６の発光部３８を常時点灯するなど、常に操作装置１４の操作要素が目立つように表示制御すると、操作装置１４の操作要素の探索時間は短くなるが、発光に操作者が誘目されてしまい、この場合も周辺への注意不足につながることがある。本参考例では、操作者が一時的に支援表示を必要としているときにだけ、通常表示から強調表示へ変更するようにしたため、操作装置１４における探索時間を短縮する効果がある。

なお、ここでは、操作システム１０が車両に設けられた操作システムである場合を例に挙げて説明したが、これに限定されず、例えば、製造工場などに設けられた操作システムであってもよい。具体的には、製造管理者が製造工場において、操作装置１４の操作受付部１８を操作して製造機器の動作を制御するようなケースが考えられる。この場合であっても、上記のように操作者の視線分析を行なって必要なときに支援表示を行なうことで、上記と同様の効果が得られる。

また、上記参考例では、支援表示として、操作装置１４のパネル３９のバックライト（表示部１６の発光部３８）を所定光量より大きな光量で発光させる強調表示を例に挙げたが、これに限定されるものではない。例えば、発光部３８を点滅させるようにしてもよい。また、表示部１６の発光部３８を、操作装置１４のパネル３９表面且つ各操作要素或いは操作要素群の輪郭付近等に配置し、発光部３８を点灯或いは点滅させるようにしてもよい。

また、タッチパネル・ディスプレイ３０に操作要素として複数のアイコンが表示されている場合において支援表示を行なう際には、タッチパネル・ディスプレイ３０のディスプレイ３２のコントラストを挙げて、各アイコンが強調表示されるように表示部１６を制御してもよい。或いは、アイコン或いはアイコン群の輪郭が強調されるように、該輪郭部分の色を変更したり点滅させたりしてもよい。或いはアイコン自身の色を目立つ色に変更してもよい。なお、この場合において、通常表示とは、アイコンが強調表示されていない状態、すなわち、タッチパネル・ディスプレイ３０のディスプレイ３２のコントラストの値が基準値となるように表示制御されている状態、アイコンやアイコンの輪郭部分の色が通常の色（元々の色）となるように表示制御されている状態、及びアイコンの輪郭部分が点滅等しないように表示制御されている状態とすることができる。

また、上記では、操作者の視線に基づいて、操作者の操作受付部１８に対する操作を支援することが必要か否かを判断する例について説明したが、これに限定されない。例えば、操作者の挙動或いは発話に基づいて、該支援が必要か否かを判断するようにしてもよい。具体的には、操作支援装置１２に音声認識機能を設け、操作者が操作に困難を感じている旨の発話を行ったことが認識された場合に、上記支援が必要であると判断するようにしてもよい。また、支援を要する際に押下すべきボタンを設け、操作者が該ボタンを押下したという挙動が検出された場合に、上記支援が必要であると判断するようにしてもよい。該ボタンは、操作装置１４の各操作要素とは明確に区別可能にデザインされ、操作装置１４の各操作要素の配列位置と全く異なる位置に配置することができる。

また、操作者の挙動に基づいて上記支援が必要か否かを判断する他の例として、例えば、撮影部２０の撮影画像から、操作者の指先の指示方向及び動きを分析し、上記支援が必要であるか否かを判断するようにしてもよい。具体的には、分析期間において操作者の指先が操作領域の方向を向いている時間の割合（或いは、指先が操作領域の方向を向いている時間）が所定値を超え、指先が移動する移動速度が予め定められた速度より速い場合に、上記支援が必要であると判断するようにしてもよい。

［第１実施形態］

第１実施形態では、操作システム１０の操作装置１４の各操作要素を複数のグループに区分けし、操作者の視線分析から、操作装置１４に対する操作者の探索状況が、グループ間の探索か、グループ内の探索かを判断し、状況に応じた支援表示を行なう例について説明する。

第１実施形態の操作システム１０は、予め操作装置１４の各操作要素が複数のグループに分かれていること以外は、参考例の操作システム１０と同様の構成であるため、ここでは、説明を省略する。

図５に、第１実施形態に係る操作装置１４のスイッチ３６の配置例を示す。図５に示されるように、複数のスイッチ３６は、２つのグループに区分けされている。グループ分けは、例えば、操作対象となる機器が同じ複数のスイッチ３６を同じグループとしてもよいし、操作対象となる機器の種類や機能が同じ又は類似する複数のスイッチ３６を同じグループとしてもよい。以下、このグループを機能的グループと呼称する。なお、操作者や操作装置１４の管理者等が、複数のスイッチ３６の機能的グループのグループ分けを予め設定することができるように構成されていてもよい。

図５に示す操作装置１４においては、上段のグループＧ１は、例えばＣＤプレイヤーを動作させるためのスイッチ３６、ラジオ受信器を動作させるためのスイッチ３６、音量を調整するスイッチ３６等、オーディオシステム機器の動作させるための複数のスイッチ３６の各々が属する機能的グループである。また、下段のグループＧ２は、例えばエアコンを動作させるためのスイッチ３６、風量を調節するためのスイッチ３６、風向を調節するためのスイッチ３６等、空調システム機器の動作させるための複数のスイッチ３６の各々が属する機能的グループである。

なお、本実施形態において、表示部１６の発光部３８は、参考例で説明した複数のスイッチ３６の輪郭を照明するバックライトとしての発光部の他に、グループＧ１とグループＧ２との境界線を照明するための長尺状の発光部を備えている（図５では３８ａという符号を付した）。この該長尺状の発光部３８ａは、パネル３９のグループＧ１のスイッチ３６群とグループＧ２のスイッチ３６群との境界領域に配置されている。

図６を参照して、第１実施形態に係る操作支援処理の一例について説明する。参考例と同様に、操作支援装置１２が起動すると、この操作支援処理の処理ルーチンが開始されると共に、撮影部２０による操作者の撮影も開始される。撮影部２０は、操作支援装置１２の起動中は、連続的に操作者の撮影を行なう。

ステップＳ２００において、表示制御部２４は、操作支援装置１２の起動直後から予め定められた時間が経過するまでは、通常表示が行なわれるように表示部１６を制御する。 ステップＳ２０２において、視線分析部２２は、撮影部２０により撮影して得られた撮影画像の画像データを取得して、予め定められた記憶手段（例えば上記ＲＡＭ等）に記憶する。

ステップＳ２０４において、視線分析部２２は、操作支援装置１２が起動してから開始された撮影時間が所定時間を超えたか否かを判断する。視線分析部２２は、ステップＳ２０４において、撮影時間が所定時間を超えていないと判断した場合には、ステップＳ２０２に戻る。視線分析部２２は、ステップＳ２０４において、撮影時間が所定時間を超えたと判断した場合には、ステップＳ２０６に進む。

ステップＳ２０６において、視線分析部２２は、現在時刻から予め定められた時間遡った時刻までの期間（分析期間）に撮影され記憶された画像データに基づいて視線分析を行なう。第１実施形態においては、視線分析部２２は、視線分析として、操作者の視線方向の検出、視線滞在率の算出、及び視線速度の算出に加え、操作者の視線方向の軌跡（以下、視線軌跡という）の検出も行なう。

ステップＳ２０８において、視線分析部２２は、操作領域内の視線滞在率が所定値を超えるか否かを判断する。視線分析部２２は、ステップＳ２０８において、操作領域内の視線滞在率が所定値を超えると判断した場合には、ステップＳ２１０において、視線速度が所定速度を超えるか否かを判断する。

視線分析部２２は、ステップＳ２１０において、視線速度が所定速度を超えると判断した場合には、ステップＳ２１２に進み、上記検出した視線軌跡に基づいて、操作者の視線が複数のグループ間を移動している（換言すれば、あるグループの一部を見ては別のグループを見るという行動（グループ間探索）を行なっている）か、操作者の視線が複数のグループのうち１つのグループ内を移動している（換言すれば、あるグループ内の操作要素を、順を追って探索するという行動（グループ内探索）を行なっている）か、を判断する。例えば、視線分析部２２は、視線軌跡が複数のグループを区切る境界線を交差していれば、グループ間探索を行なっていると判断し、視線軌跡が境界線を交差せずに、ほとんど１つのグループ内を視線が移動している場合には、グループ内探索を行なっていると判断してもよい。

ステップＳ２１２において、視線分析部２２が、操作者がグループ内探索をしていると判断した場合には、ステップＳ２１４において、表示制御部２４は、操作者が視線を向けている領域の機能的グループに属する操作要素（ここではスイッチ３６）の各々が強調表示されるように表示部１６を制御する。例えば、図５において、機能的グループＧ１のスイッチ３６を強調表示する場合には、発光部３８のうち、機能的グループＧ１に対応する位置に配置されたバックライトとしての発光素子のみが点灯（例えば、予め定められた値を超える光量で発光させる）し、機能的グループＧ２に対応する位置に配置されたバックライトとしての発光素子、及び機能的グループの境界領域に配置された発光部３８ａの発光素子は点灯しないように表示部１６を制御する。この強調表示により、操作者が探索しているグループのスイッチ３６の輪郭の輝度がアップして、スイッチ３６の各々を区別することが容易になる。

また、ステップＳ２１２において、視線分析部２２が、操作者がグループ間探索をしていると判断した場合には、ステップＳ２１６において、表示制御部２４は、操作装置１４において、機能的グループの区分けが強調表示されるように表示部１６を制御する。例えば、図５に示す操作装置１４においては、機能的グループの境界領域に配置された長尺状の発光部３８ａが点灯（例えば、予め定められた値を超える光量で発光させる）するように表示部１６を制御する。この強調表示により、機能的グループの境界を把握することが容易となる。操作者が、例えばどこからどこまでが同じ機能的グループなのかがわからない状態でスイッチ３６を探索している状態において、グループ間探索のための支援表示を行なうことで、余計な機能的グループのスイッチ３６まで探索を行なわずに済むため、操作者の負荷が軽減する。

一方、視線分析部２２は、ステップＳ２０８において、操作領域内の視線滞在率が所定値を超えないと判断した場合、及びステップＳ２１０において、視線速度が所定速度を超えないと判断した場合には、視線分析結果が操作者は操作装置１４の操作に困難を感じている状態にはないことを示しているため、ステップＳ２１８において、表示制御部２４は、通常表示が行なわれるように表示部１６を制御する。

上記のように、グループ間探索とグループ内探索とで支援表示方法を異ならせ、それぞれの探索に応じた支援表示することにより、操作者の探索負荷を軽減することができる。

なお、ここでは、同じ機能的グループに属する複数のスイッチ３６がまとまって配置されている例を挙げて説明したが、同じ機能的グループに属する複数のスイッチ３６が、離れた位置に分散して配置されている場合であっても、グループ間探索を支援するための支援表示を行なうことが可能である。例えば、上記区切等になる発光部３８ａを用いずに、各機能的グループに対応するバックライトとしての発光部３８の発光色或いは点滅状態を機能的グループ毎に異ならせる等により、グループ間探索の支援表示を行なうようにしてもよい。

なお、ここでは、図示を省略したが、操作装置１４に含まれるタッチパネル・ディスプレイ３０に、同じ機能的グループに所属する複数のアイコンが操作要素として表示されている場合において、グループ内探索の支援表示を行なう際には、例えば、タッチパネル・ディスプレイ３０のディスプレイ３２のコントラストを上げて、各アイコンが強調表示されるように表示部１６を制御してもよい。また、タッチパネル・ディスプレイ３０に、所属する機能的グループが異なるアイコン群が複数表示されている場合もある。この場合において、グループ間探索を支援するための支援表示を行なう際には、該機能的グループの境界領域に区切りを表わす画像をディスプレイ３２に表示したり、機能的グループ毎にアイコンの色を変更したり、或いは点滅させたりする等、機能的グループ毎にアイコンの表示形態を変更することで、グループ間探索の支援表示を行なうことができる。

また、第１実施形態では、視線の分析結果に基づいて、グループ内探索及びグループ間探索の判断を行なう例について説明したが、これに限定されず、例えば、操作者の指先の移動軌跡に基づいて判断するようにしてもよい。この判断は、視線軌跡を用いる場合と同様に行なえばよいため、ここでは説明を省略する。また、操作者の発話に基づいて、グループ内探索及びグループ間探索の判断を行なってもよい。例えば、認識された操作者の音声の内容が、グループ内探索を指定する内容であるか、グループ間探索を指定する内容であるかに応じて判断することができる。

［第２実施形態］

第２実施形態では、操作部の各操作要素のグループを視線の誘導場理論を用いて特定し、支援表示に反映させる例について説明する。図７は、第２実施形態の操作システム４０の機能構成を模式的に示した図である。以下、操作システム４０を、車両に設けられた操作システムとして説明するが、本発明は車両に設けられた操作システム４０に限定されるものではなく、様々な操作システムに適用され得る。図７に示すように、本実施形態に係る操作システム４０は、操作支援装置５０及び操作装置１４を備えている。操作装置１４は参考例及び第１実施形態と同様の構成であるため説明を省略する。

操作支援装置５０は、撮影部２０及び制御部２９を備えている。

制御部２９は、視線分析部２２、表示制御部２４、及び心理的グループ特定部２６を備えている。制御部２９は、参考例の制御部２８と同様、ＣＰＵ、ＲＡＭ、ＲＯＭを備えたコンピュータにより実現される。視線分析部２２及び表示制御部２４については第１実施形態とほぼ同様に作用するため説明を省略し、ここでは主として心理的グループ特定部２６について説明する。

心理的グループ特定部２６は、操作装置１４の操作要素の心理的グループの特定を行なう。ここでは、操作者が感じるグループを「心理的グループ」といい、前述した機能的グループと区別して説明する。

心理的グループ特定部２６は、周知の「視覚の誘導場」理論を応用して心理的グループを特定する。ここで、視覚の誘導場理論の基本的な概念を簡単に説明する。視覚の誘導場とは、図形等の周りに電場のような場を仮定して、視知覚現象を説明する心理的概念である。人が図形等を見たときには、該図形そのものの線だけでなく、線と線とのスキマや図形の周辺、図形同士の配置等も感じとって認識していると考えられる。図形等の周囲に等高線で示された視覚的影響のポテンシャル場（誘導場）が分布し、図形から離れるほど場の強さが弱まる。

図８を参照して、より具体的に説明する。例えば、"長石道博(1996),視覚の誘導場モデルを用いたパターン認識時の心理実験結果の検証,「テレビジョン学会論文誌」,50(12),1965-1973"によれば、デジタル画像に含まれるパターンの外郭を構成する画素を正電荷１の点電荷と仮定し、それらがつくるクーロンポテンシャルの集積から、デジタル画像における誘導場の分布を計算することが記載されている。

図８（Ａ）に示すように、n個の点列から構成される曲線f(s)によって点Pに視覚の誘導場が形成されるとする。点Pから曲線f(s)上の点iまでの距離をr_iとおくと、点Pにおける誘導場の強さM_pは以下のように定義される。

図８（Ｂ）に示すように、曲線が複数ある場合には、点Pにおける誘導場の強さは個々の曲線が点Pにつくる誘導場の和になる。このとき、誘導場は図形の外郭のみ寄与する（"横瀬善正(1986),「形の心理学」,名古屋大学出版会"参照)ため、上式は点Pから見える部分のみ和をとるという制約がつく。例えば、図８（Ｂ）において、曲線f₃(s)と曲線f₂(s)の一部は、曲線f₁(s)に遮られて点Pから見えないので、和はとらない。

図９に、単純な誘導場計算結果の具体例を示す。図９（Ａ）に示す白い矩形部分をスイッチ３６として視覚の誘導場を計算すると図９（Ｂ）に示すような計算結果が得られる。図９（Ｂ）に示される数字は、誘導場の強さ（高さ）を示す数字であり、誘導場の高さが同じ点の集まりが等高線で示されている。また、スイッチ３６に近いほど誘導場の値は高くなっている。

「視覚の誘導場」は、スイッチ３６などの要素の心理的グループを明らかにするのに適している。本実施形態では、操作装置１４の撮影画像に含まれる操作要素の構成画素から、距離と遮蔽とを考慮して誘導場を算出し、心理的グループを特定する。このように、視覚の誘導場という心理的概念を用いて操作者が感じるグループを特定するため、本実施形態では、操作者が感じるグループを前述した機能的グループと区別して「心理的グループ」と呼称している。

第２実施形態において、視線分析部２２は、機能的グループの位置ではなく、心理的グループ特定部２６により特定された心理的グループの位置に基づいてグループ内探索かグループ間探索かを判断する。従って、第２実施形態では、グループ内探索を「心理的グループ内探索」と呼称し、グループ間探索を「心理的グループ間探索」と呼称して、各々区別して説明する。

図１０を参照して、第２実施形態に係る操作支援処理の一例について説明する。操作支援装置５０が起動すると、この操作支援処理の処理ルーチンが開始されると共に、撮影部２０による操作者の撮影も開始される。撮影部２０は、操作支援装置５０の起動中は、連続的に操作者の撮影を行なう。

ステップＳ３００において、表示制御部２４は、操作支援装置５０の起動直後から予め定められた時間が経過するまでは、参考例及び第１実施形態と同様に通常表示が行なわれるように表示部１６を制御する。

ステップＳ３０２において、視線分析部２２は、撮影部２０により撮影して得られた撮影画像の画像データを取得して、予め定められた記憶手段（例えば上記ＲＡＭ等）に記憶する。

ステップＳ３０４において、視線分析部２２は、操作支援装置５０が起動してから開始された撮影時間が所定時間を超えたか否かを判断する。視線分析部２２は、ステップＳ３０４において、撮影時間が所定時間を超えていないと判断した場合には、ステップＳ３０２に戻る。視線分析部２２は、ステップＳ３０４において、撮影時間が所定時間を超えたと判断した場合には、ステップＳ３０６に進む。

ステップＳ３０６において、視線分析部２２は、現在時刻から予め定められた時間遡った時刻までの期間（分析期間）に撮影され記憶された画像データに基づいて視線分析を行なう。視線分析部２２は、視線分析として、操作者の視線方向の検出、視線滞在率の算出、視線速度の算出、及び操作者の視線軌跡の検出を行なう。

ステップＳ３０８において、視線分析部２２は、操作領域内の視線滞在率が所定値を超えるか否かを判断する。視線分析部２２は、ステップＳ３０８において、操作領域内の視線滞在率が所定値を超えると判断した場合には、ステップＳ３１０において、視線速度が所定速度を超えるか否かを判断する。

視線分析部２２は、ステップＳ３１０において、視線速度が所定速度を超えると判断した場合には、ステップＳ３１４に進み、操作者が現在使用している操作装置１４の情報を取得する。

ここで、「現在使用している」との表現を用いたのは、以下の理由による。操作装置１４に設けられているスイッチ３６は、メカ的且つ電気的な構造として設けられている操作要素であって、その内容や配置を操作者が自由に変更することは困難であるが、操作装置１４のタッチパネル・ディスプレイ３０に表示される操作要素としてのアイコンは、画面を表示するソフトウェアモジュールに応じて変更可能である。従って、例えば、タッチパネル・ディスプレイ３０に表示されるアイコンの種類やアイコンの配置を操作者等が自由に変更できるような仕組みが車両に搭載されている場合には、操作支援装置５０の起動前或いは起動中に、タッチパネル・ディスプレイ３０に表示されるアイコンの内容やレイアウトが変更されることがある。従って、ここでは「現在使用している」との表現を用いている。

なお、現在使用している操作装置１４の情報とは、現在使用している操作装置１４の構成要素のレイアウトを識別する識別データと、該操作装置１４の各操作要素の心理的グループのデータとを対応付けて記憶した情報である。なお、現在使用している操作装置１４について、後述する心理的グループ特定処理が未実行である場合には、識別データに対して心理的グループのデータが記憶されていない場合もあり得る。

ステップＳ３１６において、視線分析部２２は、上記取得した操作部の情報に、操作者が現在使用している操作装置１４について、該当する心理的グループのデータがあるか否かを判断する。ステップＳ３１６において、否定判断された場合には、現在使用している操作装置１４の心理的グループの特定が未実行の状態であるため、ステップＳ３１８において、心理的グループ特定部２６は、心理的グループの特定処理を実行する。

図１１（Ａ）に、心理的グループの特定処理のフローチャートを示す。

ステップＳ４００において、心理的グループ特定部２６は、現在の操作装置１４の操作要素の配置が示された画像（操作装置１４の前方から事前に撮影された撮影画像であってもよいし、ＣＡＤ等により事前に生成された設計画像であってもよい）を、操作装置１４の操作要素の画像領域と、心理的グループを区分けする機能を有する仕切りの画像領域とに分割する。

また、仕切りの画像は、グループ（まとまり）の感覚が得られる操作要素群に対して、例えば、該まとまりを区切るような感覚が得られるもの、すなわち、段差の画像や加飾の画像などが挙げられる。

ここで、段差について説明する。操作装置１４は、立体的な形状を有していることが多く、段差が存在する。例えば、操作装置１４に複数のパネルが設けられた場合の各パネルの隣接部分の段差や、パネル３９とその下層部品との段差等がある。従って、この段差は心理的グループを区切る仕切りを表わす対象として被験者（この場合は操作者）に認識される（図１２も参照）。

次に、加飾について説明する。スイッチ３６は、パネル３９の色と異なる色を有していると、スイッチ３６とパネル３９との間で色差が大きくなるが、この色差が大きい部分（ここでは、加飾といっている）は、心理的グループを区切る仕切りを表わす対象として被験者（この場合は操作者）に認識される（図１２も参照）。

なお、仕切りを示す画像は上記に限定されず、例えば、予め定められた距離だけスイッチ３６同士が離れている場合に、該スイッチ３６とスイッチ３６との間にあるパネルの継ぎ目等も仕切りの効果があるため、これを仕切りの画像として扱ってもよい。また、タッチパネル・ディスプレイ３０においては、例えば、ディスプレイ３２に表示されている装飾のラインや、背景の色が異なる領域の境界線などが、アイコン同士を区分けする仕切りの画像として抽出できる。

ステップＳ４０２において、心理的グループ特定部２６は、スイッチ３６やアイコン等の操作要素についての視覚の誘導場（以下、操作要素の誘導場と呼称）を計算する。操作要素の誘導場は、操作要素の種類毎に計算してもよい。例えば、スイッチ３６の誘導場とアイコンの誘導場とを個別に計算してもよい。

ステップＳ４０４において、心理的グループ特定部２６は、仕切りについての視覚の誘導場（以下、仕切りの誘導場と呼称）を計算する。仕切りの誘導場も、仕切りの種類毎に計算してもよい。

なお、誘導場の計算は、操作装置１４の画像を表わす画像データに基づいて上記例示した文献に記載の方法を用いて行なえばよい。ただし、操作要素の誘導場については、上記方法を用いて正の視覚の誘導場として計算し、仕切りの誘導場については、上記方法を用いて得られた誘導場にマイナスの符号を付して負の視覚の誘導場として計算するものとする。しかしながら、計算された仕切りの誘導場を、後で負の視覚の誘導場として扱うことがわかるように識別できれば、ここでマイナスの符号を付さずともよい。また、ステップＳ４０２及びステップＳ４０４はどちらを先に行なってもかまわないし、並列に行なうようにしてもよい。

図１２に、操作装置１４の画像の一例を示す。図１２に示した例では、操作装置１４のパネル３９対して、複数のスイッチ３６が配列されている。ここでは、タッチパネル・ディスプレイ３０を省略した。上記ステップＳ４０２において計算される操作要素の誘導場は、スイッチ３６が配置された領域に近くなるに従って場の強さが強まる誘導場となる。図１１（Ｂ）は、計算された操作要素の誘導場を表わした立体モデルの、図１２で示した視点方向から見た断面線部分における断面図である。また、図１１（Ｃ）は、計算された仕切りの誘導場を表わした立体モデルの、図１２で示した視点方向から見た断面線部分における断面図である。ここでは、加飾の誘導場と段差の誘導場とを分けて示した。仕切りの誘導場は、凸の方向が操作要素の誘導場とは逆になっている。

ところで、ステップＳ４００〜Ｓ４０４で用いられる操作装置１４の画像を表わす画像データは、タッチパネル・ディスプレイ３０の画像を表わす画像データを除き、車両に予め搭載された記憶部に記憶しておくことができる。タッチパネル・ディスプレイ３０に表示画像については、現在タッチパネル・ディスプレイ３０の表示に使用されている画像データを用い、操作装置１４のスイッチ３６の画像を表わす固定的な画像データと合成し、該合成後の画像データを操作装置１４の画像を表わす画像データとして用いて、ステップＳ４００〜Ｓ４０４を実行してもよいし、合成せずに個々にステップＳ４００〜Ｓ４０４を実行してもよい。

心理的グループ特定部２６は、各誘導場を計算した後は、ステップＳ４０６において、各誘導場を合算して、総計（総計の誘導場）を算出する。図１３は、誘導場の合算処理を模式的に示す図である。ここでは、図１３に示すように、操作要素の誘導場の値に、予め定められた係数αを乗算した加飾の誘導場、及び予め定められた係数βを乗算した段差の誘導場の値の各々を加算して、総計を求める。なお、この加算では、互いに対応する位置の値を加算するものとする。負の誘導場の値に乗ずる係数は、仕切りとしての機能が高いものほど大きな数値となるように予め定められている。

また、ステップＳ４０４において仕切りの誘導場の値が負の値となるように計算しなかった場合（すなわち、マイナスの符号を付さなかった場合）であっても、ステップＳ４０６において仕切りの誘導場を負の視覚の誘導場として取り扱う。すなわち、ステップＳ４０６において、操作要素の誘導場に対して仕切りの誘導場を加算処理するのではなく減算処理すればよい。或いは、係数α及びβをマイナスの値にすればよい。更にまた、ここでは、ステップＳ４０４で計算した仕切りの誘導場の値に、何らかの係数を乗算してから合算する例について説明したが、係数を乗算しなくてもよい。

更にまた、合算する際に、操作要素の誘導場にも予め定められた係数を乗算してもよい。この場合、操作要素の種類毎に係数を変更してもよい。

このように、正の視覚の誘導場と負の視覚の誘導場とを合算することで、図１１（Ｄ）、及び図１３に示すように、「総計の誘導場」が算出される。

次に、ステップＳ４０７において、閾値（初期値）を設定する。ステップＳ４０８において、心理的グループ特定部２６は、閾値に対応する心理的グループ数をカウントする。図１４に、視覚の誘導場の閾値と心理的グループ数との関係の一例を示す。後述する処理においては、総計の誘導場における最小値から最大値までの範囲（図１４に示す例では、-0.2〜0.3）から閾値を定め、該閾値に相当する等高線をグループの境界線として用いて複数の操作要素の各々が属する心理的グループを特定する。従って、ここでは、閾値をどの値に設定するかを決定するために、予め定められた刻み間隔で閾値の値を変更して、境界線により区切られた領域の各々（誘導場の値が閾値を超える領域の各々）の数を該閾値により抽出される心理的グループの数としてカウントするようにしている。図１４には、閾値を0.02間隔で変更してカウントした結果が示されている。

ステップＳ４１０において、心理的グループ特定部２６は、カウントした心理的グループ数は所定範囲内であるか否かを判断し、該カウントした心理的グループ数が所定範囲内であると判断した場合には、ステップ４１１に進み、閾値を１単位増加させて、ステップ４０８に戻り、該増加させた閾値に対応するグループ数を上記と同様にカウントする。閾値を大きくすると、閾値が小さい場合よりもカウントされるグループ数が多くなる（図１４も参照）。心理的グループ特定部２６は、ステップＳ４１０において、心理的グループ数が所定範囲外であると判断した場合には、ステップＳ４１２において、上記カウントされた閾値毎のグループ数の各々を予め定められた記憶手段（例えば、前述したＲＡＭ等）に記憶する。なお、ここで、心理的グループ数のカウント値が所定範囲外となった閾値のグループ数は記憶しなくてもよい。

なお、所定範囲は、経験的に予測される心理的グループの数の範囲であり、設計者或いは操作者によって設定することができる。例えば、所定範囲が２〜１０と設定された場合、１１〜操作要素総数までのカウント処理が省略できる効果がある。なお、ここで、グループ数の下限（例えば２）を設けたのは、例えば、グループ数が１個では、グループ分けがなされていない状態に等しいためである。また、グループ数の上限（例えば１０）を設けたのは、グループの数があまりに多いと、操作要素単位でカウントされている可能性が高いためである。

ステップＳ４１４において、心理的グループ特定部２６は、上記記憶した閾値毎のグループ数に基づいて、グループ数が変動しない閾値幅のうち、最長閾値幅を特定する。ここでは、閾値を多少変化させてもグループ数が変化しない部分は、操作者が心理的にグループ（まとまり）を最も強く感じることができる部分であるとして、最長閾値幅を特定するようにしている。

ステップＳ４１６において、心理的グループ特定部２６は、最長閾値幅の中央値を閾値とした場合の等高線（境界線）を、操作者の感じる心理的グループの境界線と特定する。

図１４に、妥当なグループ数を２個以上と限定した上で、最も閾値幅の長い部分に対応するグループ数５の閾値を採用し、視覚化した例を示す。なおグラフ左上の領域に図示した操作装置１４の模式図においては、グループの境界線を点線で示した。この点線で示す境界線で囲まれた領域に配置された各操作要素が、同じ心理的グループに属する操作要素として特定される。

得られた誘導場の操作要素を内包する等高線の数は、ある閾値におけるグループ数と一致する。従って、この数が一定である区間が最も長い誘導場帯域の中央値を閾値とすることで、一般的に被験者の感じやすい心理的グループの境界線を描くことができる。

図１１を用いて説明した心理的グループ特定処理の後、心理的グループ特定部２６は、図１０のステップＳ３２０において、特定した心理的グループのデータを、現在の操作装置１４の構成要素のレイアウトを識別する識別データに対応付けて予め定められた記憶手段に記憶する。

ステップＳ３２０の処理後、或いはステップＳ３１６において肯定判断された場合は、ステップＳ３２２において、視線分析部２２は、上記記憶されている心理的グループのデータを呼び出す。これにより、現在使用中の操作装置１４について、心理的グループの境界線が把握される。

ステップＳ３２４において、視線分析部２２は、上記検出した視線軌跡に基づいて、操作者が心理的グループ間探索を行なっているか、心理的グループ内探索を行なっているか否かを判断する。具体的には、視線分析部２２は、操作者の視線が複数の心理的グループ間を移動している（換言すれば、ある心理的グループの一部を見ては別の心理的グループを見るという行動（心理的グループ間探索）を行なっている）か、操作者の視線が複数の心理的グループのうち１つの心理的グループ内を移動している（換言すれば、ある心理的グループ内の操作要素を、順を追って探索するという行動（心理的グループ内探索）を行なっている）か、を判断する。例えば、視線分析部２２は、視線軌跡が複数の心理的グループを区切る境界線を交差していれば、心理的グループ間探索を行なっていると判断し、視線軌跡が境界線を交差せずに、ほとんど１つの心理的グループ内を視線が移動している場合には、心理的グループ内探索を行なっていると判断してもよい。

ステップＳ３２４において、視線分析部２２が、操作者が心理的グループ内探索をしていると判断した場合には、ステップＳ３２６において、表示制御部２４は、操作者の視線が移動している心理的グループに対応する機能的グループに属するスイッチ３６等の操作要素の各々が強調表示されるように表示部１６を制御する。心理的グループに対応する機能的グループとは、例えば、心理的グループに含まれる操作要素の一部或いは全てを有する機能的グループ、或いは心理的グループ近傍に位置する機能的グループをいう。例えば、バックライトとしての発光部３８を構成する発光素子を機能的グループ毎に分け、操作者の視線が移動している心理的グループに対応する機能的グループの発光素子のみを発光させるようにしてもよい。

また、ステップＳ３２４において、視線分析部２２が、操作者が心理的グループ間探索をしていると判断した場合には、ステップＳ３２６において、表示制御部２４は、機能的グループの区分が強調表示されるように表示部１６を制御する。ここで、心理的グループは、支援表示の方法を判断するために特定して用いるグループであり、実際の支援表示は、機能的グループの区分けに従って行なうようにしている。

ところで、スイッチ３６類については、タッチパネル・ディスプレイ３０のアイコンと異なり、ほとんど変更がないため、心理的グループの区分けは変化しない可能性が高い。従って、例えば、スイッチ３６については、心理的グループの特定処理を行なわず、タッチパネル・ディスプレイ３０のアイコンについては、上記と同様に動的に心理的グループの特定処理を行なって心理的グループの区分けするようにしてもよい。

一方、視線分析部２２は、ステップＳ３０８において、操作領域内の視線滞在率が所定値を超えないと判断した場合、及びステップＳ３１０において、視線速度が所定速度を超えないと判断した場合には、視線分析結果が操作者は操作装置１４の操作に困難を感じている状態にはないことを示しているため、ステップＳ３１２において、表示制御部２４は、通常表示が行なわれるように表示部１６を制御する。なお、既に通常表示が行なわれている場合には、表示制御部２４は、通常表示が継続されるように表示部１６を制御し、なんらかの強調表示が行なわれている場合には、表示制御部２４は、通常表示から通常表示に切替えるよう表示部１６を制御する。

本実施形態によれば、第１実施形態で説明した（例えば、図５に示す）固定的な境界線に応じて支援表示する場合に比べて、操作者が感じるグループに沿った支援表示が可能になる。また、操作者が操作装置１４を操作しようとする段階でグループ分けを計算することも可能であるため、構成要素の種類や配置がタッチパネル・ディスプレイ３０を用いたＧＵＩのように任意に変更される場合でも適用可能となる。

なお、本実施形態においては、操作支援処理ルーチンの実行中に、心理的グループ特定処理を行なう例について説明したが、操作要素の種類や配置が動的に変更されない場合には、事前に（例えば操作支援処理ルーチンの実行前、或いは操作装置１４の製造段階で）心理的グループ特定処理を行なって、グループの区分け結果を予め定められた記憶手段に記憶しておき、操作支援処理ルーチンにおいて該記憶した区分け結果を呼び出して用いるようにしてもよい。

また、第２実施形態においても、参考例及び第１実施形態で説明したように、操作者の視線に代えて（或いは視線と共に）、例えば操作者の挙動（指先の動き等）を検出して分析し、操作者が支援表示を必要としているか否かの判断、及び操作者が心理的グループ内探索を行なっているか心理的グループ間探索を行なっているかの判断を行なうようにしてもよい。また、操作者の発話に基づいて、これら判断を行なうようにしてもよい。

１０ 操作システム
１２ 操作支援装置
１４ 操作装置
１６ 表示部
１８ 操作受付部
２０ 撮影部
２２ 視線分析部
２４ 表示制御部
２６ 心理的グループ特定部
２８、２９ 制御部
３０ タッチパネル・ディスプレイ
３２ ディスプレイ
３４ タッチパネルセンサ
３６ スイッチ
３８、３８ａ 発光部
３９ パネル
４０ 操作システム
５０ 操作支援装置

Claims (6)

1. 操作を受け付ける操作受付手段及び前記操作受付手段に対して設けられた表示手段を有する操作装置の操作者を撮影する撮影手段と、
   前記撮影手段により撮影された撮影画像に基づいて、前記操作者の視線の分析、又は前記操作者の指先の指示方向及び動きの分析を行なう分析手段と、
   前記操作者の視線、挙動、及び発話の少なくとも１つに基づいて、前記操作者の前記操作受付手段に対する操作を支援することが必要か否かを判断する判断手段と、
   前記判断手段により前記支援が必要と判断された場合に、前記操作者の前記操作受付手段に対する操作を支援するための支援表示が行なわれるように前記表示手段を制御する表示制御手段と、
   を備え、
   前記操作受付手段には異なる機能を実行するための複数の操作要素が配置され、
   前記判断手段は、前記操作者の視線又は前記操作者の指先が前記操作装置の方向を向いている時間又は該時間の単位時間あたりの割合が所定値を超えており、且つ前記操作者の単位時間あたりの視線又は指先の移動距離を示す移動速度が所定速度を超えていることが前記分析手段により分析された場合に、前記支援が必要であると判断し、
   前記表示制御手段は、前記複数の操作要素を複数のグループに区分けしたときに、前記操作者の視線又は指先が複数のグループ間を移動していることが前記分析手段により分析された場合には、前記支援表示として複数のグループの区分けが強調表示されるように前記表示手段を制御し、前記操作者の視線又は指先が前記複数のグループのうち１つのグループ内を移動していることが前記分析手段により分析された場合には、前記支援表示として該視線が向けられているグループに属する操作要素の各々が強調表示されるように前記表示手段を制御する操作支援装置。
2. 前記操作要素から算出された正の視覚の誘導場と、前記操作要素のまとまりを区切る機能を有する仕切り部分から算出された負の視覚の誘導場とを合算して得られた視覚の誘導場の分布において、所定の閾値に相当する視覚の誘導場の値を有する点群を、前記複数のグループのうち前記分析手段に用いるグループの境界線として用いた
   請求項１に記載の操作支援装置。
3. 操作を受け付ける操作受付手段及び前記操作受付手段に対して設けられた表示手段を有する操作装置と、
   請求項１または請求項２記載の操作支援装置と、
   を備えた操作システム。
4. 操作を受け付ける操作受付手段及び前記操作受付手段に対して設けられた表示手段を有する操作装置の操作者を撮影する撮影ステップと、
   前記撮影ステップにおいて撮影された撮影画像に基づいて、前記操作者の視線の分析、又は前記操作者の指先の指示方向及び動きの分析を行なう分析ステップと、
   前記操作者の視線、挙動、及び発話の少なくとも１つに基づいて、前記操作者の前記操作受付手段に対する操作を支援することが必要か否かを判断する判断ステップと、
   前記判断ステップにおいて前記支援が必要と判断された場合に、前記操作者の前記操作受付手段に対する操作を支援するための支援表示が行なわれるように前記表示手段を制御する表示制御ステップと、
   を備え、
   前記操作受付手段には異なる機能を実行するための複数の操作要素が配置され、
   前記判断ステップでは、前記操作者の視線又は前記操作者の指先が前記操作装置の方向を向いている時間又は該時間の単位時間あたりの割合が所定値を超えており、且つ前記操作者の単位時間あたりの視線又は指先の移動距離を示す移動速度が所定速度を超えていることが前記分析ステップにおいて分析された場合に、前記支援が必要であると判断し、
   前記表示制御ステップでは、前記複数の操作要素を複数のグループに区分けしたときに、前記操作者の視線又は指先が複数のグループ間を移動していることが前記分析ステップにおいて分析された場合には、前記支援表示として複数のグループの区分けが強調表示されるように前記表示手段を制御し、前記操作者の視線又は指先が前記複数のグループのうち１つのグループ内を移動していることが前記分析ステップにおいて分析された場合には、前記支援表示として該視線が向けられているグループに属する操作要素の各々が強調表示されるように前記表示手段を制御する操作支援方法。
5. コンピュータを、
   請求項１または請求項２記載の操作支援装置の分析手段及び表示制御手段として機能させるためのプログラム。
6. コンピュータを、
   請求項３に記載の操作システムにおける操作支援装置の分析手段及び表示制御手段として機能させるためのプログラム。