JP6477123B2 - 操作システム - Google Patents

Description

本発明は、操作デバイスと視線検知を連携させた操作システムに関する。

従来より、複数の機器の作動内容を、共通の操作デバイスで指令する操作システムが知られている。特に車両に搭載された操作システムにおいては、機器の各々に対して設けられた表示部に、該当する機器の作動内容に応じた情報を表示させ、この表示を見ながら操作デバイスを操作して所望の作動内容に指令できるようにしたものが広く知られている。この種の操作システムでは、次の手順で操作デバイスを操作することになる。先ず、複数の機器のいずれを指令対象にするかを選択するための操作（選択操作）を行う。次に、選択した機器に対して作動内容を指令するための操作（指令操作）を行う。

さて、近年では、ユーザの視線方向を検知する視線検知センサの開発が進んできている（特許文献１参照）。これによれば、視線を移動させるだけで作動内容を指令できるようになり、操作デバイスの操作を不要にできる。

特許第５５８８７６４号公報

しかしながら、複雑な作動内容の指令を要する機器の場合には、作動内容に応じた情報を表示部に表示させることを要する。この場合、視線移動で指令しようとすると、例えば表示部に表示されたメニュー画面のアイコンを順次見つめていく作業を要し、却ってユーザに煩わしく感じさせることになる。一方、操作デバイスで指令しようとすると、上述した指令操作の他に選択操作を要するため、操作が煩わしく感じられる。

本発明は、上記問題を鑑みてなされたもので、その目的は、機器に対する指令の容易性向上を図った操作システムを提供することにある。

ここに開示される発明は上記目的を達成するために以下の技術的手段を採用する。なお、特許請求の範囲およびこの項に記載した括弧内の符号は、後述する実施形態に記載の具体的手段との対応関係を示すものであって、発明の技術的範囲を限定するものではない。

開示される発明のひとつは、ユーザにより手動操作され、複数の機器（５１、５２、５３、５４）のうち選択された指令対象機器に対して作動内容を指令する操作デバイス（２０）と、機器の各々に設けられ、作動内容に応じた情報を表示する表示部（４１ａ、４２ａ、４３ａ、４４ａ）と、視線検知センサにより検知されたユーザの視線方向に基づき、視線方向にある表示部に対応する機器を指令対象機器として選択する選択手段（９１ａ）と、検出対象の接近に伴い出力信号を変化させる近接センサ（２１）と、近接センサから出力された信号の変化に基づき、操作デバイスにユーザが触れていることを検知する接触検知手段（９１ｃ）と、を備え、選択手段は、接触検知手段により接触検知されている期間に、視線検知センサによる視線検知を有効にして選択を実行することを特徴とする。

この発明によれば、表示部に表示される作動内容に応じた情報を見ながら操作デバイスを手動操作することで、その作動内容の変更等を指令できる。よって、複雑な作動内容の指令を要する機器が含まれている場合であっても容易に指令できる。それでいて、複数の機器のいずれを操作デバイスの指令対象にするかの選択については、所望する機器に対応する表示部を見つめるだけで選択できる。要するに、指令対象機器の選択といった簡単な指令については視線検知センサを用いて実現させ、作動内容の設定といった複雑な指令については操作デバイスを用いて実現させる。以上により、上記発明によれば、複数の機器の作動内容を共通の操作デバイスで指令することを実現させつつ、機器に対する指令の容易性向上を図ることができる。

本発明の一実施形態において、操作デバイスおよび視線検知センサの車両搭載位置を示す斜視図。 図１に示す表示装置の表示内容とユーザの視線方向との関係を示す図。 図１に示す操作デバイス、近接センサ、視線検知センサおよび表示装置等を示す制御ブロック図。 図３のマイコンによる制御の手順を示すフローチャート。

以下、本発明にかかる操作システムの一実施形態について、図面を参照しつつ説明する。

図１は、車両１０の室内から車両前方側を見た斜視図である。図示されるように、車室内のうちフロントウインドシールド１１の下方には、樹脂製のインストルメントパネル１２が設置されている。インストルメントパネル１２は、水平方向に拡がる水平部１２ａと、水平部１２ａから上方に突出する突出部１２ｂと、水平部１２ａから車両後方側に延びる延出部１２ｃと、を備える。突出部１２ｂは、車両後方側に向けて開口する開口部を有する形状であり、その開口部には、複数（図１の例では４つ）の表示装置４１、４２、４３、４４が配置されている。これらの表示装置４１、４２、４３、４４は、車両１０の左右方向（図１の左右方向）に１列に並べて配置されている。

表示装置４１、４２、４３、４４は、液晶パネルおよびバックライトを備えて構成されており、複数の表示装置４１、４２、４３、４４は同一の形状および大きさである。各々の液晶パネルの表示面が車両左右方向に連続して視認されるように、つまり左右方向に延びる１つの表示面として視認されるように、複数の表示装置４１、４２、４３、４４は隣接して配置されている。インストルメントパネル１２の正面視において、中央右側に配置された表示装置を第１表示装置４１、中央左側に配置された表示装置を第２表示装置４２、右端に配置された表示装置を第３表示装置４３、左端に配置された表示装置を第４表示装置４４と呼ぶ。

図２に示すように、表示装置４１、４２、４３、４４の液晶パネルには、後述する各種の機器（図３参照）の作動内容に応じた情報を表示する領域が設定されている。この領域を、特定領域４１ａ、４２ａ、４３ａ、４４ａと呼ぶ。これらの領域は、特許請求の範囲に記載の「表示部」に相当する。

図３に示すように、車両１０にはナビ装置５１、空調装置５２、右側電子ミラー５３、左側電子ミラー５４、図示しないオーディオ装置等の機器が搭載されている。ナビ装置５１は、車両１０の走行をナビゲートする装置である。空調装置５２は車室内の空調を制御する装置である。右側電子ミラー５３は、車両１０の右側に位置する他車両や歩行者等、車外の物体を撮影するカメラと、カメラの撮影向きを制御するアクチュエータとを備える。左側電子ミラー５４は、車両１０の左側に位置する車外の物体を撮影するカメラと、そのカメラの撮影向きを制御するアクチュエータとを備える。

第１表示装置４１の特定領域４１ａには、ナビ装置５１の作動内容に応じた情報が表示される。例えば、地図情報、車両１０の現在位置情報、目的地の位置情報、走行経路情報等が表示される。さらに、第１表示装置４１のうち特定領域４１ａ以外の領域である枠領域４１ｂには、強調表示枠が表示される。枠領域４１ｂは、特定領域４１ａを取り囲む環状に設定されている。この枠領域４１ｂは、特許請求の範囲に記載の「選択報知表示部」に相当する。

第２表示装置４２の特定領域４２ａには、空調装置５２の作動内容に応じた情報が表示される。例えば、空調風の温度、風量、吹出口等の情報が表示される。さらに、第２表示装置４２のうち特定領域４２ａ以外の領域であるメータ領域４２ｂ、４２ｃには、車速計およびバッテリ電力残量計が表示される。これらのメータ領域４２ｂ、４２ｃおよび特定領域４２ａは、車両左右方向に１列に並べて配置されており、２つのメータ領域４２ｂ、４２ｃの間に特定領域４２ａは配置されている。

第３表示装置４３の特定領域４３ａには、右側電子ミラー５３の作動内容に応じた情報、つまりアクチュエータで制御された向きのカメラで撮影された映像が表示される。さらに、第３表示装置４３のうち特定領域４３ａ以外の領域である他領域４３ｂ、４３ｃには、カメラで撮影された映像とは異なる画像（例えば黒塗り画像）を表示させる。第１表示装置４１の特定領域４１ａ、第３表示装置４３の特定領域４３ａおよび他領域４３ｂは、車両左右方向に１列に並べて配置されており、２つの特定領域４１ａ、４３ａの間に他領域４３ｂが配置されている。これにより、２つの特定領域４１ａ、４３ａは、車両左右方向において所定間隔以上互いに離間して配置されることとなる。

第４表示装置４４の特定領域４４ａには、左側電子ミラー５４の作動内容に応じた情報、つまりアクチュエータで制御された向きのカメラで撮影された映像が表示される。さらに、第４表示装置４４のうち特定領域４４ａ以外の領域である他領域４４ｂ、４４ｃには、カメラで撮影された映像とは異なる画像（例えば黒塗り画像）を表示させる。第２表示装置４２の特定領域４２ａ、第４表示装置４４の他領域４４ｂおよび特定領域４４ａは、車両左右方向に１列に並べて配置されており、２つの特定領域４１ａ、４４ａの間に他領域４４ｂが配置されている。これにより、２つの特定領域４１ａ、４４ａは、車両左右方向において所定間隔以上互いに離間して配置されることとなる。

車両１０には、表示装置４１、４２、４３、４４および各種機器の他にも、以下に説明する電子制御装置（ＥＣＵ９０）、操作デバイス２０および視線検知センサ３０が搭載されている。本実施形態に係る操作システムは、操作デバイス２０、複数の表示装置４１〜４４、およびＥＣＵ９０を備える。操作デバイス２０は、ユーザにより手動操作され、複数の機器のうち選択された指令対象機器に対して作動内容を指令する。この選択は、視線検知センサ３０およびＥＣＵ９０により為される。

操作デバイス２０は、延出部１２ｃに配置されており、かつ、車両１０の運転者（ユーザ）が運転席に座ったままの状態で手が届く位置に配置されている。図１の例では、車両１０の走行方向を操作するハンドル１３が、車両左右方向の左側に配置されており、操作デバイス２０は、ハンドル１３に対してその反対側（右側）に配置されている。詳細には、操作デバイス２０は、車室内のうち車両左右方向の中央に配置されている。操作デバイス２０は、ユーザによりｘ軸方向、ｙ軸方向およびｚ軸方向の３方向に操作される。ｘ軸方向は車両左右方向、ｙ軸方向は車両前後方向、ｚ軸方向は上下方向である。つまり、ｘ軸方向およびｙ軸方向への傾倒操作と、ｚ軸方向への押動操作が可能である。

例えば、図２に示す表示態様では、ナビ装置５１が指令対象機器として選択された状態である。この状態で操作デバイス２０をｘ軸方向またはｙ軸方向に傾倒操作すると、第１表示装置４１の特定領域４１ａに表示されている地図が左右方向または上下方向にスクロール表示される（図２中の矢印参照）。或いは、特定領域４１ａに表示されている複数のアイコンのうち選択されているアイコンが切り替わる。そして、操作デバイス２０をｚ軸方向へ押動操作すると、選択されているアイコンに確定され、そのアイコンに関連付けられた指定がナビ装置５１へ出力される。ナビ装置５１は、その指令にしたがって作動し、その作動内容が特定領域４１ａに表示される。

インストルメントパネル１２の延出部１２ｃには、近接センサ２１が取り付けられている。近接センサ２１は、検出対象の接近に伴い出力信号を変化させる。ＥＣＵ９０のマイコン９１は、近接センサ２１から出力された信号の変化に基づき、操作デバイス２０にユーザが手を置いた状態であることを検知する。該検知を実行している時のマイコン９１は、特許請求の範囲に記載の「接触検知手段９１ｃ」に相当する。なお、近接センサ２１は、検出対象が所定範囲内に接近した場合にオン信号を出力するものであってもよい。この場合の接触検知手段９１ｃは、オン信号を取得した場合に、操作デバイス２０にユーザが手を置いた状態であることを検知する。

視線検知センサ３０は、インストルメントパネル１２のうち運転者の正面に位置する部分に取り付けられた赤外線カメラ、および映像解析用のマイコンを有する。赤外線カメラは運転者の左右の眼球を撮影し、その撮影画像をマイコンが画像解析して運転者の視線方向を演算する。この画像解析は、ＥＣＵ９０が有するマイクロコンピュータ（マイコン９１）が実行してもよい。

ＥＣＵ９０のマイコン９１は、視線検知センサ３０により検知されたユーザの視線方向に基づき、視線方向にある特定領域に対応する機器を指令対象機器として選択する。このように指令対象機器を選択しているマイコン９１は、特許請求の範囲に記載の「選択手段９１ａ」に相当する。例えば、図２に示すように視線方向にある表示部が第１表示装置４１の特定領域４１ａである場合には、その特定領域４１ａに対応するナビ装置５１が指令対象機器として選択手段９１ａにより選択される。

但し、接触検知手段９１ｃにより操作デバイス２０にユーザが手を置いた状態であることが検知されている期間に、視線検知センサ３０による視線検知を有効にして、選択手段９１ａは上記選択を実行する。また、いずれかの機器が指令対象機器として選択されている状態で、複数の特定領域４１ａ、４２ａ、４３ａ、４４ａのいずれからも外れた位置に視線方向が変化した場合であっても、マイコン９１は現状の選択を維持させる。このように機能して選択を維持させているマイコン９１は、特許請求の範囲に記載の「選択維持手段９１ｂ」に相当する。

図３に示す振動デバイス８１（報知装置）は、ステアリングや運転席等に取り付けられてユーザに振動を感じさせる。スピーカ８２（報知装置）は、警告音や音声等を出力する。例えば、上述した選択が確定された場合や選択が変更された場合等の各種状態を、振動や警告音、音声等によりユーザに報知する。

図４は、マイコン９１により所定の演算周期で繰返し実行される処理の手順を示すフローチャートである。先ずステップＳ１０において、近接センサ２１による接触検知の有無を判定する。接触検知が有ると判定された場合、操作デバイス２０にユーザが手を置いていると推定し、ユーザが操作デバイス２０による機器の指令の意思があるとみなして次のステップＳ１１に進む。ステップＳ１１では、複数の表示部のいずれかをユーザが見ているか否か、つまり視線検知センサ３０により検知された視線方向に表示部が有るか否かを判定する。具体的には、複数の特定領域４１ａ、４２ａ、４３ａ、４４ａのいずれかが視線方向に位置しているか否かを判定する。

表示部への視線が有ると判定された場合、視線の変更が有るか否かを判定する。具体的には、現在の視線が有る表示部が、現在選択されている機器に対応する表示部とは異なる場合に、視線変更有りと判定する。なお、現在、いずれの機器も選択されていない場合には、視線変更なしと判定する。

視線変更有りと判定した場合、続くステップＳ１３において、視線変更されている時間が所定時間以上経過したか否かを判定する。ステップＳ１３にて所定時間以上経過したと判定した場合、或いはステップＳ１２にて視線変更なしと判定した場合には、次のステップＳ１４に進む。ステップＳ１４では、視線方向にある表示部に対応する機器を、指令対象機器として選択する。

ステップＳ１３にて所定時間以上経過していないと判定されれば、ステップＳ１４による選択を実行することなく処理を終了してステップＳ１０に戻る。また、ステップＳ１１において、複数の表示部のいずれをもユーザが見ていないと判定された場合、ステップＳ１５において、現在選択されている機器の選択を維持させる。例えば、指令対象機器に対応する表示部から目を離して、フロントウインドシールド１１を介して車両１０の前方に視線を移した場合には、機器の選択が維持される。

以上により、本実施形態によれば、ユーザにより手動操作され、複数の機器のうち選択された指令対象機器に対して作動内容を指令する操作デバイス２０と、機器の各々に設けられ、作動内容に応じた情報を表示する表示部と、選択手段９１ａとを備える。選択手段９１ａは、視線検知センサ３０により検知されたユーザの視線方向に基づき、視線方向にある表示部に対応する機器を指令対象機器として選択する。

これによれば、表示部に表示される作動内容に応じた情報を見ながら操作デバイス２０を手動操作することで、その作動内容の変更等を指令できる。例えば、図２の例ではナビ装置５１が指令対象機器として選択されており、特定領域４１ａに表示されている地図情報を見ながら、操作デバイス２０を手動操作して地図情報をスクロールできる。よって、複雑な作動内容の指令を要する機器であっても容易に指令できる。

それでいて、複数の機器のいずれを指令対象機器にするかの選択については、所望する機器に対応する表示部を見つめるだけで選択できる。例えば、ナビ装置５１が指令対象機器として選択された図２の状態で、第２表示装置４２の特定領域４２ａへ視線を移すと、第２表示装置４２に対応する機器（空調装置５２）が指令対象機器として選択される。要するに、指令対象機器の選択といった簡単な指令については視線検知センサ３０を用いて実現させ、作動内容の設定といった複雑な指令については操作デバイス２０を用いて実現させる。以上により、本実施形態によれば、複数の機器の作動内容を共通の操作デバイス２０で指令することを実現させつつ、機器に対する指令の容易性向上を図ることができる。

さらに本実施形態では、指令対象機器が選択されている状態で、複数の表示部のいずれからも外れた位置に視線方向が変化した場合であっても、選択を維持させる選択維持手段９１ｂを備える。これによれば、選択されている表示部から視線を外す毎に選択が解除されることを回避でき、表示部から視線を外す毎に所望の表示部を見て再度選択するといった煩わしさを回避できる。また、表示部から視線を外した状態で操作デバイス２０を操作して指令することも可能になる。

さらに本実施形態では、操作デバイス２０にユーザが触れていることを検知する接触検知手段９１ｃを備え、選択手段９１ａは、接触検知手段９１ｃにより接触検知されている期間に、視線検知センサ３０による視線検知を有効にして選択を実行する。これによれば、操作デバイス２０にユーザが触れていない時、つまりユーザが機器へ指令する意思が無い時に、視線方向にある表示部の機器が選択されるといった煩わしさを回避できる。

さらに本実施形態では、複数の表示部のうち指令対象機器に対応する表示部とは異なる表示部への視線移動が視線検知センサ３０により検知された場合に、その視線移動が所定時間未満であれば、指令対象機器の選択を維持させる。これによれば、他の表示部を短時間見るだけであれば選択が変更されなくなるので、指令対象機器の選択を変更させることなく他の表示部を見られるようになる。

さらに本実施形態では、指令対象機器に対応する表示部が選択手段９１ａにより選択されている旨を報知する選択報知表示部（枠領域４１ｂ）を備える。これによれば、現在選択されている指令対象機器がいずれであるのかをユーザが認識しやすくなるので、機器に対する指令の容易性をより一層向上できる。

さらに本実施形態では、複数の表示部は、車両１０の室内の前方に配置されたインストルメントパネル１２に配置され、かつ、車両１０の左右方向に並べて配置されている。さて、車両１０を運転するユーザは、フロントウインドシールド１１を介して車両１０の前方の状況（前景）を目視確認するために、インストルメントパネル１２の上方に視線方向を移動させる頻度が多くなる。そのため、インストルメントパネル１２に表示部が配置されている場合、視線方向を上下方向に移動させる頻度が多くなる。一方、本実施形態に反して複数の表示部が上下方向に並べて配置されている場合には、前景への視線移動と、表示部への視線移動との判別が困難になる。そのため、視線検知センサ３０を用いて選択手段９１ａにより選択するにあたり、誤って選択する懸念が生じる。これに対し、複数の表示部が左右方向に並べて配置されている本実施形態によれば、上記懸念を抑制できる。

さらに本実施形態では、複数の表示部は、車両１０の左右方向において所定間隔以上互いに離間して配置されている。例えば図２に示す場合には、２つの特定領域４１ａ、４３ａの間に他領域４３ｂが配置されている。また、２つの特定領域４１ａ、４２ａの間にメータ領域４２ｃが配置されている。

しかしながら、本実施形態に反して複数の表示部が左右方向に隣接して配置されている場合、２つの表示部の境界部分を見ている時に、視線方向がいずれの表示部にあるのかを判別が困難になる。そのため、視線検知センサ３０を用いて選択手段９１ａにより選択するにあたり、誤って選択する懸念が生じる。これに対し、所定間隔以上離間した配置されている本実施形態によれば、上記懸念を抑制できる。

（他の実施形態）
以上、発明の好ましい実施形態について説明したが、発明は上述した実施形態に何ら制限されることなく、以下に例示するように種々変形して実施することが可能である。各実施形態で具体的に組合せが可能であることを明示している部分同士の組合せばかりではなく、特に組合せに支障が生じなければ、明示してなくとも実施形態同士を部分的に組み合せることも可能である。

図１および図２に示す近接センサ２１は、非接触式および接触式のいずれであってもよい。また、磁場の変化を検出する方式のセンサでもよいし、静電容量の変化を検出する方式のセンサでもよい。近接センサ２１の取り付け位置は延出部１２ｃに限らず、例えば操作デバイス２０に近接センサ２１を取り付けてもよい。

近接センサ２１を廃止して、操作デバイス２０が操作されることにより生じる入力信号が出力されている場合に、接触検知手段９１ｃは接触していると検知してもよい。例えば、操作デバイス２０の傾倒操作または押動操作が為されていることに基づいて、接触検知手段９１ｃは、操作デバイス２０にユーザが手を置いた状態であると検知してもよい。

図１に示す実施形態では、表示装置４１、４２、４３、４４が、インストルメントパネル１２の開口部に配置されている。これに対し、本発明はこのような配置に限定されるものではなく、例えば、ダッシュボード上に表示装置が配置されていてもよい。

図１に示す実施形態では、複数の表示装置４１、４２、４３、４４が車両左右方向に１列に並べて配置されている。これに対し、本発明はこのような配置に限定されるものではなく、例えば、上下方向にずれた位置に複数の表示装置が配置されていてもよい。

図１に示す実施形態では、操作デバイス２０がインストルメントパネル１２に配置されている。これに対し、本発明はこのような配置に限定されるものではなく、例えば、操作デバイス２０がハンドル１３に配置されていてもよい。

ＥＣＵ９０（制御装置）が提供する手段および／または機能は、実体的な記憶媒体に記録されたソフトウェアおよびそれを実行するコンピュータ、ソフトウェアのみ、ハードウェアのみ、あるいはそれらの組合せによって提供することができる。例えば、制御装置がハードウェアである回路によって提供される場合、それは多数の論理回路を含むデジタル回路、またはアナログ回路によって提供することができる。

２０…操作デバイス、３０…視線検知センサ、４１ａ…第１表示装置の特定領域（表示部）、４２ａ…第２表示装置の特定領域（表示部）、４３ａ…第３表示装置の特定領域（表示部）、４４ａ…第４表示装置の特定領域（表示部）、５１…ナビ装置（機器）、５２…空調装置（機器）、５３…右側電子ミラー（機器）、５４…左側電子ミラー（機器）、９１ａ…選択手段。

Claims (6)

1. ユーザにより手動操作され、複数の機器（５１、５２、５３、５４）のうち選択された指令対象機器に対して作動内容を指令する操作デバイス（２０）と、
   前記機器の各々に設けられ、前記作動内容に応じた情報を表示する表示部（４１ａ、４２ａ、４３ａ、４４ａ）と、
   視線検知センサ（３０）により検知されたユーザの視線方向に基づき、前記視線方向にある前記表示部に対応する前記機器を前記指令対象機器として選択する選択手段（９１ａ）と、
   検出対象の接近に伴い出力信号を変化させる近接センサ（２１）と、
   前記近接センサから出力された信号の変化に基づき、前記操作デバイスにユーザが触れていることを検知する接触検知手段（９１ｃ）と、
   を備え、
   前記選択手段は、前記接触検知手段により接触検知されている期間に、前記視線検知センサによる視線検知を有効にして前記選択を実行することを特徴とする操作システム。
2. 前記指令対象機器が選択されている状態で、複数の前記表示部のいずれからも外れた位置に前記視線方向が変化した場合であっても、前記選択を維持させる選択維持手段（９１ｂ）を備えることを特徴とする請求項１に記載の操作システム。
3. 複数の前記表示部のうち前記指令対象機器に対応する表示部とは異なる表示部への視線移動が前記視線検知センサにより検知された場合に、その視線移動が所定時間未満であれば、前記指令対象機器の選択を維持させることを特徴とする請求項１または２に記載の操作システム。
4. 前記指令対象機器に対応する前記表示部が前記選択手段により選択されている旨を報知する選択報知表示部（４１ｂ）を備えることを特徴とする請求項１〜３のいずれか１つに記載の操作システム。
5. 複数の前記表示部は、車両（１０）の室内の前方に配置されたインストルメントパネル（１２）に配置され、かつ、前記車両の左右方向に並べて配置されていることを特徴とする請求項１〜４のいずれか１つに記載の操作システム。
6. 複数の前記表示部は、前記車両の左右方向において所定間隔以上互いに離間して配置されていることを特徴とする請求項５に記載の操作システム。

Images