JP6851482B2 - 操作支援装置および操作支援方法 - Google Patents

Description

本発明は、操作支援装置および操作支援方法に関する。

ドライバによる車載装置の操作を支援する技術として、ドライバの視線を検出し、視線を機器操作のコマンドとして利用する技術がある。例えば、特許文献１には、第４の実施の形態として、ドライバの視線を検出してドライバが見ている装置に関する操作を遠隔操作装置で行うシステムが開示されている。具体的には、特許文献１のシステムは、ユーザの視線方向が含まれる車室内の領域を判定し、判定された領域と車載装置の配置情報とを比較して、ユーザの視線方向に配置されている車載装置を判定する。

特開２０１６−１１０４２４号公報

特許文献１の技術では、視線検出のみで車載装置の判定を行っている。ドライバの視線は、車両の運転中には車両の振動、注視時間の制約などの影響を受けるため、判定精度が必ずしも高くないという問題があった。

本発明は上述の問題に鑑み、車載装置の中からドライバが操作を希望する装置を精度よく特定し、その操作を支援する技術の提供を目的とする。

本開示の第１の操作支援装置は、車両のドライバの視線方向を取得する視線方向取得部と、ドライバによる視線以外の特徴的な行動である特徴行動を取得する特徴行動取得部と、視線方向と特徴行動とに基づき、車両に搭載された複数の車載装置の中から少なくとも一つの車載装置を、ドライバが操作を希望する操作対象装置として特定する装置特定部と、操作対象装置の操作画面を、車両に搭載された表示装置に表示させる表示制御部と、を備え、特徴行動は、ドライバによる指差し、ジェスチャ、および発話の少なくともいずれかであり、装置特定部は、特徴行動の実施時点から遡る予め定められた期間内におけるドライバの視線方向に基づき、操作対象装置を特定する。
本開示の第２の操作支援装置は、車両のドライバの視線方向を取得する視線方向取得部と、ドライバによる視線以外の特徴的な行動である特徴行動を取得する特徴行動取得部と、視線方向と特徴行動とに基づき、車両に搭載された複数の車載装置の中から少なくとも一つの車載装置を、ドライバが操作を希望する操作対象装置として特定する装置特定部と、操作対象装置の操作画面を、車両に搭載された表示装置に表示させる表示制御部と、を備え、特徴行動は、ドライバによる指差し、ジェスチャ、および発話の少なくともいずれかであり、装置特定部は、視線方向と特徴行動とに基づき、複数の車載装置の夫々に対してドライバが操作を希望する確率である操作希望確率を算出し、操作希望確率に基づき操作対象装置を特定し、表示制御部は、操作対象装置が複数ある場合には、操作希望確率がより大きい操作対象装置の操作画面の全体をより目立つ態様で表示させる。
本開示の第３の操作支援装置は、車両のドライバの視線方向を取得する視線方向取得部と、ドライバによる視線以外の特徴的な行動である特徴行動を取得する特徴行動取得部と、視線方向と特徴行動とに基づき、車両に搭載された複数の車載装置の中から少なくとも一つの車載装置を、ドライバが操作を希望する操作対象装置として特定する装置特定部と、操作対象装置の操作画面を、車両に搭載された表示装置に表示させる表示制御部と、を備え、特徴行動は、ドライバによる指差し、ジェスチャ、および発話の少なくともいずれかであり、表示制御部は、操作対象装置の操作画面の全体を、操作対象装置の隣に位置する操作対象装置ではない車載装置の操作画面より目立つ態様で表示させる。

本開示の操作支援装置によれば、車載装置の中からドライバが操作を希望する装置を精度よく特定し、その操作を支援することができる。

本発明の目的、特徴、態様、および利点は、以下の詳細な説明と添付図面とによって、より明白となる。

実施の形態１に係る操作支援装置の構成を示すブロック図である。 実施の形態１に係る操作支援装置の動作を示すフローチャートである。 実施の形態２に係る操作支援装置の構成を示すブロック図である。 実施の形態２に係る特徴行動検出装置の構成を示すブロック図である。 車両の室内に設けられる複数のディスプレイを示す図である。 ナビゲーション装置の操作メニューが自車位置周辺地図に重畳してＣＩＤに表示される様子を示す図である。 ナビゲーション装置のチュートリアルが自車位置周辺地図に重畳してＣＩＤに表示される様子を示す図である。 ナビゲーション装置の機能説明画面が自車位置周辺地図に重畳してＣＩＤに表示される様子を示す図である。 実施の形態２に係る操作支援装置の動作を示すフローチャートである。 実施の形態２に係る操作支援装置の動作を示すフローチャートである。 図１０のステップＳ３０５の詳細を示すフローチャートである。 ナビゲーション装置とオーディオ装置の操作画面が表示装置に表示される様子を示す図である。 表示装置と操作装置を示す図である。 ドライバの特徴行動を示す図である。 エアコンの操作画面が表示装置に表示される様子を示す図である。 ドライバの特徴行動を示す図である。 オーディオ装置の音量操作画面が表示装置に表示される様子を示す図である。 ドライバの特徴行動を示す図である。 オーディオ装置の曲送り画面および曲戻し画面が表示装置に表示される様子を示す図である。 ドライバの特徴行動を示す図である。 ナビゲーション装置の操作メニューが表示装置に表示される様子を示す図である。 実施の形態３に係る操作支援装置の動作を示すフローチャートである。 実施の形態４に係る操作支援装置の構成を示すブロック図である。 操作支援装置のハードウェア構成を示す図である。 操作支援装置のハードウェア構成を示す図である。 実施の形態２，３に係る操作支援装置の車両とサーバによる構成例を示す図である。

＜Ａ．実施の形態１＞
＜Ａ−１．構成＞
図１は、実施の形態１に係る操作支援装置１０１の構成を示すブロック図である。操作支援装置１０１は、車両に搭載された車載装置２２のドライバによる操作を支援する。本明細書の各実施の形態において「車両」という用語は、当該実施の形態の操作支援装置の操作支援対象となる車載装置２２が搭載された車両を指す。また、車載装置２２が搭載された車両を他の車両と区別する必要がある場合には、前者を「自車両」、後者を「他車両」または「周辺車両」等とする。

図１には操作支援装置１０１を車両に搭載された装置として示しているが、これは一例である。＜Ｅ．ハードウェア構成＞で後述するように、操作支援装置１０１の各部の構成は車両以外の場所に分散して配置されていても良い。

操作支援装置１０１は、視線方向取得部１１、特徴行動取得部１２、装置特定部１３、表示制御部１４を備えている。表示装置２１は車載のディスプレイであり、例えばインストゥルメントパネル（略称：インパネ）内の表示器、Head-Up Display（略称：ＨＵＤ）、メータディスプレイなどである。表示装置２１は１つでも複数でも良い。

視線方向取得部１１は、車両のドライバの視線方向を取得する。

特徴行動取得部１２は、ドライバによる視線以外の特徴的な行動である特徴行動を取得する。特徴行動は、例えばドライバによる指差し、ジェスチャ、発話、顔の動き、表情の変化などであり、またはこれらの組み合わせである。

装置特定部１３は、視線方向および特徴行動に基づき、車両に搭載された複数の車載装置２２の中から少なくとも一つの車載装置２２を、ユーザが操作を希望する操作対象装置として特定する。

表示制御部１４は、操作対象装置の操作画面を、車両に搭載された表示装置２１に表示させる。操作画面とは、操作対象装置の操作に直接または間接的に供される画面であり、例えば操作メニューを表示する画面、操作のチュートリアルを表示する画面、操作対象装置の機能説明画面、などが該当する。

＜Ａ−２．動作＞
図２は、操作支援装置１０１の動作を示すフローチャートである。以下、図２に沿って操作支援装置１０１の動作を説明する。

まず、視線方向取得部１１が車両のドライバの視線方向を特定する（ステップＳ１０１）。次に、特徴行動取得部１２が特徴行動を取得する（ステップＳ１０２）。次に、装置特定部１３が、視線方向と特徴行動とに基づき、複数の車載装置２２の中から少なくとも一つの車載装置２２を操作対象装置として特定する（ステップＳ１０３）。次に、表示制御部１４が操作対象装置の操作画面を、車両に搭載された表示装置２１に表示させる（ステップＳ１０４）。以上で、操作支援装置１０１の動作を終了する。

図２のフローで操作支援装置１０１は、視線方向を取得した後に特徴行動を取得した。しかし、これらの処理の順番は任意であり、どちらが先に処理されても、または同時に処理されても良い。

＜Ａ−３．効果＞
実施の形態１の操作支援装置１０１は、車両のドライバの視線方向を取得する視線方向取得部１１と、ドライバによる視線以外の特徴的な行動である特徴行動を取得する特徴行動取得部１２と、視線方向と特徴行動とに基づき、車両に搭載された複数の車載装置２２の中から少なくとも一つの車載装置２２をドライバが操作を希望する操作対象装置として特定する装置特定部１３と、操作対象装置の操作画面を、車両に搭載された表示装置２１に表示させる表示制御部１４と、を備える。従って、実施の形態１の操作支援装置１０１によれば、視線方向だけでなく特徴行動にも基づき精度良く操作対象装置を特定することができる。また、操作対象装置の操作画面を表示装置２１に表示させることによってドライバの操作の用に供することができる。

実施の形態１の操作支援方法は、車両のドライバの視線方向を取得し、ドライバによる視線以外の特徴的な行動である特徴行動を取得し、視線方向と特徴行動とに基づき、車両に搭載された複数の車載装置２２の中から少なくとも一つの車載装置２２をドライバが操作を希望する操作対象装置として特定し、操作対象装置の操作画面を、車両に搭載された表示装置２１に表示させる。従って、実施の形態１の操作支援方法によれば、視線方向だけでなく特徴行動にも基づき精度良く操作対象装置を特定することができる。また、操作対象装置の操作画面を表示装置２１に表示させることによってドライバの操作の用に供することができる。

＜Ｂ．実施の形態２＞
＜Ｂ−１．構成＞
図３は、実施の形態２に係る操作支援装置１０２の構成を示すブロック図である。操作支援装置１０２は、実施の形態１に係る操作支援装置１０１の構成に加えて、操作受付部１５および操作対象装置制御部１６を備えている。また、操作支援装置１０２は、車載装置２２、視線検出装置２３、特徴行動検出装置２４および操作装置２５と接続され、これらを利用可能に構成されている。

視線検出装置２３、特徴行動検出装置２４および操作装置２５は、車両に搭載されている。

操作装置２５は、表示装置２１に表示される車載装置２２の操作画面を操作するための装置であり、例えばタッチパッドまたはジョイスティック等である。

視線検出装置２３は、例えばカメラを備えており、カメラによるドライバの顔の撮影画像からドライバの視線方向を検出する。視線方向取得部１１は、視線検出装置２３からドライバの視線方向を取得して装置特定部１３に出力する。

特徴行動検出装置２４は、ドライバの特徴行動を検出する。図４に示すように、特徴行動検出装置２４は、指先方向検出装置２４Ａ、音声入力装置２４Ｂ、ジェスチャ検出装置２４Ｃおよび顔方向検出装置２４Ｄを備えている。

指先方向検出装置２４Ａは、例えば車両の室内を撮影するカメラを備えており、カメラによるドライバの手指の撮影画像から、ドライバの指差し行動を特徴行動として検出し、ドライバが指差しを行っている場合には指先方向を検出する。

音声入力装置２４Ｂは、例えば車両の室内に搭載されたマイクにより構成され、マイクによりドライバの発話を取得する。音声入力装置２４Ｂには、特定のキーワードが登録されており、ドライバの発話音声が特定のキーワードを含む場合には、当該発話を特徴行動として検出する。

ジェスチャ検出装置２４Ｃは、例えば車両の室内を撮影するカメラを備えており、カメラによるドライバの撮影画像を取得する。ジェスチャ検出装置２４Ｃには、特定のジェスチャが登録されており、ドライバの動きが特定のジェスチャに該当する場合には、当該ジェスチャを特徴行動として検出する。

顔方向検出装置２４Ｄは、例えば車両の室内を撮影するカメラを備えており、カメラによるドライバの撮影画像から、ドライバの顔の方向を検出し、例えばドライバの顔が一定期間継続して同じ方向を向いている場合や、顔の方向が急激に移動した後一定の方向に留まった場合などに、そのときの顔の方向を特徴行動として検出する。

なお、特徴行動検出装置２４は、指先方向検出装置２４Ａ、音声入力装置２４Ｂ、ジェスチャ検出装置２４Ｃおよび顔方向検出装置２４Ｄのいずれかを少なくとも備えていれば良い。

特徴行動取得部１２は、特徴行動検出装置２４から特徴行動を取得して装置特定部１３に出力する。

装置特定部１３は、視線方向取得部１１から視線方向、特徴行動取得部１２から特徴行動を取得し、これらに基づき、車載装置２２の中からドライバが操作を希望する操作対象装置を特定する。装置特定部１３は、操作対象装置が一意に特定できない場合には、必ずしも操作対象装置を一つに特定する必要はなく、確からしいと考えられる複数の操作対象装置を特定しても良い。装置特定部１３による操作対象装置の特定処理の詳細は＜Ｂ−２＞で後述する。

車載装置２２は、例えばナビゲーション装置、エアコン、オーディオ装置などである。図３では、表示装置２１と操作装置２５を車載装置２２と別の装置として示している。図３では、車両に搭載される装置のうち、操作支援装置１０２による制御対象となる装置を車載装置２２として示している。従って、表示装置２１または操作装置２５の設定変更操作などをドライバが希望する場合には、これらの装置も車載装置２２になり得る。

図５には、車両の室内に設けられた複数のディスプレイを示している。図５に示すように、車両の室内にメータディスプレイ２１Ａ、ＨＵＤ２１Ｂ、Center Information Display（略称：ＣＩＤ）２１Ｃ、および助手席ディスプレイ２１Ｄが設けられる場合、表示装置２１はこれら複数のディスプレイの一部でも全てでも良い。

表示制御部１４は、操作対象装置の操作画面を作成し、表示装置２１に操作画面を表示させる。図６は、操作対象装置であるナビゲーション装置の操作メニュー３１が自車位置周辺地図３０に重畳してＣＩＤ２１Ｃに表示される様子を示している。ドライバは操作メニュー３１を操作することによってナビゲーション装置の操作を行うことができる。つまり、操作メニュー３１はナビゲーション装置の操作に直接供される画面である。

図７は、操作対象装置であるナビゲーション装置のチュートリアル３２が自車位置周辺地図３３に重畳してＣＩＤ２１Ｃに表示される様子を示している。ドライバはチュートリアル３２に沿って画面を操作することによりナビゲーション装置の操作を行うことができる。つまり、チュートリアル３２はナビゲーション装置の操作に直接供される画面である。

図８は、操作対象装置であるナビゲーション装置の機能説明画面３４が自車位置周辺地図３５に重畳してＣＩＤ２１Ｃに表示される様子を示している。ドライバは機能説明画面３４の説明を読んでナビゲーション装置の操作方法を学び、機能説明画面３４に記載された方法に従ってナビゲーション装置の操作を行うことができる。従って、機能説明画面はナビゲーション装置の操作に間接的に供される画面である。

図６から図８では一つの操作対象装置の操作画面を表示することを説明したが、操作対象装置が複数ある場合、複数の操作対象装置の操作画面が同時に表示装置２１に表示される。この場合、複数の操作画面は同じ表示装置２１に表示されても良いし、別の表示装置２１に表示されても良い。

＜Ｂ−２．操作対象装置の特定処理＞
次に、図９のフローに沿って、操作支援装置１０２の動作を説明する。

まず、視線方向取得部１１がドライバの視線方向を、特徴行動取得部１２がドライバの特徴行動を、それぞれ取得する（ステップＳ２０１）。ここで、取得されるドライバの視線方向は、必ずしも特徴行動の実施時点と同じ時点の視線方向でなくても良く、特徴行動の実施時点から遡るまたは経過する予め定められた期間内の視線方向であれば良い。

次に、装置特定部１３が、視線方向に基づく操作対象装置の候補の特定処理を行う（ステップＳ２０２）。ドライバが特定の車載装置２２を操作しようとするとき、当該車載装置２２またはその表示情報を見る。例えば、ナビゲーション装置の表示情報が別の表示装置に表示される場合には、ドライバはナビゲーション装置を操作しようとするときに当該別の表示装置に表示された表示情報を見る。従って、車載装置２２またはその表示情報がドライバの視線対象となる場合、当該車載装置２２が操作対象装置となる可能性が高い。

そこで、装置特定部１３は、車載装置２２またはその表示情報がドライバの視線方向に重なる場合に、当該車載装置２２を操作対象装置の候補として特定する。装置特定部１３は、車載装置２２が車両の室内のどの場所に設置されているかを示す配置情報を記憶しており、配置情報に基づき、ドライバの視線方向が車載装置２２に重なるか否かを判断する。また、装置特定部１３は、車載装置２２の表示情報がどの表示装置２１のどの場所に表示されているかを示す表示配置情報を、表示制御部１４から随時取得しており、表示配置情報に基づき、ドライバの視線方向が車載装置２２の表示情報に重なるか否かを判断する。全ての車載装置２２またはその表示情報もドライバの視線方向に重ならない場合、装置特定部１３は操作対象装置の候補を特定することができない。

次に、装置特定部１３が、特徴行動に基づく操作対象装置の候補の特定処理を行う（ステップＳ２０３）。具体的には、特徴行動が指差し行動である場合、装置特定部１３は、装置自体または装置の表示情報がドライバの指先方向に重なる車載装置２２を操作対象装置の候補として特定する。また、特徴行動が発話である場合、装置特定部１３は、発話に装置に関連するキーワードが含まれる車載装置２２を操作対象装置の候補として特定する。例えば、ドライバが「音量を下げたい」と発話した場合、「音量」というキーワードに関連するオーディオ装置が操作対象装置の候補として特定される。また、特徴行動がドライバのジェスチャである場合、装置特定部１３は当該ジェスチャに対応付けられた車載装置２２を操作対象装置の候補として特定する。また、特徴行動が顔の方向である場合、装置特定部１３は装置自体または装置の表示情報が顔の方向に重なる車載装置２２を操作対象装置の候補として特定する。

次に、装置特定部１３は、ステップＳ２０２で特定した操作対象装置の候補とステップＳ２０３で特定した操作対象装置の候補とが一致するか否かを判断する（ステップＳ２０４）。両候補が一致しない場合の他、ステップＳ２０２とステップＳ２０３の一方または両方で操作対象装置の候補が特定されない場合には、ステップＳ２０４でＮｏとなる。この場合、操作支援装置１０２は操作対象装置を特定せずに処理を終了する。

一方、ステップＳ２０２で特定した操作対象装置の候補とステップＳ２０３で特定した操作対象装置の候補とが一致する場合、装置特定部１３は当該一致する候補を操作対象装置として特定する（ステップＳ２０５）。そして、表示制御部１４が操作対象装置の操作画面を作成し、表示装置２１に表示させる（ステップＳ２０６）。以上で、操作支援装置１０２の処理を終了する。

図９のフローでは、視線方向と重なる車載装置２２が操作対象装置の候補になるという簡潔な例を示した。しかし、実際には、視線方向が特定の車載装置２２に完全に重ならなかったり、複数の車載装置２２に跨って重なったりする場合があり、一つの車載装置２２を操作対象装置の候補に特定することが困難な場合もある。従って、装置特定部１３は、各車載装置２２を操作対象装置の候補にするかしないかの２択で判断するのではなく、車載装置２２が操作対象装置になる確率（操作対象確率）を算出しても良い。

図１０に、操作対象確率に基づき操作対象装置を特定する場合の操作支援装置１０２のフローチャートを示す。図１０のフローでは、まず、視線方向取得部１１がドライバの視線方向を、特徴行動取得部１２がドライバの特徴行動を、それぞれ取得する（ステップＳ３０１）。ステップＳ３０１は図９のステップＳ２０１と同様である。

次に、装置特定部１３が、視線方向に基づき各車載装置２２の操作対象確率Ｘ１を算出する（ステップＳ３０２）。ステップＳ３０２では、視線方向が複数の車載装置２２に跨って重なる場合に、より重なり具合の大きい車載装置２２の操作対象確率が大きく算出される。また、視線方向がいずれの車載装置２２にも重ならない場合、より視線方向に近い車載装置２２の操作対象確率が大きく算出される。これらは、車載装置２２の装置自体と視線方向との関係に基づく操作対象確率の算出について述べているが、車載装置２２の表示情報と視線方向との関係に基づく操作対象確率の算出についても同様である。

次に、装置特定部１３は、特徴行動に基づき各車載装置２２の操作対象確率Ｘ２を算出する（ステップＳ３０３）。

そして、装置特定部１３は、各車載装置２２につき、視線方向に基づく操作対象確率Ｘ１と特徴行動に基づく操作対象確率Ｘ２を総合し、各車載装置２２の操作対象確率Ｘを算出する（ステップＳ３０４）。例えば、操作対象確率Ｘには、Ｘ１とＸ２の平均値を用いても良い。

そして、装置特定部１３は、操作対象確率Ｘに基づき操作対象装置を特定する（ステップＳ３０５）。本ステップの詳細なフローは図１１に示す。

図１１のフローにおいて、まず装置特定部１３は、車載装置２２の操作対象確率Ｘの最大値がａ以上か否かを判断する（ステップＳ３０５１）。操作対象確率Ｘの最大値がａ以上である場合、装置特定部１３は操作対象確率Ｘが最大値となる車載装置２２を操作対象装置とする（ステップＳ３０５２）。

操作対象確率Ｘの最大値がａ未満である場合、装置特定部１３は、操作対象確率Ｘの最大値がｂ以上か否かを判断する（ステップＳ３０５３）。ここで、ａ＞ｂとする。操作対象確率Ｘの最大値がｂ未満である場合、装置特定部１３は操作対象装置を特定することなくステップＳ３０５を終了する。

操作対象確率Ｘの最大値がｂ以上である場合、装置特定部１３は、２番目に大きい車載装置２２の操作対象確率Ｘがｃ以上か否かを判断する（ステップＳ３０５４）。ここで、ａ＞ｂ＞ｃとする。２番目に大きい車載装置２２の操作対象確率Ｘがｃ未満である場合、装置特定部１３は操作対象装置を特定することなくステップＳ３０５を終了する。

２番目に大きい車載装置２２の操作対象確率Ｘがｃ以上である場合、装置特定部１３は、操作対象確率Ｘが大きい順に２台の車載装置２２を操作対象装置として特定する（ステップＳ３０５５）。以上で、ステップＳ３０５が終了する。

図１０のフローに説明を戻すと、ステップＳ３０５で特定された操作対象装置について、表示制御部１４が操作画面を作成し、これを表示装置２１に表示させる（ステップＳ３０６）。なお、図１０のフローには示していないが、ステップＳ３０５で操作対象装置が特定されない場合には、ステップＳ３０６で操作画面も表示されない。

＜Ｂ−３．操作画面の表示＞
図１１のステップＳ３０５５で示したように、２台の操作対象装置が特定される場合には、それら２台の操作対象装置について操作画面が表示装置２１に表示される。図１２は、ナビゲーション装置とオーディオ装置が操作対象装置である場合に、これらの操作画面が表示装置２１に表示される様子を示している。表示装置２１には、ナビゲーション装置の表示情報である自車位置周辺地図画面３６と、オーディオ装置の表示情報であるトラック画面３７と、オーディオ装置の操作画面である操作メニュー画面３８と、ナビゲーション装置の操作画面である操作メニュー画面３９が表示されている。

図１２において、オーディオ装置の操作メニュー画面３８がナビゲーション装置の操作メニュー画面３９よりも大きく表示されているのは、オーディオ装置の操作対象確率Ｘがナビゲーション装置の操作対象確率Ｘよりも大きいためである。このように、表示装置２１に複数の操作画面を表示する場合には、より操作対象確率Ｘが大きい操作対象装置の操作画面を、他の操作画面よりも目立つ態様で表示することが望ましい。これにより、ドライバが操作を希望する可能性の高い車載装置２２の操作画面をドライバに分かりやすく表示することができる。なお、表示制御部１４は、画面の大きさの他、明瞭度、カラー表示の有無、ライトアップの有無などにより、２つの操作画面の表示態様に差を設けても良い。

図１２では、複数の操作対象装置の操作画面を表示する場合について説明した。しかし、表示制御部１４は、１台の操作対象装置が特定されている場合に、操作対象装置の操作画面と、操作対象装置ではない車載装置２２の操作画面とを共に表示装置２１に表示させても良い。ここで、操作画面が表示される車載装置２２は、操作対象装置と隣り合う位置に配置されている車載装置２２でも良いし、表示装置２１の画面上で、操作対象装置の表示情報と隣り合う位置に表示情報が表示されている車載装置２２でも良い。これにより、操作対象装置と特定されてはいなくてもユーザが操作を希望する可能性のある車載装置２２の操作画面を表示することができる。この場合にも、操作対象装置の操作画面を操作対象装置ではない車載装置２２の操作画面よりも目立つ態様で表示することにより、ドライバが操作を希望する可能性の高い車載装置２２の操作画面をドライバに分かりやすく表示することができる。

表示装置２１が複数ある場合、表示制御部１４は一つの表示装置２１を選択し、選択した表示装置２１に操作画面を表示させる。

例えば、表示制御部１４は、装置特定部１３が操作対象装置を特定する際に用いたドライバの視線方向に最も近い表示装置２１に、操作画面を表示させることができる。これにより、ドライバは、車載装置２２から操作対象装置を選択する際から視線方向を大きく動かすことなく操作画面を視認することができる。

あるいは、表示制御部１４は、車載装置２２を制御走行系装置、ボディ系装置、情報系装置に分類し、操作対象装置の分類に応じた表示装置２１に、操作画面を表示させても良い。制御走行系装置とは、例えばオートクルーズまたはオートブレーキといった、車両の走行に関する制御を行う装置である。ボディ系装置とは、ウィンドウまたはドア等、車両のボディに関する制御を行う装置である。情報系装置とは、ナビゲーション装置またはオーディオ装置など、車両の乗員に情報を提供する装置である。

そして、例えば、表示制御部１４は、制御走行系装置の操作画面はＨＵＤに表示させ、ボディ系装置および情報系装置の操作画面はＣＩＤに表示させても良い。これにより、車両の走行に関わる制御走行系装置の操作画面の操作を、ドライバは運転しながら安全に行うことが可能となる。

＜Ｂ−４．操作装置＞
次に、操作画面の操作について説明する。ドライバは、操作装置２５を用いて表示装置２１に表示された操作画面を操作することが可能である。操作受付部１５は、操作装置２５の操作情報を取得し、表示制御部１４と操作対象装置制御部１６に出力する。

表示制御部１４は、操作受付部１５から取得した操作装置２５の操作情報に基づき、操作画面を更新して表示装置２１に表示させる。

操作対象装置制御部１６は、操作受付部１５から取得した操作装置２５の操作情報に基づき、操作対象装置の制御を行う。

図１３は、表示装置２１と操作装置２５を示す図である。図１３において、運転席と助手席のあいだのコンソールにタッチパッド２５Ａ、ダイヤル２５Ｂおよびボタン２５Ｃが設けられており、これらが操作装置２５に該当する。表示装置２１には、左ミラーの映像４０Ｌ、右ミラーの映像４０Ｒ、メータディスプレイ４１、ナビゲーション装置の表示情報である自車位置周辺地図画面４２、ナビゲーション装置の操作画面４３が表示されている。ナビゲーション装置が操作対象装置である。

ここで、ナビゲーション装置の操作画面４３を操作する操作装置２５がダイヤル２５Ｂであると予め定められているものとする。このとき、操作対象装置制御部１６は、ダイヤル２５Ｂをライトアップする。これにより、ドライバは操作画面４３の操作に供する操作装置２５を容易に把握することができる。

また、ダイヤル２５Ｂのライトアップに加えて、表示制御部１４がナビゲーション装置の操作画面４３をライトアップ表示させても良い。これにより、さらにドライバは操作画面４３の操作に供する操作装置２５を容易に把握することができる。

また、ダイヤル２５Ｂと操作画面４３とでライトアップ色を統一することにより、よりドライバが操作画面４３の操作に供する操作装置２５を容易に把握できるようにしても良い。

また、表示制御部１４は、ナビゲーション装置の操作画面は青色、オーディオ装置の操作画面は赤色というように、操作画面の種類によってライトアップ色を変えることにより、ドライバが操作画面の操作内容を容易に把握できるようにしても良い。

また、ダイヤル２５Ｂをライトアップ表示する場合には、ダイヤル２５Ｂの周囲をライトがぐるぐる回るようなライトアップ表示を行い、ボタン２５Ｃをライトアップ表示する場合には、ボタン２５Ｃを点滅させるというように、表示制御部１４は操作装置２５の種類によって異なるライトアップ表示を行っても良い。これにより、ドライバは操作装置２５の操作方法を容易に把握することができる。

＜Ｂ−５．ドライバの特徴行動の例＞
次に、ドライバの特徴行動を例示する。図１４は、ドライバがエアコン操作装置４４を見ながら、エアコン操作装置４４を右手の人差し指で指示する様子を示している。このとき、装置特定部１３は、ドライバの視線方向と、人差し指の指示方向とに基づき、＜Ｂ−２＞で説明した処理によりエアコンを操作対象装置として特定する。そして、図１５に示すように、表示制御部１４がエアコンの操作画面４５を表示装置２１に表示する。ユーザはタッチパッド２５Ａまたはダイヤル２５Ｂなどの操作装置２５を用いて操作画面４５を操作し、これにより操作対象装置制御部１６がエアコンの制御を行う。

図１６は、ドライバがオーディオ装置の表示情報であるトラック画面４６を見ながら、「少し音量を下げたい」と発話する様子を示している。このとき、装置特定部１３は、ドライバの視線方向と、ドライバの発話内容とに基づき、＜Ｂ−２＞で説明した処理によりオーディオ装置を操作対象装置として特定する。そして、図１７に示すように、表示制御部１４がオーディオ装置の音量操作画面４７を表示装置２１に表示する。ユーザはタッチパッド２５Ａまたはダイヤル２５Ｂなどの操作装置２５を用いて音量操作画面４７を操作し、これにより操作対象装置制御部１６がオーディオ装置に対し音量を下げるように制御する。なお、この例では、ドライバによる音量操作画面４７の操作を待たずに、オーディオ装置の音量を１段階、あるいは数段階下げる制御を操作対象装置制御部１６が行っても良い。

図１８は、ドライバがオーディオ装置の表示情報であるトラック画面４６を見ながら、前方に出した手の平を左右に動かすジェスチャ、すなわちスワイプ動作を行う様子を示している。このとき、装置特定部１３は、ドライバの視線方向と、スワイプ動作とに基づき、＜Ｂ−２＞で説明した処理によりオーディオ装置を操作対象装置として特定する。そして、図１９に示すように、表示制御部１４がオーディオ装置の曲送り／戻し画面４８を表示装置２１に表示する。ユーザはタッチパッド２５Ａまたはダイヤル２５Ｂなどの操作装置２５を用いて曲送り／戻し画面４８を操作し、これにより操作対象装置制御部１６がオーディオ装置に対し、曲送りまたは曲戻しを行うよう制御する。なお、この例では、ドライバによる曲送り／戻し画面４８の操作を待たずに、次の曲へ曲送りするよう操作対象装置制御部１６がオーディオ装置を制御しても良い。

図２０は、ドライバがナビゲーション装置の表示情報である自車位置周辺地図画面４２を見ながら、顔を自車位置周辺地図画面４２に向ける様子を示している。このとき、装置特定部１３は、ドライバの視線方向と、顔の方向とに基づき、＜Ｂ−２＞で説明した処理によりオーディオ装置を操作対象装置として特定する。そして、図２１に示すように、表示制御部１４がナビゲーション装置の操作メニュー４９を表示装置２１に表示する。ユーザはタッチパッド２５Ａまたはダイヤル２５Ｂなどの操作装置２５を用いて操作メニュー４９を操作し、これにより操作対象装置制御部１６がナビゲーション装置に対し、所定の制御を実行する。

以上の例で説明したように、実施の形態２の操作支援装置１０２は、視線方向と特徴行動の両方に基づき操作対象装置を特定するため、精度良く操作対象装置を特定することができる。複数の車載装置２２が隣り合って配置されていれば視線方向が複数の車載装置２２に重なることがある。また、車両の揺れにより、視線方向が複数の車載装置２２に跨って移動することがある。このような場合には、視線方向だけで操作対象装置を特定することが困難である。しかし、操作支援装置１０２は、特徴行動を用いて、視線方向による操作対象装置の特定精度を補完することにより、高い精度で操作対象装置を特定することができる。

＜Ｂ−６．効果＞
実施の形態２の操作支援装置１０２によれば、装置特定部１３は、視線方向に基づき複数の車載装置２２の中から少なくとも一つの車載装置を操作対象装置の候補として特定すると共に、特徴行動に基づき複数の車載装置２２の中から少なくとも一つの車載装置２２を操作対象装置の候補として特定し、視線方向に基づき特定した操作対象装置の候補と特徴行動に基づき特定した操作対象装置の候補が一致する場合に、操作対象装置の候補を操作対象装置と特定する。従って、操作支援装置１０２によれば操作対象装置を精度よく特定することができる。

また、操作支援装置１０２は、実施の形態１の操作支援装置１０１の構成に加えて、車両に搭載されたドライバが操作する複数の操作装置２５の操作情報を取得する操作受付部１５と、操作情報に基づき操作対象装置を制御する操作対象装置制御部１６と、を備える。そして、表示制御部１４は、操作情報に基づき操作対象装置の操作画面を遷移させる。従って、操作支援装置１０２によれば操作対象装置の操作画面を表示させ、ドライバの操作の用に供することが可能である。

また、操作支援装置１０２において、装置特定部１３は、ドライバの視線方向と車載装置との重なり具合に基づき操作対象装置を特定する。従って、ドライバは操作を希望する装置を見ることにより、当該装置の操作画面を表示装置２１に表示させることができる。

また、操作支援装置１０２において、表示制御部１４は、複数の操作可能装置の夫々の表示情報を表示装置２１に表示させる。そして、装置特定部１３は、表示情報とドライバの視線方向との重なり具合に基づき操作対象装置を特定する。従って、ドライバは、表示装置２１の表示画面上の、操作を希望する装置の表示情報を見ることにより、当該装置の操作画面を表示装置２１に表示させることができる。

また、操作支援装置１０２において、操作対象装置制御部１６は、操作画面の遷移に用いる操作装置２５をライトアップする。従って、操作支援装置１０２によれば、操作画面４３の操作に供する操作装置２５をドライバに容易に把握させることができる。

また、操作支援装置１０２において、装置特定部１３は、視線方向と特徴行動とに基づき、複数の車載装置２２の夫々に対してドライバが操作を希望する確率である操作希望確率を算出し、操作希望確率に基づき操作対象装置を特定し、表示制御部１４は、操作対象装置が複数ある場合には、操作希望確率がより大きい操作対象装置の操作画面をより目立つ態様で表示させる。従って、操作支援装置１０２によれば、ユーザが操作を希望する可能性のある車載装置２２の操作画面を適切に表示させることができる。

また、操作支援装置１０２において、表示制御部１４は、操作対象装置の隣に位置する操作対象装置ではない車載装置２２の操作画面を、操作対象装置の操作画面より目立たない態様で表示装置２１に表示させる。従って、ドライバが操作を希望する可能性のある車載装置２２の操作画面を表示しつつ、より可能性の高い操作対象装置の操作画面をドライバに分かりやすく表示させることができる。

＜Ｃ．実施の形態３＞
＜Ｃ−１．構成＞
実施の形態２では、特徴行動を視線方向の補完として、操作対象装置を特定するために用いた。これに対して実施の形態３では、特徴行動を、視線方向に基づき操作対象装置を特定するタイミングを決定するために用いる。

実施の形態３に係る操作支援装置１０３の構成は、図３に示す通りであり、実施の形態２に係る操作支援装置１０２の構成と同様である。

＜Ｃ−２．動作＞
図２２は、操作支援装置１０３の動作を示すフローチャートである。以下、図２２のフローに沿って操作支援装置１０３の動作を説明する。

図２２のフローにおいて、まず、視線方向取得部１１がドライバの視線方向を、特徴行動取得部１２がドライバの特徴行動を、それぞれ取得する（ステップＳ４０１）。このステップは、図９のステップＳ２０１または図１０のステップＳ３０１と同様である。

次に、装置特定部１３は、特徴行動の実施時点から予め定められた期間内、例えば２秒間の視線方向に基づき、各車載装置２２の操作対象確率を算出する（ステップＳ４０２）。視線方向に基づく操作対象確率を算出方法は、実施の形態２で説明したとおりである。

次に、装置特定部１３は、各車載装置２２の操作対象確率に基づき、操作対象装置を特定する（ステップＳ４０３）。ここで、装置特定部１３は、最も操作対象確率が大きい順に１又は複数の車載装置を操作対象装置として特定する。特定方法の詳細は、実施の形態２において図１１のフローで説明したとおりである。

次に、表示制御部１４が操作対象装置の操作画面を作成し、表示装置２１に表示させる（ステップＳ４０４）。このステップは、図９のステップＳ２０６または図１０のステップＳ３０６と同様である。

このように、実施の形態３において特徴行動は、操作対象装置を特定するための直接的な要素ではなく、視線方向に基づき操作対象装置を特定するためのタイミングを決定するために用いられる。上述の例では、ドライバが特徴行動を実施した時点から経過する一定期間（例えば２秒間）に、ある車載装置２２を見た場合に、当該車載装置２２が操作対象装置として特定される。

しかし、操作対象確率の算出に用いられる視線方向は、特徴行動の実施時点から経過する予め定められた期間の視線方向である必要はなく、特徴行動の実施時点から遡る予め定められた期間の視線方向であっても良い。この場合、ドライバがある車載装置２２を一定期間（例えば２秒間）見た後に特徴行動を行うことにより、当該車載装置２２が操作対象装置として特定される。

また、図２２では、操作対象確率に基づき操作対象装置を特定する方法を説明したが、実施の形態２の図９のフローで説明したのと同様の方法で、視線方向と重なる車載装置２２を操作対象装置としても良い。

＜Ｃ−３．効果＞
実施の形態３の操作支援装置１０３において、装置特定部１３は、特徴行動の実施時点から遡るまたは経過する予め定められた期間内におけるドライバの視線方向に基づき、操作対象装置を特定する。このように、特徴行動で定められたタイミングの視線方向により操作対象装置を特定することにより、操作支援装置１０３は精度良く操作対象装置を特定することができる。

＜Ｄ．実施の形態４＞
＜Ｄ−１．構成＞
図２３は、実施の形態４に係る操作支援装置１０４の構成を示すブロック図である。操作支援装置１０４の構成は、図３に示した実施の形態２または実施の形態３の操作支援装置１０２，１０３の構成と同様である。但し、操作支援装置１０４は周辺検出装置２６、車両センサ２７および道路状況検出装置２８と接続され、これらを利用可能に構成されている点が操作支援装置１０２，１０３と異なる。周辺検出装置２６、車両センサ２７および道路状況検出装置２８は、車両に搭載された装置である。

装置特定部１３は、以前の実施の形態と同様、ドライバの視線方向および特徴行動に基づき操作対象装置を特定する。操作対象装置の特定に際して、装置特定部１３は、車載装置２２またはその表示情報とドライバの視線方向との重なり具合を考慮する。典型的には、ドライバの視線方向に重なる車載装置２２を操作対象装置と特定する。

実施の形態２，３では特に言及しなかったが、上記の操作対象装置の特定に用いられるドライバの視線方向は、瞬間的な視線方向ではなく、ある一定の継続期間における視線方向である。この「ある一定の継続期間」を「注視検出時間」と称する。

実施の形態４において、装置特定部１３は、注視検出時間を、車両の走行の有無、走行道路の種別、周辺車両の状況等に応じて可変に設定する。

周辺検出装置２６は、車両に搭載されたカメラ又はレーダ等で構成され、周辺車両の走行状況を検出する。周辺車両とは、自車両の周辺を走行する車両のことである。周辺車両の走行状況には、例えば周辺車両の走行速度、周辺車両と自車両との距離などが含まれる。

車両センサ２７は、搭載された車両の状態を検知するセンサであり、例えば車速センサがこれに含まれる。装置特定部１３は、車両センサの検知情報から、車両が走行中であるか停車中であるかを識別できる。

道路状況検出装置２８は、例えばGlobal Positioning System（ＧＰＳ）信号等を用いて車両の位置を把握すると共に、地図情報を参照して、車両が現在走行している道路の種別を検出する。走行道路の種別とは、例えば一般道路か高速道路かの種別である。

周辺検出装置２６、車両センサ２７、道路状況検出装置２８からの情報は、ドライバが車載装置２２を注視することのできる余裕度を示す情報である。例えば、ドライバは車両の走行中は停止中に比べて運転に集中するため、車載装置２２を長時間注視する余裕はない。また、高速道路では一般道路に比べて運転への集中負荷が高く、ドライバは車載装置２２を長時間注視する余裕はないと考えられる。また、周辺車両が近くを走行中の場合は、周辺車両が存在しない場合に比べて運転負荷が高く、ドライバは車載装置２２を長時間注視する余裕はないと考えられる。こうした状況を反映し、装置特定部１３は、注視検出時間を例えば一般道路の走行中には５００ｍｓ以上１５００ｍｓ以下に設定し、停車中には２０００ｍｓ以上３０００ｍｓ以下に設定する。

これにより、操作対象装置の誤検出を防ぎつつも、ドライバがなるべく車載装置２２を長時間注視しなくても良いようにする。

＜Ｄ−２．効果＞
実施の形態４の操作支援装置１０４において、装置特定部１３は、車両の走行の有無、走行道路の種別および車両の周辺を走行する周辺車両の状況、の少なくともいずれかに基づき変化する注視検出時間における視線方向に基づき操作対象装置を特定する。従って、操作支援装置１０４によれば、運転の安全に配慮しつつ、操作対象装置の誤検出を防ぐことができる。

＜Ｅ．ハードウェア構成＞
上述した操作支援装置１０１，１０２，１０３，１０４における、視線方向取得部１１、特徴行動取得部１２、装置特定部１３、表示制御部１４、操作受付部１５および操作対象装置制御部１６は、図２４に示す処理回路８１により実現される。すなわち、処理回路８１は、視線方向取得部１１、特徴行動取得部１２、装置特定部１３、表示制御部１４、操作受付部１５および操作対象装置制御部１６（以下、単に「視線方向取得部１１等」と称する）を備える。処理回路８１には、専用のハードウェアが適用されても良いし、メモリに格納されるプログラムを実行するプロセッサが適用されても良い。プロセッサは、例えば中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、ＤＳＰ（Digital Signal Processor）等である。

処理回路８１が専用のハードウェアである場合、処理回路８１は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、またはこれらを組み合わせたものが該当する。視線方向取得部１１等の各部の機能それぞれは、複数の処理回路８１で実現されてもよいし、各部の機能をまとめて一つの処理回路で実現されてもよい。

処理回路８１がプロセッサである場合、視線方向取得部１１等の機能は、ソフトウェア等（ソフトウェア、ファームウェアまたはソフトウェアとファームウェア）との組み合わせにより実現される。ソフトウェア等はプログラムとして記述され、メモリに格納される。図２５に示すように、処理回路８１に適用されるプロセッサ８２は、メモリ８３に記憶されたプログラムを読み出して実行することにより、各部の機能を実現する。すなわち、操作支援装置１０１，１０２，１０３，１０４は、処理回路８１により実行されるときに、車両のドライバの視線方向を特定するステップと、ドライバによる視線以外の特徴的な行動である特徴行動を取得するステップと、視線方向と特徴行動とに基づき、車両に搭載された複数の車載装置２２の中から少なくとも一つの車載装置２２をドライバが操作を希望する操作対象装置として特定するステップと、操作対象装置の操作画面を車両に搭載された表示装置２１に表示させるステップと、が結果的に実行されることになるプログラムを格納するためのメモリ８３を備える。換言すれば、このプログラムは、視線方向取得部１１等の手順や方法をコンピュータに実行させるものであるともいえる。ここで、メモリ８３には、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）などの、不揮発性または揮発性の半導体メモリ、ＨＤＤ（Hard Disk Drive）、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ（Digital Versatile Disk）及びそのドライブ装置等、または、今後使用されるあらゆる記憶媒体であってもよい。

以上、視線方向取得部１１等の各機能が、ハードウェア及びソフトウェア等のいずれか一方で実現される構成について説明した。しかしこれに限ったものではなく、視線方向取得部１１等の一部を専用のハードウェアで実現し、別の一部をソフトウェア等で実現する構成であってもよい。例えば、装置特定部１３については専用のハードウェアとしての処理回路でその機能を実現し、それ以外についてはプロセッサ８２としての処理回路８１がメモリ８３に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。

以上のように、処理回路は、ハードウェア、ソフトウェア等、またはこれらの組み合わせによって、上述の各機能を実現することができる。

また、上記では操作支援装置１０１，１０２，１０３，１０４を車両に搭載された装置として説明したが、車両に搭載された装置、ＰＮＤ（Portable Navigation Device）、通信端末（例えば携帯電話、スマートフォン、およびタブレットなどの携帯端末）、およびこれらにインストールされるアプリケーションの機能、並びにサーバなどを適宜に組み合わせてシステムとして構築されるシステムにも適用することができる。この場合、以上で説明した操作支援装置１０１，１０２，１０３，１０の各機能または各構成要素は、システムを構築する各機器に分散して配置されてもよいし、いずれかの機器に集中して配置されてもよい。図２６は、車両とサーバとに分担して操作支援装置１０２，１０３の構成が配置された例を示している。この例では、視線方向取得部１１、特徴行動取得部１２および表示制御部１４が車両に搭載され、装置特定部１３がサーバで構成される。

なお、本発明は、その発明の範囲内において、各実施の形態を自由に組み合わせたり、各実施の形態を適宜、変形、省略したりすることが可能である。

この発明は詳細に説明されたが、上記した説明は、すべての態様において、例示であって、この発明がそれに限定されるものではない。例示されていない無数の変形例が、この発明の範囲から外れることなく想定され得るものと解される。

１１ 視線方向取得部、１２ 特徴行動取得部、１３ 装置特定部、１４ 表示制御部、１５ 操作受付部、１６ 操作対象装置制御部、２１ 表示装置、２１Ａ メータディスプレイ、２１Ｂ ＨＵＤ、２１Ｃ ＣＩＤ、２１Ｄ 助手席ディスプレイ、２２ 車載装置、２３ 視線検出装置、２４ 特徴行動検出装置、２４Ａ 指先方向検出装置、２４Ｂ 音声入力装置、２４Ｃ ジェスチャ検出装置、２４Ｄ 顔方向検出装置、２５ 操作装置、２５Ａ タッチパッド、２５Ｂ ダイヤル、２５Ｃ ボタン、２６ 周辺検出装置、２７ 車両センサ、８１ 処理回路、８２ プロセッサ、８３ メモリ、１０１，１０２，１０３，１０４ 操作支援装置。

Claims (15)

1. 車両のドライバの視線方向を取得する視線方向取得部と、
   前記ドライバによる視線以外の特徴的な行動である特徴行動を取得する特徴行動取得部と、
   前記視線方向と前記特徴行動とに基づき、前記車両に搭載された複数の車載装置の中から少なくとも一つの車載装置を、前記ドライバが操作を希望する操作対象装置として特定する装置特定部と、
   前記操作対象装置の操作画面を、前記車両に搭載された表示装置に表示させる表示制御部と、
   を備え、
   前記特徴行動は、前記ドライバによる指差し、ジェスチャ、および発話の少なくともいずれかであり、
   前記装置特定部は、前記特徴行動の実施時点から遡る予め定められた期間内における前記ドライバの視線方向に基づき、前記操作対象装置を特定する、
   操作支援装置。
2. 前記車両に搭載された前記ドライバが操作する複数の操作装置の操作情報を取得する操作受付部と、
   前記操作情報に基づき前記操作対象装置を制御する操作対象装置制御部と、をさらに備え、
   前記表示制御部は、前記操作情報に基づき前記操作対象装置の操作画面を遷移させる、
   請求項１に記載の操作支援装置。
3. 前記装置特定部は、前記ドライバの視線方向と前記車載装置との重なり具合に基づき前記操作対象装置を特定する、
   請求項１に記載の操作支援装置。
4. 前記表示制御部は、前記複数の車載装置の表示情報を前記表示装置に表示させ、
   前記装置特定部は、前記表示情報と前記ドライバの視線方向との重なり具合に基づき前記操作対象装置を特定する、
   請求項１に記載の操作支援装置。
5. 前記操作対象装置制御部は、前記操作画面の遷移に用いる前記操作装置をライトアップする、
   請求項２に記載の操作支援装置。
6. 前記操作対象装置制御部は、前記操作画面の遷移に用いる前記操作装置がダイヤルである場合とボタンである場合とで、前記操作画面の遷移に用いる前記操作装置を異なる態様でライトアップする、請求項５に記載の操作支援装置。
7. 前記表示制御部は、前記操作対象装置の隣に位置する前記操作対象装置ではない前記車載装置の操作画面を、前記操作対象装置の操作画面より目立たない態様で前記表示装置に表示させる、
   請求項１から請求項６のいずれか１項に記載の操作支援装置。
8. 前記装置特定部は、前記車両の走行の有無、走行道路の種別および前記車両の周辺を走行する周辺車両の状況、の少なくともいずれかに基づき変化する注視検出時間における前記視線方向に基づき前記操作対象装置を特定する、
   請求項１から請求項７のいずれか１項に記載の操作支援装置。
9. 車両のドライバの視線方向を取得する視線方向取得部と、
   前記ドライバによる視線以外の特徴的な行動である特徴行動を取得する特徴行動取得部と、
   前記視線方向と前記特徴行動とに基づき、前記車両に搭載された複数の車載装置の中から少なくとも一つの車載装置を、前記ドライバが操作を希望する操作対象装置として特定する装置特定部と、
   前記操作対象装置の操作画面を、前記車両に搭載された表示装置に表示させる表示制御部と、
   を備え、
   前記特徴行動は、前記ドライバによる指差し、ジェスチャ、および発話の少なくともいずれかであり、
   前記装置特定部は、前記視線方向と前記特徴行動とに基づき、前記複数の車載装置の夫々に対して前記ドライバが操作を希望する確率である操作希望確率を算出し、前記操作希望確率に基づき前記操作対象装置を特定し、
   前記表示制御部は、前記操作対象装置が複数ある場合には、前記操作希望確率がより大きい前記操作対象装置の操作画面の全体をより目立つ態様で表示させる、
   操作支援装置。
10. 車両のドライバの視線方向を取得する視線方向取得部と、
    前記ドライバによる視線以外の特徴的な行動である特徴行動を取得する特徴行動取得部と、
    前記視線方向と前記特徴行動とに基づき、前記車両に搭載された複数の車載装置の中から少なくとも一つの車載装置を、前記ドライバが操作を希望する操作対象装置として特定する装置特定部と、
    前記操作対象装置の操作画面を、前記車両に搭載された表示装置に表示させる表示制御部と、
    を備え、
    前記特徴行動は、前記ドライバによる指差し、ジェスチャ、および発話の少なくともいずれかであり、
    前記表示制御部は、前記操作対象装置の操作画面の全体を、前記操作対象装置の隣に位置する前記操作対象装置ではない前記車載装置の操作画面より目立つ態様で表示させる、
    操作支援装置。
11. 前記車載装置の前記操作希望確率は、前記車載装置と前記視線方向との重なり具合、または前記車載装置と前記視線方向との遠近関係に応じて定まる、
    請求項９に記載の操作支援装置。
12. 前記操作画面をより目立つ態様で表示させるとは、前記操作画面をより大きく表示させることである、
    請求項９から請求項１１のいずれか１項に記載の操作支援装置。
13. 前記表示制御部は、前記操作希望確率がより大きい前記操作対象装置の操作画面の全体をカラーで表示させ、前記操作希望確率がより小さい前記操作対象装置の操作画面の全体をモノクロで表示させる、
    請求項９に記載の操作支援装置。
14. 前記表示制御部は、前記操作対象装置の操作画面の全体をカラーで表示させ、前記操作対象装置ではない前記車載装置の操作画面の全体をモノクロで表示させる、
    請求項１０に記載の操作支援装置。
15. 車両のドライバの視線方向を特定し、
    前記ドライバによる視線以外の特徴的な行動である特徴行動を取得し、
    前記視線方向と前記特徴行動とに基づき、前記車両に搭載された複数の車載装置の中から少なくとも一つの車載装置を、前記ドライバが操作を希望する操作対象装置として特定し、
    前記操作対象装置の操作画面を、前記車両に搭載された表示装置に表示させ、
    前記特徴行動は、前記ドライバによる指差し、ジェスチャ、および発話の少なくともいずれかであり、
    前記特徴行動の実施時点から遡る予め定められた期間内における前記ドライバの視線方向に基づき、前記操作対象装置を特定する、
    操作支援方法。

Images