WO2019016878A1

WO2019016878A1 - 操作支援装置および操作支援方法

Info

Publication number: WO2019016878A1
Application number: PCT/JP2017/026013
Authority: WO
Inventors: 有史松田; 下谷　光生; 直志宮原; 小畑　直彦
Original assignee: 三菱電機株式会社
Priority date: 2017-07-19
Filing date: 2017-07-19
Publication date: 2019-01-24
Also published as: JP6727441B2; JPWO2019016878A1

Abstract

本発明は、運転者が操作機器を注視することなく操作を行えると共に、運転者がどのスイッチを操作すれば良いかを容易に把握することのできる、操作支援装置および操作支援方法の提供を目的とする。本発明の操作支援装置は、操作パネル（２２）に対する指示体の位置または指示体の指示方向を含む指示情報を取得する指示情報取得部（１１）と、指示情報に基づき、操作パネルが有する複数の操作スイッチの中から１又は複数の操作スイッチを選択スイッチとして選択するスイッチ選択部（１２）と、指示体画像を、指示情報に基づき、操作パネルにおける複数の操作スイッチの配置を表す操作パネル画像に合成して操作画像を作成する操作画像作成部（１３）と、車両に搭載された表示装置（２１）に、操作画像を表示させる表示制御部（１４）と、を備える。操作画像は、選択スイッチではない操作スイッチである非選択スイッチと選択スイッチとを異なる態様で表す。

Description

操作支援装置および操作支援方法

　本発明は、操作支援装置および操作支援方法に関する。

　特許文献１には、運転者の手を撮影し、撮影画像を操作機器のスイッチ配列画像に重畳して表示装置に表示させることにより、運転者が運転中に操作機器を注視することなく操作を行える技術が開示されている。

特開２０００－６６８７号公報

　特許文献１の技術では、スイッチ配列画像を無加工で表示しているため、操作機器が有するスイッチが多く複雑である場合に、運転者はどのスイッチを押せばよいかが分かりにくいという問題があった。

　本発明は上述の問題に鑑み、運転者が操作機器を注視することなく操作を行えると共に、運転者がどのスイッチを操作すれば良いかを容易に把握することのできる、操作支援装置および操作支援方法の提供を目的とする。

　本発明に係る操作支援装置は、車両に搭載された操作対象装置を操作するための操作パネルを車両の運転者が指示体を用いて操作する際の、操作パネルに対する指示体の位置または指示体の指示方向を含む指示情報を取得する指示情報取得部と、指示情報に基づき、操作パネルが有する複数の操作スイッチの中から１又は複数の操作スイッチを選択スイッチとして選択するスイッチ選択部と、指示体を表す指示体画像を、指示情報に基づき、操作パネルにおける複数の操作スイッチの配置を表す操作パネル画像に合成して操作画像を作成する操作画像作成部と、車両に搭載された表示装置に、操作画像を表示させる表示制御部と、を備え、操作画像は、選択スイッチではない操作スイッチである非選択スイッチと選択スイッチとを異なる態様で表す画像である。

　本発明に係る操作支援方法は、車両に搭載された操作対象装置を操作するための操作パネルを車両の運転者が指示体を用いて操作する際の、操作パネルに対する指示体の位置または指示体の指示方向を含む指示情報を取得し、指示情報に基づき、操作パネルが有する複数の操作スイッチの中から１又は複数の操作スイッチを選択スイッチとして選択し、指示体を表す指示体画像を、指示情報に基づき、操作パネルにおける複数の操作スイッチの配置を表す操作パネル画像に合成して操作画像を作成し、車両に搭載された表示装置に、操作画像を表示させる、操作支援方法であって、操作画像は、選択スイッチではない操作スイッチである非選択スイッチと選択スイッチとを異なる態様で表す画像である。

　本発明に係る操作支援装置は、車両に搭載された操作対象装置を操作するための操作パネルを車両の運転者が指示体を用いて操作する際の、操作パネルに対する指示体の位置または指示体の指示方向を含む指示情報を取得する指示情報取得部と、指示情報に基づき、操作パネルが有する複数の操作スイッチの中から１又は複数の操作スイッチを選択スイッチとして選択するスイッチ選択部と、指示体を表す指示体画像を、指示情報に基づき、操作パネルにおける複数の操作スイッチの配置を表す操作パネル画像に合成して操作画像を作成する操作画像作成部と、車両に搭載された表示装置に、操作画像を表示させる表示制御部と、を備え、操作画像は、選択スイッチではない操作スイッチである非選択スイッチと選択スイッチとを異なる態様で表す画像である。本発明に係る操作支援装置によれば、運転者が操作機器を注視することなく操作を行えると共に、運転者がどの操作スイッチを操作すれば良いかを容易に把握することができる。

　本発明に係る操作支援方法は、車両に搭載された操作対象装置を操作するための操作パネルを車両の運転者が指示体を用いて操作する際の、操作パネルに対する指示体の位置または指示体の指示方向を含む指示情報を取得し、指示情報に基づき、操作パネルが有する複数の操作スイッチの中から１又は複数の操作スイッチを選択スイッチとして選択し、指示体を表す指示体画像を、指示情報に基づき、操作パネルにおける複数の操作スイッチの配置を表す操作パネル画像に合成して操作画像を作成し、車両に搭載された表示装置に、操作画像を表示させる、操作支援方法であって、操作画像は、選択スイッチではない操作スイッチである非選択スイッチと選択スイッチとを異なる態様で表す画像である。本発明に係る操作支援方法によれば、運転者が操作機器を注視することなく操作を行えると共に、運転者がどの操作スイッチを操作すれば良いかを容易に把握することができる。

　本発明の目的、特徴、態様、および利点は、以下の詳細な説明と添付図面とによって、より明白となる。

実施の形態１に係る操作支援装置の構成を示すブロック図である。実施の形態１に係る操作支援装置の動作を示すフローチャートである。実施の形態２に係る操作支援装置の構成を示すブロック図である。操作パネルを示す図である。操作画像を示す図である。操作画像を示す図である。操作画像を示す図である。操作画像を示す図である。実施の形態２の変形例１に係る操作支援装置の構成を示すブロック図である。実施の形態２の変形例１のスイッチ選択部による選択スイッチの選択処理に関するフローチャートである。操作画像を示す図である。実施の形態２の変形例２に係る操作支援装置の構成を示すブロック図である。実施の形態２の変形例２のスイッチ選択部による選択スイッチの選択処理に関するフローチャートである。実施の形態３に係る操作支援装置の構成を示すブロック図である。実施の形態３に係る操作支援装置の動作を示すフローチャートである。運転者がプッシュ操作を行う際の操作画像を示す図である。運転者がダイヤル操作を行う際の操作画像を示す図である。操作支援装置のハードウェア構成を示す図である。操作支援装置のハードウェア構成を示す図である。実施の形態１の操作支援装置の車両とサーバによる構成例を示す図である。

　＜Ａ．実施の形態１＞
　＜Ａ－１．構成＞
　図１は、実施の形態１に係る操作支援装置１０１の構成を示すブロック図である。操作支援装置１０１は、車両Ａの運転者が操作パネル２２を使って、車両Ａに搭載された操作対象装置２３を操作する際に、その操作を支援する装置である。操作対象装置２３は、例えばエアコン、オーディオまたはナビゲーション装置などである。

　図１では操作支援装置１０１を車両Ａに搭載された装置として示しているが、これは一例である。＜Ｄ．ハードウェア構成＞で後述するように、操作支援装置１０１の各部の構成は車両以外の場所に分散して配置されていても良い。

　操作支援装置１０１は、指示情報取得部１１、スイッチ選択部１２、操作画像作成部１３および表示制御部１４を備える。操作支援装置１０１は、表示装置２１と接続され、これらを利用可能に構成されている。表示装置２１および操作パネル２２は車両Ａに搭載されている。

　指示情報取得部１１は指示情報を取得する。指示情報は、車両Ａの運転者が指示体で操作パネル２２を指示する際の、操作パネル２２に対する指示体の位置または指示方向を含む。操作パネル２２は、操作対象装置２３を操作するための装置であり、複数の操作スイッチを搭載している。各操作スイッチは、操作対象装置２３の異なる制御内容に対応しており、車両Ａの運転者は所望の操作スイッチを扱うことにより操作対象装置２３の所望の制御を行うことができる。

　スイッチ選択部１２は、指示情報取得部１１から取得した指示情報に基づき、操作パネルの複数の操作スイッチの中から１又は複数の操作スイッチを選択スイッチとして選択する。選択スイッチは、現状の指示体の挙動から運転者が操作すると思われる操作スイッチである。スイッチ選択部１２は、特定した選択スイッチの情報を操作画像作成部１３に出力する。

　操作画像作成部１３は、指示体画像および操作パネル画像を作成する。指示体画像は、指示体を表す画像であり、例えば指示体を撮影した画像またはＣＧ画像などである。操作パネル画像は、操作パネル２２における複数の操作スイッチの配置を表す画像である。操作パネル画像において、選択スイッチとそれ以外の操作スイッチ（以下、これを「非選択スイッチ」とも称する）とは異なる態様で表される。

　そして、操作画像作成部１３は、指示情報取得部１１から取得した指示情報に基づき、指示体画像と操作パネル画像とを合成して、操作画像を作成する。操作画像には、指示体と操作パネル２２の各操作スイッチとの実際の位置関係が反映される。

　表示制御部１４は、操作画像作成部１３から操作画像を取得し、表示装置２１に操作画像を表示させる。

　＜Ａ－２．動作＞
　図２は、操作支援装置１０１の動作を示すフローチャートである。以下、図２に沿って操作支援装置１０１の動作を説明する。

　まず、指示情報取得部１１が指示情報を取得する（ステップＳ１０１）。

　次に、スイッチ選択部１２が指示情報に基づき、操作パネル２２が有する複数の操作スイッチの中から１又は複数の操作スイッチを選択スイッチとして選択する（ステップＳ１０２）。

　次に、操作画像作成部１３が、操作パネルにおける複数の操作スイッチの配置を表す操作パネル画像を生成する（ステップＳ１０３）。操作パネル画像において、選択スイッチではない操作スイッチである非選択スイッチと選択スイッチとは異なる態様で表示される。

　次に、操作画像作成部１３が指示体を表す指示体画像を生成する（ステップＳ１０４）。

　次に、操作画像作成部１３が、指示情報に基づき指示体画像と操作パネル画像とを合成して操作画像を生成する（ステップＳ１０５）。

　次に、表示制御部１４が、表示装置２１に操作画像を表示させる（ステップＳ１０６）。

　以上で、操作支援装置１０１の動作を終了する。

　＜Ａ－３．効果＞
　実施の形態１の操作支援装置１０１は、車両Ａに搭載された操作対象装置２３を操作するための操作パネル２２を車両Ａの運転者が指示体を用いて操作する際の、操作パネル２２に対する指示体の位置または指示体の指示方向を含む指示情報を取得する指示情報取得部１１と、指示情報に基づき、操作パネル２２が有する複数の操作スイッチの中から１又は複数の操作スイッチを選択スイッチとして選択するスイッチ選択部１２と、指示体を表す指示体画像を、指示情報に基づき、操作パネルにおける複数の操作スイッチの配置を表す操作パネル画像に合成して操作画像を作成する操作画像作成部１３と、車両Ａに搭載された表示装置２１に、操作画像を表示させる表示制御部１４と、を備える。そして、操作画像は、選択スイッチではない操作スイッチである非選択スイッチと選択スイッチとを異なる態様で表す画像である。従って、運転者は操作パネルを見ることなく、操作画像を見ながら操作スイッチを操作することができる。また、選択スイッチが他の操作スイッチとは異なる態様で表示されるため、運転者は所望の操作スイッチを適格に操作することができる。

　実施の形態１の操作支援方法によれば、車両Ａに搭載された操作対象装置２３を操作するための操作パネル２２を車両Ａの運転者が指示体を用いて操作する際の、操作パネル２２に対する指示体の位置または指示体の指示方向を含む指示情報を取得し、指示情報に基づき、操作パネル２２が有する複数の操作スイッチの中から１又は複数の操作スイッチを選択スイッチとして選択し、指示体を表す指示体画像を、指示情報に基づき、操作パネルにおける複数の操作スイッチの配置を表す操作パネル画像に合成して操作画像を作成し、車両Ａに搭載された表示装置２１に操作画像を表示させる。そして、操作画像は、選択スイッチではない操作スイッチである非選択スイッチと選択スイッチとを異なる態様で表す画像である。従って、運転者は操作パネルを見ることなく、操作画像を見ながら操作スイッチを操作することができる。また、選択スイッチが他の操作スイッチとは異なる態様で表示されるため、運転者は所望の操作スイッチを適格に操作することができる。

　＜Ｂ．実施の形態２＞
　＜Ｂ－１．全体構成＞
　図３は、実施の形態２に係る操作支援装置１０２の構成を示すブロック図である。操作支援装置１０２の構成は、図１に示した通りであり、実施の形態１に係る操作支援装置１０１の構成と同様である。但し、操作支援装置１０２は、指示体検出装置２４と接続され、これを利用可能に構成されている。

　図４は、操作パネル２２を示す図である。操作パネル２２は大抵、運転者が運転しながら操作スイッチ３２を操作しやすいように、運転席のコンソールなど運転者の手元に配置される。図４では操作スイッチ３２を機械的なスイッチとして図示しており、ボタン、ダイヤル、レバー等種々の形態のものが操作スイッチ３２として想定される。しかし、操作スイッチ３２は液晶画面等に表示されたアイコン等により実現されても良い。

　個々の操作スイッチ３２は、操作対象装置２３の異なる制御に対応している。運転者は、指示体を用いて操作スイッチ３２を扱うことにより、操作対象装置２３を操作することが可能である。ここでは操作スイッチ３２を「扱う」と述べているが、操作スイッチ３２の形状に応じて押す、引く、回すなどの種々の操作が操作スイッチ３２を扱う動作として想定される。図４では、運転者の手指４０を指示体の例としているが、タッチペン等、他の指示体を用いることも可能である。

　多数の操作スイッチ３２が操作パネル２２に搭載されるほど、運転者が意図していない操作スイッチ３２を誤って扱ってしまう。あるいは、運転者はどの操作スイッチ３２が実行したい操作対象装置２３の制御内容に対応しているのかを把握しにくい。特に、運転者は運転しながら、手元の近くの操作パネル２２を注視することは困難であるため、上記の問題が顕著に発生する。

　そこで、操作支援装置１０２は、運転者が指示体を操作スイッチ３２に近づけた際に、指示体と操作スイッチ３２との位置関係を表す操作画像を表示装置２１に表示させることにより、運転者が運転中でも操作画像を見ながら所望の操作スイッチ３２を的確に操作することが出来るようにする。この目的を達するため、表示装置２１は、操作パネル２２よりは運転者が前方を見て運転する際の視界（以下、「前方視界」と称する）に近い場所に設置されていることが望ましく、例えばHead-Up Display（ＨＵＤ）またはInstrument Cluster Display（ＩＣＤ）などである。

　指示体検出装置２４は、例えば操作パネル２２を撮影するカメラ、または操作パネル２２に対する指示体の接近を検出する静電容量式タッチパネル等により構成され、操作パネル２２に対する指示体の位置、または指示体の指示方向を検出する。指示体検出装置２４は、操作パネル２２に対する指示体の位置と指示体の指示方向の両方を検出しても良い。指示体検出装置２４による検出結果は、指示情報として指示情報取得部１１に出力される。すなわち、指示情報には操作パネル２２に対する指示体の位置、および指示体の指示方向の少なくとも一方が含まれる。

　指示情報取得部１１は、指示体検出装置２４から指示情報を取得し、これをスイッチ選択部１２に出力する。

　スイッチ選択部１２、操作画像作成部１３、表示制御部１４の構成は、実施の形態１と同様である。

　＜Ｂ－２．操作画像＞
　操作支援装置１０２の動作は、図２のフローチャートに示した通りであるため、フローチャートに沿った説明はここでは省略する。以下、図５から図８を用いて表示装置２１に表示される操作画像を例示する。

　図５の操作画像５０は、指示体である運転者の手指４０を示す画像（以下、「手指画像」と称する）４０Ｄと、操作パネルを示す操作パネル画像２２Ｄとが合成されたものである。操作パネル画像２２Ｄでは、操作パネル２２に搭載された複数の操作スイッチ３２の画像（以下、「操作スイッチ画像３２Ｄ」が表示されている。

　手指画像４０Ｄは、手指４０の実際の操作パネルに対する位置または方向にあわせた位置または方向で、操作パネル画像２２Ｄに合成される。図５の例で、手指画像４０Ｄは操作パネル画像２２Ｄの左下に重ねられており、これは実際に手指４０が操作パネル２２の左下に重なっていることを反映している。このように、操作画像５０は、指示体が操作パネル２２に対してどのような位置または方向にあるかを表すため、運転者は操作画像を見ることにより、実際に操作パネル２２を見なくても操作パネル２２上の所望の操作スイッチ３２を操作することが可能になる。

　手指４０が操作パネル２２の左下に重なったとき、手指４０との距離が近い１又は複数の操作スイッチ３２が選択スイッチとなる。ここで、手指４０から距離の近い順に３つの操作スイッチ３２が選択スイッチになるものとする。従って、図５に示すように、操作画像５０において手指画像４０Ｄの近くに表示される３つの操作スイッチ画像が選択スイッチ画像３２ＡＤとして、他の操作スイッチ画像３２Ｄよりも太い枠で表示される。このように選択スイッチ画像３２ＡＤは、操作画像５０において他の操作スイッチ画像３２Ｄとは容易に区別可能な態様で表示される。従って、運転者は自身が今から操作しようとしているスイッチ、すなわち選択スイッチがどの操作スイッチ３２であるかを容易に把握することができる。

　図５に示した、選択スイッチ画像３２ＡＤを他の操作スイッチ画像３２Ｄよりも太い枠で表示することは、選択スイッチ画像３２ＡＤと他の操作スイッチ画像３２Ｄとを異なる態様で表示することの一例である。他の例として図６に示すように、選択スイッチ画像３２ＡＤを通常の画像、例えば選択スイッチの撮影画像とし、他の操作スイッチ画像３２Ｄを記号または文字で表しても良い。

　また、選択スイッチ画像３２ＡＤを撮影画像とし、他の操作スイッチ画像３２ＤをＣＧ画像としても良い。また、反透過、低コントラスト、またはブラー表示等の方法で、他の操作スイッチ画像３２Ｄが選択スイッチ画像３２ＡＤに比べて不明瞭に表示されても良い。以上に述べた表示方法によって、運転者は選択スイッチ画像３２ＡＤと他の操作スイッチ画像３２Ｄとを容易に区別することができる。

　また、図７および図８に示すように、選択スイッチ画像３２ＡＤに、選択スイッチの操作内容を説明する操作メニュー３３を付記表示しても良い。図８の操作画像５０では、ダイヤル形状の選択スイッチの選択スイッチ画像３２ＡＤに対して、ダイヤルを右に回すとＵＰ、左に回すとＤＯＷＮという操作内容を説明する操作メニュー３３が表示されている。従って、運転者は自身が操作しようとする操作スイッチ３２の操作方法を、操作画像５０から容易に把握することができる。

　図５から図８では、操作画像５０を２次元の画像として表現した。しかし、操作画像５０は操作スイッチ３２および手指４０等を立体的に表現する立体視画像であっても良い。この場合、操作画像作成部１３は、指示体画像と操作パネル画像をそれぞれ立体視画像として作成し、両画像を立体視画像として合成する。そして、このような操作画像５０は、裸眼立体視表示機能を有する表示装置２１に表示される。

　＜Ｂ－３．選択スイッチの特定＞
　スイッチ選択部１２は、指示情報に基づき、複数の操作スイッチ３２の中から選択スイッチを選択する。図５から図８の表示例では、手指４０との距離が近い順に所定の数の操作スイッチ３２を選択スイッチとしていたが、これは、操作パネル２２に対する手指４０の位置に基づき選択スイッチを選択する方法の一例である。

　スイッチ選択部１２は、操作パネル２２に対する手指４０の指示方向に基づき、選択スイッチを選択しても良い。つまり、手指４０の指示方向に重なる操作スイッチ３２が、選択スイッチとして選択される。手指４０の指示方向が複数の操作スイッチ３２に跨って重なる場合、スイッチ選択部１２は指示方向が重なる全ての操作スイッチ３２を選択スイッチとしても良い。また、スイッチ選択部１２は指示方向が重なる操作スイッチ３２だけでなく、当該操作スイッチ３２と隣り合う所定数の他の操作スイッチ３２も、選択スイッチとしても良い。

　なお、スイッチ選択部１２は、例えば指示体と操作パネル２２との距離が、予め定められた閾値よりも小さくなったときに、そのときの指示情報に基づき選択スイッチを選択する。すなわち、指示体が操作パネル２２にある程度近づかなければ、選択スイッチは選択されない。あるいは、スイッチ選択部１２は、指示体が予め定められた時間継続して同じ操作スイッチを指示している場合に、選択スイッチを選択する。

　＜Ｂ－４．変形例１＞
　図９は、実施の形態２の変形例１に係る操作支援装置１０２Ａの構成を示すブロック図である。操作支援装置１０２Ａの構成は、操作支援装置１０２の構成において、指示情報取得部１１が手形検出部１１Ａを備えたものである。

　指示体検出装置２４は、操作パネル２２に対する指示体の位置と指示方向に加えて、指示体が運転者の手指４０である場合に手指４０の形状を検出し、これを指示情報として指示情報取得部１１に出力する。例えば、指示体検出装置２４はカメラによって操作パネル２２に接近した運転者の手指４０を撮影し、撮影画像を指示情報として指示情報取得部１１に出力することができる。

　手形検出部１１Ａは、指示体が運転者の手指４０である場合に、指示情報から手指４０の形状を検出する。例えば、手形検出部１１Ａは、手指４０が人差し指などいずれかの指を伸ばしてボタンを押すときの形状（以下、これを「ボタン形状」と称する）をしているか、あるいは手指４０がダイヤルを掴むときの形状（以下、これを「ダイヤル形状」と称する）をしているかを検出する。手形検出部１１Ａの検出結果は、指示情報に含められて指示情報取得部１１からスイッチ選択部１２に出力される。

　図１０は、操作支援装置１０２Ａのスイッチ選択部１２による選択スイッチの選択処理に関するフローチャートであり、図２のステップＳ１０２に対応したフローチャートである。スイッチ選択部１２は、指示情報に基づき選択スイッチを選択する。操作支援装置１０２では、スイッチ選択部１２は全ての操作スイッチ３２から選択スイッチを選択していた。しかし、操作支援装置１０２Ａでは、スイッチ選択部１２は手指４０の形状に対応する操作スイッチ３２を特定し（ステップＳ１０２１Ａ）、特定した操作スイッチ３２の中から選択スイッチを選択する（ステップＳ１０２２Ａ）。

　例えば、手指４０の形状がボタン形状である場合、選択スイッチはボタン形状の操作スイッチ３２の中から選択され、手指４０の形状がダイヤル形状である場合、選択スイッチはダイヤル形状の操作スイッチ３２の中から選択される。これにより、スイッチ選択部１２は精度良く選択スイッチを選択することができる。

　図１１は、操作支援装置１０２Ａによる操作画像５０を示す図である。この操作画像５０には、ボタン形状の操作スイッチ３２の操作スイッチ画像３２Ｄと、ダイヤル形状の操作スイッチ３２の操作スイッチ画像３２Ｄとが表示される。手指画像４０Ｄは、ボタン形状の操作スイッチ３２の操作スイッチ画像３２Ｄの下に重ねて表示されている。手指の形状はダイヤル形状であるので、スイッチ選択部１２は、手指に最も近いボタン形状の操作スイッチ３２ではなく、ダイヤル形状の操作スイッチ３２の中から最も手指に近い左端の操作スイッチ３２を選択スイッチとする。その結果、図１１に示すように、左端のダイヤル形状の操作スイッチ３２の画像が選択スイッチ画像３２ＡＤとして、操作メニュー３３と共に表示される。

　＜Ｂ－５．変形例２＞
　図１２は、実施の形態２の変形例２に係る操作支援装置１０２Ｂの構成を示すブロック図である。操作支援装置１０２Ｂは、操作支援装置１０２の構成に加えて、車内情報取得部１５をさらに備えている。

　車内情報取得部１５は車内情報を取得する。車内情報には、車内の温度の情報、ガラスの曇り等の情報が含まれる。

　スイッチ選択部１２は、指示情報取得部１１から指示情報を、車内情報取得部１５から車内情報をそれぞれ取得し、指示情報と車内情報に基づき選択スイッチを選択する。具体的には、操作パネル２２に搭載された操作スイッチ３２の中から車内情報に適合する操作スイッチ３２を特定する。

　例えば、車内情報が車内の温度が高いことを示していれば、エアコンを操作するための操作スイッチ３２が車内情報に適合する操作スイッチ３２となる。また、車内情報がガラスの曇りを示していれば、デフォッガを操作するための操作スイッチ３２が車内情報に適合する操作スイッチ３２となる。

　スイッチ選択部１２は、このようにして特定した操作スイッチ３２の中から、指示情報に基づき、手指４０から近い操作スイッチ３２または手指４０の指示方向に重なる操作スイッチ３２を選択スイッチとして選択する。

　図１３は、操作支援装置１０２Ｂのスイッチ選択部１２による選択スイッチの選択処理に関するフローチャートであり、図２のステップＳ１０２に対応したフローチャートである。スイッチ選択部１２は、指示情報に基づき選択スイッチを選択する。操作支援装置１０２では、スイッチ選択部１２は全ての操作スイッチ３２から選択スイッチを選択していた。しかし、操作支援装置１０２Ｂでは、スイッチ選択部１２は車内情報に適合する操作スイッチ３２を特定し（ステップＳ１０２１Ｂ）、特定した操作スイッチ３２の中から選択スイッチを選択する（ステップＳ１０２２Ｂ）。

　＜Ｂ－６．効果＞
　実施の形態２の操作支援装置１０２において、スイッチ選択部１２は、指示体からの距離が短い順に１又は複数の操作スイッチ３２を選択スイッチとして選択する。従って、運転者は指示体の近くにある操作スイッチ３２を操作画像５０上で容易に把握することができるため、所望の操作スイッチ３２を容易に操作することができる。

　また、操作画像５０において、選択スイッチは撮影画像で表され、他の操作スイッチ３２はＣＧ画像で表される。このように、操作画像において、選択スイッチの画像と他の操作スイッチ３２の画像とを異なる態様で表示されることにより、運転者は選択スイッチを操作画像５０上で容易に把握することができる。従って、所望の操作スイッチ３２を容易に操作することができる。

　あるいは、操作画像５０において、選択スイッチは撮影画像で表され、他の操作スイッチ３２は記号または文字で表される。このように、操作画像において、選択スイッチの画像と他の操作スイッチ３２の画像とを異なる態様で表示されることにより、運転者は選択スイッチを操作画像５０上で容易に把握することができる。従って、運転者は所望の操作スイッチ３２を容易に操作することができる。

　あるいは、操作画像５０において、選択スイッチは他の操作スイッチ３２よりも高い明瞭度で表示される。従って、運転者は操作画像上で、選択スイッチを容易に把握することができる。これにより、運転者は所望の操作スイッチ３２を容易に操作することができる。

　また、表示装置２１がヘッドアップディスプレイ（ＨＵＤ）であれば、運転者は視線を運転時の通常の方向から大きく移動することなく操作画像５０を視認することができるため、操作画像５０を見ながら容易に操作スイッチ３２を操作することができる。

　あるいは、表示装置２１がインスツルメントクラスタディスプレイ（ＩＣＤ）である場合、ＩＣＤはハンドルの奥側など、運転者が視線を運転中の通常の方向から大きく移動することなく視認できる位置に設けられているため、運転者は操作画像５０を見ながら容易に操作スイッチ３２を操作することができる。

　また、操作画像５０が立体視画像であり、操作画像５０が裸眼立体視表示機能を有する表示装置２１に表示される場合、運転者は操作画像５０から指示体と操作スイッチとの位置関係をより直感的に理解することができる。従って、運転者は所望の操作スイッチ３２を容易に選択することができる。

　操作画像作成部１３は、選択スイッチの操作内容が選択スイッチに付記表示される操作画像５０を作成する。従って、運転者は操作画像５０から選択スイッチの操作内容を容易に把握することができる。

　実施の形態２の変形例２に係る操作支援装置１０２Ａにおいて、指示体は車両Ａの運転者の手指であり、指示情報は、手指の形状の情報を含み、スイッチ選択部１２は、手指の形状に対応した操作スイッチ３２から選択スイッチを選択する。従って、操作支援装置１０２Ａによれば運転者の意図に沿った選択スイッチを精度よく選択することができる。

　実施の形態２の変形例２に係る操作支援装置１０２Ｂは、操作支援装置１０２の構成に加えて、車両Ａの室内温度またはガラスの曇り状況に関する情報を含む車内情報を取得する車内情報取得部１５を備える。また、スイッチ選択部１２は、車両情報に対応した操作スイッチ３２から選択スイッチを選択する。従って、操作支援装置１０２Ｂによれば運転者の意図に沿った選択スイッチを精度よく選択することができる。

　＜Ｃ．実施の形態３＞
　＜Ｃ－１．構成＞
　図１４は、実施の形態３に係る操作支援装置１０３の構成を示すブロック図である。操作支援装置１０３は、実施の形態２に係る操作支援装置１０２の構成において、装置制御部１６をさらに備え、指示情報取得部１１がジェスチャ取得部１１Ｂを備えるものであり、これ以外の操作支援装置１０３の構成は操作支援装置１０２と同様である。

　指示体検出装置２４は、指示体である手指の操作パネル２２に対する位置および指示方向を検出し、これらの検出結果を指示情報として指示情報取得部１１に出力する。

　ジェスチャ取得部１１Ｂは、指示情報から一定期間の手指の動きを読み取り、ジェスチャ操作を検出する。すなわち、ジェスチャ取得部１１Ｂには手指の特定の動作がジェスチャ操作として登録されており、指示情報から取得した手指の動きを登録されたジェスチャ操作と比較することによってジェスチャ操作を検出する。なお、ここではジェスチャ取得部１１Ｂがジェスチャ操作を検出することを説明しているが、指示体検出装置２４がジェスチャ操作の検出を行い、その検出結果をジェスチャ取得部１１Ｂが取得する構成であっても良い。

　ジェスチャ操作は、操作スイッチに対する非接触の動作であり、例えばボタン形状の手指を操作スイッチ３２に瞬間的に近づけてから離す動作（以下、これを「プッシュ操作」と称する）と、手指をダイヤル形状にしてダイヤルを回す動作（以下、これを「ダイヤル操作」と称する）とがある。

　ジェスチャ取得部１１Ｂは、ジェスチャ操作を検出すると装置制御部１６に検出したジェスチャ操作の情報を出力する。

　装置制御部１６は、ジェスチャ取得部１１Ｂが検出したジェスチャ操作に沿って、操作対象装置２３を制御する。従って、運転者は操作スイッチ３２を触ることなく、操作対象装置２３を操作することが可能になる。

　＜Ｃ－２．動作＞
　図１５は、操作支援装置１０３の動作を示すフローチャートである。以下、図１５のフローに沿って操作支援装置１０３の動作を説明する。

　図１５のステップＳ３０１からステップＳ３０６までは、図２のステップＳ１０１からステップＳ１０６までと同様である。ステップＳ３０６で操作画像を表示装置２１に表示させた後、ジェスチャ取得部１１Ｂはジェスチャ操作の有無を判断する（ステップＳ３０７）。

　例えば操作画像を表示装置２１に表示してから一定期間の間、ジェスチャ操作がなければ、操作支援装置１０３はそのまま処理を終了する。一方、操作画像を表示装置２１に表示してから一定期間の間にジェスチャ操作があれば、装置制御部１６がジェスチャ操作に対応した操作対象装置２３の制御を行う（ステップＳ３０８）。以上で、操作支援装置１０３の処理を終了する。

　図１６は、運転者がプッシュ操作を行う際の操作画像５０を示す図である。このとき、装置制御部１６は、選択スイッチが操作された場合に行う操作対象装置２３の制御を実行する。選択スイッチが複数存在する場合には、装置制御部１６は例えば手指から最も近い位置にある選択スイッチが操作された場合に行う操作対象装置２３の制御を実行する。

　図１７は、運転者がダイヤル操作を行う際の操作画像５０を示す図である。このとき、装置制御部１６は、ダイヤル操作の回転方向に応じて、選択スイッチが操作された場合に行う操作対象装置２３の制御を実行する。例えば、装置制御部１６は、運転者がダイヤルを右に回すジェスチャ操作を行った場合には、ダイヤル形状の選択スイッチが右に回されたときに行う操作対象装置２３の制御を実行する。

　＜Ｃ－３．効果＞
　実施の形態３において、指示体は車両Ａの乗員の手指であり、操作支援装置１０３は、実施の形態１に係る操作支援装置１０１の構成に加えて、手指を用いたジェスチャ操作を取得するジェスチャ取得部１１Ｂと、ジェスチャ操作に基づき選択スイッチの操作内容を実行して操作対象装置を制御する装置制御部１６と、を備える。従って、運転者は操作パネル２２に触れることなく選択スイッチを操作することができる。

　＜Ｄ．ハードウェア構成＞
　上述した操作支援装置１０１，１０２，１０２Ａ，１０２Ｂ，１０３における、指示情報取得部１１、スイッチ選択部１２、操作画像作成部１３、表示制御部１４、車内情報取得部１５および装置制御部１６は、図１８に示す処理回路８１により実現される。すなわち、処理回路８１は、指示情報取得部１１、スイッチ選択部１２、操作画像作成部１３、表示制御部１４、車内情報取得部１５および装置制御部１６（以下、「指示情報取得部１１等」と称する）を備える。処理回路８１には、専用のハードウェアが適用されても良いし、メモリに格納されるプログラムを実行するプロセッサが適用されても良い。プロセッサは、例えば中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、ＤＳＰ（Digital Signal Processor）等である。

　処理回路８１が専用のハードウェアである場合、処理回路８１は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、またはこれらを組み合わせたものが該当する。指示情報取得部１１等の各部の機能それぞれは、複数の処理回路８１で実現されてもよいし、各部の機能をまとめて一つの処理回路で実現されてもよい。

　処理回路８１がプロセッサである場合、指示情報取得部１１等の機能は、ソフトウェア等（ソフトウェア、ファームウェアまたはソフトウェアとファームウェア）との組み合わせにより実現される。ソフトウェア等はプログラムとして記述され、メモリに格納される。図１９に示すように、処理回路８１に適用されるプロセッサ８２は、メモリ８３に記憶されたプログラムを読み出して実行することにより、各部の機能を実現する。すなわち、操作支援装置１０１は、処理回路８１により実行されるときに、車両Ａに搭載された操作対象装置２３を操作するための操作パネル２２を車両Ａの運転者が指示体を用いて操作する際の、操作パネル２２に対する指示体の位置または指示体の指示方向を含む指示情報を取得するステップと、指示情報に基づき、操作パネル２２が有する複数の操作スイッチの中から１又は複数の操作スイッチを選択スイッチとして選択するステップと、指示体を表す指示体画像を指示情報に基づき、選択スイッチではない操作スイッチである非選択スイッチと選択スイッチとを異なる態様で表す操作パネル画像に合成して操作画像を作成するステップと、車両Ａに搭載された表示装置２１に操作画像を表示させるステップと、が結果的に実行されることになるプログラムを格納するためのメモリ８３を備える。換言すれば、このプログラムは、指示情報取得部１１等の手順や方法をコンピュータに実行させるものであるともいえる。ここで、メモリ８３には、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）などの、不揮発性または揮発性の半導体メモリ、ＨＤＤ（Hard Disk Drive）、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ（Digital Versatile Disk）及びそのドライブ装置等、または、今後使用されるあらゆる記憶媒体であってもよい。

　以上、指示情報取得部１１等の各機能が、ハードウェア及びソフトウェア等のいずれか一方で実現される構成について説明した。しかしこれに限ったものではなく、指示情報取得部１１等の一部を専用のハードウェアで実現し、別の一部をソフトウェア等で実現する構成であってもよい。例えば、スイッチ選択部１２については専用のハードウェアとしての処理回路でその機能を実現し、それ以外についてはプロセッサ８２としての処理回路８１がメモリ８３に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。

　以上のように、処理回路は、ハードウェア、ソフトウェア等、またはこれらの組み合わせによって、上述の各機能を実現することができる。

　また、上記では操作支援装置１０１，１０２，１０２Ａ，１０２Ｂ，１０３を車載装置として説明したが、車載装置、ＰＮＤ（Portable Navigation Device）、通信端末（例えば携帯電話、スマートフォン、およびタブレットなどの携帯端末）、およびこれらにインストールされるアプリケーションの機能、並びにサーバなどを適宜に組み合わせてシステムとして構築されるシステムにも適用することができる。この場合、以上で説明した操作支援装置１０１，１０２，１０２Ａ，１０２Ｂ，１０３の各機能または各構成要素は、システムを構築する各機器に分散して配置されてもよいし、いずれかの機器に集中して配置されてもよい。図２０には、車両ＡとサーバＳによる操作支援装置１０１の構成例を示している。図２０に示すように、操作支援装置１０１の構成のうち、指示情報取得部１１と表示制御部１４が車両Ａに配置され、スイッチ選択部１２と操作画像作成部１３がサーバＳに配置される。

　なお、本発明は、その発明の範囲内において、各実施の形態を自由に組み合わせたり、各実施の形態を適宜、変形、省略したりすることが可能である。この発明は詳細に説明されたが、上記した説明は、すべての態様において、例示であって、この発明がそれに限定されるものではない。例示されていない無数の変形例が、この発明の範囲から外れることなく想定され得るものと解される。

　１１　指示情報取得部、１１Ａ　手形検出部、１１Ｂ　ジェスチャ取得部、１２　スイッチ選択部、１３　操作画像作成部、１４　表示制御部、１５　車内情報取得部、１６　装置制御部、２１　表示装置、２２　操作パネル、２３　操作対象装置、２４　指示体検出装置、８１　処理回路、８２　プロセッサ、８３　メモリ。

Claims

　車両に搭載された操作対象装置を操作するための操作パネルを前記車両の運転者が指示体を用いて操作する際の、前記操作パネルに対する前記指示体の位置または前記指示体の指示方向を含む指示情報を取得する指示情報取得部と、
　前記指示情報に基づき、前記操作パネルが有する複数の操作スイッチの中から１又は複数の前記操作スイッチを選択スイッチとして選択するスイッチ選択部と、
　前記指示体を表す指示体画像を、前記指示情報に基づき、前記操作パネルにおける前記複数の操作スイッチの配置を表す操作パネル画像に合成して操作画像を作成する操作画像作成部と、
　前記車両に搭載された表示装置に、前記操作画像を表示させる表示制御部と、を備え、
　前記操作画像は、前記選択スイッチではない操作スイッチである非選択スイッチと前記選択スイッチとを異なる態様で表す画像である、
操作支援装置。
　前記スイッチ選択部は、前記指示体からの距離が短い順に１又は複数の前記操作スイッチを前記選択スイッチとして選択する、
請求項１に記載の操作支援装置。
　前記操作画像において、前記選択スイッチは撮影画像で表され、他の前記操作スイッチはＣＧ画像で表される、
請求項１に記載の操作支援装置。
　前記操作画像において、前記選択スイッチは撮影画像で表され、他の前記操作スイッチは記号または文字で表される、
請求項１に記載の操作支援装置。
　前記操作画像において、前記選択スイッチは他の前記操作スイッチよりも高い明瞭度で表示される、
請求項１に記載の操作支援装置。
　前記表示装置はヘッドアップディスプレイである、
請求項１に記載の操作支援装置。
　前記表示装置はインスツルメントクラスタディスプレイである、
請求項１に記載の操作支援装置。
　前記操作パネル画像および前記指示体画像は立体視画像であり、
　前記操作画像作成部は、前記指示体画像と前記操作パネル画像とを立体視画像として合成し、
　前記表示装置は、裸眼立体視表示機能を有する、
請求項１に記載の操作支援装置。
　前記操作画像作成部は、前記選択スイッチの操作内容が前記選択スイッチに付記表示される前記操作パネル画像を作成する、
請求項１に記載の操作支援装置。
　前記指示体は前記車両の乗員の手指であり、
　前記指示情報は、前記手指の形状の情報を含み、
　前記スイッチ選択部は、前記手指の形状に対応した前記操作スイッチから前記選択スイッチを選択する、
請求項１に記載の操作支援装置。
　前記車両の室内温度またはガラスの曇り状況に関する情報を含む車内情報を取得する車内情報取得部をさらに備え、
　前記スイッチ選択部は、前記車両情報に対応した前記操作スイッチから前記選択スイッチを選択する、
請求項１に記載の操作支援装置。
　前記指示体は前記車両の乗員の手指であり、
　前記手指を用いたジェスチャ操作を取得するジェスチャ取得部と、
　前記ジェスチャ操作に基づき前記選択スイッチの操作内容を実行して前記操作対象装置を制御する装置制御部と、をさらに備える、
請求項９に記載の操作支援装置。
　車両に搭載された操作対象装置を操作するための操作パネルを前記車両の運転者が指示体を用いて操作する際の、前記操作パネルに対する前記指示体の位置または前記指示体の指示方向を含む指示情報を取得し、
　前記指示情報に基づき、前記操作パネルが有する複数の操作スイッチの中から１又は複数の前記操作スイッチを選択スイッチとして選択し、
　前記指示体を表す指示体画像を、前記指示情報に基づき、前記操作パネルにおける前記複数の操作スイッチの配置を表す操作パネル画像に合成して操作画像を作成し、
　前記車両に搭載された表示装置に、前記操作画像を表示させる、
操作支援方法であって、
　前記操作画像は、前記選択スイッチではない操作スイッチである非選択スイッチと前記選択スイッチとを異なる態様で表す画像である、
操作支援方法。