JP6551280B2 - 仮想操作装置 - Google Patents

Description

本発明は、所定位置に映し出される仮想操作画像での入力操作を可能とする仮想操作装置に関するものである。

従来の仮想操作装置として、例えば、特許文献１に記載されたものが知られている。特許文献１の仮想操作装置（投影キーボード）は、キーボードを投影する投影機器と、キーボードのひとつひとつに決められた色の光線を出力する光線出力機と、投影されたキーボードをタイピングしたときに指によって反射する各キーの光線を受信する光線受信機とを備えている。これにより、どのキーの入力があったかが分かるようになっている。

また、非特許文献１には、手の平、腕、壁、ノート、机などに操作用の画像を投影して、仮想操作画像（タッチスクリーン）として活用することが記載されている。

特開２００２−３３３９４０号公報

ＩＮＴＥＲＮＥＴ ＣＯＭ 「Ｍｉｃｒｏｓｏｆｔ、手のひらや机をタッチスクリーンにするＯｍｎｉＴｏｕｃｈを発表」 ２０１１年１０月１７日

しかしながら、上記各文献における技術を、例えば、車両に用いた場合、運転操作の状況に応じては、運転に集中するためにタッチ操作ができずに、仮想操作画像への操作を中断せざるを得ない場合がある。そして、運転操作に余裕が生まれ、タッチ操作を再開する際には、必ず前の中断した状態から再開することになるので、他の操作を行うことはできない。つまり、ひとつの操作を完了するまでは、他の操作に移行することはできない。

本発明の目的は、上記問題に鑑み、複数の入力操作に対して容易に操作の中断、再開を可能とする仮想操作装置を提供することにある。

本発明は上記目的を達成するために、以下の技術的手段を採用する。

第１の発明では、操作者による入力操作を可能とする仮想操作画像（１１１）を、所定領域（１１５）に投影する投影機（１１０）を備える仮想操作装置において、
投影機は、複数種の機器に対応する複数の仮想操作画像を所定領域に切替え可能に投影するようになっており、
操作者の操作動作を検知する検知器（１２０）と、
複数の仮想操作画像に対する入力操作の中断状態を保存したことを示す保存画像（１３１）をそれぞれ表示する表示器（１３０）と、
複数の仮想操作画像を対象として、入力操作を中断して、中断状態を保存するために予め定められた操作者の第１ジェスチャを検知器が検知すると、仮想操作画像の投影を停止して、表示器によって、所定領域とは異なる他の領域（１３５）に仮想操作画像に対応する保存画像をそれぞれ表示させると共に、
それぞれの保存画像のうちのいずれかに対して、中断状態から入力操作を再開するために予め定められた操作者の第２ジェスチャを検知器が検知すると、保存画像の表示を停止して、投影機によって、中断状態にある仮想操作画像を所定領域に表示させる制御部（１４０）とを備え、
第１ジェスチャは、仮想操作画像を摘まんで、他の領域に置くことを模したジェスチャであり、
第２ジェスチャは、保存画像を摘まんで、所定領域に置くことを模したジェスチャであることを特徴としている。
また、第２の発明では、所定領域は操作者の一方の手の平であり、他の領域は一方の手の指先であり、
第１ジェスチャは、手の平から指先に向けて、操作者の他方の手の指でスワイプするジェスチャであり、
第２ジェスチャは、指先から手の平に向けて、他方の手の指でスワイプするジェスチャであることを特徴としている。

この発明によれば、複数の仮想操作画像（１１１）に対して、入力操作を中断させたいときに、第１ジェスチャを行うことで、中断状態を保存すると共に、中断状態であることを保存画像（１３１）として所定領域（１１５）から他の領域（１３５）に移動させるようにして、それぞれ表示させることができる。

また、いずれかの保存画像に対して、中断した入力操作の続きを行いたいときは、第２ジェスチャを行うことで、中断状態にある仮想操作画像を所定領域に投影させることができ、入力操作の再開が可能となる。

このように、本発明では、複数の入力操作に対して容易に操作の中断、再開を行うことが可能となる。

尚、上記各手段の括弧内の符号は、後述する実施形態記載の具体的手段との対応関係を示すものである。

第１実施形態における仮想操作装置に関連する構成の全体配置を示す説明図である。 図１におけるII−II部を示す断面図である。 仮想操作装置の構成を示す説明図である。 制御部が実行する制御内容を示すフローチャート１である。 制御部が実行する制御内容を示すフローチャート２である。 制御部が実行する制御内容を示すフローチャート３である。 操作画像に対する入力操作を中断するための第１ジェスチャを示す説明図である。 入力操作が中断された保存状態（保存画像）を示す説明図である。 中断された入力操作を再開するための第２ジェスチャを示す説明図である。 第２実施形態における入力操作の中断、保存、および再開するためのジェスチャを示す説明図である。

以下に、図面を参照しながら本発明を実施するための複数の形態を説明する。各形態において先行する形態で説明した事項に対応する部分には同一の参照符号を付して重複する説明を省略する場合がある。各形態において構成の一部のみを説明している場合は、構成の他の部分については先行して説明した他の形態を適用することができる。各実施形態で具体的に組み合わせが可能であることを明示している部分同士の組み合わせばかりではなく、特に組み合わせに支障が生じなければ、明示していなくても実施形態同士を部分的に組み合せることも可能である。

（第１実施形態）
第１実施形態の仮想操作装置１００について、図１〜図９を用いて説明する。仮想操作装置１００は、例えば、車両用として設定されている。仮想操作装置１００は、ユーザ（操作者）が希望する任意の操作領域１１５に、操作画像１１１が投影されて、ユーザが、この操作画像１１１に対して入力操作することで、車両に搭載される複数の機器（複数種の機器）の作動条件がそれぞれ設定され（入力操作され）、作動状態が制御される装置となっている。複数の機器は、例えば、車両用空調装置、車両用オーディオ装置、あるいはカーナビゲーション装置等である。

仮想操作装置１００は、図１〜図３に示すように、投影機１１０、検知器１２０、表示器１３０、および制御部１４０等を備えており、車両天井の前端部で車両左右方向の中央位置に配置されている。また、車両のインストルメントパネル１０の上面部（以下、インパネ上面部）１１の左右方向の中央位置には、ディスプレイ１５０が配置されている。

投影機１１０は、後述する制御部１４０の選択部１４３からの指示により、ユーザによる入力操作を可能とする操作画像１１１をユーザの希望する操作領域１１５に投影するものである。投影機１１０は、複数の機器に対応する複数の操作画像１１１を操作領域１１５に切替え可能に投影することができるようになっている。操作画像１１１は、本発明の仮想操作画像に対応し、また、操作領域１１５は、本発明の所定領域に対応する。

操作画像１１１は、タッチスクリーン、あるいは投影パネル等と呼ばれるものであり、例えば、複数の機器に対応する複数のメニューボタンを表示するもの、あるいは複数の機器ごとに作動条件を入力するための複数の操作ボタン１１２を表示するもの等がある。操作画像１１１は、複数の機器の作動用アプリケーションを実行するための入力部（遠隔操作スイッチ）に対応する。

操作領域１１５は、操作画像１１１が表示される領域であり、ユーザが希望する位置（任意の位置）に設定される。操作領域１１５は、車両内において、例えば、インストルメントパネル１０のセンター部（以下、インパネセンター部）１２の領域、センターコンソール２０のパームレスト２１よりも前方側の領域、ステアリング３０の中央領域、更には、ユーザの手の平５０の領域等とすることができる。尚、後述する図７、図９においては、操作領域１１５をユーザの手の平５０として説明している。

操作領域１１５において、操作画像１１１によって、いわゆるタッチパネルのような操作が可能となる。尚、操作画像１１１が、操作領域１１５として手の平５０に設定される場合であると、手の平操作が可能となる。

検知器１２０は、ユーザの操作動作を検知するものとなっており、カメラ等によって形成されている。検知器１２０は、検知した検知信号（操作動作）を後述する制御部１４０の判定部１４１に出力するようになっている。検知される操作動作はユーザの手の動きであり、この手の動きには、手の平５０の向き（上か下か等）、手の平５０の位置、指先の位置、および予め定められた第１〜第３ジェスチャ、その他のジェスチャ等が含まれている。尚、検知器１２０は、上記以外の操作動作は検知の対象外として、例えば、ユーザの意図しない動作等を極力受付けないようになっている。

第１ジェスチャは、入力操作中の操作画像１１１に関連するアプリケーションの実行（入力操作）を中断し、中断状態を保存するためのジェスチャである。第１ジェスチャは、例えば、操作領域１１５における操作画像１１１を、あたかも摘まんで任意の保存領域１３５に仮置きするような動作となっている。第１ジェスチャは、複数の機器に対応するそれぞれの操作画像１１１を対象とすることができるようになっている。保存領域１３５は、本発明の他の領域に対応するものであり、ユーザの好みにより、例えば、インストルメントパネル１０の右端部（以下、インパネ右端部）１３、あるいはドアの前方側領域、ステアリング３０の中央領域等とすることができる。尚、後述するように、保存領域１３５には、表示器１３０によって保存画像１３１が表示されるようになっている。

また、第２ジェスチャは、一端中断した操作画像１１１に関連するアプリケーションの実行（入力操作）を再開するためのジェスチャである。第２ジェスチャは、例えば、保存領域１３５におけるいずれかの保存画像１３１を、あたかも摘まんで元の操作領域１１５に戻すような動作となっている。第２ジェスチャは、複数の機器に対応するそれぞれの保存画像１３１を対象とすることができるようになっている。

また、第３ジェスチャは、現在投影されている操作画像１１１に関連するアプリケーションを起動させたままで、いずれかの保存画像１３１を操作領域１１５に操作画像１１１として投影させて、投影した操作画像１１１に関連するアプリケーションへ移行するためのジェスチャである。第３ジェスチャは、例えば、保存領域１３５におけるいずれかの保存画像１３１を、あたかも摘まむような動作となっている。第３ジェスチャは、複数の機器に対応するそれぞれの保存画像１３１を対象とすることができるようになっている。

尚、その他のジェスチャとして、第１ジェスチャに代えて、操作画像１１１に対してあたかもフリック操作をすることで、操作画像１１１を任意の保存領域１３５に仮置きするジェスチャとして設定することも可能である。更に、その他のジェスチャとして、スワイプ動作等を含めることもできる。

尚、アプリケーション実行における中断、再開は、例えば、自動運転機能付の車両において、自動運転と通常の手動運転との間に発生し得る。また、複数のアプリケーション（空調用、オーディオ用、カーナビ用等）間で、機能の切替えを行うときに発生し得る。

表示器１３０は、後述する制御部１４０の判定部１４１、および記憶部１４２からの指示により、保存画像１３１を保存領域１３５に表示するものである。保存画像１３１は、複数の操作画像１１１（アプリケーション）に対する入力操作の中断状態を保存したことを示す画像である。保存画像１３１は、複数の操作画像１１１のそれぞれに対応して、複数種類のものが形成されるようになっており、予め定めた所定のアイコン、文字、あるいは色等によって、ユーザに識別可能に表示されるようになっている。

制御部１４０は、上記の投影機１１０、および表示器１３０の作動を制御すると共に、検知器１２０からの検出信号に基づいて、操作画像１１１に対応するアプリケーションの中断状態、および保存位置（保存領域１３５）を記憶（保存）するようになっている。制御部１４０は、判定部１４１、記憶部１４２、および選択部１４３等を有している。

判定部１４１は、検知器１２０から出力される検知信号に基づいて、ユーザの手の平５０の向き（上か下か等）、手の平５０の位置、指先の位置、および手の第１〜第３ジェスチャ、その他のジェスチャの有無を判定し、表示器１３０による保存画像１３１の表示、非表示を指示すると共に、判定結果を記憶部１４２に出力するようになっている。また、判定部１４１は、例えば、通信によって、検知器１２０から得られた検知信号をディスプレイＥＣＵ１５１に送信するようになっている。

記憶部１４２は、判定部１４１からの判定結果に基づいて、操作画像１１１に対応するアプリケーションの中断状態、保存領域１３５における保存画像１３１の保存位置を記憶（保存）するようになっている。そして、記憶部１４２は、表示器１３０に対して、保存画像１３１の表示、非表示を指示すると共に、記憶データを選択部１４３に出力するようになっている。

選択部１４３は、記憶部１４２からの記憶データに基づいて、投影すべき操作画像１１１を選択して、投影機１１０に対して、操作画像１１１を投影させるようになっている。

ディスプレイ１５０は、複数の機器の作動状態を切替え可能に表示する表示装置であり、例えば、例えば、液晶ディスプレイ、有機ＥＬディスプレイ等によって構成されている。ディスプレイ１５０の表示内容は、インストルメントパネル１０内に配置されたディスプレイＥＣＵ１５１によって制御されるようになっている。ディスプレイＥＣＵ１５１は、制御部１４０（判定部１４１）と、例えば、通信によって接続されるようになっている。また、ディスプレイＥＣＵ１５１は、複数の機器用の制御部、例えば、車両用空調装置の制御を行うエアコンＥＣＵ４１、車両用オーディオ装置の制御を行うオーディオＥＣＵ４２、およびカーナビゲーション装置の制御を行うカーナビＥＣＵ４３と接続されている。

本実施形態の仮想操作装置１００の構成は、上記のようになっており、以下、図４〜図６に示すフローチャート、および図７〜図９に示す説明図を加えて、仮想操作装置１００の作動、およびその作用効果について説明する。

図４に示すように、まず、ユーザによって、イグニッションスイッチ（ＩＧ）、あるいはアクセサリスイッチ（ＡＣＣ）が投入されて、仮想操作装置１００に電源がオンされると本制御がスタートする。

ステップＳ１００で、制御部１４０は、仮想操作装置１００を起動させ、先の制御において保存状態とされていた保存画像１３１のすべてを、表示器１３０によって、保存領域１３５に表示させる。保存領域１３５は、例えば、先にユーザが選択したインパネ右端部１３、ドアの前方側領域、ステアリング３０の中央領域等である（図８）
次に、ステップＳ１１０で、制御部１４０は、検知器１２０によって、ユーザの手の動き（指先の位置、ジェスチャ等）の検知を開始する。

次に、ステップＳ１２０で、制御部１４０（判定部１４１）は、検知器１２０から得られる検知信号から、保存領域１３５におけるいずれかの保存画像１３１を、ユーザがあたかも摘まむような動作を検知したか否かを判定する。制御部１４０は、ステップＳ１２０で否定判定をすると、ステップＳ１２０を繰り返し実行する。

一方、ステップＳ１２０で、肯定判定すると、制御部１４０は、ステップＳ１３０で、検知器１２０から得られる検知信号から、ユーザの手が操作領域１１５に戻されて、あたかも保存画像１３１を操作領域１１５に置くような動作を検知したか否かを判定する（図９）。制御部１４０は、ステップＳ１３０で否定判定をすると、ステップＳ１３０を繰り返し実行する。

そして、ステップＳ１２０、Ｓ１３０で共に肯定判定すると、ユーザによる第２ジェスチャがあったものとして、ステップＳ１４０で、制御部１４０は、摘ままれた保存画像１３１に対応する操作画像１１１を投影機１１０によって、ユーザの選択した操作領域１１５（置かれた位置）に投影する。図９は、操作領域１１５として、例えば、ユーザの手の平５０が選択された場合を示している。この場合、検知器１２０は、置かれた位置がユーザの手の平５０であることを検知しており、投影機１１０は、この手の平５０の位置に操作画像１１１を投影するのである。そして、制御部１４０は、投影した操作画像１１１に対応するアプリケーションを起動すると共に、このアプリケーションをディスプレイ１５０に表示させる。

次に、ステップＳ１５０で、制御部１４０は、操作画像１１１を投影させながら、操作画像１１１に対するユーザの手の動き（指先の位置等）の検知を行う。

次に、ステップＳ１６０で、制御部１４０は、ユーザの手の動き（指先の位置、ジェスチャ等）、および電源状態の判定を行う。

ステップＳ１６０で、指先が操作画像１１１を操作する動作（操作ボタンへのタッチ操作等）であると判定すると、制御部１４０（判定部１４１）は、ステップＳ１７０で、操作ボタンへのタッチ操作に基づく表示をディスプレイＥＣＵ１５１に指示する。ディスプレイＥＣＵ１５１は、タッチ操作に基づくディスプレイ１５０の表示内容を制御する。そして、制御部１４０は、ステップＳ１６０に戻る。

また、ステップＳ１６０で、手の動きが保存領域１３５における他の保存画像１３１（ステップＳ１２０とは異なる保存画像１３１）をあたかも摘まむような動きであると判定すると、第３ジェスチャがあったものとして、制御部１４０は、ステップＳ１８０〜Ｓ２００に移行する。ステップＳ１８０〜Ｓ２００では、制御部１４０は、起動中のアプリケーション（現在投影中の操作画像１１１）から他の保存画像１３１に対応するアプリケーションに移行させる。

つまり、制御部１４０は、ステップＳ１８０で、起動中のアプリケーション（現在投影中の操作画像１１１）の中断を確定して、起動中のアプリケーションの入力操作状態（作業状態）を保存（記憶）して、操作画像１１１を元の保存領域１３５に保存画像１３１として表示させる。

更に、ステップＳ１９０で、制御部１４０は、新しく選択された他の保存画像１３１に対応するアプリケーションを起動する。

そして、ステップＳ２００で、制御部１４０は、新しく選択された他の保存画像１３１に対応する操作画像１１１を操作領域１１５に投影すると共に、ディスプレイ１５０に操作画像１１１に対応するアプリケーションを表示させる。そして、制御部１４０は、ステップＳ１５０に戻る。

一方、ステップＳ１６０で、中断操作、あるいはフリック動作、あるいは電源オフ動作があると判定すると、ステップＳ２１０に移行する。

ステップＳ２１０では、制御部１４０は、ステップＳ１６０と同様にユーザの手の動き（指先の位置、ジェスチャ等）の判定を行うと共に、電源状態の判定を行う。

ステップＳ２１０で、手の動きが操作領域１１５における操作画像１１１をあたかも摘まんで保存領域１３５に置くような動きであると判定すると、第１ジェスチャがあったものとして、制御部１４０は、ステップＳ２２０で、起動中のアプリケーション（現在投影中の操作画像１１１）の中断を確定する。加えて、制御部１４０は、起動中のアプリケーションの入力操作状態（作業状態）を保存（記憶）し、中断するアプリケーションの保管場所（手を置いた位置）を記憶し、その保管場所（保存領域１３５）に保存画像１３１として表示させる。そして、制御部１４０は、中断状態にあるとして、ステップＳ１２０に移行する。

また、ステップＳ２１０で、手の動きがフリック操作の動きであると判定すると、第１ジェスチャに代わるその他のジェスチャがあったものとして、制御部１４０は、ステップＳ２３０で、起動中のアプリケーション（現在投影中の操作画像１１１）の中断を確定する。そして、制御部１４０は、操作画像１１１における入力操作状態（作業状態）を保存（記憶）して、元の（初期の）保管場所（保存領域１３５）に保存画像１３１として表示させる。そして、制御部１４０は、中断状態にあるとして、ステップＳ１２０に移行する。

また、ステップＳ２１０で、電源がオフされたと判定すると、制御部１４０は、ステップＳ２４０で、起動中のアプリケーション（現在投影中の操作画像１１１）の中断を確定する。そして、制御部１４０は、操作画像１１１における入力操作状態（作業状態）を保存（記憶）して、元の（初期の）保管場所（保存領域１３５）に保存する。そして、制御部１４０は、スタートに戻る。

以上のように、本実施形態では、複数の操作画像１１１に対して、入力操作を中断させたいときに、第１ジェスチャを行うことで、中断状態を保存すると共に、中断状態であることを保存画像１３１として操作領域１１５から保存領域１３５に移動させるようにして、それぞれ表示させることができる（ステップＳ２１０、Ｓ２２０）。

また、いずれかの保存画像１３１に対して、中断した入力操作の続きを行いたいときは、第２ジェスチャを行うことで、中断状態にある操作画像１１１を操作領域１１５に投影させることができ、入力操作の再開が可能となる（ステップＳ１２０〜Ｓ１４０）。

このように、本実施形態では、複数の入力操作に対して容易に操作の中断、再開を行うことが可能となる。

ここで、第１ジェスチャを、操作画像１１１を摘まんで、保存領域１３５に置くことを模したジェスチャとしており、第２ジェスチャを、保存画像１３１を摘まんで、操作領域１１５に置くことを模したジェスチャとしているので、ユーザにとって、直感的に分かりやすい動作とすることができる。

また、それぞれの保存画像１３１のうちのいずれかの保存画像１３１を摘まむような第３ジェスチャを行うことで、今まで操作領域１１５に投影していた操作画像１１１から、いずれかに対応する操作画像１１１に移行させることができ（ステップＳ１６０〜Ｓ２００）、簡単な操作でアプリケーションの移行が可能となる。

また、表示器１３０は、複数の保存画像１３１を、所定のアイコン、文字、あるいは色によって識別表示するようにしているので、ユーザは、中断している複数の保存画像１３１（アプリケーション）を明確に識別することができる。

（第２実施形態）
第２実施形態を図１０に示す。第２実施形態は、上記第１実施形態に対して、操作領域１１５、および保存領域１３５をユーザの手に設けるようにしたものである。

本実施形態では、操作領域１１５として、ユーザの一方の手における手の平５０としている。また、保存領域１３５として一方の手の各指先の位置としている。保存領域１３５は、親指から小指まで、最大５つの領域が設定可能となっている。

ユーザは、操作画像１１１に対する入力操作を中断させるときに、第１ジェスチャとして、他方の手の指を、一方の手における手の平５０から、希望する指先へスライドするように移動させることで対応する。このとき希望する指先に保存画像１３１が保存され、表示されることになる。スライドする指先を変えることで、別の操作画像１１１に対応する別の保存画像１３１を表示させることができる。

また、ユーザは、中断状態を再開させるときには、第２ジェスチャとして、他方の手の指を、一方の手の指先から、一方の手における手の平５０に向けて、スライドするように移動させることで対応する。

これにより、入力操作の中断、保存、再開を、指先を含む手の平５０の領域で完結することが可能となり、操作の身体的負荷を軽減することができる。

（その他の実施形態）
上記各実施形態に対して、制御部１４０は、保存領域１３５において保存画像１３１を移動させるために予め定められたユーザの移動のためのジェスチャを、検知器１２０が検知すると、表示器１３０による保存画像１３１の表示位置を変更させるようにしてもよい。移動のためのジェスチャは、例えば、保存画像１３１に指先でタッチして、所望の位置へスライドさせるようなジェスチャ（スワイプ操作等）とすることができる。

これにより、保存画像１３１が複数ある場合等、ユーザの好みや使い勝手に応じて、各保存画像１３１の表示位置を整理して配置することができ、複数の保存画像１３１を容易に識別して、操作性を向上させることができる。

また、制御部１４０は、表示器１３０によって、保存画像１３１を表示させた後に、時間経過と共に、保存画像１３１の目立ち具合を低下させるようにしてもよい。保存画像１３１の目立ち具合とは、具体的には、保存画像１３１の大きさを小さくする、あるいは輝度を低くする等によって対応することができる。

これにより、保存状態の過度な表示が、ユーザの目にいつまでも残るような煩わしさを低減することができる。

また、ユーザが複数人いる場合に、制御部１４０は、第１ジェスチャを行うユーザに対して、第２ジェスチャを行うユーザが異なる場合を許容するようにしてもよい。

これにより、同乗者間の情報共有のツールとして活用が可能となる。

１００ 仮想操作装置
１１０ 投影機
１１１ 操作画像（仮想操作画像）
１１５ 操作領域（所定領域）
１２０ 検知器
１３０ 表示器
１３１ 保存画像
１３５ 保存領域（他の領域）
１４０ 制御部

Claims (8)

1. 操作者による入力操作を可能とする仮想操作画像（１１１）を、所定領域（１１５）に投影する投影機（１１０）を備える仮想操作装置において、
   前記投影機は、複数種の機器に対応する複数の前記仮想操作画像を前記所定領域に切替え可能に投影するようになっており、
   前記操作者の操作動作を検知する検知器（１２０）と、
   複数の前記仮想操作画像に対する前記入力操作の中断状態を保存したことを示す保存画像（１３１）をそれぞれ表示する表示器（１３０）と、
   複数の前記仮想操作画像を対象として、前記入力操作を中断して、中断状態を保存するために予め定められた前記操作者の第１ジェスチャを前記検知器が検知すると、前記仮想操作画像の投影を停止して、前記表示器によって、前記所定領域とは異なる他の領域（１３５）に前記仮想操作画像に対応する前記保存画像をそれぞれ表示させると共に、
   それぞれの前記保存画像のうちのいずれかに対して、前記中断状態から前記入力操作を再開するために予め定められた前記操作者の第２ジェスチャを前記検知器が検知すると、前記保存画像の表示を停止して、前記投影機によって、前記中断状態にある前記仮想操作画像を前記所定領域に表示させる制御部（１４０）とを備え、
   前記第１ジェスチャは、前記仮想操作画像を摘まんで、前記他の領域に置くことを模したジェスチャであり、
   前記第２ジェスチャは、前記保存画像を摘まんで、前記所定領域に置くことを模したジェスチャである仮想操作装置。
2. 車両に搭載され、
   前記所定領域は、インストルメントパネル、ステアリング、センターコンソール、あるいは前記操作者の手の平のいずれかである請求項１に記載の仮想操作装置。
3. 操作者による入力操作を可能とする仮想操作画像（１１１）を、所定領域（１１５）に投影する投影機（１１０）を備える仮想操作装置において、
   前記投影機は、複数種の機器に対応する複数の前記仮想操作画像を前記所定領域に切替え可能に投影するようになっており、
   前記操作者の操作動作を検知する検知器（１２０）と、
   複数の前記仮想操作画像に対する前記入力操作の中断状態を保存したことを示す保存画像（１３１）をそれぞれ表示する表示器（１３０）と、
   複数の前記仮想操作画像を対象として、前記入力操作を中断して、中断状態を保存するために予め定められた前記操作者の第１ジェスチャを前記検知器が検知すると、前記仮想操作画像の投影を停止して、前記表示器によって、前記所定領域とは異なる他の領域（１３５）に前記仮想操作画像に対応する前記保存画像をそれぞれ表示させると共に、
   それぞれの前記保存画像のうちのいずれかに対して、前記中断状態から前記入力操作を再開するために予め定められた前記操作者の第２ジェスチャを前記検知器が検知すると、前記保存画像の表示を停止して、前記投影機によって、前記中断状態にある前記仮想操作画像を前記所定領域に表示させる制御部（１４０）とを備え、
   前記所定領域は前記操作者の一方の手の平であり、前記他の領域は前記一方の手の指先であり、
   前記第１ジェスチャは、前記手の平から指先に向けて、前記操作者の他方の手の指でスワイプするジェスチャであり、
   前記第２ジェスチャは、前記指先から前記手の平に向けて、前記他方の手の指でスワイプするジェスチャである仮想操作装置。
4. 前記制御部は、現在の前記仮想操作画像から、それぞれの前記保存画像のうちのいずれかに対応する前記仮想操作画像に移行するために予め定められた前記操作者の第３ジェスチャを検知すると、今まで前記所定領域に投影していた現在の前記仮想操作画像に対する前記入力操作を中断させて、前記表示器によって前記保存画像として前記他の領域に表示させると共に、前記投影機によって、いずれかの前記中断状態にある前記仮想操作画像を前記所定領域に表示させる請求項１〜請求項３のいずれか１つに記載の仮想操作装置。
5. 前記制御部は、前記検知器が前記保存画像を移動させるために予め定められた前記操作者の移動のためのジェスチャを検知すると、前記表示器によって、前記保存画像の表示位置を変更させる請求項１〜請求項４のいずれか１つに記載の仮想操作装置。
6. 前記制御部は、前記表示器によって、前記保存画像を表示させた後に、時間経過と共に、前記保存画像の目立ち具合を低下させる請求項１〜請求項５のいずれか１つに記載の仮想操作装置。
7. 前記表示器は、複数の前記保存画像を、所定のアイコン、文字、あるいは色によって識別表示する請求項１〜請求項６のいずれか１つに記載の仮想操作装置。
8. 前記操作者は、複数人おり、
   前記制御部は、前記第１ジェスチャを行う操作者に対して、前記第２ジェスチャを行う操作者が異なる場合を許容する請求項１〜請求項７のいずれか１つに記載の仮想操作装置。

Images