JP4347112B2 - 仮想インタフェース制御装置 - Google Patents

Description

本発明は、ユーザからの入力をユーザの実自由空間中の操作に応じて受け付ける技術に関し、特に、ユーザの実自由空間中の操作に応じて、実空間に投影した仮想的な入力デバイスに対するユーザ入力を受け付ける仮想インタフェースに関するものである。

ユーザの実自由空間中の操作に応じて、実空間に投影した仮想的な入力デバイスに対するユーザ入力を受け付ける仮想インタフェースとしては、仮想的な操作パネルを、実自由空間中に当該操作パネルが存在するようにユーザに視認されるように投影し、位置検出センサでユーザの実自由空間中の操作パネル投影領域の操作を検出し、検出したユーザの操作に応じて、前記仮想的な操作パネルへの入力を受け付ける技術が知られている（たとえば、特許文献１）。

ここで、実自由空間とは、ユーザが自由に運動できる空間、すなわち、空気以外の個体や液体で占められていない空間を指している。
特開平９−１９０２７８号公報

さて、仮想インタフェースでは、実自由空間中に投影された仮想的な入力デバイスは現実に実自由空間中に存在するものではないため、ユーザは、この実自由空間中に投影された仮想的な入力デバイスに触れることはできない。
そして、このために、実自由空間中に投影された仮想的な入力デバイスに入力を行うために操作すべき実自由空間中の位置、特に奥行き方向の位置は、ユーザにとって容易に把握し難いものとなっている。
そこで、本発明は、実自由空間中に投影した仮想的な入力デバイスを用いる仮想インタフェースを用いる装置等のユーザの実自由空間中の操作に応じた入力を受け付ける装置において、ユーザが、所望の入力を行うために操作すべき実自由空間中の位置を容易に把握可能とすることを課題とする。

前記課題達成のために、本発明は、空間中のユーザの操作に応じてユーザからの入力を受け付ける仮想インタフェース制御装置として、ユーザの空間中の操作位置を検出する位置検出手段と、前記位置検出手段が検出した操作位置が所定の入力受付位置である場合に、ユーザの入力を受け付ける入力受付手段と、前記入力受付位置に対するユーザの操作に抗する抵抗を、空気流によって与えるように空気を空間中に噴出する空気噴出装置とを備えた仮想インタフェース制御装置を提供する。

このような仮想インタフェース制御装置によれば、ユーザは、仮想インタフェースにおいて、入力が受け付けられることになる入力受付位置を、触感によって直接的に認識することができるようになる。したがって、ユーザが、所望の入力を行うために操作することが必要となる空間中の位置を容易に把握できるようになる。

また、本発明は、前記課題達成のために、空間中のユーザの操作に応じてユーザからの入力を受け付ける仮想インタフェース制御装置として、ユーザから空間中に位置すると視認されるように、仮想的な入力デバイスのイメージを空間中に投影する仮想入力デバイス投影手段と、ユーザの空間中の操作位置を検出する位置検出手段と、前記位置検出手段が検出した操作位置が、ユーザによって視認される前記仮想的な入力デバイスの操作子に対応する位置である場合に、ユーザの当該操作子に対する操作の入力を受け付ける入力受付手段と、前記仮想的な入力デバイスの操作子に対するユーザ操作に抗する抵抗を、空気流によって与えるように空気を空間中に噴出する空気噴出装置とを備えた仮想インタフェース制御装置を提供する。より具体的には、たとえば、前記仮想入力デバイス投影手段において、複数の操作子が平面上に配置された仮想的な入力デバイスのイメージを空間中に投影し、前記空気噴出装置において、ユーザから視認される前記操作子が配置された平面と略平行な空気の壁を当該平面近傍に形成するように空気を空間中に噴出するようにする。

このような仮想インタフェース制御装置によれば、ユーザは、空間に投影される仮想的なデバイスの操作子の操作位置を、視覚のみならず、触感によっても直接的に認識することができるようになる。したがって、ユーザが、所望の入力を行うために操作することが必要となる空間中の位置を容易に把握できるようになる。

ここで、この仮想インタフェース制御装置は、さらに、前記入力受付手段がユーザの操作子に対する操作の入力を受け付けた場合に、前記空気噴出装置を制御して、前記空気流を変化させて、ユーザに操作の入力を受け付けたことを示す触感をユーザに与える応答制御手段を備えるようにしてもよい。

このように、ユーザの操作に対して、その入力受付けを示すレスポンスを触感によって返すことができ、ユーザの操作性をより向上することができる。
また、このような仮想インタフェース制御装置は、自動車のドライバ用のインタフェースを提供するために適用する場合には、前記仮想入力デバイス投影手段を、ユーザからステアリング上方の空間中に位置すると視認されるように、前記仮想的な入力デバイスのイメージを投影するものとし、前記空気噴出装置を、ステアリングコラム上部に配置されたエアノズルより、空気を空間中に噴出するものとすることが、ドライバに対する良好な操作性の提供と構成の効率化の上で好ましい。

なお、このような仮想インタフェース制御装置は、当該仮想インタフェース制御装置を用いたインタフェースで受け付けた、ユーザの操作の入力に応じて所定の車載機器を制御する制御装置と共に車載システムを構成するために適用してもよい。

以上のように、本発明によれば、実自由空間中に投影した仮想的な入力デバイスを用いる仮想インタフェースを用いる装置等のユーザの実自由空間中の操作に応じた入力を受け付ける装置において、ユーザが、所望の入力を行うために操作すべき実自由空間中の位置を容易に把握できるようになる。

以下、本発明の実施形態につき、車載システムへの適用を例にとり説明する。
図１に、本車載システムの構成と配置を示す。
図示するように、本車載システムは、エアーコンディショナーやカーオーディシステムやナビゲーションシステムといった車載の各種機器を制御する機器制御装置１、機器制御装置１が用いるユーザインタフェースを制御する仮想インタフェース制御部２、仮想的な入力デバイスを実自由空間中に、当該実自由空間中に当該入力デバイスが存在するとユーザに視認されるように投影するバーチャルイメージ投影装置３、ユーザの指先位置を検出するための二つの位置検出センサ４、圧縮空気を生成するエアコンプレッサ５、圧縮空気を噴出する複数のエアノズル６、エアコンプレッサ５からエアノズル６への圧縮空気の流路を遮断／導通するエアバルブ７、仮想インタフェース制御部２の制御に応じてエアバルブ７の開閉駆動を行うバルブアクチュエータ８とを有する。

ここで、バーチャルイメージ投影装置３としては、凹面鏡などを用いて形成した虚像によって仮想的な入力デバイスを実自由空間中に投影する装置や、ホログラムを生成する装置や、液晶ディスプレイを用いてイメージスプリット方式により仮想的な入力デバイスを実自由空間中に投影する装置など、二次元または三次元の映像を、実自由空間中に、当該実自由空間中に当該映像が存在するとユーザに視認されるように投影する装置であれば、任意の装置を用いてよい。

また、個々の位置検出センサ４としては、カメラなどの画像入力装置の他、超音波センサや、レーダ装置や、赤外センサなどの少なくとも、ユーザの操作の二次元的な座標情報を取得することができる装置であれば任意の装置を用いてよい。
さて、図２ａ、ｂに、このような車載システムにおけるエアノズル６、位置検出センサ４、バーチャルイメージ投影装置３の配置を示す。なお、図２ａは車両の後ろから前方向に見た配置を、図２ｂは車両を右から左方向に見た配置を示している。
図示するように、バーチャルイメージ投影装置３は、ユーザから見てステアリング１００の向こう側のメータフード内に配置され、ステアリング１００の少し向こう側のステアリング１００の少し上に位置する図２ａ、ｂの１０の平面上に、仮想的な入力デバイスの二次元のイメージがユーザによって視認されるように、仮想的な入力デバイスのイメージを実自由空間中に投影する。

また、位置検出センサ４は、仮想的な入力デバイスの二次元のイメージがユーザによって視認される空間周辺を位置検出範囲とするように、バーチャルイメージ投影装置３の両脇に配置されている。
そして、複数のエアノズル６は、図２ｃに示すように一列に配置された状態で、図２ａ、ｂに示すように、ステアリングコラム１０１の上部にエアノズル６の列が左右に延びる列となるように取り付けられている。そして、複数のエアノズル６は、ユーザによって視認される仮想的な入力デバイスの二次元のイメージの面を、おおよそユーザ側の壁面とする空気の壁（エアカーテン）を形成するように、圧縮空気１１を噴出する。たとえば、図示した例では、この空気の壁が、ユーザによって視認される仮想的な入力デバイスの二次元のイメージの面に対して、空気流の向きが少しユーザ側を向く方向に少し傾いて形成されるように、複数のエアノズル６から圧縮空気１１を噴出している。

以下、このような車載システムの動作について説明する。
図３ａに、仮想インタフェース制御部２が行う仮想インタフェース制御処理の手順を示す。
図示するように、この処理では、機器制御装置１から、ウインドウ表示要求を受けると（ステップ３０２）、機器制御装置１から要求された内容を持つウインドウを、バーチャルイメージ投影装置３に投影表示させる（ステップ３０４）。ここで、この投影表示されたウインドウが、仮想的な入力デバイスの操作受付面に相当する。

ここで、図３ｂに、このようにして投影表示するウインドウの一例を示す。
図示するように、このウインドウ３０には、カーオーディオシステム操作用の各種ボタン３１１を表した制御受付領域３１と、走行速度やエンジン回転数などの車両の状態を表すメータ領域３２が設けられている。
さて、図３ａに戻り、仮想インタフェース制御部２は、次に、バルブアクチュエータ８を制御し、バルブアクチュエータ８にエアバルブ７を開かせる（ステップ３０６）。これによって、複数のエアノズル６から圧縮空気が噴出し、投影表示されたウインドウ３０の面を、おおよそユーザ側の壁面とする空気壁が形成される。

次に、二つの位置検出センサ４の出力を参照して、ユーザの指による操作位置の実空間上の三次元座標を検出する。この三次元座標の検出は、位置検出センサ４としてカメラを用いる場合には、たとえば、次のように行う。すなわち、各カメラが撮影した二つの画像のそれぞれについて、画像中に写り込んだユーザの指先部分を画像認識によって認識し、認識した指先部分の画像中の座標を求め、求めた画像中の座標に対応する実空間上の座標範囲を、カメラの配置やレンズ特性に従って算出する。そして、二つの画像について求めた実空間上の座標範囲の重複する位置を、ユーザの指による操作位置の実空間上の三次元座標とする。

さて、このようにしてユーザの指による操作位置を検出したならば、検出した操作位置が、投影したボタン３１１に対応する位置であるかどうかを調べ（ステップ３１０）、ボタン３１１に対応する位置でなければ、ステップ３１２に進み、機器制御装置１から新たなウインドウ表示要求を受領したかどうかを調べる。そして、ステップ３１２で、ウインドウ表示要求を受領していれば、ステップ３０４に戻って、受領したウインドウ表示要求についての処理を行う。

一方、検出した操作位置が、投影したボタン３１１に対応する位置である場合には（ステップ３１０）、検出した操作位置に対応するボタン３１１の操作を受け付け、バルブアクチュエータ８を制御し、エアバルブ７を１度または複数回瞬断させる（ステップ３１４）。

そして、機器制御装置１に、ボタン３１１の操作があった旨を通知し（ステップ３１６）、ステップ３０８からの処理に戻る。
ここで、このボタン操作の通知を受けた機器制御装置１は、操作されたボタン３１１に応じた機器の制御（図３ｂのウインドウの場合はカーオーディオシステムの制御）を行うと共に、必要に応じて表示するウインドウを更新し、更新したウインドウの表示を要求するウインドウ表示要求を仮想インタフェース制御部２に発行する。

以上、本車載システムの実施形態について説明した。
以上のように、本実施形態では、ユーザによって視認される仮想的な入力デバイスの二次元のイメージの面を、おおよそユーザ側の壁面とする空気壁を形成する。この空気壁は、ユーザに、空気壁を通過しようとする操作に対する抵抗を与える。したがって、ユーザは、仮想的な入力デバイスの操作受付面の奥行き方向位置を、この抵抗より直接的に認識することができる。

また、本実施形態では、ユーザから仮想的な入力デバイスの操作を受け付けた場合に、エアノズル６から噴出する圧縮空気の強さを変化させることにより、ユーザ操作に対するレスポンスを返すことができるようになる。
ところで、本実施形態に係る車載システムは、以下のように修正して実施することもできる。
すなわち、図３に示すように、エアバルブ７とバルブアクチュエータ８を各エアノズル毎に設けるようにしてもよい。
このようにすることにより、仮想インタフェース制御部２は、ユーザが圧縮空気から感じる抵抗の大きさを左右方向について自由に変化させたりすることができる。したがって、ユーザの操作に対して、左右方向の抵抗やレスポンスを任意に与えることができるので、たとえば、ユーザの指先の左右への移動操作に応じて入力を受け付けると共に当該移動操作に対して適当な抵抗やレスポンスを与えるような多様な仮想インタフェースの構築が可能となる。

また、さらに、図１ｄに示すようにエアノズル６を前後左右に配置するようにすれば、ユーザの操作に対して、前後左右方向の抵抗やレスポンスを任意に与えることができるので、より多様な仮想インタフェースの構築が可能となる。
なお、本実施形態では、ステアリングコラム１０１上に仮想インタフェースを形成したが、本実施形態による仮想インタフェースは、たとえば、ステアリング１００の横など、任意に位置に形成することができる。
また、車載システム以外の任意のシステムについて、そのインタフェースとして、本実施形態で示した空気流で操作に対する抵抗やレスポンスを与える仮想インタフェースは適用することができる。

本発明の実施形態に係る車載システムの構成を示す図である。 本発明の実施形態に係る車載システムの配置例を示す図である。 本発明の実施形態に係る仮想インタフェース制御処理を示す図である。 本発明の実施形態に係る車載システムの他の構成例を示す図である。

符号の説明

１…機器制御装置、２…仮想インタフェース制御部、３…バーチャルイメージ投影装置、４…位置検出センサ、５…エアコンプレッサ、６…エアノズル、７…エアバルブ、８…バルブアクチュエータ、１００…ステアリング、１０１…ステアリングコラム。

Claims (4)

1. 空間中のユーザの操作に応じてユーザからの入力を受け付ける仮想インタフェース制御装置であって、
   ユーザから空間中に位置すると視認されるように、仮想的な入力デバイスのイメージを空間中に投影する仮想入力デバイス投影手段と、
   ユーザの空間中の操作位置を検出する位置検出手段と、
   前記位置検出手段が検出した操作位置が、ユーザによって視認される前記仮想的な入力デバイスの操作子に対応する位置である場合に、ユーザの当該操作子に対する操作の入力を受け付ける入力受付手段と、
   前記仮想的な入力デバイスの操作子に対するユーザ操作に抗する抵抗を、空気流によって与えるように空気を空間中に噴出する空気噴出装置とを有し、
   前記仮想入力デバイス投影手段は、複数の操作子が平面上に配置された仮想的な入力デバイスのイメージを空間中に投影し、
   前記空気噴出装置は、ユーザから視認される前記操作子が配置された平面と略平行な空気の壁を当該平面近傍に形成するように空気を空間中に噴出することを特徴とする仮想インタフェース制御装置。
2. 請求項１記載の仮想インタフェース制御装置であって、
   前記入力受付手段がユーザの操作子に対する操作の入力を受け付けた場合に、前記空気噴出装置を制御して、前記空気流を変化させて、ユーザに操作の入力を受け付けたことを示す触感をユーザに与える応答制御手段を有することを特徴とする仮想インタフェース制御装置。
3. 請求項１または２記載の仮想インタフェース制御装置であって、
   前記仮想入力デバイス投影手段は、ユーザからステアリング上方の空間中に位置すると視認されるように、前記仮想的な入力デバイスのイメージを投影し、
   前記空気噴出装置は、ステアリングコラム上部に配置されたエアノズルより、空気を空間中に噴出することを特徴とする仮想インタフェース制御装置。
4. 請求項１、２または３記載の仮想インタフェース制御装置と、当該仮想インタフェース制御装置を用いたインタフェースで受け付けた、ユーザの操作の入力に応じて所定の車載機器を制御する制御装置とを有することを特徴とする車載システム。

Images