JP4368233B2 - 空間入力システム - Google Patents

Description

本発明は、空間入力システムに関し、特に、空間における物体の位置や動きを３次元測位システムにより測位し、その測位結果に基づき入力の判別を行う空間入力システムに関する。

コンピュータやオーディオ装置等の電子機器には、ユーザとのインターフェースを図るために入力手段が設けられ、ユーザは、入力手段を介して指示や命令等を電子機器へ与えている。入力手段は、例えば、キーボード、タッチパネル、リモコンなど、多種多様のものが用いられている。これらの入力手段は、電子機器の特性に応じ、最適なものが選択されるが、その反面、一定のスペースを必要とする。もし、入力手段に要するスペースを削減することが可能であれば、電子機器等をより小型化、軽量化することができる。

こうした要求に対し、例えば特許文献１は、ホログラムを利用し、車室内の空間に操作パネルの虚像を車室内の空間に映し出し、この映し出された仮想の操作パネルを用いて、ユーザの入力操作を判別している。

また、ステレオカメラを用い、その撮像データを画像解析することで、物体の測位を行うシステムも開発されている。さらに、物理的な形を持たない光キーボードなども開発されている。この光キーボードは、光を照射する光源と、光源からの光によって照射された物体からの反射波を検知するセンサと、机上にキーボードを映し出すプロジェクタとを備えている。そして、机上に映し出されたキーボードを操作するユーザの指の動きがセンサによって認識され、その動きからキーボード入力を判別している。

特開平９−１９０２７８

しかしながら、従来の入力手段、特に、自動車等の限られた空間内における電子機器の入力手段には次のような課題がある。車両の前部座席の近傍またはコンソールボックスには、ナビゲーション用の地図やＴＶ映像を表示したり、オーディオ装置やその他電子機器に関する操作を表示するためのディスプレイが取り付けられている。このディスプレイには、入力手段として、操作性に優れたタッチパネルが設けられている。一方、後部座席側には、リアエンターテイメントを充実させる目的で、ＴＶ用モニターなどが設置されているが、このモニターには、コストの問題からタッチパネル等の入力手段は設けられていない。

後部座席において、ＤＶＤ等の映像を高画質、かつサラウンド効果で楽しめるようなリアエンターテイメントの要求が高まる最中、後部座席側の視点にたって、画質や音質が調整できないと、非常に不便であり、リアエンターテイメントを拡充することができない。リアモニターにリモコンによる入力機能を付加することも考えられるが、画面を見ながら操作するタッチパネルと比べると操作性が悪く、好ましい形態とはいえない。

本発明は、上記従来の技術を解決するためになされたもので、低コストで省スペース化に適した空間入力システムを提供することを目的とする。
さらに本発明は、車室内の後部座席側からも容易に車両用電子機器等の入力を行うことができる操作性に優れた空間入力システムを提供することを目的とする。

本発明に係る空間入力システムは、第１の空間において第１の表示を行う第１の表示手段と、第２の空間において第２の表示を行う第２の表示手段と、少なくとも第１の空間および第２の空間を測位可能な空間として含み、第１および／または第２の空間における物体の動きを測位する３次元測位手段と、３次元測位手段からの測位結果に基づき、第１の空間または第２の空間における入力操作を判別する入力判別手段とを有する。好ましくは、第１の空間は、車両の前部座席近傍であり、第２の空間は後部座席近傍であり、第１の表示手段は少なくとも車両用機器に関する入力操作を表示し、第２の表示手段は少なくともリアエンターテイメントおよびこれに関する入力操作を表示する。

本発明に係る空間入力システムによれば、第１および第２の空間における物体の動きの測位を行うに際し、３次元測位手段を共用することとしたので、第１または第２の空間に個別の測位手段を設ける必要がない。その結果、部品点数を増加することなく、低コストの空間入力システムを提供することができる。また、第１、第２の表示手段を車両の前部座席側と後部座席側に配置すれば、１つの３次元測位手段により、前部座席と後部座席とで共用の空間入力システムとすることができる。

本発明に係る空間入力システムは、好ましくは、車両の空間内において用いられる。以下、図面を参照して詳細に説明する。

図１は、本発明の第１の実施例に係る空間入力システムの構成を示す図である。空間入力システム１は、第１の空間において第１の表示を行う第１の表示部１０と、第２の空間において第２の表示を行う第２の表示部２０と、第１の空間および第２の空間を測位可能な空間として含み、第１または第２の空間における物体の動きを測位する３次元測位部３０と、３次元測位部３０からの測位結果に基づき第１の空間または第２の空間における入力操作を判別する入力判別部４０と、入力判別部４０と車両用電子機器６０との間のデータの送受を行うインターフェース（Ｉ／Ｆ）５０とを含んで構成される。

第１、第２の表示部１０、２０の構成は、特に限定されないが、例えば、ホログラムを利用した虚像の立体表示、透明ガラス基板上への映像の投影表示、あるいは液晶ディスプレイ、プラズマディスプレイ、有機ＥＬディスプレイなどを用いることができる。

車両用電子機器６０は、例えば、ナビゲーション装置、車載用ＴＶ、オーディオ・ビデオ装置、エアコンなどを含み、これらの入力操作に関する表示データが第１、第２の表示部１０、２０へ提供される。勿論、これ以外にも、車両用電子機器６０からは、ナビゲーションのための地図データ、テレビ映像データ、ＤＶＤ等の映像再生データ等が第１、第２の表示部１０、２０へ送られ、これらが表示される。また、車両用電子機器６０から第１、第２の表示部１０、２０に対して入力操作に関する表示データを送信したときは、同時に、入力操作に関する表示データの位置情報がインターフェース５０を介して入力判別部４０へ送信される。

車両用電子機器６０から第１、第２の表示部１０、２０へ送られる表示データは、第１、第２の表示部の構成に応じて異なる。例えば、第１、第２の表示部１０、２０がホログラムによる立体虚像を表示する場合には、表示データは、ホログラムを再生するための参照光などの光学データを含む。また、透明ガラス基板上に画像をプロジェクタにより投影する場合は、表示データは、光と同期するような画像データを含む。車載用電子機器６０から第１、第２の表示部１０、２０への表示データは、車両バスなどの有線により送信されたり、あるいは無線により送信されるものであってもよい。

３次元測位部３０は、第１の表示部１０または／および第２の表示部２０におけるユーザの指などの動きや位置を測位する。このため、第１、第２の表示部１０、２０は、３次元測位部３０によって測位可能な空間内に配置される必要がある。３次元測位部３０による測位方法は特に限定されないが、例えば、赤外線、レーダ、超音波など光を光源から出射し、ユーザの指で反射した光の位相ズレから指の動きまたは位置を検出するもの、ＣＣＤのような一対の撮像装置により異なる方向からユーザの指を撮像し、その撮像データを画像解析することにより指の動きまたは位置を検出するものなど、公知の３次元または立体測位システムを用いることができる。

３次元測位部３０からの測位データは、例えば３次元空間における指の位置情報Ｆを含む。位置情報Ｆは、例えば図２に示すように、一定の時刻毎（Ｔ１、Ｔ２、・・・Ｔｎ）の指の座標位置（Ｘ１、Ｙ１、Ｚ１）・・・（Ｘｎ、Ｙｎ、Ｚｎ）を有するものであってもよい。

一対の撮像装置により３次元測位を行う場合には、図３に示すように、左右一対の撮像素子７０、７２を所定の間隔で配置し、これらによって第１の表示部１０および第２の表示部２０を一定の時間間隔で撮像する。そして、撮像データの画像解析を行い、指の位置情報Ｆを算出する。注意すべきことは、撮像素子７０の撮像範囲Ｓ１と撮像素子７２の撮像範囲Ｓ２の重複する範囲内に、第１、第２の表示部１０、２０が配置されなければならない。

また、赤外線等を用いる場合には、図４に示すように、赤外線を出射する光源８０をＸ、Ｙ方向に一定の時間間隔でスキャンし、これと同期したタイミングで、その反射波をセンサ８２において受信し、センサ８２で受信されデータを解析することで、指の位置情報Ｆを算出するようにしてもよい。注意すべきことは、光源８０から距離Ｄ１の位置に第１の表示部１０が位置するとき、光源８０から第１の表示部１０へ投影した範囲内に第２の表示部２０が位置しなければならない。つまり、光源８０の走査範囲内に、第２の表示部２０が含まれるように、距離Ｄ２または大きさを調整する必要がある。

入力判別部４０は、３次元測位部３０からの測位データを受け取るとともに、Ｉ／Ｆ５０を介して車両用電子機器６０から第１または／および第２の表示部１０、２０の表示データに関する位置情報Ｈを受け取る。図５（ａ）は、第１の表示部１０にナビゲーション装置のメニュー画面が表示されたときの表示例である。画面には、渋滞情報の入力ボタン１２、お薦めガイドの入力ボタン１４、およびドライブプランの入力ボタン１６が表示されている。

このような入力ボタンが表示されるとき、ナビゲーション装置から入力判別部４０に対して、図６に示すような位置情報Ｈが送信される。位置情報Ｈは、入力ボタンを識別するための入力ＩＤと、これに対応する座標位置とを含んでいる。例えば、渋滞情報の入力であれば、その座標Ａ１、Ａ２、Ａ３、Ａ４のデータが含まれる。同様に、お薦めガイドの入力やドライブプランの入力に関して、Ｂ１〜Ｂ４、Ｃ１〜Ｃ４の座標データが含まれる。さらに、位置情報Ｈには、当該位置情報Ｈの送信元を識別するための電子機器ＩＤ（ここでは、ナビゲーション装置の識別情報）と、当該位置情報Ｈが第１または第２の表示部のいずれかの表示データであるかを識別するための表示部ＩＤとを含めるようにしてもよい。

入力判別部４０は、３次元測位部３０からの指の位置情報Ｆ（図２）と、車両用電子機器６０からの位置情報Ｈとを受け取り、それらを対比し、第１の表示部１０または第２の表示部２０のいずれかの入力ボタンについての入力操作であるかを判別する。指の位置情報Ｆから得られる指のベクトルまたは指の位置が、位置情報Ｈに含まれる各入力ボタンの座標位置と一致するか否かを判別し、一致した入力ボタンについての入力操作が行われたものと判別する。一致しないときは、入力ボタンについての入力操作がなかったものと判別する。

入力操作が行われたと判別した場合には、さらに電子機器ＩＤに基づき、入力操作がどの電子機器に属するものかの判別が行われ、入力判別部４０は、該当する電子機器に対して、入力ボタンの入力操作があったことを示す信号をＩ／Ｆ５０を介して出力する。例えば、図５(ａ)のドライブプランの入力ボタン１６についての入力操作があったと判別されると、その判別結果を受けたナビゲーション装置は、第１の表示部１０に、図５（ｂ）に示すようなドライブプラン１６のハイライト表示をさせる。または、音声により入力操作があったことを通知するようにしてもよい。

なお、図４に示すように、予め第１、第２の表示部１０、２０の位置Ｄ１、Ｄ２が認識されている場合には、入力判別部４０は、３次元測位部３０からの測位データのすべてを用いる必要はない。例えば、Ｄ１、Ｄ２がＺ成分の位置情報とするならば、３次元測位部３０の測位データを、（Ｘｎ、Ｙｎ、Ｄ１）または（Ｘｎ、Ｙｎ、Ｄ２）として用いることができる。

次に、本発明の第２の実施例について説明する。図７は、空間入力システムを車両空間に適用した例である。同図に示すように、第１の表示部１０は、前部座席１００の近傍に配置され、第２の表示部２０が後部座席１１０の近傍に配置される。インスツルメンツパネル１２０の下部に、３次元測位部３０が取り付けられる。３次元測位部３０として赤外線を利用する場合には、光源および反射波を受光する受光センサがそこに取り付けられる。

赤外線による３次元測位を行う場合には、第１、第２の表示部１０は、透明ディスプレイにより構成される。透明ディスプレイは、例えば、有機ＥＬを利用したディスプレイを用いることができる。有機ＥＬのディスプレイは、表示されていないときディスプレイが透明となる。あるいは、ガラス基板上に、映像をプロジェクタにより投影するものであってもよい。また、３次元測位部３０の光源から赤外線をスキャンするときの水平方向および垂直方向の範囲内に、第１および第２の表示部１０、２０が入るように、表示部の位置、または表示部のディスプレイのサイズを調整する。

第１、第２の表示部１０、２０には、車内に設けられた車両用電子機器から供給される表示データを映し出す。前部座席１００に着座しているユーザＵ１の指が第１の表示部１０の位置１８に触れると、その位置での入力操作が３次元測位部３０によって検知される。同様に、後部座席１１０に着座しているユーザＵ２の指が第２の表示部２０の位置２２に触れると、その位置での指の入力操作が３次元測位部３０によって検知される。透明ディスプレイを用いることで、ユーザＵ１、Ｕ２は、画面を見ながら、タッチパネル感覚で入力を行うことができる。

第２の実施例に係る空間入力システムの構成を図８に示す。第１の実施例と同一構成については同一番号を付してある。第２の実施例では、第１、第２の表示部１０、２０のいずれかにおいて入力操作が行われている場合には、それをユーザに通知することで入力操作が競合しないようにしている。図８に示すように、電子機器Ａによって第１の表示部１０に所定の入力ボタン等が表示され、電子機器Ｂによって第２の表示部２０に所定の入力ボタン等が表示されているとする。

ユーザＵ１が第１の表示部１０に対して入力操作を行ったとき、この入力操作を判別するための処理が入力判別部４０によって開始される。このとき、競合判定部４２は、入力判別が開始されたと判定し、電子機器Ｂに対して入力判別処理開始信号を出力する。電子機器Ｂは、入力判別処理開始信号に応答して、第２の表示部２０に、第１の表示部１０において入力操作が行われていることを示す表示、あるいは、第２の表示部２０において入力操作を現在行うことができない表示をさせる。表示は、文字、アイコン、インジケータランプ等を用いることができ、音声出力を行うようにしてもよい。

入力判別部４０による判別処理が終了し、そこから電子機器Ａに対して入力判別結果が出力されると、競合判定部４２は、入力操作が終了したと判定し、電子機器Ｂに対して入力判別処理終了信号を出力する。電子機器Ｂは、入力判別処理終了信号に応答して、第２の表示部２０に表示されている、入力操作ができない等の表示を消去する。または、入力操作が可能であることを示す表示や、その旨を音声出力する。これにより、第１、第２の表示部１０、２０における入力操作の競合を回避することができる。

第１、第２の表示部１０、２０に表示されるデータは特に限定されるものではないが、第１の表示部１０には、運転を支援する目的の電子機器や制御機器等についての入力操作画面等を表示するようにし、第２の表示部２０には、主に、リアエンターテイメントを図る目的で、映像やオーディオに関する入力操作画面を表示するようにしてもよい。また、第２の表示部２０において、ＴＶやＤＶＤ等の映像と入力操作の項目と一緒に表示するようにしてもよい。例えば、入力操作の項目としては、音量、音質、映像等の調整を行えるようにすることが望ましく、これによって、後部座席の視点からリアエンターテイメントの拡充を図ることができる。

さらに、第１、第２の表示部１０、２０は、同一の映像や入力操作の項目等を表示するものであっても良い。例えば、図８の例であれば、電子機器Ａからの表示データが、第１、第２の表示部１０、２０に表示されるようにしてもよい。この場合、仮に、前部座席のユーザＵ１が第１の表示部１０に対して入力操作を行っている場合には、電子機器Ａから第２の表示部２０に対して入力操作中であることを示す表示が成される。

さらに、上記実施例では、前部座席１００の近傍に第１の表示部１０を配置するようにしたが、必ずしもこれに限定されるものではない。例えば、第１の表示部１０は、インスツルメンツパネル１２０の上部に配置するものであってもよい。この場合、ユーザＵ１にとって、第１の表示部１０が遠視点ディスプレイとなるため画面が見易くなる。

以上、本発明の好ましい実施の形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

本発明に係る空間入力システムは、電気機器等の入手段として利用され、特に、車内空間などの限られた空間において利用することができる。

本発明の実施例に係る空間入力システムの構成を示すブロック図である。 ３次元測位部において測位された位置情報Ｆを説明する表である。 撮像素子を用いた３次元測位部の構成例を示す図である。 赤外線またはレーダを用いた３次元測位部の構成を示す図である。 図５(ａ)は第１の表示部におけるナビゲーション装置のメニュー画面の表示例、図５（ｂ）は入力判別が行われたときの入力ボタンのハイライト例を示す図である。 車両用電子機器から入力判別部へ送られる位置情報を説明する表である。 空間入力システムを車内空間に配置した例を示す図である。 本発明の第２の実施例に係る空間入力システムの構成を示す図である。

符号の説明

１：空間入力システム １０：第１の表示部
２０：第２の表示部 ３０：３次元測位部
４０：入力判別部 ４２：競合判定部
５０：Ｉ／Ｆ ６０：車両用電子機器
７０、７２：撮像素子 ８０：光源
１００：前部座席 １１０：後部座席

Claims (5)

1. 第１の表示データを供給する第１の電子機器と、
   第２の表示データを供給する第２の電子機器と、
   車両の前部座席近傍の第１の空間において前記第１の表示データに基づき第１の入力項目の表示を行う第１の表示手段と、
   前記車両の後部座席近傍の第２の空間において前記第２の表示データに基づき第２の入力項目の表示を行う第２の表示手段と、
   少なくとも第１の空間および第２の空間を測位可能な空間として含み、第１および／または第２の空間における第１および／または第２の入力項目に対するユーザの動きを測位する３次元測位手段と、
   ３次元測位手段からの測位結果に基づき、第１の空間または第２の空間における第１または第２の入力項目についての入力操作を判別する入力判別手段と、
   前記入力判別手段により第１の空間における第１の入力項目についての入力操作が判別されたとき、第１の表示手段について入力操作が行われていることを示す第１の情報を第２の電子機器に出力し、第２の空間における第２の入力項目についての入力操作が判別されたとき、第２の表示手段について入力操作が行われていることを示す第２の情報を第１の電子機器に出力する競合判定手段とを有し、
   前記第２の電子機器は、前記競合判定手段からの前記第１の情報を受け取ったとき、入力操作ができない旨を第２の表示手段に表示させ、
   前記第１の電子機器は、前記競合判定手段からの前記第２の情報を受け取ったとき、入力操作ができない旨を第１の表示手段に表示させる、
   空間入力システム。
2. 第１の表示手段は少なくとも車両用機器に関する入力項目を表示し、第２の表示手段は少なくともリアエンターテイメントおよびこれに関する入力項目を表示する、請求項１に記載の空間入力システム。
3. 第１の表示手段は、車両内のコンソールボックス上に取り付けられる、請求項１または２に記載の空間入力システム。
4. ３次元測位手段は、光を照射する光源と、第１または第２の空間における物体からの反射波を検知するセンサとを含み、光源から放射状に広がる光の照射エリア内に、第１、第２の空間が含まれる、請求項１ないし３いずれか１つに記載の空間入力システム。
5. 第１、第２の表示手段は、透明ディスプレイを有する、請求項４に記載の空間入力システム。

Images