JP4416557B2

JP4416557B2 - 空間入力システム

Info

Publication number: JP4416557B2
Application number: JP2004110315A
Authority: JP
Inventors: 聡児玉
Original assignee: Alpine Electronics Inc
Current assignee: Alpine Electronics Inc
Priority date: 2004-04-02
Filing date: 2004-04-02
Publication date: 2010-02-17
Anticipated expiration: 2024-04-02
Also published as: JP2005293419A

Description

本発明は、特に、空間におけるユーザの指等の物体の位置を３次元測位センサにより測位し、その測位結果に基づき入力の判別を行う空間入力システムに関し、特に、車内空間における指の揺れや振動等の補正に関する。

コンピュータやオーディオ装置等の電子機器には、ユーザとのインターフェースを図るために入力手段が設けられている。入力手段は、例えば、キーボード、タッチパネル、リモコンなど、多種多様のものが用いられている。これらの入力手段は、電子機器の特性に応じ、最適なものが選択されるが、その反面、一定のスペースを必要とする。もし、入力手段に要するスペースを削減することが可能であれば、電子機器等をより小型化、軽量化することができる。

こうした要求に対し、例えば特許文献１は、ホログラムを利用し、車室内の空間に操作パネルの虚像を車室内の空間に映し出し、この映し出された仮想の操作パネルを用いて、ユーザの入力操作を判別している。

また、ステレオカメラを用い、その撮像データを画像解析することで、物体の測位を行うシステムも開発されている。さらに、物理的な形を持たない光キーボードなども開発されている。この光キーボードは、光を照射する光源と、光源からの光によって照射された物体からの反射波を検知するセンサと、机上にキーボードを映し出すプロジェクタとを備えている。そして、机上に映し出されたキーボードを操作するユーザの指の動きがセンサによって認識され、その動きからキーボード入力を判別している。

特開平９−１９０２７８

しかしながら、特許文献１に示すような従来の空間入力システムには次のような課題がある。空間操作を行う場合、物理的なボタンを押下する場合と異なり、空中に手を静止させる必要がある。この場合、呼吸、鼓動による振動などにより手振が生じ、正確な位置を指し示し続けることは難しい。特に、車両などの空間で入力を行う場合には、停車中の振動や走行中の衝撃が加えられるため、静止することは一層困難となる。このため、空間における入力操作の判別が正しく行うことができないという課題がある。

本発明は、上記従来の技術を解決するためになされたもので、振動などによる指の振れを補正することで、空間における入力操作をより正確に行うことができる空間入力システムを提供することを目的とする。

本発明に係る空間入力システムは、入力対象を空間に表示する表示手段と、表示された入力対象に関する物体の位置を測位する３次元測位手段と、３次元測位手段からの測位データを蓄積し、蓄積された測位データから求められた移動軌跡と入力判別空間とを比較する比較手段と、比較手段からの比較結果に基づき、入力対象についての入力操作を判別する入力判別手段とを有して構成される。好ましくは、振動を検知する振動センサを含み、比較手段は、振動センサの検知結果に応答して入力判別空間の大きさを変更する。

本発明に係る空間入力システムによれば、測位データから求められた物体の移動軌跡を、入力判別空間と比較するようにしたので、振動や揺れなどによって物体の位置が一定の範囲内で変動したとしても、その変動による影響をなくすことで、誤入力や誤動作を低減することができる。

本発明に係る空間入力システムは、好ましくは、車両用電子機器について用いられる。以下、図面を参照して詳細に説明する。

図１は、本発明の第１の実施例に係る空間入力システムの構成を示す図である。空間入力システム１は、入力に関するボタンや映像等（入力対象）を表示する表示部１０と、表示部１０を含む空間において物体の位置を測位する３次元測位部２０と、３次元測位部２０からの測位データに基づき物体の移動軌跡と入力判別空間とを比較する比較部３０と、比較部３０の比較結果に基づき表示部１０における入力対象に関する入力操作を判別する入力判別部４０と、入力判別部４０と車両用電子機器６０との間のデータの送受を行うインターフェース（Ｉ／Ｆ）５０とを含んで構成される。

表示部１０は、２次元的表示または３次元的表示であってもよく、その手段は特に限定されない。例えば、ホログラムを利用した虚像の立体表示、透明ガラス基板上への映像の投影表示、あるいは液晶ディスプレイ、プラズマディスプレイ、有機ＥＬディスプレイなどを用いることができる。

車両用電子機器６０は、例えば、ナビゲーション装置、車載用ＴＶ、オーディオ・ビデオ装置、エアコンなどを含み、これらの入力対象に関する表示データを表示部１０へ送る。入力対象以外にも、車両用電子機器６０からは、ナビゲーションのための地図データ、テレビ映像データ、ＤＶＤ等の映像再生データ等が表示部１０へ送るようにしてもよい。また、車両用電子機器６０から表示部１０に対して入力対象に関する表示データが送られたとき、同時に、入力対象に関する表示データの位置情報Ｈ（後述する）がインターフェース５０を介して比較部３０および入力判別部４０へ送られる。

車両用電子機器６０から表示部１０へ送られる表示データは、表示部１０の構成によって異なる。例えば、表示部１０がホログラムによる立体虚像を表示する場合には、表示データは、ホログラムを再生するための参照光などの光学データを含む。また、透明ガラス基板上に映像をプロジェクタにより投影する場合は、表示データは、光と同期するような画像データを含む。車載用電子機器６０から表示部１０への表示データは、車両バスなどの有線により送信されたり、あるいは無線により送信されるものであってもよい。

３次元測位部２０は、表示部１０におけるユーザの指の位置を測位する。３次元測位部２０による測位方法は特に限定されないが、例えば、赤外線、レーダ、超音波など光を光源から出射し、ユーザの指で反射した光の位相ズレから指の動きまたは位置を検出するもの、ＣＣＤのような一対の撮像装置により異なる方向からユーザの指を撮像し、その撮像データを画像解析することにより指の動きまたは位置を検出するものなど、公知の３次元または立体測位センサを用いることができる。

図２は、空間入力システム１を車載用ナビゲーション装置に適用した例を示している。ナビゲーション装置７０の入力対象に関する表示データは、例えば、ホログラムにより立体虚像７２として表示される。ナビゲーション装置７０には、赤外線などを利用した３次元測位部２０が取り付けられ、３次元測位部２０の認識可能な範囲に立体虚像７２が含まれる。ナビゲーション装置７０によって、ユーザインターフェースを行うための入力操作画面が立体虚像７２で表示されたとき、ユーザは、立体虚像７２を見ながら、指で入力操作を行う。なお、ホログラムを利用した場合には、ナビゲーションのため地図や動画などは、別のディスプレイに表示される。

ユーザの指の位置は、３次元測位部２０によって測位される。３次元測位部２０による測位データは、図３に示すような指の位置情報Ｆを含む。位置情報Ｆは、一定の時刻毎（Ｔ１、Ｔ２、・・・Ｔｎ）の指の座標位置（Ｘ１、Ｙ１、Ｚ１）・・・（Ｘｎ、Ｙｎ、Ｚｎ）を含む。例えば、赤外線により立体虚像７２を一定の時間間隔でスキャンし、それと同期した受光センサで指からの反射光を受け取り、位置情報Ｆを得ることができる。

比較部３０は、測位データから求められる指の移動軌跡と入力判別空間との比較を行う。図４に比較部３０の内部ブロック構成を示す。比較部３０は、３次元測位部３０からの測位データを一定期間蓄積する測位データ蓄積部３２と、蓄積された測位データに基づき指の移動軌跡を作成する移動軌跡作成部３４と、入力判別空間を作成する入力判別空間作成部３６と、移動軌跡と入力判別空間との比較処理を行う比較処理部３８とを有している。

測位データ蓄積部３２は、図３に示すような位置情報Ｆを、一定期間蓄積する。移動軌跡作成部３４は、位置情報Ｆに基づき、図５に示すような移動軌跡Ｐを作成する。移動軌跡Ｐは、例えば図に示すように、時刻Ｔ１〜Ｔ８までの座標位置に基づき作成される。移動軌跡Ｐは、座標位置を連結した直線で示されているが、座標位置の点の集合であってもよい。さらに、移動軌跡作成部３４は、Ｔ１〜Ｔ８の座標位置をもとに、移動軌跡Ｐの中心位置Ｃまたは中心に該当すると推測される位置Ｃを算出する。

また、移動軌跡作成部３４は、図２に示すように、３次元測位部２０から表示部１０までの距離Ｌが予め分かっているときは、図３に示す位置情報ＦのＺ成分を用いなくともよい。つまり、Ｚ平面における、Ｘ−Ｙ空間での２次元的な移動軌跡Ｐを作成するものであってもよい。以下では、説明を簡略化するため、表示部１０のＸ−Ｙ空間での移動軌跡Ｐの例とする。

入力判別空間作成部３６は、一定の大きさの入力判別空間Ｒを作成する。ここでは、移動軌跡Ｐを２次元とするため、これに合わせて、入力判別空間Ｒも２次元とする。入力判別空間Ｒは、例えば、図５（ａ）に示すような円、図５（ｂ）に示すような矩形状であってもよい。入力判別空間Ｒの大きさ、形状は、好ましくは、表示部１０に表示される入力対象の大きさ、形状に基づき決定される。

図６（ａ）は、表示部１０に表示される、ナビゲーション装置７０の入力操作画面の例である。入力操作画面には、渋滞情報の入力ボタン１２、お薦めガイドの入力ボタン１４、およびドライブプランの入力ボタン１６が含まれる。ナビゲーション装置７０により入力操作画面の表示が行われるとき、これらの入力ボタンに関する位置情報Ｈが、Ｉ／Ｆ５０を介して入力判別空間作成部３６に供給される。位置情報Ｈは、図６（ｂ）に示すように、入力ボタンを識別するための入力ＩＤと、これに対応する座標位置とを含んでいる。例えば、渋滞情報の入力であれば、その座標位置Ａ１、Ａ２、Ａ３、Ａ４が含まれる。同様に、お薦めガイドの入力やドライブプランの入力に関して、Ｂ１〜Ｂ４、Ｃ１〜Ｃ４の座標位置が含まれる。さらに、位置情報Ｈには、当該位置情報Ｈを送信した電子機器を識別するための電子機器ＩＤ（ここでは、ナビゲーション装置の識別情報）が含まれる。

表示部１０に、図６（ａ）に示すような形状の入力ボタンが表示されるとき、入力判別空間作成部３６は、好ましくは図５（ｂ）に示すような入力ボタンに対応する矩形状の入力判別空間Ｒを作成する。大きさは、少なくとも入力ボタンのサイズと同程度か、それよりも小さいサイズとする。入力ボタンの形状が矩形状であっても、図５（ａ）に示すような入力ボタン形状に内接する円やそれを包含する円であってもよい。勿論、それ以外の形状であってもよい。

比較処理部３８は、移動軌跡Ｐと入力判別空間Ｒとを比較する。このとき、移動軌跡Ｐの中心Ｃを、入力判別空間Ｒの基準点と一致させる。入力判別空間Ｒが円であれば、基準点はその中心、矩形状であれば、対角線の交点を基準点とすることができる。比較処理部３８は、移動軌跡Ｐまたはそれらを構成する座標位置が入力判別空間Ｒの範囲内にあるか否かを比較する。

入力判別部４０は、比較処理部３８から比較結果を受け取り、これに基づき、入力操作の有無を判別する。図７に入力判別部４０の動作フローを示す。ここでは、図５に示すような時刻Ｔ１〜Ｔ８までの移動軌跡Ｐを例にする。

先ず、入力判別部４０は、比較処理部３８からの比較結果に基づき、時刻Ｔ１〜Ｔ８のすべての座標位置が入力判別空間Ｒに含まれているか否かを判別する（ステップＳ１０１）。すべてが含まれているときは、当該入力ボタンに関し入力操作が行われたと判別する（ステップＳ１０２）。

時刻Ｔ１〜Ｔ８のいずれかの座標位置が入力判別空間Ｒから逸脱している場合、その数が２つ未満であるか否かを判別する（ステップＳ１０３）。２つ未満であれば、言い換えれば、１つの座標位置が逸脱している場合には、車両の振動や走行中の揺れによる瞬間的な指の逸脱であるとし、この場合には、当該入力ボタン関する入力操作が行われた判別する（ステップＳ１０２）。

一方、逸脱した座標位置が２つ以上である場合には（ステップＳ１０３）、ユーザが意図的に入力操作を回避したものとし、当該入力ボタンに関する入力操作がキャンセルされたものと判別する（ステップＳ１０４）。

入力判別部４０は、入力操作があり判別したとき、位置情報Ｆと位置情報Ｈとを対比し、その入力操作が、どの入力ボタンであるかを判別する。そして、その判別結果を、Ｉ／Ｆ５０を介してナビゲーション装置７０へ送信する（ステップＳ１０５）。

仮に、ドライブプランの入力ボタン１６に関する入力操作が行われたと判別された場合、その判別結果がナビゲーション装置７０へ与えられる。そして、ナビゲーション装置７０は、図８に示すようにドライブプランの入力ボタン１６の入力操作が判別されたことをユーザに通知するように、それをハイライトさせる。同時に、音声により通知するようにしてもよい。

なお、上記実施例では、入力判別空間Ｒを逸脱する座標位置の数によって、入力操作の判別を行ったが、これ以外にも、入力判別空間Ｒを逸脱した距離の割合に応じて、入力操作の有無を判別するようにしてもよい。例えば、時刻Ｔ３〜Ｔ４の座標位置が逸脱している場合には、時刻Ｔ１〜Ｔ８までのすべての移動距離に対する割合が一定以下であれば、無視し、一定以上であればキャンセルとしてもよい。

次に、本発明の第２の実施例に係る空間入力システムを図９に示す。図９は、比較部３０の内部構成を示す図であるが、第２の実施例に係る比較部３０は、第１の実施例に加えて、振動センサ８０を備えている。振動センサ８０は、停車中の振動や走行中の揺れ、衝撃等を検出し、その検出結果を入力判別空間作成部３６へ出力する。入力判別空間作成部３６は、振動レベルに応じて、入力判別空間Ｒの大きさを可変する。振動レベルが大きいとき、それに応じてユーザの指の振動や揺れが大きくなると考えられるため、入力判別空間Ｒを大きくすることができる。

また、入力判別空間作成部３６は、閾値Ｔｈを含み、振動レベルが閾値Ｔｈを超えるときには入力判別空間Ｒを大きくし、越えないときには、入力判別空間Ｒを小さくするようにしてもよい。

上記の場合、閾値Ｔｈを車両が停車中か否かに応じて可変するようにしてもよい。例えば、車両のパーキングブレーキのオン・オフを検出し、パーキングブレーキがオンのとき（停車時）、閾値Ｔｈを高くし、オフのとき、閾値Ｔｈを低くするようにしてもよい。これによって、車両の走行中と停車時で、入力判別空間Ｒの大きさが切り替わる振動レベルを異ならせることができる。

次に、本発明の第３の実施例について説明する。第３の実施例に係る比較部３０の動作を図１０に示す。比較処理部３８は、図１０に示すように、Ｘ−Ｙ平面における入力判別空間Ｒ（ここでは円としている）内に含まれる座標位置が、一定時間内にいくつあるかをカウントするようにしてもよい。好ましくは、移動軌跡Ｐの中心ＣをＸ−Ｙの原点に一致させる。

入力判別部４０は、比較部３０からのカウント数に応じて、入力判別空間Ｒに一定数以上の座標位置数が含まれるときに、入力操作があったものと判別することができる。この場合にも、第２の実施例のときと同じように振動レベルに応じてその閾値を可変したり、停車中または走行中に応じて閾値を可変してもよい。

さらに入力判別部４０は、図１１(ａ)に示すように、複数の閾値Ｔｈ１、Ｔｈ２、Ｔｈ３を含み、入力判別空間Ｒに含まれる座標位置数とこれらの閾値とを対比することで、入力操作の有無を段階的に判別するようにしてもよい。Ｔｈ１＜Ｔｈ２＜Ｔｈ３の関係があるとき、座標位置数が閾値Ｔｈ１、Ｔｈ２より小さいときは、入力判別中とし、閾値Ｔｈ３を超えたとき、入力確定とする。

入力判別部４０は、このような段階的な入力判別結果をナビゲーション装置７０へ送信し、ナビゲーション装置は、段階的な入力判別結果をユーザに知らせることができる。例えば、ドライブプランの入力ボタン１６に関しユーザの入力操作が行われている場合、図１１（ｂ）に示すように、座標位置数が閾値Ｔｈ１を超えたとき、入力ボタン１６を青色にし、閾値Ｔｈ２を超えたとき入力ボタン１６を緑色にし、閾値Ｔｈ３を超えたとき入力ボタン１６を赤色に可変することができる。ユーザは、入力ボタン１６の色の変化によって入力が確定したのか否かを容易に認識することができる。入力ボタンの表示色を可変する以外にも、他のアイコンにより判別段階を知らせるようにしてもよいし、音声により知らせるようにしてもよい。

次に、本発明の第４の実施例について説明する。第４の実施例では、上記図９に示した振動センサ８０からの振動レベルに応じて、移動軌跡Ｐの中心位置Ｃを補正する。特に、車両が走行中に、路面状況に応じて大きな衝撃を受けたとき、ユーザの指もその衝撃に応じて振れることが予想される。振動センサ８０からの振動レベルが一定以上であるとき、移動軌跡Ｐを、その振動方向に、振動レベルに応じた距離だけ移動させる。これにより、衝撃によってユーザが意図しない指の動きを補正し、誤入力や誤動作を少なくすることができる。

以上、本発明の好ましい実施の形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。上記実施例では、表示部１０の位置が予め認識されているとして、説明を簡略化するために移動軌跡Ｐや入力判別空間Ｒを２次元空間で取り扱ったが、勿論、表示部１０による表示がホログラムなどの立体虚像であれば、移動軌跡Ｐや入力判別空間Ｒは３次元空間で取り扱うことができることは言うまでもない。

本発明に係る空間入力システムは、電気機器等の入手段として利用され、特に、車内空間などの限られた空間において利用することができる。

本発明の実施例に係る空間入力システムの構成を示すブロック図である。図２は、空間入力システムを車載用ナビゲーション装置に適用した例を示す図である。測位データに含まれる位置情報Ｆを説明する図である。比較部の内部構成を示すブロック図である。入力判別空間Ｒを説明する図である。図６（ａ）はナビゲーション装置の入力操作画面の表示例、図６（ｂ）は位置情報Ｈを説明する図である。入力判別部の動作フローを示す図である。入力操作が行われたことを示す表示例である。第２の実施例に係る比較部の内部構成を示すブロック図である。第３の実施例に係る比較部の動作を説明する図である。第３の実施例に係る入力判別部の動作を説明する図である。

符号の説明

１：空間入力システム１０：表示部
２０：３次元測位部３０：比較部
４０：入力判別部５０：Ｉ／Ｆ部
６０：車両用電子機器７０：ナビゲーション装置
７２：立体虚像８０：振動センサ

Claims

入力対象を車内空間に表示する表示手段と、
表示された入力対象に関する物体の位置を測位する３次元測位手段と、
３次元測位手段からの測位データを蓄積し、蓄積された測位データから求められた移動軌跡と入力判別空間とを比較する比較手段と、
比較手段からの比較結果に基づき、入力対象についての入力操作を判別する入力判別手段と、
車両の振動を検知する振動センサとを含み、
前記比較手段は、振動センサの検知結果が閾値を越えるとき前記入力判別空間を大きくし、閾値以下のとき前記入力判別空間を小さくする、
空間入力システム。
前記比較手段は、車両が停車中か走行中かに応じて前記閾値を可変する、請求項１に記載の空間入力システム。
前記比較手段は、車両が停車中のとき前記閾値を高くし、走行中のとき前記閾値を低くする、請求項１−２に記載の空間入力システム。
前記比較手段は、測位データから物体の移動軌跡の中心位置を算出し、当該中心位置を前記入力判別空間の基準位置に一致させて比較を行う、請求項１ないし３いずれか１つに記載の空間入力システム。
前記入力判別手段は、移動軌跡の一部が入力判別空間を逸脱する場合、入力操作がキャンセルされたと判別する、請求項１ないし４いずれか１つに記載の空間入力システム。
前記入力判別手段は、移動軌跡の一部が入力判別空間を逸脱するとき、当該逸脱する期間が一定値よりも小さければ、当該逸脱を無視する、請求項１ないし４いずれか１つに記載の空間入力システム。
前記比較手段は、一定期間内における移動軌跡を構成する座標位置が入力判別空間内に含まれる数をカウントし、前記入力判別手段は、座標位置のカウント数によって入力操作を判別する、請求項１ないし６いずれか１つに記載の空間入力システム。
前記入力判別手段は、前記比較手段からのカウント数に応じて入力操作の判別を段階的に行う、請求項１ないし７いずれか１つに記載の空間入力システム。
空間入力システムはさらに、前記入力判別手段による入力操作の段階的な判別に応じて前記入力対象の表示を段階的に可変させる、請求項８に記載の空間入力システム。