JP5110438B2 - 入力装置 - Google Patents

Description

本発明は、画面に表示された操作メニューに対する入力を受け付ける入力装置に関する。

従来、車載機器の操作入力等を行うことを目的として、運転者の手元に設けられたタッチパネル等の入力部と、運転者の視線の前方に操作用のボタン画像（アイコン等を含むものとする）を表示する表示パネルと、入力部を撮像する撮像部とを備え、表示パネルに表示される画像に運転者の手を重ねて表示する入力装置が開示されている（特許文献１、２を参照）。これによれば、入力部と前方の表示パネルが離れていて、運転者が表示パネルに触れることができない場合でも、運転者は、表示パネルをみながら、手元の入力部の上に置いた指が、表示パネルに表示されているどのボタン画像を指しているのか分かるので、所望のボタン画像を容易に選択することができる。上記入力部としては、接触式のタッチパネルが用いられている。

また、従来、表面を隆起、後退させることにより、表示器が表示する映像を凹凸で表現する触覚ディスプレイが提案されている。これによれば、視覚障害者が触覚により、表示器の映像を把握できる。触覚ディスプレイとしては、特許文献３、４に、平面上に、多数のピンが前後進可能に形成されたものが開示されている。これによれば、触覚ディスプレイは、突出したピンの触覚により、画像を触覚により認識させることができる。特許文献３では、ピンの裏側にセンサがあり、ピンが押されるとセンサが入力を検出する触覚ディスプレイが開示されている。なお、触覚ディスプレイは、従来、視覚障害者用として使用されており、一般の入出力装置としてはほとんど使用されていない。
特開２０００−６６８７号公報 特開２００７−６９６７６号公報 特開２００３−２４１８９１号公報 特開２００６−４７５３８号公報

しかしながら、上記の特許文献１、２の従来技術では、入力部として通常のタッチパネル（平坦な操作面を有するタッチパネル）を利用しているため、手元の入力部の上に置いた手が、表示パネルに表示されているどのボタン画像を指しているのかを、操作者は専ら視覚によって判断しなければならず、不便であった。

本発明は、入力部に入力する操作者の手を撮像し、これに基づいて手が指示している位置を画面に表示して入力や選択を容易にする入力装置において、操作感を向上させることを目的とする。

上記目的を達成するために、以下の構成を備えることができる。

（１）本発明は、
画面に表示された操作メニューに対する入力を受け付ける入力装置において、
前記操作メニューを表示する表示手段と、
凹凸面を形成する触覚ディスプレイと、
上記触覚ディスプレイ上の操作者の手を撮像する撮像手段と、
上記撮像手段により撮像された手画像を上記操作メニューに重畳して上記表示手段に表示する重畳表示手段と、
上記触覚ディスプレイの凹凸面に対する操作を検出する入力位置検出手段と、を備え、
上記触覚ディスプレイは、上記表示手段に表示されている操作メニューに応じた凹凸面を形成する入力装置である。

この構成では、以下の作用効果を奏する。
（Ａ）この構成では、表示手段に操作メニューが表示されるとともに、表示手段に表示されている操作メニューに応じた凹凸面が触覚ディスプレイにより形成されるので、操作者は、表示手段によって視覚的に操作メニューを把握することができるとともに、触覚ディスプレイによって触覚的にも操作メニューを把握することができる。したがって、例えば操作者が表示手段を注視できない状況においても、操作者は主に触覚を頼りにして所望の入力操作を素早くかつ正確に行うことができる。

（Ｂ）また、表示手段によって表示される操作メニューには操作者の手画像が重畳表示されるので、操作者は、触覚ディスプレイ上の自分の手が、表示手段に表示されている操作メニュー上のどこに対応しているかを視覚的に容易に把握することができるので、所望の入力操作を素早くかつ正確に行うことができる。

（Ｃ）さらには、この触覚ディスプレイは、メカニカルに構成されたボタン類とは異なり、表示手段に表示された操作メニューの形状に基づいて自由に凹凸面の形状を変えることができるから、操作メニューのレイアウトが変化したときにも、変更後の操作メニューに対応した凹凸面を形成することができ、入力装置の設置スペースを節約することができる。

（Ｄ）以上のとおり、この構成では、ただ単に、入力装置に触覚ディスプレイを導入したのではなくて、表示手段の表示に応じて、触覚ディスプレイの形状を制御するようにしたことにより、視覚、触覚を、同時かつ互いに対応した状態で得ることができる。

なお、本発明の入力位置検出手段は、必ずしも凹凸面に指が少しでも接触したときにその接触位置を直ちに検出できるものでなくてもよく、一定以上の圧力で押されたときに初めてその位置が検出されるものや、一定以上の距離だけ押し込まれたときに初めてその位置が検出されるようなものや、さらには特許文献３のように触覚ディスプレイの凹凸面の裏側に設けたスイッチにより、押された位置を検出するものであってもよい。ただし、触覚を頼りにして操作メニューの形状を確認しながら所望の入力操作を行うことを可能にするという意味においては、入力位置検出手段として上記のように凹凸面に指が少しでも接触したときにその接触位置を直ちに検出できる構成のものを利用するよりも、むしろ、上述したその他の構成のものを利用する方が好ましい。

（２）上記触覚ディスプレイは、上記操作メニューに含まれるボタン画像の位置に対応するように、当該ボタン画像に対応する上記触覚ディスプレイにより形成される凸部の位置を制御するようにしてもよい。

なお、「ボタン画像」の概念には、アイコン、スクロールバー、チェックボックスなど、画面上で操作を受け付ける全てのＧＵＩ（Graphical User Interface）を含む。

この構成では、画面上の操作メニューに含まれるボタン画像の位置に対応する位置に触覚ディスプレイのディスプレイの凸部が形成されるので、操作者は、操作メニュー中のボタンを視覚と触覚の両方で知覚して操作することができる。

（３）上記表示手段は、上記操作メニューに含まれるボタン画像を立体的に表現した画像を表示し、
上記触覚ディスプレイは、上記表示手段により立体的に表現されているボタン画像の高さに対応するように、当該ボタン画像に対応する上記触覚ディスプレイにより形成される凸部の高さを制御するようにしてもよい。

上述（２）は、少なくとも、操作メニュー中のボタン画像の位置と触角ディスプレイに形成される凸部の位置を対応させるものであるが、この（３）の構成によれば、さらに、操作メニュー中のボタン画像の見た目の高さと触角ディスプレイに形成される凸部の高さを対応させることにより、視覚により知覚されるボタンの形状と触覚により知覚されるボタンの形状とが一致し、入力装置の操作感が向上する。

（４）上記触覚ディスプレイは、上記凹凸面の各点の高さを示す信号を出力する機能を備え、
上記操作メニューにおいて立体的に表現されているボタン画像に対応して上記触覚ディスプレイ上に形成された凸部が押された場合には、上記表示手段は、当該立体的に表現されているボタン画像の見た目の高さを、上記凸部が押されている深さに応じて変更するようにしてもよい。

この構成では、触覚ディスプレイ上に形成された凸部が押されたことに応じて、当該凸部に対応する操作メニュー中のボタン画像の見た目の高さが変更される。これにより、視覚により知覚されるボタンの高さと触覚により知覚されるボタンの高さとが一致し、入力装置の操作感が向上する。

（５）上記入力位置検出手段は、上記触覚ディスプレイの凹凸面が一定深さ以上押し下げられたことに応じて、当該押し下げられた位置を検出するようにしてもよい。

この構成では、操作者は、実際に凸部を指等で一定深さ以上押し下げることによって、触感により押したことおよびこれに対応して入力がなされたことを把握できる。したがって、入力装置の操作感を向上させることができる。

（６）上記触覚ディスプレイは、上記触覚ディスプレイ上に形成された凹凸面が押された場合には、当該凹凸面を押している物体（例えば操作者の指）に対して、当該凹凸面が押されていない状態へと戻る向きに反力を付与するようにしてもよい。

この構成では、触覚ディスプレイの凹凸面を押す指などに反力を与えるので、操作者は、メカニカルなボタンを押す際に得られる触感に近い触覚を得ることができる。

（７）上記触覚ディスプレイは、上記凹凸面が押された深さに応じて上記反力の大きさを変更するようにしてもよい。

押された深さに応じて上記反力の大きさを変更する例としては、ばねのように押し下げる深さが深いほど、反力を大きくすることができるし、後述する（８）のように構成することもできる。この構成では、押された深さに応じて上記反力の大きさを変更するように構成しているので、操作者は、メカニカルなボタンを押す際に得られる触感により近い触覚を得ることができる。

（８）上記触覚ディスプレイは、上記凹凸面が一定深さ以上押された場合には、当該一定深さまで押される直前の状態と比較して上記反力を弱めるものとしてもよい。

例えばパソコンのキーボードのように、当該触覚ディスプレイの凹凸面が一定深さ以上押された場合には、上記反力を弱めるものとしているので、操作者は、指等に加わる反力が弱まったことでもって、ある一定以上の深さまで押したことを把握できる。したがって、操作者はより確実に触覚でボタンを押した感覚を得ることができる。

（９）上記触覚ディスプレイは、当該触覚ディスプレイの凹凸面の凸部の一部が押されたときに、当該押された部分のみならず、当該凸部全体の高さを、当該押された部分の深さに応じて一様に変更するようにしてもよい。

この構成では、触覚ディスプレイにおいて、押された部分のみならず、その周囲に形成された凸部全体の高さが変化する。これにより、操作者は、メカニカルなボタンを押す際に得られる触感により近い触覚を得ることができる。

（１０）上記撮像手段は、上記触覚ディスプレイ上の操作者の手を少なくとも２つの互いに異なる方向から同時に撮像し、
上記表示手段は、画面から浮き出た３次元物体として知覚される立体操作メニューを表示し、
上記重畳表示手段は、上記撮像手段により互いに異なる方向から同時に撮像された手画像に基づいて、画面から浮き出た３次元物体として知覚される立体手画像を上記立体操作メニュー上に重畳表示するようにしてもよい。

この構成によれば、操作者は、手元を見ることなく表示手段を見た状態で、視覚的にも触覚的にも、あたかも実際の３次元物体であるかのように操作メニューを知覚して所望の入力操作を行うことができ、素早くかつ確実な入力操作が可能となる。

（１１）上記入力部の触覚ディスプレイは、平面状の基台と、上記基台の厚み方向に移動可能なピンが複数設けられて形成されているようにしてもよい。

この構成では、複数のピンが基台の厚み方向に移動することにより、任意の凹凸面を形成することができる。

なお、以下の実施形態から明らかのように、以上の（２）〜（１１）の構成については、そのいずれの構成についても、以上の説明でその構成の前に記載した構成のいずれにも従属させることが可能である。例えば、（８）の構成については、（８）より前に記載した（１）〜（７）のいずれの構成にも従属させることができる。

本発明によれば、入力部に入力する操作者の手を撮像した画像を表示して、入力の選択を容易にする入力装置において、操作者の触感を得ることができる。

（第１の実施形態）
以下、図面を参照して、本発明に係る入力装置の第１の実施形態について説明する。

図１（Ａ）は、車両に搭載された、本発明の第１の実施形態に係る入力装置１の例である。図１に示すように、入力装置１は、表示器２（表示手段）、入力部３（触覚ディスプレイ、入力位置検出手段）、カメラ４（撮像手段）を備える。なお、カッコ内は、実施形態の構成と本発明の構成との対応関係を示しているが、本発明は実施形態の構成に限定されるものではない。

表示器２は、車両に関する各種情報や、ナビゲーション情報等を表示するものであり、入力装置１の一部としての用途以外の用途（例えば、映像の視聴などの用途）にも使用される。表示器２が入力装置１の一部として機能する時は、表示器２は、操作者（運転者または同乗者）による入力操作のためのボタン画像を並べた操作メニューを表示する。ボタン画像には、アイコン、スクロールバー、チェックボックス等、操作者の操作を受け付けるすべてのものを含むものとする。

表示器２は、これらのボタン画像を、あたかもメカニカルな押しボタンに似せて表示するために、ボタン画像に陰影を付して立体的に表示するようにしてもよい（ただし必須ではない）。さらに、操作メニューのボタン画像に対して入力がなされた場合（すなわち、操作者が入力部３を用いていずれかのボタン画像を選択（指定）した場合）には、表示器２は、この立体的に表示されているボタン画像の見た目の高さを変化させて、入力がなされたことを操作者に知らせるようにしてもよい。

なお、表示器２は、輝度および／または色によって操作メニューを視覚的に操作者に提示するものであり、後述する触覚ディスプレイ３０とは区別される。

入力部３は、触覚ディスプレイに入力位置検出機能を付加したものである。入力部３は、表示器２とは離れた位置に設置される。表示器２は、操作者が視認し易い位置（例えば操作者の前方）に配置されるのが好ましく、入力部３は、操作者の手元（操作者が車両の運転手である場合には、例えば運転席と助手席の間の空間）に配置されるのが好ましい。操作者が入力部３の操作面（操作者が入力を行う際に手で触れる面）を手１０１で触れる、または手で押すと、入力部３は、手１０１が接触した、または手１０１で押された位置を示す信号を出力する。入力部３の操作面上の各点は、表示器２の画面上の各点に対応している。入力装置１からの入力を受け付ける、入力装置１の上位装置（すなわち、入力装置１を入力手段として利用する装置であって、例えばナビゲーション装置、空調装置、オーディオ装置など）は、入力部３からの信号に基づいて、表示器２の画面上のどの位置が操作者によって指定されたかを判断する。また、その上位装置は、操作者によって指定された表示器２の画面上の位置がいずれかのボタン画像に対応する位置である場合には、入力装置１は、操作者によってそのボタン画像が選択されたものと判断し、そのボタン画像に関連付けられた処理を実行する。

カメラ４は、入力部３の操作面にかざされた操作者の手１０１を撮像する。入力装置１（より具体的には、後述する画像合成回路６）は、カメラ４で撮像した画像から、手１０１の部分だけを手画像２１として抽出して、この手画像２１を、表示器２に表示される操作メニューに合成（重畳表示）する（図１（Ｂ）参照）。

図１（Ｂ）に示すように、操作メニューには、操作者が所望の指示を入力するための複数のボタン画像２２が含まれている。ボタン画像２２は、入力装置１に指示を送る操作可能なものであれば、これらに限らずどのようなものでもよい。ボタン画像２２の例としては、アイコンでもよいし、スライドバーでもよいし、チェックボックスでもよい。

図１（Ｂ）に示すように、表示器２には、操作メニューに重ねて手画像２１が表示されるので、操作者は、入力部３に視線を移すこと無しに、入力部３の操作面上での自分の手の位置を表示器２の画面を見て確認することができる。

図２を用いて、手画像２１の表示例のバリエーションを示す。図２（Ａ）の表示２Ａのように、表示器２には、手画像の輪郭を抽出してその内部を塗りつぶした手画像２１Ａを、操作メニューの上から重ねて表示してもよいし、図２（Ｂ）の表示２１Ｂのように、表示器２には、手画像２１Ａを透かした手画像２１Ｂを操作メニューの上から重ねて表示してもよいし、図２（Ｃ）の手画像２１Ｃのように、表示器２には、カメラ４で撮像した手画像を透かした手画像２１Ｃを操作メニューの上から重ねて表示してもよい。また、図１（Ｂ）のように、表示器２には、入力部３で撮像した手画像２１を透かさずにそのまま操作メニューの上に重ねて表示してもよい。

（入力装置の構成の詳細）
図３を用いて、入力装置１の構成について更に詳しく説明する。図３は、車両内部の断面図および入力装置１内部の構成図である。図３に示すように、入力装置１は、画像の合成処理を行うための画像合成回路６を備える。画像合成回路６は、入力装置１の上位装置の一例としてのナビゲーション装置５に接続されている。

ナビゲーション装置５は、計算回路を備え、その制御部５１は、カーナビゲーションのためのソフトウェアを実行する。ナビゲーション装置５は、位置情報をアンテナから入力し、ハードディスク等の固定記憶部から地図情報を入力する。ナビゲーション装置５は、画像合成回路６に対し、図１（Ｂ）に示すような操作メニューの画像を出力する。

ナビゲーション装置５の制御部５１は、入力装置１の制御部としても機能し、制御部５１は、入力部３から位置の入力を受け付ける。入力部３は、入力部３の表面を隆起、陥没させてボタンの凹凸を表現する触覚ディスプレイ３０を備えており、制御部５１は、操作ボタンレイアウト（表示器２に表示される操作メニューにおける各ボタン画像２２の位置を示す情報）を触覚ディスプレイ３０へ出力する。この操作ボタンレイアウトには、操作メニューにおける各ボタンの高さ情報が含まれていても良い。触覚ディスプレイ３０の詳細は後述する。

画像合成回路６は、ナビゲーション装置５から送られてくる操作メニューの画像に対して、カメラ４が撮像した手１０１の画像（手画像２１）を重ねるよう合成する（図２参照）。画像合成回路６は、手画像２１を生成するための画像処理回路を備え、この画像処理回路は、カメラ４が撮像した画像をトリミングするか、または、その輪郭を抽出するなどして、手画像２１を生成する。カメラ４が撮像した画像から手１０１の画像だけを抽出する手法としては、クロマキーや、手と背景との輝度差を利用した処理や、手が写っていない状態で撮像された画像と手が写っている状態で撮像された画像との差分を利用した処理や、熱線検知など、公知の種々の画像処理手法を利用可能である。画像合成回路６は、合成した画像を表示器２に出力する。画像合成回路６は、本発明の「重畳表示手段」に相当する。

次に、図４、図５を用いて、入力部３の実施例１、２を示す。

（入力部３の実施例１）
図４は、実施例１にかかる入力部３Ａの断面図を示す。入力部３Ａは、触覚ディスプレイ３０、位置センサ３３を備える。触覚ディスプレイ３０は、基台３１および複数のピン３２を備える。基台３１は、平面状に形成され、ピン３２は、各々のピン３２を駆動する図示しないアクチュエータによって、基台３１の厚み方向に移動可能である。アクチュエータは、マイクロコンピュータにより制御される。マイクロコンピュータの制御によって各ピン３２の位置（基台３１の厚み方向に関する位置）を変化させることにより、入力部３Ａの操作面に任意の形状の凹凸面を形成することができる。触覚ディスプレイ３０のマイクロコンピュータは、ナビゲーション装置５から送られてくる操作ボタンレイアウトに基づいて、入力部３Ａの操作面上に、表示器２に表示される操作メニューに応じた凹凸面を形成するように、アクチュエータを制御する。触覚ディスプレイ３０は、以上の構成のほかに、各ピン３２の高さを検出する機能を備えていてもよい。

なお、触覚ディスプレイ３０の方式としてはどのようなものでもよい。例えば、圧電素子、電磁力、油圧、空圧によるアクチュエータを用いることができる。また、触覚ディスプレイ３０がピン３２を保持する方式としては、例えば、アクチュエータによってピン３２に外力を付与することによって、ピン３２を現在の位置に保持するものであってもよいし、摩擦力によってピン３２を現在の位置に保持するものであってもよい。いずれの方式を用いるにせよ、触覚ディスプレイ３０によれば、操作者は、操作メニューにおけるボタン画像２２に対応する操作面上の位置を触覚で把握することができる。

位置センサ３３は、触覚ディスプレイ３０に被せられている柔軟性のあるタッチパネルである。タッチパネルの方式としては、抵抗皮膜、超音波、静電方式、感圧式など、可能な限りどのようなものでもよいが、触覚ディスプレイ３０の凹凸面に沿うように、柔軟性があるものが適している。また、操作者が、所望のボタンに対応する操作面上の位置を触覚を頼りに探して入力操作を行うことを考慮すると、操作面の表面に手１０１が触れたり近づいたりしただけで反応するものよりも、感圧式のように、ある程度強く押されたことを検出可能なタッチパネルの方が、より好ましい。

入力部３Ａの位置センサ３３が検出する操作面上の位置は、上記表示器２の画面上の位置に対応しており、表示器２の画面に表示される操作メニューに含まれるボタン画像２２の位置に対応する操作面上の位置に、当該ボタン画像２２に対応する凸部が形成される。例えば、触覚ディスプレイ３０により操作面上に形成された凸部の領域内は、表示器２に表示されるボタン画像２２の領域内に対応し、操作者が手１０１でその凸部の領域内を押すと、その凸部に対応するボタン画像２２を操作者が選択（指定）したことになる。

なお、実施例１の変形例として、位置センサ３３をピン３２の下部に設け、操作者がピン３２を押すことで、当該ピン３２を介して位置センサ３３が押されるようにしてもよい。

（入力部３の実施例２）
図５は、入力部３の実施例２に係る入力部３Ｂを表す。図５（Ａ）は、入力部３の断面図である。図５（Ａ）に示すように、入力部３Ｂは、前述した入力部３Ａに対し、位置センサ３３が省略されているものであり、位置センサ３３以外の構成については、同一の参照符号を付して、上記図３の説明を準用する。入力部３Ｂは、位置センサ３３が無い代わりに、触覚ディスプレイ３０がピン３２の深さを検出する機能を有し、ピン３２の深さの変化に基づいて、手１０１が入力部３Ｂの操作面を押したか否かを判断する。ピン３２が所定の深さ以上押された場合には、入力部３Ｂは、操作面における当該ピン３２の位置を、ナビゲーション装置５に出力する。

図５（Ｂ）は、入力部３Ｂの触覚ディスプレイ３０を押した時のストロークの深さと、手１０１にかかる反力の大きさ（操作荷重）との関係を表している。この関係は、一般のメカニカルなボタンにおけるストロークの深さと操作荷重との関係を表すものであるが、触覚ディスプレイ３０は、これを模した操作荷重になるようピン３２に対して外力を付加する機能を備えていてもよい。例えば、曲線３４に示すように、手１０１でピン３２を押し始めてストロークが浅いうちは、触覚ディスプレイ３０は、ばね力と同様に深さにほぼ比例した反力を手１０１に与え、ストロークが一定以上になると、反力を弱めて、座屈したような感覚を手１０１に与える。これにより、操作者は、実際にメカニカルなボタンを押したかのような感覚を得ることができる。その後、さらにピン３２を押すと、ピン３２はそのストロークＳの限界に達して、操作荷重Ｆが無限大になる。操作者が操作面から手１０１を離すときは、曲線３５に示すように、触覚ディスプレイ３０の反力はいったん弱くなり、さらに離れると（ストロークＳを浅くすると）、操作荷重Ｆが強くなる。ただし、ボタンを模した触覚ディスプレイ３０の凸部をオンの深さ（すなわちボタンが押し込まれた状態）でロックさせる時は、触覚ディスプレイ３０は、曲線３５の半ばでピン３２がオンの深さになった時点で操作荷重を０にするようにしてもよい。

なお、図５（Ｂ）のような反力の制御は、位置センサ３３を設ける実施例１の構成（図４参照）にも適用可能である。

（入力装置の動作）
次に、図６の概念図、図７のフロー図を用いて、本発明の第１の実施形態に係る入力装置１の触覚ディスプレイの動作についてより詳しく説明する。図６（Ａ）は、入力部３の断面の一部を表している。図６（Ｂ）は、操作メニューのボタンの状態を模式的に表している。図６（Ｃ）は、表示器２に表示されるボタン画像２２の様子を示している。図６（Ａ）、図６（Ｂ）間をつなぐ点線は、触覚ディスプレイにより形成される凸部（ボタンを模した凸部）の高さと操作メニューにおけるボタンの高さの対応関係を表している。

操作者の操作に従いナビゲーション装置５の操作メニューの画面が呼び出されると、ナビゲーション装置５は、ボタン画像２２を含む操作メニューの画像を画像合成回路６に出力する。操作メニューのボタンは、操作者による入力部３の操作面へのタッチ操作に応じて、図６（Ｂ）の「タッチ前の状態」と「タッチ後の状態」の少なくとも２通りのうちのいずれかの状態を取り、状態に応じて高さが変化する。ボタンの高さが異なれば、それを反映するように、ナビゲーション装置５は操作メニューにおけるボタン画像２２を図６（Ｃ）のように異ならせる。例えば、ボタン画像２２の枠に付ける陰影または奥行きの画像の厚さを変更することにより、ボタン画像２２の見た目の高さを変更することができる。このように、操作メニューにおけるボタンの高さと、表示器２に表示されるボタン画像の見た目の高さとを対応づけることで、操作者は、操作メニューにおけるボタンの高さを視覚的に認識することができる。

ナビゲーション装置５は、操作メニューの画像の各画素について、高さを示す情報（以下、高さ情報と称す）を生成し（もしくは予め記憶されたものを読み出して）、触覚ディスプレイ３０へと出力する。高さ情報は、例えば図６に示す基準線７０からの高さを示す数値により表すことができる。基準線７０は、操作メニューの背景の擬似的な高さである。

触覚ディスプレイ３０は、ナビゲーション装置５から受け取った高さ情報に基づいて、操作メニューのボタンに対応する凸部３６を形成する。これにより、入力部３の操作面に、操作メニューのボタンの高さに対応した高さの凸部３６が形成される。このように、操作メニューにおけるボタンの高さと、入力部３の操作面に形成される凸部３６の高さとを対応づけることで、操作者は、操作メニューにおけるボタンの高さを触覚的に認識することができる。

上記の結果として、表示器２に表示されるボタン画像２２の見た目の高さと、入力部３の操作面に形成される凸部３６の高さとが一致するので、操作者は、表示器２に表示されるボタン画像２２を見ながら、入力部３の操作面に形成される凸部３６に触れるときに、視覚により知覚されるボタンの高さと触覚により知覚されるボタンの高さとが一致し、良好な操作感が得られる。ただし、ここで説明した例は、単に好ましい例を示したものに過ぎず、本発明はこれに限定されない。

図７を用いて、本実施形態の入力装置１の動作のフローについて説明する。

ＳＴ１において、ナビゲーション装置５の制御部５１は、操作メニューの画像を画像合成回路６に出力するとともに、操作ボタンレイアウト（前述の高さ情報も、操作メニューにおけるボタンの位置または範囲を表しているという点で、操作ボタンレイアウトの一例と言える）を触覚ディスプレイ３０に出力する。操作メニューの画像は、画像合成回路６において手画像と合成された後、表示器２に表示される。

ＳＴ２において、触覚ディスプレイ３０は、入力部３の操作面上に、ナビゲーション装置５から受け取った操作ボタンレイアウトに応じた凹凸面を形成する。

ＳＴ３０１において、ナビゲーション装置５の制御部５１は、位置センサ３３から検出位置を示す信号が出力されたかどうかを判定する。位置センサ３３から検出位置を示す信号が出力されていない場合には、当該信号が出力するまで待機し（ＳＴ３０１のＮＯ）、当該信号が出力された場合には（ＳＴ３０１のＹＥＳ）、ＳＴ３０２に進む。

ＳＴ３０２において、ナビゲーション装置５の制御部５１は、位置センサ３３によって検出された位置が、操作メニューにおけるいずれかのボタン画像２２に対応する位置か否か判定する。位置センサ３３によって検出された位置が、操作メニューにおけるいずれかのボタン画像２２に対応する位置であれば（ＳＴ３０２のＹＥＳ）、ＳＴ４に移動する。そうでない場合には（ＳＴ３０２のＮＯ）、ＳＴ３０１に戻る。

ＳＴ４において、ナビゲーション装置５の制御部５１は、位置センサ３３によって検出された位置に対応するボタンの高さを変更（図６（Ｂ）のタッチ前の状態からタッチ後の状態へと変更）するために、触覚ディスプレイ３０に出力する操作ボタンレイアウトを更新する。その結果、入力部３の操作面に形成される凸部３６の高さが更新される。

ＳＴ５において、ナビゲーション装置５の制御部５１は、位置センサ３３によって検出された位置に対応するボタンの高さを変更（図６（Ｂ）のタッチ前の状態からタッチ後の状態へと変更）するために、画像合成回路６に出力する操作メニューを更新する。その結果、表示器２に表示されるボタン画像２２の見た目の高さが更新される。

ＳＴ６において、制御部５１は、位置センサ３３によって検出された位置に対応するボタンに関連づけられた処理を実行する。

なお、以上の図６、図７に示す実施形態の付加的な応用例として、触覚ディスプレイ３０を、ピン３２を押し下げる際に手１０１に反力を与える構成（図５参照）とすることができる。

（応用例１）
以下、図８の概念図、図９のフロー図を用いて、図６、図７の動作の応用例１を示す。上述の図６に示す入力装置１の動作の実施形態では、少なくとも、位置センサ３３によって位置が検出されたことに応じて、操作メニューのボタンが図６（Ｂ）のタッチ前の状態からタッチ後の状態へと変更され、それに応じて、表示器２に表示されるボタン画像の見た目の高さと、入力部３の操作面の凸部３６の高さが変更された。応用例１では、更に進んで、触覚ディスプレイ３０は、パソコンのキーボードのようなメカニカルなボタンのように手１０１に反力を与えると共に、表示器２は、操作面の凸部３６が押し下げられていく途中の段階においても、その押し下げられた深さに対応して、ボタン画像２２の見た目の高さをリアルタイムで変化させる。

図８（Ａ）の「押している状態」のように、手１０１が凸部３６を押し下げている間、触覚ディスプレイは、ピン３２の深さ（すなわち、基台３１の厚み方向に関するピン３２の位置）をナビゲーション装置５に出力する。このピン３２の深さの情報に基づき、制御部５１は、操作メニューにおけるボタン画像２２の見た目の高さが、ピン３２の深さに応じて変化するように、ボタン画像２２を随時変化させる。

図８（Ｃ）は、図８（Ａ）、図８（Ｂ）に示す応用例１の付加的な応用例である。矢印３６５に示すように、触覚ディスプレイ３０は、操作面上の押された部分（凸部３６の一部分）のみならず、当該部分の周辺に形成された凸部３６全体の高さを、押された部分と同じ高さとなるように、一様に変更してもよい。触覚ディスプレイ３０は、制御部５１から操作ボタンレイアウトを受け取っているので、凸部３６の一部分が押し下げられたときに、その凸部３６全体の高さを、その押し下げられた部分の高さに一致させることができる。これにより、触覚ディスプレイ３０に形成された凸部３６は、操作者の操作に応じて、表面を水平に保ったまま沈降または隆起するため、メカニカルなボタンを操作しているかのような触感が得られる。

（第２の実施形態）
次に、図９を用いて第２の実施形態の入力装置１０について説明する。入力装置１０は、立体表示器２０、入力部３、ステレオカメラ４０を備える。立体表示器２０、ステレオカメラ４０、および図１０に示す画像合成回路６０以外の構成については第１の実施形態と同じであるため同一の参照符号を付し、ここでは、それらの構成の説明を省略する。

立体表示器２０は、立体視（すなわち、画像に含まれる物体が、画面から浮き出た３次元物体として知覚される）を提供する立体視ディスプレイで構成される。立体視ディスプレイとしては従来種々の方式のものが開発されているが、立体表示器２０としては任意の方式の立体視ディスプレイを利用することができる。車載用の入力装置１０の立体表示器２０としては、運転席（さらには助手席）から裸眼で立体視が可能な立体視ディスプレイを利用することが好ましい。

ステレオカメラ４は、第１カメラ４１および第２カメラ４２を備え、入力部３の操作面の上にかざされた手１０１を互いに異なる方向から撮像する。

次に、図１０を用いて、入力装置１０の構成についてさらに詳しく説明する。

入力装置１０は、図９で示した構成のほか、画像合成回路６０を備えている。画像合成回路６０は、左目用画像合成回路６５、右目用画像合成回路６６および立体画像生成回路６７を備える。

ナビゲーション装置５０の制御部５２は、立体表示器２０における立体表示のために必要となる左目用操作メニューおよび右目用操作メニューの画像を画像合成回路６０に出力する。左目用操作メニューおよび右目用操作メニューの画像は、３次元コンピュータグラフィック処理によって、制御部５２においてリアルタイムに生成することができる。例えば、左目用操作メニューは、仮想空間において、ポリゴンで構成された操作メニューを第１のカメラ（左目に相当する）からレンダリングすることによって生成することができる。同様に、右目用操作メニューは、仮想空間において、ポリゴンで構成された操作メニューを、第１カメラから少し離れた位置にある第２のカメラ（右目に相当する）からレンダリングすることによって生成することができる。

左目用画像合成回路６５は、第１カメラ４１により撮像された画像から図１（Ｂ）、図２で示したような手画像２１（２１Ａ〜２１Ｃ等）を生成し、生成した手画像２１を、ナビゲーション装置５０から受け取った左目用操作メニューの画像に合成（重畳表示）して、左目用画像を生成する。同様に、右目用画像合成回路６６は、第２カメラ４２により撮像された画像から図１（Ｂ）、図２で示したような手画像２１（２１Ａ〜２１Ｃ等）を生成し、生成した手画像２１を、ナビゲーション装置５０から受け取った右目用操作メニューの画像に合成（重畳表示）して、右目用画像を生成する。左目用画像合成回路６５および右目用画像合成回路６６は、本発明の「重畳表示手段」に相当する。

立体画像生成回路６７は、左目用画像合成回路６５によって生成された左目用画像と、右目用画像合成回路６６によって生成された右目用画像とを用いて、立体表示器２０が立体表示を行うのに必要な立体視用画像を生成し、立体表示器２０へと出力する。

以上のような構成により、図１１（Ｂ）に示すように、操作メニューに含まれるボタン画像２２および手画像２１が、立体表示器２０の画面から浮き出た３次元物体として操作者に知覚される。図１１（Ｂ）において、基準線７０は立体表示器２０の画面に相当する。ナビゲーション装置５の制御部５２は、立体表示器２０の画面から浮き出て表示されるボタン画像２２の高さ（画面から浮き出る距離）を示す情報を触覚ディスプレイ３０に出力し、その結果、入力部３の操作面には、立体表示器２０の画面から浮き出て表示されるボタン画像２２の高さと等しい高さを有する凸部３６が形成される。したがって、立体表示器２０によって視覚的に認識される操作メニューのボタンの高さと、触覚ディスプレイ３０によって触覚的に認識される操作メニューのボタンの高さとが一致し、入力装置の操作感が向上する。

以上の第１、第２の実施形態の入力装置について以下に補足する。

以上の図３、図６の説明では、機能ごとに分離したブロックで説明したが、実装上は、これらの機能のうち、いずれか複数の機能が一体として構成してもよいし、一つのブロックを複数に分離して構成してもよい。特に、図７の各処理については、表示器２、入力部３、カメラ４、ナビゲーション装置５のいずれにおいて行ってもよい。例えば、制御部５１、画像合成回路６、および触覚ディスプレイ３０の制御の全てを、表示器２、入力部３、カメラ４、ナビゲーション装置５のいずれかに設けられた１つのＣＰＵで行ってもよいし、もしくは複数のＣＰＵで分担してもよい。また、以上の説明では、入力装置１をナビゲーション装置５に対する入力手段として利用する例を説明したが、本発明はこれに限らず、本発明の入力装置は任意の機器の入力手段として利用することができる。

また、図７のＳＴ１、ＳＴ２の順序はいずれが先であってもよく、同時であってもよい。同様に、図７のＳＴ４、ＳＴ５、ＳＴ６の順序はいずれが先であってもよく、同時であってもよい。

本発明は、例えばナビゲーション装置、空調装置やオーディオ装置に対する入力手段として好適である。

車両の内装に設けられた、本発明の第１実施形態に係る入力装置 本発明の第１実施形態に係る入力装置の構成図 本発明の第１実施形態に係る表示器の表示例 本発明の第１実施形態に係る入力装置の入力部の実施例１ 本発明の第１実施形態に係る入力装置の入力部の実施例２ 本発明の第１実施形態に係る入力装置の動作の概念図 本発明の第１実施形態に係る入力装置の動作のフロー図 本発明の第１実施形態に係る入力装置の応用例１の概念図 本発明の第２実施形態に係る入力装置の概観図 本発明の第２実施形態に係る入力装置の構成図 本発明の第２実施形態に係る入力装置の動作の概念図

符号の説明

１…入力装置
２…表示器
２０…立体表示器
２１…手画像
２２…ボタン画像
３…入力部
３０…触覚ディスプレイ
３１…基台
３２…ピン
３３…位置センサ
３４…曲線
３５…曲線
３６…凸部
４…カメラ
４０…ステレオカメラ
４１…第１カメラ
４２…第２カメラ
５…ナビゲーション装置
５０…ナビゲーション装置
５１…制御部
５２…制御部
６…画像合成回路
６０…画像合成回路
６５…左目用画像合成回路
６６…右目用画像合成回路
６７…立体画像生成回路
７０…基準線
７１…オフの状態の水準
７２…オンの状態の水準
７３…高さ
１０１…手
１０２…両目

Claims (9)

1. 画面に表示された操作メニューに対する入力を受け付ける入力装置において、
   前記操作メニューを表示する表示手段と、
   凹凸面を形成する触覚ディスプレイと、
   前記触覚ディスプレイ上の操作者の手を撮像する撮像手段と、
   前記撮像手段により撮像された手画像を前記操作メニューに重畳して前記表示手段に表示する重畳表示手段と、
   前記触覚ディスプレイの凹凸面が押されたときに、当該押された位置を検出する入力位置検出手段と、を備え、
   前記触覚ディスプレイは、前記表示手段に表示されている操作メニューに応じた凹凸面を形成し、
   前記表示手段は、前記操作メニューに含まれるボタン画像を立体的に表現した画像を表示し、
   前記触覚ディスプレイは、さらに、前記操作メニューに含まれるボタン画像の位置に対応するように、当該ボタン画像に対応する前記触覚ディスプレイにより形成される凸部の位置を制御するとともに、前記表示手段により立体的に表現されているボタン画像の高さに対応するように、当該ボタン画像に対応する前記触覚ディスプレイにより形成される凸部の高さを制御することを特徴とする、入力装置。
2. 前記触覚ディスプレイは、前記凹凸面の各点の高さを示す信号を出力する機能を備え、
   前記触覚ディスプレイ上に形成された前記凸部が押された場合には、前記表示手段は、当該凸部に対応する前記ボタン画像の見た目の高さを、当該凸部が押されている深さに応じて変更することを特徴とする請求項１に記載の入力装置。
3. 前記入力位置検出手段は、前記触覚ディスプレイの凹凸面が一定深さ以上押し下げられたことに応じて、当該押し下げられた位置を検出することを特徴とする請求項１に記載の入力装置。
4. 前記触覚ディスプレイは、前記触覚ディスプレイ上に形成された凹凸面が押された場合には、当該凹凸面を押している物体に対して、当該凹凸面が押されていない状態へと戻る向きに反力を付与することを特徴とする請求項１に記載の入力装置。
5. 前記触覚ディスプレイは、前記凹凸面が押された深さに応じて前記反力の大きさを変更することを特徴とする請求項４に記載の入力装置。
6. 前記触覚ディスプレイは、前記凹凸面が一定深さ以上押された場合には、当該一定深さまで押される直前の状態と比較して前記反力を弱めることを特徴とする請求項５に記載の入力装置。
7. 前記触覚ディスプレイは、当該触覚ディスプレイの凹凸面の凸部の一部が押されたときに、押された部分のみならず、当該凸部全体の高さを、当該押された部分の深さに応じて一様に変更することを特徴とする請求項１に記載の入力装置。
8. 前記撮像手段は、前記触覚ディスプレイ上の操作者の手を少なくとも２つの互いに異なる方向から同時に撮像し、
   前記表示手段は、画面から浮き出た３次元物体として知覚される立体操作メニューを表示し、
   前記重畳表示手段は、前記撮像手段により互いに異なる方向から同時に撮像された手画像に基づいて、画面から浮き出た３次元物体として知覚される立体手画像を前記立体操作メニュー上に重畳表示することを特徴とする請求項１に記載の入力装置。
9. 前記触覚ディスプレイは、平面状の基台と、前記基台の厚み方向に移動可能なピンが複数設けられて形成されていることを特徴とする請求項１に記載の入力装置。

Images