<実施の形態1>
<全体構成の概略>
図1に、実施の形態1に係る情報表示装置1のブロック図を例示する。図1では情報表示装置1が、移動体の一例である自動車に搭載される場合を例示しており、そのような使用環境下で情報表示装置1に接続される種々の装置も例示している。なお、情報表示装置1は、自動車以外の車両(例えば鉄道車両)に搭載されてもよいし、車両以外の移動体(例えば飛行機、船)に搭載されてもよい。
図1の例によれば、情報表示装置1は表示装置2と情報表示制御装置3とに大別され、情報表示制御装置3に入力装置4と、スピーカ5と、AV(Audio-Visual)機器6と、現在位置検出装置7とが接続されている。なお、スピーカ5の接続は任意であり、AV機器6と現在位置検出装置7のそれぞれも同様である。
表示装置2は、各種情報を表示する。表示装置2は、例えば、複数の画素がマトリクス状に配置されることによって構成された表示面2aと、情報表示制御装置3から取得した表示画像データに基づいて各画素を駆動する(換言すれば、各画素の表示状態を制御する)駆動装置と、を含んでいる。なお、表示画像データは、予め定められた信号フォーマットの映像信号(デジタル信号でもアナログ信号でもよい)として、情報表示制御装置3から表示装置2に供給される。表示装置2で表示する画像は、静止画像の場合もあるし、動画像の場合もあるし、さらには静止画像と動画像の組み合わせの場合もある。
表示装置2は、例えば液晶表示装置によって構成可能である。この例によれば、表示パネル(ここでは液晶パネル)の表示領域が表示面2aに対応し、表示パネルに外付けされた駆動回路が上記駆動装置に対応する。なお、駆動回路の一部が表示パネルに内蔵される場合もある。液晶表示装置の他に、エレクトロルミネセンス(EL)表示装置、プラズマディスプレイ装置、等によって、表示装置2を構成することも可能である。
情報表示制御装置3は、各種の処理を行う。具体的には、情報表示制御装置3は、表示装置2およびスピーカ5に供給する信号を生成する。また、情報表示制御装置3は、入力装置4から入力される情報(指示を含む)を解析し、解析結果に応じた各種処理(例えば表示装置2の制御)を行う。また、情報表示制御装置3は、AV機器6から入力されるAV信号を表示装置2およびスピーカ5向けに加工する。また、情報表示制御装置3は、ユーザ指示に応じてAV機器6を制御する。また、情報表示制御装置3は、現在位置検出装置7から入力される情報を使って、ナビゲーション機能等を実現する。
入力装置4は、ユーザから情報(指示を含む)を受け付ける。入力装置4は、例えば、ユーザが入力のために用いる指示物を検出する検出部と、検出部によって検出された結果を検出信号として情報表示制御装置3へ出力する検出信号出力部と、を含んでいる。
特に、入力装置4は、入力面4aを有し、入力面4a上の空間に存在する指示物の3次元位置を検出し、検出結果に関する3次元位置情報を出力する。ここでは、そのような3次元位置検出機能を有する入力装置4として、非接触型(3次元(3D)型とも称される)のタッチパネルを例示する。非接触型タッチパネルとして種々の方式が開発されているが、例えば、静電容量方式の一つである投影容量方式が知られている。以下では入力装置4をタッチパネル4と称する場合がある。なお、タッチパネルはタッチパッドと称される場合もある。
但し、実施の形態1では、入力装置4は接触型(2次元(2D)型とも称される)であってもよい。接触型では、入力面4a上方の指示物は検出されず、指示物が入力面4aに接触している状態において入力面4a上における指示物の2次元位置が検出される。
タッチパネル4の入力面4aにはセンサが設けられており、各センサの出力信号の状態から、入力面4a上および入力面4a上方における指示物の3次元位置を特定可能である。特定された3次元位置は例えば、入力面4aに予め設定された3次元座標上の座標データによって表現される。この場合、入力面4a上で指示物を移動させると指示物の位置を示す座標データが変化するので、連続的に取得される一連の座標データによって指示物の移動を検出可能である。なお、座標以外の手法によって指示物の3次元位置情報を表現してもよい。
タッチパネル4は、指示物の3次元位置の検出だけでなく、入力面4aに対する指示物の押圧力を検出可能な構成を採用してもよい。
タッチパネル4は情報表示装置1専用であってもよいし、あるいは、汎用の情報端末機に搭載されているタッチパネルをタッチパネル4として利用してもよい。
なお、入力に用いる上記指示物が、ユーザの指(より具体的には、指先)である場合を例示する。但し、例えばスタイラスペン(タッチペンとも称される)等の道具を指示物として利用してもよい。
スピーカ5は、聴覚的情報を出力する。例えば、CD等の音声、操作音、通知音、効果音、ガイダンス音声、等がスピーカ5から出力される。AV機器6は例えば、CD、DVD、SDメモリカード等のメディアに記録されているAVデータを再生する。
現在位置検出装置7は、自動車の現在位置を検出する。現在位置検出装置7は、例えば、GPS(Global Positioning System)受信装置である。GPS受信装置は、GPS受信用のアンテナを介してGPS衛星から受信した情報に基づいて自車位置の現在位置を取得する。なお、GPSに代えて、加速度センサ、ジャイロまたは車速検出器によって、現在位置検出装置7を構成してもよい。あるいは、それらの組み合わせによって、現在位置検出装置7を構成してもよい。
ここで、図2に、表示装置2の表示面2aとタッチパネル4の入力面4aの配置位置を例示する。図2の例では、表示装置2は統合インストルメントパネルを構成し、表示面2aは運転席正面に配置されている。
統合インストルメントパネルとは、例えば、メータ(車速計、回転計、等)、各種警報、ナビゲーション画像、各種装置(AV機器6等)の動作状況、車載カメラによる撮影映像を、統合的に表示可能な表示盤である。統合インストルメントパネルによれば、1種類または複数種類の情報がレイアウト表示され、また、表示する情報を切り替え可能である。情報のレイアウトおよび切り替えはユーザが操作可能であってもよい。なお、統合インストルメントパネルは、統合ダッシュボード、メータクラスタ、等とも称される。
なお、図2に2点鎖線で示すように、表示面2aはダッシュボード中央、すなわち運転席正面と助手席正面の間に配置されてもよい。
他方、タッチパネル4の入力面4aは、表示面2aとは別の場所に配置されている。図2の例では、入力面4aは、運転席横(助手席側)に、天井に向く姿勢で配置されている。なお、図2に2点鎖線で示すように、入力面4aはダッシュボードに、運転席後方に向く姿勢で配置されてもよい。入力面4aの配置場所は上記に限るものではない。
いずれの配置例においても、ユーザ(運転手)は、表示面2aと入力面4aとを同時に視界に入れるのが難しい。このため、従来であれば、入力操作時に表示面と入力面とを交互に見ることになるであろう。さらに、運転中は、車両前方を特に注視する必要がある。このような環境下においても情報表示装置1によれば、後述のように、操作性の向上等を図ることができる。
なお、情報表示装置1の利用環境は自動車等の移動体内に限定されるものではない。例えば、表示面2aおよび入力面4aは卓上に配置されてもよいし、あるいは、表示面2aを室内壁面に配置してもよい。すなわち、表示面2aと入力面4aとが離れるほど、表示面2aと入力面4aを同時に視界に入れるのが難しくなる。また、表示面2aが大きくなるほど、同様の傾向が生じる。
図3に、情報表示制御装置3のブロック図を例示する。図3の例によれば、情報表示制御装置3は、制御部11と、記憶部12と、接続部22,24,25,26,27とを含んでいる。
制御部11は、情報表示制御装置3における(換言すれば、情報表示装置1における)各種の処理を行う。例えば、制御部11は、タッチパネル4(図1参照)から入力された情報を解析し、その解析結果に応じた画像データを生成し、その画像データを表示装置2へ出力する。
ここでは、制御部11が中央演算処理部(例えば1つまたは複数のマイクロプロセッサで構成される)と主記憶部(例えばROM、RAM、フラッシュメモリ等の1つまたは複数の記憶装置で構成される)とによって構成される場合を例示する。この例によれば、主記憶部に格納された各種プログラム(換言すれば、アプリケーション)を中央演算処理部が実行することによって(換言すれば、ソフトウェアによって)、各種処理が実行される。各種処理は並列的に実行させることも可能である。なお、各種処理によって、それに対応した各種機能が実現される。
制御部11が実行するプログラムとして、入力解析、画像生成、ナビゲーション、AV再生、等のプログラムが挙げられる。
制御部11が実行するプログラムは、予め制御部11の主記憶部に格納されていてもよいし、あるいは、実行時に記憶部12から読み出されて主記憶部に格納されてもよい。主記憶部は、プログラムだけでなく各種データの格納にも利用される。また、主記憶部は、中央演算処理部がプログラムを実行する際の作業領域を提供する。また、主記憶部は、表示装置2に表示する画像を書き込むため画像保持部を提供する。画像保持部はビデオメモリまたはグラフィックメモリと称される場合もある。
なお、制御部11が行う処理の全部又は一部が、ハードウェア(例えば、特定の演算を行うように構成された演算回路等)として構成されていてもよい。
記憶部12は、各種情報を格納する。ここでは、記憶部12は、制御部11が利用する補助記憶部として設けられている。記憶部12は、例えば、ハードディスク装置、光ディスク、書き換え可能かつ不揮発性の半導体メモリ、等の記憶装置の1つ以上を利用して構成可能である。
記憶部12に格納される情報として、画像データ(アイコン、プロンプト、地図、等)、音声データ(操作音、通知音、効果音、ガイダンス音声、等)、AVデータ、等が挙げられる。
接続部22は、表示装置2用に設けられ、表示装置2と制御部11とを信号伝送可能に接続する。なお、表示装置2と制御部11との間の信号伝送は、有線、無線、またはそれらの組み合わせのいずれであってもよい。
接続部22は例えば配線である。また、接続部22は例えば配線接続用のコネクタを含んでもよく、この場合、表示装置2は接続相手となるコネクタを有する。
また、接続部22は例えば、制御部11から表示装置2へ伝送する信号を生成する信号生成回路を含んでもよい。具体的に、その信号生成回路は、制御部11で生成されたデジタル信号(制御指示、画像データ、等)を伝送するためのアナログ伝送信号を生成する。この場合、表示装置2は、接続部22の信号生成回路に対応した信号生成回路を有する。なお、表示装置2が制御部11へ向けて信号を伝送可能である場合、接続部22の信号生成回路は、表示装置2から送られてきたアナログ伝送信号から、制御部11が取り扱い可能なデジタル信号を生成する。
また、接続部22および表示装置2の信号生成回路は、上記アナログ伝送信号として無線信号を生成する構成であってもよい。この場合、接続部22および表示装置2はアンテナも含むことになる。
接続部24はタッチパネル4用に設けられ、接続部25はスピーカ5用に設けられ、接続部26はAV機器6用に設けられ、接続部27は現在位置検出装置7用に設けられている。これらの接続部24,25,26,27も、表示装置2用の接続部22と同様に構成可能である。
なお、スピーカ5用の接続部25の搭載は任意である。また、スピーカ5用の接続部25を搭載していても、スピーカ5を接続しない構成を採用してもよい。AV機器6用の接続部26と現在位置検出装置7の接続部27のそれぞれも同様である。
<プロンプトの動きの概略>
情報表示装置1では、表示面2aに表示するプロンプトの動きに種々の工夫を施している。それの概略を、図4および図5を参照して説明する。なお、プロンプトは、指示物の入力面4a上の位置情報を表示面2aにおいて表現する描画要素であり、カーソル、ポインタ、等と称される場合もある。
まず図4には、指示物(ここで指先)が入力面4a上で直線状に移動し、これに合わせて表示面2a上でプロンプト31が直線状に移動する様子を例示している。また、図4の例では、ユーザが表示面2a上のアイコン40の位置を目標にしてプロンプト31を移動させる状況を例示している。図4では、説明のために、指示物およびプロンプト31の移動軌跡を図示している。なお、プロンプト31の移動軌跡を表示面2aに表示してもかまわない。
図5には、図4の例に関し、指示物およびプロンプト31の位置の時間変化を例示している。図5の例では、指示物は、時刻t0において移動始点から移動を開始し、時刻t3において移動終点に到着し移動を終了する。図4の例では、指示物の移動終点は、入力面4aにおいてアイコン40の端に対応する位置である。
これに対し、プロンプト31は、時刻t0〜t1の間は移動始点(すなわち、指示物の移動始点に対応する位置)に留まっており、時刻t1において移動始点から移動を開始する。そして、プロンプト31は、指示物を追いかけるようにして、指示物の現在位置に対応する位置まで移動する。図5では、プロンプト31が、指示物の現在位置に対応する位置まで追いついた時刻をt2としている。
あるいは、例えば時刻t1または時刻t2において、指示物の現在位置に対応する位置に即座に、プロンプト31を表示してもよい。すなわち、追いかけ状態にあるプロンプト31は表示せずに、移動始点から指示物の現在位置に対応する位置に不連続にプロンプト31を移動させてもよい。
その後の時刻t2から上記時刻t3までの間、プロンプト31は指示物に同期して移動する。そして、時刻t3において指示物が移動終点であるアイコン40の端に到達した後も、プロンプト31は移動を続け、その後の時刻t4において停止する。
なお、図4および図5では指示物およびプロンプト31が直線状に移動する場合を例示したが、これらの移動は直線状に限定されるものではない。また、非接触型(3D型)のタッチパネル4によれば入力面4a上方における指示物も検出可能であるので、図4に例示した指示物の軌跡を、入力面4a上方の指示物を入力面4aに投影して得られる軌跡として理解してもよい。
図6に、プロンプト31に上記のような動きを行わせるための処理S10について、フローチャートを例示する。
<位置情報取得処理>
図6の例によれば、ステップS11において、タッチパネル4(図1参照)が入力面4a上または入力面4a上方に存在する指示物を検出し、制御部11(図1参照)がその検出結果である3次元位置情報を、接続部24(図1参照)を介してタッチパネル4から取得する。
<2次元位置変換処理>
そして、制御部11は、ステップS12において、3次元位置情報に基づき、指示物の入力面内位置を、表示装置2の表示面内位置に変換する(2次元位置変換処理)。ここで、図7に2次元位置変換処理の説明図を示す。
図7に示すように、入力面内位置は、入力面4aのうちで入力面4aの法線(図7ではz軸に平行な線である)に沿った指示物の直下位置のことである。換言すれば、指示物から入力面4aへ下ろした垂線と、入力面4aとの交点が、指示物の入力面内位置である。より具体的には図7の左部に示すように、指示物の位置の座標が(x0,y0,z0)である場合、入力面内位置の座標は(x0,y0,0)、換言すれば(x0,y0)である。
得られた入力面内位置(x0,y0)は、例えば予め規定された変換規則によって、表示装置2の表示面内位置(X0,Y0)に変換される。変換規則は変換式、変換テーブル、等によって具現化可能である。例えば入力面4aと表示面2aとが相似形(相似比をrとする)である場合、変換式はX0=x0×r、Y0=y0×rで与えられる。変換式を一般化すれば、X0=fx(x0,y0)、Y0=fy(x0,y0)で与えられる。また、表示面2aが曲面にデザインされている場合でも、その曲面デザインに応じて適切な変換式を規定することは可能である。
なお、図7では、入力面4aの左下頂点を仮想的なxyz座標系の原点に選び、入力面4aの横方向および縦方向にx軸およびy軸にそれぞれ設定し、入力面4aの法線方向にz軸を設定している。但し、座標系の設定はこれに限定されるものではない。例えば、入力面4aの中心に原点を設定してもよいし、あるいは、原点を入力面4aの上方に設定してもよい。しかし、どのような座標系も(直交座標系以外も含む)、図7に例示したxyz座標系に変換可能である。すなわち、図7の例示したxyz座標系であっても、一般性を失うことはない。また、図7では表示面2aに対しても同様にして、仮想的なXY座標を設定している。
後述のようにして表示面内位置にプロンプト31が表示されるが、図4および図5で例示したプロンプト31の動きを具現化するために、制御部11は、上記のようにして得られた表示面内位置を状況に応じて補正する。かかる補正に関連して、2次元位置変換処理のステップS12は、慣性付加処理のステップS12aと、移動先順応処理のステップS12bとを含んでいる。
<慣性付加処理>
図8に、慣性付加処理のステップS12aのフローチャートを例示する。図8の例によれば、ステップS12a1において、制御部11は、例えば現在の入力面内位置が直前の1つまたは複数の入力面内位置と比べて変化しているかを判別することによって、入力面内位置が(換言すれば、指示物が)移動しているのか、あるいは、静止しているのかを判別する。
制御部11は、入力面内位置は移動していると判別した場合、ステップS12a2において、プロンプト移動開始条件を満足するか否かを判別する。
プロンプト移動開始条件は、指示物の移動開始(換言すれば、入力面内位置の移動開始)からの時間差によって規定することが可能である。すなわち、そのような時間差を移動開始監視時間Δt01(図5参照)として予め設定しておき、指示物の移動開始時刻t0から移動開始監視時間Δt01が経過していることを、プロンプト移動開始条件として規定するのである。
あるいは、プロンプト移動開始条件を、指示物の移動距離(換言すれば、入力面内位置の移動距離)によって規定することも可能である。すなわち、指示物のそのような移動距離を移動開始監視距離として予め設定しておき、指示物が移動始点から移動開始監視距離以上、移動していることを、プロンプト移動開始条件として規定するのである。
制御部11は、プロンプト移動開始条件を満足していると判別した場合、ステップS12a3において表示面内位置を更新する。
具体的には、プロンプト31が指示物と同期状態(図5の時刻t2〜t3参照)にある場合、その時点での入力面内位置を上記変換規則に従って変換して得られた表示面内位置(入力面内位置に同期した表示面内位置と表現することにする)を、最新の表示面内位置に設定する。同様に、プロンプト31の追いかけ状態を表示しない場合も、入力面内位置に同期した表示面内位置が、最新の表示面内位置に設定される。
また、プロンプト31が追いかけ状態(図5の時刻t1〜t2参照)にある場合、入力面内位置に同期した表示面内位置から見て移動始点の側の仮想位置を追いかけ規則に従って求め、得られた仮想位置を最新の表示面内位置に設定する。追いかけ規則は、例えば、入力面内位置に同期した表示面内位置と現在の(すなわち更新前の)表示面内位置との中間地点を仮想位置に設定する旨が予め規定される。なお、例えば、追いかけ時間Δt12(図5参照)を予め設定しておき、その時間Δt12の間、追いかけ状態を継続させる。あるいは、追いかけ距離を予め設定しておき、入力面内位置がその追いかけ距離を移動する間、追いかけ状態を継続させる。
図8の例では、ステップS12a3の実行完了により、ステップS12aが終了する。また、上記ステップS12a1において入力面内位置は静止していると判別された場合、および、上記ステップS12a2においてプロンプト移動開始条件を満足しないと判別された場合、ステップS12a3を経由せずに、ステップS12aは終了する。すなわち、表示面内位置は更新されず、現在の表示面内位置がそのまま最新の表示面内位置になる。
<移動先順応処理(自動到達処理)>
移動先順応処理は、表示面内位置の移動先に(換言すれば、入力面内位置の移動先に)表示されているオブジェクトに応じて、表示面内位置の動きを設定する処理である。ここでは、移動先順応処理として、移動先に存在するオブジェクトが、指示物が目標とする目標オブジェクトである場合に、プロンプトが目標オブジェクトに到達するように表示面内位置を設定する自動到達処理を例示する。
図9に、自動到達処理のステップS12bのフローチャートを例示する。図9の例によれば、ステップS12b1において、制御部11は、表示面内位置の移動先にオブジェクト(図4の例ではアイコン40)が表示されているか否かを判別すると共に、そのオブジェクトが指示物が目標とする目標オブジェクトであるか否かを判別する。
例えば、入力面内位置の移動軌跡(換言すれば、移動履歴)から、入力面内位置の移動先を推定可能である。したがって、入力面内位置の移動先の推定から、表示面内位置の移動先を推定可能である。また、表示面内位置がオブジェクトから予め定められた近傍距離まで近づいた時点で、そのオブジェクトは目標オブジェクトであると判別可能である。
ここで、図10に例示するようにオブジェクト(ここではアイコン40)の端から上記近傍距離の範囲に近傍領域41を設定しておき、当該近傍領域41内に表示面内位置が進入することによって、表示面内位置がオブジェクトの近傍距離まで近づいたと判別可能である。なお、近傍領域41は表示上、透明に設定しておけば、背景の表示を妨げることがない。また、近傍領域41の境界線(図10中の2点鎖線を参照)を表示させてもよい。
あるいは、表示面内位置がオブジェクト端に到達したことを以て、そのオブジェクトは目標オブジェクトであると判別してもよい。
上記ステップS12b1において目標オブジェクトが判別されたならば、制御部11は、ステップS12b2において、プロンプト31が目標オブジェクトに到達するように、表示面内位置を設定する(自動到達処理)。
この際、現在の表示面内位置から見て目標オブジェクトの側にずれた仮想位置を自動到達規則に従って求め、得られた仮想位置を表示面内位置に設定する。自動到達規則は、例えば、現在の表示面内位置と目標オブジェクトの表示位置との中間地点を仮想位置に設定する旨が予め規定される。
なお、指示物が既に停止している場合、表示上、プロンプト31が自動的に目標オブジェクトに向かって移動しているように見える。また、指示物が移動中である場合、プロンプト31の移動速度が指示物の移動速度よりも速くなり、表示上、プロンプト31が目標オブジェクトに先回りするに見える。
なお、図11に例示するように、プロンプト31が(すなわち、表示面内位置が)目標オブジェクトであるアイコン40の近傍領域41内に進入した時点で、プロンプト31が(すなわち、表示面内位置が)そのアイコン40に吸い寄せられるように、自動到達規則を規定してもよい。
また、図12に例示するように、プロンプト31が(すなわち、表示面内位置が)目標オブジェクトであるアイコン40の端に到達した時点で、プロンプト31が(すなわち、表示面内位置が)そのアイコン40の中央に配置されるように、自動到達規則を規定してもよい。
図9に戻り、ステップS12b2の実行完了により、ステップS12bが終了する。また、上記ステップS12b1において目標オブジェクトが判別されない場合、ステップS12b2を経由せずに、ステップS12bが終了する。
なお、ステップS12bは割り込み処理として実行可能である。すなわち、通常はステップS12a(図8参照)を実行しつつ、ステップS12b1によって目標オブジェクトの発現を監視する。そして、目標オブジェクトが発現したならば、ステップS12aを中止して、ステップS12b2を実行する。
<表示画像データ生成処理>
図6に戻り、制御部11は、ステップS13において、表示画像データを生成する(表示画像データ生成処理)。例えば、プロンプト用のレイヤ(換言すれば、画像保持部)にプロンプト31の画像データを書き込み、アイコン用のレイヤにアイコンの画像データを書き込み、それらのレイヤと他のレイヤ(例えば地図画像データが書き込まれたレイヤ)とを合成することによって、表示画像データが生成される。ここで、プロンプト31は、ステップS12で得られた表示面内位置に表示されるように、表示画像データが生成される。ステップS13で生成された表示画像データは、表示装置2へ伝送され、表示装置2によって表示面2aに表示される。
そして、制御部11は、後続の検出タイミングで得られた3次元位置情報に対して、処理S10を繰り返す。それにより、プロンプト31が、指示物の動きに慣性を持たせたような動きで表示される。また、プロンプト31が、移動先に存在する目標オブジェクトに自動的に到達する動きが表示される。
慣性付加処理によれば、指示物の移動開始において、指示物を移動させるようとするユーザの意思を確認した上で、換言すれば指示物の移動方向がある程度、安定した段階で、プロンプト31を移動開始させることができる。それにより、移動開始時の指示物の不安定な動きにプロンプト31が追従することによって引き起こされる誤操作等を防止できる。すなわち、操作性が向上する。
また、移動先順応処理(ここでは自動到達処理)によれば、目標オブジェクトの選択が容易かつ確実になる。すなわち、操作性が向上する。なお、図10および図11に例示したように近傍領域41を採用することにより、アイコン40が実質的に拡大することになるので、この点からも操作性が向上する。
慣性付加処理および自動到達処理は、例えば車中のように揺れが生じる環境下に、好適である。
ここで、目標オブジェクトを判別するステップS12b1(図9参照)に関して、説明を加える。例えば図13の上段に示すように、プロンプト31の移動先に(換言すれば、指示物の移動先に)複数のオブジェクト(ここではアイコン40)が存在する場合、制御部11は、タッチパネル4から取得した3次元位置情報に基づいて、いずれが目標オブジェクトであるかを判別可能である。
具体的には、図13の下段に示すように、タッチパネル4の入力面4aから指示物(ここでは指先)までの距離z0の変化を、その時点までの距離z0の履歴から推定する。そして、推定した距離z0の変化から、指示物が入力面4aに接触する位置(入力面内位置)を推定する。その推定した位置に対応する表示面内位置に表示されているオブジェクト(図13では左から2番目のアイコン40)を、目標オブジェクトして判別するのである。なお、指示物の距離z0は、入力面4aの法線に沿った距離のことであり、指示物の高さz0と表現してもよい。
なお、上記では移動先順応処理として自動到達処理を例示した。移動先順応処理の他の例として、表示面内位置の移動先に表示されているオブジェクトが、選択不可状態のアイコンである場合、プロンプト31がそのアイコンに到達した時点で、そのアイコンに弾かれるように表示面内位置を設定する、という処理が挙げられる。あるいは、そのアイコンに近づくとプロンプト31の動きが鈍くなるように、表示面内位置を設定してもよい。これらの例によれば、そのアイコンが選択不可状態であることが、視覚的に分かりやすくなる。
<実施の形態2>
実施の形態2および後述の実施の形態3〜6では、実施の形態1と組み合わせ可能な各種技術を説明する。
ところで、特許文献1の技術では、カメラで撮影した画像は平面画像であるので、手の位置はその平面画像における2次元位置でしか識別できない。また、カメラによる撮影は、指がタッチパネルに接触している時に限られている。すなわち、手の2次元位置情報しか利用されない。
他方、特許文献2の技術では、ペンの3次元位置を検出することができ、ペンの高さをカーソルの影に反映させることによって画面上でペンの高さを把握できる。しかし、特許文献2の技術はパーソナルコンピュータの使用環境が前提であるので、特許文献2の技術をそのまま他の使用環境で採用すると不便が生じる可能性がある。
これに対し、実施の形態2および後述の実施の形態3,4では、指示物の3次元位置情報を使って画面表示を工夫することにより、操作性の向上等を図る。さらに、後述の実施の形態4では、種々の使用環境においても、ユーザの操作感覚に配慮した快適な操作環境を提供する。
<プロンプト>
実施の形態2では、表示面2aに表示するプロンプトに種々の工夫を施している。それを、図14を参照して説明する。
図14の例によれば、タッチパネル4の入力面4aから指示物(ここでは指先)までの距離z0に対して、3つの閾値zth1,zth2,zth3が予め設定されている。但し、閾値の数は3つに限定されるものではない。
ここではzth1<zth2<zth3であり、例えば、zth1=1cm、zth2=2cm、zth3=3cmである。なお、zth1,zth2,zth3は不等間隔に設定してもよい。
3つの閾値zth1,zth2,zth3によって、指示物の距離z0に対して、5つの距離レベル(換言すれば、高さレベル)zlvl0,zlvl1,zlvl2,zlvl3,zlvl4が予め設定されている。すなわち、距離レベルzlvl0はz0=0に対応し、距離レベルzlvl1は0<z0<zth1に対応し、距離レベルzlvl2はzth1<z0<zth2に対応し、距離レベルzlvl3はzth2<z0<zth3に対応し、距離レベルzlvl4はzth3<z0に対応する。なお、z0=zth1を距離レベルzlvl1,zlvl2のいずれに含めるかは予め規定しておけばよい。z0=zth2およびz0=zth3も同様である。なお、図14の例では、z0=0に対して距離レベルzlvl0を割り当てているが、z0=0を距離レベルzlvl1に含めてもよい。
図14に示すように、各距離レベルzlvl0,zlvl1,zlvl2,zlvl3に対して、表現(換言すれば、見た目)の異なるプロンプト31が予め設定されている。図14の例では、距離レベルzlvl3,zlvl2には、写実的に描画された指先の画像(写真でもよい)が、プロンプト31の画像として割り当てられている。但し、距離レベルzlvl3のプロンプト31は、距離レベルzlvl2のプロンプト31よりも小さい。また、距離レベルzlvl1には、物を指し示す際に一般に行われる人差し指を突き出した状態の手を、線図で簡略化した手画像が、割り当てられている。また、距離レベルzlvl0には、距離レベルzlvl1の簡略化された手画像に背景枠を追加した画像が、割り当てられている。なお、図14の例では、指示物の距離z0が距離レベルzlvl4に該当する場合には、プロンプト31を表示しない。
このように、距離レベルzlvl0,zlvl1,zlvl2,zlvl3ごとに、プロンプト31の表現が異なっている。表現の相違は、表現要素が少なくとも1つが異なることによって、生じる。表現要素は例えば、大きさ、形状、色、模様、アニメーション表示である。このため、大きさと、形状と、色と、アニメーション表示とのうちの少なくとも1つの表現要素を、距離レベルzlvl0,zlvl1,zlvl2,zlvl3で変化させればよい。
図15に、プロンプト31の表現を指示物の距離z0に応じて変化させる処理S20のフローチャートを例示する。処理S20は基本的には処理S10(図6参照)と同様であるが、表示画像データ生成処理ステップS13が、距離レベル判別処理ステップS13aと、プロンプト表現設定処理ステップS13bとを含んでいる。なお、図15および後出の図面では、紙面の大きさの都合により、ステップS12中のステップS12a,S12b(図6、図8および図9参照)の図示を省略している。
ステップS13aでは、制御部11は、ステップS11で取得した指示物の3次元位置情報に基づいて、指示物の距離z0が、距離レベルzlvl0,zlvl1,zlvl2,zlvl3,zlvl4(図14参照)のいずれに該当するかを判別する(距離レベル判別処理)。
次に、制御部11は、ステップS13bにおいて、プロンプト31の表現を設定する(プロンプト表現設定処理)。特に、制御部11は、ステップS13aで判別した距離レベルzlvl0,zlvl1,zlvl2,zlvl3,zlvl4を、予め定められた規則(図14参照)に照合することによって、プロンプト31の画像を選択する。これにより、指示物の距離レベルzlvl0,zlvl1,zlvl2,zlvl3,zlvl4に応じて、プロンプト31の表現を変化させることができる。
その後、制御部11は、プロンプト31が、ステップS12で得られた表示面内位置に、ステップS13bで設定された表現で以て表示されるように、表示画像データを生成する(表示画像データ生成処理)。
図16に、プロンプト31の表現の変化を例示する。図16から分かるように、指示物の距離z0が減少するに従って、すなわち指示物が入力面4aに近づくに従って、プロンプト31の表現が変化する。また、指示物の距離z0が増大する場合にも、すなわち指示物が入力面4aから遠ざかる場合にも、プロンプト31の表現が変化する。
なお、2次元位置変換ステップS12は、距離レベル判別ステップS13またはプロンプト表現設定ステップS13bよりも後で実行してもよい。
また、図14の例によれば、指示物の距離z0が距離レベルzlvl4に該当する場合にはプロンプト31を表示しない。このため、3次元位置情報取得ステップS11の直後に距離レベル判別ステップS13aを実行し、指示物の距離z0が距離レベルzlvl4に該当することが判別されたならば、その3次元位置情報については、残りのステップS12,S13bを実行しないようにしてもよい。
このようにプロンプト31の表現が指示物の距離z0に応じて変化するので、ユーザ(ここでは運転手)は、タッチパネル4に向けた手元を見なくても、表示面2aを通じて、タッチパネル4までの距離z0を把握することができる。このため、視線移動が減り、操作性が向上する。この点は、表示面2aと入力面4aとを同時に視界に入れるのが難しい環境下において、特に好適である。また、運転中に視線を車両前方から大きくそらすのを回避可能である。
また、プロンプト31の表現は、指示物の距離レベルごとに変化する。このため、プロンプトの大きさ等が連続的に変化する場合に比べて、プロンプト31の変化に気付きやすい。換言すれば、認知性に優れる。
また、プロンプトの大きさ等が連続的に変化する場合には、指示物の若干の揺れが、プロンプトの変化に過敏に反映されてしまう。しかし、プロンプト31のように指示物の距離レベルごとの変化であれば、そのような過敏な変化を抑制できる。このため、例えば車中のように揺れが生じる環境下においても、プロンプト31の表現が安定し、快適な操作性を提供可能である。
ここで、図14および図16の例では、各距離レベルzlvl1,zlvl2,zlvl3,zlvl4内においてプロンプト31の表現が変化しないものとした。これに対し、指示物の距離z0が或る距離レベルに属している間に、プロンプト31の表現を、指示物の距離z0に応じて変化させてもよい。図17にそのような例の説明図を示す。
図17の例では、距離レベルzlvl3において、プロンプト31の大きさを指示物の距離z0に応じて連続的に(換言すれば、無段階に)変化させる連続的変化を実行する。より具体的には、距離z0が連続的に小さくなるのに従って、プロンプト31を連続的に大きくする。逆に、距離z0が連続的に大きくなるのに従って、プロンプト31を連続的に小さくする。また、距離レベルzlvl2においても、距離レベルzlvl3と同様に、プロンプト31の大きさについて連続的変化を実行する。なお、距離レベルzlvl2,zlvl3間でプロンプト31の大きさが連続していてもよいし、あるいは、そのような連続性が無くてもよい。
また、図17の例では、距離z0が距離レベルzlvl3から距離レベルzlvl2に変化するのに伴って、および、距離z0が距離レベルzlvl2から距離レベルzlvl3に変化するのに伴って、プロンプト31の色を変化させる。
すなわち、距離レベルzlvl3では、距離レベルの変化に伴って変化させる表現要素とは異なる表現要素を、指示物の距離z0に応じて連続的に変化させる。距離レベルzlvl2においても同様である。このような連続的変化によれば、単一の距離レベル内においても指示物の距離z0の変化を把握しやすくなる。
また、上記のように、かかる連続的変化において変化させる表現要素を、距離レベルの変化に伴って変化させる表現要素とは異ならせている。このため、距離レベル単位でプロンプト31の表現を変化させることに起因した上記効果を損なうものではない。
図17の例では距離レベルzlvl1ではプロンプト31の大きさを変化させないものとしているが、距離レベルzlvl1内でプロンプト31の大きさを連続的に変化させてもよい。すなわち、距離レベルzlvl1,zlvl2,zlvl3のうちの一部または全部の距離レベルにおいて連続的変化を採用可能である。特に一部の距離レベルで連続的変化を採用した場合、全ての距離レベルで連続的変化を採用する場合に比べて、プロンプト31の描画処理にかかる負荷を軽減できる。
なお、図17の例とは異なり、大きさに代えてまたは加えて、他の表現要素を連続的に変化させてもよい。
<プロンプトの付加情報>
プロンプト31に付加情報を追加してもよい。付加情報の一例である距離情報について、図18を参照して説明する。図18の例では、指示物の距離z0が距離レベルzlvl1である場合に、距離情報32をプロンプト31に付加する。但し、他の距離レベルzlvl0,zlvl2,zlvl3において距離情報32を付加してもよい。
図18に例示の距離情報32は、帯状の図形であり、指示物の距離z0に応じて長さ(ここでは縦寸法)が変化する。かかる帯状の図形は、プロンプト31の背景として追加される。
帯状図形による距離情報32は、指示物の距離z0が小さいほど(すなわち、指示物が入力面4aに近いほど)、長くなる。例えば、図19に示すように、帯状図形の長さa(z0)はzth1/sを最大寸法とし、a(z0)=zth1/s−z0/sという式で与えられる。sは、距離z0と表示時の大きさとの変換係数である。なお、z0=zth1の際にも長さを有するように(図18参照)、オフセットを与えてもよい。また、ここでは幅(ここでは横寸法)は固定とするが、幅も距離z0に連動させてもよい。
図20に、距離情報32の変化を例示する。図20から分かるように、指示物の距離z0が減少するに従って、距離情報32である帯状図形が長くなる。逆に、指示物の距離z0が増大するに従って、帯状図形は短くなる。
図21に、距離情報32を追加する場合のフローチャートを例示する。図21の処理S30は、図15の処理S20のステップS13にステップS13c(付加情報設定処理)が追加されている。ステップS13cでは、制御部11は、指示物の距離z0に応じて、距離情報32である帯状図形の長さを設定する。そして、制御部11は、距離情報32付きのプロンプト31を含んだ表示画像のデータを生成し、その表示画像が表示されるように表示装置2を制御する。
図22および図23に、距離情報32の他の例を示す。図22の例では、距離情報32は、矢印状の図形であり、矢印の長さが指示物の距離z0に応じて変化する。図23の例では、距離情報32は、指示物の距離z0に対応する数値である。なお、当該数値は、距離z0の絶対的な数値でなくてもよく、例えば、距離z0を、予め定められた規則で変換した相対的な数値であってもよい。また、図形表示と数値表示とを組み合わせて、距離情報32を構成してもよい。
距離情報32によれば、表示面2aを通じて、指示物の距離z0を、さらに把握しやすくなる。また、距離情報32を、入力面4aに最も近い距離レベルzlvl1において表示し、他の距離レベルzlvl0,zlvl2,zlvl3では表示しない場合(図18参照)、指示物が入力面4aに近いことに気付きやすくなる。このため、指示物の入力面4aへの接触をスムーズに行うことができる。
<プロンプト等の他の例>
以下に、プロンプト31等の他の例を説明する。なお、以下の例示は、それぞれを単独で採用してもよいし、種々に組み合わせることも可能である。
プロンプト表現設定処理S13b(図15および図21を参照)において、プロンプト31の表現をプロンプト31の表示位置に応じて変化させるという位置連動条件を適用してもよい。例えば、次の第1〜第4の位置連動条件が挙げられる。
第1の位置連動条件は、プロンプト31を機能アイコン上に表示する場合、その機能アイコンに関連付けられている機能の種類に応じて、プロンプト31の表現を変化させる、という条件である。例えば、図24に示すように、プロンプト31がナビゲーション関連のアイコンと重なる場合は、指形状の表現を用いる。これに対し、図25に例示するように、プロンプト31がAV関連のアイコンと重なる場合は、音符形状の表現を用いる。
第2の位置連動条件は、プロンプト31をアイコン領域上に表示する場合と、プロンプト31を画面操作領域上に表示する場合とで、プロンプト31の表現を変化させる、という条件である。ここで、アイコン領域とは1つまたは複数のアイコンが配置された領域であり、図26および図27の画面例では、AV関連およびナビゲーション関連のアイコンが配置された画面右側の領域が、アイコン領域である。また、画面操作領域とはユーザが画面(換言すれば、表示内容)を操作可能な領域であり、表示内容操作領域と称してもよい。図26および図27の画面例では、中央部および左部からなる領域にスクロール等の操作が可能な地図画像が表示されており、この地図画像の領域が画面操作領域にあたる。第2の位置連動条件によれば、例えば、図26に示すようにプロンプト31をアイコン領域に表示する場合には線図の指画像を用い、図27に示すようにプロンプト31を画面操作領域に表示する場合は写実的な手画像を用いる。
第3の位置連動条件は、プロンプト31を操作許可アイコン(ユーザによる操作が許可されたアイコン)上に表示する場合と、プロンプト31を操作不許可アイコン(ユーザによる操作が許可されていないアイコン)上に表示する場合とで、プロンプト31の表現を変化させる、という条件である。例えば、多くの手順が予想される操作(例えば50音検索)を走行中に行うのは好ましくないので、そのような操作は、走行中は操作不許可に設定される。この場合、図28に例示するように、50音検索アイコンの位置にプロンプト31が存在する場合、そのプロンプト31は、通常よりも小さく、且つ、透明度を上げて、表示される。これに対し、図29に例示するように、停車中は50音検索アイコンは操作許可に設定され、当該アイコン上であってもプロンプト31を通常表現で表示する。
第4の位置連動条件は、プロンプト31を操作許可領域(ユーザによる操作が許可された領域)上に表示する場合と、プロンプト31を操作不許可領域(ユーザによる操作が許可されていない領域)上に表示する場合とで、プロンプト31の表現を変化させる、という条件である。例えば、図30に示すように、表示面2aにメータが表示されている場合、その表示領域は操作不許可領域に設定される。この場合、図30の例では、操作不許可領域においてプロンプト31は、指画像および手画像ではなく、十字印を丸で囲んだ形状で表示される。これに対し、図31に例示するように、操作許可領域では、プロンプト31を通常表現で表示する。なお、図31では、操作許可領域として、スクロール等の操作が可能な地図画像が表示された画面操作領域を例示しているが、操作許可領域は例えばアイコン領域であってもよい。
ここで、図32に例示するように、操作不許可領域から操作許可領域への進入方向が複数存在しうる場合、その進入方向に応じて、操作許可領域内でのプロンプト31の表現を設定してもよい(移動方向連動条件)。
位置連動条件を適用することにより、操作の確認に役立つ。なお、第1〜第4の位置連動条件のうちの1つだけを採用してもよいし、あるいは、第1〜第4の位置連動条件のうちの2つ以上を採用してもよい。
また、第1〜第4の位置連動条件は、指示物の距離z0に関わらず、適用可能である。換言すれば、z0=0の場合のみならずz0≠0の場合(指示物が入力面4aの上方に存在する場合)にも、第1〜第4の位置連動条件を適用することにより、指示物が入力面4aに接触する前に操作確認をすることができる。
また、プロンプト表現設定処理S13b(図15および図21を参照)において、プロンプト31の表現を、指示物の入力面内位置の状態に応じて変化させるという面内状態連動条件を適用してもよい。具体的に図33の例では、入力面内位置が静止している場合には、通常の手画像のプロンプト31を表示し、これに対し、入力面内位置が移動している場合には、十字印を丸で囲んだ形状のプロンプト31を表示する。これによれば、表示面2aを通しての操作状況確認を容易化できる。
プロンプト31の画像は図33の例に限定されるものではない。但し、図33の例のように、指示物の入力面内位置が移動状態である場合に簡略な画像を採用することにより、プロンプト31の描画処理にかかる負荷を軽減できる。
面内状態連動条件は、指示物の距離z0に関わらず、適用可能である。特にz0=0の場合における適用は、指示物によって入力されるジェスチャ操作(スクロール操作、拡大縮小操作、回転操作、等)の開始および終了に伴って、プロンプト31の表現を変化させることが可能である。具体的には、図34の例では、スクロール操作の開始に伴ってプロンプト31の表現を変化させ、スクロール操作の終了に伴ってプロンプト31の表現を戻している。なお、図34では、z0=0の場合の距離情報32として、楕円図形を例示している。このように、プロンプト31の表現変化と入力面4a上でのジェスチャ操作とを関連させることにより、ジェスチャ操作の実行状況が確認しやすくなる。
図33に戻り、面内状態連動条件は、プロンプト31の付加情報にも適用可能である。すなわち、付加情報の他の例として、指示物の入力面内位置の状態を示す面内状態情報33がある。制御部11は、付加情報設定処理S13c(図21参照)において、指示物の入力面内位置が移動している場合と静止している場合とで、面内状態情報33の表現を変化させる。図33には面内状態情報33として、指示物の移動方向を示す矢印状の図形と、背景枠とが例示されている。矢印状図形の長さは、固定であってもよいし、指示物の面内位置の移動量に応じて変化させてもよい。入力面内位置が静止している場合には面内状態情報33を付加せず、これに対し、入力面内位置が移動している場合には面内状態情報33をプロンプト31に付加する。これによれば、表示面2aを通しての操作状況確認を容易化できる。
図14および図18では指示物が指である場合に例示したが、指示物がスタイラスペンの場合におけるプロンプトの表現を、図35に例示する。なお、図35の例に、距離情報32(図18参照)と面内状態情報33(図33参照)の一方または両方を付加してもよい。
プロンプト表現設定処理S13b(図15および図21を参照)において、指示物の種類に応じてプロンプト31の表現を変化させることにより、複数種類の指示物を使い分けることができ、便利である。例えば、ペン用プロンプト31によって指示できる粒度(換言すれば、分解能)を指用プロンプト31よりも小さく設定すれば、スタイラスペンを選択することにより、精細な画面に対しても操作性が向上する。また、指とスタイラスペンとの使い分けによって、動作モードが切り替わるようにしてもよい。例えば、指利用時には相対座標入力モードが設定され、ペン利用時には絶対座標入力モードが設定されてもよい。
図36に、スタイラスペンを利用する場合について、情報表示制御装置3のブロック図を例示する。図36の例によれば、図3の構成例に、ペン用の接続部28が追加されている。具体的には、スタイラスペンに固有の識別情報を組み込んでおき、その識別情報が接続部28を介して制御部11へ伝送される。これによれば、制御部11は、識別情報の入力がある場合には、スタイラスペンが利用されていることを判別可能である。他方、識別情報の入力がなければ場合には、指が利用されていることを判別可能である。また、識別情報自体を判別することによって、複数のスタイラスペンを判別することも可能である。
スタイラスペンへの識別情報の付与、および、接続部28による識別情報の取得は、例えば、無線タグ技術を応用することによって、実現可能である。
ここで、図37に、2つのタッチパネル4を情報表示装置1に接続した例を示す。この場合、タッチパネル4ごとに指示物が用いられる。すなわち、2つの指示物によって、情報表示装置1への入力操作が行われる。入力装置用接続部24には、2つの指示物のそれぞれの3次元位置情報が、各指示物用のタッチパネル4から入力される。なお、2つの入力装置4の一方または両方がタッチパネル以外の装置であってもよい。
なお、それぞれのタッチパネル4に接続部(接続部24に相当)が設けられる場合、それらの接続部を総称が上記の入力装置用接続部24にあたる。また、例えば2つのタッチパネル4が共に無線通信で情報表示装置1に接続される場合、入力装置用接続部24を1つの無線通信用信号生成回路で構成することも可能である。すなわち、2つのタッチパネル4に対して、接続部24は種々の構成を採りうる。
制御部11は、指示物ごとの3次元位置情報を取得し、2つの指示物のうちの少なくとも1つについて、上記のプロンプト表現設定処理S13b(図15および図21を参照)を実行する。図38には、2つの指示物が同時に利用され、両方のプロンプト31にプロンプト表現設定処理S13bが適用された場合の画面を例示する。また、2つの指示物のうちの少なくとも1つに対して、付加情報設定処理S13c(図21参照)を実行してもよい。
同様にして3つ以上のタッチパネル4を接続して、3つ以上の指示物を利用することも可能である。なお、複数の指示物は同じ種類である必要はない。
ここで、図39に、表示面2aを2つの領域に分割し、一方のタッチパネル4を左画面用入力装置として利用し、他方のタッチパネル4を右画面用入力装置として利用する例を示す。また、図40に、いわゆるスプリットビュー画面の説明図を示す。スプリットビュー画面では、表示面2aを見る方向によって、見える画面が異なる。このため、例えば、一方のタッチパネル4は右側(ここでは運転席側)から見た画面用の入力装置として利用し、他方のタッチパネル4は左側(ここでは助手席側)から見た画面用の入力装置として利用することが可能である。
図40には、右側から見た画面ではプロンプト31の指画像を左向き(手首が右側に在り、人差し指が左側に在る)で表示し、左側から見た画面ではプロンプト31の指画像を右向き(手首が左側に在り、人差し指が右側に在る)で表示する例を図示している。これに対し、両方の指画像を同じ方向に向けてもよい。但し、図40の例によれば、指の向きが、表示面2aと座席との位置関係を反映しているので、プロンプト31を直感的に認識しやすい。図40における2つの指画像の向きは図38および図39の例にも応用可能である。
また、制御部11は、指示物の距離z0に応じて画面全体の色相を変化させてもよい(画面色相制御処理)。これによれば、プロンプト31を注視しなくても距離z0の変化を判別可能であり、それによりプロンプト31を探す時間を減らすことができる。このため、例えば、運転中に視線を長い時間、車両前方からそらすのを回避可能である。
また、制御部11は、指示物が入力面4aに接触した場合(すなわち距離z0=0になった場合)に、入力面4aを振動させる指示を、接続部24を介してタッチパネル4に与えてもよい。タッチパネル4は、入力面4aを振動させる機能を有している場合、その指示に従って入力面4aを振動させる。また、制御部11は、入力面4aを盛り上げる指示をタッチパネル4に与えてもよい。タッチパネル4は、入力面4aを盛り上げる機能を有している場合、その指示に従って入力面4aを盛り上げる。また、制御部11は通知音を、スピーカ5からまたはタッチパネル4のスピーカから、発生させてもよい。これらによれば、入力面4aを見なくても、さらには表示面2aを見なくても、入力面4aに接触したことが分かる。なお、上記3つの処理例を種々に組み合わせてもよい。
ここで、入力面4aの振動は、圧電素子等の振動素子を利用すれば実現可能である。また、入力面4aの盛り上げは、例えば、膨張素子を利用すれば実現可能である。膨張素子は、例えば、電解液の封止構造を有した素子によって実現可能である。具体的には、その電解液に電気を供給すると、素子内部に気体が発生し、それにより膨張する。なお、入力面4aの振動は、入力面4aの全体に発生させてもよいし、あるいは、指示物が接触した箇所を含む一部分に選択的に発生させてもよい。かかる点は入力面4aの盛り上げについても同様である。
<実施の形態3>
実施の形態3では、プロンプト31が指し示す第1オブジェクトと、他のオブジェクトである第2オブジェクトとの視認性の差を調整する。以下ではまず、第1オブジェクトがアイコンであり、そのアイコンの視認性を上げる例を説明する。
図41に、アイコン40の視認性の調整を説明する図を示す。図41の例によれば、タッチパネル4の入力面4aから指示物(ここでは指先)までの距離z0に対して、2つの閾値ztha,zthbが予め設定されている。但し、閾値の数は2つに限定されるものではない。
ここではztha<zthbであり、例えば、ztha=1cm、zthb=2cmである。なお、ztha,zthbは不等間隔に設定してもよい。
2つの閾値ztha,zthbによって、指示物の距離z0に対して、4つの距離レベル(換言すれば、高さレベル)zlvl0,zlvla,zlvlb,zlvlcが予め設定されている。すなわち、距離レベルzlvl0はz0=0に対応し、距離レベルzlvlaは0<z0<zthaに対応し、距離レベルzlvlbはztha<z0<zthbに対応し、距離レベルzlvlcはzthb<z0に対応する。なお、z0=zthaを距離レベルzlvla,zlvlbのいずれに含めるかは予め規定しておけばよい。z0=zthbも同様である。なお、図41の例では、z0=0に対して距離レベルzlvl0を割り当てているが、z0=0を距離レベルzlvlaに含めてもよい。
また、図41の例では、入力面4aの押下された状態に、距離レベルzlvl00が設定されている。入力面4aの押下は、タッチパネル4が、入力面4aに対する押圧力がz0=0の場合よりも強いことを検出することによって、判別可能である。入力面4aが押下されたか否かの情報は、タッチパネル4が出力する3次元位置情報に含まれるものとする。なお、入力面4aの押下を便宜的にz0<0と表現する場合もある。
なお、距離レベルzlvl00を採用可能である場合、すなわちタッチパネル4が入力面4aに対する押下を検出可能である場合、例えば、距離レベルzlvl0(z0=0)によって、アイコン40の選択が決定され、距離レベルzlvl00(z0<0)によって、アイコン40に関連付けられている機能が実行される、という使い分けが可能である。逆に、距離レベルzlvl00を採用できないまたは採用しない場合、距離レベルzlvl0(z0=0)に、アイコン40の選択決定と機能実行の両方が割り当てられる。
図41に示すように、各距離レベルzlvlc,zlvlb,zlvla,zlvl0,zlvl00に対して、表現(換言すれば、見た目)の異なるアイコン40が予め設定されている。図41の例では、距離レベルzlvlcに割り当てられたアイコン40は、平面状の四角形であり、当該四角形は単色で塗りつぶされている。距離レベルzlvlbに割り当てられたアイコン40は、距離レベルzlvlcのアイコン40において上記四角形の中に影を模した模様が付加されている。距離レベルzlvlaに割り当てられたアイコン40は、距離レベルzlvlbのアイコン40が手前に飛び出した立体形状をしている。距離レベルzlvl0に割り当てられたアイコン40は、距離レベルzlvlaのアイコン40と同じ立体形状をしているが、影模様を有さず、距離レベルzlvlaのアイコン40とは異なる色(特に、赤色等の強調色)に着色されている。
また、距離レベルzlvl00に割り当てられたアイコン40は、距離レベルzlvl0の立体形状において手前の面を奥へ押し込んだ状態を模した形状をしている。但し、タッチパネル4が入力面4aに対する押圧力を検出可能な構成を有していない場合、押下時用のアイコン40は省略してもよい。あるいは、押下時用のアイコン40を、距離レベルzlvl0のアイコン40の代わりに採用してもよい。
このように、距離レベルzlvl00,zlvl0,zlvla,zlvlb,zlvlcごとに、アイコン40の表現が異なっている。表現の相違は、表現要素が少なくとも1つが異なることによって、生じる。表現要素は例えば、大きさ、形状、色、模様、アニメーション表示(例えば回転、揺動)である。このため、大きさと、形状と、色と、アニメーション表示とのうちの少なくとも1つの表現要素を、距離レベルzlvl00,zlvl0,zlvla,zlvlb,zlvlcで変化させればよい。
特に図41の例によれば、指示物の距離z0が小さいほど、アイコン40に対する注目度が増すように、アイコン40の表現が設定されている。すなわち、指示物の距離z0が小さいほど、アイコン40の視認性が上がる。
図42に、アイコン40の表現を指示物の距離z0に応じて変化させる処理S40のフローチャートを例示する。図42の処理S40は、図15の処理S20と基本的には同じであるが、表示画像データ生成処理ステップS13の詳細が異なる。すなわち、処理S40のステップS13は、距離レベル判別処理ステップS13aと、視認性調整処理ステップS13dとを含んでいる。
ステップS13aは基本的には実施の形態2のステップS13a(図15参照)と同様であるが、図41の距離レベル判別基準に従う。すなわち、ステップS13aでは、制御部11は、3次元位置情報に基づき、入力面4aと指示物との間の距離z0が、距離レベルzlvl00,zlvl0,zlvla,zlvlb,zlvlc(図41参照)のいずれに該当するかを判別する(距離レベル判別処理)。
次に、制御部11は、ステップS13dにおいて、プロンプト31が指し示す第1オブジェクト(ここではアイコン40)と、他のオブジェクトである第2オブジェクトとの視認性の差を調整する(視認性調整処理)。より具体的には、制御部11は、ステップS13aで判別した距離レベルzlvl00,zlvl0,zlvla,zlvlb,zlvlcを、予め定められた規則(図41参照)に照合することによって、アイコン40の画像を選択する。これにより、指示物の距離レベルzlvl00,zlvl0,zlvla,zlvlb,zlvlcに応じて、プロンプトが指し示すアイコン40の視認性を変化させることができる。
なお、プロンプト31が指し示すアイコン40は、例えば、アイコン40の画像がプロンプト31の画像と重なりを有することによって特定可能である。また、例えば、プロンプト31の表示位置からその指し示す方向にプロンプト指示範囲(その大きさは予め設定すればよい)を設定し、そのプロンプト指示範囲に重なるアイコン40を、プロンプト31が指し示すアイコン40として特定可能である。
なお、2次元位置変換ステップS12は、距離レベル判別ステップS13aよりも後で実行してもよい。
図43および図44に、アイコン40の表現の変化、すなわちアイコン40の視認性の変化を例示する。図43および図44から分かるように、指示物の距離z0が減少するに従って、すなわち指示物が入力面4aに近づくに従って、アイコン40の視認性が上がるようにその表現が変化する。逆に、指示物の距離z0が増大するに従って、アイコン40の表現は標準設定に近づき、アイコン40の視認性が下がる。なお、図43および図44の例では、アイコン以外のオブジェクトである地図画像の視認性は、変化しないものとしている。
このように指示物の距離z0が小さいほど、アイコン40の視認性が上がり、アイコン40と他のオブジェクト(図43および図44の例では地図画像)との視認性の差が拡大する。このため、ユーザ(ここでは運転手)は、入力面4aに向けた手元を見なくても、表示面2aを通じて、指示物の位置および入力面4aまでの距離を把握することができる。それにより、視線移動が減り、操作性が向上する。この点は、表示面2aと入力面4aとを同時に視界に入れるのが難しい環境下において、特に好適である。また、運転中に視線を車両前方から大きくそらすのを回避可能である。
ここで、図41、図43および図44の例では、各距離レベルzlvla,zlvlb,zlvlc内においてアイコン40の表現が変化しないものとした。これに対し、指示物の距離z0が或る距離レベルに属している間に、アイコン40の表現を、指示物の距離z0に応じて連続的に(換言すれば、無段階に)変化させる連続的変化を採用してもよい。なお、距離レベルzlvlc,zlvlb間でアイコン40の表現が連続していてもよいし、あるいは、そのような連続性が無くてもよい。距離レベルzlvlb,zlvla間での連続性についても同様である。また、距離レベルzlvla,zlvlb,zlvlcのうちの一部の距離レベルだけで、アイコン40の連続的変化を採用してもよい。それによれば、全ての距離レベルで連続的変化を採用する場合に比べて、アイコン40の描画処理にかかる負荷を軽減できる。
これに対し、図41、図43および図44の例のようにアイコン40の表現が指示物の距離レベルごとに変化することによって、アイコン40が連続的に変化する場合に比べて、アイコン40の変化に気付きやすい。換言すれば、認知性に優れる。
また、アイコン40が連続的に変化する場合には、指示物の若干の揺れが、アイコン40の変化に過敏に反映されてしまう。しかし、指示物の距離レベルごとの変化であれば、そのような過敏な変化を抑制できる。このため、例えば車中のように揺れが生じる環境下においても、アイコン40の表現が安定し、快適な操作性を提供可能である。
また、例えば車中のように揺れが生じる環境下では、入力面4aへの接触(z0=0)ではなく、入力面4aの押下(z0<0)によって、アイコン40に関連付けられている機能(図44の例ではCDの再生)が実行されるように処理設計をしておけば、誤操作を減らせる。これに関連して、図41および図44の例では接触(z0=0)と押下(z0<0)とでアイコン40の表現を異ならせているので、ユーザは、接触と押下との違いを、入力面4aに向けた手元を見なくても、表示面2aを通じて確認することができる。かかる点からも、快適な操作性を提供可能である。
上記では、プロンプト31が指し示す第1オブジェクトが1つのアイコン40である場合を例示した。これに対して、第1オブジェクトは複数のアイコン40であってもよい。総じて言うならば、第1オブジェクトは、1つまたは複数のアイコンが配置されたアイコン領域であってもよい。例えば図45に示すように、距離レベルzlvlbでは、アイコン領域に在る全てのアイコン40の視認性を上げる。
また、図45の例によれば、距離レベルzlvla,zlvl0では、プロンプト31の直近に在るアイコン40についてのみ視認性を上げ、他のアイコン40は距離レベルzlvlbと同じ表現に設定されている。これに対し、例えば、他のアイコン40は、距離レベルzlvlc(図41参照)の表現に設定してもよい。いずれに例にしても、プロンプト31の直近に在るアイコン40に比べて、他のアイコン40は視認性が低い状態になる。すなわち、指示物の距離z0の変化の途中で、視認性を上げる第1オブジェクトの範囲を変更しても構わない。
なお、図45では、紙面の大きさの都合により、距離レベルzlvlc,zlvl00での画面表示は省略している。
ところで、上記では、プロンプト31が指し示す第1オブジェクト自体の視認性を上げる例を説明した。これに対し、第1オブジェクト以外の他のオブジェクトである第2オブジェクトの視認性を下げることによって、第1オブジェクトの視認性を相対的に上げることも可能である。そのような例を図46および図47を参照して説明する。
図46の例によれば、タッチパネル4の入力面4aから指示物(ここでは指先)までの距離z0に対して、2つの閾値zthh,zthiが予め設定されている。但し、閾値の数は2つに限定されるものではない。
ここではzthh<zthiであり、例えば、zthh=1cm、zthi=2cmである。なお、zthh,zthiは不等間隔に設定してもよい。また、zthhは、zthaまたはzthb(図41参照)と同じ値であってもよいし、あるいは、zthaおよびzthbのいずれとも異なる値であってもよい。zthiについても同様である。
2つの閾値zthh,zthiによって、指示物の距離z0に対して、3つの距離レベル(換言すれば、高さレベル)zlvlh,zlvli,zlvljが予め設定されている。すなわち、距離レベルzlvlhは0≦z0<zthhに対応し、距離レベルzlvliはzthh<z0<zthiに対応し、距離レベルzlvljはzthi<z0に対応する。なお、z0=zthhを距離レベルzlvlh,zlvliのいずれに含めるかは予め規定しておけばよい。z0=zthiも同様である。なお、図46の例では、z0=0を距離レベルzlvlhを含めているが、図41の例と同様にz0=0に距離レベルzlvl0を割り当ててもよい。
図46に示すように、各距離レベルzlvlh,zlvli,zlvljに対して、表示画像に含める地図要素が予め設定されている。図46の例では、距離レベルzlvljでは、地図要素の全て(ここでは主要道路と細い道路と建物とが例示される)が表示される(図47の上段の表示画像を参照)。また、距離レベルzlvliでは、主要道路と細い道路とは表示されるが、建物は省略される(図47の中段の表示画像を参照)。また、距離レベルzlvlhでは、主要道路のみが表示される(図47の下段の表示画像を参照)。
このように、距離レベルzlvlh,zlvli,zlvljごとに、地図画像の情報量が異なっている。このため、指示物の距離z0が減少するに従って、すなわち指示物が入力面4aに近づくに従って、地図要素が間引かれ、それにより地図画像の情報量が減少する。その結果、地図画像の視認性を下げることができる。逆に、指示物の距離z0が増大するに従って、地図画像の情報量が増大し、それにより地図画像の視認性が上がる。
なお、図47の例では、距離レベルzlvliでは方向と縮尺の表示を、距離レベルzlvljに比べて、くすんだ表現に設定している。また、距離レベルzlvlhでは方向と縮尺を表示しない。かかる表現設定も地図画像の情報量の調整に貢献している。
図46および図47の例によれば、視認性調整処理S13d(図42参照)において、第2オブジェクトとしての地図画像の視認性を調整することにより、第1オブジェクトと第2オブジェクトとの視認性の差を調整することができる。
ここで、図47に対応する図48に例示するように、第2オブジェクトである地図画像だけでなく、第1オブジェクトであるアイコン40も同時に、視認性を調整してもよい。図48では、zlvlj=zlvlc、zlvli=zlvlb、zlvlh=zlvlaとした場合を例示している。これによれば、指示物の距離z0が減少するに従って、アイコン40の視認性が上がると共に、地図画像の視認性が下がる。このため、z0の減少に伴う視認性の差の拡大が、より分かりやすくなり、操作性がさらに向上する。
なお、くすみ、透明度、鮮鋭性等を調整することによっても、地図画像の視認性を調整可能である。その際、連続的変化も適用可能である。また、くすみ、透明度、鮮鋭性等の調整は、地図画像だけでなく、AV再生画像等の他の画像、アイコン等にも適用可能である。例えばくすみの調整によってアイコン40の視認性を調整する例を図49に示す。
図49には、アイコン40が第2オブジェクトであり、指示物の距離z0の減少に伴ってアイコン40の視認性を下げる例が示されている。図49の例によれば、タッチパネル4の入力面4aから指示物(ここでは指先)までの距離z0に対して、2つの閾値zthp,zthqが予め設定されている。但し、閾値の数は2つに限定されるものではない。
ここではzthp<zthqであり、例えば、zthp=1cm、zthq=2cmである。なお、zthp,zthqは不等間隔に設定してもよい。また、zthpは、zthhまたはzthi(図46参照)と同じ値であってもよいし、あるいは、zthhおよびzthiのいずれとも異なる値であってもよい。zthqについても同様である。
2つの閾値zthp,zthqによって、指示物の距離z0に対して、3つの距離レベル(換言すれば、高さレベル)zlvlp,zlvlq,zlvlrが予め設定されている。すなわち、距離レベルzlvlpは0≦z0<zthpに対応し、距離レベルzlvlqはzthp<z0<zthqに対応し、距離レベルzlvlrはzthq<z0に対応する。なお、z0=zthpを距離レベルzlvlp,zlvlqのいずれに含めるかは予め規定しておけばよい。z0=zthqも同様である。なお、図49の例では、z0=0を距離レベルzlvlpを含めているが、図41の例と同様にz0=0に距離レベルzlvl0を割り当ててもよい。
図49の例では、距離レベルzlvlrでは、第2オブジェクトとしてのアイコン40を、標準設定に従って表示する。また、距離レベルzlvlqでは、標準設定よりも、くすんだ表現で、第2オブジェクトとしてのアイコン40を表示する。また、距離レベルzlvlpでは、第2オブジェクトとしてのアイコン40を表示しない。このため、指示物の距離z0が減少するに従って、すなわち指示物が入力面4aに近づくに従って、アイコン40の視認性を下げることができる。その結果、第1オブジェクト(例えば地図画像)の視認性を相対的に上げることができる。
ここで、図50の処理S50に示すように、表示画像データ生成処理ステップS13に、プロンプト表現設定処理ステップS13bを追加してもよい。ステップS13がステップS13b,S13dの両方を含む場合の表示画像の変化を、図51に例示する。なお、zth1は、ztha、zthb、zthh、zthi、zthpまたはzthq(図41、図46および図49参照)と同じ値であってもよいし、あるいは、ztha、zthb、zthh、zthi、zthpおよびzthqのいずれとも異なる値であってもよい。zth2およびzth3についても同様である。
また、図50の表示画像データ生成処理ステップS13に、さらに、付加情報設定処理ステップS13c(図21参照)を追加してもよい。
<実施の形態4>
実施の形態4では、入力面4aから指示物までの距離z0の値を補正して利用する例を説明する。
図52に、実施の形態4に係る動作例のフローチャートを示す。図52に例示の処理S60は、図15の処理S20においてステップS12,S13の間に、距離値補正処理を行うステップS61が追加されている。
制御部11は、ステップS61において、タッチパネル4の入力面4aから指示物までの距離z0の値を、補正する(距離値補正処理)。図53の斜視図および図54の側面図を参照しつつ、距離値補正処理を説明する。
タッチパネル4によって取得された3次元位置情報によれば、指示物(ここでは指先)と入力面4aとの間の距離z0は、図53および図54に示すように、入力面4aから入力面4aの法線(図53および図55ではz軸に平行な線である)に沿った指示物までの距離である。
しかし、指示物は入力面4aのz軸に平行に移動するとは限らず、図53および図54に示すようにz軸に対して斜め方向に移動する場合がある。特に図2に例示したように入力面4aが運転席の横に配置されている場合、ユーザ(ここでは運転手)の指は図53および図54に示すように入力面4aに対して斜め方向に移動することが多いと考えられる。このため、ユーザの感覚からすれば、指先と入力面4aまでの距離は、入力面4aの法線に沿った距離z0ではなく、指先の移動経路51に沿った距離zzであると感じる。
そこで、距離値補正処理ステップS61では、タッチパネル4の検出結果から得られる距離z0の値を、指示物の移動経路51に沿った距離zzの値に補正する。なお、以下、距離z0の値にも便宜的に符号z0を用い、距離値z0という表記を用いる場合がある。同様に、距離zzの値を、距離値zzと表記する場合がある。また、距離値zzを補正距離値zzと称する場合もある。
具体的には、指示物の移動経路51は、入力面4aとユーザとの位置関係から予め想定することが可能である。図53おおび図54に例示の移動経路51は、入力面4aに対して角度θ1(但しθ1≠90°とする)を形成する直線経路として想定されている。この場合、zz=z0/sinθ1という関係が成り立つ。すなわち、直線経路として想定された移動経路51に基づいて、zz=z0/sinθ1という距離値補正規則を予め規定可能である。なお、距離値補正規則は、演算式、変換テーブル等によって具現化可能である。つまり、制御部11は、距離値補正規則に従って、入力面4aの法線に沿った距離値z0を、移動経路51に沿った距離値zzに補正する。
次に、制御部11は、ステップS13において、距離値z0の代わりに、補正距離値zzを使って、表示画像データを生成する(表示画像データ生成処理)。図52の例では、距離レベル判別処理のステップS13aおよびプロンプト表現設定処理のステップS13bにおいて、補正距離値zzに応じてプロンプト31の表現が設定される。
このように補正距離値zzを用いることにより、補正前の距離値z0に基づいてプロンプト31の表現を変化させる場合に比べて、ユーザの距離感に合った操作性を提供できる。例えば、指示物の移動に伴ってユーザ自身が感じる距離感と、表示面2aを介して得られる距離感とのずれが低減されるので、そのずれから生じる操作上の混乱を低減できる。
より具体的には、ユーザにとっては入力面4aにまだ到達しないと思っていたのに、実際には指先が入力面4aに接触してしまい誤操作を生じる、といった事態を低減できる。また、ユーザにとっては入力面4aに接触しているはずなのに、接触した感覚が得られず、入力面4aに視線を向ける、といった事態を低減できる。
このように、ユーザの操作感覚に配慮した快適な操作環境を提供することができる。また、既述のように情報表示装置1の利用環境は自動車内に限定されるものではないので、種々の使用環境において同様の効果が得られる。
図53では運転席側から指示物が入力面4aに向かう移動経路51を例示したが、図55に例示するように指示物が助手席側から入力面4aに向かう移動経路52も想定可能である。図55によれば、助手席側からの移動経路52は、入力面4aに対して角度θ2(但しθ2≠90°とする)を形成する直線経路として想定されている。この場合、zz=z0/sinθ2という関係の距離値補正規則が予め規定される。
制御部11は、指示物の移動方向、具体的には入力面内位置(x0,y0)の移動方向から、指示物が運転席側から到来したのか、助手席側から到来したのかを判別可能である。よって、制御部11は、運転席側用の距離値補正規則(zz=z0/sinθ1)と、助手席側用の距離値補正規則(zz=z0/sinθ2)とのいずれを選択すればよいのかを判別可能である。
一般化するならば、運転席と助手席の一方を第1座席とし、運転席と助手席の他方を第2座席とした場合、第1座席と入力面4aとの間に想定された第1移動経路用に規定された第1距離値補正規則と、第2座席と入力面4aとの間に想定された第2移動経路用に規定された第2距離値補正規則とは、指示物の移動状況に基づいて適切に選択可能である。なお、第1座席および第2座席は運転席と助手席の組み合わせでなくてもよい。また、3席以上の場合については、当該3席のうちの任意の2席について上記説明が当てはまる。つまり、3席以上の場合についても、各座席用の距離値補正規則を適切に選択可能である。
また、図53および図54には指示物の移動経路51が直線経路である場合を例示したが、図54の側面図に例示するように移動経路51は曲線経路であってもよい。また、移動経路51は直線経路と曲線経路との組み合わせであってもよい。なお、直線経路と曲線経路とは連続していてもよいし、不連続であってもよい。一般化するならば、補正距離値zzは、入力装置4の検出結果から得られる距離z0と、想定した移動経路51が入力面4aと成す角度θ1との関数として、例えばzz=f(z0,θ1)と表される。すなわち、距離値補正規則はzz=f(z0,θ1)で与えられる。なお、直線経路に対してθ1は一定値である一方、曲線経路に対しては、θ1は距離z0の関数として、例えばθ1=g(z0)と表される。これらの点は、助手席側からの移動経路52についても同様である。
また、上記では移動経路51(換言すれば、距離値補正規則)は予め想定され制御部11に与えられるものとしたが、制御部11は移動経路51を更新してもよい。例えば、指示物の各回の移動履歴は、指示物の位置(x0,y0,z0)(図7参照)の軌跡として取得可能である。このため、例えば、予め与えられた移動経路51と、複数の移動履歴とを平均して平均的な経路を求め、その平均的な経路を、更新後の移動経路51としてもよい。また、移動経路51が予め与えられない場合であっても、複数の移動履歴から平均的な経路を求め、その平均的な経路を、当初のまたは更新後の移動経路51としてもよい。すなわち、制御部11は、指示物の複数の移動履歴から移動経路51を学習可能である。移動経路51の学習により、補正精度を向上させることが可能である。これらの点は、助手席側からの移動経路52についても同様である。
なお、図52では表示画像データ生成処理のステップS13がステップS13a,S13bを含む例を挙げたが、ステップS13は例えばステップS13a〜S13dを種々に組み合わせて構成可能である。
<実施の形態5>
さて、特許文献1の技術では、タッチパネルの表示面の全面が、入力面になっている。また、特許文献2の技術では、タブレットの入力面の全面が、表示面の全面に対応している。すなわち、従来技術では、入力面の全面が表示面の全面に対応付けられており、しかもその対応付けは固定されている。
したがって、入力面と表示面とを相似形にする必要がある。例えば、表示面の形状が先に設計される場合、それと相似形の入力面を有した入力装置を調達しなければならない。逆の状況も起こりうる。すなわち、入力面と表示面とを相似形にしなければならないという制約は、製品開発(仕様設計、デザイン設計、等)の自由度を狭めてしまう。また、その結果、例えば、製品の操作性が低くなってしまうことも考えられる。
これに対し、実施の形態5および後述の実施の形態6では、上記制約を不要にしうる技術を提供する。なお、実施の形態5,6は、実施の形態2〜4と同様に、実施の形態1と組み合わせ可能である。
図57に、実施の形態5に係る動作例のフローチャートを示す。図57に例示の処理S70は、図6の処理S10に対してステップS11の前にステップS71が追加されている。ステップS71において制御部11は、表示面2aのうちでプロンプト31を表示する領域であるプロンプト表示領域を、表示面2aに設定する(プロンプト表示領域設定処理)。プロンプト表示領域は、表示面2aのうちでプロンプト31が移動可能な領域であるプロンプト可動領域と称してもよい。
ステップS71では、例えば、表示面2aにおける表示情報のレイアウトに応じて、プロンプト表示領域の形状、大きさ、配置位置、等が設定される。すなわち、プロンプト表示領域の形状、大きさ、配置位置、等は可変である。図58にプロンプト表示領域2bの一例を示す。図58の例では、統合インストルメントパネルを提供する表示面2aのうちで、メータが表示されているメータ領域以外に、プロンプト表示領域2bが設定されている。例えば、プロンプト表示領域2bには制御アイコン、地図画像等が表示され、ユーザはプロンプト31を使って制御アイコン、地図画像等を操作可能である。
なお、表示面2aのうちでプロンプト表示領域2b以外の領域(図58の例ではメータ領域)を、プロンプト非表示領域2cと称することにする。図58および後出の図面では、図面を見やすくするために、プロンプト表示領域2bに砂状ハッチングを施しているが、当該ハッチングはプロンプト表示領域2bの色等を限定するものではない。
図59に、プロンプト表示領域2bの他の例を示す。なお、図59には説明のために入力面4aも図示しているが、図59は入力面4aと表示面2aとの実寸法比を限定するものではない。図59の例では、プロンプト表示領域2bは入力面4aと同様に四角形をしているが、プロンプト表示領域2bと入力面4aとは相似形ではない。また、プロンプト表示領域2bは、表示面2aの一部に設定されている。
ここで、表示面内位置は、上記のように、プロンプト31の配置位置として、プロンプト表示領域2b内に設定される。このため、指示物が移動するのに応じて、プロンプト31もプロンプト表示領域2b内で同様に移動する必要がある。すなわち、入力面内位置が移動するのに応じて、表示面内位置もプロンプト表示領域2b内で同様に移動するように、入力面内位置と表示面内位置とが対応付けられる。そのような対応付けは、入力面4aと入力面内位置(x0,y0)との位置関係が、プロンプト表示領域2bと表示面内位置(X0,Y0)との位置関係においても保持されるように、変換規則を規定すればよい。
図59の例を使って、より具体的に説明する。図59に示すように、入力面4aの横寸法および縦寸法をpおよびqとし、プロンプト表示領域2bの横寸法および縦寸法をPおよびQとする。また、プロンプト表示領域2bの基点の座標を(Xa,Ya)とする。この場合、X0=Xa+x0×(P÷p)およびY0=Ya+y0×(Q÷q)という変換式(換言すれば、変換規則)を採用することによって、入力面4aと入力面内位置(x0,y0)との位置関係が、プロンプト表示領域2bと表示面内位置(X0,Y0)との位置関係において保持可能である。なお、図59では基点(Xa,Ya)としてプロンプト表示領域2bの左下頂点(換言すれば、XY座標の原点に最も近い頂点)を選んでいるが、他の位置に基点(Xa,Ya)を選んでも同様にして変換式を求められる。
また、図60に、別の形状のプロンプト表示領域2bを例示する。図60の例では、プロンプト表示領域2bは、四角形の上に半楕円形を載せた形状をしている。そのような形状のプロンプト表示領域2bにおいて表示面内位置(X0,Y0)は次のようにして求められる。
制御部11は、プロンプト表示領域2bの全体を内包し且つ大きさが最小の四角形2dを仮想的に設定する。図60では、その仮想四角形2dの左下頂点がプロンプト表示領域2bの基点(Xa,Ya)に設定されている。また、仮想四角形2dの横寸法および縦寸法が、プロンプト表示領域2bの横寸法Pおよび縦寸法Qとされている。
制御部11は、入力面内位置(x0,y0)から、入力面内位置(x0,y0)の角度θを算出する。当該角度θは、入力面4aのxy座標において、入力面内位置(x0,y0)と原点とを通る仮想直線4eが、x軸と成す角度である。また、制御部11は、原点から、仮想直線4eと入力面4aの外形線との交点までの距離len1を算出する。また、制御部11は、原点から入力面内位置(x0,y0)までの距離len2を算出する。
また、制御部11は、表示面2aのXY座標において、基点(Xa,Ya)を通りX軸に対して角度θを成す仮想直線2eを求める。次に、制御部11は、基点(Xa,Ya)から、仮想直線2eとプロンプト表示領域2bとの交点までの距離LEN1を算出する。その後、制御部11は、LEN2=LEN1×(len2÷len1)という関係式を使って、距離LEN2を算出する。そして、制御部11は、仮想直線2e上において基点(Xa,Ya)から距離LEN2だけ離れた位置を、表示面内位置(X0,Y0)として求める。
すなわち、図60に例示した形状のプロンプト表示領域2bに対する変換規則は、例えば上記処理手順によって、規定可能である。ここで、上記処理手順は、図59に例示した四角形のプロンプト表示領域2bにも利用可能である。このため、上記処理手順は、一般化された変換規則の一例を提供するものである。
図57の処理S70のステップS11,S12,S13は、図6の処理S10と同様に実行される。制御部11は、後続の検出タイミングで得られた3次元位置情報に対して、ステップS11〜S13を繰り返す。なお、制御部11は、例えばプロンプト表示領域2bの形状等を変更した場合、処理S70をステップS71から実行する。
このように、表示面2aにプロンプト表示領域2bが設定され、入力面4aと入力面内位置(x0,y0)との位置関係が、プロンプト表示領域2bと表示面内位置(X0,Y0)との位置関係に保持されるように、入力面内位置(x0,y0)から表示面内位置(X0,Y0)への変換が行われる。このため、入力面4aと表示面2aとが相似形である必要はないし、さらに入力面4aとプロンプト表示領域2bとが相似形である必要もない。このため、製品開発(仕様設計、デザイン設計、等)に高い自由度を与えることができる。それにより、例えば、製品の操作性の向上に貢献する。
ここで、情報表示制御装置3では、プロンプト表示領域設定処理(ステップS71参照)を採用しているので、プロンプト表示領域2bの形状、大きさ、配置位置、等が可変である。これに対し、従来技術(例えば特許文献1,2の技術)では、入力面の全面が表示面の全面に対応付けられており、しかもその対応付けは固定されている。つまり、従来技術では、入力面と表示面との対応付けが固定されているので、そもそもプロンプト表示領域設定処理を有していない。このため、構成および効果において、情報表示制御装置3は従来技術と相違する。
また、プロンプト表示領域2bを表示面2aの一部に対して設定する場合、従来技術に比べて高い操作性が得られる。すなわち、従来技術では入力面の全面が表示面の全面に対応付けられているので、表示面の一部においてプロンプトを操作する場合、入力面の一部(表示面の一部に対応する部分)において指示物を操作しなければならない。これに対し、情報表示制御装置3によれば、入力面4aをより広く使って(ここでは入力面4aの全面を使って)、プロンプト表示領域2b(ここでは表示面2aの一部に対して設定されている)内のプロンプト31を操作可能である。このため、プロンプト31の精細な操作が容易化され、例えば誤操作を低減できる。つまり、高い操作性が得られる。
なお、プロンプト表示領域設定処理の採用は、プロンプト表示領域2bを表示面2aの全面に設定すること、および、プロンプト表示領域2bを入力面4aと相似形に設定すること、を禁止するものではない。すなわち、プロンプト表示領域設定処理を採用しているからこそ、それらの設定も選択可能なのである。
ところで、入力面内位置(x0,y0)から表示面内位置(X0,Y0)への変換規則(図59および図60参照)は、プロンプト表示領域2bが表示面2aの一部に固定的に予め設定されている場合に対しても、適用可能である。なお、この場合、プロンプト表示領域2bは入力面4aと相似形であってもよいし、相似形でなくてもよい。この例の動作フローは、図57の処理S70からプロンプト表示領域設定ステップS71を省略したものになる。すなわち、図6の処理S10の2次元位置変換処理ステップS12において、プロンプト表示領域2bが表示面2aの一部に固定的に予め設定されている場合用に準備した変換規則を用いればよい。
このような適用例によっても、上記で説明した効果が得られる。また、当該適用例も、入力面の全面が表示面の全面に対応付けられ且つその対応付けが固定されている従来技術に対して、構成および効果において相違する。
<実施の形態6>
実施の形態5では、入力面4aの全面を利用する例を説明した。実施の形態6では、入力面4aにプロンプト表示領域2bの形状に応じた領域を設定し、その領域を、入力を受付ける領域(以下、入力受付領域と称する)として利用する例を説明する。
図61に、表示面2aのプロンプト表示領域2bと、入力面4aの入力受付領域4bとの関係を例示する。図61では、図面を見やすくするために、入力受付領域4bに斜め交差状のハッチングを施しているが、当該ハッチングは入力受付領域4bの色等を限定するものではない。また、図61では図60と同じ形状のプロンプト表示領域2bを例示しているが、プロンプト表示領域2bは他の形状であってもよい。なお、入力面4aのうちで入力受付領域4b以外の領域を、入力非受付領域4cと称することにする。
図61に示すように、入力面4aの入力受付領域4bは、プロンプト表示領域2bと相似形に設定される。かかる形状の入力受付領域4b内に、指示物の入力面内位置(x0,y0)が存在する場合には、プロンプト表示領域2b内の表示面内位置(X0,Y0)にプロンプト31を表示する。
この際、入力受付領域4bとプロンプト表示領域2bとは相似形であるので、相似比をrとして、X0=x0×r+Xa、Y0=y0×r+Yaという変換式(換言すれば、変換規則)によって、入力面内位置(x0,y0)を表示面内位置(X0,Y0)に変換できる。すなわち、相似比rによる相似変換と、基点(Xa,Ya)分の平行移動とを利用して、位置変換を実行可能である。
なお、図61の例では入力受付領域4bの基点の座標を(xa,ya)をxy座標の原点に設定しているが、(xa,ya)≠(0,0)であってもよい。(xa,ya)≠(0,0)の場合も、上記と同様にして変換式を規定可能である。
他方、入力受付領域4b内に指示物の入力面内位置(x0,y0)が存在しない場合、プロンプト31を表示しない。
図62に、実施の形態6に係る動作例のフローチャートを示す。図62に例示の処理S80は、図57の処理S70においてステップS71,S11の間に、入力受付領域4bを設定するステップS81が追加されている。当該ステップS81では、制御部11が、上記のように入力面4aに対してプロンプト表示領域2bと相似形の入力受付領域4bを設定する入力受付領域設定処理を、実行する。
他のステップS71,S11〜S13は基本的に処理S70の場合と同様であるが、2次元位置変換処理ステップS12は、入力面内位置が入力受付領域4b内に存在することを条件にして、実行される点が異なる。すなわち、処理S80における2次元位置変換処理は、入力面内位置が入力受付領域4b内に存在するか否かの判別処理も含んでいる。
処理S80は、各検出タイミングで3次元位置情報が得られる度に、実行される。
実施の形態6によれば、入力受付領域4bがプロンプト表示領域2bと相似形であるので、指示物の移動量(換言すれば、入力面内位置の移動量)とプロンプト31の移動量とが比例関係になる。このため、直感的な操作が確保される。また、指示物の入力面内位置(x0,y0)が入力受付領域4b内に存在しない場合にはプロンプト31を表示しないので、指示物がそのような状況にあることを表示面2aを通して把握できる。
入力受付領域4bは入力面4aにおいて最大の大きさで設定されるのが好ましい。これによれば、入力面4aをより広く使って、プロンプト表示領域2b内のプロンプト31を操作可能である。このため、プロンプト31の精細な操作が容易化され、例えば誤操作を低減できる。つまり、高い操作性が得られる。
また、制御部11は、入力受付領域設定処理において、入力面4aのうちで入力受付領域4bまたは入力非受付領域4cを選択的に盛り上げる指示を、タッチパネル4に与えてもよい。タッチパネル4が入力面4aを部分的に盛り上げる機能を有している場合、タッチパネル4は制御部11からの上記指示に従って該当する領域を盛り上げる。これによれば、ユーザは、その盛り上がりの境界を指示物を介して認識でき、それにより入力受付領域4bの範囲を入力面4aを見なくても判別できる。このため、操作性が向上する。
ここで、図62の処理S80では、ステップS71においてプロンプト表示領域設定処理を実行する。このため、プロンプト表示領域2bは可変であり、プロンプト表示領域2bを表示面2aの一部または全部に対して設定可能である。これに対し、プロンプト表示領域2bが表示面2aの一部に固定的に予め設定されている場合に対しても、処理S80を応用可能である。すなわち、処理S80からステップS71を省略してもよい。
なお、実施の形態6では、タッチパネル4は非接触型(3D型)と接触型(2D型)のいずれでもよい。
<変形例>
上記では、表示装置2の表示面2aと入力装置4の入力面4aとが別の場所に配置される例を挙げた。しかし、入力面4aが表示面2a上に重ねられた構造にも、上記の各種工夫を採用可能である。
なお、本発明は、その発明の範囲内において、各実施の形態を自由に組み合わせたり、各実施の形態を適宜、変形、省略することが可能である。