JP5511682B2 - 表示入力装置及びナビゲーションシステム - Google Patents

Description

この発明は、特に、ナビゲーションシステム等の車載情報機器に用いて好適な、表示入力装置に関するものである。

タッチパネルは、例えば、ＬＣＤ（液晶）パネル上にマトリクス状のタッチセンサが積層され構成された電子部品であり、ＬＣＤパネルに表示されたアイコン等の入力ボタン表示領域にユーザが指やペン等の検出対象を用いてタッチすることにより、タッチされた画面上の座標位置情報を検出し、機器を操作することのできる表示入力装置である。このため、車載ナビゲーションシステムや銀行ＡＴＭ（Automatic Teller Machine）等、操作を直感的に扱えることが要求される機器に組み込まれ使用されることが多い。

上記したタッチパネルの操作性や使い勝手を向上させるための提案が従来から多数出願されている。
例えば、指を近づけたときに指の近傍に位置するキースイッチを拡大して表示し、選択操作を容易化した表示入力装置（例えば、特許文献１参照）、垂直方向の距離を検出し、その距離に応じた拡大率で情報を表示するＣＲＴ装置（例えば、特許文献２参照）、アームスイッチに手が接触したか否かを検出し、手が接触したときにアイコンの並びを変更するタッチパネルを備えた入力装置（例えば、特許文献３参照）、等が知られている。

特開２００６−３１４９９号公報 特開平０４−１２８８７７号公報 特開２００８−１２９６８９号公報

上記した特許文献１に開示された技術によれば、指を近づけたときに近傍のアイコンが拡大表示されるため、誤操作を防止でき、選択操作を容易にするが、単に拡大処理して画面に表示するだけであるため、アイコンが画面上に分散して配置される車載情報機器では操作のために指を多方面に動かす必要があり安全運転上好ましくなく、また、特許文献２に開示された３次元タッチパネルを利用した新たなユーザインタフェースを提供するには至っていない。

また、特許文献３に開示された技術によれば、ユーザの手を検出しない場合に比べてアイコンを所定の位置に近づけて表示するため、入力操作は容易化され、操作性は向上するが、この場合のアイコンの表示位置はアームスイッチの実装位置に依存し、また、画面に表示されるアイコンの並びを変更するためにはユーザの手がアームスイッチに接触していることが前提になるため、逆に操作性を損なう場合がある。

この発明は上記した課題を解決するためになされたものであり、一層の操作性の向上をはかった表示入力装置を提供することを目的とする。

上記した課題を解決するためにこの発明の表示入力装置は、情報の表示および入力を行うタッチパネルと、前記タッチパネルに対向して位置する検出対象の動きを検出する近接センサと、前記近接センサで前記タッチパネルに前記検出対象の所定量の接近が検出された場合に、前記タッチパネルに表示され操作処理と対応付けられた表示対象を、前記検出対象が前記タッチパネルにタッチする前に前記検出対象の停止位置近傍に移動させて表示し、前記検出対象が前記タッチパネルにタッチすると、タッチされた表示対象に対応付けられた操作処理を実行する制御部とを備え、前記制御部は、前記表示対象を、前記近接センサにより検出される前記タッチパネルと前記検出対象との距離に応じた速度で前記検出対象の停止位置近傍に移動させて表示するものである。

この発明によれば、一層の操作性の向上をはかった表示入力装置を提供することができる。

この発明の実施の形態１に係る表示入力装置の内部構成を示すブロック図である。 この発明の実施の形態１に係る表示入力装置が有するナビＣＰＵのプログラム構造を機能展開して示したブロック図である。 この発明の実施の形態１に係る表示入力装置が有する描画回路の内部構成を示すブロック図である。 この発明の実施の形態１に係る表示入力装置の動作を示すフローチャートである。 この発明の実施の形態１に係る表示入力装置の動作をタッチパネル上に模式的に示した画面遷移図である。 この発明の実施の形態１に係る表示入力装置動作をタッチパネル上に模式的に示した動作概念図である。 この発明の実施の形態２に係る表示入力装置の動作をタッチパネル上に模式的に示した動作概念図である。 この発明の実施の形態３に係る表示入力装置の動作をタッチパネル上に模式的に示した動作概念図である。 この発明の実施の形態４に係る表示入力装置が有するナビＣＰＵのプログラム構造を機能展開して示したブロック図である。 この発明の実施の形４に係る表示入力装置の動作をタッチパネル上に模式的に示した動作概念図である。 この発明の実施の形態５に係る表示入力装置が有するナビＣＰＵのプログラム構造を機能展開して示したブロック図である。 この発明の実施の形態５に係る表示入力装置の動作を示すフローチャートである。 この発明の実施の形態５に係る表示入力装置の動作をグラフにより示した図である。 この発明の実施の形態６に係る表示入力装置が有するナビＣＰＵのプログラム構造を機能展開して示したブロック図である。 この発明の実施の形態６に係る表示入力装置の動作をタッチパネル上に模式的に示した動作概念図である。

以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
図１は、この発明の実施の形態１に係る表示入力装置の構成を示すブロック図である。図１に示されるように、この発明の実施の形態１に係る表示入力装置は、タッチパネル式表示装置（以下、タッチパネルと略称する）１と、外部センサ２と、制御部３と、により構成される。

タッチパネル１は、情報の表示ならびに入力を行うもので、例えば、情報の表示を行うＬＣＤパネル１０上に、情報の入力を行うタッチセンサ１１が積層されて構成され、ここでは、更に、タッチセンサ１１の外周に沿うように、タッチパネル１と、タッチパネル１に対向して位置する指やペン等検出対象の動きを２次元で非接触検知する近接センサ１２が複数実装されている。

近接センサ１２は、検出媒体として例えば赤外線を使用した場合、赤外線発光ＬＥＤ（Light Emitted Diode）と、受光トランジスタとが、タッチセンサ１１の外周に格子状に対向配置され、検出対象が近づいたことによる遮蔽もしくは反射光により、接近を検出するとともに、その座標位置を検出するものである。
近接センサ１２は、その検出媒体が上記した赤外線に限らず、例えば、検出対象とコンデンサのように平行に配置された２枚の平板との間に生じる静電容量の変化により接近を検出する静電容量型で代替してもよい。この場合、平板は、一方の片側が検出対象に向く接地面、他方の片側がセンサ検出面となり、この２極間に形成される静電容量の変化により検出対象の接近を検出するとともにその座標位置を検出することができる。

一方、外部センサ２は車両の随所に実装され、少なくとも、ＧＰＳ（Global Positioning System）センサ２１と、車速センサ２２と、加速度センサ２３とを含む。
ＧＰＳセンサ２１は、ＧＰＳ衛星からの電波を受信して、制御部３が、緯度、経度を測位するための信号を生成して制御部３に出力する。車速センサ２２は、例えば、車速センサであり、車両が走行中か否かを判定するための車速バルスを計測して制御部３に出力する。加速度センサ２３は、例えば、バネに取り付けた錘が変位する量を計測して錘にかかる加速度を推定するセンサであり、３軸加速度センサの場合、例えば、０（重力加速度のみ）から数１００Ｈｚまでの加速度変動に追従し、Ｘ、Ｙ方向の加速度ベクトルの合計から地面に対する向き（姿勢）を測定して制御部３に出力する。

制御部３は、近接センサ１２でタッチパネル１に検出対象の所定量の接近が検出された場合に、タッチパネル１に表示された、例えば、アイコンや特定の画像情報等の表示対象を検出対象の停止位置近傍に、例えばスムーズスクロール等の方法で移動させ、表示する機能を有する。このため、制御部３は、ナビゲーションを主目的とするＣＰＵ（以下、ナビＣＰＵ３０という）と、描画回路３１と、メモリ３２と、地図ＤＢ（Data Base）３３、とにより構成される。

ナビＣＰＵ３０は、タッチパネル１に表示された目的地誘導等のナビゲーションメニューがユーザにより選択されることで、そのメニューにしたがうナビゲーション処理を行う。ナビゲーション処理を行うにあたり、ナビＣＰＵ３０は、地図ＤＢ３３に格納された地図情報を参照し、外部センサ２から取得される各種センサ信号に基づき、ルート検索、あるいは上記した目的地誘導等を行う。
また、ナビＣＰＵ３０は、近接センサ１２でタッチパネル１に検出対象の所定量の接近が検出された場合に、タッチパネル１に表示された１以上の一定範囲の表示領域の情報の少なくとも一つを検出対象の停止位置近傍に移動させ表示する、制御部３としての機能を実現するために、メモリ３２に記憶されたプログラムにしたがい画像情報を生成して描画回路３１の制御を行う。その場合のナビＣＰＵ３０が実行するプログラムの構造は図２に示されており、その詳細は後述する。

描画回路３１は、ナビＣＰＵ３０により生成される画像情報を一定の速度で、内蔵し、あるいは外付けされるビットマップメモリ上に展開し、同じく内蔵する表示制御部によりビットマップメモリに展開された画像情報をタッチパネル１（ＬＣＤパネル１０）の表示タイミングに同期して読み出し、タッチパネル１に表示する。上記したビットマップメモリおよび表示制御部は、図３に示されており、その詳細は後述する。

なお、メモリ３２には、上記したプログラムが記憶されるプログラム領域の他に、作業領域に、アイコン属性記憶領域や、画像情報記憶領域等が割り付けられ記憶されている。
ここで、「アイコン属性」とは、アイコン毎に定義される、デフォルト表示位置、および上記した移動表示が可能か否かをフラグにより示す情報であり、更に、表示入力装置が車載用のマンマシン機器として適用される場合には、運転席乗員、助手席乗員のいずれによって使用されるアイコンであるかを示す情報についても属性として付加してもよい。詳細は後述する。また、地図ＤＢ３３には、ルート検索、誘導等、ナビゲーションに必要な地図や施設情報等が格納されている。

図２は、この発明の実施の形態１に係る表示入力装置（制御部３）が有する図１のナビＣＰＵ３０が実行するプログラムの構造を機能展開して示したブロック図である。
図２に示されるように、ナビＣＰＵ３０は、主制御部３００と、近接座標位置計算部３０１と、タッチ座標位置計算部３０２と、画像情報生成部３０３と、画像情報転送部３０４と、重なり検出部３０５と、操作情報処理部３０６と、を含む。

近接座標位置計算部３０１は、近接センサ１２により検出対象の接近が検出されたときにそのＸＹ座標位置を計算して主制御部３００に引き渡す機能を有する。
タッチ座標位置計算部３０２は、タッチセンサ１１により検出対象によるタッチパネル１へのタッチが検出された場合にそのＸＹ座標位置を計算して主制御部３００に引き渡す機能を有する。

画像情報生成部３０３は、主制御部３００による制御の下でタッチパネル１に表示するアイコンを含む画像情報を生成して画像情報転送部３０４へ出力する機能を有する。
ここで、タッチパネル１に表示されたアイコン等１以上の一定範囲の表示領域の情報を指やペン等検出対象の停止位置近傍に移動させて表示するにあたり、ナビＣＰＵ３０は、「画面切り替え」、あるいは「スムーズスクロール」の方法を用いることとする。「画面切り替え」とは、画像情報生成部３０３がタッチパネル１（ＬＣＤパネル１０）の非表示期間内に表示すべき画像情報を瞬時に更新してメモリ３２の画像情報記憶領域３２２に書き込み、次の表示期間で瞬時に更新された画像情報を画像情報転送部３０４が描画回路３１に転送して瞬時に移動表示することをいい、「スムーズスクロール」とは、画像情報生成部３０３がタッチパネル１（ＬＣＤパネル１０）の非表示期間毎にビット単位で画像情報の更新を繰り返し、画像情報転送部３０４が表示期間毎に都度更新された画像情報を描画回路３１に転送してスムーズに移動表示することをいう。「画面切り替え」、あるいは「スムーズスクロール」の方法はＨ／Ｗ、Ｓ／Ｗによって種々の方法があり、上記の方法に拘るものではない。

また、画像情報生成部３０３は、主制御部３００による制御の下で、指やペン等の検出対象がタッチパネル１に接近する距離に応じて検出対象の停止位置近傍に移動して表示されるアイコン等１以上の一定範囲の表示領域の情報を拡大処理することもできる。
ここで、「拡大処理」は、画像情報生成部３０３が、例えば、既に生成済みのアイコン等のビットマップ画像を一定の割合で読み出して補間し、新しいビットマップに描画することをいう。例えば、２倍に拡大する場合、元のビットマップのピクセルの１つを縦横方向に２×２に重ねて描画し、逆に、縮小の場合、元のビットマップのピクセルを一定の割合で間引いて描画していくことにより実現が可能である。ここではビット画像の拡大縮小の方法で説明したが、ビット画像ではなくベクタ画像の場合は所定の拡縮計算処理によりきれいな画像の拡大縮小ができる。

画像情報転送部３０４は、画像情報生成部３０３により生成される画像情報を主制御部３００によるタイミング制御により描画回路３１に転送する機能を有する。
重なり検出部３０５は、複数のアイコンを指やペン等検出対象の停止位置近傍に移動させて表示するにあたって発生する可能性があるアイコン表示位置の重なりを検出する機能を有し、ここで、アイコン表示位置の重なりが検出された場合、画像情報生成部３０３は、重なりが発生しないように再配置されたアイコンを含む画像情報を生成してメモリ３２の画像情報記憶領域３２２に転送する。ここで、アイコン表示位置の重なり検出、および再配置は、メモリ３２の所定の領域に割り付けられ格納されたアイコン属性に定義されたデフォルト表示位置を基点に、移動表示後の各アイコンの表示アドレスを算出し、比較することにより実現が可能である。

操作情報処理部３０６は、主制御部３００による制御の下、タッチ座標位置計算部３０２で計算されたタッチ座標位置に基づくアイコンに定義された操作情報、例えば、ソフトキーボードであれば、タッチされたキーに基づく画像情報を生成して画像情報転送部３０４へ出力し、アイコンボタンであれば、そのアイコンボタンに定義された目的地検索等のナビゲーション処理を実行して画像情報を生成し、画像情報転送部３０４へ出力し、それぞれタッチパネル１（ＬＣＤモニタ１０）に表示する機能を有する。
なお、メモリ３２には、上記したプログラムが記憶されるプログラム領域３２０の他に、所定量の作業領域が割り当てられており、この作業領域の中には、上記したアイコン属性が定義され記憶されるアイコン属性記憶領域３２１、画像情報生成部３０３により生成される画像情報がテンポラリに記憶される画像情報記憶領域３２２が含まれる。

図３は、図１に示す描画回路３１の内部構成を示すブロック図である。図３に示されるように、描画回路３１は、描画制御部３１０と、画像バッファ部３１１と、描画部３１２と、ビットマップメモリ部３１３と、表示制御部３１４と、により構成され、いずれも、アドレス、データ、コントロールのためのラインが複数本で構成されるローカルバス３１６経由で共通接続されている。

上記構成において、図２に示したナビＣＰＵ３０（画像情報転送部３０４）から転送される画像情報は、描画制御部３１０による制御の下で画像バッファ部３１１に保持され、描画制御部３１０は、直線描画や矩形描画等の命令をデコードし、あるいは直線の傾き等についての描画の前処理を行う。そして、描画制御部３１０により起動される描画部３１２は、描画制御部３１０によりデコードされた画像情報をビットマップメモリ部３１３に高速描画し、表示制御部３１４は、ビットマップメモリ部３１３に保持された画像情報をタッチパネル１のＬＣＤパネル１０の表示タイミングに同期して読出し表示する。

図４は、この発明の実施の形態１に係る表示入力装置の動作を示すフローチャートである。また、図５は、そのときの１以上の一定範囲の表示領域の情報としてのアイコン群、および検出対象としての指の動きをタッチパネル１上に模式して示した画面遷移図である。
以下、図４、図５を参照しながら、図１〜図３に示したこの発明の実施の形態１に係る表示入力装置の動作について詳細に説明する。

図５（ａ）に示されるように、アイコン群は、タッチパネル１（ＬＣＤパネル１０）におけるデフォルト位置ａに表示されているものとする（図４のステップＳＴ４０１）。
ユーザは、タッチパネル１を操作しようとして指をタッチパネル１に近づけると、近接センサ１２がこれを検知し、ナビＣＰＵ３０に近接信号を送信する。このとき、ナビＣＰＵ３０は、主制御部３００が、指のＺ軸上の位置とタッチパネル１のパネル面との距離が所定値内にあるか否かを判定する（ステップＳＴ４０２）。ここでいう所定値内とは、図５（ｂ）に示すＺｒｅｆをいう。

ここで、指とパネル面との距離が所定値内にあることが検出されると（ステップＳＴ４０２“ＹＥＳ”）、近接座標位置計算部３０１は、指のＸＹ座標値Ｏ_xyを計算し、その指のＸＹ座標値Ｏ_xyを、主制御部３００に、例えば、０．０１秒毎に０．１秒間だけ入力する（ステップＳＴ４０３）。
主制御部３００は、入力された指のＸＹ座標値Ｏ_xyを、０．１秒の間連続して受信することにより、指の移動あるいは停止を判別することができる。すなわち、０．１秒の間に指のＸＹ座標値Ｏ_xyの変化がない場合、すなわち、タッチパネル１のＸＹ方向に指の移動がないと判別された場合（ステップＳＴ４０４“ＮＯ”）、主制御部３００は、更に、アイコン表示位置と指のＸＹ座標値Ｏ_xyとの距離が所定値以上あるか否かを判定し（ステップＳＴ４０５）、所定値以上あった場合（ステップＳＴ４０５“ＹＥＳ”）、主制御部３００は、画像情報生成部３０３による画像情報（スクロール画像）の生成処理を起動する。説明の都合上、主制御部３００は０．１秒間で移動の有無を判断したが、連続する過去の履歴を覚えておき０．１秒×何回かの情報で移動を判定しても良い。この場合、多少の指の震えは上記ＸＹ座標値Ｏｘｙの変化がないと判断することができ、精度があがる。

すなわち、画像情報生成部３０３は、アイコン表示位置を指のＸＹ座標値Ｏ_xyに近づけるように画像情報を生成し、ここで生成された画像情報は、メモリ３２の画像情報記憶領域３２２に書き込まれ、スクロール速度に応じて都度更新されるとともに、画像情報転送部３０４に出力される。
画像情報転送部３０４はこれを受け、画像情報生成部３０３により生成された画像情報を描画回路３１に転送し、描画回路３１は、描画制御部３１０が転送された画像情報を展開し、描画部３１２がビットマップメモリ部３１３に高速で描画する。そして、表示制御部３１４がタッチパネル１に所望のスクロール表示、すなわち、アイコンをタッチパネル１の指のＸＹ座標値Ｏ_xyに徐々に移動して近づけるスムーズスクロール表示を行う（ステップＳＴ４０６）。このときの画面遷移の一例は、図５（ｃ）に示されている。

なお、ステップＳＴ４０４のＸＹ方向の指の移動判定処理で指の移動ありと判定された場合（ステップＳＴ４０４“ＹＥＳ”）、あるいは、ステップＳＴ４０５のアイコン表示位置と指のＸＹ座標値Ｏ_xyとの距離判定処理で、所定値以上の距離がないと判定された場合は（ステップＳＴ４０５“ＮＯ”）、いずれもアイコンの表示位置に変化はないことがわかる（ステップＳＴ４０７）。このときの画面遷移の例が図５（ｄ）に示されている。

主制御部３００は、ステップＳＴ４０２で、指とタッチパネル面との距離が所定の範囲内にあると判定された場合（ステップＳＴ４０２“ＹＥＳ”）、タッチパネル１によりアイコンが指でタッチされたことが検出されるまで（ステップＳＴ４１０“ＹＥＳ”）、上記したステップＳＴ４０２〜ＳＴ４０７の処理を繰り返し実行する。
このことにより、図５（ｅ）の画面遷移に示されるように、アイコン表示位置がタッチパネル１の指のＸＹ座標値Ｏ_xyに限りなく近づいてスクロール表示される。

なお、タッチパネル１（タッチセンサ１１）によりアイコンが指でタッチされたことが検出されると（ステップＳＴ４１０“ＹＥＳ”）、タッチ座標位置計算部３０２は、そのタッチ座標位置を計算して操作情報処理部３０６を起動し、操作情報処理部３０６は、タッチ座標位置計算部３０２で計算されたタッチ座標に相当するキーに基づく操作処理を実行する（ステップＳＴ４１１）ここで、タッチ座標に相当するキーに基づく操作処理とは、ソフトキーボードの場合、タッチされたキーに基づく画像情報を生成して画像情報転送部３０４に出力し、アイコンボタンの場合、タッチされたアイコンボタンに定義された目的地検索等のナビゲーション処理を実行して画像情報を生成して画像情報転送部３０４に出力し、それぞれタッチパネル１（ＬＣＤモニタ１０）に表示することをいう。

一方、ステップＳＴ４０２において、指とパネル面との距離が所定値以上であることが検出されると（ステップＳＴ４０２“ＮＯ”）、主制御部３００は、現在表示されているアイコンの表示位置とアイコンのデフォルト座標位置ａとの比較判定を行う（ステップＳＴ４０８）。ここで、異なると判定された場合（ステップＳＴ４０８“ＮＯ”）、すなわち、デフォルト位置からタッチパネル１の画面上をアイコンが移動している場合、主制御部３００は、画像情報生成部３０３を制御し、画像情報生成部３０３は、アイコンをデフォルトの表示位置ａに近づけるように画像情報を生成し、ここで生成された画像情報は、メモリ３２の画像情報記憶領域３２２に記憶されるとともに、都度、画像情報転送部３０４に出力される。

画像情報転送部３０４は、これをうけて画像情報を描画回路３１に転送し、描画回路３１は、描画制御部３１０が転送された画像情報を展開し、描画部３１２がビットマップメモリ部３１３に高速で描画する。
そして、表示制御部３１４がタッチパネル１（ＬＣＤパネル１０）に所望の表示を行う。すなわち、表示制御部３１４は、アイコンを指の停止位置近傍に位置する現在の表示位置からデフォルト表示位置ａに近づけるためのスムーズスクロール表示を行う（ステップＳＴ４０９）。このときの画面遷移が図５（ｆ）に示されている。

なお、ステップＳＴ４０２で指のＺ軸上の位置とタッチパネル面との距離が所定値以上あると判定された場合（ステップＳＴ４０２“ＮＯ”）、主制御部３００は、アイコンがデフォルト位置ａに復帰するまで、ステップＳＴ４０８のアイコン座標判定処理と、ＳＴ４０９のデフォルト位置へのスムーズスクロール表示処理とを繰り返し実行する。

上記したこの発明の実施の形態１に係る表示入力装置によれば、制御部３（ナビＣＰＵ３０）が、近接センサ１２でタッチパネル１に指の所定量の接近が検出された場合に、タッチパネル１に表示されたアイコンの少なくとも一つを指の停止位置近傍に移動させ、表示することで新規なユーザインタフェースを提供でき、特に、ナビゲーション等を行う車載情報機器に用いた場合に使い勝手が向上し、一層の操作性向上がはかれる。

なお、この発明の実施の形態１に係る表示入力装置によれば、移動表示を実現するために、アイコンが一定速度で指の座標位置に近づくスムーズスクロールすることとして説明したが、スムーズスクロールによる移動表示に代え、瞬時に移動表示させてもよい。
この場合、ナビＣＰＵ３０（画像情報生成部３０３）は、タッチパネル１（ＬＣＤパネル１０）に表示される画像を瞬時に切り替えるために、アイコンが移動済みの切り替え画像を生成し、更新する必要がある。このことにより、ナビＣＰＵ３０の負荷が軽減される。

また、この発明の実施の形態１に係る表示入力装置によれば、複数のアイコンが指の停止位置に集まって表示される例について説明したが、指の接近に影響を受けないアイコンは移動表示の対象から除外し、また、指の接近に伴い、逆に離れるアイコンを設定してもよい。これは、メモリ３２のアイコン属性記憶領域３２１に定義されるアイコン属性を書き換えることで実現が可能である。
図６に、この発明の実施の形態１に係る表示入力装置の動作をタッチパネル上に模式的に示した動作概念図が示されている。図６（ａ）には、指が近づいたことでスムーズスクロールにより指位置近傍に集まるアイコン（「方位」、「縮尺」、「方向」を示す各アイコン）が示されており、図６（ｂ）には、その場合に集まるアイコン（「縮尺」アイコン）と、集まらないアイコン（「方位」アイコン他）が示されている。

また、複数アイコンの移動表示により、アイコン表示位置の重なりが生じた場合、画像情報生成部３０３は、主制御部３００による制御の下で重なりが発生しないように再配置されたアイコン画像を生成する必要がある。このとき、ナビＣＰＵ３０（重なり検出部３０５）は、メモリ３２に記憶されたアイコン属性を参照してアイコンの重なりを検出し、画像情報生成部３０３によるアイコンの再配置画像生成処理を制御する必要がある。このことにより、アイコンの視認性が向上し、誤操作を防止することができる。
更に、ナビＣＰＵ３０は、指がタッチパネル１に接近する距離に応じてアイコンを拡大処理して表示してもよい。この場合、距離が近づくにつれ、アイコンが拡大表示されれば、例えば、車両の振動等のブレによる誤操作を防止することができ、操作性の一層の向上がはかれる。本実施例では、ステップＳＴ４０８からステップＳＴ４０９に処理が移行したときに、すぐにアイコンをデフォルト位置ａに近づけたが、一定時間（例えば０．５秒程度）この指が遠い状態が続いてからアイコンをデフォルト位置に移動する様にしてもよい。この場合、誤って指がタッチパネルから遠くなった場合の操作感が良くなる。

実施の形態２．
図７は、この発明の実施の形態２に係る表示入力装置の動作をタッチパネルの画面上に示した動作概念図である。
この発明の実施の形態２に係る表示入力装置は、上記した実施の形態１同様、図１に示す表示入力装置と同様の構成を用い、また、図２に示すナビＣＰＵ３０のプログラム構造と同様の構造を用いるものとする。

図４に示すフローチャートにしたがい動作する実施の形態１では、タッチパネル１に表示されたアイコンが指のＸＹ座標値Ｏ_xyに移動して表示されるものとしたが、以下に説明する実施の形態２では、指のＸＹ座標値Ｏ_xyではなく、タッチパネル１の予め定められた座標位置に近づけて表示させることにしたものである。
すなわち、図７の動作概念図に示されるように、例えば、タッチパネル１の格子点上に代表点ｑ１（_X1Y1）〜ｑ４（_X2Y3）を定義しておき、指のＸＹ座標値Ｏ_xyに近い代表点ｑ１（_X1Y1）にアイコンが近づくように制御することとした。これは、ナビＣＰＵ３０（画像情報生成部３０３）が、アイコンを含む画像情報を生成する際に、予め定義された複数の代表点と、指のＸＹ座標値Ｑ_xyとの差分を演算し、その差分が最小となる代表点に生成されたアイコンを含む画像情報をメモリ３２の画像情報記憶領域３２２に書き込むことで実現が可能である。

上記した実施の形態２に係る表示入力装置によれば、制御部３（ナビＣＰＵ３０）が、近接センサ１２で指の所定量の接近が検出された場合に、タッチパネル１に表示されたアイコンの少なくとも一つを、指の停止位置近傍の予め規定された場所に移動させて表示することにより、上記した実施の形態１が有する効果の他に、アイコンが移動表示されるタッチパネル１の座標が固定されるため、ソフトウェアの作りが容易になる。
また、アイコンが移動して集まるパターンを代表の格子点の数だけ準備すればよいため、アイコンの重なり等の処理を省くことができる。

実施の形態３．
図８は、この発明の実施の形態３に係る表示入力装置の動作をタッチパネルの画面上に示した動作概念図である。
この発明の実施の形態３に係る表示入力装置は、上記した実施の形態１同様、図１に示す表示入力装置と同様の構成を用い、図２に示すナビＣＰＵ３０のプログラム構造と同様の構造を用いるものとする。

以下に説明する実施の形態３に係る表示入力装置によれば、図８（ａ）に示されるように、ナビＣＰＵ３０は、近接センサ１２により、指位置がタッチパネル１の（向かって）左半分に位置することが検出された場合に、アイコン属性にしたがう１以上のアイコンがレイアウトされた第１のパターン（Ａ）に基づき、アイコン群を指の停止位置近傍に移動させて表示する。
一方、ナビＣＰＵ３０は、図８（ｂ）に示されるように、近接センサ１２により、指の位置がタッチパネル１の（向かって）右半分に位置することが検出された場合に、アイコン属性にしたがう１以上のアイコンがレイアウトされた第２のパターン（Ｂ）に基づき、アイコン群を指の停止位置近傍に移動させて表示する。なお、移動表示の原理は実施の形態１と同様であるため、重複を回避する意味で説明を省略する。

上記したこの発明の実施の形態３に係る表示入力装置によれば、指がタッチパネル１に接近した場合、アイコンパターンの配置を変更し、例えば、助手席乗員は国内で使用する場合左からの操作が容易であるため、タッチパネル１の左サイドから指を近づけた場合に、アイコン群がタッチパネル１の左サイドに集合して表示され、運転席乗員がタッチパネル１の右サイドから指を近づけた場合に、アイコン群がタッチパネル１の右サイドに集合して表示される。
このため、助手席乗員、運転席乗員の操作に適したアイコン配列が可能であり、それぞれの乗員に対する使い勝手の向上がはかれる。ここで、左あるいは右サイドに集合して配列されるアイコン群は、あらかじめメモリ３２のアイコン属性記憶領域３２１に、例えば、「ＤＶＤ再生」アイコンは、助手席乗員用アイコンとして、「ルート検索」アイコンは運転席乗員用アイコンとして、それぞれあらかじめ定義しておくことで実現が可能である。

実施の形態４．
図９は、この発明の実施の形態４に係る表示入力装置のナビＣＰＵ３０が有するプログラムの構造を機能展開して示したブロック図である。
図９に示されるように、この発明の実施の形態４に係る表示入力装置において、ナビＣＰＵ３０は、図２に示す実施の形態１が有する構造に、更に、操作者検知部３０７が付加されている。操作者検知部３０７は、タッチパネル１に対向して位置する指が、車両の運転席側と助手席側のいずれの方向から進入してきたかを検出する機能を有する。操作者検知部３０７は、具体的には、近接センサ１２により出力される信号に基づく近接座標位置計算により、あるいは不図示の車載カメラにより撮影された画像を処理することにより、指が、車両の運転席側と助手席側のいずれの方向から進入してきたかを検出し、画像情報生成部３０３によるスクロール画像の生成処理を制御する。

制御部３（ナビＣＰＵ３０）は、例えば、近接センサ１２により指が運転席側から進入したと判定された場合に、運転席乗員の操作に適した１以上のアイコンがレイアウトされた第１のパターンを所定の速度で移動して表示し、助手席側から進入したと判定された場合に、助手席の乗員の操作に適したアイコンがレイアウトされた第２のパターンを所定の速度で移動して表示する。なお、移動表示の原理は実施の形態１と同様であるため、重複を回避する意味で説明を省略する。

図１０は、この発明の実施の形態４に係る表示入力装置の動作をタッチパネル上に示した動作概念図である。
図１０（ａ）は、運転席乗員がタッチパネル１に指を近づけた場合と、助手席乗員が指を近づけた場合に配列されるアイコン群を示したものであり、上記した第１のパターンに相当するアイコン群は向かって左サイドに、第２のパターンに相当するアイコン群は、向かって右サイドに示されている。ここでは、画面の略中央を境に、「ＤＶＤ停止」、「ＤＶＤ再生」のボタンアイコンが、助手席乗員操作用に左サイドに表示され、「周辺検索」、「ルート変更」のボタンアイコンが、運転席乗員用に右サイドに表示されている。また、図１０（ｂ）に示されるように、近づける指が運転席乗員か助手席乗員かの別により、移動表示されるアイコンが選択表示されてもよい。この場合、制御部３（ナビＣＰＵ３０）は、近接センサ１２により運転席側から進入したと判定された場合と助手席側から進入したと判定された場合とのそれぞれにおいて、メモリ３２のアイコン属性記憶領域３２１が示す属性により、指の停止位置近傍に移動させるアイコンを選択して表示することになる。ここでは、運転席乗員がナビメニューを、助手席乗員がオーディオメニューを選択して指位置近傍に移動表示する例が示されている。

上記したこの発明の実施の形態４に係る表示入力装置によれば、実施の形態１が有する効果の他に、ナビゲーション等を行う車載情報機器に適用した場合、助手席乗員、運転席乗員の操作内容に適したアイコン配列が可能になり、また、それぞれに表示されるアイコン選択を可能にすることで、柔軟性、拡張性に優れたユーザインタフェースを提供でき、一層の操作性の向上が図れ、使い勝手が向上する。

実施の形態５．
以下に説明する実施の形態５に係る表示入力装置は、パネル面と指との間のＺ方向の距離も測定可能な３次元タッチパネルに適用したものである。すなわち、図１に示すＸＹ方向の位置検知が可能なタッチパネル１を、Ｚ方向の距離も測定可能な３次元タッチパネルに置換えるものである。３次元位置を計測する技術は、特許文献２に開示されているため、この技術を適用するものとして説明する。以下に説明する実施の形態５では、指の接近距離に応じてアイコンの移動表示速度を可変制御するものである。

図１１は、この発明の実施の形態５に係る表示入力装置のナビＣＰＵ３０が有するプログラムの構造を機能展開して示したブロック図である。
図１１に示されるように、この発明の実施の形態５に係る表示入力装置において使用されるナビＣＰＵ３０は、図２に示す実施の形態１に係る表示入力装置のナビＣＰＵ３０が有する近接座標位置計算部３０１を、３次元座標位置計算が可能なように機能拡張し、更に、ＵＩ（User Interface）提供部３０８を付加した構造になっている。ＵＩ提供部３０８は、タッチパネル１と指のＺ方向の距離に応じて決まるアイコンの表示移動速度を、３次元タッチパネルを介して入力されるユーザ設定により可変とするユーザインタフェースを提供する機能を有する。つまり、設定画面を利用してユーザによるアイコンの表示移動速度（スクロール速度）を可変とするものである。

なお、上記した表示移動速度は、ユーザ設定によらず、近接センサ１２により検出されたタッチパネル１と指との距離に応じて決まる速度で指の停止位置近傍に移動させ、表示してもよく、また、メモリ３２のアイコン属性記憶領域３２１に定義されたアイコン属性により表示移動速度を可変としてもよい。

図１２は、この発明の実施の形態５に係る表示入力装置の動作を示すフローチャートであり、図１３は、そのときのタッチパネル１と指との間の距離と、アイコンの移動速度との関係をグラフ表示した図である。
図１３のグラフに示されるように、指がタッチパネル１に４ｃｍ以内に近づくとアイコンがスムーズスクロールして指位置近傍に集まって表示され、その速度は１ｃｍで最大、１ｃｍ未満ではアイコンは動かないものとして説明する。以下、図１２、図１３を参照しながら、この発明の実施の形態５に係る表示入力装置の動作について詳細に説明する。

まず、アイコン群は、３次元タッチパネルの画面上のデフォルト位置ａに表示されているものとする（ステップＳＴ１２１）。
ユーザが、３次元タッチパネルを操作しようとして指を近づけると、近接センサ１２はこれを検知してナビＣＰＵ３０に信号を送信し、ナビＣＰＵ３０は、主制御部３００が、指のＺ軸上の位置と３次元タッチパネル面との距離が所定距離４ｃｍ内にあるか否かを判定する（ステップＳＴ１２２）。

ここで、指とタッチパネル面とのＺ軸上の距離が４ｃｍ範囲内にあることが検出されると（ステップＳＴ１２２“ＹＥＳ”）、近接座標位置計算部３０１は、指のＸＹ座標値Ｏ_xy、および指のＺ座標値Ｏ_zを計算し、その指のＸＹＺ座標値Ｏ_xyzを、主制御部３００に、例えば、０．０１秒毎に、０．１秒間だけ出力する（ステップＳＴ１２３）。
主制御部３００は、この座標値を連続して受信することにより指の移動を判別することができる。すなわち、０．１秒の間に指のＸＹ座標値Ｏ_xyの変化がない場合、タッチパネル１のＸＹ方向に指の移動がないと判別され（ステップＳＴ１２４“ＮＯ”）、主制御部３００は、更に、アイコン表示位置と指のＸＹ座標値Ｏ_xyとの距離が所定値以上か否かを判定する（ステップＳＴ１２５）。ここで、所定値以上あった場合に（ステップＳＴ１２５“ＹＥＳ”）、主制御部３００は、画像情報生成部３０３によるスクロール画像の生成処理を起動する。

すなわち、画像情報生成部３０３は、アイコン表示位置を指のＸＹ座標値Ｏ_xyに近づけるように画像情報（スクロール画像）を生成し、ここで生成された画像情報は、メモリ３２の画像情報記憶領域３２２に記憶されるとともに、画像情報転送部３０４に出力される。
画像情報転送部３０４はこれをうけて画像情報を描画回路３１に転送し、描画回路３１は、描画制御部３１０が転送された画像情報を展開し、描画部３１２がビットマップメモリ部３１３に高速で描画する。そして、表示制御部３１４は、タッチパネル１（ＬＣＤパネル１０）に指とパネル面との距離（指のＺ座標値Ｏ_z）に応じた速度で所望の表示、すなわち、アイコンをタッチパネル１上の指のＸＹ座標値Ｏ_xyに近づけるスムーズスクロール表示を行う（ステップＳＴ１２６）。

なお、ステップＳＴ１２４のＸＹ方向の指の移動判定処理で指の移動ありと判定された場合（ステップＳＴ１２４“ＹＥＳ”）、あるいは、ステップＳＴ１２５のアイコン表示位置と指のＸＹ座標値Ｏ_xyとの距離判定処理で所定値以上の距離がないと判定された場合は（ステップＳＴ１２５“ＮＯ”）、いずれもアイコンの表示位置に変化はない（ステップＳＴ１２７）。

主制御部３００は、ステップＳＴ１２２で、指とタッチパネル面との距離が所定の範囲内にあると判定された場合（ステップＳＴ１２２“ＹＥＳ”）、タッチパネル１によりアイコンが指でタッチされたことが検出されるまで（ステップＳＴ１３０“ＹＥＳ”）、上記したステップＳＴ１２２〜ＳＴ１２７の処理を繰り返し実行する。このことにより、アイコン群が、指とパネル面との距離（指のＺ座標値Ｏ_z）に応じた移動速度にしたがい３次元タッチパネル上の指のＸＹ座標値Ｏ_xyに限りなく近づいて表示される。
なお、３次元タッチパネルによりアイコンが指でタッチされたことが検出されると（ステップＳＴ１３０“ＹＥＳ”）、タッチ座標位置計算部３０２は、そのタッチ座標を計算して操作情報処理部３０６に制御を移し、操作情報処理部３０６は、計算されたタッチ座標のアイコンに定義されたナビゲーション等の操作処理を実行する（ステップＳＴ１３１）。

一方、指のＺ軸上の位置とパネル面との距離が４ｃｍ以上であることが検出されると（ステップＳＴ１２２“ＮＯ”）、主制御部３００は、現在表示されているアイコンの表示位置とデフォルト座標位置ａとの比較を行う（ステップＳＴ１２８）。
ここで、異なると判定された場合（ステップＳＴ１２８“ＮＯ”）、すなわち、デフォルト位置からパネル上をアイコンが移動している場合、主制御部３００は、画像情報生成部３０３を制御し、画像情報生成部３０３は、アイコンを元の表示位置ａに近づけるように画像情報を生成する。そして、ここで生成された画像情報は、メモリ３２の画像情報記憶領域３２２に記憶され、更に、画像情報転送部３０４に出力される。

画像情報転送部３０４は、これを受けて画像情報を描画回路３１に転送し、描画回路３１は、描画制御部３１０が転送された画像情報を展開し、描画部３１２がビットマップメモリ部３１３に高速で描画する。そして、表示制御部３１４が３次元タッチパネルに所望の表示を行う。すなわち、表示制御部３１４は、アイコンを現在の表示位置からデフォルト位置ａに近づけるように、指とパネル面との距離（指のＺ座標値Ｏ_z）に応じた移動速度にしたがい３次元タッチパネル上でスムーズスクロール表示を行う（ステップＳＴ１２９）。
なお、ステップＳＴ１２２で指のＺ軸上の位置とパネル面との距離が４ｃｍ以上あると判定された場合（ステップＳＴ１２２“ＮＯ”）、主制御部３００は、アイコンがデフォルト位置ａに復帰するまで、ステップＳＴ１２８と、ＳＴ１２９の処理を繰り返し実行する。

上記したこの発明の実施の形態５に係る表示入力装置によれば、制御部３（ナビＣＰＵ３０）が、アイコンを、近接センサ１２により検出される指とパネル面とのＺ方向の距離に応じた速度で指の停止位置近傍に移動させ、表示することにより、例えば、Ｚ軸の距離が４ｃｍ以内に近づくとアイコンが徐々に（スムーズ）指の停止位置に集まり、４ｃｍから１ｃｍに至る間で集まる速度（スクロール表示速度）を早め、１ｃｍで速度が最大となり、１ｃｍ未満でアイコンが動かない状態に制御される。このことにより、使い勝手がより向上する。
なお、Ｚ方向の距離とアイコンの移動速度（スクロール表示速度）との関係は、図１３に示されるグラフの直線的な数値に制限されることなく、曲線であってもよく、また、メモリ３２のアイコン属性記憶領域３２１に記憶されたアイコン属性により表示移動速度を可変とし、あるいは、ユーザ設定により可変としてもよく、これらの選択は任意であるため柔軟なユーザインタフェースの提供が可能である。

実施の形態６．
図１４は、この発明の実施の形態６に係る表示入力装置のナビＣＰＵ３０が有するプログラムの構造を機能展開して示したブロック図である。
図１４に示されるように、この発明の実施の形態６に係る表示入力装置が有するナビＣＰＵ３０は、図２に示す実施の形態１が有するプログラム構造に、更に、車両情報取得部３０９を付加したものである。車両情報取得部３０９は、車両の走行状態を検知する車速センサ２２から出力される車速パルスを計測して制御部３（ナビＣＰＵ３０）に通知する機能を有する。このとき、ナビＣＰＵ３０は、車両が走行中であることが検出された場合、予めフラグで設定されたアイコンを、指の停止位置近傍に所定の速度で移動させて表示する。また、ナビＣＰＵ３０は、指が近接センサ１２により助手席側から進入したと判定された場合に、予め選択されたアイコンを指の停止位置近傍に移動させて表示してもよい。

図１５は、この発明の実施の形態６に係る表示入力装置の動作をタッチパネル１上に示した動作概念図である。
図１５に示されるように、運転席乗員の指がパネル面に近づいた場合、「方位」アイコン、「縮尺」アイコン、「周辺検索」ボタンアイコンのそれぞれが、指の停止位置近傍に移動して表示され、このとき、「動画再生」ボタンアイコンは、デフォルト位置に表示されたままである。このように、車両走行中、移動表示させたくない（指位置近傍に近づけたくない）アイコンは、メモリ３２のアイコン属性記憶領域３２１に記憶させるアイコン属性にそのことを定義しておくだけで移動を見合わせることができる。なお、助手席乗員が操作した場合には全てのアイコンを指位置に近づけて表示してもよい。アイコン属性の設定は任意である。

上記した実施の形態６に係る表示入力装置によれば、制御部３が、車速センサ２２で車両が走行中であることが検出された場合、予め選択されたアイコンを、指の停止位置近傍に所定の速度で移動させて表示することにより、車載用途に用いた場合の使い勝手が向上する。また、制御部３が、近接センサ１２により助手席側から進入したと判定された場合に、予め選択されたアイコンを指の停止位置近傍に移動させて表示することにより、運転席乗員が使用可能なアイコンを制限することができるため、安全運転に寄与し、また、助手席乗員が指を近づけたときに集まるアイコン配列についても任意に作ることができるため使い勝手が一層向上する。

以上説明のように、上記した実施の形態１〜実施の形態６に係る表示入力装置によれば、指やペン等の検出対象を近づけただけで、画面に表示されたアイコン等の特定の表示対象が所定の規則にしたがいその検出対象の近傍に移動して表示される新規なユーザインタフェースを提供することができ、より一層、操作性の向上がはかれる。
なお、上記した実施の形態１〜実施の形態６に係る表示入力装置によれば、アイコンのみを移動表示の対象として説明したが、アイコンに限らず、タッチパネル１の任意の表示領域に表示された特定の情報であってもよい。また、検出対象として、指のみ例示したが、指に代わるペン等の検出物であっても同様の効果が得られる。

なお、図２、図９、図１１、図１４に示す制御部３（ナビＣＰＵ３０）が有する機能は、全てをハードウェアによって実現しても、あるいはその少なくとも一部をソフトウェアで実現してもよい。
例えば、近接センサ１２でタッチパネル１に検出対象の所定量の接近が検出された場合に、タッチパネル１に表示された１以上の一定範囲の表示領域の情報の少なくとも一つを検出対象の停止位置近傍に移動させて表示するデータ処理は、１または複数のプログラムによりコンピュータ上で実現してもよく、また、その少なくとも一部をハードウェアで実現してもよい。上記実施例では、指の近接と、指のタッチを検出するタッチパネル表示装置を用いたが、指の接触と押下とを検出するタッチパネル表示装置を用いて、タッチした場合にはアイコンを近づけ、押下の場合にアイコンに応じた所定の操作をするように構成しても良い。この場合、指が２点で接触した場合は、アイコンの移動を止めるなどの操作方法にすれば更に操作感が良くなる。このとき、アイコンの移動はタッチ後、少し時間が経ってから（例えば０．５秒程度待って）移動するようにしても良い。

Claims (4)

1. 情報の表示および入力を行うタッチパネルと、
   前記タッチパネルに対向して位置する検出対象の動きを検出する近接センサと、
   前記近接センサで前記タッチパネルに前記検出対象の所定量の接近が検出された場合に、前記タッチパネルに表示され操作処理と対応付けられた表示対象を、前記検出対象が前記タッチパネルにタッチする前に前記検出対象の停止位置近傍に移動させて表示し、前記検出対象が前記タッチパネルにタッチすると、タッチされた表示対象に対応付けられた操作処理を実行する制御部とを備え、
   前記制御部は、
   前記表示対象を、前記近接センサにより検出される前記タッチパネルと前記検出対象との距離に応じた速度で前記検出対象の停止位置近傍に移動させて表示することを特徴とする表示入力装置。
2. 前記制御部は、
   前記表示対象の属性情報により表示移動速度を変化させることを特徴とする請求項１記載の表示入力装置。
3. 前記制御部は、
   前記タッチパネルと前記検出対象との距離に応じて決まる前記表示対象の表示移動速度を、前記タッチパネルを介して入力されるユーザ設定により変化させることを特徴とする請求項１記載の表示入力装置。
4. 請求項１から請求項３のうちのいずれか１項記載の表示入力装置を用いたナビゲーションシステム。

Images