JP5312655B2

JP5312655B2 - 表示入力装置および車載情報装置

Info

Publication number: JP5312655B2
Application number: JP2012179779A
Authority: JP
Inventors: 光生下谷; 勉松原; 崇貞廣; 正子太田; 祐一岡野; 剛泉福
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2008-12-04
Filing date: 2012-08-14
Publication date: 2013-10-09
Anticipated expiration: 2029-12-02
Also published as: WO2010064423A1; US8677287B2; DE112009003647T5; US20110234639A1; JPWO2010064423A1; CN102239069A; CN102239069B; JP2012248209A; JP5349493B2; DE112009003647B4

Description

この発明は、特に、ナビゲーションシステム等の車載情報機器に用いて好適な、表示入力装置およびナビゲーション装置に関するものである。

タッチパネルは、液晶パネルのような表示装置と、タッチパッドのような座標位置入力装置とを組み合わせた電子部品であり、液晶パネルに表示されたアイコン等の画像領域に指でタッチするだけでタッチされた画像の位置情報を感知して機器を操作することのできる表示入力装置であり、車載ナビゲーションシステム等、主に直感的に扱えることが要求される機器に組み込まれることが多い。

上記したタッチパネルを含むマンマシン装置の操作性や使い勝手を向上させるための提案が従来から多数出願されている。
例えば、検出対象としての指を近づけたときに指の近傍に位置するキースイッチを拡大して表示し、選択操作を容易化した表示入力装置（例えば、特許文献１参照）、垂直方向の距離を検出し、その距離に応じた拡大率で情報を表示するＣＲＴ装置（例えば、特許文献２参照）、タッチ圧力を検知して軽いタッチで拡大表示、強いタッチで所定のキー操作を実現する入力装置（例えば、特許文献３参照）等が知られている。

特開２００６−３１４９９号公報特開平０４−１２８７７号公報特開平１０−１７１６００号公報

上記した特許文献１に開示された技術によれば、指を近づけたときに近傍のアイコンが拡大表示されるため、誤操作を防止でき、選択操作を容易にするが、立って操作する場合や車載情報機器に適用した場合、指が震え、あるいは走行中である等の理由により画面が振動すると操作性が低下することは否めず、また、振動もしていない状態で常に表示が拡大表示された場合には逆に操作性を損なう場合がある。
また、特許文献２に開示された技術によれば、拡大縮小を制御しようとした場合、タッチパネル面と指の位置が離れすぎ、指のＺ軸方向のぶれにより拡大縮小が揺れ、制御が困難になることがある。更に、特許文献３に開示された技術によれば、拡大率が固定であり、このためユーザの意思が反映されることがなかった。

この発明は上記した課題を解決するためになされたものであり、振動時にも入力操作を容易にし、優れた操作性を発揮する表示入力装置を提供することを目的とする。

上記した課題を解決するためにこの発明の表示入力装置は、検出対象の接近を非接触で検知するとともに、情報の入力および画像の表示を行うタッチパネルと、タッチパネルに対向する検出対象の振動を検知する振動検知手段と、車両の走行状態を検知する走行検出手段と、走行検出手段により車両が停止中であることを検出した場合にはタッチパネルに表示する一定範囲の表示領域の画像に対して特段の変形処理は行わず、走行検出手段により車両が走行中であることを検出した場合に、振動検知手段で検知されたタッチパネルと検出対象の相対的な振動が所定量以下の場合は、タッチパネルに表示する一定範囲の表示領域の画像を拡大処理し、タッチパネルと検出対象の相対的な振動が所定量以上の場合は、拡大処理の拡大率に比較して更に拡大率を上げて、拡大処理して表示する制御部と、を備えたものである。

この発明によれば、振動時にも入力操作を容易にし、優れた操作性を発揮する表示入力装置を提供することができる。

この発明の実施の形態１に係る表示入力装置の内部構成を示すブロック図である。この発明の実施の形態１に係る表示入力装置が有するナビＣＰＵのプログラム構造を機能展開して示したブロック図である。この発明の実施の形態１に係る表示入力装置が有する描画回路の内部構成を示すブロック図である。この発明の実施の形態１に係る表示入力装置の基本動作を示すフローチャートである。この発明の実施の形態１に係る表示入力装置の動作をタッチパネル上に模式的に示した画面遷移図である。この発明の実施の形態１に係る表示入力装置の振動判定処理動作を示すフローチャートである。この発明の実施の形態１に係る表示入力装置の振動判定処理動作を示すタイミング図である。この発明の実施の形態２に係る表示入力装置の動作を示すフローチャートである。この発明の実施の形態３に係る表示入力装置の動作をタッチパネル上に模式的に示した画面遷移図である。この発明の実施の形態３に係る表示入力装置の動作を示すフローチャートである。

以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
図１は、この発明の実施の形態１に係る表示入力装置の構成を示すブロック図である。図１に示されるように、この発明の実施の形態１に係る表示入力装置は、タッチパネル式表示装置１と、外部センサ２と、制御部３と、により構成される。

タッチパネル式表示装置（以下タッチパネルと略称する）１は、情報の表示ならびに入力を行うもので、例えば、情報の表示を行うＬＣＤパネル１０上に、情報の入力を行うタッチセンサ１１が積層されて構成され、ここでは、更に、タッチセンサ１１の外周に沿うように、タッチパネル１と、タッチパネル１に対向して位置する指やペン等、検出対象の動きを２次元で非接触検知する近接センサ１２がセル単位で複数実装されている。

近接センサ１２は、検出セルとして、例えば赤外線を使用した場合、赤外線発光ＬＥＤ（Light Emitted Diode）と、受光トランジスタとが、タッチセンサ１１の外周に格子状に対向配置され、検出対象が近づいたことによる遮蔽もしくは反射光により、接近を検出するとともに、その座標位置を検出するものである。
近接センサ１２は、その検出セルが上記した赤外線に限らず、例えば、検出対象とコンデンサのように平行に配置された２枚の平板との間に生じる静電容量の変化により接近を検出する静電容量型で代替してもよい。この場合、平板は、一方の片側が検出対象に向く接地面、他方の片側がセンサ検出面となり、この２極間に形成される静電容量の変化により検出対象の接近を検出するとともにその座標位置を検出することができる。

一方、外部センサ２は車両の随所に実装され、少なくとも、ＧＰＳ（Global Positioning System）センサ２１と、車速センサ２２と、加速度センサ２３とを含む。
ＧＰＳセンサ２１は、ＧＰＳ衛星からの電波を受信して、制御部３が、緯度、経度を測位するための信号を生成して制御部３に出力する。車速センサ２２は、車両が走行中か否かを判定するための車速パルスを計測して制御部３に出力する。加速度センサ２３は、例えば、バネに取り付けた錘が変位する量を計測して錘にかかる加速度を推定するセンサであり、３軸加速度センサの場合、例えば、０（重力加速度のみ）から数１００Ｈｚまでの加速度変動に追従し、Ｘ、Ｙ方向の加速度ベクトルの合計から地面に対する向き（姿勢）を測定して制御部３に出力する。

制御部３は、ルート検索や目的地誘導等、ナビゲーション機能を実行するため基本的処理機能の他に、タッチパネル１とタッチパネル１に対向する指の振動を非接触で検知する近接センサ１２から得られる指の振動と、外部センサ２（加速度センサ２３）、あるいはタッチパネル１に内蔵される加速度センサ（不図示）によって得られるタッチパネル１の振動との相対的な振動が所定量あると判定された場合に、タッチパネル１に表示する一定範囲の表示領域の画像を拡大処理して表示する機能を有する。ここでは、近接センサ１２と加速度センサ２３とを含めて「振動検知センサ」という。
このため、制御部３は、ナビゲーション処理を主にタッチパネル１の制御を行うＣＰＵ（以下、ナビＣＰＵ３０という）と、描画回路３１と、メモリ３２と、地図ＤＢ（Data Base）３３、とにより構成される。

ナビＣＰＵ３０は、タッチパネル１に表示されたルート検索等のナビゲーションメニューがユーザにより選択されることで、そのメニューにしたがうナビゲーション処理を行う。ナビゲーション処理を行うにあたり、ナビＣＰＵ３０は、地図ＤＢ３３に格納された地図情報を参照し、外部センサ２から取得される各種センサ信号に基づき、ルート検索、あるいは目的地誘導等のナビゲーションを行う。
また、ナビＣＰＵ３０は、近接センサ１２あるいは加速度センサ２３で検知されたタッチパネル１と指の相対的な振動が所定量あると判定された場合に、タッチパネル１に表示する一定範囲の表示領域の画像を拡大処理して表示する制御部３としての機能を実現するために、メモリ３２に記憶されたプログラムにしたがい画像情報を生成して描画回路３１の制御を行う。その場合のナビＣＰＵ３０が実行するプログラムの構造は図２に示されており、その詳細は後述する。

描画回路３１は、ナビＣＰＵ３０により生成される画像情報を一定の速度で、内蔵し、あるいは外付けされるビットマップメモリ部上に展開し、同じく内蔵する表示制御部によりビットマップメモリ部に展開された画像情報をタッチパネル１（ＬＣＤパネル１０）の表示タイミングに同期して読み出し、タッチパネル１に表示する。上記したビットマップメモリ部および表示制御部は、図３に示されており、その詳細は後述する。

なお、メモリ３２には、上記したプログラムが記憶されるプログラム領域の他に、作業領域に画像情報記憶領域等が割り付けられ記憶されている。
また、地図ＤＢ３３には、ルート検索、誘導等、ナビゲーションに必要な地図や施設情報等が格納されている。

図２は、この発明の実施の形態１に係る表示入力装置（制御部３）が有する図１のナビＣＰＵ３０が実行するプログラムの構造を機能展開して示したブロック図である。
図２に示されるように、ナビＣＰＵ３０は、主制御部３００と、近接座標位置計算部３０１と、タッチ座標位置計算部３０２と、車両情報取得部３０３と、振動判定部３０４と、画像情報生成部３０５と、画像情報転送部３０６と、操作情報処理部３０７と、を含む。

近接座標位置計算部３０１は、近接センサ１２によりタッチパネル１への指の接近が検出されたときに、その指のＸ、Ｙ座標位置を計算して振動判定部３０４に引き渡す機能を有する。近接座標位置計算部３０１により計算されるＸ、Ｙ座標は、例えば、０．０１秒間隔で０．１秒間連続して出力され、振動判定部３０４は、その０．１秒の間に、Ｘ、Ｙ座標値の変化がほとんどない場合振動無し、所定量の変化がある場合振動ありと判定し、主制御部３００を介して画像情報生成部３０５を制御する。説明の都合上、振動判定部は０．１秒間で振動を判断したが、連続する過去の履歴を覚えておき０．１秒×何回かの情報で振動を判定すれば更に精度があがる。

タッチ座標位置計算部３０２は、指によるタッチパネル１へのタッチがタッチセンサ１１により検出された場合に、そのＸ、Ｙ座標位置を計算して主制御部３００に引き渡す機能を有する。
車両情報取得部３０３は、外部センサ２（ＧＰＳセンサ２１、車速センサ２２、加速度センサ２３）により出力される信号を取得して主制御部３００に引き渡す機能を有する。

なお、振動判定部３０４は、主制御部３００による制御の下で、近接座標位置計算部３０１から出力される指のＸ、Ｙ座標の変動状況と、車両情報取得部３０３により出力される加速度情報とにより、タッチパネル１と指の相対的な振動量を測定し、所定量の振動の有無を判定する機能を有してもよい。
振動判定部３０４は、後述するように、近接座標位置計算部３０１から出力されるＸ、Ｙ座標で示される振動状況と、車両情報取得部３０３により取得される加速度情報の変化で示される振動状況とを所定時間分だけ時系列に蓄積し、その時系列から所定の周波数成分を抽出して計算される平均値からの誤差（分散）が所定値以上あった場合に振動ありと判定し、主制御部３００を介して画像情報生成部３０５を制御してもよい。

画像情報生成部３０５は、主制御部３００による制御の下でタッチパネル１（ＬＣＤパネル１０）に表示する画像情報を生成し、画像情報転送部３０６へ出力する機能を有する。
画像情報生成部３０５は、タッチパネル１に表示された一定範囲の表示領域の画像を拡大処理して表示するために、例えば、既に生成済みのアイコン等のビットマップ画像を一定の割合で読み出して補間し、新しいビットマップに描画する。例えば、２倍に拡大する場合、元のビットマップのピクセルの１つを縦横方向に２×２に重ねて描画し、逆に、縮小の場合、元のビットマップのピクセルを一定の割合で間引いてピットマップ画像を更新し、更新されたビットマップ画像を描画回路３１に転送することで実現が可能である。ここではビット画像の拡大縮小の方法で説明したが、ビット画像ではなくベクタ画像の場合は所定の拡縮計算処理によりきれいな画像の拡大縮小ができる。

画像情報転送部３０６は、画像情報生成部３０５により生成される画像情報を主制御部３００によるタイミング制御に基づき描画回路３１に転送する機能を有する。
操作情報処理部３０７は、主制御部３００による制御の下、タッチ座標位置計算部３０２で計算されたタッチ座標位置に基づく一定の表示領域の情報に定義された操作情報、例えば、ソフトキーボードであれば、タッチされたキーに基づく画像情報を生成して画像情報転送部３０６へ出力し、アイコンボタンであれば、そのアイコンボタンに定義された目的地検索等のナビゲーション処理を実行して画像情報を生成し、画像情報転送部３０６へ出力し、それぞれタッチパネル１（ＬＣＤモニタ１０）に表示する機能を有する。

なお、メモリ３２には、上記したプログラムが記憶されるプログラム領域３２１の他に、所定量の作業領域が割り当てられており、この作業領域の中には、画像情報生成部３０５により生成される画像情報がテンポラリに記憶される画像情報記憶領域３２２が含まれる。

図３は、図１に示す描画回路３１の内部構成を示すブロック図である。図３に示されるように、描画回路３１は、描画制御部３１０と、画像バッファ部３１１と、描画部３１２と、ビットマップメモリ部３１３と、表示制御部３１４と、により構成され、いずれも、アドレス、データ、コントロールのためのラインが複数本で構成されるローカルバス３１６経由で共通接続されている。

上記構成において、図２に示したナビＣＰＵ３０（画像情報転送部３０６）から転送される画像情報は、描画制御部３１０による制御の下で画像バッファ部３１１に保持され、描画制御部３１０は、直線描画や矩形描画等の命令をデコードし、あるいは直線の傾き等についての描画の前処理を行う。そして、描画制御部３１０により起動される描画部３１２は、描画制御部３１０によりデコードされた画像情報をビットマップメモリ部３１３に高速描画し、表示制御部３１４は、ビットマップメモリ部３１３に保持された画像情報をタッチパネル１のＬＣＤパネル１０の表示タイミングに同期して読出し表示する。

図４は、この発明の実施の形態１に係る表示入力装置の動作を示すフローチャートであり、図５は、そのときタッチパネル１に表示されるソフトキーボード画像の一例を示した図である。
以下、図４、図５を参照しながら、図１〜図３に示すこの発明の実施の形態１に係る表示入力装置の動作について詳細に説明する。

図４において、タッチパネル１に、例えば、図５（ａ）に示されるような施設検索時に使用されるソフトキーボードが表示されているものとする（ステップＳＴ４１）。
まず、ユーザがタッチパネル１に指を近づけると、近接センサ１２が指の近接を検出し（ステップＳＴ４２“ＹＥＳ”）、ナビＣＰＵ３０の近接座標位置計算部３０１が動作して、そのＸ（Ｙ）座標を計算し、振動判定部３０４に出力する（ステップＳＴ４３）。近接座標位置計算部３０１は、計算された座標値を振動判定部３０４に対して、例えば、０．０１秒毎に０．１秒間だけ出力する。

振動判定部３０４は、入力された指座標値を、０．１秒の間連続して受信することにより、指の振動を認識し、振動量を計算することができる（ステップＳＴ４４）。

なお、振動判定部３０４には、他に、車両情報取得部３０３を介して加速度センサ２３からも加速度情報が供給されており、上記した近接センサ１２を用いた振動検出と同じ原理でタッチパネル１の振動を認識し、近接座標位置計算部３０１からの座標値と車両情報取得部３０３の加速度情報とからその振動量を計算してもよい。
したがって、振動判定部３０４は、タッチパネル１と指の相対的な振動が所定量あると判定した場合（ステップＳＴ４５“ＹＥＳ”）、主制御部３００による制御の下で画像情報生成部３０５による画像情報生成処理を起動し、画像情報生成部３０５は、ソフトウエアキーボードの一部領域等、一定範囲の表示領域の画像を拡大処理して更新する。

すなわち、画像情報生成部３０５は、タッチパネル１に表示された一定範囲の表示領域の画像を拡大処理するために、例えば、図５（ｂ）に示されるように、既に生成済みのソフトキーボードの一部領域（図中、円内）の画像情報をメモリ３２の画像情報記憶領域３２２から一定の割合で読み出し補間し、周辺の画像情報（拡大無し）と合成して新しい画像情報によるソフトキーボードとして更新する。
ここで更新された画像情報は、メモリ３２の画像情報記憶領域３２２に記憶されるとともに画像情報転送部３０６に出力される。画像情報転送部３０６は、これをうけて更新された画像情報を描画回路３１に転送し、描画回路３１は、描画制御部３１０が転送された画像情報を展開し、描画部３１２がビットマップメモリ部３１３に高速で描画する。最後に、表示制御部３１４がビットマップメモリ部３１３に描画された画像を読み出してタッチパネル１（ＬＣＤパネル１０）に拡大表示を行う（ステップＳＴ４６）。

一方、ステップＳＴ４５において、振動判定部３０４が所定量の振動量を検出できなかった場合（ステップＳＴ４５“ＮＯ”）、画像情報生成部３０５は、図５（ａ）に示すソフトキーボード画像を生成して画像情報転送部３０６に出力する。画像情報転送部３０６は、そのソフトキーボード画像を描画回路３１に転送し、描画回路３１では、描画制御部３１０が転送された画像情報を展開し、描画部３１２がビットマップメモリ部３１３に高速で描画する。そして、表示制御部３１４がタッチパネル１（ＬＣＤパネル１０）に通常サイズでの表示を行う（ステップＳＴ４７）。
なお、タッチパネル１（タッチセンサ１１）によりアイコンが指でタッチされたことが検出されると（ステップＳＴ４８“ＹＥＳ”）、タッチ座標位置計算部３０２は、そのタッチ座標位置を計算して操作情報処理部３０７を起動し、操作情報処理部３０７は、タッチ座標位置計算部３０２で計算されたタッチ座標に相当するキーに基づく操作処理を実行する（ステップＳＴ４９）。
ここで、タッチ座標に相当するキーに基づく操作処理とは、ソフトキーボードの場合、タッチされたキーに基づく画像情報を生成して画像情報転送部３０６に出力し、アイコンボタンの場合、タッチされたアイコンボタンに定義された目的地検索等のナビゲーション処理を実行して画像情報を生成して画像情報転送部３０６に出力し、それぞれタッチパネル１（ＬＣＤモニタ１０）に表示することをいう。

図６は、上記した振動判定部３０４の具体的な動作を示すフローチャートであり、図４のフローチャートのステップＳＴ４２〜ＳＴ４５の詳細な処理手順に相当する。
以下、図６のフローチャートを参照しながら、図２に示す振動判定部３０４の具体的な動作について詳細に説明する。

ここでは、指のＸ方向の振動検出に特化して説明されている。振動判定部３０４は、まず、近接センサ１２で指の接近を検出した後の時間を計測する。その結果、例えば、１秒以上経過した場合（ステップＳＴ４５１“ＹＥＳ”）、振動判定部３０４は、過去１秒間に近接座標位置計算部３０１が計算し蓄積したＸ座標値の時系列データを取得する（ステップＳＴ４５２）。続いて、振動判定部３０４は、その時系列に、例えば２Ｈｚ程度のＨＰＦ（High Pass Filter）処理を施し、比較的低い振動成分を除去する（ステップＳＴ４５３）。
次に、振動判定部３０４は、その振動の振幅の過去１秒間の平均値からの誤差（分散）を計算し（ステップＳＴ４５４）、その誤差が閾値以上あった場合（ステップＳＴ４５５“ＹＥＳ”）、所定量の振動ありと判定し、主制御部３００を介して画像情報生成部３０５による画像拡大処理を制御する（ステップＳＴ４５６）。なお、閾値以下の場合は（ステップＳＴ４５５“ＮＯ”）、振動なしと判定する（ステップＳＴ４５７）。ここでは説明の都合上Ｘ軸の変動にのみ注目して説明をしたが、Ｘ軸とＹ軸の変動を加味して検出するとＹ軸に対しての変動も検出できるので更に精度があがる。例えば、変動をＸ、Ｙ平面上のベクトル表現で計算しても良い。

図７に、振動判定部３０４の具体的な動作がタイミング図で示されている。図７（ａ）は、図６のステップＳＴ４５２の時系列データ取得処理で３秒間蓄積されたＸ座標値の時系列（振動の状況）、図７（ｂ）は、ステップＳＴ４５３のＨＰＦ処理後の時系列、図７（ｃ）は、ステップＳＴ４５４の分散値計算処理により出力される過去１秒間の振動の分散値が、それぞれ示されている。
図７（ｃ）に示した分散値では閾値を０．４ｃｍとしており、振動判定部３０４は、０．４ｃｍを超えた分散値が計算された場合に所定量の振動ありと判定し、主制御部３００を介して画像情報生成部３０５を制御する。

上記したこの発明の実施の形態１に係る表示入力装置によれば、制御部３（ナビＣＰＵ３０）が、振動検知センサ（近接センサ１２、加速度センサ２３）で検知されたタッチパネル１と指の相対的な振動が所定量あると判定された場合に、タッチパネル１に表示する一定範囲の表示領域の画像を拡大処理して表示することにより、指を振動させた場合に拡大表示されるという新たなユーザインタフェースを提供できる。特に、車載用に用いた場合、タッチパネル１に表示されたソフトウエアキーボード等のタッチキーやアイコン等、一定範囲の表示領域の画像が拡大して表示されるため、走行中のタッチパネル１の振動や指のぶれに影響されること無く使い勝手が増し、操作性の向上がはかれる。図４のステップＳＴ４７を、通常処理表示としたが、表示内容を変化させないように構成しても良い。この場合、一旦、ステップＳＴ４６で拡大表示された後に、指の振動がなくなっても拡大表示を維持するので表示の大きさが一定して見やすいという効果がある。また、ステップＳＴ４７で一定時間所定量の振動がないことが続いた場合に通常処理表示とし、それまでの前記一定時間内は表示内容を変えないように構成しても良い。この場合、一旦拡大処理表示した後に、振動が収まった場合に、前記一定時間後にゆっくりと元の表示になり見やすいという効果がある。
なお、振動判定部３０４は、車両情報取得部３０３を介した加速度センサ２３からの加速度情報のみから、タッチパネル１と指の相対的な振動を計算してもよい。
また、振動判定部３０４は、拡大処理を実行するにあたり、振動量に応じて拡大率を変化させても良い。

実施の形態２．
図８は、この発明の実施の形態２に係る表示入力装置の動作を示すフローチャートである。以下に説明する実施の形態２では、実施の形態１で説明した表示入力装置を車両に適用し、車両走行中に一定範囲の表示領域の画像を更に拡大表示することにより、車両走行中であっても入力操作を容易にし、一層の操作性向上をはかった例が示されている。
なお、以下に説明する実施の形態２においても、上記した実施の形態１同様、図１〜図３に示す表示入力装置と同じ構成を使用するものとする。

図８のフローチャートにおいて、タッチパネル１に、例えば、図９（ａ）に示されるような施設検索時に使用されるソフトキーボードが表示されているものとする（ステップＳＴ８１）。そして、ユーザがタッチパネル１に指を近づけることにより、近接センサ１２が指の近接を検出し（ステップＳＴ８２）、ナビＣＰＵ３０の近接座標位置計算部３０１がそのＸ（Ｙ）座標を計算し（ステップＳＴ８３）、振動判定部３０４が指の振動を認識して振動量を計算して（ステップＳＴ８４）振動の有無を判定するまでの処理（ステップＳＴ８５）は、図４のフローチャートに示した実施の形態１のステップＳＴ４２〜ＳＴ４５のそれぞれにおける処理と同様である。

ここで説明する実施の形態２に係る表示入力装置では、ステップＳＴ８５の所定量の振動判定処理において、振動判定部３０４が所定量の振動（指のぶれ）が無いと判定した場合（ステップＳＴ８５“ＮＯ”）、主制御部３００による制御の下で画像情報生成部３０５を制御し、画像情報生成部３０５は、通常表示のための画像生成処理を行い（ステップＳＴ８６）、所定量の振動があると判定した場合（ステップＳＴ８５“ＹＥＳ”）、振動判定部３０４は、更に、車両情報取得部３０３により取得される外部センサ２（車速センサ２２）からの情報に基づき車両が走行中か否かを判定する（ステップＳＴ８７）。
振動判定部３０４は、所定量の指の振動があって（ステップＳＴ８５“ＹＥＳ”）、かつ、車両停止中の場合は（ステップＳＴ８７“ＮＯ”）、主制御部３００を介して画像情報生成部３０５を制御し、画像情報生成部３０５は拡大処理のための画像更新を行う。また、振動判定部３０４は、所定量の指の振動があって（ステップＳＴ８５“ＹＥＳ”）、かつ、車両走行中の場合は（ステップＳＴ８７“ＹＥＳ”）、主制御部３００を介して画像情報生成部３０５を制御し、画像情報生成部３０５は、更なる拡大処理（超拡大）を行い、画像更新を行う（ステップＳＴ８９）。

すなわち、画像情報生成部３０５は、タッチパネル１に表示された一定範囲の表示領域の画像を拡大処理するために、例えば、図９（ｂ）に示されるように、既に生成済みのソフトキーボードの一部領域（図中、円内）の画像情報をメモリ３２の画像情報記憶領域３２２からある一定の割合で読み出し補間し、周辺の拡大されない画像情報と合成して新しい画像情報によるソフトキーボードとして更新する。
また、画像情報生成部３０５は、タッチパネル１に表示された一定範囲の表示領域の画像を超拡大処理するために、例えば、図９（ｃ）に示されるように、既に生成済みのソフトキーボードの一部領域（図中、円内）の画像情報をメモリ３２の画像情報記憶領域３２２から更に高い一定の割合で読み出し補間し、拡大されない周辺の画像情報と合成して新しい画像情報によるソフトキーボードとして更新する。

ここで更新された画像情報は、メモリ３２の画像情報記憶領域３２２に記憶されるとともに画像情報転送部３０６に出力される。
画像情報転送部３０６は、これをうけて更新された画像情報を描画回路３１に転送し、描画回路３１は、描画制御部３１０が転送された画像情報を展開し、描画部３１２がビットマップメモリ部３１３に高速で描画する。最後に、表示制御部３１４がビットマップメモリ部３１３に描画された画像を読み出してタッチパネル１（ＬＣＤパネル１０）に拡大表示、あるいは超拡大表示を行う（ステップＳＴ８８、ＳＴ８９）。

なお、上記した画像情報生成部３０５による通常処理表示（ステップＳＴ８６）、拡大処理表示（ステップＳＴ８８）、超拡大処理表示（ステップＳＴ８９）の後、タッチ座標位置計算部３０２は、タッチパネル１（タッチセンサ１１）によりアイコンが指でタッチされたことが検出されると（ステップＳＴ９０“ＹＥＳ”）、そのタッチ座標位置を計算して操作情報処理部３０７を起動する。
このとき、操作情報処理部３０７は、タッチ座標位置計算部３０２で計算されたタッチ座標に相当するキーに基づく操作処理を実行し（ステップＳＴ９１）、上記した一連のタッチパネル１の表示入力処理を終了する。

上記したこの発明の実施の形態２に係る表示入力装置によれば、制御部３（ナビＣＰＵ３０）が、外部センサ２（車速センサ２２）により車両が走行中であることを検出した場合、タッチパネル１に表示する一定範囲の表示領域の画像を、近接センサ１２や加速度センサ２３等の振動センサにより所定量の振動が検知された場合に比較して更に拡大処理して表示することにより、車両の走行状態にかかわらずタッチパネル１の入力操作が容易になり、走行中における車両の揺れや指のぶれに影響されることのない新規なユーザインタフェースを提供できるため、使い勝手が向上して一層の操作性向上がはかれる。

なお、上記した実施の形態２に係る表示入力装置によれば、制御部３（ナビＣＰＵ３０）は、所定量の指の振動があって車両停車中は拡大表示、車両走行中は超拡大表示を行うものとしたが、ここで、拡大処理を実行するにあたり、振動量に応じて拡大率を変化させても良い。
このことにより、車両（タッチパネル１）の揺れあるいは指の振れの強さに応じてソフトウエアキーボードやアイコン等一定範囲の表示領域の画像の適切な表示が可能になり、このため、ユーザがタッチ入力する際の操作性が一層向上する。この場合、画像情報生成部３０５は、既に生成済みの一定範囲の表示領域の画像をメモリ３２の画像情報記憶領域３２２から振動量に応じた割合で読み出し補間し、拡大画像、あるいは超拡大画像を生成する必要がある。

また、制御部３（ナビＣＰＵ３０）は、タッチパネル１に指が接近した状態での指の振動検知ではなく、タッチパネル１にタッチした状態での指の振動を検知すると、タッチパネル１に表示する一定範囲の表示領域の画像を拡大処理して表示し、走行中に振動が検知された場合に更に拡大処理して表示してもよい。
この場合、タッチパネル１にＺ方向の押圧力を検知する圧力センサを更に実装する必要がある。なお、Ｚ方向の押圧力を検知する原理は上記した特許文献３に開示されているため、ここでの説明は重複を回避する意味で省略する。ステップＳＴ８５で振動の有無を判定したが、先に、走行中かどうかを判定し、停車中は車体ゆれなど外部要因がないので、通常処理表示とし、走行中は振動の有無に応じて、拡大表示と、超拡大処理に分岐するような処理をしても同様の効果を生じる。
なお、上記の実施の形態２では、車両が走行中であるか、停止中であるかを車速センサ２２により検出したが、車速センサ、加速度センサ、サイドブレーキ状態の検出装置、画像処理装置などの車両が走行中であるか、停止中であるかを検出できる走行検出手段で検出すればよい。

実施の形態３．
図１０は、この発明の実施の形態３に係る表示入力装置の動作を示すフローチャートである。ここで説明する実施の形態３に係る表示入力装置は、パネル面と指との間のＺ方向の距離も測定可能な３次元タッチパネルに適用したものである。すなわち、図１に示すＸ、Ｙ方向の位置検知が可能なタッチパネル１を、Ｚ方向の距離も測定可能な３次元タッチパネルに置換える。３次元位置を計測する技術は、上記した特許文献２に開示されているため、この技術を適用するものとして説明する。

以下に説明する実施の形態３に係る表示入力装置は、水平方向の指の振動があった場合に拡大表示し、垂直方向の指の振動があった場合に縮小表示を行うことで、一定範囲の表示領域の画像の拡大縮小をユーザの意思によって制御可能な新規なユーザインタフェースを提供するものである。
なお、以下に説明する実施の形態３においても、実施の形態１、実施の形態２同様、図１〜図３に示す表示入力装置と同じ構成を使用するものとするが、指の２次元座標位置を検知可能なタッチパネル１に代え、３次元座標位置検知可能なタッチパネルを用いるため、近接座標位置計算部３０１は、Ｘ、Ｙ座標の他に、Ｚ軸座標についても計算できるように機能拡張されたものになっている。

図１０のフローチャートにおいて、タッチパネル１に、実施の形態１（図５（ａ））、実施の形態２（図８（ａ））同様、施設検索時に使用されるソフトキーボードの画像が表示されているものとする（ステップＳＴ１０１）。
ユーザがタッチパネル１に指を近づけてから、近接センサ１２が指の近接を検出し、ナビＣＰＵ３０の近接座標位置計算部３０１がそのＸ（Ｙ）座標を計算して、振動判定部３０４が指の振動を認識して振動量を計算し、振動の有無を判定するまでの処理（ステップＳＴ１０２〜ＳＴ１０５）は、図４に示した実施の形態１のステップＳＴ４２〜ＳＴ４５、図８に示した実施の形態２のステップＳＴ８２〜ＳＴ８５におけるそれぞれの処理と同様である。

ここで説明する実施の形態３に係る表示入力装置では、ステップＳＴ１０５の所定量の振動判定処理において、振動判定部３０４が、Ｘ、Ｙ平面、およびＺ軸における振動（指のぶれ）が所定量に満たないと判定した場合（ステップＳＴ１０５“振動小”）、主制御部３００による制御の下で画像情報生成部３０５を制御し、画像情報生成部３０５は、現在表示中の拡大率を維持するよう画像生成を行う（ステップＳＴ１０６）。
また、振動判定部３０４は、Ｘ、Ｙ平面上で所定量の振動があると判定した場合（ステップＳＴ１０５“Ｘ、Ｙ平面で振動”）、主制御部３００による制御の下で画像情報生成部３０５を制御し、画像情報生成部３０５は、現在の拡大率よりも高い拡大率で表示が行われるよう画像生成を行う（ステップＳＴ１０７）。また、振動判定部３０４は、Ｚ軸で所定量の振動があると判定した場合（ステップＳＴ１０５“Ｚ軸で振動”）、主制御部３００による制御の下で画像情報生成部３０５を制御し、画像情報生成部３０５は、現在の拡大率よりも低い拡大率で表示が行われるよう画像生成を行う（ステップＳＴ１０８）。

すなわち、画像情報生成部３０５は、タッチパネル１に表示された一定範囲の表示領域の画像を拡大処理するために（ステップＳＴ１０６〜ＳＴ１０８）、例えば、ソフトウエアキーボード等、既に生成済みの一定範囲の表示領域の画像情報をメモリ３２の画像情報記憶領域３２２から拡大率に基づく一定の割合で読み出して補間あるいは間引き、周辺の画像情報と合成して新しい画像情報によるソフトキーボード画像として更新する。
ここで更新された画像情報は、メモリ３２の画像情報記憶領域３２２に記憶されるとともに画像情報転送部３０６に出力される。画像情報転送部３０６は、これをうけて更新された画像情報を描画回路３１に転送し、描画回路３１は、描画制御部３１０が転送された画像情報を展開し、描画部３１２がビットマップメモリ部３１３に高速で描画する。最後に、表示制御部３１４がビットマップメモリ部３１３に描画された画像を読み出してタッチパネル１（ＬＣＤパネル１０）に拡大あるいは縮小表示を行う。

なお、上記したナビＣＰＵ３０（画像情報生成部３０５）による振動量によって決まる拡大率に基づいた拡大処理、および描画回路３１による表示処理（ステップＳＴ１０６〜ＳＴ１０８）の後、ナビＣＰＵ３０のタッチ座標位置計算部３０２は、タッチパネル１（タッチセンサ１１）によりアイコンが指でタッチされたことが検出されると（ステップＳＴ１０９“ＹＥＳ”）、そのタッチ座標位置を計算して操作情報処理部３０７を起動する。
このとき、操作情報処理部３０７は、タッチ座標位置計算部３０２で計算されたタッチ座標に相当するキーに基づく操作処理を実行し（ステップＳＴ１１０）、上記した一連のタッチパネル１の表示入力処理を終了する。

上記したこの発明の実施の形態３に係る表示入力装置によれば、制御部３（ナビＣＰＵ３０）は、タッチパネル１に対向する指の水平方向の所定量の振動を検知した場合にその振動量に応じた拡大率にしたがいタッチパネル１に表示する一定範囲の表示領域の内容の拡大処理を行い、垂直方向の所定量の振動を検知した場合に縮小処理を行い、それぞれ表示することにより、一定範囲の表示領域の画像の拡大縮小をユーザの意思（３次元方向に振らす）によって制御可能な新規なユーザインタフェースを提供することができ、入力操作が容易になって使い勝手が増すとともに一層の操作性向上がはかれる。図１０のステップＳＴ１０７で拡大率アップとしたが、ステップＳＴ１０７では拡大率の最大値、例えば２倍を上限としてそれ以上拡大しないように構成しても良い。ステップＳＴ１０８で拡大率ダウンとしたが、拡大率１．０以下にはならないように下限を設けても良い。また、Ｘ、Ｙ平面上での振動と、Z軸での振動が同等程度の場合は、ユーザの意思がはっきりしていないとして、拡大率を変化しないようにしても良い。Ｘ、Ｙ平面上での振動と、Ｚ軸での振動の両方が存在する場合は、大きいほうを優先したり、Ｚ軸方向の振動をＸ、Ｙ平面の振動に比べて一定数、例えば２倍で換算し大きいほうを優先して拡大縮小の処理を行っても良い。また、Ｘ軸上での振動で拡大、Ｙ軸上の振動で縮小としても同様の効果を生じる。また、Ｚ軸を含んだ斜め振動がある場合は、Ｘ、Ｙ平面の振動に比べて大きいほうを有効にしたり、振動の大きさがほぼ同一の場合は、拡大縮小をしないようにしても良い。このときには操作者に分かるように、振動の方向があいまいなので拡大縮小しない旨のメッセージを出しても良い。

以上説明のように、上記した実施の形態１〜実施の形態３に係る表示入力装置によれば、指や車両（タッチパネル１）に所定量の振動が検出された場合に、画面に表示されたソフトウエアキーボードやアイコン等、一定範囲の表示領域の画像が拡大表示されるために、振動時にも入力操作を容易にし、優れた操作性を発揮する表示入力装置を提供することができる。
なお、上記した実施の形態１〜実施の形態３に係る表示入力装置によれば、一定範囲の表示領域の画像としてソフトウエアキーボードの各キーのみを例示して説明したが、ナビゲーションを行うために入力操作されるアイコン等の特定の画像であってもよい。また、振動の検出対象として指のみ例示したが、指に代わるペン等の検出物であっても同様の効果が得られる。また、タッチパネル１の振動検知のために車両に実装された加速度センサ２３を用いて説明したが、タッチパネル１あるいは制御部３に加速度センサを実装することも可能であり、この場合、車両の振動は外部センサ２（加速度センサ２３）で、タッチパネル１の振動はタッチパネル１もしくは制御部３に実装された加速度センサで計測できるため、より精度の高い振動検知が可能になる。

なお、図２に示す制御部３（ナビＣＰＵ３０）が有する機能は、全てをハードウェアによって実現しても、あるいはその少なくとも一部をソフトウェアで実現してもよい。
例えば、制御部３が、振動検知センサで検知されたタッチパネル１と指の相対的な振動が所定量あると判定された場合に、タッチパネル１に表示する一定範囲の表示領域の画像を拡大処理して表示するデータ処理は、１または複数のプログラムによりコンピュータ上で実現してもよく、また、その少なくとも一部をハードウェアで実現してもよい。

この発明に係る表示入力装置は、振動時にも入力操作を容易にし、優れた操作性を発揮できるため、ナビゲーションシステムの車載情報機器等に用いるのに適している。

Claims

検出対象の接近を非接触で検知するとともに、情報の入力および画像の表示を行うタッチパネルと、
前記タッチパネルに対向する前記検出対象の振動を検知する振動検知手段と、
車両の走行状態を検知する走行検出手段と、
前記走行検出手段により車両が停止中であることを検出した場合には前記タッチパネルに表示する一定範囲の表示領域の画像に対して特段の変形処理は行わず、前記走行検出手段により車両が走行中であることを検出した場合に、前記振動検知手段で検知された前記タッチパネルと前記検出対象の相対的な振動が所定量以下の場合は、前記タッチパネルに表示する一定範囲の表示領域の画像を拡大処理し、前記タッチパネルと前記検出対象の相対的な振動が所定量以上の場合は、前記拡大処理の拡大率に比較して更に拡大率を上げて、拡大処理して表示する制御部と、
を備えたことを特徴とする表示入力装置。
前記制御部は、
前記振動検知手段により検知される振動量に応じて拡大率を変化させ、前記タッチパネルに表示する一定範囲の表示領域の内容を拡大処理して表示することを特徴とする請求項１記載の表示入力装置。
前記振動検知手段は、
前記タッチパネルと検出対象の相対的な振動を非接触で検知する近接センサを含むことを特徴とする請求項１記載の表示入力装置。
前記振動検知手段は、加速度情報を検出する加速度センサを含むことを特徴とする請求項１記載の表示入力装置。
前記振動検知手段は、前記タッチパネルと検出対象の相対的な振動を非接触で検知する近接センサと加速度センサを含み、
前記制御部は、前記近接センサからの振動状況と前記加速度センサが検出する加速度情報からの振動状況とから前記タッチパネルと検出対象の相対的な振動を算出することを特徴とする請求項１記載の表示入力装置。
検出対象の接近を非接触で検知するとともに、前記検出対象の振動を検知する振動検知手段を有し、情報の入力および画像の表示を行うタッチパネルと接続可能に構成され、
車両の走行状態を検知する走行検出手段と、
前記走行検出手段により車両が停止中であることを検出した場合には前記タッチパネルに表示する一定範囲の表示領域の画像に対して特段の変形処理は行わず、前記走行検出手段により車両が走行中であることを検出した場合に、前記タッチパネルから入力した前記検出対象の相対的な振動が所定量以下の場合は、前記タッチパネルに表示する一定範囲の表示領域の画像を拡大処理し、前記タッチパネルと前記検出対象の相対的な振動が所定量以上の場合は、前記拡大処理の拡大率に比較して更に拡大率を上げて、拡大処理する制御部と、
前記制御部で処理された画像を前記タッチパネルに出力する出力部とを備え、
前記振動検知手段の検知情報と前記制御部の処理に基づき、前記出力部から前記タッチパネルに前記画像を出力することを特徴とする車載情報装置。