JPWO2010064388A1 - 表示入力装置およびナビゲーション装置 - Google Patents

表示入力装置およびナビゲーション装置 Download PDF

Info

Publication number
JPWO2010064388A1
JPWO2010064388A1 JP2010541213A JP2010541213A JPWO2010064388A1 JP WO2010064388 A1 JPWO2010064388 A1 JP WO2010064388A1 JP 2010541213 A JP2010541213 A JP 2010541213A JP 2010541213 A JP2010541213 A JP 2010541213A JP WO2010064388 A1 JPWO2010064388 A1 JP WO2010064388A1
Authority
JP
Japan
Prior art keywords
touch panel
display
image
input device
display area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010541213A
Other languages
English (en)
Other versions
JP5231571B2 (ja
Inventor
下谷　光生
光生 下谷
松原　勉
勉 松原
貞廣　崇
崇 貞廣
正子 太田
正子 太田
祐一 岡野
祐一 岡野
剛 泉福
剛 泉福
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2010541213A priority Critical patent/JP5231571B2/ja
Publication of JPWO2010064388A1 publication Critical patent/JPWO2010064388A1/ja
Application granted granted Critical
Publication of JP5231571B2 publication Critical patent/JP5231571B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04805—Virtual magnifying lens, i.e. window or frame movable on top of displayed information to enlarge it for better reading or selection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0421—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Input From Keyboards Or The Like (AREA)
  • Navigation (AREA)

Abstract

表示入力装置を、画像の表示および入力を行うタッチパネル１と、タッチパネル１に対向して位置する検出対象の動きを非接触で検出する近接センサ１２と、近接センサ１２でタッチパネル１に検出対象の所定量の接近が検出された場合に、タッチパネル１における検出対象近傍の一定範囲の表示領域周辺の画像を加工し、一定範囲の表示領域における画像と区別して表示する制御部３とにより構成した。

Description

この発明は、特に、ナビゲーションシステム等の車載情報機器に用いて好適な、表示入力装置に関するものである。
タッチパネルは、液晶パネルのような表示装置と、タッチパッドのような座標位置入力装置とを組み合わせた電子部品であり、液晶パネルに表示されたアイコン等の画像領域に指でタッチするだけでタッチされた画像の位置情報を感知して機器を操作することのできる表示入力装置であり、車載ナビゲーションシステム等、主に直感的に扱えることが要求される機器に組み込まれることが多い。
上記したタッチパネルを含むマンマシン装置の操作性や使い勝手を向上させるための提案が従来から多数出願されている。
例えば、指を近づけたときに指の近傍に位置するキースイッチを拡大して表示し、選択操作を容易化した表示入力装置（例えば、特許文献１参照）、垂直方向の距離を検出し、その距離に応じた拡大率で情報を表示するＣＲＴ装置（例えば、特許文献２参照）、アニメーション機能により、周辺のボタンアイコンが回転移動して押下されたボタンアイコンに収束して表示される表示装置および表示方法（例えば、特許文献３参照）等が知られている。
特開２００６−３１４９９号公報 特開平０４−１２８８７７号公報 特開２００４−２５９０５４号公報
上記した特許文献１に開示された技術によれば、指を近づけたときに近傍のアイコンが拡大表示されるため、誤操作を防止でき、選択操作を容易にするが、指を近づけるまでユーザが押下しようとするアイコンの大きさが変化するため操作に違和感があり、逆に操作性を損なう場合がある。また、特許文献２に開示された技術によれば、拡大縮小を制御しようとした場合、タッチパネル面と指の位置が離れすぎ、指のＺ軸方向のぶれにより拡大縮小が揺れ、制御が困難になることがある。
更に、特許文献３に開示された技術によれば、ボタンアイコンの表示面積が小さいタッチパネルにおいてはわかりやすい画像表示が可能であるが、押下したボタンアイコン以外の周辺アイコンは見えにくいといった欠点を有していた。
この発明は上記した課題を解決するためになされたものであり、制御が簡単で、操作に違和感のない優れた操作性を有する表示入力装置を提供することを目的とする。
上記した課題を解決するためにこの発明の表示入力装置は、画像の表示および入力を行うタッチパネルと、タッチパネルに対向して位置する検出対象の動きを非接触で検出する近接センサと、近接センサで前記タッチパネルに検出対象の所定量の接近が検出された場合に、タッチパネルにおける前記検出対象近傍の一定範囲の表示領域周辺の画像を加工し、一定範囲の表示領域における画像と区別して表示する制御部とを備えたものである。
この発明によれば、制御が簡単で、操作に違和感のない優れた操作性を有する表示入力装置を提供することができる。
この発明の実施の形態１に係る表示入力装置の内部構成を示すブロック図である。 この発明の実施の形態１に係る表示入力装置が有するナビＣＰＵのプログラム構造を機能展開して示したブロック図である。 この発明の実施の形態１に係る表示入力装置が有する描画回路の内部構成を示すブロック図である。 この発明の実施の形態１に係る表示入力装置の動作を示すフローチャートである。 この発明の実施の形態１に係る表示入力装置の動作の一例をタッチパネル上に模式的に示した画面遷移図である。 この発明の実施の形態１に係る表示入力装置の他の動作の一例をタッチパネル上に模式的に示した画面遷移図である。 この発明の実施の形態２に係る表示入力装置が有するナビＣＰＵのプログラム構造を機能展開して示したブロック図である。 この発明の実施の形態２に係る表示入力装置の動作を示すフローチャートである。 この発明の実施の形態２に係る表示入力装置の動作の一例をタッチパネル上に模式的に示した画面遷移図である。 この発明の実施の形態３に係る表示入力装置の動作を示すフローチャートである。 この発明の実施の形態３に係る表示入力装置の動作をグラフ表示した図である。
以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面にしたがって説明する。
実施の形態１．
図１は、この発明の実施の形態１に係る表示入力装置の構成を示すブロック図である。図１に示されるように、この発明の実施の形態１に係る表示入力装置は、タッチパネル式表示装置（以下、タッチパネルと略称する）１と、外部センサ２と、制御部３と、により構成される。
タッチパネル１は、情報の表示ならびに入力を行うもので、例えば、情報の表示を行うＬＣＤパネル１０上に、情報の入力を行うタッチセンサ１１が積層されて構成され、ここでは、更に、タッチセンサ１１の外周に沿うように、タッチパネル１と、タッチパネル１に対向して位置する指やペン等、検出対象の動きを２次元で非接触検知する近接センサ１２がセル単位で複数実装されている。
近接センサ１２は、検出セルとして、例えば赤外線を使用した場合、赤外線発光ＬＥＤ（Light Emitted Diode）と、受光トランジスタとが、タッチセンサ１１の外周に格子状に対向配置され、検出対象が近づいたことによる遮蔽もしくは反射光により、接近を検出するとともに、その座標位置を検出するものである。
近接センサ１２は、その検出セルが上記した赤外線に限らず、例えば、検出対象とコンデンサのように平行に配置された２枚の平板との間に生じる静電容量の変化により接近を検出する静電容量型で代替してもよい。この場合、平板は、一方の片側が検出対象に向く接地面、他方の片側がセンサ検出面となり、この２極間に形成される静電容量の変化により検出対象の接近を検出するとともにその座標位置を検出することができる。
一方、外部センサ２は車両の随所に実装され、少なくとも、ＧＰＳ（Global Positioning System）センサ２１と、車速センサ２２と、加速度センサ２３とを含む。
ＧＰＳセンサ２１は、ＧＰＳ衛星からの電波を受信して、制御部３が、緯度、経度を測位するための信号を生成して制御部３に出力する。車速センサ２２は、車両が走行中か否かを判定するための車速バルスを計測して制御部３に出力する。加速度センサ２３は、例えば、バネに取り付けた錘が変位する量を計測して錘にかかる加速度を推定するセンサであり、３軸加速度センサの場合、例えば、０（重力加速度のみ）から数１００Ｈｚまでの加速度変動に追従し、Ｘ、Ｙ方向の加速度ベクトルの合計から地面に対する向き（姿勢）を測定して制御部３に出力する。
制御部３は、ルート検索や目的地誘導等、ナビゲーション機能を実行するため基本的処理機能の他に、近接センサ１２でタッチパネル１に指やペン等検出対象の所定量の接近が検出された場合に、タッチパネル１に表示された一定範囲の表示領域外の画像を加工し、一定範囲の表示領域の画像と区別して表示する機能を有する。ここでは、後述するように、縮小による画像生成処理、あるいは階調・色・点滅・強調等の表示修飾制御等により一定範囲の表示領域外の画像を加工することにより、一定範囲の表示領域の画像と区別して表示することとした。
このため、制御部３は、ナビゲーション処理を主にタッチパネル１の制御を行うＣＰＵ（以下、ナビＣＰＵ３０という）と、描画回路３１と、メモリ３２と、地図ＤＢ（Data Base）３３、とにより構成される。
なお、ここで、「一定範囲の表示領域」とは、タッチパネル１の表示領域にソフトウエアキーボードが表示される場合を想定した場合、指等の検出対象をタッチパネル１に近づけたときに、その検出対象により押下される候補キーの一部配列をいい、「一定範囲の表示領域外」とは、上記した候補キーを除く全てのキー配列をいう。このため、以下の説明では便宜上、一定範囲の表示領域に表示される画像を「内部アイコン」、一定範囲の表示領域外に表示され、内部アイコンと区別するために加工される画像を「外部アイコン」と呼ぶことにする。
ナビＣＰＵ３０は、タッチパネル１に表示されたルート検索等のナビゲーションメニューがユーザにより選択されることで、そのメニューにしたがうナビゲーション処理を行う。ナビゲーション処理を行うにあたり、ナビＣＰＵ３０は、地図ＤＢ３３に格納された地図情報を参照し、外部センサ２から取得される各種センサ信号に基づき、ルート検索、あるいは目的地誘導等のナビゲーションを行う。
また、ナビＣＰＵ３０は、近接センサ１２でタッチパネル１に指やペン等検出対象の所定量の接近が検出された場合に、タッチパネル１に表示された外部アイコンを加工し、内部アイコンと区別して表示する制御部３としての機能を実現するために、メモリ３２に記憶されたプログラムにしたがい画像情報を生成して描画回路３１の制御を行う。その場合のナビＣＰＵ３０が実行するプログラムの構造は図２に示されており、その詳細は後述する。
描画回路３１は、ナビＣＰＵ３０により生成される画像情報を一定の速度で、内蔵しあるいは外付けされるビットマップメモリ部上に展開し、同じく内蔵する表示制御部によりビットマップメモリ部に展開された画像情報をタッチパネル１（ＬＣＤパネル１０）の表示タイミングに同期して読み出し、タッチパネル１に表示する。
上記したビットマップメモリ部および表示制御部は、図３に示されており、その詳細は後述する。
なお、メモリ３２には、上記したプログラムが記憶されるプログラム領域の他に、作業領域に画像情報記憶領域等が割り付けられ記憶されている。
また、地図ＤＢ３３には、ルート検索、誘導等、ナビゲーションに必要な地図や施設情報等が格納されている。
図２は、この発明の実施の形態１に係る表示入力装置（制御部３）が有する図１のナビＣＰＵ３０が実行するプログラムの構造を機能展開して示したブロック図である。
図２に示されるように、ナビＣＰＵ３０は、主制御部３００と、近接座標位置計算部３０１と、タッチ座標位置計算部３０２と、画像情報生成部３０３と、画像情報転送部３０４と、ＵＩ（User Interface）提供部３０５と、操作情報処理部３０６とを含む。
近接座標位置計算部３０１は、近接センサ１２によりタッチパネル１への指の接近が検出されたときに、その指のＸＹ座標位置を計算して主制御部３００に引き渡す機能を有する。
タッチ座標位置計算部３０２は、指等の検出対象によるタッチパネル１へのタッチがタッチセンサ１１により検出された場合に、そのＸＹ座標位置を計算して主制御部３００に引き渡す機能を有する。
画像情報生成部３０３は、主制御部３００による制御の下でタッチパネル１（ＬＣＤパネル１０）に表示する画像情報を生成し、画像情報転送部３０４へ出力する機能を有する。
画像情報生成部３０３は、タッチパネル１に表示された外部アイコンの画像を加工し、内部アイコンと区別して表示するために、例えば、タッチパネル１に指が近づいたときに、指により押下される候補キーの一部配列（内部アイコン）はそのままにし、候補キーを除くキー配列を構成する画素を一定の割合で間引くことにより縮小された外部アイコンを生成する。このように、元の画像の画素を一定の割合で間引くことにより更新された外部アイコンと内部アイコンとを合成して生成される画像情報を、描画指令とともに描画回路３１に出力する。また、画像情報転送部３０４は、画像情報生成部３０３により生成された画像情報を主制御部３００によるタイミング制御に基づき描画回路３１に転送する機能を有する。ここではビット画像の間引きで縮小処理の方法で説明したが、ビット画像ではなくベクタ画像の場合は所定の縮小計算処理によりきれいな縮小画像ができる。また、予め縮小サイズの画像を準備しておいてそれを提示しても良い。
ＵＩ提供部３０５は、環境設定時、タッチパネル１に設定画面を表示し、一定範囲の表示領域外の画像を縮小処理する際の縮小率を、タッチパネル１を介して入力されるユーザ設定を取り込んで縮小率を可変設定する機能を有する。
また、操作情報処理部３０６は、主制御部３００による制御の下、タッチ座標位置計算部３０２で計算されたタッチ座標位置に基づく一定の表示領域の情報に定義された操作情報、例えば、ソフトキーボードであれば、タッチされたキーに基づく画像情報を生成して画像情報転送部３０４へ出力し、アイコンボタンであれば、そのアイコンボタンに定義された目的地検索等のナビゲーション処理を実行して画像情報を生成し、画像情報転送部３０４へ出力し、それぞれタッチパネル１（ＬＣＤモニタ１０）に表示する機能を有する。
なお、メモリ３２には、上記したプログラムが記憶されるプログラム領域３２１の他に、所定容量の作業領域が割り当てられており、この作業領域の中には、画像情報生成部３０３により生成される画像情報がテンポラリに記憶される画像情報記憶領域３２２が含まれる。
図３は、図１に示す描画回路３１の内部構成を示すブロック図である。図３に示されるように、描画回路３１は、描画制御部３１０と、画像バッファ部３１１と、描画部３１２と、ビットマップメモリ部３１３と、表示制御部３１４により構成され、いずれも、アドレス、データ、コントロールのためのラインが複数本で構成されるローカルバス３１５経由で共通接続されている。
上記構成において、描画制御部３１０は、ナビＣＰＵ３０（画像情報転送部３０４）から出力される描画指令をデコードして直線描画や矩形描画あるいは直線の傾き等についての描画の前処理を行う。そして描画制御部３１０は描画部３１２を起動し、描画部３１２は、描画制御部３１０によりデコードされた画像情報をビットマップメモリ部３１３に高速転送して書き込む（描画）。
そして、表示制御部３１４は、ビットマップメモリ部３１３に保持された画像情報をタッチパネル１のＬＣＤパネル１０の表示タイミングに同期してローカルバス３１５経由で読出し、タッチパネル１（ＬＣＤパネル１０）に供給して所望の表示を得る。
図４は、この発明の実施の形態１に係る表示入力装置の動作を示すフローチャートであり、図５、図６は、そのときタッチパネル１に表示されるソフトキーボード画像の表示遷移の一例を示した図である。
以下、図４〜図６を参照しながら、図１〜図３に示すこの発明の実施の形態１に係る表示入力装置の動作について詳細に説明する。
図４において、タッチパネル１の表示領域には、例えば、図５（ａ）に示されるように、施設検索時に使用されるソフトキーボードが表示されているものとする（ステップＳＴ４１）。この状態において、ユーザが、まず、タッチパネル１に検出対象としての指を近づけると、近接センサ１２が指の近接を検出し（ステップＳＴ４２“ＹＥＳ”）、ナビＣＰＵ３０の近接座標位置計算部３０１によるＸＹ座標計算処理を起動する。
ここで、近接座標位置計算部３０１は、タッチパネル１に近接した指のタッチパネル１上における指座標（Ｘ、Ｙ）を計算し、主制御部３００に出力する（ステップＳＴ４３）。
指座標を取得した主制御部３００は、画像情報生成部３０３による画像情報生成処理を起動し、これをうけて画像情報生成部３０３は、指座標近傍に位置するソフトウエアキーボードの一部領域を除く外部アイコンの画像を縮小処理し、内部アイコンの画像と合成し、更新する（ステップＳＴ４４）。
すなわち、画像情報生成部３０３は、タッチパネル１に表示された外部アイコンの画像を縮小処理するために、例えば、図５（ａ）の円内に示されるように、既に生成済みのソフトキーボードの一部領域（内部アイコン）を除いて隣接する周辺の画像情報（外部アイコン）をメモリ３２の画像情報記憶領域３２２から一定の割合で読み出し間引き、一部領域内の画像情報を合成することにより、指座標位置周辺の一部領域の情報が強調されソフトウエアキーボード画像情報を生成する。
なお、外部アイコンを縮小するときの縮小率についてはユーザ設定を可能とし、このことにより柔軟な縮小処理を可能とし、利便性を提供している。
具体的には、主制御部３００による制御の下、ＵＩ提供部３０５がタッチパネル１に設定画面を表示し、ユーザによる操作入力を取り込んで画像情報生成部３０３が縮小処理する際の縮小率を可変制御する。縮小率の設定は事前の環境設定時であっても利用シーンにあわせて動的に設定してもよい。
ところで、画像情報生成部３０３で生成された画像情報は、メモリ３２の画像情報記憶領域３２２に記憶されるとともに、画像情報転送部３０４に出力される。
画像情報転送部３０４は、これをうけて更新された画像情報を描画指令とともに描画回路３１に転送し、描画回路３１は、描画制御部３１０による制御の下で描画部３１２が転送をうけた画像情報を展開してビットマップメモリ部３１３に高速で描画する。そして、表示制御部３１４がビットマップメモリ部３１３に描画された、例えば、図５（ａ）に示す更新されたソフトウエアキーボード画像を読み出し、タッチパネル１（ＬＣＤパネル１０）に表示を行う。
なお、タッチパネル１（タッチセンサ１１）によりアイコンが指でタッチされたことが検出されると（ステップＳＴ４５“ＹＥＳ”）、タッチ座標位置計算部３０２は、そのタッチ座標位置を計算して操作情報処理部３０６を起動し、操作情報処理部３０６は、タッチ座標位置計算部３０２で計算されたタッチ座標に相当するキーに基づく操作処理を実行する（ステップＳＴ４６）。ここで、タッチ座標に相当するキーに基づく操作処理とは、ソフトキーボードの場合、タッチされたキーに基づく画像情報を生成して画像情報転送部３０４に出力し、アイコンボタンの場合、タッチされたアイコンボタンに定義された目的地検索等のナビゲーション処理を実行して画像情報を生成して画像情報転送部３０４に出力し、それぞれタッチパネル１（ＬＣＤモニタ１０）に表示することをいう。
以上説明のように、上記したこの発明の実施の形態１に係る表示入力装置によれば、制御部３（ナビＣＰＵ３０）が、近接センサ１２でタッチパネル１に指等検出対象の所定量の接近が検出された場合に、タッチパネル１に表示された一定範囲の表示領域外における画像（外部アイコン）を、例えば、縮小処理することによって加工し、一定範囲の表示領域における画像（内部アイコン）と区別して表示することにより、制御が簡単なため処理負荷をそれほど要することなく内部アイコンが強調されるため、入力操作が容易になり、したがって操作性が向上する。
なお、上記した実施の形態１によれば、一定範囲の表示領域外における画像を縮小することにより一定範囲の表示領域の画像と区別することとしたが、例えば、図５（ｂ）に示されるように、タッチパネル１に表示された外部アイコンの形状を、四角形状から円形状に変更し、内部アイコンの画像と区別して表示してもよい。
また、図６（ａ）に示されるように、タッチパネル１に表示された外部アイコンにおける２以上の画像の間隔（キー間隔）を狭める処理を行い、一定範囲の表示領域の画像と区別して表示してもよく、また、図６（ｂ）に示されるように、一定範囲の表示領域における２以上の画像の間隔を拡大し、一定範囲の表示領域外の画像と区別して表示してもよい。いずれも上記した画像情報生成部３０３が、外部アイコンの間隔を変更する位置の画像に縮小、あるいは拡大処理を施し画像更新することにより実現が可能である。
ステップＳＴ４４では外部アイコンを瞬時に縮小表示に、一度縮小してから通常の検索表示にするステップＳＴ４２からステップＳＴ４１にかけて瞬時に、拡大縮小を行ったがアニメーション効果のように徐々にサイズを変えるようにしても使い勝手の良い操作感を得ることができる。また、指が遠くなって近づいてすぐに表示サイズを通常にもどすのではなく、一定時間（例えば０．５秒程度）たってから戻しても良い。ただし、指が近接したままＸ，Ｙ軸方向に移動している場合は瞬時に表示内容を変えるほうが操作感が良い。
上記実施例では、指の近接と、指のタッチを検出するタッチパネル表示装置を用いたが、指の接触と押下とを検出するタッチパネル表示装置を用いて、タッチした場合には外部アイコンを縮小して表示し、タッチをはずれると通常のサイズとし、押下の場合にアイコンに応じた所定の操作をするように構成しても良い。
実施の形態２．
図７は、この発明の実施の形態２に係る表示入力装置（制御部３）が有するナビＣＰＵ３０が実行するプログラムの構造を機能展開して示したブロック図である。
この発明の実施の形態２に係る表示入力装置において、図２に示す実施の形態１との差異は、実施の形態１のナビＣＰＵ３０が、ＵＩ提供部３０５を除いて有するプログラム構造に、表示属性情報生成部３０７が付加されたことにある。
表示属性情報生成部３０７は、主制御部３００による制御の下で、画像情報生成部３０３により生成される画像情報毎に、タッチパネル１に表示された外部アイコンを加工し、内部アイコンと区別して表示するために、階調、色、点滅、反転、強調等の表示属性に基づいて画像の表示修飾制御を行う場合の属性情報を生成する。
表示属性情報生成部３０７は、メモリ３２の画像情報記憶領域３２２に、表示属性情報生成部３０７により生成される表示属性情報を、画像情報生成部３０３により生成される画像情報と組みで書き込み記憶する。このため、画像情報転送部３０４は、画像情報生成部３０３により生成される画像情報と表示属性情報生成部３０７により生成される表示属性情報とを組で、主制御部３００によるタイミング制御に基づき描画回路３１に転送する。
図８は、この発明の実施の形態２に係る表示入力装置の動作を示すフローチャートであり、図９は、そのときタッチパネル１に表示されるソフトウエアキーボード画像の一例を示した図である。
以下、図８、図９を参照しながら、この発明の実施の形態２に係る表示入力装置の動作につき、特に、実施の形態１の動作との差に着目して説明する。
図８において、タッチパネル１に、例えば、図９（ａ）に示す通常の検索表示画面が表示されているものとし、以降、ユーザがタッチパネル１に指を近づけてから指座標（Ｘ、Ｙ）を主制御部３００に出力するまでの処理（ステップＳＴ８１〜ＳＴ８３）は、実施の形態１で説明したステップＳＴ４１〜ＳＴ４３の処理と同じであるため、重複を回避する意味で説明を省略する。
次に、制御部３（ナビＣＰＵ３０）は、タッチパネル１に表示された外部アイコンに表示属性情報に基づく表示修飾制御を施し、内部アイコンと区別して表示する（ステップＳＴ８４）。
具体的に、近接座標位置計算部３０１から指座標を取得した主制御部３００は、画像情報生成部３０３と表示属性情報生成部３０７を制御し、画像情報生成部３０３は、取得した指座標に基づき、指座標近傍に位置するソフトウエアキーボードの外部アイコンと、内部アイコンと合成した画像情報を生成し、表示属性情報生成部３０７は、画像情報生成部３０３により生成された画像情報のうち、タッチパネル１に表示された外部アイコンにグレースケール処理を施す表示属性情報を生成する。
画像情報生成部３０３で生成された画像情報、ならびに表示属性情報生成部３０７で生成された表示属性情報は、メモリ３２の画像情報記憶領域３２２に対で記憶されるとともに画像情報転送部３０４に出力される。
続いて、画像情報転送部３０４から転送される画像情報および表示属性情報は、描画回路３１に描画指令と共に転送され、描画指令をうけた描画回路３１（描画制御部３１０）は、直線描画や矩形描画等の指令をデコードして描画部３１２を起動し、描画部３１２は、描画制御部３１０によりデコードされた画像情報をビットマップメモリ部３１３に高速描画する。
続いて、表示制御部３１４は、ビットマップメモリ部３１３に保持された画像情報をタッチパネル１のＬＣＤパネル１０の表示タイミングに同期して読出し、更に、表示属性情報生成部３０７で生成され、画像情報転送部３０４により出力された表示属性情報に基づき外部アイコンにグレースケール（階調制御）による表示修飾処理を施し、タッチパネル１（ＬＣＤパネル１０）に表示する。
このとき表示されるソフトウエアキーボードの一例が図９に示されている。
なお、タッチパネル１によりアイコンが指でタッチされたことが検出されると（ステップＳＴ８５“ＹＥＳ”）、実施の形態１同様、タッチ座標位置計算部３０２は、そのタッチ座標位置を計算して操作情報処理部３０６を起動する。そして、操作情報処理部３０６が、タッチ座標位置計算部３０２で計算されたタッチ座標に相当するキーに基づく操作処理を実行し、上記した一連の処理が終了する（ステップＳＴ８６）。
以上説明のように上記したこの発明の実施の形態２に係る表示入力装置によれば、制御部３（ナビＣＰＵ３０）が、近接センサ１２でタッチパネル１に指等検出対象の所定量の接近が検出された場合に、タッチパネル１に表示された一定範囲の表示領域外における画像（外部アイコン）を、例えば、グレースケール処理することによって加工し、一定範囲の表示領域における画像（内部アイコン）と区別して表示することにより、内部アイコンが強調され、入力操作が容易になるため操作性が向上する。
なお、上記した実施の形態２に係る表示入力装置によれば、グレースケール処理を施すことにより、外部アイコンと内部アイコンとを区別して表示したが、階調制御に限らず、色、点滅、反転、強調等、他の表示属性制御で代替してもよい。
実施の形態３．
図１０は、この発明の実施の形態３に係る表示入力装置の動作を示すフローチャートである。なお、以下に説明する実施の形態３では、実施の形態１同様、図１に示す表示入力装置と同じ構成を用い、また、図２に示すプログラム構造と同じ構造を用いることとする。
但し、ここで説明する実施の形態３に係る表示入力装置は、パネル面と指との間のＺ方向の距離も測定可能な３次元タッチパネルに適用したものである。したがって、図１に示すＸＹ方向の位置検知が可能なタッチパネル１をＺ方向の距離も測定可能な３次元タッチパネルに置換えるものとする。３次元位置を計測する技術は、上記した特許文献２に開示されており、ここではこの技術を適用するものとして説明する。
図１０のフローチャートにおいて、ステップＳＴ１０１でタッチパネル１に、実施の形態１、２同様、施設検索時に使用されるソフトキーボードが表示されているものとする。この状態で、ユーザがタッチパネル１に指を近づけると、近接センサ１２が指の近接を検出して（ステップＳＴ１０２“ＹＥＳ”）、ナビＣＰＵ３０の近接座標位置計算部３０１が動作する。このとき、近接座標位置計算部３０１は、Ｚ軸も含めて指座標（Ｘ、Ｙ、Ｚ）を計算し、主制御部３００に出力する（ステップＳＴ１０３）。
３次元の指座標を取得した主制御部３００は、近接センサ１２によりタッチパネルに対向する指のＺ軸（垂直方向）の距離に応じて縮小率を決定し、タッチパネルに表示された一定範囲の表示領域外における画像を縮小表示する（ステップＳＴ１０４）。
すなわち、画像情報生成部３０３は、取得したＸＹ方向の指座標に基づき、指座標近傍に位置するソフトウエアキーボードの一部領域を除く外部アイコンを、Ｚ方向の座標によって決まる縮小率にしたがって縮小処理し、内部アイコンと合成し更新する。このとき用いられる、タッチパネル１のパネル面と指との間のＺ軸方向の距離（横軸）と、縮小率（縦軸）との関係が図１１のグラフに示されている。図１１に示されるように、Ｚ軸方向の距離が４ｃｍで最大（１：通常サイズによる表示）となり、Ｚ軸方向の距離が４ｃｍ〜１ｃｍに近づくにつれて徐々に縮小率が減少し、１ｃｍ〜０ｃｍまでの間、外部アイコンの縮小率はほとんど変化が無く、０．５倍以下の縮小率で推移する。図１１の縮小率１．０とは元のサイズを、縮小率０．５とは一辺のサイズが０．５倍になることを示す。
なお、タッチパネル１（タッチセンサ１１）によりアイコンが指でタッチされたことが検出されると（ステップＳＴ１０５“ＹＥＳ”）、タッチ座標位置計算部３０２は、そのタッチ座標位置を計算して操作情報処理部３０６を起動し、操作情報処理部３０６は、タッチ座標位置計算部３０２で計算されたタッチ座標に相当するキーに基づく操作処理を実行する処理（ステップＳＴ１０６）は、図４に示す実施の形態１と同様である。
上記したこの発明の実施の形態３に係る表示入力装置によれば、制御部３（ナビＣＰＵ３０）が、近接センサ１２でタッチパネル１に指等検出対象の所定量の接近が検出された場合に、タッチパネル１に表示された一定範囲の表示領域外における画像（外部アイコン）を、タッチパネルに対向する検出対象の垂直方向の距離に応じた縮小率にしたがい縮小表示することにより、内部アイコンが強調されるため入力操作が容易になり、したがって操作性が向上する。
なお、外部アイコンは、Ｚ軸方向との距離に応じて縮小処理されることに制限されるものではなく、Ｚ軸方向の距離に応じて、例えば、グレースケール等表示属性のレベルを変更してもよい。
以上説明のように、この発明の実施の形態１〜実施の形態３に係る表示入力装置によれば、制御部３が、近接センサ１２でタッチパネル１に検出対象の所定量の接近が検出された場合に、タッチパネル１に表示された一定範囲の表示領域外における画像（外部アイコン）を加工し、一定範囲の表示領域における画像（内部アイコン）と区別して表示することにより、制御部３に処理負荷をそれほど要することなく入力操作が容易になり、操作に違和感のない優れた操作性を有する表示入力装置を提供することができる。
なお、上記した実施の形態１〜実施の形態３に係る表示入力装置によれば、１以上の一定範囲の表示領域の情報としてソフトウエアキーボードのみを表示の対象として説明したが、ソフトウエアキーボードに限らず、タッチパネル１の任意の表示領域に表示された特定の情報であってもよい。また、検出対象として、指のみ例示したが、指に代わるペン等の検出物であっても同様の効果が得られる。
また、この発明の実施の形態１〜実施の形態３に係る表示入力装置によれば、表示入力装置をナビゲーションシステム等の車載情報機器に適用した場合についてのみ説明したが、車載情報機器以外に、パソコン、ＦＡ（Factory Automation）コンピュータの入出力手段として、あるいは公共機関やイベント会場等の案内システムに適用してもよい。
なお、図２、図７に示す制御部３（ナビＣＰＵ３０）が有する機能は、全てをハードウェアによって実現しても、あるいはその少なくとも一部をソフトウェアで実現してもよい。
例えば、制御部３が、近接センサ１２でタッチパネル１に検出対象の所定量の接近が検出された場合に、タッチパネル１に表示された一定範囲の表示領域外における画像（外部アイコン）を加工し、一定範囲の表示領域における画像（内部アイコン）と区別して表示するデータ処理は、１または複数のプログラムによりコンピュータ上で実現してもよく、また、その少なくとも一部をハードウェアで実現してもよい。
この発明に係る表示入力装置は、制御が簡単で、操作に違和感のない優れた操作性を有するため、ナビゲーションシステムの車載情報機器等に用いるのに適している。
この発明は、特に、ナビゲーションシステム等の車載情報機器に用いて好適な、表示入力装置に関するものである。
タッチパネルは、液晶パネルのような表示装置と、タッチパッドのような座標位置入力装置とを組み合わせた電子部品であり、液晶パネルに表示されたアイコン等の画像領域に指でタッチするだけでタッチされた画像の位置情報を感知して機器を操作することのできる表示入力装置であり、車載ナビゲーションシステム等、主に直感的に扱えることが要求される機器に組み込まれることが多い。
上記したタッチパネルを含むマンマシン装置の操作性や使い勝手を向上させるための提案が従来から多数出願されている。
例えば、指を近づけたときに指の近傍に位置するキースイッチを拡大して表示し、選択操作を容易化した表示入力装置（例えば、特許文献１参照）、垂直方向の距離を検出し、その距離に応じた拡大率で情報を表示するＣＲＴ装置（例えば、特許文献２参照）、アニメーション機能により、周辺のボタンアイコンが回転移動して押下されたボタンアイコンに収束して表示される表示装置および表示方法（例えば、特許文献３参照）等が知られている。
特開２００６−３１４９９号公報 特開平０４−１２８８７７号公報 特開２００４−２５９０５４号公報
上記した特許文献１に開示された技術によれば、指を近づけたときに近傍のアイコンが拡大表示されるため、誤操作を防止でき、選択操作を容易にするが、指を近づけるまでユーザが押下しようとするアイコンの大きさが変化するため操作に違和感があり、逆に操作性を損なう場合がある。また、特許文献２に開示された技術によれば、拡大縮小を制御しようとした場合、タッチパネル面と指の位置が離れすぎ、指のＺ軸方向のぶれにより拡大縮小が揺れ、制御が困難になることがある。
更に、特許文献３に開示された技術によれば、ボタンアイコンの表示面積が小さいタッチパネルにおいてはわかりやすい画像表示が可能であるが、押下したボタンアイコン以外の周辺アイコンは見えにくいといった欠点を有していた。
この発明は上記した課題を解決するためになされたものであり、制御が簡単で、操作に違和感のない優れた操作性を有する表示入力装置を提供することを目的とする。
上記した課題を解決するためにこの発明の表示入力装置は、画像の表示および入力を行うタッチパネルと、タッチパネルに対向して位置する検出対象の動きを非接触で検出する近接センサと、近接センサで前記タッチパネルに検出対象の所定量の接近が検出された場合に、タッチパネルの表示領域において、前記検出対象から一定範囲の表示領域を除く領域に表示された画像である外部アイコンを加工し、一定範囲の表示領域に表示された画像である内部アイコンを加工せず、内部アイコンと加工した外部アイコンとをタッチパネルの表示領域に表示する制御部とを備えたものである。
この発明によれば、制御が簡単で、操作に違和感のない優れた操作性を有する表示入力装置を提供することができる。
この発明の実施の形態１に係る表示入力装置の内部構成を示すブロック図である。 この発明の実施の形態１に係る表示入力装置が有するナビＣＰＵのプログラム構造を機能展開して示したブロック図である。 この発明の実施の形態１に係る表示入力装置が有する描画回路の内部構成を示すブロック図である。 この発明の実施の形態１に係る表示入力装置の動作を示すフローチャートである。 この発明の実施の形態１に係る表示入力装置の動作の一例をタッチパネル上に模式的に示した画面遷移図である。 この発明の実施の形態１に係る表示入力装置の他の動作の一例をタッチパネル上に模式的に示した画面遷移図である。 この発明の実施の形態２に係る表示入力装置が有するナビＣＰＵのプログラム構造を機能展開して示したブロック図である。 この発明の実施の形態２に係る表示入力装置の動作を示すフローチャートである。 この発明の実施の形態２に係る表示入力装置の動作の一例をタッチパネル上に模式的に示した画面遷移図である。 この発明の実施の形態３に係る表示入力装置の動作を示すフローチャートである。 この発明の実施の形態３に係る表示入力装置の動作をグラフ表示した図である。
以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面にしたがって説明する。
実施の形態１．
図１は、この発明の実施の形態１に係る表示入力装置の構成を示すブロック図である。図１に示されるように、この発明の実施の形態１に係る表示入力装置は、タッチパネル式表示装置（以下、タッチパネルと略称する）１と、外部センサ２と、制御部３と、により構成される。
タッチパネル１は、情報の表示ならびに入力を行うもので、例えば、情報の表示を行うＬＣＤパネル１０上に、情報の入力を行うタッチセンサ１１が積層されて構成され、ここでは、更に、タッチセンサ１１の外周に沿うように、タッチパネル１と、タッチパネル１に対向して位置する指やペン等、検出対象の動きを２次元で非接触検知する近接センサ１２がセル単位で複数実装されている。
近接センサ１２は、検出セルとして、例えば赤外線を使用した場合、赤外線発光ＬＥＤ（Light Emitted Diode）と、受光トランジスタとが、タッチセンサ１１の外周に格子状に対向配置され、検出対象が近づいたことによる遮蔽もしくは反射光により、接近を検出するとともに、その座標位置を検出するものである。
近接センサ１２は、その検出セルが上記した赤外線に限らず、例えば、検出対象とコンデンサのように平行に配置された２枚の平板との間に生じる静電容量の変化により接近を検出する静電容量型で代替してもよい。この場合、平板は、一方の片側が検出対象に向く接地面、他方の片側がセンサ検出面となり、この２極間に形成される静電容量の変化により検出対象の接近を検出するとともにその座標位置を検出することができる。
一方、外部センサ２は車両の随所に実装され、少なくとも、ＧＰＳ（Global Positioning System）センサ２１と、車速センサ２２と、加速度センサ２３とを含む。
ＧＰＳセンサ２１は、ＧＰＳ衛星からの電波を受信して、制御部３が、緯度、経度を測位するための信号を生成して制御部３に出力する。車速センサ２２は、車両が走行中か否かを判定するための車速バルスを計測して制御部３に出力する。加速度センサ２３は、例えば、バネに取り付けた錘が変位する量を計測して錘にかかる加速度を推定するセンサであり、３軸加速度センサの場合、例えば、０（重力加速度のみ）から数１００Ｈｚまでの加速度変動に追従し、Ｘ、Ｙ方向の加速度ベクトルの合計から地面に対する向き（姿勢）を測定して制御部３に出力する。
制御部３は、ルート検索や目的地誘導等、ナビゲーション機能を実行するため基本的処理機能の他に、近接センサ１２でタッチパネル１に指やペン等検出対象の所定量の接近が検出された場合に、タッチパネル１に表示された一定範囲の表示領域外の画像を加工し、一定範囲の表示領域の画像と区別して表示する機能を有する。ここでは、後述するように、縮小による画像生成処理、あるいは階調・色・点滅・強調等の表示修飾制御等により一定範囲の表示領域外の画像を加工することにより、一定範囲の表示領域の画像と区別して表示することとした。
このため、制御部３は、ナビゲーション処理を主にタッチパネル１の制御を行うＣＰＵ（以下、ナビＣＰＵ３０という）と、描画回路３１と、メモリ３２と、地図ＤＢ（Data Base）３３、とにより構成される。
なお、ここで、「一定範囲の表示領域」とは、タッチパネル１の表示領域にソフトウエアキーボードが表示される場合を想定した場合、指等の検出対象をタッチパネル１に近づけたときに、その検出対象により押下される候補キーの一部配列をいい、「一定範囲の表示領域外」とは、上記した候補キーを除く全てのキー配列をいう。このため、以下の説明では便宜上、一定範囲の表示領域に表示される画像を「内部アイコン」、一定範囲の表示領域外に表示され、内部アイコンと区別するために加工される画像を「外部アイコン」と呼ぶことにする。
ナビＣＰＵ３０は、タッチパネル１に表示されたルート検索等のナビゲーションメニューがユーザにより選択されることで、そのメニューにしたがうナビゲーション処理を行う。ナビゲーション処理を行うにあたり、ナビＣＰＵ３０は、地図ＤＢ３３に格納された地図情報を参照し、外部センサ２から取得される各種センサ信号に基づき、ルート検索、あるいは目的地誘導等のナビゲーションを行う。
また、ナビＣＰＵ３０は、近接センサ１２でタッチパネル１に指やペン等検出対象の所定量の接近が検出された場合に、タッチパネル１に表示された外部アイコンを加工し、内部アイコンと区別して表示する制御部３としての機能を実現するために、メモリ３２に記憶されたプログラムにしたがい画像情報を生成して描画回路３１の制御を行う。その場合のナビＣＰＵ３０が実行するプログラムの構造は図２に示されており、その詳細は後述する。
描画回路３１は、ナビＣＰＵ３０により生成される画像情報を一定の速度で、内蔵し、あるいは外付けされるビットマップメモリ部上に展開し、同じく内蔵する表示制御部によりビットマップメモリ部に展開された画像情報をタッチパネル１（ＬＣＤパネル１０）の表示タイミングに同期して読み出し、タッチパネル１に表示する。
上記したビットマップメモリ部および表示制御部は、図３に示されており、その詳細は後述する。
なお、メモリ３２には、上記したプログラムが記憶されるプログラム領域の他に、作業領域に画像情報記憶領域等が割り付けられ記憶されている。
また、地図ＤＢ３３には、ルート検索、誘導等、ナビゲーションに必要な地図や施設情報等が格納されている。
図２は、この発明の実施の形態１に係る表示入力装置（制御部３）が有する図１のナビＣＰＵ３０が実行するプログラムの構造を機能展開して示したブロック図である。
図２に示されるように、ナビＣＰＵ３０は、主制御部３００と、近接座標位置計算部３０１と、タッチ座標位置計算部３０２と、画像情報生成部３０３と、画像情報転送部３０４と、ＵＩ（User Interface）提供部３０５と、操作情報処理部３０６とを含む。
近接座標位置計算部３０１は、近接センサ１２によりタッチパネル１への指の接近が検出されたときに、その指のＸＹ座標位置を計算して主制御部３００に引き渡す機能を有する。
タッチ座標位置計算部３０２は、指等の検出対象によるタッチパネル１へのタッチがタッチセンサ１１により検出された場合に、そのＸＹ座標位置を計算して主制御部３００に引き渡す機能を有する。
画像情報生成部３０３は、主制御部３００による制御の下でタッチパネル１（ＬＣＤパネル１０）に表示する画像情報を生成し、画像情報転送部３０４へ出力する機能を有する。
画像情報生成部３０３は、タッチパネル１に表示された外部アイコンの画像を加工し、内部アイコンと区別して表示するために、例えば、タッチパネル１に指が近づいたときに、指により押下される候補キーの一部配列（内部アイコン）はそのままにし、候補キーを除くキー配列を構成する画素を一定の割合で間引くことにより縮小された外部アイコンを生成する。このように、元の画像の画素を一定の割合で間引くことにより更新された外部アイコンと内部アイコンとを合成して生成される画像情報を、描画指令とともに描画回路３１に出力する。また、画像情報転送部３０４は、画像情報生成部３０３により生成された画像情報を主制御部３００によるタイミング制御に基づき描画回路３１に転送する機能を有する。ここではビット画像の間引きで縮小処理の方法で説明したが、ビット画像ではなくベクタ画像の場合は所定の縮小計算処理によりきれいな縮小画像ができる。また、予め縮小サイズの画像を準備しておいてそれを提示しても良い。
ＵＩ提供部３０５は、環境設定時、タッチパネル１に設定画面を表示し、一定範囲の表示領域外の画像を縮小処理する際の縮小率を、タッチパネル１を介して入力されるユーザ設定を取り込んで縮小率を可変設定する機能を有する。
また、操作情報処理部３０６は、主制御部３００による制御の下、タッチ座標位置計算部３０２で計算されたタッチ座標位置に基づく一定の表示領域の情報に定義された操作情報、例えば、ソフトキーボードであれば、タッチされたキーに基づく画像情報を生成して画像情報転送部３０４へ出力し、アイコンボタンであれば、そのアイコンボタンに定義された目的地検索等のナビゲーション処理を実行して画像情報を生成し、画像情報転送部３０４へ出力し、それぞれタッチパネル１（ＬＣＤモニタ１０）に表示する機能を有する。
なお、メモリ３２には、上記したプログラムが記憶されるプログラム領域３２１の他に、所定容量の作業領域が割り当てられており、この作業領域の中には、画像情報生成部３０３により生成される画像情報がテンポラリに記憶される画像情報記憶領域３２２が含まれる。
図３は、図１に示す描画回路３１の内部構成を示すブロック図である。図３に示されるように、描画回路３１は、描画制御部３１０と、画像バッファ部３１１と、描画部３１２と、ビットマップメモリ部３１３と、表示制御部３１４により構成され、いずれも、アドレス、データ、コントロールのためのラインが複数本で構成されるローカルバス３１５経由で共通接続されている。
上記構成において、描画制御部３１０は、ナビＣＰＵ３０（画像情報転送部３０４）から出力される描画指令をデコードして直線描画や矩形描画あるいは直線の傾き等についての描画の前処理を行う。そして描画制御部３１０は描画部３１２を起動し、描画部３１２は、描画制御部３１０によりデコードされた画像情報をビットマップメモリ部３１３に高速転送して書き込む（描画）。
そして、表示制御部３１４は、ビットマップメモリ部３１３に保持された画像情報をタッチパネル１のＬＣＤパネル１０の表示タイミングに同期してローカルバス３１５経由で読出し、タッチパネル１（ＬＣＤパネル１０）に供給して所望の表示を得る。
図４は、この発明の実施の形態１に係る表示入力装置の動作を示すフローチャートであり、図５、図６は、そのときタッチパネル１に表示されるソフトキーボード画像の表示遷移の一例を示した図である。
以下、図４〜図６を参照しながら、図１〜図３に示すこの発明の実施の形態１に係る表示入力装置の動作について詳細に説明する。
図４において、タッチパネル１の表示領域には、例えば、図５（ａ）に示されるように、施設検索時に使用されるソフトキーボードが表示されているものとする（ステップＳＴ４１）。この状態において、ユーザが、まず、タッチパネル１に検出対象としての指を近づけると、近接センサ１２が指の近接を検出し（ステップＳＴ４２“ＹＥＳ”）、ナビＣＰＵ３０の近接座標位置計算部３０１によるＸＹ座標計算処理を起動する。
ここで、近接座標位置計算部３０１は、タッチパネル１に近接した指のタッチパネル１上における指座標（Ｘ、Ｙ）を計算し、主制御部３００に出力する（ステップＳＴ４３）。
指座標を取得した主制御部３００は、画像情報生成部３０３による画像情報生成処理を起動し、これをうけて画像情報生成部３０３は、指座標近傍に位置するソフトウエアキーボードの一部領域を除く外部アイコンの画像を縮小処理し、内部アイコンの画像と合成し、更新する（ステップＳＴ４４）。
すなわち、画像情報生成部３０３は、タッチパネル１に表示された外部アイコンの画像を縮小処理するために、例えば、図５（ａ）の円内に示されるように、既に生成済みのソフトキーボードの一部領域（内部アイコン）を除いて隣接する周辺の画像情報（外部アイコン）をメモリ３２の画像情報記憶領域３２２から一定の割合で読み出し間引き、一部領域内の画像情報を合成することにより、指座標位置周辺の一部領域の情報が強調されソフトウエアキーボード画像情報を生成する。
なお、外部アイコンを縮小するときの縮小率についてはユーザ設定を可能とし、このことにより柔軟な縮小処理を可能とし、利便性を提供している。
具体的には、主制御部３００による制御の下、ＵＩ提供部３０５がタッチパネル１に設定画面を表示し、ユーザによる操作入力を取り込んで画像情報生成部３０３が縮小処理する際の縮小率を可変制御する。縮小率の設定は事前の環境設定時であっても利用シーンにあわせて動的に設定してもよい。
ところで、画像情報生成部３０３で生成された画像情報は、メモリ３２の画像情報記憶領域３２２に記憶されるとともに、画像情報転送部３０４に出力される。
画像情報転送部３０４は、これをうけて更新された画像情報を描画指令とともに描画回路３１に転送し、描画回路３１は、描画制御部３１０による制御の下で描画部３１２が転送をうけた画像情報を展開してビットマップメモリ部３１３に高速で描画する。そして、表示制御部３１４がビットマップメモリ部３１３に描画された、例えば、図５（ａ）に示す更新されたソフトウエアキーボード画像を読み出し、タッチパネル１（ＬＣＤパネル１０）に表示を行う。
なお、タッチパネル１（タッチセンサ１１）によりアイコンが指でタッチされたことが検出されると（ステップＳＴ４５“ＹＥＳ”）、タッチ座標位置計算部３０２は、そのタッチ座標位置を計算して操作情報処理部３０６を起動し、操作情報処理部３０６は、タッチ座標位置計算部３０２で計算されたタッチ座標に相当するキーに基づく操作処理を実行する（ステップＳＴ４６）。ここで、タッチ座標に相当するキーに基づく操作処理とは、ソフトキーボードの場合、タッチされたキーに基づく画像情報を生成して画像情報転送部３０４に出力し、アイコンボタンの場合、タッチされたアイコンボタンに定義された目的地検索等のナビゲーション処理を実行して画像情報を生成して画像情報転送部３０４に出力し、それぞれタッチパネル１（ＬＣＤモニタ１０）に表示することをいう。
以上説明のように、上記したこの発明の実施の形態１に係る表示入力装置によれば、制御部３（ナビＣＰＵ３０）が、近接センサ１２でタッチパネル１に指等検出対象の所定量の接近が検出された場合に、タッチパネル１に表示された一定範囲の表示領域外における画像（外部アイコン）を、例えば、縮小処理することによって加工し、一定範囲の表示領域における画像（内部アイコン）と区別して表示することにより、制御が簡単なため処理負荷をそれほど要することなく内部アイコンが強調されるため、入力操作が容易になり、したがって操作性が向上する。
なお、上記した実施の形態１によれば、一定範囲の表示領域外における画像を縮小することにより一定範囲の表示領域の画像と区別することとしたが、例えば、図５（ｂ）に示されるように、タッチパネル１に表示された外部アイコンの形状を、四角形状から円形状に変更し、内部アイコンの画像と区別して表示してもよい。
また、図６（ａ）に示されるように、タッチパネル１に表示された外部アイコンにおける２以上の画像の間隔（キー間隔）を狭める処理を行い、一定範囲の表示領域の画像と区別して表示してもよく、また、図６（ｂ）に示されるように、一定範囲の表示領域における２以上の画像の間隔を拡大し、一定範囲の表示領域外の画像と区別して表示してもよい。いずれも上記した画像情報生成部３０３が、外部アイコンの間隔を変更する位置の画像に縮小、あるいは拡大処理を施し画像更新することにより実現が可能である。
ステップＳＴ４４では外部アイコンを瞬時に縮小表示に、一度縮小してから通常の検索表示にするステップＳＴ４２からステップＳＴ４１にかけて瞬時に、拡大縮小を行ったがアニメーション効果のように徐々にサイズを変えるようにしても使い勝手の良い操作感を得ることができる。また、指が遠くなって近づいてすぐに表示サイズを通常にもどすのではなく、一定時間（例えば０．５秒程度）たってから戻しても良い。ただし、指が近接したままＸ，Ｙ軸方向に移動している場合は瞬時に表示内容を変えるほうが操作感が良い。
上記実施例では、指の近接と、指のタッチを検出するタッチパネル表示装置を用いたが、指の接触と押下とを検出するタッチパネル表示装置を用いて、タッチした場合には外部アイコンを縮小して表示し、タッチをはずれると通常のサイズとし、押下の場合にアイコンに応じた所定の操作をするように構成しても良い。
実施の形態２．
図７は、この発明の実施の形態２に係る表示入力装置（制御部３）が有するナビＣＰＵ３０が実行するプログラムの構造を機能展開して示したブロック図である。
この発明の実施の形態２に係る表示入力装置において、図２に示す実施の形態１との差異は、実施の形態１のナビＣＰＵ３０が、ＵＩ提供部３０５を除いて有するプログラム構造に、表示属性情報生成部３０７が付加されたことにある。
表示属性情報生成部３０７は、主制御部３００による制御の下で、画像情報生成部３０３により生成される画像情報毎に、タッチパネル１に表示された外部アイコンを加工し、内部アイコンと区別して表示するために、階調、色、点滅、反転、強調等の表示属性に基づいて画像の表示修飾制御を行う場合の属性情報を生成する。
表示属性情報生成部３０７は、メモリ３２の画像情報記憶領域３２２に、表示属性情報生成部３０７により生成される表示属性情報を、画像情報生成部３０３により生成される画像情報と組みで書き込み記憶する。このため、画像情報転送部３０４は、画像情報生成部３０３により生成される画像情報と表示属性情報生成部３０７により生成される表示属性情報とを組で、主制御部３００によるタイミング制御に基づき描画回路３１に転送する。
図８は、この発明の実施の形態２に係る表示入力装置の動作を示すフローチャートであり、図９は、そのときタッチパネル１に表示されるソフトウエアキーボード画像の一例を示した図である。
以下、図８、図９を参照しながら、この発明の実施の形態２に係る表示入力装置の動作につき、特に、実施の形態１の動作との差に着目して説明する。
図８において、タッチパネル１に、例えば、図９（ａ）に示す通常の検索表示画面が表示されているものとし、以降、ユーザがタッチパネル１に指を近づけてから指座標（Ｘ、Ｙ）を主制御部３００に出力するまでの処理（ステップＳＴ８１〜ＳＴ８３）は、実施の形態１で説明したステップＳＴ４１〜ＳＴ４３の処理と同じであるため、重複を回避する意味で説明を省略する。
次に、制御部３（ナビＣＰＵ３０）は、タッチパネル１に表示された外部アイコンに表示属性情報に基づく表示修飾制御を施し、内部アイコンと区別して表示する（ステップＳＴ８４）。
具体的に、近接座標位置計算部３０１から指座標を取得した主制御部３００は、画像情報生成部３０３と表示属性情報生成部３０７を制御し、画像情報生成部３０３は、取得した指座標に基づき、指座標近傍に位置するソフトウエアキーボードの外部アイコンと、内部アイコンと合成した画像情報を生成し、表示属性情報生成部３０７は、画像情報生成部３０３により生成された画像情報のうち、タッチパネル１に表示された外部アイコンにグレースケール処理を施す表示属性情報を生成する。
画像情報生成部３０３で生成された画像情報、ならびに表示属性情報生成部３０７で生成された表示属性情報は、メモリ３２の画像情報記憶領域３２２に対で記憶されるとともに画像情報転送部３０４に出力される。
続いて、画像情報転送部３０４から転送される画像情報および表示属性情報は、描画回路３１に描画指令と共に転送され、描画指令をうけた描画回路３１（描画制御部３１０）は、直線描画や矩形描画等の指令をデコードして描画部３１２を起動し、描画部３１２は、描画制御部３１０によりデコードされた画像情報をビットマップメモリ部３１３に高速描画する。
続いて、表示制御部３１４は、ビットマップメモリ部３１３に保持された画像情報をタッチパネル１のＬＣＤパネル１０の表示タイミングに同期して読出し、更に、表示属性情報生成部３０７で生成され、画像情報転送部３０４により出力された表示属性情報に基づき外部アイコンにグレースケール（階調制御）による表示修飾処理を施し、タッチパネル１（ＬＣＤパネル１０）に表示する。
このとき表示されるソフトウエアキーボードの一例が図９に示されている。
なお、タッチパネル１によりアイコンが指でタッチされたことが検出されると（ステップＳＴ８５“ＹＥＳ”）、実施の形態１同様、タッチ座標位置計算部３０２は、そのタッチ座標位置を計算して操作情報処理部３０６を起動する。そして、操作情報処理部３０６が、タッチ座標位置計算部３０２で計算されたタッチ座標に相当するキーに基づく操作処理を実行し、上記した一連の処理が終了する（ステップＳＴ８６）。
以上説明のように上記したこの発明の実施の形態２に係る表示入力装置によれば、制御部３（ナビＣＰＵ３０）が、近接センサ１２でタッチパネル１に指等検出対象の所定量の接近が検出された場合に、タッチパネル１に表示された一定範囲の表示領域外における画像（外部アイコン）を、例えば、グレースケール処理することによって加工し、一定範囲の表示領域における画像（内部アイコン）と区別して表示することにより、内部アイコンが強調され、入力操作が容易になるため操作性が向上する。
なお、上記した実施の形態２に係る表示入力装置によれば、グレースケール処理を施すことにより、外部アイコンと内部アイコンとを区別して表示したが、階調制御に限らず、色、点滅、反転、強調等、他の表示属性制御で代替してもよい。
実施の形態３．
図１０は、この発明の実施の形態３に係る表示入力装置の動作を示すフローチャートである。なお、以下に説明する実施の形態３では、実施の形態１同様、図１に示す表示入力装置と同じ構成を用い、また、図２に示すプログラム構造と同じ構造を用いることとする。
但し、ここで説明する実施の形態３に係る表示入力装置は、パネル面と指との間のＺ方向の距離も測定可能な３次元タッチパネルに適用したものである。したがって、図１に示すＸＹ方向の位置検知が可能なタッチパネル１をＺ方向の距離も測定可能な３次元タッチパネルに置換えるものとする。３次元位置を計測する技術は、上記した特許文献２に開示されており、ここではこの技術を適用するものとして説明する。
図１０のフローチャートにおいて、ステップＳＴ１０１でタッチパネル１に、実施の形態１、２同様、施設検索時に使用されるソフトキーボードが表示されているものとする。この状態で、ユーザがタッチパネル１に指を近づけると、近接センサ１２が指の近接を検出して（ステップＳＴ１０２“ＹＥＳ”）、ナビＣＰＵ３０の近接座標位置計算部３０１が動作する。このとき、近接座標位置計算部３０１は、Ｚ軸も含めて指座標（Ｘ、Ｙ、Ｚ）を計算し、主制御部３００に出力する（ステップＳＴ１０３）。
３次元の指座標を取得した主制御部３００は、近接センサ１２によりタッチパネルに対向する指のＺ軸（垂直方向）の距離に応じて縮小率を決定し、タッチパネルに表示された一定範囲の表示領域外における画像を縮小表示する（ステップＳＴ１０４）。
すなわち、画像情報生成部３０３は、取得したＸＹ方向の指座標に基づき、指座標近傍に位置するソフトウエアキーボードの一部領域を除く外部アイコンを、Ｚ方向の座標によって決まる縮小率にしたがって縮小処理し、内部アイコンと合成し更新する。このとき用いられる、タッチパネル１のパネル面と指との間のＺ軸方向の距離（横軸）と、縮小率（縦軸）との関係が図１１のグラフに示されている。図１１に示されるように、Ｚ軸方向の距離が４ｃｍで最大（１：通常サイズによる表示）となり、Ｚ軸方向の距離が４ｃｍ〜１ｃｍに近づくにつれて徐々に縮小率が減少し、１ｃｍ〜０ｃｍまでの間、外部アイコンの縮小率はほとんど変化が無く、０．５倍以下の縮小率で推移する。図１１の縮小率１．０とは元のサイズを、縮小率０．５とは一辺のサイズが０．５倍になることを示す。
なお、タッチパネル１（タッチセンサ１１）によりアイコンが指でタッチされたことが検出されると（ステップＳＴ１０５“ＹＥＳ”）、タッチ座標位置計算部３０２は、そのタッチ座標位置を計算して操作情報処理部３０６を起動し、操作情報処理部３０６は、タッチ座標位置計算部３０２で計算されたタッチ座標に相当するキーに基づく操作処理を実行する処理（ステップＳＴ１０６）は、図４に示す実施の形態１と同様である。
上記したこの発明の実施の形態３に係る表示入力装置によれば、制御部３（ナビＣＰＵ３０）が、近接センサ１２でタッチパネル１に指等検出対象の所定量の接近が検出された場合に、タッチパネル１に表示された一定範囲の表示領域外における画像（外部アイコン）を、タッチパネルに対向する検出対象の垂直方向の距離に応じた縮小率にしたがい縮小表示することにより、内部アイコンが強調されるため入力操作が容易になり、したがって操作性が向上する。
なお、外部アイコンは、Ｚ軸方向との距離に応じて縮小処理されることに制限されるものではなく、Ｚ軸方向の距離に応じて、例えば、グレースケール等表示属性のレベルを変更してもよい。
以上説明のように、この発明の実施の形態１〜実施の形態３に係る表示入力装置によれば、制御部３が、近接センサ１２でタッチパネル１に検出対象の所定量の接近が検出された場合に、タッチパネル１に表示された一定範囲の表示領域外における画像（外部アイコン）を加工し、一定範囲の表示領域における画像（内部アイコン）と区別して表示することにより、制御部３に処理負荷をそれほど要することなく入力操作が容易になり、操作に違和感のない優れた操作性を有する表示入力装置を提供することができる。
なお、上記した実施の形態１〜実施の形態３に係る表示入力装置によれば、１以上の一定範囲の表示領域の情報としてソフトウエアキーボードのみを表示の対象として説明したが、ソフトウエアキーボードに限らず、タッチパネル１の任意の表示領域に表示された特定の情報であってもよい。また、検出対象として、指のみ例示したが、指に代わるペン等の検出物であっても同様の効果が得られる。
また、この発明の実施の形態１〜実施の形態３に係る表示入力装置によれば、表示入力装置をナビゲーションシステム等の車載情報機器に適用した場合についてのみ説明したが、車載情報機器以外に、パソコン、ＦＡ（Factory Automation）コンピュータの入出力手段として、あるいは公共機関やイベント会場等の案内システムに適用してもよい。
なお、図２、図７に示す制御部３（ナビＣＰＵ３０）が有する機能は、全てをハードウェアによって実現しても、あるいはその少なくとも一部をソフトウェアで実現してもよい。
例えば、制御部３が、近接センサ１２でタッチパネル１に検出対象の所定量の接近が検出された場合に、タッチパネル１に表示された一定範囲の表示領域外における画像（外部アイコン）を加工し、一定範囲の表示領域における画像（内部アイコン）と区別して表示するデータ処理は、１または複数のプログラムによりコンピュータ上で実現してもよく、また、その少なくとも一部をハードウェアで実現してもよい。
この発明に係る表示入力装置は、制御が簡単で、操作に違和感のない優れた操作性を有するため、ナビゲーションシステムの車載情報機器等に用いるのに適している。
この発明は、特に、ナビゲーションシステム等の車載情報機器に用いて好適な、表示入力装置およびナビゲーション装置に関するものである。

Claims (8)

  1. 画像の表示および入力を行うタッチパネルと、
    前記タッチパネルに対向して位置する検出対象の動きを非接触で検出する近接センサと、
    前記近接センサで前記タッチパネルに前記検出対象の所定量の接近が検出された場合に、前記タッチパネルにおける前記検出対象近傍の一定範囲の表示領域周辺の画像を加工し、前記一定範囲の表示領域における画像と区別して表示する制御部とを備えたことを特徴とする表示入力装置。
  2. 前記制御部は、
    前記タッチパネルにおける前記検出対象近傍の一定範囲の表示領域周辺の画像を縮小処理し、前記一定範囲の表示領域における画像と区別して表示することを特徴とする請求項１記載の表示入力装置。
  3. 前記制御部は、
    前記タッチパネルにおける前記検出対象近傍の一定範囲の表示領域周辺の画像を縮小処理する際の縮小率を、前記タッチパネルを介して入力されるユーザ設定により変化させることを特徴とする請求項１記載の表示入力装置。
  4. 前記タッチパネルは、複数の操作キーを表示するものであり、
    前記制御部は、
    前記タッチパネルにおける前記検出対象近傍の一定範囲の表示領域周辺の前記操作キーの間隔を狭める処理を行い、前記検出対象近傍の一定範囲の表示領域の画像と区別して表示することを特徴とする請求項１記載の表示入力装置。
  5. 前記制御部は、
    前記タッチパネルに表示された前記検出対象近傍の一定範囲の表示領域における前記操作キーの間隔を拡大処理し、前記検出対象近傍の一定範囲の表示領域周辺の画像と区別して表示することを特徴とする請求項４記載の表示入力装置。
  6. 前記制御部は、
    前記タッチパネルにおける前記検出対象近傍の一定範囲の表示領域周辺の画像の形状を変更し、前記検出対象近傍の一定範囲の表示領域の画像と区別して表示することを特徴とする請求項１記載の表示入力装置。
  7. 前記制御部は、
    前記タッチパネルにおける前記検出対象近傍の一定範囲の表示領域周辺の画像に表示属性に基づく修飾処理を施し、前記検出対象近傍の一定範囲の表示領域の画像と区別して表示することを特徴とする請求項１記載の表示入力装置。
  8. 前記制御部は、
    前記近接センサにより前記タッチパネルに対向する検出対象の垂直方向の距離を検知し、前記垂直方向の距離に応じて変化する縮小率にしたがい、前記タッチパネルにおける前記検出対象近傍の一定範囲の表示領域周辺の画像を縮小表示することを特徴とする請求項１記載の表示入力装置。
JP2010541213A 2008-12-04 2009-11-26 表示入力装置およびナビゲーション装置 Active JP5231571B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010541213A JP5231571B2 (ja) 2008-12-04 2009-11-26 表示入力装置およびナビゲーション装置

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2008309789 2008-12-04
JP2008309789 2008-12-04
JP2010541213A JP5231571B2 (ja) 2008-12-04 2009-11-26 表示入力装置およびナビゲーション装置
PCT/JP2009/006391 WO2010064388A1 (ja) 2008-12-04 2009-11-26 表示入力装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2013058246A Division JP5430782B2 (ja) 2008-12-04 2013-03-21 表示入力装置および車載情報機器

Publications (2)

Publication Number Publication Date
JPWO2010064388A1 true JPWO2010064388A1 (ja) 2012-05-10
JP5231571B2 JP5231571B2 (ja) 2013-07-10

Family

ID=42233047

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2010541213A Active JP5231571B2 (ja) 2008-12-04 2009-11-26 表示入力装置およびナビゲーション装置
JP2013058246A Active JP5430782B2 (ja) 2008-12-04 2013-03-21 表示入力装置および車載情報機器

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2013058246A Active JP5430782B2 (ja) 2008-12-04 2013-03-21 表示入力装置および車載情報機器

Country Status (5)

Country Link
US (1) US20110221776A1 (ja)
JP (2) JP5231571B2 (ja)
CN (1) CN102239470B (ja)
DE (1) DE112009003521T5 (ja)
WO (1) WO2010064388A1 (ja)

Families Citing this family (87)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8381135B2 (en) 2004-07-30 2013-02-19 Apple Inc. Proximity detector in handheld device
US20120249463A1 (en) * 2010-06-04 2012-10-04 Smart Technologies Ulc Interactive input system and method
JP5293691B2 (ja) * 2010-06-28 2013-09-18 ブラザー工業株式会社 入力装置、複合機および入力制御プログラム
JP5189709B2 (ja) * 2010-07-07 2013-04-24 パナソニック株式会社 端末装置およびｇｕｉ画面生成方法
JP5625586B2 (ja) * 2010-07-28 2014-11-19 ソニー株式会社 情報処理装置、情報処理方法およびコンピュータプログラム
US20120050007A1 (en) * 2010-08-24 2012-03-01 Babak Forutanpour Methods and apparatus for interacting with an electronic device application by moving an object in the air over an electronic device display
FR2971066B1 (fr) 2011-01-31 2013-08-23 Nanotec Solution Interface homme-machine tridimensionnelle.
JP2012190261A (ja) * 2011-03-10 2012-10-04 Panasonic Corp 近接操作支援装置
JP5557780B2 (ja) * 2011-03-25 2014-07-23 株式会社Ｎｔｔドコモ 携帯端末および画面表示変更方法
JP2012208633A (ja) * 2011-03-29 2012-10-25 Ntt Docomo Inc 情報端末、表示制御方法及び表示制御プログラム
US9417754B2 (en) 2011-08-05 2016-08-16 P4tents1, LLC User interface system, method, and computer program product
TWI461990B (zh) * 2011-08-30 2014-11-21 Wistron Corp 光學影像式觸控裝置與觸控影像處理方法
JP5978592B2 (ja) * 2011-10-26 2016-08-24 ソニー株式会社 ヘッド・マウント・ディスプレイ及び表示制御方法
CN102508604A (zh) * 2011-11-08 2012-06-20 中兴通讯股份有限公司 一种终端显示界面的控制方法及终端
JP5880024B2 (ja) * 2011-12-22 2016-03-08 株式会社バッファロー 情報処理装置及びプログラム
KR20130081593A (ko) * 2012-01-09 2013-07-17 삼성전자주식회사 디스플레이 장치 및 그 아이템 선택 방법
US9594499B2 (en) * 2012-02-21 2017-03-14 Nokia Technologies Oy Method and apparatus for hover-based spatial searches on mobile maps
US9378581B2 (en) * 2012-03-13 2016-06-28 Amazon Technologies, Inc. Approaches for highlighting active interface elements
JP5949010B2 (ja) * 2012-03-16 2016-07-06 富士通株式会社 入力制御装置、入力制御プログラム、及び入力制御方法
KR20130115737A (ko) * 2012-04-13 2013-10-22 삼성전자주식회사 디스플레이장치 및 그 제어방법
WO2013169845A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for scrolling nested regions
WO2013169849A2 (en) 2012-05-09 2013-11-14 Industries Llc Yknots Device, method, and graphical user interface for displaying user interface objects corresponding to an application
AU2013259630B2 (en) 2012-05-09 2016-07-07 Apple Inc. Device, method, and graphical user interface for transitioning between display states in response to gesture
WO2013169851A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for facilitating user interaction with controls in a user interface
CN105260049B (zh) 2012-05-09 2018-10-23 苹果公司 用于响应于用户接触来显示附加信息的设备、方法和图形用户界面
WO2013169842A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for selecting object within a group of objects
JP6031186B2 (ja) 2012-05-09 2016-11-24 アップル インコーポレイテッド ユーザインタフェースオブジェクトを選択するためのデバイス、方法及びグラフィカルユーザインタフェース
WO2013169843A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for manipulating framed graphical objects
JP6182207B2 (ja) 2012-05-09 2017-08-16 アップル インコーポレイテッド ユーザインタフェースオブジェクトのアクティブ化状態を変更するためのフィードバックを提供するためのデバイス、方法、及びグラフィカルユーザインタフェース
WO2013169875A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for displaying content associated with a corresponding affordance
WO2013169865A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for moving a user interface object based on an intensity of a press input
EP3594797A1 (en) 2012-05-09 2020-01-15 Apple Inc. Device, method, and graphical user interface for providing tactile feedback for operations performed in a user interface
CN108052264B (zh) 2012-05-09 2021-04-27 苹果公司 用于移动和放置用户界面对象的设备、方法和图形用户界面
US11073959B2 (en) * 2012-06-08 2021-07-27 Apple Inc. Simulating physical materials and light interaction in a user interface of a resource-constrained device
CN102915206B (zh) * 2012-09-19 2015-08-12 东莞宇龙通信科技有限公司 屏幕键盘的按键大小调整方法和系统
US9411510B2 (en) * 2012-12-07 2016-08-09 Apple Inc. Techniques for preventing typographical errors on soft keyboards
WO2014105279A1 (en) 2012-12-29 2014-07-03 Yknots Industries Llc Device, method, and graphical user interface for switching between user interfaces
WO2014105275A1 (en) 2012-12-29 2014-07-03 Yknots Industries Llc Device, method, and graphical user interface for forgoing generation of tactile output for a multi-contact gesture
WO2014105276A1 (en) 2012-12-29 2014-07-03 Yknots Industries Llc Device, method, and graphical user interface for transitioning between touch input to display output relationships
WO2014105278A1 (en) 2012-12-29 2014-07-03 Yknots Industries Llc Device, method, and graphical user interface for determining whether to scroll or select contents
WO2014105277A2 (en) 2012-12-29 2014-07-03 Yknots Industries Llc Device, method, and graphical user interface for moving a cursor according to a change in an appearance of a control icon with simulated three-dimensional characteristics
KR102000253B1 (ko) 2012-12-29 2019-07-16 애플 인크. 사용자 인터페이스 계층을 내비게이션하기 위한 디바이스, 방법 및 그래픽 사용자 인터페이스
KR20140087731A (ko) * 2012-12-31 2014-07-09 엘지전자 주식회사 포터블 디바이스 및 사용자 인터페이스 제어 방법
EP2759921B1 (en) * 2013-01-25 2020-09-23 Morpho, Inc. Image display apparatus, image displaying method and program
FR3002052B1 (fr) * 2013-02-14 2016-12-09 Fogale Nanotech Procede et dispositif pour naviguer dans un ecran d'affichage et appareil comprenant une telle navigation
US20140240242A1 (en) * 2013-02-26 2014-08-28 Honeywell International Inc. System and method for interacting with a touch screen interface utilizing a hover gesture controller
JP5933468B2 (ja) * 2013-03-04 2016-06-08 三菱電機株式会社 情報表示制御装置、情報表示装置および情報表示制御方法
US10120540B2 (en) * 2013-03-14 2018-11-06 Samsung Electronics Co., Ltd. Visual feedback for user interface navigation on television system
US10275084B2 (en) 2013-03-27 2019-04-30 Hyon Jo Ji Touch control method in mobile terminal having large screen
US9870147B2 (en) * 2013-03-27 2018-01-16 Hyon Jo Ji Touch control method in mobile terminal having large screen
US20140327645A1 (en) * 2013-05-06 2014-11-06 Nokia Corporation Touchscreen accessory attachment
JP6198581B2 (ja) * 2013-11-18 2017-09-20 三菱電機株式会社 インターフェース装置
US9921739B2 (en) 2014-03-03 2018-03-20 Microchip Technology Incorporated System and method for gesture control
KR101655810B1 (ko) 2014-04-22 2016-09-22 엘지전자 주식회사 차량용 디스플레이 장치
KR102324083B1 (ko) * 2014-09-01 2021-11-09 삼성전자주식회사 화면 확대 제공 방법 및 그 전자 장치
US10042445B1 (en) * 2014-09-24 2018-08-07 Amazon Technologies, Inc. Adaptive display of user interface elements based on proximity sensing
JP6452409B2 (ja) * 2014-11-28 2019-01-16 キヤノン株式会社 画像表示装置、画像表示方法
KR102337216B1 (ko) 2015-01-05 2021-12-08 삼성전자주식회사 영상 표시 장치 및 영상 표시 방법
US9645732B2 (en) 2015-03-08 2017-05-09 Apple Inc. Devices, methods, and graphical user interfaces for displaying and using menus
US10048757B2 (en) 2015-03-08 2018-08-14 Apple Inc. Devices and methods for controlling media presentation
US9632664B2 (en) 2015-03-08 2017-04-25 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10095396B2 (en) 2015-03-08 2018-10-09 Apple Inc. Devices, methods, and graphical user interfaces for interacting with a control object while dragging another object
US9990107B2 (en) 2015-03-08 2018-06-05 Apple Inc. Devices, methods, and graphical user interfaces for displaying and using menus
US9639184B2 (en) 2015-03-19 2017-05-02 Apple Inc. Touch input cursor manipulation
US9785305B2 (en) 2015-03-19 2017-10-10 Apple Inc. Touch input cursor manipulation
US10152208B2 (en) 2015-04-01 2018-12-11 Apple Inc. Devices and methods for processing touch inputs based on their intensities
US20170045981A1 (en) 2015-08-10 2017-02-16 Apple Inc. Devices and Methods for Processing Touch Inputs Based on Their Intensities
US10200598B2 (en) 2015-06-07 2019-02-05 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US9830048B2 (en) 2015-06-07 2017-11-28 Apple Inc. Devices and methods for processing touch inputs with instructions in a web page
US9860451B2 (en) 2015-06-07 2018-01-02 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US9674426B2 (en) 2015-06-07 2017-06-06 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US10346030B2 (en) 2015-06-07 2019-07-09 Apple Inc. Devices and methods for navigating between user interfaces
US9891811B2 (en) 2015-06-07 2018-02-13 Apple Inc. Devices and methods for navigating between user interfaces
US9880735B2 (en) 2015-08-10 2018-01-30 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10235035B2 (en) 2015-08-10 2019-03-19 Apple Inc. Devices, methods, and graphical user interfaces for content navigation and manipulation
US10248308B2 (en) 2015-08-10 2019-04-02 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interfaces with physical gestures
US10416800B2 (en) 2015-08-10 2019-09-17 Apple Inc. Devices, methods, and graphical user interfaces for adjusting user interface objects
JP6520817B2 (ja) * 2016-05-10 2019-05-29 株式会社デンソー 車両用操作装置
KR20170138279A (ko) * 2016-06-07 2017-12-15 엘지전자 주식회사 이동 단말기 및 그 제어방법
CN106201306B (zh) * 2016-06-27 2019-11-26 联想(北京)有限公司 一种控制方法及电子设备
US10712911B2 (en) * 2016-08-05 2020-07-14 Kyocera Document Solutions Inc. Display input device, image forming device, and method for controlling display input device
US10146495B2 (en) * 2016-12-21 2018-12-04 Curt A Nizzoli Inventory management system
JP6359165B2 (ja) * 2017-08-24 2018-07-18 三菱電機株式会社 端末用プログラム
JP2020107031A (ja) * 2018-12-27 2020-07-09 株式会社デンソー 指示ジェスチャ検出装置、およびその検出方法
JP6568331B1 (ja) * 2019-04-17 2019-08-28 京セラ株式会社 電子機器、制御方法、及びプログラム
JP6816798B2 (ja) * 2019-08-22 2021-01-20 富士ゼロックス株式会社 表示装置及びプログラム
FR3124872A1 (fr) * 2021-07-02 2023-01-06 Faurecia Interieur Industrie Dispositif électronique et procédé d'affichage de données sur un écran d’affichage, système d’affichage, véhicule et programme d’ordinateur associés

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5963671A (en) * 1991-11-27 1999-10-05 International Business Machines Corporation Enhancement of soft keyboard operations using trigram prediction
TWI238348B (en) * 2002-05-13 2005-08-21 Kyocera Corp Portable information terminal, display control device, display control method, and recording media
KR20030097310A (ko) * 2002-06-20 2003-12-31 삼성전자주식회사 디스플레이장치의 화상크기조절방법 및 그화상크기조절시스템과 화상크기조절방법을 수행하는프로그램이 저장된 기록매체
JP4518955B2 (ja) * 2002-11-29 2010-08-04 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 接触エリアの移動させられた表現を用いたユーザインタフェース
JP3846432B2 (ja) 2003-02-26 2006-11-15 ソニー株式会社 表示装置、表示方法及びそのプログラム
US6990637B2 (en) * 2003-10-23 2006-01-24 Microsoft Corporation Graphical user interface for 3-dimensional view of a data collection based on an attribute of the data
US7432911B2 (en) * 2004-02-26 2008-10-07 Research In Motion Limited Keyboard for mobile devices
JP4037378B2 (ja) * 2004-03-26 2008-01-23 シャープ株式会社 情報処理装置、画像出力装置、情報処理プログラムおよび記録媒体
EP1596271A1 (en) * 2004-05-11 2005-11-16 Hitachi Europe S.r.l. Method for displaying information and information display system
JP2006031499A (ja) 2004-07-20 2006-02-02 Denso Corp 情報入力表示装置
JP4649931B2 (ja) * 2004-09-30 2011-03-16 マツダ株式会社 車両用情報表示装置
US7443316B2 (en) * 2005-09-01 2008-10-28 Motorola, Inc. Entering a character into an electronic device
US20070209025A1 (en) * 2006-01-25 2007-09-06 Microsoft Corporation User interface for viewing images
JP4876982B2 (ja) * 2007-03-07 2012-02-15 日本電気株式会社 表示装置および携帯情報機器

Also Published As

Publication number Publication date
WO2010064388A1 (ja) 2010-06-10
JP5231571B2 (ja) 2013-07-10
CN102239470B (zh) 2018-03-16
JP2013146095A (ja) 2013-07-25
CN102239470A (zh) 2011-11-09
DE112009003521T5 (de) 2013-10-10
JP5430782B2 (ja) 2014-03-05
US20110221776A1 (en) 2011-09-15

Similar Documents

Publication Publication Date Title
JP5430782B2 (ja) 表示入力装置および車載情報機器
JP5777745B2 (ja) 表示入力装置及びナビゲーションシステム
JP5312655B2 (ja) 表示入力装置および車載情報装置
JP5355683B2 (ja) 表示入力装置および車載情報機器
JP5052677B2 (ja) 表示入力装置
JP5620440B2 (ja) 表示制御装置、表示制御方法及びプログラム
KR20100104804A (ko) Ｄｄｉ, ｄｄｉ 제공방법 및 상기 ｄｄｉ를 포함하는 데이터 처리 장치
AU2014201585A1 (en) Electronic device and method for controlling screen display using temperature and humidity
KR20140074141A (ko) 단말에서 애플리케이션 실행 윈도우 표시 방법 및 이를 위한 단말
KR20140137996A (ko) 휴대 단말기에서 화면을 표시하는 방법 및 장치
JPWO2017022031A1 (ja) 情報端末装置
JP5820414B2 (ja) 情報処理装置及び情報処理方法
JP5933468B2 (ja) 情報表示制御装置、情報表示装置および情報表示制御方法
KR101165388B1 (ko) 이종의 입력 장치를 이용하여 화면을 제어하는 방법 및 그 단말장치
JP2014052817A (ja) 画像表示方法および画像表示装置
JP5889230B2 (ja) 情報表示制御装置、情報表示装置および情報表示制御方法
JP2014170339A (ja) 情報表示制御装置、情報表示装置および情報表示制御方法
JP5984718B2 (ja) 車載情報表示制御装置、車載情報表示装置および車載表示装置の情報表示制御方法
JP5591092B2 (ja) 表示制御装置、表示制御方法、及び、プログラム
JP2011065589A (ja) ユーザインタフェース装置
JP2017182260A (ja) 表示処理装置、及び表示処理プログラム

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121120

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130117

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130219

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130321

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160329

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5231571

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250