WO2014061098A1 - 情報表示装置および表示情報操作方法 - Google Patents

情報表示装置および表示情報操作方法 Download PDF

Info

Publication number
WO2014061098A1
WO2014061098A1 PCT/JP2012/076680 JP2012076680W WO2014061098A1 WO 2014061098 A1 WO2014061098 A1 WO 2014061098A1 JP 2012076680 W JP2012076680 W JP 2012076680W WO 2014061098 A1 WO2014061098 A1 WO 2014061098A1
Authority
WO
WIPO (PCT)
Prior art keywords
icon
display
gesture
information
composite icon
Prior art date
Application number
PCT/JP2012/076680
Other languages
English (en)
French (fr)
Inventor
英一 有田
下谷 光生
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to PCT/JP2012/076680 priority Critical patent/WO2014061098A1/ja
Priority to JP2014541847A priority patent/JP5738495B2/ja
Priority to US14/426,092 priority patent/US20150234572A1/en
Priority to CN201280076431.5A priority patent/CN104737221B/zh
Priority to DE112012007167.0T priority patent/DE112012007167T5/de
Publication of WO2014061098A1 publication Critical patent/WO2014061098A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3664Details of the user input interface, e.g. buttons, knobs or sliders, including those provided on a touch screen; remote controllers; input using gestures
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3667Display of a road map
    • G01C21/367Details, e.g. road map scale, orientation, zooming, illumination, level of detail, scrolling of road map or positioning of current position marker
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04808Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Automation & Control Theory (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

 情報表示装置は、表示面を有する表示部と、ユーザ操作を受け付ける入力部と、制御部を含む。制御部は、ユーザ操作が、表示面上の表示情報を、ジェスチャ方向に応じて設定される制御方向に制御する画面移動変形型機能に関連付けられたジェスチャ操作である場合、複合アイコンを表示面に表示させる。複合アイコンは、いずれも画面移動変形型機能に関連付けられているが制御方向の割り当てが異なっている複数のアイコンの複合体である。制御部は、ユーザ操作が複合アイコン中のいずれかのアイコンに対する実行指示操作である場合、実行指示操作が行われたアイコンに割り当てられている制御方向で以て画面移動変形型機能を実行する。これにより、高い利便性が提供される。

Description

情報表示装置および表示情報操作方法
 本発明は、情報表示装置および表示情報操作方法に関する。
 下記特許文献1,2には、タッチパネルを利用した機器が開示されている。
 特許文献1の携帯情報機器では、地図画像が表示されている画面上で指を動かすと、指の移動方向にその移動距離だけ地図画像が移動して表示される。これによれば、指の動作履歴によって、スクロール操作の実行指示およびスクロール量が同時に入力される。また、2本の指を遠ざけると、その動作履歴によって、地図画像の拡大指示および拡大量が入力される。また、2本の指を近づけると、その動作履歴によって、地図画像の縮小指示および縮小量が入力される。また、1本の指を軸に他の1本の指を回転させると、その動作履歴によって、地図画像の回転指示および回転量が入力される。
 特許文献2のナビゲーション装置では、地図画像の連続的なスムーススクロール処理を行うためのスムーススクロール操作用アイコンが表示される。具体的には、このアイコンは、運転席の位置に合わせて、地図画像上の右下部分又は左下部分に表示される。このアイコンの所定方向を示す矢印部分が指でタッチされると、タッチされ続けている時間だけ、その矢印方向へナビゲーション地図画像が高速に移動する。
 また、特許文献2のナビゲーション装置では、上記スムーススクロール操作用アイコン以外の領域がタッチされると、当該地点を画面中心に移動させるタッチスクロール処理が実行される。また、上記スムーススクロール操作用アイコン以外の領域をタッチし、タッチしている指を画面上で移動させると、指の軌跡に合わせて地図を順次移動させるドラッグスクロール処理が実行される。
 このように、特許文献2のナビゲーション装置では、スムーススクロール処理を実行させるための領域(すなわち、スムーススクロール操作用アイコン)と、タッチスクロール処理およびドラッグスクロール処理を実行させるための領域(すなわち、スムーススクロール操作用アイコン以外の領域)とが、区分けされる。これにより、スムーススクロール操作とタッチスクロール操作が非常に似通っている場合(例えば、両操作の違いが、画面に触れ続けている時間の差だけである場合)に比べて、ユーザが意図する種類のスクロール処理を正確に指示できる、としている。
特開2000-163031号公報 特開2010-32546号公報
 特許文献1の携帯情報機器では、例えば長い距離をスクロールさせる場合、同じ指移動を何回も繰り返さなければならない。スクロール以外の操作についても同様である。
 特許文献2のナビゲーション装置は、スムーススクロール操作とタッチスクロール操作が非常に似通っている場合(例えば、両操作の違いが、画面に触れ続けている時間の差だけである場合)における操作性の悪さを解消することを目的として、提案されている。スクロール操作を行うタイミングはユーザの意思に拠るので、スムーススクロール操作用アイコンはいつでも利用できるように常に表示されている必要がある。
 また、スムーススクロール操作用アイコンにおいて、地図移動方向を示す各矢印部分は、指でタッチできる程度の大きさが必要である。特許文献2に記載されているように8方向分の矢印部分をアイコン中に設けると、スムーススクロール操作用アイコンが大きくなってしまう。
 大きなアイコンが常に表示されていることは、地図の視認に支障を来す状況が想像される。そのような場合、スムーススクロール操作用アイコンの採用が却って、利便性を低下させる可能性がある。
 本発明は、高い利便性等を有した情報表示装置および表示情報操作方法を提供することを目的とする。
 本発明の一形態に係る情報表示装置は、表示面を有する表示部と、ユーザ操作を受け付ける入力部と、制御部を含む。制御部は、ユーザ操作が、表示面上の表示情報を、ジェスチャ方向に応じて設定される制御方向に制御する画面移動変形型機能に関連付けられたジェスチャ操作である場合、複合アイコンを表示面に表示させる。複合アイコンは、いずれも画面移動変形型機能に関連付けられているが制御方向の割り当てが異なっている複数のアイコンの複合体である。制御部は、ユーザ操作が複合アイコン中のいずれかのアイコンに対する実行指示操作である場合、実行指示操作が行われたアイコンに割り当てられている制御方向で以て画面移動変形型機能を実行する。
 上記一形態によれば、ジェスチャ操作によって複合アイコンが表示面上に呼び出され、その複合アイコンを使って、上記ジェスチャ操作に関連付けられている画面移動変形型機能を様々な制御方向に実行可能である。このため、複合アイコンを使えば、ジェスチャ操作の繰り返し回数を減らして、操作負担を軽減できる。また、複合アイコンを使えば、制御方向を適宜、選択可能である。これにより、高い利便性を提供できる。
 また、実行させたい機能に関連付けられているジェスチャ操作を行うだけで、複合アイコンが表示される。すなわち、ユーザが意図している機能に応じた複合アイコンが、自動的に表示される。このため、高い利便性を提供できる。
 また、例えばユーザが操作を行わずに表示情報を見続けている状況下では、複合アイコンは呼び出されないので、表示情報が複合アイコンで隠されることがない。
 本発明の目的、特徴および利点は、以下の詳細な説明と添付図面とによって、より明白となる。
情報表示装置を例示するブロック図である。 入力兼表示部を例示する斜視図である。 1点タッチ操作の概念図である。 2点タッチ操作の概念図である。 ドラッグ操作の概念図である。 フリック操作の概念図である。 ピンチアウト操作(2点移動型)の概念図である。 ピンチアウト操作(1点移動型)の概念図である。 ピンチイン操作(2点移動型)の概念図である。 ピンチイン操作(1点移動型)の概念図である。 スクロール操作の概念図である。 表示サイズ変更操作(拡大操作および縮小操作)の概念図である。 回転操作の概念図である。 スクロール複合アイコンを例示する図である。 スクロール複合アイコンの概念図である。 表示サイズ変更複合アイコンを例示する図である。 回転複合アイコンを例示する図である。 制御部を例示するブロック図である。 複合アイコンが表示されるまでの処理を例示するフローチャートである。 終点条件の概念図である。 複合アイコン呼び出し操作の概念図である。 複合アイコンの表示位置の第1例を説明する図である。 複合アイコンの表示位置の第2例を説明する図である。 複合アイコンの表示位置の第3例を説明する図である。 複合アイコンの表示位置の第4例を説明する図である。 ジェスチャ軌跡の延長線の求め方の第1例を説明する図である。 ジェスチャ軌跡の延長線の求め方の第2例を説明する図である。 ジェスチャ軌跡の延長線の求め方の第3例を説明する図である。 複合アイコンの表示位置の第5例を説明する図である。 複合アイコンが表示された後の処理を例示するフローチャートである。 ジェスチャ量またはジェスチャ速度と、表示情報の制御量または制御速度との関係を示す概念図である。 表示情報の制御量を例示する図である。 表示情報の制御速度を例示する図である。 複合アイコンのサイズ変更を例示する図である。 複合アイコンの消去に関する処理を例示するフローチャートである。 スクロールアイコンと表示サイズ変更アイコンとを組み合わせた複合アイコンを例示する図である。 要素連結表示形式の概念図である。
 <全体構成の概略>
 図1に実施の形態に係る情報表示装置10のブロック図を例示する。図1の例によれば、情報表示装置10は、表示部12と、入力部14と、制御部16と、記憶部18とを含んでいる。
 表示部12は、各種情報を表示する。表示部12は、例えば、複数の画素がマトリクス状に配置されることによって構成された表示面と、制御部16から取得した画像データに基づいて各画素を駆動する(換言すれば、各画素の表示状態を制御する)駆動装置と、を含んでいる。なお、表示部12で表示する画像は、静止画像の場合もあるし、動画像の場合もあるし、さらには静止画像と動画像の組み合わせの場合もある。
 表示部12は、例えば液晶表示装置によって構成可能である。この例によれば、表示パネル(ここでは液晶パネル)の表示領域が上記表示面に対応し、表示パネルに外付けされた駆動回路が上記駆動装置に対応する。なお、駆動回路の一部が表示パネルに内蔵される場合もある。液晶表示装置の他に、エレクトロルミネセンス(EL)表示装置、プラズマディスプレイ装置、等によって、表示部12を構成することも可能である。
 入力部14は、ユーザから各種情報を受け付ける。入力部14は、例えば、ユーザが入力のために用いる指示物を検出する検出部と、検出部によって検出された結果を検出信号として制御部16へ出力する検出信号出力部と、を含んでいる。
 ここでは、入力部14がいわゆる接触型のタッチパネルで構成される場合を例示し、以下では入力部14を「タッチパネル14」と称する場合もある。なお、タッチパネルは「タッチパッド」等と称される場合もある。また、入力に用いる上記指示物が、ユーザの指(より具体的には、指先)である場合を例示する。
 タッチパネル14の上記検出部は、ユーザが指先を載せる入力面を提供し、当該入力面に対して設けられたセンサ群によって、入力面上の指の存在を検出する。換言すれば、センサ群によって指を検出可能な領域が、ユーザ入力を受け付け可能な入力領域に対応し、接触型タッチパネルの場合、入力領域は2次元領域の入力面に対応する。
 センサ群は電気式、光学式、機械式、等のいずれでもよいし、あるいは、それらの組み合わせでもよい。また、各種の位置検出方式が開発されており、それらのうちのいずれをタッチパネル14に採用しても構わない。また、指の位置の検出だけでなく、入力面に対する指の押圧力を検出可能な構成を採用してもよい。
 各センサの出力信号の組み合わせから、入力面上における指先の位置を特定可能である。特定された位置は例えば、入力面に設定された座標上の座標データによって表現される。この場合、入力面上で指を移動させると指位置を示す座標データが変化するので、連続的に取得される一連の座標データによって指の移動を検出可能である。
 なお、座標以外の手法によって指位置を表現してもよい。すなわち、座標データは、指の位置を表現するための指位置データの一例である。
 ここでは、タッチパネル14の上記検出信号出力部が、各センサの出力信号から、指位置を示す座標データを生成し、その座標データを検出信号として制御部16へ送信する例を挙げる。但し、例えば、座標データへの変換を、制御部16に行わせてもよい。そのような例では、検出信号出力部は、各センサの出力信号を、制御部16が取得可能な形式の信号に変換し、得られた信号を検出信号として制御部16へ送信する。
 また、図2の斜視図に示すように、タッチパネル14(図1参照)の入力面34と表示部12(図1参照)の表示面32とが重ねられた構造、換言すれば入力面34と表示面32とが一体化した構造を例示する。そのような一体構造によって、入力兼表示部20(図1参照)、より具体的にはタッチスクリーン20が提供される。
 入力面34と表示面32との一体構造によれば、入力面34と表示面32とはユーザにとって同一視され、あたかも表示面32に対して入力操作を行っている感覚をユーザに与える。このため、直感的な操作環境が提供される。なお、かかる点に鑑み、例えば「ユーザが表示面32を操作する」といった表現を用いる場合もある。
 制御部16は、情報表示装置10における各種の処理および制御を行う。例えば、制御部16は、タッチパネル14から入力された情報を解析し、その解析結果に応じた画像データを生成し、その画像データを表示部12へ出力する。
 ここでは、制御部16が中央演算処理部(例えば1つまたは複数のマイクロプロセッサで構成される)と主記憶部(例えばROM、RAM、フラッシュメモリ等の1つまたは複数の記憶装置で構成される)とによって構成される場合を例示する。この例によれば、主記憶部に格納された各種プログラムを中央演算処理部が実行することによって(換言すれば、ソフトウェアによって)、各種機能が実現される。各種機能は並列的に実現させることも可能である。
 各種プログラムは、予め制御部16の主記憶部に格納されていてもよいし、あるいは、実行時に記憶部18から読み出されて主記憶部に格納されてもよい。主記憶部は、プログラムだけでなく各種データの格納にも利用される。また、主記憶部は、中央演算処理部がプログラムを実行する際の作業領域を提供する。また、主記憶部は、表示部12に表示する画像を書き込むため画像保持部を提供する。画像保持部は「ビデオメモリ」、「グラフィックメモリ」等と称される場合もある。
 なお、制御部16が行う処理および制御の全部又は一部を、ハードウェア(例えば、特定の演算を行うように構成された演算回路等)として構成されていてもよい。
 記憶部18は、各種情報を格納する。ここでは、記憶部18は、制御部16が利用する補助記憶部として設けられている。記憶部18は、例えば、ハードディスク装置、光ディスク、書き換え可能かつ不揮発性の半導体メモリ、等の記憶装置の1つ以上を利用して構成可能である。
 <ユーザ操作とその機能>
 情報表示装置10のより具体的な構成および処理を説明する前に、タッチパネル14に対するユーザ操作について説明する。
 ユーザ操作は、指の動きから、タッチ操作とジェスチャ操作とに大別される。なお、以下では、タッチ操作とジェスチャ操作を「タッチ」および「ジェスチャ」とそれぞれ称する場合もある。タッチ操作は、少なくとも1本の指先をタッチパネルの入力面に接触させ、接触させた指を、入力面上で移動させることなく、入力面から離す操作である。これに対し、ジェスチャ操作は、少なくとも1本の指先を入力面に接触させ、接触させた指を入力面上で移動させた(換言すれば、スライドさせた)後に、入力面から離す操作である。
 タッチ操作によって検出される座標データ(換言すれば、指位置データ)は、基本的には変化が無く、静的である。これに対し、ジェスチャ操作によって検出される座標データは、時間経過と共に変化し、動的である。そのような変化する一連の座標データによれば、入力面上で指が移動を開始した地点および終了した地点、移動始点から移動終点に至る軌跡、移動方向、移動量、移動速度、移動加速度、等の情報を取得可能である。
 図3に、タッチ操作の第1例として、1点タッチ操作(単に「1点タッチ」とも称する)を説明する概念図を示す。なお、図3および後述の図4~図10では、上段に入力面34の平面図を示し、下段に入力面34の側面図または断面図を示している。
 図3に示すように、1点タッチでは、ユーザは1本の指を入力面34に点接触させる。図3ではタッチ地点(換言すれば、指の検出地点)を黒塗り丸印で模式的に示している。かかる図示手法は後述の図面でも用いることにする。なお、黒塗り丸印を実際に表示面に表示させてもよい。
 1点タッチは例えば、シングルタップ、マルチタップおよび長押しの各操作に分類可能である。シングルタップとは、指先で入力面34を1回、軽く叩く操作である。シングルタップは単に「タップ」と称される場合もある。マルチタップとは、タップを複数回繰り返す操作である。マルチタップとして、ダブルタップが代表的である。長押しとは、指先の点接触を維持する操作である。これらの操作は、例えば指の接触(換言すれば、指の検出)の継続時間および回数によって、識別可能である。
 図4は、タッチ操作の第2例として、2点タッチ操作(単に「2点タッチ」とも称する)を説明する概念図である。2点タッチは、指を2本使う点を除いて、基本的に1点タッチと同じである。このため、2点タッチによっても、例えば、タップ、マルチタップおよび長押しの各操作を行うことが可能である。2点タッチでは、片手のうちの2本の指を使ってもよいし、あるいは、右手の1本の指と左手の1本の指とを使ってもよい。なお、2本の指の位置関係は図4の例に限定されるものではない。
 なお、3本以上の指でタッチ操作を行うことも可能である。
 図5は、ジェスチャ操作の第1例として、ドラッグ操作(単に「ドラッグ」とも称する)を説明する概念図である。ドラッグとは、指先を入力面34上に置いたままでずらす操作である。なお、指の移動方向および移動距離は、図5の例に限定されるものではない。
 図5において、指の移動始点を黒塗り丸印で模式的に示し、指の移動終点を黒塗り三角形で模式的に示し、その三角形の向きで指の移動方向を表現し、黒塗り丸印と黒塗り三角形を結ぶ線によって軌跡を表現している。かかる図示手法は後述の図面でも用いることにする。なお、黒塗り丸印と黒塗り三角形と軌跡とを実際に表示面に表示させてもよい。
 図6は、ジェスチャ操作の第2例として、フリック操作(単に「フリック」とも称する)を説明する概念図である。フリックとは、指先を入力面34上で素早く払う操作である。なお、指の移動方向および移動距離は図6の例に限定されるものではない。
 フリックでは、ドラッグと異なり、指が移動途中で入力面34から離れる。ここではタッチパネル14が接触型であるので、入力面34から離れた後の指移動は原理的には検出されない。しかし、例えば、指が入力面34上を移動する間に得られた一連の座標データの変化から、検出された最終地点における指の移動速度を算出することが可能である。その移動速度が、予め定められた閾値(「ドラッグ/フリック識別閾値」と称することにする)以上であることを以て、フリックを識別可能である。
 また、例えば、検出された最終地点における指の移動方向、移動速度および移動加速度から、指が入力面34から離れた後に最終的に到達する地点(より具体的には、その地点を入力面34に投影した地点)を推定可能である。なお、かかる推定処理は、フリックを仮想的なドラッグに変換する処理として解釈することが可能である。
 そこで、情報表示装置10では、そのように推定された地点を指移動の終点として扱うことにする。この例において上記推定処理は、タッチパネル14によって実行してもよいし、あるいは制御部16によって実行してもよい。
 但し、そのような推定は行わず、入力面34から離れた地点を指移動の終点として扱うように、情報表示装置10を変形しても構わない。
 図7は、ジェスチャ操作の第3例として、ピンチアウト操作(単に「ピンチアウト」とも称する)を説明する概念図である。ピンチアウトとは、入力面34上で2本の指先を遠ざける操作である。ピンチアウトは「ピンチオープン」とも称される。
 図7では、2本の指の両方をドラッグする場合を例示した。これに対し、図8にジェスチャ操作の第4例として示すように、一方の指先を入力面34上に固定し(換言すれば、一方の指先はタッチ状態を維持し)、他方の指先のみをドラッグすることによって、ピンチアウトを行うことも可能である。なお、図7および図8のやり方を区別する場合、図7のやり方を「2点移動型」と称し、図8のやり方を「1点移動型」と称することにする。
 図9は、ジェスチャ操作の第5例として、ピンチイン操作(単に「ピンチイン」とも称する)を説明する概念図である。ピンチインとは、入力面34上で2本の指先を近づける操作である。ピンチインは「ピンチクローズ」とも称される。図9には2点移動型のピンチインを例示しているが、図10にジェスチャ操作の第6例として、1点移動型のピンチインを例示する。
 ここで、ピンチアウトとピンチインを「ピンチ操作」または「ピンチ」と総称し、指の移動方向を「ピンチ方向」と称することにする。この場合、ピンチ方向が、指の間隔が拡大する方向である場合、そのピンチ操作は特にピンチアウトと称される。逆に、ピンチ方向が、指の間隔が縮小する方向である場合、そのピンチ操作は特にピンチインと称される。
 なお、ピンチアウトおよびピンチインでは、片手のうちの2本の指を使ってもよいし、あるいは、右手の1本の指と左手の1本の指とを使ってもよい。また、2本の指の位置関係、移動方向および移動距離は、図7~図10の例に限定されるものではない。また、1点移動型のピンチアウトおよびピンチインにおいて、ドラッグさせる方の指は、図8および図10の例に限定されるものではない。また、ドラッグの代わりにフリックを使って、ピンチアウトおよびピンチインを行うことも可能である。
 各ユーザ操作は、特定の機能に関連付けられている。具体的には、ユーザ操作が検出されると、そのユーザ操作に関連付けられた処理が制御部16によって実行され、それにより、対応する機能が実現される。かかる点に鑑みると、ユーザ操作は、実現される機能から、分類することも可能である。
 例えば、表示面32上のアイコンに対して行うダブルタップは、アイコンに関連付けられているプログラムまたはコマンドを実行させる機能に関連付けられる。この場合、ダブルタップは、実行指示操作として機能する。
 また、図11に例示するように、表示情報(図11には地図画像が例示されている)に対して行うドラッグは、その表示情報をスクロールさせるスクロール機能に関連付けられる。この場合、ドラッグ操作は、スクロール操作として機能する。なお、ドラッグの代わりにフリックによって、スクロールを行わせることも可能である。
 また、図12に例示するように、表示情報(図12には地図画像が例示されている)に対して行うピンチアウトおよびピンチインは、その情報表示のサイズ(換言すれば、スケール)を変更する機能に関連付けられる。この場合、ピンチアウトおよびピンチインは、表示サイズ変更操作(「表示スケール変更操作」と称してもよい)として機能する。より具体的には、図12の例では、ピンチアウトが拡大操作に対応し、ピンチインが縮小操作に対応する。
 また、図13に例示するように、表示情報(図13には地図画像が例示されている)に対して、2本の指を、距離を保ったまま円を描くように、ドラッグさせる場合、そのドラッグは、その情報表示を回転させる機能に関連付けられる。この場合の2点移動型の回転ドラッグは、回転操作として機能する。なお、3本以上の指で行う回転ドラッグを採用してもよい。また、回転ドラッグを行う指の本数に応じて、関連付ける機能を違えてもよい。
 ここで、1つのユーザ操作に複数種類の機能を割り当てることも可能である。例えば、ダブルタップを、上記の実行指示操作の他に、アイコンに関連付けられたフォルダを開くフォルダ開操作に割り当ててもよい。また、ドラッグを、スクロール機能と、描画機能とに割り当ててもよい。1つのユーザ操作に複数種類の機能を割り当てられている場合、操作対象、使用状況(換言すれば、使用モード)等に応じて、各機能が切り換えられる。
 また、1つの機能に複数種類のユーザ操作を割り当てることも可能である。例えば、アイコンに対する実行指示機能を、ダブルタップと長押しとフリックに関連付けてもよい。この場合、ダブルタップと長押しとフリックのいずれによっても、アイコンに関連付けられたプログラム等を実行可能である。また、例えば、スクロール機能を、ドラッグとフリックとの両方に関連付けてもよい。また、例えば、回転機能を、2点移動型の回転ドラッグと1点移動型の回転ドラッグの両方に関連付けてもよい。
 ここで、ユーザ操作に関連付けられている機能を、画面の移動および変形の観点から、画面移動変形型と非移動変形型とに大別する。なお、以下では、例えば、画面移動変形型機能に関連付けられているジェスチャ操作を、「画面移動変形型機能のジェスチャ操作」と表現する場合もある。
 ジェスチャ操作に関連付けられている画面移動変形型機能は、表示面上の表示情報を、ジェスチャ方向に応じて設定される制御方向に、制御する(換言すれば、操る)機能である。画面移動変形型機能には例えば、スライド機能と、表示サイズ変更機能と、回転機能と、鳥瞰図表示機能(より具体的には、仰角および俯角の変更機能)とが含まれる。なお、スライド機能は画面移動機能に分類可能である。また、回転機能を角度の移動という観点から捉えれば、回転機能を画面移動機能に分類可能である。また、表示サイズ変更機能および鳥瞰図表示機能は、画面変形機能に分類可能である。
 より具体的には、スクロール機能では、ジェスチャ方向(例えば、ドラッグ方向またはフリック方向)に応じてスクロール方向(すなわち、制御方向)を設定し、そのスクロール方向に表示情報をスクロールする。
 また、表示サイズ変更機能では、ジェスチャ方向(例えば、ピンチ方向)が拡大方向である場合には制御方向を拡大方向に設定し、ジェスチャ方向が縮小方向である場合には制御方向を縮小方向に設定し、その設定した制御方向に、表示情報のサイズを変更する。
 また、回転機能では、ジェスチャ方向(例えば、回転ドラッグにおける回転方向)が右回転方向である場合には制御方向を右回転方向に設定し、ジェスチャ方向が左回転方向である場合には制御方向を左回転方向に設定し、その設定した制御方向に、表示情報を回転する。
 なお、画面移動変形型機能は、ジェスチャ方向だけでなく、更にジェスチャ量(例えば、ジェスチャ軌跡の長さ)も利用して、表示情報を制御してもよい。具体的には、ジェスチャ量が大きいほど、表示情報の制御量(例えば、スクロール量、表示サイズ変更量および回転量)を大きく設定してもよい。
 また、画面移動変形型機能は、ジェスチャ量に加えてまたは代えて、ジェスチャ速度を利用して表示情報を制御してもよい。具体的には、ジェスチャ速度が大きいほど、表示情報の制御速度(例えば、スクロール速度、表示サイズ変更速度および回転速度)を大きく設定してもよい。
 他方、非移動変形型機能は、ジェスチャ操作に関連付けられていても、機能の実現にジェスチャ方向を利用しない。例えば、アイコンに対するフリックが、特定のプログラムの実行指示機能に関連付けられていても、当該機能は非移動変形型に属する。また、例えばドラッグを描画機能および手書き文字入力機能で利用する場合も、そのドラッグに応じた軌跡が表示されるだけであり、表示情報がドラッグ方向に応じて制御されるわけでない。
 なお、ユーザ操作およびそれによって実現される機能は、上記の各種例示に限定されるものではない。
 <複合アイコン>
 情報表示装置10では、複合アイコンという特徴的な操作手法を採用している。複合アイコンは複数のアイコンの複合体である。複合アイコンは、画面移動変形型機能のジェスチャ操作が行われた場合に、表示面に表示される。そして、複合アイコン中の各アイコンに対して実行指示操作を行うと、当該複合アイコンの出現に関与した(換言すれば、当該複合アイコンを表示させるきっかけになった)ジェスチャ操作に関連付けられている画面移動変形型機能が実行される。換言すれば、複合アイコン中のいずれのアイコンも、当該複合アイコンの出現に関与したジェスチャ操作に関連付けられている画面移動変形型機能に、関連付けられている。但し、複合アイコン中のアイコンには、互いに異なる制御方向が割り当てられている。このため、複合アイコン中のいずれかのアイコンに対して実行指示操作を行うと、そのアイコンに割り当てられている制御方向で以て、画面移動変形型機能が実行される。
 複合アイコンに対する実行指示操作として、1点タッチ操作が例示される。例えば、複合アイコンのいずれかのアイコンにタッチした状態が持続している間、複合アイコンに関連付けられた画面移動変形型機能が実行され続けるようにしてもよい。この場合、タップ操作よりも長押し操作によって、画面移動変形型機能における制御量(例えば、スクロール量)が大きくなる。但し、この例に限定されるものではない。例えば、タップが連続的に行われている間、画面移動変形型機能が実行され続けるようにしてもよい。
 図14に、複合アイコンの一例として、スクロール複合アイコン72を示す。図14の例によれば、スクロール複合アイコン72は、8つのアイコン72a~72hを有している。アイコン72a~72hのいずれもスクロール機能に関連付けられているが、各アイコン72a~72hには異なるスクロール方向が割り当てられている。具体的には、アイコン72aは上方向のスクロールに割り当てられ、アイコン72bは右上45°方向のスクロールに割り当てられ、アイコン72cは右方向のスクロールに割り当てられている。また、アイコン72d,72e,72f,72g,72hのスクロール方向は、右下45°方向、下方向、左下45°方向、左方向、左上45°方向にそれぞれ割り当てられている。かかる点に鑑み、図14の例では、各アイコン72a~72hが、縦長三角形の頂点をスクロール方向に向けたデザインで描かれている。但し、スクロール複合アイコン72のデザインは図示の例に限定されるものではない。なお、アイコン72a~72hを、スクロールアイコン72a~72hとも称する場合もある。
 図15に、スクロール複合アイコンの概念図を示す。ここでは、ジェスチャ操作の一例であるドラッグ70が、画面移動変形型機能の一例であるスクロール機能に関連付けられている。ドラッグ70が任意の方向(図15の例では右方向)に行われることによって、ドラッグ70に関連付けられている機能であるスクロール機能を実行可能なスクロール複合アイコン72が表示される。当該スクロール複合アイコン72によれば、その中の各アイコン72a~72h(図14参照)が、スクロール機能の実行指示を受け付け、上記のように設定された自身のスクロール方向にスクロール機能を実行する。
 ここで、図15の例では、右方向へドラッグを行うことによって、地図画像が右方向にスライドし、表示面の左側から、続きの地図画像が出現する。この場合、地図画像のスライド方向はドラッグ方向と同じ右方向である。これに対し、地図画像のスクロール方向は一般的には左方向と表現される。つまり、スクロール機能とスライド機能では、制御方向であるスクロール方向およびスライド方向が180°異なる。但し、スクロール機能とスライド機能のいずれについても、制御方向が、ジェスチャ方向(図15の例ではドラッグ方向)またはスクロールアイコン72a~72hによって指示された方向に応じて、設定される点で共通する。
 図15には左スクロール用のアイコン72g(図14参照)をタッチする例を図示しているが、他のスクロール方向のアイコン72a~72f,72h(図14参照)をタッチすることにより、当該他の方向にスクロールすることも可能である。
 なお、画面移動変形型機能の他の例である表示サイズ変更機能および回転機能を受け付ける複合アイコンを、「表示サイズ変更複合アイコン」および「回転複合アイコン」とそれぞれ称することにする。より具体的には、図16に例示するように、表示サイズ変更複合アイコン80は2つの表示サイズ変更アイコン80a,80bで構成されている。当該2つの表示サイズ変更アイコン80a,80bを、その表示サイズ変更方向(すなわち、制御方向)に応じて、拡大アイコン80aおよび縮小アイコン80bとそれぞれ称する場合もある。また、図17に例示するように、回転複合アイコン84は2つの回転アイコン84a,84bで構成されている。当該2つの回転アイコン84a,84bを、その回転方向(すなわち、制御方向)に応じて、右回転アイコン84aおよび左回転アイコン84bとそれぞれ称する場合もある。なお、複合アイコン80,84のデザインは図示の例に限定されるものではない。
 情報表示装置10によれば、ジェスチャ操作によって複合アイコンを表示面上に呼び出し、その複合アイコンを使って、上記ジェスチャ操作に関連付けられている画面移動変形型機能を様々な方向に実行可能である。このため、複合アイコンを使えば、ジェスチャ操作の繰り返し回数を減らして、操作負担を軽減できる。また、複合アイコンを使えば、表示画像の制御方向を適宜、選択可能である。
 また、実行させたい機能に関連付けられているジェスチャ操作を行うだけで、複合アイコンが表示される。すなわち、ユーザが意図している機能に応じた複合アイコンが、自動的に表示される。
 また、例えばユーザが操作を行わずに表示情報を見続けている状況下では、複合アイコンは呼び出されないので、表示情報が複合アイコンで隠されることがない。
 <制御部16の構成例>
 図18に制御部16のブロック図を例示する。なお、図18には説明のため、表示部12と入力部14と記憶部18も記載している。図18の例によれば、制御部16は、入力解析部40と、全体制御部42と、第1画像形成部44と、第1画像保持部46と、第2画像形成部48と、第2画像保持部50と、画像合成部52と、合成画像保持部54と、複合アイコン管理部56とを含んでいる。
 入力解析部40は、入力部14によって検出されたユーザ操作を解析し、ユーザ操作を識別する。具体的には、入力解析部40は、ユーザ操作に伴って検出された座標データを入力部14から取得し、当該座標データからユーザ操作情報を取得する。ユーザ操作情報は、例えば、ユーザ操作の種類、指移動の始点および終点、始点から終点に至る軌跡、移動方向、移動量、移動速度、移動加速度、等の情報である。
 ユーザ操作の種類の識別について、例えば始点と終点の差を、予め定められた閾値(「タッチ/ジェスチャ識別閾値」と称することにする)と比較することによって、タッチ操作とジェスチャ操作とを識別可能である。また、上記のように軌跡の最後における指移動速度から、ドラッグとフリックを識別可能である。
 また、例えば2つのドラッグが同時に識別された場合、移動方向からピンチアウトとピンチインを識別可能である。また、2つのドラッグが距離を保ったまま円を描いている場合、回転ドラッグが行われたことを識別可能である。また、ドラッグと1点タッチが同時に識別された場合、ピンチアウト、ピンチインおよび回転ドラッグが1点移動型であることを識別可能である。
 全体制御部42は、制御部16における各種処理を行う。例えば、全体制御部42は、入力部14の入力面上の位置と、表示部12の表示面上の位置との対応付けを行う。これによれば、タッチ操作におけるタッチ位置、ジェスチャ操作におけるジェスチャ軌跡、等が表示面上に対応付けられる。そのような対応付けにより、ユーザ操作が表示面のどの位置を意図して行われたのかを識別可能である。かかる対応付けは、いわゆるグラフィカル・ユーザ・インターフェース(GUI)技術によって実現可能である。
 また、全体制御部42は、例えば、ユーザ操作情報と機能識別情報とに基づいて、ユーザが所望している機能、すなわちユーザ指示を識別する。機能識別情報は、例えば、ユーザ操作と、実行する機能との関連付けが、操作状況情報を介して規定された情報である。操作状況情報は、例えば、情報表示装置10の使用状況(換言すれば、使用モード)、ユーザ操作が行われた操作対象、使用状況および操作対象に応じて受け付け可能なユーザ操作の種類、等の情報である。
 より具体的に、例えば、地図閲覧ソフトウェアが使用されている状況下でその地図画像を操作対象としてドラッグが行われた場合、そのドラッグはスクロール機能の実行を指示していると識別される。また、例えば、地図画像上の拡大アイコンを操作対象としてタップが行われた場合、そのタップは表示サイズ拡大機能の実行を指示していると識別される。また、例えば、拡大アイコンに対するフリックに何ら機能が関連付けられていない場合、そのフリックは無効な操作であると判断される。
 また、全体制御部42は、第1画像形成部44と第2画像形成部48と画像合成部52とを制御することによって、表示面上の表示情報を制御する。なお、表示情報の変更は、ユーザ指示の識別結果に基づく場合もあるし、あるいは、ユーザ指示の識別結果とは関係なく、プログラム実行上の指示に基づく場合もある。
 また、全体制御部42は、他の機能部40,44,46,48,50,52,54,56に対する全般的な制御、例えば実行タイミングの調整を行う。
 第1画像形成部44は、全体制御部42の指示に応じた第1情報60を記憶部18から読み出し、第1情報60から第1画像を形成し、第1画像を第1画像保持部46に格納する。同様に、第2画像形成部48は、全体制御部42の指示に応じた第2情報62を記憶部18から読み出し、第2情報62から第2画像を形成し、第2画像を第2画像保持部50に格納する。
 画像合成部52は、全体制御部42の指示の下、第1画像保持部46から第1画像を読み出し、第2画像保持部50から第2画像を読み出し、第1画像と第2画像とを合成し、合成した画像を合成画像保持部54に格納する。
 画像の合成は、第1画像と第2画像とが重なって表示されるように、行われる。ここでは、第1画像が下の画像(換言すれば、下のレイヤ)であり、第2画像が上の画像(換言すれば、上のレイヤ)である場合を例示する。なお、ここでいう「上下」は、表示面の法線方向における上下のことであり、表示面を見ているユーザに近い側を「上」と表現している。実際には、そのような概念に基づいて、画像データが重ねられる。
 合成画像、すなわち表示画面では、上の画像のうちの透明部分には下の画像が表示される。換言すれば、上の画像のうちの描画部分は下の画像を隠すことになる。但し、上の画像の描画部分に透明度を設定することによって、下の画像が透けた状態の合成画像も形成可能である。
 第1画像と第2画像のいずれを上の画像にするかの設定は、変更不可であってもよいし、あるいは、変更可能であってもよい。
 ここでは、第1画像および第2画像による2つのレイヤを合成する例を挙げるが、更に多くのレイヤを合成可能な構成を採用してもよい。また、他の合成手法を採用してもよい。
 合成画像保持部54に格納された合成画像は、表示部12へ転送され、表示部12において表示される。合成画像が更新されることによって、すなわち第1画像と第2画像の少なくとも一方が更新されることによって、表示画面が変化する。
 複合アイコン管理部56は、全体制御部42の制御下、複合アイコンの表示を管理する。具体的には、複合アイコン管理部56は、表示位置、大きさ、向き、表示属性等の情報を管理し、当該管理情報に基づいて第2画像形成部48および画像合成部52を制御することによって複合アイコンの表示を管理する。
 例えば、複合アイコン管理部56は、第2画像形成部48に対して、記憶部18から複合アイコンの画像データを読み出すこと、表示面の大きさ等に応じた大きさで複合アイコンの画像を形成すること、形成した複合アイコン画像を表示位置および向きに応じて透明プレーン上に描画して第2画像保持部50に格納すること、を指示する。また、複合アイコンの消去に関して、複合アイコン管理部56は、例えば、第2画像形成部48に対して、複合アイコン画像を有さない画像を第2画像保持部50に格納させる。また、複合アイコン管理部56は、画像合成部52に対して、画像保持部46,50内の画像の合成を指示する。
 <情報表示装置10の処理例>
 以下に、複合アイコンに関連した、情報表示装置10による処理(換言すれば、表示情報操作方法)を例示する。
 <複合アイコンの表示>
 図19に、複合アイコンが表示されるまでの処理フローS10を例示する。図19の例によれば、ステップS11において入力部14がユーザ操作を受け付け、ステップS12において制御部16が、入力されたユーザ操作を識別する。そして、ステップS13において、制御部16がステップS12の識別結果に基づいて、ユーザ操作に関連付けられている機能を実行する。
 その後、ステップS14において、制御部16は、ステップS11で受け付けたユーザ操作について、複合アイコンを表示するために予め定められた条件(「複合アイコン表示開始条件」または「表示開始条件」と称することにする)を満たすか否かを判断する。表示開始条件が満たされていないと判断した場合、情報表示装置10の処理は上記ステップS11に戻る。他方、表示開始条件が満たされていると判断した場合、制御部16はステップS15において、複合アイコンを表示させる処理を行う。複合アイコンの表示後、図19の処理フローS10は終了する。
 <複合アイコン表示開始条件>
 上記ステップS14に関し、複合アイコン表示開始条件として、画面移動変形型機能のジェスチャ操作(換言すれば、複合アイコンを表示させるきっかけになるジェスチャ操作)が1回、行われた場合に、複合アイコンを表示させる、という条件(「1回操作条件」と称することにする)を採用可能である。1回操作条件によれば、複合アイコンを即座に利用することができる。したがって、何回も同じジェスチャ操作を繰り返すという操作負担を軽減できる。
 ここで、画面移動変形型機能のジェスチャ操作の1回の操作時間の長さが、予め定められた閾値(「操作時間閾値」と称することにする)に達した場合に、複合アイコンを表示させる、という条件(「操作時間条件」と称することにする)を、1回操作条件に付加してもよい。1回のジェスチャ操作がある程度の時間が及ぶということは、例えば、ユーザが表示情報を注視しつつそのジェスチャ操作を行っている状況が想定される。このため、そのジェスチャ操作が更に繰り返される可能性が高いと考えられる。したがって、操作時間条件によれば、ユーザの意図をより正確に識別した上で、複合アイコンを表示することができる。
 また、画面移動変形型機能のジェスチャ操作の1回の操作速度が、予め定められた閾値(「操作速度閾値」と称することにする)以上である場合に、複合アイコンを表示させる、という条件(「操作速度条件」と称することにする)を、1回操作条件に付加してもよい。ジェスチャ操作が素早く行われるということは、例えば、ユーザは、操作後の表示情報を早く見たいと欲している状況が想定される。このため、そのジェスチャ操作が更に繰り返される可能性が高いと考えられる。したがって、操作速度条件によれば、ユーザの意図をより正確に識別した上で、複合アイコンを表示することができる。
 なお、操作速度条件において、表示タイミングを規定してもよい。すなわち、操作速度条件を、画面移動変形型機能のジェスチャ操作の1回の操作速度が、操作速度閾値以上である場合、予め定められたアイコン表示タイミングよりも早いタイミングで、複合アイコンを表示させる、という条件に変形してもよい。これによれば、複合アイコンを素早く提供できる。
 また、画面移動変形型機能のジェスチャ操作の1回のジェスチャ量(例えば、ドラッグ距離)が、予め定められた閾値(「ジェスチャ量閾値」と称することにする)以上である場合に、複合アイコンを表示させる、という条件(「ジェスチャ量条件」と称することにする)を、1回操作条件に付加してもよい。ジェスチャ操作が大きく行われるということは、例えば、ユーザは、表示情報に対して大きな制御量を望んでいる状況が想定される。このため、そのジェスチャ操作が更に繰り返される可能性が高いと考えられる。したがって、ジェスチャ量条件によれば、ユーザの意図をより正確に識別した上で、複合アイコンを表示することができる。
 また、画面移動変形型機能のジェスチャ操作の終点が、表示面上の予め定められた領域内の地点に対応する場合に、複合アイコンを表示させる、という条件(「終点条件」と称することにする)を、1回操作条件に付加してもよい。上記の表示面上の予め定められた領域とは、例えば、図20に示すように、表示面32の周縁領域32bである。図20の例によれば、表示面32の周縁領域32bは、入力面34の周縁領域34bに対応し、当該周縁領域32b,34b内にドラッグ70の終点70bが存在する。そのような状況が形成されることよって、複合アイコン(例えば、スクロール複合アイコン)が表示されることになる。例えば、ユーザは、もっと長いドラッグを行いたかったが、周縁領域32b,34bに到達してしまった、という状況が想定される。また、例えば、ユーザは、複合アイコンを表示させるために、この終点条件を意図的に利用することが可能である。このため、終点条件によれば、ユーザの意図をより正確に識別した上で、複合アイコンを表示することができる。なお、上記の予め定められた領域は周縁領域32b,34bに限定されるものではない。また、図20で例示のドラッグは、例えば2点移動型ピンチアウト中の一方のドラッグであってもよい。
 また、画面移動変形型機能のジェスチャ操作に引き続いて複合アイコン呼び出し操作が行われた場合に、複合アイコンを表示させる、という条件(「呼び出し操作条件」と称することにする)を、1回操作条件に付加してもよい。なお、「引き続いて」という条件は、ジェスチャ操作と複合アイコン呼び出し操作とが、予め定められた操作時間間隔以下で行われるという条件と、その途中に他の操作が行われないという条件と、を含む。
 複合アイコン呼び出し操作は、例えば、タッチ操作である。
 より具体的には、図21に例示するように、上記ジェスチャ操作としてドラッグを行った指を終点から離さずに、他の指で入力面の任意の別地点をタッチする操作を、複合アイコン呼び出し操作として利用可能である。かかるタッチ操作としてタップを採用してもよいし、あるいは、ダブルタップまたは長押しを採用してもよい。なお、かかるタッチ操作は、上記ジェスチャ操作が複数の指を使うピンチアウト等である場合にも、行うことが可能である。
 あるいは、図21に例示するように、上記ジェスチャ操作として行ったドラッグの終点またはその近傍をタッチする操作を、複合アイコン呼び出し操作として利用可能である。かかるタッチ操作としてタップを採用してもよいし、あるいは、ダブルタップを採用してもよい。なお、かかるタッチ操作は、上記ジェスチャ操作がフリックである場合、および、上記ジェスチャ操作が複数の指を使うピンチアウト等である場合にも、行うことが可能である。また、ドラッグ後のタッチ操作として、長押しを採用してもよい。この場合、ドラッグに使った指を入力面から離さず、そのまま長押しに移行する。かかる長押しによる複合アイコン呼び出し操作は、上記ジェスチャ操作が複数の指を使うピンチアウト等である場合にも、行うことが可能である。
 また、複合アイコン呼び出し操作として、タッチ操作に代えて、フリック操作を採用してもよい。具体的には、図21に例示するように、ドラッグの軌跡をなぞるようにフリックを行う。
 複合アイコン呼び出し操作によれば、複合アイコンが偶発的に表示されるのを抑制できる。
 また、画面移動変形型機能のジェスチャ操作の後に、無操作状態が、予め定められた時間(時間長さ)以上、続いた場合に、複合アイコンを表示させる、という条件(「無操作経過条件」と称することにする)を、1回操作条件に付加してもよい。無操作経過条件によれば、複合アイコンをすぐに表示しない。このため、操作ミス防止に資する。
 なお、操作時間条件等の上記条件を種々に組み合わせてもよい。
 一方、複合アイコン表示開始条件として、画面移動変形型機能のジェスチャ操作が、予め定められた回数、連続して繰り返された場合に、複合アイコンを表示させる、という条件(「繰り返し操作条件」と称することにする)を採用可能である。ここで、「連続して」という条件は、予め定められた操作時間間隔以下でジェスチャ操作が繰り返されるという条件と、繰り返し途中に他の操作が行われないという条件と、を含む。
 なお、上記の繰り返し操作条件では、ジェスチャ操作の繰り返しにおいてジェスチャ方向が同じであることまでは要求していない。すなわち、ジェスチャ方向は、同じであってもよいし、異なっていてもよい。例えば、表示情報中の或る項目(地図上の或る地点、等)を探す際、同じ方向にドラッグを繰り返す場合もあれば、様々な方向にドラッグを行う場合もある。かかる点に鑑みると、いずれの場合にも、スクロール複合アイコンが出現すると、高い利便性が得られる。
 但し、ジェスチャ操作は同じジェスチャ方向に繰り返されること、という条件を上記の繰り返し操作条件に付加することも可能である。なお、「同じジェスチャ方向」とは、各回のジェスチャ方向が全く同じ場合だけでなく、各回のジェスチャ方向が実質的に同じである場合(例えば、各回のジェスチャ方向のばらつきが、予め定められた許容範囲内に収まる場合)を含む。
 なお、繰り返し操作条件に、類似のジェスチャ操作(例えばドラッグとフリック)を同じジェスチャ操作として扱うという条件を付加してもよい。
 繰り返し操作条件は、例えば、ステップS14(図19参照)においてジェスチャ操作の種類、ジェスチャ方向、ステップS11~S14のループ処理の繰り返し回数、等を監視することによって、同じジェスチャ操作の繰り返しを検出可能である。
 ユーザがジェスチャ操作を繰り返すということは、そのジェスチャ操作が更に繰り返される可能性が高いと考えられる。このため、繰り返し条件によれば、ユーザの意図をより正確に識別した上で、複合アイコンを表示することができる。
 ここで、ジェスチャ操作の繰り返し時間の長さが、予め定められた閾値(「繰り返し総時間閾値」と称することにする)に達した場合に、複合アイコンを表示させる、という条件(「繰り返し総時間条件」と称することにする)を、繰り返し操作条件に付加してもよい。ジェスチャ操作の繰り返しがある程度の時間に及ぶということは、例えば、ユーザが、続きの表示情報を早く見たいと欲している状況が想定される。このため、そのジェスチャ操作が更に繰り返される可能性が高いと考えられる。したがって、繰り返し総時間条件によれば、ユーザの意図をより正確に識別した上で、複合アイコンを表示することができる。
 また、画面移動変形型機能のジェスチャ操作の繰り返し速度が、予め定められた閾値(「繰り返し速度閾値」と称することにする)以上である場合に、複合アイコンを表示させる、という条件(「繰り返し速度条件」と称することにする)を、繰り返し操作条件に付加してもよい。繰り返し速度は、例えば、単位時間当たりのジェスチャ操作の回数として定義される。ジェスチャ操作が素早く繰り返されるということは、例えば、ユーザが、続きの表示情報を早く見たいと欲している状況が想定される。このため、そのジェスチャ操作が更に繰り返される可能性が高いと考えられる。したがって、繰り返し速度条件によれば、ユーザの意図をより正確に識別した上で、複合アイコンを表示することができる。
 なお、繰り返し速度条件において、表示タイミングを規定してもよい。すなわち、繰り返し速度条件を、画面移動変形型機能のジェスチャ操作の繰り返し速度が、繰り返し速度閾値以上である場合、予め定められたアイコン表示タイミングよりも早いタイミングで、複合アイコンを表示させる、という条件に変形してもよい。これによれば、複合アイコンを素早く提供できる。
 また、画面移動変形型機能のジェスチャ操作の繰り返しに従ってジェスチャ量(例えば、ドラッグ距離)を積算し、その積算値が、予め定められた閾値(「ジェスチャ総量閾値」と称することにする)に達した場合に、複合アイコンを表示させる、という条件(「ジェスチャ総量条件」と称することにする)を、繰り返し操作条件に付加してもよい。ジェスチャ量の積算値が大きくなるということは、例えば、ユーザは、表示情報に対して大きな制御量を望んでいる状況が想定される。このため、そのジェスチャ操作が更に繰り返される可能性が高いと考えられる。したがって、ジェスチャ総量条件によれば、ユーザの意図をより正確に識別した上で、複合アイコンを表示することができる。
 なお、繰り返し総時間条件等の上記条件を種々に組み合わせてもよい。
 また、1回操作条件に関連して例示した操作時間条件等の上記条件のうちの1つ以上を、繰り返し操作条件に付加してもよい。具体的には、各回のジェスチャ操作を対象にして、操作時間条件等の上記条件のうちの1つ以上を適用するのである。あるいは、予め定められた回のジェスチャ操作(例えば、最後のジェスチャ操作)を対象にして、操作時間条件等の上記条件のうちの1つ以上を適用してもよい。このような条件付加によれば、ユーザ意図の識別精度を向上させることができる。
 <複合アイコンの表示位置>
 上記ステップS15(図19参照)に関し、複合アイコンの表示位置は、基本的には任意である。これに対し、図22に例示するように、ドラッグ70の終点70bの近傍に、スクロール複合アイコン72が存在すれば、ドラッグ70に用いた指を、少ない移動量で、スクロール複合アイコン72上に移動させることができる。
 ここで、図22の例では、ドラッグ終点70bの右側に複合アイコン72が配置されている。これに対し、終点70bの別の側、または、終点70bの直上に、複合アイコン72を配置してもよい。これらに鑑みると、図22に示すように、終点70bを含んで定められた領域(「終点領域」と称することにする)70c内に複合アイコン72が存在すれば、上記効果が得られる。
 終点領域70cの大きさおよび形状は、操作状況(検出される指の大きさ、指の移動速度、等)に応じた可変値であってもよいし、あるいは、操作状況に拠らない固定値であってもよい。また、終点領域70cの中心は必ずしも終点70bに一致していなくてもよい。
 なお、終点領域70cは、ドラッグ70の終点70bを表示面上に対応付けた後に、表示面の座標系において求めることが可能である。あるいは、ドラッグ70の終点70bを表示面上に対応付ける前に、入力面の座標系において終点領域70cを求め、得られた終点領域70cを表示面の座標系に対応付けてもよい。
 また、上記繰り返し操作条件が適用される場合、例えば、繰り返し操作条件の判定対象になった全てのジェスチャ操作、または、そのうちの一部のジェスチャ操作について、平均的な終点の位置を求め、当該得られた終点位置から終点領域70cを設定してもよい。あるいは、予め定められた回のジェスチャ操作(例えば、最後のジェスチャ操作)についての終点領域70cを設定してもよい。
 あるいは、図23に例示すように、ドラッグ70の軌跡の延長線70d上に、複合アイコン72を配置してもよい。これによれば、ドラッグ70に用いた指をそのまま同じ方向に移動させれば複合アイコン72に到達できるので、指の移動がスムーズである。
 あるいは、図24に例示すように、上記終点領域70c内で延長線70dが通る位置に、複合アイコン72を表示してもよい。
 あるいは、図25に例示すように、表示面32の周縁領域32b内で上記延長線70dが通る位置に、複合アイコン72を表示してもよい。これによれば、ユーザの注目度が高いと考えられる表示面中央の表示情報が、複合アイコン72で隠されるのを避けることができる。なお、ここでは周縁領域32bの設定範囲が上記図20(複合アイコン表示開始条件のうちの終点条件に関する)と同じ場合を例示したが、この例に限定されるものではない。
 ここで、上記延長線70dの求め方の例を、図26~図28を参照して、説明する。図26~図28では湾曲したドラッグ軌跡を例示しているが、以下の説明は直線状のドラッグ軌跡にも当てはまる。
 図26の例によれば、ドラッグ軌跡中の2点を結ぶ直線として、延長線70dが決定される。図26では軌跡中の2点がドラッグ70の始点70aおよび終点70bである場合を例示しているが、この例に限定されるものではない。例えば、図27に示すように、ドラッグ70の終点70bと、当該終点70b以外の地点とを利用してもよい。
 他方、図28の例によれば、ドラッグ軌跡中の1点に接する直線として、延長線70dが決定される。図28では軌跡中の1点がドラッグ70の終点70bである場合を例示しているが、この例に限定されるものではない。
 これらの手法によれば、延長線70dを簡便に求めることができる。
 ここで、延長線70dは、図27および図28の例のように、ドラッグ軌跡の終点側部分70fを使って、換言すればドラッグ軌跡の始点側部分70eを除いて、設定するのが好ましい。図27および図28の例では、ドラッグ軌跡が、軌跡始点70aを含む始点側部分70eと、軌跡終点70fを含む終点側部分70fとに2分割されている。
 ユーザの意図は、始点側部分70eに比べて終点側部分70fにおいて、より明確になると考えられる。例えば、図27および図28の軌跡はドラッグ途中で方向転換したことが想像される。このため、終点側部分70fを利用することによって、ユーザの意図を反映した位置に複合アイコン72を表示することができる。
 終点側部分70fのうちで終点70b以外の部分を利用することも可能である。但し、ユーザの意図の明確さに鑑みれば、終点70bと終点側部分中の他の1点とを通る直線(図27参照)、または、終点70bにおける接線(図28参照)を、延長線70dに設定することは、より好ましい。
 また、終点側部分70fの方が始点側部分70eに比べて小さいほど、ユーザの意図をより強く反映すると考えられる。
 なお、延長線70dは、ドラッグ70の軌跡を表示面上に対応付けた後に、表示面の座標系において求めることが可能である。あるいは、ドラッグ70の軌跡を表示面上に対応付ける前に、入力面の座標系において延長線70dを求め、得られた延長線70dを表示面の座標系に対応付けてもよい。
 また、上記繰り返し操作条件が適用される場合、例えば、繰り返し操作条件の判定対象になった全てのジェスチャ操作、または、そのうちの一部のジェスチャ操作について、平均的な延長線を求め、当該得られた延長線を上記延長線70dとして利用すればよい。あるいは、予め定められた回のジェスチャ操作(例えば、最後のジェスチャ操作)についての延長線70dを、利用してもよい。
 複合アイコンの表示位置に関する上記各種事項は、フリックについても適用可能である。また、ピンチアウト等もドラッグを含むので、上記各種事項を適用可能である。
 なお、図29に例示するように、2点移動型のジェスチャ操作(図29にはピンチアウトが例示される)では、それぞれのドラッグに対して、複合アイコン(図29では表示サイズ変更複合アイコン80が例示される)を設けてもよい。この例の場合、ユーザは、2つの複合アイコン80のいずれかを選択的に操作すればよいものとする。
 <複合アイコンの表示属性>
 複合アイコンは、他のアイコンとは異なる表示属性(換言すれば、表示手法)によって表示してもよい。例えば、複合アイコンを、点滅、立体的表示、アニメーション表示、半透過、等の表示属性によって、または、複数の表示属性の組み合わせによって、表示する。これによれば、複合アイコンの視認性が上がり、操作ミス防止に資する。
 <複合アイコンの利用>
 図30に、複合アイコンを表示中の処理フローS30を例示する。図30の例において、ステップS31,S32は、図19のステップS11,S12と同様である。すなわち、ステップS31において入力部14がユーザ操作を受け付け、ステップS32において制御部16が、入力されたユーザ操作を識別する。
 そして、ステップS33において、制御部16は、ステップS31で受け付けたユーザ操作が、複合アイコン中のいずれかのアイコンに対する実行指示であるか否かを判断する。具体的には、ユーザ操作の入力位置が複合アイコン中のいずれかのアイコンの表示位置に対応するか否かを判断すると共に、ユーザ操作が、複合アイコンに対する実行指示操作として予め定められた操作(ここでは上記のように1点タッチが例示される)であるか否かを判断する。
 ステップS33において、ユーザ操作が複合アイコン中のいずれかのアイコンに対する実行指示であると判断した場合、制御部16は、ステップS34において、複合アイコンに関連付けられている画面移動変形型機能、すなわち、当該複合アイコンの出現に関与したジェスチャ操作に関連付けられている画面移動変形型機能を実行する。この際、実行指示が与えられたアイコンに割り当てられている制御方向に、画面移動変形型機能を実行する。その後、情報表示装置10の処理は上記ステップS31に戻る。
 他方、ステップS33において、ユーザ操作が複合アイコン中のいずれかのアイコンに対する実行指示ではないと判断した場合、制御部16は、ステップS35において、ステップS31で受け付けたユーザ操作に関連付けられている機能を実行する。その後、情報表示装置10の処理は上記ステップS31に戻る。
 なお、例えばスクロール複合アイコンの表示中であっても、スクロール機能に関連付けられているドラッグは上記ステップS31において受け付けられ、上記ステップS33においてスクロールが実行されるものとする。これによれば、スクロール複合アイコンが表示されている状態においても、ドラッグで表示情報を微調整すること、等を行うことが可能である。スクロール複合アイコン以外の複合アイコンについても同様である。
 <制御量および制御速度>
 上記ステップS34(図30参照)に関し、例えば、複合アイコンをタップすると(より具体的には、複合アイコン中のいずれかのアイコンをタップすると)、予め定められた制御量および予め定められた制御速度で、複合アイコンに関連付けられた画面移動変形型機能が、実行される。また、例えば、複合アイコンを長押している間、複合アイコンに関連付けられた画面移動変形型機能が、連続的に実行される。この場合、表示情報の制御量は長押しの時間に応じて決まる。また、表示情報の制御速度は、予め定められた一定値であってもよいし、あるいは、次第に増加させてもよい。
 これに対し、複合アイコンの出現に関与したジェスチャ操作のジェスチャ量またはジェスチャ速度を、複合アイコンに対して実行指示操作が行われた場合における表示情報の制御量に、反映させてもよい。同様に、ジェスチャ量またはジェスチャ速度を、複合アイコンに対して実行指示操作が行われた場合における表示情報の制御速度に、反映させてもよい。
 図31の例では、ジェスチャ量またはジェスチャ速度が大きくなるほど、表示情報の制御量または制御速度が大きく設定される。より具体的には、ドラッグ距離が長いほど、スクロール量を大きく設定する。あるいは、ドラッグ距離が長いほど、スクロール速度を大きく設定する。あるいは、ドラッグ速度が大きいほど、スクロール量を大きく設定する。あるいは、ドラッグ速度が大きいほど、スクロール速度を大きく設定する。なお、ドラッグ速度として、例えば平均速度または最高速度を利用可能である。但し、図31に示す線形の関係に限定されるものではない。
 あるいは、複合アイコンの出現に関与したジェスチャ操作のジェスチャ量を表示情報の制御量の1単位に設定し、複合アイコンに対して実行指示操作が行われた場合に、当該1単位ごとに断続的に表示情報を制御してもよい。例えば、図32に示すように、スクロール複合アイコンが1回、タップされた場合、上記1単位分だけ表示情報をスクロールし、スクロール複合アイコンが長押しされた場合、上記1単位分のスクロールを断続的に行う。これによれば、表示情報の変化を確認しやすくなる。
 あるいは、ジェスチャ操作のジェスチャ速度の変化(換言すれば、ジェスチャ操作の加速度)を、複合アイコンに対して実行指示操作が行われた場合における表示情報の制御速度に、反映させてもよい。例えば、図33に示すように、スクロール複合アイコンが1回、タップされた場合、ジェスチャ操作の速度履歴を1回、再現し、スクロール複合アイコンが長押しされた場合、ジェスチャ操作の速度履歴を、長押しの間、繰り返す。一般的にジェスチャ操作の始まりおよび終わりはジェスチャ速度が小さくなるので、上記の断続的なスクロールと同様の状況が提供される。このため、表示情報の変化を確認しやすくなる。
 なお、制御量および制御速度に関し、上記のいずれの例も、ドラッグ以外のジェスチャ操作およびスクロール以外の画面移動変形型機能に適用可能である。
 また、タッチパネル14が、入力面に対する指の押圧力を検出可能な構成である場合、複合アイコンに対する押圧力が大きいほど、表示情報の制御量と制御速度の少なくとも一方を大きく設定してもよい。
 <複合アイコンのサイズ変更>
 上記ステップS35(図30参照)に関し、ステップS33においてユーザ操作が、複合アイコンに対して行われる表示サイズ変更操作であると判断した場合、制御部16はステップS35において、複合アイコン自体の表示サイズを変更する。表示サイズ変更操作は例えば、図34に示すように、ピンチアウトおよびピンチインである。なお、ピンチ操作は2点移動型(図7および図9参照)であってもよいし、1点移動型(図8および図10参照)であってもよい。ユーザが複合アイコンを好みのサイズに変更することによって、操作性が向上する。
 <複合アイコンの消去>
 図35に、複合アイコンの消去(すなわち表示の終了)に関する処理フローS50を例示する。図35の例によれば、ステップS51において、制御部16は、複合アイコンを消去するために予め定められた条件(「複合アイコン消去条件」または「消去条件」と称することにする)を満たすか否かを判断する。
 消去条件が満たされていると判断した場合、制御部16はステップS52において、複合アイコンを表示面から消去する処理を行う。その後、情報表示装置10の処理は、複合アイコンが表示されるまでの上記処理フローS10(図19参照)に戻る。他方、消去条件が満たされていないと判断した場合、情報表示装置10の処理は上記ステップS51に戻る。
 当該処理フローS50は、複合アイコンを表示中の処理フローS30と並列的に実行される。具体的には、複合アイコン消去条件が成立するまでステップS51が繰り返され、複合アイコン消去条件が成立することによってステップS52が割り込み処理として実行される。
 <複合アイコン消去条件>
 複合アイコン消去条件として、複合アイコンに対する実行指示操作が入力されない状態が続いた場合、複合アイコンを表示面から消去する、という条件(「操作待ち条件」と称することにする)を採用可能である。複合アイコンがある程度の時間、利用されないということは、ユーザはしばらく複合アイコンを利用しない可能性が高いと考えられる。したがって、消去待ち時間条件によれば、ユーザの意図をより正確に識別した上で複合アイコンを消去する点において、高い利便性を提供できる。
 複合アイコンの消去までの待ち時間の長さとして、例えば、予め定められた一定値を採用可能である。あるいは、複合アイコンの出現に関与したジェスチャ操作のジェスチャ速度等に基づいて、待ち時間の長さを設定してもよい。例えば、ジェスチャ操作が素早く行われるということは、上記のように、そのジェスチャ操作が更に繰り返される可能性が高いと考えられる。すなわち、複合アイコンが利用される可能性が高いと考えられる。このため、ジェスチャ速度が大きい場合は、消去待ち時間を長く設定するのが好ましい。
 あるいは、複合アイコン消去条件として、ユーザ操作が、予め定められた複合アイコン消去操作である場合、複合アイコンを表示面から消去する、という条件(「消去指示条件」と称することにする)を採用してもよい。複合アイコン消去操作には、複合アイコンに対する実行指示操作とは異なる操作(例えば、複合アイコンに対するフリック)が割り当てられる。消去指示条件によれば、ユーザは好きな時に複合アイコンを消去できる。
 あるいは、操作待ち条件と消去指示条件との両方を採用してもよく、それによれば利便性が更に向上する。
 <複合アイコンの個数>
 複数の複合アイコンを同時に表示させることも可能である。例えば、スクロール複合アイコンと表示サイズ変更複合アイコンと回転複合アイコンとを表示させてもよい。この場合、それぞれの複合アイコンについて、上記処理フローS10,S30,S50が並列に管理される。また、同時に表示する複合アイコンの個数に制限を設けてもよい。
 <アイコンの組み合わせ>
 異なる種類の画面移動変形型機能に関連付けられているアイコンを組み合わせて、複合アイコンを構成してもよい。例えば、図36に示す複合アイコン88は、スクロールアイコン72a~72hと表示サイズ変更アイコン80a,80bとによって構成されている。複合アイコン88によれば、スクロールと拡大と縮小の各機能を1箇所で操作できるので、良好な操作環境を提供できる。なお、スクロールと拡大と縮小は、それぞれ独立に実行可能であるし、あるいは、組み合わせて実行することも可能である。例えば、制御部16は、上方向スクロールアイコン72aと拡大アイコン84aとを対象にした2点タッチを識別したならば、上方向スクロールと拡大とを同時に実行する。なお、アイコンの組み合わせは図36の例に限定されるものではない。
 <効果>
 情報表示装置10によれば、上記の各種効果が得られ、更にその結果、高い利便性を提供できる。なお、上記では、ジェスチャ操作がドラッグであり、ドラッグに関連付けられている画面移動変形型機能がスクロールである場合を主に例示したが、他のジェスチャ操作および他の画面移動変形型機能についても、同様の効果が得られる。
 <変形例>
 上記では、表示部12に表示される表示情報が地図画像である場合を主に例示した。しかし、複合アイコンの利用は、地図画像に限定されるものではない。例えば、書籍、楽曲等のタイトルのリスト、および、ウェブ検索結果のリストに対するスライド等にも、複合アイコンを利用可能である。また、例えば、電子書籍等のページめくり、および、電子アルバム等のコンテンツ選択にも複合アイコンを利用可能である。
 また、ジェスチャ操作および複合アイコンの制御対象となる表示情報は、表示面全体に表示されていてもよいし、表示面の一部に表示されていてもよい。表示面の一部に表示されている表示情報とは、例えば、当該一部に設けられたウィンドウ内の表示情報である。また、表示面の一部は、図37に例示するように、1次元的であってもよい。すなわち、図37の例では、表示情報を形成する要素A,B,C,D,E,F,G,H,Iがジグザグの経路上を、列をなして(換言すれば、連結されて)移動し、その移動がドラッグまたはフリックによって制御される。
 また、上記では入力部14として接触型のタッチパネルを例示した。これに対し、非接触型(3次元(3D)型とも称される)タッチパネルを入力部14に採用することも可能である。
 非接触型によれば、センサ群の検出可能領域(換言すれば、ユーザ入力を受け付け可能な入力領域)が入力面上に3次元空間として提供され、その3次元空間内の指を入力面上に投影した位置が検出される。また、非接触型の中には入力面から指までの距離を検出可能な方式もある。その方式によれば、指位置を3次元位置として検出可能であるし、更には指の接近および後退も検出可能である。非接触型タッチパネルとして種々の方式が開発されているが、例えば、静電容量方式の一つである投影容量方式が知られている。
 なお、上記ではユーザが入力に用いる指示物として指を例示したが、例えば指以外の部位を指示物として利用することも可能である。また、例えばタッチペン(スタイラスペンとも称される)等の道具を指示物として利用してもよい。
 また、入力部14に、いわゆるモーションセンシング技術を利用してもよい。モーションセンシング技術として種々の方式が開発されている。例えば、加速度センサ等を搭載したコントローラをユーザが把持または装着することによって、ユーザの動きを検出する方式が知られている。また、例えば、カメラの撮像画像から指等の特徴点を抽出し、その抽出結果からユーザの動きを検出する方式が知られている。モーションセンシング技術を利用した入力部14によっても、直感的な操作環境が提供される。
 また、上記では入力兼表示部20を例示したが、表示部12と入力部14とが別々に配置されても構わない。この場合でも、入力部14がタッチパネル等で構成されることによって、直感的な操作環境が提供される。
 また、情報表示装置10は、上記要素12,14,16,18以外の要素を、更に含んでもよい。例えば、聴覚的情報を出力する音声出力部と、各種機器との間で有線通信または無線通信を行う通信部と、情報表示装置10の現在位置を例えばGPS(Global Positioning System)方式に準拠して検出する現在位置検出部と、のうちの1つ以上が追加されてもよい。
 音声出力部によれば、例えば、操作音、効果音、ガイダンス音声、等を出力可能である。例えば、複合アイコンの出現、利用および消去の各タイミングで、通知音を出力可能である。また、通信部は、例えば、記憶部18に格納する情報の新規取得および更新に利用可能である。また、現在位置検出部は、例えばナビゲーション機能に利用可能である。
 情報表示装置10の用途は特に限定されるものではない。例えば、情報表示装置10は携帯型またはデスクトップ型の情報機器であってもよい。あるいは、自動車等の移動体に搭載される、ナビゲーション装置またはオーディオ・ビジュアル装置に、情報表示装置10が応用されてもよい。
 また、本発明は、その発明の範囲内において、実施の形態を適宜、変形、省略することが可能である。
 10 情報表示装置、12 表示部、14 入力部、16 制御部、18 記憶部、20 入力兼表示部、32 表示面、32b 周縁領域、34 入力面(入力領域)、34b 周縁領域、70 ドラッグ、70a 始点、70b 終点、70c 終点領域、70d 延長線、70e 始点側部分、70f 終点側部分、72 スクロール複合アイコン、72a~72h スクロールアイコン、80 表示サイズ変更複合アイコン、80a 拡大アイコン(表示サイズ変更アイコン)、80b 縮小アイコン(表示サイズ変更アイコン)、84 回転複合アイコン、84a 右回転アイコン(回転アイコン)、84b 左回転アイコン(回転アイコン)、88 複合アイコン S10,S30,S50 処理フロー。

Claims (30)

  1.  表示面を有する表示部と、
     ユーザ操作を受け付ける入力部と、
     前記ユーザ操作が、前記表示面上の表示情報を、ジェスチャ方向に応じて設定される制御方向に制御する画面移動変形型機能に関連付けられたジェスチャ操作である場合、いずれも前記画面移動変形型機能に関連付けられているが前記制御方向の割り当てが異なっている複数のアイコンの複合体である複合アイコンを前記表示面に表示させ、前記ユーザ操作が前記複合アイコン中のいずれかのアイコンに対する実行指示操作である場合、前記実行指示操作が行われたアイコンに割り当てられている前記制御方向で以て前記画面移動変形型機能を実行する、制御部と
    を備える情報表示装置。
  2.  前記制御部は、前記ジェスチャ操作が予め定められた回数、連続して繰り返された場合に、前記複合アイコンを表示させる、請求項1に記載の情報表示装置。
  3.  前記制御部は、前記ジェスチャ操作の繰り返し時間の長さが、予め定められた閾値に達した場合に、前記複合アイコンを表示させる、請求項2に記載の情報表示装置。
  4.  前記制御部は、前記ジェスチャ操作の1回の操作時間の長さが、予め定められた閾値に達した場合に、前記複合アイコンを表示させる、請求項1に記載の情報表示装置。
  5.  前記制御部は、前記ジェスチャ操作の繰り返し速度が、予め定められた閾値以上である場合に、前記複合アイコンを表示させる、請求項2に記載の情報表示装置。
  6.  前記制御部は、前記ジェスチャ操作の前記繰り返し速度が前記予め定められた閾値以上である場合、予め定められたアイコン表示タイミングよりも早いタイミングで、前記複合アイコンを表示させる、請求項5に記載の情報表示装置。
  7.  前記制御部は、前記ジェスチャ操作の1回の操作速度が、予め定められた閾値以上である場合に、前記複合アイコンを表示させる、請求項1に記載の情報表示装置。
  8.  前記制御部は、前記ジェスチャ操作の前記1回の操作速度が前記予め定められた閾値以上である場合、予め定められたアイコン表示タイミングよりも早いタイミングで、前記複合アイコンを表示させる、請求項7に記載の情報表示装置。
  9.  前記制御部は、前記ジェスチャ操作の繰り返しに従ってジェスチャ量を積算し、その積算値が、予め定められた閾値に達した場合に、前記複合アイコンを表示させる、請求項2に記載の情報表示装置。
  10.  前記制御部は、前記ジェスチャ操作の1回のジェスチャ量が、予め定められた閾値に達した場合に、前記複合アイコンを表示させる、請求項1に記載の情報表示装置。
  11.  前記制御部は、前記ジェスチャ操作の終点が、前記表示面上の予め定められた領域内の地点に対応する場合に、前記複合アイコンを表示させる、請求項1に記載の情報表示装置。
  12.  前記制御部は、前記ジェスチャ操作に引き続いて複合アイコン呼び出し操作が行われた場合に、前記複合アイコンを表示させる、請求項1に記載の情報表示装置。
  13.  前記制御部は、前記ジェスチャ操作の後に無操作状態が、予め定められた時間、続いた場合に、前記複合アイコンを表示させる、請求項1に記載の情報表示装置。
  14.  前記制御部は、前記ジェスチャ操作のジェスチャ量またはジェスチャ速度を、前記複合アイコンに対して前記実行指示操作が行われた場合における前記表示情報の制御量または制御速度に、反映させる、請求項1に記載の情報表示装置。
  15.  前記制御部は、前記ジェスチャ操作のジェスチャ量を前記表示情報の制御量の1単位に設定し、前記複合アイコンに対して前記実行指示操作が行われた場合、前記1単位ごとに断続的に前記表示情報を制御する、請求項14に記載の情報表示装置。
  16.  前記制御部は、前記ジェスチャ操作のジェスチャ速度の変化を、前記複合アイコンに対して前記実行指示操作が行われた場合における前記表示情報の制御速度の変化に、反映させる、請求項14に記載の情報表示装置。
  17.  前記制御部は、前記ジェスチャ操作の終点または前記終点を含んで定められた終点領域を前記表示面上に対応付け、前記表示面上で前記終点領域内に前記複合アイコンを表示させる、請求項1に記載の情報表示装置。
  18.  前記制御部は、前記ジェスチャ操作のジェスチャ軌跡または前記ジェスチャ軌跡の延長線を前記表示面上に対応付け、前記表示面上で前記延長線上に前記複合アイコンを表示させる、請求項1に記載の情報表示装置。
  19.  前記制御部は、前記表示面の周縁領域内で前記延長線が通る位置に、前記複合アイコンを表示させる、請求項18に記載の情報表示装置。
  20.  前記制御部は、前記ジェスチャ軌跡の一部分であり且つ前記ジェスチャ軌跡の終点を含む終点側部分を使って、前記延長線を設定する、請求項18に記載の情報表示装置。
  21.  前記延長線は、前記ジェスチャ軌跡の前記終点における接線、または、前記ジェスチャ軌跡の前記終点と前記終点側部分中の他の1点とを通る直線である、請求項20に記載の情報表示装置。
  22.  前記複合アイコンは他のアイコンとは異なる表示属性によって表示される、請求項1に記載の情報表示装置。
  23.  前記制御部は、前記複合アイコンに対する前記実行指示操作が入力されない状態が続いた場合、前記複合アイコンを前記表示面から消去する、請求項1に記載の情報表示装置。
  24.  前記制御部は、前記ユーザ操作が複合アイコン消去操作である場合、前記複合アイコンを前記表示面から消去する、請求項1に記載の情報表示装置。
  25.  前記画面移動変形型機能は、前記表示情報を前記制御方向にスクロールさせるスクロール機能であり、
     前記制御方向は、前記表示情報のスクロール方向であり、
     前記複合アイコンは、前記複数のアイコンのいずれも前記スクロール機能に関連付けられているが各アイコンによる前記スクロール方向が異なる、スクロール複合アイコンである、
    請求項1に記載の情報表示装置。
  26.  前記スクロール複合アイコンは、
      前記表示情報の表示サイズを拡大する機能に関連付けられた拡大アイコンと、
      前記表示情報の表示サイズを縮小する機能に関連付けられた縮小アイコンと
    を更に有する、請求項25に記載の情報表示装置。
  27.  前記画面移動変形型機能は、前記表示情報の表示サイズを変更する表示サイズ変更機能であり、
     前記制御方向は、前記表示情報の表示サイズ変更方向であり、
     前記複合アイコンは、前記複数のアイコンのいずれも前記表示サイズ変更機能に関連付けられているが各アイコンによる前記表示サイズ変更方向が異なる、表示サイズ変更複合アイコンである、
    請求項1に記載の情報表示装置。
  28.  前記画面移動変形型機能は、前記表示情報を回転させる回転機能であり、
     前記制御方向は、前記表示情報の回転方向であり、
     前記複合アイコンは、前記複数のアイコンのいずれも前記回転機能に関連付けられているが各アイコンによる前記回転方向が異なる、回転複合アイコンである、
    請求項1に記載の情報表示装置。
  29.  前記制御部は、前記ユーザ操作が、前記複合アイコンに対して行われる表示サイズ変更操作である場合、前記複合アイコンの表示サイズを変更する、請求項1に記載の情報表示装置。
  30.  (a)ユーザ操作を受け付けるステップと、
     (b)前記ユーザ操作を識別するステップと、
     (c)前記ユーザ操作が、表示面上の表示情報を、ジェスチャ方向に応じて設定される制御方向に制御する画面移動変形型機能に関連付けられたジェスチャ操作である場合、いずれも前記画面移動変形型機能に関連付けられているが前記制御方向の割り当てが異なっている複数のアイコンの複合体である複合アイコンを前記表示面に表示させるステップと、
     (d)前記ユーザ操作が前記複合アイコン中のいずれかのアイコンに対する実行指示操作である場合、前記実行指示操作が行われたアイコンに割り当てられている前記制御方向で以て前記画面移動変形型機能を実行するステップと
    を備える表示情報操作方法。
PCT/JP2012/076680 2012-10-16 2012-10-16 情報表示装置および表示情報操作方法 WO2014061098A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
PCT/JP2012/076680 WO2014061098A1 (ja) 2012-10-16 2012-10-16 情報表示装置および表示情報操作方法
JP2014541847A JP5738495B2 (ja) 2012-10-16 2012-10-16 情報表示装置および表示情報操作方法
US14/426,092 US20150234572A1 (en) 2012-10-16 2012-10-16 Information display device and display information operation method
CN201280076431.5A CN104737221B (zh) 2012-10-16 2012-10-16 信息显示装置及显示信息操作方法
DE112012007167.0T DE112012007167T5 (de) 2012-10-16 2012-10-16 Informations-Anzeigevorrichtung, Anzeigeinformations-Operationsverfahren

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2012/076680 WO2014061098A1 (ja) 2012-10-16 2012-10-16 情報表示装置および表示情報操作方法

Publications (1)

Publication Number Publication Date
WO2014061098A1 true WO2014061098A1 (ja) 2014-04-24

Family

ID=50487687

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/076680 WO2014061098A1 (ja) 2012-10-16 2012-10-16 情報表示装置および表示情報操作方法

Country Status (5)

Country Link
US (1) US20150234572A1 (ja)
JP (1) JP5738495B2 (ja)
CN (1) CN104737221B (ja)
DE (1) DE112012007167T5 (ja)
WO (1) WO2014061098A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017021869A (ja) * 2016-11-04 2017-01-26 ヤフー株式会社 表示プログラム、端末装置、表示方法及び配信装置
JPWO2018167813A1 (ja) * 2017-03-13 2019-06-27 三菱電機株式会社 タッチパッド操作検出装置およびタッチパッド操作検出方法
JP2019185149A (ja) * 2018-04-03 2019-10-24 株式会社ミクシィ 情報処理装置、機能表示方法及び機能表示プログラム
JP2020204961A (ja) * 2019-06-18 2020-12-24 京セラドキュメントソリューションズ株式会社 情報処理装置

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9924907B2 (en) * 2011-09-30 2018-03-27 Google Technology Holdings LLC Method and system for identifying location of a touched body part
JP2014211701A (ja) * 2013-04-17 2014-11-13 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
USD773479S1 (en) * 2013-09-06 2016-12-06 Microsoft Corporation Display screen with icon group
US10528250B2 (en) 2014-02-21 2020-01-07 Groupon, Inc. Method and system for facilitating consumer interactions with promotions
CN105204629B (zh) * 2015-09-02 2018-11-13 成都上生活网络科技有限公司 一种3d手势识别方法
CN105892844A (zh) * 2015-12-15 2016-08-24 乐视移动智能信息技术(北京)有限公司 滑屏处理方法和系统
US20190095068A1 (en) * 2016-04-19 2019-03-28 Maxell, Ltd. Portable terminal device
JP6727921B2 (ja) 2016-05-18 2020-07-22 ソニーモバイルコミュニケーションズ株式会社 情報処理装置、情報処理システム、情報処理方法
USD800144S1 (en) * 2016-06-29 2017-10-17 Naturalmotion Ltd. Display screen or portion thereof with graphical user interface
USD874516S1 (en) * 2017-12-05 2020-02-04 Koninklijke Philips N.V. Display device with icon
CN108460725B (zh) * 2018-03-22 2019-06-18 腾讯科技(深圳)有限公司 地图显示方法、装置、设备及存储介质
DE102020104789A1 (de) * 2019-02-26 2020-08-27 Makita Corporation Suchvorrichtung für ein eingebettetes objekt
US11409411B1 (en) 2021-03-12 2022-08-09 Topgolf International, Inc. Single finger user interface camera control

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009518758A (ja) * 2005-12-08 2009-05-07 アップル インコーポレイテッド インデックス記号のリスト上の移動接触に応答したリストスクロール
JP2010086230A (ja) * 2008-09-30 2010-04-15 Sony Corp 情報処理装置、情報処理方法およびプログラム
JP2011242820A (ja) * 2010-05-13 2011-12-01 Panasonic Corp 電子機器、表示方法、及びプログラム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007501973A (ja) * 2003-08-08 2007-02-01 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 文書スクロール方法
JP4645179B2 (ja) * 2004-12-02 2011-03-09 株式会社デンソー 車両用ナビゲーション装置
JP4678534B2 (ja) * 2007-06-07 2011-04-27 ソニー株式会社 ナビゲーション装置及び地図スクロール処理方法
US9933937B2 (en) * 2007-06-20 2018-04-03 Apple Inc. Portable multifunction device, method, and graphical user interface for playing online videos
KR101467881B1 (ko) * 2008-08-18 2014-12-02 엘지전자 주식회사 적어도 2개의 디스플레이 영역을 가지는 휴대 단말기 및 그제어방법
JP5228755B2 (ja) * 2008-09-29 2013-07-03 富士通株式会社 携帯端末装置、表示制御方法および表示制御プログラム
US8881013B2 (en) * 2009-04-30 2014-11-04 Apple Inc. Tool for tracking versions of media sections in a composite presentation
JP2011028635A (ja) * 2009-07-28 2011-02-10 Sony Corp 表示制御装置、表示制御方法およびコンピュータプログラム
KR101113906B1 (ko) * 2009-09-04 2012-02-29 노상기 전자기기 단말기용 사용자 인터페이스 화면 구성 방법 및 이를 수행하기 위한 전자기기 단말기
CN102023788A (zh) * 2009-09-15 2011-04-20 宏碁股份有限公司 触控屏幕显示画面控制方法
CN102073439A (zh) * 2009-11-20 2011-05-25 英业达股份有限公司 电子装置及其触控屏幕的提示方法
CN102156605B (zh) * 2010-02-12 2013-01-09 宏碁股份有限公司 物件移动方法、物件移动系统及电子装置
JP5494337B2 (ja) * 2010-07-30 2014-05-14 ソニー株式会社 情報処理装置、情報処理方法及び情報処理プログラム
US9569066B2 (en) * 2011-10-03 2017-02-14 Google Inc. Interface for navigating imagery

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009518758A (ja) * 2005-12-08 2009-05-07 アップル インコーポレイテッド インデックス記号のリスト上の移動接触に応答したリストスクロール
JP2010086230A (ja) * 2008-09-30 2010-04-15 Sony Corp 情報処理装置、情報処理方法およびプログラム
JP2011242820A (ja) * 2010-05-13 2011-12-01 Panasonic Corp 電子機器、表示方法、及びプログラム

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017021869A (ja) * 2016-11-04 2017-01-26 ヤフー株式会社 表示プログラム、端末装置、表示方法及び配信装置
JPWO2018167813A1 (ja) * 2017-03-13 2019-06-27 三菱電機株式会社 タッチパッド操作検出装置およびタッチパッド操作検出方法
JP2019185149A (ja) * 2018-04-03 2019-10-24 株式会社ミクシィ 情報処理装置、機能表示方法及び機能表示プログラム
JP7078845B2 (ja) 2018-04-03 2022-06-01 株式会社ミクシィ 情報処理装置、機能表示方法及び機能表示プログラム
JP2020204961A (ja) * 2019-06-18 2020-12-24 京セラドキュメントソリューションズ株式会社 情報処理装置
JP7259581B2 (ja) 2019-06-18 2023-04-18 京セラドキュメントソリューションズ株式会社 情報処理装置

Also Published As

Publication number Publication date
CN104737221B (zh) 2016-10-12
US20150234572A1 (en) 2015-08-20
CN104737221A (zh) 2015-06-24
JPWO2014061098A1 (ja) 2016-09-05
JP5738495B2 (ja) 2015-06-24
DE112012007167T5 (de) 2015-07-30

Similar Documents

Publication Publication Date Title
JP5738495B2 (ja) 情報表示装置および表示情報操作方法
JP5738494B2 (ja) 情報表示装置および表示情報操作方法
US11003304B2 (en) Information display terminal, information display method and program
US10318146B2 (en) Control area for a touch screen
US8499255B2 (en) Organizational tools on a multi-touch display device
JP4557058B2 (ja) 情報表示端末、情報表示方法、およびプログラム
US20100295806A1 (en) Display control apparatus, display control method, and computer program
KR20130099186A (ko) 표시 장치, 유저 인터페이스 방법, 및 프로그램
KR101586559B1 (ko) 정보 처리 장치 및 정보 처리 방법
US9557907B2 (en) Display device capturing digital content and method of controlling therefor
KR102161061B1 (ko) 복수의 페이지 표시 방법 및 이를 위한 단말
JP5921703B2 (ja) 情報表示装置および情報表示装置における操作制御方法
JP5875262B2 (ja) 表示制御装置
KR20160010993A (ko) 객체 편집 방법 및 이를 이용한 화상 표시 장치
US10915240B2 (en) Method of selection and manipulation of graphical objects
KR102118046B1 (ko) 포터블 디바이스 및 그 제어 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12886797

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2014541847

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 14426092

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 112012007167

Country of ref document: DE

Ref document number: 1120120071670

Country of ref document: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12886797

Country of ref document: EP

Kind code of ref document: A1