JP5921703B2 - 情報表示装置および情報表示装置における操作制御方法 - Google Patents

情報表示装置および情報表示装置における操作制御方法 Download PDF

Info

Publication number
JP5921703B2
JP5921703B2 JP2014541844A JP2014541844A JP5921703B2 JP 5921703 B2 JP5921703 B2 JP 5921703B2 JP 2014541844 A JP2014541844 A JP 2014541844A JP 2014541844 A JP2014541844 A JP 2014541844A JP 5921703 B2 JP5921703 B2 JP 5921703B2
Authority
JP
Japan
Prior art keywords
window
function
display device
information display
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014541844A
Other languages
English (en)
Other versions
JPWO2014061095A1 (ja
Inventor
英一 有田
英一 有田
下谷 光生
光生 下谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Application granted granted Critical
Publication of JP5921703B2 publication Critical patent/JP5921703B2/ja
Publication of JPWO2014061095A1 publication Critical patent/JPWO2014061095A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3664Details of the user input interface, e.g. buttons, knobs or sliders, including those provided on a touch screen; remote controllers; input using gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04808Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Description

本発明は、情報表示装置および情報表示装置における操作制御方法に関する。
下記特許文献1には、タッチパネルを利用したナビゲーション装置が開示されている。具体的には、タッチパネルにおいて2つの指位置が同時に検出されると、当該検出された2つの指位置に基づき、表示画面よりも小さくかつ当該表示画面に相似形状の操作枠が表示される。この操作枠は、検出された指位置の近傍、または、検出された指位置とは関係なく表示画面内の所定の周縁部、に表示される。
操作枠が表示されているとき、この操作枠をあたかも表示画面全体と見立てた操作が可能となる。例えば操作枠内において2つの指位置が近接するように移動した場合、表示画面に表示されている地図を縮小する。すなわち、操作枠内における指位置の移動を表示画面全体における指位置の移動として変換する。この際、操作枠を基準とした操作枠内における指位置の変化割合を、表示画面全体を基準とした表示画面全体における指位置の変化割合に設定している。
特開2011−215792号公報
特許文献1の装置によれば、上記のように、操作枠内で行った操作に従って、表示画面全体の表示が制御される。また、操作枠内で行った操作量(すなわち、指位置の移動量)に従って、表示画面全体における表示の制御量が決定される。つまり、操作枠内における操作と表示画面全体における表示とが連動している。このため、当該操作枠は、限られた用途にしか適用できないと考えられる。
本発明は、表示情報の操作について、操作性、換言すれば利便性を向上可能な技術を提供することを目的とする。
本発明の一形態に係る情報表示装置は、表示面を有する表示部と、ユーザ操作を受け付ける入力部と、制御部とを含む。制御部は、表示面にウィンドウを形成することを指示すると共にウィンドウの形成範囲を指定するウィンドウ開操作として、2点タッチと、囲みジェスチャを含む動作と、のうちの少なくとも一方が割り当てられている場合に、当該2点タッチの座標または当該囲みジェスチャの軌跡の座標を用いて、ウィンドウの形状と縦方向長さと横方向長さと位置とを定めてウィンドウを形成する。制御部は、ウィンドウの内側の領域であるウィンドウ内側領域に対するユーザ操作と、ウィンドウの外側の領域であるウィンドウ外側領域に対するユーザ操作とで、実行される機能の割り当てを異ならせる。制御部は、表示面に表示されている鳥瞰図に対してウィンドウ開操作が行われた場合、ウィンドウの形状を鳥瞰図の俯角に応じて設定する。
上記一態様によれば、ウィンドウ内側領域に対するユーザ操作と、ウィンドウ外側領域に対するユーザ操作とで、実行される機能の割り当てを異ならせる。例えば、ウィンドウ外側領域では効率的に行うことが難しいユーザ操作を、ウィンドウ内側領域に割り当てることによって、ユーザ操作による機能指示を効率的に行うことができる。また、例えば、ウィンドウ形成前の状態において同じユーザ操作に異なる機能を割り当てても、いずれの機能が指示されたのかを識別できないのに対し、ウィンドウ内側領域とウィンドウ外側領域という区別を設けることによって、それらの異なる機能を適切に指示できる。これらの例のように、高い操作性、換言すれば高い利便性を提供できる。また、ウィンドウ形状を、表示面に表示されている鳥瞰図の俯角に応じて設定することにより、ウィンドウ内側領域とウィンドウ外側領域とで表示情報との連続性が高まり、ユーザの認知負荷を軽減できる。また、制御部が自動的に鳥瞰表現に合わせたウィンドウを形成してくれるので、ユーザは表示中の鳥瞰表現を意識しながらウィンドウの形成範囲を指定する必要がない。
本発明の目的、特徴および利点は、以下の詳細な説明と添付図面とによって、より明白となる。
情報表示装置を例示するブロック図である。 入力兼表示部を例示する斜視図である。 1点タッチ操作の概念図である。 2点タッチ操作の概念図である。 ドラッグ操作の概念図である。 フリック操作の概念図である。 ピンチアウト操作(2点移動型)の概念図である。 ピンチアウト操作(1点移動型)の概念図である。 ピンチイン操作(2点移動型)の概念図である。 ピンチイン操作(1点移動型)の概念図である。 スライド操作の概念図である。 表示サイズ変更操作(拡大操作および縮小操作)の概念図である。 回転操作の概念図である。 制御部を例示するブロック図である。 ウィンドウ表示までの処理を例示するフローチャートである。 ウィンドウ開操作の概念図である(2点タッチ長押し)。 ウィンドウ開操作の概念図である(1点タッチと囲みドラッグ)。 ウィンドウの影付き修飾を例示する図である。 ウィンドウの窪み修飾を例示する図である。 円形のウィンドウを例示する図である。 ウィンドウ形成に関して画像合成制御の第1例を説明する図である。 ウィンドウ形成に関して画像合成制御の第2例を説明する図である。 ウィンドウ表示後の処理を例示するフローチャートである。 ウィンドウ内外に割り当てられる機能の第1例を説明する図である。 スクロールアイコンを例示する図である。 拡大/縮小アイコンを例示する図である。 スクロールアイコンと拡大/縮小アイコンとを組み合わせたアイコンを例示する図である。 ウィンドウ内外に割り当てられる機能の第2例を説明する図である。 ウィンドウ内外に割り当てられる機能の第3例を説明する図である。 ウィンドウ移動操作の概念図である。 ウィンドウサイズ変更操作の概念図である。 ウィンドウサイズ変更操作の概念図である。 ウィンドウサイズ変更操作の概念図である。 ウィンドウ消去操作の第1例の概念図である。 ウィンドウ消去操作の第2例の概念図である。 ウィンドウ消去操作の第3例の概念図である。 ウィンドウの自動消去を例示するフローチャートである。 鳥瞰表現によるウィンドウ形状の第1例を説明する図である。 鳥瞰表現によるウィンドウ形状の第2例を説明する図である。 鳥瞰表現によるウィンドウ形状の第3例を説明する図である。 鳥瞰表現によるウィンドウ形状の第4例を説明する図である。 地図上の区画に応じたウィンドウ形状を説明する図である。
<全体構成の概略>
図1に実施の形態に係る情報表示装置10のブロック図を例示する。図1の例によれば、情報表示装置10は、表示部12と、入力部14と、制御部16と、記憶部18とを含んでいる。
表示部12は、各種情報を表示する。表示部12は、例えば、複数の画素がマトリクス状に配置されることによって構成された表示面と、制御部16から取得した画像データに基づいて各画素を駆動する(換言すれば、各画素の表示状態を制御する)駆動装置と、を含んでいる。なお、表示部12で表示する画像は、静止画像の場合もあるし、動画像の場合もあるし、さらには静止画像と動画像の組み合わせの場合もある。
表示部12は、例えば液晶表示装置によって構成可能である。この例によれば、表示パネル(ここでは液晶パネル)の表示領域が上記表示面に対応し、表示パネルに外付けされた駆動回路が上記駆動装置に対応する。なお、駆動回路の一部が表示パネルに内蔵される場合もある。液晶表示装置の他に、エレクトロルミネセンス(EL)表示装置、プラズマディスプレイ装置、等によって、表示部12を構成することも可能である。
入力部14は、ユーザから各種情報を受け付ける。入力部14は、例えば、ユーザが入力のために用いる指示物を検出する検出部と、検出部によって検出された結果を検出信号として制御部16へ出力する検出信号出力部と、を含んでいる。
ここでは、入力部14がいわゆる接触型のタッチパネルで構成される場合を例示し、以下では入力部14を「タッチパネル14」と称する場合もある。なお、タッチパネルは「タッチパッド」等と称される場合もある。また、入力に用いる上記指示物が、ユーザの指(より具体的には、指先)である場合を例示する。
タッチパネル14の上記検出部は、ユーザが指先を載せる入力面を提供し、当該入力面に対して設けられたセンサ群によって、入力面上の指の存在を検出する。換言すれば、センサ群によって指を検出可能な領域が、ユーザ入力を受け付け可能な入力領域に対応し、接触型タッチパネルの場合、入力領域は2次元領域の入力面に対応する。
センサ群は電気式、光学式、機械式、等のいずれでもよいし、あるいは、それらの組み合わせでもよい。また、各種の位置検出方式が開発されており、それらのうちのいずれをタッチパネル14に採用しても構わない。また、指の位置の検出だけでなく、入力面に対する指の押圧力を検出可能な構成を採用してもよい。
各センサの出力信号の組み合わせから、入力面上における指先の位置を特定可能である。特定された位置は例えば、入力面に設定された座標上の座標データによって表現される。この場合、入力面上で指を移動させると指位置を示す座標データが変化するので、連続的に取得される一連の座標データによって指の移動を検出可能である。
なお、座標以外の手法によって指位置を表現してもよい。すなわち、座標データは、指の位置を表現するための指位置データの一例である。
ここでは、タッチパネル14の上記検出信号出力部が、各センサの出力信号から、指位置を示す座標データを生成し、その座標データを検出信号として制御部16へ送信する例を挙げる。但し、例えば、座標データへの変換を、制御部16に行わせてもよい。そのような例では、検出信号出力部は、各センサの出力信号を、制御部16が取得可能な形式の信号に変換し、得られた信号を検出信号として制御部16へ送信する。
また、図2の斜視図に示すように、タッチパネル14(図1参照)の入力面34と表示部12(図1参照)の表示面32とが重ねられた構造、換言すれば入力面34と表示面32とが一体化した構造を例示する。そのような一体構造によって、入力兼表示部20(図1参照)、より具体的にはタッチスクリーン20が提供される。
入力面34と表示面32との一体構造によれば、入力面34と表示面32とはユーザにとって同一視され、あたかも表示面32に対して入力操作を行っている感覚をユーザに与える。このため、直感的な操作環境が提供される。なお、かかる点に鑑み、例えば「ユーザが表示面32を操作する」といった表現を用いる場合もある。
制御部16は、情報表示装置10における各種の処理および制御を行う。例えば、制御部16は、タッチパネル14から入力された情報を解析し、その解析結果に応じた画像データを生成し、その画像データを表示部12へ出力する。
ここでは、制御部16が中央演算処理部(例えば1つまたは複数のマイクロプロセッサで構成される)と主記憶部(例えばROM、RAM、フラッシュメモリ等の1つまたは複数の記憶装置で構成される)とによって構成される場合を例示する。この例によれば、主記憶部に格納された各種プログラムを中央演算処理部が実行することによって(換言すれば、ソフトウェアによって)、各種機能が実現される。各種機能は並列的に実現させることも可能である。
各種プログラムは、予め制御部16の主記憶部に格納されていてもよいし、あるいは、実行時に記憶部18から読み出されて主記憶部に格納されてもよい。主記憶部は、プログラムだけでなく各種データの格納にも利用される。また、主記憶部は、中央演算処理部がプログラムを実行する際の作業領域を提供する。また、主記憶部は、表示部12に表示する画像を書き込むため画像保持部を提供する。画像保持部は「ビデオメモリ」、「グラフィックメモリ」等と称される場合もある。
なお、制御部16が行う処理および制御の全部又は一部を、ハードウェア(例えば、特定の演算を行うように構成された演算回路等)として構成されていてもよい。
記憶部18は、各種情報を格納する。ここでは、記憶部18は、制御部16が利用する補助記憶部として設けられている。記憶部18は、例えば、ハードディスク装置、光ディスク、書き換え可能かつ不揮発性の半導体メモリ、等の記憶装置の1つ以上を利用して構成可能である。
また、情報表示装置10は、上記要素12,14,16,18以外の要素を、更に含んでもよい。例えば、聴覚的情報を出力する音声出力部と、各種機器との間で有線通信または無線通信を行う通信部と、情報表示装置10の現在位置を例えばGPS(Global Positioning System)方式に準拠して検出する現在位置検出部と、のうちの1つ以上が追加されてもよい。
音声出力部によれば、例えば、操作音、効果音、ガイダンス音声、等を出力可能である。また、通信部は、例えば、記憶部18に格納する情報の新規取得および更新に利用可能である。また、現在位置検出部は、例えばナビゲーション機能に利用可能である。
情報表示装置10の用途は特に限定されるものではない。例えば、情報表示装置10は携帯型またはデスクトップ型の情報機器であってもよい。あるいは、自動車等の移動体に搭載される、ナビゲーション装置またはオーディオ・ビジュアル装置に、情報表示装置10が応用されてもよい。
<ユーザ操作とその機能>
情報表示装置10のより具体的な構成および処理を説明する前に、タッチパネル14に対するユーザ操作について説明する。
ユーザ操作は、指の動きから、タッチ操作とジェスチャ操作とに大別される。なお、以下では、タッチ操作とジェスチャ操作を「タッチ」および「ジェスチャ」とそれぞれ称する場合もある。タッチ操作は、少なくとも1本の指先をタッチパネルの入力面に接触させ、接触させた指を、入力面上で移動させることなく、入力面から離す操作である。これに対し、ジェスチャ操作は、少なくとも1本の指先を入力面に接触させ、接触させた指を入力面上で移動させた(換言すれば、スライドさせた)後に、入力面から離す操作である。
タッチ操作によって検出される座標データ(換言すれば、指位置データ)は、基本的には変化が無く、静的である。これに対し、ジェスチャ操作によって検出される座標データは、時間経過と共に変化し、動的である。そのような変化する一連の座標データによれば、入力面上で指が移動を開始した地点および終了した地点、移動始点から移動終点に至る軌跡、移動方向、移動量、移動速度、移動加速度、等の情報を取得可能である。
図3に、タッチ操作の第1例として、1点タッチ操作(単に「1点タッチ」とも称する)を説明する概念図を示す。なお、図3および後述の図4〜図10では、上段に入力面34の平面図を示し、下段に入力面34の側面図または断面図を示している。
図3に示すように、1点タッチでは、ユーザは1本の指を入力面34に点接触させる。図3ではタッチ地点(換言すれば、指の検出地点)を黒塗り丸印で模式的に示している。かかる図示手法は後述の図面でも用いることにする。なお、黒塗り丸印を実際に表示面に表示させてもよい。
1点タッチは例えば、シングルタップ、マルチタップおよび長押しの各操作に分類可能である。シングルタップとは、指先で入力面34を1回、軽く叩く操作である。シングルタップは単に「タップ」と称される場合もある。マルチタップとは、タップを複数回繰り返す操作である。マルチタップとして、ダブルタップが代表的である。長押しとは、指先の点接触を維持する操作である。これらの操作は、例えば指の接触(換言すれば、指の検出)の継続時間および回数によって、識別可能である。
図4は、タッチ操作の第2例として、2点タッチ操作(単に「2点タッチ」とも称する)を説明する概念図である。2点タッチは、指を2本使う点を除いて、基本的に1点タッチと同じである。このため、2点タッチによっても、例えば、タップ、マルチタップおよび長押しの各操作を行うことが可能である。2点タッチでは、片手のうちの2本の指を使ってもよいし、あるいは、右手の1本の指と左手の1本の指とを使ってもよい。なお、2本の指の位置関係は図4の例に限定されるものではない。
なお、3本以上の指でタッチ操作を行うことも可能である。
図5は、ジェスチャ操作の第1例として、ドラッグ操作(単に「ドラッグ」とも称する)を説明する概念図である。ドラッグとは、指先を入力面34上に置いたままでずらす操作である。なお、指の移動方向および移動距離は、図5の例に限定されるものではない。
図5において、指の移動始点を黒塗り丸印で模式的に示し、指の移動終点を黒塗り三角形で模式的に示し、その三角形の向きで指の移動方向を表現し、黒塗り丸印と黒塗り三角形を結ぶ線によって軌跡を表現している。かかる図示手法は後述の図面でも用いることにする。なお、黒塗り丸印と黒塗り三角形と軌跡とを実際に表示面に表示させてもよい。
図6は、ジェスチャ操作の第2例として、フリック操作(単に「フリック」とも称する)を説明する概念図である。フリックとは、指先を入力面34上で素早く払う操作である。なお、指の移動方向および移動距離は図6の例に限定されるものではない。
フリックでは、ドラッグと異なり、指が移動途中で入力面34から離れる。ここではタッチパネル14が接触型であるので、入力面34から離れた後の指移動は原理的には検出されない。しかし、例えば、指が入力面34上を移動する間に得られた一連の座標データの変化から、検出された最終地点における指の移動速度を算出することが可能である。その移動速度が、予め定められた閾値(「ドラッグ/フリック識別閾値」と称することにする)以上であることを以て、フリックを識別可能である。
また、例えば、検出された最終地点における指の移動方向、移動速度および移動加速度から、指が入力面34から離れた後に最終的に到達する地点(より具体的には、その地点を入力面34に投影した地点)を推定可能である。なお、かかる推定処理は、フリックを仮想的なドラッグに変換する処理として解釈することが可能である。
そこで、情報表示装置10では、そのように推定された地点を指移動の終点として扱うことにする。この例において上記推定処理は、タッチパネル14によって実行してもよいし、あるいは制御部16によって実行してもよい。
但し、そのような推定は行わず、入力面34から離れた地点を指移動の終点として扱うように、情報表示装置10を変形しても構わない。
図7は、ジェスチャ操作の第3例として、ピンチアウト操作(単に「ピンチアウト」とも称する)を説明する概念図である。ピンチアウトとは、入力面34上で2本の指先を遠ざける操作である。ピンチアウトは「ピンチオープン」とも称される。
図7では、2本の指の両方をドラッグする場合を例示した。これに対し、図8にジェスチャ操作の第4例として示すように、一方の指先を入力面34上に固定し(換言すれば、一方の指先はタッチ状態を維持し)、他方の指先のみをドラッグすることによって、ピンチアウトを行うことも可能である。なお、図7および図8のやり方を区別する場合、図7のやり方を「2点移動型」と称し、図8のやり方を「1点移動型」と称することにする。
図9は、ジェスチャ操作の第5例として、ピンチイン操作(単に「ピンチイン」とも称する)を説明する概念図である。ピンチインとは、入力面34上で2本の指先を近づける操作である。ピンチインは「ピンチクローズ」とも称される。図9には2点移動型のピンチインを例示しているが、図10にジェスチャ操作の第6例として、1点移動型のピンチインを例示する。
ここで、ピンチアウトとピンチインを「ピンチ操作」または「ピンチ」と総称し、指の移動方向を「ピンチ方向」と称することにする。この場合、ピンチ方向が、指の間隔が拡大する方向である場合、そのピンチ操作は特にピンチアウトと称される。逆に、ピンチ方向が、指の間隔が縮小する方向である場合、そのピンチ操作は特にピンチインと称される。
なお、ピンチアウトおよびピンチインでは、片手のうちの2本の指を使ってもよいし、あるいは、右手の1本の指と左手の1本の指とを使ってもよい。また、2本の指の位置関係、移動方向および移動距離は、図7〜図10の例に限定されるものではない。また、1点移動型のピンチアウトおよびピンチインにおいて、ドラッグさせる方の指は、図8および図10の例に限定されるものではない。また、ドラッグの代わりにフリックを使って、ピンチアウトおよびピンチインを行うことも可能である。
各ユーザ操作は、特定の機能に関連付けられている。具体的には、ユーザ操作が検出されると、そのユーザ操作に関連付けられた処理が制御部16によって実行され、それにより、対応する機能が実現される。かかる点に鑑みると、ユーザ操作は、実現される機能から、分類することも可能である。
例えば、表示面32上のアイコンに対して行うダブルタップは、アイコンに関連付けられているプログラムまたはコマンドを実行させる機能に関連付けられる。この場合、ダブルタップは、実行指示操作として機能する。
また、図11に例示するように、表示情報(図11には地図画像が例示されている)に対して行うドラッグは、その表示情報をスライドさせるスライド機能に関連付けられる。この場合、ドラッグ操作は、スライド操作として機能する。なお、ドラッグの代わりにフリックによって、スライドを行わせることも可能である。ここで、スライド機能およびスライド操作は、スクロール機能およびスクロール操作とも称される。但し、スライド方向とスクロール方向とは180°異なる。
また、図12に例示するように、表示情報(図12には地図画像が例示されている)に対して行うピンチアウトおよびピンチインは、その情報表示のサイズ(換言すれば、スケール)を変更する機能に関連付けられる。この場合、ピンチアウトおよびピンチインは、表示サイズ変更操作(「表示スケール変更操作」と称してもよい)として機能する。より具体的には、図12の例では、ピンチアウトが拡大操作に対応し、ピンチインが縮小操作に対応する。
また、図13に例示するように、表示情報(図13には地図画像が例示されている)に対して、2本の指を、距離を保ったまま円を描くように、ドラッグさせる場合、そのドラッグは、その情報表示を回転させる機能に関連付けられる。この場合の2点移動型の回転ドラッグは、回転操作として機能する。なお、3本以上の指で行う回転ドラッグを採用してもよい。また、回転ドラッグを行う指の本数に応じて、関連付ける機能を違えてもよい。
ここで、1つのユーザ操作に複数種類の機能を割り当てることも可能である。例えば、ダブルタップを、上記の実行指示操作の他に、アイコンに関連付けられたフォルダを開くフォルダ開操作に割り当ててもよい。また、ドラッグを、スライド機能と、描画機能とに割り当ててもよい。1つのユーザ操作に複数種類の機能を割り当てられている場合、操作対象、使用状況(換言すれば、使用モード)等に応じて、各機能が切り換えられる。
また、1つの機能に複数種類のユーザ操作を割り当てることも可能である。例えば、アイコンに対する実行指示機能を、ダブルタップと長押しとフリックに関連付けてもよい。この場合、ダブルタップと長押しとフリックのいずれによっても、アイコンに関連付けられたプログラム等を実行可能である。また、例えば、スライド機能を、ドラッグとフリックとの両方に関連付けてもよい。また、例えば、回転機能を、2点移動型の回転ドラッグと1点移動型の回転ドラッグの両方に関連付けてもよい。
ここで、ユーザ操作に関連付けられている機能を、画面の移動および変形の観点から、画面移動変形型と非移動変形型とに大別する。なお、以下では、例えば、画面移動変形型機能に関連付けられているジェスチャ操作を、「画面移動変形型機能のジェスチャ操作」と表現する場合もある。
ジェスチャ操作に関連付けられている画面移動変形型機能は、表示面上の表示情報を、ジェスチャ方向に応じて設定される制御方向に、制御する(換言すれば、操る)機能である。画面移動変形型機能には例えば、スライド機能と、表示サイズ変更機能と、回転機能と、鳥瞰図表示機能(より具体的には、仰角および俯角の変更機能)とが含まれる。なお、スライド機能は画面移動機能に分類可能である。また、回転機能を角度の移動という観点から捉えれば、回転機能を画面移動機能に分類可能である。また、表示サイズ変更機能および鳥瞰図表示機能は、画面変形機能に分類可能である。
より具体的には、スライド機能では、ジェスチャ方向(例えば、ドラッグ方向またはフリック方向)に応じてスライド方向(すなわち、制御方向)を設定し、そのスライド方向に表示情報をスライドする。
また、表示サイズ変更機能では、ジェスチャ方向(例えば、ピンチ方向)が拡大方向である場合には制御方向を拡大方向に設定し、ジェスチャ方向が縮小方向である場合には制御方向を縮小方向に設定し、その設定した制御方向に、表示情報のサイズを変更する。
また、回転機能では、ジェスチャ方向(例えば、回転ドラッグにおける回転方向)が右回転方向である場合には制御方向を右回転方向に設定し、ジェスチャ方向が左回転方向である場合には制御方向を左回転方向に設定し、その設定した制御方向に、表示情報を回転する。
なお、画面移動変形型機能は、ジェスチャ方向だけでなく、更にジェスチャ量(例えば、ジェスチャ軌跡の長さ)も利用して、表示情報を制御してもよい。具体的には、ジェスチャ量が大きいほど、表示情報の制御量(例えば、スライド量、表示サイズ変更量および回転量)を大きく設定してもよい。
また、画面移動変形型機能は、ジェスチャ量に加えてまたは代えて、ジェスチャ速度を利用して表示情報を制御してもよい。具体的には、ジェスチャ速度が大きいほど、表示情報の制御速度(例えば、スライド速度、表示サイズ変更速度および回転速度)を大きく設定してもよい。
他方、非移動変形型機能は、ジェスチャ操作に関連付けられていても、機能の実現にジェスチャ方向を利用しない。例えば、アイコンに対するフリックが、特定のプログラムの実行指示機能に関連付けられていても、当該機能は非移動変形型に属する。また、例えばドラッグを描画機能および手書き文字入力機能で利用する場合も、そのドラッグに応じた軌跡が表示されるだけであり、表示情報がドラッグ方向に応じて制御されるわけでない。
なお、ユーザ操作およびそれによって実現される機能は、上記の各種例示に限定されるものではない。
<制御部16の構成例>
図14に制御部16のブロック図を例示する。なお、図14には説明のため、表示部12と入力部14と記憶部18も記載している。図14の例によれば、制御部16は、入力解析部40と、全体制御部42と、第1画像形成部44と、第1画像保持部46と、第2画像形成部48と、第2画像保持部50と、画像合成部52と、合成画像保持部54と、ウィンドウ管理部56とを含んでいる。
入力解析部40は、入力部14によって検出されたユーザ操作を解析し、ユーザ操作を識別する。具体的には、入力解析部40は、ユーザ操作に伴って検出された座標データを入力部14から取得し、当該座標データからユーザ操作情報を取得する。ユーザ操作情報は、例えば、ユーザ操作の種類、指移動の始点および終点、始点から終点に至る軌跡、移動方向、移動量、移動速度、移動加速度、等の情報である。
ユーザ操作の種類の識別について、例えば始点と終点の差を、予め定められた閾値(「タッチ/ジェスチャ識別閾値」と称することにする)と比較することによって、タッチ操作とジェスチャ操作とを識別可能である。また、上記のように軌跡の最後における指移動速度から、ドラッグとフリックを識別可能である。
また、例えば2つのドラッグが同時に識別された場合、移動方向からピンチアウトとピンチインを識別可能である。また、2つのドラッグが距離を保ったまま円を描いている場合、回転ドラッグが行われたことを識別可能である。また、ドラッグと1点タッチが同時に識別された場合、ピンチアウト、ピンチインおよび回転ドラッグが1点移動型であることを識別可能である。
全体制御部42は、制御部16における各種処理を行う。例えば、全体制御部42は、入力部14の入力面上の位置と、表示部12の表示面上の位置との対応付けを行う。これによれば、タッチ操作におけるタッチ位置、ジェスチャ操作におけるジェスチャ軌跡、等が表示面上に対応付けられる。そのような対応付けにより、ユーザ操作が表示面のどの位置を意図して行われたのかを識別可能である。かかる対応付けは、いわゆるグラフィカル・ユーザ・インターフェース(GUI)技術によって実現可能である。
また、全体制御部42は、例えば、ユーザ操作情報と機能識別情報とに基づいて、ユーザが所望している機能、すなわちユーザ指示を識別する。機能識別情報は、例えば、ユーザ操作と、実行する機能との関連付けが、操作状況情報を介して規定された情報である。操作状況情報は、例えば、情報表示装置10の使用状況(換言すれば、使用モード)、ユーザ操作が行われた操作対象、使用状況および操作対象に応じて受け付け可能なユーザ操作の種類、等の情報である。
より具体的に、例えば、地図閲覧ソフトウェアが使用されている状況下でその地図画像を操作対象としてドラッグが行われた場合、そのドラッグはスライド機能の実行を指示していると識別される。また、例えば、地図画像上の拡大アイコンを操作対象としてタップが行われた場合、そのタップは表示サイズ拡大機能の実行を指示していると識別される。また、例えば、拡大アイコンに対するフリックに何ら機能が関連付けられていない場合、そのフリックは無効な操作であると判断される。
また、全体制御部42は、第1画像形成部44と第2画像形成部48と画像合成部52とを制御することによって、表示面上の表示情報を制御する。なお、表示情報の変更は、ユーザ指示の識別結果に基づく場合もあるし、あるいは、ユーザ指示の識別結果とは関係なく、プログラム実行上の指示に基づく場合もある。
また、全体制御部42は、他の機能部40,44,46,48,50,52,54,56に対する全般的な制御、例えば実行タイミングの調整を行う。
第1画像形成部44は、全体制御部42の指示に応じた第1情報60を記憶部18から読み出し、第1情報60から第1画像を形成し、第1画像を第1画像保持部46に格納する。同様に、第2画像形成部48は、全体制御部42の指示に応じた第2情報62を記憶部18から読み出し、第2情報62から第2画像を形成し、第2画像を第2画像保持部50に格納する。
画像合成部52は、全体制御部42の指示の下、第1画像保持部46から第1画像を読み出し、第2画像保持部50から第2画像を読み出し、第1画像と第2画像とを合成し、合成した画像を合成画像保持部54に格納する。
画像の合成は、第1画像と第2画像とが重なって表示されるように、行われる。ここでは、第1画像が下の画像(換言すれば、下のレイヤ)であり、第2画像が上の画像(換言すれば、上のレイヤ)である場合を例示する。なお、ここでいう「上下」は、表示面の法線方向における上下のことであり、表示面を見ているユーザに近い側を「上」と表現している。実際には、そのような概念に基づいて、画像データが重ねられる。
合成画像、すなわち表示画面では、上の画像のうちの透明部分には下の画像が表示される。換言すれば、上の画像のうちの描画部分は下の画像を隠すことになる。但し、上の画像の描画部分に透明度を設定することによって、下の画像が透けた状態の合成画像も形成可能である。
第1画像と第2画像のいずれを上の画像にするかの設定は、変更不可であってもよいし、あるいは、変更可能であってもよい。
ここでは、第1画像および第2画像による2つのレイヤを合成する例を挙げるが、更に多くのレイヤを合成可能な構成を採用してもよい。また、他の合成手法を採用してもよい。
合成画像保持部54に格納された合成画像は、表示部12へ転送され、表示部12において表示される。合成画像が更新されることによって、すなわち第1画像と第2画像の少なくとも一方が更新されることによって、表示画面が変化する。
ウィンドウ管理部56は、全体制御部42の制御下、表示面に形成するウィンドウを管理する。具体的には、ウィンドウ管理部56は、ウィンドウの形成範囲(位置、形状、等)、表示属性(ウィンドウの修飾の有無および種類、等)等の情報を管理し、当該ウィンドウ管理情報に基づいて画像合成部52を制御することによってウィンドウを管理する。
<情報表示装置10の処理例>
以下に、ウィンドウに関連した、情報表示装置10による処理(換言すれば、情報表示方法)を例示する。
<ウィンドウ形成までの処理>
図15に、ウィンドウ形成までの処理フローS10を例示する。図15の例によれば、ステップS11において入力部14がユーザ操作を受け付け、ステップS12において制御部16が、入力されたユーザ操作を識別する。そして、ステップS13において、制御部16が、ステップS12の識別結果に基づいて、入力されたユーザ操作が、予め規定されたウィンドウ開操作であるか否かを判断する。
ユーザ操作がウィンドウ開操作ではないと判断した場合、制御部16は、ステップS14において、入力されたユーザ操作に関連付けられている機能を実行する。その後、情報表示装置10の処理は上記ステップS11に戻る。
他方、上記ステップS13でユーザ操作がウィンドウ開操作であると判断した場合、制御部16は、ステップS15において、ウィンドウを形成する。また、ステップS15では、ユーザ操作によって実行される機能の割り当てをウィンドウ内外で異ならせるモード(「特別操作モード」と称することにする)をオンにする。すなわち、特別操作モードでは、ウィンドウの内側の領域であるウィンドウ内側領域から指示可能な機能の種類と、ウィンドウの外側の領域であるウィンドウ外側領域から指示可能な機能の種類とは、少なくとも一部の機能について異なる。
例えば、ウィンドウ内側領域に割り当てる機能と、ウィンドウ外側領域に割り当てる機能と、を予め記録しておき、その記録情報(換言すれば、割り当て情報)を制御部16(図14参照)の主記憶部または記憶部18(図14参照)に格納しておく。そして、ステップS15において、制御部16がその割り当て情報を読み込むことによって、特別操作モードがオンになる。特別操作モードにおける機能の割り当てについては後に詳述する。
ステップS15の終了により、図15の処理フローS10は終了する。
ウィンドウ開操作は、表示面にウィンドウを形成することを指示する操作であると共に、ウィンドウの形成範囲を指定する操作である。ウィンドウ開操作の例を図16および図17に示す。
図16の例では、2点タッチの長押し操作が、ウィンドウ開操作に割り当てられている。この例によれば、タッチした2点を対角位置の頂点とする四角形の範囲に、ウィンドウ80が形成される。すなわち、ユーザは、タッチする2点によって、ウィンドウ80の形成範囲を指定することになる。なお、タッチする2点の位置関係等は、図16の例に限定されるものではない。
なお、図16では、ウィンドウ80を図面上で分かりやすくするために、ウィンドウ80内の領域に砂状のハッチングを施している。すなわち、この砂状ハッチングは、実施の形態の説明のために施しているに過ぎず、ウィンドウ80のデザイン等を限定するものではない。なお、かかる砂状ハッチングは、図17等の後述の図面においても、用いる場合がある。
図16の例の場合、制御部16は、2点タッチの状態が、予め定められた時間(「ウィンドウ開指示時間」と称することにする)に達したことを上記ステップS12で識別すると、ステップS13においてウィンドウ開操作が入力されたと判断する。そして、制御部16は、ウィンドウ開操作によって指定された範囲に応じて、表示面32にウィンドウ80を形成する。例えば、制御部16は、タッチされた2点を表示面32の座標系に対応付け、表示面32における当該2点を対角位置の頂点に採用して、四角形のウィンドウ80を形成する。なお、ウィンドウ80の形成範囲を入力面34の座標系上で求め、求められた範囲を表示面32の座標系へ対応付けてもよい。
図17の例では、1点タッチと、当該1点タッチ地点またはその近傍を始点にして、任意の範囲を囲むように行うドラッグ(「囲みドラッグ」または「囲みジェスチャ」と称することにする)と、の組み合わせ操作が、ウィンドウ開操作に割り当てられている。この例での1点タッチとして、シングルタップ、マルチタップおよび長押しのいずれも採用可能である。また、ドラッグの最後がフリックになっても構わない。なお、1点タッチ地点の近傍とは例えば、1点タッチ地点から、予め定められた距離の範囲を言う。この例によれば、ユーザは、囲みドラッグで囲む範囲によって、あるいは、1点タッチ地点と囲みドラッグで囲む範囲との組み合わせによって、ウィンドウ80の形成範囲を指定することになる。なお、囲みドラッグの方向等は、図17の例に限定されるものではない。
図17の例の場合、制御部16は、1点タッチと囲みドラッグが連続して行われたことを上記ステップS12で識別すると、ステップS13においてウィンドウ開操作が入力されたと判断する。なお、「連続して」という条件は、予め定められた操作時間間隔以下で1点タッチと囲みドラッグが行われるという条件と、その途中に他の操作が行われないという条件と、を含む。
そして、制御部16は、ウィンドウ開操作によって指定された範囲に応じて、表示面32にウィンドウ80を形成する。例えば、制御部16は、囲みドラッグの軌跡70を表示面32の座標系に対応付け、表示面32の座標系上で、当該軌跡70で囲まれた範囲を、予め定められた変換規則に従って四角形に変換し、変換後の四角形の範囲にウィンドウ80を形成する。なお、図17の例では上記変換規則として、例えば、囲み軌跡70の範囲に内包される最大の四角形を求めるという規則を採用可能である。但し、その他の変換規則を採用しても構わない。例えば、ウィンドウ開操作の最初に行われる上記1点タッチの地点が、ウィンドウ80の1つの頂点になるように、ウィンドウ形成範囲を決定してもよい。なお、ウィンドウ80の形成範囲を入力面34の座標系上で求め、求められた範囲を表示面32の座標系へ対応付けてもよい。
図16および図17の例によれば、ウィンドウ開操作の実行位置にウィンドウ80が形成可能される。また、図16および図17の例では、ウィンドウ開操作自体が、形成されるウィンドウ80を想像した自然な動作である。このため、ウィンドウ80の形成を直感的に行うことができ、高い操作性を実現できる。
また、ウィンドウ開操作の実行位置にウィンドウ80が形成されるので、視点を大きく動かすことなくウィンドウ80内の情報を見ることができる。このため、ユーザの認知負荷が小さくて済む。
なお、ウィンドウ開操作は図16および図17の例に限定されるものではない。各種のユーザ操作またはその組み合わせを、ウィンドウ開操作として予め割り当てることが可能である。
図16および図17では、図面の煩雑化を避けるために、ウィンドウ80を単なる太枠で描いている。しかし、ウィンドウ80のデザインはこれに限定されるものではない。例えば、図18に例示する影付き修飾、図19に例示する窪み修飾を採用してもよい。影付き修飾によれば、ウィンドウ部分が周囲よりも上方に位置する印象を与えることができる。逆に、窪み修飾によれば、ウィンドウ部分が周囲よりも下方に位置する印象を与えることができる。また、ウィンドウ80は四角形に限定されるものではない。例えば、図20に示すように円形であってもよい。また、サーチライトを模した形状を採用してもよい。
ウィンドウ80に関する修飾の設定(修飾の有無、修飾の種類、修飾の度合い、等)は、1種類に固定されていてもよいし、あるいは、ウィンドウ80に表示する情報に応じて選定されてもよいし、あるいは、ユーザが設定および変更できるようにしてもよい。ウィンドウ80の形状についても同様である。
ウィンドウ開操作に応じて設定されたウィンドウ80の形成範囲は、上記のように、ウィンドウ管理部56で管理される。より具体的には、図14の例において、全体制御部42がウィンドウ開操作の入力を検出すると、全体制御部42はウィンドウ開操作に応じてウィンドウ80の形成範囲および表示属性を含むウィンドウ管理情報を決定し、その決定した情報をウィンドウ管理部56に記録する。ここでは、ウィンドウ80の表示属性については、その時点で有効な設定値(例えば、初期設定値)を適用するものとする。なお、全体制御部42はウィンドウ80の形成範囲のみをウィンドウ管理部56に記録し、それに応じてウィンドウ管理部56が表示属性を付加するようにしてもよい。
そして、ウィンドウ管理部56が、自身に格納されているウィンドウ管理情報に基づいて、画像合成部52における第1画像と第2画像との合成を制御する。その制御例を図21および図22を参照して説明する。なお、図21および図22の例では、下レイヤが第1画像であり、上レイヤが第2画像であるものとする。
図21の例では、ウィンドウ管理部56の制御下、画像合成部52は、第2画像保持部50に格納されている第2画像のうちでウィンドウ80の形成範囲に対応する部分を除いて、読み出す。一方、画像合成部52は、第1画像保持部46に格納されている第1画像を、ウィンドウ80の形成範囲に対応する部分も含めて、読み出す。そして、画像合成部52は、読み出した第1画像および第2画像を下レイヤおよび上レイヤにそれぞれ設定し、両画像を合成する。
これにより、表示面32において、ウィンドウ80の内側の領域であるウィンドウ内側領域82には下レイヤの第1画像が表示され、ウィンドウ80の外側の領域であるウィンドウ外側領域84には上レイヤの第2画像が表示される。ここでは、上レイヤの透明度は、0%に設定されているものとする。
あるいは、図21の例において、画像合成部52は、上レイヤを構成する第2画像を、ウィンドウ80の形成範囲に対応する部分も含めて、読み出してもよい。この場合、画像合成部52は、ウィンドウ管理部56の制御下、読み出した第2画像のうちでウィンドウ80の形成範囲に対応する部分の透明度を100%に設定して、第1画像と合成する。
図22の例では、ウィンドウ管理部56の制御下、画像合成部52は、第2画像保持部50に格納されている第2画像のうちでウィンドウ80の形成範囲に対応する部分を、読み出す。一方、画像合成部52は、第1画像保持部46に格納されている第1画像を、ウィンドウ80の形成範囲に対応する部分も含めて、読み出す。そして、画像合成部52は、読み出した第1画像および第2画像を下レイヤおよび上レイヤにそれぞれ設定し、両画像を合成する。
これにより、表示面32において、ウィンドウ内側領域82に上レイヤの第2画像が表示され、ウィンドウ外側領域84に下レイヤの第1画像が表示される。ここでは、上レイヤの透明度は、0%に設定されているものとする。
あるいは、図22の例において、画像合成部52は、上レイヤを構成する第2画像を、ウィンドウ80の形成範囲に対応する部分以外も含めて、読み出してもよい。この場合、画像合成部52は、ウィンドウ管理部56の制御下、読み出した第2画像のうちでウィンドウ80の形成範囲に対応する部分を除いて、透明度を100%に設定して、第1画像と合成する。
なお、画像合成部52は必要に応じて、ウィンドウ管理部56の制御下、例えば上レイヤと下レイヤの合成後に、ウィンドウ80の修飾を行う。
なお、図21および図22では、ウィンドウ外側領域84に地図(より具体的には、ナビゲーション時の地図)が表示される例を挙げた。また、図16および図17では、ウィンドウ80の形成前後で、ウィンドウ外側領域の表示は変化しない例を挙げた。但し、これらの例に限定されるものではない。また、ウィンドウ内側領域82内の表示は、ウィンドウ外側領域84の表示情報と関連していてもよいし、あるいは、関連してなくてもよい。また、ウィンドウ内側領域82は、特定の情報が表示されない状態(例えば、領域全体が白表示の状態)であってもよい。
<ウィンドウ形成後の処理>
図23に、ウィンドウ形成後の処理フローS30を例示する。図23の例において、ステップS31,S32は、図15のステップS11,S12と同様である。すなわち、ステップS31において入力部14がユーザ操作を受け付け、ステップS32において制御部16が、入力されたユーザ操作を識別する。
そして、ステップS33において、制御部16は、ステップS31で受け付けたユーザ操作が、ウィンドウ外側領域84と、ウィンドウ内側領域82と、ウィンドウ80自体と、のうちのいずれを対象にしたものかを識別する。その際、ウィンドウ管理部56(図14参照)による管理情報を参照することによって、ユーザ操作の入力位置がウィンドウ80に関係するか否かを識別可能である。
<ウィンドウ内外に対するユーザ操作>
ステップS33においてユーザ操作がウィンドウ外側領域84に対して行われたと識別した場合、ステップS34において制御部16は、ユーザ操作がウィンドウ外側領域84で行われたという識別結果と、入力されたユーザ操作の種類と、の両方に関連付けられている機能を実行する。
一方、ステップS33においてユーザ操作がウィンドウ内側領域82に対して行われたと識別した場合、ステップS35において制御部16は、ユーザ操作がウィンドウ内側領域82で行われたという識別結果と、入力されたユーザ操作の種類と、の両方に関連付けられている機能を実行する。
ステップS34,S35の実行後、情報表示装置10の処理は上記ステップS31に戻る。
特に、上記のように、特別操作モード下では、ウィンドウ外側領域84と、ウィンドウ内側領域82とで、ユーザ操作に関連付けられている機能の割り当てが異なる。ここで、図24に機能の割り当ての第1例を例示する。図24は例えば、ウィンドウ外側領域84に地図が表示されており、その地図のスクロール(換言すれば、スライド)および拡大/縮小を指示するという使用状況を想定している。
図24の例(i)によれば、ウィンドウ外側領域84にはスクロール機能が割り当てられており、ウィンドウ内側領域82には拡大/縮小機能が割り当てられている。したがって、ウィンドウ外側領域84に割り当てられている機能の種類は、ウィンドウ内側領域82に割り当てられている機能の種類と異なる。
具体的には、例(i)では、スクロール機能は、ウィンドウ外側領域84ではドラッグと関連付けられており、ウィンドウ内側領域82ではいずれのユーザ操作にも関連付けられていない。したがって、ウィンドウ外側領域84でドラッグを行うと、当該ウィンドウ外側領域84に表示されている地図が、ドラッグ方向およびドラッグ量に応じてスクロールする。これに対し、ウィンドウ内側領域82からスクロール機能を実行することはできない。
また、例(i)では、拡大/縮小機能は、ウィンドウ外側領域84ではいずれのユーザ操作にも関連付けられておらず、ウィンドウ内側領域82ではピンチ操作が割り当てられている。したがって、ウィンドウ内側領域82でピンチアウトを行うと、ウィンドウ外側領域84に表示されている地図が、ピンチアウト量に応じて拡大される。逆に、ウィンドウ内側領域82でピンチインを行うと、ウィンドウ外側領域84に表示されている地図が、ピンチイン量に応じて縮小される。これに対し、ウィンドウ外側領域84から拡大/縮小機能を実行することはできない。
図24の例(ii)によれば、ウィンドウ外側領域84にはスクロール機能と拡大/縮小機能とが割り当てられており、ウィンドウ内側領域82にはスクロール機能が割り当てられている。したがって、ウィンドウ外側領域84に割り当てられている機能の種類は、ウィンドウ内側領域82に割り当てられている機能の種類と異なる。
具体的には、例(ii)では、スクロール機能は、ウィンドウ外側領域84ではドラッグと関連付けられており、ウィンドウ内側領域82では当該領域82のタッチに関連付けられている。なお、ウィンドウ内側領域82をタッチすると、予め設定された方向(例えば、直近のスクロール方向)に、地図がスクロールする。また、例(ii)では、拡大/縮小機能は、ウィンドウ外側領域84ではピンチ操作に関連付けられており、ウィンドウ内側領域82ではいずれのユーザ操作にも関連付けられていない。
図24の例(iii)によれば、ウィンドウ外側領域84にはスクロール機能と拡大/縮小機能とが割り当てられており、ウィンドウ内側領域82には、スクロール量のより大きなスクロール機能が割り当てられている。したがって、ウィンドウ外側領域84に割り当てられている機能の種類は、ウィンドウ内側領域82に割り当てられている機能の種類と異なる。
具体的には、例(iii)では、ウィンドウ外側領域84から指示するスクロール機能はドラッグと関連付けられており、ウィンドウ内側領域82から指示するスクロール機能もドラッグと関連付けられている。しかし、ウィンドウ内側領域82のスクロール機能の方が、ドラッグ量に対するスクロール量の比率が大きく設定されている。すなわち、同じドラッグ量であれば、ウィンドウ内側領域82でドラッグをした方が、大きな(換言すれば、長い)スクロールを実行できる。このように、例(iii)では、入力操作量(ここではドラッグ量)に対する制御量(ここではスクロール量)の比率の設定が異なれば、機能は異なるものとしている。
また、例(iii)では、拡大/縮小機能は、ウィンドウ外側領域84ではピンチ操作に関連付けられており、ウィンドウ内側領域82ではいずれのユーザ操作にも関連付けられていない。
ここで、例(iii)では、ドラッグという同じ操作に対して、ウィンドウ内側領域82とウィンドウ外側領域84とで異なる機能が割り当てられている。例えば、ユーザがドラッグを好む場合、ドラッグで複数の機能を指示できるので、ユーザにとって便利である。
なお、例えばユーザがフリックを好む場合、次のような例が挙げられる。すなわち、ウィンドウ外側領域84でのフリックを、ウィンドウ外側領域84の表示情報のスクロール機能に割り当てる。これに対し、ウィンドウ内側領域82でのフリックを、ウィンドウ外側領域84の表示情報においてフォーカスする項目を変更する機能に割り当てる(例えば、フリックを行うごとに、地図上に表示されている複数のコンビニエンスストアが次々にフォーカスされる)。
図24の例(iv)によれば、ウィンドウ外側領域84にはスクロール機能と拡大/縮小機能とが割り当てられており、ウィンドウ内側領域82にはスクロール機能が割り当てられている。したがって、ウィンドウ外側領域84に割り当てられている機能の種類は、ウィンドウ内側領域82に割り当てられている機能の種類と異なる。
具体的には、例(iv)では、ウィンドウ外側領域84から指示するスクロール機能および拡大/縮小機能は、ドラッグ操作とピンチ操作にそれぞれ関連付けられている。これに対し、ウィンドウ内側領域82では、スクロール機能が、機能アイコンに対する操作(ここではタッチを例示する)と関連付けられている。
この場合、ウィンドウ形成ステップS15(図15参照)において、制御部16(図1参照)は、スクロール操作用の機能アイコン(スクロールアイコンと称することにする)を、ウィンドウ80内に表示する。
図25に、スクロールアイコン110を例示する。なお、図25の例ではウィンドウ80の全体にスクロールアイコン110が表示されているが、この例に限定されるものではない。このスクロールアイコン110は、45°刻みの8つのスクロール方向にそれぞれ割り当てられた8つの操作部110a〜110hを有している。図25の例では、各操作部110a〜110hが、縦長三角形の頂点をスクロール方向に向けたデザインで描かれている。なお、操作部の数(すなわち、スクロール方向の数)、スクロールアイコンのデザイン、等はこの例に限定されるものではない。
このため、ウィンドウ内側領域82では、スクロールアイコン110の操作部110a〜110hのうちでスクロールさせたい方向の操作部をタッチすると、そのタッチにより指定された方向に応じて、地図がスクロールする。また、タッチしている時間に応じて、スクロールが持続する。
なお、スクロールアイコン110は、ウィンドウ形成ステップS15(図15参照)において、ウィンドウ80に表示される。かかるアイコン表示は、全体制御部42(図14参照)の制御下、ウィンドウ管理部56(図14参照)によって管理される。例えば、ウィンドウ管理部56は、第2画像形成部48に対して、記憶部18からスクロールアイコン110の画像データを読み出すこと、表示面の大きさ等に応じた大きさでスクロールアイコン110の画像を形成すること、形成したスクロールアイコン画像を表示位置に応じて透明プレーン上に描画して第2画像保持部50に格納すること、を指示する。また、スクロールアイコン110の消去に関して、ウィンドウ管理部56は、例えば、第2画像形成部48に対して、スクロールアイコン画像を有さない画像を第2画像保持部50に格納させる。また、ウィンドウ管理部56は、画像合成部52に対して、画像保持部46,50内の画像の合成を指示する。
図24に戻り、例(v)によれば、ウィンドウ外側領域84にはスクロール機能が割り当てられており、ウィンドウ内側領域82にはスクロール機能と拡大/縮小機能とが割り当てられている。したがって、ウィンドウ外側領域84に割り当てられている機能の種類は、ウィンドウ内側領域82に割り当てられている機能の種類と異なる。
具体的には、例(v)では、ウィンドウ外側領域84から指示するスクロール機能は、ドラッグに関連付けられている。また、ウィンドウ内側領域82から指示するスクロール機能は、スクロールアイコン110のタッチに関連付けられている。また、ウィンドウ内側領域82では、拡大/縮小機能が、機能アイコンに対する操作(ここではタッチを例示する)と関連付けられている。
この場合、ウィンドウ形成ステップS15(図15参照)において、制御部16(図1参照)は、拡大/縮小操作用の機能アイコン(「拡大/縮小アイコン」または「表示サイズ変更アイコン」と称することにする)を、ウィンドウ80内に表示する。図26に、拡大/縮小アイコン112を例示する。なお、図25の例ではウィンドウ80の全体に拡大/縮小アイコン111が表示されているが、この例に限定されるものではない。この拡大/縮小アイコン112は、拡大操作用の操作部112aと、縮小操作用の操作部112bとを有している。拡大/縮小アイコン112は、スクロールアイコン110(図25参照)と同様にして、表示可能である。なお、拡大/縮小アイコンのデザイン、等はこの例に限定されるものではない。
したがって、例(v)によれば、ウィンドウ内側領域82では、拡大操作部80aまたは縮小操作部80bをタッチすると、そのタッチにより地図が拡大または縮小される。また、タッチしている時間に応じて、拡大および縮小が持続する。
なお、図27に、図25のスクロールアイコン110と、図26の拡大/縮小アイコン112とを組み合わせたアイコン114を例示する。ウィンドウ形成ステップS15(図15参照)において、この組み合わせアイコン114を表示してもよい。
図24の例(vi)によれば、ウィンドウ外側領域84にはスクロール機能と拡大/縮小機能とが割り当てられており、ウィンドウ内側領域82にはスクロール機能が割り当てられている。したがって、ウィンドウ外側領域84に割り当てられている機能の種類は、ウィンドウ内側領域82に割り当てられている機能の種類と異なる。
具体的には、例(vi)では、ウィンドウ外側領域84から指示するスクロール機能および拡大/縮小機能は、スクロールアイコン110および拡大/縮小アイコン112のタッチにそれぞれ関連付けられている。また、ウィンドウ内側領域82から指示するスクロール機能は、ドラッグに関連付けられている。
図24の例(vii)によれば、ウィンドウ外側領域84にはスクロール機能と拡大/縮小機能とが割り当てられており、ウィンドウ内側領域82には高速スクロール機能が割り当てられている。したがって、ウィンドウ外側領域84に割り当てられている機能の種類は、ウィンドウ内側領域82に割り当てられている機能の種類と異なる。
具体的には、例(vii)では、ウィンドウ外側領域84から指示するスクロール機能および拡大/縮小機能は、スクロールアイコン110および拡大/縮小アイコン112のタッチにそれぞれ関連付けられている。また、ウィンドウ内側領域82から指示する高速スクロール機能は、スクロールアイコン110のタッチに関連付けられている。なお、通常スクロールアイコンと高速スクロールアイコンとでアイコンのデザインを異ならせてもよい。
ウィンドウ内側領域82の高速スクロール機能の方が、ウィンドウ外側領域84の通常スクロール機能に比べて、単位時間当たりのスクロール量が大きい。すなわち、同じタッチ時間であれば、ウィンドウ内側領域82でドラッグをした方が、大きな(換言すれば、長い)スクロールを実行できる。このように、例(vii)では、制御量(ここではスクロール速度)の設定が異なれば、機能は異なるものとしている。
ここで、上記例(iv)〜(vii)のように機能アイコンを利用すれば、効率的な機能指示を入力することができる。
また、上記例(iv),(v),(vii)のように、代表的な(換言すれば、よく使う)スクロール機能および拡大/縮小機能をアイコン操作に割り当て、且つ、そのアイコンをウィンドウ内側領域82に設けることは、さらに効率的である。特に、ウィンドウ80は位置および大きさをユーザが指定可能であるので、よく使うスクロール機能および拡大/縮小機能用のアイコンを、ユーザの好みの位置に好みの大きさで配置することができる。その結果、操作時間の短縮等によって、高い利便性を提供できる。なお、スクロール機能および拡大/縮小機能は地図操作以外でもよく使うので、これらの機能アイコンをウィンドウ内側領域82に配置することは、汎用性が高い。
図28に、機能の割り当ての第2例を示す。図28は例えば、ウィンドウ外側領域84に地図が表示されており、その地図を見ながら目的地を決定するという使用状況を想定している。
図28の例によれば、ウィンドウ外側領域84にはスクロール機能と目的地決定機能とが割り当てられており、ウィンドウ内側領域82には拡大/縮小機能が割り当てられている。したがって、ウィンドウ外側領域84に割り当てられている機能の種類は、ウィンドウ内側領域82に割り当てられている機能の種類と異なる。
具体的には、スクロール機能は、ウィンドウ外側領域84におけるドラッグと関連付けられている。目的地決定機能は、ウィンドウ外側領域84に表示されている地図上で、目的に決定したい地点をタッチする操作に関連付けられている。拡大/縮小機能は、ウィンドウ内側領域82におけるピンチ操作に関連付けられている。
図29に、機能割り当ての第3例を示す。図29は例えば、検索キーワード(目的地の名称等)を文字入力するという使用状況を想定している。図29の例によれば、ウィンドウ内側領域82に対して手書き文字認識による文字入力機能が割り当てられ、ウィンドウ外側領域84に対してソフトウェアキーボードによる文字入力機能が割り当てられている。これによれば、ユーザは、例えば好みのやり方で、文字入力を行うことができる。
なお、ソフトウェアキーボードのデザインは、図示の例に限定されるものではない。また、ソフトウェアキーボードおよびウィンドウ80の背景に地図が表示されていても構わない。
また、図29では、ソフトウェアキーボードと手書き入力用のウィンドウ80との両方が表示されているが、一方のみを選択的に表示させることも可能である。例えば、予め定められた操作で文字入力モードがオンになると、ソフトウェアキーボードのみを表示する。そして、ソフトウェアキーボードが表示された状態でウィンドウ開操作を行うと、手書き入力領域を提供するウィンドウ80を表示すると共に、ソフトウェアキーボードを消去する。また、ウィンドウ80の消去に伴って、ソフトウェアキーボードを再度表示する。これによれば、表示情報がソフトウェアキーボードとウィンドウ80の両方によって遮られるのを回避できる。また、比較的小さな面積で済むウィンドウ80を使って文字入力をすれば、表示情報を遮る割合を小さくできる。
図24、図28および図29によって例示したように、ウィンドウ内側領域82とウィンドウ外側領域84とで機能の割り当てを異ならせる。例えば、ウィンドウ外側領域84では効率的に行うことが難しいユーザ操作を、ウィンドウ内側領域82に割り当てることによって、ユーザ操作による機能指示を効率的に行うことができる。図24の例(i)等を参照。
また、例えば、ウィンドウ形成前の状態において同じユーザ操作に異なる機能を割り当てても、いずれの機能が指示されたのかを識別できないのに対し、ウィンドウ内側領域82とウィンドウ外側領域84という区別を設けることによって、それらの異なる機能を適切に指示できる。図24の例(iii)を参照。また、例えば、ウィンドウ外側領域84において指で文字を書いても、ドラッグに関連付けられたスクロール機能として扱われる。これに対し、ウィンドウ80を設け、ウィンドウ内側領域82に手書き文字認識による文字入力機能を割り当てれば、ドラッグは手書き入力として適切に受け付けられる。
また、図24、図28および図29の例を通して、情報表示装置10の様々な使用状況下における機能割り当てを例示した。すなわち、ウィンドウ内側領域82とウィンドウ外側領域84とに対する機能の割り当ては、情報表示装置10の使用状況に応じて変えることが可能である。このため、使用状態に応じて適切な機能を割り当てることにより、換言すればユーザにとっての分かりやすさ、操作の迅速性、等の観点から機能を割り当てることにより、ユーザの意図を実現するための操作時間を短くすることができる。その結果、高い利便性を提供できる。
なお、ユーザ操作は図24等の例に限定されるものではない。また、機能についても図24の例示以外にも、回転(図13参照)、センタリング、項目選択、項目決定、範囲指定、検索、絞り込み、等が例示される。また、ユーザ操作と機能とは種々に関連付け可能である。また、ユーザ操作の対象は、地図だけでなく、他の図形、写真、ファイル(例えば音楽ファイル)、文字列(例えば音楽ファイルのプレイリスト)、等であってもよい。
<ウィンドウに対する操作>
図23に戻り、上記ステップS33においてユーザ操作が、ウィンドウ80自体を制御するためのウィンドウ制御操作であると識別した場合、制御部16はステップS36において、入力されたウィンドウ制御操作に割り当てられている制御内容に応じて、ウィンドウ80を制御する。これによれば、以下に例示するように、ウィンドウ80の形成後にウィンドウ80の位置およびサイズを制御することができるし、ウィンドウ80を消去する制御をジェスチャ操作によって行うことができる。
<ウィンドウ移動操作>
ウィンドウ制御操作は例えば、ウィンドウ80を移動させる操作である。図30に、かかるウィンドウ移動操作の概念図を示す。図30の例によれば、ウィンドウ80の予め定められた部分(例えば、ウィンドウの枠部分)をタッチした状態でドラッグ操作を行うことにより、そのドラッグ方向にウィンドウ80が移動する。これによれば、ドラッグ操作は日常生活において机上で物を移動させる動作と類似性が高いので、ウィンドウ80の移動を直感的に行うことができる。このため、高い操作性を実現できる。
<ウィンドウサイズ変更操作>
また、ウィンドウ制御操作は例えば、ウィンドウ80のサイズを変更する操作である。図31〜図33に、かかるウィンドウサイズ変更操作の概念図を示す。図31〜図33の例によれば、ウィンドウ80の予め定められた部分(例えば、ウィンドウの枠部分)をタッチした状態で1点移動型のピンチ操作によって、ウィンドウ80のサイズが変更される。この際、ピンチアウトであればウィンドウ80は拡大され(図31〜図33参照)、ピンチインであればウィンドウ80は縮小される。すなわち、ピンチ方向に応じて、拡大か縮小かが指示される。
これによれば、ウィンドウサイズ変更操作は、ウィンドウ内外の表示情報に対する表示サイズ変更操作と類似性または連続性が高い。その結果、ユーザが操作に迷うのを防止し、操作時間を短縮できる。すなわち、このため、高い操作性を実現できる。
また、ピンチ方向によって、拡大方向および縮小方向、すなわち変形方向が指示される。具体的には、図31の例では、左方向にピンチアウトが行われ、ウィンドウ80が左方向に伸びる。また、図32の例では、下方向にピンチアウトが行われ、ウィンドウ80が下方向に伸びる。また、図33の例では、左斜め下方向にピンチアウトが行われ、ウィンドウ80は左方向および下方向に伸びる。これによれば、ウィンドウ80の変形方向を直感的かつ簡単に指示できる。
なお、図31および図32では、1点移動型のピンチ操作において移動させる指について、その始点がウィンドウ80の枠部分に在る場合を例示しているが、この例に限定されるものではない。すなわち、図33に示すように、ウィンドウ80の内側に、指移動の始点を置いてもよい。これは、1点移動型のピンチ操作において固定させる指がウィンドウ80の枠部分に在ることによって、ウィンドウサイズ変更操作を、ウィンドウ80内の表示情報に対する操作と識別可能であることに拠る。
<ウィンドウ消去操作>
ウィンドウ制御操作は例えば、ウィンドウ80を消去する操作、換言すればウィンドウ80の表示を終了する操作である。図34〜図36に、かかるウィンドウ消去操作の概念図を示す。
図34の例によれば、ウィンドウ80に対してフリック操作を行うことにより、ウィンドウ80が消去される。フリック操作は日常生活において机上の物をはじき飛ばして視界から消すという動作と類似性が高いので、ウィンドウ80の消去を直感的に行うことができる。このため、高い操作性を実現できる。
なお、フリック方向は図34の例に限定されるものではない。また、図34の例では、ウィンドウ80の予め定められた部分(例えば、ウィンドウの枠部分)をフリックの始点にしている。但し、ウィンドウ80内でのフリックが、ウィンドウ80内の第2表示情報の制御(スライド等)に割り当てられていなければ、ウィンドウ消去操作用のフリックの始点はウィンドウ80内に在ってもよい。
図35の例によれば、ウィンドウ80の外側からウィンドウ80内に進入し、進入側とは異なる側においてウィンドウ80の外側へ抜けるように、換言すればウィンドウ80を分断するようにドラッグ操作を行うことにより、ウィンドウ80が消去される。かかるドラッグ操作が、日常生活において書類上の不要箇所を斜線を引いて消すという動作と類似性が高いので、ウィンドウ80の消去を直感的に行うことができる。このため、高い操作性を実現できる。
なお、ドラッグ方向は図35の例に限定されるものではない。また、他のジェスチャ、具体的にはフリックを、図35の例のウィンドウ消去操作に採用してもよい。
図36の例によれば、ウィンドウ80を挟み込むようにドラッグ操作を行うことにより、ウィンドウ80が消去される。これによれば、かかるドラッグ操作は日常生活において部屋の窓を閉めて部屋の外の景色を視界から消すという動作と類似性が高いので、ウィンドウ80の消去を直感的に行うことができる。このため、高い操作性を実現できる。
なお、図36には、ウィンドウ80を挟み込むようにドラッグ操作として、2点移動型のピンチインを例示しているが、1点移動型のピンチインを採用してもよい。また、ピンチイン方向は図36の例に限定されるものではない。また、ドラッグの最後がフリックになっても構わない。
なお、図30〜図34では上レイヤがウィンドウ80外の第1表示情報に対応する場合を例示したが、第1表示情報が下レイヤに対応する場合(図22参照)にもウィンドウ制御操作を適用可能である。
図23に戻り、ステップS36の実行後、制御部16はステップS37において、ステップS36がウィンドウ80の消去制御であったか否かを判断する。ステップS36がウィンドウ80の消去制御ではなかった場合、情報表示装置10の処理は上記ステップS31に戻る。他方、ステップS36がウィンドウ80の消去制御であった場合、情報表示装置10は、図23の処理フローS30を終了し、図15の上記処理フローS10へ戻る。なお、処理フローS30の終了により、制御部16は特別操作モードをオフにする。
<ウィンドウの自動消去>
図37に、ウィンドウ80の自動消去に関する処理フローS50を例示する。図37の例によれば、ステップS51において、制御部16は、ウィンドウ内側領域82に対してユーザ操作が入力されない状態が、予め定められた操作待ち時間、続いたか否かを判断する。そのような無操作状態が続いたと判断した場合、制御部16はステップS52において、ウィンドウ80を表示面から消去する。ステップS52の後、情報表示装置10の処理は、ウィンドウ80が形成されるまでの上記処理フローS10(図15参照)に戻る。なお、処理フローS50の終了により、制御部16は特別操作モードをオフにする。
当該処理フローS50は、ウィンドウ80を表示中の処理フローS30と並列的に実行される。具体的には、上記操作待ち時間が経過するまでステップS51が繰り返され、操作待ち時間の到来によってステップS52が割り込み処理として実行される。
処理フローS50によれば、ユーザはウィンドウ消去操作を行う必要がない。このため、例えば、ウィンドウ消去操作を行うために、ウィンドウ外側領域84に対する操作を中断しなくても済む。
<ウィンドウの形成の他の例>
以下では、制御部16が、ウィンドウ開操作によって指定された範囲を、予め定められた変換規則に従って変換し、変換後の範囲にウィンドウを形成する例を説明する。
例えば、図38に例示するように、第1表示情報が鳥瞰図によって表示されている場合、ウィンドウ80の形状も、その鳥瞰図の俯角に応じて設定してもよい。さらに、ウィンドウ80内の第2表示情報も、同じ俯角の鳥瞰表現によって表示してもよい。これによれば、同じ表現形式の採用により、第1表示情報と第2表示情報との連続性が高まり、ユーザの認知負荷を軽減できる。
鳥瞰表現の手法は種々知られており、ここではそのような既知の手法を用いるものとする。例えば、上面図または正面図として描画された画像を鳥瞰表現に変換する手法が採用される。鳥瞰表現の画像の生成は全体制御部42が行ってもよいし、あるいは、第1画像形成部44および第2画像形成部48が行ってもよい。なお、鳥瞰表現は、図形だけでなく、文字等にも適用可能である。
より具体的には、図39および図40に例示するように、原画像に対して鳥瞰表現における視点を設定し、あたかも原画像の縦方向に走る平行線を当該視点において束ねように、原画像を変形させる。なお、図39および図40には、鳥瞰変換の様子を分かりやすくするため、便宜的に、様々な位置にウィンドウ80を設けている。また、図39と図40とは視点の位置が異なり、図40中の破線の四角形は図39中のウィンドウ80に対応する。
このように、ユーザがウィンドウ開操作によって指定した長方形の範囲(図16および図17参照)は、制御部16がそれを鳥瞰表現に変換することによって、略台形に変換される。これによれば、ユーザは、第1表示情報の鳥瞰表現を意識しながらウィンドウ80の形成範囲を指定する必要がない。すなわち、通常どおりの長方形の範囲を指定すれば、制御部16が自動的に鳥瞰表現に合わせたウィンドウ80を形成してくれる。
なお、台形状のウィンドウ80にデフォルメ表現を施してもよい。例えば図41の例では、台形状の横辺を湾曲させている。
図42に、ウィンドウ80の形状の更なる例を示す。概略的には、第1表示情報が地図によって視覚化されており、その地図中の区画等に合わせてウィンドウ80を形成する。この際、制御部16は、ウィンドウ開操作によって指定された範囲を次の第1規則および第2規則に従って変換し、変換後の範囲にウィンドウ80を形成する。
第1規則は、ウィンドウ開操作によって指定された範囲の周縁(図42ではドラッグ軌跡70)を、地図中の区画境界と、地図の表示領域(図42の例では表示面32の全体)の周縁とに、合わせて変形することを内容とする。
例えば、ユーザ指定範囲を、風船を膨らませるように拡張していき、当該ユーザ指定範囲の周縁を地図中の区画境界に一致させる。なお、区画境界は、道路、河川、行政区画、等である。なお、第1規則において地図中の区画境界の他に地図の表示領域の周縁を考慮するのは、ユーザ指定範囲の拡張の結果、ウィンドウ80が表示領域を超えてしまうのを防ぐためである。
第2規則は、第1規則に従って変換された上記ユーザ指定範囲は、ユーザが元々指定した範囲を、予め定められた割合以上含むことを内容とする。第2規則は、ウィンドウ80が、ユーザが指定した範囲よりも大きくなり過ぎるのを防ぐために、上限値を設定するものである。
図42の例ではウィンドウ80は、当初のユーザ指定範囲の全体を収容するように形成されている。これに対し、ウィンドウ80が部分的に、当初のユーザ指定範囲よりも後退する場合も生じうる。例えば、第2規則を満たす区画境界を見つけるために、候補として選出した区画境界よりも後退した位置の区画境界を、改めて選出し直す場合が生じうるからである。
上記の第1規則および第2規則の採用により、ユーザは複雑な区画境界をトラッキングする必要がない。すなわち、通常どおりの長方形の範囲を指定すれば、制御部16が自動的に区画境界に合わせたウィンドウ80を形成してくれる。また、近接した区画を複数、結合した大きな区画を容易に指定できる。
<効果>
情報表示装置10によれば、上記のように、ウィンドウ内側領域82に対するユーザ操作と、ウィンドウ外側領域84に対するユーザ操作とで、実行される機能の割り当てを異ならせる。したがって、高い操作性、換言すれば高い利便性を提供できる。また、その他にも上記の各種効果が得られる。
<変形例>
上記ではウィンドウ80が1つの場合を例示したが、表示面32に複数のウィンドウ80を同時に存在させてもよい。
また、ウィンドウ内側領域82においてウィンドウ開操作を行うことによって、現存のウィンドウ80内に、更なるウィンドウ80を形成してもよい(ウィンドウの多重化)。この場合、更なるウィンドウ80の内側の領域を新たなウィンドウ内側領域82として把握し、更なるウィンドウ80の外側かつ現存のウィンドウ80の内側の領域を新たなウィンドウ外側領域84として把握することによって、既述の説明の全てが、ウィンドウの多重化にも当てはまる。
また、上記では入力部14として接触型のタッチパネルを例示した。これに対し、非接触型(3次元(3D)型とも称される)タッチパネルを入力部14に採用することも可能である。
非接触型によれば、センサ群の検出可能領域(換言すれば、ユーザ入力を受け付け可能な入力領域)が入力面上に3次元空間として提供され、その3次元空間内の指を入力面上に投影した位置が検出される。また、非接触型の中には入力面から指までの距離を検出可能な方式もある。その方式によれば、指位置を3次元位置として検出可能であるし、更には指の接近および後退も検出可能である。非接触型タッチパネルとして種々の方式が開発されているが、例えば、静電容量方式の一つである投影容量方式が知られている。
なお、上記ではユーザが入力に用いる指示物として指を例示したが、例えば指以外の部位を指示物として利用することも可能である。また、例えばタッチペン(スタイラスペンとも称される)等の道具を指示物として利用してもよい。
また、入力部14に、いわゆるモーションセンシング技術を利用してもよい。モーションセンシング技術として種々の方式が開発されている。例えば、加速度センサ等を搭載したコントローラをユーザが把持または装着することによって、ユーザの動きを検出する方式が知られている。また、例えば、カメラの撮像画像から指等の特徴点を抽出し、その抽出結果からユーザの動きを検出する方式が知られている。モーションセンシング技術を利用した入力部14によっても、直感的な操作環境が提供される。
また、上記では入力兼表示部20を例示したが、表示部12と入力部14とが別々に配置されても構わない。この場合でも、入力部14がタッチパネル等で構成されることによって、直感的な操作環境が提供される。
また、本発明は、その発明の範囲内において、実施の形態を適宜、変形、省略することが可能である。
10 情報表示装置、12 表示部、14 入力部、16 制御部、18 記憶部、20 入力兼表示部、32 表示面、34 入力面(入力領域)、80 ウィンドウ、82 ウィンドウ内側領域、84 ウィンドウ外側領域、110 スクロールアイコン、112 拡大/縮小アイコン、114 スクロールアイコンと拡大/縮小アイコンとを組み合わせたアイコン、S10,S30,S50 処理フロー。

Claims (20)

  1. 表示面を有する表示部と、
    ユーザ操作を受け付ける入力部と、
    前記表示面にウィンドウを形成することを指示すると共に前記ウィンドウの形成範囲を指定するウィンドウ開操作として、2点タッチと、囲みジェスチャを含む動作と、のうちの少なくとも一方が割り当てられている場合に、前記2点タッチの座標または前記囲みジェスチャの軌跡の座標を用いて、前記ウィンドウの形状と縦方向長さと横方向長さと位置とを定めて前記ウィンドウを形成し、前記ウィンドウの内側の領域であるウィンドウ内側領域に対する前記ユーザ操作と、前記ウィンドウの外側の領域であるウィンドウ外側領域に対する前記ユーザ操作とで、実行される機能の割り当てを異ならせる、制御部と
    を備え
    前記制御部は、前記表示面に表示されている鳥瞰図に対して前記ウィンドウ開操作が行われた場合、前記ウィンドウの形状を前記鳥瞰図の俯角に応じて設定する、情報表示装置。
  2. 前記制御部は、前記ウィンドウの形状を横辺が湾曲した形状に設定する、請求項1に記載の情報表示装置。
  3. 表示面を有する表示部と、
    ユーザ操作を受け付ける入力部と、
    前記表示面にウィンドウを形成することを指示すると共に前記ウィンドウの形成範囲を指定するウィンドウ開操作として、2点タッチと、囲みジェスチャを含む動作と、のうちの少なくとも一方が割り当てられている場合に、前記2点タッチの座標または前記囲みジェスチャの軌跡の座標を用いて、前記ウィンドウの形状と縦方向長さと横方向長さと位置とを定めて前記ウィンドウを形成し、前記ウィンドウの内側の領域であるウィンドウ内側領域に対する前記ユーザ操作と、前記ウィンドウの外側の領域であるウィンドウ外側領域に対する前記ユーザ操作とで、実行される機能の割り当てを異ならせる、制御部と
    を備え、
    前記制御部は、前記表示面に表示されている地図に対して前記ウィンドウ開操作が行われた場合、前記ウィンドウ開操作によって指定された前記形成範囲を、予め定められた変換規則に従って変換し、変換後の範囲に前記ウィンドウを形成し、
    前記予め定められた変換規則は、
    前記ウィンドウ開操作によって指定された前記形成範囲の周縁を、前記地図中の区画境界および前記地図の表示領域の周縁に合わせて変形するという第1規則と、
    前記変換後の範囲は、前記ウィンドウ開操作によって指定された前記形成範囲を、予め定められた割合以上含むという第2規則と
    を含む、情報表示装置。
  4. 前記ウィンドウ内側領域に対して行われる第1の入力動作に割り当てられた第1の機能と、前記ウィンドウ外側領域に対して行われる第2の入力動作に割り当てられた第2の機能とについて、前記第1の入力動作と前記第2の入力動作とは同じ動作であるが、前記第1の機能と前記第2の機能とは異なる、請求項1から請求項3までのうちのいずれか1項に記載の情報表示装置。
  5. 前記ウィンドウ内側領域に対して行われる第1の入力動作に割り当てられた第1の機能と、前記ウィンドウ外側領域に対して行われる第2の入力動作に割り当てられた第2の機能とについて、前記第1の入力動作と前記第2の入力動作とは同じ動作であり、前記第1の機能と前記第2の機能とは同じ種類の表示情報制御機能であるが制御量が異なる、請求項1から請求項3までのうちのいずれか1項に記載の情報表示装置。
  6. 前記制御部は、前記機能の割り当てを前記情報表示装置のアプリケーションの表示状態に応じて変える、請求項1から請求項3までのうちのいずれか1項に記載の情報表示装置。
  7. 前記制御部は、前記ウィンドウ内側領域と前記ウィンドウ外側領域とのいずれか一方に対して、タッチ操作によって動作する機能アイコンを利用した前記ユーザ操作を割り当てる、請求項1から請求項3までのうちのいずれか1項に記載の情報表示装置。
  8. 前記機能アイコンは前記ウィンドウ内側領域で利用され、前記機能アイコンはスクロール機能または表示サイズ変更機能に関連付けられている、請求項に記載の情報表示装置。
  9. 前記制御部は、前記ウィンドウ内側領域に対して手書き文字認識による文字入力機能を割り当て、前記ウィンドウ外側領域に対してソフトウェアキーボードによる文字入力機能を割り当てる、請求項1から請求項3までのうちのいずれか1項に記載の情報表示装置。
  10. 前記制御部は、前記ユーザ操作が前記ウィンドウを制御するための操作である場合、前記ユーザ操作に割り当てられている制御内容に応じて前記ウィンドウを制御する、請求項1から請求項3までのうちのいずれか1項に記載の情報表示装置。
  11. 前記制御部は、前記ユーザ操作が、前記ウィンドウの予め定められた部分をタッチした状態で行う1点移動型のピンチ操作である場合、ピンチ方向に応じて前記ウィンドウを拡大または縮小する、請求項10に記載の情報表示装置。
  12. 前記制御部は、前記ユーザ操作が前記ウィンドウに対するフリック操作である場合、前記ウィンドウを消去する、請求項10に記載の情報表示装置。
  13. 前記制御部は、前記ユーザ操作として、前記ウィンドウの外側から前記ウィンドウ内に進入し、進入側とは異なる側において前記ウィンドウの外側へ抜けるジェスチャ操作が行われた場合、前記ウィンドウを消去する、請求項10に記載の情報表示装置。
  14. 前記制御部は、前記ユーザ操作として、前記ウィンドウを挟み込むジェスチャ操作が行われた場合、前記ウィンドウを消去する、請求項10に記載の情報表示装置。
  15. 前記制御部は、前記ウィンドウに表示する情報に応じて、前記ウィンドウに関する修飾を選定する、請求項1から請求項3までのうちのいずれか1項に記載の情報表示装置。
  16. 前記制御部は、前記ユーザ操作として前記ウィンドウ外側領域に表示されている地図をスクロールさせる操作が行われた場合、前記地図をスクロールさせるが、前記表示面における前記ウィンドウの位置は変更しない、請求項1から請求項3までのうちのいずれか1項に記載の情報表示装置。
  17. 前記制御部は、前記表示面に表示する画像のデータを複数のレイヤの画像のデータを合成することによって生成し、前記ウィンドウ内側領域に表示する画像のレイヤよりも上のレイヤにおいて前記ウィンドウ内側領域を透明にする、請求項1から請求項3までのうちのいずれか1項に記載の情報表示装置。
  18. (a)ユーザ操作を受け付けるステップと、
    (b)前記ユーザ操作を識別するステップと、
    (c)表示面にウィンドウを形成することを指示すると共に前記ウィンドウの形成範囲を指定するウィンドウ開操作として、2点タッチと、囲みジェスチャを含む動作と、のうちの少なくとも一方が割り当てられている場合に、前記2点タッチの座標または前記囲みジェスチャの軌跡の座標を用いて、前記ウィンドウの形状と縦方向長さと横方向長さと位置とを定めて前記ウィンドウを形成するステップと、
    (d)前記ウィンドウの外側の領域であるウィンドウ外側領域と、前記ウィンドウの内側の領域であるウィンドウ内側領域とで、前記ユーザ操作によって実行される機能の割り当てを異ならせる設定の下で、前記ユーザ操作に応じた機能を実行するステップと
    を備え、
    前記ステップ(c)では、前記表示面に表示されている鳥瞰図に対して前記ウィンドウ開操作が行われた場合、前記ウィンドウの形状を前記鳥瞰図の俯角に応じて設定する、情報表示装置における操作制御方法
  19. (a)ユーザ操作を受け付けるステップと、
    (b)前記ユーザ操作を識別するステップと、
    (c)表示面にウィンドウを形成することを指示すると共に前記ウィンドウの形成範囲を指定するウィンドウ開操作として、2点タッチと、囲みジェスチャを含む動作と、のうちの少なくとも一方が割り当てられている場合に、前記2点タッチの座標または前記囲みジェスチャの軌跡の座標を用いて、前記ウィンドウの形状と縦方向長さと横方向長さと位置とを定めて前記ウィンドウを形成するステップと、
    (d)前記ウィンドウの外側の領域であるウィンドウ外側領域と、前記ウィンドウの内側の領域であるウィンドウ内側領域とで、前記ユーザ操作によって実行される機能の割り当てを異ならせる設定の下で、前記ユーザ操作に応じた機能を実行するステップと
    を備え
    前記ステップ(c)では、前記表示面に表示されている地図に対して前記ウィンドウ開操作が行われた場合、前記ウィンドウ開操作によって指定された前記形成範囲を、予め定められた変換規則に従って変換し、変換後の範囲に前記ウィンドウを形成し、
    前記予め定められた変換規則は、
    前記ウィンドウ開操作によって指定された前記形成範囲の周縁を、前記地図中の区画境界および前記地図の表示領域の周縁に合わせて変形するという第1規則と、
    前記変換後の範囲は、前記ウィンドウ開操作によって指定された前記形成範囲を、予め定められた割合以上含むという第2規則と
    を含む、情報表示装置における操作制御方法。
  20. 前記機能の割り当てを異ならせる設定は、前記ウィンドウ内側領域に対して行われる第1の入力動作に割り当てられた第1の機能と、前記ウィンドウ外側領域に対して行われる第2の入力動作に割り当てられた第2の機能とについて、前記第1の入力動作と前記第2の入力動作とは同じ動作であるが、前記第1の機能と前記第2の機能とは異なるという設定を含む、請求項18または請求項19に記載の情報表示装置における操作制御方法。
JP2014541844A 2012-10-16 2012-10-16 情報表示装置および情報表示装置における操作制御方法 Active JP5921703B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2012/076677 WO2014061095A1 (ja) 2012-10-16 2012-10-16 情報表示装置および情報表示装置における操作制御方法

Publications (2)

Publication Number Publication Date
JP5921703B2 true JP5921703B2 (ja) 2016-05-24
JPWO2014061095A1 JPWO2014061095A1 (ja) 2016-09-05

Family

ID=50487684

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014541844A Active JP5921703B2 (ja) 2012-10-16 2012-10-16 情報表示装置および情報表示装置における操作制御方法

Country Status (2)

Country Link
JP (1) JP5921703B2 (ja)
WO (1) WO2014061095A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016035706A (ja) * 2014-08-04 2016-03-17 パナソニックIpマネジメント株式会社 表示装置、表示制御方法、及び表示制御プログラム
JP2016035705A (ja) * 2014-08-04 2016-03-17 パナソニックIpマネジメント株式会社 表示装置、表示制御方法、及び表示制御プログラム
JP6191567B2 (ja) * 2014-09-19 2017-09-06 コニカミノルタ株式会社 操作画面表示装置、画像形成装置および表示プログラム
JP6959529B2 (ja) 2018-02-20 2021-11-02 富士通株式会社 入力情報管理プログラム、入力情報管理方法、および情報処理装置
CN113330409A (zh) * 2019-12-30 2021-08-31 华为技术有限公司 人机交互方法、装置和系统

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1195912A (ja) * 1997-09-22 1999-04-09 Sanyo Electric Co Ltd 座標入力装置、座標入力方法及び座標入力プログラムを記録したコンピュータ読み取り可能な記録媒体
JPH11119901A (ja) * 1997-10-16 1999-04-30 Seiko Denshi Kiki Kk 座標読取システム、その座標変換方法、インタフェース装置および入力方法
JPH11259237A (ja) * 1998-03-12 1999-09-24 Ricoh Co Ltd 画像表示装置
JP2002149338A (ja) * 2000-11-15 2002-05-24 Sony Corp 情報処理装置および情報処理方法、並びにプログラム格納媒体
JP2007011953A (ja) * 2005-07-04 2007-01-18 Genki Kk 情報処理装置、コマンド入力方法及びプログラム
JP2008012199A (ja) * 2006-07-10 2008-01-24 Aruze Corp ゲーム装置及びゲーム装置の画像表示制御方法
JP2009282939A (ja) * 2008-05-26 2009-12-03 Wacom Co Ltd グラフィックタブレットを関連ディスプレイにマッピングする装置、方法、およびコンピュータ可読媒体
JP2010134625A (ja) * 2008-12-03 2010-06-17 Sharp Corp 電子機器、表示制御方法、およびプログラム
WO2010092993A1 (ja) * 2009-02-13 2010-08-19 株式会社 東芝 情報処理装置
JP2011215792A (ja) * 2010-03-31 2011-10-27 Aisin Aw Co Ltd 表示装置、及び、プログラム
JP2011252970A (ja) * 2010-05-31 2011-12-15 Brother Ind Ltd 画像表示装置、画像表示方法、及び画像表示プログラム
WO2012086176A1 (ja) * 2010-12-24 2012-06-28 株式会社ソニー・コンピュータエンタテインメント タッチ入力処理装置、情報処理装置およびタッチ入力制御方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1195912A (ja) * 1997-09-22 1999-04-09 Sanyo Electric Co Ltd 座標入力装置、座標入力方法及び座標入力プログラムを記録したコンピュータ読み取り可能な記録媒体
JPH11119901A (ja) * 1997-10-16 1999-04-30 Seiko Denshi Kiki Kk 座標読取システム、その座標変換方法、インタフェース装置および入力方法
JPH11259237A (ja) * 1998-03-12 1999-09-24 Ricoh Co Ltd 画像表示装置
JP2002149338A (ja) * 2000-11-15 2002-05-24 Sony Corp 情報処理装置および情報処理方法、並びにプログラム格納媒体
JP2007011953A (ja) * 2005-07-04 2007-01-18 Genki Kk 情報処理装置、コマンド入力方法及びプログラム
JP2008012199A (ja) * 2006-07-10 2008-01-24 Aruze Corp ゲーム装置及びゲーム装置の画像表示制御方法
JP2009282939A (ja) * 2008-05-26 2009-12-03 Wacom Co Ltd グラフィックタブレットを関連ディスプレイにマッピングする装置、方法、およびコンピュータ可読媒体
JP2010134625A (ja) * 2008-12-03 2010-06-17 Sharp Corp 電子機器、表示制御方法、およびプログラム
WO2010092993A1 (ja) * 2009-02-13 2010-08-19 株式会社 東芝 情報処理装置
JP2011215792A (ja) * 2010-03-31 2011-10-27 Aisin Aw Co Ltd 表示装置、及び、プログラム
JP2011252970A (ja) * 2010-05-31 2011-12-15 Brother Ind Ltd 画像表示装置、画像表示方法、及び画像表示プログラム
WO2012086176A1 (ja) * 2010-12-24 2012-06-28 株式会社ソニー・コンピュータエンタテインメント タッチ入力処理装置、情報処理装置およびタッチ入力制御方法

Also Published As

Publication number Publication date
JPWO2014061095A1 (ja) 2016-09-05
WO2014061095A1 (ja) 2014-04-24

Similar Documents

Publication Publication Date Title
JP5738495B2 (ja) 情報表示装置および表示情報操作方法
JP5738494B2 (ja) 情報表示装置および表示情報操作方法
US20210141525A1 (en) Disambiguation of Multitouch Gesture Recognition for 3D Interaction
US11221698B2 (en) Systems and methods for interacting with multiple applications that are simultaneously displayed on an electronic device with a touch-sensitive display
CN106662964B (zh) 应用窗口的动态联合划分器
CN106537318B (zh) 应用窗口的辅助呈现
CN106537317B (zh) 应用窗口的自适应大小调整和定位
JP5184832B2 (ja) 情報処理装置及びその制御方法、コンピュータプログラム
JP5684291B2 (ja) オンおよびオフスクリーン・ジェスチャーの組み合わせ
US10318146B2 (en) Control area for a touch screen
JP5883400B2 (ja) オンスクリーン入力を作るためのオフスクリーン・ジェスチャー
US9405404B2 (en) Multi-touch marking menus and directional chording gestures
US9250729B2 (en) Method for manipulating a plurality of non-selected graphical user elements
KR101984683B1 (ko) 멀티 디스플레이 장치 및 그 제어 방법
US20100321319A1 (en) Method for displaying and updating a view of a graphical scene in response to commands via a touch-sensitive device
US20130093792A1 (en) Organizational Tools on a Multi-touch Display Device
JP6303772B2 (ja) 入力制御装置、制御方法および制御プログラム
KR20130099186A (ko) 표시 장치, 유저 인터페이스 방법, 및 프로그램
JP5921703B2 (ja) 情報表示装置および情報表示装置における操作制御方法
KR101586559B1 (ko) 정보 처리 장치 및 정보 처리 방법
AU2021202302A1 (en) Systems and methods for interacting with multiple applications that are simultaneously displayed on an electronic device with a touch-sensitive display
KR102103957B1 (ko) 플렉서블 디스플레이 장치의 표시 영역 제어 방법, 장치 및 이를 기록한 기록매체
JP6000367B2 (ja) 情報表示装置および情報表示方法
KR20140029096A (ko) 복수의 페이지 표시 방법 및 이를 위한 단말
US11221754B2 (en) Method for controlling a display device at the edge of an information element to be displayed

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160315

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160412

R150 Certificate of patent or registration of utility model

Ref document number: 5921703

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250