WO2013018480A1 - タッチ入力が可能な画面内に原画像を縮小表示するタッチパッドを有するユーザインタフェース装置、入力処理方法及びプログラム - Google Patents

タッチ入力が可能な画面内に原画像を縮小表示するタッチパッドを有するユーザインタフェース装置、入力処理方法及びプログラム Download PDF

Info

Publication number
WO2013018480A1
WO2013018480A1 PCT/JP2012/066736 JP2012066736W WO2013018480A1 WO 2013018480 A1 WO2013018480 A1 WO 2013018480A1 JP 2012066736 W JP2012066736 W JP 2012066736W WO 2013018480 A1 WO2013018480 A1 WO 2013018480A1
Authority
WO
WIPO (PCT)
Prior art keywords
screen
finger
user
pad
image
Prior art date
Application number
PCT/JP2012/066736
Other languages
English (en)
French (fr)
Inventor
松木　友明
Original Assignee
Kddi株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2011-166608 external-priority
Application filed by Kddi株式会社 filed Critical Kddi株式会社
Priority to US14/233,518 priority Critical patent/US9244544B2/en
Publication of WO2013018480A1 publication Critical patent/WO2013018480A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547—Touch pads, in which fingers can move on a surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04105—Pressure sensors for measuring the pressure or force exerted on the touch surface without providing the touch position

Abstract

画面上に画像を表示するとともに、その表示された画像に関連付けてユーザが指で操作面に接触することにより、ユーザの入力を可能とするユーザインタフェース装置においてユーザの入力を処理する方法であって、前記画面に原画像を表示する第１のステップと、その表示される原画像と同じものが忠実にまたは簡略化されて縮小された参照画像を、同じ画面内に、前記原画像が透けて見える半透明状態または見えない不透過状態で、前記原画像に対してオーバレイ表示することにより、画面内タッチパッドを意味するスクリーンパッドを構成する第２のステップと、ユーザが前記指で前記スクリーンパッドを操作すると、その操作位置を検出し、その検出された操作位置に基づき、ユーザの入力を行う第３のステップとを含むものが開示される。

Description

タッチ入力が可能な画面内に原画像を縮小表示するタッチパッドを有するユーザインタフェース装置、入力処理方法及びプログラム
　本発明は、画面上に画像を表示するとともに、その表示された画像に関連付けてユーザが指で操作面を操作することにより、ユーザの入力を可能とするユーザインタフェース装置に関連する技術に関する。
　従来から、ユーザが画面を指、スタイラス等で操作することによって入力操作を行うことが可能なユーザインタフェース装置が広く普及している。特に、近年、スマートフォン、タブレット型コンピュータ、電子書籍、ＰＤＡ(Personal Digital Assistant)などによって代表される携帯型情報機器では、指による操作を受け入れるユーザインタフェースとしてタッチパネルが積極的に採用されている。
　タッチパネルの搭載の有無を問わず、携帯型情報機器は、携帯性を高めるべく小型化を必要とする。このため、携帯型情報機器がユーザインタフェースとして複数の物理的な入力キーまたはボタンを採用した場合には、これら入力キー自体のサイズを小さくしなければならず、その結果、携帯型情報機器の操作性の低下が懸念される。これに対し、携帯型情報機器がユーザインタフェースとして、物理的なボタンに代えて仮想的なボタンを有するタッチパネルを採用した場合、仮想的なボタンのサイズを、それに対応するアプリケーションの機能に応じて適切に変更することができ、携帯型情報機器の操作性の向上を図ることができる。
　このタッチパネルへの入力では、タッチパネルに指を接触させて、その指により、タッチパネル上の所定の位置を指し示すポインティング動作が行われる。このポインティング動作については、画面上の目標エリアを確実に指し示すことが、タッチパネルに接続されたコンピュータなどにより、所望の処理または機能を確実に発動させる上で非常に重要となる。
　そのため、例えば、画面上の目標エリアが狭いためにポインティング動作が困難である場合、例えば、画面に表示されている画像のうち、画面の枠に近い領域近傍の位置や、表示される画像に含まれる細かい模様（パターン）の位置を指で指し示すことが必要である場合であっても、そのような目標エリアを指で正確に指し示すことが要求される。
　この要求に対処するため、例えば、特許文献１では、指だけでカーソル指定座標を指定する技術が開示されている。この技術では、指のタッチ位置を移動させることにより、不動支点を間に挟んで上記タッチ位置の反対側に描かれたカーソル図形を移動させ、カーソル指定座標を指定している。
　また、表示手段が設けられた面とは反対側の面にトラックパッドを設けた携帯型情報通信装置も提案されている（特許文献２参照）。この装置では、それの筐体を片手で保持し、それと同じ手の指を当該装置のトラックパッドに接触させて操作を行う。これにより、片手の指で当該装置を操作し、所定の位置を指定することが可能になるとしている。
特開２０１０－２１１３５２号公報 特開平９－１９８３５２号公報
　しかしながら、それら従来技術を採用しても、依然として、携帯型情報機器を保持する片手と同じ手の指で、画面内の任意の位置を容易に指定することは困難である。
　特に、近年、多様且つ大容量の情報を見易く表示するため、ディスプレイの画面は、機器の前面のほぼ全域を占める場合が多い。このような機器を片手で保持し、それと同じ手のうちのある指でその機器を操作しようとする場合、その同じ手の複数の指のうち、機器の保持に寄与しないために自由に動かし易い指は、実際のところ、親指となる。
　しかしながら、親指は、一般に、他の指に比べて短く、そのため、広い画面に表示される画像のうち、幅方向に互いに対向する一対のエッジエリア（右側エッジエリアおよび左側エッジエリア）のうち、機器を保持する片手の親指が位置する側とは反対側のエッジエリアや、同じ画像のうち、そのエッジエリアの近傍には、親指が到達し難い。
　この問題は、特許文献１及び２に開示されたような従来技術を適用しても解決し難い。例えば、特許文献１に開示された技術では、カーナビゲーション装置等の設置型の情報機器が前提となっており、情報機器を片手で保持し、それと同じ手の指で操作する利用形態は考慮されていない。また、それ故に、不動支点の図形を表示させ、この不動支点の位置に基づいて反対側のタッチ位置からカーソル図形を移動させる、といった複雑な動作が想定されており、そのような動作は親指では実現し難い。
　一方、特許文献２に開示された技術では、確かに、装置を片手で保持し、それと同じ手の指でその装置を操作することが意図されている。しかしながら、装置の裏面に設けられたトラックパッドに指を接触させる以上、この指は、装置の保持に寄与している中指、薬指等のように、親指以外の指であり、ユーザが親指ほどに自由に動かし難い指であることは否めない。
　そこで、本発明は、ユーザが機器を片手で保持し、それと同じ手の指で前記機器を操作する場合に、ユーザが、その機器の画面内の任意の位置を、その位置の如何を問わず、容易に指定することができるユーザインタフェース装置、入力処理方法及びプログラムを提供することを目的とする。
　本発明によって下記の各態様が得られる。各態様は、項に区分し、各項には番号を付し、必要に応じて他の項の番号を引用する形式で記載するが、このように、各項を他の項の番号を引用する形式で記載することにより、各項に記載の技術的特徴をその性質に応じて適宜独立させることが可能となる。
（１）　画面に画像を表示するディスプレイ機能と、ユーザが指で操作面に接触する接触位置を時間経過につれて逐次出力するタッチパネル機能とを備えたユーザインタフェース装置であって、
　前記画面に表示される原画像と同じものが縮小された参照画像を、同じ画面内に、スクリーンパッドとして表示するスクリーンパッド制御部と、
　前記指が前記スクリーンパッドに接触したか否かを判定する接触判定部と、
　その接触判定部が前記指が前記スクリーンパッドに接触したと判定した場合に、前記画面のうち、前記スクリーンパッド上における前記指の接触位置に対応した位置を指し示すポインタを、前記原画像上に表示するポインタ表示部と、
　前記ポインタの指し示す位置に応じた動作を発動させる動作制御部と
　を含むユーザインタフェース装置。
（２）　前記動作制御部は、仮に、ユーザが、前記ポインタの指し示す初期位置に前記指を接触させ、そのポインタの指し示す位置のその後の変化に追従するように前記指で前記画面のうち前記原画像を表示している部分をなぞったならば当該ユーザインタフェース装置に起こるであろう動作と同じものを発動させる（１）項に記載のユーザインタフェース装置。
（３）　前記スクリーンパッドは、前記画面のうち、ユーザが当該ユーザインタフェース装置を片手で保持し、それと同じ手で当該ユーザインタフェース装置を操作しようとする場合にユーザが前記同じ手の指で前記スクリーンパッド上のいずれの位置にも接触することができる位置に表示される（１）又は（２）項に記載のユーザインタフェース装置。
（４）　前記接触判定部は、前記指が前記スクリーンパッドに接触した後、その接触位置が実質的に同じ位置に保持される保持時間が所定時間以上であるか否かを判定し、
前記動作制御部は、前記接触判定部が前記保持時間が前記所定時間以上であると判定した場合に、前記画面上において前記画像を移動させることなく固定した状態で、前記スクリーンパッド上における前記指の接触位置をモニタする「タッチフォーカス」モードを動作させる（１）乃至（３）項のいずれかに記載のユーザインタフェース装置。
（５）　前記動作制御部は、前記「タッチフォーカス」モードの動作中、前記ポインタが、前記原画像に含まれる操作対象であるオブジェクトの表示領域を指し示す場合に、ユーザが前記該オブジェクトを選択するための「フォーカス」操作が行われたと判定して、そのオブジェクトに対応する動作を発動させる（４）項に記載のユーザインタフェース装置。
（６）　前記指が前記タッチパネルを押圧する押圧力を検出する押圧力検出部と、
　その検出された押圧力が所定閾値以上であるか否かを判定する押圧力判定部と
　を更に含み、
　前記動作制御部は、前記「タッチフォーカス」モードの動作中、前記ポインタが前記原画像に含まれる操作対象であるオブジェクトの表示領域を指し示し、且つ、前記押圧力が前記所定閾値以上である場合に、前記オブジェクトに予め割り当てられた機能を発動させる「クリック」操作がユーザによって行われたと判定して、前記オブジェクトに対応する動作を発動させる（４）又は（５）項に記載のユーザインタフェース装置。
（７）　前記タッチパネルに接触した前記指に対して触覚応答を与える触覚応答機構部と、
　前記「クリック」操作が行われた場合、前記指に前記タッチパネルを介して前記触覚応答を与えるべく前記触覚応答機構部を制御する触覚応答制御部と
　を更に含む（６）項に記載のユーザインタフェース装置。
（８）　前記指が前記タッチパネルを押圧する押圧力を検出する押圧力検出部と、
　その検出された押圧力が所定閾値以上であるか否かを判定する押圧力判定部と
　を更に含み、
　前記動作制御部は、前記接触判定部が、前記指が前記スクリーンパッドに接触してから所定時間が経過しないうちに前記指が前記スクリーンパッドに接触したまま移動し、その後、前記指が停止したと判定された場合に、前記指の移動に応じて前記画像を移動させるための第１の操作と、そのドラッグ操作の終了後、前記押圧力の大きさに応じた速度で前記画像を更に移動させるための第２の操作とが連続した「ドラッグクリック」操作が行われたと判定して、それに対応する動作を発動させる（１）乃至（３）項のいずれかに記載のユーザインタフェース装置。
（９）　前記動作制御部は、ユーザが前記指で、前記画面のうち、前記スクリーンパッドが表示されている領域の外側の領域に接触した場合に、前記画面に前記スクリーンパッドが表示されていない場合に同じ位置に前記指が接触していたならば当該ユーザインタフェース装置に起こるであろう動作と同じものを発動させる（１）乃至（８）項のいずれかに記載のユーザインタフェース装置。
(１０)　画面に画像を表示するディスプレイ機能と、ユーザが指で操作面に接触する接触位置を時間経過につれて逐次出力するタッチパネル機能とを備えたユーザインタフェース装置においてユーザの入力を処理する方法であって、
　前記画面に表示される原画像と同じものが縮小された参照画像を、同じ画面内に、スクリーンパッドとして表示する第１のステップと、
　前記指が前記スクリーンパッドに接触したか否かを判定する第２のステップと、
　前記指が前記スクリーンパッドに接触したと判定された場合に、前記画面のうち、前記スクリーンパッド上における前記指の接触位置に対応した位置を指し示すポインタを、前記原画像上に表示する第３のステップと、
　前記ポインタの指し示す位置に応じた動作を発動させる第４のステップと
　を含む方法。
（１１）　画面上に画像を表示するとともに、その表示された画像に関連付けてユーザが指で操作面に接触することにより、ユーザの入力を可能とするユーザインタフェース装置においてユーザの入力を処理する方法であって、
　前記画面に原画像を表示する第１のステップと、
　その表示される原画像と同じものが忠実にまたは簡略化されて縮小された参照画像を、同じ画面内に、前記原画像が透けて見える半透明状態または見えない不透過状態で、前記原画像に対してオーバレイ表示することにより、画面内タッチパッドを意味するスクリーンパッドを構成する第２のステップと、
　ユーザが前記指で前記スクリーンパッドを操作すると、その操作位置を検出し、その検出された操作位置に基づき、ユーザの入力を行う第３のステップと
　を含む方法。
(１２)　(１０)又は（１１）項に記載の方法を実施するためにコンピュータによって実行されるプログラム。
　本発明のユーザインタフェース装置、入力処理方法及びプログラムによれば、ユーザが機器を片手で保持し、それと同じ手の指で前記機器を操作する場合に、ユーザが、その機器の画面内の任意の位置を、その位置の如何を問わず、容易に指定することができる。
図１（Ａ）は、本発明の例示的な一実施形態に従う携帯型情報機器であってスクリーンパッドが表示されたものの前面図であり、また、図１（Ｂ）は、その携帯型情報機器に対するユーザの指による操作と、指の接触位置とポインタの指し示す位置との間における幾何学的な対応関係を示す概略図である。 図２（Ａ）は、図１に示す携帯型情報機器を、「フォーカス」操作中における一連の指の動きの一例と共に示す前面図であり、また、図２（Ｂ）は、図１に示す携帯型情報機器を、「クリック」操作中における一連の指の動きの一例と共に示す前面図である。 図３（Ａ）乃至図３（Ｃ）は、図１に示す携帯型情報機器を、「ドラッグクリック」操作中における一連の指の動きの一例と共に示す前面図である。 図４は、図１に示す携帯型情報機器の構成を概略的に示す斜視図、及び図１に示すスクリーンパッドを用いた入力処理方法の一実施形態を概略的に示すフローチャートである。 図５は、図１に示す携帯型情報機器の一実施形態を示す機能ブロック図である。
　以下、図面を参照することにより、本発明の例示的ないくつかの実施形態を詳細に説明する。
　本発明が対象とするユーザインタフェース装置は、画像に関連付けてユーザが指で位置を入力することが可能な画面に、原画像と共に、その原画像と同じものが縮小された参照画像を表示することにより、原画像を表示する画面内に、参照画面を表示するスクリーンパッドを構成する点に特徴を有する。
　ここに、「原画像を表示するとともにタッチ入力が可能な画面」を「第１のタッチスクリーン」と称すれば、同じ画面のうち、前記参照画面を表示する部分（すなわち、前記スクリーンパッドを構成する部分）であって、第１のタッチスクリーンの縮小版に該当するものは、「第２のタッチスクリーン」と称することも可能であるが、本明細書においては、その部分を、原画像を表示するとともにタッチ入力が可能な画面内に構成されたタッチパッドという意味において、上述のように、「スクリーンパッド」と称する。
　本発明の一実施形態によれば、ユーザは、そのスクリーンパッドに表示される参照画像を観察しながら、指でそのスクリーンパッドに接触することによって、ユーザが同じ指をディスプレイに表示された原画像に直接接触するのと同等の操作が可能となる。参照画像は、主としてユーザの入力操作を支援するためにユーザによって参照される画像であり、通常、原画像と同じ画像を、原画像より小さい倍率で表示する。
　ここで、「原画像」とは、ディスプレイの画面に表示される対象である全体情報である全体画像のうち、指による操作対象を含む部分である。当然に、その操作対象となる部分は、画面に表示された画像であり得る。例えば、表示された画像のうち、複数のアイコンが配列された領域を表す部分画像は、この操作対象を含む部分に該当する。また、表示される画像のうち、時刻表示領域や、バッテリメータ、電波強度インジケータ等の機能表示領域は、「原画像」に含まれないというように「原画像」という用語を定義することが可能である。
　なお、本発明が対象とするユーザインタフェース装置では、そのユーザインタフェース装置を片手で保持し、それと同じ手の指でスクリーンパッドに接触することによって情報が入力される。このため、この種のユーザインタフェース装置の多くは、片手で保持して操作することが可能なスマートフォンやタブレット型コンピュータのような携帯型情報機器である。従って、以下、本発明の一実施形態を、本発明を携帯型情報機器に搭載されたユーザインタフェース装置に適用する場合を例にとり、説明する。
　図１は、本実施形態に従う携帯型情報機器１であってスクリーンパッド１０５が表示されたものの前面図、及びその携帯型情報機器１に対するユーザの指による操作の概略図である。
　具体的には、図１（Ａ）は、携帯型情報機器１を、ディスプレイ１０１の画面（Ｘ軸が横軸、Ｙ軸が縦軸）内にスクリーンパッド１０５（ｘ軸が横軸、ｙ軸が縦軸）がオーバレイ表示された状態で示している。この図によれば、携帯型情報機器１は、画像を表示するディスプレイ１０１と、ディスプレイ１０１の画面上に配置されたタッチパネル１００とを備えている。
　なお、本実施形態においては、ディスプレイ１０１とタッチパネル１００とが、互いに独立した複数の層としてラミネートされているが、例えば、ディスプレイ１０１が位置入力機能をも兼ね備えるなどして、それらディスプレイ１０１とタッチパネル１００５とを単一部品として構成することが可能である。
　また、ディスプレイ１０１に表示される原画像に、複数のアイコン１０４が含まれている。各アイコン１０４は、それに対応するアプリケーションを起動させるためにユーザによって操作される対象（視覚的オブジェクトの一例）である。ユーザは、指を直接、いずれかのアイコン１０４に接触させることによって、目標のアイコン１０４を選択し、それに対応するアプリケーションを起動させることができる。
　スクリーンパッド１０５は、タッチパネル１００と同様に、表示機能と位置入力機能とを併せ持っている。それらのうち、表示機能は、ディスプレイ１０１のうち、スクリーンパッド１０５がオーバレイされる部分によって実現される一方、位置入力機能は、タッチパネル１００のうち、スクリーンパッド１０５がオーバレイされる部分によって実現される。いずれにしても、スクリーンパッド１０５は、ディスプレイ１０１とタッチパネル１００との双方によって構成されるのである。
＜ディスプレイ１０１に表示される原画像とスクリーンパッド１０５に表示される参照画像との関係＞
　スクリーンパッド１０５は、ディスプレイ１０１の画面の一部に表示されており、画面に表示される原画像が縮小されて表示された画像領域である。スクリーンパッド１０５に表示される画像（参照画像）は、画面に表示される原画像に対し、相似比が１未満の相似形であってもよい。すなわち、参照画像を生成するために原画像が縮小される縮小率は、携帯型情報機器１の横軸（ｘ軸およびＸ軸）方向と縦軸（ｙ軸およびＹ軸）方向との間で、互いに一致してもよいのであるが、それら２つの方向の間で縮小率が互いに異なるようにしてもよい。
　図１（Ａ）に示すように、原画像とスクリーンパッド１０５（参照画像）とは、同じ画面に、スクリーンパッド１０５が原画像の上方にオーバレイされるように表示される。この際、原画像のうち、スクリーンパッド１０５とオーバレイされる部分は、そのスクリーンパッド１０５を透過して透けて見えるように表示したり、スクリーンパッド１０５によって隠れて見えないように表示することが可能である。
　さらに、スクリーンパッド１０５の外形形状として、矩形、菱形、その他の多角形、若しくはこれらの形状のうちのいずれかであって角が丸められたもの、又は楕円形、若しくは円形等、種々の形状が採用可能である。
　いずれにしても、スクリーンパッド１０５には、複数のアイコン１０４のそれぞれに対応した複数のアイコン用ミニイメージ（例えば、アイコン１０４の図形をそのまま縮小した画像であるが、アイコン１０４の図形をデフォルメしたり、単純化してもよい）１０４ａが表示される。
　ユーザは、携帯型情報機器１を片手（図１（Ａ）に示す例では、右手）で保持し、それと同じ手の親指をスクリーンパッド１０５（タッチパネル１００のうち、スクリーンパッド１０５が表示されている領域）に接触させる。親指は、携帯型情報機器１の保持に寄与しないため、他の指よりユーザが自由に動かし易く、携帯型情報機器１の操作に適している。この親指が、例えば、スクリーンパッド１０５内に表示されたいずれかのアイコン用ミニイメージ１０４ａに接触すると、その接触されたアイコン用ミニイメージ１０４ａに対応したアイコン１０４を指し示すポインタ１０６が、画面（タッチパッド１００のうち、スクリーンパッド１０５が表示されている領域の外側）内に表示される。
　親指がいずれかのアイコン用ミニイメージ１０４ａに接触すると、仮に同じ親指がインタ１０６の指し示すアイコン１０４に接触していたならば起こるであろう動作と同じものが発動される。具体的には、例えば、いずれかのアイコン用ミニイメージ１０４ａに指が接触すると、そのアイコン用ミニイメージ１０４ａに対応するアイコン１０４を選択するために行われる後に詳述する「フォーカス」操作と等価な操作が行われたと判定されて、選択動作が発動される。この選択動作としては、例えば、その対応するアイコン１０４が浮き上がって見えたり、他のアイコン１０４より光って見えるような強調表示があり得る。
＜画面のうち、スクリーンパッド１０５が表示される位置の決定＞
　本実施形態においては、画面のうち、スクリーンパッド１０５が表示される位置がユーザによって変更可能であるが、スクリーンパッド１０５は、画面のうち、ユーザが携帯型情報機器１を保持する片手と同じ手の親指でスクリーンパッド１０５上のいずれの位置にも接触することができるような位置に表示されることが好ましい。これにより、例えば、親指が目標のアイコン１０４に届かず、直接接触し得ない場合でも、ユーザは、その目標のアイコン１０４の代わりに、それに対応するアイコン用ミニイメージ１０４ａに親指を接触させ、それにより、目標のアイコン１０４に直接接触したのと同等の動作を発動させることができるのである。
　なお、前述のように、スクリーンパッド１０５に表示される参照画像（複数のアイコン用ミニイメージ１０４ａを含む）は、半透明であることが好ましい。これにより、ディスプレイ１０１に表示された原画像のうち、スクリーンパッド１０５と重畳した部分が、スクリーンパッド１０５を透過して視認可能となり、その結果、クリーンパッド１０５が存在しない場合と同様に、原画像が全体的にユーザによって視認されることが可能となる。
　また、スクリーンパッド１０５の表示又は非表示がユーザによって選択可能であることが好ましい。スクリーンパッド１０５を非表示にすると、画面に表示された原画像の全体が、遮るもの無く視認可能となる。この場合、スクリーンパッド１０５の機能は停止しており、ユーザは指で直接、原画像に接触して操作を行う。
＜ユーザによるスクリーンパッド１０５の起動方法＞
　スクリーンパッド１０５の表示は、例えば、ユーザが、指によって所定のアイコンを発動させることによるか、又は携帯型情報機器１に装着された物理的なボタンを押下することによって行われる。一方、スクリーンパッド１０５の非表示は、例えば、ユーザが、指によって、スクリーンパッド１０５内に表示された所定のアイコン用ミニイメージ１０４ａを発動させることによって行われる。
＜種々のドラッグ操作＞
　本実施形態においては、画像のドラッグ操作を種々のモードで行うことが可能である。具体的には、原画像の全体を画面の枠内でドラッグすることが可能であり、また、スクリーンパッド１０５の全体を、画面の枠内で、原画像に対して移動させるために、ドラッグすることが可能である。また、スクリーンパッド１０５の位置をそのままにして、そのスクリーンパッド１０５内の表示画像（参照画像）の全体を、スクリーンパッド１０５の枠に対して移動させるために、ドラッグすることが可能である。この場合、その参照画像の移動に合わせて原画像も同様に移動する。
＜スクリーンパッド１０５に対するドラッグ操作＞
　上述のように、本実施形態においては、画面のうち、スクリーンパッド１０５が表示される位置がユーザによって変更可能である。具体的には、スクリーンパッド１０５は、それに対してドラッグ操作が行われる（スクリーンパッド１０５内のアイコン用ミニイメージ１０４ａに対するドラッグ操作とは区別される）と、画面内で（原画像上で）移動することができ、スクリーンパッド１０５を画面内の任意の位置に移動可能である。
　この移動のために、例えば、ユーザは、スクリーンパッド１０５の参照画像のうちのいずれかのエッジエリア、又はスクリーンパッド１０５の参照画像内部の所定の領域（例えば、いずれのアイコン用ミニイメージ１０４ａからも外れた領域）に指を接触させたまま、指を動かすことにより、スクリーンパッド１０５をドラッグする（引きずる）。
＜スクリーンパッド１０５の参照画像の生成＞
　スクリーンパッド１０５の参照画像を生成するために、画面に表示される原画像を縮小する縮小率をユーザが変更可能であることが好ましい。さらに、ユーザが、携帯型情報機器１の横軸（ｘ軸およびＸ軸）方向での縮小率α及び携帯型情報機器１の縦軸（ｙ軸およびＹ軸）方向での縮小率βをそれぞれ互いに独立に変更可能であることも好ましい。
　この縮小率の調整は、例えば、スクリーンパッド１０５に表示されるマーカ（例えば、スクリーンパッド１０５の４隅のうちの少なくとも一つに、又はスクリーンパッド１０５の、相対向する一対のエッジのうちの少なくとも一つのうちの所定の位置（例えば、該当するエッジの、長さ方向における中点）に表示されるマーカ）に指を接触させたままその指を動かすことにより行われる。
　さらに、ユーザの指が、ディスプレイ１０１の画面のうち、スクリーンパッド１０５の表示領域の外側の領域に接触した場合、この指の接触位置に、指が接触するならば本来起こるべき動作が発動する。例えば、ユーザの指が、スクリーンパッド１０５の範囲外に位置するいずれかのアイコン１０４に接触した場合、後に詳述する「フォーカス」操作が行われたとして、そのいずれかのアイコン１０４の選択動作が発動される。
＜スクリーンパッド１０５に対する指の接触位置の変化と原画像上におけるポインタ１０６の位置の変化との関係＞
　図１（Ｂ）は、親指の接触位置とポインタ１０６の指し示す位置との間における幾何学的な対応関係を示している。図１(Ｂ)に示す例においては、親指は接触しつつ移動し、その接触位置は、スクリーンパッド１０５内において、点Ｓ１から点Ｓ２まで変化する。これに伴い、ポインタ１０６も移動し、ポインタ１０６の指し示す位置も、具体的には、ディスプレイ１０１の画面内において、点Ｐ１から点Ｐ２まで変化する。
　図１（Ｂ）に示す例においては、スクリーンパッド１０５に、ｘｙ座標系の第１象限（左下隅に原点があり、縦軸も横軸も正の値を取る）が割り当てられる。また、同様に、ディスプレイ１０１の画面に、ＸＹ座標系の第１象限が、ｘｙ座標系と同縮尺（スケール、現実世界における寸法と、それら座標系上における寸法との比率）の目盛を有する状態で割り当てられる。
　その結果、上述のいくつかの点は、次のような２次元座標値で表される。
　　（ａ）　点Ｓ１：（ｘ１，ｙ１）、　点Ｓ２：（ｘ２，ｙ２）
　　（ｂ）　点Ｐ１：（Ｘ１，Ｙ１）、　点Ｐ２：（Ｘ２，Ｙ２）
　この場合、それら座標値の間には、次の関係が存在する。
　　（ｃ）　Ｘ１＝α－１・ｘ１、　Ｙ１＝β－１・ｙ１
　　（ｄ）　Ｘ２＝α－１・ｘ２、　Ｙ２＝β－１・ｙ２
　ここで、「α」は、スクリーンパッド１０５の参照画像を生成するために、画面に表示される原画像を横軸（ｘ軸およびＸ軸）方向に縮小する際の縮小率（１より大きい数値）である。また、「β」は、スクリーンパッド１０５の参照画像を生成するために、画面に表示される原画像を、縦軸（ｙ軸およびＹ軸）方向に縮小する際の縮小率（１より大きい数値）である。縮小率αの逆数であるα－１は、原画像を復元するために必要な参照画像の拡大率であり、また、縮小率βの逆数であるβ－１は、原画像を復元するために必要な参照画像の拡大率である。例えば、スクリーンパッド１０５が相似比１／３の相似形である場合、α－１＝β－１＝３となる。
　同じく図１（Ｂ）に示す例においては、親指は、点Ｓ１に接触した直後に、接触したまま、点Ｓ２まで移動している。これは、スクリーンパッド１０５内でのいわゆるドラッグ操作である。このドラッグ操作が行われると、スクリーンパッド１０５内において、複数のアイコン用ミニイメージ１０４ａを含む画像も、点Ｓ１から点Ｓ２への向きに、点Ｓ１から点Ｓ２までの距離だけ移動する。
　このような親指の接触位置の移動につれて、ポインタ１０６（正確には、ポインタ１０６の指し示す位置）は、点Ｐ１から点Ｐ２まで移動する。その結果、複数のアイコン１０４を含む原画像全体も、点Ｐ１から点Ｐ２への向きに、点Ｐ１から点Ｐ２までの距離だけ移動する。これは、指を点Ｐ１から点Ｐ２まで接触させながら移動させるドラッグ操作による動作に相当する。このように、スクリーンパッド１０５に対してドラッグ操作を行うと、同時に、原画像に対するドラッグ操作も行われたことになる。
　具体的には、スクリーンパッド１０５を用いることによって、仮に、ユーザが、ポインタ１０６の指し示す初期位置に指を接触させ、そのポインタ１０６の指し示す位置のその後の変化に追従するように指で画面のうち原画像を表示している部分をなぞったならば（起こるであろう動作と同じものを発動させることが可能となる。
＜スクリーンパッド１０５に対してユーザが行い得る操作のバリエーション＞
　以下、スクリーンパッド１０５を介して行うことができる操作の他のバリエーションを説明する。他のバリエーションとして、例えば、次のものがある。
　（１）　「フォーカス」操作：複数のアイコン等のオブジェクトのうちのいずれかを選択するためのユーザ操作
　（２）　「クリック」操作：選択されたオブジェクトに予め割り当てられた機能を発動させるためのユーザ操作
　（３）　「ドラッグクリック」操作：ドラッグ操作の終了後、そのドラッグ操作を行った指と同じ指をタッチパネル１００から離すことなくタッチパネル１００に押し込んで画像全体を更にスクロールさせるためのユーザ操作
　ここで、（１）「フォーカス」操作及び（２）「クリック」操作は、後に詳述する「タッチフォーカス」モードの動作中に実施可能である。
　なお、当然に、上記以外の従来の操作、例えばフリック操作、ピンチイン操作、ピンチアウト操作等も、スクリーンパッド１０５を介して行うことができるように携帯型情報機器１を設計することができる。
＜「タッチフォーカス」モードの説明＞
　図２は、「タッチフォーカス」モードの動作中に実施される上述の「フォーカス」操作及び「クリック」操作を説明するための、携帯型情報機器１の前面図である。
　具体的には、図２（Ａ）は、携帯型情報機器１を、「フォーカス」操作中における一連の指の動きの一例と共に示している。最初に、この図を用いて「フォーカス」操作が行われる「タッチフォーカス」モードを説明する。
　図２（Ａ）に示す例においては、ユーザの指が、スクリーンパッド１０５（タッチパネル１００のうち、スクリーンパッド１０５を構成する部分）に接触し、その後、ユーザは、所定時間以上、指の接触位置を維持し、続いて、ユーザは、接触を保ちながらスクリーンパッド１０５上をなぞるように指を移動（スライド）させる。指の接触位置が所定時間以上、維持されると、「タッチフォーカス」モードに移行し、その結果、複数のアイコン１０４を含む原画像も、それらアイコン１０４に対応する複数のアイコン用ミニイメージ１０４ａを含むスクリーンパッド１０５内の参照画像も、その後の指の移動にもかかわらず、移動せず、固定された状態となっている。
　従って、ユーザは、指を接触させたまま指を移動させ、スクリーンパッド１０５内において、同じ位置に表示し続けられる複数のアイコン用ミニイメージ１０４ａに順次触れていくことができる。その指移動に伴い、ポインタ１０６も画面内を移動し、同じ位置に表示し続けられる複数のアイコン１０４を順次指し示していく。また、後述する接触判定部１２２（図５）が、指の移動中も、指の接触位置といずれかのアイコン用ミニイメージ１０４ａの表示領域位置範囲とが重畳したか否かを判定している。このように、画面に表示された画像（原画像および参照画像）の全体を移動させることなく固定した状態で、接触しつつ移動する指の接触位置をモニタするモードが、上述の「タッチフォーカス」モードである。
　この「タッチフォーカス」モードは、例えば、ユーザが、指でスクリーンパッド１０５をなぞりつつ、表示された画像内に所望のアイコン１０４が存在するか否かを視覚的に確かめながら、その所望のアイコン１０４に対応するアイコン用ミニイメージ１０４ａの表示領域まで指を確実に進めたい場合に適している。
　ここで、「タッチフォーカス」モードが動作する条件を説明する。最初に、指がスクリーンパッド１０５に接触する。この時刻をｔ０とする（ｔ＝ｔ０）。次いで、指は、接触位置を変化させずに停止した状態を経て、同じく接触したまま移動を開始する。この移動を開始する時刻をｔＳ２とする（ｔ＝ｔＳ２）。この場合、指の接触位置は、時間（ｔＳ２－ｔ０）だけ継続して変化しなかったことになる。この保持時間（ｔＳ２－ｔ０）が所定時間ｔＴＨ以上の場合に（（ｔＳ２－ｔ０）≧ｔＴＨ）、後述する動作制御部１２５（図５）が、「タッチフォーカス」モードを動作させる。なお、所定時間ｔＴＨは、例えば２００ｍｓｅｃに設定可能である。
　同じく図２（Ａ）に示す例においては、「タッチフォーカス」モードの動作中、ユーザは、スクリーンパッド１０５をなぞりながら、指を移動させる。その後、ユーザは、所望のアイコン１０４を探し出すと、それに対応するアイコン用ミニイメージ１０４ａの表示領域内に指を進める。このように、「タッチフォーカス」モードの動作中、指の接触位置を所望のアイコン用ミニイメージ１０４ａの表示領域に重畳させる操作（ポインタ１０６の指し示す位置をアイコン１０４の表示領域に重畳させる操作）を、以後、「フォーカス」操作と称する。
　「フォーカス」操作は、ユーザが所望のアイコン１０４を、本実施形態においては、直接にではなく、スクリーンパッド１０５を介して間接的に選択するために行われる操作であり、その後の、その選択されたアイコン１０４の機能を発動させる操作を確実に行うための準備動作としての役割を果たす。
　なお、指の接触位置がいずれかのアイコン用ミニイメージ１０４ａの表示領域に重畳した場合には、後述する触覚応答機構部１０２（図４）が、指に、仮想的なボタンに代えて物理的な押下ボタンを実際に押下したかのような感覚を付与する振動を与えることができる。これにより、ユーザは、「フォーカス」操作が受け入れられたことを触覚的に確認でき、安定した確実な操作感を得ることができる。
　ここで、物理的な押下ボタンを実際に押下したかのような感覚を付与する振動の例として、以下のものが挙げられる。最初に、各アイコン１０４があたかも高さ（画面に垂直な方向の厚み）を有するかのように、各アイコン１０４の表示領域内の各点に高さ情報を付与する。その後、指がアイコン１０４の表示領域に差し掛かりその領域内に入って以降、この高さ情報から算出された勾配の大きさに応じた強度の振動を指に与える。これにより、指は、突出した物理的な押下ボタンをなぞったときに得られるのと同じような感触を受ける。
　図２（Ｂ）は、携帯型情報機器１を、「クリック」操作中における指の動きの一例と共に示している。この図に示す例においては、「タッチフォーカス」モードの動作中、指が、所望のアイコン用ミニイメージ１０４ａの位置まで進み、その結果、指の接触位置が所望のアイコン用ミニイメージ１０４ａの表示領域と重畳する。これに伴い、ポインタ１０６の指し示す位置も、所望のアイコン１０４の表示領域に重畳する。この状態から、ユーザが指をスクリーンパッド１０５に押し込むと、所望のアイコン１０４に予め割り当てられた機能が発動する。このように、所望のアイコン１０４の機能を発動させるために指で所望のアイコン用ミニイメージ１０４ａ（タッチパネル１００）を押圧する操作を、以後、「クリック」操作と称する。
　ここで、「クリック」操作と判定される条件を説明する。「タッチフォーカス」モードの動作中、まず、指の接触位置が、所望のアイコン用ミニイメージ１０４ａの表示領域と重畳する。すなわち、「フォーカス」操作が行われる。次いで、この状態から、ユーザが指を強く押し込み、指による押圧力ｐＣが所定の押圧力閾値ｐＴＨ以上となる場合（ｐＣ≧ｐＴＨ）、後述する動作制御部１２５（図５）で、「クリック」操作が行われたと判定され、ユーザによって選択された所望のアイコン１０４の機能が発動する。このように、押圧力ｐＣが所定閾値ｐＴＨ以上であることが、「クリック」操作と判定される条件となる。なお、押圧力閾値ｐＴＨは、例えば、０.５Ｎ（ニュートン）乃至２.０Ｎの範囲内の値に設定可能である。
　この際、後述する触覚応答機構部１０２（図４）が、指に、物理的な押下ボタンを実際に押下したかのような感覚を付与する振動を与えることもできる。すなわち、ユーザは、「フォーカス」操作を行った際に、振動を受けて物理的な押下ボタンの存在を感じ、この感覚に基づき確信をもって「クリック」操作を行う。その際、さらに別種の振動を受けることにより、実際にはこの仮想的な押下ボタンとして構成される所望のアイコン用ミニイメージ１０４ａを押したときに、あたかも物理的な押下ボタンを押下したかのような感覚を得る。その結果、ユーザは、スクリーンパッド１０５上の操作であるにもかかわらず、物理的な押下ボタンを実際に操作した、との安定した確実な操作感を擬似的に得ることができる。
　以上、図２を用いて説明したことから明らかなように、本実施形態によれば、スクリーンパッド１０５を用いることによって、携帯型情報機器１を保持する片手と同じ手の指で、画面に表示された原画像内の任意の位置を容易に指定することができる。
　さらに、それ故に、携帯型情報機器１を保持する片手と同じ手の指で、いずれかのオブジェクト（例えば、いずれかのアイコン１０４）を選択する「フォーカス」操作、及び、その選択されたオブジェクトに予め割り当てられた機能を発動させる「クリック」操作を容易に行うことができる。具体的には、操作目標であるオブジェクトであって画面に表示されているものが、前記指の届かない位置に表示されていてもても、そのオブジェクトに代えて、そのオブジェクトを代理する別のオブジェクトであって、前記指が届き易い位置に存在するスクリーンパッド１０５内に表示されているものに指を接触させることによって、上述の「フォーカス」操作および「クリック」操作が可能となる。
　また、「タッチフォーカス」モードは、指でなぞるという非常に容易な動作を可能とする。その結果、この「タッチフォーカス」モードの動作中、画面より的狭い表示領域を有するスクリーンパッド１０５上で指操作が行われても、ユーザを正しい入力操作を容易に行い得、よって、携帯型情報機器１によって所望の動作が確実に発動される。
　すなわち、画面に対してではなく、スクリーンパッド１０５に対して指操作を行う場合には、画面上の任意の位置を指し示し易いという利点がある反面、スクリーンパッド１０５が画面より狭いために操作性が低下するという欠点がありそうであるが、その欠点は、上述の「タッチフォーカス」モードの採用により、完全であるか部分的であるかを問わず、解消され得る。
＜「ドラッグクリック」操作の説明＞
　図３は、携帯型情報機器１を、「ドラッグクリック」操作中における一連の指の動きの一例と共に示す前面図である。
　具体的には、図３（Ａ）乃至図３（Ｃ）は、「ドラッグクリック」操作中における一連の指の動きを時系列的に示している。最初に、図３（Ａ）に示す例においては、ディスプレイ１０１の画面に、ユーザがある条件を指定し、その条件のもとである検索エンジンを用いて検索を行った結果得られた複数の検索結果を表す検索結果エントリ１０７を含む画像が表示されている。本実施形態では、５０件の検索結果エントリ１０７のうち、第１件目から第５件目までの検索結果エントリ１０７のみが画面に表示されている。また、第１件目から第５件目までの検索結果エントリ１０７の表示に対応し、スクリーンパッド１０５には、それら検索結果エントリ１０７と同じものが縮小されて、第１件目から第５件目までの検索結果エントリ用ミニイメージ１０７ａとして表示されている。
　ユーザは、指を、スクリーンパッド１０５に接触させて直ちに、接触を保ったまま上側に移動（スライド）させる。すなわち、いわゆるドラッグ操作を行う。これにより、図３（Ｂ）に示したように、スクリーンパッド１０５内の、複数の検索結果エントリ用ミニイメージ１０７ａを表す参照画像も、この指の移動に合わせて上側にスクロールされる。その結果、例えば、すべての検索結果エントリ用ミニイメージ１０７ａのうち、第４件目から第８件目までの検索結果エントリ用ミニイメージ１０７ａが表示される。また、これに対応して、複数の検索結果エントリ１０７を表す原画像も、上側にスクロールされる。その結果、画面には、例えば、すべての検索結果エントリ１０７のうち、第４件目から第８件目までの検索結果エントリ１０７が表示される。
　このドラッグ操作の直後、ユーザは、ドラッグ操作が終了したときの指の接触位置で、指をスクリーンパッド１０５（タッチパネル１００のうち、スクリーンパッド１０５を構成する部分）に押し込む。これらドラッグ操作とその後の指による押し込みという一連の操作が、「ドラッグクリック」操作である。この操作によって、図３（Ｃ）に示したように、スクリーンパッド１０５内の、検索結果エントリ用ミニイメージ１０７ａを表す画像も、検索結果エントリ１０７を表す原画像も、ドラッグ操作によるスクロールに引き続き、指の押し込みに対応した速度で、更にスクロールされる。
　ここで、ユーザは、指の押し込みの強さを加減しながらスクロールの速度を調整することができる。その結果、例えば、すべての検索結果エントリ１０７のうち、画面に表示されていない、画面から遠い位置に存在する第４２件目から第４６件目までの検索結果エントリ１０７が、画面に向かって移動して、短時間でその画面に表示される。その後、ユーザは、例えば、第４５件目の検索結果エントリ１０７を、ユーザにとって最適の検索結果（複数の検索結果エントリ１０７のうち所望の部分）として見つけ出して選択し、それを起動させることができる。
　なお、「ドラッグクリック」操作を行っても、「タッチフォーカス」モードは動作しない。従って、ドラッグ操作後の押圧動作が、図２（Ｂ）を用いて説明した「クリック」操作と判定されることはない。また、ドラッグ操作後のスクロールの向きは、ドラッグ操作に伴って行われたスクロールの向きに一致させることが好ましい。これにより、ユーザは、ドラッグ操作によって意図したスクロールの向きと同じ向きのスクロールを、更に継続して行うことができる。
　ドラッグ操作後の指の押し込みは、タッチパネル１００に対して押圧力ｐＣを及ぼす。この押圧力ｐＣの大きさに応じて、後述する動作制御部１２５（図５）で、ドラッグ操作後のスクロールの速度が決定される。動作制御部１２５は、例えば、押圧力ｐＣが押圧力閾値ｐＴＨ０以上である場合に、（ｐＣ－ｐＴＨ０）の値に比例してスクロール速度が増加するように、スクロール速度を決定することも可能である。この場合、ドラッグ操作後に指を押し込めば押し込むほど、その押圧力の大きさに比例して、より速く画像全体がスクロールされることになる。
　なお、後述する触覚応答機構部１０２（図４）が、指に、スクロールの速度に応じた触覚応答を与えることができる。例えば、スクロールの速度がより高くなるほど、より強い振動が指に与えられる。これにより、ユーザは、スクロールの速度の高さを、指にくわえられる振動の強さから体感でき、リアルな操作感を得ることができる。
　以上、図３を用いて説明したことから明らかなように、本実施形態によれば、スクリーンパッド１０５を用いることによって、携帯型情報機器１を保持する片手と同じ手の指で、画面に表示された原画像内の任意の位置を、その位置の如何を問わず、容易に指定することができる。
　さらに、それ故に、携帯型情報機器１を保持する片手と同じ手の指で、制御された速度でのスクロールが可能な「ドラッグクリック」操作を行うことができる。この際、最初のドラッグ操作においては、スクリーンパッド１０５内での指の短い距離の移動により、指の移動をスクリーンパッド１０５に対してではなく画面に対して行うことを仮定すると、画面に表示される原画像のうち、指の届かない位置までの、指の長い距離の移動を必要とするであろうドラッグ操作と同じ効果を実現することができる。また、次いで行われる指の押圧動作においては、指が届くスクリーンパッド１０５内の位置を押し込むという容易な動作だけで、何度も続けてドラッグ操作を行うことなく、所望の移動距離のスクロールを短時間で行うことができる。
　また、「ドラッグクリック」操作は、ユーザが指を接触させたままで行う非常に容易な操作である。その結果、この操作が比較的狭い領域であるスクリーンパッド１０５上で行われても、携帯型情報機器１の操作性を悪化させることなく、携帯型情報機器１による所望の動作が確実に発動される。
　図４は、携帯型情報機器１の構成を概略的に示す斜視図、及びその携帯型情報機器１が採用するスクリーンパッド１０５を用いた入力処理方法の一実施形態を示すフローチャートである。また、図５は、携帯型情報機器１の一実施形態を示す機能ブロック図である。
　図４によれば、携帯型情報機器１は、タッチパネル１００と、ディスプレイ１０１と、触覚応答機構部１０２と、押圧力検出部１０３と、プロセッサ・メモリとを有する。ここで、そのプロセッサ・メモリは、前記入力処理方法を実行するためのプログラムを実行することによってその機能を実現させる。
　前記プロセッサ・メモリにおいては、よく知られているように、プロセッサとメモリとが互いに共同してコンピュータを構成する。そのうちのメモリに、前記入力操作判定方法を実行するためのプログラムが予め記憶される。そのメモリは、そのプログラムをコンピュータ読み取り可能に、かつ、非過渡的に記録する記録媒体の一例である。
　ディスプレイ１０１は、画面に画像を表示する。また、タッチパネル１００は、ディスプレイ１００の画面上に配置されており、ユーザの指の接触位置を時間経過につれて逐次出力する。このタッチパネル１００として、投影型静電容量方式タッチパネル、表面型静電容量方式タッチパネル、抵抗膜方式タッチパネル、超音波表面弾性波方式タッチパネル、又は赤外線走査方式タッチパネル等を採用することができる。
　触覚応答機構部１０２は、タッチパネル１００を振動させることにより、タッチパネル１００に接触した指に、特定の操作に対する応答として触覚応答を与える。触覚応答機構部１０２は、例えば、上述した「フォーカス」操作時、「クリック」操作時、及び／又は「ドラッグクリック」操作が行われると、それに応答して、その操作内容に応じた種類及び強度の振動を指に与える。触覚応答機構部１０２は、例えば、ＰＺＴ（チタン酸ジルコン酸鉛）等の圧電材料を用いて形成された圧電アクチュエータとすることができる。
　押圧力検出部１０３は、指によってタッチパネル１００に与えられる押圧力ｐＣを検出する。押圧力検出部１０３は、例えば、タッチパネル１００の四隅下に設置されており、それら４箇所において、指を押し付けられて撓んだタッチパネル１００が押圧力検出部１０３を押圧する４つの力成分の合計値を、押圧力ｐＣとして検出する。この押圧力検出部１０３が出力する押圧力信号は、後述する押圧力判定部１２４に入力される。押圧力検出部１０３は、例えば、ＰＺＴ等の圧電材料を用いて形成された圧電センサとすることができる。また、圧電アクチュエータで構成された触覚応答機構部１０２を設ける代わりに又は設けると共に、押圧力検出部１０３を触覚応答機構部として利用することも可能である。
　指がタッチパネル１００の操作面を押圧する押圧力ｐＣは、操作面に対する指の接触度合いを表現する物理量の一例である。その接触度合いは、押圧力ｐＣの代わりに、指が操作面に接触する面積によって表現したり、指が操作面に接触することによって発生する電気的特性の変化量によって表現したり、指が操作面に接触することによって発生する温度の変化量によって表現することが可能である。よって、本実施形態を、押圧力ｐＣを等価的に別の物理量に置換することにより、変更して実施することが可能である。
　前記プロセッサ・メモリは、タッチパネル１００から出力される指の接触位置信号と、押圧力検出部１０３から出力される押圧力信号とを入力し、これらの信号に基づいてユーザの指による操作の種類を識別し、その操作の種類に応じた動作を発動させる。特に、前記プロセッサ・メモリは、ユーザの指がスクリーンパッド１０５に接触した時に発生する接触位置信号と押圧力信号とを入力して、画面のうち、指の接触位置に対応した位置を指し示すポインタ１０６を表示させる。次いで、前記プロセッサ・メモリは、そのポインタ１０６の指し示す初期位置及びそのポインタ１０６の指し示す位置がその後に描く軌跡に対応した動作を発動させる。ここで、図５を用いて、このプロセッサ・メモリの機能構成を説明する。
　図５によれば、前記プロセッサ・メモリは、スクリーンパッド制御部１２１と、接触判定部１２２と、ポインタ表示部１２３と、押圧力判定部１２４と、動作制御部１２５と、触覚応答制御部１２６と、表示制御部１１１と、アプリケーション処理部１１２とを有する。
　スクリーンパッド制御部１２１は、ディスプレイ１０１の画面に表示される原画像全体を縮小してオーバレイ表示するスクリーンパッド１０５を、この画面内に表示するように表示制御部１１１に指示する。
　なお、スクリーンパッド１０５の起動（表示動作への移行）は、例えば、前述のように、指による所定のアイコンの発動、又は携帯型情報機器１に装着された物理的なボタンの押下等によって、ユーザがスクリーンパッド制御部１２１に、スクリーンパッド１０５を表示することを指示するための指示情報を送信することにより行われる。
　また、スクリーンパッド制御部１２１は、画面にスクリーンパッド１０５を表示すべき位置を決定し、その決定された位置でのスクリーンパッド１０５表示を表示制御部１１１に指示する。
　なお、スクリーンパッド１０５の（表示位置の）移動は、例えば、前述のように、スクリーンパッド１０５のいずれかのエッジエリア、又は所定の領域に指を接触させたまま指を動かして、スクリーンパッド１０５をドラッグする（引きずる）ことにより行われる。スクリーンパッド制御部１２１は、このような操作の情報を入力し、画面上におけるスクリーンパッド１０５の表示位置及びその移動を決定する。
　さらに、スクリーンパッド制御部１２１は、スクリーンパッド１０５の参照画像を原画像データから生成するために必要な原画像全体の縮小率を決定し、その決定された縮小率での表示を表示制御部１１１に指示する。
　なお、スクリーンパッド１０５の縮小率は、例えば、前述のように、ユーザが、スクリーンパッド１０５の角に、又は直線状のエッジエリアの中点に表示されるマーカに指を接触させたまま動かすことにより調整される。スクリーンパッド制御部１２１は、このような操作の情報を入力し、縮小率を決定する。
　接触判定部１２２は、タッチパネル１００から出力される指の接触位置信号と、スクリーンパッド制御部１２１から出力されるスクリーンパッド１０５の位置情報とを入力し、指が、表示されているスクリーンパッド１０５に接触したか否かを判定する。さらに、この判定結果を動作制御部１２３に出力する。また、接触判定部１２２は、上述した「タッチフォーカス」モードの動作中、スクリーンパッド１０５内の指の接触位置と、スクリーンパッド１０５内のいずれかのアイコン用ミニイメージ１０４ａの表示領域とが重畳したか否かを判定し、この判定結果を動作制御部１２３に出力することが好ましい。
　ポインタ表示部１２３は、接触判定部１２２から出力される判定結果及び指の接触位置情報を入力し、ディスプレイ１０１の画面内に、指の接触位置に対応した位置を指し示すポインタ１０６を表示するように表示制御部１１１に指示する。
　押圧力判定部１２４は、押圧力検出部１０３からの押圧力信号を入力し、指による押圧力ｐＣが所定の押圧力閾値ｐＴＨ（又はｐＴＨ０）以上であるか否かを判定する。さらに、押圧力判定部１２４は、この判定結果を、動作制御部１２５へ出力する。
　動作制御部１２５は、接触判定部１２２から判定結果及び指の接触位置情報を入力する。動作制御部１２５は、この入力情報を基に、仮に、ユーザが、ポインタ１０６の指し示す初期位置に指を接触させ、そのポインタ１０６の指し示す位置のその後の変化に追従するように指で画面のうち原画像を表示している部分をなぞったならば起こるであろう動作と同じものを発動させる。
　また、動作制御部１２５は、この動作に応じた画像を表示するように表示制御部１１１に指示する。さらに、接触判定部１２２によって、指がスクリーンパッド１０５に接触し且つこの接触位置が所定時間ｔＴＨ以上継続して変化しなかったと判定された場合、動作制御部１２５は、上述した「タッチフォーカス」モードを動作させることが好ましい。
　また、「タッチフォーカス」モードの動作中、ポインタ１０６がいずれかのオブジェクト（例えば、いずれかのアイコン１０４）の表示領域内の位置を指し示す場合、動作制御部１２５によって、上述した「フォーカス」操作が行われたと判定されることが好ましい。さらに、ポインタ１０６がいずれかのオブジェクトの表示領域内の位置を指し示し且つ押圧力ｐＣが所定の閾値ｐＴＨ以上である場合、動作制御部１２５によって、上述した「クリック」操作が行われたと判定されることが好ましい。動作制御部１２５は、これらの操作に対応する動作を発動させる。
　触覚応答制御部１２６は、動作制御部１２５から動作指示情報を入力する。次いで、触覚応答制御部１２６は、その情報に基づいて、スクリーンパッド１０５に接触した指に対して触覚応答を与えるべく、触覚応答機構部１０２を制御する。
　表示制御部１１１は、アプリケーション処理部１１２からアプリケーション処理情報を入力して、それに対応するアプリケーションの実行に応じた画像をディスプレイ１０１に表示させる。また、表示制御部１１１は、動作制御部１２５から出力される動作指示情報を入力し、指示された動作に応じた画像をディスプレイ１０１に表示させる。
　次いで、図４に示されたフローチャートを用いて、前記プロセッサ・メモリで実施される、スクリーンパッド１０５を用いた前記入力処理方法の一実施形態を説明する。
　図４によれば、最初に、スクリーンパッド制御部１２１が、ディスプレイ１０１の画面に表示された原画像全体が縮小されたスクリーンパッド１０５を、この画面内に、原画像に対してオーバレイする状態で表示させる（ステップＳ４０１）。次いで、タッチパネル１００が、指の接触を検知する（ステップＳ４０２）。次いで、接触判定部１２２が、スクリーンパッド１０５に指が接触したか否かを判定する（ステップＳ４０３）。
　次いで、接触判定部１２２が指がスクリーンパッド１０５に接触したとの判定を行った場合には、ポインタ表示部１２３が、画面のうち、指の接触位置に対応した位置を指し示すポインタ１０６を画面に表示させる（ステップＳ４０４）。その後、動作制御部１２５は、仮に、ユーザが、ポインタ１０６の指し示す初期位置に指を接触させ、そのポインタ１０６の指し示す位置のその後の変化に追従するように指で画面のうち原画像を表示している部分をなぞったならば起こるであろう動作と同じものを発動させる（ステップＳ４０５）。例えば、ユーザの指操作の種類に応じ、上述した「タッチフォーカス」モードに応じた動作、又は「フォーカス」操作、「クリック」操作、若しくは「ドラッグクリック」操作に応じた動作を発動させる。
　以上、詳細に説明したことから明らかなように、本実施形態に従うユーザインタフェース装置、入力処理方法及びプログラムでは、携帯型情報機器１を片手で保持し、それと同じ手の指でタッチパネル１００を操作する場合に、ユーザは、指をスクリーンパッド１０５に接触させて、ポインタ１０６が画面内の所望の位置を指し示すように観察しながら、タッチパネル１００を操作することができる。
　その結果、ユーザは、携帯型情報機器１を保持する片手と同じ手の指で、画面内の任意の位置を、その位置が、ユーザが指で直接指し示そうとする場合には正確に指し示すことが困難である場合でも、容易に指定することが可能となるのである。
　以上、本発明の例示的な一実施形態を図面に基づいて詳細に説明したが、これらは例示であり、前記［発明の概要］の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。

Claims (12)

  1. 　画面に画像を表示するディスプレイ機能と、ユーザが指で操作面に接触する接触位置を時間経過につれて逐次出力するタッチパネル機能とを備えたユーザインタフェース装置であって、
    　前記画面に表示される原画像と同じものが縮小された参照画像を、同じ画面内に、スクリーンパッドとして表示するスクリーンパッド制御部と、
    　前記指が前記スクリーンパッドに接触したか否かを判定する接触判定部と、
    　その接触判定部が前記指が前記スクリーンパッドに接触したと判定した場合に、前記画面のうち、前記スクリーンパッド上における前記指の接触位置に対応した位置を指し示すポインタを、前記原画像上に表示するポインタ表示部と、
    　前記ポインタの指し示す位置に応じた動作を発動させる動作制御部と
    　を含むユーザインタフェース装置。
  2. 　前記動作制御部は、仮に、ユーザが、前記ポインタの指し示す初期位置に前記指を接触させ、そのポインタの指し示す位置のその後の変化に追従するように前記指で前記画面のうち前記原画像を表示している部分をなぞったならば当該ユーザインタフェース装置に起こるであろう動作と同じものを発動させる請求項１に記載のユーザインタフェース装置。
  3. 　前記スクリーンパッドは、前記画面のうち、ユーザが当該ユーザインタフェース装置を片手で保持し、それと同じ手で当該ユーザインタフェース装置を操作しようとする場合にユーザが前記同じ手の指で前記スクリーンパッド上のいずれの位置にも接触することができる位置に表示される請求項１に記載のユーザインタフェース装置。
  4. 　前記接触判定部は、前記指が前記スクリーンパッドに接触した後、その接触位置が実質的に同じ位置に保持される保持時間が所定時間以上であるか否かを判定し、
    前記動作制御部は、前記接触判定部が前記保持時間が前記所定時間以上であると判定した場合に、前記画面上において前記画像を移動させることなく固定した状態で、前記スクリーンパッド上における前記指の接触位置をモニタする「タッチフォーカス」モードを動作させる請求項１に記載のユーザインタフェース装置。
  5. 　前記動作制御部は、前記「タッチフォーカス」モードの動作中、前記ポインタが、前記原画像に含まれる操作対象であるオブジェクトの表示領域を指し示す場合に、ユーザが前記該オブジェクトを選択するための「フォーカス」操作が行われたと判定して、そのオブジェクトに対応する動作を発動させる請求項４に記載のユーザインタフェース装置。
  6. 　前記指が前記タッチパネルを押圧する押圧力を検出する押圧力検出部と、
    　その検出された押圧力が所定閾値以上であるか否かを判定する押圧力判定部と
    　を更に含み、
    　前記動作制御部は、前記「タッチフォーカス」モードの動作中、前記ポインタが前記原画像に含まれる操作対象であるオブジェクトの表示領域を指し示し、且つ、前記押圧力が前記所定閾値以上である場合に、前記オブジェクトに予め割り当てられた機能を発動させる「クリック」操作がユーザによって行われたと判定して、前記オブジェクトに対応する動作を発動させる請求項４に記載のユーザインタフェース装置。
  7. 　前記タッチパネルに接触した前記指に対して触覚応答を与える触覚応答機構部と、
    　前記「クリック」操作が行われた場合、前記指に前記タッチパネルを介して前記触覚応答を与えるべく前記触覚応答機構部を制御する触覚応答制御部と
    　を更に含む請求項６に記載のユーザインタフェース装置。
  8. 　前記指が前記タッチパネルを押圧する押圧力を検出する押圧力検出部と、
    　その検出された押圧力が所定閾値以上であるか否かを判定する押圧力判定部と
    　を更に含み、
    　前記動作制御部は、前記接触判定部が、前記指が前記スクリーンパッドに接触してから所定時間が経過しないうちに前記指が前記スクリーンパッドに接触したまま移動し、その後、前記指が停止したと判定された場合に、前記指の移動に応じて前記画像を移動させるための第１の操作と、そのドラッグ操作の終了後、前記押圧力の大きさに応じた速度で前記画像を更に移動させるための第２の操作とが連続した「ドラッグクリック」操作が行われたと判定して、それに対応する動作を発動させる請求項１に記載のユーザインタフェース装置。
  9. 　前記動作制御部は、ユーザが前記指で、前記画面のうち、前記スクリーンパッドが表示されている領域の外側の領域に接触した場合に、前記画面に前記スクリーンパッドが表示されていない場合に同じ位置に前記指が接触していたならば当該ユーザインタフェース装置に起こるであろう動作と同じものを発動させる請求項１に記載のユーザインタフェース装置。
  10. 　画面に画像を表示するディスプレイ機能と、ユーザが指で操作面に接触する接触位置を時間経過につれて逐次出力するタッチパネル機能とを備えたユーザインタフェース装置においてユーザの入力を処理する方法であって、
    　前記画面に表示される原画像と同じものが縮小された参照画像を、同じ画面内に、スクリーンパッドとして表示する第１のステップと、
    　前記指が前記スクリーンパッドに接触したか否かを判定する第２のステップと、
    　前記指が前記スクリーンパッドに接触したと判定された場合に、前記画面のうち、前記スクリーンパッド上における前記指の接触位置に対応した位置を指し示すポインタを、前記原画像上に表示する第３のステップと、
    　前記ポインタの指し示す位置に応じた動作を発動させる第４のステップと
    　を含む方法。
  11. 　画面上に画像を表示するとともに、その表示された画像に関連付けてユーザが指で操作面に接触することにより、ユーザの入力を可能とするユーザインタフェース装置においてユーザの入力を処理する方法であって、
    　前記画面に原画像を表示する第１のステップと、
    　その表示される原画像と同じものが忠実にまたは簡略化されて縮小された参照画像を、同じ画面内に、前記原画像が透けて見える半透明状態または見えない不透過状態で、前記原画像に対してオーバレイ表示することにより、画面内タッチパッドを意味するスクリーンパッドを構成する第２のステップと、
    　ユーザが前記指で前記スクリーンパッドを操作すると、その操作位置を検出し、その検出された操作位置に基づき、ユーザの入力を行う第３のステップと
    　を含む方法。
  12. 　請求項１０に記載の方法を実施するためにコンピュータによって実行されるプログラム。
PCT/JP2012/066736 2011-07-29 2012-06-29 タッチ入力が可能な画面内に原画像を縮小表示するタッチパッドを有するユーザインタフェース装置、入力処理方法及びプログラム WO2013018480A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US14/233,518 US9244544B2 (en) 2011-07-29 2012-06-29 User interface device with touch pad enabling original image to be displayed in reduction within touch-input screen, and input-action processing method and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011166608A JP5295328B2 (ja) 2011-07-29 2011-07-29 スクリーンパッドによる入力が可能なユーザインタフェース装置、入力処理方法及びプログラム
JP2011-166608 2011-07-29

Publications (1)

Publication Number Publication Date
WO2013018480A1 true WO2013018480A1 (ja) 2013-02-07

Family

ID=47629013

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/066736 WO2013018480A1 (ja) 2011-07-29 2012-06-29 タッチ入力が可能な画面内に原画像を縮小表示するタッチパッドを有するユーザインタフェース装置、入力処理方法及びプログラム

Country Status (3)

Country Link
US (1) US9244544B2 (ja)
JP (1) JP5295328B2 (ja)
WO (1) WO2013018480A1 (ja)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2799971A2 (en) * 2013-05-03 2014-11-05 Samsung Electronics Co., Ltd. Method of operating touch screen and electronic device thereof
EP2806339A1 (en) * 2013-05-24 2014-11-26 Samsung Electronics Co., Ltd Method and apparatus for displaying a picture on a portable device
WO2014189612A1 (en) * 2013-03-30 2014-11-27 Prasad Roy Varada A method of single-handed software operation of large form factor mobile electronic devices
WO2014208691A1 (ja) * 2013-06-26 2014-12-31 京セラ株式会社 携帯機器、携帯機器の制御方法
JP2015011387A (ja) * 2013-06-26 2015-01-19 京セラ株式会社 携帯機器、携帯機器の制御方法およびプログラム
JP2015011386A (ja) * 2013-06-26 2015-01-19 京セラ株式会社 携帯機器、携帯機器の制御方法およびプログラム
EP2921947A1 (en) * 2014-03-19 2015-09-23 Sony Corporation Device and method for controlling a display panel
EP2977865A4 (en) * 2013-03-19 2016-04-06 Ntt Docomo Inc INFORMATION TERMINAL, METHOD FOR CONTROLLING USER REGIONS, AND CONTROL PROGRAM FOR USE REGIONS
EP3079340A4 (en) * 2013-12-03 2016-11-30 Huawei Tech Co Ltd PROCESSING METHOD AND APPARATUS, AND TERMINAL
CN108182016A (zh) * 2016-12-08 2018-06-19 Lg电子株式会社 移动终端及其控制方法
WO2018180553A1 (ja) * 2017-03-27 2018-10-04 株式会社コナミデジタルエンタテインメント ゲームシステム、ゲーム制御装置、及びプログラム
AU2020202870B2 (en) * 2013-05-24 2021-06-10 Samsung Electronics Co., Ltd. Method and apparatus for displaying picture on portable device
EP3557399B1 (en) * 2011-08-10 2023-05-03 Samsung Electronics Co., Ltd. Input and output method in touch screen terminal and apparatus therefor

Families Citing this family (99)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9542091B2 (en) 2010-06-04 2017-01-10 Apple Inc. Device, method, and graphical user interface for navigating through a user interface using a dynamic object selection indicator
US9417754B2 (en) 2011-08-05 2016-08-16 P4tents1, LLC User interface system, method, and computer program product
KR101496512B1 (ko) 2012-03-08 2015-02-26 엘지전자 주식회사 이동 단말기 및 그 제어방법
WO2013169865A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for moving a user interface object based on an intensity of a press input
WO2013169851A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for facilitating user interaction with controls in a user interface
KR101956082B1 (ko) 2012-05-09 2019-03-11 애플 인크. 사용자 인터페이스 객체를 선택하는 디바이스, 방법, 및 그래픽 사용자 인터페이스
KR101683868B1 (ko) 2012-05-09 2016-12-07 애플 인크. 제스처에 응답하여 디스플레이 상태들 사이를 전이하기 위한 디바이스, 방법, 및 그래픽 사용자 인터페이스
WO2013169875A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for displaying content associated with a corresponding affordance
AU2013259614B2 (en) 2012-05-09 2016-08-25 Apple Inc. Device, method, and graphical user interface for providing feedback for changing activation states of a user interface object
CN104508618B (zh) 2012-05-09 2018-01-05 苹果公司 用于针对在用户界面中执行的操作提供触觉反馈的设备、方法和图形用户界面
DE202013012233U1 (de) 2012-05-09 2016-01-18 Apple Inc. Vorrichtung und grafische Benutzerschnittstelle zum Anzeigen zusätzlicher Informationen in Antwort auf einen Benutzerkontakt
WO2013169845A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for scrolling nested regions
WO2013169849A2 (en) 2012-05-09 2013-11-14 Industries Llc Yknots Device, method, and graphical user interface for displaying user interface objects corresponding to an application
WO2013169882A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for moving and dropping a user interface object
WO2013169842A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for selecting object within a group of objects
WO2013169843A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for manipulating framed graphical objects
KR20140017429A (ko) * 2012-08-01 2014-02-11 삼성전자주식회사 화면 동작 방법 및 그 전자 장치
JP5798532B2 (ja) * 2012-08-23 2015-10-21 株式会社Ｎｔｔドコモ ユーザインタフェース装置、ユーザインタフェース方法及びプログラム
WO2014040298A1 (zh) * 2012-09-17 2014-03-20 华为终端有限公司 触摸操作处理方法及终端设备
US10289204B2 (en) * 2012-11-15 2019-05-14 Quantum Interface, Llc Apparatuses for controlling electrical devices and software programs and methods for making and using same
KR102047689B1 (ko) * 2012-12-17 2019-11-22 엘지전자 주식회사 택타일 사용자 인터페이스의 미니-맵을 제공하는 터치 센서티브 디바이스 및 제어 방법
JP2014120091A (ja) * 2012-12-19 2014-06-30 Riso Kagaku Corp 電子機器
WO2014105279A1 (en) 2012-12-29 2014-07-03 Yknots Industries Llc Device, method, and graphical user interface for switching between user interfaces
AU2013368443B2 (en) 2012-12-29 2016-03-24 Apple Inc. Device, method, and graphical user interface for transitioning between touch input to display output relationships
KR102001332B1 (ko) 2012-12-29 2019-07-17 애플 인크. 콘텐츠를 스크롤할지 선택할지 결정하기 위한 디바이스, 방법 및 그래픽 사용자 인터페이스
WO2014105277A2 (en) 2012-12-29 2014-07-03 Yknots Industries Llc Device, method, and graphical user interface for moving a cursor according to a change in an appearance of a control icon with simulated three-dimensional characteristics
CN104903835B (zh) 2012-12-29 2018-05-04 苹果公司 用于针对多接触手势而放弃生成触觉输出的设备、方法和图形用户界面
CN105264479B (zh) 2012-12-29 2018-12-25 苹果公司 用于对用户界面分级结构进行导航的设备、方法和图形用户界面
JP6137453B2 (ja) * 2013-02-08 2017-05-31 インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ 制御装置及び制御プログラム
JP6221293B2 (ja) * 2013-03-27 2017-11-01 富士通株式会社 情報処理装置，情報処理方法，プログラム
JP6297787B2 (ja) * 2013-04-25 2018-03-20 京セラ株式会社 携帯電子機器
JP2015032019A (ja) * 2013-07-31 2015-02-16 株式会社ニコン 電子機器、および電子機器の制御プログラム
KR20150016695A (ko) * 2013-08-05 2015-02-13 삼성전자주식회사 디스플레이장치 및 그 제어방법
US9696882B2 (en) * 2013-08-28 2017-07-04 Lenovo (Beijing) Co., Ltd. Operation processing method, operation processing device, and control method
CN104423548B (zh) * 2013-08-28 2018-08-10 联想(北京)有限公司 一种控制方法及装置
CN104516618B (zh) * 2013-09-27 2020-01-14 中兴通讯股份有限公司 界面功能解析显示方法及装置
KR20150037014A (ko) * 2013-09-30 2015-04-08 삼성전자주식회사 전자장치 및 전자장치의 사용자 인터페이스 제공방법
JP6015866B2 (ja) * 2013-10-25 2016-10-26 株式会社村田製作所 携帯端末用表示装置
JP2015099526A (ja) * 2013-11-20 2015-05-28 富士通株式会社 情報処理装置および情報処理プログラム
KR101692848B1 (ko) * 2013-11-29 2017-01-05 주식회사 하이딥 호버링을 이용하는 가상 터치패드 조작방법 및 이를 수행하는 단말기
JP6031080B2 (ja) * 2013-11-29 2016-11-24 株式会社 ハイディープＨｉＤｅｅｐ Ｉｎｃ． 仮想タッチパッド操作方法及びこれを行う端末機
US20150186011A1 (en) * 2013-12-30 2015-07-02 Samsung Electronics Co., Ltd. Apparatus and method for interacting with items on a portable terminal
US20150193096A1 (en) * 2014-01-07 2015-07-09 Samsung Electronics Co., Ltd. Electronic device and method for operating the electronic device
US20150212610A1 (en) * 2014-01-30 2015-07-30 Samsung Display Co., Ltd. Touch-in-touch display apparatus
KR20150099297A (ko) * 2014-02-21 2015-08-31 삼성전자주식회사 전자장치의 화면 표시 방법
EP3136214A4 (en) * 2014-05-26 2017-04-26 Huawei Technologies Co. Ltd. Touch operation method and apparatus for terminal
US9898162B2 (en) 2014-05-30 2018-02-20 Apple Inc. Swiping functions for messaging applications
US9971500B2 (en) 2014-06-01 2018-05-15 Apple Inc. Displaying options, assigning notification, ignoring messages, and simultaneous user interface displays in a messaging application
JP5656307B1 (ja) * 2014-06-20 2015-01-21 パナソニック株式会社 電子機器
US11079895B2 (en) * 2014-10-15 2021-08-03 Samsung Electronics Co., Ltd. Method and apparatus for providing user interface
US10095396B2 (en) 2015-03-08 2018-10-09 Apple Inc. Devices, methods, and graphical user interfaces for interacting with a control object while dragging another object
US9645732B2 (en) 2015-03-08 2017-05-09 Apple Inc. Devices, methods, and graphical user interfaces for displaying and using menus
US9990107B2 (en) 2015-03-08 2018-06-05 Apple Inc. Devices, methods, and graphical user interfaces for displaying and using menus
US9632664B2 (en) 2015-03-08 2017-04-25 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10048757B2 (en) 2015-03-08 2018-08-14 Apple Inc. Devices and methods for controlling media presentation
US9639184B2 (en) 2015-03-19 2017-05-02 Apple Inc. Touch input cursor manipulation
US9785305B2 (en) 2015-03-19 2017-10-10 Apple Inc. Touch input cursor manipulation
US10067653B2 (en) 2015-04-01 2018-09-04 Apple Inc. Devices and methods for processing touch inputs based on their intensities
US20170045981A1 (en) 2015-08-10 2017-02-16 Apple Inc. Devices and Methods for Processing Touch Inputs Based on Their Intensities
JP6492910B2 (ja) * 2015-04-13 2019-04-03 ブラザー工業株式会社 携帯端末
US10200598B2 (en) 2015-06-07 2019-02-05 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US9830048B2 (en) 2015-06-07 2017-11-28 Apple Inc. Devices and methods for processing touch inputs with instructions in a web page
US9891811B2 (en) 2015-06-07 2018-02-13 Apple Inc. Devices and methods for navigating between user interfaces
US9674426B2 (en) 2015-06-07 2017-06-06 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US9860451B2 (en) 2015-06-07 2018-01-02 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
DK179116B1 (en) * 2015-06-07 2017-11-06 Apple Inc Devices and Methods for Navigating Between User Interfaces
AU2016231472B1 (en) * 2015-06-07 2016-11-10 Apple Inc. Devices and methods for navigating between user interfaces
US10346030B2 (en) * 2015-06-07 2019-07-09 Apple Inc. Devices and methods for navigating between user interfaces
US20170024086A1 (en) * 2015-06-23 2017-01-26 Jamdeo Canada Ltd. System and methods for detection and handling of focus elements
CN106371688B (zh) * 2015-07-22 2019-10-01 小米科技有限责任公司 全屏幕单手操作方法及装置
US10416800B2 (en) 2015-08-10 2019-09-17 Apple Inc. Devices, methods, and graphical user interfaces for adjusting user interface objects
US9880735B2 (en) 2015-08-10 2018-01-30 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10235035B2 (en) 2015-08-10 2019-03-19 Apple Inc. Devices, methods, and graphical user interfaces for content navigation and manipulation
US10248308B2 (en) 2015-08-10 2019-04-02 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interfaces with physical gestures
CN105117056B (zh) * 2015-08-17 2019-02-01 青岛海信移动通信技术股份有限公司 一种操作触摸屏的方法和设备
US20170192511A1 (en) * 2015-09-29 2017-07-06 Telefonaktiebolaget Lm Ericsson (Publ) Touchscreen Device and Method Thereof
KR20170085419A (ko) * 2016-01-14 2017-07-24 삼성전자주식회사 터치 입력에 기반한 동작 방법 및 그 전자 장치
CN105487273A (zh) * 2016-01-15 2016-04-13 京东方科技集团股份有限公司 显示面板及其驱动方法和制作方法、显示装置
JP6213581B2 (ja) * 2016-01-20 2017-10-18 コニカミノルタ株式会社 情報処理装置及び情報処理装置の制御プログラム
DE102016001369B4 (de) * 2016-02-06 2018-03-29 Audi Ag Verfahren zur automatischen Benutzeranpassung der Reizcharakteristik eines aktiven Bedienelementes eines Fahrzeugs
JP2017157079A (ja) 2016-03-03 2017-09-07 富士通株式会社 情報処理装置、表示制御方法、及び表示制御プログラム
KR102526860B1 (ko) * 2016-03-18 2023-05-02 삼성전자주식회사 전자 장치 및 전자 장치 제어 방법
KR101976605B1 (ko) * 2016-05-20 2019-05-09 이탁건 전자기기 및 그 동작 방법
JP6762770B2 (ja) * 2016-06-06 2020-09-30 株式会社デンソーテン タッチパネル装置及びタッチパネルの制御方法
CN106354418B (zh) * 2016-11-16 2019-07-09 腾讯科技（深圳）有限公司 一种基于触摸屏的操控方法和装置
US11301124B2 (en) 2017-08-18 2022-04-12 Microsoft Technology Licensing, Llc User interface modification using preview panel
US10417991B2 (en) 2017-08-18 2019-09-17 Microsoft Technology Licensing, Llc Multi-display device user interface modification
US11237699B2 (en) 2017-08-18 2022-02-01 Microsoft Technology Licensing, Llc Proximal menu generation
US20190056857A1 (en) * 2017-08-18 2019-02-21 Microsoft Technology Licensing, Llc Resizing an active region of a user interface
CN110168487B (zh) * 2017-11-07 2022-04-05 华为技术有限公司 一种触摸控制方法及装置
CN108363508B (zh) * 2018-01-13 2021-03-23 江南大学 一种手机触控屏Mark定位非接触式视觉检测方法
US11320985B2 (en) 2018-02-08 2022-05-03 Rakuten Groun. Inc. Selection device, selection method, program, and non-transitory computer-readable information recording medium
US11467712B1 (en) * 2019-04-03 2022-10-11 David Graham Boyers Method and graphical user interface for positioning a preselection and selecting on a smart-watch with a touch-sensitive display
US11409279B1 (en) * 2019-09-26 2022-08-09 Amazon Technologies, Inc. Autonomously motile device with remote control
US11731037B2 (en) * 2020-09-11 2023-08-22 Riot Games, Inc. Rapid target selection with priority zones
US20220155948A1 (en) * 2020-11-13 2022-05-19 Adobe Inc. Offset touch screen editing
CN114546145A (zh) * 2020-11-24 2022-05-27 明基智能科技（上海）有限公司 游标控制方法及应用其的触控显示装置
CN112558699A (zh) * 2020-12-23 2021-03-26 联想(北京)有限公司 一种触控方法、装置、设备及计算机可读存储介质
CN113849093A (zh) * 2021-09-28 2021-12-28 联想(北京)有限公司 一种控制方法、装置及电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05330289A (ja) * 1992-05-29 1993-12-14 Hitachi Software Eng Co Ltd 電子黒板装置
JPH10293644A (ja) * 1997-04-18 1998-11-04 Idec Izumi Corp タッチパネル付表示装置
JP2000105671A (ja) * 1998-05-11 2000-04-11 Ricoh Co Ltd 座標入力／検出装置および電子黒板システム
JP2004151987A (ja) * 2002-10-30 2004-05-27 Casio Comput Co Ltd 情報処理装置、及び情報処理方法、並びにプログラム
JP2007122459A (ja) * 2005-10-28 2007-05-17 Alps Electric Co Ltd パッド型入力装置及びこれを用いたスクロール制御方法
WO2012077273A1 (ja) * 2010-12-07 2012-06-14 パナソニック株式会社 電子機器

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09198352A (ja) 1996-01-18 1997-07-31 Mitsubishi Electric Corp 携帯型情報通信装置
US6118435A (en) 1997-04-10 2000-09-12 Idec Izumi Corporation Display unit with touch panel
US7499040B2 (en) * 2003-08-18 2009-03-03 Apple Inc. Movable touch pad with added functionality
JP2008257374A (ja) * 2007-04-03 2008-10-23 Sharp Corp 携帯情報端末及び携帯電話機
US8315672B2 (en) * 2008-12-01 2012-11-20 Research In Motion Limited Portable electronic device and method of controlling same
JP5157968B2 (ja) 2009-03-09 2013-03-06 株式会社Ｊｖｃケンウッド タッチパネル座標指定方法およびタッチパネル座標指定装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05330289A (ja) * 1992-05-29 1993-12-14 Hitachi Software Eng Co Ltd 電子黒板装置
JPH10293644A (ja) * 1997-04-18 1998-11-04 Idec Izumi Corp タッチパネル付表示装置
JP2000105671A (ja) * 1998-05-11 2000-04-11 Ricoh Co Ltd 座標入力／検出装置および電子黒板システム
JP2004151987A (ja) * 2002-10-30 2004-05-27 Casio Comput Co Ltd 情報処理装置、及び情報処理方法、並びにプログラム
JP2007122459A (ja) * 2005-10-28 2007-05-17 Alps Electric Co Ltd パッド型入力装置及びこれを用いたスクロール制御方法
WO2012077273A1 (ja) * 2010-12-07 2012-06-14 パナソニック株式会社 電子機器

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3557399B1 (en) * 2011-08-10 2023-05-03 Samsung Electronics Co., Ltd. Input and output method in touch screen terminal and apparatus therefor
EP2977865A4 (en) * 2013-03-19 2016-04-06 Ntt Docomo Inc INFORMATION TERMINAL, METHOD FOR CONTROLLING USER REGIONS, AND CONTROL PROGRAM FOR USE REGIONS
WO2014189612A1 (en) * 2013-03-30 2014-11-27 Prasad Roy Varada A method of single-handed software operation of large form factor mobile electronic devices
EP2799971A3 (en) * 2013-05-03 2014-11-12 Samsung Electronics Co., Ltd. Method of operating touch screen and electronic device thereof
EP2799971A2 (en) * 2013-05-03 2014-11-05 Samsung Electronics Co., Ltd. Method of operating touch screen and electronic device thereof
US9652056B2 (en) 2013-05-03 2017-05-16 Samsung Electronics Co., Ltd. Touch-enable cursor control method and electronic device thereof
EP2806339A1 (en) * 2013-05-24 2014-11-26 Samsung Electronics Co., Ltd Method and apparatus for displaying a picture on a portable device
US10691291B2 (en) 2013-05-24 2020-06-23 Samsung Electronics Co., Ltd. Method and apparatus for displaying picture on portable device
AU2020202870B2 (en) * 2013-05-24 2021-06-10 Samsung Electronics Co., Ltd. Method and apparatus for displaying picture on portable device
WO2014208691A1 (ja) * 2013-06-26 2014-12-31 京セラ株式会社 携帯機器、携帯機器の制御方法
US10007375B2 (en) 2013-06-26 2018-06-26 Kyocera Corporation Portable apparatus and method for controlling cursor position on a display of a portable apparatus
JP2015011386A (ja) * 2013-06-26 2015-01-19 京セラ株式会社 携帯機器、携帯機器の制御方法およびプログラム
JP2015011387A (ja) * 2013-06-26 2015-01-19 京セラ株式会社 携帯機器、携帯機器の制御方法およびプログラム
EP3079340A4 (en) * 2013-12-03 2016-11-30 Huawei Tech Co Ltd PROCESSING METHOD AND APPARATUS, AND TERMINAL
US10073613B2 (en) 2013-12-03 2018-09-11 Huawei Technologies Co., Ltd. Processing method and apparatus, and terminal
CN104932809A (zh) * 2014-03-19 2015-09-23 索尼公司 用于控制显示面板的装置和方法
EP2921947A1 (en) * 2014-03-19 2015-09-23 Sony Corporation Device and method for controlling a display panel
US10073493B2 (en) 2014-03-19 2018-09-11 Sony Corporation Device and method for controlling a display panel
CN108182016A (zh) * 2016-12-08 2018-06-19 Lg电子株式会社 移动终端及其控制方法
CN108182016B (zh) * 2016-12-08 2023-03-21 Lg电子株式会社 移动终端及其控制方法
KR20190120311A (ko) * 2017-03-27 2019-10-23 가부시키가이샤 코나미 데지타루 엔타테인멘토 게임 시스템, 게임 제어 장치 및 컴퓨터 판독가능 기록 매체
JP2018161447A (ja) * 2017-03-27 2018-10-18 株式会社コナミデジタルエンタテインメント ゲームシステム、ゲーム制御装置、及びプログラム
KR102358390B1 (ko) * 2017-03-27 2022-02-07 가부시키가이샤 코나미 데지타루 엔타테인멘토 게임 시스템, 게임 제어 장치 및 컴퓨터 판독가능 기록 매체
US11266904B2 (en) 2017-03-27 2022-03-08 Konami Digital Entertainment Co., Ltd. Game system, game control device, and information storage medium
WO2018180553A1 (ja) * 2017-03-27 2018-10-04 株式会社コナミデジタルエンタテインメント ゲームシステム、ゲーム制御装置、及びプログラム

Also Published As

Publication number Publication date
JP5295328B2 (ja) 2013-09-18
JP2013030050A (ja) 2013-02-07
US20140160073A1 (en) 2014-06-12
US9244544B2 (en) 2016-01-26

Similar Documents

Publication Publication Date Title
WO2013018480A1 (ja) タッチ入力が可能な画面内に原画像を縮小表示するタッチパッドを有するユーザインタフェース装置、入力処理方法及びプログラム
JP5750875B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP4557058B2 (ja) 情報表示端末、情報表示方法、およびプログラム
EP2733591B1 (en) User interface device capable of execution of input by finger contact in plurality of modes, input operation assessment method, and program
JP4734435B2 (ja) タッチパネル式ディスプレイを持った携帯型ゲーム装置
TWI382739B (zh) 用以提供資訊的卷軸運動之方法、電腦程式產品、電子裝置及卷軸多功能鍵模組
KR101544364B1 (ko) 듀얼 터치 스크린을 구비한 휴대 단말기 및 그 컨텐츠 제어방법
JP6132644B2 (ja) 情報処理装置、表示制御方法、コンピュータプログラム、及び記憶媒体
JP4650559B2 (ja) 情報処理装置、情報処理方法、情報処理システムおよび情報処理用プログラム
US20110060986A1 (en) Method for Controlling the Display of a Touch Screen, User Interface of the Touch Screen, and an Electronic Device using The Same
JP5640486B2 (ja) 情報表示装置
JP5848732B2 (ja) 情報処理装置
JP2013089202A (ja) 入力制御装置、入力制御方法、及び入力制御プログラム
JP2013089200A (ja) 入力制御装置、入力制御方法、及び入力制御プログラム
JP2011034169A (ja) 情報入力装置および情報入力方法
JP2000267808A (ja) タッチパネル入力装置と表示装置とを連携させた入力方法
WO2012169189A1 (ja) タッチパネル入力装置
JP5993072B1 (ja) 電子機器のユーザ・インターフェース、入力の処理方法および電子機器
JP2002236550A (ja) 画面位置入力方法および装置
JP2013196465A (ja) オブジェクト選択時に触覚応答が付与されるユーザインタフェース装置、触覚応答付与方法及びプログラム
JP5713400B2 (ja) ポインタを用いた指による操作が可能なユーザインタフェース装置、動作発動方法及びプログラム
JP2018023792A (ja) ゲーム装置及びプログラム
JP5269154B2 (ja) 指を接触させたままで種々の操作が実行可能なユーザインタフェース装置、入力操作判定方法及びプログラム
WO2018123320A1 (ja) ユーザーインターフェイス装置及び電子機器
JP5523381B2 (ja) タッチパネル式ディスプレイを持った携帯型ゲーム装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12819842

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14233518

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12819842

Country of ref document: EP

Kind code of ref document: A1