JP5510185B2 - 情報処理装置、プログラム及び表示制御方法 - Google Patents

情報処理装置、プログラム及び表示制御方法 Download PDF

Info

Publication number
JP5510185B2
JP5510185B2 JP2010185070A JP2010185070A JP5510185B2 JP 5510185 B2 JP5510185 B2 JP 5510185B2 JP 2010185070 A JP2010185070 A JP 2010185070A JP 2010185070 A JP2010185070 A JP 2010185070A JP 5510185 B2 JP5510185 B2 JP 5510185B2
Authority
JP
Japan
Prior art keywords
cursor
screen
display control
event
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010185070A
Other languages
English (en)
Other versions
JP2012043266A (ja
Inventor
文規 本間
麗子 宮崎
斉昭 佐藤
辰志 梨子田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2010185070A priority Critical patent/JP5510185B2/ja
Priority to US13/197,824 priority patent/US20120044173A1/en
Priority to EP11177295A priority patent/EP2420925A2/en
Priority to CN2011202970790U priority patent/CN202502479U/zh
Priority to BRPI1106261-4A priority patent/BRPI1106261A2/pt
Priority to RU2011134146/08A priority patent/RU2011134146A/ru
Priority to CN2011102365232A priority patent/CN102375683A/zh
Priority to KR1020110080575A priority patent/KR20120018279A/ko
Publication of JP2012043266A publication Critical patent/JP2012043266A/ja
Application granted granted Critical
Publication of JP5510185B2 publication Critical patent/JP5510185B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486—Drag-and-drop

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Description

本発明は、情報処理装置、プログラム及び表示制御方法に関する。
近年、タッチ画面（touch screen）が設けられた様々な機器が広く利用されている。タッチ画面は、タッチパネルとも呼ばれ、１つの画面上で表示及び入力という２つの機能性を実現する。タッチ画面の性能は年々進化しており、近い将来、人間の視覚の解像度と同等の画質を表現し得るタッチ画面が製品化されることが予測されている。
タッチ画面の表示解像度が高度化するにつれて、表示解像度とタッチ画面への入力の分解能との乖離が顕著となってきている。表示解像度と入力分解能との乖離が広がると、いわゆるファットフィンガ（fat finger）の問題がより深刻となり得る。ファットフィンガとは、機器を扱うユーザの指の太さを原因とする問題に関連して使用される用語である。例えば、タッチ画面に限らず、キーボード、キーパッド又はボタンを用いる場合の誤入力などの文脈においても、ファットフィンガという用語は使用され得る。しかし、１つの画面上で表示及び入力が行われるタッチ画面では、誤入力のみならず、指（又は指の代わりに使用されるスタイラスなど）により画面上のオブジェクト（例えばボタン、アイコン又はテキストなど）が隠されるという特有の問題が存在する。なお、このような問題は、タッチ画面と同じく１つの画面上で表示及び入力という２つの機能性を実現する近接検出画面に関しても同様である（近接検出画面とは、操作体が直接画面に接触することを必要とせず、操作体が画面に接近したことを検出してユーザ入力を認識する画面をいう）。
ファットフィンガの問題を回避するために利用され得る１つの技術として、既存の製品のいくつかは、いわゆるルーペ（あるいは拡大鏡）と呼ばれる機能を提供する。ルーペ機能は、典型的には、ユーザにより指定される画面内の領域を拡大して表示する機能である。しかし、ルーペ機能を用いる場合にも、拡大された領域を操作する際に、指が少なくとも部分的にオブジェクトを覆い隠してしまうことは避けられない。また、領域の拡大表示に伴う視線の移動は、直感的なインタフェースを損なうと共に、ユーザにとっての負担となり得る。
これらの問題に対し、下記特許文献１は、画面上の操作対象位置を先端で指し示す矢印状のカーソルの柄の部分に、カーソルの移動及びオブジェクトの選択のための専用の領域を設けることを提案している。それにより、操作対象位置とタッチ位置とが分離される。
特許第３７４４１１６号公報
しかしながら、上記特許文献１に記載された手法では、操作のためにユーザがタッチし得る領域が専用の小さい領域に限られるため、ユーザインタフェースの汎用性が失われ、目的に応じた多様なユーザインタフェースを提供することが困難となる。
そこで、本発明は、操作対象を隠すことなく画面上での多様なユーザインタフェースを実現することを可能とする、新規かつ改良された情報処理装置、プログラム及び表示制御方法を提供しようとするものである。
本発明のある実施形態によれば、画面上での操作イベントを認識する認識部と、上記認識部により第１の操作イベントが認識された場合に、上記第１の操作イベントにおける操作検出位置との間にオフセットを有する位置である操作対象位置を囲む枠を有するカーソルを上記画面に表示する表示制御部と、を備える情報処理装置が提供される。
かかる構成によれば、操作イベント（例えば、タッチイベント又は近接イベント）における操作検出位置（例えば、タッチ位置又は近接検出位置）と上記カーソルの枠との間の位置関係を利用する様々なユーザインタフェースをユーザに提供することができる。また、操作対象位置にあるオブジェクトは、上記カーソル又は上記カーソルを操作する操作体により覆い隠されない。
また、上記表示制御部は、操作検出位置の移動と関連付けられる第２の操作イベントが上記認識部により認識された場合に、移動開始時の操作検出位置と上記操作対象位置との間の間隔に応じて変化する割合で、上記カーソルを移動させてもよい。
また、上記間隔が所定の閾値を下回る場合には、操作検出位置の移動量と上記カーソルの移動量とは等しく、上記間隔が上記所定の閾値を上回る場合には、操作検出位置の移動量よりも上記カーソルの移動量は小さくてもよい。
また、上記間隔が所定の閾値を下回る場合には、操作検出位置の移動量と上記カーソルの移動量とは等しく、上記間隔が上記所定の閾値を上回る場合には、操作検出位置の移動量よりも上記カーソルの移動量は大きくてもよい。
また、上記表示制御部は、上記画面とは別の画面に上記カーソルを表示可能であってもよく、上記第２の操作イベントに応じて上記カーソルが上記別の画面に移動した場合に、上記カーソルをユーザにより操作可能とするための補助カーソルを上記画面にさらに表示してもよい。
また、上記表示制御部は、上記第２の操作イベントに応じた上記カーソルの移動経路上に操作可能なオブジェクトが存在する場合に、上記カーソルを上記操作可能なオブジェクト上で停止させてもよい。
また、上記表示制御部は、上記第２の操作イベントに応じて上記カーソルを移動させる際に、上記操作対象位置が上記画面に表示された移動可能なオブジェクトに重なっている場合には、上記移動可能なオブジェクトを上記カーソルと共に移動させるべきか否かを上記間隔に応じて判定してもよい。
また、上記表示制御部は、操作検出位置の移動と関連付けられる第２の操作イベントが上記認識部により認識された場合に、移動開始時の操作検出位置が上記カーソルの枠の内側にあるか外側にあるかに応じて変化する割合で、上記カーソルを移動させてもよい。
また、上記表示制御部は、上記認識部により第３の操作イベントが認識された場合に、上記オフセットに関わらず、上記第３の操作イベントにおける操作検出位置の近傍に上記カーソルを表示してもよい。
また、上記表示制御部は、上記操作対象位置が上記画面に表示された操作可能なオブジェクトに重なっている場合に、上記カーソルの枠の色、形状又はサイズを変化させてもよい。
また、上記表示制御部は、上記認識部により上記カーソルの枠の内側での第４の操作イベントが認識された場合に、上記カーソルの枠の内側の表示を拡大し又は縮小してもよい。
また、上記カーソルの枠はリング状であり、上記操作対象位置は当該リングの中心であってもよい。
また、上記表示制御部は、上記操作対象位置が操作可能な複数のオブジェクトに重なっている場合には、上記認識部により認識される上記カーソルの回転と関連付けられる第５の操作イベントに応じて、上記複数のオブジェクトのいずれかを選択してもよい。
また、上記表示制御部は、上記カーソルの枠の内側へのタッチを伴う第６の操作イベントが上記認識部により認識された場合に、上記第６の操作イベントの前に設定された基準位置と上記操作対象位置とが共に上記画面に表示されるように、上記画面の表示を縮小してもよい。
また、上記表示制御部は、上記第２の操作イベントに応じた上記カーソルの移動経路が上記カーソルの非表示領域に衝突する場合に、上記カーソルを移動させる代わりに上記カーソルの枠を変形させてもよい。
また、上記表示制御部は、タッチの開始から所定の時間の間上記操作対象位置を補正することにより、ユーザの意図しない上記操作検出位置の変動を吸収してもよい。
また、上記認識部により認識される操作イベントは、タッチイベント又は近接イベントであってもよい。
また、本発明の別の実施形態によれば、画面を有する情報処理装置を制御するコンピュータを、上記画面上での操作イベントを認識する認識部と、上記認識部により第１の操作イベントが認識された場合に、上記第１の操作イベントにおける操作検出位置との間にオフセットを有する位置である操作対象位置を囲む枠を有するカーソルを上記画面に表示する表示制御部と、として機能させるためのプログラムが提供される。
また、本発明の別の実施形態によれば、画面の表示を制御するための表示制御方法であって、上記画面上での操作イベントを認識するステップと、第１の操作イベントが認識された場合に、上記第１の操作イベントにおける操作検出位置との間にオフセットを有する位置である操作対象位置を囲む枠を有するカーソルを上記画面に表示するステップと、を含む表示制御方法が提供される。
以上説明したように、本発明に係る情報処理装置、プログラム及び表示制御方法によれば、操作対象を隠すことなく画面上での多様なユーザインタフェースを実現することが可能となる。
一実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。 一実施形態に係る情報処理装置の論理的な構成の一例を示すブロック図である。 一実施形態に係るカーソルの形状の一例を説明するための説明図である。 一実施形態に係るカーソルの形状の他の例を説明するための説明図である。 カーソルのオフセットについて説明するための第１の説明図である。 カーソルのオフセットについて説明するための第２の説明図である。 一実施形態に係るＧＵＩの第１の例について説明するための説明図である。 一実施形態に係るＧＵＩの第２の例について説明するための第１の説明図である。 一実施形態に係るＧＵＩの第２の例について説明するための第２の説明図である。 一実施形態に係るＧＵＩの第２の例について説明するための第３の説明図である。 一実施形態に係るＧＵＩの第３の例について説明するための第１の説明図である。 一実施形態に係るＧＵＩの第３の例について説明するための第２の説明図である。 一実施形態に係るＧＵＩの第４の例について説明するための説明図である。 一実施形態に係るＧＵＩの第５の例について説明するための第１の説明図である。 一実施形態に係るＧＵＩの第５の例について説明するための第２の説明図である。 一実施形態に係るＧＵＩの第６の例について説明するための説明図である。 一実施形態に係るＧＵＩの第７の例について説明するための説明図である。 操作対象位置の補正について説明するための説明図である。 一変形例に係る情報処理装置のハードウェア構成について説明するための概略図である。 一変形例に係る情報処理装置のハードウェア構成の他の例について説明するための概略図である。 一変形例に係る情報処理装置の論理的な構成の一例を示すブロック図である。 一変形例に係るＧＵＩの一例について説明するための第１の説明図である。 一変形例に係るＧＵＩの一例について説明するための第２の説明図である。 上述した実施形態に係る表示制御処理の概略的な流れの一例を示すフローチャートである。 タッチ移動関連イベントが認識された場合の表示制御処理の詳細な流れの一例を示すフローチャートである。
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付すことにより重複説明を省略する。
また、以下の順序にしたがって当該「発明を実施するための形態」を説明する。
１．一実施形態の構成例
１−１．装置の構成
１−２．カーソルの形状
１−３．カーソル表示位置
２．多様なＧＵＩの例
２−１．カーソル位置の微調整
２−２．絶対的位置へのカーソル移動
２−３．オブジェクトのロック
２−４．カーソル内の表示拡大
２−５．奥行き方向の操作
２−６．選択範囲のズーム
２−７．カーソルの変形
２−８．操作対象位置の補正
３．変形例の説明
３−１．装置の構成
３−２．ＧＵＩの例
４．処理の流れの例
５．まとめ
＜１．一実施形態の構成例＞
本明細書において説明する情報処理装置は、典型的には、タッチ画面又は近接検出画面を有する装置である。情報処理装置は、例えば、ＰＣ（Personal Computer）、スマートフォン、携帯情報端末（Personal Digital Assistant）、音楽プレーヤ、ゲーム端末又はデジタル家電機器などであってよい。また、情報処理装置は、これら装置と接続される周辺機器であってもよい。
［１−１．装置の構成］
まず、図１及び図２を用いて、本発明の一実施形態に係る情報処理装置１００の構成について説明する。なお、本実施形態では、情報処理装置１００がタッチ画面を有する例について主に説明する。しかしながら、後の説明から明らかであるように、情報処理装置１００がタッチ画面の代わりに近接検出画面を有する場合にも、本実施形態の多くの特徴は同等に適用可能である。
（１）ハードウェア構成
図１は、本実施形態に係る情報処理装置１００のハードウェア構成の一例を示すブロック図である。図１を参照すると、情報処理装置１００は、タッチ画面２０、バス３０、ＣＰＵ（Central Processing Unit）３２、ＲＯＭ（Read Only Memory）３４及びＲＡＭ（Random Access Memory）３６を備える。
タッチ画面２０は、タッチ検出面２２及び表示面２４を含む。タッチ検出面２２は、タッチ画面２０上へのユーザによるタッチを感知し、操作検出位置（即ち、タッチ位置）に応じた電気信号を生成する。タッチ検出面２２は、例えば、抵抗膜方式、表面弾性波方式又は静電容量方式などの任意のタッチ検出方式に従って形成され得る。また、タッチ検出面２２は、タッチの押圧力をさらに感知してもよい。なお、タッチ画面２０の代わりに近接検出画面が利用される場合には、近接検出画面は、例えば、光学式又は静電容量式の近接センサを用いて、画面に接近する操作体を感知する。この場合にも、近接検出画面は、操作検出位置（近接検出位置）に応じた電気信号を生成する。表示面２４は、情報処理装置１００からの出力画像を表示する。表示面２４は、例えば、液晶、有機ＥＬ（Organic Light-Emitting Diode：ＯＬＥＤ）又はＣＲＴ（Cathode Ray Tube）などを用いて実現され得る。
バス３０は、タッチ検出面２２、表示面２４、ＣＰＵ３２、ＲＯＭ３４及びＲＡＭ３６を相互に接続する。
ＣＰＵ３２は、情報処理装置１００の動作全般を制御する。ＲＯＭ３４は、ＣＰＵ３２により実行されるソフトウェアを構成するプログラム及びデータを記憶する。ＲＡＭ３６は、ＣＰＵ３２による処理の実行時に、プログラム及びデータを一時的に記憶する。
なお、ここでは説明の簡明さの観点から説明を省略するが、情報処理装置１００は、図１に示した構成要素以外の構成要素を含んでもよい。
（２）論理的な構成
図２は、本実施形態に係る情報処理装置１００の論理的な構成の一例を示すブロック図である。図２を参照すると、情報処理装置１００は、タッチ検出部１１０、表示部１２０、認識部１４０、表示制御部１５０、記憶部１６０及びアプリケーション部１７０を備える。
タッチ検出部１１０は、タッチ画面２０のタッチ検出面２２により感知されるタッチを検出する。そして、タッチ検出部１１０は、検出される操作検出位置（本実施形態では、タッチ位置に等しい。他の実施形態においては、近接検出位置であってもよい）を含む情報を、認識部１４０へ時系列で出力する。また、タッチ検出部１１０は、押圧力などの追加的な情報をさらに認識部１４０へ出力してもよい。
表示部１２０は、表示制御部１５０による制御に応じ、タッチ画面２０の表示面２４を用いて、情報処理装置１００からの出力画像を表示する。例えば、表示部１２０により表示される出力画像は、後述するアプリケーション部１７０により生成されるアプリケーション画面を含み得る。また、表示部１２０により表示される出力画像は、情報処理装置１００のオペレーティングシステム（図示せず）の画面を含み得る。さらに、これら出力画像には、表示制御部１５０により制御されるカーソルの画像が重畳され得る。
認識部１４０は、タッチ検出部１１０から入力されるタッチ位置などの情報に基づいて、タッチ画面２０上でのユーザによるタッチに応じた様々な操作イベント（本実施形態では、タッチイベントに相当する。他の実施形態においては、近接イベントであってもよい）を認識する。本実施形態において、認識部１４０により認識されるタッチイベントは、例えば、タッチ開始、タッチ移動及びタッチ終了という３種類の原始的なイベントを含み得る。これらイベントには、タッチ位置がそれぞれ関連付けられる。タッチ画面２０がマルチタッチ検出機能を有する場合には、各イベントに複数のタッチ位置がそれぞれ関連付けられ得る。さらに、認識部１４０は、原始的なタッチイベントの組み合わせ又はタッチ位置の軌跡などに基づいて、より抽象化されたタッチイベントを認識し得る。例えば、認識部１４０により認識される抽象化されたタッチイベントは、タップ、ドラッグ、ツイスト、マルチタップ、ピンチイン及びピンチアウトなどを含み得る。さらに、タッチ検出面２２がタッチの押圧力を感知する場合には、認識部１４０は、所定の押圧力の変化を１つのタッチイベントとして認識してもよい。認識部１４０は、このように認識されるタッチイベントを表示制御部１５０へ出力する。
表示制御部１５０は、表示部１２０により表示される出力画像の内容を制御する。例えば、表示制御部１５０は、アプリケーション部１７０により生成されるアプリケーション画面又はオペレーティングシステムの画面を表示部１２０に表示させる。また、本実施形態において、表示制御部１５０は、後に説明する特有のカーソルを表示部１２０に表示させる。そして、表示制御部１５０は、認識部１４０により認識されるタッチイベントに応じて、当該カーソル及び関連するオブジェクトの表示を制御する。
記憶部１６０は、表示制御部１５０による表示制御のために使用されるデータを記憶する。例えば、記憶部１６０は、表示制御部１５０により表示されるカーソルの形状及びサイズを定義するカーソル定義データを記憶する。また、例えば、記憶部１６０は、カーソルを介する操作の対象となる位置である操作対象位置とタッチ位置との間のオフセットの初期値及び現在値を記憶する。また、例えば、記憶部１６０は、タッチ位置の移動と関連付けられるタッチイベント（例えばドラッグなど）に応じてカーソルが移動する際の移動量に関する設定値を記憶する。これらデータを用いて実現されるユーザインタフェースの例については、後により詳細に説明する。
アプリケーション部１７０は、情報処理装置１００のユーザにアプリケーション機能を提供する。例えば、アプリケーション部１７０は、Ｗｅｂブラウザ、デジタルアルバム、文書エディタ、電子メールクライアント、コンテンツプレーヤ及びゲームアプリケーションのうちの１つ以上を含んでよい。ユーザは、後に説明する特有のカーソルを用いたユーザインタフェースを介して、これらアプリケーション機能を利用することができる。
［１−２．カーソルの形状］
次に、本実施形態に係る情報処理装置１００が提供するユーザインタフェースのために用いられるカーソルの基本的な構成を説明する。
図３は、カーソルの形状の一例を説明するための説明図である。図３の左には、情報処理装置１００のタッチ画面２０が示されている。タッチ画面２０には、一例としてのカーソル１０が表示されている。カーソル１０は、操作対象位置を囲む枠を有するリング状の形状をしている。
図３の右には、拡大されたカーソル１０の枠１４が示されている。枠１４は、共に操作対象位置１５を中心とする、半径Ｄ１の内周及び半径Ｄ２の外周により形成される。これら枠１４の内周及び外周の半径の値は、例えば、記憶部１６０により記憶される定義データにより定義され得る。半径Ｄ１の値は、例えば、ユーザの平均的な指先の幅が枠１４の内部に十分に入る程度の値から選択されてよい。枠１４は、例えば、枠１４と重なる画面上のオブジェクトが視認可能となるように、半透明に表示され得る。
カーソル１０に対する操作は、例えば、操作対象位置１５を中心とする矩形領域１８の内部へのタッチにより行われ得る。即ち、表示制御部１５０は、認識部１４０によりタッチイベントが認識された場合に、例えばそのタッチイベントにおけるタッチ位置が矩形領域１８の内部であれば、当該タッチイベントに応じて、カーソル１０を用いたユーザインタフェースの制御を実行する。
図３の右に示したように、矩形領域１８の内部の領域は、カーソル１０の枠１４との位置関係に応じて、３つの領域に分類され得る。第１の領域は、枠内（リング内）の領域である。例えば、タッチ検出部１１０により検出されたタッチ位置と操作対象位置１５との間の間隔（gap）が半径Ｄ１よりも小さい場合には、枠内へのタッチが行われたことが認識され得る。第２の領域は、枠上の領域である。例えば、タッチ位置と操作対象位置１５との間の間隔が半径Ｄ１以上かつ半径Ｄ２以下である場合には、枠上へのタッチが行われたことが認識され得る。第３の領域は、枠外（リング外）の領域である。例えば、タッチ位置と操作対象位置１５との間の間隔が半径Ｄ２よりも大きい場合には、枠外へのタッチが行われたことが認識され得る。
図４は、カーソルの形状の他の例を説明するための説明図である。図４の左には、操作対象位置１５ａを囲む枠１４ａを有するカーソル１０ａが示されている。カーソル１０ａの枠１４ａは、ボックス状の形状をしている。一方、図４の右には、操作対象位置１５ｂを囲む枠１４ｂを有するカーソル１０ｂが示されている。カーソル１０ｂの枠１４ｂは、上下左右において部分的に間隙を有するリング状の形状をしている。このように、情報処理装置１００のタッチ画面２０に表示されるカーソルの枠は、操作対象位置を囲む様々な形状をとり得る。そして、カーソルの枠は、必ずしも操作対象位置を完全に囲んでいなくてもよい。これらの場合においても、表示制御部１５０は、タッチ位置と操作対象位置との間隔に応じて、タッチ位置を枠内、枠上及び枠外の３つに分類することができる。
本実施形態に関する以下の説明では、図３に例示したリング状のカーソル１０がタッチ画面２０に表示されるものとする。
［１−３．カーソル表示位置］
表示制御部１５０は、任意のタッチイベントが認識された場合に、上述したカーソルをタッチ画面２０に表示してよい。
例えば、表示制御部１５０は、認識部１４０により何らかのタッチイベント（イベントＥｖ１）が認識された場合に、当該タッチイベントのタッチ位置との間で所定のオフセットを有する操作対象位置を決定する。そして、表示制御部１５０は、決定した操作対象位置がカーソル表示対象のオブジェクト上にある場合には、当該操作対象位置を囲むカーソル１０を表示し得る。
図５及び図６は、上述したカーソルのオフセットについて説明するための説明図である。
図５の左のタッチ画面２０において、タッチ位置１６の上方に操作対象位置１５が示されている。この場合、タッチ位置１６と操作対象位置１５との間のオフセットは、垂直方向の距離Ｌにより与えられる。図５の中央のタッチ画面２０においては、タッチ位置１６の上方の操作対象位置１５は、カーソル表示対象オブジェクトであるテキスト上に位置している。そこで、表示制御部１５０は、この操作対象位置１５を囲むカーソル１０を表示する。このように表示されたカーソル１０は、ユーザがタッチ画面２０から指（又はスタイラスなどのその他の操作体）を離した後も、画面上に残ってよい。図５の右には、指が離れた状態でタッチ画面２０にカーソル１０が表示されている様子が示されている。
なお、図５の例に限定されず、表示制御部１５０は、所定の閾値を超える押圧力を伴うタッチ、特定のメニューの選択又はボタンの押下などの他のイベントをきっかけとして、カーソル１０を表示してもよい。
図５の例におけるオフセットは、非表示であったカーソル１０が表示される際の初期値のオフセットである。一方、カーソル１０が表示された後、ユーザが再度カーソル１０の周囲をタッチした場合には、新たなタッチ開始位置と操作対象位置との間のオフセットが保存される。
例えば、図６の上段中央のタッチ画面２０では、操作対象位置１５の下方の枠上をユーザがタッチしている。そして、ユーザが指を右方向にドラッグすると、ドラッグ開始時のオフセットが維持され、指の移動に沿ってカーソル１０も移動している。図６の上段右のタッチ画面２０においても、ドラッグ終了時のタッチ位置１６の上方を操作対象位置１５とするカーソル１０が表示されている。
また、例えば、図６の下段中央のタッチ画面２０では、操作対象位置１５の右方の枠上をユーザがタッチしている。そして、ユーザが指を左方向にドラッグすると、ドラッグ開始時のオフセットが維持され、指の移動に沿ってカーソル１０も移動している。図６の下段右のタッチ画面２０においても、ドラッグ終了時のタッチ位置１６の左方を操作対象位置１５とするカーソル１０が表示されている。
情報処理装置１００は、このようなカーソル１０を用いることにより、次節で説明するような多様なグラフィカルユーザインタフェース（ＧＵＩ）を実現する。
＜２．多様なＧＵＩの例＞
［２−１．カーソル位置の微調整］
図７は、本実施形態に係るＧＵＩの第１の例について説明するための説明図である。図７のシナリオにおいて、表示制御部１５０は、タッチ位置の移動と関連付けられる第２のタッチイベント（イベントＥｖ２）が認識部１４０により認識された場合に、移動開始時のタッチ位置と操作対象位置との間の間隔に応じて変化する割合で、カーソルを移動させる。イベントＥｖ２は、例えば、ドラッグ又はフリックなどであってよい。
以下の説明において、タッチ位置の移動量に対するカーソルの移動量の割合を移動レートという。一般的なＧＵＩにおいては、タッチ位置の移動量とカーソルの移動量とは等しく、即ち、移動レートは１００％である。本実施形態では、移動レートは、記憶部１６０に記憶される設定値として、移動開始時のタッチ位置と操作対象位置との間の間隔に応じて定義され得る。例えば、移動レートは、上記間隔と比較される閾値を用いて、閾値よりも大きい場合にはＸ１％、閾値よりも小さい場合にはＸ２％などと定義されてもよい。このとき、閾値をカーソル１０の枠１４の内周の半径Ｄ１（又は外周の半径Ｄ２）と等しい値とすれば、タッチ位置が枠内か否か（又は枠外か否か）に応じて異なる移動レートを定義することができる。また、移動レートは、例えば、上記間隔を引数とする関数によって定義されてもよい。また、移動レートは、例えば、タッチ位置が枠内である場合にはＹ１％、枠上である場合にはＹ２％、枠外である場合にはＹ３％などのように定義されてもよい。
図７のシナリオでは、上記間隔がカーソル１０の枠１４の外周の半径Ｄ２に等しい閾値以下である場合には移動レートは１００％であり、上記間隔が当該閾値を上回る場合には移動レートは５０％であるものとする。このような移動レートの定義は、例えば、カーソル位置の微調整が求められるような状況において有益である。
図７の上段を参照すると、ユーザがカーソル１０の枠内をタッチしてドラッグした場合には、タッチ位置１６の移動量とカーソル１０の移動量とは等しく、即ち移動レートは１００％である。一方、図７の下段を参照すると、ユーザがカーソル１０の枠外をタッチしてドラッグした場合には、カーソル１０の移動量はタッチ位置１６の移動量の半分であり、即ち移動レートは５０％である。
このようなカーソル位置の微調整は、例えば、表示解像度の高い画面に表示された文字の小さいテキストの選択、スクロールバー若しくはスライダを用いた画面のスクロール、又は多数表示された写真のサムネイルの中からの写真の選択など、様々な場面で活用され得る。
［２−２．絶対的位置へのカーソル移動］
図８Ａ〜図８Ｃは、本実施形態に係るＧＵＩの第２の例について説明するための説明図である。ここでのシナリオにおいて、表示制御部１５０は、認識部１４０により第３のタッチイベント（イベントＥｖ３）が認識された場合に、上述したオフセットに関わらず、イベントＥｖ３におけるタッチ位置の近傍にカーソル１０を表示する。イベントＥｖ３は、例えば、上述したイベントＥｖ２が継続している最中のマルチタップ、押圧力の変化、又は直交フリックなどであってよい。直交フリックとは、例えば、イベントＥｖ２におけるタッチ位置の移動方向と凡そ直交する方向に向けた敏速な方向転換を意味する。本シナリオにおけるユーザインタフェースは、例えば、１００％ではない移動レートを理由として指先から離れたカーソルをユーザが即座に指先の近くに引き寄せたいと望むような状況において有益である。即ち、上述したイベントＥｖ３は、絶対的なタッチ位置へのカーソル移動のトリガとなるイベントである。
例えば、図８Ａの例において、まず、ユーザがカーソル１０の枠外にタッチしてドラッグした結果、カーソル１０は、移動レート５０％で移動し、ユーザの指先から離れている（図８Ａ左及び中央参照）。次に、マルチタップ、押圧力の変化又は直交フリックなどのイベントＥｖ３が認識された結果、カーソル１０は、移動レートに関わらず、タッチ位置１６の近傍に移動している（図８Ａ右参照）。マルチタップ、押圧力の変化又は直交フリックなどのための動作は、ユーザにとって、ドラッグなどの動作から連続的に行い易い動作である。従って、このようなイベントＥｖ３をカーソル位置を引き寄せるトリガとして用いることは、ユーザインタフェースの操作性の向上に寄与し得る。
なお、ドラッグなどの動作により移動中のカーソルだけでなく、静止しているカーソルを指先に即座に引き寄せたいとユーザが望むことも考えられる。この場合、例えば、ダブルタップ（短時間内のタップの繰り返し）などをそのトリガイベントとして用いてもよい。
図８Ｂは、イベントＥｖ３が利用され得る他の場面の例を示している。図８Ｂの例では、タッチ画面２０に表示内容のスクロールのためのスライダ４１が表示されている（図８Ｂ左参照）。ユーザは、例えば、このスライダ４１のつまみにカーソル１０の操作対象位置を合わせ、カーソル１０の枠外をタッチして右方向へドラッグする。それにより、つまみはカーソル１０と共に移動レート５０％で右方向へ移動し、それに応じてタッチ画面２０の表示内容がスクロールする（図８Ｂ中央参照）。さらに、イベントＥｖ３が認識された結果、つまみ及びカーソル１０は、移動レートに関わらず、タッチ位置１６の近傍に移動している（図８Ｂ右参照）。
図８Ｃは、イベントＥｖ３が利用され得るまた別の場面の例を示している。図８Ｃの例では、タッチ画面２０にカーソル１０及びテキストが表示されている。そして、ユーザは、カーソル１０をドラッグすることにより、テキストの一部を選択することができる。図８Ｃの中央には、ドラッグにより選択された選択範囲４２が示されている。しかし、上述したように、操作対象位置とタッチ位置との間のオフセットが維持されることから、例えば移動レートが１００％の場合には、ユーザはタッチ画面２０の端部を選択できない可能性がある。そのような場合、ユーザがイベントＥｖ３を入力することにより、移動レートに関わらずカーソル１０はタッチ位置１６の近傍に移動し、タッチ画面２０の端部に表示されたテキストの選択が可能となる（図８Ｃ右参照）。
［２−３．オブジェクトのロック］
図９Ａ及び図９Ｂは、本実施形態に係るＧＵＩの第３の例について説明するための説明図である。ここでのシナリオにおいて、表示制御部１５０は、操作対象位置がタッチ画面２０に表示された操作可能なオブジェクトに重なっている場合に、当該オブジェクトをロックし、カーソル１０の枠の色、形状又はサイズを変化させる。操作可能なオブジェクトとは、例えば、Ｗｅｂブラウザにおけるハイパーリンク、デジタルアルバムにおけるサムネイル、デスクトップ画面における機能アイコン、又はアプリケーション画面におけるボタンなどであってよい。表示制御部１５０は、操作可能なオブジェクトを一度ロックした後、カーソル位置が移動した場合にも、何らかの条件（例えば、ロック解除のための所定のイベントの発生、又は所定の距離を超えるカーソルの移動など）が満たされるまで、当該オブジェクトを操作対象として維持し得る。
例えば、図９Ａの例において、タッチ画面２０に表示されたテキストは、二重下線で示した３つのハイパーリンクを含む（図９Ａ左参照）。ここで、ユーザがカーソル１０をドラッグして操作対象位置をハイパーリンク４３に合わせることにより、表示制御部１５０は、ハイパーリンク４３をロックする（図９Ａ中央参照）。そして、例えば、ユーザがカーソル１０の枠をタップ（又はダブルタップなど）することにより（図９Ａ右参照）、ハイパーリンクが実行され、表示内容はリンク先に遷移する。
このようなオブジェクトのロックは、特に表示解像度の高いタッチ画面２０に表示される小さいオブジェクトを操作する際に有益である。例えば、指によるタップ動作は、タッチ位置のぶれを伴うことが少なくない。そのため、オブジェクトを操作しようとしてユーザがタッチ画面２０をタップした場合にも、操作対象位置がずれてしまうことで、目的のオブジェクトを操作できない可能性がある。しかし、本シナリオでは、上述したようにオブジェクトがロックされるため、ユーザは、操作対象のオブジェクトを確実に操作することができる。この場合、リング状のカーソル１０は、オブジェクトをロックするための照準としての役割をも有する。
また、ロックされたオブジェクトは、カーソル１０と共に移動可能であってもよい。表示制御部１５０は、ドラッグ又はフリックなどのタッチイベントに付随してオブジェクトを移動させるべきか否かを、例えばタッチ位置と操作対象位置との間の間隔に応じて判定し得る。
例えば、図９Ｂの例において、タッチ画面２０には、移動可能な３つのアイコンが表示されている。このうち、アイコン４４にカーソル１０の操作対象位置が重なっており、アイコン４４がロックされている（図９Ｂ左参照）。そして、例えば、ユーザがカーソル１０の枠内をタッチしてドラッグすると、カーソル１０がアイコン４４から離れて単独で移動する（図９Ｂ上段参照）。一方、例えば、ユーザがカーソル１０の枠上をタッチしてドラッグすると、カーソル１０がアイコン４４と共に移動する（図９Ｂ下段参照）。
［２−４．カーソル内の表示拡大］
図１０は、本実施形態に係るＧＵＩの第４の例について説明するための説明図である。図１０のシナリオにおいて、表示制御部１５０は、認識部１４０によりカーソル１０の枠内での第４のタッチイベント（イベントＥｖ４）が認識された場合に、カーソル１０の枠内の表示を拡大（ズームイン）又は縮小（ズームアウト）する。イベントＥｖ４は、例えば、ピンチアウト及びピンチインなどであってよい。この場合、ピンチアウトが表示の拡大に対応し、ピンチインが表示の縮小に対応し得る。なお、ピンチアウトとは、タッチした２本の指の間の間隔を広げる動作を指し、ピンチインとは、タッチした２本の指の間の間隔を狭める動作を指す。
図１０の例では、タッチ画面２０に４つのサムネイルが示されている。このうち、サムネイル４５ａにカーソル１０の操作対象位置が重なっている。そして、例えば、ユーザがカーソル１０の枠内でピンチアウトすることにより、カーソル１０の枠内の表示が拡大される。なお、図示していないものの、ユーザがカーソル１０の枠内でさらにピンチインすることにより、カーソル１０の枠内の表示は縮小され又は元通りに復元され得る。
このように、操作対象位置を囲む枠を有するカーソルは、より直感的な動作でルーペ機能と同等の機能を実現することができる。
［２−５．奥行き方向の操作］
図１１Ａ及び図１１Ｂは、本実施形態に係るＧＵＩの第５の例について説明するための説明図である。ここでのシナリオにおいて、表示制御部１５０は、操作対象位置が操作可能な複数のオブジェクトに重なっている場合に、認識部１４０により認識されるカーソルの回転と関連付けられる第５のタッチイベント（イベントＥｖ５）に応じて、当該複数のオブジェクトのいずれかを操作対象として選択する。イベントＥｖ５は、例えば、ツイスト（指を同じ位置にタッチした状態でひねる動作）又はツインローテート（マルチタッチの状態において第１の指の位置を固定したまま第２の指で弧を描く動作）などであってよい。
例えば、図１１Ａの例において、タッチ画面２０には互いに重なり合う３つのサムネイル４５ａ、４５ｂ及び４５ｃが表示されている。そして、カーソル１０は、これら３つのサムネイル４５ａ、４５ｂ及び４５ｃに重なっている。このうち、図１１Ａの左の時点では、サムネイル４５ｃがフォーカスされている（即ち、サムネイル４５ｃが操作対象である）。この状態において、例えばユーザがカーソル１０内でツイスト又はツインローテートの動作を行うと、上述したイベントＥｖ５が認識される。その結果、表示制御部１５０は、フォーカスをＺ方向（タッチ画面２０の奥行き方向）に遷移させる。例えば、図１１Ａの右上の例では、フォーカスがサムネイル４５ｂに移っている。また、図１１Ａの右下の例では、フォーカスがサムネイル４５ａに移っている。
また、図１１Ｂを参照すると、タッチ画面２０においてカーソル１０の枠にハンドル４６が付加されている。ハンドル４６は、カーソル１０を回転させるためにユーザにより操作されるユーザインタフェースである。このようなハンドル４６のドラッグもまた、上述したイベントＥｖ５として扱われ得る。図１１Ｂの例では、ユーザがカーソル１０のハンドル４６をドラッグすることにより、フォーカスがサムネイル４５ａに移っている。
このような奥行き方向の操作（例えばフォーカスの遷移）は、例えば、表示解像度の高い画面に表示されたオブジェクトが互いに重なり合っており、個々のオブジェクトを選択することが難しい状況において有益である。
［２−６．選択範囲のズーム］
図１２は、本実施形態に係るＧＵＩの第６の例について説明するための説明図である。図１２のシナリオにおいて、表示制御部１５０は、カーソル１０の枠内へのタッチを伴う第６のタッチイベント（イベントＥｖ６）が認識部１４０により認識された場合に、第６のタッチイベントの前に設定された基準位置と操作対象位置とが共にタッチ画面２０に表示されるように、タッチ画面２０の表示を縮小する。ここで、事前に設定される基準位置とは、例えば、領域選択における選択範囲の開始位置、又は長文のテキスト内に設定されるブックマークの位置などであってよい。また、第６のタッチイベントは、例えば、基準位置が設定されている状況下におけるカーソルの枠上でのピンチインなどであってよい。
例えば、図１２の左を参照すると、タッチ画面２０が下方にスクロールした結果、選択範囲４２の開始位置は画面外に外れている。この状態において、例えばユーザがカーソル１０の枠を抑えながらピンチインの動作を行うと、基準位置と最新のカーソル１０の操作対象位置とが共に表示されるように、タッチ画面２０の表示が縮小される（図１２右参照）。その結果、ユーザは、簡単に選択範囲４２の全体をタッチ画面２０上で見ることができる。また、図１２の右に示した状態において、例えばユーザがカーソル１０の枠を抑えながらピンチアウトの動作を行うと、タッチ画面２０の表示内容は図１２の左に示したような元の状態に復元され得る。
［２−７．カーソルの変形］
図１３は、本実施形態に係るＧＵＩの第７の例について説明するための説明図である。図１３のシナリオにおいて、表示制御部１５０は、上述した第２のタッチイベントＥｖ２に応じたカーソルの移動経路がカーソルの非表示領域に衝突する場合に、カーソル１０を移動させる代わりに、カーソル１０の枠を変形させる。カーソルの非表示領域とは、例えば、より先へ画面をスクロールさせられない場合のタッチ画面２０の端部、又はその他の画面内の領域であってよい。
例えば、図１３の左を参照すると、タッチ画面２０には、あるページ内に記述されたテキストが示されている。カーソル１０は、このページの最上部に位置している。この状態において、例えばユーザがカーソル１０をさらに上方へドラッグすると、カーソル１０が移動する代わりに、カーソル１０の枠がつぶれるように変形する（図１２右参照）。また、カーソル１０の枠がつぶれる方向は、ドラッグ方向に一致している。それにより、ユーザは、これ以上カーソル１０を移動させられないことを直感的に理解することができる。
［２−８．操作対象位置の補正］
上述しように、例えば操作体が指である場合において、ユーザがタッチ画面２０をタッチした際、目的のタッチ位置と実際にタッチされる位置との間にわずかなずれが生じることが少なくない。また、タッチした直後の短い時間の間にタッチ位置がぶれてしまう可能性もある。そこで、表示制御部１５０は、カーソル１０の操作対象位置を常に厳密に枠の中心とするのではなく、ヒステリシスを考慮して操作対象位置を補正することにより、ユーザが意図しないタッチ位置の小さな変動を吸収してもよい。
図１４は、そのような操作対象位置の補正について説明するための説明図である。図１４の左には、画面に表示されるテキストを構成する文字列中の隣接する２つの文字“ｅ”及び“ｃ”、並びにカーソル１０が示されている。カーソル１０の操作対象位置１５は、文字“ｅ”に重なっている。ここで、ユーザがカーソル１０を操作しようとしてタッチした瞬間に、タッチ位置がわずかに右方へぶれたことを想定する。このとき、操作対象位置が補正されない場合には、操作対象位置１５が右方へわずかに移動することにより、操作対象が文字“ｅ”ではなく“ｃ”に変化し得る（図１４上段参照）。しかし、これはユーザの意図する操作ではない。そこで、表示制御部１５０は、例えば、タッチ開始から所定の時間（例えば十分の数秒）の間、操作対象位置１５をヒステリシスが生じるように補正する。図１４の下段を参照すると、カーソル１０の操作対象位置が位置１５ａから位置１５ｂへ補正されることにより、操作対象が文字“ｃ”に移ることなく文字“ｅ”に残っている。なお、操作対象位置１５の補正量は、例えば、タッチ開始時からのタッチ位置の移動量から決定されてもよい。その代わりに、操作対象位置１５の補正量は、例えば、タッチ開始時の操作対象位置１５と操作対象の中心（例えば、図１４の文字“ｅ”の中心１９）との差分から決定されてもよい。
＜３．変形例の説明＞
ここまで、主に情報処理装置１００が１つの画面のみを有する例について説明した。しかしながら、本実施形態は、複数の画面を扱う装置においても特有の効果を発揮し得る。そこで、本節では、本実施形態の一変形例として、複数の画面を扱う装置において上述したカーソルを利用する例を説明する。
［３−１．装置の構成］
（１）ハードウェア構成の概要
図１５Ａ及び図１５Ｂは、本変形例に係る情報処理装置２００のハードウェア構成について説明するための概略図である。
図１５Ａを参照すると、ユーザにより把持された情報処理装置２００ａ及び表示装置５０が示されている。情報処理装置２００ａは、図１に例示した情報処理装置１００と同等のハードウェア構成を含み得る。さらに、情報処理装置２００ａは、表示装置５０と通信可能である。表示装置５０は、例えば、デジタルテレビ若しくはコンテンツプレーヤなどのデジタル家電機器であってもよく、又は情報処理装置２００ａ自体のための追加的なモニタなどであってもよい。情報処理装置２００ａは、タッチ画面２２０を備える。一方、表示装置５０は、画面２２２を備える。
図１５Ｂを参照すると、情報処理装置２００ｂが示されている。情報処理装置２００ｂは、図１に例示した情報処理装置１００と同等のハードウェア構成を含み得る。さらに、情報処理装置２００ｂは、タッチ画面２２０及び画面２２２を備える。画面２２２は、タッチ画面であってもよく、表示機能のみを有する画面であってもよい。
図１５Ａに例示した情報処理装置２００ａは、例えば、情報処理装置２００ａ自体が有するアプリケーション機能に加えて、表示装置５０により表示されるコンテンツをユーザが間接的に（又は遠隔的に）操作するためのＧＵＩをユーザに提供する。一方、図１５Ｂに例示した情報処理装置２００ｂは、例えば、画面２２２に表示されるコンテンツをタッチ画面２２０上で操作するためのＧＵＩをユーザに提供する。これらＧＵＩもまた、上述したカーソルを用いて実現される。なお、以下の説明において、情報処理装置２００ａ及び２００ｂを互いに区別する必要がない場合には、情報処理装置２００ａ及び２００ｂを情報処理装置２００と総称する。
（２）論理的な構成
図１６は、本変形例に係る情報処理装置２００の論理的な構成の一例を示すブロック図である。図１６を参照すると、情報処理装置２００は、タッチ検出部１１０、表示部１２０、通信部２３２、認識部１４０、表示制御部２５０、記憶部１６０及びアプリケーション部１７０を備える。また、通信部２３２は、副表示部２３０と接続される。
副表示部２３０は、図１５Ａ及び図１５Ｂに例示した画面２２２に対応する論理ブロックである。副表示部２３０は、表示制御部２５０による制御に応じ、画面２２２を用いて画像を表示する。
通信部２３２は、例えば、表示制御部２５０が副表示部２３０と通信するための通信手段としての役割を有する。通信部２３２は、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＵＷＢ（Ultra Wide Band）又は無線ＬＡＮ（Local Area Network）などの無線通信プロトコルに準拠した通信インタフェースを用いて実装されてよい。また、図１５Ｂの例のように、画面２２２が物理的に情報処理装置２００の一部である場合には、通信部２３２は、より単純な信号線を用いて実装されてもよい。
表示制御部２５０は、表示部１２０及び副表示部２３０により表示される出力画像の内容を制御する。また、本変形例において、表示制御部２５０は、特有のカーソルを表示部１２０及び副表示部２３０に表示させる。そして、表示制御部２５０は、認識部１４０により認識されるタッチイベントに応じて当該カーソル及び関連するオブジェクトの表示を制御することにより、多様なユーザインタフェースを実現する。表示制御部２５０により表示されるカーソルの基本的な構成は、図３〜図６を用いて既に説明した構成と同様であってよい。
［３−２．ＧＵＩの例］
本変形例においても、情報処理装置２００は、ここまでに説明した多様なＧＵＩをタッチ画面２２０を用いてユーザに提供し得る。さらに、情報処理装置２００は、以下に説明するようなＧＵＩを提供する。
図１７Ａ及び図１７Ｂは、本変形例に係るＧＵＩの一例について説明するための説明図である。ここでのシナリオにおいて、表示制御部２５０は、タッチ位置の移動と関連付けられる上述した第２のタッチイベント（イベントＥｖ２）が認識部１４０により認識された場合に、移動開始時のタッチ位置と操作対象位置との間の間隔に応じて変化する割合で、カーソルを移動させる。上述したように、イベントＥｖ２は、例えば、ドラッグ又はフリックなどであってよい。即ち、本シナリオは、図７を用いて説明したシナリオに類似している。
例えば、図１７Ａの例において、上記間隔がカーソル１０の枠１４の外周の半径Ｄ２に等しい閾値以下である場合には移動レートは１００％であり、上記間隔が当該閾値を上回る場合には移動レートは３００％であるものとする。このような移動レートの定義は、例えば、カーソル位置をタッチ画面２２０の外部へ移動させることが求められる状況において有益である。
図１７Ａの上段を参照すると、ユーザがカーソル１０の枠内をタッチしてドラッグした場合には、タッチ位置の移動量とカーソル１０の移動量とは等しく、即ち移動レートは１００％である。一方、図１７Ａの下段を参照すると、ユーザがカーソル１０の枠外をタッチしてドラッグした場合には、カーソル１０の移動量はタッチ位置の移動量の３倍となる。その結果、タッチ画面２２０内でのドラッグに応じて、カーソル１０は、タッチ画面２２０から画面２２２へ移動する。
また、本実施形態において、表示制御部２５０は、イベントＥｖ２に応じてカーソル１０が画面２２２に移動した場合に、カーソル１０をユーザにより操作可能とするための補助カーソルをタッチ画面２２０にさらに表示する。例えば、図１７Ａの下段では、画面２２２に移動したカーソル１０を操作するための補助カーソル１２が、タッチ画面２２０に表示されている。ユーザは、この補助カーソル１２を操作することにより、カーソル１０を直接操作する際のユーザインタフェースと同様に、画面２２２の表示内容を間接的に制御することができる。
図１７Ａの例のように、移動レートが１００％を超える場合には、カーソル１０の移動先がその時点で画面に表示されていない領域に到達する可能性がある。その場合、表示制御部２５０は、カーソル１０を画面外に移動する代わりに、カーソルを画面の端部に留めると共に、画面を自動的にスクロールすることにより、カーソルを目的の移動先まで移動させる。このようなカーソルの移動及び画面の自動的なスクロールに際して、表示制御部２５０は、例えば、カーソルの移動経路上に操作可能なオブジェクトが存在する場合には、カーソルを当該操作可能なオブジェクト上で停止させてもよい。
例えば、図１７Ｂの例において、ユーザがカーソル１０の枠外をドラッグしたことにより、移動レート５００％でカーソル１０がタッチ画面２２０から画面２２２へ移動している。さらに、ドラッグに応じたカーソル１０の移動先が画面２２２の外部であることから、カーソル１０は画面２２２の上端部に留まり、その代わりに画面２２２が自動的にスクロールしている（図１７Ｂ中央参照）。そして、スクロールの最中に操作可能なオブジェクトであるアイコン４４がカーソル１０に重なった結果、自動的なスクロールが終了し、カーソル１０がアイコン４４上で停止している。さらに、アイコン４４は、カーソル１０によりロックされている（図１７Ｂ右参照）。そして、この場合にも、タッチ画面２２０に補助カーソル１２が表示されることで、ユーザは、ロックされたアイコン４４を補助カーソル１２を使用して即座に操作することができる。
なお、例えば、操作可能なオブジェクトが多数存在するような状況下では、ユーザの意図しないオブジェクトがロックされることを防ぐために、図１７Ｂに示したようなカーソル停止機能を無効化できることも有益である。そのため、表示制御部２５０は、何らかのタッチイベントに応じて、カーソル停止機能の有効／無効を切り替えてもよい。
＜４．処理の流れの例＞
次に、図１８及び図１９を用いて、上述した実施形態に係る表示制御処理の流れについて説明する。図１８は、表示制御処理の概略的な流れの一例を示すフローチャートである。なお、ここでは情報処理装置１００の観点で説明を記述するが、情報処理装置２００による処理も同様に構成され得る。
図１８を参照すると、まず、情報処理装置１００のタッチ検出部１１０により、タッチが検出される（ステップＳ１０２）。すると、認識部１４０は、タッチ画面２０にカーソルが既に表示されているか否かを判定する（ステップＳ１０４）。ここで、タッチ画面２０にカーソルが既に表示されている場合には、処理はステップＳ１０６へ進む。一方、タッチ画面２０にカーソルが表示されていない場合には、処理はステップＳ１１６へ進む。
ステップＳ１０６において、認識部１４０は、タッチ検出部１１０により検出されたタッチ位置がカーソル１０のカーソル操作領域内であるか否かを判定する（ステップＳ１０６）。カーソル操作領域内とは、例えば、図３に例示した操作対象位置１５を中心とする矩形領域１８の内部に相当する。ここで、タッチ位置がカーソル操作領域内である場合には、処理はステップＳ１０８へ進む。一方、タッチ位置がカーソル操作領域内でない場合には、処理はステップＳ１１２へ進む。
ステップＳ１０８において、認識部１４０は、カーソル制御に関するタッチイベントを認識する（ステップＳ１０８）。ここで認識されるカーソル制御に関するタッチイベントは、例えば、上述したイベントＥｖ２〜Ｅｖ６を含み得る。すると、認識されたタッチイベントに応じたカーソル１０に関連する操作が、表示制御部１５０により実行される（ステップＳ１１０）。ここで実行される操作は、本明細書で説明した多様なＧＵＩの操作を含み得る。
一方、ステップＳ１１２では、認識部１４０は、既存の技術と同様の一般的なタッチイベントを認識する（ステップＳ１１２）。その後、生成されたタッチイベントに応じた処理が、表示制御部１５０又はアプリケーション部１７０により実行される（ステップＳ１１４）。
また、ステップＳ１１６では、認識部１４０は、タッチ位置との間にオフセットを有する操作対象位置を決定し、決定した操作対象位置がカーソル表示対象オブジェクト上にあるか否かを判定する（ステップＳ１１６）。ここでのオフセットの値は、初期値である。ここで、操作対象位置がカーソル表示対象オブジェクト上にある場合には、当該操作対象位置を囲む枠を有するカーソル１０が、表示制御部１５０によりタッチ画面２０に新たに表示される（ステップＳ１１８）。一方、操作対象位置がカーソル表示対象オブジェクト上にない場合には、認識部１４０は、既存の技術と同様の一般的なタッチイベントを認識する（ステップＳ１１２）。その後、認識されたタッチイベントに応じた処理が、表示制御部１５０又はアプリケーション部１７０により実行される（ステップＳ１１４）。
図１９は、タッチ移動関連イベント（即ち上述したイベントＥｖ２）が認識された場合の表示制御処理の詳細な流れの一例を示すフローチャートである。図１９に示した処理は、例えば、図１８のステップＳ１１０の一部として実行され得る。
図１９を参照すると、表示制御部１５０は、タッチ開始時の操作対象位置とタッチ位置との間隔に応じた移動レートで、カーソル１０を移動する（ステップＳ２０２）。このとき、表示制御部１５０は、カーソル１０の移動経路が操作可能なオブジェクト上を通過すると判定すると（ステップＳ２０４）、当該オブジェクト上でカーソル１０を停止する（ステップＳ２０６）。また、表示制御部１５０は、カーソル１０の移動中に認識部１４０によりイベントＥｖ３が認識されると（ステップＳ２０８）、イベントＥｖ３におけるタッチ位置の近傍にカーソル１０を移動する（ステップＳ２１０）。
次に、表示制御部１５０は、操作可能なオブジェクト上にカーソルが到達したか否かを判定する（ステップＳ２１２）。そして、表示制御部１５０は、操作可能なオブジェクト上にカーソルが到達した場合には、当該オブジェクトをロックする（ステップＳ２１４）。なお、タッチ開始時に既に操作可能なオブジェクトがロックされている場合には、カーソル１０と共に当該オブジェクトもまた移動され得る。その後、タッチ移動関連イベントに応じた表示制御部１５０による表示制御処理は終了する。
＜５．まとめ＞
ここまで、図１〜図１９を用いて、本発明の一実施形態及びその変形例について説明した。上述した構成によれば、画面上での操作イベント（例えば、タッチイベント又は近接イベント）に応じて、操作対象位置を囲む枠を有するカーソルが情報処理装置の画面に表示される。このカーソルの操作対象位置は、操作イベントにおける操作検出位置（例えば、タッチ位置又は近接検出位置）との間にオフセットを有する位置である。従って、カーソルを表示した場合にも、操作対象位置にあるオブジェクトが指又はスタイラスなどの操作体により隠されることがない。また、操作対象位置を囲む枠を有するリング状のカーソルを用いることで、枠と操作検出位置との位置関係に応じた直感的かつ多様なユーザインタフェースをユーザに提供することが可能となる。
例えば、ドラッグ又はフリックなど、操作検出位置の移動と関連付けられる操作イベントが認識された場合には、移動開始時の操作検出位置と操作対象位置との間の間隔に応じて変化する移動レートで、カーソルを移動させることができる。かかる移動レートは、例えば、目的に応じてアプリケーションごとに定義され得る。例えば、表示解像度の高いタッチ画面又は近接検出画面上での操作対象位置の微調整のために、上述したカーソルを利用することが可能である。また、これら画面とは別の画面にカーソルを移動させ、その別の画面に表示されたオブジェクトを上述したカーソルを利用して操作することも可能となる。
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
１０ カーソル
１２ 補助カーソル
１４ 枠
１５ 操作対象位置
１６ 操作検出位置（タッチ位置）
２０ 画面（タッチ画面）
１００，２００ 情報処理装置
１４０ 認識部
１５０，２５０ 表示制御部

Claims (18)

  1. 画面上での操作イベントを認識する認識部と、
    前記認識部により第１の操作イベントが認識された場合に、前記第１の操作イベントにおける操作検出位置との間にオフセットを有する位置である操作対象位置を囲む枠を有するカーソルを前記画面に表示する表示制御部と、
    を備え、
    前記表示制御部は、操作検出位置の移動と関連付けられる第２の操作イベントが前記認識部により認識された場合に、移動開始時の操作検出位置と前記操作対象位置との間の間隔に応じて変化する割合で、前記カーソルを移動させる、
    情報処理装置。
  2. 前記間隔が所定の閾値を下回る場合には、操作検出位置の移動量と前記カーソルの移動量とは等しく、前記間隔が前記所定の閾値を上回る場合には、操作検出位置の移動量よりも前記カーソルの移動量は小さい、請求項１に記載の情報処理装置。
  3. 前記間隔が所定の閾値を下回る場合には、操作検出位置の移動量と前記カーソルの移動量とは等しく、前記間隔が前記所定の閾値を上回る場合には、操作検出位置の移動量よりも前記カーソルの移動量は大きい、請求項１に記載の情報処理装置。
  4. 前記表示制御部は、
    前記画面とは別の画面に前記カーソルを表示可能であり、
    前記第２の操作イベントに応じて前記カーソルが前記別の画面に移動した場合に、前記カーソルをユーザにより操作可能とするための補助カーソルを前記画面にさらに表示する、
    請求項３に記載の情報処理装置。
  5. 前記表示制御部は、前記第２の操作イベントに応じた前記カーソルの移動経路上に操作可能なオブジェクトが存在する場合に、前記カーソルを前記操作可能なオブジェクト上で停止させる、請求項１に記載の情報処理装置。
  6. 前記表示制御部は、前記第２の操作イベントに応じて前記カーソルを移動させる際に、前記操作対象位置が前記画面に表示された移動可能なオブジェクトに重なっている場合には、前記移動可能なオブジェクトを前記カーソルと共に移動させるべきか否かを前記間隔に応じて判定する、請求項１に記載の情報処理装置。
  7. 画面上での操作イベントを認識する認識部と、
    前記認識部により第１の操作イベントが認識された場合に、前記第１の操作イベントにおける操作検出位置との間にオフセットを有する位置である操作対象位置を囲む枠を有するカーソルを前記画面に表示する表示制御部と、
    を備え、
    前記表示制御部は、操作検出位置の移動と関連付けられる第２の操作イベントが前記認識部により認識された場合に、移動開始時の操作検出位置が前記カーソルの枠の内側にあるか外側にあるかに応じて変化する割合で、前記カーソルを移動させる、
    情報処理装置。
  8. 前記表示制御部は、前記認識部により第３の操作イベントが認識された場合に、前記オフセットに関わらず、前記第３の操作イベントにおける操作検出位置の近傍に前記カーソルを表示する、請求項１に記載の情報処理装置。
  9. 前記表示制御部は、前記操作対象位置が前記画面に表示された操作可能なオブジェクトに重なっている場合に、前記カーソルの枠の色、形状又はサイズを変化させる、請求項１に記載の情報処理装置。
  10. 前記表示制御部は、前記認識部により前記カーソルの枠の内側での第４の操作イベントが認識された場合に、前記カーソルの枠の内側の表示を拡大し又は縮小する、請求項１に記載の情報処理装置。
  11. 前記カーソルの枠はリング状であり、前記操作対象位置は当該リングの中心である、請求項１に記載の情報処理装置。
  12. 画面上での操作イベントを認識する認識部と、
    前記認識部により第１の操作イベントが認識された場合に、前記第１の操作イベントにおける操作検出位置との間にオフセットを有する位置である操作対象位置を囲む枠を有するカーソルを前記画面に表示する表示制御部と、
    を備え、
    前記表示制御部は、前記操作対象位置が操作可能な複数のオブジェクトに重なっている場合には、前記認識部により認識される前記カーソルの回転と関連付けられる第５の操作イベントに応じて、前記複数のオブジェクトのいずれかを選択する、
    情報処理装置。
  13. 画面上での操作イベントを認識する認識部と、
    前記認識部により第１の操作イベントが認識された場合に、前記第１の操作イベントにおける操作検出位置との間にオフセットを有する位置である操作対象位置を囲む枠を有するカーソルを前記画面に表示する表示制御部と、
    を備え、
    前記表示制御部は、前記カーソルの枠の内側へのタッチを伴う第６の操作イベントが前記認識部により認識された場合に、前記第６の操作イベントの前に設定された基準位置と前記操作対象位置とが共に前記画面に表示されるように、前記画面の表示を縮小する、
    情報処理装置。
  14. 前記表示制御部は、前記第２の操作イベントに応じた前記カーソルの移動経路が前記カーソルの非表示領域に衝突する場合に、前記カーソルを移動させる代わりに前記カーソルの枠を変形させる、請求項１に記載の情報処理装置。
  15. 前記表示制御部は、タッチの開始から所定の時間の間前記操作対象位置を補正することにより、ユーザの意図しない前記操作検出位置の変動を吸収する、請求項１に記載の情報処理装置。
  16. 前記認識部により認識される操作イベントは、タッチイベント又は近接イベントである、請求項１〜１５のいずれか１項に記載の情報処理装置。
  17. 画面を有する情報処理装置を制御するコンピュータを、
    前記画面上での操作イベントを認識する認識部と、
    前記認識部により第１の操作イベントが認識された場合に、前記第１の操作イベントにおける操作検出位置との間にオフセットを有する位置である操作対象位置を囲む枠を有するカーソルを前記画面に表示する表示制御部と、
    として機能させ、
    前記表示制御部は、操作検出位置の移動と関連付けられる第２の操作イベントが前記認識部により認識された場合に、移動開始時の操作検出位置と前記操作対象位置との間の間隔に応じて変化する割合で、前記カーソルを移動させる、
    プログラム。
  18. 画面の表示を制御するための表示制御方法であって、
    前記画面上での操作イベントを認識するステップと、
    第１の操作イベントが認識された場合に、前記第１の操作イベントにおける操作検出位置との間にオフセットを有する位置である操作対象位置を囲む枠を有するカーソルを前記画面に表示するステップと、
    操作検出位置の移動と関連付けられる第２の操作イベントが認識された場合に、移動開始時の操作検出位置と前記操作対象位置との間の間隔に応じて変化する割合で、前記カーソルを移動させるステップと、
    を含む表示制御方法。
JP2010185070A 2010-08-20 2010-08-20 情報処理装置、プログラム及び表示制御方法 Expired - Fee Related JP5510185B2 (ja)

Priority Applications (8)

Application Number Priority Date Filing Date Title
JP2010185070A JP5510185B2 (ja) 2010-08-20 2010-08-20 情報処理装置、プログラム及び表示制御方法
US13/197,824 US20120044173A1 (en) 2010-08-20 2011-08-04 Information processing device, computer program product, and display control method
EP11177295A EP2420925A2 (en) 2010-08-20 2011-08-11 Information processing device, computer program product, and display control method for cursor control
BRPI1106261-4A BRPI1106261A2 (pt) 2010-08-20 2011-08-12 controlador de exibiÇço, mÉtodo de controle de exibiÇço, e, dispositivo de armazenamento legÍvel por computador
CN2011202970790U CN202502479U (zh) 2010-08-20 2011-08-12 信息处理设备
RU2011134146/08A RU2011134146A (ru) 2010-08-20 2011-08-12 Устройство обработки информации, компьютерный программный продукт и способ управления отображением
CN2011102365232A CN102375683A (zh) 2010-08-20 2011-08-12 信息处理设备、计算机程序产品以及显示控制方法
KR1020110080575A KR20120018279A (ko) 2010-08-20 2011-08-12 정보 처리 장치, 컴퓨터 프로그램 제품, 및 표시 제어 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010185070A JP5510185B2 (ja) 2010-08-20 2010-08-20 情報処理装置、プログラム及び表示制御方法

Publications (2)

Publication Number Publication Date
JP2012043266A JP2012043266A (ja) 2012-03-01
JP5510185B2 true JP5510185B2 (ja) 2014-06-04

Family

ID=44582376

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010185070A Expired - Fee Related JP5510185B2 (ja) 2010-08-20 2010-08-20 情報処理装置、プログラム及び表示制御方法

Country Status (7)

Country Link
US (1) US20120044173A1 (ja)
EP (1) EP2420925A2 (ja)
JP (1) JP5510185B2 (ja)
KR (1) KR20120018279A (ja)
CN (2) CN202502479U (ja)
BR (1) BRPI1106261A2 (ja)
RU (1) RU2011134146A (ja)

Families Citing this family (128)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7958456B2 (en) 2005-12-23 2011-06-07 Apple Inc. Scrolling list with floating adjacent index symbols
US10705701B2 (en) * 2009-03-16 2020-07-07 Apple Inc. Device, method, and graphical user interface for moving a current position in content at a variable scrubbing rate
US8624933B2 (en) 2009-09-25 2014-01-07 Apple Inc. Device, method, and graphical user interface for scrolling a multi-section document
GB2481606B (en) * 2010-06-29 2017-02-01 Promethean Ltd Fine object positioning
US9417754B2 (en) 2011-08-05 2016-08-16 P4tents1, LLC User interface system, method, and computer program product
JP2013050883A (ja) * 2011-08-31 2013-03-14 Nintendo Co Ltd 情報処理プログラム、情報処理システム、情報処理装置および情報処理方法
US9310941B2 (en) * 2011-10-04 2016-04-12 Atmel Corporation Touch sensor input tool with offset between touch icon and input icon
US8810535B2 (en) * 2011-10-18 2014-08-19 Blackberry Limited Electronic device and method of controlling same
US8490008B2 (en) 2011-11-10 2013-07-16 Research In Motion Limited Touchscreen keyboard predictive display and generation of a set of characters
US9122672B2 (en) 2011-11-10 2015-09-01 Blackberry Limited In-letter word prediction for virtual keyboard
US9310889B2 (en) 2011-11-10 2016-04-12 Blackberry Limited Touchscreen keyboard predictive display and generation of a set of characters
US9652448B2 (en) 2011-11-10 2017-05-16 Blackberry Limited Methods and systems for removing or replacing on-keyboard prediction candidates
US9715489B2 (en) 2011-11-10 2017-07-25 Blackberry Limited Displaying a prediction candidate after a typing mistake
US9557913B2 (en) 2012-01-19 2017-01-31 Blackberry Limited Virtual keyboard display having a ticker proximate to the virtual keyboard
EP2618248B1 (en) 2012-01-19 2017-08-16 BlackBerry Limited Virtual keyboard providing an indication of received input
KR101725073B1 (ko) 2012-02-06 2017-04-11 핫헤드 게임즈 인크. 카드 상자 및 팩의 가상 개봉
CN103294374A (zh) * 2012-02-23 2013-09-11 中兴通讯股份有限公司 一种触摸屏解锁方法及装置
EP2631758B1 (en) 2012-02-24 2016-11-02 BlackBerry Limited Touchscreen keyboard providing word predictions in partitions of the touchscreen keyboard in proximate association with candidate letters
EP2631768B1 (en) 2012-02-24 2018-07-11 BlackBerry Limited Portable electronic device including touch-sensitive display and method of controlling same
KR101151549B1 (ko) 2012-03-06 2012-05-30 한양대학교 산학협력단 단말기 연동 및 제어 시스템 및 이에 사용되는 사용자 단말기
US20130234984A1 (en) 2012-03-06 2013-09-12 Industry-University Cooperation Foundation Hanyang University System for linking and controlling terminals and user terminal used in the same
JP5704655B2 (ja) * 2012-04-12 2015-04-22 株式会社Ｎｔｔドコモ 表示装置及びプログラム
US9201510B2 (en) 2012-04-16 2015-12-01 Blackberry Limited Method and device having touchscreen keyboard with visual cues
US9354805B2 (en) 2012-04-30 2016-05-31 Blackberry Limited Method and apparatus for text selection
EP2660697B1 (en) * 2012-04-30 2017-03-01 BlackBerry Limited Method and apparatus for text selection
GB2506956A (en) * 2012-04-30 2014-04-16 Blackberry Ltd Method and apparatus for text selection
DE112012000321T5 (de) * 2012-04-30 2014-03-06 Research In Motion Limited Verfahren und Vorrichtung zur Textauswahl
US9292192B2 (en) 2012-04-30 2016-03-22 Blackberry Limited Method and apparatus for text selection
EP2660696B1 (en) * 2012-04-30 2014-06-11 BlackBerry Limited Method and apparatus for text selection
US10025487B2 (en) * 2012-04-30 2018-07-17 Blackberry Limited Method and apparatus for text selection
CN107728906B (zh) 2012-05-09 2020-07-31 苹果公司 用于移动和放置用户界面对象的设备、方法和图形用户界面
WO2013169849A2 (en) 2012-05-09 2013-11-14 Industries Llc Yknots Device, method, and graphical user interface for displaying user interface objects corresponding to an application
WO2013169875A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for displaying content associated with a corresponding affordance
EP3410287B1 (en) 2012-05-09 2022-08-17 Apple Inc. Device, method, and graphical user interface for selecting user interface objects
JP6082458B2 (ja) 2012-05-09 2017-02-15 アップル インコーポレイテッド ユーザインタフェース内で実行される動作の触知フィードバックを提供するデバイス、方法、及びグラフィカルユーザインタフェース
WO2013169845A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for scrolling nested regions
CN109298789B (zh) 2012-05-09 2021-12-31 苹果公司 用于针对激活状态提供反馈的设备、方法和图形用户界面
EP2847659B1 (en) 2012-05-09 2019-09-04 Apple Inc. Device, method, and graphical user interface for transitioning between display states in response to a gesture
WO2013169842A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for selecting object within a group of objects
WO2013169851A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for facilitating user interaction with controls in a user interface
WO2013169843A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for manipulating framed graphical objects
WO2013169865A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for moving a user interface object based on an intensity of a press input
CN105260049B (zh) 2012-05-09 2018-10-23 苹果公司 用于响应于用户接触来显示附加信息的设备、方法和图形用户界面
US9207860B2 (en) 2012-05-25 2015-12-08 Blackberry Limited Method and apparatus for detecting a gesture
JP5342040B1 (ja) * 2012-06-07 2013-11-13 株式会社エヌ・ティ・ティ・ドコモ 表示装置、表示方法及びプログラム
US9116552B2 (en) 2012-06-27 2015-08-25 Blackberry Limited Touchscreen keyboard providing selection of word predictions in partitions of the touchscreen keyboard
WO2014010543A1 (ja) * 2012-07-09 2014-01-16 Ｎｅｃカシオモバイルコミュニケーションズ株式会社 情報処理装置、入力受付方法及びプログラム
KR20140016454A (ko) * 2012-07-30 2014-02-10 삼성전자주식회사 터치스크린을 구비한 휴대 단말기의 오브젝트 이동을 위한 드래그 제어 방법 및 장치
US9223423B2 (en) * 2012-07-30 2015-12-29 Facebook, Inc. Touch gesture offset
US9524290B2 (en) 2012-08-31 2016-12-20 Blackberry Limited Scoring predictions based on prediction length and typing speed
US9063653B2 (en) 2012-08-31 2015-06-23 Blackberry Limited Ranking predictions based on typing speed and typing confidence
JP5655836B2 (ja) 2012-10-11 2015-01-21 コニカミノルタ株式会社 画像処理装置、プログラム及び操作イベント判別方法
JP2014086836A (ja) * 2012-10-23 2014-05-12 Canon Inc 画像処理装置及びその制御方法、並びにプログラム
JP2014106677A (ja) * 2012-11-27 2014-06-09 Sharp Corp 表示制御装置、表示方法、および表示プログラム
TW201421340A (zh) * 2012-11-29 2014-06-01 Egalax Empia Technology Inc 一種放大影像的電子裝置與方法
WO2014103634A1 (ja) * 2012-12-26 2014-07-03 グリー株式会社 表示処理方法及び情報装置
KR102001332B1 (ko) * 2012-12-29 2019-07-17 애플 인크. 콘텐츠를 스크롤할지 선택할지 결정하기 위한 디바이스, 방법 및 그래픽 사용자 인터페이스
WO2014105275A1 (en) 2012-12-29 2014-07-03 Yknots Industries Llc Device, method, and graphical user interface for forgoing generation of tactile output for a multi-contact gesture
CN104903834B (zh) 2012-12-29 2019-07-05 苹果公司 用于在触摸输入到显示输出关系之间过渡的设备、方法和图形用户界面
AU2013368440B2 (en) 2012-12-29 2017-01-05 Apple Inc. Device, method, and graphical user interface for navigating user interface hierarchies
EP2939095B1 (en) 2012-12-29 2018-10-03 Apple Inc. Device, method, and graphical user interface for moving a cursor according to a change in an appearance of a control icon with simulated three-dimensional characteristics
WO2014105279A1 (en) 2012-12-29 2014-07-03 Yknots Industries Llc Device, method, and graphical user interface for switching between user interfaces
EP2753092A1 (en) * 2013-01-02 2014-07-09 Samsung Electronics Co., Ltd Display apparatus, input apparatus, and method for compensating coordinates using the same
JP5787238B2 (ja) * 2013-04-10 2015-09-30 コニカミノルタ株式会社 制御装置及び操作制御方法並びに操作制御プログラム
JP5780438B2 (ja) * 2013-05-21 2015-09-16 カシオ計算機株式会社 電子機器、位置指定方法及びプログラム
US10282067B2 (en) * 2013-06-04 2019-05-07 Sony Corporation Method and apparatus of controlling an interface based on touch operations
US9524568B2 (en) * 2013-06-06 2016-12-20 Apple Inc. Movement of position indicator on touchscreen
JP5939581B2 (ja) 2013-07-08 2016-06-22 インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ 表示画面上に表示された移動対象であるオブジェクトを移動する方法、並びに、その電子装置及び電子装置プログラム
WO2015068615A1 (ja) * 2013-11-05 2015-05-14 株式会社村田製作所 タッチ式入力装置
US10990267B2 (en) 2013-11-08 2021-04-27 Microsoft Technology Licensing, Llc Two step content selection
US9841881B2 (en) 2013-11-08 2017-12-12 Microsoft Technology Licensing, Llc Two step content selection with auto content categorization
US20150212707A1 (en) * 2014-01-29 2015-07-30 Social Commenting, Llc Computer System and Method to View and Edit Documents from an Electronic Computing Device Touchscreen
KR20150105140A (ko) * 2014-03-07 2015-09-16 삼성전자주식회사 휴대 단말기 및 컨텐츠 확대 표시 방법
US9733788B2 (en) * 2014-03-17 2017-08-15 Microsoft Technology Licensing, Llc Multi-stage cursor control
KR102167646B1 (ko) * 2014-04-01 2020-10-19 삼성전자주식회사 프레임 정보를 제공하는 전자 장치 및 방법
CN104978102B (zh) * 2014-04-08 2019-03-12 宏碁股份有限公司 电子装置以及使用者界面控制方法
CN106030463A (zh) * 2014-04-16 2016-10-12 密克罗奇普技术公司 确定触摸及力感测表面上的触摸位置及对其的力
CN105094505A (zh) * 2014-05-08 2015-11-25 宏碁股份有限公司 电子装置以及使用者界面显示方法
WO2016036510A1 (en) 2014-09-02 2016-03-10 Apple Inc. Music user interface
KR20160047204A (ko) 2014-10-22 2016-05-02 현대자동차주식회사 터치장치 및 터치장치의 제어방법
CN104375780B (zh) * 2014-12-02 2017-11-28 厦门飞信网络科技有限公司 一种触摸事件处理方法、设备和移动终端
JP6427414B2 (ja) * 2014-12-26 2018-11-21 株式会社バンダイナムコエンターテインメント 入力処理装置及びプログラム
US10048757B2 (en) 2015-03-08 2018-08-14 Apple Inc. Devices and methods for controlling media presentation
US9990107B2 (en) 2015-03-08 2018-06-05 Apple Inc. Devices, methods, and graphical user interfaces for displaying and using menus
US9632664B2 (en) 2015-03-08 2017-04-25 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10095396B2 (en) 2015-03-08 2018-10-09 Apple Inc. Devices, methods, and graphical user interfaces for interacting with a control object while dragging another object
US9645732B2 (en) 2015-03-08 2017-05-09 Apple Inc. Devices, methods, and graphical user interfaces for displaying and using menus
US9639184B2 (en) 2015-03-19 2017-05-02 Apple Inc. Touch input cursor manipulation
US9785305B2 (en) 2015-03-19 2017-10-10 Apple Inc. Touch input cursor manipulation
US10067653B2 (en) 2015-04-01 2018-09-04 Apple Inc. Devices and methods for processing touch inputs based on their intensities
US20170045981A1 (en) 2015-08-10 2017-02-16 Apple Inc. Devices and Methods for Processing Touch Inputs Based on Their Intensities
US10346030B2 (en) 2015-06-07 2019-07-09 Apple Inc. Devices and methods for navigating between user interfaces
US10200598B2 (en) 2015-06-07 2019-02-05 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US9860451B2 (en) 2015-06-07 2018-01-02 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US9891811B2 (en) 2015-06-07 2018-02-13 Apple Inc. Devices and methods for navigating between user interfaces
US9674426B2 (en) 2015-06-07 2017-06-06 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US9830048B2 (en) 2015-06-07 2017-11-28 Apple Inc. Devices and methods for processing touch inputs with instructions in a web page
JP6112147B2 (ja) * 2015-07-03 2017-04-12 カシオ計算機株式会社 電子機器、及び位置指定方法
JP5906344B1 (ja) * 2015-07-06 2016-04-20 ヤフー株式会社 情報処理装置、情報表示プログラムおよび情報表示方法
JP6311672B2 (ja) 2015-07-28 2018-04-18 トヨタ自動車株式会社 情報処理装置
US10235035B2 (en) 2015-08-10 2019-03-19 Apple Inc. Devices, methods, and graphical user interfaces for content navigation and manipulation
US9880735B2 (en) 2015-08-10 2018-01-30 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10248308B2 (en) 2015-08-10 2019-04-02 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interfaces with physical gestures
US10416800B2 (en) 2015-08-10 2019-09-17 Apple Inc. Devices, methods, and graphical user interfaces for adjusting user interface objects
DE102016204540A1 (de) * 2016-03-18 2017-09-21 Koenig & Bauer Ag Inspektionssystem mit einem Bildschirm zur optischen Darstellung eines fotografischen Bildes
US9919213B2 (en) * 2016-05-03 2018-03-20 Hothead Games Inc. Zoom controls for virtual environment user interfaces
US10004991B2 (en) 2016-06-28 2018-06-26 Hothead Games Inc. Systems and methods for customized camera views in virtualized environments
US10010791B2 (en) 2016-06-28 2018-07-03 Hothead Games Inc. Systems and methods for customized camera views and customizable objects in virtualized environments
JP2018010584A (ja) * 2016-07-15 2018-01-18 アイシン・エィ・ダブリュ株式会社 操作支援装置及びコンピュータプログラム
CN106354418B (zh) * 2016-11-16 2019-07-09 腾讯科技（深圳）有限公司 一种基于触摸屏的操控方法和装置
WO2018123231A1 (ja) * 2016-12-27 2018-07-05 パナソニックＩｐマネジメント株式会社 電子機器、入力制御方法、及びプログラム
CN108459702B (zh) * 2017-02-22 2024-01-26 深圳巧牛科技有限公司 基于手势识别与视觉反馈的人机交互方法与系统
JP6872401B2 (ja) * 2017-03-30 2021-05-19 株式会社バンダイナムコエンターテインメント ゲームシステム及びプログラム
US10992795B2 (en) 2017-05-16 2021-04-27 Apple Inc. Methods and interfaces for home media control
US11431836B2 (en) 2017-05-02 2022-08-30 Apple Inc. Methods and interfaces for initiating media playback
US10928980B2 (en) 2017-05-12 2021-02-23 Apple Inc. User interfaces for playing and managing audio items
CN111343060B (zh) 2017-05-16 2022-02-11 苹果公司 用于家庭媒体控制的方法和界面
US20220279063A1 (en) 2017-05-16 2022-09-01 Apple Inc. Methods and interfaces for home media control
JP6771435B2 (ja) * 2017-07-20 2020-10-21 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および位置情報取得方法
CN107870723B (zh) 2017-10-16 2020-09-04 华为技术有限公司 一种悬浮按钮显示方法及终端设备
JP6429975B2 (ja) * 2017-10-26 2018-11-28 オリンパス株式会社 電子機器、アイコン表示方法およびアイコン表示用プログラム
JP7399621B2 (ja) * 2018-03-16 2023-12-18 キヤノンメディカルシステムズ株式会社 超音波診断装置、情報処理装置及び情報処理プログラム
JP7094175B2 (ja) * 2018-08-09 2022-07-01 パナソニックホールディングス株式会社 入力装置
JP6605116B2 (ja) * 2018-12-17 2019-11-13 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
KR102436985B1 (ko) 2019-05-31 2022-08-29 애플 인크. 오디오 미디어 제어를 위한 사용자 인터페이스
US11010121B2 (en) 2019-05-31 2021-05-18 Apple Inc. User interfaces for audio media control
CN113093973B (zh) * 2019-12-23 2023-09-26 鹤壁天海电子信息系统有限公司 一种移动终端的操作方法、存储介质及移动终端
US11392291B2 (en) 2020-09-25 2022-07-19 Apple Inc. Methods and interfaces for media control with dynamic feedback

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0651908A (ja) * 1992-07-28 1994-02-25 Sony Corp タッチパネル式入力装置を備えた情報処理装置
JP3744116B2 (ja) 1997-04-08 2006-02-08 松下電器産業株式会社 表示入力装置
JP2000267808A (ja) * 1999-03-16 2000-09-29 Oki Electric Ind Co Ltd タッチパネル入力装置と表示装置とを連携させた入力方法
CA2310945C (en) * 2000-06-05 2009-02-03 Corel Corporation System and method for magnifying and editing images
JP4951852B2 (ja) * 2004-10-15 2012-06-13 株式会社日立製作所 オブジェクト選択装置及びプログラム
US7489306B2 (en) * 2004-12-22 2009-02-10 Microsoft Corporation Touch screen accuracy
US7605804B2 (en) * 2005-04-29 2009-10-20 Microsoft Corporation System and method for fine cursor positioning using a low resolution imaging touch screen
US8077153B2 (en) * 2006-04-19 2011-12-13 Microsoft Corporation Precise selection techniques for multi-touch screens
US7843427B2 (en) * 2006-09-06 2010-11-30 Apple Inc. Methods for determining a cursor position from a finger contact with a touch screen display
JP2009245239A (ja) * 2008-03-31 2009-10-22 Sony Corp ポインタ表示装置、ポインタ表示検出方法、ポインタ表示検出プログラム及び情報機器
JP4609557B2 (ja) * 2008-08-29 2011-01-12 ソニー株式会社 情報処理装置及び情報処理方法
JP2010185070A (ja) 2008-12-05 2010-08-26 Toray Fine Chemicals Co Ltd 硬化型組成物
US8451236B2 (en) * 2008-12-22 2013-05-28 Hewlett-Packard Development Company L.P. Touch-sensitive display screen with absolute and relative input modes
US8279184B2 (en) * 2009-01-27 2012-10-02 Research In Motion Limited Electronic device including a touchscreen and method
US10705701B2 (en) * 2009-03-16 2020-07-07 Apple Inc. Device, method, and graphical user interface for moving a current position in content at a variable scrubbing rate
US8255830B2 (en) * 2009-03-16 2012-08-28 Apple Inc. Methods and graphical user interfaces for editing on a multifunction device with a touch screen display
US20110043538A1 (en) * 2009-08-18 2011-02-24 Sony Ericsson Mobile Communications Ab Method and Arrangement for Zooming on a Display
US8358281B2 (en) * 2009-12-15 2013-01-22 Apple Inc. Device, method, and graphical user interface for management and manipulation of user interface elements
FR2963970B1 (fr) * 2010-08-17 2013-07-12 Compagnie Ind Et Financiere Dingenierie Ingenico Procede de commande d'actions au moyen d'un ecran tactile.
US8643616B1 (en) * 2011-07-29 2014-02-04 Adobe Systems Incorporated Cursor positioning on a touch-sensitive display screen
JP2014044605A (ja) * 2012-08-28 2014-03-13 Fujifilm Corp タッチ検知ディスプレイにおける入力制御装置および方法並びにプログラム

Also Published As

Publication number Publication date
BRPI1106261A2 (pt) 2013-01-22
EP2420925A2 (en) 2012-02-22
US20120044173A1 (en) 2012-02-23
CN102375683A (zh) 2012-03-14
RU2011134146A (ru) 2013-02-20
KR20120018279A (ko) 2012-03-02
CN202502479U (zh) 2012-10-24
JP2012043266A (ja) 2012-03-01

Similar Documents

Publication Publication Date Title
JP5510185B2 (ja) 情報処理装置、プログラム及び表示制御方法
JP5573487B2 (ja) 情報処理装置、プログラム及び操作制御方法
EP3404520B1 (en) Method of displaying information by using touch input in mobile terminal
JP5229084B2 (ja) 表示制御装置、表示制御方法およびコンピュータプログラム
US10282081B2 (en) Input and output method in touch screen terminal and apparatus therefor
JP5691464B2 (ja) 情報処理装置
JP5946462B2 (ja) 携帯端末機及びその画面制御方法
US20050223342A1 (en) Method of navigating in application views, electronic device, graphical user interface and computer program product
US20160370967A1 (en) Magnifier panning interface for natural input devices
US20100090971A1 (en) Object management method and apparatus using touchscreen
CN107066171A (zh) 触屏终端的多窗口切换方法和系统
TWI490774B (zh) 用於觸控裝置之瀏覽頁面鎖定縮放區域之控制方法
US20180121048A1 (en) Display device and display control method
JP5805685B2 (ja) 電子機器、制御方法、及び制御プログラム
US9244564B2 (en) Information processing apparatus touch panel display and control method therefor
JP2011134273A (ja) 情報処理装置、情報処理方法およびプログラム
US10895979B1 (en) Methods and user interfaces for positioning a selection, selecting, and editing, on a computing device running under a touch-based operating system, using gestures on a touchpad device
JP5926968B2 (ja) 表示装置及び表示方法、プログラム
WO2005096132A1 (en) Method of navigating, electronic device, user interface and computer program product
EP2993555B1 (en) Screen operation method for electronic device based on electronic device and control action
US20150046855A1 (en) Electronic apparatus, control method for electronic apparatus, and program
JP6303864B2 (ja) 情報処理装置及び表示制御方法
JP2014203202A (ja) 情報処理装置、情報処理装置の制御方法、およびプログラム
JP6106973B2 (ja) 情報処理装置及びプログラム
US20180173362A1 (en) Display device, display method used in the same, and non-transitory computer readable recording medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130723

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131217

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131218

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140203

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140225

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140310

LAPS Cancellation because of no payment of annual fees