JP5768347B2 - 情報処理装置、情報処理方法およびコンピュータプログラム - Google Patents

情報処理装置、情報処理方法およびコンピュータプログラム Download PDF

Info

Publication number
JP5768347B2
JP5768347B2 JP2010199638A JP2010199638A JP5768347B2 JP 5768347 B2 JP5768347 B2 JP 5768347B2 JP 2010199638 A JP2010199638 A JP 2010199638A JP 2010199638 A JP2010199638 A JP 2010199638A JP 5768347 B2 JP5768347 B2 JP 5768347B2
Authority
JP
Japan
Prior art keywords
moving speed
display
finger
position information
display surface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010199638A
Other languages
English (en)
Other versions
JP2012058882A (ja
Inventor
俊一 笠原
俊一 笠原
山本 一幸
一幸 山本
律子 金野
律子 金野
智也 成田
智也 成田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2010199638A priority Critical patent/JP5768347B2/ja
Priority to US13/220,207 priority patent/US8736575B2/en
Priority to CN201110259921.6A priority patent/CN102402327B/zh
Priority to CN201610049390.0A priority patent/CN105739764B/zh
Publication of JP2012058882A publication Critical patent/JP2012058882A/ja
Priority to US14/264,691 priority patent/US8952931B2/en
Priority to US14/594,736 priority patent/US9671897B2/en
Application granted granted Critical
Publication of JP5768347B2 publication Critical patent/JP5768347B2/ja
Priority to US15/584,147 priority patent/US10296134B2/en
Priority to US16/383,691 priority patent/US10503316B1/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04108Touchless 2D- digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface without distance measurement in the Z direction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Description

本発明は、情報処理装置、情報処理方法およびコンピュータプログラムに関し、より詳細には、GUIの操作制御処理を行う情報処理装置、情報処理方法およびコンピュータプログラム関する。
タッチパネルは、直感的で使いやすいユーザインタフェース(以下、「UI」ともいう。)を実現可能であることから、従来から交通機関の発券機や銀行のATM等に使用されていた。近年では、タッチパネルはユーザの動作を検出することも可能となり、従来のボタン操作にはない機器の操作を実現することができるようになった。これにより、近年、携帯電話機やゲーム機器などの携帯機器にタッチパネルが多く用いられるようになっている。例えば特許文献1には、装置の入力領域近傍における物体の存在に基づき、ユーザがタッチパネル等の入力領域に接触する前に触覚フィードバックを開始することにより、装置上の触覚的効果を生成する装置が開示されている。
特表2010−506302号公報
しかし、従来のタッチパネルでは、タッチパネルによって検知可能な指の情報は、接触している指の状態のみであった。このため、指がタッチパネルに接触するまでは機器を操作することができず、また、指をタッチパネルに接触させることによりどのような処理が実行されるのか、ユーザは指をタッチパネルに接触させるまで認識することができなかった。
また、従来のタッチパネルでは接触している指の状態のみ検出可能であったため、タッチパネルで操作を行った場合に、タッチパネルに対してどの程度の速度で指が接触したのかを計測することは困難であった。同等に、タッチパネルに対してどの程度の速度で指が離隔されたのかを計測することも困難である。すなわち、従来は、指がタッチパネルに接触したか否かを検出できるのみであり、かかる検出結果から判断できる入力操作によって機器を操作しなければならないという制約があった。
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、タッチパネルにおける入力操作に多様性を持たせることが可能な、新規かつ改良された情報処理装置、情報処理方法およびコンピュータプログラムを提供することにある。
上記課題を解決するために、本発明のある観点によれば、オブジェクトが表示される表示部の表示面に対する操作体の位置情報を取得する位置情報取得部と、位置情報に基づいて、表示面に対して鉛直方向における操作体の移動速度を取得する移動速度取得部と、操作体の位置情報より操作対象となるオブジェクトを決定し、操作体の移動速度に応じて操作対象となるオブジェクトに関連付けられた処理のうち実行する処理を決定する処理判定部と、を備える、情報処理装置が提供される。
位置情報取得部は、表示面と操作体との近接距離を位置情報として取得し、移動速度取得部は、近接距離に基づいて、表示面に対して鉛直方向における操作体の移動速度を取得してもよい。
また、位置情報取得部は、表示面と操作体との近接状態を位置情報として取得し、移動速度取得部は、近接状態に基づいて、表示面に対して鉛直方向における操作体の移動速度を取得してもよい。
本発明の情報処理装置は、さらに、処理判定部の判定結果に基づいて、操作対象のオブジェクトの表示形式を変更する表示変更部を備えてもよい。
操作体が接触されたとき表示変更部により変形して表示されるオブジェクトが表示されているとき、処理判定部は、操作体の移動速度に応じて、操作対象のオブジェクトに操作体が接触したときの当該オブジェクトの変形量を変化させてもよい。
また、処理判定部は、表示部に表示されているオブジェクトに接触する操作体の移動速度に応じて、表示面の奥行方向における操作対象のオブジェクトの表示位置を変化させてもよい。
さらに、処理判定部は、表示部の表示領域のうちオブジェクト以外の表示領域において、操作体が所定速度より大きい速度で接触したとき、オブジェクトの表示された第1の画面から第2の画面へ遷移することを決定してもよい。
また、処理判定部は、操作体の位置情報および移動速度に基づいて操作体を表示面に近接または離隔させる移動方向を取得し、表示変更部に、位置情報より操作対象となるオブジェクトに関連付けられた1または複数の下位オブジェクトを、操作体の移動方向に応じた形式で展開して表示させてもよい。
さらに、処理判定部は、表示部に表示されているオブジェクトに近接または離隔する操作体の移動速度に応じて、操作対象のオブジェクトを選択された選択状態としてもよい。
また、処理判定部は、表示部に表示されているオブジェクトに接触する操作体の移動速度に応じて、位置情報より操作対象となるオブジェクトに関連付けられた機能を実行させてもよい。
さらに、処理判定部は、操作体の移動速度が所定速度より大きいとき、操作対象のオブジェクトに関連付けられた機能を直接実行し、操作体の移動速度が所定速度以下であるとき、操作対象のオブジェクトに関連付けられた機能の実行の可否をユーザに対して確認してもよい。
また、処理判定部は、操作体の位置情報に基づきフォーカスするオブジェクトを決定し、表示面に対する操作体の移動速度が所定速度以下のとき、操作体が接触したオブジェクトを選択状態とし、表示面に対する操作体の移動速度が所定速度より大きいとき、操作体がオブジェクトに接触する直前にフォーカスされていたオブジェクトを選択状態としてもよい。
また、上記課題を解決するために、本発明の別の観点によれば、オブジェクトが表示される表示部の表示面に対する操作体の位置情報を取得するステップと、位置情報に基づいて、表示面に対して鉛直方向における操作体の移動速度を取得するステップと、操作体の位置情報より操作対象となるオブジェクトを決定し、操作体の移動速度に応じて操作対象となるオブジェクトに関連付けられた処理のうち実行する処理を決定するステップと、を含む、情報処理方法が提供される。
さらに、上記課題を解決するために、本発明の別の観点によれば、コンピュータを、オブジェクトが表示される表示部の表示面に対する操作体の位置情報を取得する位置情報取得部と、位置情報に基づいて、表示面に対して鉛直方向における操作体の移動速度を取得する移動速度取得部と、操作体の位置情報より操作対象となるオブジェクトを決定し、操作体の移動速度に応じて操作対象となるオブジェクトに関連付けられた処理のうち実行する処理を決定する処理判定部と、を備える、情報処理装置として機能させるためのコンピュータプログラムが提供される。
プログラムは、コンピュータが備える記憶装置に格納され、コンピュータが備えるCPUに読み込まれて実行されることにより、そのコンピュータを上記情報処理装置として機能させることができる。また、プログラムが記録された、コンピュータによって読み取り可能な記録媒体も提供される。記録媒体は、例えば磁気ディスク、光ディスク、およびMO(Magneto Optical)ディスクなどである。磁気ディスクとしては、ハードディスクおよび円盤型磁性体ディスクなどがあげられる。また、光ディスクとしては、CD(Compact Disc、DVD−R(Digital Versatile Disc Recordable)およびBD(Blu−Ray Disc(登録商標))などがあげられる。
以上説明したように本発明によれば、タッチパネルにおける入力操作に多様性を持たせることが可能な情報処理装置、情報処理方法およびコンピュータプログラムを提供することができる。
本発明の実施形態に係る情報処理装置のハードウェア構成例を示すブロック図である。 同実施形態に係る情報処理装置のハードウェア構成例を示す説明図である。 指の移動速度に応じてオブジェクトの変形量を変化されたときのオブジェクトの表現の変化を示す説明図である。 同実施形態に係る情報処理装置の機能構成を示すブロック図である。 指の近接状態と計測時間とに基づいて指の移動速度を取得する処理を説明するための説明図である。 指の近接状態と計測時間とに基づいて指の移動速度を取得する処理を説明するための説明図である。 指の近接距離に基づいて指の移動速度を取得する処理を説明するための説明図である。 表示面に対して鉛直方向における指の移動速度が検出できない場合の、指の移動速度を取得する処理を説明するための説明図である。 表示面に対して鉛直方向における指の移動速度が検出できない場合の、指の移動速度を取得する処理を説明するための説明図である。 同実施形態に係る情報処理装置によるオブジェクト操作制御処理を示すフローチャートである。 タップ動作を行ったときのGUIの表現変更の一例として、画面の奥方向にオブジェクトを移動させる表現変更を説明する説明図である。 オブジェクトに所定の機能が関連付けられている場合において、同一オブジェクトが選択されたとき、指の移動速度に応じて当該オブジェクトに関連付けられた機能を実行する過程を変更させる例を示す説明図である。 オブジェクト以外の表示領域を利用した、指の移動速度に応じた処理を実行させる一例を示す説明図である。 オブジェクト以外の表示領域を利用して画面を遷移させる他の例を示す説明図である。 オブジェクト以外の表示領域を利用して画面を遷移させる他の例を示す説明図である。 オブジェクトに所定の機能が関連付けられている場合において、同一オブジェクトを選択したとき、指の移動速度に応じて異なる機能を実行させる処理の一例を示す説明図である。 同実施形態に係る接触位置補正処理を説明するための説明図である。 同実施形態に係る接触位置補正処理を示すフローチャートである。 位置情報より指が表示面をタップする方向を取得し、その方向に応じて実行する処理を決定する処理の一例を示す説明図である。 位置情報より指が表示面をタップする方向を取得し、その方向に応じて実行する処理を決定する処理の他の一例を示す説明図である。 指を表示面からリリースさせるときの指の移動速度を利用して、オブジェクトの選択時の表現を変化させる処理の一例を示す説明図である。 指を表示面からリリースさせるときの指の移動速度を利用して、オブジェクトの選択時の表現を変化させる処理の一例を示す説明図である。 指を表示面からリリースさせるときの指の移動速度を利用して、オブジェクトの選択時の表現を変化させる処理の他の一例を示す説明図である。 指を表示面からリリースさせるときの指の移動速度を利用して、オブジェクトの選択時の表現を変化させる処理の他の一例を示す説明図である。
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
1.情報処理装置の概要
2.情報処理装置の機能構成
3.移動速度情報を用いたオブジェクト操作制御処理
4.バリエーション
<1.情報処理装置の概要>
[ハードウェア構成例]
まず、図1および図2を参照して、本発明の実施形態に係る情報処理装置のハードウェア構成例について説明する。なお、図1は、本実施形態に係る情報処理装置100のハードウェア構成例を示すブロック図である。図2は、本実施形態に係る情報処理装置100のハードウェア構成例を示す説明図である。
本実施形態に係る情報処理装置100は、表示装置の表示面上における操作体の接触位置を検出可能であり、かつ、表示装置の表示面と当該表示面の上方にある操作体との近接距離を検出可能な検出部を備える装置である。情報処理装置100としては、例えば、携帯情報端末やスマートフォンのような小型の表示装置を備える機器等、機器の機能によらず、様々な機器を想定している。
本実施形態に係る情報処理装置100は、図1に示すように、CPU101と、RAM(Random Access Memory)102と、不揮発性メモリ103と、表示装置104と、近接タッチセンサ105とを備える。
CPU101は、上述したように、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置100内の動作全般を制御する。また、CPU101は、マイクロプロセッサであってもよい。RAM102は、CPU101の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはCPUバスなどから構成されるホストバスにより相互に接続されている。不揮発性メモリ103は、CPU101が使用するプログラムや演算パラメータ等を記憶する。不揮発性メモリ103は、例えばROM(Read Only Memory)やフラッシュメモリ等を用いることができる。
表示装置104は、情報を出力する出力装置の一例である。表示装置104として、例えば液晶ディスプレイ(LCD)装置、OLED(Organic Light Emitting Diode)装置などを用いることができる。近接タッチセンサ105は、ユーザが情報を入力する入力装置の一例であって、情報を入力ための入力手段と、ユーザによる入力に基づいて入力信号を生成し、CPU101に出力する入力制御回路などから構成されている。
本実施形態に係る情報処理装置100において、近接タッチセンサ105は、図2に示すように、表示装置104の表示面に積層して設けられる。これにより、ユーザが表示面に指等を近づけたときに、近接タッチセンサ105によって表示面に対する指までの距離を検出することが可能となる。
[情報処理装置への操作情報の入力]
このような情報処理装置100において、ユーザは、表示装置104の表示面に指等の操作体を近づけると、近接タッチパネル105によって表示面と操作体との間の近接距離が検出される。情報処理装置100は、この近接距離に応じて、表示装置104に表示されている情報の表示形態を変化させる。この際、本実施形態に係る情報処理装置100は、近接タッチパネル105に対してどの程度の速度で指が接触したか、あるいは離隔したかを移動速度情報として取得し、移動速度情報に基づき、入力操作に付加的な情報を与える。これにより、近接タッチパネル105を用いた入力操作に多様性を持たせることができる。
例えば、図3に示すように、表示装置104に、ボタン201のGUIが表示されているとする。情報処理装置100は、近接タッチパネル105によって指が表示面に接触されたことが検出されると、ボタン201が指の押圧力によって押し潰されるように表示を変化させる。この際、指の移動速度が所定速度より小さい場合にはボタン201の押し潰し量(すなわち、変形量)が小さく、指の移動速度が所定速度以上である場合にはボタン201の押し潰し量が大きくなるように、表示を変化させる。このように、表示面に指が接触されたときにボタン201が押し潰されるという変化に加えて、指の移動速度に応じてボタン201の押し潰し量を変化させることで、入力操作に多様性を持たせることができる。
ユーザは、付加的な情報に基づきGUIの表示が変化することにより、情報処理装置100に認識された入力操作を認識することができる。これにより、自身の操作入力のフィードバックによって操作性が向上される。さらに、入力操作に応じた処理を実行するようにして、指の移動速度を変化させることで、実行する処理を選択することも可能となる。以下では、表示面に対する指の移動速度を取得し、当該移動速度に応じて、GUIの表示を変化させたり、実行する処理を選択したりすることの可能な、情報処理装置100の機能構成および処理について説明していく。
<2.情報処理装置の機能構成>
まず、図4〜図9に基づいて、本実施形態に係る情報処理装置100の機能構成について説明する。なお、図4は、本実施形態に係る情報処理装置100の機能構成を示すブロック図である。図5および図6は、指の近接状態と計測時間とに基づいて指の移動速度を取得する処理を説明するための説明図である。図7は、指の近接距離に基づいて指の移動速度を取得する処理を説明するための説明図である。図8および図9は、表示面に対して鉛直方向における指の移動速度が検出できない場合の、指の移動速度を取得する処理を説明するための説明図である。
本実施形態に係る情報処理装置100は、図4に示すように、入力表示部110と、位置情報取得部120と、移動速度取得部130と、処理判定部140と、実行処理部150と、表示変更部160と、設定記憶部170とを備える。
入力表示部110は、情報を表示するとともに情報を入力するための機能部であって、検出部112と、表示部114とを備える。検出部112は、図1の近接タッチセンサ105に対応し、例えば静電式タッチパネル等を用いることができる。この場合、検出部112は、操作体と表示部114の表示面との間の近接距離に応じて変化する静電容量の値を検出する。
操作体が表示面に所定距離以上近接すると、検出部112により検出される静電容量が増加し、さらに近接するにつれて静電容量は増加する。そして、操作体が表示面に接触すると、検出部112により検出される静電容量が最大となる。このような検出部112に検出された静電容量の値に基づいて、後述する位置情報取得部120は、表示部114の表示面に対する操作体の位置情報を取得することができる。検出部112は、検出した静電容量の値を検出結果として位置情報取得部120へ出力する。
表示部114は、図1の表示装置104に対応する、情報を表示する出力装置である。表示部114には、例えばGUIオブジェクトや、当該オブジェクトに関連付けられたコンテンツの内容等が表示される。また、表示部114には、表示変更部160によりオブジェクトの表示形態が変更された場合には、表示変更部160から通知されたオブジェクトの表示変更情報に基づいて、変更後のオブジェクトが表示される。
位置情報取得部120は、検出部112から入力された検出結果に基づいて、操作体と表示部114の表示面との位置関係を表す位置情報を取得する。上述したように、検出部112が検出した静電容量の値が大きいほど操作体と表示面とは近接しており、操作体が表示面に接触したときに静電容量の値は最大となる。静電容量の値と近接距離(あるいは近接検知領域)との対応関係は、後述する設定記憶部170に予め記憶されている。位置情報取得部120は、検出部112から入力された静電容量の値より、設定記憶部170を参照して、表示面に対して垂直方向(z方向)における指の位置を取得する。
また、位置情報取得部120は、検出部112から入力された検出結果に基づいて、表示部114の表示面上における(すなわち、xy平面上における)操作体の位置を特定する。例えば、検出部112がx座標およびy座標の検出を行う静電検出用グリッドが形成された静電センサ基板により構成されているとする。このとき、検出部112は、操作体の接触に応じた各グリッドの静電容量の変化から、基板上における(すなわち、表示面における)操作体の位置を特定することができる。例えば、静電容量の最も大きい座標位置を指が表示面に最も近接している位置の座標とすることができる。あるいは、所定値以上の静電容量が検出された領域の重心位置を指が表示面に最も近接している位置の座標としてもよい。
このようにして、位置情報取得部120は、表示部114の表示面に対する位置情報を取得することができる。取得された操作体の位置情報は、移動速度取得部130および処理判定部140へ出力される。
移動速度取得部130は、表示部114の表示面に対する指の移動速度を表す移動速度情報を取得する。移動速度情報の取得方法は検出部112により取得可能な情報に応じて決定することができる。ここで、図5〜図9に基づいて、移動速度情報の取得方法について説明する。
[移動速度情報の取得]
まず、検出部112の検出結果に基づき、表示部114の表示面に対して垂直方向における表示面と指との近接距離を取得できない場合には、移動速度取得部130は、所定の近接状態が検出された指が表示面に接触するまでの時間を計測することにより、指の移動速度を取得することができる。ここで、表示面から近接検知距離dだけ離隔した位置に指が位置したときを所定の近接状態となったものとする。例えば、指を表示面に近づけてタップ操作を行う場合には、図5に示すように、近接状態が検出された時間(近接状態検知時間thover)から指が表示面に接触するまでの時間(接触検知時間ttouch)との差分と、近接検知距離dとを用いて、下記数式1より指の移動速度Vtapを取得することができる。
tap=d/(thover−ttouch) ・・・(数式1)
同様に、指を表示面から離隔させる動作が行われた場合には、図6に示すように、表示面に対する指の接触状態が消失した時間(接触消失検知時間trelease)から、指の近接状態が消失した時間(近接状態消失検知時間thoverRelease)との差分と、近接検知距離dとを用いて、下記数式2より指の移動速度Vreleaseを取得することができる。
release=d/(thoverRelease−trelease) ・・・(数式2)
また、検出部112の検出結果に基づき、表示部114の表示面に対して垂直方向における表示面と指との近接距離を取得できる場合には、移動速度取得部130は、図7に示すように、近接距離Z(t)の時間微分によって指の移動速度V(t)を取得できる。すなわち、移動速度V(t)は、下記数式3で表すことができる。
V(t)=dZ(t)/dt ・・・(数式3)
さらに、表示面に対して垂直方向における指の移動速度を検出できない場合には、xy平面上における指の移動ベクトルを取得し、これを用いて取得される速度ベクトルを鉛直方向における指の移動速度とするようにしてもよい。例えば、図8に示すように、指を表示面に近づけてタップ操作が行われた場合には、x方向における移動距離x(t)の時間微分値であるVx(t)およびy方向における移動距離y(t)の時間微分値であるVy(t)を取得する。そして、xy平面上における指の移動ベクトルより算出される移動ベクトルをVZ(t)として取得する。図9に示すように、指を表示面から離隔させる動作が行われた場合にも、同様にxy平面上における指の移動ベクトルより算出される移動ベクトルをVZ(t)として取得することができる。
なお、指が表示面に接触されたのか、あるいは指が表示面から離隔されたのかは、検出部112により検出される静電容量値の大きさに基づき判定することができる。
このように、移動速度取得部130は、表示部114の表示面に対する指の移動速度を表す移動速度情報を取得し、取得した移動速度情報を処理判定部140へ出力する。
図4の説明に戻り、処理判定部140は、指の位置情報および移動速度情報に基づいて、表示部114に表示されているオブジェクトの表示形態やオブジェクトに関連付けられた処理(機能)の実行等を決定する。処理判定部140は、指の位置情報に対応する位置に表示されているオブジェクトを特定し、当該オブジェクトに関連付けられた処理やオブジェクトの表示の変更を、移動速度情報に基づき決定する。この際、移動速度情報は、付加的な情報として用いられ、処理判定部140は、指の移動速度に応じて表示を変更させたり、実行する処理を選択できたりするようにする。処理判定部140は、決定した処理内容を、実行処理部150または表示変更部160のうち少なくともいずれか一方へ出力する。
実行処理部150は、処理判定部140により決定された処理内容に基づいて、オブジェクトに関連付けられた処理を実行する。実行処理部150によって操作入力に対応する機能が実行される。
表示変更部160は、処理判定部140により決定された処理内容に基づいて、表示部114に表示されている表示情報を変更する。表示変更部160は、例えば、オブジェクトの表示形状を変化させたり、表示されているオブジェクトを変更したりする画像を生成し、表示部114へ出力する。
設定記憶部170は、操作体と表示面との近接距離の算出や、表示面上における操作体の位置情報の生成、その他、オブジェクトの表示形態の変更処理に際して用いられる情報を設定情報として記憶する。設定記憶部170には、例えば、静電容量の値と近接距離との対応関係を記憶しており、位置情報取得部120は、かかる対応関係を参照して、検出部112から入力された静電容量の値に対応する位置を取得することができる。また、設定記憶部170には、ユーザがオブジェクトに対して行った操作入力に対応する処理内容が記憶される。設定記憶部170に記憶されている設定情報は、予め記憶されていてもよく、ユーザによって設定してもよい。
なお、本実施形態に係る情報処理装置100は、オブジェクトの表示形態の変更処理等において必要な情報を一時的に記憶するメモリ等を備えてもよい。
<3.移動速度情報を用いたオブジェクト操作制御処理>
本実施形態に係る情報処理装置100は、上記機能を備えることにより、表示面に対する指の位置情報および移動速度情報を取得することができる。情報処理装置100がこれらの情報を用いて表示部114に表示されたオブジェクト操作を制御することで、情報処理装置100に対する操作入力に多様性を持たせることができる。以下、図10に基づいて、本実施形態に係る情報処理装置100によるオブジェクト操作制御処理を説明する。なお、図10は、本実施形態に係る情報処理装置100によるオブジェクト操作制御処理を示すフローチャートである。
指が表示面に近接または接触し、検出部112により静電容量の変化が検出されると、情報処理装置100の位置情報取得部120は、検出部112の検出結果に基づき、表示面に対する指の位置情報を取得する(S100)。例えば検出部112がx座標およびy座標の検出を行う静電検出用グリッドが形成された静電センサ基板により構成されているとき、位置情報取得部120は、上述のように、静電容量の最も大きい座標位置、あるいは所定値以上の静電容量が検出された領域の重心位置を、指が表示面に最も近接している位置のxy平面における座標としてもよい。
また、位置情報取得部120は、表示面に対して垂直方向(z方向)における位置情報も取得する。z方向における指の位置情報は、検出112により検出可能な情報によって相違する。例えば、検出部112によって表示面から指までの近接距離が取得できる場合には、近接距離がz方向における位置情報となる。また、検出部112が表示面と当該表示面から近接検知距離dだけ離隔した位置との間の領域(近接検知領域)内に位置したことを検出可能な場合には、z方向における位置情報は、指が近接検知領域に存在するか否か、そして表示面に接触しているか否かという情報になる。
なお、検出部112によってz方向における指の位置情報が取得できなくとも、図10に示すオブジェクト操作制御処理は実行できる。したがって、ステップS100では、少なくとも指のxy平面における位置を取得できればよい。位置情報取得部120は、取得した位置情報を移動速度取得部130および処理判定部140へ出力する。
次いで、移動速度取得部130は、位置情報取得部120から入力された位置情報に基づいて、指の移動速度を表す移動速度情報を取得する(S110)。ここで、移動速度情報は、少なくとも表示面に対して垂直方向、すなわちz方向における移動速度を含んでいればよく、x方向およびy方向における指の移動速度は、処理判定部140による判定処理にて必要となる場合にのみ取得されればよい。z方向における指の移動速度は、ステップS100にて取得された位置情報を用いて取得することができる。この際、移動速度取得部130は、上述したように、位置情報に含まれる情報に応じて、z方向における移動速度を取得可能な方法を適宜用い、移動速度情報を取得する。移動速度取得部130は、取得した移動速度情報を処理判定部140へ出力する。
さらに、処理判定部140は、指の位置情報および移動速度情報に基づいて、ユーザの操作入力により実行すべき処理を判定する(S120)。ステップS120では、タップ動作やスクロール動作といった指の基本的な動き情報に加えて、指の移動速度を付加的な情報として利用し、ユーザの操作入力によって実行する処理内容が決定される(S130、S140)。
例えば、図3に示したように、表示部114にボタン201のGUIが表示されており、ユーザが指でボタン201が表示された位置に指を接触させると、ボタン201が押し潰された表現に変更される。このとき、処理判定部140は、設定記憶部170を参照し、指の移動速度が所定速度(閾値)より大きいか否かを判定する。そして、指の移動速度が所定速度より大きい場合には、指の移動速度が所定速度以下である場合と比較して、ボタン201の押し潰し量を大きくする(第1の処理:S130)。一方、指の移動速度が所定速度以下である場合には、予め設定された基準押し潰し量だけボタン201が潰れたように表現する(第2の処理:S140)。
このように、処理判定部140は、指の移動速度に応じてボタン201の押し潰し量を決定し、移動速度に応じたGUIの表現を変更することができる。処理判定部140は、決定した処理内容を、実行処理部150または表示変更部160のうち少なくともいずれか一方に出力する(S150)。図3の例では、指の移動速度に応じてボタン201の表現が変更されることから、処理内容は少なくとも表示変更部160へ出力される。表示変更部160は、処理判定部140にて決定された押し潰し量でボタン201が押し潰されるようにGUIの変更を行い、表示部114へ出力する。こうして、ユーザは、指の移動速度の違いによる操作入力を視覚的に認識することができる。
なお、指の移動速度の違いに応じてボタン201に異なる処理が関連付けられている場合には、処理判定部140により決定された処理内容が実行処理部150へ出力される。実行処理部150は、処理内容に基づき、ボタン201に関連付けられた処理を実行する。これにより、ユーザは、指の移動速度を変更させることで、実行する処理を選択することもできる。
以上、本実施形態に係る情報処理装置100による移動速度情報を用いたオブジェクト操作制御処理について説明した。本実施形態によれば、検出部112の検出結果よりユーザが指をタップさせる動作を行ったと検知したとき、処理判定部140は、タップしたときの指の移動速度に応じて実行される処理内容を決定する。これにより、タッチパネルにおける入力操作に多様性を持たせることが可能となる。
<4.バリエーション>
本実施形態に係る情報処理装置100によるオブジェクト操作制御処理は、図3に示すようなGUIの表現の変更以外にも適用することができる。以下、本実施形態に係る情報処理装置100によるオブジェクト操作制御処理の他の適用例を示す。なお、以下において、特記する場合を除き、指の移動速度とは、表示面に対して垂直方向(すなわち、z方向)における指の移動速度を指す。
[GUIの表現変更:奥に沈む表示]
図11に、タップ動作を行ったときのGUIの表現変更の一例として、タップ動作を行った指の移動速度が所定速度より大きいとき、画面の奥方向にオブジェクトを移動させるようにすることができる。図11に示すように、表示部114に複数のオブジェクトからなるオブジェクト群202が表示されているとする。オブジェクト群202の各オブジェクトは、操作入力を受けない状態では、表示面に対して平行な同一面上に配列されている。
オブジェクト群202のオブジェクトのうち、例えばオブジェクト202aに対してタップ動作が行われたとする。処理判定部140は、位置情報取得部120により取得された位置情報よりオブジェクト202aに対して操作が行われようとしていることを検知するととともに、移動速度取得部130によりタップ動作をする指の移動速度を上述した方法により取得する。指の移動速度が所定速度以下である場合には、オブジェクト202aの表示は変更されない。一方、指の移動速度が所定の速度より大きい場合には、処理判定部140は、指が接触しようとしているオブジェクト202aが、指が移動する勢いによって画面奥へ押され沈むように表示を変更することを決定する。変更する処理内容は、設定記憶部170に記憶されているものとする。
処理判定部140は、決定した処理内容を、表示変更部160へ出力する。表示変更部160は、処理内容に基づき、表示部114に表示されたオブジェクト202aが画面奥へ沈むように表示情報を変更し、変更後の表示情報を表示部114に表示させる。こうして、図11に示すように、オブジェクト202aが変更される。このように、タップする指の移動速度に応じて、オブジェクトの表示を変更することで、ユーザは視覚的にどのような操作入力を行ったか認識することができるようになる。さらに、オブジェクトに所定の処理が関連付けられている場合、オブジェクトを選択する指の移動速度に応じて実行する処理を変更させるようにすることもできる。これにより、タップを行う指の移動速度によって実行する処理を選択することが可能となる。
[指の移動速度に応じた処理の実行(機能実行確認)]
オブジェクトに所定の機能が関連付けられている場合において、同一オブジェクトを選択したとき、指の移動速度に応じて、当該オブジェクトに関連付けられた機能を実行する過程を変更することもできる。図12に示す例では、オブジェクトをタップすることで、当該オブジェクトに関連付けられた機能が実行される。例えば、オブジェクト群202のオブジェクト202aがタップされると、オブジェクト203が表示部114に表示されるとする。
処理判定部140は、位置情報取得部120により取得された位置情報より、オブジェクト202aがタップされたこと検知すると、移動速度取得部130により取得された指の移動速度が所定速度より大きいか否かを判定する。そして、指の移動速度が所定速度以下である場合には、処理判定部140は、オブジェクト202aの表示は変更させず、当該オブジェクト202aに関連付けられた機能の実行の可否を確認する。機能の実行の可否は、例えば、ポップアップ表示や音声等によって行うことができる。そして、ユーザが機能の実行を許可すると機能が実行され、表示部114にオブジェクト203が表示される。
一方、指の移動速度が所定速度より大きい場合には、処理判定部140は、オブジェクト202aが画面奥に沈むように表示変更部160にオブジェクト202aの表示を変更させる。そして、機能の実行の可否をユーザに確認することなく、直接オブジェクト202aに関連付けられた機能を実行し、表示変更部160により表示部114にオブジェクト203を表示させる。
このように、オブジェクトに関連付けられた機能を実行する過程を、オブジェクトを選択する指の移動速度に応じて決定することができる。例えば、機能の実行の可否を確認するメッセージを表示させず、ダイレクトに機能を実行させたい場合には、ユーザは指を素早く移動させタップすればよい。
[指の移動速度に応じた処理の実行(オブジェクト以外の表示領域の利用)]
オブジェクトに所定の機能が関連付けられている場合、通常、オブジェクト以外の表示領域に指が触れたとしても何も反応しない。本実施形態に係る情報処理装置100では、指の移動速度を取得できる機能を利用して、オブジェクト以外の表示領域において所定速度より大きい速度でタップ動作が行われたことを検知すると、現在表示部114に表示されているレイヤ画面から次のレイヤ画面に遷移するようにすることもできる。
例えば、図13に示すように、第1のレイヤ画面210に、オブジェクト(202a等)からなるオブジェクト群202が表示されているとする。各オブジェクトにはそれぞれ所定の機能が関連付けられており、オブジェクトをタップすることでこれに関連付けられた機能を実行させることができる。一方、オブジェクト以外の表示領域で所定速度以下の速度でタップ動作が行われたとしても、何らかの機能が実行されることもなく、表示部114の表示も変化されない。
しかし、オブジェクト以外の表示領域において所定速度より大きい速度でタップ動作が行われると、例えば図13に示すように、オブジェクト群202が表示されていた第1のレイヤ画面210からオブジェクト群204が表示された第2のレイヤ画面220へ遷移する。図13では、第1のレイヤ画面210が画面奥へすとんと落ちるように移動し、第2のレイヤ画面220が表示されるようにして画面遷移している。
このように、オブジェクト以外の表示領域を活用して、当該表示領域をタップする指の移動速度が所定速度より大きいときには、画面遷移する機能を実行させる。ユーザは直感的に画面遷移操作を行うことができる。また、指の移動速度が所定速度より大きい場合に限定して画面遷移機能が実行されるので、オブジェクトをタップしたいときに誤ってオブジェクト以外の領域をタップしても、指の移動速度が所定速度以下の場合には画面遷移機能は実行されず、誤動作を防止することもできる。
オブジェクト以外の表示領域を利用して画面を遷移させる他の例を、図14および図15に示す。図14および図15に示す例では、オブジェクト以外の表示領域がタップされると第1のレイヤ画面210を回転させ、180°回転したときに第2のレイヤ画面220が表示されるように画面遷移させている。
例えば、図14に示すように、オブジェクト以外の表示領域に、画面遷移を行う操作入力を受け付ける入力領域205a、205bを設定する。入力領域205a、205bは、例えば、表示領域の両端に設けることができる。ユーザが入力領域205aに対して所定速度より大きい速度で指を移動させてタップ動作を行ったとき、指の押圧力によって回転するようにレイヤ画面210を時計回りに回転させる。そして、第1のレイヤ画面210が180°回転したときに、例えばオブジェクト204Aが表示された第2のレイヤ画面220Aを表示させて画面遷移する。
また、図15に示すように、ユーザが入力領域205bに対して所定速度より大きい速度で指を移動させてタップ動作を行ったとき、指の押圧力によって回転するようにレイヤ画面210を反時計回りに回転させる。そして、第1のレイヤ画面210が180°回転したときに、オブジェクト204Bが表示された第2のレイヤ画面220Bを表示させて画面遷移する。
このように、オブジェクトが表示されたレイヤ画面を回転させるようにして画面遷移を行うことで、ユーザは直感的に画面遷移操作を行うことができ、違和感なく画面の変化を受け入れることができる。なお、オブジェクト以外の表示領域のうち、入力領域205a、205b以外の領域においてタップ動作が行われたとしても、何らかの機能が実行されることもなく、表示部114の表示も変化されない。同様に、かかる領域で所定速度以下の速度でタップ動作が行われたとしても、何らかの機能が実行されることもなく、表示部114の表示も変化されない。これにより、誤動作を防止することができる。
[指の移動速度に応じた処理の実行(異なる機能の実行)]
本実施形態に係る情報処理装置100では、オブジェクトに所定の機能が関連付けられている場合において、同一オブジェクトを選択したとき、指の移動速度に応じて異なる機能を実行させることもできる。例えば、図16に示すように、表示部114に複数のオブジェクトからなるオブジェクト群202が表示されているとする。オブジェクトをタップすることで、当該オブジェクトに関連付けられた機能が実行される。このとき、1つのオブジェクトに対して、当該オブジェクトをタップする指の移動速度に応じて実行される複数の機能が関連付けられている。
例えば図16に示すように、オブジェクト202aが所定速度以下でタップされたとき(通常タップ)、処理判定部140は、当該オブジェクト202aに関連けられた通常機能を実行させる。一方、オブジェクト202aが所定速度以より大きい速度でタップされたとき(スピードタップ)、処理判定部140は、当該オブジェクト202aに含まれるオブジェクトをすべて表示するように展開してリスト状にしたオブジェクト群204を表示させる。このように、同一オブジェクトに対してタップする指の移動速度を変化させることで、異なる操作を割り当てることができ、操作性を向上させることができる。
例えば、写真や映像等のコンテンツが日付や内容によってグループ化されているとき、各グループの代表コンテンツをオブジェクトとするオブジェクト群202を表示部114に示す。そして、オブジェクト群202のオブジェクトのうちいずれか1つのオブジェクトに対して所定速度以下の通常タップが行われると、代表コンテンツが選択される。一方、オブジェクト群202のオブジェクトのうちいずれか1つのオブジェクトに対して所定速度より大きい速度でタップ動作が行われると、代表コンテンツと同一グループに属するコンテンツからなるオブジェクト群204がリスト表示される。このように、オブジェクトが階層化されている場合に、オブジェクトに対してタップする指の移動速度を変化させることにより、表示させる階層を変化させることができ、所望のコンテンツを実行させることもできる。
[接触位置補正処理]
上述したように、本実施形態の情報処理装置100は、オブジェクトをタップする指の移動速度に応じて、GUIの表現や実行する処理を変化させる。このとき、指の移動速度が速すぎると、ユーザが意図しないオブジェクトをタップしたと判定される可能性が高くなり、誤動作を招く恐れがある。そこで、本実施形態に係る情報処理装置100では、指の移動速度に応じてオブジェクトに対する指の接触位置を補正することもできる。以下、図17および図18に基づき、指の移動速度に基づく接触位置補正処理を説明する。なお、図17は、本実施形態に係る接触位置補正処理を説明するための説明図である。図18は、本実施形態に係る接触位置補正処理を示すフローチャートである。
図17に示すように、複数の領域に区分されたオブジェクト206が表示部114に表示されているとする。ユーザは、指をオブジェクト206に近接させることにより、指が近接する位置に対応する領域をフォーカスすることができる。図17では、オブジェクト206の領域206aがフォーカスされている。かかる状態から、ユーザが指を表示面に移動させてオブジェクト206の一部に指を接触させたとき、指の移動速度に応じて、選択されたオブジェクト206の領域が補正される。
指の移動速度が所定速度より大きい場合、指での選択操作の正確性が低下し、所望の位置とは異なる位置が選択されやすくなる。そこで、本実施形態に係る情報処理装置100は、タップした指の移動速度が所定速度以下の場合には、指が接触された位置にある、フォーカスされている領域を選択したものとする。図17では、指が接触した領域206bが選択される。一方、タップした指の移動速度が所定速度より大きい場合には、指が接触された位置にある領域ではなく、指が接触される直前にフォーカスされていた領域が選択されたものとする。すなわち、指が接触した領域206bではなく、直前にフォーカスされていた領域206aが選択されたものとみなす。
より詳細に説明すると、情報処理装置100の処理判定部140は、位置情報取得部120により取得された位置情報に基づき、指が近接検知領域にあるか否かを判定する(S200)。指が近接検知領域にない場合には、ステップS200の処理が繰り返し行われる。一方、指が近接検知領域にあることが検知された場合には、処理判定部140は、表示変更部160に、指の位置に対応するオブジェクト206の領域をフォーカスさせる(S210)。
その後、処理判定部140は、指が表示面に接触したか否かを判定し(S220)、指が表示面に接触していないと判定された場合には、ステップS200からの処理を繰り返し行う。一方、指が表示面に接触したと判定された場合、処理判定部140は、移動速度取得部130により取得された指の移動速度が所定速度(閾値)より大きいか否かを判定する(S230)。そして、指の移動速度が所定速度より大きい場合には、図17右上図に示すように、直前にフォーカスされていた領域が選択されたものとする(S240)。すなわち、選択される領域が、指が接触した位置に対応する領域から直前にフォーカスされていた領域に補正され、当該領域に関連付けられた機能が実行される。ここで、直前にフォーカスされていた領域とは、表示面から指までの近接距離を検出可能な場合には、接触直前に検出された位置に対応する領域をいい、近接距離が検出できない場合には、近接検知領域に入ったときの指の位置に対応する領域をいう。
一方、指の移動速度が所定速度以下の場合には、図17右下図に示すように、指が接触した位置に対応する領域が選択される(S250)。これにより、指の大きさと比較してごく小さいサイズのGUIに対して操作するとき、ユーザがゆっくりとオブジェクトをタップすることで、正確に所望の領域を選択することができるようになる。
[タップの方向に応じた処理の実行]
本実施形態に係る情報処理装置100は、位置情報取得部120により表示面に対する指の位置を取得することができる。そこで、位置情報より指が表示面をタップする方向を取得し、その方向に応じて実行する処理を決定するようにしてもよい。
例えば、図19に示すように、パイル状のオブジェクト(207a、207b、・・・)からなるオブジェクト群207が表示されているとする。オブジェクト群207を構成する各オブジェクトの内容を確認するにはオブジェクト群207を展開する必要があるが、オブジェクト群207の展開の仕方を、オブジェクト群207を操作する指のタップ方向に応じて変化させることができる。
例えば、ユーザが指を斜めに移動させながらオブジェクト群207をタップすると、指の移動方向に沿って積み重ねられたパイル状のオブジェクト207a、207b、・・・が滑るように展開される(スライド展開)。そして、展開されたオブジェクト群207から1つのオブジェクト(例えば207d)をタップして選択すると、オブジェクト207dに関連付けられた処理が実行される。
一方、ユーザが表示面に対してほぼ垂直に指を移動させてオブジェクト群207をタップした場合には、オブジェクト群207を構成するオブジェクト207a、207b、・・・をすべて視認できるようにリスト表示される。そして、スライド展開された場合と同様にリスト表示されたオブジェクト群207から1つのオブジェクト(例えば207d)をタップして選択すると、オブジェクト207dに関連付けられた処理が実行される。
このように、ユーザがオブジェクト群207をタップする指の移動方向によってオブジェクト群07の展開の仕方を変更することで、ユーザにとって違和感なくオブジェクトを展開させることができる。
さらに、図19のようにスライド展開されたオブジェクトに、さらに複数のオブジェクトが関連付けられている場合、上の階層にあるオブジェクトをタップする指の移動方向に応じて、下の階層にあるオブジェクトをスライド展開させてもよい。図20の状態(A)のように複数のオブジェクト208a、208b、・・・からなるオブジェクト群208が一列に展開されているとする。このとき、ユーザが指を斜めに移動させながらオブジェクト208aをタップすると、図20の状態(B)に示すように、オブジェクト208aの下の階層にあるオブジェクトa1、a2、a3が指の移動方向に沿って展開される。これにより、ユーザにとって違和感なくオブジェクトを展開させることができる。
[指の移動速度に応じたオブジェクトの選択]
本実施形態に係る情報処理装置100は、指を表示面に対してタップするときの指の移動速度を取得するのと同様に、指を表示面からリリースさせるときの指の移動速度も取得可能である。指を表示面からリリースさせるときの指の移動速度を利用して、オブジェクトの選択時の表現を変化させることができ、視覚的にわかりやすい表現でオブジェクトの選択状態をユーザに伝えることができる。
例えば、指を表示面からリリースさせるときの指の移動速度が所定速度より大きいときに、オブジェクトを選択状態にすることが考えられる。図21に示すように、複数のオブジェクト209aからなるオブジェクト群209が表示部114に表示されているとする。ユーザは、表示面から指を所定速度より大きい速度でリリースさせることでオブジェクト群209をまとめて選択することができる。すなわち、指の移動速度が所定速度以下の場合には、オブジェクト群209は選択状態とならない。かかる状態を、処理判定部140は、図21に示すように、指のリリース動作に伴ってオブジェクト群209が浮き上がるように表示変更部160に表現させた後、所定時間経過後に浮き上がったオブジェクト群209が元の定常状態に戻るように表示させる。
一方、指の移動速度が所定速度より大きい場合には、図22に示すように、処理判定部140は、指のリリース動作に伴ってオブジェクト群209が浮き上がるように表示変更部160に表現させる。そして、指が近接検知領域から離れたり、また、オブジェクト群209の表示状態が変化した後所定時間が経過したりしても、オブジェクト群209は浮き上がった表現のままとされる。このような風や風圧をメタファにした表現により、オブジェクト群209が選択状態にあることを視覚的に分かり易くユーザに伝えることができる。
また、図21および図22の例とは逆に、指を表示面からリリースさせるときの指の移動速度が所定速度以下の場合に、オブジェクト群209を選択状態とするようにしてもよい。これは、釣りをメタファにした表現である。すなわち、指の移動速度が所定速度以下の場合には、図23に示すように、処理判定部140は、指のリリース動作に伴ってオブジェクト群209が浮き上がるように表示変更部160に表現させる。さらに、指をリリースさせると、指が表示面から離隔するにつれてオブジェクト群209も表示面から定常状態の位置から浮き上がるように表現される。このように、オブジェクト群209を浮き上がった状態で表現することで、オブジェクト群209が選択状態にあることを示すことができる。
一方、指の移動速度が所定速度より大きい場合には、図24に示すように、処理判定部140は、指のリリース動作に伴ってオブジェクト群209が浮き上がるように表示変更部160に表現させる。その後、所定時間経過後に浮き上がったオブジェクト群209が元の定常状態に戻るように表示させる。こうして、オブジェクト群209を選択状態にして、視覚的に分かり易くユーザに伝えることができる。
なお、図21〜図24の例において、オブジェクト群209の選択状態を解除するには、例えば、選択状態にあるオブジェクト群209に指を接触させるなどの操作入力を行う等すればよい。
以上、本実施形態に係る情報処理装置100による、指の移動速度という付加的な情報を用いた情報処理方法について説明した。通常の入力操作に加え、指の移動速度を取得可能とすることで、指の移動速度に応じてGUIの表示を変化させることができ、情報処理装置100に認識された入力操作をユーザにわかりやすく認識させることができる。これにより、自身の操作入力のフィードバックによって操作性が向上される。さらに、入力操作に応じた処理を実行するようにして、指の移動速度を変化させることで、実行する処理を選択することも可能となる。
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
例えば、上記実施形態にて、速度についての1つの閾値(所定速度)に対して、指の移動速度が大きいか否かを判定し、当該判定結果に基づき実行する処理を決定したが、本発明はかかる例に限定されない。例えば、複数の閾値を設け、各閾値に対する指の移動速度の大きさに応じて実行する処理を決定するようにしてもよい。
100 情報処理装置
110 入力表示部
112 検出部
114 表示部
120 位置情報取得部
130 移動速度取得部
140 処理判定部
150 実行処理部
160 表示変更部
170 設定記憶部

Claims (14)

  1. 複数のオブジェクトが表示される表示部の表示面に対する操作体の位置情報を取得する位置情報取得部と、
    前記位置情報に基づいて、前記表示面に対して鉛直方向における前記操作体の移動速度を取得する移動速度取得部と、
    前記操作体の位置情報より操作対象となるオブジェクトを決定し、前記操作体の移動速度に応じて前記操作対象となるオブジェクトに関連付けられた複数の処理のうち実行する処理を決定する処理判定部と、
    を備え、
    前記処理判定部は、
    前記操作体の位置情報に基づきフォーカスするオブジェクトを決定し、その後オブジェクトを選択状態とする動作が行われたとき、前記操作体の移動速度に基づいて、前記フォーカスされているオブジェクトを選択状態とするか否かを決定する、情報処理装置。
  2. 前記位置情報取得部は、前記表示面と前記操作体との近接距離を位置情報として取得し、
    前記移動速度取得部は、前記近接距離に基づいて、前記表示面に対して鉛直方向における前記操作体の移動速度を取得する、請求項1に記載の情報処理装置。
  3. 前記位置情報取得部は、前記表示面と前記操作体との近接状態を位置情報として取得し、
    前記移動速度取得部は、前記近接状態に基づいて、前記表示面に対して鉛直方向における前記操作体の移動速度を取得する、請求項1に記載の情報処理装置。
  4. 前記処理判定部の判定結果に基づいて、前記操作対象のオブジェクトの表示形式を変更する表示変更部をさらに備える、請求項1に記載の情報処理装置。
  5. 前記操作体が接触されたとき前記表示変更部により変形して表示されるオブジェクトが表示されているとき、
    前記処理判定部は、前記操作体の移動速度に応じて、前記操作対象のオブジェクトに操作体が接触したときの当該オブジェクトの変形量を変化させる、請求項4に記載の情報処理装置。
  6. 前記処理判定部は、前記表示部に表示されているオブジェクトに接触する操作体の移動速度に応じて、前記表示面の奥行方向における前記操作対象のオブジェクトの表示位置を変化させる、請求項4に記載の情報処理装置。
  7. 前記処理判定部は、前記表示部の表示領域のうち前記オブジェクト以外の表示領域において、前記操作体が所定速度より大きい速度で接触したとき、前記オブジェクトの表示された第1の画面から第2の画面へ遷移することを決定する、請求項4に記載の情報処理装置。
  8. 前記処理判定部は、
    前記操作体の位置情報および移動速度に基づいて前記操作体を前記表示面に近接または離隔させる移動方向を取得し、
    前記表示変更部に、前記位置情報より操作対象となる前記オブジェクトに関連付けられた1または複数の下位オブジェクトを、前記操作体の移動方向に応じた形式で展開して表示させる、請求項4に記載の情報処理装置。
  9. 前記処理判定部は、前記表示部に表示されているオブジェクトに近接または離隔する操作体の移動速度に応じて、前記操作対象のオブジェクトを選択された選択状態とする、請求項4に記載の情報処理装置。
  10. 前記処理判定部は、前記表示部に表示されているオブジェクトに接触する操作体の移動速度に応じて、前記位置情報より操作対象となる前記オブジェクトに関連付けられた機能を実行させる、請求項4に記載の情報処理装置。
  11. 前記処理判定部は、
    前記操作体の移動速度が所定速度より大きいとき、前記操作対象のオブジェクトに関連付けられた機能を直接実行し、
    前記操作体の移動速度が所定速度以下であるとき、前記操作対象のオブジェクトに関連付けられた機能の実行の可否をユーザに対して確認する、請求項10に記載の情報処理装置。
  12. 前記処理判定部は、
    前記操作体の位置情報に基づきフォーカスするオブジェクトを決定し、
    前記表示面に対する前記操作体の移動速度が所定速度以下のとき、前記操作体が接触したオブジェクトを選択状態とし、
    前記表示面に対する前記操作体の移動速度が所定速度より大きいとき、前記操作体がオブジェクトに接触する直前にフォーカスされていたオブジェクトを選択状態とする、請求項4に記載の情報処理装置。
  13. 複数のオブジェクトが表示される表示部の表示面に対する操作体の位置情報を取得するステップと、
    前記位置情報に基づいて、前記表示面に対して鉛直方向における前記操作体の移動速度を取得するステップと、
    前記操作体の位置情報より操作対象となるオブジェクトを決定し、前記操作体の移動速度に応じて前記操作対象となるオブジェクトに関連付けられた複数の処理のうち実行する処理を決定するステップと、
    を含み、
    前記操作体の位置情報に基づきフォーカスするオブジェクトを決定し、その後オブジェクトを選択状態とする動作が行われたとき、前記操作体の移動速度に基づいて、前記フォーカスされているオブジェクトを選択状態とするか否かを決定する、情報処理方法。
  14. コンピュータを、
    複数のオブジェクトが表示される表示部の表示面に対する操作体の位置情報を取得する位置情報取得部と、
    前記位置情報に基づいて、前記表示面に対して鉛直方向における前記操作体の移動速度を取得する移動速度取得部と、
    前記操作体の位置情報より操作対象となるオブジェクトを決定し、前記操作体の移動速度に応じて前記操作対象となるオブジェクトに関連付けられた複数の処理のうち実行する処理を決定する処理判定部と、
    を備え、
    前記処理判定部は、
    前記操作体の位置情報に基づきフォーカスするオブジェクトを決定し、その後オブジェクトを選択状態とする動作が行われたとき、前記操作体の移動速度に基づいて、前記フォーカスされているオブジェクトを選択状態とするか否かを決定する、情報処理装置として機能させるためのコンピュータプログラム。
JP2010199638A 2010-09-07 2010-09-07 情報処理装置、情報処理方法およびコンピュータプログラム Expired - Fee Related JP5768347B2 (ja)

Priority Applications (8)

Application Number Priority Date Filing Date Title
JP2010199638A JP5768347B2 (ja) 2010-09-07 2010-09-07 情報処理装置、情報処理方法およびコンピュータプログラム
US13/220,207 US8736575B2 (en) 2010-09-07 2011-08-29 Information processor, information processing method, and computer program
CN201110259921.6A CN102402327B (zh) 2010-09-07 2011-08-31 信息处理器、信息处理方法
CN201610049390.0A CN105739764B (zh) 2010-09-07 2011-08-31 信息处理器、信息处理方法以及计算机程序
US14/264,691 US8952931B2 (en) 2010-09-07 2014-04-29 Information processor, information processing method, and computer program
US14/594,736 US9671897B2 (en) 2010-09-07 2015-01-12 Information processor, information processing method, and computer program
US15/584,147 US10296134B2 (en) 2010-09-07 2017-05-02 Information processor, information processing method, and computer program
US16/383,691 US10503316B1 (en) 2010-09-07 2019-04-15 Information processor, information processing method, and computer program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010199638A JP5768347B2 (ja) 2010-09-07 2010-09-07 情報処理装置、情報処理方法およびコンピュータプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2015126359A Division JP6065064B2 (ja) 2015-06-24 2015-06-24 情報処理装置、情報処理方法およびコンピュータプログラム

Publications (2)

Publication Number Publication Date
JP2012058882A JP2012058882A (ja) 2012-03-22
JP5768347B2 true JP5768347B2 (ja) 2015-08-26

Family

ID=45770347

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010199638A Expired - Fee Related JP5768347B2 (ja) 2010-09-07 2010-09-07 情報処理装置、情報処理方法およびコンピュータプログラム

Country Status (3)

Country Link
US (5) US8736575B2 (ja)
JP (1) JP5768347B2 (ja)
CN (2) CN102402327B (ja)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5649169B2 (ja) 2010-11-22 2015-01-07 インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation タッチパネルにおけるドラッグ操作でオブジェクトを移動させる方法、装置及びコンピュータプログラム
US10684768B2 (en) * 2011-10-14 2020-06-16 Autodesk, Inc. Enhanced target selection for a touch-based input enabled user interface
KR20210068626A (ko) * 2012-04-27 2021-06-09 알센티스, 엘엘씨 터치 입력 자극을 결정하기 위한 정전용량 센서 및 방법
JP5620947B2 (ja) * 2012-06-27 2014-11-05 キヤノン株式会社 電子機器およびその制御方法、プログラム並びに記憶媒体
JP5959344B2 (ja) * 2012-07-09 2016-08-02 株式会社Nttドコモ 情報処理装置
US9430066B2 (en) * 2012-10-17 2016-08-30 Perceptive Pixel, Inc. Input classification for multi-touch systems
JP5966869B2 (ja) * 2012-11-05 2016-08-10 富士通株式会社 接触状態検出装置、方法及びプログラム
JP6087608B2 (ja) * 2012-12-10 2017-03-01 キヤノン株式会社 携帯可能な装置、携帯可能な装置を制御する方法およびプログラム
US10289203B1 (en) * 2013-03-04 2019-05-14 Amazon Technologies, Inc. Detection of an input object on or near a surface
WO2014166044A1 (en) * 2013-04-08 2014-10-16 Thomson Licensing Method and device for user input
US20160077654A1 (en) * 2013-04-15 2016-03-17 Hitachi, Ltd. Touch Panel-Type Operation Panel and Control Method Therefor
JP6097670B2 (ja) * 2013-10-24 2017-03-15 アルプス電気株式会社 表示入力装置
JP6034281B2 (ja) 2013-12-18 2016-11-30 インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation オブジェクト選択方法、装置及びコンピュータ・プログラム
CN105589594B (zh) * 2014-11-06 2019-12-31 天马微电子股份有限公司 电子装置和电子装置的操作控制方法
CN105843429A (zh) * 2015-01-14 2016-08-10 深圳市华星光电技术有限公司 悬浮触控方法
JP6120898B2 (ja) * 2015-03-27 2017-04-26 京セラ株式会社 電子機器および電子機器の制御方法
JP2016206749A (ja) * 2015-04-16 2016-12-08 シャープ株式会社 タッチ入力装置、前記タッチ入力装置を備えた画像形成装置およびタッチ入力方法
US9658704B2 (en) 2015-06-10 2017-05-23 Apple Inc. Devices and methods for manipulating user interfaces with a stylus
TWI576752B (zh) * 2015-08-17 2017-04-01 宏碁股份有限公司 觸控裝置及其觸控偵測方法
JP2017111462A (ja) * 2015-11-27 2017-06-22 京セラ株式会社 触感呈示装置及び触感呈示方法
CN107765974B (zh) * 2016-08-17 2021-11-12 中兴通讯股份有限公司 一种滑动控件的移动方法和装置
US10891044B1 (en) * 2016-10-25 2021-01-12 Twitter, Inc. Automatic positioning of content items in a scrolling display for optimal viewing of the items
US10402020B1 (en) * 2016-11-15 2019-09-03 Google Llc Detecting twist input with an interactive cord
CN106896987B (zh) * 2017-02-27 2019-06-25 网易(杭州)网络有限公司 实现界面元素跟随的方法及装置
JP7351153B2 (ja) * 2019-09-11 2023-09-27 コニカミノルタ株式会社 入力装置、画像形成装置、入力装置の制御方法及びプログラム

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR970049359A (ko) * 1995-12-26 1997-07-29 베일리 웨인 피 감지 패널에 대한 물체의 상대 속도에 의한 접촉 감지 방법 및 그 장치
JPH11259202A (ja) * 1998-03-12 1999-09-24 Honda Motor Co Ltd 習熟度判定手段を有する対話型コンピュータ・システム
JP2004258766A (ja) * 2003-02-24 2004-09-16 Nippon Telegr & Teleph Corp <Ntt> 自己画像表示を用いたインタフェースにおけるメニュー表示方法、装置、プログラム
US20060209037A1 (en) * 2004-03-15 2006-09-21 David Wang Method and system for providing haptic effects
JP4649933B2 (ja) * 2004-09-30 2011-03-16 マツダ株式会社 車両用情報表示装置
US8018579B1 (en) * 2005-10-21 2011-09-13 Apple Inc. Three-dimensional imaging and display system
US7890863B2 (en) 2006-10-04 2011-02-15 Immersion Corporation Haptic effects with proximity sensing
GB2467461B (en) * 2007-09-14 2012-03-07 Nat Inst Of Advanced Ind Scien Virtual reality environment generating apparatus and controller apparatus
JP2009116769A (ja) * 2007-11-09 2009-05-28 Sony Corp 入力装置、入力装置の制御方法、及びプログラム
JP2009217465A (ja) * 2008-03-10 2009-09-24 Sharp Corp 入力装置、入力操作受付方法およびそのプログラム
KR101506488B1 (ko) * 2008-04-04 2015-03-27 엘지전자 주식회사 근접센서를 이용하는 휴대 단말기 및 그 제어방법
JP4752887B2 (ja) * 2008-09-12 2011-08-17 ソニー株式会社 情報処理装置、情報処理方法およびコンピュータプログラム
KR20100041006A (ko) * 2008-10-13 2010-04-22 엘지전자 주식회사 3차원 멀티 터치를 이용한 사용자 인터페이스 제어방법
US8253713B2 (en) * 2008-10-23 2012-08-28 At&T Intellectual Property I, L.P. Tracking approaching or hovering objects for user-interfaces
US8516397B2 (en) * 2008-10-27 2013-08-20 Verizon Patent And Licensing Inc. Proximity interface apparatuses, systems, and methods
JP5098994B2 (ja) * 2008-12-19 2012-12-12 富士通モバイルコミュニケーションズ株式会社 入力装置
US8866497B2 (en) * 2009-03-25 2014-10-21 Alsentis, Llc Apparatus and method for determining a touch input
JP5446624B2 (ja) * 2009-09-07 2014-03-19 ソニー株式会社 情報表示装置、情報表示方法及びプログラム
KR101419150B1 (ko) * 2009-10-30 2014-07-11 고쿠리츠다이가쿠호우징 카가와다이가쿠 정보를 생체로 전달하는 장치
US8232990B2 (en) * 2010-01-05 2012-07-31 Apple Inc. Working with 3D objects
US8508347B2 (en) * 2010-06-24 2013-08-13 Nokia Corporation Apparatus and method for proximity based input
US8890818B2 (en) * 2010-09-22 2014-11-18 Nokia Corporation Apparatus and method for proximity based input
US9442942B2 (en) * 2011-10-20 2016-09-13 Nokia Technologies Oy Method, apparatus and computer program product for dynamic and visual object search interface
US9910499B2 (en) * 2013-01-11 2018-03-06 Samsung Electronics Co., Ltd. System and method for detecting three dimensional gestures to initiate and complete the transfer of application data between networked devices

Also Published As

Publication number Publication date
US10296134B2 (en) 2019-05-21
US20170235417A1 (en) 2017-08-17
CN105739764B (zh) 2018-11-16
US20120056850A1 (en) 2012-03-08
CN105739764A (zh) 2016-07-06
US8736575B2 (en) 2014-05-27
JP2012058882A (ja) 2012-03-22
US10503316B1 (en) 2019-12-10
CN102402327B (zh) 2016-01-27
US8952931B2 (en) 2015-02-10
US9671897B2 (en) 2017-06-06
US20140232687A1 (en) 2014-08-21
US20150123927A1 (en) 2015-05-07
CN102402327A (zh) 2012-04-04

Similar Documents

Publication Publication Date Title
JP5768347B2 (ja) 情報処理装置、情報処理方法およびコンピュータプログラム
JP5732784B2 (ja) 情報処理装置、情報処理方法およびコンピュータプログラム
JP5158014B2 (ja) 表示制御装置、表示制御方法およびコンピュータプログラム
JP5630160B2 (ja) 情報処理装置、情報処理方法およびコンピュータプログラム
JP2012032852A (ja) 情報処理装置、情報処理方法およびコンピュータプログラム
JP2006236355A (ja) メニュー画面を表示する端末機においてメニューナビゲーションを制御する装置及び方法
JP2012037978A (ja) 情報処理装置、情報処理方法、及びプログラム
KR20110121926A (ko) 터치 스크린에서 선택된 정보에 대응하는 부가정보를 포함하는 투명 팝업을 표시하는 방법 및 장치
JP5625586B2 (ja) 情報処理装置、情報処理方法およびコンピュータプログラム
JP6230062B2 (ja) 情報処理装置
JP5614173B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP2008065504A (ja) タッチパネル制御装置およびタッチパネル制御方法
JP2011034169A (ja) 情報入力装置および情報入力方法
JP2011134273A (ja) 情報処理装置、情報処理方法およびプログラム
CN105045471B (zh) 触摸操作输入装置、触摸操作输入方法和记录介质
JP6065064B2 (ja) 情報処理装置、情報処理方法およびコンピュータプログラム
JP2014006748A (ja) 電子機器、機器及び方法
JP2018106434A (ja) ユーザーインターフェイス装置及び電子機器
US20080158187A1 (en) Touch control input system for use in electronic apparatuses and signal generation method thereof
KR101573287B1 (ko) 전자기기에서 터치 위치 디스플레이 방법 및 장치
JP2011170727A (ja) 入力装置及び入力方法並びに入力プログラム
JP2013246796A (ja) 入力装置、入力支援方法及びプログラム
JP7242188B2 (ja) フォースセンサ無タッチセンサにおける疑似プッシュ判定方法
JP6589844B2 (ja) 表示制御装置、及び表示制御方法
JP2016159882A (ja) 操作入力装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130723

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131226

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140107

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140213

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140325

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140428

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141021

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141219

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150526

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150608

R151 Written notification of patent or utility model registration

Ref document number: 5768347

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees