JP6369704B2 - 情報処理装置、プログラム及び情報処理方法 - Google Patents

情報処理装置、プログラム及び情報処理方法 Download PDF

Info

Publication number
JP6369704B2
JP6369704B2 JP2017102607A JP2017102607A JP6369704B2 JP 6369704 B2 JP6369704 B2 JP 6369704B2 JP 2017102607 A JP2017102607 A JP 2017102607A JP 2017102607 A JP2017102607 A JP 2017102607A JP 6369704 B2 JP6369704 B2 JP 6369704B2
Authority
JP
Japan
Prior art keywords
display
display information
contact
detected
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017102607A
Other languages
English (en)
Other versions
JP2017168136A (ja
Inventor
和己 磯野
和己 磯野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JP2017168136A publication Critical patent/JP2017168136A/ja
Application granted granted Critical
Publication of JP6369704B2 publication Critical patent/JP6369704B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485Scrolling or panning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04808Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Input From Keyboards Or The Like (AREA)
  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

本発明は、複数の接触点を検出可能な接触検出手段を有する情報処理装置、及び、当該情報処理装置で用いられるプログラム及び情報処理方法に関する。
昨今、様々な情報処理装置に、タッチパネル又はタッチスクリーンと呼ばれる接触検出部が設けられている。また、旧来からの一つの接触点のみを検出可能とする接触検出手段に代えて、複数の接触点を検出可能な接触検出手段が開発されている。
複数の接触点を検出可能であるタッチパネルディスプレイ又はタッチパネル装置が、特許文献1及び特許文献2にそれぞれ記載されている。
特開2002−304256号公報 特開2007−279638号公報
接触検出手段を備えた情報処理装置の操作方法は、使用者に直感的な操作を可能とするように設定される。このような操作方法は、使用者に直感的な操作感を与える反面、使用者の直感的なイメージ通りの処理(制御部へのコマンド指示や画面の遷移動作等)がなされない場合には、使用者に過大な負担をかける。
例えば、タッチパネルとの接触(ダウン確定)又はタッチパネルとの接触解除(アップ確定)の検出により、表示内容をスクロールさせる情報処理装置は、スクロール操作についてはユーザに十分な操作性を与える。その反面、所望とする表示情報の一部のみを座標移動させる場合や所望とする表示情報の一部のみをスクロールさせる場合、あるいは複数の接触点を用いて操作を行う場合など、細かな操作では、情報処理装置の設定と使用者の直感的な操作との間に(僅かな)違いが生じ易い。そのような場合、使用者は直感的な操作を繰り返し行うことになる。例示するならば、使用者がスクロール操作を意図してタッチパネルに接触した場合でも、スクロール操作の設定がアップ確定であった場合には、情報処理装置は動作しない。このような場合、使用者は所望の操作を実行できずに、同様な操作を繰り返し行うこととなり、使用者に過大な負担が掛かる。
また、結果として使用者の意図しない制御部へのコマンド指示や画面の遷移動作(スクロール等)が生じ、十分な操作性を提供できない。
本発明は、上記課題に鑑み成されたものであり、複数の接触点を検出可能である接触検出部を用いて、使用者の直感的な操作を適切に検出し、オブジェクトの移動を可能とする情報処理装置プログラム及び情報処理方法を提供する。
本発明の第1の要旨に係る情報処理装置は、第一の表示情報を含む複数の表示情報を表示する表示部と、前記表示部に対する複数の物体の接触位置を検出する検出部と、接触を検出している前記第一の表示情報が表示された領域と 接触を検出している前記第一の表示情報を除く前記複数の表示情報が表示された領域と のうち、前記第一の表示情報が表示されている方の接触位置の変化を検出した場合に、前記接触位置の変化に基づいて、前記複数の表示情報が表示された領域全体内における何れかの区画に関連付けられた前記第一の表示情報の表示位置を変更する制御部と、を備え、前記制御部は、二点が同時的に移動された場合には、前記第一の表示情報を含む前記複数の表示情報をスクロールするように制御を実施可能にし、二点が時間差を置いて接触された場合には、前記複数の表示情報が表示された領域全体内における前記第一の表示情報の現在の表示位置を、ある区画に関連付けられた第一の位置から、前記第一の表示情報への接触の位置変化に応じて別の区画に関連付けられた第二の位置に変更する、移動制御を実施可能にする
本発明の第2の要旨に係るプログラムは、第一の表示情報を含む複数の表示情報を表示する処理と、前記複数の表示情報に対する複数の物体の接触位置を検出する処理と、接触を検出している前記第一の表示情報が表示された領域と 接触を検出している前記第一の表示情報を除く前記複数の表示情報が表示された領域と のうち、前記第一の表示情報が表示されている方の接触位置の変化を検出した場合に、前記接触位置の変化に基づいて、前記複数の表示情報が表示された領域全体内における何れかの区画に関連付けられた前記第一の表示情報の表示位置を変更する処理であって、二点が同時的に移動された場合には、前記第一の表示情報を含む前記複数の表示情報をスクロールするように制御を実施するように処理し、二点が時間差を置いて接触された場合には、前記複数の表示情報が表示された領域全体内における前記第一の表示情報の現在の表示位置を、ある区画に関連付けられた第一の位置から、前記第一の表示情報への接触の位置変化に応じて別の区画に関連付けられた第二の位置に変更する、移動制御を実施するように処理することを情報処理装置に実行させる。
本発明の第3の要旨に係る情報処理方法は、第一の表示情報を含む複数の表示情報を表示し、前記複数の表示情報に対する複数の物体の接触位置を検出し、接触を検出している前記第一の表示情報が表示された領域と 接触を検出している前記第一の表示情報を除く前記複数の表示情報が表示された領域と のうち、前記第一の表示情報が表示されている方の接触位置の変化を検出した場合に、前記接触位置の変化に基づいて、前記複数の表示情報が表示された領域全体内における何れかの区画に関連付けられた前記第一の表示情報の表示位置を変更する処理を実行する際に、二点が同時的に移動された場合には、前記第一の表示情報を含む前記複数の表示情報をスクロールするように制御を実施するように処理し、二点が時間差を置いて接触された場合には、前記複数の表示情報が表示された領域全体内における前記第一の表示情報の現在の表示位置を、ある区画に関連付けられた第一の位置から、前記第一の表示情報への接触の位置変化に応じて別の区画に関連付けられた第二の位置に変更する、移動制御を実施するように処理する
本発明によれば、複数の接触点を検出可能である接触検出部を用いて、使用者の直感的な操作を適切に検出し、オブジェクトの移動を可能とした情報処理装置、プログラム及び情報処理方法を提供できる。
本発明の第1の実施の形態に係る情報処理装置を示す機能ブロック図である。 図1の情報処理装置の識別動作を説明するためのフローチャートである。 本発明の第2の実施の形態に係る情報処理装置であるモバイル端末を示す機能ブロック図である。 図3のモバイル端末のスクロール処理動作を説明するためのフローチャートである。 図3のモバイル端末におけるシングルタッチ時の表示画面の遷移例を説明するための図であって、遷移前の状態を示す図である。 図3のモバイル端末におけるシングルタッチ時の表示画面の遷移例を説明するための図であって、遷移後の状態を示す図である。 図3のモバイル端末におけるマルチタッチ時の表示画面の第1の遷移例を説明するための図であって、遷移前の状態を示す図である。 図3のモバイル端末におけるマルチタッチ時の表示画面の第1の遷移例を説明するための図であって、遷移後の状態を示す図である。 図3のモバイル端末におけるマルチタッチ時の表示画面の第2の遷移例を説明するための図であって、遷移前の状態を示す図である。 図3のモバイル端末におけるマルチタッチ時の表示画面の第2の遷移例を説明するための図であって、遷移後の状態を示す図である。 図3のモバイル端末におけるマルチタッチ時の表示画面の第3の遷移例を説明するための図であって、遷移前の状態を示す図である。 図3のモバイル端末におけるマルチタッチ時の表示画面の第3の遷移例を説明するための図であって、遷移後の状態を示す図である。 図3のモバイル端末におけるマルチタッチ時の表示画面の第4の遷移例を説明するための図であって、遷移前の状態を示す図である。 図3のモバイル端末におけるマルチタッチ時の表示画面の第4の遷移例を説明するための図であって、遷移後の状態を示す図である。 図3のモバイル端末におけるマルチタッチ時の表示画面の第5の遷移例を説明するための図であって、遷移前の状態を示す図である。 図3のモバイル端末におけるマルチタッチ時の表示画面の第5の遷移例を説明するための図であって、遷移後の状態を示す図である。 図3のモバイル端末におけるマルチタッチ時の表示画面の第6の遷移例を説明するための図であって、遷移前の状態を示す図である。 図3のモバイル端末におけるマルチタッチ時の表示画面の第6の遷移例を説明するための図であって、遷移後の状態を示す図である。 図11に示した表示画面の部分拡大図である。 本発明の第3の実施の形態に係る情報処理装置であるタブレットコンピュータを示す機能ブロック図である。 図13のタブレットコンピュータの移動処理動作を説明するためのフローチャートである。 図13のタブレットコンピュータにおけるマルチタッチ時の表計算プログラムの表示画面の遷移例を説明するための図であって、遷移前の状態を示す図である。 図13のタブレットコンピュータにおけるマルチタッチ時の表計算プログラムの表示画面の遷移例を説明するための図であって、遷移後の状態を示す図である。
本発明の第1の実施の形態に係る情報処理装置について図1及び図2を参照して説明する。本発明の情報処理装置は、例えば、プログラム制御により動作し、通信機能(通話、メール送受信、インターネット接続)やカレンダー機能、スケジュール機能等を備えたモバイル端末として構成される。また、別の例としては、タッチスクリーン機能を具備したパーソナルコンピュータや、スマートフォン、PDA(Personal Digital Assistants)、PHS(Personal Handyphone System)などが挙げられる。
図1は、第1の実施形態に係る情報処理装置100の概略構成を示す機能ブロック図である。
図1に示す情報処理装置100は、各種演算処理を行う制御部110と、制御部110から指示された表示情報を表示する表示部120と、表示部110の表示情報が表示される座標領域における接触点の有無、その接触点の座標(接触座標または検出座標)、及び検出座標の変化(移動)を検出する接触検出部121と、ROM、RAM、HDD、フラッシュメモリ等で構成される記憶部130を備える。記憶部130には、オペレーティングシステムを始め、接触検出部121用のドライバやアプリケーションプログラム、情報処理装置100の諸設定情報等が記憶されている。
制御部110は、表示部120を制御し、第1の表示範囲に第1の表示情報を表示させることができる。また、制御部110は、第1の表示範囲内の一部である第2の表示範囲に第2の表示情報を表示させることができる。ここで、「表示範囲」は、表示情報を表示可能な領域(外枠)を意味し、「座標領域」は、表示情報が実際に表示されている領域を意味する。したがって、第2の表示範囲は、第1の表示範囲に含まれるが、第2の表示情報が表示される座標領域は、第1の表示情報が表示される座標領域には含まれない。
制御部110は、また、接触検出部121を介して表示部120に表示される第1及び第2の表示情報が表示される座標領域における接触点の有無、その接触点の座標を検出可能にすると共に、検出した座標(検出座標)の変化(移動)を識別可能である。また、制御部110は、第1の表示情報が表示される座標領域及び第2の表示情報が表示される座標領域における複数の接触点を検出可能である。更に、制御部110は、複数の接触点のうち一つのみの検出座標の変化を検出した場合に、移動が検出された検出座標の接触点が存在する座標領域に表示された表示情報(オブジェクト)のみをその検出座標の変化に基づいて移動(スクロール)させる処理を実行する。
表示部120には、制御部110によって、表示画面全体又は所定の領域(アクティブ範囲)である第1の表示範囲に表示される第1の表示情報と、当該表示範囲内の一部に表示される第2の表示情報とが表示される。
尚、第2の表示情報(オブジェクト)は、画像、図形、文字、及び記号またはそれらの組み合わせを用いて構成することができる。また、第2の表示情報は、アイコン、ボタン、文字列、入力欄、若しくは制御部110にコマンドを指示する視覚的に示された領域情報の何れかまたはそれらの組み合わせとして表現することができる。また、文字列を含む第2の表示情報には、その文字列を範囲指定して選択した後に、選択された文字列を一括りとして管理するための情報も含まれる。
このような構成において、情報処理装置100は、複数の接触点を検出可能である接触検出部121を用いて、使用者の直感的な操作を適切に検出してオブジェクトを移動可能にできる。なお、本明細書における「接触点」は、スタイラスペン等を用いた場合の比較的小さな「点」のみならず、人の指等を用いた場合の比較的大きな「領域」をも含む。
次に、情報処理装置100の動作について説明する。
情報処理装置100の制御部110は、記憶部130に記録されているアプリケーションプログラムやオペレーティングシステムに従って、表示部120の画面の第1の表示範囲に表示される第1の表示情報及び、第1の表示範囲内に表示される第2の表示情報を作画し、表示部120に表示させる。同時的に、制御部110は、接触検出部121用のドライバやオペレーティングシステム、アプリケーションプログラムに従い、第1の表示情報が表示される第1の座標領域、及び、前記第2の表示情報が表示される第2の座標領域への接触(接触点の発生)、接触解除(接触点の消滅)、検出座標及びその変化を、接触検出部121を用いて検出する。制御部110は、検出した接触、接触解除、及び検出座標の変化を、必要に応じてダウン確定、アップ確定及び移動指示として認識し、表示されたオブジェクト等への操作指示として決定する。
ここで、制御部110が、接触検出部121を介して検出した複数の接触点の検出座標の変化から、オブジェクトの移動指示を識別する処理を説明する。
制御部110は、各種ソフトウェアに従い、接触検出部121を介して複数の接触点を検出し、当該複数の接触点の位置座標(検出座標)及び位置座標の変化に基づいて、使用者の移動指示を識別する。移動指示と他の指示との区別は、個々の接触点の検出座標をベクトル化して、移動方向を識別処理することにより可能である。また、各接触点について接触検出から接触解除検出までの時間を求め、それらの差に基づいて、他の指示と区別することも可能である。
例えば、2つの接触点が同時的に検出され、同時的にそれらの検出座標が移動した場合には、それら移動方向に応じて、表示画面の拡大や縮小の操作であると判断することができる。一方、2つの接触点が時間間隔を空けて検出され、一方の接触点の検出座標が略移動せず、他方の接触点の検出座標が移動した場合には、移動指示と判断することができる。このように識別処理することで、複数の接触点の検出座標の変化の違いにより、異なる動作を実現できる。
また、接触面積の大きさを用いて操作を差別化しても良い。例えば、スタイラスペンと指の接触面積の大きさの違いを利用して、操作の差別化を図ってもよい。また、親指と他の指との接触面積の大きさの違いを利用して、操作の差別化を図ってもよい。例えば、接触検出部121は、情報処理装置100を保持する手の指が位置する領域の周辺では、表示画面の下地のみを操作できるように、あるいは固定操作のみができるように設定されてよい。また、表示画面の表示情報の大きさに応じて、接触面積の大きい又は小さい接触点を無効な接触と判断するようにしてもよい。更に、情報処理装置100が片手で保持されるか、両手で保持されるかに応じて、操作を異ならせるようにしてもよい。
いずれにしても、プログラムによって、情報処理装置100の制御部110に、一つのオブジェクトの座標領域への接触による移動指示を検出した場合であっても、他の座標領域への接触との位置関係や接触の継続時間などに基づき、下地や背景を固定して一つのオブジェクトのみを移動させる処理をさせたり、アクティブな表示画面全体を移動する処理をさせたりすることにより、使用者の直感的な操作を適切に検出可能とできる。
図2は、情報処理装置100の識別動作を説明するためのフローチャートである。図2に示す操作の識別処理は、上記説明した情報処理装置100の動作時に、使用者にユーザインタフェースとして提供されるオブジェクトの移動機能を実現する動作である。
情報処理装置100の制御部110は、接触検出部121を介して表示部120の表示画面への接触を監視する(ステップS201)。
接触を検知した場合、制御部110は、同時的に複数の接触点があるか判別し、複数の接触点を検出した場合には次ステップS203に進み、一つの接触点のみ検出した場合にはステップS205に進む(ステップS202)。換言すれば、第1及び第2の表示情報が夫々表示される第1及び第2の座標領域のいずれか一方のみにおいて接触点を検出したのか、第1及び第2の座標領域において複数の接触点を検出したのかを判別する。また、オブジェクトの表示範囲における接触点の検出に加え、前記オブジェクトの表示範囲を除く表示画面上のアクティブ範囲における接触点を検出しているかを判別する。
尚、第1の座標領域と第2の座標領域の双方における接触点の検出は、何れを先に検出しても同様の入力操作として判別する。他方、第1の座標領域と第2の座標領域における同時的な接触点の検出は、別の入力操作として処理しても良い。
複数の接触点を検出した場合、制御部110は、検出した複数の接触点の検出座標を監視し、一つの接触点のみが移動した(移動(スクロール)指示が成された)か否かを判別する。一つの接触点のみが移動した場合には次ステップS204に進み、複数の接触点が同時的に移動した場合にはステップS206に進む(ステップS203)。換言すれば、複数の接触点のうちの一つのみの検出座標の変化が検出されるか否かを判別する。別の表現で説明すれば、移動対象のオブジェクト表示範囲を除く表示画面上のアクティブ範囲における接触点を検出すると共にオブジェクトへの移動指示が検出されたか否かを判別する。
尚、制御部110は、移動指示と異なる他の操作(指示)が成された場合は、当該操作に応じた処理を行なう。
一つの接触点のみの移動が検出された場合、制御部110は、他の接触点が存在する座標領域に表示された表示情報を表示画面上で固定し、移動が検出された接触点が存在する座標領域に表示された表示情報を移動させる(ステップS204)。換言すれば、検出座標の変化が検出された接触点が存在する座標領域に表示された表示情報のみを検出座標の変化に基づいて移動させる。別の表現で説明すれば、オブジェクトをアクティブ範囲内で移動可能に制御し、移動指示されたオブジェクトを移動させる。
接触点が一つの場合、制御部110は、検出した接触点の検出座標を監視し、使用者によって移動の指示が成されたか否かを判別する(ステップS205)。
検出された複数の接触点が同時的に同一方向に移動した場合及び検出された接触点が一つであってその検出座標が変化した場合、制御部110は、アクティブになっている表示情報全体を移動(スクロール)させる(ステップS206)。換言すれば、制御部110は、全ての接触点の検出座標の変化を検出した場合に、前記第1及び第2の表示情報をともに、検出座標の変化に基づいて移動させる。
上記の操作の識別処理動作により、情報処理装置100は、複数の接触点を検出可能である接触検出部を用いて、使用者の直感的な操作を適切に検出して表示情報(オブジェクト)を移動できる。
次に、本発明の第2の実施の形態に係る情報処理装置として、モバイル端末200について説明する。
図3は、本実施の形態に係るモバイル端末200の概略構成を示す機能ブロック図である。
モバイル端末200は、図3に示すように、無線部201、放送受信部202、GPS受信部203、カメラ部204、音響処理部205、接触検出機能付表示部206、記憶部207及び制御部208を備えている。
無線部201は、アンテナを介して無線基地局装置との間で無線により情報の送受を行う。放送受信部202は、放送局(地上局、衛星など)から送信された放送信号を受信し、受信した放送信号を復調して得た映像データ、音響データ、情報データ等の信号処理を行う。GPS受信部203は、複数のGPS衛星から放射された電波がモバイル端末200に到達するまでの時間を測定して夫々のGPS衛星とモバイル端末200との距離を求め、当該距離を利用して位置座標を求める。カメラ部204は、画像情報の取得(撮影)を行う。音響処理部205は、マイク及びスピーカを介して入出力される音楽や報知音、あるいは音声である音響信号等の処理を行う。
接触検出機能付表示部206は、画像、図形、文字、記号などの表示情報出力(映像信号処理)を行う表示機能と、圧力や静電容量等の方式により利用者の入力操作を感知するスイッチ機能(位置座標検出機能、接触検出機能)とを兼ね備えたタッチスクリーン(タッチパネル)である。
記憶部207は、電話帳情報、送受信メール情報、発着呼情報、コンテンツ情報、アプリケーションプログラム、撮影画像、及びモバイル端末200の諸設定情報等を格納する。
制御部208は、電話機能、メール機能、インターネット(web)接続機能、カメラ機能、テレビ受信機能、GPS(測位)機能、コンテンツ再生機能、その他の端末の有する機能や各部の制御を行う。また、制御部208は、接触検出機能付表示部206に対して、表示機能を制御して電子画面を表示させると共に、接触検出機能付表示部206のスイッチ機能(位置座標検出機能、接触検出機能)を用いて使用者の操作指示を検出する。
次に、モバイル端末200の操作(指示)の識別処理動作について、図4を参照して説明する。
図4は、モバイル端末200のスクロール処理動作を説明するためのフローチャートである。
モバイル端末200の制御部208は、接触検出機能付表示部206への接触を監視する(ステップS401)。接触を検知した場合、制御部208は、接触点の数が一つであるのか、複数であるかを判別する。複数の接触点を検出した場合には、次ステップS403に進み、一つの接触点の場合にはステップS405に進む(ステップS402)。
接触点の数が複数の場合、制御部208は、それら接触点のうちの少なくとも一つが予め定められた位置(または領域(移動固定座標領域)内)に位置しているか否か判定する。予め定められた位置については、後述する。
制御部208は、予め設定された位置への接触を検出した場合には次ステップS404に進み、予め設定された位置への接触を検出しない場合にはステップS405に進む(ステップS403)。
予め設定された位置への接触を検出し、且つ、オブジェクト(第2の表示情報に相当)への移動指示を検出した場合、制御部208は、背景表示(第1の表示情報に相当)を固定して、オブジェクトをアクティブ範囲内で移動可能に制御する(ステップS404)。
他方、接触点が一つの場合、制御部208は、接触が解除される(接触点が消滅する)までの接触点の移動量に基づいて表示全体をスクロールする(ステップS205−S206)。
ここで、予め設定された位置(または領域)について説明する。予め設定された位置は、移動対象となるオブジェクトを除いた表示画面範囲内や、移動対象となるオブジェクトを除いた表示画面上のアクティブ範囲内、使用者がモバイル端末200を保持する手の接触(押圧)可能な位置(指定位置)に設定される。別の表現で説明すれば、予め設定された位置は、オブジェクトの表示範囲を除く表示画面上のアクティブ範囲内や、接触点が検出された第2の表示情報が表示される第2の座標領域を除く第1の表示情報が表示される第1の座標領域、アプリケーションプログラムに指定される指定座標領域、移動固定オブジェクトの表示範囲に設定される。
接触(押圧)可能な位置とは、モバイル端末200を推奨される標準的な状態で保持したときに、親指や他の特定の指が届く位置である。尚、予め設定された位置は、図7A及び図7A以降に例示して説明する。
次に、モバイル端末200の表示画面の遷移例を説明する。図5ないし図11は、モバイル端末200の表示画面の遷移例を示す図である。
図5ないし図11には、制御部208によってそれぞれ接触検出機能付表示部206に表示される表示画面全体が示されている。図5A、図6A、図7A、図8A、図9A、図10A及び図11Aは、オブジェクトの移動(スクロール)動作前の表示画面を示す。一方、図5B、図6B、図7B、図8B、図9B、図10B及び図11Bはオブジェクトの移動後の表示画面を示している。
図5A及び図5Bは、シングルタッチ時の表示画面の遷移例を示す図である。
図5Aにおいて、表示画面枠500内には第1の表示情報(スケジュール表)501が表示されるとともに、第2の表示情報(オブジェクト)502が表示されている。この状態で、使用者が指で第2の表示情報502が表示される第2の座標領域に触れ、かつ、矢印で示すように図の下方へ移動させたとする。制御部208は、第1の表示情報501が表示される第1の座標領域における接触点を検出することなく、第2の表示情報502が表示される第2の座標領域における接触点を検出して、その接触点の検出座標の変化をスクロール指示として検出する。即ち、図5Aは、図4に示されるステップS401からステップS402のNoを経てステップS405に至る動作を示している。
図5Bは、図5Aの識別処理結果として、制御部208が第1及び第2の表示情報501,502、即ち表示情報全体を、検出座標の変化に基づいてスクロールさせた表示結果を示している。即ち、図4に示されるステップS406の動作後の状態を示している。
図5Aに示したように、オブジェクト(第2の表示情報502)の表示範囲においてのみ接触点を検出した場合に、オブジェクトを移動させようと操作すると、スケジュール表(第1の表示情報501)とオブジェクトとが同時にスクロールする。
図6A及び図6Bは、マルチタッチ時の表示画面の一遷移例を示す図である。図6A及び図6Bでは、オブジェクト502の表示範囲を除く表示画面上のアクティブ範囲503おける接触点を検出した場合に、オブジェクト502をアクティブ範囲503内で移動可能に制御した画面遷移例を示している。
図6Aは、第1の表示情報501が表示される第1の座標領域及び第2の表示情報502が表示される第2の座標領域における複数の接触点を検出して、複数の接触点の一つである第2の座標領域に存在する接触点のみの検出座標の変化をスクロール指示として検出した場合を示している。即ち、図4に示されるステップS401からステップS402のYesを経てステップS403のYesに至る動作を示している。
図6Bは、図6Aの識別処理結果として、制御部208が検出座標の変化を検出した接触点が存在する座標領域に表示された表示情報である第2の表示情報(オブジェクト)502のみを検出座標の変化に基づいて移動させた表示結果を示している。即ち、図4に示されるステップS404の動作を示している。
図6A及び図6Bに示したように、オブジェクトの表示範囲を除く表示画面上のアクティブ範囲503内において接触点を検出し、その検出座標が変化しない場合に、オブジェクトをアクティブ範囲503内で移動可能に制御することで、スケジュール表を固定すると共にオブジェクトを移動できる。
尚、制御部208は、第1の座標領域と第2の座標領域において複数の接触点を検出すると共に、第2の座標領域に存在する接触点の検出座標の変化を検出することなく、第1の座標領域に存在する接触点の検出座標の変化を検出した場合に、第1の表示情報501のみを検出座標の変化に基づいてスクロール(移動)させてもよい。なお、複数の接触点は必ずしも第1の座標領域と第2の座標領域の双方に存在している必要はない。
図7A及び図7Bは、マルチタッチ時の表示画面の別の遷移例を示す図である。図7A及び図7Bでは、予め設定された位置(指定位置、指定座標範囲、移動固定座標領域)への接触を検出した場合に、スケジュール表を固定して、『打ち合わせ』のオブジェクトのみを移動可能に制御した画面遷移例を示している。
図7Aは、スケジュール表が表示される第1の座標領域内に設けられた予め設定された位置(移動固定座標領域)504における接触点、及び、オブジェクトが表示される第2の座標領域における接触点を検出し、更に、第2座標領域における接触点のみの検出座標の変化を移動指示として検出した場合を示している。
図7Bは、図7Aの識別処理結果として、制御部208が検出座標の変化を検出した接触点が存在する座標領域に表示されたオブジェクトのみを検出座標の変化に基づいて移動させた表示結果を示している。即ち、図4に示されるステップS404の動作を示している。
図7A及び図7Bに示したように、予め設定された位置への接触を検出した場合に、スケジュール表を固定した状態でオブジェクトを移動可能に制御することで、スケジュール表を固定すると共にオブジェクトを移動できる。このような制御は、第1の表示情報501と第2の表示情報502とを一体的に表示する(オブジェクト単位で表示を制御しない)プログラムに好適である。
図8A及び図8Bは、マルチタッチ時の表示画面の更に別の遷移例を示す図である。図8A及び図8Bでは、図7A及び図7Bと同様に、予め設定された位置への接触を検出した場合に、スケジュール表を固定して、オブジェクトのみを移動可能に制御した画面遷移例を示している。図7A及び図7Bとの違いは、図7A及び図7Bではスケジュール表の時間表示部分に移動固定座標領域が設定されているのに対し、図8A及び図8Bではアクティブ範囲の下部に、アプリケーションプログラムによって、移動固定指定位置505が可視可能に設定されている点である。
図8Aは、スケジュール表が表示される第1の座標領域内に設けられた移動固定指定位置505における接触点、及び、オブジェクトが表示される第2の座標領域における接触点を検出し、更に、第2の座標領域における検出点の検出座標の変化をスクロール指示として検出した場合を示している。
図8Bは、図8Aの識別処理結果として、制御部208が検出座標の変化を検出した接触点が存在する座標領域に表示されたオブジェクトのみを検出座標の変化に基づいて移動させた表示結果を示している。
図8A及び図8Bに示したように、可視可能に設定された移動固定指定位置505への接触を検出した場合に、スケジュール表を固定した状態でオブジェクトを移動可能に制御することで、スケジュール表を固定すると共にオブジェクトを移動可能とできる。このような制御は、多数のオブジェクトを表示するアプリケーションに好適である。また、多数の階層を有してレイヤー構造を用いる表示情報を表示するアプリケーションに好適である。レイヤー構造を採用する場合、制御部は、オブジェクト(第2の表示情報)をスケジュール表(第1の表示情報)の上位レイヤーとする。即ち、第1の表示情報の前面側に第2の表示情報が重ねて表示されるようにする。
図9A及び図9Bは、マルチタッチ時の表示画面の更に別の遷移例を示す図である。図9A及び図9Bでは、他のマルチタッチ時の遷移例と同様に、予め設定された位置への接触を検出した場合に、スケジュール表を固定して、オブジェクトのみを移動可能に制御した画面遷移例を示している。図8A及び図8Bに示す遷移例との違いは、図8A及び図8Bでは、アクティブ範囲の下部にスケジュール表のアプリケーションプログラムによって移動固定指定位置505が設定されているのに対し、図9A及び図8Bでは、スケジュール表のアプリケーションプログラム以外のプログラムによって移動固定オブジェクト506が設定されている点である。
図9Aは、スケジュール表が表示される第1の座標領域内に設けられた移動固定オブジェクト506が表示された座標領域における接触点(選択)、及び、移動させたいオブジェクトが表示される第2の座標領域における接触点を検出し、更に、第2の座標領域における接触点のみの検出座標の変化をスクロール指示として検出した場合を示している。
図9Bは、図9Aの識別処理結果として、制御部208が検出座標の変化を検出した接触点が存在する座標領域に表示されるオブジェクトのみを検出座標の変化に基づいて移動させた表示結果を示している。
図9A及び図9Bに示したように、アクティブなアプリケーションプログラム以外のプログラムによって移動固定オブジェクト506が表示された座標領域への接触を検出した場合に、スケジュール表を固定した状態でオブジェクトを移動可能に制御することで、スケジュール表を固定すると共にオブジェクトを移動できる。
尚、移動固定オブジェクト506は、画面上を移動可能であり、また、最前面に表示されるようにしても良い。このように制御することによって、比喩としてスケジュール表を紙と見立て、移動固定オブジェクトをおもしや文鎮のように使用可能とし、使用者の直感的な操作を適切に検出して移動指示されたオブジェクトを移動できる。
図10A及び図10Bは、マルチタッチ時の表示画面の更に別の遷移例を示す図である。図10A及び図10Bでは、他のマルチタッチ時の遷移例と同様に、予め設定された位置への接触を検出した場合に、スケジュール表を固定して、オブジェクトのみを移動可能に制御した画面遷移例を示している。図8A及び図8Bの遷移例との違いは、図8A及び図8Bでは、アクティブ範囲の下部にスケジュール表のアプリケーションプログラムによって移動固定指定位置505が設定されているのに対し、図10A及び図10Bでは、接触検出機能付表示部206の検出範囲内であって、表示画面外の領域に、下地固定入力部507を設定している点である。
図10Aは、下地固定入力部507への接触、及び、移動させたいオブジェクトが表示される第2の座標領域への接触を検出し、更に、第2の座標領域に存在する接触点のみの検出座標の変化をスクロール指示として検出した場合を示している。
図10Bは、図10Aの識別処理結果として、制御部208が検出座標の変化を検出した接触点が存在する座標領域の表示されたオブジェクトのみを検出座標の変化に基づいて移動させた表示結果を示している。
図10A及び図10Bに示したように、下地固定入力部507への接触を検出した場合に、下地(ここではスケジュール表)を固定した状態で移動させたいオブジェクトを移動可能に制御することで、下地を固定すると共にオブジェクトを移動できる。このように制御することによって、比喩としてスケジュール表を紙と見立て、下地固定入力部をその紙の縁部分を押えるように使用可能とし、使用者の直感的な操作を適切に検出してオブジェクトを移動できる。
図11A及び図11Bは、マルチタッチ時の表示画面の更に別の遷移例を示す図である。図11A及び図11Bでは、他のマルチタッチ時の遷移例と同様に、同時的に複数の接触点を検出した場合に、スケジュール表を固定して、オブジェクトのみを移動可能に制御した画面遷移例を示している。図11A及び図11Bに示す例では、使用者がモバイル端末200を保持している手の指によって、表示画面枠500と下地(ここではスケジュール表)とに対応する座標領域に同時に接触した場合に、下地を固定して、他のオブジェクトを移動可能に制御する。尚、接触検出機能付表示部206の接触を検出する領域であるマルチタッチスクリーン検出可能領域508は、表示画面上のみでなく、表示画面枠の上にも掛かるように設けられている。更に、図12に示すように、接触点が表示画面枠500の上から表示画面509の上へ連続する場合に、移動固定座標領域への接触とみなす。
図11Aは、使用者がモバイル端末200を保持している手の指によって、表示画面枠500及び下地とに対応する座標領域における接触点と、移動させたいオブジェクトが表示される第2の座標領域における接触点とを検出し、更に、第2の座標領域における接触点のみの検出座標の変化をスクロール指示として検出した場合を示している。
図11Bは、図11Aの識別処理結果として、制御部208が検出座標の変化を検出した接触点が存在する座標領域に表示されるオブジェクトのみを検出座標の変化に基づいて移動させた表示結果を示している。
図12は、図11に示した表示画面の拡大図である。図12に示すように、接触点(領域)510が、表示画面枠(筐体)500と表示画面509との両方に掛かっているとき、移動固定座標領域への接触が検出される。即ち、表示画面枠(筐体)500と下地とが、使用者の同一指によって同時に接触されている場合に、下地を固定する操作が為された判断する。
図11A、図11B及び図12に示したように、使用者がモバイル端末200を保持している手の指によって、表示画面枠500と下地(ここではスケジュール表)とに同時に接触した場合に、下地を固定した状態で移動させたいオブジェクトを移動可能に制御することで、下地を固定すると共にオブジェクトを移動できる。このように制御することによって、比喩としてスケジュール表を紙と見立て、その紙をモバイル端末200の筐体に押えつけたようにすることが可能となる。別の表現では、筐体と指で下地を挟んだようにすることが可能となり、使用者の直感的な操作を適切に取得してオブジェクトを移動できる。
上記例示した遷移例のように制御することによって、複数の接触点を検出した場合に、下地(背景)であるスケジュール表(第1の表示情報)を固定(移動不可)し、入力項目である『打ち合わせ』(第2の表示情報)を移動可能とすることで、使用者の直感的な押さえる操作を検出すると共に使用者の操作による表示情報の移動(スクロール)指示を検出し、入力項目のみを移動できる。
このように制御することによって、入力項目を移動する時に、従来の、入力項目を選択して詳細情報を表示させ、詳細情報を変更して確定する操作のような、複数回の操作を省くことが出来る。また、従来の詳細情報に含まれる時刻指定情報を変更して入力項目を移動する場合と異なり、入力済の他のスケジュールを確認しながら入力項目を移動できる為、スケジュールのダブルブッキングを防止できる。
尚、表示画面上の端部付近に移動中のオブジェクトが到達した場合には、端部に表示されている情報(背景、下地である表示情報の表示画面上の端部)をアクティブ範囲の中心部付近、或いはオブジェクトの移動を妨げないように移動するように制御すれば、更に、使用者の直感的な操作を容易にする。例えば、表示情報が複数の画面表示分を有する(複数ページに渡る)場合などでは、制御部は、表示画面上の下端部付近に移動中のオブジェクトの到達を検出して、端部に表示されている情報をアクティブ範囲の中心部付近に移動する、或いは、表示情報を次ページ分に切り替えるように制御すればよい。
また、上記遷移例を別の観点から説明すれば、第1の表示情報が表示される第1の表示範囲内及び/又は第2の表示情報が表示される第2の表示範囲内に、予め移動固定座標領域を設け、移動固定座標領域において第1の接触点を検出するとともに、移動固定座標領域を除く第1の座標領域及び第2の座標領域のいずれか一方において第2の接触点を検出し、かつ第2の接触点の検出座標の変化を検出した場合に、第2の接触点が存在している第1又は第2の座標領域に表示される第1又は第2の表示情報のみを検出座標の変化に基づいて移動させることが可能である。
尚、上述の例はスケジュール表のアプリケーションプログラムについて説明したが、第1の表示情報(下地、背景)はスケジュール表に限定されるものではなく、地図やカレンダー、写真一覧などの表示であっても良い。また、アプリケーションプログラムは、文章入力プログラムや表計算プログラムであっても良い。この場合は、入力済の文章であって選択操作された範囲や個別のセルをオブジェクトとすればよい。文章入力プログラムに適用した場合には、写真や図に加えて選択された文章の一部を、使用者の直感的な操作によって、移動指示されたオブジェクトとして移動可能にできる。
また、表計算プログラムのような、背景表示が複数の領域で区切られている場合に、接触点が存在する座標領域のみを固定化するように制御しても良い。このようにすれば、所定の領域と離れた他の領域を並べて確認するなどの操作が可能となる。
次に、本発明の第3の実施の形態に係るタブレットコンピュータ300について説明する。
図13は、本実施の形態に係るタブレットコンピュータ300の概略構成を示す機能ブロック図である。
タブレットコンピュータ300は、図13に示すように、各種演算処理を行う制御部310、情報を一時記憶するRAM311、基本制御プログラムが格納されているROM312、情報を入出力するタッチパネルディスプレイ320、記憶部330、及びネットワークを介しインターネット等との通信を行うためのネットワークインタフェース313を含む。
タッチパネルディスプレイ320は、表示部321及び接触検出部322を有し、制御部310から出力された画像、図形、文字、記号などの表示情報を表示部321の表示画面上に表示すると共に、使用者からの接触検出部322への接触による入力を検出する。
記憶部330には、様々なアプリケーションプログラム331やタッチパネルディスプレイ320用のドライバ332、各種データ、各種コンテンツ、OS(Operating System)333などが格納されている。
制御部310は、OS333、ドライバ332、及び、アプリケーションプログラム331の指示に基づいて動作する。尚、OS333等のソフトウェアは、必要に応じてRAM311に展開されて使用される。
また、接触検出部322は、接触検出部322のハードウェア(マルチタッチスクリーン検出可能領域508)への接触を、OS333、ドライバ332、アプリケーションプログラム331の何れか又はその組み合わせに基づいて検出する。接触検出部322は、複数の接触点(領域)を検出できればよく、検出方式等は問わない。また、何れのソフトウェアを用いて実現してもよく、接触を検出できれば特に限定はない。
このような構成において、タブレットコンピュータ300は、接触検出部322を用いて、使用者の直感的な操作を適切に検出し、オブジェクトの移動を可能にできる。
次に、タブレットコンピュータ300の操作の識別処理動作を説明する。識別処理動作の説明は、図14、図15A及び図15Bを用いて、表計算プログラムの場合を例示して説明する。
図14は、タブレットコンピュータ300の移動処理動作を説明するためのフローチャートである。
図14に示すステップS1401からS1403までは、図4のステップS401からS403と同様の動作である。また、ステップS1405、S1406も、図4のステップS405、S406と同様の動作である。
タブレットコンピュータ300の制御部310は、タッチパネルディスプレイ320への接触を監視(ステップS1401)し、接触を検知した場合、接触点の数が一つであるのか、複数であるかを判別(ステップS1402)する。また、制御部310は、移動対象のオブジェクト(移動させたいセル)表示範囲を除く表示画面上の他のオブジェクト(他のセル)の表示範囲への接触を検出すると共に移動対象のオブジェクトへの移動指示を検出できるか否かを判別する(ステップS1403)。
他のオブジェクトの表示範囲への接触を検出して、且つ、移動対象オブジェクトへの移動指示を検出した場合、制御部310は、他のオブジェクトを固定して、移動対象オブジェクトを移動可能に制御する(ステップS1404)。
他方、接触点が一つの場合などは、所定の通常操作を実行する(ステップS1405−S1406)。
ここで、背景(下地、第1の表示情報)が複数の領域(オブジェクト)に区切られているアプリケーションプログラムの移動処理動作を、表計算プログラムの表示画面の遷移例を示して説明する。
図15A及び図15Bは、マルチタッチ時の表計算プログラムの表示画面600の遷移例を示す図である。
図15Aは、第1の表示情報(ここでは表)601が表示される第1の座標領域及び第2の表示情報(ここでは各セル)602が表示される第2の座標領域における複数の接触点を検出して、第2の座標領域における接触点のみの検出座標の変化をスクロール指示として検出した場合を示している。即ち、図14に示されるステップS1401からS1402のYesを経てステップS1403のYesに至る動作を示している。
図15Bは、図15Aの識別処理結果として、制御部310が検出座標の変化を検出した接触点が存在する座標領域に表示された表示情報である第2の表示情報(オブジェクト)のみを検出座標の変化に基づいてスクロールさせた表示結果を示している。即ち、図14に示されるステップS1404の動作を示している。
画面遷移は、図15Bに示す様に、左上のセルと移動指示を受けていない(固定したい)セルとを対角とする長方形領域603を固定し、移動指示されたセル(7/10 9:00のセル)604を移動可能に制御する。更に、移動可能に制御されるセル604が、アクティブになっている領域の端部付近に移動した場合には、第1の表示情報を分割表示して、表計算プログラムの枠部分を表示しつつ、移動対象セル604を移動可能に制御する。
図15A及び図15Bに示したように、移動を指示したオブジェクトの表示範囲を除く表示画面上のアクティブ範囲内への接触を検出した場合に、移動を指示したオブジェクトを前記アクティブ範囲内で移動可能に制御することで、使用者は、移動するセル(7/10 9:00)と、上下及び左右方向に離れた他のセルとを並べて視認しながら情報を移動させることができる。
別の表現で説明すれば、制御部310は、第1の表示情報が表示される枠内の複数の第2の表示情報が表示される座標領域への接触を検出すると共に、一つの接触点のみの検出座標の変化を検出した場合に、第1の表示情報を分割して表示し、検出座標の変化を検出した接触点が存在する座標領域に表示された第2の表示情報のみを検出座標の変化に基づいて移動させる。
以上説明したように、本発明の情報処理装置によれば、使用者による画面への複数箇所の接触と、表示されたオブジェクトに向けられた操作を認識し、当該認識結果に基づいてオブジェクトの移動制御を行うので、使用者の入力操作負荷を軽減することができる。
即ち、本発明によれば、複数の接触点を検出可能である接触検出部を用いて、使用者の直感的な操作を適切に検出し、オブジェクトの移動を可能とした情報処理装置、それを実現するプログラム及びそのプログラムが記録されたコンピュータ読み取り可能な記録媒体を提供できる。
また、上述した直感的な固定する操作例のうちの2以上を組み合わせて用いることも可能である。組み合わせた場合には、個々の使用者毎の差異を吸収し、使用者の利便性を更に高めることができる。
また、本発明の具体的な構成は上記実施の形態に限られるものではなく、この発明の要旨を逸脱しない範囲の変更があってもこの発明に含まれる。
本発明は、複数の接触点を検出可能な接触検出部を有する情報処理装置であれば、どのような情報処理装置にも適応できる。また、本発明は、モバイル端末のように、片手で情報処理装置を保持して、操作する情報処理装置に好適である。
100 情報処理装置
110 制御部
120 表示部
121 接触検出部
130 記憶部
200 モバイル端末
201 無線部
202 放送受信部
203 GPS受信部
204 カメラ部
205 音響処理部
206 接触検出機能付表示部
207 記憶部
208 制御部
300 タブレットコンピュータ
310 制御部
311 RAM
312 ROM
313 ネットワークインタフェース
320 タッチパネルディスプレイ
321 表示部
322 接触検出部
330 記憶部
331 アプリケーションプログラム
332 ドライバ
333 OS
500 表示画面枠
501 第1の表示情報
502 第2の表示情報
503 アクティブ範囲
504 予め設定された位置
505 移動固定指定位置
506 移動固定オブジェクト
507 下地固定入力部
508 マルチタッチスクリーン検出可能領域
509 表示画面
510 接触点
600 表示画面
601 第1の表示情報
602 第2の表示情報
603 長方形領域
604 セル

Claims (3)

  1. 第一の表示情報を含む複数の表示情報を表示する表示部と、
    前記表示部に対する複数の物体の接触位置を検出する検出部と、
    接触を検出している前記第一の表示情報が表示された領域と 接触を検出している前記第一の表示情報を除く前記複数の表示情報が表示された領域と のうち、前記第一の表示情報が表示された方の接触位置の変化を検出した場合に、前記接触位置の変化に基づいて、前記複数の表示情報が表示された領域全体内における何れかの区画に関連付けられた前記第一の表示情報の表示位置を変更する制御部と、
    を備え
    前記制御部は、
    二点が同時的に移動された場合には、前記第一の表示情報を含む前記複数の表示情報をスクロールするように制御を実施可能にし、
    二点が時間差を置いて接触された場合には、前記複数の表示情報が表示された領域全体内における前記第一の表示情報の現在の表示位置を、ある区画に関連付けられた第一の位置から、前記第一の表示情報への接触の位置変化に応じて別の区画に関連付けられた第二の位置に変更する、移動制御を実施可能にする
    ことを特徴とする情報処理装置。
  2. 第一の表示情報を含む複数の表示情報を表示し、
    前記複数の表示情報に対する複数の物体の接触位置を検出し、
    接触を検出している前記第一の表示情報が表示された領域と 接触を検出している前記第一の表示情報を除く前記複数の表示情報が表示された領域と のうち、前記第一の表示情報が表示されている方の接触位置の変化を検出した場合に、前記接触位置の変化に基づいて、前記複数の表示情報が表示された領域全体内における何れかの区画に関連付けられた前記第一の表示情報の表示位置を変更する処理を実行する際に、二点が同時的に移動された場合には、前記第一の表示情報を含む前記複数の表示情報をスクロールするように制御を実施するように処理し、二点が時間差を置いて接触された場合には、前記複数の表示情報が表示された領域全体内における前記第一の表示情報の現在の表示位置を、ある区画に関連付けられた第一の位置から、前記第一の表示情報への接触の位置変化に応じて別の区画に関連付けられた第二の位置に変更する、移動制御を実施するように処理する
    ことを特徴とする情報処理方法。
  3. 第一の表示情報を含む複数の表示情報を表示する処理と、
    前記複数の表示情報に対する複数の物体の接触位置を検出する処理と、
    接触を検出している前記第一の表示情報が表示された領域と 接触を検出している前記第一の表示情報を除く前記複数の表示情報が表示された領域と のうち、前記第一の表示情報が表示されている方の接触位置の変化を検出した場合に、前記接触位置の変化に基づいて、前記複数の表示情報が表示された領域全体内における何れかの区画に関連付けられた前記第一の表示情報の表示位置を変更する処理であって、二点が同時的に移動された場合には、前記第一の表示情報を含む前記複数の表示情報をスクロールするように制御を実施するように処理し、二点が時間差を置いて接触された場合には、前記複数の表示情報が表示された領域全体内における前記第一の表示情報の現在の表示位置を、ある区画に関連付けられた第一の位置から、前記第一の表示情報への接触の位置変化に応じて別の区画に関連付けられた第二の位置に変更する、移動制御を実施するように処理すること
    を情報処理装置に実行させることを特徴とするプログラム。
JP2017102607A 2008-07-17 2017-05-24 情報処理装置、プログラム及び情報処理方法 Active JP6369704B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008185622 2008-07-17
JP2008185622 2008-07-17

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2015185285A Division JP6150082B2 (ja) 2008-07-17 2015-09-18 情報処理装置、プログラム及び情報処理方法

Publications (2)

Publication Number Publication Date
JP2017168136A JP2017168136A (ja) 2017-09-21
JP6369704B2 true JP6369704B2 (ja) 2018-08-08

Family

ID=41550488

Family Applications (6)

Application Number Title Priority Date Filing Date
JP2010520915A Active JP5267827B2 (ja) 2008-07-17 2009-07-15 情報処理装置、プログラムを記録した記憶媒体及びオブジェクト移動方法
JP2013100183A Active JP5618106B2 (ja) 2008-07-17 2013-05-10 情報処理装置、プログラム及び情報処理方法
JP2013100182A Active JP5787375B2 (ja) 2008-07-17 2013-05-10 情報処理装置、プログラム及び情報処理方法
JP2014189573A Active JP5811381B2 (ja) 2008-07-17 2014-09-18 情報処理装置、プログラム及び情報処理方法
JP2015185285A Active JP6150082B2 (ja) 2008-07-17 2015-09-18 情報処理装置、プログラム及び情報処理方法
JP2017102607A Active JP6369704B2 (ja) 2008-07-17 2017-05-24 情報処理装置、プログラム及び情報処理方法

Family Applications Before (5)

Application Number Title Priority Date Filing Date
JP2010520915A Active JP5267827B2 (ja) 2008-07-17 2009-07-15 情報処理装置、プログラムを記録した記憶媒体及びオブジェクト移動方法
JP2013100183A Active JP5618106B2 (ja) 2008-07-17 2013-05-10 情報処理装置、プログラム及び情報処理方法
JP2013100182A Active JP5787375B2 (ja) 2008-07-17 2013-05-10 情報処理装置、プログラム及び情報処理方法
JP2014189573A Active JP5811381B2 (ja) 2008-07-17 2014-09-18 情報処理装置、プログラム及び情報処理方法
JP2015185285A Active JP6150082B2 (ja) 2008-07-17 2015-09-18 情報処理装置、プログラム及び情報処理方法

Country Status (5)

Country Link
US (3) US20110126097A1 (ja)
EP (1) EP2306286A4 (ja)
JP (6) JP5267827B2 (ja)
CN (2) CN104216655B (ja)
WO (1) WO2010008088A1 (ja)

Families Citing this family (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008275565A (ja) * 2007-05-07 2008-11-13 Toyota Motor Corp ナビゲーション装置
US9483755B2 (en) 2008-03-04 2016-11-01 Apple Inc. Portable multifunction device, method, and graphical user interface for an email client
US8368667B2 (en) * 2008-06-26 2013-02-05 Cirque Corporation Method for reducing latency when using multi-touch gesture on touchpad
CN104216655B (zh) 2008-07-17 2018-02-16 日本电气株式会社 信息处理装置、记录有程序的存储介质以及目标移动方法
JP5501509B2 (ja) * 2008-09-03 2014-05-21 キヤノン株式会社 情報処理装置、その動作方法及びプログラム
CN102844732A (zh) 2010-02-18 2012-12-26 罗姆股份有限公司 触摸板输入装置
JP2011227703A (ja) * 2010-04-20 2011-11-10 Rohm Co Ltd 2点検知可能なタッチパネル入力装置
JP2011197848A (ja) * 2010-03-18 2011-10-06 Rohm Co Ltd タッチパネル入力装置
US8707174B2 (en) * 2010-02-25 2014-04-22 Microsoft Corporation Multi-screen hold and page-flip gesture
US9454304B2 (en) 2010-02-25 2016-09-27 Microsoft Technology Licensing, Llc Multi-screen dual tap gesture
US20110216095A1 (en) * 2010-03-04 2011-09-08 Tobias Rydenhag Methods, Devices, and Computer Program Products Providing Multi-Touch Drag and Drop Operations for Touch-Sensitive User Interfaces
JP5473708B2 (ja) * 2010-03-26 2014-04-16 京セラ株式会社 携帯端末及び表示制御プログラム
JP5230684B2 (ja) * 2010-05-13 2013-07-10 パナソニック株式会社 電子機器、表示方法、及びプログラム
JP5418440B2 (ja) * 2010-08-13 2014-02-19 カシオ計算機株式会社 入力装置及びプログラム
JP5615642B2 (ja) * 2010-09-22 2014-10-29 京セラ株式会社 携帯端末、入力制御プログラム及び入力制御方法
KR102006740B1 (ko) 2010-10-20 2019-08-02 삼성전자 주식회사 휴대 단말기의 화면 표시 방법 및 장치
JP2012247861A (ja) * 2011-05-25 2012-12-13 Panasonic Corp タッチスクリーン装置、タッチ操作入力方法及びプログラム
JP2013069273A (ja) * 2011-09-07 2013-04-18 Nitto Denko Corp 入力体の動き検出方法およびそれを用いた入力デバイス
US9501213B2 (en) * 2011-09-16 2016-11-22 Skadool, Inc. Scheduling events on an electronic calendar utilizing fixed-positioned events and a draggable calendar grid
US8810535B2 (en) 2011-10-18 2014-08-19 Blackberry Limited Electronic device and method of controlling same
EP2584441A1 (en) * 2011-10-18 2013-04-24 Research In Motion Limited Electronic device and method of controlling same
KR101710418B1 (ko) * 2011-12-19 2017-02-28 삼성전자주식회사 휴대 단말기의 멀티 터치 인터렉션 제공 방법 및 장치
TWI494802B (zh) * 2012-01-04 2015-08-01 Asustek Comp Inc 操作方法與使用其之可攜式電子裝置
CA2863824A1 (en) * 2012-02-07 2013-08-15 Blackberry Limited Methods and devices for merging contact records
US9223483B2 (en) 2012-02-24 2015-12-29 Blackberry Limited Method and apparatus for providing a user interface on a device that indicates content operators
EP2631760A1 (en) * 2012-02-24 2013-08-28 Research In Motion Limited Method and apparatus for providing a user interface on a device enabling selection of operations to be performed in relation to content
JP5974657B2 (ja) * 2012-06-15 2016-08-23 株式会社リコー 情報処理装置、情報処理方法および情報処理プログラム
JP5638570B2 (ja) * 2012-06-22 2014-12-10 ヤフー株式会社 画像表示装置、画像表示方法、及び、画像表示プログラム
JP2014032450A (ja) * 2012-08-01 2014-02-20 Sony Corp 表示制御装置、表示制御方法及びコンピュータプログラム
JP2012234569A (ja) * 2012-08-09 2012-11-29 Panasonic Corp 電子機器、表示方法、及びプログラム
JP5975794B2 (ja) * 2012-08-29 2016-08-23 キヤノン株式会社 表示制御装置、表示制御方法、プログラム及び記憶媒体
JP2014112335A (ja) * 2012-12-05 2014-06-19 Fuji Xerox Co Ltd 情報処理装置及びプログラム
JP2014142750A (ja) * 2013-01-23 2014-08-07 Dainippon Printing Co Ltd 入力機能及び表示機能を有するicカード
JP6154184B2 (ja) * 2013-04-26 2017-06-28 株式会社サミーネットワークス 表示制御方法、表示制御プログラム、および、携帯情報端末
US11068128B2 (en) 2013-09-03 2021-07-20 Apple Inc. User interface object manipulations in a user interface
US9841815B2 (en) * 2013-09-09 2017-12-12 Samsung Electronics Co., Ltd. Method for differentiation of touch input and visualization of pending touch input
WO2015107617A1 (ja) * 2014-01-14 2015-07-23 株式会社 東芝 電子機器、制御方法およびプログラム
US20150212682A1 (en) * 2014-01-30 2015-07-30 Accompani, Inc. Managing calendar and contact information
JP2015172861A (ja) * 2014-03-12 2015-10-01 レノボ・シンガポール・プライベート・リミテッド 携帯式電子機器の使用環境を切り換える方法、携帯式電子機器およびコンピュータ・プログラム
WO2016006074A1 (ja) * 2014-07-09 2016-01-14 株式会社東芝 電子機器、方法及びプログラム
CN113824998A (zh) 2014-09-02 2021-12-21 苹果公司 音乐用户界面
TWI582641B (zh) 2014-09-02 2017-05-11 蘋果公司 按鈕功能性
WO2016036509A1 (en) * 2014-09-02 2016-03-10 Apple Inc. Electronic mail user interface
JP7089352B2 (ja) 2016-09-16 2022-06-22 日東電工株式会社 スパイラル型膜エレメント
JP6249073B2 (ja) * 2016-09-28 2017-12-20 富士ゼロックス株式会社 情報処理装置及びプログラム
US11435830B2 (en) 2018-09-11 2022-09-06 Apple Inc. Content-based tactile outputs
JP7327368B2 (ja) * 2020-12-02 2023-08-16 横河電機株式会社 装置、方法およびプログラム
US20230230044A1 (en) * 2021-12-30 2023-07-20 Microsoft Technology Licensing, Llc Calendar update using template selections

Family Cites Families (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03180922A (ja) 1989-12-11 1991-08-06 Fujitsu Ltd タッチパネル構造
JPH07175587A (ja) * 1993-10-28 1995-07-14 Hitachi Ltd 情報処理装置
US5732227A (en) * 1994-07-05 1998-03-24 Hitachi, Ltd. Interactive information processing system responsive to user manipulation of physical objects and displayed images
US5825352A (en) * 1996-01-04 1998-10-20 Logitech, Inc. Multiple fingers contact sensing method for emulating mouse buttons and mouse operations on a touch sensor pad
JPH1173271A (ja) * 1997-08-28 1999-03-16 Sharp Corp 指示装置、処理装置および記憶媒体
JPH11102274A (ja) 1997-09-25 1999-04-13 Nec Corp スクロール装置
US20070177804A1 (en) * 2006-01-30 2007-08-02 Apple Computer, Inc. Multi-touch gesture dictionary
US7840912B2 (en) * 2006-01-30 2010-11-23 Apple Inc. Multi-touch gesture dictionary
US8479122B2 (en) * 2004-07-30 2013-07-02 Apple Inc. Gestures for touch sensitive input devices
JP2000137564A (ja) * 1998-11-02 2000-05-16 Pioneer Electronic Corp 画面操作装置および方法
JP2000163444A (ja) 1998-11-25 2000-06-16 Seiko Epson Corp 携帯情報機器及び情報記憶媒体
JP4542637B2 (ja) 1998-11-25 2010-09-15 セイコーエプソン株式会社 携帯情報機器及び情報記憶媒体
JP2000163193A (ja) * 1998-11-25 2000-06-16 Seiko Epson Corp 携帯情報機器及び情報記憶媒体
JP2001134382A (ja) * 1999-11-04 2001-05-18 Sony Corp 図形処理装置
US7003641B2 (en) * 2000-01-31 2006-02-21 Commvault Systems, Inc. Logical view with granular access to exchange data managed by a modular data and storage management system
JP4803883B2 (ja) * 2000-01-31 2011-10-26 キヤノン株式会社 位置情報処理装置及びその方法及びそのプログラム。
JP2001265481A (ja) * 2000-03-21 2001-09-28 Nec Corp ページ情報表示方法及び装置並びにページ情報表示用プログラムを記憶した記憶媒体
JP4686886B2 (ja) 2001-04-06 2011-05-25 ソニー株式会社 情報処理装置
US20030117427A1 (en) * 2001-07-13 2003-06-26 Universal Electronics Inc. System and method for interacting with a program guide displayed on a portable electronic device
JP2003173237A (ja) 2001-09-28 2003-06-20 Ricoh Co Ltd 情報入出力システム、プログラム及び記憶媒体
JP3847641B2 (ja) 2002-02-28 2006-11-22 株式会社ソニー・コンピュータエンタテインメント 情報処理装置、情報処理プログラム、情報処理プログラムを記録したコンピュータ読み取り可能な記録媒体、及び情報処理方法
US7411575B2 (en) * 2003-09-16 2008-08-12 Smart Technologies Ulc Gesture recognition method and touch system incorporating the same
JP4586397B2 (ja) * 2004-04-08 2010-11-24 ソニー株式会社 情報処理装置および方法、並びにプログラム
JP4045550B2 (ja) * 2004-06-28 2008-02-13 富士フイルム株式会社 画像表示制御装置及び画像表示制御プログラム
TWI248576B (en) * 2004-07-05 2006-02-01 Elan Microelectronics Corp Method for controlling rolling of scroll bar on a touch panel
CN103365595B (zh) * 2004-07-30 2017-03-01 苹果公司 用于触敏输入设备的手势
JP2006092025A (ja) * 2004-09-21 2006-04-06 Fujitsu Ltd 電子機器並びに表示画面の制御処理方法および表示画面の制御処理プログラム
US7760189B2 (en) * 2005-01-21 2010-07-20 Lenovo Singapore Pte. Ltd Touchpad diagonal scrolling
JP2007141177A (ja) * 2005-11-22 2007-06-07 Tokai Rika Co Ltd 操作入力装置
JP3970906B2 (ja) 2006-02-03 2007-09-05 株式会社ソニー・コンピュータエンタテインメント 情報処理装置、情報処理プログラム、情報処理プログラムを記録したコンピュータ読み取り可能な記録媒体、及び情報処理方法
JP4810658B2 (ja) * 2006-03-10 2011-11-09 国立大学法人広島大学 接触検出装置及び接触検出方法
JP5210497B2 (ja) * 2006-04-12 2013-06-12 クラリオン株式会社 ナビゲーション装置
TW200805131A (en) * 2006-05-24 2008-01-16 Lg Electronics Inc Touch screen device and method of selecting files thereon
JP2008097172A (ja) * 2006-10-10 2008-04-24 Sony Corp 表示装置および表示方法
US7956847B2 (en) * 2007-01-05 2011-06-07 Apple Inc. Gestures for controlling, manipulating, and editing of media files using touch sensitive devices
JP2008185622A (ja) 2007-01-26 2008-08-14 Ricoh Co Ltd 色ずれ検出方法、色ずれ検出装置及び画像形成装置
US7936341B2 (en) * 2007-05-30 2011-05-03 Microsoft Corporation Recognizing selection regions from multiple simultaneous inputs
JP2009017286A (ja) 2007-07-05 2009-01-22 Niigata Seimitsu Kk Am/fmラジオ受信機およびこれに用いる受信用半導体集積回路
WO2009049331A2 (en) * 2007-10-08 2009-04-16 Van Der Westhuizen Willem Mork User interface
US9513765B2 (en) * 2007-12-07 2016-12-06 Sony Corporation Three-dimensional sliding object arrangement method and system
US8745514B1 (en) * 2008-04-11 2014-06-03 Perceptive Pixel, Inc. Pressure-sensitive layering of displayed objects
JP4171770B1 (ja) * 2008-04-24 2008-10-29 任天堂株式会社 オブジェクト表示順変更プログラム及び装置
JP5500855B2 (ja) * 2008-07-11 2014-05-21 キヤノン株式会社 情報処理装置及びその制御方法
CN104216655B (zh) 2008-07-17 2018-02-16 日本电气株式会社 信息处理装置、记录有程序的存储介质以及目标移动方法
US8407606B1 (en) * 2009-01-02 2013-03-26 Perceptive Pixel Inc. Allocating control among inputs concurrently engaging an object displayed on a multi-touch device
US20120242620A1 (en) * 2011-03-22 2012-09-27 Research In Motion Limited Combined optical navigation and button
US9134893B2 (en) * 2012-12-14 2015-09-15 Barnes & Noble College Booksellers, Llc Block-based content selecting technique for touch screen UI
US9471150B1 (en) * 2013-09-27 2016-10-18 Emc Corporation Optimized gestures for zoom functionality on touch-based device

Also Published As

Publication number Publication date
EP2306286A1 (en) 2011-04-06
JP5267827B2 (ja) 2013-08-21
JP5787375B2 (ja) 2015-09-30
US20110126097A1 (en) 2011-05-26
JP5811381B2 (ja) 2015-11-11
JP5618106B2 (ja) 2014-11-05
US20140333580A1 (en) 2014-11-13
JP2015015045A (ja) 2015-01-22
US10656824B2 (en) 2020-05-19
US9933932B2 (en) 2018-04-03
CN102099775A (zh) 2011-06-15
JP2016026352A (ja) 2016-02-12
JPWO2010008088A1 (ja) 2012-01-05
JP2013175228A (ja) 2013-09-05
EP2306286A4 (en) 2016-05-11
JP6150082B2 (ja) 2017-06-21
CN104216655B (zh) 2018-02-16
WO2010008088A1 (ja) 2010-01-21
US20180181278A1 (en) 2018-06-28
JP2017168136A (ja) 2017-09-21
CN102099775B (zh) 2014-09-24
JP2013214308A (ja) 2013-10-17
CN104216655A (zh) 2014-12-17

Similar Documents

Publication Publication Date Title
JP6369704B2 (ja) 情報処理装置、プログラム及び情報処理方法
KR101523979B1 (ko) 휴대 단말기 및 그 휴대 단말기에서 기능 수행 방법
US10521111B2 (en) Electronic apparatus and method for displaying a plurality of images in a plurality of areas of a display
US10209877B2 (en) Touch screen device, method, and graphical user interface for moving on-screen objects without using a cursor
JP5370374B2 (ja) 情報処理装置
US20100088628A1 (en) Live preview of open windows
KR101135071B1 (ko) 컨텐츠 리스트를 나타내는 방법, 터치 스크린 단말기 및 컴퓨터로 읽을 수 있는 기록매체
JP5777645B2 (ja) 携帯端末機の文字入力方法及びこれをサポートする携帯端末機
KR20140106801A (ko) 시각 장애인들을 위한 휴대 단말기의 음성 서비스 지원 방법 및 장치
JP6408641B2 (ja) 電子機器
JP5067345B2 (ja) 携帯通信端末、携帯通信端末の制御方法、プログラム、及び記録媒体
JP4697816B2 (ja) 入力制御装置
JP5510008B2 (ja) 携帯端末装置
JP2018198096A (ja) 電子機器
JP2016181291A (ja) 装置、制御方法、ならびに制御プログラム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180117

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180124

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20180323

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180525

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180613

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180626

R150 Certificate of patent or registration of utility model

Ref document number: 6369704

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150