JPWO2010027006A1 - ジェスチャー入力操作装置、方法、プログラム及び携帯デバイス - Google Patents
ジェスチャー入力操作装置、方法、プログラム及び携帯デバイス Download PDFInfo
- Publication number
- JPWO2010027006A1 JPWO2010027006A1 JP2010527807A JP2010527807A JPWO2010027006A1 JP WO2010027006 A1 JPWO2010027006 A1 JP WO2010027006A1 JP 2010527807 A JP2010527807 A JP 2010527807A JP 2010527807 A JP2010527807 A JP 2010527807A JP WO2010027006 A1 JPWO2010027006 A1 JP WO2010027006A1
- Authority
- JP
- Japan
- Prior art keywords
- gesture
- display screen
- route
- input
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 25
- 239000011159 matrix material Substances 0.000 claims description 39
- 230000008569 process Effects 0.000 claims description 7
- 238000012545 processing Methods 0.000 abstract description 11
- 230000006870 function Effects 0.000 description 22
- 238000010586 diagram Methods 0.000 description 14
- 238000004321 preservation Methods 0.000 description 10
- 230000008859 change Effects 0.000 description 5
- 230000004913 activation Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000012790 confirmation Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- JJPWJEGNCRGGGA-UHFFFAOYSA-N 4-[[2-[5-[2-(2,3-dihydro-1H-inden-2-ylamino)pyrimidin-5-yl]-1,3,4-oxadiazol-2-yl]acetyl]amino]benzoic acid Chemical compound C1C(CC2=CC=CC=C12)NC1=NC=C(C=N1)C1=NN=C(O1)CC(=O)NC1=CC=C(C(=O)O)C=C1 JJPWJEGNCRGGGA-UHFFFAOYSA-N 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 231100000989 no adverse effect Toxicity 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
- Telephone Function (AREA)
Abstract
画面上のタッチパネル全体への入力で操作を容易にし処理量の増加を抑制する。ポインティングデバイスを介して表示画面に情報の入力操作を行うジェスチャー操作入力装置に、表示画面に複数の領域を設定し、各領域に番号を付ける領域設定部１０２Ｂと、図形、文字を含むジェスチャーに対して表示画面に領域を予め決められた順路で通過する領域の番号で形成されるジェスチャー順路規則を保存するジェスチャー順路規則保存部１０３Ａと、表示画面にジェスチャーが描かれて、ポインティングデバイスにより表示画面に設定された領域が複数指定された場合、指定された領域の番号を入力操作の順路情報として一時的に保存する操作順路情報保存部１０３Ｂと、保存されたジェスチャー順路規則と保存された入力操作の順路情報とを比較して一致する場合には入力操作の順路情報は表示画面に描かれたジェスチャーとして判定するジェスチャー判定部１０２Ａとを備える。
Description
本発明はポインティングデバイスを備えた携帯デバイスに関する。特に、本発明は、小型で入力操作を容易にするジェスチャー入力操作装置、方法、プログラム及び携帯デバイスに関する。
昨今、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ：携帯情報端末）、携帯電話、携帯プレーヤを含む携帯デバイスでタッチパネルが採用されてきている。
図１９は関連する携帯デバイスとユーザのダイアログの概要を説明する図である。本図に示すように、この携帯デバイスでは、画面上の画像を削除する場合には、「画像を削除しますか？」の表示に対して、選択操作は画面上に表示されたボタン「はい」又は「いいえ」に触れることで行われている。
しかし、携帯デバイスの限られた画面サイズではボタン自体も大きく表示することができないため、小さい領域にタッチする必要があり操作ミスを起こしやすいという問題があった。さらに、ボタンの表示領域を大きくすると選択できる項目が少なくなってしまうという問題があった。
このような問題に対応するための、タッチパネルに関連する技術として以下のものがある。
例えば、特許文献１には、正確なタッチパネル操作が困難な場合であっても、ユーザの指示どおり正しく動作させることを目的とする車載情報端末が記載されている。具体的には、この目的を達成するため特許文献１にはタッチパネル操作のタッチ位置の変化を検出する技術が記載されている。この技術を用いた端末では、タッチ位置が変化しない場合はタッチパネル操作のタッチ位置における画面表示内容に対応する処理内容を実行する。一方、タッチ位置が変化した場合は、端末はその軌跡から操作ジェスチャーを認識し、その操作ジェスチャーに対応する処理内容を実行する。
また、例えば特許文献２には、カーナビゲーション装置のタッチパネルディスプレーにおけるコマンド入力方式が記載されている。このコマンド入力方式では、スクロールボタンやコマンドボタン等が地図等の上に重ねられて表示されても、下の地図等が隠されるというような弊害がない。これは線分や三角形のような複数の線画をコマンドに割当て、ユーザがコマンドを意味する線画をタッチパネルディスプレーに指で描くと、この線画が認識され、対応するコマンドが実行されるためである。
特開２００７−１４５１０６号公報
特開平１１−０８５３９８号公報
図１９は関連する携帯デバイスとユーザのダイアログの概要を説明する図である。本図に示すように、この携帯デバイスでは、画面上の画像を削除する場合には、「画像を削除しますか？」の表示に対して、選択操作は画面上に表示されたボタン「はい」又は「いいえ」に触れることで行われている。
しかし、携帯デバイスの限られた画面サイズではボタン自体も大きく表示することができないため、小さい領域にタッチする必要があり操作ミスを起こしやすいという問題があった。さらに、ボタンの表示領域を大きくすると選択できる項目が少なくなってしまうという問題があった。
このような問題に対応するための、タッチパネルに関連する技術として以下のものがある。
例えば、特許文献１には、正確なタッチパネル操作が困難な場合であっても、ユーザの指示どおり正しく動作させることを目的とする車載情報端末が記載されている。具体的には、この目的を達成するため特許文献１にはタッチパネル操作のタッチ位置の変化を検出する技術が記載されている。この技術を用いた端末では、タッチ位置が変化しない場合はタッチパネル操作のタッチ位置における画面表示内容に対応する処理内容を実行する。一方、タッチ位置が変化した場合は、端末はその軌跡から操作ジェスチャーを認識し、その操作ジェスチャーに対応する処理内容を実行する。
また、例えば特許文献２には、カーナビゲーション装置のタッチパネルディスプレーにおけるコマンド入力方式が記載されている。このコマンド入力方式では、スクロールボタンやコマンドボタン等が地図等の上に重ねられて表示されても、下の地図等が隠されるというような弊害がない。これは線分や三角形のような複数の線画をコマンドに割当て、ユーザがコマンドを意味する線画をタッチパネルディスプレーに指で描くと、この線画が認識され、対応するコマンドが実行されるためである。
しかしながら、上記特許文献１では、タッチ位置の軌跡から操作ジェスチャーを認識するが、操作ジェスチャーの認識に文字認識、図形認識の従来技術を使用すると、処理量が膨大になるという問題がある。
また、上記特許文献２では、線画、三角形のような線画を認識するが、図形認識の関連技術を使用すると、やはり処理量が膨大になるという問題がある。
したがってこれらの技術は処理能力、記憶容量、電源容量などのリソースが限られた携帯デバイスにとっては負担が大きく、適用が難しい。
本発明は上記問題点に鑑みて、ポインティングデバイスを介して表示画面全体を使った操作で入力を容易にでき、且つ処理量の過度の増加を抑制し小型化に寄与できるジェスチャー入力操作装置、方法、プログラム及び携帯デバイスを提供することを目的とする。
また、上記特許文献２では、線画、三角形のような線画を認識するが、図形認識の関連技術を使用すると、やはり処理量が膨大になるという問題がある。
したがってこれらの技術は処理能力、記憶容量、電源容量などのリソースが限られた携帯デバイスにとっては負担が大きく、適用が難しい。
本発明は上記問題点に鑑みて、ポインティングデバイスを介して表示画面全体を使った操作で入力を容易にでき、且つ処理量の過度の増加を抑制し小型化に寄与できるジェスチャー入力操作装置、方法、プログラム及び携帯デバイスを提供することを目的とする。
前記問題点を解決するために、本発明のジェスチャー操作入力装置は、ポインティングデバイスを介して表示画面に情報の入力操作を行うジェスチャー操作入力装置であって、前記表示画面には、それぞれ識別情報が付された少なくとも２つの領域を設定し、図形、文字を含むジェスチャーについて、入力操作の際に前記表示画面において通過する前記領域の順路を、各領域の前記識別情報によって定義したジェスチャー順路規則を保存するジェスチャー順路規則保存部と、前記表示画面へのジェスチャーの入力に伴い、前記ポインティングデバイスにより前記表示画面内の前記領域が順次指定されたときに、指定された各領域の前記識別情報を入力操作の順路情報として、一時的に保存する操作順路情報保存部と、前記ジェスチャー順路規則と前記入力操作の順路情報とを比較して、一致する場合には、前記表示画面に描かれたジェスチャーが前記ジェスチャー順路規則で定義されているジェスチャーであることを判定する、ジェスチャー判定部とを備える。
さらに、本発明のジェスチャー操作入力方法は、ポインティングデバイスを介して表示画面に情報の入力操作を行うジェスチャー操作入力方法であって、前記表示画面には、それぞれ識別情報が付された少なくとも２つの領域を設定する工程と、前記表示画面にジェスチャーの入力に伴い、前記ポインティングデバイスにより前記表示画面内の前記領域が順次指定されたときに、指定された各領域の前記識別情報を入力操作の順路情報として、一時的に保存する工程と、図形、文字を含むジェスチャーについて、入力操作の際に前記表示画面において通過する前記領域の順路を、各領域の前記識別情報によって定義したジェスチャー順路規則と、前記入力操作の順路情報とを比較して、一致する場合には、前記表示画面に描かれたジェスチャーが前記ジェスチャー順路規則で定義されているジェスチャーであることを判定する工程とを備える。
さらに、本発明のジェスチャー操作入力プログラムは、ポインティングデバイスを介して表示画面に情報の入力操作を行うジェスチャー操作入力プログラムであって、前記表示画面には、それぞれ識別情報が付された少なくとも２つの領域を設定する手順と、前記表示画面にジェスチャーの入力に伴い、前記ポインティングデバイスにより前記表示画面内の前記領域が順次指定されたときに、指定された各領域の前記識別情報を入力操作の順路情報として、一時的に保存する手順と、図形、文字を含むジェスチャーについて、入力操作の際に前記表示画面において通過する前記領域の順路を、各領域の前記識別情報によって定義したジェスチャー順路規則と、前記入力操作の順路情報とを比較して、一致する場合には、前記表示画面に描かれたジェスチャーが前記ジェスチャー順路規則で定義されているジェスチャーであることを判定する手順とを備える。
さらに、本発明の携帯デバイスは、ポインティングデバイスを介して表示画面に情報の入力操作を行う携帯デバイスであって、前記表示画面には、それぞれ識別情報が付された少なくとも２つの領域を設定し、図形、文字を含むジェスチャーについて、入力操作の際に前記表示画面において通過する前記領域の順路を、各領域の前記識別情報によって定義したジェスチャー順路規則を保存するジェスチャー順路規則保存部と、前記表示画面へのジェスチャーの入力に伴い、前記ポインティングデバイスにより前記表示画面内の前記領域が順次指定されたときに、指定された各領域の前記識別情報を入力操作の順路情報として、一時的に保存する操作順路情報保存部と、前記ジェスチャー順路規則と前記入力操作の順路情報とを比較して、一致する場合には、前記表示画面に描かれたジェスチャーが前記ジェスチャー順路規則で定義されているジェスチャーであることを判定する、ジェスチャー判定部とを備える。
さらに、本発明のジェスチャー操作入力方法は、ポインティングデバイスを介して表示画面に情報の入力操作を行うジェスチャー操作入力方法であって、前記表示画面には、それぞれ識別情報が付された少なくとも２つの領域を設定する工程と、前記表示画面にジェスチャーの入力に伴い、前記ポインティングデバイスにより前記表示画面内の前記領域が順次指定されたときに、指定された各領域の前記識別情報を入力操作の順路情報として、一時的に保存する工程と、図形、文字を含むジェスチャーについて、入力操作の際に前記表示画面において通過する前記領域の順路を、各領域の前記識別情報によって定義したジェスチャー順路規則と、前記入力操作の順路情報とを比較して、一致する場合には、前記表示画面に描かれたジェスチャーが前記ジェスチャー順路規則で定義されているジェスチャーであることを判定する工程とを備える。
さらに、本発明のジェスチャー操作入力プログラムは、ポインティングデバイスを介して表示画面に情報の入力操作を行うジェスチャー操作入力プログラムであって、前記表示画面には、それぞれ識別情報が付された少なくとも２つの領域を設定する手順と、前記表示画面にジェスチャーの入力に伴い、前記ポインティングデバイスにより前記表示画面内の前記領域が順次指定されたときに、指定された各領域の前記識別情報を入力操作の順路情報として、一時的に保存する手順と、図形、文字を含むジェスチャーについて、入力操作の際に前記表示画面において通過する前記領域の順路を、各領域の前記識別情報によって定義したジェスチャー順路規則と、前記入力操作の順路情報とを比較して、一致する場合には、前記表示画面に描かれたジェスチャーが前記ジェスチャー順路規則で定義されているジェスチャーであることを判定する手順とを備える。
さらに、本発明の携帯デバイスは、ポインティングデバイスを介して表示画面に情報の入力操作を行う携帯デバイスであって、前記表示画面には、それぞれ識別情報が付された少なくとも２つの領域を設定し、図形、文字を含むジェスチャーについて、入力操作の際に前記表示画面において通過する前記領域の順路を、各領域の前記識別情報によって定義したジェスチャー順路規則を保存するジェスチャー順路規則保存部と、前記表示画面へのジェスチャーの入力に伴い、前記ポインティングデバイスにより前記表示画面内の前記領域が順次指定されたときに、指定された各領域の前記識別情報を入力操作の順路情報として、一時的に保存する操作順路情報保存部と、前記ジェスチャー順路規則と前記入力操作の順路情報とを比較して、一致する場合には、前記表示画面に描かれたジェスチャーが前記ジェスチャー順路規則で定義されているジェスチャーであることを判定する、ジェスチャー判定部とを備える。
以上説明したように、本発明によれば、ポインティングデバイスを介して表示画面全体を使った操作で入力を容易にでき、且つ処理量の過度の増加を抑制し小型化に寄与できるジェスチャー入力操作装置、方法、プログラム及び携帯デバイスを提供することができる。
［００５４］
１００…ジェスチャー操作入力装置
１０１…ポインティングデバイス
１０２…制御部
１０２Ａ…ジェスチャー判定部
１０２Ｂ…領域設定部
１０３…記憶部
１０３Ａ…ジェスチャー順路規則保存部
１０３Ｂ…操作順路情報保存部
１０４…表示画面
０１０１、０１２０、０１０３、…、０３０１、０３０２、０３０３…領域の行列番号
１００…ジェスチャー操作入力装置
１０１…ポインティングデバイス
１０２…制御部
１０２Ａ…ジェスチャー判定部
１０２Ｂ…領域設定部
１０３…記憶部
１０３Ａ…ジェスチャー順路規則保存部
１０３Ｂ…操作順路情報保存部
１０４…表示画面
０１０１、０１２０、０１０３、…、０３０１、０３０２、０３０３…領域の行列番号
以下、本発明の実施の形態について図面を参照して説明する。
図１は本実施の形態に係るジェスチャー操作入力装置の概略構成を示すブロック図である。
本図に示すように、ジェスチャー操作入力装置１００はポインティングデバイス１０１、制御部１０２、記憶部１０３、並びに表示画面１０４で構成される。制御部１０２はジェスチャー判定部１０２Ａを有しており、記憶部１０３はジェスチャー順路規則保存部１０３Ａ及び操作順路情報保存部１０３Ｂを有している。
表示画面１０４は、それぞれ識別情報が付された少なくとも２つの領域が設定されている。ユーザはポインティングデバイス１０１を介して、表示画面１０４上に各種図形、文字を描くことによりジェスチャーを入力する。ジェスチャーの入力操作の際、前記ポインティングデバイスにより前記表示画面上を通過する前記領域が順次指定される。指定された各領域の前記識別情報は入力操作の順路情報として、操作順路情報保存部１０３Ｂに一時的に保存される。
一方、入力されるべき各種のジェスチャーについては予め、ジェスチャーが入力される際に前記表示画面上を通過する前記領域の順路を、各領域の前記識別情報で定義しておき、ジェスチャー順路規則として、ジェスチャー順路規則保存部１０３Ａに保存しておく。
ジェスチャー判定部１０２Ｂは、ポインティングデバイスから入力操作があったときに、入力操作の順路情報をジェスチャー順路規則と比較し、定義されたジェスチャー順路のいずれかに一致する場合は、そのジェスチャーが入力されたと判定する。
以上のような構成により、この実施の形態では、ポインティングデバイスを介して表示画面１０４全体を使った操作で入力を容易にでき、また入力されるジェスチャーの軌跡自体や図形そのものを認識するような場合に比べて、処理量を大幅に抑制できる。
次に本発明の他の実施の形態の具体的な構成とその動作の例を説明する。図１に示すジェスチャー操作入力装置は携帯デバイスに使用するものとし、ポインティングデバイス１０１はタッチパネルで構成される。制御部１０２はＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：中央処理装置）で構成され、ジェスチャー判定部１０２Ａの動作はソフトウエアで実行される。記憶部１０３はＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ：ランダム・アクセス・メモリ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ：リード・オンリ・メモリ）で構成される。ジェスチャー判定部１０２Ａにより実行されるソフトウエアはＲＯＭに記憶され、また、ジェスチャー順路規則保存部１０３ＡもＲＯＭで構成される。さらに、表示画面１０４の領域分割の設定および各領域の識別情報に関してもＲＯＭに保存しておく。なお、上記のデータを保存するＲＯＭを書き換え可能ＲＯＭとし、必要に応じて設定し直せるようにしてもよい。一方、操作順路情報保存部１０３ＢはＲＡＭで構成される。また表示画面１０４はＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ：液晶ディスプレイ）で構成され、表示画面１０４にはポインティングデバイス１０１であるタッチパネルが設けられている。
図２は図１における表示画面１０４の領域分割例を説明する図である。本図に示すように、表示画面１０４は、一例として、３行×３列のマトリックス状の領域に分割され、各領域には識別情報として４桁の行列番号数字が、例えば、０１０１、０１０２、０１０３、…、０３０１、０３０２、０３０３のように、設定される。先ず、簡単な例でジェスチャー判定の概要を以下に説明する。
図３はタッチパネルが設けられた表示画面１０４の画面を、右上から真中に指でなぞるジェスチャーを判定する例を説明する図である。一例として、表示画面１０４上を指でなぞるジェスチャーが右上の領域０３０１、真中の領域０２０２を通るジェスチャーと判定する場合について説明する。
このジェスチャーに対応する一番単純なジェスチャー順路規則として、ジェスチャー順路規則保存部１０３Ａには、行列番号０３０１、０２０２が予め保存される。ただし、タッチパネルでのユーザの入力操作は多少ぶれがあるため、指が領域０３０１と０２０２の間を通るときに隣接する領域０２０１や０３０２を通ることも十分考えられる。例えば、図３では領域０２０１を通っている。そのため、このジェスチャーに対応するジェスチャー順路規則としてはさらに０２０１や０３０２が追加され、（０３０１、ｘ０３０２、ｘ０２０１、０２０２）という形でジェスチャー順路規則保存部１０３Ａに保存される。ここで、「ｘ」で始まる行列番号ｘ０３０２、ｘ０２０１は、領域０３０１及び０２０２を通過する間に隣接する領域０３０２又は０２０１を通ってもよいということを判定するための、ジェスチャーの入力操作ぶれに起因する脇道順路の行列番号である。
ユーザの指が表示画面１０４上をなぞると、ポインティングデバイス１０１であるタッチパネルが指の触れた領域を指定する。指定された領域の行列番号の順路は操作順路情報保存部１０３Ｂに記憶される。ユーザが領域０３０１と０２０２を通るジェスチャーを多少のぶれを伴いつつ入力する場合に、操作順路情報保存部１０３Ｂに記憶されうる領域の行列番号の順路の代表的ないくつかの例を以下に示す。
例１：０３０１、０２０２ …一致の判定
例２：０３０１、０３０２、０２０２ …一致の判定
例３：０３０１、０２０１、０２０２ …一致の判定
例４：０３０１、０２０１、０３０２、０２０２ …一致の判定
例５：０３０１、０３０２、０２０１、０２０２ …一致の判定
例６：０３０１、０２０２、０１０２ …不一致の判定
例７：０３０１、０２０２、０２０３ …不一致の判定
例８：０３０１、０２０２、０１０３ …不一致の判定
例９：０２０２、０３０１ …不一致の判定
例１０：０２０１、０２０２ …不一致の判定
例１１：０３０２、０２０２ …不一致の判定
例１２：０３０１、０２０２、０２０１ …不一致の判定
例１３：０３０１、０２０２、０３０２ …不一致の判定
例１４：０２０１、０３０１、０２０２ …不一致の判定
例１５：０３０２、０３０１、０２０２ …不一致の判定
例１６：０３０１、０３０２、０２０２、０２０１…不一致の判定
例１７：０３０１、０２０１、０２０２、０３０２…不一致の判定
操作順路情報保存部１０３Ｂでは、領域０３０１と０２０２を通るジェスチャーに対して上記例のいずれかの順路が発生し、操作順路情報として保存されることになる。
制御部１０２のジェスチャー判定部１０２Ａは、ジェスチャー順路規則保存部１０３Ａに保存されているジェスチャー順路規則（０３０１、ｘ０３０２、ｘ０２０１、０２０２）と操作順路情報保存部１０３Ｂに保存された操作順路情報を比較する。両者を比較する際には、「ｘ」のある行列番号ｘ０３０２、ｘ０２０１と一致する操作順路情報の番号については、脇道順路として設定される。ジェスチャー判定部１０２Ａは、この脇道順路の操作順路情報の行列番号を含めて、行列番号０３０１、０２０２のジェスチャー順路規則の行列番号を比較して、一致、不一致の判定を行う。ジェスチャー判定部１０２Ａはその判定結果を用いて操作順路情報保存部１０３Ｂに保存された操作順路情報がジェスチャーに該当するか否かを判定する。
上記例１−１７に対して、ジェスチャー判定部１０２Ａでは、上記例１−５は一致の判定を行い、ジェスチャー順路規則保存部１０３Ａが保存するジェスチャーに該当すると判定する。一方、ジェスチャー判定部１０２Ａでは、上記例６−１７は不一致の判定を行い、ジェスチャー順路規則保存部１０３Ａが保存するジェスチャーに該当しないと判定する。
ここで、上記例１１−１７でも、ジェスチャー順路規則保存部１０３Ａに保存されたジェスチャー順路規則では「ｘ」のある行列番号があるが、「ｘ」のある行列番号が「ｘ」のない行列番号の間にないので、脇道順路としないことにする。このため、これらの順路は不一致と判断される。
同様に、上記例１０では、０２０１はジェスチャー順路規則保存部１０３Ａに保存されたジェスチャー順路規則では「ｘ」のある行列番号があるが、「ｘ」のない行列番号の間にないので、脇道順路としないことにする。このため、やはり不一致と判断される。
このように入力操作のぶれは許容し、一方で、ぶれとは無関係な許容は排除する。
図４は図１におけるジェスチャー操作入力装置１００の一連の動作例を説明するフローチャートである。
本図に示すように、ステップＳ２０１において、マトリックス設定部１０２Ａによりマトリックス上の領域に設定されている表示画面１０４上に指がタッチしたとする。
ステップＳ２０２において、制御部１０２は、表示画面１０４上にタッチされた領域をポインティングデバイス１０１のタッチパネルで指定し、指定された領域の行列番号を操作順路情報保存部１０３Ｂに保存させる。
ステップＳ２０３において、制御部１０２は、ポインティングデバイス１０１のタッチパネルで指定された領域の行列番号の変化により指が別の領域に移動したかを判断する。別の領域に移動していなければステップＳ２０５に進む。
ステップＳ２０４において、制御部１０２は、別の領域に移動している場合にはタッチされている領域の行列番号の順路を操作順路情報保存部１０３Ｂに保存する。
ステップＳ２０５において、制御部１０２は表示画面１０４上からタッチした指を離したかを判断する。離していない場合にはステップＳ２０３に戻る。
ステップＳ２０６において、ジェスチャー判定部１０２Ｂは、操作順路情報保存部１０３Ｂに保存された領域の行列番号の順路とジェスチャー順路規則保存部１０３Ａに保存されたジェスチャー順路規則とを比較する。
ステップＳ２０７において、ジェスチャー判定部１０２Ｂは、上記比較で、ジェスチャー順路規則保存部１０３Ａに一致するジェスチャー順路規則がない場合には、操作順路情報保存部１０３Ｂに保存された領域の行列番号の順路はジェスチャーでないと判定し、ステップＳ２０９に進む。
ステップＳ２０８において、ジェスチャー判定部１０２Ｂは、上記比較で、ジェスチャー順路規則保存部１０３Ａに一致するジェスチャー順路規則がある場合には、操作順路情報保存部１０３Ｂに保存された領域の行列番号の順路はジェスチャーとして判定し、所定のジェスチャー入力処理として扱い、処理を終了する。
ステップＳ２０９において、指定されたタッチを通常のタッチ操作又はドラッグ操作として扱い、処理を終了する。
次に、ジェスチャー順路規則保存部１０３Ａに保存されるジェスチャー順路規則の具体的な例によって、本発明の実施の形態を説明する。
先ず、表示画面１０４上にはジェスチャー判定部１０２Ａにより図２に示す３行×３列のマトリックス状の領域が設定され、それぞれの領域に行列番号が設定されているとする。
ジェスチャー順路規則保存部１０３Ａには、図５〜１０に示すように「丸図形」、「クレッシェンド図形」、「デクレッシェンド図形」、「レ文字」、「逆レ文字」、「Ｚ文字」、「Ｎ文字」、「ｅ文字」について、それぞれジェスチャー順路規則の各種バリエーションが保存される。
１つのジェスチャーに対して順路規則の各種バリエーションを設定するのは、ユーザが指で表示画面１０４上にジェスチャーを描画する毎に全く同じ形のジェスチャーをなぞることは困難であり、少しずつ異なる形のジェスチャーとなりうるためである。
図１１〜１６は図５〜１０でジェスチャー順路規則保存部１０３Ａに保存したジェスチャー順路規則を、それぞれ視覚的に３行×３列のマトリックス状の領域に描画したジェスチャーとして示す図である。
以下に、図５〜１０に示すジェスチャー順路規則が保存されたジェスチャー順路規則保存部１０３Ａを有するジェスチャー操作入力装置１００を備えた携帯デバイスの実施の形態について説明する。
図１７は、ジェスチャー入力操作装置を携帯デバイスに適用し、ユーザと携帯デバイスのダイアログを行う例を示す図である。ここでは、画像の削除に対して携帯デバイスの表示画面１０４上でユーザと携帯デバイスの間で確認のダイアログを行う例を示している。携帯デバイスは、「画像Ｉｍｇ．００１ｇｉｆ削除しますか？」に対してユーザに「はい」、「いいえ」の応答を求める際に、「はい」に対しては「丸図形」のジェスチャーの操作入力を求め、「いいえ」に対しては「レ文字」のジェスチャーの操作入力を求める。ユーザは、「はい」の選択に対して「丸図形」のジェスチャーを描き、「いいえ」の選択に対して「レ文字」のジェスチャーを描く。ジェスチャーの操作入力後には図４のフローチャートに従い、ジェスチャーの判定を行う。
このようにして、選択アイコンにジェスチャーを示す図をデザインすると従来のキー操作での選択とタッチでの操作を両立することも可能で、ユーザにもわかりやすいデザインとなる。また、既存のレイアウトを大きく変更することなくタッチパネルを採用できるため、ソフト開発費を抑えることができる。
図１８はジェスチャー入力操作装置が適用された携帯デバイスでのユーザによるメニュー操作を行う例を示す図である。本図に示すように、メニューの選択に対して携帯デバイスの表示画面１０４上に、ジェスチャーの操作入力を求めるための複数のメニュー、例えばメール、電話帳、ブラウザ、テレビ、Ｊａｖａ（登録商標）、カメラが表示される。例えばメール機能の起動は「Ｎ文字」、電話帳機能の起動は「逆レ文字」、ブラウザ機能の起動は「ｅ文字」、テレビ機能の起動は「デクレッシェンド図形」、Ｊａｖａ（登録商標）機能の起動は「丸図形」、カメラ機能の起動は「Ｚ文字」が、それぞれ描かれる。ジェスチャーの操作入力後には図４のフローチャートに従い、ジェスチャーの判定が行われる。
このようにして、メニューアイコンにジェスチャーを示す図をデザインすると従来のキー操作での選択とタッチでの操作を両立することも可能である。ユーザにもわかりやすいデザインとなる。また、既存のレイアウトを大きく変更することなくタッチパネルを採用できるため、ソフト開発費を抑えることができる。
したがってこの実施の形態では、表示画面１０４上のタッチパネル全体を使って操作できるため、タッチパネル面積を大きくとることができ、携帯デバイス等でも、細かい操作を要求されず、小さなボタンを苦労して選択しなくても済むようになるという効果がある。
さらに、ポインティングデバイス１０１操作中の処理内容（図４のステップＳ２０３、２０４）が非常に単純であるため、ＣＰＵ資源が限られる携帯デバイス等でもすばやい操作レスポンスが可能になるという効果がある。
さらに、ジェスチャー順路規則保存部１０３Ａに要求されるメモリ量は非常に小さく、表示画面１０４上を２回回るジェスチャー操作でも１００バイト程度に収めることが可能である。したがってジェスチャー順路規則保存部１０３Ａが１００種類のジェスチャー順路規則を持ったとしても、１０ｋバイト程度のデータに収まる計算であり、ＲＯＭ、ＲＡＭ容量が制限される携帯デバイスでも有効になるという効果がある。
さらにこの実施の形態は、タッチパネル全体を使った大雑把な操作で済むため、タッチペンなど精細な操作をするための外部部品が不要であり、タッチペン自体や、その保存領域が省略可能になりサイズ、コストの両方を縮小することができるという効果がある。
さらにこの実施の形態は、ジェスチャーが描ければよいので、表示画面１０４上に選択のためのボタン、リストを表示する必要がなくなり、ボタン自体の描画を省略して他の表示に利用することが可能となる。例えば、一般的な端末デバイスではマルチタスクの起動等はいったん起動メニューなどを表示し、機能を選択して起動するのが一般的である。しかしジェスチャー操作ならば、例えば、「Ｎ文字」のジェスチャーでメール機能を起動する場合に、別の機能を操作中に「Ｎ文字」のジェスチャーを表示画面１０４に描くことで直接にメール機能を起動することが可能である。マルチタスク、機能連携をサポートする携帯デバイスでは、現在開いているデータや、機能の内容がジェスチャー操作によって起動された機能に引き継がれてもよい。例えば、「Ｎ文字」のジェスチャーでメール機能が起動されている場合に、「逆レ文字」のジェスチャーで電話帳機能を起動し、メールの宛先欄に予め操作していた電話帳の相手を指定することで、よりスムーズなユーザインタフェースが実現可能となる。
また、タッチ操作、ドラッグ操作が可能な画面で、ジェスチャー機能も同時に有効とすることも可能である。
また、ジェスチャー順路規則保存部１０３Ａへの保存内容を変更するだけでジェスチャーを追加、削除、変更することも可能である。
なお、以上の実施の形態では、ポインティングデバイス１０１としてタッチパネルを例に挙げたが、「選択したまま移動」いわゆるドラッグ操作が可能であるほかのポイントデバイスとしてマウスでも実施可能である。すなわち、マウスによるクリックし始めから離すところまでをジェスチャーと判定可能であるためである。
また、ジェスチャー順路規則保存部１０３Ａに保存しておくジェスチャー順路規則のデータはインターネット上などからダウンロードし、登録、追加、変更できるようにしてもよい。ジェスチャー順路規則保存部１０３Ａに保存されている内容は１ジェスチャーに対して１００バイト程度の非常に単純な構造を持つデータのため登録、追加、変更は容易である。
また、ジェスチャー操作入力装置１００から表示画面１０４を省略し、ジェスチャー判定部１０２Ａを有する制御部１０２から端末側にジェスチャー操作を信号として送信するデバイスとしてジェスチャー操作入力装置１００をパッケージ化することができる。このパッケージは、ジェスチャー操作判定をサポートした単体のタッチデバイスとして販売可能である。
また、図２では表示画面１０４上を３行３列のマトリックス上の領域に分割して説明した。画面の領域分割設定に関しては、領域数が少なすぎると入力可能な図形パターンが限られ、逆に多すぎると考慮すべきバリエーションや脇道順路が増え、ハードウェア資源として効率的でなくなる。３行３列のマトリックスは、２行２列のマトリックスに比べ格段に多様な図形およびそのバリエーションに対応することができ、かつ上述したレベルの単純な二次元図形を描く分には十分な領域設定パターンといえる。
しかしながら、領域の分割数にはもちろん制限は特にあるわけではなく、用途に応じて２行２列、４行４列、１０行１０列でもよい。なお、行と列の分割数も必ずしも同一である必要はなく、例えば３行３列ではなく、３行２列としてもよい。また図２では、表示画面１０４上に３行３列のマトリックス上の領域分割線を表示しているが、分割線を表示する必要はなく、タッチパネルが領域ごとに物理的に分かれている必要もない。
〔第３の実施の形態〕
図２０は本発明の第３の実施の形態を示すジェスチャー操作入力装置の概略構成を示すブロック図である。本図に示すように、ジェスチャー操作入力装置１００はポインティングデバイス１０１、ジェスチャー判定部１０２Ａ及び領域設定部１０２Ｂを有する制御部１０２、ジェスチャー順路規則保存部１０３Ａ及び操作順路情報保存部１０３Ｂを有する記憶部１０３、並びに表示画面１０４で構成され、携帯デバイスに使用される。
〔第４の実施の形態〕
ポインティングデバイスを介して表示画面に情報の入力操作を行うジェスチャー操作入力装置において、前記表示画面に複数の領域を設定し、各領域に番号を付ける領域設定部と、図形、文字を含むジェスチャーに対して前記表示画面に領域を予め決められた順路で通過する領域の番号で形成されるジェスチャー順路規則を保存するジェスチャー順路規則保存部と、前記表示画面にジェスチャーが描かれて、前記ポインティングデバイスにより前記表示画面に設定された領域が複数指定された場合、指定された領域の番号を入力操作の順路情報として一時的に保存する操作順路情報保存部と、前記操作順路情報保存部に保存されたジェスチャー順路規則と前記操作順路情報保存部に保存された入力操作の順路情報とを比較して一致する場合には入力操作の順路情報は前記表示画面に描かれたジェスチャーとして判定するジェスチャー判定部とを備える。
〔第５の実施の形態〕
前記ジェスチャー順路規則保存部に保存されるジェスチャー順路規則に対して通過する領域と通過する領域の間に入力操作ぶれで通過する隣接の領域がある場合には通過する領域と通過する領域の番号の間に入力操作ぶれ領域の番号をジェスチャー順路規則に保存し、前記ジェスチャー判定部は、前記操作順路情報保存部に保存される入力操作の順路情報が前記操作順路情報保存部に保存されるジェスチャー順路規則の入力操作ぶれ領域の番号と一致する場合には一致する入力操作の順路情報の領域の番号を無視し、無視した番号を除いた入力操作の順路情報の領域の番号と、無視した入力操作ぶれ領域の番号を除いたジェスチャー順路規則の領域の番号を比較する。
〔第６の実施の形態〕
前記ポインティングデバイスはタッチパネル又はマウスを含む。
〔第７の実施の形態〕
前記領域設定部が設定する領域は３行３列のマトリックス上の領域を含む。
〔第８の実施の形態〕
前記ジェスチャー順路規則保存部に保存されるジェスチャー順路規則は、丸図形、クレッシェンド図形、デクレッシェンド図形、レ文字、逆レ文字、Ｚ文字、Ｎ文字、ｅ文字のジェスチャー順路規則を含む。
〔第９の実施の形態〕
前記ジェスチャー順路規則保存部に保存されるジェスチャー順路規則はインターネットを介して、登録、追加、変更される。
〔第１０の実施の形態〕
ポインティングデバイスを介して表示画面に情報の入力操作を行うジェスチャー操作入力方法において、前記表示画面に複数の領域を設定し、各領域に番号を付ける工程と、前記表示画面にジェスチャーが描かれて、前記ポインティングデバイスにより前記表示画面に設定された領域が複数指定された場合、指定された領域の番号を入力操作の順路情報として一時的に保存する工程と、図形、文字を含むジェスチャーに対して前記表示画面に領域を予め決められた順路で通過する領域の番号で保存されたジェスチャー順路規則と保存された入力操作の順路情報とを比較して一致する場合には入力操作の順路情報は前記表示画面に描かれたジェスチャーとして判定する工程とを備える。
〔第１１の実施の形態〕
ポインティングデバイスを介して表示画面に情報の入力操作を行うジェスチャー操作入力プログラムにおいて、前記表示画面に複数の領域を設定し、各領域に番号を付ける手順と、前記表示画面にジェスチャーが描かれて、前記ポインティングデバイスにより前記表示画面に設定された領域が複数指定された場合、指定された領域の番号を入力操作の順路情報として一時的に保存する手順と、図形、文字を含むジェスチャーに対して前記表示画面に領域を予め決められた順路で通過する領域の番号で保存されたジェスチャー順路規則と保存された入力操作の順路情報とを比較して一致する場合には入力操作の順路情報は前記表示画面に描かれたジェスチャーとして判定する手順とを備える。
〔第１２の実施の形態〕
ポインティングデバイスを介して表示画面に情報の入力操作を行う携帯デバイスにおいて、前記表示画面に複数の領域を設定し、各領域に番号を付ける領域設定部と、図形、文字を含むジェスチャーに対して前記表示画面に領域を予め決められた順路で通過する領域の番号で形成されるジェスチャー順路規則を保存するジェスチャー順路規則保存部と、前記表示画面にジェスチャーが描かれて、前記ポインティングデバイスにより前記表示画面に設定された領域が複数指定された場合、指定された領域の番号を入力操作の順路情報として一時的に保存する操作順路情報保存部と、前記操作順路情報保存部に保存されたジェスチャー順路規則と前記操作順路情報保存部に保存された入力操作の順路情報とを比較して一致する場合には入力操作の順路情報は前記表示画面に描かれたジェスチャーとして判定するジェスチャー判定部とを備える。
〔第１３の実施の形態〕
前記表示画面に「はい」又は「いいえ」の確認のダイアログが表示され、前記表示画面に丸図形が描かれた場合描かれた丸図形を判定し「はい」の確認とし、レ文字が描かれた場合描かれたレ文字を判定し「いいえ」の確認とする。
〔第１４の実施の形態〕
前記表示画面に「メール」、「電話帳」、「ブラウザ」、「ワンセグ」、「Ｊａｖａ（登録商標）］、「カメラ」を含むメニューが表示され、前記表示画面にＮ文字が描かれた場合描かれたＮ文字を判定しメール機能の起動と確認し、前記表示画面に逆レ文字が描かれた場合描かれた逆レ文字を判定し電話帳機能の起動と確認し、前記表示画面にｅ文字が描かれた場合描かれたｅ文字を判定しブラウザ機能の起動と確認し、前記表示画面にデクレッシェンド図形が描かれた場合描かれたデクレッシェンド図形を判定しワンセグ機能の起動と確認し、前記表示画面に丸図形が描かれた場合描かれた丸図形を判定しＪａｖａ（登録商標）機能の起動と確認し、さらに、前記表示画面にＺ図形が描かれた場合描かれたＺ図形を判定しカメラ機能の起動と確認する。
以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施形態及び実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
なお、この出願は、２００８年９月３日に出願された日本出願特願２００８−２２６４９２を基礎とする優先権を主張し、その開示の全てをここに取り込む。
図１は本実施の形態に係るジェスチャー操作入力装置の概略構成を示すブロック図である。
本図に示すように、ジェスチャー操作入力装置１００はポインティングデバイス１０１、制御部１０２、記憶部１０３、並びに表示画面１０４で構成される。制御部１０２はジェスチャー判定部１０２Ａを有しており、記憶部１０３はジェスチャー順路規則保存部１０３Ａ及び操作順路情報保存部１０３Ｂを有している。
表示画面１０４は、それぞれ識別情報が付された少なくとも２つの領域が設定されている。ユーザはポインティングデバイス１０１を介して、表示画面１０４上に各種図形、文字を描くことによりジェスチャーを入力する。ジェスチャーの入力操作の際、前記ポインティングデバイスにより前記表示画面上を通過する前記領域が順次指定される。指定された各領域の前記識別情報は入力操作の順路情報として、操作順路情報保存部１０３Ｂに一時的に保存される。
一方、入力されるべき各種のジェスチャーについては予め、ジェスチャーが入力される際に前記表示画面上を通過する前記領域の順路を、各領域の前記識別情報で定義しておき、ジェスチャー順路規則として、ジェスチャー順路規則保存部１０３Ａに保存しておく。
ジェスチャー判定部１０２Ｂは、ポインティングデバイスから入力操作があったときに、入力操作の順路情報をジェスチャー順路規則と比較し、定義されたジェスチャー順路のいずれかに一致する場合は、そのジェスチャーが入力されたと判定する。
以上のような構成により、この実施の形態では、ポインティングデバイスを介して表示画面１０４全体を使った操作で入力を容易にでき、また入力されるジェスチャーの軌跡自体や図形そのものを認識するような場合に比べて、処理量を大幅に抑制できる。
次に本発明の他の実施の形態の具体的な構成とその動作の例を説明する。図１に示すジェスチャー操作入力装置は携帯デバイスに使用するものとし、ポインティングデバイス１０１はタッチパネルで構成される。制御部１０２はＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：中央処理装置）で構成され、ジェスチャー判定部１０２Ａの動作はソフトウエアで実行される。記憶部１０３はＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ：ランダム・アクセス・メモリ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ：リード・オンリ・メモリ）で構成される。ジェスチャー判定部１０２Ａにより実行されるソフトウエアはＲＯＭに記憶され、また、ジェスチャー順路規則保存部１０３ＡもＲＯＭで構成される。さらに、表示画面１０４の領域分割の設定および各領域の識別情報に関してもＲＯＭに保存しておく。なお、上記のデータを保存するＲＯＭを書き換え可能ＲＯＭとし、必要に応じて設定し直せるようにしてもよい。一方、操作順路情報保存部１０３ＢはＲＡＭで構成される。また表示画面１０４はＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ：液晶ディスプレイ）で構成され、表示画面１０４にはポインティングデバイス１０１であるタッチパネルが設けられている。
図２は図１における表示画面１０４の領域分割例を説明する図である。本図に示すように、表示画面１０４は、一例として、３行×３列のマトリックス状の領域に分割され、各領域には識別情報として４桁の行列番号数字が、例えば、０１０１、０１０２、０１０３、…、０３０１、０３０２、０３０３のように、設定される。先ず、簡単な例でジェスチャー判定の概要を以下に説明する。
図３はタッチパネルが設けられた表示画面１０４の画面を、右上から真中に指でなぞるジェスチャーを判定する例を説明する図である。一例として、表示画面１０４上を指でなぞるジェスチャーが右上の領域０３０１、真中の領域０２０２を通るジェスチャーと判定する場合について説明する。
このジェスチャーに対応する一番単純なジェスチャー順路規則として、ジェスチャー順路規則保存部１０３Ａには、行列番号０３０１、０２０２が予め保存される。ただし、タッチパネルでのユーザの入力操作は多少ぶれがあるため、指が領域０３０１と０２０２の間を通るときに隣接する領域０２０１や０３０２を通ることも十分考えられる。例えば、図３では領域０２０１を通っている。そのため、このジェスチャーに対応するジェスチャー順路規則としてはさらに０２０１や０３０２が追加され、（０３０１、ｘ０３０２、ｘ０２０１、０２０２）という形でジェスチャー順路規則保存部１０３Ａに保存される。ここで、「ｘ」で始まる行列番号ｘ０３０２、ｘ０２０１は、領域０３０１及び０２０２を通過する間に隣接する領域０３０２又は０２０１を通ってもよいということを判定するための、ジェスチャーの入力操作ぶれに起因する脇道順路の行列番号である。
ユーザの指が表示画面１０４上をなぞると、ポインティングデバイス１０１であるタッチパネルが指の触れた領域を指定する。指定された領域の行列番号の順路は操作順路情報保存部１０３Ｂに記憶される。ユーザが領域０３０１と０２０２を通るジェスチャーを多少のぶれを伴いつつ入力する場合に、操作順路情報保存部１０３Ｂに記憶されうる領域の行列番号の順路の代表的ないくつかの例を以下に示す。
例１：０３０１、０２０２ …一致の判定
例２：０３０１、０３０２、０２０２ …一致の判定
例３：０３０１、０２０１、０２０２ …一致の判定
例４：０３０１、０２０１、０３０２、０２０２ …一致の判定
例５：０３０１、０３０２、０２０１、０２０２ …一致の判定
例６：０３０１、０２０２、０１０２ …不一致の判定
例７：０３０１、０２０２、０２０３ …不一致の判定
例８：０３０１、０２０２、０１０３ …不一致の判定
例９：０２０２、０３０１ …不一致の判定
例１０：０２０１、０２０２ …不一致の判定
例１１：０３０２、０２０２ …不一致の判定
例１２：０３０１、０２０２、０２０１ …不一致の判定
例１３：０３０１、０２０２、０３０２ …不一致の判定
例１４：０２０１、０３０１、０２０２ …不一致の判定
例１５：０３０２、０３０１、０２０２ …不一致の判定
例１６：０３０１、０３０２、０２０２、０２０１…不一致の判定
例１７：０３０１、０２０１、０２０２、０３０２…不一致の判定
操作順路情報保存部１０３Ｂでは、領域０３０１と０２０２を通るジェスチャーに対して上記例のいずれかの順路が発生し、操作順路情報として保存されることになる。
制御部１０２のジェスチャー判定部１０２Ａは、ジェスチャー順路規則保存部１０３Ａに保存されているジェスチャー順路規則（０３０１、ｘ０３０２、ｘ０２０１、０２０２）と操作順路情報保存部１０３Ｂに保存された操作順路情報を比較する。両者を比較する際には、「ｘ」のある行列番号ｘ０３０２、ｘ０２０１と一致する操作順路情報の番号については、脇道順路として設定される。ジェスチャー判定部１０２Ａは、この脇道順路の操作順路情報の行列番号を含めて、行列番号０３０１、０２０２のジェスチャー順路規則の行列番号を比較して、一致、不一致の判定を行う。ジェスチャー判定部１０２Ａはその判定結果を用いて操作順路情報保存部１０３Ｂに保存された操作順路情報がジェスチャーに該当するか否かを判定する。
上記例１−１７に対して、ジェスチャー判定部１０２Ａでは、上記例１−５は一致の判定を行い、ジェスチャー順路規則保存部１０３Ａが保存するジェスチャーに該当すると判定する。一方、ジェスチャー判定部１０２Ａでは、上記例６−１７は不一致の判定を行い、ジェスチャー順路規則保存部１０３Ａが保存するジェスチャーに該当しないと判定する。
ここで、上記例１１−１７でも、ジェスチャー順路規則保存部１０３Ａに保存されたジェスチャー順路規則では「ｘ」のある行列番号があるが、「ｘ」のある行列番号が「ｘ」のない行列番号の間にないので、脇道順路としないことにする。このため、これらの順路は不一致と判断される。
同様に、上記例１０では、０２０１はジェスチャー順路規則保存部１０３Ａに保存されたジェスチャー順路規則では「ｘ」のある行列番号があるが、「ｘ」のない行列番号の間にないので、脇道順路としないことにする。このため、やはり不一致と判断される。
このように入力操作のぶれは許容し、一方で、ぶれとは無関係な許容は排除する。
図４は図１におけるジェスチャー操作入力装置１００の一連の動作例を説明するフローチャートである。
本図に示すように、ステップＳ２０１において、マトリックス設定部１０２Ａによりマトリックス上の領域に設定されている表示画面１０４上に指がタッチしたとする。
ステップＳ２０２において、制御部１０２は、表示画面１０４上にタッチされた領域をポインティングデバイス１０１のタッチパネルで指定し、指定された領域の行列番号を操作順路情報保存部１０３Ｂに保存させる。
ステップＳ２０３において、制御部１０２は、ポインティングデバイス１０１のタッチパネルで指定された領域の行列番号の変化により指が別の領域に移動したかを判断する。別の領域に移動していなければステップＳ２０５に進む。
ステップＳ２０４において、制御部１０２は、別の領域に移動している場合にはタッチされている領域の行列番号の順路を操作順路情報保存部１０３Ｂに保存する。
ステップＳ２０５において、制御部１０２は表示画面１０４上からタッチした指を離したかを判断する。離していない場合にはステップＳ２０３に戻る。
ステップＳ２０６において、ジェスチャー判定部１０２Ｂは、操作順路情報保存部１０３Ｂに保存された領域の行列番号の順路とジェスチャー順路規則保存部１０３Ａに保存されたジェスチャー順路規則とを比較する。
ステップＳ２０７において、ジェスチャー判定部１０２Ｂは、上記比較で、ジェスチャー順路規則保存部１０３Ａに一致するジェスチャー順路規則がない場合には、操作順路情報保存部１０３Ｂに保存された領域の行列番号の順路はジェスチャーでないと判定し、ステップＳ２０９に進む。
ステップＳ２０８において、ジェスチャー判定部１０２Ｂは、上記比較で、ジェスチャー順路規則保存部１０３Ａに一致するジェスチャー順路規則がある場合には、操作順路情報保存部１０３Ｂに保存された領域の行列番号の順路はジェスチャーとして判定し、所定のジェスチャー入力処理として扱い、処理を終了する。
ステップＳ２０９において、指定されたタッチを通常のタッチ操作又はドラッグ操作として扱い、処理を終了する。
次に、ジェスチャー順路規則保存部１０３Ａに保存されるジェスチャー順路規則の具体的な例によって、本発明の実施の形態を説明する。
先ず、表示画面１０４上にはジェスチャー判定部１０２Ａにより図２に示す３行×３列のマトリックス状の領域が設定され、それぞれの領域に行列番号が設定されているとする。
ジェスチャー順路規則保存部１０３Ａには、図５〜１０に示すように「丸図形」、「クレッシェンド図形」、「デクレッシェンド図形」、「レ文字」、「逆レ文字」、「Ｚ文字」、「Ｎ文字」、「ｅ文字」について、それぞれジェスチャー順路規則の各種バリエーションが保存される。
１つのジェスチャーに対して順路規則の各種バリエーションを設定するのは、ユーザが指で表示画面１０４上にジェスチャーを描画する毎に全く同じ形のジェスチャーをなぞることは困難であり、少しずつ異なる形のジェスチャーとなりうるためである。
図１１〜１６は図５〜１０でジェスチャー順路規則保存部１０３Ａに保存したジェスチャー順路規則を、それぞれ視覚的に３行×３列のマトリックス状の領域に描画したジェスチャーとして示す図である。
以下に、図５〜１０に示すジェスチャー順路規則が保存されたジェスチャー順路規則保存部１０３Ａを有するジェスチャー操作入力装置１００を備えた携帯デバイスの実施の形態について説明する。
図１７は、ジェスチャー入力操作装置を携帯デバイスに適用し、ユーザと携帯デバイスのダイアログを行う例を示す図である。ここでは、画像の削除に対して携帯デバイスの表示画面１０４上でユーザと携帯デバイスの間で確認のダイアログを行う例を示している。携帯デバイスは、「画像Ｉｍｇ．００１ｇｉｆ削除しますか？」に対してユーザに「はい」、「いいえ」の応答を求める際に、「はい」に対しては「丸図形」のジェスチャーの操作入力を求め、「いいえ」に対しては「レ文字」のジェスチャーの操作入力を求める。ユーザは、「はい」の選択に対して「丸図形」のジェスチャーを描き、「いいえ」の選択に対して「レ文字」のジェスチャーを描く。ジェスチャーの操作入力後には図４のフローチャートに従い、ジェスチャーの判定を行う。
このようにして、選択アイコンにジェスチャーを示す図をデザインすると従来のキー操作での選択とタッチでの操作を両立することも可能で、ユーザにもわかりやすいデザインとなる。また、既存のレイアウトを大きく変更することなくタッチパネルを採用できるため、ソフト開発費を抑えることができる。
図１８はジェスチャー入力操作装置が適用された携帯デバイスでのユーザによるメニュー操作を行う例を示す図である。本図に示すように、メニューの選択に対して携帯デバイスの表示画面１０４上に、ジェスチャーの操作入力を求めるための複数のメニュー、例えばメール、電話帳、ブラウザ、テレビ、Ｊａｖａ（登録商標）、カメラが表示される。例えばメール機能の起動は「Ｎ文字」、電話帳機能の起動は「逆レ文字」、ブラウザ機能の起動は「ｅ文字」、テレビ機能の起動は「デクレッシェンド図形」、Ｊａｖａ（登録商標）機能の起動は「丸図形」、カメラ機能の起動は「Ｚ文字」が、それぞれ描かれる。ジェスチャーの操作入力後には図４のフローチャートに従い、ジェスチャーの判定が行われる。
このようにして、メニューアイコンにジェスチャーを示す図をデザインすると従来のキー操作での選択とタッチでの操作を両立することも可能である。ユーザにもわかりやすいデザインとなる。また、既存のレイアウトを大きく変更することなくタッチパネルを採用できるため、ソフト開発費を抑えることができる。
したがってこの実施の形態では、表示画面１０４上のタッチパネル全体を使って操作できるため、タッチパネル面積を大きくとることができ、携帯デバイス等でも、細かい操作を要求されず、小さなボタンを苦労して選択しなくても済むようになるという効果がある。
さらに、ポインティングデバイス１０１操作中の処理内容（図４のステップＳ２０３、２０４）が非常に単純であるため、ＣＰＵ資源が限られる携帯デバイス等でもすばやい操作レスポンスが可能になるという効果がある。
さらに、ジェスチャー順路規則保存部１０３Ａに要求されるメモリ量は非常に小さく、表示画面１０４上を２回回るジェスチャー操作でも１００バイト程度に収めることが可能である。したがってジェスチャー順路規則保存部１０３Ａが１００種類のジェスチャー順路規則を持ったとしても、１０ｋバイト程度のデータに収まる計算であり、ＲＯＭ、ＲＡＭ容量が制限される携帯デバイスでも有効になるという効果がある。
さらにこの実施の形態は、タッチパネル全体を使った大雑把な操作で済むため、タッチペンなど精細な操作をするための外部部品が不要であり、タッチペン自体や、その保存領域が省略可能になりサイズ、コストの両方を縮小することができるという効果がある。
さらにこの実施の形態は、ジェスチャーが描ければよいので、表示画面１０４上に選択のためのボタン、リストを表示する必要がなくなり、ボタン自体の描画を省略して他の表示に利用することが可能となる。例えば、一般的な端末デバイスではマルチタスクの起動等はいったん起動メニューなどを表示し、機能を選択して起動するのが一般的である。しかしジェスチャー操作ならば、例えば、「Ｎ文字」のジェスチャーでメール機能を起動する場合に、別の機能を操作中に「Ｎ文字」のジェスチャーを表示画面１０４に描くことで直接にメール機能を起動することが可能である。マルチタスク、機能連携をサポートする携帯デバイスでは、現在開いているデータや、機能の内容がジェスチャー操作によって起動された機能に引き継がれてもよい。例えば、「Ｎ文字」のジェスチャーでメール機能が起動されている場合に、「逆レ文字」のジェスチャーで電話帳機能を起動し、メールの宛先欄に予め操作していた電話帳の相手を指定することで、よりスムーズなユーザインタフェースが実現可能となる。
また、タッチ操作、ドラッグ操作が可能な画面で、ジェスチャー機能も同時に有効とすることも可能である。
また、ジェスチャー順路規則保存部１０３Ａへの保存内容を変更するだけでジェスチャーを追加、削除、変更することも可能である。
なお、以上の実施の形態では、ポインティングデバイス１０１としてタッチパネルを例に挙げたが、「選択したまま移動」いわゆるドラッグ操作が可能であるほかのポイントデバイスとしてマウスでも実施可能である。すなわち、マウスによるクリックし始めから離すところまでをジェスチャーと判定可能であるためである。
また、ジェスチャー順路規則保存部１０３Ａに保存しておくジェスチャー順路規則のデータはインターネット上などからダウンロードし、登録、追加、変更できるようにしてもよい。ジェスチャー順路規則保存部１０３Ａに保存されている内容は１ジェスチャーに対して１００バイト程度の非常に単純な構造を持つデータのため登録、追加、変更は容易である。
また、ジェスチャー操作入力装置１００から表示画面１０４を省略し、ジェスチャー判定部１０２Ａを有する制御部１０２から端末側にジェスチャー操作を信号として送信するデバイスとしてジェスチャー操作入力装置１００をパッケージ化することができる。このパッケージは、ジェスチャー操作判定をサポートした単体のタッチデバイスとして販売可能である。
また、図２では表示画面１０４上を３行３列のマトリックス上の領域に分割して説明した。画面の領域分割設定に関しては、領域数が少なすぎると入力可能な図形パターンが限られ、逆に多すぎると考慮すべきバリエーションや脇道順路が増え、ハードウェア資源として効率的でなくなる。３行３列のマトリックスは、２行２列のマトリックスに比べ格段に多様な図形およびそのバリエーションに対応することができ、かつ上述したレベルの単純な二次元図形を描く分には十分な領域設定パターンといえる。
しかしながら、領域の分割数にはもちろん制限は特にあるわけではなく、用途に応じて２行２列、４行４列、１０行１０列でもよい。なお、行と列の分割数も必ずしも同一である必要はなく、例えば３行３列ではなく、３行２列としてもよい。また図２では、表示画面１０４上に３行３列のマトリックス上の領域分割線を表示しているが、分割線を表示する必要はなく、タッチパネルが領域ごとに物理的に分かれている必要もない。
〔第３の実施の形態〕
図２０は本発明の第３の実施の形態を示すジェスチャー操作入力装置の概略構成を示すブロック図である。本図に示すように、ジェスチャー操作入力装置１００はポインティングデバイス１０１、ジェスチャー判定部１０２Ａ及び領域設定部１０２Ｂを有する制御部１０２、ジェスチャー順路規則保存部１０３Ａ及び操作順路情報保存部１０３Ｂを有する記憶部１０３、並びに表示画面１０４で構成され、携帯デバイスに使用される。
〔第４の実施の形態〕
ポインティングデバイスを介して表示画面に情報の入力操作を行うジェスチャー操作入力装置において、前記表示画面に複数の領域を設定し、各領域に番号を付ける領域設定部と、図形、文字を含むジェスチャーに対して前記表示画面に領域を予め決められた順路で通過する領域の番号で形成されるジェスチャー順路規則を保存するジェスチャー順路規則保存部と、前記表示画面にジェスチャーが描かれて、前記ポインティングデバイスにより前記表示画面に設定された領域が複数指定された場合、指定された領域の番号を入力操作の順路情報として一時的に保存する操作順路情報保存部と、前記操作順路情報保存部に保存されたジェスチャー順路規則と前記操作順路情報保存部に保存された入力操作の順路情報とを比較して一致する場合には入力操作の順路情報は前記表示画面に描かれたジェスチャーとして判定するジェスチャー判定部とを備える。
〔第５の実施の形態〕
前記ジェスチャー順路規則保存部に保存されるジェスチャー順路規則に対して通過する領域と通過する領域の間に入力操作ぶれで通過する隣接の領域がある場合には通過する領域と通過する領域の番号の間に入力操作ぶれ領域の番号をジェスチャー順路規則に保存し、前記ジェスチャー判定部は、前記操作順路情報保存部に保存される入力操作の順路情報が前記操作順路情報保存部に保存されるジェスチャー順路規則の入力操作ぶれ領域の番号と一致する場合には一致する入力操作の順路情報の領域の番号を無視し、無視した番号を除いた入力操作の順路情報の領域の番号と、無視した入力操作ぶれ領域の番号を除いたジェスチャー順路規則の領域の番号を比較する。
〔第６の実施の形態〕
前記ポインティングデバイスはタッチパネル又はマウスを含む。
〔第７の実施の形態〕
前記領域設定部が設定する領域は３行３列のマトリックス上の領域を含む。
〔第８の実施の形態〕
前記ジェスチャー順路規則保存部に保存されるジェスチャー順路規則は、丸図形、クレッシェンド図形、デクレッシェンド図形、レ文字、逆レ文字、Ｚ文字、Ｎ文字、ｅ文字のジェスチャー順路規則を含む。
〔第９の実施の形態〕
前記ジェスチャー順路規則保存部に保存されるジェスチャー順路規則はインターネットを介して、登録、追加、変更される。
〔第１０の実施の形態〕
ポインティングデバイスを介して表示画面に情報の入力操作を行うジェスチャー操作入力方法において、前記表示画面に複数の領域を設定し、各領域に番号を付ける工程と、前記表示画面にジェスチャーが描かれて、前記ポインティングデバイスにより前記表示画面に設定された領域が複数指定された場合、指定された領域の番号を入力操作の順路情報として一時的に保存する工程と、図形、文字を含むジェスチャーに対して前記表示画面に領域を予め決められた順路で通過する領域の番号で保存されたジェスチャー順路規則と保存された入力操作の順路情報とを比較して一致する場合には入力操作の順路情報は前記表示画面に描かれたジェスチャーとして判定する工程とを備える。
〔第１１の実施の形態〕
ポインティングデバイスを介して表示画面に情報の入力操作を行うジェスチャー操作入力プログラムにおいて、前記表示画面に複数の領域を設定し、各領域に番号を付ける手順と、前記表示画面にジェスチャーが描かれて、前記ポインティングデバイスにより前記表示画面に設定された領域が複数指定された場合、指定された領域の番号を入力操作の順路情報として一時的に保存する手順と、図形、文字を含むジェスチャーに対して前記表示画面に領域を予め決められた順路で通過する領域の番号で保存されたジェスチャー順路規則と保存された入力操作の順路情報とを比較して一致する場合には入力操作の順路情報は前記表示画面に描かれたジェスチャーとして判定する手順とを備える。
〔第１２の実施の形態〕
ポインティングデバイスを介して表示画面に情報の入力操作を行う携帯デバイスにおいて、前記表示画面に複数の領域を設定し、各領域に番号を付ける領域設定部と、図形、文字を含むジェスチャーに対して前記表示画面に領域を予め決められた順路で通過する領域の番号で形成されるジェスチャー順路規則を保存するジェスチャー順路規則保存部と、前記表示画面にジェスチャーが描かれて、前記ポインティングデバイスにより前記表示画面に設定された領域が複数指定された場合、指定された領域の番号を入力操作の順路情報として一時的に保存する操作順路情報保存部と、前記操作順路情報保存部に保存されたジェスチャー順路規則と前記操作順路情報保存部に保存された入力操作の順路情報とを比較して一致する場合には入力操作の順路情報は前記表示画面に描かれたジェスチャーとして判定するジェスチャー判定部とを備える。
〔第１３の実施の形態〕
前記表示画面に「はい」又は「いいえ」の確認のダイアログが表示され、前記表示画面に丸図形が描かれた場合描かれた丸図形を判定し「はい」の確認とし、レ文字が描かれた場合描かれたレ文字を判定し「いいえ」の確認とする。
〔第１４の実施の形態〕
前記表示画面に「メール」、「電話帳」、「ブラウザ」、「ワンセグ」、「Ｊａｖａ（登録商標）］、「カメラ」を含むメニューが表示され、前記表示画面にＮ文字が描かれた場合描かれたＮ文字を判定しメール機能の起動と確認し、前記表示画面に逆レ文字が描かれた場合描かれた逆レ文字を判定し電話帳機能の起動と確認し、前記表示画面にｅ文字が描かれた場合描かれたｅ文字を判定しブラウザ機能の起動と確認し、前記表示画面にデクレッシェンド図形が描かれた場合描かれたデクレッシェンド図形を判定しワンセグ機能の起動と確認し、前記表示画面に丸図形が描かれた場合描かれた丸図形を判定しＪａｖａ（登録商標）機能の起動と確認し、さらに、前記表示画面にＺ図形が描かれた場合描かれたＺ図形を判定しカメラ機能の起動と確認する。
以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施形態及び実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
なお、この出願は、２００８年９月３日に出願された日本出願特願２００８−２２６４９２を基礎とする優先権を主張し、その開示の全てをここに取り込む。
以上、携帯デバイスへの適用について説明したが、携帯デバイスとして携帯電話機、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ：携帯情報端末）、ＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙ−ｐｈｏｎｅ Ｓｙｓｔｅｍ：簡易型携帯電話機）、ＤＥＣＴ（Ｄｉｇｉｔａｌ Ｅｎｈａｎｃｅｄ Ｃｏｒｄｌｅｓｓ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ：デジタルコードレス電話）、携帯型オーディオプレーヤー、携帯型ビデオプレーヤー、携帯型ゲーム機、電子辞書等への本発明の利用も可能である。
Claims (11)
- ポインティングデバイスを介して表示画面に情報の入力操作を行うジェスチャー操作入力装置において、
前記表示画面には、それぞれ識別情報が付された少なくとも２つの領域が設定され、
図形、文字を含むジェスチャーについて、入力操作の際に前記表示画面において通過する前記領域の順路を、各領域の前記識別情報によって定義したジェスチャー順路規則を保存するジェスチャー順路規則保存部と、
前記表示画面へのジェスチャーの入力に伴い、前記ポインティングデバイスにより前記表示画面内の前記領域が順次指定されたときに、指定された各領域の前記識別情報を入力操作の順路情報として、一時的に保存する操作順路情報保存部と、
前記ジェスチャー順路規則と前記入力操作の順路情報とを比較して、一致する場合には、前記表示画面に描かれたジェスチャーが前記ジェスチャー順路規則で定義されているジェスチャーであることを判定する、ジェスチャー判定部とを備えることを特徴とするジェスチャー操作入力装置。 - 前記ジェスチャー順路規則に対して、さらに入力操作ぶれで通過する領域の識別情報を追加し、
前記表示画面へのジェスチャーの入力の結果、前記操作順路情報保存部に保存された入力操作の順路情報に、前記入力操作ぶれで通過する領域の識別情報が含まれている場合には、前記ジェスチャー判定部は、当該入力操作ぶれ領域の識別情報を無視して、前記ジェスチャー順路規則と前記入力操作の順路情報とを比較することを特徴とする、請求項１に記載のジェスチャー操作入力装置。 - 前記ポインティングデバイスはタッチパネル又はマウスを含むことを特徴とする、請求項１に記載のジェスチャー操作入力装置。
- 前記領域設定部が設定する領域は３行３列のマトリックス上の領域を含むことを特徴とする、請求項１に記載のジェスチャー操作入力装置。
- 前記ジェスチャー順路規則保存部に保存されるジェスチャー順路規則は、丸図形、クレッシェンド図形、デクレッシェンド図形、レ文字、逆レ文字、Ｚ文字、Ｎ文字、ｅ文字のジェスチャー順路規則を含むことを特徴とする、請求項１に記載のジェスチャー操作入力装置。
- 前記ジェスチャー順路規則保存部に保存されるジェスチャー順路規則はインターネットを介して、登録、追加、変更されることを特徴とする、請求項２に記載のジェスチャー操作入力装置。
- ポインティングデバイスを介して表示画面に情報の入力操作を行うジェスチャー操作入力方法において、
前記表示画面には、それぞれ識別情報が付された少なくとも２つの領域を設定する工程と、
前記表示画面にジェスチャーの入力に伴い、前記ポインティングデバイスにより前記表示画面内の前記領域が順次指定されたときに、指定された各領域の前記識別情報を入力操作の順路情報として、一時的に保存する工程と、
図形、文字を含むジェスチャーについて、入力操作の際に前記表示画面において通過する前記領域の順路を、各領域の前記識別情報によって定義したジェスチャー順路規則と、前記入力操作の順路情報とを比較して、一致する場合には、前記表示画面に描かれたジェスチャーが前記ジェスチャー順路規則で定義されているジェスチャーであることを判定する工程とを備えることを特徴とするジェスチャー操作入力方法。 - ポインティングデバイスを介して表示画面に情報の入力操作を行うジェスチャー操作入力プログラムにおいて、
前記表示画面には、それぞれ識別情報が付された少なくとも２つの領域を設定する手順と、
前記表示画面にジェスチャーの入力に伴い、前記ポインティングデバイスにより前記表示画面内の前記領域が順次指定されたときに、指定された各領域の前記識別情報を入力操作の順路情報として、一時的に保存する手順と、
図形、文字を含むジェスチャーについて、入力操作の際に前記表示画面において通過する前記領域の順路を、各領域の前記識別情報によって定義したジェスチャー順路規則と、前記入力操作の順路情報とを比較して、一致する場合には、前記表示画面に描かれたジェスチャーが前記ジェスチャー順路規則で定義されているジェスチャーであることを判定する手順とを備えることを特徴とするジェスチャー操作入力プログラム。 - ポインティングデバイスを介して表示画面に情報の入力操作を行う携帯デバイスにおいて、
前記表示画面には、それぞれ識別情報が付された少なくとも２つの領域を設定し、
図形、文字を含むジェスチャーについて、入力操作の際に前記表示画面において通過する前記領域の順路を、各領域の前記識別情報によって定義したジェスチャー順路規則を保存するジェスチャー順路規則保存部と、
前記表示画面へのジェスチャーの入力に伴い、前記ポインティングデバイスにより前記表示画面内の前記領域が順次指定されたときに、指定された各領域の前記識別情報を入力操作の順路情報として、一時的に保存する操作順路情報保存部と、
前記ジェスチャー順路規則と前記入力操作の順路情報とを比較して、一致する場合には、前記表示画面に描かれたジェスチャーが前記ジェスチャー順路規則で定義されているジェスチャーであることを判定する、ジェスチャー判定部とを備えることを特徴とする携帯デバイス。 - 前記表示画面に少なくとも２つのダイアログボックスを表示し、前記ダイアログボックスにそれぞれ特定の図形を対応させ、前記表示画面に当該特定の図形が描かれた場合に、当該図形が描かれたことを判定し、対応する前記ダイアログボックスの選択と認定することを特徴とする、請求項９に記載の携帯デバイス。
- 前記表示画面に少なくとも２つのメニューアイコンを表示し、前記メニューアイコンにそれぞれ特定の図形を対応させ、前記表示画面に当該特定の図形が描かれた場合に、当該図形が描かれたことを判定し、対応する前記メニューアイコンの選択と認定することを特徴とする、請求項９に記載の携帯デバイス。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010527807A JP5494483B2 (ja) | 2008-09-03 | 2009-08-27 | ジェスチャー入力操作装置、方法、プログラム及び携帯デバイス |
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008226492 | 2008-09-03 | ||
| JP2008226492 | 2008-09-03 | ||
| PCT/JP2009/065378 WO2010027006A1 (ja) | 2008-09-03 | 2009-08-27 | ジェスチャー入力操作装置、方法、プログラム及び携帯デバイス |
| JP2010527807A JP5494483B2 (ja) | 2008-09-03 | 2009-08-27 | ジェスチャー入力操作装置、方法、プログラム及び携帯デバイス |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2010027006A1 true JPWO2010027006A1 (ja) | 2012-02-02 |
| JP5494483B2 JP5494483B2 (ja) | 2014-05-14 |
Family
ID=41797172
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010527807A Expired - Fee Related JP5494483B2 (ja) | 2008-09-03 | 2009-08-27 | ジェスチャー入力操作装置、方法、プログラム及び携帯デバイス |
Country Status (5)
| Country | Link |
|---|---|
| US (2) | US20110141050A1 (ja) |
| EP (1) | EP2323019A4 (ja) |
| JP (1) | JP5494483B2 (ja) |
| CN (1) | CN102144206B (ja) |
| WO (1) | WO2010027006A1 (ja) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102236440B (zh) * | 2010-04-22 | 2013-12-18 | 联芯科技有限公司 | 密码输入方法以及使用该方法的移动终端 |
| US8635555B2 (en) * | 2010-06-08 | 2014-01-21 | Adobe Systems Incorporated | Jump, checkmark, and strikethrough gestures |
| US20130088437A1 (en) * | 2010-06-14 | 2013-04-11 | Sony Computer Entertainment Inc. | Terminal device |
| JP5570881B2 (ja) * | 2010-06-14 | 2014-08-13 | 株式会社ソニー・コンピュータエンタテインメント | 端末装置 |
| JP5460890B2 (ja) * | 2011-01-25 | 2014-04-02 | 三菱電機株式会社 | 入力操作装置 |
| JP5756730B2 (ja) * | 2011-10-05 | 2015-07-29 | 日本電信電話株式会社 | 情報入力装置及びそのプログラム |
| KR102101818B1 (ko) * | 2012-07-30 | 2020-04-17 | 삼성전자주식회사 | 단말기의 데이터전송 제어장치 및 방법 |
| KR102084041B1 (ko) | 2012-08-24 | 2020-03-04 | 삼성전자 주식회사 | 펜 기능 운용 방법 및 시스템 |
| JP2014088730A (ja) * | 2012-10-31 | 2014-05-15 | Mitsubishi Electric Corp | 携帯通信機およびドア制御装置 |
| CN103076976A (zh) | 2013-01-07 | 2013-05-01 | 华为终端有限公司 | 添加应用图标的方法、移除应用图标的方法和装置 |
| JP6195893B2 (ja) * | 2013-02-19 | 2017-09-13 | ミラマ サービス インク | 形状認識装置、形状認識プログラム、および形状認識方法 |
| JP5862587B2 (ja) * | 2013-03-25 | 2016-02-16 | コニカミノルタ株式会社 | ジェスチャ判別装置、ジェスチャ判別方法、およびコンピュータプログラム |
| KR102169521B1 (ko) * | 2013-05-14 | 2020-10-23 | 삼성전자 주식회사 | 입력장치, 디스플레이장치 및 그 제어방법 |
| CN105335038B (zh) * | 2014-07-30 | 2019-05-07 | 联想企业解决方案(新加坡)有限公司 | 一种提示触摸输入操作的方法和系统 |
| DE102014013763A1 (de) | 2014-09-05 | 2016-03-10 | Daimler Ag | Bedienvorrichtung und Verfahren zum Bedienen von Funktionen eines Fahrzeugs, insbesondere eines Kraftwagens |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060284839A1 (en) * | 1999-12-15 | 2006-12-21 | Automotive Technologies International, Inc. | Vehicular Steering Wheel with Input Device |
| JPH1185398A (ja) * | 1997-09-11 | 1999-03-30 | Kenwood Corp | タッチパネルディスプレー用コマンド入力装置 |
| US6057845A (en) * | 1997-11-14 | 2000-05-02 | Sensiva, Inc. | System, method, and apparatus for generation and recognizing universal commands |
| JPH11184816A (ja) * | 1997-12-22 | 1999-07-09 | Casio Comput Co Ltd | 端末装置及び記憶媒体 |
| JP2002082734A (ja) * | 2000-09-06 | 2002-03-22 | Sony Corp | 情報処理装置、情報処理方法、並びにプログラム格納媒体 |
| US7623119B2 (en) * | 2004-04-21 | 2009-11-24 | Nokia Corporation | Graphical functions by gestures |
| GB2431500B (en) * | 2004-06-18 | 2009-03-25 | Microth Inc | Stroke-based data entry device, system, and method |
| JP2006172006A (ja) * | 2004-12-14 | 2006-06-29 | Sanyo Electric Co Ltd | 電子機器 |
| JP2007145106A (ja) | 2005-11-25 | 2007-06-14 | Xanavi Informatics Corp | 車載情報端末 |
| US20080074384A1 (en) * | 2006-09-22 | 2008-03-27 | Research In Motion Limited | System and method for adjusting icons, text and images on an electronic device |
| CN101231567A (zh) * | 2007-01-24 | 2008-07-30 | 北京三星通信技术研究有限公司 | 基于手写识别的人机交互方法和系统及运行该系统的设备 |
| JP2008226492A (ja) | 2007-03-08 | 2008-09-25 | Hitachi Displays Ltd | 蛍光ランプ及びそれを用いた画像表示装置 |
-
2009
- 2009-08-27 JP JP2010527807A patent/JP5494483B2/ja not_active Expired - Fee Related
- 2009-08-27 US US13/057,845 patent/US20110141050A1/en not_active Abandoned
- 2009-08-27 WO PCT/JP2009/065378 patent/WO2010027006A1/ja active Application Filing
- 2009-08-27 EP EP09811531.4A patent/EP2323019A4/en not_active Withdrawn
- 2009-08-27 CN CN2009801344969A patent/CN102144206B/zh not_active Expired - Fee Related
-
2014
- 2014-06-06 US US14/298,463 patent/US20140285459A1/en not_active Abandoned
Also Published As
| Publication number | Publication date |
|---|---|
| US20140285459A1 (en) | 2014-09-25 |
| CN102144206A (zh) | 2011-08-03 |
| WO2010027006A1 (ja) | 2010-03-11 |
| CN102144206B (zh) | 2013-12-04 |
| JP5494483B2 (ja) | 2014-05-14 |
| EP2323019A1 (en) | 2011-05-18 |
| US20110141050A1 (en) | 2011-06-16 |
| EP2323019A4 (en) | 2014-04-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5494483B2 (ja) | ジェスチャー入力操作装置、方法、プログラム及び携帯デバイス | |
| JP5522167B2 (ja) | 電子機器、ジェスチャー処理方法、及びジェスチャー処理プログラム | |
| US9535600B2 (en) | Touch-sensitive device and touch-based folder control method thereof | |
| US9690474B2 (en) | User interface, device and method for providing an improved text input | |
| JP5204305B2 (ja) | 携帯用端末機におけるパターン認識を用いたユーザインターフェース装置及び方法 | |
| US8576230B2 (en) | Graph display apparatus, recording medium on which program is recorded, and graph display method | |
| JP3797977B2 (ja) | 文字入力装置、文字入力方法及び文字入力プログラム | |
| US9256363B2 (en) | Information processing device and character input method | |
| KR20140042270A (ko) | 애플리케이션을 실행하기 위한 방법 및 그 전자 장치 | |
| US9870144B2 (en) | Graph display apparatus, graph display method and storage medium | |
| KR20140036576A (ko) | 카테고리 디스플레이를 위한 방법 및 그 방법을 처리하는 전자 장치 | |
| US20150169180A1 (en) | Rearranging icons on a display by shaking | |
| EP2738658A2 (en) | Terminal and method for operating the same | |
| JP2014241030A (ja) | グラフ表示装置およびプログラムおよびサーバ装置 | |
| JP6043221B2 (ja) | 情報端末、操作領域制御方法及び操作領域制御プログラム | |
| JP2012174247A (ja) | 携帯電子機器、接触操作制御方法および接触操作制御プログラム | |
| JP5667632B2 (ja) | 電子機器及びその制御方法 | |
| JP5758277B2 (ja) | 携帯型電子機器 | |
| JPH0594253A (ja) | 画面タツチ型キー入力装置 | |
| KR100913002B1 (ko) | 터치 스크린 또는 터치 패드를 이용한 한글모음 입력장치 및 방법 | |
| KR101439552B1 (ko) | 터치 스크린을 이용한 휴대 단말기의 동작 제어 방법 및 그휴대 단말기 | |
| JP4226307B2 (ja) | 情報入力装置及びプログラム | |
| JP5692317B2 (ja) | 計算装置及び計算プログラム | |
| JP6032982B2 (ja) | 入力支援装置、入力支援方法、入力支援プログラム及び記録媒体 | |
| US20160026334A1 (en) | Method and apparatus for displaying screen in device having touch screen |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120717 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130806 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131001 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140204 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140217 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5494483 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |