JP5862994B2 - Information processing apparatus and method, program, and recording medium - Google Patents
Information processing apparatus and method, program, and recording medium Download PDFInfo
- Publication number
- JP5862994B2 JP5862994B2 JP2015186603A JP2015186603A JP5862994B2 JP 5862994 B2 JP5862994 B2 JP 5862994B2 JP 2015186603 A JP2015186603 A JP 2015186603A JP 2015186603 A JP2015186603 A JP 2015186603A JP 5862994 B2 JP5862994 B2 JP 5862994B2
- Authority
- JP
- Japan
- Prior art keywords
- gesture
- input
- information processing
- unit
- processing apparatus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
本技術は、情報処理装置および方法、プログラム、並びに記録媒体に関し、特に、ジェスチャを確実に入力することができるようにした情報処理装置および方法、プログラム、並びに記録媒体に関する。 The present technology relates to an information processing device and method, a program, and a recording medium, and more particularly, to an information processing device and method, a program, and a recording medium that can reliably input a gesture.
タッチパネルを搭載するスマートフォンやタブレット端末等の情報処理端末の普及に伴い、ジェスチャによる操作が可能なインタフェースが増えている。ユーザがジェスチャ入力を行った場合、情報処理端末はジェスチャを認識し、認識したジェスチャに関連付けられた処理を実行する。 With the spread of information processing terminals such as smartphones and tablet terminals equipped with touch panels, interfaces that can be operated by gestures are increasing. When the user performs gesture input, the information processing terminal recognizes the gesture and executes a process associated with the recognized gesture.
ジェスチャの入力には様々な種類があるため、ユーザに対して、入力可能なジェスチャを案内するメニューを表示する情報処理端末もある(例えば、特許文献1参照)。 Since there are various types of gesture input, there is also an information processing terminal that displays a menu for guiding a user to input gestures (see, for example, Patent Document 1).
しかしながら、情報処理端末には様々な情報が同時に表示されている。このため、ユーザは、誤った位置でジェスチャを入力してしまうことがある。この場合、正しいジェスチャを入力しても、その入力が受け付けられないので、ユーザは装置が故障したと誤認してしまう恐れがある。 However, various information is simultaneously displayed on the information processing terminal. For this reason, the user may input a gesture at an incorrect position. In this case, even if a correct gesture is input, the input is not accepted, so that the user may misunderstand that the device has failed.
本技術はこのような状況に鑑みてなされたものであり、ジェスチャを確実に入力をすることができるようにするものである。 This technique is made in view of such a situation, and makes it possible to input a gesture with certainty.
本技術の一側面の情報処理装置は、ジェスチャの入力を受け付ける入力部と、前記入力部に入力された前記ジェスチャを認識する認識部と、第一のジェスチャによる第一の入力処理が不可能な領域で、前記第一のジェスチャが所定の回数入力された場合、入力された画面における第二のジェスチャによる前記第一の入力処理が可能な領域と、前記第二のジェスチャを解説する情報とを関連付けて表示する表示制御部とを備える。 An information processing apparatus according to an aspect of the present technology is incapable of performing a first input process using a first gesture, an input unit that receives a gesture input, a recognition unit that recognizes the gesture input to the input unit, and the first gesture. In the area, when the first gesture is input a predetermined number of times, an area where the first input process by the second gesture on the input screen is possible and information explaining the second gesture And a display control unit for displaying in association .
前記第二のジェスチャは、前記第一のジェスチャとは異なるものとすることができる。 The second gesture may be different from the first gesture .
前記第一のジェスチャは、タップ操作とすることができる。
前記第一のジェスチャは、タップ操作とすることができる。
前記第二のジェスチャは、画面上で任意の方向に指を動かす操作とすることができる。
The first gesture may be a tap operation .
The first gesture may be a tap operation.
The second gesture can be an operation of moving a finger in an arbitrary direction on the screen.
前記第二のジェスチャは、画面上で任意の方向に指を動かす操作とすることができる。 The second gesture can be an operation of moving a finger in an arbitrary direction on the screen .
前記第二のジェスチャを解説する情報には、テキスト情報を含ませるようにすることができる。 The information describing the second gesture can include text information .
前記第二のジェスチャを解説する情報は、第二のジェスチャの種類と、前記第一の入力処理に関する情報とを含ませるようにすることができる。
前記第二のジェスチャによる第一の入力処理が可能な領域は、色付けされて表示されるようにすることができる。
表示情報を表示する表示部をさらに含ませるようにすることができる。
情報を通信する通信部をさらに含ませるようにすることができ、前記表示部には、前記通信部により受信されたwebページを表示させるようにすることができる。
前記表示部の上面にタッチパネルをさらに含ませるようにすることができる。
The information describing the second gesture can include the type of the second gesture and information related to the first input process .
The area where the first input process by the second gesture can be performed can be colored and displayed.
A display unit for displaying the display information can be further included.
A communication unit that communicates information can be further included, and the display unit can display a web page received by the communication unit.
A touch panel may be further included on the upper surface of the display unit.
本技術の一側面である情報処理端末の情報処理方法、プログラムおよびプログラム記録媒体のそれぞれは、上述した本技術の情報処理装置に対応する方法とプログラムおよびプログラム記録媒体のそれぞれである。 Each of the information processing method, program, and program recording medium of the information processing terminal that is one aspect of the present technology is a method, a program, and a program recording medium corresponding to the information processing device of the present technology described above.
本技術の一側面においては、ジェスチャの入力が受け付けられ、入力された前記ジェスチャが認識され、第一のジェスチャによる第一の入力処理が不可能な領域で、前記第一のジェスチャが所定の回数入力された場合、入力された画面における第二のジェスチャによる前記第一の入力処理が可能な領域と、前記第二のジェスチャを解説する情報とが関連付けて表示される。 In one aspect of the present technology, an input of a gesture is received, the input gesture is recognized , and the first gesture is performed a predetermined number of times in a region where the first input process by the first gesture is impossible. When input, an area where the first input process by the second gesture on the input screen is possible and information explaining the second gesture are displayed in association with each other .
本技術によれば、ジェスチャを確実に入力することができるようにする。 According to the present technology, it is possible to reliably input a gesture.
以下、本技術の実施の形態について説明する。説明は以下の順序で行う。
1.第1の実施の形態(ジェスチャ入力補正機能)
2.第2の実施の形態(入力可能領域表示機能)
Hereinafter, embodiments of the present technology will be described. The description will be made in the following order.
1. First embodiment (gesture input correction function)
2. Second embodiment (inputable area display function)
<第1の実施の形態>
ユーザが入力したジェスチャが認識可能でない場合に、選択肢を示してジェスチャを補正する機能である、ジェスチャ入力補正機能について説明する。
<First Embodiment>
A gesture input correction function, which is a function for correcting gestures by showing options when a user's input gesture is not recognizable, will be described.
[情報処理端末の外観]
図1は、本技術の一実施形態に係る情報処理端末の外観の例を示す図である。
[Appearance of information processing terminal]
FIG. 1 is a diagram illustrating an example of an appearance of an information processing terminal according to an embodiment of the present technology.
図1の情報処理端末1は、スマートフォン、携帯電話機、PDA(Personal Digital Assistants)、PND(Portable Navigation Device)などの携帯型の端末であり、ユーザが片手で持ち運ぶことが可能な大きさの筐体を有している。
The
情報処理端末1の筐体の前面にはLCD(Liquid Crystal Display)などよりなる表示部11が設けられる。表示部11の上面にはタッチパネル25が設けられており、ユーザは、表示部11に表示された情報に対応する位置のタッチパネル25を指などで直接操作することができるようになされている。表示部11の下には複数のボタンからなる操作部12が設けられる。
A
[情報処理端末の構成例]
図2は、情報処理端末1の電気的構成例を示すブロック図である。
[Configuration example of information processing terminal]
FIG. 2 is a block diagram illustrating an electrical configuration example of the
情報処理端末1は、コントローラ21に対して、表示部11と操作部12の他に、センサ部22、カメラ23、通信部24、タッチパネル25、および記憶部26が接続されることによって構成される。
The
コントローラ21は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)(図示せず)などより構成される。コントローラ21のCPUは、ROMからプログラムをロードしてRAMを用いて実行し、情報処理端末1の全体の動作を制御する。
The
センサ部22はジャイロセンサなどよりなり、情報処理端末1に生じた揺れを検出する。センサ部22は、検出した揺れの情報をコントローラ21に出力する。
The sensor unit 22 is composed of a gyro sensor or the like, and detects shaking generated in the
カメラ23は、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサなどの撮像素子を有し、情報処理端末1の筐体の正面側に設けられたレンズ(図示せず)により取り込まれた光の光電変換を行い、画像データを生成する。カメラ23により撮影された画像は、コントローラ21に供給される。
The camera 23 has an image sensor such as a CMOS (Complementary Metal Oxide Semiconductor) image sensor, and performs photoelectric conversion of light taken in by a lens (not shown) provided on the front side of the casing of the
通信部24は、LAN(Local Area Network)やインターネットなどのネットワーク上の機器と通信を行う。例えば、通信部24により受信されたWebページなどの情報が表示部11に表示される。
The communication unit 24 communicates with devices on a network such as a LAN (Local Area Network) or the Internet. For example, information such as a web page received by the communication unit 24 is displayed on the
表示部11の上面には透明なタッチパネル25が設けられており、ユーザの指等の操作を検出する。記憶部26は、不揮発性メモリ、ハードディスクなどにより構成され、コントローラ21が実行するプログラム、データ等を記憶する。
A transparent touch panel 25 is provided on the upper surface of the
図3は、コントローラ21の機能的構成例を示すブロック図である。図3に示す機能部のうちの少なくとも一部は、図2のコントローラ21により所定のプログラムが実行されることによって実現される。
FIG. 3 is a block diagram illustrating a functional configuration example of the
図3において、コントローラ21は、ジェスチャ認識部31、認識結果補正部32、補正情報保存部33、軌跡表示部34、および補正候補生成部35を含むように構成されている。
In FIG. 3, the
ジェスチャ認識部31は、ユーザが指でタッチパネル25をなぞる等して入力したジェスチャを検出する。ジェスチャには、上述したなぞる操作の他にも、複数の操作が存在する。例えば、ジェスチャには、ユーザが軽く1度、タッチパネル25に触れるタップ操作、ユーザが軽く2度、タッチパネル25に触れるダブルタップ操作がある。また例えば、ユーザがタッチパネル25を任意の方向に指41(後述する図4参照)ではらうフリック操作等がある。さらに、ジェスチャには、ユーザの指41がタッチパネル25上で円や三角形等の図形を描く操作等がある。
The
また、ジェスチャ認識部31は、検出したジェスチャが、情報処理端末1が実行する処理のうち、どの処理に関連付けられたジェスチャであるかを認識する。即ち、ジェスチャ認識部31は、検出したジェスチャに関連付けられた処理がない場合、そのジェスチャを、認識できないジェスチャと判定する。
In addition, the
さらに、ジェスチャ認識部31は、認識したジェスチャに関連付けられた処理を実行する。
Furthermore, the
認識結果補正部32は、ジェスチャ認識部31が認識できなかったジェスチャに対して、ユーザに補正を促す処理を行う。具体的には例えば、ユーザがジェスチャを入力した画面で認識可能なジェスチャや、ユーザが入力したジェスチャに近い他のジェスチャを、選択肢として表示部11に表示する。また例えば、認識結果補正部32は、表示部11の画像に対応してユーザがジェスチャを入力した領域が、そのジェスチャを認識できない領域であった場合、ジェスチャの入力が可能な領域を表示する。
The recognition
補正情報保存部33は、認識できないジェスチャをユーザが入力した場合、認識できないジェスチャと、ユーザにより選択されたジェスチャとを関連付けて、補正情報として保存する。補正情報保存部33は、認識できないジェスチャが検出されるたびに、補正情報を繰り返し保存する。補正情報保存部33に蓄積された補正情報に基づき、ジェスチャ認識部31は、ユーザのジェスチャを学習する。また、補正情報保存部33は、表示部11に表示中のアプリケーションを特定するID(Identification)および画面を特定するIDを、ジェスチャに対応付けて保存する。
When the user inputs an unrecognizable gesture, the correction information storage unit 33 associates the unrecognizable gesture with the gesture selected by the user and stores it as correction information. The correction information storage unit 33 repeatedly stores correction information every time an unrecognizable gesture is detected. Based on the correction information accumulated in the correction information storage unit 33, the
軌跡表示部34は、ジェスチャ認識部31により認識されたジェスチャの軌跡を、表示部11に表示する。また、軌跡表示部34は、ジェスチャの軌跡を所定のサイズに縮小するアニメーションを作成し、所定のサイズになったジェスチャを、縮小軌跡として、表示部11に表示する。縮小軌跡については、図7を参照して後述する。
The
補正候補生成部35は、補正情報保存部33に保存されている、表示部11に表示中のアプリケーションを特定するIDおよび画面を特定するIDを参照して、ユーザがジェスチャ入力した画面で認識可能なジェスチャや、認識できないジェスチャに近いジェスチャの候補を、選択肢として生成する。また、補正候補生成部35は、補正情報保存部33に保存されている、表示部11に表示中のアプリケーションを特定するIDおよび画面を特定するIDを参照して、表示部11に表示されている画像のうち、ジェスチャの入力が可能な領域を検出する。
The correction
図4は、表示部11の表示例を示す図である。上述したように、表示部11の上面には透明なタッチパネル25が設けられており、ユーザは、表示部11に表示された情報を、タッチパネル25を介して視認し、指41などで直接操作する。
FIG. 4 is a diagram illustrating a display example of the
ユーザの指41は、タッチパネル25にジェスチャを入力する。ユーザは、指41をタッチパネル25に接触させ、タッチパネル25上で各種の動作をすることにより、ジェスチャを入力する。なお、以下においては、説明を簡単にするため、必要に応じて、表示部11にジェスチャを入力するとも記述する。
The user's
表示領域51乃至54は、表示部11に表示されたウインドウである。表示領域51乃至54には、コンテンツやアプリケーションに対応した画像が表示される。
The
スクロールバー55は、表示部11に表示されている画像を、右または左に移動させることができる。即ち、ユーザはスクロールバー55上を、横方向にフリックすることで、表示部11に表示させている画像を左右に移動させることができる。
The
図5は、ジェスチャ入力の一例を示す図である。ユーザが、指41を表示部11上で星を描くようなジェスチャ(以下、ジェスチャ(星)と称する)の入力を行うと、ジェスチャ認識部31は、指41によるジェスチャを、ジェスチャ(星)であると認識する。また、ジェスチャ認識部31に認識された指41の軌跡が、軌跡表示部34によりジェスチャ軌跡61として、表示部11の指41でジェスチャを入力した位置に表示される。ジェスチャ認識部31は、入力されたジェスチャ(星)に関連付けられた処理(例えば、「オプションメニューを開く」など)を実行する。
FIG. 5 is a diagram illustrating an example of gesture input. When the user inputs a gesture that draws a star on the
[情報処理端末の動作]
図6は、ジェスチャ入力処理について説明するフローチャートである。ジェスチャ入力処理は、ユーザが表示部11にジェスチャを入力した場合に、コントローラ21が実行する処理である。
[Operation of information processing terminal]
FIG. 6 is a flowchart for describing gesture input processing. The gesture input process is a process executed by the
また、図7乃至図10は、ジェスチャ入力処理実行時の表示例を示す図である。以下、図7乃至図10を参照して、図6のフローチャートの処理について説明する。 FIGS. 7 to 10 are diagrams showing display examples when the gesture input process is executed. The processing of the flowchart of FIG. 6 will be described below with reference to FIGS.
ステップS1において、ジェスチャ認識部31は、ジェスチャを検出する。具体的には、図7において、ジェスチャ認識部31は、表示部11に対して、指41により入力されたジェスチャを検出する。つまり、ジェスチャの軌跡が検出される。
In step S1, the
ステップS2において、軌跡表示部34は、ステップS1でジェスチャ認識部31により検出されたジェスチャ軌跡を表示部11に表示する。例えば、図7に示されるように、軌跡表示部34により、星の形状のジェスチャ軌跡62が表示部11に表示される。
In step S <b> 2, the
ステップS3において、ジェスチャ認識部31は、検出された軌跡が認識可能なジェスチャであるか判定する。検出されたジェスチャが認識可能なジェスチャではない場合、ステップS3においてNOと判定され、処理はステップS5に進む。例えば、図7において、ジェスチャ軌跡62はジェスチャ(星)のように見える。しかしながら、図5に示されたジェスチャ軌跡61に比べると、ジェスチャ軌跡62は、左方向に傾いている。このため、ジェスチャ認識部31は、ジェスチャ軌跡62をジェスチャ(星)であると認識できない。
In step S <b> 3, the
この場合、ステップS5において、軌跡表示部34は、縮小軌跡71を表示する。即ち、図7に示されるように、軌跡表示部34は、ジェスチャ軌跡62が左下方向に徐々に縮小されながら移動するアニメーションを表示する。そして、軌跡表示部34は、図8に示されるように、縮小軌跡71を左下にアイコンとして表示する。
In this case, the
このようにして、縮小軌跡71が表示されることにより、ユーザは自分が行ったジェスチャがジェスチャ認識部31により認識されなかった(リジェクトされた)ことを知ることができる。
Thus, by displaying the reduced
次に、ステップS6において、認識結果補正部32は、縮小軌跡71がタップされたかを判定する。即ち、ユーザは縮小軌跡71が表示されたことから、入力したジェスチャが認識されなかったことを知った場合、入力支援を求めるのであれば、縮小軌跡71をタップする。そこで、図9に示されるように、ユーザが指41で縮小軌跡71をタップしたかが判定される。
Next, in step S6, the recognition
指41により縮小軌跡71がタップされた場合、ステップS6においてYESであると判定されて、処理はステップS7に進む。ステップS7において、認識結果補正部32は、認識補正メニュー81を表示する。即ち、認識結果補正部32は、補正候補生成部35により生成された認識補正メニュー81を表示部11に表示する。認識補正メニュー81は、今ユーザがジェスチャを入力した画面(今の場合、図9の画面)で認識可能なジェスチャを、ユーザが入力したジェスチャに近いと思われる順に、選択肢としてユーザに提示するメニューである。補正候補生成部35は、ジェスチャ認識部31によりジェスチャが認識できなかったとき、入力可能なジェスチャの中から、入力された軌跡に近いジェスチャを選択し、認識補正メニュー81を生成する。
When the reduced
具体的には、図10に示されるように、指41により軌跡71がタップされると、認識補正メニュー81が表示部11に表示される。認識補正メニュー81には、ユーザが入力したジェスチャ軌跡62と、この画面において認識可能なジェスチャの候補として選択肢91乃至93のアイコンが表示されている。例えば、選択肢91にはジェスチャ(星)と、ジェスチャ(星)が関連付けられた処理の解説として、「オプションメニューを開く」の文章が表示されている。また、選択肢92には、指41で三角を描くようなジェスチャ(以下、ジェスチャ(三角)と称する)と、ジェスチャ(三角)が関連付けられた処理の解説として、「新しいウインドウを開く」の文章が表示されている。さらに、選択肢93には、指41でアルファベット文字Wを描くようなジェスチャ(以下、ジェスチャ(W)と称する)と、ジェスチャ(W)が関連付けられた処理の解説として、「ウインドウを閉じる」の文章が表示されている。
Specifically, as shown in FIG. 10, when the
これらの選択肢91乃至93が表示されることにより、ユーザは、自分がどのジェスチャを入力したつもりであったのかを確認することができる。そして、ユーザは何れかの選択肢、つまり、実際に入力したかったジェスチャに対応する選択肢を選択する。 By displaying these options 91 to 93, the user can confirm which gesture he / she intended to input. Then, the user selects one of the options, that is, the option corresponding to the gesture that the user actually wanted to input.
ステップS8において、認識結果補正部32は、選択された選択肢を検出する。即ち、図10に示された選択肢91乃至93のうち、指41によりタップされた選択肢が検出される。
In step S8, the recognition
ステップS9において、ジェスチャ認識部31は、ステップS8で選択されたジェスチャが関連付けられた処理を実行する。即ち、図10に示された選択肢91乃至93のうち、例えば選択肢91が指41によりタップされた場合、ジェスチャ認識部31は、「オプションメニューを開く」という処理を実行する。
In step S9, the
ステップS10において、認識結果補正部32は、補正情報を保存する。即ち、補正情報保存部33は、検出されたジェスチャの軌跡であるジェスチャ軌跡62と、選択された選択肢91のジェスチャ(星)を関連付けて、補正情報として保存する。このようにして、ジェスチャ入力処理は終了される。補正情報は、認識できないジェスチャが検出されるたびに補正情報保存部33に繰り返し保存される。ジェスチャ認識部31は、蓄積された補正情報を参照することで、ユーザのジェスチャを学習する。これにより、以後、例えば左方向に傾斜しているジェスチャ(星)が検出された場合、そのジェスチャはジェスチャ(星)として認識されるようになる。
In step S10, the recognition
一方、ステップS6においてNOであると判定された場合、即ち、縮小軌跡71がタップされない場合、処理はステップS11に進む。
On the other hand, if it is determined as NO in step S6, that is, if the reduced
ステップS11において、認識結果補正部32は、一定時間が経過したかを判定する。まだ一定時間が経過していない場合、ステップS11においてNOであると判定されて、処理はステップS6に戻る。即ち、一定時間が経過するか、縮小軌跡がタップされるまで、ステップS6およびステップS11の処理が繰り返される。
In step S11, the recognition
それに対して、ステップS11において、一定時間が経過したと判定された場合、処理はステップS12に進む。 On the other hand, if it is determined in step S11 that a certain time has elapsed, the process proceeds to step S12.
ステップS12において、認識結果補正部32は、縮小軌跡71を消去する。即ち、一定時間経過しても縮小軌跡71がタップされないので、縮小軌跡71はユーザにとって不要な情報であると判断して、認識結果補正部32は縮小軌跡71を消去する。
In step S12, the recognition
以上、ステップS3においてNOと判定された場合の処理について説明した。これに対して、ステップS3においてYESと判定された場合、即ち、検出したジェスチャが認識可能なジェスチャである場合には、処理はステップS4に進む。ステップS4において、ジェスチャ認識部31は、ジェスチャが関連付けられた処理を実行する。つまり、ステップS3においてYESと判定された場合には、ジェスチャを補正する必要がないので、ステップS5乃至S12の処理は実行されない。
The process when it is determined NO in step S3 has been described above. On the other hand, if YES is determined in step S3, that is, if the detected gesture is a recognizable gesture, the process proceeds to step S4. In step S4, the
このようにして、ジェスチャ入力処理を実行することで、ユーザは自分の行ったジェスチャがリジェクトされたことを知ることができる。また、ユーザは、ジェスチャの候補が選択肢として表示されることで、自分の行ったジェスチャを補正し、意図するジェスチャを正しく入力した場合と同じ処理を実行させることができる。 In this way, by executing the gesture input process, the user can know that the gesture he / she made has been rejected. Moreover, the user can correct the gesture performed by displaying the gesture candidate as an option, and can execute the same processing as when the intended gesture is correctly input.
また、軌跡表示部34により入力したジェスチャの軌跡が表示されることで、ユーザは、例えば表示部11が汚れているのでジェスチャが認識されないなど、ジェスチャがリジェクトされる原因を推察することができる。具体的には例えば、指41でなぞった線が、ジェスチャ軌跡においては途中で途切れていた場合、ユーザは、ジェスチャ軌跡が途切れた部分は表示部11が汚れているため認識できないと推察することができる。これにより、ユーザは表示部11を清掃するなどして、正しいジェスチャ入力が認識されるようにすることができる。
In addition, by displaying the gesture trajectory input by the
なお、ジェスチャ認識部31がジェスチャを認識できなかった場合、軌跡表示部34が縮小軌跡71を表示すると同時に、コントローラ21は、音を鳴らしたり、情報処理端末1を振動させたりしてもよい。
When the
縮小軌跡71は、一定時間ユーザによりタップされなければ消去するようにしたが、以下のような構成にすることもできる。即ち、異なる種類のジェスチャがリジェクトされるたびに、新たな縮小軌跡71が追加表示され、縮小軌跡71の表示数が上限(例えば、3個など)を超えたら、入力の古いものから順に消去するようにしてもよい。
The reduced
さらに、縮小軌跡71は図7の表示例に限定されない。例えば、軌跡表示部34は、縮小軌跡71がふわふわと浮いているようなアニメーションを形成してもよい。元の表示とは明らかに違うような印象を出すことが好ましい。これにより、認識結果補正部32は、ユーザに対して、入力したジェスチャの補正を、より効果的に促すことができる。
Further, the reduced
また、アプリケーションにより入力するジェスチャが異なる場合でも、ジェスチャとジェスチャに対応付けられた処理が認識補正メニュー81に表示されるので、ユーザは入力したジェスチャの補正を容易に実行することができる。
In addition, even when the input gesture is different depending on the application, the gesture and the process associated with the gesture are displayed on the
さらに、認識補正メニュー81には、「新規設定」等の選択肢を設けてもよい。「新規設定」を選択することで、ユーザは入力したジェスチャ(例えば、ジェスチャ軌跡62)に対応する新たなメニューを設定することもできる。つまり、ユーザはジェスチャ入力として登録されていない新たなジェスチャを、ジェスチャ認識部31に登録することができる。
Further, the
<第2の実施の形態>
第1の実施の形態においては、選択肢を提示してユーザのジェスチャ入力を支援するようにしたが、入力可能領域を提示して、ユーザのジェスチャ入力を支援することも可能である。例えば、ユーザが、表示部11において、ジェスチャ入力できない領域や、ユーザが入力したジェスチャが対応していない領域でジェスチャを行った場合に、ジェスチャ入力可能な領域を表示する機能である、入力可能領域表示機能について次に説明する。
<Second Embodiment>
In the first embodiment, options are presented to support user gesture input. However, it is also possible to present an input-enabled area to support user gesture input. For example, when the user performs a gesture on the
なお、情報処理端末1の構成は、図1乃至図3を参照して説明したものと同様である。
The configuration of the
[情報処理端末の動作]
図11は、入力可能領域表示処理について説明するフローチャートである。入力可能領域表示処理とは、上述した入力可能領域表示機能を実現するために、コントローラ21が実行する処理である。
[Operation of information processing terminal]
FIG. 11 is a flowchart illustrating the inputable area display process. The inputable area display process is a process executed by the
また、図12乃至図15は、入力可能領域表示処理実行時の表示例を示す図である。以下、図4および図12乃至図15を参照して、図11のフローチャートの処理について説明する。 12 to 15 are diagrams showing display examples when the inputable area display process is executed. The processing of the flowchart of FIG. 11 will be described below with reference to FIG. 4 and FIGS. 12 to 15.
ステップS31において、ジェスチャ認識部31は、ジェスチャを検出する。具体的には、図4において、ジェスチャ認識部31は、表示部11に対し、指41によりジェスチャが入力されたことを検出する。
In step S31, the
ステップS32において、ジェスチャ認識部31は、認識可能なジェスチャであるかを判定する。検出されたジェスチャが認識可能なジェスチャでない場合、ステップS32においてNOと判定されて、処理はステップS33に進む。具体的には例えば、タップ入力に関連付けられた処理が存在しない領域で、指41によりタップ入力が行われた場合に、ステップS32においてNOと判定される。
In step S32, the
ステップS33において、認識結果補正部32は、認識不能なジェスチャの入力回数をカウントする。例えば、上述したタップ入力に関連付けられた処理が存在しない領域で、指41によりタップ入力が行われた回数がカウントされる。
In step S33, the recognition
ステップS34において、認識結果補正部32は、認識不能なジェスチャがN回連続でカウントされたかを判定する。なお、Nは任意の整数である。ステップS34においてNOと判定された場合、即ち、認識不能なジェスチャがまだN回連続で検出されていない場合は、処理はステップS31に戻る。換言すると、認識不能なジェスチャがN回連続で検出されるまでは、認識可能なジェスチャを検出しない限り(ステップS32の処理)、ステップS31乃至S34の処理が繰り返される。認識不能なジェスチャがN回連続で検出された場合、ステップS34においてYESと判定されて、処理はステップS35に進む。
In step S34, the recognition
ステップS35において、認識結果補正部32は、ジェスチャ入力可能領域121乃至124を表示する。即ち、補正候補生成部35は各画面毎に所定の時点においてジェスチャを入力することができるジェスチャ入力可能領域を検出している。図12の例においては、ジェスチャ入力可能領域121乃至124が検出されている。認識結果補正部32は、この検出結果に基づいて、ジェスチャ入力可能領域121乃至124を表示部11に表示する。ジェスチャ入力可能領域121乃至124は、元の表示画面に対し、例えば異なる色がついたフィルタを重ねたように表現される。換言すると、ジェスチャ入力可能領域121乃至124は、元の表示画面(例えば、文字、図形等)が視認できるようにしたうえで、入力可能な領域をユーザに視認させるものである。
In step S <b> 35, the recognition
例えば、ジェスチャ入力可能領域121は、図示する範囲内でタップ入力が可能な領域である。ジェスチャ入力可能領域122は、図示する範囲内で縦方向のフリック(以下、縦フリックと称する)入力が可能な領域である。ジェスチャ入力可能領域123は、図示する範囲内で横方向のフリック(以下、横フリックと称する)入力が可能な領域である。ジェスチャ入力可能領域124は、図示する範囲内で、ユーザが一定時間タッチパネル25に指41を接触させ続ける長押し入力が可能な領域である。ユーザは、領域の色と位置から、そこで入力可能なジェスチャの種類と位置を知ることができる。
For example, the gesture input enabled
次に、ステップS36において、認識結果補正部32は、ヘルプアイコン101がタップされたかを判定する。即ち、図13に示されるように、指41によりヘルプアイコン101がタップされた場合、ステップS36においてYESであると判定され、処理はステップS37に進む。
Next, in step S36, the recognition
ステップS37において、認識結果補正部32は、凡例表示画面131を表示する。即ち、補正候補生成部35は、各画面毎に、所定の領域が操作された場合に表示する画像を生成している。ヘルプアイコン101に対応して、図14に示される凡例表示画面131が生成されている。そこで、認識結果補正部32は、この凡例表示画面131を表示部11に表示する。
In step S37, the recognition
凡例表示画面131は、図14に示されるように、ジェスチャ入力可能領域121乃至124が示す領域に対応する、入力可能なジェスチャを表示する画面である。上述したように、例えば、ジェスチャ入力可能領域121はタップ入力が可能な領域であるので、凡例表示画面131には、ジェスチャ入力可能領域121の色121Aを例示し、それに対応させて「タップ」の文字が表示されている。同様に、凡例表示画面131には、ジェスチャ入力可能領域122乃至124の色122A乃至124Aが例示され、それぞれに対応させて「縦フリック」、「横フリック」および「長押し」の文字が表示されている。
As shown in FIG. 14, the
このようにして、ユーザは凡例表示画面131を見て、ジェスチャ入力可能領域121乃至124が、それぞれどのジェスチャ入力が可能な領域であるのかを理解することができる。
In this manner, the user can understand which
また、さらに、凡例表示画面131には、補足情報を表示させるとき操作される追加アイコン125が表示されている。この追加アイコン125も、タップ対象のアイコンなので、ジェスチャ入力可能領域121と同じ色121Aで表示されている。
Furthermore, an
ステップS38において、認識結果補正部32は、追加アイコン125がタップされたかを判定する。即ち、図15に示されるように、指41により追加アイコン125がタップされた場合、ステップS38においてYESであると判定され、処理は、ステップS39に進む。
In step S38, the recognition
ステップS39において、認識結果補正部32は、追加凡例表示画面141を表示する。即ち、上述したように、補正候補生成部35は、追加アイコン125がタップされた場合の表示画像として、追加凡例表示画面141を生成している。認識結果補正部32は、これを表示部11に表示する。そして、処理はステップS31に戻る。
In step S39, the recognition
追加凡例表示画面141は、図15に示されるように、現在の表示画面で認識可能なジェスチャを表示する画面である。具体的には、追加凡例表示画面141には、指41で右回りに円を描くジェスチャ(以下、ジェスチャ(右回転)と称する)と、ジェスチャ(右回転)が関連付けられた処理として、「右回転」の文字が表示されている。「右回転」とは、図形等を右方向に回転させる処理である。また例えば、指41で左回りに円を描くジェスチャ(以下、ジェスチャ(左回転)と称する)と、ジェスチャ(左回転)が関連付けられた処理として、「左回転」の文字が表示されている。「左回転」とは、例えば、図形等を左方向に回転させる処理である。またそのほかにも、追加凡例表示画面141には、図10を参照して説明したジェスチャ(星)、ジェスチャ(三角)、ジェスチャ(W)が、「オプションメニューを開く」、「新しいウインドウを開く」、「ウインドウを閉じる」の文字と対応付けて表示されている。
The additional
ユーザは、追加凡例表示画面141を参照することにより、より多くの入力可能なジェスチャを補足情報として知ることができる。
The user can know more inputable gestures as supplementary information by referring to the additional
一方、ステップS36においてNOと判定された場合、即ち、ユーザがヘルプアイコン101をタップしない場合、ユーザは凡例表示画面131を必要としていない。よって、処理はステップS31に戻る。同様に、ステップS38においてNOと判定された場合、即ち、ユーザが追加アイコン125をタップしない場合、ユーザは追加凡例表示画面141を必要としていないので、処理はステップS31に戻る。
On the other hand, if NO is determined in step S36, that is, if the user does not tap the
以上、ステップS32でNOと判定された場合について説明した。それに対して、ステップS32でYESと判定された場合、即ち検出されたジェスチャが認識可能なジェスチャであった場合、処理はステップS40に進む。即ち、ステップS32でYESと判定された場合、ジェスチャ入力可能領域121乃至124を表示する必要がないので、ステップS33乃至S39の処理は実行されない。
The case where it is determined as NO in step S32 has been described above. On the other hand, if YES is determined in step S32, that is, if the detected gesture is a recognizable gesture, the process proceeds to step S40. That is, if it is determined as YES in step S32, it is not necessary to display the gesture input
ステップS40において、ジェスチャ認識部31は、ジェスチャに関連付けられた処理を実行する。即ち、認識不能なジェスチャがN回連続で検出された(ステップS34の処理)場合において、ジェスチャ入力可能領域121乃至124が表示されたり(ステップS35の処理)、凡例表示画面131や追加凡例表示画面141が表示される(ステップS37,S39の処理)。これらの表示を参照することにより、ユーザが認識可能なジェスチャを入力することができれば(ステップS31,S32の処理)、処理はステップS40に進み、ジェスチャ認識部31はジェスチャに関連付けられた処理を実行することができる。
In step S <b> 40, the
このようにして、入力可能領域表示処理を実行することで、ユーザはその画面でジェスチャ入力可能な領域を、入力可能なジェスチャと対応付けて視認することが可能となる。これにより、ユーザは効率的に自分が行ったジェスチャを補正し、意図する処理を実行させることができる。 By executing the inputable area display process in this way, the user can visually recognize the area in which gesture input is possible in association with the inputable gesture. Thereby, the user can correct | amend the gesture which he performed efficiently, and can perform the intended process.
また、アプリケーションによりジェスチャ入力や入力可能領域が異なる場合でも、ジェスチャ入力に対応する入力可能領域が凡例表示画面131に表示されるので、ユーザは入力したジェスチャの補正を容易に実行することができる。
Further, even when the gesture input and the input possible area differ depending on the application, the input possible area corresponding to the gesture input is displayed on the
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアとしての情報処理端末1に組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
The series of processes described above can be executed by hardware or can be executed by software. When a series of processing is executed by software, a program constituting the software is installed in the computer. Here, for example, a general-purpose personal computer capable of executing various functions by installing a computer incorporated in the
コンピュータ(コントローラ21)が実行するプログラムは、例えば、記憶部26をパッケージメディア等としてのリムーバブルメディアとして構成し、そこに記録して提供することができる。また、プログラムは、ローカルエリアネットワークインターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。 The program executed by the computer (controller 21) can be provided by, for example, configuring the storage unit 26 as a removable medium such as a package medium and recording the program on the removable medium. The program can be provided via a wired or wireless transmission medium such as a local area network Internet or digital satellite broadcasting.
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。 The program executed by the computer may be a program that is processed in time series in the order described in this specification, or in parallel or at a necessary timing such as when a call is made. It may be a program for processing.
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。 Embodiments of the present technology are not limited to the above-described embodiments, and various modifications can be made without departing from the gist of the present technology.
1 情報処理端末, 11 表示部, 12 操作部, 21 コントローラ, 22 センサ部, 23 カメラ, 24 通信部, 31 ジェスチャ認識部, 32 認識結果補正部, 33 補正情報保存部, 34 軌跡表示部, 35 補正候補生成部
DESCRIPTION OF
Claims (15)
前記入力部に入力された前記ジェスチャを認識する認識部と、
第一のジェスチャによる第一の入力処理が不可能な領域で、前記第一のジェスチャが所定の回数入力された場合、入力された画面における第二のジェスチャによる前記第一の入力処理が可能な領域と、前記第二のジェスチャを解説する情報とを関連付けて表示する表示制御部と
を備える情報処理装置。 An input unit for receiving gesture input;
A recognition unit for recognizing the gesture input to the input unit;
When the first gesture is input a predetermined number of times in an area where the first input process using the first gesture is impossible, the first input process using the second gesture on the input screen is possible. An information processing apparatus comprising: a display control unit that associates and displays a region and information that explains the second gesture .
請求項1に記載の情報処理装置。 The information processing apparatus according to claim 1, wherein the second gesture is different from the first gesture .
請求項2に記載の情報処理装置。 The information processing apparatus according to claim 2, wherein the first gesture is a tap operation .
請求項3に記載の情報処理装置。 The information processing apparatus according to claim 3, wherein the second gesture is an operation of moving a finger in an arbitrary direction on the screen .
請求項1に記載の情報処理装置。 The information processing apparatus according to claim 1, wherein the first gesture is a tap operation .
請求項1に載の情報処理装置。 The information processing apparatus according to claim 1, wherein the second gesture is an operation of moving a finger in an arbitrary direction on a screen .
請求項1に記載の情報処理装置。 The information processing apparatus according to claim 1.
請求項1に記載の情報処理装置。 The information processing apparatus according to claim 1.
請求項1に記載の情報処理装置。 The information processing apparatus according to claim 1.
請求項1に記載の情報処理装置。 The information processing apparatus according to claim 1.
前記表示部は、前記通信部により受信されたwebページを表示する The display unit displays a web page received by the communication unit.
請求項10に記載の情報処理装置。 The information processing apparatus according to claim 10.
請求項10に記載の情報処理装置。 The information processing apparatus according to claim 10.
入力された前記ジェスチャを認識する認識ステップと、
第一のジェスチャによる第一の入力処理が不可能な領域で、前記第一のジェスチャが所定の回数入力された場合、入力された画面における第二のジェスチャによる前記第一の入力処理が可能な領域と、前記第二のジェスチャを解説する情報とを関連付けて表示する表示制御ステップと
を含む情報処理方法。 An input step for accepting gesture input;
A recognition step for recognizing the input gesture;
When the first gesture is input a predetermined number of times in an area where the first input process using the first gesture is impossible, the first input process using the second gesture on the input screen is possible. An information processing method including a display control step of displaying an area and information describing the second gesture in association with each other .
ジェスチャの入力を受け付ける入力ステップと、
入力された前記ジェスチャを認識する認識ステップと、
第一のジェスチャによる第一の入力処理が不可能な領域で、前記第一のジェスチャが所定の回数入力された場合、入力された画面における第二のジェスチャによる前記第一の入力処理が可能な領域と、前記第二のジェスチャを解説する情報とを関連付けて表示する表示制御ステップと
を実行させるプログラム。 On the computer,
An input step for accepting gesture input;
A recognition step for recognizing the input gesture;
When the first gesture is input a predetermined number of times in an area where the first input process using the first gesture is impossible, the first input process using the second gesture on the input screen is possible. A program for executing a display control step of displaying an area and information describing the second gesture in association with each other .
ジェスチャの入力を受け付ける入力ステップと、
入力された前記ジェスチャを認識する認識ステップと、
第一のジェスチャによる第一の入力処理が不可能な領域で、前記第一のジェスチャが所定の回数入力された場合、入力された画面における第二のジェスチャによる前記第一の入力処理が可能な領域と、前記第二のジェスチャを解説する情報とを関連付けて表示する表示制御ステップと
を実行させるプログラムが記録されているコンピュータが読み取り可能な記録媒体。 On the computer,
An input step for accepting gesture input;
A recognition step for recognizing the input gesture;
When the first gesture is input a predetermined number of times in an area where the first input process using the first gesture is impossible, the first input process using the second gesture on the input screen is possible. A computer-readable recording medium on which a program for executing a display control step of displaying an area and information describing the second gesture in association with each other is recorded.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015186603A JP5862994B2 (en) | 2015-09-24 | 2015-09-24 | Information processing apparatus and method, program, and recording medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015186603A JP5862994B2 (en) | 2015-09-24 | 2015-09-24 | Information processing apparatus and method, program, and recording medium |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011127335A Division JP5811603B2 (en) | 2011-06-07 | 2011-06-07 | Information processing terminal and method, program, and recording medium |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016000116A Division JP2016042394A (en) | 2016-01-04 | 2016-01-04 | Information processing device and method, program, and recording medium |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016015165A JP2016015165A (en) | 2016-01-28 |
JP5862994B2 true JP5862994B2 (en) | 2016-02-16 |
Family
ID=55231242
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015186603A Active JP5862994B2 (en) | 2015-09-24 | 2015-09-24 | Information processing apparatus and method, program, and recording medium |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5862994B2 (en) |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06266494A (en) * | 1993-03-12 | 1994-09-22 | Toshiba Corp | Method and device for information processing in pen input system |
JP3075882B2 (en) * | 1993-03-31 | 2000-08-14 | 株式会社東芝 | Document creation and editing device |
JP2002259002A (en) * | 2001-02-28 | 2002-09-13 | Ricoh Co Ltd | Operation system for document |
JP2003196593A (en) * | 2001-12-28 | 2003-07-11 | Toshiba Corp | Character recognizer, method and program for recognizing character |
JP2006099468A (en) * | 2004-09-29 | 2006-04-13 | Toshiba Corp | Gesture input device, method, and program |
JP2008282092A (en) * | 2007-05-08 | 2008-11-20 | Canon Inc | Information processor allowing user to learn gesture command during operation |
US8549432B2 (en) * | 2009-05-29 | 2013-10-01 | Apple Inc. | Radial menus |
WO2011037149A1 (en) * | 2009-09-25 | 2011-03-31 | 日本電気株式会社 | Input receiving device, input receiving method, recording medium, and mobile communication terminal |
-
2015
- 2015-09-24 JP JP2015186603A patent/JP5862994B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2016015165A (en) | 2016-01-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5811603B2 (en) | Information processing terminal and method, program, and recording medium | |
JP2012256099A (en) | Information processing terminal and method, program, and recording medium | |
US10698564B2 (en) | User terminal device and displaying method thereof | |
US9448620B2 (en) | Input method and apparatus of portable device for mapping segments of a hand to a plurality of keys | |
EP2461237B1 (en) | Portable display device, control method for the same, program for the same, and storage medium for the same | |
US20150199125A1 (en) | Displaying an application image on two or more displays | |
JP5832339B2 (en) | Scale display method and apparatus for scaling operation | |
US10387033B2 (en) | Size reduction and utilization of software keyboards | |
CN102722334A (en) | Control method and device of touch screen | |
US20130249832A1 (en) | Mobile terminal | |
WO2012043111A1 (en) | Information processing terminal and control method therefor | |
CN102023798A (en) | Method and apparatus for switching of kvm switch ports using gestures on a touch panel | |
JP2015138360A (en) | System, control program, and control method for object manipulation | |
JP2016042394A (en) | Information processing device and method, program, and recording medium | |
JP5862994B2 (en) | Information processing apparatus and method, program, and recording medium | |
KR101358506B1 (en) | Method for Inputing Notes and Communication Terminal for using the Same | |
JP2019028720A (en) | Information processing equipment, program, and method for controlling information processing equipment | |
JP2019008465A (en) | Display input device and image formation device equipped with thereof | |
CN109739590B (en) | Desktop wallpaper replacing method, device and equipment | |
US20140362399A1 (en) | Image forming apparatus and non-transitory computer readable medium | |
JP2014149721A (en) | Information input device | |
JP2017212483A (en) | Interface, character input guide method and program | |
CN110402427B (en) | Touch gesture determination device, touch gesture determination method, recording medium containing touch gesture determination program, and touch panel input device | |
JP6379893B2 (en) | Display system and display program | |
JP2013162202A (en) | Information processing apparatus, information processing method and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151023 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20151023 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20151023 |
|
TRDD | Decision of grant or rejection written | ||
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20151130 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20151203 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20151216 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5862994 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |