JP3904637B2 - 情報入力装置及び方法 - Google Patents
情報入力装置及び方法 Download PDFInfo
- Publication number
- JP3904637B2 JP3904637B2 JP24386996A JP24386996A JP3904637B2 JP 3904637 B2 JP3904637 B2 JP 3904637B2 JP 24386996 A JP24386996 A JP 24386996A JP 24386996 A JP24386996 A JP 24386996A JP 3904637 B2 JP3904637 B2 JP 3904637B2
- Authority
- JP
- Japan
- Prior art keywords
- pointer
- area
- specific area
- passage detection
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Social Psychology (AREA)
- Psychiatry (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、情報入力装置及び方法に係り、特にパーソナルコンピュータなどの電子機器を操作するための情報表示画面へのポインタ操作制御についての情報入力装置及び方法に関する。
【０００２】
【従来の技術】
従来から、パーソナルコンピュータなどの電子機器を操作する場合、マウスやトラックボールなどのポインティングデバイスを用いて、情報表示画面内のポインタやカーソルを移動させ、画面上のオブジェクトを指示して、ボタン操作を付加することにより、特定の作業を起動したり、オブジェクトを移動させたりする。このような手法は、ＧＵＩ（グラフィカルユーザインターフェース）と呼ばれており、パーソナルコンピュータのひとつの操作形態として、現在では広く用いられている方法のひとつである。
【０００３】
今後、電子機器が、より小型になり、自由に携帯できるようになると、従来のポインティングデバイスでは十分でないケースが現れてくるであろうことは容易に予測できる。例えば、マウスは操作するために、ある程度の広さの平面を必要とするため、携帯機器には不適切である。一方、トラックボールや小型のジョイスティックの場合、操作する手の動きと、ポインタの動きが異なるので、特定の作業を指示するジェスチャ入力には不向きである。ペンデバイスを用いる場合は、使用する度にペンを取り出す煩わしさがあり、更にペンの紛失の可能性を考えると、最適な手法とも言い難い。
【０００４】
さて、情報入力方式としては、本件の発明者が、特願平７−２５０４１８号などで既に提案している方法でもあるが、操作者の手に光を当て、その反射光を画像として捉え、これを画像処理することによりポインタの位置を求めるようにしたフィンガポィンティングインターフェース（ＦＰＩ）がある。これは、手指の動きでポインタの動きを制御できるので、特別な道具を用いることなく、操作者の体の一部の動きを捉えて、ポインタを操作し、電子機器に対する情報の入力ができるため、特に、携帯用の情報機器において、その操作性を大幅に向上できるというメリットがある。
【０００５】
しかし、このＦＰＩの場合も、画面を操作する場合に、指の動きだけを用いてポインタを操作する訳ではなく、他のボタンなどの操作と併用してポインタの意味付けをする必要があるため、操作性の向上に限界があった。つまり、携帯用情報機器を左手で保持して、右手によりポインタを動かす場合、更に左手によるボタン操作を並行して行う必要があるため、左手によるボタン操作時に、機器本体が動いてしまい、所望のオブジェクトを指定できなくなったり、またボタンを操作する度に画面が揺れてしまい、操作しにくくなるという問題がある。
【０００６】
一方、ペンデバイスの場合も同様に、タブレットへの接触と非接触の情報により、位置情報を入力するように構成されているが、この場合も、位置情報以外の特定操作に対応させるため、ペン先にペンをタブレットに押しつけた場合に投入されるスイッチを仕込んだり、ペン本体に別の操作スイッチを、設けるなどの対応を行う必要があり、決定的に操作性を向上できないという問題がある。
【０００７】
同様の問題は、ジャイロや赤外線発光部を装備したリモートコントローラによりポインタを操作する、いわゆる空間マウスにおいても顕在化しており、ポインタで指定されたオブジェクトに、何らかの意味のある操作を加える場合、別にボタンなどの操作部が必要であり、操作性向上の阻害要因となっている。
【０００８】
【発明が解決しようとする課題】
従来の情報入力装置は、以上のように、位置情報以外の特定操作のための入力手段として、マウスボタンや、これに対応するような入力部を備え、位置情報とボタン操作を関連づけて処理するように構成されているので、特に携帯用情報機器などの場合は、操作が煩雑になったり、操作内容によっては、適さないなどの問題点があった。
【０００９】
本発明は、上記のような従来技術の問題点を解消し、ボタンなどの、位置情報以外の情報を入力するための操作部分を排除し、位置情報の入力を行うための機能に対して、位置情報の変化から特定の操作を指示するジェスチャ入力を判別する機能を付加するだけで、画面内のオブジェクトを指定し、これに関連する操作入力を行い、電子機器を快適に操作することを可能とした情報入力装置及び方法を提供することを目的とする。
【００１０】
【課題を解決するための手段】
上記目的を達成するために、本発明は、表示画面の任意の位置を指示するポインタの位置情報を入力するポインタ位置入力手段と、前記表示画面上のオブジェクトに関連付けて設定される特定領域を設定し、該特定領域にポインタが入ったこと及び該特定領域からポインタが出たことを検出するポインタ領域通過検出手段と、前記ポインタ領域通過検出手段の検出結果に基づいてポインタが特定領域に入ってから出るまでの軌跡を蓄積するポインタ位置蓄積手段と、前記ポインタ位置蓄積手段により蓄積した軌跡を解析することによって意味を認識する認識手段と、を備えることを特徴とする情報入力装置を提供するものである。
【００１１】
さらに、本発明は、ポインタ位置入手段によって、表示画面の任意の位置を指示するポインタの位置情報を入力し、ポインタ領域通過検出手段により、前記表示画面上のオブジェクトに関連付けて設定される特定領域を設定し、該特定領域にポインタが入ったこと及び該特定領域からポインタが出たことを検出し、ポインタ位置蓄積手段により、前記ポインタ領域通過検出手段の検出結果に基づいてポインタが特定領域に入ってから出るまでの軌跡を蓄積し、認識手段により、前記軌跡を解析することによって、意味を認識するようにしたことを特徴とする情報入力方法を提供するものである。
【００１２】
【発明の実施の形態】
以下、図面を参照しながら、本発明の実施の形態を説明する。
図１は、本発明の実施形態１の情報入力装置のブロック図である。
図１の構成と、動作について、図２の説明図にしたがって説明する。
ポインタ位置入力手段１は、操作者の指示に基づいて、図示しない画面上の任意の位置に、ポインタ１０を位置付ける機能を有する。
【００１３】
ポインタ位置入力手段１としては、従来から知られているマウスやペン入力装置でもよいが、より好適な適用例としては、先にも述べたような、操作者の指先の位置および動きを検出し、操作者が手指を動かした時に、その位置を捉えて画面のポインタ１０の位置を決定するＦＰＩがある。
【００１４】
ポインタ位置入力手段１からはポインタ１０の位置を示す信号が表示部６に与えられ、表示部６はポインタの位置を表示する。併せて、ポインタ位置入力手段１からのポインタ１０の位置は、ポインタ位置蓄積手段３に与えられる。ちなみに、ポインタ位置蓄積手段３はポインタ１０の軌跡１１を蓄積する機能を有しており、ポインタ領域通過検出手段２からの信号により、その蓄積動作を制御される。
【００１５】
一方、ポインタ領域通過検出手段２は、ポインタ位置入力手段１によるポインタ１０の位置と、画面内のオブジェクト１２に関連付けてその周辺に設定される特定の領域１３との接触状態を検出するもので、ポインタ１０がこの特定の領域１３の境界領域を通過した場合に、これを検出して、ポインタ１０が領域１３の中にあるのか、外にあるのかの情報を含めて、ポインタ位置蓄積手段３およびジェスチャ認識手段４に与える。
【００１６】
その結果、ポインタ位置蓄積手段３は、ポインタ１０の領域１３内部における位置を、その軌跡として蓄積する。
【００１７】
ジェスチャ認識手段４は、ポインタ領域通過検出手段２とポインタ位置蓄積手段３の各出力に基づいて、ポインタ１０の軌跡１１を判別し、ある入力の意味に関連付けられている操作の特定のジェスチャを認識すると、その認識結果を処理部５に与える。
【００１８】
処理部５は、操作の特定の意味をジェスチャ認識手段４から受け取ると、これを位置情報以外の操作入力として捉え、これを表示部６に与えると共に、操作入力に対応する処理を実行する。
【００１９】
さて、領域１３は、画面内の対象となるオブジェクト１２よりやや大きめの範囲に設定されている。そして、ポインタの軌跡１１が図２のように描かれる場合を想定すると、ポインタ１０が位置１４に至った時に、ポインタ領域通過検出手段２により領域１３に入ったことが検出され、ポインタ１０が位置１５に至った時に、領域１３から出たことが検出される。
【００２０】
ポインタ位置蓄積手段３は、ポインタ１０が領域１３の領域内に入ったことを知らせる信号に基づいてポインタ１０の位置の蓄積を始め、ポインタ１０が領域１３から出たことを知らせる信号に基づいて蓄積を停止する。図２の例では、ポインタ１０が位置１４に到達した時点から、位置１５に至るまでのポインタ１０の位置、つまり図面に黒丸で示される位置が蓄積される。
【００２１】
以上のようにして、蓄積されたポインタ１０の位置の時系列的な変化が、ジェスチャ認識手段４に読み込まれ、領域１３内におけるポインタ１０のジェスチャが、予め設定された、意味を持った特徴的な動きであるか否かを判定する。
【００２２】
例えば、位置の移動ベクトルを考える場合、領域１３に入った時と、出た時では、ベクトルの向きは反対方向に近い。これに対して、領域１３内で、急激に方向が変化するような軌跡１１が捉えられた場合、このジェスチャは、例えば「チェックマーク」であると判定される。
【００２３】
このジェスチャが領域１３内にあるオブジェクト１２に対する何らかのアクションであると判断された場合、その情報は処理部５に伝達され、処理部５は対応するオブジェクト１２に関連付けられた特定の操作を行う。例えば、このジェスチャが、対象となるファイルのオープンに対応するものであれば、オブジェクト１２が示すファイルをオープンすることになる。
【００２４】
表示部６は、ポインタ１０の位置を画面に表示するのはもちろんであるが、ポインタ１０の領域１３に対する関係、例えば領域１３に入っている、入っていないなどや、ジェスチャの認識結果などに基づく適切なフィードバックを表示を画面上で行う。
【００２５】
さて、先にも述べたように、ポインタ位置入力手段１は、手指を利用するＦＰＩに限らず、マウスやトラックボールやペン入力のタブレットなど、一般に多くら用いられている入力方式や、空間マウスなどに適用可能である。そして、ＦＰＩと同様に、従来、他の操作ボタンを必要としていた空間マウスの場合に、顕著な効果を得ることができる。
【００２６】
さて、ポインタ領域通過検出手段２は、画面の中の予め定められた領域１３と、ポインタ１０の接触状態を検出するものであるが、その検出の方法についてはさまざまな方式が考えられる。例えば、先に説明したように、ポインタ１０が領域１３に入ったことと、領域１３から出たことを検出する代わりに、ポインタ１０が領域１３の内部にあるか否かを検出するようにしてもよい。
【００２７】
また、ここで言う領域１３は、矩形の領域に限らず、丸や三角やその他の形状の領域であっても、線や点で特定される領域であってもよい。つまり、オブジェクト１２に対して、特定の位置関係にある線分や、点を設定しておき、これらの線分や点に対して、ポインタ１０がどのように動いたかを検出してジェスチャ判定するようにすることもできる。
【００２８】
また、上記実施形態では、オブジェクト１２に対して、領域１３が大きな面積で設定されているが、領域１３はオブジェクト１２よりも小さな領域であってもよいし、またオブジェクト１２と必ずしも重ならなくてもよい。つまり、領域１３がオブジェクト１２に対して特定の位置関係にあることが予め分かっていれば、操作者はオブジェクト１２に関係する意味のある操作を、領域１３に対して行うことができる。
【００２９】
なお、上記実施形態では、ポインタ位置蓄積手段３の動作については、ポインタ領域通過検出手段２からの領域通過情報に基づいて、ポインタ１０の位置を、数ポイント記憶し、その蓄積情報をジェスチャ認識手段４に出力するような場合を例示したが、ポインタ位置蓄積手段３の制御のために必ずしもポインタ領域通過検出手段２からの領域通過情報を用いる必要はなく、ポインタ位置蓄積手段３で常にポインタ１０の軌跡を過去の数ポイント分記録蓄積しておき、ポインタ領域通過検出手段２からジェスチャ認識手段４に領域内通過を示す信号が与えられた時点で、ジェスチャ認識手段４によりポインタ位置蓄積手段３の蓄積情報を読み出し、ジェスチャ判定するようにしてもよい。
【００３０】
図３は、本発明の実施形態２の情報入力装置のブロック図である。
図３の構成と、動作について、図４の説明図にしたがって説明する。
本実施形態の場合も、図４に示すように、画面内のオブジェクトに関連づけられた領域１３が設定されており、これとポインタ１０の位置関係によって、位置情報以外の特定の操作を入力指定できるようになっている。
【００３１】
本実施形態２の場合、画面内に設定された領域１３は、１つ以上の辺、つまりエッジで囲まれており、ポインタ１０が、領域１３の内側にあるか、外側にあるかだけでなく、どのエッジを、どの方向に通過したのかの情報に基づいて、特定の意味を持った操作入力の内容を判断するようにしている。
【００３２】
図２において、エッジ通過検出手段７は、ポインタ１０が領域１３のエッジを通過したことを検出して、ポインタ１０が、どのエッジを、どの方向に通過したかを時系列パターン解析手段８に報知する。
【００３３】
なお、エッジ通過検出手段７は、領域エッジデータを、予め登録してあり、この領域エッジデータを参照しながら、通過エッジと方向を検出する。したがって、領域１３が、矩形以外の多角形の場合、領域１３は多角形の形状に応じた数のエッジを持っている訳であるが、この場合も、多角形の登録データに基づいてポインタ１０の通過エッジと、通過方向を検出することができる。
【００３４】
なお、領域１３として、円形や楕円形を設定している場合も、稜線をいくつかの曲線状の線分に分割して、それぞれを多角形のエッジと想定し、ほぼ同じ大きさの多角形をあてはめることにより、エッジ検出と見做すことができる。
【００３５】
また、多角形の領域１３に対して、ひとつの辺をひとつのエッジに割り当てる代わりに、複数の辺をまとめて１つのエッジと見做しても、逆にひとつの辺に、複数のエッジを割り当てるようにしてもよく、これはエッジ通過検出手段７に登録されたデータにより、任意に設定可能である。
【００３６】
今、図４に示すように、矩形の領域１３を考えると、４本の辺に４つのエッジを割り当てることができる。
【００３７】
さて、ポインタ１０が領域１３に入り、出て行く場合には、ポインタ１０の軌跡は４つのエッジに対して、さまざまな関係を持つ。例えば、図５の説明図に示すように、領域１３の上のエッジをＴ、右のエッジをＲ、左のエッジをＬ、下のエッジをＢとした場合、４つのそれぞれのエッジＴ、Ｂ、Ｌ、Ｒに対して、ポインタ１０は、外から内に入る場合のＩと、内から外に出る場合のＯで、２つの場合が存在する。つまり、ポインタ１０が領域１３に対して、外から内に入る場合、エッジによりＴ、Ｂ、Ｌ、Ｒの４種類の意味を持たせることが可能であり、ポインタ１０が領域１３に対して、内から外に出る場合、エッジによりＴ、Ｂ、Ｌ、Ｒの４種類の意味を持たせることができる。したがって、ポインタ１０が領域１３の内に入って、次に外に出て行く場合、必ず２つのエッジを通過するので、それぞれの通過エッジによって全部で１６種類の意味合いを持たせることが可能である。
【００３８】
例えば、図４に示すように、ポインタ１０が軌跡９に沿って、エッジＴから入り、エッジＴから出ていった場合、「ＩＴ、ＯＴ」と表現でき、ポインタ１０が軌跡１７に沿って、エッジＬから入り、エッジＢから出ていった場合、「ＩＬ、ＯＢ」と表現できる。
【００３９】
時系列パターン解析手段８は、この通過情報の時系列パターンから、単純なパターンを排除し、特徴的なものだけに特定の操作の意味を割り当てている。
【００４０】
例えば、あるドキュメントを表すオブジェクトに対して、それを選択してオープンする、という動作を割り当てるために、オブジェクトに対応づけた領域１３に対して、「ＩＴ、ＯＴ」を割り当てる。
【００４１】
これは、図６の説明図に示すように、ポインタ１０が、軌跡９に沿って、領域１３に上から入り、上から出ていった場合を表すが、このようなポインタ１０の動きに対応して、時系列パターン解析手段８は処理部５に対して、オープン操作に対応する解析結果を送出し、処理部５はオブジェクトに対応するファイルのオープンを実行する。
【００４２】
また、あるオブジェクトに対して、それを選択してドラッグする、という動作を割り当てるために、オブジェクトに対応づけた領域１３に対して、「ＩＢ、ＯＢ」を割り当てる。
【００４３】
これは、図６の説明図に示すように、ポインタ１０が、軌跡１８に沿って領域１３に下から入り、下から出ていった場合を表すが、このようなポインタ１０の動きに対応して、時系列パターン解析手段８は処理部５に対して、ドラッグ操作に対応する解析結果を送出し、処理部５は、その後のポインタ１０の動きに対応して、オブジェクトのドラッグを実行する。
【００４４】
ここで、ポインタ１０の単純な動きを排除して、あえて複雑な特徴的な動きのみを、特定の操作に結びつけるのかについての理由を説明する。
【００４５】
例えば、単純にポインタ１０がオブジェクトに関連づけられた領域１３の上を通過しただけで、関連するオブジェクトに対応する操作が選択されるように設定した場合、操作者が、単純にポインタ１０を移動させたいだけの場合は、領域１３を避けてこれを実行する必要がある。これは、操作者に無用の負担をかけるだけでなく、場合によっては、操作者の意図しない誤操作を招く可能性が高い。
【００４６】
以上のような理由から、時系列パターン解析手段８は、ポインタ１０の単純な動き、例えば、ポインタ１０の上下左右斜めの単純な通過などは、特定の操作の意味付けから排除している。つまり、図４に示す軌跡１７のような場合、動きが単純であり、単なるポインタ１０の通過であると見做して、時系列パターン解析手段８は反応しない。
【００４７】
なお、本実施形態では、複数の軌跡に対して、複数の意味を持たせる場合を例示したが、全ての特徴的なポインタ１０の動きに対して、常に同じ意味を持たせるようにしてもよい。つまり、「ＩＴ、ＯＴ」、「ＩＢ、ＯＢ」、「ＩＬ、ＯＬ」や「ＩＲ、ＯＲ」が検出された場合、常にファイルのオープンの意味を割り当てるようにしてもよい。
【００４８】
一方、動きの方向毎に意味を割り当てるやり方も考えられる。つまり、上下の動き「ＩＴ、ＯＴ」や「ＩＢ、ＯＢ」にファイルのオープン、左右の動き「ＩＬ、ＯＬ」や「ＩＲ、ＯＲ」にオブジェクトのドラッグを割り当てるようにしてもよい。
【００４９】
図７は、量を入力する場合、例えば音量、表示輝度、パラメータ設定などによく用いられるスライダを操作する場合の状態を示す説明図である。
【００５０】
まず、同図（Ａ）に示すように、ポインタ１０を、スライダの現在位置を示すオブジェクト、つまり現在位置オブジェクトに重ねられた領域１３に対して、矢印Ａに示すように、上エッジから中にいれる。これが「ＩＴ」動作となる。なお、この場合は、オブジェクトとこれを検出するための領域１３を同じサイズにしてある。
【００５１】
その結果、図３のエッジ通過検出手段７は、ポインタ１０が領域１３に上から入ったことを検出して、時系列パターン解析手段８を通じて処理部５にそのことを示す信号を送出し、スライダをアクティブにする。
【００５２】
しかる後は、同図（Ｂ）に示すように、ポインタ１０を左右に動かすことにより、スライダを矢印Ｂ方向に左右に動かし、所望の量を操作選択することができるようになる。
【００５３】
スライダを所望の位置まで動かしたら、同図（Ｃ）に示すように、ポインタ１０を、矢印Ｃ方向に、下エッジから領域１３の外に出す。これが「ＯＢ」動作となる。その結果、このポインタ１０の軌跡はエッジ通過検出手段７により検出され、時系列パターン解析手段８、処理部５を通じて、スライダの位置の確定動作が行われ、量の入力が終了する。
【００５４】
なお、ポインタ１０を下エッジから外に出す代わりに、上エッジから外に出した場合、これまでのスライダの動きをキャンセルして、スライダを動かす前の状態に戻すようにしてもよい。このようにポインタ１０の領域１３に対する動きに意味を与えるのは、エッジ通過検出手段７、時系列パターン解析手段８、処理部５の制御プログラムであり、任意に設定可能である。
【００５５】
さて、指の動きでポインタ１０を制御している場合に、スライダを左右に動かす場合に、指の動きが上下にずれてしまうと、領域１３の上下の範囲を越えてしまうことがある。その結果、操作者の意図に反して、量が確定したり、スライダの動きがキャンセルされてしまったりと、不都合な動きになり易い。この うに、領域１３の範囲からちょっとはずれただけで、制御不可能になってしまうのでは、非常に使いにくいので、以下のような処理を行うのが好ましい。
【００５６】
まず、ポインタ１０を領域１３の上エッジから現在位置オブジェクトに入れた場合、以降のポインタ１０の移動については、量の選択を行う左右方向のみを量子化するように設定する。ポインタ１０の移動方向が上下方向から一定の範囲にある場合は、左右方向の動きのみを投影した量だけオブジェクトを動かし、ポインタ１０も左右のみに動かす。ポインタ１０の移動方向が上下方向から一定の範囲内にある限りは、左右方向にポインタを移動し、左右の動きが止まった場合に、始めてポインタ１０の上下方向の移動量を検出するようにし、その後、ポインタ１０が領域１３の上下のエッジを通過した場合に、量の確定かスライダの移動のキャンセルを行なう。その結果、スライダを操作する場合の操作性を大幅に向上することができる。
【００５７】
なお、スライダ操作の際のポインタ１０の左右の動きの傾向の検出により、制御モードを切り替える代わりに、スライダ操作のために、ポインタ１０が領域１３に入った場合、領域１３の上下の範囲を広げて、ポインタ１０が容易に領域１３から外れないようにしても同様の効果を得ることができる。
【００５８】
なお、スライダ操作以外にも、色選択やメニューバー選択など、さまざまな入力操作が考えられるが、いずれにせよ、オブジェクトに関連付けて設定される領域に対するポインタの特徴的な動きを、操作の意味に関連付けて登録しておくことにより、位置情報以外のさまざまな操作入力を行うことが可能である。
【００５９】
【発明の効果】
以上述べたように、本発明の情報入力装置は、オブジェクトに対応して配置される領域におけるポインタの動きや、この領域のエッジに対するポインタの出入方向の組み合わせから、ポインタの特徴的な動きを抽出し、この抽出情報に基づいて、位置情報以外の特定の意味を電子機器に与えるように構成したので、マウスボタンのような特別な入力手段によらずにオブジェクトに対応する意味入力が可能となり、操作性を大幅に向上できるという効果がある。
【図面の簡単な説明】
【図１】本発明の実施形態１の情報入力装置のブロック図である。
【図２】図１の構成において、特定領域に対するポインタの軌跡を検出する場合の説明図である。
【図３】本発明の実施形態２の情報入力装置のブロック図である。
【図４】実施形態２における、特定領域に対するポインタの軌跡検出の方式の説明図である。
【図５】実施形態２における、特定領域に対するポインタの軌跡の組み合わせの説明図である。
【図６】実施形態２における、特定領域に対するポインタの軌跡の意味割り当て方式の説明図である。
【図７】実施形態２の、スライダ操作への適用例の説明図である。
【符号の説明】
１ ポインタ位置入力手段
２ ポインタ領域通過検出手段
３ ポインタ位置蓄積手段
４ ジェスチャ認識手段
５ 処理部
６ 表示部
７ エッジ通過検出手段
８ 時系列パターン解析手段
９、１１、１７、１８ 軌跡
１０ ポインタ
１２ オブジェクト
１３ 領域
【発明の属する技術分野】
本発明は、情報入力装置及び方法に係り、特にパーソナルコンピュータなどの電子機器を操作するための情報表示画面へのポインタ操作制御についての情報入力装置及び方法に関する。
【０００２】
【従来の技術】
従来から、パーソナルコンピュータなどの電子機器を操作する場合、マウスやトラックボールなどのポインティングデバイスを用いて、情報表示画面内のポインタやカーソルを移動させ、画面上のオブジェクトを指示して、ボタン操作を付加することにより、特定の作業を起動したり、オブジェクトを移動させたりする。このような手法は、ＧＵＩ（グラフィカルユーザインターフェース）と呼ばれており、パーソナルコンピュータのひとつの操作形態として、現在では広く用いられている方法のひとつである。
【０００３】
今後、電子機器が、より小型になり、自由に携帯できるようになると、従来のポインティングデバイスでは十分でないケースが現れてくるであろうことは容易に予測できる。例えば、マウスは操作するために、ある程度の広さの平面を必要とするため、携帯機器には不適切である。一方、トラックボールや小型のジョイスティックの場合、操作する手の動きと、ポインタの動きが異なるので、特定の作業を指示するジェスチャ入力には不向きである。ペンデバイスを用いる場合は、使用する度にペンを取り出す煩わしさがあり、更にペンの紛失の可能性を考えると、最適な手法とも言い難い。
【０００４】
さて、情報入力方式としては、本件の発明者が、特願平７−２５０４１８号などで既に提案している方法でもあるが、操作者の手に光を当て、その反射光を画像として捉え、これを画像処理することによりポインタの位置を求めるようにしたフィンガポィンティングインターフェース（ＦＰＩ）がある。これは、手指の動きでポインタの動きを制御できるので、特別な道具を用いることなく、操作者の体の一部の動きを捉えて、ポインタを操作し、電子機器に対する情報の入力ができるため、特に、携帯用の情報機器において、その操作性を大幅に向上できるというメリットがある。
【０００５】
しかし、このＦＰＩの場合も、画面を操作する場合に、指の動きだけを用いてポインタを操作する訳ではなく、他のボタンなどの操作と併用してポインタの意味付けをする必要があるため、操作性の向上に限界があった。つまり、携帯用情報機器を左手で保持して、右手によりポインタを動かす場合、更に左手によるボタン操作を並行して行う必要があるため、左手によるボタン操作時に、機器本体が動いてしまい、所望のオブジェクトを指定できなくなったり、またボタンを操作する度に画面が揺れてしまい、操作しにくくなるという問題がある。
【０００６】
一方、ペンデバイスの場合も同様に、タブレットへの接触と非接触の情報により、位置情報を入力するように構成されているが、この場合も、位置情報以外の特定操作に対応させるため、ペン先にペンをタブレットに押しつけた場合に投入されるスイッチを仕込んだり、ペン本体に別の操作スイッチを、設けるなどの対応を行う必要があり、決定的に操作性を向上できないという問題がある。
【０００７】
同様の問題は、ジャイロや赤外線発光部を装備したリモートコントローラによりポインタを操作する、いわゆる空間マウスにおいても顕在化しており、ポインタで指定されたオブジェクトに、何らかの意味のある操作を加える場合、別にボタンなどの操作部が必要であり、操作性向上の阻害要因となっている。
【０００８】
【発明が解決しようとする課題】
従来の情報入力装置は、以上のように、位置情報以外の特定操作のための入力手段として、マウスボタンや、これに対応するような入力部を備え、位置情報とボタン操作を関連づけて処理するように構成されているので、特に携帯用情報機器などの場合は、操作が煩雑になったり、操作内容によっては、適さないなどの問題点があった。
【０００９】
本発明は、上記のような従来技術の問題点を解消し、ボタンなどの、位置情報以外の情報を入力するための操作部分を排除し、位置情報の入力を行うための機能に対して、位置情報の変化から特定の操作を指示するジェスチャ入力を判別する機能を付加するだけで、画面内のオブジェクトを指定し、これに関連する操作入力を行い、電子機器を快適に操作することを可能とした情報入力装置及び方法を提供することを目的とする。
【００１０】
【課題を解決するための手段】
上記目的を達成するために、本発明は、表示画面の任意の位置を指示するポインタの位置情報を入力するポインタ位置入力手段と、前記表示画面上のオブジェクトに関連付けて設定される特定領域を設定し、該特定領域にポインタが入ったこと及び該特定領域からポインタが出たことを検出するポインタ領域通過検出手段と、前記ポインタ領域通過検出手段の検出結果に基づいてポインタが特定領域に入ってから出るまでの軌跡を蓄積するポインタ位置蓄積手段と、前記ポインタ位置蓄積手段により蓄積した軌跡を解析することによって意味を認識する認識手段と、を備えることを特徴とする情報入力装置を提供するものである。
【００１１】
さらに、本発明は、ポインタ位置入手段によって、表示画面の任意の位置を指示するポインタの位置情報を入力し、ポインタ領域通過検出手段により、前記表示画面上のオブジェクトに関連付けて設定される特定領域を設定し、該特定領域にポインタが入ったこと及び該特定領域からポインタが出たことを検出し、ポインタ位置蓄積手段により、前記ポインタ領域通過検出手段の検出結果に基づいてポインタが特定領域に入ってから出るまでの軌跡を蓄積し、認識手段により、前記軌跡を解析することによって、意味を認識するようにしたことを特徴とする情報入力方法を提供するものである。
【００１２】
【発明の実施の形態】
以下、図面を参照しながら、本発明の実施の形態を説明する。
図１は、本発明の実施形態１の情報入力装置のブロック図である。
図１の構成と、動作について、図２の説明図にしたがって説明する。
ポインタ位置入力手段１は、操作者の指示に基づいて、図示しない画面上の任意の位置に、ポインタ１０を位置付ける機能を有する。
【００１３】
ポインタ位置入力手段１としては、従来から知られているマウスやペン入力装置でもよいが、より好適な適用例としては、先にも述べたような、操作者の指先の位置および動きを検出し、操作者が手指を動かした時に、その位置を捉えて画面のポインタ１０の位置を決定するＦＰＩがある。
【００１４】
ポインタ位置入力手段１からはポインタ１０の位置を示す信号が表示部６に与えられ、表示部６はポインタの位置を表示する。併せて、ポインタ位置入力手段１からのポインタ１０の位置は、ポインタ位置蓄積手段３に与えられる。ちなみに、ポインタ位置蓄積手段３はポインタ１０の軌跡１１を蓄積する機能を有しており、ポインタ領域通過検出手段２からの信号により、その蓄積動作を制御される。
【００１５】
一方、ポインタ領域通過検出手段２は、ポインタ位置入力手段１によるポインタ１０の位置と、画面内のオブジェクト１２に関連付けてその周辺に設定される特定の領域１３との接触状態を検出するもので、ポインタ１０がこの特定の領域１３の境界領域を通過した場合に、これを検出して、ポインタ１０が領域１３の中にあるのか、外にあるのかの情報を含めて、ポインタ位置蓄積手段３およびジェスチャ認識手段４に与える。
【００１６】
その結果、ポインタ位置蓄積手段３は、ポインタ１０の領域１３内部における位置を、その軌跡として蓄積する。
【００１７】
ジェスチャ認識手段４は、ポインタ領域通過検出手段２とポインタ位置蓄積手段３の各出力に基づいて、ポインタ１０の軌跡１１を判別し、ある入力の意味に関連付けられている操作の特定のジェスチャを認識すると、その認識結果を処理部５に与える。
【００１８】
処理部５は、操作の特定の意味をジェスチャ認識手段４から受け取ると、これを位置情報以外の操作入力として捉え、これを表示部６に与えると共に、操作入力に対応する処理を実行する。
【００１９】
さて、領域１３は、画面内の対象となるオブジェクト１２よりやや大きめの範囲に設定されている。そして、ポインタの軌跡１１が図２のように描かれる場合を想定すると、ポインタ１０が位置１４に至った時に、ポインタ領域通過検出手段２により領域１３に入ったことが検出され、ポインタ１０が位置１５に至った時に、領域１３から出たことが検出される。
【００２０】
ポインタ位置蓄積手段３は、ポインタ１０が領域１３の領域内に入ったことを知らせる信号に基づいてポインタ１０の位置の蓄積を始め、ポインタ１０が領域１３から出たことを知らせる信号に基づいて蓄積を停止する。図２の例では、ポインタ１０が位置１４に到達した時点から、位置１５に至るまでのポインタ１０の位置、つまり図面に黒丸で示される位置が蓄積される。
【００２１】
以上のようにして、蓄積されたポインタ１０の位置の時系列的な変化が、ジェスチャ認識手段４に読み込まれ、領域１３内におけるポインタ１０のジェスチャが、予め設定された、意味を持った特徴的な動きであるか否かを判定する。
【００２２】
例えば、位置の移動ベクトルを考える場合、領域１３に入った時と、出た時では、ベクトルの向きは反対方向に近い。これに対して、領域１３内で、急激に方向が変化するような軌跡１１が捉えられた場合、このジェスチャは、例えば「チェックマーク」であると判定される。
【００２３】
このジェスチャが領域１３内にあるオブジェクト１２に対する何らかのアクションであると判断された場合、その情報は処理部５に伝達され、処理部５は対応するオブジェクト１２に関連付けられた特定の操作を行う。例えば、このジェスチャが、対象となるファイルのオープンに対応するものであれば、オブジェクト１２が示すファイルをオープンすることになる。
【００２４】
表示部６は、ポインタ１０の位置を画面に表示するのはもちろんであるが、ポインタ１０の領域１３に対する関係、例えば領域１３に入っている、入っていないなどや、ジェスチャの認識結果などに基づく適切なフィードバックを表示を画面上で行う。
【００２５】
さて、先にも述べたように、ポインタ位置入力手段１は、手指を利用するＦＰＩに限らず、マウスやトラックボールやペン入力のタブレットなど、一般に多くら用いられている入力方式や、空間マウスなどに適用可能である。そして、ＦＰＩと同様に、従来、他の操作ボタンを必要としていた空間マウスの場合に、顕著な効果を得ることができる。
【００２６】
さて、ポインタ領域通過検出手段２は、画面の中の予め定められた領域１３と、ポインタ１０の接触状態を検出するものであるが、その検出の方法についてはさまざまな方式が考えられる。例えば、先に説明したように、ポインタ１０が領域１３に入ったことと、領域１３から出たことを検出する代わりに、ポインタ１０が領域１３の内部にあるか否かを検出するようにしてもよい。
【００２７】
また、ここで言う領域１３は、矩形の領域に限らず、丸や三角やその他の形状の領域であっても、線や点で特定される領域であってもよい。つまり、オブジェクト１２に対して、特定の位置関係にある線分や、点を設定しておき、これらの線分や点に対して、ポインタ１０がどのように動いたかを検出してジェスチャ判定するようにすることもできる。
【００２８】
また、上記実施形態では、オブジェクト１２に対して、領域１３が大きな面積で設定されているが、領域１３はオブジェクト１２よりも小さな領域であってもよいし、またオブジェクト１２と必ずしも重ならなくてもよい。つまり、領域１３がオブジェクト１２に対して特定の位置関係にあることが予め分かっていれば、操作者はオブジェクト１２に関係する意味のある操作を、領域１３に対して行うことができる。
【００２９】
なお、上記実施形態では、ポインタ位置蓄積手段３の動作については、ポインタ領域通過検出手段２からの領域通過情報に基づいて、ポインタ１０の位置を、数ポイント記憶し、その蓄積情報をジェスチャ認識手段４に出力するような場合を例示したが、ポインタ位置蓄積手段３の制御のために必ずしもポインタ領域通過検出手段２からの領域通過情報を用いる必要はなく、ポインタ位置蓄積手段３で常にポインタ１０の軌跡を過去の数ポイント分記録蓄積しておき、ポインタ領域通過検出手段２からジェスチャ認識手段４に領域内通過を示す信号が与えられた時点で、ジェスチャ認識手段４によりポインタ位置蓄積手段３の蓄積情報を読み出し、ジェスチャ判定するようにしてもよい。
【００３０】
図３は、本発明の実施形態２の情報入力装置のブロック図である。
図３の構成と、動作について、図４の説明図にしたがって説明する。
本実施形態の場合も、図４に示すように、画面内のオブジェクトに関連づけられた領域１３が設定されており、これとポインタ１０の位置関係によって、位置情報以外の特定の操作を入力指定できるようになっている。
【００３１】
本実施形態２の場合、画面内に設定された領域１３は、１つ以上の辺、つまりエッジで囲まれており、ポインタ１０が、領域１３の内側にあるか、外側にあるかだけでなく、どのエッジを、どの方向に通過したのかの情報に基づいて、特定の意味を持った操作入力の内容を判断するようにしている。
【００３２】
図２において、エッジ通過検出手段７は、ポインタ１０が領域１３のエッジを通過したことを検出して、ポインタ１０が、どのエッジを、どの方向に通過したかを時系列パターン解析手段８に報知する。
【００３３】
なお、エッジ通過検出手段７は、領域エッジデータを、予め登録してあり、この領域エッジデータを参照しながら、通過エッジと方向を検出する。したがって、領域１３が、矩形以外の多角形の場合、領域１３は多角形の形状に応じた数のエッジを持っている訳であるが、この場合も、多角形の登録データに基づいてポインタ１０の通過エッジと、通過方向を検出することができる。
【００３４】
なお、領域１３として、円形や楕円形を設定している場合も、稜線をいくつかの曲線状の線分に分割して、それぞれを多角形のエッジと想定し、ほぼ同じ大きさの多角形をあてはめることにより、エッジ検出と見做すことができる。
【００３５】
また、多角形の領域１３に対して、ひとつの辺をひとつのエッジに割り当てる代わりに、複数の辺をまとめて１つのエッジと見做しても、逆にひとつの辺に、複数のエッジを割り当てるようにしてもよく、これはエッジ通過検出手段７に登録されたデータにより、任意に設定可能である。
【００３６】
今、図４に示すように、矩形の領域１３を考えると、４本の辺に４つのエッジを割り当てることができる。
【００３７】
さて、ポインタ１０が領域１３に入り、出て行く場合には、ポインタ１０の軌跡は４つのエッジに対して、さまざまな関係を持つ。例えば、図５の説明図に示すように、領域１３の上のエッジをＴ、右のエッジをＲ、左のエッジをＬ、下のエッジをＢとした場合、４つのそれぞれのエッジＴ、Ｂ、Ｌ、Ｒに対して、ポインタ１０は、外から内に入る場合のＩと、内から外に出る場合のＯで、２つの場合が存在する。つまり、ポインタ１０が領域１３に対して、外から内に入る場合、エッジによりＴ、Ｂ、Ｌ、Ｒの４種類の意味を持たせることが可能であり、ポインタ１０が領域１３に対して、内から外に出る場合、エッジによりＴ、Ｂ、Ｌ、Ｒの４種類の意味を持たせることができる。したがって、ポインタ１０が領域１３の内に入って、次に外に出て行く場合、必ず２つのエッジを通過するので、それぞれの通過エッジによって全部で１６種類の意味合いを持たせることが可能である。
【００３８】
例えば、図４に示すように、ポインタ１０が軌跡９に沿って、エッジＴから入り、エッジＴから出ていった場合、「ＩＴ、ＯＴ」と表現でき、ポインタ１０が軌跡１７に沿って、エッジＬから入り、エッジＢから出ていった場合、「ＩＬ、ＯＢ」と表現できる。
【００３９】
時系列パターン解析手段８は、この通過情報の時系列パターンから、単純なパターンを排除し、特徴的なものだけに特定の操作の意味を割り当てている。
【００４０】
例えば、あるドキュメントを表すオブジェクトに対して、それを選択してオープンする、という動作を割り当てるために、オブジェクトに対応づけた領域１３に対して、「ＩＴ、ＯＴ」を割り当てる。
【００４１】
これは、図６の説明図に示すように、ポインタ１０が、軌跡９に沿って、領域１３に上から入り、上から出ていった場合を表すが、このようなポインタ１０の動きに対応して、時系列パターン解析手段８は処理部５に対して、オープン操作に対応する解析結果を送出し、処理部５はオブジェクトに対応するファイルのオープンを実行する。
【００４２】
また、あるオブジェクトに対して、それを選択してドラッグする、という動作を割り当てるために、オブジェクトに対応づけた領域１３に対して、「ＩＢ、ＯＢ」を割り当てる。
【００４３】
これは、図６の説明図に示すように、ポインタ１０が、軌跡１８に沿って領域１３に下から入り、下から出ていった場合を表すが、このようなポインタ１０の動きに対応して、時系列パターン解析手段８は処理部５に対して、ドラッグ操作に対応する解析結果を送出し、処理部５は、その後のポインタ１０の動きに対応して、オブジェクトのドラッグを実行する。
【００４４】
ここで、ポインタ１０の単純な動きを排除して、あえて複雑な特徴的な動きのみを、特定の操作に結びつけるのかについての理由を説明する。
【００４５】
例えば、単純にポインタ１０がオブジェクトに関連づけられた領域１３の上を通過しただけで、関連するオブジェクトに対応する操作が選択されるように設定した場合、操作者が、単純にポインタ１０を移動させたいだけの場合は、領域１３を避けてこれを実行する必要がある。これは、操作者に無用の負担をかけるだけでなく、場合によっては、操作者の意図しない誤操作を招く可能性が高い。
【００４６】
以上のような理由から、時系列パターン解析手段８は、ポインタ１０の単純な動き、例えば、ポインタ１０の上下左右斜めの単純な通過などは、特定の操作の意味付けから排除している。つまり、図４に示す軌跡１７のような場合、動きが単純であり、単なるポインタ１０の通過であると見做して、時系列パターン解析手段８は反応しない。
【００４７】
なお、本実施形態では、複数の軌跡に対して、複数の意味を持たせる場合を例示したが、全ての特徴的なポインタ１０の動きに対して、常に同じ意味を持たせるようにしてもよい。つまり、「ＩＴ、ＯＴ」、「ＩＢ、ＯＢ」、「ＩＬ、ＯＬ」や「ＩＲ、ＯＲ」が検出された場合、常にファイルのオープンの意味を割り当てるようにしてもよい。
【００４８】
一方、動きの方向毎に意味を割り当てるやり方も考えられる。つまり、上下の動き「ＩＴ、ＯＴ」や「ＩＢ、ＯＢ」にファイルのオープン、左右の動き「ＩＬ、ＯＬ」や「ＩＲ、ＯＲ」にオブジェクトのドラッグを割り当てるようにしてもよい。
【００４９】
図７は、量を入力する場合、例えば音量、表示輝度、パラメータ設定などによく用いられるスライダを操作する場合の状態を示す説明図である。
【００５０】
まず、同図（Ａ）に示すように、ポインタ１０を、スライダの現在位置を示すオブジェクト、つまり現在位置オブジェクトに重ねられた領域１３に対して、矢印Ａに示すように、上エッジから中にいれる。これが「ＩＴ」動作となる。なお、この場合は、オブジェクトとこれを検出するための領域１３を同じサイズにしてある。
【００５１】
その結果、図３のエッジ通過検出手段７は、ポインタ１０が領域１３に上から入ったことを検出して、時系列パターン解析手段８を通じて処理部５にそのことを示す信号を送出し、スライダをアクティブにする。
【００５２】
しかる後は、同図（Ｂ）に示すように、ポインタ１０を左右に動かすことにより、スライダを矢印Ｂ方向に左右に動かし、所望の量を操作選択することができるようになる。
【００５３】
スライダを所望の位置まで動かしたら、同図（Ｃ）に示すように、ポインタ１０を、矢印Ｃ方向に、下エッジから領域１３の外に出す。これが「ＯＢ」動作となる。その結果、このポインタ１０の軌跡はエッジ通過検出手段７により検出され、時系列パターン解析手段８、処理部５を通じて、スライダの位置の確定動作が行われ、量の入力が終了する。
【００５４】
なお、ポインタ１０を下エッジから外に出す代わりに、上エッジから外に出した場合、これまでのスライダの動きをキャンセルして、スライダを動かす前の状態に戻すようにしてもよい。このようにポインタ１０の領域１３に対する動きに意味を与えるのは、エッジ通過検出手段７、時系列パターン解析手段８、処理部５の制御プログラムであり、任意に設定可能である。
【００５５】
さて、指の動きでポインタ１０を制御している場合に、スライダを左右に動かす場合に、指の動きが上下にずれてしまうと、領域１３の上下の範囲を越えてしまうことがある。その結果、操作者の意図に反して、量が確定したり、スライダの動きがキャンセルされてしまったりと、不都合な動きになり易い。この うに、領域１３の範囲からちょっとはずれただけで、制御不可能になってしまうのでは、非常に使いにくいので、以下のような処理を行うのが好ましい。
【００５６】
まず、ポインタ１０を領域１３の上エッジから現在位置オブジェクトに入れた場合、以降のポインタ１０の移動については、量の選択を行う左右方向のみを量子化するように設定する。ポインタ１０の移動方向が上下方向から一定の範囲にある場合は、左右方向の動きのみを投影した量だけオブジェクトを動かし、ポインタ１０も左右のみに動かす。ポインタ１０の移動方向が上下方向から一定の範囲内にある限りは、左右方向にポインタを移動し、左右の動きが止まった場合に、始めてポインタ１０の上下方向の移動量を検出するようにし、その後、ポインタ１０が領域１３の上下のエッジを通過した場合に、量の確定かスライダの移動のキャンセルを行なう。その結果、スライダを操作する場合の操作性を大幅に向上することができる。
【００５７】
なお、スライダ操作の際のポインタ１０の左右の動きの傾向の検出により、制御モードを切り替える代わりに、スライダ操作のために、ポインタ１０が領域１３に入った場合、領域１３の上下の範囲を広げて、ポインタ１０が容易に領域１３から外れないようにしても同様の効果を得ることができる。
【００５８】
なお、スライダ操作以外にも、色選択やメニューバー選択など、さまざまな入力操作が考えられるが、いずれにせよ、オブジェクトに関連付けて設定される領域に対するポインタの特徴的な動きを、操作の意味に関連付けて登録しておくことにより、位置情報以外のさまざまな操作入力を行うことが可能である。
【００５９】
【発明の効果】
以上述べたように、本発明の情報入力装置は、オブジェクトに対応して配置される領域におけるポインタの動きや、この領域のエッジに対するポインタの出入方向の組み合わせから、ポインタの特徴的な動きを抽出し、この抽出情報に基づいて、位置情報以外の特定の意味を電子機器に与えるように構成したので、マウスボタンのような特別な入力手段によらずにオブジェクトに対応する意味入力が可能となり、操作性を大幅に向上できるという効果がある。
【図面の簡単な説明】
【図１】本発明の実施形態１の情報入力装置のブロック図である。
【図２】図１の構成において、特定領域に対するポインタの軌跡を検出する場合の説明図である。
【図３】本発明の実施形態２の情報入力装置のブロック図である。
【図４】実施形態２における、特定領域に対するポインタの軌跡検出の方式の説明図である。
【図５】実施形態２における、特定領域に対するポインタの軌跡の組み合わせの説明図である。
【図６】実施形態２における、特定領域に対するポインタの軌跡の意味割り当て方式の説明図である。
【図７】実施形態２の、スライダ操作への適用例の説明図である。
【符号の説明】
１ ポインタ位置入力手段
２ ポインタ領域通過検出手段
３ ポインタ位置蓄積手段
４ ジェスチャ認識手段
５ 処理部
６ 表示部
７ エッジ通過検出手段
８ 時系列パターン解析手段
９、１１、１７、１８ 軌跡
１０ ポインタ
１２ オブジェクト
１３ 領域
Claims (5)
- 表示画面の任意の位置を指示するポインタの位置情報を入力するポインタ位置入力手段と、前記表示画面上のオブジェクトに関連付けて設定される特定領域を設定し、該特定領域にポインタが入ったこと及び該特定領域からポインタが出たことを検出するポインタ領域通過検出手段と、前記ポインタ領域通過検出手段の検出結果に基づいてポインタが特定領域に入ってから出るまでの軌跡を蓄積するポインタ位置蓄積手段と、前記ポインタ位置蓄積手段により蓄積した軌跡を解析することによって意味を認識する認識手段と、を備えることを特徴とする情報入力装置。
- 前記認識手段が、前記ポインタの前記特定領域内の軌跡に基づき、前記ポインタの動きに対応するジェスチャを認識するジェスチャ認識手段で構成される請求項１記載の情報入力装置。
- 前記ポインタ領域通過検出手段が、前記特定領域のエッジを前記ポインタが通過した場合に、そのエッジと方向を検出するエッジ通過検出手段で構成され、前記認識手段が、前記ポインタ領域通過検出手段の出力に基づき、前記ポインタの前記特定領域に対する時系列的な動きのパターンを解析する時系列パターン解析手段で構成される請求項１記載の情報入力装置。
- 前記ポインタ領域通過検出手段及び前記認識手段が、前記ポインタが前記特定領域に入る前と、入った後で、前記特定領域に関連するポインタ位置入力手段の操作条件を変更させる情報を出力するようにした請求項１記載の情報入力装置。
- ポインタ位置入手段によって、表示画面の任意の位置を指示するポインタの位置情報を入力し、ポインタ領域通過検出手段により、前記表示画面上のオブジェクトに関連付けて設定される特定領域を設定し、該特定領域にポインタが入ったこと及び該特定領域からポインタが出たことを検出し、ポインタ位置蓄積手段により、前記ポインタ領域通過検出手段の検出結果に基づいてポインタが特定領域に入ってから出るまでの軌跡を蓄積し、認識手段により、前記軌跡を解析することによって、意味を認識するようにしたことを特徴とする情報入力方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP24386996A JP3904637B2 (ja) | 1996-09-13 | 1996-09-13 | 情報入力装置及び方法 |
| US08/928,140 US5990893A (en) | 1996-09-13 | 1997-09-12 | Data input device and method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP24386996A JP3904637B2 (ja) | 1996-09-13 | 1996-09-13 | 情報入力装置及び方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH1091320A JPH1091320A (ja) | 1998-04-10 |
| JP3904637B2 true JP3904637B2 (ja) | 2007-04-11 |
Family
ID=17110197
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP24386996A Expired - Fee Related JP3904637B2 (ja) | 1996-09-13 | 1996-09-13 | 情報入力装置及び方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US5990893A (ja) |
| JP (1) | JP3904637B2 (ja) |
Families Citing this family (58)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8352400B2 (en) | 1991-12-23 | 2013-01-08 | Hoffberg Steven M | Adaptive pattern recognition based controller apparatus and method and human-factored interface therefore |
| KR100766627B1 (ko) | 1998-01-26 | 2007-10-15 | 핑거웍스, 인크. | 수동 입력 통합 방법 및 장치 |
| US6356287B1 (en) * | 1998-03-20 | 2002-03-12 | Nuvomedia, Inc. | Citation selection and routing feature for hand-held content display device |
| US6154214A (en) * | 1998-03-20 | 2000-11-28 | Nuvomedia, Inc. | Display orientation features for hand-held content display device |
| US6331867B1 (en) * | 1998-03-20 | 2001-12-18 | Nuvomedia, Inc. | Electronic book with automated look-up of terms of within reference titles |
| US6181344B1 (en) * | 1998-03-20 | 2001-01-30 | Nuvomedia, Inc. | Drag-and-release method for configuring user-definable function key of hand-held computing device |
| US7904187B2 (en) | 1999-02-01 | 2011-03-08 | Hoffberg Steven M | Internet appliance system and method |
| US7046229B1 (en) * | 1999-04-20 | 2006-05-16 | Microsoft Corporation | Computer input device providing absolute and relative positional information |
| US6396523B1 (en) | 1999-07-29 | 2002-05-28 | Interlink Electronics, Inc. | Home entertainment device remote control |
| US6901561B1 (en) * | 1999-10-19 | 2005-05-31 | International Business Machines Corporation | Apparatus and method for using a target based computer vision system for user interaction |
| US6765557B1 (en) | 2000-04-10 | 2004-07-20 | Interlink Electronics, Inc. | Remote control having touch pad to screen mapping |
| EP1246048A1 (en) * | 2001-03-26 | 2002-10-02 | SAP Aktiengesellschaft | Method and computer system for executing functions for objects based on the movement of an input device |
| JP2003283615A (ja) | 2002-03-27 | 2003-10-03 | Nec Corp | 移動体通信端末 |
| US7757186B2 (en) * | 2003-07-07 | 2010-07-13 | Apple Inc. | Automatic mapping of pointing devices to multiple displays |
| US7565622B2 (en) * | 2003-07-10 | 2009-07-21 | Lenovo (Singapore) Pte Ltd. | Method and apparatus for modification of pointing device functions in conjunction with dynamic sorting, displaying, listing, and activation |
| TWI227838B (en) * | 2003-07-30 | 2005-02-11 | Fujitsu Ltd | Certifying method, certifying device, and computer readable storing medium |
| US7707039B2 (en) | 2004-02-15 | 2010-04-27 | Exbiblio B.V. | Automatic modification of web pages |
| US8442331B2 (en) | 2004-02-15 | 2013-05-14 | Google Inc. | Capturing text from rendered documents using supplemental information |
| JP2005215749A (ja) * | 2004-01-27 | 2005-08-11 | Nec Corp | 操作要素の選択方式とその選択方法 |
| US7812860B2 (en) | 2004-04-01 | 2010-10-12 | Exbiblio B.V. | Handheld device for capturing text from both a document printed on paper and a document displayed on a dynamic display device |
| US10635723B2 (en) | 2004-02-15 | 2020-04-28 | Google Llc | Search engines and systems with handheld document data capture devices |
| US9143638B2 (en) | 2004-04-01 | 2015-09-22 | Google Inc. | Data capture from rendered documents using handheld device |
| US9008447B2 (en) | 2004-04-01 | 2015-04-14 | Google Inc. | Method and system for character recognition |
| US7894670B2 (en) | 2004-04-01 | 2011-02-22 | Exbiblio B.V. | Triggering actions in response to optically or acoustically capturing keywords from a rendered document |
| US9116890B2 (en) | 2004-04-01 | 2015-08-25 | Google Inc. | Triggering actions in response to optically or acoustically capturing keywords from a rendered document |
| US20060081714A1 (en) | 2004-08-23 | 2006-04-20 | King Martin T | Portable scanning device |
| US8146156B2 (en) | 2004-04-01 | 2012-03-27 | Google Inc. | Archive of text captures from rendered documents |
| US8081849B2 (en) | 2004-12-03 | 2011-12-20 | Google Inc. | Portable scanning and memory device |
| US7990556B2 (en) | 2004-12-03 | 2011-08-02 | Google Inc. | Association of a portable scanner with input/output and storage devices |
| US20060098900A1 (en) | 2004-09-27 | 2006-05-11 | King Martin T | Secure data gathering from rendered documents |
| WO2008028674A2 (en) | 2006-09-08 | 2008-03-13 | Exbiblio B.V. | Optical scanners, such as hand-held optical scanners |
| US8713418B2 (en) | 2004-04-12 | 2014-04-29 | Google Inc. | Adding value to a rendered document |
| US8620083B2 (en) | 2004-12-03 | 2013-12-31 | Google Inc. | Method and system for character recognition |
| US8874504B2 (en) | 2004-12-03 | 2014-10-28 | Google Inc. | Processing techniques for visual capture data from a rendered document |
| US8489624B2 (en) | 2004-05-17 | 2013-07-16 | Google, Inc. | Processing techniques for text capture from a rendered document |
| US8346620B2 (en) | 2004-07-19 | 2013-01-01 | Google Inc. | Automatic modification of web pages |
| US7721197B2 (en) * | 2004-08-12 | 2010-05-18 | Microsoft Corporation | System and method of displaying content on small screen computing devices |
| US8169410B2 (en) * | 2004-10-20 | 2012-05-01 | Nintendo Co., Ltd. | Gesture inputs for a portable display device |
| JP2006129942A (ja) * | 2004-11-02 | 2006-05-25 | Namco Ltd | プログラム、情報記憶媒体及びゲーム装置 |
| JP2008527528A (ja) * | 2005-01-05 | 2008-07-24 | ゼ ウー アン | ポインティング入力手段を利用した文字入力方法および装置 |
| US7750893B2 (en) * | 2005-04-06 | 2010-07-06 | Nintendo Co., Ltd. | Storage medium storing input position processing program, and input position processing device |
| US7543248B2 (en) * | 2005-05-31 | 2009-06-02 | Fuji Xerox Co., Ltd. | User-machine interface |
| US7855718B2 (en) | 2007-01-03 | 2010-12-21 | Apple Inc. | Multi-touch input discrimination |
| US8130203B2 (en) | 2007-01-03 | 2012-03-06 | Apple Inc. | Multi-touch input discrimination |
| JP5225820B2 (ja) * | 2008-11-25 | 2013-07-03 | アイシン精機株式会社 | 入力装置、車両周辺監視装置、アイコンスイッチ選択方法及びプログラム |
| JP5178484B2 (ja) * | 2008-12-08 | 2013-04-10 | キヤノン株式会社 | 情報処理装置及び情報処理方法 |
| CN102369724B (zh) | 2009-02-18 | 2016-05-04 | 谷歌公司 | 自动捕获信息，例如使用文档感知设备捕获信息 |
| US8447066B2 (en) | 2009-03-12 | 2013-05-21 | Google Inc. | Performing actions based on capturing information from rendered documents, such as documents under copyright |
| WO2010105245A2 (en) | 2009-03-12 | 2010-09-16 | Exbiblio B.V. | Automatically providing content associated with captured information, such as information captured in real-time |
| US9081799B2 (en) | 2009-12-04 | 2015-07-14 | Google Inc. | Using gestalt information to identify locations in printed information |
| US9323784B2 (en) | 2009-12-09 | 2016-04-26 | Google Inc. | Image search using text-based elements within the contents of images |
| CN101825960B (zh) * | 2010-04-23 | 2012-07-18 | 潘天华 | 基于鼠标的3点状态信息实现电脑功能控制的方法 |
| CN102385471B (zh) * | 2010-08-31 | 2016-01-20 | 腾讯科技（深圳）有限公司 | 一种控制启动的方法和装置 |
| US9189072B2 (en) * | 2011-02-08 | 2015-11-17 | Lg Electronics Inc. | Display device and control method thereof |
| JP5790257B2 (ja) * | 2011-07-29 | 2015-10-07 | 富士通株式会社 | 文字入力装置，文字入力プログラムおよび文字入力方法 |
| CN102662581B (zh) * | 2012-03-31 | 2015-06-24 | 北京奇虎科技有限公司 | 以鼠标输入进行控制的方法及系统 |
| JP5390674B2 (ja) * | 2012-08-24 | 2014-01-15 | 株式会社東芝 | 情報処理装置、情報処理方法及びプログラム |
| CN113132408A (zh) * | 2021-04-29 | 2021-07-16 | 中原工学院 | 一种网络信息安全入侵检测方法 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5550930A (en) * | 1991-06-17 | 1996-08-27 | Microsoft Corporation | Method and system for training a handwriting recognizer at the time of misrecognition |
| US5592566A (en) * | 1992-05-27 | 1997-01-07 | Apple Computer, Incorporated | Method and apparatus for computerized recognition |
| US5583946A (en) * | 1993-09-30 | 1996-12-10 | Apple Computer, Inc. | Method and apparatus for recognizing gestures on a computer system |
| DE69426919T2 (de) * | 1993-12-30 | 2001-06-28 | Xerox Corp | Gerät und Verfahren zur Ausführung von vielen verkettenden Befehlsgesten in einen System mit Gestenbenutzerschnittstelle |
| US5687254A (en) * | 1994-06-06 | 1997-11-11 | Xerox Corporation | Searching and Matching unrecognized handwriting |
| JPH0844490A (ja) * | 1994-07-28 | 1996-02-16 | Matsushita Electric Ind Co Ltd | インターフェイス装置 |
-
1996
- 1996-09-13 JP JP24386996A patent/JP3904637B2/ja not_active Expired - Fee Related
-
1997
- 1997-09-12 US US08/928,140 patent/US5990893A/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH1091320A (ja) | 1998-04-10 |
| US5990893A (en) | 1999-11-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3904637B2 (ja) | 情報入力装置及び方法 | |
| US11513601B2 (en) | Method and system for human-to-computer gesture based simultaneous interactions using singular points of interest on a hand | |
| KR101437760B1 (ko) | 제스처 인식 장치, 전자기기, 제스처 인식 방법, 및 제어 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체 | |
| US9547792B2 (en) | Control apparatus, vehicle, and portable terminal | |
| EP0690407B1 (en) | Image recognition apparatus and method | |
| KR100858358B1 (ko) | 손의 움직임 인식을 이용한 사용자인터페이스 장치 및 방법 | |
| JP4267648B2 (ja) | インターフェース装置及びその方法 | |
| US6979087B2 (en) | Display system with interpretable pattern detection | |
| US20070097093A1 (en) | Pad type input device and scroll controlling method using the same | |
| WO2012120958A1 (ja) | 投影装置 | |
| KR101631011B1 (ko) | 제스처 인식 장치 및 제스처 인식 장치의 제어 방법 | |
| JP2012185630A (ja) | 投影装置 | |
| KR20140100761A (ko) | 터치식 입력장치에서의 제스처 입력 구분 방법 및 제스처 입력 구분 장치 | |
| JP5817149B2 (ja) | 投影装置 | |
| JP2012027515A (ja) | 入力方法及び入力装置 | |
| JP6452369B2 (ja) | 情報処理装置とその制御方法、プログラム、記憶媒体 | |
| CN105808129A (zh) | 一种利用手势快速开启软件功能的方法和装置 | |
| JPH10269021A (ja) | タッチパネル入力装置 | |
| JP2005092419A (ja) | 情報処理装置およびプログラム | |
| JPH0773278A (ja) | 情報入力装置 | |
| KR100939831B1 (ko) | 입력 에러를 감소시키기 위한 조작 입력 장치 및 정보 기기조작 장치 | |
| CN110007748B (zh) | 终端的控制方法、处理装置、存储介质及终端 | |
| US11656733B2 (en) | Position specifying method and program | |
| JPH09237151A (ja) | グラフィカルユーザインタフェース | |
| US20090160765A1 (en) | Inputting unit, inputting method, and information processing equipment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040114 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20040303 |
|
| A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20040409 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20050415 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20050606 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070110 |
|
| LAPS | Cancellation because of no payment of annual fees |