JPH1091320A - 情報入力装置及び方法 - Google Patents

情報入力装置及び方法

Info

Publication number
JPH1091320A
JPH1091320A JP24386996A JP24386996A JPH1091320A JP H1091320 A JPH1091320 A JP H1091320A JP 24386996 A JP24386996 A JP 24386996A JP 24386996 A JP24386996 A JP 24386996A JP H1091320 A JPH1091320 A JP H1091320A
Authority
JP
Japan
Prior art keywords
pointer
screen
trajectory
input
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP24386996A
Other languages
English (en)
Other versions
JP3904637B2 (ja
Inventor
Shunichi Numazaki
崎 俊 一 沼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP24386996A priority Critical patent/JP3904637B2/ja
Priority to US08/928,140 priority patent/US5990893A/en
Publication of JPH1091320A publication Critical patent/JPH1091320A/ja
Application granted granted Critical
Publication of JP3904637B2 publication Critical patent/JP3904637B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

(57)【要約】 【課題】 位置情報以外の情報を入力するための操作部
分を排除しつつも、画面内のオブジェクトを指定可能と
する。 【解決手段】 ポインタ位置入力手段１から、表示画面
の任意の位置を指示するポインタの位置情報を入力し、
この入力情報に基づいて、表示画面上のオブジェクトに
関連付けて設定される特定領域に対するポインタの位置
の変化をポインタ領域通過検出手段２により検出し、ポ
インタ領域通過検出手段２の出力に基づき、ポインタ位
置入力手段１からのポインタの位置をポインタ位置蓄積
手段３に蓄積しておき、ジェスチャ認識手段４によりポ
インタ位置蓄積手段３からのポインタの軌跡情報を認識
して、ポインタの特定領域内における特徴的な動きを検
出し、処理部５により位置情報以外の操作入力を受け付
け、これに対応する動作を行わせる。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、情報入力装置及び
方法に係り、特にパーソナルコンピュータなどの電子機
器を操作するための情報表示画面へのポインタ操作制御
についての情報入力装置及び方法に関する。
【０００２】
【従来の技術】従来から、パーソナルコンピュータなど
の電子機器を操作する場合、マウスやトラックボールな
どのポインティングデバイスを用いて、情報表示画面内
のポインタやカーソルを移動させ、画面上のオブジェク
トを指示して、ボタン操作を付加することにより、特定
の作業を起動したり、オブジェクトを移動させたりす
る。このような手法は、ＧＵＩ（グラフィカルユーザイ
ンターフェース）と呼ばれており、パーソナルコンピュ
ータのひとつの操作形態として、現在では広く用いられ
ている方法のひとつである。
【０００３】今後、電子機器が、より小型になり、自由
に携帯できるようになると、従来のポインティングデバ
イスでは十分でないケースが現れてくるであろうことは
容易に予測できる。例えば、マウスは操作するために、
ある程度の広さの平面を必要とするため、携帯機器には
不適切である。一方、トラックボールや小型のジョイス
ティックの場合、操作する手の動きと、ポインタの動き
が異なるので、特定の作業を指示するジェスチャ入力に
は不向きである。ペンデバイスを用いる場合は、使用す
る度にペンを取り出す煩わしさがあり、更にペンの紛失
の可能性を考えると、最適な手法とも言い難い。
【０００４】さて、情報入力方式としては、本件の発明
者が、特願平７−２５０４１８号などで既に提案してい
る方法でもあるが、操作者の手に光を当て、その反射光
を画像として捉え、これを画像処理することによりポイ
ンタの位置を求めるようにしたフィンガポィンティング
インターフェース（ＦＰＩ）がある。これは、手指の動
きでポインタの動きを制御できるので、特別な道具を用
いることなく、操作者の体の一部の動きを捉えて、ポイ
ンタを操作し、電子機器に対する情報の入力ができるた
め、特に、携帯用の情報機器において、その操作性を大
幅に向上できるというメリットがある。
【０００５】しかし、このＦＰＩの場合も、画面を操作
する場合に、指の動きだけを用いてポインタを操作する
訳ではなく、他のボタンなどの操作と併用してポインタ
の意味付けをする必要があるため、操作性の向上に限界
があった。つまり、携帯用情報機器を左手で保持して、
右手によりポインタを動かす場合、更に左手によるボタ
ン操作を並行して行う必要があるため、左手によるボタ
ン操作時に、機器本体が動いてしまい、所望のオブジェ
クトを指定できなくなったり、またボタンを操作する度
に画面が揺れてしまい、操作しにくくなるという問題が
ある。
【０００６】一方、ペンデバイスの場合も同様に、タブ
レットへの接触と非接触の情報により、位置情報を入力
するように構成されているが、この場合も、位置情報以
外の特定操作に対応させるため、ペン先にペンをタブレ
ットに押しつけた場合に投入されるスイッチを仕込んだ
り、ペン本体に別の操作スイッチを、設けるなどの対応
を行う必要があり、決定的に操作性を向上できないとい
う問題がある。
【０００７】同様の問題は、ジャイロや赤外線発光部を
装備したリモートコントローラによりポインタを操作す
る、いわゆる空間マウスにおいても顕在化しており、ポ
インタで指定されたオブジェクトに、何らかの意味のあ
る操作を加える場合、別にボタンなどの操作部が必要で
あり、操作性向上の阻害要因となっている。
【０００８】
【発明が解決しようとする課題】従来の情報入力装置
は、以上のように、位置情報以外の特定操作のための入
力手段として、マウスボタンや、これに対応するような
入力部を備え、位置情報とボタン操作を関連づけて処理
するように構成されているので、特に携帯用情報機器な
どの場合は、操作が煩雑になったり、操作内容によって
は、適さないなどの問題点があった。
【０００９】本発明は、上記のような従来技術の問題点
を解消し、ボタンなどの、位置情報以外の情報を入力す
るための操作部分を排除し、位置情報の入力を行うため
の機能に対して、位置情報の変化から特定の操作を指示
するジェスチャ入力を判別する機能を付加するだけで、
画面内のオブジェクトを指定し、これに関連する操作入
力を行い、電子機器を快適に操作することを可能とした
情報入力装置及び方法を提供することを目的とする。
【００１０】
【課題を解決するための手段】上記目的を達成するため
に、本発明は、表示画面の任意の位置を指示するポイン
タの位置情報を入力するポインタ位置入力手段と、前記
表示画面上のオブジェクトに関連付けて設定される特定
領域に対する前記ポインタの軌跡を検出するポインタ軌
跡検出手段と、前記ポインタ軌跡検出手段の出力に基づ
いて前記ポインタ位置入力手段から与えられる操作を解
析し、意味を認識する認識手段と、を備える情報入力装
置を提供するものである。
【００１１】さらに、本発明は、表示画面上のオブジェ
クトに関連付けて設定される特定領域に対する入力され
たポインタの軌跡を検出し、検出した手段に基づいて、
ポインタ位置の入力によって与えられる操作を解析し、
意味を認識することを特徴とする情報入力方法を提供す
るものである。
【００１２】
【発明の実施の形態】以下、図面を参照しながら、本発
明の実施の形態を説明する。図１は、本発明の実施形態
１の情報入力装置のブロック図である。図１の構成と、
動作について、図２の説明図にしたがって説明する。ポ
インタ位置入力手段１は、操作者の指示に基づいて、図
示しない画面上の任意の位置に、ポインタ１０を位置付
ける機能を有する。
【００１３】ポインタ位置入力手段１としては、従来か
ら知られているマウスやペン入力装置でもよいが、より
好適な適用例としては、先にも述べたような、操作者の
指先の位置および動きを検出し、操作者が手指を動かし
た時に、その位置を捉えて画面のポインタ１０の位置を
決定するＦＰＩがある。
【００１４】ポインタ位置入力手段１からはポインタ１
０の位置を示す信号が表示部６に与えられ、表示部６は
ポインタの位置を表示する。併せて、ポインタ位置入力
手段１からのポインタ１０の位置は、ポインタ位置蓄積
手段３に与えられる。ちなみに、ポインタ位置蓄積手段
３はポインタ１０の軌跡１１を蓄積する機能を有してお
り、ポインタ領域通過検出手段２からの信号により、そ
の蓄積動作を制御される。
【００１５】一方、ポインタ領域通過検出手段２は、ポ
インタ位置入力手段１によるポインタ１０の位置と、画
面内のオブジェクト１２に関連付けてその周辺に設定さ
れる特定の領域１３との接触状態を検出するもので、ポ
インタ１０がこの特定の領域１３の境界領域を通過した
場合に、これを検出して、ポインタ１０が領域１３の中
にあるのか、外にあるのかの情報を含めて、ポインタ位
置蓄積手段３およびジェスチャ認識手段４に与える。
【００１６】その結果、ポインタ位置蓄積手段３は、ポ
インタ１０の領域１３内部における位置を、その軌跡と
して蓄積する。
【００１７】ジェスチャ認識手段４は、ポインタ領域通
過検出手段２とポインタ位置蓄積手段３の各出力に基づ
いて、ポインタ１０の軌跡１１を判別し、ある入力の意
味に関連付けられている操作の特定のジェスチャを認識
すると、その認識結果を処理部５に与える。
【００１８】処理部５は、操作の特定の意味をジェスチ
ャ認識手段４から受け取ると、これを位置情報以外の操
作入力として捉え、これを表示部６に与えると共に、操
作入力に対応する処理を実行する。
【００１９】さて、領域１３は、画面内の対象となるオ
ブジェクト１２よりやや大きめの範囲に設定されてい
る。そして、ポインタの軌跡１１が図２のように描かれ
る場合を想定すると、ポインタ１０が位置１４に至った
時に、ポインタ領域通過検出手段２により領域１３に入
ったことが検出され、ポインタ１０が位置１５に至った
時に、領域１３から出たことが検出される。
【００２０】ポインタ位置蓄積手段３は、ポインタ１０
が領域１３の領域内に入ったことを知らせる信号に基づ
いてポインタ１０の位置の蓄積を始め、ポインタ１０が
領域１３から出たことを知らせる信号に基づいて蓄積を
停止する。図２の例では、ポインタ１０が位置１４に到
達した時点から、位置１５に至るまでのポインタ１０の
位置、つまり図面に黒丸で示される位置が蓄積される。
【００２１】以上のようにして、蓄積されたポインタ１
０の位置の時系列的な変化が、ジェスチャ認識手段４に
読み込まれ、領域１３内におけるポインタ１０のジェス
チャが、予め設定された、意味を持った特徴的な動きで
あるか否かを判定する。
【００２２】例えば、位置の移動ベクトルを考える場
合、領域１３に入った時と、出た時では、ベクトルの向
きは反対方向に近い。これに対して、領域１３内で、急
激に方向が変化するような軌跡１１が捉えられた場合、
このジェスチャは、例えば「チェックマーク」であると
判定される。
【００２３】このジェスチャが領域１３内にあるオブジ
ェクト１２に対する何らかのアクションであると判断さ
れた場合、その情報は処理部５に伝達され、処理部５は
対応するオブジェクト１２に関連付けられた特定の操作
を行う。例えば、このジェスチャが、対象となるファイ
ルのオープンに対応するものであれば、オブジェクト１
２が示すファイルをオープンすることになる。
【００２４】表示部６は、ポインタ１０の位置を画面に
表示するのはもちろんであるが、ポインタ１０の領域１
３に対する関係、例えば領域１３に入っている、入って
いないなどや、ジェスチャの認識結果などに基づく適切
なフィードバックを表示を画面上で行う。
【００２５】さて、先にも述べたように、ポインタ位置
入力手段１は、手指を利用するＦＰＩに限らず、マウス
やトラックボールやペン入力のタブレットなど、一般に
多くら用いられている入力方式や、空間マウスなどに適
用可能である。そして、ＦＰＩと同様に、従来、他の操
作ボタンを必要としていた空間マウスの場合に、顕著な
効果を得ることができる。
【００２６】さて、ポインタ領域通過検出手段２は、画
面の中の予め定められた領域１３と、ポインタ１０の接
触状態を検出するものであるが、その検出の方法につい
てはさまざまな方式が考えられる。例えば、先に説明し
たように、ポインタ１０が領域１３に入ったことと、領
域１３から出たことを検出する代わりに、ポインタ１０
が領域１３の内部にあるか否かを検出するようにしても
よい。
【００２７】また、ここで言う領域１３は、矩形の領域
に限らず、丸や三角やその他の形状の領域であっても、
線や点で特定される領域であってもよい。つまり、オブ
ジェクト１２に対して、特定の位置関係にある線分や、
点を設定しておき、これらの線分や点に対して、ポイン
タ１０がどのように動いたかを検出してジェスチャ判定
するようにすることもできる。
【００２８】また、上記実施形態では、オブジェクト１
２に対して、領域１３が大きな面積で設定されている
が、領域１３はオブジェクト１２よりも小さな領域であ
ってもよいし、またオブジェクト１２と必ずしも重なら
なくてもよい。つまり、領域１３がオブジェクト１２に
対して特定の位置関係にあることが予め分かっていれ
ば、操作者はオブジェクト１２に関係する意味のある操
作を、領域１３に対して行うことができる。
【００２９】なお、上記実施形態では、ポインタ位置蓄
積手段３の動作については、ポインタ領域通過検出手段
２からの領域通過情報に基づいて、ポインタ１０の位置
を、数ポイント記憶し、その蓄積情報をジェスチャ認識
手段４に出力するような場合を例示したが、ポインタ位
置蓄積手段３の制御のために必ずしもポインタ領域通過
検出手段２からの領域通過情報を用いる必要はなく、ポ
インタ位置蓄積手段３で常にポインタ１０の軌跡を過去
の数ポイント分記録蓄積しておき、ポインタ領域通過検
出手段２からジェスチャ認識手段４に領域内通過を示す
信号が与えられた時点で、ジェスチャ認識手段４により
ポインタ位置蓄積手段３の蓄積情報を読み出し、ジェス
チャ判定するようにしてもよい。
【００３０】図３は、本発明の実施形態２の情報入力装
置のブロック図である。図３の構成と、動作について、
図４の説明図にしたがって説明する。本実施形態の場合
も、図４に示すように、画面内のオブジェクトに関連づ
けられた領域１３が設定されており、これとポインタ１
０の位置関係によって、位置情報以外の特定の操作を入
力指定できるようになっている。
【００３１】本実施形態２の場合、画面内に設定された
領域１３は、１つ以上の辺、つまりエッジで囲まれてお
り、ポインタ１０が、領域１３の内側にあるか、外側に
あるかだけでなく、どのエッジを、どの方向に通過した
のかの情報に基づいて、特定の意味を持った操作入力の
内容を判断するようにしている。
【００３２】図２において、エッジ通過検出手段７は、
ポインタ１０が領域１３のエッジを通過したことを検出
して、ポインタ１０が、どのエッジを、どの方向に通過
したかを時系列パターン解析手段８に報知する。
【００３３】なお、エッジ通過検出手段７は、領域エッ
ジデータを、予め登録してあり、この領域エッジデータ
を参照しながら、通過エッジと方向を検出する。したが
って、領域１３が、矩形以外の多角形の場合、領域１３
は多角形の形状に応じた数のエッジを持っている訳であ
るが、この場合も、多角形の登録データに基づいてポイ
ンタ１０の通過エッジと、通過方向を検出することがで
きる。
【００３４】なお、領域１３として、円形や楕円形を設
定している場合も、稜線をいくつかの曲線状の線分に分
割して、それぞれを多角形のエッジと想定し、ほぼ同じ
大きさの多角形をあてはめることにより、エッジ検出と
見做すことができる。
【００３５】また、多角形の領域１３に対して、ひとつ
の辺をひとつのエッジに割り当てる代わりに、複数の辺
をまとめて１つのエッジと見做しても、逆にひとつの辺
に、複数のエッジを割り当てるようにしてもよく、これ
はエッジ通過検出手段７に登録されたデータにより、任
意に設定可能である。
【００３６】今、図４に示すように、矩形の領域１３を
考えると、４本の辺に４つのエッジを割り当てることが
できる。
【００３７】さて、ポインタ１０が領域１３に入り、出
て行く場合には、ポインタ１０の軌跡は４つのエッジに
対して、さまざまな関係を持つ。例えば、図５の説明図
に示すように、領域１３の上のエッジをＴ、右のエッジ
をＲ、左のエッジをＬ、下のエッジをＢとした場合、４
つのそれぞれのエッジＴ、Ｂ、Ｌ、Ｒに対して、ポイン
タ１０は、外から内に入る場合のＩと、内から外に出る
場合のＯで、２つの場合が存在する。つまり、ポインタ
１０が領域１３に対して、外から内に入る場合、エッジ
によりＴ、Ｂ、Ｌ、Ｒの４種類の意味を持たせることが
可能であり、ポインタ１０が領域１３に対して、内から
外に出る場合、エッジによりＴ、Ｂ、Ｌ、Ｒの４種類の
意味を持たせることができる。したがって、ポインタ１
０が領域１３の内に入って、次に外に出て行く場合、必
ず２つのエッジを通過するので、それぞれの通過エッジ
によって全部で１６種類の意味合いを持たせることが可
能である。
【００３８】例えば、図４に示すように、ポインタ１０
が軌跡９に沿って、エッジＴから入り、エッジＴから出
ていった場合、「ＩＴ、ＯＴ」と表現でき、ポインタ１
０が軌跡１７に沿って、エッジＬから入り、エッジＢか
ら出ていった場合、「ＩＬ、ＯＢ」と表現できる。
【００３９】時系列パターン解析手段８は、この通過情
報の時系列パターンから、単純なパターンを排除し、特
徴的なものだけに特定の操作の意味を割り当てている。
【００４０】例えば、あるドキュメントを表すオブジェ
クトに対して、それを選択してオープンする、という動
作を割り当てるために、オブジェクトに対応づけた領域
１３に対して、「ＩＴ、ＯＴ」を割り当てる。
【００４１】これは、図６の説明図に示すように、ポイ
ンタ１０が、軌跡９に沿って、領域１３に上から入り、
上から出ていった場合を表すが、このようなポインタ１
０の動きに対応して、時系列パターン解析手段８は処理
部５に対して、オープン操作に対応する解析結果を送出
し、処理部５はオブジェクトに対応するファイルのオー
プンを実行する。
【００４２】また、あるオブジェクトに対して、それを
選択してドラッグする、という動作を割り当てるため
に、オブジェクトに対応づけた領域１３に対して、「Ｉ
Ｂ、ＯＢ」を割り当てる。
【００４３】これは、図６の説明図に示すように、ポイ
ンタ１０が、軌跡１８に沿って領域１３に下から入り、
下から出ていった場合を表すが、このようなポインタ１
０の動きに対応して、時系列パターン解析手段８は処理
部５に対して、ドラッグ操作に対応する解析結果を送出
し、処理部５は、その後のポインタ１０の動きに対応し
て、オブジェクトのドラッグを実行する。
【００４４】ここで、ポインタ１０の単純な動きを排除
して、あえて複雑な特徴的な動きのみを、特定の操作に
結びつけるのかについての理由を説明する。
【００４５】例えば、単純にポインタ１０がオブジェク
トに関連づけられた領域１３の上を通過しただけで、関
連するオブジェクトに対応する操作が選択されるように
設定した場合、操作者が、単純にポインタ１０を移動さ
せたいだけの場合は、領域１３を避けてこれを実行する
必要がある。これは、操作者に無用の負担をかけるだけ
でなく、場合によっては、操作者の意図しない誤操作を
招く可能性が高い。
【００４６】以上のような理由から、時系列パターン解
析手段８は、ポインタ１０の単純な動き、例えば、ポイ
ンタ１０の上下左右斜めの単純な通過などは、特定の操
作の意味付けから排除している。つまり、図４に示す軌
跡１７のような場合、動きが単純であり、単なるポイン
タ１０の通過であると見做して、時系列パターン解析手
段８は反応しない。
【００４７】なお、本実施形態では、複数の軌跡に対し
て、複数の意味を持たせる場合を例示したが、全ての特
徴的なポインタ１０の動きに対して、常に同じ意味を持
たせるようにしてもよい。つまり、「ＩＴ、ＯＴ」、
「ＩＢ、ＯＢ」、「ＩＬ、ＯＬ」や「ＩＲ、ＯＲ」が検
出された場合、常にファイルのオープンの意味を割り当
てるようにしてもよい。
【００４８】一方、動きの方向毎に意味を割り当てるや
り方も考えられる。つまり、上下の動き「ＩＴ、ＯＴ」
や「ＩＢ、ＯＢ」にファイルのオープン、左右の動き
「ＩＬ、ＯＬ」や「ＩＲ、ＯＲ」にオブジェクトのドラ
ッグを割り当てるようにしてもよい。
【００４９】図７は、量を入力する場合、例えば音量、
表示輝度、パラメータ設定などによく用いられるスライ
ダを操作する場合の状態を示す説明図である。
【００５０】まず、同図（Ａ）に示すように、ポインタ
１０を、スライダの現在位置を示すオブジェクト、つま
り現在位置オブジェクトに重ねられた領域１３に対し
て、矢印Ａに示すように、上エッジから中にいれる。こ
れが「ＩＴ」動作となる。なお、この場合は、オブジェ
クトとこれを検出するための領域１３を同じサイズにし
てある。
【００５１】その結果、図３のエッジ通過検出手段７
は、ポインタ１０が領域１３に上から入ったことを検出
して、時系列パターン解析手段８を通じて処理部５にそ
のことを示す信号を送出し、スライダをアクティブにす
る。
【００５２】しかる後は、同図（Ｂ）に示すように、ポ
インタ１０を左右に動かすことにより、スライダを矢印
Ｂ方向に左右に動かし、所望の量を操作選択することが
できるようになる。
【００５３】スライダを所望の位置まで動かしたら、同
図（Ｃ）に示すように、ポインタ１０を、矢印Ｃ方向
に、下エッジから領域１３の外に出す。これが「ＯＢ」
動作となる。その結果、このポインタ１０の軌跡はエッ
ジ通過検出手段７により検出され、時系列パターン解析
手段８、処理部５を通じて、スライダの位置の確定動作
が行われ、量の入力が終了する。
【００５４】なお、ポインタ１０を下エッジから外に出
す代わりに、上エッジから外に出した場合、これまでの
スライダの動きをキャンセルして、スライダを動かす前
の状態に戻すようにしてもよい。このようにポインタ１
０の領域１３に対する動きに意味を与えるのは、エッジ
通過検出手段７、時系列パターン解析手段８、処理部５
の制御プログラムであり、任意に設定可能である。
【００５５】さて、指の動きでポインタ１０を制御して
いる場合に、スライダを左右に動かす場合に、指の動き
が上下にずれてしまうと、領域１３の上下の範囲を越え
てしまうことがある。その結果、操作者の意図に反し
て、量が確定したり、スライダの動きがキャンセルされ
てしまったりと、不都合な動きになり易い。この う
に、領域１３の範囲からちょっとはずれただけで、制御
不可能になってしまうのでは、非常に使いにくいので、
以下のような処理を行うのが好ましい。
【００５６】まず、ポインタ１０を領域１３の上エッジ
から現在位置オブジェクトに入れた場合、以降のポイン
タ１０の移動については、量の選択を行う左右方向のみ
を量子化するように設定する。ポインタ１０の移動方向
が上下方向から一定の範囲にある場合は、左右方向の動
きのみを投影した量だけオブジェクトを動かし、ポイン
タ１０も左右のみに動かす。ポインタ１０の移動方向が
上下方向から一定の範囲内にある限りは、左右方向にポ
インタを移動し、左右の動きが止まった場合に、始めて
ポインタ１０の上下方向の移動量を検出するようにし、
その後、ポインタ１０が領域１３の上下のエッジを通過
した場合に、量の確定かスライダの移動のキャンセルを
行なう。その結果、スライダを操作する場合の操作性を
大幅に向上することができる。
【００５７】なお、スライダ操作の際のポインタ１０の
左右の動きの傾向の検出により、制御モードを切り替え
る代わりに、スライダ操作のために、ポインタ１０が領
域１３に入った場合、領域１３の上下の範囲を広げて、
ポインタ１０が容易に領域１３から外れないようにして
も同様の効果を得ることができる。
【００５８】なお、スライダ操作以外にも、色選択やメ
ニューバー選択など、さまざまな入力操作が考えられる
が、いずれにせよ、オブジェクトに関連付けて設定され
る領域に対するポインタの特徴的な動きを、操作の意味
に関連付けて登録しておくことにより、位置情報以外の
さまざまな操作入力を行うことが可能である。
【００５９】
【発明の効果】以上述べたように、本発明の情報入力装
置は、オブジェクトに対応して配置される領域における
ポインタの動きや、この領域のエッジに対するポインタ
の出入方向の組み合わせから、ポインタの特徴的な動き
を抽出し、この抽出情報に基づいて、位置情報以外の特
定の意味を電子機器に与えるように構成したので、マウ
スボタンのような特別な入力手段によらずにオブジェク
トに対応する意味入力が可能となり、操作性を大幅に向
上できるという効果がある。
【図面の簡単な説明】
【図１】本発明の実施形態１の情報入力装置のブロック
図である。
【図２】図１の構成において、特定領域に対するポイン
タの軌跡を検出する場合の説明図である。
【図３】本発明の実施形態２の情報入力装置のブロック
図である。
【図４】実施形態２における、特定領域に対するポイン
タの軌跡検出の方式の説明図である。
【図５】実施形態２における、特定領域に対するポイン
タの軌跡の組み合わせの説明図である。
【図６】実施形態２における、特定領域に対するポイン
タの軌跡の意味割り当て方式の説明図である。
【図７】実施形態２の、スライダ操作への適用例の説明
図である。
【符号の説明】
１ ポインタ位置入力手段 ２ ポインタ領域通過検出手段 ３ ポインタ位置蓄積手段 ４ ジェスチャ認識手段 ５ 処理部 ６ 表示部 ７ エッジ通過検出手段 ８ 時系列パターン解析手段 ９、１１、１７、１８ 軌跡 １０ ポインタ １２ オブジェクト １３ 領域

Claims (12)

    【特許請求の範囲】
  1. 【請求項１】表示画面の任意の位置を指示するポインタ
    の位置情報を入力するポインタ位置入力手段と、 前記表示画面上のオブジェクトに関連付けて設定される
    特定領域に対する前記ポインタの軌跡を検出するポイン
    タ軌跡検出手段と、 前記ポインタ軌跡検出手段の出力に基づいて、前記ポイ
    ンタ位置入力手段から与えられる操作を解析し、意味を
    認識する認識手段と、 を備えることを特徴とする情報入力装置。
  2. 【請求項２】前記ポインタ軌跡検出手段が、前記特定領
    域を前記ポインタが通過したことを検出するポインタ領
    域通過検出手段と、この検出情報に基づき前記ポインタ
    の前記特定領域内における軌跡を蓄積するポインタ位置
    蓄積手段で構成される、請求項１の情報入力装置。
  3. 【請求項３】前記認識手段が、前記ポインタの前記特定
    領域内の軌跡に基づき、前記ポインタの動きに対応する
    ジェスチャを認識するジェスチャ認識手段で構成され
    る、請求項２の情報入力装置。
  4. 【請求項４】前記ポインタ軌跡検出手段が、前記特定領
    域のエッジを前記ポインタが通過した場合に、そのエッ
    ジと方向を検出するエッジ通過検出手段で構成され、前
    記認識手段が、前記エッジ通過検出手段の出力に基づ
    き、前記ポインタの前記特定領域に対する時系列的な動
    きのパターンを解析する時系列パターン解析手段で構成
    される、請求項１の情報入力装置。
  5. 【請求項５】前記ポインタ軌跡検出手段および前記認識
    手段が、前記ポインタが前記特定領域に入る前と、入っ
    た後で、前記特定領域に関連するポインタ位置入力手段
    の操作条件を変更させる情報を出力するようにした、請
    求項１に記載の情報入力装置。
  6. 【請求項６】画面上のポインタの位置を入力する入力手
    段と、 この入力手段からの出力に基づいて、このポインタの位
    置の軌跡を格納する格納手段と、 前記入力手段からの出力に基づいて、このポインタの位
    置が画面上の所定の領域との定められた関係を満足した
    か否かを検出する検出手段と、 この検出手段からの出力に基づいて、上記ポインタが画
    面上の所定の領域との定められた関係を満足したことと
    関連づけて、前記格納手段からポインタの軌跡の一部を
    取り出す手段と、 を有する情報入力装置。
  7. 【請求項７】画面上のポインタの位置を入力する入力手
    段と、 この入力手段からの出力に基づいて、このポインタの位
    置の軌跡を格納する格納手段と、 前記入力手段からの出力に基づいて、このポインタが画
    面上の所定の領域を通ったか否かを検出する検出手段
    と、 この検出手段からの出力に基づいて、ポインタが画面上
    の所定の領域を通った時刻と関連づけてこのポインタの
    軌跡の一部を前記格納手段から取り出す取出手段と、 上記取り出したポインタの軌跡が描くジェスチャを認識
    する認識手段と、 を有する情報入力装置。
  8. 【請求項８】画面上のポインタの位置を入力する入力手
    段と、 この入力手段からの出力に基づいて、複数のエッジをど
    ちらからどちらへ通過したかを検出する検出手段と、 この検出手段からの出力の時系列的な組み合わせによる
    パターンを解析してコマンドを得る解析手段と、 を有する情報入力装置。
  9. 【請求項９】表示画面上のオブジェクトに関連付けて設
    定される特定領域に対する入力されたポインタの軌跡を
    検出し、 検出した手段に基づいて、ポインタ位置の入力によって
    与えられる操作を解析し、意味を認識することを特徴と
    する情報入力方法。
  10. 【請求項１０】入力された画面上のポインタの位置の軌
    跡を格納し、 入力された前記ポインタの位置が画面上の所定の領域と
    の定められた関係を満足したか否かを検出し、 検出した結果に基づいて、上記ポインタが画面上の所定
    の領域との定められた関係を満足したことと関連づけ
    て、格納した前記ポインタの軌跡の一部を取り出すこと
    を特徴とする情報入力方法。
  11. 【請求項１１】入力された画面上のポインタの位置の軌
    跡を格納し、 入力された前記ポインタが画面上の所定の領域を通った
    か否かを検出し、 検出した結果に基づいて、ポインタが画面上の所定の領
    域を通った時刻と関連づけてこのポインタの軌跡の一部
    を前記格納手段から取り出し、 上記取り出したポインタの軌跡が描くジェスチャを認識
    することを特徴とする情報入力方法。
  12. 【請求項１２】入力された画面上のポインタの位置に基
    づいて、複数のエッジをどちらからどちらへ通過したか
    を検出し、 この検出結果からの出力の時系列的な組み合わせによる
    パターンを解析してコマンドを得ることを特徴とする情
    報入力方法。
JP24386996A 1996-09-13 1996-09-13 情報入力装置及び方法 Expired - Fee Related JP3904637B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP24386996A JP3904637B2 (ja) 1996-09-13 1996-09-13 情報入力装置及び方法
US08/928,140 US5990893A (en) 1996-09-13 1997-09-12 Data input device and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP24386996A JP3904637B2 (ja) 1996-09-13 1996-09-13 情報入力装置及び方法

Publications (2)

Publication Number Publication Date
JPH1091320A true JPH1091320A (ja) 1998-04-10
JP3904637B2 JP3904637B2 (ja) 2007-04-11

Family

ID=17110197

Family Applications (1)

Application Number Title Priority Date Filing Date
JP24386996A Expired - Fee Related JP3904637B2 (ja) 1996-09-13 1996-09-13 情報入力装置及び方法

Country Status (2)

Country Link
US (1) US5990893A (ja)
JP (1) JP3904637B2 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005013138A1 (ja) * 2003-07-30 2005-02-10 Fujitsu Limited 認証方法、認証装置及びコンピュータ読み取り可能な記憶媒体
JP2005215749A (ja) * 2004-01-27 2005-08-11 Nec Corp 操作要素の選択方式とその選択方法
JP2006129942A (ja) * 2004-11-02 2006-05-25 Namco Ltd プログラム、情報記憶媒体及びゲーム装置
JP2006338667A (ja) * 2005-05-31 2006-12-14 Fuji Xerox Co Ltd ユーザ−マシン間通信方法、装置、インターフェイス・プロセッサ、及びプログラム
JP2008527528A (ja) * 2005-01-05 2008-07-24 ゼ ウー アン ポインティング入力手段を利用した文字入力方法および装置
US7532912B2 (en) 2002-03-27 2009-05-12 Nec Corporation Mobile radio device having movable pointer on display screen
JP2010128619A (ja) * 2008-11-25 2010-06-10 Aisin Seiki Co Ltd 入力装置、車両周辺監視装置、アイコンスイッチ選択方法及びプログラム
JP2012234574A (ja) * 2012-08-24 2012-11-29 Toshiba Corp 情報処理装置、情報処理方法及びプログラム
JP2013030057A (ja) * 2011-07-29 2013-02-07 Fujitsu Ltd 文字入力装置，文字入力プログラムおよび文字入力方法

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8352400B2 (en) 1991-12-23 2013-01-08 Hoffberg Steven M Adaptive pattern recognition based controller apparatus and method and human-factored interface therefore
KR100595917B1 (ko) 1998-01-26 2006-07-05 웨인 웨스터만 수동 입력 통합 방법 및 장치
US6356287B1 (en) * 1998-03-20 2002-03-12 Nuvomedia, Inc. Citation selection and routing feature for hand-held content display device
US6331867B1 (en) * 1998-03-20 2001-12-18 Nuvomedia, Inc. Electronic book with automated look-up of terms of within reference titles
US6181344B1 (en) * 1998-03-20 2001-01-30 Nuvomedia, Inc. Drag-and-release method for configuring user-definable function key of hand-held computing device
US6154214A (en) * 1998-03-20 2000-11-28 Nuvomedia, Inc. Display orientation features for hand-held content display device
US7904187B2 (en) 1999-02-01 2011-03-08 Hoffberg Steven M Internet appliance system and method
US7046229B1 (en) * 1999-04-20 2006-05-16 Microsoft Corporation Computer input device providing absolute and relative positional information
US6396523B1 (en) 1999-07-29 2002-05-28 Interlink Electronics, Inc. Home entertainment device remote control
US6901561B1 (en) * 1999-10-19 2005-05-31 International Business Machines Corporation Apparatus and method for using a target based computer vision system for user interaction
US6765557B1 (en) 2000-04-10 2004-07-20 Interlink Electronics, Inc. Remote control having touch pad to screen mapping
EP1246048A1 (en) * 2001-03-26 2002-10-02 SAP Aktiengesellschaft Method and computer system for executing functions for objects based on the movement of an input device
US7757186B2 (en) * 2003-07-07 2010-07-13 Apple Inc. Automatic mapping of pointing devices to multiple displays
US7565622B2 (en) * 2003-07-10 2009-07-21 Lenovo (Singapore) Pte Ltd. Method and apparatus for modification of pointing device functions in conjunction with dynamic sorting, displaying, listing, and activation
US7707039B2 (en) 2004-02-15 2010-04-27 Exbiblio B.V. Automatic modification of web pages
US8442331B2 (en) 2004-02-15 2013-05-14 Google Inc. Capturing text from rendered documents using supplemental information
US10635723B2 (en) 2004-02-15 2020-04-28 Google Llc Search engines and systems with handheld document data capture devices
US7812860B2 (en) 2004-04-01 2010-10-12 Exbiblio B.V. Handheld device for capturing text from both a document printed on paper and a document displayed on a dynamic display device
US9143638B2 (en) 2004-04-01 2015-09-22 Google Inc. Data capture from rendered documents using handheld device
US9008447B2 (en) 2004-04-01 2015-04-14 Google Inc. Method and system for character recognition
WO2008028674A2 (en) 2006-09-08 2008-03-13 Exbiblio B.V. Optical scanners, such as hand-held optical scanners
US7894670B2 (en) 2004-04-01 2011-02-22 Exbiblio B.V. Triggering actions in response to optically or acoustically capturing keywords from a rendered document
US8081849B2 (en) 2004-12-03 2011-12-20 Google Inc. Portable scanning and memory device
US8146156B2 (en) 2004-04-01 2012-03-27 Google Inc. Archive of text captures from rendered documents
US20060098900A1 (en) 2004-09-27 2006-05-11 King Martin T Secure data gathering from rendered documents
US20060081714A1 (en) 2004-08-23 2006-04-20 King Martin T Portable scanning device
US9116890B2 (en) 2004-04-01 2015-08-25 Google Inc. Triggering actions in response to optically or acoustically capturing keywords from a rendered document
US7990556B2 (en) 2004-12-03 2011-08-02 Google Inc. Association of a portable scanner with input/output and storage devices
US8713418B2 (en) 2004-04-12 2014-04-29 Google Inc. Adding value to a rendered document
US8489624B2 (en) 2004-05-17 2013-07-16 Google, Inc. Processing techniques for text capture from a rendered document
US8874504B2 (en) 2004-12-03 2014-10-28 Google Inc. Processing techniques for visual capture data from a rendered document
US8620083B2 (en) 2004-12-03 2013-12-31 Google Inc. Method and system for character recognition
US8346620B2 (en) 2004-07-19 2013-01-01 Google Inc. Automatic modification of web pages
US7721197B2 (en) * 2004-08-12 2010-05-18 Microsoft Corporation System and method of displaying content on small screen computing devices
US8169410B2 (en) * 2004-10-20 2012-05-01 Nintendo Co., Ltd. Gesture inputs for a portable display device
US7750893B2 (en) * 2005-04-06 2010-07-06 Nintendo Co., Ltd. Storage medium storing input position processing program, and input position processing device
US8130203B2 (en) 2007-01-03 2012-03-06 Apple Inc. Multi-touch input discrimination
US7855718B2 (en) 2007-01-03 2010-12-21 Apple Inc. Multi-touch input discrimination
US8638363B2 (en) 2009-02-18 2014-01-28 Google Inc. Automatically capturing information, such as capturing information using a document-aware device
JP5178484B2 (ja) * 2008-12-08 2013-04-10 キヤノン株式会社 情報処理装置及び情報処理方法
US8447066B2 (en) 2009-03-12 2013-05-21 Google Inc. Performing actions based on capturing information from rendered documents, such as documents under copyright
WO2010105245A2 (en) 2009-03-12 2010-09-16 Exbiblio B.V. Automatically providing content associated with captured information, such as information captured in real-time
US9081799B2 (en) 2009-12-04 2015-07-14 Google Inc. Using gestalt information to identify locations in printed information
US9323784B2 (en) 2009-12-09 2016-04-26 Google Inc. Image search using text-based elements within the contents of images
CN101825960B (zh) * 2010-04-23 2012-07-18 潘天华 基于鼠标的3点状态信息实现电脑功能控制的方法
CN102385471B (zh) * 2010-08-31 2016-01-20 腾讯科技（深圳）有限公司 一种控制启动的方法和装置
US9189072B2 (en) * 2011-02-08 2015-11-17 Lg Electronics Inc. Display device and control method thereof
CN102662581B (zh) * 2012-03-31 2015-06-24 北京奇虎科技有限公司 以鼠标输入进行控制的方法及系统
CN113132408A (zh) * 2021-04-29 2021-07-16 中原工学院 一种网络信息安全入侵检测方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5550930A (en) * 1991-06-17 1996-08-27 Microsoft Corporation Method and system for training a handwriting recognizer at the time of misrecognition
US5592566A (en) * 1992-05-27 1997-01-07 Apple Computer, Incorporated Method and apparatus for computerized recognition
US5583946A (en) * 1993-09-30 1996-12-10 Apple Computer, Inc. Method and apparatus for recognizing gestures on a computer system
EP0661620B1 (en) * 1993-12-30 2001-03-21 Xerox Corporation Apparatus and method for executing multiple concatenated command gestures in a gesture based input system
US5687254A (en) * 1994-06-06 1997-11-11 Xerox Corporation Searching and Matching unrecognized handwriting
JPH0844490A (ja) * 1994-07-28 1996-02-16 Matsushita Electric Ind Co Ltd インターフェイス装置

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7532912B2 (en) 2002-03-27 2009-05-12 Nec Corporation Mobile radio device having movable pointer on display screen
WO2005013138A1 (ja) * 2003-07-30 2005-02-10 Fujitsu Limited 認証方法、認証装置及びコンピュータ読み取り可能な記憶媒体
JP2005215749A (ja) * 2004-01-27 2005-08-11 Nec Corp 操作要素の選択方式とその選択方法
JP2006129942A (ja) * 2004-11-02 2006-05-25 Namco Ltd プログラム、情報記憶媒体及びゲーム装置
JP2008527528A (ja) * 2005-01-05 2008-07-24 ゼ ウー アン ポインティング入力手段を利用した文字入力方法および装置
JP2006338667A (ja) * 2005-05-31 2006-12-14 Fuji Xerox Co Ltd ユーザ−マシン間通信方法、装置、インターフェイス・プロセッサ、及びプログラム
JP2010128619A (ja) * 2008-11-25 2010-06-10 Aisin Seiki Co Ltd 入力装置、車両周辺監視装置、アイコンスイッチ選択方法及びプログラム
US9041804B2 (en) 2008-11-25 2015-05-26 Aisin Seiki Kabushiki Kaisha Input device, vehicle environment monitoring apparatus, icon switch selection method, and recording medium
JP2013030057A (ja) * 2011-07-29 2013-02-07 Fujitsu Ltd 文字入力装置，文字入力プログラムおよび文字入力方法
JP2012234574A (ja) * 2012-08-24 2012-11-29 Toshiba Corp 情報処理装置、情報処理方法及びプログラム

Also Published As

Publication number Publication date
JP3904637B2 (ja) 2007-04-11
US5990893A (en) 1999-11-23

Similar Documents

Publication Publication Date Title
JP3904637B2 (ja) 情報入力装置及び方法
US11513601B2 (en) Method and system for human-to-computer gesture based simultaneous interactions using singular points of interest on a hand
KR101437760B1 (ko) 제스처 인식 장치, 전자기기, 제스처 인식 방법, 및 제어 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체
JP4267648B2 (ja) インターフェース装置及びその方法
TWI398818B (zh) 手勢辨識方法與系統
KR100858358B1 (ko) 손의 움직임 인식을 이용한 사용자인터페이스 장치 및 방법
CN103869967A (zh) 控制装置、车辆以及便携终端
JP2009042796A (ja) ジェスチャー入力装置および方法
US20140218315A1 (en) Gesture input distinguishing method and apparatus in touch input device
KR101360149B1 (ko) 센서리스 기반 손가락 모션 트래킹 방법 및 그 장치
KR101631011B1 (ko) 제스처 인식 장치 및 제스처 인식 장치의 제어 방법
JP2012027515A (ja) 入力方法及び入力装置
EP3712850A1 (en) Image processing device, image processing method, and image processing system
KR20160022403A (ko) 요소 선택 장치, 요소 선택 방법 및 프로그램
KR101314641B1 (ko) 사용자 제스처를 이용한 조작 방법 및 디지털 장치
US11656733B2 (en) Position specifying method and program
CN113535057A (zh) 一种手势交互方法及终端设备
JP2015122124A (ja) 仮想マウスによるデータ入力機能を有する情報装置
WO2023214451A1 (ja) ユーザインターフェイス装置、ユーザインターフェイスシステム及びユーザインターフェイス用プログラム
US20220129109A1 (en) Information processing apparatus, information processing method, and recording medium
JP5733056B2 (ja) 仮想マウスによるデータ入力方法
CN114167980B (zh) 手势处理方法、装置、电子设备和可读存储介质
KR19990061763A (ko) 손 동작을 이용한 컴퓨터와 사용자간의 인터페이스 방법 및 장치
CN114860068A (zh) 输入方法及电子设备
CN115793923A (zh) 一种人机界面运动轨迹识别方法、系统、设备及介质

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040114

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20040303

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20040409

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20050415

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20050606

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070110

LAPS Cancellation because of no payment of annual fees