JPH0612493A

JPH0612493A - ジェスチャ認識方法およびユーザインタフェース方法

Info

Publication number: JPH0612493A
Application number: JP19172092A
Authority: JP
Inventors: Shiyunsuke Akifuji; 俊介秋藤; Masahiro Oba; 雅博大場; Masanori Tamano; 真紀玉野; Tadashi Hirose; 正広瀬
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1992-06-25
Filing date: 1992-06-25
Publication date: 1994-01-21

Abstract

(57)【要約】【目的】多量の学習データを与えず、利用者が設定し
たジェスチャを認識できるジェスチャ認識方法を提供す
ることにある。【構成】予め設定した標準ジェスチャを一定時間毎の
座標の時系列で表現し、該座標値の時系列から速度ベク
トル時系列を計算し（１０４）、該速度ベクトル時系列
に基づき角度変位時系列を求め（１０６）、該角度変位
時系列を貯蔵しておく。未知のジェスチャの座標値が入
力される度に、該座標値と予め設定した一定時間前の座
標値とから速度ベクトルを計算し（１１４）、該速度ベ
クトルと予め設定した一定時間前の速度ベクトルとから
角度変位を計算し（１１８）、全ての標準ジェスチャに
対して、入力したジェスチャと各標準ジェスチャの角度
変位時系列を特徴ベクトルとしてＤＰマッチングを行い
距離を計算し（１２０）、該距離が最小である標準ジェ
スチャを認識結果とする（１２２）。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、ペンやマウスなどで入
力されたジェスチャと呼ばれる軌跡のパタンを認識し、
認識したジェスチャに対応するコマンドを実行させるコ
ンピュータのユーザインタフェースに係り、特に前記ジ
ェスチャの認識方法および該認識方法を用いたユーザイ
ンタフェース方法に関する。

【０００２】

【従来の技術】コンピュータのユーザインタフェースの
新しい方法として、マウスでメニューを指したり、キー
ボードからコマンドを打ち込む代わりにジェスチャと呼
ばれるペンやマウスなどで描いた軌跡のパタンを認識
し、あらかじめ定義したジェスチャのパタンが現れたと
きに対応するコマンドを実行させるペンＯＳやペンシス
テムなどと呼ばれるものが開発されてきた。これらのシ
ステムで用いられる従来のジェスチャ認識方法として
は、例えば、特開平３−７１３２２号公報に記載されて
いるように、座標入力装置から得た座標、移動速度、持
つ指の圧力をニューラルネットワークに与えパタン認識
を行い、ジェスチャのパタンに対応するコマンドを実行
するようになっていた。

【０００３】

【発明が解決しようとする課題】前記従来技術では、ニ
ューラルネットワークを用いているので、重みを計算す
るためには多量の学習データを必要とする。また、座標
入力装置を持つ指の圧力、座標、移動速度を特徴量とし
ているので利用者にとっては同じジェスチャにもかかわ
らず速度や、動作の大きさによって希望した認識結果を
得られないことがある。本発明の目的は、多量の学習デ
ータを与えず、利用者が設定したジェスチャを認識でき
るジェスチャ認識方法を提供することにある。本発明の
他の目的は、ジェスチャの速度や大きさが変化した場合
も正しい認識結果を得ることが可能なジェスチャ認識方
法を提供することにある。本発明のさらに他の目的は、
上記ジェスチャ認識方法を用いたユーザインタフェース
方法を提供することにある。

【０００４】

【課題を解決するための手段】上記目的達成のため、本
発明では、予め設定した標準ジェスチャを一定時間毎の
座標の時系列で表現し、該座標値の時系列から速度ベク
トル時系列を計算し、該速度ベクトル時系列中のあらか
じめ設定した一定時間間隔だけ離れた２個の速度ベクト
ルのなす角度を計算し、角度変位時系列を求め、該角度
変位時系列を貯蔵しておく。未知のジェスチャの座標値
が入力される度に、該座標値と予め設定した一定時間前
の座標値とから速度ベクトルを計算し、該速度ベクトル
と予め設定した一定時間前の速度ベクトルとから角度変
位を計算し、全ての標準ジェスチャに対して、入力した
ジェスチャと各標準ジェスチャの角度変位時系列を特徴
ベクトルとしてＤＰマッチングを行い距離を計算し、該
距離が最小である標準ジェスチャを認識結果とするよう
にしている。また、未知のジェスチャの座標値が入力さ
れる度に、前記速度ベクトルに代えて、入力した座標値
の時系列を曲線で補間し、一定時間間隔の各時点で該曲
線の接線ベクトルを計算し、該接線ベクトルから角度変
位を計算するようにしている。また、距離が最小である
標準ジェスチャを認識結果とすることに代えて、該距離
が最小である時間が予め定めた一定時間以上連続する標
準ジェスチャを認識結果とするようにしている。また、
距離が最小である標準ジェスチャを認識結果とすること
に代えて、未知のジェスチャの入力座標の個数が増加す
るにつれて、該距離が減少し、再び増加する標準ジェス
チャの中で該距離が最小であるものを認識結果とするよ
うにしたものである。また、距離が最小である標準ジェ
スチャを認識結果とすることに代えて、該距離が最小で
あり、かつ予め設定した値以下である標準ジェスチャを
認識結果とするようにしている。さらに、予め標準ジェ
スチャに対応するコマンドを貯蔵しておき、ジェスチャ
認識方法を用いて認識結果を得、該認識結果に対応する
コマンドを実行するようにしている。

【０００５】

【作用】標準ジェスチャと入力したジェスチャの速度ベ
クトルから計算した角度変位時系列を特徴ベクトルとし
てＤＰマッチングを行い、求めた距離が最小である標準
ジェスチャを認識結果とするようにしたので、多量の学
習データを必要とせず、利用者が設定したジェスチャを
認識できる。また、角度変位はジェスチャの速度や大き
さが変化した場合も変化が少ないので、正しい認識結果
を得ることが可能である。また、入力された未知のジェ
スチャとの距離が最小である時間が予め定めた一定時間
以上連続する標準ジェスチャ、または未知のジェスチャ
の入力座標の個数が増加するにつれて、該距離が減少
し、再び増加する標準ジェスチャ、または、距離が最小
であり、かつ予め設定した値以下である標準ジェスチャ
を認識結果とするようにしたので、距離の絶対値よりさ
らに一層速度や大きさの影響が少なく、正しい認識結果
を得ることが可能である。さらに、上記認識結果が得ら
れたとき、該認識結果に対応するコマンドを実行するた
め、ユーザインタフェースを早く、容易にとることがで
きる。

【０００６】

【実施例】以下、本発明の一実施例を図面に基づいて詳
細に説明する。図１は、本発明をワークステーションの
コマンド入力処理に適用した場合の処理手順の一実施例
を示すフローチャートであり、図２は、マウスを用いた
コマンド入力処理の一実施例に適用される装置の構成図
である。図３は、次頁表示を表す標準ジェスチャ、図４
は、前頁表示を表す標準ジェスチャ、図５は、処理終了
を表す標準ジェスチャであり、それぞれワークステーシ
ョンのコマンドである「次頁表示」、「前頁表示」、
「処理終了」に対応する。図６は速度ベクトルの計算方
法を説明するための図であり、図７は角度変位の計算方
法を説明するための図であり、図８は入力された未知の
ジェスチャを表す図である。図９と図１０はＤＰマッチ
ングの処理手順の一例を示すフローチャートであり、図
１１は入力時刻に対する入力ジェスチャと標準ジェスチ
ャ間の距離の推移を示す図であり、図１２は、本発明の
ジェスチャ認識方法において認識結果が得られたときに
表示する認識結果の表示例である。

【０００７】図２において、２はワークステーションの
コマンド入力処理を利用している利用者であり、４は、
利用者２が手に持ち、机の上を前後左右に移動したとき
に直行する２座標軸に沿った座標値を任意の時間に入力
するマウスである。６は、図３から５の標準ジェスチャ
の座標値、角度変位時系列、速度ベクトル、角度変位、
ＤＰマッチングの途中結果を蓄える記憶部である。８は
マウス４から入力された座標値から速度ベクトルと角度
変位を計算し、入力されたジェスチャの速度ベクトルと
角度変位を得、記憶部６の標準ジェスチャの角度変位時
系列とマッチングを行い、標準ジェスチャと入力ジェス
チャの間の距離を計算し、認識結果を判定する計算部で
ある。１０は、計算部で得られた結果の標準ジェスチャ
を表示する表示部であり、１２は、一定時間間隔で割込
みを発生するタイマ、１４は、コマンドを入力するキー
ボードである。

【０００８】図３乃至図５は、本実施例を説明するため
の標準ジェスチャの座標とそれらを線分で結んだもので
あり、左から右向きにＸ座標、上から下向きにＹ座標と
する。図３において、３０から３９は次頁表示を指示す
るため予め定められた標準ジェスチャを一定時間毎の座
標の時系列で表現したときの座標であり、４０から４９
は、座標３０から３９を結んだ線分である。

【０００９】図４において、５０から５９は前頁表示を
指示するため予め定められた標準ジェスチャを一定時間
毎の座標の時系列で表現したときの座標であり、６０か
ら６９は、座標５０から５９を結んだ線分である。図５
は７０から７９は処理終了を指示するため予め定められ
た標準ジェスチャを一定時間毎の座標の時系列で表現し
たときの座標であり、８０から８９は、座標７０から７
９を結んだ線分である。

【００１０】本実施例のコマンド入力処理は、標準ジェ
スチャに対応するコマンドを入力する以外はキーボード
やスイッチなどマウス以外の装置を操作する必要がない
ことを特徴とする。

【００１１】以下、図１に示すフローチャートに基づき
実施例の動作を説明する。処理が開始される（ステップ
１００）と、利用者２はマウス４を操作し、図３乃至図
５の３個の標準ジェスチャの座標を入力し、それら座標
値を入力された順に記憶部６に記憶し、対応させるコマ
ンドをキーボード１２から入力し、コマンドを記憶部６
に記憶する（ステップ１０２）。ステップ１０２におい
て、表１乃至表３の座標値を入力したとする。表１乃至
表３において、時刻はタイマ１２で数えた一定時間の経
過回数を示し、ＸとＹは、それぞれ座標のＸ成分とＹ成
分である。

【００１２】

【表１】

【００１３】

【表２】

【００１４】

【表３】

【００１５】次に、計算部８は３個の標準ジェスチャの
座標値から速度ベクトル時系列を計算する（ステップ１
０４）。

【００１６】以下、速度ベクトル時系列の計算方法を図
６を用いて説明する。図６において、３０から３２と４
０から４２はそれぞれ図３の座標３０から３３と線分４
０から４３である。図６において座標３０のＸ成分が
０、Ｙ成分が０であり、座標３１のＸ成分が６５、Ｙ成
分が−４０であり、座標３２のＸ成分が１１０、Ｙ成分
が−１３であるとする。ある時刻ｉの速度ベクトルの２
成分であるＶＸｉとＶＹｉは、それぞれ数１と数２を用
いて計算する。

【００１７】

【数１】ＶＸ_i＝Ｘ_i−Ｘ_i-1 ‥‥‥（数１）

【００１８】

【数２】ＶＹ_i＝Ｙ_i−Ｙ_i-1 ‥‥‥（数２）例えば、図３の次頁表示を表す標準ジェスチャの時刻１
における速度ベクトルは、時刻１に対応する座標３１の
Ｘ座標＝６５とＹ座標＝−４０と、時刻０に対応する座
標３０のＸ座標＝０とＹ座標＝０を式１と２に代入して
ＶＸ＝６５、ＶＹ＝−４０となる。以上の処理を３個の
ジェスチャについて時刻０から９まで行い、速度ベクト
ル時系列を得る。ステップ１０４で得た結果を表４から
表６に示す。表４から６において時刻は表１から３の時
刻であり、ＶＸとＶＹは、それぞれ速度ベクトルのＸ成
分とＹ成分である。

【００１９】

【表４】

【００２０】

【表５】

【００２１】

【表６】

【００２２】次に、速度ベクトル時系列から角度変位時
系列を計算する（ステップ１０６）。

【００２３】以下、図７を用いて、角度変位時系列の計
算を説明する。図７において３０から３２は図３の座標
３０から３２であり、４１と４２は図３の線分４１と４
２であり、７００は座標３２を通り線分４１と平行な直
線で、７０２は座標３０を通り線分４２と平行な直線で
あり、７０４は線分４１と直線７０２のなす角度であ
る。時刻ｉの角度変位は時刻ｉの速度ベクトルと時刻
（ｉ−１）のなす角度とする。ここで、角度変位の絶対
値は数３に示すように速度ベクトルの内積の余弦の逆関
数から計算し、符号は数４に示す２個の速度ベクトルの
外積と等しくする。

【００２４】

【数３】

【００２５】

【数４】角度変位の符号＝ＶＸ_i・ＶＹ_i-1−ＶＸ_i-1・ＶＹ_i ‥‥（数４）例えば、時刻２の角度変位は、次頁表示を表すジェスチ
ャの時刻２の速度ベクトルの２成分が、それぞれＶＸ＝
４５とＶＹ＝２７であり、時刻１の速度ベクトルの２成
分が、それぞれＶＸ＝６５とＶＹ＝−４０であるから、
これを数３に代入して角度の絶対値は１．０９２とな
り、数４から符号は、マイナスとなり、合わせて角度変
位は−１．０９２となる。

【００２６】以上の処理を３個のジェスチャについて時
刻１から９まで行い、角度変位時系列を得る。ステップ
１０６で得た結果を表７から表９に示す。表７から９に
おいて時刻は表１から６の時刻であり、Ｔは角度変位で
ある。

【００２７】

【表７】

【００２８】

【表８】

【００２９】

【表９】

【００３０】以上の処理（ステップ１０２から１０６）
で得た結果は記憶部６に蓄える。

【００３１】次に、タイマ１２で時刻が１だけ経過する
度（ステップ１０８）に、利用者２が操作するマウス４
の座標値を１個だけ入力する（ステップ１１０）。ここ
で、座標の入力は時刻１００から開始されるとする。ま
た、以下の処理において時刻１００から時刻１１３の各
時点で入力するジェスチャを図８とし、その座標は表１
０であるとする。図８において、左から右向きにＸ座
標、上から下向きにＹ座標とし、１０００から１０１３
は入力ジェスチャを一定時間毎の座標の時系列で表現し
た座標であり、１０２０から１０３３は、座標１０００
から１０１３を結んだ線分である。

【００３２】

【表１０】

【００３３】また、表１０において時刻は一定時間の経
過回数を示し、ＸとＹは、それぞれ入力ジェスチャの座
標のＸ成分とＹ成分である。

【００３４】ステップ１１０で座標を入力すると、２個
以上の座標を入力したか否かを判定し、２個以上の座標
を入力したときはステップ１１４へ進み、そうでないと
き、つまり初めて入力ジェスチャの座標を入力したとき
はステップ１０８へ戻る（ステップ１１２）。ここで
は、時刻１００で初めて入力ジェスチャの座標を入力し
たので、ステップ１０８へ戻る。次にステップ１０８で
時刻が１だけ経過して時刻１０１になったとし、ステッ
プ１１０で利用者２が操作するマウス４の座標値を１個
だけ入力する。するとステップ１１２ですでに１個以上
の座標を入力しているので、ステップ１１４へ進み速度
ベクトルを計算する。速度ベクトルはステップ１０４と
同様に、入力された座標値と、その時刻より１だけ以前
に入力された時刻の座標値を数１と数２に代入して得
る。例えば、時刻１００の入力ジェスチャの座標のＸ成
分は６０であり、Ｙ成分は３であり、時刻１０１のＸ成
分は７０であり、Ｙ成分は２３であるから、時刻１０１
の速度ベクトルのＶＸは６０であり、ＶＹは３となる。
次に、入力座標をすでに３個以上入力しているか否かを
判定し、３個以上入力しているならばステップ１１８へ
進み、そうでないならばステップ１０８へ戻る（ステッ
プ１１６）。ここでは、時刻１００と１０１で２個だけ
入力しているのでステップ１０８へ戻る。再びステップ
１０８で時刻が１だけ経過して時刻１０２になったと
し、ステップ１１０で利用者２が操作するマウス４の座
標値を１個だけ入力し、ステップ１１２ですでに１個以
上の座標を入力しているので、ステップ１１４へ進み速
度ベクトルを計算し、ステップ１１６で３個座標を入力
しているのでステップ１１８へ進む。

【００３５】ステップ１１８では、ステップ１０６と同
様の方法で速度ベクトルから角度変位を計算する。角度
変位の絶対値は数３を用いて計算し、符号は数４に示す
２個の速度ベクトルの外積と等しくする。例えば、時刻
１０２の角度変位は、時刻１０２の速度ベクトルのＶＸ
が５６であり、ＶＹが３８であり、時刻１０１のＶＸ＝
６０であり、ＶＹが３であるので、角度変位Ｔは−０．
５４６となる。次に、ステップ１１８で得えた角度変位
と記憶部６に蓄えた標準ジェスチャの角度変位時系列か
らＤＰマッチングを行い、各標準ジェスチャと入力した
ジェスチャ間の距離を計算する（ステップ１２０）。

【００３６】ＤＰマッチングは中川聖一著、「音声認識
における時系列パターン照合アルゴリズムの展開」人
工知能学会誌、第３巻第４号（１９８８年）、４１１頁
から４２３頁に記載されているように、入力した音声
とあらかじめ記憶した音声の比較において、両者をそれ
ぞれ一定時間間隔毎の特徴量の時系列であるパタンで表
してとき、時間軸に非線形な変換を施すことによりパタ
ーン長の差の影響をできるかぎり吸収した距離を計算し
ようとする方法である。以下、一般的なＤＰマッチング
を詳細に説明する。２つのパタンＡとＢ間の距離を数５
に示すように成分ベクトル間の距離の荷重平均の最小値
で距離を定義する。

【００３７】

【数５】

【００３８】数５において、ＦはＡとＢ両パタンの時間
の対応を表した点列であり、ｃ（ｋ）はＦを構成する点
列のｋ番目の点であり、Ｋは点列Ｆを構成する点の数で
あり、ｄ（ｃ（ｋ））は点ｃ（ｋ）に対応するパタンＡ
とＢの要素の差の絶対値であり、ｗ（ｋ）は重み係数で
ある。また、分母は点列Ｆを構成する点の数によるパタ
ンＡとＢ間の距離の差を補正するための正規化係数であ
る。２個のパタンの各成分の対応の選択によって最小値
は変化するので、最小値は、すべての対応について数５
の分子、分母を計算する必要がある。ここで、分母を系
列Ｆに依存しないようにすると数６のような加法的にな
るので、その最小化は動的計画法の手法で効率的に計算
できる。

【００３９】

【数６】

【００４０】数６においてＮは数５の分母である。

【００４１】以下、動的計画法を用いた数６の最小化に
ついて説明する。まず、部分点列に対する部分和ｇ（ｃ
（ｋ））を考えると、数７のように記述できる。

【００４２】

【数７】

【００４３】数７において、ｉ（ｋ）は点ｃ（ｋ）のＡ
の要素番号であり、ｊ（ｋ）はｃ（ｋ）のＢの要素番号
であり、ｃ（ｍ）…ｃ（ｋ−１）はｍ番目からｋ−１番
目までのＦを構成する部分点列を表す。さらに、数７を
変形すると数８のようになる。

【００４４】

【数８】

【００４５】ここで、ｗ（ｋ）を数９とすると、

【００４６】

【数９】ｗ（ｋ）＝｛ｉ（ｋ）−ｉ（ｋ−１）｝＋｛ｊ（ｋ）−ｊ（ｊ−１）｝ ‥‥（数９）点列に対する単調連続性の条件、つまり常にｉとｊの少
なくともいずれか一方が１だけ増加することから、ｃ
（ｋ−１）は（ｉ（ｋ），ｊ（ｋ）−１）、（ｉ（ｋ）
−１，ｊ（ｋ））、（ｉ（ｋ）−１，ｊ（ｋ）−１）の
いずれかであるとすると、数８は３通りのｃ（ｋ−１）
のうちｇ（ｃ（ｋ−１））とｄ（ｃ（ｋ））ｗ（ｋ）の
和が最小になるｃ（ｋ−１）を選択して代入すれば良い
ので、数８は数１０のようになる。

【００４７】

【数１０】

【００４８】数１０においてｉとｊは、それぞれｉ
（ｋ）とｊ（ｋ）である。従って、数６の最小化問題は
数１０を繰り返し計算することによって解ける。ＡＢ両
パタンの距離Ｄ（Ａ，Ｂ）は数１１であるから、数１０
を繰り返し計算すれば良い。

【００４９】

【数１１】Ｄ（Ａ，Ｂ）＝ｇ（Ｉ，Ｊ）／Ｎ ‥‥（数１１）数１１において、ＩとＪは、それぞれパタンＡとＢの特
徴ベクトルを構成する成分ベクトル最後の要素の番号、
つまりパタンの長さであり、Ｎは数６のＮと同じであ
る。

【００５０】数１０の３個の式で１番の式が最小である
場合は、パタンＡのｉ番目の要素に対してパタンＢのｊ
番目とｊ−１番目の要素を対応させたこと、つまり１個
のＡの要素に対してパタンＢの２個の要素を対応させる
ことであり、同様に３番目の式が最小である場合は、１
個のパタンＢの要素にパタンＡの２個の要素を対応させ
るていることを示している。これはｉとｊを等時間間隔
で取った場合に時間軸に非線形な変換を行い、パターン
長の差の影響を吸収したときのパタンＡとＢの距離を求
めることに他ならない。本発明はこのＤＰマッチングを
標準ジェスチャと入力ジェスチャの両角度変位時系列間
の距離の計算に用いたものである。

【００５１】以下、ステップ１２０で行うＤＰマッチン
グの計算手順を図９と図１０に基づいて説明する。図９
と図１０において、ｉとｊはそれぞれ入力ジェスチャと
標準ジェスチャの角度変位の順番であり、０から開始す
る。ｉ＝０は、入力ジェスチャの時刻１０２に対応し、
ｊ＝０は、標準ジェスチャの時刻２に対応するとする。
また、ｉとｊは角度変位の順番なので、それぞれ１ずつ
増加する毎に時刻も１ずつ増加する。また、ｇは距離を
計算するために用いる２次元配列であり、ｄ（ｉ，ｊ）
は入力したジェスチャのｉ番目の角度変位と、ある一つ
の標準ジェスチャのｊ番目の角度変位の差の絶対値を表
す関数である。Ｌ（ｉ，ｊ）は計算途中での重みｗ
（ｋ）に相当する値の和を記憶する２次元配列である。
なお、以下では表７で表される標準ジェスチャに対して
入力ジェスチャとの距離を求める処理を例とするが、他
の２個の標準ジェスチャについても同様の処理を行う。

【００５２】処理が開始される（ステップ２００）と初
期状態であるかを判定し、初期状態であるならば、ステ
ップ２０４へ進み、そうでないならば、ステップ２２０
へ進む（ステップ２０２）。ここでは、時刻１０２が初
期状態であるとする。このときｉを０とする。初期状態
であるので、ステップ２０４へ進み、ｇ（０，０）にｄ
（０，０）に２を乗じた値を代入し、Ｌ（０，０）に２
を代入する。ここでｄ（０，０）は、入力ジェスチャの
０番目の角度変位である−０．５４６と次頁表示を表す
標準ジェスチャの０番目の角度変位である−１．０９２
の差の絶対値０．５４６となり、ｇ（０，０）は１．０
９２となる。

【００５３】次にｊを１とし（ステップ２０６）、ｊが
標準ジェスチャの時刻の最大値から最小値を減じた値に
１を加えた標準ジェスチャ長であれば、ステップ２１４
へ進み、等しくなければステップ２１０へ進む（ステッ
プ２０８）。ここでは、ｊ＝１であり、標準ジェスチャ
長は９から２を減じた７に１を加えた８であるからステ
ップ２１０へ進み、ｇ（０，ｊ）へｄ（０，ｊ）に２を
乗じた値とｇ（０，ｊ−１）を代入し、Ｌ（０，ｊ）に
Ｌ（０，ｊ−１）に１だけ加えた値を代入する（ステッ
プ２１０）。ここで、ｉは０であり、ｊは１であり、ｇ
（０，０）は時刻１０２の入力ジェスチャの角度変位で
ある−０．５４６と次頁表示を表わす標準ジェスチャ−
のｊ＝１に対応する角度変位である−０．９６０の差の
絶対値０．４１４であるからｇ（０，１）には１．０９
２と０．４１４の和、１．５０６を代入し、Ｌ（０，
１）に２と１の和である３を代入する。

【００５４】次にｊを１だけ増加し（ステップ２１
２）、ｊが標準パタン長になるまでステップ２０８から
２１２を繰り返し、ステップ２１４へ進み、ｇ（ｉ、ｊ
−１）をＬ（ｉ，ｊ−１）で除し、これを距離とする
（ステップ２１４）。ここで、ｉは０であり、ｊはステ
ップ２１２で１ずつ増加したので８であり、ｊ−１は７
となり、ステップ２１０を繰り返すとｇ（０，７）は、
３．３５５となり、Ｌ（０，７）は、９となるから、距
離は０．３７３となる。

【００５５】次に、ｉを１だけ増加させ（ステップ２１
６）、終了し（ステップ２１８）、ステップ１２２へ進
む。ステップ１２２において、認識条件を満たすときは
ステップ１２４へ進み、満たさないときはステップ１０
８へ戻る（ステップ１２２）。ここでは、距離が０．３
未満であった回数が連続して２回続くことを認識条件と
する。すると、距離は０．３７３であるので認識条件を
満たさず、ステップ１０８へ戻る。次にステップ１０８
で一定時間が経過したとし、その時刻を１０３とする。
ここで、ステップ１１０で時刻１０３の入力座標値とし
てＸ＝１４８、Ｙ＝１２１を入力し、上述のようにステ
ップ１１４で速度ベクトルのＶＸを２２とし、ＶＹを６
０とし、ステップ１１８で角度変位−０．６２３を得た
とする。

【００５６】次に、ステップ１２０からステップ２００
へ進み、ステップ２０２において、初期状態でないの
で、ステップ２２０へ進み、ＤＰマッチング２の処理
（図１０）を行う。処理が開始すると（ステップ２２
２）、変数ｄ１にｇ（ｉ−１，０）とｄ（ｉ，０）の和
をＬ（ｉ−１，０）に１を加えた値で除した値を代入
し、ｄ２にｄ（ｉ，０）に２を乗じた値を代入する（ス
テップ２２４）。ここで、ｉは１であり、ｇ（０，０）
は、１．０９２であり、ｄ（１，０）は０．４６９であ
り、Ｌ（０，０）は２であるから、ｄ１は０．５２０と
なり、ｄ２は０．９３８となる。次にｄ１とｄ２の大小
関係を判定し、ｄ１がｄ２より小であるならば、ステッ
プ２２８へ進み、そうでないならばステップ２３０へ進
む（ステップ２２６）。ここでは、ｄ１がｄ２より小さ
いのでステップ２２８へ進み、ｇ（ｉ，０）にｇ（ｉ−
１，０）とｄ（ｉ，０）の和を代入し、Ｌ（ｉ，０）に
Ｌ（Ｉ−１，０）に１を加えた値を代入する。ここで、
ｉは１であり、ｇ（０，０）は、１．０９２であり、ｄ
（１，０）は０．４６９であるからｇ（１，０）は１．
５６１となり、Ｌ（０，０）は２であるから、Ｌ（１，
０）は３となる。

【００５７】次に、ｊを１とし（ステップ２３２）、ｊ
が標準パタン長であるならばステップ２４６へ進み、そ
うでないならばステップ２３６へ進む。ここではｊが１
であるからステップ２３６へ進む。次に、ｄ１にｇ（ｉ
−１，ｊ）とｄ（ｉ，ｊ）の和を代入し、ｄ２にｇ（ｉ
−１，ｊ−１）とｄ（ｉ，ｊ）に２を乗じた値の和を代
入し、ｄ３にｇ（ｉ，ｊ−１）とｄ（ｉ，ｊ）の和を代
入する（ステップ２３６）。ここではｉとｊは共に１で
あり、ｄ（１，１）は表１１からｉが１に対応する時刻
１０３の角度変位は−０．６２３であり、表７からｊが
１に対応する時刻３の次頁表示の標準ジェスチャの角度
変位は−０．９６０であり、ｇ（０，１）は、１．５０
６、ｇ（０，０）は１．０９２、ｇ（１，０）は１．５
６１であったからｄ１は１．８４３となり、ｄ２は１．
７６６となり、ｄ３は１．８９３となる。

【００５８】次にｄ１、ｄ２、ｄ３の中から最小値を求
め、ｄ１が最小値であるときはステップ２４０へ進み、
ｄ２が最小値であるときはステップ２４２へ進み、ｄ３
が最小値であるときはステップ２４４へ進み（ステップ
２３８）、ステップ２４０へ進んだ場合はｇ（ｉ，ｊ）
にｄ１を代入し、Ｌ（ｉ，ｊ）には、Ｌ（ｉ−１，ｊ）
に１を加えた値を代入し、ステップ２４２へ進んだ場合
はｇ（ｉ，ｊ）にｄ２を代入し、Ｌ（ｉ，ｊ）には、Ｌ
（ｉ−１，ｊ−１）に２を加えた値を代入し、ステップ
２４４へ進んだ場合はｇ（ｉ，ｊ）にｄ３を代入し、Ｌ
（ｉ，ｊ）には、Ｌ（ｉ，ｊ−１）に１を加えた値を代
入する。ここではｄ２が最小値であるからステップ２４
２へ進み、ｇ（１，１）に１．７６６を代入し、Ｌ
（１，１）にＬ（０，０）＋２、つまり４を代入する。
ステップ２４０、２４２、２４４いずれの場合も、次に
２４６へ進み、ＤＰマッチング２の処理を終了し、ステ
ップ２１４へ進む。次に、上記と同様にステップ２１６
を経てステップ２１８へ進み、ＤＰマッチングの処理を
終了しステップ１２２へ進む。

【００５９】以上のステップ１０８から１２０を時刻１
０９まで行ったとする。このときの速度ベクトルと角度
変位をそれぞれ表１１と表１２に示す。また、ステップ
２１４で得た各標準ジェスチャに対する距離の変化の様
子を図１１に示す。表１１において時刻は表１０の時刻
であり、ＶＸとＶＹは速度ベクトルの２成分であり、Ｓ
は角度変位である。図１１において、横軸はｉの増加す
る方向であり縦軸は入力ジェスチャと各標準ジェスチャ
との距離を表す。また、３種類の折線は、それぞれ次頁
表示と前頁表示と処理終了を表すジェスチャに対する距
理をプロットし、線分で結んだものである。

【００６０】

【表１１】

【００６１】

【表１２】

【００６２】次にステップ１２２へ進み、次頁表示の時
刻１０８での距離が０．２３であり、時刻１０９の距離
が０．２４であるので、上述の認識条件を満たすので、
ステップ１２４へ進む。ステップ１２２では、既に得ら
れている速度ベクトルの大きさを調べ、その大きさが予
め定めた値を越えたときのみ認識結果を出力するように
してもよい。このようにすることにより、マウス操作者
の入力操作には関係のない手の小さな動きにより、不用
な認識結果が出力されることを防止することができる。
ステップ１２４では、距離が最小の標準ジェスチャを認
識結果とし、その座標値を曲線で結んだ線画を表示部１
０へ表示する。ここでは、次頁表示に対応する標準パタ
ンが認識結果となるので、図１２に示す図形を表示す
る。図１２において３０から３９は図３の座標３０から
３９であり、８００は座標３０から３９を滑らかに結ん
だスプライン曲線である。認識結果が得られない場合に
は、標準パターンの表示は行なわない。また、各標準ジ
ェスチャの軌跡を貯蔵しておき、認識結果の標準ジェス
チャの軌跡を表示するようにしてもよい。次に、ステッ
プ１２６へ進み、次頁表示のコマンドを実行し、ステッ
プ１０８へ戻る。再び他のジェスチャを入力し、上述の
処理によって、それが処理終了を表すジェスチャである
と認識されるとステップ１２６で処理終了のコマンドが
実行されると処理を終了する。

【００６３】上記実施例によれば、速度ベクトルの角度
変位を用いているのでジェスチャの大きさとマウスを動
かす速度よって認識結果が変化することが少なく、認識
率を高めるために多量のジェスチャデータを学習させる
必要がない。さらに、ＤＰマッチングは局所的な距離が
最小になるように時間の伸縮を行っているのでジェスチ
ャの時間間隔が伸び縮みしても認識率が大きくは変化し
ない。また、本実施例では、ジェスチャの開始点や終了
点を入力する処理を行わないので、開始と終了を指示す
るためのボタンなどを備えた座標入力装置を用いる必要
がない。また、本実施例では、認識したとき標準ジェス
チャの軌跡を表示するので利用者は認識されたことを容
易に知ることができる。さらに、通常は軌跡を表示しな
いので人間の反応知覚に影響を与えず、利用者の動作が
遅くならない。また、ジェスチャの認識によってコマン
ドを実行するのでキーボードの操作やメニューの選択な
どの操作を少なくでき、操作性を向上することが可能で
ある。

【００６４】以上の実施例では、ステップ１２２の認識
条件を認識条件を距離が０．３未満であった回数が連続
して２回続くこととし、この条件を満たした標準ジェス
チャを認識結果としたが、これに代えて入力ジェスチャ
の入力座標の個数が増加するにつれて距離が減少し、再
び増加する標準ジェスチャの中で該距離が最小のものを
認識結果としても良い。また、該距離が最小で、かつ予
め設定した値以下のものを認識結果としても良い。認識
条件をこのように代えると、例えば図１１に示したよう
に、入力ジェスチャと３個の標準ジェスチャの距離は共
に時刻１０６まで減少し、時刻１０５で増加し、最小の
距離となる標準ジェスチャは次頁表示の表わす標準ジェ
スチャであるから、時刻１０５でステップ１２２の条件
を満たし、ステップ１２４へ進む。この実施例では、上
記の「０．３未満」のような認識条件として予め標準ジ
ェスチャが満たすべき距離を数値で設定する必要がな
い。また、認識条件を認識条件を距離が０．３未満であ
った回数が連続して２回続き、かつ入力ジェスチャの入
力座標の個数が増加するにつれて距離が減少し、再び増
加する標準ジェスチャが存在する場合としてもよいこと
はいうまでもない。この実施例では、距離が増加するこ
とは入力ジェスチャのパタンが標準ジェスチャのパタン
からずれはじめたことを意味し、入力ジェスチャの入力
途中にコマンドが実行されず、次の異なるジェスチャが
入力した場合にコマンドが実行されるようにできる。さ
らに、ステップ１２２の認識条件に速度ベクトルの絶対
値が予め設定した一定値以上であることを加えても良
い。速度ベクトルの絶対値は数１２で計算する。

【００６５】

【数１２】

【００６６】本実施例によれば、利用者の無意識の動作
では速度ベクトルの絶対値が小さく、意図したジェスチ
ャ以外で誤動作することがない。

【００６７】以上の実施例では数１と数２で速度ベクト
ルを入力された時点と、それより１度だけ前に入力され
た座標から計算したが、数１３と数１４に示すように２
度前の時点で入力された座標を用いても良い。

【００６８】

【数１３】ＶＸ_i＝Ｘ_i−Ｘ_i-2 ‥‥（数１３）

【００６９】

【数１４】ＶＹ_i＝Ｙ_i−Ｙ_i-2 ‥‥（数１４）このとき速度ベクトルは入力ジェスチャの座標値を３個
以上入力した場合でないと計算できないので、ステップ
１１２では、すでに２個以上の座標を入力したか否かを
判定することに代えて、３個以上の座標を入力したか、
否かを判定するようにする。また、ステップ１１６でも
同様に３個以上の座標を入力したか否かを判定すること
に代えて、４個以上の座標を入力したか否かを判定する
ようにする。この場合、座標値の１個が他と大きく異な
るような場合にも角度変位は滑らかになるので、認識率
を高めることができる。

【００７０】以上の実施例では、入力された座標値だけ
を用いて速度ベクトルと角度変位を計算したが、ステッ
プ１１２で入力した座標値から速度ベクトルを求めると
共に得た座標を曲線で補間し、時刻が連続する２個の座
標から等しい距離だけ離れた直線と曲線の交点での接線
を求め、その接線の方向ベクトルを速度ベクトルとして
も良い。以下、図１３を用いてこの実施例を説明する。
図１３において、３０から３２と４１と４２は、それぞ
れ図３および図６の座標３０から３２と４１と４２であ
る。また、９００は座標３０から３２を通２次曲線であ
り、９０２は線分４２を垂直に２分する直線であり、９
０４は２次曲線９００と直線９０２との交点であり、９
０６は交点９０４で曲線９００で接する接線の方向ベク
トルである。

【００７１】まず、座標３０から３２の各Ｘ成分とＹ成
分を数１５に代入し、これを解いて２次曲線９００の３
個の係数ａ、ｂ、ｃを得る。未知数がａ、ｂ、ｃの３個
で、連立方程式が３個であるからガウスの消去法などで
解くことができる。

【００７２】

【数１５】

【００７３】例えば、座標３０のＸ成分とＹ成分が、共
に０であり、座標３１のＸ成分とＹ成分が、それぞれ６
５と−４０であり、座標３２のＸ成分とＹ成分が、それ
ぞれ１１０と−１３であるので、ａは０．０１１０５、
ｂは−１．３３４、ｃは０となる。次に、座標のＸ成分
がＸ０でＹ成分がＹ０である点と座標のＸ成分がＸ１で
Ｙ成分がＹ１である点を結んだ線分を垂直に２分する直
線９０２は数１６のように表わすことができるので、座
標３１と３２の各Ｘ成分とＹ成分を数１６に代入し、線
分４２を垂直に２分する直線９０２を得る。ここで、数
１６に座標３１のＸ成分とＹ成分の値である、６５と−
４０と座標３２のＸ成分とＹ成分の値である１１０と−
１３を代入し、数１７を得る。

【００７４】

【数１６】

【００７５】

【数１７】Ｙ＝−１．６６７Ｘ＋１１９．３ ‥‥（数１７）次に数１５にａ、ｂ、ｃを代入し、この式と数１７の連
立方程式を解き、交点の座標を得る。ここでは、ａは
０．０１１０５、ｂは−１．３３４、ｃは０であるから
数１７は数１８のようになり、連立方程式を解くとＸ成
分とＹ成分が８９．９２と−３０．６である点と−１２
０．１と３１９．４である点を得る。

【００７６】

【数１８】

【００７７】得た点のうち数１５にａ、ｂ、ｃを代入し
た曲線上で座標３１と座標３２の間に存在するものを二
次曲線９００と直線９０２との交点９０４とする。ここ
では、Ｘ成分とＹ成分が８９．９２と−３０．６である
点が交点９０４となる。次に、座標のＸ成分がＸ３でＹ
成分がＹ３である点で接する数１５で表わされる曲線の
接線は数１９で表わすことができる。この接線の方向ベ
クトルのＸ成分は数１９の係数から数２０で表わすこと
ができ、Ｙ成分は１であるから、数２０に上述の処理で
得たａ、ｂ、Ｘ３を代入して方向ベクトル９０６を得
る。

【００７８】

【数１９】Ｙ−Ｙ₃＝（２ａ・Ｘ₃＋ｂ）（Ｘ−Ｘ₃） ‥‥（数１９）

【００７９】

【数２０】並行ベクトルのＸ成分＝２ａ・Ｘ₃＋ｂ ‥‥（数２０）ここでは、Ｘ３は８９．９２であり、ａは０．０１１０
５、ｂは−１．３３４、であるから方向ベクトル９０６
のＸ成分は０．６５３２となる。次に、得た方向ベクト
ル９０６を速度ベクトルとし、時刻的な順番を座標３１
を入力したときの速度ベクトルと座標３２を入力したと
きの速度ベクトルの間にする。この実施例によれば、座
標が入力された時刻における速度ベクトルだけでなく、
加えて入力した座標値の補間を行い、補間した点におけ
る速度ベクトルを求めるので、ステップ１１８で入力座
標数より多くの角度変位を計算でき、入力した座標の個
数が少ない場合でも認識を行うことができる。

【００８０】

【発明の効果】本発明では、速度ベクトルの角度変位を
用いているのでジェスチャの大きさよって認識結果が変
化することが少ない。さらに、ＤＰマッチングを用いて
いるのでジェスチャの時間間隔が伸び縮みしても認識率
が大きく変化しない。また、一定時間ごとに座標値を入
力し、その度にＤＰマッチングを行っているのでマッチ
ングに用いるデータ数を適切に設定すれば、データ数が
少ない短時間の動作やデータの変化が少ない長い動作は
異なった時系列データとなるので認識されず、利用者の
意図しない動作で誤動作することがない。また、ボタン
などの開始と終了を指示する装置を備えない座標入力装
置を用いた場合においても開始点と終了点を指示する必
要がない。さらに、入力した座標値の補間を行い、角度
変位を計算するので、入力した座標の個数が少ない場合
でも認識を行うことができる。また、認識したとき標準
ジェスチャの軌跡を表示するので利用者は認識されたこ
とを容易に知ることができる。さらに、標準ジェスチャ
を時間をパラメタとする関数で記述するので、標準ジェ
スチャを表示するときに装置にあわせた適当な倍率で表
示できる。さらに、通常は軌跡を表示しないので人間の
反応知覚に影響を与えず、利用者の動作が遅くならな
い。また、ジェスチャの認識によってコマンドを実行す
るのでキーボードの操作やメニューの選択などの操作を
少なくでき、操作性を向上することが可能である。

【図面の簡単な説明】

【図１】本発明の一実施例を示すフローチャートであ
る。

【図２】本発明の一実施例に適用される装置構成を説明
する図である。

【図３】次頁表示を表す標準ジェスチャの例を示す図で
ある。

【図４】前頁表示を表す標準ジェスチャの例を示す図で
ある。

【図５】処理終了を表す標準ジェスチャの例を示す図で
ある。

【図６】速度ベクトルの計算方法を説明するための図で
ある。

【図７】角速度の計算方法を説明するための図である。

【図８】入力するジェスチャの例を示す図である。

【図９】ＤＰマッチングのフローチャートである。

【図１０】ＤＰマッチング２のフローチャートである。

【図１１】入力時刻に対する入力ジェスチャと標準ジェ
スチャ間の距離の推移を示す図である。

【図１２】認識結果の表示例を示す図である。

【図１３】ジェスチャの補間を説明するための図であ
る。

【符号の説明】

２利用者４マウス６記憶部８計算部１０表示部１２タイマ１４キーボード

───────────────────────────────────────────────────── フロントページの続き (72)発明者広瀬正神奈川県川崎市麻生区王禅寺1099番地株式会社日立製作所システム開発研究所内

Claims

【特許請求の範囲】

【請求項１】ペンあるいはマウス等の入力手段から入
力されたジェスチャを認識するためのジェスチャ認識方
法において、予め複数の標準ジェスチャを設定し、設定された各標準
ジェスチャを一定時間毎の座標の時系列で表現し、該座
標値の時系列から速度ベクトル時系列を計算し、該速度
ベクトル時系列中のあらかじめ設定した一定時間間隔だ
け離れた２個の速度ベクトルのなす角度を計算し、角度
変位時系列を求め、該角度変位時系列を貯蔵し、未知のジェスチャが入力されたとき、未知のジェスチャ
の座標値が入力される度に、該座標値と予め設定した一
定時間前の未知のジェスチャの座標値とから速度ベクト
ルを計算し、該速度ベクトルと予め設定した一定時間前
の速度ベクトルとから角度変位を計算し、全ての標準ジ
ェスチャに対して、入力したジェスチャと各標準ジェス
チャの角度変位時系列を特徴ベクトルとしてＤＰマッチ
ング処理を行い距離を計算し、該距離が最小である標準
ジェスチャを認識結果とすることを特徴とするジェスチ
ャ認識方法。
【請求項２】ペンあるいはマウス等の入力手段から入
力されたジェスチャを認識するためのジェスチャ認識方
法において、予め複数の標準ジェスチャを設定し、設定された各標準
ジェスチャを一定時間毎の座標の時系列で表現し、該座
標値の時系列から速度ベクトル時系列を計算し、該速度
ベクトル時系列中のあらかじめ設定した一定時間間隔だ
け離れた２個の速度ベクトルのなす角度を計算し、角度
変位時系列を求め、該角度変位時系列を貯蔵し、未知のジェスチャが入力されたとき、入力した座標値の
時系列を曲線で補間し、一定時間間隔の各時点で該曲線
の接線ベクトルを計算し、該接線ベクトルから角度変位
を計算し、全ての標準ジェスチャに対して、入力したジ
ェスチャと各標準ジェスチャの角度変位時系列を特徴ベ
クトルとしてＤＰマッチング処理を行い距離を計算し、
該距離が最小である標準ジェスチャを認識結果とするこ
とを特徴とするジェスチャ認識方法。
【請求項３】請求項１または請求項２記載のジェスチ
ャ認識方法において、前記距離が最小である標準ジェス
チャを認識結果とすることに代えて、該距離が最小であ
る時間が予め定めた一定時間以上連続する標準ジェスチ
ャを認識結果とすることを特徴とするジェスチャ認識方
法。
【請求項４】請求項１または請求項２記載のジェスチ
ャ認識方法において、前記距離が最小である標準ジェス
チャを認識結果とすることに代えて、該距離が最小であ
り、かつ予め設定した値以下である標準ジェスチャを認
識結果とすることを特徴とするジェスチャ認識方法。
【請求項５】請求項１または請求項２記載のジェスチ
ャ認識方法において、前記距離が最小である標準ジェス
チャを認識結果とすることに代えて、未知のジェスチャ
の入力座標の個数が増加するにつれて、該距離が減少
し、再び増加する標準ジェスチャの中で該距離が最小で
あるものを認識結果とすることを特徴とするジェスチャ
認識方法。
【請求項６】請求項１または請求項２記載のジェスチ
ャ認識方法において、前記距離が最小である標準ジェス
チャを認識結果とすることに代えて、未知のジェスチャ
の入力座標の個数が増加するにつれて、該距離が減少
し、再び増加する標準ジェスチャの中で該距離が最小で
かつ予め設定した値以下であるものを認識結果とするこ
とを特徴とするジェスチャ認識方法。
【請求項７】請求項１乃至請求項６のいずれかの請求
項記載のジェスチャ認識方法において、前記速度ベクト
ルあるいは接線ベクトルの大きさが予め定めた値を超え
たときのみ認識結果を出力することを特徴とするジェス
チャ認識方法。
【請求項８】請求項１乃至請求項７のいずれかの請求
項記載のジェスチャ認識方法において、認識結果を得た
ときのみ入力したジェスチャに対応する標準ジェスチャ
の座標値に基づく軌跡を表示することを特徴とするジェ
スチャ認識方法。
【請求項９】請求項１乃至請求項７のいずれかの請求
項記載のジェスチャ認識方法において、予め各標準ジェ
スチャの軌跡を貯蔵しておき、認識結果を得たときに該
認識結果に対応する標準ジェスチャの軌跡を表示するこ
とを特徴とするジェスチャ認識方法。
【請求項１０】予め標準ジェスチャに対応するコマン
ドを貯蔵しておき、請求項１乃至請求項９のいずれかの
ジェスチャ認識方法を用いて認識結果を得、該認識結果
に対応するコマンドを実行することを特徴とするユーザ
インタフェース方法。