JPH07114621A - ジェスチャ認識方法およびそれを用いたジェスチャ認識装置 - Google Patents

Abstract

(57)【要約】 【目的】 本発明の目的は、ジェスチャの速度への依存
度を低減したジェスチャ認識方法およびジェスチャ認識
装置を提供することにある。 【構成】 ジェスチャを表す座標データを取り込む入力
手段と、その座標データを格納する手段と、格納手段に
既に格納してある検出点の座標データと入力手段によっ
て得た座標データから検出点間の距離を計算する手段
と、求めた検出点間の距離に基づき、次に座標データを
検出するまでの時間を制御手段と、あらかじめ登録して
あるパターンとパターン認識する手段を設けたことを特
徴とするジェスチャ認識装置。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、予め登録してある図形
と新たに入力した図形とを比較し、入力した図形を認識
するパターン認識方法およびパターン認識装置に係わ
り、特に入力した図形が動作の軌跡である場合に関す
る。

【０００２】

【従来の技術】本発明で扱うパターン認識の対象は、図
１２に示すように動作の軌跡（７００）である。以下、
これをジェスチャと呼び、ジェスチャをパターン認識す
ることをジェスチャ認識と呼ぶ。ジェスチャ認識では、
一つのジェスチャを、これに含まれる複数の点（以下、
検出点）を選択し、これらの点における特徴と、あらか
じめ登録した特徴とを比較し、最も相違の小さいものを
認識の結果とする。検出点の取り取り方には、各種方法
がある。例えば一定時間間隔で検出した場合、検出点は
図１２の７０１〜７１１である。

【０００３】従来のパターン認識装置として、他の特開
平３−２８２８９６号公報に記載されているように、入
力された座標データ列によって示されるパターンから、
ストローク中の曲がりが大きく、かつストロークに沿っ
てほぼ等間隔の代表座標点を抽出する手段を備え、この
代表座標点を用いて認識するパターン認識装置がある。
また、他の代表座標点を抽出する装置として、特開平
３−１２１６号公報に記載されているように、任意の手
書き図形を入力する図形入力装置において、検出したペ
ンの座標信号のＸ座標とＹ座標と一つ前に記憶したＸ座
標とＹ座標との差分を出力する差分出力手段と、この差
分を入力し、助長なサンプル点の記憶を抑制する記憶抑
制手段を備えた図形入力装置がある。

【０００４】

【発明が解決しようとする課題】特開平３−２８２８９
６号公報に記載された装置では、入力パターンの全体の
ストロークをストロークに沿って例えば４０等分し、始
点、終点やストローク中のなるべく曲がりの大きい点が
特徴点となるように抽出しているため、ストロークの入
力完了まで特徴点が決定されないという問題点がある。

【０００５】一方、特開平３−１２１６号公報では、計
算した差分量が一定値を越えたときのみ、その差分を記
憶するようにデータの記憶を制御しているので、ストロ
ークの入力が完了しなくとも、特徴点を決定できるが、
記憶した特徴点は、あらかじめ設定した一定値の大きさ
とほぼ同じ距離だけ離れたものだけである。ジェスチャ
の入力時の動作は一様な速度ではなく部分的に速度が変
化する。そこで速度が大きく変化した際も一定の距離間
隔で特徴点を検出すると、この範囲内に、例えば鋭角な
曲がり角などジェスチャの特徴を良く表した箇所があっ
た場合に、認識に不可欠なデータが欠落する可能性があ
るという問題点がある。

【０００６】本発明の目的は、動作の終了を検出せずに
検出点を選択でき、かつ、ジェスチャの速度によって認
識に必要なデータが欠落することを防止できるジェスチ
ャ認識方法及びジェスチャ認識装置を提供することにあ
る。

【０００７】

【課題を解決するための手段】上記目的を達成するため
に、本発明は、ジェスチャを表現する座標データを検出
する入力手段と、その座標データを格納するための格納
手段と、それまでに格納してある前回の座標データと入
力手段によって今回検出した座標データとの間の距離を
計算する座標データ間距離計算手段と、求めた座標デー
タ間距離としきい値を比較した結果よって次に座標デー
タを検出する処理を実行するまでの時間を制御するサン
プリング間隔制御手段を設けるようにしたものである。

【０００８】また、次回座標データを検出するまでの時
間間隔を一番短い条件をまず判定し、時間間隔がより短
い条件から順に判定するようにして検出するジェスチャ
の座標データの検出し、得た座標データを用いてジェス
チャ認識しようとしたものである。

【０００９】

【作用】本発明によれば、サンプリング間隔制御手段
は、座標データ間距離としきい値を比較した結果よって
次に座標データを検出する処理を実行するまでの時間を
制御するので、移動の距離、または、時間のいずれかの
条件が満たされたとき、検出点とし、従ってジェスチャ
の完了を待たずに検出点を選択でき、かつ、ジェスチャ
の速度によって認識に必要なデータが欠落することを防
止できる。

【００１０】また、座標データから特徴点を求める際
に、座標検出間隔を最も短くするための判定条件を最初
に判定するため、座標検出のタイミングの遅れを小さく
でき、より一層、データの欠落を防ぐことができる。

【００１１】

【実施例】以下、本発明のジェスチャ認識方法およびそ
れを用いたジェスチャ認識装置の三つの実施例を図面を
用いて詳細に説明する。（実施例１）を図１から図１１
を用いて詳細に説明し、（実施例２）、（実施例３）は
相違点を中心に説明する。また図１から図１１のうち図
２、図３、図５から図７、図９から図１１は各実施例に
ついて共通であり、これら共通の図面の他に、（実施例
２）では図１３、図１４、（実施例３）では図１５から
図１７を用いて説明する。なお、図面中の参照番号が他
の図面と同じ場合、同じものを示している。

【００１２】（実施例１）まず、図１の機能ブロック
図、図２のシステム構成図を用いてジェスチャ認識シス
テムの概略について説明する。本発明を実施するジェス
チャ認識システムは、図２に示すようなシステム構成で
あり、ペンコンピュータを用いている。ペンコンピュー
タは、中央処理装置（以下ＣＰＵと称する）１にバス２
を介して、種々の装置（回路）を接続したものである。
図２では、主メモリ３、タブレットインターフェース６
を介した座標入力部４、描画プロセッサ８を介した表示
部７、描画のための表示メモリ９、外部メモリ１０を接
続している。座標入力部４には、ペン５により手書き入
力される。

【００１３】表示部７に対して利用者によってジェスチ
ャ認識の開始が指示される（後述する）と、ＣＰＵ１内
のＣＰＵタイマー２００をセットし、スタートさせ、一
定時間間隔で割込みを発生させる。検出時刻制御処理２
１０では、割込みが発生するたびに後ほど説明する検出
間隔判定処理２２０から出力されるサンプリング間隔制
御変数に応じて、位置検出命令を座標データ検出処理２
３０に出力する。座標データ検出処理２３０では、位置
検出命令を受けるとジェスチャを表す座標データを検出
し、その座標データとサンプリング時刻をジェスチャデ
ータテーブル４０に格納する。また、座標データは、距
離計算処理２４０へも出力される。距離計算処理２４０
では、座標データ検出処理２３０で検出した座標データ
とジェスチャデータテーブル４０に格納されている前回
検出した座標データとをもちいて検出点間の二点間距離
を求める。二点間距離は検出間隔判定処理２２０に出力
され、この二点間距離と初期値データテーブル３０に格
納されているしきい値Ｄ３１、係数ｋ３２とで比較し、
条件に応じたサンプリング間隔制御変数を検出時刻制御
処理２１０へ出力する。

【００１４】特徴量計算処理２５０では、ジェスチャデ
ータテーブル４０を参照して特徴量を計算し、求めた特
徴量を特徴量データテーブル５０に格納する。初期値を
変更する場合は、ユーザデータテーブル２０を参照して
初期値変更処理２６０により初期値データテーブル３０
を書き換える。ここで、図３と図４を用いてユーザデー
タテーブル２０、初期値データテーブル３０、ジェスチ
ャデータテーブル４０、特徴量データテーブル５０のテ
ーブル構成について説明する。

【００１５】図３に主メモリ内に設けられるユーザデー
タテーブル２０と初期値データテーブル３０のテーブル
構成図を示す。ユーザデータテーブル２０は、ユーザＩ
Ｄ２１、利用者の名前２２などのユーザの個人情報、パ
スワード２３および、初期値データテーブル３０のアド
レス２４の各欄からなり、初期値データテーブル３０
は、ジェスチャ認識システム利用時に用いるしきい値Ｄ
３１、係数ｋ３２の各欄からなる。ユーザＩＤ２１は利
用者に固有の番号で、ユーザの個人情報や初期値データ
テーブルに格納されている各利用者のしきい値Ｄ３１、
係数ｋ３２を参照するために用いられる。これらしきい
値Ｄ３１、係数ｋ３２は後に詳細に示す。

【００１６】図４に示したジェスチャデータテーブル４
０は、サンプリング番号４１、検出点のＸ座標４２、検
出点のＹ座標４３、サンプリング時刻４４、特徴量デー
タテーブルアドレス４５の各欄からなる。実施例中でい
うジェスチャとは、ペンの動作の軌跡のことである。サ
ンプリング番号４１はジェスチャを表すデータを管理す
るための番号で検出したデータの順序を示す昇順の番号
である。Ｘ座標４２とＹ座標４３は、ジェスチャを表す
座標データであり、サンプリング時刻４４はその座標デ
ータを検出した時刻を表し、ジェスチャ認識開始時の時
刻を０とする。例えばサンプリング番号４１が３のデー
タは、３番目に検出した点であり、その座標は（Ｘ３，
Ｙ３）であり、サンプリング時刻は１００であることを
示している。

【００１７】特徴量データテーブル５０は、少なくとも
一種類以上の特徴量５１によって構成されている。特徴
量には、ジェスチャのパターンを示すパラメータとして
軌跡の曲がり具合やサンプリング時刻を参照して計算す
る動作の速度、加速度があげられる。この特徴量データ
テーブル５０は、後に説明するパターン照合処理を実行
する際、ジェスチャの特徴を示すデータを持つパターン
ワークエリアとしての役割を果たす。

【００１８】説明を図１に戻す。パターン照合処理２７
０では、パターンインデックステーブル６０およびパタ
ーンデータテーブル７０と特徴量データテーブル５０を
参照し、ジェスチャ認識を実行する。ジェスチャ認識し
た結果が一致した場合、コマンド実行処理２８０では、
パターンインデックステーブル７０とコマンドインデッ
クステーブル８０を参照し、実行プログラムテーブル９
０に格納されている実行プログラムを実行する。ここで
用いたテーブルのテーブル構成を図５、図６を用いて説
明する。

【００１９】図５にパターンインデックステーブル６０
とパターンデータテーブル７０のテーブル構成図を示
す。これらのテーブルには、ジェスチャ認識するとき用
いる、予め登録してある図形のパターンに関する情報が
格納されている。以下、この登録済みのパターンを単に
パターンと呼ぶ。

【００２０】パターンインデックステーブル６０は、パ
ターン番号６１、コマンド番号６２およびパターンデー
タテーブルアドレス６３の各欄からなる。コマンド番号
６２は、後に詳細に示すように、入力されたジェスチャ
に対応して実行されるコマンドに付した番号である。パ
ターンデータテーブルアドレス６３はパターン番号６１
に対応したパターンが格納されているパターンデータテ
ーブル７０のアドレスである。パターンデータテーブル
７０には、図示するように、各種パターンに関する座標
データなどがエリア７１、７２、７３、７４に格納され
ている。

【００２１】一例を説明すると、パターン番号が３のジ
ェスチャが入力されたとき、コマンド番号が１のコマン
ドを実行することと、そのジェスチャの形状を判別する
ためにパターンのデータを格納しているエリア７３のア
ドレス値が１２００であることを示している。また、パ
ターンが登録されていないパターン番号、パターンデー
タテーブルアドレスに対応するコマンド番号には０が格
納されている。なお、テーブル構成としては、パターン
インデックステーブル６０とパターンデータテーブル７
０とに分けた構成をとらずに一体化しても良いが、パタ
ーンのデータが種々にわたる場合、図示するように分け
た方がデータを管理する点で優れている。

【００２２】また、これらユーザデータテーブル２０、
初期値データテーブル３０、パターンインデックステー
ブル６０とパターンテーブル７０は主メモリに格納され
ているとしたがその必要は必ずしもなく、外部メモリや
ユーザが個人管理できる記憶媒体に格納され、システム
利用時に主メモリ内に読み込まれても良い。

【００２３】図６に、コマンドインデックステーブル８
０、実行プログラムテーブル９０のテーブル構成を示
す。これらのテーブルは主メモリ３に配置されるが、外
部メモリ１０に設けられ、システム起動時にそれが主メ
モリ３に読み込まれても良い。これらのテーブルの内容
は、予め主メモリ３または外部メモリ１０に用意されて
いるものとする。

【００２４】コマンドインデックステーブル８０は、コ
マンド番号８１、コマンド名８２、実行プログラム先頭
アドレス８３の各欄からなる。コマンド番号８１および
コマンド名８２に対応して、そのコマンドを実行するた
めのプログラムが格納されているアドレスである実行プ
ログラム先頭アドレス８３が格納されている。実行プロ
グラムテーブル９０には、各コマンドに対応して実行す
べきプログラムを格納する。図６では、各コマンド実行
プログラムが、テーブル形式でエリア９１、９２、・・
に格納されるように示しているが、これは便宜上のこと
であり、テーブルに一体化されなくとも良いことは容易
に理解されることである。

【００２５】次に、図７にジェスチャ認識システムのメ
インルーチンのＰＡＤ図を示す。メインルーチンが起動
され、処理を開始すると、初期値設定画面を表示部７に
表示し（ｓ１０）、初期値を入力する（ｓ２０）。初期
値設定画面とメニューの表示例を図１０、図１１に示
し、その手順の一例を表示例を用いて説明する。

【００２６】表示部７にまず、図１０（ａ）に示した初
期画面１０００を表示し、システムの利用経験をメニュ
ーを利用者が選択するまで待つ。利用者が初めてシステ
ムを利用する場合「ＹＥＳ」１００１、すでに利用した
ことがある場合「ＮＯ」１００２が選択される。「ＹＥ
Ｓ」１００１が選択された場合、図１０（ｂ）に示した
メニュー１１００が表示される。ここでは、利用者によ
って名前が入力されるのを待つ。このとき名前の入出力
領域１１０１へはペンによる手書き文字による入力、キ
ーボード（図示せず）からの入力、音声による入力など
いずれによって行なわれても良く、システムに入力され
る名前を表すコード情報を名前の入出力領域１１０１に
表示する。ここで「ｃａｎｓｅｌ」１１０２が選択され
た場合、名前の入出力領域１１０１をクリアし、再び名
前が入力されるのを待つ。「ＯＫ」１１０３が選択され
た場合は、入力されたの名前をユーザデータテーブル２
０に格納し、次にユーザＩＤ２１を表示する画面１２０
０を表示部７に表示し、ユーザＩＤをユーザＩＤ表示領
域１２０１に表示し、利用者が確認したことを示す「Ｏ
Ｋ」１２０２が選択されるまで待つ。「ＯＫ」１２０２
が選択されることにより初期値の入力が完了する（ｓ２
０）。

【００２７】また、「ＮＯ」１００２が選択された場合
は、図１０（ｄ）に示したメニュー１３００が表示され
る。ここでは、利用者によってユーザＩＤが入力される
のを待つ。ユーザＩＤの入出力方法については、名前の
入力の場合と同様であり、ユーザＩＤ入出力領域は１３
０１である。「ｃａｎｓｅｌ」１３０２が選択された場
合、ユーザＩＤの入出力領域１３０１をクリアし、再び
ユーザＩＤが入力されるのを待つ。「ＯＫ」１３０３が
選択された場合は、入力済みのユーザＩＤをユーザデー
タテーブル２０に格納し、次に対応する名前を表示する
画面１４００を表示部７に表示し、名前を名前の表示領
域１４０１に表示し、「ＹＥＳ」１４０２または、「Ｎ
Ｏ」１４０３が選択されるまで待つ。「ＮＯ」１４０３
が選択された場合、ユーザＩＤを入力する画面１３００
を再び表示し、ユーザＩＤの入力を待つ。「ＹＥＳ」１
４０２が選択されることにより初期値の入力が完了する
（ｓ２０）。初期値の入力が完了するとジェスチャ入力
画面１５００を表示部７を表示する（ｓ２５）。

【００２８】ジェスチャ入力画面の画面表示例を図１１
に示す。ジェスチャ入力画面１５００は、メニュー部１
５１０とジェスチャ入力部１５２０で構成され、メニュ
ー部１５１０は、「開始」１５１１、「初期値変更」１
５１２、「終了」１５１３のボタンとよばれる処理を選
ぶ際にペンで選択する領域で構成される。

【００２９】利用者によって「終了」１５１３のボタン
が選択されることによって本システムは終了し（ｓ３
０）、「開始」１５１１のボタンが選択されるか、ジェ
スチャ入力エリア１５２０に初めて入力された場合、ジ
ェスチャ認識開始の指示が出されたとして、サンプリン
グルーチンを起動する（ｓ６０）。また、「初期値変
更」１５１２ボタンが選択された場合、初期値変更処理
（ｓ７０）が実行される。図８のＰＡＤ図を用いてサン
プリングルーチンを説明する。サンプリングルーチンｓ
６０が呼び出されると、まず検出間隔を判定するための
変数としてカウンターＣとサンプリング間隔制御変数
（以下制御変数と称する）Ｘを設け、それぞれ、Ｃ＝
０、Ｘ＝１の値をセットする。また、ＣＰＵタイマーに
あるサンプリング間隔をセットし、ＣＰＵタイマーをス
タートさせ（ｓ１００）、一定時間間隔で割込みを発生
させる（ｓ１０２）。割込みが発生した場合、ｓ１０４
に進む。ｓ１０４ではカウンターＣに１を足し、次にカ
ウンターＣを制御変数Ｘで割り、この商と１を比較する
（ｓ１０６）。条件：（Ｃ／Ｘ）＜１が満たされてる場
合はカウンターの値を保持したまま次の割り込み発生を
待ち、条件が満たされていない場合にはｓ１０８に進
む。

【００３０】ｓ１０８では、カウンターＣをゼロクリア
し、検出点の座標データを検出し（ｓ１１０）、検出し
た座標データとサンプリング時刻をジェスチャデータテ
ーブル４０に格納する（ｓ１１２）。次に、前回検出
し、ジェスチャデータテーブル４０に既に格納してある
座標データをジェスチャデータテーブル１００から参照
し、ｓ１１０で検出した座標データとを用いて二点間距
離ｄを計算する（ｓ１１４）。初期値データテーブル３
０に格納してあるしきい値Ｄ３１と係数ｋ３２を参照
し、ｓ１１４で求めた距離ｄを例えば三つの場合に場合
分けする（ｓ１１６）。条件として次の条件を例として
挙げる。

【００３１】（条件１）検出した点と点の間の距離が十
分大きい。 ｄ ＞ｋ×Ｄ （条件２）検出した点と点の間の距離がジェスチャ認識
する際に適当な間隔に含まれる。 ｋ×Ｄ ≧ ｄ ≧ Ｄ （条件３）検出した点と点の間の距離が小さい。 Ｄ ＞ ｄ これらの各条件に応じて、まず、条件１について判定
し、次に条件２について判定し、そして条件３について
判定する（ｓ１１６）。条件１が満たされている場合
は、制御変数Ｘに１を代入し（ｓ１１８）、ｓ１３０に
すすむ。また、条件２が満たされている場合は、制御変
数Ｘに２を代入し（ｓ１２０）、ｓ１３０にすすむ。そ
して更に条件３について判定し、条件３が満たされてい
る場合は、制御変数Ｘに３を代入し（ｓ１２２）、ｓ１
３０にすすむ。ｓ１３０では特徴量計算処理を実行し、
求めた特徴量を特徴量データテーブル５０に格納し、こ
の特徴量データテーブル５０の内容を用いて、認識ルー
チンを開始する（ｓ１４０）。

【００３２】認識ルーチンｓ１４０詳細を図９のＰＡＤ
図用いて詳細に説明する。パターンインデックステーブ
ル６０のパターン番号６１を示す変数としてＰＮを設
け、初期値１を設定する（ｓ１４００）。パターンイン
デックステーブル６０のパターン番号６１の値がＰＮで
ある行のコマンド番号６２が０であるかを判定しコマン
ド番号が０でない間ｓ１４３０からｓ１４９０を繰り返
す（ｓ１４１０）。コマンドインデックステーブル８０
のコマンド番号欄８１を見れば分かるように、コマンド
番号は１から上昇順に設けているので、その値が０のコ
マンドは存在しない。すなわち、コマンド番号が０であ
るか否かの判定は、パターンデータテーブル７０にパタ
ーンが格納されているか否かを判定している。コマンド
番号が０の場合はエラーコード、例えば値０をリターン
コードとして（ｓ１４２０）本認識ルーチンを終了す
る。

【００３３】次に、ｓ１４６０のパターンの内容照合の
結果が一致するまで、ｓ１４４０からｓ１４７０を繰り
返す（ｓ１４３０）。まず、パターン番号６１の値がＰ
Ｎの行のパターンアドレス６３の値を求め（ｓ１４４
０）、このアドレスを用いてパターンデータテーブルの
内容、すなわちパターンを読みだし、このパターンとパ
ターンワークエリアのデータすなわち特徴量データテー
ブル５０の内容と比較照合する（ｓ１４５０）。このス
テップはいわゆるパターンマッチングの処理を実行する
もので種々提案されている方法を用いれば良い。ただ
し、手書き入力のジェスチャとパターンとの照合である
ので、完全一致することは望めない。そこで一方を、拡
大／縮小すること、線幅を太くすること、ある程度の一
致率で一致したとみなすことなどの処理を施して照合結
果を求める（ｓ１４６０）。またはジェスチャとパター
ンの各々の微小区間のベクトルの方向成分比較によって
照合しても良い。照合した結果が一致しなければ、ＰＮ
の値に１を加え（ｓ１４７０）、ｓ１４４０に戻りＰＮ
の値が０であるか否かの判定をし、０でなければ再び内
容照合の処理を実行（ｓ１４４０からｓ１４７０）す
る。

【００３４】ｓ１４６０での照合結果が一致した場合、
その時のＰＮのコマンド番号を出力する（ｓ１４８
０）。このコマンド番号を用いて対応する実行プログラ
ムの処理を実行する。具体的な処理は次のようにする。
図６に示したコマンドインデックステーブル８０を用い
て、その中のコマンド番号８１の値を参照して、その実
行プログラム先頭アドレス８３の内容を求める。求めた
実行プログラム先頭アドレスから格納されている実行プ
ログラムを実行し（ｓ１４９０）、本ルーチンを終了す
る。

【００３５】このように実行プログラムをメインルーチ
ンとは別に設けておくことにより、メインルーチンと実
行プログラムとを別々に開発、保守できるという利点が
得られる。

【００３６】本実施例の効果として次の点が挙げられ
る。検出したジェスチャの座標データと前回検出した座
標データから二点間距離をもとめ、その距離に応じて次
回座標データを検出するまでの時間を変化させることに
よって、特徴点間の距離が同程度とすることができる。
そのため、検出したデータの中から特徴点を抽出する必
要がなくなるため、ジェスチャの全体の座標データを得
ずとも、特徴点間の距離が同程度の座標データを得るこ
とができる。よってそのデータを用いたジェスチャ認識
が可能となる。

【００３７】さらに、検出したジェスチャの座標データ
と前回検出した座標データから二点間距離をもとめ、そ
の距離がしきい値を超えた場合、次回座標データを検出
するまでの時間を短くするので、ジェスチャ認識に必要
な特徴点の欠落を防ぐことができる。

【００３８】（実施例２）図１３、図１４を用いて本実
施例と（実施例１）との相違点を中心に説明する。本実
施例は、（実施例１）とはサンプリングルーチンｓ６０
の部分が異なり、それに伴い機能ブロック図（図１３）
が異なる。その他の部分に関しては同様である。

【００３９】まず、機能ブロック図（図１３）を用いて
説明する。システムを起動させたときＣＰＵタイマー５
００に割込み発生の時間間隔としてサンプリング間隔Ｔ
をセットし、利用者によってジェスチャ認識の指示が出
されることによってタイマーをスタートさせ、セットし
た時間間隔で割込みを発生させる。割込みが発生した場
合、位置検出命令が座標データ検出処理５１０に出力さ
れる。座標データ検出処理５１０では、位置検出命令を
受け取るとジェスチャを表す座標データを検出し、その
座標データとサンプリング時刻をジェスチャデータテー
ブル４０に格納する。そして（実施例１）と同様にして
前回検出し座標データとの二点間距離を求め、この距離
を検出間隔判定処理５３０へ出力する。検出間隔判定処
理５３０では、ユーザデータテーブルに格納されている
しきい値ｄ３１、係数ｋ３２を参照し、次に割込みを発
生させるまでの時間間隔を求める。この時間間隔をタイ
マーリセット処理５４０へ出力する。タイマーリセット
処理５４０では、入力した時間間隔にＣＰＵタイマー５
００をセットしなおす。特徴量計算処理２５０、初期値
変更処理２６０、パターン照合処理２７０、コマンド実
行処理２８０に関しては（実施例１）と同様であるため
説明を省略する。次に図１４を用いて本実施例のサンプ
リングルーチンｓ６０を詳細に説明する。

【００４０】サンプリングルーチンｓ６０が呼び出され
ると、ＣＰＵタイマーをサンプリング間隔Ｔにセット
し、ＣＰＵタイマーをスタートさせ（ｓ２００）、割込
みが発生した場合ｓ２０４に進む。ｓ２０４では代表点
の座標データを検出し、検出した座標データとサンプリ
ング時刻をジェスチャデータテーブル４０に格納する
（ｓ２０６）。次に、前回検出し、ジェスチャデータテ
ーブル４０に既に格納してある座標データを参照し、ｓ
２０４で検出した座標データとを用いて二点間の距離ｄ
を計算する（ｓ２０８）。初期値データテーブル３０に
格納してあるしきい値Ｄ３１と係数ｋ３２を用いて、ｓ
２０８で求めた距離ｄを例えば三つの場合に場合分けす
る（ｓ２１０）。条件の判定は、（実施例２）と同様と
する。条件１が満たされている場合は、サンプリング間
隔ＴをＴ１にし（ｓ２１２）、ｓ１３０にすすむ。条件
２が満たされている場合は、サンプリング間隔ＴをＴ２
にし（ｓ２１４）、ｓ１３０にすすむ。条件３が満たさ
れている場合は、サンプリング間隔ＴをＴ３にし（ｓ２
１６）、ｓ１３０にすすむ。ｓ１３０では、特徴量を計
算し、特徴量データテーブル５０に格納する。そして、
特徴量データテーブルの内容を参照し、認識ルーチンを
実行する（ｓ１４０）。

【００４１】本実施例の効果として次の点が挙げられ
る。検出したジェスチャの座標データと前回検出した座
標データから二点間距離をもとめ、その距離に応じて次
回座標データを検出するまでの時間を変化させることに
よって、特徴点間の距離が同程度とすることができる。
そのため、検出したデータの中から特徴点を抽出する必
要がなくなるため、ジェスチャの全体の座標データを得
ずとも、特徴点間の距離が同程度の座標データを得るこ
とができる。よってそのデータを用いたジェスチャ認識
が可能となる。

【００４２】さらに、検出したジェスチャの座標データ
と前回検出した座標データから二点間距離をもとめ、そ
の距離がしきい値を超えた場合、次回座標データを検出
するまでの時間を短くするので、ジェスチャ認識に必要
な特徴点の欠落を防ぐことができる。

【００４３】（実施例３）図１５から図１７を用いて本
実施例と（実施例１）との相違点を中心に説明する。本
実施例は、（実施例１）と図１６に示したジェスチャデ
ータテーブル１００、特徴量データテーブル１１０とサ
ンプリングルーチンｓ６０の部分が異なり、それに伴い
機能ブロック図がことなる。その他の部分に関してはほ
ぼ同様である。

【００４４】まず、機能ブロック図（図１５）を用いて
概要を説明する。表示部７に対して、利用者がジェスチ
ャ認識の開始を指示する（後述する）と、ＣＰＵ１内の
ＣＰＵタイマー６００がスタートし、一定時間間隔で割
込みを発生させ、座標データ検出処理６１０を実行させ
る位置検出命令を発生させる。座標データ検出処理６１
０では、座標データを検出し、その座標データをジェス
チャデータテーブル１００に格納する。また、座標デー
タは距離計算処理６２０へも出力され、距離計算処理６
２０において、座標データ検出処理６１０で検出した座
標データとジェスチャデータテーブル１００に格納され
ているデータのうち一番最後に格納した特徴点との二点
間距離を求め、特徴点判定処理６３０へ出力する。特徴
点判定処理６３０では、この二点間の距離を初期値デー
タテーブル３０に格納されているしきい値Ｄ３１と比較
し、条件を満たしている場合サンプリングフラグ１０５
として１を出力し、条件を満たしていない場合はサンプ
リングフラグ１０５として０を出力し、ジェスチャデー
タテーブル１００に格納する。ここで、ジェスチャデー
タテーブル１００と特徴量データテーブル１１０のテー
ブル構成を図１６をもちいて説明する。図１６に示した
ジェスチャデータテーブル１００は、サンプリング番号
１０１、Ｘ座標１０２、Ｙ座標１０３、サンプリング時
刻１０４、サンプリングフラグ１０５、特徴量データテ
ーブルアドレス１０６の各欄からなる。サンプリングフ
ラグ１０５とは、ある時刻（サンプリング時刻１０４）
における検出点をジェスチャ認識で用いる特徴点とする
か否かを示す識別子である。例えばサンプリング番号１
０１が３のデータは、３番目に検出した点であり、その
座標は（Ｘ３，Ｙ３）であり、サンプリング時刻１０４
は６０であり、サンプリングフラグが１である。よって
このデータはジェスチャ認識に用いるデータであること
を示しているものとする。

【００４５】特徴量データテーブル１１０は少なくとも
一種類以上の特徴量似よって構成されている。特徴量は
ジェスチャデータテーブル１００のサンプリングフラグ
１０１が１であるでーたにたいしてのみ特徴量計算処理
２５０で計算され、その値は特徴量１１１・・・の各欄
に格納されている。この特徴量として実施例１であげた
もの以外に前回サンプリングフラグ１０５が１であった
ときまでのサンプリングフラグの値が０であったデータ
数があげられる。

【００４６】なお、サンプリングフラグ１０５以外の各
欄は（実施例１）のジェスチャデータテーブル４０と同
様であるため、また、初期値変更処理２６０、パターン
照合処理２７０、コマンド実行処理２８０に関しては
（実施例１）と同様であるため説明を省略する。

【００４７】次に図１７を用いて本実施例のサンプリン
グルーチンｓ６０を詳細に説明する。 サンプリングル
ーチンが呼びだされるとまず、ＣＰＵタイマーがセット
され、スタートする（ｓ３００）。これにより一定時間
間隔で割込みを発生させ（ｓ３０２）、割込みが発生し
た場合、ｓ３０４にすすむ。ｓ３０４では検出点の座標
データが検出され、検出した座標値と検出した時刻すな
わちサンプリング時刻をジェスチャデータテーブル１０
０に格納する（ｓ３０６）。そして、ジェスチャデータ
テーブル１００に既に格納されているデータのうち、サ
ンプリングフラグが１であり、かつｓ３０４で検出した
時刻に一番近い時刻に検出したデータを参照し、このデ
ータとｓ３０４で検出したデータから二点間の距離ｄを
計算する（ｓ３０８）。この距離ｄと初期値データテー
ブル３０に格納されているしきい値Ｄ３１とを比較し
（ｓ３１０）、条件：ｄ＞Ｄが満たされている場合、ジ
ェスチャデータテーブル１００のサンプリングフラグに
１を格納し（ｓ３１２）、特徴量計算処理を実行し（ｓ
１３０）、特徴量を特徴量データテーブル１１０に格納
し、認識ルーチンを実行する（ｓ１４０）。条件が満た
されていない場合、ジェスチャデータテーブル１００の
サンプリングフラグに０を格納する（ｓ３１４）。

【００４８】本実施例の効果として次の点が挙げられ
る。検出したジェスチャの座標データのうちしきい値を
超えた距離だけ離れた座標データを用いて認識をするた
め一部分に偏ったデータを用いたパターンマッチングを
防ぐことができる。

【００４９】検出した座標データのうち有効なデータを
検出した場合のみジェスチャの認識を実行するためパタ
ーン認識の処理量が削減される。パターン認識に有効で
ない座標データも格納しているため入力したジェスチャ
を再現する際に有効である。

【００５０】ジェスチャの形状をあらわす検出したデー
タを格納するジェスチャデータテーブルと認識に用いる
特徴量を格納する特徴量データテーブルとを分けて管理
することによって認識する際、不要なデータを参照する
ことが防げる。検出した座標データのうち有効なデータ
を検出した座標データにたいしてのみ特徴量を計算し、
格納するためメモリに格納すべきデータ量を削減するこ
とができる。

【００５１】

【発明の効果】以上述べたように、検出したジェスチャ
の座標データと前回検出した座標データから二点間距離
をもとめ、その距離に応じて次回座標データを検出する
までの時間を変化させることによって、特徴点間の距離
が同程度とすることができる。そのため、検出したデー
タの中から特徴点を抽出する必要がなくなるため、ジェ
スチャの全体の座標データを得ずとも、特徴点間の距離
が同程度の座標データを得ることができる。そのデータ
を用いることにより、ジェスチャの入力完了が明確でな
い場合もジェスチャ認識が可能となる。

【００５２】また、検出したジェスチャの座標データと
前回検出した座標データから二点間距離をもとめ、その
距離に応じてパターン認識で使う座標点を決定するた
め、ジェスチャ認識に必要な特徴点の欠落を防ぐことが
できる。さらに、サンプリング間隔を最も短くするため
の判定条件を最初に判定するためサンプリングするタイ
ミングの遅れが減り、ジェスチャの形状に関する座標情
報の欠落を防ぐことができる。

【００５３】

【図面の簡単な説明】

【図１】本発明の一実施例の機能ブロック図である。

【図２】本発明の実施例のシステム構成図である。

【図３】ユーザデータテーブルおよび初期値データテー
ブルのテーブル構成図である。

【図４】ジェスチャデータテーブルおよび特徴量データ
テーブルのテーブル構成図である。

【図５】パターンインデックステーブルおよびパターン
データテーブルのテーブル構成図である。

【図６】コマンドインデックステーブルおよび実行プロ
グラムテーブルのテーブル構成図である。

【図７】メインルーチンのフローチャートである。

【図８】一実施例のサンプリングルーチンのフローチャ
ートである。

【図９】認識ルーチンのフローチャートである。

【図１０】初期値設定画面の表示画面例である。

【図１１】メニュー、ジェスチャ入力領域の画面表示例
である。

【図１２】ジェスチャを説明するための図である。

【図１３】本発明のその他の実施例の機能ブロック図で
ある。

【図１４】その他の実施例のサンプリングルーチンのフ
ローチャートである。

【図１５】本発明の更にその他の実施例の機能ブロック
図である。

【図１６】その他の実施例のジェスチャデータテーブル
および特徴量データテーブルのテーブル構成図である。

【図１７】更にその他の実施例のサンプリングルーチン
のフローチャートである。

【符号の説明】

１…中央処理装置ＣＰＵ、２…システムバス、３…主メ
モリ、４…座標入力部、５…ペン、６…タブレットイン
ターフェース、７…表示部、８…描画プロセッサ、９…
表示メモリ、１０…外部メモリ、２０…ユーザデータテ
ーブル、３０…初期値データテーブル、４０…ジェスチ
ャデータテーブル、５０…特徴量データテーブル、６０
…パターンインデックステーブル、７０…パターンデー
タテーブル、８０…コマンドインデックステーブル、９
０…実行プログラムテーブル。

Claims (9)

【特許請求の範囲】
1. 【請求項１】ジェスチャを表す座標データを取り込む入
   力手段と、前記座標データを格納する格納手段と、前記
   格納手段に既に格納してある座標データと前記入力手段
   によって得た座標データとの間の距離を計算する座標デ
   ータ間距離計算手段と、前記座標データ間距離計算手段
   によって得た座標データ間距離に基づき、次に座標デー
   タを取り込む処理を実行するまでの時間を管理するサン
   プリング間隔制御手段と、あらかじめ登録してあるパタ
   ーンと比較照合する手段を設けたことを特徴とするジェ
   スチャ認識装置。
2. 【請求項２】前記サンプリング間隔制御手段は、割込み
   処理を発生させる時間間隔を管理する中央処理装置内の
   タイマーへ設定する時間間隔を変更する手段を含むこと
   を特徴とする請求項１のジェスチャ認識装置。
3. 【請求項３】前記サンプリング間隔制御手段は、サンプ
   リング間隔を変更するか否かを判定する検出間隔判定手
   段を含むことを特徴とする請求項２のジェスチャ認識装
   置。
4. 【請求項４】前記サンプリング間隔制御手段は、中央処
   理装置内のタイマーの割込み間隔を一定とし、該割込み
   処理によって座標データの取り込み処理を実行するか否
   かを判定する検出間隔判定手段と前記検出間隔判定手段
   によってえた結果を表すカウンターを含むことを特徴と
   する請求項１のジェスチャ認識装置。
5. 【請求項５】前記検出間隔判定手段でもちいるしきい値
   を変更する手段を設けたことを特徴とする請求項４のジ
   ェスチャ認識装置。
6. 【請求項６】一定時間間隔で座標検出命令を発生し、座
   標データの検出間隔制御変数にもとづき該座標検出命令
   が有効又は無効かを判定し、有効な場合ジェスチャの座
   標データを検出し、無効な場合検出間隔制御変数を更新
   し、該検出した座標データをメモリに格納し、検出した
   該座標データと前回格納した座標データとの間の距離を
   計算し、該距離をもとに検出間隔制御変数を決定し、メ
   モリに格納してある座標データを用いてパターン認識す
   ることを特徴とするジェスチャ認識方法。
7. 【請求項７】前記座標検出命令が有効又は無効かを判定
   する処理において、検出命令を有効とする条件を無効と
   する条件より先に判定することを特徴とする請求項６の
   ジェスチャ認識方法。
8. 【請求項８】ジェスチャの座標データ検出命令を発生
   し、ジェスチャの座標データを検出し、該座標データを
   メモリに格納し、該座標データと前回メモリに格納した
   座標データとの間の距離を計算し、該距離をもとに次回
   座標データを検出するまでの時間間隔の決定、更新し、
   該検出した座標データによりパターン認識することを特
   徴とするジェスチャ認識方法。
9. 【請求項９】次回座標データを検出するまでの時間間隔
   の変更を判定する方法において該時間を短くする条件を
   該時間を長くする条件より先に判定する請求項８のジェ
   スチャ認識装置。