JP3440644B2 - 手動作認識装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、手動作認識装置に関
し、特に、センサや彩色された手袋などを用いることな
く人間の身振りや手振りの認識を行ない、認識結果に基
づいて人間と機械の間のインターフェースを行ない、指
示装置や手話認識などに利用可能な手動作認識装置に関
する。

【０００２】

【従来の技術】人間の手振り、身振りを理解する方法と
して、身体にセンサを付けて各状態を測定する方法があ
る。文献では、「手振り認識方法とその応用」（電子情
報通信学会論文誌Ｄ‐２ Vol.J73-D-2 No.12、１９９
０、高橋友一他）などがある。また、カメラを使う手法
では、輪郭情報を抽出し、あらかじめ用意されているモ
デルとの対比で状態を推定する方法や、彩色した手袋を
使い、色情報によって指の動きなどをとらえる方法があ
る。文献では、「色情報による手形状認識に関する考
察」（電子情報通信学会技術研究報告 ＰＲＵ９４‐５
２、１９９４、吉野和芳他）などがある。また、認識結
果とデータベースの照合では、１対１の対応をとってい
た。

【０００３】

【発明が解決しようとする課題】従来の手動作認識装置
では、動作者が「右」に動かしているつもりでも、実際
は右前方に動いていて、それをそのままコード化して手
動作単語データベースと照合すると「右」としてデータ
ベースに入っている単語に特定できないということがあ
り、動きによるずれや位置のずれを伴ったコードの照合
は、単純な照合では、十分でないということがあった。

【０００４】そこで、本発明では、入力データから作成
されたコードと手動作単語データベースに入っているコ
ードに動きや位置のずれがあったとしても手動作の認識
が可能な手動作認識装置を提供することを目的とする。

【０００５】また従来は、動作者が「右」に動かしてい
るつもりでも、サンプリング間隔ごとに移動方向を見て
いくと「右」、「右前方」となっていたりすることがあ
り、動きのずれに対応した動きのコード化ができていな
いということがあった。

【０００６】そこで、本発明では、サンプリング間隔ご
との動きのずれがある場合でも手動作の認識を可能にす
る事を目的とする。

【０００７】さらに従来の手動作認識装置では、動作者
が口元で、右に指を動かすという動きをしたときに、動
きの距離閾値を１０ｃｍなどと固定にしておくと動きが
なかったものとして判定されてしまい、動きの大きさに
対して適応性のある動きのコード化ができないという課
題があった。

【０００８】そこで、本発明では、異なる大きさの動き
であっても手動作の認識を可能とすることを目的とす
る。

【０００９】また従来は、手のひらの座標が出てきただ
けでは、左右の手の区別がつかない。また、手のひらが
隠れてしまう場合にも対応できていなかった。

【００１０】そこで、本発明では、入力画像から、左右
の手の区別を行なう。さらに、隠れた手のひらの抽出を
も可能とすることを目的とする。

【００１１】また従来は、動いていない手に対しては動
きコードを与えておらず、片手の動かない両手動作の動
きコードの照合に適していなかった。

【００１２】そこで、本発明では、片手の動かない両手
動作の動きコード照合を可能とすることを目的とする。

【００１３】また従来は、繰り返しの動作に対応した動
きコードを用意しておらず、不必要に長い動きコードが
出てくることがあった。

【００１４】そこで、本発明では、繰り返しの動作に対
して、動きコードの短縮をはかることを可能とすること
を目的とする。

【００１５】また従来は、コード化する動きの開始は判
断していたが、終了を判定しておらず、動作の切り出し
がされていなかった。

【００１６】そこで、本発明では、動作の切り出しを可
能とすることを目的とする。また従来は、光学式カメラ
を用いていたため、周囲の明るさや色などの影響を受け
やすかった。

【００１７】そこで、周囲環境の影響を受けにくい手動
作の認識を可能とすることを目的とする。

【００１８】

【課題を解決するための手段】上記目的を達成するため
に、本願発明は、少なくとも操作者の上半身を撮影する
撮影手段と、撮影された画像より右手首より先の部分
（以下右手のひらと称する）と、左手首の先の部分（以
下左手のひらと称する）を手のひら抽出手段と、手のひ
ら抽出手段で抜き出された右、左手のひらの空間位置を
計算する空間位置計算手段と、計測された一定時間ごと
の移動距離を基に、手動作の動きコードを作成する動き
コード作成手段と、手のひらが移動した時の開始位置を
求める開始位置コード作成手段と、手動作の開始位置基
準コード、動き基準コードの組合わせが記憶された手動
作単語記憶手段と、動きコード作成手段によって求めら
れた動きコードを動き近傍コードを参照しつつ、手動作
単語記憶手段に記憶されている各手動作の動き基準コー
ドと比較をおこない動きコードの類似度を求める動きコ
ード照合手段と、開始位置近傍コードと開始位置コード
作成手段によって求められた開始位置コードを比較する
ことにより、開始位置コードの類似度を求める開始位置
コード照合手段と、動きコード照合手段と開始位置コー
ド照合手段で求められた類似度をもとに手動作単語を特
定する手動作特定手段を備えた手動作認識装置である。

【００１９】また、上記構成における、動きコード作成
手段を移動量計算手段によって計測された移動方向と移
動距離を基に同一の移動方向が続く間の累積移動距離を
動き判定手段で判定し、近傍非圧縮動きコードを作成す
る近傍非圧縮動きコード作成手段と、移動量計算手段に
よって計測された移動方向と移動距離を基に近傍の移動
方向が続く間の累積移動距離を動き判定手段で判定し、
近傍圧縮動きコードを作成する近傍圧縮動きコード作成
手段とで置き換え、さらに動きコード照合手段を、近傍
非圧縮動きコードと近傍圧縮動きコードを動き近傍コー
ドを参照しつつ、手動作単語記憶手段の基準動きコード
と比較をおこない類似度を求める複合動きコード照合手
段とで置き換えて構成される手動作認識装置である。

【００２０】また、上記構成における、動き判定手段に
移動量計算手段によって計測された移動距離を基に動き
コードを与えるかどうかを判定する距離閾値を可変にす
る距離閾値可変手段を付加して構成される手動作認識装
置である。

【００２１】また、上記構成における、手のひら抽出手
段を、記憶手段で記憶された画像から手のひらを代表す
る特定色を抽出する特定色抽出手段と、特定色抽出手段
で抽出された領域の中で手のひらの領域を判定する手の
ひら判定手段と、動き予測によって左右の手の区別が可
能かどうかを判定する動き予測判定手段と、記憶手段で
記憶された画像から手および腕の動き領域を抽出する動
き領域抽出手段と、動き領域のそれぞれについて解析を
行なう動き領域解析手段と、動き領域をグループにまと
める動き領域グループ化手段と、動き領域グループ化手
段で作ったグループを下腕で近似する下腕部近似手段
と、下腕部近似手段で近似した２つの下腕部の位置関係
から左右の手の区別を行なう左右判定手段と、時間的な
動きの軌跡から、動きを予測して左右の手の区別を行な
う動き予測手段に置き換えて構成される手動作認識装置
である。

【００２２】また、上記構成における、動きコード作成
手段または、近傍非圧縮動きコード作成手段に、動きが
なかったことを意味する固定動きコードを与える固定動
きコード作成手段を付加して構成される手動作認識装置
である。

【００２３】また、上記構成における、動きコード作成
手段または近傍非圧縮動きコード作成手段または近傍圧
縮動きコード作成手段に、繰り返しの動きがあったこと
を意味する繰り返し動きコードを与える繰り返し動きコ
ード作成手段を付加して構成される手動作認識装置であ
る。

【００２４】また、上記構成における、手動作静動判定
手段に、動作が終了したことを意味する終了通知手段を
付加して構成される手動作認識装置である。

【００２５】また、上記構成における、空間位置計算手
段の前に、赤外線カメラを使って、少なくとも操作者の
上半身を撮影する赤外線撮影手段と、前記赤外線撮影手
段で撮影された画像を記憶する赤外線記憶手段と、前記
赤外線記憶手段で記憶された画像から、左右の手のひら
を抽出する赤外線手のひら抽出手段を付加して構成され
る手動作認識装置である。

【００２６】

【作用】本発明の手動作認識装置によれば、操作者の上
半身を撮影して記憶し、左右の手のひらを抽出し、それ
らの空間位置を基に動きコードと開始位置コードを求
め、近傍コードを使って類似度を計算することにより、
人の曖昧性を吸収して手の動作を認識することができ
る。

【００２７】また、動きコードの作成において、近傍非
圧縮動きコードと近傍圧縮動きコードの２種類を作成
し、各々で類似度を計算し、両方の類似度を用いて照合
することにより、人の曖昧性を吸収した動きのコード化
を行なって手の動作を認識することができる。

【００２８】また、動き判定の距離閾値を可変にするこ
とにより、異なる大きさの動きにも対応した手の動作を
認識することができる。

【００２９】また、手動作の動き部分から下腕部を推定
することにより、その関係から左右の手の区別ができ
る。さらに、動き予測を用いて、隠れた手のひらの座標
も予測ことにより、確実な手のひらの抽出ができる。

【００３０】また、一方の手が動いているときに、もう
一方の手が動いていない場合は、固定コードを与えるこ
とにより、片手の動かない両手動作の動きコード照合が
できる。

【００３１】また、繰り返しの動作に対応した動きコー
ドを与えることにより、動きコードの短縮をはかること
ができる。

【００３２】また、動きの終了を意味する動きを認識し
て、これを通知することにより、動作の切り出しができ
る。

【００３３】また、赤外線カメラを用いて手の動き部分
を抽出することにより、周囲環境の影響を受けにくい手
動作の認識ができる。

【００３４】

【実施例】

（実施例１）本発明の手動作認識装置について記述す
る。図１は発明の第１の実施例のシステム構成図であ
る。図１を参照して本実施例の構成について説明する。

【００３５】左右のカメラの画像を撮影する撮影装置
１、撮影がおこなわれた左右のカメラの画像を記憶する
記憶装置２、画像の中の左右の手のひらを抽出する手の
ひら抽出装置３、左右のてのひらの空間における絶対座
標を求める空間位置計算装置４、空間位置計算装置４に
よって求められた値を記憶する空間位置記憶装置５、空
間位置を基に一定時間ごとの移動方向と移動距離を計算
する移動量計算装置１７と、移動距離を基に動きとして
認められる距離として設定した距離閾値を用いて動きコ
ードを与えるかどうかを判定する動き判定装置１８と、
移動量計算装置１７で求めた移動方向と移動距離をもと
に動きコードを作成する動きコード作成装置７、空間位
置記憶装置５に入っている手のひらの空間座標をもとに
判定する手動作静動判定装置６、記憶装置２より領域コ
ードのテーブルを作成する領域コードテーブル作成装置
１６、手動作静動判定装置６で手のひらが移動を開始し
た時の開始位置を領域コードテーブル作成装置１６を用
いて求める開始位置コード作成装置８、動きコードの近
傍である動き近傍コードを記憶している動き近傍コード
記憶装置９、領域コードの近傍である領域コード近傍グ
ループを記憶している領域コード近傍グループ記憶装置
１０、手動作の開始位置基準コード、動き基準コードの
組合わせが記憶された手動作単語記憶装置１１、動きコ
ード作成装置７によって求められた動きコードを動き近
傍コードを参照しつつ、手動作単語記憶装置１１に記憶
されている各手動作の動き基準コードと比較をおこない
動きコードの類似度を求める動きコード照合装置１２、
手動作単語記憶装置１１に記憶されている各手動作の開
始位置基準コードを基に領域コード近傍グループ記憶装
置１０より各手動作の開始位置近傍コードを作成する開
始位置近傍コード作成装置１３、開始位置近傍コード作
成装置１３で求めた開始位置近傍コードと開始位置コー
ド作成装置によって求められた開始位置コードを比較す
ることにより、開始位置コードの類似度を求める開始位
置コード照合装置１４、動きコード照合装置１２と開始
位置コード照合装置１４で求められた類似度をもとに手
動作単語を特定する手動作特定装置１５により構成され
る。

【００３６】次に、本実施例の具体的な動作について、
図４のフローチャートと、図１を用いて説明する。

【００３７】図１のように、左右両方向から対象を撮影
するカメラのような撮影装置１によって操作者の上半身
を撮影し、その画像を記憶装置２に蓄える。記憶装置２
は標準ではＮＴＳＣの規格である１／３０秒のサンプリ
ング間隔で格納されるが記憶装置２のパラメータを変更
することによりサンプリング周期の変更、例えば１／１
０秒もしくは１／５秒への変更が可能である（ステップ
１００）。

【００３８】手のひら抽出装置３では、最初の画像にお
いて、色情報を使って肌色を抜き出す。その抜き出され
たものが、大きさや形状から手のひらと特定し、位置関
係などから左右の区別を行なう。２枚目以降について
は、手のひらの追跡を行ないながら、手のひらの抽出を
行なっていく（ステップ１０１）。

【００３９】空間位置計算装置４では、各左右のカメラ
の画像において、手のひらの注目点（例えば重心）の座
標を求め、その視差を利用して空間位置座標を計算す
る。左右の手のひらについて求め、各サンプリング点ご
とに計算していった結果を空間位置記憶装置５に格納し
ていく（ステップ１０２）。なお、空間位置はデータグ
ローブからの計測データおよびキーボードからの指定で
も作成できる。

【００４０】移動量計算装置１７では、移動方向と移動
距離を求める。空間位置として記憶されている一定サン
プリング間隔のフレームごとの３次元座標の連続する２
点の座標を（ｘ０，ｙ０，ｚ０），（ｘ１，ｙ１，ｚ
１）とすると２点間の移動距離は、（数１）で計算され
る。

【００４１】

【数１】

【００４２】また、ＸＹ平面上への投影角度は（数
２）、ＹＺ平面上への投影角度は（数３）、ＺＸ平面上
への投影角度は（数４）で計算される。

【００４３】

【数２】

【００４４】

【数３】

【００４５】

【数４】

【００４６】さらにこれら３種類の投影角度の組合せに
より図７に示す２６方向のうちの一つを移動方向として
決定する。これらの計算をすべてのフレーム間について
おこなう。ここでは、５点が計測され空間位置座標は、
図８のようになり、各フレーム間で計算された移動方向
と移動距離は図９のようになったとする（ステップ１０
３）。

【００４７】動き判定装置１８では、動き判定の距離閾
値を１０ｃｍとしておく。このとき、動きコード作成装
置７では、同じ移動方向で累積距離が距離閾値を越えた
場合に、動きコードを与える。図９を用いて、動きコー
ドの作成を行なう。サンプリング点間（ｔ０，ｔ１）で
は、移動距離が５ｃｍしかないので、動きコードとしな
い。サンプリング点間（ｔ１，ｔ２）では、移動距離が
１１ｃｍで動き判定の距離閾値を越えているので、動き
コードとして「右前方」が与えられる。同様にサンプリ
ング点間（ｔ２，ｔ３）では、動きコードとして「下」
が与えられる。サンプリング点間（ｔ３，ｔ４）では、
移動距離が２ｃｍしかないので、動きコードとしない。
この結果、動きコードは、（右前方、下）となる（ステ
ップ１０４）。

【００４８】動き近傍コード記憶装置９には、ある動き
コードを基準としたときの近傍コードが記憶されている
とする。その基準動きコードがＸ、Ｙ、Ｚ軸上のとき
に、各軸方向に４５度ずれた動きを近傍動きコードとす
る。また、ＸＹ平面、ＸＺ平面、ＹＺ平面上にある基準
動きコードに関しては、平面を構成している座標軸の方
向と残りの座標軸方向に４５度ずれた動きを近傍動きコ
ードとする。また、ＸＹ平面、ＸＺ平面、ＹＺ平面上に
ない基準動きコードに関しては、各平面に投影された動
きを近傍動きコードとする。図１０にその一部を示す。
また、手動作単語記憶装置１１には、各手動作単語に対
する基準動きコードと基準開始位置コードが入ってい
る。手動作単語「司会」の場合であると、顔の前より動
作が始まり、右に動かして下に動かすという動作である
ので、図１１のように登録されている。ここで、動きコ
ード照合装置１２では、手動作単語記憶装置１１の基準
動きコードと動きコードを項ごとに比較していく。この
とき、お互いがすべて一致していて項数も合えば類似度
１００％となる。また、基準動きコードからみて動きコ
ードが、動き近傍コード記憶装置９に格納されている近
傍動きコードになっている場合は、近傍の類似度比を乗
算する。なお、基準動きコードに比べて、動きコードの
項数が少ない場合の「欠け」や動きコードの項数が多い
場合の「混入」、円弧動作における動きコードの「ず
れ」などを考慮した類似度比を与えるということも有効
である。図１２に類似度計算のための項ごとの比較結果
を示す。その結果を基に、図１３で定義した類似度比を
もとに、類似度を計算する。第１項目は近傍、第２項目
は一致しているので、類似度は、１００％×９０％＝９
０％となる（ステップ１０５）。

【００４９】領域コードテーブル作成装置１６では、右
カメラ、左カメラで撮影された体の上半身が記憶されて
いる記憶装置２より領域コードのテーブルを作成する。
記憶装置２に格納された体の上半身部分の画像のエッジ
を取ることにより、右、左カメラで撮影された体の上半
身部分を抜き出す。なお抜き出す方法としては、人物が
写っていない写真との差分によって取り出しても、また
手で体の上半身部分の外形をなぞって切り出してもよ
い。（図１４）図１４で求めた外形線とＹ軸と平行な線
が接する線をＦＲＬ，ＦＬＬとし、外形線とＸ軸と平行
な線が接する線をＨＵＬとする。前記ＦＲＬを垂直に伸
ばし、外形線と交わった点をｆｒｌｐとする。ｆｒｌｐ
より外形線に接した線ＳＨＤＬを求める。ＳＨＤＬと外
形線の差分が閾値を越えた点をｓｈｐとする。ｓｈｐを
通り、Ｘ軸に平行な線をＳＵＬ、Ｙ軸に平行な線をＳＨ
ＲＬとする。また、ＦＲＬとＦＬＬの中線をＭＣＬとす
る。ＭＣＬとＳＨＲＬとの差分距離だけＳＨＲＬより左
に移動した線をＥＲＬとする。ＭＣＬを軸中心としてＳ
ＨＲＬと線対称な線をＳＨＬＬ、ＥＲＬに対称な線をＥ
ＬＬとする。またＳＵＬとＨＵＬの３／４の位置にある
Ｘ軸に平行な線をＮＥＬ、ＳＵＬとＸ軸との中線をＢＭ
Ｌとする。（図１５）前記ＳＨＤＬ，ＳＨＲＬ，ＦＲ
Ｌ，ＭＣＬ，ＦＬＬ，ＳＨＬＬ，ＥＬＬ，ＨＵＬ，ＮＥ
Ｌ，ＳＵＬ，ＢＭＬを使って右カメラ、左カメラ画像の
領域を分割する。（図１６）次に前記の線分によって生
じた交点を求める。（図１７）右カメラ画像と左カメラ
画像での同じ交点番号を左右の対応点とする。交点番号
０の画像上の座標値を（Ｘｒ０，Ｙｒ０），（Ｘｌ０，
Ｙｌ０）とすると数５に代入し、空間位置を計算する。

【００５０】

【数５】

【００５１】同様に全ての交点においても空間位置の計
算をおこなう。その結果に基づいて領域コード（０〜２
４）を定義する。領域コード（０〜２４）からＭＣＬと
ＳＨＲＬの距離だけ人物の前方にある領域を領域コード
（２５〜４９）と定義する。さらに前方の領域にある領
域を領域コード（５０〜７４）と定義し、それぞれの定
義された領域は領域コードテーブルとして空間の座標値
を格納する。図１８に検出された領域コードテーブルの
作成結果を示す。このことにより被験者自身の部位に沿
った領域（顔、首、胸、腹、顔の横等）の分割が可能と
なり、領域コードが被験者自身の部位との対応づけを示
すことになる。なおこの領域コードはデータグローブか
らの計測データ及びキーボードからの指定でも作成でき
る（ステップ１０６）。

【００５２】手動作静動判定装置６では空間位置記憶装
置５に記憶されている各フレームの空間位置の差分を取
り、図１９に示すように一定時間の停止後、閾値（１０
ｃｍ）以上の移動がある時に、動作が開始したと判定
し、その時の空間位置を開始位置コード作成装置８に渡
す（ステップ１０７）。

【００５３】開始位置コード作成装置８では手動作静動
判定装置６により渡された空間位置と領域コードテーブ
ル作成装置１６に格納されている座標をもとに開始位置
コードを決定する。空間位置が（Ｘｗ，Ｙｗ，Ｚｗ）＝
（２０，１６０，１０）の時、領域コードテーブル作成
装置８で作成された図１８より開始位置コードが１１と
検出される（ステップ１０８）。

【００５４】領域コード近傍グループ記憶装置１０はあ
る領域コードのＸ軸，Ｙ軸，Ｚ軸に一つずれた２６近傍
の領域コードを記憶する。ある開始位置コードに対する
これら領域群を領域コードの領域コード近傍グループと
定義する。例えば領域コード３６の領域コード近傍グル
ープは図２０に示すように５，６，７，１０，１１，１
２，１５，１６，１７，３０，３１，３２，３５，３
７，４０，４１，４２，５５，５６，５７，６０，６
１，６２，６５，６６，６７となる。開始位置近傍コー
ド作成装置１３では領域コード近傍グループ記憶装置１
０の領域近傍グループと手動作単語記憶装置１１の中の
開始位置基準コードを使用して開始位置近傍コードを作
成する。例えば顔の前より動作が始まり、右に動かし下
に動かす動作は手話では「司会」となる。この動作は手
動作単語記憶装置１１の中に、開始位置基準コードとし
て３６、動き基準コードとして（右，下）と登録されて
いる。上記動作の開始位置基準コードに対する領域近傍
グループは図２０に示されている領域コードとなる。開
始位置基準コードとの距離に応じて図２１に示すように
位置に対する類似度を開始位置近傍コードとして作成す
る。なおこの開始位置近傍コードに格納されている類似
度は動作によって可変にしても良い（ステップ１０
９）。

【００５５】開始位置コード照合装置１４では開始位置
コード作成装置８で検出された開始位置コードと開始位
置近傍コード作成装置１３で作成された開始位置近傍コ
ードをもとに空間位置における類似度を照合させる。上
記の例では（ステップ１０８）で検出された開始位置コ
ード１１は図２１と比較すると開始位置近傍コードに作
成されている類似度は８９％となっている。つまりこの
検出された動きは手動作「司会」に対して位置において
類似度８９％と検出される。これら操作を手動作単語記
憶装置１１の登録語全てに対しておこない、結果は手動
作単語特定装置１５へと送る（ステップ１１０）。

【００５６】手動作単語特定装置１５では、動きコード
照合装置１２によって得られた各手動作単語の動きコー
ドの類似度と、開始位置コード照合装置１４によって得
られた各手動作単語の開始位置コードの類似度の演算を
おこなう。この結果、最も高い類似度を示した手動作単
語に特定する。例えば、手動作単語「Ａ」、「司会」の
各類似度が次のようだったとする。（動きコード類似
度、開始位置コード類似度）＝「Ａ」（９０％、２０
％）＝「司会」（９０％、８９％）このとき、演算とし
て積算を用いたとすると、（総合類似度）＝「Ａ」（１
８％）＝「司会」（８０％）となり、結果として手動作
単語「司会」の方の類似度が高いため、この場合手動作
単語「司会」に特定する。これにより、入力データから
作成されたコードと手動作単語データベースに入ってい
るコードに動きや位置のずれがあったとしてもそれを吸
収した形の照合が可能となった。なお、演算は、積算以
外に、加算、各類似度の順位比較などが適用できる（ス
テップ１１１）。

【００５７】このように、照合の時に近傍を考慮した類
似度計算を用いることで、入力データから作成されたコ
ードと手動作単語データベースに入っているコードに動
きや位置のずれがあったとしてもそれを吸収した形の照
合が可能となる。

【００５８】（実施例２）本発明の第２の実施例の手動
作認識装置について、以下図面を参照しながら説明す
る。本発明の第１の実施例を置換した部分のみ説明す
る。

【００５９】図２は、本発明の第２の実施例の手動作認
識装置の構成を示す図である。図２には、本発明の第２
の実施例の説明に必要な、第１の実施例の装置を残して
ある。

【００６０】図１の本発明の第１の実施例の構成におけ
る動きコード作成装置７を、移動量計算装置１７で求め
た移動方向と移動距離を基に、同一の移動方向が続く間
の累積移動距離を動き判定装置１８で判定し、近傍非圧
縮動きコードを作成する近傍非圧縮動きコード作成装置
２０と、移動方向と移動距離を基に、近傍の移動方向が
続く間の累積移動距離を動き判定装置１８で判定し、近
傍圧縮動きコードを作成する近傍圧縮動きコード作成装
置２１とで置き換え、さらに動きコード照合装置１２
を、近傍非圧縮動きコードと近傍圧縮動きコードを動き
近傍コードを参照しつつ、基準動きコードと比較をおこ
ない類似度を求める複合動きコード照合装置２２とで置
き換えて構成される。

【００６１】次に、本実施例の具体的な動作について、
図５に示すフローチャートと、図２を用いて説明する。

【００６２】図４のステップ１０３までは、第１の実施
例と同様である。図５のステップ２００から説明する。

【００６３】移動量計算装置１７で求めた移動方向と移
動距離は、図９のようになり、動き判定装置１８での動
き判定の距離閾値を１０ｃｍとしておく。このとき近傍
非圧縮動きコード作成装置２０では、同じ移動方向で累
積距離が距離閾値を越えた場合に、動きコードを与え
る。図９を用いて、動きコードの作成を行なう。サンプ
リング点間（ｔ０，ｔ１）では、移動方向が次のサンプ
リング点間（ｔ１，ｔ２）の移動方向と異なり、移動距
離が５ｃｍしかないので、動きコードとしない。サンプ
リング点間（ｔ１，ｔ２）では、移動方向が次のサンプ
リング点間（ｔ２，ｔ３）の移動方向と異なり、移動距
離が１１ｃｍで動き判定の距離閾値を越えているので、
動きコードとして「右前方」が与えられる。同様にサン
プリング点間（ｔ２，ｔ３）では、動きコードとして
「下」が与えられる。サンプリング点間（ｔ３，ｔ４）
では、移動距離が２ｃｍしかないので、動きコードとし
ない。この結果、動きコードは、（右前方、下）となる
（ステップ２００）。

【００６４】近傍圧縮動きコード作成装置２１では、動
き近傍コード記憶装置９を参照して近傍を見ていき、近
傍の移動方向が続く間の累積距離が距離閾値を越えた場
合に、動きコードを与える。図９を用いて、動きコード
の作成を行なう。サンプリング点間（ｔ０，ｔ１）で
は、図１０の動き近傍コード定義表を参照すると移動方
向が次のサンプリング点間（ｔ１，ｔ２）の移動方向と
近傍の関係にあり、サンプリング点間（ｔ０，ｔ２）で
再び移動量計算装置１７を用いて移動方向と移動距離を
求める。この結果、移動方向は「右」、移動距離が１６
ｃｍとなるので、動きコードとして、「右」が与えられ
る。サンプリング点間（ｔ２，ｔ３）では、動き近傍コ
ードが続かず、移動距離が１５ｃｍで動き判定の距離閾
値を越えているので、動きコードとして「下」が与えら
れる。サンプリング点間（ｔ３，ｔ４）では、動き近傍
コードが続かず、移動距離が２ｃｍしかないので、動き
コードとしない。この結果、動きコードは、（右、下）
となる（ステップ２０１）。

【００６５】複合動きコード照合装置２２では、手動作
単語記憶装置１１の基準動きコードと近傍非圧縮動きコ
ードを項ごとに比較していく。このとき、お互いがすべ
て一致していて項数も合えば類似度１００％となる。ま
た、基準動きコードからみて近傍非圧縮動きコードが、
動き近傍コード記憶装置９に格納されている近傍動きコ
ードになっている場合は、近傍の類似度比を乗算する。
なお、基準動きコードに比べて、近傍非圧縮動きコード
の項数が少ない場合の「欠け」や近傍非圧縮動きコード
の項数が多い場合の「混入」、円弧動作における近傍非
圧縮動きコードの「ずれ」などを考慮した類似度比を与
えるということも有効である。図１２に類似度計算のた
めの項ごとの比較結果を示す。その結果を基に、図１３
で定義した類似度比をもとに、類似度を計算する。第１
項目は近傍、第２項目は一致しているので、近傍非圧縮
動きコードの類似度は、１００％×９０％＝９０％とな
る。同様に、近傍圧縮動きコードについても、項ごとに
比較していくと、２つの項が共に一致するので、近傍圧
縮動きコードの類似度は、１００％×１００％＝１００
％となる。ここで、２つの類似度の比較を行ない、高い
値を出した近傍圧縮動きコードの類似度１００％の方が
類似度となる。これらの操作を手動作単語記憶装置１１
の登録語すべてに対して行ない、結果は、手動作単語特
定装置１５へと送る（ステップ２０２）。

【００６６】このように、近傍圧縮動きコードを用いる
ことで、サンプリング間隔ごとの動きのずれを吸収した
形の動きのコード化が可能となる。

【００６７】（実施例３）本発明の第３の実施例の手動
作認識装置について、以下図面を参照しながら説明す
る。本発明の第２の実施例に付加した部分のみ説明す
る。

【００６８】図３は、本発明の第３の実施例の手動作認
識装置の構成を示す図である。図３には、本発明の第３
の実施例の説明に必要な、第２の実施例の装置を残して
ある。

【００６９】図２の本発明の第２の実施例の構成におけ
る移動量計算装置２０と動き判定装置２１の間に、移動
量計算装置２０で計算された移動距離を基に動きコード
を与えるかどうかを判定する距離閾値を可変にする距離
閾値可変装置３０を付加して構成される。

【００７０】次に、本実施例の具体的な動作について、
図６に示すフローチャートと、図３を用いて説明する。

【００７１】距離閾値可変装置３０では、まず最低距離
閾値を設定する。閾値移動量計算装置２０で算出された
フレーム間ごとの移動距離のうち、最低距離閾値ものを
すべて抜きだし、これらの平均値をもって、動き判定の
距離閾値とする。なお、モードやメジアンといった他の
統計処理値を使っても良い。例えば、最低距離閾値を１
ｃｍとする。また、５点の各フレーム間で計算された移
動距離が、（２ｃｍ）、（７ｃｍ）、（０ｃｍ）、（６
ｃｍ）だったとする。ここで、最低距離閾値を越えるの
は、（２ｃｍ）、（７ｃｍ）、（６ｃｍ）の３つであ
る。これら３つの平均値は５ｃｍであるのでこれを動き
判定の距離閾値とする（ステップ３００）。

【００７２】この動き判定の距離閾値を用いれば、この
ような小さい動きに対しても適当な動き判定の距離閾値
を与えることができる。

【００７３】（実施例４）本発明の第４の実施例の手動
作認識装置について、以下図面を参照しながら説明す
る。本発明の第１の実施例を置換した部分のみ説明す
る。

【００７４】図２２は、本発明の第４の実施例の手動作
認識装置の構成を示す図である。図には、本発明の第４
の実施例の説明に必要な、第１の実施例の装置を残して
ある。

【００７５】図１の本発明の第１の実施例の構成におけ
る手のひら抽出装置３を、手のひらを代表する特定色を
抽出する特定色抽出装置４０と、抽出された領域の中で
手のひらの領域を判定する手のひら判定装置４１と、動
きの中で、左右の手の区別が可能かどうかを判定する動
き予測判定装置４２と、手および腕の動きの領域を抽出
する動き領域抽出装置４３と、抽出された動き領域のそ
れぞれについて解析を行なう動き領域解析装置４４と、
動き領域をグループにまとめる動き領域グループ化装置
４５と、グループを下腕で近似する下腕部近似装置４６
と、２つの下腕部の関係から左右の手の区別を行なう左
右判定装置４７と、時間的な動きの軌跡から、動きを予
測して左右の手の区別を行なう動き予測装置４８とで置
き換えて構成される。

【００７６】次に、本実施例の具体的な動作について、
図２７に示すフローチャートと、図２２を用いて説明す
る。

【００７７】図２７のステップ１００までは、第１の実
施例と同じである。図２７のステップ４００から説明す
る。

【００７８】特定色抽出装置４０では、記憶装置２に蓄
えられている画像に対して、手のひらを代表する特定色
だけを抽出する。ここでは、手のひらに青色で着色した
手袋をはめていたとする。取り込み画像が赤緑青のよう
な色成分の和として表されているとすると、青の成分を
多く含む領域だけ抽出すれば、手のひらの領域が抽出で
きる。なお、特定色が肌色であったとしても、その各色
成分に対する比率の組合せで抽出できる。（ステップ４
００） 手のひら判定装置４１では、抽出された領域に対して、
その縦と横の長さなどから判断して、手のひら領域とみ
なされるものだけを選択する。例えば、手のひらの大き
さの判断基準として画像上の縦の長さが５０画素以上１
００画素以下であり、横の長さも５０画素以上１００画
素以下である領域のみ手のひら領域とする。手のひら領
域に関しては、その位置を算出して記憶しておく。例え
ば重心座標をその領域の代表点とする。ここで出てき
た、２つもしくは１つの代表点がでてくる。１つの代表
点しか出てこないというのは片手動作の場合や、両手動
作では重なっている場合である。（ステップ４０１） 動き予測判定装置４２では、動き予測可能でないのか、
可能なのかを判定する。ここでいう動き予測は、連続す
る２フレームの代表点を使って、その差分から次のフレ
ームの代表点を予測するというものである。今処理対象
となっているフレームの前に左右の手の区別がついてい
るフレームが０枚または１枚の時は、動き予測が不可能
である。この場合は、下腕の交差状況などから左右の手
の区別を判断する必要があるので、ステップ４０３、４
０４、４０５に進む。今処理対象となっているフレーム
の直前の２フレームで左右の手の区別がついている場合
は、動き予測だけで左右の手の区別が行なえる。この場
合は、ステップ４０６に進む。（ステップ４０２） 動き領域抽出装置４３では、今処理対象となっているフ
レームと直前のフレームとの輝度成分の差をとり、動い
た部分を取り出す。さらに、小ノイズ除去などの画像処
理をかけることによりもっとも大きく動く下腕部を構成
する領域のみを抽出する。さらに、動き領域解析装置４
４では、抽出された動き領域の各々についてその領域の
最大の長さを取る２点の座標、傾きおよびその長さなど
の解析を行なう。図２９に解析する特徴の項目を図示す
る。（ステップ４０３） 動き領域グループ化装置４５では、抽出された動き領域
の解析データについて、それぞれの位置や傾きの近いグ
ループにまとめていく。（ステップ４０４） できた動き領域のグループの数が１つなら片手動作と判
断し、手のひらの代表点を右の手のひらの代表点として
空間位置記憶装置４に格納する。グループの数が２つな
ら両手動作と判断し、左右の手の区別を行なうため、ス
テップ４０６に進む。（ステップ４０５） 下腕部近似装置４６では、下腕の両端のうち、手のひら
の代表点に近い方を手のひらとする。２つの手のひらの
代表点のそれぞれを２本の下腕のそれぞれに割り当て
る。手のひらの反対側の点を肘とする。これにより、手
のひらと肘の位置の決まった２本の下腕を決定する。図
３０に動き領域のグループが下腕近似されている様子を
示す。ここで、人の体の拘束条件である右肘と左肘の左
右は入れ替わらないということを利用する。左右判定装
置４７では、２本の下腕の両肘の座標を比較して、左に
ある方が左下腕で右にある方を右下腕とする。これによ
り、手のひらの左右も決まる。左右の手のひらの領域は
空間位置記憶装置４に格納する。（ステップ４０６） ここでは、動き予測ができる場合の左右の手の区別を行
なう。動き予測装置４８では、左右の手のひらの各々に
ついて、今処理対象となっているフレームの２つ前のフ
レームと１つ前のフレームの動きの差分から処理対象フ
レームの手のひらの位置を予測する。算出した動き予測
値とステップ４０１で出てきた手のひらの代表点を比較
して、左の動き予測値に近い方を左手のひらの代表点と
し、右の予測値に近い方を右手のひらの代表点として、
空間位置記憶装置４に格納する。この動き予測を使え
ば、手のひらの代表点が１点しか抽出されていなくて
も、左右それぞれについて予測値が算出されているの
で、その２点の距離の差から両手が重なっているのか一
方の手が隠れているのかの区別もつく。隠れている場合
は、隠れている方の手の代表点を予測点で代用すること
も可能となる。（ステップ４０７） このように、手動作の動き部分から下腕部を推定するこ
とにより、その関係から左右の手の区別を可能とする。
さらに、動き予測を用いて、隠れた手のひらの座標も予
測することにより、確実な手のひらの抽出が可能とな
る。

【００７９】（実施例５）本発明の第５の実施例の手動
作認識装置について、以下図面を参照しながら説明す
る。本発明の第１の実施例および第２の実施例に付加し
た部分のみ説明する。

【００８０】図２３は、本発明の第５の実施例の手動作
認識装置の構成を示す図である。図には、本発明の第５
の実施例の説明に必要な、第１の実施例の装置を残して
ある。

【００８１】図１の本発明の第１の実施例の構成におけ
る動きコード作成装置７に、または、図２の本発明の第
２の実施例の構成における近傍非圧縮動きコード作成装
置２０に、動きがなかったことを意味する固定動きコー
ドを与える固定動きコード作成装置５０を付加して構成
される。

【００８２】次に、本実施例の具体的な動作について、
図２３を用いて説明する。動きコード作成装置７におい
て、動きコードを与えるに十分な移動距離がなかった場
合、固定動きコードを与える。固定動きコード作成装置
５０では、動きコードを与えられなかった方の手のひら
の各サンプリング間隔ごとの移動距離をみていく。すべ
てのフレーム間で動き判定の距離閾値を越えていない場
合は、動きコードとして（固定）を与える。

【００８３】このように、一方の手が動いているとき
に、もう一方の手が動いていない場合は、固定コードを
与えることにより、片手の動かない両手動作の動きコー
ド照合が可能となる。

【００８４】（実施例６）本発明の第６の実施例の手動
作認識装置について、以下図面を参照しながら説明す
る。本発明の第１の実施例および第２の実施例に付加し
た部分のみ説明する。

【００８５】図２４は、本発明の第６の実施例の手動作
認識装置の構成を示す図である。図には、本発明の第６
の実施例の説明に必要な、第１の実施例の装置を残して
ある。

【００８６】図１の本発明の第１の実施例の構成におけ
る動きコード作成装置７に、または、図２の本発明の第
２の実施例の構成における近傍非圧縮動きコード作成装
置２０に、または、図２の本発明の第２の実施例の構成
における近傍圧縮動きコード作成装置２１に、繰り返し
の動きがあったことを意味する繰り返し動きコードを与
える繰り返し動きコード作成装置６０を付加して構成さ
れる。

【００８７】次に、本実施例の具体的な動作について、
図２８に示すフローチャートと、図２４を用いて説明す
る。

【００８８】図２８のステップ１０４までは、第１の実
施例と同じである。図２８のステップ６００から説明す
る。

【００８９】動きコード作成装置７において、反復的な
動きをコード化したときに、（右、左、右、左、・・
・）のように出てきたとする。

【００９０】繰り返し動きコード作成装置６０では、ま
ず、動きコードを２つスタックに蓄積する。この場合、
スタックに（右、左）が入る。（ステップ６００） 次に、スタックに入っている（右、左）のコードが、繰
り返される間はそのままで、違うコードが来るか最後ま
で来たら、そこまで繰り返された動きコードの代表コー
ドの後に繰り返しであることを意味する（繰り返し）コ
ードを入れる。この場合、動きコードとして（右、左、
繰り返し）を作成する。（ステップ６０１） このように、繰り返しの動作に対応した動きコードを与
えることにより、動きコードの短縮をはかることが可能
となる。

【００９１】（実施例７）本発明の第７の実施例の手動
作認識装置について、以下図面を参照しながら説明す
る。本発明の第１の実施例に付加した部分のみ説明す
る。

【００９２】図２５は、本発明の第７の実施例の手動作
認識装置の構成を示す図である。図には、本発明の第７
の実施例の説明に必要な、第１の実施例の装置を残して
ある。

【００９３】図１の本発明の第１の実施例の構成におけ
る手動作静動判定装置６に、動作が終了したことを意味
する終了通知装置７０を付加して構成される。

【００９４】次に、本実施例の具体的な動作について、
図２５を用いて説明する。手動作静動判定装置６では、
動作の開始点を見つけたが、終了通知装置７０では、両
方の手で動きが止まった時に終了と判断する。ここで
は、両手について、サンプリング間隔ごとの移動距離を
見ていき、動き判定の距離閾値以下のフレームが一定時
間（例えば１秒）続いた場合などに終了と判断し、撮影
装置１などに対して終了を判断した時から１秒前が動作
の終了フレームだったことを通知する。なお、終了と判
断する時間は何秒でも良いし、終了動作としては口を開
けるなどの動作でも良い。図３１に終了の通知のタイミ
ング図を示す。

【００９５】このように、動作の終了を意味する動きを
認識して、これを通知することにより、的確な動作の切
り出しが可能となる。

【００９６】（実施例８）本発明の第８の実施例の手動
作認識装置について、以下図面を参照しながら説明す
る。本発明の第１の実施例に付加した部分のみ説明す
る。

【００９７】図２６は、本発明の第８の実施例の手動作
認識装置の構成を示す図である。図には、本発明の第８
の実施例の説明に必要な、第１の実施例の装置を残して
ある。

【００９８】図１の本発明の第１の実施例の構成におけ
る空間位置計算装置４の前に、赤外線カメラを使って、
少なくとも操作者の上半身を撮影する赤外線撮影装置８
０と、撮影された画像を記憶する赤外線記憶装置８１
と、記憶された画像から、左右の手のひらを抽出する赤
外線手のひら抽出装置８２を付加して構成される。

【００９９】次に、本実施例の具体的な動作について、
図２６を用いて説明する。赤外線撮影装置８０では、左
右両方向から対象を撮影する赤外線カメラで動作者の上
半身を撮影し、その画像を赤外線記憶装置８１に蓄え
る。サンプリング間隔も１／３０秒や１／５秒など動作
速度に応じて変更可能である。赤外線手のひら抽出装置
８２では、温度差の違いによる色の違いを使って手のひ
らを抜き出す。また、第４の実施例で説明したように、
位置関係などから左右の手の区別を行なう。この結果は
空間位置計算装置４に送られる。

【０１００】このように、赤外線カメラを用いて手の動
き部分を抽出することにより、周囲環境の影響を受けに
くい手動作の認識が可能となる。

【０１０１】

【発明の効果】照合の時に近傍を考慮した類似度計算を
用いることで、入力データから作成されたコードと手動
作単語データベースに入っているコードに動きや位置の
ずれがあったとしてもそれを吸収した形の照合が可能と
なる。

【０１０２】また、入力データから動きコードを作成す
るときに近傍の移動方向が続く間はまとめて一つの移動
方向とする動きコードを用いることで、サンプリング間
隔ごとの動きのずれを吸収した形の動きのコード化が可
能となる。

【０１０３】また、可変的な動き判定のための距離閾値
を用いることで、異なる大きさの動きに対応した動きの
コード化が可能となる。

【０１０４】また、手動作の動き部分から下腕部を推定
することにより、その関係から左右の手の区別を可能と
する。さらに、動き予測を用いて、隠れた手のひらの座
標も予測することにより、確実な手のひらの抽出が可能
となる。

【０１０５】また、一方の手が動いているときに、もう
一方の手が動いていない場合は、固定コードを与えるこ
とにより、片手の動かない両手動作の動きコード照合が
可能となる。

【０１０６】また、繰り返しの動作に対応した動きコー
ドを与えることにより、動きコードの短縮をはかること
が可能となる。

【０１０７】また、動作の終了を意味する動きを認識し
て、これを通知することにより、的確な動作の切り出し
が可能となる。

【０１０８】また、赤外線カメラを用いて手の動き部分
を抽出することにより、周囲環境の影響を受けにくい手
動作の認識が可能となる。

【図面の簡単な説明】

【図１】本発明の第１の実施例の手動作認識装置の構成
を示す図

【図２】本発明の第２の実施例の手動作認識装置の構成
を示す図

【図３】本発明の第３の実施例の手動作認識装置の構成
を示す図

【図４】第１の実施例の手動作認識装置の処理手順の流
れ図

【図５】第２の実施例の手動作認識装置の処理手順の流
れ図

【図６】第３の実施例の手動作認識装置の処理手順の流
れ図

【図７】第１の実施例の移動量計算装置で移動方向を決
めるために使われる方向を示す図

【図８】第１の実施例の空間位置記憶装置に格納されて
いる空間位置座標を示す図

【図９】第１の実施例の移動量計算装置で求めた移動量
を示す図

【図１０】第１の実施例の動き近傍コード記憶装置に格
納されている動き近傍コードを示す図

【図１１】第１の実施例の手動作単語記憶装置に格納さ
れている基準コードを示す図

【図１２】第１の実施例の動きコード照合装置および第
２の実施例の複合動きコード照合装置の類似度計算のた
めの項ごとの比較を示す図

【図１３】第１の実施例の動きコード照合装置および第
２の実施例の複合動きコード照合装置のパラメータであ
る類似度比を示す図

【図１４】第１の実施例の右、左の上半身の写った画像
より実施例の人物の外形を抜きだした図

【図１５】第１の実施例の領域コードテーブル作成装置
の人物の外形線より領域分割のための線を示す図

【図１６】第１の実施例の領域コードテーブル作成装置
の人物の外形線より人物の部位に沿った領域分割を示す
図

【図１７】第１の実施例の領域コードテーブル作成装置
の領域分割した時の領域の端点を示す図

【図１８】第１の実施例の領域コードテーブル作成装置
の領域コードの空間コードを示す図

【図１９】第１の実施例の手動作静動判定装置の動作開
始の判定タイミングを示す図

【図２０】第１の実施例の領域コード近傍グループ記憶
装置に記憶されている領域近傍グループを示す図

【図２１】第１の実施例の開始位置近傍コード作成装置
に記憶されている開始位置近傍コードを示す図

【図２２】本発明の第４の実施例の手動作認識装置の構
成を示す図

【図２３】本発明の第５の実施例の手動作認識装置の構
成を示す図

【図２４】本発明の第６の実施例の手動作認識装置の構
成を示す図

【図２５】本発明の第７の実施例の手動作認識装置の構
成を示す図

【図２６】本発明の第８の実施例の手動作認識装置の構
成を示す図

【図２７】第４の実施例の手動作認識装置の処理手順の
流れ図

【図２８】第６の実施例の手動作認識装置の処理手順の
流れ図

【図２９】第４の実施例の解析する動き領域の特徴の要
素を示す図

【図３０】第４の実施例の下腕近似の説明図

【図３１】第７の実施例の終了通知のタイミング図

【符号の説明】

ｘ０，ｙ０，ｚ０ 空間位置座標の始点 ｘ１，ｙ１，ｚ１ 空間位置座標の終点 ｔ０，ｔ１，ｔ２，ｔ３，ｔ４ サンプリング点 Ｘｗ 空間位置のＸ座標 Ｙｗ 空間位置のＹ座標 Ｚｗ 空間位置のＺ座標 ＥＲＬ（ＥｌｂｏｗＲｉｇｈｔＬｉｎｅ） 右肘を示す
線 ＳＨＲＬ（ＳｈｏｕｌｄｅｒＲｉｇｈｉｔＬｉｎｅ）
右肩を示す線 ＦＲＬ（ＦａｃｅＲｉｇｈｔＬｉｎｅ） 顔の右側を示
す線 ＭＣＬ（ＭｉｄｄｌｅＣｅｎｔｅｒＬｉｎｅ） 体の中
心を表す線 ＦＬＬ（ＦａｃｅＬｅｆｔＬｉｎｅ） 顔の左側を示す
線 ＳＨＬＬ（ＳｈｏｕｌｄｅｒＬｅｆｔＬｉｎｅ） 左肩
を示す線 ＥＬＬ（ＥｌｂｏｗＬｅｆｔＬｉｎｅ） 左肘を示す線 ＨＵＬ（ＨｅａｄＵｐｐｅｒＬｉｎｅ） 頭の上を示す
線 ＮＥＬ（ＮｅｃｋＬｉｎｅ） 首の位置を示す線 ＳＵＬ（ＳｈｏｕｌｄｅｒＵｐｐｅｒＬｉｎｅ） 肩の
上部を示す線 ＢＭＬ（ＢｏｄｙＭｉｄｄｌｅＬｉｎｅ） 体の中心
（胸と腹の境界）を示す線 ｓｈｐ（ＳｈｏｕｌｄｅｒＰｏｉｎｔ） 肩の位置を示
す点 ｆｒｌｐ（ＦａｃｅＲｉｇｈｔＬｉｎｅＰｏｉｎｔ）
ＦＲＬを垂直方向に伸ばし外形線と交わった点

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平２−144675（ＪＰ，Ａ) 特開 平７−282235（ＪＰ，Ａ) 松尾英明外３名，非接触による手話動 作の認識アルゴリズム，Ｈｕｍａｎ Ｉ ｎｔｅｒｆａｃｅ Ｎｅｗｓ ａｎｄ Ｒｅｐｏｒｔ，社団法人計測自動制御学 会，1995年 １月23日，Ｖｏｌ．10，Ｎ ｏ．１，ｐｐ．41−46 (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06T 7/00 - 7/60 G06T 1/00 G09B 21/00 ＪＳＴＰｌｕｓファイル（ＪＯＩＳ)

Claims (8)

(57)【特許請求の範囲】
1. 【請求項１】少なくとも操作者の上半身を撮影する撮影
   手段と、 前記撮影手段で撮影された画像を記憶する記憶手段と、 前記記憶手段で記憶された画像より右手首より先の部分
   （以下右手のひらと称する）と、左手首の先の部分（以
   下左手のひらと称する）を抽出する手のひら抽出手段
   と、 前記手のひら抽出手段で抜き出された右、左手のひらの
   空間位置を計算する空間位置計算手段と、 前記空間位置計算手段で計算された空間位置を記憶する
   空間位置記憶手段と、 前記空間位置記憶手段を基に一定時間ごとの移動方向と
   移動距離を計算する移動量計算手段と、 前記移動量計算手段によって計測された前記移動距離を
   基に動きとして認められる距離として設定した距離閾値
   を用いて動きコードを与えるかどうかを判定する動き判
   定手段と、 前記空間位置記憶手段によって手動作の動きコードを作
   成する動きコード作成手段と、 前記空間位置記憶手段に記憶された値の差分を取ること
   によりてのひらが空間中に静止しているか、移動してい
   るかを判定する手動作静動判定手段と、 前記記憶手段より領域コードのテーブルを作成する領域
   コードテーブル作成手段と、 前記手動作静動判定手段で求めた手のひらが移動した時
   の開始位置を、前記領域コードテーブル作成手段を用い
   て求める開始位置コード作成手段と、 前記動きコードの近傍である動き近傍コードを記憶して
   いる動き近傍コード記憶手段と、 前記領域コードの近傍であるコードを記憶している領域
   コード近傍グループ記憶手段と、 手動作の開始位置基準コード、動き基準コードの組合わ
   せが記憶された手動作単語記憶手段と、 前記動きコード作成手段によって求められた前記動きコ
   ードを前記動き近傍コードを参照しつつ、前記手動作単
   語記憶手段に記憶されている各手動作の前記動き基準コ
   ードと比較をおこない動きコードの類似度を求める動き
   コード照合手段と、前記手動作単語記憶手段に記憶され
   ている各手動作の前記開始位置基準コードを基に前記領
   域コード近傍グループ記憶手段より各手動作の開始位置
   近傍コードを作成する開始位置近傍コード作成手段と、 前記開始位置近傍コード作成手段で求めた開始位置近傍
   コードと前記開始位置コード作成手段によって求められ
   た開始位置コードを比較することにより、開始位置コー
   ドの類似度を求める開始位置コード照合手段と、 前記動きコード照合手段と前記開始位置コード照合手段
   で求められた類似度をもとに手動作単語を特定する手動
   作特定手段を備えた手動作認識装置。
2. 【請求項２】動きコード作成手段を、移動量計算手段に
   よって計測された移動方向と移動距離を基に同一の前記
   移動方向が続く間の累積移動距離を動き判定手段で判定
   し、近傍非圧縮動きコードを作成する近傍非圧縮動きコ
   ード作成手段と、移動量計算手段によって計測された移
   動方向と移動距離を基に近傍の前記移動方向が続く間の
   累積移動距離を動き判定手段で判定し、近傍圧縮動きコ
   ードを作成する近傍圧縮動きコード作成手段とで置き換
   え、 さらに動きコード照合手段を、前記近傍非圧縮動きコー
   ドと前記近傍圧縮動きコードを動き近傍コードを参照し
   つつ、手動作単語記憶手段の基準動きコードと比較をお
   こない類似度を求める複合動きコード照合手段とで置き
   換えた請求項１記載の手動作認識装置。
3. 【請求項３】動き判定手段に、移動量計算手段によって
   計測された移動距離を基に動きコードを与えるかどうか
   を判定する距離閾値を可変にする距離閾値可変手段を付
   加した請求項１または２記載の手動作認識装置。
4. 【請求項４】手のひら抽出手段を、 記憶手段で記憶された画像から手のひらを代表する特定
   色を抽出する特定色抽出手段と、 前記特定色抽出手段で抽出された領域の中で手のひらの
   領域を判定する手のひら判定手段と、 動き予測によって左右の手の区別が可能かどうかを判定
   する動き予測判定手段と、 記憶手段で記憶された画像から手および腕の動き領域を
   抽出する動き領域抽出手段と、 前記動き領域のそれぞれについて解析を行なう動き領域
   解析手段と、 前記動き領域をグループにまとめる動き領域グループ化
   手段と、 前記動き領域グループ化手段で作ったグループを下腕で
   近似する下腕部近似手段と、 前記下腕部近似手段で近似した２つの下腕部の位置関係
   から左右の手の区別を行なう左右判定手段と、 時間的な動きの軌跡から、動きを予測して左右の手の区
   別を行なう動き予測手段とで置き換えた請求項１から３
   いずれかに記載の手動作認識装置。
5. 【請求項５】動きコード作成手段または、近傍非圧縮動
   きコード作成手段に、動きがなかったことを意味する固
   定動きコードを与える固定動きコード作成手段を付加し
   た請求項１から４いずれかに記載の手動作認識装置。
6. 【請求項６】動きコード作成手段または近傍非圧縮動き
   コード作成手段または近傍圧縮動きコード作成手段に、
   繰り返しの動きがあったことを意味する繰り返し動きコ
   ードを与える繰り返し動きコード作成手段を付加した請
   求項１から５いずれかに記載の手動作認識装置。
7. 【請求項７】手動作静動判定手段に、動作が終了したこ
   とを意味する終了通知手段を付加した請求項１から６い
   ずれかに記載の手動作認識装置。
8. 【請求項８】空間位置計算手段の前に、赤外線カメラを
   使って、少なくとも操作者の上半身を撮影する赤外線撮
   影手段と、前記赤外線撮影手段で撮影された画像を記憶
   する赤外線記憶手段と、前記赤外線記憶手段で記憶され
   た画像から、左右の手のひらを抽出する赤外線手のひら
   抽出手段を付加した請求項１から７いずれかに記載の手
   動作認識装置。