JP5078017B2 - 動体の動作認識方法 - Google Patents
動体の動作認識方法 Download PDFInfo
- Publication number
- JP5078017B2 JP5078017B2 JP2008014124A JP2008014124A JP5078017B2 JP 5078017 B2 JP5078017 B2 JP 5078017B2 JP 2008014124 A JP2008014124 A JP 2008014124A JP 2008014124 A JP2008014124 A JP 2008014124A JP 5078017 B2 JP5078017 B2 JP 5078017B2
- Authority
- JP
- Japan
- Prior art keywords
- moving object
- motion
- data
- eigenspace
- recognition method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Description
本発明は、任意方向から観察した動体、特に人の動作を認識可能な動体の動作認識方法に関する。
人とロボットが共存する社会では、人のＱＯＬ（Ｑｕａｌｉｔｙ ｏｆ Ｌｉｆｅ）を高めるような機能を持つロボットが求められている。具体的には、例えば、重い荷物を持って移動する人、具合が悪くなって座り込む人、又は足元のおぼつかない高齢者等に近づき、適切な支援を与えることが可能な機能を持つロボットである。このようなロボットが、基本的に備えるべき機能は、観察方向によらずに、例えば、人の姿勢、動作、又は挙動を認識する機能である。
そこで、動作を認識する方法として、以下の方法が提案されている。
そこで、動作を認識する方法として、以下の方法が提案されている。
例えば、特許文献１には、３次元復元又は３次元モデルフィッティングに基づいて、３次元で処理する方法が提案されている。
また、特許文献２には、少数の典型的な画像パターンを観測するのみで、簡易に物体認識の学習を行う装置が提案されている。
そして、特許文献３には、画像データベースなどに蓄積された画像の中から、利用者の指定により、必要な画像を選択的に取り出し、不必要な画像を排除する画像フィルタリングシステムが提案されている。
更に、特許文献４には、基本動作の画像データを、仮想カメラ群を用い多方向から観察した動作画像から得て、動体の動作を認識する方法が提案されている。
また、特許文献２には、少数の典型的な画像パターンを観測するのみで、簡易に物体認識の学習を行う装置が提案されている。
そして、特許文献３には、画像データベースなどに蓄積された画像の中から、利用者の指定により、必要な画像を選択的に取り出し、不必要な画像を排除する画像フィルタリングシステムが提案されている。
更に、特許文献４には、基本動作の画像データを、仮想カメラ群を用い多方向から観察した動作画像から得て、動体の動作を認識する方法が提案されている。
しかしながら、前記した方法及び装置には、以下の問題がある。
特許文献１は、人の正面像、あるいは側面像のみを対象とする手法であり、任意方向から観察して得られる画像を前提とする手法は提案されていない。また、動体の動作を３次元で処理して認識するため、データ量が多くなり、処理時間が膨大となるという問題もあった。
また、特許文献２の装置は、少数の画像を補間又は変形することによって、多数の画像を生成する装置であるため、任意方向から観察して得られる画像を前提としていない。また、複数の動作の画像が類似している場合、動体の動作を高精度に認識できない。更に、簡単な動きであれば、これに基づき多数の画像を生成できるが、人のように動作が複雑な場合は、少数の画像から多数の画像を生成することが難しい。
特許文献１は、人の正面像、あるいは側面像のみを対象とする手法であり、任意方向から観察して得られる画像を前提とする手法は提案されていない。また、動体の動作を３次元で処理して認識するため、データ量が多くなり、処理時間が膨大となるという問題もあった。
また、特許文献２の装置は、少数の画像を補間又は変形することによって、多数の画像を生成する装置であるため、任意方向から観察して得られる画像を前提としていない。また、複数の動作の画像が類似している場合、動体の動作を高精度に認識できない。更に、簡単な動きであれば、これに基づき多数の画像を生成できるが、人のように動作が複雑な場合は、少数の画像から多数の画像を生成することが難しい。
そして、特許文献３の装置は、不必要な画像を排除する画像フィルタリングシステムであるため、任意方向から観察して得られる画像を前提としていない。ここで、動作を任意方向から観察し多数の画像を有している場合、データ量が多くなり、動体の動作認識のための処理時間が膨大となるという問題がある。
更に、特許文献４は、基本動作の画像データを、仮想カメラ群を用い多方向から観察した動作画像から得るため、上記した特許文献１〜３とは異なり、対象動体の動作を任意の方向から判別できる。しかし、対象動体の動作の認識精度を高めようとすれば、それに伴い動作画像も膨大な量となるため、データ量が多くなり、動作の認識のための処理時間が膨大になるという問題がある。
更に、特許文献４は、基本動作の画像データを、仮想カメラ群を用い多方向から観察した動作画像から得るため、上記した特許文献１〜３とは異なり、対象動体の動作を任意の方向から判別できる。しかし、対象動体の動作の認識精度を高めようとすれば、それに伴い動作画像も膨大な量となるため、データ量が多くなり、動作の認識のための処理時間が膨大になるという問題がある。
本発明はかかる事情に鑑みてなされたもので、観察方向によらずに、自動かつ高速に、対象動体の動作を認識可能な動体の動作認識方法を提供することを目的とする。
前記目的に沿う第１の発明に係る動体の動作認識方法は、予め疑似人モデル又は人である動体Ａの基本動作ごとの複数のフレーム画像データＡがそれぞれ点で表示される固有空間データＡを、該基本動作ごとに作成し記憶手段に格納してデータベース化する固有空間データ作成工程と、
前記固有空間データ作成工程でデータベース化された前記固有空間データＡを、前記動体Ａの基本動作が保有している情報ごとに木構造内に分配し（木構造内に記述し）、前記記憶手段に格納して構造化する木構造作成工程と、
認識しようとする対象となる人である動体Ｂのフレーム画像データＢが点で表示された固有空間データＢと前記基本動作ごとの複数の前記固有空間データＡを比較して、前記固有空間データＢからの距離が最も近い固有空間データＡを選び、前記動体Ｂの動作を認識する認識工程とを有する動体の動作認識方法であって、
前記基本動作は静止した姿勢であり、該基本動作ごとの各フレーム画像データＡは、前記動体Ａに該基本動作を行わせ、該基本動作を行う前記動体Ａを複数の画像入力手段を用いて多方向から撮影し、該画像入力手段ごとに取得した連続する複数のフレーム画像に、それぞれ重みをつけ、該複数のフレーム画像のうち、前記姿勢を最もよく現す１のフレーム画像の前記重みを１とし、他のフレーム画像の前記重みを０とした後、該連続する複数のフレーム画像を重ね合わせることで作成される圧縮画像から得る。
前記目的に沿う第２の発明に係る動体の動作認識方法は、予め疑似人モデル又は人である動体Ａの基本動作ごとの複数のフレーム画像データＡがそれぞれ点で表示される固有空間データＡを、該基本動作ごとに作成し記憶手段に格納してデータベース化する固有空間データ作成工程と、
前記固有空間データ作成工程でデータベース化された前記固有空間データＡを、前記動体Ａの基本動作が保有している情報ごとに木構造内に分配し（木構造内に記述し）、前記記憶手段に格納して構造化する木構造作成工程と、
認識しようとする対象となる人である動体Ｂのフレーム画像データＢが点で表示された固有空間データＢと前記基本動作ごとの複数の前記固有空間データＡを比較して、前記固有空間データＢからの距離が最も近い固有空間データＡを選び、前記動体Ｂの動作を認識する認識工程とを有する動体の動作認識方法であって、
前記基本動作は一連の動作であり、該基本動作ごとの各フレーム画像データＡは、前記動体Ａに該基本動作を行わせ、該基本動作を行う前記動体Ａを複数の画像入力手段を用いて多方向から撮影し、該画像入力手段ごとに取得した連続する複数のフレーム画像に、それぞれ重みをつけ、該複数のフレーム画像のうち、前記動作の特徴が現れたフレーム画像の前記重みよりも、他のフレーム画像の前記重みを小さくした後、該連続する複数のフレーム画像を重ね合わせることで作成される圧縮画像から得る。
前記固有空間データ作成工程でデータベース化された前記固有空間データＡを、前記動体Ａの基本動作が保有している情報ごとに木構造内に分配し（木構造内に記述し）、前記記憶手段に格納して構造化する木構造作成工程と、
認識しようとする対象となる人である動体Ｂのフレーム画像データＢが点で表示された固有空間データＢと前記基本動作ごとの複数の前記固有空間データＡを比較して、前記固有空間データＢからの距離が最も近い固有空間データＡを選び、前記動体Ｂの動作を認識する認識工程とを有する動体の動作認識方法であって、
前記基本動作は静止した姿勢であり、該基本動作ごとの各フレーム画像データＡは、前記動体Ａに該基本動作を行わせ、該基本動作を行う前記動体Ａを複数の画像入力手段を用いて多方向から撮影し、該画像入力手段ごとに取得した連続する複数のフレーム画像に、それぞれ重みをつけ、該複数のフレーム画像のうち、前記姿勢を最もよく現す１のフレーム画像の前記重みを１とし、他のフレーム画像の前記重みを０とした後、該連続する複数のフレーム画像を重ね合わせることで作成される圧縮画像から得る。
前記目的に沿う第２の発明に係る動体の動作認識方法は、予め疑似人モデル又は人である動体Ａの基本動作ごとの複数のフレーム画像データＡがそれぞれ点で表示される固有空間データＡを、該基本動作ごとに作成し記憶手段に格納してデータベース化する固有空間データ作成工程と、
前記固有空間データ作成工程でデータベース化された前記固有空間データＡを、前記動体Ａの基本動作が保有している情報ごとに木構造内に分配し（木構造内に記述し）、前記記憶手段に格納して構造化する木構造作成工程と、
認識しようとする対象となる人である動体Ｂのフレーム画像データＢが点で表示された固有空間データＢと前記基本動作ごとの複数の前記固有空間データＡを比較して、前記固有空間データＢからの距離が最も近い固有空間データＡを選び、前記動体Ｂの動作を認識する認識工程とを有する動体の動作認識方法であって、
前記基本動作は一連の動作であり、該基本動作ごとの各フレーム画像データＡは、前記動体Ａに該基本動作を行わせ、該基本動作を行う前記動体Ａを複数の画像入力手段を用いて多方向から撮影し、該画像入力手段ごとに取得した連続する複数のフレーム画像に、それぞれ重みをつけ、該複数のフレーム画像のうち、前記動作の特徴が現れたフレーム画像の前記重みよりも、他のフレーム画像の前記重みを小さくした後、該連続する複数のフレーム画像を重ね合わせることで作成される圧縮画像から得る。
第２の発明に係る動体の動作認識方法において、前記動作の特徴が現れたフレーム画像は、前記一連の動作の最初と最後のフレーム画像であることが好ましい。
第２の発明に係る動体の動作認識方法において、前記圧縮画像は、前記複数のフレーム画像のうち連続する又は間隔を有する２つずつのフレーム画像を重ね合わせ、変化のない背景を削除して得られる複数の差分画像を、それぞれ重ね合わせることで得られることが好ましい。
第２の発明に係る動体の動作認識方法において、前記圧縮画像は、前記複数のフレーム画像のうち連続する又は間隔を有する２つずつのフレーム画像を重ね合わせ、変化のない背景を削除して得られる複数の差分画像を、それぞれ重ね合わせることで得られることが好ましい。
第１、第２の発明に係る動体の動作認識方法において、前記複数の画像入力手段は、前記動体Ａが擬似人モデルの場合は仮想カメラ群、前記動体Ａが人の場合はカメラ群であることが好ましい。
第１、第２の発明に係る動体の動作認識方法において、前記動体Ａは前記擬似人モデルであって、該疑似人モデルの行う基本動作は、モーションキャプチャー法によって得られたものであることが好ましい。
第１、第２の発明に係る動体の動作認識方法において、前記動体Ａは前記擬似人モデルであって、該疑似人モデルの行う基本動作は、モーションキャプチャー法によって得られたものであることが好ましい。
第１、第２の発明に係る動体の動作認識方法において、前記固有空間データＡは、前記フレーム画像データＡに微分処理を行って作成されることが好ましい。
第１、第２の発明に係る動体の動作認識方法において、前記固有空間データＡは、前記フレーム画像データＡをカルーネン・レーベ変換して求められた固有値及び固有ベクトルから作成される固有空間に投影して得られ、前記固有空間データＢは、前記フレーム画像データＢを前記固有空間に投影して得られることが好ましい。
第１、第２の発明に係る動体の動作認識方法において、認識した前記動体Ｂの動作を、擬似人モデル又はロボットを用いて再現することが好ましい。
第１、第２の発明に係る動体の動作認識方法において、前記固有空間データＡは、前記フレーム画像データＡをカルーネン・レーベ変換して求められた固有値及び固有ベクトルから作成される固有空間に投影して得られ、前記固有空間データＢは、前記フレーム画像データＢを前記固有空間に投影して得られることが好ましい。
第１、第２の発明に係る動体の動作認識方法において、認識した前記動体Ｂの動作を、擬似人モデル又はロボットを用いて再現することが好ましい。
請求項１〜９記載の動体の動作認識方法は、連続する複数のフレーム画像に、それぞれ重みをつけるので、例えば、不要なデータの重みを小さくすることにより、基本動作の認識（検索）精度が高められる。また、連続する複数のフレーム画像を重ね合わせることで作成される圧縮画像を用いて、基本動作ごとのフレーム画像データを作成するので、圧縮画像を作成しない場合と比較して、認識（検索）処理するデータの量を大幅に低減できる。
これにより、対象動体の動作を高速に認識できる。
また、基本動作として、動体を多方向から撮影した複数のフレーム画像を用いるので、対象となる動体をどの方向から観察した場合でも、その動作を認識することができ、例えば、任意方向からの人の動作の認識が可能になる。
そして、固有空間データＡを木構造内に分配するので、固有空間データＡと固有空間データＢとの全てを比較することなく、固有空間データＡを選んで対象動体の動作を特定でき、処理速度の更なる高速化を図ることができる。
更に、基本動作を疑似人モデルに行わせ複数のフレーム画像データＡを得た場合、標準化した人のデータとすることができ、体型の違いを無くすことができる。また、疑似人モデル又は人を多方向から観察した動作画像を用いるので、対象物体をどの方向から観察した場合でも動作を特定することができる。
これにより、対象動体の動作を高速に認識できる。
また、基本動作として、動体を多方向から撮影した複数のフレーム画像を用いるので、対象となる動体をどの方向から観察した場合でも、その動作を認識することができ、例えば、任意方向からの人の動作の認識が可能になる。
そして、固有空間データＡを木構造内に分配するので、固有空間データＡと固有空間データＢとの全てを比較することなく、固有空間データＡを選んで対象動体の動作を特定でき、処理速度の更なる高速化を図ることができる。
更に、基本動作を疑似人モデルに行わせ複数のフレーム画像データＡを得た場合、標準化した人のデータとすることができ、体型の違いを無くすことができる。また、疑似人モデル又は人を多方向から観察した動作画像を用いるので、対象物体をどの方向から観察した場合でも動作を特定することができる。
特に、請求項１記載の動体の動作認識方法においては、基本動作が静止した姿勢であり、複数のフレーム画像のうち、姿勢を最もよく現す１のフレーム画像の重みを１とし、他のフレーム画像の重みを０とすることで、不要なデータを無くすことができる。これにより、処理するデータの量を更に少なくでき、対象動体の動作を更に高速に認識できる。
請求項２記載の動体の動作認識方法においては、基本動作が一連の動作であり、複数のフレーム画像のうち、動作の特徴が現れたフレーム画像の重みよりも、他のフレーム画像の重みを小さくすることで、不要なデータを低減できる。これにより、一連の動作を構成する複数のフレーム画像であっても、処理するデータの量を少なくでき、対象動体の動作を高速に認識できる。
請求項２記載の動体の動作認識方法においては、基本動作が一連の動作であり、複数のフレーム画像のうち、動作の特徴が現れたフレーム画像の重みよりも、他のフレーム画像の重みを小さくすることで、不要なデータを低減できる。これにより、一連の動作を構成する複数のフレーム画像であっても、処理するデータの量を少なくでき、対象動体の動作を高速に認識できる。
請求項３記載の動体の動作認識方法においては、動作の特徴が現れたフレーム画像が、一連の動作の最初と最後のフレーム画像であるので、例えば、最初と最後を除くフレーム画像により、動作の特徴が現れたフレーム画像を邪魔することがなくなるため、認識精度の更なる向上が図れる。
請求項４記載の動体の動作認識方法においては、基本動作ごとの各フレーム画像データＡが、差分画像をそれぞれ重ね合わせることで得られるので、処理するデータ量を少なくでき、動作認識の処理時間を更に短くできる。
請求項４記載の動体の動作認識方法においては、基本動作ごとの各フレーム画像データＡが、差分画像をそれぞれ重ね合わせることで得られるので、処理するデータ量を少なくでき、動作認識の処理時間を更に短くできる。
請求項６記載の動体の動作認識方法においては、基本動作ごとの複数のフレーム画像データＡを得るための疑似人モデルの基本動作が、モーションキャプチャー法によって得られたものであるので、疑似人モデルの動きが滑らかとなり、対象動体の動きとの誤差が少なくなって判別し易くなる。
請求項７記載の動体の動作認識方法においては、各フレーム画像データＡに微分処理を行って、固有空間データＡを作成するので、例えば、服装の違いによる誤差（ノイズ）を減少させることができ、例えば、疑似人モデルをより標準化することができる。
請求項８記載の動体の動作認識方法においては、固有空間データＡが、フレーム画像データＡをカルーネン・レーベ変換して求められた固有値及び固有ベクトルから作成される固有空間に投影して得られ、固有空間データＢも、フレーム画像データＢを固有空間に投影して得られるので、次元を低くでき、動作認識の処理時間を短くできる。
請求項９記載の動体の動作認識方法においては、認識した対象動体の動作を、擬似人モデル又はロボットを用いて再現するので、例えば、玩具等への利用も可能である。
請求項８記載の動体の動作認識方法においては、固有空間データＡが、フレーム画像データＡをカルーネン・レーベ変換して求められた固有値及び固有ベクトルから作成される固有空間に投影して得られ、固有空間データＢも、フレーム画像データＢを固有空間に投影して得られるので、次元を低くでき、動作認識の処理時間を短くできる。
請求項９記載の動体の動作認識方法においては、認識した対象動体の動作を、擬似人モデル又はロボットを用いて再現するので、例えば、玩具等への利用も可能である。
続いて、添付した図面を参照しつつ、本発明を具体化した実施の形態につき説明し、本発明の理解に供する。
本発明の一実施の形態に係る動体の動作認識方法は、対象となる動体Ｂの一例である対象人が行った動作を、予め登録された動体Ａの一例である人が行った複数の基本動作と比較して、対象人がどの基本動作（類似している動作も含む）を行ったかを認識する方法である。以下、詳しく説明する。
本発明の一実施の形態に係る動体の動作認識方法は、対象となる動体Ｂの一例である対象人が行った動作を、予め登録された動体Ａの一例である人が行った複数の基本動作と比較して、対象人がどの基本動作（類似している動作も含む）を行ったかを認識する方法である。以下、詳しく説明する。
まず、人が行う基本動作の固有空間データＡを作成する固有空間データ作成工程について説明する。
人を中心にして複数台（例えば、４台）のビデオカメラ（画像入力手段の一例：静止画及び動画が撮影可能であればよい）からなるカメラ群を配置し、人が行う各基本動作を多方向から撮影する。
ここで、ビデオカメラとしては、例えば、ＣＣＤカメラ、高速度カメラ、ハンディータイプカメラ、デジタルＶＴＲ、又はデジタルビデオカメラを使用できる。なお、各ビデオカメラは、等距離で等角度に配置してもよいし、異なる距離に配置、また異なる角度に配置してもよい。このように、各ビデオカメラを等距離に配置することで、略同一の大きさの人の画像を得ることができ、また異なる角度に配置することで、人の動作の特徴が現れた方向からの画像を得ることができる。
人を中心にして複数台（例えば、４台）のビデオカメラ（画像入力手段の一例：静止画及び動画が撮影可能であればよい）からなるカメラ群を配置し、人が行う各基本動作を多方向から撮影する。
ここで、ビデオカメラとしては、例えば、ＣＣＤカメラ、高速度カメラ、ハンディータイプカメラ、デジタルＶＴＲ、又はデジタルビデオカメラを使用できる。なお、各ビデオカメラは、等距離で等角度に配置してもよいし、異なる距離に配置、また異なる角度に配置してもよい。このように、各ビデオカメラを等距離に配置することで、略同一の大きさの人の画像を得ることができ、また異なる角度に配置することで、人の動作の特徴が現れた方向からの画像を得ることができる。
また、基本動作には、静止した姿勢と一連の動作がある。この静止した姿勢としては、例えば、直立した状態、お辞儀した状態、及び座り込んだ状態等がある。また、一連の動作としては、例えば、重たい荷物を持ち上げる動作、物を拾う動作、腹痛でおなかを抱えて座り込む動作、頭上から落ちてくる物を避けようと両手で頭を覆う動作、歩く動作、及び転倒する動作等がある。
次に、それぞれの基本動作を撮影した映像をコンピュータに取り込む。なお、ビデオカメラとしてＣＣＤカメラを使用する場合は、ＣＣＤカメラで、動体を撮像することにより、アナログ画像信号（輝度を表すビデオ信号）が出力されるため、アナログ画像信号を、２５６階調のデジタル画像データ（輝度を表す画像データ）に変換した後、コンピュータ内に取り込む。
以下の作業は、コンピュータ内で計算して行われ、コンピュータ内のプログラムにより処理される。
次に、それぞれの基本動作を撮影した映像をコンピュータに取り込む。なお、ビデオカメラとしてＣＣＤカメラを使用する場合は、ＣＣＤカメラで、動体を撮像することにより、アナログ画像信号（輝度を表すビデオ信号）が出力されるため、アナログ画像信号を、２５６階調のデジタル画像データ（輝度を表す画像データ）に変換した後、コンピュータ内に取り込む。
以下の作業は、コンピュータ内で計算して行われ、コンピュータ内のプログラムにより処理される。
コンピュータ内に取り込まれた画像のうち、各ビデオカメラごとに、例えば、１秒間に１コマ以上５０コマ以下の間隔で得られる連続する複数のフレーム画像は、コンピュータ内の前処理手段により、それぞれ重みがつけられた後、重ね合わせられ、圧縮画像が作成される。
ここで、複数のフレーム画像に重みをつけるとは、このフレーム画像のデジタル画像データの階調に重みを乗ずることを意味する。この重みとは、各フレーム画像につける０又は０を超え１以下の係数（即ち、階調を調整する係数）である。ここで、重みが０とは、そのデジタル画像データを無くして使用することを意味し、１とは、そのデジタル画像データを無くすことなく全てそのまま使用することを意味する。なお、重みは、連続するデジタル画像データの階調の変化の度合い（閾値に対する変化量）を求めるプログラムにより、コンピュータで自動的に行ってもよく、また人が行ってもよい。
ここで、複数のフレーム画像に重みをつけるとは、このフレーム画像のデジタル画像データの階調に重みを乗ずることを意味する。この重みとは、各フレーム画像につける０又は０を超え１以下の係数（即ち、階調を調整する係数）である。ここで、重みが０とは、そのデジタル画像データを無くして使用することを意味し、１とは、そのデジタル画像データを無くすことなく全てそのまま使用することを意味する。なお、重みは、連続するデジタル画像データの階調の変化の度合い（閾値に対する変化量）を求めるプログラムにより、コンピュータで自動的に行ってもよく、また人が行ってもよい。
このため、基本動作が静止した姿勢の場合は、複数のフレーム画像のうち、この姿勢を最もよく現す１のフレーム画像（例えば、最初のフレーム画像）の重みを１とし、他のフレーム画像の重みを０とする。
また、基本動作が一連の動作の場合、複数のフレーム画像のうち、この動作の特徴が現れたフレーム画像の重みよりも、他のフレーム画像の重みを小さくする。例えば、動作の特徴が現れたフレーム画像の重みを最大とし、他のフレーム画像の重みを０を超え１未満とする（具体的には、動作の特徴が現れたフレーム画像の重みと他のフレーム画像の重みを、合計して１になるようにつける。）。例えば、下げた状態の手を上げる場合のように、動作の特徴が、手を下げた状態と上げた状態とにあり、手の動きが一義的に決まる場合は、特徴が現れたフレーム画像を、一連の動作の最初のフレーム画像、即ち手を下げた画像と、最後のフレーム画像、即ち手を上げた画像とすることで、処理するデータ量を低減できる。
また、基本動作が一連の動作の場合、複数のフレーム画像のうち、この動作の特徴が現れたフレーム画像の重みよりも、他のフレーム画像の重みを小さくする。例えば、動作の特徴が現れたフレーム画像の重みを最大とし、他のフレーム画像の重みを０を超え１未満とする（具体的には、動作の特徴が現れたフレーム画像の重みと他のフレーム画像の重みを、合計して１になるようにつける。）。例えば、下げた状態の手を上げる場合のように、動作の特徴が、手を下げた状態と上げた状態とにあり、手の動きが一義的に決まる場合は、特徴が現れたフレーム画像を、一連の動作の最初のフレーム画像、即ち手を下げた画像と、最後のフレーム画像、即ち手を上げた画像とすることで、処理するデータ量を低減できる。
また、圧縮画像とは、複数のフレーム画像を重ね合わせることで得られる画像であり、基本動作が静止した姿勢の場合は、その姿勢を表す画像を意味し、一連の動作である場合は、その一連の動作が残像として表れた画像を意味する。
なお、圧縮画像を作成するに際しては、変化のない部分、例えば、人の周囲に存在する背景画像（例えば、壁、床、及び空）を削除するが、人の画像についても、動きが無い部分（僅かに動く部分を含んでもよく、また含まなくてもよい）を削除してもよい。なお、複数のフレーム画像は、例えば、２枚ごと、又は３枚ごとのように、複数枚ごとに間隔を有するものでもよい。
これにより、静止した姿勢として示される１枚の圧縮された画像と、一連の動作が残像として示される１枚の圧縮された画像を、それぞれ基本動作の複数のフレーム画像データＡとして、コンピュータ内の記憶手段に格納できる。
なお、圧縮画像を作成するに際しては、変化のない部分、例えば、人の周囲に存在する背景画像（例えば、壁、床、及び空）を削除するが、人の画像についても、動きが無い部分（僅かに動く部分を含んでもよく、また含まなくてもよい）を削除してもよい。なお、複数のフレーム画像は、例えば、２枚ごと、又は３枚ごとのように、複数枚ごとに間隔を有するものでもよい。
これにより、静止した姿勢として示される１枚の圧縮された画像と、一連の動作が残像として示される１枚の圧縮された画像を、それぞれ基本動作の複数のフレーム画像データＡとして、コンピュータ内の記憶手段に格納できる。
このとき、前記した複数のフレーム画像を、連続する２つずつのフレーム画像ごとに重ね合わせ、変化のない部分、例えば、人の周囲に存在する背景画像を引き算して削除した後、得られる複数の差分画像をそれぞれ重ね合わせることで、１枚の圧縮画像を得てもよい。なお、フレーム画像には、複数枚ごとに間隔を有する２つずつのフレーム画像を用いることもできる。
ここで、差分画像とは、例えば、２画像間で減算を行い、変化のない画像部分を削除することにより得られる画像であり、このような変化のない画像部分を削除することで、処理するデータ量を少なくできる。
ここで、差分画像とは、例えば、２画像間で減算を行い、変化のない画像部分を削除することにより得られる画像であり、このような変化のない画像部分を削除することで、処理するデータ量を少なくできる。
なお、上記した人の行う基本動作の３次元データは、人に実際に動作をしてもらうことで得たが、例えば、コンピュータグラフィクスを用いた疑似人モデル（人の３次元モデル：一般にアバターと言う。）により作成してもよく、また予めモーションキャプチャー法で解析した疑似人モデルにより作成してもよい。
このモーションキャプチャー法とは、例えば、光学式、音波（超音波を含む）式、又は磁気式等の非接触で計測可能な機器、あるいは機械式のように接触して計測する機器を使用して、人や動物の動きをコンピュータに取り込んで立体化して再現する方法である。
光学式は、動体に、例えば、発光マーカー、反射マーカー、及びパターンマーカー等のいずれかのマーカーを取付けて、複数のカメラ（例えば、ＣＣＤカメラ、高速度カメラ、ハンディータイプカメラ、デジタルＶＴＲ、及びデジタルビデオカメラのいずれか１又は２以上）で動体を撮影し、この映像をコンピュータに入力して、動体の動きを検知することができる。
このモーションキャプチャー法とは、例えば、光学式、音波（超音波を含む）式、又は磁気式等の非接触で計測可能な機器、あるいは機械式のように接触して計測する機器を使用して、人や動物の動きをコンピュータに取り込んで立体化して再現する方法である。
光学式は、動体に、例えば、発光マーカー、反射マーカー、及びパターンマーカー等のいずれかのマーカーを取付けて、複数のカメラ（例えば、ＣＣＤカメラ、高速度カメラ、ハンディータイプカメラ、デジタルＶＴＲ、及びデジタルビデオカメラのいずれか１又は２以上）で動体を撮影し、この映像をコンピュータに入力して、動体の動きを検知することができる。
また、音波式では、動体に取付けた超音波の発信器から発信された超音波を、少なくとも３つの超音波受信器で受信し、超音波受信器へ到達する時間の差によって、動体の動きを検知している。音波式では、動体に超音波受信器を取付けてもよい。
更に、磁気式では、動体に磁界を発生する磁界発生器を取付け、磁界中に配置されると電流が流れる磁力計測器によって、誘起された電流の強さから磁界発生器までの距離と方向とを検知して、動体の動きが再現される。
このように、人の基本動作を疑似人モデルに行わせ、この疑似人モデルを中心として、水平方向、上方向、及び下方向のいずれか１又は２以上に配置される多数（例えば、６台以上）の仮想ビデオカメラからなる仮想カメラ群により、疑似人モデルを撮影して、複数のフレーム画像データＡを得る。
更に、磁気式では、動体に磁界を発生する磁界発生器を取付け、磁界中に配置されると電流が流れる磁力計測器によって、誘起された電流の強さから磁界発生器までの距離と方向とを検知して、動体の動きが再現される。
このように、人の基本動作を疑似人モデルに行わせ、この疑似人モデルを中心として、水平方向、上方向、及び下方向のいずれか１又は２以上に配置される多数（例えば、６台以上）の仮想ビデオカメラからなる仮想カメラ群により、疑似人モデルを撮影して、複数のフレーム画像データＡを得る。
ここで、各フレーム画像データＡは、基本動作を撮影した動画中の画像の集合であって、１枚の画像データは、例えば、縦が２５６ピクセル、横が２５６ピクセルで構成されている場合、総画素数が６５５３６画素、つまり６５５３６（Ｎ）次元のベクトルで表現できる。また、例えば、１秒間に１５コマで２秒間撮影した場合、１方向から３０（Ｐ）枚のフレーム画像が得られるが、前記したように、画像の前処理を行うことで、その動作を表す複数のフレーム画像は、１画像で圧縮表現される。
次に、コンピュータ内の固有空間データ作成手段により、予め人の基本動作の各フレーム画像データＡが点で表示される固有空間データＡを作成する。なお、この固有空間データＡの作成は、特願２００５−２３７７８５の方法と同様の手法で実施できる。
次に、コンピュータ内の固有空間データ作成手段により、予め人の基本動作の各フレーム画像データＡが点で表示される固有空間データＡを作成する。なお、この固有空間データＡの作成は、特願２００５−２３７７８５の方法と同様の手法で実施できる。
得られた１つの基本動作のフレーム画像データＡ（以下、単に画像ともいう）に対し、正規化を行い、従来公知のＴＶラスタースキャンと同様の方法で走査して、（１）式に示すベクトルを得る。
ｘｐ＝（ｘ１，ｘ２，・・・，ｘＮ）Ｔ・・・（１）
ここで、ベクトルの各要素は、スキャンした順番で並んでいる画素数である。なお、Ｎはピクセル数を示し、Ｔは転置を示し、またｘｐは‖ｘｐ‖＝１となるように正規化されている。
ｘｐ＝（ｘ１，ｘ２，・・・，ｘＮ）Ｔ・・・（１）
ここで、ベクトルの各要素は、スキャンした順番で並んでいる画素数である。なお、Ｎはピクセル数を示し、Ｔは転置を示し、またｘｐは‖ｘｐ‖＝１となるように正規化されている。
ここで、基本動作である静止した姿勢の正規化された画像の一例を、図１（Ａ）〜（Ｗ）に示す。なお、図１（Ａ）は直立した姿勢、（Ｂ）は両手を横に広げた姿勢、（Ｃ）は右手を上に上げた姿勢、（Ｄ）は左手を上に上げた姿勢、（Ｅ）は両手を上に上げた姿勢、（Ｆ）は右手を上に上げ左手を横に広げた姿勢、（Ｇ）は左手を上に上げ右手を横に広げた姿勢、（Ｈ）は左手を横に広げた姿勢、（Ｉ）は右手を横に広げた姿勢、（Ｊ）は前にならえをした姿勢１、（Ｋ）は深くお辞儀をした姿勢１、（Ｌ）は軽くお辞儀をした姿勢１、（Ｍ）は手を広げて左を向いた姿勢、（Ｎ）は手を広げてしゃがんだ姿勢１、（Ｏ）は自然にしゃがんだ姿勢１、（Ｐ）は自然にしゃがんだ姿勢２、（Ｑ）は前にならえをした姿勢２、（Ｒ）は深くお辞儀をした姿勢２、（Ｓ）は軽くお辞儀をした姿勢２、（Ｔ）は手を広げて右を向いた姿勢、（Ｕ）は手を広げてしゃがんだ姿勢２、（Ｖ）は自然にしゃがんだ姿勢３、（Ｗ）は自然にしゃがんだ姿勢４である。
なお、基本動作である一連の動作の正規化された画像であって、フレーム画像に重みがつけられていないものは、例えば、本願発明者が出願した特願２００６−３５５６９１に記載されているが、このフレーム画像に重みをつけた場合、例えば、一連の動作の最初と最後を除く残像部分の画像を薄く、また無くすことができる。
なお、基本動作である一連の動作の正規化された画像であって、フレーム画像に重みがつけられていないものは、例えば、本願発明者が出願した特願２００６−３５５６９１に記載されているが、このフレーム画像に重みをつけた場合、例えば、一連の動作の最初と最後を除く残像部分の画像を薄く、また無くすことができる。
次に、Ｎ行Ｐ列の行列Ｘを、（２）式のように定義する。
Ｘ≡（ｘ１−ｃ，ｘ２−ｃ，・・・，ｘＰ−ｃ）・・・（２）
なお、Ｐは、１動作の画像の数である。
ここで、ｃは画像の平均値であり、（３）式で計算される。
Ｘ≡（ｘ１−ｃ，ｘ２−ｃ，・・・，ｘＰ−ｃ）・・・（２）
なお、Ｐは、１動作の画像の数である。
ここで、ｃは画像の平均値であり、（３）式で計算される。
また、共分散行列Ｑは、行列Ｘより（４）式で定義される。
Ｑ＝ＸＸＴ・・・（４）
Ｑ＝ＸＸＴ・・・（４）
カルーネン・レーベ変換（カルーネン・レーベ展開ともいわれ、高次元の各フレーム画像データを低次元に変換する。）により、（５）式を用いて共分散行列Ｑの固有値λ１，λ２，・・・，λＮを求める。但し、λ１＞λ２＞・・・＞λＮである。
Ｑｕ＝λｕ・・・（５）
ここで、ｕはＮ個の成分を持つベクトルである。
得られた固有値λ１，λ２，・・・，λＮから、固有ベクトルｅ１，ｅ２，・・・，ｅＮが求められる。
Ｑｕ＝λｕ・・・（５）
ここで、ｕはＮ個の成分を持つベクトルである。
得られた固有値λ１，λ２，・・・，λＮから、固有ベクトルｅ１，ｅ２，・・・，ｅＮが求められる。
ここで、固有ベクトルのｋ個の最大固有値λ１，λ２，・・・，λｋ、及び、それに対応する固有ベクトルｅ１，ｅ２，・・・，ｅｋを選択し、ｋ個の固有ベクトルの張る空間、即ち、（６）式に示すｋ次元の固有空間ＥＳを作成する。
ＥＳ（ｅ１，ｅ２，・・・，ｅｋ）≡ＥＳ・・・（６）
なお、ｋ≪Ｎであり、固有空間ＥＳ上に画像データを写像する変換行列Ｅは、（７）式で示される。例えば、ｋを１００とした場合には、Ｎ次元からｋ次元、すなわち、６５５３６次元から１００次元に次元を下げることができる。
Ｅ＝（ｅ１，ｅ２，・・・，ｅｋ）・・・（７）
ＥＳ（ｅ１，ｅ２，・・・，ｅｋ）≡ＥＳ・・・（６）
なお、ｋ≪Ｎであり、固有空間ＥＳ上に画像データを写像する変換行列Ｅは、（７）式で示される。例えば、ｋを１００とした場合には、Ｎ次元からｋ次元、すなわち、６５５３６次元から１００次元に次元を下げることができる。
Ｅ＝（ｅ１，ｅ２，・・・，ｅｋ）・・・（７）
ここで、（８）式により、各フレーム画像データＡを固有空間ＥＳ上に投影して、固有空間データＡとして点の集合ｇｐを得る。
ｇｐ＝（ｅ１，ｅ２，・・・，ｅｋ）Ｔｘｐ・・・（８）
このようにして、人の姿勢は、固有空間上で単なる点として登録される。
この得られた点の集合ｇｐを、記憶手段に格納してデータベース化する。
なお、固有空間データＡの作成に際しては、事前に、コンピュータ内に取り込まれた画像の各フレーム画像データＡのそれぞれの画像データを、従来公知のログフィルタにかけ、各フレーム画像データＡをぼかして微分処理してもよい。なお、微分処理は、例えば、ログ（ＬｏＧ）フィルタ又はソーベルフィルタ等によって行うことができる。また、ログフィルタは、画像データをぼかして、微分することができる。
ｇｐ＝（ｅ１，ｅ２，・・・，ｅｋ）Ｔｘｐ・・・（８）
このようにして、人の姿勢は、固有空間上で単なる点として登録される。
この得られた点の集合ｇｐを、記憶手段に格納してデータベース化する。
なお、固有空間データＡの作成に際しては、事前に、コンピュータ内に取り込まれた画像の各フレーム画像データＡのそれぞれの画像データを、従来公知のログフィルタにかけ、各フレーム画像データＡをぼかして微分処理してもよい。なお、微分処理は、例えば、ログ（ＬｏＧ）フィルタ又はソーベルフィルタ等によって行うことができる。また、ログフィルタは、画像データをぼかして、微分することができる。
以下、同様に他の方向から撮影した基本動作のフレーム画像データＡからそれぞれ固有空間データＡを作成し、得られた点の集合を、記憶手段に格納してデータベース化する。
また、複数の基本動作の全てのフレーム画像データＡから、同様にして固有空間データＡを作成し、記憶手段に格納してデータベース化する。
次に、以上に示した固有空間データ作成工程において、固有空間データ作成手段でデータベース化された固有空間データＡを、コンピュータ内の木構造作成手段により、人の基本動作が保有している情報ごとに木構造内に分配する木構造作成工程について説明する。ここで、木構造とは、動体の基本動作が保有している情報、例えば、動体の基本動作をその画像特徴ごとに区分する方法であり、例えば、Ｂ−ｔｒｅｅ、Ｂ＊−ｔｒｅｅ、又はＢ＋−ｔｒｅｅが従来知られている。
また、複数の基本動作の全てのフレーム画像データＡから、同様にして固有空間データＡを作成し、記憶手段に格納してデータベース化する。
次に、以上に示した固有空間データ作成工程において、固有空間データ作成手段でデータベース化された固有空間データＡを、コンピュータ内の木構造作成手段により、人の基本動作が保有している情報ごとに木構造内に分配する木構造作成工程について説明する。ここで、木構造とは、動体の基本動作が保有している情報、例えば、動体の基本動作をその画像特徴ごとに区分する方法であり、例えば、Ｂ−ｔｒｅｅ、Ｂ＊−ｔｒｅｅ、又はＢ＋−ｔｒｅｅが従来知られている。
固有空間に対して、Ｂ−ｔｒｅｅを適用するという考えは、固有空間を複数に分割し、点として表現された姿勢をそれぞれ格納するビン（貯蔵箱：人の基本動作が所有している情報ごとに分解され構成される木構造群）を作り、入力された未知の姿勢と似た画像の格納されたビンを高速に探し出すことにある。
Ｂ−ｔｒｅｅ構造を固有空間に導入して、固有空間の構造化を行うことにより、圧縮画像が点として表現された固有空間は、複数のビンに分けられ、ビンはＢ−ｔｒｅｅ構造で表現される。
なお、人の動作を表すこの固有空間を、動作データベースと呼ぶ。
Ｂ−ｔｒｅｅ構造を固有空間に導入して、固有空間の構造化を行うことにより、圧縮画像が点として表現された固有空間は、複数のビンに分けられ、ビンはＢ−ｔｒｅｅ構造で表現される。
なお、人の動作を表すこの固有空間を、動作データベースと呼ぶ。
ここで、Ｂ−ｔｒｅｅについて説明する。
以下の条件を満たすものを、τ（ｍ，Ｈ）に属するＢ−ｔｒｅｅ Τという。ここで、ｍは、根（ルート）又は節（ノード）が持つことのできる子供の数である。また、Ｈは木の高さを表し、検索速度に関係する。
１．根は葉であるか、又は２〜ｍ個の子を持つ。
２．根、葉以外の節は、［ｍ／２］〜ｍ個の子を持つ。ただし、［ｘ］はｘ以下の最大の整数を表す。
３．根からすべての葉までの経路の長さは等しい。
Ｂ−ｔｒｅｅでは、格納するデータから造られる「境界を表す値」、即ちキーが重要な意味を持ち、このキーによって根や節が構築される。このキーは、大小比較することが可能なスカラー値である。また、データは、葉のみに格納される。
以下の条件を満たすものを、τ（ｍ，Ｈ）に属するＢ−ｔｒｅｅ Τという。ここで、ｍは、根（ルート）又は節（ノード）が持つことのできる子供の数である。また、Ｈは木の高さを表し、検索速度に関係する。
１．根は葉であるか、又は２〜ｍ個の子を持つ。
２．根、葉以外の節は、［ｍ／２］〜ｍ個の子を持つ。ただし、［ｘ］はｘ以下の最大の整数を表す。
３．根からすべての葉までの経路の長さは等しい。
Ｂ−ｔｒｅｅでは、格納するデータから造られる「境界を表す値」、即ちキーが重要な意味を持ち、このキーによって根や節が構築される。このキーは、大小比較することが可能なスカラー値である。また、データは、葉のみに格納される。
このＢ−ｔｒｅｅを固有空間に適用するときは、それぞれの固有空間上の座標値ｅｋ（ｋ＝１，２，・・・，Ｋ）を、Ｒ個のある幅Ｌを持ったセクションに分割し、木構造群を作成する。
ここで、画像ＩＰが式（８）によって固有空間の点ｇ＝（ｇ１，ｇ２，・・・，ｇＫ）に投影されると、ｇｋ（ｋ＝１，２，・・・，Ｋ）は、いずれかのセクションに含まれるから、そのセクションの固有の番号Ｓｋ，ｒ（ｒ＝０，１，・・・，Ｒ−１）が与えられる。
この結果ｇは、式（１０）によって、Ｋ桁Ｒ進数であるＳｐに変換される。
ＳＰ＝Ｓ１，ｒ１Ｓ２，ｒ２Ｓ３，ｒ３・・・ＳＫ，ｒＫ・・・（１０）
これにより、画像は、ＳＰをキーとして、木構造であるＢ−ｔｒｅｅ Τに分配されて格納されるので、これを、記憶手段に格納して、構造化する。
以上の方法により、人の各基本動作がデータベース化される。
ここで、画像ＩＰが式（８）によって固有空間の点ｇ＝（ｇ１，ｇ２，・・・，ｇＫ）に投影されると、ｇｋ（ｋ＝１，２，・・・，Ｋ）は、いずれかのセクションに含まれるから、そのセクションの固有の番号Ｓｋ，ｒ（ｒ＝０，１，・・・，Ｒ−１）が与えられる。
この結果ｇは、式（１０）によって、Ｋ桁Ｒ進数であるＳｐに変換される。
ＳＰ＝Ｓ１，ｒ１Ｓ２，ｒ２Ｓ３，ｒ３・・・ＳＫ，ｒＫ・・・（１０）
これにより、画像は、ＳＰをキーとして、木構造であるＢ−ｔｒｅｅ Τに分配されて格納されるので、これを、記憶手段に格納して、構造化する。
以上の方法により、人の各基本動作がデータベース化される。
次に、前記したコンピュータ内の固有空間データ作成手段により、認識しようとする対象人のフレーム画像データＢが点で表示された固有空間データＢを作成する。
まず、対象人の動作を１台のビデオカメラで撮影する。
動作画像をコンピュータに取り込み、（１１）式に示す各フレーム画像データＢの集合ｙを得る。
ｙ＝（ｙ１，ｙ２，・・・，ｙＰ）・・・（１１）
そして、前記した固有空間データＡの前処理と同様の方法により、その動作を表す連続フレームを圧縮表現して１画像とすることで、フレーム画像データＢが作成される。
まず、対象人の動作を１台のビデオカメラで撮影する。
動作画像をコンピュータに取り込み、（１１）式に示す各フレーム画像データＢの集合ｙを得る。
ｙ＝（ｙ１，ｙ２，・・・，ｙＰ）・・・（１１）
そして、前記した固有空間データＡの前処理と同様の方法により、その動作を表す連続フレームを圧縮表現して１画像とすることで、フレーム画像データＢが作成される。
更に、前記した固有値及び固有ベクトルから作成される固有空間ＥＳに、（１２）式を用いて、フレーム画像データＢ（ｙ´と表記）を投影し、固有空間データＢである点ｈを得る。
ｈ＝ＥＴｙ´＝（ｅ１，ｅ２，・・・，ｅｋ）Ｔｙ´・・・（１２）
そして、コンピュータ内の認識手段により、固有空間データＢと、木構造作成手段でデータベース化された人の基本動作ごとの固有空間データＡとを比較する認識工程について説明する。
ｈ＝ＥＴｙ´＝（ｅ１，ｅ２，・・・，ｅｋ）Ｔｙ´・・・（１２）
そして、コンピュータ内の認識手段により、固有空間データＢと、木構造作成手段でデータベース化された人の基本動作ごとの固有空間データＡとを比較する認識工程について説明する。
人の姿勢認識では、未知の姿勢を持つ画像ＩＰ′を固有空間に投影し、（１０）式によってセクション番号ＳＰ′を得る。次に、ＳＰ′を検索キーとしてＢ−ｔｒｅｅ Τを検索し、候補姿勢ｇｐｒ（ｒ＝１，２，・・・，Ｒ）を得る。
最後に、（１３）式を適用すれば、固有空間データＢを示す点ｈからの距離が最も近い（距離が最小）固有空間データＡを示す点の集合ｇｉが選ばれ、最も近い姿勢ｐ′＝ｐ＊が得られる。
ｄｐ ＊＝ｍｉｎ‖ｇｐｒ−ｇｐ‖・・・（１３）
ここでは、Ｒ≪Ｐとなることが期待されるため、検索速度は大幅に改善される。
ただし、Ｒ≪動作データベースに登録されている全基本動作の数である。
最後に、（１３）式を適用すれば、固有空間データＢを示す点ｈからの距離が最も近い（距離が最小）固有空間データＡを示す点の集合ｇｉが選ばれ、最も近い姿勢ｐ′＝ｐ＊が得られる。
ｄｐ ＊＝ｍｉｎ‖ｇｐｒ−ｇｐ‖・・・（１３）
ここでは、Ｒ≪Ｐとなることが期待されるため、検索速度は大幅に改善される。
ただし、Ｒ≪動作データベースに登録されている全基本動作の数である。
このように、対象人が行った動作から、その動作に最も近い基本動作を動作データベースの検索により探すことで、対象人がどの基本動作（類似している動作も含む）を行ったかを認識できる。
なお、未知の動作を認識する場合、画像の前処理により、その動作を表す連続するフレーム画像は、１画像Ｉで圧縮表現されるため、画像Ｉに最も近い圧縮画像が、コンピュータ内の基本動作のデータベースから検索される。このデータベースは、前記したように、Ｂ−ｔｒｅｅ構造を持つため、検索は高速に行われる。従って、画像Ｉと最も距離の短い画像が検索され、この距離がある閾値より小さければ、未知動作は、その動作として判断（認識）される。
以上の方法により、データベース検索による動作認識が実現する。
なお、認識した対象人の動作は、擬似人モデル（３次元グラフィックスモデル）又はロボットを用いて再現してもよい。
なお、未知の動作を認識する場合、画像の前処理により、その動作を表す連続するフレーム画像は、１画像Ｉで圧縮表現されるため、画像Ｉに最も近い圧縮画像が、コンピュータ内の基本動作のデータベースから検索される。このデータベースは、前記したように、Ｂ−ｔｒｅｅ構造を持つため、検索は高速に行われる。従って、画像Ｉと最も距離の短い画像が検索され、この距離がある閾値より小さければ、未知動作は、その動作として判断（認識）される。
以上の方法により、データベース検索による動作認識が実現する。
なお、認識した対象人の動作は、擬似人モデル（３次元グラフィックスモデル）又はロボットを用いて再現してもよい。
以上、本発明を、実施の形態を参照して説明してきたが、本発明は何ら上記した実施の形態に記載の構成に限定されるものではなく、特許請求の範囲に記載されている事項の範囲内で考えられるその他の実施の形態や変形例も含むものである。例えば、前記したそれぞれの実施の形態や変形例の一部又は全部を組合せて本発明の動体の動作認識方法を構成する場合も本発明の権利範囲に含まれる。
本発明の動体の動作認識方法の活用例として、例えば、移動ロボットに搭載することにより、移動ロボットが任意の方向から人の動作を認識できるようになる。また、認識方向もわかるので、人物への接近の仕方もわかる。従って、例えば、重い荷物を持って移動する人、具合が悪くなって座り込む人、又は足元のおぼつかない高齢者等に近づき、適切な支援を与える機能を持つロボットが実現できる。これにより、安全で安心して暮らせる社会環境が実現できる。
Claims (9)
- 予め疑似人モデル又は人である動体Ａの基本動作ごとの複数のフレーム画像データＡがそれぞれ点で表示される固有空間データＡを、該基本動作ごとに作成し記憶手段に格納してデータベース化する固有空間データ作成工程と、
前記固有空間データ作成工程でデータベース化された前記固有空間データＡを、前記動体Ａの基本動作が保有している情報ごとに木構造内に分配し、前記記憶手段に格納して構造化する木構造作成工程と、
認識しようとする対象となる人である動体Ｂのフレーム画像データＢが点で表示された固有空間データＢと前記基本動作ごとの複数の前記固有空間データＡを比較して、前記固有空間データＢからの距離が最も近い固有空間データＡを選び、前記動体Ｂの動作を認識する認識工程とを有する動体の動作認識方法であって、
前記基本動作は静止した姿勢であり、該基本動作ごとの各フレーム画像データＡは、前記動体Ａに該基本動作を行わせ、該基本動作を行う前記動体Ａを複数の画像入力手段を用いて多方向から撮影し、該画像入力手段ごとに取得した連続する複数のフレーム画像に、それぞれ重みをつけ、該複数のフレーム画像のうち、前記姿勢を最もよく現す１のフレーム画像の前記重みを１とし、他のフレーム画像の前記重みを０とした後、該連続する複数のフレーム画像を重ね合わせることで作成される圧縮画像から得ることを特徴とする動体の動作認識方法。 - 予め疑似人モデル又は人である動体Ａの基本動作ごとの複数のフレーム画像データＡがそれぞれ点で表示される固有空間データＡを、該基本動作ごとに作成し記憶手段に格納してデータベース化する固有空間データ作成工程と、
前記固有空間データ作成工程でデータベース化された前記固有空間データＡを、前記動体Ａの基本動作が保有している情報ごとに木構造内に分配し、前記記憶手段に格納して構造化する木構造作成工程と、
認識しようとする対象となる人である動体Ｂのフレーム画像データＢが点で表示された固有空間データＢと前記基本動作ごとの複数の前記固有空間データＡを比較して、前記固有空間データＢからの距離が最も近い固有空間データＡを選び、前記動体Ｂの動作を認識する認識工程とを有する動体の動作認識方法であって、
前記基本動作は一連の動作であり、該基本動作ごとの各フレーム画像データＡは、前記動体Ａに該基本動作を行わせ、該基本動作を行う前記動体Ａを複数の画像入力手段を用いて多方向から撮影し、該画像入力手段ごとに取得した連続する複数のフレーム画像に、それぞれ重みをつけ、該複数のフレーム画像のうち、前記動作の特徴が現れたフレーム画像の前記重みよりも、他のフレーム画像の前記重みを小さくした後、該連続する複数のフレーム画像を重ね合わせることで作成される圧縮画像から得ることを特徴とする動体の動作認識方法。 - 請求項２記載の動体の動作認識方法において、前記動作の特徴が現れたフレーム画像は、前記一連の動作の最初と最後のフレーム画像であることを特徴とする動体の動作認識方法。
- 請求項２又は３記載の動体の動作認識方法において、前記圧縮画像は、前記複数のフレーム画像のうち連続する又は間隔を有する２つずつのフレーム画像を重ね合わせ、変化のない背景を削除して得られる複数の差分画像を、それぞれ重ね合わせることで得られることを特徴とする動体の動作認識方法。
- 請求項１〜４のいずれか１項に記載の動体の動作認識方法において、前記複数の画像入力手段は、前記動体Ａが擬似人モデルの場合は仮想カメラ群、前記動体Ａが人の場合はカメラ群であることを特徴とする動体の動作認識方法。
- 請求項１〜５のいずれか１項に記載の動体の動作認識方法において、前記動体Ａは前記擬似人モデルであって、該疑似人モデルの行う基本動作は、モーションキャプチャー法によって得られたものであることを特徴とする動体の動作認識方法。
- 請求項１〜６のいずれか１項に記載の動体の動作認識方法において、前記固有空間データＡは、前記フレーム画像データＡに微分処理を行って作成されることを特徴とする動体の動作認識方法。
- 請求項１〜７のいずれか１項に記載の動体の動作認識方法において、前記固有空間データＡは、前記フレーム画像データＡをカルーネン・レーベ変換して求められた固有値及び固有ベクトルから作成される固有空間に投影して得られ、前記固有空間データＢは、前記フレーム画像データＢを前記固有空間に投影して得られることを特徴とする動体の動作認識方法。
- 請求項１〜８のいずれか１項に記載の動体の動作認識方法において、認識した前記動体Ｂの動作を、擬似人モデル又はロボットを用いて再現することを特徴とする動体の動作認識方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008014124A JP5078017B2 (ja) | 2008-01-24 | 2008-01-24 | 動体の動作認識方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008014124A JP5078017B2 (ja) | 2008-01-24 | 2008-01-24 | 動体の動作認識方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2009176059A JP2009176059A (ja) | 2009-08-06 |
| JP5078017B2 true JP5078017B2 (ja) | 2012-11-21 |
Family
ID=41031071
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008014124A Expired - Fee Related JP5078017B2 (ja) | 2008-01-24 | 2008-01-24 | 動体の動作認識方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5078017B2 (ja) |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3753232B2 (ja) * | 2001-03-30 | 2006-03-08 | オムロン株式会社 | 運動動作解析支援装置 |
| JP2007052665A (ja) * | 2005-08-18 | 2007-03-01 | Kyushu Institute Of Technology | 固有空間を用いた動体の動作判別方法 |
-
2008
- 2008-01-24 JP JP2008014124A patent/JP5078017B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2009176059A (ja) | 2009-08-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5422735B2 (ja) | 可変姿勢を含む画像シーケンスのリアルタイム利用可能なコンピュータ支援分析方法 | |
| US20180210556A1 (en) | Information processing device and method, program and recording medium for identifying a gesture of a person from captured image data | |
| JP4930854B2 (ja) | 関節物体位置姿勢推定装置及びその方法ならびにプログラム | |
| JP5877053B2 (ja) | 姿勢推定装置および姿勢推定方法 | |
| CN104794737B (zh) | 一种深度信息辅助粒子滤波跟踪方法 | |
| WO2008007471A1 (fr) | Procédé de suivi d'un marcheur et dispositif de suivi d'un marcheur | |
| JP5699697B2 (ja) | ロボット装置、位置姿勢検出装置、位置姿勢検出プログラム、および位置姿勢検出方法 | |
| US8599278B2 (en) | Method for estimating a plane in a range image and range image camera | |
| JP2016206795A (ja) | 実空間情報によって学習する識別器を用いて物体を追跡する装置、プログラム及び方法 | |
| JP2014085933A (ja) | ３次元姿勢推定装置、３次元姿勢推定方法、及びプログラム | |
| WO2024060978A1 (zh) | 关键点检测模型训练及虚拟角色驱动的方法和装置 | |
| JP2008148237A (ja) | 姿勢検知装置 | |
| KR20190050551A (ko) | 깊이 맵 정보 기반의 인체 행위 인지 방법 및 그 장치 | |
| JP2009288917A (ja) | 情報処理装置、情報処理方法、およびプログラム | |
| JP2006215743A (ja) | 画像処理装置及び画像処理方法 | |
| JP5078017B2 (ja) | 動体の動作認識方法 | |
| JPWO2005004060A1 (ja) | 輪郭抽出装置、輪郭抽出方法及び輪郭抽出プログラム | |
| WO2020013021A1 (ja) | 検出装置、処理装置、検出方法、及び処理プログラム | |
| Nguyen et al. | Vision-based global localization of points of gaze in sport climbing | |
| JP4802330B2 (ja) | 動体の動作判別方法 | |
| JP4376199B2 (ja) | 画像処理装置 | |
| Arowolo et al. | Development of a human posture recognition system for surveillance application | |
| Wong et al. | Enhanced classification of abnormal gait using BSN and depth | |
| KR102258114B1 (ko) | 다중 사용자 추적 장치 및 방법 | |
| Muhlbauer et al. | A model-based algorithm to estimate body poses using stereo vision |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110113 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111017 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120217 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120228 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120418 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120807 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120823 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150907 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5078017 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150907 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20180907 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |