JPH06176156A - 動画像の特徴抽出方法 - Google Patents
動画像の特徴抽出方法Info
- Publication number
- JPH06176156A JPH06176156A JP34979092A JP34979092A JPH06176156A JP H06176156 A JPH06176156 A JP H06176156A JP 34979092 A JP34979092 A JP 34979092A JP 34979092 A JP34979092 A JP 34979092A JP H06176156 A JPH06176156 A JP H06176156A
- Authority
- JP
- Japan
- Prior art keywords
- feature
- extracted
- vector
- moving image
- dimensional space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【目的】 人間の意思表現の理解のために、身体の動き
を示す動画像から抽出する特徴の情報量を減らす。 【構成】 動画像を、画面を定める２次元座標軸、およ
び時間軸を用いた３次元空間のデータとして取扱い、こ
れらデータを特徴抽出装置５により平均化，圧縮化する
ことにより、標準パターンの情報量、および標準パター
ンの整合量を減じる。
を示す動画像から抽出する特徴の情報量を減らす。 【構成】 動画像を、画面を定める２次元座標軸、およ
び時間軸を用いた３次元空間のデータとして取扱い、こ
れらデータを特徴抽出装置５により平均化，圧縮化する
ことにより、標準パターンの情報量、および標準パター
ンの整合量を減じる。
Description
【０００１】
【産業上の利用分野】本発明は、人間を撮像し、撮像結
果から特徴を抽出し、この特徴を用いて人間の身体の動
作が示す意思を理解するための動画像の特徴抽出方法に
関する。
果から特徴を抽出し、この特徴を用いて人間の身体の動
作が示す意思を理解するための動画像の特徴抽出方法に
関する。
【０００２】
【従来の技術】人間の発する自然な表現手段によってそ
の意図や命令を計算機に伝える技術は、キーボードやマ
ウス等の使用を越える新しい計算機の利用手段の高度化
という観点から重要であるといえる。これまでその１つ
として、音声を人間が発生し、それを認識することによ
ってなされてきた。音声以外に人間の自然な意図表現に
身振りや手振り等がある。これらはテレビカメラ等で観
測されると動画像データによって表現される。これらの
動画像から人間の意図を理解する技術の実現は、人間と
計算機とのインタフェースを新しい次元を開くととも
に、それをより高度化する上でも、また人間と自然な交
信を行う知能ロボットを開発する上でも重要である。
の意図や命令を計算機に伝える技術は、キーボードやマ
ウス等の使用を越える新しい計算機の利用手段の高度化
という観点から重要であるといえる。これまでその１つ
として、音声を人間が発生し、それを認識することによ
ってなされてきた。音声以外に人間の自然な意図表現に
身振りや手振り等がある。これらはテレビカメラ等で観
測されると動画像データによって表現される。これらの
動画像から人間の意図を理解する技術の実現は、人間と
計算機とのインタフェースを新しい次元を開くととも
に、それをより高度化する上でも、また人間と自然な交
信を行う知能ロボットを開発する上でも重要である。
【０００３】特に、人間の身振り手振りによる意図を理
解する技術が開発されれば、老人や障害者にやさしい機
器の開発も可能となる。上記の理由より、動画像データ
から身振り手振りを理解する技術は産業上極めて重要で
広いものであるといえる。
解する技術が開発されれば、老人や障害者にやさしい機
器の開発も可能となる。上記の理由より、動画像データ
から身振り手振りを理解する技術は産業上極めて重要で
広いものであるといえる。
【０００４】従来、人間の手振りを認識する方法にはデ
ータグローブを使用して得られるデータを処理したり
（＜１＞高橋，岸野：“手振り認識方法とその応用”，
電子情報通信学会論文誌、Ｖｏｌ．Ｊ７３−Ｄ−ＩＩ，
Ｎｏ．１２，ｐｐ．１９８５−１９９２，（１９９
０）、＜２＞佐川，酒匂，阿部：“連続ＤＰ照合を用い
た手話通訳システム”，信学技報ＳＰ９２−６１，ＨＣ
９２−３８（１９９２−０９））、色のついた手袋を用
いて得られるデータを処理するものが提案されている。
これらの手法はいわば特殊なデータを計測することによ
ってしか得られないデータに基づくものである。
ータグローブを使用して得られるデータを処理したり
（＜１＞高橋，岸野：“手振り認識方法とその応用”，
電子情報通信学会論文誌、Ｖｏｌ．Ｊ７３−Ｄ−ＩＩ，
Ｎｏ．１２，ｐｐ．１９８５−１９９２，（１９９
０）、＜２＞佐川，酒匂，阿部：“連続ＤＰ照合を用い
た手話通訳システム”，信学技報ＳＰ９２−６１，ＨＣ
９２−３８（１９９２−０９））、色のついた手袋を用
いて得られるデータを処理するものが提案されている。
これらの手法はいわば特殊なデータを計測することによ
ってしか得られないデータに基づくものである。
【０００５】より自然な状態での人間の身振りや手振り
を対象にするには、上記の制約を課さないことが必要で
ある。特殊な機具を使用しない人間の身振り手振りを対
象にし、テレビカメラ等から得られるその動画像を理解
する方法および装置の開発が現在強く社会的に求められ
ている。
を対象にするには、上記の制約を課さないことが必要で
ある。特殊な機具を使用しない人間の身振り手振りを対
象にし、テレビカメラ等から得られるその動画像を理解
する方法および装置の開発が現在強く社会的に求められ
ている。
【０００６】ここにおいて最も重要な技術は、動画像か
らいかに有効な動画像特徴を抽出するかということと、
人間の一つの意図を表す動画像の時空間パターンと入力
の動画像とをいかに整合するかということである。本発
明は上記の前者に関するものである。
らいかに有効な動画像特徴を抽出するかということと、
人間の一つの意図を表す動画像の時空間パターンと入力
の動画像とをいかに整合するかということである。本発
明は上記の前者に関するものである。
【０００７】動画像は時空間パターン（Ｓｐａｔｉｏｔ
ｅｍｐｏｒａｌ ｐａｔｔｅｒｎ）であり、このパター
ンについての特徴抽出についてはこれまでＢｏｌｌｅｓ
ら（＜３＞Ｒ．Ｃ．Ｂｏｌｌｅｓ，Ｈ．Ｈ．Ｂａｋｅｒ
ａｎｄ Ｄ．Ｈ．Ｍａｒｉｍｏｎｔ：“Ｅｐｉｐｏｌ
ａｒ−Ｐｌａｎｅ Ｉｍａｇｅ Ａｎａｌｙｓｉｓ：Ａ
ｎ Ａｐｐｒｏａｃｈ ｔｏ Ｄｅｔｅｒｍｉｎｉｎｇ
Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎ”，Ｉ
ｎｔ．Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉ
ｓｉｏｎ，１，ｐｐ７−５５，（１９８７）、＜４＞
Ｈ．Ｈ．Ｂａｋｅｒ ａｎｄ Ｒ．Ｃ．Ｂｏｌｌｅｓ：
“Ｇｅｎｅｒａｌｉｚａｔｉｏｎ Ｅｐｉｐｌｏａｒ−
Ｐｌａｎｅ Ｉｍａｇｅ Ａｎａｌｙｓｉｓ ｏｎ ｔ
ｈｅ Ｓｐａｔｉｏｔｅｍｐｏｒａｌ Ｓｕｒｆａｃ
ｅ”，Ｐｒｏｃ．９ＴＨ ＩＣＰＲ，ｐｐ．２−９，Ｒ
ｏｍｅ，Ｉｔａｌｙ（１９８８））のＳｐａｔｉｏｔｅ
ｍｐｏｒａｌ ｓｕｒｆａｃｅにおけるＳｅｑｕｅｎｔ
ｉａｌ Ｆｅａｔｕｒｅ Ｔｒａｃｋｉｎｇの研究がよ
く知られている。また、動画像の一枚の画像を静止画と
みて従来の静止画に対する構造解析等の手法を適用した
りすること、動画像についてのＯｐｔｉｃａｌ ｆｌｏ
ｗの計算すること、ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ ｍ
ｏｔｉｏｎやｄｅｐｔｈ ｆｒｏｍ ｍｏｔｉｏｎ等の
抽出をすること等（＜５＞Ｄ．Ｍａｒｒ：“Ｗ．Ｈ．Ｆ
ｒｅｅｍａｎ ａｎｄ Ｃｏｍｐａｎｙ，Ｎｅｗ，Ｙｏ
ｒｋ，１９８２．乾，安藤訳、“ビジョン”、産業図
書、１９８７、＜６＞Ｄ．Ｈ．Ｂａｌｌａｒｄ ａｎｄ
Ｃ．Ｍ．Ｂｒｏｗｎ：“Ｃｏｍｐｕｔｅｒ Ｖｉｓｉ
ｏｎ”，Ｐｒｅｎｔｉｃｅ−Ｈａｌｌ．Ｉｎｃ．，Ｎｅ
ｗＪｅｒｓｅｙ，１９８２．福村他訳、“コンピュータ
ビジョン”、日本コンピュータ協会、１９８７）、研究
の数は多いが非剛体の物体の動きを良好に認識するに有
効である特徴の提案はほとんどないといえる。
ｅｍｐｏｒａｌ ｐａｔｔｅｒｎ）であり、このパター
ンについての特徴抽出についてはこれまでＢｏｌｌｅｓ
ら（＜３＞Ｒ．Ｃ．Ｂｏｌｌｅｓ，Ｈ．Ｈ．Ｂａｋｅｒ
ａｎｄ Ｄ．Ｈ．Ｍａｒｉｍｏｎｔ：“Ｅｐｉｐｏｌ
ａｒ−Ｐｌａｎｅ Ｉｍａｇｅ Ａｎａｌｙｓｉｓ：Ａ
ｎ Ａｐｐｒｏａｃｈ ｔｏ Ｄｅｔｅｒｍｉｎｉｎｇ
Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎ”，Ｉ
ｎｔ．Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉ
ｓｉｏｎ，１，ｐｐ７−５５，（１９８７）、＜４＞
Ｈ．Ｈ．Ｂａｋｅｒ ａｎｄ Ｒ．Ｃ．Ｂｏｌｌｅｓ：
“Ｇｅｎｅｒａｌｉｚａｔｉｏｎ Ｅｐｉｐｌｏａｒ−
Ｐｌａｎｅ Ｉｍａｇｅ Ａｎａｌｙｓｉｓ ｏｎ ｔ
ｈｅ Ｓｐａｔｉｏｔｅｍｐｏｒａｌ Ｓｕｒｆａｃ
ｅ”，Ｐｒｏｃ．９ＴＨ ＩＣＰＲ，ｐｐ．２−９，Ｒ
ｏｍｅ，Ｉｔａｌｙ（１９８８））のＳｐａｔｉｏｔｅ
ｍｐｏｒａｌ ｓｕｒｆａｃｅにおけるＳｅｑｕｅｎｔ
ｉａｌ Ｆｅａｔｕｒｅ Ｔｒａｃｋｉｎｇの研究がよ
く知られている。また、動画像の一枚の画像を静止画と
みて従来の静止画に対する構造解析等の手法を適用した
りすること、動画像についてのＯｐｔｉｃａｌ ｆｌｏ
ｗの計算すること、ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ ｍ
ｏｔｉｏｎやｄｅｐｔｈ ｆｒｏｍ ｍｏｔｉｏｎ等の
抽出をすること等（＜５＞Ｄ．Ｍａｒｒ：“Ｗ．Ｈ．Ｆ
ｒｅｅｍａｎ ａｎｄ Ｃｏｍｐａｎｙ，Ｎｅｗ，Ｙｏ
ｒｋ，１９８２．乾，安藤訳、“ビジョン”、産業図
書、１９８７、＜６＞Ｄ．Ｈ．Ｂａｌｌａｒｄ ａｎｄ
Ｃ．Ｍ．Ｂｒｏｗｎ：“Ｃｏｍｐｕｔｅｒ Ｖｉｓｉ
ｏｎ”，Ｐｒｅｎｔｉｃｅ−Ｈａｌｌ．Ｉｎｃ．，Ｎｅ
ｗＪｅｒｓｅｙ，１９８２．福村他訳、“コンピュータ
ビジョン”、日本コンピュータ協会、１９８７）、研究
の数は多いが非剛体の物体の動きを良好に認識するに有
効である特徴の提案はほとんどないといえる。
【０００８】
【発明が解決しようとする課題】いま、人間の身振り手
振りの動作を通常のテレビカメラで観測すると、人間が
表す１つの意図表現に対応するものはある時間区間をも
つ動画像となる。これをデータ表現としてみると、縦と
横と奥行きをもつ直方体状のデータの固まりとなる。こ
の直方体状のデータを用いてによって１つの意図を表す
標準パターンとして定めると、未知の入力動画像からそ
の意図を識別するために行う標準パターンと入力動画像
との整合の処理に極めて膨大な計算量を要する。さら
に、１つの意図表現に対応する１つの標準パターンが通
常に発生する変動に頑強であるとするためには、観測し
たままの動画像の区間データを直接標準パターンとして
用いることによっては実現できない。
振りの動作を通常のテレビカメラで観測すると、人間が
表す１つの意図表現に対応するものはある時間区間をも
つ動画像となる。これをデータ表現としてみると、縦と
横と奥行きをもつ直方体状のデータの固まりとなる。こ
の直方体状のデータを用いてによって１つの意図を表す
標準パターンとして定めると、未知の入力動画像からそ
の意図を識別するために行う標準パターンと入力動画像
との整合の処理に極めて膨大な計算量を要する。さら
に、１つの意図表現に対応する１つの標準パターンが通
常に発生する変動に頑強であるとするためには、観測し
たままの動画像の区間データを直接標準パターンとして
用いることによっては実現できない。
【０００９】上記の問題を解決するには、１つの意図を
表す標準パターンをより少ないデータでつくり、またそ
れがノイズと変動により頑健なものとするような動画像
からの特徴を抽出する必要がある。このように優れた特
徴の抽出手法の開発は動画像の実時間の識別のためには
特に解決されなければならない課題である。
表す標準パターンをより少ないデータでつくり、またそ
れがノイズと変動により頑健なものとするような動画像
からの特徴を抽出する必要がある。このように優れた特
徴の抽出手法の開発は動画像の実時間の識別のためには
特に解決されなければならない課題である。
【００１０】
【課題を解決するための手段】このような目的を達成す
るために、請求項１に記載の発明は、身体の動作で示す
人間の意思表現を自動的に理解するために前記身体の動
作についての動画像を取得し、該動画像から特徴を抽出
する動画像の特徴抽出方法において、画像の２次元空間
を定める２つの軸と、時間の軸とにより定められる３次
元空間を設定し、該３次元空間の各点において、各々の
前記軸のパラメータで画素値を偏微分してできる３つの
偏微分係数の要素からなるベクトルを抽出し、当該抽出
されたベクトルの要素毎に、もしくは、前記ベクトルの
張る３次元空間を極座標の２つのパラメータで表現し、
この２つのパラメータで定められる２次元のパラメータ
空間を量子化して前記ベクトルの位置する量子化点に当
該ベクトルの絶対値を割付けてできる新たなベクトルの
要素毎のいずれかの要素毎に、前記時間の軸について、
平均化を実行することによって１次特徴を抽出し、該１
次特徴を各時刻において画像の２次元空間の空間格子点
を少なくするための圧縮化を実行することによって２次
特徴を抽出し、当該抽出された２次特徴を前記動画像の
特徴として出力することを特徴とする。
るために、請求項１に記載の発明は、身体の動作で示す
人間の意思表現を自動的に理解するために前記身体の動
作についての動画像を取得し、該動画像から特徴を抽出
する動画像の特徴抽出方法において、画像の２次元空間
を定める２つの軸と、時間の軸とにより定められる３次
元空間を設定し、該３次元空間の各点において、各々の
前記軸のパラメータで画素値を偏微分してできる３つの
偏微分係数の要素からなるベクトルを抽出し、当該抽出
されたベクトルの要素毎に、もしくは、前記ベクトルの
張る３次元空間を極座標の２つのパラメータで表現し、
この２つのパラメータで定められる２次元のパラメータ
空間を量子化して前記ベクトルの位置する量子化点に当
該ベクトルの絶対値を割付けてできる新たなベクトルの
要素毎のいずれかの要素毎に、前記時間の軸について、
平均化を実行することによって１次特徴を抽出し、該１
次特徴を各時刻において画像の２次元空間の空間格子点
を少なくするための圧縮化を実行することによって２次
特徴を抽出し、当該抽出された２次特徴を前記動画像の
特徴として出力することを特徴とする。
【００１１】請求項２に記載の発明は、請求項１の発明
に加えて、出力された前記２次特徴の中から一定の時間
区間の２次特徴をサンプリングし、当該サンプリングし
た２次特徴を前記動画像の示す意思表現を理解する際に
用いる標準パターンとして記憶しておくことを特徴とす
る。
に加えて、出力された前記２次特徴の中から一定の時間
区間の２次特徴をサンプリングし、当該サンプリングし
た２次特徴を前記動画像の示す意思表現を理解する際に
用いる標準パターンとして記憶しておくことを特徴とす
る。
【００１２】請求項３に記載の発明は、請求項２に記載
の方法によって記憶されている標準パターンを請求項１
に記載の方法によって理解対象の動画像から前記２次特
徴を抽出し、当該抽出された２次特徴と請求項２に記載
の方法によって記憶されている前記２次特徴とを前記人
間の意思表現の理解のために整合することを特徴とす
る。
の方法によって記憶されている標準パターンを請求項１
に記載の方法によって理解対象の動画像から前記２次特
徴を抽出し、当該抽出された２次特徴と請求項２に記載
の方法によって記憶されている前記２次特徴とを前記人
間の意思表現の理解のために整合することを特徴とす
る。
【００１３】請求項４に記載の発明は、身体の動作で示
す人間の意思表現を自動的に理解するために前記身体の
動作についての動画像を取得し、該動画像から特徴を抽
出する動画像の特徴抽出方法において、画像の２次元空
間を定める２つの軸と、時間の軸とにより定められる３
次元空間を設定し、前記動画像に対してフーリエ変換を
施し、前記３次元空間の各点において、各々の前記軸の
パラメータで、前記フーリエ変換を施した画素値を偏微
分してできる３つの偏微分係数の要素からなるベクトル
を抽出し、当該抽出されたベクトルの要素毎に、もしく
は、前記ベクトルの張る３次元空間を極座標の２つのパ
ラメータで表現し、この２つのパラメータで定められる
２次元のパラメータ空間を量子化して前記ベクトルの位
置する量子化点に当該ベクトルの絶対値を割付けてでき
る新たなベクトルの要素毎のいずれかの要素毎に、前記
時間の軸について、平均化を実行することによって１次
特徴を抽出し、該１次特徴を各時刻において画像の２次
元空間の空間格子点を少なくするための圧縮化を実行す
ることによって２次特徴を抽出し、当該抽出された２次
特徴を前記動画像の特徴として出力することを特徴とす
る。
す人間の意思表現を自動的に理解するために前記身体の
動作についての動画像を取得し、該動画像から特徴を抽
出する動画像の特徴抽出方法において、画像の２次元空
間を定める２つの軸と、時間の軸とにより定められる３
次元空間を設定し、前記動画像に対してフーリエ変換を
施し、前記３次元空間の各点において、各々の前記軸の
パラメータで、前記フーリエ変換を施した画素値を偏微
分してできる３つの偏微分係数の要素からなるベクトル
を抽出し、当該抽出されたベクトルの要素毎に、もしく
は、前記ベクトルの張る３次元空間を極座標の２つのパ
ラメータで表現し、この２つのパラメータで定められる
２次元のパラメータ空間を量子化して前記ベクトルの位
置する量子化点に当該ベクトルの絶対値を割付けてでき
る新たなベクトルの要素毎のいずれかの要素毎に、前記
時間の軸について、平均化を実行することによって１次
特徴を抽出し、該１次特徴を各時刻において画像の２次
元空間の空間格子点を少なくするための圧縮化を実行す
ることによって２次特徴を抽出し、当該抽出された２次
特徴を前記動画像の特徴として出力することを特徴とす
る。
【００１４】
【作用】さて、請求項１の発明は、時空間パターンから
ベクトル場パターンを抽出し、そのベクトルの方向に依
存してつくられる複数のスカラパターンを、それぞれ独
立して、主として時間方向に平均化することによること
を主張している。この考え方は既に、音声認識のために
有効な特徴をうるために用いられている（特許：平３−
３０１５９号）。音声の場合は、空間軸が１つ（すなわ
ち周波数軸）と時間軸でつくられる時空間パターンにつ
いての特徴であり、その特徴は音声認識における有効性
を問う。本発明においては、特徴抽出の対象が空間軸が
２次元、時間軸が１次元の動画像パターンであり、その
有効性を問うところは、身振りや手振りの動画像理解で
ある。これまでの実験により、動画像理解においても音
声理解の場合と同様、ベクトル場の方向性に基づく特徴
が極めて有効であることが確認された。
ベクトル場パターンを抽出し、そのベクトルの方向に依
存してつくられる複数のスカラパターンを、それぞれ独
立して、主として時間方向に平均化することによること
を主張している。この考え方は既に、音声認識のために
有効な特徴をうるために用いられている（特許：平３−
３０１５９号）。音声の場合は、空間軸が１つ（すなわ
ち周波数軸）と時間軸でつくられる時空間パターンにつ
いての特徴であり、その特徴は音声認識における有効性
を問う。本発明においては、特徴抽出の対象が空間軸が
２次元、時間軸が１次元の動画像パターンであり、その
有効性を問うところは、身振りや手振りの動画像理解で
ある。これまでの実験により、動画像理解においても音
声理解の場合と同様、ベクトル場の方向性に基づく特徴
が極めて有効であることが確認された。
【００１５】請求項２の発明は、請求項１の方法により
標準パターンを作成するので、ユーザは、単に人間の動
作を撮像装置により撮像するだけでよく、複雑な画像処
理に関与する必要はない。
標準パターンを作成するので、ユーザは、単に人間の動
作を撮像装置により撮像するだけでよく、複雑な画像処
理に関与する必要はない。
【００１６】請求項３の発明は、請求項１の方法を標準
パターンとして用いる（２次）特徴の作成、理解対象の
動画像から抽出する（２次）特徴の作成に兼用して用い
ることにより、装置の簡素化を図る。
パターンとして用いる（２次）特徴の作成、理解対象の
動画像から抽出する（２次）特徴の作成に兼用して用い
ることにより、装置の簡素化を図る。
【００１７】請求項４の発明は、背景と対象人物との分
離が行いやすくなる。
離が行いやすくなる。
【００１８】
【実施例】以下、図面を参照して本発明の実施例を詳細
に説明する。
に説明する。
【００１９】図１に動画像理解システムの構成を示す。
対象の人間１による手振り，身振りの動作はテレビカメ
ラ等の動画像データによって画像の時系列、すなわち動
画像として観測される。この動画像は直接特徴抽出にか
けられるか、または２次元のフーリエ変換された後に、
特徴抽出装置５の特徴抽出の処理にかけられる。特徴抽
出の処理をして得られる特徴パターンも通常は動画像パ
ターン（時空間パターン）となる。この特徴抽出後の動
画像の１つの区間データ（請求項２の一定の時間区間）
によって単位性をもつ手振り，身振りの意図の表現と
し、これらを多数の区間動画像データを標準パターンと
してサンプリングし、記憶装置６に記憶する。
対象の人間１による手振り，身振りの動作はテレビカメ
ラ等の動画像データによって画像の時系列、すなわち動
画像として観測される。この動画像は直接特徴抽出にか
けられるか、または２次元のフーリエ変換された後に、
特徴抽出装置５の特徴抽出の処理にかけられる。特徴抽
出の処理をして得られる特徴パターンも通常は動画像パ
ターン（時空間パターン）となる。この特徴抽出後の動
画像の１つの区間データ（請求項２の一定の時間区間）
によって単位性をもつ手振り，身振りの意図の表現と
し、これらを多数の区間動画像データを標準パターンと
してサンプリングし、記憶装置６に記憶する。
【００２０】新たな入力についてはその入力から抽出さ
れた特徴と、整合装置７の標準パターンとの整合処理に
よってそれが何の意図表現であったのかが認識され、そ
の認識結果が出力装置８を介して外部へ出力される。
れた特徴と、整合装置７の標準パターンとの整合処理に
よってそれが何の意図表現であったのかが認識され、そ
の認識結果が出力装置８を介して外部へ出力される。
【００２１】本発明は、入力の時系列画像の対として、
（１）テレビカメラ等から直接観測される動画像そのも
の、または時空間パターンとしての２次元周波数画像時
系列から時空間ベクトル場を抽出する、（２）時空間ベ
クトル場系列について空間リダクションおよび時間平均
化操作を施す、ことによって特徴画像時系列パターンを
定めることに関する。
（１）テレビカメラ等から直接観測される動画像そのも
の、または時空間パターンとしての２次元周波数画像時
系列から時空間ベクトル場を抽出する、（２）時空間ベ
クトル場系列について空間リダクションおよび時間平均
化操作を施す、ことによって特徴画像時系列パターンを
定めることに関する。
【００２２】＜時空間ベクトル場の算出＞いま、テレビ
カメラ等で観測される時系列画像、もしくはこの時系列
画像を２次元ＦＦＴによって変換したものを、
カメラ等で観測される時系列画像、もしくはこの時系列
画像を２次元ＦＦＴによって変換したものを、
【００２３】
【数１】 {f(p,q,t)| 0≦p ≦L , 0≦q ≦L , 0≦t ＜∞} (1) と記す。ここで、ｐ，ｑは観測されたままの動画像であ
るときは画像の２次元の空間軸であり、その画像を２次
元ＦＦＴで処理したものであるときは処理後の画像のも
つ２つの周波数軸を示す。ｔは時間軸である。ｆ（ｐ，
ｑ，ｔ）は点（ｐ，ｑ，ｔ）の対数パワーを表す。空間
点（ｐ，ｑ，ｔ）でのベクトルＶ（ｐ，ｑ，ｔ）を、
るときは画像の２次元の空間軸であり、その画像を２次
元ＦＦＴで処理したものであるときは処理後の画像のも
つ２つの周波数軸を示す。ｔは時間軸である。ｆ（ｐ，
ｑ，ｔ）は点（ｐ，ｑ，ｔ）の対数パワーを表す。空間
点（ｐ，ｑ，ｔ）でのベクトルＶ（ｐ，ｑ，ｔ）を、
【００２４】
【数２】
【００２５】によって定義する。このとき時空間ベクト
ル場、
ル場、
【００２６】
【数３】 {V(p,q,t)| 0≦p ≦L , 0≦q ≦L , 0≦T ＜∞} (3) が形成される。式（２）の計算で、ｐ，ｑ，ｔが離散的
である場合、ベクトルの要素は、重みの行列を、
である場合、ベクトルの要素は、重みの行列を、
【００２７】
【数４】
【００２８】として、
【００２９】
【数５】
【００３０】によって与える。ここでｐij，ｑij，ｔij
はそれぞれ、空間点（ｐ，ｑ，ｔ）を中心にして３×３
×３格子空間において重み行列Ｗの各要素に対応する格
子座標点を示す。
はそれぞれ、空間点（ｐ，ｑ，ｔ）を中心にして３×３
×３格子空間において重み行列Ｗの各要素に対応する格
子座標点を示す。
【００３１】さて、式（５）でその要素が定められるベ
クトル場については、その特徴の有効性をほとんど落す
ことのない量的削減を目的とした空間的な圧縮と、その
特徴の頑強性を増すための時間的平均化操作を行う必要
がある。
クトル場については、その特徴の有効性をほとんど落す
ことのない量的削減を目的とした空間的な圧縮と、その
特徴の頑強性を増すための時間的平均化操作を行う必要
がある。
【００３２】空間的圧縮には２つの方法があり、時間的
平均化には典型的な１つの方法がある。以下にそれらを
示す。
平均化には典型的な１つの方法がある。以下にそれらを
示す。
【００３３】空間的圧縮とは、ｐまたはｑ軸上の格子点
の数をＬからＮ（≦Ｌ）にすることを意味する。また、
時間的平均化とは、時刻ｔを中心に前後２Ｋ＋１のフレ
ーム区間の平均をとることである。
の数をＬからＮ（≦Ｌ）にすることを意味する。また、
時間的平均化とは、時刻ｔを中心に前後２Ｋ＋１のフレ
ーム区間の平均をとることである。
【００３４】＜空間圧縮法Ｉ＞これは空間圧縮を式
（５）のベクトルで表された表現を直接に用いるもので
ある。すなわち、α，βを整数、ｈ＝Ｌ／Ｎ，ｗ＝１，
２，３ １≦１′≦Ｎ，１≦ｍ≦Ｎとし、［Ｘ］でＸの
整数化操作を表すとき、
（５）のベクトルで表された表現を直接に用いるもので
ある。すなわち、α，βを整数、ｈ＝Ｌ／Ｎ，ｗ＝１，
２，３ １≦１′≦Ｎ，１≦ｍ≦Ｎとし、［Ｘ］でＸの
整数化操作を表すとき、
【００３５】
【数６】
【００３６】と記述できる。なお、ここでｌ′は英文字
のエルを示し、数字１との混同を避けるために′記号を
付している。これらの操作によってつくられるベクトル
場特性を、
のエルを示し、数字１との混同を避けるために′記号を
付している。これらの操作によってつくられるベクトル
場特性を、
【００３７】
【数７】
【００３８】と定める。
【００３９】＜空間圧縮法ＩＩ＞これはベクトル場特徴
の作り方がＩの場合と異なる。
の作り方がＩの場合と異なる。
【００４０】式（５）のつくるベクトルの方向について
は、その極座標表示では２つのパラメータθ，φによっ
て表現できる。θ，φの区間をそれぞれＲ個の小区間の
分割し、θ，φの張る２次元平面を総計Ｒ2 個の小領域
に分けると、式（５）のベクトルはこれらの領域の一つ
に対応する。その結果、ベクトルの要素数がＲ2 である
新たなベクトル場がつくれる。式（５）として得られて
いるデータが前記領域の番号の一つｒ（１≦ｒ≦Ｒ2 ）
に対応するとき、前記新たなベクトルのｒ番目の要素の
値を式（５）のベクトルの大きさによって定める。
は、その極座標表示では２つのパラメータθ，φによっ
て表現できる。θ，φの区間をそれぞれＲ個の小区間の
分割し、θ，φの張る２次元平面を総計Ｒ2 個の小領域
に分けると、式（５）のベクトルはこれらの領域の一つ
に対応する。その結果、ベクトルの要素数がＲ2 である
新たなベクトル場がつくれる。式（５）として得られて
いるデータが前記領域の番号の一つｒ（１≦ｒ≦Ｒ2 ）
に対応するとき、前記新たなベクトルのｒ番目の要素の
値を式（５）のベクトルの大きさによって定める。
【００４１】この新しいベクトル場をｐ，ｑの空間につ
いて圧縮すると、空間圧縮法＜Ｉ＞における式（６）に
対応するものとして、（１≦ｗ≦Ｒ2 ）として、
いて圧縮すると、空間圧縮法＜Ｉ＞における式（６）に
対応するものとして、（１≦ｗ≦Ｒ2 ）として、
【００４２】
【数８】
【００４３】が得られる。同様に、式（７）に対応する
ものとして、
ものとして、
【００４４】
【数９】
【００４５】が得られる。
【００４６】＜時間平均化法＞上記空間圧縮方法Ｉ，Ｉ
Ｉで作成されたベクトル場特徴Ｕについて、次の時間平
均化操作を行う。いま、ｗ＝１，２，３もしくはｗ＝
１，２，…，Ｒ2 として、
Ｉで作成されたベクトル場特徴Ｕについて、次の時間平
均化操作を行う。いま、ｗ＝１，２，３もしくはｗ＝
１，２，…，Ｒ2 として、
【００４７】
【数１０】
【００４８】として、
【００４９】
【数１１】
【００５０】が得られる。ここで、Ω＝３またはΩ＝Ｒ
2 である。
2 である。
【００５１】このＺが本発明の目的とする特徴である。
【００５２】人間の手振り，身振りによる一つの意図は
一つの記号表現に対応するとする。一つの意図表現は上
記ベクトル場Ｚの始端と終端が定められたもの（時空間
パターン）に対応ものとする。表現すべき意図の数がＩ
であるとき、Ｉ個の時空間パターンが存在することにな
る。
一つの記号表現に対応するとする。一つの意図表現は上
記ベクトル場Ｚの始端と終端が定められたもの（時空間
パターン）に対応ものとする。表現すべき意図の数がＩ
であるとき、Ｉ個の時空間パターンが存在することにな
る。
【００５３】さて、テレビカメラ等で観測された画像は
２次元のフーリエ変換（ＦＦＴ等）にかけると（請求項
４の発明に相当）、このパターンが人間の手振り，身振
りを表現するのに都合のよりものであるかを説明する。
２次元のフーリエ変換（ＦＦＴ等）にかけると（請求項
４の発明に相当）、このパターンが人間の手振り，身振
りを表現するのに都合のよりものであるかを説明する。
【００５４】２次元フーリエ変換によって対象画像は位
置に不変な特徴によって表現される。これは人間による
手振り，身振りの動きを行うに際し、位置不変であるこ
とで負担をかけないものになる。さらに、人物を含む背
景等について、周波数特性に基づくテクスチャを抽出す
ることにより、背景と対象人物との分離等が行いやすく
なる。
置に不変な特徴によって表現される。これは人間による
手振り，身振りの動きを行うに際し、位置不変であるこ
とで負担をかけないものになる。さらに、人物を含む背
景等について、周波数特性に基づくテクスチャを抽出す
ることにより、背景と対象人物との分離等が行いやすく
なる。
【００５５】本発明は上記に加えて、２次元周波数の時
系列パターンについて、時空間ベクトル場を抽出してい
る。この時空間ベクトル場は対象物の静的な特徴と、動
きの特徴の双方を兼ね備えたものを抽出している。
系列パターンについて、時空間ベクトル場を抽出してい
る。この時空間ベクトル場は対象物の静的な特徴と、動
きの特徴の双方を兼ね備えたものを抽出している。
【００５６】
【発明の効果】以上、説明したように、本発明ではこの
時空間ベクトル場を時空間に渡って圧縮し、時間的に平
均化している。前者はその特徴の記憶容量の削減に必要
であり、後者は特徴自体の安定化のために欠くべからざ
る処理である。このような処理によって作成された時間
区間をもつ時空間パターンを用いてのみ、一つの手振り
や身振りを表すとき、この表現は十分その他種類の分解
能をもつものとなり、かつ少ないデータ量でそれらを表
現できるものとなる。この結果、動画像の頑健な実時間
認識システムの作成が可能となる。
時空間ベクトル場を時空間に渡って圧縮し、時間的に平
均化している。前者はその特徴の記憶容量の削減に必要
であり、後者は特徴自体の安定化のために欠くべからざ
る処理である。このような処理によって作成された時間
区間をもつ時空間パターンを用いてのみ、一つの手振り
や身振りを表すとき、この表現は十分その他種類の分解
能をもつものとなり、かつ少ないデータ量でそれらを表
現できるものとなる。この結果、動画像の頑健な実時間
認識システムの作成が可能となる。
【図１】本発明実施例のシステム構成を示すブロック図
である。
である。
２ 動画像観測装置 ５ 特徴抽出装置 ７ 整合装置
Claims (4)
- 【請求項１】 身体の動作で示す人間の意思表現を自動
的に理解するために前記身体の動作についての動画像を
取得し、該動画像から特徴を抽出する動画像の特徴抽出
方法において、 画像の２次元空間を定める２つの軸と、時間の軸とによ
り定められる３次元空間を設定し、 該３次元空間の各点において、各々の前記軸のパラメー
タで画素値を偏微分してできる３つの偏微分係数の要素
からなるベクトルを抽出し、 当該抽出されたベクトルの要素毎に、もしくは、前記ベ
クトルの張る３次元空間を極座標の２つのパラメータで
表現し、この２つのパラメータで定められる２次元のパ
ラメータ空間を量子化して前記ベクトルの位置する量子
化点に当該ベクトルの絶対値を割付けてできる新たなベ
クトルの要素毎のいずれかの要素毎に、前記時間の軸に
ついて、平均化を実行することによって１次特徴を抽出
し、 該１次特徴を各時刻において画像の２次元空間の空間格
子点を少なくするための圧縮化を実行することによって
２次特徴を抽出し、 当該抽出された２次特徴を前記動画像の特徴として出力
することを特徴とする動画像の特徴抽出方法。 - 【請求項２】 出力された前記２次特徴の中から一定の
時間区間の２次特徴をサンプリングし、当該サンプリン
グした２次特徴を前記動画像の示す意思表現を理解する
際に用いる標準パターンとして記憶しておくことを特徴
とする請求項１に記載の動画像の特徴抽出方法。 - 【請求項３】 請求項１に記載の方法によって理解対象
の動画像から前記２次特徴を抽出し、当該抽出された２
次特徴と請求項２に記載の方法によって記憶されている
前記２次特徴とを前記人間の意思表現の理解のために整
合することを特徴とする動画像の特徴抽出方法。 - 【請求項４】 身体の動作で示す人間の意思表現を自動
的に理解するために前記身体の動作についての動画像を
取得し、該動画像から特徴を抽出する動画像の特徴抽出
方法において、 画像の２次元空間を定める２つの軸と、時間の軸とによ
り定められる３次元空間を設定し、 前記動画像に対してフーリエ変換を施し、 前記３次元空間の各点において、各々の前記軸のパラメ
ータで、前記フーリエ変換を施した画素値を偏微分して
できる３つの偏微分係数の要素からなるベクトルを抽出
し、 当該抽出されたベクトルの要素毎に、もしくは、前記ベ
クトルの張る３次元空間を極座標の２つのパラメータで
表現し、この２つのパラメータで定められる２次元のパ
ラメータ空間を量子化して前記ベクトルの位置する量子
化点に当該ベクトルの絶対値を割付けてできる新たなベ
クトルの要素毎のいずれかの要素毎に、前記時間の軸に
ついて、平均化を実行することによって１次特徴を抽出
し、 該１次特徴を各時刻において画像の２次元空間の空間格
子点を少なくするための圧縮化を実行することによって
２次特徴を抽出し、 当該抽出された２次特徴を前記動画像の特徴として出力
することを特徴とする動画像の特徴抽出方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP34979092A JPH06176156A (ja) | 1992-12-02 | 1992-12-02 | 動画像の特徴抽出方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP34979092A JPH06176156A (ja) | 1992-12-02 | 1992-12-02 | 動画像の特徴抽出方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH06176156A true JPH06176156A (ja) | 1994-06-24 |
Family
ID=18406137
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP34979092A Pending JPH06176156A (ja) | 1992-12-02 | 1992-12-02 | 動画像の特徴抽出方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH06176156A (ja) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH02144675A (ja) * | 1988-11-25 | 1990-06-04 | A T R Tsushin Syst Kenkyusho:Kk | 手話言語変換装置 |
| JPH0410871A (ja) * | 1990-04-27 | 1992-01-16 | Canon Inc | 画像信号処理方法及び装置 |
-
1992
- 1992-12-02 JP JP34979092A patent/JPH06176156A/ja active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH02144675A (ja) * | 1988-11-25 | 1990-06-04 | A T R Tsushin Syst Kenkyusho:Kk | 手話言語変換装置 |
| JPH0410871A (ja) * | 1990-04-27 | 1992-01-16 | Canon Inc | 画像信号処理方法及び装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2022000420A1 (zh) | 人体动作识别方法、人体动作识别系统及设备 | |
| KR101141643B1 (ko) | 캐리커쳐 생성 기능을 갖는 이동통신 단말기 및 이를 이용한 생성 방법 | |
| WO2020134818A1 (zh) | 图像处理方法及相关产品 | |
| Shrenika et al. | Sign language recognition using template matching technique | |
| CN111259841B (zh) | 一种图像处理方法及相关设备 | |
| CN111523377A (zh) | 一种多任务的人体姿态估计和行为识别的方法 | |
| CN112396036A (zh) | 一种结合空间变换网络和多尺度特征提取的遮挡行人重识别方法 | |
| Karabasi et al. | A model for real-time recognition and textual representation of malaysian sign language through image processing | |
| CN112185515A (zh) | 一种基于动作识别的病患辅助系统 | |
| JP3252941B2 (ja) | 画像切り出し認識装置 | |
| Tiwari et al. | Sign language recognition through kinect based depth images and neural network | |
| Jalilian et al. | Persian sign language recognition using radial distance and Fourier transform | |
| CN113158974A (zh) | 姿态估计方法、装置、计算机设备和存储介质 | |
| Takimoto et al. | Classification of hand postures based on 3d vision model for human-robot interaction | |
| JPH103544A (ja) | ジェスチャ認識装置 | |
| CN115620016B (zh) | 一种骨架检测模型的构建方法、图像数据识别方法 | |
| JPH06176156A (ja) | 動画像の特徴抽出方法 | |
| JPH08329247A (ja) | 動画像認識装置 | |
| CN109034059A (zh) | 静默式人脸活体检测方法、装置、存储介质及处理器 | |
| JP3979122B2 (ja) | 画像処理装置および画像処理方法 | |
| CN113276113A (zh) | 一种面向空间机械臂在轨操作的视线定位和语音控制系统及方法 | |
| KR100281965B1 (ko) | 모델 기반 코딩 시스템의 얼굴 텍스쳐 맵핑 방법 | |
| JPH10162151A (ja) | ジェスチャー認識方法 | |
| CN117218686B (zh) | 一种开放场景下的掌静脉roi提取方法及系统 | |
| Manoj et al. | An Novel Hand Gesture System for ASL using Kinet Sensor based Images |