JPH08329247A - 動画像認識装置 - Google Patents

動画像認識装置

Info

Publication number
JPH08329247A
JPH08329247A JP7131657A JP13165795A JPH08329247A JP H08329247 A JPH08329247 A JP H08329247A JP 7131657 A JP7131657 A JP 7131657A JP 13165795 A JP13165795 A JP 13165795A JP H08329247 A JPH08329247 A JP H08329247A
Authority
JP
Japan
Prior art keywords
image
locus
input
time
moving image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP7131657A
Other languages
English (en)
Inventor
Hiroshi Murase
洋 村瀬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP7131657A priority Critical patent/JPH08329247A/ja
Publication of JPH08329247A publication Critical patent/JPH08329247A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Image Analysis (AREA)

Abstract

(57)【要約】 【目的】 実現困難な幾何学的特徴を抽出することな
く、少ない記憶容量と計算時間で時空間相関を計算して
入力動画像を適確に認識することができる動画像認識装
置を提供する。 【構成】 予め登録すべき複数の動画像を各時点での画
像から計算される固有空間などの低次元特徴空間上の軌
跡として画像学習手段1に予め記憶しておき、認識対象
となる入力動画像を低次元特徴空間上に射影して軌跡を
求め、この軌跡と画像学習手段1に予め記憶されている
軌跡との距離を画像認識手段2で時間変動を許しながら
計算し、距離が最小となる動画像を認識結果として判定
する。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、入力動画像が予め登録
されている複数の動画像のどれに類似しているかを判定
する動画像認識装置に関し、更に詳しくは、動画像の中
に含まれる動的な特徴を抽出し、その特徴を基に動画像
を認識分類するものであり、例えば歩行動画像からの個
人の識別や各種動作の認識などに応用することができる
動画像認識装置に関する。
【0002】
【従来の技術】従来、動画像を認識するには大きく分け
て2種類の方法が提案されている。第1の方法は、物体
の輪郭線や物体の内部の稜線などの物体の幾何学的ある
いは構造的な特徴を画像から抽出し、その特徴の動きを
予め登録してある標準特徴の動きと比較照合することに
より認識する方法である。第2の方法は、入力画像の時
系列と予め登録してある標準の画像の時系列との時空間
相関などをとり、その相関値の大きいものを認識結果と
する手法である。時空間相関とは、2次元の画像に時間
の次元を加えた3次元の空間でテンプレートマッチング
を行う手法である。
【0003】
【発明が解決しようとする課題】しかしながら、第1の
方法では雑音の多い一般の画像中からコーナーや稜線な
どの幾何学的特徴を精度良く抽出することが困難であ
り、未だに研究段階である。更にこの手法では対象に応
じて特徴量を変更する必要があり、一般的に汎用性も少
ない。
【0004】一方、第2の方法では、時間方向での伸縮
を許しながら時空間相関を計算する場合、その様々な可
能性を時空間画像のテンプレートとして記憶し、それと
入力動画像と相関を取ることは記憶容量、照合時間の観
点から現実的ではない。
【0005】例えば、入力画像系列をx(t)=[x1
(t),x2 (t),…,xN (t)]T 、参照画像系
列をy(t)=[y1 (t),y2 (t),…,y
N (t)]T で表現する。ここでベクトルの要素は各画
素の値である。
【0006】
【数1】 となる。ここでw(t)はワープ関数で、伸縮とシフト
の場合にはw(t)=at+bで表現される。画像の次
元が高い場合、w(t)を様々に変化させながら相関値
を計算すると、この計算量は膨大となる。時間方向の非
線形な伸縮を考えると更に計算時間は増加する。
【0007】本発明は、上記に鑑みてなされたもので、
その目的とするところは、実現困難な幾何学的特徴を抽
出することなく、少ない記憶容量と計算時間で時空間相
関を計算して入力動画像を適確かつ高速に認識すること
ができる動画像認識装置を提供することにある。
【0008】
【課題を解決するための手段】上記目的を達成するた
め、本発明の動画像認識装置は、入力された動画像が予
め登録されている複数の動画像のどれに類似しているか
を判定する動画像認識装置であって、予め登録すべき複
数の動画像を低次元特徴空間上の点の系列からなる軌跡
として記憶する画像学習手段と、認識対象となる入力動
画像を低次元特徴空間上に射影し、その点の系列によっ
て生成される軌跡と予め登録されている軌跡との距離を
時間方向の変動を許しながら計算し、該距離が最も小さ
いものを認識結果として判定する画像認識手段を有する
ことを要旨とする。
【0009】
【作用】本発明の動画像認識装置では、予め登録すべき
複数の動画像を各時点での画像から計算される固有空間
などの低次元特徴空間上の軌跡として予め記憶してお
き、認識対象となる入力動画像を低次元特徴空間上に射
影して軌跡を求め、この軌跡と予め記憶されている軌跡
との距離を時間変動を許しながら計算し、距離が最小と
なる動画像を認識結果として判定する。
【0010】
【実施例】以下、図面を用いて本発明の実施例を説明す
る。
【0011】図1は、本発明の一実施例に係る動画像認
識装置の構成を示すブロック図である。同図に示す動画
像認識装置は、予め登録すべき複数の標準となる動画像
を低次元特徴空間上の点の軌跡により辞書として記憶す
る画像学習手段1と、認識対象となる入力動画像を低次
元特徴空間上に射影して軌跡を求め、この軌跡と前記画
像学習手段1に辞書として予め登録されている軌跡との
距離を時間方向の変動を許しながら計算し、該距離が最
も小さいものを認識結果として判定する画像認識手段2
とから構成されている。
【0012】前記画像認識手段2は、標準となるべき複
数の動画像を辞書として記憶するものであり、画像入力
手段3と、画像前処理手段4と、固有ベクトル計算手段
5と、軌跡計算手段6とから構成されている。また、前
記画像認識手段2は、画像学習手段1により作成された
辞書を基に入力画像が標準画像のどのパターンに近いか
を認識するものであり、画像入力手段7と、入力画像前
処理手段8と、入力軌跡計算手段9と、軌跡間距離計算
手段10とから構成されている。
【0013】以下、各部分の詳細を説明しながら全体の
作用を説明する。
【0014】画像入力手段3は、TVカメラとA/Dコ
ンバータから構成されるもので、動画像を学習データと
して取り込み、これを画像前処理手段4に送出する。例
えば、歩行動画像認識で歩行パターンを学習するために
は、複数人の登録者に各人数回歩行してもらい、それを
横から撮影しその動画像を取り込む。
【0015】画像前処理手段4は、入力動画像を対象に
応じて正規化する手段である。本実施例の場合には、ま
ず歩行動画像から人物の領域をシルエットとして抽出す
る。その実現方法の一例としては、歩行者の存在する入
力画像と歩行者の存在しない背景画像との差分の絶対値
を取り、それを2値化することにより得られる。今回の
場合、シルエットとして2値化することの意義は照明の
変動や服装の影響を減らすことにある。
【0016】ここで時刻tの第i番目の歩行者の第j番
目の歩行画像をベクトルy′ij(t)で表現する。まず
画像の値を正規化するためにベクトルのノルムが1とな
るように式yij(t)=y′ij(t)/‖y′ij(t)
‖により正規化を行う。正規化された画像時系列y
ij(t)は固有ベクトル計算手段5と軌跡計算手段6に
送出される。このデータを学習画像データ集合と呼ぶこ
とにする。その画像の一例を図2に示す。
【0017】固有ベクトル計算手段5は画像前処理手段
4から送出された学習画像データ集合から共分散行列を
計算し、その固有ベクトルを計算する手段である。数学
的には、画像前処理手段4から送出されてきた多数の学
習画像データ集合yij(t)(i=1,‥I,j=1,
‥,J,t=1,‥,T;M=IT:画像数)か
らその平均値ベクトル
【数2】 を計算する。これを式λi i =Qei により固有値分
解し、k個の大きい固有値(λ1 ≧…≧λk ≧…≧
λN )に対応する固有ベクトル(e1 …ek )を求め
る。画像は画素数が多いため、画像を対象とした固有ベ
クトルの計算は一般的にはかなりの計算時間が必要とな
る。そのためこれを高速に計算するためにいくつかの手
法が提案されている。その例としては、特開平4−10
5179号公報(高速固有ベクトル計算装置)、あるい
は特開平5−159044号公報(高速固有ベクトル計
算装置)などに開示された方法がある。計算された固有
ベクトルは軌跡計算手段6および入力軌跡計算手段9に
送出される。この固有ベクトルによって構成される空間
をここでは固有空間と呼ぶ。
【0018】軌跡計算手段6は、固有ベクトル計算手段
5から送出されてきた固有ベクトルと、画像前処理手段
4から送出されてきた学習画像データ集合から画像時系
列に対応した軌跡を計算し数値の形で出力する。k個の
固有ベクトル{e1 …ek }によって作られる空間をこ
こではk次元固有空間と呼ぶ。一枚の画像は固有空間上
の1つの点に対応するため、連続的な画像の動きは固有
空間上の点の系列つまり軌跡として表現される。この表
現はパラメトリック固有空間表現と呼ばれる。
【0019】一例として、ある人間の歩行動画像に対す
る固有空間上の軌跡を図3に示す。これは固有空間上の
時系列vij(t)=[e1 ,e2 ,…,ek T
ij(t)によって表現されている。なお時間方向のサン
プル点は補間などにより必要により内挿しサンプリング
し直す。固有空間上に点の系列(軌跡)を作成し、固有
ベクトルと軌跡の形状を数値の形でデータベースに記憶
することにより、学習は終了する。認識段階では、デー
タベース上の固有ベクトル、および軌跡の形状を辞書と
して使用する。
【0020】画像入力手段7は動画像を入力する手段で
ある。これは学習段階で使用された画像入力手段3と同
等のものである。入力画像は入力画像前処理手段8に送
出される。この入力画像前処理手段8は画像前処理手段
4と同等のものである。その結果は入力軌跡計算手段9
に送出される。この入力画像の時系列をここではx
(t)で表現する。
【0021】入力軌跡計算手段9は、軌跡計算手段6と
同等の機能で、入力画像の時系列を固有空間上に投影
し、その時系列に対応する軌跡を計算する。この場合、
その軌跡はz(t)=[e1 ,e2 ,…,ek T
(t)で表現される。
【0022】軌跡間距離計算手段10は、軌跡計算手段
6と入力軌跡計算手段9から送出された軌跡の数値デー
タをもとに、軌跡間の距離値を計算する。軌跡間の距離
は種々の定義が可能であるが、ここではその一例とし
て、軌跡z(t)と軌跡vij(at+b)の間の距離を
【数3】 で定義する。ここでbは位置の移動を、aは時間方向の
伸縮を表す。例えば歩行画像から個人を識別する例で
は、aは歩行という周期運動のピッチ合わせを、bは位
相合わせを意味している。なお、この計算はパラメータ
a,bを変化させながら各軌跡間の距離を計算し、その
距離値が最小となる場合を求めることにより計算でき
る。この距離値dijが最小となる時系列が類似した時系
列となる。この例の場合にはdijを最小とするiが最終
的な歩行者名となる。これを認識結果として出力する。
【0023】また、個々のベクトルのノルムが1に正規
化され、十分な固有空間の次元数を取った場合には、固
有空間上での軌跡間の距離
【数4】 の大小関係と反対の順序になっていることが知られてい
る。一方、固有空間の次元数を少なくすることは、各画
像を近似的に表現することに対応している。つまり、本
発明で行っている計算は、画像系列間の時空間相関を少
ない計算量で効率的に計算していることになる。
【0024】なお、上記実施例では、低次元特徴空間と
して固有空間を利用したが、これは必ずしも固有空間で
ある必要はなく、コサイン変換などの直交空間でも良
い。また、この例では全ての対象(この場合は歩行者)
について1つの固有空間を作成する場合で説明したが、
本発明は、固有空間を対象ごとに作成する場合にも拡張
可能である。
【0025】
【発明の効果】以上説明したように、本発明によれば、
時空間相関を利用する動画像の認識において、固有空間
等の低次元空間に射影してから計算することにより、計
算量の低減が可能となる。例えば、もとの次元数を12
12864(Frame) とし、100種類の動画像と
比較する場合で、これを10次元の低次元空間で表現
し、これにa,bそれぞれ20刻みで相関値を計算する
ことを仮定すると、単純な時空間相関の計算では128
128642020100(=41,900
M回)の演算量が必要となるのに対して、低次元化した
本手法の場合には1281286410+10
642020100(=36M回)となり、約1
000分の1の計算量の低減になる。この処理は後半の
照合の処理が複雑になればなるほど、その計算量の差は
大きくなる。また、実験によれば、固有空間の次元数は
10次元程度で十分認識精度が保たれることも分かって
いる。
【図面の簡単な説明】
【図1】本発明の一実施例に係る動画像認識装置の構成
を示すブロック図である。
【図2】歩行動画像から抽出したシルエット画像の時系
列の例を示す図である。
【図3】画像時系列に対応した固有空間上での軌跡の例
を示す図である。
【符号の説明】
1 画像学習手段 2 画像認識手段 3,7 画像入力手段 4 画像前処理手段 5 固有ベクトル計算手段 6 軌跡計算手段 8 入力画像前処理手段 9 入力軌跡計算手段 10 軌跡間距離計算手段

Claims (1)

    【特許請求の範囲】
  1. 【請求項1】 入力された動画像が予め登録されている
    複数の動画像のどれに類似しているかを判定する動画像
    認識装置であって、予め登録すべき複数の動画像を低次
    元特徴空間上の点の系列からなる軌跡として記憶する画
    像学習手段と、認識対象となる入力動画像を低次元特徴
    空間上に射影し、その点の系列によって生成される軌跡
    と予め登録されている軌跡との距離を時間方向の変動を
    許しながら計算し、該距離が最も小さいものを認識結果
    として判定する画像認識手段を有することを特徴とする
    動画像認識装置。
JP7131657A 1995-05-30 1995-05-30 動画像認識装置 Pending JPH08329247A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP7131657A JPH08329247A (ja) 1995-05-30 1995-05-30 動画像認識装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP7131657A JPH08329247A (ja) 1995-05-30 1995-05-30 動画像認識装置

Publications (1)

Publication Number Publication Date
JPH08329247A true JPH08329247A (ja) 1996-12-13

Family

ID=15063182

Family Applications (1)

Application Number Title Priority Date Filing Date
JP7131657A Pending JPH08329247A (ja) 1995-05-30 1995-05-30 動画像認識装置

Country Status (1)

Country Link
JP (1) JPH08329247A (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006059419A1 (ja) * 2004-12-02 2006-06-08 National Institute Of Advanced Industrial Science And Technology 追跡装置および追跡方法
JP2007052665A (ja) * 2005-08-18 2007-03-01 Kyushu Institute Of Technology 固有空間を用いた動体の動作判別方法
JP2008165581A (ja) * 2006-12-28 2008-07-17 Kyushu Institute Of Technology 動体の動作判別方法
JP2008287594A (ja) * 2007-05-18 2008-11-27 Nippon Hoso Kyokai <Nhk> 特定動作判定装置、リファレンスデータ生成装置、特定動作判定プログラム及びリファレンスデータ生成プログラム
JP2008284166A (ja) * 2007-05-17 2008-11-27 Nippon Hoso Kyokai <Nhk> 投球球種識別装置、識別器生成装置、投球球種識別プログラム及び識別器生成プログラム
JP2009104474A (ja) * 2007-10-24 2009-05-14 Sony Corp 画像処理装置および画像処理方法、プログラム、並びに、記録媒体
US7650318B2 (en) 2006-03-06 2010-01-19 Kabushiki Kaisha Toshiba Behavior recognition using vectors of motion properties based trajectory and movement type
JP2010267004A (ja) * 2009-05-13 2010-11-25 Nippon Telegr & Teleph Corp <Ntt> 物体認識装置、物体認識方法及びプログラム
US7957560B2 (en) 2006-06-16 2011-06-07 National Institute Of Advanced Industrial Science And Technology Unusual action detector and abnormal action detecting method

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006059419A1 (ja) * 2004-12-02 2006-06-08 National Institute Of Advanced Industrial Science And Technology 追跡装置および追跡方法
US7957557B2 (en) 2004-12-02 2011-06-07 National Institute Of Advanced Industrial Science And Technology Tracking apparatus and tracking method
JP2007052665A (ja) * 2005-08-18 2007-03-01 Kyushu Institute Of Technology 固有空間を用いた動体の動作判別方法
US7650318B2 (en) 2006-03-06 2010-01-19 Kabushiki Kaisha Toshiba Behavior recognition using vectors of motion properties based trajectory and movement type
US7957560B2 (en) 2006-06-16 2011-06-07 National Institute Of Advanced Industrial Science And Technology Unusual action detector and abnormal action detecting method
JP2008165581A (ja) * 2006-12-28 2008-07-17 Kyushu Institute Of Technology 動体の動作判別方法
JP2008284166A (ja) * 2007-05-17 2008-11-27 Nippon Hoso Kyokai <Nhk> 投球球種識別装置、識別器生成装置、投球球種識別プログラム及び識別器生成プログラム
JP2008287594A (ja) * 2007-05-18 2008-11-27 Nippon Hoso Kyokai <Nhk> 特定動作判定装置、リファレンスデータ生成装置、特定動作判定プログラム及びリファレンスデータ生成プログラム
JP2009104474A (ja) * 2007-10-24 2009-05-14 Sony Corp 画像処理装置および画像処理方法、プログラム、並びに、記録媒体
JP4505760B2 (ja) * 2007-10-24 2010-07-21 ソニー株式会社 情報処理装置および方法、プログラム、並びに、記録媒体
JP2010267004A (ja) * 2009-05-13 2010-11-25 Nippon Telegr & Teleph Corp <Ntt> 物体認識装置、物体認識方法及びプログラム

Similar Documents

Publication Publication Date Title
Jesorsky et al. Robust face detection using the hausdorff distance
US10949649B2 (en) Real-time tracking of facial features in unconstrained video
US6404900B1 (en) Method for robust human face tracking in presence of multiple persons
Papageorgiou et al. A trainable system for object detection
Murase et al. Moving object recognition in eigenspace representation: gait analysis and lip reading
US7224823B2 (en) Parameter estimation apparatus and data matching apparatus
US20110091113A1 (en) Image processing apparatus and method, and computer-readable storage medium
EP1495437B1 (en) Robust face registration via multiple face prototypes synthesis
CN107093189A (zh) 基于自适应颜色特征和时空上下文的目标跟踪方法及系统
Lee et al. Gait style and gait content: bilinear models for gait recognition using gait re-sampling
EP2153379A2 (en) Generalized statistical template matching under geometric transformations
CN108921064B (zh) 基于多特征融合的行人重识别方法
CN112396036A (zh) 一种结合空间变换网络和多尺度特征提取的遮挡行人重识别方法
Nayar et al. Image spotting of 3D objects using parametric eigenspace representation
JPH08329247A (ja) 動画像認識装置
Bernogger et al. Eye tracking and animation for mpeg-4 coding
JP3577908B2 (ja) 顔画像認識システム
JP3252941B2 (ja) 画像切り出し認識装置
JPH0520442A (ja) 顔画像照合装置
JP3729581B2 (ja) パターン認識・照合装置
CN114360058B (zh) 一种基于行走视角预测的跨视角步态识别方法
JP2013003861A (ja) 物体形状推定装置
Patil et al. Forensic sketch based face recognition using geometrical face model
JP4929460B2 (ja) 動体の動作認識方法
Havasi et al. Eigenwalks: Walk detection and biometrics from symmetry patterns