JP3886784B2 - 動画像内の物体識別装置及び方法 - Google Patents
動画像内の物体識別装置及び方法 Download PDFInfo
- Publication number
- JP3886784B2 JP3886784B2 JP2001355581A JP2001355581A JP3886784B2 JP 3886784 B2 JP3886784 B2 JP 3886784B2 JP 2001355581 A JP2001355581 A JP 2001355581A JP 2001355581 A JP2001355581 A JP 2001355581A JP 3886784 B2 JP3886784 B2 JP 3886784B2
- Authority
- JP
- Japan
- Prior art keywords
- background
- moving image
- macroblock
- encoding
- image signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は動画像復号化装置や動画像符号化装置において、動画像内の物体を識別する装置及び方法及びこれを用いた監視システムに関する。
【０００２】
【従来の技術】
動画像中の特定の物体を検出しその物体を認識するには、一般には全画素値を順次調べる必要がある。例えば、岡崎彰夫著「初めての画像処理技術」（工業調査会、pp.102-103,2000.）や、特開2001-60269号公報「物体追跡方法及び物体追跡装置」では、基準となる背景画像と入力画像の画素値の差分値を所定の閾値で２値化することで、動物体の切り出しを実現する、背景差分による動物体切り出し処理を紹介している。
【０００３】
しかし、このような画素値に関わる処理は画素数に比例して計算量が増加し、例えば動画像符号化の標準方式であるITU-T H.261、H263、ISO/IEC MPEG-4等でよく用いられるCIFフォーマットの場合は縦288画素、横352画素の合計101376もの画素について処理する必要があり、実用的な処理速度を得るには専用のハードウエアが必要になる等コスト面で重大な問題があった。
【０００４】
そこで、少ない計算量で動画像中の移動物体を検出する手法として、特開平9-252467号公報「移動体検出装置」では、動画像符号化装置で作られた動きベクトルを用いる方法が提案されている。この方法によれば、動画像符号化装置で符号化の際に作成されるマクロブロック毎の動きベクトルを用いるので、移動物体検出の為に特別に画素の動きを調べる必要が無く、計算量を大幅に減らすことができる。
【０００５】
しかし、動きベクトルを用いた手法では、画面内に複数の移動物体が存在した時、例えば図１０のように物体同士が接近していると、お互いを区別できずに１つの物体として検出されてしまうという問題がある。
【０００６】
また、この方法では、動きベクトルが大きいマクロブロックやデータが一定以上変化したマクロブロックを移動物体の存在する領域と判定しているので、移動物体以外のマクロブロックを移動物体と誤判定したり、逆に移動物体内部のマクロブロックのように動きベクトルが小さいマクロブロックを移動物体でないと誤判定するなど信頼性に問題があり、例えば監視用途等に用いるには精度が不十分である。
【０００７】
【発明が解決しようとする課題】
そこで本発明では、少ない計算量で精度良く近接する複数の物体を識別できる物体識別装置及び方法を提供することを目的とする。
【０００８】
【課題を解決するための手段】
上記の課題を解決するため、本発明の動画像内の物体識別装置は、動画像信号を圧縮符号化して得られる符号化データを復号化する動画像復号化手段と、前記動画像復号化手段によって復号化された再生画像信号及び過去に作成された背景画像から、符号化データから得られる符号化情報を参照して背景画像を作成・記憶する背景画像作成手段と、符号化情報を参照して前記再生画像信号の符号化単位であるブロック毎に前記再生画像信号と背景画像を比較して背景・非背景の判別を行い、物体を検出する物体検出手段と、検出した物体と過去に識別された物体とをブロック毎に照合して過去に識別した物体と同一の物体であるか、あるいは新しく現れた物体であるかを識別し、個別物体存在領域情報を生成するとともに識別結果を更新・記憶する個別物体識別手段とを有する。
【０００９】
また、本発明の動画像内の物体識別装置は、動画像信号を圧縮符号化して得られる符号化データを復号化する動画像復号化手段と、前記動画像復号化手段によって復号化された再生画像信号及び過去に作成された背景画像から、符号化データから得られる符号化情報を参照して背景画像を作成・記憶する背景画像作成手段と、符号化情報を参照して前記再生画像信号の符号化単位であるブロック毎に前記再生画像信号と背景画像を比較して背景・非背景の判別を行い、物体を検出する物体検出手段と、検出した物体と過去に識別された物体とをブロック毎に照合して、過去に識別した物体と同一の物体であるか、あるいは新しく現れた物体であるかを識別して個別物体存在領域情報を生成するとともに識別結果を更新・記憶する個別物体識別手段と、前記個別物体存在領域情報を画像に変換して前記再生画像信号上に表示する識別物体合成表示手段とを有していてもよい。
【００１０】
また、本発明の動画像内の物体識別装置は、前記符号化情報は、前記動画像復号化手段によって復号化されることを特徴としていてもよい。
【００１１】
本発明の動画像内の物体識別装置は、入力された動画像信号を符号化する動画像符号化手段と、前記動画像符号化手段の符号化過程で生成される局部再生画像信号もしくは入力された動画像信号のいずれかの画像信号と過去に作成された背景画像から、前記動画像符号化手段で生成される符号化情報を参照して背景画像を作成・記憶する背景画像作成手段と、前記局部再生画像信号もしくは入力された動画像信号のいずれかの画像信号と記憶されている背景画像から前記符号化情報を参照して背景・非背景の判別を行い、入力された動画像の符号化単位で物体を検出する物体検出手段と、前記物体検出手段によって検出された物体と過去に識別された物体との照合を行い、過去に識別された物体と新しく出現した物体とを識別して個別物体存在領域情報を生成する個別物体識別手段とを有する。
【００１２】
また、本発明の動画像内の物体識別装置は、入力された動画像信号を符号化する動画像符号化手段と、前記動画像符号化手段の符号化過程で生成される局部再生画像信号もしくは入力された動画像信号のいずれかの画像信号と過去に作成された背景画像から、前記動画像符号化手段で生成される符号化情報を参照して背景画像を作成・記憶する背景画像作成手段と、前記局部再生画像信号もしくは入力された動画像信号のいずれかの画像信号と記憶されている背景画像から前記符号化情報を参照して背景・非背景の判別を行い、入力された動画像の符号化単位で物体を検出する物体検出手段と、前記物体検出手段によって検出された物体と過去に識別された物体との照合を行い、過去に識別された物体と新しく出現した物体とを識別して個別物体存在領域情報を生成する個別物体識別手段と、個別物体存在領域情報を前記動画像符号化手段から得られる符号化データに多重化させる識別物体多重化手段とを有していてもよい。
【００１３】
また、本発明の動画像内の物体識別装置は、前記物体検出手段は、物体と判定したブロックの周囲の所定の範囲内にあるブロックが全て背景と判定された場合は当該ブロックを背景とみなすことを特徴としていてもよい。
【００１４】
また、本発明の動画像内の物体識別装置は、前記物体検出手段は、前記動画像符号化手段もしくは前記動画像復号化で扱う符号化方式に複数のブロックで構成される階層（マクロブロック）が存在し、かつマクロブロック自身の符号化情報を有する場合は、１次的にマクロブロック単位で背景・非背景判別を行い、該マクロブロックが非背景と判別された場合には２次的にマクロブロックを構成するブロック毎の背景・非背景判別を行う一方、背景と判別された場合はマクロブロックを構成する全ブロックが背景とみなされることを特徴としていてもよい。
【００１５】
また、本発明の動画像内の物体識別装置は、前記個別物体識別手段は、画面内に存在する個別物体の存在領域と、前記個別物体と存在領域を関連付ける識別子と、前記個別物体が存在する画面とを登録しておく辞書を有し、前記物体検出手段によって検出された検出物体と、辞書に登録されたフレーム内で前記検出物体と同位置及びその位置から所定の範囲内に存在する辞書に登録された物体との間で、画素値ないし画素値の統計量を比較して、辞書に登録された物体の中に比較した誤差が所定の閾値以下かつ最小となる物体が存在する場合は、検出物体はこの物体と同一であると判定し、存在しない場合は、検出物体は新規物体であると判定することを特徴としていてもよい。
【００１６】
本発明の動画像内の物体識別方法は、動画像信号を圧縮符号化して得られる符号化データを復号化する動画像復号化ステップと、前記動画像復号化ステップによって復号化された再生画像信号と符号化データから得られる符号化情報とをもとにして背景画像を作成する背景画像作成ステップと、前記再生画像信号あるいは前記動画像信号と前記符号化情報と前記背景画像から背景・非背景の判別を前記再生画像信号の符号化単位であるブロック毎に行って非背景の物体をブロック単位で検出し、物体存在領域情報を生成する物体検出ステップと、物体存在領域情報を参照して、検出した物体と過去に識別された物体と照合し、過去に識別された物体と新しく出現した物体とを識別して個別物体存在領域情報を生成する個別物体識別ステップとを有する。
【００１７】
また、本発明の動画像内の物体識別方法は、前記符号化情報は、前記動画像復号化ステップで復号化されることを特徴としていてもよい。
【００１８】
また、本発明の動画像内の物体識別方法は、前記物体検出ステップは、物体と判定したブロックの周囲の所定の範囲内にあるブロックが全て背景と判定された場合は当該ブロックを背景とみなすことを特徴としていてもよい。
【００１９】
また、本発明の動画像内の物体識別方法は、前記物体検出ステップは、前記動画像復号化ステップで扱う符号化フォーマットに複数のブロックで構成される階層（マクロブロック）が存在し、かつマクロブロック自身の符号化情報を有する場合は、１次的にマクロブロック単位で背景・非背景判別を行い、該マクロブロックが非背景と判別された場合に２次的にマクロブロックを構成するブロック毎の背景・非背景判別を行う一方、背景と判別された場合はマクロブロックを構成する全ブロックを背景とみなすことを特徴としていてもよい。
【００２０】
このように本発明では、動画像符号化・復号化技術を用いて、画素単位処理する必要がある部分を符号化情報に基づいてブロック単位まで絞り込むことが可能であるので、全画素値を調べて物体を識別する手法に比べて少ない計算量で済む一方、動きベクトルを用いて物体を識別する手法よりも詳細な物体検出が可能となっている。
【００２１】
また、単にフレーム単位での非背景の物体を検出するだけでなく、過去の識別結果と照合することで、近接した複数の物体を個別に識別することが可能となっている。
【００２２】
【発明の実施の形態】
（第１の実施形態）以下、図面を参照して本発明の第１の実施形態を説明する。
【００２３】
図１は本発明の実施形態の構成を示すブロック図である。図１の動画像内の物体識別装置は、動画像信号をＭＰＥＧ２方式で符号化して得られる符号化データを復号化する動画像復号化部１１０と復号化して得られる再生画像信号から物体を識別する物体識別部１１９とを有する。動画像復号化部１１０は入力バッファ１０１と、多重化分離部１０２と、可変長復号化部１０３と、逆量子化部１０４と、ＩＤＣＴ（Inverse Discrete Cosine Transform／逆離散コサイン変換）部１０５と、加算器１０６と、フレームメモリ１０７と、動き補償部１０８と、モード切替器１０９とから成る。物体識別部１１９は、背景メモリ更新スイッチ１１１と、加算器１１２、１１４と、乗算器１１３と、背景メモリ１１５と、物体検出部１１６と、個別物体認識部１１７と、識別物体合成表示部１１８とから成る。
【００２４】
次に動画像復号化部１１０の動作を説明する。入力バッファ１０１は蓄積系ないし伝送路からＭＰＥＧ２フォーマットの符号化データを受信して、フレームレートを安定化させるために一旦蓄える。多重化分離部１０２は、符号化データを各フレーム毎にシンタックスに基づいて符号化ＤＣＴ係数、符号化された符号化情報等の成分に分離して、可変長復号化部１０３に出力する。可変長復号化部１０３では、各成分に分離された符号化データの可変長符号を復号して、符号化情報、量子化ＤＣＴ係数、動きベクトル情報等を復元する。
【００２５】
さらに、可変長復号化部１０３は、復元して得られた符号化情報から、入力された１フレーム分の符号化データに含まれる各マクロブロックの符号化モードを順次調べる。そして、各マクロブロックの符号化モードが（１）ＩＮＴＲＡか（２）ＩＮＴＥＲあるいはＮＯＴ＿ＣＯＤＥＤかに応じて、各マクロブロック毎に順次行われる画像再生処理が適切なものとなるようにモード切替スイッチ１０９を制御する。
【００２６】
（１）ＩＮＴＲＡのマクロブロックの場合は、当該マクロブロックはフレーム内符号化されているから、可変長復号化部１０３はモード切替スイッチ１０９をオフにしてから、復号化された量子化ＤＣＴ係数を出力する。逆量子化部１０４は量子化ＤＣＴ係数を逆量子化してＤＣＴ係数をＩＤＣＴ部１０５に出力する。ＩＤＣＴ部１０５はＤＣＴ係数を逆離散コサイン変換して復号画像を加算器１０６に出力する。モード切替スイッチ１０９がオフなので、加算器１０６は復号画像に対して何の変換もせずに素通りさせ、再生画像信号として出力する。
【００２７】
（２）ＩＮＴＥＲあるいはＮＯＴ＿ＣＯＤＥＤのマクロブロックの場合は、当該マクロブロックはフレーム間符号化されているので、可変長復号化部１０３はモード切替スイッチ１０９をオンに選択し、動きベクトル情報を動き補償部１０８に出力し、量子化ＤＣＴ係数を逆量子化部１０４に出力する。逆量子化部１０４は量子化ＤＣＴ係数を逆量子化してＩＤＣＴ部１０５にＤＣＴ係数を出力する。ＩＤＣＴ部１０５はＤＣＴ係数を逆離散コサイン変換して復号画像を加算器１０６に出力する。動きベクトル情報を受けた動き補償部１０８は、フレームメモリ１０７から読み出した参照画像を動きベクトル情報に基づいて動き補償を施してモード切替スイッチ１０９を通して加算器１０６に動き予測画面を出力する。モード切替スイッチ１０９はオンなので、動き予測画像は素通りして加算器１０６へ到達する。加算器１０６はＩＤＣＴ部１０５からの復号画像と動き補償部１０８からの動き予測画像とを加算して再生画像信号を生成して、フレームメモリ１０７、物体識別部１１９内の背景メモリ更新スイッチ１１１、物体検出部１１６、識別物体合成表示部１１８へ出力する。フレームメモリ１０７は再生画像信号を次のフレームに対する動き補償用の参照画面として蓄積する。
【００２８】
物体識別部１１９の動作を説明する。物体検出部１１６は、動画像復号化部１１０からの再生画像信号と可変長復号化部１０３からの再生画像信号の符号化情報と背景メモリ１１５の画像信号から、当該マクロブロックに含まれる各ブロックが背景か非背景かの判別を行い物体の検出を行う。判別処理の詳細は後述するが、判別は１次的にはマクロブロック単位で行い、必要な場合には２次的にブロック単位での判別を行う。また、物体検出結果は後述する通り、ブロックの性質を表す配列変数に格納しておく。物体検出部１１６は、非背景と判別されたブロックを包含する長方形の枠を検出し、この長方形の枠内に入った全てのブロックに対してブロックの性質を表す配列変数に「包含された」ことを示す値を、枠外のブロックは「包含されていない」ことを示す値を包含情報として格納する。物体検出部１１６はブロックの性質を表す配列変数と、加算器１０６からの再生画像信号を個別物体識別部１１７に出力する。個別物体識別部１１７は、物体検出部１１６からの物体の検出結果と過去の識別結果との照合を行って検出された物体が以前から存在した物体なのか、あるいは新しく出現した物体なのかを調べ、両者を識別する。これにより検出物体が個別に識別される。個別物体識別部１１７は識別結果を識別物体合成表示部１１８に出力するとともに加算器１０６から受けた再生画像信号及び識別結果の両方を個別物体識別部１１７が有する辞書（図示せず）に登録し、さらに識別結果に応じてブロック単位で背景メモリを更新すべきか否かを背景メモリ更新スイッチ１１１を切替えて制御する。識別結果が「背景」のブロックの場合は背景メモリ更新スイッチ１１１をオンにし、「非背景」のブロックの場合はオフにする。
【００２９】
背景メモリ１１５は、背景メモリ更新スイッチ１１１がオフの場合には背景メモリを更新せずに現在の値を保持し、背景メモリ更新スイッチ１１１がオンの場合は次のように更新される。現在扱っているブロックと同一の位置の再生画像信号をFc(m,n)、現在扱っているブロックと同一の位置の背景メモリの背景画像信号をB(m,n)とすると、まず
【００３０】
【数１】
【００３１】
のような加重平均をとる（Wは背景更新のパラメータで、０以上の実数）。具体的な構成としては、まず、再生画像信号Fc(m,n)から背景画像信号B(m,n)を加算器１１２で減じてから乗算器１１３でW/(W+1)を乗じる演算をする。この値を再生画像信号Fc(m,n)から加算器１１４で減じた値で背景メモリ１１５の当該ブロックの値を更新する。
【００３２】
このような処理を行うことで背景に生じたノイズの影響を抑制し安定した背景を得られ、結果として物体と背景との識別能も高くなる。
【００３３】
識別物体合成表示部１１８は、個別物体識別部１１７から送られてきた識別結果と再生画像信号から、物体ごとの位置を再生画像上に合成して表示する。
【００３４】
以下、図２を用いて１フレーム毎に行われる処理の流れを説明する。
【００３５】
以下の説明では、背景か非背景（検出結果）か、包含されているか否か（包含情報）など、ブロックの性質を表す情報を格納するための配列変数として、３次元配列M[i][j][k]を用いる。ここで、iとjはフレーム内の垂直方向と水平方向のマクロブロックのアドレスをそれぞれ表し、kはマクロブロック内におけるブロックナンバー（本実施形態はＭＰＥＧ２でＣＩＦフォーマットだからｋ＝０〜３）を表す。また、３次元配列Mの各要素M[i][j][k]はＣ言語でいう構造体のように複数の変数を有している。今後は「M[i][j][k]の値を変える」と述べた場合、特に断らない限り「M[i][j][k]の有する情報のうち、現在の処理に関連する変数の値を変える」の意味である。また、M[i][j][k]は現在のフレームの処理開始時点では１つ前に処理したフレームの処理後の値を保持している（もし、１フレーム前の値が存在しなければ所定の初期値）。
【００３６】
まず、非背景ブロック判定処理Ｓ１０１ではブロック毎に、可変長符号化部１０３からの符号化モードや動きベクトル等の符号化情報、加算器１０６からの再生画像信号そして背景メモリ１１５からの背景画像信号から、当該ブロックが背景か非背景かを判定してM[i][j][k]の背景・非背景を表す変数に判定結果を格納する。
【００３７】
次に、雑音ブロック除去処理Ｓ１０２では、非背景ブロック判定処理Ｓ１０１で非背景と判定されたブロックのうち、周囲８ブロック全てが背景ブロックと判定されているものを雑音とみなして、非背景ブロック判定処理Ｓ１０１の判定結果を「背景」に修正し、M[i][j][k]の値を変更する。
【００３８】
非背景ブロック包含処理Ｓ１０３では、「非背景」と判定されたブロックを包含するような長方形の領域を検出し、検出する識別物体の大きさに関する所定の制限の範囲内であれば包含し、M[i][j][k]の包含されたか否かを表す変数に包含された旨を書き込む。
【００３９】
個別物体識別Ｓ１０４では、非背景ブロック包含処理Ｓ１０３の処理結果をもとに包含領域の画像と個別物体識別部１１７の有する辞書（図示せず）に登録された過去の識別結果との照合をブロック単位で行い、検出された物体が辞書に登録されている過去に識別済みの物体なのか、あるいは新規に出現した物体なのかを識別して物体の個別化を行う。全ての検出物体に関して識別処理が完了したら、識別結果を辞書に登録して更新する。辞書の更新で行うことは、（加算器１０６から物体識別部１１６を経由して個別物体識別部１１７へ入力された）現在のフレームの再生画像信号の辞書への保存や参照されなかった物体の辞書からの削除などである。
【００４０】
背景メモリ更新部Ｓ１０５では、前述の通り背景ブロックと判定されたブロックに該当する領域の再生画像信号及び背景画像信号（背景メモリ１１５に記憶されているデータ）の加重平均をとって背景メモリ１１５の背景画像信号を更新する。非背景と判定されたブロックに関しては更新を行わない。
【００４１】
個別識別結果包含処理Ｓ１０６では、個別物体識別処理Ｓ１０４での識別結果に基づいて再度包含処理を行う。この処理により、２つの物体が近接して存在している場合において、従来ならば図１０のように１つに包含されていた２つの物体が、図７のように２つの物体として分離して包含される。
【００４２】
以下、図３を用いて非背景ブロック判定処理Ｓ１０１の詳細な説明を行う。非背景ブロック判定処理Ｓ１０１は、各ブロックが背景か非背景かを調べてM[i][j][k]の該当する変数に反映させる。前述の通り、M[i][j][k]は、現在のフレームの処理開始時点では１つ前に処理したフレームの処理後の値を保持しているので、後述の通り「一つ前のフレームと処理結果が同じ」ということが分かる場合はM[i][j][k]にアクセスする必要はなく、具体的に調べたブロックに関してだけ値を更新すれば、M[i][j][k]は現在のフレームの状態を反映させることが可能である。なお、M[i][j][k]の背景・非背景を表す変数の初期値（本実施形態の装置を動作させ始めた時点）は背景であることを意味するFALSEである。
【００４３】
まず、可変長復号化部１０３から受け取った符号化情報からマクロブロック単位の符号化モードを調べ（ステップＳ２０１）、調べた符号化モードがＣＯＤＥＤかＮＯＴ＿ＣＯＤＥＤかで処理を分岐させる（ステップＳ２０２）。
【００４４】
符号化モードがＮＯＴ＿ＣＯＤＥＤの場合は、このマクロブロックは一つ前のフレームでの処理結果と同じなのでM[i][j][0]〜M[i][j][3]は変更せず（ステップＳ２０３）、フレーム内の全部のマクロブロックを調べたかを判定し、調べ終わってなければステップＳ２０１へ戻って次のマクロブロックを調べる（ステップＳ２１１）。
【００４５】
符号化モードがＣＯＤＥＤの場合はマクロブロック内の各ブロックの符号化情報を調べ（ステップＳ２０４）、符号化情報のうち、CBPYと動きベクトルが全て０か否かで処理を分岐させる（ステップＳ２０５）。
【００４６】
CBPYも動きベクトルも全て０の場合にはM[i][j][k]はの値は変えず（ステップＳ２０６）、マクロブロック内の全ブロックを調べたかを判定し、まだ調べ終わってなければステップＳ２０４へ戻って次のブロックを調べ（ステップＳ２１０）、調べ終わっている場合はステップＳ２１１を実行する。
【００４７】
CBPY、動きベクトルのいずれかが０でない場合は、後述の手法でブロックマッチングを行い（ステップＳ２０７）、マッチング誤差と所定の閾値THとを比較して処理を分岐させる（ステップＳ２０８）。誤差が閾値TH以下であれば「背景」と判定してM[i][j][k]の値をFALSEにし、閾値THを超えた場合は「非背景」と判定してM[i][j][k]の値をTRUEにする。（ステップＳ２０９）。この処理が終わったらステップＳ２１０を実行し、マクロブロック中の全ブロックを調べたらステップＳ２１１を実行し、最終的にフレーム内の全マクロブロックを調べる。
【００４８】
以下、図４を用いてブロック内マッチング処理（ステップＳ２０７）について説明する。図４はＭＰＥＧ２で用いられるＣＩＦの輝度フォーマットを示している。ＣＩＦの輝度フォーマットは縦２８８画素、横３５２画素、１つのマクロブロックは縦１６画素、横１６画素である。１つのマクロブロック内には４つのブロックが存在し、１つのブロックは縦８画素、横８画素であるから、ＣＩＦ輝度フォーマットは縦３６ブロック、横４４ブロックで、縦１８マクロブロック、横２２マクロブロックである。図４の上のマス模様の一マスはマクロブロック１つに相当し、下のマス模様（太線と破線で区切られた領域）は一マスがブロック１つに相当し、マス内部を埋め尽くす丸印は画素１つに相当する。
【００４９】
以下、ブロックマッチングの具体的な方法を説明する。再生画像信号と背景メモリの全画素値を１つずつ比較して最大誤差を取る方法でも良いが、この方法だとノイズピクセルが存在した場合に問題が生じる。
【００５０】
そこで、各調査対象の画素を含む縦M1画素、横M2画素(M1、M2は偶数)の長方形の小ブロックを考え（本実施形態では調査対象画素から上に(M1)/2、下に((M1)/2)-1、左に(M2)/2、右に((M2)/2)-1の範囲）、この領域内で再生画像信号と背景メモリ画像の間の画素値の相対誤差の平均を計算する。この方法ならばノイズピクセル等の影響を抑えることができる。この画素値の相対誤差の平均をブロック内の全画素に関して求め、相対誤差の最大値をそのブロックのマッチング誤差とする方法をとる。相対誤差の平均値の計算は、再生画像信号の輝度信号の画素値をFc(m,n)、背景メモリの輝度信号の画素値をB(m,n)とすると、（m、nは小ブロック内での垂直方向、水平方向のアドレスで、m=0,1...,(M1)-1、n=0,1...,(M2)-1である。）
【００５１】
【数２】
【００５２】
なお、この小ブロックは周囲のブロックにはみ出してもよく、はみ出した地点の画素値をそのまま用いて計算を行う。この方法での探索範囲はブロックの左上隅の画素を原点とすれば(-(M1)/2, -(M2)/2)と(7+(M1)/2, 7+(M2)/2)を頂点とする矩形の領域となる（座標成分の表記は(縦, 横)である）。
【００５３】
このようにブロック内に小ブロックを設けて誤差を検出することにより、ブロック内の一部に侵入物体が存在しても検出可能であると同時に、前述の通りノイズピクセルによる誤検出を抑えることが可能となっている。
【００５４】
なお、本実施形態においては、小ブロックの形状は長方形で説明を行ったが、別の形状（例えば、円や楕円）を用いてもよい。また、本実施形態においては数２に示す数式でマッチング誤差を計算したが、他の評価尺度や（例えば特定の色やテクスチャ等を用いて評価）他の数式（例えば二乗平均）を用いても構わない。
【００５５】
図５は、個別物体識別部の具体的な処理のフローチャートである。ここでは、当該画面内で識別された物体と、過去のフレーム（１フレーム前）で識別された物体とを照合して、個別の物体を判別する。
【００５６】
ここでは、物体検出部１１６によって検出された物体、すなわち、非背景ブロック包含処理Ｓ１０３によって背景と異なると判定された物体の存在位置情報及び存在領域を包含した長方形の情報（すなわち、３次元配列M[i][j][k]）と再生画像信号を入力とする。
【００５７】
まず、当該フレームで検出された物体を全てチェックしたかを判定する（ステップＳ３０１）。未チェックの物体がある場合、その物体に類似した物体が辞書内に存在するかを検索する（ステップＳ３０２）。もし、検出された物体が辞書に登録された物体でない場合は、新規物体として辞書に登録し（ステップＳ３０４）、辞書に登録された物体であると判定された場合は、その検出された物体を従来の登録物体に置き換えて辞書に再登録を行う（ステップＳ３０５）。全ての物体をチェックし終えたら辞書を再度点検し、未参照の登録物体を削除する（ステップＳ３０６）。
【００５８】
辞書の構造を説明する。主な構成は「１つ前のフレーム画像（以後、「辞書フレーム」）」と、「個別物体包含情報」と、「個別物体存在地点情報」と、「存在フラグ」である。
【００５９】
「辞書フレーム」は１つ前のフレームの画像で、現在のフレームとの画素値の比較の際に必須である。
【００６０】
「個別物体包含情報」は具体的には包含長方形のフレーム内における座標であり、包含図形が長方形の場合は最低２頂点の座標があればよい。
【００６１】
「個別物体存在地点情報」はフレームの１ブロックを１ピクセルにしたビットマップで、個別物体１つにつき一枚割り当てられ、フレームのどのブロックが物体なのかを示すデータである。
【００６２】
「存在フラグ」はその物体が参照されたことを示すフラグで、参照した物体が存在すると判定された時にはフラグを立てておき、辞書の整理の際にフラグの有無を見て削除するか否かを決定するためのものである。
【００６３】
個別識別済みの物体がｎ個存在する場合は、１枚の「フレーム画像」とｎ個の「個別物体包含情報」「個別物体存在地点情報」「存在フラグ」が存在することになる。
【００６４】
辞書との照合を行う際は、現存する辞書と同じデータサイズの新しい辞書（１枚の「フレーム画像」とｎ個の「個別物体包含情報」「個別物体存在地点情報」「存在フラグ」を有し、中身がクリアされている。）を作り、辞書のｓ番目の物体と類似していると判定されたら、新しい辞書のｓ番目の「個別物体包含情報」「個別物体存在地点情報」を更新するとともに、ｓ番目の「存在フラグ」を立てておく。新規物体用の辞書データはあらかじめ物体検出部１１６で検出された包含の数だけ新しい「個別物体包含情報」「個別物体存在地点情報」「存在フラグ」を付加しておき、使用されなかったものは未参照物体として削除されるようにする。
【００６５】
図６は検出物体と辞書に登録された物体との照合を行う具体的な処理のフローチャートである。
【００６６】
まず、検出物体の存在位置情報等を格納している配列M[i][j][k]の座標系(i,j,k)を、ブロック単位での処理を行うのにより適した座標系（フレーム左上端を原点とする２次元座標(x,y)）に変換する（ステップＳ４０１）。次に、検出物体の包含の中からM[x][y]で「物体」と示されているブロックを辞書との比較対象として抽出する（ステップＳ４０２）。辞書フレームからM[x][y]の指すブロックと同位置及び周囲の計９ブロックをM[x][y]の指すブロックとの比較対象として抽出する（ステップＳ４０３）。ステップＳ４０３で抽出した９個のブロックのうち、辞書の１〜ｎ番目のいずれかの「個別物体存在地点情報」で「物体」と示されているブロックのみを、M[x][y]の指すブロックと比較し、マッチング誤差を計算する（ステップＳ４０４）。計算したマッチング誤差のうち閾値ＴＨ２以内で最小となるものを探し（ステップＳ４０５）、もしあればそのマッチング誤差を計算したときに比較した辞書フレーム側のブロックが何番目の「個別物体存在地点情報」に「物体」と示されているかを調べ、（ｍ番目だった場合は）ｍ番目の物体であると認識し（ステップＳ４０６）、条件を満たすマッチング誤差が存在しない場合は「新規物体」と認識する（ステップＳ４０７）。検出物体の包含内の比較対象ブロックを全てマッチングしたか判定し、未判定のブロックがあればステップＳ４０３へ戻る（ステップＳ４０８）。
【００６７】
ステップＳ４０４のマッチング誤差計算方法は、前述の非背景ブロック判定処理Ｓ１０１で行った小ブロックを用いた方法でも良いし、他の方法（例えば、輝度信号や色差信号の誤差の絶対値和ないし二乗平均和）でも良い。
【００６８】
本実施形態においては、動画像符号化形式としてＤＣＴを用いた方式を採用したが、その他の変換手法、例えばWavelet変換等でも構わない。
【００６９】
以上、本実施形態においては、動画像復号化器から得られる符号化情報を有効に使うことによって再生画像信号全体を処理することなく、前の画面から何らかの変化のあった部分だけを処理でき、限られた範囲の画素値を調べるだけで済むので、少ない計算量で精度良く画像認識処理を行うことができ、かつ、過去の識別結果との対応付けを行って物体の個別化を行っているので、近接する複数の物体でも識別可能な動画像内の物体識別装置を実現できる。
【００７０】
（第２の実施形態）
図８及び図９は、本発明の動画像内の物体識別装置の第２の実施形態の構成を説明するブロック図である。本実施形態では、物体識別部は動画像符号化器と組み合わせた構成となっている。
【００７１】
ブロック化部２０１は入力動画像信号をブロック単位に分割し、これを４つまとめたマクロブロック単位で減算器２０２、モード切替スイッチ２０３、２１１、動き補償部２１０へ出力する。減算器２０２はマクロブロック単位で予測画像信号との差分を計算して、予測残差信号を求める。モード切替スイッチ２０３は、モード選択部２１２の制御に従って減算器２０２からの予測残差信号とブロック化部２０１からの入力動画像信号のマクロブロックのいずれか一方の画像信号をＤＣＴ（Discrete Cosine Transform／離散コサイン変換）部２０４へ出力する。ＤＣＴ部２０４はモード切替スイッチ２０３からの画像信号を離散コサイン変換したＤＣＴ係数を量子化部２０５へ出力する。量子化部２０５はＤＣＴ係数を量子化して、量子化ＤＣＴ係数を逆量子化部２０６と可変長符号化部２１４へ出力する。可変長符号化部２１４は量子化ＤＣＴ係数、モード選択部２１２からの情報（後述）、動き補償部２１０からの動きベクトル情報を可変長符号化して符号化データを生成し、多重化部２１５へ出力する。多重化部２１５は物体識別部２２７からの個別識別結果をシンタックスに基づいて符号化データに多重化して出力バッファ２１６へ出力する。出力バッファ２１６は符号量を符号化制御部２１３に出力するとともに、一時的に符号化データを蓄えてビットレートを調整しつつ外部への出力を行う。
【００７２】
逆量子化部２０６は量子化ＤＣＴ係数を逆量子化しＤＣＴ係数に復元してＩＤＣＴ部２０７へ出力する。ＩＤＣＴ部２０７はＤＣＴ係数を逆離散コサイン変換して画像信号を復元して加算器２０８へ出力する。加算器２０８は復元された画像信号と、モード切替スイッチ２１１経由で動き補償部２１０から出力された予測画像信号とを加算してマクロブロックサイズの局部再生画像信号を生成し、フレームメモリ２０９と物体識別部２２７へ出力する。動き補償部２１０はブロック化部２０１でマクロブロックに分割された画像信号を受け、この画像信号の各マクロブロックがフレームメモリ２０９に蓄えられたフレームのどの部分から動いたものかを予測して動きベクトルを計算し、予測画像信号を生成して減算器２０２とモード切替スイッチ２１１に出力するとともに、モード選択部２１２には予測情報を、可変長符号化部２１４には動きベクトル情報を出力する。
【００７３】
モード選択部２１２は、マクロブロック毎に動き補償部２１０からの予測情報に基づいて、フレーム間符号化（インター符号化）を行うか、フレーム内符号化（イントラ符号化）を行うかを選択し、フレーム内符号化を選択した場合は、モード切り替えスイッチ２０３、２１１の両方をＡに切り替え、フレーム間符号化を選択した場合はＢに切り替えるように制御する。符号化モードには、フレーム内符号化に分類されるイントラモード（INTRA）とフレーム間符号化に分類されるインターモード（INTER）及び非符号化モード（NOT#CODED）があり、各マクロブロック毎に対応付けられ、INTRAのマクロブロックはフレーム内符号化される画像領域で、INTERのマクロブロックはフレーム間符号化される画像領域で、NOT#CODEDのマクロブロックは符号化不要の画像領域である。
【００７４】
符号化制御部２１３では、符号化部２１７の符号化情報と出力バッファ２１６に蓄積された符号量をもとに符号化部２１７を制御し、最適な符号量で符号化されるようにする。
【００７５】
物体識別部２２７においては、物体検出部２２４でブロック単位で可変長符号化部２１４からの符号化情報と局部再生画像信号と背景メモリの画像信号から物体を検出し、検出結果を個別物体識別部２２５に送る。
【００７６】
個別物体識別部２２５では、物体検出部２２４での検出結果から当該画面内の検出物体と個別物体識別部２２５の持つ辞書（図示せず）に登録されている過去の識別物体との照合を行い、検出物体が過去に識別された物体かあるいは新規に出現した物体かを識別して個別化し、識別結果と識別結果に基づいて再度包含した結果を含む個別識別結果を生成する。また、個別物体識別部２２５は生成した個別識別結果に基づいて、背景メモリ更新スイッチ２１９を、物体と認識されたブロックに関してはオフ、物体以外（背景）と認識されたブロックに関してはオンとなるように制御する。個別識別結果は動画像符号化部２１８の多重化部２１５と識別物体合成表示部２２６に出力する。
【００７７】
識別物体合成表示部２２６は、個別識別結果に基づいて識別した物体の位置あらわす画像を合成して、再生画像信号上に表示する。前述の通り多重化部２１５ではシンタックスに基づいて個別識別結果を符号化データに多重化する。ＭＰＥＧ２フォーマットでは、ユーザーデータ領域という、任意のデータを格納するための領域が用意されている。個別識別結果は多重化時にユーザーデータ領域に埋め込まれる。
【００７８】
背景メモリ２２３は、背景メモリ更新スイッチ２１９がオンの場合、現在の背景メモリの当該マクロブロックと同位置の画像信号と、当該マクロブロックの復号画像信号との加重平均の値を、当該マクロブロック位置の新しい背景として更新する。
【００７９】
なお、背景メモリ２２３の更新処理、物体検出部２２４、個別物体識別部２２５、識別物体合成表示部２２６等の具体的な内容・構成は第１の実施形態と共通なので説明を省略する。
【００８０】
可変長符号化部２１４は符号化データを生成し、多重化部２１５は符号化データに個別物体識別部２２５からの識別結果を多重化し、出力バッファ２１６はビットレートを平滑化して符号化データを伝送系または蓄積系に送られる。
【００８１】
なお、図８の物体識別部２２７では、局部再生画像信号と背景メモリの画像信号とを用いたが、例えば図１１のように入力動画像信号と背景メモリの画像信号とを用いる構成もある。この構成の場合は、フレームメモリ２２８が必要となるが、局部再生画像信号を使わないため、符号化による映像の劣化の影響を受けずに物体識別が行えるので、識別精度がより向上するという利点がある。
【００８２】
図８では識別物体合成表示部２２６を設けてあるが、これは例えば、監視カメラで映像と侵入物体をモニタリングしつつ録画をするような場合を想定して設けてあるので、必ずしも必須ではない。例えば、監視カメラの映像をその場で符号化・物体識別処理して、通信回線等を経由して遠隔地で監視するような場合ならば、識別物体合成表示部２２６は不要であるから、図１２のようにこれを除去した構成にしても構わない。
【００８３】
図９は復号化側のブロック図である。第１の実施形態の動画像復号化部１１０と似た構造なので、異なる部分を説明する。
【００８４】
第１の実施形態と同様、入力バッファ３０１は符号化データを一度蓄えてから、多重化分離部３０２に出力する。多重化分離部３０２は、符号化データからの個別物体識別結果の分離も行う。符号化データの画像部分（量子化ＤＣＴ係数、動きベクトルなど）の処理は第１の実施形態の動画像復号化部１１０と同様に行われ（ただし、物体識別部１１９との間の出入力に関する処理は一切無い）、再生画像信号が復元される。再生画像信号は多重化分離部３０２で分離された個別物体識別結果とともに識別物体合成表示部３１１に入力され、個別物体識別結果に基づいて生成された物体の存在位置を示す画像を再生画像信号上に合成した画像信号を出力する。
【００８５】
本実施形態では、第１の実施形態において動画像復号化器で行っていた物体識別処理を動画像符号化器と組み合わせて行い、識別結果を符号化データ（ＭＰＥＧ２フォーマット）のユーザーデータ領域に多重化したものである。なお、物体を含むと判定したマクロブロックを包含する長方形の画像自体をISO/IEC MPEG-4のマルチオブジェクト符号化で別のオブジェクトとして符号化し、多重化して動画像復号化装置に送る方法でも良い。この方法ならば本実施形態のような専用の動画像復号化装置を必要としない。
【００８６】
また、本実施形態においては、動画像符号化形式としてＤＣＴを用いた方式を採用したが、その他の変換手法、例えばWavelet変換等でも構わない。
【００８７】
以上、本実施形態によれば、符号化と同時に動画像中の物体を個別に識別することが可能であり、例えばリアルタイムに侵入物体の監視しつつ記録しておくような監視システム等での使用が可能となる。
【００８８】
（第３の実施形態）
図１３は、本発明の動画像内の物体識別装置を用いて監視装置を構成した場合の構成を説明する図である。
【００８９】
本実施形態の映像伝送の流れは次のようになる、カメラ部４０１で撮像した映像信号を動画像符号化部４０２で符号化して得られる符号化データを送信部４０３から無線伝送する。受信部４０４は送信部４０３から伝送されてきた符号化データを受信して、監視部４０５へ符号化データを入力する。
【００９０】
監視部４０５は、コンピュータを動画像復号化手段として機能させるためのプログラムを実装したコンピュータであり、受信部から送られてきたＭＰＥＧ４方式の符号化データを復号化して再生した画像を画面上に表示する。
【００９１】
本実施形態で用いる送信部４０３と受信部４０４の間の通信は、PHS、携帯電話などの移動体電話回線、衛星通信回線あるいは無線LAN等で実現する。尚、無線を用いずに有線のLAN回線や一般の電話回線、ＩＳＤＮ回線その他専用線を用いても構わない。
【００９２】
本発明における第１の実施形態の動画像内の物体識別装置を本実施形態の監視装置に適用する場合は、監視部４０５のコンピュータに前述の動画像復号化プログラムの代わりにコンピュータを動画像復号化部１１０と物体識別部１１９として機能させるプログラムを実装すればよい。
【００９３】
また、本発明における第２の実施形態の動画像内の物体識別装置を本実施形態の監視装置に適用する場合は、動画像符号化部４０２として動画像符号化部２１８と物体識別部２２７を備えた構成のものを用いればよい。
【００９４】
この場合、物体識別部２２７の識別結果は符号化データと多重化して監視部４０５へ伝送されるので、監視部４０５のコンピュータには、コンピュータを動画像復号化部３１０及び識別物体合成表示部３１１として機能させるプログラムを実装して、多重化された識別結果を分離して表示できるようにしておけばよい。
【００９５】
尚、符号化方式としてＭＰＥＧ４を用い、識別結果の多重化にＭＰＥＧ４のオブジェクト圧縮を用いる場合は、監視部４０５のコンピュータには、コンピュータを、ＭＰＥＧ４方式で符号化された動画像データを復号化して再生画像を表示する手段として機能させるプログラムを実装しておけば、本実施形態専用の動画像復号化装置を用いなくとも物体を枠で囲って目立つように表示させることが可能となる。
【００９６】
本実施形態の監視装置では、識別結果はＭＰＥＧ１、２、４方式のユーザーデータ領域に出力されるので、物体が存在する場合に固有な動作を監視部４０５に行わせることが可能である。
【００９７】
例えば、物体が存在する場合に監視部４０５は警告音を発して監視者に注意を促したり、物体が存在する場合にのみ画像を表示したり、物体が存在する場合には画像を記録装置（監視部４０５はコンピュータだからハードディスクを利用すればよい）に記録させる等の応用が可能である。
【００９８】
【発明の効果】
以上に説明したように、本発明によって高速かつ安定して精度の良い動画像内の物体認識装置及び方法を提供することができる。
【図面の簡単な説明】
【図１】 本発明の第１の実施形態の動画像内の物体認識装置の構成を説明するブロック図
【図２】 図１の物体識別部１１９の動作を説明するフローチャート
【図３】 図２の非背景ブロック判定処理Ｓ１０１の動作を説明するフローチャート
【図４】 図３のブロック内マッチングＳ２０６の動作を説明する図
【図５】 図２の個別物体識別部１１７の動作を説明するフローチャート
【図６】 図５の辞書内物体検索Ｓ３０２の動作を説明するフローチャート
【図７】 本発明の動画像内の物体認識装置による物体認識結果を示す図
【図８】 本発明の第２の実施形態の動画像内の物体認識装置の符号化側の構成を示すブロック図
【図９】 本発明の第２の実施形態の動画像内の物体認識装置の復号化側の構成を示すブロック図
【図１０】 従来の動画像内の物体認識装置による物体認識結果を示す図
【図１１】 本発明の第２の実施形態において、入力動画像信号と背景メモリの画像から物体識別を行うようにした場合の符号化側の構成を示すブロック図。
【図１２】 図１１から識別物体合成表示部を除いた構成を示すブロック図。
【図１３】 本発明の物体識別装置を用いて監視装置を構成した場合の構成を説明する図。
【符号の説明】
１０１ 入力バッファ
１０２ 多重化分離部
１０３ 可変長復号化部
１０４ 逆量子化部
１０５ ＩＤＣＴ部
１０６ 加算器
１０７ フレームメモリ
１０８ 動き補償部
１０９ モード切替スイッチ
１１０ 動画像復号化部
１１１ 背景メモリ更新スイッチ
１１２ 加算器
１１３ 乗算器
１１４ 加算器
１１５ 背景メモリ
１１６ 物体検出部
１１７ 個別物体識別部
１１８ 識別物体合成表示部
１１９ 物体識別部
２０１ ブロック化部
２０２ 減算器
２０３ モード切替スイッチ
２０４ 逆量子化部
２０５ ＤＣＴ部
２０６ 量子化部
２０７ ＩＤＣＴ部
２０８ 加算器
２０９ フレームメモリ
２１０ 動き補償部
２１１ モード切替スイッチ
２１２ モード選択部
２１３ 符号化制御部
２１４ 可変長符号化部
２１５ 多重化部
２１６ 出力バッファ
２１７ 符号化部
２１８ 動画像符号化部
２１９ 背景メモリ更新スイッチ
２２０ 加算器
２２１ 乗算器
２２２ 加算器
２２３ 背景メモリ
２２４ 物体検出部
２２５ 個別物体識別部
２２６ 識別物体合成表示部
２２７ 物体識別部
２２８ フレームメモリ
３０１ 入力バッファ
３０２ 多重化分離部
３０３ 可変長復号化部
３０４ 逆量子化部
３０５ ＩＤＣＴ部
３０６ 加算器
３０７ フレームメモリ
３０８ 動き補償部
３０９ モード切替スイッチ
３１０ 動画像復号化部
３１１ 識別物体合成表示部
４０１ カメラ部
４０２ 動画像符号化部
４０３ 送信部
４０４ 受信部
４０５ 監視部
【発明の属する技術分野】
この発明は動画像復号化装置や動画像符号化装置において、動画像内の物体を識別する装置及び方法及びこれを用いた監視システムに関する。
【０００２】
【従来の技術】
動画像中の特定の物体を検出しその物体を認識するには、一般には全画素値を順次調べる必要がある。例えば、岡崎彰夫著「初めての画像処理技術」（工業調査会、pp.102-103,2000.）や、特開2001-60269号公報「物体追跡方法及び物体追跡装置」では、基準となる背景画像と入力画像の画素値の差分値を所定の閾値で２値化することで、動物体の切り出しを実現する、背景差分による動物体切り出し処理を紹介している。
【０００３】
しかし、このような画素値に関わる処理は画素数に比例して計算量が増加し、例えば動画像符号化の標準方式であるITU-T H.261、H263、ISO/IEC MPEG-4等でよく用いられるCIFフォーマットの場合は縦288画素、横352画素の合計101376もの画素について処理する必要があり、実用的な処理速度を得るには専用のハードウエアが必要になる等コスト面で重大な問題があった。
【０００４】
そこで、少ない計算量で動画像中の移動物体を検出する手法として、特開平9-252467号公報「移動体検出装置」では、動画像符号化装置で作られた動きベクトルを用いる方法が提案されている。この方法によれば、動画像符号化装置で符号化の際に作成されるマクロブロック毎の動きベクトルを用いるので、移動物体検出の為に特別に画素の動きを調べる必要が無く、計算量を大幅に減らすことができる。
【０００５】
しかし、動きベクトルを用いた手法では、画面内に複数の移動物体が存在した時、例えば図１０のように物体同士が接近していると、お互いを区別できずに１つの物体として検出されてしまうという問題がある。
【０００６】
また、この方法では、動きベクトルが大きいマクロブロックやデータが一定以上変化したマクロブロックを移動物体の存在する領域と判定しているので、移動物体以外のマクロブロックを移動物体と誤判定したり、逆に移動物体内部のマクロブロックのように動きベクトルが小さいマクロブロックを移動物体でないと誤判定するなど信頼性に問題があり、例えば監視用途等に用いるには精度が不十分である。
【０００７】
【発明が解決しようとする課題】
そこで本発明では、少ない計算量で精度良く近接する複数の物体を識別できる物体識別装置及び方法を提供することを目的とする。
【０００８】
【課題を解決するための手段】
上記の課題を解決するため、本発明の動画像内の物体識別装置は、動画像信号を圧縮符号化して得られる符号化データを復号化する動画像復号化手段と、前記動画像復号化手段によって復号化された再生画像信号及び過去に作成された背景画像から、符号化データから得られる符号化情報を参照して背景画像を作成・記憶する背景画像作成手段と、符号化情報を参照して前記再生画像信号の符号化単位であるブロック毎に前記再生画像信号と背景画像を比較して背景・非背景の判別を行い、物体を検出する物体検出手段と、検出した物体と過去に識別された物体とをブロック毎に照合して過去に識別した物体と同一の物体であるか、あるいは新しく現れた物体であるかを識別し、個別物体存在領域情報を生成するとともに識別結果を更新・記憶する個別物体識別手段とを有する。
【０００９】
また、本発明の動画像内の物体識別装置は、動画像信号を圧縮符号化して得られる符号化データを復号化する動画像復号化手段と、前記動画像復号化手段によって復号化された再生画像信号及び過去に作成された背景画像から、符号化データから得られる符号化情報を参照して背景画像を作成・記憶する背景画像作成手段と、符号化情報を参照して前記再生画像信号の符号化単位であるブロック毎に前記再生画像信号と背景画像を比較して背景・非背景の判別を行い、物体を検出する物体検出手段と、検出した物体と過去に識別された物体とをブロック毎に照合して、過去に識別した物体と同一の物体であるか、あるいは新しく現れた物体であるかを識別して個別物体存在領域情報を生成するとともに識別結果を更新・記憶する個別物体識別手段と、前記個別物体存在領域情報を画像に変換して前記再生画像信号上に表示する識別物体合成表示手段とを有していてもよい。
【００１０】
また、本発明の動画像内の物体識別装置は、前記符号化情報は、前記動画像復号化手段によって復号化されることを特徴としていてもよい。
【００１１】
本発明の動画像内の物体識別装置は、入力された動画像信号を符号化する動画像符号化手段と、前記動画像符号化手段の符号化過程で生成される局部再生画像信号もしくは入力された動画像信号のいずれかの画像信号と過去に作成された背景画像から、前記動画像符号化手段で生成される符号化情報を参照して背景画像を作成・記憶する背景画像作成手段と、前記局部再生画像信号もしくは入力された動画像信号のいずれかの画像信号と記憶されている背景画像から前記符号化情報を参照して背景・非背景の判別を行い、入力された動画像の符号化単位で物体を検出する物体検出手段と、前記物体検出手段によって検出された物体と過去に識別された物体との照合を行い、過去に識別された物体と新しく出現した物体とを識別して個別物体存在領域情報を生成する個別物体識別手段とを有する。
【００１２】
また、本発明の動画像内の物体識別装置は、入力された動画像信号を符号化する動画像符号化手段と、前記動画像符号化手段の符号化過程で生成される局部再生画像信号もしくは入力された動画像信号のいずれかの画像信号と過去に作成された背景画像から、前記動画像符号化手段で生成される符号化情報を参照して背景画像を作成・記憶する背景画像作成手段と、前記局部再生画像信号もしくは入力された動画像信号のいずれかの画像信号と記憶されている背景画像から前記符号化情報を参照して背景・非背景の判別を行い、入力された動画像の符号化単位で物体を検出する物体検出手段と、前記物体検出手段によって検出された物体と過去に識別された物体との照合を行い、過去に識別された物体と新しく出現した物体とを識別して個別物体存在領域情報を生成する個別物体識別手段と、個別物体存在領域情報を前記動画像符号化手段から得られる符号化データに多重化させる識別物体多重化手段とを有していてもよい。
【００１３】
また、本発明の動画像内の物体識別装置は、前記物体検出手段は、物体と判定したブロックの周囲の所定の範囲内にあるブロックが全て背景と判定された場合は当該ブロックを背景とみなすことを特徴としていてもよい。
【００１４】
また、本発明の動画像内の物体識別装置は、前記物体検出手段は、前記動画像符号化手段もしくは前記動画像復号化で扱う符号化方式に複数のブロックで構成される階層（マクロブロック）が存在し、かつマクロブロック自身の符号化情報を有する場合は、１次的にマクロブロック単位で背景・非背景判別を行い、該マクロブロックが非背景と判別された場合には２次的にマクロブロックを構成するブロック毎の背景・非背景判別を行う一方、背景と判別された場合はマクロブロックを構成する全ブロックが背景とみなされることを特徴としていてもよい。
【００１５】
また、本発明の動画像内の物体識別装置は、前記個別物体識別手段は、画面内に存在する個別物体の存在領域と、前記個別物体と存在領域を関連付ける識別子と、前記個別物体が存在する画面とを登録しておく辞書を有し、前記物体検出手段によって検出された検出物体と、辞書に登録されたフレーム内で前記検出物体と同位置及びその位置から所定の範囲内に存在する辞書に登録された物体との間で、画素値ないし画素値の統計量を比較して、辞書に登録された物体の中に比較した誤差が所定の閾値以下かつ最小となる物体が存在する場合は、検出物体はこの物体と同一であると判定し、存在しない場合は、検出物体は新規物体であると判定することを特徴としていてもよい。
【００１６】
本発明の動画像内の物体識別方法は、動画像信号を圧縮符号化して得られる符号化データを復号化する動画像復号化ステップと、前記動画像復号化ステップによって復号化された再生画像信号と符号化データから得られる符号化情報とをもとにして背景画像を作成する背景画像作成ステップと、前記再生画像信号あるいは前記動画像信号と前記符号化情報と前記背景画像から背景・非背景の判別を前記再生画像信号の符号化単位であるブロック毎に行って非背景の物体をブロック単位で検出し、物体存在領域情報を生成する物体検出ステップと、物体存在領域情報を参照して、検出した物体と過去に識別された物体と照合し、過去に識別された物体と新しく出現した物体とを識別して個別物体存在領域情報を生成する個別物体識別ステップとを有する。
【００１７】
また、本発明の動画像内の物体識別方法は、前記符号化情報は、前記動画像復号化ステップで復号化されることを特徴としていてもよい。
【００１８】
また、本発明の動画像内の物体識別方法は、前記物体検出ステップは、物体と判定したブロックの周囲の所定の範囲内にあるブロックが全て背景と判定された場合は当該ブロックを背景とみなすことを特徴としていてもよい。
【００１９】
また、本発明の動画像内の物体識別方法は、前記物体検出ステップは、前記動画像復号化ステップで扱う符号化フォーマットに複数のブロックで構成される階層（マクロブロック）が存在し、かつマクロブロック自身の符号化情報を有する場合は、１次的にマクロブロック単位で背景・非背景判別を行い、該マクロブロックが非背景と判別された場合に２次的にマクロブロックを構成するブロック毎の背景・非背景判別を行う一方、背景と判別された場合はマクロブロックを構成する全ブロックを背景とみなすことを特徴としていてもよい。
【００２０】
このように本発明では、動画像符号化・復号化技術を用いて、画素単位処理する必要がある部分を符号化情報に基づいてブロック単位まで絞り込むことが可能であるので、全画素値を調べて物体を識別する手法に比べて少ない計算量で済む一方、動きベクトルを用いて物体を識別する手法よりも詳細な物体検出が可能となっている。
【００２１】
また、単にフレーム単位での非背景の物体を検出するだけでなく、過去の識別結果と照合することで、近接した複数の物体を個別に識別することが可能となっている。
【００２２】
【発明の実施の形態】
（第１の実施形態）以下、図面を参照して本発明の第１の実施形態を説明する。
【００２３】
図１は本発明の実施形態の構成を示すブロック図である。図１の動画像内の物体識別装置は、動画像信号をＭＰＥＧ２方式で符号化して得られる符号化データを復号化する動画像復号化部１１０と復号化して得られる再生画像信号から物体を識別する物体識別部１１９とを有する。動画像復号化部１１０は入力バッファ１０１と、多重化分離部１０２と、可変長復号化部１０３と、逆量子化部１０４と、ＩＤＣＴ（Inverse Discrete Cosine Transform／逆離散コサイン変換）部１０５と、加算器１０６と、フレームメモリ１０７と、動き補償部１０８と、モード切替器１０９とから成る。物体識別部１１９は、背景メモリ更新スイッチ１１１と、加算器１１２、１１４と、乗算器１１３と、背景メモリ１１５と、物体検出部１１６と、個別物体認識部１１７と、識別物体合成表示部１１８とから成る。
【００２４】
次に動画像復号化部１１０の動作を説明する。入力バッファ１０１は蓄積系ないし伝送路からＭＰＥＧ２フォーマットの符号化データを受信して、フレームレートを安定化させるために一旦蓄える。多重化分離部１０２は、符号化データを各フレーム毎にシンタックスに基づいて符号化ＤＣＴ係数、符号化された符号化情報等の成分に分離して、可変長復号化部１０３に出力する。可変長復号化部１０３では、各成分に分離された符号化データの可変長符号を復号して、符号化情報、量子化ＤＣＴ係数、動きベクトル情報等を復元する。
【００２５】
さらに、可変長復号化部１０３は、復元して得られた符号化情報から、入力された１フレーム分の符号化データに含まれる各マクロブロックの符号化モードを順次調べる。そして、各マクロブロックの符号化モードが（１）ＩＮＴＲＡか（２）ＩＮＴＥＲあるいはＮＯＴ＿ＣＯＤＥＤかに応じて、各マクロブロック毎に順次行われる画像再生処理が適切なものとなるようにモード切替スイッチ１０９を制御する。
【００２６】
（１）ＩＮＴＲＡのマクロブロックの場合は、当該マクロブロックはフレーム内符号化されているから、可変長復号化部１０３はモード切替スイッチ１０９をオフにしてから、復号化された量子化ＤＣＴ係数を出力する。逆量子化部１０４は量子化ＤＣＴ係数を逆量子化してＤＣＴ係数をＩＤＣＴ部１０５に出力する。ＩＤＣＴ部１０５はＤＣＴ係数を逆離散コサイン変換して復号画像を加算器１０６に出力する。モード切替スイッチ１０９がオフなので、加算器１０６は復号画像に対して何の変換もせずに素通りさせ、再生画像信号として出力する。
【００２７】
（２）ＩＮＴＥＲあるいはＮＯＴ＿ＣＯＤＥＤのマクロブロックの場合は、当該マクロブロックはフレーム間符号化されているので、可変長復号化部１０３はモード切替スイッチ１０９をオンに選択し、動きベクトル情報を動き補償部１０８に出力し、量子化ＤＣＴ係数を逆量子化部１０４に出力する。逆量子化部１０４は量子化ＤＣＴ係数を逆量子化してＩＤＣＴ部１０５にＤＣＴ係数を出力する。ＩＤＣＴ部１０５はＤＣＴ係数を逆離散コサイン変換して復号画像を加算器１０６に出力する。動きベクトル情報を受けた動き補償部１０８は、フレームメモリ１０７から読み出した参照画像を動きベクトル情報に基づいて動き補償を施してモード切替スイッチ１０９を通して加算器１０６に動き予測画面を出力する。モード切替スイッチ１０９はオンなので、動き予測画像は素通りして加算器１０６へ到達する。加算器１０６はＩＤＣＴ部１０５からの復号画像と動き補償部１０８からの動き予測画像とを加算して再生画像信号を生成して、フレームメモリ１０７、物体識別部１１９内の背景メモリ更新スイッチ１１１、物体検出部１１６、識別物体合成表示部１１８へ出力する。フレームメモリ１０７は再生画像信号を次のフレームに対する動き補償用の参照画面として蓄積する。
【００２８】
物体識別部１１９の動作を説明する。物体検出部１１６は、動画像復号化部１１０からの再生画像信号と可変長復号化部１０３からの再生画像信号の符号化情報と背景メモリ１１５の画像信号から、当該マクロブロックに含まれる各ブロックが背景か非背景かの判別を行い物体の検出を行う。判別処理の詳細は後述するが、判別は１次的にはマクロブロック単位で行い、必要な場合には２次的にブロック単位での判別を行う。また、物体検出結果は後述する通り、ブロックの性質を表す配列変数に格納しておく。物体検出部１１６は、非背景と判別されたブロックを包含する長方形の枠を検出し、この長方形の枠内に入った全てのブロックに対してブロックの性質を表す配列変数に「包含された」ことを示す値を、枠外のブロックは「包含されていない」ことを示す値を包含情報として格納する。物体検出部１１６はブロックの性質を表す配列変数と、加算器１０６からの再生画像信号を個別物体識別部１１７に出力する。個別物体識別部１１７は、物体検出部１１６からの物体の検出結果と過去の識別結果との照合を行って検出された物体が以前から存在した物体なのか、あるいは新しく出現した物体なのかを調べ、両者を識別する。これにより検出物体が個別に識別される。個別物体識別部１１７は識別結果を識別物体合成表示部１１８に出力するとともに加算器１０６から受けた再生画像信号及び識別結果の両方を個別物体識別部１１７が有する辞書（図示せず）に登録し、さらに識別結果に応じてブロック単位で背景メモリを更新すべきか否かを背景メモリ更新スイッチ１１１を切替えて制御する。識別結果が「背景」のブロックの場合は背景メモリ更新スイッチ１１１をオンにし、「非背景」のブロックの場合はオフにする。
【００２９】
背景メモリ１１５は、背景メモリ更新スイッチ１１１がオフの場合には背景メモリを更新せずに現在の値を保持し、背景メモリ更新スイッチ１１１がオンの場合は次のように更新される。現在扱っているブロックと同一の位置の再生画像信号をFc(m,n)、現在扱っているブロックと同一の位置の背景メモリの背景画像信号をB(m,n)とすると、まず
【００３０】
【数１】
のような加重平均をとる（Wは背景更新のパラメータで、０以上の実数）。具体的な構成としては、まず、再生画像信号Fc(m,n)から背景画像信号B(m,n)を加算器１１２で減じてから乗算器１１３でW/(W+1)を乗じる演算をする。この値を再生画像信号Fc(m,n)から加算器１１４で減じた値で背景メモリ１１５の当該ブロックの値を更新する。
【００３２】
このような処理を行うことで背景に生じたノイズの影響を抑制し安定した背景を得られ、結果として物体と背景との識別能も高くなる。
【００３３】
識別物体合成表示部１１８は、個別物体識別部１１７から送られてきた識別結果と再生画像信号から、物体ごとの位置を再生画像上に合成して表示する。
【００３４】
以下、図２を用いて１フレーム毎に行われる処理の流れを説明する。
【００３５】
以下の説明では、背景か非背景（検出結果）か、包含されているか否か（包含情報）など、ブロックの性質を表す情報を格納するための配列変数として、３次元配列M[i][j][k]を用いる。ここで、iとjはフレーム内の垂直方向と水平方向のマクロブロックのアドレスをそれぞれ表し、kはマクロブロック内におけるブロックナンバー（本実施形態はＭＰＥＧ２でＣＩＦフォーマットだからｋ＝０〜３）を表す。また、３次元配列Mの各要素M[i][j][k]はＣ言語でいう構造体のように複数の変数を有している。今後は「M[i][j][k]の値を変える」と述べた場合、特に断らない限り「M[i][j][k]の有する情報のうち、現在の処理に関連する変数の値を変える」の意味である。また、M[i][j][k]は現在のフレームの処理開始時点では１つ前に処理したフレームの処理後の値を保持している（もし、１フレーム前の値が存在しなければ所定の初期値）。
【００３６】
まず、非背景ブロック判定処理Ｓ１０１ではブロック毎に、可変長符号化部１０３からの符号化モードや動きベクトル等の符号化情報、加算器１０６からの再生画像信号そして背景メモリ１１５からの背景画像信号から、当該ブロックが背景か非背景かを判定してM[i][j][k]の背景・非背景を表す変数に判定結果を格納する。
【００３７】
次に、雑音ブロック除去処理Ｓ１０２では、非背景ブロック判定処理Ｓ１０１で非背景と判定されたブロックのうち、周囲８ブロック全てが背景ブロックと判定されているものを雑音とみなして、非背景ブロック判定処理Ｓ１０１の判定結果を「背景」に修正し、M[i][j][k]の値を変更する。
【００３８】
非背景ブロック包含処理Ｓ１０３では、「非背景」と判定されたブロックを包含するような長方形の領域を検出し、検出する識別物体の大きさに関する所定の制限の範囲内であれば包含し、M[i][j][k]の包含されたか否かを表す変数に包含された旨を書き込む。
【００３９】
個別物体識別Ｓ１０４では、非背景ブロック包含処理Ｓ１０３の処理結果をもとに包含領域の画像と個別物体識別部１１７の有する辞書（図示せず）に登録された過去の識別結果との照合をブロック単位で行い、検出された物体が辞書に登録されている過去に識別済みの物体なのか、あるいは新規に出現した物体なのかを識別して物体の個別化を行う。全ての検出物体に関して識別処理が完了したら、識別結果を辞書に登録して更新する。辞書の更新で行うことは、（加算器１０６から物体識別部１１６を経由して個別物体識別部１１７へ入力された）現在のフレームの再生画像信号の辞書への保存や参照されなかった物体の辞書からの削除などである。
【００４０】
背景メモリ更新部Ｓ１０５では、前述の通り背景ブロックと判定されたブロックに該当する領域の再生画像信号及び背景画像信号（背景メモリ１１５に記憶されているデータ）の加重平均をとって背景メモリ１１５の背景画像信号を更新する。非背景と判定されたブロックに関しては更新を行わない。
【００４１】
個別識別結果包含処理Ｓ１０６では、個別物体識別処理Ｓ１０４での識別結果に基づいて再度包含処理を行う。この処理により、２つの物体が近接して存在している場合において、従来ならば図１０のように１つに包含されていた２つの物体が、図７のように２つの物体として分離して包含される。
【００４２】
以下、図３を用いて非背景ブロック判定処理Ｓ１０１の詳細な説明を行う。非背景ブロック判定処理Ｓ１０１は、各ブロックが背景か非背景かを調べてM[i][j][k]の該当する変数に反映させる。前述の通り、M[i][j][k]は、現在のフレームの処理開始時点では１つ前に処理したフレームの処理後の値を保持しているので、後述の通り「一つ前のフレームと処理結果が同じ」ということが分かる場合はM[i][j][k]にアクセスする必要はなく、具体的に調べたブロックに関してだけ値を更新すれば、M[i][j][k]は現在のフレームの状態を反映させることが可能である。なお、M[i][j][k]の背景・非背景を表す変数の初期値（本実施形態の装置を動作させ始めた時点）は背景であることを意味するFALSEである。
【００４３】
まず、可変長復号化部１０３から受け取った符号化情報からマクロブロック単位の符号化モードを調べ（ステップＳ２０１）、調べた符号化モードがＣＯＤＥＤかＮＯＴ＿ＣＯＤＥＤかで処理を分岐させる（ステップＳ２０２）。
【００４４】
符号化モードがＮＯＴ＿ＣＯＤＥＤの場合は、このマクロブロックは一つ前のフレームでの処理結果と同じなのでM[i][j][0]〜M[i][j][3]は変更せず（ステップＳ２０３）、フレーム内の全部のマクロブロックを調べたかを判定し、調べ終わってなければステップＳ２０１へ戻って次のマクロブロックを調べる（ステップＳ２１１）。
【００４５】
符号化モードがＣＯＤＥＤの場合はマクロブロック内の各ブロックの符号化情報を調べ（ステップＳ２０４）、符号化情報のうち、CBPYと動きベクトルが全て０か否かで処理を分岐させる（ステップＳ２０５）。
【００４６】
CBPYも動きベクトルも全て０の場合にはM[i][j][k]はの値は変えず（ステップＳ２０６）、マクロブロック内の全ブロックを調べたかを判定し、まだ調べ終わってなければステップＳ２０４へ戻って次のブロックを調べ（ステップＳ２１０）、調べ終わっている場合はステップＳ２１１を実行する。
【００４７】
CBPY、動きベクトルのいずれかが０でない場合は、後述の手法でブロックマッチングを行い（ステップＳ２０７）、マッチング誤差と所定の閾値THとを比較して処理を分岐させる（ステップＳ２０８）。誤差が閾値TH以下であれば「背景」と判定してM[i][j][k]の値をFALSEにし、閾値THを超えた場合は「非背景」と判定してM[i][j][k]の値をTRUEにする。（ステップＳ２０９）。この処理が終わったらステップＳ２１０を実行し、マクロブロック中の全ブロックを調べたらステップＳ２１１を実行し、最終的にフレーム内の全マクロブロックを調べる。
【００４８】
以下、図４を用いてブロック内マッチング処理（ステップＳ２０７）について説明する。図４はＭＰＥＧ２で用いられるＣＩＦの輝度フォーマットを示している。ＣＩＦの輝度フォーマットは縦２８８画素、横３５２画素、１つのマクロブロックは縦１６画素、横１６画素である。１つのマクロブロック内には４つのブロックが存在し、１つのブロックは縦８画素、横８画素であるから、ＣＩＦ輝度フォーマットは縦３６ブロック、横４４ブロックで、縦１８マクロブロック、横２２マクロブロックである。図４の上のマス模様の一マスはマクロブロック１つに相当し、下のマス模様（太線と破線で区切られた領域）は一マスがブロック１つに相当し、マス内部を埋め尽くす丸印は画素１つに相当する。
【００４９】
以下、ブロックマッチングの具体的な方法を説明する。再生画像信号と背景メモリの全画素値を１つずつ比較して最大誤差を取る方法でも良いが、この方法だとノイズピクセルが存在した場合に問題が生じる。
【００５０】
そこで、各調査対象の画素を含む縦M1画素、横M2画素(M1、M2は偶数)の長方形の小ブロックを考え（本実施形態では調査対象画素から上に(M1)/2、下に((M1)/2)-1、左に(M2)/2、右に((M2)/2)-1の範囲）、この領域内で再生画像信号と背景メモリ画像の間の画素値の相対誤差の平均を計算する。この方法ならばノイズピクセル等の影響を抑えることができる。この画素値の相対誤差の平均をブロック内の全画素に関して求め、相対誤差の最大値をそのブロックのマッチング誤差とする方法をとる。相対誤差の平均値の計算は、再生画像信号の輝度信号の画素値をFc(m,n)、背景メモリの輝度信号の画素値をB(m,n)とすると、（m、nは小ブロック内での垂直方向、水平方向のアドレスで、m=0,1...,(M1)-1、n=0,1...,(M2)-1である。）
【００５１】
【数２】
なお、この小ブロックは周囲のブロックにはみ出してもよく、はみ出した地点の画素値をそのまま用いて計算を行う。この方法での探索範囲はブロックの左上隅の画素を原点とすれば(-(M1)/2, -(M2)/2)と(7+(M1)/2, 7+(M2)/2)を頂点とする矩形の領域となる（座標成分の表記は(縦, 横)である）。
【００５３】
このようにブロック内に小ブロックを設けて誤差を検出することにより、ブロック内の一部に侵入物体が存在しても検出可能であると同時に、前述の通りノイズピクセルによる誤検出を抑えることが可能となっている。
【００５４】
なお、本実施形態においては、小ブロックの形状は長方形で説明を行ったが、別の形状（例えば、円や楕円）を用いてもよい。また、本実施形態においては数２に示す数式でマッチング誤差を計算したが、他の評価尺度や（例えば特定の色やテクスチャ等を用いて評価）他の数式（例えば二乗平均）を用いても構わない。
【００５５】
図５は、個別物体識別部の具体的な処理のフローチャートである。ここでは、当該画面内で識別された物体と、過去のフレーム（１フレーム前）で識別された物体とを照合して、個別の物体を判別する。
【００５６】
ここでは、物体検出部１１６によって検出された物体、すなわち、非背景ブロック包含処理Ｓ１０３によって背景と異なると判定された物体の存在位置情報及び存在領域を包含した長方形の情報（すなわち、３次元配列M[i][j][k]）と再生画像信号を入力とする。
【００５７】
まず、当該フレームで検出された物体を全てチェックしたかを判定する（ステップＳ３０１）。未チェックの物体がある場合、その物体に類似した物体が辞書内に存在するかを検索する（ステップＳ３０２）。もし、検出された物体が辞書に登録された物体でない場合は、新規物体として辞書に登録し（ステップＳ３０４）、辞書に登録された物体であると判定された場合は、その検出された物体を従来の登録物体に置き換えて辞書に再登録を行う（ステップＳ３０５）。全ての物体をチェックし終えたら辞書を再度点検し、未参照の登録物体を削除する（ステップＳ３０６）。
【００５８】
辞書の構造を説明する。主な構成は「１つ前のフレーム画像（以後、「辞書フレーム」）」と、「個別物体包含情報」と、「個別物体存在地点情報」と、「存在フラグ」である。
【００５９】
「辞書フレーム」は１つ前のフレームの画像で、現在のフレームとの画素値の比較の際に必須である。
【００６０】
「個別物体包含情報」は具体的には包含長方形のフレーム内における座標であり、包含図形が長方形の場合は最低２頂点の座標があればよい。
【００６１】
「個別物体存在地点情報」はフレームの１ブロックを１ピクセルにしたビットマップで、個別物体１つにつき一枚割り当てられ、フレームのどのブロックが物体なのかを示すデータである。
【００６２】
「存在フラグ」はその物体が参照されたことを示すフラグで、参照した物体が存在すると判定された時にはフラグを立てておき、辞書の整理の際にフラグの有無を見て削除するか否かを決定するためのものである。
【００６３】
個別識別済みの物体がｎ個存在する場合は、１枚の「フレーム画像」とｎ個の「個別物体包含情報」「個別物体存在地点情報」「存在フラグ」が存在することになる。
【００６４】
辞書との照合を行う際は、現存する辞書と同じデータサイズの新しい辞書（１枚の「フレーム画像」とｎ個の「個別物体包含情報」「個別物体存在地点情報」「存在フラグ」を有し、中身がクリアされている。）を作り、辞書のｓ番目の物体と類似していると判定されたら、新しい辞書のｓ番目の「個別物体包含情報」「個別物体存在地点情報」を更新するとともに、ｓ番目の「存在フラグ」を立てておく。新規物体用の辞書データはあらかじめ物体検出部１１６で検出された包含の数だけ新しい「個別物体包含情報」「個別物体存在地点情報」「存在フラグ」を付加しておき、使用されなかったものは未参照物体として削除されるようにする。
【００６５】
図６は検出物体と辞書に登録された物体との照合を行う具体的な処理のフローチャートである。
【００６６】
まず、検出物体の存在位置情報等を格納している配列M[i][j][k]の座標系(i,j,k)を、ブロック単位での処理を行うのにより適した座標系（フレーム左上端を原点とする２次元座標(x,y)）に変換する（ステップＳ４０１）。次に、検出物体の包含の中からM[x][y]で「物体」と示されているブロックを辞書との比較対象として抽出する（ステップＳ４０２）。辞書フレームからM[x][y]の指すブロックと同位置及び周囲の計９ブロックをM[x][y]の指すブロックとの比較対象として抽出する（ステップＳ４０３）。ステップＳ４０３で抽出した９個のブロックのうち、辞書の１〜ｎ番目のいずれかの「個別物体存在地点情報」で「物体」と示されているブロックのみを、M[x][y]の指すブロックと比較し、マッチング誤差を計算する（ステップＳ４０４）。計算したマッチング誤差のうち閾値ＴＨ２以内で最小となるものを探し（ステップＳ４０５）、もしあればそのマッチング誤差を計算したときに比較した辞書フレーム側のブロックが何番目の「個別物体存在地点情報」に「物体」と示されているかを調べ、（ｍ番目だった場合は）ｍ番目の物体であると認識し（ステップＳ４０６）、条件を満たすマッチング誤差が存在しない場合は「新規物体」と認識する（ステップＳ４０７）。検出物体の包含内の比較対象ブロックを全てマッチングしたか判定し、未判定のブロックがあればステップＳ４０３へ戻る（ステップＳ４０８）。
【００６７】
ステップＳ４０４のマッチング誤差計算方法は、前述の非背景ブロック判定処理Ｓ１０１で行った小ブロックを用いた方法でも良いし、他の方法（例えば、輝度信号や色差信号の誤差の絶対値和ないし二乗平均和）でも良い。
【００６８】
本実施形態においては、動画像符号化形式としてＤＣＴを用いた方式を採用したが、その他の変換手法、例えばWavelet変換等でも構わない。
【００６９】
以上、本実施形態においては、動画像復号化器から得られる符号化情報を有効に使うことによって再生画像信号全体を処理することなく、前の画面から何らかの変化のあった部分だけを処理でき、限られた範囲の画素値を調べるだけで済むので、少ない計算量で精度良く画像認識処理を行うことができ、かつ、過去の識別結果との対応付けを行って物体の個別化を行っているので、近接する複数の物体でも識別可能な動画像内の物体識別装置を実現できる。
【００７０】
（第２の実施形態）
図８及び図９は、本発明の動画像内の物体識別装置の第２の実施形態の構成を説明するブロック図である。本実施形態では、物体識別部は動画像符号化器と組み合わせた構成となっている。
【００７１】
ブロック化部２０１は入力動画像信号をブロック単位に分割し、これを４つまとめたマクロブロック単位で減算器２０２、モード切替スイッチ２０３、２１１、動き補償部２１０へ出力する。減算器２０２はマクロブロック単位で予測画像信号との差分を計算して、予測残差信号を求める。モード切替スイッチ２０３は、モード選択部２１２の制御に従って減算器２０２からの予測残差信号とブロック化部２０１からの入力動画像信号のマクロブロックのいずれか一方の画像信号をＤＣＴ（Discrete Cosine Transform／離散コサイン変換）部２０４へ出力する。ＤＣＴ部２０４はモード切替スイッチ２０３からの画像信号を離散コサイン変換したＤＣＴ係数を量子化部２０５へ出力する。量子化部２０５はＤＣＴ係数を量子化して、量子化ＤＣＴ係数を逆量子化部２０６と可変長符号化部２１４へ出力する。可変長符号化部２１４は量子化ＤＣＴ係数、モード選択部２１２からの情報（後述）、動き補償部２１０からの動きベクトル情報を可変長符号化して符号化データを生成し、多重化部２１５へ出力する。多重化部２１５は物体識別部２２７からの個別識別結果をシンタックスに基づいて符号化データに多重化して出力バッファ２１６へ出力する。出力バッファ２１６は符号量を符号化制御部２１３に出力するとともに、一時的に符号化データを蓄えてビットレートを調整しつつ外部への出力を行う。
【００７２】
逆量子化部２０６は量子化ＤＣＴ係数を逆量子化しＤＣＴ係数に復元してＩＤＣＴ部２０７へ出力する。ＩＤＣＴ部２０７はＤＣＴ係数を逆離散コサイン変換して画像信号を復元して加算器２０８へ出力する。加算器２０８は復元された画像信号と、モード切替スイッチ２１１経由で動き補償部２１０から出力された予測画像信号とを加算してマクロブロックサイズの局部再生画像信号を生成し、フレームメモリ２０９と物体識別部２２７へ出力する。動き補償部２１０はブロック化部２０１でマクロブロックに分割された画像信号を受け、この画像信号の各マクロブロックがフレームメモリ２０９に蓄えられたフレームのどの部分から動いたものかを予測して動きベクトルを計算し、予測画像信号を生成して減算器２０２とモード切替スイッチ２１１に出力するとともに、モード選択部２１２には予測情報を、可変長符号化部２１４には動きベクトル情報を出力する。
【００７３】
モード選択部２１２は、マクロブロック毎に動き補償部２１０からの予測情報に基づいて、フレーム間符号化（インター符号化）を行うか、フレーム内符号化（イントラ符号化）を行うかを選択し、フレーム内符号化を選択した場合は、モード切り替えスイッチ２０３、２１１の両方をＡに切り替え、フレーム間符号化を選択した場合はＢに切り替えるように制御する。符号化モードには、フレーム内符号化に分類されるイントラモード（INTRA）とフレーム間符号化に分類されるインターモード（INTER）及び非符号化モード（NOT#CODED）があり、各マクロブロック毎に対応付けられ、INTRAのマクロブロックはフレーム内符号化される画像領域で、INTERのマクロブロックはフレーム間符号化される画像領域で、NOT#CODEDのマクロブロックは符号化不要の画像領域である。
【００７４】
符号化制御部２１３では、符号化部２１７の符号化情報と出力バッファ２１６に蓄積された符号量をもとに符号化部２１７を制御し、最適な符号量で符号化されるようにする。
【００７５】
物体識別部２２７においては、物体検出部２２４でブロック単位で可変長符号化部２１４からの符号化情報と局部再生画像信号と背景メモリの画像信号から物体を検出し、検出結果を個別物体識別部２２５に送る。
【００７６】
個別物体識別部２２５では、物体検出部２２４での検出結果から当該画面内の検出物体と個別物体識別部２２５の持つ辞書（図示せず）に登録されている過去の識別物体との照合を行い、検出物体が過去に識別された物体かあるいは新規に出現した物体かを識別して個別化し、識別結果と識別結果に基づいて再度包含した結果を含む個別識別結果を生成する。また、個別物体識別部２２５は生成した個別識別結果に基づいて、背景メモリ更新スイッチ２１９を、物体と認識されたブロックに関してはオフ、物体以外（背景）と認識されたブロックに関してはオンとなるように制御する。個別識別結果は動画像符号化部２１８の多重化部２１５と識別物体合成表示部２２６に出力する。
【００７７】
識別物体合成表示部２２６は、個別識別結果に基づいて識別した物体の位置あらわす画像を合成して、再生画像信号上に表示する。前述の通り多重化部２１５ではシンタックスに基づいて個別識別結果を符号化データに多重化する。ＭＰＥＧ２フォーマットでは、ユーザーデータ領域という、任意のデータを格納するための領域が用意されている。個別識別結果は多重化時にユーザーデータ領域に埋め込まれる。
【００７８】
背景メモリ２２３は、背景メモリ更新スイッチ２１９がオンの場合、現在の背景メモリの当該マクロブロックと同位置の画像信号と、当該マクロブロックの復号画像信号との加重平均の値を、当該マクロブロック位置の新しい背景として更新する。
【００７９】
なお、背景メモリ２２３の更新処理、物体検出部２２４、個別物体識別部２２５、識別物体合成表示部２２６等の具体的な内容・構成は第１の実施形態と共通なので説明を省略する。
【００８０】
可変長符号化部２１４は符号化データを生成し、多重化部２１５は符号化データに個別物体識別部２２５からの識別結果を多重化し、出力バッファ２１６はビットレートを平滑化して符号化データを伝送系または蓄積系に送られる。
【００８１】
なお、図８の物体識別部２２７では、局部再生画像信号と背景メモリの画像信号とを用いたが、例えば図１１のように入力動画像信号と背景メモリの画像信号とを用いる構成もある。この構成の場合は、フレームメモリ２２８が必要となるが、局部再生画像信号を使わないため、符号化による映像の劣化の影響を受けずに物体識別が行えるので、識別精度がより向上するという利点がある。
【００８２】
図８では識別物体合成表示部２２６を設けてあるが、これは例えば、監視カメラで映像と侵入物体をモニタリングしつつ録画をするような場合を想定して設けてあるので、必ずしも必須ではない。例えば、監視カメラの映像をその場で符号化・物体識別処理して、通信回線等を経由して遠隔地で監視するような場合ならば、識別物体合成表示部２２６は不要であるから、図１２のようにこれを除去した構成にしても構わない。
【００８３】
図９は復号化側のブロック図である。第１の実施形態の動画像復号化部１１０と似た構造なので、異なる部分を説明する。
【００８４】
第１の実施形態と同様、入力バッファ３０１は符号化データを一度蓄えてから、多重化分離部３０２に出力する。多重化分離部３０２は、符号化データからの個別物体識別結果の分離も行う。符号化データの画像部分（量子化ＤＣＴ係数、動きベクトルなど）の処理は第１の実施形態の動画像復号化部１１０と同様に行われ（ただし、物体識別部１１９との間の出入力に関する処理は一切無い）、再生画像信号が復元される。再生画像信号は多重化分離部３０２で分離された個別物体識別結果とともに識別物体合成表示部３１１に入力され、個別物体識別結果に基づいて生成された物体の存在位置を示す画像を再生画像信号上に合成した画像信号を出力する。
【００８５】
本実施形態では、第１の実施形態において動画像復号化器で行っていた物体識別処理を動画像符号化器と組み合わせて行い、識別結果を符号化データ（ＭＰＥＧ２フォーマット）のユーザーデータ領域に多重化したものである。なお、物体を含むと判定したマクロブロックを包含する長方形の画像自体をISO/IEC MPEG-4のマルチオブジェクト符号化で別のオブジェクトとして符号化し、多重化して動画像復号化装置に送る方法でも良い。この方法ならば本実施形態のような専用の動画像復号化装置を必要としない。
【００８６】
また、本実施形態においては、動画像符号化形式としてＤＣＴを用いた方式を採用したが、その他の変換手法、例えばWavelet変換等でも構わない。
【００８７】
以上、本実施形態によれば、符号化と同時に動画像中の物体を個別に識別することが可能であり、例えばリアルタイムに侵入物体の監視しつつ記録しておくような監視システム等での使用が可能となる。
【００８８】
（第３の実施形態）
図１３は、本発明の動画像内の物体識別装置を用いて監視装置を構成した場合の構成を説明する図である。
【００８９】
本実施形態の映像伝送の流れは次のようになる、カメラ部４０１で撮像した映像信号を動画像符号化部４０２で符号化して得られる符号化データを送信部４０３から無線伝送する。受信部４０４は送信部４０３から伝送されてきた符号化データを受信して、監視部４０５へ符号化データを入力する。
【００９０】
監視部４０５は、コンピュータを動画像復号化手段として機能させるためのプログラムを実装したコンピュータであり、受信部から送られてきたＭＰＥＧ４方式の符号化データを復号化して再生した画像を画面上に表示する。
【００９１】
本実施形態で用いる送信部４０３と受信部４０４の間の通信は、PHS、携帯電話などの移動体電話回線、衛星通信回線あるいは無線LAN等で実現する。尚、無線を用いずに有線のLAN回線や一般の電話回線、ＩＳＤＮ回線その他専用線を用いても構わない。
【００９２】
本発明における第１の実施形態の動画像内の物体識別装置を本実施形態の監視装置に適用する場合は、監視部４０５のコンピュータに前述の動画像復号化プログラムの代わりにコンピュータを動画像復号化部１１０と物体識別部１１９として機能させるプログラムを実装すればよい。
【００９３】
また、本発明における第２の実施形態の動画像内の物体識別装置を本実施形態の監視装置に適用する場合は、動画像符号化部４０２として動画像符号化部２１８と物体識別部２２７を備えた構成のものを用いればよい。
【００９４】
この場合、物体識別部２２７の識別結果は符号化データと多重化して監視部４０５へ伝送されるので、監視部４０５のコンピュータには、コンピュータを動画像復号化部３１０及び識別物体合成表示部３１１として機能させるプログラムを実装して、多重化された識別結果を分離して表示できるようにしておけばよい。
【００９５】
尚、符号化方式としてＭＰＥＧ４を用い、識別結果の多重化にＭＰＥＧ４のオブジェクト圧縮を用いる場合は、監視部４０５のコンピュータには、コンピュータを、ＭＰＥＧ４方式で符号化された動画像データを復号化して再生画像を表示する手段として機能させるプログラムを実装しておけば、本実施形態専用の動画像復号化装置を用いなくとも物体を枠で囲って目立つように表示させることが可能となる。
【００９６】
本実施形態の監視装置では、識別結果はＭＰＥＧ１、２、４方式のユーザーデータ領域に出力されるので、物体が存在する場合に固有な動作を監視部４０５に行わせることが可能である。
【００９７】
例えば、物体が存在する場合に監視部４０５は警告音を発して監視者に注意を促したり、物体が存在する場合にのみ画像を表示したり、物体が存在する場合には画像を記録装置（監視部４０５はコンピュータだからハードディスクを利用すればよい）に記録させる等の応用が可能である。
【００９８】
【発明の効果】
以上に説明したように、本発明によって高速かつ安定して精度の良い動画像内の物体認識装置及び方法を提供することができる。
【図面の簡単な説明】
【図１】 本発明の第１の実施形態の動画像内の物体認識装置の構成を説明するブロック図
【図２】 図１の物体識別部１１９の動作を説明するフローチャート
【図３】 図２の非背景ブロック判定処理Ｓ１０１の動作を説明するフローチャート
【図４】 図３のブロック内マッチングＳ２０６の動作を説明する図
【図５】 図２の個別物体識別部１１７の動作を説明するフローチャート
【図６】 図５の辞書内物体検索Ｓ３０２の動作を説明するフローチャート
【図７】 本発明の動画像内の物体認識装置による物体認識結果を示す図
【図８】 本発明の第２の実施形態の動画像内の物体認識装置の符号化側の構成を示すブロック図
【図９】 本発明の第２の実施形態の動画像内の物体認識装置の復号化側の構成を示すブロック図
【図１０】 従来の動画像内の物体認識装置による物体認識結果を示す図
【図１１】 本発明の第２の実施形態において、入力動画像信号と背景メモリの画像から物体識別を行うようにした場合の符号化側の構成を示すブロック図。
【図１２】 図１１から識別物体合成表示部を除いた構成を示すブロック図。
【図１３】 本発明の物体識別装置を用いて監視装置を構成した場合の構成を説明する図。
【符号の説明】
１０１ 入力バッファ
１０２ 多重化分離部
１０３ 可変長復号化部
１０４ 逆量子化部
１０５ ＩＤＣＴ部
１０６ 加算器
１０７ フレームメモリ
１０８ 動き補償部
１０９ モード切替スイッチ
１１０ 動画像復号化部
１１１ 背景メモリ更新スイッチ
１１２ 加算器
１１３ 乗算器
１１４ 加算器
１１５ 背景メモリ
１１６ 物体検出部
１１７ 個別物体識別部
１１８ 識別物体合成表示部
１１９ 物体識別部
２０１ ブロック化部
２０２ 減算器
２０３ モード切替スイッチ
２０４ 逆量子化部
２０５ ＤＣＴ部
２０６ 量子化部
２０７ ＩＤＣＴ部
２０８ 加算器
２０９ フレームメモリ
２１０ 動き補償部
２１１ モード切替スイッチ
２１２ モード選択部
２１３ 符号化制御部
２１４ 可変長符号化部
２１５ 多重化部
２１６ 出力バッファ
２１７ 符号化部
２１８ 動画像符号化部
２１９ 背景メモリ更新スイッチ
２２０ 加算器
２２１ 乗算器
２２２ 加算器
２２３ 背景メモリ
２２４ 物体検出部
２２５ 個別物体識別部
２２６ 識別物体合成表示部
２２７ 物体識別部
２２８ フレームメモリ
３０１ 入力バッファ
３０２ 多重化分離部
３０３ 可変長復号化部
３０４ 逆量子化部
３０５ ＩＤＣＴ部
３０６ 加算器
３０７ フレームメモリ
３０８ 動き補償部
３０９ モード切替スイッチ
３１０ 動画像復号化部
３１１ 識別物体合成表示部
４０１ カメラ部
４０２ 動画像符号化部
４０３ 送信部
４０４ 受信部
４０５ 監視部
Claims (10)
- 動画像信号を圧縮符号化して得られる符号化データを復号化する動画像復号化手段と、
前記符号化データを復号して得られる符号化情報を参照して前記動画像復号化手段によって復号化された再生画像信号の符号化単位であるブロック毎に、前記再生画像信号と過去に作成された背景画像を比較して背景・非背景の判別を行い、物体を検出する物体検出手段と、
検出した物体と過去に識別された物体とをブロック毎に照合して過去に識別した物体と同一の物体であるか、あるいは新しく現れた物体であるかを識別し、個別物体存在領域情報を生成するとともに識別結果を更新・記憶する個別物体識別手段と、
前記再生画像信号及び前記背景画像から、前記個別物体存在領域情報を参照して背景画像を作成・記憶する背景画像作成手段と、
を有し、
前記物体検出手段は、前記動画像復号化手段で扱う符号化方式に複数のブロックで構成される階層であるマクロブロックが存在し、かつマクロブロック自身の符号化情報が存在する場合は、１次的にマクロブロック単位で背景・非背景判別を行い、該マクロブロックが非背景と判別された場合には２次的にマクロブロックを構成するブロック毎の背景・非背景判別を行う一方、背景と判別された場合はマクロブロックを構成する全ブロックが背景であるとみなす、
ことを特徴とする動画像内の物体識別装置。 - 動画像信号を圧縮符号化して得られる符号化データを復号化する動画像復号化手段と、
前記符号化データを復号化して得られる符号化情報を参照して、前記動画像復号化手段で復号化された再生画像信号の符号化単位であるブロック毎に、前記再生画像信号と背景画像を比較して背景・非背景の判別を行い、物体を検出する物体検出手段と、
検出した物体と過去に識別された物体とをブロック毎に照合して、過去に識別した物体と同一の物体であるか、あるいは新しく現れた物体であるかを識別して個別物体存在領域情報を生成するとともに識別結果を更新・記憶する個別物体識別手段と、
前記個別物体存在領域情報を画像に変換して前記再生画像信号上に表示する識別物体合成表示手段と、前記再生画像信号及び前記背景画像から、前記個別物体存在領域情報を参照して背景画像を作成・記憶する背景画像作成手段と、
を有し、
前記物体検出手段は、前記動画像復号化手段で扱う符号化方式に複数のブロックで構成される階層であるマクロブロックが存在し、かつマクロブロック自身の符号化情報が存在する場合は、１次的にマクロブロック単位で背景・非背景判別を行い、該マクロブロックが非背景と判別された場合には２次的にマクロブロックを構成するブロック毎の背景・非背景判別を行う一方、背景と判別された場合はマクロブロックを構成する全ブロックが背景であるとみなす、
ことを特徴とする動画像内の物体識別装置。 - 前記符号化情報は、前記動画像復号化手段によって復号化されて得られることを特徴とする請求項１または請求項２のいずれか一項に記載の動画像内の物体識別装置。
- 入力された動画像信号を符号化する動画像符号化手段と、
前記動画像符号化手段の符号化過程で生成される局部再生画像信号もしくは入力された動画像信号のいずれかの画像信号と過去に作成された背景画像から前記動画像符号化手段で生成される符号化情報を参照して背景・非背景の判別を行い、入力された動画像の符号化単位で物体を検出する物体検出手段と、
前記物体検出手段によって検出された物体と過去に識別された物体との照合を行い、過去に識別された物体と新しく出現した物体とを識別して個別物体存在領域情報を生成する個別物体識別手段と、
前記局部再生画像信号もしくは入力された動画像信号のいずれかの画像信号と過去に作成された背景画像から、前記個別物体存在領域情報を参照して背景画像を作成・記憶する背景画像作成手段と、
を有し、
前記物体検出手段は、前記動画像符号化手段で扱う符号化方式に複数のブロックで構成される階層であるマクロブロックが存在し、かつマクロブロック自身の符号化情報が存在する場合は、１次的にマクロブロック単位で背景・非背景判別を行い、該マクロブロックが非背景と判別された場合には２次的にマクロブロックを構成するブロック毎の背景・非背景判別を行う一方、背景と判別された場合はマクロブロックを構成する全ブロックが背景であるとみなす、
ことを特徴とする動画像内の物体識別装置。 - 入力された動画像信号を符号化する動画像符号化手段と、
前記動画像符号化手段の符号化過程で生成される局部再生画像信号もしくは入力された動画像信号のいずれかの画像信号と記憶されている背景画像から前記動画像符号化手段で生成される符号化情報を参照して背景・非背景の判別を行い、入力された動画像の符号化単位で物体を検出する物体検出手段と、
前記物体検出手段によって検出された物体と過去に識別された物体との照合を行い、過去に識別された物体と新しく出現した物体とを識別して個別物体存在領域情報を生成する個別物体識別手段と、
個別物体存在領域情報を前記動画像符号化手段から得られる符号化データに多重化させる識別物体多重化手段と、
前記局部再生画像信号もしくは入力された動画像信号のいずれかの画像信号と過去に作成された背景画像から、前記個別物体存在領域情報を参照して背景画像を作成・記憶する背景画像作成手段と、
を有し、
前記物体検出手段は、前記動画像符号化手段で扱う符号化方式に複数のブロックで構成される階層であるマクロブロックが存在し、かつマクロブロック自身の符号化情報が存在する場合は、１次的にマクロブロック単位で背景・非背景判別を行い、該マクロブロックが非背景と判別された場合には２次的にマクロブロックを構成するブロック毎の背景・非背景判別を行う一方、背景と判別された場合はマクロブロックを構成する全ブロックが背景であるとみなす、
ことを特徴とする動画像内の物体識別装置。 - 前記物体検出手段は、物体と判定したブロックの周囲の所定の範囲内にあるブロックが全て背景と判定された場合は当該ブロックを背景とみなすことを特徴とする請求項１から請求項５までのいずれか一項に記載の動画像内の物体識別装置。
- 前記個別物体識別手段は、画面内に存在する個別物体の存在領域と、前記個別物体と存在領域を関連付ける識別子と、前記個別物体が存在する画面とを登録しておく辞書を有し、
前記個別物体識別手段は、前記物体検出手段によって検出された検出物体と、辞書に登録されたフレーム内で前記検出物体と同位置及びその位置から所定の範囲内に存在する辞書に登録された物体との間で、画素値ないし画素値の統計量を比較して、辞書に登録された物体の中に比較した誤差が所定の閾値以下かつ最小となる物体が存在する場合は、検出物体はこの物体と同一であると判定し、存在しない場合は、検出物体は新規物体であると判定することを特徴とする、
請求項１から請求項６までのいずれか一項に記載の動画像内の物体識別装置。 - 動画像信号を圧縮符号化して得られる符号化データを復号化する動画像復号化ステップと、
前記動画像復号化ステップによって復号化された再生画像信号と符号化データから得られる符号化情報とをもとにして背景画像を作成する背景画像作成ステップと、
前記再生画像信号あるいは前記動画像信号と前記符号化情報と前記背景画像から背景・非背景の判別を前記再生画像信号の符号化単位であるブロック毎に行って非背景の物体をブロック単位で検出し、物体存在領域情報を生成する物体検出ステップと、
物体存在領域情報を参照して、検出した物体と過去に識別された物体と照合し、過去に識別された物体と新しく出現した物体とを識別して個別物体存在領域情報を生成する個別物体識別ステップと、
を有し、
前記物体検出ステップでは、前記動画像復号化ステップで扱う符号化方式に複数のブロックで構成される階層であるマクロブロックが存在し、かつマクロブロック自身の符号化情報が存在する場合は、１次的にマクロブロック単位で背景・非背景判別を行い、該マクロブロックが非背景と判別された場合には２次的にマクロブロックを構成するブロック毎の背景・非背景判別を行う一方、背景と判別された場合はマクロブロックを構成する全ブロックが背景であるとみなす、
ことを特徴とする動画像内の物体識別方法。 - 前記符号化情報は、前記動画像復号化ステップで復号化される、
ことを特徴とする請求項８に記載の動画像内の物体識別方法。 - 前記物体検出ステップは、物体と判定したブロックの周囲の所定の範囲内にあるブロックが全て背景と判定された場合は当該ブロックを背景とみなす、
ことを特徴とする請求項８または請求項９のいずれか一項に記載の動画像内の物体識別方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001355581A JP3886784B2 (ja) | 2001-11-21 | 2001-11-21 | 動画像内の物体識別装置及び方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001355581A JP3886784B2 (ja) | 2001-11-21 | 2001-11-21 | 動画像内の物体識別装置及び方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003157440A JP2003157440A (ja) | 2003-05-30 |
| JP3886784B2 true JP3886784B2 (ja) | 2007-02-28 |
Family
ID=19167260
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001355581A Expired - Fee Related JP3886784B2 (ja) | 2001-11-21 | 2001-11-21 | 動画像内の物体識別装置及び方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3886784B2 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4761029B2 (ja) * | 2005-07-06 | 2011-08-31 | 横河電機株式会社 | 画像解析システム |
| US8379989B2 (en) | 2008-04-01 | 2013-02-19 | Toyota Jidosha Kabushiki Kaisha | Image search apparatus and image processing apparatus |
| KR101369915B1 (ko) | 2009-01-23 | 2014-03-06 | 닛본 덴끼 가부시끼가이샤 | 영상 식별자 추출 장치 |
| JP2014241134A (ja) * | 2013-06-11 | 2014-12-25 | ゼロックス コーポレイションＸｅｒｏｘ Ｃｏｒｐｏｒａｔｉｏｎ | 動きベクトルを使用して車両を分類する方法およびシステム |
| CN109598276A (zh) * | 2017-09-30 | 2019-04-09 | 佳能株式会社 | 图像处理装置和方法及监控系统 |
-
2001
- 2001-11-21 JP JP2001355581A patent/JP3886784B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003157440A (ja) | 2003-05-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3363039B2 (ja) | 動画像内の移動物体検出装置 | |
| US6775326B2 (en) | Moving image estimating system | |
| US7082210B2 (en) | Moving object detector and image monitoring system | |
| CA3050582C (en) | Image predictive encoding device, image predictive encoding method, image predictive encoding program, image predictive decoding device, image predictive decoding method, and image predictive decoding program | |
| WO2003052951A1 (en) | Method and apparatus for motion detection from compressed video sequence | |
| US20090141938A1 (en) | Robot vision system and detection method | |
| US20080123747A1 (en) | Method and apparatus for encoding and decoding video images | |
| JP2008505562A (ja) | Ｍｐｅｇビデオストリーム内の動きを検出する方法及び装置 | |
| US20070092007A1 (en) | Methods and systems for video data processing employing frame/field region predictions in motion estimation | |
| US7280596B2 (en) | Apparatus detecting motion of image data and detecting method thereof | |
| JP4157234B2 (ja) | 動画像内の移動物体検出装置 | |
| JP4223169B2 (ja) | 動きベクトル検出方法，動きベクトル検出装置，及びデータ記録媒体 | |
| JP3886784B2 (ja) | 動画像内の物体識別装置及び方法 | |
| US20110129012A1 (en) | Video Data Compression | |
| US7224842B2 (en) | Object recognition apparatus and object recognition method | |
| EP2280550A1 (en) | Mask generation for motion compensation | |
| JP3711022B2 (ja) | 動画像内の特定物体認識方法及び装置 | |
| JPH06209466A (ja) | 動ベクトル検出装置 | |
| JP2000209570A (ja) | 移動物体監視装置 | |
| US7995653B2 (en) | Method for finding the prediction direction in intraframe video coding | |
| JP2000175198A (ja) | 画像記録装置 | |
| JPH11266459A (ja) | 動画像符号化装置、移動物体検出装置およびこれら装置に適用される動き予測装置 | |
| JP2002344949A (ja) | 動画像監視装置 | |
| JPH08172631A (ja) | 画像予測符号化方法 | |
| JP2008072608A (ja) | 画像符号化装置及び画像符号化方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20050414 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20050606 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060720 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060901 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061027 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061121 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061122 |
|
| LAPS | Cancellation because of no payment of annual fees |