JP3595238B2 - 動画像解析方法及び装置 - Google Patents
動画像解析方法及び装置 Download PDFInfo
- Publication number
- JP3595238B2 JP3595238B2 JP2000099873A JP2000099873A JP3595238B2 JP 3595238 B2 JP3595238 B2 JP 3595238B2 JP 2000099873 A JP2000099873 A JP 2000099873A JP 2000099873 A JP2000099873 A JP 2000099873A JP 3595238 B2 JP3595238 B2 JP 3595238B2
- Authority
- JP
- Japan
- Prior art keywords
- image signal
- analysis
- unit
- moving
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、動画像解析方法及び装置に係り、特に動画像符号化装置または動画像復号化装置の出力から動画像内の移動物体などの特定の解析対象を解析する方法及び装置に関する。
【０００２】
【従来の技術】
動画像内に存在する特定物体などの解析対象を解析するためには、一般に画素値を調べる必要がある。しかし、画素値に関わる処理は実際には非常に多くの計算量を必要とする。例えば、動画像圧縮の国際標準であるＩＴＵ−Ｔ Ｈ．２６１，Ｈ．２６３，ＩＳＯ／ＩＥＣ ＭＰＥＧ−４等でよく用いられるＣＩＦフォーマットの場合、横３５２画素×縦２８８画素の１０１，３７６画素という非常に多くの画素について処理を行う必要がある。このような計算量の多い処理に対しては、専用のハードウェアを用意する必要があり、コスト面でも大きな問題があった。
【０００３】
一方、対象とする物体が移動物体の場合については、特開平９−２５２４６７号公報「移動物体検出装置」に示されるように動画像符号化装置で作られた動きベクトルを利用して動画像中の移動物体を検出する手法が提案されている。この方法によれば、動画像符号化装置で作成されるブロック毎の動きベクトルを移動物体の検出に流用できるので、移動物体検出のために特別に画素の動きを調べる必要がなく、必要な計算量を大幅に減らすことができる。
【０００４】
しかし、このような動きベクトルを利用した移動物体検出方法では、動きベクトルが大きいブロックや書き換わっているブロックが必ずしも移動物体とは限らず、また移動物体の内部のブロックでも、書き換わっていないブロックが存在することがあるため、移動物体の解析に適用することを考えた場合、必ずしも十分でない。さらに、この方法では少ない計算量で移動物体を検出できても、具体的にその物体が何であるかを特定するようなことはできない。
【０００５】
【発明が解決しようとする課題】
上述したように、個々の画素値を調べて特定物体を検出して解析する従来の技術では、膨大な計算量を必要とし、また計算量を減らすために動画像符号化装置で求められた動きベクトルを用いて移動物体を検出する方法では検出精度に問題があるた共に、物体の解析を行うことはできないという問題点があった。
【０００６】
そこで、本発明は高速かつ安定して精度よく動画像内の移動物体などの解析対象を解析できる動画像解析方法及び装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
上記の課題を解決するため、本発明の一つの態様では、動画像を圧縮符号化した符号化データを復号して得られた再生画像信号及び単位領域（例えば、マクロブロック）毎の符号化モード情報（例えば、ＣＯＤＥＤ／ＮＯＴ＿ＣＯＤＥＤ）と１フレーム前の再生画像信号である参照画像信号を参照して動画像内の移動物体などの特定の解析対象を判定し、判定した再生画像信号中の解析対象について解析処理を行う。
【０００８】
本発明の他の態様によると、動画像を圧縮符号化する過程で得られる局部復号画像信号及び単位領域毎の符号化モード情報と１フレーム前の局部復号画像信号である参照画像信号を参照して動画像内の特定の解析対象を判定し、判定した局部復号画像信号中の解析対象について解析処理を行う。
【０００９】
ここで、解析処理としては、例えば（ａ）解析対象の画像の色ヒストグラム作成処理、（ｂ）解析対象の画像のエッジ抽出処理、（ｃ）解析対象の画像の減色処理、（ｄ）解析対象の移動量推定処理、（ｅ）解析対象の画像と予め決められた条件とのマッチングによる解析対象の特定処理、の少なくとも一つの処理を行う。
【００１０】
このように本発明では、動画像符号化／復号化技術を利用し、復号化や符号化において得られる画像信号や符号化モード情報を用いて移動物体などの特定の解析対象を少ない計算量で確実に判定でき、この判定により解析処理を行う画像の領域を絞り込んだ上で解析処理を行うことによって、少ない計算量で高速かつ安定に解析を行うことができる。
【００１１】
【発明の実施の形態】
［第１の実施の形態］
図１に、本発明の第１の実施形態に係る動画像解析装置の構成を示す。この動画像解析装置は、大きく動画像復号化部１００と特定物体解析部１１０の２つの部分からなっている。以下、動画像復号化部１００及び特定物体解析部１１０について順次説明する。なお、以下の説明はＭＰＥＧ方式に基づく動画像復号化装置に本発明を適用した場合であり、単位領域はＭＰＥＧ方式でいうマクロブロックに相当する。
【００１２】
（動画像復号化部１００について）
動画像復号化部１００は、例えばＭＰＥＧ方式に基づく動画像復号化装置、いわゆるＭＰＥＧデコーダであり、この動画像復号化部１００には図示しないＭＰＥＧエンコーダのような動画像符号化部により動画像信号を圧縮符号化して得られた符号化データが伝送路または蓄積系を介して入力される。
【００１３】
入力された符号化データは、入力バッファ１０１に一度蓄えられる。入力バッファ１０１から読み出された符号化データは、多重化分離部１０２により１フレーム毎にシンタクスに基づいて分離された後、可変長復号化部１０３に入力される。可変長復号化部１０３では、可変長符号化されている量子化ＤＣＴ係数情報、符号化モード情報及び動きベクトル情報などの各シンタクスの情報がマクロブロック毎に復号される。なお、以降の説明で処理対象となっている単位領域であるマクロブロックを注目マクロブロックという。
【００１４】
可変長復号化部１０３において、注目マクロブロックの符号化モードがＩＮＴＲＡ（フレーム内符号化）ならば、可変長復号化部１０３から出力される符号化モード情報に従って、符号化モード切替スイッチ１０９がオフ状態とされる。この場合、可変長符号化部１０３で復号化された量子化ＤＣＴ係数情報が逆量子化部１０４で逆量子化され、さらにＩＤＣＴ部１０５で逆離散コサイン変換されることにより、再生画像信号が生成される。この再生画像信号は、加算器１０６を経由してフレームメモリ１０７に参照画像信号として蓄積されると共に、特定物体解析部１１０内の移動物体合成表示部１１５に入力される。
【００１５】
一方、可変長復号化部１０３において、注目マクロブロックの符号化モードがＩＮＴＥＲ（フレーム間符号化）及びＮＯＴ＿ＣＯＤＥＤ（非符号化）ならば、可変長復号化部１０３から出力される符号化モード情報に従って、符号化モード切替スイッチ１０９がオン状態とされる。この場合は、可変長復号化部１０３で復号された予測誤差信号についての量子化ＤＣＴ係数情報が逆量子化部１０４で逆量子化され、さらにＩＤＣＴ部１０５で逆離散コサイン変換されることにより、予測誤差信号が生成される。
【００１６】
そして、可変長復号化部１０３で復号化された動きベクトル情報に基づいて、動き補償部１０８においてフレームメモリ１０７からの参照画像信号について動き補償がなされ、この動き補償後の参照画像信号とＩＤＣＴ部１０５からの予測誤差信号が加算器１０６で加算されることにより、再生画像信号が生成される。この再生画像信号は、フレームメモリ１０７に参照画像信号として蓄積されると共に、特定物体解析部１１０内の移動物体合成表示部１１５に入力される。
【００１７】
（特定物体解析部１１０について）
一方、特定物体解析部１１０においては、動画像復号化部１００内の可変長符号化部１０３から出力される符号化モード情報と、加算器１０６から出力される再生画像信号及びフレームメモリ１０７から出力される、１フレーム前の再生画像信号である参照画像信号を入力し、マクロブロック移動物体判定部１１１で注目マクロブロックが解析対象である移動物体かどうかの判定を行い、その判定結果をマクロブロック解析部１１２に送る。
【００１８】
マクロブロック解析部１１２は、マクロブロック移動物体判定部１１１で移動物体と判定されたマクロブロックの画像解析を行い、解析結果を特定物体判定部１１３に送る。特定物体判定部１１３では、特定物体条件判定部１１４により指定されるマッチングをとるべき特定物体の条件に従って特定物体の判定を行う。
【００１９】
（マクロブロック移動物体判定部１１１について）
図２は、マクロブロック移動物体判定部１１１における１フレーム毎の処理の流れを示している。ここで、ｉとｊはフレーム内の垂直方向と水平方向のマクロブロックのアドレスをそれぞれ表し、Ｖ＿ＮＭＢとＨ＿ＮＢＭはフレーム内の垂直方向と水平方向のマクロブロック数を表している。マクロブロック毎に符号化モード情報と再生画像信号と１フレーム前の再生画像信号である参照画像信号を参照して、注目マクロブロックが移動物体に属しているかの判定を行う。
【００２０】
次に、移動物体包含処理（ステップＳ１０６）では、上のループで一つの移動物体と判定された一つまたは複数のマクロブロックを包含するような長方形の物体を検出し、移動物体マクロブロックの判定に加える。以後の処理は、この移動物体と判定された長方形のマクロブロック領域のみについて解析処理を行う。
【００２１】
（マクロブロック移動物体判定処理）
図３は、図２のマクロブロック移動物体判定処理（ステップＳ１０３）の具体的な処理の流れを示している。まず、マクロブロック毎に可変長復号化部１０３から出力される符号化モ一ド情報ＭＯＤＥの判定を行う（ステップＳ２０１）。まず、ＭＯＤＥがＩＮＴＲＡならば、注目マクロブロックの再生画像信号とフレームメモリ１０７からの参照画像信号との相関を計算し、閾値ＴＨ１と比較する（ステップＳ２０２）。この相関が閾値ＴＨ１よりも大きい場合、注目マクロブロックは移動物体マクロブロックと判定し（ステップＳ２０４）、相関が閾値ＴＨ１以下の場合、静止マクロブロックと判定する（ステップＳ２０５）。
【００２２】
ＭＯＤＥがＩＮＴＥＲならば、注目マクロブロックの再生画像信号と参照画像信号との相関を計算し、閾値ＴＨ２と比較する（ステップＳ２０３）。この相関が閾値ＴＨ２よりも大きい場合、注目マクロブロックは移動物体マクロブロックと判定し（ステップＳ２０４）、相関が閾値ＴＨ２以下の場合、静止マクロブロックと判定する（ステップＳ２０５）。ＭＯＤＥがＮＯＴ_ＣＯＤＥＤならば、無条件で静止マクロブロックと判定する（ステップＳ２０５）。
【００２３】
本実施形態では、相関計算として正規化相関値を用いる方法を例として示す。正規化相関値は、次式によって求められる。
【００２４】
【数１】
【００２５】
ここで、Ｆｃ （ｉ，ｊ）は注目マクロブロックの再生画像信号の各画素の輝度値、Ｆｒ （ｉ，ｊ）は相関演算の対象となるフレームの同一位置のマクロブロックの各画素の輝度値である。また、μｃ ，μｒ ，σｃ ，σｒ はそれぞれのマクロブロック内の各画素の輝度の平均値及び標準偏差である。
【００２６】
なお、再生画像信号とフレームメモリ１０７に保持されている１フレーム前の参照画像信号との相関値の計算に当たっては、再生画像信号と参照画像信号との相関値を直接計算してもよいが、可変長復号化部１０３からの動きベクトル情報及びＤＣＴ係数情報から、注目マクロブロックの動きベクトルの絶対値和Σ｜ＭＶ｜及びＤＣＴ係数の絶対値和Σ｜ＣＯＦ｜を計算し、それぞれの閾値と比較を行う方法であってもよい。この場合、動きベクトルの絶対値和Σ｜ＭＶ｜及びＤＣＴ係数の絶対値和Σ｜ＣＯＦ｜が閾値よりも大きい場合、移動物体マクロブロックと判定する。
【００２７】
（マクロブロック解析部１１２について）
図４は、マクロブロック解析部１１２の１フレーム毎の処理の流れを示している。図２同様に、ｉとｊはフレーム内の垂直方向と水平方向のマクロブロックのアドレスをそれぞれ表し、Ｖ＿ＮＭＢとＨ＿ＮＭＢはフレーム内の華直方向と水平方向のマクロブロック数を表している。マクロブロック解析処理（ステップＳ３０４）は、マクロブロック移動物体判定部１１１によって移動物体と判定されたマクロブロックのみ処理を行う。このことにより画面全体の画像解析を行うことなく、必要な領域のみの解析処理を実行することで、性能を落とすことなく計算量を大幅に削減可能となる。
【００２８】
図５は、図４のマクロブロック解析処理（ステップＳ３０４）の具体的な処理の流れを示している。エッジ抽出処理を行い（ステップＳ４０１）、その結果を２値化処理する（ステップＳ４０２）。エッジ抽出処理には、例えば空間微分フィルタを用いる。ここで、ｉ，ｊは画素の２次元メモリ上のアドレス、Ｐ（ｉ，ｊ）は再生画像信号を表している。
【００２９】
水平方向のエッジ抽出には、次式に示す２×２の垂直方向の一次空間微分フィルタを用いる。
図６（ａ）は式（２）のフィルタの係数を図式化したもので、左上の画素が参照画素Ｐ（ｉ，ｊ）となる。
【００３０】
また、垂直方向のエッジ抽出を行うには、次式（３）の２×２の水平方向の一次空間微分フィルタを用いる。
図６（ｂ）は式（３）のフィルタの係数を図式化したもので、左上の画素が参照画素Ｐ（ｉ，ｊ）となる。
【００３１】
また、水平・垂直・斜め方向のエッジ抽出を同時に行うフィルタとしては、次式（４）のようなラプラシアンフィルタがある。
図７は式（４）のフィルタの係数を図式化したもので、中央の画素が参照画素Ｐ（ｉ，ｊ）となる。
【００３２】
上記のエッジ抽出フィルタ処理を行った結果Ｆ（ｉ，ｊ）の値は、Ｆ（ｉ，ｊ）の絶対値が大きい領域はエッジ部分で、逆にゼロに近い部分は平坦部分であるという性質を持つ。従って、２値化処理では次式のように簡単な閾値関数で、エッジ抽出結果Ｆ（ｉ，ｊ）の絶対値が閾値Ｔより大きければ１、閾値Ｔ以下ならば０と表すことができる。
【００３３】
【数２】
【００３４】
（特定物体判定部１１３について）
次に、図８を用いて特定物体判定部１１３においてマクロブロック移動物体解析部１１２の解析処理結果から特定物体を判定する処理について説明する。特定物体判定部１１３では、マクロブロック解析部１１２で解析された移動物体マクロブロックの解析結果を基に特定物体の判定を行う。まず、マクロブロック解析部１１２で２値化処理されたデータの特徴量抽出処理を行う（ステップＳ５０１）。具体的な例としては、面積、周囲長、モーメント、１フレーム前からの移動量等の特徴量を計算する。次に、特定物体条件指定部１１４で指定された物体の条件に当てはまるかのマッチング処理を行い（ステップＳ５０２）、特定物体か否かを判定する。
【００３５】
（表示例について）
次に、図９〜図１１を用いて実際の画像上での本実施形態による判定結果の例について示す。
図９は、再生画像信号の表示画面である。
図１０は、マクロブロック移動物体判定部１１１の判定結果であり、移動物体マクロブロックを白色、静止マクロブロックを黒色で表している。
図１１は、移動物体マクロブロックの部分のみ水平方向と垂直方向のエッジ抽出処理を行い、その結果を２値化処理を行った結果を示している。
図１２は、特定物体合成表示部１１５によって表示された画像の例である。この例では、特定物体判定部１１３で特定物体が存在すると判定した移動物体マクロブロックを包含する長方形を再生動画像信号による動画像に合成して表示している。
【００３６】
（マクロブロックブロック解析部１１２の他の例について）
図１３は、マクロブロック解析部１１２における処理の別の例を示している。この例では、まず移動物体と判定されたマクロブロックの再生画像信号を次式によりＹＣｂＣｒ色空間からＨＳＶ色空間へと変換する（ステップＳ６０１）。次に、ＨＳＶ色空間に変換されたデータでＨ，Ｓ，Ｖ毎にヒストグラムを作成する（ステップＳ６０２）。
【００３７】
【数３】
【００３８】
ＹＣｂＣｒ→ＨＳＶ変換は、この式の例に限られず、他の式のＨＳＶ変換でも問題ない。
【００３９】
（特定物体判定部１１３の他の例について）
図１４は、マクロブロック解析部１１２の処理が図１３の例の場合の特定物体判定部１１３の処理の流れを示している。ここでは、図１３のヒストグラム作成処理（ステップＳ６０２）によって作成されたＨ，Ｓ，Ｖ毎のヒストグラムから色の割合を計算し、それに応じた閾値処理を行うことで、領域分割処理を行う（ステップＳ７０１）。次に、特定物体条件指定部１１４で指定された物体の条件に当てはまるかのマッチング処理により（ステップＳ６０２）、特定の物体か否かの判定を行う。
【００４０】
以上述べたように、本実施形態では動画像復号化部１００で得られる再生画像信号や符号化モード情報を用いて移動物体を少ない計算量で確実に判定でき、さらに、この移動物体判定により解析処理を行う画像の領域を絞り込んだ上で解析処理を行うことによって、少ない計算量で高速かつ安定して移動物体の解析ヲ行うことができる。
【００４１】
なお、本実施形態においては２つの画像処理手法の例を示したが、その他の画像処理手法でも同様に実行できることは言うまでもない。また、本実施形態においては、移動物体マクロブロックのみで解析することで解析する領域を絞り込んだが、さらなる条件、例えば移動物体の大きさや移動の方向等や、別の条件、例えば特定の輝度値や特定色の領域等によって解析する領域を絞り込んでもよい。
【００４２】
［第２の実施の形態］
図１５は、本発明の第２の実施形態に係る動画像解析装置の構成を示す。この動画像解析装置は、大きく動画像符号化部２００と特定物体解析部２２０の２つの部分からなっている。
【００４３】
図１５において、動画像符号化部２００に入力された入力動画像信号は、まずブロック化部２０１でマクロブロックに分割される。各マクロブロックの入力動画像信号は減算器２０２に入力され、ここで予測画像信号との差分がとられて予測残差信号が生成される。この予測残差信号とブロック化部２０１からの入力動画像信号のいずれか一方が符号化モード選択スイッチ２０３によって選択され、ＤＣＴ（離散コサイン変換）部２０４により離散コサイン変換される。ＤＣＴ部２０４で得られＤＣＴ係数データは、量子化部２０５で量子化される。量子化部２０５で量子化されたＤＣＴ係数データは二分岐され、一方は可変長符号化部２１４で可変長符号化される。
【００４４】
量子化部２０５で量子化され二分岐されたＤＣＴ係数データの他方は、逆量子化部２０６及びＩＤＣＴ（逆離散コサイン変抜）部２０７により量子化部２０５及びＤＣＴ部２０４の処理と逆の処理を順次受けた後、加算器２０８でスイッチ２１１を介して入力される予測画像信号と加算されることにより、局部復号画像信号が生成される。局部復号画像信号はフレームメモリ２０９に蓄えられ、フレームメモリ２０９から動き補償部２１０に入力される。動き補償部２１０では、予測画像信号を生成するとともに、符号化モード選択部２１２に必要な情報を送る。
【００４５】
符号化モード選択部２１２では、マクロブロック単位に動き補償部２１０からの予測情報Ｐに基づいて、フレーム間符号化を行うマクロブロックとフレーム内符号化を行うマクロブロックを選択する。フレーム内符号化（イントラ符号化）を行う場合は、符号化モード選択スイッチ情報ＭをＡとし、スイッチ情報ＳをＡとする。フレーム間符号化（インター符号化）を行う場合は、符号化モード選択スイッチ情報ＭをＢとし、スイッチ情報ＳをＢとする。符号化モード選択スイッチ２０３は符号化モード選択スイッチ情報Ｐに基づいて切り換えられ、またスイッチ２１１はスイッチ情報Ｓに基づいて切り換えられる。
【００４６】
ここで、符号化モードとしてイントラ符号化モード（ＩＮＴＲＡ）、インター符号化モード（ＩＮＴＥＲ）及び非符号化モード（ＮＯＴ＿ＣＯＤＥＤ）があり、これらの符号化モードが各マクロブロック毎に対応付けられている。ＩＮＴＲＡマクロブロックはフレーム内符号化される画像領域、ＩＮＴＥＲマクロブロックはフレーム間符号化される画像領域、ＮＯＴ＿ＣＯＤＥＤマクロブロックは符号化不要の画像領域である。
【００４７】
一方、特定物体解析部２２０においては、まず可変長符号化部２１４に入力された符号化モード情報をマクロブロック移動物体判定部２２１に入力する。マクロブロック移動物体判定部２２１では、注目マクロブロックが画面内で移動している物体がどうかを判定し、その判定結果をマクロブロック解析部２２２に入力する。マクロブロック解析部２２２では、マクロブロック移動物体判定部２２１で移動物体と判定されたマクロブロックの画素について画像解析を行い、解析結果を特定物体判定部２２３に送る。マクロブロック解析部２２２の判定結果は、特定物体合成表示部２２５に入力されるとともに、動画像符号化部２００の多重化部２１４に入力される。特定物体合成部２２５では、動画像符号化部２００によって作成された局部復号画像信号による動画像と特定物体の画像の合成画像を作成して表示する。
【００４８】
なお、マクロブロック移動物体判定部２２１、マクロブロック特定物体判定部２２２及び特定物体合成表示部２２３の具体的な処理内容は、第１の実施形態で説明した処理と同一であるため、説明を省略する。
【００４９】
符号化制御部２１３は、符号化部２１７（動画像符号化部２００のうち多重化部２１５より前の部分）での符号化情報と出力バッファ２１６のバッファ量を基に符号化部２１７における量子化部２０５での量子化ステップサイズ等のパラメータを制御する。可変長符号化部２１４で符号化された符号化データは、特定物体判定部２２３からの特定物体判定結果とともに多重化部２１６で多重化された後、出力バッファ２１７で送信レートが平滑化され、伝送系または蓄積系に伝送される。
【００５０】
［第３の実施形態］
図１８に、本発明の第３の実施形態に係る動画像解析装置の構成を示す。この動画像解析装置は、図１７に示した動画像符号化部２００と特定物体解析部２２０を組み合わせた第２の実施形態に係る動画像解析装置から伝送系または蓄積系を介して伝送されてきた符号化データを受け、この符号化データに基づき動画像内の解析対象、例えば特定物体の解析を行う装置であり、動画像復号化部３００に特定物体合成表示部３１０を組み合わせて構成される。
【００５１】
まず、動画像復号化部３１０において、伝送路または蓄積系から受信した符号化データは入力バッファ３０１に一度蓄えられ、多重化分離部３０２によりフレーム毎にシンタクスに基づいて分離され、可変長復号化部３０３に出力される。可変長復号化部３０３では、各シンタクスの情報の可変長符号が復号される。
【００５２】
符号化モード切替スイッチ３０９は可変長復号化部３０３から出力されるマクロブロック毎の符号化モード情報に従って制御され、符号化モードがＩＮＴＲＡならばオフとなる。このとき、可変長復号化部３０３で復号化された量子化ＤＣＴ係数情報は逆量子化部３０４で逆量子化され、ＩＤＣＴ部３０５で逆離散コサイン変換処理されることにより、再生画像信号が生成される。この再生画像信号は、フレームメモリ３０７に参照画像として蓄積されるとともに、特定物体合成表示部３１０に入力される。
【００５３】
マクロブロックの符号化モードがＩＮＴＥＲ及びＮＯＴ＿ＣＯＤＥＤならば、符号化モード切替スイッチ３０９はオンとなり、可変長復号化部３０３で復号化された量子化ＤＣＴ係数情報は逆量子化部３０４で逆量子化され、ＩＤＣＴ部３０５で逆離散コサイン変換処理された後、加算器３０６に入力され、ここで可変長復号化部３０３で復号化された動きベクトル情報に基づいて動き補償部３０８においてフレームメモリ３０７から読み出される参照画像信号を動き補償した信号と関されることにより、再生画像信号が生成される。この再生画像信号は、フレームメモリ３０７に参照画像信号として蓄積されるとともに、特定色物体合成表示部３１０に入力される。
【００５４】
一方、多重化分離部３０２で分離された特定物体判定結果も特定色物体合成表示部３１０に入力される。これにより特定物体合成表示部３１０では、再生画像上に特定物体が合成表示される。
【００５５】
本実施形態では、第１の実施形態で動画像復号化部で行っていた解析処理を動画像符号化部と組み合わせて行い、解析結果を多重化して行ったものであるが、特定物体を含むと判定したマクロブロックを包含する長方形の画像自体をＩＳＯ／ＩＥＣ ＭＰＥＧ４のマルチオブジェクト符号化で別のオブジェクトとして符号化し、多重化して動画像復号化装置に送る方法でもよい。
【００５６】
また、以上の実施形態では動画像符号化方式としてＤＣＴと動き補償及び可変長符号化を組み合わせた方式を例に説明したが、その他の圧縮符号化技術、例えばウェーブレット変換等を用いた場合でも同様に本発明に基づく動画像解析を適用することができる。
【００５７】
また、以上の実施形態においてはマクロブロック単位に処理を行う例を示したが、それよりの小さな単位での処理でも、大きな単位での処理でも同様の方法ができることは言うまでもない。
【００５８】
なお、本発明は上述した動画像解析処理の手順をパーソナルコンピュータなどに用いるコンピュータプログラムとして記録した記録媒体を提供することができる。そのような本発明に基づく記録媒体の好ましい態様は、次の通りである。
【００５９】
（１）コンピュータに動画像の解析処理を行わせるためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、動画像を圧縮符号化した符号化データを復号して得られた再生画像信号及び単位領域毎の符号化モード情報と１フレーム前の再生画像信号である参照画像信号を参照して動画像内の特定の解析対象を判定する判定ステップと、前記再生画像信号中の前記判定ステップにより判定された解析対象について解析処理を行う解析ステップとを含む処理を実行するためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【００６０】
（２）コンピュータに動画像の解析処理を行わせるためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、動画像を圧縮符号化する過程で得られる局部復号画像信号及び単位領域毎の符号化モード情報と１フレーム前の局部復号画像信号である参照画像信号を参照して動画像内の特定の解析対象を判定する判定ステップと、前記局部復号画像信号中の前記判定ステップにより判定された解析対象について解析処理を行う解析ステップとを含む処理を実行するためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【００６１】
【発明の効果】
以上説明したように、本発明によれば高速でかつ安定して精度よく動画像内の移動物体のような特定物体を解析できる動画像解析方法及び装置を提供することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係る動画解析装置の構成を示すブロック図
【図２】同実施形態におけるマクロブロック移動物体判別部の処理の流れを示すフローチャート
【図３】図２におけるマクロブロック移動物体判定処理の具体的な処理の流れを示すフローチャート
【図４】同実施形態におけるマクロブロック解析部の処理の流れを示すフローチャート
【図５】図３におけるマクロブロック解析処理の具体的な処理の流れを示すフローチャート
【図６】図５におけるエッジ抽出処理で用いる２×２の一次空間微分フィルタの係数を示す図
【図７】図５におけるエッジ抽出処理で用いるラプラシアンフィルタの係数を示す図
【図８】同実施形態における特定物体判定部の処理の流れを示すフローチャート
【図９】同実施形態における再生画像表示画面の具体例を示す図
【図１０】同実施形態におけるマクロブロック移動体判定部の判定結果の具体的な表示例を示す図
【図１１】同実施形態におけるマクロブロック解析部の解析結果の具体的な表示例を示す図
【図１２】同実施形態における特定物体合成表示部の具体的な表示例を示す図
【図１３】本発明のマクロブロック解析部の別の実施の形態の動作を示す流れ図
【図１４】同実施形態における特定物体判定部の別の例の処理の流れを示すフローチャート
【図１５】本発明の第２の実施形態に係る動画像解析装置の構成を示すブロック図
【図１６】本発明の第３の実施形態に係る動画像解析装置の構成を示すブロック図
【符号の説明】
１００…動画像復号化部
１０１…入力バッファ
１０２…多重化分離部
１０３…可変長復号化部
１０４…逆量子化部
１０５…ＩＤＣＴ部
１０６…加算器
１０７…フレームメモリ
１０８…動き補償部
１０９…モード切り替えスイッチ
１１０…特定物体解析部
１１１…マクロブロック移動物体判定部
１１２…マクロブロック解析部
１１３…特定物体判定部
１１４…特定物体条件指定部
１１５…特定物体合成表示部
２００…動画像符号化部
２０１…ブロック化部
２０２…減算器
２０３…符号化モード選択スイッチ
２０４…ＤＣＴ部
２０５…量子化部
２０６…逆量子化部
２０７…ＩＤＣＴ部
２０８…加算器
２０９…フレームメモリ
２１０…動き補償部
２１１…スイッチ
２１２…符号化モード選択部
２１３…符号化制御部
２１４…可変長符号化部
２１５…多重化部
２１６…出力バッファ
２１７…符号化部
２２０…特定物体解析部
２２１…マクロブロック移動物体判定部
２２２…マクロブロック解析部
２２３…特定物体判定部
２２４…特定物体条件指定部
２２５…特定物体合成表示部
３００…動画像復号化部
３０１…入力バッファ
３０２…多重化分離部
３０３…可変長復号化部
３０４…逆量子化部
３０５…ＩＤＣＴ部
３０６…加算器
３０７…フレームメモリ
３０８…動き補償部
３０９…モード切替スイッチ
３１０…特定物体合成表示部
【発明の属する技術分野】
この発明は、動画像解析方法及び装置に係り、特に動画像符号化装置または動画像復号化装置の出力から動画像内の移動物体などの特定の解析対象を解析する方法及び装置に関する。
【０００２】
【従来の技術】
動画像内に存在する特定物体などの解析対象を解析するためには、一般に画素値を調べる必要がある。しかし、画素値に関わる処理は実際には非常に多くの計算量を必要とする。例えば、動画像圧縮の国際標準であるＩＴＵ−Ｔ Ｈ．２６１，Ｈ．２６３，ＩＳＯ／ＩＥＣ ＭＰＥＧ−４等でよく用いられるＣＩＦフォーマットの場合、横３５２画素×縦２８８画素の１０１，３７６画素という非常に多くの画素について処理を行う必要がある。このような計算量の多い処理に対しては、専用のハードウェアを用意する必要があり、コスト面でも大きな問題があった。
【０００３】
一方、対象とする物体が移動物体の場合については、特開平９−２５２４６７号公報「移動物体検出装置」に示されるように動画像符号化装置で作られた動きベクトルを利用して動画像中の移動物体を検出する手法が提案されている。この方法によれば、動画像符号化装置で作成されるブロック毎の動きベクトルを移動物体の検出に流用できるので、移動物体検出のために特別に画素の動きを調べる必要がなく、必要な計算量を大幅に減らすことができる。
【０００４】
しかし、このような動きベクトルを利用した移動物体検出方法では、動きベクトルが大きいブロックや書き換わっているブロックが必ずしも移動物体とは限らず、また移動物体の内部のブロックでも、書き換わっていないブロックが存在することがあるため、移動物体の解析に適用することを考えた場合、必ずしも十分でない。さらに、この方法では少ない計算量で移動物体を検出できても、具体的にその物体が何であるかを特定するようなことはできない。
【０００５】
【発明が解決しようとする課題】
上述したように、個々の画素値を調べて特定物体を検出して解析する従来の技術では、膨大な計算量を必要とし、また計算量を減らすために動画像符号化装置で求められた動きベクトルを用いて移動物体を検出する方法では検出精度に問題があるた共に、物体の解析を行うことはできないという問題点があった。
【０００６】
そこで、本発明は高速かつ安定して精度よく動画像内の移動物体などの解析対象を解析できる動画像解析方法及び装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
上記の課題を解決するため、本発明の一つの態様では、動画像を圧縮符号化した符号化データを復号して得られた再生画像信号及び単位領域（例えば、マクロブロック）毎の符号化モード情報（例えば、ＣＯＤＥＤ／ＮＯＴ＿ＣＯＤＥＤ）と１フレーム前の再生画像信号である参照画像信号を参照して動画像内の移動物体などの特定の解析対象を判定し、判定した再生画像信号中の解析対象について解析処理を行う。
【０００８】
本発明の他の態様によると、動画像を圧縮符号化する過程で得られる局部復号画像信号及び単位領域毎の符号化モード情報と１フレーム前の局部復号画像信号である参照画像信号を参照して動画像内の特定の解析対象を判定し、判定した局部復号画像信号中の解析対象について解析処理を行う。
【０００９】
ここで、解析処理としては、例えば（ａ）解析対象の画像の色ヒストグラム作成処理、（ｂ）解析対象の画像のエッジ抽出処理、（ｃ）解析対象の画像の減色処理、（ｄ）解析対象の移動量推定処理、（ｅ）解析対象の画像と予め決められた条件とのマッチングによる解析対象の特定処理、の少なくとも一つの処理を行う。
【００１０】
このように本発明では、動画像符号化／復号化技術を利用し、復号化や符号化において得られる画像信号や符号化モード情報を用いて移動物体などの特定の解析対象を少ない計算量で確実に判定でき、この判定により解析処理を行う画像の領域を絞り込んだ上で解析処理を行うことによって、少ない計算量で高速かつ安定に解析を行うことができる。
【００１１】
【発明の実施の形態】
［第１の実施の形態］
図１に、本発明の第１の実施形態に係る動画像解析装置の構成を示す。この動画像解析装置は、大きく動画像復号化部１００と特定物体解析部１１０の２つの部分からなっている。以下、動画像復号化部１００及び特定物体解析部１１０について順次説明する。なお、以下の説明はＭＰＥＧ方式に基づく動画像復号化装置に本発明を適用した場合であり、単位領域はＭＰＥＧ方式でいうマクロブロックに相当する。
【００１２】
（動画像復号化部１００について）
動画像復号化部１００は、例えばＭＰＥＧ方式に基づく動画像復号化装置、いわゆるＭＰＥＧデコーダであり、この動画像復号化部１００には図示しないＭＰＥＧエンコーダのような動画像符号化部により動画像信号を圧縮符号化して得られた符号化データが伝送路または蓄積系を介して入力される。
【００１３】
入力された符号化データは、入力バッファ１０１に一度蓄えられる。入力バッファ１０１から読み出された符号化データは、多重化分離部１０２により１フレーム毎にシンタクスに基づいて分離された後、可変長復号化部１０３に入力される。可変長復号化部１０３では、可変長符号化されている量子化ＤＣＴ係数情報、符号化モード情報及び動きベクトル情報などの各シンタクスの情報がマクロブロック毎に復号される。なお、以降の説明で処理対象となっている単位領域であるマクロブロックを注目マクロブロックという。
【００１４】
可変長復号化部１０３において、注目マクロブロックの符号化モードがＩＮＴＲＡ（フレーム内符号化）ならば、可変長復号化部１０３から出力される符号化モード情報に従って、符号化モード切替スイッチ１０９がオフ状態とされる。この場合、可変長符号化部１０３で復号化された量子化ＤＣＴ係数情報が逆量子化部１０４で逆量子化され、さらにＩＤＣＴ部１０５で逆離散コサイン変換されることにより、再生画像信号が生成される。この再生画像信号は、加算器１０６を経由してフレームメモリ１０７に参照画像信号として蓄積されると共に、特定物体解析部１１０内の移動物体合成表示部１１５に入力される。
【００１５】
一方、可変長復号化部１０３において、注目マクロブロックの符号化モードがＩＮＴＥＲ（フレーム間符号化）及びＮＯＴ＿ＣＯＤＥＤ（非符号化）ならば、可変長復号化部１０３から出力される符号化モード情報に従って、符号化モード切替スイッチ１０９がオン状態とされる。この場合は、可変長復号化部１０３で復号された予測誤差信号についての量子化ＤＣＴ係数情報が逆量子化部１０４で逆量子化され、さらにＩＤＣＴ部１０５で逆離散コサイン変換されることにより、予測誤差信号が生成される。
【００１６】
そして、可変長復号化部１０３で復号化された動きベクトル情報に基づいて、動き補償部１０８においてフレームメモリ１０７からの参照画像信号について動き補償がなされ、この動き補償後の参照画像信号とＩＤＣＴ部１０５からの予測誤差信号が加算器１０６で加算されることにより、再生画像信号が生成される。この再生画像信号は、フレームメモリ１０７に参照画像信号として蓄積されると共に、特定物体解析部１１０内の移動物体合成表示部１１５に入力される。
【００１７】
（特定物体解析部１１０について）
一方、特定物体解析部１１０においては、動画像復号化部１００内の可変長符号化部１０３から出力される符号化モード情報と、加算器１０６から出力される再生画像信号及びフレームメモリ１０７から出力される、１フレーム前の再生画像信号である参照画像信号を入力し、マクロブロック移動物体判定部１１１で注目マクロブロックが解析対象である移動物体かどうかの判定を行い、その判定結果をマクロブロック解析部１１２に送る。
【００１８】
マクロブロック解析部１１２は、マクロブロック移動物体判定部１１１で移動物体と判定されたマクロブロックの画像解析を行い、解析結果を特定物体判定部１１３に送る。特定物体判定部１１３では、特定物体条件判定部１１４により指定されるマッチングをとるべき特定物体の条件に従って特定物体の判定を行う。
【００１９】
（マクロブロック移動物体判定部１１１について）
図２は、マクロブロック移動物体判定部１１１における１フレーム毎の処理の流れを示している。ここで、ｉとｊはフレーム内の垂直方向と水平方向のマクロブロックのアドレスをそれぞれ表し、Ｖ＿ＮＭＢとＨ＿ＮＢＭはフレーム内の垂直方向と水平方向のマクロブロック数を表している。マクロブロック毎に符号化モード情報と再生画像信号と１フレーム前の再生画像信号である参照画像信号を参照して、注目マクロブロックが移動物体に属しているかの判定を行う。
【００２０】
次に、移動物体包含処理（ステップＳ１０６）では、上のループで一つの移動物体と判定された一つまたは複数のマクロブロックを包含するような長方形の物体を検出し、移動物体マクロブロックの判定に加える。以後の処理は、この移動物体と判定された長方形のマクロブロック領域のみについて解析処理を行う。
【００２１】
（マクロブロック移動物体判定処理）
図３は、図２のマクロブロック移動物体判定処理（ステップＳ１０３）の具体的な処理の流れを示している。まず、マクロブロック毎に可変長復号化部１０３から出力される符号化モ一ド情報ＭＯＤＥの判定を行う（ステップＳ２０１）。まず、ＭＯＤＥがＩＮＴＲＡならば、注目マクロブロックの再生画像信号とフレームメモリ１０７からの参照画像信号との相関を計算し、閾値ＴＨ１と比較する（ステップＳ２０２）。この相関が閾値ＴＨ１よりも大きい場合、注目マクロブロックは移動物体マクロブロックと判定し（ステップＳ２０４）、相関が閾値ＴＨ１以下の場合、静止マクロブロックと判定する（ステップＳ２０５）。
【００２２】
ＭＯＤＥがＩＮＴＥＲならば、注目マクロブロックの再生画像信号と参照画像信号との相関を計算し、閾値ＴＨ２と比較する（ステップＳ２０３）。この相関が閾値ＴＨ２よりも大きい場合、注目マクロブロックは移動物体マクロブロックと判定し（ステップＳ２０４）、相関が閾値ＴＨ２以下の場合、静止マクロブロックと判定する（ステップＳ２０５）。ＭＯＤＥがＮＯＴ_ＣＯＤＥＤならば、無条件で静止マクロブロックと判定する（ステップＳ２０５）。
【００２３】
本実施形態では、相関計算として正規化相関値を用いる方法を例として示す。正規化相関値は、次式によって求められる。
【００２４】
【数１】
ここで、Ｆｃ （ｉ，ｊ）は注目マクロブロックの再生画像信号の各画素の輝度値、Ｆｒ （ｉ，ｊ）は相関演算の対象となるフレームの同一位置のマクロブロックの各画素の輝度値である。また、μｃ ，μｒ ，σｃ ，σｒ はそれぞれのマクロブロック内の各画素の輝度の平均値及び標準偏差である。
【００２６】
なお、再生画像信号とフレームメモリ１０７に保持されている１フレーム前の参照画像信号との相関値の計算に当たっては、再生画像信号と参照画像信号との相関値を直接計算してもよいが、可変長復号化部１０３からの動きベクトル情報及びＤＣＴ係数情報から、注目マクロブロックの動きベクトルの絶対値和Σ｜ＭＶ｜及びＤＣＴ係数の絶対値和Σ｜ＣＯＦ｜を計算し、それぞれの閾値と比較を行う方法であってもよい。この場合、動きベクトルの絶対値和Σ｜ＭＶ｜及びＤＣＴ係数の絶対値和Σ｜ＣＯＦ｜が閾値よりも大きい場合、移動物体マクロブロックと判定する。
【００２７】
（マクロブロック解析部１１２について）
図４は、マクロブロック解析部１１２の１フレーム毎の処理の流れを示している。図２同様に、ｉとｊはフレーム内の垂直方向と水平方向のマクロブロックのアドレスをそれぞれ表し、Ｖ＿ＮＭＢとＨ＿ＮＭＢはフレーム内の華直方向と水平方向のマクロブロック数を表している。マクロブロック解析処理（ステップＳ３０４）は、マクロブロック移動物体判定部１１１によって移動物体と判定されたマクロブロックのみ処理を行う。このことにより画面全体の画像解析を行うことなく、必要な領域のみの解析処理を実行することで、性能を落とすことなく計算量を大幅に削減可能となる。
【００２８】
図５は、図４のマクロブロック解析処理（ステップＳ３０４）の具体的な処理の流れを示している。エッジ抽出処理を行い（ステップＳ４０１）、その結果を２値化処理する（ステップＳ４０２）。エッジ抽出処理には、例えば空間微分フィルタを用いる。ここで、ｉ，ｊは画素の２次元メモリ上のアドレス、Ｐ（ｉ，ｊ）は再生画像信号を表している。
【００２９】
水平方向のエッジ抽出には、次式に示す２×２の垂直方向の一次空間微分フィルタを用いる。
【００３０】
また、垂直方向のエッジ抽出を行うには、次式（３）の２×２の水平方向の一次空間微分フィルタを用いる。
【００３１】
また、水平・垂直・斜め方向のエッジ抽出を同時に行うフィルタとしては、次式（４）のようなラプラシアンフィルタがある。
【００３２】
上記のエッジ抽出フィルタ処理を行った結果Ｆ（ｉ，ｊ）の値は、Ｆ（ｉ，ｊ）の絶対値が大きい領域はエッジ部分で、逆にゼロに近い部分は平坦部分であるという性質を持つ。従って、２値化処理では次式のように簡単な閾値関数で、エッジ抽出結果Ｆ（ｉ，ｊ）の絶対値が閾値Ｔより大きければ１、閾値Ｔ以下ならば０と表すことができる。
【００３３】
【数２】
（特定物体判定部１１３について）
次に、図８を用いて特定物体判定部１１３においてマクロブロック移動物体解析部１１２の解析処理結果から特定物体を判定する処理について説明する。特定物体判定部１１３では、マクロブロック解析部１１２で解析された移動物体マクロブロックの解析結果を基に特定物体の判定を行う。まず、マクロブロック解析部１１２で２値化処理されたデータの特徴量抽出処理を行う（ステップＳ５０１）。具体的な例としては、面積、周囲長、モーメント、１フレーム前からの移動量等の特徴量を計算する。次に、特定物体条件指定部１１４で指定された物体の条件に当てはまるかのマッチング処理を行い（ステップＳ５０２）、特定物体か否かを判定する。
【００３５】
（表示例について）
次に、図９〜図１１を用いて実際の画像上での本実施形態による判定結果の例について示す。
図９は、再生画像信号の表示画面である。
図１０は、マクロブロック移動物体判定部１１１の判定結果であり、移動物体マクロブロックを白色、静止マクロブロックを黒色で表している。
図１１は、移動物体マクロブロックの部分のみ水平方向と垂直方向のエッジ抽出処理を行い、その結果を２値化処理を行った結果を示している。
図１２は、特定物体合成表示部１１５によって表示された画像の例である。この例では、特定物体判定部１１３で特定物体が存在すると判定した移動物体マクロブロックを包含する長方形を再生動画像信号による動画像に合成して表示している。
【００３６】
（マクロブロックブロック解析部１１２の他の例について）
図１３は、マクロブロック解析部１１２における処理の別の例を示している。この例では、まず移動物体と判定されたマクロブロックの再生画像信号を次式によりＹＣｂＣｒ色空間からＨＳＶ色空間へと変換する（ステップＳ６０１）。次に、ＨＳＶ色空間に変換されたデータでＨ，Ｓ，Ｖ毎にヒストグラムを作成する（ステップＳ６０２）。
【００３７】
【数３】
ＹＣｂＣｒ→ＨＳＶ変換は、この式の例に限られず、他の式のＨＳＶ変換でも問題ない。
【００３９】
（特定物体判定部１１３の他の例について）
図１４は、マクロブロック解析部１１２の処理が図１３の例の場合の特定物体判定部１１３の処理の流れを示している。ここでは、図１３のヒストグラム作成処理（ステップＳ６０２）によって作成されたＨ，Ｓ，Ｖ毎のヒストグラムから色の割合を計算し、それに応じた閾値処理を行うことで、領域分割処理を行う（ステップＳ７０１）。次に、特定物体条件指定部１１４で指定された物体の条件に当てはまるかのマッチング処理により（ステップＳ６０２）、特定の物体か否かの判定を行う。
【００４０】
以上述べたように、本実施形態では動画像復号化部１００で得られる再生画像信号や符号化モード情報を用いて移動物体を少ない計算量で確実に判定でき、さらに、この移動物体判定により解析処理を行う画像の領域を絞り込んだ上で解析処理を行うことによって、少ない計算量で高速かつ安定して移動物体の解析ヲ行うことができる。
【００４１】
なお、本実施形態においては２つの画像処理手法の例を示したが、その他の画像処理手法でも同様に実行できることは言うまでもない。また、本実施形態においては、移動物体マクロブロックのみで解析することで解析する領域を絞り込んだが、さらなる条件、例えば移動物体の大きさや移動の方向等や、別の条件、例えば特定の輝度値や特定色の領域等によって解析する領域を絞り込んでもよい。
【００４２】
［第２の実施の形態］
図１５は、本発明の第２の実施形態に係る動画像解析装置の構成を示す。この動画像解析装置は、大きく動画像符号化部２００と特定物体解析部２２０の２つの部分からなっている。
【００４３】
図１５において、動画像符号化部２００に入力された入力動画像信号は、まずブロック化部２０１でマクロブロックに分割される。各マクロブロックの入力動画像信号は減算器２０２に入力され、ここで予測画像信号との差分がとられて予測残差信号が生成される。この予測残差信号とブロック化部２０１からの入力動画像信号のいずれか一方が符号化モード選択スイッチ２０３によって選択され、ＤＣＴ（離散コサイン変換）部２０４により離散コサイン変換される。ＤＣＴ部２０４で得られＤＣＴ係数データは、量子化部２０５で量子化される。量子化部２０５で量子化されたＤＣＴ係数データは二分岐され、一方は可変長符号化部２１４で可変長符号化される。
【００４４】
量子化部２０５で量子化され二分岐されたＤＣＴ係数データの他方は、逆量子化部２０６及びＩＤＣＴ（逆離散コサイン変抜）部２０７により量子化部２０５及びＤＣＴ部２０４の処理と逆の処理を順次受けた後、加算器２０８でスイッチ２１１を介して入力される予測画像信号と加算されることにより、局部復号画像信号が生成される。局部復号画像信号はフレームメモリ２０９に蓄えられ、フレームメモリ２０９から動き補償部２１０に入力される。動き補償部２１０では、予測画像信号を生成するとともに、符号化モード選択部２１２に必要な情報を送る。
【００４５】
符号化モード選択部２１２では、マクロブロック単位に動き補償部２１０からの予測情報Ｐに基づいて、フレーム間符号化を行うマクロブロックとフレーム内符号化を行うマクロブロックを選択する。フレーム内符号化（イントラ符号化）を行う場合は、符号化モード選択スイッチ情報ＭをＡとし、スイッチ情報ＳをＡとする。フレーム間符号化（インター符号化）を行う場合は、符号化モード選択スイッチ情報ＭをＢとし、スイッチ情報ＳをＢとする。符号化モード選択スイッチ２０３は符号化モード選択スイッチ情報Ｐに基づいて切り換えられ、またスイッチ２１１はスイッチ情報Ｓに基づいて切り換えられる。
【００４６】
ここで、符号化モードとしてイントラ符号化モード（ＩＮＴＲＡ）、インター符号化モード（ＩＮＴＥＲ）及び非符号化モード（ＮＯＴ＿ＣＯＤＥＤ）があり、これらの符号化モードが各マクロブロック毎に対応付けられている。ＩＮＴＲＡマクロブロックはフレーム内符号化される画像領域、ＩＮＴＥＲマクロブロックはフレーム間符号化される画像領域、ＮＯＴ＿ＣＯＤＥＤマクロブロックは符号化不要の画像領域である。
【００４７】
一方、特定物体解析部２２０においては、まず可変長符号化部２１４に入力された符号化モード情報をマクロブロック移動物体判定部２２１に入力する。マクロブロック移動物体判定部２２１では、注目マクロブロックが画面内で移動している物体がどうかを判定し、その判定結果をマクロブロック解析部２２２に入力する。マクロブロック解析部２２２では、マクロブロック移動物体判定部２２１で移動物体と判定されたマクロブロックの画素について画像解析を行い、解析結果を特定物体判定部２２３に送る。マクロブロック解析部２２２の判定結果は、特定物体合成表示部２２５に入力されるとともに、動画像符号化部２００の多重化部２１４に入力される。特定物体合成部２２５では、動画像符号化部２００によって作成された局部復号画像信号による動画像と特定物体の画像の合成画像を作成して表示する。
【００４８】
なお、マクロブロック移動物体判定部２２１、マクロブロック特定物体判定部２２２及び特定物体合成表示部２２３の具体的な処理内容は、第１の実施形態で説明した処理と同一であるため、説明を省略する。
【００４９】
符号化制御部２１３は、符号化部２１７（動画像符号化部２００のうち多重化部２１５より前の部分）での符号化情報と出力バッファ２１６のバッファ量を基に符号化部２１７における量子化部２０５での量子化ステップサイズ等のパラメータを制御する。可変長符号化部２１４で符号化された符号化データは、特定物体判定部２２３からの特定物体判定結果とともに多重化部２１６で多重化された後、出力バッファ２１７で送信レートが平滑化され、伝送系または蓄積系に伝送される。
【００５０】
［第３の実施形態］
図１８に、本発明の第３の実施形態に係る動画像解析装置の構成を示す。この動画像解析装置は、図１７に示した動画像符号化部２００と特定物体解析部２２０を組み合わせた第２の実施形態に係る動画像解析装置から伝送系または蓄積系を介して伝送されてきた符号化データを受け、この符号化データに基づき動画像内の解析対象、例えば特定物体の解析を行う装置であり、動画像復号化部３００に特定物体合成表示部３１０を組み合わせて構成される。
【００５１】
まず、動画像復号化部３１０において、伝送路または蓄積系から受信した符号化データは入力バッファ３０１に一度蓄えられ、多重化分離部３０２によりフレーム毎にシンタクスに基づいて分離され、可変長復号化部３０３に出力される。可変長復号化部３０３では、各シンタクスの情報の可変長符号が復号される。
【００５２】
符号化モード切替スイッチ３０９は可変長復号化部３０３から出力されるマクロブロック毎の符号化モード情報に従って制御され、符号化モードがＩＮＴＲＡならばオフとなる。このとき、可変長復号化部３０３で復号化された量子化ＤＣＴ係数情報は逆量子化部３０４で逆量子化され、ＩＤＣＴ部３０５で逆離散コサイン変換処理されることにより、再生画像信号が生成される。この再生画像信号は、フレームメモリ３０７に参照画像として蓄積されるとともに、特定物体合成表示部３１０に入力される。
【００５３】
マクロブロックの符号化モードがＩＮＴＥＲ及びＮＯＴ＿ＣＯＤＥＤならば、符号化モード切替スイッチ３０９はオンとなり、可変長復号化部３０３で復号化された量子化ＤＣＴ係数情報は逆量子化部３０４で逆量子化され、ＩＤＣＴ部３０５で逆離散コサイン変換処理された後、加算器３０６に入力され、ここで可変長復号化部３０３で復号化された動きベクトル情報に基づいて動き補償部３０８においてフレームメモリ３０７から読み出される参照画像信号を動き補償した信号と関されることにより、再生画像信号が生成される。この再生画像信号は、フレームメモリ３０７に参照画像信号として蓄積されるとともに、特定色物体合成表示部３１０に入力される。
【００５４】
一方、多重化分離部３０２で分離された特定物体判定結果も特定色物体合成表示部３１０に入力される。これにより特定物体合成表示部３１０では、再生画像上に特定物体が合成表示される。
【００５５】
本実施形態では、第１の実施形態で動画像復号化部で行っていた解析処理を動画像符号化部と組み合わせて行い、解析結果を多重化して行ったものであるが、特定物体を含むと判定したマクロブロックを包含する長方形の画像自体をＩＳＯ／ＩＥＣ ＭＰＥＧ４のマルチオブジェクト符号化で別のオブジェクトとして符号化し、多重化して動画像復号化装置に送る方法でもよい。
【００５６】
また、以上の実施形態では動画像符号化方式としてＤＣＴと動き補償及び可変長符号化を組み合わせた方式を例に説明したが、その他の圧縮符号化技術、例えばウェーブレット変換等を用いた場合でも同様に本発明に基づく動画像解析を適用することができる。
【００５７】
また、以上の実施形態においてはマクロブロック単位に処理を行う例を示したが、それよりの小さな単位での処理でも、大きな単位での処理でも同様の方法ができることは言うまでもない。
【００５８】
なお、本発明は上述した動画像解析処理の手順をパーソナルコンピュータなどに用いるコンピュータプログラムとして記録した記録媒体を提供することができる。そのような本発明に基づく記録媒体の好ましい態様は、次の通りである。
【００５９】
（１）コンピュータに動画像の解析処理を行わせるためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、動画像を圧縮符号化した符号化データを復号して得られた再生画像信号及び単位領域毎の符号化モード情報と１フレーム前の再生画像信号である参照画像信号を参照して動画像内の特定の解析対象を判定する判定ステップと、前記再生画像信号中の前記判定ステップにより判定された解析対象について解析処理を行う解析ステップとを含む処理を実行するためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【００６０】
（２）コンピュータに動画像の解析処理を行わせるためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、動画像を圧縮符号化する過程で得られる局部復号画像信号及び単位領域毎の符号化モード情報と１フレーム前の局部復号画像信号である参照画像信号を参照して動画像内の特定の解析対象を判定する判定ステップと、前記局部復号画像信号中の前記判定ステップにより判定された解析対象について解析処理を行う解析ステップとを含む処理を実行するためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【００６１】
【発明の効果】
以上説明したように、本発明によれば高速でかつ安定して精度よく動画像内の移動物体のような特定物体を解析できる動画像解析方法及び装置を提供することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係る動画解析装置の構成を示すブロック図
【図２】同実施形態におけるマクロブロック移動物体判別部の処理の流れを示すフローチャート
【図３】図２におけるマクロブロック移動物体判定処理の具体的な処理の流れを示すフローチャート
【図４】同実施形態におけるマクロブロック解析部の処理の流れを示すフローチャート
【図５】図３におけるマクロブロック解析処理の具体的な処理の流れを示すフローチャート
【図６】図５におけるエッジ抽出処理で用いる２×２の一次空間微分フィルタの係数を示す図
【図７】図５におけるエッジ抽出処理で用いるラプラシアンフィルタの係数を示す図
【図８】同実施形態における特定物体判定部の処理の流れを示すフローチャート
【図９】同実施形態における再生画像表示画面の具体例を示す図
【図１０】同実施形態におけるマクロブロック移動体判定部の判定結果の具体的な表示例を示す図
【図１１】同実施形態におけるマクロブロック解析部の解析結果の具体的な表示例を示す図
【図１２】同実施形態における特定物体合成表示部の具体的な表示例を示す図
【図１３】本発明のマクロブロック解析部の別の実施の形態の動作を示す流れ図
【図１４】同実施形態における特定物体判定部の別の例の処理の流れを示すフローチャート
【図１５】本発明の第２の実施形態に係る動画像解析装置の構成を示すブロック図
【図１６】本発明の第３の実施形態に係る動画像解析装置の構成を示すブロック図
【符号の説明】
１００…動画像復号化部
１０１…入力バッファ
１０２…多重化分離部
１０３…可変長復号化部
１０４…逆量子化部
１０５…ＩＤＣＴ部
１０６…加算器
１０７…フレームメモリ
１０８…動き補償部
１０９…モード切り替えスイッチ
１１０…特定物体解析部
１１１…マクロブロック移動物体判定部
１１２…マクロブロック解析部
１１３…特定物体判定部
１１４…特定物体条件指定部
１１５…特定物体合成表示部
２００…動画像符号化部
２０１…ブロック化部
２０２…減算器
２０３…符号化モード選択スイッチ
２０４…ＤＣＴ部
２０５…量子化部
２０６…逆量子化部
２０７…ＩＤＣＴ部
２０８…加算器
２０９…フレームメモリ
２１０…動き補償部
２１１…スイッチ
２１２…符号化モード選択部
２１３…符号化制御部
２１４…可変長符号化部
２１５…多重化部
２１６…出力バッファ
２１７…符号化部
２２０…特定物体解析部
２２１…マクロブロック移動物体判定部
２２２…マクロブロック解析部
２２３…特定物体判定部
２２４…特定物体条件指定部
２２５…特定物体合成表示部
３００…動画像復号化部
３０１…入力バッファ
３０２…多重化分離部
３０３…可変長復号化部
３０４…逆量子化部
３０５…ＩＤＣＴ部
３０６…加算器
３０７…フレームメモリ
３０８…動き補償部
３０９…モード切替スイッチ
３１０…特定物体合成表示部
Claims (8)
- 動画像を圧縮符号化した符号化データを復号して得られた再生画像信号及び単位領域毎の符号化モード情報と１フレーム前の再生画像信号である参照画像信号を受け、単位領域の再生画像信号と参照画像信号との相関を求め、該相関に対して符号化モードがイントラの場合とインターの場合とで異なる閾値を用いて閾値判定を行うことにより、単位領域が動画像内の特定の解析対象である移動物体かどうかを判定する判定ステップと、
前記再生画像信号中の前記判定ステップにより移動物体と判定された解析対象について解析処理を行う解析ステップとを有する動画像解析方法。 - 動画像を圧縮符号化する過程で得られる局部復号画像信号及び単位領域毎の符号化モード情報と１フレーム前の局部復号画像信号である参照画像信号を受け、単位領域の局部復号画像信号と参照画像信号との相関を求め、該相関に対して符号化モードがイントラの場合とインターの場合とで異なる閾値を用いて閾値判定を行うことにより、単位領域が動画像内の特定の解析対象である移動物体かどうかを判定する判定ステップと、
前記局部復号画像信号中の前記判定ステップにより移動物体と判定された解析対象について解析処理を行う解析ステップとを有する動画像解析方法。 - 前記解析ステップは、（ａ）前記解析対象の画像の色ヒストグラム作成処理、（ｂ）前記解析対象の画像のエッジ抽出処理、（ｃ）前記解析対象の画像の減色処理、（ｄ）前記解析対象の移動量推定処理、（ｅ）前記解析対象の画像と予め決められた条件とのマッチングによる解析対象の特定処理、の少なくとも一つの処理を行う請求項１または２記載の動画像解析方法。
- 動画像を圧縮符号化した符号化データを復号して少なくとも再生画像信号及び単位領域毎の符号化モード情報と１フレーム前の再生画像信号である参照画像信号を生成する動画像復号化部と、
前記再生画像信号、符号化モード情報及び参照画像信号を受け、単位領域の再生画像信号と参照画像信号との相関を求め、該相関に対して符号化モードがイントラの場合とインターの場合とで異なる閾値を用いて閾値判定を行うことにより、単位領域が動画像内の特定の解析対象である移動物体かどうかを判定する判定部と、
前記再生画像信号中の前記判定部により移動物体と判定された解析対象について解析処理を行う解析部とを有する動画像解析装置。 - 動画像を圧縮符号化して符号化データを出力すると共に該圧縮符号化の過程で局部復号画像信号及び単位領域毎の符号化モード情報と１フレーム前の局部復号画像信号である参照画像信号を生成する動画像符号化部と、
前記局部復号画像信号、符号化モード情報及び参照画像信号を受け、単位領域の局部復号画像信号と参照画像信号との相関を求め、該相関に対して符号化モードがイントラの場合とインターの場合とで異なる閾値を用いて閾値判定を行うことにより、単位領域が動画像内の特定の解析対象である移動物体かどうかを判定する判定部と、
前記復号画像信号中の前記判定部により移動物体と判定された解析対象について移動物体と判定された解析対象について解析処理を行う解析部とを有する動画像解析装置。 - 前記解析部は、（ａ）前記解析対象の画像の色ヒストグラム作成処理、（ｂ）前記解析対象の画像のエッジ抽出処理、（ｃ）前記解析対象の画像の減色処理、（ｄ）前記解析対象の移動量推定処理、（ｅ）前記解析対象の画像と予め決められた条件とのマッチングによる解析対象の特定処理、の少なくとも一つの処理を行う請求項４または５記載の動画像解析装置。
- コンピュータに動画像の解析処理を行わせるためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
動画像を圧縮符号化した符号化データを復号して得られた再生画像信号及び単位領域毎の符号化モード情報と１フレーム前の再生画像信号である参照画像信号を受け、単位領域の再生画像信号移動物体と判定された解析対象について解析処理を行うと参照画像信号との相関を求め、該相関に対して符号化モードがイントラの場合とインターの場合とで異なる閾値を用いて閾値判定を行うことにより、単位領域が動画像内の特定の解析対象である移動物体かどうかを判定する判定ステップと、
前記再生画像信号中の前記判定ステップにより移動物体と判定された解析対象について解析処理を行う解析ステップとを含む処理を実行するためのプログラムを記録したコンピュータ読み取り可能な記録媒体。 - コンピュータに動画像の解析処理を行わせるためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
動画像を圧縮符号化する過程で得られる局部復号画像信号及び単位領域毎の符号化モード情報と１フレーム前の局部復号画像信号である参照画像信号を受け、単位領域の局部復号画像信号と参照画像信号との相関を求め、該相関に対して符号化モードがイントラの場合とインターの場合とで異なる閾値を用いて閾値判定を行うことにより、単位領域が動画像内の特定の解析対象である移動物体かどうかを判定する判定ステップと、
前記局部復号画像信号中の前記判定ステップにより移動物体と判定された解析対象について解析処理を行う解析ステップとを含む処理を実行するためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000099873A JP3595238B2 (ja) | 2000-03-31 | 2000-03-31 | 動画像解析方法及び装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000099873A JP3595238B2 (ja) | 2000-03-31 | 2000-03-31 | 動画像解析方法及び装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001285878A JP2001285878A (ja) | 2001-10-12 |
| JP3595238B2 true JP3595238B2 (ja) | 2004-12-02 |
Family
ID=18614163
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000099873A Expired - Fee Related JP3595238B2 (ja) | 2000-03-31 | 2000-03-31 | 動画像解析方法及び装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3595238B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011082801A (ja) * | 2009-10-07 | 2011-04-21 | Fujitsu Ltd | 画像処理装置および画像処理方法 |
-
2000
- 2000-03-31 JP JP2000099873A patent/JP3595238B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001285878A (ja) | 2001-10-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8139883B2 (en) | System and method for image and video encoding artifacts reduction and quality improvement | |
| US6466624B1 (en) | Video decoder with bit stream based enhancements | |
| KR100987365B1 (ko) | 비디오 프레임들로부터 키 프레임들의 선택 | |
| JP3363039B2 (ja) | 動画像内の移動物体検出装置 | |
| JP5195032B2 (ja) | 符号化装置／復号化装置、符号化方法／復号化方法及びプログラム | |
| US7742647B2 (en) | Image processing device and program | |
| JPH1155672A (ja) | 動画像符号化装置および動画像復号化装置および動画像符号化方法および動画像復号化方法 | |
| JP3633159B2 (ja) | 動画像信号符号化方法及び装置、並びに動画像信号伝送方法 | |
| JP4353460B2 (ja) | 動画データ処理装置及び方法並びにプログラム | |
| JP4157234B2 (ja) | 動画像内の移動物体検出装置 | |
| JP5256496B2 (ja) | 画像処理システム、画像処理方法、およびプログラム | |
| JP3595238B2 (ja) | 動画像解析方法及び装置 | |
| JP3711022B2 (ja) | 動画像内の特定物体認識方法及び装置 | |
| JP3732760B2 (ja) | 物体認識装置及び物体認識方法 | |
| JP3812808B2 (ja) | スキップ領域検出型動画像符号化装置および記録媒体 | |
| JP2002064823A (ja) | 圧縮動画像のシーンチェンジ検出装置、圧縮動画像のシーンチェンジ検出方法及びそのプログラムを記録した記録媒体 | |
| JP3407872B2 (ja) | 付加情報検出方法及び装置 | |
| US7706440B2 (en) | Method for reducing bit rate requirements for encoding multimedia data | |
| JP3641219B2 (ja) | 動画像内の特定物体検出方法及び装置 | |
| JP3253595B2 (ja) | 動画像特定色検出装置及び検出方法 | |
| JP2009253581A (ja) | 画像処理装置、画像処理方法、およびプログラム | |
| JP3548028B2 (ja) | 動画像移動物体検出装置及び検出方法 | |
| JP3873000B2 (ja) | 動画像移動物体検出装置及び検出方法 | |
| JP3597271B2 (ja) | 動画像のカット点画像検出装置 | |
| JP3637259B2 (ja) | 動画像解析処理方法及び装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040608 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040809 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040831 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040902 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070910 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080910 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080910 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090910 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |