JP3637259B2

JP3637259B2 - 動画像解析処理方法及び装置

Info

Publication number: JP3637259B2
Application number: JP2000099871A
Authority: JP
Inventors: 健中條; 敏明渡邊
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2000-03-31
Filing date: 2000-03-31
Publication date: 2005-04-13
Anticipated expiration: 2020-03-31
Also published as: JP2001283227A

Description

【０００１】
【発明の属する技術分野】
この発明は、動画像をフィルタ処理によって解析する動画像解析処理方法及び装置に関する。
【０００２】
【従来の技術】
一般に、画像の解析処理、例えば画像中の特定物体を解析する処理には、エッジの抽出や２値化等のフィルタ処理が用いられる。このようなフィルタ処理は従来、画素単位の処理によって実現されている。
【０００３】
一方、動画像はデータ量が非常に膨大であるため、動画像データを蓄積したり伝送する場合、ＭＰＥＧ−１やＭＰＥＧ−２，ＭＰＥＧ−４などの動画像符号化方式で圧縮したデータとして取り扱われることが多い。従って、動画像の解析を行う場合には、動画像復号化を行った後、再生画像信号に対してフィルタ処理を行うことになる。
【０００４】
しかし、このフィルタ処理においても画素毎に処理を行う必要があるため、静止画像に比較して大きな計算量を必要とするという問題がある。例えば、よく用いられるＣＣＩＲ６０１フォーマット（ＮＴＳＣ）の場合、輝度信号だけでも横７２０画素、縦４８０画素で合計３４５，６００画素もの画素について、フィルタ処理を行わなければならない。このようなフィルタ処理は、動画像復号化処理と比較しても計算量が非常に多い。従って、フィルタ処理をソフトウェアで実現する場合、リアルタイムでの実現が困難であったり、またハードウェアで実現する場合でも回路規模が大きくなり、コスト面でも大きな負担であった。
【０００５】
【発明が解決しようとする課題】
上述したように、従来技術による動画像の解析処理では、画素毎に行うフィルタ処理に多くの計算量を必要とし、フィルタ処理をソフトウェアで実現する場合はリアルタイム性の点で問題があり、またハードウェアで実現する場合にはコスト的な負担が大きくなるという問題があった。
【０００６】
従って、本発明は少ない計算量で効果的に動画像をフィルタ処理により解析することのできる動画像解析処理方法及び装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
上記の課題を解決するため、本発明の一つの態様では、動画像解析処理を動画像復号化と組み合わせて、動画像を圧縮符号化した符号化データを復号して得られた再生画像信号をフィルタ処理し、該フィルタ処理された画像信号を出力画像メモリに解析処理結果として蓄積する際、符号化データを復号して得られた単位領域毎の符号化モード情報から単位領域毎に出力画像メモリの内容を書き換えるか否かを判定し、再生画像信号のうち書き換えると判定された単位領域の画像信号のみフィルタ処理を行うことを特徴とする。
【０００８】
本発明の他の態様では、動画像解析処理を動画像復号化と組み合わせて、動画像を圧縮符号化する過程で生成された局部復号画像信号をフィルタ処理し、該フィルタ処理された画像信号を出力画像メモリに解析処理結果として蓄積する際、圧縮符号化の過程で生成された単位領域毎の符号化モード情報から単位領域毎に出力画像メモリの内容を書き換えるか否かを判定し、局部復号画像信号のうち書き換えると判定された単位領域の画像信号のみフィルタ処理を行うことを特徴とする。
【０００９】
このようなフィルタ処理によって動画像の解析処理を行うようにすれば、出力画像メモリの内容が書き換わらない領域については、以前のフィルタ処理により得られた画像信号がそのまま解析処理結果として出力画像メモリに出力されることになる。従って、動画像復号化により得られた再生画像信号または動画像符号化時に生成された局部復号画像信号を１フレーム全体にわたってフィルタ処理を行ったのと実質的に同等の結果となり、書き換わらない領域の分だけフィルタ処理に必要な計算量を削減することができる。
【００１０】
本発明におけるフィルタは、フィルタ処理として例えばエッジ抽出処理や２値化処理を行う。このようなフィルタ処理を動画像復号化または復号化と組み合わせて実施することによって、本発明では効率的に動画像のエッジ抽出処理や２値化処理を実行することができる。
【００１１】
【発明の実施の形態】
［第１の実施の形態］
図１に、本発明の第１の実施形態に係る動画像解析装置の構成を示す。この動画像解析装置は、大きく動画像復号化部１００と解析フィルタ部１１０の２つの部分からなっている。以下、動画像復号化部１００及び解析フィルタ部１１０について順次説明する。なお、以下の説明はＭＰＥＧ方式に基づく動画像復号化装置に本発明を適用した場合であり、単位領域はＭＰＥＧ方式でいうマクロブロックに相当する。
【００１２】
（動画像復号化部１００について）
動画像復号化部１００は、例えばＭＰＥＧ方式に基づく動画像復号化装置、いわゆるＭＰＥＧデコーダであり、この動画像復号化部１００には図示しないＭＰＥＧエンコーダのような動画像符号化部により動画像信号を圧縮符号化して得られた符号化データが伝送路または蓄積系を介して入力される。
【００１３】
入力された符号化データは、入力バッファ１０１に一度蓄えられる。入力バッファ１０１から読み出された符号化データは、多重化分離部１０２により１フレーム毎にシンタクスに基づいて分離された後、可変長復号化部１０３に入力される。可変長復号化部１０３では、可変長符号化されている量子化ＤＣＴ係数情報、符号化モード情報及び動きベクトル情報などの各シンタクスの情報がマクロブロック毎に復号される。なお、以降の説明で処理対象となっている単位領域であるマクロブロックを注目マクロブロックという。
【００１４】
可変長復号化部１０３において、注目マクロブロックの符号化モードがＩＮＴＲＡ（フレーム内符号化）ならば、可変長復号化部１０３から出力される符号化モード情報に従って、符号化モード切替スイッチ１０９がオフ状態とされる。この場合、可変長符号化部１０３で復号化された量子化ＤＣＴ係数情報が逆量子化部１０４で逆量子化され、さらにＩＤＣＴ部１０５で逆離散コサイン変換されることにより、再生画像信号が生成される。この再生画像信号は、加算器１０６を経由してフレームメモリ１０７に参照画像信号として蓄積されると共に、解析フィルタ１１０内のスイッチ１１２に入力される。
【００１５】
一方、可変長復号化部１０３において、注目マクロブロックの符号化モードがＩＮＴＥＲ（フレーム間符号化）及びＮＯＴ＿ＣＯＤＥＤ（非符号化）ならば、可変長復号化部１０３から出力される符号化モード情報に従って、符号化モード切替スイッチ１０９がオン状態とされる。この場合は、可変長復号化部１０３で復号された予測誤差信号についての量子化ＤＣＴ係数情報が逆量子化部１０４で逆量子化され、さらにＩＤＣＴ部１０５で逆離散コサイン変換されることにより、予測誤差信号が生成される。
【００１６】
そして、可変長復号化部１０３で復号化された動きベクトル情報に基づいて、動き補償部１０８においてフレームメモリ１０７からの参照画像信号について動き補償がなされ、この動き補償後の参照画像信号とＩＤＣＴ部１０５からの予測誤差信号が加算器１０６で加算されることにより、再生画像信号が生成される。この再生画像信号は、フレームメモリ１０７に参照画像信号として蓄積されると共に、解析フィルタ１１０内のスイッチ１１２に入力される。
【００１７】
（解析フィルタ部１１０について）
一方、解析フィルタ部１１０においては、動画像復号化部１００内の可変長符号化部１０３から出力される符号化モード情報を領域書き換え判定部１１１に入力し、加算器１０６から出力される再生画像信号をスイッチ１１２を介してフィルタ１１３に入力する。
【００１８】
領域書き換え判定部１１１では、可変長復号化部１０３からの符号化モード情報により各マクロブロックが符号化されている（Ｃｏｄｅｄ）か、符号化されていない（ＮｏｔＣｏｄｅｄ）かを判定する。スイッチ１１２は領域書き換え判定部１１１の判定結果により制御され、符号化モードがＣｏｄｅｄならば、オンとなって再生画像信号をフィルタ１１３に入力する。そして、このフィルタ１１３によりフィルタ処理された画像信号が出力画像メモリ１１４に書きまれる。符号化モードがＮｏｔＣｏｄｅｄならば、スイッチ１１２はオフとなり、再生画像信号のフィルタ処理及び出力画像メモリ１１４の書き換えは行われず、出力画像メモリ１１４に保持されている画像信号が次段へ出力される。
【００１９】
このような解析フィルタ処理を行うことにより、出力画像メモリ１１４の内容が書き換えられない場合は、以前にフィルタ１１３でフィルタ処理を行った画像信号がそのまま出力されることになる。従って、動画像復号化部１００から出力された再生画像信号を１フレーム全体にわたってフィルタ処理を行ったのと同等の操作となり、ＮｏｔＣｏｄｅｄのマクロブロックの分だけフィルタ処理の計算量を削減することができる。
【００２０】
［第２の実施の形態］
図２は、本発明の第２の実施形態に係る動画像解析処理装置の構成を示す。この動画像解析処理装置は、大きく動画像符号化部２００と解析フィルタ部２２０の２つの部分からなっている。
【００２１】
図２において、動画像符号化部２００に入力された入力動画像信号は、まずブロック化部２０１でマクロブロックに分割される。各マクロブロックの入力動画像信号は減算器２０２に入力され、ここで予測画像信号との差分がとられて予測残差信号が生成される。この予測残差信号とブロック化部２０１からの入力動画像信号のいずれか一方が符号化モード選択スイッチ２０３によって選択され、ＤＣＴ（離散コサイン変換）部２０４により離散コサイン変換される。ＤＣＴ部２０４で得られＤＣＴ係数データは、量子化部２０５で量子化される。量子化部２０５で量子化されたＤＣＴ係数データは二分岐され、一方は可変長符号化部２１４で可変長符号化される。
【００２２】
量子化部２０５で量子化され二分岐されたＤＣＴ係数データの他方は、逆量子化部２０６及びＩＤＣＴ（逆離散コサイン変抜）部２０７により量子化部２０５及びＤＣＴ部２０４の処理と逆の処理を順次受けた後、加算器２０８でスイッチ２１１を介して入力される予測画像信号と加算されることにより、局部復号画像信号が生成される。局部復号画像信号はフレームメモリ２０９に蓄えられ、フレームメモリ２０９から動き補償部２１０に入力される。動き補償部２１０では、予測画像信号を生成するとともに、符号化モード選択部２１２に必要な情報を送る。また、局部復号画像信号は解析フィルタ部２１０内のスイッチ２２２にも入力される。
【００２３】
符号化モード選択部２１２では、マクロブロック単位に動き補償部２１０からの予測情報Ｐに基づいて、フレーム間符号化を行うマクロブロックとフレーム内符号化を行うマクロブロックを選択する。フレーム内符号化（インドラ符号化）を行う場合は、符号化モード選択スイッチ情報ＭをＡとし、スイッチ情報ＳをＡとする。フレーム間符号化（インター符号化）を行う場合は、符号化モード選択スイッチ情報ＭをＢとし、スイッチ情報ＳをＢとする。符号化モード選択スイッチ２０３は符号化モード選択スイッチ情報Ｐに基づいて切り換えられ、またスイッチ２１１はスイッチ情報Ｓに基づいて切り換えられる。
【００２４】
ここで、符号化モードとしてイントラ符号化モード（ＩＮＴＲＡ）、インター符号化モード（ＩＮＴＥＲ）及び非符号化モード（ＮＯＴ＿ＣＯＤＥＤ）があり、これらの符号化モードが各マクロブロック毎に対応付けられている。ＩＮＴＲＡマクロブロックはフレーム内符号化される画像領域、ＩＮＴＥＲマクロブロックはフレーム間符号化される画像領域、ＮＯＴ＿ＣＯＤＥＤマクロブロックは符号化不要の画像領域である。
【００２５】
符号化制御部２１３は、符号化部２１７（動画像符号化部２００のうち多重化部２１５より前の部分）での符号化情報と出力バッファ２１６のバッファ量を基に符号化部２１７における量子化部２０５での量子化ステップサイズ等のパラメータを制御する。可変長符号化部２１４で符号化された符号化データは、多重化部２１６で多重化された後、出力バッファ２１７で送信レートが平滑化され、伝送系または蓄積系に伝送される。
【００２６】
一方、解析フィルタ部２２０においては、領域書き換え判定部２２１で可変長符号化部２１４から入力されてきた符号化モード情報に基づき各マクロブロックが符号化されている（Ｃｏｄｅｄ）か、符号化されていない（ＮｏｔＣｏｄｅｄ）かを判定する。スイッチ２２２は領域書き換え判定部２２１の判定結果に基づいて制御され、符号化モードがＣｏｄｅｄならば、オンとなって局部復号画像信号をフィルタ２２３に入力する。そして、このフィルタ２２３によりフィルタ処理された画像信号が出力画像メモリ２２４に書きまれる。また、符号化モードがＮｏｔＣｏｄｅｄならば、スイッチ２２２はオフとなり、局部復号画像信号のフィルタ処理及び出力画像メモリ２２４の書き換えは行われず、出力画像メモリ２２４に保持されている画像信号が次段へ出力される。
【００２７】
このような解析フィルタ処理を行うことにより、出力画像メモリ２２４の内容が書き換えられない場合は、以前にフィルタ２２３でフィルタ処理を行った画像信号がそのまま出力されることになる。従って、動画像復号化２００で生成された局部復号画像信号を１フレーム全体にわたってフィルタ処理を行ったのと同等の操作となり、ＮｏｔＣｏｄｅｄのマクロブロックの分だけフィルタ処理の計算量を削減することができる。
【００２８】
［フィルタ処理について］
次に、図１のフィルタ１１３及び図２のフィルタ２２３によるフィルタ処理の具体例について説明する。
図３は、フィルタ処理の具体的な処理の流れを示している。ここで、ｍとｎはフレーム内の垂直方向と水平方向のマクロブロックアドレスをそれぞれ表し、またＶ＿ＮＭＢとＨＮＭＢはフレーム内の垂直方向と水平方向のマクロブロック数を表している。
【００２９】
まず、マクロブロック毎に符号化モード情報ＭＯＤＥの判定を行う（ステップＳ１０３）。ここで、ＭＯＤＥがＩＮＴＲＡ（フレーム内符号化）、またはＩＮＴＥＲ（フレーム間符号化）ならばＣｏｄｅｄと判定し、そのマクロブロックの再生画像信号または局部復号画像信号をフィルタ処理し、フィルタ処理した画像信号を出力画像メモリに書き込む（ステップＳ１０４）。ＭＯＤＥがＮｏｔＣｏｄｅｄの場合は何も行わず、次のマクロブロックの処理に移る。
【００３０】
ここで、ステップＳ１０４のフィルタ処理は、雑音除去処理やエッジ抽出処理や２値化処理等、画像処理として施すフィルタ処理であり、時間的に変動がない場合に結果に変化がないものならば、どのようなフィルタ処理でもかまわない。
【００３１】
本実施形態では、例えば図４に示すようにエッジ抽出処理を行い（ステップＳ２０１）、その後に２値化処理を行う（ステップＳ２０２）例を示している。
【００３２】
エッジ抽出処理には、例えば空間微分フィルタを用いる。ｉ，ｊを画素の２次元メモリ上のアドレス、Ｐ(j,j)を再生画像信号または局部復号画像信号、またＢ(i,j)を出力画像メモリ内の画像信号とすると、水平方向及び垂直方向のエッジ抽出は、以下のようになる。
【００３３】
まず、水平方向のエッジ抽出には、次式（１）の２×２の垂直方向の一次空間微分フィルタを用いる。
Ｆ(i,j)＝−Ｐ(i,j)＋Ｐ(i,j+1)−Ｐ(i+1,j)＋Ｐ(i+1,j+1) （１）
図５（ａ）は式（１）のフィルタの係数を図式化したもので、左上の画素が参照画素Ｐ(i,j)となる。
【００３４】
また、垂直方向のエッジ抽出には、次式（２）の２×２の水平方向の一次空間微分フィルタを用いる。
Ｆ(i,j)＝−Ｐ(i,j)−Ｐ(i,j+1)＋Ｐ(i+1,j)＋Ｐ(i+1,j+1) （２）
図５（ｂ）は、式（２）のフィルタの係数を図式化したもので、左上の画素が参照画素Ｐ(i,j)となる。
【００３５】
また、水平、垂直及び斜め方向のエッジ抽出を同時に行うフィルタとしては、次式（３）のようなラプラシアンフィルタを使ってもよい。

図６は、式（３）のフィルタの係数を図式化したもので、中央の画素が参照画素Ｐ(i,j)となる。
【００３６】
上記のエッジ抽出フィルタ処理を行った結果Ｆ(i,j)の値は、Ｆ(i,j)の絶対値が大きい領域はエッジ部分で、逆にゼロに近い部分は平坦部分であるという性質を持つ。従って、２値化処理では次式（４）のように簡単な閾値関数で、エッジ抽出結果Ｆ(i,j)の絶対値が閾値Ｔより大きければ１、閾値Ｔ以下ならば０と表すことができる。
【００３７】
【数１】

【００３８】
（表示例について）
次に、図７〜図１０を用いて実際の画像上での本実施形態による解析処理結果の例について示す。
図７は、再生画像信号の表示画面である。
図８は、マクロブロック毎の符号化モード情報ＭＯＤＥがＩＮＴＲＡ、またはＩＮＴＥＲで、Ｃｏｄｅｄマクロブロックを白色、ＮｏｔＣｏｄｅｄマクロブロックを黒色で表した図である。従って、出力画像メモリの内容が書き換わった部分は、画面上の白色の部分のみである。
【００３９】
図９は、図３に示したような処理でＣｏｄｅｄマクロブロックの部分のみ水平方向と垂直方向のエッジ抽出処理を行い、その結果を２値化処理した解析結果を示している。
【００４０】
図１０は、出力画像メモリの内容である。出力画像メモリのＮｏｔＣｏｄｅｄマクロブロックの位置には、以前に処理された結果が入っているので、画面全体の２値化を行った結果が得られている。
【００４１】
このように符号化モード情報を有効に使うことによって、再生画像信号または局部復号画像全体を処理することなく、部分的に処理できることから、少ない計算量でフィルタ処理を行うことができる。
【００４２】
なお、本実施形態においてはフィルタ処理としてエッジ抽出処理を行い、２値化処理を行う場合の例を示したが、その他の画像処理で一般に用いられるフィルタ処理を用いた場合にも本発明は有効である。
【００４３】
【発明の効果】
以上説明したように、本発明によれば少ない計算量で効果的にフィルタ処理を行って動画像の解析処理を行うことができ、フィルタ処理をソフトウェアで実現する場合でもリアルタイム性を確保し、またハードウェアで実現する場合には必要な回路規模を小さくして低コスト化が可能となる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係る動画像解析処理装置の構成を示すブロック図
【図２】本発明の第２の実施形態に係る動画像解析処理装置の構成を示すブロック図
【図３】本発明におけるフィルタ処理の流れを示すフローチャート
【図４】本発明におけるフィルタ処理に用いる２×２の垂直方向の一次空間微分フィルタの係数を示す図
【図５】本発明におけるフィルタ処理に用いる２×２の水平方向の一次空間微分フィルタの係数を示す図
【図６】本発明におけるフィルタ処理に用いるラプラシアンフィルタの係数を示す図
【図７】本発明における再生画像信号または復号画像信号の表示例を示す図
【図８】本発明における出力画像メモリの書き換えを行った部分の画像の表示例を示す図
【図９】本発明における画面上のフィルタ処理を行う部分を示す図
【図１０】本発明における出力画像メモリの内容の表示例を示す図
【符号の説明】
１００…動画像復号化部
１０１…入力バッファ
１０２…多重化分離部
１０３…可変長復号化部
１０４…逆量子化部
１０５…ＩＤＣＴ部
１０６…加算器
１０７…フレームメモリ
１０８…動き補償部
１０９…モード切替スイッチ
１１０…解析フィルタ部
１１１…領域書き換え判定部
１１２…スイッチ
１１３…フィルタ
１１４…出力画像メモリ
２０１…ブロック化部
２０２…減算器
２０３…モード選択スイッチ
２０４…ＤＣＴ部

Claims

動画像を圧縮符号化した符号化データを復号して得られた再生画像信号の一部をフィルタ処理し、該フィルタ処理された画像信号を出力画像メモリに解析処理結果として蓄積する動画像解析処理方法において、
前記符号化データを復号して得られた単位領域毎の符号化モード情報から前記単位領域毎に符号化モードを判定し、前記再生画像信号のうち前記符号化モードがフレーム内符号化モードと判定された単位領域の画像信号及び符号化モードがフレーム間符号化モードと判定された単位領域の画像信号のみ前記フィルタ処理を行うことを特徴とする動画像解析処理方法。
動画像を圧縮符号化する過程で生成された局部復号画像信号の一部をフィルタ処理し、該フィルタ処理された画像信号を出力画像メモリに解析処理結果として蓄積する動画像解析処理方法において、
前記圧縮符号化の過程で生成された単位領域毎の符号化モード情報から前記単位領域毎に前記出力画像メモリの内容を書き換えるか否かを判定し、前記局部復号画像信号のうち書き換えると判定された単位領域の画像信号のみフィルタ処理を行うことを特徴とする動画像解析処理方法。
動画像を圧縮符号化する過程で生成された局部復号画像信号の一部をフィルタ処理し、該フィルタ処理された画像信号を出力画像メモリに解析処理結果として蓄積する動画像解析処理方法において、
前記圧縮符号化の過程で生成された単位領域毎の符号化モード情報から前記単位領域毎に符号化モードを判定し、前記局部復号画像信号のうち前記符号化モードがフレーム内符号化モードと判定された単位領域の画像信号及び符号化モードがフレーム間符号化モードと判定された単位領域の画像信号のみ前記フィルタ処理を行うことを特徴とする動画像解析処理方法。
前記フィルタ処理としてエッジ抽出処理及び２値化処理の一方の処理を行うことを特徴とする請求項１乃至３のいずれか１項記載の動画像解析処理方法。
動画像を圧縮符号化した符号化データを復号して再生画像信号及び単位領域毎の符号化モード情報を生成する動画像復号化部と、
前記再生画像信号をフィルタ処理するフィルタと、
フィルタ処理された画像信号を解析処理結果として蓄積する出力画像メモリと、
前記符号化モード情報から前記単位領域毎に符号化モードを判定する判定部とを有し、
前記フィルタは、前記再生画像信号のうち前記判定部により前記符号化モードがフレーム内符号化モードと判定された単位領域の画像信号及び符号化モードがフレーム間符号化モードと判定された単位領域の画像信号のみ前記フィルタ処理を行うことを特徴とする動画像解析処理装置。
動画像を圧縮符号化して符号化データを出力すると共に該圧縮符号化の過程で局部復号画像信号及び単位領域毎の符号化モード情報を生成する動画像符号化部と、
前記復号画像信号をフィルタ処理するフィルタと、
フィルタ処理された画像信号を解析処理結果として蓄積する出力画像メモリと、
前記符号化モード情報から前記単位領域毎に前記出力画像メモリの内容を書き換えるか否かを判定する領域書き換え判定部とを有し、
前記フィルタは、前記復号画像信号のうち前記領域書き換え判定部により前記出力画像メモリの内容を書き換えると判定された単位領域の信号のみフィルタ処理を行うことを特徴とする動画像解析処理装置。
動画像を圧縮符号化して符号化データを出力すると共に該圧縮符号化の過程で局部復号画像信号及び単位領域毎の符号化モード情報を生成する動画像符号化部と、
前記復号画像信号をフィルタ処理するフィルタと、
フィルタ処理された画像信号を解析処理結果として蓄積する出力画像メモリと、
前記符号化モード情報から前記単位領域毎に符号化モードを判定する判定部とを有し、
前記フィルタは、前記局部復号画像信号のうち前記符号化モードがフレーム内符号化モードと判定された単位領域の画像信号及び符号化モードがフレーム間符号化モードと判定された単位領域の画像信号のみ前記フィルタ処理を行うことを特徴とする動画像解析処理装置。
前記フィルタは、前記フィルタ処理としてエッジ抽出処理及び２値化処理の一方の処理を行うことを特徴とする請求項５乃至７のいずれか１項記載の動画像解析処理装置。