JP4573297B2 - 移動物体抽出装置 - Google Patents

Description

本発明は移動物体抽出装置に関し、特に一定の大きさのブロックを複数の分割ブロックサイズに分割してフレーム間予測符号化およびフレーム内予測符号化モードによって符号化を行われた動画像から移動物体を抽出する移動物体抽出装置に関する。

従来の符号化データを用いた移動物体検出装置の一つとして、例えば下記の特許文献１に記されているものがある。該特許文献１に記されている技術を簡単に説明すると、下記のようになる。

ＩＴＵ−Ｔ Ｈ．２６１、Ｈ．２６３、あるいはＩＳＯ／ＩＥＣ ＭＰＥＧ−４などにより符号化された動画像データを可変長復号化部で可変長復号する。該可変長復号化部は、１６×１６画素のマクロブロック単位でフレーム内予測符号化モード（以下、ＩＮＴＲＡモードと呼ぶ）とフレーム間予測符号化モード（以下、ＩＮＴＥＲモードと呼ぶ）の判定を行う。

次に、ＩＮＴＲＡモードと判定されたマクロブロックに対しては、当該マクロブロックの再生画像信号と１フレーム前の対応するマクロブロックの再生画像信号との差分絶対値和（ＳＡＤ）を計算し、該差分絶対値和がある閾値より大きければ当該マクロブロックを動マクロブロックと判定し、該閾値より小さければ静止マクロブロックと判定する。一方、ＩＮＴＥＲモードと判定されたマクロブロックに対しては、前記可変長復号化部から得られた動きベクトル情報およびＤＣＴ係数情報から、当該マクロブロックの動ベクトルの絶対値和およびＤＣＴ係数の絶対値和を計算し、該動ベクトルの絶対値和とＤＣＴ係数の絶対値和が共にそれぞれのある閾値より小さければ当該マクロブロックは静止マクロブロックと判定し、そうでない場合は動マクロブロックであると判定する。
特開２００２−３３４３３７号公報

しかしながら、前記した従来技術には、次のような課題があった。すなわち、移動物体の判定が、前記したように、１６×１６画素のマクロブロック単位での判定であるため、粗い移動物体判定になる。また、移動物体判定の対象となる符号化画像データがＨ．２６３やＭＰＥＧ−４等で符号化されていることを前提としているので、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ（Advanced Video Coding)のように、マクロブロックをさらに小さなブロックに分割して符号化する符号化方式で符号化された画像データには、予測符号化モード判定などの傾向が異なるため、適用が困難である。

本発明は、前記した従来技術の課題に鑑みてなされたものであり、その目的は、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣのように、分割ブロックを伴う予測符号化を用いて符号化された動画像に用いて好適な移動物体抽出装置を提供することにある。

前記目的を達成するために、本発明は、分割ブロックサイズが可変のフレーム間予測符号化と、分割ブロックサイズが可変のフレーム内予測符号化を用いて符号化された動画像を入力として、動画像内の移動物体を抽出する移動物体抽出装置において、予測符号化モードがフレーム間予測符号化の場合には分割ブロックサイズが予め定められた第１の閾値（Thr(INTER)）以下、および予測符号化モードがフレーム内予測符号化の場合には分割ブロックサイズが予め定められた第２の閾値（Thr(INTRA)）以下であれば移動物体領域に含まれるブロックとして推定する第１の移動物体推定手段と、該第１の移動物体推定手段において移動物体領域に含まれるブロックとして推定されたフレーム間予測符号化モードのブロックに対して、各分割ブロックについて動きベクトルに基づいて移動物体領域かどうかを推定する第２の移動物体推定手段とを具備し、前記第２の移動物体推定手段における判定結果に基づいて動画像内の移動物体を分割ブロック単位で抽出するようにした点に第１の特徴がある。

また、前記第１の移動物体推定手段において移動物体領域に含まれるブロックとして推定されたフレーム内予測符号化モードのブロックに対して、前フレームの同一位置において移動物体と判定された場合に移動物体領域と推定する第３の移動物体推定手段を具備した点に第２の特徴がある。

さらに、前記第１及び第２の移動物体推定手段、あるいは前記第１、第２及び第３の移動物体推定手段において移動物体と推定された分割ブロックと、該分割ブロックによって囲まれている分割ブロックを移動物体として最終的に判定する最終移動物体判定手段を具備した点に第３の特徴がある。

本発明によれば、分割ブロックを考慮した移動物体判定を行うので、動画像から移動物体を精度良く抽出することができるようになる。また、小さいブロックを単位として移動物体を抽出することができるようになる。

以下に、図面を参照して、本発明を詳細に説明する。以下では、入力動画像の圧縮符号化方式として、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣを用いた場合について説明するが、本発明はこれに限定されるものではない。

周知のように、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣでは、フレーム間予測符号化方式として図３に示すブロック分割方式を用い、フレーム内予測符号化方式として図４に示すブロック分割方式を用いている。

すなわち、図３のフレーム間予測符号化方式の符号化モードには、同図(d)の１６×１６画素モード、同図(c)の１６×８画素モード、同図(b)の８×１６画素モードおよび同図(a)の８×８画素モードがあり、それぞれの分割ブロックサイズをブロック単位として符号化を行う。また、前記８×８画素モードは、さらに、同図(f)の８×４画素モード、同図(g)の４×８画素モード、および同図(h)の４×４画素モードがあり、それぞれの分割ブロックサイズをブロック単位とする符号化を行う。

一方、図４のフレーム内予測符号化方式の符号化モードには、同図(a-1)〜（a-9)の４×４画素モードと、同図(b-1)〜(b-4)の１６×１６画素モードとがある。

本発明は、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ等の符号化装置では、圧縮符号化効率を高めるために、移動物体画像と非移動物体画像（例えば、背景画像）の境界（以下、エッジと呼ぶ）では、移動物体と背景の動きの違いを反映して、より小さなブロックサイズによる予測符号化が行われることが多いこと、また、エッジが存在することによって、画像特徴が複雑になるため、フレーム内符号化が用いられる場合においても、より小さなブロックサイズが選択されることが多いことに着目し、以上のことから、当該ブロックが移動物体か非移動物体を表す画像であるかを推定するようにした点に発明の原理がある。

図１は、本発明の第１の実施形態に係わる移動物体抽出装置の構成を示すブロック図である。

Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ等で圧縮符号化された動画像データである入力画像信号は、可変長動画像復号器１０に入力され、ブロックの符号化モード、動き補償モード、動きベクトル量、ＤＣＴ係数等が復号される。動きベクトル抽出器２０は可変長動画像復号器１０で復号されたブロックの動きベクトル量を抽出し、第２移動物体推定器５０に送る。また、符号化モード抽出器３０はブロックの符号化モード（図３、図４参照）を抽出し、第１の移動物体推定器４０に送る。この符号化モードから、前記図３および図４に示した符号化モードのいずれが用いられているかが分かる。

該符号化モード抽出器３０で抽出された符号化モードがフレーム間予測符号化方式であった場合にはスイッチング手段４５と５５が第２移動物体推定器５０に接続され、一方フレーム内予測符号化方式であった場合には、スイッチング手段４５と５５は図示の位置に接続される。

第１の移動物体推定器４０は、予測符号化モードおよび分割ブロックサイズに基づいて移動物体領域に含まれるブロックかどうかを推定する。また、第２移動物体推定器５０は、該第１の移動物体推定手段において移動物体領域に含まれるブロックとして推定されたフレーム間予測符号化モードのブロックに対して、各分割ブロックについて動きベクトルに基づいて移動物体領域かどうかを推定する。なお、該第１、第２の移動物体推定器４０、５０の動作の詳細は後述する。

最終移動物体判定器６０は前記第１移動物体推定器４０および第２移動物体推定器５０の判定結果に基づいて、最終的な移動物体を判定する。該最終移動物体判定器６０で判定された各分割ブロック毎の結果は、判定結果格納バッファ８０に格納される。該判定結果格納バッファ８０に格納されたデータは、前記第２移動物体推定器５０における後続マイクロブロックおよび後続フレームの移動物体推定に利用される。また、該最終移動物体判定器６０からは、移動物体の抽出結果が出力される。

次に、本実施形態の前記符号化モード抽出器３０、第１移動物体推定器４０、第２移動物体推定器５０の動作を、図５のフローチャートを参照して説明する。

ステップＳ１では、符号化モード抽出器３０で当該ブロックがフレーム内予測符号化（ＩＮＴＲＡ）モードであるか、フレーム間予測符号化（ＩＮＴＥＲ）モードであるかの判断がなされる。フレーム内予測符号化モードであれば、制御信号７０により、スイッチング手段４５，５５は図示の位置に、フレーム間予測符号化モードであれば、スイッチング手段４５，５５は第２移動物体推定器５０に接続される。

ステップＳ１で当該ブロックの予測符号化モードがフレーム間予測符号化モードであると判定されると、ステップＳ２に進んで、第１移動物体推定器４０により、当該ブロックのブロックサイズ≦Ｔｈｒ（INTER)であるかどうか判断される。この判断が肯定であればステップＳ４に進んでｆ＝１と置かれ、否定であればステップＳ５に進んでｆ＝０と置かれる。ここに、Ｔｈｒ（INTER)は予め定められている閾値、ｆ＝１は当該ブロックが移動物体であることを表し、ｆ＝０は非移動物体であることを表す。ｆ＝１、ｆ＝０の意味は、以下でも同様とする。

一方、ステップＳ１でフレーム内予測符号化モードであると判定されると、ステップＳ３に進んで、第１移動物体推定器４０により、当該ブロックサイズ≦Ｔｈｒ（INTRA)であるかどうか判断される。この判断が肯定であればステップＳ６に進んでｆ＝１と置かれ、否定であればステップＳ７に進んでｆ＝０と置かれる。ここに、Ｔｈｒ（INTRA)は予め定められている閾値である。前記Ｔｈｒ（INTER)、Ｔｈｒ（INTRA)としては、例えば１６×８画素モードあるいは８×１６画素モードとすることができる。

前記ステップＳ４でｆ＝１と判定されたブロックは、ステップＳ８に進む。なお、該ステップＳ８以下の処理は、前記第２移動物体推定器５０によって行われる。ステップＳ８では、当該ブロックが属するフレーム（現在フレーム）と参照フレームとの間に、別の動きフレームが存在するか否かの判断がなされる。すなわち、現在フレームがＢピクチャフレーム（以下、単にＢフレームと呼ぶ）であればこの判断は必ず否定になるが、現在フレームがＰピクチャフレーム（以下、単にＰフレームと呼ぶ）の場合には、Ｐピクチャフレームの前に非参照フレームであるＢフレームが入る場合があるので、ケースバイケースで肯定になったり、否定になったりする。

ステップＳ８の判断が肯定になると、ステップＳ９に進んで、直前のフレームの同一分割ブロックは移動物体であるか否かの判断がなされ、この判断が否定であればステップＳ１０に進んでｆ＝０と置かれ、肯定であればステップＳ１１に進んでｆ＝１と置かれる。

前記ステップＳ８、Ｓ９の処理をする理由は、次のためである。Ｐフレームのように、参照フレームとの間に１枚ないし複数枚のＢフレームが存在する場合には、参照フレームとの時間的距離が長いため、フレーム間予測の予測精度が下がりやすくなるため、これを補うためにより小さなブロックサイズが選択されやすい。これにより、画面の背景領域においても、複雑な画像特徴がある箇所については、小さなブロックサイズが選択されることがある。そこで、直前のフレーム（一般には、Ｂフレーム）での同一分割ブロックにおける判定結果が非移動物体となっている場合は、該分割ブロックを非移動物体として推定する。

次に、前記ステップＳ８の判断が否定の場合またはステップＳ１１でｆ＝１と置かれた後には、ステップＳ１２の処理に進む。ステップＳ１２では、当該分割ブロックの動きベクトルと、その周囲の隣接分割ブロックＸ（例えば、上左、上、上右、右の４ブロック）との動きベクトル間角度θ（Ｘ）を計算する。ステップＳ１３では、該角度θ（Ｘ）＜Ｔｈｒθなる隣接分割ブロックＸが存在するかどうかの判断がなされる。ここに、Ｔｈｒθは、隣接分割ブロックが別の動きをしているか否かを判断する境界となる閾値である。

ステップＳ１３で、前記角度θ（Ｘ）＜Ｔｈｒθなる条件を満足する隣接分割ブロックＸが一つでも存在すれば、ステップＳ１４に進んで、その隣接ブロックと同じ推定結果を出力する。すなわち、その隣接分割ブロックＸが動物体であればｆ＝１、非動物体であればｆ＝０とする。一方、ステップＳ１３で、前記角度θ（Ｘ）＜Ｔｈｒθなる条件を満足する隣接分割ブロックＸが一つも存在しなければ、ステップＳ１５に進んで、その隣接分割ブロックＸとは異なる移動物体であると推定して出力する。すなわち、該隣接分割ブロックＸが動物体であればｆ＝０、非移動物体であればｆ＝１とする。

前記ステップＳ１２〜Ｓ１５の判断をする理由は、前記のように、小さなブロックサイズへの分割が発生する場合はエッジである可能性が高いため、非移動物体（背景）側の分割ブロックと移動物体側の分割ブロックの動きベクトルを比較すると、方向が大きく異なる場合が多い。したがって、分割ブロック単位で、動きベクトル間の角度が大きい場合、どちらかが移動物体他方が非移動物体であると考えられるからである。

次に、前記最終移動物体判定器６０の動作を、図６のフローチャートを参照して説明する。ステップＳ２０では、図５により得られた結果が、ｆ＝１であるか否かの判断をする。この判断が肯定の場合にはステップＳ２２に進んで、最終的に当該ブロックが移動ブロックであると判断する。すなわち、Ｆ＝１と置く。一方、ステップＳ２０の判断が否定の時には、ステップＳ２１に進んで、当該ブロックが移動物体に囲まれているか否かの判断をする。そして、移動物体に囲まれていれば、ステップＳ２２に進んで、最終的に移動物体であると判断し、Ｆ＝１とする。ステップＳ２１の判断が否定の時には、最終的に非移動物体と判定し、Ｆ＝０と置く。これらの結果は、前記判定結果格納バッファ８０に格納されると共に、検出結果出力として出力される。

次に、本発明の第２実施形態を、図２のブロック図を参照して説明する。この実施形態は、前記第１の移動物体推定手段において移動物体領域に含まれるブロックとして推定されたフレーム内予測符号化モードのブロックに対して、前フレームにおける判定結果に基づいて移動物体領域かどうかを推定する第３移動物体推定器９０を設けた点に特徴がある。他の符号は、図１の同一符号と同一または同等物を示す。また、これらは図１のものと同一または同等の動作をするので、該動作の説明は省略する。

小さいブロックサイズのフレーム内予測符号化が用いられている場合は、該分割ブロックが移動物体のエッジであり、かつその領域から移動物体が消失、もしくはその領域に向かって移動物体が移動しようとする動きを示していることが多い。そこで、前フレームからの動きを逆算した結果、移動物体が移動によってそのマクロブロックから消失したものと考えられる場合は、そのマクロブロックを非移動物体領域として推定する。

すなわち、図７に示すフローチャートにおいて、前記ステップＳ６でｆ＝１と置かれたブロックに対して、前記第３移動物体推定器９０はステップＳ１６以下の処理をする。なお、他のステップは、図５と同等または同一の処理を行うので、説明を省略する。

ステップＳ１６では、前フレームでの動きを逆算する。ステップＳ１７では、該逆算により、移動物体が移動によってそのブロックから消失したと考えられる場合には、そのブロックを非移動物体領域と推定し、ステップＳ１９において、ｆ＝０と置く。一方、ステップＳ１７の判断が否定の時には、ステップＳ１８に進んでｆ＝１とされる。

また、前記ステップＳ１６〜Ｓ１９の処理に代えて、フレーム内予測符号化モードで符号化されているブロックに対して、前フレームの同一位置において移動物体として判定された分割ブロックを移動物体と推定するようにしても良い。

次に、本発明による処理の具体例を、図８〜図１０を参照して説明する。図８の１００は１フレームの画像を示し、１０１，１０２，・・・，１０Ｎは、マクロブロックを示す。図８の例は、左方向へ動いている自動車の例であり、自動車の輪郭の分割ブロックが図５のステップＳ２およびＳ３の判断により、動物体と判定され、背景は非動物体と判定さている例を示す。

図９の例は、フレーム画像１１０の左側に家が存在し、家の庇や窓枠部分の分割ブロックが図５のステップＳ２またはＳ３の判断でｆ＝１、すなわち移動物体であると判定されても、ステップＳ１２〜Ｓ１５の処理により非移動物体（ｆ＝０）と修正される例を示す。

また、図１０の例は、フレーム画像１２０が現在の画像フレームであり、図８のフレーム画像１００がその１フレーム前の画像であった場合に、自動車が移動した後のマクロブロック１２１及び１２２は分割ブロックで表現され、図５のステップＳ３の判定ではｆ＝１となるが、図７のステップＳ１６〜Ｓ１９の処理により、ｆ＝０に修正される場合を示す。なお、ブロック１２３の分割ブロックにはエッジが存在するので、該分割ブロックに関するステップＳ１７の判断は否定となり、ｆ＝１は保持される。

本発明の第１実施形態の概略の構成を示すブロック図である。 本発明の第２実施形態の概略の構成を示すブロック図である。 Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣにおけるフレーム間予測符号化で用いられるブロックサイズの説明図である。 Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣにおけるフレーム内予測符号化で用いられるブロックサイズの説明図である。 本発明の第１実施形態の動作を説明するフローチャートである。 最終移動物体判定器の動作を説明するフローチャートである。 本発明の第２実施形態の動作を説明するフローチャートである。 本発明による移動物体抽出の第１の具体処理例を示す説明図である。 本発明による移動物体抽出の第２の具体処理例を示す説明図である。 本発明による移動物体抽出の第３の具体処理例を示す説明図である。

符号の説明

１０・・・可変長動画像復号器、２０・・・動きベクトル抽出器、３０・・・符号化モード抽出器、４０・・・第１移動物体推定器、５０・・・第２移動物体推定器、６０・・・最終移動物体推定器、８０・・・判定結果格納バッファ、９０・・・第３移動物体推定器。

Claims (8)

1. 分割ブロックサイズが可変のフレーム間予測符号化と、分割ブロックサイズが可変のフレーム内予測符号化を用いて符号化された動画像を入力として、動画像内の移動物体を抽出する移動物体抽出装置において、
   予測符号化モードがフレーム間予測符号化の場合には分割ブロックサイズが予め定められた第１の閾値（Thr(INTER)）以下、および予測符号化モードがフレーム内予測符号化の場合には分割ブロックサイズが予め定められた第２の閾値（Thr(INTRA)）以下であれば移動物体領域に含まれるブロックとして推定する第１の移動物体推定手段と、
   該第１の移動物体推定手段において移動物体領域に含まれるブロックとして推定されたフレーム間予測符号化モードのブロックに対して、各分割ブロックについて動きベクトルに基づいて移動物体領域かどうかを推定する第２の移動物体推定手段とを具備し、
   前記第２の移動物体推定手段における判定結果に基づいて動画像内の移動物体を分割ブロック単位で抽出するようにしたことを特徴とする移動物体抽出装置。
2. 前記第１及び第２の移動物体推定手段において移動物体と推定された分割ブロックと、該分割ブロックによって囲まれている分割ブロックを移動物体として最終的に判定する最終移動物体判定手段をさらに具備したことを特徴とする請求項１に記載の移動物体抽出装置。
3. 分割ブロックサイズが可変のフレーム間予測符号化と、分割ブロックサイズが可変のフレーム内予測符号化を用いて符号化された動画像を入力として、動画像内の移動物体を抽出する移動物体抽出装置において、
   予測符号化モードがフレーム間予測符号化の場合には分割ブロックサイズが予め定められた第１の閾値（Thr(INTER)）以下、および予測符号化モードがフレーム内予測符号化の場合には分割ブロックサイズが予め定められた第２の閾値（Thr(INTRA)）以下であれば移動物体領域に含まれるブロックとして推定する第１の移動物体推定手段と、
   該第１の移動物体推定手段において移動物体領域に含まれるブロックとして推定されたフレーム間予測符号化モードのブロックに対して、各分割ブロックについて動きベクトルに基づいて移動物体領域かどうかを推定する第２の移動物体推定手段と、
   前記第１の移動物体推定手段において移動物体領域に含まれるブロックとして推定されたフレーム内予測符号化モードのブロックに対して、前フレームの同一位置において移動物体と判定された場合に移動物体領域と推定する第３の移動物体推定手段と、
   前記第２及び第３の移動物体推定手段のいずれかにおいて移動物体と判定されたブロックを移動物体と判定し、動画像内の移動物体を分割ブロック単位で抽出するようにしたことを特徴とする移動物体抽出装置。
4. 前記第１、第２及び第３の移動物体推定手段において移動物体と推定された分割ブロックと、該分割ブロックによって囲まれている分割ブロックを移動物体として最終的に判定する最終移動物体判定手段をさらに具備したことを特徴とする請求項３に記載の移動物体抽出装置。
5. 前記第２の移動物体推定手段は、各分割ブロックに対して、全ての隣接分割ブロックとの動きベクトル間の角度が一定値以上である時に該分割ブロックについて隣接分割ブロックと異なる移動物体として推定することを特徴とする請求項３に記載の移動物体抽出装置。
6. 前記第２の移動物体推定手段は、フレーム間予測符号化モードで符号化されたブロックの各分割ブロックに対して、その隣接分割ブロックのうちのいずれかとの動きベクトル間の角度が一定値より小さい時に該ブロックを該隣接分割ブロックの推定結果と同じものとして推定することを特徴とする請求項３に記載の移動物体抽出装置。
7. 前記第２の移動物体推定手段は、再生フレーム順序においてフレーム間予測符号化の参照フレームと該フレームの間に１つ以上のフレームが存在する場合、直前フレームの同一位置の分割ブロックが移動物体として判定された時に該分割ブロックを移動物体と推定することを特徴とする請求項３に記載の移動物体抽出装置。
8. 前記第３の移動物体推定手段は、フレーム内予測符号化モードで符号化されているブロックに対して、直前フレームの同一位置において移動物体として判定され、かつその動きベクトルから動きを逆算することによって移動物体が該分割ブロックから消失するものと推定可能な分割ブロックは非移動物体、消失するものと推定可能でない分割ブロックは移動物体として推定することを特徴とする請求項３に記載の移動物体抽出装置。

Images