JP5268796B2 - 移動物体領域検出装置及び移動物体領域検出プログラム - Google Patents

Description

本発明は、動画像から移動物体領域を検出する移動物体領域検出装置及び移動物体領域検出プログラムに関するものである。より詳細には、時空間解像度解析とオプティカルフローを併用することにより、動画像から移動物体領域を検出する移動物体領域検出装置及び移動物体領域検出プログラムに関するものである。

動画像から移動物体領域を抽出する技術は、動画像認識技術や、人物や背景の動画及び音声をそれぞれ別々のオブジェクトとして符号化するオブジェクト符号化など、様々な分野で研究開発され、応用されている。例えば、動画像認識技術では、道路上での自動車の抽出や監視カメラによる不審者の監視に利用されており、オブジェクト符号化では、移動物体領域と背景とを区別することにより、映像信号の高効率符号化を実現している。

動画像から移動物体領域を抽出する方法は、（１）背景差分などの差分処理を使用する方法（例えば、特許文献１及び２参照）、及び（２）物体の移動をベクトルで表現するオプティカルフローを使用する方法（例えば、非特許文献１参照）の大きく２つに分けることができる。

従来の背景差分による移動物体領域抽出法においては、カメラを固定する必要があるため、放送用の撮影等においては実用的ではないという問題が存在したが、特許文献１及び２の技法は、複数のカメラを使用して映像信号から移動物体領域を抽出することにより、上記のカメラ固定問題を解決する方法を開示している。一般に、差分処理を使用する方法では、背景画像が比較的容易に得られる場合には背景差分法を使用し、それ以外の場合にはフレーム間差分法を使用する。

一方、従来のオプティカルフローを使用する方法においては、座標系において定義されるオプティカルフロー拘束方程式が観測系（カメラ）が運動しない場合に対するものであるため、カメラが運動する場合には不適であるが、非特許文献１の技法は、カメラの運動を考慮したオプティカルフロー拘束方程式を使用した方法を開示している。

特開２００３−１７９９３０号公報 特開２００２−２５２８４９号公報

海老根 巧、他１名、「観測系の運動を考慮したオプティカルフロー推定に基づく運動物体検出」、電子情報通信学会論文誌Ｄ−ＩＩ、２０００年、ｖｏｌ．８３，ｎｏ．６，ｐ．１４９８−１５０６

しかし、背景差分法を使用する特許文献１及び２の方法においては、移動物体領域の検出に複数のカメラが必要となるため、３次元映像撮影などの複数のカメラの使用が可能な場合以外には実用的ではない。また、フレーム間差分法においては、物体が一時的に停止しているような場合に対して十分に対応できない。

一方、オプティカルフローを使用する非特許文献１においては、カメラの動きは既知として処理を行っているが、ロボットビジョンの目に相当するＣＣＤカメラのような場合には問題ないが、ＣＣＤカメラの動きが既知でない場合には対応できない。

このように、動画像の移動物体領域検出に対する様々な方法が提案されているが、パンやチルト等のカメラの複雑な動きに対応する移動物体領域検出を実現するのは容易ではない。

そこで本発明の目的は、単一のテレビカメラで撮影した映像から、カメラの複雑な動きに対応する移動物体領域を高精度に検出する移動物体領域検出装置及び移動物体領域検出プログラムを提供することにある。

上記課題を解決するために、本発明による複数のフレーム画像からなるフレーム画像列から移動物体領域を検出する移動物体領域検出装置は、処理対象のフレーム画像について動きベクトルを検出する動きベクトル検出手段と、検出された前記動きベクトルをクラスタリングすることによりフレーム画像の背景領域を検出する背景領域検出手段と、各々が時系列の異なるフレームからなる複数組の連続フレーム列の各組に対して１次元周波数変換を施して高周波成分を抽出し、複数組の該高周波成分から当該フレーム画像における時間軸方向の変動領域を検出する時間軸方向変動検出手段と、検出された前記背景領域と前記時間軸方向の変動領域とから、最終的な移動物体領域を検出する移動物体領域検出手段とを備え、前記動きベクトル検出手段が、前記処理対象のフレーム画像に対して２次元１階離散ウェーブレット変換を施して２次元周波数成分を生成し、該２次元周波数成分を、前記処理対象のフレーム画像に対して水平及び垂直方向に２倍の大きさを有する拡大フレーム画像の２次元周波数成分の低周波成分に代入するとともに、前記拡大フレーム画像の２次元周波数成分の他の成分に０を代入する手段と、代入された前記拡大フレーム画像の２次元周波数成分に対して２次元１階離散ウェーブレット再構成を施し、前記拡大フレーム画像を生成する手段と、前記拡大フレーム画像から動きベクトルを検出する手段と、該検出した動きベクトルを前記フレーム画像に対応する動きベクトルに縮小し、前記処理対象のフレーム画像の動きベクトルとして検出する手段とを有することを特徴とする。

また、本発明の移動物体領域検出装置において、前記背景領域検出手段が、前記動きベクトルをＫ−ｍｅａｎｓ法によりクラスタリングすることを特徴とする。

また、本発明の移動物体領域検出装置において、前記背景領域検出手段が、前記フレーム画像の中心から各ブロック位置までのベクトルの向きと各ブロックに対応する前記動きベクトルの向きとを比較して、前記撮影装置がズームイン又はズームアウトを行っているか否かを検出するズーム検出部を更に備えることを特徴とする。

また、本発明の移動物体領域検出装置において、前記時間軸方向変動検出手段が、ドビュッシーウェーブレット法により各々が時系列の異なるフレームからなる４組の連続フレーム列の各組に対して１次元１階離散ウェーブレット変換を施すことにより、高周波成分を抽出することを特徴とする。

また、本発明の移動物体領域検出装置において、前記移動物体領域検出手段が、検出された前記背景領域の信号成分を２値化し、１と０の反転処理を行うことにより移動物体領域を生成し、該移動物体領域と前記時間軸方向変動領域の論理積を計算することにより最終的な移動物体領域を検出することを特徴とする。

また、本発明の移動物体領域検出装置において、前記クラスタリングを実行する前に、検出された前記動きベクトルの平滑化を行う動きベクトル平滑化手段を更に備えることを特徴とする。

また、本発明による移動物体領域検出プログラムは、コンピュータを、移動物体領域検出装置として機能させる。

本発明によれば、パンやチルト等により背景が複雑に移動する場合に対しても、移動物体領域を的確に検出することが可能になる。

本発明による一実施例の移動物体領域検出装置のブロック図である。 本発明による一実施例の動きベクトル検出部のブロック図である。 本発明による一実施例の背景領域検出部のブロック図である。 本発明による一実施例の動きベクトル検出部における、２次元１階離散ウェーブレット再構成による画像拡大の処理プロセスを示している。 本発明による一実施例の各ブロックに対する移動ベクトルの平滑化処理を示している。 本発明による一実施例の時間軸方向に対する１次元１階離散ウェーブレット分解の処理方法を示している。 本発明による一実施例の第１高周波成分（ＥｖｅｎＨ_ｔ）に対する時間軸方向の変動領域抽出処理方法を示している。 本発明による一実施例の時間軸方向に対する1次元1階離散ウェーブレット分解の処理方法を示している。 本発明による一実施例の第２高周波成分（ＯｄｄＨ_ｔ）に対する時間軸方向の変動領域抽出の処理方法を示している。 本発明による一実施例の1フレーム分の時間軸方向に対する変動領域の抽出処理方法を示している。 本発明による一実施例の移動物体領域検出装置の動作フローチャートである。

本発明における「移動物体」とは、人や物などの任意の移動する被写体を含む。以下に、本発明の一実施例による移動物体領域検出装置について、図１〜図１１を参照して詳細に説明する。

[移動物体領域検出装置]
図１は、本発明による一実施例の移動物体領域検出装置１のブロック図を示している。本実施例の移動物体領域検出装置１は、動きベクトル検出部１１と、動きベクトル平滑化部１２と、背景領域検出部１３と、時間軸方向変動領域検出部１４と、移動物体領域検出部１５とを備える。本発明による一実施例の移動物体領域検出装置１の各処理に用いるデータは、移動物体領域検出装置１が備える記憶部（図示せず）に適宜格納することができる。

本実施例では、フレーム画像の空間領域及び時間領域における変動の双方を考慮して移動物体領域の検出を行う。

まず、空間領域において背景領域検出を行うための構成要素について説明する。

（空間領域における背景領域検出）
動きベクトル検出部１１は、フレーム画像信号成分値代入部２１と、フレーム画像拡大部２２と、動きベクトル決定部２３と、動きベクトル縮小部２４とを備えている。

動きベクトル検出部１１は、処理対象のフレーム画像を所定のブロックに分割し、ブロックマッチング法により全てのブロックに対して動きベクトルを検出する。本実施例においては、雑音等に強く、且つ、精度の高い移動物体領域検出を行うために、ブロック画像を水平及び垂直方向に２倍に拡大して１／２画素精度で動きベクトルを決定する。図４に示すように、フレーム画像信号成分値代入部２１は、処理対象のフレーム画像に対して２次元１階離散ウェーブレット変換を施して２次元周波数成分を生成し、該２次元周波数成分を、処理対象のフレーム画像に対して水平及び垂直方向に２倍の大きさを有する拡大フレーム画像の２次元周波数成分の低周波成分に代入するとともに、拡大フレーム画像の２次元周波数成分の他の成分に０を代入する。具体的には、まず、時刻ｔのフレーム画像Ｆ（ｔ）をＭ×Ｎのブロックに分割し、各ブロックをウェーブレット変換する。以下、ブロックサイズが８×８であるものとして説明する。本実施例においては、得られた周波数成分を水平及び垂直方向に２倍に拡大した１６×１６画素のブロックの２次元１階離散ウェーブレット分解成分の水平低周波且つ垂直低周波（ＬＬ）成分とみなし、得られた８×８画素ブロックの周波数成分をウェーブレット分解の０階層目のＬＬ成分をＬＬ^０（ｔ）に代入する。他の水平低周波且つ垂直高周波（ＬＨ^０）成分、水平高周波且つ垂直低周波（ＨＬ^０）成分、水平高周波且つ垂直高周波（ＨＨ^０）成分には０を代入する。得られた１６×１６画素のブロックに対する２次元周波数成分をフレーム画像拡大部２２に出力する。

フレーム画像拡大部２２は、代入された拡大フレーム画像の空間領域２次元周波数成分に対して２次元１階離散ウェーブレット再構成を施し、２値化し、拡大フレーム画像Ｆ’（ｔ）を生成して動きベクトル決定部２３に出力する。

同様に、フレーム画像信号成分値代入部２１及びフレーム画像拡大部２２により時刻ｔ＋１のフレーム画像Ｆ（ｔ＋１）を処理し、拡大されたフレーム画像Ｆ’（ｔ＋１）を生成して動きベクトル決定部２３に出力する。

動きベクトル決定部２３は、入力したフレーム画像Ｆ’（ｔ）を基準フレーム、Ｆ’（ｔ＋１）を参照フレームとし、ブロックマッチング法により拡大されたブロックに対する動きベクトルを決定して動きベクトル縮小部２４に出力する。

動きベクトル縮小部２４は、入力した拡大された画像に対する動きベクトルを縮小して元のフレーム画像Ｆ（ｔ）に対する動きベクトルを生成して動きベクトル平滑化部１２に出力する。

このように、動きベクトル検出部１１は、入力したフレーム画像を所定のブロックに分割して各ブロックの画像を水平及び垂直方向に拡大し、時刻ｔのフレーム画像Ｆ（ｔ）と時刻ｔ＋１のフレーム画像Ｆ（ｔ＋１）とからブロックマッチング法により１／２画素精度で動きベクトルを計算し、動きベクトル平滑化部１２に出力する。

尚、フレーム画像信号成分値代入部２１及びフレーム画像拡大部２２での処理を再度繰り返して水平及び垂直方向に対してそれぞれ４倍に画像を拡大し、１／４画素精度で動きベクトルを検出することもできる。

動きベクトル平滑化部１２は、フレーム画像を構成するブロックに対して、該ブロックと該ブロックの周囲の所定の数のブロックに関連づけられた動きベクトルの成分の中央値を計算して、該中央値でブロックの動きベクトルの成分を置き換えることにより動きベクトルの平滑化を行う。この動きベクトルの平滑化は、動きベクトルの検出の際に、移動領域の境界がブロック境界にほぼ重なる場合に動きベクトルの検出エラーが発生するため、検出エラーを回避するために行うものである。

ここで、図５を参照して動きベクトルの平滑化処理を説明する。

まず、ｉ，ｊをそれぞれ水平及び垂直方向のブロック位置として、時刻ｔのフレーム画像Ｆ（ｔ）内の１６×１６画素サイズの各ブロックをＢ（ｉ，ｊ）とし、各Ｂ（ｉ，ｊ）に対して、動きベクトル検出部１２により得られた動きベクトルＭＶ＿Ｂ（ｉ，ｊ）を割り付ける。次に、３×３のフィルタ（図示せず）により、全てのＭＶ＿Ｂ（ｉ，ｊ）に対して、周辺の３×３領域における動きベクトル成分の中央値を計算し、得られた中央値でＭＶ＿Ｂ（ｉ，ｊ）の動きベクトルの成分を置き換える。これにより、ブロック間の動きベクトルの変化が平滑化され、動きベクトル検出エラーを回避することが可能になる。

背景領域検出部１３は、ズーム検出部３１と、ズーム用背景領域生成部３２と、動きベクトルクラスタリング部３３とを備えている。背景領域検出部１３は、検出された動きベクトルをクラスタリングすることによりフレーム画像の背景領域を検出する。

ズーム検出部３１は、フレーム画像の中心から各ブロック位置までのベクトルの向きと各ブロックに対応する動きベクトルの向きとを比較して、撮影装置がズームイン又はズームアウトを行っているか否かを検出する。ズームインを行っている場合には、背景に相当する領域の動きベクトルは、ほぼ一定の大きさを持ち、フレーム画像の中心から外側に向き、ズームアウトを行っている場合には、動きベクトルはフレーム画像の中心の１点に向いていることが予想される。これに対して、移動物体領域の動きベクトルは、背景領域とは異なる方向を向いていることが予想される。そこで、本実施例においては、全ての動きベクトルＭＶ＿Ｂに対してそのベクトル方向に線分を伸ばし、全ての動きベクトルＭＶ＿Ｂの半数以上に対する線分が、所定の小空間領域ＺｏｏｍＡｒｅａ（ｘ，ｙ）内で交差する場合にカメラがズームイン又はズームアウトを行っていると判定する。ズームイン又はズームアウトを行っていると判定した場合には、交差した線分に対応するブロック情報を含む背景領域情報をズーム用背景領域生成部３２に出力し、ズームイン又はズームアウトを行っていると判定しなかった場合には、動きベクトルを動きベクトルクラスタリング部３３に出力する。

ズーム用背景領域生成部３２は、入力した背景領域情報から背景領域ＢａｃｋＧｒｏｕｎｄ（ｔ）を生成し、移動物体領域検出部１５に出力する。

動きベクトルクラスタリング部３３は、入力した動きベクトルに対してクラスタリングを行い、背景領域の検出を行う。撮影系が静止している場合には、背景が静止しているため背景領域の動きベクトルの成分は０である。従って、動きベクトルのクラスタリングを行うことにより、背景領域と移動物体領域とを分割することが可能となる。また、撮影系がパン（又はチルト）を行っている場合には、背景領域の動きベクトルは、特定の方向に向いているとともに、任意の一定の大きさを有していると考えられる。従って、背景が静止している場合と同様に動きベクトルのクラスタリングを行うことにより、パン（又はチルト）により移動する背景と、パン（又はチルト）及び物体自体により移動する移動物体領域とを分割することが可能となる。

背景領域と移動物体領域の分割処理は、以下のように、Ｋ−ｍｅａｎｓ法によるクラスタリングにより行う。まず、分割数（クラスタ数）Ｋと各クラスタに割り当てるクラスタ中心の初期値を設定する。移動物体領域の検出のためには、フレーム画像を背景とそれ以外の移動物体領域の２つに分割すればよいため、クラスタ数Ｋは２以上の比較的小さな値に設定する。次に、全ての動きベクトルをＫ個のクラスタに振り分け、各クラスタに属するベクトル成分の平均値を計算して再度クラスタ中心を求める。上記の動きベクトルの振り分けとクラスタ中心の計算を繰り返し、クラスタ中心の値が変化しなくなるまで繰り返す。クラスタ中心の値が変化しなくなった時に、全てのベクトルに対してクラスタ中心からの距離を計算し、クラスタごとに距離の分散を求める。本実施例においては、求めた距離の分散が最も小さいクラスタに属する動きベクトルを背景領域の動きベクトルとみなし、そのクラスタに属する動きベクトルに対応するブロックを使用して背景領域ＢａｃｋＧｒｏｕｎｄ（ｔ）を生成して移動物体領域検出部１５に出力する。

このように、背景領域検出部１３は、動きベクトル平滑化部１２から入力した動きベクトルから背景領域を検出し、背景領域ＢａｃｋＧｒｏｕｎｄ（ｔ）を生成して移動物体領域検出部１５に出力する。

以上のように、空間領域においてフレーム画像信号内の移動物体領域検出を行うことが可能になる。

次に、時間軸方向に対する変動領域検出について説明する。

（時間軸方向の変動領域検出）
時間軸方向変動領域検出部１４は、各々が時系列の異なるフレームからなる複数組の連続フレーム列の各組に対して１次元周波数変換を施して高周波成分を抽出し、複数組の該高周波成分から当該フレーム画像における時間軸方向の変動領域を検出する。本実施例においては、１次元周波数変換において、例えばウェーブレット長４のドビュッシー（Ｄａｕｂｅｃｈｉｅｓ）ウェーブレット法を使用して１次元１階離散ウェーブレット変換を施す例について説明する。

まず、図６に示すように、ウェーブレット長に対応する連続フレーム列Ｆ（ｔ−３）〜Ｆ（ｔ）の時間軸方向に対して１次元１階離散ウェーブレット分解を行う。これにより、時間軸方向の第１高周波成分ＥｖｅｎＨ_ｔ（ｔ_０）が得られる。得られた第１高周波成分ＥｖｅｎＨ_ｔ（ｔ_０）に対して所定の閾値Ｔｈで２値化し、フレーム画像列から時間軸方向変動領域フレーム画像列を抜き出す。得られた第１高周波成分ＥｖｅｎＨ_ｔ（ｔ_０）は、ドビュッシーウェーブレット法の２次のウェーブレット長、即ち、４フレームに亘る変動領域の変化を含んでいる。

同様に、第１高周波成分ＥｖｅｎＨ_ｔ（ｔ_０）に対して２フレーム進んだ連続フレーム列Ｆ（ｔ−１）〜Ｆ（ｔ＋２）を使用して、第１高周波成分ＥｖｅｎＨ_ｔ（ｔ_０＋１）を計算する。

続いて、図７に示すように、第１高周波成分ＥｖｅｎＨ_ｔ（ｔ_０）と第１高周波成分ＥｖｅｎＨ_ｔ（ｔ_０＋１）の論理積を計算することにより、フレーム画像Ｆ（ｔ−１）及びＦ（ｔ）に対する時間軸方向変動領域を抽出する。得られた時間軸方向変動領域は、原画像で２フレーム分の変動領域を含んでいる。

次に、図８に示すように、第１高周波成分ＥｖｅｎＨ_ｔ（ｔ_０）に対して１フレーム分だけずらしたＦ（ｔ−２）〜Ｆ（ｔ＋１）のフレーム列に対して時間軸方向の１次元１階離散ウェーブレット分解を行う。これにより、時間軸方向の第２高周波成分ＯｄｄＨ_ｔ（ｔ_０）を求める。次に、得られた第２高周波成分ＯｄｄＨ_ｔ（ｔ_０）を所定の閾値Ｔｈで２値化し、フレーム画像列から時間軸方向変動領域フレーム列を抽出する。得られた第２高周波成分ＯｄｄＨ_ｔ（ｔ_０）も、第１高周波成分ＥｖｅｎＨ_ｔ（ｔ_０）と同様に、ドビュッシーウェーブレット法の２次のウェーブレット長、即ち４フレームに亘る時間軸方向変動領域を含んでいる。

同様に、第２高周波成分ＯｄｄＨ_ｔ（ｔ_０）に対して２フレーム進んだ連続フレーム列Ｆ（ｔ）〜Ｆ（ｔ＋３）を使用して、第２高周波成分ＯｄｄＨ_ｔ（ｔ_０＋１）を計算する。

続いて、図９に示すように、第２高周波成分ＯｄｄＨ_ｔ（ｔ_０）と第２高周波成分ＯｄｄＨ_ｔ（ｔ_０＋１）の論理積を計算することにより、フレームＦ（ｔ）及びＦ（ｔ＋１）に対する時間軸方向変動領域を抽出する。得られた時間軸方向変動領域は、原画像で２フレーム分の変動領域を含んでいる。

最後に、図１０に示すように、第１高周波成分ＥｖｅｎＨ_ｔ（ｔ_０）と第１高周波成分ＥｖｅｎＨ_ｔ（ｔ_０＋１）と第２高周波成分ＯｄｄＨ_ｔ（ｔ_０）と第２高周波成分ＯｄｄＨ_ｔ（ｔ_０＋１）との論理積を計算し、原画像の或るフレーム画像Ｆ（ｔ）に対する時間軸方向変動領域ＭｏｖＡｒｅａ（ｔ）を生成して移動物体領域検出部１５に出力する。

以上のように、フレーム画像信号の時間軸方向に対する変動領域を抽出することができる。

こうして背景領域と時間軸方向変動領域とから最終的な移動物体領域を検出する。移動物体領域検出部１５は、検出された背景領域の信号成分を２値化し、１と０の反転処理を行うことにより移動物体領域を生成し、該移動物体領域と時間軸方向変動領域の論理積を計算することにより最終的な移動物体領域を検出する。具体的には、背景領域検出部１３により得られたＢａｃｋＧｒｏｕｎｄ（ｔ）と、時間軸方向変動検出部１４により得られた１フレーム分の時間軸方向変動領域ＭｏｖＡｒｅａ（ｔ）とから最終的な移動物体領域を検出する。具体的には、まずＢａｃｋＧｒｏｕｎｄ（ｔ）に対して１と０の反転処理（即ち論理演算のＮＯＴ処理）を行い、移動物体領域ＦｏｒｅＧｒｏｕｎｄ（ｔ）を得る。次に、ＦｏｒｅＧｒｏｕｎｄ（ｔ）と１フレーム分の時間軸方向変動領域の論理積（論理演算のＡＮＤ）を計算することにより、空間領域における移動物体領域と時間軸方向の変動領域との重複した領域を最終的な移動物体領域として決定する。

このように、本発明の一実施例による移動物体領域検出装置により、パンやチルト等により背景が複雑に移動する場合に対しても、移動物体領域を的確に検出することが可能となる。

次に、本発明による一実施例の移動物体領域検出装置の動作について説明する。

[移動物体領域検出装置の動作]
図１１は、本発明による一実施例の移動物体領域検出装置の動作を示すフローチャートである。尚、構成要素の説明に関しては、図１の符号を使用する。

まず、ステップＳ１１０１にて、空間領域において移動物体領域の検出を行うか否かを判断する。

ステップＳ１１０１にて空間領域で移動物体領域の検出を行うと判断した場合、ステップＳ１１０２にて、複数のフレーム画像を所定のブロックに分割し、ブロックマッチング法により全てのブロックに対して動きベクトルを検出する。例えば、時刻ｔのフレーム画像Ｆ（ｔ）と、Ｆ（ｔ）に対して１フレーム進んだ時刻ｔ＋１のフレーム画像Ｆ（ｔ＋１）とを所定のブロックに分割し、ウェーブレット変換を施した後に所定の閾値を使用して２値化して空間領域２次元周波数成分を生成し、ブロックマッチング法により全てのブロックに対して時刻ｔにおける動きベクトルを検出する。

次に、ステップＳ１１０３にて、動きベクトル平滑化部１２により、検出した動きベクトルの各々に対して、Ｆ（ｔ）における任意のブロックとその周囲の所定の数のブロックとに対して関連づけられた動きベクトルの成分の中央値を計算し、該中央値で動きベクトルの成分を置き換えることにより動きベクトルを平滑化する。

次に、ステップＳ１１０４にて、背景領域検出部１３により、平滑化した動きベクトルをクラスタリングすることにより、フレーム画像の背景領域を検出し、背景領域ＢａｃｋＧｒｏｕｎｄ（ｔ）を生成する。

次に、ステップＳ１１０５にて、時間軸方向変動領域検出部１４により、各々が時系列の異なるフレームからなる４組の連続フレーム列に対して１次元周波数変換を施し、高周波成分を抽出し、４組の該高周波成分に対して論理積を計算することにより時間軸方向の変動領域を検出する。例えば、時刻（ｔ−３）〜（ｔ＋３）までのフレーム画像のうちＦ（ｔ−３）〜Ｆ（ｔ），Ｆ（ｔ−２）〜Ｆ（ｔ＋１），Ｆ（ｔ−１）〜Ｆ（ｔ＋２）及びＦ（ｔ）〜Ｆ（ｔ＋３）の４組の連続する４フレームの各々をウェーブレット変換した後に２値化して時間軸方向２次元周波数成分を生成し、該時間軸方向２次元周波数成分から水平及び垂直方向の高周波成分を抽出し、抽出された４組の該高周波成分に対して論理積を計算することにより時刻ｔにおける時間軸方向の変動領域ＭｏｖＡｒｅａ（ｔ）を生成する。

最後に、ステップＳ１１０６にて、移動物体領域検出部１５により、検出された背景領域と時間軸方向変動領域とから最終的な移動物体領域を検出する。例えば、生成した前記背景領域の信号成分に対して１と０の反転処理を施して移動物体領域ＦｏｒｅＧｒｏｕｎｄ（ｔ）を生成し、得られたＦｏｒｅＧｒｏｕｎｄ（ｔ）と時間軸方向変動領域ＭｏｖＡｒｅａ（ｔ）との論理積を計算することにより時刻ｔにおける最終的な移動物体領域を決定する。

このように、時刻ｔにおける移動物体領域を高精度に検出することが可能となる。

更に、本発明の一態様として、移動物体領域検出装置１として機能するコンピュータとして構成させることができる。コンピュータに、前述した各構成要素を実現させるためのプログラムは、各コンピュータの内部又は外部に備えられる記憶部に記憶される。そのような記憶部は、外付けハードディスクなどの外部記憶装置、或いはＲＯＭ又はＲＡＭなどの内部記憶装置で実現することができる。各コンピュータに備えられる制御部は、中央演算処理装置（ＣＰＵ）などの制御で実現することができる。即ち、ＣＰＵが、各構成要素の機能を実現するための処理内容が記述されたプログラムを、適宜、記憶部から読み込んで、各構成要素の機能をコンピュータ上で実現させることができる。ここで、各成要素の機能をハードウェアの全部又は一部で実現しても良い。

本発明によれば、単一のテレビカメラで撮影した映像からカメラの複雑な動きに対応する移動物体領域を高精度に検出することが可能になるので、トラッキングやマッチングなどにおいて移動物体領域検出を必要とする自動監視装置や高度道路交通システム（ＩＴＳ）、放送通信などの映像信号の高効率符号化が要求されるオブジェクト符号化及び復号装置、高解像度動画装置、多視点映像装置などに有用である。

１ 移動物体領域検出装置
１１ 動きベクトル検出部
１２ 動きベクトル平滑化部
１３ 背景領域検出部
１４ 時間軸方向変動検出部
１５ 移動物体領域検出部
２１ フレーム画像信号成分値代入部
２２ フレーム画像拡大部
２３ 動きベクトル決定部
２４ 動きベクトル縮小部
３１ ズーム検出部
３２ ズーム用背景領域生成部
３３ 動きベクトルクラスタリング部

Claims (7)

1. 複数のフレーム画像からなるフレーム画像列から移動物体領域を検出する移動物体領域検出装置であって、
   処理対象のフレーム画像について動きベクトルを検出する動きベクトル検出手段と、
   検出された前記動きベクトルをクラスタリングすることによりフレーム画像の背景領域を検出する背景領域検出手段と、
   各々が時系列の異なるフレームからなる複数組の連続フレーム列の各組に対して１次元周波数変換を施して高周波成分を抽出し、複数組の該高周波成分から当該フレーム画像における時間軸方向の変動領域を検出する時間軸方向変動検出手段と、
   検出された前記背景領域と前記時間軸方向の変動領域とから、最終的な移動物体領域を検出する移動物体領域検出手段と、
   を備え、
   前記動きベクトル検出手段が、
   前記処理対象のフレーム画像に対して２次元１階離散ウェーブレット変換を施して２次元周波数成分を生成し、該２次元周波数成分を、前記処理対象のフレーム画像に対して水平及び垂直方向に２倍の大きさを有する拡大フレーム画像の２次元周波数成分の低周波成分に代入するとともに、前記拡大フレーム画像の２次元周波数成分の他の成分に０を代入する手段と、
   代入された前記拡大フレーム画像の２次元周波数成分に対して２次元１階離散ウェーブレット再構成を施し、前記拡大フレーム画像を生成する手段と、
   前記拡大フレーム画像から動きベクトルを検出する手段と、
   該検出した動きベクトルを前記フレーム画像に対応する動きベクトルに縮小し、前記処理対象のフレーム画像の動きベクトルとして検出する手段と、
   を有することを特徴とする移動物体領域検出装置。
2. 前記背景領域検出手段が、前記動きベクトルをＫ−ｍｅａｎｓ法によりクラスタリングすることを特徴とする、請求項１に記載の移動物体領域検出装置。
3. 前記背景領域検出手段が、前記フレーム画像の中心から各ブロック位置までのベクトルの向きと各ブロックに対応する前記動きベクトルの向きとを比較して、前記撮影装置がズームイン又はズームアウトを行っているか否かを検出するズーム検出部を更に備えることを特徴とする、請求項１または２に記載の移動物体領域検出装置。
4. 前記時間軸方向変動検出手段が、ドビュッシーウェーブレット法により各々が時系列の異なるフレームからなる４組の連続フレーム列の各組に対して１次元１階離散ウェーブレット変換を施すことにより、高周波成分を抽出することを特徴とする、請求項１〜３のいずれかに記載の移動物体領域検出装置。
5. 前記移動物体領域検出手段が、検出された前記背景領域の信号成分を２値化し、１と０の反転処理を行うことにより移動物体領域を生成し、該移動物体領域と前記時間軸方向変動領域の論理積を計算することにより最終的な移動物体領域を検出することを特徴とする、請求項１〜４のいずれかに記載の移動物体領域検出装置。
6. 前記クラスタリングを実行する前に、検出された前記動きベクトルの平滑化を行う動きベクトル平滑化手段を更に備えることを特徴とする、請求項１〜５のいずれかに記載の移動物体領域検出装置。
7. コンピュータを、請求項１〜６のいずれかに記載の移動物体領域検出装置として機能させるための移動物体領域検出プログラム。

Images