JP4427052B2 - 画像処理装置および領域追跡プログラム - Google Patents

Description

本発明は、単眼カメラで撮影した特定画像の追跡処理に適用して好適な画像処理装置および領域追跡プログラムに関する。

カメラで撮影した画像から動きを伴う画像領域を抽出し追跡する追跡処理技術として、従来では、焦点距離やＣＣＤサイズ等の各種カメラ情報から、抽出された領域の実サイズや位置を計測し、動きを伴う領域を追跡する技術が存在する。しかしながら、この種の領域追跡処理技術においては、カメラ情報を含む膨大な情報の管理や多大な設定工数を必要とし、三次元計測処理等の複雑な処理が必要となることから、ソフトウェア及びハードウェアにかかる処理負荷が大きいという問題があった。

また、特定の領域を対象とした追跡処理技術として、カメラで撮影した変化領域の濃淡画像から、実空間の平面に擬似的に投影変換した画像を作成し、作成した画像を個別の領域に分離し、個々に追跡して、フレーム間の動きベクトルから移動軌跡を抽出する技術が存在した。しかしながらこの種、従来の領域追跡処理手段においては、実空間変換用マップの作成処理、実空間への画像変換処理等、種々の煩雑な処理を必要とすることから、ソフトウェア及びハードウェアにかかる処理負荷が大きいという問題があった。
特開平９−９１４３９号公報

本発明は、上記した従来の問題点を解決するためになされたもので、撮影した画像から変化画素を含む領域を抽出し追跡する領域追跡処理の処理負荷を著しく軽減でき、ハードウェアおよびソフトウェアを簡素化して処理の高速化が図れる画像処理装置および領域追跡プログラムを提供することを目的とする。

本発明は、所定の周期で入力した画面上の現在画像と過去画像を差分処理して、変化した画素を含む矩形の領域を抽出する領域抽出処理手段と、前記領域抽出処理手段が抽出した領域のうち、新たに抽出した領域を、追跡処理の対象となる新規オブジェクトとして登録する新規オブジェクトの登録処理手段と、前記新規オブジェクトの登録処理手段により登録されたオブジェクトを未確定オブジェクトとして、前記領域抽出処理手段が領域を抽出する都度、今回抽出した領域の位置および大きさを示す情報と前回抽出した領域の位置および大きさを示す情報とをもとに前記未確定オブジェクトを追跡する未確定オブジェクトの追跡処理手段と、前記未確定オブジェクトの追跡処理手段が所定時間継続して追跡した未確定オブジェクトについて、当該オブジェクトを確定オブジェクトとして、前記領域抽出処理手段が領域を抽出する都度、当該抽出した領域の位置および大きさを示す情報と、前記未確定オブジェクトの追跡時における時系列の位置情報に基づく最小自乗近似により求める予測方向に従い追跡の都度更新される予測領域の位置および大きさを示す情報と移動速度情報をもとに、前記確定オブジェクトを追跡する確定オブジェクトの追跡処理手段とを具備した画像処理装置を提供する。

また、本発明は、カメラで撮影した撮像画面を所定の周期で入力し、入力した画面上の現在画像と過去画像から変化画素を含む領域を抽出し追跡する画像処理装置としてコンピュータを機能させるための領域追跡プログラムであって、今回入力した画面上の画像と前回入力した画面上の画像とを差分処理して画面上の変化した画素を含む矩形の領域を抽出する領域抽出機能と、前記領域抽出機能により抽出された領域が、前記画面上で新たに抽出された領域であるか否かを判定し、新たに抽出された領域であるとき、当該抽出した領域を、追跡処理の対象となる新規オブジェクトとして登録する新規オブジェクトの登録処理機能と、前記新規オブジェクトの登録処理機能により登録されたオブジェクトについて、当該オブジェクトを未確定オブジェクトとして、前記領域抽出機能が前記領域を抽出する都度、今回抽出した領域の位置および大きさを示す情報と前回抽出した領域の位置および大きさを示す情報とをもとに前記未確定オブジェクトを追跡する未確定オブジェクトの追跡処理機能と、前記未確定オブジェクトの追跡処理機能が所定時間継続して追跡した未確定オブジェクトについて、当該オブジェクトを確定オブジェクトとして、前記領域抽出処理機能が領域を抽出する都度、当該抽出した領域の位置および大きさを示す情報と、前記未確定オブジェクトの追跡時における時系列の位置情報に基づく最小自乗近似により求める予測方向に従い追跡の都度更新される予測領域の位置および大きさを示す情報と移動速度情報とをもとに、前記確定オブジェクトを追跡する確定オブジェクトの追跡処理機能とをコンピュータに実現させるための領域追跡プログラムを提供する。

本発明によれば、カメラで撮影した画像から変化画素を含む領域を抽出し追跡する領域追跡処理の処理負荷を著しく軽減できる。これによりハードウェアおよびソフトウェアを簡素化して処理の高速化を図ることができる。

本発明は、単眼カメラ（１台のカメラ）の画像処理において、画像を取り込む毎に、過去画像と現在画像との差から画像中の変化画素領域を矩形の領域として抽出し、時系列に得られた抽出領域の情報から現在の領域の対応付けを行い、領域の移動を追跡する。

この領域追跡処理を実現するため、本発明は、画面上の変化画素領域を矩形の領域として抽出し、この領域を追跡する二種の領域追跡処理手段を有して、これら各領域追跡処理手段により段階的に継続して領域追跡を行うことで、処理負荷の軽減と処理速度の高速化を図った効率の良い領域追跡を可能にしている。

上記した二種の領域追跡処理手段として、未確定オブジェクトの追跡処理手段と、確定オブジェクトの追跡処理手段とを備える。未確定オブジェクトの追跡手段は、時系列に抽出した領域の領域情報をもとに前回抽出した矩形の領域を拡大した予測領域を一時的に生成し、当該予測領域に、今回抽出した矩形の領域が交差するとき、今回抽出した矩形の領域を未確定オブジェクトとしてオブジェクトの追跡を行う。確定オブジェクトの追跡手段は、抽出した領域の領域情報と、未確定オブジェクトの追跡に伴う時系列の位置情報に基づく最小自乗（二乗）近似により求め、追跡の都度更新される予測方向に従い生成した予測領域情報と移動速度情報をもとに、確定オブジェクトの追跡を行う。

以下図面を参照して本発明の実施形態を説明する。
本発明の実施形態にかかる画像処理装置の構成を図１に示す。なお、この実施形態では、カメラから取り込んだ１フレーム分の画像データを、単に画像若しくは画面上の画像若しくは一画面分の画像と称している。

本発明の実施形態に係る画像処理装置は、図１に示すように、カメラ１１と、キャプチャ部１２と、画像処理記憶部１３と、画像処理部１５と、表示部１６とを具備して構成される。

カメラ１１は、レンズユニットとレンズユニットの結像位置に設けられた撮像素子（例えばＣＣＤ固体撮像素子、若しくはＣＭＯＳイメージセンサ）とを具備して、屋外若しくは屋内の動きを伴う被写体（動物体）を対象に、撮像した一画面分の画像を所定の画素単位（例えば１フレーム３２０×２４０画素＝ＱＶＧＡ）で出力する。

キャプチャ部１２は、カメラ１１が撮像したフレーム単位の画像を画像処理部１５の処理対象画像（入力画像）として取り込み、画像処理記憶部１３内の画像バッファ１４に保持する処理機能をもつ。この画像バッファ１４に取り込む画面上の入力画像は、ここでは原画像とするが、エッジ画像であってもよい。

画像処理記憶部１３は、画像処理部１５の処理に供される、キャプチャ部１２が取り込んだ入力画像および処理中の各画像を含む各種データを記憶する。この画像処理記憶部１３には、画像処理部１５の制御の下に、キャプチャ部１２が取り込んだフレーム単位の画像のうち、今回取り込んだ一画面分の画像（現在画像）と、前回取り込んだ一画面分の画像（過去画像）をそれぞれ処理対象画像として保持する画像バッファ１４を構成する領域が確保されるとともに、画像処理部１５の処理に用いられる画像領域が確保される。さらに画像処理記憶部１３には、画像処理部１５の処理に供される各種のパラメータおよび制御データを記憶する記憶領域、確定および未確定オブジェクトの登録並びに追跡処理に於いて生成若しくは取得される各種情報の記憶領域等も確保される。

画像処理部１５は、画像バッファ１４に保持された過去画像と現在画像を差分処理して二値化した差分二値化画像を生成し、この差分二値化画像に含まれるノイズを除去して、この差分二値化画像から、変化画素を含む矩形の領域を抽出し、当該矩形の領域を処理対象に、領域を追跡する一連の画像処理を行うもので、前処理部１５１、差分処理部１５２、二値化処理部１５３、ノイズ除去フィルタ１５４、領域化処理部１５６、領域追跡処理部１５７等を具備して構成される。

これら画像処理部１５の構成要素のうち、前処理部１５１、差分処理部１５２、二値化処理部１５３、ノイズ除去フィルタ１５４、および領域化処理部１５６は、カメラ１１から所定の周期で取り込んだ画面上の現在画像（今回取り込んだ画面上の画像）と過去画像（前回取り込んだ画面上の画像）とを差分処理して、変化した画素を含む矩形の領域を抽出する領域抽出処理機能を実現する。さらに上記した画像処理部１５の構成要素のうち、前処理部１５１、差分処理部１５２、および二値化処理部１５３は、今回取り込んだ現在画像と前回取り込んだ過去画像とを差分処理して二値化した差分二値化画像を生成する差分二値化画像生成手段を実現する。

上記した画像処理部１５の各構成要素のうち、前処理部１５１は、画像バッファ１３に貯えた過去画像と現在画像との比較（変化画素領域を抽出するための差分処理）に際し、キャプチャ部１２が取り込んだ一画面分の入力画像に対して予め定められた前処理（平滑化処理、エッジ処理等）を実行する。差分処理部１５２は前処理部１５１を介した過去画像と現在画像とを画素単位で比較して差分領域を抽出する。

二値化処理部１５３は、差分処理部１５２で差分処理した画像を画像記憶部１３に保持されている予め設定された閾値に従い二値化して、差分二値化画像を生成する。この差分二値化画像は、画像処理記憶部１３に予め確保した領域（差分二値化画像領域）に記憶される。

ノイズ除去フィルタ１５４は、拡散フィルタ１５４ａと収縮フィルタ１５４ｂとを有して構成され、上記差分二値化画像から動物体領域の抽出に不要なノイズ（ごま塩状の変化画素）を除去する。このノイズ除去フィルタ１５４の構成要素をなす拡散フィルタ１５４ａは、上記差分二値化画像の最外周を除く各画素に対して注目画素を順次設定し、設定した注目画素に隣接する斜め方向の画素中（４画素中）に変化画素が存在するとき、上記注目画素を変化画素とする拡散フィルタリング処理を行う。収縮フィルタ１５４ｂは、上記拡散フィルタ１５４ａで処理した画像に対して注目画素に隣接する周囲８画素若しくは４画素をもとに収縮フィルタリング処理を行う。このノイズ除去フィルタ１５４でノイズ除去した各フレーム（画面）毎の差分二値化画像は画像処理記憶部１３の画像領域に記憶される。

領域化処理部１５６は、上記ノイズ除去フィルタ１５４でノイズ除去した差分二値化画像を画面上の矩形の領域に領域化する処理を行う。この領域化処理では、差分二値化画像として抽出された画面上の変化画素領域を矩形で囲い、画面上からこの矩形の領域を抽出することによって、差分二値化画像を画面上の矩形の領域に領域化する。領域化処理部１５６は、この矩形の領域を示す、画面上に於ける位置及び大きさを示す左上（ｘ０，ｙ０）および右下（ｘ１，ｙ１）の座標データを矩形の領域情報として領域追跡処理部１５７に送出する。

領域追跡処理部１５７は、領域化処理部１５６から受けた矩形の領域情報をもとに、領域化処理部１５６が抽出した矩形の領域を追跡する処理を行う。領域追跡処理部１５７は、領域化処理部１５６が矩形の領域を抽出する都度、画面上の動きを伴う画像（動物体画像）の比較により抽出された差分二値化画像に代わって、領域化処理部１５６が抽出した矩形の領域を追跡処理対象オブジェクトとして追跡処理する。この領域追跡処理部１５７は、確定オブジェクト追跡部１５７ａと、未確定オブジェクト追跡部１５７ｂと、新規オブジェクト登録部１５７ｃと、不要オブジェクト除去部１５７ｄとを具備して構成される。

未確定オブジェクト追跡部１５７ｂは、確定オブジェクト追跡部１５７ａが追跡しているオブジェクト（確定オブジェクト）を除く画面上の領域を対象に、オブジェクト（未確定オブジェクト）の追跡を行う。

新規オブジェクト登録部１５７ｃは、確定オブジェクト追跡部１５７ａが追跡しているオブジェクト、および未確定オブジェクト追跡部１５７ｂが追跡しているオブジェクトを除く画面上の領域を対象に、新規オブジェクトの登録処理を行う。

未確定オブジェクト追跡部１５７ｂは、領域追跡の都度、追跡している領域について、確定オブジェクト追跡部１５７ａが領域予測に用いる所定の情報を生成し蓄積する処理機能をもつ。また、確定オブジェクト追跡部１５７ａは、領域追跡の都度、未確定オブジェクト追跡部１５７ｂが生成した領域情報を用いて追跡オブジェクトを確定（確定オブジェクトとする）し、追跡を継続するとともに、追跡に用いた領域情報を用いて、領域予測に用いる所定の情報を更新する処理機能をもつ。

確定オブジェクト追跡部１５７ａは、未確定オブジェクト追跡部１５７ｂが複数回に亘り連続して追跡した（追跡に成功した）未確定オブジェクトを、確定オブジェクトとし、継続してオブジェクトを追跡処理するもので、領域化処理部１５６が矩形の領域を抽出する都度、領域化処理部１５６が抽出した矩形の領域の情報と、未確定オブジェクト追跡部１５７ｂが未確定オブジェクトの追跡時において生成した時系列の位置情報に基づく最小自乗近似により求めた予測方向に従う予測位置および予測領域の情報とをもとに、オブジェクト（確定オブジェクト）の追跡を行う。確定オブジェクト追跡部１５７ａは、未確定オブジェクト追跡部１５７ｂが一定の期間に亘るオブジェクトの追跡処理で取得した情報（後述する、領域の幅、高さの平均値と標準偏差、および連続する画面相互の対応付けによって得られた画面上を移動する矩形の領域の速度の平均値と標準偏差等）を用いて、追跡に利用する領域の妥当性をチェックする。領域が不適当な場合は、予測情報を利用して追跡を継続する。さらに上記未確定オブジェクトの追跡処理で取得した領域の位置および速度の情報をもとに最小自乗（二乗）近似式により求めた予測移動方向情報を用いて現在領域の位置を予測し、その位置付近に出現した領域との対応付けを実施する。この確定オブジェクトの追跡処理は、設定されたパラメータの値に従う予測情報による連続追跡回数（例えば５回）又は総追跡回数（例えば３００回）をもって終了する。さらに確定オブジェクト追跡部１５７ａは、オブジェクトの追跡処理に於いて、未確定オブジェクト追跡部１５７ｂが生成した、オブジェクト情報を含む領域情報および移動速度情報、予測方向を更新する。これら各情報の具体例については後述する。

未確定オブジェクト追跡部１５７ｂは、新規オブジェクト登録部１５７ｃが登録した新規オブジェクトを未確定オブジェクトとして追跡処理するもので、領域化処理部１５６が矩形の領域を抽出する都度、前回抽出した矩形の領域（領域の幅及び高さ）を拡大した予測領域を一時的に生成し、当該予測領域に、今回抽出した矩形の領域が交差するとき、今回抽出した矩形の領域を未確定オブジェクトとして、オブジェクトの追跡を行う。

未確定オブジェクト追跡部１５７ｂは、領域化処理部１５６が矩形の領域を抽出する都度、前回抽出した矩形の領域について、領域の幅（ｘ方向）及び高さ（ｙ方向）を拡大し、この拡大した領域を予測領域として、この予測領域に、今回抽出した矩形の領域が交差するとき、今回抽出した矩形の領域を未確定オブジェクトとして、オブジェクトの追跡を行う。この実施形態では、予め設定したパラメータの値（ｅｗ／ｅｈ）に従い領域の幅と高さを拡げた予測領域を生成することによって、追跡処理のより簡素化並びに高速化を図っているが、追跡の都度、時系列に変化する領域の情報をもとに予測領域の幅と高さを設定し、予測領域の拡げる幅および高さを可変にすることも可能である。

さらに、未確定オブジェクト追跡部１５７ｂは、オブジェクトの追跡処理に於いて、時系列に変化する領域の情報をもとに、確定オブジェクト追跡部１５７ａが継続してオブジェクトを追跡する際に必要とする情報を生成する。ここでは、オブジェクトの追跡処理に於いて、時系列に変化する領域の情報をもとに、オブジェクト情報を含む領域情報と、移動速度情報とを含む所定の情報を生成する。オブジェクト情報には、領域を特定する矩形および面積の情報、および領域切出画像（領域追跡には必要としない）が含まれ、領域情報には、領域幅情報（領域幅、領域幅二乗値）、領域高さ情報（領域高さ、領域高さ二乗値）、領域幅統計情報（平均値、標準偏差、変動率、総和、二乗総和（平均値と変動率は予測情報生成時に利用））、領域高さ統計情報（平均値、標準偏差、変動率、総和、二乗総和等（平均値と変動率は予測情報生成時に利用））等が含まれる。移動速度情報には、移動速度情報（移動速度、移動速度二乗値）、移動速度統計情報（平均値、標準偏差、変動率、総和、二乗総和（平均値と変動率は予測情報生成時に利用））等が含まれる。

確定オブジェクト追跡部１５７ａは、未確定オブジェクト追跡部１５７ｂの追跡処理で生成した、これらの情報を使用し、更新しながら確定オブジェクトの追跡処理を行う。

新規オブジェクト登録部１５７ｃは、上記確定オブジェクト追跡部１５７ａ、および未確定オブジェクト追跡部１５７ｂが追跡処理しているオブジェクトの追跡領域を除く画面上の領域に新たに出現した矩形の領域を新規オブジェクトとして認識し登録する処理を行う。この新規オブジェクトの登録処理では、領域化処理部１５６から受けた領域情報をもとに、矩形領域の位置（座標）および面積を示すオブジェクト情報を生成し、このオブジェクト情報を画像処理記憶部１３の予め定められた記憶領域に格納する。

不要オブジェクト除去部１５７ｄは、不要なオブジェクト（確定オブジェクトおよび不確定オブジェクト）を削除する処理を行う。不要オブジェクト除去部１５７ｄは、例えば未確定オブジェクト若しくは確定オブジェクトとして追跡しているオブジェクトが終了となった場合に、当該未確定オブジェクト若しくは確定オブジェクトを削除する（不要オブジェクトを画像処理記憶部１３から消去する）。

表示部１６は上記画像処理部１５で画像処理された動物体領域を表示出力する。

ここで、図２乃至図７を参照して上記画像処理部１５に於けるオブジェクトの追跡処理動作を説明する。

上記した画像処理部１５に於けるオブジェクトの追跡処理手順を図２に示す。

画像処理部１５において、差分処理部１５２は、画像バッファ１４に保持された過去画像と現在画像とを画素単位で比較し、変化した画素単位の領域を差分領域として抽出する（ステップＳ１１）。この差分処理部１５２で差分処理した画像は、二値化処理部１５３により二値化され、領域化処理部１５６により画面上の矩形の領域に領域化される（ステップＳ１２）。

領域追跡処理部１５７は、領域化処理部１５６が領域化した矩形の領域情報を入力すると、当該入力した矩形の領域情報を追跡対象オブジェクトとして追跡処理する。

初期動作時においては、追跡処理の対象となるオブジェクト（未確定オブジェクトおよび確定オブジェクト）が存在しないので、領域化処理部１５６から入力された矩形の領域が新規オブジェクト登録部１５７ｃにおいて、新規オブジェクトとして登録される（ステップＳ１５）。

新規オブジェクト登録部１５７ｃにおいて、新規オブジェクトが登録されると、領域化処理部１５６が再び矩形の領域を抽出する、次の処理サイクル以降において、未確定オブジェクト追跡部１５７ｂは、新規オブジェクト登録部１５７ｃが登録した新規オブジェクトを未確定オブジェクトとして追跡処理を開始する（ステップＳ１４）。

この未確定オブジェクト追跡部１５７ｂにおける未確定オブジェクトの追跡は、新規オブジェクト登録部１５７ｃの登録処理にてエントリーされているオブジェクトに対して、前回抽出されたオブジェクトの位置と領域情報を利用して、現在の出現領域位置（以下予測領域と呼ぶ）を以下のように予測する。

未確定オブジェクト追跡部１５７ｂは、領域化処理部１５６が矩形の領域を抽出する都度、図３に示すように、前回抽出した矩形の領域３０１を拡大した予測領域３０２を生成し、この予測領域３０２に、今回抽出した矩形の領域３０３が交差するとき、今回抽出した矩形の領域３０３を未確定オブジェクトとして、オブジェクトの追跡を行う。

未確定オブジェクト追跡部１５７ｂは、領域化処理部１５６が矩形の領域を抽出する都度、前回抽出した矩形の領域３０１に対して、当該領域の位置座標（ｘ０，ｙ０），（ｘ１，ｙ１）、およびこの座標値をもとに生成された領域の幅および高さの情報から求まる中心座標（重心位置）ｃｐ（ｍｉｄ Ｘ，ｍｉｄ Ｙ）と、設定されたパラメータの値（ｅｘ／ｅｈ）をもとに、領域幅をｅｘピクセル分、領域高さをｅｈピクセル分、それぞれ両方向に拡大した、予測領域３０２を生成し、この予測領域３０２に、今回抽出した矩形の領域３０３が交差するとき、今回抽出した矩形の領域３０３を未確定オブジェクトとして、オブジェクトの追跡を続行する。なお、予測領域３０２は、今回の追跡処理の終了に伴い消滅する一時的な領域である。

この際、今回抽出した矩形の領域が１つも予測領域に交差しないときは、不要オブジェクト除去部１５７ｄにより、当該未確定オブジェクトを不要オブジェクトであるとして、削除する（ステップＳ１６）。

さらに未確定オブジェクト追跡部１５７ｂは、領域化処理部１５６が抽出した矩形の領域が追跡対象領域であるとき、当該領域の位置座標（ｘ０，ｙ０）、（ｘ１，ｙ１）と、この位置座標をもとに生成した、領域の幅（ｘ１−ｘ０）および高さ（ｙ１−ｙ０）、面積、中心座標ｃｐ（ｍｉｄ Ｘ，ｍｉｄ Ｙ）等の各情報を画像処理記憶部１３の予め定められた記憶領域に格納する。

上記した未確定オブジェクト追跡部１５７ｂの追跡処理により、ある未確定オブジェクトが連続して複数回追跡され、その追跡処理の回数が、予め設定されたパラメータの値に従う追跡回数（例えば５回）になったとき、この未確定オブジェクトを確定オブジェクトにするか否かの判定を行う。この判定処理は、確定オブジェクト追跡部１５７ａ、未確定オブジェクト追跡部１５７ｂのいずれで行ってもよいが、ここでは未確定オブジェクト追跡部１５７ｂが行うものとする。

未確定オブジェクト追跡部１５７ｂは、未確定オブジェクトを所定回数（ここでは５回）連続して追跡したとき、未確定オブジェクトを連続して追跡した際に生成し採取した各領域の情報をもとに、領域幅、領域高さ、移動速度の各標準偏差を求め、この各標準偏差をパラメータにより予め設定した図４に示す許容標準偏差（ｓ）（領域幅、領域高さ、移動速度にそれぞれで許容標準偏差は異なるパラメータで設定する）と比較することにより行う。ここで、未確定オブジェクトの情報をもとに生成した、領域幅、領域高さ、移動速度の各標準偏差が、それぞれパラメータにより設定された許容標準偏差（ｓ）以内であるとき、その未確定オブジェクトを確定オブジェクトとする。未確定オブジェクトの情報をもとに生成した、領域幅、領域高さ、移動速度の各標準偏差のうち、少なくとも一つの標準偏差が、パラメータにより設定された許容標準偏差（ｓ）より大きいとき、出現領域のばらつきが大きいとして、この未確定オブジェクトの追跡を終了する。不要オブジェクト除去部１５７ｄによりこの未確定オブジェクトを削除する。

この判定で、確定オブジェクトと判定されたオブジェクトに対して、確定オブジェクト追跡部１５７ａは、予測方向と領域幅、領域高さ、移動速度の変動率を算出し、これらの情報を用いて領域予測を行い、上記確定オブジェクトと判定されたオブジェクトについて継続して追跡処理を行う（ステップＳ１３）。

確定オブジェクト追跡部１５７ａは、領域化処理部１５６が矩形の領域を抽出する都度、この領域化処理部１５６が抽出した矩形の領域に対し、未確定オブジェクト追跡部１５７ｂが未確定オブジェクトの追跡時において生成した時系列の位置情報に基づく最小自乗近似により求めた予測方向に従う予測位置に予測領域を生成し、この予測領域を用いて確定オブジェクトの追跡を開始する。

この確定オブジェクトの追跡処理は、図５に示すように、前回抽出した矩形の領域（過去の領域）５０１の位置及び領域と、当該領域の重心位置ｃｐ（ｍｉｄ Ｘ，ｍｉｄ Ｙ）と、予測方向（ｄ）から求まる予測移動方向Ｐｄ（角度θｂ）と、移動速度とをもとに予測領域５０２を生成し、この予測領域５０２に、今回抽出した矩形の領域（現在の領域）５０３が交差するとき、今回抽出した矩形の領域５０３を確定オブジェクトとして、オブジェクトの追跡を続行する。この際の予測移動方向Ｐｄ（角度θｂ）の算出は、図６に示すように、位置統計情報から、最小二乗法による係数Ａと係数Ｂを求め、相関係数を算出する。そして、現在位置情報（ｘ）と最も古い位置情報（ｘ）を利用して、近似直線の相関係数が高い場合は、最新、最古の位置情報ｘに対する近似直線上のＹを求め、それぞれの位置情報から予測移動方向Ｐｄ（角度θａ）を求める。相関が低い場合には最新、最古の座標情報ｙから予測移動方向（角度θｂ）を求め利用する。

この確定オブジェクトの追跡処理において、予測領域５０２に、複数の領域が交差するときは、この複数の領域をそれぞれ候補領域として、交差面積が最も大きい候補領域から、順に、領域の妥当性判断を行い、妥当性の高い候補の領域を追跡対象領域（追跡する確定オブジェクト）とする。この際の妥当性の判定は、図７の領域幅、領域高さ、移動速度、それぞれの統計情報における各標準偏差×３（３σ）を用いて、領域幅、領域高さ、移動速度の各妥当性を判断し、（３σ）よりも差が大きいとき、妥当でないと判断する。領域幅、領域高さ、移動速度の少なくともいずれか２つの妥当性が確認されたとき、その候補領域を追跡対象領域（追跡する確定オブジェクト）とする。上記の妥当性が確認されないときは次の候補領域に対して上記同様の判定処理を行う。追跡対象領域が確定した時、その領域情報を追加して、領域幅統計情報、領域高さ統計情報、移動速度統計情報、予測方向の更新を行う。追跡対象領域が確定できなかった場合は、予測領域を現在領域としてこれら統計情報、予測方向の更新を行う。この確定オブジェクトの追跡処理は、予測領域上に１つも交差する領域が存在しない状態が連続して発生し、設定されたパラメータ値に従う予測情報による連続追跡回数（例えば５回）に達した場合、又は総追跡回数（例えば３００回）に達した場合をもって終了する。

上記した、新規オブジェクトの登録処理（ステップＳ１５）と、未確定オブジェクトの追跡処理（ステップＳ１３）と、確定オブジェクトの追跡処理（ステップＳ１４）とを繰り返し実行することによって、カメラ１１で撮影した画面上の変化領域の追跡処理を効率よく実行することができる。また、上記した領域追跡処理部１５７の各処理機能をプログラムパッケージ化して提供することにより、既存の画像処理システムにおいて、未確定オブジェクト追跡処理機能と、確定オブジェクト追跡処理機能とを組み合わせた、簡素で高速な処理を可能にした画像追跡処理システムを容易に構築することができる。

本発明の実施形態に係る画像処理装置の構成を示すブロック図。 上記実施形態に係る画像処理装置の処理手順を示すフローチャート。 上記実施形態に係る未確定オブジェクト追跡部の処理動作を説明するための動作説明図。 上記実施形態に係る未確定オブジェクト追跡部の処理動作を説明するための動作説明図。 上記実施形態に係る確定オブジェクト追跡部の処理動作を説明するための動作説明図。 上記実施形態に係る確定オブジェクト追跡部の処理動作を説明するための動作説明図。 上記実施形態に係る確定オブジェクト追跡部の処理動作を説明するための動作説明図。

符号の説明

１１…カメラ、１２…キャプチャ部、１３…画像処理記憶部、１５…画像処理部、１６…表示部、１５１…前処理部、１５２…差分処理部、１５３…二値化処理部、１５４…ノイズ除去フィルタ、１５６…領域化処理部、１５７…領域追跡処理部、１５７ａ…確定オブジェクト追跡部、１５７ｂ…未確定オブジェクト追跡部、１５７ｃ…新規オブジェクト登録部、１５７ｄ…不要オブジェクト除去部。

Claims (7)

1. 所定の周期で入力した画面上の現在画像と過去画像を差分処理して、変化した画素を含む矩形の領域を抽出する領域抽出処理手段と、
   前記領域抽出処理手段が抽出した領域のうち、新たに抽出した領域を、追跡処理の対象となる新規オブジェクトとして登録する新規オブジェクトの登録処理手段と、
   前記新規オブジェクトの登録処理手段により登録されたオブジェクトを未確定オブジェクトとして、前記領域抽出処理手段が領域を抽出する都度、今回抽出した領域の位置および大きさを示す情報と前回抽出した領域の位置および大きさを示す情報とをもとに前記未確定オブジェクトを追跡する未確定オブジェクトの追跡処理手段と、
   前記未確定オブジェクトの追跡処理手段が所定時間継続して追跡した未確定オブジェクトについて、当該オブジェクトを確定オブジェクトとして、前記領域抽出処理手段が領域を抽出する都度、当該抽出した領域の位置および大きさを示す情報と、前記未確定オブジェクトの追跡時における時系列の位置情報に基づく最小自乗近似により求める予測方向に従い追跡の都度更新される予測領域の位置および大きさを示す情報と移動速度情報をもとに、前記確定オブジェクトを追跡する確定オブジェクトの追跡処理手段とを具備したことを特徴とする画像処理装置。
2. 前記確定オブジェクトの追跡処理手段は、確定オブジェクトの追跡処理において、前記予測領域に、複数の領域が交差するとき、この複数の領域をそれぞれ候補領域として、交差面積が最も大きい候補領域から、順に、領域の妥当性判断を行い、妥当性の高い候補の領域を追跡対象領域として、追跡する確定オブジェクトを判定する処理手段をさらに具備したことを特徴とする請求項１に記載の画像処理装置。
3. 前記未確定オブジェクトの追跡処理手段は、前記確定オブジェクトの追跡処理手段が追跡しているオブジェクトを除く画面上の領域を対象に未確定オブジェクトの追跡を行い、
   前記新規オブジェクトの登録処理手段は、前記確定オブジェクトの追跡処理手段が追跡しているオブジェクト、および前記未確定オブジェクトの追跡処理手段が追跡しているオブジェクトを除く画面上の領域を対象に新規オブジェクトの登録を行うことを特徴とする請求項１に記載の画像処理装置。
4. 前記未確定オブジェクトの追跡処理手段は、前記抽出した領域の位置および大きさを示す情報をもとに前回抽出した矩形の領域を拡大した予測領域を一時的に生成し、当該予測領域に、今回抽出した矩形の領域が交差するとき、今回抽出した矩形の領域を未確定オブジェクトとして、オブジェクトの追跡を行うことを特徴とする請求項３に記載の画像処理装置。
5. カメラで撮影した撮像画面を所定の周期で入力し、入力した画面上の現在画像と過去画像から変化画素を含む領域を抽出し追跡する画像処理装置としてコンピュータを機能させるための領域追跡プログラムであって、
   今回入力した画面上の画像と前回入力した画面上の画像とを差分処理して画面上の変化した画素を含む矩形の領域を抽出する領域抽出機能と、
   前記領域抽出機能により抽出された領域が、前記画面上で新たに抽出された領域であるか否かを判定し、新たに抽出された領域であるとき、当該抽出した領域を、追跡処理の対象となる新規オブジェクトとして登録する新規オブジェクトの登録処理機能と、
   前記新規オブジェクトの登録処理機能により登録されたオブジェクトについて、当該オブジェクトを未確定オブジェクトとして、前記領域抽出機能が前記領域を抽出する都度、今回抽出した領域の位置および大きさを示す情報と前回抽出した領域の位置および大きさを示す情報とをもとに前記未確定オブジェクトを追跡する未確定オブジェクトの追跡処理機能と、
   前記未確定オブジェクトの追跡処理機能が所定時間継続して追跡した未確定オブジェクトについて、当該オブジェクトを確定オブジェクトとして、前記領域抽出処理機能が領域を抽出する都度、当該抽出した領域の位置および大きさを示す情報と、前記未確定オブジェクトの追跡時における時系列の位置情報に基づく最小自乗近似により求める予測方向に従い追跡の都度更新される予測領域の位置および大きさを示す情報と移動速度情報とをもとに、前記確定オブジェクトを追跡する確定オブジェクトの追跡処理機能と
   をコンピュータに実現させるための領域追跡プログラム。
6. 前記確定オブジェクトの追跡処理機能は、確定オブジェクトの追跡処理において、前記予測領域に、複数の領域が交差するとき、この複数の領域をそれぞれ候補領域として、交差面積が最も大きい候補領域から、順に、領域の妥当性判断を行い、妥当性の高い候補の領域を追跡対象領域として、追跡する確定オブジェクトを判定する処理機能をコンピュータに実現させることを特徴とする請求項５に記載の領域追跡プログラム。
7. 前記未確定オブジェクトの追跡処理機能は、前記抽出した領域の領域情報をもとに前回抽出した矩形の領域を拡大した予測領域を一時的に生成し、当該予測領域に、今回抽出した矩形の領域が交差するとき、今回抽出した矩形の領域を未確定オブジェクトとして、オブジェクトの追跡を行う追跡処理機能をコンピュータに実現させることを特徴とする請求項５に記載の領域追跡プログラム。

Images