JP5157721B2 - 画像データの分布モデル更新装置、画像処理装置、画像データの分布モデル更新方法およびプログラム - Google Patents

Description

本発明は、画像処理装置に関する。特に、分布モデルを更新してその分布モデルに基づいて画像データにおける動体または不動体を検知する画像処理装置、画像データの分布モデル更新装置、および、これらにおける処理方法ならびに当該方法をコンピュータに実行させるプログラムに関する。

画像データにおいて時間経過に応じて新たに加わって静止した物体、または、画像データから消失した物体（以下、これらの物体を不動体という。）を検知する技術や、画像データにおいて移動する動体を検知または追尾する技術が提案されている。これら動体や不動体の検知等を行う技術として、混合ガウス分布モデル（ＧＭＭ：Gaussian Mixture Modeling）が知られている。この混合ガウス分布モデルは、複数のガウス分布を混合してモデル化するものであり、画像データからｎ項の分布モデルを生成して、順次更新していくものである。そのｎ項分布モデル（例えば、２項分布モデルであれば、"ｋ＝０の分布モデル"と"ｋ＝１の分布モデル"が存在する。）が有する各々の平均や重みを用いることにより、動体や不動体の検知等を行うことができる。

時刻ｔにおける画素が輝度Ｘ_tとなる確率Ｐ（Ｘ_t）は、一般に、次式のように表される。

ただし、ｋは正規分布の数である。また、ｗ_i,tは時刻ｔにおけるｉ番目の正規分布の重みである。また、μ_i,tは時刻ｔにおけるｉ番目の正規分布の平均である。また、Σ_i,tは時刻ｔにおけるｉ番目の正規分布の共分散である。また、ηは確率密度関数である。ここで、確率密度関数ηは次式のような正規分布を表す。

このとき、共分散行列Σ_k,tは次式を仮定する。
Σ_k,t＝σ_k ²Ｉ

この混合ガウス分布モデルを用いる方法では、各画素の輝度は、ｋ個（ｋは正の整数）の正規分布の何れに属するかが判定される。例えば、４個の輝度正規分布を用意し、各画素の輝度がこれら４個の輝度正規分布の何れに属するかが判定される。

ある画素の輝度Ｘ_tが、例えば、その輝度正規分布の平均値μ_kに対して正負それぞれσ_kの範囲内にあるか否かが判定され、範囲内にあればその輝度正規分布に属していると判定され、範囲外であればその輝度正規分布に属していないと判定される。もし、何れの輝度正規分布にも属しない旨判定された場合には、ｋ個の輝度正規分布のうち重みが最も小さい輝度正規分布の平均値μを、その際の画素の輝度Ｘ_tに置換する。

このようにして、画素毎に、輝度Ｘ_tが属した輝度正規分布の重みが大きくなるように、輝度Ｘ_tが属さなかった輝度正規分布の重みが小さくなるように、輝度正規分布の重みｗ_k,tが更新される。例えば、画素の輝度Ｘ_tが属した輝度正規分布の重みｗ_k,tは、次式により更新される。
ｗ_k,t＝（１−α）ｗ_k,t-1＋α
一方、例えば、画素の輝度Ｘ_tが属さなかった輝度正規分布の重みｗ_k,tは、次式により更新される。
ｗ_k,t＝（１−α）ｗ_k,t-1
ただし、重みｗ_k,tの更新式において、αは重みの更新速度であり、０≦α≦１である。

また、輝度正規分布の平均μ_tおよび分散σ_tは、それぞれ次式により更新される。
μ_t＝（１−ρ）μ_t-1＋ρＸ_t
σ_t ²＝（１−ρ）σ_t-1 ²＋ρ（Ｘ_t−μ_t）^T（Ｘ_t−μ_t）
ただし、これら更新式において、ρは、次式により表される。
ρ＝αη（Ｘ_t｜μ_k，σ_k）

このようにして、ある一定フレーム以上、または、ある一定以上の分布モデルの重みが得られるまで、複数の輝度正規分布の重みが更新される。そして、そのような分布モデルの重みが得られた際の、最も重みの重い輝度正規分布の平均が、静止した状態の画像部分の画素の輝度を示すことになる。したがって、重みが最も重い輝度正規分布の平均の変化に注目すれば、動体の影響をなるべく受けずに、物が移動して停止している状態を画素毎に検知することができる。これにより、画素毎の検知結果を位置的に統合して画像部分の塊として不動体を検知することができる（例えば、特許文献１参照。）。
特開２００６−３３１３０６号公報（図１７）

上述の混合ガウス分布モデルでは、１項分の分布モデルとして、色成分を考慮しない輝度の平均と、分散と、重みの３つが用いられる。このような輝度信号のみを用いた分布モデルでは、近い輝度を有する物体同士を検知することが困難となる。すなわち、極端に明るいシーン、暗いシーンおよび輝度変化の少ないシーンにおける検知精度が問題となる。これに対して、色成分毎に信号レベルの平均と、分散と、重みの３つを想定した場合には、必要なデータ容量が大きくなってしまい、メモリ領域および処理装置の負荷が増大するという問題がある。また、複数の色成分のそれぞれに対する分布モデルの相関を維持しながらｎ項の分布モデルの更新を行うことは一般に困難である。

本発明はこのような状況に鑑みてなされたものであり、混合ガウス分布モデルを用いた動体または不動体の検知処理における検知精度を向上させることを目的とする。

本発明は、上記課題を解決するためになされたものであり、その第１の側面は、時系列に連続する画像データに関して、複数の色成分毎の信号レベルの平均と、複数の色成分全体の信号レベル分布の分散と、複数の色成分全体の信頼度とを示す複数の分布モデルについて、対象となる画像データが何れの分布モデルに属するかを判定する判定部と、上記対象となる画像データが属すると判定された分布モデルのうち最も上記信頼度の高い分布モデルの上記平均と上記分散と上記信頼度とを更新するとともにそれ以外の分布モデルについては上記信頼度を更新する更新部とを具備する画像データの分布モデル更新装置、その処理方法およびプログラムである。これにより、複数の色成分毎の信号レベルの平均を用いて複数の色成分に対する検知精度を向上させながら、分散および信頼度をまとめることにより分布モデルのデータ容量の増大を抑止するという作用をもたらす。

また、この第１の側面において、上記更新部は、上記対象となる画像データが属すると判定された分布モデルのうち最も上記信頼度の高い分布モデルの上記平均を上記分散または上記信頼度に基づいて更新する平均更新部を備えてもよい。これにより、分布モデルの平均を更新させるという作用をもたらす。

また、この第１の側面において、上記更新部は、上記対象となる画像データが属すると判定された分布モデルのうち最も上記信頼度の高い分布モデルの上記分散を上記対象となる画像データの複数の色成分の信号レベルと上記平均との差分に基づいて更新する分散更新部を備えてもよい。これにより、分布モデルの分散を更新させるという作用をもたらす。

また、この第１の側面において、上記更新部は、上記複数の分布モデルの上記信頼度を直近信頼度として更新する直近信頼度更新部を備えてもよい。これにより、分布モデルの直近信頼度を更新させるという作用をもたらす。

また、この第１の側面において、上記更新部は、上記複数の分布モデルの上記信頼度を経験的信頼度として更新する経験的信頼度更新部を備えてもよい。これにより、分布モデルの経験的信頼度を更新させるという作用をもたらす。

また、この第１の側面において、オフセット領域を含む上記画像データにおいて上記オフセット領域を除く有効領域のみにアクセスするアクセス部をさらに具備してもよい。これにより、オフセット領域を含む画像データに効率良くアクセスさせるという作用をもたらす。

また、本発明の第２の側面は、時系列に連続する画像データに関して、複数の色成分毎の信号レベルの平均と、複数の色成分全体の信号レベル分布の分散と、複数の色成分全体の信頼度とを示す複数の分布モデルについて、対象となる画像データが何れの分布モデルに属するかを判定する判定部と、上記対象となる画像データが属すると判定された分布モデルのうち最も上記信頼度の高い分布モデルの上記平均と上記分散と上記信頼度とを更新するとともにそれ以外の分布モデルについては上記信頼度を更新する更新部と、上記更新された分布モデルに基づいて上記画像データにおける動体または不動体を検知する検知部とを具備する画像処理装置、その処理方法およびプログラムである。これにより、分布モデルに基づいて動体または不動体を検知する際、複数の色成分毎の信号レベルの平均を用いて複数の色成分に対する検知精度を向上させながら、分散および信頼度をまとめることにより分布モデルのデータ容量の増大を抑止するという作用をもたらす。

本発明によれば、混合ガウス分布モデルを用いた動体または不動体の検知処理における検知精度を向上させることができるという優れた効果を奏し得る。

次に本発明の実施の形態について図面を参照して詳細に説明する。

図１は、本発明の実施の形態における画像処理装置１００の一構成例を示す図である。この画像処理装置１００は、レンズ１１１と、撮像素子１１２と、アナログ信号処理装置１１３と、デジタル信号処理装置１２０と、タイミング制御装置１３０とを備える。また、この画像処理装置１００は、ＣＰＵ１４０と、メモリ１５０と、ハードディスク装置１６０と、ＤＭＡ制御装置１７０と、画像表示装置１８０と、分布モデル更新装置２００とを備える。これらデジタル信号処理装置１２０、タイミング制御装置１３０、ＣＰＵ１４０、メモリ１５０、ハードディスク装置１６０、ＤＭＡ制御装置１７０および画像表示装置１８０は、バス１０９により相互に接続される。

レンズ１１１は、被写体からの光を集光する光学系である。撮像素子１１２は、レンズ１１１によって集光された光を電気信号に変換する光電変換素子である。この撮像素子１１２は、例えば、ＣＣＤ（Charge Coupled Devices）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサーなどにより実現される。

アナログ信号処理装置１１３は、撮像素子１１２によって光電変換された電気信号に対して、アナログ信号処理を施すものである。このアナログ信号処理としては、例えば、相関二重サンプリング（ＣＤＳ：Correlated Double Sampling）、自動ゲイン制御（ＡＧＣ：Automatic Gain Control）などが例示される。また、このアナログ信号処理装置１１３では、アナログ信号処理の後にＡ／Ｄ（Analog to Digital）変換が行われ、デジタル信号が生成される。

デジタル信号処理装置１２０は、アナログ信号処理装置１１３によってデジタル信号に変換された信号に対して、デジタル信号処理を施すものである。これにより、時系列に連続する画像データが順次生成される。このデジタル信号処理としては、例えば、ホワイトバランスやガンマ変換などが例示される。

タイミング制御装置１３０は、撮像の際の、アナログ信号処理装置１１３およびデジタル信号処理装置１２０などにおける処理のタイミングを制御するものである。

ＣＰＵ（Central Processing Unit）１４０は、画像処理装置１００の全体の制御を行うものである。また、このＣＰＵ１４０は、分布モデル更新装置２００によって更新された分布モデルに基づいて、動体または不動体の検知処理などを行う。なお、ＣＰＵ１４０は、特許請求の範囲に記載の検知部の一例である。

メモリ１５０は、デジタル信号処理装置１２０によってデジタル信号処理を施された画像データ、ＣＰＵ１４０の作業領域、分布モデルなどを保持するメモリである。ハードディスク装置１６０は、画像データなどを記録する装置である。

ＤＭＡ（Direct Memory Access）制御装置１７０は、メモリ１５０内の領域間、または、メモリ１５０とハードディスク装置１６０との間のＤＭＡ転送を制御するコントローラである。このＤＭＡ制御装置１７０は、開始アドレスおよび転送量の設定に従って、ＣＰＵ１４０を介することなく直接メモリ間転送を行う。

画像表示装置１８０は、メモリ１５０またはハードディスク装置１６０内の画像データを表示する装置であり、例えば、ＬＣＤ（Liquid Crystal Display）などにより実現される。

分布モデル更新装置２００は、混合ガウス分布モデルにおける分布モデルを更新する装置である。この分布モデル更新装置２００は、メモリ１５０に保持される画像データおよび更新モデルを読み出して、更新モデルの更新処理を行い、更新モデルをメモリ１５０に書き込む。

図２は、本発明の実施の形態における分布モデル３００の一例を示す図である。本発明の実施の形態における分布モデル３００は、Ｒ値平均３１０と、Ｇ値平均３２０と、Ｂ値平均３３０と、分散３４０と、直近信頼度３５０と、経験的信頼度３６０とを備える。

Ｒ値平均３１０、Ｇ値平均３２０およびＢ値平均３３０は、複数の色成分毎の信号レベルの平均をそれぞれ示すものである。Ｒ値平均３１０は赤（Ｒ：Red）の信号レベルの平均を示す。Ｇ値平均３２０は緑（Ｇ：Green）の信号レベルの平均を示す。Ｂ値平均３３０は青（Ｂ：Blue）の信号レベルの平均を示す。ここでは、色成分としてＲＧＢの３色を用いているが、これ以外の色成分を用いるようにしてもよい。

分散３４０は、複数の色成分全体の信号レベル分布の分散を示すものである。すなわち、ここでは、分散３４０はＲＧＢの各色成分を一つにまとめた画像データに対する分散を示す。平均（３１０乃至３３０）については色成分毎に分けている一方で、分散３４０を一つにまとめることにより、画像データと分布モデルとの対応関係を明確にしている。

このように、本発明の実施の形態における分布モデルでは、平均については色成分毎に分けられ（３１０乃至３３０）、分散３４０については一つにまとめられている。これにより、分布モデルのデータ容量の増大を抑えながら、複数の色成分のデータを用いて検知精度を向上させることを可能としている。

直近信頼度３５０は、現在から所定期間過去に遡った直近の入力に対する信頼度を示すものである。図３は、本発明の実施の形態における直近信頼度３５０の一例を示す図である。時間ｔを横軸に、対応する時刻における直近信頼度３５０を縦軸に、それぞれ示している。分布モデルに含まれると判断された場合を「真」、分布モデルに含まれないと判断された場合を「偽」とする。「真」であれば、そのときの直近信頼度３５０に応じて、直近信頼度３５０は増加される。ただし、最大値Ｍａｘを超えて増加することはないものとする。一方、「偽」であれば、そのときの直近信頼度３５０に応じて、直近信頼度３５０は減少される。ただし、最小値０を下回ることはないものとする。

経験的信頼度３６０は、更新開始時からの経験的な信頼度を示すものである。図４は、本発明の実施の形態における経験的信頼度３６０の一例を示す図である。時間ｔを横軸に、対応する時刻における経験的信頼度３６０を縦軸に、それぞれ示している。図３と同様に、分布モデルに含まれると判断された場合を「真」、分布モデルに含まれないと判断された場合を「偽」とする。「真」であれば、一定の割合または一定の値が経験的信頼度３６０において増加される。ただし、最大値Ｍａｘを超えて増加することはないものとする。一方、「偽」であれば、直近信頼度３５０は変化しない。すなわち、経験的信頼度３６０は、更新開始時から減少せずに単調増加する。

信頼度は主に複数の分布モデルに含まれると判定された入力画像データにおいて、複数の分布モデルのうち最も含まれる確率の高い分布モデルを選択するために用いられるものである。本発明の実施の形態では、上述のように直近信頼度３５０および経験的信頼度３６０が設けられている。直近信頼度３５０は、背景技術において説明した「重み」に相当する値であり、数フレーム前から現フレームまでの入力に基づいて算出した、各分布モデルに入力画像が含まれる確率を示す。一方、経験的信頼度３６０は、分布モデルの更新開始フレームから現フレームまでに同一分布モデルに含まれた回数をカウントした値である。この経験的信頼度３６０は信頼度の衰退がないため、直近信頼度３５０に比べて信頼度の成長が早く、ノイズの影響を受けることなく信頼度を向上させることが可能である。また、この経験的信頼度３６０を用いることにより、物体が一時的に置かれた場合や、動体が一時的に停止した場合などに、以前存在していた物体であることを素早く認識することができる。これは、一定期間存在していた物体または背景の前に、一時的に別の物体が置かれ、数フレーム後にその一時的に置かれた物体がなくなり、再度当初の物体または背景が出現するような場合である。

この分布モデル３００において、Ｒ値平均３１０、Ｇ値平均３２０およびＢ値平均３３０は、例えば、１１ビットの固定小数点形式であり、小数点以下の有効桁を３桁とする。また、分散３４０は、例えば、１１ビットの固定小数点形式であり、小数点以下の有効桁を６桁とする。また、直近信頼度３５０は、例えば、１１ビットの固定小数点形式であり、小数点以下の有効桁を１０桁とする。また、経験的信頼度３６０は、例えば、９ビットの固定小数点形式であり、小数点以下の有効桁が０桁の整数とする。この例によれば、分布モデル３００の１項当りのビット数は６４ビットになる。なお、経験的信頼度３６０は、分布モデル３００から省くことが可能であり、Ｒ値平均３１０、Ｇ値平均３２０、Ｂ値平均３３０、分散３４０および直近信頼度３５０により分布モデル３００を構成してもよい。

図５は、本発明の実施の形態における分布モデル更新装置２００の一構成例を示す図である。この分布モデル更新装置２００は、制御バスＩ／Ｆ２１１と、データバスＩ／Ｆ２１２と、装置制御部２２０と、データリード部２３０と、分布モデル更新制御部２４０と、分布モデル判定選択部２５０とを備える。また、この分布モデル更新装置２００は、分布モデル更新部２６０と、分布モデル信頼度ソート部２７０と、データライト部２８０とをさらに備える。

制御バスＩ／Ｆ（Interface）２１１は、バス１０９における制御バス２０１との間のやりとりを行うインターフェースである。データバスＩ／Ｆ２１２は、バス１０９におけるデータバス２０２との間のやりとりを行うインターフェースである。

装置制御部２２０は、分布モデル更新装置２００全体を制御するものである。この装置制御部２２０は、内部に制御レジスタ２２１を備えており、分布モデル更新装置２００の各部を制御するための制御情報を保持する。

データリード部２３０は、データバスＩ／Ｆ２１２および信号線２３１を介してメモリ１５０から画像データおよび分布モデルを読み出すものである。読出しの際に必要な開始アドレスおよび処理画素数は、信号線２２７を介して装置制御部２２０から供給される。データリード部２３０は、分布モデルの処理に必要なデータが揃い次第、分布モデル判定選択部２５０および分布モデル更新部２６０に信号線２３９を介して転送する。

分布モデル更新制御部２４０は、分布モデルの更新に必要な制御を行うものである。分布モデルの更新に必要なパラメータは信号線２２８を介して装置制御部２２０から供給される。この分布モデル更新制御部２４０は、パラメータを分布モデル判定選択部２５０および分布モデル更新部２６０に信号線２４９を介して供給する。この分布モデル更新制御部２４０によりパラメータを設定することにより、分布モデルの更新に用いられるアルゴリズムや制御パラメータを切り替えることができ、状況に応じた検知精度を得ることが可能となる。

分布モデル判定選択部２５０は、ｎ項の分布モデルに画像データが含まれるか否かを判定して、最も信頼度の高い分布モデルを選択するものである。ｎ項の分布モデルのうち少なくとも１項の分布モデルに画像データが含まれると判定された場合には、分布モデル判定選択部２５０は、最も信頼度の高い分布モデルのインデックス情報を、信号線２５９を介して分布モデル更新部２６０に出力する。一方、何れの分布モデルにも画像データが含まれないと判定された場合には、分布モデル判定選択部２５０は、その旨を示す制御情報を、信号線２５９を介して分布モデル更新部２６０に出力する。

分布モデルに画像データが含まれるか否かの判定は、以下の判定式により行われる。
Ｘ＝（｜Ｒ値入力−Ｒ値平均｜＜Ｒ値閾値）＆
（｜Ｇ値入力−Ｇ値平均｜＜Ｇ値閾値）＆
（｜Ｂ値入力−Ｂ値平均｜＜Ｂ値閾値）
上式においてＸが「真」であれば、その分布モデルに画像データが含まれることを意味する。ここで、Ｒ値入力、Ｇ値入力およびＢ値入力は、入力された画像データのＲＧＢ値を示す。また、Ｒ値平均、Ｇ値平均およびＢ値平均は、分布モデルのＲ値平均３１０、Ｇ値平均３２０およびＢ値平均３３０を示す。すなわち、ＲＧＢの全ての色成分において分布モデルの平均と画像データとの差が一定範囲内に収まっていれば、分布モデルに画像データが含まれると判定される。

また、Ｒ値閾値、Ｇ値閾値およびＢ値閾値は、判定閾値モードによって異なる。判定閾値モードは、装置制御部２２０から供給されるパラメータの一つである。判定閾値モードがモードＡである場合においては、各閾値は以下のようになる。
Ｒ値閾値＝分散＋Ｒ閾値オフセット
Ｇ値閾値＝分散＋Ｇ閾値オフセット
Ｂ値閾値＝分散＋Ｂ閾値オフセット
ここで、分散は、分布モデルの分散３４０である。また、Ｒ閾値オフセット、Ｇ閾値オフセットおよびＢ閾値オフセットは、装置制御部２２０から供給されたパラメータの一つである。一方、判定閾値モードがモードＢである場合においては、各閾値は以下のようになる。
Ｒ値閾値＝Ｒ閾値オフセット
Ｇ値閾値＝Ｇ閾値オフセット
Ｂ値閾値＝Ｂ閾値オフセット

このような判定がｎ項の分布モデルのそれぞれについて行われ、その判定結果に基づいて最も信頼度の高い分布モデルが選択される。ただし、何れの分布モデルにも画像データが含まれないと判定された場合には、その旨を示す制御情報が出力される。ここで用いられる信頼度は、装置制御部２２０から供給されたパラメータの一つである信頼度選択モードに従って選択された、直近信頼度３５０または経験的信頼度３６０の何れか一方である。

なお、分布モデル判定選択部２５０は、特許請求の範囲に記載の判定部の一例である。

分布モデル更新部２６０は、ｎ項の分布モデルを更新して、その更新結果を分布モデル信頼度ソート部２７０に供給するものである。最も信頼度が高いものとして選択された分布モデルについては、Ｒ値平均３１０、Ｇ値平均３２０、Ｂ値平均３３０、分散３４０、直近信頼度３５０および経験的信頼度３６０の全てが更新される。一方、それ以外の分布モデルは、直近信頼度３５０および経験的信頼度３６０のみが更新される。また、何れの分布モデルにも画像データが含まれないと判定された場合には、ｎ項の分布モデルの中で最も信頼度の低い分布モデルが初期化される。この場合の初期化は、入力された画像データおよび装置制御部２２０から供給されるパラメータに基づいて行われる。具体的には、初期化対象の分布モデルのＲ値平均３１０、Ｇ値平均３２０およびＢ値平均３３０には、それぞれ入力画像データのＲＧＢ値が初期化データとして設定される。また、分散３４０および直近信頼度３５０には、装置制御部２２０から供給されるパラメータによって与えられる分散初期値および重み初期値がそれぞれ設定される。また、経験的信頼度３６０には、この分布モデルに含まれる画像データが１つ存在することを示すために、初期値として「１」が設定される。なお、分布モデル更新部２６０は、特許請求の範囲に記載の更新部の一例である。

この分布モデル更新部２６０は、分布モデル平均更新部２６１と、分布モデル分散更新部２６２と、平均分散更新レートテーブル２６３と、分布モデル直近信頼度更新部２６４と、分布モデル経験的信頼度更新部２６５とを備えている。

分布モデル平均更新部２６１は、分布モデルのＲ値平均３１０、Ｇ値平均３２０およびＢ値平均３３０を更新するものである。これら平均の更新は次式により行われる。
Ｒ値平均＝（Ｒ値入力×平均分散更新レート）
＋（Ｒ値平均×（１０２４−平均分散更新レート））
Ｇ値平均＝（Ｇ値入力×平均分散更新レート）
＋（Ｇ値平均×（１０２４−平均分散更新レート））
Ｂ値平均＝（Ｂ値入力×平均分散更新レート）
＋（Ｂ値平均×（１０２４−平均分散更新レート））
ただし、平均分散更新レートは、装置制御部２２０から供給されたパラメータの一つである分布モデル更新モードに応じて、平均分散更新レートテーブル２６３から読み出されるものである。この例では、平均分散更新レートは、１１桁の固定小数点形式で、小数点以下１０桁の有効桁を有するものとする。すなわち、１１桁の「１．００００００００００」により表される「１０２４」が平均分散更新レートの最大値とすると、「１０２４−平均分散更新レート」の部分において０乃至１０２４の整数が生成される。

分布モデル更新モードがモードＡである場合においては、平均分散更新レートｆｎ（σ，ｓｕｂ）は次式により表される。ここで、Ｒｏｕｎｄ関数は、小数点以下を四捨五入する関数である。また、σは分散３４０であり、ｓｕｂはＲ値入力、Ｇ値入力およびＢ値入力とＲ値平均、Ｇ値平均およびＢ値平均の各々の差分絶対値の最大値、最小値、中間値または平均値である。分散σおよび差分ｓｕｂは、それぞれ０乃至３１の値をとる。すなわち、分散σおよび差分ｓｕｂを０乃至３１に変動させて平均分散更新レートｆｎ（σ，ｓｕｂ）を求め、その値を平均分散更新レートテーブル２６３に保持しておく。これにより、分布モデルの更新時には、分散σおよび差分ｓｕｂによって平均分散更新レートテーブル２６３を索引することにより、平均分散更新レートｆｎ（σ，ｓｕｂ）を参照することができる。

一方、分布モデル更新モードがモードＢである場合においては、平均分散更新レートｆｎ（ｃｎｔ）は次式により表される。ここで、ＲｏｕｎｄＤｏｗｎ関数は、小数点以下を切り捨てる関数である。また、カウントｃｎｔは経験的信頼度３６０であり、ｒａｔｅは更新係数である。この更新係数ｒａｔｅは、更新曲線をフレキシブルに変更するためのものであり、平均分散更新レート算出時にＣＰＵ１４０によって設定される値である。この更新係数ｒａｔｅを変更することにより、平均分散更新レートの増減値を適切な値に定めることができる。カウントｃｎｔおよび更新係数ｒａｔｅは、それぞれ０乃至１０２３の値をとる。すなわち、設定された１つの更新係数ｒａｔｅの値に対して、カウントｃｎｔを０乃至１０２３に変動させて平均分散更新レートｆｎ（ｃｎｔ）を求め、その値を平均分散更新レートテーブル２６３に保持しておく。これにより、分布モデルの更新時には、カウントｃｎｔによって平均分散更新レートテーブル２６３を索引することにより、平均分散更新レートｆｎ（ｃｎｔ）を参照することができる。

ここでは、平均分散更新レートを求めるための２種類の方法について説明した。モードＡにおける平均分散更新レートｆｎ（σ，ｓｕｂ）は、入力画像データＲＧＢと分布モデルの平均ＲＧＢの差分値を用いた更新レートであり、現フレームにおける入力データの差分に依存している。数式からも明らかなように、これは分布モデルとしての本来の性質を示している。一方、モードＢの平均分散更新レートｆｎ（ｃｎｔ）は、分布モデル更新開始時からの信頼度を用いた更新レートであり、時間軸に依存している。そのため、これは動体検出に適した更新レートであると考えられる。この二つ平均分散更新レートを適宜使い分けることによって、画像差分と時間軸の何れに重きをおいて分布モデルの更新を行うかを選択することができる。

なお、分布モデル平均更新部２６１は、特許請求の範囲に記載の平均更新部の一例である。

分布モデル分散更新部２６２は、分布モデルの分散３４０を更新するものである。この分散の更新は次式により行われる。
分散＝（差分値×平均分散更新レート）
＋（分散×（１０２４−平均分散更新レート））
ここで、差分値は、上述の差分ｓｕｂの値に、装置制御部２２０から供給されたパラメータの一つである差分値倍率を乗じたものである。差分値倍率としては、例えば「１．０」、「１．５」、「２．０」、「２．５」または「３．０」の値がパラメータとして設定される。この差分値倍率を用いることにより、更新曲線をフレキシブルに変更することが可能となる。また、平均分散更新レートは、平均の更新に使用されたものと同様であり、分布モデル更新モードに応じて平均分散更新レートテーブル２６３から読み出されるものである。

なお、この分布モデル分散更新部２６２における分散３４０の更新の際には、更新後の値が最大値および最小値に規定される範囲内に収まるよう制限されることが望ましい。分散３４０が狭過ぎると該当する画素データが存在しなくなってしまい、広がり過ぎると全ての画素データが該当してしまうからである。なお、分布モデル分散更新部２６２は、特許請求の範囲に記載の分散更新部の一例である。

平均分散更新レートテーブル２６３は、上述の平均分散更新レートｆｎ（σ，ｓｕｂ）またはｆｎ（ｃｎｔ）の値をテーブル形式で保持するものである。すなわち、平均分散更新レートは、ＣＰＵ１４０により事前に算出され、平均分散更新レートテーブル２６３に保持される。そして、平均３１０乃至３３０または分散３４０の更新の際に、分散σおよび差分値ｓｕｂ、または、経験的信頼度ｃｎｔをキーとして、平均分散更新レートテーブル２６３が索引される。これにより、処理の高速化および回路面積の削減を図ることができる。

分布モデル直近信頼度更新部２６４は、分布モデルの直近信頼度３５０を更新するものである。直近信頼度３５０の更新は、以下のように行われる。まず、分布モデルに含まれると判定された場合には、次式のようになる。
直近信頼度＝（直近信頼度×（１０２４−信頼度更新レート））＋信頼度更新レート
一方、分布モデルに含まれないと判定された場合には、次式のようになる。
直近信頼度＝（直近信頼度×（１０２４−信頼度更新レート））
このように、入力された画像データが含まれる確率が最も高い分布モデルの信頼度は成長（増加）し、それ以外の分布モデルの信頼度は衰退（減少）していく。なお、信頼度更新レートは、装置制御部２２０から供給されたパラメータの一つである。この信頼度更新レートを用いることにより、更新曲線をフレキシブルに変更することが可能となる。

なお、分布モデル直近信頼度更新部２６４は、特許請求の範囲に記載の直近信頼度更新部の一例である。

分布モデル経験的信頼度更新部２６５は、分布モデルの経験的信頼度３６０を更新するものである。経験的信頼度３６０の更新は、以下のように行われる。まず、分布モデルに含まれると判定された場合には、次式のようになる。
経験的信頼度＝経験的信頼度＋１
一方、分布モデルに含まれないと判定された場合には、次式のようになる。
経験的信頼度＝経験的信頼度
すなわち、分布モデルに含まれないと判定された場合には経験的信頼度の更新は行われない。

なお、分布モデル経験的信頼度更新部２６５は、特許請求の範囲に記載の経験的信頼度更新部の一例である。

分布モデル信頼度ソート部２７０は、ｎ項の分布モデルを信頼度の高い順にソートするものである。このソートは、その後の処理の際の便宜のためであり、更新処理において必須の処理ではない。この分布モデル信頼度ソート部２７０によってソートされたｎ項の分布モデルは、データライト部２８０に供給される。このソートに用いられる信頼度は、背景技術において説明した「重み」に相当する値であり、本発明の実施の形態においては直近信頼度３５０を意味する。

データライト部２８０は、更新後にソートされたｎ項の分布モデルを、信号線２８９からデータバスＩ／Ｆ２１２を介してメモリ１５０に書き込むものである。

図６は、本発明の実施の形態における装置制御部２２０から供給されるパラメータの内容例を示す図である。このパラメータには、処理対象画素数５１０と、画像データ開始アドレス５２０と、分布モデル開始アドレス５３０と、更新後分布モデル開始アドレス５４０と、判定閾値モード６１０と、信頼度選択モード６２０と、Ｒ閾値オフセット６３０と、Ｇ閾値オフセット６４０と、Ｂ閾値オフセット６５０と、信頼度更新レート７１０と、分布モデル更新モード７２０と、差分値倍率７３０と、分散初期値７４０と、重み初期値７５０とが含まれる。

処理対象画素数５１０は、検知処理の対象となる画像データの画素数を示すものである。画像データ開始アドレス５２０は、検知処理の対象となる画像データのメモリ１５０における開始アドレスを示すものである。分布モデル開始アドレス５３０は、更新前の分布モデルのメモリ１５０における開始アドレスを示すものである。更新後分布モデル開始アドレス５４０は、更新後の分布モデルのメモリ１５０における開始アドレスを示すものである。

判定閾値モード６１０は、分布モデル判定選択部２５０において分布モデルの判定に用いられる閾値のモードを示すものである。上述の例では、この判定閾値モード６１０がモードＡを示している場合には分散を加味した閾値が利用され、モードＢを示している場合には分散を加味しない閾値が利用されることを想定している。

信頼度選択モード６２０は、分布モデル判定選択部２５０において分布モデルの選択に用いられる信頼度のモードを示すものである。上述の例では、この信頼度選択モード６２０に基づいて、直近信頼度３５０または経験的信頼度３６０の何れか一方が信頼度として選択され、その選択された信頼度が最も高い分布モデルが選択される。

Ｒ閾値オフセット６３０、Ｇ閾値オフセット６４０およびＢ閾値オフセット６５０は、分布モデルに画像データが含まれるか否かの判定の際に用いられる閾値のオフセットである。

信頼度更新レート７１０は、分布モデル直近信頼度更新部２６４において分布モデルの直近信頼度３５０を更新するための更新レートである。

分布モデル更新モード７２０は、分布モデル３００における平均（Ｒ値平均３１０、Ｇ値平均３２０およびＢ値平均３３０）または分散３４０を更新する際のモードを示すものである。上述のように、本発明の実施の形態においては、モードＡおよびＢの何れかを想定している。

差分値倍率７３０は、分散を更新する際、差分値を求めるために差分ｓｕｂの値に乗ぜられる倍率である。

分散初期値７４０は、分布モデル更新部２６０において分散３４０を初期化する際の初期値である。重み初期値７５０は、分布モデル更新部２６０において直近信頼度３５０を初期化する際の初期値である。

これらパラメータは、ＣＰＵ１４０によって装置制御部２２０の制御レジスタ２２１に設定される。そして、装置制御部２２０によって、信号線２２７乃至２２９を介して分布モデル更新装置２００の各部に供給される。

図７は、本発明の実施の形態における分布モデル更新装置２００の処理手順例を示す図である。まず、ＣＰＵ１４０によって装置制御部２２０の制御レジスタ２２１にパラメータが設定される（ステップＳ９１１）。そして、このパラメータに従って、データリード部２３０によって、画像データおよび分布モデルデータがメモリ１５０から読み出される（ステップＳ９１２）。

そして、分布モデル判定選択部２５０によって、ｎ項の分布モデルのそれぞれに画像データが含まれるか否かの判定が行われる（ステップＳ９１３）。なお、ステップＳ９１３は、特許請求の範囲に記載の判定手順の一例である。ｎ項の分布モデルのうち少なくとも１項の分布モデルに画像データが含まれると判定された場合（ステップＳ９１４）、分布モデル判定選択部２５０によって、最も信頼度の高い分布モデルが選択される（ステップＳ９１５）。ただし、何れの分布モデルにも画像データが含まれないと判定された場合には（ステップＳ９１４）、分布モデル判定選択部２５０は、その旨を示す制御情報を出力するだけで、分布モデルの選択は行わない。

最も信頼度の高い分布モデルについては、分布モデル平均更新部２６１によって、Ｒ値平均３１０、Ｇ値平均３２０およびＢ値平均３３０が更新される（ステップＳ９１６）。また、分布モデル分散更新部２６２によって、分散３４０が更新される（ステップＳ９１７）。

そして、分布モデル直近信頼度更新部２６４によって、分布モデルの直近信頼度３５０が更新される（ステップＳ９１８）。また、分布モデル経験的信頼度更新部２６５によって、分布モデルの経験的信頼度３６０が更新される（ステップＳ９１９）。分布モデルに画像データが含まれると判定されたか否かによって、これら直近信頼度３５０および経験的信頼度３６０の更新後の値が異なる。

なお、ステップＳ９１４乃至Ｓ９１９は、特許請求の範囲に記載の更新手順の一例である。

その後、分布モデルは、分布モデル信頼度ソート部２７０によって信頼度の高い順にソートされ（ステップＳ９２１）、データライト部２８０によってメモリ１５０に書き込まれる（ステップＳ９２２）。

このように、本発明の実施の形態によれば、色成分毎の平均（３１０乃至３３０）と一つにまとめられた分散３４０を用いることにより、分布モデルのデータ容量の増大を抑えながら、検知精度を向上させることができる。

次に本発明の実施の形態の変形例について説明する。

図８は、本発明の実施の形態の第１の変形例におけるメモリ１５０のイメージ例を示す図である。画像データには、画像のブレなどに対応するために、撮像後に有効領域を切り出すことを前提として、周囲にオフセット領域が設けられる場合がある。例えば、図８（ａ）のように、１ライン当りＮ画素の画像データにおいて、上部の「ｍ０」ラインおよび下部の「ｍ１」ラインがオフセット領域となる。また、各ラインの左側の「ｎ０」画素および右側の「ｎ１」画素がオフセット領域となる。これらオフセット領域を除いた「ｎ」画素×「ｍ」ラインの領域が画像データの有効領域となる。

この場合、メモリ１５０においては、図８（ｂ）のようにオフセット領域のデータと有効領域のデータが交互に記憶される。したがって、オフセット領域を考慮せずにメモリ１５０内のデータを扱うと、本来必要な有効領域のデータだけでなくオフセット領域のデータをも転送することになる。そこで、本発明の実施の形態では、オフセット領域を考慮して、メモリ１５０において有効領域のみをアクセスする。

すなわち、データリード部２３０は、最初のオフセット領域の「Ｎ×ｍ０＋ｎ０」画素をスキップして、有効領域のライン＃０の「ｎ」画素にアクセスする。そして、次のオフセット領域の「ｎ０＋ｎ１」画素をスキップして、有効領域のライン＃１の「ｎ」画素にアクセスする。そして、これを繰り返して、最後の有効領域のライン＃（ｍ−１）の「ｎ」画素にアクセスすると、処理を終了する。これにより、メモリ１５０において有効領域のデータのみにアクセスすることができる。

同様の制御をデータライト部２８０においても行うことにより、メモリ１５０において有効領域のデータのみにライトすることができる。

この場合のオフセット領域に関する情報は、次図に示すように、パラメータとして制御レジスタ２２１に保持しておくことができる。そして、データリード部２３０によるリード時、および、データライト部２８０によるライト時に、それぞれ信号線２２７および２２９を介して供給することにより、リードおよびライトの際にオフセット領域を考慮したアクセスが可能になる。

なお、この変形例におけるデータリード部２３０およびデータライト部２８０は、特許請求の範囲に記載のアクセス部の一例である。

図９は、本発明の実施の形態の第１の変形例におけるパラメータの内容例を示す図である。この第１の変形例におけるパラメータは、図６に示したものに加えて、画像入力オフセット５５０と、分布モデル入力オフセット５６０と、分布モデル出力オフセット５７０とが追加されている。

画像入力オフセット５５０は、オフセット領域が設けられた画像データを入力する際のオフセット領域に関する情報を示すものである。分布モデル入力オフセット５６０は、オフセット領域が設けられた分布モデルを入力する際のオフセット領域に関する情報を示すものである。分布モデル出力オフセット５７０は、オフセット領域が設けられた分布モデルを出力する際のオフセット領域に関する情報を示すものである。

画像入力オフセット５５０、分布モデル入力オフセット５６０および分布モデル出力オフセット５７０のそれぞれに含まれるオフセット領域に関する情報としては、図８における「Ｎ」、「ｍ０」、「ｍ１」、「ｎ０」、「ｎ１」の５つのデータを保持することができる。ただし、「ｍ０」および「ｍ１」については、「Ｎ×ｍ０」および「Ｎ×ｍ１」としてのみ使用されるため、演算処理に要する負荷を軽減するために、「Ｎ×ｍ０」、「Ｎ×ｍ１」、「ｎ０」、「ｎ１」の４つのデータを保持するようにしてもよい。

図１０は、本発明の実施の形態の第２の変形例におけるメモリ１５０の構成例を示す図である。この例では、メモリ１５０には２つのバッファ＃Ａ１５１および＃Ｂ１５２が設けられている。バッファ＃Ａ１５１と＃Ｂ１５２との間の転送は、ＤＭＡ制御装置１７０が行う。

分布モデル更新装置２００は、バッファ＃Ａ１５１を用いて分布モデルの更新を行う。そして、分布モデルの更新が数フレーム分実行された後に、ＤＭＡ制御装置１７０は分布モデルのバッファ＃Ａ１５１におけるコピーをバッファ＃Ｂ１５２に生成する。ＣＰＵ１４０は、そのバッファ＃Ｂ１５２に生成された分布モデルを用いて動体または不動体の検知処理を行う。これにより、分布モデル更新装置２００による分布モデルの更新と、ＣＰＵ１４０による検知処理とをパイプライン制御により実行することができる。

このとき、分布モデル更新装置２００は、更新の終了したｎ項の分布モデルデータを、更新後分布モデル開始アドレス５４０の示す領域に書き込む。分布モデルの信頼度がある一定レベルに達するまでの間、上述の更新処理が数フレーム分、行われる。そして、分布モデルの信頼度がある一定レベルを超えた際、ＣＰＵ１４０はそのｎ項分布モデルの更新結果を用いて検知処理を開始して、その検知結果に応じた処理を行う。ＣＰＵ１４０が検知処理を実行している間も分布モデル更新装置２００は次のフレーム画像を用いてｎ項分布モデルデータの更新を行う。このようにＣＰＵ１４０が主に検知処理を、分布モデル更新装置２００がｎ項分布モデルデータの更新をそれぞれ独立して行うことにより、処理性能の向上を実現することができる。

なお、本発明の実施の形態は本発明を具現化するための一例を示したものであり、上述のように特許請求の範囲における発明特定事項とそれぞれ対応関係を有する。ただし、本発明は実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変形を施すことができる。

また、本発明の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disk）、メモリカード、ブルーレイディスク（Blu-ray Disc（登録商標））等を用いることができる。

本発明の実施の形態における画像処理装置１００の一構成例を示す図である。 本発明の実施の形態における分布モデル３００の一例を示す図である。 本発明の実施の形態における直近信頼度３５０の一例を示す図である。 本発明の実施の形態における経験的信頼度３６０の一例を示す図である。 本発明の実施の形態における分布モデル更新装置２００の一構成例を示す図である。 本発明の実施の形態における装置制御部２２０から供給されるパラメータの内容例を示す図である。 本発明の実施の形態における分布モデル更新装置２００の処理手順例を示す図である。 本発明の実施の形態の第１の変形例におけるメモリ１５０のイメージ例を示す図である。 本発明の実施の形態の第１の変形例におけるパラメータの内容例を示す図である。 本発明の実施の形態の第２の変形例におけるメモリ１５０の構成例を示す図である。

符号の説明

１００ 画像処理装置
１０７ ＣＰＵバス
１０８ データバス
１０９ バス
１１１ レンズ
１１２ 撮像素子
１１３ アナログ信号処理装置
１２０ デジタル信号処理装置
１３０ タイミング制御装置
１５０ メモリ
１６０ ハードディスク装置
１７０ ＤＭＡ制御装置
１８０ 画像表示装置
１９０ バスブリッジ
２００ 分布モデル更新装置
２０１ 制御バス
２０２ データバス
２２０ 装置制御部
２２１ 制御レジスタ
２３０ データリード部
２４０ 分布モデル更新制御部
２５０ 分布モデル判定選択部
２６０ 分布モデル更新部
２６１ 分布モデル平均更新部
２６２ 分布モデル分散更新部
２６３ 平均分散更新レートテーブル
２６４ 分布モデル直近信頼度更新部
２６５ 分布モデル経験的信頼度更新部
２７０ 分布モデル信頼度ソート部
２８０ データライト部
３００ 分布モデル

Claims (9)

1. 時系列に連続する画像データに関して、複数の色成分毎の信号レベルの平均と、複数の色成分を一つにまとめた信号レベル分布の分散と、複数の色成分を一つにまとめた信頼度とを示す複数の分布モデルについて、対象となる画像データが何れの分布モデルに属するかを判定する判定部と、
   前記対象となる画像データが属すると判定された分布モデルのうち最も前記信頼度の高い分布モデルの前記平均と前記分散と前記信頼度とを更新するとともにそれ以外の分布モデルについては前記信頼度を更新する更新部と
   を具備する画像データの分布モデル更新装置。
2. 前記更新部は、前記対象となる画像データが属すると判定された分布モデルのうち最も前記信頼度の高い分布モデルの前記平均を前記分散または前記信頼度に基づいて更新する平均更新部を備える
   請求項１記載の画像データの分布モデル更新装置。
3. 前記更新部は、前記対象となる画像データが属すると判定された分布モデルのうち最も前記信頼度の高い分布モデルの前記分散を前記対象となる画像データの複数の色成分の信号レベルと前記平均との差分に基づいて更新する分散更新部を備える
   請求項１記載の画像データの分布モデル更新装置。
4. 前記更新部は、前記複数の分布モデルの前記信頼度を直近信頼度として更新する直近信頼度更新部を備える
   請求項１記載の画像データの分布モデル更新装置。
5. 前記更新部は、前記複数の分布モデルの前記信頼度を経験的信頼度として更新する経験的信頼度更新部を備える
   請求項１記載の画像データの分布モデル更新装置。
6. オフセット領域を含む前記画像データにおいて前記オフセット領域を除く有効領域のみにアクセスするアクセス部をさらに具備する請求項１記載の画像データの分布モデル更新装置。
7. 時系列に連続する画像データに関して、複数の色成分毎の信号レベルの平均と、複数の色成分を一つにまとめた信号レベル分布の分散と、複数の色成分を一つにまとめた信頼度とを示す複数の分布モデルについて、対象となる画像データが何れの分布モデルに属するかを判定する判定部と、
   前記対象となる画像データが属すると判定された分布モデルのうち最も前記信頼度の高い分布モデルの前記平均と前記分散と前記信頼度とを更新するとともにそれ以外の分布モデルについては前記信頼度を更新する更新部と、
   前記更新された分布モデルに基づいて前記画像データにおける動体または不動体を検知する検知部と
   を具備する画像処理装置。
8. 時系列に連続する画像データに関して、複数の色成分毎の信号レベルの平均と、複数の色成分を一つにまとめた信号レベル分布の分散と、複数の色成分を一つにまとめた信頼度とを示す複数の分布モデルについて、対象となる画像データが何れの分布モデルに属するかを判定する判定手順と、
   前記対象となる画像データが属すると判定された分布モデルのうち最も前記信頼度の高い分布モデルの前記平均と前記分散と前記信頼度とを更新するとともにそれ以外の分布モデルについては前記信頼度を更新する更新手順と
   を具備する画像データの分布モデル更新方法。
9. 時系列に連続する画像データに関して、複数の色成分毎の信号レベルの平均と、複数の色成分を一つにまとめた信号レベル分布の分散と、複数の色成分を一つにまとめた信頼度とを示す複数の分布モデルについて、対象となる画像データが何れの分布モデルに属するかを判定する判定手順と、
   前記対象となる画像データが属すると判定された分布モデルのうち最も前記信頼度の高い分布モデルの前記平均と前記分散と前記信頼度とを更新するとともにそれ以外の分布モデルについては前記信頼度を更新する更新手順と
   をコンピュータに実行させるプログラム。

Images