JP4012200B2

JP4012200B2 - オブジェクト検出方法、装置、及びプログラム

Info

Publication number: JP4012200B2
Application number: JP2004378449A
Authority: JP
Inventors: 雄志三田; 敏充金子; 修堀
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2004-12-28
Filing date: 2004-12-28
Publication date: 2007-11-21
Anticipated expiration: 2024-12-28
Also published as: JP2006185206A

Description

本発明は、時系列画像から出現オブジェクトを検出するための方法、装置、及びプログラムに関する。

時系列画像から出現オブジェクトを検出するための代表的な方法として、背景差分法がある。これは、オブジェクトが存在しない時点の背景画像を取得しておき、入力画像との明度差分値が一定の範囲を超えた位置においてオブジェクトが存在すると判定するという方法である。背景差分法は簡便な処理で実現できるが、背景に明度変化が生じた場合に、その領域を誤ってオブジェクトと判定してしまうという問題がある。この問題を解決する方法として、事前に背景のみの時系列画像を収集しておき、その中に含まれる画素値の変化を確率分布によってモデル化する方法がある（下記非特許文献１参照）。この方法によれば、照明条件の変動だけでなく、例えば背景に含まれる木々の揺れのような比較的定常的な変動についても学習することができる。また別の方法として、Ｍ推定の枠組みを利用して、適応的に背景を更新する方法も知られている（下記非特許文献２参照）。
中井宏章，「事後確率を用いた移動物体検出手法」，情処研報，SIG-CV90-1，1994 島井博行，三島建稔，栗田多喜夫，梅山伸二，「移動物体検出のためのロバスト統計を用いた適応的な背景推定法」，画像の認識・理解シンポジウム(MIRU2000)，Vol.I，pp. 391-396，2000

長時間の背景時系列画像を収集したとしても、日中屋外の日照変化など突発的又は局所的に発生する明度変化が含まれるとは限らないため、安定にオブジェクトを検出することは難しい。また、背景画像を適応的に推定する方法ではこのような突発的な変化に即座に対応することは困難である。

本発明は、かかる事情を考慮してなされたものであり、明度変化に対して頑健に時系列画像からオブジェクトを検出することができるオブジェクト検出方法、装置、及びプログラムを提供することを目的とする。

本発明の一観点に係るオブジェクト検出方法は、背景の時系列画像から学習した結果を用いて、入力画像からオブジェクトを検出するオブジェクト検出方法において、前記背景の時系列画像の画素毎に、同じ画像中の他の画素との明度比較を行い、明度比較の結果に基づいて複数の符号のいずれかを割り当て、各符号が生起する確率値を表す背景の確率値テーブルを生成する第１生成ステップと、複数の画素の集合からなる画素領域毎に、背景との類似度のしきい値を表す背景のしきい値テーブルを前記背景の時系列画像に基づいて生成する第２生成ステップと、前記入力画像の注目画素領域に含まれる各注目画素に対し、他の画素との明度差分を求めることにより、前記複数の符号のいずれかを割り当てる符号割り当てステップと、前記注目画素領域の各注目画素に割り当てられた符号のそれぞれについて前記背景の確率値テーブルを参照することにより、各注目画素の符号が生起する確率値を求める確率値テーブル参照ステップと、前記各注目画素の符号が生起する確率値に基づいて、前記注目画素領域の背景との類似度を算出する類似度算出ステップと、前記注目画素領域の類似度を前記背景のしきい値テーブルにおいて対応する画素領域のしきい値と比較することにより、前記注目画素領域が前記オブジェクトに相当するか否かを判定する判定ステップとを含むオブジェクト検出方法である。

本発明によれば、明度変化に対して頑健に時系列画像からオブジェクトを検出することができるオブジェクト検出方法、装置、及びプログラムを提供できる。

（第１の実施形態）
まず、本発明の第１の実施形態について、図１〜図６を参照して説明する。本発明の第１の実施形態は、背景を含む入力画像からオブジェクトを検出する画像処理装置に関する。以下で説明する実施形態に係る画像処理装置は、汎用のコンピュータを用いて実現することができ、ＣＰＵ、メモリ、入出力インターフェース、キーボード、ディスプレイといったコンピュータの基本構成要素を備える。本発明はオブジェクト検出に係る処理手順をコンピュータに実行させるためのプログラムとして実現することもでき、同機能を実現するためのプログラムが図示しないプログラム記憶装置に格納される。プログラム記憶装置は、例えば、磁気ディスク装置や光ディスク装置等からなる。上記プログラムが図示しないＣＰＵからの制御でランダムアクセスメモリ（ＲＡＭ）に読み込まれ、同ＣＰＵにより実行される。なお、各種コンピュータ資源を管理し、ファイルシステムやネットワーク通信機能、ならびにグラフィカルユーザインタフェース（ＧＵＩ）等を提供するオペレーティングシステムも導入されている。

本実施形態では、画像中の２つの異なる画素の明度（又は２つの異なる画素領域の平均明度）の大小関係に基づいた特徴量を用いる。この特徴量は、大小関係が逆転しない範囲の明度変化であれば値がほぼ不変であるという性質を持つ。本実施形態では、この特徴量が持つ、この性質に着目している。すなわち、明度に依存しない背景テクスチャに相当する特徴を抽出することにより、照明変化に対して頑健な検出を行う。また、背景の時系列画像から、それらの特徴量の変化を確率的にモデル化することにより、元々背景に存在する物体の動きによる変動についても学習を行う。例えば、背景に含まれる木々の揺れのような比較的定常的な変動を学習する。この学習結果に基づき、入力画像の画素領域が背景に類似するかどうかを評価することによって、類似しない領域をオブジェクトとして検出する。

以上をふまえ、本発明の実施形態に係る画像処理装置が備える機能は、背景の時系列画像に基づいて確率モデルを学習する機能と、獲得された確率モデルに基づいて入力画像からオブジェクトを検出する機能に大別される。

図１は、検出すべきオブジェクトが存在しない時点に取得された背景の時系列画像から、背景画像の変動を確率的にモデル化する処理の手順を示すフローチャートである。まず、事前準備として背景の時系列画像が用意される。時系列画像としては、背景に起こりうる変動が漏れなく含まれるように長時間にわたって取得することが望ましい。なお、検出されるべきオブジェクトを含まないように，背景の時系列画像を準備する。

まず、画素毎に、他の画素との明度比較に基づく複数の符号のそれぞれが生起する確率値を表す背景の確率値テーブルを背景の時系列画像に基づいて生成する。具体的には、ステップＳ１０１では、それぞれの画像において、例えば異なる２つの画素の明度を順次比較し、その大小関係に応じた符号を注目している画素に割り当てていく。次に、ステップＳ１０２では、各画素における各符号の生起確率を算出し、確率値テーブルに格納する。

ここで、画素の集合からなる部分領域を単位として処理を行ってもよい。部分領域の形状としては、矩形であってもよいし、その他の任意の形状でもよい。この場合、後述する注目画素領域は、複数の部分領域をさらに纏めた領域に相当する。以下では、処理の最小単位は画素であるとして説明する。

また、明度を比較する際の異なる２つの画素の位置関係としては、隣接していてもよいし、互いに離れていてもよい。また、割り当てる符号としては、注目画素の明度が比較対象の他の画素に比べて、大きいか否かに対応する２つの符号を用いてもよいし、明度が一致する場合に対応する符号を加えた３つの符号を用いてもよい。以下では、水平方向に隣接する画素の組と垂直方向に隣接する画素の組との両方を評価する場合を例にとって説明する。また、符号としては、上述した３つの符号を用いるとする。例えば、背景の時系列画像がN枚あり、そのn番目の背景画像について、注目画素(x,y)と水平方向に隣接した画素(x+1,y)の明度を比較すると、符号SH_n(x,y)は、明度I_n (x,y)とI_n (x+1,y)の明度差分値に基づいて（１）式のように得られる。垂直方向に隣接した画素の組では、明度I_n (x,y)とI_n (x,y+1)の明度差分値に基づき、（２）式のようにSV_n (x,y)が求められる。

図２は、以上の例を具体的に示したものである。背景の時系列画像２０１に含まれる各画像において、注目画素２０２に対して、水平方向に隣接した画素２０３と垂直方向に隣接した画素２０４それぞれの組について、明度（平均明度としてもよい）を比較する。背景の時系列符号画像２０５は、水平方向に隣接する２つの画素の明度を比較し、各注目画素に割り当てられた符号を表す。一方、背景の時系列符号画像２０６は、垂直方向に隣接する画素の比較に基づいて垂直方向に隣接する２つの画素の明度を比較し、各注目画素に符号を割り当てたものである。次に、背景の時系列符号画像２０５の各画像の各画素において、符号-1, 0, 1それぞれの生起確率を求めることにより確率値テーブル２０７、２０８、２０９に格納する。垂直方向についても同様に、割り当てられた符号を表す背景の時系列符号画像２０６から、それぞれの符号の生起確率を表す確率値テーブル２１０、２１１、２１２をそれぞれ得る。

背景画像のサイズがＷ×Ｈ画素のとき、確率値テーブル２０７、２０８、２０９のそれぞれのサイズは(W-1)×Hであり、確率値テーブル２１０、２１１、２１２のそれぞれのサイズはW×(H-1)である。なお、確率値の計算は、以下の（３）式及び（４）式にしたがって、隣接する画素の配置ごとに行う。

PH(s,x,y)は、画素(x,y)と水平方向に隣接する画素との比較において、符号sを観測する確率を示す。PV(s,x,y)は、画素(x,y)と垂直方向に隣接する画素との比較において、符号sを観測する確率である。例えば、確率値テーブル２０７、２０８、２０９がそれぞれPH(-1,x,y)，PH(0,x,y)，PH(1,x,y)に対応し、確率値テーブル２１０、２１１、２１２がそれぞれPV(-1,x,y)，PV(0,x,y)，PV(1,x,y)に対応すると考えればよい。

以上の処理により、背景変動の確率モデルに相当する確率値テーブルを得ることができる。

次に、オブジェクトを検出するためのもう１つの事前準備として、注目画素が背景であるか、背景でないもの、すなわち検出されるべきオブジェクトかを判定するためのしきい値を求め、しきい値テーブルに格納する。このしきい値テーブルは、複数の画素の集合からなる画素領域毎に、背景との類似度のしきい値を表すものであり、背景の時系列画像に基づいて生成される。

図３にしきい値テーブルの具体例を示す。背景画像３０１における注目画素３０２を含む複数の画素からなる画素領域を注目領域３０３として設定する。この注目領域３０３が背景かオブジェクトかを判定するためのしきい値が求められ、しきい値テーブル３０４に格納される。

図４は、しきい値テーブルを得るための手順を示すフローチャートである。ステップＳ４０１では、各背景画像において注目領域３０３内の画素の、背景に対する類似度を求め、類似度分布を得る。次に、ステップＳ４０２において、背景かどうかを判定するためのしきい値を求め、しきい値テーブル３０４に格納する。以下、しきい値テーブルを得るための処理手順を詳細に説明する。

まず注目領域３０３のサイズを幅w画素、高さh画素とする。n番目の背景画像において、画素(x,y)を基準とした注目領域の背景に対する類似度は、例えば参考文献１（三田雄志，金子敏充，堀修，「微少な差異を含む画像の照合に適した空間差分確率テンプレートの提案」，第9回画像センシングシンポジウム講演論文集，pp.561-566，2003）に記載の方法に基づき（５）式のように計算できる。

N枚の背景画像すべてについて、同じ注目領域に対する類似度を求め、例えば図５に示すような類似度分布５０３を得ることができる。５０１は類似度を示す座標軸であり、５０２は各類似度の正規頻度を示す座標軸である。例えば、オブジェクトによって注目領域が隠された場合、得られる類似度は低下すると予想されるので、５０４のように類似度に対するしきい値Tを設定すればよい。なお、類似度分布５０３は正規分布となる場合が多く、その平均m及び標準偏差σと可変の検出感度βによって、しきい値Tを（６）式のようにして求めることができる。βは用途に応じて設定されるパラメータである。例えば、β=3のように設定する。

しきい値Tを注目領域ごとに求め、しきい値テーブル３０４に格納する。これにより、画像内の位置に応じてしきい値が設定される。

以上説明した処理手順により、背景と検出すべきオブジェクトとを識別するために必要なパラメータを学習することができる。以下、これら学習されたパラメータに基づいて、入力画像からオブジェクトを検出する処理の手順を説明する。

図６はオブジェクト検出の処理手順を示すフローチャートである。まず、オブジェクトの有無及びオブジェクトの存在位置が未知である入力画像が与えられる。ステップＳ６０１では、入力画像の隣接画素において順次明度比較を行い、符号を割り当てる。次にステップＳ６０２において、注目領域（注目画素領域）の各画素において符号に応じた確率値を背景の確率テーブルを参照することにより求める。次にステップＳ６０３では、注目領域の背景に対する類似度を算出する。次に、ステップＳ６０４で、注目領域の位置に応じて、しきい値テーブルを参照し、ステップ６０３で算出された類似度としきい値を比較する。類似度がしきい値よりも大きい場合、注目領域は背景であると判定し、そうでない場合はオブジェクトであると判定する。

以上説明したように、背景の時系列画像に基づいて学習された確率値モデルに相当する背景の確率値テーブルと、複数の画素の集合からなる画素領域毎に、背景との類似度のしきい値を表すしきい値テーブルとに基づいて、背景を含む入力画像から、オブジェクトを検出することができる。そして、上述した処理手順によれば、背景に生じた明度変化のみならず背景自体の変動に影響を受けることなく、しかも処理コストを増大せずにオブジェクトを検出することができる。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。第１の実施形態は、背景の時系列画像のみが与えられ、検出すべきオブジェクトについては全く未知である場合に、背景に類似しない領域をオブジェクトとみなして検出する方法である。一方、本発明の第２の実施形態では、検出すべきオブジェクトが特定されており、そのオブジェクトに関しても事前に確率モデルを獲得できる場合を考慮するものである。第２の実施形態は、例えば、固定カメラで撮影中の動画において、その中に含まれる人物の顔を検出するといった用途に適する。以下では、背景とオブジェクト（顔）両方の確率モデルを得ることができる場合の、オブジェクト検出方法について説明する。

顔のように個人差や表情の変化を有する対象の検出に適した方法として、Probabilistic ISCが提案されている。Probabilistic ISCについては、上記参考文献１及び参考文献２（三田雄志，金子敏充，堀修，「クラス内変動を有する対象の照合に適した確率的増分符号相関」，画像の認識・理解シンポジウム(MIRU2004)講演論文集，Vol.I，pp.571-576, 2004）に記載されている。Probabilistic ISCでは、隣接画素の明度の大小関係から、クラス内変動を有する対象の確率モデルを得るようにしている。また、識別したい２つのクラスの確率モデルが得られている場合には、両者の確率を比較することによって検出精度を向上させる方法も提案されている（上記参考文献１を参照）。これらの方法に基づいて、オブジェクトを検出する。

まず、第１の実施形態で説明したように、背景の時系列画像から確率テーブルを得るのと同様の方法で、検出すべきオブジェクトに関しても確率モデルを取得しておく。第２の実施形態においては、オブジェクトに関して、多数の見本画像が必要となる。例えば、顔が検出対象である場合、多数の人物の顔を撮影した画像から、顔の領域のみを一定の大きさとなるように正規化して切り出し、顔画像を作成しておく。さらに、それぞれの顔画像にノイズを付加するなどで、顔画像枚数を水増ししてもよい。ここで、オブジェクトの確率値テーブルをPH(s,x,y)，PV(s,x,y)とし、背景の確率値テーブルをPH’(s,x,y)，PV’(s,x,y)とする。

図７は、オブジェクトと背景両方の確率モデルに基づいて、背景画像内の特定のオブジェクトを検出するためのしきい値を求める手順を示すフローチャートである。フローチャートは、背景中の１つの注目領域（オブジェクト見本画像と同じサイズ）についての処理を示す。注目領域を背景画像全体にわたって走査させ、同様の処理を行うことにより、背景のしきい値テーブルが得られる。ステップＳ７０１において、オブジェクトと背景の両者の確率値テーブルを参照し、確率値の比を算出する。比を求めることにより、両者の違いが強調されるため、識別精度が向上する。次に、ステップＳ７０２において、オブジェクトに対する類似度分布を算出する。各オブジェクト見本画像の類似度は、符号SH(x,y)及びSV(x,y)と確率テーブルに基づいて、（７）式のように求められる。ステップＳ７０３では、背景の注目領域に対する類似度分布を算出する。類似度は、符号SH’(x,y)及びSV’(x,y)と確率テーブルに基づいて、（８）式のように求められる。最後に、ステップＳ７０４で、両者の類似度分布に基づいて、オブジェクトと背景注目領域を識別するためのしきい値を求める。注目領域を画像全体にわたって走査させながら、同様の処理を行い、しきい値テーブルを作成する。

図８は、オブジェクト及び背景注目領域それぞれに対して形成される類似度分布を例示したものである。８０１は類似度に対応する座標軸(sim)であり、８０２は各類似度の生起頻度を示す座標軸である。オブジェクトの各見本画像に対する類似度分布P₁(sim)（８０３）と背景注目領域に対する類似度分布P₂(sim)（８０４）は、通常、図に示されるように裾野の部分で重なりあう。例えばしきい値T（８０５）で、オブジェクトか背景かを判定する場合、未検出８０６と過検出８０７が生じる。未検出を抑制すると過検出が増加するというトレードオフが存在する。用途に応じて、いずれの誤りを抑制したいかが異なるが、それぞれに対する損失を設定することにより、期待損失を最小化するしきい値を解析的に求めることができる。未検出に対するコストc₁と過検出に対するコストc₂を用いて

となるTをしきい値とする。例えば、c₁=100，c₂=1とすると、未検出率が過検出率の１００分の１になるようなしきい値T（すなわち未検出が生じにくいしきい値）が得られる。逆に、c₁=1，c₂=100とすると、未検出率が過検出率の１００倍となるようなしきい値T（すなわち過検出が生じにくいしきい値）が得られる。なお、P₁，P₂の確率密度関数としては正規分布で近似できる場合が多い。密度関数が得られない場合は、類似度のヒストグラムを生成し、しきい値Tを小さな値から徐々に大きくしていき

となった時点のTをしきい値とすることなどが可能である。

上記の処理により、オブジェクトと背景を識別するためのしきい値テーブル及び確率値テーブルを得ることができる。

しかし、実際には、ここまでの処理だけでは十分な検出精度を得られない場合がある。例えば、特定のオブジェクトとして顔を検出することを考える。入力画像に含まれるのは、顔と背景だけではなく、人物の上半身など顔以外の領域も多く含まれる。これまでに説明した処理は確率モデルが得られている顔と背景を識別するのに適しているが、顔でも背景でもない確率モデルが未知の第３の領域を扱うことができない。この場合、これらの領域を顔であると誤って検出してしまう可能性がある。この問題に対処するため、図９のフローチャートが示す手順にしたがって、オブジェクトを検出することが好ましい。まずステップＳ９０１では、検出対象のオブジェクトであるか否かを識別する。例えば、オブジェクト以外の画像を大量に収集し、確率テーブルPH’’(s,x,y)及びPV’’(s,x,y)を求めておき、（９）式にしたがって類似度を算出すればよい。次に、オブジェクトと判定された領域に対してのみ、オブジェクトと背景を識別する処理（ステップＳ９０２）を適用する。

ところで、オブジェクトの入力画像中での大きさは未知であるため、注目領域のサイズを固定したままではオブジェクトを検出できない場合がある。このような場合、図１０に示すように、入力画像を異なったスケールで拡大・縮小した画像１００２を作成し、固定サイズの注目領域１００１を走査することによって、サイズが未知のオブジェクトを検出できる。この場合、すべてのスケールの画像に対して、確率値テーブル及びしきい値テーブルを用意しておく必要がある。

また、背景領域に比較的多数含まれる明度が均一な領域では、小さなノイズによって隣接画素の明度の大小関係が逆転する場合があるため、安定に検出できない。入力画像の階調を下げることにより、ノイズの影響を受けにくくなるため、検出を安定化することができる。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

本発明の第１実施形態に係る背景変動の確率モデル生成方法のフローチャート本発明の第１実施形態に係る背景変動の確率モデル生成方法の説明図本発明の第１実施形態に係るオブジェクト検出のためのしきい値テーブル生成方法の説明図本発明の第１実施形態に係るオブジェクト検出のためのしきい値テーブル生成方法のフローチャート本発明の第１実施形態に係る背景類似度分布としきい値の関係を説明する図本発明の第１実施形態に係る入力画像中のオブジェクト検出処理手順を示すフローチャート本発明の第２実施形態に係る特定のオブジェクトを検出するためのしきい値テーブル生成方法のフローチャート本発明の第２実施形態に係る特定のオブジェクトと背景の注目領域それぞれについて得られる類似度の分布を示す説明図本発明の第２実施形態に係る入力画像中の特定のオブジェクトを検出するためのフローチャート大きさが未知のオブジェクトを検出する場合の処理説明図

Claims

背景の時系列画像から学習した結果を用いて、入力画像からオブジェクトを検出するオブジェクト検出方法において、
前記背景の時系列画像の水平方向の画素毎に、水平方向の他の画素との明度比較を行って複数の符号のそれぞれが生起する確率値を表す第１の確率値テーブルを生成し、前記背景の時系列画像の垂直方向の画素毎に、垂直方向の他の画素との明度比較を行って複数の符号のそれぞれが生起する確率値を表す第２の確率値テーブルを生成することにより、前記第１及び第２の確率値テーブルからなる背景の確率値テーブルを生成する第１生成ステップと、
前記背景の時系列画像における注目背景画像について、注目画素領域に含まれる各注目画素に対し、水平方向の他の画素との明度差分を求めることにより、前記複数の符号のいずれかを割り当てるステップと、
前記注目画素と垂直方向の他の画素との明度差分を求めることにより、前記複数の符号のいずれかを割り当てるステップと、
前記注目画素領域の各注目画素に割り当てられた符号が水平方向もしくは垂直方向いずれの明度差分に基づくかに応じて、前記符号のそれぞれについて前記背景の確率値テーブルを参照することにより、各注目画素の符号が生起する確率値を求めるステップと、
前記各注目画素の符号が生起する確率値に基づいて、前記注目画素領域の背景との類似度を算出するステップと、
前記類似度を前記背景の時系列画像のすべてについて算出することにより、注目画素領域毎に類似度分布を求めるステップと、
前記類似度分布と可変の検出感度とにより、複数の画素の集合からなる画素領域毎に、背景との類似度のしきい値を表す背景のしきい値テーブルを生成する第２生成ステップと、
前記入力画像の注目画素領域に含まれる各注目画素に対し、他の画素との明度差分を求めることにより、前記複数の符号のいずれかを割り当てる符号割り当てステップと、
前記注目画素領域の各注目画素に割り当てられた符号のそれぞれについて前記背景の確率値テーブルを参照することにより、各注目画素の符号が生起する確率値を求める確率値テーブル参照ステップと、
前記各注目画素の符号が生起する確率値に基づいて、前記注目画素領域の背景との類似度を算出する類似度算出ステップと、
前記注目画素領域の類似度を前記背景のしきい値テーブルにおいて対応する画素領域のしきい値と比較することにより、前記注目画素領域が前記オブジェクトに相当するか否かを判定する判定ステップとを含むオブジェクト検出方法。
前記第１生成ステップにおいて、隣接する２つの画素の異なる組み合わせについて明度を比較する請求項１に記載のオブジェクト検出方法。
前記第１生成ステップにおいて、画素毎に、他の画素と明度が一致するか、前記他の画素よりも明度が大きいか、及び前記他の画素よりも明度が小さいかを表す３つの符号のそれぞれが生起する確率値を表す背景の確率値テーブルを前記背景の時系列画像に基づいて生成する請求項１に記載のオブジェクト検出方法。
オブジェクトの見本画像に基づいてオブジェクトの確率値テーブルを生成する第３生成ステップと、
前記背景の確率値テーブルと前記オブジェクトの確率値テーブルとの間の確率値の比に基づいて、背景の類似度分布及びオブジェクトの類似度分布をそれぞれ算出するステップと、
前記背景の類似度分布及びオブジェクトの類似度分布と可変の検出感度とに基づいて、背景の類似度及びオブジェクトの類似度の両者とを識別するためのしきい値を表すしきい値テーブルを生成する第４生成ステップとをさらに具備する請求項１に記載のオブジェクト検出方法。
前記入力画像の注目画素領域が、前記オブジェクトに相当するか否かを判定するステップと、
前記オブジェクトに相当すると判定された注目画素領域について、前記第４生成ステップにおいて生成されたしきい値テーブルに基づいて背景とオブジェクトとを識別する請求項４に記載のオブジェクト検出方法。
背景の時系列画像から学習した結果を用いて、入力画像からオブジェクトを検出するオブジェクト検出装置において、
前記背景の時系列画像の水平方向の画素毎に、水平方向の他の画素との明度比較を行って複数の符号のそれぞれが生起する確率値を表す第１の確率値テーブルを生成し、前記背景の時系列画像の垂直方向の画素毎に、垂直方向の他の画素との明度比較を行って複数の符号のそれぞれが生起する確率値を表す第２の確率値テーブルを生成することにより、前記第１及び第２の確率値テーブルからなる背景の確率値テーブルを生成する背景の確率値テーブル生成手段と、
前記背景の時系列画像における注目背景画像に含まれる各注目画素に対し水平方向の他の画素との明度差分を求め、前記注目画素と垂直方向の他の画素との明度差分を求めて前記複数の符号のいずれかを割り当て、符号が水平方向もしくは垂直方向いずれの明度差分に基づくかに応じて前記背景の確率値テーブルを参照することにより前記各注目画素の符号が生起する確率値を求め、前記確率値に基づいて前記注目画素領域の背景との類似度を算出するとともに、前記類似度を前記背景の時系列画像のすべてについて算出することにより注目画素領域毎に類似度分布を求め、前記類似度分布と可変の検出感度とにより、複数の画素の集合からなる画素領域毎に、背景との類似度のしきい値を表す背景のしきい値テーブルを生成する背景のしきい値テーブル生成手段と、
前記入力画像の注目画素領域に含まれる各注目画素に対し、他の画素との明度差分を求めることにより、前記複数の符号のいずれかを割り当てる符号割り当て手段と、
前記注目画素領域の各注目画素に割り当てられた符号のそれぞれについて前記背景の確率値テーブルを参照することにより、各注目画素の符号が生起する確率値を求める確率値テーブル参照手段と、
前記各注目画素の符号が生起する確率値に基づいて、前記注目画素領域の背景との類似度を算出する類似度算出手段と、
前記注目画素領域の類似度を前記背景のしきい値テーブルにおいて対応する画素領域のしきい値と比較することにより、前記注目画素領域が前記オブジェクトに相当するか否かを判定する判定手段とを具備するオブジェクト検出装置。
背景の時系列画像から学習した結果を用いて、入力画像からオブジェクトを検出するオブジェクト検出プログラムにおいて、
前記背景の時系列画像の水平方向の画素毎に、水平方向の他の画素との明度比較を行って複数の符号のそれぞれが生起する確率値を表す第１の確率値テーブルを生成し、前記背景の時系列画像の垂直方向の画素毎に、垂直方向の他の画素との明度比較を行って複数の符号のそれぞれが生起する確率値を表す第２の確率値テーブルを生成することにより、前記第１及び第２の確率値テーブルからなる背景の確率値テーブルを生成する手順と、
前記背景の時系列画像における注目背景画像に含まれる各注目画素に対し水平方向の他の画素との明度差分を求め、前記注目画素と垂直方向の他の画素との明度差分を求めて前記複数の符号のいずれかを割り当て、符号が水平方向もしくは垂直方向いずれの明度差分に基づくかに応じて前記背景の確率値テーブルを参照することにより前記各注目画素の符号が生起する確率値を求め、前記確率値に基づいて前記注目画素領域の背景との類似度を算出するとともに、前記類似度を前記背景の時系列画像のすべてについて算出することにより注目画素領域毎に類似度分布を求め、前記類似度分布と可変の検出感度とにより、複数の画素の集合からなる画素領域毎に、背景との類似度のしきい値を表す背景のしきい値テーブルを生成する手順と、
前記入力画像の注目画素領域に含まれる各注目画素に対し、他の画素との明度差分を求めることにより、前記複数の符号のいずれかを割り当てる手順と、
前記注目画素領域の各注目画素に割り当てられた符号のそれぞれについて前記背景の確率値テーブルを参照することにより、各注目画素の符号が生起する確率値を求める手順と、
前記各注目画素の符号が生起する確率値に基づいて、前記注目画素領域の背景との類似度を算出する手順と、
前記注目画素領域の類似度を前記背景のしきい値テーブルにおいて対応する画素領域のしきい値と比較することにより、前記注目画素領域が前記オブジェクトに相当するか否かを判定する手順とをコンピュータに実行させるためのプログラム。