JP5388059B2 - 背景画像推定に基づく物体検出方法及び物体検出装置 - Google Patents

Description

本発明は、徐行移動可能な１つの画像入力手段（例えば、カメラ）で撮影された画像フレームの背景画像から移動物体画像を検出する背景画像推定に基づく物体検出方法及び物体検出装置に関する。

移動するカメラで撮影された映像から移動物体を検出する技術は、自動車の安全走行や移動ロボットの環境認識などのために重要である。
従来法としては、ステレオカメラシステムによる検出方法（ステレオ法）が主体である（例えば、特許文献１〜３参照）。

特開２００１−２４３４５６号公報 特開２００１−２８３２０３号公報 特開２００４−２８０１９４号公報

しかしながら、ステレオカメラシステムを用いた場合、移動物体が存在する領域を検出することはできるが、その領域は枠で示されるため、物体の形状そのものの検出は簡単ではない。例えば、移動物体が人の場合、その領域を検出できても、人の動作や挙動までは分からない。
また、左右２台のカメラで取得した画像間の対応付けが必要であるが、人が行うほど正確な対応付けはできない。
更に、カメラが２台必要であり、設置するためのコストもかかる。
なお、従来の移動物体（障害物）の検出方法（ステレオ法）は、車載ビジョンにおいては、一般道路走行時の場合の検出方法が主であり、交差点付近のように移動速度が遅い場合の検出方法は少ない。

本発明はかかる事情に鑑みてなされたもので、容易かつ低コストに移動物体の形状を検出でき、これによって移動物体の動作や挙動の認識も可能な背景画像推定に基づく物体検出方法及び物体検出装置を提供することを目的とする。

前記目的に沿う第１の発明に係る背景画像推定に基づく物体検出方法は、車載用カメラ又は移動ロボット用カメラからなる徐行移動可能な１つの画像入力手段を用い、予め設定した時間間隔で撮影された複数の画像フレームの背景画像から、移動物体画像を検出する物体検出方法であって、
前記各画像フレームを構成する画素ごとに濃度値の正規分布を求め、前記各画像フレームの各画素の濃度値の正規分布と該各画素の濃度値との比較から前記背景画像を推定し、前記移動物体画像を得るに際し、
前記背景画像は、前記画像フレームのうち、前の画像フレームＡを構成する画素ごとの濃度値の正規分布Ａを用いて、前記画像フレームＡの各画素の位置と該画像フレームＡの次の画像フレームＢの各画素の位置との対応から、該画像フレームＢを構成する画素ごとの濃度値の正規分布Ｂを求め、前記画像フレームＢを構成する画素ごとの濃度値が、前記濃度値の正規分布Ｂの予め設定した値の範囲内か否かを基準に推定する。

第１の発明に係る背景画像推定に基づく物体検出方法において、前記前の画像フレームＡのうち基準となる画像フレームは、該基準となる画像フレームを構成する各画素に濃度値の正規分布を与えて前記濃度値の正規分布Ａとするのがよい。

第１の発明に係る背景画像推定に基づく物体検出方法において、前記背景画像と前記移動物体画像をそれぞれ構成する画素ごとの濃度値の正規分布を、新たに求めた濃度値で更新することが好ましい。

前記目的に沿う第２の発明に係る背景画像推定に基づく物体検出装置は、車載用カメラ又は移動ロボット用カメラからなる徐行移動可能な１つの画像入力手段を用い、予め設定した時間間隔で撮影された複数の画像フレームの背景画像から、移動物体画像を検出する物体検出装置であって、
前記各画像フレームを構成する画素ごとに濃度値の正規分布を求め、前記各画像フレームの各画素の濃度値の正規分布と該各画素の濃度値との比較から前記背景画像を推定し、該推定した前記背景画像から前記移動物体画像を得る背景画像推定手段を有し、
前記背景画像推定手段は、前記画像フレームのうち、前の画像フレームＡを構成する画素ごとの濃度値の正規分布Ａを用いて、前記画像フレームＡの各画素の位置と該画像フレームＡの次の画像フレームＢの各画素の位置との対応から、該画像フレームＢを構成する画素ごとの濃度値の正規分布Ｂを求め、前記画像フレームＢを構成する画素ごとの濃度値が、前記濃度値の正規分布Ｂの予め設定した値の範囲内か否かを基準に、前記背景画像を推定する。

第２の発明に係る背景画像推定に基づく物体検出装置において、前記背景画像推定手段は、前記前の画像フレームＡのうち基準となる画像フレームの画素ごとの濃度値の正規分布Ａを、該基準となる画像フレームを構成する各画素に濃度値の正規分布を与えて求めるのがよい。

第２の発明に係る背景画像推定に基づく物体検出装置において、更に、前記背景画像と前記移動物体画像をそれぞれ構成する画素ごとの濃度値の正規分布を、新たに求めた濃度値で更新する正規分布更新手段を備えることが好ましい。

本発明に係る背景画像推定に基づく物体検出方法及び物体検出装置は、各画像フレームを構成する画素ごとに濃度値の正規分布を求め、各画像フレームの各画素の濃度値の正規分布と各画像フレーム上の各画素の濃度値とを比較するので、背景画像を推定でき、移動物体の画像が得られる。このように、背景画像の推定に、画像フレームを構成する画素ごとに求めた濃度値の正規分布を用いるので、直接移動物体の形状を求めることが可能となる。これにより、移動物体が例えば人の場合、特願２００８−１４１２４に記載の動体の動作認識方法等を用いることで、動作認識（歩く、走る、立ち止まる、しゃがむ、転ぶ等）も可能になる。
更に、移動物体の画像は、徐行移動可能な１つの画像入力手段により得られるため、従来のステレオ法と異なり、不安定性がある左右画像間の対応付け処理が不要である。また、カメラを２台用いるステレオ法よりも、コストを低く抑えることができ、経済的である。

特に、背景画像と移動物体画像をそれぞれ構成する画素ごとの濃度値の正規分布を、新たに求めた濃度値で更新する場合、背景画像と移動物体画像の正規分布が、最新の情報に更新されるため、移動物体の検出精度が更に高められる。
また、画像入力手段が車載用カメラである場合、特に人（障害物）を検出することで、例えば、横断歩道等で危険な人物を判定し、警告信号をドライバーに与えることが可能になり、自動車運転の安全技術の向上に貢献できる。更に、画像入力手段が移動ロボット用カメラである場合、例えば、知能ロボットがこの機能を持てば、人の様々な活動を支援、あるいは保護することが可能になる。

本発明の一実施の形態に係る背景画像推定に基づく物体検出方法の準備工程の説明図である。 同物体検出方法の特徴点検出工程の説明図である。 同物体検出方法の特徴点追跡工程の説明図である。 同物体検出方法のカメラ運動モデル推定工程の説明図である。 同物体検出方法の正規分布算出工程の説明図である。 同物体検出方法の移動物体画像検出工程の説明図である。 同物体検出方法の正規分布更新工程の説明図である。 （Ａ）は横断歩道手前で停止した車から撮影した原画像の写真、（Ｂ）は（Ａ）の背景画像の写真、（Ｃ）は（Ａ）から検出された人の写真である。 （Ａ）は交差点を左折して停止した車から撮影した原画像の写真、（Ｂ）は（Ａ）の背景画像の写真、（Ｃ）は（Ａ）から検出された人の写真である。

続いて、添付した図面を参照しつつ、本発明を具体化した実施の形態につき説明し、本発明の理解に供する。
図１〜図７に示すように、本発明の一実施の形態に係る背景画像推定に基づく物体検出方法は、自動車に取付け固定された徐行移動可能な１つのカメラ（画像入力手段の一例）を用い、予め設定した時間間隔で撮影された複数の画像フレームの背景画像１０から、人画像（移動物体画像の一例）１１を検出する方法である。なお、撮影した複数の画像フレームは、時系列的に撮影されたものであり、前の画像フレームＡを画像フレームＦ_ｉ−１とし、これに連続する次の画像フレームＢを画像フレームＦ_ｉとして、全画像フレームの数をＩとした場合、ｉは１以上Ｉ以下の正の整数である。以下、詳しく説明する。

カメラは、自動車のフロント（運転席前方）に取付け固定された車載用カメラである。なお、カメラは、これに限定されるものではなく、例えば、移動ロボットに取付け固定される移動ロボット用カメラでもよい。
このカメラは、例えば、デジタルビデオカメラやＣＣＤカメラである。なお、撮影した画像フレームのサイズ（画素数）は、例えば、（１００〜５００）×（１００〜５００）ピクセル程度である。また、画像フレームの撮影速度は、例えば、１秒あたり１０〜１００枚程度である。
このカメラによる撮影は、自動車が徐行移動するとき又は停止するときに行われる。ここで、徐行移動とは、例えば、上限が、１０ｋｍ／時間、更には５ｋｍ／時間、下限が０を超え、又は１ｋｍ／時間の速度を意味する。

この自動車（カメラ）が停止している場合、従来の方法では、１つのカメラで人画像の形状そのものの検出ができない。また、自動車（カメラ）が徐行移動する場合、撮影した複数の画像フレームにおいて、背景画像の位置も移動するため、各画像フレーム内の人画像を検出できない。ここで、徐行移動とは、例えば、走行中の自動車が停止しようとするときの速度や、一度停止した自動車が再度動き出すときの速度を意味する。
そこで、本実施の形態に係る物体検出方法を構成する以下の作業を、本発明の一実施の形態に係る背景画像推定に基づく物体検出装置（以下、単に物体検出装置ともいう）のコンピュータ（図示しない）内で計算して行い、コンピュータ内のプログラムにより画像処理して、人画像を検出する。このコンピュータは、ＲＡＭ、ＣＰＵ、ＲＯＭ、Ｉ／Ｏ、及びこれらの要素を接続するバスを備えた従来公知のものであり、背景画像推定手段を有している。なお、物体検出装置は、上記したカメラも有している。
以下、カメラが徐行移動する場合について説明する。

まず、ｉ＝１として、図１に示すように、画像フレームＦ_ｉの前の画像フレームである基準となる画像フレームＦ_ｉ−１（ここでは、最初の初期画像フレームであるが、複数の画像フレームのうちの途中の画像フレームでもよい）を構成する画素１２ごとに、濃度値の正規分布Ａを求める。なお、正規分布は、平均値μと分散σ^２という２つのパラメータを持つ。ここで、平均値μは、背景画像の推定画素値を表すパラメータであり、移動平均モデルと同様の意味を持つ。また、分散σ^２は、その画素における時間方向の画素値のばらつき（安定性）を表している。つまり、画素値の変化が少ない画素においては分散が小さく、変化が多い画素においては大きくなる。
濃度値の正規分布Ａを求める処理は、カメラで撮影した画像フレームＦ_ｉ−１のデータを、コンピュータに送信して記憶手段に保存し、コンピュータ内の演算手段を用いて行う。なお、画像フレームＦ_ｉ−１の次の画像フレームＦ_ｉのデータも、コンピュータに送信して記憶手段に保存しておく。

各画素は、カラー画像の場合は、ＲＧＢで表現された色を有している。このＲＧＢは、色の表現法の一種で、赤（Ｒｅｄ）、緑（Ｇｒｅｅｎ）、及び青（Ｂｌｕｅ）の３つの原色を混ぜて幅広い色を再現する加法混色の一種である。なお、各画素の色の表現は、ＲＧＢに限定されるものではなく、他の表現法で表現してもよい（例えば、画像合成などに使われる透過（透明度）を表現するアルファチャンネル（Ａｌｐｈａ）が加わったＲＧＢＡ等）。また、各画素は白黒で表現されてもよい。

これにより、初期画像フレームＦ_ｉ−１上の画素ｐ（ｘ,ｙ）に、ＲＧＢの濃度値の３次元の正規分布Ｎ_ｉ−１（ｆ;μ,Σ）_{（ｘ,ｙ）}を与える。そして、これを、画像フレームＦ_ｉ−１を構成する全画素について行い、記憶手段に記憶する。
ただし、上記した濃度値の正規分布Ｎ_ｉ−１（ｆ;μ,Σ）_{（ｘ,ｙ）}は、式（１）及び式（２）で示される。

ここで、Σは、一例として、ＲＧＢの各成分が独立で同じ大きさの分散を持つと仮定した場合の共分散行列を示している。この仮定によれば、逆行列の計算等の複雑な計算を避けることができ、高速な処理が可能となる（以上、準備工程）。

次に、コンピュータの記憶手段に保存された画像フレームＦ_ｉ−１に対し、特徴点検出法（例えば、Ｈａｒｒｉｓ ｏｐｅｒａｔｏｒ）を適用する。これにより、図２に示すように、太線の○印で囲まれたＫ個の特徴点Ｐ_{ｋ,ｉ−１}（ｋ＝１、２、・・・、Ｋ）を求めることができるので、これを記憶手段に記憶する。なお、特徴点の個数は、計算の処理速度にもよるが、例えば、５０個以上５００個以下程度（ここでは、１００個以上２００個以下）である。
このように、特徴点検出法を用いることで、画像フレームＦ_ｉ−１内で対応の取り易い（動きベクトルを算出し易い）特徴点を検出でき、画像フレームＦ_ｉ−１内の任意の点で動きベクトルを求めようとした場合に発生する誤差を小さくできる（以上、特徴点検出工程）。

そして、図３に示すように、コンピュータの記憶手段に保存された画像フレームＦ_ｉ上で、上記した特徴点Ｐ_{ｋ,ｉ−１}に対応する点Ｐ_ｋ,ｉを、特徴点追跡法（例えば、Ｌ−Ｋ法：Ｌｕｃａｓ−Ｋａｎａｄｅ法、局所勾配法）を用いて求める。このＬ−Ｋ法は、注目点近傍の小領域画素の動きベクトルを、注目点の動きベクトルと同一と仮定し、注目画素近傍の拘束方程式の線形解法を用いて動きベクトルを算出する方法である。
これにより、図３に示すように、画像フレームＦ_ｉ−１内の特徴点Ｐ_{ｋ,ｉ−１}（図３の細線の○印で囲まれた位置）が、画像フレームＦ_ｉ内のどの位置（図３の太線の○印で囲まれた位置、即ち対応点Ｐ_{ａ（ｋ）,ｉ}）に対応しているのかを検出し、これを記憶手段に記憶する。

なお、Ｌ−Ｋ法は、大きな動きに弱いという欠点があるため、画像の解像度階層構造を利用した改良法を用いることもできる。
この手法では、２枚の画像をそれぞれ順次圧縮して、ピラミッド形状の階層構造を作成する。画像フレーム上の動きは、解像度が低いほど小さくなる。このことを利用して、解像度の低い画像から、Ｌ−Ｋ法により動きベクトルを推定し、その結果を次の階層の動きベクトル推定の初期値として用いる。この処理を原画像のサイズになるまで繰返すことにより、Ｌ−Ｋ法は比較的大きな動きに対応することができる（以上、特徴点追跡工程）。

次に、コンピュータの記憶手段に記憶させた特徴点とその対応点のセット（Ｐ_{ｋ,ｉ−１},Ｐ_{ａ（ｋ）,ｉ}）（ｋ＝１、２、・・・、Ｋ；ａ（ｋ）はｋに対応する特徴点の番号を与える関数）を用いて、図４に示すように、画像フレームＦ_ｉ−１と画像フレームＦ_ｉの間の２次元射影変換Ｔ_{ｉ−１→ｉ}を求める。これにより、画像フレームＦ_ｉ−１と画像フレームＦ_ｉのペアから、特徴点の移動時の規則性（式）を求めることができるので、これを記憶手段に記憶させる。
なお、このとき、ＲＡＮＳＡＣ（ＲＡＮｄｏｍ ＳＡｍｐｌｅ Ｃｏｎｓｅｎｓｕｓ）を用いて、局所的な動き（アウトライア）となる対応点のセットを除き、これを記憶手段に記憶させる。

ＲＡＮＳＡＣを用いることにより、ランダムサンプリングに基づき、画像フレーム内の動きを、大局的な動き（インライア）と局所的な動きのいずれかに判別できる。このＲＡＮＳＡＣを用いたカメラ運動モデルのパラメータ推定アルゴリズムを、以下に示す。
１）全ての動きベクトル内からランダムにＲ個のベクトルを選択する。
２）選択されたベクトルを用いて最小二乗法でモデルパラメータを計算する。
３）全ての算出された動きベクトル（ｕ、ｖ）において、得られたモデルパラメータで計算されるモデルベクトル（ｍｕ、ｍｖ）との誤差Ｅ＝｛（ｕ−ｍｕ）^２＋（ｖ−ｍｖ）^２｝^１／２を測定し、誤差Ｅが閾値内に入るベクトル（インライア）の数を測定する。
４）上記１）〜３）を十分多数回繰返す。
５）最も多くのインライアが得られたモデルパラメータにおける全てのインライアを用いて、最終的なモデルパラメータを計算する（以上、カメラ運動モデル推定工程）。

続いて、画像フレームＦ_ｉ上で、画素ｐ（ｘ,ｙ）のＲＧＢの濃度値の正規分布Ｎ_ｉ（ｆ；μ,Σ）_{（ｘ,ｙ）}を求める。
具体的には、図５に示すように、画像フレームＦ_ｉ上の各画素ｐの位置（ｘ,ｙ）_ｉに対応する画像フレームＦ_ｉ−１上の点（ｘ,ｙ）_ｉ−１を、上記した２次元射影変換Ｔ_{ｉ−１→ｉ}の逆変換を用いて求める（図５に示す点線矢印）。そして、点（ｘ,ｙ）_ｉ−１の最近傍の４画素（テクスチャのある画素）の正規分布から、双線形補間によりＲＧＢの各平均値μ_Ｒ、μ_Ｇ、μ_Ｂと分散σ^２を求め、これを画素ｐの位置（ｘ,ｙ）_ｉの濃度値の正規分布Ｎ_ｉ（ｆ；μ,Σ）_{（ｘ,ｙ）}とする。

以上の手続きを、画像フレームＦ_ｉ上の全画素について行い、これを記憶手段に記憶させる。
このように、画像フレームＦ_ｉを構成する画素ごとの濃度値の正規分布Ｎ_ｉ（ｆ；μ,Σ）_{（ｘ,ｙ）}を、カメラの移動に伴う画像フレームＦ_ｉ−１の各画素ｐ´の点（ｘ,ｙ）_ｉ−１の位置と画像フレームＦ_ｉの各画素ｐの位置（ｘ,ｙ）_ｉとの対応から、画像フレームＦ_ｉ−１の画素ごとの濃度値の正規分布Ｎ_ｉ−１（ｆ;μ,Σ）_{（ｘ,ｙ）}を用いて求めることができる（以上、正規分布算出工程）。

そして、コンピュータの演算手段で求めた画像フレームＦ_ｉ上の画素ｐの位置（ｘ,ｙ）_ｉのＲＧＢの濃度値ｆ_Ｒ、ｆ_Ｇ、ｆ_Ｂが、式（３）を満たせば、画素ｐは背景画像を構成する画素（Ｂ）、満たさなければ前景である人画像を構成する画素（Ｆ）とする。なお、式（３）のＴσは、閾値定数である。また、画素ｐの位置（ｘ,ｙ）_ｉのＲＧＢの濃度値ｆ_Ｒ、ｆ_Ｇ、ｆ_Ｂ（画素値）は、画像フレームＦ_ｉを構成する画素ごとの値であり、濃度値と濃度値の正規分布とは、前者が特定の数値であるのに対し、後者は画像ノイズや画像フレーム間の明るさの変化等によるその数値の広がり（分布）を表すという点で異なる。
同様の処理を全画素に対して行うことで、画像フレームＦ_ｉ上の前景画素（Ｆ）が得られるため、これを記憶手段に記憶させる。

具体的には、図６に示すように、画像フレームＦ_ｉを構成する画素ｐの位置（ｘ,ｙ）_ｉごとのＲＧＢの濃度値ｆ_Ｒ、ｆ_Ｇ、ｆ_Ｂが、画像フレームＦ_ｉの濃度値の正規分布Ｎ_ｉ（ｆ；μ,Σ）_{（ｘ,ｙ）}の予め設定した値（ここでは、σ）の範囲内か否かの基準により、背景か前景かを推定する。
なお、背景とは、カメラの位置が移動する場合、その動きがカメラの動きのみに起因する画素の集合を意味し（静止カメラの場合、連続した画像フレーム間で静止した画素の集合を意味する）、前景とは、背景以外の画素の集合を意味する。
これにより、画像フレームＦ_ｉ−１、Ｆ_ｉを構成する画素ごとに求めた濃度値の正規分布Ｎ_ｉ−１（ｆ;μ,Σ）_{（ｘ,ｙ）}、Ｎ_ｉ（ｆ；μ,Σ）_{（ｘ,ｙ）}から、カメラの移動に伴って移動する背景画像を推定できる（以上、移動物体画像検出工程）。
以上に示した背景画像の推定は、コンピュータ内の背景画像推定手段により処理して行う。

なお、背景画像１０と人画像１１をそれぞれ構成する画素１２ごとの濃度値の正規分布は、図７に示すように、新たに得られた濃度値で更新することが好ましい。
具体的には、式（４）〜式（７）を使用して画素ｐの位置（ｘ,ｙ）_ｉの正規分布を更新する。なお、更新は、背景画素（ｂａｃｋｇｒｏｕｎｄ ｐｉｘｅｌ）か前景画素（ｆｏｒｅｇｒｏｕｎｄ ｐｉｘｅｌ）かに応じて、異なる更新式を用いて行われる。

ここで、ｆ_ｉ（ｘ,ｙ）は、サンプル時刻ｉにおける画素ｐの位置（ｘ,ｙ）の濃度値、αは式（５）で定義される変動学習率、βは式（６）で定義されるように、前景抽出連続フレーム数Ｃ_ｉ（ｘ,ｙ）（サンプル時刻ｉにおいて、画素ｐの位置（ｘ,ｙ）がｉまでに連続して前景と判定された回数）による変動学習率である。また、式（５）のｃは正規化定数、式（６）のｋは実験で決められる定数である。
この更新式である式（４）と式（７）により、新たな正規分布Ｎ_ｉ ^＃（ｆ；μ^＃,Σ^＃）_{（ｘ,ｙ）}が得られる。このように、新たに求めた（得られた）濃度値を用いて正規分布を更新し、これを画素ｐの位置（ｘ,ｙ）_ｉの新しい正規分布Ｎ_ｉ（ｆ；μ,Σ）_{（ｘ,ｙ）}とする。
この手続きを、全画素に対して行い、記憶手段に記憶させる（以上、正規分布更新工程）。
このように、正規分布の更新を行う場合は、コンピュータ内に更に正規分布更新手段を設けて行う。

次に、ｉ＝２として、以上に示した特徴点検出工程、特徴点追跡工程、カメラ運動モデル推定工程、正規分布算出工程、移動物体画像検出工程、及び正規分布更新工程を、順次行う。このとき、画像フレームＦ_ｉ−１の次の画像フレームＦ_ｉのデータは、特徴点検出工程でコンピュータに送信して記憶手段に保存する。
更に、ｉ：＝ｉ＋１として、ｉ≦Ｉ（全画像フレーム数）の間、上記工程を順次行う処理を繰り返して、全画像フレームの処理を終わらせる。
以上により、推定された背景画像１０上の画素ごとの正規分布と、画像フレームＦ_ｉ上の各画素の濃度値との比較により、人画像１１が得られる。
以上に示した背景画像の推定と人画像の検出は、コンピュータ内の背景画像推定手段により処理して行う。
従って、カメラが徐行移動し、画像フレームＦ_ｉ−１、Ｆ_ｉ上で背景画像１０の位置が移動しても、人画像１１を検出でき、且つその形状を認識できる。なお、カメラが停止している場合においても、人画像の形状を認識できる。

次に、本発明の作用効果を確認するために行った実施例について説明する。
ここでは、カメラには車載用カメラを使用し、横断歩道手前で停止した車から撮影した場合と、交差点を左折して停止した車から撮影した場合の２例について、画像フレームから人画像を検出した結果について説明する。
なお、撮影した画像フレームのサイズは、３２０×２２０ピクセル、また、画像フレームの撮影速度は、１秒あたり３０枚である。

まず、横断歩道手前で停止した車から撮影した原画像を用いて、人画像を検出した結果について、図８（Ａ）〜（Ｃ）を参照しながら説明する。
図８（Ａ）に示す原画像に対し、前記した本発明の背景画像推定に基づく物体検出方法を適用することで、図８（Ｂ）に示す原画像の背景画像を推定でき、これにより、図８（Ｃ）に示す原画像から人画像を検出できることを確認できた。

次に、交差点を左折して停止した車から撮影した原画像を用いて、人画像を検出した結果について、図９（Ａ）〜（Ｃ）を参照しながら説明する。
図９（Ａ）に示す原画像に対し、前記した本発明の背景画像推定に基づく物体検出方法を適用することで、図９（Ｂ）に示す原画像の背景画像を推定でき、これにより、図９（Ｃ）に示す原画像から人画像を検出できることを確認できた。

以上から、本発明の背景画像推定に基づく物体検出方法及び物体検出装置を使用することで、容易かつ低コストに移動物体の形状を検出できることを確認できた。その結果、例えば、特願２００８−１４１２４に記載の動体の動作認識方法等を用いることで、移動物体の動作や挙動の認識も可能となる。

以上、本発明を、実施の形態を参照して説明してきたが、本発明は何ら上記した実施の形態に記載の構成に限定されるものではなく、特許請求の範囲に記載されている事項の範囲内で考えられるその他の実施の形態や変形例も含むものである。例えば、前記したそれぞれの実施の形態や変形例の一部又は全部を組合せて本発明の背景画像推定に基づく物体検出方法及び物体検出装置を構成する場合も本発明の権利範囲に含まれる。

本発明の背景画像推定に基づく物体検出方法及び物体検出装置は、例えば、各種乗り物（例えば、自動車、バス、電車）に設けられる安全システムや、移動ロボットの視覚情報処理システムに利用できる。

１０：背景画像、１１：人画像（移動物体画像）、１２：画素

Claims (6)

1. 車載用カメラ又は移動ロボット用カメラからなる徐行移動可能な１つの画像入力手段を用い、予め設定した時間間隔で撮影された複数の画像フレームの背景画像から、移動物体画像を検出する物体検出方法であって、
   前記各画像フレームを構成する画素ごとに濃度値の正規分布を求め、前記各画像フレームの各画素の濃度値の正規分布と該各画素の濃度値との比較から前記背景画像を推定し、前記移動物体画像を得るに際し、
   前記背景画像は、前記画像フレームのうち、前の画像フレームＡを構成する画素ごとの濃度値の正規分布Ａを用いて、前記画像フレームＡの各画素の位置と該画像フレームＡの次の画像フレームＢの各画素の位置との対応から、該画像フレームＢを構成する画素ごとの濃度値の正規分布Ｂを求め、前記画像フレームＢを構成する画素ごとの濃度値が、前記濃度値の正規分布Ｂの予め設定した値の範囲内か否かを基準に推定することを特徴とする背景画像推定に基づく物体検出方法。
2. 請求項１記載の背景画像推定に基づく物体検出方法において、前記前の画像フレームＡのうち基準となる画像フレームは、該基準となる画像フレームを構成する各画素に濃度値の正規分布を与えて前記濃度値の正規分布Ａとすることを特徴とする背景画像推定に基づく物体検出方法。
3. 請求項１又は２記載の背景画像推定に基づく物体検出方法において、前記背景画像と前記移動物体画像をそれぞれ構成する画素ごとの濃度値の正規分布を、新たに求めた濃度値で更新することを特徴とする背景画像推定に基づく物体検出方法。
4. 車載用カメラ又は移動ロボット用カメラからなる徐行移動可能な１つの画像入力手段を用い、予め設定した時間間隔で撮影された複数の画像フレームの背景画像から、移動物体画像を検出する物体検出装置であって、
   前記各画像フレームを構成する画素ごとに濃度値の正規分布を求め、前記各画像フレームの各画素の濃度値の正規分布と該各画素の濃度値との比較から前記背景画像を推定し、該推定した前記背景画像から前記移動物体画像を得る背景画像推定手段を有し、
   前記背景画像推定手段は、前記画像フレームのうち、前の画像フレームＡを構成する画素ごとの濃度値の正規分布Ａを用いて、前記画像フレームＡの各画素の位置と該画像フレームＡの次の画像フレームＢの各画素の位置との対応から、該画像フレームＢを構成する画素ごとの濃度値の正規分布Ｂを求め、前記画像フレームＢを構成する画素ごとの濃度値が、前記濃度値の正規分布Ｂの予め設定した値の範囲内か否かを基準に、前記背景画像を推定することを特徴とする背景画像推定に基づく物体検出装置。
5. 請求項４記載の背景画像推定に基づく物体検出装置において、前記背景画像推定手段は、前記前の画像フレームＡのうち基準となる画像フレームの画素ごとの濃度値の正規分布Ａを、該基準となる画像フレームを構成する各画素に濃度値の正規分布を与えて求めることを特徴とする背景画像推定に基づく物体検出装置。
6. 請求項４又は５記載の背景画像推定に基づく物体検出装置において、更に、前記背景画像と前記移動物体画像をそれぞれ構成する画素ごとの濃度値の正規分布を、新たに求めた濃度値で更新する正規分布更新手段を備えることを特徴とする背景画像推定に基づく物体検出装置。