JP5360052B2 - 物体検出装置 - Google Patents

物体検出装置 Download PDF

Info

Publication number
JP5360052B2
JP5360052B2 JP2010507144A JP2010507144A JP5360052B2 JP 5360052 B2 JP5360052 B2 JP 5360052B2 JP 2010507144 A JP2010507144 A JP 2010507144A JP 2010507144 A JP2010507144 A JP 2010507144A JP 5360052 B2 JP5360052 B2 JP 5360052B2
Authority
JP
Japan
Prior art keywords
probability
pixel
background
foreground
event
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010507144A
Other languages
English (en)
Other versions
JPWO2009125569A1 (ja
Inventor
浩雄 池田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2010507144A priority Critical patent/JP5360052B2/ja
Publication of JPWO2009125569A1 publication Critical patent/JPWO2009125569A1/ja
Application granted granted Critical
Publication of JP5360052B2 publication Critical patent/JP5360052B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns

Description

本発明は、物体検出装置にかかり、特に、画像内から物体を検出する物体検出装置に関する。
画像内から対象物体を検出する為に用いられる物体検出方法がある。この物体検出方法の関連技術として、背景差分法やフレーム間差分法がある。
上記背景差分法は、入力画像から背景画像（対象物体を含まない背景のみの画像）との差分をとることにより、対象物体を検出する方法である。この背景差分法によると、移動したり静止したりする対象物体を良好に検出することが可能である。一方で、背景差分法では、予め対象物体を含まない背景画像を用意する必要がある。また、照明変動などにより、背景が変化する場合には正しい検出結果を得ることが難しい、という問題が生じる。
また、上記フレーム間差分法は、時間の異なる入力画像（フレーム間の画像）間の差分をとることにより、対象物体を検出する方法である。このフレーム間差分法は、上述した背景差分法と異なり、予め対象物体を含まない背景画像を用意する必要がなく、環境光のようなゆっくりとした照明変動による背景の変化にも強い。しかし、フレーム間差分法では、対象物体の画像パターンによっては、対象物体の一部（輪郭等）しか検出できないという問題が生じる。また、静止した対象物体に対しては、フレーム間の画像にほとんど変化がないので、検出が難しいという問題が生じる。
上述した背景差分法の問題点を改善する方法として、背景画像を逐次更新していくものがある。その一例が特許文献１に記載されている。この特許文献１に記載の方法は、単純足し込み法により背景画像を逐次更新し、更新された背景画像を用いた背景差分法により、対象物体を検出する、という方法である。これによると、逐次更新された背景画像を用いているので、予め対象物体を含まない背景画像を用意する必要がなく、環境光のようなゆっくりとした照明変動による背景の変化にも対応できる。
しかしながら、上記特許文献１に開示の方法では、対象物体が静止したり、ゆっくりと移動したりする場合、対象物体が背景画像に更新されてしまい、対象物体の検出が難しくなる、という問題が生じる。また、木の揺れや水面の揺れなどの継続的な変化をもつ背景（環境変動）に対しては、背景の更新が追いつかず、対象物体を適切に検出することが難しい。
このため、上述した問題点を解決する方法として、背景を混合分布モデルとして近似し推定する方法がある。その一例が非特許文献１に記載されている。この非特許文献１に記載の方法は、画素単位で処理を行い、背景とされた画素値の時系列から混合分布モデルによる背景を推定し、入力の画素値とこの背景とのあてはまりの良さを求めることにより対象物体を検出する、という方法である。このように、背景とされた画素値のみから背景を推定しているため、対象物体が静止したり、ゆっくりと移動したりしても、対象物体が背景に更新されることはなく、これらの状況に対して安定した物体検出が可能である。また、木の揺れや水面の揺れなどの継続的な変化を持つ背景も混合分布モデルとして表現できるので、これらの状況においても良好な物体検出が可能である。
他にも物体検出方法に関連する技術が知られている。例えば、特許文献２では、事後確率を用いるパターン認識方法を開示している。また、特許文献３では、生起確率の確率値テーブルを用いるオブジェクト検出方法を開示している。
特公平７−３１７３２号公報 特開２００６−１５５５９４号公報 特開２００６−１８５２０６号公報
Ｓｔａｕｆｆｅｒ， Ｇｒｉｍｓｏｎ， "Ａｄａｐｔｉｖｅｂａｃｋｇｒｏｕｎｄ ｍｉｘｔｕｒｅ ｍｏｄｅｌｓ ｆｏｒ ｒｅａｌ−ｔｉｍｅ ｔｒａｃｋｉｎｇ"， ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｓｏｃｉｅｔｙ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ， Ｖｏｌ．２， ｐｐ．２４６−２５２， １９９９．
しかしながら、上述した特許文献及び非特許文献に開示の技術では、以下の問題点が存在する。第１の問題点は、対象物体の一部に背景と類似する画素値が含まれている場合があり、これにより検出性能が低下する、ということである。その理由は、特に、非特許文献１に開示の技術では、背景と類似する画素値を持つ物体部分が、混合分布モデルで表現された背景から見ても、通常の背景と区別できないためである。また、これによって、誤って背景と区別された対象物体の画素値が背景として更新されて、背景の混合分布モデルの推定精度が低下し、それが物体検出に影響を及ぼすためである。
第２の問題点は、背景の一部分で、一瞬の間、背景の傾向が変化した場合（例えば、瞬間的に風の強さが変わって一瞬だけ木の一部分で揺れ方が変化した場合）、その間、背景の小領域が物体として誤検出されてしまう、ということである。その理由は、特に、非特許文献１に開示の技術では、誤検出される背景の小領域が、混合分布モデルで表現された背景から見ても、通常の前景（対象物体）と区別できないためである。
そして、上記２つの問題点は、上述した特許文献２，３の技術を用いても解決することができない。つまり、事後確率や生起確率のみを用いた方法では、対象物体の一部に背景と類似する画素値が含まれている場合や、背景の一部分で一瞬の間、背景の傾向が変化した場合には、物体検出精度が低下しうる。
このため、本発明の目的は、上述した課題である、物体検出精度の低下を解決する物体検出装置を提供することにある。
かかる目的を達成するため本発明の一形態である物体検出装置は、
入力画像の各画素から抽出された特徴量と確率密度関数とを用いて取得する背景と前景の生起確率と、上記入力画像の１つ前の入力画像における背景と前景の事後確率と、注目画素の空間方向の近傍に対する事象（背景又は前景）の関係と時間方向の近傍に対する事象の関係を示す条件付確率と、を用い、注目画素の空間方向と時間方向の近傍において同じ事象が出現する性質に基づいて設定された確率モデルから背景と前景の事後確率を算出する事後確率算出部と、
背景と前景の事後確率の比較から物体を判定する物体判定部と、
を備えたことを特徴とする。
また、本発明の他の形態であるプログラムは、
コンピュータに、
入力画像の各画素から抽出された特徴量と確率密度関数とを用いて取得する背景と前景の生起確率と、上記入力画像の１つ前の入力画像における背景と前景の事後確率と、注目画素の空間方向の近傍に対する事象（背景又は前景）の関係と時間方向の近傍に対する事象の関係を示す条件付確率と、を用い、注目画素の空間方向と時間方向の近傍において同じ事象が出現する性質に基づいて設定された確率モデルから背景と前景の事後確率を算出する事後確率算出部と、
背景と前景の事後確率の比較から物体を判定する物体判定部と、
を実現させるためのプログラムである。
また、本発明の他の形態である物体検出方法は、
入力画像の各画素から抽出された特徴量と確率密度関数とを用いて取得する背景と前景の生起確率と、上記入力画像の１つ前の入力画像における背景と前景の事後確率と、注目画素の空間方向の近傍に対する事象（背景又は前景）の関係と時間方向の近傍に対する事象の関係を示す条件付確率と、を用い、注目画素の空間方向と時間方向の近傍において同じ事象が出現する性質に基づいて設定された確率モデルから背景と前景の事後確率を算出し、
背景と前景の事後確率の比較から物体を判定する、
という構成を採る。
本発明は、以上のように構成されることにより、画像内から物体を検出するときにおける誤検出を抑制すると共に、未検出を改善し、物体検出精度の向上を図ることができる。
本発明の第１の実施形態に係る物体検出装置を示すブロック図である。 本発明の第１の実施形態における時空間方向の画素間の関係を表す図である。 本発明の第１の実施形態に係る物体検出装置の動作を示すフローチャート図である。 本発明の第１の実施形態に係る物体検出装置の動作を示すフローチャート図である。 本発明の第１の実施形態に係る物体検出装置の動作を示すフローチャート図である。 本発明の第２の実施形態に係る物体検出装置を示すブロック図である。 本発明の第３の実施形態に係る物体検出装置を示すブロック図である。 本発明の第４の実施形態に係る物体検出装置を示すブロック図である。
＜実施形態１＞
本発明の第１の実施形態における物体検出装置、物体検出方法、及びプログラムについて、図１乃至図５を参照して詳細に説明する。図１は、物体検出装置の構成を示すブロック図である。図２は、時空間方向の画素間の関係を表す図である。図３乃至図５は、物体検出装置の動作を示すフローチャート図である。
［構成］
図１を参照すると、本発明の第１の実施形態に係る物体検出装置は、カメラ・ビデオ等の動画像から画像を取得する画像取得部１と、プログラム制御により動作するデータ処理装置２と、情報を記憶する記憶装置３と、を備える。
そして、上記記憶装置３は、特徴蓄積部３１と、確率密度関数記憶部３２と、関係確率記憶部３３と、事後確率記憶部３４と、背景特徴蓄積部３５と、を備える。以下、各構成についてさらに詳述する。
上記特徴蓄積部３１は、全ての画素に対して、記憶領域であるＦＩＦＯ（Ｆｉｒｓｔ−Ｉｎ−Ｆｉｒｓｔ−Ｏｕｔ）バッファを設け、各画素の特徴量を該当画素のＦＩＦＯバッファにそれぞれ蓄積する。
上記確率密度関数記憶部３２は、全ての画素に対して格納領域を設け、各画素における背景の確率密度関数を、該当画素の格納領域に記憶する。なお、確率密度関数については後述する。
上記関係確率記憶部３３は、図２に示す「空間関係確率」と「時間関係確率」とを記憶する。ここで、図２に示す「注目画素」は、処理の対象となる画素であり、「周辺画素」は、注目画素の近傍に存在する画素である。そして、図２に示す「時刻ｔ」は、現在の時刻を示し、「時刻ｔ−１」は、１つ前の入力画像における過去の時刻を示す。また、「空間関係確率」とは、注目画素の事象（背景又は前景）が起こった時の周辺画素の事象（背景又は前景）の起こる確率、つまり、注目画素の空間方向の近傍に対する事象の関係を表す条件付確率のことを示す。そして、「時間関係確率」とは、１つ前の入力画像における注目画素の事象（背景又は前景）が起こった時の現在の注目画素の事象（背景又は前景）が起こる確率、つまり、注目画素の時間方向の近傍に対する事象の関係を表す条件付確率のことを示す。
上記事後確率記憶部３４は、全ての画素に対して格納領域を設け、背景と前景の事後確率を該当画素の格納領域に記憶する。なお、これら背景と前景の事後確率の初期値は、１／２とする。
上記背景特徴蓄積部３５は、全ての画素に対して記憶領域であるＦＩＦＯバッファを設け、背景と判定された画素の特徴量を、該当画素のＦＩＦＯバッファに蓄積する。
また、上述したデータ処理装置２は、特徴抽出部２１と、生起確率取得部２２と、事後確率算出部２３と、物体判定部２４と、背景傾向変化検知部２５と、確率密度関数推定部２６と、を備える。以下、かかる構成について詳述する。なお、上記データ処理装置２の構成は、当該データ処理装置２に装備された演算装置に、所定のプログラムが組み込まれることで実現できる。但し、上記データ処理装置２の構成は、プログラムが組み込まれることで実現されることに限定されず、回路にて構成されていてもよい。
上記特徴抽出部２１は、画像取得部１で取得された画像（例えば、動画像に含まれる現在画像）の各画素から特徴量を抽出する。そして、抽出された特徴量を、特徴蓄積部３１に蓄積する。ここで、抽出する特徴量の例としては、輝度値、色相、ＲＧＢ（Ｒｅｄ，Ｇｒｅｅｎ ａｎｄ Ｂｌｕｅ）の各値、エッジ強度、オプティカルフローの値、距離画像における距離値、空間フィルタなどによる積分値、などが考えられる。
上記生起確率取得部２２は、特徴抽出部２１で抽出された特徴量と、確率密度関数記憶部３２の中にある該当画素の背景の確率密度関数とを用いて、背景の生起確率を取得する。また、生起確率取得部２２は、前景の生起確率を、前景の確率密度関数が一様に分布しているとし、一様の確率として取得する。例えば、特徴量が輝度値である場合、全ての状態は０〜２５５で表されるので、前景の生起確率は１／２５６とする。
上記事後確率算出部２３は、生起確率取得部２２で取得された背景と前景の生起確率と、関係確率記憶部３３に記憶されている空間関係確率と時間関係確率と、事後確率記憶部３４に記憶されている１つ前の過去の背景と前景の事後確率と、を用い、下記の数式（１）にて、各画素の背景と前景の事後確率を算出する。そして、事後確率算出部２３は、算出した事後確率を、事後確率記憶部３４に記憶する。
但し、
である。
ここで、上記数式内の「ω（ｔ）ａ，ｂ」は、時刻ｔにおけるｂ位置（ｂ＝０：注目画素、ｂ≠０：周辺画素）の事象ａ（ａ＝０：背景、ａ＝１：前景）を示す。
「Ｉｂ」は、時刻ｔにおけるｂ位置（ｂ＝０：注目画素、ｂ≠０：周辺画素）の特徴量を示す。
「ｐ（Ｉ０｜ω（ｔ）ｉ，０）」は、注目画素の背景と前景の生起確率を示す。
「ｐ（Ｉｊ｜ω（ｔ）ｋｊ，ｊ）」は、周辺画素の背景と前景の生起確率を示す。
「Ｐ（ω（ｔ）ｋｊ，ｊ｜ω（ｔ）ｉ，０）」は、空間関係確率を示す。
「Ｐ（ω（ｔ）ｉ，０｜ω（ｔ‐１）ｌ，０）」は、時間関係確率を示す。
「Ｐ（ω（ｔ‐１）ｉ，０）」は、１つ前の入力画像における背景と前景の事前確率であるが、すでに事後確率が分かっているので、ここには１つ前の入力画像における背景と前景の事後確率「Ｐ（ω（ｔ‐１）ｉ，０｜Ｉ０，・・・，Ｉ４）」を用いる。
「ｐ（Ｉ０，・・・，Ｉ４）」は、背景の事後確率「Ｐ（ω（ｔ）０，０｜Ｉ０，・・・，Ｉ４）」を求める際に、数式（１）から「１／ｐ（Ｉ０，・・・，Ｉ４）」を取り除いて算出したものと、前景の事後確率「Ｐ（ω（ｔ）１，０｜Ｉ０，・・・，Ｉ４）」を求める際に、数式（１）から「１／ｐ（Ｉ０，・・・，Ｉ４）」を取り除いて算出したものとを足し合わせたものである。
ここで、画像の空間方向の近傍や時間方向の近傍においては、背景と前景という事象は同じ事象が固まって出現しやすいという性質がある。上記数式（１）は、その性質を示すことができる空間関係確率と時間関係確率が現れるようにベイズの定理を用いて変形したものである。上記性質を満たす為に、空間関係確率「Ｐ（ω（ｔ）ｋｊ，ｊ｜ω（ｔ）ｉ，０）」に関しては、ｋｊ≠ｉ時の確率より、ｋｊ＝ｉ時の確率が大きくなるように設定、つまり、注目画素の事象と周辺画素の事象が同じ場合に確率が大きくなるように設定する。また、時間関係確率「Ｐ（ω（ｔ）ｉ，０｜ω（ｔ‐１）ｌ，０）」に関しても、ｉ≠ｌ時の確率より、ｉ＝ｌ時の確率が大きくなるように設定、つまり、１つ前の過去の入力画像における注目画素の事象と現在の注目画素の事象が同じ場合に確率が大きくなるように設定する。これにより、注目画素の物体判定の精度を空間方向の情報と時間方向の情報で補うことができる。
そして、上記物体判定部２４は、事後確率算出部２３で取得された背景と前景の事後確率を画素毎に比較し、大きい事後確率の事象（背景又は前景）を物体判定の結果とする。また、背景と判定された画素については、該当画素の特徴量を背景特徴蓄積部３５に蓄積する。
上記背景傾向変化検知部２５は、物体判定部２４で取得された物体判定の結果を画素毎に時系列で観察し、前景の出現頻度が高い画素を背景の傾向に変化があった画素として検知する。これは、画素の時系列に対して、通常、背景が数多く出現するという経験則に基づくものである。ここで、前景の出現頻度が高いことを決定する方法としては、例えば、以下の３つが考えられる。（１）前景時にカウンター値を上げ、背景時にカウンター値を下げ、カウンター値がある閾値を越えたら決定する方法（カウンターは０以下にしない）。（２）現在から一定期間の過去を観察し、前景の割合がある閾値を越えたら決定する方法。（３）前景が連続して出現する数をカウントし、それがある閾値を越えたら決定する方法。但し、前景の出現頻度が高いことが決定できれば、どのような方法を用いてもよい。
上記確率密度関数推定部２６は、背景傾向変化検知部２５で得られた検知結果に基づき、各画素の背景の確率密度関数を推定する。具体的に、検知結果で検知されていない画素については、背景の傾向が変化していないので、背景特徴蓄積部３５に蓄積されている背景の特徴量から背景の確率密度関数を推定する。一方、検知結果で検知されている画素については、背景の傾向が変化しているので、初期化を行う必要があり、背景特量蓄積部３５を利用しない。従って、特徴蓄積部３１に蓄積されている特徴量から背景の確率密度関数を推定する。さらに、該当画素について、事後確率記憶部３４の背景と前景の事後確率を１／２に初期化し、特徴蓄積部３１のＦＩＦＯバッファを背景特徴蓄積部３５のＦＩＦＯバッファにコピーして初期化する。なお、確率密度関数の推定方法は、ヒストグラム法、Ｐａｒｚｅｎ推定、ＥＭ（Ｅｘｐｅｃｔａｔｉｏｎ‐Ｍａｘｉｍｉｚａｔｉｏｎ）アルゴリズムなど、確率密度関数を推定できる方法ならどのような方法でも良い。また、確率密度関数の推定に用いる特徴量は、各画素に蓄積された特徴量を用いても良いし、各画素とその周辺の画素に蓄積された特徴量を用いても良い。そして、確率密度関数推定部２６は、推定した各画素の背景の確率密度関数を、確率密度関数記憶部３２に記憶する。
ここで、特徴蓄積部３１と背景特徴蓄積部３５の初期値の設定方法としては、様々な方法が考えられる。例えば、オフライン処理にて、別のデータ処理装置が、画像取得部１が取得した動画像からの複数画像に対して特徴量を抽出し、その予め抽出した特徴量を初期値として設定する方法や、画像取得部１からの画像のうち１フレーム目の画像から特徴抽出部２１が抽出した特徴量を平均値とする正規分布データを初期値として設定する方法などがある。また、確率密度関数記憶部３２の初期値の設定方法としては、上記説明のように初期値が与えられた背景特徴蓄積部３５から背景の確率密度関数を推定し、初期値として設定する方法などが考えられる。この他、画像取得部１からの画像のうち最初の数フレームに対応する画像に対して、特徴抽出部２１が抽出した特徴量を特徴蓄積部３１に蓄積した後、強制的に、特徴蓄積部３１の全てを背景特徴蓄積部３５にコピーし、その背景特徴蓄積部３５から全ての背景の確率密度関数を推定し、その推定結果を確率密度関数記憶部３２の初期値として設定してもよい。
なお、上記説明では、周辺画素として、注目画素の近傍に位置する４つの画素を示したが、注目画素の近傍であれば、いくつ設定しても良い。また、図２においては、４近傍の画素を示しているが、注目画素の近傍であれば、４近傍以外の画素でも良い。
［動作］
次に、図１、図３、図４及び図５を参照して本発明の第１の実施形態に係る物体検出装置の動作について詳細に説明する。
まず、画像取得部１は、カメラ・ビデオ等の動画像から画像を取得する（ステップＳ１）。続いて、特徴抽出部２１は、画像取得部１で取得された画像の各画素から特徴量を抽出し（ステップＳ２）、それら特徴量を特徴蓄積部３１に蓄積する（ステップＳ３）。続いて、生起確率取得部２２は、特徴抽出部２１で抽出された特徴量と、確率密度関数記憶部３２の中にある該当画素の背景の確率密度関数を用いて、背景の生起確率を取得する。さらに、生起確率取得部２２は、前景の生起確率を一様の確率として取得する。そして、上記処理を、全ての画素について行う（ステップＳ４）。
続いて、事後確率算出部２３は、生起確率取得部２２で取得された注目画素及び周辺画素の背景と前景の生起確率と、関係確率記憶部３３に記憶されている空間関係確率と時間関係確率と、事後確率記憶部３４に記憶されている１つ前の過去の注目画素における背景と前景の事後確率と、を用いて、数式（１）から注目画素の背景と前景の事後確率を算出する。そして、事後確率算出部２３は、上記算出処理を、全ての画素について行う（ステップＳ５）。続いて、算出した全ての背景と前景の事後確率を、事後確率記憶部３４に記憶する（ステップＳ６）。そして、物体判定部２４は、算出された背景と前景の事後確率を用いて、該当画素が背景であるか前景であるかを判定する（ステップＳ７）。
次に、上記ステップＳ７の物体判定処理の動作を、図４を参照して詳細に説明する。まず、物体判定部２４は、ある画素において、背景の事後確率と前景の事後確率を比較する（ステップＳ７０１）。そして、背景の事後確率の方が小さい場合は（ステップＳ７０１−Ｎｏ）、その該当画素が前景（物体）であると判定する（ステップＳ７０２）。それ以外の場合は（ステップＳ７０１−Ｙｅｓ）、その該当画素を背景と判定し（ステップＳ７０３）、その該当画素の特徴量を背景特徴蓄積部３５に蓄積する（ステップＳ７０４）。そして、ステップＳ７０２又はステップＳ７０４の処理が終わったら、ステップＳ７０１〜Ｓ７０４までの処理を全ての画素について行ったかを確認し（ステップＳ７０５）、全ての画素について処理が完了するまでステップＳ７０１〜Ｓ７０４までの処理を繰り返す。
続いて、背景傾向変化検知部２５は、上述したステップ７（図４のフローチャート）の処理により、物体判定部２４で取得された物体判定の結果を画素毎に時系列で観測しておき、前景の出現頻度が高い画素を背景の傾向に変化があった画素として検知する（ステップＳ８）。そして、確率密度関数推定部２６は、背景傾向変化検知部２５で得られた検知結果に基づき、各画素の背景の確率密度関数を推定する（ステップＳ９）。
ここで、上記ステップＳ９の動作を、図５を参照して詳細に説明する。まず、確率密度関数推定部２６は、ある画素について、背景傾向変化検知部２５で得られた検知結果を基に背景の傾向が変化しているかを判定する（ステップＳ９０１）。このとき、背景の傾向が変化していない場合には（ステップＳ９０１−Ｎｏ）、背景特徴蓄積部３５に蓄積されている背景の特徴量から背景の確率密度関数を推定する（ステップＳ９０２）。一方、背景の傾向が変化している場合には（ステップＳ９０１−Ｙｅｓ）、初期化を行う為、特徴蓄積部３１に蓄積されている特徴量から背景の確率密度関数を推定する（ステップＳ９０３）。このとき、さらに該当画素について、事後確率記憶部３４の背景と前景の事後確率を１／２に初期化し（ステップＳ９０４）、特徴蓄積部３１のＦＩＦＯバッファを背景特徴蓄積部３５のＦＩＦＯバッファにコピーして初期化する（ステップＳ９０５）。そして、上記ステップＳ９０２又はステップＳ９０５の処理が終わると、推定された背景の確率密度関数を確率密度関数記憶部３２に記憶する（ステップＳ９０６）。その後、ステップＳ９０１〜ステップＳ９０６までの処理を全ての画素について行ったかを確認し（ステップＳ９０７）、全ての画素について処理が完了するまで、ステップＳ９０１〜ステップＳ９０６までの処理を繰り返す。
以上のように、本実施形態においては、画像内の注目画素の空間方向と時間方向の近傍において、同じ事象（背景又は前景）が固まって出現しやすいという性質を利用した確率モデルを用いて物体を検出している。従って、注目画素が「通常の背景」の場合には、注目画素の生起確率、その周辺画素の生起確率、１つ前の過去の入力画像における注目画素の事後確率、どれも背景の確率が高くなり、背景と判定される。一方で、「背景と類似する画素値を持つ物体」の場合は、注目画素の背景の生起確率は高くなるが、その周辺画素の生起確率と１つ前の入力画像における注目画素の事後確率は、物体の中に存在することなどから背景の確率が低くなり、通常の背景と区別され前景と判定される。これにより、背景と類似する画素値を持つ物体を、通常の背景と区別することができ、物体検出の性能の向上を図ることができる。
また、本実施形態においては、画像内の注目画素の空間方向と時間方向の近傍において、上述したように、同じ事象（背景又は前景）が固まって出現しやすいという性質を利用した確率モデルを用いて物体を検出しているため、さらに以下の効果を有する。つまり、画像中の「通常の前景」の場合には、注目画素の生起確率、その周辺画素の生起確率、１つ前の入力画像における注目画素の事後確率、どれも背景の確率が低くなり、前景と判定される。一方で、画像中の「背景の一部分で、一瞬の間、背景の傾向が変化した場合に誤検出される背景の小領域」の場合は、注目画素の背景の生起確率は低くなるが、その周辺画素の生起確率と１つ前の入力画像における注目画素の事後確率は、領域のサイズが小さく背景に接している部分が多いことや領域の発生時間が短いことなどから背景の確率が高くなり、通常の前景と区別され背景と判定される。これにより、上記説明に示す背景の小領域を、通常の前景と区別し、誤検出を抑えることができる。
さらに、本実施形態では、画素の時系列に対して、通常、背景が数多く出現するという経験則に基づき、前景の出現頻度が高い画素を背景の傾向に変化があった画素として検知し、該当画素の特徴蓄積部３１から逐次蓄積された特徴量を取り出して背景の確率密度関数を推定している。これにより、車両が長期的に駐車された場合や風向きの変化により木の揺れ方が大きく変わった場合などを背景にすることができる。
＜実施形態２＞
次に、本発明の第２の実施形態に係る物体検出装置について、図面を参照して詳細に説明する。
図６を参照すると、本発明の第２の実施形態に係る物体検出装置は、図１に示された第１の実施形態におけるデータ処理装置２に関係確率算出部２７を加えたデータ処理装置２００と、図１に示された第１の実施形態における記憶装置３から関係確率記憶部３３を削除した記憶装置３００とを備える。つまり、上述した第１の実施形態では、空間関係確率と時間関係確率を固定としているが、以下に説明するように、関係確率算出部２７を用いて可変とすることもできる。
例えば、注目画素が背景と判定された時、周辺画素が背景と判定される数ｎ１と前景と判定される数ｎ２を逐次カウントする。そして、カウントした値を用いて、注目画素が背景であった時の周辺画素が背景である空間関係確率ｎ１／（ｎ１＋ｎ２）と、注目画素が背景であった時の周辺画素が前景である空間関係確率ｎ２／（ｎ１＋ｎ２）と、を算出する。一方、注目画素が前景と判定された時、周辺確率が背景と判定される数ｎ３と前景と判定される数ｎ４を逐次カウントする。そして、カウントした値を用いて、注目画素が前景であった時の周辺画素が背景である空間関係確率ｎ３／（ｎ３＋ｎ４）と、注目画素が前景であった時の周辺画素が前景である空間関係確率ｎ４／（ｎ３＋ｎ４）と、を算出する。このようにして算出された値により、空間関係確率を可変的に設定する。
また、１つ前の過去の注目画素が背景と判定された時、現在の注目画素が背景と判定される数ｎ５と前景と判定される数ｎ６を逐次カウントする。そして、カウントした値を用いて、１つ前の過去の注目画素が背景であった時の現在の注目画素が背景である時間関係確率ｎ５／（ｎ５＋ｎ６）と、１つ前の過去の注目画素が背景であった時の現在の注目画素が前景である時間関係確率ｎ６／（ｎ５＋ｎ６）と、を算出する。一方、１つ前の過去の注目画素が前景と判定された時、現在の注目画素が背景と判定される数ｎ７と前景と判定される数ｎ８を逐次カウントする。そして、カウントした値を用いて、１つ前の過去の注目画素が前景であった時の現在の注目画素が背景である時間関係確率ｎ７／（ｎ７＋ｎ８）と、１つ前の過去の注目画素が前景であった時の現在の注目画素が前景である時間関係確率ｎ８／（ｎ７＋ｎ８）と、を算出する。このようにして算出された値により、時間関係確率を可変的に設定する。
さらに、上述した空間関係確率と時間関係確率との算出には、次の条件をつける。例えば、注目画素の事象と周辺画素の事象が同じになる空間関係確率は、１／２より下げない（１／２以上とする）こととする。また、１つ前の過去の注目画素の事象と現在の注目画素の事象が同じになる時間関係確率は、１／２より下げない（１／２以上とする）こととする。
以上のように、本実施形態においても、上記実施形態１と同様に、物体の誤検出を抑制すると共に未検出を改善して、検出精度の向上を図ることができる。そして、特に、本実施形態では、物体検出対象となる画像の特性に応じて算出され設定された空間関係確率及び時間関係確率を用いて、上述同様に事後確率を算出するため、より物体検出精度の向上を図ることができる。
＜実施形態３＞
次に、本発明の第３の実施形態に係る物体検出装置について、図７を参照して説明する。
図７を参照すると、本発明の第３の実施形態に係る物体検出装置においては、第１の実施形態と同様な画像取得部１、及び、特徴蓄積部３１と確率密度関数記憶部３２と関係確率記憶部３３と事後確率記憶部３４と背景特徴蓄積部３５とを有する記憶装置３が、コンピュータ１００に接続されている。また、物体検出用プログラム１０１を記憶するコンピュータ可読記憶媒体１０２がコンピュータ１００に接続されている。
上記コンピュータ可読記憶媒体１０２は、磁気ディスクや半導体メモリ等で構成される。そして、この媒体１０２に記憶された物体検出用プログラム１０１は、コンピュータ１００の立ち上げ時などに、コンピュータ１００に読み取られ、そのコンピュータ１００の動作を制御することにより、そのコンピュータ１００を上述した第１の実施形態におけるデータ処理装置２内の特徴抽出部２１、生起確率取得部２２、事後確率算出部２３、物体判定部２４、背景傾向変化検知部２５、及び確率密度関数推定部２６の各々として機能させ、図３乃至図５に示される処理を行わせる。
本実施形態では、第１の実施形態にかかる物体検出装置をコンピュータとプログラムとで実現したが、第２の実施形態にかかる物体検出装置をコンピュータとプログラムとで実現することも可能である。
なお、上記各実施形態では、特徴量として特徴抽出部２１から得られた輝度値、色相、ＲＧＢの各値、エッジ強度、オプティカルフローの値、距離画像における距離値、空間フィルタなどによる積分値、などの１次元の特徴量を用いていると説明した。しかし、この１次元の特徴量の代わりに、これらを組み合わせた２次元以上の特徴ベクトルを用いることもできる。
また、上記各実施形態では、画素を単位とした特徴量を用いていると説明した。しかし、この画素を単位とした特徴量の代わりに、画面上に局所領域を設定し、そこから得られるブロックを単位とした特徴量及び特徴ベクトルを用いることもできる。画面上のブロックの設定は、重なるように並べた設定でも重ならないように並べた設定でも、どちらでもよい。
なお、上記各実施形態では、生起確率取得部２２で取得する前景の生起確率を、前景の確率密度関数が一様に分布しているとし、一様の確率として取得していると説明した。しかし、検出したい対象物体が決められているなどの場合は、対象物体を予め分析することで前景の確率密度関数を推定しておき、この推定した前景の確率密度関数と、特徴抽出部２１で抽出された特徴量を用いて、前景の生起確率を取得することもできる。
また、上記実施形態に係る物体検出装置は、一例として、以下のような構成を採る。つまり、物体検出装置は、事後確率算出部と、物体判定部とを備える。事後確率算出部は、入力画像の各画素から抽出された特徴量と確率密度関数とを用いて取得する背景と前景の生起確率と、上記入力画像の１つ前の入力画像における背景と前景の事後確率と、注目画素の空間方向の近傍に対する事象（背景又は前景）の関係と時間方向の近傍に対する事象の関係を示す条件付確率とを用い、注目画素の空間方向と時間方向の近傍において同じ事象が出現する性質に基づいて設定された確率モデルから背景と前景の事後確率を算出する。そして、物体判定部は、背景と前景の事後確率の比較から物体を判定する。
この物体検出装置は、注目画素の空間方向の近傍に対する事象の関係と注目画素の時間方向の近傍に対する事象の関係を用い、背景と類似する画素値を持つ物体部分を通常の背景と区別し、背景の一部分で、一瞬の間、背景の傾向が変化した場合に誤検出される背景の小領域を通常の前景と区別することができる。その結果、物体検出の性能が向上する。
なお、上記特徴量が特徴抽出部で抽出され、上記確率密度関数が確率密度関数記憶部の中にあることが好ましい。また、上記事後確率が事後確率記憶部に記憶され、上記条件付確率が関係確率記憶部に記憶されることが好ましい。
本発明によれば、環境変動や照明変動などを持つ背景の中から対象物体を検出する際に、背景と類似する画素値を持つ物体を通常の背景と区別し、背景の一部分で、一瞬の間、背景の傾向が変化した場合に誤検出される背景の小領域を通常の前景と区別する物体検出装置や、物体検出装置をコンピュータに実現するためのプログラムといった用途に適応できる。また、カメラ・蓄積映像から物体検出を必要とする監視分野での侵入者検出・不審者検出・不審物の置き去り検出・荷物の持ち去り検出・ゲートの共連れ検出・混雑及び行列検出を行う装置・機能といった用途に適応できる。さらに、カメラ・蓄積映像からの物体検出位置を入力とする入力インタフェースといった用途に適用できる。この他、物体検出をトリガ・キーとするビデオ／映像検索装置・機能といった用途に適用できる。
＜実施形態４＞
次に、本発明の第４の実施形態を、図８を参照して説明する。図８は、本実施形態における物体検出装置の構成を示す機能ブロック図である。なお、本実施形態では、上述した物体検出装置の概略を説明する。
図８に示すように、本実施形態における物体検出装置は、
入力画像の各画素から抽出された特徴量と確率密度関数とを用いて取得する背景と前景の生起確率と、上記入力画像の１つ前の入力画像における背景と前景の事後確率と、注目画素の空間方向の近傍に対する事象（背景又は前景）の関係と時間方向の近傍に対する事象の関係を示す条件付確率と、を用い、注目画素の空間方向と時間方向の近傍において同じ事象が出現する性質に基づいて設定された確率モデルから背景と前景の事後確率を算出する事後確率算出部と、
背景と前景の事後確率の比較から物体を判定する物体判定部と、
を備えている。
そして、上記物体検出装置では、
上記条件付確率は、空間方向の近傍において注目画素の事象（背景又は前景）が起こった時の周辺画素の事象の起こる確率、及び、時間方向の近傍において１つ前の入力画像における注目画素の事象が起こった時の現在の注目画素の事象が起こる確率である、
という構成を採る。
また、上記物体検出装置では、
上記条件付確率は、空間方向の近傍において、注目画素の事象と周辺画素の事象が同じ場合に異なる場合より高く設定し、時間方向の近傍において、１つ前の入力画像における注目画素の事象と現在の注目画素の事象が同じ場合に異なる場合より高く設定する、
という構成を採る。
また、上記物体検出装置では、
上記条件付確率は、上記物体判定部の判定の結果から、注目画素が背景又は前景と判定された時の周辺画素が背景又は前景と判定されるという全４つの場合と、１つ前の入力画像における注目画素が背景又は前景と判定された時の現在の注目画素が背景又は前景と判定されるという全４つの場合について数を逐次数えておき、それらを用いて更新される、
という構成を採る。
また、上記物体検出装置では、
上記条件付確率は、空間方向の近傍において、注目画素の事象と周辺画素の事象が同じ場合に１／２より下げないこととし、時間方向の近傍において、１つ前の入力画像における注目画素の事象と現在の注目画素の事象が同じ場合に１／２より下げない、
という構成を採る。
また、上記物体検出装置では、
上記確率密度関数の中で背景の確率密度関数は、上記物体判定部の判定の結果を時系列で観測して前景の出現頻度が高い場合、背景の傾向に変化があったとして逐次蓄積された上記特徴量から推定され、低い場合、背景の傾向に変化がなかったとして上記物体判定部で背景と判定された時に蓄積された特徴量から推定される、
という構成を採る。
また、上記物体検出装置では、
上記特徴量は、１次元の特徴量を複数組み合わせた２次元以上の特徴ベクトルである、
という構成を採る。
また、上記物体検出装置では、
上記特徴量は、画面上に局所領域を設定し、そこから得られるブロックを単位とした特徴量及び特徴ベクトルである、
という構成を採る。
また、上記物体検出装置では、
上記確率密度関数の中で前景の確率密度関数は、一様に分布している、
という構成を採る。
また、上記物体検出装置では、
上記確率密度関数の中で前景の確率密度関数は、検出したい対象物体を予め分析して推定した確率密度関数である、
という構成を採る。
また、上記物体検出装置では、
上記物体判定部は、上記事後確率算出部で取得された背景と前景の事後確率を比較して、背景の事後確率が大きい場合、背景と判定し、前景の事後確率が大きい場合、前景と判定する、
という構成を採る。
そして、本実施形態における物体検出装置は、具体的には、
動画像に含まれる現在画像の注目画素における前景の事後確率及び背景の事後確率としての注目画素前景事後確率及び注目画素背景事後確率を算出する事後確率算出部と、
上記注目画素前景事後確率と上記注目画素背景事後確率の比較に基づいて物体を判定する物体判定部と
を具備する。
そして、上記事後確率算出部は、
上記注目画素における背景の生起確率としての注目画素背景生起確率と、
上記現在画像の画素であって、上記注目画素の近傍に配置された近傍画素における背景の生起確率としての近傍画素背景生起確率と、
上記注目画素が背景の場合に上記近傍画素が背景となる確率を示す第１空間関係確率と、
上記近傍画素における前景の生起確率としての近傍画素前景生起確率と、
上記注目画素が背景の場合に上記近傍画素が前景となる確率を示す第２空間関係確率と、
上記動画像に含まれる過去画像の画素であって、上記注目画素に対応する過去画素における背景の事後確率としての過去画素背景事後確率と、
上記過去画素が背景の場合に上記注目画素が背景となる確率を示す第１時間関係確率と、
上記過去画素における前景の事後確率としての過去画素前景事後確率と、
上記過去画素が前景の場合に上記注目画素が背景となる確率を示す第２時間関係確率と
に基づいて、上記注目画素背景事後確率を算出する。
さらに、上記事後確率算出部は、
上記注目画素における前景の生起確率としての注目画素前景生起確率と、
上記近傍画素背景生起確率と、
上記注目画素が前景の場合に上記近傍画素が背景となる確率を示す第３空間関係確率と、
上記近傍画素前景生起確率と、
上記注目画素が前景の場合に上記近傍画素が前景となる確率を示す第４空間関係確率と、
上記過去画素背景事後確率と、
上記過去画素が背景の場合に上記注目画素が前景となる確率を示す第３時間関係確率と、
上記過去画素前景事後確率と、
上記過去画素が前景の場合に上記注目画素が前景となる確率を示す第４時間関係確率と
に基づいて、上記注目画素前景事後確率を算出する、という構成を採る。
このとき、
上記第１空間関係確率は、上記第２空間関係確率より大きく、
上記第４空間関係確率は、上記第３空間関係確率より大きく、
上記第１時間関係確率は、上記第３時間関係確率より大きく、
上記第４時間関係確率は、上記第２時間関係確率より大きい、
という構成を採る。
また、上記物体検出装置では、
関係確率算出部を更に具備し、
上記第１空間関係確率と上記第２空間関係確率との和が１であり、
上記第４空間関係確率と上記第３空間関係確率との和が１であり、
上記第１時間関係確率と上記第３時間関係確率との和が１であり、
上記第４時間関係確率と上記第２時間関係確率との和が１である、
という構成を採る。
そして、さらに、上記関係確率算出部は、
第１空間関係確率値、第４空間関係確率値、第１時間関係確率値、及び第４時間関係確率値を算出し、
上記第１空間関係確率値が１／２以上のとき、上記第１空間関係確率を上記第１空間関係確率値に設定し、
上記第１空間関係確率値が１／２より小さいとき、上記第１空間関係確率を１／２以上の値に設定し、
上記第４空間関係確率値が１／２以上のとき、上記第４空間関係確率を上記第４空間関係確率値に設定し、
上記第４空間関係確率値が１／２より小さいとき、上記第４空間関係確率を１／２以上の値に設定し、
上記第１時間関係確率値が１／２以上のとき、上記第１時間関係確率を上記第１時間関係確率値に設定し、
上記第１時間関係確率値が１／２より小さいとき、上記第１時間関係確率を１／２以上の値に設定し、
上記第４時間関係確率値が１／２以上のとき、上記第４時間関係確率を上記第４時間関係確率値に設定し、
上記第４時間関係確率値が１／２より小さいとき、上記第４時間関係確率を１／２以上の値に設定する、
という構成を採る。
また、上記物体検出装置では、
生起確率取得部を更に具備し、
上記生起確率取得部は、
上記注目画素の特徴量に基づいて上記注目画素背景生起確率及び上記注目画素前景生起確率を取得し、
上記近傍画素の特徴量に基づいて上記近傍画素背景生起確率及び上記近傍画素前景生起確率を取得する、
という構成を採る。
なお、上記物体検出装置の具体的な構成は、上述した各実施形態に開示した物体検出装置により実現されている。特に、上記各確率については、実施形態１の数式（１）〜（３）及び当該数式に関する記述の通り、実現されている。
また、上述した物体検出装置は、コンピュータに、プログラムが組み込まれることで実現できる。具体的に、本発明の他の形態であるプログラムは、
コンピュータに、
入力画像の各画素から抽出された特徴量と確率密度関数とを用いて取得する背景と前景の生起確率と、上記入力画像の１つ前の入力画像における背景と前景の事後確率と、注目画素の空間方向の近傍に対する事象（背景又は前景）の関係と時間方向の近傍に対する事象の関係を示す条件付確率と、を用い、注目画素の空間方向と時間方向の近傍において同じ事象が出現する性質に基づいて設定された確率モデルから背景と前景の事後確率を算出する事後確率算出部と、
背景と前景の事後確率の比較から物体を判定する物体判定部と、
を実現させる、という構成を採る。
また、上記プログラムでは、
上記条件付確率は、空間方向の近傍において注目画素の事象（背景又は前景）が起こった時の周辺画素の事象の起こる確率、及び、時間方向の近傍において１つ前の入力画像における注目画素の事象が起こった時の現在の注目画素の事象が起こる確率である、
という構成を採る。
また、上述した物体検出装置が作動することにより実行される、本発明の他の形態である物体検出方法は、
入力画像の各画素から抽出された特徴量と確率密度関数とを用いて取得する背景と前景の生起確率と、上記入力画像の１つ前の入力画像における背景と前景の事後確率と、注目画素の空間方向の近傍に対する事象（背景又は前景）の関係と時間方向の近傍に対する事象の関係を示す条件付確率と、を用い、注目画素の空間方向と時間方向の近傍において同じ事象が出現する性質に基づいて設定された確率モデルから背景と前景の事後確率を算出し、
背景と前景の事後確率の比較から物体を判定する、
という構成を採る。
また、上記物体検出方法では、
上記条件付確率は、空間方向の近傍において注目画素の事象（背景又は前景）が起こった時の周辺画素の事象の起こる確率、及び、時間方向の近傍において１つ前の入力画像における注目画素の事象が起こった時の現在の注目画素の事象が起こる確率である、
という構成を採る。
また、本発明の他の態様に係る記載の物体検出方法は、
上記条件付確率は、空間方向の近傍において、注目画素の事象と周辺画素の事象が同じ場合に異なる場合より高く設定し、時間方向の近傍において、１つ前の入力画像における注目画素の事象と現在の注目画素の事象が同じ場合に異なる場合より高く設定する、
という構成を採る。
また、本発明の他の態様に係る記載の物体検出方法は、
上記条件付確率は、上記判定による結果から、注目画素が背景又は前景と判定された時の周辺画素が背景又は前景と判定されるという全４つの場合と、１つ前の入力画像における注目画素が背景又は前景と判定された時の現在の注目画素が背景又は前景と判定されるという全４つの場合について数を逐次数えておき、それらを用いて更新される、
という構成を採る。
また、上記物体検出方法では、
上記条件付確率は、空間方向の近傍において、注目画素の事象と周辺画素の事象が同じ場合に１／２より下げないこととし、時間方向の近傍において、１つ前の入力画像における注目画素の事象と現在の注目画素の事象が同じ場合に１／２より下げないこととする、
という構成を採る。
また、上記物体検出方法では、
上記確率密度関数の中で背景の確率密度関数は、上記判定の結果を時系列で観測して前景の出現頻度が高い場合、背景の傾向に変化があったとして逐次蓄積された上記特徴量から推定され、低い場合、背景の傾向に変化がなかったとして上記判定にて背景と判定された時に蓄積された特徴量から推定される、
という構成を採る。
また、上記物体検出方法では、
上記特徴量は、１次元の特徴量を複数組み合わせた２次元以上の特徴ベクトルである、という構成を採る。
また、上記物体検出方法では、
上記特徴量は、画面上に局所領域を設定し、そこから得られるブロックを単位とした特徴量及び特徴ベクトルである、
という構成を採る。
また、上記物体検出方法では、
上記確率密度関数の中で前景の確率密度関数は、一様に分布している、
という構成を採る。
また、上記物体検出方法では、
上記確率密度関数の中で前景の確率密度関数は、検出したい対象物体を予め分析して推定した確率密度関数である、
という構成を採る。
また、上記物体検出方法では、
上記判定時に、上記事後確率の算出時に取得された背景と前景の事後確率を比較して、背景の事後確率が大きい場合、背景と判定し、前景の事後確率が大きい場合、前景と判定する、
という構成を採る。
上述した構成を有する、プログラム、又は、物体検出方法、の発明であっても、上記物体検出装置と同様の作用を有するために、上述した本発明の目的を達成することができる。
以上、上記各実施形態を参照して本願発明を説明したが、本願発明は、上述した実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明の範囲内で当業者が理解しうる様々な変更をすることができる。
なお、本発明は、日本国にて２００８年４月９日に特許出願された特願２００８−１０１０９７の特許出願に基づく優先権主張の利益を享受するものであり、当該特許出願に記載された内容は、全て本明細書に含まれるものとする。
１ 画像取得部
２ データ処理装置
３ 記憶装置
２１ 特徴抽出部
２２ 生起確率取得部
２３ 事後確率算出部
２４ 物体判定部
２５ 背景傾向変化検知部
２６ 確率密度関数推定部
２７ 関係確率算出部
３１ 特徴蓄積部
３２ 確率密度関数記憶部
３３ 関係確率記憶部
３４ 事後確率記憶部
３５ 背景特徴蓄積部
１００ コンピュータ
１０１ 物体検出用プログラム
１０２ コンピュータ可読記憶媒体
２００ データ処理装置
３００ 記憶装置
４００ 物体検出装置
４０１ 事後確率算出部
４０２ 物体判定部

Claims (27)

  1. 入力画像の各画素から抽出された特徴量と確率密度関数とを用いて取得する背景と前景の生起確率と、前記入力画像の１つ前の入力画像における背景と前景の事後確率と、注目画素の空間方向の近傍に対する事象（背景又は前景）の関係と時間方向の近傍に対する事象の関係を示す条件付確率と、を用い、注目画素の空間方向と時間方向の近傍において同じ事象が出現する性質に基づいて設定された確率モデルから背景と前景の事後確率を算出する事後確率算出部と、
    背景と前景の事後確率の比較から物体を判定する物体判定部と、
    を備えたことを特徴とする物体検出装置。
  2. 前記条件付確率は、空間方向の近傍において注目画素の事象（背景又は前景）が起こった時の周辺画素の事象の起こる確率、及び、時間方向の近傍において１つ前の入力画像における注目画素の事象が起こった時の現在の注目画素の事象が起こる確率である、
    ことを特徴とする請求の範囲１記載の物体検出装置。
  3. 前記条件付確率は、空間方向の近傍において、注目画素の事象と周辺画素の事象が同じ場合に異なる場合より高く設定し、時間方向の近傍において、１つ前の入力画像における注目画素の事象と現在の注目画素の事象が同じ場合に異なる場合より高く設定する、
    ことを特徴とする請求の範囲２記載の物体検出装置。
  4. 前記条件付確率は、前記物体判定部の判定の結果から、注目画素が背景又は前景と判定された時の周辺画素が背景又は前景と判定されるという全４つの場合と、１つ前の入力画像における注目画素が背景又は前景と判定された時の現在の注目画素が背景又は前景と判定されるという全４つの場合について数を逐次数えておき、それらを用いて更新される、
    ことを特徴とする請求の範囲２記載の物体検出装置。
  5. 前記条件付確率は、空間方向の近傍において、注目画素の事象と周辺画素の事象が同じ場合に１／２より下げないこととし、時間方向の近傍において、１つ前の入力画像における注目画素の事象と現在の注目画素の事象が同じ場合に１／２より下げない、
    ことを特徴とする請求の範囲４記載の物体検出装置。
  6. 前記確率密度関数の中で背景の確率密度関数は、前記物体判定部の判定の結果を時系列で観測して前景の出現頻度が高い場合、背景の傾向に変化があったとして逐次蓄積された前記特徴量から推定され、低い場合、背景の傾向に変化がなかったとして前記物体判定部で背景と判定された時に蓄積された特徴量から推定される、
    ことを特徴とする請求の範囲１乃至５の何れかに記載の物体検出装置。
  7. 前記特徴量は、１次元の特徴量を複数組み合わせた２次元以上の特徴ベクトルである、
    ことを特徴とする請求の範囲１乃至６の何れかに記載の物体検出装置。
  8. 前記特徴量は、画面上に局所領域を設定し、そこから得られるブロックを単位とした特徴量及び特徴ベクトルである、
    ことを特徴とする請求の範囲１乃至７の何れかに記載の物体検出装置。
  9. 前記確率密度関数の中で前景の確率密度関数は、一様に分布している、
    ことを特徴とする請求の範囲１乃至８の何れかに記載の物体検出装置。
  10. 前記確率密度関数の中で前景の確率密度関数は、検出したい対象物体を予め分析して推定した確率密度関数である、
    ことを特徴とする請求の範囲１乃至８の何れかに記載の物体検出装置。
  11. 前記物体判定部は、前記事後確率算出部で取得された背景と前景の事後確率を比較して、背景の事後確率が大きい場合、背景と判定し、前景の事後確率が大きい場合、前景と判定する、
    ことを特徴とする請求の範囲１乃至１０の何れかに記載の物体検出装置。
  12. 動画像に含まれる現在画像の注目画素における前景の事後確率及び背景の事後確率としての注目画素前景事後確率及び注目画素背景事後確率を算出する事後確率算出部と、
    前記注目画素前景事後確率と前記注目画素背景事後確率の比較に基づいて物体を判定する物体判定部と
    を具備し、
    前記事後確率算出部は、
    前記注目画素における背景の生起確率としての注目画素背景生起確率と、
    前記現在画像の画素であって、前記注目画素の近傍に配置された近傍画素における背景の生起確率としての近傍画素背景生起確率と、
    前記注目画素が背景の場合に前記近傍画素が背景となる確率を示す第１空間関係確率と、
    前記近傍画素における前景の生起確率としての近傍画素前景生起確率と、
    前記注目画素が背景の場合に前記近傍画素が前景となる確率を示す第２空間関係確率と、
    前記動画像に含まれる過去画像の画素であって、前記注目画素に対応する過去画素における背景の事後確率としての過去画素背景事後確率と、
    前記過去画素が背景の場合に前記注目画素が背景となる確率を示す第１時間関係確率と、
    前記過去画素における前景の事後確率としての過去画素前景事後確率と、
    前記過去画素が前景の場合に前記注目画素が背景となる確率を示す第２時間関係確率と
    に基づいて、前記注目画素背景事後確率を算出し、
    前記注目画素における前景の生起確率としての注目画素前景生起確率と、
    前記近傍画素背景生起確率と、
    前記注目画素が前景の場合に前記近傍画素が背景となる確率を示す第３空間関係確率と、
    前記近傍画素前景生起確率と、
    前記注目画素が前景の場合に前記近傍画素が前景となる確率を示す第４空間関係確率と、
    前記過去画素背景事後確率と、
    前記過去画素が背景の場合に前記注目画素が前景となる確率を示す第３時間関係確率と、
    前記過去画素前景事後確率と、
    前記過去画素が前景の場合に前記注目画素が前景となる確率を示す第４時間関係確率と
    に基づいて、前記注目画素前景事後確率を算出し、
    前記第１空間関係確率は、前記第２空間関係確率より大きく、
    前記第４空間関係確率は、前記第３空間関係確率より大きく、
    前記第１時間関係確率は、前記第３時間関係確率より大きく、
    前記第４時間関係確率は、前記第２時間関係確率より大きい、
    物体検出装置。
  13. 関係確率算出部を更に具備し、
    前記第１空間関係確率と前記第２空間関係確率との和が１であり、
    前記第４空間関係確率と前記第３空間関係確率との和が１であり、
    前記第１時間関係確率と前記第３時間関係確率との和が１であり、
    前記第４時間関係確率と前記第２時間関係確率との和が１であり、
    前記関係確率算出部は、
    第１空間関係確率値、第４空間関係確率値、第１時間関係確率値、及び第４時間関係確率値を算出し、
    前記第１空間関係確率値が１／２以上のとき、前記第１空間関係確率を前記第１空間関係確率値に設定し、
    前記第１空間関係確率値が１／２より小さいとき、前記第１空間関係確率を１／２以上の値に設定し、
    前記第４空間関係確率値が１／２以上のとき、前記第４空間関係確率を前記第４空間関係確率値に設定し、
    前記第４空間関係確率値が１／２より小さいとき、前記第４空間関係確率を１／２以上の値に設定し、
    前記第１時間関係確率値が１／２以上のとき、前記第１時間関係確率を前記第１時間関係確率値に設定し、
    前記第１時間関係確率値が１／２より小さいとき、前記第１時間関係確率を１／２以上の値に設定し、
    前記第４時間関係確率値が１／２以上のとき、前記第４時間関係確率を前記第４時間関係確率値に設定し、
    前記第４時間関係確率値が１／２より小さいとき、前記第４時間関係確率を１／２以上の値に設定する、
    請求の範囲１２記載の物体検出装置。
  14. 生起確率取得部を更に具備し、
    前記生起確率取得部は、
    前記注目画素の特徴量に基づいて前記注目画素背景生起確率及び前記注目画素前景生起確率を取得し、
    前記近傍画素の特徴量に基づいて前記近傍画素背景生起確率及び前記近傍画素前景生起確率を取得する、
    請求の範囲１２又は１３記載の物体検出装置。
  15. コンピュータに、
    入力画像の各画素から抽出された特徴量と確率密度関数とを用いて取得する背景と前景の生起確率と、前記入力画像の１つ前の入力画像における背景と前景の事後確率と、注目画素の空間方向の近傍に対する事象（背景又は前景）の関係と時間方向の近傍に対する事象の関係を示す条件付確率と、を用い、注目画素の空間方向と時間方向の近傍において同じ事象が出現する性質に基づいて設定された確率モデルから背景と前景の事後確率を算出する事後確率算出部と、
    背景と前景の事後確率の比較から物体を判定する物体判定部と、
    を実現させるためのプログラム。
  16. 前記条件付確率は、空間方向の近傍において注目画素の事象（背景又は前景）が起こった時の周辺画素の事象の起こる確率、及び、時間方向の近傍において１つ前の入力画像における注目画素の事象が起こった時の現在の注目画素の事象が起こる確率である、
    ことを特徴とする請求の範囲１５記載のプログラム。
  17. 入力画像の各画素から抽出された特徴量と確率密度関数とを用いて取得する背景と前景の生起確率と、前記入力画像の１つ前の入力画像における背景と前景の事後確率と、注目画素の空間方向の近傍に対する事象（背景又は前景）の関係と時間方向の近傍に対する事象の関係を示す条件付確率と、を用い、注目画素の空間方向と時間方向の近傍において同じ事象が出現する性質に基づいて設定された確率モデルから背景と前景の事後確率を算出し、
    背景と前景の事後確率の比較から物体を判定する、
    物体検出方法。
  18. 前記条件付確率は、空間方向の近傍において注目画素の事象（背景又は前景）が起こった時の周辺画素の事象の起こる確率、及び、時間方向の近傍において１つ前の入力画像における注目画素の事象が起こった時の現在の注目画素の事象が起こる確率である、
    請求の範囲１７記載の物体検出方法。
  19. 前記条件付確率は、空間方向の近傍において、注目画素の事象と周辺画素の事象が同じ場合に異なる場合より高く設定し、時間方向の近傍において、１つ前の入力画像における注目画素の事象と現在の注目画素の事象が同じ場合に異なる場合より高く設定する、
    請求の範囲１８記載の物体検出方法。
  20. 前記条件付確率は、前記判定による結果から、注目画素が背景又は前景と判定された時の周辺画素が背景又は前景と判定されるという全４つの場合と、１つ前の入力画像における注目画素が背景又は前景と判定された時の現在の注目画素が背景又は前景と判定されるという全４つの場合について数を逐次数えておき、それらを用いて更新される、
    請求の範囲１８記載の物体検出方法。
  21. 前記条件付確率は、空間方向の近傍において、注目画素の事象と周辺画素の事象が同じ場合に１／２より下げないこととし、時間方向の近傍において、１つ前の入力画像における注目画素の事象と現在の注目画素の事象が同じ場合に１／２より下げないこととする、
    請求の範囲２０の物体検出方法。
  22. 前記確率密度関数の中で背景の確率密度関数は、前記判定の結果を時系列で観測して前景の出現頻度が高い場合、背景の傾向に変化があったとして逐次蓄積された前記特徴量から推定され、低い場合、背景の傾向に変化がなかったとして前記判定にて背景と判定された時に蓄積された特徴量から推定される、
    請求の範囲１７乃至２１の何れかに記載の物体検出方法。
  23. 前記特徴量は、１次元の特徴量を複数組み合わせた２次元以上の特徴ベクトルである、請求の範囲１７乃至２１の何れかに記載の物体検出方法。
  24. 前記特徴量は、画面上に局所領域を設定し、そこから得られるブロックを単位とした特徴量及び特徴ベクトルである、
    請求の範囲１７乃至２３の何れかに記載の物体検出方法。
  25. 前記確率密度関数の中で前景の確率密度関数は、一様に分布している、
    請求の範囲１７乃至２４の何れかに記載の物体検出方法。
  26. 前記確率密度関数の中で前景の確率密度関数は、検出したい対象物体を予め分析して推定した確率密度関数である、
    請求の範囲１７乃至２４の何れかに記載の物体検出方法。
  27. 前記判定時に、前記事後確率の算出時に取得された背景と前景の事後確率を比較して、背景の事後確率が大きい場合、背景と判定し、前景の事後確率が大きい場合、前景と判定する、
    請求の範囲１７乃至２６の何れかに記載の物体検出方法。
JP2010507144A 2008-04-09 2009-04-06 物体検出装置 Active JP5360052B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010507144A JP5360052B2 (ja) 2008-04-09 2009-04-06 物体検出装置

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2008101097 2008-04-09
JP2008101097 2008-04-09
JP2010507144A JP5360052B2 (ja) 2008-04-09 2009-04-06 物体検出装置
PCT/JP2009/001584 WO2009125569A1 (ja) 2008-04-09 2009-04-06 物体検出装置

Publications (2)

Publication Number Publication Date
JPWO2009125569A1 JPWO2009125569A1 (ja) 2011-07-28
JP5360052B2 true JP5360052B2 (ja) 2013-12-04

Family

ID=41161706

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010507144A Active JP5360052B2 (ja) 2008-04-09 2009-04-06 物体検出装置

Country Status (3)

Country Link
US (1) US8311281B2 (ja)
JP (1) JP5360052B2 (ja)
WO (1) WO2009125569A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5505936B2 (ja) * 2010-11-05 2014-05-28 オムロン株式会社 画像処理ユニット、および画像処理プログラム
US20130308856A1 (en) 2012-01-12 2013-11-21 Google Inc. Background Detection As An Optimization For Gesture Recognition
EP2669845A3 (en) * 2012-06-01 2014-11-19 Ricoh Company, Ltd. Target recognition system, target recognition method executed by the target recognition system, target recognition program executed on the target recognition system, and recording medium storing the target recognition program
US9842274B2 (en) 2014-03-28 2017-12-12 Xerox Corporation Extending data-driven detection to the prediction of object part locations
US10262421B2 (en) 2014-08-04 2019-04-16 Nec Corporation Image processing system for detecting stationary state of moving object from image, image processing method, and recording medium
US9460522B2 (en) * 2014-10-29 2016-10-04 Behavioral Recognition Systems, Inc. Incremental update for background model thresholds
KR101918159B1 (ko) * 2015-05-19 2018-11-13 에스케이 텔레콤주식회사 영상에서 배경 움직임 영역을 분할하는 방법 및 장치
JP6909960B2 (ja) * 2017-03-31 2021-07-28 パナソニックＩｐマネジメント株式会社 検知装置、検知方法及び検知プログラム
JP7067023B2 (ja) * 2017-11-10 2022-05-16 富士通株式会社 情報処理装置、背景更新方法および背景更新プログラム
US11004207B2 (en) * 2017-12-06 2021-05-11 Blueprint Reality Inc. Multi-modal data fusion for scene segmentation

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0844874A (ja) * 1994-07-27 1996-02-16 Toshiba Corp 画像変化検出装置
JPH0981714A (ja) * 1995-09-13 1997-03-28 Toshiba Corp 画像処理装置及びその方法
JPH11353467A (ja) * 1998-06-11 1999-12-24 Toshiba Corp 画像状態判定装置及びその方法
JP2002324237A (ja) * 2001-01-24 2002-11-08 Eastman Kodak Co 画像の類似性を決定するシステム及び方法
JP2006185206A (ja) * 2004-12-28 2006-07-13 Toshiba Corp オブジェクト検出方法、装置、及びプログラム
JP2006236113A (ja) * 2005-02-25 2006-09-07 Denso It Laboratory Inc 領域抽出装置及び領域抽出方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0731732B2 (ja) 1985-11-14 1995-04-10 ソニー株式会社 動体検出装置
US5063603A (en) * 1989-11-06 1991-11-05 David Sarnoff Research Center, Inc. Dynamic method for recognizing objects and image processing system therefor
US5319547A (en) * 1990-08-10 1994-06-07 Vivid Technologies, Inc. Device and method for inspection of baggage and other objects
US5438630A (en) * 1992-12-17 1995-08-01 Xerox Corporation Word spotting in bitmap images using word bounding boxes and hidden Markov models
US6215898B1 (en) * 1997-04-15 2001-04-10 Interval Research Corporation Data processing system and method
GB9808712D0 (en) * 1997-11-05 1998-06-24 British Aerospace Automatic target recognition apparatus and process
US6542621B1 (en) * 1998-08-31 2003-04-01 Texas Instruments Incorporated Method of dealing with occlusion when tracking multiple objects and people in video sequences
US6798897B1 (en) * 1999-09-05 2004-09-28 Protrack Ltd. Real time image registration, motion detection and background replacement using discrete local motion estimation
US6424370B1 (en) * 1999-10-08 2002-07-23 Texas Instruments Incorporated Motion based event detection system and method
US6611622B1 (en) * 1999-11-23 2003-08-26 Microsoft Corporation Object recognition system and process for identifying people and objects in an image of a scene
US6738518B1 (en) * 2000-05-12 2004-05-18 Xerox Corporation Document image decoding using text line column-based heuristic scoring
US7194134B2 (en) * 2001-01-02 2007-03-20 Microsoft Corporation Hierarchical, probabilistic, localized, semantic image classifier
GB2395781A (en) * 2002-11-29 2004-06-02 Sony Uk Ltd Face detection
US7627171B2 (en) * 2003-07-03 2009-12-01 Videoiq, Inc. Methods and systems for detecting objects of interest in spatio-temporal signals
GB2409028A (en) * 2003-12-11 2005-06-15 Sony Uk Ltd Face detection
JP4514687B2 (ja) 2004-11-08 2010-07-28 株式会社東芝 パターン認識装置
US7706603B2 (en) * 2005-04-19 2010-04-27 Siemens Corporation Fast object detection for augmented reality systems
US7720282B2 (en) * 2005-08-02 2010-05-18 Microsoft Corporation Stereo image segmentation

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0844874A (ja) * 1994-07-27 1996-02-16 Toshiba Corp 画像変化検出装置
JPH0981714A (ja) * 1995-09-13 1997-03-28 Toshiba Corp 画像処理装置及びその方法
JPH11353467A (ja) * 1998-06-11 1999-12-24 Toshiba Corp 画像状態判定装置及びその方法
JP2002324237A (ja) * 2001-01-24 2002-11-08 Eastman Kodak Co 画像の類似性を決定するシステム及び方法
JP2006185206A (ja) * 2004-12-28 2006-07-13 Toshiba Corp オブジェクト検出方法、装置、及びプログラム
JP2006236113A (ja) * 2005-02-25 2006-09-07 Denso It Laboratory Inc 領域抽出装置及び領域抽出方法

Also Published As

Publication number Publication date
JPWO2009125569A1 (ja) 2011-07-28
US20110026812A1 (en) 2011-02-03
WO2009125569A1 (ja) 2009-10-15
US8311281B2 (en) 2012-11-13

Similar Documents

Publication Publication Date Title
JP5360052B2 (ja) 物体検出装置
JP4631806B2 (ja) 物体検出装置、物体検出方法および物体検出プログラム
US9158985B2 (en) Method and apparatus for processing image of scene of interest
KR101802146B1 (ko) 화상처리장치 및 화상처리방법
TWI701609B (zh) 影像物件追蹤方法及其系統與電腦可讀取儲存媒體
KR100860988B1 (ko) 시퀀스들에서의 객체 탐지를 위한 방법 및 장치
Tripathi et al. Video post processing: low-latency spatiotemporal approach for detection and removal of rain
US9936222B2 (en) Motion estimation in a video sequence
WO2017179511A1 (en) Information processing apparatus and information processing method for detecting position of object
Nonaka et al. Evaluation report of integrated background modeling based on spatio-temporal features
US20040228530A1 (en) Method and apparatus for foreground segmentation of video sequences
KR20230084486A (ko) 이미지 효과를 위한 세그먼트화
JP6414066B2 (ja) 画像処理システム、画像処理方法及びプログラム
Ma et al. Detecting Motion Object By Spatio-Temporal Entropy.
Liu et al. Cast shadow removal combining local and global features
CN104717402A (zh) 一种空时域联合噪声估计系统
Wang et al. Detecting moving objects from dynamic background with shadow removal
Zulkifley et al. Enhancement of robust foreground detection through masked greyworld and color co-occurrence approach
GB2553105B (en) Method and system for determining a relationship between two regions of a scene
Geng et al. Real time foreground-background segmentation using two-layer codebook model
Xu et al. Features based spatial and temporal blotch detection for archive video restoration
JP2019067377A (ja) 画像処理装置及び方法及び監視システム
CN113711272A (zh) 用于非失实运动检测的方法及系统
Zhu et al. Background subtraction based on non-parametric model
US9437008B1 (en) Image segmentation using bayes risk estimation of scene foreground and background

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120308

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130806

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130819

R150 Certificate of patent or registration of utility model

Ref document number: 5360052

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150