JP5719141B2 - 情報処理装置、その処理方法及びプログラム - Google Patents

Description

本発明は、情報処理装置、その処理方法及びプログラムに関する。

撮像装置（例えば、カメラ）で撮像した画像から背景差分法によって物体を検出する技術が知られている。背景差分法においては、固定したカメラにより被写体がいない背景の画像を撮像し、背景画像として予め記憶しておく。その後、カメラから入力された画像と、当該予め記憶された背景画像との差分を求め、その結果に基づいて物体の領域を検出する。

ここで、背景は、時間とともに変化する場合がある。例えば、照明変化によって背景の明るさが変化する。この場合、撮像された画像と記憶されている背景画像との間で差分が生じてしまい、背景領域を物体として誤検出してしまう可能性がある。

背景変化による誤検出を避けるためには、背景画像を入力画像に基づいて更新する手法が挙げられる。ここで、入力画像中に物体が含まれていると、当該物体も背景画像に影響を与えることになる。これを避けるため、特許文献１には、検出された物体領域を背景更新の対象領域から除外する技術が開示されている。

特開２００２−９９９０９号公報

しかし、一連の画像内において、背景に色や明るさが類似した物体が通過する場合、当該物体と背景との間で十分な差が生じないため、このような場合には、背景に類似した物体を正確に検出できない。そのため、特許文献１の手法では、背景に類似している物体も背景画像の更新に反映されてしまい、結果として、背景画像がもとの背景から変化してしまう。この場合、物体通過後の背景領域を物体として誤検出してしまう。

本発明は、上記課題に鑑みてなされたものであり、複数の周波数成分を有する画像特徴量を保持する背景モデルを用いて対象物体の検出を行なうとともに、当該複数の周波数成分毎に異なる更新度合いで背景モデルを更新するようにした技術を提供する。

上記課題を解決するため、本発明の一態様による情報処理装置は、画像を取得する画像取得手段と、前記画像取得手段により取得された画像の部分領域毎に、所定の変換を施して複数の周波数成分を含む画像特徴量を取得する特徴量取得手段と、画像特徴量を前記部分領域毎に保持する背景モデルにおける画像特徴量と前記特徴量取得手段により取得された画像特徴量とを前記部分領域毎に比較する比較手段と、前記比較手段による比較結果に基づいて、前記特徴量取得手段により取得された画像特徴量を用いて前記背景モデルに保持された画像特徴量に含まれる複数の周波数成分を各周波数成分に応じた度合いで更新する更新手段と、前記背景モデルを用いて前記部分領域毎に検出対象となる対象物体が存在する領域を検出する検出手段とを具備することを特徴とする。

本発明によれば、複数の周波数成分を有する画像特徴量を保持する背景モデルを用いて対象物体の検出を行なうとともに、当該複数の周波数成分毎に異なる更新度合いで背景モデルを更新する。

本発明の一実施の形態に係わる情報処理装置１０のハードウェア構成の一例を示す図。 図１に示すＣＰＵ１１及び記憶部１４等で実現される機能的な構成の一例を示す図。 図１に示す情報処理装置１０における全体的な処理の流れの一例を示すフローチャート。 図３のＳ１０２に示す差分算出処理の一例を示すフローチャート。 （ａ）は背景モデルの一例を示す図であり、（ｂ）は最小差分値情報の一例を示す図。 図３のＳ１０３に示す背景モデル更新処理の一例を示すフローチャート。 図３のＳ１０４に示す前景背景判定処理の一例を示すフローチャート。 （ａ）は前景背景判定用情報の一例を示す図であり、（ｂ）は前景位置情報の一例を示す図であり、（ｃ）は前景領域情報の一例を示す図。

以下、本発明の一実施の形態について添付図面を参照して詳細に説明する。

（実施形態１）
図１は、本発明の一実施の形態に係わる情報処理装置１０のハードウェア構成の一例を示す図である。

情報処理装置１０は、所定時間毎にフレーム画像を入力し、背景モデルを用いて当該フレーム画像内から検出対象となる対象物体を検出する。ここで、情報処理装置１０は、本実施形態に係わる背景モデル更新処理を実施する。これにより、一連の画像内において背景に類似した部分を持つ物体が通過した場合や、一連の画像内において照明変化が生じている場合であっても、フレーム画像内から対象物体を正確に検出する。

情報処理装置１０は、ＣＰＵ１１と、ＲＯＭ１２と、ＲＡＭ１３と、記憶部１４と、画像入力部１５と、入力部１６と、表示部１７と、通信部１８とを具備して構成される。なお、これら各構成は、バス１９を介して通信可能に接続されている。

ＣＰＵ（Central Processing Unit）１１は、バス１９を介して、各構成部における動作を統括制御する。ＲＯＭ（Read Only Memory）１２は、各種プログラム等を格納する不揮発性メモリである。なお、ＲＯＭ１２は、書き込み可能に構成されていても良い。ＲＡＭ（Random Access Memory）１３は、各種データ（例えば、フレーム画像）が一時的に格納される揮発性メモリである。ＲＡＭ１３は、例えば、ＣＰＵ１１により各種処理が実施される際には、ワーク領域として利用される。

記憶部１４は、例えば、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）、ＤＶＤ−ＲＡＭ（Digital Versatile Disk Random Access Memory）等で実現され、各種情報を記憶する。記憶部１４には、例えば、画像特徴量やプログラムなどが記憶される。

画像入力部１５は、例えば、撮像装置（デジタルビデオカメラ、ネットワークカメラ、赤外線カメラ等）で実現され、所定時間毎にフレーム画像を装置内に入力する。通信部１８は、例えば、ネットワークＩ／ＦやＵＳＢ等で実現され、他の装置と通信し各種データを授受する。

入力部１６は、例えば、キーボードやマウス、又はタッチパネル等で実現され、ユーザからの指示を装置内に入力する。表示部１７は、例えば、液晶パネル等で実現され、各種画面をユーザに向けて表示する。以上が、情報処理装置１０におけるハードウェア構成の一例についての説明である。なお、図１に示すハードウェア構成は、あくまで一例であり、必ずしもこのような構成で実現される必要はない。例えば、画像入力部１５に相当する構成が情報処理装置１０の外部に設けられても良い。この場合、情報処理装置１０へのフレーム画像の入力は、例えば、記憶媒体（例えば、ＵＳＢメモリ）や通信部１８を介して行なえば良い。

次に、図２を用いて、図１に示すＣＰＵ１１及び記憶部１４等で実現される機能的な構成の一例について説明する。

情報処理装置１０は、その機能的な構成として、入力画像取得部２１と、特徴量取得部２２と、比較部２３と、背景モデル記憶部２４と、背景モデル更新部２５と、対象物体検出部２６とを具備して構成される。

入力画像取得部２１は、画像入力部１５により装置内に入力されたフレーム画像を所定時間毎に取得する。

特徴量取得部２２は、入力画像取得部２１により取得されたフレーム画像内における複数の部分領域から画像特徴量を取得する。ここで、本実施形態においては、画像特徴量の一例として、部分領域毎（８×８画素ブロック）に算出したＤＣＴ係数を用いる。ＤＣＴ係数は、離散コサイン変換（Discrete Cosine Transform）を行なうことにより得られる。

ここで、本実施形態に係わる画像特徴量には、ＤＣＴ係数のうち輝度Ｙ成分の３番目の係数までが使用される。より具体的には、画像特徴量として、ＤＣ成分を示す係数１つと、ＡＣ成分を示す係数２つとが用いられる。そのため、特徴量取得部２２により取得される画像特徴量は、空間周波数の異なる複数の特徴量が含まれる。

なお、フレーム画像がＪＰＥＧ形式で圧縮符号化されていれば、画像圧縮時に画像特徴量が抽出されていることになるため、このような場合には、ＪＰＥＧ形式のフレーム画像からＤＣＴ係数を直接取り出し、これを画像特徴量として使用する。

比較部２３は、フレーム画像内における注目領域（処理対象となる部分領域）の画像特徴量と、背景モデルにおける当該注目領域に対応する領域の画像特徴量とを比較し、その差分を算出する。

背景モデル記憶部２４は、ＲＡＭ１３や記憶部１４等で実現され、背景モデルを記憶する。背景モデルの詳細については後述するが、背景モデルには、フレーム画像内の各位置（部分領域）の状態が画像特徴量として規定される。

背景モデル更新部２５は、比較部２３による比較結果に基づいて、背景モデル記憶部２４に記憶された背景モデルを更新する機能を有し、第１の背景モデル更新部３１と、第２の背景モデル更新部３２とを具備して構成される。本実施形態においては、第１の背景モデル更新部３１は、交流成分（ＡＣ成分）の画像特徴量に対して背景モデル更新処理を実施し、第２の背景モデル更新部３２は、直流成分（ＤＣ成分）の画像特徴量に対して背景モデル更新処理を実施する。すなわち、第１の背景モデル更新部３１及び第２の背景モデル更新部３２においては、それぞれ背景モデル内における各位置の画像特徴量内の異なる成分を更新する。

対象物体検出部２６は、背景モデル記憶部２４に格納された背景モデルを用いて、フレーム画像内における部分領域各々について前景（対象物体）であるか背景（対象物体以外）であるかを判定し、対象物体が存在する部分領域を検出する。

以上が、図１に示すＣＰＵ１１及び記憶部１４等で実現される機能的な構成の一例についての説明である。背景モデル記憶部２４以外の機能構成は、例えば、ＣＰＵ１１が、ＲＡＭ１３等をワーク領域としてＲＯＭ１２や記憶部１４等に記憶されたプログラムを読み出し実行することにより実現される。なお、その一部又は全てが集積回路チップとして実現されても構わない。また、背景モデル記憶部２４に相当する構成は、情報処理装置１０の外部に設けられても良い。

次に、図３を用いて、図１に示す情報処理装置１０における全体的な処理の流れの一例について説明する。

情報処理装置１０は、まず、画像入力部１５において、撮像などを実施し、所定時間毎にフレーム画像を装置内に入力するとともに、入力画像取得部２１において、当該フレーム画像を取得する（Ｓ１０１）。情報処理装置１０は、特徴量取得部２２において、取得したフレーム画像から画像特徴量を算出する。そして、比較部２３において、当該算出した画像特徴量と、背景モデル記憶部２４に格納された背景モデル内の画像特徴量との差分を算出する（Ｓ１０２）。

次に、情報処理装置１０は、第１の背景モデル更新部３１において、ＡＣ成分を対象とする第１の背景更新処理を実施し、背景モデル記憶部２４に格納された背景モデルの更新を行なう。また、情報処理装置１０は、第２の背景モデル更新部３２において、ＤＣ成分を対象とする第２の背景更新処理を実施し、背景モデル記憶部２４に格納された背景モデルの更新を行なう（Ｓ１０３）。

背景モデルの更新が済むと、情報処理装置１０は、対象物体検出部２６において、Ｓ１０１で取得したフレーム画像に対して、背景領域とそうでない領域（すなわち、前景領域）との判定を行なう。この前景領域が対象物体が存在する領域となる。そして、背景領域以外の領域（前景領域＝対象物体の領域）を出力する（Ｓ１０４）。これにより、情報処理装置１０は、表示部１７において、例えば、入力されたフレーム画像内における前景領域に、例えば、その前景領域を囲む矩形枠等を重ね合わせて表示する。

その後、ユーザからの終了指示（例えば、電源オフ）があれば（Ｓ１０５でＹＥＳ）、この処理は終了し、終了指示がなければ（Ｓ１０５でＮＯ）、情報処理装置１０は、再度、Ｓ１０１の処理に戻る。

次に、図４を用いて、図３のＳ１０２に示す差分算出処理の詳細について説明する。

この処理では、情報処理装置１０は、まず、特徴量取得部２２において、フレーム画像内における注目領域（処理対象となる部分領域）の画像特徴量を取得する（Ｓ２０１）。次に、情報処理装置１０は、比較部２３において、背景モデル記憶部２４に記憶されている背景モデルから注目領域に対応する領域の画像特徴量を取得する（Ｓ２０２）。

ここで、図５（ａ）を用いて、背景モデル記憶部２４に記憶されている背景モデルについて説明する。

背景モデルには、フレーム画像内における部分領域各々に対応して画像特徴量が規定される。この画像特徴量は、状態別に規定される。背景モデルは、背景モデル管理情報と、背景モデル情報との大きく２つ要素から構成される。

背景モデル管理情報には、位置情報とポインタとが含まれる。位置情報は、フレーム画像内における部分領域（８×８画素のブロック）の位置を示す。この場合、フレーム画像内の左上から右下へ、順番に割り当てられた番号で示される。例えば、６４０×４８０画素の画像であれば、１〜４８００の番号が各ブロックに対して割り当てられている。

背景モデル情報は、部分領域各々に対応してその状態を複数保持する。なお、部分領域各々に対応して複数の状態を保持するのは、新たな静止物体（例えば、花瓶など）の出現などに応じて変化する背景に対応するためである。各状態には、状態を識別するための状態番号と、その状態を代表する画像特徴量と、その状態が始めて背景モデル内に作成された作成時刻（時刻情報）とが保持されている。なお、本実施形態においては、作成時刻としてフレーム番号を用いているが、作成時刻は、勿論、何時何分何秒といった時刻表現を用いて示されても良い。

ここで、フレーム画像内における同一の位置（部分領域）に対する複数の状態は、背景モデル管理情報のポインタの参照先に連続して格納されている。図５（ａ）に示す一例では、ブロック番号１については、１２００番地及び１２０１番地にその状態が格納されている。具体的には、１２００番地には、ブロック番号１に対する状態番号１の状態が格納されており、１２０１番地には、ブロック番号１に対する状態番号２の状態が格納されている。従って、注目領域に対応する全ての状態を読み出すには、注目領域とその次の部分領域のポインタを背景モデル管理情報から取得し、当該注目領域のアドレスから次の部分領域の一つ手前のアドレスの前までの値を取得すれば良い。

Ｓ２０２の説明に戻り、情報処理装置１０は、比較部２３において、背景モデル管理情報より注目領域の背景モデル情報へのポインタを参照し、いずれかの状態に対応する画像特徴量を取得する。

情報処理装置１０は、比較部２３において、フレーム画像内における注目領域の画像特徴量と、背景モデルにおける当該注目領域に対応する領域の画像特徴量とを比較し、その差分を算出する（Ｓ２０３）。そして、当該差分値をフレーム画像内における位置と関連付けて、例えば、ＲＡＭ１３等に記憶する。差分の算出方法としては、例えば、フレーム画像から取得した画像特徴量と背景モデルから取得した画像特徴量とにおける各ＤＣＴ係数の差分の絶対値を求め、その総和を差分値とする手法を用いれば良い。なお、この手法に限られず、例えば、各差分値を２乗した値の総和を差分値としても良い。

続いて、情報処理装置１０は、現在の注目領域において差分値を未算出の状態が存在するか否かを判定する。この判定は、背景モデル管理情報内において注目領域の次の部分領域に対するポインタを読み出したか否かに基づいて行なわれる。

判定の結果、未算出の状態があれば（Ｓ２０４でＮＯ）、情報処理装置１０は、背景モデルから次の状態の画像特徴量を取得し（Ｓ２０５）、上述したＳ２０２〜Ｓ２０４の処理を繰り返し実施する。

一方、現在の注目領域における全ての状態の画像特徴量を取得済みであれば（Ｓ２０４でＹＥＳ）、情報処理装置１０は、比較部２３において、現在の注目領域に対して算出した全ての差分値の中から最小の値を選択する（Ｓ２０６）。そして、当該最小の差分値と、それに対応する状態番号と、フレーム画像内の位置（部分領域）とを関連付けた情報を最小差分値情報としてＲＡＭ１３に記憶する。最小差分値情報は、例えば、図５（ｂ）に示す形式でＲＡＭ１３に記憶される。

次に、情報処理装置１０は、比較部２３において、フレーム画像内の全ての部分領域に対して上述した処理を実施したか否かを判定する。実施済みであれば（Ｓ２０７でＹＥＳ）、この処理を終了し、実施済みでなければ（Ｓ２０７でＮＯ）、次の部分領域に対して上述した処理を再度実施する（Ｓ２０８）。より具体的には、フレーム画像の左上の部分領域を開始点とし、以降、左から右へ、行毎に下へ移動しながら、フレーム画像内の全ての部分領域に対して上述した処理を実施する。

なお、情報処理装置１０において初めて処理を行なう時には、適正な値が保持された背景モデルが記憶されていない。この場合、全ての部分領域に対応して所定値（例えば、最大値）が設定されたダミーの背景モデルを用いて処理すれば良い。

次に、図６を用いて、図３のＳ１０３に示す背景モデル更新処理（第１の背景モデル更新処理及び第２の背景モデル更新処理）の詳細について説明する。

この処理が開始すると、情報処理装置１０は、背景モデル更新部２５において、まず、差分算出処理（図３に示すＳ１０２）の結果である最小差分値（最小差分値情報）を取得する。

続いて、情報処理装置１０は、背景モデル更新部２５において、注目領域における最小差分値と第１の閾値とを比較する。第１の閾値は、注目領域が背景モデルに類似しているか否かの判定基準としての役割を果たす。

ここで、差分値が第１の閾値以下であれば（Ｓ３０２でＹＥＳ）、情報処理装置１０は、注目領域が背景モデルとして保持されている該当の状態と類似していると判定する。そのため、情報処理装置１０は、背景モデル更新部２５において、図５（ｂ）に示す最小差分値情報内の状態番号を参照し、該当する状態の画像特徴量を更新する。

この処理の詳細については後述するが、情報処理装置１０は、第１の背景モデル更新部３１において、注目領域における該当の状態のＤＣＴ係数のＡＣ成分を更新する（Ｓ３０３）。また、情報処理装置１０は、第２の背景モデル更新部３２において、注目領域における該当の状態のＤＣＴ係数のＤＣ成分を更新する（Ｓ３０４）。その後、情報処理装置１０は、当該更新した状態に関連付けて予め登録されている作成時刻を取得し（Ｓ３０５）、当該作成時刻と、注目領域の位置とを関連付けた前景背景判定用情報をＲＡＭ１３に記憶する（Ｓ３０８）。前景背景判定用情報は、図８（ａ）に示すように、位置情報と作成時刻とが関連付けられた情報であり、図３のＳ１０４に示す前景背景判定処理で使用される。

一方、Ｓ３０２の判定において、差分値が第１の閾値を越えていると判定された場合（Ｓ３０２でＮＯ）、情報処理装置１０は、注目領域が背景モデルとして保持されている該当の状態と類似していないため、新たな状態であると判定する。そのため、情報処理装置１０は、背景モデル更新部２５において、注目領域における画像特徴量を新たな状態の画像特徴量として背景モデルへ登録する（Ｓ３０６）。また、現在時刻を作成時刻として当該登録した画像特徴量に関連付けて登録する（Ｓ３０７）。その後、情報処理装置１０は、作成時刻と、注目領域の位置とを関連付けた前景背景判定用情報をＲＡＭ１３に記憶する（Ｓ３０８）。

前景背景判定用情報のＲＡＭ１３への格納が済むと、情報処理装置１０は、フレーム画像内の全ての部分領域に対して上述した処理を実施したか否かを判定する。実施済みであれば（Ｓ３０９でＹＥＳ）、この処理を終了し、実施済みでなければ（Ｓ３０９でＮＯ）、次の部分領域に対して上述した処理を再度実施する（Ｓ３１０）。より具体的には、フレーム画像内の左上の部分領域を開始点とし、以降、左から右へ、行毎に下へ移動しながら、フレーム画像内の全ての部分領域に対して上述した処理を実施する。

なお、上述した通り、情報処理装置１０において初めて処理を行なう時には、全ての部分領域に対応して所定値（例えば、最大値）が設定されたダミーの背景モデルを用いて上述した処理を行なえば良い。この場合、図６のＳ３０２の判定において、新規の状態と判定され、全ての画像特徴量が背景モデルに追加されることになる。

次に、図６のＳ３０３及びＳ３０４に示す背景モデルの更新処理の具体例について説明する。

上述した通り、本実施形態においては、一連の画像内において背景に類似した部分を持つ物体が通過した場合や、一連の画像内において照明変化が生じている場合であっても、対象物体の検出を可能とする背景モデルを実現することを目的としている。

ここで、一連の画像内において照明変化が生じる場合、輝度のみ又は色味のみが変化する。そのため、ＤＣＴ係数でいえば、ＤＣ成分は変化するが、ＡＣ成分は変化しない。一方、一連の画像内において背景に類似した部分を持つ物体が通過している場合、当該物体は背景に類似しているため、ＤＣＴ係数でいえば、ＤＣ成分はあまり変化しないが、物体には輪郭があるため、ＡＣ成分は変化する。

これを踏まえると、ＤＣ成分の変化は、照明変化に起因する可能性が高く、背景モデルの更新に積極的に利用すべきである。一方、ＡＣ成分の変化は、背景に類似した物体が通過している可能性が高いため、背景モデルの更新には積極的に利用すべきではない。そのため、ＡＣ成分よりもＤＣ成分の背景更新の度合いを大きくすれば、上述した２つの状況に対応した背景モデルの更新を実現できる。

ここで、画像特徴量の各周波数成分に応じて背景更新の度合いを変更させる方法として３通りの例を挙げて説明する。

第１の背景更新方法では、画像特徴量の成分毎に重みを異ならせて背景モデルの更新を行なう。第１の背景モデル更新部３１及び第２の背景モデル更新部３２において更新処理時に使用する式を以下に示す。

μ_ＡＣ，ｔ＝（１−α）・μ_{ＡＣ，ｔ−１}＋α・Ｉ_ＡＣ，ｔ・・・（１）
μ_ＤＣ，ｔ＝（１−β）・μ_{ＤＣ，ｔ−１}＋β・Ｉ_ＤＣ，ｔ・・・（２）
ここでは、現在のフレーム画像を「ｔ」とし、１つ前のフレーム画像を「ｔ−１」としている。「μ_{ＡＣ，ｔ−１}」は、更新前のＡＣ成分の値であり、「μ_{ＤＣ，ｔ−１}」は、更新前のＤＣ成分の値であり、「μ_ＡＣ，ｔ」は、更新後のＡＣ成分の値であり、「μ_ＤＣ，ｔ」は、更新後のＤＣ成分の値である。「Ｉ_ＡＣ，ｔ」は、フレーム画像のＡＣ成分の値であり、「Ｉ_ＤＣ，ｔ」は、フレーム画像のＤＣ成分の値である。α及びβは、０から１までの値を持つ重みであり、大きな値であるほど、更新後の値は入力値（入力されたフレーム画像）に近くなる。すなわち、入力値が背景モデルへ反映される割合が高くなる。そのため、α＜βとし、ＡＣ成分よりもＤＣ成分の入力値の重みが大きくなるようにする。

第１の背景更新方法の場合、第１の背景モデル更新部３１では、式（１）に従ってＡＣ成分の更新を行なうとともに、第２の背景モデル更新部３１では、式（２）に従ってＤＣ成分の更新を行なう。

次に、第２の背景更新方法について説明する。第２の背景更新方法では、画像特徴量の成分毎に更新量の上限値を異ならせて背景モデルの更新を行なう。第１の背景モデル更新部３１及び第２の背景モデル更新部３２において更新処理時に使用する式を以下に示す。

μ_ＡＣ，ｔ＝ｍｉｎ（ｍａｘ（μ’，μ_{ＡＣ，ｔ−１}−δ_ＡＣ），μ_{ＡＣ，ｔ−１}＋δ_ＡＣ）・・・（３）
μ_ＤＣ，ｔ＝ｍｉｎ（ｍａｘ（μ’，μ_{ＤＣ，ｔ−１}−δ_ＤＣ），μ_{ＤＣ，ｔ−１}＋δ_ＤＣ）・・・（４）
μ’＝（１−α）・μ_{ｋ，ｔ−１}＋α・Ｉ_ｋ，ｔ ； ｋ＝｛ＡＣ，ＤＣ｝・・・（５）
式（５）は、式（１）及び式（２）と比較して、ＡＣ成分、ＤＣ成分ともに同じαが係数として使用されている。式（３）の「δ_ＡＣ」は、ＡＣ成分の更新１回当たりの更新量の上限値であり、「δ_ＤＣ」は、ＤＣ成分の更新１回当たりの更新量の上限値である。この場合、「δ_ＡＣ」＜「δ_ＤＣ」とし、ＡＣ成分よりもＤＣ成分の背景の更新量の上限値が大きくなるようにする。

第２の背景更新方法の場合、第１の背景モデル更新部３１では、式（３）に従ってＡＣ成分の更新を行なうとともに、第２の背景モデル更新部３１では、式（４）に従ってＤＣ成分の更新を行なう。

次に、第３の背景更新方法について説明する。第３の背景更新方法では、画像特徴量の成分毎に更新の頻度を異ならせて背景モデルの更新を行なう。第３の背景更新方法では、第１の背景モデル更新部３１及び第２の背景モデル更新部３２において更新が必要となった回数（図６のＳ３０２でＹＥＳとなった回数）を、各部分領域の各状態単位で記憶する。更新必要回数が所定の回数（Ｎ_ＡＣ、Ｎ_ＤＣ）に達した場合、以下の式（６）に従って更新を行なう。

μ_ｋ，ｔ＝（１−α）・μ_{ｋ，ｔ−１}＋α・Ｉ_ｋ，ｔ ； ｋ＝｛ＡＣ，ＤＣ｝・・・（６）
この場合、「Ｎ_ＡＣ」＞「Ｎ_ＤＣ」とし、ＡＣ成分の背景更新頻度よりもＤＣ成分の背景更新頻度が高くなるようにする。

第３の背景更新方法の場合、第１の背景モデル更新部３１における更新必要回数がＮ_ＡＣに達したときに、式（６）、ｋ＝ＡＣに従ってＡＣ成分の更新を行なう。また、第２の背景モデル更新部３１では、更新必要回数が「Ｎ_ＤＣ」に達したときに、式（６）、ｋ＝ＤＣに従ってＤＣ成分の更新を行なう。

なお、本実施形態においては、第１の背景更新方法に従って背景モデルを更新する場合について説明する。すなわち、第１の背景モデル更新部３１では、式（１）に従ってＡＣ成分の更新を行ない（図６のＳ３０３）。次に、第２の背景モデル更新部３１では、式（２）に従ってＤＣ成分の更新を行なう（図６のＳ３０４）。

次に、図７を用いて、図３のＳ１０４に示す前景背景判定処理の詳細について説明する。

この処理が開始すると、情報処理装置１０は、対象物体検出部２６において、まず、図６のＳ３０８の処理でＲＡＭ１３に記憶した前景背景判定用情報（図８（ａ））を取得するとともに、注目領域に対応する作成時刻及び位置情報を取得する（Ｓ４０１）。

次に、情報処理装置１０は、対象物体検出部２６において、現在時刻からＳ４０１の処理で取得した作成時刻を減算し、その減算後の値と第２の閾値とを比較する。ここで、減算後の値は、該当の状態が、一連のフレーム画像内に初めて現れてから現在までの時間を表している。そのため、この減算後の値（時間）が十分に大きければ、当該注目領域が背景であると見なす。すなわち、第２の閾値は、背景であるか前景であるかの判定基準としての役割を果たす。

判定の結果、減算後の値が第２の閾値を越えていれば（Ｓ４０２でＹＥＳ）、対象物体検出部２６は、注目領域を背景であると判定し、Ｓ４０１の処理で取得した位置情報に前景フラグ（オフ）を関連付けて前景位置情報としてＲＡＭ１３に記憶する（Ｓ４０３）。前景位置情報は、図８（ｂ）に示すように、位置情報と前景フラグとが関連付けられた情報である。なお、前景フラグは、注目領域が前景（対象物体）であるか否かを示す情報であり、前景であれば、前景フラグ（オン）が設定され、前景でなければ（すなわち、背景）、前景フラグ（オフ）が設定される。

Ｓ４０２の判定の結果、減算後の値が第２の閾値以下であれば（Ｓ４０２でＮＯ）、対象物体検出部２６は、注目領域を前景であると判定する（Ｓ４０５）。そして、Ｓ４０１の処理で取得した位置情報に前景フラグ（オン）を関連付けて前景位置情報としてＲＡＭ１３に記憶する（Ｓ４０６）。

前景位置情報のＲＡＭ１３への格納が済むと、情報処理装置１０は、フレーム画像内の全ての部分領域に対して上述した処理を実施したか否かを判定する。実施済みでなければ（Ｓ４０７でＮＯ）、次の部分領域に対して上述した処理を再度実施する（Ｓ４０８）。より具体的には、フレーム画像内の左上の部分領域）を開始点とし、以降、左から右へ、行毎に下へ移動しながら、フレーム画像内の全ての部分領域に対して上述した処理を実施する。

ここで、全ての部分領域に対して上述した処理を実施済みであれば（Ｓ４０７でＹＥＳ）、情報処理装置１０は、対象物体検出部２６において、前景位置情報に基づいてフレーム画像における各部の領域を統合した後（Ｓ４０９）、この処理を終了する。具体的には、前景位置情報（図８（ｂ））を参照して、隣り合う部分領域同士がともに前景であれば、当該部分領域同士を一つの領域とみなして（領域統合）、当該領域の外接矩形を導出し、前景領域情報を作成する。前景領域情報には、図８（ｃ）に示すように、前景領域の個数と、各前景領域の外接矩形の左上の座標（ｘ１−１、ｙ１−１）と右下の座標（ｘ１−２、ｙ１−２）とから構成される。

なお、領域統合処理は、必須の処理ではなく、前景位置情報（図８（ｂ））をそのまま出力するようにしても構わない。前景位置情報を出力するか、前景領域情報を出力するかは、例えば、動作設定等に応じて決めれば良い。

以上説明したように本実施形態によれば、複数の周波数成分を有する画像特徴量を保持する背景モデルを用いて対象物体の検出を行なうとともに、当該複数の周波数成分毎に異なる更新度合いで背景モデルを更新する。より具体的には、画像特徴量のうち、ＡＣ成分よりもＤＣ成分の背景更新の度合いを大きくして背景モデルの更新を行なう。

これにより、一連の画像内において背景に類似した画像特徴量を有する物体が通過している場合や、一連の画像内において照明変化が生じている場合であっても、従来の構成よりも、対象物体を正確に検出できる。

以上が本発明の代表的な実施形態の例であるが、本発明は、上記及び図面に示す実施形態に限定することなく、その要旨を変更しない範囲内で適宜変形して実施できるものである。

（変形実施形態１）
例えば、上述した説明では、部分領域（８×８画素のブロック）毎に画像特徴量を取得する場合について説明したが、これに限られず、部分領域は、これ未満の大きさであっても良いし、これより大きくても良い。例えば、部分領域を１×１のブロックで構成する、すなわち、画素単位に画像特徴量が取得されても良い。この場合、例えば、各画素の輝度値及びエッジを画像特徴量として使用する手法が知られている。エッジ特徴を抽出する方法としては、画素毎に周囲の画素を含めた範囲に対して、微分フィルタを用いて演算を行なう方法が知られている。微分フィルタの例としては、Ｐｒｅｗｉｔｔフィルタ、Ｓｏｂｅｌフィルタ、などがある。このように本実施形態によれば、照明変化によって大きくなる特徴量と、物体の通過によって変化が大きくなる特徴量とに分けることができるのであれば、部分領域の大きさは特に問わない。

（変形実施形態２）
また、上述した説明では、背景モデル（図５参照）には、１つの部分領域に対して複数の状態が保持されていたが、これに限られず、背景モデルは、１つの状態のみを持つように構成されていても良い。

（変形実施形態３）
また、上述した説明では、前景背景判定処理（図７参照）において、その状態がフレーム画像内に初めて現れてから現在までの時間に基づいて前景であるか背景であるかを判定していたが、これ以外の方法で前景であるか背景であるかの判定を行なっても良い。例えば、比較部２３により算出された差分値が所定の閾値を越えていれば、全て前景と判定するようにしても良い。

（変形実施形態４）
また、上述した説明では、背景モデル（図５参照）には、全ての部分領域についての状態が保持されており、前景と判定された状態も保持されているが、これに限られない。例えば、比較部２３により算出された差分値が所定の閾値を越えていれば前景と判定し、そうでなければ背景と判定する。そして、背景と判定された部分領域の画像特徴量のみを背景モデルとして保持するようにしても良い。すなわち、対象物体検出部２６の判定結果に基づいて、背景のみについて背景モデルの更新処理を行なうように構成しても良い。

（変形実施形態５）
また、上述した説明では、画像特徴量の成分毎に背景更新の度合いを変更させる方法として３通りの例を挙げて説明したが、これに限られない。複数の背景モデル更新部によって、物体の通過によって影響を受ける画像特徴量（本実施形態ではＡＣ成分）と、照明変化で影響を受ける画像特徴量（本実施形態ではＤＣ成分）とに対する更新の度合いを異ならせることができれば良く、その手法は特に問わない。

（変形実施形態６）
また、上述した説明では、画像特徴量としてＤＣＴ係数の輝度Ｙ成分の３番目の係数までを用いる場合について説明したが、これに限られない。画像特徴量として、例えば、色の成分（色差）Ｃｒ、Ｃｂが追加で使用されても良いし、全てのＤＣＴ係数が使用されても良い。

（変形実施形態７）
また、上述した説明では、第１の背景モデル更新部３１と第２の背景モデル更新部３２との２つの背景モデル更新部を設ける場合について説明したが、これに限られず、３以上の背景モデル更新部が設けられても良い。例えば、照明変化による色の変化をも考慮する場合は、ＤＣＴ係数のＣｒ成分及びＣｂ成分も画像特徴量として扱う必要がある。この場合、輝度及び色によるＣｒ成分及びＣｂ成分の変化は、必ずしも同じではなく、それぞれで更新の度合いを異ならせる必要がある。

（変形実施形態８）
また、上述した説明では、第１の背景モデル更新部３１によりＡＣ成分を更新し、第２の背景モデル更新部３２によりＤＣ成分を更新する場合について説明したが、これに限られない。例えば、第１の背景モデル更新部３１においては、一連の画像内において背景に類似した物体が通過することに起因して当該一連の画像内で変化する周波数成分に対して更新処理を行なえれば良い。例えば、全てのＡＣ成分のうち、高周波のＡＣ成分のみを更新するように構成しても良い。

また、第２の背景モデル更新部３２においては、一連の画像内において照明変化が生じていることに起因して当該一連の画像内で変化する周波数成分に対して更新処理を行なえれば良く、例えば、ＤＣ成分に加えて低周波のＡＣ成分をも更新するようしても良い。

すなわち、第１の背景モデル更新部３１により所定の周波数よりも高い周波数成分を更新し、第２の背景モデル更新部３２により所定の周波数以下となる周波数成分を更新するように構成しても良い。

（その他の実施形態）
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (11)

1. 画像を取得する画像取得手段と、
   前記画像取得手段により取得された画像の部分領域毎に、所定の変換を施して複数の周波数成分を含む画像特徴量を取得する特徴量取得手段と、
   画像特徴量を前記部分領域毎に保持する背景モデルにおける画像特徴量と前記特徴量取得手段により取得された画像特徴量とを前記部分領域毎に比較する比較手段と、
   前記比較手段による比較結果に基づいて、前記特徴量取得手段により取得された画像特徴量を用いて前記背景モデルに保持された画像特徴量に含まれる複数の周波数成分を各周波数成分に応じた度合いで更新する更新手段と、
   前記背景モデルを用いて前記部分領域毎に検出対象となる対象物体が存在する領域を検出する検出手段と
   を具備することを特徴とする情報処理装置。
2. 前記複数の周波数成分は、交流成分と直流成分とを含み、
   前記更新手段は、前記複数の周波数成分のうち交流成分よりも直流成分に対する更新の度合いの方が大きい
   ことを特徴とする請求項１記載の情報処理装置。
3. 前記更新手段は、前記複数の周波数成分のうち、所定の周波数より高い周波数成分に対するより、所定の周波数以下となる周波数成分に対する更新の度合いの方が大きい
   ことを特徴とする請求項１記載の情報処理装置。
4. 前記更新手段は、前記特徴量取得手段により取得された画像特徴量の複数の周波数成分に対してそれぞれ異なる重み付けを行なって前記背景モデルを更新する
   ことを特徴とする請求項１に記載の情報処理装置。
5. 前記更新手段は、前記特徴量取得手段により取得された画像特徴量の複数の周波数成分のそれぞれを更新する更新量の上限値を異ならせて前記背景モデルを更新する
   ことを特徴とする請求項１に記載の情報処理装置。
6. 前記更新手段は、前記特徴量取得手段により取得された画像特徴量の複数の周波数成分のそれぞれに対して行なう更新の頻度を異ならせて前記背景モデルを更新する
   ことを特徴とする請求項１に記載の情報処理装置。
7. 前記背景モデルは、複数の状態の画像特徴量を前記部分領域毎に保持しており、
   前記比較手段は、前記背景モデルにおける各状態の画像特徴量と前記特徴量取得手段により取得された画像特徴量とを前記部分領域毎に比較し、当該比較結果に基づいて、前記部分領域毎に前記背景モデルにおける１つの状態の画像特徴量を選択し、
   前記更新手段は、前記特徴量取得手段により取得された画像特徴量を用いて、前記部分領域毎に前記背景モデルにおいて選択された１つの状態の画像特徴量の複数の周波数成分を各周波数成分に応じた度合いで更新し、
   前記検出手段は、前記において選択された１つの状態の画像特徴量を用いて前記部分領域毎に検出対象となる対象物体が存在する領域を検出する
   ことを特徴とする請求項１記載の情報処理装置。
8. 前記比較手段は、前記部分領域毎に、前記比較結果において差分値が最小となる状態の画像特徴量を選択し、
   前記更新手段は、前記差分値が所定の閾値を越えていれば、前記特徴量取得手段により取得された画像特徴量を新規の画像特徴量として前記背景モデルにおける該当の部分領域に登録し、前記差分値が所定の閾値以下であれば、前記特徴量取得手段により取得された画像特徴量を用いて前記背景モデルにおける該当の部分領域の画像特徴量を更新し、
   前記検出手段は、前記差分値が所定の閾値を越えている部分領域を前記対象物体が存在する領域として検出する
   ことを特徴とする請求項７記載の情報処理装置。
9. 前記比較手段は、前記部分領域毎に、前記比較結果において差分値が最小となる状態の画像特徴量を選択し、
   前記更新手段は、前記差分値が所定の閾値を越えていれば、前記特徴量取得手段により取得された画像特徴量を新規の状態の画像特徴量として時刻情報に関連付けて前記背景モデルにおける該当の部分領域に登録し、前記差分値が所定の閾値以下であれば、前記特徴量取得手段により取得された画像特徴量を用いて前記背景モデルにおける該当の部分領域の選択された状態の画像特徴量を更新し、
   前記検出手段は、現在時刻と、前記更新手段により登録又は更新された画像特徴量に関連付けられた時刻情報との差が所定の閾値以下であれば、該当の部分領域を前記対象物体が存在する領域として検出する
   ことを特徴とする請求項７記載の情報処理装置。
10. 情報処理装置における処理方法であって、
    画像取得手段が、画像を取得する工程と、
    特徴量取得手段が、前記画像取得手段により取得された画像の部分領域毎に、所定の変換を施して複数の周波数成分を含む画像特徴量を取得する工程と、
    比較手段が、画像特徴量を前記部分領域毎に保持する背景モデルにおける画像特徴量と前記特徴量取得手段により取得された画像特徴量とを前記部分領域毎に比較する工程と、
    更新手段が、前記比較手段による比較結果に基づいて、前記特徴量取得手段により取得された画像特徴量を用いて前記背景モデルに保持された画像特徴量に含まれる複数の周波数成分を各周波数成分に応じた度合いで更新する工程と、
    検出手段が、前記背景モデルを用いて前記部分領域毎に検出対象となる対象物体が存在する領域を検出する工程と
    を含むことを特徴とする情報処理装置の処理方法。
11. コンピュータを、
    画像を取得する画像取得手段、
    前記画像取得手段により取得された画像の部分領域毎に、所定の変換を施して複数の周波数成分を含む画像特徴量を取得する特徴量取得手段、
    画像特徴量を前記部分領域毎に保持する背景モデルにおける画像特徴量と前記特徴量取得手段により取得された画像特徴量とを前記部分領域毎に比較する比較手段、
    前記比較手段による比較結果に基づいて、前記特徴量取得手段により取得された画像特徴量を用いて前記背景モデルに保持された画像特徴量に含まれる複数の周波数成分を各周波数成分に応じた度合いで更新する更新手段、
    前記背景モデルを用いて前記部分領域毎に検出対象となる対象物体が存在する領域を検出する検出手段
    として機能させるためのプログラム。

Images