JP6618438B2 - 前景領域抽出装置、方法、及びプログラム - Google Patents

Description

本発明は、前景領域抽出装置、方法、及びプログラムに係り、特に、撮影場所に一時的に表れた動物体に対応する画像上の前景の領域を抽出するための前景領域抽出装置、方法、及びプログラムに関する。

固定カメラを用いてそこに現れた人物などの動物体に対応する画像上の領域を自動的に抽出する前景領域抽出は、人物の侵入検知や人数計測などをはじめとし様々な処理において基本となる画像処理であり、これまでも様々な方法が提案されてきている。そのバリエーションは多様であるが最も基本的な分類としては、（１）画素毎の輝度値の変化をモデル化する方法、（２）画像上の部分領域（ブロック）の画像パターンやテクスチャの類似性を比較する方法、の二つに分けることができる。

前者の（１）の方法については、例えば、入力される画像系列に対して画素毎に時間平均を算出することで時間平均画像を算出し、これを人がいない状態の背景画像と見なし、この背景画像と現在画像の画素値の差が一定以上の画素を前景として抽出する方法や、画素値の時間変動を画素毎にガウス分布等の統計分布に近似することで背景画素の値や変動状態（背景モデル）を推定し、この背景モデルに合致しない画素値が観測された場合に前景画素とする方法［非特許文献１、２参照］などが代表的である。後者の（２）の方法については、（１）の方法も活用しつつ算出された背景画像と現在画像との比較を微小ブロックなどの部分領域単位で行うもので、正規化相関などの画像パターン（もしくはテクスチャ）としての類似性を評価し、背景画像と現在画像のパターンが類似していないと判定されたブロックを前景ブロックとして抽出する方法を挙げることができる［特許文献１参照］。またこれらを組み合わせた方法も提案されている。

特開2011-186719号公報

Stauffer C, Grimson W. E. L. 「Adaptive background mixture models for real-time tracking」, in Proceedings. 1999 IEEE ComputerSociety Conference on Computer Vision and Pattern Recognition (Cat. No PR00149). IEEE Comput. Soc. Part Vol. 2,1999. P.KadewTraKuPong and R. Bowden. 「An improved adaptive background mixture model for real-time tracking with shadow detection」,Proc. 2nd European Workshop on Advanced Video-Based Surveillance Systems, 2001.

前景抽出は既に様々な技術が提案されているものの、照明条件が大きく変動する屋外において安定的に前景を検出すること（良好な精度を常に保つこと）は困難である。この原因は大きく二つある。

一つ目の原因は背景の不安定性に基づく問題であり、具体的には、天候や時間帯の変化により日照条件が時々刻々と変化するために、推定された背景モデルや背景画像が実際の背景の状態と乖離してしまうことで誤検出（過剰検出）や検出漏れが発生する問題である。典型的な例としては、雲間から日が指すなどの比較的短時間で照明条件が大きく変化し、これに伴い前景抽出に大きな誤差が発生する場合を挙げることができる。

もう一つの原因は影の問題であり、これは主として動物体（もしくは対象被写体）の影が画像内に発生し、この影が誤って前景として検出されてしまうという問題である。前述した（１）の方法のアプローチでは、背景モデルに加えて影のモデル（影は背景より少し暗いことを想定）を推定することで背景、前景、影の３つに画像中の画素を分類する手法［非特許文献２参照］が提案されているが、日照が強く濃い影ができる場合には前景による輝度変化と影による輝度変化を区別することが困難となり、影を前景として誤検出してしまうという問題がある。

一方、（２）の方法のようにブロック内の画像パターン（もしくはテクスチャ）の類似性を評価する方法は、被写体（動物体）による影の部分は背景と異なる画素値を持つ（暗くなる、色味が変化する等）ものの、背景の画像パターンがある程度残っている（日向の場合でも影の場合でも同じ背景物体が写っている）ことから、基本的に背景と異なるパターンを持っている前景と区別できる可能性がある。輝度変動を吸収しつつ（輝度変動の影響を抑えながら）パターンの類似性を評価する方法としては正規化相関が代表的な手法であるが、実際に屋外で被写体の影が発生している状況に正規化相関を適用すると、影の部分では必ずしも高い相関値にならないケース（パターンが似ていると判定されないケース）が発生する。これは、日向は主に太陽に照明されているのに対し、影は太陽を除く空の光や、壁などの周辺物体からの反射光によって照明されているため、日向の時と影の時とで単に輝度が変わる（暗くなる、色味が変わる）だけではなく、画像パターン自体も変化してしまうことが原因と考えられる。変化の例としては、太陽が照らしている時に光沢（表面反射）が強かった部分が日影になった時に極端に暗くなる場合などを挙げることができるが、この他にも多様な変化が考えられる。このように従来の前景検出処理を適用しただけでは、屋外で安定的に前景を検出することは困難であった。

本発明は、上記問題点を解決するために成されたものであり、濃い影が出る場合であっても、前景の領域を精度よく抽出することができる前景領域抽出装置、方法、及びプログラムを提供することを目的とする。

上記目的を達成するために、第１の発明に係る前景領域抽出装置は、固定カメラで撮影した映像を用いて、撮影場所に一時的に表れた動物体に対応する画像上の前景の領域を抽出する前景領域抽出装置であって、時系列順に現在画像の入力を受け付ける画像入力部と、前記入力された現在画像の時系列から、前記動物体が存在しない状態の画像である背景画像を作成する背景画像作成部と、前記入力された現在画像と、前記作成された背景画像とに基づいて、各画素の輝度値の変動に基づいて画素毎に前景を検出し、画素毎前景画像を出力する画素毎前景検出部と、前記現在画像と、前記作成された背景画像とに基づいて、ブロック単位に画像間の画像パターンの類似性を評価することで、前記ブロック単位に前景を検出し、ブロック毎前景画像を出力するブロック毎前景検出部と、前記画素毎前景画像と、前記ブロック毎前景画像とを比較することで、影である可能性が高い領域である影候補ブロックを検出する影候補ブロック検出部と、前記検出された影候補ブロックと、前記画素毎前景画像と、前記背景画像と、前記現在画像とに基づいて、前記画素毎前景画像から、影である可能性が高い領域が除去された影領域除去前景を検出する影領域除去部と、を含んで構成されている。

また、第１の発明に係る前景領域抽出装置において、前記検出された前記影候補ブロックと、前記背景画像と、前記現在画像とに基づいて、影の状態を示す影状態パラメータを推定する影状態推定部を更に含み、前記影領域除去部は、前記推定された前記影状態パラメータと、前記画素毎前景画像と、前記背景画像と、前記現在画像とに基づいて、前記影領域除去前景を検出するようにしてもよい。

また、第１の発明に係る前景領域抽出装置において、前記影状態推定部は、前記背景画像における前記影候補ブロックと、前記現在画像における前記影候補ブロックとに基づいて、背景が日向の状態にある場合と、背景が日影の状態にある場合との輝度比を前記影状態パラメータとして推定するようにしてもよい。

また、第１の発明に係る前景領域抽出装置において、前記影状態推定部は、前記背景画像における前記影候補ブロックと、前記現在画像における前記影候補ブロックとに基づいて、前記影候補ブロックの各々において、前記背景画像と前記現在画像との輝度比を投票テーブルに投票し、前記投票テーブルにおいて最頻値を与える輝度比を求めることで、前記影状態パラメータを推定するようにしてもよい。

また、第１の発明に係る前景領域抽出装置において、前記影候補ブロック検出部は、前記検出された前記影候補ブロックについて、前記現在画像と前記背景画像とを比較し、画像間の関係が、太陽又は空の光の強度又は色を含む照明条件に関する先験知識と整合するか否かの条件判定を行い、条件を満たさないブロックは影候補ブロックから除外するようにしてもよい。

また、第１の発明に係る前景領域抽出装置において、前記ブロック毎前景検出部は、前記現在画像と、前記背景画像とに対して、ブロック単位に、空間微分した後に、ブロック単位に、画像間で正規化相関を算出し、算出された相関値に基づいて、前記ブロック単位に前景を検出するようにしてもよい。

第１の発明に係る前景領域抽出方法は、固定カメラで撮影した映像を用いて、撮影場所に一時的に表れた動物体に対応する画像上の前景の領域を抽出する前景領域抽出装置における前景領域抽出方法であって、画像入力部が、時系列順に現在画像の入力を受け付けるステップと、背景画像作成部が、前記入力された現在画像の時系列から、前記動物体が存在しない状態の画像である背景画像を作成するステップと、画素毎前景検出部が、前記入力された現在画像と、前記作成された背景画像とに基づいて、各画素の輝度値の変動に基づいて画素毎に前景を検出し、画素毎前景画像を出力するステップと、ブロック毎前景検出部が、前記現在画像と、前記作成された背景画像とに基づいて、ブロック単位に画像間の画像パターンの類似性を評価することで、前記ブロック単位に前景を検出し、ブロック毎前景画像を出力するステップと、影候補ブロック検出部が、前記画素毎前景画像と、前記ブロック毎前景画像とを比較することで、影である可能性が高い領域である影候補ブロックを検出するステップと、影領域除去部が、前記検出された影候補ブロックと、前記画素毎前景画像と、前記背景画像と、前記現在画像とに基づいて、前記画素毎前景画像から、影である可能性が高い領域が除去された影領域除去前景を検出するステップと、を含んで実行することを特徴とする。

第３の発明に係るプログラムは、第１の発明に係る前景領域抽出装置の各部として機能させるためのプログラムである。

本発明の前景領域抽出装置、方法、及びプログラムによれば、入力された現在画像の時系列から、動物体が存在しない状態の画像である背景画像を作成し、各画素の輝度値の変動に基づいて画素毎に前景を検出し、画素毎前景画像を出力し、ブロック単位に画像間の画像パターンの類似性を評価することで、ブロック単位に前景を検出し、ブロック毎前景画像を出力し、画素毎前景画像と、ブロック毎前景画像とを比較することで、影である可能性が高い領域である影候補ブロックを検出し、検出された影候補ブロックと、画素毎前景画像と、背景画像と、現在画像とに基づいて、画素毎前景画像から、影である可能性が高い領域が除去された影領域除去前景を検出することにより、濃い影が出る場合であっても、前景の領域を精度よく抽出することができる、という効果が得られる。

本発明の実施の形態に係る前景領域抽出装置の構成を示すブロック図である。 画像における影の性質の一例を示す図である。 前景画像の検出の一例を示す図である。 実際の画像における前景検出の処理の一例を示す図である。 本発明の実施の形態に係る前景領域抽出装置における前景領域抽出処理ルーチンを示すフローチャートである。

以下、図面を参照して本発明の実施の形態を詳細に説明する。

＜本発明の実施の形態に係る概要＞

まず、本発明の実施の形態における概要を説明する。

以下で説明する実施の形態は、カメラで撮影された画像データ（映像データ）を計算機に入力し計算機上で画像処理を実施する場合を想定しているが、その詳細な形態は限定しない。またカメラから画像（映像）を逐一取得しながら処理を行うリアルタイム型の処理、一旦ハードディスクなどの記録媒体に記録された画像（映像）を読み出しながら処理していくオフライン型の処理のいずれに対しても適用可能である。

また、本発明の実施の形態では、固定カメラで撮影された映像または静止画系列を逐次入力しながら処理を行う。

＜本発明の実施の形態に係る前景領域抽出装置の構成＞

次に、本発明の実施の形態に係る前景領域抽出装置の構成について説明する。図１に示すように、本発明の実施の形態に係る前景領域抽出装置１００は、ＣＰＵと、ＲＡＭと、後述する前景領域抽出処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この前景領域抽出装置１００は、機能的には図１に示すように、画像入力部２２と、背景画像作成部２４と、画素毎前景検出部２６と、ブロック毎前景検出部２８と、影候補ブロック検出部３０と、影状態推定部３２と、影領域除去部３４とを備えている。

画像入力部２２は、固定カメラで撮影した映像の動画ファイル、又は静止画系列などの画像系列１１からフレーム画像を１枚ずつ取得する。ここでは入力された最新のフレーム画像を現在画像と呼ぶことにし、時系列順に現在画像１２の入力を受け付ける。

背景画像作成部２４は、画像入力部２２で受け付けた現在画像１２の時系列から、動物体が存在しない状態の画像である背景画像１３を作成する（図３（ａ）参照）。背景画像作成部２４では、画像入力部２２で取得された現在画像１２を受取りながら継続的に処理を行うことで、動物体がない状態の画像である背景画像１３を推定、作成する。背景画像１３の作成方法としては、連続する複数フレーム画像において動きが観測されなかった、すなわち画像中の画素値がほとんど変化しなかった場合に、その時点の現在画像１２を背景画像１３として作成する方法、画像の時間平均（時間方向の移動平均など）を取った平均画像を背景画像１３とする方法、混合ガウス分布法（上記非特許文献１、２など）で背景画像１３を推定、取得する方法など、様々な方法が考えられるがここではその方法は限定しない。

画素毎前景検出部２６は、画像入力部２２で受け付けた現在画像１２と、背景画像作成部２４で作成された背景画像１３とに基づいて、各画素の輝度値の変動に基づいて画素毎に前景を検出し、画素毎前景画像１４を出力する（図３（ｃ）参照）。画素毎前景検出部２６においては、画素毎の前景検出は、背景画像１３と現在画像１２との輝度値の差分の絶対値が閾値以上の場合を前景としても良いし、前述の混合ガウス分布法を用いて前景を検出してもよい。この画素毎の前景検出は、実質的に画素毎の輝度値の変動を考慮して画素毎に前景を検出する方法であればよく、その詳細は限定しない。

ブロック毎前景検出部２８は、以下に説明するように、画像入力部２２で受け付けた現在画像１２と、背景画像作成部２４で作成された背景画像１３とに基づいて、ブロック単位に画像間の画像パターンの類似性を評価することで、ブロック単位に前景を検出し、ブロック毎前景画像１５を出力する。

ブロック毎前景検出部２８においては、現在画像１２、及び背景画像１３について、それぞれの画像の同じ位置にある所定の部分領域（矩形の小ブロックなど）において画像パターンが類似しているかどうかを比較し、背景画像１３と現在画像１２とが類似していると判断された場合はそのブロックは背景と判定し、似ていないと判断された場合はそのブロックは前景であると判定する（図３（ｄ）参照）。このブロック間の画像パターンが類似しているかどうかを評価する方法としては、画像間の相関を計算する方法、画像のパターンを計算して特徴化し、画像のパターンの類似度（特徴量の値が近いかどうか）を評価する方法などが考えられる。画像のパターンは、所謂テクスチャ特徴と呼ばれるもの等である。

ここで、画像間の相関の計算においては、輝度変動の影響を抑えながらパターンの類似性を評価する方法として正規化相関が代表的であるが、実際に屋外で被写体の影が発生している状況に正規化相関を適用すると、影の部分と背景との相関値が高くならないケースが多く発生する。これは、図２に示すように、背景が日向である場合は背景物体が主として太陽に照明されている（実際には、太陽と空などの周辺の反射光の両方で照らされているが、定量的には太陽光が支配的になっている）のに対し、日影である場合には太陽を除く空の光や壁などの周辺物体からの反射光によって背景物体が照明されているため、日向の時と日影の時とで単に輝度や色味が変わるだけではなく画像パターン自体も変化してしまうことがその原因と考えられる。そこで、背景が日向の場合と日影の場合とで高い相関値が出力されるような工夫が必要となる。

日向、日影によらず同じ背景物体が見えているのであれば、撮影場所にある画像上の変化点（物体の角、エッジや凸凹や模様などのテクスチャによる）は同じ位置に観測されるはずである。このように変化点の位置に注目し、その他の画素の値を極力無視した形で類似性を評価する手法としては、位相限定相関法［非特許文献３］の利用が考えられる。

［非特許文献３］小林, 中島, 青木, 川又, 樋口, 「位相限定相関法の原理とその応用」,テレビジョン学会技術報告, 20-41, 1/6 (1996)

非特許文献３の方法では、比較対象の二つの画像をフーリエ変換した後、変換後のパワー成分を規格化（例えば全て１に）した後、これらの複素共役（複素平面での相関）をとって、それをさらにフーリエ逆変換することで、２つの画像の位置ずれ量と画像としての一致度合いを算出することができる。なお本発明の実施の形態においては、カメラは固定カメラであり位置ずれは想定していないので、ずれ量が０もしくは０に近い値（ずれ量の絶対値が所定の閾値以内）でない場合には一致度合いは低いものとする例外処理を加える。

また位相限定相関に代わる方法として、比較対象のブロック画像をSobelフィルタ等の微分フィルタで微分し（例：ｘ成分、ｙ成分の両方の微分を取って微分の絶対値を求める等）、微分した画像同士で正規化相関を算出する方法でも良い。この方法では、微分処理を行うことで変化点の位置情報が強調された形で画像化された状態とすることができ、この状態で相関を計算することで前述したような「変化点の位置に注目し、画素の値を極力無視した形で類似性を評価する」ことができる。

影候補ブロック検出部３０は、以下に説明するように、画素毎前景画像１４と、ブロック毎前景画像１５とを比較することで、影である可能性が高い領域である影候補ブロック１６を検出する。

影候補ブロック検出部３０において、前述の画素毎に前景を検出した画素毎前景画像１４と、前述のブロック毎に前景を検出したブロック毎前景画像１５とを比較することで、影である可能性の高いブロック（影候補ブロック１６）を推定、検出する。図４の例のように、画素毎前景画像１４では動物体（被写体）の部分に加え、その影領域も含めた形で前景が検出される可能性が高い。一方ブロック毎前景画像１５では、［背景画像１３−現在画像１２の背景部（日向）］の間の相関値は高い値（類似度が高い）となり、［背景画像１３−現在画像１２の被写体部（動物体部）］の間の相関値は小さい値となる（類似性が低い）ことが期待される。一方、［背景画像１３−現在画像１２（被写体の日影部分）］の間の相関値は、おおよそ、これらの中間程度の値をとると期待できる。したがってブロック毎の相関値が中程度以上であり、かつそのブロック内の画素が画素毎前景画像１４において前景となっている場合、そのブロックは被写体の影となっている可能性が高いと考えることができる。この考え方に従い影候補ブロック検出部３０では、相関値が中程度以上（予め経験的に設定したしきい値以上）であるブロックについて、画素毎前景画像１４において前景となっている画素が一定の割合を超える場合、例えばブロック全体の画素数に対して80%以上が前景画素となっている等の場合に、当該ブロックを、その時点の現在画像１２における影候補ブロック１６として検出する。

影状態推定部３２は、以下に説明するように、影候補ブロック検出部３０で検出された影候補ブロック１６と、背景画像１３と、現在画像１２とに基づいて、影の状態を示す影状態パラメータ１７を推定する。ここでは、背景画像１３における影候補ブロック１６と、現在画像１２における影候補ブロック１６とに基づいて、背景が日向の状態にある場合と、背景が日影の状態にある場合との輝度比を影状態パラメータ１７として推定する。具体的には、影候補ブロック１６の各々において、背景画像１３と現在画像１２との輝度比を投票テーブルに投票し、投票テーブルにおいて最頻値を与える輝度比を求めることで、影状態パラメータ１７を推定する。

影状態推定部３２では、検出された影候補ブロック１６において、背景画像１３と現在画像１２とを比較することにより、背景が日向である場合と被写体の日影に入っている場合とでどのように状態が変化するかを分析し、その変化を定量的に表現した影状態パラメータ１７を推定する。この影状態パラメータ１７としては、影が日向と比べ一定程度暗くなることに注目した輝度比や、影が日向と比べ色味が変わる（晴天時は日影は青くなる等）ことに注目した色味の変化量（例：La*b*表色系におけるa*b*の変化量など）、様々な指標が考えられるが、ここではその一例として輝度比を影状態パラメータ１７とした場合について説明する。

ここでは影の状態を示すため、輝度比＝被写体の日影にある場合の背景の画素値／日向にある場合の背景の画素値、と定義する。この輝度比は日向である場合に比べ、日影の輝度値がどの程度小さくなるかを定量的に表現している。以下、この輝度比の算出、推定方法を具体的に説明する。

影状態推定部３２は、まず、検出された影候補ブロック１６の各々において、影候補ブロック１６内に対応する現在画像１２の画素の平均値、及び影候補ブロック１６内に対応する背景画像１３の画素の平均値を求め、前者を後者で除した値、つまり影候補ブロック１６毎の輝度比を算出する。輝度比を現在画像１２中に存在する全ての影候補ブロック１６について算出し、現在まで、又は現在までのある一定期間に累積された輝度比の平均値や最頻値を算出することで輝度比の推定値とする。最頻値の算出においては、影候補ブロック１６毎の輝度比の値を一定の値の幅で離散化して最頻値を求める方法（いわゆる投票計算：影候補ブロック１６毎の輝度比を１票ずつ対応するbinに加算していく計算）を用いても良い。また照明条件が急激に変化する場合を除けば、この輝度比はごく短時間では変化しないものと考えることができるので、投票テーブルを少しずつ更新していく方式（移動平均：RunningAverage等）とすることで、一時的、部分的なノイズの影響を抑制することができる。なお、上記における画像の輝度値はRGBの画素値のそれぞれについて計算しても良いし、Gなど特定のチャネルだけ、またはRGBから計算した輝度値（LSV、La*b*等のL）について計算しても良い。

影領域除去部３４は、画素毎前景画像１４と、背景画像１３と、現在画像１２とに基づいて、前景である画素を含むブロックの各々について、影状態パラメータ１７に対応する指標を算出し、画素毎前景画像１４から、推定された影状態パラメータ１７に合致する部分を除去することにより、影領域除去前景を検出する。

影領域除去部３４では、影状態推定部３２で得られた影状態パラメータ１７を用いて、影の部分を除去した前景画像を最終的に作成する。前述したように画素毎前景画像１４は影領域も前景として検出している可能性が高い。一方で相関によるブロック毎前景画像１５では、影の部分では相関値が中程度以上になっていることが期待できるが、たまたま背景と前景とで高い相関値をとるケースも発生するため、この相関値だけから前景を決定すると多くの誤差（前景の検出漏れ、誤検出など）が発生する可能性がある。これらを踏まえて、以下の手順で影を除去した前景画像を作成する。

画素毎前景画像１４を参照し、ブロック内に画素毎前景が一定割合以上存在するブロックの各々において、背景画像１３及び現在画像１２に基づいて、影状態パラメータ１７に対応する指標を算出する。次に、当該指標が影状態パラメータ１７に合致する場合には、当該ブロック内の前景画素に対応する部分を、画素毎前景画像１４から除外する。これによって画素毎前景画像１４から影状態パラメータ１７に合致する部分、つまり影である可能性が高い画素を除外することができる。この画素毎前景画像１４から影である可能性が高い画素を除外したものを最終的な前景画像（影領域除去前景画像１８）とする。

ここで影状態パラメータ１７として前述の輝度比を用いる場合であれば、画素毎前景となっているブロックについて、現在画像１２の画素値の平均値及び背景画像１３の画素値の平均値を求め、この比の値が、その時点までに算出されている、つまり前の現在画像１２のフレームまでに算出されている輝度比の値に近い（一定の閾値以内の輝度比となっている）場合に、このブロックを影の前景と見なし画素毎画像からこのブロック内の前景を除去する。なお前景を除去するかどうかの判定は、上記のように影状態パラメータ１７に基づく判定だけでなく、相関値の大きさやなど他の情報を含めて総合的に判断しても良い。

＜本発明の実施の形態に係る前景領域抽出装置の作用＞

次に、本発明の実施の形態に係る前景領域抽出装置１００の作用について説明する。前景領域抽出装置１００は、図５に示す前景領域抽出処理ルーチンを繰り返し実行する。

まず、ステップＳ１００では、画像入力部２２において、現在画像１２の入力を受け付ける。

次に、ステップＳ１０２では、ステップＳ１００で受け付けた現在画像１２の時系列から、動物体が存在しない状態の画像である背景画像１３を作成する。

ステップＳ１０４では、ステップＳ１００で受け付けた現在画像１２と、ステップＳ１０２で作成された背景画像１３とに基づいて、各画素の輝度値の変動に基づいて画素毎に前景を検出し、画素毎前景画像１４を出力する。

ステップＳ１０６では、ステップＳ１００で受け付けた現在画像１２と、ステップＳ１０２で作成された背景画像１３とに基づいて、ブロック単位に画像間の画像パターンの類似性を評価することで、ブロック単位に前景を検出し、ブロック毎前景画像１５を出力する。

ステップＳ１０８では、ステップＳ１０４で出力された画素毎前景画像１４と、ステップＳ１０６で出力されたブロック毎前景画像１５とを比較することで、影である可能性が高い領域である影候補ブロック１６を検出する。

ステップＳ１１０では、ステップＳ１０８で検出された影候補ブロック１６と、背景画像１３と、現在画像１２とに基づいて、影の状態を示す影状態パラメータ１７を推定する。ここでは、背景画像１３における影候補ブロック１６と、現在画像１２における影候補ブロック１６とに基づいて、背景が日向の状態にある場合と、背景が日影の状態にある場合との輝度比を影状態パラメータ１７として推定する。具体的には、影候補ブロック１６の各々において、背景画像１３と現在画像１２との輝度比を投票テーブルに投票し、投票テーブルにおいて最頻値を与える輝度比を求めることで、影状態パラメータ１７を推定する。

ステップＳ１１２では、画素毎前景画像１４と、背景画像１３と、現在画像１２とに基づいて、前景である画素を含むブロックの各々について、影状態パラメータ１７に対応する指標を算出し、画素毎前景画像１４から、ステップＳ１１０で推定された影状態パラメータ１７に合致する部分を除去することにより、影領域除去前景を検出し、影領域除去前景画像１８を出力して処理を終了する。

以上説明したように、本発明の実施の形態に係る前景領域抽出装置によれば、入力された現在画像の時系列から、動物体が存在しない状態の画像である背景画像を作成し、各画素の輝度値の変動に基づいて画素毎に前景を検出し、画素毎前景画像を出力し、ブロック単位に画像間の画像パターンの類似性を評価することで、ブロック単位に前景を検出し、ブロック毎前景画像を出力し、画素毎前景画像と、ブロック毎前景画像とを比較することで、影である可能性が高い領域である影候補ブロックを検出し、検出された影候補ブロックと、画素毎前景画像と、背景画像と、現在画像とに基づいて、画素毎前景画像から、影である可能性が高い領域が除去された影領域除去前景を検出することにより、濃い影が出る場合であっても、前景の領域を精度よく抽出することができる。

なお、本発明は、上述した実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。

例えば、前述した影候補ブロック１６の検出において、背景画像１３における影候補ブロック１６と、現在画像１２における影候補ブロック１６とを比較し、画像間の関係が一定の条件を満たさないブロックは、影候補ブロック１６から除外することで、前述の影状態（影状態パラメータ１７）の推定精度を高めることができる。条件としては、例えば、太陽又は空の光の強度又は色を含む照明条件に関する先験知識と整合するか否かである。先験知識の具体的な例を一つ挙げておく。太陽の直射光と大気からの散乱光（青空など）の物理的な性質から、太陽直射光に対して空からの散乱光のほうが青味が強くなるため（大気のレイリー散乱の性質に起因）、背景画像１３（日向の背景を想定）に対して現在画像１２（日影の背景を想定）の色味が青くなっていない場合には、上記の条件を満たさないものとし、影候補ブロック１６から除外する。ここで青味についての判定は、RGB毎のブロック毎の輝度比において青の値が最小になっていない場合に影候補ブロック１６から除外する等で実行できる。

また、本発明の実施の形態では影状態パラメータ１７を算出し利用しているが、これに限定されるものではない。例えば、影状態パラメータ１７を算出する代わりに、影候補ブロック１６として検出された際のブロック内の現在画像１２そのものを記録しておき、利用してもよい。例えば一つ前の時刻の影候補ブロックと、対応する現在画像のブロックとを比較（画像としての類似性を評価する。この場合、例えば単純な相関もしくは正規化相関で良い）することで、画像同士のブロックがある程度一致する場合には、被写体の影になっていると判定することも可能である。なお同じブロック位置で検出された画像については、移動平均ですこしずつ更新するなどの処理を行うことで一時的なノイズ（判定の誤り）の影響を抑制することができる。

１１ 画像系列
１２ 現在画像
１３ 背景画像
１４ 画素毎前景画像
１５ ブロック毎前景画像
１６ 影候補ブロック
１７ 影状態パラメータ
１８ 影領域除去前景画像
２２ 画像入力部
２４ 背景画像作成部
２６ 画素毎前景検出部
２８ ブロック毎前景検出部
３０ 影候補ブロック検出部
３２ 影状態推定部
３４ 影領域除去部
１００ 前景領域抽出装置

Claims (8)

1. 固定カメラで撮影した映像を用いて、撮影場所に一時的に表れた動物体に対応する画像上の前景の領域を抽出する前景領域抽出装置であって、
   時系列順に現在画像の入力を受け付ける画像入力部と、
   前記入力された現在画像の時系列から、前記動物体が存在しない状態の画像である背景画像を作成する背景画像作成部と、
   前記入力された現在画像と、前記作成された背景画像とに基づいて、各画素の輝度値の変動に基づいて画素毎に前景を検出し、画素毎前景画像を出力する画素毎前景検出部と、
   前記現在画像と、前記作成された背景画像とに基づいて、ブロック単位に画像間の画像パターンの類似性を評価することで、前記ブロック単位に前景を検出し、ブロック毎前景画像を出力するブロック毎前景検出部と、
   前記画素毎前景画像と、前記ブロック毎前景画像とを比較することで、影である可能性が高い領域である影候補ブロックを検出する影候補ブロック検出部と、
   前記検出された影候補ブロックと、前記画素毎前景画像と、前記背景画像と、前記現在画像とに基づいて、前記画素毎前景画像から、影である可能性が高い領域が除去された影領域除去前景を検出する影領域除去部と、
   を含む前景領域抽出装置。
2. 前記検出された前記影候補ブロックと、前記背景画像と、前記現在画像とに基づいて、影の状態を示す影状態パラメータを推定する影状態推定部を更に含み、
   前記影領域除去部は、前記推定された前記影状態パラメータと、前記画素毎前景画像と、前記背景画像と、前記現在画像とに基づいて、前記影領域除去前景を検出する請求項１に記載の前景領域抽出装置。
3. 前記影状態推定部は、前記背景画像における前記影候補ブロックと、前記現在画像における前記影候補ブロックとに基づいて、背景が日向の状態にある場合と、背景が日影の状態にある場合との輝度比を前記影状態パラメータとして推定する請求項２に記載の前景領域抽出装置。
4. 前記影状態推定部は、前記背景画像における前記影候補ブロックと、前記現在画像における前記影候補ブロックとに基づいて、前記影候補ブロックの各々において、前記背景画像と前記現在画像との輝度比を投票テーブルに投票し、前記投票テーブルにおいて最頻値を与える輝度比を求めることで、前記影状態パラメータを推定する請求項３に記載の前景領域抽出装置。
5. 前記影候補ブロック検出部は、前記検出された前記影候補ブロックについて、前記現在画像と前記背景画像とを比較し、画像間の関係が、太陽又は空の光の強度における物理的な性質についての、前記背景画像に対する前記現在画像の色の条件に関する先験知識と整合するか否かの条件判定を行い、条件を満たさないブロックは影候補ブロックから除外する請求項１〜請求項４の何れか１項に記載の前景領域抽出装置。
6. 前記ブロック毎前景検出部は、前記現在画像と、前記背景画像とに対して、ブロック単位に、空間微分した後に、ブロック単位に、画像間で正規化相関を算出し、算出された相関値に基づいて、前記ブロック単位に前景を検出する請求項１〜請求項５の何れか１項に記載の前景領域抽出装置。
7. 固定カメラで撮影した映像を用いて、撮影場所に一時的に表れた動物体に対応する画像上の前景の領域を抽出する前景領域抽出装置における前景領域抽出方法であって、
   画像入力部が、時系列順に現在画像の入力を受け付けるステップと、
   背景画像作成部が、前記入力された現在画像の時系列から、前記動物体が存在しない状態の画像である背景画像を作成するステップと、
   画素毎前景検出部が、前記入力された現在画像と、前記作成された背景画像とに基づいて、各画素の輝度値の変動に基づいて画素毎に前景を検出し、画素毎前景画像を出力するステップと、
   ブロック毎前景検出部が、前記現在画像と、前記作成された背景画像とに基づいて、ブロック単位に画像間の画像パターンの類似性を評価することで、前記ブロック単位に前景を検出し、ブロック毎前景画像を出力するステップと、
   影候補ブロック検出部が、前記画素毎前景画像と、前記ブロック毎前景画像とを比較することで、影である可能性が高い領域である影候補ブロックを検出するステップと、
   影領域除去部が、前記検出された影候補ブロックと、前記画素毎前景画像と、前記背景画像と、前記現在画像とに基づいて、前記画素毎前景画像から、影である可能性が高い領域が除去された影領域除去前景を検出するステップと、
   を含む前景領域抽出方法。
8. コンピュータを、請求項１〜請求項６のいずれか１項に記載の前景領域抽出装置の各部として機能させるためのプログラム。