JP6436077B2 - 画像処理システム、画像処理方法及びプログラム - Google Patents

Description

本発明に係るいくつかの態様は、画像処理システム、画像処理方法及びプログラムに関する。

近年、例えばビデオ監視などにおいて、置き去りにされた物体や一定時間以上滞留する人物を特定することが考えられている（例えば、特許文献１参照）。特許文献１では、シーン中の動きを複数の時間スケールで解析し、長期背景モデル及び短期背景モデルを比較する。これにより、シーンの主に静止した背景部分と、動的な前景部分と、或る時間に渡って静止している置き去り物体とにそれぞれ属する画素を区別している。

特許第５０５８０１０号公報

しかしながら、特許文献１記載の手法では、処理対象とする時間スケール中に人流が頻繁に発生する等の、映像が随時変化する場合には、好適な背景モデルを生成することができないために、置き去り物体を好適に検出することが困難である。

本発明のいくつかの態様は前述の課題に鑑みてなされたものであり、静止する物体を好適に検出することのできる画像処理システム、画像処理方法及びプログラムを提供することを目的の１つとする。

本発明に係る画像処理システムは、複数の時刻にそれぞれ撮影された入力画像に対して、静止領域をそれぞれ特定する第１の特定手段と、処理時刻から第１の時間幅内に撮影された各入力画像の静止領域に基づいて第１の画像を生成すると共に、前記処理時刻から第２の時間幅内に撮影された各画像の静止領域に基づいて第２の画像を生成する画像生成手段と、前記第１の画像と前記第２の画像とを比較した結果、差異のある領域を特定する第２の特定手段とを備える。

本発明に係る画像処理方法は、複数の時刻にそれぞれ撮影された入力画像に対して、静止領域をそれぞれ特定するステップと、処理時刻から第１の時間幅内に撮影された各入力画像の静止領域に基づいて第１の画像を生成すると共に、前記処理時刻から第２の時間幅内に撮影された各画像の静止領域に基づいて第２の画像を生成するステップと、前記第１の画像と前記第２の画像とを比較した結果、差異のある領域を特定するステップとを画像処理システムが行う。

本発明に係るプログラムは、複数の時刻にそれぞれ撮影された入力画像に対して、静止領域をそれぞれ特定する処理と、処理時刻から第１の時間幅内に撮影された各入力画像の静止領域に基づいて第１の画像を生成すると共に、前記処理時刻から第２の時間幅内に撮影された各画像の静止領域に基づいて第２の画像を生成する処理と、前記第１の画像と前記第２の画像とを比較した結果、差異のある領域を特定する処理とをコンピュータに実行させる。

なお、本発明において、「部」や「手段」、「装置」、「システム」とは、単に物理的手段を意味するものではなく、その「部」や「手段」、「装置」、「システム」が有する機能をソフトウェアによって実現する場合も含む。また、１つの「部」や「手段」、「装置」、「システム」が有する機能が２つ以上の物理的手段や装置により実現されても、２つ以上の「部」や「手段」、「装置」、「システム」の機能が１つの物理的手段や装置により実現されても良い。

本発明によれば、静止する物体を好適に検出することのできる画像処理システム、画像処理方法及びプログラムを提供することができる。

入力画像の具体例を示す図である。 入力画像に対して特定した背景領域の具体例を示す図である。 背景画像の生成方法の具体例を示す図である。 第１実施形態に係る画像処理システムの概略構成を示す機能ブロック図である。 時間窓に応じた静止物体検出の具体例を説明するための図である。 時間窓に応じた静止物体検出の具体例を説明するための図である。 図１に示す情報処理サーバの処理の流れを示すフローチャートである。 図１に示す情報処理サーバを実装可能なハードウェアの構成を示すブロック図である。 実施例に係る入力画像を示す図である。 第２実施形態に係る監視装置の概略構成を示す機能ブロック図である。

以下に本発明の実施形態を説明する。以下の説明及び参照する図面の記載において、同一又は類似の構成には、それぞれ同一又は類似の符号が付されている。

（１ 第１実施形態）
図１乃至図８は、第１実施形態を説明するための図である。以下、これらの図を参照しながら、以下の流れに沿って本実施形態を説明する。まず、「１．１」で本実施形態における静止物体（人物も含む）の検出方法の概要を説明する。その後、「１．２」で本実施形態に係る画像処理システムの機能構成の概要を、「１．３」で時間窓に応じた静止物体抽出の具体例を説明する。「１．４」では処理の流れを、「１．５」では本画像処理システムを実現可能なハードウェア構成の具体例を示す。最後に、「１．６」以降で、本実施形態に係る効果などを説明する。

（１．１ 概要）
本実施形態に係る画像処理システムは、例えば監視カメラ等で撮影される画像から、一定期間静止（停止）する物体を検出するためのものである。ここで、本画像処理システムが検出可能な「物体」には、人物や動物を含む各種移動体、人物が放置した放置物等を全て含む。

ここで、例えば長期間（以下、長期時間窓ともいう。）に撮影された多数の撮影画像を平均化等することにより背景画像を作り、この背景画像と、それよりも短い短期間（以下、短期時間窓ともいう。）に撮影された撮影画像を平均化等した背景画像と比較することにより、当該短期間内に、長く映る物体を抽出することも考えられる。このように、一定期間内の撮影画像から平均的な画像（背景画像）を生成すれば、この画像では、例えばすぐにフレームアウトするような移動物体（人物を含む）等の影響を低く抑えることができるため、静止物体を抽出しやすくなる。なお、本実施形態では、複数の画像を元に生成されることにより、移動物体の影響が低く抑えられた画像を背景画像と呼ぶ。

しかしながら、このような手法では、人流が常に発生するような場合には、撮影画像を平均化等したとしても、人流の影響が大きく残ってしまうため、当該人流の背景への溶けこみ具合が長期時間窓の画像と短期時間窓とで変わってしまい、結果として静止物の検出漏れや誤検出が発生しやすくなる。

そこで本実施形態では、撮影画像から、まず移動物体の領域（以下、「前景領域」ともいう。）と、それ以外の静止領域（以下、「背景領域」ともいう。また、「静止領域」とは、全く動きのない場合のみをいうものではなく、例えば、動きが閾値よりも小さい領域も静止領域というものとする。）とを分離した上で、各撮影画像の静止領域を時間方向に平均化等することにより、背景画像を生成する。これにより、人流等が発生していた場合であっても、人流発生領域は前景領域となるため、生成される背景画像へ人流等への影響を抑えることが可能となる。これにより、長期時間窓の背景画像と短期時間窓の背景画像とを比較すれば、好適に静止物体（長時間とどまっている物体）を検出することが可能となる。以下、図１乃至図３を参照しながら、処理の流れの具体例を説明する。

図１は、時刻ｔ−４〜時刻ｔにそれぞれ撮影された入力画像の具体例を示す図である。ここで、時刻ｔ−４及び時刻ｔ−３の画像においては誰も映っておらず、時刻ｔ−２乃至時刻ｔの画像では、人物が映っている。また、時刻ｔ−２では人物は移動しているが、時刻ｔ−１及び時刻ｔでは、人物は停止している。

本実施形態に係る画像処理システムでは、図１に示したような各入力画像に対し、移動領域（前景領域）と静止領域（背景領域）とに分ける。図２は、図１の入力画像のうち、静止領域のみを抽出した場合の画像の例を示す図である。

前述したように、時刻ｔ−２の画像では人物が移動しているので、当該人物を含む領域が移動領域として画像から除かれている。一方、他の画像に関しては、移動領域が存在しないため、換言すると、画像全体が静止領域であるため、入力画像のまま変化していない。

図３に示すように、本実施形態に係る画像処理システムは、このように静止領域のみを抽出した各画像から、複数の時間窓に対して背景画像を生成する。この背景画像は、例えば、現在時刻ｔから過去一定期間内に撮影された各画像の静止領域に対して、画素値の平均値、中央値、または最頻値を画像内の各画素に対して求めることにより生成することができる。背景画像を短期時間窓と長期時間窓のそれぞれに対して生成すれば、画像処理システムは両者を比較した上で、差異が閾値を超える画素を抽出し、当該画素領域を、静止物体領域として特定する。

なお、図３の例において、長期時間窓に対する背景画像では人物が表示されていないが、これは、背景画像を生成する際に、各画像に対する例えば画素値の最頻値や中央値等を取ることにより、短期間しか表示されていない人物の影響が弱くなるためである。

（１．２ システム概要）
以下、図４を参照しながら、本実施形態に係る画像処理システム１のシステム構成を説明する。図４は、画像処理システム１のシステム構成を示すブロック図である。

画像処理システム１は、画像入力部４１０と、前景・背景分離部４２０と、背景画像生成部４３０と、背景画像記憶部４４０と、背景画像比較部４５０と、静止領域判定部４６０と、出力部４７０とを含む。

画像入力部４１０は、図示しない監視カメラなどである撮影装置から入力される映像に含まれるフレーム画像の入力を順次受ける。各フレーム画像は、それぞれ撮影時刻の異なる画像である。若しくは、画像入力部４１０は、図示しないＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やＶＣＲ（Ｖｉｄｅｏ Ｃａｓｓｅｔｔｅ Ｒｅｃｏｒｄｅｒ）に記憶された映像データを復号して得られるフレーム画像の入力を受けても良い。

前景・背景分離部４２０は、例えば背景差分法やオプティカルフロー等を用いて、画像入力部４１０から入力されてきた入力画像に対して、順次前景領域と背景領域とを分離する。ここで、前景領域は、画像内の動きのある領域であり、背景領域は動きのない（静止している）領域である。ここで、動きの有無の判定は、例えば、動きが閾値を超えているか否かにより判別することができる。動きの有無の判定に用いる閾値は、検出対象である静止物体によって変えてもよい。具体的には、例えば、放置されたスーツケースなどの剛体を検出対象とする場合は、画像内でまったく動きがない領域を背景領域とし、それ以外を前景領域とすれば良い。一方、人物や袋などの非剛体を検出対象とする場合は、多少の揺れや姿勢変動や形状変化による画像内での見えの変化が生じても、変化量が所定の閾値よりも小さい場合は背景領域とし、それ以外を前景領域とすれば良い。つまり、前述の通り、「静止領域」とは、全く動きのない領域のみを指すものではなく、動きの量が閾値よりも小さい領域をいう。また、この閾値は、検出対象に応じて変えることができる。

動きのある前景領域と、静止している背景領域とを分ける際にオプティカルフローを使用する手法では、例えば、マクロブロック単位で、前のフレームと比較した上で、動きのあるブロックを特定する。より具体的には、例えば、処理対象の画像の各マクロブロック（画素の集合）と類似するマクロブロックが、直前に撮影された画像のどこにあるかを調べる（ブロックマッチング）等により特定することができる。
背景差分法を用いる場合には、事前に取得しておいた背景画像と処理対象の画像との差分を比較することにより、移動物体を特定する。

背景画像生成部４３０は、前景・背景分離部４２０で抽出した背景領域（静止領域の画像）と、背景画像記憶部４４０に記憶されている、定められた複数の時間窓内に撮影された画像に係る背景領域とを用いて、背景画像を生成する。この際、背景画像生成部４３０は、各画像の背景領域に係る各画素位置で得られた時間窓分の画素値の平均値、中央値、または最頻値を算出することにより、背景画像を生成することができる。また、定められた各時間窓の長さに対して、前景・背景分離部４２０で抽出した背景画素の数が所定の割合よりも小さい場合は、信頼できる背景生成に足る十分な情報が得られなかった領域として、以降の処理から除外するようにしてもよい。

さらに、背景画像生成部４３０にて、もっとも長い時間窓から背景を生成する（真の背景で構成されていると想定される背景画像を生成する）際に、背景画像記憶部４４０に背景画像と共に記憶されている静止領域情報（例えばマスク画像など）を用い、静止領域以外の背景領域の画素値の平均値、中央値、または最頻値を算出することにより、背景画像を生成してもよい。なぜならば、駅ホームやバス停、レジや券売機やＡＴＭなどの監視映像では同じ位置に一時停留する人物が次々と現れ、前景・背景分離部４２０で抽出した背景領域をそのまま用いると真の背景画像を生成できない場合があるためである。なお、後述の通り、静止領域情報（例えばマスク画像など）は、静止領域判定部４６０により作成される。

ここで、背景画像記憶部４４０は、前景・背景分離部４２０で逐次抽出される、各入力画像の背景領域に係る画像を所定時間分記憶する。このとき背景画像記憶部４４０は、静止領域判定部４６０で生成される、前述の所定時間分の画像に対応する静止領域情報（例えばマスク画像など）を記憶するようにしてもよい。
或いは背景画像記憶部４４０は、背景画像生成部４３０での処理に合わせて、当該背景画像生成部４３０で生成された、各時間窓における背景画像を記憶する。

背景画像比較部４５０は、背景画像生成部４３０が各時間窓に対して生成した背景画像同士を比較する。より具体的には、最も長い時間窓から生成した背景画像（真の背景で構成されていると想定される背景画像）と、それよりも短い時間窓から生成した背景画像とを比較することにより、一定時間静止している静止物体を検出することができる。このとき、複数の時間窓の背景で背景画像を生成することにより、静止物体を、静止時間長に応じて分類して検出することもできる。この方法については、後に図５や図６を参照しながら説明する。

背景画像比較部４５０による背景画像の比較方法としては、例えば、背景画像間の画素値の差の絶対値を用いる方法や、画像上で小さいサイズの矩形領域を走査しながら、矩形領域内の画素値の相関を算出する方法や、矩形領域内の画素値のヒストグラム距離を算出する方法等が考えられる。矩形領域を用いる手法に関しては、例えば、マクロブロックなどの一定のサイズを設定しても良いし、カメラパラメータを用いて、検出対象物体が画像上でどのような大きさで見えるかを考慮した上で、画像上の場所ごとに異なるサイズを設定（例えば、前方が映っている画像領域は矩形領域を大きく、後方が映っている画像領域は矩形領域を小さく）しても良い。

静止領域判定部４６０は、背景画像比較部４５０による比較の結果、例えば閾値を超える差異があった画素を特定した上で、このような画素で構成される画素領域を静止領域として判定する。この際、検出対象である物体の大きさや形状等の特徴が既知であれば、その特徴に合致しない画素領域は除外して判定するようにしてもよい。
また、静止領域判定部４６０は、静止領域判定部４６０にて静止領域と判定された画素領域が存在した場合は、背景画像記憶部４４０に記憶されている最新の背景画像に対して、該当する画素領域に静止物体が存在することを表す情報（例えばマスク画像など）を、背景画像記憶部４４０に記憶させる。
出力部４７０は、静止領域判定部４６０で判定された画素領域の情報（静止物体がある領域の情報）を、外部モジュールへと出力する。

（１．３ 時間窓に応じた静止物体抽出の具体例）
以下、図５及び図６を参照しながら、時間窓に応じた静止物体抽出の具体例を説明する。

複数の異なる時間窓を用いて背景画像を生成する場合には、短い時間窓から生成された背景画像には、真の背景（移動物体を全くまない背景）と、停止時間の短いものから長いものまでの全ての物体とが含まれる。一方、長い時間窓から生成された背景画像には、真の背景と停止時間が長い物体とが含まれ、最も長い時間窓から生成された背景画像には、真の背景のみが含まれる。つまり、いずれかの時間窓の背景画像に、真の背景、及び停止時間が異なる全ての検出物体（一定期間停止した静止物体）が含まれる。

一方で、固定時間長の長期・短期の２つの時間窓のみを用いた場合には、検出対象の静止時間が異なる場合に、真の背景画像と全ての検出対象を含む画像を生成することが困難である。例えば、１５分の長期時間窓と５分の短期時間窓との２つの時間窓を用いて背景画像を生成した場合には、対象の静止時間長が５分前後の場合には良好に検出できるが、静止時間が１０分程度を超えるような、静止時間が長い対象については、長期時間窓及び短期時間窓のいずれの背景画像にも対象が映り込むこととなってしまうため、検出が困難である。また、静止時間長が、例えば１分前後と短い場合には、長期時間窓及び短期時間窓のいずれの背景画像にも対象が映らないこととなってしまう。これらのように、長期時間窓及び短期時間窓の間で差がでない場合には、後段の背景画像比較部４５０で比較したとしても、本来静止物体が存在する領域において差分が得られないため、静止物体として検出することができなくなってしまう。
そこで、本実施形態に係る背景画像生成部４３０は、抽出する静止物体の静止時間長に応じて時間窓を設定する。

図５に示すように、例えば現在時刻（処理対象とする時刻）の４分前から１名の人物が立ち止まり、１分前から現在時刻に至るまでもう１名の人物が立ち止まっている映像を考える。

ここで、（ａ）に示すように、現在時刻から遡って１０分間の時間窓と現在時刻から遡って５分間の時間窓で背景画像を作ることを考えると、１０分間の時間窓で生成した背景画像にはどのような人物も映らず、５分間の時間窓で生成した背景画像には、４分前から立ち止まっている（静止している）人物が映る。しかしながら、１分前から立ち止まっている人物は、いずれの画像にも映らない。これは、例えば各画素の画素値の最頻値を元に背景画像を生成する場合には、少なくとも時間窓内の過半の画像に映っている必要があるためである。
つまり、１０分間の時間窓と５分間の時間窓とを用いる場合には、１分前から立ち止まっている静止物体を抽出することはできない。

一方、（ｂ）に示すように、現在時刻から遡って１０分間の時間窓と５分間の時間窓と１分間の時間窓との３つで背景画像を作ることを考えると、１分間の時間窓には、１分前から立ち止まっている人物が映ることになる。
つまり、現在時刻から遡って１分間以上立ち止まっている人物（物体）を検出する場合には、１分間の時間窓での背景画像を生成すれば良い。
また、図６に示すように、現在時刻から１０分前から１分前まで１名の人物が立ち止まり、６分前から５分前まで１名の人物が立ち止まっている場合を考える。

ここで、現在時刻の１０分前に背景画像を生成する場合を考えると、１０分間の時間窓や５分間の時間窓で生成した背景画像には、人物は映らないが（両方の背景画像には差がないため、両背景画像を集約しても良い）、１分間の時間窓の背景画像を生成すると１名の人物が映る。これにより、現在時刻の１０分前に立ち止まっている人が、１０分前の時点において、１分間立ち止まっている人物として検出できることがわかる。

また、現在時刻の５分前に背景画像を生成することを考えると、１０分間の時間窓で生成した背景画像には人物は映らないが、５分間の時間窓で生成した背景画像には現在時刻の１０分前から立ち止まっている人物が映る。また、１分間の時間窓で生成した背景画像には、現在時刻の１０分前から立ち止まっている人物と、６分前から立ち止まっている人物との２名の人物が映る。
これらの比較により、５分前の時点において、５分間立ち止まっている人物と、１分間立ち止まっている人物とを検出することが可能となる。

更に、現在時刻においては、２０分間の時間窓で生成した背景画像には誰も映らず、１０分間及び５分間の時間窓で生成した背景画像には１０分前から１分前まで立ち止まっていた人物が映り、１分間の時間窓で生成した背景画像には誰も映っていない。

つまり、最も長い時間窓である２０分間の背景画像と、最も短い時間窓である１分間の時間窓の背景画像との間に差がないことから、現在時刻において、立ち止まっている人物がいないことがわかる。

以上説明したように、背景画像生成部４３０が複数の時間窓に係る背景画像を生成し、背景画像比較部４５０が、最も長い時間窓から生成した真の背景と推定される背景画像と、それ以外の異なる時間窓から生成した背景画像とを比較することにより、静止時間が異なる全ての静止物体を検出することができるようになる。特に、複数の時間窓に係る背景画像同士を比較することにより、静止物体を静止時間長に応じて分類することも可能である。例えば、５分以上１５分以下の時間窓により生成した背景画像にのみ映る静止物体や、１５分以上３０分以下の時間窓から生成した背景画像にのみ映る静止物体等に分類して、静止物体を検出することができる。これにより、例えば、静止時間長に応じて、検出された静止物体への動作を変更するといったアプリケーションを開発することが可能となる。

（１．４ 処理の流れ）
以下、画像処理システム１の処理の流れを、図４を参照しながら説明する。図４は、本実施形態に係る画像処理システム１の処理の流れを示すフローチャートである。

なお、後述の各処理ステップは、処理内容に矛盾を生じない範囲で、任意に順番を変更して若しくは並列に実行することができ、また、各処理ステップ間に他のステップを追加しても良い。更に、便宜上１つのステップとして記載されているステップは複数のステップに分けて実行することもでき、便宜上複数に分けて記載されているステップを１ステップとして実行することもできる。

まず、画像入力部４１０は、例えばビデオカメラで撮影された画像や、ビデオカメラで撮影された映像が記録された映像データを順次読みだした上で、当該映像データを復号して得られる画像の入力を受ける（Ｓ７０１）。

前景・背景分離部４２０は、画像入力部４１０から入力された画像のうち、静止している背景領域と、移動が生じている前景領域とに分離する（Ｓ７０３）。生成された背景領域の画像は、例えば背景画像記憶部４４０に記憶される。

背景画像生成部４３０は、予め設定した時間窓内に撮影された各画像のうちの、前景・背景分離部４２０により特定された背景領域を使用して、背景画像を生成する（Ｓ７０５）。このとき背景画像生成部４３０は、抽出する静止物体の静止時間に応じて、複数の時間窓に対して背景画像を生成する。

背景画像比較部４５０は、背景画像生成部４３０が生成した、各時間窓の背景画像をそれぞれ比較し（Ｓ７０７）、静止領域判定部４６０は、その差異が閾値以上である領域を、静止物体の領域として特定する（Ｓ７０９）。出力部４７０は、このようにして特定された静止物体の領域や静止時間の情報を、例えばアプリケーションや記憶媒体などの外部モジュールに対して出力する（Ｓ７１１）。

（１．５ ハードウェア構成）
以下、図８を参照しながら、上述してきた画像処理システム１をコンピュータにより実現する場合のハードウェア構成の一例を説明する。なお前述の通り、画像処理システム１の機能は、複数の情報処理装置により実現することも可能である。

図８に示すように、画像処理システム１は、プロセッサ８０１、メモリ８０３、記憶装置８０５、入力インタフェース（Ｉ／Ｆ）８０７、データＩ／Ｆ８０９、通信Ｉ／Ｆ８１１、及び表示装置８１３を含む。

プロセッサ８０１は、メモリ８０３に記憶されているプログラムを実行することにより画像処理システム１における様々な処理を制御する。例えば、図４で説明した画像入力部４１０、前景・背景分離部４２０、背景画像生成部４３０、背景画像比較部４５０、静止領域判定部４６０、及び出力部４７０に係る処理は、メモリ８０３に一時記憶された上で主にプロセッサ８０１上で動作するプログラムとして実現可能である。

メモリ８０３は、例えばＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の記憶媒体である。メモリ８０３は、プロセッサ８０１によって実行されるプログラムのプログラムコードや、プログラムの実行時に必要となるデータを一時的に記憶する。例えば、メモリ８０３の記憶領域には、プログラム実行時に必要となるスタック領域が確保される。

記憶装置８０５は、例えばハードディスクやフラッシュメモリ等の不揮発性の記憶媒体である。記憶装置８０５は、オペレーティングシステムや、画像入力部４１０、前景・背景分離部４２０、背景画像生成部４３０、背景画像比較部４５０、静止領域判定部４６０、及び出力部４７０を実現するための各種プログラムや、背景画像記憶部４４０を含む各種データ等を記憶する。記憶装置８０５に記憶されているプログラムやデータは、必要に応じてメモリ８０３にロードされることにより、プロセッサ８０１から参照される。

入力Ｉ／Ｆ８０７は、ユーザからの入力を受け付けるためのデバイスである。入力Ｉ／Ｆ８０７の具体例としては、キーボードやマウス、タッチパネル等が挙げられる。入力Ｉ／Ｆ８０７は、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）等のインタフェースを介して画像処理システム１に接続されても良い。

データＩ／Ｆ８０９は、情報処理サーバ１００の外部からデータを入力するためのデバイスである。データＩ／Ｆ８０９の具体例としては、各種記憶媒体に記憶されているデータを読み取るためのドライブ装置等がある。データＩ／Ｆ８０９は、画像処理システム１の外部に設けられることも考えられる。その場合、データＩ／Ｆ８０９は、例えばＵＳＢ等のインタフェースを介して画像処理システム１へと接続される。

通信Ｉ／Ｆ８１１は、画像処理システム１の外部の装置、例えばビデオカメラ等との間で有線又は無線によりデータ通信するためのデバイスである。通信Ｉ／Ｆ８１１は画像処理システム１の外部に設けられることも考えられる。その場合、通信Ｉ／Ｆ８１１は、例えばＵＳＢ等のインタフェースを介して画像処理システム１に接続される。

表示装置８１３は、各種情報を表示するためのデバイスである。表示装置８１３の具体例としては、例えば液晶ディスプレイや有機ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等が挙げられる。表示装置８１３は、画像処理システム１の外部に設けられても良い。その場合、表示装置８１３は、例えばディスプレイケーブル等を介して画像処理システム１に接続される。

（１．６ 本実施形態に係る効果）
以上説明したように、各入力画像に対して、移動領域（前景領域）と静止領域（背景領域）とに分離した上で、時間窓内に撮影された各画像の静止領域を元に、背景画像を生成する。このようにすることで、常に移動が発生しているような領域で、当該移動が背景に溶けこむことで生じる静止物体の検出漏れや誤検出を抑制することができる。

また、本実施形態に係る手法では、任意に設定可能な複数の時間窓を用いて静止物体の検出を行なっている。これにより、様々な静止時間の静止物体を抽出することが可能となると共に、静止物体を静止時間に応じて分類することも可能となる。
つまり、本実施形態に係る画像処理システム１では、好適に静止する物体を検出することができる。

（１．７ 実施例）
以下、本実施形態に係る画像処理システム１による処理の具体的な実施例を説明する。ここでは、天候や時間帯により大きく照明が変動する街頭を撮影する監視カメラのシステムに、図４に示した画像処理システム１を適用した場合を想定し、置き去りにされた鞄を抽出する例を説明する。

図９は、本実施例において入力される入力画像を示す図である。図９は、鞄が置き去りにされた様子を説明するための図である。図９は、街頭に設置された監視カメラの撮影画角内に、現在時刻から１分３秒前に鞄を所持する人物が入りこみ、その人物は前進した上で１分１秒前の時点で鞄を置き去りにして、１分前の時点でフレームアウトしている。鞄は、１分１秒前から現在まで鞄が置き去りにされている。

画像入力部４１０は、街頭に設置された監視カメラから入力される映像に含まれるフレーム画像の入力を順次受ける。本実施例においては、画像入力部４１０は、図９に示すフレーム画像の入力を受ける。

前景・背景分離部４２０は、画像入力部４１０から入力されてきた入力画像に対して、順次前景領域と背景領域とを分離する。図９に示すように、本実施例においては、現在より１分１秒前から鞄が静止しているため、それまでは前景領域であった鞄も背景領域として分離されることになる。

背景画像生成部４３０は、前景・背景分離部４２０で抽出した背景領域（静止領域の画像）と、背景画像記憶部４４０に記憶されている、定められた複数の時間窓内に撮影された画像に係る背景領域とを用いて、背景画像を生成する。

背景画像生成部４３０は、例えば、３０秒間の時間窓と、５分間の時間窓と、１０分間の時間窓とのそれぞれで背景画像を生成する。その場合、背景画像生成部４３０は、前景・背景分離部４２０で抽出した背景領域と、背景画像記憶部４４０に記憶されている過去３０秒の間で生成された背景領域とを用いて、３０秒間の時間窓の背景画像を生成する。同様にして、背景画像生成部４３０は、前景・背景分離部４２０で抽出した背景領域と、過去５分の間で生成された背景領域とを用いて、５分間の時間窓の背景画像を生成する。同様にして背景画像生成部４３０は、１０分間の時間窓の背景画像を生成する。

本実施例において、１０分間の時間窓の背景画像は、真の背景で構成されていると想定される画像である。天候や時間帯によって明るさ等が大きく異なるため、街頭に設置された監視カメラが撮影する画像は、照明変動の影響を大きく受け、真の背景を映した背景画像も安定することはなく時間毎に異なる。そのため、真の背景画像として固定の背景画像を用いると、滞留物（本実施例においては鞄）の検知に関し、誤検知が多くなってしまう。一方、本実施例の場合は、背景画像を逐次生成するため照明変動の影響を抑えて精度良く滞留物を検知することができる。

背景画像記憶部４４０は、前景・背景分離部４２０で逐次抽出される、各入力画像の背景領域に係る画像を所定時間分記憶する。本実施例においては、現在より１０分前から１分１秒前までは真の背景のみを映した背景領域が記憶され、１分１秒前から現在までは真の背景に加え鞄が背景領域として記憶される。

背景画像比較部４５０は、真の背景で構成される１０分間及び５分間の時間窓の背景画像と、真の背景に鞄が含まれる３０秒間の時間窓の背景画像とを比較する。

静止領域判定部４６０は、１０分間及び５分間の時間窓の背景画像と、３０秒間の時間窓の背景画像との比較の結果、差異が閾値を超える領域として鞄が映る領域を静止領域として判定する。なお、仮に真の背景で構成される画像として日中の背景を映した固定背景画像を用いた場合、例えば現在時刻が夕方であるような場合に、照明変動の影響から固定背景画像と現在時刻の画像との差異が大きく誤検知を多発することになる。
出力部４７０は、鞄が映る画素領域の情報を、外部モジュールへと出力する。

以上、本実施例により説明したように、照明変動の影響を抑えながら精度良く滞留物を検知することができる。その理由は、本実施形態にかかる画像処理システム１では、固定の背景画像を用いるのではなく、逐次、複数の背景領域から複数の異なる時間窓で背景画像を生成した上で、これらの背景画像を比較するからである。本実施形態を監視システムに適用することで、街頭における滞留物（置き去り）の検知だけでなく、たむろ、うろつき、落書き等の検知を行うこともできる。

なお、長期時間窓で生成される背景画像（長期背景モデル）は、予め日向の状態と日陰の状態を時間毎に生成しておく等、複数バリエーションを事前に生成しておき、背景画像記憶部４４０又は図示しない記憶部に記憶しておいても良い。その場合、本実施形態に係る画像処理システムは、例えば中期窓の背景画像と、短期窓の背景画像は逐次生成し、長期時間窓の背景画像は、記憶部に記憶されているモデルを状況に応じて切り替えて使用するようにしても良い。これにより、本実施形態は、照明変動の他、デジタルサイネージに表示される広告やエレベータのドア等、一部の背景領域に予め定められた変化が生じる場合にも有効に作用する。

（２ 第２実施形態）
以下、第２実施形態を、図１０を参照しながら説明する。図１０は、画像処理システム１０００の機能構成を示すブロック図である。図１０に示すように、画像処理システム１０００は、第１特定部１０１０と、画像生成部１０２０と、第２特定部１０３０とを含む。
第１特定部１０１０は、複数の時刻にそれぞれ撮影された入力画像に対して、動きのない静止領域をそれぞれ特定する。

画像生成部１０２０は、処理時刻から第１の時間幅内に撮影された各入力画像の静止領域に基づいて第１の画像を生成すると共に、処理時刻から第２の時間幅内に撮影された各画像の静止領域に基づいて第２の画像を生成する。
第２特定部１０３０は、第１の画像と第２の画像とを比較した結果、差異のある領域を特定する。
このように実装することで、本実施形態に係る画像処理システム１０００によれば、静止する物体を好適に検出することができる。

（３ 付記事項）
なお、前述の実施形態の構成は、組み合わせたり或いは一部の構成部分を入れ替えたりしてもよい。また、本発明の構成は前述の実施形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加えてもよい。

なお、前述の各実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。また、本発明のプログラムは、上記の各実施形態で説明した各動作を、コンピュータに実行させるプログラムであれば良い。

（付記１）
複数の時刻にそれぞれ撮影された入力画像に対して、静止領域をそれぞれ特定する第１の特定手段と、処理時刻から第１の時間幅内に撮影された各入力画像の静止領域に基づいて第１の画像を生成すると共に、前記処理時刻から第２の時間幅内に撮影された各画像の静止領域に基づいて第２の画像を生成する画像生成手段と、前記第１の画像と前記第２の画像とを比較した結果、差異のある領域を特定する第２の特定手段とを備える画像処理システム。

（付記２）
前記第２の時間幅は、前記第１の時間幅よりも長い時間幅である、付記１記載の画像処理システム。

（付記３）
前記画像生成手段は、前記第１の時間幅及び前記第２の時間幅を含む複数の時間幅のそれぞれに対して、前記第１の画像及び前記第２の画像を含む複数の画像を生成し、前記第２の特定手段は、前記複数の画像をそれぞれ比較する、付記１又は付記２記載の画像処理システム。

（付記４）
前記画像生成手段は、前記処理時刻から前記第１の時間幅及び前記第２の時間幅内に撮影された各入力画像の静止領域に対し、各画素値の最頻値、中央値または平均値のいずれかをそれぞれの画素に対して求めることにより、前記第１の画像及び前記第２の画像を生成する、付記１乃至付記３のいずれか１項記載の画像処理システム。

（付記５）
前記第１の時間幅及び前記第２の時間幅は任意に設定可能である、付記１乃至付記４のいずれか１項記載の画像処理システム。

（付記６）
複数の時刻にそれぞれ撮影された入力画像に対して、静止領域をそれぞれ特定するステップと、処理時刻から第１の時間幅内に撮影された各入力画像の静止領域に基づいて第１の画像を生成すると共に、前記処理時刻から第２の時間幅内に撮影された各画像の静止領域に基づいて第２の画像を生成するステップと、前記第１の画像と前記第２の画像とを比較した結果、差異のある領域を特定するステップとを画像処理システムが行う画像処理方法。

（付記７）
前記第２の時間幅は、前記第１の時間幅よりも長い時間幅である、付記６記載の画像処理方法。

（付記８）
前記第１の時間幅及び前記第２の時間幅を含む複数の時間幅のそれぞれに対して、前記第１の画像及び前記第２の画像を含む複数の画像を生成し、前記複数の画像をそれぞれ比較する、付記６又は付記７記載の画像処理方法。

（付記９）
前記画像生成手段は、前記処理時刻から前記第１の時間幅及び前記第２の時間幅内に撮影された各入力画像の静止領域に対し、各画素値の最頻値、中央値または平均値のいずれかをそれぞれの画素に対して求めることにより、前記第１の画像及び前記第２の画像を生成する、付記６乃至付記８のいずれか１項記載の画像処理方法。

（付記１０）
前記第１の時間幅及び前記第２の時間幅は任意に設定可能である、付記６乃至付記９のいずれか１項記載の画像処理方法。

（付記１１）
複数の時刻にそれぞれ撮影された入力画像に対して、静止領域をそれぞれ特定する処理と、処理時刻から第１の時間幅内に撮影された各入力画像の静止領域に基づいて第１の画像を生成すると共に、前記処理時刻から第２の時間幅内に撮影された各画像の静止領域に基づいて第２の画像を生成する処理と、前記第１の画像と前記第２の画像とを比較した結果、差異のある領域を特定する処理とをコンピュータに実行させるプログラム。

（付記１２）
前記第２の時間幅は、前記第１の時間幅よりも長い時間幅である、付記１１記載のプログラム。

（付記１３）
前記第１の時間幅及び前記第２の時間幅を含む複数の時間幅のそれぞれに対して、前記第１の画像及び前記第２の画像を含む複数の画像を生成し、前記複数の画像をそれぞれ比較する、付記１１又は付記１２記載のプログラム。

（付記１４）
前記画像生成手段は、前記処理時刻から前記第１の時間幅及び前記第２の時間幅内に撮影された各入力画像の静止領域に対し、各画素値の最頻値、中央値または平均値のいずれかをそれぞれの画素に対して求めることにより、前記第１の画像及び前記第２の画像を生成する、付記１１乃至付記１３のいずれか１項記載のプログラム。

（付記１５）
前記第１の時間幅及び前記第２の時間幅は任意に設定可能である、付記１１乃至付記１４のいずれか１項記載のプログラム。

この出願は、２０１３年５月３１日に出願された日本出願特願２０１３−１１５５４４を基礎とする優先権を主張し、その開示の全てをここに取り込む。

１・・・画像処理システム、１００・・・情報処理サーバ、４１０・・・画像入力部、４２０・・・前景・背景分離部、４３０・・・背景画像生成部、４４０・・・背景画像記憶部、４５０・・・背景画像比較部、４６０・・・静止領域判定部、４７０・・・出力部、８０１・・・プロセッサ、８０３・・・メモリ、８０５・・・記憶装置、８０７・・・入力インタフェース、８０９・・・データインタフェース、８１１・・・通信インタフェース、８１３・・・表示装置、９００・・・画像処理システム、９１０・・・第１特定部、９２０・・・画像生成部、９３０・・・第２特定部

Claims (6)

1. 複数の時刻にそれぞれ撮影された入力画像に対して、静止領域をそれぞれ特定する第１の特定手段と、
   処理時刻から第１の時間幅内に撮影された各入力画像の静止領域に基づいて第１の画像を生成すると共に、前記処理時刻から第２の時間幅内に撮影された各画像の静止領域に基づいて第２の画像を生成し、また、前記処理時刻から第３の時間幅内に撮影された各画像の静止領域に基づいて第３の画像を生成する画像生成手段と、
   前記第１の画像と前記第２の画像と前記第３の画像とを比較した結果、差異のある領域を特定する第２の特定手段と、
   前記第１の画像、前記第２の画像、および前記第３の画像の比較に基づき、静止時間の長さによって、前記入力画像に含まれる静止物体を分類する分類手段と
   を備える画像処理システム。
2. 前記画像生成手段は、前記処理時刻から前記第１の時間幅、前記第２の時間幅、および前記第３の時間幅内に撮影された各入力画像の静止領域に対し、各画素値の最頻値、中央値または平均値のいずれかをそれぞれの画素に対して求めることにより、前記第１の画像、前記第２の画像、および前記第３の画像を生成する、
   請求項１記載の画像処理システム。
3. 前記第１の時間幅、前記第２の時間幅、および前記第３の時間幅は任意に設定可能である、
   請求項１又は請求項２記載の画像処理システム。
4. 前記画像生成手段は、前記第１の時間幅、前記第２の時間幅、および前記第３の時間幅を含む複数の時間幅のそれぞれに対して、前記第１の画像、前記第２の画像、および前記第３の画像を含む複数の画像を生成し、
   前記第２の特定手段は、前記複数の画像をそれぞれ比較する、
   請求項１乃至請求項３のいずれか１項記載の画像処理システム。
5. 複数の時刻にそれぞれ撮影された入力画像に対して、静止領域をそれぞれ特定するステップと、
   処理時刻から第１の時間幅内に撮影された各入力画像の静止領域に基づいて第１の画像を生成すると共に、前記処理時刻から第２の時間幅内に撮影された各画像の静止領域に基づいて第２の画像を生成し、また、前記処理時刻から第３の時間幅内に撮影された各画像の静止領域に基づいて第３の画像を生成するステップと、
   前記第１の画像と前記第２の画像と前記第３の画像とを比較した結果、差異のある領域を特定するステップと、
   前記第１の画像、前記第２の画像、および前記第３の画像の比較に基づき、静止時間長によって、前記入力画像に含まれる静止物体を分類するステップと
   を画像処理システムが行う画像処理方法。
6. 複数の時刻にそれぞれ撮影された入力画像に対して、静止領域をそれぞれ特定する処理と、
   処理時刻から第１の時間幅内に撮影された各入力画像の静止領域に基づいて第１の画像を生成すると共に、前記処理時刻から第２の時間幅内に撮影された各画像の静止領域に基づいて第２の画像を生成し、また、前記処理時刻から第３の時間幅内に撮影された各画像の静止領域に基づいて第３の画像を生成する処理と、
   前記第１の画像と前記第２の画像と前記第３の画像とを比較した結果、差異のある領域を特定する処理とをコンピュータに実行させるプログラム。

Images