JP6652057B2 - 画像から移動体の滞留を検出するための画像処理システム、画像処理方法及びプログラム - Google Patents

Description

本発明に係るいくつかの態様は、画像処理システム、画像処理方法及び記録媒体に関する。

近年、例えばビデオ監視などにおいて、置き去りにされた物体や一定時間以上滞留する人物を特定することが考えられている（例えば、特許文献１参照）。特許文献１では、シーン中の動きを複数の時間スケールで解析し、長期背景モデル及び短期背景モデルを比較する。これにより、シーンの主に静止した背景部分と、動的な前景部分と、或る時間に亘って静止している置き去り物体とにそれぞれ属する画素を区別している。

その他、特許文献２−６も、関連技術を開示している。

特許第５０５８０１０号公報 国際公開第２００９／１２５５６９号 特開２０１３−０６５１５１号公報 特開２０１２−２１２２３８号公報 特開２０１０−０１５４６９号公報 特開２００９−２３０７５９号公報

特許文献１記載の手法では、密な移動体の流れ（例えば人流）が発生する場合には、当該移動体の流れが背景に溶け込む。長期背景モデルと短期背景モデルとでは移動体の流れの背景への溶け込み方が異なるため、それらがノイズとなり、長期背景モデルと短期背景モデルとを比較したとしても、好適に置き去り物体を検出することは困難である。

本発明のいくつかの態様は前述の課題に鑑みてなされたものであり、滞留を好適に検出するための画像処理システム、画像処理方法及び記録媒体を提供することを目的の１つとする。

本発明に係る画像処理システムは、処理時刻から第１の時間幅内に撮影された各画像フレームから生成される第１の画像と、前記処理時刻から前記第１の時間幅よりも長い第２の時間幅内に撮影された各画像フレームから生成される第２の画像とに基づいて、前記処理時刻の画像フレームにおける滞留領域であるか否かを判定する判定手段と、処理対象の画像フレーム中の各領域について、前記滞留領域であるか否かの判定に関する信頼度情報を生成する生成手段とを備える。

本発明に係る画像処理方法は、処理時刻から第１の時間幅内に撮影された各画像フレームから生成される第１の画像と、前記処理時刻から前記第１の時間幅よりも長い第２の時間幅内に撮影された各画像フレームから生成される第２の画像とに基づいて、前記処理時刻の画像フレームにおける滞留領域であるか否かを判定し、処理対象の画像フレーム中の各領域について、前記滞留領域であるか否かの判定に関する信頼度情報を生成する。

本発明に係るコンピュータ読み取り可能な非一時的記録媒体は、処理時刻から第１の時間幅内に撮影された各画像フレームから生成される第１の画像と、前記処理時刻から前記第１の時間幅よりも長い第２の時間幅内に撮影された各画像フレームから生成される第２の画像とに基づいて、前記処理時刻の画像フレームにおける滞留領域であるか否かを判定する処理と、処理対象の画像フレーム中の各領域について、前記滞留領域であるか否かの判定に関する信頼度情報を生成する処理とをコンピュータに実行させるプログラムを記録する。

なお、本発明において、「部」や「手段」、「装置」、「システム」とは、単に物理的手段を意味するものではなく、その「部」や「手段」、「装置」、「システム」が有する機能をソフトウェアによって実現する場合も含む。また、１つの「部」や「手段」、「装置」、「システム」が有する機能が２つ以上の物理的手段や装置により実現されても、２つ以上の「部」や「手段」、「装置」、「システム」の機能が１つの物理的手段や装置により実現されても良い。

本発明によれば、滞留を好適に検出するための画像処理システム、画像処理方法及びプログラムを提供することができる。

第１実施形態に係る画像処理システムの概略構成を示す機能ブロック図である。 背景画像の生成方法の具体例を示す図である。 滞留領域抽出部の概略構成の具体例を示す機能ブロック図である。 図１に示す画像処理システムの処理の流れを示すフローチャートである。 図１に示す画像処理システムの処理の流れを示すフローチャートである。 図１に示す画像処理システムの処理の流れを示すフローチャートである。 図１に示す画像処理システムを実装可能なハードウェアの構成を示すブロック図である。 第２実施形態に係る画像処理システムの概略構成を示す機能ブロック図である。

以下に本発明の実施形態を説明する。以下の説明及び参照する図面の記載において、同一又は類似の構成には、それぞれ同一又は類似の符号が付されている。

（１ 第１実施形態）
図１乃至図７は、第１実施形態を説明するための図である。以下、これらの図を参照しながら、以下の流れに沿って本実施形態を説明する。まず、「１．１」で本実施形態における滞留判定方法の概要を説明する。その後、「１．２」で本実施形態に係る画像処理システムの機能構成の概要を、「１．３」で処理の流れを説明する。「１．４」では本画像処理システムを実現可能なハードウェア構成の具体例を示す。最後に「１．５」以降で、本実施形態に係る効果などを説明する。

（１．１ 概要）
本実施形態に係る画像処理システムは、例えば監視カメラなどで撮影される画像から、移動体の滞留を検出するためのものである。本画像処理システムが滞留を検出する移動体には、例えば自身で移動する人物や動物、車等のほか、人物が放置した放置物等を含むことができる。ここでは主に、人物の滞留を検出する場合を中心に説明する。

滞留する移動体を検出する手法としては、例えば、以下の手法が考えられる。その手法とは、まず、長期間（以下、長期時間窓ともいう。）に撮影された多数の撮影画像を平均化等することにより背景画像を作る。そして、この背景画像と、それよりも短い短期間（以下、短期時間窓ともいう。）に撮影された各撮影画像を平均化等した背景画像と比較することにより、当該短期間内に、長く映る物体を抽出することである。このように、一定期間内の撮影画像から平均的な画像（背景画像）を生成すれば、この画像では、例えばすぐにフレームアウトするような移動体（人物を含む）等の影響を低く抑えることができるため、滞留物体を抽出しやすくなる。なお、本実施形態では、複数の画像を元に生成されることにより、移動体の影響が低く抑えられた画像を背景画像と呼ぶ。

しかしながら、このような手法では、移動体の移動、例えば人流が常に発生するような場合には、撮影画像を平均化等したとしても、人流の影響が大きく残ってしまう。そのため、当該人流の背景への溶けこみ具合が長期時間窓の画像と短期時間窓とで変わってしまい、結果として静止物の検出漏れや誤検出が発生しやすくなる。

そこで本実施形態に係る画像処理システムでは、画像内の各領域に対して、滞留検出の信頼度を算出する。これにより、例えば信頼度の低い部分は滞留判定の対象外とする等の手法により、滞留の誤検出を抑制することが可能となる。

（１．２ システム概要）
以下、図１を参照しながら、本実施形態に係る画像処理システム１００のシステム構成を説明する。図１は、画像処理システム１００のシステム構成を示すブロック図である。

画像処理システム１００は、画像入力部１１０と、前景・背景分離部１２０と、滞留領域抽出部１３０と、信頼度算出部１４０と、画像記憶部１５０と、滞留可能性判定部１６０と、出力部１７０とを含む。

画像入力部１１０は、図示しない監視カメラなどである撮影装置から入力される映像に含まれる時系列のフレーム画像の入力を受ける。各フレーム画像は、それぞれ撮影時刻の異なる画像である。若しくは、画像入力部１１０は、図示しないＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やＶＣＲ（Ｖｉｄｅｏ Ｃａｓｓｅｔｔｅ Ｒｅｃｏｒｄｅｒ）に記憶された映像データを復号して得られるフレーム画像の入力を受けても良い。

前景・背景分離部１２０は、例えば背景差分法やオプティカルフロー等を用いて、画像入力部１１０から入力された入力画像に対して、順次前景領域と背景領域とを分離する。
ここで、前景領域は画像内の動きのある領域であり、背景領域は動きのない（静止している）領域（以下、静止領域ともいう。）である。動きの有無の判定は、例えば、動きが閾値を超えているか否かにより判別することができる。動きの有無の判定に用いる閾値は、検出対象である滞留移動体の種別により変えることもできる。具体的には、例えば、放置されたスーツケースなどの剛体を検出対象とする場合には、画像内でまったく動きがない領域を背景領域とし、それ以外を前景領域とすれば良い。一方、人物や袋などの非剛体を検出対象とする場合には、多少の揺れや姿勢変動、形状変化による画像内での見えの変化が生じても、変化量が所定の閾値よりも小さい場合には実質的に静止しているものとして背景領域とし、それ以外を前景領域とすれば良い。このそれ以外の領域とは、変化量が閾値を上回っている領域のことである。つまり、背景領域とは、全く動きのない領域のみを指すものではなく、動きの量が閾値よりも小さい領域をいう。

動きのある前景領域と、静止している背景領域とを分ける際にオプティカルフローを使用する手法では、例えば、処理対象の画像フレームを、マクロブロック単位で前の画像フレームと比較した上で、動きのあるブロックを特定する。より具体的には、例えば、処理対象の画像フレームの各マクロブロック（画素の集合）と類似するマクロブロックが、直前の画像フレームのどこにあるかを調べる（ブロックマッチング）等により特定することができる。

背景差分法を用いる場合には、事前に取得しておいた背景画像と処理対象との画像との差分が閾値を超えているか否かを、画素毎、若しくはマクロブロックなどの画素集合毎に比較することにより、前景領域と背景領域とを分けることができる。

滞留領域抽出部１３０は、複数の時間窓に含まれる画像フレームから複数の背景画像を生成し、これらの背景画像を比較することにより滞留領域を判定する。

以下、図２を参照しながら、滞留領域抽出部１３０による滞留領域判定手法の具体例を説明する。図２に示すように、例えば、滞留領域抽出部１３０は、背景領域のみを抽出した各画像フレームから、複数の時間窓に対してそれぞれ背景画像を生成する。これらの背景画像は、例えば、処理対象時刻から過去一定期間内に撮影された各画像フレームの静止領域に対して、画素値の平均値、中央値または最頻値等を画像フレーム内の各画素に対して求めることにより生成することができる。背景画像を短期時間窓と長期時間窓とのそれぞれに対して生成すれば、画像処理システムは両者を比較した上で、差異が閾値を超える画素を抽出し、それらの画素により構成される画素領域を移動体の滞留する滞留領域として特定することができる。

なお、図２の例では、短期時間窓の背景画像と長期時間窓との背景画像の２つの背景画像しか示していないが、検出対象の滞留する移動体の滞留時間に応じて、３以上の時間窓の背景画像を生成してもよい。

図３に、滞留領域抽出部１３０の機能構成の具体例を示す。図３の例では、滞留領域抽出部１３０は、背景画像生成部１３１、背景画像比較部１３３、滞留領域判定部１３５を含む。

背景画像生成部１３１は、前景・背景分離部１２０で抽出した背景領域（静止領域の画像）と、画像記憶部１５０に記憶されている、定められた複数の時間窓内に撮影された画像フレームに係る背景領域とを用いて、背景画像を生成する。この際、背景画像生成部１３１は、各画像フレームの背景領域に係る各画素位置で得られた時間窓分の画素値の平均値、中央値、または最頻値を算出することにより、背景画像を生成することができる。

画像記憶部１５０には、前景・背景分離部１２０で逐次抽出される、各入力画像の背景領域に係る画像を所定時間分記憶する。

背景画像比較部１３３は、背景画像生成部１３１が各時間窓に対して生成した背景画像同士を比較する。より具体的には、背景画像比較部１３３は、最も長い時間窓から生成した背景画像と、それよりも短い時間窓から生成した背景画像とを比較することにより、移動体が一定時間静止している滞留領域を検出することができる。この、最も長い時間窓から生成した背景画像は、移動体を含まない真の背景により構成されていると想定される背景画像のことである。このとき、背景画像比較部１３３は、複数の時間窓の背景で背景画像を生成することにより、静止時間長に応じて分類して検出することもできる。

背景画像比較部１３３による背景画像の比較方法としては、例えば、背景画像間の画素値の差の絶対値を用いる方法や、画像上で小さいサイズの矩形領域を走査しながら、矩形領域内の画素値の相関を算出する方法が考えられる。また、背景画像比較部１３３による背景画像の比較方法としては、例えば、矩形領域内の画素値のヒストグラム距離を算出する方法等も考えられる。矩形領域を用いる手法に関しては、例えば、マクロブロックなどの一定のサイズを設定してもよい。また、矩形領域を用いる手法に関しては、カメラパラメータを用いて、検出対象の移動体が画像フレーム上でどのような大きさで見えるかを考慮した上で、画像フレーム上の場所ごとに異なるサイズを設定してもよい。この画像フレーム上の場所ごとに異なるサイズを設定とは、例えば、前方が映っている画像領域は矩形領域を大きく、後方が映っている画像領域は矩形領域を小さくするなどである。

滞留領域判定部１３５は、背景画像比較部１３３による比較の結果、例えば閾値を超える差異があった画素を特定した上で、このような画素で構成される画素領域を滞留領域として判定する。この際、検出対象である物体の大きさや形状などの特徴が既知であれば、滞留領域判定部１３５は、その特徴に合致しない画素領域を除外して判定するようにしても良い。

図１に戻り、信頼度算出部１４０は、処理対象の画像フレームのうちの各領域（画素である場合も含む）に対し、滞留検出に関する信頼度を算出する。信頼度の算出方法は種々考えられる。例えば、前述の背景画像を生成する際に使用される時間窓に含まれる各画像フレームのそれぞれについて、前景・背景分離部１２０により背景と判定された割合を画素毎或いはマクロブロックなどの画素集合ごとに算出し、これを当該時間窓の信頼度として用いることが考えられる。以下、背景と判定された割合を、背景画素の取得率ともいう。これにより、移動体の流れが常に発生するような背景の変化が激しい領域では背景画素の取得率が下がるため、背景画像から好適に滞留を検出することは難しい。よってこのような領域については、信頼度算出部１４０は、信頼度が低いものとして設定することができる。なお、信頼度は、複数の背景画像をそれぞれ生成するために使用される時間窓毎に算出するようにしても良い。

また、信頼度算出部１４０は、背景画素の取得率を時間窓毎に算出した上で、それらを併せて信頼度を算出するようにしても良い。より具体的には、例えば信頼度を算出した全ての時間窓で背景画素の取得率が低い場合には、常に背景画素が得られにくい領域だと考えられるため、信頼度算出部１４０は、信頼度を低く設定することができる。

信頼度算出部１４０は環境変化を用いて信頼度を算出してもよい。具体的には、背景が変化する要因となる、例えば曜日（週末か平日か等）、時間、場所、天候等の環境情報の入力を受けた場合について説明する。この場合、信頼度算出部１４０は、このような環境情報により得られる環境条件に応じて静的に、或いは背景画素の取得率と併せて、信頼度を算出するようにしても良い。

滞留可能性判定部１６０は、滞留領域抽出部１３０による各領域（画素である場合も含む。）に対する滞留判定の結果、及び、信頼度算出部１４０による各領域に対する信頼度に基づき、各領域が滞留しているか否か、若しくは滞留している可能性を判定する。滞留可能性判定部１６０は、例えば、信頼度が閾値よりも低い領域については、滞留検出の結果を出力しない（判定対象外とする）ことが考えられる。この場合、信頼度が閾値よりも高い領域については、滞留可能性判定部１６０は、滞留領域抽出部１３０による滞留判定結果である滞留領域／非滞留領域の検出結果を出力すれば良い。

或いは、信頼度が閾値よりも低い場合であっても、短期時間窓の信頼度のみが低く、長期時間窓等の他の時間窓の信頼度が高い場合には、滞留する移動体が短期的に他の移動体の陰に隠れている等の状況が推測される。そのため、滞留可能性判定部１６０は、このような場合の領域を、滞留の可能性のある領域として特定することもできる。

また、上記判定処理の対象の領域（処理対象領域）の信頼度が低い場合であっても、当該処理対象領域の空間的に近傍の領域、若しくは近接する画像フレームの対応する領域（時間的に近接する領域）において滞留が検出されている場合について説明する。この場合、滞留可能性判定部１６０は、当該処理対象領域も滞留の可能性があるものとして特定してもよい。

出力部１７０は、滞留可能性判定部１６０により滞留が発生している領域、滞留が発生していない領域、滞留が発生している可能性のある領域として判定された判定結果を、例えば表示装置や記憶媒体、他の情報処理装置へと出力する。

（１．３ 処理の流れ）
以下、画像処理システム１００の処理の流れを、図４乃至図６を参照しながら説明する。

なお、後述の各処理ステップは、処理内容に矛盾を生じない範囲で、任意に順番を変更して若しくは並列に実行することができ、また、各処理ステップ間に他のステップを追加しても良い。更に、便宜上１つのステップとして記載されているステップは複数のステップに分けて実行することもでき、便宜上複数に分けて記載されているステップを１ステップとして実行することもできる。

（１．３．１ 滞留領域抽出部１３０による滞留領域の特定に至る処理の流れ）
まず、図４を参照しながら、滞留領域抽出部１３０による滞留領域特定に至る処理の流れを説明する。

画像入力部１１０は、例えばビデオカメラで撮影された映像や、当該映像が記録された映像データを復号して得られる画像フレームの入力を受ける（Ｓ４０１）。

前景・背景分離部１２０は、画像入力部１１０から入力された画像フレームの内、静止している背景領域と、移動が生じている前景領域とに分離する（Ｓ４０３）。生成された背景領域の画像は、例えば画像記憶部１５０に記憶される。

背景画像生成部１３１は、予め設定した時間窓内に撮影された各画像のうちの、前景・背景分離部１２０により特定された背景領域を使用して、背景画像を生成する（Ｓ４０５）。このとき背景画像生成部１３１は、滞留を抽出する移動体の滞留時間に応じて、複数の時間窓に対して背景画像を生成する。

背景画像比較部１３３は、背景画像生成部１３１が生成した、各時間窓の背景画像をそれぞれ比較し（Ｓ４０７）、滞留領域判定部１３５は、その差異が閾値以上である領域を滞留領域として特定する（Ｓ４０９）。

（１．３．２ 信頼度算出に係る処理の流れ）
次に、図５を参照しながら、信頼度算出部１４０による信頼度算出の処理の流れを説明する。なおここでは、信頼度算出部１４０が、環境条件には依存せずに、背景画素取得率に基づいて信頼度を生成する場合について説明する。

信頼度算出部１４０は、画像記憶部１５０から、信頼度算出対象の時間窓に含まれる各画像フレームの背景領域を読み込む（Ｓ５０１）。各画像フレームの背景領域は、前述のとおり、前景・背景分離部１２０により特定されたものである。

信頼度算出部１４０は、画素毎に、時間窓に含まれる各画像フレームの内、背景領域が取得できた割合（背景画素の取得率）を算出する（Ｓ５０３）。信頼度算出部１４０は、当該背景画素の取得率を信頼度として滞留可能性判定部１６０へと出力する（Ｓ５０５）。

（１．３．３ 滞留可能性判定に係る処理の流れ）
図６を参照しながら、滞留可能性判定部１６０による滞留判定の方法を説明する。

滞留可能性判定部１６０は、各画素又は画素集合毎（以下、画素又は画素集合を総称して領域と呼ぶ。）に、図６に示す滞留領域であるか否かの判定を行う。

まず、滞留可能性判定部１６０は、滞留判定の対象となる領域（処理対象領域）が、滞留領域抽出部１３０により滞留領域として判定されたか否かを判別する（Ｓ６０１）。もし滞留領域として判定されていた場合には（Ｓ６０１のＹＥＳ）、滞留可能性判定部１６０は、信頼度算出部１４０により算出された、当該滞留領域としての判定の信頼度が閾値よりも高いか否かを判別する（Ｓ６０３）。もし信頼度が閾値よりも高い場合には（Ｓ６０３のＹＥＳ）、滞留可能性判定部１６０は、当該領域は滞留であると判別する（Ｓ６０５）。

Ｓ６０３において、処理対象領域の信頼度が閾値以下の場合には（Ｓ６０３のＮＯ）、滞留可能性判定部１６０は、たとえ滞留領域抽出部１３０により滞留領域であると判別されていたとしても当該判別結果は信頼度が低いものとして、滞留判定の対象外とする（Ｓ６０７）。

また、Ｓ６０１において、処理対象領域が滞留領域ではないと判定されている場合（Ｓ６０１のＮＯ）、滞留可能性判定部１６０は、Ｓ６０３と同様の処理を行う。つまり、滞留可能性判定部１０６は、信頼度算出部１４０により算出された、当該滞留領域としての判定の信頼度が閾値よりも高いか否かを判別する（Ｓ６０９）。もし信頼度が閾値よりも高い場合には（Ｓ６０９のＹＥＳ）、滞留可能性判定部１６０は、当該領域は非滞留であると判別する（Ｓ６１１）。

一方、信頼度が閾値以下の場合（Ｓ６０９のＮＯ）、滞留可能性判定部１６０は、処理対象の領域の空間的な近傍領域、或いは時間的な近傍領域が滞留として判定されているか否かを判別する（Ｓ６１３）。この時間的な近傍領域とは、時間的に近接する画像フレーム中の、処理対象領域と位置が対応する領域のことである。もし時間的又は空間的な近傍領域が滞留として判定されている場合には（Ｓ６１３のＹＥＳ）、滞留可能性判定部１６０は、当該領域は滞留可能性があるものとして滞留領域や非滞留領域とは区別して出力することができる（Ｓ６１５）。もし時間的又は空間的な近傍領域に滞留があると判定されていない場合には（Ｓ６１３のＮＯ）、滞留可能性判定部１６０は、当該領域を判定対象外とする（Ｓ６１７）。

（１．４ ハードウェア構成）
以下、図７を参照しながら、上述してきた画像処理システム１００をコンピュータにより実現する場合のハードウェア構成の一例を説明する。なお前述の通り、画像処理システム１００の機能は、複数の情報処理装置により実現することも可能である。

図７に示すように、画像処理システム１００は、プロセッサ７０１、メモリ７０３、記憶装置７０５、入力インタフェース（Ｉ／Ｆ）７０７、データＩ／Ｆ７０９、通信Ｉ／Ｆ７１１、及び表示装置７１３を含む。

プロセッサ７０１は、メモリ７０３に記憶されているプログラムを実行することにより画像処理システム１００における様々な処理を制御する。例えば、図１で説明した画像入力部１１０、前景・背景分離部１２０、滞留領域抽出部１３０、信頼度算出部１４０、滞留可能性判定部１６０、及び出力部１７０に係る処理は、メモリ７０３に一時記憶された上で主にプロセッサ７０１上で動作するプログラムとして実現可能である。

メモリ７０３は、例えばＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の記憶媒体である。メモリ７０３は、プロセッサ７０１によって実行されるプログラムのプログラムコードや、プログラムの実行時に必要となるデータを一時的に記憶する。例えば、メモリ７０３の記憶領域には、プログラム実行時に必要となるスタック領域が確保される。

記憶装置７０５は、例えばハードディスクやフラッシュメモリ等の不揮発性の記憶媒体である。記憶装置７０５は、オペレーティングシステムや、画像入力部１１０、前景・背景分離部１２０、滞留領域抽出部１３０、信頼度算出部１４０、滞留可能性判定部１６０、及び出力部１７０を実現するための各種プログラムや、画像記憶部１５０を含む各種データ等を記憶する。記憶装置７０５に記憶されているプログラムやデータは、必要に応じてメモリ７０３にロードされることにより、プロセッサ７０１から参照される。

入力Ｉ／Ｆ７０７は、ユーザからの入力を受け付けるためのデバイスである。入力Ｉ／Ｆ７０７の具体例としては、キーボードやマウス、タッチパネル等が挙げられる。入力Ｉ／Ｆ７０７は、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）等のインタフェースを介して画像処理システム１００に接続されても良い。

データＩ／Ｆ７０９は、画像処理システム１００の外部からデータを入力するためのデバイスである。データＩ／Ｆ７０９の具体例としては、各種記憶媒体に記憶されているデータを読み取るためのドライブ装置等がある。データＩ／Ｆ７０９は、画像処理システム１００の外部に設けられることも考えられる。その場合、データＩ／Ｆ７０９は、例えばＵＳＢ等のインタフェースを介して画像処理システム１００へと接続される。

通信Ｉ／Ｆ７１１は、画像処理システム１００の外部の装置、例えばビデオカメラ等との間で有線又は無線によりデータ通信するためのデバイスである。通信Ｉ／Ｆ７１１は画像処理システム１００の外部に設けられることも考えられる。その場合、通信Ｉ／Ｆ７１１は、例えばＵＳＢ等のインタフェースを介して画像処理システム１００に接続される。

表示装置７１３は、各種情報を表示するためのデバイスである。表示装置７１３の具体例としては、例えば液晶ディスプレイや有機ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等が挙げられる。表示装置７１３は、画像処理システム１００の外部に設けられても良い。その場合、表示装置７１３は、例えばディスプレイケーブル等を介して画像処理システム１００に接続される。

（１．５ 本実施形態に係る効果）
以上説明したように、本実施形態に係る画像処理システム１００は、滞留判定を行うと共に、当該滞留判定の信頼度を算出する。これにより、信頼度を滞留判定に活用すれば、例えば、滞留の誤検知を低減したり、滞留領域の欠損や途切れを補完したりすることができるようになるため、滞留検出精度を改善することができる。

更に、このような滞留検出結果を用いて、セキュリティ用途として、不審者（うろつき、たむろ、待ちぶせ、寝込みなど）や不審物を検出できる。また、マーケティング用途として、棚ごとの顧客の滞留情報（滞留時間、頻度等）を収集することができる。

（２ 第２実施形態）
以下、第２実施形態を、図８を参照しながら説明する。図８は、画像処理システム８００の機能構成を示すブロック図である。図８に示すように、画像処理システム８００は、判定部８１０と、生成部８２０とを含む。

判定部８１０は、処理時刻から第１の時間幅内に撮影された各画像フレームから生成される第１の画像と、処理時刻から第２の時間幅内に撮影された各画像フレームから生成される第２の画像とに基づいて、処理時刻の画像フレームにおける滞留領域であるか否かを判定する。ここで、第１の時間幅は、例えば、図２において説明した短期時間窓であり、第２の時間幅は、長期時間幅である。このように、第１の時間幅と第２の時間幅とは異なる時間幅である。また、第１の画像および第２の画像は、例えば、夫々の時間幅における背景画像である。

生成部８２０は、処理対象の画像フレーム中の各領域について、滞留領域であるか否かの判定に関する信頼度情報を生成する。

このように実装することで、本実施形態に係る画像処理システム８００によれば、滞留を好適に検出することを可能とする。

（３ 付記事項）
なお、前述の実施形態の構成は、組み合わせたり或いは一部の構成部分を入れ替えたりしてもよい。また、本発明の構成は前述の実施形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加えてもよい。

なお、前述の各実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。また、本発明のプログラムは、上述の各実施形態で説明した各動作を、コンピュータに実行させるプログラムであれば良い。

（付記１）
処理時刻から第１の時間幅内に撮影された各画像フレームから生成される第１の画像と、前記処理時刻から前記第１の時間幅よりも長い第２の時間幅内に撮影された各画像フレームから生成される第２の画像とに基づいて、前記処理時刻の画像フレームにおける滞留領域であるか否かを判定する判定手段と、処理対象の画像フレーム中の各領域について、前記滞留領域であるか否かの判定に関する信頼度情報を生成する生成手段とを備える画像処理システム。

（付記２）
前記生成手段は、前記処理対象の画像フレーム中の各領域について、前記第１の時間幅内に撮影された各画像フレームの対応する領域が静止領域である割合に基づいて、前記信頼度情報を生成する、付記１記載の画像処理システム。

（付記３）
前記生成手段は、前記信頼度情報を環境条件に応じて生成する、付記１又は付記２記載の画像処理システム。

（付記４）
前記信頼度情報に基づいて、前記処理対象の画像フレーム中の各領域について、前記滞留領域であるか否かの判定対象とするか否かを変える手段を更に備える付記１乃至付記３のいずれか１項記載の画像処理システム。

（付記５）
処理対象領域の前記信頼度情報が閾値を下回っている場合であって、当該処理対象領域の空間的な近傍領域、若しくは前記処理時刻の画像フレームに時間的に近接する画像フレームの対応する領域が前記滞留領域である場合に、当該処理対象の領域を滞留の可能性のある領域として判定する手段を更に備える付記４記載の画像処理システム。

（付記６）
処理時刻から第１の時間幅内に撮影された各画像フレームから生成される第１の画像と、前記処理時刻から前記第１の時間幅よりも長い第２の時間幅内に撮影された各画像フレームから生成される第２の画像とに基づいて、前記処理時刻の画像フレームにおける滞留領域であるか否かを判定するステップと、処理対象の画像フレーム中の各領域について、前記滞留領域であるか否かの判定に関する信頼度情報を生成するステップとを情報処理システムが行う画像処理方法。

（付記７）
前記処理対象の画像フレーム中の各領域について、前記第１の時間幅内に撮影された各画像フレームの対応する領域が静止領域である割合に基づいて、前記信頼度情報を生成する、付記７記載の画像処理方法。

（付記８）
前記信頼度情報を環境条件に応じて生成する、付記６又は付記７記載の画像処理方法。

（付記９）
前記信頼度情報に基づいて、前記処理対象の画像フレーム中の各領域について、前記滞留領域であるか否かの判定対象とするか否かを変える手段を更に備える付記６乃至付記８のいずれか１項記載の画像処理方法。

（付記１０）
処理対象領域の前記信頼度情報が閾値を下回っている場合であって、当該処理対象領域の空間的な近傍領域、若しくは前記処理時刻の画像フレームに時間的に近接する画像フレームの対応する領域が前記滞留領域である場合に、当該処理対象の領域を滞留の可能性のある領域として判定するステップを更に備える付記９記載の画像処理方法。

（付記１１）
処理時刻から第１の時間幅内に撮影された各画像フレームから生成される第１の画像と、前記処理時刻から前記第１の時間幅よりも長い第２の時間幅内に撮影された各画像フレームから生成される第２の画像とに基づいて、前記処理時刻の画像フレームにおける滞留領域であるか否かを判定する処理と、処理対象の画像フレーム中の各領域について、前記滞留領域であるか否かの判定に関する信頼度情報を生成する処理とをコンピュータに実行させるプログラム。

（付記１２）
前記処理対象の画像フレーム中の各領域について、前記第１の時間幅内に撮影された各画像フレームの対応する領域が静止領域である割合に基づいて、前記信頼度情報を生成する、付記１１記載のプログラム。

（付記１３）
前記信頼度情報を環境条件に応じて生成する、付記１１又は付記１２記載のプログラム。

（付記１４）
前記信頼度情報に基づいて、前記処理対象の画像フレーム中の各領域について、前記滞留領域であるか否かの判定対象とするか否かを変える手段を更に備える付記１１乃至付記１３のいずれか１項記載のプログラム。

（付記１５）
処理対象領域の前記信頼度情報が閾値を下回っている場合であって、当該処理対象領域の空間的な近傍領域、若しくは前記処理時刻の画像フレームに時間的に近接する画像フレームの対応する領域が前記滞留領域である場合に、当該処理対象の領域を滞留の可能性のある領域として判定する処理を更にコンピュータに実行させる付記１４記載のプログラム。

この出願は、２０１４年８月４日に出願された日本出願特願２０１４−１５９０４５を基礎とする優先権を主張し、その開示の全てをここに取り込む。

１００ ：画像処理システム
１１０ ：画像入力部
１２０ ：前景・背景分離部
１３０ ：滞留領域抽出部
１３１ ：背景画像生成部
１３３ ：背景画像比較部
１３５ ：滞留領域判定部
１４０ ：信頼度算出部
１５０ ：画像記憶部
１６０ ：滞留可能性判定部
１７０ ：出力部
７０１ ：プロセッサ
７０３ ：メモリ
７０５ ：記憶装置
７０７ ：入力インタフェース
７０９ ：データインタフェース
７１１ ：通信インタフェース
７１３ ：表示装置
８００ ：画像処理システム
８１０ ：判定部
８２０ ：生成部

Claims (6)

1. 処理時刻から第１の時間幅内に撮影された各画像フレームから生成される第１の画像と、前記処理時刻から前記第１の時間幅よりも長い第２の時間幅内に撮影された各画像フレームから生成される第２の画像とに基づいて、前記処理時刻の画像フレームにおける滞留領域であるか否かを判定する判定手段と、
   処理対象の画像フレーム中の各領域について、前記滞留領域であるか否かの判定に関する信頼度情報を生成する生成手段と
   を備え、
   前記生成手段は、前記処理対象の画像フレーム中の各領域について、前記第１の時間幅内に撮影された各画像フレームの対応する領域が静止領域である割合に基づいて、前記信頼度情報を生成する、
   画像処理システム。
2. 前記生成手段は、前記各画像フレームにおける背景が変化する要因となる環境条件の情報も利用して前記信頼度情報を生成する、
   請求項１記載の画像処理システム。
3. 前記信頼度情報に基づいて、前記処理対象の画像フレーム中の各領域について、前記滞留領域であるか否かの判定対象とするか否かを変える手段
   を更に備える請求項１又は２記載の画像処理システム。
4. 処理対象領域の前記信頼度情報が閾値を下回っている場合であって、当該処理対象領域の空間的な近傍領域、若しくは前記処理時刻の画像フレームに時間的に近接する画像フレームの対応する領域が前記滞留領域である場合に、当該処理対象の領域を滞留の可能性のある領域として判定する手段
   を更に備える請求項３記載の画像処理システム。
5. 処理時刻から第１の時間幅内に撮影された各画像フレームから生成される第１の画像と、前記処理時刻から前記第１の時間幅よりも長い第２の時間幅内に撮影された各画像フレームから生成される第２の画像とに基づいて、前記処理時刻の画像フレームにおける滞留領域であるか否かを判定し、
   処理対象の画像フレーム中の各領域について、前記滞留領域であるか否かの判定に関する信頼度情報を生成し、
   前記信頼度情報を生成する処理において、前記処理対象の画像フレーム中の各領域について、前記第１の時間幅内に撮影された各画像フレームの対応する領域が静止領域である割合に基づいて、前記信頼度情報を生成する、
   画像処理方法。
6. 処理時刻から第１の時間幅内に撮影された各画像フレームから生成される第１の画像と、前記処理時刻から前記第１の時間幅よりも長い第２の時間幅内に撮影された各画像フレームから生成される第２の画像とに基づいて、前記処理時刻の画像フレームにおける滞留領域であるか否かを判定する処理と、
   処理対象の画像フレーム中の各領域について、前記滞留領域であるか否かの判定に関する信頼度情報を生成する処理と、
   前記信頼度情報を生成する処理において、前記処理対象の画像フレーム中の各領域について、前記第１の時間幅内に撮影された各画像フレームの対応する領域が静止領域である割合に基づいて、前記信頼度情報を生成する処理と、
   をコンピュータに実行させるプログラム。

Images