JPWO2016136214A1 - 識別器学習装置、滞留物体検出システム、識別器学習方法、滞留物体検出方法およびプログラム - Google Patents

Abstract

［課題］滞留する物体を好適に検出できる滞留物体検出システム、滞留物体検出方法および滞留物体検出プログラム、並びに、滞留する物体を好適に識別する識別器を学習する識別器学習装置、識別器学習方法および識別器学習プログラムを提供する。［解決手段］滞留物体を識別する識別器を学習する識別器学習装置であって、識別器学習装置の学習部９１は、同一の検出対象を含む複数の画像の組を滞留状態を示す正例とし、同一の検出対象を含まない複数の画像の組を非滞留状態を示す負例として、滞留物体を識別する識別器を学習する。

Description

本開示は、監視領域内に滞留している人や物を検出するためのシステム、方法およびプログラム記録媒体、並びに、滞留している人や物を識別する識別器を学習するための装置、方法およびプログラム記録媒体に関する。

物体を検出する技術が知られている（例えば、特許文献1〜４参照）。また、例えばビデオ監視などにおいて、置き去りにされた物体や一定時間以上滞留する人物を特定することが考えられている。

特許文献１には、カメラで撮影された画像のシーンから置き去りにされた物体を検出する方法が記載されている。特許文献１に記載された方法では、シーン中の動きを複数の時間スケールで解析し、長期間にわたって撮影された複数の撮影画像を用いて、画素値の出現頻度に基づいて長期背景モデルを生成する。そして、この長期背景モデルと、それよりも短い期間にわたって撮影された複数の撮影画像を用いて生成された短期背景モデルが比較される。

このとき、一定期間内の撮影画像から出現頻度が高い画素を用いて画像が生成されれば、例えばすぐにフレームアウトするような移動物体の画素の出現頻度は低く、静止物体の画素の出現頻度は高くなる。そのため、長期背景モデルおよび短期背景モデルでは、背景および静止物体が抽出されやすくなる。

そして、長期背景モデルと短期背景モデルとを比較すると、長期背景モデルでは、短い時間静止している置き去り物体の観測時間に比べて主に静止している背景の観測時間が長いため、背景画素が支配的になる。一方で、短期背景モデルでは、背景に加え、短い時間に亘って静止している置き去り物体の画素も支配的になる。そのため、長期背景モデルと短期背景モデルとでは、短い時間に亘って静止している置き去り物体に属する画素値の出現頻度に差分が生じる。

これにより、解析シーンにおいて、主に静止している背景部分と、ある短い時間に亘って静止している置き去り物体とに属する画素がそれぞれ区別される。

また、特許文献２には、対象領域の撮影画像に基づいて放置物を検出する放置物検出装置が記載されている。特許文献２に記載された放置物検出装置も、同様に、シーン中の動きを複数の時間スケールで解析している。具体的には、特許文献２に記載された放置物検出装置は、直近の複数フレームの撮影画像を用いて、画素値のばらつきに基づいて前景領域と背景領域を区別し、現在得られた背景領域と過去に得られた背景領域における画素値を比較する。

このとき、移動体が通過した領域では、移動体および背景や静止物体の画素が混在するため画素値のばらつきが大きくなり、背景や静止物体の領域では画素値のばらつきが小さくなることから、前景領域と背景領域とが区別される。そして、画素値のばらつきが小さい背景領域に注目し、現在の背景領域の画素値と過去の背景領域の画素値とを比較することで、静止物体が出現する前後では静止物体に属する画素値に差分が生まれる。

これにより、解析シーンにおいて、動的な前景部分に属する画素と、主に静止している背景に属する画素と、ある短い時間に亘って静止している置き去り物体に属する画素とをそれぞれ区別している。

このように、一般的には、ある複数の時間スケールで画像を解析した結果を比較し、差分が得られた領域に滞留物体が存在すると判断する手法（差分ベースの手法）が提案されている。

特許第５０５８０１０号公報 特許第４８５２３５５号公報 特開２０１０−１７６２０６号公報 特開２０１４−１２６９４２号公報

しかし、特許文献１および特許文献２に記載された差分ベースの方法では、撮影環境の変化に対して誤検出を起こしやすいという問題がある。差分ベースの手法では、複数の時間スケールにおいて得られた画素情報を比較し差分領域が抽出される。そのため、比較に用いられた時間スケール間で撮影環境に変化が生じた場合、その変化領域で誤検知が生じる。

撮影環境の変化の具体例として、撮影時間帯や天候などによる日照や照明条件の違い、物の移動、ポスターやデジタルサイネージなどの掲示物の変化、カメラのレンズ汚れ、風や振動や接触等によるカメラの撮影画角のずれなどがある。

本開示の例示的な目的は、滞留する物体を好適に検出できる技術、並びに、滞留する物体を好適に識別する技術を提供することである。

本開示に係る識別器学習装置は、同一の検出対象を含む複数の画像の組を滞留状態を示す正例とし、同一の検出対象を含まない複数の画像の組を非滞留状態を示す負例として、滞留物体を識別する識別器を学習する学習部を備えたことを特徴とする。

本開示に係る滞留物体検出システムは、撮影された時間が異なる複数の検出対象画像から、滞留の解析に適した時間差をおいて撮影された複数の検出対象画像を選択する対象画像選択手段と、選択された複数の検出対象画像から同一の解析領域を示す画像をそれぞれ抽出して、抽出した画像の組である解析画像を生成する解析画像生成手段と、複数の画像から滞留物体を識別する識別器を用いて、生成された解析画像から滞留物体を検出する滞留物体検出手段とを備え、対象画像選択手段が、検出対象の移動モデル又は解析領域の大きさの少なくとも一方に基づいて、滞留の解析に適した時間差を決定することを特徴とする。

本開示に係る識別器学習方法は、滞留物体を識別する識別器を学習する識別器学習方法であって、コンピュータが、同一の検出対象を含む複数の画像の組を滞留状態を示す正例とし、同一の検出対象を含まない複数の画像の組を非滞留状態を示す負例として、滞留物体を識別する識別器を学習することを特徴とする。

本開示に係る滞留物体検出方法は、撮影された時間が異なる複数の検出対象画像から、滞留の解析に適した時間差をおいて撮影された複数の検出対象画像を選択し、選択された複数の検出対象画像から同一の解析領域を示す画像をそれぞれ抽出して、抽出した画像の組である解析画像を生成し、複数の画像から滞留物体を識別する識別器を用いて、生成された解析画像から滞留物体を検出し、検出対象画像を選択する際、検出対象の移動モデル又は解析領域の大きさの少なくとも一方に基づいて、滞留の解析に適した時間差を決定することを特徴とする。

本開示に係る識別器学習プログラムは、滞留物体を識別する識別器を学習するコンピュータに適用される識別器学習プログラムであって、コンピュータに、同一の検出対象を含む複数の画像の組を滞留状態を示す正例とし、同一の検出対象を含まない複数の画像の組を非滞留状態を示す負例として、滞留物体を識別する識別器を学習する学習処理を実行させることを特徴とする。

本開示に係る滞留物体検出プログラムは、コンピュータに、撮影された時間が異なる複数の検出対象画像から、滞留の解析に適した時間差をおいて撮影された複数の検出対象画像を選択する対象画像選択処理、選択された複数の検出対象画像から同一の解析領域を示す画像をそれぞれ抽出して、抽出した画像の組である解析画像を生成する解析画像生成処理、および、複数の画像から滞留物体を識別する識別器を用いて、生成された解析画像から滞留物体を検出する滞留物体検出処理を実行させ、対象画像選択処理で、検出対象の移動モデル又は解析領域の大きさの少なくとも一方に基づいて、滞留の解析に適した時間差を決定させることを特徴とする。

本開示によれば、滞留する物体を好適に検出できる。

図１は、本開示による滞留物体検出システムの一実施形態の構成例を示すブロック図である。 図２は、解析画像取得手段の構成例を示すブロック図である。 図３は、解析領域を選択する例を示す説明図である。 図４は、滞留する人物を検出する方法の例を示す説明図である。 図５は、滞留する人物を検出する他の方法の例を示す説明図である。 図６は、滞留物体検出システムの動作例を示す説明図である。 図７は、識別器を学習する動作例を示すフローチャートである。 図８は、本開示による識別器学習装置の概要を示すブロック図である。 図９は、本開示による滞留物体検出システムの概要を示すブロック図である。 図１０は、本開示によるコンピュータ装置の構成例を示すブロック図である。

以下、本開示の実施形態を図面を参照して説明する。なお、本開示において、「部」や「手段」、「装置」、「システム」とは、単に物理的手段や装置を意味するものではなく、その「部」や「手段」、「装置」、「システム」が有する機能をソフトウェアによって実現する場合も含まれる。また、１つの「部」や「手段」、「装置」、「システム」が有する機能が２つ以上の物理的手段や装置により実現されてもよく、２つ以上の「部」や「手段」、「装置」、「システム」の機能が１つの物理的手段や装置により実現されてもよい。

図１は、本開示による滞留物体検出システムの一実施形態を示すブロック図である。図１に示すように、本実施形態の滞留物体検出システムは、画像入力部１と、滞留検出部２と、出力部３と、識別器学習部４とを備えている。

画像入力部１は、所定の監視領域を撮影した時系列の画像を、滞留検出部２に逐次入力する。なお、画像入力部１から入力される入力画像は、検出対象が撮影された画像とも言えるため、以下においては「検出対象画像」と言う場合がある。画像の取得には、例えば監視カメラなどの撮影装置が用いられてもよい。また、画像入力部１は、記憶装置（図示せず）に記憶された映像データを読み出して得られる時系列の画像を、滞留検出部２に逐次入力してもよい。

なお、本開示において検出対象とする物体の種類は特に限定されず、人間、動物、車、ロボットなどであってもよい。

滞留検出部２は、画像入力部１から逐次入力される画像を解析し、画像中に存在する滞留物体を検出する。滞留検出部２は、解析画像取得手段２１と、滞留識別器記憶部２２と、滞留度算出手段２３と、滞留判定手段２４とを含む。

解析画像取得手段２１は、画像入力部１から入力された画像を過去数フレーム分保持し、入力画像に写る検出対象の大きさに基づいて細分化した局所領域の画像の組を取得する。局所領域の画像の組は、後述する滞留度の算出に用いられる。

図２は、本実施形態の解析画像取得手段２１の構成例を示すブロック図である。本実施形態の解析画像取得手段２１は、解析領域選択手段２１１と、解析時刻選択手段２１２と、解析画像選択手段２１３とを有する。

解析領域選択手段２１１は、入力画像から滞留状態の解析を行う単位となる局所領域を選択する。以降、解析領域選択手段２１１で選択された局所領域を解析領域と呼ぶ。解析領域の大きさは任意であり、例えば、検出対象の大きさに基づいて決定されてもよい。

解析領域選択手段２１１は、例えば、所定の大きさの領域を、画像上の所定の間隔ごとに移動させて解析領域を選択してもよい。解析領域の大きさや間隔は、画像における検出対象の見かけ上の大きさに基づいて滞留物体検出システムの管理者によって決定されてもよい。解析領域選択手段２１１は、このように決定された大きさや間隔の値を用いて解析領域を選択してもよい。

また、検出対象の位置によって検出対象の見かけ上の大きさが変化する場合、解析領域選択手段２１１は、あらかじめ求めたカメラの姿勢を表わすカメラパラメータを用いて、画像上の位置ごとに検出対象の見かけ上の大きさを算出してもよい。そして、解析領域選択手段２１１は、見かけ上の大きさの算出結果に応じて解析領域の大きさを決定してもよい。

また、解析領域選択手段２１１は、滞留物体検出システムの起動時に最初に選択した解析領域を以降も使い続けるようにしてもよいし、新たな画像が入力される都度、新たに異なる位置や大きさの解析領域を選択し直すようにしてもよい。すなわち、解析領域選択手段２１１は、新たに選択した解析領域を用いて、複数の画像の同一領域を解析領域として選択してもよい。

図３は、解析領域選択手段２１１が解析領域を選択する例を示す説明図である。図３に示す例では、異なる時刻の画像で異なる解析領域が選択されていることを示す。例えば、解析領域選択手段２１１は、時刻ｔ１および時刻ｔ２においては領域Ｒ１を選択し、別の画像が入力された時点（時刻ｔ１１）の時点で領域Ｒ２を選択してもよい。ただし、画像を比較する際には、同一座標の領域が用いられる。例えば、時刻ｔ１１における画像と時刻ｔ１２における画像とを比較する場合には、両者の領域Ｒ２が用いられる。

解析時刻選択手段２１２は、解析領域選択手段２１１で選択された解析領域ごとに、画像入力部１から入力された過去数フレーム分の画像のうち、滞留の解析に適した時間をおいて撮影された（すなわち、滞留の解析に適した時間差で撮影された）画像を選択する。

解析時刻選択手段２１２は、この滞留の解析に適した時間差を、例えば、検出対象の移動モデルによって算出してもよい。具体例として、検出対象を人物とし、人物を中心とした幅０．６ｍの範囲を局所領域（解析領域）として切り出す場合を考える。例えば、一般的な人物の移動速度を１．２ｍ／秒と仮定し、これを検出対象の移動モデルとする。この場合、解析時刻選択手段２１２は、０．５秒以上の間隔で撮影された画像を選択すればよい。これは、滞留人物のみが同じ位置に共通して撮影され、移動人物は解析領域を通り過ぎるため、同じ位置に共通して撮影されることはないからである。したがって、この場合の滞留の解析に適した時間差は、０．５秒となる。そこで、解析時刻選択手段２１２は、画像入力部１から入力された画像のうち、０．５秒以上の間隔で撮影された画像を選択すればよい。

このように、解析時刻選択手段２１２は、検出対象の移動モデルに基づいて、その検出対象が解析領域を通過するために要する時間を算出し、算出された時間以上の間隔で撮影された入力画像を選択してもよい。その際、解析領域の大きさは、事前に定義された固定の大きさであってもよい。

なお、移動モデルは、上述した例では、検出対象の移動速度をモデル化した場合が例示されている。ただし、移動モデルは、移動速度および移動方向をモデル化したものであってもよい。具体的には、移動モデルは、検出対象の移動方向とその移動方向に対して想定される移動速度とを導出可能なモデルであってもよい。また、このような移動モデルを用いずに、検出対象の移動方向と移動速度が事前に定義された固定値であってもよい。このように、解析時刻選択手段２１２は、検出対象の移動モデル又は解析領域の大きさのいずれか一方または両方を用いて、滞留の解析に適した時間差を決定してもよい。

なお、滞留物体検出システムの管理者が、事前に検出対象の移動モデルを決定し、その値が用いられてもよい。また、検出対象の位置によって画像における検出対象の見かけ上の移動速度が変化する場合がある。この場合、解析時刻選択手段２１２は、あらかじめ求めたカメラの姿勢を表すカメラパラメータを用いて、画像上の位置ごとにフレーム画像間における検出対象の見かけ上の移動距離を算出してもよい。そして、解析時刻選択手段２１２は、前後のフレームで移動物体が同じ解析領域に含まれない画像のみを選択してもよい。解析時刻選択手段２１２は、選択した解析領域ごとの画像を解析画像選択手段２１３に入力する。

解析画像選択手段２１３は、解析時刻選択手段２１２から入力された解析領域ごとの画像のうち、滞留度の算出に用いられる画像の組合せを選択する。ここにおいて、滞留度は、検出対象が滞留している確からしさを示す指標である。以降、解析画像選択手段２１３で選択された画像を解析画像と呼ぶ。

ここで、解析画像の取得方法を具体的に説明する。図４は、滞留する人物を検出する方法の例を示す説明図である。以下、図４を参照して、街頭で撮影された監視カメラ映像から滞留する人物を検出する方法を説明する。

図４では、人物の上半身に注目して滞留人物を検出する様子の例を示している。本例では、画像入力部１が図４に例示する時刻ｔ１、時刻ｔ２、時刻ｔ３の画像を逐次入力し、解析画像取得手段２１が、過去２枚の画像を保持するものとする。すなわち、時刻ｔ１、時刻ｔ２、時刻ｔ３の順に入力画像が得られた場合、解析画像取得手段２１は、時刻ｔ２で、時刻ｔ１と時刻ｔ２の画像を元に１組の解析画像を取得し、時刻ｔ３で、時刻ｔ２と時刻ｔ３の画像を元にさらに１組の解析画像を取得する。

このとき、解析領域選択手段２１１は、検出対象である人物の画像中の大きさに基づいて解析領域を選択する。図４では、説明を簡単にするため、あらかじめ定めた領域１、領域２、領域３の３個の解析領域が設定されている例を示す。

これらの解析領域は、異なる時刻に撮影されたそれぞれの入力画像に対して同じ座標（すなわち、同一の解析領域）に設定される。そして、解析時刻選択手段２１２は、選択された各解析領域に対し、入力画像の撮影時間間隔で人物が解析領域上を移動可能かどうか判定する。移動可能であれば、解析時刻選択手段２１２は、その時間間隔で撮影された画像を解析画像の候補とする。図４の例では、すべての解析領域において人物が移動可能であるとする。

そして、解析画像選択手段２１３は、各入力画像から解析領域の画像をそれぞれ取得する。すなわち、時刻ｔ２では、時刻ｔ１に撮影された領域１の画像と時刻ｔ２に撮影された領域１の画像とのペアが、１組の解析画像となる。このように、解析画像選択手段２１３は、同じ解析領域から取得された画像の組を１組の解析画像とし、得られたすべての組の解析画像を滞留度算出手段２３に入力する。言い換えると、解析画像選択手段２１３は、解析時刻選択手段２１２によって選択された複数の入力画像から同一の解析領域を示す画像をそれぞれ抽出して、抽出した画像の組解析画像を生成していると言うことができる。

なお、図４では、３個の解析領域が設定された例を示しているが、設定される解析領域の数は任意である。また、解析領域は、画像上の重複する範囲に設定されてもよい。

また、図４では、検出対象である人物の上半身を解析領域に含む例を示している。ただし、解析領域は、検出対象の任意の部位を含むように設定されてもよいし、検出対象を包含するように設定されてもよい。

また、図４では、解析領域を正方形とする例を示しているが、解析領域の形状は正方形に限らず、任意の矩形に設定されてもよい。

また、本例では、２枚の局所画像から１組の解析画像を生成する例について説明したが、局所画像の数は２枚に限られず、２枚以上の任意の数の画像を１組の解析画像としてもよい。

また、図４の例では、１組の解析画像に含まれる画像枚数と解析画像取得手段２１が保持する過去画像の枚数とが一致する場合について説明した。ただし、１組の解析画像に含まれる画像枚数よりも解析画像取得手段２１が保持する過去画像の枚数の方が多い場合、解析画像選択手段２１３は、複数組の解析画像を選択してもよい。

ここで、解析画像選択手段２１３が１つの解析領域に対し複数組の解析画像を取得する手順を、図５を用いて具体的に説明する。図５は、滞留する人物を検出する他の方法の例を示す説明図である。なお、図５に示す例は、解析画像取得手段２１が過去３枚の画像を保持する以外は、図４に示す例と同じ条件であるとする。

図５に示す時刻ｔ３では、領域１〜３のそれぞれの解析領域において、時刻ｔ１〜ｔ３の３つの画像が得られている。本例では、解析画像選択手段２１３は、時刻ｔ１〜ｔ３の３つの画像から２枚の画像を選択し１組の解析画像とするため、解析領域ごとに（ｔ１，ｔ２）、（ｔ２，ｔ３）、（ｔ１，ｔ３）の３組の解析画像を選択する。解析画像選択手段２１３は、このようにして解析領域ごとに選択した解析画像の組を滞留度算出手段２３に入力する。

なお、解析画像選択手段２１３は、図５に示す例では解析画像全通りの組合せから解析画像を選択した。しかし、解析画像選択手段２１３は、必ずしも全通りの組合せを選択する必要はなく、その他の方法によって解析画像を選択してもよい。例えば、解析画像の組の選び方として、時刻ｔ１〜ｔ５までの５フレームの画像のうち２枚の画像を選択して解析画像の組を生成するとする。この場合、解析画像選択手段２１３は、（ｔ１，ｔ２）、（ｔ２，ｔ３）、・・・、（ｔ４，ｔ５）のように、隣接するフレーム同士から解析画像の組を生成してもよい。他にも、解析画像選択手段２１３は、（ｔ５，ｔ２）、（ｔ５，ｔ３）、・・・、（ｔ５，ｔ４）のように、最新のフレーム画像と過去のいずれかのフレーム画像を１組の解析画像としてもよい。

複数の解析画像の組を選択することによる利点は、以下の点である。

監視領域内に多数の移動体が存在している場合、ある時刻の画像と別の時刻の画像とを比較したときに、同じ解析領域に異なる移動体が偶然存在することが起こりやすくなる。この場合、異なる移動体の外見が類似していると、その解析領域では誤って高い滞留度が得られ、滞留の誤検出が起こりやすくなる。

一方、本実施形態の解析画像選択手段２１３は、画像入力部１から得られた過去数フレームの画像に対し、滞留度を算出するための複数組の解析画像を選択する。複数組の解析画像を選択することで、同じ解析領域に偶然異なる移動体が存在する可能性が低下し、誤検出を低減することができる。

解析画像選択手段２１３は、選択した解析画像の組を滞留度算出手段２３に入力する。

滞留識別器記憶部２２は、解析画像取得手段２１から入力される解析画像の組に対して、後述する滞留度算出手段２３が滞留度を算出するために用いる識別器を記憶する。なお、この識別器は、滞留物体検出システムが滞留物体を検出する処理を行う前にあらかじめ構築しておくものである。

滞留識別器記憶部２２は、後述する識別器学習部４によって生成される識別器を記憶してもよいし、管理者等によって生成される識別器を記憶してもよい。

識別器学習部４は、複数の画像から滞留物体を識別する識別器を学習する。ここで、滞留物体を識別するとは、滞留物体かどうかを識別するだけでなく、滞留物体を識別するために検出対象が滞留している確からしさを示す指標（滞留度）を算出することも含まれる。

識別器学習部４は、例えば、複数の画像に対する判定結果として、滞留度を出力する識別器を生成してもよい。具体的には、識別器学習部４は、入力される複数の画像に同一の検出対象が含まれるほど、その検出対象の滞留度を高く算出するような識別器を生成してもよい。

以下、本実施形態の識別器学習部４が識別器を学習する具体的な方法を説明する。本実施形態の識別器学習部４は、正例と負例の学習画像を用いて識別器を学習する。具体的には、識別器学習部４は、同一の検出対象を含む複数の画像の組を、滞留状態を示す正例として用いる。また、識別器学習部４は、同一の検出対象を含まない複数の画像の組を、非滞留状態を示す負例として用いる。

そして、識別器学習部４は、この正例と負例の識別に適した識別器を機械学習により構築する。具体的には、識別器学習部４は、この正例または負例の組に含まれる画像の数と同数の画像が入力されたときに、それらの画像から滞留物体を識別する識別器を学習する。

ここで、学習画像について、検出対象を人物とする例を挙げて具体的に説明する。正例は、同一の検出対象が含まれる画像であればよい。また、正例は、必ずしも同一の検出対象が同一の状態で含まれている画像である必要はない。正例は、適用先の監視環境を想定し、例えば、滞留人物の前後に通行人など異なる人物が写りこむことを想定した画像の組や、滞留人物の周囲の照明条件が変化した画像の組であってもよい。

すなわち、学習画像は、正例とした組に含まれる画像のうち、少なくとも１つの画像の検出対象や背景に対して、光の当たり方や明るさ、影などの影響を反映させた摂動処理が施されていてもよい。このようにすることで、撮影環境が変わった場合でも滞留物体を識別する精度を維持することが可能になる。

また、正例は、同一の検出対象と共に少なくとも一部が同一の背景画像を含む複数の画像の組であってもよい。本実施形態のように、同一の解析領域を対象とした複数の画像を比較する場合には、比較する解析領域には同一の背景画像が映り込む可能性が高い。そのため、識別器学習部４が同一の検出対象と共に少なくとも一部が同一の背景画像を含む複数の画像の組を正例として識別器を学習することにより、より適切に滞留画像を判断できる。なお、このとき、背景画像に対しても上述した摂動処理が施されていてもよい。

負例は、同一の検出対象が含まれない画像であればよく、例えば、通行人を想定し異なる人物が撮影された画像の組、地面や建物などの背景同士の画像の組などが学習画像の例として挙げられる。また、負例も正例と同様に、上述する摂動処理が施されていてもよい。負例の画像に摂動処理が施されることにより、光の当たり方や影の出来方が撮影環境の変化によって変わる場合でも、誤検出を抑制することが可能になる。

識別器学習部４は、大量に収集されたこのような正例および負例を学習画像として使用し、識別器を学習する。すなわち、識別器学習部４は、正例または負例とした組に含まれる画像のうち、少なくとも１つの画像に摂動処理が施された画像の組を用いて識別器を学習する。このとき、摂動処理が施される対象は任意であり、例えば、正例や負例に含まれる検出対象や背景であってもよい。

なお、学習画像は、実画像から切り抜いた画像であってもよいし、実画像の背景と実画像の前景（検出対象）を合成した画像であってもよいし、ＣＧ（Ｃｏｍｐｕｔｅｒ ｇｒａｐｈｉｃｓ）により人工的に生成された画像であってもよい。

識別器学習部４は、用意された学習画像を用いて正例と負例の識別に適した識別器を構築する。識別器学習部４は、例えば、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）などの機械学習手法を用いて、正例と負例の識別に適した識別器を構築してもよい。このように生成された識別器を用いることで、任意の入力画像に対し、正例または負例に属する確からしさを得ることができる。

ただし、識別器学習部４が用いる学習手法はＣＮＮに限らず、任意の入力画像に対し、正例または負例に属する確からしさを出力する識別器を構築できる手法であればよい。なお、複数枚の画像をＣＮＮで学習する方法も知られている。ただし、この方法は、等間隔で極めて近接する画像を対象に学習する方法であり、本実施形態の識別器学習部４のように、ある程度時間が離れて撮影された画像を用いる方法とは異なる。

また、滞留識別器記憶部２２に記憶された識別器の学習に使用する１つの正例および負例に含まれる画像の枚数と、解析画像取得手段２１で取得される解析画像の組に含まれる画像の枚数は一致するものとする。

滞留度算出手段２３は、解析画像取得手段２１から入力される解析画像の組に対し、滞留識別器記憶部２２に記憶されている識別器を用いて滞留度を算出する。すなわち、滞留度は、解析領域ごとに算出される。滞留度算出手段２３は、この解析領域の座標と算出した滞留度との組を、滞留判定手段２４に入力する。

また、図５で例示するように、解析画像選択手段２１３が１つの解析領域に対し複数組の解析画像を選択している場合、滞留度算出手段２３は、すべての組の解析画像に対して滞留度を算出し、算出した滞留度を解析領域ごとに統合する。

図５は、過去３フレーム分の入力画像が保持され、そのうちの２枚の局所画像が滞留度の算出に用いられる場合の例を示している。この例では、解析画像選択手段２１３が、解析領域である領域１から、図５に示す（ｔ１，ｔ２）、（ｔ２，ｔ３）、（ｔ１，ｔ３）の３組の解析画像を選択する。そのため、滞留度算出手段２３は、これらの３組の解析画像に対して３つの滞留度を算出する。そして、滞留度算出手段２３は、算出した各滞留度を統合するために、例えば、３つの値の平均値、中央値、最大値、最小値のいずれかの値を算出し、これを滞留度の統合結果としてもよい。

滞留判定手段２４は、滞留度算出手段２３から入力される解析領域の座標と算出した滞留度との組の情報を用いて滞留判定を行い、入力画像に対する滞留発生座標を出力する。言い換えると、滞留度算出手段２３と滞留判定手段２４で、生成された解析画像の組から滞留物体を検出する滞留物体検出処理が実行される。

滞留判定手段２４は、例えば、あらかじめ設定された閾値と滞留度の値とを比較し、閾値以上の滞留度が得られた解析領域で滞留が発生したと判定してもよい。

滞留判定手段２４は、解析領域が画像上で重複する場合において、重複する領域における滞留判定を行う際、重複する各解析領域について算出された滞留度の平均値、中央値、最大値、最小値のいずれかの値について所定の閾値以上であれば滞留と判定してもよい。

また、固定監視カメラで撮影された画像に対して滞留物体検出を行う場合、滞留度算出手段２３は、事前に検出対象の滞留を含まない背景画像を特定し、その特定された背景画像部分に対して滞留度を算出しておいてもよい。そして、滞留判定手段２４は、定常的に滞留度が高く算出されやすい領域（誤検出が起こりやすい領域）に対して、滞留度を下げる補正処理を行ってもよい。

また、滞留判定手段２４は、事前に算出された、検出対象の滞留を含まない背景画像に対する滞留度に基づいて信頼度を算出してもよい。この場合、滞留判定手段２４は、背景に対し滞留度が高く算出されやすい領域（誤検出が起こりやすい領域）の信頼度は低く、背景に対し滞留度が低く算出される領域の信頼度を高くなるように、滞留度から信頼度を算出する。そして、滞留判定手段２４は、算出した信頼度を、領域ごとの滞留度と合わせて、出力部３に出力する。

滞留判定手段２４は、出力する滞留発生座標として、画面上の座標を用いてもよいし、実世界座標に変換した座標を用いてもよい。

出力部３は、滞留検出部２から入力される滞留発生座標を出力する。出力部３の出力態様は、例えば、表示することである。この場合、出力部３は、ディスプレイ装置（図示せず）を備え、そのディスプレイ装置に表示を行えばよい。ただし、出力部３の出力態様は表示に限定されず、他の態様であってもよい。

滞留検出部２における解析画像取得手段２１（より具体的には、解析領域選択手段２１１と、解析時刻選択手段２１２と、解析画像選択手段２１３）と、滞留度算出手段２３と、滞留判定手段２４とは、プログラム（滞留物体検出プログラム）に従って動作するコンピュータのＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）によって実現される。

例えば、プログラムは、滞留物体検出システムが備える記憶部（図示せず）に記憶されてもよい。ＣＰＵは、そのプログラムを読み込み、プログラムに従って、解析画像取得手段２１（より具体的には、解析領域選択手段２１１と、解析時刻選択手段２１２と、解析画像選択手段２１３）、滞留度算出手段２３および滞留判定手段２４として動作してもよい。

また、解析画像取得手段２１（より具体的には、解析領域選択手段２１１と、解析時刻選択手段２１２と、解析画像選択手段２１３）と、滞留度算出手段２３と、滞留判定手段２４とは、それぞれが専用のハードウェアで実現されていてもよい。

また、識別器学習部４は、プログラム（識別器学習プログラム）に従って動作するコンピュータのＣＰＵによって実現される。識別器学習部４も、専用のハードウェアで実現されていてもよい。

次に、本実施形態に係る滞留物体検出システムの動作を説明する。図６は、本実施形態の滞留物体検出システムの動作例を示す説明図である。なお、後述の各処理ステップは、処理内容に矛盾を生じない範囲で、任意に順番が変更されてもよいし、並列に実行されてもよい。また、各処理ステップ間に他のステップが追加されても良い。更に、便宜上１つのステップとして記載されているステップを複数のステップに分けて実行することもでき、便宜上複数に分けて記載されているステップを１ステップとして実行することもできる。

解析画像取得手段２１は、画像入力部１から、撮影画像とその撮影時刻を取得する（ステップＳ１）。次に、解析画像取得手段２１は、保持する過去数フレームの画像のうち撮影時刻が最も古い画像を破棄し、ステップＳ１で取得した最新の入力画像を新たに保持することで、画像の履歴を更新する（ステップＳ２）。

次に、解析領域選択手段２１１は、画像から複数の解析領域を選択する（ステップＳ３）。解析画像取得手段２１（具体的には、解析領域選択手段２１１）は、ステップＳ３で選択した複数の解析領域のうち、滞留度の算出がまだ行われていない未処理の解析領域が存在する場合（ステップＳ４のｙｅｓ）、未処理の解析領域を１つ選択する（ステップＳ５）。

解析時刻選択手段２１２は、ステップＳ５で選択された解析領域において、事前に定義されている検出対象の移動モデルに基づいて、ステップＳ２で更新した画像履歴から各画像の撮影時間間隔を算出する。そして、解析時刻選択手段２１２は、検出対象がその時間間隔で対象とする解析領域上を移動可能かどうか判断し、移動可能と判断した画像を選択する（ステップＳ６）。

解析画像選択手段２１３は、ステップＳ６で選択された各履歴の画像から、滞留度の算出に用いるための解析画像の組合せを選択する（ステップＳ７）。

滞留度算出手段２３は、ステップＳ７で選択された解析画像の組のうち、滞留度を算出していない未処理の解析画像の組が存在する場合（ステップＳ８のｙｅｓ）、未処理の解析画像の組を１つ選択する（ステップＳ９）。

そして、滞留度算出手段２３は、滞留識別器記憶部２２が保持している識別器を用いて、ステップＳ９で選択した解析画像の組に対して滞留度を算出する（ステップＳ１０）。

ステップＳ１０が終了すると、滞留度算出手段２３は、ステップＳ８以降の処理を繰り返す。ステップＳ８において、未処理の解析画像の組が存在しないと判定された場合（ステップＳ８のｎｏ）、滞留度算出手段２３は、１つの解析領域に対して複数の滞留度を算出した結果を統合した数値を算出する（ステップＳ１１）。滞留度算出手段２３は、例えば、算出した各滞留度の平均値、中央値、最大値、最小値のいずれかを、統合した数値として算出する。

ステップＳ１１の後、解析画像取得手段２１は、ステップＳ４以降の処理を繰り返す。滞留判定手段２４は、ステップＳ４において未処理の解析領域が存在しないと判断された場合（ステップＳ４のｎｏ）、解析領域ごとに算出された滞留度を用いて、滞留判定処理を行う（ステップＳ１２）。滞留判定手段２４は、例えば解析領域ごとに算出された滞留度が所定の閾値以上であれば滞留と判断するように滞留判定処理を行う。

解析領域が画像上で重複する場合、滞留判定手段２４は、重複する領域における滞留判定を行う際、例えば、重複する各解析領域について算出された滞留度の平均値、中央値、最大値、最小値のいずれかの値について、所定の閾値以上であれば滞留と判定してもよい。

出力部３は、滞留判定手段２４から出力される滞留検知結果を出力する（ステップＳ１３）。出力部３は、例えば、滞留検知結果をアプリケーションに出力してもよし、記憶媒体などの外部モジュールに対して出力してもよい。

次に、本実施形態の識別器学習部４が識別器を学習する動作を説明する。図７は、本実施形態の識別器学習部４の動作例を示すフローチャートである。

識別器学習部４は、記憶部（図示せず）に記憶された正例と負例の学習画像を読み取る（ステップＳ２１）。具体的には、識別器学習部４は、滞留状態を示す正例として、同一の検出対象を含む複数の画像の組を読み取り、非滞留状態を示す負例として、同一の検出対象を含まない複数の画像の組を読み取る。

そして、識別器学習部４は、正例と負例の学習画像から、正例または負例の組に含まれる画像の数と同数の入力画像から滞留物体を識別する識別器を学習する（ステップＳ２２）。

以上のように、本実施形態では、解析時刻選択手段２１２が、撮影された時間が異なる複数の入力画像から、滞留の解析に適した時間差をおいて撮影された複数の入力画像を選択する。また、解析画像選択手段２１３が、選択された複数の入力画像から同一の解析領域を示す画像をそれぞれ抽出して、抽出した画像の組である解析画像の組を生成する。そして、滞留度算出手段２３および滞留判定手段２４が、複数の画像から滞留物体を識別する識別器を用いて、生成された解析画像の組から滞留物体を検出する。その際、解析時刻選択手段２１２は、検出対象の移動モデルまたは解析領域の大きさの少なくとも一方に基づいて、滞留の解析に適した時間差を決定する。そのため、滞留する物体を好適に検出できる。

特に、本実施形態では、滞留度算出手段２３および滞留判定手段２４が、上述した識別器を用いて、解析画像の組から滞留物体を検出する。そのため、監視領域の照明変動や、監視カメラのレンズ汚れ、物の移動などに代表される撮影環境の変化による誤検出増加の影響を受けずに、安定して滞留物を検出可能になる。

また、本実施形態では、識別器学習部４が、同一の検出対象を含む複数の画像の組を滞留状態を示す正例とし、同一の検出対象を含まない複数の画像の組を非滞留状態を示す負例として、滞留物体を識別する識別器を学習する。この識別器を用いることで、滞留する物体を好適に検出できる。

次に、本実施形態の概要を説明する。図８は、本開示による識別器学習装置の概要を示すブロック図である。本開示による識別器学習装置９０は、滞留物体を識別する識別器を学習する学習部９１（例えば、識別器学習部４）を備える。学習部９１は、同一の検出対象を含む複数の画像の組を滞留状態を示す正例とし、同一の検出対象を含まない複数の画像の組を非滞留状態を示す負例として、滞留物体を識別する識別器を学習する。

そのような構成により生成された識別器を用いることで、滞留する物体を好適に検出できる。

また、学習部９１は、正例または負例の組に含まれる画像の数と同数の検出対象画像から滞留物体を識別する識別器を学習してもよい。

また、学習部９１は、同一の検出対象と共に少なくとも一部が同一の背景画像を含む複数の画像の組を正例として識別器を学習してもよい。同一の解析領域を対象とした複数の画像を比較する場合には、比較する解析領域には同一の背景画像が映り込む可能性が高いため、このような識別器を用いることで、より適切に滞留画像を判断できる。

また、学習部９１は、正例または負例とした組に含まれる画像のうち、少なくとも１つの画像の検出対象に摂動処理（例えば、検出対象に対して、光の当たり方や明るさ、影などの影響を反映させた処理）が施された画像の組を用いて識別器を学習してもよい。このような画像を正例または負例として用いることで、撮影環境が変わった場合でも滞留物体を識別する精度を維持できる識別器を学習できる。

また、図９は、本開示による滞留物体検出システムの概要を示すブロック図である。本開示による滞留物体検出システム８０は、対象画像選択手段８１と、解析画像生成手段８２と、滞留物体検出手段８３とを備える。対象画像選択手段８１（例えば、解析時刻選択手段２１２）は、撮影された時間が異なる複数の検出対象画像から、滞留の解析に適した時間差をおいて撮影された複数の検出対象画像を選択する。解析画像生成手段８２（例えば、解析画像選択手段２１３）は、対象画像選択手段８１により選択された複数の検出対象画像から同一の解析領域を示す画像をそれぞれ抽出して、抽出した画像の組である解析画像の組を生成する。滞留物体検出手段８３（例えば、滞留度算出手段２３、滞留判定手段２４）は、複数の画像から滞留物体を識別する識別器を用いて、解析画像生成手段８２により生成された解析画像の組から滞留物体を検出する。

そして、対象画像選択手段８１は、検出対象の移動モデル（例えば、検出対象の移動速度および移動方向をモデル化した移動モデル）又は解析領域の大きさの少なくとも一方に基づいて、滞留の解析に適した時間差を決定する。

そのような構成により、滞留する物体を好適に検出できる。

また、滞留物体検出手段８３は、入力される複数の画像に同一の検出対象が含まれるほどその検出対象が滞留している確からしさを表わす滞留度を高く算出する識別器を用いて、生成された解析画像の組から滞留物体を検出してもよい。

また、解析画像生成手段８２は、同一の解析領域の複数組の解析画像を生成してもよい。この場合、滞留物体検出手段８３は、複数生成された解析画像の組に対してそれぞれ識別器が算出する滞留度を取得し、取得された滞留度の平均値、中央値、最大値、最小値の少なくともいずれかの値を同一の解析領域の滞留度として算出してもよい。滞留物体検出手段８３は、算出された滞留度に基づいて滞留物体を検出してもよい。

また、滞留物体検出手段８３は、検出対象画像から背景画像部分を特定し、特定された背景画像部分に対応する領域の滞留度が低くなるように補正してもよい。そのような構成によれば、背景に対し滞留度が高く算出されやすい領域（誤検出が起こりやすい領域）の検出精度を向上させることができる。

また、対象画像選択手段８１は、検出対象の移動モデルに基づいて、その検出対象が解析領域を通過するために要する時間を算出し、算出された時間以上の間隔で撮影された検出対象画像を選択してもよい。

図１０は、識別器学習装置９０または滞留物体検出システム８０を実現するコンピュータ装置２００のハードウェア構成を例示するブロック図である。コンピュータ装置２００は、ＣＰＵ２０１と、ＲＯＭ（Read Only Memory）２０２と、ＲＡＭ（Random Access Memory）２０３と、記憶装置２０４と、ドライブ装置２０５と、通信インタフェース２０６と、入出力インタフェース２０７とを備える。識別器学習装置９０または滞留物体検出システム８０は、図１０に示される構成（またはその一部）によって実現され得る。

ＣＰＵ２０１は、ＲＡＭ２０３を用いてプログラム２０８を実行する。プログラム２０８は、ＲＯＭ２０２に記憶されていてもよい。また、プログラム２０８は、フラッシュメモリなどの記録媒体２０９に記録され、ドライブ装置２０５によって読み出されてもよいし、外部装置からネットワーク２１０を介して送信されてもよい。通信インタフェース２０６は、ネットワーク２１０を介して外部装置とデータをやり取りする。入出力インタフェース２０７は、周辺機器（入力装置、表示装置など）とデータをやり取りする。通信インタフェース２０６及び入出力インタフェース２０７は、データを取得又は出力する手段として機能することができる。

なお、識別器学習装置９０または滞留物体検出システム８０は、単一の回路（プロセッサ等）によって構成されてもよいし、複数の回路の組み合わせによって構成されてもよい。ここでいう回路（circuitry）は、専用又は汎用のいずれであってもよい。

本開示によれば、監視領域内に滞留している人物や放置物などの物体を検出するシステムに好適に適用することができる。

また、本開示では特定の検出対象の滞留画像の特徴を学習する。そのため、差分ベースの手法では適用が困難だった屋外環境において、照明変動やレンズ汚れ、物の移動等による誤検知増加の影響を受けずに、対象となる滞留物体のみを検出する用途に本開示を好適に適用可能である。

また、本開示は、差分ベースの滞留検出手法と比較すると、事前に背景画像を生成する必要がない。そのため、検出対象が常に往来しているような背景画像の取得や生成が困難な環境に、滞留物体検知システムの導入が容易になる。

以上、上述した実施形態を模範的な例として本開示を説明した。しかしながら、本開示は、上述した実施形態には限定されない。即ち、本開示は、本開示のスコープ内において、当業者が理解し得る様々な態様を適用することができる。

この出願は、２０１５年２月２７日に出願された日本出願特願２０１５−０３７９２６を基礎とする優先権を主張し、その開示の全てをここに取り込む。

１ 画像入力部
２ 滞留検出部
３ 出力部
４ 識別器学習部
２１ 解析画像取得手段
２２ 滞留識別器記憶部
２３ 滞留度算出手段
２４ 滞留判定手段
２１１ 解析領域選択手段
２１２ 解析時刻選択手段
２１３ 解析画像選択手段

本開示は、監視領域内に滞留している人や物を検出するためのシステム、方法およびプログラム、並びに、滞留している人や物を識別する識別器を学習するための装置、方法およびプログラムに関する。

Claims (13)

1. 同一の検出対象を含む複数の画像の組を滞留状態を示す正例とし、同一の検出対象を含まない複数の画像の組を非滞留状態を示す負例として、滞留物体を識別する識別器を学習する学習部を備えた
   ことを特徴とする識別器学習装置。
2. 前記学習部は、正例または負例に含まれる画像の数と同数の検出対象画像から滞留物体を識別する識別器を学習する
   請求項１記載の識別器学習装置。
3. 前記学習部は、同一の検出対象と共に少なくとも一部が同一の背景画像を含む複数の画像の組を正例として識別器を学習する
   請求項１または請求項２記載の識別器学習装置。
4. 前記学習部は、正例または負例とした組に含まれる画像のうち、少なくとも１つの画像に摂動処理が施された画像の組を用いて識別器を学習する
   請求項１から請求項３のうちのいずれか１項に記載の識別器学習装置。
5. 撮影された時間が異なる複数の検出対象画像から、滞留の解析に適した時間差をおいて撮影された複数の検出対象画像を選択する対象画像選択手段と、
   選択された複数の検出対象画像から同一の解析領域を示す画像をそれぞれ抽出して、抽出した画像の組である解析画像の組を生成する解析画像生成手段と、
   複数の画像から滞留物体を識別する識別器を用いて、生成された解析画像の組から滞留物体を検出する滞留物体検出手段とを備え、
   前記対象画像選択手段は、検出対象の移動モデル又は前記解析領域の大きさの少なくとも一方に基づいて、前記滞留の解析に適した時間差を決定する
   ことを特徴とする滞留物体検出システム。
6. 前記滞留物体検出手段は、入力される複数の画像に同一の検出対象が含まれるほど当該検出対象が滞留している確からしさを表わす滞留度を高く算出する識別器を用いて、生成された解析画像の組から滞留物体を検出する
   請求項５記載の滞留物体検出システム。
7. 前記解析画像生成手段は、同一の解析領域の複数組の解析画像を生成し、
   前記滞留物体検出手段は、複数生成された解析画像の組に対してそれぞれ識別器が算出する滞留度を取得し、取得された滞留度の平均値、中央値、最大値、最小値の少なくともいずれかの値を前記同一の解析領域の滞留度として算出し、算出された滞留度に基づいて滞留物体を検出する
   請求項６記載の滞留物体検出システム。
8. 前記滞留物体検出手段は、検出対象画像から背景画像部分を特定し、特定された背景画像部分に対応する領域の滞留度が低くなるように補正する
   請求項６または請求項７記載の滞留物体検出システム。
9. 前記対象画像選択手段は、検出対象の移動モデルに基づいて、当該検出対象が解析領域を通過するために要する時間を算出し、算出された時間以上の間隔で撮影された検出対象画像を選択する
   請求項５から請求項８のうちのいずれか１項に記載の滞留物体検出システム。
10. 同一の検出対象を含む複数の画像の組を滞留状態を示す正例とし、同一の検出対象を含まない複数の画像の組を非滞留状態を示す負例として、滞留物体を識別する識別器を学習する
    ことを特徴とする識別器学習方法。
11. 撮影された時間が異なる複数の検出対象画像から、滞留の解析に適した時間差をおいて撮影された複数の検出対象画像を選択し、
    選択された複数の検出対象画像から同一の解析領域を示す画像をそれぞれ抽出して、抽出した画像の組である解析画像の組を生成し、
    複数の画像から滞留物体を識別する識別器を用いて、生成された解析画像の組から滞留物体を検出し、
    検出対象画像を選択する際、検出対象の移動モデル又はおよび前記解析領域の大きさの少なくとも一方に基づいて、前記滞留の解析に適した時間差を決定する
    ことを特徴とする滞留物体検出方法。
12. コンピュータに、
    同一の検出対象を含む複数の画像の組を滞留状態を示す正例とし、同一の検出対象を含まない複数の画像の組を非滞留状態を示す負例として、滞留物体を識別する識別器を学習する学習処理
    を実行させるためのプログラムを記録したプログラム記録媒体。
13. コンピュータに、
    撮影された時間が異なる複数の検出対象画像から、滞留の解析に適した時間差をおいて撮影された複数の検出対象画像を選択する対象画像選択処理、
    選択された複数の検出対象画像から同一の解析領域を示す画像をそれぞれ抽出して、抽出した画像の組である解析画像の組を生成する解析画像生成処理、および、
    複数の画像から滞留物体を識別する識別器を用いて、生成された解析画像の組から滞留物体を検出する滞留物体検出処理を実行させ、
    前記対象画像選択処理で、検出対象の移動モデル又は前記解析領域の大きさの少なくとも一方に基づいて、前記滞留の解析に適した時間差を決定させる
    ためのプログラムを記録したプログラム記録媒体。

Images