JP5465594B2 - 対象物検出サイズ算出システムおよび対象物検出サイズ算出プログラム - Google Patents

Description

本発明は、監視カメラ等の固定カメラにおいて撮影された動画像から人物や顔などの対象物を検出する際の技術に関し、特に、学習データとの対比により対象物を検出する際の適切な対比領域のサイズを算出する対象物検出サイズ算出システムおよび対象物検出サイズ算出プログラムに適用して有効な技術に関するものである。

現在では、様々な施設において、事件や事故などの検知や事後的な証拠収集、犯罪の抑止などの様々な目的のために監視カメラや監視カメラシステム（以下では単に「監視カメラ」と記載する場合がある）が設置されている。監視カメラは高機能・高性能化し続けており、様々な機能を有するものが市場に提供されている。

施設内外の画像の撮影と記録という基本的な機能に加えて、監視カメラにおける付加的な機能としては、監視カメラが撮影した動画像に対する画像処理に基づいて動体を検出する機能、および検出した動体の特徴に基づいて人物や顔などの特定の対象物を検出する機能などがある。

カメラによって撮影された画像（動画像・静止画像）データから人物や顔を検出する技術としては種々のものが提案されている。例えば、学習データ（教師データ）と複数の弱判別器によって、アダブースト・アルゴリズムなどのブースティング・アルゴリズムによる機械学習を実行して検出するものなどが知られている。このような技術としては、例えば、特開２００５−１５７６７９号公報（特許文献１）などがある。

これらの技術では、検出したい人物や顔のサイズに応じて、画像データにおいて学習データと対比させる領域（以下では「ウィンドウ」と記載する場合がある）のサイズを適宜変更したり、ウィンドウのサイズに合わせて画像データのスケールを変換したりする。画像データをウィンドウによりスキャンして、複数の弱判別器によって学習データとの対比により人物や顔であるかを判定することにより、様々な撮影シーンにおいて種々のサイズの人物や顔を高精度で検出することができる。

特開２００５−１５７６７９号公報

一方、施設に設置された監視カメラなどの固定カメラは、基本的に同じ領域を撮影し続けるものであり、その中で撮影される人物のサイズは、設置場所や撮影領域毎に異なるものの常時ほぼ一定の範囲内に収まる。従って、監視カメラなどの固定カメラにおいては、通常、上記のウィンドウサイズ（以下では「対象物検出サイズ」と記載する場合がある）を予め適切な範囲の値に設定しておくことで効率的な検出を図ることが行われている。

この対象物検出サイズの設定は、通常は固定カメラの設置環境と撮影領域に応じて人手により設定される。このとき、対象物検出サイズを大きくすると検出処理に要する時間は短くなるが、検出の取りこぼしが多く発生するようになる。逆に、対象物検出サイズを小さくすると検出の精度は向上するが、検出処理に長時間を要するようになる。すなわち、検出精度と検出速度はトレードオフの関係にあり、適切な対象物検出サイズを設定しなければ検出処理のバランスが悪くなる。また、例えばコンビニエンスストアなど多数の店舗に監視カメラを設置するような場合、全ての店舗において人手により対象物検出サイズを設定することは多大な作業負荷と時間面、費用面でのコストを要する。

そこで本発明の目的は、監視カメラなどの固定カメラにおいて撮影された画像データから学習データとの対比により人物や顔などの対象物を検出することができる固定カメラシステムに対する設定情報として、学習データと対比する際の適切なウィンドウのサイズである対象物検出サイズを算出することを可能とする対象物検出サイズ算出システムおよび対象物検出サイズ算出プログラムを提供することにある。本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述および添付図面から明らかになるであろう。

本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、以下のとおりである。

本発明の代表的な実施の形態による対象物検出サイズ算出システムは、固定カメラにおいて撮影された画像データから学習データとの対比により動体である対象物を検出することができる固定カメラシステムに対する設定情報として、前記画像データと前記学習データとを対比する際の適切な対比領域のサイズである対象物検出サイズを算出する対象物検出サイズ算出システムであって、以下の特徴を有するものである。

すなわち、対象物サイズ算出システムは、前記固定カメラシステムの前記画像データをサンプリングした内容から背景領域についてのデータを取得して背景領域データ記録手段に記録する背景領域取得部と、前記画像データの各フレームについて、前記背景領域データ記録手段に記録された内容と比較することで背景差分法により動体領域の画素集合を検出する動体検出部と、前記動体検出部によって検出された前記動体領域の画素集合についてその輪郭を画像処理により抽出する輪郭抽出部と、前記輪郭抽出部によって抽出された前記動体領域の輪郭について、これを包含する矩形を算出し、フレーム内で算出された１つ以上の前記矩形の平均サイズを算出して矩形データ記録手段に記録する矩形算出部と、所定の期間において前記矩形データ記録手段に蓄積されたフレーム毎の前記矩形の平均サイズの分布状態に基づいて、所定の基準により前記矩形のサイズの範囲を求めて前記対象物検出サイズとして出力する矩形サイズ算出部と、を有することを特徴とするものである。

また、本発明は、コンピュータを上記のような対象物サイズ算出システムとして機能させるプログラムにも適用することができる。

本願において開示される発明のうち、代表的なものによって得られる効果を簡単に説明すれば以下のとおりである。

本発明の代表的な実施の形態によれば、監視カメラなどの固定カメラにおいて撮影された画像データから学習データとの対比により人物や顔などの対象物を検出することができる固定カメラシステムに対する設定情報として、学習データと対比する際の適切なウィンドウのサイズである対象物検出サイズを算出することが可能となり、人手による対象物検出サイズの設定を不要として、大量に固定カメラを設置する場合の作業負荷やコストを大幅に低減することができる。

本発明の一実施の形態である対象物検出サイズ算出システムを含む監視カメラシステムの構成例について概要を示した図である。 本発明の一実施の形態における対象物検出サイズを算出する際の処理の流れの例について概要を示したフローチャートである。 本発明の一実施の形態における動体領域を抽出したフレームの具体例を示した図である。 本発明の一実施の形態におけるノイズを除去したフレームの具体例を示した図である。 本発明の一実施の形態における動体領域の輪郭を抽出したフレームの具体例を示した図である。 本発明の一実施の形態における動体領域の輪郭を包含する矩形を算出したフレームの具体例を示した図である。 本発明の一実施の形態における矩形サイズの平均値の分布から矩形サイズ範囲を算出する例について概要を示した図である。

以下、本発明の実施の形態を図面に基づいて詳細に説明する。なお、実施の形態を説明するための全図において、同一部には原則として同一の符号を付し、その繰り返しの説明は省略する。

本発明の一実施の形態である対象物検出サイズ算出システムは、監視カメラにおいて撮影された画像から学習データとの対比により動体である対象物（本実施の形態では人物を例とする）を検出する機能を有する監視カメラシステムに対する設定情報として、サンプリングした画像データにおける輝度変化量が大きい部分を動体として抽出し、動体の領域を包含する矩形の平均サイズを対象物の平均サイズとして、この統計に基づいて対象物検出サイズを自動的に算出するシステムである。

＜システム構成＞
図１は、本発明の一実施の形態である対象物検出サイズ算出システムを含む監視カメラシステムの構成例について概要を示した図である。図１において、監視カメラ３０は、店舗４０内もしくは遠隔地に設置された監視カメラサーバ２０に接続し、また、監視カメラサーバ２０は、対象物検出サイズ算出システム１０と接続する構成となっている。このような構成において、監視カメラ３０は、店舗４０内外の所定の領域を撮影して動画像として監視カメラサーバ２０に記録する。監視カメラサーバ２０では、記録した動画像を解析することにより動画像内における移動する人物を検出することができる。

監視カメラサーバ２０は、例えば、コンピュータシステムによって構成され、ソフトウェアプログラムによって実装される監視カメラ制御部２１および画像解析部２２の各部と、画像データ２３および人物情報２４の各データもしくはデータベースを有する。また、設定情報として対象物検出サイズ２５の情報を保持する。これにより、監視カメラ３０によって撮影された動画像を記録する機能、および記録した動画像から人物を検出する機能を有する。

監視カメラ制御部２１は、監視カメラ３０の動作を制御する。ここでの制御には、例えば、監視カメラ３０による撮影の実行・停止、撮影領域の変更、露出等の撮影条件の変更などが含まれ得る。また、監視カメラ３０によって撮影された動画像をデジタルデータとして画像データ２３に記録する。

画像解析部２２は、画像データ２３に記録された動画像を解析して、上述したような公知の技術により、学習データとの対比によって人物を検出して、その情報（例えば、各フレームにおける検出された人物を特定する矩形の位置・サイズの情報）を人物情報２４に記録する。このとき、画像データ２３を学習データと対比する際のウィンドウのサイズとして、対象物検出サイズ２５に設定されたウィンドウサイズを使用する。対象物検出サイズ２５には、上記のウィンドウのサイズが、例えば「水平方向××ピクセル〜××ピクセル、垂直方向××ピクセル〜××ピクセル」のように矩形の水平方向、垂直方向のサイズの範囲によって指定されている。従って、例えばこの範囲でウィンドウのサイズを適宜変更させながら画像データ２３をスキャンすることによって人物の検出を行う。

対象物検出サイズ算出システム１０は、例えば、コンピュータシステムによって構成され、ソフトウェアプログラムによって実装される背景領域取得部１１、動体検出部１２、輪郭抽出部１３、矩形算出部１４、および矩形サイズ算出部１５の各部と、背景領域データ１６および矩形データ１７の各データもしくはデータベースを有する。これにより、監視カメラサーバ２０において監視カメラ３０によって撮影された画像から学習データとの対比によって人物を検出する際の対象物検出サイズ２５を自動的に算出する機能を有する。

背景領域取得部１１は、画像データ２３において変化の少ないものをサンプリングした内容から背景領域についてのデータを取得し、背景領域データ１６に出力する。背景領域データ１６は、いわゆる背景差分法により動体領域を検出する際の比較対象のデータとなる。動体検出部１２は、画像データ２３の各フレームのデータについて、背景領域データ１６に記録された内容と比較することで背景差分法により動体領域の画素集合を検出する。輪郭抽出部１３は、動体検出部１２によって検出された各フレームの動体領域の画素集合についてその輪郭を画像処理により抽出する。

矩形算出部１４は、輪郭抽出部１３によって抽出された各フレームの動体領域の輪郭について、これらを包含する矩形を算出し、フレーム内での矩形の平均サイズ（例えば水平方向の辺のサイズ、垂直方向の辺のサイズ）を算出して矩形データ１７に記録する。矩形サイズ算出部１５は、所定の期間において矩形データ１７に蓄積されたフレーム毎の矩形のサイズ（水平方向、垂直方向）の分布状態に基づいて、矩形サイズの範囲（最小値、最大値）を求める。例えば、矩形サイズの分布を算出し、分布における上位および下位から所定の割合のデータを除外して、残ったデータの範囲を矩形サイズの範囲とする。算出した矩形サイズの範囲の情報は対象物検出サイズ２５として出力する。

なお、本実施の形態では、図１に示すように対象物検出サイズ算出システム１０を監視カメラサーバ２０とは独立した機器として実装する場合の例を示しているが、対象物検出サイズ算出システム１０の各部を構成するプログラムやデータを監視カメラサーバ２０内に組み込んで、監視カメラサーバ２０と一体として実装するようにしてもよい。

＜処理内容＞
図２は、対象物検出サイズ算出システム１０において対象物検出サイズ２５を算出する際の処理の流れの例について概要を示したフローチャートである。ここでは、いわゆる背景差分法により動画像から動体領域を抽出し、この動体領域（の輪郭）を包含する矩形のサイズの平均値に基づいて対象物検出サイズを算出する。

まず背景差分法を行う前処理として、背景領域取得部１１により、監視カメラサーバ２０に記録された画像データ２３から背景領域のデータを取得して背景領域データ１６として記録する（Ｓ０１）。ここでは、画像データ２３から変化が少ない（可能な限り動体が写り込んでいない）画像（フレーム）を所定の時間範囲（例えば数分間）サンプリングし、画素毎の輝度の平均値、および当該平均値と画素毎の輝度との差分に基づく輝度振幅の平均値を算出して背景領域データ１６として記録する。サンプリングするフレーム数は、画像データ２３のフレームレートによって異なるが、例えば、１００〜２００フレーム程度をサンプリングする。

背景領域データ１６を取得した後、動体検出部１２により、画像データ２３から順次フレームのデータを読み込んで、フレーム毎に解析処理を行う。まず、対象のフレームについて、背景領域データ１６との差分に基づいて動体領域を検出する（Ｓ０２）。ここでは、例えば、対象のフレームの各画素につき、対象の画素の輝度と背景領域データ１６における対象の画素の平均輝度との差分から輝度振幅を求め、背景領域データ１６における対象の画素の平均輝度振幅を超えているか否かにより、対象の画素が動体領域の画素であるか背景領域の画素であるかを判定する。

なお、ここで取得した対象のフレームの各画素の輝度および輝度振幅の値も含めて、背景領域データ１６における平均輝度および平均輝度振幅の値を算出し直して逐次更新するようにしてもよい。これにより、例えば自然光等による部屋の明るさの変化のような遅い変化を除去することができる。

図３は、図２のステップＳ０１、Ｓ０２の処理により動体領域を抽出したフレームの具体例を示した図である。図３の例では、動体領域と判定された画素のみが輝度に応じて着色表示されている。この状態ではノイズ画素（いわゆる「ごま塩ノイズ」）が多いため、次に、動体検出部１２により、対象のフレームについてノイズ画素の除去を行う（Ｓ０３）。ここでは例えば、一般的な二値化による収縮・膨張処理を行うフィルタによりノイズ画素を除去する。平滑化フィルタやメディアンフィルタ等の他のフィルタを利用してもよい。図４は、図２のステップＳ０３の処理により、ノイズを除去したフレームの具体例を示した図である。図４の例では、図３のデータから細かなノイズ画素が除去されている。

次に、輪郭抽出部１３により、対象のフレームについて動体領域の画素集合の輪郭を抽出する（Ｓ０４）。ここでは例えば、二値化画像における輪郭追跡や、輝度の変化による輪郭抽出、テンプレートマッチングなどの一般的な輪郭抽出アルゴリズムを使用することができる。図５は、図２のステップＳ０４の処理により、動体領域の輪郭を抽出したフレームの具体例を示した図である。図５の例では、複数の動体領域についてそれぞれ抽出した輪郭が表示されている。

次に、矩形算出部１４により、対象のフレームについて輪郭を包含する矩形を算出する（Ｓ０５）。ここでは例えば、輪郭線のｘ座標、ｙ座標の最小値・最大値をそれぞれ算出し、これらの値によって規定される矩形を算出する。複数の矩形が重なり合う場合は、重なり合う領域の面積などに基づく所定の条件により、これらを全て包含する矩形を算出するようにしてもよい。複数の矩形が包含関係になる場合は、最も外側の矩形のみを採用する。図６は、図２のステップＳ０５の処理により、動体領域の輪郭を包含する矩形を算出したフレームの具体例を示した図である。図６の例では、複数の動体領域の輪郭についてそれぞれ抽出した矩形（最も外側のもののみ）が表示されている。

さらに、図６の例に示すようにフレーム内に複数の矩形が存在する場合は、全ての矩形における矩形サイズ（水平方向、垂直方向）の平均値を算出し、矩形データ１７に記録する（Ｓ０６）。算出した平均値が、対象のフレームにおける人物の平均サイズとなる。ここで、矩形サイズの平均値についての複数のフレームに渡る統計値を得るため、所定の時間が経過（もしくは所定のフレーム数を処理）しているか否かを判定する（Ｓ０７）。所定の時間（例えば１日など）が経過していない場合は、ステップＳ０２に戻り、画像データ２３から次のフレームを取得して上記の処理を繰り返す。

ステップＳ０７において所定の時間が経過している場合は、矩形サイズ算出部１５により、矩形データ１７に蓄積されたフレーム毎の矩形サイズの平均値の分布状態に基づいて、矩形サイズの範囲を算出し、この値を対象物検出サイズ２５として出力して（Ｓ０８）、処理を終了する。ここでは例えば、矩形データ１７に基づいて、水平方向、垂直方向でそれぞれ矩形サイズの平均値の分布を算出し、分布における上位および下位から所定の割合のデータを除外して、残ったデータ範囲の最小値と最大値を矩形サイズの範囲（最小値、最大値）、すなわち対象物検出サイズ２５とする。

図７は、図２のステップＳ０７の処理により、矩形サイズの平均値の分布から矩形サイズ範囲を算出する例について概要を示した図である。図７の例では、矩形サイズの平均値毎に出現フレーム数を積算して得られた分布について、上位と下位の所定の位置（例えば上位・下位からそれぞれ数％）より外側のデータを除外し、内側の部分を矩形サイズ範囲としていることを示している。以上のような処理により、対象物検出サイズ２５として実用上支障のない精度の矩形サイズの範囲（大まかな人物のサイズ）を算出することができる。

なお、本実施の形態では、矩形のサイズを水平方向と垂直方向の辺のサイズによって特定しているが、例えば、矩形の対角線（水平もしくは垂直からの角度と、頂点間もしくは中心と頂点間の長さ）によって特定するなど、他の特定方法であってもよい。また、本実施の形態では監視カメラサーバ２０の画像解析部２２において検出する対象物を人物として説明したが、上述したように対象物は人物に限らず、学習データと対比させて検出するものであれば顔や他の動体であってもよい。

以上に説明したように、本発明の一実施の形態である対象物検出サイズ算出システム１０によれば、監視カメラ３０などの固定カメラにおいて撮影された画像データ２３から学習データとの対比により人物や顔などの対象物を検出することができる固定カメラシステムに対する設定情報して、学習データと対比する際の適切なウィンドウのサイズである対象物検出サイズ２５を自動的に算出することが可能となり、人手による対象物検出サイズ２５の設定を不要として、大量に固定カメラを導入・設置する場合の作業負荷やコストを大幅に低減することができる。

以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は前記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。

本発明は、監視カメラ等の固定カメラにおいて撮影された動画像から学習データとの対比により人物や顔などの対象物を検出する際の適切な対比領域のサイズを算出する対象物検出サイズ算出システムおよび対象物検出サイズ算出プログラムに利用可能である。

１０…対象物検出サイズ算出システム、１１…背景領域取得部、１２…動体検出部、１３…輪郭抽出部、１４…矩形算出部、１５…矩形サイズ算出部、１６…背景領域データ、１７…矩形データ、
２０…監視カメラサーバ、２１…監視カメラ制御部、２２…画像解析部、２３…画像データ、２４…人物情報、２５…対象物検出サイズ、
３０…監視カメラ、
４０…店舗。

Claims (5)

1. 固定カメラにおいて撮影された画像データから学習データとの対比により動体である対象物を検出することができる固定カメラシステムに対する設定情報として、前記画像データと前記学習データとを対比する際の適切な対比領域のサイズである対象物検出サイズを算出する対象物検出サイズ算出システムであって、
   前記固定カメラシステムの前記画像データをサンプリングした内容から背景領域についてのデータを取得して背景領域データ記録手段に記録する背景領域取得部と、
   前記画像データの各フレームについて、前記背景領域データ記録手段に記録された内容と比較することで背景差分法により動体領域の画素集合を検出する動体検出部と、
   前記動体検出部によって検出された前記動体領域の画素集合についてその輪郭を画像処理により抽出する輪郭抽出部と、
   前記輪郭抽出部によって抽出された前記動体領域の輪郭について、これを包含する矩形を算出し、フレーム内で算出された１つ以上の前記矩形の平均サイズを算出して矩形データ記録手段に記録する矩形算出部と、
   所定の期間において前記矩形データ記録手段に蓄積されたフレーム毎の前記矩形の平均サイズの分布状態に基づいて、所定の基準により前記矩形のサイズの範囲を求めて前記対象物検出サイズとして出力する矩形サイズ算出部と、を有することを特徴とする対象物検出サイズ算出システム。
2. 請求項１に記載の対象物検出サイズ算出システムにおいて、
   前記背景領域取得部は、前記画像データをサンプリングした内容から背景領域についての各画素の平均輝度および平均輝度振幅に係る情報を取得して前記背景領域データ記録手段に記録し、
   前記動体検出部は、前記画像データの各フレームについて、画素毎に輝度および前記平均輝度から得られる輝度振幅と、前記平均輝度振幅とを比較することで前記動体領域の画素集合を検出することを特徴とする対象物検出サイズ算出システム。
3. 請求項２に記載の対象物検出サイズ算出システムにおいて、
   前記動体検出部は、処理を行った前記画像データのフレームにおける画素毎の輝度および輝度振幅の値によって前記平均輝度および前記平均輝度振幅の値を再計算して、前記背景領域データ記録手段の内容を逐次更新することを特徴とする対象物検出サイズ算出システム。
4. 請求項１〜３のいずれか１項に記載の対象物検出サイズ算出システムにおいて、
   前記矩形算出部は、算出した複数の前記矩形が包含関係になる場合は、最も外側の前記矩形のみを採用することを特徴とする対象物検出サイズ算出システム。
5. 固定カメラにおいて撮影された画像データから学習データとの対比により動体である対象物を検出することができる固定カメラシステムに対する設定情報として、前記画像データと前記学習データとを対比する際の適切な対比領域のサイズである対象物検出サイズを算出する対象物検出サイズ算出システムとしてコンピュータを機能させる対象物検出サイズ算出プログラムであって、
   前記固定カメラシステムの前記画像データをサンプリングした内容から背景領域についてのデータを取得して背景領域データ記録手段に記録するステップと、
   前記画像データの各フレームについて、前記背景領域データ記録手段に記録された内容と比較することで背景差分法により動体領域の画素集合を検出するステップと、
   前記動体領域の画素集合を検出したデータからノイズを除去するステップと、
   前記動体領域の画素集合についてその輪郭を画像処理により抽出するステップと、
   抽出された前記動体領域の輪郭について、これを包含する矩形を算出するステップと、
   フレーム内で算出された１つ以上の前記矩形の平均サイズを算出して矩形データ記録手段に記録するステップと、
   所定の期間が経過している場合に、前記矩形データ記録手段に蓄積されたフレーム毎の前記矩形の平均サイズの分布状態に基づいて、所定の基準により前記矩形のサイズの範囲を求めて前記対象物検出サイズとして出力するステップと、を実行することを特徴とする対象物検出サイズ算出プログラム。