以下、本発明の実施の形態(以下実施形態という)である画像監視装置1について、図面に基づいて説明する。画像監視装置1は、本発明に係る物体検出装置を含んで構成され、所定の空間(監視空間)が撮影された画像(撮影画像)において背景内に現れる人や不審物等の前景物体を検出し、その検出結果に基づいて監視対象の有無等を解析する。
[画像監視装置の構成]
図1は第1および第2の実施形態に係る画像監視装置1の概略の構成を示すブロック図である。画像監視装置1はカメラ2、通信部3、記憶部4、画像処理部5および報知部6からなる。
カメラ2は監視カメラであり、通信部3を介して画像処理部5と接続され、監視空間を所定の時間間隔で撮影して撮影画像を生成し、撮影画像を順次、画像処理部5に入力する撮影手段である。例えば、カメラ2は、監視空間であるイベント会場の一角に設置されたポールに当該監視空間を俯瞰する所定の固定視野を有して設置され、監視空間をフレーム周期1秒で撮影してカラー画像を生成する。なお、カメラ2はカラー画像の代わりにモノクロ画像を生成してもよい。
通信部3は通信回路であり、その一端が画像処理部5に接続され、他端がカメラ2および報知部6と接続される。通信部3はカメラ2から撮影画像を取得して画像処理部5に入力し、画像処理部5から入力された解析結果を報知部6へ出力する。
例えば、カメラ2および報知部6がイベント会場内の監視センターに設置され、通信部3、記憶部4および画像処理部5が遠隔地の画像解析センターに設置される場合、通信部3とカメラ2、および通信部3と報知部6をそれぞれインターネット回線にて接続し、通信部3と画像処理部5はバスで接続する構成とすることができる。その他、例えば各部を同一建屋内に設置する場合は、通信部3とカメラ2を同軸ケーブルまたはLAN(Local Area Network)で接続し、通信部3と報知部6はディスプレイケーブル、通信部3と画像処理部5はバスで接続するなど、各部の設置場所に応じた形態で適宜接続される。
記憶部4は、ROM(Read Only Memory)、RAM(Random Access Memory)等のメモリ装置であり、各種プログラムや各種データを記憶する。記憶部4は画像処理部5と接続されて、画像処理部5との間でこれらの情報を入出力する。
画像処理部5は、CPU(Central Processing Unit)、DSP(Digital Signal Processor)、MCU(Micro Control Unit)等の演算装置で構成される。画像処理部5は記憶部4からプログラムを読み出して実行することにより各種処理手段・制御手段として動作し、必要に応じて、各種データを記憶部4から読み出し、生成したデータを記憶部4に記憶させる。また、画像処理部5は、通信部3経由でカメラ2から取得した撮影画像から監視空間における監視対象の有無や位置などに関する解析結果を生成し、通信部3を介して報知部6へ出力する。
報知部6は、液晶ディスプレイまたはCRT(Cathode Ray Tube)ディスプレイ等のディスプレイ装置であり、通信部3から入力された解析結果に含まれる監視対象の有無や位置等の情報を表示することによって監視員に報知する。報知部6には、さらに、注意喚起を強調するためにブザーやランプ等を含めることもできる。監視員は表示された解析結果を視認して対処の要否等を判断し、必要に応じて対処員を急行させる等の対処を行う。
なお、本実施形態においては、通信部3と画像処理部5の組に対してカメラ2が1台である画像監視装置1を例示するが、別の実施形態においては、通信部3と画像処理部5の組に対してカメラ2が2台以上接続された構成とすることもできる。その場合、通信部3は各カメラ2から撮影画像を時分割で受信し、画像処理部5は各カメラ2からの撮影画像を時分割処理または並列処理する。
[第1の実施形態に係る画像監視装置の機能]
図2は第1の実施形態に係る画像監視装置1の概略の機能ブロック図である。図2には専ら、通信部3、記憶部4および画像処理部5の機能が示されており、具体的には、通信部3は撮影画像取得手段30、解析結果出力手段31等として機能し、記憶部4は環境モデル記憶手段40、カメラ情報記憶手段41、背景情報記憶手段42等として機能し、画像処理部5は背景情報生成手段50、影抽出手段51、前景物体検出手段52および前景物体情報解析手段53として機能する。
撮影画像取得手段30はカメラ2から撮影画像を順次取得して、取得した撮影画像を背景情報生成手段50、影抽出手段51および前景物体検出手段52に順次出力する。
環境モデル記憶手段40は、監視空間の背景を構成する複数の構成物(背景構成物)の三次元モデルを三次元背景として記憶する。
背景構成物は例えば、屋外であれば、歩道、道路、建物、標識などの建造物や、樹木などの移動しない自然物である。好適には、道路のうちのアスファルト部分と白線部分、また標識のうちの地色部分と文字・マーク部分のように、反射特性が互いに有意に異なる部分が別の背景構成物として記憶される。
背景構成物の三次元モデルは、監視空間を模したXYZ座標系における各背景構成物の位置、姿勢、立体形状にて表される三次元座標値および各背景構成物の反射特性のデータを含む。反射特性は一般的に、構成物表面の色、テクスチャ、反射率等の要素で構成される。反射率は例えば、鏡面反射成分の反射率および拡散反射成分の反射率、並びにそれらの割合をパラメータとして持つ二色性反射モデルで表現される。
背景構成物の三次元モデルは、建築設計時に作成されたIFC(Industry Foundation Classes)規格の建物情報、三次元CADデータ等あるいは事前の実計測データから取得できる。
また、環境モデル記憶手段40はさらに当該監視空間の照明モデルも予め記憶している。照明モデルは、監視空間を照明する1以上の光源について、監視空間を模したXYZ座標系における当該光源の位置、および当該光源の配光、色温度などで表される照明特性を含む。光源は人工照明や太陽等である。
カメラ情報記憶手段41は監視空間を模したXYZ座標系におけるカメラ2のカメラパラメータを予め記憶している。カメラパラメータは外部パラメータと内部パラメータとからなる。外部パラメータはXYZ座標系におけるカメラ2の位置姿勢である。内部パラメータはカメラ2の焦点距離、中心座標、歪係数などである。カメラパラメータは事前のキャリブレーションによって計測され、カメラ情報記憶手段41に記憶される。このカメラパラメータをピンホールカメラモデルに適用することによってXYZ座標系の座標をカメラ2の撮影面を表すxy座標系に変換できる。
本発明のモデル記憶手段は環境モデル記憶手段40とカメラ情報記憶手段41を含む。
背景情報記憶手段42は、監視空間の背景が撮影された撮影画像(背景画像)にて背景構成物の反射特性が類似する画素の集まりである特性類似領域を記憶する。この特性類似領域を参照することによって、撮影画像中の任意の画素について、当該画素に背景として撮影され得る背景構成物の反射特性を特定できる。
また、背景情報記憶手段42は背景画像を記憶する。背景画像は撮影画像に撮影され得る背景構成物の像を表し、撮影画像と比較されて当該撮影画像において背景構成物以外(前景物体)の像が撮影されている領域(前景物体領域)を抽出するために用いられる。
背景情報生成手段50は特性類似領域および背景画像を算出し、算出した特性類似領域および背景画像を背景情報記憶手段42に記憶させる。例えば、特性類似領域は、環境モデル記憶手段40に記憶されている環境モデルをカメラ情報記憶手段41に記憶されているカメラパラメータを用いてレンダリングすることにより算出できる。
具体的には、背景情報生成手段50は、カメラ2のカメラパラメータを用いて環境モデルをカメラ2の撮影面にレンダリングすることによって、撮影面に形成される画像の各画素に投影される背景構成物を特定する。なお、ここでのレンダリングにおいては光源の照明条件は問わず、任意の照明条件を1つ設定すればよい。
その一方で、背景情報生成手段50は環境モデルに含まれる背景構成物の反射特性ごとにその識別子として反射特性IDを付与する。その際、値が完全一致する反射特性に共通の反射特性IDを付与してもよいし、値が同一とみなせる程度に類似する反射特性に共通の反射特性IDを付与してもよい。反射特性の類否は、反射特性を構成する上述した要素、パラメータに基づいて判定される。具体的には、それぞれの要素およびパラメータの差が予め定めた閾値以下であれば反射特性が類似と判断する。なお、元から反射特性ごとのIDが付与されている環境モデルであれば当該IDを利用すればよい。
そして、次に、背景情報生成手段50は撮影画像の各画素に対応する画素を有した反射特性マップを作成し、当該反射特性マップの各画素の画素値に、当該画素に投影される背景構成物の反射特性IDを設定する。この反射特性マップにおいて画素値が同一である画素からなる領域それぞれが特性類似領域となる。
また、背景画像は、撮影画像の照明条件およびカメラ情報記憶手段41に記憶されているカメラパラメータにて、環境モデル記憶手段40に記憶されている環境モデルをレンダリングすることにより算出できる。
具体的には、背景情報生成手段50は、まず、撮影画像が撮影された時点における光源の照明条件の推定および当該照明条件下での環境モデルのレンダリングを行う。すなわち、複数通りの照明条件を設定してレンダリングを行い、撮影画像とレンダリングの結果として得られるレンダリング画像との類似度を算出し、類似度が最大であるレンダリング画像を背景画像として選択する。
なお、背景情報生成手段50は、前景物体が監視空間内に存在しない状態での撮影画像を背景画像とすることもできる。その場合、好適には、背景情報記憶手段42に記憶されている背景画像を、前景物体領域を除いた領域の撮影画像との重み付け平均画像に置き換えるなどの更新を随時行う。
図3は反射特性マップの例を示す模式図である。図3において、反射特性マップ100は、車道の右側に歩道を挟んで建物が存在する曲がり角が写った撮影画像に対応する例である。図に示すように、反射特性マップ100は撮影画像の各画素と対応する画素を有する画像データとすることができ、カメラ2の撮影面と同じxy座標系で表すことができる。
具体的には反射特性マップ100は、それに対応する撮影画像に反射特性が異なる背景構成物として、石畳からなる歩道、アスファルト舗装された道路、当該道路に道路標示として描かれた白線、および建物の壁が写っている場合の例である。ここで例えば、歩道の石畳の反射特性に対しては反射特性IDを「1」と定義し、同様に、アスファルトの路面、白色の道路標示、建物の壁の反射特性に対しては反射特性IDをそれぞれ「2」,「3」,「4」と定義する。
反射特性マップ100には撮影画像における反射特性が異なる背景構成物の領域ごとに反射特性IDが設定される。画像101は反射特性マップ100のうち歩道領域111を斜線で示しており、当該斜線領域の画素に反射特性IDとして値「1」が設定される。同様に、画像102,103,104はそれぞれ反射特性マップ100のうちアスファルト領域112、白線領域113、壁領域114を斜線で示しており、当該斜線領域の画素に反射特性IDとしてそれぞれ値「2」,「3」,「4」が設定される。
影抽出手段51は撮影画像において監視空間内に生じた影が撮影されている領域(影領域)を抽出し、抽出した影領域の情報を前景物体検出手段52に出力する。具体的には、影抽出手段51は、撮影画像の照明条件およびカメラ情報記憶手段41に記憶されているカメラパラメータにて、環境モデル記憶手段40に記憶されている環境モデルをレンダリングし、背景構成物の影が形成されている領域(直接光が背景構成物によって遮られている領域)を推定影領域として抽出する。
なお、影抽出手段51は、背景画像の輝度値が予め定めたしきい値未満である領域を推定影領域とすることもできる。
または、予めの学習に基づいて影領域と影領域以外の領域(非影領域)とを識別する識別器(影識別器)を用いて影領域を抽出することもできる。影識別器は、例えば、影判定モデルにランダムフォレスト(Random Forest)と呼ばれる木構造のモデルを用い、学習用データにより予め学習される。そして、撮影画像内の局所領域ごとに画素値・輝度値などの画像特徴を入力され、当該局所領域に影が撮影されている可能性の高さを表す値(影度合い)を出力する。好適には、影判定モデルは特性類似領域ごとに生成する。つまり、特性類似領域ごとに、学習用の撮影画像における当該特性類似領域に帰属する局所領域の画像特徴を影判定モデルに入力して得られる影度合いを、当該局所領域の学習用影度合いに近づける更新を影判定モデルに対して行うことで、学習済のモデルを生成する。なお、影判定モデルは、ランダムフォレストに代えて、サポートベクターマシーン(Support Vector Machine:SVM)、アダブースト(AdaBoost)型の識別器、または識別型のCNN(Convolutional Neural Network)等、2クラス問題に適用可能な種々の公知のモデルとすることができる。
または、影抽出手段51は、撮影画像と光源を反映せずにレンダリングした背景画像とを比較して輝度値の低下が予め定めたしきい値TS以上である領域を影領域として抽出する構成とすることもできる。
前景物体検出手段52は撮影画像に撮影されている前景物体を検出する検出処理を行い、検出処理の結果である前景物体の情報(前景物体情報)を生成して、前景物体情報を前景物体情報解析手段53に出力する。前景物体情報には、少なくとも監視空間における前景物体の有無を含み、好適には撮影画像における前景物体領域、前景物体領域の代表位置、撮影画像から前景物体領域を切り出した前景物体画像などを含む。ちなみに、前景物体領域は影領域および非影領域のいずれにも存在し得る。
検出処理は、背景情報生成手段50に記憶されている特性類似領域および影抽出手段51が抽出した影領域を参照して、特性類似領域ごとの影領域および特性類似領域ごとの非影領域に分けて行う。例えば、図3のような4種類の特性類似領域が設定され、それぞれが影領域と非影領域とを有する場合は8領域に分けて検出処理が行われる。
検出処理の対象として分けられた領域(分割領域)のそれぞれでは、背景構成物の反射特性IDは1つに特定されること、および影領域の推定誤差の影響は受け得るが基本的には影の有無のいずれかが支配的であることから、画素値が略単一となる。そのため、分割領域における撮影画像の画素値の頻度分布を解析すれば、前景物体が当該分割領域に存在しない場合は単峰性の頻度分布となり、一方、前景物体が当該分割領域に存在する場合は頻度分布に複数の山部が現れることが期待できる。
そこで、前景物体検出手段52は、特性類似領域ごとに影領域および非影領域のそれぞれについて撮影画像の画素値の頻度分布を算出する。例えば、画素値の頻度分布は輝度値の頻度分布とすることができる。画素値の頻度分布はRGB成分値またはHSV成分値についての3次元の頻度分布とすることができる。
そして、前景物体検出手段52はいずれかの頻度分布が複数の山部を有する場合に監視空間に前景物体が存在すると判定する。
画素値の頻度分布が単峰性か否かの違いに着目して前景物体を検出する本手法では、背景差分処理における2値化しきい値を適切に設定しないと前景物体の検出精度が低下するという問題が生じない。そのため、本手法はコントラスト低下によりしきい値の設定が難しくなる場合に特に有効である。そこで、非影領域よりコントラストが低下し易い影領域にて本手法を用い、非影領域では背景差分処理または背景相関処理などの他の手法で前景物体を検出する構成とすることもできる。
また、前景物体検出手段52は、複数の山部のうちの前景物体に帰属する山部(前景山部)を特定し、前景山部に属する画素の塊を前景物体領域として抽出する。前景山部は複数の山部のうちの背景構成物に係る山部(背景山部)以外の山部である。具体的には前景山部は、山部の頻度および画素値の少なくとも一方に基づいて特定することができる。山部の頻度に基づいて特定する場合は、例えば、最も高い山部を背景山部と特定し、それ以外の山部を前景山部と特定する。また、山部の画素値に基づいて特定する場合は、例えば、各分割領域における背景画像の画素値と一致する画素値を含む山部を背景山部と特定し、それ以外の山部を前景山部と特定する。また、頻度の高さと背景画像の画素値との類似度を総合評価する評価値を算出して、評価値が最大の山部を背景山部と特定し、それ以外の山部を前景山部と特定してもよい。
ここまでに説明した、頻度分布に基づく前景物体の検出処理と前景物体領域の抽出処理とを行うために、前景物体検出手段52は、前景物体領域抽出手段521を備える。
前景物体領域抽出手段521は、各特性類似領域を影領域と非影領域とに分割して分割領域を設定し、各分割領域における正規化輝度ヒストグラム(以下、単に輝度ヒストグラム)を算出する。このとき、人のサイズよりも小さな分割領域など、検出対象とする前景物体よりも小さな分割領域は、頻度分布の分析対象とせず、後述する穴埋め処理で補う。
なお、撮影画像がカラー画像である場合、前景物体領域抽出手段521は、撮影画像にグレースケール変換を施すことによって、RGB成分値を輝度値に変換してから各輝度ヒストグラムを算出する。
さらに、前景物体領域抽出手段521は、各輝度ヒストグラムが単峰性か否かを判定する。そして、前景物体領域抽出手段521は単峰性ではないと判定した輝度ヒストグラムにおいて前景山部を特定する。
例えば、前景物体領域抽出手段521は、各輝度ヒストグラムを正規分布の数(分布数)が2である混合正規分布で近似して、2つの正規分布同士での平均値の差が予め定めたしきい値TM以上であれば複数の山部が存在すると判定し、しきい値TM未満であれば単峰性であると判定する。
本実施形態では、複数の山部が存在すると判定した場合、前景物体領域抽出手段521は、分布数を予め定めた上限数NDまで1ずつ増加させながら混合正規分布の輝度ヒストグラムに対する近似度を算出して、近似度が最も高い分布数を特定する。そして、特定した分布数で近似した混合正規分布において、最も混合比が高い正規分布(すなわち最も高い山)を背景山部と特定し、それ以外の正規分布を前景山部と特定する。または、平均値と背景画像の輝度値との間の距離が最小の正規分布を背景山部と特定し、それ以外の正規分布を前景山部と特定してもよい。または、混合比が高いほど高く上記距離が短いほど高い評価値が最大の正規分布を背景山部と特定し、それ以外の正規分布を前景山部と特定してもよい。なお、隣接する任意の2つの山部は有意に分離するように制限することができ、例えば、2つの正規分布それぞれの平均値の間の距離が上述したしきい値TMのような下限距離以上となることを条件として課すことができる。
前景物体領域抽出手段521は、分割領域ごとに前景山部の位置と共通する輝度値を有する画素を前景物体領域の画素として抽出し、各分割領域から抽出された前景物体領域のうちの隣接関係にある前景物体領域同士を1つに統合する。好適には、前景物体領域抽出手段521は、さらに、統合後の前景物体領域に穴埋め処理やノイズ除去処理などの補正処理を施す。
ところで、前景物体領域は、撮影画像において背景画像との画素値の相違度が大きな強変化領域と、撮影画像において背景画像との画素値の相違度が小さな弱変化領域とを含み得る。そのうちの弱変化領域が、前景物体において背景構成物と似た色を有する部分である。ちなみに、強変化領域以外の領域(非強変化領域)には弱変化領域の他に、変化のない無変化領域も含まれ得る。
強変化領域は従前の背景差分処理または背景相関処理によって容易に検出でき、強変化領域を除いた非強変化領域に対して上述の画素値の頻度分布の分析を行えば山部の検出や前景山部の特定が容易になる。
そこで、前景物体検出手段52は、撮影画像と背景画像との間で画素値の相違度が基準値TD以下である非強変化領域を抽出し、非強変化領域について頻度分布の算出を行って、当該頻度分布における前景山部に属する画素を弱変化領域として抽出する。また、前景物体検出手段52は、相違度が基準値TDを超える強変化領域を抽出し、隣接関係にある弱変化領域と強変化領域を1つにまとめることによって前景物体領域を抽出する。
強変化領域と非強変化領域とを分ける基準値TDは、換言すれば弱変化領域に関する上限値であり、上述の画素値の頻度分布の分析に関し、濃い影の中の前景物体における暗色部分を含め、前景物体の背景と似た色の部分などの抽出し損ねを許容しつつ、余分な抽出が生じないように、予めの実験を通じて設定された値である。
この変化領域の抽出を行うために、前景物体検出手段52は変化領域抽出手段520を備える。すなわち、変化領域抽出手段520は、撮影画像と、背景情報記憶手段42に記憶されている背景画像との間で背景差分処理を行い、差分値がTDを超える強変化領域と差分値がTD以下である非強変化領域とを示す情報を前景物体領域抽出手段521に出力する。ここでは背景差分処理による差分値が、変化領域の変化強度を評価する相違度となる。なお、背景差分処理に代えて背景相関処理を用いる場合は、相関値を相違度に変換してTDを適用すればよい。
この変化領域抽出手段520を備えて撮影画像を強変化領域と非強変化領域とに区分する構成では、前景物体領域抽出手段521は、各特性類似領域内の非強変化領域を影領域と非影領域とに分割して分割領域を設定し、各分割領域における輝度ヒストグラムを算出する。
当該構成では強変化領域が除かれている分、輝度ヒストグラムの山部が少なくなる。また、輝度ヒストグラムに現れる山部は輝度値が比較的低い範囲に偏在する。そこで、前景物体領域抽出手段521は、分布数の上限値NDを低めに設定して混合正規分布による近似処理を行う。また、前景物体領域抽出手段521は、輝度ヒストグラムにおいて高輝度側および低輝度側の頻度値が連続して0である領域を除いて混合正規分布による近似処理を行う。このようにすることで山部の検出や前景山部の特定のための処理負荷を減じることができる。
前景物体情報解析手段53は、前景物体検出手段52が出力した前景物体情報を解析して、解析結果を解析結果出力手段31へ出力する。前景物体情報解析手段53は例えば、前景物体から監視対象である物体を検出し、また当該物体の姿勢の推定、当該物体の追跡などを行う。
解析結果出力手段31は前景物体情報解析手段53から入力された解析結果を報知部6へ出力する。
[第1の実施形態に係る画像監視装置の動作]
図4は第1の実施形態に係る画像監視装置1の動作を説明する概略のフロー図である。
画像処理部5は、撮影画像から対象を検知する処理に先立って背景情報生成手段50として動作し、特性類似領域を算出する(ステップS1)。例えば、図3の反射特性マップ100の例では、画像101~104それぞれの斜線領域が特性類似領域として得られる。背景情報生成手段50は算出した特性類似領域を背景情報記憶手段42に記憶させる。
背景情報記憶手段42に特性類似領域が記憶された状態にて、通信部3は撮影画像取得手段30として動作し、カメラ2から撮影画像を順次取得する(ステップS2)。
画像処理部5は、撮影画像取得手段30から撮影画像を取得するごとに、背景情報生成手段50として動作し、当該撮影画像に対応した背景画像を生成する(ステップS3)。また、画像処理部5は影抽出手段51として動作して、背景画像にて背景構成物の影が形成されている領域を推定影領域として抽出する(ステップS4)。
しかる後、画像処理部5は前景物体検出手段52として動作し、撮影画像における前景物体を検出し前景物体情報を生成する(ステップS5)。
図5は前景物体検出処理S5の概略のフロー図である。前景物体検出手段52における変化領域抽出手段520は撮影画像を、背景画像との相違度に関する基準値TDに基づいて区分し、強変化領域と非強変化領域を抽出する(ステップS500)。
図6は変化領域抽出手段520の処理を説明する画像の模式図である。画像200は撮影画像の一例であり、また画像201,202は撮影画像200から抽出される強変化領域および非強変化領域それぞれを示している。撮影画像200には、左上から右下への斜線のハッチングで示す日陰領域210と、歩道領域の非影領域に立つ人物211とが示されている。人物211は黒い頭髪で黒い服(右上から左下への斜線のハッチング部分)を着用しており基本的に暗色であり、日陰領域210に近い輝度値を有する。一方、人物211の顔および手は頭髪や服よりも高輝度である。変化領域抽出手段520は、撮影画像200と背景画像との差分画像の画素値を基準値TDと比較して強変化領域、非強変化領域を求める。その結果、画像201には画素値がTDを超える強変化領域220として人物211の顔および両手が抽出されている。一方、画像202の斜線部が非強変化領域を示しており、撮影画像200のうち背景部分および人物211の顔・手以外の部分についての差分画素値がTD以下であり、非強変化領域として抽出されたことを示している。ちなみに、非強変化領域のうち背景部分は無変化領域であり、人物211の頭髪・服は弱変化領域となる。
変化領域抽出手段520による強変化領域、非強変化領域の抽出結果は前景物体領域抽出手段521に渡される。前景物体領域抽出手段521は特性類似領域ごとに分割領域として影領域と非影領域とを設定するが、本実施形態では、当該分割領域の設定を非強変化領域のみにて行う(ステップS501)。
図7は前景物体領域抽出手段521による分割領域の設定例を示す画像の模式図であり、図6の撮影画像200に対応した例である。ここでは説明を簡単にするため、影抽出手段51による推定影領域は撮影画像200の日陰領域210と一致しているものとする。図7の画像300~335の斜線部が分割領域である。ここでは上述のように分割領域は図4の画像202に示す非強変化領域を特性類似領域ごとに、また影領域と非影領域とに分割して設定される。具体的には、反射特性IDの値をrとすると、画像300に示す分割領域は、r=1の非影領域であり、画像305に示す分割領域は、r=1の影領域である。また、画像310,315に示す分割領域はそれぞれr=2の非影領域、影領域であり、同様に、画像320,325はそれぞれr=3の非影領域、影領域であり、画像330,335はそれぞれr=4の非影領域、影領域である。
図8は画像300~335に示す分割領域の輝度ヒストグラムの模式図であり、横軸Iが輝度、縦軸Fが頻度を表す。輝度ヒストグラム400,405,410,415,420,425,430,435はそれぞれ画像300,305,310,315,320,325,330,335の分割領域に対応する。例えば、人物211の非強変化領域は図4の撮影画像200に示すように、歩道の非影領域および影領域と建物の壁の非影領域および影領域とに存在し、よって、画像300,305,320,325の分割領域には背景構成物の他に、前景物体として人物が写っている。これに対応して、輝度ヒストグラム400,405,420,425には2つの山部が現れている。これに対し、画像310,315,330,335の分割領域には背景構成物しか写っておらず、輝度ヒストグラム410,415,430,435は単峰となっている。
前景物体領域抽出手段521はステップS501にて設定した各分割領域を順次、注目領域に設定して(ステップS502)、ステップS503~S505の処理をループ処理で全分割領域に対して行う(ステップS506)。
当該ループ内にて、前景物体領域抽出手段521は、撮影画像における注目領域内の画素群についての輝度ヒストグラムを算出する(ステップS503)。これにより、図7の分割領域のうち注目領域に設定されているものについて図8に示す輝度ヒストグラムが算出される。
そして、前景物体領域抽出手段521は、当該輝度ヒストグラムに存在する山部が複数であるか単一であるかを判定する処理を行い、山部が複数ある場合は(ステップS504にて「YES」の場合)、それら山部のうち前景山部を特定し、前景山部に属する画素を前景物体領域に設定する(ステップS505)。一方、輝度ヒストグラムが単一の山部を有する場合(ステップS504にて「NO」の場合)、ステップS505は省略される。
ちなみに、ステップS504において山部が複数存在すると判定された時点(またはステップS505にて前景物体領域が設定された時点)で、本発明の物体検出装置による前景物体の検出がなされたことになる。
前景物体領域抽出手段521は、このステップS503~S505の処理を全分割領域について終えていない場合(ステップS506にて「NO」の場合)、処理をステップS502に戻して未処理の分割領域を注目領域に設定してループ処理を繰り返す。
一方、全ての分割領域についてループ処理を終えると(ステップS506にて「YES」の場合)、前景物体領域抽出手段521は、隣接関係にある前景物体領域同士とそれらに隣接する強変化領域とを統合する(ステップS507)。
図9はステップS507の処理例を説明する模式図であり、図7、図8の例に対応している。画像300,305,320,325に示す分割領域に対応する輝度ヒストグラム400,405,420,425が複数の山部を有するので、それら画像からそれぞれステップS505にて前景物体領域が抽出される。図9の画像500,510,520,530の斜線部で示した領域は、それぞれ画像300,305,320,325の分割領域から抽出された前景物体領域である。画像540はステップS507にてこれら前景物体領域をまとめた結果を示している。具体的には、図6の撮影画像200に写る人物211の頭髪・服に起因する弱変化領域が画像540にて斜線領域として得られる。
一方、画像550は画像201の強変化領域220を斜線部で示している。具体的には、撮影画像200に写る人物211の顔・手が当該斜線部に対応する。
画像560は、画像540に示す非強変化領域から抽出された前景物体領域の斜線部と画像550に示す強変化領域として抽出された前景物体領域とを統合するステップS507の処理結果を示している。具体的には、撮影画像200にて人物211が写る領域が斜線部で示す前景物体領域として得られる。
さらに、前景物体領域抽出手段521は統合後の前景物体領域に補正処理を施す(ステップS508)。当該補正処理では、小さな特性類似領域を分析対象から外したことを補償するための穴埋め処理や、2値化処理などで生じる1画素ないし数画素のごま塩ノイズを除去する処理が行われる。また、当該補正処理は、影抽出手段51による抽出に誤差があった場合に、影領域と非影領域との境界部分が背景差分にて大きな画素値を有し輝度ヒストグラムにて山部を生じ前景物体領域として誤検出されることを防ぐための処理を含む。具体的には、境界部分と前景物体領域との形状を比較して、それらの一致度が予め定めたしきい値TB以上である前景物体領域を誤検出であるとして削除する。
以上説明した前景物体検出手段52による前景物体検出処理S5にて前景物体情報が生成され、画像処理部5は処理を図4のステップS6に進める。
画像処理部5は前景物体情報解析手段53として動作し、前景物体情報解析手段53は前景物体検出手段52から入力された前景物体情報を解析して、解析結果を解析結果出力手段31に出力する(ステップS6)。そして、解析結果出力手段31は前景物体情報解析手段53から入力された解析結果を報知部6へ出力する(ステップS7)。
ステップS2にて取得された撮影画像に対して以上の処理を終えると、処理は再びステップS2に戻され、新たに取得される撮影画像に対して上述したステップS3~S7の処理が繰り返される。
以上のように、特性類似領域ごとの影領域および特性類似領域ごとの非影領域に分けて検出処理を行うことで、各分割領域では、影領域への帰属の有無を含めて当該分割領域に撮影され得る背景構成物の画素値が略単一となるため、分割領域における画素値の頻度分布は前景物体が存在しなければ単峰性を示し、前景物体が存在すれば複数の山部を有する。よって、暗色部分を有して影領域内に存在する前景物体をはじめとする背景構成物と似た色を有する前景物体を含めて前景物体を精度良く検出することが可能となる。
[第2の実施形態に係る画像監視装置の機能]
第2の実施形態に係る画像監視装置の構成要素のうち、第1の実施形態と基本的に同一の構成要素には同一の符号を付して第1の実施形態での説明を援用しここでの説明の簡素化を図ることとする。
第2の実施形態に係る画像監視装置1の概略の機能ブロック図は第1の実施形態の図2と共通である。但し、第2の実施形態は前景物体検出手段52の処理内容において第1の実施形態と相違する。以下、主に当該相違点について説明する。
第1の実施形態の前景物体検出手段52は、分割領域ごとの処理にて、輝度ヒストグラムにおける背景山部や前景山部を特定し前景物体領域を抽出した。これに対し、本実施形態の前景物体検出手段52は背景山部・前景山部を特定する処理を行わない。本実施形態の前景物体検出手段52における前景物体領域抽出手段521は、撮影画像と背景画像との画素値の相違度を補正し、それを用いて弱変化領域を抽出することによって、前景物体の検出や前景物体領域の抽出を行う。
すなわち、本実施形態の前景物体領域抽出手段521は、撮影画像の画素ごとに背景画像との間で画素値の相違度を算出するとともに、特性類似領域ごとの影領域を補正対象領域として当該補正対象領域ごとに撮影画像の各画素値の頻度を算出し、補正対象領域の画素については当該画素に関する当該頻度が低いほど大きな補正値を相違度に加算する補正を行う。そして、前景物体領域抽出手段521は当該補正後、撮影画像内にて相違度が予め定めたしきい値を超える画素が存在する場合に監視空間に前景物体が存在すると判定する。
また、好適には、前景物体領域抽出手段521は特性類似領域ごとの非影領域についても補正対象領域とし、上述の影領域に対すると同様の処理を行う。つまり、この場合は、特性類似領域ごとの影領域と非影領域とのそれぞれを補正対象領域とする。
なお、本実施形態では非強変化領域のみにて補正対象領域を設定するが、強変化領域を除外せずに補正対象領域を設定する構成としてもよい。
相違度Dに加算する補正値Cは、例えば次式で定義する、各輝度値に対するボーナス値に応じて定めることができる。
ここで、iは注目する輝度値であり、Biは輝度値iに対するボーナス値である。また、輝度値は0~255の256階調とし、右辺の総和Σにおける変数jは輝度値であり、fjは輝度ヒストグラムにおける輝度値jの頻度を表す。なお、頻度fjとして相対度数を用いることができる。Miは、fj>0のときに1、それ以外のときに0となる変数である。
このBiが頻度fiが低いほど大きな値となることは、輝度jに関する総和にて、j=iの項は0となりBiに寄与せず、Biに寄与するのは、|i-j|>0となるj≠iの項の和(Σj≠iとする)であるところ、fiが大きくなると相対的にΣj≠iが小さくなり、逆にfiが小さくなるとΣj≠iが大きくなることから定性的に理解される。
前景物体領域抽出手段521は、分割領域ごとに、各輝度値iに対するボーナス値Biを算出し、各分割領域における非強変化領域の各画素の相違度D0を次式に従い補正する。
DC=D0+C
C=α・Bi
ここで、Cは補正値、DCは補正後の相違度である。Biは補正対象の画素が帰属する分割領域について算出された、当該画素の輝度値iに対応するボーナス値である。αはボーナス値による補正の程度を加減するための調整係数であり、正の定数である。例えば、αは事前の実験を通じて予め定められる。
なお、補正に用いるボーナス値に下限値を設けてもよい。その場合、前景物体領域抽出手段521は、補正対象領域の画素のうち、予め定めたしきい値TF以上のボーナス値Biを与える画素値iを有した画素に対してのみ、ボーナス値Biを用いた上述の補正を行う。
[第2の実施形態に係る画像監視装置の動作]
第2の実施形態の画像監視装置1は図4のフロー図と共通の動作をする。但し、前景物体検出処理S5の内容において第1の実施形態と相違点を有する。図10は第2の実施形態における前景物体検出処理S5の概略のフロー図である。以下、図10の前景物体検出処理S5を説明する。
変化領域抽出手段520は、撮影画像の各画素の背景画像に対する相違度を算出する(ステップS510)。この相違度の算出処理は第1の実施形態と同様にして行うことができる。変化領域抽出手段520は、相違度に基づいて強変化領域と非強変化領域を抽出する(ステップS511)。この処理も第1の実施形態と同様とすることができる。そして、変化領域抽出手段520は、強変化領域および非強変化領域の情報とともに各画素の相違度を前景物体領域抽出手段521に出力する。
前景物体領域抽出手段521は、第1の実施形態と同様に各特性類似領域内の非強変化領域を影領域と非影領域とに分割して分割領域を設定する(ステップS512)。
前景物体領域抽出手段521はステップS512にて設定した各分割領域を順次、注目領域に設定して(ステップS513)、ステップS514~S516の処理をループ処理で全分割領域に対して行う(ステップS517)。
当該ループ内にて、前景物体領域抽出手段521は、撮影画像における注目領域内の画素群についての輝度ヒストグラムを算出する(ステップS514)。前景物体領域抽出手段521は注目領域の各画素に対して、当該輝度ヒストグラムに基づいて上述のボーナス値Biを算出する。そして、注目領域の各画素について、ステップS510で算出された相違度D0に対し、ボーナス値Biに対応して当該画素の画素値iの頻度が低いほど大きくなる補正値Cを加算して、補正された相違度DCを求める(ステップS515)。
前景物体領域抽出手段521は、非強変化領域にて注目領域に設定した分割領域の各画素の補正後の相違度を予め定めた基準値TCと比較し、補正後の相違度DCがTCを超える画素を弱変化領域の画素と判定する。そして、前景物体領域抽出手段521は、隣接関係にある弱変化領域と強変化領域とを1つにまとめることによって前景物体領域を抽出する(ステップS516)。基準値TCは予めの実験を通じて設定することができる。また、上述した強変化領域と非強変化領域とを区分した基準値TDと共通の値を基準値TCとして用いることができるように、ボーナス値Bi又は係数αを定義し、相違度に対する補正値Cを定めてもよい。
前景物体領域抽出手段521は、このステップS514~S516の処理を全分割領域について終えていない場合(ステップS517にて「NO」の場合)、処理をステップS513に戻して未処理の分割領域を注目領域に設定してループ処理を繰り返す。
一方、全ての分割領域についてループ処理を終えると(ステップS517にて「YES」の場合)、前景物体領域抽出手段521は、隣接関係にある前景物体領域同士とそれらに隣接する強変化領域とを統合する(ステップS518)。
さらに、前景物体領域抽出手段521は統合後の前景物体領域に、第1の実施形態と同様に補正処理を施す(ステップS519)。
以上が第2の実施形態における前景物体検出処理S5であり、画像処理部5は当該処理にて前景物体情報を生成し、処理を図4のステップS6に進める。
以上のように、特性類似領域ごとの影領域および特性類似領域ごとの非影領域に分けて補正対象領域を設定することで、各補正対象領域では、影領域への帰属の有無を含めて当該補正対象領域に撮影され得る背景構成物の輝度値が略単一となるため、当該補正対象領域における画素値の頻度分布は背景構成物に係るひとつの高い山部を含むものとなり、前景物体が存在すれば当該前景物体に係る低い山部を含むものとなる。よって、撮影画像の画素ごとの背景画像との画素値の相違度に対して、当該画素に対する頻度が低いほど大きな補正値を加算する補正を行うことで前景物体に係る画素ほど相違度が大きく補正されるため、暗色部分を有して影領域内に存在する前景物体をはじめとする背景構成物と似た色を有する前景物体を含めて前景物体を精度良く検出することが可能となる。
[変形例]
(1)上記各実施形態においては背景情報生成手段50が環境モデルをレンダリングして特性類似領域を算出する例を示したが、背景情報生成手段50が背景画像に対してセマンティックセグメンテーションと呼ばれる処理を適用することによって特性類似領域を算出することもできる。
なお、セマンティックセグメンテーションについては、例えば、"Pyramid Scene Parsing Network" Hengshuang Zhao, et al. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2017 や、"DeepLab: Semantic Image Segmentation with Deep Convolutional Nets, Atrous Convolution, and Fully Connected CRFs" LC Chen, et al. IEEE transactions on pattern analysis and machine intelligence 40 (4), 834-848に記されている。
その場合、記憶部4には、背景構成物の画像と監視空間に現れるであろう物体の画像とを含んだ背景・前景構成物の画像のそれぞれを、予め学習した学習済モデルを記憶させておく。そして、背景情報生成手段50は、その学習済モデルを用いた撮影画像の探索によって、撮影画像全体を背景・前景構成物ごとの領域に区分し、区分した領域のうちの背景構成物の領域それぞれに互いに異なる反射特性IDを付与することによって特性類似領域を算出する。
(2)上記各実施形態およびその変形例においては、視野が固定され、カメラパラメータが一定値であるカメラ2の例を説明したが、パン、チルト、ズームが可能なPTZカメラのように、または車載カメラ、空撮カメラなどのように、カメラパラメータが変化するカメラ2を利用することもできる。その場合、画像処理部5はカメラパラメータの変化を検出した場合に特性類似領域を更新する。
例えば、カメラ2が撮影時のカメラパラメータを都度算出して撮影画像とともに出力する。図4に示した処理フローのステップS2において、撮影画像取得手段30は入力されたカメラパラメータを背景情報生成手段50に出力し、背景情報生成手段50は入力されたカメラパラメータをカメラ情報記憶手段41に記憶されているカメラパラメータと比較して一致するか否かを判定し、一致しなければ入力されたカメラパラメータをカメラ情報記憶手段41に上書き記憶させるとともに図4のステップS1と同様にして特性類似領域を算出し、算出した特性類似領域を背景情報記憶手段42に上書き記憶させる。