JP6309913B2

JP6309913B2 - 物体検出装置

Info

Publication number: JP6309913B2
Application number: JP2015073962A
Authority: JP
Inventors: 直也大島; 功 ▲高▼橋
Original assignee: Secom Co Ltd
Current assignee: Secom Co Ltd
Priority date: 2015-03-31
Filing date: 2015-03-31
Publication date: 2018-04-11
Anticipated expiration: 2035-03-31
Also published as: JP2016194779A

Description

本発明は、所定の空間を撮影した撮影画像から人などの物体を検出する物体検出装置に関し、特に当該空間を模した環境モデルから生成した背景画像を撮影画像と比較することによって物体を検出する物体検出装置に関する。

防犯等の目的で、監視空間を撮影した撮影画像を背景差分処理あるいは背景相関処理して、監視空間に現れた人や不審物などの物体を検出する技術が知られている。これらの処理においては、人や不審物が写っていない背景画像を生成し、随時更新する必要がある。ところが、イベント会場など多くの人が行き交う混雑空間においては人や不審物が写っていないシーンの出現頻度が低いため、背景画像の生成・更新が困難化する。
そこで、従来、人と人の隙間などに断続的に撮影される背景をその時間頻度に着目して選出することによって混雑空間においても背景画像を生成・更新していた。

特開２０１２−２０３６８０号公報

しかしながら、時間頻度に着目する従来技術では混雑空間においてテーブルや扉などの半固定物の位置または／および姿勢が変更されたときに背景画像を即座に追従できない問題があった。
そのため、背景の領域においても半固定物の位置姿勢変更による差分や相関値低下が生じ、背景である半固定物の領域を人や不審物によるものと誤検出してしまう問題があった。
本発明は上記問題を鑑みてなされたものであり、混雑空間において半固定物の位置姿勢変更が生じても背景画像を即時に追従させ、当該空間に現れた固定物以外且つ半固定物以外の物体を高精度に検出することができる物体検出装置を提供することを目的とする。

かかる課題を解決するために、本発明は、所定の空間に固定設置された固定物の三次元情報と、空間において位置姿勢を変更可能に設置された半固定物の三次元情報を記憶した環境モデル記憶手段と、空間を撮影して撮影画像を出力するカメラと、固定物の三次元情報および半固定物の三次元情報をカメラの撮影面にレンダリングして背景画像を生成する背景画像生成手段と、撮影画像を背景画像と比較して、変更された半固定物の位置姿勢を検出する半固定物監視手段と、環境モデル記憶手段に記憶した半固定物の三次元情報における位置姿勢を半固定物監視手段が検出した位置姿勢に更新する環境モデル更新手段と、撮影画像と背景画像を比較して空間に現れた固定物以外且つ半固定物以外の物体を検出する物体検出手段と、を備えたことを特徴とする物体検出装置を提供する。

また、半固定物監視手段は、背景画像と撮影画像との間で互いに画像特徴が類似する背景画像側の特徴点および撮影画像側の特徴点を検出し、当該撮影画像側の特徴点の位置から半固定物の位置姿勢を検出することが好ましい。

また、半固定物監視手段は、半固定物の位置姿勢を試行的に変更した半固定物の三次元情報および固定物の三次元情報をカメラの撮影面にレンダリングして複数の変更背景画像を生成し、撮影画像と最も一致する変更背景画像に対応する半固定物の位置姿勢を検出することが好ましい。

また、物体検出手段は、撮影画像を複数の小領域に区分して小領域ごとに撮影画像の代表特徴量と背景画像の代表特徴量の相違度を算出し、相違度が所定値以上である小領域に物体が存在すると判定することが好ましい。

本発明によれば、所定の空間において半固定物の位置姿勢変更が生じても当該空間の背景画像を即時に追従させることができる。そのため、当該空間に現れた固定物以外且つ半固定物以外の物体を高精度に検出することが可能となる。

本発明の実施形態に係る監視カメラシステムの概略の構成を示すブロック図である。物体検出装置の機能ブロック図である。環境モデルを模式的に例示した図である。環境モデルのデータ例である。監視カメラシステムの動作を示すフローチャートである。第一実施形態に係る半固定物監視処理のフローチャートである。第一実施形態に係る半固定物監視処理および環境モデル更新処理の様子を模式的に例示した図である。物体検出処理のフローチャートである。物体検出処理の様子を模式的に例示した図である。第二実施形態に係る半固定物監視処理のフローチャートである。

以下、本発明の実施形態として、本発明の物体検出装置を用いて監視カメラの撮影画像に写った人の領域を検出し、検出した領域にプライバシー保護処理を施した撮影画像を表示する監視カメラシステムの例を説明する。この監視カメラシステムは、監視カメラが撮影する監視空間の環境モデルを利用してテーブル等の半固定物の位置姿勢変更に適合した背景画像を生成し、当該背景画像を撮影画像と比較することによって人の領域を検出する物体検出装置の例を含む。

＜第一実施形態＞
第一実施形態においては、監視カメラシステム１に含まれる物体検出装置が、オプティカルフロー分析により半固定物の位置姿勢変更を検出し、検出した位置姿勢変更に応じて環境モデルを更新することにより、半固定物の位置姿勢変更が生じても背景画像を即座に追従させて物体を検出する。

［監視カメラシステム１の構成］
図１は監視カメラシステム１の概略の構成を示すブロック図である。監視カメラシステム１は、カメラ２、記憶部３、画像処理部４、出力部５およびユーザーインターフェース部６からなる。

カメラ２はいわゆる監視カメラである。カメラ２は、画像処理部４と接続され、所定の空間を撮影して撮影画像を生成し、撮影画像を画像処理部４に入力する。例えば、カメラ２は、イベント会場内に設定した各監視空間の天井に当該監視空間を俯瞰する視野に固定された状態で設置され、当該監視空間を所定時間間隔で撮影し、撮影画像を順次入力する。

記憶部３は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等のメモリ装置であり、各種プログラムや各種データを記憶する。記憶部３は、画像処理部４と接続されて画像処理部４との間でこれらの情報を入出力する。

画像処理部４は、ＣＰＵ（Central Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＭＣＵ（Micro Control Unit）等の演算装置で構成される。画像処理部４は、記憶部３および出力部５と接続され、記憶部３からプログラムを読み出して実行することにより各種処理・制御手段として動作し、各種データを記憶部３に記憶させ、読み出す。また、画像処理部４は、カメラ２および出力部５とも接続され、カメラ２からの撮影画像を処理し、処理結果を出力部５に出力する。さらに、画像処理部４は、ユーザーインターフェース部６とも接続され、ユーザーからの操作入力を受け付ける。

出力部５は、画像処理部４と接続され、画像処理部４の処理結果を外部出力する。例えば、出力部５は、ディスプレイ装置であり、マスク処理後の撮影画像を表示する。

ユーザーインターフェース部６は、キーボード、マウス、ディスプレイ等からなるユーザーインターフェース機器である。例えば、ユーザーインターフェース部６は、設置業者などのユーザーにより使用され、カメラパラメータなどの入力作業に用いられる。

［物体検出装置の機能］
次に、監視カメラシステム１が備える物体検出装置としての機能について説明する。

図２は物体検出装置の機能ブロック図である。物体検出装置において、記憶部３は環境モデル記憶手段３０およびカメラ情報記憶手段３１等として機能し、画像処理部４は背景画像生成手段４１、カメラ情報入力手段４０、半固定物監視手段４２、環境モデル更新手段４３および物体検出手段４４等として機能する。

以下、図２〜図４を参照して各手段について説明する。

環境モデル記憶手段３０は、カメラ２が撮影する監視空間を構成する複数の構成物の三次元情報からなる当該監視空間の環境モデルを予め記憶している。

構成物は、例えば、壁、床、ドアなどの建築構造物、棚、テーブル、椅子などの什器であり、監視空間を監視する観点において当該監視空間に存在すべきとされる常設物体である。各構成物には当該構成物を識別する構成物番号を予め付与しておく。

構成物には、壁、床、棚のように監視中に動かされないと想定した固定物、およびドア、テーブル、椅子のように基本的には静止しているものの監視中に動かされ得ると想定した半固定物が含まれる。これに対応し、環境モデル記憶手段３０は、固定物であることを識別する属性が付与された固定物の三次元情報、および半固定物であることを識別する属性が付与された半固定物の三次元情報を記憶している。

各固定物の三次元情報は、監視空間を模したＸＹＺ座標系における当該各固定物の位置、姿勢、立体形状にて表される三次元座標値、および各構成物の表面の色、テクスチャ、反射率にて表される反射特性のデータを含み、これらのデータが対応する構成物番号と紐付けて記憶されている。

各半固定物の三次元情報は、監視空間を模したＸＹＺ座標系における当該各半固定物の位置、姿勢、立体形状にて表される三次元座標値、各構成物の表面の色、テクスチャ、反射率にて表される反射特性、および変動許容範囲のデータを含み、これらのデータが対応する構成物番号と紐付けて記憶されている。各半固定物の位置、姿勢は更新可能であり、変動許容範囲は当該半固定物の位置、姿勢が監視中に変動し得る範囲の想定値である。

環境モデルは、建築設計時に作成されたＩＦＣ（Industry Foundation Classes）規格の建物データ、三次元ＣＡＤデータあるいは三次元計測器で計測した実計測データに、固定物／半固定物の属性や変動許容範囲などのデータをユーザーインターフェース部６から入力されたデータを付加することにより予め生成され、記憶される。

このように環境モデル記憶手段３０は、所定の空間に固定設置された固定物の三次元情報と、前記空間に配置された配置変更可能な半固定物の三次元情報を記憶している。

図３は環境モデル７００を模式的に表した図の例である。監視空間を構成する床７０１、壁７０２、壁７０３、棚７０４、テーブル７０５にはそれぞれ構成物番号＃１、＃２、＃３、＃４、＃５が付与されている。各構成物の三次元情報はそれぞれのＸＹＺ座標系における三次元座標値により監視空間を立体的に模擬している。

図４は図３に対応する環境モデルのデータ例である。図４（ａ）に示す情報７５０は固定物の三次元情報７５１および半固定物の三次元情報の一部７５２のデータ例である。また、図４（ｂ）は半固定物の三次元情報の別の一部である変動許容範囲７６０のデータ例である。

例えば、構成物番号＃１の三次元情報は、床７０１が、立体形状が幅４００ｃｍ、奥行き２００ｃｍ、高さ１０ｃｍの直方体であり、ＸＹＺ座標（０，０，−１０）が表す位置に、ピッチ０度、ロール０度、ヨー０度の姿勢で設置されており、その表面の色は白、テクスチャは無地、反射特性がＢの固定物であることを表している。

また、例えば、構成物番号＃５の三次元情報は、テーブル７０５が、立体形状が幅１６０ｃｍ、奥行き１００ｃｍ、高さ８０ｃｍの立体αであり、ＸＹＺ座標（１００，３００，０）が表す位置に、ピッチ０度、ロール０度、ヨー０度の姿勢で設置されており、その表面の色は茶、テクスチャは木目、反射特性がＣの半固定物であることを表している。また立体αの情報としてテーブルの板および４つの脚からなる立体図形と当該立体図形へのリンクが環境モデル７００に記憶されている。

そして、監視空間のＸＹＺ座標系において、構成物番号が＃５であるテーブル７０５の位置はＸ座標Ｘ_ｍｉｎ以上Ｘ_ｍａｘ以下の範囲、Ｙ座標Ｙ_ｍｉｎ以上Ｙ_ｍａｘ以下の範囲、Ｚ座標Ｚ_ｍｉｎ以上Ｚ_ｍａｘ以下の範囲で変動し得、テーブル７０５の姿勢はピッチ角θ_ｍｉｎ以上θ_ｍａｘ以下の範囲、ロール角φ_ｍｉｎ以上φ_ｍａｘ以下の範囲、ヨー角Ψ_ｍｉｎ以上Ψ_ｍａｘ以下の範囲で変動し得ることが記憶されている。

さらに環境モデルには壁７０２、壁７０３、棚７０４のそれぞれに対応する構成物番号＃２、＃３、＃４の三次元情報が含まれる。

カメラ情報記憶手段３１は監視空間を模したＸＹＺ座標系におけるカメラ２のカメラパラメータを予め記憶している。カメラパラメータは外部パラメータと内部パラメータからなる。外部パラメータはＸＹＺ座標系におけるカメラ２の位置姿勢である。内部パラメータはカメラ２の焦点距離、中心座標、歪係数などである。カメラパラメータは事前のキャリブレーションによって計測され、ユーザーインターフェース部６を介して入力され、カメラ情報記憶手段３１に記憶される。このカメラパラメータをピンホールカメラモデルに適用することによってＸＹＺ座標系の座標をカメラ２の撮影面を表すｘｙ座標系に変換できる。

カメラ情報入力手段４０は、カメラ情報記憶手段３１からカメラパラメータを読み出して、読み出したカメラパラメータを背景画像生成手段４１および半固定物監視手段４２に入力する。

背景画像生成手段４１は、環境モデル記憶手段３０から環境モデルを読み出し、カメラ情報入力手段４０から入力されたカメラパラメータにより求まるカメラ２の撮影面に環境モデルをレンダリングすることによって監視空間の背景画像を仮想的に生成し、生成した背景画像を半固定物監視手段４２および物体検出手段４４に入力する。

半固定物監視手段４２は、カメラ２から入力された撮影画像を背景画像生成手段４１が生成した背景画像と比較して半固定物の位置姿勢変更を検出し、検出した位置姿勢変更の情報を環境モデル更新手段４３に入力する。また、半固定物監視手段４２は検出に際してカメラ情報入力手段４０から入力されたカメラパラメータを利用する。

位置姿勢変更の情報とは、位置姿勢変更が検出された半固定物の構成物番号およびその移動量である。半固定物監視手段４２による処理の詳細は後述する。

環境モデル更新手段４３は、半固定物監視手段４２が半固定物の位置姿勢変更を検出した場合に、環境モデル記憶手段３０に記憶した半固定物の三次元情報を半固定物監視手段４２が検出した位置姿勢変更に応じて更新する。

すなわち環境モデル更新手段４３は、位置姿勢変更の情報に含まれた構成物番号で特定される半固定物の位置および姿勢に、位置姿勢変更の情報に含まれた位置及び姿勢を上書きすることによって、半固定物の三次元情報を更新する。環境モデル更新手段４３による処理の詳細は後述する。

物体検出手段４４は、カメラ２から入力された撮影画像と背景画像生成手段４１が生成した背景画像を比較してカメラ２が撮影する空間に現れた固定物および半固定物以外の物体を検出する。検出される物体は例えば監視空間に現れた人物などである。

ここで、環境モデルから生成した背景画像は三次元情報におけるテクスチャの微小な誤差を含み得る。そのため、物体検出手段４４は、複数の近傍画素をまとめた小領域単位で比較を行う。小領域は、撮影画像を格子状に分割した各ブロックとすることもできるが、人物等の形状をより高精度に検出するためにスーパーピクセルとすることが望ましい。

すなわち、物体検出手段４４は、撮影画像を画素値が類似する近傍画素どうしをまとめた複数の小領域に区分して小領域ごとに撮影画像の代表特徴量と背景画像の代表特徴量の相違度を算出し、相違度が予め定めた閾値Ｔ１（第一所定値）以上である小領域に構成物以外の物体が存在すると判定する。

代表特徴量は例えば各小領域の平均画素値および画素値の分散とすることができる。この場合、撮影画像と背景画像のそれぞれから算出した平均画素値どうしの差、画素値の分散どうしの差を予め定めた重みで重みづけて加算した重みづけ和を相違度とすることができる。或いは環境によっては平均画素値のみ、エッジ密度のみを代表特徴量としてもよい。また、画素値は色でもよく、或いは濃淡値でもよい。

ここで、構成物の手前に当該構成物と色が類似する服を着た人物などが存在する場合、画素値の代表特徴量のみでは検出対象物体の一部を検出し損ねる場合がある。そこで物体検出手段４４は、閾値Ｔ１による小領域の検出に加えて、予め定めた閾値Ｔ２（第二所定値）以上の有意なエッジ差分が検出された小領域において閾値Ｔ１よりも低く定めた閾値Ｔ３（第三所定値）以上である小領域にも構成物以外の物体が存在すると判定する。このように画素値の特徴量とエッジの特徴量の両方を評価することで、構成物の手前に当該構成物と画像の複雑度が類似する検出対象物体が存在しても、構成物の手前に当該構成物と色が類似する検出対象物体が存在しても高精度な検出が可能となる。

物体検出手段４４が撮影画像の処理を終えると、画像処理部４は、撮影画像に、物体検出手段４４が検出した物体の領域をマスクする処理を施して、マスク処理後の撮影画像を出力部５に入力する。

［監視カメラシステム１の動作］
次に、図５〜図９を参照して、物体検出装置としての動作を含めた監視カメラシステム１の動作を説明する。

図５は監視カメラシステム１の動作を示すフローチャートである。画像処理部４は、カメラ２が撮影画像を生成するたびにステップＳ１〜Ｓ１０の処理を繰り返す。

カメラ２は、撮影を行うと、生成した撮影画像を背景画像生成手段４１に入力する（Ｓ１）。

撮影画像を入力された背景画像生成手段４１は、環境モデル記憶手段３０から環境モデルを読み出し、さらにカメラ情報入力手段４０にカメラ２のカメラパラメータを入力させ、カメラパラメータにより導出されるカメラ２の撮影面に環境モデルをレンダリングして背景画像を生成し、生成した背景画像を半固定物監視手段４２に入力する（Ｓ２）。このとき、ステップＳ１にて生成された撮影画像も半固定物監視手段４２に入力される。

背景画像および撮影画像を入力された半固定物監視手段４２は、これらを比較して半固定物の位置姿勢変更を検出する半固定物監視を行う（Ｓ３）。

図６のフローチャートを参照して半固定物監視処理を説明する。

まず半固定物監視手段４２は撮影画像から特徴点を抽出する（Ｓ３０）。例えば、半固定物監視手段４２は、撮影画像にヘッシアン・ラプラス（Hessian-Laplace）・ディテクタを適用してブロッブ（blob）を抽出する。ブロッブは画像の特徴点の一つであり、輝度の極大点及び極小点に対応してブロッブが抽出され、当該ブロッブに対応する撮影画像の画像特徴として特徴点の座標と当該座標を中心とする局所領域の輝度分布が求められる。ブロッブに代えてＳＩＦＴ（Scale-Invariant Feature Transform）、ハリス・コーナー（Harris Corner）など他の公知の特徴点を抽出してもよい。抽出した特徴点はステップＳ３６で用いられる。

次に半固定物監視手段４２は、カメラ情報入力手段４０にカメラ２のカメラパラメータを入力させ（Ｓ３１）、環境モデル記憶手段３０から半固定物の三次元情報を読み出し（Ｓ３２）、半固定物を順次注目半固定物に設定してステップＳ３３〜Ｓ４０のループ処理を実行する。

ループ処理において、まず半固定物監視手段４２は、撮影面における注目半固定物領域と変動許容範囲を算出する（Ｓ３４）。
具体的には半固定物監視手段４２は、カメラパラメータを用いて監視空間を模したＸＹＺ座標系におけるカメラ２の撮影面を算出し、当該撮影面に注目半固定物の三次元情報をレンダリングして撮影面における注目半固定物領域を算出し、当該撮影面に変動許容範囲内の各位置と各姿勢に配置した注目半固定物の三次元情報をレンダリングして撮影面における変動許容範囲を算出する。なお本実施形態においてカメラ２の視野は固定されているため、変動許容範囲の算出は一度行えばよい。すなわち半固定物監視手段４２は初回に算出した変動許容範囲を記憶部３に記憶させ、次回以降は記憶部３から変動許容範囲を読み出すことで計算を省略できる。

続いて半固定物監視手段４２は、背景画像から注目半固定物領域内の特徴点を抽出する（Ｓ３５）。例えば、半固定物監視手段４２は、背景画像にヘッシアン・ラプラス・ディテクタを適用してブロッブを抽出し、ブロッブの座標と当該座標を中心とする局所領域の輝度分布を求める。特徴点はステップＳ３０で述べたように別の特徴点を用いることもできるが、ステップＳ３０で抽出する特徴点とステップＳ３５で抽出する特徴点は同種のものとする。

続いて半固定物監視手段４２は、変動許容範囲内から背景画像の特徴点と対応する撮影画像の特徴点を検出する（Ｓ３５）。すなわち半固定物監視手段４２は、背景画像と撮影画像との間で互いに画像特徴が類似する背景画像側の特徴点及び撮影画像側の特徴点を検出する。

具体的には半固定物監視手段４２は、撮影画像の変動許容範囲内にて背景画像側の各特徴点の画像特徴と最も類似度の高い画像特徴を有する位置を探索し、当該位置を撮影画像側の特徴点として検出する。この探索にはルーカス・カナデ（Lucas-Kanade）法など種々の最急降下法が適用可能である。なお誤対応を排除するために類似度が予め設定した閾値より低い特徴点は検出から除外する。

続いて半固定物監視手段４２は、ステップＳ３５にて対応関係を検出した特徴点対の数が予め定めた閾値Ｔ０以上であるか否かを確認する（Ｓ３７）。Ｔ０は６以上の値であり、ステップＳ３８の計算に必要な特徴点対の数を意味する。半固定物の特徴点対の数の低下は人物などによるオクルージョンの影響で一時的に生じ得る。

特徴点対の数がＴ０以上の場合（Ｓ３７にてＹｅｓ）、半固定物監視手段４２は、カメラパラメータを用いて、対応が検出された撮影画像側の特徴点に対応するＸＹＺ座標系の三次元座標に変換することによって、変更された半固定物の位置姿勢を算出する（Ｓ３８）。

具体的には半固定物監視手段４２は、背景画像側の特徴点から撮影画像側の特徴点へのベクトルを三次元ベクトル（位置姿勢変更量）に変換してから、当該位置姿勢変更量を環境モデル記憶手段３０に記憶されている注目半固定物の位置姿勢に加算することによって当該三次元座標を算出する。

すなわち、まず半固定物監視手段４２は、背景画像側の各特徴点（ｕ_ｂ，ｖ_ｂ）から対応する撮影画像側の各特徴点（ｕ_ｉ，ｖ_ｉ）へのベクトルとの間で平均的に次式の関係を満たす三次元の位置変更量（ΔＸ，ΔＹ，ΔＺ）と三次元の姿勢変更量（Δθ，Δφ，ΔΨ）を最小二乗法等により導出する。

ただし、ｓは式（１）左辺の第３行を１に正規化するためスケール係数でありスカラ値である。Ａはカメラ２の内部パラメータであり３×３行列である。Ｒは３×３の回転行列であり、姿勢変更量の三角関数となっている。ｔは平行移動量であり位置変更量を表す３×１の行列である。（Ｘ_ｂ，Ｙ_ｂ，Ｚ_ｂ）は背景画像側の特徴点の三次元座標であり、背景画像側の特徴点をＸＹＺ座標系に逆投影することによって求める。

続いて半固定物監視手段４２は、環境モデル記憶手段３０から読み出した半固定物の三次元情報に含まれる位置および姿勢に位置変更量および姿勢変更量を加算する。すなわち、半固定物監視手段４２は、読み出した位置（Ｘ，Ｙ，Ｚ）に位置変更量（ΔＸ，ΔＹ，ΔＺ）を加算して変更後の位置（Ｘ＋ΔＸ，Ｙ＋ΔＹ，Ｚ＋ΔＺ）を算出し、読み出した姿勢（θ，φ，Ψ）に姿勢変更量（Δθ，Δφ，ΔΨ）を加算して変更後の姿勢（θ＋Δθ，φ＋Δφ，Ψ＋ΔΨ）を算出する。

そして半固定物監視手段４２は、算出した位置姿勢に注目半固定物の構成物番号を対応付けた位置姿勢変更情報を生成する。

他方、特徴点対の数がＴ０未満の場合（Ｓ３７にてＮｏ）、環境モデルの更新を次の撮影以降まで保留するために注目半固定物の位置変更量、姿勢変更量を０とみなす（Ｓ３９）。

続いて半固定物監視手段４２は、読み出した半固定物を全て処理し終えたか否かを確認し（Ｓ４０）、未処理の半固定物があれば（ステップＳ４０にてＮｏ）、処理をステップＳ３３に戻してループ処理を続ける。

他方、全ての半固定物を処理し終えると（ステップＳ４０にてＹｅｓ）、半固定物監視手段４２は、各半固定物について生成した位置姿勢変更情報を環境モデル更新手段４３に入力して処理を図５のステップＳ４に進める。

図５のフローチャートに戻り、環境モデル更新手段４３は、半固定物監視手段４２から入力された位置姿勢変更情報を参照して、半固定物の位置姿勢変更が検出されたか否かを確認する（Ｓ４）。検出された場合（Ｓ４にてＹｅｓ）、環境モデル更新手段４３は環境モデルの更新を行う（Ｓ５）。

具体的には、環境モデル更新手段４３は、位置姿勢変更情報に含まれた構成物番号が示す半固定物の三次元情報を環境モデル記憶手段３０から読み出し、当該三次元情報の位置および姿勢を位置姿勢変更情報に含まれた当該半固定物の位置および姿勢に置換して、半固定物の三次元情報を環境モデル記憶手段３０に上書きする。なお、複数の半固定物の位置姿勢変更情報が入力された場合はそれぞれの半固定物について更新を行う。

環境モデルを更新した環境モデル更新手段４３は、背景画像生成手段４１に更新の旨を伝達し、背景画像生成手段４１は背景画像の再生成を行う（Ｓ６）。すなわち、背景画像生成手段４１は環境モデル記憶手段３０から更新後の環境モデルを読み出し、カメラ情報入力手段４０から入力されたカメラパラメータにより求まるカメラ２の撮影面に環境モデルをレンダリングすることによって監視空間の背景画像を生成し直し、生成し直した背景画像を物体検出手段４４に入力する。

他方、半固定物の位置姿勢変更が検出されなかった場合（Ｓ４にてＮｏ）、ステップＳ５，Ｓ６はスキップされる。

背景画像および撮影画像を入力された物体検出手段４４は、これらを比較して、監視空間に現れた構成物以外の物体すなわち固定物でも半固定物でもない物体の検出を行う（Ｓ７）。

図７は半固定物監視処理および環境モデル更新処理の様子を模式的に示した図の例である。

画像８００は更新前の環境モデルをカメラ２の撮影面にレンダリングすることによって生成した背景画像である。画像８１０はカメラ２が撮影した撮影画像である。

背景画像８００にレンダリングされた棚８０１は動かされ、撮影画像８１０には位置姿勢の異なる棚の像８１１が結像されている。このまま背景画像８００と撮影画像８１０を比較すると元の棚の領域と移動後の棚の領域に物体が検出されてしまう。

画像８２０は特徴点の対応付けの様子を表している。

画像８２０の黒点は特徴点を表している。半固定物監視手段４２は、背景画像８００において棚８０１の領域内から複数の特徴点を抽出し、特徴点８２１などを得る。

画像８２０の矢印は特徴点の移動量を表している。半固定物監視手段４２は、背景画像８００側の特徴点と画像特徴が類似する撮影画像８１０側の特徴点を検出する。これにより、例えば、特徴点８２１と特徴点８２２の対応関係が得られ、二次元画像中での棚８００の特徴点８２１の変更量ベクトル８２３が得られる。

こうして特徴点の対応関係が得られると、半固定物監視手段４２は、二次元画像中で得られた特徴点の変更量ベクトルを三次元空間における変更後の棚の位置姿勢を算出し、算出した棚の位置姿勢を含めた位置姿勢変更情報を環境モデル更新手段４３に入力する。

これを受けた環境モデル更新手段４３は、位置姿勢変更情報が示す位置と姿勢に環境モデルにおける棚の位置と姿勢を更新する。背景画像生成手段４１が更新後の環境モデルをレンダリングすると撮影画像８１０と棚の位置が一致した背景画像８３０が生成される。

図８のフローチャートを参照して物体検出処理を説明する。

まず物体検出手段４４は、撮影画像を複数の小領域に区分する（Ｓ７０）。例えば、物体検出手段４４はＳＬＩＣ(Simple Linear Iterative Clustering)法を用いて撮影画像をスーパーピクセルに区分する。またはこの方法以外にも公知である種々のクラスタリング法で区分することができる。

次に物体検出手段４４は、撮影画像と背景画像生成手段４１が生成した背景画像の間で各小領域における代表特徴量の相違度を算出する（Ｓ７１）。代表特徴量は例えば平均画素値および画素値の分散とすることができる。すなわち物体検出手段４４は、各小領域における撮影画像の平均画素値と画素値の分散および各小領域における各背景画像の平均画素値と画素値の分散を算出する。物体検出手段４４は、小領域ごとに、撮影画像の平均画素値と各背景画像の平均画素値との差と、撮影画像の分散と各背景画像の分散との差の重みづけ和を相違度として算出する。

次に物体検出手段４４は、ステップＳ７１で算出した相違度が閾値Ｔ１以上である小領域を構成物以外の物体が存在する物体領域として検出する（Ｓ７２）。

続いて物体検出手段４４は、撮影画像と背景画像の間でエッジ差分を検出し（Ｓ７３）、エッジ差分が検出され、且つステップＳ７１で算出した相違度が閾値Ｔ３（＜Ｔ１）以上である小領域を構成物以外の物体が存在する物体領域として追加検出する（Ｓ７４）。

以上の処理を終えた物体検出手段４４は、ステップＳ７２で検出した小領域およびステップＳ７４で検出した小領域の和領域を構成物以外の物体が存在する物体領域として画像処理部４に出力し、処理を図５のステップＳ８に進める。

図５のステップＳ８において画像処理部４は、物体検出手段４４の出力を参照して固定物以外かつ半固定物以外である物体の存在が判定されたか否かを確認する（Ｓ８）。

固定物以外かつ半固定物以外である物体の存在が判定された場合（Ｓ８にてＹｅｓ）、画像処理部４は物体領域を単一色で塗りつぶしてプライバシーマスクを生成し（Ｓ９）、撮影画像にプライバシーマスクを重畳したマスク画像を出力部５に出力して該画像を表示させる（Ｓ１０）。他方、物体の存在が判定されなかった場合（Ｓ８にてＮｏ）、ステップＳ９をスキップして撮影画像をそのまま表示させる。

図９は物体検出処理の様子を模式的に示した図の例である。

撮影画像９００は図７にて例示した撮影画像８１０であり、２人の人物９０１，９０２が移動された棚９０３とともに撮影されている

背景画像９１０は図７にて例示した更新後の背景画像８３０であり、棚９１１はその移動量だけ更新されている。

物体検出手段４４は、撮影画像９００と半固定物である棚の移動に追従して更新された背景画像９１０を比較することにより、また、スーパーピクセル単位でこれらを比較することにより、人物９０１の領域９２１と人物９０２の領域９２２，９２３を精度良く検出できている。

以上で説明したように監視カメラシステム１が備える物体検出装置は、背景画像生成手段が固定物の三次元情報および半固定物の三次元情報をカメラの撮影面にレンダリングして背景画像を生成することによって混雑空間においても背景画像の生成を可能とし、物体検出手段が撮影画像と背景画像を比較して空間に現れた固定物以外かつ半固定物以外の物体を検出するので混雑空間においても物体を精度良く検出できる。また、この物体検出装置は、半固定物監視手段が撮影画像を背景画像と比較して変更された半固定物の位置姿勢を検出し、環境モデル更新手段が半固定物の三次元情報における当該半固定物の位置姿勢を半固定物監視手段が検出した位置姿勢に更新するので、半固定物の位置姿勢変更が生じても背景画像を即時に追従させて物体を精度良く検出できる。

また、以上で説明したように、半固定物監視手段は、背景画像と撮影画像との間で互いに画像特徴が類似する背景画像側の特徴点及び撮影画像側の特徴点を検出し、撮影画像側の特徴点から変更後の位置姿勢を検出する。つまり、半固定物の位置姿勢変更を検出するための探索処理を二次元画像上で行う。このように処理負荷の大きな三次元空間での探索処理を回避することによって、半固定物の位置姿勢変更が生じても少ない処理負荷で背景画像を即時に追従させて物体を精度良く検出できる。

＜第二実施形態＞
第一実施形態においては、半固定物監視手段４２がオプティカルフロー分析により半固定物の位置姿勢変更を検出した。これに対して第二実施形態においては、半固定物監視手段４２がモデルマッチング処理により半固定物の位置姿勢変更を検出する。

［第二実施形態に係る監視カメラシステム１の構成］
第二実施形態に係る監視カメラシステム１の概略構成は図１を参照して説明した第一実施形態と同様である。すなわち第二実施形態に係る監視カメラシステム１は、カメラ２、記憶部３、画像処理部４、出力部５およびユーザーインターフェース部６からなる。

［第二実施形態に係る物体検出装置の機能］
第二実施形態の監視カメラシステム１に含まれる物体検出装置の機能ブロック図は、基本的に、図２を参照して説明した第一実施形態の機能ブロック図と同様である。すなわち、第二実施形態に係る物体検出装置において、記憶部３は環境モデル記憶手段３０およびカメラ情報記憶手段３１等として機能し、画像処理部４は背景画像生成手段４１、カメラ情報入力手段４０、半固定物監視手段４２、環境モデル更新手段４３および物体検出手段４４等として機能する。

このうち、環境モデル記憶手段３０、カメラ情報記憶手段３１、背景画像生成手段４１、カメラ情報入力手段４０、環境モデル更新手段４３および物体検出手段４４の処理は、第一実施形態と同様であるため、これらの説明は省略する。

一方、第二実施形態の物体検出装置における半固定物監視手段４２は、第一実施形態における半固定物監視手段４２と同様に、カメラ２から入力された撮影画像を背景画像生成手段４１が生成した背景画像と比較して半固定物の位置姿勢変更を検出し、検出した位置姿勢変更の情報を環境モデル更新手段４３に入力するが、その処理の詳細が相違する。

［第二実施形態に係る監視カメラシステム１の動作］
すなわち、図５を参照して説明した動作の、ステップＳ１，ステップＳ２，ステップＳ４〜Ｓ１０の処理、図８を参照して説明したステップＳ７の物体検出処理は第一実施形態と同様であるため、その説明は省略する。

一方、第二実施形態の半固定物監視手段４２が行うステップＳ３の半固定物監視処理は第一実施形態と相違する。

以下、図１０のフローチャートを参照して、第二実施形態の半固定物監視手段４２が行うステップＳ３の半固定物監視処理について説明する。

図５のステップＳ１にて生成された撮影画像と、図５のステップＳ２にて背景画像生成手段４１が生成した背景画像が半固定物監視手段４２に入力されると、図１０の処理が開始される。

まず、半固定物監視手段４２は、カメラ情報入力手段４０にカメラ２のカメラパラメータを入力させ（Ｓ１００）、環境モデル記憶手段３０から環境モデルを読み出し（Ｓ１０１）、環境モデルに含まれる半固定物を順次、注目半固定物に設定してステップＳ１０２〜ステップＳ１１１のループ処理を実行する。

半固定物ごとのループ処理において、まず半固定物監視手段４２は、注目半固定物の変動許容範囲内における撮影画像と背景画像の一致度を最大一致度に設定することにより最大一致度を初期化する（Ｓ１０３）。また半固定物監視手段４２は、反復回数を計数するカウンタを１に初期化する。

具体的には半固定物監視手段４２は、カメラパラメータを用いて監視空間を模したＸＹＺ座標系におけるカメラ２の撮影面を算出し、当該撮影面に変動許容範囲内の各位置と各姿勢に配置した注目半固定物の三次元情報をレンダリングして撮影面における変動許容範囲を算出する。以下、撮影面における変動許容範囲すなわち二次元の範囲を、三次元の範囲と区別して変動許容領域と称する。

一致度は、例えば、色の一致度とすることができる。その場合、半固定物監視手段４２は、撮影画像における変動許容領域の画素値の色ヒストグラムと、背景画像における変動許容領域の画素値の色ヒストグラムを算出してこれらの一致度を算出する。

また例えば、一致度は、エッジの一致度とすることもできる。その場合、半固定物監視手段４２は、変動許容領域における撮影画像からＨｏＧ（Histograms of Oriented Gradients）特徴量を抽出するとともに変動許容領域における背景画像からＨｏＧ特徴量を抽出してこれらの一致度を算出する。

また例えば、半固定物監視手段４２は、変動許容領域における撮影画像にソーベルフィルタ等のエッジオペレータを施してエッジを抽出するとともにから変動許容領域における背景画像からも同様にエッジを抽出し、変動許容領域をブロック分割して撮影画像と背景画像の間で対応する各ブロックにおける平均エッジ強度の差の累積値を算出し、累積値をブロック数で除した値の逆数を一致度として算出する。

また例えば、半固定物監視手段４２は、上述した色の一致度とエッジの一致度を重み付け加算して総合一致度を算出する。

ステップＳ１０３で算出する一致度は、撮影画像中に写る注目半固定物以外による背景画像との誤差を含んだ値となっている。この値を最大一致度の初期値とし、半固定物の位置姿勢変更検出の判定基準とすることは、監視空間の状況に応じて動的に判定基準を設定することを意味している。このようにすることによって、監視空間に構造物以外の物体が存在しても、または他の半固定物に位置姿勢変更があっても各半固定物の位置姿勢変更を精度良く検出できる。

続いて半固定物監視手段４２は、読み出した環境モデルにおいて注目半固定物の位置、姿勢を変動許容範囲内でランダムに変更する（Ｓ１０４）。すなわち半固定物監視手段４２は、乱数に基づいてＸ_ｍｉｎ以上Ｘ_ｍａｘ以下のＸ座標値、Ｙ_ｍｉｎ以上Ｙ_ｍａｘ以下のＹ座標値、Ｚ_ｍｉｎ以上Ｚ_ｍａｘ以下のＺ座標値、θ_ｍｉｎ以上θ_ｍａｘ以下のピッチ角、φ_ｍｉｎ以上φ_ｍａｘ以下のロール角、Ψ_ｍｉｎ以上Ψ_ｍａｘ以下のヨー角を生成し、読み出した環境モデルにおいて注目固定物をこれらのパラメータが表す位置、姿勢に配置変更する。

続いて半固定物監視手段４２は、ステップＳ１０４で変更した環境モデルをカメラ２の撮影面にレンダリングして背景画像（変更背景画像）を生成する（Ｓ１０５）。

続いて半固定物監視手段４２は、注目半固定物の変動許容領域における撮影画像と変更背景画像の一致度を算出し（Ｓ１０６）、算出した一致度を反復における前回までの最大一致度と比較する（Ｓ１０７）。ここで算出する一致度はステップＳ１０３と同種の特徴量についての一致度である。

一致度がこれまでの最大一致度を超えていた場合（Ｓ１０７にてＹｅｓ）、半固定物監視手段４２は、最大一致度をステップＳ１０６で算出した一致度に置き換え、ステップＳ１０４で求めた位置、姿勢と対応付けて記憶部３に記録する（Ｓ１０８）。

他方、一致度がこれまでの最大一致度を以下の場合（Ｓ１０７にてＮｏ）、ステップＳ１０８の処理はスキップする。

続いて半固定物監視手段４２は、反復回数が予め定めた閾値Ｔ４以上であるかを確認する（Ｓ１０９）。すなわち反復が終了条件を満たしたか否かを確認する。Ｔ４は例えば数百程度の値とすることができる。

反復回数がＴ４未満であれば（ステップＳ１０９にてＮｏ）、半固定物監視手段４２は、反復回数を計数するカウンタを１だけ増加させて処理をステップＳ１０４に戻し、反復処理を継続する。

他方、反復回数がＴ４以上であれば（ステップＳ１０９にてＹｅｓ）、半固定物監視手段４２は、注目半固定物についての反復処理を終了し、注目半固定物の位置姿勢変更量を算出する。すなわち半固定物監視手段４２は、最大一致度が算出された位置、姿勢と環境モデル記憶手段３０に記憶されている注目半固定物の位置、姿勢の差を位置姿勢変更量として算出し、注目半固定物の構成物番号と位置姿勢変更量を含めた位置姿勢変更情報を生成する。

注目半固定物の反復処理を終えた半固定物監視手段４２は、全ての半固定物について処理を終えたか否かを確認する（Ｓ１１１）。

未だ処理していない半固定物があれば（ステップＳ１１１にてＮｏ）、半固定物監視手段４２は、処理をステップＳ１０２に戻して次の半固定物を処理する。

他方、全ての半固定物について処理を終えたら（ステップＳ１１１にてＹｅｓ）、半固定物監視手段４２は、生成した位置姿勢変更情報を環境モデル更新手段４３に入力して処理を図５のステップＳ４に進める。

以上で説明したように、第二実施形態に係る半固定物監視手段は、半固定物の位置姿勢を試行的に変更した半固定物の三次元情報および固定物の三次元情報をカメラの撮影面にレンダリングして複数の変更背景画像を生成し、撮影画像と最も一致する変更背景画像に対応する半固定物の位置姿勢を検出する。このように半固定物の全体像に基づいてその位置姿勢を検出することによって、半固定物の位置姿勢変更が生じても高精度な背景画像を即時に追従させて物体を精度良く検出できる。

上記各実施形態およびそれらの変形例においては、物体検出装置が人を検出する例を説明したが、検出対象は人に限らず空間に現れた構成物以外の各種物体を検出対象とすることができる。例えば、車両や動物などの各種移動物体、空間に持ち込まれた物品などを検出することもできる。

上記各実施形態およびそれらの変形例においては、物体検出装置の検出結果をプライバシーマスクの生成に用いる例を説明したが、物体検出装置の検出結果はこれに限らず、侵入検知、不審物の検知、物体の計数、移動物体の追跡など様々な用途に利用することができる。

１・・・監視カメラシステム
２・・・カメラ
３・・・記憶部
４・・・画像処理部
５・・・出力部
６・・・ユーザーインターフェース部
３０・・・環境モデル記憶手段
３１・・・カメラ情報記憶手段
４０・・・カメラ情報入力手段
４１・・・背景画像生成手段
４２・・・半固定物監視手段
４３・・・環境モデル更新手段
４４・・・物体検出手段

Claims

所定の空間に固定設置された固定物の三次元情報と、前記空間において位置姿勢を変更可能に設置された半固定物の三次元情報を記憶した環境モデル記憶手段と、
前記空間を撮影して撮影画像を出力するカメラと、
前記固定物の三次元情報および前記半固定物の三次元情報を前記カメラの撮影面にレンダリングして背景画像を生成する背景画像生成手段と、
前記撮影画像を前記背景画像と比較して、変更された前記半固定物の位置姿勢を検出する半固定物監視手段と、
前記環境モデル記憶手段に記憶した前記半固定物の三次元情報における位置姿勢を前記半固定物監視手段が検出した位置姿勢に更新する環境モデル更新手段と、
前記撮影画像と前記背景画像を比較して前記空間に現れた前記固定物以外且つ前記半固定物以外の物体を検出する物体検出手段と、
を備えたことを特徴とする物体検出装置。
前記半固定物監視手段は、前記背景画像と前記撮影画像との間で互いに画像特徴が類似する前記背景画像側の特徴点および前記撮影画像側の特徴点を検出し、当該撮影画像側の特徴点の位置から前記半固定物の位置姿勢を検出する請求項１に記載の物体検出装置。
前記半固定物監視手段は、前記半固定物の位置姿勢を試行的に変更した前記半固定物の三次元情報および前記固定物の三次元情報を前記カメラの撮影面にレンダリングして複数の変更背景画像を生成し、前記撮影画像と最も一致する変更背景画像に対応する前記半固定物の位置姿勢を検出する、請求項１に記載の物体検出装置。
前記物体検出手段は、前記撮影画像を複数の小領域に区分して前記小領域ごとに前記撮影画像の代表特徴量と前記背景画像の代表特徴量の相違度を算出し、前記相違度が所定値以上である小領域に前記物体が存在すると判定する、請求項１から３に記載の物体検出装置。