JP6230877B2 - 画像処理装置 - Google Patents

Description

本発明は、監視領域を撮像した画像を順次処理し、監視領域に人物等の検出対象が存在するか否かを判定する画像処理装置に関する。

監視領域を撮像した入力画像を取得し、入力画像から抽出した変化領域に基づいて人物等の検出対象を検出する技術が開発されている。このような検出処理では、日照変動による明暗の変化が変化領域として抽出されることがあり、このような変化領域は検出対象の誤検出に繋がる可能性がある。

そこで、従来、日照変動によって変化領域が抽出されるのを防止する技術が開示されている（特許文献１参照）。この技術では、入力画像と基準画像の差分が所定値以下となる領域を日照変動等の緩やかな変化が生じている領域とし、当該領域について入力画像の画素値を新たな基準画像の画素値として更新する。このように従来の技術は、監視領域の緩やかな明暗の変化に追従させるように基準画像を生成し、入力画像と基準画像を比較して変化領域を抽出することにより日照変動による影響を解消しようとするものである。

特開平０１−２１１０８３号公報

ところで、風等により植栽揺れが生じた場合等、単なる日照変動よりも短い時間間隔で画素値の変化が繰り返し生じることがある。日照変動のような緩やかな変化に追従させた基準画像では、このように時間的に速く画素値が変化する植栽揺れが変化領域として抽出されることを防止することができなかった。

そこで、本発明は、日照変動のような時間的に緩やかな変化のみならず植栽揺れのような時間的に速い変化を含む画像から人物等の検出対象を高い確度で検出できる画像処理装置を提供することを目的とする。

本発明の１つの態様は、入力画像を順次取得する画像取得部と、前記入力画像と基準画像の比較結果に基づいて前記入力画像中の検出対象を検出する画像処理部と、を有する画像処理装置であって、過去の異なる時刻に取得された複数の過去画像を背景データとして記憶する記憶部を備え、前記画像処理部は、前記入力画像の画素に対応する前記背景データに含まれる前記複数の過去画像の画素値のうち当該入力画像の画素値と類似する類似画素値にて前記基準画像を生成する基準画像生成手段を備えることを特徴とする画像処理装置である。

ここで、前記画像処理部は、更に、前記基準画像に含まれる画像領域を注意領域として設定する注意領域設定手段を有し、前記基準画像生成手段は、前記類似画素値を前記注意領域の画素値とした前記基準画像を生成することが好適である。

また、前記基準画像生成手段は、前記入力画像の画素値を用いず、複数の前記背景データの画素値を用いて算出された演算画素値を前記注意領域以外の少なくとも一部の領域の画素値とした前記基準画像を生成することが好適である。

また、前記注意領域設定手段は、前記入力画像の画素値の時間的変化の速さに応じて前記注意領域を設定することが好適である。

また、前記注意領域設定手段は、さらに、前記入力画像のエッジ密度に応じて前記注意領域を設定することが好適である。

前記入力画像を用いて、複数の前記背景データの画素値のうち最も古い画素値を更新する背景データ更新手段を備えることが好適である。

本発明によれば、監視領域を撮像した入力画像から人物等の検出対象に起因した変化領域を高い確度で検出することができる画像処理装置を提供することができる。

本発明の実施の形態における画像処理装置の構成を示すブロック図である。 本実施の形態における注意領域と基準画像の生成方法を説明する図である。 本実施形態における画像処理のフローチャートである。

本発明の実施の形態について、図面に基づいて説明する。本実施の形態の画像処理装置は、屋外の監視領域を撮像した画像を処理する。そして、本実施の形態の画像処理装置は、監視領域の外部から監視領域の内部に侵入してきた人物を検出する。

なお、本実施の形態では、監視領域に植栽揺れと日照変動という２種類の背景の変化（背景変化）が生じる場合を例に説明する。

図１は、本発明の実施形態における画像処理装置１の構成を示した図である。画像処理装置１は、画像取得部２０、記憶部３０、画像処理部４０を含んで構成されている。本実施の形態では、画像処理装置１として各部を一体的に説明するが、画像取得部２０・記憶部３０・画像処理部４０とを別筐体とし、通信技術を駆使して必要な制御信号等を通信するようにしてもよい。また、本実施の形態では、撮像装置２および出力部３を画像処理装置１と別筐体としているが、画像処理装置１の筐体に組み込んでもよい。なお、これに限らず、その他の筐体構成を採用してもよい。

撮像装置２は、監視領域を撮像する。撮像装置２は、光学系、ＣＣＤ素子又はＣ−ＭＯＳ素子等の撮像素子、光学系部品、アナログ／デジタル変換器等を含んで構成される。撮像装置２は、固定設置され、視野は一定に保たれる。撮像装置２は、一定の時間間隔（例えば、１／５秒）で順次撮像する。画像は、例えば、各画素値が０〜２５５の画素値を有するデジタル画像として表現される。なお、撮像装置２は、カラー画像を生成するものでもよい。

画像取得部２０は、撮像装置２で撮像された画像を順次取得するインターフェースである。取得された画像は入力画像として記憶部３０に記憶される。入力画像が画像処理部４０での処理対象とされる。本実施の形態では、画像取得部２０は、撮像装置２と接続されている。

なお、本実施の形態では、画像取得部２０は、撮像装置２に接続され、撮像装置２の撮像タイミングに合わせて順次画像を取得する。しかし、これに限らず、画像取得部２０を画像処理装置１の外部に設けた記憶装置（図示しない）に接続し、当該記憶装置に記憶されている撮像装置２で撮像された画像を順次取得するようにしてもよい。

記憶部３０は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の半導体メモリ、ハードディスク等のメモリ装置で構成される。記憶部３０は、画像処理部４０からアクセス可能である。記憶部３０に記憶される主な情報として、前回入力画像３１、注意領域データ３２、前回基準画像３３、背景データ３４がある。なお、図示していないが、記憶部３０には、画像処理装置１の各処理を実現するための各種プログラムやパラメータなども記憶する。

ここで、記憶部３０に記憶する主な情報について簡単に説明する。先ず、前回入力画像３１は、後述する注意領域設定手段４１にて現在の入力画像とのフレーム間差分値を算出するために用いる画像である。本実施の形態では、前回入力画像３１は、現在、処理の対象になっている入力画像の１フレーム前の入力画像としているが、所定のフレーム数前の入力画像としてもよい。注意領域データ３２は、後述する注意領域設定手段４１にて注意領域を設定する際に用いるデータである。本実施の形態では、画素毎に設定される注意領域カウンタの値が注意領域データ３２である。注意領域カウンタについては後述する。前回基準画像３３は、後述する基準画像生成手段４２にて１フレーム前に生成された基準画像である。前回基準画像３３は、後述する基準画像生成手段４２にて演算画素値を算出する際に用いる。背景データ３４は、後述する基準画像生成手段４２にて基準画像を生成する際に用いる。背景データ３４は、入力画像の撮像時刻よりも過去の時点に撮像された画像（過去画像）の画素値を含んだデータである。ここで、背景データ３４としては、入力画像の画素毎にそれぞれ撮像時刻が異なる複数の過去画像の画素値が記憶されている。本実施の形態では、入力画像の画素毎に５個の過去画像の画素値が対応付けて記憶されている例について説明する。ただし、これに限定されるものでなく、過去画像の画素値の個数は変更してもよい。背景データ３４は、後述する背景データ更新手段４５にて適宜更新される。

画像処理部４０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）又はＭＣＵ（Ｍｉｃｒｏ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）等の演算装置により構成され、記憶部３０に記憶している各種プログラムを読み出して実行する。画像処理部４０は、画像取得部２０が取得した入力画像を順次処理する。なお、入力画像は、１フレーム毎に撮影時間順に処理してもよいし、数フレームおきに処理を行ってもよい。

画像処理部４０は、図１に示すように、注意領域設定手段４１、基準画像生成手段４２、変化領域抽出手段４３、人物判定手段４４、背景データ更新手段４５の各モジュールから構成されている。

注意領域設定手段４１は、画像取得部２０にて取得した入力画像中から植栽揺れのような時間的に速い画素値の変化が生じる領域を注意領域として設定する。注意領域設定手段４１は、設定した注意領域を基準画像生成手段４２に出力する。

ここで、時間的に速い画素値の変化が生じる領域とは、異なる時刻に取得された複数の入力画像において、互いに対応する１つの画素の画素値が日照変動よりも頻繁に変化する領域を意味する。日照変動は、監視領域に陽が差したり、曇ったりすることによって生じる画素値の変化である。

例えば、注意領域設定手段４１は、監視領域に在る植栽が風等によって揺れること（植栽揺れ）によって画素値が変化する領域を注意領域として抽出する。具体的に説明すると、植栽は、風に揺れると、葉の部分が反復移動をする。このため、植栽揺れが撮像された領域は、画像上では時間的な画素値の変化が頻繁に生じるという特徴を有する。

注意領域設定手段４１は、入力画素の画素毎に、画素値の時間的変化があるか否かを判定する。具体的には、注意領域設定手段４１は、入力画像の画素毎に、その画素値と記憶部３０に記憶されている前回入力画像３１の対応する画素の画素値との差分絶対値を求める。そして、算出された差分絶対値が所定の差分閾値以上となる画素を「フレーム間の差分がある画素」と判定する。例えば、入力画像の輝度レンジが０〜２５５である場合、差分閾値は８以上に設定することが好適である。なお、注意領域設定手段４１は、本処理を実行するために、前回入力画像３１として記憶部３０に入力画像を記憶し、前回入力画像３１を順次更新する。具体的には、入力画像についてフレーム間差分を求めた後、記憶部３０に記憶されている前回入力画像３１を入力画像で更新する。

そして、注意領域設定手段４１は、「フレーム間差分が所定の差分閾値以上」という条件を頻繁に満たす画素を注意領域として抽出する。具体的には、注意領域設定手段４１は、画素毎に、「フレーム間差分が所定の差分閾値以上」であるか否かを判定し、「フレーム間差分が所定の差分閾値以上」という条件を満たすときに当該画素の注意領域カウンタをＮ（例えば、２０）カウントアップする。ただし、注意領域カウンタは、最大値Ｎ＿ＭＡＸ１（例えば、１００）を上限とし、カウントアップすることによって最大値Ｎ＿ＭＡＸ１を超える場合には最大値Ｎ＿ＭＡＸ１に制限する。また、注意領域設定手段４１は、判定の対象になっている画素が「フレーム間差分が所定の差分閾値未満」である場合、当該画素の注意領域カウンタをＭ（Ｍ＜Ｎであり、例えば、１）カウントダウンする。ただし、注意領域カウンタは、０を下限とし、カウントダウンすることによって０を下回るときには０に制限する。ここで、注意領域設定手段４１は、画素毎に注意領域カウンタの値を注意領域データ３２として記憶部３０に記憶させる。

注意領域設定手段４１は、記憶部３０の注意領域データ３２を参照し、注意領域カウンタが所定のカウント閾値以上であるか否かを画素毎に判定する。例えば、カウント閾値は、４０に設定する。注意領域設定手段４１は、注意領域カウンタが所定のカウント閾値以上であると判定された画素の集合を注意領域として設定する。

以上の処理によれば、注目画素の注意領域カウンタは、注意領域の条件（フレーム間差分が所定の差分閾値以上）を満たす状態がある程度連続して生じたときにカウント閾値以上となり、注目画素は注意領域として抽出される。すなわち、注意領域カウンタは、注意領域の条件を満たすときには大きなカウントアップ値でカウントアップされ、注意領域の条件を満たさなくなったときにはカウントアップ値よりも小さいカウントダウン値でカウントダウンされて徐々に小さくなる。これにより、注意領域設定手段４１は、注目画素の画素値の変化が一時的に収まったとしても、過去に注意領域の条件を満たす状態が続いていた場合には、注目画素を注意領域に含めるものとする。

例えば、植栽揺れにより画素値の変化が生じている場合、風が一時的に止んで植栽揺れが一時的に収まっても、過去に注意領域の条件を連続して満たしていた領域はしばらくの間注意領域として抽出される。これにより、注意領域設定手段４１は、一時的に植栽揺れが収まっただだけの場合は、再び風が吹いて植栽揺れが生じるタイミングにおいて注意領域として維持される。

なお、注意領域として抽出する変化は、植栽揺れに限定されるものではなく、旗揺れ（主に旗の縁部の揺れ）、揺れる植栽の影、揺れる植栽から漏れる日の光、イルミネーションの点滅等による画素値の変化であってもよい。

また、植栽揺れの場合、複数の葉が重なり合っているため、画像上では、重なり合う葉の部分が細かな模様として写るという特徴をさらに有する。そこで、画素値の変化が頻繁に生じ、かつ、細かな模様が写っている領域を注意領域として抽出する処理としてもよい。

この場合、注意領域設定手段４１は、入力画像の画素毎に、細かな模様として撮像されているか否かを判定する。具体的には、注意領域設定手段４１は、入力画像において、強いエッジを有する画素が密集している（エッジ密度が高い）か否かを判定する。先ず、注意領域設定手段４１は、入力画像のエッジ画像（以下、入力エッジ画像と呼ぶ）を生成する。入力エッジ画像は、ソーベルフィルタ等の空間微分フィルタを用いて計算したエッジ強度を所定のエッジ閾値以上で二値化することで求めることができる。例えば、エッジ閾値は１０以上に設定することが好適である。そして、注意領域設定手段４１は、求めた入力エッジ画像の画素毎に、当該画素の所定範囲（例えば、５×５画素）の平均値が所定のエッジ密度閾値以上となるか否かを判定する。注意領域設定手段４１は、求めた平均値がエッジ密度閾値以上となる画素を「エッジ密度が高い画素」と判定する。例えば、エッジ密度閾値は１０以上に設定することが好適である。

そして、注意領域設定手段４１は、「フレーム間差分が所定の差分閾値以上」かつ「エッジ密度が高い画素」という条件を頻繁に満たす画素を注意領域として抽出する。具体的には、注意領域設定手段４１は、画素毎に、「フレーム間差分が所定の差分閾値以上」かつ「エッジ密度が高い」か否かを判定し、これらの条件を満たすときに当該画素の注意領域カウンタをＫ（例えば、２０）カウントアップする。ただし、注意領域カウンタは、最大値Ｎ＿ＭＡＸ２（例えば、１００）を上限とし、カウントアップすることによって最大値Ｎ＿ＭＡＸ２を超える場合には最大値Ｎ＿ＭＡＸ２に制限する。また、注意領域設定手段４１は、判定の対象になっている画素が「フレーム間差分が所定の差分閾値以上」又は「エッジ密度が高い」という条件を満たさなかった場合、当該画素の注意領域カウンタをＬ（Ｌ＜Ｋであり、例えば、１）カウントダウンする。ただし、注意領域カウンタは、０を下限とし、カウントダウンすることによって０を下回るときには０に制限する。ここで、注意領域設定手段４１は、画素毎に注意領域カウンタの値を注意領域データ３２として記憶部３０に記憶させる。

注意領域設定手段４１は、記憶部３０の注意領域データ３２を参照し、注意領域カウンタが所定のカウント閾値以上であるか否かを画素毎に判定する。例えば、カウント閾値は、４０に設定する。注意領域設定手段４１は、注意領域カウンタが所定のカウント閾値以上であると判定された画素の集合を注意領域として設定する。

以上の処理によれば、画素値の変化が頻繁に生じている画像領域のみならず、細かな模様が写っている画像領域も考慮して、植栽揺れが撮像された画像領域を注意領域として高い確度で抽出することができる。

なお、本実施の形態では、注意領域設定手段４１は、画像特徴に基づいて注意領域を設定したが注意領域の設定方法はこれに限られるものではない。例えば、利用者が手動で注意領域を設定するようにしてもよい。この場合、利用者が入力画像中の注意領域に相当する画像領域を選択するための操作入力部（図示しない）を新たに設ける。そして、操作入力部は、利用者が選択した領域を注意領域設定手段４１に出力する。注意領域設定手段４１は、利用者が選択した領域を注意領域として設定する。その後、注意領域設定手段４１は、設定された注意領域を記憶部３０に記憶する。この場合、後述する基準画像生成手段４２は、記憶部３０から注意領域を読み出すようにすればいい。また、本実施の形態では、「画素値の変化が頻繁に生じ、かつ細かな模様が写っている」ことを注意領域の条件としたが、「細かな模様が写っている」ことを注意領域の条件としてもよい。

基準画像生成手段４２は、記憶部３０に記憶された背景データ３４を用いて、基準画像を生成する。具体的には、基準画像生成手段４２は、注意領域設定手段４１で設定された注意領域内については、類似画素値を適用して基準画像を生成する。すなわち、注意領域内については、植栽揺れのように時間的に速い変化に適した基準画像を生成する。また、基準画像生成手段４２は、注意領域以外の領域については、類似画素値とは異なる演算画素値を用いて基準画像を生成する。すなわち、注意領域以外の領域については、日照変動のように時間的に緩やかな変化に適した基準画像を生成する。

以下に、本実施の形態における基準画像の生成方法を説明する。先ず、基準画像生成手段４２は、記憶部３０に記憶された背景データ３４を読み出す。そして、基準画像生成手段４２は、入力画像と背景データ３４とを参照して、入力画像の各画素値に対応する複数個の過去画像の画素値のうち、当該対応する入力画像の画素値に最も近い値となる画素値を類似画素値として特定する。具体的には、基準画像生成手段４２は、複数個の過去画像の画素値の各々と、対応する入力画像の画素値との差分絶対値をそれぞれ求める。そして、基準画像生成手段４２は、求められた差分絶対値が最小になる過去画像の画素値を類似画素値として特定する。ここで、基準画像生成手段４２は、注意領域設定手段４１にて設定された注意領域内の画素について類似画素値を求める。すなわち、基準画像生成手段４２は、植栽揺れのように時間的に速い変化が生じる可能性が高い注意領域について、背景データ３４から入力画像の画素値になるべく近い画素値を特定する。

なお、類似画素値は、入力画像の画素値になるべく近い画素値であればよく、過去画像の画素値と入力画像の画素値との差分絶対値が最小になる過去画像の画素値でなくてもよい。例えば、過去画像の画素値と入力画像の画素値との差分絶対値が２番目に小さい過去画像の画素値を類似画素値としてもよい。

次に、基準画像生成手段４２は、背景データ３４を参照して、過去画像の画素値を用いて演算画素値を算出する。演算画素値は、現在処理対象となっている入力画像を用いず、過去画像の画素値を演算することで日照変動のような時間的に緩やかな変化に追従させた画素値である。

具体的には、基準画像生成手段４２は、入力画像の画素毎に、リカーシブフィルタを施した値を演算画素値として算出する。リカーシブフィルタによる演算画素値は以下の式で求める。
演算画素値＝前回基準画像の画素値×Ｒ＋最新の過去画像の画素値×（１−Ｒ）

ここで、本式で用いられる「前回基準画像の画素値」は、処理の対象となっている入力画像の画素の位置に対応する前回基準画像３３の画素値である。このため、基準画像生成手段４２は、本処理を実行するために、前回基準画像３３を記憶部３０に記憶し、さらに更新する。具体的には、基準画像生成手段４２は、基準画像を生成した後に、記憶部３０に記憶してある前回基準画像３３を今回生成した基準画像で更新する。また、「最新の過去画像の画素値」は、処理対象となっている入力画像の画素値に対応付いた背景データ３４のうち最新の過去画像の画素値である。

基準画像生成手段４２は、注意領域設定手段４１にて設定された注意領域外の画素について、演算画素値を算出する。すなわち、基準画像生成手段４２は、植栽揺れのように時間的に速い変化ではなく、日照変動のように時間的に緩やかな変化が生じる可能性が高い領域について、背景データ３４を用いて時間的に緩やかな変化に追従させた画素値を演算画素値として算出する。

なお、本実施の形態では、リカーシブフィルタを適用して演算画素値を算出するものとしたが、これに限るものではなく、入力画像の画素毎に、背景データ３４として記憶部３０に記憶された複数個の過去画像の画素値の平均値を算出し、当該平均値を演算画素値としてもよい。日照変動のように時間的に緩やかな変化であれば、複数個の過去画像の画素値の平均値をその変化に追従させた画素値として採用することができる。

次に、基準画像生成手段４２は、類似画素値および演算画素値を用いて、基準画像を生成する。具体的には、基準画像生成手段４２は、類似画素値を注意領域設定手段４１にて設定された注意領域内の基準画像の画素値にする。さらに、基準画像生成手段４２は、演算画素値を注意領域設定手段４１にて設定された注意領域外の基準画像の画素値にする。基準画像生成手段４２は、これらの処理を全ての画素について行うことで基準画像を生成する。

入力画像と基準画像を比較して検出対象による変化領域を高い確度で抽出するためには、基準画像は、入力画像で生じる可能性のある背景変化（植栽揺れ、日照変動）が変化として抽出されないようにした画像であることが好ましい。このような基準画像を生成するため、基準画像生成手段４２は、植栽揺れのような時間的に速い変化が起こる可能性が高い領域を注意領域として特定し、注意領域内は時間的に速い変化を吸収した基準画像を生成する。また、基準画像生成手段４２は、注意領域外では、日照変動のような時間的に緩やかな変化を吸収した基準画像を生成する。これにより、植栽揺れのような時間的に速い変化や日照変動のような時間的に緩やかな変化を含む入力画像であっても、検出対象による変化領域を高い確度で抽出可能とする基準画像を生成することができる。

具体的に説明すると、植栽揺れは、監視領域内の植栽自体の位置は動かず、葉の部分が風によって反復移動するという時間的に速く繰り返される変化であるため、過去に類似の画素値が画像に撮像されている可能性が高い。したがって、類似画素値を用いることにより植栽揺れに対して適切な基準画像を生成できる。これに対して、日照変動は、時間的により緩やかな変化であるため、リカーシブフィルタ等の時系列フィルタによって変化の予測が容易である。このため、演算画素値を用いることにより日照変動のような時間的に緩やかな変化に対して適切な基準画像を生成できる。

なお、本実施の形態では、注意領域以外の画素については演算画素値とした基準画像を生成したが、注意領域以外の少なくとも一部の画素について日照変動のような時間的に緩やかな変化がみられる領域のみ演算画素値を適用した基準画像としてもよい。例えば、何らかの物体によって常に影になっており、時間的にほとんど変化がみられない領域については、入力画像や背景画像の画素値をそのまま基準画像の画素値としてもよい。

また、本実施の形態では、注意領域と注意領域以外で類似画素値と演算画素値を使い分けて基準画像を生成したが、注意領域によらず類似画素値にて基準画像を生成してもよい。

変化領域抽出手段４３は、画像取得部２０が取得した入力画像と、基準画像生成手段４２が生成した基準画像を比較して、変化領域を抽出する。本実施の形態では、変化領域抽出手段４３は、画素毎に、判定の対象となる画素とその周辺の画素の画素値のパターンについて、入力画像と基準画像の類似性を正規化相関により算出する。そして、変化領域抽出手段４３は、相関の有無に基づいて変化のある画素（変化画素）か否かを判定する。そして、変化画素と判定された画素の集合を変化領域として抽出する。具体的には、変化領域抽出手段４３は、判定の対象となる画素を中心とする５画素×５画素の範囲の２５画素について、入力画像と基準画像の正規化相関値Ｃを算出する。正規化相関値Ｃは次式のように計算する。

Ｃ＝（Σ（（Ｉ(ｘ)−Ｉａ）×（Ｂ(ｘ)−Ｂａ）））／（Ｉｄ×Ｂｄ）
ここで、Ｉ(ｘ)は２５画素のうちのインデックスｘであらわされる画素に対応する入力画像の画素値、Ｉａは２５画素の入力画像の画素値の平均値、Ｂ(ｘ)は２５画素のうちのインデックスｘであらわされる画素に対応する基準画像の画素値、Ｂａは２５画素の基準画像の画素値の平均値、Ｉｄは２５画素の入力画像の画素値の標準偏差、Ｂｄは２５画素の基準画像の画素値の標準偏差である。正規化相関値Ｃは、入力画像と基準画像の２５画素の画素値パターンの類似度合いを表し、−１〜１の値をとる。正規化相関値Ｃが１に近いほど比較する対象のパターンが似ていて、正規化相関値Ｃが１から離れるほどパターンが異なる。正規化相関値Ｃが−１の場合は完全に反転している状態になる。

変化領域抽出手段４３は、判定の対象となっている画素について求めた正規化相関値Ｃが所定の相関閾値より低いとき、当該画素を変化画素であると判定する。変化領域抽出手段４３は、判定の対象となっている画素について求めた正規化相関値Ｃが所定の相関閾値より高いとき、当該画素を変化画素でないと判定する。本実施の形態では、正規化相関値Ｃが相関閾値よりも低いときは、人物等による大きな変化が入力画像に生じていることを意味する。また、正規化相関値Ｃが相関閾値よりも高いときは、入力画像が変化していない、若しくは、人物による変化よりも小さな変化が入力画像に生じていることを意味する。また、変化画素の抽出に用いる基準画像は、検出対象による変化以外の植栽揺れや日照変動等による変化は変化領域として抽出されないように生成されたものである。このため、植栽揺れや日照変動等による変化が生じた場合も、正規化相関値Ｃは相関閾値よりも高くなる。相関閾値は、例えば、０．７に設定することが好適である。

変化領域抽出手段４３は、同様に、全ての画素について変化画素であるか否かを判定する。そして、変化画素であると判定された画素の集合を変化領域とする。変化領域抽出手段４３は、抽出された変化領域を人物判定手段４４および背景データ更新手段４５に出力する。

なお、本実施の形態では、変化領域抽出手段４３は、正規化相関を利用して、判定対象となる画素とその周辺の画素の画素値のパターンの類似性に基づき、変化領域の抽出を行った。しかし、これに限らず、変化領域抽出手段４３は、入力画像と基準画像を比較して変化領域を抽出するものであればよい。例えば、入力画像と基準画像を差分二値化する処理によって変化領域を抽出してもよい。また、変化領域抽出手段４３は、正規化相関による抽出処理と差分二値化処理による抽出処理を併用してもよい。

人物判定手段４４は、変化領域抽出手段４３にて抽出された変化領域について、人物であるか否かを判定する。人物判定手段４４は、変化領域に対して、人物である可能性を示す特徴量を算出する。

本実施の形態では、算出する特徴量は、変化領域の「実面積」、「長短軸比」、「長軸角度絶対値」とする。変化領域の「実面積」は、当該変化領域の人物の大きさとしての妥当性を示す特徴量である。人物判定手段４４は、変化領域に外接する矩形について、その画像内の位置と撮像装置２の設置高や俯角情報等のパラメータに基づいて、実空間での高さと幅を求め、高さと幅の積を実面積として算出する。「長短軸比」は、変化領域の人物の形状としての妥当性を示す特徴量である。人物判定手段４４は、変化領域を楕円近似し、当該楕円の短軸長と長軸長との比（短軸長÷長軸長）を長短軸比として算出する。「長軸角度絶対値」は、変化領域の人物の姿勢としての妥当性を示す特徴量である。人物判定手段４４は、変化領域を楕円近似したときに、垂直方向（Ｙ軸方向）を０度とした場合の長軸の傾きの絶対値を長軸角度絶対値として算出する。

なお、本実施の形態では、説明を簡単にするために、３つの特徴量にて説明したが、これに限られるものではなく、種々の特徴量を利用してもよい。

次に、人物判定手段４４は、算出した特徴量に基づいて変化領域が人物によるものか否かを判定する。本実施の形態では、算出された３つの特徴量である「実面積」、「長短軸比」、「長軸角度絶対値」の値が人物として妥当な値であるか否かを判定する。具体的には、「実面積」が６０００平方センチメートル以上である場合に人物であり、そうでない場合に人物でないと判定する。また、「長短軸比」が０．５以下である場合に人物であり、そうでない場合に人物でないと判定する。また、「長軸角度絶対値」が１５度以下である場合に人物であり、そうでない場合に人物でないと判定する。

そして、人物判定手段４４は、「実面積」、「長短軸比」、「長軸角度絶対値」の全てにおいて変化領域が人物によるものであると判定された場合に、最終的に当該変化領域を人物によるものであると判定する。人物判定手段４４は、変化領域が人物であると判定されると、その旨の判定結果を出力部３に出力する。

なお、本実施の形態では、監視領域の外部から監視領域の内部に進入してきた人物を検出対象として検出する例で説明した。しかし、これに限定されるものではなく、人物以外を検出対象としてもよい。例えば、画像処理装置１は、監視領域の外部から監視領域の内部に持ちこまれた物品を検出対象として検出するものとしてもよい。また、画像処理装置１は、監視領域の外部から監視領域の内部に進入してきた車両を検出対象として検出するものとしてもよい。この場合、人物判定手段４４に変えて、各々の検出対象の特徴を表す特徴量を用いて検出対象について判定する手段を設ければよい。

背景データ更新手段４５は、基準画像生成手段４２で用いられる背景データ３４を記憶部３０に記憶及び更新する。記憶部３０の説明にて前述したように、背景データ３４は、入力画像の撮像時刻よりも過去の時点に撮像された過去画像の画素値を含んだ画像データである。

背景データ更新手段４５は、先ず、入力画像の画素毎に、変化領域抽出手段４３にて変化画素と判定された画素であるか否かを確認する。そして、背景データ更新手段４５は、変化領域抽出手段４３にて変化画素でないと判定された画素について、当該画素値を対応する背景データ３４の最新の過去画像の画素値として記憶部３０に記憶する。このとき、既に記憶部３０に記憶されている過去画像の画素値のうち、最も古い過去画像の画素値を削除する。また、背景データ更新手段４５は、変化領域抽出手段４３にて変化画素と判定された画素については、背景データ３４を更新しない。

すなわち、背景データ更新手段４５は、人物等によって画素値に大きな変化が生じている領域については、背景データ３４を更新しない。また、背景データ更新手段４５は、変化がない領域、人物による変化より小さな変化が生じている領域、植栽揺れや日照変動が生じている領域については、背景データ３４を更新する。

なお、画像処理装置１の起動直後には、背景データ３４として過去画素値が５個記憶されていない。このため、背景データ更新手段４５は、画像処理装置１を起動した後、各画素に５個ずつ過去画像の画素値が記憶されるまでの間、画像取得部２０が取得した入力画像の画素値を順次最新の過去画素値として記憶する処理を行う。

なお、本実施の形態では、背景データ３４として、画素毎に５個の過去画像の画素値を記憶するものとしたが、過去画像の画素値の個数は複数個であればよい。

また、本実施の形態では、背景データ更新手段４５は、変化領域抽出手段４３にて変化領域でないと判定された領域について背景データ３４を更新するものとしたが、これに限られない。背景データ更新手段４５は、人物判定手段４４にて、人物と判定された変化領域以外の領域について背景データ３４を更新し、それ以外の領域について背景データ３４を更新しないようにしてもよい。この場合、人物判定手段４４は、変化領域抽出手段４３を介して、人物と判定された変化領域を背景データ更新手段４５へ出力する。そして、背景データ更新手段４５は、入力画像の画素毎に、人物と判定された変化領域でない画素について背景データ３４を更新すればよい。

出力部３は、人物判定手段４４から変化領域が人物である旨の信号を入力すると、異常信号を警報部（図示しない）に出力し、ブザーの鳴動や警告灯の表示などにより周囲に異常の発生を通知する。また、インターネット等の通信網を介して遠隔の監視センタ（図示しない）に異常信号を出力することによって、異常の発生を監視センタに通知する構成としてもよい。

次に、図２および図３を参照して、本実施形態の画像処理装置１による画像処理を説明する。図２は、本実施の形態における注意領域と基準画像の生成方法を説明する図である。図３は、本実施形態における画像処理のフローチャートである。

ステップＳ１では、画像取得部２０にて撮像装置２が撮像した画像を入力画像として取得する。

ステップＳ２では、注意領域設定手段４１にて、入力画像における注意領域を設定する。図２の例では、注意領域設定手段４１にて設定された注意領域を、白色の領域３５で示している。

ステップＳ３からＳ７では、基準画像生成手段４２による基準画像の生成処理が行われる。基準画像生成手段４２は、画像に含まれる画素を順次着目画素として、ステップＳ４、Ｓ５、Ｓ６の処理を画像に含まれるすべての画素に対して繰り返し、基準画像に含まれる各画素の画素値を決定する。すなわち、ステップＳ３からＳ７の処理は、基準画像の全ての画素について順次実行される。

ステップＳ４では、基準画像生成手段４２にて処理の対象となっている着目画素が注意領域内であるか否かを判定する。注意領域内である場合は、ステップＳ５へ処理を移行させ、注意領域外である場合は、ステップＳ６へ処理を移行させる。

ステップＳ５では、基準画像生成手段４２にて、入力画像及び背景データ３４を用いて類似画素値を求める。そして、基準画像生成手段４２は、類似画素値を処理対象となっている基準画像の画素の画素値とする。図２の例では、入力画像の画素である画素ａは、注意領域内の画素である。また、背景データ３４ａとして、画素ａに対応する５個の過去画像の画素値が記憶されている。基準画像生成手段４２は、背景データ３４ａのうち画素ａの画素値と最も類似する画素値としてａ２を特定し、当該画素値を類似画素値とする。

ステップＳ６では、基準画像生成手段４２にて、背景データ３４に含まれる複数の画素値を用いて演算画素値を算出する。本実施の形態では、背景データ３４に含まれる複数の画素値に対してリカーシブフィルタを適用して演算画素値を算出する。そして、基準画像生成手段４２は、算出された演算画素値を基準画像の着目画素の画素値とする。図２の例では、入力画像の画素である画素ｂは、注意領域外の画素である。また、背景データ３４ｂとして、画素ｂに対応する５個の過去画像の画素値が記憶されている。基準画像生成手段４２は、背景データ３４ｂの着目画素に対応する画素を用いて演算画素値を算出する。具体的には、リカーシブフィルタの式に、過去画像の画素値のうち最新の画素値であるｂ５の画素値および前回基準画像３３において画素ｂの位置に対応する画素３３ｂの画素値ｂ３３を代入して演算画素値を算出する。

ステップＳ３からステップＳ７までの処理によって基準画像が生成されると、ステップＳ８へ処理を移行させる。

ステップＳ８では、変化領域抽出手段４３にて、ステップＳ１で取得した入力画像と基準画像を比較し、画素毎に変化画素であるか否かを判定する。そして、変化領域抽出手段４３は、変化画素の集合を変化領域として抽出する。

ステップＳ９では、人物判定手段４４にて、ステップＳ８で抽出した変化領域について人物であるか否かを判定する。

ステップＳ１０およびステップＳ１１では、ステップＳ９で人物と判定された場合に判定結果を外部の出力部３に出力し、ステップＳ１２へ処理を移行させる。ステップＳ９で人物と判定されなかった場合は、外部の出力部３への出力をすることなく、ステップＳ１２へ処理を移行させる。

ステップＳ１２では、背景データ更新手段４５にて、ステップＳ８で変化画素と判定されなかった画素について、当該画素に対応する背景データ３４の画素を更新する。変化画素と判定されなかったすべての画素について背景データ３４の更新処理が終了すると、ステップＳ１に処理を戻し、新たな入力画像に対する処理を開始する。

以上のように、本実施の形態によれば、監視領域を撮像した入力画像から人物等の検出対象に起因した変化領域を高い確度で検出することができる。

１ 画像処理装置、２ 撮像装置、３ 出力部、２０ 画像取得部、３０ 記憶部、３１ 前回入力画像、３２ 注意領域データ、３３ 前回基準画像、３４ 背景データ、３５ 領域、４０ 画像処理部、４１ 注意領域設定手段、４２ 基準画像生成手段、４３ 変化領域抽出手段、４４ 人物判定手段、４５ 背景データ更新手段。

Claims (6)

1. 入力画像を順次取得する画像取得部と、前記入力画像と基準画像の比較結果に基づいて前記入力画像中の検出対象を検出する画像処理部と、を有する画像処理装置であって、
   過去の異なる時刻に取得された複数の過去画像を背景データとして記憶する記憶部を備え、
   前記画像処理部は、
   前記入力画像の画素に対応する前記背景データに含まれる前記複数の過去画像の画素値のうち当該入力画像の画素値と類似する類似画素値にて前記基準画像を生成する基準画像生成手段を備えることを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置であって、
   前記画像処理部は、更に、前記基準画像に含まれる画像領域を注意領域として設定する注意領域設定手段を有し、
   前記基準画像生成手段は、前記類似画素値を前記注意領域の画素値とした前記基準画像を生成することを特徴とする画像処理装置。
3. 請求項２に記載の画像処理装置であって、
   前記基準画像生成手段は、前記入力画像の画素値を用いず、複数の前記背景データの画素値を用いて算出された演算画素値を前記注意領域以外の少なくとも一部の領域の画素値とした前記基準画像を生成することを特徴とする画像処理装置。
4. 請求項２又は３に記載の画像処理装置であって、
   前記注意領域設定手段は、前記入力画像の画素値の時間的変化の速さに応じて前記注意領域を設定することを特徴とする画像処理装置。
5. 請求項２〜４のいずれか１項に記載の画像処理装置であって、
   前記注意領域設定手段は、さらに、前記入力画像のエッジ密度に応じて前記注意領域を設定することを特徴とする画像処理装置。
6. 請求項１〜５のいずれか１項に記載の画像処理装置であって、
   前記入力画像を用いて、複数の前記背景データの画素値のうち最も古い画素値を更新する背景データ更新手段を備えることを特徴とする画像処理装置。