JP7290961B2

JP7290961B2 - 画像処理装置及び画像処理プログラム

Info

Publication number: JP7290961B2
Application number: JP2019044058A
Authority: JP
Inventors: 純山口; 庸平澤井
Original assignee: Secom Co Ltd
Current assignee: Secom Co Ltd
Priority date: 2019-03-11
Filing date: 2019-03-11
Publication date: 2023-06-14
Anticipated expiration: 2039-03-11
Also published as: JP2020149132A

Description

本発明は、撮影画像内から移動体の画像領域を示す移動体領域を検出する画像処理装置及び画像処理プログラムに関する。

従来、所定領域（監視領域）をカメラで撮影して取得した撮影画像と、背景画像（監視領域に移動体が存在しない画像）との間の差分領域を抽出する処理が行われている。例えば、監視領域内に人物などの移動体が侵入してきた場合に、撮影画像から差分領域が抽出される。

差分領域には、移動体自体の他に移動体の影が含まれる場合がある。したがって、従来、撮影画像から抽出された差分領域の画像特徴に基づいて、当該差分領域が移動体を示す移動体領域であるのか、影を示す影領域であるのかを判定する処理が行われていた。

例えば、特許文献１には、撮影画像から抽出された差分領域のうち、背景画像内における当該差分領域のテクスチャと類似するテクスチャを有し、かつ、背景画像よりも輝度値が低い差分領域を影領域と判定する処理が開示されている。

特開２０１２－４３０２１号公報

従来のように、テクスチャあるいは輝度値に着目して影領域を判定する方法では、精度良く影領域を判定できない場合があった。例えば、背景画像にテクスチャが無い場合（例えば床面に模様や形が無い場合、床面に模様などがあったとしても背景画像又は撮影画像において差分領域の輝度が高すぎてテクスチャが識別できない場合）、本来、影領域であるにもかかわらず、影領域ではないと誤判定してしまう場合があった。

本発明の目的は、撮影画像から抽出された差分領域を移動体領域と影領域とに精度良く弁別することにある。

本発明は、所定領域を順次撮影した撮影画像のうちの対象画像から移動体の画像領域を示す移動体領域を検出する画像処理装置であって、前記所定領域の背景を撮影した背景画像と前記対象画像との間の背景差分処理、及び、前記対象画像と該対象画像よりも差分期間だけ過去又は未来に撮影した比較画像との間のフレーム間差分処理を行う差分処理手段と、前記背景差分処理によって抽出された画素のうち、前記フレーム間差分処理によって抽出された画素を前記移動体領域の画素として判定し、前記フレーム間差分処理によって抽出されなかった画素を影に相当する影領域の画素として判定する影領域判定手段と、前記背景差分処理によって抽出された画像領域であって、人物らしい大きさ又は形状からなる所定条件を満たした画像領域における前記移動体領域の画素の数と前記影領域の画素の数との比較に基づいて、当該画像領域が人物であるか影であるかを判定する人物判定手段と、を備えることを特徴とする画像処理装置である。

望ましくは、前記差分処理手段は、複数の前記撮影画像間における背景差分領域の移動量が大きいほど前記差分期間を短く設定する、ことを特徴とする。

望ましくは、前記影領域判定手段は、前記移動体領域と判定された画素のうち、前記影領域の外周から所定幅の画素を前記影領域の画素として再判定する、ことを特徴とする。

望ましくは、前記影領域判定手段は、前記移動量が大きいほど前記所定幅を大きい値に設定する、ことを特徴とする。

望ましくは、前記影領域判定手段は、複数の前記撮影画像間における背景差分領域の移動方向に基づいて、前記所定幅を設定する、ことを特徴とする。

また、本発明は、所定領域を順次撮影した撮影画像のうちの対象画像から移動体の画像領域を示す移動体領域を検出するための画像処理プログラムであって、コンピュータを、前記所定領域の背景を撮影した背景画像と前記対象画像との間の背景差分処理、及び、前記対象画像と該対象画像よりも差分期間だけ過去又は未来に撮影した比較画像との間のフレーム間差分処理を行う差分処理手段と、前記背景差分処理によって抽出された画素のうち、前記フレーム間差分処理によって抽出された画素を前記移動体領域の画素として判定し、前記フレーム間差分処理によって抽出されなかった画素を影に相当する影領域の画素として判定する影領域判定手段と、前記背景差分処理によって抽出された画像領域であって、人物らしい大きさ又は形状からなる所定条件を満たした画像領域における前記移動体領域の画素の数と前記影領域の画素の数との比較に基づいて、当該画像領域が人物であるか影であるかを判定する人物判定手段と、として機能させることを特徴とする画像処理プログラムである。

本発明によれば、撮影画像から抽出された差分領域を移動体領域と影領域とに精度良く弁別することができる。

本実施形態に係る警備システムの構成概略図である。本実施形態に係る画像センサの構成概略図である。対象画像（ａ）、背景画像（ｂ）、及び、背景差分画像（ｃ）を示す図である。対象画像（ａ）、過去画像（ｂ）、及び、フレーム間差分画像（ｃ）を示す図である。背景差分画像（ａ）、フレーム間差分画像（ｂ）、及び、影領域判定処理結果（ｃ）を示す図である。フレーム間における人物の移動量が比較的大きい場合の差分期間を示す図である。フレーム間における人物の移動量が比較的小さい場合の差分期間を示す図である。影領域拡張処理の様子を示す図である。

以下、本発明の実施形態について説明する。

図１は、本実施形態に係る警備システム１０の構成概略図である。警備システム１０は、店舗、オフィス、マンション、倉庫、家屋などの各監視対象物件１２に設置される警備装置１４、公衆電話回線などの通信網１６を介して各警備装置１４と接続される警備センタ装置１８、及び利用者装置２０とを含んで構成される。さらに、警備システム１０は、監視対象物件１２の監視領域を撮影した監視画像に基づいて監視対象物件１２の異常を検出するための１以上の画像処理装置としての画像センサ２２、及び、画像センサ２２により撮影された監視画像を記録する録画装置２４を含んで構成される。画像センサ２２及び録画装置２４は警備装置１４と通信可能に接続される。

警備装置１４は、構内ＬＡＮなどを介してそれ自体に接続された画像センサ２２からアラーム信号を受信すると、そのアラーム信号及び警備装置１４自体の識別信号、又は、監視対象物件１２あるいは異常を検出した画像センサ２２の識別信号を警備センタ装置１８へ送信する。そのために、警備装置１４は、画像センサ２２と通信するための通信インターフェースと、警備センタ装置１８及び利用者装置２０と通信するための通信インターフェースと、それらを制御するための制御ユニットを有する。

警備センタ装置１８は、いわゆるコンピュータで構成され、通信網１６を介して警備装置１４と通信するための通信インターフェースと、液晶ディスプレイなどの表示装置と、ブザーやＬＥＤなどで構成される報知部を備える。警備センタ装置１８は、警備装置１４から通信網１６を介してアラーム信号を受信すると、そのアラーム信号を送信した警備装置１４が設置された監視対象物件１２及び検出された異常の内容を報知部及び表示装置を通じて監視員に報知する。

利用者装置２０も、いわゆるコンピュータで構成され、通信網１６を介して警備装置１４と通信するための通信インターフェース、液晶ディスプレイなどの表示装置、及び、キーボードやマウスなど、警備装置１４を遠隔操作するための操作コマンドを入力するためのユーザインターフェースを備える。利用者装置２０は、ユーザインターフェースを介して予め登録されている監視対象物件１２を観察する操作がなされると、登録されている監視対象物件１２に設置された警備装置１４に対して、現在撮影中の監視画像又は録画装置２４に記録されている監視画像を利用者装置２０に送信することを要求する各種の画像要求信号を送信する。そして、警備装置１４から監視画像を受信すると、利用者装置２０は要求された監視画像を表示装置に表示する。

録画装置２４は、ＨＤＤなどの磁気ディスク装置、ＤＡＴなどの磁気テープ、ＤＶＤ－ＲＡＭなどの光記録媒体のように、録画装置２４に着脱自在となる記録媒体と、それら記録媒体にアクセスしてデータの読み書きを行う装置で構成される。録画装置２４は、画像センサ２２が撮影した監視画像を警備装置１４から受け取り、撮影時刻と関連付けて記録する。

図２は、画像センサ２２の構成概略図である。画像センサ２２は、所定領域（監視領域）を撮影して撮影画像を取得した上で、撮影画像から移動体を示す移動体領域を検出する。本実施形態では、画像センサ２２は、撮影画像の中から、移動体のうち、特に人物（侵入者）を示す移動体領域を検出する。以下、画像センサ２２の詳細について説明する。

通信部３０は、画像センサ２２と警備装置１４との間で構内ＬＡＮなどの通信ネットワークを介して各種の設定信号及び制御信号などを送受信する入出力インターフェースであり、イーサネット（登録商標）などの各種の通信インターフェース回路及びそれらを駆動するドライバソフトウェアなどで構成される。具体的には、通信部３０は、後述の信号処理部４２によって人物が検出された場合に、人物を検出したことを示すアラーム信号を警備装置１４に出力する。

撮影部３２は、ＣＣＤなどの、可視光などに感度を有する光電変換器で構成された２次元検出器と、その２次元検出器上に監視領域の像を結像する結像光学系などで構成される。撮影部３２としては、例えば、単方位カメラあるいは全方位カメラを利用することができる。撮影部３２は、監視領域を順次撮影することによって撮影画像を順次取得する。本実施形態では、撮影部３２は、一定の時間間隔（例えば１／５秒）毎に撮影を行うが、撮影部３２の撮影方法はこれには限られない。取得された撮影画像は記憶部３４に記憶される。

記憶部３４は、半導体メモリ、磁気ディスク（ＨＤＤ）、又はＣＤ－ＲＯＭ、ＤＶＤ－ＲＡＭなどの光ディスクドライブ及びその記録媒体で構成される。記憶部３４には、画像センサ２２の各部を動作させるための画像処理プログラムが記憶される。また、図２に示される通り、記憶部３４には、撮影部３２が順次取得した複数の撮影画像３６、背景画像３８、及び参照情報４０が記憶される。

背景画像３８は、監視領域の背景を撮影した画像であり、監視領域内に人物が存在していないときの撮影画像３６に基づいて信号処理部４２により作成される。例えば、信号処理部４２は、撮影部３２が順次取得した複数の撮影画像３６の間のフレーム間差分を求め、フレーム間での対応画素間の輝度差の絶対値の平均値を求める。そして、信号処理部４２は、その平均値が所定の基準よりも小さい撮影画像３６を背景画像３８として記憶部３４に記憶させる。また、背景画像３８は、照明状態の変動、太陽の日周変動などの監視領域の変動に対応するために、一定周期（例えば、１０分間隔）毎に更新されるのが好適である。

参照情報４０は、検出対象（本実施形態では人物）の特徴を表す情報であり、本実施形態では、人物の標準的な身長を示す参照身長（例えば１８０ｃｍ）、人物の標準的な幅を示す参照身幅（例えば６０ｃｍ）、及び、人物の標準的な移動速度を示す参照移動速度を示す情報を含んでいる。

信号処理部４２は、組み込み型のマイクロプロセッサユニットと、ＲＯＭ、ＲＡＭなどのメモリと、その周辺回路とを有し、画像センサ２２の各種信号処理を実行する。図２に示されるように、信号処理部４２は、第１差分処理手段４４、ラベル整形手段４６、追跡手段４８、第２差分処理手段５０、影領域判定手段５２、及び侵入者判定手段５４としての機能を発揮する。信号処理部４２がこれらの手段を発揮することで、撮影画像３６において、人物（侵入者）を示す画像領域である移動体領域が検出される。以下、信号処理部４２が有する各手段について説明する。

第１差分処理手段４４は、撮影画像３６と、記憶部３４に予め記憶された背景画像３８とを比較して、両画像間で相違する画素を抽出し、抽出された画素を第１の値（例えば１）とし、抽出されない画素を第２の値（例えば０）とする二値画像である背景差分画像を求める背景差分処理を行う。ここで「両画像間で相違する画素」とは、撮影画像３６と背景画像３８との間で輝度値又は色成分の差が所定値以上である撮影画像３６の画素を意味する。第１差分処理手段４４は、順次取得される複数の撮影画像３６それぞれと、背景画像３８との間で背景差分処理を行う。

図３には、移動体領域を検出する対象となる撮影画像３６である対象画像３６（ａ）、背景画像３８（ｂ）、及び背景差分画像６０（ｃ）の例が示されている。ちなみに、対象画像３６ａは、記憶部３４に記憶された複数の撮影画像３６のうち、必ずしも最新の撮影画像３６でなくてもよい。図３（ａ）の例のように、対象画像３６ａに人物が含まれている場合には、背景差分処理により、図３（ｃ）に示されるように、当該人物及び当該人物の影に対応する画素群からなる背景差分領域６２が抽出される。なお、背景差分領域６２に含まれる画素を背景差分抽出画素と呼ぶ。図３（ｃ）に示されるように、対象画像３６ａに人物の影が含まれている場合には、影を示す領域も背景差分領域６２に含まれる。

また、第１差分処理手段４４は、各背景差分抽出画素に対して識別子（ラベル）を付与するラベリング処理を行う。ラベルとしては、例えば、背景差分画像６０内でユニークな数値を用いることができる。ラベリング処理では、ある背景差分抽出画素に注目したとき、当該画素に隣接している他の背景差分抽出画素からなる一塊の画素群を１つの背景差分領域６２とみなす。なお、背景差分抽出画素に隣接する画素とは、背景差分抽出画素の上下左右方向に隣接する画素であってもよいし、斜め方向に隣接する画素まで含めてもよい。その上で、各背景差分領域６２に対して異なるラベルを付与し、背景差分画像６０の画素値として記憶する処理を行う。以下、ラベルが付与された背景差分領域６２のことをラベル領域６４と呼ぶ場合がある。

ラベル整形手段４６は、第１差分処理手段４４により抽出された各ラベル領域６４を整形するラベル整形処理を実行する。例えば、所定範囲内にある複数のラベル領域６４を、統合した場合に人物らしい大きさあるいは形状の領域となるかどうかなどの所定の条件に基づいて、複数のラベル領域６４を統合するラベル統合処理を実行する。ラベル統合処理によれば、例えば、同一人物の上半身と下半身とがそれぞれ異なるラベル領域６４として抽出された場合に、当該２つのラベル領域６４を統合して１人の人物の像に対応する１つのラベル領域６４とすることができる。

また、例えば、ラベル整形手段４６は、ラベル領域６４を削除するラベル削除処理を行ってもよい。ラベル削除処理は、明らかに人物でないと判断できるラベル領域６４を削除する処理である。例えば、人物のサイズに対して大きすぎる、あるいは小さすぎるラベル領域６４を削除する。

追跡手段４８は、撮影部３２が順次取得した複数の撮影画像３６のそれぞれから抽出され、ラベル整形手段４６にて整形されたラベル領域６４を時間的に追跡する処理を行う。具体的には、追跡手段４８は、今回取得された撮影画像３６から抽出されてラベル整形手段４６により整形された、各ラベル領域６４と、過去に取得された撮影画像３６から抽出されて、記憶部３４に追跡用情報として記憶されているラベル領域６４（以下「追跡ラベル領域」と記載する）とを同定する処理（同一人物に対応するラベル領域６４であると判定する処理）を行う。ここで、追跡用情報は、追跡ラベル領域に関する、追跡ＩＤ、撮影画像３６上の位置、及び追跡用特徴量が関連付けられた情報である。追跡用特徴量は、追跡ラベル領域の実空間におけるサイズや形状、輝度ヒストグラム、テクスチャ情報などである。

追跡手段４８は、今回取得された撮影画像３６のラベル領域６４の追跡用特徴量及び位置と、追跡ラベル領域の追跡用特徴量及び位置とを比較することで、今回取得された撮影画像３６のラベル領域６４と追跡ラベル領域とを同定する。例えば、追跡用特徴量が類似し、且つ、位置が近いもので同定する。そして、今回取得された撮影画像３６のラベル領域６４に対して、同定された追跡ラベル領域と同一の追跡ＩＤを付与し、時系列に従って、今回取得された撮影画像３６の当該ラベル領域６４の追跡ＩＤと、撮影画像３６上の位置などを関連付けた上で記憶部３４に追跡用情報として保存する。

なお、今回取得された撮影画像３６のラベル領域６４において、追跡ラベル領域と同定が得られなかったものについては、新規の人物が出現したものとして、当該ラベル領域６４の追跡特徴量に新規の追跡ＩＤを付与する。また、これまで追跡していた追跡ラベル領域のうち、今回取得された撮影画像３６のラベル領域６４と同定が得られなかったものがある場合、当該追跡ラベル領域に対応する人物が消失したものとして、当該追跡用情報を削除する。

追跡手段４８は、上述のラベル領域６４の追跡処理を行うことで、２つの撮影画像３６間におけるラベル領域６４（背景差分領域６２）の移動方向及び移動量を求めることができる。具体的には、前時点の撮影画像３６に含まれるラベル領域６４の所定位置（座標）から、後時点の撮影画像に含まれる同じ追跡ＩＤが付与されたラベル領域６４の所定位置に向かう方向が移動方向であり、両者の間の距離がラベル領域６４の移動量となる。

第２差分処理手段５０は、対象画像３６ａと、他の撮影画像３６とを比較して、両画像間で相違する画素を抽出し、抽出された画素を第１の値（例えば１）とし、抽出されない画素を第２の値（例えば０）とする二値画像であるフレーム間差分画像を求めるフレーム間差分処理を行う。ここで、比較画像としてのとしての他の撮影画像３６とは、対象画像３６ａよりも後に詳細に説明する差分期間だけ過去又は未来に撮影された画像である。本実施形態では、比較画像は、対象画像３６ａよりも差分期間だけ過去に撮影した過去画像３６ｂとする。

図４には、対象画像３６ａ（ａ）、過去画像３６ｂ（ｂ）、及びフレーム間差分画像６６（ｃ）の例が示されている。図４の例では、対象画像３６ａに含まれる人物の位置と、過去画像３６ｂに含まれる人物の位置が少しだけ異なっている。図４（ｃ）に示されるように、対象画像３６ａと過去画像３６ｂとの間で、輝度値又は色成分の差が所定値以上であるフレーム間差分領域６８が抽出される。なお、フレーム間差分領域６８に含まれる画素をフレーム間差分抽出画素と呼ぶ。

人物への光の当たり具合、あるいは衣服のしわや模様などに起因して、人物の部分は、少し位置がずれただけであっても、１つの画素について着目してみると、対象画像３６ａと過去画像３６ｂとの間において画素の輝度値や色成分がかなり異なる場合が多い。したがって、フレーム間差分画像６６においては、対象画像３６ａと過去画像３６ｂとの間で、人物が重なっている画素についてもフレーム間差分抽出画素として抽出される。

一方、人物の影の部分は、対象画像３６ａと過去画像３６ｂとの間において、どの画素も似たような輝度値や色成分となる場合が多い。具体的には、輝度値が低く、床面のテクスチャがうっすらと見えるような画素となっている場合が多い。したがって、フレーム間差分画像６６においては、対象画像３６ａと過去画像３６ｂとの間で、影が重なっている画素は、フレーム間差分抽出画素として抽出されない。影の部分は、対象画像３６ａで影であったが過去画像３６ｂで影でなくなった画素、及び、対象画像３６ａで影でなかったが過去画像３６ｂで影となった画素のみがフレーム間差分画素として抽出される。

影領域判定手段５２は、フレーム間差分画像６６を用いて、背景差分画像６０に含まれる背景差分領域６２（ラベル領域６４）を、人物に対応する移動体領域と、人物の影に対応する影領域とを弁別する影領域判定処理を行う。

図５には、背景差分画像６０（ａ）、フレーム間差分画像６６（ｂ）、及び影領域判定手段５２の判定結果（ｃ）の例が示されている。上述の通り、フレーム間差分画像６６においては、人物の影の大部分がフレーム間差分抽出画素として抽出されていない。

したがって、影領域判定手段５２は、背景差分画像６０の背景差分領域６２に含まれる各背景差分抽出画素のうち、フレーム間差分処理によってもフレーム間差分画素として抽出された画素群を人物に対応する移動体領域７０とする。より詳しくは、背景差分画像６０の各背景差分抽出画素のうち、フレーム間差分画像６６における同座標の画素が、フレーム間差分領域６８に含まれる（つまりフレーム間差分抽出画素である）画素を移動体領域７０とする。

また、影領域判定手段５２は、背景差分画像６０の背景差分領域６２に含まれる各背景差分抽出画素のうち、フレーム間差分処理によってフレーム間差分画素として抽出されなかった画素群を人物の影に対応する影領域７２とする。より詳しくは、背景差分画像６０の各背景差分抽出画素のうち、フレーム間差分画像６６における同座標の画素が、フレーム間差分領域６８に含まれない（つまりフレーム間差分抽出画素でない）画素を影領域７２とする。

このようにして、背景差分画像６０から検出された背景差分領域６２（ラベル領域６４）が、図５（ｃ）に示すように、移動体領域７０と影領域７２に弁別される。

上述のように、第２差分処理手段５０は、対象画像３６ａと、対象画像３６ａよりも差分期間だけ過去に撮影した過去画像３６ｂとのフレーム間差分画像６６を求めている。当該差分期間としては、予め設定された期間を用い、例えば対象画像３６ａから所定のフレーム前の画像を過去画像３６ｂとすることもできる。

しかしながら、人物の移動速度が速い場合、対象画像３６ａと過去画像３６ｂとの間で、人物の影が重なっている画素がなくなってしまう場合がある。この場合、影領域判定手段５２による上述の影領域判定処理によって、背景差分領域６２を移動体領域７０と影領域７２に弁別することができなくなってしまう。具体的には、背景差分領域６２のうち、実際には影の部分も移動体領域７０であると判定されてしまう。

また、逆に、人物の移動速度がかなり遅い場合、対象画像３６ａと過去画像３６ｂとの間で、人物の影のみならず、人物に対応する画素についても輝度値あるいは色成分に差異がなくなってしまう場合がある。この場合、フレーム間差分画像６６においては、影のみならず人物の部分もフレーム間差分領域６８として抽出されない。この場合も、影領域判定手段５２による上述の影領域判定処理によって、背景差分領域６２を移動体領域７０と影領域７２に弁別することができなくなってしまう。具体的には、背景差分領域６２のうち、実際には人物の部分も影領域７２であると判定されてしまう。

したがって、対象画像３６ａと過去画像３６ｂとの間で、人物の影が重なっている画素が存在するように、且つ、フレーム間差分画像６６において、フレーム間差分領域６８として人物に対応する部分が抽出されるように、第２差分処理手段５０は、人物の移動速度に応じて差分期間を設定するようにするのが好適である。

人物の移動速度は、追跡手段４８の追跡処理によって求められた、背景差分領域６２（ラベル領域６４）の移動量で表される。したがって、本実施形態では、第２差分処理手段５０は、背景差分領域６２の移動量が大きいほど、差分期間を短く設定する。換言すれば、第２差分処理手段５０は、背景差分領域６２の移動量が小さいほど、差分期間を長く設定する。

なお、人物の移動速度は、別途の方法によって取得するようにしてもよい。例えば、測定対象の移動速度を測定するリニア測定センサなどを別途設け、当該リニア測定センサから送信される情報に基づいて、人物の移動速度を取得するようにしてもよい。なお、人物の移動速度が速ければ、必然的に、複数の撮影画像３６間における背景差分領域６２の移動量は大きくなる。

図６には、対象画像３６ａと、対象画像３６ａの過去に撮影された複数の撮影画像３６－１～３６－４が示されている。図６の例は、人物の移動速度が速く、各撮影画像間における背景差分領域６２の移動量が大きくなる例である。この場合、第２差分処理手段５０は、差分期間を短くし、対象画像３６ａの１つ前のフレームである撮影画像３６－１を過去画像３６ｂとする。

図７にも、対象画像３６ａと、対象画像３６ａの過去に撮影された複数の撮影画像３６－１～３６－４が示されている。図７の例は、人物の移動速度が遅く、各撮影画像間における背景差分領域６２の移動量が小さくなる例である。この場合、第２差分処理手段５０は、差分期間を長くし、対象画像３６ａの３つ前のフレームである撮影画像３６－３を過去画像３６ｂとする。

また、フレーム間差分画像６６においては、対象画像３６ａで影であったが過去画像３６ｂで影でなくなった画素がフレーム間差分画素として抽出されるため、影領域判定手段５２による影領域判定処理によって、図５（ｃ）に示される通り、背景差分領域６２のうち、実際には影の部分の一部が移動体領域７０と判定されてしまう。

したがって、背景差分領域６２のうち、実際には影の部分が適切に影領域７２に含まれるように、影領域判定手段５２は、上記影領域判定処理の後に、移動体領域７０と判定された画素のうち、影領域７２の外周から所定幅の画素を影領域７２の画素として再判定する影領域拡張処理を行うのが好適である。

図８に、影領域拡張処理の様子が示されている。影領域判定手段５２は、影領域判定処理の後、影領域７２の外周から所定幅外側に位置する画素群（図８（ａ）の破線７４で囲まれた画素群）を特定する。次いで、影領域判定手段５２は、特定した破線７４で囲まれた画素群のうち、移動体領域７０と判定された画素を影領域７２として再判定する。再判定された結果が図８（ｂ）に示されている。図８（ｂ）に示される通り、影領域拡張処理によれば、実際には影の部分が適切に影領域７２と判定されている。

ここで、人物の移動速度が速いほど、対象画像３６ａと過去画像３６ｂとの間で、人物の影が重なっている画素が少なくなるから、フレーム間差分画像６６において、対象画像３６ａで影であったが過去画像３６ｂで影でなくなった画素が多くなる。これにより、影領域判定処理によって、実際には影であるが移動体領域７０であると判定される画素が多くなってしまう。

したがって、影領域判定手段５２は、影領域拡張処理において、人物の移動速度に応じて、影領域７２の外周の外側に特定する画素の幅（上記所定幅）を設定するようにするのが好適である。

ここでも、人物の移動速度は、追跡手段４８の追跡処理によって求められた、背景差分領域６２（ラベル領域６４）の移動量で表されるから、本実施形態では、影領域判定手段５２は、背景差分領域６２の移動量が大きいほど、上記所定幅を大きい値となるように設定する。換言すれば、影領域判定手段５２は、背景差分領域６２の移動量が小さいほど、上記所定幅を小さい値となるように設定する。

また、人物の移動方向に応じて、対象画像３６ａと過去画像３６ｂとの間で、人物の影が重なっている画素の数の変動の仕方が変わる場合がある。例えば、人物が影の延伸方向に移動している場合、延伸方向の影の領域（影の先端部分の領域）が、過去画像３６ｂで影でなかったが対象画像３６ａで影となった領域となりやすく、フレーム間差分画素として抽出されやすい。また、人物が影の延伸方向と直交する方向に移動している場合、当該直行する方向の影の領域（影の側方部分の領域）が、過去画像３６ｂで影でなかったが対象画像３６ａで影となった領域となりやすく、フレーム間差分画素として抽出されやすい。

したがって、影領域判定手段５２は、影領域拡張処理において、人物の移動方向に基づいて、影領域７２の外周の外側に特定する画素の幅（上記所定幅）を設定するようにするのが好適である。例えば、人物の移動方向に相当する箇所の上記所定幅を大きい値となるように設定する。

人物の移動方向は、追跡手段４８の追跡処理によって求められた、背景差分領域６２（ラベル領域６４）の移動方向で表されるから、本実施形態では、影領域判定手段５２は、背景差分領域６２の移動方向に基づいて、上記所定幅を設定する。

図２に戻り、侵入者判定手段５４は、上述の各手段の処理結果に基づいて、対象画像３６ａに含まれるラベル領域６４のそれぞれについて、移動体である人物（侵入者）に対応するものであるか否かを判定する。

本実施形態では、侵入者判定手段５４は、あるラベル領域６４において、移動体領域７０の画素の数と、影領域７２の画素の数とを比較する。そして、移動体領域７０の画素の数が多い場合には、当該ラベル領域６４を移動体と判定する。一方、影領域７２の画素の数が多い場合には、当該ラベル領域６４を影であると判定する。

次に、侵入者判定手段５４は、移動体と判定されたラベル領域６４が人らしいか否かを判定する。例えば、ラベル領域６４の推定サイズ（推定高さあるいは推定幅）を求め、参照情報４０に含まれる人物の標準的なサイズと比較することにより当該ラベル領域６４が人らしいか否かを判定する。

また、侵入者判定手段５４は、追跡手段４８の追跡処理の結果から、ラベル領域６４の移動量に基づいてラベル領域６４の推定速度を求め、参照情報４０に含まれる人物の標準的な移動速度との比較結果をも考慮して、当該ラベル領域６４が人らしいか否かを判定するようにしてもよい。

上述の処理により、ラベル領域６４が人らしいと判定された場合に、侵入者判定手段５４は、対象画像３６ａに人物（侵入者）が含まれると判定し、通信部３０からアラーム信号を出力させる。ここで、さらに、侵入者判定手段５４は、予め定めたフレーム数（例えば、５フレーム）以上、同一の追跡ＩＤが付与されたラベル領域６４が連続して人らしいと判定された場合に、通信部３０からアラーム信号を出力するようにしてもよい。

以上、本発明に係る実施形態を説明したが、本発明は上記実施形態に限られるものではなく、本発明の趣旨を逸脱しない限りにおいて種々の変更が可能である。

例えば、本実施形態では、第１差分処理手段によって抽出された背景差分領域６２に対してラベリング処理あるいは追跡処理が行われていたが、影領域判定処理を先に行い、移動体領域７０と影領域７２とが弁別された背景差分領域６２に対してラベリング処理あるいは追跡処理が行われてもよい。これによれば、移動体領域７０と影領域７２とが弁別されているため、移動体領域７０と影領域７２とを別のラベル領域６４とすることができる。また、ラベル整形処理により、移動体領域７０と影領域７２を分離することで、影領域７２を移動体領域７０とは異なるラベル領域６４として扱うこともできる。また、影領域７２に相当するラベル領域６４を除去することもできる。

１０警備システム、１２監視対象物件、１４警備装置、１６通信網、１８警備センタ装置、２０利用者装置、２２画像センサ、２４録画装置、３０通信部、３２撮影部、３４記憶部、３６撮影画像、３６ａ対象画像、３６ｂ過去画像、３８背景画像、４０参照情報、４２信号処理部、４４第１差分処理手段、４６ラベル整形手段、４８追跡手段、５０第２差分処理手段、５２影領域判定手段、５４侵入者判定手段、６０背景差分画像、６２背景差分領域、６４ラベル領域、６６フレーム間差分画像、６８フレーム間差分領域、７０移動体領域、７２影領域、７４破線。

Claims

所定領域を順次撮影した撮影画像のうちの対象画像から移動体の画像領域を示す移動体領域を検出する画像処理装置であって、
前記所定領域の背景を撮影した背景画像と前記対象画像との間の背景差分処理、及び、前記対象画像と該対象画像よりも差分期間だけ過去又は未来に撮影した比較画像との間のフレーム間差分処理を行う差分処理手段と、
前記背景差分処理によって抽出された画素のうち、前記フレーム間差分処理によって抽出された画素を前記移動体領域の画素として判定し、前記フレーム間差分処理によって抽出されなかった画素を影に相当する影領域の画素として判定する影領域判定手段と、
前記背景差分処理によって抽出された画像領域であって、人物らしい大きさ又は形状からなる所定条件を満たした画像領域における前記移動体領域の画素の数と前記影領域の画素の数との比較に基づいて、当該画像領域が人物であるか影であるかを判定する人物判定手段と、
を備えることを特徴とする画像処理装置。
前記差分処理手段は、複数の前記撮影画像間における背景差分領域の移動量が大きいほど前記差分期間を短く設定する、
ことを特徴とする請求項１に記載の画像処理装置。
前記影領域判定手段は、前記移動体領域と判定された画素のうち、前記影領域の外周から所定幅の画素を前記影領域の画素として再判定する、
ことを特徴とする請求項２に記載の画像処理装置。
前記影領域判定手段は、前記移動量が大きいほど前記所定幅を大きい値に設定する、
ことを特徴とする請求項３に記載の画像処理装置。
前記影領域判定手段は、複数の前記撮影画像間における背景差分領域の移動方向に基づいて、前記所定幅を設定する、
ことを特徴とする請求項３又は４に記載の画像処理装置。
所定領域を順次撮影した撮影画像のうちの対象画像から移動体の画像領域を示す移動体領域を検出するための画像処理プログラムであって、
コンピュータを、
前記所定領域の背景を撮影した背景画像と前記対象画像との間の背景差分処理、及び、前記対象画像と該対象画像よりも差分期間だけ過去又は未来に撮影した比較画像との間のフレーム間差分処理を行う差分処理手段と、
前記背景差分処理によって抽出された画素のうち、前記フレーム間差分処理によって抽出された画素を前記移動体領域の画素として判定し、前記フレーム間差分処理によって抽出されなかった画素を影に相当する影領域の画素として判定する影領域判定手段と、
前記背景差分処理によって抽出された画像領域であって、人物らしい大きさ又は形状からなる所定条件を満たした画像領域における前記移動体領域の画素の数と前記影領域の画素の数との比較に基づいて、当該画像領域が人物であるか影であるかを判定する人物判定手段と、
として機能させることを特徴とする画像処理プログラム。