JP5132509B2 - 移動物体追跡装置 - Google Patents

Description

本発明は、画像処理において順次撮影される画像中の複数の移動物体をそれぞれ追跡する移動物体追跡装置に関する。特に、撮像装置のカバーなどに水滴が付着する状況においても、移動物体追跡を続けることができる移動物体追跡装置に関する。

例えば、移動物体追跡装置を実装したカメラ付きインターホンは、玄関のドアの横に設置され、移動物体追跡装置に接続されたカメラによって玄関前の監視領域を一定の時間間隔で連続的に撮影する。こうして撮影された画像中の移動物体を移動物体追跡装置が画像追跡することによって、玄関前にストーカーなどの不審人物がいないかを監視することができる。しかし、例えば、このカメラ付きインターホンなどのようにカメラを屋外に設置した場合、降雨などによって撮像装置のカバーなどに水滴が付着してしまうことが頻繁に起こり得る。このとき、背景画像と比較して変化した変化領域が、物体の移動によるものなのか又は水滴の付着によるものなのかを正しく判別しなければ、画像中の移動物体を正しく追跡し続けることができない。

そこで、特許文献１には、撮像部の前面に水滴が付着しているか否かを判定する手法として、入力画像と入力画像中に映っていると推定される物体の形状やテクスチャの変化を定量化する方法が開示されている。この方法では、撮影された入力画像における物体の形状やテクスチャを予め取得した背景画像における物体の形状やテクスチャと比較し、これらの変化に基づいて水滴の有無を判定している。

特開２００７−２２８４４８号広報

しかしながら、背景画像に対する形状やテクスチャの変化を判断に用いると、追跡対象である移動物体により生じた変化領域であっても形状やテクスチャは変化するため、水滴による変化領域であるか否かの判別は難しい。また水滴付着を検出した際の障害物検出プログラムの処理パラメータの変更は、所定のフレーム数の処理を経過した後に行われるので、それまでは水滴も追跡処理の対象となってしまう。このため、降雨中など撮像部に次々と水滴が付着すると、処理の負荷が爆発的に増加する。しかしながら、カメラ付きインターホンのように、潤沢なハードウェア資源を有さず、例えば１秒２フレーム程度しか画像を取得し処理できない装置では、処理量の増加は許されない。加えて、水滴を追跡対象と誤判断する可能性が高まり、追跡性能の劣化につながりかねない。

したがって、本発明は、画像中の移動物体の追跡処理において、水滴の付着による変化領域を精度良く処理対象から除外することによって、水滴によって生じる処理の負荷を軽減することができる移動物体追跡装置を提供することを目的とする。

上記課題を解決するため、本発明に係る移動物体追跡装置は、画像を順次取得する画像入力部と、移動物体ごとに追跡に使用する移動物体情報と、移動物体が含まれない基準画像と、を記憶する記憶部と、入力画像を順次画像処理して移動物体を画像上にて追跡する追跡処理部と、を具備する。係る移動物体追跡装置において、追跡処理部は、基準画像と入力画像とを差分処理して変化領域を抽出する変化領域抽出手段と、基準画像の変化領域を膨張させた拡大変化領域から第１の特徴情報を抽出し且つ入力画像の変化領域から第２の特徴情報を抽出するか、又は、基準画像の変化領域から第１の特徴情報を抽出し且つ入力画像の変化領域を収縮させた縮小変化領域から第２の特徴情報を抽出する特徴抽出手段と、第１の特徴情報と第２の特徴情報との類似度を求め、当該類似度が一定値以上である場合に変化領域を画像入力部に付着した水滴により生じた水滴変化領域と判定し、当該類似度が一定値未満である場合に変化領域を水滴以外の移動物体により生じた非水滴変化領域と判定する水滴判定手段と、入力画像の非水滴変化領域から抽出された特徴情報と移動物体情報に含まれる特徴情報とを用いて、非水滴変化領域と移動物体情報との対応付けを行う対応付け手段と、非水滴変化領域と移動物体情報との対応付けに基づいて、非水滴変化領域に対応付けられた移動物体情報を更新する移動物体情報更新手段と、を備える。

このように、本発明に係る移動物体追跡装置は、水滴により生じた水滴変化領域と判定された変化領域を追跡対象から除外することによって、処理コストを軽減することができる。特に、この移動物体追跡装置は、水滴が付着した部分がレンズ効果によって縮小して写ることを考慮して、基準画像又は入力画像における変化領域を膨張又は収縮させた領域から特徴情報を抽出する。これによって、基準画像と入力画像とにおいて水滴が付着した場合に相互に対応すると推定される画像領域について特徴情報を比較することができるので、水滴変化領域であるか否かをより高い精度で判定することができる。

本発明に係る移動物体追跡装置において、特徴抽出手段は、異なる割合で膨張させた複数の拡大変化領域を求め、当該複数の拡大変化領域からそれぞれの第１の特徴情報を抽出し、水滴判定手段は、それぞれの第１の特徴情報と第２の特徴情報とのそれぞれの類似度を求め、それぞれの類似度のうち最も高い類似度に基づき水滴変化領域であるか否かを判定することが好ましい。

また、本発明に係る移動物体追跡装置において、特徴抽出手段は、基準画像については、変化領域の中心からの距離に応じて値が小さくなる重み係数を乗じて第１の特徴情報を抽出することが好ましい。

さらに、本発明に係る移動物体追跡装置において、特徴抽出手段は、異なる割合で収縮させた複数の縮小変化領域を求め、当該複数の縮小変化領域からそれぞれの第２の特徴晴報を抽出し、水滴判定手段は、第１の特徴清報とそれぞれの第２の特徴情報とのそれぞれの類似度を求め、それぞれの類似度のうち最も高い類似度に基づき水滴変化領域であるか否かを判定することが好ましい。

また、本発明に係る移動物体追跡装置において、特徴抽出手段は、入力画像については、変化領域の中心からの距離に応じて値が大きくなる重み係数を乗じて第２の特徴情報を抽出することが好ましい。

さらに、本発明に係る移動物体追跡装置において、第１の特徴情報及び第２の特徴情報は、輝度ヒストグラム又は色ヒストグラムであることが好ましい。

本発明に係る移動物体追跡装置は、画像中の移動物体の追跡処理において、水滴の付着による変化領域を精度良く処理対象から除外することによって、水滴によって生じる処理の負荷を軽減することができる。

本発明の好適な実施形態として、本発明に係る移動物体追跡装置を、カメラ付インターホンに適用し、屋外に概略水平方向に向けて設置したカメラの画角内に長時間滞留する不審人物を画像処理によって検知する例に基づき説明する。

本実施形態に係る移動物体追跡装置は、撮像装置に水滴が付着したことにより生じた水滴変化領域であると判定した変化領域を追跡対象から除外する。特に、この移動物体追跡装置は、基準画像の変化領域を膨張させた拡大変化領域と入力画像の変化領域とからそれぞれ特徴情報を抽出する。こうして抽出された特徴情報が互いに類似する場合、当該変化領域を水滴変化領域であると判定する。

図１（ａ）は、本発明の一実施形態である移動物体追跡装置が実装されたカメラ付インターホンの設置例を示す図である。図１（ａ）の例で示すように、カメラ付インターホン１は、玄関ドア５の脇等の壁面４に設置されている。図１（ｂ）に示すように、このカメラ付インターホン１に内蔵されたカメラ２は、光軸を概略水平方向に向けて設置されており、玄関前の監視領域を連続的に撮影する。このカメラ２に接続された移動物体追跡装置は、カメラ２が連続的に撮影する画像を順次受け取りながら画像中の移動物体を追跡することによって、カメラ２の画角内に長時間滞留する不審人物などを検知する。

図２は、本発明の一実施形態である移動物体追跡装置１０が実装されたカメラ付インターホン１の構成を示すブロック図である。図２に示すように、本発明の一実施形態に係る移動物体追跡装置１０は、画像取得部１１０と、追跡処理部１３０と、記憶部１４０と、滞留判定部１５０と、人判定部１６０と、警報部１７０と、を有し、撮像装置２０に接続されている。

カメラ付インターホンに搭載されたカメラ２などの撮像装置２０は、所定の監視領域を所定の時間間隔で撮影し、撮影された画像を順次追跡処理部１３０に送る。以下、この所定時間で刻まれる時間の単位を時刻と称する。撮像装置２０としては、例えば、ＣＣＤ素子又はＣ−ＭＯＳ素子等の撮像素子、光学系部品、Ａ／Ｄ変換器等を含んで構成される内蔵カメラ又は外部カメラなどの公知のものを用いることができる。また、撮像装置２０の解像度は、追跡対象などの具体的な用途に応じてその解像度を選ぶことができる。また、画像の撮像に用いる波長帯としては、可視光波長又は赤外線波長などを、追跡対象などの具体的な用途に応じて選択することが好ましい。

画像取得部１１０は、撮像装置２０から順次送られる画像信号を受け取るためのインターフェースであり、撮像装置２０からＳＣＳＩ、ＵＳＢ、ＬＡＮ、専用ケーブル、などの有線又は無線配線を介して画像を受信する。画像取得部１１０は、撮像装置２０から受信した画像を移動物体追跡装置１０の各部へ送る。

記憶部１４０は、各種プログラム及び各種データを記憶することができ、例えばＲＡＭ又はＲＯＭ、ＥＰＲＯＭなどの半導体メモリ、ハードディスクなどの磁気記録媒体、ＣＤ−ＲＯＭ、ＤＶＤ−Ｒ／Ｗなどの光記録媒体などを用いて構成することができる。記憶部１４０は、画像取得部１１０、追跡処理部１３０、滞留判定部１５０、人判定部１６０及び警報部１７０と接続されており、各部からの要求に応じて各種プログラムや各種データなどを読み書きする。記憶部１４０は、移動物体情報１４１と、基準画像１４２と、水滴情報１４３と、不審者検知画像１４４を記憶する。

移動物体情報１４１は、追跡中の移動物体ごとに記憶される単位時刻ごとに取得された過去の移動物体に関する情報である。

移動物体情報１４１には、例えば、移動物体の特徴情報、テンプレート、一時刻前の入力画像における移動物体の領域、過去の予め定めた数（例えば５時刻分）の移動量、移動物体が画面中に現れてから経過した時間（以後存在時間と呼称する）などが含まれる。

特徴情報とは、移動物体の特徴を表す情報であり、本実施例では、例えば、移動物体の画像の輝度ヒストグラムや面積などが含まれるが、画素値の平均や標準偏差、エッジ情報、テクスチャ情報、色ヒストグラムなどの他の特徴情報を含んでもよい。ここでは、水滴を通してもほとんど変化しない透過性特徴情報として、比較的処理の負荷が小さい輝度ヒストグラムを使用する実施例について主に説明する。しかし、水滴を通して撮影されてもあまり変化しない特徴情報であれば、色ヒストグラム、フラクタル次元などの他の特徴情報を使用することもできる。尚、輝度ヒストグラムに関しては、後述の特徴抽出手段１３１３の処理の説明において詳しく解説する。

本実施例において使用されるテンプレートは、一時刻前の入力画像において検出された移動物体のテンプレート画像であり、追跡中の移動物体が現時刻の入力画像のどこに位置するかを特定するためのテンプレートマッチングにおいて使用される。したがって、このテンプレートマッチングのためのテンプレートとして使用できるものであれば、多様な特徴ベクトル、固有ベクトルなどのいかなる形式のテンプレートでもよい。

また、移動物体の領域とは、移動物体が入力画像において占める範囲であり、一般に、その形状と大きさと位置とによって表すことができる。本実施例では、領域として外接矩形を用いており、外接矩形の大きさ及び位置によって領域を特定することができるが、例えば、重心位置等を利用してもよい。

基準画像１４２は、変化領域を抽出するとき比較対象の基準となる画像であり、例えば、監視領域に移動物体が存在しないときの背景画像を予め撮影しておき、記憶部１４０に記憶しておく。

水滴情報１４３は、後述するように、抽出された変化領域が、水滴判定手段１３１４にて水滴によるものであると判定された水滴変化領域について、画像中での重心位置、形、ラベリングされた場合のラベルなどを、必要に応じて記憶している。

不審者検知画像１４４は、画像における移動物体を追跡した結果、画面内に一定の時間以上居続ける人間と判別された移動物体を検知した際、この不審者と思われる移動物体の画像を記憶したものである。

追跡処理部１３０は、画像取得部１１０から順次受け取った画像を処理して画像中の移動物体を追跡する。追跡処理部１３０は、滞留判定部１５０、人判定部１６０及び警報部１７０と同様に、記憶部１４０に記憶された処理手順を記述したプログラムを読み出して、ＣＰＵ、ＤＳＰ、ＭＣＵ等の処理装置で実行することによって実現される。追跡処理部１３０は、画像取得部１１０、記憶部１４０、滞留判定部１５０、人判定部１６０及び警報部１７０と接続されている。

図２に示すように、追跡処理部１３０は、変化領域抽出手段１３１と、特徴抽出手段１３１３と、水滴判定手段１３１４と、水滴領域除去手段１３１５と、対応付け手段１３２と、移動物体情報抽出手段１３３と、移動物体情報更新手段１３４と、を備える。

変化領域抽出手段１３１は、予め記憶部１４０に記憶しておいた移動物体が存在しない基準画像１４２と、撮像装置２０が撮影し画像取得部１１０を介して受け取った画像（以下、入力画像という）と、の差分処理を行い、入力画像中の変化領域を抽出する。そして、変化領域抽出手段１３１は、ラベリングによって抽出した各変化領域にラベル付けを行う。

特徴抽出手段１３１３は、変化領域抽出手段１３１で抽出されたそれぞれの変化領域について、変化領域における基準画像及び入力画像の輝度ヒストグラムなどを計算して特徴情報を抽出する。このとき、特徴抽出手段１３１３は、基準画像において変化領域を予め定めた割合などで膨張させた領域から特徴情報を抽出する。或いは、特徴抽出手段１３１３は、入力画像において変化領域を予め定めた割合などで収縮させた領域から特徴情報を抽出してもよい。

水滴判定手段１３１４は、水滴の付着によってほとんど変化しない透過性特徴情報として特徴抽出手段１３１３が抽出した輝度ヒストグラムに基づき、基準画像と入力画像の変化領域における輝度ヒストグラムを比較して変化領域抽出手段１３１が抽出した各変化領域が水滴による水滴変化領域か否かを判定する。

水滴領域除去手段１３１５は、変化領域抽出手段１３１が抽出した変化領域から水滴判定手段１３１４によって水滴であると判定された水滴変化領域を処理対象の変化領域から除去する。また、水滴領域除去手段１３１５は、この水滴変化領域に関する情報を水滴情報１４３として記憶してもよい。

対応付け手段１３２は、特徴抽出手段１３１３が抽出した各変化領域の特徴情報と記憶部１４０に記憶された各移動物体の移動物体情報１４１との対応度に基づいて、処理対象の各変化領域と当該変化領域に存在する最も可能性の高い移動物体とを対応付ける。

移動物体情報抽出手段１３３は、対応付け手段１３２によって対応付けられた変化領域と移動物体情報１４１とに基づいてテンプレートマッチングなどを行い、各移動物体に関する移動物体情報、即ち、入力画像における移動物体の位置や面積、特徴情報などを抽出する。

移動物体情報更新手段１３４は、移動物体情報抽出手段１３３が抽出した移動物体情報を用いて記憶部１４０に記憶している移動物体情報１４１を更新する。また、現時刻で存在する移動物体に対して、移動物体情報１４１の存在時間を更新する。

滞留判定部１５０は、移動物体ごとに記憶部１４０に記憶されている存在時間を調べ、予め定めた時間（例えば１分間）より長く画像中に存在していれば、それが人間か否かを調べるために当該移動物体の領域の情報を人判定部１６０に送る。

人判定部１６０は、滞留判定部１５０から送られた予め定めた時間より長く画面内に存在している移動物体が人間であるか否かを判定し、人間であると判定した揚合は警報部１７０にその結果を送る。また、その時の画像を不審者検知画像１４４として記憶部１４０に記憶してもよい。

警報部１７０は、人判定部１６０から結果を受け取ると、ＬＥＤなどの警報ランプや警報ブザーなどによって、不審者を検知したことを利用者に知らせる。予め記憶されたメッセージを、スピーカーなどを介して音声として流したり、ディスプレイ上に表示したりしてもよい。また、記憶部１４０に記憶された不審者検知画像１４４は、ディスプレイやプリンタなどの出力装置（図示せず）を介して出力することもできる。また、警報部１７０は、水滴情報１４３に基づいて水滴が一定以上になったことをユーザーに警告してもよい。

［移動物体追跡装置の動作］
図７は、本発明の一実施形態である移動物体追跡装置１０の動作フローを示すフローチャートである。図７を参照しながら、移動物体追跡装置１０の各部の動作の詳細に関して説明する。

ステップＳ１００において、移動物体追跡装置１０は、撮像装置２０によって監視領域を撮像装置２０の画角内に移動物体が存在しない状況で予め撮影した背景画像を基準画像１４２として記憶部１４０に記憶したり、追跡対象の移動物体に関する移動物体情報１４１を初期状態にしたりするなどの移動物体の追跡処理のための初期化を行う。

ステップＳ２００において、移動物体追跡装置１０は、予め規定された時間間隔で撮像装置２０が撮影した画像を画像取得部１１０を介して受け取り、追跡処理部１３０へ渡す。こうして、移動物体追跡装置１０は、撮像装置２０から一定時間間隔で順次入力画像が送られるごとに、追跡処理部１３０によるステップＳ２００〜Ｓ１１００の処理を繰り返す。

ステップＳ３００において、追跡処理部１３０は、変化領域抽出手段１３１によって、撮像装置２０から新たに受け取った入力画像と記憶部１４０に記憶されている基準画像１４２とを比較し、差異のある領域を変化領域として抽出する。

変化領域抽出手段１３１は、例えば、入力画像と基準画像１４２との対応する画素の画素値について差分処理を行い、一定以上の差分値がある画素群について２値化を行い、抽出した領域についてラベリングを行う。こうして、入力画像において基準画像１４２と異なる変化領域、すなわち、移動物体が存在すると推定される領域が抽出される。尚、差分処理、二値化、ラベリングの方法に関しては、公知の様々な方法を用いることができるため、詳細についての説明は省略する。

ステップＳ３５０の変化領域判定処理において、追跡処理部１３０は、ステップＳ３００で変化領域抽出手段１３１が抽出した変化領域から、水滴判定手段１３１４によって水滴であると判定された水滴変化領域を水滴領域除去手段１３１５によって処理対象から除去する。尚、ステップＳ３５０の変化領域判定の処理については、後で詳述する。

ステップＳ４００において、追跡処理部１３０は、対応付け手段１３２によって、記憶部１４０に記憶されている移動物体の移動物体情報１４１と、ステップＳ３５０の変化領域判定処理において処理対象として残された非水滴変化領域との対応付けを行う。

対応付け手段１３２は、記憶部１４０に記憶されている一時刻前の入力画像で検出された追跡対象の移動物体に関する移動物体情報１４１と、特徴抽出手段１３１３が現時刻の入力画像の各変化領域から抽出した特徴情報と、に基づいて算出した類似度に基づいて、一時刻前に検出された移動物体のそれぞれが現時刻の入力画像のどの変化領域に存在する可能性が最も高いかを対応付ける。

図３は、本発明の一実施形態による一時刻前の移動物体と現時刻の変化領域との１対１対応付けの例を示す図である。図３を参照して、対応付け手段１３２の処理について具体的に説明する。図３（ａ）は、前時刻に取得された入力画像３００において抽出された移動物体を示す図である。前時刻の各移動物体には、それぞれ、ＩＤ１、ＩＤ２のラベルが付けられている。図３（ｂ）は、現時刻に取得された入力画像３１０において抽出された変化領域を示す図である。現時刻の各変化領域には、それぞれ、ＩＤＡ、ＩＤＢのラベルが付けられている。

図３（ｃ）は、前時刻の各移動物体と現時刻の各変化領域との対応度を示す対応表３２０を示す図である。対応表３２０には、前時刻の各移動物体のラベルＩＤ１、ＩＤ２を各行に対応させ、現時刻の各変化領域のラベルＩＤＡ、ＩＤＢを各列に対応させて、各移動物体と変化領域との対応度が行列状に並べられている。対応度としては、前時刻の各移動物体に対応する移動物体情報から求められる特徴量と、特徴抽出手段１３１３が抽出した現時刻の各変化領域の特徴情報から求めた特徴量との間の類似度を用いる。本実施例では、類似度は、全く同じである場合は１．０、何らかの共通点がある場合は１．０以下の正数、全く共通点がない場合は０となるように正規化されている。さらに、対応表３２０には、各列の最大値を１．０から引いた新規出現度合を示す１行と、各行の最大値を１．０から引いたロスト度合を示す１列とが追加されている。尚、対応表３２０に関しては、公知の様々な対応表を使用することができるため、詳細についての説明は省略する。

このように作成された対応表において、対応度の総和が最大になる移動物体と変化領域との組合せを探索することによって、前時刻の移動物体のラベルと現時刻の変化領域のラベルとの対応付けを行う。対応表に基づいて対応度の和が最大になる対応付けの組み合わせを求めるのに、例えば、ハンガリー法などの最適化手法を利用することができる。尚、ハンガリー法の詳細については、例えば、定道宏著、「経営科学」、オーム社、１９８９年に記載されている。

図３の例では、前時刻のラベルＩＤ１が現時刻のラベルＩＤＡに、前時刻のラベルＩＤ２が現時刻のラベルＩＤＢに対応付けられる。この処理を各時刻において順次繰り返すことによって、移動物体の追跡が行われる。

図３（ｃ）に示すように、対応表は、（前時刻のラベルの個数＋１）行×（現時刻のラベルの個数＋１）列の大きさになる。特に、前時刻と現時刻のラベルの対応付け処理は、それぞれのラベルの組み合わせについて行われるため、ラベルの個数が増加するに従って指数関数的に処理コストが増大する。このため、予め不要なラベルを削除して処理対象のラベルの個数を減らすることが肝要である。本実施形態では、水滴により生じたと判定した変化領域のラベルを不要なラベルとして処理対象のラベルから削除する。

図４は、本発明の一実施形態による一時刻前の水滴を含む移動物体と現時刻の水滴領域を含む変化領域との１対１対応付けの例を示す図である。例えば、図４（ａ）に示す前時刻の入力画像４００において、人間４０１の他に水滴４０２〜４０４が映し出されており、図４（ｂ）に示すように、それぞれＩＤ１〜ＩＤ４のラベルが付いた４つの移動物体として抽出されている。そして、図４（ｃ）に示すように、現時刻の入力画像４１０においてさらに水滴４１５が１つ増えたとすると、図４（ｄ）に示すように、５つの変化領域が抽出され５つのラベルＩＤＡ〜ＩＤＥが付けられる。

この場合、対応表を作成すると、図４（ｅ）に示すように５行６列の対応表４２０となり、図３（ｃ）の３行３列の対応表３２０と比べると処理の負荷が大幅に増加する。しかしながら、水滴領域除去手段１３１５により、水滴によると判定されたラベルが除去されると、前時刻及び現時刻において抽出されたラベルは、それぞれＩＤ１、ＩＤＡの１つしか残らない。この場合、作成される対応表は、２行２列（図４（ｅ）の対応表４２０の太枠４２１内のみ）の小さなものとなり、対応付けの処理コストは、水滴変化領域のラベルを除去しない場合に比べて劇的に低減できる。

また、処理対象のラベルの個数を最低限に抑えることによって、誤った対応付けをしてしまう可能性を低減することができるため、追跡性能の向上にも寄与する利点もある。

ステップＳ４１０において、追跡処理部１３０は、移動物体情報抽出手段１３３によって、対応付け手段１３２によって対応付けられた変化領域と移動物体情報１４１に基づいて、現時刻の入力画像における各移動物体の移動物体情報を抽出する。

移動物体情報抽出手段１３３は、例えば、テンプレートマッチングなどを行って特定した各移動物体の領域に基づいて、移動物体の領域や移動量などの情報を抽出する。また、例えば、移動物体情報抽出手段１３３は、移動物体の領域の入力画像から、移動物体の画像の輝度ヒストグラム、面積など、追跡処理に使用する特徴情報を抽出する。

ステップＳ４２０において、追跡処理部１３０は、移動物体情報更新手段１３４によって、移動物体情報抽出手段１３３が抽出した移動物体情報を用いて移動物体情報１４１を更新する。

ステップＳ６００において、移動物体情報更新手段１３４は、追跡が成功した移動物体について、記憶部１４０に記憶してある移動物体情報１４１の追跡成功回数を１回増加させる。又は、存在時間を撮影間隔分増加させてもよい。逆に追跡に失敗して見失った場合は、追跡成功回数又は存在時間を０にリセットする。移動物体が画面外に出たと判定された場合、移動物体情報更新手段１３４は、この移動物体に関する移動物体情報１４１を記憶部１４０から消去する。

ステップＳ７００において、移動物体追跡装置１０は、追跡処理部１３０が追跡に成功した移動物体について、滞留判定部１５０によって、予め定めた時間より長く画像中に存在しているか否かを判定する。

滞留判定部１５０は、例えば、移動物体の追跡成功回数が予め定めた回数よりも多いか否かを判定することによって、当該移動物体が予め定めた時間より長く画像中に存在し続けているか否かを判定する。また、滞留判定部１５０は、現時刻に取得された入力画像中に存在する移動物体について存在時間を更新し、この存在時間を記憶部１４０に記憶しておき、移動物体が長時間存在しているか否かの判定に使用してもよい。

移動物体が予め定めた時間より長く画像中に存在している場合（ステップＳ７００のＹｅｓ）、ステップＳ８００において、移動物体追跡装置１０は、人判定部１６０によってこの移動物体が人であるか否かを判定する。

人判定部１６０は、滞留判定部１５０によって予め定めた時間より長く画面内に存在すると判定された移動物体が人間であるか否かを判定し、人間であると判定した揚合（ステップＳ８００のＹｅｓ）は警報部１７０にその結果を出力する（Ｓ９００）。そして、その移動物体の画像を不審者検知画像１４４として記憶部１４０に記憶する。また、例えば、不審者が滞留した時間帯など他の情報も一緒に記憶部１４０に記憶してもよい。さらに、例えば、室内に設置されたインターホンの親機において利用者がスイッチボタンやタッチパネルなどの入力装置を介してこれらの情報の表示を要求したとき、ディスプレイなどの出力装置を介して記憶部１４０に記憶された情報を表示してもよい。

人判定部１６０において移動物体が人間であるか否かを判定する方法には、周知の様々な方法を使用することが可能である。例えば、P. Viola、M. Jones & D. Snow、「動作パターン及び外観パターンによる歩行者の検出（Detecting Pedestrians Using Patterns of Motion and Appearance）」、IEEE International Conference on Computer Vision, pp.734, 0ct, 2003に記載されているように、予め撮影した様々な外観の人間の画像を使用してAdaBoostによって学習したHaar-Like特徴に基づくカスケード型識別器によって人間であるか否かの判定が実現できる。

移動物体が人間であると判定された場合（ステップＳ８００のＹｅｓ）、ステップＳ９００において、移動物体追跡装置１０は、警報部１７０によってユーザーに光や音等で警告し、記憶部１４０に記憶されている不審者検知画像１４４を外部の機器、例えば室内に設置されるインターホン親機のモニターなどに表示する。

ステップＳ１１００において、例えば、記憶部１４０に記憶されている水滴情報１４３に基づいて、付着した水滴の個数又は水滴が占める面積の割合が閾値以上になったとき、追跡の精度が落ちる可能性が高くなったことを警報部１７０を介してユーザーに警告してもよく、必要であれば追跡処理を中止してもよい。

図８は、図７のステップＳ３５０における変化領域判定の一実施例の処理フローを示すフローチャートである。図８を参照しながら、変化領域判定処理の第一の実施例の詳細について説明する。

追跡処理部１３０は、ステップＳ３０３〜Ｓ３０９の処理を、ステップＳ３００で変化領域抽出手段１３１が抽出した変化領域のラベルごとに繰り返し実行する。

ステップＳ３０４において、特徴抽出手段１３１３は、ラベルが付けられた変化領域における入力画像について画像処理を行い、特徴量を算出する。特徴量としては、例えば、変化領域の外接矩形、画素数、重心位置、輝度ヒストグラム等がある。ここでは、一実施例として、各ラベルの変化領域における輝度ヒストグラムを計算する。輝度ヒストグラムは、変化領域全体において集計される情報であり、水滴が撮像装置２０に付着したとしてもあまり変化しない透過性特徴情報の１つである。したがって、入力画像中の変化領域における輝度ヒストグラムと基準画像中の変化領域における輝度ヒストグラムとの類似度が高ければ、水滴の付着による変化領域であると判断できる。

輝度ヒストグラムは、物体像内の輝度分布を表す特徴量であり、変化領域内の各画素が所定幅で区切った輝度のどの領域に属するかを分類して頻度を累積した後、各累積値を全ピクセル数で割って正規化することによって計算される。例えば、８ｂｉｔ、２５６階調のモノクロ画像において輝度を等聞隔で８個の領域に分割し、各領域に属する画素数を累積した後全画素数で除算して作成する。このように、輝度ヒストグラムは、形状やテクスチャなどと比較して処理コストの小さい特徴情報である。

ステップＳ３０５において、特徴抽出手段１３１３は、対象のラベルの基準画像における変化領域を水滴によって拡大すると推定される拡大変化領域に膨張させる。変化領域を膨張させるのは、図５に示すように、水滴が撮像装置２０の前面に付着すると、付着した部分にレンズ効果によってより広い範囲の背景が映り込む現象に対応するためである。以下に例を交えて説明する。尚、膨張処理に関しては、モルフォロジー演算の膨張演算などの様々な公知の画像処理手法を用いることができるので、詳細の説明は省略する。

図５は、撮像装置２０の前面に付着した水滴のレンズ効果を説明する模式図である。図５（ａ）は、水滴の付着していない場合の撮像装置２０を上方から見た模式図であり、図５（ｂ）は、水滴が付着している場合の撮像装置２０を上方から見た模式図である。ここで、点Ｆは撮像装置２０の焦点、線分Ｐはカメラカバーを表し、焦点Ｆを基点として放射状に広がる実線が画角を表す。図５（ａ）に示すように、水滴が付着していない場合の画角は角度θであるが、図５（ｂ）に示すように、水滴が付着すると水滴が凸レンズのように作用するため屈折により画角が広がりθ’となる。このレンズ効果により、入力画像において水滴部分の背景は縮小して写る。

図５（ｃ）は、水滴が付着していないときに得られる基準画像５００の模式図であり、樹木５０１が映っている場合を表す。図５（ｄ）は、水滴が付着しているときに得られる入力画像５１０の模式図であり、変化領域抽出手段１３１は、水滴の輪郭５１２を変化領域として抽出する。図５（ｄ）に示すように、図５（ｃ）の基準画像５００における樹木５０１は、入力画像５１０における水滴による変化領域５１２を少し内側にほぼ全体の樹木５１３が縮小して映り込んでいる。

図５（ｅ）では、図５（ｃ）の基準画像５００の中で、図５（ｄ）の入力画像５１０における変化領域５１２と一致する領域を、変化領域５０２として示している。図５（ｅ）に破線で示す拡大変化領域５０４内に映された樹木５０１全体の画像は、図５（ｄ）の入力画像５１０の変化領域５１２内に縮小して映された樹木の画像とほぼ一致している。したがって、入力画像５１０では、変化領域５１２から輝度ヒストグラムを求め、基準画像５００では、入力画像５１０の変化領域５１２に画像上対応している拡大変化領域５０４から輝度ヒストグラムを求めれば、基準画像５００と入力画像５１０とで概略等しい画像領域の輝度ヒストグラムを比較することができる。

このため、ステップＳ３０６において、特徴抽出手段１３１３は、図５（ｅ）に示すように、変化領域５０２を膨張させた拡大変化領域５０４における基準画像５００の輝度ヒストグラムを算出する。ステップＳ３０７では、こうして算出した輝度ヒストグラムとステップＳ３０４で算出した変化領域５１２における入力画像５１０の輝度ヒストグラムとの類似度を算出し、類似度が予め定めた閾値以上の場合に当該ラベルの変化領域を水滴変化領域であると判定する。

ラベル領域を膨張する割合に関しては、予め適切な値を決定してもよいし、面積について膨張する最大の割合を決めておき、形を変えずに最大割合（例えば１０％）まで徐々に（例えば１％ごと）大きくさせ、大きさごとに輝度ヒストグラムの類似度を算出し、得られた値のうち最も大きな値を最終的な類似度として採用するようステップＳ３０４〜Ｓ３０６を繰り返し処理してもよい。

また、水滴内に映り込む像は、通常、図５（ｄ）の水滴によって縮小して映された樹木５１３のように水滴の重心から離れるほど縮小された画像になる。従ってそのまま輝度ヒストグラムを算出すると基準画像から算出した輝度ヒストグラムとの類似度が低くなる可能性がある。そこで輝度ヒストグラム算出の際に、ラベル領域の重心位置からの距離に応じて重み付けをしながら、輝度ヒストグラムの各輝度範囲における出現頻度の累積を行うように構成してもよい。

図５（ｇ）は、重心Ｃと重心Ｃからの距離に応じた重み付けを示すグラフの一例である。例えば、ステップＳ３０４において図５（ｄ）に示す入力画像５１０の変化領域５１２について均等の重み付けで輝度ヒストグラムを算出した場合、ステップＳ３０６において比較対象である基準画像の輝度ヒストグラムを算出する際には、図５（ｅ）に示す拡大変化領域５０４内で、図５（ｇ）で示すように重心Ｃからの距離が離れるに従って単調に減少するような重み付けをしながら頻度の累積を行うようにする。これにより、水滴周辺部に近いほど像が縮小する状況下でも、周辺部に近いほど輝度値の輝度ヒストグラムの計算への影響が小さくなるため、より高い精度で輝度ヒストグラムの比較を行う事が可能になる。

尚、ステップＳ３０４において入力画像５１０の輝度ヒストグラムを算出する際に、変化領域５１２の重心からの距離に応じて図５（ｈ）に示すような重み付けをしながら出現頻度の累積を行うように構成してもよい。

ステップＳ３０７において、水滴判定手段１３１４は、入力画像と基準画像の変化領域における輝度ヒストグラムを比較することによって、変化領域が水滴の付着によるものか否かを判定する。両者の輝度ヒストグラム間の類似度は、入力画像の変化領域の輝度ヒストグラムをｈ（ｉ）、基準画像の変化領域の輝度ヒストグラムをｇ（ｉ）、ｉをビンの番号とすると、数式（１）によって算出できる。

輝度ヒストグラムｈ（ｉ），ｇ（ｉ）はビンの総和が１となるように正規化しているため、数式１による類似度は、輝度ヒストグラムが完全に一致する場合に１．０、それ以外の場合に１．０未満の正数となり、両者が似ているほど大きな値をとる。水滴判定手段１３１４は、輝度ヒストグラム類似度が一定以上の値の変化領域を水滴変化領域であると判定する。

ステップＳ３０８において、水滴領域除去手段１３１５は、水滴判定手段１３１４によって水滴変化領域であると判定された場合（ステップＳ３０７のＹｅｓ）、変化領域のラベルを追跡処理の対象から除外する。当該変化領域の情報を、記憶部１４０の水滴情報１４３に記憶してもよい。

図６は、抽出された変化領域から水滴変化領域を除去する例を示す図である。図６（ａ）の入力画像には、人間６０１と水滴６０２〜６０４が映っている。図６（ｂ）に示すように、変化領域抽出手段１３１は、図６（ａ）の入力画像と基準画像とを比較して変化領域を抽出し、図６（ａ）の人間６０１をラベルＩＤ１、図６（ａ）の水滴６０２、６０３、６０４をラベルＩＤ２、ＩＤ３、ＩＤ４とする。

次に、水滴判定手段１３１４によってラベルごとに水滴か否かの判定を行い、水滴と判定されたラベル（図６（ｃ）のＩＤ２、ＩＤ３、ＩＤ４）を後続の処理対象から除外し、水滴情報１４３として記憶部１４０に記憶する。残りの変化領域（図３（ｄ）ではＩＤ１）は、追跡すべき移動物体として以後の処理対象となる。

図９は、図７のステップＳ３５０における変化領域判定の他の実施例の処理フローを示すフローチャートである。図９を参照しながら、変化領域判定処理の第二の実施例について、図８に示す第一の実施例と異なる部分について説明する。第二の実施例では、図８に示す第一の実施例のステップＳ３０４〜３０６に代わって、図９に示すステップＳ３１０〜Ｓ３１２が実行される。

ステップＳ３１０において、特徴抽出手段１３１３は、基準画像において、ステップＳ３０１で抽出された変化領域について、膨張させずにそのままのサイズの領域の特徴量を算出する。即ち、図５（ｅ）において、基準画像５００の変化領域５０２から輝度ヒストグラムを作成する。

ステップＳ３１１において、特徴抽出手段１３１３は、対象のラベルの入力画像における変化領域を水滴によって縮小すると推定される縮小変化領域に収縮させる。即ち、図５（ｆ）の入力画像５１０において破線で示す縮小変化領域５１５を求めて変化領域とする。

これは、図５（ｅ）に示す基準画像５００の変化領域５０２内に映る背景画像は、水滴のレンズ効果によって、図５（ｆ）の入力画像５１０の縮小変化領域５１５内に縮小されて映るためである。したがって、入力画像５１０から輝度ヒストグラムを求める変化領域を、図５（ｆ）の縮小変化領域５１５に収縮することで、入力画像と基準画像とを概略等しい画像領域の輝度ヒストグラムで比較することができる。

したがって、ステップＳ３１２において、特徴抽出手段１３１３は、図５（ｆ）に示すように、水滴による変化領域５１２を収縮させた縮小変化領域５１５における入力画像５１０の輝度ヒストグラムを算出する。ステップＳ３０７では、こうして算出した輝度ヒストグラムとステップＳ３１０で算出した変化領域５０２における基準画像５００の輝度ヒストグラムとの類似度を算出し、類似度が予め定めた閾値以上の場合に当該ラベルの変化領域を水滴変化領域であると判定する。

ラベル領域を収縮する割合に関しては、予め適切な値を決定してもよいし、面積について収縮する最大の割合を決めておき、形を変えずに最大割合（例えば１０％）まで徐々に（例えば１％ごと）小さくさせ、大きさごとに輝度ヒストグラムの類似度を算出し、得られた値のうち最も大きな値を最終的な類似度として採用するようステップＳ３１０〜Ｓ３１２を繰り返し処理してもよい。尚、収縮処理に関しては、膨張処理と同様に、モルフォロジー演算の収縮演算などの様々な公知の画像処理手法を用いることができるので、詳細の説明は省略する。

また、第一の実施例の場合の図８のステップＳ３０４と同様に、図９のステップＳ３１２において、特徴抽出手段１３１３が入力画像から特徴情報を抽出する際に、図５（ｈ）が示す重み付けを行ってもよい。或いは、図８のステップＳ３０６と同様に、図９のステップＳ３１０において、特徴抽出手段１３１３が基準画像１４２から特徴情報を抽出する際に、図５（ｇ）が示す重み付けを行ってもよい。
他の処理は、図８の場合と同様なので説明を省略する。

以上の説明では、輝度情報に基づくものとしてきたが、カメラをはじめとして、カラー対応タイプの機器を使用するのであれば、色情報を用いて水滴の判定をすることが可能となる。背景画像の色ヒストグラムは、水滴を通してもほとんど変わらず、移動物体などが存在すれば、明確に異なってしまう情報である。したがって、色情報の処理が輝度情報の処理に比べて多少負荷が増えるとしても、水滴判定の精度をさらに向上することができる。

この場合、数式（１）の輝度ヒストグラム類似度に代え、数式（２）に示す色ヒストグラム類似度を用いる。ここで、ｈ（ｙ，ｕ，ｖ）は入力画像のラベル領域の色ヒストグラム、ｇ（ｙ，ｕ，ｖ）は基準画像のラベル領域の色ヒストグラムである。

このように、本発明によれば、画像中に生じた変化領域について形状やテクスチャなどの処理負荷のかかる情報によらず、当該変化領域における背景画像と入力画像との輝度情報の比較などのように比較的小さな処理負荷によって画像中の水滴を判定することができる。

また、水滴部分は、レンズ効果により、入力画像では歪んで縮小して写ることを考慮し、変化領域を入力画像と基準画像のどちらかで膨張収縮することによって比較する画像情報を揃える。したがって、輝度ヒストグラムのような処理コストの小さい特徴情報を使用しても、水滴判定の精度を十分に高くすることができる。

さらに、入力画像中の変化領域から水滴の付着による変化領域を除去することによって、処理対象の数を格段に減らすことができるため、これらの処理対象を組み合わせて行われる対応付けなどの処理負荷を大幅に削減することができる。また、水滴を人などの移動物体と誤って判断する可能性が下がり、移動物体の追跡精度をさらに向上することができる。

したがって、本発明によれば、カメラ付きインターホンなどのようにハードウェア資源が制限された環境において、撮像装置（カメラ）が屋外に設置され、降雨などによりその前面に水滴の付着が避けられない状況が頻発する環境を撮影する場合であっても、処理量の増加を招かず、目的の移動物体を継続的に精度良く追跡できる。

本実施例では、本発明のカメラ付きインターホンなどのハードウェア資源が制限された環境においても各移動物体を精度良く追跡することができるという利点を説明するため、カメラ付きインターホンにおける例について説明したが、本発明は本実施例に限定されない。特に、雨や蒸気などの水滴が撮像装置に付着する状況であれば、他の限られたハードウェア資源を有する環境においても有効である。また、追跡する移動物体の特性、画像の撮影条件、その他の状況に応じて、豊富なハードウェア資源を有する高性能の画像処理環境においても、本発明が同様の効果をもたらす場合がある。したがって、本発明は、趣旨を異ならせない範囲において様々な形態にて実施することが可能である。

本発明をカメラ付きインターホンに適用すると、カメラを屋外に設置したため降雨などで撮像部の前面に水滴が頻繁に付着する状況においても、インターホンの前に長時間居続ける不審者（ストーカー）を精度良く検出できる。

本発明の一実施形態による移動物体追跡装置が実装されたカメラ付インターホンの設置例を示す図である。 本発明の一実施形態による移動物体追跡装置が実装されたカメラ付インターホンの構成を示すブロック図である。 本発明の一実施形態による一時刻前の移動物体と現時刻の変化領域との１対１対応付けの例を示す図である。 本発明の一実施形態による一時刻前の水滴を含む移動物体と現時刻の水滴領域を含む変化領域との１対１対応付けの例を示す図である。 撮像装置の前面に付着した水滴のレンズ効果を説明する模式図である。 本発明の一実施形態による抽出された変化領域から水滴変化領域を除去する例を示す図である。 本発明の一実施形態による移動物体追跡装置１０の動作フローを示すフローチャートである。 図７のステップＳ３５０における変化領域判定の一実施例の処理フローを示すフローチャートである。 図７のステップＳ３５０における変化領域判定の他の実施例の処理フローを示すフローチャートである。

符号の説明

１ カメラ付インターホン
１０ 移動物体追跡装置
２０ 撮像装置
１１０ 画像取得部
１３０ 追跡処理部
１３１ 変化領域抽出手段
１３２ 対応付け手段
１３３ 移動物体情報抽出手段
１３４ 移動物体情報更新手段
１４０ 記憶部
１４１ 移動物体情報
１４２ 基準画像
１４３ 水滴情報
１４４ 不審者検知画像
１５０ 滞留判定部
１６０ 人判定部
１７０ 警報部
１３１３ 特徴抽出手段
１３１４ 水滴判定手段
１３１５ 水滴領域除去手段

Claims (6)

1. 画像を順次取得する画像入力部と、
   移動物体ごとに追跡に使用する移動物体情報と、移動物体が含まれない基準画像と、を記憶する記憶部と、
   前記入力画像を順次画像処理して移動物体を画像上にて追跡する追跡処理部と、
   を具備する移動物体追跡装置であって、
   前記追跡処理部は、
   前記基準画像と前記入力画像とを差分処理して変化領域を抽出する変化領域抽出手段と、
   前記基準画像の前記変化領域を膨張させた拡大変化領域から第１の特徴情報を抽出し且つ前記入力画像の前記変化領域から第２の特徴情報を抽出するか、又は、前記基準画像の前記変化領域から第１の特徴情報を抽出し且つ前記入力画像の前記変化領域を収縮させた縮小変化領域から第２の特徴情報を抽出する特徴抽出手段と、
   前記第１の特徴情報と前記第２の特徴情報との類似度を求め、当該類似度が一定値以上である場合に前記変化領域を前記画像入力部に付着した水滴により生じた水滴変化領域と判定し、当該類似度が前記一定値未満である場合に前記変化領域を前記水滴以外の移動物体により生じた非水滴変化領域と判定する水滴判定手段と、
   前記入力画像の前記非水滴変化領域から抽出された特徴情報と前記移動物体情報に含まれる特徴情報とを用いて、前記非水滴変化領域と前記移動物体情報との対応付けを行う対応付け手段と、
   前記非水滴変化領域と移動物体情報との対応付けに基づいて、前記非水滴変化領域に対応付けられた前記移動物体情報を更新する移動物体情報更新手段と、を備えることを特徴とした移動物体追跡装置。
2. 前記特徴抽出手段は、異なる割合で膨張させた複数の前記拡大変化領域を求め、当該複数の拡大変化領域からそれぞれの前記第１の特徴情報を抽出し、
   前記水滴判定手段は、前記それぞれの第１の特徴情報と前記第２の特徴情報とのそれぞれの前記類似度を求め、前記それぞれの類似度のうち最も高い類似度に基づき前記水滴変化領域であるか否かを判定する、請求項１に記載の移動物体追跡装置。
3. 前記特徴抽出手段は、前記基準画像については、前記変化領域の中心からの距離に応じて値が小さくなる重み係数を乗じて前記第１の特徴情報を抽出する請求項１又は２に記載の移動物体追跡装置。
4. 前記特徴抽出手段は、異なる割合で収縮させた複数の前記縮小変化領域を求め、当該複数の縮小変化領域からそれぞれの前記第２の特徴晴報を抽出し、
   前記水滴判定手段は、前記第１の特徴清報と前記それぞれの第２の特徴情報とのそれぞれの前記類似度を求め、前記それぞれの類似度のうち最も高い類似度に基づき前記水滴変化領域であるか否かを判定する、請求項１に記載の移動物体追跡装置。
5. 前記特徴抽出手段は、前記入力画像については、前記変化領域の中心からの距離に応じて値が大きくなる重み係数を乗じて前記第２の特徴情報を抽出する請求項１乃至４に記載の移動物体追跡装置。
6. 前記第１の特徴情報及び前記第２の特徴情報は、輝度ヒストグラム又は色ヒストグラムである請求項１乃至５のいずれか一項に記載の移動物体追跡装置。

Images