JP5154461B2 - 移動物体追跡装置 - Google Patents

Description

本発明は、画像処理により移動物体を追跡する移動物体追跡装置に係り、特に追跡対象である人物が頻繁に立ち止まるような場合や、小型什器が置かれた場所を撮影する場合に適した移動物体追跡装置に関するものである。

テンプレートを用いた移動物体追跡装置が知られている。例えば、ある時点で背景差分により得られた変化領域のヒストグラムを求め、これを次時点で得られた変化領域のヒストグラムと比較し、所定の基準値を越えて類似している場合には両者を対応づける処理を行う。以後同様に変化領域が得られる都度、この処理を繰り返して移動物体を追跡していくものである。

特許文献１には、背景画像との差分処理により得られた領域と、フレーム間差分により得られた領域の組み合わせにより、静止物体と移動物体とを区別して、移動物体追跡を行う装置が開示されている。

特開平１１−０９６３７６号公報

ところが、移動物体が単独で移動し続ける場合には、前述したような方法でも問題はないが、移動物体が背景物（長時間静止していて、背景画像に取り込まれている物体。例えば椅子や机、台車などの小型什器が典型）を少し動かし、その後背景物から離れて更に移動を続けると、追跡に失敗することがある。

これを図７を用いて説明する。
図７において、上段が背景画像、下段が入力画像である。背景画像には背景物である椅子が映っているが、追跡対象である人物は写っていない。時刻ｔ１において、人物が写り、背景差分処理により符号１００ａとして抽出され、ヒストグラムが作成された。

時刻ｔ２において、人物が椅子を少し動かし、手を離そうとしているとする。背景差分処理により変化領域が符号１００ｂとして、１つのみ抽出され、ヒストグラムが作成された。ここで、符号１００ｂの領域には、椅子と人物が含まれるが、人物が椅子に完全に隠れることはなく、また、時刻ｔ２での変化領域は１つのみであるので、時刻ｔ１での変化領域１００ａと、時刻ｔ２での変化領域１００ｂとはある程度類似していると判断され、両者が対応付けられる。

時刻ｔ３は、人物が椅子から手を離して、立ち去る場合である。入力画像中において、背景差分により得られる変化領域として椅子を捉えている符号１００ｃと、人物を捉えている１００ｄが抽出され、それぞれヒストグラムが作成される。

ここで、変化領域１００ｃと変化領域１００ｄのヒストグラムのうち、どちらが時刻ｔ２における変化領域１００ｂのヒストグラムに類似しているかを考えると、変化領域１００ｂの中で椅子の方が支配的な場合には、人物である変化領域１００ｄと変化領域１００ｂの類似の程度よりも、椅子である変化領域１００ｃと変化領域１００ｂの類似の程度の方が高く、時刻ｔ３において椅子を示す変化領域１００ｃと、時刻ｔ２における変化領域１００ｂとが対応付けられる。変化領域１００ｂは、時刻ｔ２において、変化領域１００ａと対応付けられているので、結果的に時刻ｔ３において、人物の追跡に失敗することになる。

時刻ｔ２と時刻ｔ３においては、椅子は静止物体である一方、人物は移動物体である。ここで静止物体と移動物体を区別する方法として、前述した特許文献１に記載の発明があるが、この発明によれば、背景差分により得られた変化領域中で、移動物体と静止物体の区別をするべくフレーム間差分を組み合わせたのみであるので、人物が複雑な動きをする場合には対応しきれないという問題があった。例えば、追跡中の人物が一旦静止し、体の一部（例えば腕）のみを動かしている場合には、動かしている部分のみが追跡対象となり、誤追跡につながる。

本発明は、上記課題を解決するためのものであり、背景差分により得られた変化領域に関し、フレーム間差分のみならず背景との類似度を用いて判断することにより、追跡対象である移動物体を背景から分離してヒストグラムの更新に利用する手法を導入することにより、背景物の移動にも、体の一部を動かす静止した人物にも対応できる移動物体追跡装置を提供することを目的としている。

請求項１に記載された移動物体追跡装置は、
画像を順次取得する画像入力部と、
少なくとも、前記画像入力部において異なる時刻で取得された複数の入力画像と、移動物体ごとの移動物体情報と、予め移動物体が含まれない基準画像を記憶する記憶部と、
前記入力画像を順次画像処理して、移動物体を画像上にて追跡する追跡処理部と、
を具備する移動物体追跡装置であって、
前記追跡処理部は、
前記基準画像と前記入力画像とを差分処理して第一の変化領域を抽出する背景差分処理手段と、
異なる時刻に取得された前記入力画像どうしを差分処理して第二の変化領域を抽出するフレーム間差分処理手段と、
前記第一の変化領域と前記第二の変化領域の重複領域および前記第一の変化領域から前記重複領域を除いた非重複領域を抽出する重複領域抽出手段と、
前記入力画像と前記基準画像の前記非重複領域における類似度が所定の類似度閾値を越える場合には、前記入力画像の前記重複領域から抽出された特徴情報を用いて前記移動物体情報を更新し、前記入力画像と前記基準画像の前記非重複領域における類似度が前記所定の類似度閾値を越えない場合には、前記第一の変化領域から抽出された特徴情報を用いて前記移動物体情報を更新する移動物体情報更新手段と、
を有することを特徴としている。

請求項２に記載された移動物体追跡装置は、請求項１に記載の移動物体追跡装置において、
前記移動物体情報更新手段は、
前記入力画像と前記基準画像の前記非重複領域における類似度が前記所定の類似度閾値を越え、かつ前記重複領域の面積および前記非重複領域の面積のいずれもが所定の面積閾値を越える場合に、前記入力画像の前記重複領域から抽出された特徴情報を用いて前記移動物体情報を更新し、
前記入力画像と前記基準画像の前記非重複領域における類似度が前記所定の類似度閾値を越えない場合、または前記重複領域の面積および前記非重複領域の面積の少なくともいずれか一方が所定の面積閾値を越えない場合に、前記第一の変化領域から抽出された特徴情報を用いて前記移動物体情報を更新することを特徴としている。

本発明に依れば、背景物となり得る小型什器が多い撮影場所において、移動したり静止したりするといった複雑な動きをする人物を継続的に追跡できる。さらに、人物を継続的に追跡できるので、人物の動線から当該人物の異常性を判断する装置の実現が可能となる。例えば、本来それほど長時間留まることのない場所、例えばＡＴＭコーナーにおいて犯罪の下見を行なう滞留者を発見したり、一方通行と決められた場所で逆行して犯行を企む犯罪者の検出等が可能となる。

図１は、本発明の一実施形態である移動物体追跡装置の構成を示すブロック図である。 図２は、本発明の一実施形態である移動物体追跡装置の動作順序を示すフローチャートである。 図３は、図２のステップＳ５００における移動物体情報抽出・更新処理の手順を示すフローチャートである。 図４は、本発明の一実施形態である移動物体追跡装置における処理対象としての各種画像と、その処理結果として得られる変化領域等を、画像を取得する所定の時間間隔ごとに模式的に表した図である。 図５は、図３のステップＳ５５０の判断でＮＯの条件分岐をたどり、ステップＳ５８０に進む場合についての説明図であって、本発明の一実施形態である移動物体追跡装置における処理対象としての各種画像とその処理結果の画像を、取得する所定の時間間隔ごとに模式的に表した図である。 図６は、図２のステップＳ５００における移動物体情報抽出・更新処理の別の実施形態における手順を示すフローチャートである。 ヒストグラムを用いた従来の移動物体追跡装置における画像処理方法とその課題を示すために、同装置における背景画像と各時刻における入力画像を模式的に表した図である。

本発明の好適な実施形態として、本発明に係る移動物体追跡装置を金融機関の店舗に併設されたＡＴＭコーナーを監視する画像監視装置に適用し、当該コーナーに長時間滞留する不審人物を画像処理によって検知する例に基づき説明する。

１．移動物体追跡装置の構成
図１は、本発明の一実施形態である移動物体追跡装置１０が実装された画像監視装置１の構成を示すブロック図である。図１に示すように、本発明の一実施形態に係る移動物体追跡装置１０は、画像取得部１１０と、追跡処理部１３０と、記憶部１４０と、滞留判定部１５０と、人判定部１６０と、警報部１７０とを有し、撮像装置２０に接続されている。

撮像装置２０は、所定の監視領域を所定の時間間隔で撮影し、撮影された画像を順次追跡処理部１３０に送る。以下、この所定時間で刻まれる時間の単位を時刻と称する。撮像装置２０としては、例えば、ＣＣＤ素子又はＣ−ＭＯＳ素子等の撮像素子、光学系部品、Ａ／Ｄ変換器等を含んで構成され、内蔵カメラ又は外部カメラなどの公知のものを用いることができる。また、撮像装置２０の解像度は、追跡対象などの具体的な用途に応じて選択することができ、例えばＮＴＳＣ規格、ＳＤＴＶ規格またはＨＤＴＶ規格を用いることができる。また、画像の撮像に用いる波長帯としては、可視光波長又は赤外線波長などを、追跡対象などの具体的な用途に応じて選択することが好ましい。

画像取得部１１０は、撮像装置２０から順次送られる画像信号を受け取るためのインターフェースであり、撮像装置２０からＳＣＳＩ、ＵＳＢ、ＬＡＮ、専用ケーブルなどの有線又は無線の通信回線を介して画像を受信する。画像取得部１１０は、撮像装置２０から受信した画像を移動物体追跡装置１０の各部へ送る。尚、本実施例では、画像から得られる特徴情報に色ヒストグラムを使用する場合について説明するので、撮像装置２０及び画像取得部１１０としては、カラー画像を処理できるものを使用する。

記憶部１４０は、各種プログラム及び各種データを記憶することができ、例えばＲＡＭ又はＲＯＭ、ＥＰＲＯＭなどの半導体メモリ、ハードディスクなどの磁気記録媒体、ＣＤ−ＲＯＭ、ＤＶＤ−Ｒ／Ｗなどの光記録媒体などを用いて構成することができる。記憶部１４０は、画像取得部１１０、追跡処理部１３０、滞留判定部１５０、人判定部１６０及び警報部１７０と接続されており、各部からの要求に応じて各種プログラムや各種データなどを読み書きする。

記憶部１４０は、移動物体情報１４１と、基準画像１４２、過去入力画像１４３、不審者検知画像１４４を記憶する。

移動物体情報１４１には、例えば、移動物体の特徴情報、一時刻前の入力画像における移動物体の領域、過去の予め定めた数（例えば５時刻分）の移動量、移動物体が画面中に現れてから経過した時間（以後存在時間と呼称する）などが含まれる。特徴情報とは、移動物体の特徴を表す情報であり、本実施例では、例えば、移動物体の画像の色ヒストグラムや面積などが含まれるが、両値の平均や標準偏差、エッジ情報、テクスチャ情報、輝度ヒストグラムなどの他の特徴情報を含んでもよい。ここでは、色ヒストグラムを使用する実施例について主に説明する。

また、移動物体の領域とは、移動物体が入力画像において占める範囲であり、一般に、その形状と大きさと位置とによって表すことができる。本実施例では、領域として外接矩形を用いており、外接矩形の大きさ及び位置によって領域を特定することができるが、例えば、重心位置等を利用してもよい。

基準画像１４２は、変化領域を抽出するとき比較対象の基準となる画像であり、例えば、監視領域に移動物体が存在しないときに背景画像を予め撮影しておき、記憶部１４０に記憶しておく。

過去入力画像１４３は、撮像装置２０にて、過去の時刻において取得された画像を記憶したものである。後述するように、現在時刻において取得された入力画像との比較のために用いられる。最低１枚（例えば１時刻前）は記憶しておく。

不審者検知画像１４４は、画像中の移動物体を追跡した結果、通常それほど長時間にわたって居続けるとは考えにくいＡＴＭコーナーを監視対象とした画面内に一定時間以上存在し続け、人間と判別された移動物体を検知した際、この移動物体の画像を不審者として記憶したものである。

追跡処理部１３０は、画像取得部１１０から順次受け取った画像を処理して画像中の移動物体を追跡する。追跡処理部１３０は、滞留判定部１５０、人判定部１６０及び警報部１７０と同様に、記憶部１４０に記憶された処理手順を記述したプログラムを読み出して、ＣＰＵ、ＤＳＰ、ＭＣＵ等の処理装置で実行する。追跡処理部１３０は、画像取得部１１０、記憶部１４０、滞留判定部１５０に接続されるとともに、人判定部１６０及び警報部１７０とも間接的に接続されている。

図１に示すように、追跡処理部１３０は、変化領域抽出手段１３１と、特徴抽出手段１３２と、重複領域抽出手段１３３と、背景類似度算出手段１３４と、対応付け手段１３５と、更新手段１３６とを備える。

変化領域抽出手段１３１は、背景差分処理手段１３１１と、フレーム間差分処理手段１３１２を備える。

背景差分処理手段１３１１は、予め記憶部１４０に記憶しておいた移動物体が存在しない基準画像１４２又は後述するように後に更新した基準画像１４２と、撮像装置２０が撮影し画像取得部１１０を介して受け取った画像（以下、入力画像という）を、公知の方法でそれぞれ白黒化し、両画像の間で差分を計算し、一定の閾値以上の差分がある画素を第１の変化領域として抽出する。そして、背景差分処理手段１３１は、ラベリングによって抽出した各変化領域にラベル付けを行う。

フレーム間差分処理手段１３１２は、記憶部１４０に記憶されている過去入力画像１４３と、現時刻で入力された入力画像を、公知の方法でそれぞれ白黒化し、両画像の間で差分を計算し、一定の閾値以上の差分がある画素を第２の変化領域として抽出する。

特徴抽出手段１３２は、変化領域抽出手段１３１で抽出されたそれぞれの変化領域について、変化領域における基準画像及び入力画像の色ヒストグラム、入力画像における移動物体の位置や面積などを計算して特徴情報を抽出する。

重複領域抽出手段１３３は、背景差分処理手段１３１１が抽出した変化領域と、フレーム間差分処理手段１３１２が抽出した変化領域との重複する領域（重複領域）と、背景差分処理手段１３１１が抽出した変化領域から重複領域を除いた領域（非重複領域）を抽出する手段である。また、両領域に含まれる画素数を計数する。

背景類似度算出手段１３４は、変化領域抽出手段１３１の背景差分処理手段１３１１が抽出した変化領域と、同じくフレーム間差分処理手段１３１２が抽出した変化領域を用いて、重複領域抽出手段１３３が抽出した非重複領域について、入力画像と基準画像１４２の類似度を求める。類似度の定義は、両画像の画素値の差を累積加算し、画素数で除算して正規化した値など、種々考えられるが、本実施の形態においては、変化領域に含まれる各画素から生成した色ヒストグラムどうしの類似度を用いるものとする。計算方法は後述する。

対応付け手段１３５は、特徴抽出手段１３２が抽出した各変化領域の特徴情報と記憶部１４０に記憶された各移動物体の移動物体情報１４１との対応度に基づいて、処理対象の各変化領域と当該変化領域に存在する最も可能性の高い移動物体とを対応付ける。

更新手段１３６は、特徴抽出手段１３２が抽出した特徴情報を用いて記憶部１４０に記憶している移動物体情報１４１を更新する。また、現時刻で存在する移動物体に対して、移動物体情報１４１の存在時間を更新する。更に、記憶部１４０に記憶している基準画像１４２も更新する。

滞留判定部１５０は、移動物体ごとに記憶部１４０に記憶されている存在時間を調べ、予め定めた時間（例えば１分間）より長く画像中に存在していれば、それが人間か否かを調べるために当該移動物体の領域の情報を人判定部１６０に送る。

人判定部１６０は、滞留判定部１５０から送られた予め定めた時間より長く画面内に存在している移動物体が人間であるか否かを判定し、人間であると判定した場合は警報部１７０にその結果を送る。また、その時の画像を不審者検知画像１４４として記憶部１４０に記憶してもよい。

警報部１７０は、人判定部１６０から結果を受け取ると、ＬＥＤなどの警報ランプや警報ブザーなどによって、不審者を検知したことを利用者に知らせる。予め記憶されたメッセージを、スピーカーなどを介して音声として流したり、ディスプレイ上に表示したりしてもよい。また、記憶部１４０に記憶された不審者検知画像１４４は、ディスプレイやプリンタなどの出力装置（図示せず）を介して出力することもできる。

２．移動物体追跡装置の動作
図２は、本発明の一実施形態である移動物体追跡装置１０の動作順序を示すフローチャートである。図２を参照しながら、移動物体追跡装置１０の各部の動作の詳細に関して説明する。

ステップＳ１００において、移動物体追跡装置１０は、撮像装置２０の画角内に移動物体が存在しない状況で、撮像装置２０によって監視領域を予め撮影して得た背景画像を基準画像１４２として記憶部１４０に記憶したり、追跡対象の移動物体に関する移動物体情報１４１を初期状態にしたりするなどの移動物体の追跡処理のための初期化を行う。

ステップＳ２００において、移動物体追跡装置１０は、予め規定された時間間隔で撮像装置２０が撮影した画像を、画像取得部１１０を介して受け取り、追跡処理部１３０へ渡す。こうして、移動物体追跡装置１０は、撮像装置２０から一定時間間隔で順次入力画像が送られるごとに、追跡処理部１３０によるステップＳ２００〜Ｓ１３００の処理を繰り返す。

ステップＳ３００において、追跡処理部１３０は、変化領域抽出手段１３１の背景差分処理手段１３１１によって、撮像装置２０から新たに受け取った入力画像と記憶部１４０に記憶されている基準画像１４２とを比較し、差異のある領域を変化領域として抽出する。

背景差分処理手段１３１１は、まず、入力画像と基準画像１４２のそれぞれを公知の方法にて白黒化する。それから、例えば、入力画像と基準画像１４２との対応する画素の画素値について差分処理を行い、一定以上の差分値がある画素群について二値化を行い、抽出した領域についてラベリングを行う。こうして、入力画像において基準画像１４２と異なる変化領域、すなわち、移動物体が存在すると推定される領域が抽出される。尚、差分処理、二値化、ラベリングの方法に関しては、公知の様々な方法を用いることができるため、詳細についての説明は省略する。

ステップＳ４００において、追跡処理部１３０は、対応付け手段１３５によって、記憶部１４０に記憶されている移動物体の移動物体情報１４１と、ステップＳ３００において抽出された変化領域との対応付けを行う。なお、移動物体情報１４１は、初期化された後、最初に追跡対象となるような移動物体が検出された場合に、この移動物体についての特徴を抽出して記憶部に移動物体情報１４１として記憶したものである。

対応付け手段１３５は、記憶部１４０に記憶されている一時刻前の入力画像で検出された追跡対象の移動物体に関する移動物体情報１４１と、特徴抽出手段１３２が現時刻の入力画像の各変化領域から抽出した特徴情報（色ヒストグラムや面積など）とに基づいて類似度を算出し、この類似度に基づいて、一時刻前に検出された移動物体のそれぞれが現時刻の入力画像のどの変化領域に存在する可能性が最も高いかを対応付ける。この対応付け方法については、公知のものを適宜利用すれば良いので、詳細は省略する。

ステップＳ５００において、追跡処理部１３０は、ステップＳ４００において対応付けられた変化領域と移動物体情報１４１に基づいて、対応付けられた変化領域について現時刻の入力画像における特徴情報を各移動物体の移動物体情報とする。すなわち、追跡処理部１３０は、更新手段１３６によって、特徴抽出手段１３２が抽出した移動物体情報を用いて移動物体情報１４１を更新する。かかる処理は、背景差分処理手段１３１１が抽出し、ラべリングされた変化領域毎に行なう。なお、ステップＳ５００の処理についての詳細は後述する。

以下に説明するステップ７００からステップ１０００の手順もラべリングされた変化領域毎に行なう。
ステップＳ８００において、更新手段１３６は、追跡が成功した移動物体について、記憶部１４０に記憶してある移動物体情報１４１の追跡成功回数を１回増加させる。又は、存在時間を撮影間隔分増加させてもよい。逆に追跡に失敗して見失った場合は、追跡成功回数又は存在時間を０にリセットする。移動物体が画面外に出たと判定された場合、更新手段１３６は、この移動物体に関する移動物体情報１４１を記憶部１４０から消去する

ステップＳ９００において、移動物体追跡装置１０は、追跡処理部１３０が追跡に成功した移動物体について、滞留判定部１５０によって、予め定めた時間より長く画像中に存在しているか否かを判定する。

滞留判定部１５０は、例えば、移動物体の追跡成功回数が予め定めた回数よりも多いか否かを判定することによって、当該移動物体が予め定めた時間より長く画像中に存在し続けているか否かを判定する。また、滞留判定部１５０は、現時刻に取得された入力画像に存在する移動物体について存在時間を更新し、この存在時間を記憶部１４０に記憶しておき、移動物体が長時間存在しているか否かの判定に使用してもよい。

移動物体が予め定めた時間より長く画像中に存在している場合（ステップＳ９００のｙｅｓ）、ステップＳ１１００において、移動物体追跡装置１０は、人判定部１６０によってこの移動物体が人であるか否かを判定する。

人判定部１６０は、滞留判定部１５０によって予め定めた時間より長く画面内に存在すると判定された移動物体が人間であるか否かを判定し、人間であると判定した場合（ステップＳ１１００のＹｅｓ）は警報部１７０にその結果を出力する（Ｓ１２００）。そして、その移動物体の画像を不審者検知画像１４４として記憶部１４０に記憶する。また、例えば、不審者が滞留した時間帯など他の情報も一緒に記憶部１４０に記憶してもよい。

人判定部１６０において移動物体が人間であるか否かを判定する方法には、周知の様々な方法を使用することが可能である。例えば、P.Viola 、M.Jones ＆D.Snow、「動作パターン及び外観パターンによる歩行者の検出（Detecting Pedestrians Using Patterns of Motion and Appearance ）」、IEEE International Conference on Computer Vision，Pp、734,0ct.,2003に記載されているように、予め撮影した様々な外観の人間の画像を使用してAdaBoostによって学習したHaar-Like 特徴に基づくカスケード型識別器によって人間であるか否かの判定が実現できる。

移動物体が人間であると判定された場合（ステップＳ１１００のＹｅｓ）、ステップＳ１２００において、移動物体追跡装置１０は、警報部１７０によってユーザーに光や音等で警告し、記憶部１４０に記憶されている不審者検知画像１４４を外部の機器に表示する。

このように、移動物体の追跡回数のカウントや、その結果を元に行なう不審者の判定等の手順（ステップ８００からステップ１２００）は、前述したようにラベリングされた変化領域毎に行なう。すなわち、１入力画像中に、互いに独立しており、異なるラベルが付される変化領域が複数抽出される場合もあるので、各ラベルごとに上述した手順を実行することにより、各移動物体について何フレーム追跡できているかを把握し、それぞれについて不審者か否かの判断を行なうことができる。

図３は、図２のステップＳ５００における追跡処理部１３０による移動物体情報抽出処理を示すフローチャートである。追跡処理部１３０は、ステップＳ５１０〜Ｓ５８０の処理を、ステップＳ３００で変化領域抽出手段１３１の背景差分処理手段１３１１が抽出し、ラベリングされた変化領域毎に繰り返し実行する。

ステップＳ５１０において、フレーム間差分処理手段１３１２は、記憶部１４０に記憶されている過去入力画像１４３と、現時刻において取得された入力画像のそれぞれについて、公知の方法で白黒化を行い、画素毎の差分処理を行う。一定以上の差分値がある画素群について二値化を行い、抽出した領域についてラベリングを行う。これらは背景差分処理手段１３１１における処理と同様である。これらの処理については公知の様々な方法を用いることができるため、詳細は省略する。

ステップＳ５２０において、追跡処理部１３０の重複領域抽出手段１３３は、背景差分処理手段１３１１が抽出した変化領域から、「重複領域」および「非重複領域」を抽出する。重複領域は、背景差分処理手段１３１１が抽出した変化領域と、フレーム間差分処理手段１３１２が抽出した変化領域の論理積を考え、両者に共通する領域として抽出される。一方、非重複領域は、同様に、背景差分処理手段１３１１が抽出した変化領域と、フレーム間差分処理手段１３１２が抽出した変化領域の論理積を考えた場合、背景差分処理手段１３１１が抽出した変化領域には含まれるが、フレーム間差分処理手段１３１２が抽出した変化領域には含まれない領域として抽出される。

ステップＳ５４０では、背景類似度算出手段１３４は、非重複領域について、記憶部１４０に記憶されている基準画像と、現時刻の入力画像との類似度を求める。本実施形態では、類似度として色ヒストグラムの類似度を利用する。すなわち、基準画像中の非重複領域に対応する部分の色ヒストグラムと、入力画像中の非重複領域に対応する部分の色ヒストグラムが、互いにどの程度類似しているかを見る。

色ヒストグラムは、ある領域の画像における色分布を表す特徴量であり、変化領域内の各画素が所定幅で区切った色空間のどの領域に属するかを分類して頻度を累積した後、各累積値を全ピクセル数で割って正規化することによって計算される。例えば、ＹＵＶ表色系であれば、Ｙ成分、Ｕ成分、Ｖ成分を各軸にとった３次元空間のヒストグラムとなる。

背景類似度算出手段１３４が、非重複領域において、入力画像と基準画像からそれぞれ抽出した各色ヒストグラムを比較することで類似度を求める。入力画像の非重複領域の色ヒストグラムをｈ（ｙ，ｕ，ｖ）、基準画像の非重複領域の色ヒストグラムをｇ（ｙ，ｕ，ｖ）とすると、次式（１）によって算出できる。

色ヒストグラムｈ（ｙ，ｕ，ｖ）、ｇ（ｙ，ｕ，ｖ）はビンの総和が１となるように正規化しておけば、式（１）による類似度は、色ヒストグラムが完全に一致する場合に１．０、それ以外の場合に１．０未満の正数となり、両者が似ているほど大きな値をとる。

ステップＳ５５０において、ステップＳ５４０で求めた類似度が所定の閾値を越えるか否かを調べる。越えない場合、即ちステップＳ５５０でＮｏの場合、ステップＳ５８０に進み、特徴抽出手段１３２が、背景差分処理手段１３１１が抽出した変化領域から、特徴情報、即ち、色情報（色ヒストグラムを含む）や面積情報、位置情報などを取得し、対応付け手段１３５により対応付けられた移動物体について、更新手段１３６が、記憶部１４０に記憶されている移動物体情報１４１を更新する。

すなわち、非重複領域における入力画像と基準画像の類似度が低い場合は、入力画像における非重複領域は、撮像装置２０が背景を映している領域とはみなせないので、背景差分である第１の変化領域の全体の情報を使用して記憶部１４０に記憶されている移動物体情報１４１を更新する。

尚、重複領域又は非重複領域が抽出されない場合には式（１）では計算できないので、例外処理としてその場合にもステップＳ５８０に進むものとする。

ステップＳ５５０において、類似度が所定の閾値を越える場合、即ちステップＳ５５０でＹｅｓの場合、ステップＳ５６０に進み、特徴抽出手段１３２が、重複領域から、特徴情報、即ち、色情報（色ヒストグラムを含む）や面積情報、位置情報などを取得し、対応付け手段１３５により対応付けられた移動物体について、更新手段１３６が、記憶部１４０に記憶されている移動物体情報を更新する。

すなわち、非重複領域における入力画像と基準画像の類似度が高い場合は、入力画像における非重複領域は、撮像装置２０が背景を映している領域と考えられるので、重複領域の情報を使用して記憶部１４０に記憶されている移動物体情報１４１を更新する。

次にステップＳ５７０では、更新手段１３６は、記憶部１４０に記憶されている基準画像１４２を更新する。ここで、ステップＳ５５０において、類似度が所定の閾値を越えない場合、即ちステップＳ５５０でＮｏの場合、背景差分処理手段１３１１により抽出された変化領域は更新せず、それ以外の画素について、現時刻での入力画像における各画素の画素値で、対応する基準画像１４２の画素の画素値を置き換えることで更新する。

また、ステップＳ５５０において、類似度が所定の閾値を越える場合、即ちステップＳ５５０でＹｅｓの場合、背景差分処理手段１３１１により抽出された変化領域は更新せず、背景差分処理手段１３１１により抽出された変化領域に含まれる画素及び非重複領域に含まれる画素について、現時刻での入力画像における各画素の画素値で、対応する基準画像１４２の画素の画素値を置き換えることで更新する。

上記のような方法で更新すると、最新の入力画像に含まれる情報が基準画像１４２に反映されるため、日照変動などに対応できる。

３．画像処理手順の具体例
次に、図４を参照し、以上説明した処理手順を、具体的な画像例を示しながら、時刻を追って説明する。
図４には、時刻ｔ１を始点として、時刻ｔ４までについて、記憶部１４０に記憶されている基準画像１４２を同図（ａ）〜（ｄ）に示し、各時刻における入力画像を同図（ｅ）〜（ｈ）に示し、背景差分処理手段１３１１により抽出された、基準画像と入力画像との差分結果（第１の変化領域）を同図（ｉ）〜（ｌ）に示し、フレーム間差分処理手段１３１２により抽出された、過去入力画像１４３に記憶されている一時刻前の入力画像と、現時刻での入力画像との差分結果（第２の変化領域）を同図（ｍ）〜（ｏ）に示し、重複領域抽出手段１３３により抽出された重複領域と非重複領域を同図（ｐ）〜（ｒ）に示し、特徴情報の一つである色ヒストグラムを算出するための部分画像である特徴量算出用テンプレートを同図（ｓ）〜（ｖ）に示している。

但し、図４（ｍ）は、同図（ｅ）と同図（ｆ）との間のフレーム間差分、同図（ｎ）は同図（ｆ）と同図（ｇ）との間のフレーム間差分、同図（ｏ）は同図（ｇ）と同図（ｈ）との間のフレーム間差分である。

時刻ｔ１における基準画像は図４（ａ）であり、ＡＴＭコーナーに備え付けられた背景物である椅子５００が単独で映っているとする。

図２のステップＳ２００において取得された、同時刻ｔ１における入力画像は同図（ｅ）であり、人物５１０が撮像装置２０の視野に入ってきた様子を示している。椅子５００の位置に変化は無い。

同図（ｉ）は、図２のステップＳ３００において処理された、同時刻ｔ１における背景差分処理手段１３１１により抽出された変化領域５２０を示している。椅子５００は動いていないので、抽出されない。

時刻ｔ１では、動作開始直後とするので、過去入力画像１４３は存在していないものとし、例外的に、図３に示したステップＳ５１０、Ｓ５２０、Ｓ５４０の処理は行わず、ステップＳ５８０の処理に進むものとし、上記背景差分結果に基づき、図４（ｅ）に示す入力画像中を参照し、追跡に用いる特徴量算出用テンプレートを作成するものとする。図４（ｓ）は、ステップＳ５８０にて作成された特徴量算出用テンプレート５３０を示している。

この特徴量算出用テンプレートに含まれる画素値から色ヒストグラムを作成し、これを対応付け手段１３５が、次の時刻において図２のＳ４００で対応付けを行うための特徴情報とする。特徴量算出用テンプレート５３０は、人物５１０をそのままの形でくり抜くように作成されており、人物５１０の画像情報を十分含み、追跡処理に好適なものである。

時刻ｔ２における処理の様子を説明する。
時刻ｔ２における基準画像は図４（ｂ）である。この基準画像は、図３の背景画像更新処理Ｓ５７０により、時刻ｔ１における入力画像を基にして更新を行なって得たものであるが、時刻ｔ１における入力画像のうち、人物５１０に対応する部分（図４（ｉ）の符号５２０）については更新を行わず、それ以外の部分については更新を行なっている。日照変動などはわずかとして、図４では特に両者の区別をするような描画はしていない。

同図（ｆ）は、同時刻ｔ２での入力画像であり、人物５１０が移動するとともに、椅子５００を手に取り移動させている最中の様子である。椅子５００は、時刻ｔ１において置かれていた、符号５４０に示す点線の位置から動いている。

同図（ｊ）は、図２のステップＳ３００における処理結果であり、同時刻ｔ２において背景差分処理手段１３１１が抽出した変化領域５５０を示している。人物５１０の移動、椅子５００の元の位置５４０、現在の位置５００の３者が変化領域として抽出されている。

図３を参照すると、ステップ５１０においてフレーム間差分処理手段１３１２は、図４（ｅ）と同図（ｆ）とのフレーム間差分処理を行い、同図（ｍ）に示す変化領域５６０及び５６５を抽出する。

次に、図３のステップＳ５２０において、重複領域抽出手段１３３は、重複領域と非重複領域の抽出を試みる。既に述べたように、重複領域は、背景差分処理により得られた第１の変化領域と、フレーム間差分処理により得られた第２の変化領域の論理積により得られる。即ち、両者に共通に含まれる領域として定義される。一方、非重複領域は、背景差分処理により得られた第１の変化領域中、上記論理積により得られなかった領域（つまり背景差分処理により得られた第１の変化領域中で、重複領域以外の部分）である。

図４の時刻ｔ２について考えると、背景差分処理により得られた同図（ｊ）の第１の変化領域５５０と、フレーム間差分処理により得られた同図（ｍ）の変化領域５６０及び５６５とで共通するのは変化領域５６０のみであり、重複領域としては同図（ｐ）の符号５６８が抽出されるが、変化領域５６０と重複領域５６８は等しいので、非重複領域は抽出されない。

従って、前述のように、非重複領域が抽出されない例外処理として、図３のステップＳ５５０における判断においてはＮｏの分岐をたどることになり、ステップＳ５８０に進むことになる。

ステップＳ５８０では、特徴抽出手段１３２が、背景差分処理により得られた第１の変化領域５５０について、図４（ｆ）に示す入力画像から特徴量算出用テンプレート５７０（図４（ｔ）に示す）を作成する。

図４（ｔ）に示す特徴量算出用テンプレート５７０は、人物５１０の他に、現時刻ｔ２における椅子５００、椅子５００の時刻ｔ１での位置である符号５４０をも含んだテンプレートとなっている。本来追跡したい対象は人物５１０のみであるはずなので、移動物体情報が劣化しているとも解釈できるが、人物５１０が椅子５００を手に取り、移動している最中は、両者を一体化して追跡すると考えれば、特に問題は生じない。なお、このような処理は、人物が椅子を大きくは移動させないことを前提としており、背景差分処理により得られた第１の変化領域５５０について、そのまま入力画像から切り取ることにより、移動物体情報を作成しようとするものである。

時刻ｔ３における処理の様子を説明する。
時刻ｔ３における基準画像は図４（ｃ）であるが、図３の背景画像更新処理Ｓ５７０により、時刻ｔ２における背景画像である図４（ｂ）のうち、時刻ｔ２における変化領域５５０に対応する部分は更新を行っていない。従って、図４（ｃ）においては、椅子５００が単独で映る状態には変化が生じない。

同図（ｇ）は、時刻ｔ３での入力画像であり、時刻ｔ２の位置にて椅子５００から手を離し、立ち去ろうとして移動した人物５１０が示されている。

同図（ｋ）は、図２のステップＳ３００において処理された結果であり、同時刻ｔ３における背景差分処理手段１３１１により抽出された第１の変化領域５８０を示している。人物５１０の移動、椅子５００の元の位置５４０、現在の位置の３者が変化領域として抽出されている。

図３を参照すると、ステップＳ５１０においてフレーム間差分処理手段１３１２は、図４（ｆ）と同図（ｇ）とのフレーム間差分処理を行い、同図（ｎ）に示す第２の変化領域５９０を抽出する。

ここで、図４（ｆ）と同図（ｇ）を比較すると、人物５１０は移動しているものの、椅子５００は移動していない。当然、時刻ｔ１時点での椅子５００の位置である符号５４０で示す点線の領域に相当するものも移動していない。よって、図４（ｇ）の椅子５００に対応する領域は、フレーム間差分処理では抽出されない。同様に、符号５４０の領域は、時刻ｔ１での椅子５００に対応する符号５４０で示した点線の領域であるから、これも抽出されない。すなわち、図４（ｎ）に椅子５００と符号５４０が示されていないことから理解されるように、これら椅子５００と符号５４０はいずれもフレーム間差分としては検出されない。

このフレーム間差分による第２の変化領域５９０を、図４（ｋ）に示す背景差分による第１の変化領域５８０と比較すると、変化領域５９０のうち、時刻ｔ３での人物５１０に対応する領域は変化領域５８０にも共通して得られるものの、椅子５００と符号５４０に相当する領域は、変化領域５８０には含まれるものの、フレーム間差分処理では抽出されない領域となる。すなわち、移動物体として検出したい人物は、現に移動しているため、背景差分による第１の変化領域５８０でも得られているし、フレーム間差分による第２の変化領域でも得られている。これに対し、人物の手を離れた椅子は移動しないので、背景差分による第１の変化領域５８０では検出されるが、フレーム間差分による第２の変化領域では検出されない。

即ち、本願発明で言う重複領域は図４（ｑ）の符号５９５で示した領域であり、非重複領域は同図（ｑ）の符号６００と６１０で示す領域に相当する。図３のステップＳ５２０では、このように重複領域と非重複領域を抽出する処理を行う。

図３のステップＳ５４０では、非重複領域である符号６００と６１０で示す領域について、図４（ｃ）の基準画像との色ヒストグラムと、図４（ｇ）の入力画像の色ヒストグラムとの類似度を求める。類似度の求め方は既に述べた通りである。

本発明においては、背景物である椅子５００を全く異なる位置に移動させるのではなく、椅子の輪郭を考えると移動の前後で共通部分を持つようにずらす、という程度を想定している。この想定の下では、非重複領域においては、基準画像と入力画像のどちらにも椅子５００が映り込んでおり、両画像の色ヒストグラムの類似度は高いものとなる。この条件が満たされる場合には、図３においてステップＳ５６０に進む（ステップＳ５５０でＹｅｓの分岐）。

ステップＳ５６０に処理が進むのは、人物５１０が、椅子５００を移動させて、手を離して立ち去る場合であると考えられる。従ってその後、椅子５００は移動することなく、人物５１０のみが移動を続けることになるので、特徴量算出用テンプレートは人物のみから作成するのが好適であり、それ以外の物体が混入すると、追跡失敗につながるのは容易に想像できる。

よって、図３のステップＳ５６０では変化領域５８０からではなく、入力画像において、重複領域５９５に相当する部分から特徴量算出用テンプレートを求めるものとする。図４（ｕ）に、図３のステップＳ５６０にて作成された特徴量算出用テンプレート６２０を示している。足の部分が欠けているが、人物５１０の全体像の概略が含まれており、追跡を継続可能なことが想像できる。

続く図３のステップＳ５７０では、更新手段１３６が時刻ｔ４における基準画像の更新を行う。基準画像の更新は、画面全体ではなく、図４（ｇ）に示す入力画像中、符号６００と６１０で示す非重複領域に含まれる各画素及び第１の変化領域５８０以外の各画素、即ち重複領域５９０以外の各画素の画素値により、図４（ｃ）に示すｔ３時点での基準画像の各画素を置き換えることで更新するものとする。これにより、静止している椅子５００は背景に取り込まれることになり、時刻ｔ４で背景差分処理を行っても図４（ｌ）に示すように抽出されないことになる。

時刻ｔ４における処理の様子を説明する
時刻ｔ４における基準画像は図４（ｄ）であり、図３の背景画像更新処理Ｓ５７０により、人物５１０以外は更新するので、椅子５００は人物５１０により移動された位置に存在するものとなっている。

図４（ｈ）は、同時刻ｔ４における入力画像であり、人物５１０は椅子５００から完全に離れて移動した後を表している。

図４（ｌ）は、図２のステップＳ３００において処理された、同時刻ｔ４において背景差分処理手段１３１１が抽出した第１の変化領域６３０を示している。時刻ｔ３における基準画像の更新処理（図３のステップＳ５７０）により、基準画像と入力画像に含まれる椅子５００の位置は一致しているため、椅子５００に対応する変化領域は抽出されず、人物５１０に対応する変化領域６３０が抽出されている。

図４（ｏ）は、同図（ｇ）と同図（ｈ）とのフレーム間差分であり、符号６４０と符号６５０に示す変化領域が抽出されている。このうち、第１の変化領域６３０と共通するのは符号６４０の領域であるので、入力画像において、変化領域６３０に対応する領域を特徴量算出用テンプレート（符号６７０として図４（ｖ）に示す）として、時刻ｔ４以後に用いれば良い。これは周知の方法であるので、詳細な説明は省略する。

次に、図３のステップＳ５５０のＮｏの条件分岐をたどり、ステップＳ５８０に進む場合について図５を参照して説明する。
図５（ａ）の符号７００は基準画像であり、簡単のため、例えば模様のない床が一面に映っているものとする。

図５（ｂ）の符号７１０は、ある時刻にて人物７２０が両腕を垂らした状態で映っている場合の入力画像を示している。

図５（ｃ）の符号７３０は、図５（ｂ）の次の時刻における入力画像であり、人物７２０は移動はしないものの、腕を動かしている様子が示されている。

これらの画像を元として行なわれる背景差分処理、フレーム間差分処理の結果を示す図は省略するが、図４を参照して説明した背景差分処理やフレーム間差分処理等を実行すると、腕の部分のみが、図５（ｄ）の重複領域７５０として抽出される。一方、人物７２０の腕以外の部分は静止しているため、図５（ｄ）の非重複領域７４０として抽出される。

ここで、入力画像７３０と基準画像７００は背景差分が抽出される程度に異なるので、非重複領域における入力画像７３０と基準画像７００の類似度は低くなるため、図３のステップＳ５４０〜Ｓ５５０の処理で類似度による判断の区別を行なわないと、腕の部分だけである重複領域７５０のみをもって人物７２０全体の特徴情報が更新されるという不都合が発生する。

そこで、本実施形態では、図３のステップＳ５４０〜Ｓ５５０の処理で類似度による判断の区別を行なうこととし、非重複領域における入力画像と背景画像との類似度に基づいた判断処理を行い、図５に示した例のように非重複領域における入力画像７３０と基準画像７００の類似度が低い場合には、変化領域全体を用いて移動物体情報を更新することとしたものである。
このように、非重複領域における入力画像と背景画像の類似度に基づいた判断を行なうことにより、背景物がない場合においても人物が図５に示すような動作を行なう場合にも適切な判断及び情報の更新を行なうことができる。

４．他の実施形態
次に、本発明を実施するにあたり、より好適な例を示す。この例では第１実施形態の図２のステップＳ５００又はその詳細を示した図３の手順において、他の条件判断処理を追加したものであり、その手順を図６に示す。

図６では、第１実施形態の図３と比べると、ステップＳ５３０の条件判断分岐が追加されている。
ステップＳ５３０において、重複領域抽出手段１３３は、ステップＳ５２０において抽出された重複領域、非重複領域のそれぞれについて、その面積、すなわち各領域に含まれる画素数を計数する。

これは、背景差分処理手段１３１１が抽出した第１の変化領域中に、重複領域と非重複領域が明確に分かれて存在するか否かを検証するためである。実際に取得されるデータには各種原因によりノイズが含まれているので、各々の領域が一定以上の画素を含む場合（すなわち各々の領域が一定以上の面積を有する場合）にのみ、本願発明に特徴的な処理を行うのが好適である。

ステップＳ５３０において、重複領域の面積、非重複領域の面積の何れかが所定面積を超えない場合には、ステップＳ５８０に進む。ステップＳ５８０の処理は前述した通りである。

ステップＳ５３０において、重複領域の面積、非重複領域の面積の両方が所定面積を超える場合には、重複領域、非重複領域の両者とも明確に分かれて抽出されている場合であり、類似度を求めるべくステップＳ５４０に進む。
他の処理は既に述べたものと同様である。

図４の画像処理の模式図について考えると、時刻ｔ３において、重複領域抽出手段１３３は、変化領域５９５の面積と、符号６００と６１０で示す領域を合わせた領域の面積を調べる。図４（ｎ）に示すように、両者は、追跡対象である人物５１０と比較すると、ノイズとして無視できない程度の面積であるので、Ｙｅｓの分岐とたどり、ステップＳ５４０に進むことになる。

このように、仮に符号６００と６１０に示す領域を合わせた面積が所定面積よりも小さい場合にはノイズによるものであることが考えられるので、確実に非重複領域として類似度を求めることがふさわしい場合と、それ以外の場合とを識別することができ、全体の精度を向上させることができる。

１０…移動物体追跡
１１０…画像取得部
１３０…追跡処理部
１３１１…背景差分処理手段
１３１２…フレーム間差分処理手段
１３３…重複領域抽出手段
１３６…更新手段（移動物体情報更新手段）
１４０…記憶部
１４１…移動物体情報
１４２…基準画像
１４３…過去の入力画像

Claims (2)

1. 画像を順次取得する画像入力部と、
   少なくとも、前記画像入力部において異なる時刻で取得された複数の入力画像と、移動物体ごとの移動物体情報と、予め移動物体が含まれない基準画像を記憶する記憶部と、
   前記入力画像を順次画像処理して、移動物体を画像上にて追跡する追跡処理部と、
   を具備する移動物体追跡装置であって、
   前記追跡処理部は、
   前記基準画像と前記入力画像とを差分処理して第一の変化領域を抽出する背景差分処理手段と、
   異なる時刻に取得された前記入力画像どうしを差分処理して第二の変化領域を抽出するフレーム間差分処理手段と、
   前記第一の変化領域と前記第二の変化領域の重複領域および前記第一の変化領域から前記重複領域を除いた非重複領域を抽出する重複領域抽出手段と、
   前記入力画像と前記基準画像の前記非重複領域における類似度が所定の類似度閾値を越える場合には、前記入力画像の前記重複領域から抽出された特徴情報を用いて前記移動物体情報を更新し、前記入力画像と前記基準画像の前記非重複領域における類似度が前記所定の類似度閾値を越えない場合には、前記第一の変化領域から抽出された特徴情報を用いて前記移動物体情報を更新する移動物体情報更新手段と、
   を有することを特徴とした移動物体追跡装置。
2. 前記移動物体情報更新手段は、
   前記入力画像と前記基準画像の前記非重複領域における類似度が前記所定の類似度閾値を越え、かつ前記重複領域の面積および前記非重複領域の面積のいずれもが所定の面積閾値を越える場合に、前記入力画像の前記重複領域から抽出された特徴情報を用いて前記移動物体情報を更新し、
   前記入力画像と前記基準画像の前記非重複領域における類似度が前記所定の類似度閾値を越えない場合、または前記重複領域の面積および前記非重複領域の面積の少なくともいずれか一方が所定の面積閾値を越えない場合に、前記第一の変化領域から抽出された特徴情報を用いて前記移動物体情報を更新することを特徴とした請求項１に記載の移動物体追跡装置。