JP7030451B2 - 画像処理装置 - Google Patents

Description

本発明は、撮影された画像を解析し、物体の追跡及び当該物体が検出対象であるか否かの判定等を行うための画像処理装置に関する。

従来から、監視空間を撮影した画像を解析し、当該監視空間に存在する不審者等を検出する画像センサが知られている。このような画像センサでは、例えば、順次撮影された各画像に対して、公知の背景差分処理又はフレーム間差分処理等の画像処理が用いられ、各画像に含まれる物体領域が順次検出される。次に、異なる時刻に撮影された画像間で、形状や面積が同一の物体とみなせる物体領域どうしが対応付けられることにより、物体の追跡が行われる。そして、追跡されている物体の移動軌跡や形状の変化等に基づいて、当該物体が検出対象（例えば、不審者）であるか否かが判定される。

例えば、特許文献１には、監視空間内の物体を追跡する監視装置が開示されている。この監視装置は、監視空間を順次撮影した画像から順次検出された物体領域の形状情報（面積又は外接矩形の縦横比等）を求め、前時刻の画像から検出した物体領域と現時刻の画像から検出した物体領域の対応関係に基づいて物体を追跡する。そして、監視装置は、追跡している物体の形状情報の時間的な変化に基づいて、当該物体が不審者か否かを判定する。この監視装置では、監視空間内の死角をなくすために、監視空間を撮影するためのカメラが複数台設置される。

また、例えば、特許文献２には、魚眼レンズ等の広角光学系によって撮影された画像に対して、歪みを補正するための平面展開処理を施し、当該補正された画像を用いて監視を行うテレビカメラが開示されている。

特開平４－２７３６８９号公報 特開平６－３４３１３３号公報

魚眼レンズ等の広角光学系を用い、広い視野を撮影できる全方位カメラ等のカメラが監視空間の天井等に設置される場合、当該監視空間を監視するためのカメラの台数は、特許文献１に記載のカメラの台数よりも少ない台数でよい。しかしながら、このような全方位カメラ等によって撮影された全方位画像には歪みが生じるため、監視装置は、特許文献２に開示されるような、撮影された画像に対して歪みを補正する平面展開処理等の画像処理を施してから、物体の形状情報を求めていた。

その際、前述したように、全方位カメラ等によって撮影された全方位画像に対して歪みを補正する画像処理を施すと、監視装置の計算負荷が高くなる場合があった。このため、歪みを補正する画像処理を施す必要のある監視装置にて、全方位画像を用いてリアルタイムに追跡及び監視等が行われた場合、高性能な計算能力が必要となるため、監視装置自体のコストが高くなってしまうという問題があった。

また、全方位画像の中心付近は、平面展開処理をする際に重要となる当該中心からの角度方向の情報量が少ないため、精度良く平面展開することが難しかった。このため、全方位画像の中心付近において、物体領域から算出される形状情報の精度に問題が生じる場合あった。

本発明は、このような従来の課題を解決すべくなされたものであり、魚眼レンズ等を用いて撮影された画像の歪みを補正する画像処理を不要とし、リアルタイムな物体の追跡や検出対象の判定を、高精度かつ低コストで実現することを可能にする画像処理装置を提供することを目的とする。

本発明に係る画像処理装置は、魚眼レンズを用いる撮影部によって順次撮影された複数の入力画像のそれぞれから物体領域を検出する検出部と、物体領域毎に、当該物体領域が、入力画像の中心点を含む所定範囲内に位置するか否かを判定する判定部と、物体領域のうちの所定範囲内に位置すると判定された物体領域については直交座標で表された形状情報を用い、物体領域のうちの所定範囲外に位置すると判定された物体領域については中心点を原点とする極座標で表された形状情報を用いて、互いに異なる入力画像から検出された物体領域の類似度を算出し、類似度に基づいて物体領域どうしの対応付けを行う対応付け部と、を備える。

本発明に係る画像処理装置は、魚眼レンズを用いる撮影部によって順次撮影された複数の入力画像のそれぞれから物体領域を検出する検出部と、物体領域毎に、当該物体領域が、入力画像の中心点を含む所定範囲内に位置するか否かを判定する判定部と、互いに異なる入力画像から検出された物体領域のうちの少なくとも一方が所定範囲内に位置すると判定された物体領域どうしについては直交座標で表された形状情報を用いて当該物体領域どうしの類似度を算出し、互いに異なる入力画像から検出された物体領域のうちの両方が所定範囲外に位置すると判定された物体領域どうしについては中心点を原点とする極座標で表された形状情報を用いて当該物体領域どうしの類似度を算出し、類似度に基づいて物体領域どうしの対応付けを行う対応付け部と、を備える。

本発明に係る画像処理装置は、魚眼レンズを用いる撮影部によって順次撮影された複数の入力画像のそれぞれから物体領域を検出する検出部と、物体領域毎に、当該物体領域が、入力画像の中心点を含む所定範囲内に位置するか否かを判定する判定部と、物体領域について、直交座標で表された形状情報及び中心点を原点とする極座標で表された形状情報を算出する算出する算出部と、互いに異なる入力画像から検出された物体領域について、直交座標で表された形状情報どうしの第１の類似度と、極座標で表された形状情報どうしの第２の類似度を算出し、当該第１の類似度、当該第２の類似度、及び当該物体領域のそれぞれと中心点との距離に基づいて、当該物体領域どうしの対応付けを行う対応付け部と、を備える。

本発明に係る画像処理装置は、魚眼レンズを用いる撮影部によって順次撮影された複数の入力画像のそれぞれから物体領域を検出する検出部と、物体領域毎に、当該物体領域が、入力画像の中心点を含む所定範囲内に位置するか否かを判定する判定部と、物体領域について、直交座標で表された形状情報及び中心点を原点とする極座標で表された形状情報を算出する算出する算出部と、互いに異なる入力画像から検出された物体領域について、直交座標で表された形状情報どうしの第１の類似度と、極座標で表された形状情報どうしの第２の類似度を算出し、当該第１の類似度及び当該第２の類似度のうち高い方の類似度に基づいて、当該物体領域どうしの対応付けを行う対応付け部と、を備える。

本発明に係る画像処理装置は、魚眼レンズを用いる撮影部によって順次撮影された複数の入力画像のそれぞれから物体領域を検出する検出部と、物体領域毎に、当該物体領域が、入力画像の中心点を含む所定範囲内に位置するか否かを判定する判定部と、物体領域のうちの所定範囲内に位置すると判定された物体領域については直交座標で表された形状情報を用い、物体領域のうちの所定範囲外に位置すると判定された物体領域については中心点を原点とする極座標で表された形状情報を用いて、物体領域が所定の検出対象であるか否かを判定する検出対象判定部と、を備える。

本発明に係る画像処理装置によって、魚眼レンズ等を用いて撮影された画像に映っている物体の追跡や当該物体が検出対象であるか否かの判定を、当該画像の歪みを補正することなく、高精度かつ低コストで実現することが可能となる。

画像センサ１の概略構成の一例を示す図である。 （ａ）は、背景画像の一例を示す図であり、（ｂ）は、入力画像の一例を示す図である。 物体領域の検出結果の一例を示す図である。 物体位置判定処理の一例を説明するための模式図である。 形状情報算出処理の一例を説明するための模式図である。 追跡処理の対象となる物体領域の一例を示す図である。 追跡処理の結果の一例を示す図である。 全体処理のフローチャートの一例を示す図である。 追跡処理のフローチャートの一例を示す図である。 追跡処理のフローチャートの一例を示す図である。

以下、図面を参照しつつ、本発明の様々な実施形態について説明する。ただし、本発明の技術的範囲はそれらの実施形態に限定されず、特許請求の範囲に記載された発明とその均等物に及ぶ点に留意されたい。

（画像処理装置の概要）
本実施形態の画像処理装置は、撮影部によって順次撮影された複数の入力画像から、当該入力画像に映っている物体を追跡し、当該物体が検出対象であるか否かの判定等を行う。なお、検出対象は、画像処理装置が監視する監視空間内において検出される物体であり、人物、動物、移動物体（車両等）等である。

例えば、画像処理装置は、魚眼レンズ等の所定の画角以上の光学系を用いる撮影部によって順次撮影された複数の入力画像のそれぞれから物体領域を検出する。次に、画像処理装置は、物体領域毎に、当該物体領域が、入力画像の中心点を含む所定範囲内に位置するか否かを判定する。次に、画像処理装置は、順次撮影された複数の入力画像のうちの互いに異なる入力画像から検出された物体領域の類似度を算出する。類似度の算出では、物体領域のうちの所定範囲内に位置すると判定された物体領域については直交座標で表された形状情報が用いられ、物体領域のうちの所定範囲外に位置すると判定された物体領域については中心点を原点とする極座標で表された形状情報が用いられる。そして、画像処理装置は、対応付け結果に基づいて、入力画像に映っている物体を追跡し、当該物体が検出対象であるか否かの判定等の処理を実行する。

画像処理装置は、例えば、建物の屋内又は屋外に設置される画像センサ１である。以下、画像センサ１の概略構成について説明する。

（画像センサ１の概略構成）
図１は、画像センサ１の概略構成の一例を示す図である。

本実施の形態における画像センサ１は、監視空間を撮影した入力画像から検出した物体領域に映っている物体を追跡するとともに、当該物体領域に映っている物体が検出対象か否かを判定する機能を備える。なお、画像センサ１は、物体領域に映っている物体が検出対象か否かを判定する機能を備えていなくてもよい。例えば、画像センサ１は、物体領域に映っている物体の追跡のみを行うものであってもよい。

具体的には、本実施の形態における画像センサ１は、後述する全方位カメラ等の撮影部１１によって撮影された監視空間の入力画像を順次取得し、入力画像から物体領域を順次検出するとともに当該物体領域を追跡する。そして、画像センサ１は、追跡している物体領域について、検出対象か否かを判定する。

以下、画像センサ１の検出対象が人物であり、かつ、監視空間が屋内である場合において実施される画像センサ１を例にして説明する。なお、画像センサ１の検出対象は、人物に限らず、動物や車両等であってもよい。また、監視空間は、屋外であっても、屋内及び屋外の両方であってもよい。

本実施の形態における画像センサ１は、監視空間において人物を検出すると、外部の監視センタ又は警備装置等にその検出結果を出力する。監視センタ又は警備装置では、受け取った検出結果に応じた対応（例えば、監視者への通報等）が実施される。なお、画像センサ１は、物体領域の追跡結果を外部に出力してもよい。

図１に示すように、本実施の形態における画像センサ１は、少なくとも、撮影部１１、記憶部１２、処理部１３、出力部１４から構成され、これら各部は、同一筐体内に収容される。なお、画像センサ１を構成する撮影部１１は、記憶部１２、処理部１３及び出力部１４が収容される筐体とは異なる筐体に収容されてもよい。また、記憶部１２は、処理部１３が収容される筐体から離れた位置に設けられてもよい。この場合、処理部１３は、図示しない所定の通信ネットワーク等を介して、記憶部１２から各種処理に必要な情報を取得する。

以下、画像センサ１を構成する撮影部１１、記憶部１２、処理部１３及び出力部１４について詳細に説明する。

（撮影部１１）
撮影部１１は、所定の画角以上の光学系を用いる全方位カメラである。所定の画角以上の光学系は、例えば魚眼レンズである。なお、光学系は、魚眼レンズに限らず、所定の画角（例えば１４０度）以上の光学系であれば、どのようなものでもよい。

撮影部１１は、近赤外光又は可視光に感度を有する光電変換器で構成された２次元検出器と、２次元検出器上に監視空間の像を結像する結像光学系と、２次元検出器から出力された電気信号を増幅し、アナログ／デジタル（Ａ／Ｄ）変換する電気回路等を有する。２次元検出器は、ＣＣＤ（Ｃｈａｒｇｅ－Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）素子又はＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）素子等である。

撮影部１１は、監視空間の天井等に設置され、真下の監視空間を一定の時間間隔（例えば１／５秒）ごとに撮影する。例えば、撮影部１１が用いる魚眼レンズの光軸が鉛直下方向となるように、天井に設置される。撮影部１１は、一定の時間間隔ごとに順次撮影した監視空間の画像データをＡ／Ｄ変換することでデジタル画像を生成し、生成したデジタル画像を入力画像として処理部１３に順次出力する。

なお、撮影部１１は、処理部１３に入力画像を順次出力せずに、後述する記憶部１２又は撮影部１１に設けられたメモリ装置（図示せず）等に、入力画像を時系列に従って記憶してもよい。この場合、処理部１３は、記憶部１２又はメモリ装置等から入力画像を順次読み出し、各種処理を実行する。

（記憶部１２）
記憶部１２は、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の半導体メモリ装置、又は、ハードディスク、光ディスク等を備える。記憶部１２は、処理部１３での処理に用いられるプログラム、データ、パラメータ等を記憶する。なお、プログラムは、例えば、コンピュータ読み取り可能な可搬型記録媒体から、公知のセットアッププログラム等を用いて記憶部１２にインストールされてもよい。なお、可搬型記録媒体は、ＣＤ－ＲＯＭ（ｃｏｍｐａｃｔ ｄｉｓｋ ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）、ＤＶＤ－ＲＯＭ（ｄｉｇｉｔａｌ ｖｅｒｓａｔｉｌｅ ｄｉｓｋ ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）等である。

また、記憶部１２は、データとして、背景画像１２１及び原点座標１２２を記憶する。

背景画像１２１は、撮影部１１によって撮影された、人物等の検出対象が存在しないと想定される場合における監視空間の画像であり、後述する背景画像更新部１３６によって記憶部１２に記憶され、適宜更新される。

原点座標１２２は、入力画像における原点の座標であり、後述する物体位置判定部１３２で用いられる。原点座標１２２は、例えば、入力画像を撮影した撮影部１１が有する光学系の光軸に対応する中心点を示す、入力画像上の座標である。なお、原点座標１２２は、入力画像の略中央の座標でもよく、また、予め監視者等によって指定された座標であってもよい。

本実施の形態において、原点座標１２２は、予め記憶部１２に記憶されているが、これに限らない。例えば、処理部１３によって入力画像が解析され、公知の方法を用いて光学系の光軸に対応する中心点等が特定されて、特定された中心点等の座標が原点座標１２２として記憶部１２に記憶されてもよい。なお、処理部１３において背景画像１２１又は原点座標１２２が使用されない場合、使用されない背景画像１２１又は原点座標１２２は記憶部１２に記憶されなくてもよい。

（処理部１３）
処理部１３は、一又は複数個のプロセッサ及びその周辺回路を備える。処理部１３は、画像センサ１の全体的な動作を統括的に制御するものであり、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）である。処理部１３は、記憶部１２に記憶されているプログラムに基づいて処理を実行する。

処理部１３は、少なくとも物体領域検出部１３１、物体位置判定部１３２、形状情報算出部１３３、追跡部１３４、検出対象判定部１３５及び背景画像更新部１３６を備える。これらの各部は、処理部１３が備えるプロセッサで実行されるプログラムにより実現される機能モジュールである。あるいは、これらの各部は、ファームウェアとして画像センサ１に実装されてもよい。以下、処理部１３が備える各部について説明する。

（物体領域検出部１３１）
物体領域検出部１３１は、入力画像から、検出対象が映っている可能性がある領域を物体領域として検出する物体領域検出処理を実行する。本実施の形態における物体領域検出部１３１は、背景差分処理を用いて入力画像から物体領域を検出する。以下、背景差分処理を用いた物体領域検出処理を、図２及び３を参照して説明する。

まず、物体領域検出部１３１は、撮影部１１から入力画像１２３を取得すると、記憶部１２に記憶されている背景画像１２１を読み出す。図２（ａ）は、特定の監視空間を撮影した背景画像１２１の一例を示す図であり、また、図２（ｂ）は、図２（ａ）によって示される背景画像１２１と同じ特定の監視空間を撮影した入力画像１２３の一例を示す図である。

図２（ａ）において、背景画像１２１内の原点座標１２２の位置は、背景画像１２１の略中央である。なお、背景画像１２１内の原点座標１２２の位置には、マーク等は表示されない。図２（ａ）に示す背景画像１２１は、屋内の天井に設置された撮影部１１によって撮影された画像であり、撮影部１１が有する光学系の光軸方向は、略鉛直方向である。

図２（ｂ）において、入力画像１２３内の原点座標１２２の位置は、入力画像１２３の略中央である。図２（ｂ）に示す入力画像１２３は、図２（ａ）に示す背景画像１２１と同じ屋内の天井に設置された撮影部１１によって撮影された画像であり、撮影部１１が有する光学系の光軸方向は、略鉛直方向である。入力画像１２３には、人物１２３１及び人物１２３２が映っている。

物体領域検出部１３１は、取得した入力画像１２３と読み出した背景画像１２１の差分の絶対値を算出する。次に、物体領域検出部１３１は、算出した絶対値について閾値処理を行い、差分があると判定した画素（２値化した差分画像）を検出する。

次に、物体領域検出部１３１は、公知のラベリング手法などを用いることにより、差分があると判定した画素に対してラベル付けを行う。例えば、物体領域検出部１３１は、差分があると判定した画像のうち、８連結で隣接する画素をひとまとまりとしてラベル領域とする。

次に、物体領域検出部１３１は、近接する複数のラベル領域について、所定の面積や位置関係にあるラベル領域の組を抽出し、抽出したラベル領域の組を同一物体であるとして統合し、一つのラベル領域にする。例えば、物体領域検出部１３１は、検出対象が人物である場合、統合したときの面積や位置関係が、人物相当の大きさに収まるラベル領域の組を１つのラベル領域にする。なお、物体領域検出部１３１は、原点座標１２２を原点とする極座標で規定したラベル領域の外形形状に基づいてラベル領域の面積を算出して、上述の処理に使用する。また、物体領域検出部１３１は、ラベル領域の重心位置を、ラベル領域の位置として算出して、上述の処理に使用する。

なお、人物相当の大きさは、画像上の位置によって異なる。そのため、監視者等は、予め画像の位置毎に対応する人物の面積を記憶部１２に記憶しておく。そして、物体領域検出部１３１は、ラベル領域の組を１つのラベル領域に統合する際に、統合する対象のラベル領域の組の位置に対応する面積を記憶部１２から読み出してラベル領域の統合処理に使用する。

そして、物体領域検出部１３１は、統合処理を終了した後、ラベル領域を物体領域として検出する。図３は、物体領域の検出結果の一例を示す図である。図３に示すように、物体領域検出部１３１による物体領域検出処理によって、入力画像１２３内の人物１２３１及び人物１２３２に対応する物体領域１２３３及び１２３４が検出される。

なお、物体領域検出部１３１による物体領域の検出方法は、前述した方法に限らない。物体領域検出部１３１は、入力画像から人物相当の物体領域の検出できる方法であればどのような方法でも使用することができ、例えば、フレーム間差分処理等を用いて、物体領域を検出してもよい。この場合、記憶部１２は背景画像１２１を記憶しなくてもよく、処理部１３は、後述する背景画像更新部１３６を備えなくてもよい。また、物体領域の検出は、これらに限らず、公知の方法を用いればよい。

（物体位置判定部１３２）
物体位置判定部１３２は、入力画像１２３の原点座標１２２と、物体領域検出部１３１によって検出された各物体領域との位置関係を判定する。本実施の形態における物体位置判定部１３２は、物体領域検出部１３１によって検出された各物体領域の位置が、原点座標１２２によって示される原点付近か又は原点付近外かを判定する物体位置判定処理を実行する。以下、物体位置判定処理を、図４を参照して説明する。

まず、物体位置判定部１３２は、記憶部１２から原点座標１２２を読み出し、原点座標１２２から、物体領域検出部１３１によって検出された各物体領域までの最短距離が所定範囲内であれば、各物体領域が「原点付近」に位置すると判定する。また、物体位置判定部１３２は、原点座標１２２から、物体領域検出部１３１によって検出された各物体領域までの最短距離が所定範囲外であれば、各物体領域は「原点付近外」に位置すると判定する。

例えば、図４に示すように、物体位置判定部１３２は、原点座標１２２から各物体領域までの最短距離が２０ピクセル未満（図４（ａ）の点線の円内）である場合、各物体領域が「原点付近」に位置すると判定する。また、物体位置判定部１３２は、原点座標１２２から各物体領域までの最短距離が２０ピクセル以上（図４（ａ）の点線の円外）である場合、各物体領域は「原点付近外」に位置すると判定する。なお、原点から各物体領域までの最短距離が所定範囲内か否かを判定するための所定範囲は、２０ピクセル未満に限定されず、２５ピクセル未満でも、３０ピクセル未満でもよい。

図４（ｂ）に示す例では、物体領域１２３３は「原点付近」に位置すると判定され、また、物体領域１２３４は「原点付近外」に位置すると判定される。

なお、物体位置判定部１３２は、原点座標１２２から各物体領域の重心座標までの距離を用いて物体位置判定処理を実行してもよい。

また、記憶部１２は、予め原点付近領域（例えば、原点座標を中心とする半径２０ピクセルの円領域）を記憶してもよい。この場合、物体位置判定部１３２は、原点座標から各物体領域の距離を算出せずに、各物体領域が記憶部１２に記憶された原点付近領域に重畳するか否かを判定することで、各物体領域は原点付近か又は原点付近外かを判定する。また、この場合、物体位置判定部１３２は、各物体領域が原点付近領域に重畳するか否かを判定せずに、各物体領域に占める原点付近領域の割合に基づいて、各物体領域は原点付近か又は原点付近外かを判定してもよい。

（形状情報算出部１３３）
形状情報算出部１３３は、物体領域検出部１３１によって検出された物体領域から形状情報を算出する形状情報算出処理を実行する。本実施の形態における形状情報算出部１３３は、形状情報として、物体領域の面積及び縦横比を算出する。また、形状情報算出部１３３は、直交座標系で表した形状情報と極座標系で表した形状情報とをそれぞれ算出する。

以下、図５（ａ）を参照して、直交座標系で表した形状情報の算出方法を説明する。形状情報算出部１３３は、物体領域検出部１３１によって検出された各物体領域の外接矩形の縦の長さ及び横の長さが、それぞれＨピクセル及びＴピクセルである場合、次の式（１）及び式（２）によって形状情報（面積及び縦横比）を算出する。

次に、図５（ｂ）を参照して、極座標系で表した形状情報の算出方法を説明する。形状情報算出部１３３は、物体領域検出部１３１によって検出された各物体領域に外接する、原点を通過する２つの線分と原点を中心とした２つの弧とによって構成される形状の形状情報（面積及び縦横比）を算出する。

形状情報算出部１３３は、各物体領域に外接する形状を構成する２つの孤のうちの原点に近い孤の半径がＲピクセルであり、当該２つの孤のうちの原点から遠い孤の半径が（Ｒ＋Ｈ）ピクセルであり、各物体領域に外接する形状を構成する２つの線分によって形成される角の大きさがＴ（ｒａｄ）であり、半径Ｒの円の面積がＳＣ１であり、半径（Ｒ＋Ｈ）の円の面積がＳＣ２である場合、次の式（３）及び式（４）によって形状情報（面積及び縦横比）を算出する。なお、式（４）については、Ｒに代えて、原点から物体領域の重心までの長さＧ（ピクセル）を用いてもよい。

なお、形状情報算出部１３３は、面積及び縦横比の両方を形状情報として算出したが、面積及び縦横比のいずれか一方を形状情報として算出してもよい。また、形状情報算出部１３３は、面積及び縦横比以外の指標（例えば、各物体領域に外接する形状の２本の対角線の長さ及び相対角度等）を形状情報として算出してもよい。また、形状情報算出部１３３は、後述する追跡部１３４や検出対象判定部１３５において対応付けに使用することが決定した一方の座標系の形状情報のみを算出してもよい。

（追跡部１３４）
追跡部１３４は、形状情報算出部１３３によって算出された形状情報に基づいて、物体領域を追跡する追跡処理を実行する。本実施の形態における追跡部１３４は、形状情報算出部１３３で算出された形状情報に基づいて、今回の入力画像から検出された物体領域と前回の入力画像から検出された物体領域とについて、同一の物体とみなせるものどうしを対応付けることで追跡を行う。

なお、追跡部１３４は、前回の入力画像から検出されたいずれの物体領域とも対応付けが行われなかった物体領域は、今回の入力画像において新たに検出された物体が映っている物体領域であると判定し、追跡を開始する。また、追跡部１３４は、前回の入力画像から検出された物体領域のうち、今回の入力画像と対応付けられない物体領域は、監視空間の外に出た（消失した）物体が映っている領域であると判定し、追跡を終了する。

本実施の形態における追跡部１３４は、形状情報算出部１３３によって算出された形状情報を用いて、今回の入力画像から検出された物体領域と前回の入力画像から検出された物体領域との組み合せ毎にそれぞれ判定評価値を算出する。そして、追跡部１３４は、算出した判定評価値を用いて、公知のハンガリアン法等を用いて全体最適化を行い、今回の物体領域と前回の物体領域の組み合わせ毎の判定評価値の和が最大となるように、物体領域どうしの対応付けを再度実施する。なお、追跡部１３４は、判定評価値が閾値以下である物体領域の組み合せについては対応付けない。

本実施の形態における判定評価値は、以下の式（５）によって求められる。なお、縦横比類似度Ｃ及び面積類似度Ｄの詳細については後述する。

なお、追跡部１３４は、面積及び縦横比のどちらか一方の評価値を判定評価値としてもよい。また、面積及び縦横比以外の形状情報を用いて判定評価値を求めてもよい。

また、判定評価値の算出方法はこれに限らず、例えば、追跡部１３４は、縦横比類似度Ｃ及び面積類似度Ｄのそれぞれに重みを乗じてから平均値を算出し、当該算出した平均値を判定評価値としてもよい。または、追跡部１３４は、縦横比類似度Ｃ及び面積類似度Ｄのそれぞれを２乗した値の和のルート値（すなわち、相乗平均）を判定評価値として算出してもよい。

また、追跡部１３４は、全体最適化を用いた物体領域どうしの対応付けを実施しなくてもよい。例えば、追跡部１３４は、判定評価値が閾値以上、かつ最大となる物体領域どうしを対応付けるようにしてもよい。

以下、縦横比類似度Ｃ及び面積類似度Ｄの算出方法について説明する。縦横比類似度Ｃは、前回の物体領域の縦横比をＲ１、今回の物体領域の縦横比をＲ２とした場合、以下の式（６）によって算出される。

面積類似度Ｄは、前回の物体領域の面積をＳ１、今回の物体領域の面積をＳ２とした場合以下の式（７）によって算出される。

追跡部１３４は、縦横比類似度Ｃ及び面積類似度Ｄを算出する際、物体位置判定部１３２によって判定された原点と物体領域の位置関係に応じて、極座標系で表した形状情報及び直交座標系で表した形状情報のいずれか一方を用いる。

例えば、追跡部１３４は、物体位置判定部１３２によって、今回の物体領域が「原点付近」と判定された場合には、直交座標系の形状情報を用いる。例えば、形状情報として縦横比が用いられる場合、式（６）において、Ｒ１及びＲ２のいずれも直交座標系で算出されたものが使用される。

また、例えば、追跡部１３４は、物体位置判定部１３２によって、今回の物体領域が「原点付近外」と判定された場合には、極座標系の形状情報を用いる。例えば、形状情報として縦横比が用いられる場合、式（６）において、Ｒ１及びＲ２のいずれも極座標系で算出されたものが用いられる。

なお、追跡部１３４は、前回の物体領域の位置関係に応じて、縦横比類似度Ｃ及び面積類似度Ｄを算出する処理において用いられる座標系を決定してもよい。また、追跡部１３４は、前回の物体領域の位置関係と今回の物体領域の位置関係の両方を用いて、縦横比類似度Ｃ及び面積類似度Ｄを算出する処理において使用する座標系を決定してもよい。この場合、例えば、追跡部１３４は、前回と今回の物体領域のどちらか一方が「原点付近」であれば直交座標系の形状情報を用い、前回と今回の物体領域の両方とも「原点付近外」であれば極座標系の形状情報を用いる。

以下、図６及び図７を用いて、追跡部１３４による追跡処理の結果について説明する。

図６及び図７に示す例では、時刻ｔ、時刻ｔ＋１、時刻ｔ＋２、時刻ｔ＋３、時刻ｔ＋４、時刻ｔ＋５及び時刻ｔ＋６のそれぞれにおいて撮影された入力画像から抽出された物体領域をそれぞれ示している。なお、時刻ｔ、時刻ｔ＋１、時刻ｔ＋２、時刻ｔ＋３、時刻ｔ＋４、時刻ｔ＋５及び時刻ｔ＋６は、時系列に従った時刻である。以降、各時刻（ｔ～ｔ＋６）において撮影された入力画像から抽出された物体領域を、単に、各時刻（ｔ～ｔ＋６）の物体領域と称する場合がある。

図７（ａ）に示されるように、時刻ｔの物体領域は、「原点付近外」において新たに検出された物体が映っている領域である。したがって、当該物体領域は、この時刻ｔの物体領域と対応付けられていない。

図７（ｂ）に示されるように、時刻ｔの物体領域と時刻ｔ＋１の物体領域とが対応付けられている。このとき、時刻ｔ＋１の物体領域は「原点付近外」であるため、時刻ｔの物体領域と時刻ｔ＋１の物体領域の対応付けにおいて、時刻ｔの物体領域と時刻ｔ＋１の物体領域の両方とも極座標系の形状情報が用いられる。仮に、時刻ｔの物体領域と時刻ｔ＋１の物体領域の両方とも直交座標系の形状情報が用いられた場合、極座標系の形状情報が用いられた場合に比べて類似度が低くなることが分かる。

図７（ｃ）に示されるように、時刻ｔ＋１の物体領域と時刻ｔ＋２の物体領域とが対応付けられている。このとき、時刻ｔ＋２の物体領域は「原点付近」であるため、時刻ｔ＋１の物体領域と時刻ｔ＋２の物体領域の対応付けにおいて、時刻ｔ＋１の物体領域と時刻ｔ＋２の物体領域の両方とも直交座標系の形状情報が用いられる。なお、図７（ｃ）の例では、時刻ｔ＋１の物体領域とｔ＋２の物体領域の両方とも極座標系の形状情報が用いられても、類似度は同程度となる。

図７（ｄ）に示されるように、時刻ｔ＋２の物体領域と時刻ｔ＋３の物体領域とが対応付けられている。このとき、時刻ｔ＋３の物体領域は「原点付近」であるため、時刻ｔ＋２の物体領域と時刻ｔ＋３の物体領域の対応付けにおいて、時刻ｔ＋２の物体領域と時刻ｔ＋３の物体領域の両方とも直交座標系の形状情報が用いられる。仮に、時刻ｔ＋２の物体領域と時刻ｔ＋３の物体領域の両方とも極座標系の形状情報が用いられた場合、直交座標系の形状情報が用いられた場合に比べて類似度が低くなることが分かる（例えば、時刻ｔ＋３の物体領域におけるＴが、時刻ｔ＋２の物体領域におけるＴよりも大きいことが分かる。）。

図７（ｅ）に示されるように、時刻ｔ＋３の物体領域と時刻ｔ＋４の物体領域とが対応付けられている。このとき、時刻ｔ＋４の物体領域は「原点付近」であるため、時刻ｔ＋３の物体領域と時刻ｔ＋４の物体領域の対応付けにおいて、時刻ｔ＋３の物体領域と時刻ｔ＋４の物体領域の両方とも直交座標系の形状情報が用いられる。仮に、時刻ｔ＋３の物体領域と時刻ｔ＋４の物体領域の両方とも極座標系の形状情報が用いられた場合、直交座標系の形状情報が用いられた場合に比べて類似度が低くなることが分かる。

図７（ｆ）に示されるように、時刻ｔ＋４の物体領域と時刻ｔ＋５の物体領域とが対応付けられている。このとき、時刻ｔ＋５の物体領域は「原点付近外」であるため、時刻ｔ＋４の物体領域と時刻ｔ＋５の物体領域の対応付けにおいて、時刻ｔ＋４の物体領域と時刻ｔ＋５の物体領域の両方とも極座標系の形状情報が用いられる。この場合、時刻ｔ＋４の物体領域と時刻ｔ＋５の物体領域との類似度が低くなってしまう。しかし、前述したように、どちらか一方が原点付近の場合に直交座標系を用いるようにすれば当該対応付けにおいて、時刻ｔ＋４の物体領域と時刻ｔ＋５の物体領域の一方が「原点付近」であるため、時刻ｔ＋４の物体領域と時刻ｔ＋５の物体領域の両方とも直交座標系の形状情報が用いられ、類似度が高くなる。

図７（ｇ）に示されるように、時刻ｔ＋５の物体領域と時刻ｔ＋６の物体領域とが対応付けられている。このとき、時刻ｔ＋６の物体領域は「原点付近外」であるため、時刻ｔ＋５の物体領域と時刻ｔ＋６の物体領域の対応付けにおいて、時刻ｔ＋５の物体領域と時刻ｔ＋６の物体領域の両方とも極座標系の形状情報が用いられる。仮に、時刻ｔ＋５の物体領域と時刻ｔ＋６の物体領域の両方とも直交座標系の形状情報が用いられた場合、極座標系の形状情報が用いられた場合に比べて類似度が低くなることが分かる。

（検出対象判定部１３５）
検出対象判定部１３５は、物体領域検出部１３１によって検出された物体領域が検出対象であるか否かを判定する検出対象判定処理を実行する。本実施の形態における検出対象判定部１３５は、物体領域検出部１３１によって検出された物体領域が人物であるか否かを判定する。

まず、検出対象判定部１３５は、追跡している物体領域毎に、人物らしさを表す人属性値を順次算出する。例えば、人属性値は、入力変化領域の大きさによる特徴量ａ１と、入力変化領域の縦横比による特徴量ａ２と、入力変化領域の移動量による特徴量ａ３に重み付けをして、その総和を求めることにより算出される。

特徴量ａ１、ａ２、ａ３に対する重み付けをｂ１、ｂ２、ｂ３として、判定部３５は人属性値を次の式により求める。
人属性値＝ａ１×ｂ１＋ａ２×ｂ２＋ａ３×ｂ３
ただし、ｂ１＋ｂ２＋ｂ３＝１

例えば、入力変化領域の大きさが人らしさに最も寄与すると想定した場合、重み付けｂ１、ｂ２、ｂ３は、ｂ１＝０．５，ｂ２＝０．３，ｂ３＝０．２等に設定される。

なお、人属性値の算出方法は、上述の算出方法に限らず、例えば、面積が人物らしい大きさであったり背景画像のエッジを隠していたりする場合に人属性値が大きな値になるように算出される算出方法であれば、どのような算出方法でもよい。

なお、検出対象判定部１３５は、物体領域が人物らしい面積か否かを判定する際に、前述したラベル領域の統合処理と同様に、予め記憶部１２に記憶された、画像上の位置に対応付けて人物相当の面積と、物体領域の面積とを比較してもよい。そして、この場合、検出対象判定部１３５は、追跡している物体領域について、人属性値の時間的な蓄積値や平均値が閾値以上となった場合に、当該物体領域を「人物」と判定する。

また、検出対象判定部１３５は、人以外らしさ（例えば、影、光、植栽、虫、小動物らしさ）を表す人以外属性値を、公知の算出方法によって算出してもよい。この場合、検出対象判定部１３５は、人以外属性値の時間的な蓄積値や平均値が閾値以下となった場合に、当該物体領域を「人物」と判定する。なお、検出対象判定部１３５は、人属性値と人以外属性値を組み合わせて、人属性値の時間的な蓄積値や平均値が閾値以上であり、かつ、人以外属性値の蓄積値や平均値が閾値以下となった場合に、当該物体領域を「人物」と判定してもよい。検出対象の判定方法は、上述した方法に限らず、人物であると判定することができる方法であれば、どのような判定方法でもよい。

（背景画像更新部１３６）
背景画像更新部１３６は、記憶部１２に背景画像を記憶する背景画像更新処理を実行する。例えば、背景画像更新部１３６は、物体領域や検出対象が検出されていない入力画像によって背景画像を更新する。

具体的には、背景画像更新部１３６は、検出対象判定部１３５によって人物（検出対象）が検出されなかったと判定された場合、及び、物体領域検出部１３１で物体領域が検出されなかった場合に、背景画像を更新する。なお、背景画像更新部１３６は、所定の時間間隔で背景画像を更新してもよく、また、照明の変動などを検知した場合に背景画像を更新してもよい。また、所定の時間間隔で背景画像が更新される場合、背景画像更新部１３６は、人物（検出対象）はいないが、追跡している物体領域があれば、背景画像の更新速度を緩めてもよい。

（出力部１４）
出力部１４は、処理部１３によって実行された各種処理結果を外部の監視センタ又は警備装置等に出力する。本実施の形態における出力部１４は、検出対象判定部１３５による判定結果を外部に出力する。例えば、検出対象判定部１３５によって監視空間内に人物（検出対象）がいると判定された場合に、出力部１４は、その判定結果を外部に出力する。なお、出力部１４は、追跡部１３４による追跡結果を外部に出力してもよい。

図８は、全体処理のフローチャートの一例を示す図である。

まず、物体領域検出部１３１は、撮影部１１によって順次出力された入力画像１２３を取得する画像取得処理を実行する（ステップＳ１０１）。

次に、物体領域検出部１３１は、取得した入力画像１２３に対して物体領域検出処理を実行する（ステップＳ１０２）。

物体領域検出部１３１は、物体領域検出処理によって物体領域が検出されなかった場合（ステップＳ１０３－Ｎｏ）、背景画像更新部１３６に背景画像更新処理の実行を指示し、ステップＳ１１０に処理を進める。

物体領域検出部１３１は、物体領域検出処理によって物体領域が検出された場合（ステップＳ１０３－Ｙｅｓ）、物体位置判定部１３２に物体位置判定処理の実行を指示し、ステップＳ１０４に処理を進める。

物体位置判定部１３２は、物体領域検出部１３１からの指示に応じて、物体領域検出処理によって検出された各物体領域の位置が、原点座標１２２によって示される原点付近か又は原点付近外かを判定する物体位置判定処理を実行する（ステップＳ１０４）。

次に、形状情報算出部１３３は、物体位置判定処理による判定結果に応じた形状情報を算出する形状情報算出処理を実行する（ステップＳ１０５）。

次に、追跡部１３４は、物体位置判定処理によって算出された形状情報に基づいて、物体領域を追跡する追跡処理を実行する（ステップＳ１０６）。追跡処理の詳細は後述する。

次に、検出対象判定部１３５は、入力画像１２３から検出された物体領域が検出対象であるか否かを判定する検出対象判定処理を実行する（ステップＳ１０７）。

検出対象判定部１３５は、入力画像１２３から検出された全ての物体領域のそれぞれが検出対象でないと判定した場合（ステップＳ１０８－Ｎｏ）、背景画像更新部１３６に背景画像更新処理の実行を指示し、ステップＳ１１０に処理を進める。

検出対象判定部１３５は、入力画像１２３から検出された物体領域の中に検出対象である物体領域があると判定した場合（ステップＳ１０８－Ｙｅｓ）、出力部１４に出力処理の実行を指示する。

出力部１４は、検出対象判定部１３５の判定結果（入力画像１２３から検出された物体領域が検出対象であるという結果）を外部に出力し（ステップＳ１０９）。ステップＳ１０１に処理を戻す。

また、背景画像更新部１３６は、新たな背景画像を記憶部１２に記憶する背景画像更新処理を実行する（ステップＳ１１０）。

図９は、追跡処理のフローチャートの一例を示す図である。

追跡部１３４は、前回の物体領域と今回の物体領域の組合せを抽出する（ステップＳ２０１）。例えば、前回の物体領域として物体領域Ａ～Ｃが抽出され、今回の物体領域として物体領域Ｄ～Ｅが抽出されている場合、組合せとして、ＡＤ、ＢＤ、ＣＤ、ＡＥ、ＢＥ、ＣＥの６組が抽出される。以下、抽出された組合せ毎に、ステップＳ２０２～ステップＳ２０５が繰り返し実行される。

次に、追跡部１３４は、抽出した組合せに含まれる前回の物体領域と今回の物体領域のそれぞれの位置が、原点付近か又は原点付近外かに応じて、処理を変更する（ステップＳ２０２）。例えば、本実施の形態では、追跡部１３４は、今回の物体領域の位置に応じて位置を変更する。なお、追跡部１３４は、前述したように、前回の物体領域の位置に応じて処理を変更してもよい。

追跡部１３４は、抽出した組合せに含まれる今回の物体領域の位置が、原点付近であると判定された場合（ステップＳ２０２－Ｙｅｓ）、当該組合せに含まれる前回と今回の物体領域について直交座標系の形状情報の使用を決定し（ステップＳ２０３）、ステップＳ２０５に処理を進める。

追跡部１３４は、抽出した組合せに含まれる今回の物体領域の位置が、原点付近外であると判定された場合（ステップＳ２０２－Ｎｏ）、当該組合せに含まれる前回と今回の物体領域について極座標系の形状情報の使用を決定し（ステップＳ２０４）、ステップＳ２０５に処理を進める。

ステップＳ１０５では、追跡部１３４は、抽出した組合せ毎に、今回の物体領域について使用が決定された形状情報と前回の物体領域について使用が決定された形状情報とに基づいて判定評価値を算出する（ステップＳ２０５）。

次に、追跡部１３４は、ステップＳ２０１で抽出された全ての組合せについて、判定評価値算出処理が実行されたか否かを判定する（ステップＳ２０６）。

追跡部１３４は、ステップＳ２０１で抽出された全ての組合せについて、判定評価値算出処理が実行されていないと判定された場合（ステップＳ２０６－Ｎｏ）、ステップＳ２０２に処理を戻す。

追跡部１３４は、ステップＳ２０１で抽出された全ての組合せについて、判定評価値算出処理が実行されたと判定された場合（ステップＳ２０６－Ｙｅｓ）、組合せに含まれる前回の物体領域と今回の物体領域を対応付ける対応付け処理を実行し（ステップＳ２０７）、一連のステップを終了する。

図１０は、追跡処理のフローチャートの他の一例を示す図である。

追跡部１３４は、ステップＳ２０１と同様に、前回の物体領域と今回の物体領域との組合せを抽出する（ステップＳ３０１）。以下、抽出された組合せ毎に、ステップＳ３０２～ステップＳ３０５が繰り返し実行される。

次に、追跡部１３４は、抽出した組合せに含まれる前回の物体領域と今回の物体領域の両方が原点付近外であるか否かを判定する（ステップＳ３０２）。

追跡部１３４は、抽出した組合せに含まれる前回の物体領域と今回の物体領域の両方が、原点付近外であると判定された場合（ステップＳ３０２－Ｙｅｓ）、当該組合せについて極座標系の形状情報の使用を決定し（ステップＳ３０３）、ステップＳ３０５に処理を進める。

追跡部１３４は、抽出した組合せに含まれる前回の物体領域と今回の物体領域のどちらか一方が、原点付近であると判定された場合（ステップＳ３０２－Ｎｏ）、当該組合せについて直交座標系の形状情報の使用を決定し（ステップＳ３０４）、ステップＳ３０５に処理を進める。

ステップＳ３０５では、追跡部１３４は、抽出した組合せについて、今回の物体領域について使用が決定された形状情報と前回の物体領域について使用が決定された形状情報とに基づいて判定評価値を算出する（ステップＳ３０５）。

次に、追跡部１３４は、ステップＳ３０１で抽出された全ての組合せについて、判定評価値算出処理が実行されたか否かを判定する（ステップＳ３０６）。

追跡部１３４は、ステップＳ３０１で抽出された全ての組合せについて、判定評価値算出処理が実行されていないと判定された場合（ステップＳ３０６－Ｎｏ）、ステップＳ３０２に処理を戻す。

追跡部１３４は、ステップＳ３０１で抽出された全ての組合せについて、判定評価値算出処理が実行されたと判定された場合（ステップＳ３０６－Ｙｅｓ）、組合せに含まれる前回の物体領域と今回の物体領域を対応付ける対応付け処理を実行し（ステップＳ３０７）、一連のステップを終了する。

上述のとおり、画像センサ１は、順次撮影された複数の画像のそれぞれから抽出された各物体領域を、当該物体領域の形状情報に基づいて他の画像から抽出された物体領域に対応付ける対応付け処理の計算負荷を抑えつつ、当該処理を高精度に実行することができる。すなわち、本発明に係る画像センサ１によって、全方位画像等を用いた物体領域の追跡を、リアルタイムに高精度かつ低コストで実現することが可能となる。

（変形例１）
なお、本発明は、本実施形態に限定されるものではない。例えば、追跡部１３４は、以下に詳述する算出方法によって、縦横比類似度Ｃ及び面積類似度Ｄを算出するようにしてもよい。

追跡部１３４は、前述の式（６）に従って、直交座標系で算出した形状情報に基づく縦横比類似度Ｃ１、極座標系で算出した形状情報に基づく縦横比類似度Ｃ２をそれぞれ算出する。次に、追跡部１３４は、以下の式（８）によって、入力画像の原点と物体領域の距離に応じた重みＷ１及びＷ２を、直交座標系で算出した形状情報に基づく縦横比類似度Ｃ１、極座標系で算出した形状情報に基づく縦横比類似度Ｃ２に掛け合わせることで縦横比類似度Ｃを算出する。

例えば、今回の物体領域の位置関係が「原点付近」（例えば、前述の所定範囲が２０ピクセル）であれば、追跡部１３４は、以下の式（９）及び式（１０）によって重みＷ１及びＷ２を決定する。

また、今回の物体領域の位置関係が「原点付近外」であれば、追跡部１３４は、以下の式（１１）によって重みＷ１及びＷ２を決定する。

なお、追跡部１３４は、今回の物体領域の位置関係に応じて重みを決定したが、当該決定方法に限らない。例えば、追跡部１３４は、前回の物体領域の位置関係に応じて、重みを決定してもよい。

また、追跡部１３４は、前回の物体領域の位置関係と今回の物体領域の位置関係の両方を用いて、重みの算出に使用する物体領域を決定してもよい。例えば、追跡部１３４は、前回と今回の物体領域のうち原点からの距離が短い方の物体領域の位置関係に応じて前述の式（９）～（１１）によって重みＷ１及びＷ２を決定してもよい。この場合、追跡部１３４は、物体位置判定部１３２において算出された原点から物体領域までの距離に関する情報を取得してもよい。

なお、追跡部１３４は、面積類似度Ｄについても、上述の縦横比類似度Ｃと同様の算出方法で算出してもよい。

（変形例２）
また、追跡部１３４は、直交座標系で算出した形状情報に基づく縦横比類似度Ｃ１、極座標系で算出した形状情報に基づく縦横比類似度Ｃ２をそれぞれ算出し、類似度が高い方を縦横比類似度Ｃとして用いられてもよい（式（１２））。

なお、追跡部１３４は、面積類似度Ｄについても、上述の縦横比類似度Ｃと同様の算出方法で算出してもよい（式（１３））。

（変形例３）
また、追跡処理において、「直交座標系の形状情報と極座標系の形状情報との切り換え」方法が使用されたが、例えば、検出対象判定処理において、物体領域が検出対象であるか否かを判定する際にも「直交座標系の形状情報と極座標系の形状情報との切り換え」方法が使用されてもよい。

例えば、検出対象判定部１３５は、前回の物体領域の形状情報と今回の物体領域の形状情報を比較して、変化の有無に基づいて当該物体領域が検出対象であるか否かを判定してもよい。これにより、検出対象（人物）であれば、面積や縦横比などの形状情報が時間的に変化しない（安定している）という撮影画像上の特徴に基づいて、精度良く検出対象を判定することができる。

検出対象判定部１３５は、形状情報の時間的な変化の有無を判定する際に、追跡処理と同様に、入力画像の原点と物体領域の位置関係に応じて、直交座標系の形状情報と極座標系の形状情報を切り換えて、変化の有無を確認する。この場合、追跡処理については、前述の方法で追跡を行ってもよいし、他の公知の方法によって追跡を行ってもよい。

当業者は、本発明の精神及び範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。

１ 画像センサ
１１ 撮影部
１２ 記憶部
１２１ 背景画像
１２２ 原点座標
１３ 処理部
１３１ 物体領域検出部
１３２ 物体位置判定部
１３３ 形状情報算出部
１３４ 追跡部
１３５ 検出対象判定部
１３６ 背景画像更新部
１４ 出力部

Claims (5)

1. 魚眼レンズを用いる撮影部によって順次撮影された複数の入力画像のそれぞれから物体領域を検出する検出部と、
   前記物体領域毎に、当該物体領域が、前記入力画像の中心点を含む所定範囲内に位置するか否かを判定する判定部と、
   前記物体領域のうちの前記所定範囲内に位置すると判定された物体領域については直交座標で表された形状情報を用い、前記物体領域のうちの前記所定範囲外に位置すると判定された物体領域については前記中心点を原点とする極座標で表された形状情報を用いて、互いに異なる前記入力画像から検出された前記物体領域の類似度を算出し、前記類似度に基づいて前記物体領域どうしの対応付けを行う追跡部と、
   を備えたことを特徴とする画像処理装置。
2. 魚眼レンズを用いる撮影部によって順次撮影された複数の入力画像のそれぞれから物体領域を検出する検出部と、
   前記物体領域毎に、当該物体領域が、前記入力画像の中心点を含む所定範囲内に位置するか否かを判定する判定部と、
   互いに異なる前記入力画像から検出された前記物体領域のうちの少なくとも一方が前記所定範囲内に位置すると判定された物体領域どうしについては直交座標で表された形状情報を用いて当該物体領域どうしの類似度を算出し、互いに異なる前記入力画像から検出された前記物体領域のうちの両方が前記所定範囲外に位置すると判定された物体領域どうしについては前記中心点を原点とする極座標で表された形状情報を用いて当該物体領域どうしの類似度を算出し、前記類似度に基づいて前記物体領域どうしの対応付けを行う追跡部と、
   を備えたことを特徴とする画像処理装置。
3. 魚眼レンズを用いる撮影部によって順次撮影された複数の入力画像のそれぞれから物体領域を検出する検出部と、
   前記物体領域毎に、当該物体領域が、前記入力画像の中心点を含む所定範囲内に位置するか否かを判定する判定部と、
   前記物体領域について、直交座標で表された形状情報及び前記中心点を原点とする極座標で表された形状情報を算出する算出する算出部と、
   互いに異なる前記入力画像から検出された前記物体領域について、前記直交座標で表された形状情報どうしの第１の類似度と、前記極座標で表された形状情報どうしの第２の類似度を算出し、当該第１の類似度、当該第２の類似度、及び当該物体領域のそれぞれと前記中心点との距離に基づいて、当該物体領域どうしの対応付けを行う追跡部と、
   を備えたことを特徴とする画像処理装置。
4. 魚眼レンズを用いる撮影部によって順次撮影された複数の入力画像のそれぞれから物体領域を検出する検出部と、
   前記物体領域毎に、当該物体領域が、前記入力画像の中心点を含む所定範囲内に位置するか否かを判定する判定部と、
   前記物体領域について、直交座標で表された形状情報及び前記中心点を原点とする極座標で表された形状情報を算出する算出する算出部と、
   互いに異なる前記入力画像から検出された前記物体領域について、前記直交座標で表された形状情報どうしの第１の類似度と、前記極座標で表された形状情報どうしの第２の類似度を算出し、当該第１の類似度及び当該第２の類似度のうち高い方の類似度に基づいて、当該物体領域どうしの対応付けを行う追跡部と、
   を備えたことを特徴とする画像処理装置。
5. 魚眼レンズを用いる撮影部によって順次撮影された複数の入力画像のそれぞれから物体領域を検出する検出部と、
   前記物体領域毎に、当該物体領域が、前記入力画像の中心点を含む所定範囲内に位置するか否かを判定する判定部と、
   前記物体領域の形状情報を用いて、互いに異なる前記入力画像から検出された前記物体領域の類似度を算出し、前記類似度に基づいて前記物体領域どうしの対応付けを行う追跡部と、
   前記追跡部により対応付けられた前記物体領域のうちの前記所定範囲内に位置すると判定された物体領域については直交座標で表された形状情報を用い、前記追跡部により対応付けられた前記物体領域のうちの前記所定範囲外に位置すると判定された物体領域については前記中心点を原点とする極座標で表された形状情報を用いて、前記物体領域が所定の検出対象であるか否かを判定する検出対象判定部と、
   を備えたことを特徴とする画像処理装置。

Images