JP4882577B2 - 物体追跡装置およびその制御方法、物体追跡システム、物体追跡プログラム、ならびに該プログラムを記録した記録媒体 - Google Patents

Description

本発明は、互いに異なる時刻で撮影した複数の撮影画像に基づいて、該撮影画像中の物体を追跡する物体追跡装置およびその制御方法、物体追跡システム、物体追跡プログラム、ならびに該プログラムを記録した記録媒体に関するものである。

従来、車両、人、物などの物体の動きをカメラによって動画像として撮影し、その動画像を解析することによって、撮影されている物体を追跡する物体追跡システムが提供されており、例えば特許文献１〜３に開示されている。物体を追跡することにより、物体が所定領域を通過する数を測定することができ、物体の速度や動線を把握することができる。

さらに、物体追跡システムは、例えば自動車の動きを認識することによって交通管制や自動車運転アシストなどの用途に用いることが可能である。また、例えば公共の場での通行人、および店舗内での客などの動きを認識することによって、通行状況調査、および顧客行動調査などの用途に用いることが可能である。また、例えば工場の生産ラインにおける生産対象物の動き、ならびに作業者の動きを認識することによって、生産管理、生産計画などの用途に用いることが可能である。

このような物体追跡システムでは、互いに異なる時刻での撮影による複数の撮影画像間で、撮影画像中の同一物体を対応付けることにより物体を追跡している。例えば、特許文献１には、ビデオカメラや気象レーダー装置などにより得られる時系列画像の濃度変化に応じて、時系列画像中の対象物体の動きを計測することにより、物体の追跡を行うことが開示されている。

また、特許文献２に記載の物体追跡装置では、複数のカメラで物体を撮像し、撮像した複数の画像からステレオ画像処理によって、上記物体までの距離を計測し、計測した距離を用いて物体を検出している。そして、検出した物体の領域から、画像の輝度情報などの特徴量をテンプレートとして抽出し、マッチングを行って物体の追跡を行っている。

また、特許文献３に記載の前方車両追跡システムでは、レーザレーダを用いて自車両の進行方向前方をスキャニングして、前方車両とその位置とを検出するとともに、前方車両までの距離とを計測する。前方車両を検出した場合、検出した前方車両の位置に対応する撮影画像上の位置に、上記前方車両の追跡用テンプレートを作成し、作成した追跡用テンプレートから、上記距離変化による大きさ変化を考慮してテンプレートマッチングを行うことにより車両追跡を行っている。
特開平１０−１９７５４３号公報（平成１０年(1998)７月３１日公開） 特開平１１−２５２５８７号公報（平成１１年(1999)９月１７日公開） 特開２００４−５３２７８号公報（平成１６年(2004)２月１９日公開）

上記のような物体の追跡処理をリアルタイムに処理する場合、処理時間を短くすることが必要となる。例えば車両などのように対象物の移動が高速である場合には、動画像における単位時間あたりのフレーム数を多くする必要があるが、この場合、各フレーム間の時間が短くなり、この短いフレーム間の時間内で上記対応付けを完了させる必要がある。

本発明は、上記の問題点に鑑みてなされたものであり、その目的は、物体の追跡処理の高速化を実現できる物体追跡装置などを提供することにある。

上記課題を解決するため、本発明に係る物体追跡装置は、互いに異なる時点での撮影によって作成された複数の撮影画像を取得する画像取得手段と、取得した複数の撮影画像に基づいて、該撮影画像中の物体を追跡する物体追跡手段とを備える物体追跡装置であって、過去の撮影による撮影画像中の物体の部分的形状を特徴付ける特徴点を含む上記撮影画像の一部領域を参照相関窓として、該参照相関窓の画像情報を記憶する記憶手段をさらに備えており、上記画像取得手段は、互いに異なる位置から同時に撮影された複数の撮影画像であるステレオ撮影画像を、或る時点に撮影された上記撮影画像として取得しており、上記物体追跡手段は、上記画像取得手段が取得した上記ステレオ撮影画像のうち少なくとも２つの撮影画像を利用して、上記特徴点を抽出すると共に、抽出した特徴点の実際の位置に関する情報である実位置情報を算出する特徴点抽出手段と、該特徴点抽出手段が抽出した特徴点を含む上記撮影画像の一部領域であって、上記特徴点抽出手段が算出した上記特徴点の実位置情報に基づいて算出されたサイズを有する上記撮影画像の一部領域を、対象相関窓として設定する相関窓設定手段と、該相関窓設定手段が設定した対象相関窓の画像と、上記記憶手段が記憶する参照相関窓の画像とを、サイズを揃えて照合する照合手段とを備えることを特徴としている。

また、本発明に係る物体追跡装置の制御方法は、互いに異なる時点での撮影によって作成された複数の撮影画像を取得し、取得した複数の撮影画像に基づいて、該撮影画像中の物体を追跡する物体追跡装置であって、過去の撮影による撮影画像中の物体の部分的形状を特徴付ける特徴点を含む上記撮影画像の一部領域を参照相関窓として、該参照相関窓の画像情報を記憶する記憶手段を備える物体追跡装置の制御方法であって、上記課題を解決するために、互いに異なる時点での撮影によって作成された複数の撮影画像を取得する画像取得ステップと、取得した複数の撮影画像に基づいて、該撮影画像中の物体を追跡する物体追跡ステップとを含んでおり、上記画像取得ステップは、互いに異なる位置から同時に撮影された複数の撮影画像であるステレオ撮影画像を、或る時点に撮影された上記撮影画像として取得しており、上記物体追跡ステップは、上記画像取得ステップにて取得された上記ステレオ撮影画像のうち少なくとも２つの撮影画像を利用して、上記特徴点を抽出すると共に、抽出した特徴点の実際の位置に関する情報である実位置情報を算出する特徴点抽出ステップと、該特徴点抽出ステップにて抽出された特徴点を含む上記撮影画像上の一部領域であって、上記特徴点抽出ステップにて算出された特徴点の実位置情報に基づいて算出されたサイズを有する上記撮影画像の一部領域を、対象相関窓として設定する相関窓設定ステップと、該相関窓設定ステップにて設定された対象相関窓の画像と、上記記憶手段が記憶する参照相関窓の画像とを、サイズを揃えて照合する照合ステップとを含むことを特徴としている。

ここで、撮影画像は、物体を追跡可能な画像であれば、カラー画像であってもよいし、輝度情報のみを含む白黒画像であってもよい。また、撮影画像は、例えば鮮鋭化処理などのように、物体の追跡を容易にするための画像処理が行われた画像であってもよい。

また、特徴点の例としては、撮影画像または処理画像において輝度急激に変化する部分が挙げられる。また、実位置情報の例としては、撮影を行う撮影装置から特徴点までの距離の情報、撮影空間に予め設定された座標上の位置情報、などが挙げられる。

上記の構成または方法によると、ステレオ撮影画像のうち少なくとも２つの撮影画像を利用して、特徴点を抽出すると共に、抽出した特徴点の実位置情報を算出している。これにより、特徴点から画像上の物体を特定し、特定した物体の実位置情報を算出する従来の場合に比べて、物体を特定する処理を省略できる。また、撮影画像または処理画像を多数の小領域に分割し、分割した小領域ごとに実位置情報を算出する従来の場合に比べて、実位置情報を算出する回数を減少できる。したがって、従来の場合に比べて、撮影画像から特徴点の実位置情報を算出するまでの処理を高速化することができる。

また、抽出した特徴点を含む対象相関窓を設定し、設定した対象相関窓の画像と参照相関窓の画像とを照合している。これにより、物体を含むテンプレートを用いて探索対象の画像に対しテンプレートマッチングを行う従来の場合に比べて、比較するサイズを小さくすることができ、かつ、比較回数を著しく減少することができる。その結果、上記照合の処理を高速化することができる。

したがって、本発明に係る物体追跡装置および該装置の制御方法は、物体の追跡処理の高速化を実現することができる。

さらに、抽出した特徴点を含む対象相関窓のサイズを、該特徴点の実位置情報に基づいて決定している。これにより、物体が撮影装置に対して接近または離間することにより、撮影画像上の物体のサイズが変化しても、対象相関窓のサイズを同様に変化させることができる。したがって、参照相関窓および対象相関窓のサイズを、特徴点に対応する物体の部分的形状に適合したサイズとすることができるので、参照相関窓の画像と対象相関窓の画像との照合の精度をさらに向上させることができる。

なお、画像取得手段または画像取得処理は、互いに異なる時点に撮影された複数の撮影画像を、動画像として連続的に取得してもよいし、静止画像として間欠的に取得してもよい。

本発明に係る物体追跡装置では、前記照合手段は、上記対象相関窓の画像および上記参照相関窓の画像に関して、大きい方のサイズを小さい方のサイズに縮小して照合することが好ましい。この場合、小さい方のサイズで画像どうしの照合が行われるので、照合の処理に必要な演算量を抑えることができる。したがって、物体の追跡処理をさらに高速化することができる。

ところで、通常、画像を拡大または縮小する場合に補間処理が行われる。このとき、画像を拡大する場合に比べて、画像を縮小する場合の方が、上記補間処理によって画像の誤情報が混入する可能性が低い。したがって、上記の構成によると、照合の精度をさらに向上させることができ、その結果、物体を精度良く追跡することができる。

本発明に係る物体追跡装置では、上記物体追跡手段は、上記参照相関窓に含まれる特徴点の位置に基づいて、該特徴点が移動し得る範囲を探索範囲として設定する探索範囲設定手段をさらに備えており、上記照合手段は、上記探索範囲設定手段が設定した探索範囲内に特徴点を含む対象相関窓の画像と、上記参照相関窓の画像とを照合することが好ましい。

ここで、特徴点が移動し得る範囲は、例えば、特徴点の進行方向および速度、特徴点に対応する物体が到達可能な最高速度、上記物体に対する制約された進行方向などを利用して設定することができる。また、フレーム毎に照合処理を実行する場合であって、フレーム間で物体がさほど移動しない場合、特徴点から所定範囲内を特徴点が移動し得る範囲としてもよい。

上記の構成によると、照合の対象となる対象相関窓を、探索範囲内に特徴点を有するものに限定するので、対象相関窓の画像を参照相関窓の画像に照合する回数を減少させることができる。したがって、物体の追跡処理をさらに高速化することができる。

ところで、ステレオ撮影画像を利用すると、撮影画像上の位置と実際の位置との間の変換処理を容易に実行できる。したがって、探索範囲は、画像上の位置の範囲であってもよいし、実際の位置の範囲であってもよい。

また、特徴点抽出手段が探索範囲内の特徴点のみを抽出してもよいし、相関窓設定手段が探索範囲内の特徴点に対してのみ対象相関窓を設定してもよい。これらの場合、特徴点の抽出処理や対象相関窓の設定処理の処理数を減らすことができるので、物体の追跡処理をさらに高速化することができる。

ところで、撮影画像中の物体のサイズと、撮影を行う撮影装置から上記物体までの撮影距離とは、反比例の関係にある。すなわち、撮影画像中の物体の部分的形状のサイズと、撮影装置から上記部分的形状を特徴付ける特徴点までの撮影距離とは、反比例の関係にある。

そこで、上記実位置情報は、上記撮影を行う撮影装置から上記特徴点までの撮影距離の情報であり、上記記憶手段は、上記参照相関窓に含まれる特徴点に関する上記撮影距離の情報を、該当する参照相関窓に関連付けて記憶しており、上記相関窓設定手段は、式：（上記参照相関窓のサイズ）＝（上記対象相関窓のサイズ）×（上記対象相関窓に含まれる特徴点に関する上記撮影距離）／（上記参照相関窓に含まれる特徴点に関する上記撮影距離）、に基づいて上記参照相関窓のサイズを決定することが好ましい。

ところで、撮影画像上の物体の形状は時間と共に変化する。このため、参照相関窓が対応する撮影画像の撮影時刻と、対象相関窓が対応する撮影画像の撮影時刻との期間が長くなるにつれて、照合の精度が低下することになる。

そこで、上記照合手段は、上記照合の結果、上記参照相関窓に画像が最も類似する対象相関窓に関する情報を、新たな参照相関窓に関する情報として上記記憶手段に記憶することが好ましい。この場合、最近の撮影画像に関する参照相関窓を利用して照合を行うことができるので、照合の精度が低下することを防止できる。なお、新たな参照相関窓に関する情報は、既存の参照相関窓の情報に対して、追加するように記憶手段に記憶してもよいし、更新するように記憶手段に記憶してもよい。

本発明に係る物体追跡装置では、上記記憶手段は、上記参照相関窓に対応する撮影画像が撮影された撮影時点に関する情報を、上記参照相関窓と関連付けて記憶していることが好ましい。この場合、参照相関窓が対応する撮影画像の撮影時点から、対象相関窓が対応する撮影画像の撮影時点まで期間を算出できるので、特徴点の速度を算出することができる。なお、撮影時点に関する情報としては、撮影時刻の情報の他に、フレームの通し番号などが挙げられる。

ところで、撮影画像中に含まれる特徴点の数は、１個の場合もあれば、複数個の場合もある。撮影画像中に複数の特徴点が含まれる場合には、個々の特徴点を追跡できることが望ましい。そこで、上記記憶手段は、異なる特徴点に関する複数の参照相関窓に関する情報を記憶していることが好ましい。この場合、照合処理は、参照相関窓ごとに行われることになる。

なお、互いに異なる位置から同時に撮影する第１撮影部および第２撮影部を備えた撮影装置と、該撮影装置から、互いに異なる時点に撮影された複数の撮影画像を取得し、取得した複数の撮影画像に基づいて、該撮影画像中の物体を追跡する上記構成の物体追跡装置とを備える物体追跡システムであれば、上述と同様の効果を奏する。

なお、上記物体追跡装置における物体追跡手段を、物体追跡プログラムによりコンピュータ上で機能させることができる。さらに、上記物体追跡プログラムをコンピュータ読取り可能な記録媒体に記憶させることにより、任意のコンピュータ上で上記物体追跡プログラムを実行させることができる。

以上のように、本発明に係る物体追跡装置は、特徴点を抽出し、抽出した特徴点を含む対象相関窓を設定し、設定した対象相関窓の画像と参照相関窓の画像とを照合しているので、物体を特定する処理を省略でき、したがって、物体の追跡処理を高速化できるという効果を奏する。さらに、抽出した特徴点を含む対象相関窓のサイズを、該特徴点の実位置情報に基づいて決定することにより、参照相関窓および対象相関窓のサイズを、特徴点に対応する物体の部分的形状に適合したサイズとすることができるので、参照相関窓の画像と対象相関窓の画像との照合の精度をさらに向上できるという効果を奏する。

〔実施の形態１〕
本発明の一実施形態について図１〜図８を参照して説明する。

（物体追跡システムの構成）
図１は、本実施形態に係る物体追跡システム１の概略構成を示している。本実施形態の物体追跡システム１は、道路を走行中の車両を追跡して、車両の数および速度を測定するものであるが、本発明はこれに限定されるものではない。図示のように、物体追跡システム１は、撮影装置２、物体追跡装置３、および表示装置４を備える構成である。

撮影装置２は、道路の上方に設置され、道路の所定領域を俯瞰撮影するものである。撮影装置２は、道路の所定領域を互いに異なる位置から同時に撮影する第１撮像部５および第２撮像部６を備えている。第１撮像部５および第２撮像部６は、例えばＣＣＤ（charge coupled device）やＣＭＯＳ（complementary metal oxide semiconductor）撮像素子などの撮像素子によって構成される。第１撮像部５および第２撮像部６は、撮影した時系列の撮影画像データを物体追跡装置３に送信する。

本実施形態では、撮影装置２は、ビデオ撮影を行い、撮影した動画像データを時系列の撮影画像データとして物体追跡装置３に送信している。なお、以下では、第１撮像部５および第２撮像部６が撮影した２組の動画像データを「ステレオ動画像データ」と総称する。また、上記２組の動画像データのうち、或るフレームにおける２組の静止画像データを「ステレオ撮影画像データ」と総称する。

なお、撮影装置２は、第１撮像部５および第２撮像部６を一体に備えるステレオカメラによって構成されてもよいし、第１撮像部５および第２撮像部６として２台のカメラによって構成されてもよい。撮影装置２が２台のカメラによって構成されている場合、第１撮像部５および第２撮像部６は、上記撮影に必要な各種パラメータが予め相互に校正されているものとする。また、カメラ間の距離が既知であり、物体追跡装置３に記憶されているものとする。

また、撮影装置２は、３つ以上の撮像部を備える構成であってもよい。撮影部が増えると、被写体の実際の位置に関する情報である実位置情報を精度良く取得できる。また、撮影装置２は、スチル撮影を間欠的に行って、静止画像のデータを物体追跡装置３に間欠的に送信しても良い。なお、スチル撮影を行う間隔が変化する場合には、撮影時刻のデータを物体追跡装置３に送信する必要がある。

物体追跡装置３は、撮影装置２が互いに異なる時刻に撮影することによって作成された複数の撮影画像に基づいて、該撮影画像中に含まれる車両を追跡するものである。物体追跡装置３は、追跡結果のデータを表示装置４に送信する。

本実施形態の物体追跡装置３では、撮影装置２から取得したステレオ撮影画像を利用して、撮影画像中の物体の部分的形状を特徴付ける特徴点を抽出すると共に、抽出した特徴点の実際の位置（実位置）を算出している。これにより、特徴点から画像上の物体を特定し、特定した物体の実位置を算出する従来の場合に比べて、物体を特定する処理を省略できる。また、撮影画像を多数の小領域に分割し、分割した小領域ごとに実位置を算出する場合に比べて、実位置を算出する回数が少なくて済む。したがって、本実施形態の物体追跡装置３は、従来の場合に比べて、撮影画像から特徴点の実位置を算出するまでの処理を高速化することができる。

また、本実施形態の物体追跡装置３では、抽出した特徴点を含む対象相関窓を設定し、設定した対象相関窓の画像と参照相関窓の画像とを照合している。これにより、物体を含むテンプレートを用いて探索対象の画像に対しテンプレートマッチングを行う場合に比べて、比較するサイズを小さくすることができ、かつ、比較回数を著しく減少することができる。その結果、上記照合の処理を高速化することができる。

したがって、本実施形態の物体追跡装置３は、物体の追跡処理の高速化を実現することができる。なお、物体追跡装置３の詳細な構成については後述する。

表示装置４は、物体追跡装置３による車両の追跡結果を表示するものであり、例えばＣＲＴ（Cathode Ray Tube）、液晶表示素子など、画像の表示を行うことが可能な各種表示デバイスによって構成される。

次に、物体追跡装置３の詳細について説明する。物体追跡装置３は、画像入力部（画像取得手段）７、物体追跡部（物体追跡手段）８、記憶部（記憶手段）９、および表示制御部１０を備える構成である。

画像入力部７は、撮影装置２の第１撮像部５および第２撮像部６が撮影したステレオ動画像データを撮影装置２から受け付けるものである。画像入力部７が受け付けたステレオ動画像データは、記憶部９に記憶される。

記憶部９は、各種の情報を記憶するものであり、例えばＨＤＤ（Hard Disk Drive）、フラッシュメモリなどの記憶デバイスによって構成される。本実施形態では、記憶部９は、撮影装置２からのステレオ動画像データを記憶する。また、記憶部９は、参照相関窓の画像データおよびサイズデータと、撮影装置２から、上記参照相関窓に対応する特徴点までの撮影距離のデータとを関連付けて記憶している。

物体追跡部８は、記憶部９が記憶するステレオ動画像データおよび参照相関窓の画像データを利用して、動画像中の車両を追跡するものである。具体的には、物体追跡部８は、動画像中の車両の部分的形状を特徴付ける特徴点を追跡するものである。物体追跡部８は、特徴点抽出部（特徴点抽出手段）１１、相関窓設定部（相関窓設定手段）１３、および照合部（照合手段）１４を備える構成である。

特徴点抽出部１１は、記憶部９が記憶するステレオ動画像データのうち、最新のフレームのステレオ撮影画像データを記憶部９から読み出し、読み出したステレオ撮影画像データを利用して、撮影画像中の上記特徴点を抽出すると共に、抽出した特徴点の実位置情報を算出するものである。ここで、実位置情報は、実際の位置に関する情報であり、例えば、特徴点の実際の位置における三次元情報や、撮影装置２から特徴点の実際の位置までの撮影距離などが挙げられる。特徴点抽出部１１は、抽出した各特徴点に関して、撮影画像中の座標データと実位置情報のデータとを相関窓設定部１３に送信する。なお、特徴点の抽出方法の詳細と実位置情報の算出方法の詳細とについては後述する。

相関窓設定部１３は、特徴点を含む撮影画像上の小領域、または例えば濃淡画像のような、撮影画像に処理を施した処理画像上の小領域を対象相関窓として設定するものである。相関窓設定部１３は、設定された対象相関窓の画像データを照合部１４に送信する。

本実施形態では、相関窓設定部１３は、特徴点抽出部１１からの各特徴点の実位置情報のデータに基づいて対象相関窓のサイズを決定して、対象相関窓を設定している。これにより、物体が撮影装置２に対して接近または離間することにより、撮影画像上の物体のサイズが変化しても、対象相関窓のサイズを同様に変化させることができる。したがって、参照相関窓および対象相関窓のサイズを、特徴点に対応する物体の部分的形状に適合したサイズとすることができるので、参照相関窓の画像と対象相関窓の画像との照合の精度をさらに向上させることができる。

照合部１４は、相関窓設定部１３から取得した対象相関窓の画像と、記憶部９から取得した参照相関窓の画像とを照合するものである。これにより、照合部１４は、対象相関窓を参照相関窓に対応付けることができる。すなわち、互いに異なる時刻における撮影画像中の特徴点同士を対応付けることができる。なお、照合の詳細については後述する。

なお、対象相関窓のサイズが参照相関窓のサイズと異なる場合、上記照合を行うことが困難となる。そこで、照合部１４は、参照相関窓と対象相関窓とのサイズを揃えてから上記照合を行っている。

照合部１４は、照合の結果、対象相関窓を参照相関窓に対応付けた場合、対応付けた対象相関窓に含まれる特徴点の座標データを、表示制御部１０に送信する。さらに、照合部１４は、対応付けた対象相関窓の画像データを新たな参照相関窓の画像データとして、上記フレームに関する時刻またはフレーム番号のデータと共に記憶部９に記憶させる。なお、上記対象相関窓の画像データは、以前の参照相関窓の画像データを更新するように記憶部９に記憶されてもよい。

表示制御部１０は、表示装置４が表示する表示画像を制御するものである。具体的には、表示制御部１０は、記憶部９が記憶する最新のフレームの撮影画像を表示させると共に、照合部１４からの座標データに基づいて、特徴点の移動を示す情報を表示させるように表示装置を制御する。これにより、ユーザは、物体の移動量を把握することができる。

なお、表示制御部１０は、特徴点の移動を示す情報を、表示装置４に出力する代わりに、印刷装置を介して印刷媒体に印刷したり、記録装置を介して記録媒体に記録したり、通信装置および通信媒体を介して他の装置に伝送したりしてもよい。

（物体追跡処理の流れ）
図２は、上記構成の物体追跡システム１における物体追跡処理の流れを示している。図示のように、まず、ステップ１０１（以降、Ｓ１０１のように称する）において、撮影装置２が道路の所定領域に対し撮影を行うことにより、撮影装置２から１フレームのステレオ撮影画像のデータを物体追跡装置３の画像入力部７が取得する。取得した１フレームのステレオ撮影画像のデータは、記憶部９に記憶される。

次に、特徴点抽出部１１が、記憶部９に記憶されたステレオ撮影画像のデータを利用して、ステレオ撮影画像中の特徴点を抽出すると共に、抽出した特徴点の三次元情報を取得する（Ｓ１０２）。図３は、特徴点抽出部１１が特徴点を抽出する処理の流れを示しており、図４（ａ）〜（ｃ）は、特徴点を抽出する処理の過程で取得される画像を示している。

まず、最新のフレームのステレオ撮影画像のデータを記憶部９から取得する（Ｓ１５０）。図４（ａ）は、記憶部９から取得したステレオ撮影画像のデータから構成されるステレオ撮影画像のうち、何れか１つの撮影画像を示している。

次に、ステレオ撮影画像からエッジの抽出処理が行われる（Ｓ１５１）。図４（ｂ）は、図４（ａ）に示される撮影画像に対しエッジの抽出処理が施された画像を示している。図示のように、上記エッジの抽出処理により、輝度変化が所定値以上であるエッジが抽出される。

なお、上記エッジの抽出処理は、対象が自動車の場合には、水平なエッジを抽出することが好ましく、対象が人の場合には、コーナ部分のエッジを抽出することが好ましい。また、エッジを抽出するフィルタとしては、例えば、Ｓｏｂｅｌフィルタ、Ｈａｒｒｉｓフィルタ、ラプラシアンフィルタなどの公知のフィルタを用いることができる。

次に、ステレオ撮影画像のそれぞれから抽出したエッジの三次元情報を、ステレオ法を用いて算出する（Ｓ１５２）。算出されたエッジの三次元情報から、エッジの道路からの高さを求めることができる。なお、ステレオ法については、公知の文献（例えば、徐剛、辻三郎、「３次元ビジョン」、共立出版株式会社、１９９８年４月２０日、初版）に記載されているので、本願ではその詳細を省略する。

次に、道路からの高さが所定の範囲内にあるエッジを特徴点として抽出する（Ｓ１５４）。ここで、上記所定の範囲とは、上記エッジが自動車由来のものである可能性が高いと判断される範囲のことであり、例えば、路面や床よりも高く、看板や天井よりも低い範囲等である。図４（ｃ）は、抽出された複数のエッジのうち、自動車のエッジである可能性が高いエッジのみを残した状態を示している。この残ったエッジが特徴点として抽出される。ステップ１５４の後、特徴点の抽出処理を終了して、元のルーチンに戻る。なお、図４（ｃ）に示されるように、特徴点が複数個存在する場合には、特徴点ごとに以下の処理が行われる。

図２に戻ると、相関窓設定部１３が、特徴点抽出部１１が抽出した特徴点に関する対象相関窓を設定する（Ｓ１０３）。このとき、設定される対象相関窓のサイズは、撮影装置２から上記特徴点の実際の位置までの撮影距離に基づいて決定される。この撮影距離は、図３に示されるステップ１５２において、ステレオ法を用いてエッジの三次元情報を算出する場合に求めることができる。

相関窓設定部１３が行う対象相関窓の設定処理の詳細について、図５〜図８を参照して説明する。図５は、物体の三次元上の位置を、撮影装置２を基準として示すカメラ座標（Ｘ，Ｙ，Ｚ）と、物体の画像上の位置を示す画像座標（ｘ，ｙ）との関係を示している。物体に関して、実際の三次元上の位置（Ｘ，Ｙ，Ｚ）と画像上の位置（ｘ，ｙ）との対応関係は、次式で表すことができる。なお、撮影装置２の焦点距離をｆとし、スカラー量の係数をｓとする。

式（１）を展開すると、ｘ＝ｆ×Ｘ／Ｚ，ｙ＝ｆ×Ｙ／Ｚとなる。すなわち、物体の画像中の大きさは、撮影装置２から上記物体までの撮影距離Ｚに反比例することになる。したがって、相関窓設定部１３は、記憶部９から読み出した参照相関窓の画像データに対応付けられたサイズデータおよび撮影距離のデータと、特徴点抽出部１１が抽出した特徴点の撮影距離のデータとを用いて、次式により対象相関窓のサイズを算出する。
（対象相関窓のサイズ）＝（参照相関窓のサイズ）×（参照相関窓に含まれる特徴点に関する撮影距離）／（特徴点抽出部が抽出した特徴点に関する撮影距離） ・・・（２）。

そして、相関窓設定部１３は、特徴点抽出部１１が抽出した特徴点を含む対象相関窓を、式（２）から算出したサイズで設定する。

図６は、以前のフレームにおけるステレオ撮影画像のうち、何れか１つの撮影画像と、該撮影画像に設定された参照相関窓ＲＷとを示している。また、図７（ａ）・（ｂ）は、図４（ａ）に示されるような最新のフレームにおける撮影画像を示している。このうち、図７（ａ）は、本実施形態の一例であって、式（２）から算出したサイズで対象相関窓ＴＷを設定する場合を示している。また、図７（ｂ）は、本実施形態の比較例であって、参照相関窓ＲＷのサイズと同じサイズで対象相関窓ＴＷ’を設定する場合を示している。なお、対象相関窓ＴＷ，ＴＷ’は、相関窓設定部１３が設定するものの一部のみを図示している。

図６に示される以前のフレームの撮影画像と、図７（ａ）および（ｂ）に示される最新のフレームの撮影画像とを比較すると、車両が撮影装置２側に接近しており、このため、車両の画像上の大きさが増大していることが理解できる。このため、図７（ｂ）に示されるように、参照相関窓ＲＷのサイズと対象相関窓ＴＷ’のサイズとを同じにした場合、参照相関窓ＲＷに含まれる車両の部分的形状が、対象相関窓ＴＷ’からはみ出す虞がある。このとき、参照相関窓ＲＷと対象相関窓ＴＷ’との正確な照合が困難となる。

また、この問題点を回避するために、参照相関窓ＲＷおよび対象相関窓ＴＷ’のサイズを大きくすることが考えられる。しかしながらこの場合、照合すべき画素数が増加して演算量が増大し、その結果、物体の追跡処理が遅延することになる。

これに対し、本実施形態では、式（２）から算出したサイズで対象相関窓ＴＷを設定しているため、図７（ａ）に示されるように、参照相関窓ＲＷに含まれる車両の部分的形状が、対象相関窓ＴＷに過不足無く含まれることになる。したがって、参照相関窓ＲＷと対象相関窓ＴＷとの正確な照合が可能となる。

ところで、従来のテンプレートマッチングにおいて、テンプレートを上記撮影距離に応じて拡大または縮小することが考えられる。図８は、図６に示される参照相関窓ＲＷの画像をテンプレートとして、テンプレートマッチングを行う場合を比較例として示している。この場合、図示のように、撮影画像をスキャンしてテンプレートと比較し、テンプレートに類似する撮影画像上の一部分を特定することになる。

しかしながら、上記の場合では、テンプレートの拡大または縮小のため、スキャンする全ての位置の撮影距離を算出する必要がある。このため、演算量が著しく増大することになり、その結果、物体の追跡処理が遅延することになる。

これに対し、本実施形態では、特徴点の存在する位置の撮影距離のみを算出し、図７（ａ）に示されるように、撮影距離に応じた対象相関窓ＴＷを設定しているので、上記のテンプレートマッチングを行う場合に比べて、演算量が少なくて済み、その結果、物体の追跡処理を高速化することができる。

図２に戻ると、照合部１４は、相関窓設定部１３が設定した対象相関窓の画像を、記憶部９が記憶する参照相関窓の画像と照合する（Ｓ１０４）。これにより、照合部１４は、参照相関窓の画像に最も類似する対象相関窓の画像を特定でき、特定した対象相関窓を上記参照相関窓に対応付けることができる。すなわち、互いに異なる時刻における撮影画像中の特徴点同士を対応付けることができる。

この照合の一例としては、参照相関窓のサイズと対象相関窓のサイズとを揃えた上で、次式のような正規化相互相関法などを用いて類似度を算出することが挙げられる。この場合、最も類似度の高い対象相関窓が、参照相関窓と対応付けられる。

ここで、類似度をＳとし、サイズが揃えられた参照相関窓の輝度情報をＧ(t)とし、サイズが揃えられた対象相関窓の輝度情報をＧ(ｔ＋Δｔ)とし、サイズが揃えられた参照相関窓および対象相関窓のサイズをｍ×ｎとしている。なお、時刻ｔは、参照相関窓に関する撮影画像が撮影された時刻を示しており、時刻（ｔ＋Δｔ）は、対象相関窓に関する撮影画像が撮影された時刻を示している。

また、上記照合の他の例としては、参照相関窓のサイズと対象相関窓のサイズとを揃えた上で、対象相関窓および参照相関窓に関して、対応する画素値の差の絶対値の総和（絶対差分和）を求めることが挙げられる。この場合、絶対差分和が最小となる対象相関窓が、最も類似度の高い対象相関窓となるので、該当する対象相関窓を参照相関窓と対応付けられる。

次に、表示制御部１０は、記憶部９が記憶する最新のフレームの撮影画像を表示させると共に、照合部１４の照合の結果、参照相関窓に対応付けられた対象相関窓を表示させるように表示装置を制御する（Ｓ１０５）。これにより、ユーザは、物体の移動量を把握することができる。その後、ステップ１０１に戻って、上記動作を繰り返す。

〔実施の形態２〕
次に、本発明の別の実施形態について図９および図１０を参照して説明する。なお、説明の便宜上、上記実施形態に記載した各構成および各処理と同様の構成および処理については、上記実施形態と同じ符号を用い、その説明を省略する。また、本実施形態の物体追跡システムは、図１に示される物体追跡システム１と比較して、物体追跡装置の物体追跡部が異なるのみであり、その他の構成は同様である。このため、本実施形態では、物体追跡部の構成および処理を主として説明する。

図９は、本実施形態に係る物体追跡システム２０の概略構成を示している。図示のように、物体追跡システム２０は、撮影装置２、物体追跡装置２１、および表示装置４を備える構成である。

物体追跡装置２１は、画像入力部７、物体追跡部２２、記憶部９、および表示制御部１０を備える構成である。物体追跡部２２は、記憶部９が記憶するステレオ動画像データおよび参照相関窓の画像データを利用して、動画像中の車両の特徴点を追跡するものである。物体追跡部２２は、図１に示される物体追跡部８に比べて、相関窓設定部１３および照合部１４の間に画像縮小部（照合手段）２３が追加されている点が異なり、その他の構成は同様である。

画像縮小部２３は、相関窓設定部１３が設定した対象相関窓の画像と、記憶部９が記憶する参照相関窓の画像とのうち、サイズの大きい方をサイズの小さい方に縮小するものである。したがって、照合部１４は、サイズの小さい方に揃えられた対象相関窓および参照相関窓の画像どうしを照合することになる。

図１０は、上記構成の物体追跡システム２０における物体追跡処理の流れを示している。図示のように、まず、撮影装置２が道路の所定領域に対し撮影を行うことにより、撮影装置２から１フレームのステレオ撮影画像のデータを、物体追跡装置２１の画像入力部７が取得して、記憶部９に記憶させる（Ｓ１０１）。

次に、特徴点抽出部１１が、記憶部９に記憶されたステレオ撮影画像のデータを利用して、ステレオ撮影画像中の特徴点を抽出すると共に、抽出した特徴点の三次元情報を取得する（Ｓ１０２）。次に、相関窓設定部１３が、特徴点抽出部１１が抽出した特徴点に関する対象相関窓を設定する（Ｓ１０３）。以上は、図２に示される物体追跡処理と同様である。

次に、画像縮小部２３は、相関窓設定部１３が設定した対象相関窓の画像と、記憶部９が記憶する参照相関窓の画像とのうち、サイズの大きい方をサイズの小さい方に縮小する（Ｓ２０１）。この場合、上記小さい方のサイズで画像どうしの照合が行われるので、照合処理に必要な演算量を抑えることができる。したがって、本実施形態では、物体を迅速に追跡することができる。

その後、図２に示される物体追跡処理と同様に、照合部１４は、相関窓設定部１３が設定した対象相関窓の画像を、記憶部９が記憶する参照相関窓の画像と照合し（Ｓ１０４）、表示制御部１０は、上記照合の結果を表示させるように表示装置４を制御する（Ｓ１０５）。その後、ステップ１０１に戻って、上記動作を繰り返す。

ところで、画像を良好に拡大する場合には、画素どうしの間に新たな画素を追加し、追加の画素の画素値を、付近の画素の画素値に基づいて補間することになる。すなわち、拡大後の画像の情報量（画素値の総数）は、拡大前の画像の既知の情報量よりも多くなる。このため、増加分の情報には、実際とは異なる誤情報が含まれる可能性が高くなる。

一方、画像を良好に縮小する場合には、付近の複数の画素を１つの画素に減らすことになるが、このときも、残存する画素の画素値を、付近の複数の画素の画素値に基づいて補間することになる。しかしながら、縮小後の画像の情報量は、縮小前の画像の既知の情報量よりも少ないので、上記誤情報が含まれる可能性が低い。

したがって、本実施形態では、画像の拡大により誤情報が増加することを防止できるので、照合の精度を向上することができる。その結果、物体を精度良く追跡することができる。なお、補間の方法については、公知の文献（例えば、高木幹雄、外１名、「新編 画像解析ハンドブック」、財団法人東京大学出版会、２００４年９月１０日、初版）に記載されているので、本願ではその説明を省略する。

〔実施の形態３〕
次に、本発明の他の実施形態について図１１〜図１３を参照して説明する。なお、説明の便宜上、上記実施形態に記載した各構成および各処理と同様の構成および処理については、上記実施形態と同じ符号を用い、その説明を省略する。また、本実施形態の物体追跡システムは、図１に示される物体追跡システム１と比較して、物体追跡装置の物体追跡部が異なるのみであり、その他の構成は同様である。このため、本実施形態では、物体追跡部の構成および処理を主として説明する。

図１１は、本実施形態に係る物体追跡システム３０の概略構成を示している。図示のように、物体追跡システム３０は、撮影装置２、物体追跡装置３１、および表示装置４を備える構成である。

物体追跡装置３１は、画像入力部７、物体追跡部３２、記憶部９、および表示制御部１０を備える構成である。物体追跡部３２は、記憶部９が記憶するステレオ動画像データおよび参照相関窓の画像データを利用して、動画像中の車両の特徴点を追跡するものである。物体追跡部３２は、図１に示される物体追跡部８に比べて、特徴点抽出部１１および相関窓設定部１３の間に探索範囲設定部（探索範囲設定手段）３３が追加されている点が異なり、その他の構成は同様である。

探索範囲設定部３３は、照合部１４にて参照相関窓と画像の照合を行う対象相関窓の探索範囲を設定するものである。具体的には、探索範囲設定部３３は、参照相関窓に含まれる特徴点の実位置情報を記憶部９から読み出し、上記特徴点の実際の位置から、車両が移動し得る範囲を上記探索範囲として設定するものである。

また、探索範囲設定部３３は、特徴点抽出部１１が抽出した特徴点のうち、設定した探索範囲内の特徴点のみに関して、撮影画像中の座標データと実位置情報のデータとを相関窓設定部１３に送信する。

ここで、車両が移動し得る範囲とは、参照相関窓に対応する過去の撮影画像のフレームから、現在処理中のフレーム（最新のフレーム）までの期間Δｔに、車両が移動可能な範囲をいう。この範囲は、車両の最高速度、車線などを利用して求めることができる。

本実施形態では、車両の最高速度を利用して上記車両が移動し得る範囲を求めている。このため、車両の最高速度ベクトルｖを上述のカメラ座標系で記憶部９に記憶している。

なお、本実施形態では、探索範囲設定部３３は、特徴点の実位置情報を利用している。しかしながら、上述の式（１）のようにカメラ座標と画像座標とは容易に変換できるので、探索範囲設定部３３は、特徴点の画像上の位置情報を利用することもできる。

図１２は、上記構成の物体追跡システム３０における物体追跡処理の流れを示している。図示のように、まず、撮影装置２が道路の所定領域に対し撮影を行うことにより、撮影装置２から１フレームのステレオ撮影画像のデータを、物体追跡装置３１の画像入力部７が取得して、記憶部９に記憶させる（Ｓ１０１）。特徴点抽出部１１が、記憶部９に記憶されたステレオ撮影画像のデータを利用して、ステレオ撮影画像中の特徴点を抽出すると共に、抽出した特徴点の三次元情報を取得する（Ｓ１０２）。以上は、図２に示される物体追跡処理と同様である。

次に、探索範囲設定部３３は、照合部１４にて参照相関窓と画像の照合を行う対象相関窓の探索範囲を設定する（Ｓ３０１）。具体的には、まず、探索範囲設定部３３は、車両の最高速度ベクトルｖの情報とを記憶部９から読み出し、カメラ座標系での車両の移動し得る範囲（Ｒx，Ｒy，Ｒz）を次式に基づいて算出する。ここで、Δｔは、参照相関窓に対応するフレームに関する時刻から最新のフレームに関する時刻までの期間を示している。

参照相関窓に含まれる特徴点の実位置から、上記式（４）にて算出された範囲（Ｒx，Ｒy，Ｒz）までが、カメラ座標系における上記探索範囲となる。図１３は、図４（ａ）に示されるような最新のフレームにおける撮影画像と、図６に示される参照相関窓ＲＷに対して設定された探索範囲ＳＲとを示している。

次に、探索範囲設定部３３は、特徴点抽出部１１が抽出した特徴点のうち、探索範囲外の特徴点を除外する。残りの特徴点に関しては、図２に示される物体追跡処理と同様に、相関窓設定部１３が対象相関窓を設定する（Ｓ１０３）。そして、照合部１４は、相関窓設定部１３が設定した対象相関窓の画像を、記憶部９が記憶する参照相関窓の画像と照合し（Ｓ１０４）、表示制御部１０は、上記照合の結果を表示させるように表示装置４を制御する（Ｓ１０５）。その後、ステップ１０１に戻って、上記動作を繰り返す。

したがって、本実施形態の物体追跡システム３０は、探索範囲内の特徴点に限定して対象相関窓が設定されるから、相関窓設定部１３および照合部１４における処理量を減らすことができる。その結果、物体追跡処理を高速化することができる。

なお、本実施形態では、特徴点抽出部１１が特徴点の抽出処理および三次元情報の算出処理を行った後に、探索範囲設定部３３が探索範囲の設定処理を行う構成としているが、これに限定されるものではない。

例えば、特徴点抽出部１１が特徴点の抽出処理を行う前に、探索範囲設定部３３が探索範囲の設定処理を行う構成としてもよい。この場合、まず、探索範囲設定部３３が、上述のように探索範囲を設定する。このとき、探索範囲設定部３３は、探索範囲を画像座標系で設定することが望ましい。

次に、特徴点抽出部１１は、図３に示されるように、最新のフレームのステレオ撮影画像のデータを記憶部９から取得し（Ｓ１５０）、ステレオ撮影画像からエッジを抽出する（Ｓ１５１）。次に、特徴点抽出部１１は、抽出したエッジのうち、探索範囲設定部３３が設定した探索範囲内に存在するエッジに関して、三次元情報を算出し（Ｓ１５２）、高さが所定範囲内にあるエッジを特徴点として抽出する（Ｓ１５３）。

したがって、探索範囲内のエッジに限定して特徴点が抽出されるから、特徴点抽出部１１、相関窓設定部１３、および照合部１４における処理量を減らすことができる。その結果、物体追跡処理を高速化することができる。

また、例えば、相関窓設定部１３が対象相関窓の設定処理を行った後に、探索範囲設定部３３が探索範囲の設定処理を行う構成としてもよい。この場合でも、探索範囲内の特徴点を含む対象相関窓に限定して、参照相関窓と照合されるから、照合部１４における処理量を減らすことができる。その結果、物体追跡処理を高速化することができる。

なお、参照相関窓が複数個存在する場合、参照相関窓ごとに対象相関窓との照合を行う必要がある。したがって、上記の場合には、物体追跡装置３１は、撮影画像に含まれる全ての特徴点のそれぞれについて対象相関窓を設定した後、参照相関窓ごとに、探索範囲を設定し、該探索範囲内の対象相関窓との照合を行うことが望ましい。

本発明に係る物体追跡装置３・２１・３１が備える各ブロック、特に、物体追跡部８・２２・３２、および表示制御部１０は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。

すなわち、物体追跡装置３・２１・３１は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである物体追跡装置３・２１・３１の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記物体追跡装置３・２１・３１に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。

上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。

また、物体追跡装置３・２１・３１を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

本発明は、撮影画像から特徴点を抽出し、該特徴点を追跡することにより物体を追跡しているため、道路を走行中の車両を追跡して、車両の数および速度を測定するシステム以外にも、物体の追跡を必要とする種々の装置またはシステムに適用可能である。

本発明の一実施形態である物体追跡システムの概略構成を示すブロック図である。 上記物体追跡システムの物体追跡装置における物体追跡処理の流れを示すフローチャートである。 上記物体追跡処理における特徴点の抽出処理の流れを示すフローチャートである。 同図（ａ）〜（ｃ）は、上記特徴点の抽出処理の過程で取得される画像の一例を示す図であり、同図（ａ）は、上記物体追跡システムの撮影装置が撮影したステレオ撮影画像の一方の撮影画像を示しており、同図（ｂ）は、該撮影画像に対しエッジが抽出された画像を示しており、同図（ｃ）は、抽出された複数のエッジのうち、自動車のエッジである可能性が高いエッジのみを残した画像を示している。 物体の三次元上の位置を、上記撮影装置を基準として示すカメラ座標と、物体の画像上の位置を示す画像座標との関係を示す図である。 以前のフレームにおける上記撮影画像と、該撮影画像に設定された参照相関窓とを示す図である。 同図（ａ）・（ｂ）は、最新のフレームにおける上記撮影画像と、該撮影画像に設定された対象相関窓とを示す図であり、同図（ａ）は、上記撮影装置から上記特徴点までの距離に基づいて対象相関窓のサイズを変更する本実施例を示しており、同図（ｂ）は、対象相関窓のサイズが固定である比較例を示している。 上記参照相関窓の画像をテンプレートとして、最新のフレームにおける上記撮影画像に対してテンプレートマッチングを行う場合を比較例として示す図である。 本発明の別の実施形態である物体追跡システムの概略構成を示すブロック図である。 上記物体追跡システムの物体追跡装置における物体追跡処理の流れを示すフローチャートである。 本発明の他の実施形態である物体追跡システムの概略構成を示すブロック図である。 上記物体追跡システムの物体追跡装置における物体追跡処理の流れを示すフローチャートである。 最新のフレームにおける上記撮影画像と、上記物体追跡装置の探索範囲設定部が上記参照相関窓に対して設定した探索範囲とを示す図である。

符号の説明

１・２０・３０ 物体追跡システム
２ 撮影装置
３・２１・３１ 物体追跡装置
５ 第１撮像部
６ 第２撮像部
７ 画像入力部（画像取得手段）
８・２２・３２ 物体追跡部（物体追跡手段）
９ 記憶部（記憶手段）
１１ 特徴点抽出部（特徴点抽出手段）
１３ 相関窓設定部（相関窓設定手段）
１４ 照合部（照合手段）
２３ 画像縮小部（照合手段）
３３ 探索範囲設定部（探索範囲設定手段）
ＲＷ 参照相関窓
ＴＷ 対象相関窓
ＳＲ 探索範囲

Claims (12)

1. 互いに異なる時点での撮影によって作成された複数の撮影画像を取得する画像取得手段と、取得した複数の撮影画像に基づいて、該撮影画像中の物体を追跡する物体追跡手段とを備える物体追跡装置であって、
   過去の撮影による撮影画像中の物体の部分的形状を特徴付ける特徴点を含む上記撮影画像の一部領域を参照相関窓として、該参照相関窓の画像情報を記憶する記憶手段をさらに備えており、
   上記画像取得手段は、互いに異なる位置から同時に撮影された複数の撮影画像であるステレオ撮影画像を、或る時点に撮影された上記撮影画像として取得しており、
   上記物体追跡手段は、
   上記画像取得手段が取得した上記ステレオ撮影画像のうち少なくとも２つの撮影画像を利用して、上記特徴点を抽出すると共に、抽出した特徴点の実際の位置に関する情報である実位置情報を算出する特徴点抽出手段と、
   該特徴点抽出手段が抽出した特徴点を含む上記撮影画像の一部領域であって、上記特徴点抽出手段が算出した上記特徴点の実位置情報に基づいて算出されたサイズを有する上記撮影画像の一部領域を、対象相関窓として設定する相関窓設定手段と、
   該相関窓設定手段が設定した対象相関窓の画像と、上記記憶手段が記憶する参照相関窓の画像とを、サイズを揃えて照合する照合手段とを備えており、
   上記記憶手段は、上記参照相関窓に含まれる特徴点に関する上記実位置情報を、該当する参照相関窓に関連付けて記憶しており、
   上記実位置情報は、上記撮影を行う撮影装置から上記特徴点までの撮影距離の情報であり、
   上記相関窓設定手段は、上記参照相関窓の画像情報のサイズ情報および該参照相関窓と関連付けて記憶された上記実位置情報が表す上記撮影距離の情報と、上記特徴点抽出手段が抽出した上記特徴点の上記撮影距離の情報とを用いて、上記対象相関窓のサイズを決定することを特徴とする物体追跡装置。
2. 上記照合手段は、上記対象相関窓の画像および上記参照相関窓の画像に関して、大きい方のサイズを小さい方のサイズに縮小して照合することを特徴とする請求項１に記載の物体追跡装置。
3. 上記実位置情報は、上記撮影を行う撮影装置から上記特徴点までの撮影距離の情報であり、
   上記相関窓設定手段は、式：
   （上記対象相関窓のサイズ）＝（上記参照相関窓のサイズ）×（該参照相関窓に含まれる特徴点に関する上記撮影距離）／（上記特徴点抽出手段が算出した上記特徴点に関する上記撮影距離）、
   に基づいて上記対象相関窓のサイズを決定することを特徴とする請求項１または２に記載の物体追跡装置。
4. 上記特徴点抽出手段は、
   上記少なくとも２つの撮影画像を利用して、輝度変化が所定値以上であるエッジを抽出すると共に、抽出されたエッジに関する上記撮影距離および三次元上の位置を算出し、
   算出された三次元上の位置が所定範囲内にあるエッジを上記特徴点として抽出することを特徴とする請求項１ないし３の何れか１項に記載の物体追跡装置。
5. 上記物体追跡手段は、上記参照相関窓に含まれる特徴点の位置に基づいて、該特徴点が移動し得る範囲を探索範囲として設定する探索範囲設定手段をさらに備えており、
   上記照合手段は、上記探索範囲設定手段が設定した探索範囲内に特徴点を含む対象相関窓の画像と、上記参照相関窓の画像とを照合することを特徴とする請求項１ないし４の何れか１項に記載の物体追跡装置。
6. 上記照合手段は、上記照合の結果、上記参照相関窓に画像が最も類似する対象相関窓に関する情報を、新たな参照相関窓に関する情報として上記記憶手段に記憶することを特徴とする請求項１ないし５の何れか１項に記載の物体追跡装置。
7. 上記記憶手段は、上記参照相関窓に対応する撮影画像が撮影された撮影時点に関する情報を、上記参照相関窓と関連付けて記憶していることを特徴とする請求項１ないし６の何れか１項に記載の物体追跡装置。
8. 上記記憶手段は、異なる特徴点に関する複数の参照相関窓に関する情報を記憶していることを特徴とする請求項１ないし７の何れか１項に記載の物体追跡装置。
9. 互いに異なる位置から同時に撮影する第１撮影部および第２撮影部を備えた撮影装置と、
   該撮影装置から、互いに異なる時点に撮影された複数の撮影画像を取得し、取得した複数の撮影画像に基づいて、該撮影画像中の物体を追跡する請求項１ないし８の何れか１項に記載の物体追跡装置とを備えることを特徴とする物体追跡システム。
10. 請求項１ないし８の何れか１項に記載の物体追跡装置を動作させる物体追跡プログラムであって、コンピュータを上記物体追跡手段として機能させるための物体追跡プログラム。
11. 請求項１０に記載の物体追跡プログラムを記録したコンピュータ読み取り可能な記録媒体。
12. 互いに異なる時点での撮影によって作成された複数の撮影画像を取得し、取得した複数の撮影画像に基づいて、該撮影画像中の物体を追跡する物体追跡装置であって、過去の撮影による撮影画像中の物体の部分的形状を特徴付ける特徴点を含む上記撮影画像の一部領域を参照相関窓として、該参照相関窓の画像情報を記憶する記憶手段を備える物体追跡装置の制御方法であって、
    互いに異なる時点での撮影によって作成された複数の撮影画像を取得する画像取得ステップと、
    取得した複数の撮影画像に基づいて、該撮影画像中の物体を追跡する物体追跡ステップとを含んでおり、
    上記画像取得ステップは、互いに異なる位置から同時に撮影された複数の撮影画像であるステレオ撮影画像を、或る時点に撮影された上記撮影画像として取得しており、
    上記物体追跡ステップは、
    上記画像取得ステップにて取得された上記ステレオ撮影画像のうち少なくとも２つの撮影画像を利用して、上記特徴点を抽出すると共に、抽出した特徴点の実際の位置に関する情報である実位置情報を算出する特徴点抽出ステップと、
    該特徴点抽出ステップにて抽出された特徴点を含む上記撮影画像上の一部領域であって、上記特徴点抽出ステップにて算出された特徴点の実位置情報に基づいて算出されたサイズを有する上記撮影画像の一部領域を、対象相関窓として設定する相関窓設定ステップと、
    該相関窓設定ステップにて設定された対象相関窓の画像と、上記記憶手段が記憶する参照相関窓の画像とを、サイズを揃えて照合する照合ステップとを含んでおり、
    上記実位置情報は、上記撮影を行う撮影装置から上記特徴点までの撮影距離の情報であり、
    上記相関窓設定ステップは、上記参照相関窓の画像情報に対応付けられたサイズ情報、および上記特徴点抽出ステップにて算出された上記特徴点に関する上記実位置情報と、上記記憶手段に記憶された上記参照相関窓のサイズと、該記憶手段に該参照相関窓と関連付けて記憶された、該参照相関窓に含まれる特徴点に関する上記実位置情報が表す上記撮影距離の情報と、上記特徴点抽出ステップで抽出した上記特徴点の上記撮影距離の情報とを用いて、上記対象相関窓のサイズを決定することを特徴とする物体追跡装置の制御方法。