JP3448640B2 - 車両追跡方法及び車両追跡装置 - Google Patents
車両追跡方法及び車両追跡装置Info
- Publication number
- JP3448640B2 JP3448640B2 JP2000178585A JP2000178585A JP3448640B2 JP 3448640 B2 JP3448640 B2 JP 3448640B2 JP 2000178585 A JP2000178585 A JP 2000178585A JP 2000178585 A JP2000178585 A JP 2000178585A JP 3448640 B2 JP3448640 B2 JP 3448640B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- detected
- image
- state
- real space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明が属する技術分野】本発明は、連続画像中の走行
車両を高精度に追跡する車両追跡技術に関する。
車両を高精度に追跡する車両追跡技術に関する。
【０００２】
【従来の技術】従来、移動物体の追跡を高精度化する技
術として、特開平８−９４３２０号公報「移動物体計測
装置」に示されているものがある。図９に、この技術の
構成を示す。入力画像901は移動物体検出手段902によっ
て車両部分が検出され、２Ｄ／３Ｄ変換手段903によっ
て道路上の３次元位置に変換されて３Ｄ情報保持手段90
5によって保持される。この３次元位置情報とそれまで
の移動情報に基づき、予測・融合手段906によって次の
時刻での車両の３次元位置が予測され、３Ｄ情報保持手
段905を経由して３Ｄ／２Ｄ変換手段904に入力されて画
像上の位置に変換された後、移動物体検出手段902に入
力される。移動物体検出手段902では、入力された画像
上の位置において重点的に車両の検出を行い、結果的に
検出の誤りが軽減される。
術として、特開平８−９４３２０号公報「移動物体計測
装置」に示されているものがある。図９に、この技術の
構成を示す。入力画像901は移動物体検出手段902によっ
て車両部分が検出され、２Ｄ／３Ｄ変換手段903によっ
て道路上の３次元位置に変換されて３Ｄ情報保持手段90
5によって保持される。この３次元位置情報とそれまで
の移動情報に基づき、予測・融合手段906によって次の
時刻での車両の３次元位置が予測され、３Ｄ情報保持手
段905を経由して３Ｄ／２Ｄ変換手段904に入力されて画
像上の位置に変換された後、移動物体検出手段902に入
力される。移動物体検出手段902では、入力された画像
上の位置において重点的に車両の検出を行い、結果的に
検出の誤りが軽減される。
【０００３】
【発明が解決しようとする課題】このような従来の技術
においては、車両が同時に複数台走行していると個々の
車両の検出が困難であるという課題を有しており、また
カメラの設置位置がある程度限定されてしまうという問
題がある。
においては、車両が同時に複数台走行していると個々の
車両の検出が困難であるという課題を有しており、また
カメラの設置位置がある程度限定されてしまうという問
題がある。
【０００４】そこで本発明は、前記のような問題を解消
し、走行している車両の台数やカメラの設置位置などに
対しても柔軟に対応できる高精度な車両追跡を実現する
追跡方法及び追跡装置を提供することを目的とする。
し、走行している車両の台数やカメラの設置位置などに
対しても柔軟に対応できる高精度な車両追跡を実現する
追跡方法及び追跡装置を提供することを目的とする。
【０００５】
【課題を解決するための手段】この課題を解決するため
に本発明は、カメラから入力される連続画像の各フレー
ムの画像において、前フレームで検出した車両の部分領
域から作成した複数個のテンプレートを用いてそれぞれ
のマッチング位置を求める部分領域検出手段と、求めた
各位置からテンプレートの残差による重み付けを用いた
統合処理により車両の位置を検出する車両位置算出手段
と、検出した車両の画像上における位置情報と、実空間
上における状態を画像上で観測するための座標変換情報
と、対象車両の実空間上における移動に関する運動情報
とからカルマンフィルタを用いて実空間上における車両
の状態を推定する車両状態推定手段とから構成し、これ
を繰り返すことにより車両を追跡するものである。これ
により、走行している車両の台数やカメラの設置位置な
どに対しても柔軟に対応できる高精度な車両追跡を実現
することができる。
に本発明は、カメラから入力される連続画像の各フレー
ムの画像において、前フレームで検出した車両の部分領
域から作成した複数個のテンプレートを用いてそれぞれ
のマッチング位置を求める部分領域検出手段と、求めた
各位置からテンプレートの残差による重み付けを用いた
統合処理により車両の位置を検出する車両位置算出手段
と、検出した車両の画像上における位置情報と、実空間
上における状態を画像上で観測するための座標変換情報
と、対象車両の実空間上における移動に関する運動情報
とからカルマンフィルタを用いて実空間上における車両
の状態を推定する車両状態推定手段とから構成し、これ
を繰り返すことにより車両を追跡するものである。これ
により、走行している車両の台数やカメラの設置位置な
どに対しても柔軟に対応できる高精度な車両追跡を実現
することができる。
【０００６】本発明の請求項１に記載の発明は、カメラ
から入力される連続画像の各フレームの画像において、
前フレームで検出した車両の部分領域から作成した複数
個のテンプレートを用いてそれぞれのマッチング位置を
求め、求めた各位置に対するテンプレートの残差を重み
付けする統合処理により車両の位置を検出し、検出した
車両の画像上における位置情報と、実空間上における状
態を画像上で観測するための座標変換情報と、対象車両
の実空間上における移動に関する運動情報とからカルマ
ンフィルタを用いて実空間上における車両の状態を推定
し、これを繰り返すことにより車両を追跡するものであ
り、入力画像から車両が画像中において位置する座標を
求め、これをもとにカルマンフィルタによって車両の実
空間上における位置・速度のより高精度な推定値を算出
するという作用を有する。
から入力される連続画像の各フレームの画像において、
前フレームで検出した車両の部分領域から作成した複数
個のテンプレートを用いてそれぞれのマッチング位置を
求め、求めた各位置に対するテンプレートの残差を重み
付けする統合処理により車両の位置を検出し、検出した
車両の画像上における位置情報と、実空間上における状
態を画像上で観測するための座標変換情報と、対象車両
の実空間上における移動に関する運動情報とからカルマ
ンフィルタを用いて実空間上における車両の状態を推定
し、これを繰り返すことにより車両を追跡するものであ
り、入力画像から車両が画像中において位置する座標を
求め、これをもとにカルマンフィルタによって車両の実
空間上における位置・速度のより高精度な推定値を算出
するという作用を有する。
【０００７】請求項２に記載の発明は、カメラから入力
される連続画像の各フレームの画像において、前フレー
ムで検出した車両の部分領域から作成した複数個のテン
プレートを用いてそれぞれのマッチング位置を求める部
分領域検出手段と、求めた各位置に対するテンプレート
の残差を重み付けする統合処理により車両の位置を検出
する車両位置算出手段と、検出した車両の画像上におけ
る位置情報と、実空間上における状態を画像上で観測す
るための座標変換情報と、対象車両の実空間上における
移動に関する運動情報とからカルマンフィルタを用いて
実空間上における車両の状態を推定する車両状態推定手
段とからなり、これを繰り返すことにより車両を追跡す
るものであり、入力画像から車両が画像中において位置
する座標を求め、これをもとにカルマンフィルタによっ
て車両の実空間上における位置・速度のより高精度な推
定値を算出するという作用を有する。
される連続画像の各フレームの画像において、前フレー
ムで検出した車両の部分領域から作成した複数個のテン
プレートを用いてそれぞれのマッチング位置を求める部
分領域検出手段と、求めた各位置に対するテンプレート
の残差を重み付けする統合処理により車両の位置を検出
する車両位置算出手段と、検出した車両の画像上におけ
る位置情報と、実空間上における状態を画像上で観測す
るための座標変換情報と、対象車両の実空間上における
移動に関する運動情報とからカルマンフィルタを用いて
実空間上における車両の状態を推定する車両状態推定手
段とからなり、これを繰り返すことにより車両を追跡す
るものであり、入力画像から車両が画像中において位置
する座標を求め、これをもとにカルマンフィルタによっ
て車両の実空間上における位置・速度のより高精度な推
定値を算出するという作用を有する。
【０００８】請求項３に記載の発明は、請求項２に記載
の車両追跡装置において、部分領域検出手段と車両位置
算出手段は、前フレームで車両が検出されていない場
合、または前フレームで検出した車両とは異なる車両も
走行している場合には、あらかじめ設定した初期検出領
域内において進入してきた車両の位置を検出するもので
あり、新たに画像中に進入してきた車両の追跡を開始す
るという作用を有する。
の車両追跡装置において、部分領域検出手段と車両位置
算出手段は、前フレームで車両が検出されていない場
合、または前フレームで検出した車両とは異なる車両も
走行している場合には、あらかじめ設定した初期検出領
域内において進入してきた車両の位置を検出するもので
あり、新たに画像中に進入してきた車両の追跡を開始す
るという作用を有する。
【０００９】
【発明の実施の形態】以下、本発明の実施の形態につい
て、図１〜８を用いて説明する。図１は、本発明の実施
の形態１における車両追跡装置のブロック図を示してい
る。図１において、101は認識対象である走行車両を撮
影した動画像を入力する画像入力部、102は画像入力部1
01により入力された各フレームの画像データ105から、
複数個のテンプレートに対するマッチング位置を検出す
る部分領域検出手段、103は部分領域検出手段102により
検出された複数個の領域情報106から、統合処理により
走行車両の位置を検出する車両位置算出手段、104は車
両位置算出手段103より検出された走行車両の画像上に
おける位置情報107と、あらかじめ設定した実空間上に
おける状態を画像上で観測するための座標変換情報108
と、対象車両の実空間上における移動に関する運動情報
109とから、カルマンフィルタを用いて実空間上におけ
る車両の状態を推定する車両状態推定手段、110は車両
状態推定手段104により推定された車両の状態推定結
果、111は車両状態推定手段104により予測された車両の
状態予測結果である。なお、車両状態推定手段104で用
いているカルマンフィルタは、時間更新処理と観測更新
処理とから構成されている。
て、図１〜８を用いて説明する。図１は、本発明の実施
の形態１における車両追跡装置のブロック図を示してい
る。図１において、101は認識対象である走行車両を撮
影した動画像を入力する画像入力部、102は画像入力部1
01により入力された各フレームの画像データ105から、
複数個のテンプレートに対するマッチング位置を検出す
る部分領域検出手段、103は部分領域検出手段102により
検出された複数個の領域情報106から、統合処理により
走行車両の位置を検出する車両位置算出手段、104は車
両位置算出手段103より検出された走行車両の画像上に
おける位置情報107と、あらかじめ設定した実空間上に
おける状態を画像上で観測するための座標変換情報108
と、対象車両の実空間上における移動に関する運動情報
109とから、カルマンフィルタを用いて実空間上におけ
る車両の状態を推定する車両状態推定手段、110は車両
状態推定手段104により推定された車両の状態推定結
果、111は車両状態推定手段104により予測された車両の
状態予測結果である。なお、車両状態推定手段104で用
いているカルマンフィルタは、時間更新処理と観測更新
処理とから構成されている。
【００１０】時間更新処理は、現時刻の状態推定値から
翌時刻の状態を予測する処理である。観測更新処理は、
観測した状態から現時刻の状態を推定する処理である。
これによりカルマンフィルタは、観測値を得ると、逐次
的に現在の推定値と翌時刻の予測値を算出するという効
果がある。
翌時刻の状態を予測する処理である。観測更新処理は、
観測した状態から現時刻の状態を推定する処理である。
これによりカルマンフィルタは、観測値を得ると、逐次
的に現在の推定値と翌時刻の予測値を算出するという効
果がある。
【００１１】以上のように構成された車両追跡装置につ
いて、以下にその動作を説明する。図２は、画像データ
105の例を示しており、201は車両、を表す。図３はテン
プレートの例を示しており、301は車両の検出位置、302
はテンプレート、303はテンプレートの検出位置301から
オフセットを表す。図４はテンプレートの探索範囲の設
定を示しており、401は予測位置、402はテンプレートの
探索範囲を表す。図５は状態推定手段の処理の構成を示
しており、501は観測更新部、502は時間更新部を表す。
図６は実空間から画像への座標変換を示している。
いて、以下にその動作を説明する。図２は、画像データ
105の例を示しており、201は車両、を表す。図３はテン
プレートの例を示しており、301は車両の検出位置、302
はテンプレート、303はテンプレートの検出位置301から
オフセットを表す。図４はテンプレートの探索範囲の設
定を示しており、401は予測位置、402はテンプレートの
探索範囲を表す。図５は状態推定手段の処理の構成を示
しており、501は観測更新部、502は時間更新部を表す。
図６は実空間から画像への座標変換を示している。
【００１２】画像入力部101は、認識対象である走行車
両を、固定されたカメラにより撮影した動画像を入力す
る。部分領域検出手段102は、まず、画像入力部101によ
り入力された図２に示すような画像データ105、車両状
態推定手段104により前フレームの処理において予測さ
れた車両の状態予測結果111、車両状態推定手段104によ
り前フレームの処理において予測された車両の状態推定
結果110をもとに作成された図３に示すようなＮｔ個の
テンプレート302を読み込む。
両を、固定されたカメラにより撮影した動画像を入力す
る。部分領域検出手段102は、まず、画像入力部101によ
り入力された図２に示すような画像データ105、車両状
態推定手段104により前フレームの処理において予測さ
れた車両の状態予測結果111、車両状態推定手段104によ
り前フレームの処理において予測された車両の状態推定
結果110をもとに作成された図３に示すようなＮｔ個の
テンプレート302を読み込む。
【００１３】ここで、図３におけるテンプレートは、次
のように作成される。車両状態推定手段104により予測
された車両の状態推定結果110の画像上における位置を
車両の検出位置301とする。この検出位置301を基準にし
て、あらかじめ設定したオフセット303とテンプレート
サイズによってそれぞれのテンプレートを作成する。次
に、画像データ105において、Ｎｔ個のテンプレート301
のそれぞれがもっとも良くマッチングする位置とそのと
きの残差を求める。この検出されたＮｔ個のマッチング
位置（ｉｔｘ[１]，ｉｔｙ[１]），…，（ｉｔｘ[Ｎ
ｔ]，ｉｔｙ[Ｎｔ]）とそれぞれの残差Ｅ[１]，…，Ｅ
[Ｎｔ]を領域情報106として保持する。このとき、探索
範囲は図４に示すように決定する。状態予測結果111の
画像上における位置を予測位置401として、あらかじめ
設定したオフセット303とテンプレート探索サイズによ
ってそれぞれのテンプレートの探索範囲402を決定す
る。これにより無駄な領域を探索することがなくなり、
処理の高速化がはかられる。
のように作成される。車両状態推定手段104により予測
された車両の状態推定結果110の画像上における位置を
車両の検出位置301とする。この検出位置301を基準にし
て、あらかじめ設定したオフセット303とテンプレート
サイズによってそれぞれのテンプレートを作成する。次
に、画像データ105において、Ｎｔ個のテンプレート301
のそれぞれがもっとも良くマッチングする位置とそのと
きの残差を求める。この検出されたＮｔ個のマッチング
位置（ｉｔｘ[１]，ｉｔｙ[１]），…，（ｉｔｘ[Ｎ
ｔ]，ｉｔｙ[Ｎｔ]）とそれぞれの残差Ｅ[１]，…，Ｅ
[Ｎｔ]を領域情報106として保持する。このとき、探索
範囲は図４に示すように決定する。状態予測結果111の
画像上における位置を予測位置401として、あらかじめ
設定したオフセット303とテンプレート探索サイズによ
ってそれぞれのテンプレートの探索範囲402を決定す
る。これにより無駄な領域を探索することがなくなり、
処理の高速化がはかられる。
【００１４】車両位置算出手段103は、部分領域検出手
段102により検出された領域情報106を読み込み、走行車
両の位置を算出する。この算出された画像上における位
置の座標（ｉｘ，ｉｙ）を位置情報107として保持す
る。ここで走行車両位置は次のように算出される。ま
ず、領域情報106の各マッチング位置（ｉｔｘ[１]，ｉ
ｔｙ[１]），…，（ｉｔｘ[Ｎｔ]，ｉｔｙ[Ｎｔ]）か
ら、あらかじめ設定したオフセット303によって仮検出
位置（ｉｘ[１]，ｉｙ[１]），…，（ｉｘ[Ｎｔ]，ｉｙ
[Ｎｔ]）を逆算する。この仮検出位置と残差Ｅ[１]，
…，Ｅ[Ｎｔ]による重み付けを用いた統合処理により車
両位置を算出する。つまり、残差の小さい位置には重い
重み付けをし、残差の小さい位置には軽い重み付けをす
る。例えば、ｉ番目の位置に対して、残差の逆数１／Ｅ
[ｉ]の重み付けによって算出する。
段102により検出された領域情報106を読み込み、走行車
両の位置を算出する。この算出された画像上における位
置の座標（ｉｘ，ｉｙ）を位置情報107として保持す
る。ここで走行車両位置は次のように算出される。ま
ず、領域情報106の各マッチング位置（ｉｔｘ[１]，ｉ
ｔｙ[１]），…，（ｉｔｘ[Ｎｔ]，ｉｔｙ[Ｎｔ]）か
ら、あらかじめ設定したオフセット303によって仮検出
位置（ｉｘ[１]，ｉｙ[１]），…，（ｉｘ[Ｎｔ]，ｉｙ
[Ｎｔ]）を逆算する。この仮検出位置と残差Ｅ[１]，
…，Ｅ[Ｎｔ]による重み付けを用いた統合処理により車
両位置を算出する。つまり、残差の小さい位置には重い
重み付けをし、残差の小さい位置には軽い重み付けをす
る。例えば、ｉ番目の位置に対して、残差の逆数１／Ｅ
[ｉ]の重み付けによって算出する。
【００１５】状態推定手段104は、カルマンフィルタに
より車両の状態を推定する。まず、図５に示すように、
車両位置算出手段103により検出された走行車両の画像
上における位置情報107を観測値ｙ[ｔ]として入力す
る。観測更新部501において、あらかじめ設定した座標
変換情報108を利用してゲインＫ[ｔ]を数１により計算
する。
より車両の状態を推定する。まず、図５に示すように、
車両位置算出手段103により検出された走行車両の画像
上における位置情報107を観測値ｙ[ｔ]として入力す
る。観測更新部501において、あらかじめ設定した座標
変換情報108を利用してゲインＫ[ｔ]を数１により計算
する。
【００１６】
【数１】Ｋ[ｔ]＝Ｐ[ｔ/ｔ−１]・Ｈt(Ｈ・Ｐ[ｔ/ｔ−
１]・Ｈｔ＋Ｒ)-1 ただし、数１において、Ｐ[ｔ/ｔ−１]は前時刻におけ
る現時刻の状態予測結果ｘｅ[ｔ/ｔ−１]の誤差共分散
である。Ｒは観測ノイズの共分散である。Ｈは、座標変
換情報108を表すもので、数２に示すような関係を有す
る。
１]・Ｈｔ＋Ｒ)-1 ただし、数１において、Ｐ[ｔ/ｔ−１]は前時刻におけ
る現時刻の状態予測結果ｘｅ[ｔ/ｔ−１]の誤差共分散
である。Ｒは観測ノイズの共分散である。Ｈは、座標変
換情報108を表すもので、数２に示すような関係を有す
る。
【００１７】
【数２】ｙ[ｔ]＝Ｈ・ｘ[ｔ]＋ｖ
ただし、数２において、ｘ[ｔ]は車両の実空間上におけ
る状態である。ｖは観測ノイズである。さらに、前時刻
における現時刻の状態予測結果ｘｅ[ｔ/ｔ−１]を利用
して実空間上における現時刻の状態ｘｅ[ｔ/ｔ]を数３
により推定する。
る状態である。ｖは観測ノイズである。さらに、前時刻
における現時刻の状態予測結果ｘｅ[ｔ/ｔ−１]を利用
して実空間上における現時刻の状態ｘｅ[ｔ/ｔ]を数３
により推定する。
【００１８】
【数３】ｘｅ[ｔ/ｔ]＝ｘｅ[ｔ/ｔ−１]＋Ｋ[ｔ](ｙ
[ｔ]−Ｈ・ｘｅ[ｔ/ｔ−１]) この推定された状態を車両の状態推定結果110として保
持する。時間更新部502において、あらかじめ設定した
運動情報109を利用して車両の実空間上における翌時刻
の状態ｘｅ[ｔ＋１/ｔ]を数４により予測する。
[ｔ]−Ｈ・ｘｅ[ｔ/ｔ−１]) この推定された状態を車両の状態推定結果110として保
持する。時間更新部502において、あらかじめ設定した
運動情報109を利用して車両の実空間上における翌時刻
の状態ｘｅ[ｔ＋１/ｔ]を数４により予測する。
【００１９】
【数４】ｘｅ[ｔ＋１/ｔ]＝Ｆ・ｘｅ[ｔ/ｔ]
ただし、数４において、Ｆは運動情報109を表すもの
で、数５に示すような関係を有する。
で、数５に示すような関係を有する。
【００２０】
【数５】ｘ[ｔ＋１]＝Ｆ・ｘ[ｔ]＋ｗ
ただし、数５においては、ｗはシステムノイズである。
【００２１】この予測された状態を車両の状態予測結果
111として保持し、翌時刻における常態推定手段104の観
測更新部501にて利用する。
111として保持し、翌時刻における常態推定手段104の観
測更新部501にて利用する。
【００２２】座標変換情報108は、実空間における車両
の状態を画像上において検出したときの観測値を求める
ためのものであり、具体的には、図６に示すように実空
間上において適当な位置に原点を定めたときの車両201
の存在する位置の座標（ｐｘ，ｐｙ）から、画像上にお
いてその車両201を検出した位置の座標（ｉｘ，ｉｙ）
への変換を表している。
の状態を画像上において検出したときの観測値を求める
ためのものであり、具体的には、図６に示すように実空
間上において適当な位置に原点を定めたときの車両201
の存在する位置の座標（ｐｘ，ｐｙ）から、画像上にお
いてその車両201を検出した位置の座標（ｉｘ，ｉｙ）
への変換を表している。
【００２３】運動情報109は、実空間における車両状態
が、翌時刻にどんな状態になっているかを求めるためも
のであり、これは車両の運動を表している。
が、翌時刻にどんな状態になっているかを求めるためも
のであり、これは車両の運動を表している。
【００２４】図７は、本発明の実施の形態２における車
両追跡装置のブロック図を示している。図７において、
101は認識対象である走行車両を撮影した動画像を入力
する画像入力部、701は画像入力部101により入力された
各フレームの画像データ105から、走行車両の位置を検
出する車両検出手段、702は車両検出手段701により検出
された走行車両の画像上における位置情報107と、あら
かじめ設定した実空間上における状態を画像上で観測す
るための座標変換情報108とから、検出した走行車両の
実空間上における状態を画像上で観測するための座標変
換情報108とから、検出した走行車両の実空間上におけ
る位置を算出し、これを基に初期運動情報705を算出す
る初期設定手段、703は初期設定手段702により算出され
た位置・時刻情報704を保持する車両位置記録手段であ
る。
両追跡装置のブロック図を示している。図７において、
101は認識対象である走行車両を撮影した動画像を入力
する画像入力部、701は画像入力部101により入力された
各フレームの画像データ105から、走行車両の位置を検
出する車両検出手段、702は車両検出手段701により検出
された走行車両の画像上における位置情報107と、あら
かじめ設定した実空間上における状態を画像上で観測す
るための座標変換情報108とから、検出した走行車両の
実空間上における状態を画像上で観測するための座標変
換情報108とから、検出した走行車両の実空間上におけ
る位置を算出し、これを基に初期運動情報705を算出す
る初期設定手段、703は初期設定手段702により算出され
た位置・時刻情報704を保持する車両位置記録手段であ
る。
【００２５】以上のように構成された車両追跡装置につ
いて、以下にその動作を説明する。図８は初期検出領域
の例を示している。画像入力部101は、認識対象である
走行車両を、固定されたカメラにより撮影した動画像を
入力する。
いて、以下にその動作を説明する。図８は初期検出領域
の例を示している。画像入力部101は、認識対象である
走行車両を、固定されたカメラにより撮影した動画像を
入力する。
【００２６】車両検出手段701は、画像入力部101により
入力された図２に示すような画像データ105を読み込
み、図８に示すような初期検出領域801，802の範囲内に
入ってきた車両を検出する。ここで図８における初期検
出領域は、各車線で車両が一番最初に画像中に進入して
くる進行方向手前の位置にあらかじめ設定している。車
両を検出する方法は、複数台の車両が走行しているとき
でも個々の車両を検出することのできる方法である。例
えば具体的には、検出する車両のモデルをテンプレート
としてマッチングにより検出する方法、検出する車両の
色や形の特徴を利用して検出する方法、あらかじめ作成
した背景画像と入力画像との差を取ることにより走行車
両を検出する方法、前フレームと当フレームとの差を取
ることにより走行車両を検出する方法、などが考えられ
るが、いずれの方法を用いても本発明には有効である。
入力された図２に示すような画像データ105を読み込
み、図８に示すような初期検出領域801，802の範囲内に
入ってきた車両を検出する。ここで図８における初期検
出領域は、各車線で車両が一番最初に画像中に進入して
くる進行方向手前の位置にあらかじめ設定している。車
両を検出する方法は、複数台の車両が走行しているとき
でも個々の車両を検出することのできる方法である。例
えば具体的には、検出する車両のモデルをテンプレート
としてマッチングにより検出する方法、検出する車両の
色や形の特徴を利用して検出する方法、あらかじめ作成
した背景画像と入力画像との差を取ることにより走行車
両を検出する方法、前フレームと当フレームとの差を取
ることにより走行車両を検出する方法、などが考えられ
るが、いずれの方法を用いても本発明には有効である。
【００２７】初期設定手段702は、まず、車両検出手段7
01により検出された位置情報107を読み込み、座標変換
情報108を用いて実空間上における位置を算出する。こ
の実空間上における位置と車両検出手段701により検出
された時刻の組を位置・時刻情報704として車両位置記
録手段703に出力する。このとき、実空間上における位
置を比較することにより前時刻に検出された車両と同一
かどうかを判定し、同一の車両には同一のインデックス
を位置・時刻情報704に付加しておく。また、あらかじ
め設定した初期設定算出時間に基づいて車両位置記録手
段703から位置・時刻情報を読み込み、初期運動情報705
を算出する。これは、同一のインデックスを持つ車両に
対して、一番最初に検出された位置・時刻情報と、この
時刻から初期設定算出時間以上経過した後に検出された
位置・時刻情報とから速度を算出し、初期運動情報とす
るものである。
01により検出された位置情報107を読み込み、座標変換
情報108を用いて実空間上における位置を算出する。こ
の実空間上における位置と車両検出手段701により検出
された時刻の組を位置・時刻情報704として車両位置記
録手段703に出力する。このとき、実空間上における位
置を比較することにより前時刻に検出された車両と同一
かどうかを判定し、同一の車両には同一のインデックス
を位置・時刻情報704に付加しておく。また、あらかじ
め設定した初期設定算出時間に基づいて車両位置記録手
段703から位置・時刻情報を読み込み、初期運動情報705
を算出する。これは、同一のインデックスを持つ車両に
対して、一番最初に検出された位置・時刻情報と、この
時刻から初期設定算出時間以上経過した後に検出された
位置・時刻情報とから速度を算出し、初期運動情報とす
るものである。
【００２８】車両位置記録手段703は、位置・時刻情報7
04として、初期設定手段702により算出された走行車両
の実空間上における位置と、この走行車両が車両検出手
段701において検出された時刻の組を保持している。ま
た、初期設定手段702において初期運動情報705を算出す
る際に、この位置・時刻情報を初期設定手段702に出力
する。
04として、初期設定手段702により算出された走行車両
の実空間上における位置と、この走行車両が車両検出手
段701において検出された時刻の組を保持している。ま
た、初期設定手段702において初期運動情報705を算出す
る際に、この位置・時刻情報を初期設定手段702に出力
する。
【００２９】
【発明の効果】以上のように本発明によれば、走行して
いる車両の台数やカメラの設置位置などに対しても柔軟
に対応できる高精度な車両追跡を実現することができる
という効果が得られる。
いる車両の台数やカメラの設置位置などに対しても柔軟
に対応できる高精度な車両追跡を実現することができる
という効果が得られる。
【図１】本発明の実施の形態１における車両追跡装置を
示すブロック図である。
示すブロック図である。
【図２】本発明の実施の形態１における画像データの例
を示す図である。
を示す図である。
【図３】本発明の実施の形態１におけるテンプレートの
例を示す図である。
例を示す図である。
【図４】本発明の実施の形態１におけるテンプレートの
探索範囲の設定を示す図である。
探索範囲の設定を示す図である。
【図５】本発明の実施の形態１における状態推定手段の
処理の構成を示す図である。
処理の構成を示す図である。
【図６】本発明の実施の形態１における実空間から画像
への座標交換を示す図である。
への座標交換を示す図である。
【図７】本発明の実施の形態２における車両追跡装置を
示すブロック図である。
示すブロック図である。
【図８】本発明の実施の形態２における初期検出領域の
例を示す図である。
例を示す図である。
【図９】従来の移動物体追跡装置の一例を示す構成図で
ある。
ある。
101 画像入力部 102 部分領域検出手段
103 車両位置算出手段 104 車両状態推定手段
105 画像データ 106 領域情報
107 位置情報 108 座標交換情報
109 運動情報 110 状態推定結果
111 状態予測結果 201 車両
301 車両検出位置 302 テンプレート
303 オフセット 401 予測位置
402 探索範囲 501 観測更新部
502 時間更新部 701 車両検出手段
702 初期設定手段 703 位置記録手段
704 位置・時刻情報 705 初期運動情報
801 初期検出領域 802 初期検出領域
901 入力画像 902 移動物体検出手段
903 ２Ｄ／３Ｄ変換手段 904 ３Ｄ／２Ｄ変換手段
905 ３Ｄ情報保持手段 906 予測・融合手段
907 位置・運動情報
─────────────────────────────────────────────────────
フロントページの続き
(56)参考文献 特開 平８−94320（ＪＰ，Ａ)
特開 昭62−210596（ＪＰ，Ａ)
特開 平４−26283（ＪＰ，Ａ)
(58)調査した分野(Int.Cl.7，ＤＢ名)
G06T 7/20
G01B 11/00
G06T 1/00 330
G06T 7/00
G08G 1/04
ＪＩＣＳＴファイル（ＪＯＩＳ)
Claims (3)
- 【請求項１】 カメラから入力される連続画像の各フレ
ームの画像において、前フレームで検出した車両の部分
領域から作成した複数個のテンプレートを用いてそれぞ
れのマッチング位置を求め、求めた各位置に対するテン
プレートの残差を重み付けする統合処理により車両の位
置を検出し、検出した車両の画像上における位置情報
と、実空間上における状態を画像上で観測するための座
標変換情報と、対象車両の実空間上における移動に関す
る運動情報とからカルマンフィルタを用いて実空間上に
おける車両の状態を推定し、これを繰り返すことにより
車両を追跡することを特徴とする車両追跡方法。 - 【請求項２】 カメラから入力される連続画像の各フレ
ームの画像において、前フレームで検出した車両の部分
領域から作成した複数個のテンプレートを用いてそれぞ
れのマッチング位置を求める部分領域検出手段と、求め
た各位置に対するテンプレートの残差を重み付けする統
合処理により車両の位置を検出する車両位置算出手段
と、検出した車両の画像上における位置情報と、実空間
上における状態を画像上で観測するための座標変換情報
と、対象車両の実空間上における移動に関する運動情報
とからカルマンフィルタを用いて実空間上における車両
の状態を推定する車両状態推定手段とからなり、これを
繰り返すことにより車両を追跡することを特徴とする車
両追跡装置。 - 【請求項３】 前記部分領域検出手段と車両位置算出手
段において、前フレームで車両が検出されていない場
合、または前フレームで検出した車両とは異なる車両も
走行している場合には、あらかじめ設定した初期検出領
域内において進入してきた車両の位置を検出することを
特徴とする請求項２に記載の車両追跡装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000178585A JP3448640B2 (ja) | 2000-06-14 | 2000-06-14 | 車両追跡方法及び車両追跡装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000178585A JP3448640B2 (ja) | 2000-06-14 | 2000-06-14 | 車両追跡方法及び車両追跡装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001357403A JP2001357403A (ja) | 2001-12-26 |
| JP3448640B2 true JP3448640B2 (ja) | 2003-09-22 |
Family
ID=18679993
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000178585A Expired - Lifetime JP3448640B2 (ja) | 2000-06-14 | 2000-06-14 | 車両追跡方法及び車両追跡装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3448640B2 (ja) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4079690B2 (ja) | 2002-05-23 | 2008-04-23 | 株式会社東芝 | 物体追跡装置及び方法 |
| JP4969291B2 (ja) * | 2007-03-30 | 2012-07-04 | セコム株式会社 | 移動物体追跡装置 |
| JP5501727B2 (ja) * | 2009-10-16 | 2014-05-28 | 三菱重工業株式会社 | 移動体追尾装置およびその方法 |
| JP2014112888A (ja) * | 2014-01-08 | 2014-06-19 | Mitsubishi Heavy Ind Ltd | 移動体追尾装置およびその方法 |
| DE102014109062A1 (de) * | 2014-06-27 | 2015-12-31 | Connaught Electronics Ltd. | Verfahren zum Verfolgen eines sich einem Kraftfahrzeug nähernden Zielfahrzeugs mittels eines Kamerasystems des Kraftfahrzeugs, Kamerasystem und Kraftfahrzeug |
| CN105389830B (zh) * | 2015-10-13 | 2018-01-05 | 西北工业大学 | 基于多层检测模型和群体行为模型的车辆跟踪方法 |
| CN106885523B (zh) * | 2017-03-21 | 2019-03-08 | 浙江零跑科技有限公司 | 一种车辆路径跟随误差视觉测量优化方法 |
-
2000
- 2000-06-14 JP JP2000178585A patent/JP3448640B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001357403A (ja) | 2001-12-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2018142900A1 (ja) | 情報処理装置、データ管理装置、データ管理システム、方法、及びプログラム | |
| US7151996B2 (en) | System and method for generating a model of the path of a roadway from an image recorded by a camera | |
| JP4967062B2 (ja) | オプティカルフロー、運動学及び深さ情報を使用して、物体の適切な運動を推定する方法 | |
| US20170337434A1 (en) | Warning Method of Obstacles and Device of Obstacles | |
| US8259998B2 (en) | Image processing device for vehicle | |
| US8050458B2 (en) | Frontal view imaging and control device installed on movable object | |
| JP4467838B2 (ja) | 画像認識装置および画像認識方法 | |
| JP6194610B2 (ja) | 移動距離推定装置、移動距離推定方法、及びプログラム | |
| US20090297036A1 (en) | Object detection on a pixel plane in a digital image sequence | |
| KR101100827B1 (ko) | 도로주행 로봇의 자기 위치 인식방법 | |
| JPWO2012086821A1 (ja) | 測位装置、測位方法 | |
| Konrad et al. | Localization in digital maps for road course estimation using grid maps | |
| US6272237B1 (en) | Image processing apparatus | |
| JP4660569B2 (ja) | 物体検出装置及び物体検出方法 | |
| KR101030317B1 (ko) | 스테레오 비전을 이용하여 장애물을 추적하는 장치 및 방법 | |
| JP2017181476A (ja) | 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラム | |
| JP3448640B2 (ja) | 車両追跡方法及び車両追跡装置 | |
| Krüger | Robust real-time ground plane motion compensation from a moving vehicle | |
| JP5614118B2 (ja) | ランドマーク検知方法、ロボット及びプログラム | |
| KR100994722B1 (ko) | 카메라 핸드오프를 이용한 다중 카메라상의 연속적인 물체추적 방법 | |
| JP3879874B2 (ja) | 物流計測装置 | |
| CN116358547B (zh) | 一种基于光流估计获取agv位置的方法 | |
| Christiansen et al. | Monocular vehicle distance sensor using HOG and Kalman tracking | |
| JP2007272461A (ja) | 運動推定装置、方法及びプログラム | |
| CN115597498B (zh) | 一种无人机定位及速度估计方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| R150 | Certificate of patent or registration of utility model |
Ref document number: 3448640 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| EXPY | Cancellation because of completion of term |