JP4701225B2

JP4701225B2 - 速度計測方法

Info

Publication number: JP4701225B2
Application number: JP2007275506A
Authority: JP
Inventors: 尚之谷本
Original assignee: Ikegami Tsushinki Co Ltd
Current assignee: Ikegami Tsushinki Co Ltd
Priority date: 2007-03-06
Filing date: 2007-10-23
Publication date: 2011-06-15
Anticipated expiration: 2027-10-23
Also published as: JP2008249685A

Description

本発明は、点線や破線のように周期的な模様を有する線状の不動対象に沿って移動する移動対象が、画面の中央部分に存在する、空撮画像を用いて、前記移動対象の速度を計測する速度計測方法に関する。

空撮画像を用いて移動対象（例えば、車両）の速度を計測する速度計測技術は、これまでにも提案されている（例えば、特許文献１）。

このような速度計測技術は、航空機に搭載されたカメラから得られる空撮画像から車両（移動対象）と車線境界線（不動対象）とを検出し、車線境界線の画像上の長さからカメラ画角内に映し出された範囲の長さを補正し、車両と車線境界線との画像上の相対的な移動量を路面上の長さに変換し、車両の速度を計算する、という速度計測技術である。
特開平１１−２９６７８８号公報

要約すれば、特許文献１の速度計測技術は、画像上の長さ及び移動量を実測し、それらの実測結果（実測値）を用いて速度を計算する、という速度計測技術である。このように、計測過程全体が、実測過程と計算過程とに分割できるような場合には、個々の実測の性能が、計測全体の性能を決定づける。例えば、個々の実測結果が高精度であるのなら、計測結果（計測値）も高精度となるし、個々の実測が軽い処理（計算量の少ない処理）であるのなら、計測全体も軽い処理となる。

特許文献１の速度計測技術では、車線境界線の移動量を実測する方法として、空撮画像間の相互相関を用いる方法（実測方法１）を採用しており、車両の移動量及び車線境界線の長さを実測する方法として、空撮画像を閾値処理し、閾値処理後の２値画像を画像処理する方法（実測方法２）を採用している。実測方法１の短所は、空撮画像上の車線境界線以外の像が邪魔になり、その像が精度低下の原因になるということ、相互相関は一般的に重い処理（計算量の多い処理）であるということである。実測方法２の短所は、２値画像上の車両及び車線境界線の領域に「欠け」が生じやすく、その「欠け」が精度低下の原因になるということである。

本発明の目的は、不動対象の周期、不動対象の動き及び移動対象の動きを実測し、それらの実測結果、不動対象の周期の規定値及び空撮画像のフレームレートを用いて移動対象の速度を計算し、移動対象の速度を軽い処理で高精度に計測する速度計測方法を提供することである。

請求項１の発明による速度計測方法は、
周期的な模様を有する線状の不動対象に沿って移動する移動対象が、画面の中央部分に存在する、空撮画像を用いて、前記移動対象の速度を計測する速度計測方法であって、
前記空撮画像から前記不動対象以外の像が除去された不動対象画像を作成し、
前記不動対象の周期を、前記不動対象画像を用いて検出し、
前記不動対象の動きベクトルを、前記不動対象画像を用いて検出し、
前記空撮画像から前記移動対象以外の像が除去された移動対象画像を、前記不動対象の動きベクトルを用いて作成し、
前記移動対象の座標及び動きベクトルを、前記移動対象画像を用いて検出し、
前記移動対象の速度を、前記不動対象の周期、前記不動対象の動きベクトル、前記移動対象の動きベクトル、前記不動対象の周期の規定値及び前記空撮画像のフレームレートを用いて計算することを特徴とする。

請求項２の発明による速度計測方法は、
周期的な模様を有する線状の不動対象に沿って移動する移動対象が、画面の中央部分に存在する、空撮画像を用いて、前記移動対象の速度を計測する速度計測方法であって、
前記空撮画像から前記不動対象以外の像が除去された不動対象画像を作成し、前記不動対象画像の周波数特性をＦＦＴ（Fast Fourier Transform:高速フーリエ変換）を用いて作成する不動対象画像及び不動対象画像周波数特性作成ステップと、
前記不動対象の周期を、前記不動対象画像及び前記不動対象画像の周波数特性を用いて検出する不動対象周期検出ステップと、
前記不動対象の動きベクトルを、前記不動対象画像の周波数特性及びＩＦＦＴ(Inverse FFT)を用いて検出する不動対象動きベクトル検出ステップと、
前記空撮画像から前記移動対象以外の像が除去された移動対象画像を、前記不動対象の動きベクトルを用いて作成する移動対象画像作成ステップと、
前記移動対象の座標及び動きベクトルを、前記移動対象画像を用いて検出する移動対象座標及び動きベクトル検出ステップと、
前記移動対象の速度を、前記不動対象の周期、前記不動対象の動きベクトル、前記移動対象の動きベクトル、前記不動対象の周期の規定値及び前記空撮画像のフレームレートを用いて計算する移動対象速度計算ステップとを具えることを特徴とする。

請求項３の発明による速度計測方法は、前記移動対象の座標の初期値を、前記移動対象画像を用いて検出する移動対象座標初期値検出ステップを更に具えることを特徴とする。

請求項４の発明による速度計測方法は、前記移動対象の速度の平均値を計算する移動対象速度平均値計算ステップを更に具えることを特徴とする。

請求項５の発明による速度計測方法は、
前記移動対象の座標の初期値を、前記移動対象画像を用いて検出する移動対象座標初期値検出ステップと、
前記移動対象の速度の平均値を計算する移動対象速度平均値計算ステップとを更に具えることを特徴とする。

請求項６の発明による速度計測方法は、前記不動対象画像及び不動対象画像周波数特性作成ステップが、前記空撮画像をフィルタリングし、フィルタリング後の画像を前記不動対象の領域と前記不動対象以外の領域とに分別して前記不動対象画像を作成し、前記不動対象画像にＦＦＴを適用して前記不動対象画像の周波数特性を作成することを特徴とする。

請求項７の発明による速度計測方法は、前記不動対象周期検出ステップが、前記不動対象画像の周波数特性を用いて前記不動対象の像の長手方向の角度を検出し、前記不動対象画像を回転させて前記不動対象の像の長手方向が水平化又は垂直化された幾何補正不動対象画像を作成し、前記幾何補正不動対象画像を垂直方向又は水平方向に分割して小画像を作成し、前記小画像を用いて前記不動対象の周期を検出することを特徴とする。

請求項８の発明による速度計測方法は、前記不動対象動きベクトル検出ステップが、前記不動対象画像の周波数特性の複素共役と前記不動対象画像の周波数特性との積を計算し、前記積にＩＦＦＴを適用して相互相関関数を計算し、前記相互相関関数の最大値の座標の位置ベクトルを前記不動対象の動きベクトルとすることを特徴とする。

請求項９の発明による速度計測方法は、前記移動対象画像作成ステップが、前記空撮画像を前記不動対象の動きベクトルの分だけ水平方向及び垂直方向にシフトさせ、シフト後の画像と前記空撮画像との差分画像を前記移動対象画像とすることを特徴とする。

請求項１０の発明による速度計測方法は、前記移動対象座標及び動きベクトル検出ステップが、前記移動対象画像を用いて前記移動対象の仮座標及び重心を検出し、前記仮座標と前記重心との中点を前記移動対象の座標とし、前記移動対象の座標の位置ベクトル間の差分を前記移動対象の動きベクトルとすることを特徴とする。

請求項１の発明によれば、周期的な模様を有する線状の不動対象に沿って移動する移動対象が、画面の中央部分に存在する、空撮画像を用いて、移動対象の速度を計測するのに際し、空撮画像から不動対象以外の像が除去された不動対象画像を作成し、不動対象の周期を、不動対象画像を用いて検出し、不動対象の動きベクトルを、不動対象画像を用いて検出し、空撮画像から移動対象以外の像が除去された移動対象画像を、不動対象の動きベクトルを用いて作成し、移動対象の座標及び動きベクトルを、移動対象画像を用いて検出し、移動対象の速度を、不動対象の周期、不動対象の動きベクトル、移動対象の動きベクトル、不動対象の周期の規定値及び空撮画像のフレームレートを用いて計算している。

このように、請求項１の発明では、不動対象の周期を、空撮画像から不動対象以外の像が除去された不動対象画像を用いて検出しているので、画像全体の明度変化や不動対象以外の像に邪魔されずに、高精度に検出できる。また、不動対象の動きベクトルを、不動対象画像を用いて検出しているので、画像全体の明度変化や不動対象以外の像に邪魔されずに、高精度に検出できる。また、移動対象の動きベクトルを、空撮画像から移動対象以外の像が除去された移動対象画像を用いて検出しているので、移動対象の像の形状変化に対応しながら移動対象以外の像に邪魔されずに、高精度に検出でき、移動対象の長時間にわたる追跡が可能となる。

請求項２の発明によれば、周期的な模様を有する線状の不動対象に沿って移動する移動対象が、画面の中央部分に存在する、空撮画像を用いて、移動対象の速度を計測するのに際し、空撮画像から不動対象以外の像が除去された不動対象画像を作成し、不動対象画像の周波数特性をＦＦＴを用いて作成し、不動対象の周期を、不動対象画像及び不動対象画像の周波数特性を用いて検出し、不動対象の動きベクトルを、不動対象画像の周波数特性及びＩＦＦＴを用いて検出し、空撮画像から移動対象以外の像が除去された移動対象画像を、不動対象の動きベクトルを用いて作成し、移動対象の座標及び動きベクトルを、移動対象画像を用いて検出し、移動対象の速度を、不動対象の周期、不動対象の動きベクトル、移動対象の動きベクトル、不動対象の周期の規定値及び空撮画像のフレームレートを用いて計算している。

このように、請求項２の発明では、不動対象の周期を、空撮画像から不動対象以外の像が除去された不動対象画像及び不動対象画像の周波数特性を用いて検出しているので、画像全体の明度変化や不動対象以外の像に邪魔されずに、高精度に検出できる。また、不動対象の動きベクトルを、不動対象画像間の相関積分ではなく、不動対象画像の周波数特性及びＩＦＦＴを用いて検出しているので、画像全体の明度変化や不動対象以外の像に邪魔されずに、軽い処理で高精度に検出できる。また、移動対象の動きベクトルを、空撮画像から移動対象以外の像が除去された移動対象画像を用いて検出しているので、移動対象の像の形状変化に対応しながら移動対象以外の像に邪魔されずに、高精度に検出でき、移動対象の長時間にわたる追跡が可能となる。

請求項３の発明によれば、請求項２の発明に加えて更に、移動対象の座標の初期値を、移動対象画像を用いて検出している。

このように、請求項３の発明では、請求項２の発明の効果に加えて更に、移動対象の座標の初期値を、空撮画像から移動対象以外の像が除去された移動対象画像を用いて検出しているので、移動対象以外の像に邪魔されずに、移動対象の座標の初期値が、自動的に得られる。

請求項４の発明によれば、請求項２の発明に加えて更に、移動対象の速度の平均値を計算している。

このように、請求項４の発明では、請求項２の発明の効果に加えて更に、移動対象の速度よりも高精度な（ランダム誤差の小さい）速度である移動対象の速度の平均値が、自動的に得られる。

請求項５の発明によれば、請求項２の発明に加えて更に、移動対象の座標の初期値を、前記移動対象画像を用いて検出し、移動対象の速度の平均値を計算している。

このように、請求項５の発明では、請求項２の発明の効果に加えて更に、移動対象の座標の初期値を、空撮画像から移動対象以外の像が除去された移動対象画像を用いて検出しているので、移動対象以外の像に邪魔されずに、移動対象の座標の初期値が、自動的に得られる。また、移動対象の速度よりも高精度な（ランダム誤差の小さい）速度である移動対象の速度の平均値が、自動的に得られる。

請求項６の発明によれば、空撮画像をフィルタリングし（手続１）、フィルタリング後の画像を不動対象の領域と不動対象以外の領域とに分別して不動対象画像を作成し（手続２）、不動対象画像にＦＦＴを適用して不動対象画像の周波数特性を作成している（手続３）。

このように、請求項６の発明では、手続１によって、不動対象の領域と不動対象以外の領域とが大まかに分別され、手続２によって、それらがより細かく分別され、手続１及び手続２によって、雑音が少ない良質な不動対象画像が作成される。手続３によって、通常のフーリエ変換よりも軽い処理で不動対象画像の周波数特性が作成される。

請求項７の発明によれば、不動対象画像の周波数特性を用いて不動対象の像の長手方向の角度を検出し（手続４）、不動対象画像を回転させて不動対象の像の長手方向が水平化又は垂直化された幾何補正不動対象画像を作成し（手続５）、幾何補正不動対象画像を垂直方向又は水平方向に分割して小画像を作成し（手続６）、小画像を用いて不動対象の周期を検出している（手続７）。

このように、請求項７の発明では、手続４によって、不動対象の像を検出しなくても、不動対象の像の長手方向の角度が簡単に検出できる。手続５によって、不動対象の像が水平化又は垂直化されるので、手続６の際に、一本の不動対象の像が二つ以上の小画像間に分割される可能性が低くなる。一つの画像上において、不動対象の像の面積を信号成分Ｓとし、それ以外の面積を雑音成分Ｎとすると、手続７は、空撮画像又は不動対象画像を用いる方法よりも、Ｓ／Ｎの良い信号処理方法といえる。

請求項８の発明によれば、不動対象画像の周波数特性の複素共役と不動対象画像の周波数特性との積を計算し（手続８）、積にＩＦＦＴを適用して相互相関関数を計算し（手続９）、相互相関関数の最大値の座標の位置ベクトルを不動対象の動きベクトルとしている。

このように、請求項８の発明では、手続８によって、相互相関関数の周波数特性が計算され、手続９によって、相互相関関数が計算され、手続８及び手続９によって、通常の相関積分よりも軽い処理で相互相関関数が計算される。

請求項９の発明によれば、空撮画像を不動対象の動きベクトルの分だけ水平方向及び垂直方向にシフトさせ（手続１０）、シフト後の画像と空撮画像との差分画像を移動対象画像としている（手続１１）。

このように、請求項９の発明では、手続１０によって、二つの空撮画像間の不動対象の位置が合わされ手続１１によって、それらの差分画像、すなわち移動対象画像が作成され、手続１０及び手続１１によって、軽い処理で実用上問題のない品質の移動対象画像が作成される。

請求項１０の発明によれば、移動対象画像を用いて移動対象の仮座標及び重心を検出し（手続１２）、仮座標と重心との中点を移動対象の座標とし（手続１３）、移動対象の座標の位置ベクトル間の差分を移動対象の動きベクトルとしている。

このように、請求項１０の発明では、手続１２によって、移動対象の像の形状及び重心という二つの観点から移動対象の仮座標及び重心がそれぞれ検出され、手続１３によって、それらの中点が移動対象の座標とされ、手続１２及び手続１３によって、移動対象の像の形状変化に対応しながら移動対象の座標が高精度に検出される。

本発明による速度計測方法の実施の形態を、図面を参照して詳細に説明する。図１は、本発明による速度計測方法の実施の形態の動作を示すフローチャートであり、パーソナルコンピュータのような装置の中で実行される画像処理プログラムのフローチャートである。

本実施の形態では、空撮画像ｆ_ｉ（図２）は、航空機に搭載されたカメラで、道路上を走行する車両を上空から撮影したときに得られる画像とする。ここで、ｉはフレーム番号とし、ｆ_ｉの画素値は明度とする。

本実施の形態では、空撮画像ｆ_ｉ及び白線画像ｇ_ｉ（図３）の画素値は、０以上２５５以下（８ビット）の整数とし、それらの画像の画素値を更新する際、新しい画素値が０未満になる場合には、その値を０に丸めるものとし、新しい画素値が２５５を超える場合には、その値を２５５に丸めるものとする。ここで、白線画像ｇ_ｉは、白線以外の像が除去された空撮画像ｆ_ｉとする。

本実施の形態では、動物体画像ｍ_ｉ（図４）の画素値は、−１２８以上１２７以下（８ビット）の整数とし、その画像の画素値を更新する際、新しい画素値が−１２８未満になる場合には、その値を−１２８に丸めるものとし、新しい画素値が１２７を超える場合には、その値を１２７に丸めるものとする。ここで、動物体画像ｍ_ｉは、動物体以外の像が除去された空撮画像ｆ_ｉとする。

図１のフローチャートでは、先ず、フレーム番号のカウンタｉを−１に初期化する（ステップＳ1）。

次に、カウンタｉに１を加算する（ステップＳ２）。

次に、白線画像ｇ_ｉ及び白線画像ｇ_ｉの周波数特性Ｇ_ｉ作成する（ステップＳ３）。

次に、カウンタｉが１であるか否かを判定し（ステップＳ４）、カウンタｉが１でない場合には、ステップＳ２に戻り、カウンタｉが１である場合には、ステップＳ５に進む。

ステップＳ５では、車線境界線の動きベクトルｂｉ（図２）を検出する。

に、動物体画像ｍ_ｉを作成する（ステップＳ６）。

次に、車両の座標ｐ_ｉ（図２）の初期値ｐ_１を検出する（ステップＳ７）。

次に、カウンタｉに１を加算する（ステップＳ８）。

次に、白線画像ｇ_ｉ及び白線画像ｇ_ｉの周波数特性Ｇ_ｉを作成する（ステップＳ９）。

次に、画像上における車線境界線の周期ｌ _ｉ（図２）を検出する（ステップＳ１０）。

次に、車線境界線の動きベクトルｂ_ｉを検出する（ステップＳ１１）。

次に、動物体画像ｍ_ｉを作成する（ステップＳ１２）。

次に、車両の座標ｐ_ｉ及び動きベクトルｃ_ｉ（図２）を検出する（ステップＳ１３）。

次に、車両の速度ｖ _ｉ＝（｜ｃ_ｉ−ｂ_ｉ｜／Ｔ）・（Ｌ／ｌ _ｉ）を計算する（ステップＳ１４）。ここで、Ｔはフレーム間隔とし、Ｌは道路上における車線境界線の周期の規定値（高速道路の場合、Ｌ＝２０ｍ）とする。

次に、カウンタｉが上限値ｎであるか否かを判定し（ステップＳ１５）、カウンタｉが上限値ｎでない場合には、ステップＳ８に戻り、カウンタｉが上限値ｎである場合には、ステップＳ１６に進む。

ステップＳ１６では車両の速度の平均値ｖ＝（ｖ_２＋ｖ_３＋・・・＋ｖ_ｎ）／（ｎ−１）を計算し、このフローチャートを終了する。

図５は、白線画像及び白線画像の周波数特性の作成（ステップＳ３及びステップＳ９）のフローチャートである。

このフローチャートでは、先ず、空撮画像ｆ_ｉの複製画像ｇ_ｉを作成する（ステップＳ１０１）。

次に、画像ｇ_ｉをラプラシアンオペレータ（図６）でフィルタリングする（ステップＳ１０２）。

次に、画像ｇ_ｉ上の微小成分をｐタイル法で除去（画素値を０に）する（ステップＳ１０３）。

次に、画像ｇ_ｉ上の孤立点を除去（画素値を０に）し、孤立点除去後の画像ｇ_ｉを白線画像ｇ_ｉとする（ステップＳ１０４）。ここで、画像ｇ_ｉ上の孤立点は図領域の孤立点とし、図領域は画素値が１以上の領域とする。

次に、白線画像ｇ_ｉにＦＦＴを適用して白線画像ｇ_ｉの周波数特性Ｇ_ｉを作成し（ステップＳ１０５）、このフローチャートを終了する。

図７は、車線境界線の周期の検出（ステップＳ１０）のフローチャートである。

このフローチャートでは、先ず、周波数特性Ｇ_ｉの振幅特性（図８）を作成する（ステップＳ２０１）。

次に、振幅特性をｐタイル法で２値化する（ステップＳ２０２）。

次に、振幅特性の図領域の角度を検出する（ステップＳ２０３）。ここで、振幅特性の図領域はｐタイル法で決定した閾値以上の領域とし、振幅特性の図領域の角度は図領域の各点を位置ベクトルで表現したときの位置ベクトルの角度の平均値とする。

次に、白線画像ｇ_ｉを回転させて水平化白線画像（図９）を作成する（ステップＳ２０４）。ここで、白線画像ｇ_ｉを回転させる角度は、振幅特性の図領域の角度に９０゜を加算した角度、又は、減算した角度とする。

次に、水平化白線画像の水平投影像（図９）を作成する（ステップＳ２０５）。

次に、ＦＦＴなどを用いて水平投影像の自己相関関数（図９）を作成する（ステップＳ２０６）。

次に、水平投影像の自己相関関数から車線の幅を検出する（ステップＳ２０７）。ここで、車線の幅は、自己相関関数の隣接ピーク間隔の平均値とする。

次に、水平化白線画像を垂直方向に分割して複数個の小画像を作成する（図１０）（ステップＳ２０８）。

次に、すべての小画像の水平投影像（図１１）を作成する（ステップＳ２０９）。

次に、小画像の水平投影像ごとに、水平投影像の最大値を検出する（ステップＳ２１０）。

次に、水平投影像の最大値が指定値以上になっている小画像だけを選出する（ステップＳ２１１）。

次に、選出された小画像の垂直投影像（図１２）を作成する（ステップＳ２１２）。

次に、ＦＦＴなどを用いてすべての垂直投影像の自己相関関数（図１２）を作成する（ステップＳ２１３）。

次に、垂直投影像の自己相関関数ごとに、自己相関関数の諸特性を検出する（ステップＳ２１４）。ここで、自己相関関数の諸特性は、自己相関関数のピークの総数、自己相関関数の隣接ピーク間隔の平均値などとする。

次に、車線の幅及び指定条件に基づいて（例えば、自己相関関数のピークの総数が指定数以上になっており、自己相関関数の隣接ピーク間隔の平均値が車線の幅の定数倍以上になっている）自己相関関数の諸特性を選出する（ステップＳ２１５）。

次に、選出された自己相関関数の諸特性から車線境界線の周期ｌ_ｉを計算し（ステップＳ２１６）、このフローチャートを終了する。ここで、車線境界線の周期ｌ_ｉは、自己相関関数の隣接ピーク間隔の平均値（複数個）の平均値（１個）とする。

図１３は、車線境界線の動きベクトルの検出（ステップＳ５及びステップＳ１１）のフローチャートである。

このフローチャートでは、先ず、周波数特性Ｇ_ｉ−１の複素共役を作成する（ステップＳ３０１）。

次に、周波数特性Ｇ_ｉ−１の複素共役と周波数特性Ｇ_ｉとの積を作成する（ステップＳ３０２）。

次に、積にＩＦＦＴを適用して白線画像ｇ_ｉ−１と白線画像ｇ_ｉとの相互相関関数（図１４）を作成する（ステップＳ３０３）。

次に、相互相関関数から車線境界線の動きベクトルｂ_ｉを検出し（ステップＳ３０４）、このフローチャートを終了する。ここで、車線境界線の動きベクトルｂ_ｉは、相互相関関数の最大値の座標の位置ベクトルとする。

図１５は、動物体画像の作成（ステップＳ６及びステップＳ１２）のフローチャートである。

このフローチャートでは、先ず、空撮画像ｆ_ｉ−１を水平方向及び垂直方向にシフトさせる（図１６）（ステップＳ４０１）。ここで、空撮画像ｆ_ｉ−１のシフトは、車線境界線の動きベクトルｂ_ｉの分だけとする。

次に、シフト後の空撮画像ｆ_ｉ−１と空撮画像ｆ_ｉとの差分画像を作成し、作成した差分画像を動物体画像ｍ_ｉとし（ステップＳ４０２）、このフローチャートを終了する。

図１７は、車両の座標及び動きベクトルの検出（ステップＳ１３）のフローチャートである。

このフローチャートでは、先ず、動物体画像ｍ_ｉ−１から車両テンプレートを切り出す（作成する）（図１８）（ステップＳ５０１）。ここで、車両テンプレートを切り出すときの矩形領域の中心は車両の座標ｐ_ｉ−１とし、矩形領域の幅及び高さは車両の幅及び高さよりも少し大きめになるような指定値とする。

次に、車両テンプレートと動物体画像ｍ_ｉとのテンプレートマッチングで、車両の仮座標を検出する（ステップＳ５０２）。ここで、テンプレートマッチングの類似度は、例えば、差分絶対値の平均値の逆数とし、車両の仮座標は、類似度が最大になる座標とする。

次に、動物体画像ｍ_ｉ上に矩形領域を設定する（図１９）（ステップＳ５０３）。ここで、矩形領域の中心は車両の仮座標とし、矩形領域の幅及び高さは車両の幅及び高さよりも少し大きめになるような指定値とする。

次に、動物体画像ｍ_ｉ上の矩形領域から車両の重心を検出する（ステップＳ５０４）。ここで、車両の重心は、矩形領域内の画像の重心とする。

次に、車両の仮座標及び重心から車両の座標ｐ_ｉを計算する（ステップＳ５０５）。ここで、車両の座標ｐ_ｉは、車両の仮座標と車両の重心との中点とする。

次に、車両の座標ｐ_ｉ−１及び車両の座標ｐ_ｉから車両の動きベクトルｃ_ｉを計算し（ステップＳ５０６）、このフローチャートを終了する。ここで、車両の動きベクトルｃ_ｉは、車両の座標ｐ_ｉの位置ベクトルから車両の座標ｐ_ｉ−１の位置ベクトルを減算したものとする。

図２０は、車両の座標の初期値の検出（ステップＳ７）のフローチャートである。

このフローチャートでは、先ず、動物体画像ｍ_ｉ上に矩形領域Ａを設定する（図２１）（ステップＳ６０１）。ここで、矩形領域Ａの中心は動物体画像ｍ_ｉの中心とし、矩形領域Ａの幅及び高さは車両の幅及び高さよりもかなり大きめになるような指定値とする。

次に、動物体画像ｍ_ｉ上の矩形領域Ａから車両の仮座標を検出する（ステップＳ６０２）。ここで、車両の仮座標は、矩形領域Ａ内の画像の重心とする。

次に、動物体画像ｍ_ｉ上に矩形領域Ｂを設定する（図２２）（ステップＳ６０３）。ここで、矩形領域Ｂの中心は車両の仮座標とし、矩形領域Ｂの幅及び高さは車両の幅及び高さよりも少し大きめになるような指定値とする。

次に、動物体画像ｍ_ｉ上の矩形領域Ｂから車両の座標ｐ_ｉの初期値ｐ_１を検出し（ステップＳ６０４）、このフローチャートを終了する。ここで、車両の座標ｐ_ｉの初期値ｐ_１は、矩形領域Ｂ内の画像の重心とする。

本実施の形態によれば、車線境界線の周期を、空撮画像から白線以外の像が除去された白線画像を用いて検出しているので、画像全体の明度変化や白線以外の像に邪魔されずに、高精度に検出できる。また、車線境界線の動きベクトルを、白線画像間の相関積分ではなく、白線画像の周波数特性及びＩＦＦＴを用いて検出しているので、画像全体の明度変化や白線以外の像に邪魔されずに、軽い処理で高精度に検出できる。また、車両の動きベクトルを、空撮画像から動物体以外の像が除去された動物体画像を用いて検出しているので、車両の像の形状変化に対応しながら動物体以外の像に邪魔されずに、高精度に検出でき、車両の長時間にわたる追跡が可能となる。

また、車両の座標の初期値を、空撮画像から動物体以外の像が除去された動物体画像を用いて検出しているので、動物体以外の像に邪魔されずに、車両の座標の初期値が、自動的に得られる。また、車両の速度よりも高精度な（ランダム誤差の小さい）速度である車両の速度の平均値が、自動的に得られる。

また、車線境界線の周期を、自己相関関数を用いて検出しているので、車線境界線の白線部分が薄く消えかかっているような場合であっても、高精度に検出できる。

本発明は、上記実施の形態に限定されるものではなく、幾多の変更及び変形が可能である。

例えば、上記実施の形態では、不動対象を白線（又は車線境界線）とし、移動対象を白線に沿って移動する車両（又は動物体）としたが、不動対象を白線以外のものとすることができるとともに、移動対象を車両以外のものとすることができる。

また、上記実施の形態では、ステップＳ７で車両の座標の初期値を検出したが、車両の座標の初期値が予めわかっている場合には、ステップＳ７を省略することができる。

また、上記実施の形態では、ステップＳ１６で車両の速度の平均値を計算したが、車両の速度の平均値が不必要な場合には、ステップＳ１６を省略することができる。

本発明は、速度違反の取締りにおける車両の速度の計測などの車両の速度を計測する種々のアプリケーションに適用することができる。

本発明による速度計測方法の実施の形態の動作を示すフローチャートである。空撮画像、車線境界線の周期、車線境界線の動きベクトル、車両の座標及び動きベクトルを示す模式図である。白線画像を示す模式図である。動物体画像を示す模式図である。白線画像及び白線画像の周波数特性の作成のフローチャートである。ラプラシアンオペレータを示す模式図である。車線境界線の周期の検出のフローチャートである。周波数特性の振幅特性を示す模式図である。水平化白線画像、水平化白線画像の水平投影像及び水平投影像の自己相関関数を示す模式図である。水平化白線画像の分割方法を示す模式図である。小画像及び小画像の水平投影像を示す模式図である。小画像、小画像の垂直投影像及び垂直投影像の自己相関関数を示す模式図である。車線境界線の動きベクトルの検出のフローチャートである。白線画像間の相互相関関数を示す模式図である。動物体画像の作成のフローチャートである。空撮画像のシフト方法を示す模式図である。車両の座標及び動きベクトルの検出のフローチャートである。車両テンプレートの切り出し方法を示す模式図である。矩形領域の設定方法を示す模式図である。車両の座標の初期値の検出のフローチャートである。矩形領域Ａの設定方法を示す模式図である。矩形領域Ｂの設定方法を示す模式図である。

Claims

周期的な模様を有する線状の不動対象に沿って移動する移動対象が、画面の中央部分に存在する、空撮画像を用いて、前記移動対象の速度を計測する速度計測方法であって、
前記空撮画像から前記不動対象以外の像が除去された不動対象画像を作成し、
前記不動対象の周期を、前記不動対象画像を用いて検出し、
前記不動対象の動きベクトルを、前記不動対象画像を用いて検出し、
前記空撮画像から前記移動対象以外の像が除去された移動対象画像を、前記不動対象の動きベクトルを用いて作成し、
前記移動対象の座標及び動きベクトルを、前記移動対象画像を用いて検出し、
前記移動対象の速度を、前記不動対象の周期、前記不動対象の動きベクトル、前記移動対象の動きベクトル、前記不動対象の周期の規定値及び前記空撮画像のフレームレートを用いて計算することを特徴とする速度計測方法。
周期的な模様を有する線状の不動対象に沿って移動する移動対象が、画面の中央部分に存在する、空撮画像を用いて、前記移動対象の速度を計測する速度計測方法であって、
前記空撮画像から前記不動対象以外の像が除去された不動対象画像を作成し、前記不動対象画像の周波数特性をＦＦＴを用いて作成する不動対象画像及び不動対象画像周波数特性作成ステップと、
前記不動対象の周期を、前記不動対象画像及び前記不動対象画像の周波数特性を用いて検出する不動対象周期検出ステップと、
前記不動対象の動きベクトルを、前記不動対象画像の周波数特性及びＩＦＦＴを用いて検出する不動対象動きベクトル検出ステップと、
前記空撮画像から前記移動対象以外の像が除去された移動対象画像を、前記不動対象の動きベクトルを用いて作成する移動対象画像作成ステップと、
前記移動対象の座標及び動きベクトルを、前記移動対象画像を用いて検出する移動対象座標及び動きベクトル検出ステップと、
前記移動対象の速度を、前記不動対象の周期、前記不動対象の動きベクトル、前記移動対象の動きベクトル、前記不動対象の周期の規定値及び前記空撮画像のフレームレートを用いて計算する移動対象速度計算ステップとを具えることを特徴とする速度計測方法。
前記移動対象の座標の初期値を、前記移動対象画像を用いて検出する移動対象座標初期値検出ステップを更に具えることを特徴とする請求項２記載の速度計測方法。
前記移動対象の速度の平均値を計算する移動対象速度平均値計算ステップを更に具えることを特徴とする請求項２記載の速度計測方法。
前記移動対象の座標の初期値を、前記移動対象画像を用いて検出する移動対象座標初期値検出ステップと、
前記移動対象の速度の平均値を計算する移動対象速度平均値計算ステップとを更に具えることを特徴とする請求項２記載の速度計測方法。
前記不動対象画像及び不動対象画像周波数特性作成ステップが、前記空撮画像をフィルタリングし、フィルタリング後の画像を前記不動対象の領域と前記不動対象以外の領域とに分別して前記不動対象画像を作成し、前記不動対象画像にＦＦＴを適用して前記不動対象画像の周波数特性を作成することを特徴とする請求項２記載の速度計測方法。
前記不動対象周期検出ステップが、前記不動対象画像の周波数特性を用いて前記不動対象の像の長手方向の角度を検出し、前記不動対象画像を回転させて前記不動対象の像の長手方向が水平化又は垂直化された幾何補正不動対象画像を作成し、前記幾何補正不動対象画像を垂直方向又は水平方向に分割して小画像を作成し、前記小画像を用いて前記不動対象の周期を検出することを特徴とする請求項２記載の速度計測方法。
前記不動対象動きベクトル検出ステップが、前記不動対象画像の周波数特性の複素共役と前記不動対象画像の周波数特性との積を計算し、前記積にＩＦＦＴを適用して相互相関関数を計算し、前記相互相関関数の最大値の座標の位置ベクトルを前記不動対象の動きベクトルとすることを特徴とする請求項２記載の速度計測方法。
前記移動対象画像作成ステップが、前記空撮画像を前記不動対象の動きベクトルの分だけ水平方向及び垂直方向にシフトさせ、シフト後の画像と前記空撮画像との差分画像を前記移動対象画像とすることを特徴とする請求項２記載の速度計測方法。
前記移動対象座標及び動きベクトル検出ステップが、前記移動対象画像を用いて前記移動対象の仮座標及び重心を検出し、前記仮座標と前記重心との中点を前記移動対象の座標とし、前記移動対象の座標の位置ベクトル間の差分を前記移動対象の動きベクトルとすることを特徴とする請求項２記載の速度計測方法。