JP4681592B2

JP4681592B2 - 速度計測方法

Info

Publication number: JP4681592B2
Application number: JP2007303367A
Authority: JP
Inventors: 尚之谷本
Original assignee: Ikegami Tsushinki Co Ltd
Current assignee: Ikegami Tsushinki Co Ltd
Priority date: 2007-11-22
Filing date: 2007-11-22
Publication date: 2011-05-11
Anticipated expiration: 2027-11-22
Also published as: JP2009129181A

Description

本発明は、点線や破線のように周期的な模様を有する線状の不動対象に沿って移動する移動対象が、画面の中央部分に存在する、空撮画像を用いて、前記移動対象の速度を計測する速度計測方法に関する。

空撮画像を用いて移動対象（例えば、車両）の速度を計測する速度計測技術は、これまでにも提案されている（例えば、特許文献１）。

このような速度計測技術は、航空機に搭載されたカメラから得られる空撮画像から車両（移動対象）と車線境界線（不動対象）とを検出し、車線境界線の画像上の長さからカメラ画角内に映し出された範囲の長さを補正し、車両と車線境界線との画像上の相対的な移動量を路面上の長さに変換し、車両の速度を計算する、という速度計測技術である。
特開平１１−２９６７８８号公報

要約すれば、特許文献１の速度計測技術は、画像上の長さ及び移動量を実測し、それらの実測結果（実測値）を用いて速度を計算する、という速度計測技術である。このように、計測過程全体が、実測過程と計算過程とに分割できるような場合には、個々の実測の性能が、計測全体の性能を決定づける。例えば、個々の実測結果が高精度であるのなら、計測結果（計測値）も高精度となるし、個々の実測が計算量の少ない処理であるのなら、計測全体も計算量の少ない処理となる。

特許文献１の速度計測技術では、車線境界線の移動量を実測する方法として、空撮画像間の相互相関を用いる方法（実測方法１）を採用しており、車両の移動量及び車線境界線の長さを実測する方法として、空撮画像を閾値処理し、閾値処理後の２値画像を画像処理する方法（実測方法２）を採用している。実測方法１の短所は、空撮画像上の車線境界線以外の像が邪魔になり、その像が精度低下の原因になるということ、相互相関は一般的に計算量の多い処理であるということである。実測方法２の短所は、２値画像上の車両及び車線境界線の領域に「欠け」が生じやすく、その「欠け」が精度低下の原因になるということである。

本発明の目的は、不動対象の周期、不動対象の動きベクトル及び移動対象の動きベクトルを実測し、それらの実測結果、不動対象の周期の規定値及び空撮画像のフレームレートを用いて移動対象の速度を計算し、移動対象の速度を少ない計算量で高精度に計測する速度計測方法を提供することである。

請求項１の発明による速度計測方法は、
周期的な模様を有する線状の不動対象に沿って移動する移動対象が、画面の中央部分に存在する、空撮画像を用いて、前記移動対象の速度を計測する速度計測方法であって、
前記空撮画像から前記不動対象以外の像が除去された不動対象画像を作成し、
前記不動対象の周期を、前記不動対象画像を用いて検出し、
前記不動対象の動きベクトルを、前記不動対象画像を用いて検出し、
前記空撮画像から前記不動対象の像が除去された不動対象除去画像を、前記不動対象画像を用いて作成し、
前記空撮画像から前記移動対象以外の像が除去された移動対象画像を、前記不動対象の動きベクトルを用いて作成し、
前記移動対象の座標及び動きベクトルを、前記不動対象除去画像及び前記移動対象画像を用いて検出し、
前記移動対象の速度を、前記不動対象の周期、前記不動対象の動きベクトル、前記移動対象の動きベクトル、前記不動対象の周期の規定値及び前記空撮画像のフレームレートを用いて計算することを特徴とする。

請求項２の発明による速度計測方法は、
周期的な模様を有する線状の不動対象に沿って移動する移動対象が、画面の中央部分に存在する、空撮画像を用いて、前記移動対象の速度を計測する速度計測方法であって、
前記空撮画像から前記不動対象以外の像が除去された不動対象画像及び前記不動対象画像の画像ピラミッドを作成する不動対象画像画像ピラミッド作成ステップと、
前記不動対象の周期を、前記不動対象画像の画像ピラミッドを用いて検出する不動対象周期検出ステップと、
前記不動対象の動きベクトルを、前記不動対象画像の画像ピラミッドを用いて検出する不動対象動きベクトル検出ステップと、
前記空撮画像から前記不動対象の像が除去された不動対象除去画像及び前記不動対象除去画像の画像ピラミッドを、前記不動対象画像の画像ピラミッドを用いて作成する不動対象除去画像画像ピラミッド作成ステップと、
前記空撮画像から前記移動対象以外の像が除去された移動対象画像を、前記不動対象の動きベクトルを用いて作成する移動対象画像作成ステップと、
前記移動対象の座標及び動きベクトルを、前記不動対象除去画像の画像ピラミッド及び前記移動対象画像を用いて検出する移動対象座標及び動きベクトル検出ステップと、
前記移動対象の速度を、前記不動対象の周期、前記不動対象の動きベクトル、前記移動対象の動きベクトル、前記不動対象の周期の規定値及び前記空撮画像のフレームレートを用いて計算する移動対象速度計算ステップとを具えることを特徴とする。

請求項３の発明による速度計測方法は、請求項２の発明の七つのステップを具え、
前記移動対象の座標の初期値を、前記移動対象画像を用いて検出する移動対象座標初期値検出ステップを更に具えることを特徴とする。

請求項４の発明による速度計測方法は、請求項２の発明の七つのステップを具え、
前記移動対象の速度の平均値を計算する移動対象速度平均値計算ステップを更に具えることを特徴とする。

請求項５の発明による速度計測方法は、請求項２の発明の七つのステップを具え、
前記移動対象の座標の初期値を、前記移動対象画像を用いて検出する移動対象座標初期値検出ステップと、
前記移動対象の速度の平均値を計算する移動対象速度平均値計算ステップとを更に具えることを特徴とする。

請求項６の発明による速度計測方法は、請求項２の発明の七つのステップを具え、
前記不動対象画像画像ピラミッド作成ステップが、前記空撮画像をフィルタリングし、フィルタリング後の画像を前記不動対象の領域と前記不動対象以外の領域とに分別して前記不動対象画像を作成し、前記不動対象画像を再帰的に縮小して前記不動対象画像の画像ピラミッドを作成することを特徴とする。

請求項７の発明による速度計測方法は、請求項２の発明の七つのステップを具え、
前記不動対象周期検出ステップが、前記不動対象画像にＦＦＴを適用して前記不動対象画像の周波数特性を作成し、前記不動対象画像の周波数特性を用いて前記不動対象の像の長手方向の角度を検出し、前記不動対象画像を回転させて前記不動対象の像の長手方向が水平化又は垂直化された幾何補正不動対象画像を作成し、前記幾何補正不動対象画像を垂直方向又は水平方向に分割して小画像を作成し、前記小画像を用いて前記不動対象の周期を検出することを特徴とする。

請求項８の発明による速度計測方法は、請求項２の発明の七つのステップを具え、
前記不動対象動きベクトル検出ステップが、前記不動対象画像の画像ピラミッド間のテンプレートマッチングを行ってテンプレートマッチングの類似度が最大になる座標の位置ベクトルを前記不動対象の動きベクトルとすることを特徴とする。

請求項９の発明による速度計測方法は、請求項２の発明の七つのステップを具え、
前記不動対象除去画像画像ピラミッド作成ステップが、前記不動対象画像を用いて前記空撮画像から前記不動対象の像を除去して前記不動対象除去画像を作成し、前記不動対象除去画像を再帰的に縮小して前記不動対象除去画像の画像ピラミッドを作成することを特徴とする。

請求項１０の発明による速度計測方法は、請求項２の発明の七つのステップを具え、
前記移動対象画像作成ステップが、前記空撮画像を前記不動対象の動きベクトルの分だけ水平方向及び垂直方向にシフトさせ、シフト後の画像と前記空撮画像との差分画像を前記移動対象画像とすることを特徴とする。

請求項１１の発明による速度計測方法は、請求項２の発明の七つのステップを具え、
前記移動対象座標及び動きベクトル検出ステップが、前記不動対象除去画像の画像ピラミッドを用いて車両テンプレートを作成し、前記車両テンプレートと前記不動対象除去画像の画像ピラミッドとのテンプレートマッチングを行ってテンプレートマッチングの類似度が最大になる座標を前記移動対象の仮座標とし、前記移動対象画像において前記移動対象の仮座標周辺の画像の重心を前記移動対象の重心とし、前記移動対象の仮座標と前記移動対象の重心との中点を前記移動対象の座標とし、前記移動対象の座標の位置ベクトル間の差分を前記移動対象の動きベクトルとすることを特徴とする。

請求項１の発明によれば、周期的な模様を有する線状の不動対象に沿って移動する移動対象が、画面の中央部分に存在する、空撮画像を用いて、移動対象の速度を計測するのに際し、空撮画像から不動対象以外の像が除去された不動対象画像を作成し、不動対象の周期を、不動対象画像を用いて検出し、不動対象の動きベクトルを、不動対象画像を用いて検出し、空撮画像から不動対象の像が除去された不動対象除去画像を、不動対象画像を用いて作成し、空撮画像から移動対象以外の像が除去された移動対象画像を、不動対象の動きベクトルを用いて作成し、移動対象の座標及び動きベクトルを、不動対象除去画像及び移動対象画像を用いて検出し、移動対象の速度を、不動対象の周期、不動対象の動きベクトル、移動対象の動きベクトル、不動対象の周期の規定値及び空撮画像のフレームレートを用いて計算している。

このように、請求項１の発明では、不動対象の周期を、不動対象画像を用いて検出しているので、画像全体の明度変化や不動対象以外の像に邪魔されずに、高精度に検出できる。また、不動対象の動きベクトルを、不動対象画像を用いて検出しているので、画像全体の明度変化や不動対象以外の像に邪魔されずに、高精度に検出できる。また、移動対象の動きベクトルを、不動対象除去画像及び移動対象画像を用いて検出しているので、移動対象の速度及び形状の変化に対応しながら移動対象以外の像に邪魔されずに、高精度に検出でき、移動対象の長時間にわたる追跡が可能となる。

請求項２の発明によれば、周期的な模様を有する線状の不動対象に沿って移動する移動対象が、画面の中央部分に存在する、空撮画像を用いて、移動対象の速度を計測するのに際し、空撮画像から不動対象以外の像が除去された不動対象画像及び不動対象画像の画像ピラミッドを作成し、不動対象の周期を、不動対象画像の画像ピラミッドを用いて検出し、不動対象の動きベクトルを、不動対象画像の画像ピラミッドを用いて検出し、空撮画像から不動対象の像が除去された不動対象除去画像及び不動対象除去画像の画像ピラミッドを、不動対象画像の画像ピラミッドを用いて作成し、空撮画像から移動対象以外の像が除去された移動対象画像を、不動対象の動きベクトルを用いて作成し、移動対象の座標及び動きベクトルを、不動対象除去画像の画像ピラミッド及び移動対象画像を用いて検出し、移動対象の速度を、不動対象の周期、不動対象の動きベクトル、移動対象の動きベクトル、不動対象の周期の規定値及び空撮画像のフレームレートを用いて計算している。

このように、請求項２の発明では、不動対象の周期を、不動対象画像の画像ピラミッドを用いて検出しているので、画像全体の明度変化や不動対象以外の像に邪魔されずに、少ない計算量で高精度に検出できる。また、不動対象の動きベクトルを、不動対象画像の画像ピラミッドを用いて検出しているので、画像全体の明度変化や不動対象以外の像に邪魔されずに、少ない計算量で高精度に検出できる。また、移動対象の動きベクトルを、不動対象除去画像の画像ピラミッド及び移動対象画像を用いて検出しているので、移動対象の速度及び形状の変化に対応しながら移動対象以外の像に邪魔されずに、少ない計算量で高精度に検出でき、移動対象の長時間にわたる追跡が可能となる。

請求項３の発明によれば、請求項２の発明に加えて更に、移動対象の座標の初期値を、移動対象画像を用いて検出している。

このように、請求項３の発明では、請求項２の発明の効果に加えて更に、移動対象の座標の初期値を、移動対象画像を用いて検出しているので、移動対象以外の像に邪魔されずに、移動対象の座標の初期値が、自動的に得られる。

請求項４の発明によれば、請求項２の発明に加えて更に、移動対象の速度の平均値を計算している。

このように、請求項４の発明では、請求項２の発明の効果に加えて更に、移動対象の速度よりも高精度な（ランダム誤差の小さい）速度である移動対象の速度の平均値が、自動的に得られる。

請求項５の発明によれば、請求項２の発明に加えて更に、移動対象の座標の初期値を、前記移動対象画像を用いて検出し、移動対象の速度の平均値を計算している。

このように、請求項５の発明では、請求項２の発明の効果に加えて更に、移動対象の座標の初期値を、移動対象画像を用いて検出しているので、移動対象以外の像に邪魔されずに、移動対象の座標の初期値が、自動的に得られる。また、移動対象の速度よりも高精度な（ランダム誤差の小さい）速度である移動対象の速度の平均値が、自動的に得られる。

請求項６の発明によれば、空撮画像をフィルタリングし（手続１）、フィルタリング後の画像を不動対象の領域と不動対象以外の領域とに分別して不動対象画像を作成し（手続２）、不動対象画像を再帰的に縮小して不動対象画像の画像ピラミッドを作成している（手続３）。

このように、請求項６の発明では、手続１によって、不動対象の領域と不動対象以外の領域とが大まかに分別され、手続２によって、それらがより細かく分別され、手続１及び手続２によって、雑音の少ない良質な不動対象画像が作成される。手続３によって、少ない計算量で不動対象画像の画像ピラミッドが作成される。

請求項７の発明によれば、不動対象画像にＦＦＴを適用して不動対象画像の周波数特性を作成し（手続４）、不動対象画像の周波数特性を用いて不動対象の像の長手方向の角度を検出し（手続５）、不動対象画像を回転させて不動対象の像の長手方向が水平化又は垂直化された幾何補正不動対象画像を作成し（手続６）、幾何補正不動対象画像を垂直方向又は水平方向に分割して小画像を作成し（手続７）、小画像を用いて不動対象の周期を検出している（手続８）。

このように、請求項７の発明では、手続４によって、通常のフーリエ変換よりも少ない計算量で不動対象画像の周波数特性が作成される。手続５によって、不動対象の像を検出しなくても、不動対象の像の長手方向の角度が簡単に検出できる。手続６によって、不動対象の像が水平化又は垂直化されるので、手続７の際に、一本の不動対象の像が二つ以上の小画像間に分割される可能性が低くなる。一つの画像上において、不動対象の像の面積を信号成分Ｓとし、それ以外の面積を雑音成分Ｎとすると、手続８は、不動対象画像を用いる方法よりも、Ｓ／Ｎの良い信号処理方法といえる。

請求項８の発明によれば、不動対象画像の画像ピラミッド間のテンプレートマッチングを行ってテンプレートマッチングの類似度が最大になる座標の位置ベクトルを不動対象の動きベクトルとしている（手続９）。

このように、請求項８の発明では、手続９によって、通常のテンプレートマッチングよりも少ない計算量で不動対象の動きベクトルが検出される。

請求項９の発明によれば、不動対象画像を用いて空撮画像から不動対象の像を除去して不動対象除去画像を作成し（手続１０）、不動対象除去画像を再帰的に縮小して不動対象除去画像の画像ピラミッドを作成している（手続１１）。

このように、請求項９の発明では、手続１０によって、少ない計算量で雑音の少ない良質な不動対象除去画像が作成される。手続１１によって、少ない計算量で不動対象除去画像の画像ピラミッドが作成される。

請求項１０の発明によれば、空撮画像を不動対象の動きベクトルの分だけ水平方向及び垂直方向にシフトさせ（手続１２）、シフト後の画像と空撮画像との差分画像を移動対象画像としている（手続１３）。

このように、請求項１０の発明では、手続１２によって、二つの空撮画像間の不動対象の位置が合わされ、手続１３によって、それらの差分画像、すなわち移動対象画像が作成され、手続１２及び手続１３によって、少ない計算量で実用上問題のない品質の移動対象画像が作成される。

請求項１１の発明によれば、不動対象除去画像の画像ピラミッドを用いて車両テンプレートを作成し（手続１４）、車両テンプレートと不動対象除去画像の画像ピラミッドとのテンプレートマッチングを行ってテンプレートマッチングの類似度が最大になる座標を移動対象の仮座標とし（手続１５）、移動対象画像において移動対象の仮座標周辺の画像の重心を移動対象の重心とし（手続１６）、移動対象の仮座標と移動対象の重心との中点を移動対象の座標とし（手続１７）、移動対象の座標の位置ベクトル間の差分を移動対象の動きベクトルとしている。

このように、請求項１１の発明では、手続１４及び手続１５によって、通常のテンプレートマッチングよりも少ない計算量で移動対象の仮座標が検出され、手続１６によって、移動対象の重心が検出され、手続１７によって、移動対象の速度及び形状の変化に対応しながら移動対象の座標が高精度に検出される。

本発明による速度計測方法の実施の形態を、図面を参照して詳細に説明する。図１は、本発明による速度計測方法の実施の形態の動作を示すフローチャートであり、パーソナルコンピュータのような装置の中で実行される画像処理プログラムのフローチャートである。

本実施の形態では、空撮画像ｆ_ｉ（図２）は、航空機に搭載されたカメラで、道路上を走行する車両を上空から撮影したときに得られる画像とする。ここで、ｉはフレーム番号とし、ｆ_ｉの画素値は明度とする。

本実施の形態では、白線画像ｇ_ｉ，０（図３）は、白線以外の像が除去された空撮画像ｆ_ｉとし、白線画像ｇ_ｉ，１，ｇ_ｉ，２，・・・ｇ_{ｉ，ｊｍａｘ}（図３）は、白線画像ｇ_ｉ，０の画像ピラミッドの上層とし、白線除去画像ｈ_ｉ，０（図４）は、白線の像が除去された空撮画像ｆ_ｉとし、白線除去画像ｈ_ｉ，１，ｈ_ｉ，２，・・・，ｈ_{ｉ，ｋｍａｘ}（図４）は、白線除去画像ｈ_ｉ，０の画像ピラミッドの上層とし、動物体画像ｍ_ｉ（図５）は、動物体以外の像が除去された空撮画像ｆ_ｉとする。

本実施の形態では、空撮画像ｆ_ｉの画素値は、０以上２５５以下（８ビット）の整数とする。

本実施の形態では、白線画像ｇ_ｉ，ｊ及び白線除去画像ｈ_ｉ，ｋの画素値は、０以上２５５以下（８ビット）の整数とし、そのうち０以上２５４以下を通常値（明度など）とし、２５５を例外値とする。それらの画像の画素値を更新する際、新しい通常値が０未満になる場合には、その値を０に丸めるものとし、新しい通常値が２５４を超える場合には、その値を２５４に丸めるものとする。

本実施の形態では、動物体画像ｍ_ｉの画素値は、−１２８以上１２７以下（８ビット）の整数とする。その画像の画素値を更新する際、新しい画素値が−１２８未満になる場合には、その値を−１２８に丸めるものとし、新しい画素値が１２７を超える場合には、その値を１２７に丸めるものとする。

図１のフローチャートでは、先ず、フレーム番号のカウンタｉを−１に初期化する（ステップＳ１）。

次に、カウンタｉに１を加算する（ステップＳ２）。

次に、白線画像ｇ_ｉ，ｊの画像ピラミッドｇ_ｉ，０，ｇ_ｉ，１，・・・，ｇ_{ｉ，ｊｍａｘ}を作成する（ステップＳ３）。

次に、カウンタｉが１であるか否かを判定し（ステップＳ４）、カウンタｉが１でない場合には、ステップＳ２に戻り、カウンタｉが１である場合には、ステップＳ５に進む。

ステップＳ５では、車線境界線の動きベクトルｂ_ｉ（図２）を検出する。

次に、白線除去画像ｈ_ｉ，ｋの画像ピラミッドｈ_ｉ，０，ｈ_ｉ，１，・・・，ｈ_{ｉ，ｋｍａｘ}を作成する（ステップＳ６）。

次に、動物体画像ｍ_ｉを作成する（ステップＳ７）。

次に、車両の座標ｐ_ｉ（図２）の初期値ｐ_１を検出する（ステップＳ８）。

次に、カウンタｉに１を加算する（ステップＳ９）。

次に、白線画像ｇ_ｉ，ｊの画像ピラミッドｇ_ｉ，０，ｇ_ｉ，１，・・・，ｇ_{ｉ，ｊｍａｘ}を作成する（ステップＳ１０）。

次に、画像上における車線境界線の周期ｌ_ｉ（図２）を検出する（ステップＳ１１）。

次に、車線境界線の動きベクトルｂ_ｉを検出する（ステップＳ１２）。

次に、白線除去画像ｈ_ｉ，ｋの画像ピラミッドｈ_ｉ，０，ｈ_ｉ，１，・・・，ｈ_{ｉ，ｋｍａｘ}を作成する（ステップＳ１３）。

次に、動物体画像ｍ_ｉを作成する（ステップＳ１４）。

次に、車両の座標ｐ_ｉ及び動きベクトルｃ_ｉ（図２）を検出する（ステップＳ１５）。

次に、車両の速度ｖ_ｉ＝（｜ｃ_ｉ−ｂ_ｉ｜／Ｔ）・（Ｌ／ｌ_ｉ）を計算する（ステップＳ１６）。ここで、Ｔはフレーム間隔とし、Ｌは道路上における車線境界線の周期の規定値（高速道路の場合、Ｌ＝２０ｍ）とする。

次に、カウンタｉが上限値ｎであるか否かを判定し（ステップＳ１７）、カウンタｉが上限値ｎでない場合には、ステップＳ９に戻り、カウンタｉが上限値ｎである場合には、ステップＳ１８に進む。

ステップＳ１８では、車両の速度の平均値ｖ＝（ｖ_２＋ｖ_３＋・・・＋ｖ_ｎ）／（ｎ−１）を計算し、このフローチャートを終了する。

図６は、白線画像の画像ピラミッドの作成（ステップＳ３及びステップＳ１０）のフローチャートである。

このフローチャートでは、先ず、ピラミッド階層のカウンタｊを０に初期化する（ステップＳ１０１）。

次に、空撮画像ｆ_ｉの複製画像ｇ_ｉ，ｊを作成する（ステップ１０２）。

次に、画像ｇ_ｉ，ｊをラプラシアンオペレータ（図７）でフィルタリングする（ステップＳ１０３）。

次に、画像ｇ_ｉ，ｊ上の微小成分をｐタイル法で除去（画素値を０に）する（ステップＳ１０４）。

次に、画像ｇ_ｉ，ｊ上の孤立点を除去（画素値を０に）する（ステップＳ１０５）。ここで、画像ｇ_ｉ，ｊ上の孤立点は図領域の孤立点とし、図領域は通常値が１以上の領域とする。

次に、画像ｇ_ｉ，ｊ上の車両領域を例外値化（画素値を２５５に）し、例外値化後の画像ｇ_ｉ，ｊを白線画像ｇ_ｉ，ｊとする（ステップＳ１０６）。ここで、車両領域は矩形領域とし、車両領域の中心は車両の座標ｐ_ｉ−１とし、車両領域の幅及び高さは車両の幅及び高さよりも少し大きめの指定値とする。

次に、カウンタｊに１を加算する（ステップＳ１０７）。

次に、白線画像ｇ_{ｉ，ｊ−１}の縮小画像ｇ_ｉ，ｊを作成する（ステップＳ１０８）。ここで、縮小画像ｇ_ｉ，ｊの幅及び高さは、白線画像ｇ_{ｉ，ｊ−１}の幅及び高さの１／２とする。

次に、カウンタｊが上限値ｊ_ｍａｘであるか否かを判定し（ステップＳ１０９）、カウンタｊが上限値ｊ_ｍａｘでない場合には、ステップＳ１０７に戻り、カウンタｊが上限値ｊ_ｍａｘである場合には、このフローチャートを終了する。

図８は、車線境界線の周期の検出（ステップＳ１１）のフローチャートである。

このフローチャートでは、先ず、ＦＦＴなどを用いて例外値を０とみなした白線画像ｇ_{ｉ，ｊｃｏｎｓｔ}（例えば、ｊ_{ｃｏｎｓｔ}＝２）の周波数特性を作成する（ステップＳ２０１）。

周波数特性を振幅特性に変換する（ステップＳ２０２）。

次に、振幅特性をｐタイル法で図領域と地領域（図９）とに分別（２値化）する（ステップＳ２０３）。ここで、図領域はｐタイル法で決定した閾値以上の領域とし、地領域は閾値未満の領域とする。

次に、図領域の角度を検出する（ステップＳ２０４）。ここで、図領域の角度は、図領域の各点を位置ベクトルで表現したときの位置ベクトルの角度の平均値とする。

次に、白線画像ｇ_ｉ，０を回転させて例外値を０にして水平化白線画像（図１０）を作成する（ステップＳ２０５）。ここで、白線画像ｇ_ｉ，０を回転させる角度は、図領域の角度に９０゜を加算した角度、又は、図領域の角度から９０゜を減算した角度とする。

次に、水平化白線画像の水平投影像（図１０）を作成する（ステップＳ２０６）。

次に、ＦＦＴなどを用いて水平投影像の自己相関関数（図１０）を作成する（ステップＳ２０７）。

次に、水平投影像の自己相関関数から車線の幅を検出する（ステップＳ２０８）。ここで、車線の幅は、自己相関関数の隣接ピーク間隔の平均値とする。

次に、水平化白線画像を垂直方向に分割して複数個の小画像を作成する（図１１）（ステップＳ２０９）。

次に、すべての小画像の水平投影像（図１２）を作成する（ステップＳ２１０）。

次に、小画像の水平投影像ごとに水平投影像の最大値を検出する（ステップＳ２１１）。

次に、水平投影像の最大値が指定値以上になっている小画像だけを選出する（ステップＳ２１２）。

次に、選出された小画像の垂直投影像（図１３）を作成する（ステップＳ２１３）。

次に、ＦＦＴなどを用いてすべての垂直投影像の自己相関関数（図１３）を作成する（ステップＳ２１４）。

次に、垂直投影像の自己相関関数ごとに自己相関関数の諸特性を検出する（ステップＳ２１５）。ここで、自己相関関数の諸特性は、自己相関関数のピークの総数、自己相関関数の隣接ピーク間隔の平均値などとする。

次に、車線の幅及び指定条件に基づいて（例えば、自己相関関数のピークの総数が指定数以上になっており、自己相関関数の隣接ピーク間隔の平均値が車線の幅の定数倍以上になっている）自己相関関数の諸特性を選出する（ステップＳ２１６）。

次に、選出された自己相関関数の諸特性から車線境界線の周期ｌ_ｉを計算し（ステップＳ２１７）、このフローチャートを終了する。ここで、車線境界線の周期ｌ_ｉは、自己相関関数の隣接ピーク間隔の平均値（複数個）の平均値（１個）とする。

図１４は、車線境界線の動きベクトルの検出（ステップＳ５及びステップＳ１２）のフローチャートである。

このフローチャートでは、先ず、ピラミッド階層のカウンタｊをｊ_ｍａｘに初期化する（ステップＳ３０１）。

次に、車線境界線の動きベクトルｂ_ｉを（０，０）に初期化する（ステップＳ３０２）。

次に、テンプレートマッチングの探索範囲を初期化する（ステップＳ３０３）。ここで、探索範囲の中心はｂ_ｉ／２^ｊとし、探索範囲の左方向の幅、右方向の幅、上方向の幅及び下方向の幅は指定値とする。

次に、テンプレート（白線画像）ｇ_{ｉ−１，ｊ}と被探索画像（白線画像）ｇ_ｉ，ｊとのテンプレートマッチングで、車線境界線の動きベクトルｂ_ｉを更新（検出）する（図１５）（ステップＳ３０４）。ここで、座標系の原点は、被探索画像ｇ_ｉ，ｊの左上端とし，テンプレートｇ_{ｉ−１，ｊ}の座標は、テンプレートｇ_{ｉ−１，ｊ}の左上端とし、車線境界線の動きベクトルｂ_ｉは、テンプレートマッチングの類似度が最大になるテンプレートｇ_{ｉ−１，ｊ}の座標の位置ベクトルとし、類似度は、例えば、差分絶対値の平均値の逆数とし、類似度を計算する部分は、テンプレートｇ_{ｉ−１，ｊ}と被探索画像ｇ_ｉ，ｊとが重なっている部分、かつ例外値領域に重なっていない部分とする。

次に、カウンタｊから１を減算する（ステップＳ３０５）。

次に、テンプレートマッチングの探索範囲を更新する（ステップＳ３０６）。ここで、探索範囲の中心は、２ｂ_ｉとし、探索範囲の左方向の幅、右方向の幅、上方向の幅及び下方向の幅は、例えば、それぞれ０、１、０及び１とする。

次に、カウンタｊが０未満であるか否かを判定し（ステップＳ３０７）。カウンタｊが０未満でない場合には、ステップＳ３０４に戻り、カウンタｊが０未満である場合には、このフローチャートを終了する。

図１６は、白線除去画像の画像ピラミッドの作成（ステップＳ６及びステップＳ１３）のフローチャートである。

このフローチャートでは、先ず、ピラミッド階層のカウンタｋを０に初期化する（ステップＳ４０１）。

次に、空撮画像ｆ_ｉの複製画像ｈ_ｉ，ｋを作成する（ステップＳ４０２）。

次に、画像ｈ_ｉ，ｋ上の白線領域を例外値化（画素値を２５５に）する（ステップＳ４０３）。ここで、白線領域は、白線画像ｇ_ｉ，ｋ上の通常値が１以上の領域とする。

次に、画像ｈ_ｉ，ｋ上の例外値領域を拡大し（ステップＳ４０４）、拡大後の画像ｈ_ｉ，ｋを白線除去画像ｈ_ｉ，ｋとする。ここで、例外値領域を拡大する部分は、例外値の画素の４近傍又は８近傍（図１７）とする。

次に、カウンタｋに１を加算する（ステップＳ４０５）。

次に、白線除去画像ｈ_{ｉ，ｋ−１}の縮小画像ｈ_ｉ，ｋを作成する（ステップＳ４０６）。ここで、縮小画像ｈ_ｉ，ｋの幅及び高さは、白線除去画像ｈ_{ｉ，ｋ−１}の幅及び高さの１／２とする。

次に、カウンタｋが上限値ｋ_ｍａｘであるか否かを判定し（ステップＳ４０７）、カウンタｋが上限値ｋ_ｍａｘでない場合には、ステップＳ４０５に戻り、カウンタｋが上限値ｋ_ｍａｘである場合には、このフローチャートを終了する。

図１８は、動物体画像の作成（ステップＳ７及びステップＳ１４）のフローチャートである。

このフローチャートでは、先ず、空撮画像ｆ_ｉ−１を水平方向及び垂直方向にシフトさせる（ステップＳ５０１）。ここで、空撮画像ｆ_ｉ−１のシフトは、車線境界線の動きベクトルｂ_ｉの分だけとする。

次に、シフト後の空撮画像ｆ_ｉ−１と空撮画像ｆ_ｉとの差分画像、すなわち動物体画像ｍ_ｉを作成し（図１９）（ステップＳ５０２）、このフローチャートを終了する。

図２０は、車両の座標及び動きベクトルの検出（ステップＳ１５）のフローチャートである。

このフローチャートでは、先ず、ピラミッド階層のカウンタｋをｋ_ｍａｘに初期化する（ステップＳ６０１）。

次に、車両の仮座標を車両の座標ｐ_ｉ−１に初期化する（ステップＳ６０２）。

次に、テンプレートマッチングの探索範囲を初期化する（ステップＳ６０３）。ここで、探索範囲の中心は車両の仮座標の１／２^ｋとし、探索範囲の左方向の幅、右方向の幅、上方向の幅及び下方向の幅は指定値とする。

次に、白線除去画像ｈ_{ｉ−１，ｋ}から車両テンプレートを切り出す（作成する）（図２１）（ステップＳ６０４）。ここで、車両テンプレートの切り出し元となる矩形領域の中心はｐ_ｉ−１／２^ｋとし、矩形領域の幅及び高さは車両の幅及び高さよりも少し大きめの指定値とする。

次に、車両テンプレートと被探索画像（白線除去画像）ｈ_ｉ，ｋとのテンプレートマッチングで、車両の仮座標を更新（検出）する（図２２）（ステップＳ６０５）。ここで、座標系の原点は、被探索画像ｈ_ｉ，ｋの左上端とし、車両テンプレートの座標は、車両テンプレートの中心とし、車両の仮座標は、テンプレートマッチングの類似度が最大になる車両テンプレートの座標とし、類似度は、例えば、差分絶対値の平均値の逆数とし、類似度を計算する部分は、車両テンプレートと被探索画像ｈ_ｉ，ｋとが重なっている部分、かつ例外値領域に重なっていない部分とする。

次に、カウンタｋから１を減算する（ステップＳ６０６）。

次に、テンプレートマッチングの探索範囲を更新する（ステップＳ６０７）。ここで、探索範囲の中心は、車両の仮座標の２倍とし、探索範囲の左方向の幅、右方向の幅、上方向の幅及び下方向の幅は、例えば、それぞれ０、１、０及び１とする。

次に、カウンタｋが０未満であるか否かを判定し（ステップＳ６０８）、カウンタｋが０未満でない場合には、ステップＳ６０４に戻り、カウンタｋが０未満である場合にはステップＳ６０９に進む。

ステップＳ６０９では、動物体画像ｍ_ｉ上に矩形領域を設定する（図２３）。ここで、矩形領域の中心は車両の仮座標とし、矩形領域の幅及び高さは車両の幅及び高さよりも少し大きめの指定値とする。

次に、動物体画像ｍ_ｉ上の矩形領域から車両の重心を検出する（ステップＳ６１０）。ここで、車両の重心は、矩形領域内の画像（の絶対値）の重心とする。

次に、車両の仮座標及び重心から車両の座標ｐ_ｉを計算する（ステップＳ６１１）。ここで、車両の座標ｐ_ｉは、車両の仮座標と車両の重心との中点とする。

次に、車両の座標ｐ_ｉ−１及び車両の座標ｐ_ｉから車両の動きベクトルｃ_ｉを計算し（ステップＳ６１２）、このフローチャートを終了する。ここで、車両の動きベクトルｃ_ｉは、車両の座標ｐ_ｉの位置ベクトルから車両の座標ｐ_ｉ−１の位置ベクトルを減算したものとする。

図２４は、車両の座標の初期値の検出（ステップＳ８）のフローチャートである。

このフローチャートでは、先ず、動物体画像ｍ_ｉ上に矩形領域Ａを設定する（図２５）（ステップＳ７０１）。ここで、矩形領域Ａの中心は動物体画像ｍ_ｉの中心とし、矩形領域Ａの幅及び高さは車両の幅及び高さよりもかなり大きめの指定値とする。

次に、動物体画像ｍ_ｉ上の矩形領域Ａから車両の仮座標を検出する（ステップＳ７０２）。ここで、車両の仮座標は、矩形領域Ａ内の画像（の絶対値）の重心とする。

次に、動物体画像ｍ_ｉ上に矩形領域Ｂを設定する（図２６）（ステップＳ７０３）。ここで、矩形領域Ｂの中心は車両の仮座標とし、矩形領域Ｂの幅及び高さは車両の幅及び高さよりも少し大きめの指定値とする。

次に、動物体画像ｍ_ｉ上の矩形領域Ｂから車両の座標ｐ_ｉの初期値ｐ_１を検出し（ステップＳ７０４）、このフローチャートを終了する。ここで、車両の座標ｐ_ｉの初期値ｐ_１は、矩形領域Ｂ内の画像（の絶対値）の重心とする。

本実施の形態によれば、車線境界線の周期を、白線画像の画像ピラミッドを用いて検出しているので、画像全体の明度変化や白線以外の像に邪魔されずに、少ない計算量で高精度に検出できる。また、車線境界線の動きベクトルを、白線画像の画像ピラミッドを用いて検出しているので、画像全体の明度変化や白線以外の像に邪魔されずに、少ない計算量で高精度に検出できる。また、車両の動きベクトルを、白線除去画像の画像ピラミッド及び動物体画像を用いて検出しているので、車両の速度及び形状の変化に対応しながら動物体以外の像に邪魔されずに、少ない計算量で高精度に検出でき、車両の長時間にわたる追跡が可能となる。

また、車両の座標の初期値を、動物体画像を用いて検出しているので、動物体以外の像に邪魔されずに、車両の座標の初期値が、自動的に得られる。また、車両の速度よりも高精度な（ランダム誤差の小さい）速度である車両の速度の平均値が、自動的に得られる。

また、車線境界線の周期を、自己相関関数を用いて検出しているので、車線境界線の白線部分が薄く消えかかっているような場合であっても、高精度に検出できる。

本発明は、上記実施の形態に限定されるものではなく、幾多の変更及び変形が可能である。

例えば、上記実施の形態では、不動対象を白線（又は車線境界線）とし、移動対象を白線に沿って移動する車両（又は動物体）としたが、不動対象を白線以外のものとすることができるとともに、移動対象を車両以外のものとすることができる。

また、上記実施の形態では、ステップＳ８で車両の座標の初期値を検出したが、車両の座標の初期値が予めわかっている場合には、ステップＳ８を省略することができる。

また、上記実施の形態では、ステップＳ１８で車両の速度の平均値を計算したが、車両の速度の平均値が不必要な場合には、ステップＳ１８を省略することができる。

本発明は、速度違反の取締りにおける車両の速度の計測などの車両の速度を計測する種々のアプリケーションに適用することができる。

本発明による速度計測方法の実施の形態の動作を示すフローチャートである。空撮画像、車線境界線の周期、車線境界線の動きベクトル、車両の座標及び動きベクトルを示す模式図である。白線画像の画像ピラミッドを示す模式図である。白線除去画像の画像ピラミッドを示す模式図である。動物体画像を示す模式図である。白線画像の画像ピラミッドの作成のフローチャートである。ラプラシアンオペレータを示す模式図である。車線境界線の周期の検出のフローチャートである。白線画像の振幅特性の図領域及び地領域を示す模式図である。水平化白線画像、水平化白線画像の水平投影像及び水平投影像の自己相関関数を示す模式図である。水平化白線画像の分割方法を示す模式図である。小画像及び小画像の水平投影像を示す模式図である。小画像、小画像の垂直投影像及び垂直投影像の自己相関関数を示す模式図である。車線境界線の動きベクトルの検出のフローチャートである。白線画像間のテンプレートマッチングを示す模式図である。白線除去画像の画像ピラミッドの作成のフローチャートである。画素の４近傍及び８近傍を示す模式図である。動物体画像の作成のフローチャートである。動物体画像の作成方法を示す模式図である。車両の座標及び動きベクトルの検出のフローチャートである。車両テンプレートの切り出し元となる矩形領域の設定方法を示す模式図である。車両テンプレートと白線除去画像とのテンプレートマッチングを示す模式図である。矩形領域の設定方法を示す模式図である。車両の座標の初期値の検出のフローチャートである。矩形領域Ａの設定方法を示す模式図である。矩形領域Ｂの設定方法を示す模式図である。

Claims

周期的な模様を有する線状の不動対象に沿って移動する移動対象が、画面の中央部分に存在する、空撮画像を用いて、前記移動対象の速度を計測する速度計測方法であって、
前記空撮画像から前記不動対象以外の像が除去された不動対象画像を作成し、
前記不動対象の周期を、前記不動対象画像を用いて検出し、
前記不動対象の動きベクトルを、前記不動対象画像を用いて検出し、
前記空撮画像から前記不動対象の像が除去された不動対象除去画像を、前記不動対象画像を用いて作成し、
前記空撮画像から前記移動対象以外の像が除去された移動対象画像を、前記不動対象の動きベクトルを用いて作成し、
前記移動対象の座標及び動きベクトルを、前記不動対象除去画像及び前記移動対象画像を用いて検出し、
前記移動対象の速度を、前記不動対象の周期、前記不動対象の動きベクトル、前記移動対象の動きベクトル、前記不動対象の周期の規定値及び前記空撮画像のフレームレートを用いて計算することを特徴とする速度計測方法。
周期的な模様を有する線状の不動対象に沿って移動する移動対象が、画面の中央部分に存在する、空撮画像を用いて、前記移動対象の速度を計測する速度計測方法であって、
前記空撮画像から前記不動対象以外の像が除去された不動対象画像及び前記不動対象画像の画像ピラミッドを作成する不動対象画像画像ピラミッド作成ステップと、
前記不動対象の周期を、前記不動対象画像の画像ピラミッドを用いて検出する不動対象周期検出ステップと、
前記不動対象の動きベクトルを、前記不動対象画像の画像ピラミッドを用いて検出する不動対象動きベクトル検出ステップと、
前記空撮画像から前記不動対象の像が除去された不動対象除去画像及び前記不動対象除去画像の画像ピラミッドを、前記不動対象画像の画像ピラミッドを用いて作成する不動対象除去画像画像ピラミッド作成ステップと、
前記空撮画像から前記移動対象以外の像が除去された移動対象画像を、前記不動対象の動きベクトルを用いて作成する移動対象画像作成ステップと、
前記移動対象の座標及び動きベクトルを、前記不動対象除去画像の画像ピラミッド及び前記移動対象画像を用いて検出する移動対象座標及び動きベクトル検出ステップと、
前記移動対象の速度を、前記不動対象の周期、前記不動対象の動きベクトル、前記移動対象の動きベクトル、前記不動対象の周期の規定値及び前記空撮画像のフレームレートを用いて計算する移動対象速度計算ステップとを具えることを特徴とする速度計測方法。
前記移動対象の座標の初期値を、前記移動対象画像を用いて検出する移動対象座標初期値検出ステップを更に具えることを特徴とする請求項２記載の速度計測方法。
前記移動対象の速度の平均値を計算する移動対象速度平均値計算ステップを更に具えることを特徴とする請求項２記載の速度計測方法。
前記移動対象の座標の初期値を、前記移動対象画像を用いて検出する移動対象座標初期値検出ステップと、
前記移動対象の速度の平均値を計算する移動対象速度平均値計算ステップとを更に具えることを特徴とする請求項２記載の速度計測方法。
前記不動対象画像画像ピラミッド作成ステップが、前記空撮画像をフィルタリングし、フィルタリング後の画像を前記不動対象の領域と前記不動対象以外の領域とに分別して前記不動対象画像を作成し、前記不動対象画像を再帰的に縮小して前記不動対象画像の画像ピラミッドを作成することを特徴とする請求項２記載の速度計測方法。
前記不動対象周期検出ステップが、前記不動対象画像にＦＦＴを適用して前記不動対象画像の周波数特性を作成し、前記不動対象画像の周波数特性を用いて前記不動対象の像の長手方向の角度を検出し、前記不動対象画像を回転させて前記不動対象の像の長手方向が水平化又は垂直化された幾何補正不動対象画像を作成し、前記幾何補正不動対象画像を垂直方向又は水平方向に分割して小画像を作成し、前記小画像を用いて前記不動対象の周期を検出することを特徴とする請求項２記載の速度計測方法。
前記不動対象動きベクトル検出ステップが、前記不動対象画像の画像ピラミッド間のテンプレートマッチングを行ってテンプレートマッチングの類似度が最大になる座標の位置ベクトルを前記不動対象の動きベクトルとすることを特徴とする請求項２記載の速度計測方法。
前記不動対象除去画像画像ピラミッド作成ステップが、前記不動対象画像を用いて前記空撮画像から前記不動対象の像を除去して前記不動対象除去画像を作成し、前記不動対象除去画像を再帰的に縮小して前記不動対象除去画像の画像ピラミッドを作成することを特徴とする請求項２記載の速度計測方法。
前記移動対象画像作成ステップが、前記空撮画像を前記不動対象の動きベクトルの分だけ水平方向及び垂直方向にシフトさせ、シフト後の画像と前記空撮画像との差分画像を前記移動対象画像とすることを特徴とする請求項２記載の速度計測方法。
前記移動対象座標及び動きベクトル検出ステップが、前記不動対象除去画像の画像ピラミッドを用いて車両テンプレートを作成し、前記車両テンプレートと前記不動対象除去画像の画像ピラミッドとのテンプレートマッチングを行ってテンプレートマッチングの類似度が最大になる座標を前記移動対象の仮座標とし、前記移動対象画像において前記移動対象の仮座標周辺の画像の重心を前記移動対象の重心とし、前記移動対象の仮座標と前記移動対象の重心との中点を前記移動対象の座標とし、前記移動対象の座標の位置ベクトル間の差分を前記移動対象の動きベクトルとすることを特徴とする請求項２記載の速度計測方法。