JP4731276B2 - 速度計測装置、方法及びプログラム - Google Patents

Description

本発明は、周期的に配置された特定幅の不動対象に沿って移動する移動対象が、画面の中央部分に存在する、空撮画像を用いて、前記移動対象の速度を計測する速度計測装置、方法及びプログラムに関する。

従来、空撮画像を用いた移動対象（例えば、車両）の速度を計測することが提案されている（例えば、特許文献１参照）。この場合、撮影を行うカメラ自身が航空機に搭載されて移動しているので、移動対象だけでなく背景も画面上で移動して見えるため、カメラが航空機と共に移動することにより生じる背景画像の移動量を計測している。
特開平１１−２９６７８８号公報

しかしながら、上記特許文献１では、画像全体について背景画像の移動量を算出しているため、計算コストが高くなる。また、背景画像間に濃淡差がある場合、移動体の抽出が困難になる。

本発明の目的は、計算コストを低くするとともに、背景画像間に濃淡差がある場合でも移動体の抽出が容易である速度計測装置、方法及びプログラムを提供することである。

本発明による速度計測装置は、
周期的に配置された特定幅の白線に沿って移動する移動対象が、画面の中央部分に存在する、空撮画像を用いて、前記移動対象の速度を計測する速度計測装置であって、
特定幅の線を抽出して特定幅の線分に近似する第１抽出手段と、
前記近似された特定幅の線分を、前記画面の水平方向に対する前記特定幅の線分の角度に応じて並び替え、前記角度の中央値から前記特定幅の線分の角度範囲を設定し、前記角度範囲に収まる前記線分を前記白線の候補として選別する選別手段と、
同一直線上に並ぶ前記白線を互いに連結してグループ化するグループ化手段と、
グループ化された前記白線に挟まれた領域を移動対象領域として抽出する第２抽出手段と、
前記移動対象領域の中における前記移動対象の位置を検出する検出手段と、
前記移動対象に隣接する前記白線のうち、前記移動対象領域間を分ける点線のデータを取得する取得手段と、
前記移動対象の位置及び前記点線のデータに基づいて前記移動対象の速度を計算する計算手段とを具えることを特徴とする。

本発明による速度計測方法は、
周期的に配置された特定幅の白線に沿って移動する移動対象が、画面の中央部分に存在する、空撮画像を用いて、前記移動対象の速度を計測する速度計測方法であって、
特定幅の線を抽出して特定幅の線分に近似する第１抽出ステップと、
前記近似された特定幅の線分を、前記画面の水平方向に対する前記特定幅の線分の角度に応じて並び替え、前記角度の中央値から前記特定幅の線分の角度範囲を設定し、前記角度範囲に収まる前記線分を前記白線の候補として選別する選別ステップと、
同一直線上に並ぶ前記白線を互いに連結してグループ化するグループ化ステップと、
グループ化された前記白線に挟まれた領域を移動対象領域として抽出する第２抽出ステップと、
前記移動対象領域の中における前記移動対象の位置を検出する検出ステップと、
前記移動対象に隣接する前記白線のうち、前記移動対象領域間を分ける点線のデータを取得する取得ステップと、
前記移動対象の位置及び前記点線のデータに基づいて前記移動対象の速度を計算する計算ステップとを具えることを特徴とする。

本発明による速度計測プログラムは、
周期的に配置された特定幅の白線に沿って移動する移動対象が、画面の中央部分に存在する、空撮画像を用いて、前記移動対象の速度を計測する速度計測プログラムであって、
特定幅の線を抽出して特定幅の線分に近似する第１抽出ステップと、
前記近似された特定幅の線分を、前記画面の水平方向に対する前記特定幅の線分の角度に応じて並び替え、前記角度の中央値から前記特定幅の線分の角度範囲を設定し、前記角度範囲に収まる前記線分を前記白線の候補として選別する選別ステップと、
同一直線上に並ぶ前記白線を互いに連結してグループ化するグループ化ステップと、
グループ化された前記白線に挟まれた領域を移動対象領域として抽出する第２抽出ステップと、
前記移動対象領域の中における前記移動対象の位置を検出する検出ステップと、
前記移動対象に隣接する前記白線のうち、前記移動対象領域間を分ける点線のデータを取得する取得ステップと、
前記移動対象の位置及び前記点線のデータに基づいて前記移動対象の速度を計算する計算ステップとを具えることを特徴とする。

本発明によれば、周期的に配置された特定幅の白線に沿って移動する移動対象が、画面の中央部分に存在する、空撮画像を用いて、移動対象の速度を計測するに際し、特定幅の線を抽出して特定幅の線分に近似し、これを角度に基づいて並べ替えて選別し、同一直線上に並ぶ白線を互いに連結してグループ化し、グループ化された白線に挟まれた領域を移動対象領域として抽出し、移動対象領域の中における移動対象の位置を検出し、移動対象に隣接する前記白線のうち、移動対象領域間を分ける点線のデータを取得し、移動対象の位置及び点線のデータに基づいて移動対象の速度を計算する。

このように白線の位置及び点線のデータに基づいて移動対象の速度を計算しているので、従来のように画像全体について背景画像の移動量を算出する場合に比べて計算コストを低くすることができる。また、グループ化された白線に挟まれた領域を移動対象領域として抽出し、移動対象領域の中における移動対象の位置を検出しているので、背景画像間に濃淡差がある場合でも移動体の抽出を容易に行うことができる。

好適には、前記第１抽出手段が、前記第１抽出手段が、画像とガウス関数の偏導関数との畳込み演算を用いて、前記特定幅の線の候補点を出力し、前記候補点を近接関係に基づいて連結し、前記特定幅の線分に近似する。

好適には、前記グループ化手段が、モルフォロジー演算を用いて前記白線をグループ化し、前記第２抽出手段が、前記白線に挟まれた領域のうちの濃度変化のある部分を前記移動対象領域の候補とし、その候補のうちの前記画面の中央部分付近のものを前記移動対象領域とし、前記検出手段が、前記移動対象領域をテンプレート照合することによって前記移動対象の位置を検出する。

好適には、前記取得手段が、前記移動対象領域に隣接する前記白線のうち、前記移動対象領域間を仕切る点線を選択し、これらの点線を前記点線のデータとして出力し、前記計算手段が、前記移動対象の位置から前記移動対象の移動量に関する前記空撮画像上の寸法を求めるとともに、前記点線のデータから前記白線の移動量に関する前記空撮画像上の寸法及び前記白線の周期に関する前記空撮画像上の寸法を求め、前記移動対象の移動量に関する前記空撮画像上の寸法、前記白線の移動量に関する前記空撮画像上の寸法及び前記白線の周期に関する前記空撮画像上の寸法を用いて前記移動対象の速度を計算する。

本発明による速度計測装置、方法及びプログラムの実施の形態を、図面を参照して詳細に説明する。
図１は、本発明による速度計測装置の実施の形態を示す図である。この速度計測装置は、航空機に搭載したカメラを用いて、道路上の白線に沿って移動する車両が画面の中央部分に存在する空撮画像を取得し、取得した空撮画像に基づいて車両の速度を計測するものであり、特徴抽出部１と、速度計算部２とを具える。

フレームごとに存在する（図１では、ｋ−１番目のフレーム及びｋ番目のフレームのみを示す。）特徴抽出部１は、後に説明するように、追跡車両の代表点及び追跡車両に隣接する白線（点線）データを特徴抽出するものであり、白線検出部１１と、車両領域位置検出部１２と、白線選択及び点線データ取得部１３とを有する。

図２は、本発明による速度計測装置の実施の形態の動作のフローチャートである。このフローチャートは、静止画像ごとに行われる処理動作を示すものであり、先ず、白線検出部１１において、特定幅の線を、線抽出フィルタを用いて抽出する。線抽出フィルタでは、画像とガウス関数の偏導関数との畳込み演算などを用いて、線の候補点を出力し、候補点の近接関数に基づいて線を連結する。候補点が頂点データ列で出力されるため、これらを後段の演算で線分に近似する。

次いで、白線検出部１１において、角度に基づく線分選別を行う。画像中の比較的長い線分には、道路白線が多い。長い線分を、画面の水平方向に対する角度で並び替え、角度の中央値から道路白線の角度範囲を設定する。設定された角度に収まる線分は、白線の候補として選別される。

次いで、白線を、モルフォロジー演算を用いてグループ化し、道路白線領域の抽出を行う。具体的には、図３に示すように、モルフォロジー演算の一種であるミンコフスキー和演算を用いる。先ず、線分ごとに同心の長方形の変位に合わせて平行移動し（図３Ａ）、線分が描く図形を得る。描いた図形の全てを重ね合わせ、長さがしきい値以上のものを残す。これによって、直線状に並ぶ点線の描く領域は、互いに連結して一つの長い直線を囲む領域となる（図３Ｂ）。この領域を道路白線領域として抽出する。

次いで、車両領域位置検出部１２において、白線領域に挟まれた部分を車線領域として抽出し、車線領域から濃度変化のある部分を車両領域として抽出する。図４において、長方形領域をＡとし、白線領域をＢ１〜Ｂ６とした場合、（Ａ∩Ｂ１）∪（Ａ∩Ｂ２）∪（Ａ∩Ｂ３）∪（Ａ∩Ｂ４）∪（Ａ∩Ｂ５）∪（Ａ∩Ｂ６）である領域Ｘ（したがって、領域Ｘは、領域Ａ内の領域Ｂ１〜Ｂ４に相当する。）を求め、領域Ｘの凸閉包である領域Ｙ（したがって、領域Ｙは、長方形領域Ａのうちの平行四辺形の道路領域に相当する。）を求め、領域Ｙから領域Ｘを引いたものを車線領域として抽出する（したがって、車線領域は、平行四辺形の道路領域から白線領域Ｂ１〜Ｂ６を除外したものとなる。）。

車線領域が抽出されると、図５に示すように、車線領域において平均値からの差分絶対値を求め、２値化する。その後、モルフォロジー演算の一つである円による膨張(dilation)を行ってから凸閉包し、横長の領域を排除するために長さによる選別を行い、濃度変化のある部分を、車両領域の候補とする。候補のうち、画像中心に近いものを車両領域とする。

次いで、車両領域位置検出部１２において、車両位置の追跡処理を行う。車両位置の追跡処理は、図６に示すように、前画像で設定されたテンプレートの照合処理と、車両位置の検出処理と、次画像で使用するテンプレートの設定とから成る。

車両位置の追跡処理をするに際し、車両領域の中で、濃度変化の大きい部位（車両位置）にテンプレートを設定し、フレーム間照合により車両位置を追跡する。２フレーム目以降の車両位置（前フレーム照合結果を引き継ぐだけでは追跡が破綻する場合があり、フレームごとに車両位置を置き直している。）は、照合位置近傍と車両領域とが重なる領域から探す。なお、重なりがない場合、画面中央に近い領域を選択し、その中から同様の手順で車両位置を定める。

図７は、車両位置の検出処理動作のフローチャートである。この場合、対象となる領域が設定され、メディアンフィルタ処理することによって、激しい濃度変化（ノイズ）を除去し、中央値を求める。その後、最大値フィルタ及び最小値フィルタを用いて、中央値に対する最大値及び最小値を求め、フィルタサイズ内の最大値と最小値との差分を求める。最大値と最小値の差が著しく大きく、低濃度領域と高濃度領域を共に含む位置を、テンプレート中心位置として選択する。後に説明する速度計算では、この位置を車両位置として取り扱う。

次いで、白線選択及び点線データ取得部１３において、近傍白線データの取得（白線選択・点線データ抽出処理）を行う。この場合、車両領域に隣接する白線のうち、車線間を仕切る点線状のものを選択し、点線データを出力する。点線データは、線ごとに線分端点で区切られる区間長データ列である。画面端からの情報については、図８に示すように、開始点から１点目までの長さを最初に挿入する。

次いで、速度計算部２において走行速度計算処理を行う。走行速度は、車両位置座標及び白線データに基づいて２フレーム分から計算され、走行速度計算処理は、図９に示すように、周期の評価関数サンプル取得と、白線周期の推定と、移動量の評価関数サンプル取得と、白線移動量の推定と、走行速度の計算とから成る。

図６に示すテンプレート照合に基づく車両位置から車両移動量（画像寸法）が求められる。後に説明する移動相関を用いた計算方法を用いることによって、白線の点線データから白線（背景）の移動量（画像寸法）及び白線の基準長（周期）が求められる。これら車両移動量、白線の移動量及び白線の基準長に基づいて、フレーム間の車両速度を計算する。

Ｎフレーム間の平均速度Ｖは、

によって求められる。このときの車両の移動量は、期間の最初の位置及び最後の位置で計算可能であり、１／Ｎに平均化される。なお、

を画像上の白線の移動速度とし、

を、画像上の車両（代表点）の移動速度とし、

を、画像上の車両（代表点）の位置（期間の最初ｎ＝０）とし、

を、画像上の車両（代表点）の位置（期間の最後ｎ＝Ｎ）とする。

また、画像から読み取る際に、画像上の寸法から実寸法に換算する情報（基準長）が必要となる。高速道路で片側２〜３車線ある場合、車線間を区切る白線は点線であり、白線と間隙を合わせた周期を推定している。

ここで、移動量・基準長計算の簡略化について説明する。白線の点線データは、それ自体では周期分の移動パターンに相関性があり、フレーム間では移動量分の移動パターンに相関性がある。本実施の形態によれば、図１０に示すように、線分端点に関して、移動距離列の固定距離列に対する最近傍点間距離の総和を評価し、評価値が極小（最小）となる移動量を点線の周期（フレーム間移動量）として求める。

また、最近傍点までの距離を関数化しており、点対の組合せ試行を省略している。さらに、白線端点数だけの最近傍点距離の総和で評価しており、移動相関を計算するよりも低計算量である。

次に、周期（基準長）の距離総和関数について説明する。図１０の関数ｆ（ｘ）が距離の総和であり、線分一部分の欠落・断線に対して誤差の影響が減少する。同様の効果から、複数白線の結果を重畳した利用（フレーム間、平行線等）も考えられる。また、周期では極小値が生じており、周期（基準長）推定は、単周期の推定だけでなく、倍周期の推定も考えられる。

次に、移動量の距離総和関数について説明する。フレーム間では、移動した分を戻したときに距離の総和が最小になる。例えば、画像左端部での移動量ｖに対し、ほぼ元に戻した地点での関数値が最小となる。それに対して、後フレームにおいて新しい白線が画面内に現れる状況では、移動量ｖと現れた白線長との和だけ戻したときに、関数値が最小になる。

本実施の形態によれば、白線の位置及び点線のデータに基づいて車両の速度を計算しているので、従来のように画像全体について背景画像の移動量を算出する場合に比べて計算コストを低くすることができる。また、グループ化された白線に挟まれた領域を車両領域として抽出し、車両領域の中における車両の位置を検出しているので、背景画像間に濃淡差がある場合でも車両の抽出を容易に行うことができる。

本発明は、上記実施の形態に限定されるものではなく、幾多の変更及び変形が可能である。
例えば、上記実施の形態において、車両が道路上の白線に沿って移動する場合について説明したが、不動対象を白線以外のものとすることができるとともに、移動対象を車両以外のものとすることができる。

本発明による速度計測装置の実施の形態を示す図である。 本発明による速度計測装置の実施の形態の動作のフローチャートである。 白線のグループ化を説明するための図である。 車線領域の抽出を説明するための図である。 車両領域の抽出動作のフローチャートである。 車両位置の追跡処理動作のフローチャートである。 車両位置の検出処理動作のフローチャートである。 近傍白線データの取得を説明するための図である。 走行速度計算処理動作のフローチャートである。 移動量・基準長計算の簡略化を説明するための図である。

符号の説明

１ 特徴抽出部
２ 速度計算部
１１ 白線検出部
１２ 車両領域位置検出部
１３ 白線選択及び点線データ取得部

Claims (10)

1. 周期的に配置された特定幅の白線に沿って移動する移動対象が、画面の中央部分に存在する、空撮画像を用いて、前記移動対象の速度を計測する速度計測装置であって、
   特定幅の線を抽出して特定幅の線分に近似する第１抽出手段と、
   前記近似された特定幅の線分を、前記画面の水平方向に対する前記特定幅の線分の角度に応じて並び替え、前記角度の中央値から前記特定幅の線分の角度範囲を設定し、前記角度範囲に収まる前記線分を前記白線の候補として選別する選別手段と、
   同一直線上に並ぶ前記白線を互いに連結してグループ化するグループ化手段と、
   グループ化された前記白線に挟まれた領域を移動対象領域として抽出する第２抽出手段と、
   前記移動対象領域の中における前記移動対象の位置を検出する検出手段と、
   前記移動対象に隣接する前記白線のうち、前記移動対象領域間を分ける点線のデータを取得する取得手段と、
   前記移動対象の位置及び前記点線のデータに基づいて前記移動対象の速度を計算する計算手段とを具えることを特徴とする速度計測装置。
2. 前記第１抽出手段が、線抽出フィルタを有することを特徴とする請求項１記載の速度計測装置。
3. 前記第１抽出手段が、画像とガウス関数の偏導関数との畳込み演算を用いて、前記特定幅の線の候補点を出力し、前記候補点を近接関係に基づいて連結し、前記特定幅の線分に近似することを特徴とする請求項１記載の速度計測装置。
4. 前記グループ化手段が、モルフォロジー演算を用いて前記白線をグループ化することを特徴とする請求項１記載の速度計測装置。
5. 前記第２抽出手段が、前記白線に挟まれた領域のうちの濃度変化のある部分を前記移動対象領域の候補とし、その候補のうちの前記画面の中央部分付近のものを前記移動対象領域とすることを特徴とする請求項１記載の速度計測装置。
6. 前記検出手段が、前記移動対象領域をテンプレート照合することによって前記移動対象の位置を検出することを特徴とする請求項１記載の速度計測装置。
7. 前記取得手段が、前記移動対象領域に隣接する前記白線のうち、前記移動対象領域間を仕切る点線を選択し、これらの点線を前記点線のデータとして出力することを特徴とする請求項１記載の速度計測装置。
8. 前記計算手段が、前記移動対象の位置から前記移動対象の移動量に関する前記空撮画像上の寸法を求めるとともに、前記点線のデータから前記白線の移動量に関する前記空撮画像上の寸法及び前記白線の周期に関する前記空撮画像上の寸法を求め、前記移動対象の移動量に関する前記空撮画像上の寸法、前記白線の移動量に関する前記空撮画像上の寸法及び前記白線の周期に関する前記空撮画像上の寸法を用いて前記移動対象の速度を計算することを特徴とする請求項１記載の速度計測装置。
9. 周期的に配置された特定幅の白線に沿って移動する移動対象が、画面の中央部分に存在する、空撮画像を用いて、前記移動対象の速度を計測する速度計測方法であって、
   特定幅の線を抽出して特定幅の線分に近似する第１抽出ステップと、
   前記近似された特定幅の線分を、前記画面の水平方向に対する前記特定幅の線分の角度に応じて並び替え、前記角度の中央値から前記特定幅の線分の角度範囲を設定し、前記角度範囲に収まる前記線分を前記白線の候補として選別する選別ステップと、
   同一直線上に並ぶ前記白線を互いに連結してグループ化するグループ化ステップと、
   グループ化された前記白線に挟まれた領域を移動対象領域として抽出する第２抽出ステップと、
   前記移動対象領域の中における前記移動対象の位置を検出する検出ステップと、
   前記移動対象に隣接する前記白線のうち、前記移動対象領域間を分ける点線のデータを取得する取得ステップと、
   前記移動対象の位置及び前記点線のデータに基づいて前記移動対象の速度を計算する計算ステップとを具えることを特徴とする速度計測方法。
10. 周期的に配置された特定幅の白線に沿って移動する移動対象が、画面の中央部分に存在する、空撮画像を用いて、前記移動対象の速度を計測する速度計測プログラムであって、
    特定幅の線を抽出して特定幅の線分に近似する第１抽出ステップと、
    前記近似された特定幅の線分を、前記画面の水平方向に対する前記特定幅の線分の角度に応じて並び替え、前記角度の中央値から前記特定幅の線分の角度範囲を設定し、前記角度範囲に収まる前記線分を前記白線の候補として選別する選別ステップと、
    同一直線上に並ぶ前記白線を互いに連結してグループ化するグループ化ステップと、
    グループ化された前記白線に挟まれた領域を移動対象領域として抽出する第２抽出ステップと、
    前記移動対象領域の中における前記移動対象の位置を検出する検出ステップと、
    前記移動対象に隣接する前記白線のうち、前記移動対象領域間を分ける点線のデータを取得する取得ステップと、
    前記移動対象の位置及び前記点線のデータに基づいて前記移動対象の速度を計算する計算ステップとを具えることを特徴とする速度計測プログラム。

Images