JP6060947B2 - 移動体速度算出装置、コンピュータプログラム及び移動体速度算出方法 - Google Patents

Description

本発明は、撮像画像に基づいて移動体又は移動体群の速度を算出する移動体速度算出装置、該移動体速度算出装置を実現するためのコンピュータプログラム及び移動体速度算出方法に関する。

路上の監視カメラ等を利用して、円滑な交通の実現又は交通事故を未然に防止するために車両の速度、台数、車種などの情報を収集するシステム、あるいは車両の停止・避走、渋滞、落下物などの突発的な事象を検知するシステムなどの開発が行われている。

また、ＴＶカメラで車両を撮像し、撮像した画像データをフレームメモリに記憶するとともに、画像データから車両の移動経路に沿った車両の存在領域を予め設定する。そして、存在領域内の画像データから車両を示すデータを抽出し、抽出したデータを時系列に一定周期で連続して蓄積する。蓄積したデータ時系列画像に基づき予め設定した存在領域中を移動する車両の存在を判定し、判定された車両の状態量を計測する移動体計測装置が開示されている（特許文献１参照）。

特許第２７５７６２９号公報

しかし、特許文献１の装置にあっては、例えば、トンネル内を監視するような場合に、カメラ高さが比較的低くなるため対向する車両の一方が他方を視野から遮蔽する事態が生じる。このため、車両の認識や追跡が困難な場合がある。また、監視カメラの視野内に標識や交通情報表示板などの遮蔽物が存在する場合、車両の認識や追跡が困難になる。

本発明は、斯かる事情に鑑みてなされたものであり、移動体又は移動体群の速度を従来よりも精度良く算出することができる移動体速度算出装置、該移動体速度算出装置を実現するためのコンピュータプログラム及び移動体速度算出方法を提供することを目的とする。

本発明の実施の形態に係る移動体速度算出装置は、複数の画素で構成された撮像画像に基づいて移動体又は複数の移動体からなる移動体群の速度を算出する移動体速度算出装置であって、前記撮像画像の所定方向の画素列で構成される列画像を撮像順に配置した時空間画像を生成する時空間画像生成部と、該時空間画像生成部で生成した時空間画像上の特徴点を抽出する特徴点抽出部と、該特徴点抽出部で抽出した特徴点に基づいて線分を抽出する線分抽出部と、該線分抽出部で抽出した線分の前記時空間画像上での傾きに基づいて移動体又は移動体群の速度を算出する速度算出部とを備え、前記時空間画像は、縦方向の前記列画像を撮像順に横方向に配置してあり、前記特徴点抽出部で抽出した特徴点が前記時空間画像上で縦方向に連続して存在する場合、最下位の特徴点以外の特徴点を除去する縦除去部をさらに備え、前記線分抽出部は、前記縦除去部で除去した後の特徴点に基づいて線分を抽出するようにしてある。

本発明の実施の形態に係るコンピュータプログラムは、コンピュータに、複数の画素で構成された撮像画像に基づいて移動体又は複数の移動体からなる移動体群の速度を算出させるためのコンピュータプログラムであって、コンピュータを、前記撮像画像の所定方向の画素列で構成される列画像を撮像順に配置した時空間画像を生成する時空間画像生成手段と、生成した時空間画像上の特徴点を抽出する特徴点抽出手段と、抽出した特徴点に基づいて線分を抽出する線分抽出手段と、抽出した線分の前記時空間画像上での傾きに基づいて移動体又は移動体群の速度を算出する速度算出手段として機能させ、前記時空間画像は、縦方向の前記列画像を撮像順に横方向に配置してあり、さらに、抽出した特徴点が前記時空間画像上で縦方向に連続して存在する場合、最下位の特徴点以外の特徴点を除去する縦除去手段として機能させ、前記線分抽出手段は、前記縦除去手段で除去した後の特徴点に基づいて線分を抽出する処理を行う。

本発明の実施の形態に係る移動体速度算出方法は、複数の画素で構成された撮像画像に基づいて移動体又は複数の移動体からなる移動体群の速度を算出する移動体速度算出装置による移動体速度算出方法であって、前記撮像画像の所定方向の画素列で構成される列画像を撮像順に配置した時空間画像を時空間画像生成部が生成するステップと、生成された時空間画像上の特徴点を特徴点抽出部が抽出するステップと、抽出された特徴点に基づいて線分を線分抽出部が抽出するステップと、抽出された線分の前記時空間画像上での傾きに基づいて移動体又は移動体群の速度を速度算出部が算出するステップとを含み、前記時空間画像は、縦方向の前記列画像を撮像順に横方向に配置してあり、抽出された特徴点が前記時空間画像上で縦方向に連続して存在する場合、最下位の特徴点以外の特徴点を縦除去部が除去するステップをさらに含み、前記線分抽出部は、除去された後の特徴点に基づいて線分を抽出する。

本発明によれば、移動体又は移動体群の速度を精度良く算出することができる。

本実施の形態の移動体速度算出装置の構成の一例を示すブロック図である。 本実施の形態の移動体速度算出装置の撮像画像の一例を示す模式図である。 本実施の形態の移動体速度算出装置の鳥瞰画像の一例を示す模式図である。 本実施の形態の移動体速度算出装置による列画像の生成の一例を示す模式図である。 本実施の形態の移動体速度算出装置による時空間画像の生成の一例を示す模式図である。 時空間画像上の車尾の移動軌跡の一例を示す模式図である。 時空間画像上の車頭の移動軌跡の一例を示す模式図である。 本実施の形態の移動体速度算出装置による線分要素強調処理後の時空間画像の一例を示す模式図である。 本実施の形態の移動体速度算出装置による２値化処理後の時空間画像の一例を示す模式図である。 本実施の形態の移動体速度算出装置による円形マスク処理の一例を示す模式図である。 本実施の形態の移動体速度算出装置による細線化処理の一例を示す模式図である。 本実施の形態の移動体速度算出装置による細線化処理後の時空間画像の一例を示す模式図である。 時空間画像中の特徴点とパラメータ空間中の軌跡との関係を示す模式図である。 パラメータ空間中の複数の軌跡から時空間画像上で線分が抽出される様子を示す模式図である。 本実施の形態の移動体速度算出装置により抽出された線分の一例を示す模式図である。 本実施の形態の移動体速度算出装置により抽出された線分の他の例を示す模式図である。 本実施の形態の移動体速度算出装置による車群の有無を判定する一例を示す模式図である。 本実施の形態の移動体速度算出装置による車群の有無を判定する他の例を示す模式図である。 本実施の形態の移動体速度算出装置による平滑車群速度を用いた車群速度の算出例を示す説明図である。 本実施の形態の移動体速度算出装置による車両又は車群の速度を算出する他の例を示す模式図である。 本実施の形態の移動体速度算出装置による車両又は車群の算出処理手順の一例を示すフローチャートである。 本実施の形態の移動体速度算出装置による車両又は車群の算出処理手順の一例を示すフローチャートである。 本実施の形態の移動体速度算出装置による車両又は車群の算出処理手順の一例を示すフローチャートである。 本実施の形態の移動体速度算出装置による速度算出処理手順の一例を示すフローチャートである。

［本願発明の実施形態の説明］
（１）本発明の実施の形態に係る移動体速度算出装置は、複数の画素で構成された撮像画像に基づいて移動体又は複数の移動体からなる移動体群の速度を算出する移動体速度算出装置であって、前記撮像画像の所定方向の画素列で構成される列画像を撮像順に配置した時空間画像を生成する時空間画像生成部と、該時空間画像生成部で生成した時空間画像上の特徴点を抽出する特徴点抽出部と、該特徴点抽出部で抽出した特徴点に基づいて線分を抽出する線分抽出部と、該線分抽出部で抽出した線分の前記時空間画像上での傾きに基づいて移動体又は移動体群の速度を算出する速度算出部とを備え、前記時空間画像は、縦方向の前記列画像を撮像順に横方向に配置してあり、前記特徴点抽出部で抽出した特徴点が前記時空間画像上で縦方向に連続して存在する場合、最下位の特徴点以外の特徴点を除去する縦除去部をさらに備え、前記線分抽出部は、前記縦除去部で除去した後の特徴点に基づいて線分を抽出するようにしてある。

（８）本発明の実施の形態に係るコンピュータプログラムは、コンピュータに、複数の画素で構成された撮像画像に基づいて移動体又は複数の移動体からなる移動体群の速度を算出させるためのコンピュータプログラムであって、コンピュータを、前記撮像画像の所定方向の画素列で構成される列画像を撮像順に配置した時空間画像を生成する時空間画像生成手段と、生成した時空間画像上の特徴点を抽出する特徴点抽出手段と、抽出した特徴点に基づいて線分を抽出する線分抽出手段と、抽出した線分の前記時空間画像上での傾きに基づいて移動体又は移動体群の速度を算出する速度算出手段として機能させ、前記時空間画像は、縦方向の前記列画像を撮像順に横方向に配置してあり、さらに、抽出した特徴点が前記時空間画像上で縦方向に連続して存在する場合、最下位の特徴点以外の特徴点を除去する縦除去手段として機能させ、前記線分抽出手段は、前記縦除去手段で除去した後の特徴点に基づいて線分を抽出する処理を行う。

（９）本発明の実施の形態に係る移動体速度算出方法は、複数の画素で構成された撮像画像に基づいて移動体又は複数の移動体からなる移動体群の速度を算出する移動体速度算出装置による移動体速度算出方法であって、前記撮像画像の所定方向の画素列で構成される列画像を撮像順に配置した時空間画像を時空間画像生成部が生成するステップと、生成された時空間画像上の特徴点を特徴点抽出部が抽出するステップと、抽出された特徴点に基づいて線分を線分抽出部が抽出するステップと、抽出された線分の前記時空間画像上での傾きに基づいて移動体又は移動体群の速度を速度算出部が算出するステップとを含み、前記時空間画像は、縦方向の前記列画像を撮像順に横方向に配置してあり、抽出された特徴点が前記時空間画像上で縦方向に連続して存在する場合、最下位の特徴点以外の特徴点を縦除去部が除去するステップをさらに含み、前記線分抽出部は、除去された後の特徴点に基づいて線分を抽出する。

時空間画像生成部は、撮像画像の所定方向の画素列で構成される列画像を撮像順に配置した時空間画像を生成する。なお、時空間画像は、撮像画像から生成してもよく、撮像時点が異なる撮像画像それぞれのフレーム間差分、背景差分又はエッジ画像など車両を表す特徴を利用して生成してもよい。所定方向は、例えば、車両などの移動体の移動方向（進行方向）である。なお、撮像画像上で移動方向が直線状又は曲線状である場合には、所定方向も直線状又は曲線状となる。列画像は、所定方向の画素を列状に並べた画像である。時空間画像は、列画像を撮像順（撮像時点の順番）に配置した画像であるので、時空間画像を２次元座標で表すと、一方の座標（例えば、ｔ）は時間を表し、他方の座標（例えば、ｙ）は移動体の移動方向の距離を表す。

特徴点抽出部は、時空間画像生成部で生成した時空間画像上の特徴点を抽出する。特徴点は、例えば、輝度値の大きな画素、エッジ画素などである。例えば、車両（移動体）のヘッドライトの部分、テールランプの部分などは比較的輝度が高く、特徴点として抽出することができる。

線分抽出部は、特徴点抽出部で抽出した特徴点に基づいて線分を抽出する。線分抽出部は、例えば、ハフ（Hough）変換を用いることができ、時空間画像（ｔ、ｙ）の各特徴点
は、パラメータ空間（ρ、θ）の軌跡にそれぞれ対応する。そして、パラメータ空間で複数の軌跡が集中している位置（例えば、ρ１、θ１）が分かると、当該パラメータ（ρ１、θ１）は時空間画像において、複数の特徴点を通る１つの線分を表し、線分を抽出することができる。

速度算出部は、線分抽出部で抽出した線分の時空間画像上での傾きに基づいて移動体又は移動体群の速度を算出する。傾きは、例えば、時空間画像の横方向（横軸）を基準として求めることができる。時空間画像は、例えば、横軸が時間、縦軸が車両の移動方向の距離を表すので、抽出された線分の傾きにより移動体又は移動体群の速度を求めることができる。移動体群の速度は、例えば、複数の線分を抽出した場合、それぞれの線分の傾きに基づく速度を算出し、算出した速度の平均を移動体群の速度として求めることができる。なお、平均に限定されるものではなく、最大速度又は最小速度を移動体群の速度としてもよい。また、抽出された複数の線分の中で、時空間画像上で最も中央に位置する線分の傾きに基づいて移動体群の速度を算出することもできる。

上述の構成にあっては、時空間画像上で特徴点を抽出し、抽出した特徴点に基づいて線分を抽出するので、時空間画像上で抽出された特徴点が線状に分布していない場合（例えば、離散的に分布するような場合）でも、抽出した特徴点に基づいて線分を抽出することができる。このため、例えば、車両の特徴部分（例えば、ヘッドライト、テールランプなど）が移動する場合に、当該特徴部分が対向車両又は障害物等によって一時的に遮蔽されて特徴点が時空間画像上で連続的に存在しないときでも、特徴点に基づく線分を抽出することができる。そして、時空間画像上での線分の傾きを求めることにより移動体又は移動体群の速度を精度良く算出することができる。
時空間画像は、縦方向の列画像を撮像順に横方向に配置してある。縦除去部は、特徴点抽出部で抽出した特徴点が時空間画像上で縦方向に連続して存在する場合、最下位の特徴点以外の特徴点を除去する。線分抽出部は、縦除去部で除去した後の特徴点に基づいて線分を抽出する。
例えば、特徴点が縦方向に連続して並んだ状態で抽出された場合、縦に連続する特徴点（画素）の最下部以外を除去する。縦に連続する特徴点のうち最下部だけを用いることにより、ヘッドライトのように、ある程度車両の高さ方向に拡がりがある場合でも、路面に最も近い箇所だけを用いることができるので、算出する速度を安定化させることができる。また、線分抽出に必要な特徴点を残したまま特徴点の数を少なくすることができるので、処理速度を向上させることができる。

（２）本発明の実施の形態に係る移動体速度算出装置は、前記所定方向は、移動体の移動方向であり、前記撮像画像上で前記移動方向に沿った所定領域を特定する特定部と、該特定部で特定した所定領域を、射影変換を用いて鳥瞰画像に変換する変換部と、該変換部で変換した鳥瞰画像に基づいて前記列画像を生成する列画像生成部とを備える。

所定方向は、移動体の移動方向である。特定部は、撮像画像上で移動方向に沿った所定領域を特定する。車両（移動体）の車頭を撮像する場合、所定領域は、例えば、車両のヘッドライドが移動する領域、あるいは車両のヘッドライトが移動するとともに移動するヘッドライトの路面反射の影響が少ない領域とすることができる。また、車両（移動体）の車尾を撮像する場合、所定領域は、例えば、車両のテールランプが移動する領域、あるいは車両のテールランプが移動するとともに移動するテールランプの路面反射の影響が少ない領域とすることができる。なお、所定領域は、時空間スリットとも称する。

変換部は、特定部で特定した所定領域を、射影変換を用いて鳥瞰画像に変換する。鳥瞰画像は、路面を真上から見た画像である。この場合、所定領域が特定された撮像画像を、射影変換を用いて鳥瞰画像に変換してもよく、所定領域だけを鳥瞰画像に変換してもよい。なお、撮像装置の設置場所等の影響により、鳥瞰画像に変換する前の撮像画像上の所定領域が車両の移動方向に沿って湾曲する場合でも鳥瞰画像上の所定領域は直線状になる。

列画像生成部は、変換部で変換した鳥瞰画像に基づいて列画像を生成する。すなわち、列画像生成部は、鳥瞰画像の所定領域に基づいて列画像を生成する。

鳥瞰画像に変換することにより、例えば、車両（移動体）又は車群（移動体群）が一定の速度で走行している場合には、鳥瞰画像上で車両又は車群の移動軌跡は略直線状になるので、鳥瞰画像に変換された時空間画像上で線分を抽出することにより、移動体又は移動体群の速度を精度良く算出することができる。

また、所定領域を特定することにより、車両のヘッドライトやテールランプなどから特徴点が抽出しやすくなり、また、ヘッドライトやテールランプの路面反射の影響を少なくすることができ、路面反射と車両との区別が容易になり車両の認識や追跡を確実に行うことができる。

（３）本発明の実施の形態に係る移動体速度算出装置は、前記特定部は、前記移動方向の画素列を複数有する所定領域を特定するようにしてあり、前記変換部は、複数の画素列を含む鳥瞰画像に変換するようにしてあり、前記列画像生成部は、前記鳥瞰画像の複数の画素列の前記移動方向に交差する方向にある複数の画素のうち最大画素値の画素を、前記移動方向に配置して前記列画像を生成するようにしてある。

特定部は、移動方向の画素列を複数有する所定領域を特定する。画素列の数は、適宜決定することができ、例えば、５、１０、２０などの値とすることができるが、これらに限定されるものではない。変換部は、複数の画素列を含む鳥瞰画像に変換する。列画像生成部は、鳥瞰画像の所定領域内の複数の画素列の移動方向に交差する方向にある複数の画素のうち最大画素値の画素を、移動方向に配置して列画像を生成する。

例えば、所定領域の横方向をｘ、縦方向をｙとし、所定領域を（ｘ、ｙ）座標で表す。また、所定領域の画素列の数を５（ｘ１〜ｘ５）、各画素列の画素数をＮ（ｙ１〜ｙＮ）とすると、所定領域は、５×Ｎ画素（５列×Ｎ行の画素）で構成された領域となる。仮に、１行目（ｙ１）の画素の画素値を、ａ１１、ａ１２、ａ１３、ａ１４、ａ１５とし、画素値ａ１２が、ａ１１〜ａ１５の５つの画素値のうちの最大値であるとすると、列画像の１行目の画素の画素値をａ１２とする。同様に、２行目（ｙ２）の画素の画素値を、ａ２１、ａ２２、ａ２３、ａ２４、ａ２５とし、画素値ａ２４が、ａ２１〜ａ２５の５つの画素値のうちの最大値であるとすると、列画像の２行目の画素の画素値をａ２４とする。以下、同様にＮ行目までの各行の画素の画素値を決定することにより、列画像を生成する。

時空間画像を構成する列画像を、複数の画素列を有する所定領域内の各行の画素値のうちから最も画素値の大きい画素を特定して列画像の画素とすることにより、車両のテールランプのように特徴部分が小さい場合でも、所定領域内で捕捉することができるので、移動体又は移動体群を検出しやすくなる。

（４）本発明の実施の形態に係る移動体速度算出装置は、前記特徴点抽出部で抽出した特徴点が前記時空間画像上で横方向に連続して存在する場合、該横方向に連続する特徴点を除去する横除去部を備え、前記線分抽出部は、前記横除去部で除去した後の特徴点に基づいて線分を抽出するようにしてある。

横除去部は、特徴点抽出部で抽出した特徴点が時空間画像上で横方向に連続して存在する場合、横方向に連続する特徴点を除去する。線分抽出部は、横除去部で除去した後の特徴点に基づいて線分を抽出する。

例えば、特徴点が横方向に連続して並んだ状態で抽出された場合、横に連続する特徴点（画素）をすべて除去する。横に連続する特徴点をすべて除去することにより、ヘッドライトやテールランプの光が、例えば、トンネル内の側壁、路肩付近に存在する建造物、隣接する他の車両の車体等で反射した場合、反射箇所の付近に他の車両のヘッドライトやテールランプが存在するような場合でも、反射箇所の影響（環境変化要因）を除外することができる。また、線分抽出に必要な特徴点を残したまま特徴点の数を少なくすることができるので、処理速度を向上させることができる。

（５）本発明の実施の形態に係る移動体速度算出装置は、前記線分抽出部は、前記時空間画像上の特徴点を、線分を表すパラメータ空間へ写像するハフ変換を用いて線分を抽出するようにしてあり、前記時空間画像上で前記ハフ変換を行う特徴点を、前記時空間画像上の所要の円形状領域に限定する限定部を備える。

線分抽出部は、時空間画像上の特徴点を、線分を表すパラメータ空間、例えば、（ρ、θ）空間へ写像するハフ変換を用いて線分を抽出する。限定部は、時空間画像上でハフ変換を行う特徴点を、時空間画像上の所要の円形状領域に限定する。ハフ変換に用いる特徴点を時空間画像上での円形状領域に限定することにより、パラメータ空間上の投票結果をパラメータθの全角度で公平にすることができ、精度良く線分を抽出することができる。なお、投票結果とは、パラメータ空間を表す２次元配列を用意しておき、パラメータ空間で特徴点に対応する軌跡を描く場合に、軌跡が通過する配列を求め、その配列の値を１つ増やす（投票する）ことにより得られる結果である。

（６）本発明の実施の形態に係る移動体速度算出装置は、前記時空間画像上の特徴点毎に前記パラメータ空間上で該特徴点に対応する軌跡を複数特定する軌跡特定部を備え、前記速度算出部は、さらに、前記軌跡特定部で特定した複数の軌跡が重なる位置に対応するパラメータに基づいて移動体の速度を算出するようにしてある。

軌跡特定部は、時空間画像上の特徴点毎にパラメータ空間（ρ、θ）上で当該特徴点に対応する軌跡を複数特定する。速度算出部は、軌跡特定部で特定した複数の軌跡が重なる位置に対応するパラメータθに基づいて移動体の速度を算出する。例えば、パラメータ空間を表す２次元配列を用意しておき、パラメータ空間で特徴点に対応する軌跡を描く場合に、軌跡が通過する配列を求め、その配列の値を１つ増やす（投票する）。かかる投票処理をすべての特徴点について行うことにより、パラメータθに対する投票数の分布を得ることができる。そして、投票数の分布が極大となるパラメータ又は極大値近傍（例えば、角度で±５°程度）のパラメータに応じて移動体又は移動体の速度を算出することにより、ノイズ要因との区別が可能となり、安定した速度を求めることができる。

（７）本発明の実施の形態に係る移動体速度算出装置は、前記時空間画像を複数分割した分割画像それぞれに前記線分抽出部で抽出した線分があるか否かを判定する線分判定部と、該線分判定部で線分があると判定した分割画像の数に基づいて、移動体群の有無を判定する移動体群判定部とを備え、前記速度算出部は、前記移動体群判定部で移動体があると判定した場合、移動体群の速度を算出するようにしてある。

線分判定部は、時空間画像を複数分割した分割画像それぞれに線分抽出部で抽出した線分があるか否かを判定する。分割画像は、例えば、時空間画像を４×４の１６に分割した画像とすることができるが、分割数はこれに限定されるものではない。移動体群判定部は、線分判定部で線分があると判定した分割画像の数に基づいて、移動体群の有無を判定する。速度算出部は、移動体群判定部で移動体群があると判定した場合、移動体群の速度を算出する。

例えば、時空間画像を１６個に分割した分割画像のうち、線分があると判定した分割画像の数が所定の閾値（例えば、１３）以上であれば、車群（移動体群）があると判定し、閾値未満であれば、車群（移動体群）なし、すなわち単独の車両（移動体）であると判定する。これにより、単独の移動体であるか移動体群であるかを精度良く区別することができる。

［本願発明の実施形態の詳細］
以下、本発明を実施の形態を示す図面に基づいて説明する。図１は本実施の形態の移動体速度算出装置１００の構成の一例を示すブロック図である。移動体速度算出装置１００には、撮像装置２００を接続してある。なお、移動体速度算出装置１００と撮像装置２００とは、図１のように別個の装置でもよく、また一体化した構成とすることもできる。なお、撮像装置２００は、複数備える構成でもよい。

移動体速度算出装置１００は、装置全体を制御する制御部１０、インタフェース部１１、鳥瞰画像変換部１２、時空間画像生成部１３、特徴点抽出部１４、線分抽出部１５、細線化処理部１６、速度算出部１７、線分判定部１８、車群判定部１９、記憶部２０などを備える。

撮像装置２００は、例えば、ビデオカメラ又はカメラであり、道路を視野として、所定の高さ、レンズの光軸方向（例えば、俯角及び回転角）などの撮像条件が設定された状態で道路付近の所要の地点に設置してある。撮像装置２００は、撮像して得られた撮像データを映像信号（例えば、アナログ信号）としてインタフェース部１１へ送出する。なお、映像信号はデジタル信号であってもよい。

インタフェース部１１は、入力された映像信号をデジタル信号に変換し、変換したデジタル信号を撮像画像として記憶部２０に記憶する。インタフェース部１１を介して撮像装置２００から入力された撮像画像は、撮像装置２００のフレームレート（撮像時点の間隔、例えば、１秒間に３０フレーム）と同期して、１フレーム単位の画像データとして記憶部２０に記憶される。

図２は本実施の形態の移動体速度算出装置１００の撮像画像の一例を示す模式図である。図２の例では、撮像装置２００をトンネル内の道路の路肩近傍から所要の高さに設けてあり、道路の車頭車線を走行する車両の前方から車両を撮像するとともに、車尾車線を走行する車両の後方から車両を撮像する。また、図２に示すように、撮像画像の座標は、座標（ｕ、ｖ）で表す。また、車頭車線、車尾車線及び路肩を含む対象エリアＰ（図２の破線で囲まれた領域）を設けてある。対象エリアＰは、車両（移動体とも称する）又は車群（移動体群とも称する）の速度を算出するための領域である。

なお、図２では、便宜上、撮像画像の左上に遮蔽物を図示しているが、標識や交通情報表示板などの構造物が、法規等で定められた箇所に設置された場合、撮像画像上の車頭車線や車尾車線の一部を遮る場合もある。

制御部１０は、撮像画像上で、車頭車線付近に車両の移動方向（所定方向）に沿った所定領域としての車頭計測車線用時空間スリットＳ１を特定する。車頭計測車線用時空間スリットＳ１は、例えば、車両のヘッドライドが移動する領域、あるいは車両のヘッドライトが移動するとともに移動するヘッドライトの路面反射の影響が少ない領域とすることができる。

また、制御部１０は、撮像画像上で、車尾車線内に車両の移動方向（所定方向）に沿った所定領域としての車尾計測車線用時空間スリットＳ２を特定する。車尾計測車線用時空間スリットＳ２は、例えば、車両のテールランプが移動する領域、あるいは車両のテールランプが移動するとともに移動するテールランプの路面反射の影響が少ない領域とすることができる。

鳥瞰画像変換部１２は、変換部としての機能を有し、特定された車頭計測車線用時空間スリットＳ１及び車尾計測車線用時空間スリットＳ２を、射影変換を用いて鳥瞰画像に変換する。鳥瞰画像は、路面を真上から見た画像である。この場合、車頭計測車線用時空間スリットＳ１及び車尾計測車線用時空間スリットＳ２が特定された撮像画像を、射影変換を用いて鳥瞰画像に変換してもよく、車頭計測車線用時空間スリットＳ１及び車尾計測車線用時空間スリットＳ２だけを鳥瞰画像に変換してもよい。

図３は本実施の形態の移動体速度算出装置１００の鳥瞰画像の一例を示す模式図である。図３に示すように、鳥瞰画像は、路面を真上から見た画像である。鳥瞰画像の左下を原点として鳥瞰画像の座標を座標（ｘ、ｙ）で表す。鳥瞰画像は、図２に例示した撮像画像のうち、破線Ｓで示した対象エリアＰを真上から見た画像に射影変換したものである。図３に示す鳥瞰画像は、車両などの移動体の存在を計測する計測領域である。

次に、射影変換行列による画像変換について説明する。図２で例示した撮像画像の座標を（ｕ、ｖ）とし、その行列を式（１）のようにＭで表す。

また、ワールド座標を（Ｘｗ、Ｙｗ、Ｚｗ）とし、その行列を式（２）のようにＷで表す。射影変換行列をＰとすると、式（３）のようにＭ＝Ｐ・Ｗの関係を有する。ここで、射影変換行列Ｐは、式（４）で示すように、（３×３）の行列であり、射影変換行列Ｐの各要素は、ビデオカメラ（撮像装置）の設置高さ、ビデオカメラの張り出し長、ビデオカメラ下から車両の検出（計測）領域の位置（距離）などを計測することにより算出することができる。

鳥瞰画像の座標を（ｘ、ｙ）とし、その行列を式（５）のようにＱで表す。鳥瞰画像の座標（ｘ、ｙ）については、式（６）で表すように、ｘ＝Ｋ・Ｘｗ、ｙ＝Ｋ・Ｙｗの関係が成り立つ。ここで、Ｋは適宜設定される係数である。すなわち、撮像画像（ｕ、ｖ）から射影変換行列Ｐを用いてワールド座標（Ｘｗ、Ｙｗ、Ｚｗ）を求め、Ｘｗ、Ｙｗから鳥瞰画像（ｘ、ｙ）を求めることができる。

なお、撮像装置２００の設置場所等の影響により、図２に示すように、撮像画像上の車頭計測車線用時空間スリットＳ１及び車尾計測車線用時空間スリットＳ２が車両の移動方向に沿って湾曲する場合でも、図３に示すように、鳥瞰画像上の車頭計測車線用時空間スリットＳ１及び車尾計測車線用時空間スリットＳ２は直線状（帯状）になる。

時空間画像生成部１３は、撮像画像の所定方向の画素列で構成される列画像を撮像順に配置した時空間画像を生成する。所定方向は、例えば、車両などの移動体の移動方向（進行方向）である。なお、撮像画像上で移動方向が直線状又は曲線状である場合には、所定方向も直線状又は曲線状となる。列画像は、所定方向の画素を列状に並べた画像である。時空間画像は、列画像を撮像順（撮像時点の順番）に配置した画像であるので、時空間画像を２次元座標で表すと、一方の座標（例えば、ｔ）は時間を表し、他方の座標（例えば、ｙ）は移動体の移動方向の距離を表す。

特徴点抽出部１４は、時空間画像生成部１３で生成した時空間画像上の特徴点を抽出する。特徴点は、例えば、輝度値の大きな画素、エッジ画素などである。例えば、車両（移動体）のヘッドライトの部分、テールランプの部分などは比較的輝度が高く、特徴点として抽出することができる。

線分抽出部１５は、特徴点抽出部１４で抽出した特徴点に基づいて線分を抽出する。線分抽出部１５は、例えば、ハフ（Hough）変換を用いることができ、時空間画像（ｔ、ｙ）の各特徴点は、パラメータ空間（ρ、θ）の軌跡にそれぞれ対応する。そして、パラメータ空間で複数の軌跡が集中している位置（例えば、ρ１、θ１）が分かると、当該パラメータ（ρ１、θ１）は時空間画像において、複数の特徴点を通る１つの線分を表し、線分を抽出することができる。

速度算出部１７は、線分抽出部１５で抽出した線分の時空間画像上での傾きに基づいて車両又は車群の速度を算出する。傾きは、例えば、時空間画像の横方向（横軸）を基準として求めることができる。時空間画像は、例えば、横軸が時間、縦軸が車両の移動方向の距離を表すので、抽出された線分の傾きにより車両又は車群の速度を求めることができる。車群の速度は、例えば、複数の線分を抽出した場合、それぞれの線分の傾きに基づく速度を算出し、算出した速度の平均を車群の速度として求めることができる。なお、平均に限定されるものではなく、最大速度又は最小速度を車群の速度としてもよい。また、抽出された複数の線分の中で、時空間画像上で最も中央に位置する線分の傾きに基づいて車群の速度を算出することもできる。

上述の構成にあっては、時空間画像上で特徴点を抽出し、抽出した特徴点に基づいて線分を抽出するので、時空間画像上で抽出された特徴点が線状に分布していない場合（例えば、離散的に分布するような場合）でも、抽出した特徴点に基づいて線分を抽出することができる。このため、例えば、車両の特徴部分（例えば、ヘッドライト、テールランプなど）が移動する場合に、当該特徴部分が対向車両又は障害物等によって一時的に遮蔽されて特徴点が時空間画像上で連続的に存在しないときでも、特徴点に基づく線分を抽出することができる。そして、時空間画像上での線分の傾きを求めることにより車両又は車群の速度を精度良く算出することができる。

時空間画像生成部１３は、列画像生成部としての機能を有し、鳥瞰画像変換部１２で変換した鳥瞰画像に基づいて列画像を生成する。すなわち、時空間画像生成部１３は、鳥瞰画像の車頭計測車線用時空間スリットＳ１及び車尾計測車線用時空間スリットＳ２に基づいて列画像を生成する。

鳥瞰画像に変換することにより、例えば、車両又は車群が一定の速度で走行している場合には、鳥瞰画像上で車両又は車群の移動軌跡は略直線状になるので、鳥瞰画像に変換された時空間画像上で線分を抽出することにより、車両又は車群の速度を精度良く算出することができる。

また、車頭計測車線用時空間スリットＳ１及び車尾計測車線用時空間スリットＳ２を特定することにより、車両のヘッドライトやテールランプなどから特徴点が抽出しやすくなり、また、ヘッドライトやテールランプの路面反射の影響を少なくすることができ、路面反射と車両との区別が容易になり車両の認識や追跡を確実に行うことができる。

次に、列画像の生成について説明する。図４は本実施の形態の移動体速度算出装置１００による列画像の生成の一例を示す模式図である。図４中、左側は、時空間スリット画像を示し、鳥瞰画像上の車頭計測車線用時空間スリットＳ１又は車尾計測車線用時空間スリットＳ２内の画像である。また右側は、時空間画像生成部１３が生成する列画像の一例を示す。

まず、前述のように、制御部１０は、撮像画像上で、移動方向の画素列を複数有する車頭計測車線用時空間スリットＳ１又は車尾計測車線用時空間スリットＳ２を特定する。画素列の数は、適宜決定することができ、例えば、５、１０、２０などの値とすることができるが、これらに限定されるものではない。

そして、鳥瞰画像変換部１２は、撮像画像を、複数の画素列を含む鳥瞰画像に変換する。これにより、撮像画像上の車頭計測車線用時空間スリットＳ１又は車尾計測車線用時空間スリットＳ２は、鳥瞰画像上の車頭計測車線用時空間スリットＳ１又は車尾計測車線用時空間スリットＳ２に変換される。

時空間画像生成部１３は、鳥瞰画像の車頭計測車線用時空間スリットＳ１又は車尾計測車線用時空間スリットＳ２内の複数の画素列の移動方向に交差する方向にある複数の画素のうち最大画素値の画素を、移動方向に配置して列画像を生成する。

例えば、図４に示すように、時空間スリット画像の横方向をｘ、縦方向をｙとし、時空間スリット画像を（ｘ、ｙ）座標で表す。また、時空間スリット画像の画素列の数を５（ｘ１〜ｘ５）、各画素列の画素数をＮ（ｙ１〜ｙＮ）とすると、時空間スリット画像は、５×Ｎ画素（５列×Ｎ行の画素）で構成された領域となる。仮に、１行目（ｙ１）の画素の画素値を、ａ１１、ａ１２、ａ１３、ａ１４、ａ１５とし、丸で囲んだ画素値ａ１２が、ａ１１〜ａ１５の５つの画素値のうちの最大値であるとすると、列画像の１行目の画素の画素値をａ１２とする。

同様に、２行目（ｙ２）の画素の画素値を、ａ２１、ａ２２、ａ２３、ａ２４、ａ２５とし、丸で囲んだ画素値ａ２４が、ａ２１〜ａ２５の５つの画素値のうちの最大値であるとすると、列画像の２行目の画素の画素値をａ２４とする。

同様に、３行目（ｙ３）の画素の画素値を、ａ３１、ａ３２、ａ３３、ａ３４、ａ３５とし、丸で囲んだ画素値ａ３４が、ａ３１〜ａ３５の５つの画素値のうちの最大値であるとすると、列画像の３行目の画素の画素値をａ３４とする。以下、同様にＮ行目までの各行の画素の画素値を決定することにより、列画像を生成する。

時空間画像を構成する列画像を、複数の画素列を有する時空間スリット画像内の各行の画素値のうちから最も画素値の大きい画素を特定して列画像の画素とすることにより、車両のテールランプのように特徴部分が小さい場合でも、車頭計測車線用時空間スリットＳ１又は車尾計測車線用時空間スリットＳ２内で捕捉することができるので、車両又は車群を検出しやすくなる。

次に、列画像を用いて時空間画像を生成する方法について説明する。図５は本実施の形態の移動体速度算出装置１００による時空間画像の生成の一例を示す模式図である。時空間画像生成部１３は、撮像画像の所定方向の画素列で構成される列画像を撮像順に配置した時空間画像を生成する。

図４に例示した方法により、撮像時点が異なる列画像を複数生成したとする。例えば、図５の左側の図に示すように、撮像時点が、経過順に、時点ｔ１、ｔ２、ｔ３、…、ｔ５０の５０個の列画像が生成されたとする。なお、時点ｔ１からｔ５０までの間を５秒間とすると、５秒間に５０フレーム分の列画像を生成することができる。そして、図５の右側の図に示すように、それぞれの列画像を撮像時点の順に並べて配置することにより、１つの時空間画像を生成する。時空間画像は、横方向の右から左に向かって時間が経過する。また、時空間画像の縦方向は、車両の移動する方向であり、距離（移動距離）を示す。なお、時空間画像を生成する際に、撮像順に配置する列画像の数は、図５のように、５０個に限定されるものではなく、車両を撮像する箇所（撮像装置２００の設置場所）又はフレームレート等に応じて適宜変更することができる。

次に、時空間画像上での車両の移動軌跡について説明する。図６は時空間画像上の車尾の移動軌跡の一例を示す模式図である。図６の左側の図は、撮像画像上の車尾計測車線用時空間スリットＳ２を示す。車両（車尾）が、点Ｒ１、Ｒ２、Ｒ３、Ｒ４の順に矢印の方向へ移動したとする。時間ｔの経過とともに車両は遠ざかるので、時空間画像上では、点Ｒ１、Ｒ２、Ｒ３、Ｒ４の各点を繋ぐ線分上を移動する。すなわち、時空間画像上では、車尾の移動軌跡は、右下から左上の方へ向かって傾斜する線分で表すことができる。なお、各点Ｒ１〜Ｒ４の周辺の複数の点は特徴点を模式的に表したものである。

図７は時空間画像上の車頭の移動軌跡の一例を示す模式図である。図７の左側の図は、撮像画像上の車頭計測車線用時空間スリットＳ１を示す。車両（車頭）が、点Ｒ１１、Ｒ１２、Ｒ１３、Ｒ１４の順に矢印の方向へ移動したとする。時間ｔの経過とともに車両は近づくので、時空間画像上では、点Ｒ１１、Ｒ１２、Ｒ１３、Ｒ１４の各点を繋ぐ線分上を移動する。すなわち、時空間画像上では、車頭の移動軌跡は、右上から左下の方へ向かって傾斜する線分で表すことができる。なお、各点Ｒ１１〜Ｒ１４の周辺の複数の点は特徴点を模式的に表したものである。

次に、本実施の形態の移動体速度算出装置１００の動作について説明する。まず、移動体速度算出装置１００の特徴点抽出部１４は、時空間画像生成部１３で生成した時空間画像上の特徴点を抽出する。なお、時空間画像は、撮像画像から生成してもよく、撮像時点が異なる撮像画像それぞれのフレーム間差分、背景差分又はエッジ画像など車両を表す特徴を利用して生成してもよい。特徴点は、例えば、輝度値の大きな画素、エッジ画素などである。例えば、車両（移動体）のヘッドライトの部分、テールランプの部分などは比較的輝度が高く、特徴点として抽出することができる。

図８は本実施の形態の移動体速度算出装置１００による線分要素強調処理後の時空間画像の一例を示す模式図である。なお、以下の説明では、時空間画像は、車尾車線に対応するものを例示するが、車頭車線の場合も同様である。特徴点抽出部１４は、特徴点が抽出された時空間画像に対して、線分要素強調処理を行う。線分要素強調処理は、例えば、ラプラシアンフィルタ、ソーベルフィルタ、又は車両の進行方向（移動方向）を考慮したエッジフィルタ等によるフィルタ処理である。なお、線分要素強調処理は省略することもできる。

図８において、右下から左上に向かって並んだように見える多くの点が、線分要素強調処理後の特徴点を模式的に表している。なお、線状に纏まった特徴点の間に符号Ｍで示す空白の領域が存在するが、かかる領域Ｍは、例えば、遮蔽物により車尾を検出することができなかった位置と時間を模式的に示す。

なお、図示していないが、車頭車線に対応する時空間画像の場合には、遮蔽物で遮蔽されて車頭を検出することができない位置と時間において同様の空白領域が生じるとともに、車尾車線を走行する対向車両による特徴点が、車頭による特徴点と混在して抽出される場合がある。

図９は本実施の形態の移動体速度算出装置１００による２値化処理後の時空間画像の一例を示す模式図である。図８に例示した線分要素強調処理後の特徴点（画素）の画素値（例えば、輝度値）を所定の閾値で二値化処理した結果を図９に例示する。なお、２値化処理は、特徴点抽出部１４で行うことができる。２値化処理を行うことにより、所定の閾値以上の画素値を有する特徴点（画素）だけが残る。

図１０は本実施の形態の移動体速度算出装置１００による円形マスク処理の一例を示す模式図である。線分抽出部１５は、時空間画像上の特徴点を、線分を表すパラメータ空間、例えば、（ρ、θ）空間へ写像するハフ変換に基づいて線分を抽出する。

また、線分抽出部１５は、限定部としての機能を有し、図１０に示すように、時空間画像上でハフ変換を行う特徴点を、時空間画像上の所要の円形状領域に限定する。ハフ変換に用いる特徴点を時空間画像上での円形状領域に限定することにより、パラメータ空間上の投票結果をパラメータθの全角度で公平にすることができ、精度良く線分を抽出することができる。なお、投票結果とは、パラメータ空間を表す２次元配列を用意しておき、パラメータ空間で特徴点に対応する軌跡を描く場合に、軌跡が通過する配列を求め、その配列の値を１つ増やす（投票する）ことにより得られる結果である。

図１１は本実施の形態の移動体速度算出装置１００による細線化処理の一例を示す模式図である。図１１において、複数の矩形が縦横に並んだ図を示す。それぞれの矩形は特徴点（画素）を示す。細線化処理部１６は、縦除去部としての機能を有し、特徴点抽出部１４で抽出した特徴点が時空間画像上で縦方向に連続して存在する場合、最下位の特徴点以外の特徴点を除去する。図１１において、縦方向に並んだ矩形のうち最下部にある太枠で示す矩形（特徴点、画素）だけを残す。

そして、線分抽出部１５は、細線化処理部１６で除去した後の特徴点に基づいて線分を抽出する。

例えば、特徴点が縦方向に連続して並んだ状態で抽出された場合、縦に連続する特徴点（画素）の最下部以外を除去する。縦に連続する特徴点のうち最下部だけを用いることにより、ヘッドライトのように、ある程度車両の高さ方向に拡がりがある場合でも、路面に最も近い箇所だけを用いることができるので、算出する速度を安定化させることができる。また、特徴点が縦方向に連続する場合、上方の特徴点は車両の屋根に相当する場合があり、移動速度が見かけ上速くなるため、最下部以外を除去することにより、速度を正確に算出することができる。さらに、線分抽出に必要な特徴点を残したまま特徴点の数を少なくすることができるので、処理速度を向上させることができる。

また、細線化処理部１６は、横除去部としての機能を有し、特徴点抽出部１４で抽出した特徴点が時空間画像上で横方向に連続して存在する場合、横方向に連続する特徴点を除去する。図１１において、横方向に並んだ矩形はすべて除去されている。

そして、線分抽出部１５は、細線化処理部１６で除去した後の特徴点に基づいて線分を抽出する。

例えば、特徴点が横方向に連続して並んだ状態で抽出された場合、横に連続する特徴点（画素）をすべて除去する。横に連続する特徴点をすべて除去することにより、ヘッドライトやテールランプの光が、例えば、トンネル内の側壁、路肩付近に存在する建造物、隣接する他の車両の車体等で反射した場合、反射箇所の付近に他の車両のヘッドライトやテールランプが存在するような場合でも、反射箇所の影響（環境変化要因）を除外することができる。また、線分抽出に必要な特徴点を残したまま特徴点の数を少なくすることができるので、処理速度を向上させることができる。なお、横除去部としての細線化処理部１６は必須の構成ではなく、具備しなくてもよい。

図１２は本実施の形態の移動体速度算出装置１００による細線化処理後の時空間画像の一例を示す模式図である。図１２に示すように、細線化処理により、線分上の特徴点（画素）の一部が欠けることになるが、後述のハフ変換の特性により、線分を抽出する上で特段の問題は生じない。

次に、ハフ（Hough）変換について説明する。図１３は時空間画像中の特徴点とパラメータ空間中の軌跡との関係を示す模式図である。図１３の上段の図に示すように、時空間画像中の特徴点をＡとし、特徴点Ａの座標を（ｔ、ｙ）とする。特徴点Ａを通る直線は、ρ０＝ｔ×ｃｏｓ（θ０）＋ｙ×ｓｉｎ（θ０）という式で表すことができる。ここで、ρ０は、座標原点から直線へ下ろした垂線の長さを表し、θ０は、垂線とｔ軸との間の角度を表すパラメータである。

そして、時空間画像中の特徴点Ａが、上述の式で表されるパラメータ空間中の軌跡に写像される。図１３の下段の図が、特徴点Ａに対応するパラメータ空間中の軌跡を示す。すなわち、時空間画像（ｔ、ｙ）の各特徴点は、パラメータ空間（ρ、θ）の軌跡にそれぞれ対応する。なお、図１３では、簡便のため、１つの特徴点Ａだけを例示している。

図１４はパラメータ空間中の複数の軌跡から時空間画像上で線分が抽出される様子を示す模式図である。前述のとおり、時空間画像中の特徴点それぞれに対応してパラメータ空間中で軌跡を表すことができる。図１４の上段の図に示すように、符号Ｂ、Ｃ、Ｄ、Ｅで示す４つの軌跡が、パラメータ（θ１、ρ１）で示す点で集中しているとする。このパラメータ（θ１、ρ１）は、時空間画像の直線を示す式、ρ１＝ｔ×ｃｏｓ（θ１）＋ｙ×ｓｉｎ（θ１）を表すので、図１４の下段の図に示すように、特徴点Ｂ、Ｃ、Ｄ、Ｅを通る線分が抽出されたことになる。すなわち、パラメータ空間で複数の軌跡が集中している位置（例えば、ρ１、θ１）が分かると、当該パラメータ（ρ１、θ１）は時空間画像において、複数の特徴点を通る１つの線分を表し、線分を抽出することができる。

図１５は本実施の形態の移動体速度算出装置１００により抽出された線分の一例を示す模式図である。図１５は、車尾車線に対応する時空間画像で抽出された線分を示す。速度算出部１７は、線分抽出部１５で抽出した線分の時空間画像上での傾きに基づいて車両又は車群の速度を算出する。傾きは、例えば、時空間画像の横方向（横軸）を基準として求めることができる。時空間画像は、例えば、横軸が時間、縦軸が車両の移動方向の距離を表すので、抽出された線分の傾きにより車両又は車群の速度を求めることができる。車群の速度は、例えば、複数の線分を抽出した場合、それぞれの線分の傾きに基づく速度を算出し、算出した速度の平均を車群の速度として求めることができる。なお、平均に限定されるものではなく、最大速度又は最小速度を車群の速度としてもよい。また、抽出された複数の線分の中で、時空間画像上で最も中央に位置する線分の傾きに基づいて車群の速度を算出することもできる。

図１６は本実施の形態の移動体速度算出装置１００により抽出された線分の他の例を示す模式図である。図１６は、車頭車線に対応する時空間画像で抽出された線分を示す。この場合も、図１５の場合と同様に、速度算出部１７は、線分抽出部１５で抽出した線分の時空間画像上での傾きに基づいて車両又は車群の速度を算出する。

なお、図１５又は図１６のように、線分が抽出されたときに、精度を向上させるために、以下の条件（１）、（２）のいずれか一方又は両方を充足するか否かを判定するようにしてもよい。条件（１）は、抽出した複数の線分の傾きの応じた各速度の差である速度差が所定の速度差閾値（例えば、５０ｋｍ／ｈなど）より小さいこと。例えば、線分の傾きに基づいて算出した速度をＶ１、Ｖ２、Ｖ３とし、速度差閾値をＶｄｔｈとすると、｜Ｖ１−Ｖ２｜＜Ｖｄｔｈ、｜Ｖ２−Ｖ３｜＜Ｖｄｔｈ、｜Ｖ３−Ｖ１｜＜Ｖｄｔｈをすべて満足する場合、条件（１）を充足するとすることができる。

また、条件（２）は、抽出した線分の方向が車線の方向と一致すること。なお、一致するとは、線分の方向が車線の方向と差が所定の範囲内（例えば、５°程度）である場合も含む。

次に、車群の有無の判定、すなわち、車群であるか単独の車両であるかを区別する方法について説明する。

線分判定部１８は、時空間画像を複数分割した分割画像それぞれに線分抽出部１５で抽出した線分があるか否かを判定する。分割画像は、例えば、時空間画像を４×４の１６に分割した画像とすることができるが、分割数はこれに限定されるものではない。

車群判定部１９は、移動体群判定部としての機能を有し、線分判定部１８で線分があると判定した分割画像の数に基づいて、車群の有無を判定する。そして、速度算出部１７は、車群判定部１９で車群があると判定した場合、車群の速度を算出する。

図１７は本実施の形態の移動体速度算出装置１００による車群の有無を判定する一例を示す模式図である。図１７に示すように、例えば、時空間画像を１６個に分割した分割画像のうち、線分があると判定した分割画像（図１７中破線で示す分割画像）の数（図１７の例では、１４）が所定の車群判定閾値（例えば、１３）以上であれば、車群があると判定する。

図１８は本実施の形態の移動体速度算出装置１００による車群の有無を判定する他の例を示す模式図である。図１８に示すように、線分があると判定した分割画像（図１８中破線で示す分割画像）の数（図１８の例では、６）が車群判定閾値（例えば、１３）より小さい場合には、車群なし、すなわち単独の車両であると判定する。これにより、単独の車両であるか、複数の車両が一群をなす車群であるかを精度良く区別することができる。

なお、分割画像の数に基づいて車群の有無を判定する処理は、例えば、１秒の都度行うことができる。また、分割画像の数は、例えば、過去、所定の車群速度継続時間（例えば、３０秒）の間の分割画像の数の平均値が所定の閾値以上であるか否かで判定することができる。

次に、車群の速度を安定させるため、平滑車群速度について説明する。

図１９は本実施の形態の移動体速度算出装置１００による平滑車群速度を用いた車群速度の算出例を示す説明図である。図１９に示すように、今回の平滑車群速度をＶＡ（ｔ）とし、前回の平滑車群速度をＶＡ（ｔ−１）とし、今回の車群速度をＶ（ｔ）とし、平滑係数をαとすると、今回の平滑車群速度をＶＡ（ｔ）は、ＶＡ（ｔ）＝ＶＡ（ｔ−１）×（１−α）＋Ｖ（ｔ）×αの式により算出することができる。

また、平滑計数αは、ＶＡ（ｔ）及びＶＡ（ｔ−１）に応じて調整する。例えば、図１９に示すように、今回の車群速度Ｖ（ｔ）と前回の平滑車群速度ＶＡ（ｔ−１）との速度差が所定の閾値Ｖｔｈ以上である場合、平滑計数αを０．３とすることができる。すなわち、今回の車群速度Ｖ（ｔ）と前回の平滑車群速度ＶＡ（ｔ−１）との速度差が大きい場合には、算出した車群速度が安定していないおそれがあるので、平滑計数αを、０．３の如く比較的小さくすることにより、今回の車群速度Ｖ（ｔ）よりも前回の平滑車群速度ＶＡ（ｔ−１）の方を優先して反映させて今回の平滑車群速度ＶＡ（ｔ）を算出する。

また、今回の車群速度Ｖ（ｔ）と前回の平滑車群速度ＶＡ（ｔ−１）との速度差が所定の閾値Ｖｔｈよりも小さい場合は、算出した車群速度が安定しているので、平滑計数αを比較的大きく（例えば、０．７、０．５など）することにより、前回の平滑車群速度ＶＡ（ｔ−１）よりも今回の車群速度Ｖ（ｔ）の方を優先して反映させて今回の平滑車群速度ＶＡ（ｔ）を算出する。

また、今回の車群速度Ｖ（ｔ）と前回の平滑車群速度ＶＡ（ｔ−１）との速度差が所定の閾値Ｖｔｈよりも小さい場合に、今回の車群速度Ｖ（ｔ）が前回の平滑車群速度ＶＡ（ｔ−１）よりも大きいときは、平滑係数αを０．７とする。また、今回の車群速度Ｖ（ｔ）と前回の平滑車群速度ＶＡ（ｔ−１）との速度差が所定の閾値Ｖｔｈよりも小さい場合に、今回の車群速度Ｖ（ｔ）が前回の平滑車群速度ＶＡ（ｔ−１）よりも小さいときは、平滑係数αを０．５とする。これにより、渋滞の判定において誤判定を発生しにくくすることができる。

上述の例では、時空間画像で抽出した線分の傾きに応じて車両又は車群の速度を算出する構成であったが、速度を算出する方法はこれに限定されるものではない。

図２０は本実施の形態の移動体速度算出装置１００による車両又は車群の速度を算出する他の例を示す模式図である。制御部１０は、軌跡特定部としての機能を有し、時空間画像上の特徴点毎にパラメータ空間（ρ、θ）上で当該特徴点に対応する軌跡を複数特定する。

速度算出部１７は、制御部１０で特定した複数の軌跡が重なる位置に対応するパラメータθに基づいて車両又は車群の速度を算出する。例えば、パラメータ空間を表す２次元配列を用意しておき、パラメータ空間で特徴点に対応する軌跡を描く場合に、軌跡が通過する配列を求め、その配列の値を１つ増やす（投票する）。

かかる投票処理をすべての特徴点について行うことにより、パラメータθに対する投票数の分布を得ることができる。図２０は、パラメータθと投票数の分布を示す。そして、投票数の分布が極大となるパラメータ又は極大値近傍（例えば、角度で±５°程度）のパラメータに応じて車両又は車群の速度を算出することにより、ノイズ要因との区別が可能となり、安定した速度を求めることができる。

図２０の例では、パラメータθが、０からπ／２の範囲内のθ１１で投票数が極大となっている。パラメータθ１１は、０からπ／２の範囲内であるので、車頭に対応する速度であることが分かる。また、図２０の例では、パラメータθが、π／２からπの範囲内のθ１２で投票数が極大となっている。パラメータθ１２は、π／２からπの範囲内であるので、車尾に対応する速度であることが分かる。

次に、本実施の形態の移動体速度算出装置１００による車両又は車群の算出処理について説明する。図２１、図２２及び図２３は本実施の形態の移動体速度算出装置１００による車両又は車群の算出処理手順の一例を示すフローチャートである。なお、便宜上処理の主体を制御部１０として説明する。

制御部１０は、映像の取込周期であるか否かを判定する（Ｓ１１）。取込周期は、フレームレートとすることができ、例えば、１００ｍｓとすることができるが、これに限定されるものではなく、例えば、２００ｍｓなどとすることもできる。取込周期でない場合（Ｓ１１でＮＯ）、制御部１０は、ステップＳ１１の処理を続ける。取込周期である場合（Ｓ１１でＹＥＳ）、制御部１０は、映像を取得し（Ｓ１２）、取得した映像を鳥瞰画像に変換する（Ｓ１３）。

制御部１０は、列画像を生成し（Ｓ１４）、生成した列画像を撮像順に配置して時空間画像を生成する（Ｓ１５）。制御部１０は、生成した時空間画像に対して、線分要素強調処理を行い（Ｓ１６）、さらに、二値化処理を行う（Ｓ１７）。制御部１０は、円形マスク処理を行い（Ｓ１８）、細線化処理を行う（Ｓ１９）。なお、細線化処理と円形マスク処理の処理順序は、逆であってもよい。

制御部１０は、細線化処理後の時空間画像上の特徴点に基づいて、ハフ変換等により線分抽出処理を行う（Ｓ２０）。ハフ変換を行って線分を抽出する場合、所定数（例えば、３）の線分を抽出する。これにより、車群が撮像された場合に車群の速度を算出することができる。

制御部１０は、速度算出処理を行う（Ｓ２１）。なお、速度算出処理の詳細は後述する。制御部１０は、上述の速度算出処理での速度算出の可否を判定する（Ｓ２２）。速度を算出することができた場合（Ｓ２２でＹＥＳ）、制御部１０は、算出した速度を用いて平滑速度を算出し、算出した平滑速度を平滑速度・マス情報テーブルに登録する（Ｓ２３）。なお、速度には、車群速度も含み、平滑速度には平滑車群速度も含むものとする。平滑速度（平滑車群速度）の算出は、図１９の例で行うことができる。

速度を算出することができなかった場合（Ｓ２２でＮＯ）、制御部１０は、所定時間の間、速度を算出することができないか否かを判定する（Ｓ２４）。すなわち、制御部１０は、速度を算出することができない状態が所定時間（車群なし判定時間とも称する。例えば、１０秒など）以上継続しているか否かを判定する。

所定時間の間、速度を算出することができない場合（Ｓ２４でＹＥＳ）、制御部１０は、車両の速度として標準速度（例えば、７０ｋｍ／ｈなど）を用いて平滑速度を算出し、算出した平滑速度を平滑速度・マス情報テーブルに登録する（Ｓ２５）、後述のステップＳ２６の処理を行う。速度算出が車群なし判定時間の間行われない場合、標準速度を用いることにより、渋滞誤報を防止することができる。所定時間の間に、速度を算出することができた場合（Ｓ２４でＮＯ）、制御部１０は、ステップＳ２５の処理を行うことなく、後述のステップＳ２６の処理を行う。

制御部１０は、他の車線の有無を判定し（Ｓ２６）、他の車線がある場合（Ｓ２６でＹＥＳ）、すなわち、他の車線での処理が残っている場合、ステップＳ１４以降の処理を続ける。他の車線がない場合（Ｓ２６でＮＯ）、すなわち、すべての車線に対して上述の処理が完了した場合、制御部１０は、渋滞判定周期であるか否かを判定する（Ｓ２７）。渋滞判定周期は、例えば、１秒とすることができるが、これに限定されるものではない。渋滞判定周期でない場合（Ｓ２７でＮＯ）、制御部１０は、ステップＳ１１以降の処理を続ける。

渋滞判定周期である場合（Ｓ２７でＹＥＳ）、制御部１０は、車群の有無を判定する（Ｓ２８）。なお、車群の判定は、例えば、図１７及び図１８で例示したように、予め時空間画像を１６個の分割画像に分割しておき、所定の車群速度継続時間（例えば、３０秒など）の間に、線分が抽出された分割画像の平均値を算出し、算出した平均値が車群判定閾値（例えば、１３）以上であれば、車群ありと判定することができ、算出した平均値が車群判定閾値よりも小さい場合には車群なし（すなわち、単独の車両である）と判定することができる。

車群ありの場合（Ｓ２８でＹＥＳ）、制御部１０は、所定の継続時間、すなわち車群速度継続時間（例えば、３０秒など）の間に平滑速度・マス情報テーブルに登録した平滑速度のうち最速の平滑速度を車群速度とし（Ｓ２９）、車群速度が閾値速度（例えば、２０ｋｍ／ｈなど）より小さいか否かを判定する（Ｓ３０）。車群速度が閾値速度より小さい場合（Ｓ３０でＹＥＳ）、制御部１０は、渋滞と判定し（Ｓ３１）、処理を終了する。

車群速度が閾値速度より小さくない場合（Ｓ３０でＮＯ）、制御部１０は、渋滞と判定することなく処理を終了する。一方、車群なしと判定した場合（Ｓ２８でＮＯ）、制御部１０は、閑散流に対する所定の処理を行い（Ｓ３２）、処理を終了する。なお、処理を終了する前に、処理を終了するか否かの判定を行って、処理を継続する場合には、ステップＳ１１以降の処理を継続することもできる。

図２４は本実施の形態の移動体速度算出装置１００による速度算出処理手順の一例を示すフローチャートである。図２４に示す処理は、図２２のステップＳ２１の処理の詳細を示すものである。制御部１０は、ステップＳ２０の線分抽出処理で抽出した３つの線分に基づいて算出した速度それぞれの速度差が速度差閾値より小さいか否かを判定する（Ｓ１１１）。例えば、線分の傾きに基づいて算出した速度をＶ１、Ｖ２、Ｖ３とし、速度差閾値をＶｄｔｈとすると、｜Ｖ１−Ｖ２｜＜Ｖｄｔｈ、｜Ｖ２−Ｖ３｜＜Ｖｄｔｈ、｜Ｖ３−Ｖ１｜＜Ｖｄｔｈをすべて満足するか否かを判定する。

速度差が速度差閾値より小さい場合（Ｓ１１１でＹＥＳ）、制御部１０は、線分の方向と車線方向とが一致するか否かを判定する（Ｓ１１２）。線分の方向と車線方向とが一致する場合（Ｓ１１２でＹＥＳ）、制御部１０は、速度の平均を今回の速度（車群速度）とし（Ｓ１１３）、速度算出可とし（Ｓ１１４）、処理を終了する。

速度差が速度差閾値より小さくない場合（Ｓ１１１でＮＯ）、あるいは、線分の方向と車線方向とが一致しない場合（Ｓ１１２でＮＯ）、制御部１０は、速度算出否とし（Ｓ１１５）、処理を終了する。

移動体速度算出装置１００は、ＣＰＵ、ＲＡＭなどを備えた汎用コンピュータを用いて実現することもできる。すなわち、図２１乃至図２４に示すような、各処理手順を定めたコンピュータプログラムをＤＶＤなどの記録媒体に記録しておく。そして、当該記録媒体に記録したコンピュータプログラムを光ディスク装置等で読み込ませることにより、コンピュータに備えられたＲＡＭにロードし、コンピュータプログラムをＣＰＵで実行することにより、コンピュータ上で移動体速度算出装置を実現することができる。

上述のとおり、本実施の形態によれば、時空間画像上で特徴点を抽出し、抽出した特徴点に基づいて線分を抽出するので、時空間画像上で抽出された特徴点が線状に分布していない場合（例えば、離散的に分布するような場合）でも、抽出した特徴点に基づいて線分を抽出することができる。このため、従来の処理に比べて、例えば、輝度変化（環境変化）による影響が少なく、対象エリアに移動しない遮蔽物が存在する場合、あるいは対象の車両又は車群の進行方向と逆方向に移動する遮蔽物が存在する場合でも、速度算出対象の車両又は車群の速度を精度良く算出することができる。

上述の実施の形態では、一例としてトンネル内での車両又は車群の速度を算出する例を説明したが、本実施の形態はトンネル内に限定されるものではない。例えば、屋外の映像の場合、コントラストが低い映像の場合、あるいは画像処理向きに輝度を絞った映像の場合でも、本実施の形態を適用することができる。また、逆に監視目的等のため明るい映像の場合のように、路面反射が発生しやすいときでも、本実施の形態を適用することができる。

以上に開示された実施の形態及び実施例は、全ての点で例示であって制限的なものではないと考慮されるべきである。本発明の範囲は、以上の実施の形態及び実施例ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内での全ての修正や変形を含むものと意図される。

１０ 制御部
１１ インタフェース部
１２ 鳥瞰画像変換部
１３ 時空間画像生成部
１４ 特徴点抽出部
１５ 線分抽出部
１６ 細線化処理部
１７ 速度算出部
１８ 線分判定部
１９ 車群判定部
２０ 記憶部

Claims (9)

1. 複数の画素で構成された撮像画像に基づいて移動体又は複数の移動体からなる移動体群の速度を算出する移動体速度算出装置であって、
   前記撮像画像の所定方向の画素列で構成される列画像を撮像順に配置した時空間画像を生成する時空間画像生成部と、
   該時空間画像生成部で生成した時空間画像上の特徴点を抽出する特徴点抽出部と、
   該特徴点抽出部で抽出した特徴点に基づいて線分を抽出する線分抽出部と、
   該線分抽出部で抽出した線分の前記時空間画像上での傾きに基づいて移動体又は移動体群の速度を算出する速度算出部と
   を備え、
   前記時空間画像は、縦方向の前記列画像を撮像順に横方向に配置してあり、
   前記特徴点抽出部で抽出した特徴点が前記時空間画像上で縦方向に連続して存在する場合、最下位の特徴点以外の特徴点を除去する縦除去部をさらに備え、
   前記線分抽出部は、
   前記縦除去部で除去した後の特徴点に基づいて線分を抽出するようにしてある移動体速度算出装置。
2. 前記所定方向は、移動体の移動方向であり、
   前記撮像画像上で前記移動方向に沿った所定領域を特定する特定部と、
   該特定部で特定した所定領域を、射影変換を用いて鳥瞰画像に変換する変換部と、
   該変換部で変換した鳥瞰画像に基づいて前記列画像を生成する列画像生成部と
   を備える請求項１に記載の移動体速度算出装置。
3. 前記特定部は、
   前記移動方向の画素列を複数有する所定領域を特定するようにしてあり、
   前記変換部は、
   複数の画素列を含む鳥瞰画像に変換するようにしてあり、
   前記列画像生成部は、
   前記鳥瞰画像の複数の画素列の前記移動方向に交差する方向にある複数の画素のうち最大画素値の画素を、前記移動方向に配置して前記列画像を生成するようにしてある請求項２に記載の移動体速度算出装置。
4. 前記縦除去部が特徴点を除去して残った特徴点が前記時空間画像上で横方向に連続して存在する場合、該横方向に連続する特徴点を除去する横除去部を備え、
   前記線分抽出部は、
   前記横除去部で除去した後の特徴点に基づいて線分を抽出するようにしてある請求項１から請求項３までのいずれか１項に記載の移動体速度算出装置。
5. 前記線分抽出部は、
   前記時空間画像上の特徴点を、線分を表すパラメータ空間へ写像するハフ変換を用いて線分を抽出するようにしてあり、
   前記時空間画像上で前記ハフ変換を行う特徴点を、前記時空間画像上の所要の円形状領域に限定する限定部を備える請求項１から請求項４までのいずれか１項に記載の移動体速度算出装置。
6. 前記時空間画像上の特徴点毎に前記パラメータ空間上で該特徴点に対応する軌跡を複数特定する軌跡特定部を備え、
   前記速度算出部は、
   さらに、前記軌跡特定部で特定した複数の軌跡が重なる位置に対応するパラメータに基づいて移動体の速度を算出するようにしてある請求項５に記載の移動体速度算出装置。
7. 前記時空間画像を複数分割した分割画像それぞれに前記線分抽出部で抽出した線分があるか否かを判定する線分判定部と、
   該線分判定部で線分があると判定した分割画像の数に基づいて、移動体群の有無を判定する移動体群判定部と
   を備え、
   前記速度算出部は、
   前記移動体群判定部で移動体があると判定した場合、移動体群の速度を算出するようにしてある請求項１から請求項６までのいずれか１項に記載の移動体速度算出装置。
8. コンピュータに、複数の画素で構成された撮像画像に基づいて移動体又は複数の移動体からなる移動体群の速度を算出させるためのコンピュータプログラムであって、
   コンピュータを、
   前記撮像画像の所定方向の画素列で構成される列画像を撮像順に配置した時空間画像を生成する時空間画像生成手段と、
   生成した時空間画像上の特徴点を抽出する特徴点抽出手段と、
   抽出した特徴点に基づいて線分を抽出する線分抽出手段と、
   抽出した線分の前記時空間画像上での傾きに基づいて移動体又は移動体群の速度を算出する速度算出手段と
   して機能させ、
   前記時空間画像は、縦方向の前記列画像を撮像順に横方向に配置してあり、
   さらに、抽出した特徴点が前記時空間画像上で縦方向に連続して存在する場合、最下位の特徴点以外の特徴点を除去する縦除去手段として機能させ、
   前記線分抽出手段は、
   前記縦除去手段で除去した後の特徴点に基づいて線分を抽出する処理を行うコンピュータプログラム。
9. 複数の画素で構成された撮像画像に基づいて移動体又は複数の移動体からなる移動体群の速度を算出する移動体速度算出装置による移動体速度算出方法であって、
   前記撮像画像の所定方向の画素列で構成される列画像を撮像順に配置した時空間画像を時空間画像生成部が生成するステップと、
   生成された時空間画像上の特徴点を特徴点抽出部が抽出するステップと、
   抽出された特徴点に基づいて線分を線分抽出部が抽出するステップと、
   抽出された線分の前記時空間画像上での傾きに基づいて移動体又は移動体群の速度を速度算出部が算出するステップと
   を含み、
   前記時空間画像は、縦方向の前記列画像を撮像順に横方向に配置してあり、
   抽出された特徴点が前記時空間画像上で縦方向に連続して存在する場合、最下位の特徴点以外の特徴点を縦除去部が除去するステップをさらに含み、
   前記線分抽出部は、除去された後の特徴点に基づいて線分を抽出する移動体速度算出方法。

Images