JP7182520B2 - 状態計測装置 - Google Patents

Description

本発明は、対象物の速度や移動方向等の状態を計測する状態計測装置に関する。

従来、自動車には様々な性能の評価が求められている。そうした評価のひとつに排ガス計測がある。排ガス計測は、シャシダイナモメータを利用した模擬走行により求めることもできるが、模擬走行と実路走行とでは計測結果に乖離が発生することもあり、実路走行が重要視されるようになっている。

自動車の実路走行による性能評価においては、自動車の状態の一つの速度を計測することが求められ、この計測される速度は、低速度域から高速度域まで精度が高いことが求められる。例えば、自動車の速度を高い精度で計測する技術の一例が特許文献１に記載されている。

特許文献１に記載の状態計測装置は、光学式の状態計測装置で、車輪の無い移動体や車輪がスリップする移動体において、移動体の回転運動の影響を抑制しつつ、自身の速度を高い精度で推定可能な状態計測装置である。この状態計測装置は、移動体に備えられ、撮影平面が移動した際の各画素の移動量が画像内の位置によって異なるように走行面を撮影する撮影部を備える。そして、この状態計測装置は、撮影部が時系列的に撮影した複数の画像から、所定の軸に対する各画素の移動量の変化を画素移動量勾配として求め、当該画素移動量勾配から移動体の速度を求める。

国際公開第２０１６／０１６９５９号

ところで、撮影タイミングの相違する２つの撮影画像に基づいて速度を計測する場合、移動体の速度が高くなっても２つの撮影画像で重なる画像範囲を有するように撮影しなければならないという制約がある。また、移動体の速度が２つの撮影タイミングの間に変化したとすると、相違する撮影タイミングで撮影した２つの撮影画像がともに良好に撮影されている必要がある。

こうした課題は、移動体の速度の計測に限られるものではなく、速度に関連する距離や加速度等の状態の計測であっても同様である。
本発明は、このような実情に鑑みてなされたもので、その目的は、簡単な撮影条件で撮影された撮影画像に基づいて対象物の状態を計測することのできる状態計測装置を提供することにある。

上記課題を解決する状態計測装置は、撮影画像に基づいて移動体の速度ベクトルを計測する状態計測装置であって、前記移動体に固定されて、前記移動体が相対移動する対向面を撮影する１つの撮影部を有する対向面撮影部と、前記１つの撮影部が前記対向面を撮影するときの露光時間を記憶する記憶部と、前記１つの撮影部が前記露光時間を撮影条件に含んで撮影した前記対向面の画像である対向面画像の有しているモーションブラーから前記移動体の移動方向及び大きさ、及び前記露光時間に基づいて前記移動体の速度ベクトルを計測する計測部とを備える。

このような構成によれば、所定の撮影タイミングで対向面を撮影した１つの対向面の画像に生じるモーションブラーに基づいて移動体の対向面に対する相対速度ベクトルを計測できる。１つの対向面画像から相対速度ベクトルを計測できることから、撮影タイミングの相違する複数の対向面の画像を要する場合に比べて、撮影の制約が少なくなり撮影が容易になる。つまり、構造が簡単である安価なカメラで実現可能な撮影条件での計測上限の拡張が可能になる。

また、１つの対向面の画像全体に現れる現象から速度ベクトルの計測を行うので、複数の撮影画像から速度ベクトルの計測を行う場合に比べて、路面上に現れるアスファルト以外の物体に影響されにくい。

好ましい構成として、前記計測部は、前記対向面画像の前記モーションブラーの方向と大きさとを、前記対向面画像の空間に対する２次元ＦＦＴ処理で得られる周波数成分の分布に基づいて求める。

このような構成によれば、２次元空間周波数成分の分布に基づいてモーションブラーの方向と大きさとが得られる。例えば、アスファルトのように等方的な周波数成分の分布に対して一定強度を超える点群を包含する形状の低周波数側への圧縮方向と幅とに基づいて、モーションブラーの方向と大きさとが求められる。そして、モーションブラーの方向と大きさとから速度ベクトルが求められる。

好ましい構成として、前記計測部は、前記速度ベクトルを、前記周波数成分の分布から得られた一定強度を超える点群の集まる抽出領域の最小幅をとる方向を前記移動方向とし、前記一定強度を超える抽出領域の前記移動方向に対する長さの逆数と、前記一定強度を超える抽出領域の前記移動方向と直交する方向に対する長さの逆数との間の差に基づいて計測する。

このような構成によれば、速度に起因するモーションブラーによって速度方向に沿う空間周波数スペクトルは低周波数側にシフトする。このため、２次元ＦＦＴ処理から得られる周波数成分の分布から得られた一定強度を超える点群の集まりとして抽出された抽出領域について、抽出領域の最小幅をとる方向を移動方向として取得することができる。また、抽出領域の移動方向に対する長さの逆数と直交方向に対する長さの逆数との差に基づいて、モーションブラーの方向と大きさとが求められる。そして、モーションブラーの方向と大きさから速度ベクトルを算出できる。

好ましい構成として、前記モーションブラーの方向は、前記抽出領域に対しモデルフィッティングして得られた楕円の短径の方向から求められ、前記モーションブラーの大きさは、前記楕円の短径の逆数と長径の逆数との差から求められる。

このような構成によれば、モーションブラーの方向と大きさとを、抽出領域にモデルフィッティングされた楕円から算出できる。
好ましい構成として、前記計測部は、前記楕円の短径の方向、及び短径の逆数と長径の逆数との間の差から前記速度ベクトルを取得し、この取得した前記速度ベクトルの大きさから速度を算出し、該速度ベクトルの向きから移動方向を算出する。

このような構成によれば、速度と移動方向とが、低周波数成分の抽出領域にモデルフィッティングされた楕円に基づいて算出される。
好ましい構成として、前記計測部は、前記２次元ＦＦＴ処理に先立ち、前記対向面画像を画素数が２のべき乗となるようにトリミング及びビニングの少なくとも一方の加工をしてから、この加工した前記対向面画像を前記２次元ＦＦＴ処理する。

このような構成によれば、画素数が２のべき乗である対向面の画像によって２次元ＦＦＴ処理を効率よく演算できる。
好ましい構成として、前記移動方向に対する大きさと、前記楕円の短径と長径との間の比が所定の範囲を超えることに応じて露光時間を調整する調整部をさらに備える。

このような構成によれば、モーションブラーが大きくなったとき、調整部によってモーションブラーが小さくなるように露光時間が調整され、２次元ＦＦＴ処理によって検知できる範囲にモーションブラーの大きさが抑えられる。逆に、モーションブラーが小さくなったとき、調整部によってモーションブラーが大きくなるように露光時間が調整され、周波数成分の分布において一定強度を超える点群楕円領域の短径と長径との比が適切な大きさに調整される。これらのことから、モーションブラーの大小が大きく変化したとしても、速度の計測精度の低下が抑制されるとともに、計測速度限界を適切に制御できる。

好ましい構成として、前記計測部は、前記対向面画像の全体を前記２次元ＦＦＴ処理する第１のモードと、前記対向面画像の一部を前記２次元ＦＦＴ処理する第２のモードとを備え、所定の条件に応じて前記第１のモードと前記第２のモードとを切り替える。

このような構成によれば、第１のモードと第２のモードとが選択可能になる。例えば、高い精度が必要なとき第１のモードを選択し、演算負荷を軽減したいとき第２のモードを選択できる。

また、２次元ＦＦＴ処理に不適当な像（グレーチング等）の映り込みの領域を避けたり、影響の程度の低いモードによる処理を選択したりすることで高い精度を維持できる。
好ましい構成として、前記モーションブラーが示す変位量は、前記撮影部から前記対向面までの距離を考慮して算出される。

このような構成によれば、移動体と対向面との間の距離を計測するので、モーションブラーが示す変位量に対応する画素当たりの長さ換算値［ｍｍ／画素］から実際に移動した長さ［ｍｍ］が得られる。

好ましい構成として、前記対向面撮影部は、複数のカメラを有し、前記１つの撮影部は、前記対向面撮影部を構成するカメラのうちの１つのカメラである。
このような構成によれば、ステレオカメラ等の単眼カメラ以外のカメラを対向面撮影部として利用でき、ステレオカメラから得られる対向面までの距離を用いて、画素あたりの長さ換算値の算出に利用することができる。

好ましい構成として、前記計測部は、前記複数のカメラがそれぞれ相違する撮影条件で撮影した複数の前記対向面画像のうちから、速度ベクトルの計測に適した対向面画像を選択して速度ベクトルを計測する。

このような構成によれば、より高い精度で速度ベクトルの計測が行えるようになる。
好ましい構成として、前記計測部は、前記複数のカメラのうちの一方のカメラの撮影タイミングが他方のカメラの撮影タイミングに含まれることを条件にそれぞれ相違する撮影条件で撮影するとともに、空間的に同一の領域を切り出した２つの対向面画像を有し、前記移動体の速度ベクトルを、前記２つの対向面画像に対応する２つのモーションブラーの向きと大きさの逆数の差と、前記２つの対向面画像に対応する２つの露光時間の差とに基づいて求める。

このような構成によれば、一方のカメラの撮影タイミングが他方のカメラの撮影タイミングに含まれることを条件にする２つ以上の露光時間により、路面模様の空間周波数特性に左右されずに得られたモーションブラーに基づいて速度計測できる。つまり、一方のカメラの撮影タイミングが他方のカメラの撮影タイミングに含まれることを条件にすることで、撮影される画像の同一性が高まるので、対向面の模様に対する考慮をしなくても、複数のカメラでそれぞれ露光時間を変えた画像のモーションブラーから速度、瞬間加速度等を求めることができる。

好ましい構成として、前記対向面画像の所定の観測点をトラッキングすることで速度ベクトルを計測するトラッキング部をさらに備え、前記計測部は、前記トラッキング部による速度ベクトルの計測限度を超える速度領域において、前記トラッキング部に代わって前記移動体の速度ベクトルを計測する。

このような構成によれば、カメラを使用して速度を計測することのできる速度範囲を広げることができる。また、速度に適切な計測技術を選択することにより、速度計測における精度を高く維持することが可能になる。

この発明によれば、簡単な撮影条件で撮影された撮影画像に基づいて対象物の状態を計測することができる。

状態計測装置の第１の実施形態を示すブロック図。 同実施形態において、車両におけるカメラの配置を示す側面図。 同実施形態において、車両におけるカメラの配置を示す正面図。 同実施形態において、所定の露光時間で撮影された撮影画像であって、（ａ）は車両が停止しているときの画像、（ｂ）は車両が走行しているときの画像。 同実施形態において、２次元ＦＦＴの演算結果を説明する図であって、（ａ）は周波数成分の分布の一例を示す図、（ｂ）は演算結果を調整する前の周波数成分の分布を示す図、（ｃ）は演算結果を調整した後の周波数成分の分布を示す図。 同実施形態において、２次元ＦＦＴの演算結果を説明する図であって、（ａ）は車両が停止しているときの周波数成分の分布の図、（ｂ）は車両が走行しているときの周波数成分の分布の図。 同実施形態において、車速を計測する手順を示すフローチャート。 状態計測装置の第２の実施形態において、２次元ＦＦＴ処理の演算結果を説明する図であって、（ａ）は走行している車両の周波数成分の分布の図、（ｂ）は露光時間の調整により（ａ）の周波数成分の分布を円形に近い周波数成分の分布にしたときの図。 同実施形態において、露光時間の調整を行う手順を示すフローチャート。 状態計測装置のその他の実施形態を示す図であって、単眼カメラで速度計測を行う手順を示すフローチャート。 状態計測装置のその他の実施形態において、路面までの距離を考慮して単眼カメラで速度計測を行う手順を示すフローチャート。 状態計測装置のその他の実施形態を示す側面図。 状態計測装置のその他の実施形態を示す車両におけるカメラの配置を示す図であって、（ａ）は側面図、（ｂ）は正面図。 状態計測装置のその他の実施形態を示す車両におけるカメラの配置を示す図であって、（ａ）は側面図、（ｂ）は正面図。

（第１の実施形態）
図１～図７を参照して、状態計測装置の第１の実施形態について説明する。本実施形態の状態計測装置は、移動体に用いられる状態計測装置である。本実施形態の移動体は、自動車等の車両１０である。

図１に示すように、車両１０は、当該車両１０の車両状態を計測する状態計測装置１を備えている。車両状態としては、車両１０が停止又は走行している路面１００（図２参照）に対する車両１０の速度（以下、車速と記す）、及び車両１０の位置、加速度、旋回等の少なくとも１つが挙げられる。本実施形態では、車両状態は車速であり、対向面は路面１００（図２参照）から構成される。

車両１０は、ＧＰＳ（グローバルポジショニングシステム）アンテナ２０、ステレオカメラ２１、及び車載制御装置２５を備える。車載制御装置２５は、信号処理部３０、記憶部３４及び出力部４０を備える。

ＧＰＳアンテナ２０は、複数のＧＰＳ衛星が送信するＧＰＳ信号を受信する。ＧＰＳアンテナ２０は、受信したＧＰＳ信号を信号処理部３０に送信する。ＧＰＳ信号には、ＧＰＳアンテナ２０の現在の緯度、経度、ＧＰＳ誤差及び測位時刻を取得可能な情報が含まれている。

図２及び図３に示すように、ステレオカメラ２１は、２つのカメラで対象物を撮影することに基づいて撮影対象までの距離を計測する撮影機器である。本実施形態では、ステレオカメラ２１は、車両１０が停止又は走行している路面１００を撮影するとともに、路面１００までの距離（高さ）を計測する。具体的には、対向面撮影部としてのステレオカメラ２１は、いわゆるパッシブ型であって、視差をもつように車両１０の幅方向にカメラ間隔を空けて配置された第１カメラ２２及び第２カメラ２３を有している。第１カメラ２２及び第２カメラ２３は、車両１０に取り付けられた位置から路面１００を撮影可能であり、例えばＣＣＤカメラやＣＭＯＳカメラである。

図１に示すように、第１カメラ２２及び第２カメラ２３は、路面１００を撮影する露光量を規定するパラメータ２２Ｇ，２３Ｇを記憶する記憶部をそれぞれ備える。露光量を規定するパラメータ２２Ｇ，２３Ｇには、可変減光フィルタの度合い、絞り（Ｆ値）、シャッター速度、及び、アナログゲイン（感度）、フレームレートのうちの少なくともシャッター速度を含む１つ以上のパラメータと、その設定値とが含まれている。ステレオカメラ２１は、第１カメラ２２で第１カメラ画像を撮影し、第２カメラ２３で第２カメラ画像を撮影する。ステレオカメラ２１は、第１カメラ画像と第２カメラ画像とに重複して撮影された範囲の視差に基づいて撮影された路面１００（図２参照）までの距離を計測し、計測された距離情報を撮影画像に対応付ける。

図２及び図３に示すように、走行中の車両１０は、上下に振動するため、路面１００とステレオカメラ２１との間の距離が逐次変動する。そこで、路面１００とステレオカメラ２１との距離を逐次算出し、この算出した距離を撮影画像に対応させ、この距離に基づいて撮影範囲におけるスケールとしての１画素の長さ（ピクセル当たりの路面１００の実際の長さ）を規定してもよい。

第１カメラ２２及び第２カメラ２３は、路面１００に対して略垂直方向から撮影可能なように車両１０の後部に設けられ、車両１０から略垂直方向下方となる路面１００を撮影する。また、第１カメラ２２及び第２カメラ２３は、車両１０の幅方向に所定のカメラ間隔を有している。また、第１カメラ２２及び第２カメラ２３は、それらの光軸が互いに平行になるように設けられている。ステレオカメラ２１は、路面１００の撮影画像である第１カメラ画像と第２カメラ画像とそれら画像に対応付けられている距離情報を信号処理部３０（図１参照）に送信する。

図１に示すように、車載制御装置２５は、ＣＰＵ、ＲＯＭ、ＲＡＭ、その他の記憶装置を有するコンピュータを含み構成されている。記憶部３４は、その他の記憶装置の少なくとも一部から構成されている。車載制御装置２５は、ＲＯＭや記憶部３４に記憶されているプログラムをＣＰＵで演算処理することにより、所定の処理を行う。本実施形態では、ＲＯＭや記憶部３４に記憶されているプログラムをＣＰＵで演算処理することにより、信号処理部３０、及び出力部４０のそれぞれに必要とされる各演算処理を実行する。

記憶部３４は、信号処理部３０からのデータの読み出しや、書き込みが可能に構成されている。記憶部３４は、信号処理部３０で実行されるプログラムや、第１カメラ２２や第２カメラ２３に設定するパラメータ２２Ｇ，２３Ｇの設定値や、ステレオカメラ２１から送られた第１カメラ画像や第２カメラ画像等を記憶している。

信号処理部３０は、車両状態として車速を算出するが、走行位置や加速度、旋回を算出してもよい。信号処理部３０は、ＧＰＳアンテナ２０から取得したＧＰＳ信号に基づいて走行位置や車速を算出するＧＰＳ車速算出部３１と、ステレオカメラ２１から取得した路面１００の撮影画像に基づいて車速を算出する画像車速算出部３２とを備える。本実施形態では、ＧＰＳ信号に基づいて算出された車速がＧＰＳ車速である。

ＧＰＳ車速算出部３１は、ＧＰＳ信号に基づいて車両１０の現在位置を計測する。具体的にはＧＰＳ車速算出部３１は、車両１０の位置情報として緯度及び経度を算出する。
また、ＧＰＳ車速算出部３１は、ＧＰＳ信号に基づいて車速を計測する。本実施形態では、高精度に車速が計測される構成の一例として、ＧＰＳ車速算出部３１は、ＧＰＳ衛星から出力されている搬送波のドップラー効果から車速を求める。

また、ＧＰＳ信号に基づいて車速や旋回を計測する一態様として、算出した緯度、経度及び経過時間に基づいて計測する技術もある。
画像車速算出部３２は、路面１００の撮影画像に基づいて車速を計測する。路面１００の撮影画像に基づいて算出された車速を画像車速とする。さらに詳述すると、画像車速算出部３２は、観測位置のトラッキングに基づき計測される車速である複画像車速を算出するトラッキング部としての複画像車速算出部３２２と、撮影画像のモーションブラーに基づいて計測される車速である単画像車速を算出する計測部としての単画像車速算出部３２１とを備える。トラッキングは、撮影タイミングの相違する２つの画像において同一位置を検出することであり、撮影タイミングの間に移動した移動量を取得可能にする。モーションブラーは、いわゆる画像に生じたぶれであり、画像上の所定の位置が、露光開始タイミングから露光終了タイミングまでの間に画像上に移動軌跡として写ったものである。

複画像車速算出部３２２は、所定の撮影間隔で撮影された２つの画像における観測位置をトラッキングして得られた移動距離に基づいて複画像車速を計測する。
単画像車速算出部３２１は、所定の露光時間で撮影された１つの画像に含まれるモーションブラーの大きさに基づいて単画像車速を計測する。

路面１００の撮影画像には、第１カメラ画像及び第２カメラ画像の少なくとも一方が含まれる。なお、複画像車速算出部３２２及び単画像車速算出部３２１は、いずれも車速を、第１カメラ画像、又は第２カメラ画像のいずれか一方の画像から算出できるので、ここでは説明の便宜上、第１カメラ画像に基づいて車速を計測する場合を例示する。

複画像車速算出部３２２は、アスファルト舗装された路面１００を、第１カメラ２２で撮影するとともに、撮影間隔に対応する時間間隔を有する２枚の第１カメラ画像を取得する。複画像車速算出部３２２は、取得した２枚の第１カメラ画像に含まれる同一の観測位置をトラッキングして撮影間隔の間に移動した距離を取得して車速を算出する。すなわち、撮影間隔だけ時間の相違する２枚の第１カメラ画像において、同一の観測位置が移動した距離と、前記撮影間隔との商に基づいて車速が計測される。複画像車速算出部３２２では、撮影間隔の間に車両１０が実際に移動した距離は、第１カメラ画像上で移動した距離（画素数）と、下式（１）に示される１画素当たりの実際の長さとの積によって求められる。

単画像車速算出部３２１は、例えばアスファルト舗装された路面１００を、所定の露光時間に設定された第１カメラ２２で撮影して１枚の第１カメラ画像Ｐ１１（又は第１カメラ画像Ｐ１２）（図４（ａ），（ｂ）参照）を取得する。例えば、停止しているアスファルトの路面１００の模様の粒度分布はどちらの向きにも同様である。単画像車速算出部３２１は、取得した１枚の第１カメラ画像Ｐ１１（又は第１カメラ画像Ｐ１２）に含まれる路面１００の模様に着目し、当該着目した模様の有するモーションブラーの大きさを取得することに基づいて車速を算出する。すなわち、所定の露光時間において第１カメラ画像Ｐ１１（又は第１カメラ画像Ｐ１２）に生じた、車両１０の移動方向に対するモーションブラーの大きさで車速が計測される。単画像車速算出部３２１では、所定の露光時間の間に車両１０が実際に移動した距離は、第１カメラ画像上での移動方向に対するモーションブラーの大きさ、具体的には、進行方向に対するモーションブラーの長さ（画素数）と、式（１）に示される１画素当たりの実際の長さとの積によって求められる。

まず式（１）について説明する。２つの撮影位置（間隔は既知）に２つのカメラが配置されているとき、注目している同一領域までの距離ｄは、２つのカメラがそれぞれ撮影した２つのカメラ画像から求められる。具体的には、２つのカメラ間の基線（単に２つのカメラ同士を結んだ線）の長さと、カメラ画像において注目している同一領域に対する一方のカメラの主光線の角度αと、他方のカメラの主光線の角度βとから基線に対する距離ｄを得る。また、カメラの画角をθ、画像一辺の画素数Ｑとすれば、前記基線に対する距離ｄとともに１画素当たりの実際の長さ、すなわち長さ換算値ｓ［ｍｍ／画素］が式（１）で求められる。

ｓ＝２ｄ／Ｑ・ｔａｎ（θ／２）…（１）
なお、画像車速算出部３２の複画像車速算出部３２２による車速計測では、２枚の第１カメラ画像の両方に同一の観測領域が含まれる必要がある。車速が低ければ、両方に含まれる同一領域は多くなり、逆に、車速が高ければ、両方に含まれる同一領域が少なくなる。また、撮影間隔は、カメラ性能や処理能力の制約により最短間隔が定まる。よって、車速が高くなることで２つの第１カメラ画像Ｐ１１，Ｐ１２での重複範囲が減少し、車速の計測精度が低下するおそれがある。仮に、重複範囲がなくなる程度に車速が高くなると車速を計測することができなくなる。

そのようなとき、単画像車速算出部３２１による速度計測が行われる。つまり、信号処理部３０は、画像車速算出部３２における速度計測を、複画像車速算出部３２２による速度計測と、単画像車速算出部３２１による速度計測との間で切り替えることができる。すなわち、単画像車速算出部３２１が速度計測に用いる第１カメラ画像を撮影するときのシャッター速度は、複画像車速算出部３２２が速度計測に用いる２枚の第１カメラ画像を撮影するときの撮影間隔よりも短時間の現象（変位）を捉えることができる。

また、信号処理部３０は、ＧＰＳ車速算出部３１が算出したＧＰＳ車速と、複画像車速算出部３２２による画像車速と、単画像車速算出部３２１による画像車速とのうち、いずれか１つの車速を選択する切替部３５を備える。

切替部３５は、所定の選択条件に基づいていずれか１つの車速を選択してもよいし、運転者等の指示に基づいていずれか１つの車速を選択してもよい。切替部３５は、ＧＰＳ車速が選択されない条件下においては、所定の切替速度までは複画像車速算出部３２２による画像車速の計測を行い、所定の切替速度を超えると単画像車速算出部３２１による画像車速の計測を行うようにしてもよい。また例えば、切替部３５は、複画像車速算出部３２２による速度の計測精度が低下する速度領域において、単画像車速算出部３２１による画像速度の計測を行ってもよい。

出力部４０は、切替部３５で選択された車速を外部へ出力する。なお、出力部４０から出力される画像車速は、車両１０の実路走行における走行評価の結果として測定装置に記憶されてもよい。また、表示装置等を介して車速を表示してもよい。

本実施形態の画像車速算出部３２は、複画像車速算出部３２２によるトラッキングができないとしても、精度及び連続性を維持しつつ、画像車速を出力できる。
そこで、図１及び図４～図８を参照して、車載制御装置２５が画像車速算出部３２の単画像車速算出部３２１で単画像車速を計測する態様について説明する。

まず、図１に示すように、信号処理部３０は、ステレオカメラ２１の各カメラのパラメータ２２Ｇ，２３Ｇを設定するパラメータ設定部３３を有している。各パラメータ２２Ｇ，２３Ｇは、可変減光フィルタの度合い、絞り、シャッター速度、フレームレート、及び、アナログゲインを含んでいる。例えば、パラメータ設定部３３は、第１カメラ２２及び第２カメラ２３の露光量を、第１カメラ２２のパラメータ２２Ｇと、第２カメラ２３のパラメータ２３Ｇとでそれぞれ設定できる。また、第１カメラ２２及び第２カメラ２３に、車速に対応したシャッター速度を優先的に定める場合、可変減光フィルタの度合い、絞り、フレームレート、アナログゲインを調整することでカメラの露光量を調整する。

一般的に、露光量は、シャッター速度と絞りとの関係により定まるので、当該関係に基づいて、必要な露光量の得られる絞りが選択される。同様に、露光量は、シャッター速度とアナログゲインとの関係によっても定まるので、当該関係に基づいて、２つのカメラの露光量が適正になるアナログゲインを選択する。以上のことにより、露光量は、シャッター速度とアナログゲインと絞りとの関係によっても定まるので、当該関係に基づいて、２つのカメラの露光量が適正になるアナログゲインと絞りとを選択してもよい。

そして、パラメータ設定部３３は、選択したシャッター速度とアナログゲインと絞りとフレームレートとをそれぞれ第１カメラ２２のパラメータ２２Ｇ及び第２カメラ２３のパラメータ２３Ｇに設定する。単画像車速算出部３２１による速度計測を行う場合、パラメータ設定部３３は、モーションブラーの大きさを大きくするとき、露光時間を相対的に長くする。また、パラメータ設定部３３は、車両１０の速度が高くなることに比例して露光時間を相対的に短くする。なお、複画像車速算出部３２２により車速を計測するために略静止画を撮影するときのシャッター速度に比べて、単画像車速算出部３２１により車速を計測するためのモーションブラーを含む画像を撮影するときのシャッター速度は低速にしなければならない。単画像車速算出部３２１によれば、シャッター速度が高速である高価なカメラに比べて、シャッター速度が相対的に低速な汎用的で安価なカメラを利用しても画像車速を計測できる。

よって、ステレオカメラ２１は、パラメータ２２Ｇ，２３Ｇに設定された撮影条件に基づいて第１カメラ２２で第１カメラ画像を、第２カメラ２３で第２カメラ画像をそれぞれ撮影する。なお、以下では、第１カメラ２２で撮影した第１カメラ画像に基づいて車速を算出する場合について示し、第２カメラ２３で撮影した第２カメラ画像に基づいて車速を算出する場合についての例示は割愛する。

図４（ａ），（ｂ）を参照して、撮影条件が所定のシャッター速度に設定された第１カメラ２２によって撮影された路面１００について説明する。ここでは、路面１００の輝度に対して第１カメラ２２の露光量は適正であるものとする。

図４（ａ）は、車両１０が停止中（相対速度ベクトルの大きさが０）のとき第１カメラ２２によって撮影された路面１００の画像である第１カメラ画像Ｐ１１を示している。図４（ｂ）は、車両１０が走行中（相対速度ベクトルの大きさが０ではない）のとき第１カメラ２２によって撮影された路面１００の画像である第１カメラ画像Ｐ１２を示す。以下では、相対速度ベクトルを速度ベクトルと記す。停止中の第１カメラ画像Ｐ１１は、路面１００の画像にモーションブラーは生じておらず、走行中の第１カメラ画像Ｐ１２は、路面１００の画像にモーションブラーが生じている。そして、停止中の第１カメラ画像Ｐ１１や、走行中の第１カメラ画像Ｐ１２のモーションブラーの大きさが２次元ＦＦＴ処理で算出される。

図５を参照して、第１カメラ画像に対する２次元ＦＦＴ処理について説明する。
時間領域の画像データを周波数領域で表現するには、離散的フーリエ変換（ＤＦＴ：Discrete Fourier Transform）、あるいは高速フーリエ変換（ＦＦＴ：Fast Fourier Transform）を用いて演算することになる。２次元データに対するＦＦＴは、いわゆる２次元ＦＦＴ処理であって、２次元信号を、（ｘ，ｙ）空間から（ｕ，ｖ）空間へ変換するアルゴリズムで、式（２）で表される。

画像は２次元信号であることから、周波数領域で考えたとき、水平方向と垂直方向の２つの周波数成分を有する。そこで、画像にＦＦＴ処理を行うには、１次元ＦＦＴを横方向に行い、次に、１次元ＦＦＴを縦方向に行う、つまり、２次元ＦＦＴ処理を行う。これにより、水平周波数をｕ、垂直周波数をｖとして、図５（ａ）に示す２次元ＦＦＴ処理を行う前の画像から、図５（ｃ）のような空間周波数スペクトルを得ることができる。このとき、もとの２次元信号には、いわゆる窓関数を掛けることでギブズ現象の影響を抑制してもよい。

詳述すると、図５（ａ）に示す２次元ＦＦＴ処理を行う前の画像に２次元ＦＦＴ処理を行うと、まず、図５（ｂ）に示すような空間周波数スペクトルを得ることができる。また、画像においては、図５（ｂ）を４つの領域「Ａ」，「Ｂ」，「Ｃ」，「Ｄ」に分割し、図５（ｃ）のように４つの領域を再統合することで、空間周波数スペクトルの中心付近が低周波成分、中心から離れるに従って高周波成分となるスペクトルが得られる。この再統合は、周波数領域でのフィルタ処理を行う際に便利である（ハイパスやローパスフィルタをＤＣ成分中心の円形で表現できる）からであり、また、分散共分散行列を用いた処理にも役に立つ。こうして再統合された空間周波数スペクトルは、大まかな模様の画像や濃淡の変化が緩やかな画像については、高い空間周波数成分が減り、逆に、細かい模様の多い画像や濃淡の変化が急な画像については、高い空間周波数成分が増える。

図６（ａ）に示すように、停止時の路面１００の第１カメラ画像Ｐ１１（図４（ａ）参照）に対する２次元ＦＦＴ処理の結果は、空間周波数スペクトルの中心から等方的に広がる（等高断面が円形状をなす）スペクトルとなる。詳述すると、路面１００のアスファルトの粒度はｕ、ｖ軸に関して略ｓｉｎｃ関数に沿う分布であることが期待される。これにより、アスファルトの画像のスペクトルは等方的な分布となり、２次元スペクトルに対し一定強度を超える点群を包含する形状は、進行方向に対する直径Ｌ１と、進行方向に直交する方向に対する直径Ｗ１とが略等しくなる。ここで、基になる点群は、いわゆるメインローブの分布形状のみを得る必要があるため、ＤＣ成分に対して小さすぎない強度（１／２程度）によって抽出する。そして、２次元スペクトルに対し一定強度を超える点群を包含する形状とは、周波数成分の分布から一定強度を超える点群を抽出し、この点群の集まりを領域抽出して得られる領域であって、換言すると、２次元スペクトルから得られた一定強度を超える点群の集まる抽出領域である。

図６（ｂ）に示す、走行時の路面１００の第１カメラ画像Ｐ１２（図４（ｂ）参照）に対する２次元ＦＦＴ処理の結果は、空間周波数スペクトルの一定強度を超える点群が中心付近に楕円状に集まるスペクトルとなる。楕円形は、進行方向に短径Ｌ２、直交方向に長径Ｗ２を有する。詳述すると、路面１００のアスファルトの粒度はｕ、ｖ軸に関して略ｓｉｎｃ関数に沿う分布であるが、進行方向にモーションブラーの掛かったアスファルト画像のスペクトルは、進行方向の低周波数成分の分布領域の短径Ｌ２が、直交方向の周波数成分の分布領域の長径Ｗ２に比べて短くなる。

実走行時のアスファルトの模様を２次元ＦＦＴ処理し、一定強度を超える点群を得た結果は、楕円状に分布することが期待される。その楕円形の長径及び短径は、以下の手順１～５で得られる。

手順１：２次元周波数スペクトルを閾値で２値化
手順２：点群に対して２×２の分散共分散行列Σを計算
手順３：分散共分散行列Σの固有値を算出
手順４：２つの固有値から長径と短径の大きさを算出
手順５：短径に対応する固有値から分散共分散行列Σの固有ベクトルを算出
あるいは、楕円形の長径及び短径は、手順１～５に代えて以下の代替手段で得られる。

代替手段：２次元周波数スペクトルをある閾値で２値化した分布領域に対して、外接する楕円形でフィッティングし、フィッティングした楕円形の長径及び短径を取得
なお、手順１では、３次元情報となる２次元ＦＦＴの結果を、２次元点群情報へ変換することで楕円形状を取得しやすいようにしている。手順４では、例えば、固有値の逆数の平方根を２倍して長径と短径の大きさを得るようにしてもよい。

得られた長径の逆数と短径の逆数との「差」を算出し、算出した「差」に対して、二値化した閾値に応じたスケール係数と画素当たりの実距離に換算する係数とをかけることで、変位を得ることができる。より具体的には、予め用意したテーブルや式から２次元スペクトルを二値化した閾値に応じたスケール係数と、第１カメラ２２から路面１００までの距離に応じて変化する画素当たりの長さ換算値ｓ［ｍｍ／画素］とをかけた値が、合成換算係数として取得される。つまり、速度ベクトルは、大きさを単位時間あたりの変位、向きを短径に対応する固有ベクトルの方向として得ることができる。なお、第１カメラ２２の光軸と路面１００とが直交せず、傾いている場合、２次元周波数スペクトルの一定強度を超える点群を包含する分布が円形から楕円形に変形する。そこで、計測開始前に、２次元周波数スペクトルの一定強度を超える点群を包含する分布が円形からどれだけずれているか取得して補正量を算出し、この算出した補正量で、その後、周波数成分の分布形状を補正してもよい。

（車速計測の動作）
図７を参照して、状態計測装置１における車速計測の動作について説明する。状態計測装置１は、車速の計測を、車両１０のエンジンが始動されたことや、状態計測装置１のスタートボタンが押されたこと等で計測可能になると開始し、状態計測装置１のストップボタンが押されたことや、車両１０のエンジンが停止されたこと等、計測不可能な状態になることで終了する。ここでは、説明の便宜上、車載制御装置２５は、単画像車速算出部３２１の計測した「画像車速」のみを選択するものとする。車載制御装置２５は、単画像車速算出部３２１で「画像車速」を一定周期で算出するとともに、算出された「画像車速」は常に取得可能であるものとする。よって、複画像車速算出部３２２が計測する「画像車速」、及び、「ＧＰＳ車速」についての説明は割愛する。

車速の計測が開始されると、状態計測装置１は、ステレオカメラ２１の第１カメラ２２で撮影した第１カメラ画像Ｐ１１及び第２カメラ２３で撮影した第２カメラ画像を取得する（ステップＳ１０）。第１カメラ２２及び第２カメラ２３はそれぞれ、路面１００に適切な大きさのモーションブラーが生じるように設定された所定の露光時間で第１カメラ画像及び第２カメラ画像を撮影する。状態計測装置１は、撮影した第１カメラ画像Ｐ１１及び第２カメラ画像をステレオカメラ２１から信号処理部３０に入力し、同じ撮影タイミングで撮影された画像であることが識別可能な状態で記憶部３４に記憶する。

画像車速算出部３２は、単画像車速算出部３２１で速度計測を行うため、第１カメラ画像Ｐ１１や第２カメラ画像について前処理を行う（ステップＳ１３）。前処理は、各カメラ画像を２次元ＦＦＴ処理に適した状態にする処理であり、例えば、ゲイン調整、歪み補正、ビニング、及び、２のべき乗サイズへのトリミング等の処理である。画素数が２のべき乗であるカメラ画像は２次元ＦＦＴ処理を効率よく演算できる。

また、状態計測装置１の画像車速算出部３２は、入力された第１カメラ画像Ｐ１１及び第２カメラ画像から、ステレオカメラ２１と路面１００との間の距離を算出する（ステップＳ１１）。

また、画像車速算出部３２は、第１カメラ画像Ｐ１１と第２カメラ画像とのうちから車速計測に利用するカメラ画像として第１カメラ画像Ｐ１１を選択する（ステップＳ１２）。このとき、第１カメラ画像Ｐ１１と第２カメラ画像とのうちから、コントラストの弱い等の所定の条件で一方の画像が選択されるようにしてもよい。ここで、第１カメラ画像Ｐ１１が選択される。

画像車速算出部３２は、前処理された第１カメラ画像Ｐ１１について、単画像車速算出部３２１で２次元ＦＦＴ処理を行う（ステップＳ１４）。
画像車速算出部３２は、２次元ＦＦＴ処理して得られた第１カメラ画像Ｐ１１の空間周波数スペクトルについて楕円形状決定を行う（ステップＳ１５）。楕円形状決定には、分散共分散行列の主軸問題を解く処理が含まれ、低周波数成分の点群分布領域を楕円形とみなしたときの長径と短径、及び短径の方向が得られる。

画像車速算出部３２は、楕円形状決定で得られた楕円形の長径と短径、及び短径の方向に基づいて速度ベクトルを算出する（ステップＳ１６）。例えば、長径の逆数と短径の逆数との「差」（画素数）に対して、二値化した閾値に応じたスケール係数と、実距離に変換する係数［ｍｍ／画素］との積を求め、さらに、露光時間との商から車速を算出する。

続いて、車載制御装置２５は車速計測の終了条件が成立しているか否かを判定する（ステップＳ１７）。車速計測の終了条件は、状態計測装置１のストップボタンが押されたこと、車両１０のエンジンが停止されたこと等に基づいて判定される。車速計測の終了条件が成立しないと判定された場合（ステップＳ１７でＮＯ）、車載制御装置２５は、状態計測装置１の処理をステップＳ１０に戻して、ステップＳ１０に続く車速計測の処理を実行する。一方、車速計測終了の条件が成立すると判定された場合（ステップＳ１７でＹＥＳ）、状態計測装置１の車速計測の処理が終了される。

以上説明したように、本実施形態によれば、以下に記載する効果が得られる。
（１）所定の撮影タイミングで路面１００を撮影した１つの第１カメラ画像に生じるモーションブラーに基づいて車両１０の路面１００に対する相対速度ベクトルを計測できる。１つの第１カメラ画像から相対速度ベクトルを計測できることから、撮影タイミングの相違する複数の第１カメラ画像を要する場合に比べて、撮影の制約が少なくなり撮影が容易になる。つまり、構造が簡単である安価なカメラで実現可能な撮影条件での計測上限の拡張が可能になる。

また、１つの第１カメラ画像全体に現れる現象から車速の速度ベクトルの計測を行うので、複数の第１カメラ画像から車速の速度ベクトル計測を行う場合に比べて、路面上に現れるアスファルト以外の物体に影響されにくい。

（２）２次元ＦＦＴ処理により得られる２次元空間周波数成分の分布に基づいてモーションブラーの方向と大きさとが得られる。具体的には、アスファルトのように等方的な周波数成分の分布に対して一定強度を超える点群を包含する形状の低周波数側への圧縮方向と幅とに基づいて、モーションブラーの方向と大きさとから速度ベクトルが求められる。そして、モーションブラーの方向と大きさとから移動方向と車速とが求められる。

（３）速度に起因するモーションブラーによって速度方向に沿う空間周波数スペクトルは低周波数側にシフトする。このため、２次元ＦＦＴ処理から得られる周波数成分の分布から得られた一定強度を超える点群の集まりが抽出された抽出領域について、抽出領域の最小幅をとる方向を移動方向として取得することができる。また、抽出領域の移動方向に対する長さの逆数と直交方向に対する長さの逆数との差に基づいて、モーションブラーの方向と大きさとが求められる。そして、モーションブラーの方向と大きさから速度ベクトルを算出できる。

（４）モーションブラーの方向と大きさとを、周波数成分を低周波数成分としたときの抽出領域にフィッティングされた楕円から算出できる。
（５）速度と移動方向が、低周波数成分の抽出領域にフィッティングされた楕円に基づいて算出される。

（６）画素数が２のべき乗である対向面画像によって２次元ＦＦＴ処理を効率よく演算できる。
（７）車両１０と路面１００との間の距離を計測するので、モーションブラーが示す変位量に対応する、画素当たりの長さ換算値ｓ［ｍｍ／画素］が得られる。

（８）ステレオカメラ等の単眼カメラ以外のカメラを対向面撮影部として利用でき、ステレオカメラから得られる対向面までの距離を用いて、画素あたりの長さ換算値ｓの算出に利用することができる。

（第２の実施形態）
以下、図８及び図９を参照して、状態計測装置の第２の実施形態について説明する。この実施形態の状態計測装置は、低周波数成分の分布領域をフィッティングした楕円形の長径及び短径の「比」に基づいてシャッター速度を設定する機能を有する点が上記第１の実施形態と相違する。以下、第１の実施形態との相違点を中心に説明する。また、説明の便宜上、同様の構成については同じ符号を付し、説明を割愛する。

第１カメラ２２のシャッター速度が一定の速さ（所定の露光時間）の状態で、車両１０の速度が低くなると路面１００のモーションブラーは小さくなり、逆に、車両１０の速度が高くなると路面１００のモーションブラーは大きくなる。所定の露光時間において、路面１００のアスファルトの模様がほとんど移動しないとき、長径と短径との「比」が１に漸近するので、２次元ＦＦＴ処理による車速測定の精度（分解能）が低下する。また、例えば、所定の露光時間において、路面１００のアスファルトの模様のモーションブラーが、２次元ＦＦＴ処理に利用される第１カメラ画像の範囲を超える場合、適切なモーションブラーの大きさが得られないために車速の計測精度が第１カメラ画像の範囲を超えるモーションブラーの割合増加に応じて低下する。

速度が高くなると、アスファルト面の画像のスペクトルは、進行方向の低周波数成分の点群分布領域の短径Ｌ３が小さくなり、進行方向に直交する直交方向の低周波数成分の分布領域の長径Ｗ３との「比」が大きくなる。一方で、長径及び短径の「比」が大きくなると、モーションブラーの全長をカメラ画像内に捉えられる割合が減るため、速度の算出において精度が低下する。

そこで、図８（ａ）に示すように、本実施形態の調整部としてのパラメータ設定部３３（図１参照）は、進行方向における楕円形の短径Ｌ３と長径Ｗ３との比が、所定の下限値未満となると、シャッター速度を速くし、モーションブラーを小さくする。これにより、図８（ｂ）に示すように、楕円形の短径Ｌ４と長径Ｗ３との比が「１」に近くなる。これによって、速度変化に対する短径の計測精度は、低下が抑制される。例えば、楕円の短径が長径の１／３になったら、楕円の短径が長径の２／３に戻るように露光時間（シャッター速度）を調整する。

逆に、図８（ｂ）に示すように、パラメータ設定部３３（図１参照）は、進行方向における楕円形の短径Ｌ４と長径Ｗ４との比のように、所定の上限値より大きくなることに応じて、シャッター速度を遅くし、モーションブラーを大きくする。これにより、図８（ａ）に示すように、楕円形の短径Ｌ３と長径Ｗ３との比が大きくなる。これにより、速度の算出において精度が維持、又は、低下が抑制される。

つまり、楕円形の短径Ｌ３と長径Ｗ３との間の比が所定の上限値と所定の下限値との間である所定の範囲を大きい方向又は小さい方向に超えると露光時間が調節される。
（車速計測の動作）
図９を参照して、状態計測装置１における車速計測の動作について説明する。

車速の計測が開始されると、状態計測装置１は、第１カメラ２２で撮影した第１カメラ画像Ｐ１１及び第２カメラ２３で撮影した第２カメラ画像を取得し（ステップＳ１０）、取得画像から選択した第１カメラ画像Ｐ１１について前処理を行う（ステップＳ１３）。

画像車速算出部３２は、前処理した第１カメラ画像Ｐ１１について、単画像車速算出部３２１で２次元ＦＦＴ処理を行い（ステップＳ１４）、２次元ＦＦＴ処理して得られた第１カメラ画像Ｐ１１の空間周波数スペクトルについて楕円形状決定を行う（ステップＳ１５）。楕円形状決定により、低周波数成分の分布領域をフィッティングさせた楕円形の長径及び短径を得る。そして、画像車速算出部３２は、楕円形状決定で得られた楕円形の長径及び短径に基づいて速度ベクトルを算出する（ステップＳ１６）。

また、画像車速算出部３２のパラメータ設定部３３は、長径と短径との比に基づいて、シャッター速度を調整する。また、調整したシャッター速度を優先にその他の撮影条件も調整するカメラパラメータの制御（ステップＳ１８）を行う。カメラパラメータの制御は、シャッター速度、可変減光フィルタの度合い、絞り、フレームレート、アナログゲインの制御を含んでいる。カメラパラメータは、第１カメラ２２及び第２カメラ２３のパラメータ２２Ｇ，２３Ｇにそれぞれ設定され、次回、又は、調整の間に合う撮影に反映される。

続いて、車載制御装置２５は車速計測の終了条件が成立しているか否かを判定し（ステップＳ１７）、車速計測の終了条件が不成立と判定された場合（ステップＳ１７でＮＯ）、車速を計測する処理を実行する一方、車速計測の終了条件が成立と判定された場合（ステップＳ１７でＹＥＳ）、車速を計測する処理が終了される。

以上説明したように、本実施形態によれば、第１の実施形態の（１）～（８）に記載の効果に加え、以下に記載の効果を奏することができる。
（９）モーションブラーが大きくなったとき、パラメータ設定部３３によってモーションブラーが小さくなるように露光時間が調整され、２次元ＦＦＴ処理によって検知できる範囲にモーションブラーの大きさが抑えられる。逆に、モーションブラーが小さくなったとき、パラメータ設定部３３によってモーションブラーが大きくなるように露光時間が調整され、周波数成分の分布において一定強度を超える点群楕円領域の短径と長径との比が適切な大きさに調整される。これらのことから、モーションブラーの大小が大きく変化したとしても、速度の計測精度の低下が抑制されるとともに、計測速度限界を適切に制御することができる。

（第３の実施形態）
状態計測装置の第３の実施形態について説明する。この実施形態の状態計測装置は、撮影条件が相違する第１カメラ画像Ｐ１１と、第２カメラ画像とに基づいて速度を測定する点が上記第１の実施形態と相違する。

ここで、撮影条件のうち、撮影開始タイミングは同時であり、シャッター速度が第１カメラ画像Ｐ１１では、例えば「１ｍｓ」、第２カメラ画像では、例えば「２ｍｓ」であるものとする。つまり、露光時間は、第１カメラ２２の撮影タイミングが第２カメラ２３の撮影タイミングに含まれることを条件としている。こうした条件であるため、撮影される第１カメラ画像と、第２カメラ画像との同一性が高まるので、２つのカメラ画像の撮影する対向面の模様に対する考慮をしなくても、２つのカメラ画像に基づいて比較可能なモーションブラーを取得することができる。

まず、単画像車速算出部３２１は、第１カメラ２２で撮影した１枚の第１カメラ画像Ｐ１１を取得し、第１カメラ画像Ｐ１１に含まれる路面１００の模様の有するモーションブラーの大きさを２次元ＦＦＴ処理により取得する。

また、単画像車速算出部３２１は、第２カメラ２３で撮影した１枚の第２カメラ画像を取得し、第２カメラ画像に含まれる路面１００の模様の有するモーションブラーの大きさを２次元ＦＦＴ処理により取得する。

このとき、第１カメラ画像Ｐ１１に基づくモーションブラーと、第２カメラ画像に基づくモーションブラーとは、同じ領域を含んでいる画像であるため、通常、周波数成分の分布において一定強度を超える点群楕円領域の長径にはほとんど違いは生じない。

一方、楕円領域の短径は、（ｘ、ｙ）空間の周波数成分の分布が等方的でなくても、例えば白線などが写っていても、短径同士を比較すれば、シャッター速度「０ｍｓ」（つまり、速度ゼロのとき）の短径である静止時短径を推定することができる。

例えば、静止時短径方向が速度ベクトル方向と一致している単純なケースにおいて、第１カメラ画像Ｐ１１に基づくモーションブラーは、短径が「１２ピクセル」、長径が「１３ピクセル」であり、第２カメラ画像に基づくモーションブラーは、短径が「１０ピクセル」、長径が「１３ピクセル」であるとするとき、静止時短径は式（３）で求められる。

静止時短径＝１２［ピクセル］＋（０［ｍｓ］－１［ｍｓ］）・（１２［ピクセル］－１０［ピクセル］）／（１［ｍｓ］－２［ｍｓ］）＝１４［ピクセル］…（３）
モーションブラーから速度を求める基本原理は、周波数成分の分布において一定強度を超える点群楕円領域の「長径の逆数－短径の逆数」をピクセル値に変換して得ることである。そこで、上述のようにゼロ速度の特性がわかっているのであれば、「短径（２ｍｓのとき）の逆数－短径（０ｍｓのとき）の逆数」で算出した値に、二値化した閾値に応じたスケール係数をかけたピクセル値に基づいて速度を算出することができる。

以上説明したように、本実施形態によれば、第１及び第２の実施形態の（１）～（９）に記載の効果に加え、以下に記載の効果を奏することができる。
（１０）同じタイミングで撮影を開始した第１カメラ画像Ｐ１１と第２カメラ画像とに基づいて速度を算出するので、路面模様に特別な特性（例えば、白線）があったとしても特別な特性も相殺されるので速度を適切に求めることができる。

（その他の実施形態）
なお上記実施形態は、以下の態様で実施することもできる。
・車載制御装置２５は、信号処理部３０や、切替部３５や、出力部４０の処理を実行するプログラムを有するパーソナルコンピュータ（ＰＣ）等であってもよい。

また、一旦、記憶部３４に記憶したカメラ画像に基づいて事後に車速を計測してもよい。
・上記各実施形態では、第１カメラ２２及び第２カメラ２３が記憶部にパラメータ２２Ｇ，２３Ｇを保持している場合を示した。これに限らず、車載制御装置からの信号操作が可能ならば、カメラにパラメータを保持する記憶部が備えられていなくてもよい。この場合、パラメータは車載制御装置に保持される。

・上記各実施形態では、車載制御装置２５の信号処理部３０にパラメータ設定部３３を設ける場合を示した。これに限らず、各カメラに適切なパラメータを予め設定できれば、車載制御装置の信号処理部にパラメータ設定部を設けなくてもよい。

一例として、第１カメラ２２のパラメータ２２Ｇと、第２カメラ２３のパラメータ２３Ｇとのパラメータを予め適切な値に設定できればよい。例えば、テストコース走行など、予め路面１００のテクスチャとその変動とが分かっているとき、パラメータに予め適切な値を設定し、パラメータ設定部３３により設定しなくてもよい。これにより、状態測定装置におけるパラメータに係る処理を軽減できる。

・信号処理部３０は、ＧＰＳ車速算出部３１を外部装置として有し、外部装置で計測した車速等を取得してもよい。例えば、外部装置としては、ＬＣ－８３００（小型高感度速度計、株式会社小野測器社製）等が挙げられる。これにより、画像車速（路面相対速度）とＧＰＳ車速（水平速度）とを利用し勾配を算出できる。

・上記各実施形態では、状態計測装置１は、ＧＰＳ車速算出部３１と画像車速算出部３２とを備える場合を示した。これに限らず、状態計測装置は、ＧＰＳ車速算出部を備えていなくてもよい。

・上記各実施形態では、所定の切替速度までは複画像車速算出部３２２による画像車速の計測を行い、所定の切替速度を超えると単画像車速算出部３２１による画像車速の計測を行う場合を示した。これに限らず、複画像車速算出部による画像車速の計測を行わず、単画像車速算出部による画像車速の計測のみを行ってもよい。

・上記各実施形態では、ステレオカメラ２１の第１カメラ２２と第２カメラ２３とのそれぞれの撮影条件が同一である場合を示した。これに限らず、第１カメラと第２カメラとのそれぞれの撮影条件を相違させてもよい。そして、２つのカメラがそれぞれ相違する撮影条件で撮影した複数の画像から、速度計測に適した画像を選択して車速を計測してもよい。これにより、環境変化に対する耐性を高めることができる、あるいは、より高い精度で速度ベクトルの計測が行えるようになる。

・上記各実施形態では、単画像車速算出部３２１の使用する第１カメラ画像がステレオカメラ２１の第１カメラ２２によって撮影される場合を示した。これに限らず、モーションブラーを有する画像を撮影できれば、カメラは単眼カメラであってもよい。

・上記第１の実施形態では、ステレオカメラ２１と路面１００との距離（高さ）を算出する場合を示した。これに限らず、ステレオカメラを用いて路面との距離を計測しなくてもよい。車両は走行に応じてステレオカメラと路面との距離に変動が生じるものの、その変動幅が少ないのであれば誤差も少なく抑えられるので、予め設定した距離に基づいて車速を計測してもよい。

また、上記第１の実施形態では、第１カメラ画像と第２カメラ画像との撮影条件が同じであれば、車速の計測に用いる画像を、予め第１カメラ画像及び第２カメラ画像の一方に定めてもよい。

例えば、図１０に示すように、車速の計測が開始されると、状態計測装置１は、第１カメラ２２で撮影した第１カメラ画像Ｐ１１及び第２カメラ２３で撮影した第２カメラ画像を取得し（図１０のステップＳ１０）、予め定められた一方の第１カメラ画像についてのみ前処理を行う（図１０のステップＳ１３）ようにしてもよい。すなわち、固定距離に基づいて処理する場合や他の装置から距離を取得する場合、図７に示す、ステレオカメラ２１と路面１００との間の距離を算出する（図７のステップＳ１１）ことと、第１カメラ画像Ｐ１１及び第２カメラ画像から車速計測に利用するカメラ画像を選択する（図７のステップＳ１２）こととを行わなくてもよい。

・上記第１の実施形態では、画像取得（図７のステップＳ１０）の後に距離算出（図７のステップＳ１１）を行う場合を示した。これに限らず、距離を算出してから、画像を取得してもよい。

例えば、図１１に示すように、まず、ステレオカメラ２１で距離を算出し、その後、車速計測用のカメラ画像をステレオカメラ２１で取得してもよい。または、車載制御装置２５が、距離を算出し、その後、車速計測用のカメラ画像をステレオカメラ２１から取得してもよい。

・上記各実施形態では、ステレオカメラ２１の光軸が路面１００に対して略垂直である場合を示した。これに限らず、ステレオカメラは、路面の模様を解析可能な程度に撮影できれば、光軸が路面に対して略垂直ではなくてもよい。例えば、路面に対するカメラの光軸が、車両の前後方向に傾きを有していたり、車両の幅方向に傾きを有していてもよい。こうした傾きによる影響は、傾きを考慮した演算処理等により適切に処理可能であり、傾きを補正する演算により垂直である場合と同様に処理できる。なお、画像車速の計測には、路面１００に対する傾きが垂直（９０°）に近いほうが非常に好ましいが、４５°以上であれば計測可能である。

例えば、図７のステップＳ１１では、ステレオカメラ２１と路面１００との間の距離を算出するとき、ステレオカメラ２１から路面１００までの距離マップを取得して路面１００に対する傾斜量を算出し、この傾斜量を補正するための射影変換をカメラ画像に行うようにするとよい。

例えば、図１２には、バックモニタ用のカメラ２１Ｃを画像車速の計測に使用する一例が記載されている。バックモニタ用のカメラ２１Ｃは、車両１０後方の駐車区画を認識できる。また、障害物等を認識できるように撮影可能範囲が広角である。そして、カメラ２１Ｃが撮影した画像のうち、路面１００が鮮明に撮影されている範囲を取得することで、カメラ２１Ｃの高さ、及び、画像車速を計測できる。

・ステレオカメラ２１は、車両１０の後部に設置される場合に限られず、路面１００の撮影が可能ならば車両１０の前方、車両１０の側方、車両１０の底面の少なくとも１か所に設けられていてもよい。

例えば、図１３（ａ）及び（ｂ）に示すように、ステレオカメラ２１Ａを車両１０の底面に取り付けてもよい。一般に、カメラは周囲の明るさの変化が急激であると、露光量の調整が終わるまで適切な明度の画像を撮影できない。この点、車両１０の底面は、車両１０に覆われていることから相対的には暗いものの、特に照明を装置の一部に持つ場合は環境光の変化が相対的に小さく、露光量の調整も少なくて済むため、走行環境によらず画像を適切な明るさで撮影する可能性が高められる。

・上記各実施形態では、ステレオカメラ２１の２つのカメラは車幅方向にカメラ間隔を空けて配置される場合を示したが、これに限らず、カメラの路面からの距離を計測できれば、カメラが車長方向など、車幅方向以外にカメラ間隔を空けて配置されてもよい。

例えば、図１４（ａ）及び（ｂ）に示すように、ステレオカメラ２１Ｂを構成する２台のカメラを車両１０の底面において車長方向にカメラ間隔を空けて取り付けてもよい。この場合も、三角測量の原理に基づいて路面に対するステレオカメラ２１Ｂの高さを計測できる。

・ステレオカメラ２１は、第１カメラ２２及び第２カメラ２３の光軸が平行である場合に限らず、２つのカメラの間の相対角度及びカメラ間隔等の相対関係が明確であれば、第１カメラ２２及び第２カメラ２３の光軸が平行ではなくてもよい。

・ステレオカメラ２１は、第１カメラ２２及び第２カメラ２３の２つのカメラを有する場合に限られず、３つ以上のカメラを有し、３つ以上のカメラのなかから選択される２つであってもよい。

・上記各実施形態では、ステレオカメラ２１は、パッシブ型である場合を示した。これに限らず、ステレオカメラは、レーザ発振器から照射したレーザ光をカメラで受光し、この受光したレーザ光の変位に基づいて計測するアクティブ型であってもよい。

・上記各実施形態では、路面１００からの高さ（距離）がステレオカメラ２１で計測される場合を示した。これに限らず、ステレオカメラの第１カメラ画像と第２カメラ画像とを得た車載制御装置の信号処理部で撮影範囲に対応する距離を計測してもよい。

・上記各実施形態では、ステレオカメラ２１で路面１００との距離（高さ）を計測する場合を示した。これに限らず、距離（高さ）は光学式の距離計、レーザ式の距離計、超音波式の距離計等で計測してもよい。

・上記各実施形態では、第１カメラ２２及び第２カメラ２３のレンズ中心から路面１００までの距離を逐次算出する場合を示した。これに限らず、路面からステレオカメラまでの高さ（レンズ中心から測定対象までの距離）の変動が小さければ、１画素に対応する実際の長さを予め設定した長さとしてもよい。車両の振動が小さければ、あらかじめ設定された１画素の長さを利用しても、一定の精度で車速を計測できる。

・上記各実施形態では、第１カメラ画像を２次元ＦＦＴ処理する場合を示した。このとき、画像車速算出部は、第１カメラ画像の全体を２次元ＦＦＴ処理する第１のモードと、第１カメラ画像の一部を２次元ＦＦＴ処理する第２のモードとを備えてもよい。そして、画像車速算出部は、所定の条件に応じて第１のモードと第２のモードとを切り替えてもよい。つまり、第１のモードと第２のモードとが選択可能になる。例えば、高い精度が必要なとき第１のモードを選択し、演算負荷を軽減したいとき第２のモードを選択できる。また、２次元ＦＦＴ処理に不適当な像（グレーチング等）の映り込みの領域を避けたり、影響の程度の低いモードによる処理を選択したりすることで高い精度を維持できる。

すなわち、２次元ＦＦＴ処理するにあたり、第１カメラ画像を適切な画素数、かつ、演算負荷に収まる大きさにトリミング、もしくはビニングしてもよい。
・上記第１の実施形態等に対して、シャッター速度を設定する機能を設けてもよい。これにより、単画像車速算出部３２１が画像速度を計測することのできる速度範囲の拡大が図られるとともに、低周波数成分のある閾値を超える点群が分布する楕円形の領域の長径の逆数と短径の逆数との差の分解能が高まり、速度を高い精度で計測できる。

・上記各実施形態では、路面１００の撮影画像のモーションブラーの大きさに基づいて車速が算出される場合を示したが、これに限らず、路面１００の撮影画像モーションブラーの流れる向きに基づいて旋回等を計測してもよい。また、第１カメラ画像や第２カメラ画像における車両の直進方向の向きは予め分かっているので、複数の観測位置の直交方向の位置の変化量によって車両の旋回を計測することもできる。

・上記各実施形態では、状態計測装置１は、車速を計測する場合を示したが、これに限らず、状態計測装置１は、車速に基づいて計測できる走行位置や加速度を計測してもよい。

・上記各実施形態では、進行方向に対するモーションブラーの大きさが、２次元ＦＦＴ処理で算出される低周波数成分の点群分布領域の楕円形の短径及び長径に基づいて定まる場合を示した。これに限らず、モーションブラーの大きさが、その他の画像処理によって定められてもよい。アスファルトを略円形の粒とすれば、複数箇所に対する画像処理によって、モーションブラーの短尺と長尺とを得ることによって、モーションブラーの大きさを定められる。また、例えば、モーションブラーの大きさを、事前に、第１カメラ２２が所定の速度で撮影した第１カメラ画像のモーションブラーの大きさと、速度計測用に撮影された第１カメラ画像との比較に基づいて求めてもよい。

・上記各実施形態では、状態計測装置１は、車両１０の状態を計測する場合を示したが、これに限らず、状態計測装置１は、路面や床面等を移動する移動体の速度等の状態を計測してもよい。

上記実施形態及び変更例から把握できる技術的思想について記載する。
（イ）前記モーションブラーの大きさは、前記低周波数領域の周波数成分を二値化した点群分布に対する分散共分散行列の主成分分析により得られた直交する主成分から求められる請求項１に記載の状態計測装置。

このような構成によれば、移動方向へのモーションブラーの大きさを、周波数成分を二値化した分布の主成分を基として算出できる。なお、主成分分析により得られた固有値の平方根の逆数の２倍は、低周波数領域の周波数成分を二値化した点群分布が形成する楕円の短径と長径とに相当する。

これにより、周波数成分の２次元的なフィッティングにより主成分を取得できる。なお、主成分分析を用いる場合、その変換を実現する回転行列から移動方向を算出できる。
（ロ）前記計測部は、前記複数のカメラがそれぞれ相違する撮影条件で撮影した複数の対向面画像を有し、前記移動体の速度を、前記複数の対向画像がそれぞれ有しているモーションブラー毎の大きさの逆数の差と、前記撮影条件としての露光時間の差とに基づいて求められる請求項１１に記載の状態計測装置。

このような構成によれば、２つ以上の露光時間により得られたモーションブラーのうち、一方を基準とみることで、路面模様の等方性に影響されることなく速度計測できる。つまり、複数のカメラでそれぞれ露光時間を変えた画像のモーションブラーから、対向画像の有する等方性の同一性等を前提条件として考慮しなくても速度、瞬間加速度等を求めることができる。

（ハ）前記計測部は、複数の異なる位置に対する前記モーションブラーの向きと大きさから算出した複数の前記移動体の速度に基づいて、前記移動体の平均速度、回転半径及び回転角速度のうちの少なくとも１つを計測する（ロ）に記載の状態計測装置。

このような構成によれば、１回の計測から得られる画像のうち異なる位置に対して算出した速度から、より精度の高い平均値を求めることができる。あるいは、複数の計測位置の距離と各々の速度から回転半径や回転角速度を算出できる。つまり、複数の移動体速度は、カメラの位置によってずれているので、移動体の平均速度、回転半径及び回転角速度のうちの少なくとも１つを計測できる。

（ニ）前記計測部は、前記複数のカメラがそれぞれ相違する撮影条件で撮影した複数の対向面画像のモーションブラーの大きさからそれぞれ算出した複数の前記移動体の速度に基づいて、前記移動体の平均速度、加速度、回転半径及び回転角加速度のうちの少なくとも１つを計測する請求項１１に記載の状態計測装置。

このような構成によれば、３つ以上の露光時間から得られた時間的に異なる速度や回転角速度に基づいて、理想的に短い時間における角速度、角加速度等を計測できる。つまり、移動体の平均速度、加速度、回転半径及び回転角加速度のうちの少なくとも１つを計測できる。移動体で計測する複数の速度は、撮影タイミングがずれていてもよい。同じカメラで撮影タイミングだけずれた速度から加速度を算出することもできる。

１…状態計測装置、１０…車両、２０…ＧＰＳアンテナ、２１，２１Ａ，２１Ｂ…ステレオカメラ、２１Ｃ…カメラ、２２…第１カメラ、２２Ｇ…パラメータ、２３…第２カメラ、２３Ｇ…パラメータ、２５…車載制御装置、３０…信号処理部、３１…ＧＰＳ車速算出部、３２…画像車速算出部、３３…パラメータ設定部、３４…記憶部、３５…切替部、４０…出力部、１００…路面、３２１…単画像車速算出部、３２２…複画像車速算出部。

Claims (13)

1. 撮影画像に基づいて移動体の速度ベクトルを計測する状態計測装置であって、
   前記移動体に固定されて、前記移動体が相対移動する対向面を撮影する１つの撮影部を有する対向面撮影部と、
   前記１つの撮影部が前記対向面を撮影するときの露光時間を記憶する記憶部と、
   前記１つの撮影部が前記露光時間を撮影条件に含んで撮影した前記対向面の画像である対向面画像の有しているモーションブラーから前記移動体の移動方向及び大きさ、及び前記露光時間に基づいて前記移動体の速度ベクトルを計測する計測部とを備える
   状態計測装置。
2. 前記計測部は、前記対向面画像の前記モーションブラーの方向と大きさとを、前記対向面画像の空間に対する２次元ＦＦＴ処理で得られる周波数成分の分布に基づいて求める
   請求項１に記載の状態計測装置。
3. 前記計測部は、前記速度ベクトルを、前記周波数成分の分布から得られた一定強度を超える点群の集まる抽出領域の最小幅をとる方向を前記移動方向とし、前記一定強度を超える抽出領域の前記移動方向に対する長さの逆数と、前記一定強度を超える抽出領域の前記移動方向と直交する方向に対する長さの逆数との間の差に基づいて計測する
   請求項２に記載の状態計測装置。
4. 前記モーションブラーの方向は、前記抽出領域に対しモデルフィッティングして得られた楕円の短径の方向から求められ、前記モーションブラーの大きさは、前記楕円の短径の逆数と長径の逆数との差から求められる
   請求項３に記載の状態計測装置。
5. 前記計測部は、前記楕円の短径の方向、及び短径の逆数と長径の逆数との間の差から前記速度ベクトルを取得し、この取得した前記速度ベクトルの大きさから速度を算出し、該速度ベクトルの向きから移動方向を算出する
   請求項４に記載の状態計測装置。
6. 前記計測部は、前記２次元ＦＦＴ処理に先立ち、前記対向面画像を画素数が２のべき乗となるようにトリミング及びビニングの少なくとも一方の加工をしてから、この加工した前記対向面画像を前記２次元ＦＦＴ処理する
   請求項２～５のいずれか一項に記載の状態計測装置。
7. 前記移動方向に対する大きさと、前記楕円の短径と長径との間の比が所定の範囲を超えることに応じて露光時間を調整する調整部をさらに備える
   請求項４又は５に記載の状態計測装置。
8. 前記計測部は、前記対向面画像の全体を前記２次元ＦＦＴ処理する第１のモードと、前記対向面画像の一部を前記２次元ＦＦＴ処理する第２のモードとを備え、所定の条件に応じて前記第１のモードと前記第２のモードとを切り替える
   請求項２～６のいずれか一項に記載の状態計測装置。
9. 前記モーションブラーが示す変位量は、前記撮影部から前記対向面までの距離を考慮して算出される
   請求項１～８のいずれか一項に記載の状態計測装置。
10. 前記対向面撮影部は、複数のカメラを有し、
    前記１つの撮影部は、前記対向面撮影部を構成するカメラのうちの１つのカメラである
    請求項１～９のいずれか一項に記載の状態計測装置。
11. 前記計測部は、前記複数のカメラがそれぞれ相違する撮影条件で撮影した複数の前記対向面画像のうちから、速度ベクトルの計測に適した対向面画像を選択して速度ベクトルを計測する
    請求項１０に記載の状態計測装置。
12. 前記計測部は、前記複数のカメラのうちの一方のカメラの撮影タイミングが他方のカメラの撮影タイミングに含まれることを条件にそれぞれ相違する撮影条件で撮影するとともに、空間的に同一の領域を切り出した２つの対向面画像を有し、前記移動体の速度ベクトルを、前記２つの対向面画像に対応する２つのモーションブラーの向きと大きさの逆数の差と、前記２つの対向面画像に対応する２つの露光時間の差とに基づいて求める
    請求項１０又は１１に記載の状態計測装置。
13. 前記対向面画像の所定の観測点をトラッキングすることで速度ベクトルを計測するトラッキング部をさらに備え、
    前記計測部は、前記トラッキング部による速度ベクトルの計測限度を超える速度領域において、前記トラッキング部に代わって前記移動体の速度ベクトルを計測する
    請求項１～１２のいずれか一項に記載の状態計測装置。

Images