JPWO2013145015A1 - 路面状態推定装置 - Google Patents

Abstract

カメラ（２０）が、先行車両を含む領域を撮像する。車輪情報取得部（１１２）は、撮像画像における先行車両の車輪の位置情報、具体的には先行車両の車輪と路面の境界を検出する。この境界検出処理は、車輪と路面との輝度差を利用して行われる。カメラ姿勢補正部（１１４）が、検出した境界をセルフキャリブレーション機能により補正し、路面状態推定部（１１６）は、補正した境界をもとに、先行車両が走行中の路面の状態を推定する。

Description

本発明は、路面の状態を推定する路面状態推定装置に関する。

特許文献１は、先行車両の挙動から路面形状を推定する技術を開示する。具体的に特許文献１では、先行車両のミラーやナンバープレートの挙動から先行車両の挙動を検出し、その挙動の振幅や収束時間から先行車両の車種を選択したうえで、選択した車両と先行車両の挙動から路面形状を推定する。推定した路面形状は、アクティブサスペンション装置の予見制御などに用いられる。

特開２００５−１７８５３０号公報

しかしながら特許文献１に開示された技術によると、車体挙動の最大振幅と収束時間との関係を車種毎にまとめた車種特性を利用して先行車両の車種を特定するという複雑な処理が必要となる。この技術によると、たとえば先行車両がサスペンション諸元を変更しているような場合には、車種を正確に特定することが困難となることが予想される。

本発明はこうした状況に鑑みてなされたものであり、その目的は、路面状態を簡易に推定することのできる技術を提供することにある。

上記課題を解決するために、本発明のある態様の路面状態推定装置は、先行車両を含む領域を撮像する撮像手段により撮像された画像における先行車両の車輪の位置情報を取得する車輪情報取得手段と、抽出された車輪位置情報を用いて進行方向の路面状態を推定する推定手段とを備える。

この態様によると、路面状態の推定処理に、先行車両の車輪の位置情報を利用する。車輪の動きは車体挙動の影響を受けないため、先行車両の車輪の位置情報を用いて路面状態を推定することで、路面状態の推定精度を高めることができる。

前記車輪情報取得手段は、撮像画像において先行車両の車輪と路面との境界を検出することで、車輪位置情報を取得してもよい。先行車両の車輪の接地位置を検出することで、路面状態を直接検出することが可能となり、路面状態の高精度な推定処理を実現できる。前記車輪情報取得手段は、先行車両の左右輪のそれぞれと路面との境界を検出することで、車輪位置情報を取得してもよい。先行車両の左右輪の接地位置を検出することで、路面状態を直接検出することが可能となり、アクティブサスペンション装置の予見制御などに利用することが可能となる。

前記推定手段は、検出された先行車両の車輪と路面との境界を用いて、路面高さを推定してもよい。また前記推定手段は、先行車両との距離を測定してもよい。

本発明によれば、路面状態を簡易に推定できる技術を提供することができる。

路面状態推定装置を搭載した車両の上面模式図である。 路面状態推定装置を搭載した車両の側面模式図である。 路面状態推定装置の機能ブロックを示す図である。 撮像画像の一例を示す図である。 路面状態推定処理のフローチャートを示す図である。

本実施形態に係る車両は路面状態推定装置を備え、車両進行方向の路面状態を推定する。具体的に路面状態推定装置は、車両前方の領域を撮影する撮像手段により撮像された先行車両の車輪位置情報を用いて、車両前方における路面の凹凸や傾斜などを検出する。車両はアクティブサスペンション装置を有し、路面状態推定装置が推定した路面状態に応じて、アクティブサスペンション装置のストロークを制御して車高調整し、安定姿勢における車両走行を実現する。

図１は、路面状態推定装置を搭載した車両の上面模式図である。車両１０は、右前輪１２ＦＲ、左前輪１２ＦＬ、右後輪１２ＲＲ、左後輪１２ＲＬの４輪を備える。右前輪１２ＦＲ側には、電磁サスペンション１４ＦＲ、車高センサ１６ＦＲが設けられ、左前輪１２ＦＬ側には、電磁サスペンション１４ＦＬ、車高センサ１６ＦＬが設けられ、右後輪１２ＲＲ側には、電磁サスペンション１４ＲＲ、車高センサ１６ＲＲが設けられ、左後輪１２ＲＬ側には、電磁サスペンション１４ＲＬ、車高センサ１６ＲＬが設けられる。以下、右前輪１２ＦＲ、左前輪１２ＦＬ、右後輪１２ＲＲ、左後輪１２ＲＬを特に区別しない場合には、まとめて「車輪１２」と呼ぶ。また電磁サスペンション１４ＦＲ、電磁サスペンション１４ＦＬ、電磁サスペンション１４ＲＲ、電磁サスペンション１４ＲＬを特に区別しない場合には、まとめて「電磁サスペンション１４」と呼ぶ。また車高センサ１６ＦＲ、車高センサ１６ＦＬ、車高センサ１６ＲＲ、車高センサ１６ＲＬを特に区別しない場合には、まとめて「車高センサ１６」と呼ぶ。

電磁サスペンション１４は、モータおよびモータにより伸縮される伸縮装置により構成され、コイルスプリング（図示せず）とともに車両懸架装置を構成する。この車両懸架装置は、アクティブサスペンション装置として動作する。コイルスプリングは、車輪１２にかかる路面からの衝撃が車体に直接伝達されることを防止する。電磁サスペンション１４は、モータ制御により車両１０のバネ上とバネ下の間に減衰力を発生させる。なお、本明細書において、コイルスプリングにより支えられる部材の位置を「バネ上」と呼び、コイルスプリングにより支えられていない部材の位置を「バネ下」と呼ぶ。すなわち、バネ上は車体側であり、バネ下は車輪１２側である。

各車輪１２の近傍には、車輪位置での車高を検出する車高センサ１６がそれぞれ配置されている。この車高センサ１６は、例えば、車軸と車体とを連結したリンクの変位を測定することで、車体と車輪１２との相対距離を検出するものであるが、それ以外のタイプのセンサであってもよい。車高センサ１６の検出信号は、車体に備えられる電子制御装置１００（以下「ＥＣＵ１００」と表記する）に送られる。

ＥＣＵ１００は、電磁サスペンション１４を制御するサスペンション制御装置１０２と、路面状態を推定する路面状態推定装置１０４とを備える。サスペンション制御装置１０２は、各車輪１２の電磁サスペンション１４を制御する。サスペンション制御装置１０２は、電磁サスペンション１４のモータに印加する電流量を調整することで、所望の減衰力を発生させることができる。なお本実施形態では、後述するように路面状態推定装置１０４が、カメラ２０で撮像された撮像画像を用いて、車両１０の進行方向の路面状態を推定する。サスペンション制御装置１０２は、推定された路面状態に応じて、各車輪１２の電磁サスペンション１４を制御し、車両１０の姿勢を安定させるようにしてもよい。

図２は、路面状態推定装置を搭載した車両の側面模式図である。路面状態推定装置１０４は、カメラ２０から撮像画像を受け取り、また３軸加速度センサ２２からセンサ値を受け取る。カメラ２０はレンズ、およびＣＣＤやＣＭＯＳ等から構成される撮像素子を含む撮像部を備える。撮像素子の受光面にはフォトセンサが平面的に配列されており、撮像素子の受光面に結像された被写体像は、各フォトセンサによって入射光量に応じた量の信号電荷に変換される。撮像素子は、蓄積した信号電荷をアナログ信号処理部に出力し、アナログ信号処理部は、Ｒ，Ｇ，Ｂの各色信号の画像データを生成して、Ａ／Ｄ変換器に出力する。Ａ／Ｄ変換器でデジタル信号に変換された画像データは、ガンマ補正等のデジタル処理を施された後、路面状態推定装置１０４に提供される。カメラ２０はビデオカメラであって、以上の撮像処理を所定の周期で実行する。カメラ２０は、（１／３０）秒に１回、撮像処理を行ってもよい。カメラ２０はたとえばルームミラーに取り付けられ、車両１０の進行方向の領域を撮像する。図示の例ではカメラ２０は車両１０の前方領域を撮像する。

３軸加速度センサ２２は、カメラ２０に取り付けられ、または内蔵されて、カメラ２０の３軸方向の加速度成分を検出する。なお３軸加速度センサ２２は、車両１０内においてカメラ２０とは離れた位置に設けられてもよいが、カメラ２０がバネ上に設けられるため、３軸加速度センサ２２も同様にバネ上に設けられて、カメラ２０の３軸方向加速度成分を検出することが好ましい。３軸加速度センサ２２は、検出したセンサ値を、所定の周期で路面状態推定装置１０４に提供する。なお３軸加速度センサ２２による検出周期は、カメラ２０の撮像周期と等しいか又は短いことが好ましい。路面状態推定装置１０４は、センサ値を受け取ると、カメラ姿勢を算出して補正するセルフキャリブレーション機能を有している。

本実施形態の路面状態推定装置１０４は、撮像画像に含まれる先行車両を抽出し、先行車両の車輪位置情報を取得する。この車輪位置情報は、撮像画像における高さ方向の位置を特定する情報である。具体的に路面状態推定装置１０４は車輪位置情報として、先行車両の左右後輪と路面との境界線を抽出する。このとき路面状態推定装置１０４は、３軸加速度センサ２２から提供されたセンサ値を用いて、セルフキャリブレーション機能によりカメラ姿勢を補正する。具体的に路面状態推定装置１０４は、センサ値をもとにカメラ姿勢を特定し、撮像画像において抽出した境界線の位置（座標）を補正する。路面状態推定装置１０４は、自車両１０から各境界線までの距離を求め、路面高さを算出する。

対象物との距離を測定するシステムは、従前より様々なものが知られている。たとえばカメラ２０としてステレオカメラを採用することで、２視点からの撮像画像をもとに、対象物との距離を測定できる。またカメラ２０が単眼カメラである場合であっても、モーションステレオ法を用いて対象物との距離を測定することができる。また本実施形態で示すように、路面状態推定装置１０４が撮像時のカメラ姿勢を特定できる場合には、チルト方向に垂直な方向（横方向）を無視することで、１枚の撮像画像から対象物との距離を求めることができる。また、レーザ光を用いて先行車両との距離を測定する測距システムも知られている。このような測距システムを採用することで、路面状態推定装置１０４は、対象物との距離を測定することができ、具体的には先行車両の左右後輪と路面との境界線と自車両１０との距離を測定できる。なお、車両１０と境界線との距離は、車両１０と先行車両との距離と実質的に等しいとみなせるため、車両１０と先行車両との距離を測定することで、路面状態推定装置１０４は、車両１０と境界線との距離を取得できる。

図３は、路面状態推定装置１０４の機能ブロックを示す。路面状態推定装置１０４は、撮像画像取得部１１０、車輪情報取得部１１２、カメラ姿勢補正部１１４および路面状態推定部１１６を備える。これらの構成は、ハードウエアコンポーネントでいえば、任意のコンピュータのＣＰＵ、メモリ、メモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。

撮像画像取得部１１０は、撮像手段であるカメラ２０から、撮像画像データを取得する。既述したようにカメラ２０はビデオカメラであって、車両１０前方向の領域を撮像し、周期的に撮像画像取得部１１０に撮像画像データを提供する。撮像画像取得部１１０は、撮像画像データを車輪情報取得部１１２に供給する。

図４は、撮像画像の一例を示す。車輪情報取得部１１２は、進行方向の先行車両を含む領域を撮像した撮像画像から、先行車両の車輪の位置情報を取得する。まず車輪情報取得部１１２は、撮像画像における先行車両を認識する。この車両認識処理は、既存の技術により行われてよく、たとえば予め登録してある車両画像とパターンマッチング処理を行うことで、撮像画像から先行車両が抽出される。車輪情報取得部１１２は、撮像画像において先行車両を抽出すると、車輪位置を特定する。この特定処理は、抽出した先行車両の左右において下側に突出する領域を探索することで実行される。車輪位置を特定すると、車輪情報取得部１１２は、車輪と路面との境界を抽出する。車輪は一般に黒色であり、路面の色とは異なっている。車輪情報取得部１１２は、撮像画像において車輪を特定すると、車輪の下側において色（輝度）変化が生じている箇所を抽出する。この色変化が生じた箇所は、車輪と路面の境界を表しており、車輪情報取得部１１２は、車輪の位置情報として、車輪と路面の境界位置を取得する。たとえば、車輪幅の中心位置を、車輪と路面の境界位置を代表する座標値として取得してもよい。

図４に示す撮像画像では、先行車両が水平面に対して右上がり（左下がり）に傾いている。この撮像画像において、縦軸をＹ軸、横軸をＸ軸とすると、先行車両の左後輪のＹ座標がｈ１、右後輪のＹ座標がｈ２として、車輪のＹ座標がそれぞれ求められる。

カメラ姿勢補正部１１４は、カメラ２０の姿勢を特定する。既述したように、カメラ２０には３軸加速度センサ２２が搭載されており、カメラ姿勢補正部１１４は、３軸加速度センサ２２のセンサ値から、カメラ姿勢を算出する。なお本実施形態の車両１０には、各車輪１２の近傍に車高センサ１６が設けられている。そのためカメラ姿勢補正部１１４は、各車輪１２に設けられた車高センサ１６のセンサ値を用いて、車両１０の姿勢を算出し、算出した車両姿勢を、カメラ姿勢として利用してもよい。また車両１０が３軸加速度センサ２２や車高センサ１６を搭載していない場合には、カメラ２０で撮像される白線や路上構造物などを用いて、カメラ姿勢補正部１１４がカメラ姿勢を特定してもよい。一例として、路上に立っている看板は直立しているのが通常であるため、撮像画像に写り込んだ看板の傾きを特定することで、カメラ姿勢を特定してもよい。

カメラ姿勢補正部１１４は、カメラ姿勢を特定すると、基準姿勢からのずれ量を検出して、車輪と路面の境界位置を補正する。なお基準姿勢は、車両１０が平坦路にいるときのカメラ姿勢とする。このセルフキャリブレーション機能は既知の技術であるが、仮にカメラ姿勢が基準姿勢からずれていた場合であっても、カメラ姿勢補正部１１４による補正処理を行うことで、車両１０が平坦路にいた場合に撮影されたであろう撮像画像における車輪と路面の境界位置を求めることが可能となる。

路面状態推定部１１６は、自車両１０と、先行車両の車輪と路面の境界位置との距離を導出する。路面状態推定部１１６は、既述した測距システムを利用して、境界位置との距離を測定する。なお路面状態推定部１１６は、自車両１０と先行車両との距離を測定し、その距離を、自車両１０と境界位置との距離として利用してもよい。

路面状態推定部１１６は、セルフキャリブレーション機能により補正した境界位置のＹ座標をもとに、路面高さを算出する。本実施形態では、カメラ姿勢補正部１１４により３軸成分の補正処理が行われるため、路面状態推定部１１６は、自車両１０の場所から、先行車両が走行する路面の絶対的な高さを求めることができる。ここで絶対的な高さは、自車両１０の標高と、先行車両の標高の差までもを含めた高さを意味する。たとえば、自車両１０と先行車両の標高差が５０ｃｍあり、先行車両の右後輪が、左後輪よりも２０ｃｍ高いことが検出されると、先行車両の左後輪が接地する路面は、自車両よりも５０ｃｍ高く、先行車両の右後輪が接地する路面は、自車両よりも７０ｃｍ高いことが算出される。なお、路面状態推定部１１６は、路面高さとして、先行車両の左右後輪の相対的な高さを求めてもよい。上の例でいえば、路面状態推定部１１６は、標高差を考慮することなく、先行車両の右後輪が、左後輪よりも２０ｃｍ高いことを求めてもよい。

路面状態推定部１１６は、先行車両との距離を知ることで、撮像画像における１画素分の現実空間での長さを知ることができる。図４に示す例では、先行車両の左後輪のＹ座標がｈ１、右後輪のＹ座標がｈ２であるが、路面状態推定部１１６は、Ｙ軸方向の（ｈ２−ｈ１）の長さに含まれる画素数を検出し、検出した画素数に、１画素分の長さを乗算することで、左後輪と右後輪の高さの差を算出できる。なお路面状態推定部１１６は、先行車両との距離とＹ軸方向の（ｈ２−ｈ１）の長さから実際の高さを求めるためのテーブルまたは関数を有し、このテーブルまたは関数を利用して、相対的な高さの差を求めてもよい。

以上のように路面状態推定部１１６は、先行車両の車輪位置情報を用いて、進行方向の路面状態を推定する。サスペンション制御装置１０２が路面情報を電磁サスペンション１４の制御に用いる場合、主としてサスペンション制御は低・中周波数領域で行われる。このような周波数領域では、路面からの入力が車輪変位と実質的に等しいことを利用して、本実施形態の路面状態推定部１１６は、車輪変位と路面変位とを等価に扱い、先行車両の車輪と路面との境界を抽出することで、進行方向の路面状態を推定している。また、車輪の挙動は、路面の影響を受ける一方で、車体挙動の影響を実質的に受けることはない。そこで路面状態推定部１１６は、車体挙動の影響を排除して、進行方向の路面状態を高精度に推定することが可能となる。

路面状態推定部１１６は、距離および路面高さをもとに、路面状態を推定する。たとえば先行車両までの距離が１０ｍ、先行車両の右後輪が、左後輪よりも２０ｃｍ高いことを算出することで、１０ｍ先の路面状態を推定できる。この推定処理は、カメラ２０の撮像周期と等しく設定され、すなわち（１／３０）秒ごとに、推定処理が実行されてもよい。なお路面状態推定部１１６は、１０ｍ先において、右輪通過路面が、左輪通過路面よりも２０ｃｍ高いことを路面状態として推定してもよいが、１０ｍ先の路面状態が右上がりに傾斜していることを推定してもよい。

図５は、路面状態推定処理のフローチャートを示す。カメラ２０が車両前方を走行する先行車両を撮像し、路面状態推定装置１０４に撮像画像データを供給する（Ｓ１０）。車輪情報取得部１１２は、撮像画像に含まれる先行車両を抽出し（Ｓ１２）、先行車両の車輪を特定する（Ｓ１４）。続いて車輪情報取得部１１２は、先行車両の車輪と路面との境界を抽出する（Ｓ１６）。

カメラ姿勢補正部１１４は、撮像時のカメラ姿勢を特定し、抽出した境界をセルフキャリブレーション機能により補正する（Ｓ１８）。なお本実施形態では、車輪情報取得部１１２がさきに境界を抽出して、カメラ姿勢補正部１１４が、抽出された境界を補正しているが、カメラ姿勢補正部１１４が、撮像画像自体をセルフキャリブレーションにより補正して、車輪情報取得部１１２が、補正された撮像画像から、先行車両の車輪と路面の境界を求めるようにしてもよい。路面状態推定部１１６は、先行車両の車輪と路面の境界から、先行車両が走行中の路面の高さおよび距離を算出する（Ｓ２０）。これにより路面状態推定部１１６は、自車両１０前方の路面状態を推定することができ（Ｓ２２）、たとえばサスペンション制御装置１０２が、この推定された路面状態の情報を利用した車高制御などを実行することが可能となる。

以上、実施形態をもとに本発明を説明した。この実施形態は例示であり、各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

たとえばカメラ２０の解像度が低い場合、先行車両の車輪と路面との境界線を抽出することが難しいことも想定される。この場合、車輪情報取得部１１２は、左右後輪の最下部の（ｘ、ｙ）座標を抽出し、それぞれの座標を結んだラインにより、路面左右差や路面カントを取得するようにしてもよい。なお抽出する座標値は、たとえば左右後輪の重心位置としてもよい。

１０・・・車両、１２・・・車輪、１４・・・電磁サスペンション、１６・・・車高センサ、２０・・・カメラ、２２・・・３軸加速度センサ、１００・・・ＥＣＵ、１０２・・・サスペンション制御装置、１０４・・・路面状態推定装置、１１０・・・撮像画像取得部、１１２・・・車輪情報取得部、１１４・・・カメラ姿勢補正部、１１６・・・路面状態推定部。

本発明は、路面の状態を推定する技術に利用できる。

【０００７】
先行車両が抽出される。車輪情報取得部１１２は、撮像画像において先行車両を抽出すると、車輪を特定する。この特定処理は、抽出した先行車両の左右において下側に突出する領域を探索することで実行される。車輪を特定すると、車輪情報取得部１１２は、車輪と路面との境界を抽出する。車輪は一般に黒色であり、路面の色とは異なっている。車輪情報取得部１１２は、撮像画像において車輪を特定すると、車輪の下側において色（輝度）変化が生じている箇所を抽出する。この色変化が生じた箇所は、車輪と路面の境界を表しており、車輪情報取得部１１２は、車輪の位置情報として、車輪と路面の境界位置を取得する。たとえば、車輪幅の中心位置を、車輪と路面の境界位置を代表する座標値として取得してもよい。
［００２４］
図４に示す撮像画像では、先行車両が水平面に対して右上がり（左下がり）に傾いている。この撮像画像において、縦軸をＹ軸、横軸をＸ軸とすると、先行車両の左後輪のＹ座標がｈ１、右後輪のＹ座標がｈ２として、車輪のＹ座標がそれぞれ求められる。
［００２５］
カメラ姿勢補正部１１４は、カメラ２０の姿勢を特定する。既述したように、カメラ２０には３軸加速度センサ２２が搭載されており、カメラ姿勢補正部１１４は、３軸加速度センサ２２のセンサ値から、カメラ姿勢を算出する。なお本実施形態の車両１０には、各車輪１２の近傍に車高センサ１６が設けられている。そのためカメラ姿勢補正部１１４は、各車輪１２に設けられた車高センサ１６のセンサ値を用いて、車両１０の姿勢を算出し、算出した車両姿勢を、カメラ姿勢として利用してもよい。また車両１０が３軸加速度センサ２２や車高センサ１６を搭載していない場合には、カメラ２０で撮像される白線や路上構造物などを用いて、カメラ姿勢補正部１１４がカメラ姿勢を特定してもよい。一例として、路上に立っている看板は直立しているのが通常であるため、撮像画像に写り込んだ看板の傾きを特定することで、カメラ姿勢を特定してもよい。
［００２６］
カメラ姿勢補正部１１４は、カメラ姿勢を特定すると、基準姿勢からのずれ量を検出して、車輪と路面の境界位置を補正する。なお基準姿勢は、車両

Claims (5)

1. 先行車両を含む領域を撮像する撮像手段により撮像された画像における先行車両の車輪の位置情報を取得する車輪情報取得手段と、
   抽出された車輪位置情報を用いて、進行方向の路面状態を推定する推定手段と、
   を備えることを特徴とする路面状態推定装置。
2. 前記車輪情報取得手段は、撮像画像において先行車両の車輪と路面との境界を検出することで、車輪位置情報を取得することを特徴とする請求項１に記載の路面状態推定装置。
3. 前記車輪情報取得手段は、先行車両の左右輪のそれぞれと路面との境界を検出することで、車輪位置情報を取得することを特徴とする請求項２に記載の路面状態推定装置。
4. 前記推定手段は、検出された先行車両の車輪と路面との境界を用いて、路面高さを推定することを特徴とする請求項２または３に記載の路面状態推定装置。
5. 前記推定手段は、先行車両との距離を測定することを特徴とする請求項１から４のいずれかに記載の路面状態推定装置。

Images