JP4453775B2 - 物体検出装置 - Google Patents

Description

本発明は、物体検出装置に関する。

近年、衝突防止装置、車間距離制御装置、追従走行装置などの運転支援装置が開発されている。これら運転支援装置では、自車両の前方を走行する車両を検出することが重要となる。物体検出装置には、検出精度を向上させるために、ミリ波レーダなどのレーダによる検出手段とカメラによる画像を利用した検出手段の２つの特性の異なる検出手段を備える装置がある。特許文献１に記載の装置では、レーダによって検出された物体の測定結果に応じて画像処理領域を設定し、カメラによって撮像された画像においてその設定された画像処理領域について画像処理を行い、その画像処理領域から物体の情報を検出する。
特開２００６−１５１１２５号公報 特開２００６−２５８５０７号公報

車両は、路面状況あるいは走行中の加減速や旋回などによって、挙動が変化（ピッチング、ロール、ヨーイング）する。そのため、例えば、ピッチング発生中にレーダによる測定結果に応じて画像処理領域を設定すると、レーダでは高さ方向の情報を検出できないので、その設定された画像処理領域内には物体の全部又は一部しか存在しない場合がある。このような場合、その画像処理領域から物体についての情報を検出することができない。

そこで、本発明は、自車両の挙動が変化した場合でも適切な画像処理領域を設定することができる物体検出装置を提供することを課題とする。

本発明に係る物体検出装置は、自車両周辺を撮像した画像における特定の画像処理領域に対して画像処理を行い、自車両周辺の物体の情報を取得する物体検出装置であって、自車両周辺の物体の位置情報を取得する位置情報取得手段と、自車両周辺を撮像する撮像手段と、位置情報取得手段で取得した物体の位置情報に基づいて撮像手段で撮像した画像における画像処理領域を設定する画像処理領域設定手段と、自車両の挙動の変化を検出する車両挙動検出手段と、車両挙動検出手段で検出した自車両の挙動の変化とは逆方向に画像処理領域設定手段で設定した画像処理領域を補正する補正手段とを備えることを特徴とする。

この物体検出装置では、位置情報取得手段により自車両周辺の物体の位置情報を検出し、画像処理領域設定手段によりその検出された位置情報に基づいて画像処理領域を設定する。また、物体検出装置では、車両挙動検出手段により自車両の挙動の変化（例えば、ピッチング、ロール、ヨーイング）を検出する。さらに、物体検出装置では、補正手段によりその検出された自車両の挙動の変化に応じて画像処理領域を補正する。そして、物体検出装置では、撮像手段で撮像した自車両周辺の画像における画像処理領域に対して画像処理を行い、自車両周辺の物体の情報を取得する。このように、物体検出装置では、自車両の挙動の変化を検出し、その挙動の変化に応じて画像処理領域を補正することにより、自車両の挙動が変化した場合でも自車両周辺の物体を十分に含む適切な画像処理領域を設定することができる。その結果、自車両の挙動が変化した場合でも、その補正された画像処理領域から物体の情報を確実に取得することができる。

本発明の上記物体検出装置では、補正手段は、画像処理領域の位置を補正すると好適である。

この物体検出装置では、補正手段により自車両の挙動の変化に応じて画像処理領域の位置を補正することにより、自車両の挙動変化に応じた画像処理領域の位置ずれを確実に修正することができる。例えば、自車両がピッチングしている場合、画像処理領域が上下方向に位置ずれするので、上下方向に平行移動して位置を補正する。自車両がロールしている場合、画像処理領域がロール方向に回転して位置ずれするので、回転移動して位置を補正する。

本発明の上記物体検出装置では、車両挙動検出手段は、撮像手段でそれぞれ撮像した撮像時刻の異なる複数の画像間のオプティカルフローを算出し、当該オプティカルフローに基づいて自車両の挙動の変化を検出すると好適である。

この物体検出装置では、車両挙動検出手段により複数の撮像時刻の異なる画像間のオプティカルフローを利用して自車両の挙動の変化を検出することにより、自車両の挙動の変化を高精度に検出することができる。

本発明は、自車両の挙動の変化を検出し、その挙動の変化に応じて画像処理領域を補正することにより、自車両の挙動が変化した場合でも適切な画像処理領域を設定することができる。

以下、図面を参照して、本発明に係る物体検出装置の実施の形態を説明する。

本実施の形態では、本発明に係る物体検出装置を、車両に搭載される周辺監視装置に適用する。本実施の形態に係る周辺監視装置は、自車両前方の障害物（例えば、他車両、自転車、歩行者などの移動物体、落下物などの静止物体）を検出し、その検出した障害物情報を運転支援装置（衝突防止装置など）に出力あるいは音声や表示によって運転者に提供する。なお、検出方向としては、前方とするが、側方、後方などの他の方向でもよい。

図１〜図３を参照して、本実施の形態に係る周辺監視装置１について説明する。図１は、本実施の形態に係る周辺監視装置の構成図である。図２は、自車両のロールと画像処理領域との関係を示す撮像画像の一例である。図３は、自車両のピッチングと画像処理領域との関係を示す撮像画像の一例である。

周辺監視装置１は、自車両前方の検出手段としてミリ波センサとカメラを備え、ミリ波センサによる障害物のセンシング情報を利用してカメラによる画像における障害物のセンシング領域（画像処理領域）を設定する。特に、周辺監視装置１では、自車両の挙動が変化した場合でもセンシング領域から確実に障害物の情報を検出するために、自車両の挙動の変化を検出し、その挙動の変化に応じてセンシング領域を補正する。周辺監視装置１は、ミリ波センサ２、カメラ３及びＥＣＵ[Electronic Control Unit]４を備えている。

なお、本実施の形態ではミリ波センサ２及びＥＣＵ４における機能が特許請求の範囲に記載する位置情報取得手段に相当し、カメラ３が特許請求の範囲に記載する撮像手段に相当し、ＥＣＵ４における各機能が特許請求の範囲に記載する画像処理領域設定手段、車両挙動検出手段、補正手段に相当する。

ミリ波センサ２は、ミリ波を利用して物体を検出するレーダセンサである。ミリ波センサ２は、自車両の前側の中央の所定の高さ位置（検出対象の障害物を確実に検出可能な高さ位置）に取り付けられる。ミリ波センサ２では、ミリ波を左右方向に走査しながら自車両から前方に向けて送信し、反射してきたミリ波を受信する。ミリ波を送信する際の上下方向の角度は、固定であり、車両停止時には路面に対して平行となる角度が設定されている。ミリ波センサ２では、反射ミリ波を受信できた各反射点（検出点）についてのミリ波情報（左右方向の走査方位角、送信時刻、受信時刻、反射強度など）からなるミリ波信号をＥＣＵ４に送信する。

カメラ３は、自車両の前方を撮像するカメラである。カメラ３は、自車両の前側の中央に取り付けられる。カメラ３は、自車両前方を撮像し、その撮像画像情報を画像信号としてＥＣＵ４に送信する。この撮像画像は、一定時間（例えば、１／３０秒）毎のフレームの画像である。

ＥＣＵ４は、ＣＰＵ[Central ProcessingUnit]、ＲＯＭ[Read Only Memory]、ＲＡＭ[Random Access Memory]及び画像処理チップなどからなる電子制御ユニットであり、周辺監視装置１を統括制御する。ＥＣＵ４では、ＲＯＭに記憶されているアプリケーションプログラムをＲＡＭにロードし、ＣＰＵで実行すると、ミリ波障害物検出機能、画像処理領域設定機能、自車両運動量推定機能、画像処理領域補正機能、画像障害物検出機能が構成される。ＥＣＵ４では、一定時間毎に、ミリ波センサ２からのミリ波信号及びカメラ３からの画像信号を取り入れ、ミリ波情報及び撮像画像情報を時系列で記憶する。そして、ＥＣＵ４では、これらの情報を用いて各機能における処理を行い、検出した障害物情報（例えば、相対距離、相対速度、横位置、大きさ情報、種別情報）を運転支援装置に出力あるいは運転者に提供する。

ミリ波障害物検出機能について説明する。ＥＣＵ４では、現時刻（ｔ）でのミリ波情報を利用し、ミリ波の送信から受信までの時間に基づいて前方の障害物までの相対距離を算出する。さらに、ＥＣＵ４では、その現時刻（ｔ）で算出された距離と前時刻（ｔ−１）で算出された距離の変化に基づいて前方の障害物との相対速度を算出する。また、ＥＣＵ４では、現時刻（ｔ）でのミリ波情報を利用し、反射してきたミリ波の中で最も強く反射してきたミリ波の方向を検出し、その方向から自車両の進行方向と障害物の方向とのなす角度を求め、その角度から横位置を算出する。なお、相対速度を算出する場合、前時刻（ｔ−１）よりも更に過去の相対距離データを用いてもよい。

画像処理領域設定機能について説明する。ＥＣＵ４では、ミリ波障害物検出機能で検出した障害物情報（特に、相対距離、横位置）に基づいて画像処理領域を設定する。ここでは、相対距離や横位置などに基づいて画像処理領域の中心位置を決定し、その中心位置から予め設定された上下方向幅と左右方向幅をそれぞれ確保した画像処理領域を設定する。

自車両運動量推定機能について説明する。ＥＣＵ４では、現時刻（ｔ）のフレームの画像と前時刻（ｔ−１）のフレームの画像間の画像全体からオプティカルフローを算出する。このオプティカルフローによって、画像全体における各点（物体）の動きをベクトルとして取得できる。画像中には前方車両などの移動物体と道路などの静止物体が存在するので、画像全体を対象としてオプティカルフローを求めることにより、移動物体と静止物体に対するオプティカルフローをそれぞれ求めることができる。移動物体の場合、オプティカルフローには移動物体の動きと自車両の動きが含まれるので、自車両の運動量を推定するのが難しい。しかし、静止物体の場合、オプティカルフローには自車両の動きだけが含まれるので、自車両の運動量を推定するのが容易である。なお、オプティカルフローを算出する場合、前時刻（ｔ−１）よりも更に過去のフレームの画像を用いてもよい。

さらに、ＥＣＵ４では、各点のオプティカルフロー（特に、静止物体のオプティカルフロー）から自車両の運動量（ピッチ角、ロール角、ヨー角など）を推定する。この推定では、８点アルゴリズムなどを利用する。ちなみに、この推定される運動量は、厳密には推定に用いる画像を撮像したカメラ３の運動量であるが、カメラ３が自車両に搭載され、自車両と一体でカメラ３も動くので、自車両の運動量に相当することになる。

画像処理領域補正機能について説明する。ＥＣＵ４では、自車両運動量推定機能で求めたピッチ角がピッチ角閾値よりも大きいか否かを判定する。ピッチ角閾値は、自車両のピッチングによって位置ずれした画像処理領域（画像処理領域設定機能で設定した領域）で画像処理を行った場合に画像処理結果（障害物情報）に影響を与える程度のピッチ角か否かを判定するための閾値であり、実験などによって予め設定される。ピッチ角がピッチ角閾値よりも大きい場合、ＥＣＵ４では、そのピッチ角から画像内での上下方向の平行移動量（画素数）を算出する。そして、ＥＣＵ４では、その上下方向の平行移動量に従って画像処理領域設定機能で設定した画像処理領域の位置を平行移動し、画像処理領域を最終決定する。

また、ＥＣＵ４では、自車両運動量推定機能で求めたロール角がロール角閾値よりも大きいか否かを判定する。ロール角閾値は、自車両のロールによって位置ずれした画像処理領域で画像処理を行った場合に画像処理結果に影響を与える程度のロール角か否かを判定するための閾値であり、実験などによって予め設定される。ロール角がロール角閾値よりも大きい場合、ＥＣＵ４では、そのロール角から画像内での回転移動量（画像中心における水平軸に対する回転角）を算出する。そして、ＥＣＵ４では、その回転移動量に従って画像処理領域設定機能で設定した画像処理領域の位置を画像中心を回転軸として回転移動し、画像処理領域を最終決定する。

一方、ピッチ角がピッチ角閾値以下の場合かつロール角がロール角閾値以下の場合、ＥＣＵ４では、画像処理領域設定機能で設定した画像処理領域を画像処理領域として最終決定する。

画像障害物検出機能について説明する。ＥＣＵ４では、現時刻（ｔ）の画像から最終的に決定した画像処理領域の画像を抽出する。そして、ＥＣＵ４では、画像処理領域の画像から障害物の情報を検出する。画像から検出できる障害物の情報としては、障害物の大きさ情報（横幅、高さ）、パターン認識を利用した障害物の種別情報（例えば、車両、歩行者）などがある。

図２に示す例は、自車両がロールしているときにミリ波情報による障害物情報に基づいて画像処理領域を設定した場合である。この場合、撮像画像Ｐ１における前方車両ＦＶに対して右下方向に位置ずれした画像処理領域ＩＡ１が設定される。この際、自車両のロール角が推定され、そのロール角に相当する回転移動量（画像中心Ｃにおける水平軸に対する回転角θ）が求められ、この回転角θに従って画像処理領域ＩＡ１を時計回りに回転移動することにより、画像処理領域ＲＡ１が再設定される。この画像処理領域ＲＡ１内には、前方車両ＦＶが十分に含まれる。

図３に示す例は、自車両がピンチングしているときにミリ波情報による障害物情報に基づいて画像処理領域を設定した場合である。この場合、撮像画像Ｐ２における前方車両ＦＶに対して下方向に位置ずれした画像処理領域ＩＡ２が設定される。この際、自車両のピッチ角が推定され、そのピッチ角に相当する上下方向の平行移動量（画素数Ｄ）が求められ、この画素数Ｄに従って画像処理領域ＩＡ２を上方に平行移動することにより、画像処理領域ＲＡ２が再設定される。この画像処理領域ＲＡ２内には、前方車両ＦＶが十分に含まれる。

図１〜図３を参照して、周辺監視装置１の動作について説明する。特に、ＥＣＵ４における画像処理領域決定処理については図４のフローチャートに沿って説明する。図４は、図１のＥＣＵにおける画像処理領域決定処理の流れを示すフローチャートである。

ミリ波センサ２では、一定時間毎に、ミリ波による走査を行い、各検出点についてのミリ波情報を示すミリ波信号をＥＣＵ４に送信する。ＥＣＵ４では、このミリ波信号を受信する毎に、ミリ波情報を時系列で記憶する。

カメラ３では、一定時間毎に、自車両の前方を撮像し、その画像情報を示す画像信号をＥＣＵ４に送信する。ＥＣＵ４では、この画像信号を受信する毎に、そのフレームの画像情報を時系列で記憶する。

ＥＣＵ４では、現時刻（ｔ）のミリ波情報を読み出し、そのミリ波情報に基づいて障害物情報（相対距離、相対速度、横位置など）を検出する（Ｓ１）。そして、ＥＣＵ４では、その障害物情報に基づいて画像処理領域を設定する（Ｓ２）。

ＥＣＵ４では、現時刻（ｔ）のフレームと前時刻（ｔ−１）のフレームの画像をそれぞれ読み出し、２フレーム間の画像からオプティカルフローを算出し、そのオプティカルフローに基づいて自車両の運動量（ピッチ角、ロール角、ヨー角）を推定する（Ｓ３）。

ＥＣＵ４では、ピッチ角がピッチ角閾値よりも大きいか否かを判定するとともに、ロール角がロール角閾値よりも大きいか否かを判定する（Ｓ４）。

Ｓ４にてピッチ角がピッチ角閾値以下かつロール角がロール角閾値以下と判定した場合、ＥＣＵ４では、Ｓ２で設定した画像処理領域を確定する。

一方、Ｓ４にてピッチ角がピッチ角閾値よりも大きいと判定した場合、ＥＣＵ４では、そのピッチ角に応じた上下方向の平行移動量に従って画像処理領域の位置を補正し、その補正した画像処理領域を確定する（Ｓ５）。また、Ｓ４にてロール角がロール角閾値よりも大きいと判定した場合、ＥＣＵ４では、そのロール角に応じた回転移動量に従って画像処理領域の位置を補正し、その補正した画像処理領域を確定する（Ｓ５）。

そして、ＥＣＵ４では、現時刻（ｔ）の画像におけるその確定した画像処理領域から障害物情報（大きさ情報、種別情報など）を検出する。

ＥＣＵ４では、その検出した障害物情報（相対距離、相対速度、横位置、大きさ情報、種別情報など）を運転支援装置に出力あるいは音声や表示によって運転者に提供する。

この周辺監視装置１によれば、自車両の運動量を検出し、その運動量に応じて画像処理領域を補正することにより、自車両の挙動が変化した場合でも自車両周辺の障害物を十分に含む適切な画像処理領域を設定することができる。その結果、自車両の挙動が変化した場合でも、その補正された画像処理領域から障害物の情報を確実に検出することができる。さらに、周辺監視装置１によれば、異なる撮像時刻の画像間のオプティカルフローを利用して自車両の運動量を推定することにより、自車両の運動量を高精度に検出することができる。特に、画像全体を対象にしてオプティカルフローを求めているので、画像中の移動物体の動きに影響を受けることなく、自車両の運動量を検出することができる。

以上、本発明に係る実施の形態について説明したが、本発明は上記実施の形態に限定されることなく様々な形態で実施される。

例えば、本実施の形態では周辺監視装置に適用したが、歩行者検知装置などの他の物体検出装置あるいは衝突防止装置、車間距離制御装置、追従走行装置などの運転支援装置における物体検出機能などにも適用可能である。

また、本実施の形態では位置情報取得手段としてミリ波センサを適用したが、レーザセンサ、超音波センサなどの他のレーダセンサ、カメラの画像を利用したセンサ、インフラなどの他の手段を適用してもよい。

また、本実施の形態では自車両の挙動を検出するためにオプティカルフローを利用したが、他の方法によって車両挙動を検出してもよい。

本実施の形態に係る周辺監視装置の構成図である。 自車両のロールと画像処理領域との関係を示す撮像画像の一例である。 自車両のピッチングと画像処理領域との関係を示す撮像画像の一例である。 図１のＥＣＵにおける画像処理領域決定処理の流れを示すフローチャートである。

符号の説明

１…周辺監視装置、２…ミリ波センサ、３…カメラ、４…ＥＣＵ

Claims (3)

1. 自車両周辺を撮像した画像における特定の画像処理領域に対して画像処理を行い、自車両周辺の物体の情報を取得する物体検出装置であって、
   自車両周辺の物体の位置情報を取得する位置情報取得手段と、
   自車両周辺を撮像する撮像手段と、
   前記位置情報取得手段で取得した物体の位置情報に基づいて前記撮像手段で撮像した画像における画像処理領域を設定する画像処理領域設定手段と、
   自車両の挙動の変化を検出する車両挙動検出手段と、
   前記車両挙動検出手段で検出した自車両の挙動の変化とは逆方向に前記画像処理領域設定手段で設定した画像処理領域を補正する補正手段と
   を備えることを特徴とする物体検出装置。
2. 前記補正手段は、画像処理領域の位置を補正することを特徴とする請求項１に記載する物体検出装置。
3. 前記車両挙動検出手段は、前記撮像手段でそれぞれ撮像した撮像時刻の異なる複数の画像間のオプティカルフローを算出し、当該オプティカルフローに基づいて自車両の挙動の変化を検出することを特徴とする請求項１又は請求項２に記載する物体検出装置。

Images