JP4123138B2 - 車両検知方法及び車両検知装置 - Google Patents

Description

本発明は、画像処理を用いた車両検知方法及び車両検知装置に関するものである。

車載カメラから得られた画像に基づいて車両の位置及び方向を検出する方法は数多く存在するが、大きく分けて２つ挙げられる。一つはエッジを検出してそのエッジを解析する方法、もう一つはパターンマッチングを行う方法である。そのうちエッジを用いる方法は車両の大きさの変化に追従できることと、車両の左右端が検出できるメリット等のため、数多く提案されている。特にステレオカメラ方式は、エッジを解析することで視差を検出している。例えば２つのカメラで縦エッジの対を検出して、縦エッジの対の視差がほぼ等しい場合に車両の両端であると推定する車両検知方法は、２つのカメラによって距離が求まるため、背景との分離が比較的容易に行えて信頼性が高い。しかしながら、上記車両検知方法は、カメラが２台必要となるため、重量増，コスト高などにつながる。また２つのカメラのキャリブレーションを行うことも、生産コストの増加につながる。

そこで、単眼カメラにおける車両検知方法も数多く提案されている。たとえば、自車線内では水平エッジの密集領域を車両候補とし、隣接車線では垂直エッジ密集領域の移動を解析して車両候補とするかを判断し、水平エッジを検出した場合に車両候補とすることが提案されている（例えば特許引用文献１）。しかしながら、水平エッジが密集していることが検知できる状況は先行車両が近距離にある場合に限られ、遠方で車両が小さくなると解像度の関係上、必ずしも水平エッジが密集して現れるとは限らない。また、逆光時には車両後部が全体的に影で黒くなるため水平エッジはほとんど観測されなくなる。

その他にも、初期の車両エッジ輪郭モデルを設定してから、その後はそのモデルとの照合を行う車両検知方法や、自車の走行車線内にある先行車両の影部分に存在する水平エッジと、先行車の両端を表す縦エッジの対を求めてから、その後は水平エッジの位置と両端の縦エッジの幅によって連続的に計算する車両検知方法が提案されている。いずれも初期の車両検知が正確に行われることで効果を発揮するが、初期の車両検知に失敗した場合にはその後の誤認識に繋がる。エッジの縦軸，横軸に対する投影分布から、車両の上下端，左右端にピークが現れる特徴を利用して車両候補を求める検知方法が提案されている。上記方法は、ウィンドウの設定の仕方によってピークの出方に違いが生じる。車両以外のノイズ領域が含まれるようにすると他の部分にピークが出て解析が煩雑となるため、車両以外の領域を極力含まないようなウィンドウ設定が必要となる。しかしながら、車両位置がわかっていない状態で最適なウィンドウを設定することは、難しい。

特開２００２−３３４３３０号公報

単眼カメラあるいは単眼カメラとレーダとの組み合わせによって近傍の車両から遠方の車両まで高精度に特定可能なシステムを提供する。

自車両の前方を撮影した画像を基に、２次元座標系の投票空間上に投票を行う投票方式を用いて、自車両の前方を走行する他の車両の検知を行うことを特徴とする車両検知方法とすることで上記課題を解決する。

本車両検知方法は、単眼カメラで車両検知を行っているため安価に実現でき、車両両端のエッジを使って車両を検知しているため、様々なタイプの車両を検知することができる。

図１は、本発明である車両検知方法の処理フローである。本実施例では、車両に設置されたカメラから画像を入力する車両前方画像取得ステップ（Ｓ１）と、車両前方画像取得ステップＳ１で入力された入力画像の輝度変化部分をエッジとし、前記エッジの位置，強度，方向成分を検出するエッジ検出ステップ（Ｓ２）と、エッジ点の方向成分から縦エッジかどうかを判定し、縦エッジがあれば水平方向に別の縦エッジがあるかどうかを探索する縦エッジペア探索ステップ（Ｓ３）と、縦エッジペアが見つかったかどうかを判定して処理を変更する縦エッジペア有無判定ステップ（Ｓ４）と、縦エッジペアが見つかった場合、縦エッジペアのそれぞれのｘ座標から、中心位置ｘと幅ｗを算出してｘｗ空間に投票するｘｗ空間投票ステップ（Ｓ５）と、ｘｗ空間のピーク座標を検出するピーク座標検出ステップ（Ｓ６）と、ピーク座標のｘｗ情報から車両までの距離方向情報を算出する車両情報算出ステップ（Ｓ７）によって車両が検知される。

本実施例の車間距離制御システム（以下ＡＣＣとする）の構成例を図３に示す。車両検知部３０１において、車両の走行方向前方に向けられたカメラ３０４から得られた車両前方画像を、画像処理手段３０５に転送する。画像処理手段３０５は本発明の車両検知方法によって、画像上の先行車両の位置を認識し、自車両と先行車両の位置関係を算出して
ＡＣＣ制御部３０２に転送する。ＡＣＣ制御部３０２では先行車両との位置関係から、車間距離を一定に保つように必要に応じて、アクセル制御手段３０６によるアクセル制御や、ブレーキ制御手段３０７によるブレーキ制御を行うようＡＣＣ実行部３０３に信号を送り、車両の速度を制御する。以下、図１に従って本車両検知方法の詳細な説明を行う。

本車両検知方法における各ステップの詳細について図２を用いて説明する。

まず、車両前方画像取得ステップＳ１では車両前方を撮像できるように設置されたカメラ３０４で撮像された車両前方画像を画像処理手段３０５に転送する。車両前方画像は図２（ａ）のような濃淡画像で、図２（ａ）は先行車両２０１のテール部分および、背景が写っている例を表した絵である。車両前方画像取得ステップＳ１以降のエッジ検出ステップＳ２から車両情報算出ステップＳ７までの処理は、画像処理手段３０５において行われる。

エッジ検出ステップＳ２では、画像処理手段３０５の画像メモリ（図示せず）に格納された入力画像の輝度変化部分をエッジとして抽出し、前記エッジの方向情報を付加したデータとして算出する。前記データは、各エッジ点について位置情報ｘ，ｙおよび、方向情報θを含んでいる。ここで、位置情報は画面上での値で単位はピクセル、方向情報θは画面上でのエッジの方向を表し、０度から３６０度の値をとる。本実施例では、エッジの方向は、図２（ｂ）の矢印の向きように輝度の高い方向に対して９０度右に傾けた方向になるように定義する。輝度の高い方向に対して９０度傾けているのは、エッジの方向を輪郭線の向きにあわせるためであり、傾ける方向に関しては左でも構わないがどちらかに統一しておく。

縦エッジペア探索ステップＳ３からｘｗ空間投票ステップＳ５では、エッジ検出ステップＳ２で検出したエッジ情報を利用して車両の幅、中心位置の候補を求めるステップである。先行車両の左右には背景との輝度差、すなわち縦エッジが現れやすいため、縦エッジに注目する。先行車両の左右端の縦エッジであれば左右のペアで現れることが多いため、左右一組の情報として考える。

縦エッジペア探索ステップＳ３では、縦エッジのみに注目し、縦エッジの水平方向に並んだペアを探索する。図２の例では、図２（ｃ）の検出領域２０２で囲まれた２つの矢印が先行車両両端のエッジである。図２（ｄ）は図２（ｃ）の検出領域２０２部分を拡大した図である。矢印の向きはエッジの方向を表している。先行車両両端のエッジの場合、エッジの方向は図２（ｄ）のように正反対の方向である可能性が高い。そこで、左右で同一方向の縦エッジペアは無視して、正反対の方向をもつ縦エッジのペアを探索することで、車両の両端エッジペアではない組み合わせをなるべく選ばないようにすることが可能となる。

縦エッジペア有無判定ステップＳ４では、縦エッジペアがまだ画像中に残っているかどうかを判断して、まだ探索が終了していなければｘｗ空間投票ステップＳ５へ、探索がすべて終了していればピーク座標検出ステップＳ６へ処理を切り替える。

ｘｗ空間投票ステップＳ５では、縦エッジペア探索ステップＳ３で探索した縦エッジペアのそれぞれのｘ座標から、図２（ｄ）のように中心位置ｘｐと幅ｗｐを算出して、図２（ｅ）に示すｘｗ空間上の座標（ｘｐ，ｗｐ）２０３に投票する。ｘｗ空間上の座標（ｘ
，ｗｐ）２０３に投票するとは、ｘｗ空間上の座標（ｘｐ，ｗｐ）２０３の値に任意の値（例えば１）を加えることを意味している。ｘｗ空間は縦エッジペア探索ステップＳ３前にあらかじめメモリ上に確保され、すべての座標はゼロクリアされ初期化が行われているものとする。すなわち、縦エッジペアから計算される（ｘ，ｗ）の２次元頻度分布を取っていることになる。図２（ｄ）のように縦エッジの左側の座標が（ｘ１，ｙ１）、右側の座標が（ｘ２，ｙ１）とすると、ｘｐ，ｗｐは以下のような式で計算される。

ここで、ｘ２＞ｘ１である。画像上での先行車両は後ろから撮像されていて、おおよそ長方形に近似できるため、先行車両両端の縦エッジペアはｙ座標が変わってもほぼ（ｘｐ，ｗｐ）近辺の値に収束する。すなわち、先行車両両端の縦エッジペアの投票を繰り返すことで座標（ｘｐ，ｗｐ）２０３あるいはその近傍座標の値が増加することになり、座標（ｘｐ，ｗｐ）２０３近辺に値のピークが現れる。

本実施例では、投票空間の横軸を車両中心位置ｘ、縦軸を車両幅ｗと定義しているが、最終的に車両中心位置と車両幅が求まればどのように定義してもよい。たとえば横軸を縦エッジの左側のｘ座標、縦軸を縦エッジの右側のｘ座標として投票空間を形成して、ピーク位置が求まってから車両中心位置と車両幅を計算してもよい。このように最終的に車両中心位置と車両幅が求まるパラメータであれば投票空間の縦軸横軸はどのように定義しても構わない。

ピーク座標検出ステップＳ６では、ｘｗ空間のピーク座標を探索して車両中心位置と車両幅の組み合わせ（ｘｐ，ｗｐ）を求める。ここで、縦エッジのペアは先行車両両端だけではなく、先行車両のナンバープレートやテールランプ，ガードレール，電柱等のノイズである可能性もあり、その分の投票も行われている。また、先行車両が隣接車線等に複数存在する場合があるため、実際にはピークは複数出現することになる。そのため、どのピークが先行車両のものなのかを判断しなければならない。

判断する方法のひとつに画像処理を用いる方法が挙げられる。検知されたピークから、その領域の左右端が逆算できるため、逆算された領域内で先行車両らしいかどうかを判断する。例えば車両の下端には影ができるためその情報を利用して、領域内に水平エッジが並んでいる横ラインを探索したり、平均濃度よりも十分に低い黒い横ラインを探索することでその領域が車両かどうか判断できる。

車両かどうか判断するもうひとつの方法として、レーダ情報を用いてセンサフュージョンを行う方法がある。すなわち、構成として図４のように先行車両までの距離，方向等を検知するためのレーダ４０１を組み込む。レーダ４０１は距離，方向が検知できればよく、ミリ波レーダ，レーザーレーダ等の、いずれでもかまわない。レーダ情報を使う場合、レーダ４０１で得られた距離，方向情報からｘｗ空間でピークを探索する範囲を限定することができるため、ノイズのピークを効率良く排除することが可能となる。

以下、レーダ４０１で得られた距離，方向情報からｘｗ空間でピークを探索する範囲を限定する方法について説明する。車両中心位置情報ｘと車両幅情報ｗは画像上の値となるが、実際の車両幅（例えば１.７ｍ と仮定）、カメラパラメータ（ＣＣＤサイズ，焦点距離等）が既知である場合、ｘ，ｗから実際の車両までの距離，方向が一意に求まる。つまりｘｗ情報と実際の距離方向情報は一対一に対応しており、相互変換可能な情報である。すなわち、レーダ情報からｘｗ空間のどのあたりにピークが出現するかは予測ができるため、レーダ情報の距離，方向情報をｘｗに変換して、その周辺に限定してピークを探索するようにすれば、ノイズのピークは最初から排除することが可能となる。

ここで、レーダ４０１側から見たセンサフュージョンのメリットを説明する。レーダ
４０１の課題のひとつに横方向の精度の悪さが挙げられる。これは、先行車両が幅をもっていることから、先行車両のどの部分で反射してきた反射波なのか判断できないことが原因である。しかし本車両検知方法の場合、画像上で車両の両端を検知するため横方向の精度が高く、フュージョンすることでのメリットが大きい。また、レーダ４０１はガードレール等の反射波を誤検知することがあるという課題もある。これについては、誤検知情報である距離，方向情報をｘｗに変換して、その周辺に限定してピークを探索した場合、車両では無いためピークが存在する可能性は低い。そのため、車両以外のものを誤検知であることを判定することが可能となる。

車両情報算出ステップＳ７では、ピーク座標検出ステップＳ６で検出したピークの座標値ｘｗから実際の距離方向情報に変換して終了する。変換については前述したように実際の車両幅（例えば１.７ｍ と仮定）、カメラパラメータ（ＣＣＤサイズ，焦点距離等）が既知である場合、ｘ，ｗから実際の車両までの距離，方向が一意に求まる。

次に、エッジの検出方法について説明する。エッジの位置のみの検出方法については様様な方法があるが、エッジの方向成分まで含めて算出する方法としては、ソーベルフィルタによる方法や、２次元ゼロクロス法等が挙げられる。本実施例では、３×３のソーベルフィルタによる方法について説明する。

３×３のソーベルフィルタでは、ある注目画素を中心とした上下左右の９つの画素値に対して、図５に示すような係数をそれぞれ乗算し、結果を合計することでエッジの強度を算出する。垂直方向の係数行列４０２と水平方向の係数行列４０３を用いて、この処理を行う。

垂直方向の合計値をＧｘ、水平方向の合計値をＧｙとすると、注目画素の画素値Ｇは式（３）のようになる。

この画素値Ｇはエッジの強度を表し、大きいほどその地点の近傍で輝度差が大きいことを示す。このＧの値があらかじめ設定したエッジ抽出閾値よりも大きければ、その部分の画素はエッジ点として抽出することになる。抽出漏れを防ぐため、エッジ抽出閾値は十分に下げておくことが必要であるが、下げすぎた場合エッジの数が膨大となるため処理時間と誤認識を考慮し適当な値に設定する必要がある。

エッジの方向θは、エッジ強度の各方向成分ＧｘとＧｙから、下記の式（４）で求まる。

前述したように、方向θは画面上でのエッジの方向を表し、０度以上３６０度未満の値をとる。エッジの方向は、輝度の高い方向に対して９０度右にずらした方向に変換して用いる。

本発明の一実施例である車両検知方法の処理フローである。 本発明の一実施例である車両検知方法の画像処理の流れ図である。 本発明の一実施例であるＡＣＣのシステム構成図である。 本発明の他の実施例であるＡＣＣのシステム構成図である。 ３×３ソーベルフィルタの係数行列である。

符号の説明

２０１…先行車両、２０２…検出領域、２０３…座標（ｘｐ，ｗｐ）、３０１…車両検知部、３０２…ＡＣＣ制御部、３０３…ＡＣＣ実行部、３０４…カメラ、３０５…画像処理手段、３０６…アクセル制御手段、３０７…ブレーキ制御手段、４０１…レーダ。

Claims (8)

1. 自車両の前方に存在する物体の画像を撮像する撮像手段と、
   前記画像の輝度変化部分をエッジとして抽出する抽出手段と、
   前記エッジの中から、正反対の方向をもつエッジペアを探索する探索手段と、
   前記エッジペアに基づいて、前記物体の中心位置及び幅に関する情報を算出する算出手段と、
   前記情報を座標に変換して、２次元座標系の投票空間上で投票を行う投票手段と、
   前記投票空間における前記投票値のピークを検出するピーク検出手段と、
   前記ピークとなる座標を、先行車両の座標であると判断する判断手段を備える、車両検知装置。
2. 前記エッジペアとは、画像上で水平方向に位置する２つの縦エッジを示す、請求項１記載の車両検知装置。
3. 先行車両までの距離及び方向を検知する測距手段を更に備え、
   前記ピーク検出手段は、当該距離及び方向のデータに基づいて、前記投票空間における前記投票値のピークを検出する範囲を特定する、請求項１又は２記載の車両検知装置。
4. 自車両の前方に存在する物体の画像を撮像するステップと、
   前記画像の輝度変化部分をエッジとして抽出するステップと、
   前記エッジの中から、正反対の方向をもつエッジペアを探索するステップと、
   前記エッジペアに基づいて、前記物体の中心位置及び幅に関する情報を算出するステップと、
   前記情報を座標に変換して、２次元座標系の投票空間上で投票を行うステップと、
   前記投票空間における前記投票値のピークを検出するステップと、
   前記ピークとなる座標を、先行車両の座標であると判断するステップを備える、車両検知方法。
5. 前記エッジペアとは、画像上で水平方向に位置する２つの縦エッジを示す、請求項４記載の車両検知方法。
6. 先行車両までの距離及び方向を検知するステップを更に備え、
   前記検出するステップでは、当該距離及び方向のデータに基づいて、前記投票空間における前記投票値のピークを検出する範囲を特定する、請求項４又は５記載の車両検知方法。
7. 撮像手段により自車両の前方の画像を撮像し、
   エッジ点抽出手段により撮像した画像の輝度変化部分をエッジ点として抽出し、
   投票手段により前記エッジ点の情報に基づいて、２次元座標系の投票空間上に投票を行い、
   ピーク検出手段により前記投票空間における前記投票値のピークを検出し、
   前記ピークとなる座標を車両として検知し、
   前記投票空間上に投票する情報は、画像上で水平方向に位置する２つの縦エッジの水平
   位置から求められる情報であり、
   測距手段により測定した先行車両までの距離及び方向データに基づいて、前記ピーク検出手段は前記投票空間における前記投票値のピークを検出する範囲を特定する、車両検知方法。
8. 自車両の前方の画像を撮像する撮像手段と、
   前記画像の輝度変化部分をエッジ点として抽出する抽出手段と、
   前記エッジ点の情報に基づいて、２次元座標系の投票空間上に投票を行う投票手段と、
   前記投票空間における前記投票値のピークを検出する検出手段と、
   前記ピークとなる座標を車両として検知する検知手段と、
   先行車両までの距離，方向を検知する測距手段を備え、
   前記投票空間上に投票する情報は、画像上で水平方向に位置する２つの縦エッジの水平
   位置から求められる情報であり、
   前記測距手段が測定した距離及び方向データに基づいて、前記ピーク検出手段は前記投票空間における前記投票値のピークを検出する範囲を特定する、車両検知装置。

Images