JP4039402B2

JP4039402B2 - 物体検出装置

Info

Publication number: JP4039402B2
Application number: JP2004203541A
Authority: JP
Inventors: 直子大久保
Original assignee: Nissan Motor Co Ltd
Current assignee: Nissan Motor Co Ltd
Priority date: 2004-07-09
Filing date: 2004-07-09
Publication date: 2008-01-30
Anticipated expiration: 2024-07-09
Also published as: JP2006023242A

Description

本発明は、走行中の自車両から、当該自車両の周囲に存在する他車両といった物体の位置を検出する物体検出装置に関し、詳しくは、自車両から撮像した画像を用いた画像演算処理により、物体の位置を検出する物体検出装置に関する。

従来より、走行している自車両の前方、後方、左右といった周囲を走行する他車両の位置を検出する車両位置検出装置が知られている。この車両位置検出装置は、自車両が走行している時に適切な車両間隔を保つことによって、自動運転システムなどへの応用が期待されている。

具体的に、車両位置検出装置としては、左前方カメラ、右前方カメラといった２台のカメラからなるステレオカメラを備え、自車両前方の車両を検出し、検出した前方車両と自車両との車間距離を算出する前方車両検出方法及び装置が知られている（例えば、特許文献１参照）。

この特許文献１で示される技術は、上述したステレオカメラの一方のカメラにより撮像された原画像からエッジ画像を作成し、作成したエッジ画像中のエッジ点の対応点を、他方のカメラで撮像した原画像から探索して、視差画像を作成する。そして、作成したこの視差画像から、自車両との相対位置がＹ軸方向において等しいエッジ群を検出し、検出したエッジ群がＸ軸方向に平行な線分であって、且つ車両が走行している路面中に形成されている２本の白線の間に存在した場合に、車両と判定している。
特開平１１−３５１８６２号公報

しかしながら、特許文献１で開示されている手法では、自車両に平行なＸ軸方向のエッジ群を車両と判定しているため、例えば、左右方向から右折、左折しながら自車両の前方に進入した場合に、撮像された２次元画像中では傾いてエッジ群が検出される他車両を検出することができないといった問題がある。

そこで、本発明は、上述した実情に鑑みて提案されたものであり、検出対象となる物体の形状や動きに依存することなく、正確に物体位置を検出することができる物体検出装置を提供することを目的とする。

本発明では、自車両に搭載され、当該自車両の周囲を撮像する撮像手段と、前記撮像手段により撮像された画像内に調査点を設定する調査点設定手段と、前記調査点設定手段により設定された調査点を含み、当該調査点の画像内座標に対応した実空間における自車両との相対距離に応じて面積が決められた調査領域を画像内に設定する調査領域設定手段と、前記調査領域設定手段により設定された調査領域内の画像の特徴量を算出する特徴量算出手段と、前記特徴量算出手段により算出された特徴量に基づいて前記調査領域内での物体の有無を算出し、当該調査領域に含まれる調査点の画像内座標から前記物体と前記自車両との相対位置を算出する物体検出手段と、前記調査領域設定手段により設定された調査領域を、前記調査点を通過し、当該調査点を中心として前記自車両に対する前記他車両の移動方向に基づく傾きとされた分割線により２以上の領域に分割する調査領域分割手段とを備え、前記特徴量算出手段は、前記調査領域分割手段により分割された各領域内の特徴量をそれぞれ算出し、前記物体検出手段は、前記特徴量算出手段により算出された特徴量に基づき、前記調査領域分割手段により分割された各領域内に物体が存在するか否かを判定し、前記調査領域分割手段により分割された各領域のうち、前記画像の上部に位置する上部領域に他車両が存在し、前記画像の下部に位置する下部領域に前記路面が存在すると判定された場合に、当該調査領域に含まれる調査点から前記自車両との相対位置との距離を算出する。

本発明に係る物体検出装置によれば、検出対象となる物体の形状や動きに依存することなく、正確に物体位置を検出することができる。

以下、本発明の実施の形態について図面を参照して説明する。

本発明は、例えば図１に示すように構成された物体検出装置に適用される。

［物体検出装置の構成］
この物体検出装置は、例えば車両後方を撮像方向とした単一のカメラ１１が車体に設けられ、車両内に画像メモリ１２、画像演算処理部１３及びメモリ１４が設けられ、更に、車両運転者から視認可能な位置に表示画面が設置された表示部１５を備えて構成されている。

この物体検出装置は、例えば図２に示すように、図中の上方向に進行している自車両２０のリアウインドウ２１上端にカメラ１１を設けて後方画像を撮像し、後方の他車両の位置を検出する。なお、カメラ１１は、上述したようにリアウインドウ２１から後方の他車両を撮像可能な位置であれば、自車両２０の図示しない天井やピラー等のどのような位置に設置されていても良い。また、本例では、後方車両の位置を検出するようにカメラ１１を設置しているが、カメラ１１の取り付け位置により限定されるものではなく、自車両２０に対するカメラ１１の設置位置を変更して、自車両２０の前方や左右側方の他車両位置を検出するようにしても良い。

カメラ１１は、例えば自車両２０の周囲空間を、光学素子を介してＣＣＤ（Charge Coupled Device）撮像素子に結像し、ＣＣＤ撮像素子に結像された像をアナログの電気信号に変換し、さらにＡ／Ｄ変換部によりアナログの電気信号からディジタル画像データに変換して、後段の画像メモリ１２に送出する。物体検出装置は、撮像した周囲空間の画像中の座標と、実空間である周囲空間位置とを対応づけるために必要なカメラパラメータをメモリ１４等に保持している。このカメラパラメータは、カメラ１１の設置位置及び撮像範囲から、カメラ１１で撮像される画像内位置（座標）ごとに、自車両２０からの方向及び距離である自車両２０との相対位置を設定したデータであって、予め実験等により求められている。すなわち、カメラパラメータは、画像内位置（ｘ，ｙ）と実際の自車両２０の周囲位置とを一対一で対応させている。したがって、以下の説明では、画像内位置を「自車両２０との相対位置」として表現して説明する。

画像メモリ１２は、カメラ１１により撮像された周囲空間のディジタル画像データであって、例えば所定期間毎に撮像された時系列のディジタル画像データを一時的に格納するＶＲＡＭ（Video Random Access Memory）である。この画像メモリ１２に格納されたディジタル画像データは、画像演算処理部１３によって読み込まれる。

画像演算処理部１３は、カメラ１１により撮像され、画像メモリ１２に格納されたディジタル画像データに対して、所定の画像演算処理を施して自車両２０の周囲空間にある他車両の自車両２０に対する相対的位置を算出する。画像演算処理部１３による演算処理内容については、後で詳細に説明をする。

メモリ１４は、画像演算処理部１３による演算処理時に使用されるＲＡＭ（Random Access Memory）や、ＲＯＭ（Read Only Memory）である。このメモリ１４は、例えば画像演算処理部１３において実行される画像演算処理用のプログラムや、当該プログラム実行時に必要なデータなどを格納する。後で詳細に説明するが、画像演算処理部１３は、カメラ１１で撮像する周囲空間の画像上に複数の調査点を設け、調査点における画像情報から周囲の他車両を特定し、当該他車両の位置を検出する。このとき、メモリ１４は、例えば調査点毎の情報をテーブルとして保持することになる。

表示部１５は、例えば液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）などからなり、画像演算処理部１３による画像演算処理結果をユーザに対して視覚的に表示する。この表示部１５は、物体検出装置が搭載された自車両２０内において、ユーザ、特に運転者にとって視認し易い箇所に設置されることになる。表示部１５に表示される画像は、例えば画像演算処理部１３により算出された自車両２０に対する他車両の位置を視覚的に視認し易いように示した自車両２０を含む鳥瞰図などである。この表示部１５に表示される鳥瞰図は、自車両の走行に応じてリアルタイムに更新され、自車両に対して周囲の他車両がどの位置にあるのかを瞬時にユーザに視認させる。

［画像演算処理部１３による画像演算処理］
つぎに、上述したように構成された物体検出装置において、画像演算処理部１３による周囲車両の位置を算出するための画像演算処理について図３に示すフローチャートを参照して説明する。

画像演算処理部１３による演算処理が実行される前段では、カメラ１１が起動して周囲空間を撮像し、撮像された周囲空間のディジタル画像データが、画像メモリ１２に格納される。したがって、ステップＳ１における処理の前には、既に画像メモリ１２に画像データが格納された状態となっている。

後で詳細に説明をするが、画像演算処理部１３では、カメラ１１で撮像したディジタル画像データを解析する際に、このディジタル画像データを何らかの特徴量からなる画像データに変換して、当該特徴量から自車両２０の周囲に存在する他車両を検出することになる。まず、始めに、特徴量として空間周波数を用いる場合について説明をする。

「特徴量として空間周波数を用いる場合」
画像演算処理部１３は、先ず、図３のステップＳ１において、カメラ１１により撮像される自車両２０の周辺空間の画像中に複数の調査点ＥＰｎ（ｎは、自然数）を設ける。

ここで、図４に、カメラ１１により撮像された二次元的に表現された周囲画像を示す。図４に示す周囲画像において、物体検出装置では、周囲画像上に９個の調査点ＥＰｎ（ｎ＝１〜９）を設定している。この調査点ＥＰｎの数及び設定位置は、任意となっており、初期設定、自動設定又はユーザの操作によって設定される。

物体検出装置は、調査点ＥＰを自動的に設定するに際して、調査点ＥＰｎを設ける画像上の自車両２０に対する相対位置である画像内座標を、周囲画像において濃淡の変化が大きい個所である所謂エッジ部分に設定する。したがって、画像演算処理部１３は、ステップＳ１にて調査点ＥＰｎを設定する際には、その前段で、撮像されたディジタル画像データからエッジ画像を算出し、エッジ部分の座標に調査点ＥＰを設定する。

画像演算処理部１３は、上述したように自動的に調査点ＥＰを設定した場合又はユーザの操作によって設定した場合において、当該設定した調査点ＥＰｎと、自車両２０に対する相対位置との関係を三角測量法により算出する。図４に示すように、自車両２０が走行する路面上に複数の調査点ＥＰｎを設けた場合、画像演算処理部１３は、自車両２０内に設置されたカメラ１１の高さが既知であるため、各調査点ＥＰｎについて自車両２０との相対位置を示す座標から、カメラパラメータを用いて実際の自車両２０に対する相対位置を求めることができる。

なお、初期設定によって設けられた調査点ＥＰを使用する場合には、予めカメラパラメータによって設定された調査点ＥＰｎの画像内での座標位置が自車両２０との相対位置に相当することになる。

このようにして、調査点ＥＰｎに関する情報は、画像演算処理部１３によって、メモリ１４内の所定のメモリ領域（調査点情報記憶領域）に、調査点ＥＰｎ毎のテーブルデータとして格納される。具体的には、画像演算処理部１３は、図５に示すように、メモリ１４の調査点情報記憶領域に、各調査点ＥＰのＩＤ情報、自車両２０との相対位置情報、後述の調査点ＥＰを略中心として設定される調査領域サイズ（面積）情報、後述の調査領域内に設定される分割線の傾き情報、調査領域上部の特徴量情報、調査領域下部の特徴量情報、車両の有無情報などを格納する。

ステップＳ２において、画像演算処理部１３は、調査点ＥＰが設けられた周囲画像に対して、調査点ＥＰを中心とする矩形状の調査領域Ｆｎ（ｎは、自然数）を設定する。調査領域Ｆｎは、調査点ＥＰｎ毎に設けられるが、図４においては、紙面の都合上、調査点ＥＰ１，ＥＰ５，ＥＰ８に対する調査領域Ｆ１，Ｆ５，Ｆ８のみを示している。

調査領域Ｆｎの面積及び形状は、画像内での他車両の一般的な大きさを考慮して、実空間において例えば１ｍ四方の矩形状に相当する画像内の領域となるようにし、ステップＳ１で算出された相対位置に基づいて、カメラ１１が保持するカメラパラメータを用いて、カメラ１１で撮像される画像における面積が算出されることになる。したがって、図４に示すように、紙面上の下側（近方）に位置する調査点ＥＰ１を中心とする調査領域Ｆ１は、紙面上の上側（遠方）に位置する調査点ＥＰ５を中心とする調査領域Ｆ５よりも面積が大きくなっている。

画像演算処理部１３にて算出された各調査点ＥＰｎに対する各調査領域Ｆｎの面積は、メモリ１４の調査点情報記憶領域に、調査領域サイズ情報として、その幅情報（width：Ｘ軸方向）と、長さ情報（length：Ｙ軸方向）とが格納される。

ステップＳ３において、画像演算処理部１３は、ステップＳ１で設定した調査点ＥＰｎを線分中の中心点とし、ステップＳ２で設定した調査領域Ｆｎを分割する分割線Ｌｎ（ｎは、自然数）を設定する。すなわち、図４に示すように、調査点ＥＰ１，ＥＰ５，ＥＰ８ごとに、調査領域Ｆ１，Ｆ５，Ｆ８をそれぞれ分割する分割線Ｌ１，Ｌ５，Ｌ８を設定する。

この分割線Ｌｎの傾きは、周囲画像内での他車両の動き方向に応じて任意に設定することができる。例えば、図４に示すように、カメラ１１の視軸に対して水平方向、すなわち画像内で水平方向に移動する他車両を検出する場合には、Ｘ軸と平行（傾き角：０度）に分割線Ｌｎを設定する。また、図６に示すように、カメラ１１の視軸に対してずれた方向（ここでは矢印Ａ方向）に移動する他車両に対しては、調査点ＥＰを通過し、且つ調査領域Ｆｎを対角線状（傾き角：４５度）に分割する分割線Ｌｎを設定することによって、分割線Ｌｎに傾きを与える。

このように、調査領域Ｆｎに分割線Ｌｎを設定すると、調査領域Ｆに上部領域ＯＦｎ（ｎは、自然数）と、下部領域ＵＦｎ（ｎは、自然数）とを形成することになり、図４に示すように、調査領域Ｆ１，Ｆ５，Ｆ８に対して上部領域ＯＦ１，ＯＦ５，ＯＦ８と、下部領域ＯＦ１，ＯＦ５，ＯＦ８とが、それぞれ形成される。

ステップＳ４において、画像演算処理部１３は、ステップＳ３において、調査領域Ｆｎを分割線Ｌｎで分割することにより形成される上部領域ＯＦｎ内の特徴量を算出する。ステップＳ４では、この上部領域ＯＦｎのディジタル画像データから、空間周波数を算出し、当該空間周波数を特徴量として用いる。ここで、調査領域Ｆ内に他車両がなく路面のみの大まかな色及び輝度変化である場合には、低い空間周波数の振幅スペクトルが高くなり、調査領域Ｆ内に他車両が存在し複雑な色及び輝度変化がありエッジ成分が多い場合には、高い空間周波数の振幅スペクトルが高くなる。これにより、上部領域ＯＦｎのディジタル画像データが、カメラ１１により、どのようなものを撮像することで得られたのかを取得する。

このとき、画像演算処理部１３は、上部領域ＯＦｎのディジタル画像データに対し、例えばディジタル画像ｆ（ｎ_１，ｎ_２）について下記の式（１）を用いた離散フーリエ変換を施して、空間周波数へと変換する。

この式（１）において、画像ｆの画素数、つまり上部領域ＯＦｎの画素数は、Ｎ_１×Ｎ_２個であるとする。また、ディジタル画像ｆ（ｎ_１，ｎ_２）は、上部領域ＯＦｎ内の座標（ｎ_１，ｎ_２）でのディジタル画像データの輝度値である。なお、ここでは、離散フーリエ変換を用いて算出される空間周波数を使用したが、これに限定されず、空間周波数を表現する指標であれば、どのような指標を用いてもかまわない。

次のステップＳ５において、画像演算処理部１３は、ステップＳ４において算出された上部領域ＯＦｎの特徴量が、車両であるとみなされる条件を満たすかどうか、つまり処理対象となっている調査領域Ｆに車両が存在しているか否かを判定する。車両が存在していると判定した場合は、処理をステップＳ６へと進め、車両が存在していないと判定した場合は、処理をステップＳ４へと戻し、次の調査領域Ｆｎの特徴量を算出する処理を実行する。

このステップＳ５において、調査領域Ｆ内のディジタル画像データから得た特徴量が、車両であると見なす条件は、任意の周波数（ｋ_θ１，ｋ_θ２）よりも高い周波数の振幅スペクトルの値が閾値θ_ｃａｒ以上、つまり、Ｆ（ｋ_θ１，ｋ_θ２）＞θ_ｃａｒとし、これを満たす場合に車両とみなすことにする。ここで、振幅スペクトルの閾値は、予め実験等によって車両に相当するエッジ成分の空間周波数が多く含まれると判定される振幅が設定されている。

例えば、図７に示すように調査領域Ｆｎ及び分割線Ｌｎが設定されている場合、上部領域ＯＦｎには、車両が存在するため、式（１）により算出される空間周波数は、図８に示すように、高周波成分となっても高い振幅値が得られるが、上部領域ＯＦｎに車両が存在せず、路面などであった場合には、画像が一様であり、輝度変化が少ないため、式（１）により算出される空間周波数は、図９に示すように低周波成分の振幅が著しく高くなり、逆に高周波成分の振幅が低くなる。

このように、車両であるか否かを判定する判定基準である特徴量として、空間周波数を用いると、周波数成分の高低にのみ依存して車両か否かを判定するので、他車両の形状などに依存することが全くなくなり、正確に他車両の存在を検出することができることになる。

次のステップＳ６において、画像演算処理部１３は、現在の処理対象となっている調査領域Ｆの下部領域ＵＦｎについて特徴量を算出する。このとき、画像演算処理部１３は、上述したステップＳ４と同様に、式（１）を用いた離散フーリエ変換を下部領域ＵＦｎのディジタル画像データに施すことにより、下部領域ＵＦｎの空間周波数の振幅を得る。

次のステップＳ７において、画像演算処理部１３は、ステップＳ６で算出された下部領域ＵＦｎの特徴量が、路面であるとみなされる条件を満たすか否か、つまり路面であるか否かを判定する。路面であると判定した場合は、処理をステップＳ８へと進め、路面でないと判定した場合は、処理をステップＳ４へと戻し、次の調査領域Ｆｎの特徴量を算出する処理が実行される。

ここで、特徴量が、路面であるとみなされる条件は、上述した任意の周波数（ｋ_θ１，ｋ_θ２）以上の振幅スペクトルの値が閾値θ_ｒｏａｄ以下、つまり、Ｆ（ｋ_θ１，ｋ_θ２）＜θ_ｒｏａｄとし、これを満たす場合に路面とみなすことにする。

例えば、図７に示すように調査領域Ｆｎ、分割線Ｌｎが設定されている場合、下部領域ＵＦｎには、車両が存在しないため、画像が一様であり、輝度変化が少ない。したがって、式（１）により算出される空間周波数は、図９に示すように、高周波成分の振幅が低くなる。

このように、路面であるか否かを判定する判定基準である特徴量として、空間周波数を用いると、周波数成分の高低にのみ依存して路面か否かを判定するので、路面中に白線などの道路標示や影などが存在していても車両と比較して高い空間周波数を含まないため、正確に路面であることの判定をすることができることになる。

次のステップＳ８において、画像演算処理部１３は、ステップＳ５において上部領域ＯＦｎが車両であると判定され、下部領域ＵＦｎが路面であると判定されたことに応じて、図５のテーブルデータから自車両と他車両との相対位置を求めることができる。また、このステップＳ５では、他車両が存在すると判定した調査点ＥＰを、表示部１５に表示させるモニター表示処理を行う。また、画像演算処理部１３は、図５に示したテーブルデータを使用して、車両の有無情報を更新することになる。

これにより、運転者に自車両２０に対する他車両の走行状態を提示する。このとき、画像演算処理部１３は、表示部１５に表示される画像は、例えば、自車両２０と調査点ＥＰｎとを相対的に視認できるような、仮想的に上空から見た鳥瞰図などを表示制御する。この鳥瞰図は、所定の時間間隔でリアルタイムで更新されていくので、運転者は、自分が搭乗して運転する自車両２０と、その周囲に存在する周囲車両との関係を、常に把握させることができる。

「特徴量としてヒストグラムの分散値を用いる場合」
つぎに、図３に示したフローチャートのステップＳ４及びステップＳ６において、画像演算処理部１３により算出されるディジタル画像データの特徴量として、輝度ヒストグラムの分散値を用いる場合について説明をする。画像演算処理部１３は、上部領域ＯＦｎのディジタル画像データから、輝度値毎の画素数である輝度ヒストグラムを算出し、算出した輝度ヒストグラムの分散値を算出して輝度値のばらつきぐあい求める。

具体的には、画像演算処理部１３は、下記の式（２）を用いて、輝度ヒストグラムの分散値σ^２を算出する。

ここで、Ｎ_１×Ｎ_２は、上部領域ＯＦｎ又は下部領域ＵＦｎの画素数であり、Ｉ（ｎ_１，ｎ_２）は、上部領域ＯＦｎ又は下部領域ＵＦｎ内のアドレス（ｎ_１，ｎ_２）でのディジタル画像データの輝度値を示している。

このように、ステップＳ４において、輝度ヒストグラムの分散値を特徴量として用いる場合、ステップＳ５において、画像演算処理部１３は、以下に示す条件に基づいて、上部領域ＯＦｎの特徴量が、車両であるとみなされる条件を満たすか否か、つまり車両であるか否かを判定する。

輝度ヒストグラムの分散値を特徴量とする場合、車両であるとみなす条件は、式（２）で算出された分散値σ^２が、任意の閾値θ_σｃよりも大きい、つまり、σ^２＞θ_σｃを満たす場合に車両とみなすことにする。輝度ヒストグラムの閾値は、予め実験等によって車両に相当する輝度値が多く含まれると判定される値が設定されている。

例えば、図７に示すように調査領域Ｆｎ、分割線Ｌｎが設定されている場合、上部領域ＯＦｎには、車両が存在するため、式（２）により算出される輝度ヒストグラムの分散値から、上部領域ＯＦｎの輝度分布は、図１０に示すようにランダムな分布になる。仮に、上部領域ＯＦｎに車両が存在せず、路面などであった場合には、図１１に示すような単峰の分布を示すことになる。

つまり、車両であるか否かを判定する判定基準である特徴量として輝度ヒストグラムの分散値を用いると、単峰な分布であるのか、ランダムな分布であるのかにのみ依存するため、車両の形状などに依存することが全くなくなる。したがって、正確に車両の存在を検出することができる。

また、画像演算処理部１３は、ステップＳ６において算出する下部領域ＵＦｎの特徴量として、式（２）により算出される輝度ヒストグラムの分散値を用い、ステップＳ７において、式（２）で算出された分散値σ^２が、任意の閾値θ_σｌよりも小さい、つまり、σ^２＜θ_σｌを満たす場合に路面とみなすようにすることもできる。

例えば、図７に示すように調査領域Ｆｎ、分割線Ｌｎが設定されている場合、下部領域ＵＦｎには、車両が存在しないため、式（２）により算出される輝度ヒストグラムの分散値から、下部領域ＵＦｎの輝度分布は、図１１に示すように単峰の分布を示すことになる。

つまり、路面であるか否かを判定する判定基準である特徴量として、輝度ヒストグラムの分散値を用いると単峰な分布であるのか、ランダムな分布であるのかにのみ依存する。したがって、路面中に白線などの道路標示や影などが存在していても、これらは単峰な分布を示すため、正確に路面の存在を検出することができる。

このように、画像演算処理部１３により算出される輝度ヒストグラムの分散値から得られる上部領域ＯＦｎ、下部領域ＵＦｎの輝度分布は、車両が存在する場合と、路面のみである場合とで大きな違いがある。したがって、この輝度ヒストグラムの分散値を、上部領域ＯＦｎ、下部領域ＵＦｎを、それぞれ解析するための特徴量として有効に用いることができる。

「特徴量としてエッジ密度を用いる場合」
つぎに、図３に示したフローチャートのステップＳ４及びステップＳ６において、画像演算処理部１３により算出されるディジタル画像データの特徴量として、エッジ密度を用いる場合について説明をする。画像演算処理部１３は、上部領域ＯＦｎ及び下部領域ＵＦｎのディジタル画像データに対して、例えば、Sobel（ゾーベル）フィルタなどを用いて、段階的に変化する濃淡を示す個所であるエッジを検出し、このエッジを強調した画像であるエッジ画像を生成する。そして、当該エッジ画像のうち、エッジ部分と認識される画素が上部領域ＯＦｎにどれだけの割合で存在するかを示すエッジ密度を算出する。なお、エッジ画像を生成する際に使用するフィルタを限定するものではなく、上述したSobelフィルタ以外にも、例えば、Prewitt（プレヴィット）フィルタなど、現在、知られているどのようなフィルタも用いることができる。

具体的には、画像演算処理部１３は、式（３）を用いて、エッジ密度ρを算出することになる。

ここで、Ｎ_１×Ｎ_２は、上部領域ＯＦｎの画素数であり、Ｓ（ｎ_１，ｎ_２）は、上部領域ＯＦｎ内のアドレス（ｎ_１，ｎ_２）でのディジタル画像データに対して、例えば、Sobelフィルタを施すことで得られるエッジ画像であるとする。また、θｓは、任意の閾値であるとする。ここで、エッジ密度の閾値は、予め実験等によって車両に相当するエッジが多く含まれると判定される密度が設定されている。

このように、ステップＳ４において、エッジ密度を特徴量として用いる場合、ステップＳ５において、画像演算処理部１３は、以下に示す条件に基づいて、上部領域ＯＦｎの特徴量が、車両であるとみなされる条件を満たすか否か、つまり車両であるか否かを判定する。

エッジ密度を特徴量とする場合、車両であるとみなす条件は、式（３）で算出されたエッジ密度ρが、任意の閾値θ_ｇｃよりも大きい、つまり、ρ＞θ_ｇｃを満たす場合に車両とみなすことにする。

図１２は、図６で示す調査領域Ｆｎのディジタル画像データにSobelフィルタを施して得られるエッジ画像である。図１２に示すように、調査領域Ｆｎ、分割線Ｌｎが設定されている場合、上部領域ＯＦｎには、車両が存在するため、Ｙ軸方向に連続する段階状の濃淡変化が多く存在し、エッジ部分が多く検出されることになる。したがって、式（３）により算出されるエッジ密度が高くなる。仮に、上部領域ＯＦｎに車両が存在せず、路面などであった場合には、エッジ密度は低くなる。

つまり、車両であるか否かを判定する判定基準である特徴量としてエッジ密度を用いると、エッジ部分の割合にのみ依存するため、車両の形状などに依存することが全くなくなる。したがって、正確に車両の存在を検出することができる。

また、画像演算処理部１３は、ステップＳ６において算出する下部領域ＵＦｎの特徴量として、式（３）により算出されるエッジ密度を用い、ステップＳ７において、式（３）で算出されたエッジ密度ρが、任意の閾値θ_ｇｌよりも小さい、つまり、ρ ＜θ_ｇｌを満たす場合に路面とみなすようにすることもできる。

例えば、図１２に示すように、調査領域Ｆｎ、分割線Ｌｎが設定されている場合、下部領域ＵＦｎには車両が存在しないため、エッジ部分がほとんど検出されず、式（３）により算出されるエッジ密度は低くなる。

つまり、路面であるか否かを判定する判定基準である特徴量として、エッジ密度を用いるとエッジ画像の割合にのみ依存する。したがって、路面中に白線などの道路標示や影などが存在していても、これらはエッジ画像の割合は低い、つまりエッジ密度が低いため、正確に路面の存在を検出することができる。

このように、画像演算処理部１３により算出されるエッジ密度から上部領域ＯＦｎ、下部領域ＵＦｎは、車両が存在する場合と、路面のみである場合とで大きな違いがある。したがって、このエッジ密度を、上部領域ＯＦｎ、下部領域ＵＦｎを、それぞれ解析するための特徴量として有効に用いることができる。

上述したように、ステップＳ４，Ｓ５における上部領域ＯＦｎの車両の判定する際の特徴量、ステップＳ６，Ｓ７における下部領域ＵＦｎの路面の判定をする際の特徴量として、画像演算処理部１３は、空間周波数、輝度ヒストグラムの分散値、エッジ密度のいずれかを算出し、調査領域Ｆｎに車両が存在するか、しないかを判定している。

この画像演算処理部１３で算出する特徴量は、上部領域ＯＦｎ、下部領域ＵＦｎとで、異なる特徴量を使用することもできる。具体的には、図１３に示すように、上部領域ＯＦｎ、下部領域ＵＦｎで使用できる特徴量は、９種類の組み合わせが考えられることになる。

本発明を実施するための最良の形態として示す物体検出装置は、画像演算処理部１３での特徴量を用いた車両の判定を実行する際、この９種類の組み合わせのいずれを用いた場合でも、各調査点ＥＰｎを中心とする調査領域Ｆｎにおける上部領域ＯＦｎでの車両検出、下部領域ＵＦｎでの路面検出を少ない演算量で、確実に実行することができる。

［実施形態の効果］
以上詳細に説明したように、本発明を適用した物体検出装置によれば、自車両２０周囲を撮像した画像に調査点及び当該調査点を含む調査領域を設定し、当該調査領域の特徴量を求めることによって、自車両２０周囲の他車両等の物体を検出するので、調査点の画像内座標に対応した実空間における自車両との相対距離から、調査点を設定した物体の位置を求めることができる。したがって、単一のカメラ１１であっても確実に他車両等を検出することができ、ステレオカメラシステム等の高価な構成や複雑な処理を行うことを回避することができる。

また、この物体検出装置によれば、上部領域に物体が存在し、下部領域に物体が存在していないと判定された場合に、当該調査領域に含まれる調査点から自車両２０との相対位置との距離を算出するので、例えば上部に他車両が存在し、下部に路面が存在するといった状況を利用して確実に路面上の障害物を検出することができる。更には、他の障害物が他車両であるという誤検出を低減することができ、また、他車両の形状に依存することなく、更に路面上の白線を検出しないので路面に白線が存在しなくても他車両の検出を行うことができる。

更に、この物体検出装置によれば、上部領域に他車両が存在し、下部領域に路面が存在すると判定された場合に、分割線を他車両の接地位置とするので、正確に他車両の位置を求めて、自車両２０との相対位置を求めることができる。

更にまた、この物体検出装置によれば、調査点を中心とし、自車両２０に対する他車両の移動方向に基づいて分割線の傾きを決定することができるので、自車両２０に対して一定方向に他車両が移動する場合のみならず、任意に分割線の傾きを変更することによって、更に確実に且つ誤検出を低減して他車両を検出することができる。

更にまた、車両か否かを判定するための特徴量として、空間周波数を用い、周波数成分の高低にのみ依存して車両か否かを判定するので、他車両の形状などに依存することが全くなくなり、正確に他車両の存在を検出することができ、更には、路面であるか否かを判定するための特徴量として、空間周波数を用い、周波数成分の高低にのみ依存して路面か否かを判定するので、路面中に白線などの道路標示や影などが存在していても車両と比較して高い空間周波数を含まないため、正確に路面であることの判定をすることができることになる。

更にまた、車両であるか否かを判定するための特徴量として輝度ヒストグラムの分散値を用い、単峰な分布であるのかランダムな分布であるのかにのみ依存して車両か否かを判定するので、車両の形状などに依存することが全くなく、正確に車両の存在を検出することができ、更には、路面であるか否かを判定するための特徴量として、輝度ヒストグラムの分散値を用い、単峰な分布であるのかランダムな分布であるのかにのみ依存し路面か否かを判定するので、路面中に白線などの道路標示や影などが存在していても、これらは単峰な分布を示すため、正確に路面の存在を検出することができる。

更にまた、車両であるか否かを判定するための特徴量としてエッジ密度を用い、エッジ部分の割合にのみ依存して車両か否かを判定するので、車両の形状などに依存することが全くなく、正確に車両の存在を検出することができ、更には、路面であるか否かを判定するための特徴量として、エッジ密度を用い、エッジ画像の割合にのみ依存して路面であるか否かを判定するので、路面中に白線などの道路標示や影などが存在していても、これらはエッジ画像の割合は低い、つまりエッジ密度が低いため、正確に路面の存在を検出することができる。

更にまた、この物体検出装置によれば、調査点を設定するに際して、エッジ検出処理を行ってエッジ部分に調査点を検出するので、確実に他車両を検出することができ、更に確実に他車両を検出することができる。

なお、上述の実施の形態は本発明の一例である。このため、本発明は、上述の実施形態に限定されることはなく、この実施の形態以外であっても、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることは勿論である。

すなわち、上述した発明を実施するための最良の形態においては、自車両２０の周囲にある他車両の位置を検出するような説明となっているが、本発明はこれに限定されるものではなく、車両以外の障害物も同様に検出し、その位置を容易に算出することができる。

また、自車両２０の制動装置や操舵装置を物体検出装置と連動させることで、画像演算処理部２０により算出された周囲の他車両位置と自車両位置とが所定の値以下となった場合に、近づきすぎた他車両を回避するような制御を行うように構成することもできる。

更に、上述した物体検出装置では、調査領域Ｆを上部領域ＯＦと下部領域ＵＦとの２つの領域に分割した一例について説明したが、上下方向及び斜め方向に分割してそれぞれの領域の特徴量を求めて物体検出を行っても良い。

本発明を実施するための最良の形態として示す物体検出装置の構成について説明するための図である。同物体検出装置の車両内への取り付け位置の一例並びに検出する周囲車両の検出領域の一例を示した図である。同物体検出装置が備える画像演算処理部の動作について説明するためのフローチャートである。画像演算処理部が設定する調査点、調査領域、分割線、上部領域、下部領域について説明するための図である。メモリ領域の一部である調査点情報記憶領域について説明するための図である。画像演算処理部が設定する分割線のバリエーションについて説明するための図である。調査領域の上部領域に車両が存在し、下部領域が路面である場合の様子を示した図である。所望の領域において、車両が存在する場合の空間周波数と振幅との関係を示した図である。所望の領域において、車両が存在せず、路面である場合の空間周波数と振幅との関係を示した図である。所望の領域において、車両が存在する場合の輝度値の分布を示した図である。所望の領域において、車両が存在せず、路面である場合の輝度値の分布を示した図である。上部領域に車両が存在し、下部領域には、車両が存在せず路面であった場合のエッジ画像の一例を示した図である。特徴量の組み合わせを示した図である。

符号の説明

１１カメラ
１２画像メモリ
１３画像演算処理部
１４メモリ
１５表示部
２１リアウインドウ

Claims

自車両に搭載され、当該自車両の周囲を撮像する撮像手段と、
前記撮像手段により撮像された画像内に調査点を設定する調査点設定手段と、
前記調査点設定手段により設定された調査点を含み、当該調査点の画像内座標に対応した実空間における自車両との相対距離に応じて面積が決められた調査領域を画像内に設定する調査領域設定手段と、
前記調査領域設定手段により設定された調査領域内の画像の特徴量を算出する特徴量算出手段と、
前記特徴量算出手段により算出された特徴量に基づいて前記調査領域内での物体の有無を算出し、当該調査領域に含まれる調査点の画像内座標から前記物体と前記自車両との相対位置を算出する物体検出手段と、
前記調査領域設定手段により設定された調査領域を、前記調査点を通過し、当該調査点を中心として前記自車両に対する前記他車両の移動方向に基づく傾きとされた分割線により２以上の領域に分割する調査領域分割手段とを備え、
前記特徴量算出手段は、前記調査領域分割手段により分割された各領域内の特徴量をそれぞれ算出し、
前記物体検出手段は、前記特徴量算出手段により算出された特徴量に基づき、前記調査領域分割手段により分割された各領域内に物体が存在するか否かを判定し、前記調査領域分割手段により分割された各領域のうち、前記画像の上部に位置する上部領域に他車両が存在し、前記画像の下部に位置する下部領域に前記路面が存在すると判定された場合に、当該調査領域に含まれる調査点から前記自車両との相対位置との距離を算出することを特徴とする物体検出装置。
前記物体検出手段は、前記調査領域分割手段により分割された各領域のうち、前記画像の上部に位置する上部領域に他車両が存在し、前記画像の下部に位置する下部領域に路面が存在すると判定された場合に、前記分割線を前記他車両の接地位置とすることを特徴とする請求項１に記載の物体検出装置。
前記特徴量算出手段により算出される特徴量は、画像データから算出される空間周波数であることを特徴とする請求項１又は請求項２に記載の物体検出装置。
前記特徴量算出手段により算出される特徴量は、画像データから算出される輝度ヒストグラムの分散値であることを特徴とする請求項１又は請求項２に記載の物体検出装置。
前記特徴量算出手段により算出される特徴量は、画像データから算出されるエッジ画像に含まれるエッジ部分の割合であるエッジ密度であることを特徴とする請求項１又は請求項２に記載の物体検出装置。
前記調査点設定手段は、前記撮像手段により撮像された前記画像のエッジ部分に、前記調査点を設定することを特徴とする請求項１乃至請求項５の何れかに記載の物体検出装置。