JP4013732B2 - 車両用外界認識装置 - Google Patents
車両用外界認識装置 Download PDFInfo
- Publication number
- JP4013732B2 JP4013732B2 JP2002315354A JP2002315354A JP4013732B2 JP 4013732 B2 JP4013732 B2 JP 4013732B2 JP 2002315354 A JP2002315354 A JP 2002315354A JP 2002315354 A JP2002315354 A JP 2002315354A JP 4013732 B2 JP4013732 B2 JP 4013732B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- image processing
- distance measurement
- processing
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、レーザなどの電磁波を用いて、スキャニングすることにより、物体との相対位置を検知する装置に関する。
【０００２】
【従来の技術】
レーザの照射範囲を複数の検知エリアに区切り、各検知エリアの受信強度から物体の存在を判定する物体検知装置が提案されている（特許文献１参照）。この装置では、各検知エリアの受信強度の加算値と閾値との比較を行うため、物体との相対距離に関わらず確実に物体を検知することが可能となるものである。
【０００３】
【特許文献１】
特開２０００−２８７１８号公報（第４〜６頁）
【０００４】
【発明が解決しようとする課題】
しかしながら、上述の特許文献１に記載のような装置では、レーダからの電磁波を反射する反射物が、その全体で完全に電磁波を反射できないとき(物体の一部が検知範囲から外れる等により物体の本当の大きさに対する反射可能エリアが異なる場合)には、正しい相対横位置が検出できない場合が生じる。これについて図７〜図９を用いて説明する。時刻ｔ０において隣接レーンから自車進行方向の前方に割り込む車両が存在し、時刻ｔ１において割り込み車両の一部がレーダ視野角に入る。このとき、反射可能エリアを検知し、検知リフレクタ群の左端と右端の中心位置を車両の横位置として認識する。よって、図８の実線で示す位置に割り込み車両が位置し、左端側のみのリフレクタによって横位置を認識することになる。その後、時刻ｔ２において車両全体が視野角に入り、図中右端側と左端側のリフレクタから横位置を認識するため、図８の場合、横位置が図中左側に移動することとなる。図９は物体検知装置が認識している割り込み車両の横位置と物体の幅（車幅）との関係を表すタイムチャートである。図９の横位置のタイムチャートに示すように、車幅が大きく変化すると、レーダ出力の相対横位置に段差が生じる。
【０００５】
ところで、レーダと画像のフュージョンによる外界認識システムでは、レーダで検知した位置結果を用いて、撮像結果における注目すべき画像領域を絞り込む。そして、注目すべき画像領域に対して所定の画像処理を行う。これにより、画像単体での外界認識と比べて、処理時間の短縮や信頼性の向上を実現するものである。例として、フュージョンシステムによる代表的な処理シーケンスを図１０に示す。処理１において、物体を発見すると、処理２において、画像処理領域を決定する。次に、処理３において、決定された画像処理領域の特徴を厳密に検出し、微分画像によるエッジ検出を行う初回画像処理を行う。次に、処理４において、ターゲットとして判断した領域の縦エッジを追跡するトラッキングを行う。
【０００６】
このようなフュージョンシステムにおいて、上述のレーダ視野角左右端における問題が生じる場合では、撮像結果における注目すべき画像領域は、図１１に示すように、検知したい物体の一部が欠ける。すると、この注目領域には検知したい物体の特徴を表す領域も欠ける。例えば、車の特徴として、車両の左右端を表す２本の縦エッジと、縦エッジの間にバンパ等を表す一本以上の横エッジが存在し、Ｈ型のエッジが出る。
【０００７】
このため、本来はカメラの画像の視野に入っている物体であり、画像による物体検知が可能であるが、レーダの視野角ぎりぎりのため、画像から物体を検出することができない。もともとレーダの苦手とする領域を画像で補うことがフュージョンシステムの目的であるが、レーダの苦手とするところを画像も苦手とするため、フュージョンシステムの目的が達成されないという問題があった。
【０００８】
また、レーダのずれた位置に含まれる背景によっては、本来物体の存在しない画像領域に、検知したい物体の特徴が出てしまい、誤った物体検出を画像処理で行ってしまうという問題が生じる。
【０００９】
本発明は、上述の課題に鑑み、レーダ視野角の左右端付近に検知したい物体が存在する場合であっても、誤った画像処理による物体検出を行うことのない車両用外界認識装置を提供することを目的とする。
【００１０】
【課題を解決するための手段】
上記目的を達成するため、本願発明では、自車周辺の物体を検知して、自車と検知した物体との相対位置を出力するスキャニング式測距手段と、自車周辺の状況を撮像する撮像手段と、前記スキャニング式測距手段を用いて前記撮像手段の撮像結果から特徴検出に関する処理領域を決める画像処理手段と、を備えた車両用外界認識装置において、前記スキャニング式測距手段の出力に基づき各物体の測距状況を把握する測距状況把握手段と、該測距状況把握手段の出力に応じて前記画像処理手段で前記物体の特徴検出処理する前記処理領域を変更する画像処理変更手段と、を備え、前記測距状況把握手段は、前記スキャニング式測距手段により視野角の左右端付近に前記物体を検知したときに、前記画像処理変更手段に対し前記処理領域を変更する情報を出力することで、上記課題を解決するに至った。
【００１１】
本願発明にあっては、スキャニングにより検知した各物体について、その検知状況を把握する。そして、検知状況の把握結果から、スキャニング式測距手段により視野角の左右端付近に物体を検知したら、画像の処理領域を一時的に変更する。このようにして、変更した画像処理により検知した物体位置は、実際には存在しない画像領域に物体が存在する誤検知することを防ぐことができる。また、レーダと画像の位置を統合して１つの位置を決める際には、誤って画像の位置の信頼性を高くすることを防ぐことができる。
【００１２】
【発明の実施の形態】
以下、本発明における車両用外界認識装置の実施形態について実施例をもとに説明するが、本発明は実施例に限定されるものではない。
【００１３】
（第１実施例）
図１は、この発明の第１実施例を示す図である。まず構成を説明すると、車両の先頭にはスキャニング式のレーザレーダ１が設けられている。このレーザレーダ１には、走査した結果から障害物候補を抽出するレーダ処理装置２が接続され、このレーダ処理装置２では一つ又は複数の障害物候補に対して自車両を原点とする２次元（車間距離方向と車幅方向）座標値の算出と、障害物候補の幅（大きさ）の算出が実施される。
【００１４】
また、自車前方の状況を高速に把握するプログレッシブスキャン式の３CCDカメラ３が搭載されている。この3CCDカメラ３の撮像結果が画像処理装置４に接続されている。この画像処理装置４ではレーダ処理装置２で捕捉した障害物候補の座標付近の画像データを記憶し、自車両のピッチング変動等によりレーダ検知物体をロストした場合に、画像処理により物体を検知する処理が実施される。
【００１５】
レーダ処理装置２の出力、および画像処理装置４の出力は外界認識装置５に接続されている。この外界認識装置５には、自車両の状態量を推定するために従属左右車輪速度を検出する車速検出装置６と、前輪操舵角を検出する操舵角検出装置７が接続されている。
【００１６】
上述のようなハード構成から、本発明の測距状況把握手段と後段の処理（相対速度算出処理や障害物判断処理）変更手段等の演算処理が行われ、これにより高度な車両用の外界認識システムが実施される。
【００１７】
外界認識装置５では、レーダ処理装置で検知した各物体が自車両にとって障害物であるか否かを正確に判断し、その判断結果は自動ブレーキ制御装置８に出力される。そして、前後輪には任意な制動力を達成する負圧ブレーキブースタ９が接続され、自車両の自動ブレーキ制御８からの制動力指令電圧が負圧ブレーキブースタ９のソレノイドバルブに印加されることにより行われる。
【００１８】
これらのレーダ処理装置２や自動ブレーキ制御装置８は、それぞれマイクロコンピュータとその周辺部品や各種アクチュエータの駆動回路などを備え、互いに通信回路を介して情報を送受信する。
【００１９】
図２は、第１実施例における車両用外界認識装置の制御構成を表すブロック図である。まず構成を説明すると、図中の101は物体との相対位置を出力するスキャニング式測距手段、102は自車周辺状況を撮像する撮像手段、103はスキャニング式測距手段の測距結果に基づき撮像手段102の撮像結果における注目領域を狭めて画像処理を行う画像処理手段、104はスキャニング式測距手段101で検知した物体の測距状況を把握する測距状況把握手段、105は測距状況把握手段104の出力をトリガーとして画像処理手段103の画像処理を変更する画像処理変更手段である。
【００２０】
図３は第１実施例における相対速度算出制御を表すフローチャートである。この実施例は、請求項１，２，３，４，５，７項に対応するものであり、自車前方の状況を把握するスキャニング式レーザレーダの走査結果（位置の変化や幅の変化）から、検知物体の測距状況を把握し、画像処理に関する処理内容を一時的に変更することで信頼性の高い画像処理を行う場合である。尚、本制御は１００［ｍｓ］毎に実施されるものとする。
【００２１】
ステップ２０１では、スキャニング式レーザレーダ１の検知した各物体の位置ベクトル（横方向：Px_z0, 縦方向Py_z0），および、物体の幅（大きさ：W_z0）を読み込む。なお、添え字のz0とは今回の値を、z1は１サンプリング（100ms）過去の値を、znはnサンプリング過去の値を、それぞれ意味する。
【００２２】
ステップ２０２では、ステップ２０１で読み込んだ検知物体の縦位置と横位置が、次式（１）を満足する場合には、ｂｎｄｒｙＦｌａｇ＝０を代入してステップ２０６へ進み、そうでない場合には、ｂｎｄｒｙＦｌａｇ＝１を代入してステップ２０３へ進む
Ｋ１ Ｔｈ＿Ｌ ＜ ａｔａｎ（ Ｐｘ＿ｚ０ ／ Ｐｙ＿ｚ０ ） ＜ Ｋ１ Ｔｈ＿Ｒ ・・・ （１）
ここで、ａｔａｎ（Ａ）とは、Ａ（引数ａｒｇｕｍｅｎｔの頭文字）の逆正接値を出力する関数であり、Ｋ１は１未満の正数であり、Ｔｈ＿ＬとＴｈ＿Ｒはスキャニングレーザレーダの視野角における左右端の角度を表すものである。例えば、視野角１２ｄｅｇのスキャニング式レーザレーダで自車の進行方向右側をプラスとした場合、自車正面を中心（ゼロｄｅｇ）として、Ｔｈ＿Ｌ ＝ −６［ｄｅｇ］，Ｔｈ＿Ｒ ＝ ＋６［ｄｅｇ］ となる。式１を満足しない場合には検知物はレーダ視野角の左右端付近に存在する微妙な測距状態であることが分かるため、後述する画像処理を確実に変更することができる（請求項１に対応）。
【００２３】
ステップ２０３では、ステップ２０１で読み込んだ検知物体の幅が、次式（２）を満足する場合にはステップ２０７へ、そうでない場合にはステップ２０４へ進む。
Ｗ＿ｚ０ ＜ Ｔｈ＿Ｗ１ ・・・（２）
ここで、Ｔｈ＿Ｗ１とは、警報や制御する対象として扱う物体の幅から決まる閾値である。すなわち、レーダ検知物の幅が小さいか否かを判断することで、ステップ２０２と同様に、検知物がレーダ視野角の左右端付近に存在する微妙な測距状態であるかどうかが分かるため、後述する画像処理を確実に変更することができる（請求項２に対応）。
【００２４】
ステップ２０４では、ステップ２０１で読み込んだ検知物体の幅とその過去値が、次式（３）を満足する場合にはステップ２０５へ、そうでない場合にはステップ２０６へ進む。
Ｗ＿ｚ０ − Ｗ＿ｚ１ ＞ Ｔｈ＿Ｗ２ ・・・（３）
ここで、Ｔｈ＿Ｗ２とは幅の変化に関する正の閾値であり、障害物とする物体の大きさから決めても良い。すなわち、式３を満足すれば、検知幅の急な増加を意味するため、検知物がレーダ視野角の左右端付近に存在する微妙な測距状態であるかどうかが分かるため、後述する画像処理を確実に変更することができる（請求項３に対応）。
【００２５】
ステップ２０５では、画像処理モード（実施している画像処理は、後述する初回特徴検出処理と特徴追跡処理のどちらであるか）を示すフラグを次式（４）とする。
ＩＰ＿Ｓｔａｔｅ ＝ ０ ・・・ （４）
ここで、ＩＰ＿Ｓｔａｔｅ ＝ ０のときは、後述の処理で初回抽出を行うことを意味しており、ＩＰ＿Ｓｔａｔｅ ＝ １のときは、後述の処理で、特徴追跡処理を行うことを意味している。すなわち、レーダ視野角の左右端では実際の物体と異なる特徴を検知する場合がある。この誤った領域に検知物体を検出してしまい、それを追跡するモードに入っている場合でも、初期的な特徴検出状態を再度実施するので、誤った画像領域を追跡し続けることがない（請求項４に対応）。
【００２６】
ステップ２０６では、通常の透視変換を行い、ステップ２０１で求めた検知物の位置と、カメラの撮像結果から、画像処理する注目領域を決める。そして、ステップ２０８へ進む。
disp_obj_YA = ( yo + ( focusV * CAM_h2 / Py_z0 ) )
disp_obj_YB = (yo+(focusV*CAM_h/Py_z0)) ・・・(５)
disp_obj_XL = (xo+(focusH/Py_z0*Px_z0))-(focusH*wide/Py_z0)
disp_obj_XR = (xo+(focusH/Py_z0*Px_z0))+(focusH*wide/Py_z0)
ここで、disp_obj_＊＊とは画像処理を行う矩形領域の端っこの座標値であって、disp_obj_YAは矩形の上側、disp_obj_YBは矩形の下側、disp_obj_XLは矩形の左側、disp_obj_XRは矩形の右側の画像座標を表している。また、yoは消失点の縦座標[pix]を、xoは消失点の横座標[pix]を（yo,xoはカメラ取り付け位置と向きで決まるパラメータ）、focusVは画素換算したカメラの鉛直方向の焦点距離[pix]であり、focusH画素換算したカメラの水平方向の焦点距離[pix]であり、受光面が正方格子である場合にはfocusV=focusHである(focusVとfocusHはカメラ画角と受光素子の解像度で決まるパラメータ)。そして、CAM_hはカメラの取り付け高さ[m]で、CAM_h2はCAM_hから障害物候補として考慮すべき物体の高さ：obj_H[m]を減算した値であり、wideはレーザレーダの横方向位置の検知精度（標準偏差[m]）と障害物として考慮すべき物体の最大値との和で決まる幅[m]の半分の値を画素換算した値[pix]である。
【００２７】
ステップ２０７では、画像処理領域を、レーダの視野角外側方向に広げて透視変換を行い、画像処理する注目領域を決める。
ｉｆ（ Ｐｘ＿ｚ０ ＜ ０ ） ｃｍｐＬ ＝ Ｔｈ＿ｃｍｐ， ｃｍｐＲ ＝ ０
ｅｌｓｅ ｃｍｐＬ ＝ ０， ｃｍｐＲ ＝ Ｔｈ＿ｃｍｐ
ｄｉｓｐ＿ｏｂｊ＿ＹＡ ＝ （ ｙｏ ＋ （ ｆｏｃｕｓＶ ＊ ＣＡＭ＿ｈ２ ／ Ｐｙ＿ｚ０ ） ）
ｄｉｓｐ＿ｏｂｊ＿ＹＢ ＝ （ｙｏ＋（ｆｏｃｕｓＶ＊ＣＡＭ＿ｈ／Ｐｙ＿ｚ０）） ・・・（６）
ｄｉｓｐ＿ｏｂｊ＿ＸＬ ＝ （ｘｏ＋（ｆｏｃｕｓＨ／Ｐｙ＿ｚ０＊Ｐｘ＿ｚ０））−（ｆｏｃｕｓＨ＊ｗｉｄｅ／Ｐｙ＿ｚ０）−ｃｍｐＬ
ｄｉｓｐ＿ｏｂｊ＿ＸＲ ＝ （ｘｏ＋（ｆｏｃｕｓＨ／Ｐｙ＿ｚ０＊Ｐｘ＿ｚ０））＋（ｆｏｃｕｓＨ＊ｗｉｄｅ／Ｐｙ＿ｚ０）＋ｃｍｐＲ
ここで、ｉｆ （ｅｘｐｒｅｓｓｉｏｎ） ｓｔａｔｅｍｅｎｔ１ ｅｌｓｅ ｓｔａｔｅｍｅｎｔ２ とは、ｅｘｐｒｅｓｓｉｏｎを満たす場合にｓｔａｔｅｍｅｎｔ１ を実施し、ｅｘｐｒｅｓｓｉｏｎを満たさない場合にはｓｔａｔｅｍｅｎｔ２ を実施する関数である。また、Ｔｈ＿ｃｍｐとはレーダの視野角外側方向へ画像処理する領域を広げる量［ｍ］を表す正の値で、ｃｍｐＬは視野角の左側方向へ広げる量を、ｃｍｐＲは視野角の右側方向へ広げる量を、意味している。すなわち、検知したい物体の全てが処理領域に入っていないと判断されたときは、処理領域を広げることで、検知したい物体の全てが処理領域に入れることが可能となり、検知したい物体を画像から検出することができる。更に、実際には存在しない画像領域を誤って検知することがない（請求項５に対応）。
【００２８】
ステップ２０８では、現在実施中の画像処理モードを調べ、IP_State = 0（初回特徴検出処理状態）の場合にはステップ２０９へ、IP_State = 1（特徴追跡処理状態）の場合にはステップ２１１へ進む。
【００２９】
ステップ２０９では、上式（５）或いは式（６）で限定した注目領域に対して、次の要領で初回特徴検出処理を行う（図１０の処理１〜処理３に相当）。
▲１▼注目領域の微分画像をsobelフィルターなどにより求める（sobelフィルターとは、ある画素に隣接する画素同士の輝度変化を求める演算である）。
▲２▼求めた微分画像の輝度に関する平均値と分散値を用いて設定する閾値で2値化する（2値化とは、各画素の輝度＝ここでは微分画像の輝度が閾値以下の弱い場合には黒色、閾値以上の強い場合には白色と、2色に離散化する処理である）。
▲３▼2値化した画像の投影処理（輝度変化の強い白色の画素の数を画面の水平・垂直方向にそれぞれ加算するようにカウントする。すると、レーダ検知車両の左右端や上下端付近では、背景と車両の輝度変化が強いため、白色の画素が他の場所より多くカウントされること）を行う。
▲４▼投影結果から、2値画像におけるレーダ検知車両の四隅に相当する領域は、他の領域より投影量が多いため、クルマのエッジを検出することができる。本実施例では、クルマの左右端に相当する1対の縦方向のエッジペアを検出し、画面内座標を求める。ここで、求めたエッジペアの画像上の位置（水平方向座標値）をそれぞれSideEdge_RとSideEdge_Lとする。
▲５▼レーダ検知車両の画像上の幅：EdgeWidth は投影処理により検出したエッジペアの間隔[pix]から求められる（EdgeWidth = SideEdge_R−SideEdge_L）。
▲６▼投影結果における、SideEdge_RとSideEdge_Lの間に横方向のエッジが存在するかを調べる
▲７▼撮像結果の注目領域から、厳密な特徴（▲４▼の縦エッジペアと▲６▼の横エッジの組み合わせからなるH型のエッジ）を検出できた場合には、初回特徴検出処理を終了するためIP_State = 1に設定し、そうでない場合には、初回特徴検出処理が失敗＝画像のロストを意味するようにSideEdge_R=0, SideEdge_L=0, EdgeWidth=0, IP_State = 0と設定する。
【００３０】
ステップ２１０では、次式（７）〜（９）で、レーダ検知物の位置を画像からの位置[m]として算出して、ステップ２１３へ進む。
CamTate = Py_z0 ・・・（７）
CamYoko = ((((SideEdge_R+SideEdge_L) / 2)-xo)*Py_z0)/focusH ・・（８）
RealWidth = EdgeWidth * Py_z0 / focusH ・・・（９）
ここで、SideEdge_R=0, SideEdge_L=0の場合には、画像でのロストを意味する出力する値にCamTate とCamYokoを設定する。例えば、CamTate =CamYoko=256[m]とする。
【００３１】
ステップ２１１では、注目領域に対して次の要領で特徴追跡処理を行う（図１０の処理４に相当）。
▲１▼注目領域の微分画像をsobelフィルターなどにより求める。
▲２▼求めた微分画像の輝度に関する平均値と分散値を用いて設定する閾値で2値化する。
▲３▼2値化した画像から、前回のサンプリングで求めたSideEdge_RとSideEdge_L付近だけの２つ小領域を求める。
▲４▼２つの小領域のそれぞれに対して、投影処理を行う。
▲５▼２つの投影処理結果から、最も多くカウントされる（長い）エッジを、それぞれの小領域から1つずつ求める。ここで求めた２つの縦エッジを、今回のサンプリングにおけるSideEdge_RとSideEdge_Lとする。
▲６▼レーダ検知車両の画像上の幅：EdgeWidth をエッジペアの間隔[pix]から求める。
▲７▼撮像結果の注目領域から、簡素化した特徴（▲５▼の縦エッジペア）を検出できた場合には、特徴追跡処理の成功を意味するIP_State = 1に設定し、そうでない場合には、特徴追跡処理が失敗＝画像のロストを意味するようにSideEdge_R=0, SideEdge_L=0, EdgeWidth=0, IP_State = 0と設定する。
【００３２】
ステップ２１２では、次式（１０）〜（１２）で、レーダ検知物の位置を画像からの位置として算出する。
CamTate = (focusV * RealWidth) / (EdgeWidth) ・・・（１０）
CamYoko = ((((SideEdge_R+SideEdge_L)/2)-xo)*CamTate)/focusH ・・（１１）
RealWidth = EdgeWidth * CamTate / focusH ・・・（１２）
ここで、SideEdge_R=0, SideEdge_L=0の場合には、画像でのロストを意味する出力する値にCamTate とCamYokoを設定する。例えば、CamTate =CamYoko=256[m]とする。
【００３３】
ステップ２１３では、レーダ検知位置と画像からの検知位置を統合する。
ここで、統合して求められた横位置をｉｎｔｅｇｒａｔｅｄＰｘ、縦位置をｉｎｔｅｇｒａｔｅｄＰｙとし、ステップ２０２で求めたｂｎｄｒｙＦｌａｇ（検知物体がレーダ視野角の端っこに存在することを意味するフラグ）を用いて次式（１３）により、さらに修正する。
ｉｆ （ｂｎｄｒｙＦｌａｇ＝１）ｉｎｔｅｇｒａｔｅｄＰｘ＝ＣａｍＴａｔｅ， ｉｎｔｅｇｒａｔｅｄＰｙ＝ＣａｍＹｏｋｏ （１３）
ここで、ｉｆ （ｅｘｐｒｅｓｓｉｏｎ） ｓｔａｔｅｍｅｎｔ とは、ｅｘｐｒｅｓｓｉｏｎを満たす場合にｓｔａｔｅｍｅｎｔ を実施する関数である。すなわち、レーダで検知した物体位置と画像から検知した物体位置を１つの位置として統合する際に、画像処理領域を広げたときは特に画像処理による検知位置が、レーダ検知位置よりも正確であるため、画像処理結果の位置出力を重視することで、確実に検知物体の位置を検出することができる（請求項７に対応）。
【００３４】
ステップ２１４では、レーダ検知位置と画像からの検知位置を統合した位置を後段へ出力し、過去値の更新を行い、終了する。
【００３５】
次に、上記画像処理制御について図７〜図９を用いて状況別に説明する。
（前方に割り込み車両が存在し、その車両がレーダ視野角の左右端に存在するとき）
前方に割り込み車両が存在し、その車両がレーダ視野角の左右端に存在するとき（時刻ｔ０〜ｔ１）は、ステップ２０１→ステップ２０２→ステップ２０３→ステップ２０７→ステップ２０７→ステップ２０８→ステップ２０９→ステップ２１０→ステップ２１３→ステップ２１４へと進む。すなわち、検知物体がレーダ視野角の左右端で、幅が小さければ、レーダ視野角内に検知物体全てが存在していないと判断し、視野角外側に画像処理領域を広げた状態で物体を検知する。
【００３６】
（前方に割り込み車両が存在し、その車両がレーダ視野角の左右端から更にレーダ視野角内に入ってきた状態）
前方に割り込み車両が存在し、その車両がレーダ視野角の左右端から更に横方向自車両側に移動してきたとき（時刻ｔ１〜ｔ２）は、ステップ２０１→ステップ２０２→ステップ２０３→ステップ２０４→ステップ２０５→ステップ２０６→ステップ２０８→ステップ２０９→ステップ２１０→ステップ２１３→ステップ２１４へと進む。すなわち、検知物体がレーダ視野角の左右端に存在するときは検知物体の幅が小さいが、徐々に横方向自車両側に移動しレーダ視野角内に入ると、左右のリフレクタを認識するため検知物体の幅が急激に大きくなる（図７〜９参照）。このときは、初回処理終了フラグを未処理とし、再度初回特徴検出処理を実行することで、物体を正確に検知することができる。
【００３７】
（前方に割り込み車両が存在し、その車両がレーダ視野角内に存在するとき）
前方の割り込み車両がレーダ視野角内に完全に入ったとき（時刻ｔ３〜ｔ４）は、ステップ２０１→ステップ２０２→ステップ２０６→ステップ２０８→ステップ２１１→ステップ２１２→ステップ２１３→ステップ２１４へと進む通常の制御を実行する。
【００３８】
以上説明したように、第１実施例にあっては、画像による物体検知における処理を一時的に変更するため、スキャニングレーザレーダの視野角の左右端付近に検知物体が存在する際に、レーダ出力位置に誤差や急変が生じた場合でも、画像から正しく物体検出を行うことができる。更に、レーダと画像の位置出力結果を統合する際には、精度の悪いレーダ側の結果を重視しないようになる。このため、フュージョンシステムが高性能に機能することが可能となり、これを用いた障害物判断処理では判断結果の正確さも向上する。なお、検知物体が複数出現した場合について明記していないが、複数の物体を検知した場合には各物体に対して同様の処理を行う。
【００３９】
（第２実施例）
次に第２実施例について説明する。基本的なハード構成は第１実施例と同様であるため、異なる点についてのみ説明する。この第２実施例は、請求項１，２、６項に対応するものであり、第１実施例はレーザレーダ視野角付近の横位置段差に対して画像処理を一時的に変更することにより、より正確な画像による物体検出を行うものであるが、第２実施例では、レーダ視野角の左右端では、一時的に画像処理を行わないようにして、画像処理で誤った物体検出の発生防止と処理負荷の軽減を行う場合である。
【００４０】
図４は第２実施例における相対速度算出制御及び障害物判断制御を表すフローチャートである。本実施例も100ms毎に実施され、ステップ３０１は第1実施例のステップ２０１と同様なので省略する。
【００４１】
ステップ３０２は、ステップ２０２と同様であるが、次式（１４）からαを求める。
α = func1[ abs{ atan( Px_z0 ／ Py_z0 )} − K1 Th_R ]・・ （１４）
ここで、func1(A)とは図５のような特性を有する関数であって、func1∈[0, 1]の範囲をとる。すなわち、αが大きいほど検知物が端っこに存在することを意味する。
【００４２】
ステップ３０３は、ステップステップ２０３と同様であるが、次式（１５）からβを求める。
β＝func2{ W_z0 − Th_W1 } ・・・（１５）
ここで、func2(A)とは図６のような特性を有する関数であって、func2∈[0, 1]の範囲をとる。すなわち、βが大きいほど、物体が小さいことを意味する。
【００４３】
ステップ３０４は、ステップ３０２とステップ３０３で求めたαとβが、次式（１６）満足する場合にはステップ３０５へ、そうでない場合にはステップ３０６へ進む。
α＋β ＞ Ｔｈ＿ＩＰ ・・・ （１６）
ここで、Ｔｈ＿ＩＰは、画像処理を強制的に中止させる頻度（傾向）表す閾値で、２未満の正の値をとる。このように、レーダ視野角の左右端に存在する可能性がある場合には、画像処理を強制的に中止することで、実際には存在しない物体を誤検知してしまい、レーダによる検知と画像処理による検知のフュージョンを行うことで、かえって誤った位置を検知することを防止することができる（請求項６に対応）。
【００４４】
ステップ３０５は、画像処理による物体検出が失敗（ロスト）であることを意味する値として、SideEdge_R=0, SideEdge_L=0, EdgeWidth=0, IP_State = 0, CamTate =CamYoko=256[m]と設定する。さらに、レーダと画像の統合後の位置をintegratedPx= integratedPy= 256[m]とロストを意味する値に設定し、ステップ３１３へ進む。
【００４５】
ステップ３０６は、第1の実施例におけるステップ２０６と同様のため、省略する。
【００４６】
ステップ３０７からステップ３１２は、第1の実施例におけるステップ２０８からステップ２１３と同様のため、省略する。
【００４７】
ステップ３１３は、第１の実施例におけるステップ２１４と同様のため、省略する。
【００４８】
このようにして、レーダ視野角の左右端付近で検知物体の横位置に誤差や段差が生じる可能性のある場合には、画像処理を行わない処理に一時的に変更する。そして、レーダと画像の位置出力を統合する際には、強制的にロストとする。これにより、志は低いが、画像処理で誤った物体検出の発生防止と処理負荷の軽減を行うことができるため、フュージョンによる外界認識システムで、誤認識を防ぐことが可能な車両用外界認識装置が実現される。
【図面の簡単な説明】
【図１】第１実施例における基本構成を示す概略図である。
【図２】第１実施例における、外界認識装置の制御構成を表すブロック図である。
【図３】第１実施例における、画像処理制御を表すフローチャートである。
【図４】第２実施例における、画像処理制御を表すフローチャートである。
【図５】第２実施例における、関数fanc１の特性を表すマップである。
【図６】第２実施例における、関数fanc2の特性を表すマップである。
【図７】割り込み車両を検知した場合の測距状況を表す概略図である。
【図８】割り込み車両を検知した場合のリフレクタと車両中心の関係を表す図である。
【図９】割り込み車両を検知した場合の横位置及び車幅の関係を表す図である。
【図１０】画像処理シーケンスを表す図である。
【図１１】画像処理における視野角端部において、エッジが検出できない状態を表す図である。
【符号の説明】
１ レーザレーダ
２ レーダ処理装置
３ CCDカメラ
４ 画像処理装置
５ 外界認識装置
６ 車速検出装置
７ 操舵角検出装置
８ 自動ブレーキ制御装置
９ 負圧ブレーキブースタ
【発明の属する技術分野】
本発明は、レーザなどの電磁波を用いて、スキャニングすることにより、物体との相対位置を検知する装置に関する。
【０００２】
【従来の技術】
レーザの照射範囲を複数の検知エリアに区切り、各検知エリアの受信強度から物体の存在を判定する物体検知装置が提案されている（特許文献１参照）。この装置では、各検知エリアの受信強度の加算値と閾値との比較を行うため、物体との相対距離に関わらず確実に物体を検知することが可能となるものである。
【０００３】
【特許文献１】
特開２０００−２８７１８号公報（第４〜６頁）
【０００４】
【発明が解決しようとする課題】
しかしながら、上述の特許文献１に記載のような装置では、レーダからの電磁波を反射する反射物が、その全体で完全に電磁波を反射できないとき(物体の一部が検知範囲から外れる等により物体の本当の大きさに対する反射可能エリアが異なる場合)には、正しい相対横位置が検出できない場合が生じる。これについて図７〜図９を用いて説明する。時刻ｔ０において隣接レーンから自車進行方向の前方に割り込む車両が存在し、時刻ｔ１において割り込み車両の一部がレーダ視野角に入る。このとき、反射可能エリアを検知し、検知リフレクタ群の左端と右端の中心位置を車両の横位置として認識する。よって、図８の実線で示す位置に割り込み車両が位置し、左端側のみのリフレクタによって横位置を認識することになる。その後、時刻ｔ２において車両全体が視野角に入り、図中右端側と左端側のリフレクタから横位置を認識するため、図８の場合、横位置が図中左側に移動することとなる。図９は物体検知装置が認識している割り込み車両の横位置と物体の幅（車幅）との関係を表すタイムチャートである。図９の横位置のタイムチャートに示すように、車幅が大きく変化すると、レーダ出力の相対横位置に段差が生じる。
【０００５】
ところで、レーダと画像のフュージョンによる外界認識システムでは、レーダで検知した位置結果を用いて、撮像結果における注目すべき画像領域を絞り込む。そして、注目すべき画像領域に対して所定の画像処理を行う。これにより、画像単体での外界認識と比べて、処理時間の短縮や信頼性の向上を実現するものである。例として、フュージョンシステムによる代表的な処理シーケンスを図１０に示す。処理１において、物体を発見すると、処理２において、画像処理領域を決定する。次に、処理３において、決定された画像処理領域の特徴を厳密に検出し、微分画像によるエッジ検出を行う初回画像処理を行う。次に、処理４において、ターゲットとして判断した領域の縦エッジを追跡するトラッキングを行う。
【０００６】
このようなフュージョンシステムにおいて、上述のレーダ視野角左右端における問題が生じる場合では、撮像結果における注目すべき画像領域は、図１１に示すように、検知したい物体の一部が欠ける。すると、この注目領域には検知したい物体の特徴を表す領域も欠ける。例えば、車の特徴として、車両の左右端を表す２本の縦エッジと、縦エッジの間にバンパ等を表す一本以上の横エッジが存在し、Ｈ型のエッジが出る。
【０００７】
このため、本来はカメラの画像の視野に入っている物体であり、画像による物体検知が可能であるが、レーダの視野角ぎりぎりのため、画像から物体を検出することができない。もともとレーダの苦手とする領域を画像で補うことがフュージョンシステムの目的であるが、レーダの苦手とするところを画像も苦手とするため、フュージョンシステムの目的が達成されないという問題があった。
【０００８】
また、レーダのずれた位置に含まれる背景によっては、本来物体の存在しない画像領域に、検知したい物体の特徴が出てしまい、誤った物体検出を画像処理で行ってしまうという問題が生じる。
【０００９】
本発明は、上述の課題に鑑み、レーダ視野角の左右端付近に検知したい物体が存在する場合であっても、誤った画像処理による物体検出を行うことのない車両用外界認識装置を提供することを目的とする。
【００１０】
【課題を解決するための手段】
上記目的を達成するため、本願発明では、自車周辺の物体を検知して、自車と検知した物体との相対位置を出力するスキャニング式測距手段と、自車周辺の状況を撮像する撮像手段と、前記スキャニング式測距手段を用いて前記撮像手段の撮像結果から特徴検出に関する処理領域を決める画像処理手段と、を備えた車両用外界認識装置において、前記スキャニング式測距手段の出力に基づき各物体の測距状況を把握する測距状況把握手段と、該測距状況把握手段の出力に応じて前記画像処理手段で前記物体の特徴検出処理する前記処理領域を変更する画像処理変更手段と、を備え、前記測距状況把握手段は、前記スキャニング式測距手段により視野角の左右端付近に前記物体を検知したときに、前記画像処理変更手段に対し前記処理領域を変更する情報を出力することで、上記課題を解決するに至った。
【００１１】
本願発明にあっては、スキャニングにより検知した各物体について、その検知状況を把握する。そして、検知状況の把握結果から、スキャニング式測距手段により視野角の左右端付近に物体を検知したら、画像の処理領域を一時的に変更する。このようにして、変更した画像処理により検知した物体位置は、実際には存在しない画像領域に物体が存在する誤検知することを防ぐことができる。また、レーダと画像の位置を統合して１つの位置を決める際には、誤って画像の位置の信頼性を高くすることを防ぐことができる。
【００１２】
【発明の実施の形態】
以下、本発明における車両用外界認識装置の実施形態について実施例をもとに説明するが、本発明は実施例に限定されるものではない。
【００１３】
（第１実施例）
図１は、この発明の第１実施例を示す図である。まず構成を説明すると、車両の先頭にはスキャニング式のレーザレーダ１が設けられている。このレーザレーダ１には、走査した結果から障害物候補を抽出するレーダ処理装置２が接続され、このレーダ処理装置２では一つ又は複数の障害物候補に対して自車両を原点とする２次元（車間距離方向と車幅方向）座標値の算出と、障害物候補の幅（大きさ）の算出が実施される。
【００１４】
また、自車前方の状況を高速に把握するプログレッシブスキャン式の３CCDカメラ３が搭載されている。この3CCDカメラ３の撮像結果が画像処理装置４に接続されている。この画像処理装置４ではレーダ処理装置２で捕捉した障害物候補の座標付近の画像データを記憶し、自車両のピッチング変動等によりレーダ検知物体をロストした場合に、画像処理により物体を検知する処理が実施される。
【００１５】
レーダ処理装置２の出力、および画像処理装置４の出力は外界認識装置５に接続されている。この外界認識装置５には、自車両の状態量を推定するために従属左右車輪速度を検出する車速検出装置６と、前輪操舵角を検出する操舵角検出装置７が接続されている。
【００１６】
上述のようなハード構成から、本発明の測距状況把握手段と後段の処理（相対速度算出処理や障害物判断処理）変更手段等の演算処理が行われ、これにより高度な車両用の外界認識システムが実施される。
【００１７】
外界認識装置５では、レーダ処理装置で検知した各物体が自車両にとって障害物であるか否かを正確に判断し、その判断結果は自動ブレーキ制御装置８に出力される。そして、前後輪には任意な制動力を達成する負圧ブレーキブースタ９が接続され、自車両の自動ブレーキ制御８からの制動力指令電圧が負圧ブレーキブースタ９のソレノイドバルブに印加されることにより行われる。
【００１８】
これらのレーダ処理装置２や自動ブレーキ制御装置８は、それぞれマイクロコンピュータとその周辺部品や各種アクチュエータの駆動回路などを備え、互いに通信回路を介して情報を送受信する。
【００１９】
図２は、第１実施例における車両用外界認識装置の制御構成を表すブロック図である。まず構成を説明すると、図中の101は物体との相対位置を出力するスキャニング式測距手段、102は自車周辺状況を撮像する撮像手段、103はスキャニング式測距手段の測距結果に基づき撮像手段102の撮像結果における注目領域を狭めて画像処理を行う画像処理手段、104はスキャニング式測距手段101で検知した物体の測距状況を把握する測距状況把握手段、105は測距状況把握手段104の出力をトリガーとして画像処理手段103の画像処理を変更する画像処理変更手段である。
【００２０】
図３は第１実施例における相対速度算出制御を表すフローチャートである。この実施例は、請求項１，２，３，４，５，７項に対応するものであり、自車前方の状況を把握するスキャニング式レーザレーダの走査結果（位置の変化や幅の変化）から、検知物体の測距状況を把握し、画像処理に関する処理内容を一時的に変更することで信頼性の高い画像処理を行う場合である。尚、本制御は１００［ｍｓ］毎に実施されるものとする。
【００２１】
ステップ２０１では、スキャニング式レーザレーダ１の検知した各物体の位置ベクトル（横方向：Px_z0, 縦方向Py_z0），および、物体の幅（大きさ：W_z0）を読み込む。なお、添え字のz0とは今回の値を、z1は１サンプリング（100ms）過去の値を、znはnサンプリング過去の値を、それぞれ意味する。
【００２２】
ステップ２０２では、ステップ２０１で読み込んだ検知物体の縦位置と横位置が、次式（１）を満足する場合には、ｂｎｄｒｙＦｌａｇ＝０を代入してステップ２０６へ進み、そうでない場合には、ｂｎｄｒｙＦｌａｇ＝１を代入してステップ２０３へ進む
Ｋ１ Ｔｈ＿Ｌ ＜ ａｔａｎ（ Ｐｘ＿ｚ０ ／ Ｐｙ＿ｚ０ ） ＜ Ｋ１ Ｔｈ＿Ｒ ・・・ （１）
ここで、ａｔａｎ（Ａ）とは、Ａ（引数ａｒｇｕｍｅｎｔの頭文字）の逆正接値を出力する関数であり、Ｋ１は１未満の正数であり、Ｔｈ＿ＬとＴｈ＿Ｒはスキャニングレーザレーダの視野角における左右端の角度を表すものである。例えば、視野角１２ｄｅｇのスキャニング式レーザレーダで自車の進行方向右側をプラスとした場合、自車正面を中心（ゼロｄｅｇ）として、Ｔｈ＿Ｌ ＝ −６［ｄｅｇ］，Ｔｈ＿Ｒ ＝ ＋６［ｄｅｇ］ となる。式１を満足しない場合には検知物はレーダ視野角の左右端付近に存在する微妙な測距状態であることが分かるため、後述する画像処理を確実に変更することができる（請求項１に対応）。
【００２３】
ステップ２０３では、ステップ２０１で読み込んだ検知物体の幅が、次式（２）を満足する場合にはステップ２０７へ、そうでない場合にはステップ２０４へ進む。
Ｗ＿ｚ０ ＜ Ｔｈ＿Ｗ１ ・・・（２）
ここで、Ｔｈ＿Ｗ１とは、警報や制御する対象として扱う物体の幅から決まる閾値である。すなわち、レーダ検知物の幅が小さいか否かを判断することで、ステップ２０２と同様に、検知物がレーダ視野角の左右端付近に存在する微妙な測距状態であるかどうかが分かるため、後述する画像処理を確実に変更することができる（請求項２に対応）。
【００２４】
ステップ２０４では、ステップ２０１で読み込んだ検知物体の幅とその過去値が、次式（３）を満足する場合にはステップ２０５へ、そうでない場合にはステップ２０６へ進む。
Ｗ＿ｚ０ − Ｗ＿ｚ１ ＞ Ｔｈ＿Ｗ２ ・・・（３）
ここで、Ｔｈ＿Ｗ２とは幅の変化に関する正の閾値であり、障害物とする物体の大きさから決めても良い。すなわち、式３を満足すれば、検知幅の急な増加を意味するため、検知物がレーダ視野角の左右端付近に存在する微妙な測距状態であるかどうかが分かるため、後述する画像処理を確実に変更することができる（請求項３に対応）。
【００２５】
ステップ２０５では、画像処理モード（実施している画像処理は、後述する初回特徴検出処理と特徴追跡処理のどちらであるか）を示すフラグを次式（４）とする。
ＩＰ＿Ｓｔａｔｅ ＝ ０ ・・・ （４）
ここで、ＩＰ＿Ｓｔａｔｅ ＝ ０のときは、後述の処理で初回抽出を行うことを意味しており、ＩＰ＿Ｓｔａｔｅ ＝ １のときは、後述の処理で、特徴追跡処理を行うことを意味している。すなわち、レーダ視野角の左右端では実際の物体と異なる特徴を検知する場合がある。この誤った領域に検知物体を検出してしまい、それを追跡するモードに入っている場合でも、初期的な特徴検出状態を再度実施するので、誤った画像領域を追跡し続けることがない（請求項４に対応）。
【００２６】
ステップ２０６では、通常の透視変換を行い、ステップ２０１で求めた検知物の位置と、カメラの撮像結果から、画像処理する注目領域を決める。そして、ステップ２０８へ進む。
disp_obj_YA = ( yo + ( focusV * CAM_h2 / Py_z0 ) )
disp_obj_YB = (yo+(focusV*CAM_h/Py_z0)) ・・・(５)
disp_obj_XL = (xo+(focusH/Py_z0*Px_z0))-(focusH*wide/Py_z0)
disp_obj_XR = (xo+(focusH/Py_z0*Px_z0))+(focusH*wide/Py_z0)
ここで、disp_obj_＊＊とは画像処理を行う矩形領域の端っこの座標値であって、disp_obj_YAは矩形の上側、disp_obj_YBは矩形の下側、disp_obj_XLは矩形の左側、disp_obj_XRは矩形の右側の画像座標を表している。また、yoは消失点の縦座標[pix]を、xoは消失点の横座標[pix]を（yo,xoはカメラ取り付け位置と向きで決まるパラメータ）、focusVは画素換算したカメラの鉛直方向の焦点距離[pix]であり、focusH画素換算したカメラの水平方向の焦点距離[pix]であり、受光面が正方格子である場合にはfocusV=focusHである(focusVとfocusHはカメラ画角と受光素子の解像度で決まるパラメータ)。そして、CAM_hはカメラの取り付け高さ[m]で、CAM_h2はCAM_hから障害物候補として考慮すべき物体の高さ：obj_H[m]を減算した値であり、wideはレーザレーダの横方向位置の検知精度（標準偏差[m]）と障害物として考慮すべき物体の最大値との和で決まる幅[m]の半分の値を画素換算した値[pix]である。
【００２７】
ステップ２０７では、画像処理領域を、レーダの視野角外側方向に広げて透視変換を行い、画像処理する注目領域を決める。
ｉｆ（ Ｐｘ＿ｚ０ ＜ ０ ） ｃｍｐＬ ＝ Ｔｈ＿ｃｍｐ， ｃｍｐＲ ＝ ０
ｅｌｓｅ ｃｍｐＬ ＝ ０， ｃｍｐＲ ＝ Ｔｈ＿ｃｍｐ
ｄｉｓｐ＿ｏｂｊ＿ＹＡ ＝ （ ｙｏ ＋ （ ｆｏｃｕｓＶ ＊ ＣＡＭ＿ｈ２ ／ Ｐｙ＿ｚ０ ） ）
ｄｉｓｐ＿ｏｂｊ＿ＹＢ ＝ （ｙｏ＋（ｆｏｃｕｓＶ＊ＣＡＭ＿ｈ／Ｐｙ＿ｚ０）） ・・・（６）
ｄｉｓｐ＿ｏｂｊ＿ＸＬ ＝ （ｘｏ＋（ｆｏｃｕｓＨ／Ｐｙ＿ｚ０＊Ｐｘ＿ｚ０））−（ｆｏｃｕｓＨ＊ｗｉｄｅ／Ｐｙ＿ｚ０）−ｃｍｐＬ
ｄｉｓｐ＿ｏｂｊ＿ＸＲ ＝ （ｘｏ＋（ｆｏｃｕｓＨ／Ｐｙ＿ｚ０＊Ｐｘ＿ｚ０））＋（ｆｏｃｕｓＨ＊ｗｉｄｅ／Ｐｙ＿ｚ０）＋ｃｍｐＲ
ここで、ｉｆ （ｅｘｐｒｅｓｓｉｏｎ） ｓｔａｔｅｍｅｎｔ１ ｅｌｓｅ ｓｔａｔｅｍｅｎｔ２ とは、ｅｘｐｒｅｓｓｉｏｎを満たす場合にｓｔａｔｅｍｅｎｔ１ を実施し、ｅｘｐｒｅｓｓｉｏｎを満たさない場合にはｓｔａｔｅｍｅｎｔ２ を実施する関数である。また、Ｔｈ＿ｃｍｐとはレーダの視野角外側方向へ画像処理する領域を広げる量［ｍ］を表す正の値で、ｃｍｐＬは視野角の左側方向へ広げる量を、ｃｍｐＲは視野角の右側方向へ広げる量を、意味している。すなわち、検知したい物体の全てが処理領域に入っていないと判断されたときは、処理領域を広げることで、検知したい物体の全てが処理領域に入れることが可能となり、検知したい物体を画像から検出することができる。更に、実際には存在しない画像領域を誤って検知することがない（請求項５に対応）。
【００２８】
ステップ２０８では、現在実施中の画像処理モードを調べ、IP_State = 0（初回特徴検出処理状態）の場合にはステップ２０９へ、IP_State = 1（特徴追跡処理状態）の場合にはステップ２１１へ進む。
【００２９】
ステップ２０９では、上式（５）或いは式（６）で限定した注目領域に対して、次の要領で初回特徴検出処理を行う（図１０の処理１〜処理３に相当）。
▲１▼注目領域の微分画像をsobelフィルターなどにより求める（sobelフィルターとは、ある画素に隣接する画素同士の輝度変化を求める演算である）。
▲２▼求めた微分画像の輝度に関する平均値と分散値を用いて設定する閾値で2値化する（2値化とは、各画素の輝度＝ここでは微分画像の輝度が閾値以下の弱い場合には黒色、閾値以上の強い場合には白色と、2色に離散化する処理である）。
▲３▼2値化した画像の投影処理（輝度変化の強い白色の画素の数を画面の水平・垂直方向にそれぞれ加算するようにカウントする。すると、レーダ検知車両の左右端や上下端付近では、背景と車両の輝度変化が強いため、白色の画素が他の場所より多くカウントされること）を行う。
▲４▼投影結果から、2値画像におけるレーダ検知車両の四隅に相当する領域は、他の領域より投影量が多いため、クルマのエッジを検出することができる。本実施例では、クルマの左右端に相当する1対の縦方向のエッジペアを検出し、画面内座標を求める。ここで、求めたエッジペアの画像上の位置（水平方向座標値）をそれぞれSideEdge_RとSideEdge_Lとする。
▲５▼レーダ検知車両の画像上の幅：EdgeWidth は投影処理により検出したエッジペアの間隔[pix]から求められる（EdgeWidth = SideEdge_R−SideEdge_L）。
▲６▼投影結果における、SideEdge_RとSideEdge_Lの間に横方向のエッジが存在するかを調べる
▲７▼撮像結果の注目領域から、厳密な特徴（▲４▼の縦エッジペアと▲６▼の横エッジの組み合わせからなるH型のエッジ）を検出できた場合には、初回特徴検出処理を終了するためIP_State = 1に設定し、そうでない場合には、初回特徴検出処理が失敗＝画像のロストを意味するようにSideEdge_R=0, SideEdge_L=0, EdgeWidth=0, IP_State = 0と設定する。
【００３０】
ステップ２１０では、次式（７）〜（９）で、レーダ検知物の位置を画像からの位置[m]として算出して、ステップ２１３へ進む。
CamTate = Py_z0 ・・・（７）
CamYoko = ((((SideEdge_R+SideEdge_L) / 2)-xo)*Py_z0)/focusH ・・（８）
RealWidth = EdgeWidth * Py_z0 / focusH ・・・（９）
ここで、SideEdge_R=0, SideEdge_L=0の場合には、画像でのロストを意味する出力する値にCamTate とCamYokoを設定する。例えば、CamTate =CamYoko=256[m]とする。
【００３１】
ステップ２１１では、注目領域に対して次の要領で特徴追跡処理を行う（図１０の処理４に相当）。
▲１▼注目領域の微分画像をsobelフィルターなどにより求める。
▲２▼求めた微分画像の輝度に関する平均値と分散値を用いて設定する閾値で2値化する。
▲３▼2値化した画像から、前回のサンプリングで求めたSideEdge_RとSideEdge_L付近だけの２つ小領域を求める。
▲４▼２つの小領域のそれぞれに対して、投影処理を行う。
▲５▼２つの投影処理結果から、最も多くカウントされる（長い）エッジを、それぞれの小領域から1つずつ求める。ここで求めた２つの縦エッジを、今回のサンプリングにおけるSideEdge_RとSideEdge_Lとする。
▲６▼レーダ検知車両の画像上の幅：EdgeWidth をエッジペアの間隔[pix]から求める。
▲７▼撮像結果の注目領域から、簡素化した特徴（▲５▼の縦エッジペア）を検出できた場合には、特徴追跡処理の成功を意味するIP_State = 1に設定し、そうでない場合には、特徴追跡処理が失敗＝画像のロストを意味するようにSideEdge_R=0, SideEdge_L=0, EdgeWidth=0, IP_State = 0と設定する。
【００３２】
ステップ２１２では、次式（１０）〜（１２）で、レーダ検知物の位置を画像からの位置として算出する。
CamTate = (focusV * RealWidth) / (EdgeWidth) ・・・（１０）
CamYoko = ((((SideEdge_R+SideEdge_L)/2)-xo)*CamTate)/focusH ・・（１１）
RealWidth = EdgeWidth * CamTate / focusH ・・・（１２）
ここで、SideEdge_R=0, SideEdge_L=0の場合には、画像でのロストを意味する出力する値にCamTate とCamYokoを設定する。例えば、CamTate =CamYoko=256[m]とする。
【００３３】
ステップ２１３では、レーダ検知位置と画像からの検知位置を統合する。
ここで、統合して求められた横位置をｉｎｔｅｇｒａｔｅｄＰｘ、縦位置をｉｎｔｅｇｒａｔｅｄＰｙとし、ステップ２０２で求めたｂｎｄｒｙＦｌａｇ（検知物体がレーダ視野角の端っこに存在することを意味するフラグ）を用いて次式（１３）により、さらに修正する。
ｉｆ （ｂｎｄｒｙＦｌａｇ＝１）ｉｎｔｅｇｒａｔｅｄＰｘ＝ＣａｍＴａｔｅ， ｉｎｔｅｇｒａｔｅｄＰｙ＝ＣａｍＹｏｋｏ （１３）
ここで、ｉｆ （ｅｘｐｒｅｓｓｉｏｎ） ｓｔａｔｅｍｅｎｔ とは、ｅｘｐｒｅｓｓｉｏｎを満たす場合にｓｔａｔｅｍｅｎｔ を実施する関数である。すなわち、レーダで検知した物体位置と画像から検知した物体位置を１つの位置として統合する際に、画像処理領域を広げたときは特に画像処理による検知位置が、レーダ検知位置よりも正確であるため、画像処理結果の位置出力を重視することで、確実に検知物体の位置を検出することができる（請求項７に対応）。
【００３４】
ステップ２１４では、レーダ検知位置と画像からの検知位置を統合した位置を後段へ出力し、過去値の更新を行い、終了する。
【００３５】
次に、上記画像処理制御について図７〜図９を用いて状況別に説明する。
（前方に割り込み車両が存在し、その車両がレーダ視野角の左右端に存在するとき）
前方に割り込み車両が存在し、その車両がレーダ視野角の左右端に存在するとき（時刻ｔ０〜ｔ１）は、ステップ２０１→ステップ２０２→ステップ２０３→ステップ２０７→ステップ２０７→ステップ２０８→ステップ２０９→ステップ２１０→ステップ２１３→ステップ２１４へと進む。すなわち、検知物体がレーダ視野角の左右端で、幅が小さければ、レーダ視野角内に検知物体全てが存在していないと判断し、視野角外側に画像処理領域を広げた状態で物体を検知する。
【００３６】
（前方に割り込み車両が存在し、その車両がレーダ視野角の左右端から更にレーダ視野角内に入ってきた状態）
前方に割り込み車両が存在し、その車両がレーダ視野角の左右端から更に横方向自車両側に移動してきたとき（時刻ｔ１〜ｔ２）は、ステップ２０１→ステップ２０２→ステップ２０３→ステップ２０４→ステップ２０５→ステップ２０６→ステップ２０８→ステップ２０９→ステップ２１０→ステップ２１３→ステップ２１４へと進む。すなわち、検知物体がレーダ視野角の左右端に存在するときは検知物体の幅が小さいが、徐々に横方向自車両側に移動しレーダ視野角内に入ると、左右のリフレクタを認識するため検知物体の幅が急激に大きくなる（図７〜９参照）。このときは、初回処理終了フラグを未処理とし、再度初回特徴検出処理を実行することで、物体を正確に検知することができる。
【００３７】
（前方に割り込み車両が存在し、その車両がレーダ視野角内に存在するとき）
前方の割り込み車両がレーダ視野角内に完全に入ったとき（時刻ｔ３〜ｔ４）は、ステップ２０１→ステップ２０２→ステップ２０６→ステップ２０８→ステップ２１１→ステップ２１２→ステップ２１３→ステップ２１４へと進む通常の制御を実行する。
【００３８】
以上説明したように、第１実施例にあっては、画像による物体検知における処理を一時的に変更するため、スキャニングレーザレーダの視野角の左右端付近に検知物体が存在する際に、レーダ出力位置に誤差や急変が生じた場合でも、画像から正しく物体検出を行うことができる。更に、レーダと画像の位置出力結果を統合する際には、精度の悪いレーダ側の結果を重視しないようになる。このため、フュージョンシステムが高性能に機能することが可能となり、これを用いた障害物判断処理では判断結果の正確さも向上する。なお、検知物体が複数出現した場合について明記していないが、複数の物体を検知した場合には各物体に対して同様の処理を行う。
【００３９】
（第２実施例）
次に第２実施例について説明する。基本的なハード構成は第１実施例と同様であるため、異なる点についてのみ説明する。この第２実施例は、請求項１，２、６項に対応するものであり、第１実施例はレーザレーダ視野角付近の横位置段差に対して画像処理を一時的に変更することにより、より正確な画像による物体検出を行うものであるが、第２実施例では、レーダ視野角の左右端では、一時的に画像処理を行わないようにして、画像処理で誤った物体検出の発生防止と処理負荷の軽減を行う場合である。
【００４０】
図４は第２実施例における相対速度算出制御及び障害物判断制御を表すフローチャートである。本実施例も100ms毎に実施され、ステップ３０１は第1実施例のステップ２０１と同様なので省略する。
【００４１】
ステップ３０２は、ステップ２０２と同様であるが、次式（１４）からαを求める。
α = func1[ abs{ atan( Px_z0 ／ Py_z0 )} − K1 Th_R ]・・ （１４）
ここで、func1(A)とは図５のような特性を有する関数であって、func1∈[0, 1]の範囲をとる。すなわち、αが大きいほど検知物が端っこに存在することを意味する。
【００４２】
ステップ３０３は、ステップステップ２０３と同様であるが、次式（１５）からβを求める。
β＝func2{ W_z0 − Th_W1 } ・・・（１５）
ここで、func2(A)とは図６のような特性を有する関数であって、func2∈[0, 1]の範囲をとる。すなわち、βが大きいほど、物体が小さいことを意味する。
【００４３】
ステップ３０４は、ステップ３０２とステップ３０３で求めたαとβが、次式（１６）満足する場合にはステップ３０５へ、そうでない場合にはステップ３０６へ進む。
α＋β ＞ Ｔｈ＿ＩＰ ・・・ （１６）
ここで、Ｔｈ＿ＩＰは、画像処理を強制的に中止させる頻度（傾向）表す閾値で、２未満の正の値をとる。このように、レーダ視野角の左右端に存在する可能性がある場合には、画像処理を強制的に中止することで、実際には存在しない物体を誤検知してしまい、レーダによる検知と画像処理による検知のフュージョンを行うことで、かえって誤った位置を検知することを防止することができる（請求項６に対応）。
【００４４】
ステップ３０５は、画像処理による物体検出が失敗（ロスト）であることを意味する値として、SideEdge_R=0, SideEdge_L=0, EdgeWidth=0, IP_State = 0, CamTate =CamYoko=256[m]と設定する。さらに、レーダと画像の統合後の位置をintegratedPx= integratedPy= 256[m]とロストを意味する値に設定し、ステップ３１３へ進む。
【００４５】
ステップ３０６は、第1の実施例におけるステップ２０６と同様のため、省略する。
【００４６】
ステップ３０７からステップ３１２は、第1の実施例におけるステップ２０８からステップ２１３と同様のため、省略する。
【００４７】
ステップ３１３は、第１の実施例におけるステップ２１４と同様のため、省略する。
【００４８】
このようにして、レーダ視野角の左右端付近で検知物体の横位置に誤差や段差が生じる可能性のある場合には、画像処理を行わない処理に一時的に変更する。そして、レーダと画像の位置出力を統合する際には、強制的にロストとする。これにより、志は低いが、画像処理で誤った物体検出の発生防止と処理負荷の軽減を行うことができるため、フュージョンによる外界認識システムで、誤認識を防ぐことが可能な車両用外界認識装置が実現される。
【図面の簡単な説明】
【図１】第１実施例における基本構成を示す概略図である。
【図２】第１実施例における、外界認識装置の制御構成を表すブロック図である。
【図３】第１実施例における、画像処理制御を表すフローチャートである。
【図４】第２実施例における、画像処理制御を表すフローチャートである。
【図５】第２実施例における、関数fanc１の特性を表すマップである。
【図６】第２実施例における、関数fanc2の特性を表すマップである。
【図７】割り込み車両を検知した場合の測距状況を表す概略図である。
【図８】割り込み車両を検知した場合のリフレクタと車両中心の関係を表す図である。
【図９】割り込み車両を検知した場合の横位置及び車幅の関係を表す図である。
【図１０】画像処理シーケンスを表す図である。
【図１１】画像処理における視野角端部において、エッジが検出できない状態を表す図である。
【符号の説明】
１ レーザレーダ
２ レーダ処理装置
３ CCDカメラ
４ 画像処理装置
５ 外界認識装置
６ 車速検出装置
７ 操舵角検出装置
８ 自動ブレーキ制御装置
９ 負圧ブレーキブースタ
Claims (7)
- 自車周辺の物体を検知して、自車と検知した物体との相対位置を出力するスキャニング式測距手段と、
自車周辺の状況を撮像する撮像手段と、
前記スキャニング式測距手段を用いて前記撮像手段の撮像結果から特徴検出に関する処理領域を決める画像処理手段と、を備えた車両用外界認識装置において、
前記スキャニング式測距手段の出力に基づき各物体の測距状況を把握する測距状況把握手段と、
該測距状況把握手段の出力に応じて前記画像処理手段で前記物体の特徴検出処理する前記処理領域を変更する画像処理変更手段と、を備え、
前記測距状況把握手段は、前記スキャニング式測距手段により視野角の左右端付近に前記物体を検知したときに、前記画像処理変更手段に対し前記処理領域を変更する情報を出力することを特徴とする車両用外界認識装置。 - 自車周辺の物体を検知して、自車と検知した物体との相対位置を出力するスキャニング式測距手段と、
自車周辺の状況を撮像する撮像手段と、
前記スキャニング式測距手段を用いて前記撮像手段の撮像結果から特徴検出に関する処理領域を決める画像処理手段と、を備えた車両用外界認識装置において、
前記スキャニング式測距手段の出力に基づき各物体の測距状況を把握する測距状況把握手段と、
該測距状況把握手段の出力に応じて前記画像処理手段で前記物体の特徴検出処理する前記処理領域を変更する画像処理変更手段と、を備え、
前記測距状況把握手段は、前記スキャニング式測距手段の出力から、検知物体の幅が小さいときに、前記画像処理変更手段に対し前記処理領域を変更する情報を出力することを特徴とする車両用外界認識装置。 - 自車周辺の物体を検知して、自車と検知した物体との相対位置を出力するスキャニング式測距手段と、
自車周辺の状況を撮像する撮像手段と、
前記スキャニング式測距手段を用いて前記撮像手段の撮像結果から特徴検出に関する処理領域を決める画像処理手段と、を備えた車両用外界認識装置において、
前記スキャニング式測距手段の出力に基づき各物体の測距状況を把握する測距状況把握手段と、
該測距状況把握手段の出力に応じて前記画像処理手段で前記物体の特徴検出処理する前記処理領域を変更する画像処理変更手段と、を備え、
前記測距状況把握手段は、前記スキャニング式測距手段の出力から検知物体の幅の変化が閾値よりも大きくなったときに、前記画像処理変更手段に処理の変更を知らせる情報を出力することを特徴とする車両用外界認識装置。 - 自車周辺の物体を検知して、自車と検知した物体との相対位置を出力するスキャニング式測距手段と、
自車周辺の状況を撮像する撮像手段と、
前記スキャニング式測距手段を用いて前記撮像手段の撮像結果から特徴検出に関する処理領域を決める画像処理手段と、を備えた車両用外界認識装置において、
前記スキャニング式測距手段の出力に基づき各物体の測距状況を把握する測距状況把握手段と、
該測距状況把握手段の出力に応じて前記画像処理手段で前記物体の特徴検出処理する前記処理領域を変更する画像処理変更手段と、を備え、
前記画像処理手段は、前記測距状況判断手段から前記処理の変更を知らせる情報を出力されると、前記処理領域の変更処理を中止するとともに、前記画像処理手段での処理状態を、前記検知物体の簡素化した特徴を検出し追跡する特徴追跡処理状態から、前記物体の厳密な特徴を検出する初回特徴検出状態に戻すことを特徴とする車両用外界認識装置。 - 自車周辺の物体を検知して、自車と検知した物体との相対位置を出力するスキャニング式測距手段と、
自車周辺の状況を撮像する撮像手段と、
前記スキャニング式測距手段を用いて前記撮像手段の撮像結果から特徴検出に関する処理領域を決める画像処理手段と、を備えた車両用外界認識装置において、
前記スキャニング式測距手段の出力に基づき各物体の測距状況を把握する測距状況把握手段と、
該測距状況把握手段の出力に応じて前記画像処理手段で前記物体の特徴検出処理する前記処理領域を変更する画像処理変更手段と、を備え、
前記画像処理変更手段は、前記測距状況判断の出力からの変更を知らせる情報が出力されると、前記スキャニング式測距手段の視野角の外側方向へ、特徴検出のための前記処理領域を広げることを特徴とする車両用外界認識装置。 - 自車周辺の物体を検知して、自車と検知した物体との相対位置を出力するスキャニング式測距手段と、
自車周辺の状況を撮像する撮像手段と、
前記スキャニング式測距手段を用いて前記撮像手段の撮像結果から特徴検出に関する処理領域を決める画像処理手段と、を備えた車両用外界認識装置において、
前記スキャニング式測距手段の出力に基づき各物体の測距状況を把握する測距状況把握手段と、
該測距状況把握手段の出力に応じて前記画像処理手段で前記物体の特徴検出処理する前記処理領域を変更する画像処理変更手段と、を備え、
前記画像処理変更手段は、前記測距状況手段からの変更を知らせる情報が出力されると、変更に該当する検知物体に対しては画像処理を実施しないことを特徴とする車両用外界認識装置。 - 自車周辺の物体を検知して、自車と検知した物体との相対位置を出力するスキャニング式測距手段と、
自車周辺の状況を撮像する撮像手段と、
前記スキャニング式測距手段を用いて前記撮像手段の撮像結果から特徴検出に関する処理領域を決める画像処理手段と、を備えた車両用外界認識装置において、
前記スキャニング式測距手段の出力に基づき各物体の測距状況を把握する測距状況把握手段と、
該測距状況把握手段の出力に応じて前記画像処理手段で前記物体の特徴検出処理する前記処理領域を変更する画像処理変更手段と、を備え、
前記車両用外界認識装置は、前記スキャニング式測距手段により検知した物体位置の確信度を第１確信度とし、前記画像処理手段により検知した物体位置の確信度を第２確信度とし、前記第１確信度及び第２確信度に基づいて１つの位置として統合することで検知物体の位置を検知する装置とし、
前記画像処理変更手段は、前記測距状況判断手段の出力からの変更を知らせる情報が出力されると、前記第２確信度を高くすることを特徴とする車両用外界認識装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002315354A JP4013732B2 (ja) | 2002-10-30 | 2002-10-30 | 車両用外界認識装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002315354A JP4013732B2 (ja) | 2002-10-30 | 2002-10-30 | 車両用外界認識装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004151922A JP2004151922A (ja) | 2004-05-27 |
| JP4013732B2 true JP4013732B2 (ja) | 2007-11-28 |
Family
ID=32459381
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002315354A Expired - Fee Related JP4013732B2 (ja) | 2002-10-30 | 2002-10-30 | 車両用外界認識装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4013732B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5083841B2 (ja) * | 2007-04-27 | 2012-11-28 | 本田技研工業株式会社 | 車両周辺監視装置、車両周辺監視用プログラム、車両周辺監視方法 |
| KR102299793B1 (ko) * | 2015-11-05 | 2021-09-08 | 주식회사 만도 | 운전지원장치 및 운전지원방법 |
| JP6493365B2 (ja) | 2016-05-19 | 2019-04-03 | 株式会社デンソー | 車両制御装置、車両制御方法 |
-
2002
- 2002-10-30 JP JP2002315354A patent/JP4013732B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004151922A (ja) | 2004-05-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3630100B2 (ja) | 車線検出装置 | |
| US6985075B2 (en) | Obstacle detection apparatus and method | |
| JP3861781B2 (ja) | 前方車両追跡システムおよび前方車両追跡方法 | |
| JP3759429B2 (ja) | 障害物検出装置及びその方法 | |
| JP3230642B2 (ja) | 先行車検出装置 | |
| EP2422320B1 (en) | Object detection device | |
| US12077161B2 (en) | Method and processing unit for determining information with respect to an object in an environment of a vehicle | |
| CN114118252B (zh) | 一种基于传感器多元信息融合的车辆检测方法及检测装置 | |
| JPH09142236A (ja) | 車両の周辺監視方法と周辺監視装置及び周辺監視装置の故障判定方法と周辺監視装置の故障判定装置 | |
| JP2006284293A (ja) | 車両の物標検出装置及び物標検出方法 | |
| JP3656056B2 (ja) | 割り込み車両検出装置及びその方法 | |
| JP4052291B2 (ja) | 車両用画像処理装置 | |
| JP2003099762A (ja) | 前方車両認識装置及び認識方法 | |
| JP4719996B2 (ja) | 物体検知装置 | |
| JPH08156723A (ja) | 車両用障害物検出装置 | |
| JP4767052B2 (ja) | 光軸ずれ検出装置 | |
| JP4175087B2 (ja) | 車両用外界認識装置 | |
| WO2022009537A1 (ja) | 画像処理装置 | |
| JP3925285B2 (ja) | 走行路環境検出装置 | |
| JP2005156199A (ja) | 車両検知方法及び車両検知装置 | |
| JP4013732B2 (ja) | 車両用外界認識装置 | |
| JP4348937B2 (ja) | 車両用外界認識装置 | |
| JP3319401B2 (ja) | 走行路認識装置 | |
| JP2001082954A (ja) | 画像処理装置及び画像処理測距方法 | |
| JP3333224B2 (ja) | 移動車の走行路検出装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050526 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20051117 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061228 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070123 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070323 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070508 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070706 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070821 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070903 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100921 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100921 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110921 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120921 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120921 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130921 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |