JP3915746B2 - 車両用外界認識装置 - Google Patents
車両用外界認識装置 Download PDFInfo
- Publication number
- JP3915746B2 JP3915746B2 JP2003189615A JP2003189615A JP3915746B2 JP 3915746 B2 JP3915746 B2 JP 3915746B2 JP 2003189615 A JP2003189615 A JP 2003189615A JP 2003189615 A JP2003189615 A JP 2003189615A JP 3915746 B2 JP3915746 B2 JP 3915746B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- certainty factor
- tracking
- recognition device
- tracked
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
- G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- General Physics & Mathematics (AREA)
- Traffic Control Systems (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、レーザレーダやミリ波レーダ等の測距センサとCCDカメラやCMOSカメラなどにより測距センサの検知物を冗長に捕捉することにより、より高精度に物体位置を検出するとともに、測距センサのロストを補うことを目的とする車両用外界認識装置に関するものである。
【０００２】
【従来の技術】
レーザレーダが物体を検知した場合には、その物体位置に相当する画像領域についてステレオカメラにより冗長に物体検知することで信頼性の向上を狙った装置が提案されている。
【０００３】
この装置では、カメラにより冗長検知する画像処理領域をレーダで検知した先行車位置に基づき限定するため、画像処理を高速に行うことが可能となるものである。
【０００４】
【特許文献１】
特開平７−１２５５６７号公報
【０００５】
【発明が解決しようとする課題】
しかしながら、上記従来技術にあっては、常にレーダと画像は同一物体を捕捉するため、図１８のように操舵回避の後に低速車Ｂとの接近が起こるシーン、または図１９のように直進時でも停止車Ａの近くをすり抜けるシーン等に対応できない。
【０００６】
つまり、常にレーダと同一の物体を画像で捕捉する場合では、一般的にカメラよりも視野角の狭いレーダが停止車Ａ（に接近するために、停止車Ａ）をロストして低速車Ｂを検知すると、画像処理対象も低速車Ｂに切り換える。このとき、停止車Ａに接近し過ぎる状況が生じた場合には、システム全体でそれを検知できないという問題が生じる。ここで、画像処理により停止車Ａと低速車Ｂの双方について追跡を行えば問題はないが、現在および近い将来におけるＣＰＵ能力では、画像処理可能な物体数は１物体に限られてしまう。
【０００７】
本発明は、上記問題に着目してなされたもので、その目的とするところは、複数の物体が存在するとき、画像処理する物体を状況に応じて適切なタイミングで切り換えることができ、画像処理の演算負荷を軽減できる車両用外界認識装置を提供することにある。
【０００８】
【課題を解決するための手段】
上述の目的を達成するため、本発明では、自車前方の物体位置を検出する物体位置検出手段と、自車前方の状況を画像として取り込む画像取り込み手段と、検出された物体位置に基づいて、自車にとって最も注目すべき物体を１つだけ選択する注目物体選択手段と、選択された物体を初期的に参照し、取り込まれた画像の処理により物体を追跡する画像処理物体追跡手段と、を備えた車両用外界認識装置において、選択された物体が自車にとって障害物となる可能性を第１確信度として算出する第１確信度算出手段と、追跡中の物体が自車にとって障害物となる可能性を第２確信度として算出する第２確信度算出手段と、選択された物体と追跡中の物体が同一であるかどうかを判断する同一物体判断手段と、選択された物体と追跡中の物体が同一ではないと判断されたとき、第１確信度と第２確信度に基づき、画像処理物体追跡手段で追跡する物体を選択する追跡物体選択手段と、を設けたことを特徴とする。
【０００９】
【発明の効果】
よって、本発明にあっては、追跡物体選択手段は、選択された物体と追跡中の物体が異なる場合には、選択された物体が障害物となる可能性と、追跡中の物体が障害物となる可能性とに基づいて、追跡する物体を選択するため、画像処理する物体を状況に応じて適切なタイミングで切り換えることができ、画像処理の演算負荷を軽減できる。
【００１０】
【発明の実施の形態】
以下、本発明の実施の形態を図面に基づいて説明する。
図１は、車両用外界認識装置の構成を示すブロック図である。この車両用外界認識装置は、物体位置検出手段１０１と、画像取り込み手段１０２と、注目物体選択手段１０３と、画像処理物体追跡手段１０４と、第１確信度算出手段１０５と、第２確信度算出手段１０６と、同一物体判断手段１０７と、追跡物体選択手段１０８とから構成される。
【００１１】
前記物体位置検出手段１０１は、検知物体との相対位置を出力する。画像取り込み手段１０２は、自車前方の画像を撮らえる。注目物体選択手段１０３は、物体位置検出手段１０１の出力に基づき自車にとって最も注目したい物体を１つだけ選択する。画像処理物体追跡手段１０４は、注目物体選択手段１０３で選択した物体を初期的に参照し、画像取り込み手段１０２の画像の処理で物体を追跡する。
【００１２】
前記第１確信度算出手段１０５は、注目物体選択手段１０３で選択した物体が自車にとって障害物となる可能性として第１確信度を算出する。第２確信度算出手段１０６は、画像処理物体追跡手段１０４で追跡中の物体が自車にとって障害物となる可能性として第２確信度を算出する。同一物体判断手段１０７は、注目物体選択手段１０３で選択された物体と、画像処理物体追跡手段１０４で追跡中の物体が同一であるか否かを判断する。
【００１３】
前記追跡物体選択手段１０８は、第１確信度と第２確信度と同一物体判断手段１０７の判断結果に基づき、画像処理物体追跡手段１０４が追跡する物体を選択する。
【００１４】
次に、実施の形態を実現する具体的実施例を説明する。
【００１５】
（第１実施例）
第１実施例は、画像処理可能な物体数が１物体のみというシステムにおいて、自車前方に複数の物体が存在する場合に、それらの画像処理を適切なタイミングで切り換えることにより、現実的なフュージョンシステムの構成を可能とする場合である。
【００１６】
まず、構成を説明する。
図２は、第１実施例の車両用外界認識装置の構成を示すブロック図である。スキャニング式レーザレーダ（物体位置検出手段）１で走査した結果から障害物候補を抽出するレーダ処理装置（注目物体選択手段）２が接続され、このレーダ処理装置２では一つまたは複数の障害物候補に対して自車両を原点とする２次元（車間距離方向と車幅方向）座標値の算出と障害物候補の幅（大きさ）の算出が実施される。
【００１７】
また自車前方の状況を高速に把握するプログレッシブスキャン式CCDカメラ（画像取り込み手段）３が搭載され、この撮像結果が画像処理装置（画像処理物体追跡手段）４に接続される。この画像処理装置４ではレーダ処理装置２で捕捉した障害物候補の座標付近の画像データを記憶し、自車両のピッチング変動等によりレーダ検知物体をロストした場合に、画像処理により物体を検知する処理が実施される。
【００１８】
レーダ処理装置２の出力、および画像処理装置４の出力は外界認識装置５に接続され、自車両の状態量を推定するために従属左右車輪速度を検出する車速検出装置６と、前輪操舵角を検出する操舵角検出装置７も接続される。このようなハード構成から、本発明の第１確信度算出手段、第２確信度算出手段、同一物体判断手段および追跡物体選択手段に相当する演算処理が行われ、これにより高度な車両用の外界認識システムが実施される。
【００１９】
外界認識装置５では、レーダ処理装置２で検知した各物体位置と画像処理により追跡中の物体位置とを選択して自車両にとって障害物であるか否かを正確に判断し、その判断結果は自動ブレーキ制御装置８に接続される。そして、前後輪には任意な制動力を達成する負圧ブレーキブースタ９が接続され、自車両の自動ブレーキ制御８からの制動力指令電圧が負圧ブレーキブースタ９のソレノイドバルブに印加されることにより行われる。これらのレーダ処理装置２や自動ブレーキ制御装置８は、それぞれマイクロコンピュータとその周辺部品や各種アクチュエータの駆動回路などを備え、互いに通信回路を介して情報を送受信する。
【００２０】
次に、作用を説明する。
［追跡物体選択制御処理］
図３〜図５は、追跡物体選択制御処理の流れを示すフローチャートであり、本制御は、例えば、100[ms]毎に実施される。
【００２１】
ステップ２０１では、スキャニング式レーザレーダの検知した各物体の位置をR（Px_z0[i], Py_z0[i]）として読込む。ここで、添え字のxは横方向（車幅方向）の物体位置であって、yは縦方向の位置（車間距離）である。また、iとは各検知物のID番号で0以上の整数あり、z0とは今回の値を、z1は1サンプリング（100ms）過去の値を、znはnサンプリング過去の値を、それぞれ意味する。
【００２２】
ステップ２０２では、CCDカメラ３から今回のサンプリングにおける撮像結果（画像）を取り込む。
【００２３】
ステップ２０３では、ステップ２０１で検知した各物体（各ID番号）の中から、最も注目する物体を1物体選択する。具体的な流れを、図６のフローチャートに示す。
【００２４】
ステップ２０３−１では、今回のサンプリングにおける自車両の車速Vspと舵角Strとヨーレートdψ/dtを読み込む。
【００２５】
ステップ２０３−２では、ステップ２０３−１で求めた車速と舵角とヨーレートを用いて、下記の式(1)より自車の将来の移動軌跡を、自車の旋回半径として予測する。
R＝Vsp／（dψ/dt）（in case of Vsp＞30km/h） …(1)
R＝（lf＋lr）／Str（in case of Vsp≦30km/h）
ここで、lf，lrは、それぞれ前輪から重心までの距離と、後輪から重心までの距離を表している。
【００２６】
ステップ２０３−３では、ステップ２０１で読み込んだ検知物体の位置から自車と接触する可能性の最も高い相対速度ベクトルの向きを下記の式(2)から、自車両とギリギリで接触する場合の相対速度ベクトルの向きを下記の式(3)からそれぞれ求める。
direction_C[i]=atan(Px_z0[i]/Py_z0[i]) …(2)
direction_L[i]=atan((Px_z0[i]+W_zo[i]/2+w/2)/(Py_z0[i])) …(3)
ここで、W_zo[i]は物体の幅、wは自車の幅を表している。
【００２７】
次に、自車に対する障害物候補の相対速度ベクトルの向きを下記の式(4)で算出し、これにより、検知物体が自車にとって障害物となり得る可能性を下記の式(5)により算出する。
direction[i]=atan(rVx_z0[i]/rVy_z0[i]) …(4)
Recog_rVxy[i]=(-0.2/fabs(direction_L[i]-direction_C[i]))
*fabs(direction_C[i]-direction[i])+1.0 …(5)
ここで、rVx_z 0 [i] は横方向の相対速度、 rVy_z 0 [i] は縦方向の相対速度、 fabs() は浮動小数点数の絶対値を取る関数であり、Recog_rVxyは接触する可能性があるときには0.8から１までの範囲を取り、可能性が低いほど小さい値となる。
【００２８】
ステップ２０３−４では、式(1)で算出した自車の将来の移動軌跡Rから、下記の式(6)により検知物体と自車との接触可能性を求める。
Recog_Dist[i]=(-0.2/w/2)*abs(hypot(Py_z0[i],(Px_z0[i]-R))-R)+1.0 …(6)
ここで、abs(A) とは、 A （引数 argument ）の絶対値を出力する関数、hypot(p1,p2)は(p1*p1+p2*p2)0.5を返す引数であり、Recog_Dist[i]は接触する可能性があるときには0.8から１までの範囲を取り、可能性が低いほど小さい値となる。
【００２９】
ステップ２０３−５では、式(5),(6)で算出した２つの接触可能性を１つの接触可能性に統合する。
Rprob[i]=
func(Th_rVy_L,Th_rVy_H,rVy_z0[i],Recog_rVxy[i],Recog_Dist[i]) …(7)
ここで、Th_rVyとTh_rVy_Hは障害物判断方法の重みを決める適当な閾値である。func(a1,a2,a3,a4,a5)は図７に表されるような特性を持つ関数であり、縦方向の相対速度が小さいときには式(6)の結果を重視し、相対速度が大きいときには式(5)の結果を重視する。
【００３０】
各物体について自車との接触可能性Rprob[i]を算出した後、すべてのRprob[i]の中で所定以上高い物体の中から最も高い物体を１つだけ選択し、その物体ID番号をslctとする。すべてのRprob[i]が所定以上とならない（障害物が存在しない）場合にはslct=-1とする。
【００３１】
ステップ２０４では、ステップ２０３でslct＜0の場合には、ステップ２２０へ、そうでない場合にはステップ２０５へ進む。
【００３２】
ステップ２０５では、画像処理による物体追跡を行っているか否かをフラグ：IP_Tracking より調べる。このフラグは、画像処理によるトラッキングを行っている場合にはIP_Tracking=1となり、そうでない場合にはIP_Tracking=0となる。ここで、IP_Tracking=0の場合にはステップ２０６へ、そうでない場合にはステップ２０８へ進む。
【００３３】
ステップ２０６では、ステップ２０３で選択した物体の位置：R（Px_z0[slct], Py_z0[slct]）に基づく画像領域に関して、物体の抽出を行う（初回抽出処理と呼ぶ）。
【００３４】
ステップ２０７では、ステップ２０６で初回抽出処理が成功した場合には、レーダ位置R（Px_z0[slct],Py_z0[slct]）と画像のエッジ位置との関係付けを行い、物体追跡フラグをIP_Tracking=1として設定して、ステップ２１０へ進む。初回抽出処理が失敗した場合には物体追跡フラグをIP_Tracking=0のままにしてステップ２２０へ進む。
【００３５】
ステップ２０８では、前回の画像による物体追跡領域に基づき、物体追跡処理用の領域を定め、その領域内で物体追跡を実施する。
【００３６】
ステップ２０９では、ステップ２０８の画像処理で物体を追跡できた場合には、画像処理から検出する物体の位置：I(Px_z0,Py_z0)を算出する。画像では１物体しか処理しないため、I(Px_z0,Py_z0)はスカラーとなる。そして、物体追跡フラグはIP_Tracking=1のままでステップ２１０へ進む。画像による追跡処理が失敗した場合には物体追跡フラグをIP_Tracking=0のに設定してステップ２２０へ進む。
【００３７】
ステップ２１０では、画像で検知した物体が自車にとって障害物となる可能性：Iprobを算出する。具体的な方法としては、ステップ２０３と同様である。ここで、Iprobを算出する際には相対速度ベクトルに基づく判断は行わず、検知物の位置と自車の予測進路に基づき（つまりRecog_rVxyではなくRecog_Distから）Iprobを算出する。なぜならば、画像処理で算出した横方向位置は高精度であるが、縦位置の精度は悪いため微分演算を必要とする相対速度がキレイに得られないからである。
【００３８】
ステップ２１１では、画像で検知した物体とステップ２０３で選択したレーダ検知物が同一物体であるか否かの判断を行う。具体的には例えば下記の式(8)，(9)の双方を満足したら同一物体と判断する。ここで、レーダと画像が同一物体を捕捉中にはステップ２２０へ、そうでない場合にはステップ２１２へ進む。
abs{ R(Px_z0[slct] ) − I(Px_z0) } ＜ Th_Px1 …(8)
abs{ R(Py_z0[slct] ) − I(Py_z0) } ＜ Th_Py1 …(9)
ここで、abs(A)とは、A(引数argumentの頭文字)の絶対値を出力する関数である。また、Th_Px1とは横方向の検知位置の変化に関する閾値であって、Th_Py1とは縦方向の検知位置に関する閾値である。つまり、レーダ検知位置と画像の検知位置が所定よりも離れた場合には、双方で違う物体を検知している、ことを意味する。
【００３９】
ここでは、双方の位置の隔たりから判断したが、レーザの位置に入れ替わりが生じた場合も同様に、レーダと画像では別の物体を検知していることになる。これを判断する例として、下記の式(10)，(11)の双方を満足するとレーダ検知物に入れ替わりが生じたと判断し、ステップ２１２へ進むとしても構わない。
abs{ R(Px_z0[slct] ) − R(Px_z1[slct] ) } ＞ Th_Px2 …(10)
abs{ R(Py_z0[slct] ) − R(Py_z1[slct] ) } ＞ Th_Py2 …(11)
ここで、Th_Px2、Th_Py2とは前回と今回のサンプリング周期の間に物体の動きに関する許容値を表しています。つまり、今回と前回のサンプリングにおけるレーダで最も注目する物体が変わらなければ（入れ替わりが生じない場合には）、式(10)，(11)の左辺は比較的小さい値になり、これにより判断できる。
【００４０】
ステップ２１２では、IprobとRprob[slct]から、下記の式(12)，(13)の双方を満たす場合にはステップ２１３へ進み、そうでない場合にはステップ２１４へ進む。
Rprob[slct] ＜ Th_Prob1…(12)
Iprob ＜ Th_Prob1 …(13)
ここで、Th_Prob1とは障害物ではないと確信できる程度の小さい値を意味している。
【００４１】
ステップ２１３では、物体追跡フラグをIP_Tracking=0としてリセットする。これにより、次回の画像処理ではステップ２０６においてレーダ検知物体の位置：R（Px_z0[slct],Py_z0[slct]）に基づき初回抽出処理が行われるため、画像処理対象をレーダ検知物に切り換えることで、将来、障害物となるかもしれない物体に、早期に備えることができる。そして、ステップ２２０へ進む。
【００４２】
ステップ２１４では、IprobとRprob[slct]から、下記の式(14)，(15)の双方を満たす場合にはステップ２１５へ進み、そうでない場合にはステップ２１６へ進む。
Rprob[slct] ＞ Th_Prob2 …(14)
Iprob ＞ Th_Prob2 …(15)
ここで、Th_Prob2とは障害物であると確信できる程度の大きい値を意味している。
【００４３】
ステップ２１５では、物体追跡フラグをIP_Tracking=1のままにセットする。これにより、次回の画像処理ではステップ２０８において画像追跡物体の位置：I（Px_z0, Py_z0）に基づき追跡処理が続行されるため、レーダ視野角外で検知できない物体とレーダで検知中の物体の双方について注意を怠らないシステム構成が可能となる。そして、ステップ２２０へ進む。
【００４４】
ステップ２１６では、IprobとRprob[slct]から、下記の式(16)を満たす場合にはステップ２１７へ進み、そうでない場合にはステップ２１８へ進む。
Rprob[slct] ＜ Iprob …(16)
【００４５】
ステップ２１７では、物体追跡フラグをIP_Tracking=1のままにセットする。これにより、次回の画像処理ではステップ２０８において画像追跡物体の位置：I（Px_z0,Py_z0）に基づき追跡処理が続行されるため、レーダの視野角外に存在する物体であるが、自車と接近しているために注意する必要がある物体を見落とすことがなくなる。そして、ステップ２２０へ進む。
【００４６】
ステップ２１８では、IprobとRprob[slct]から、下記の式(17)を満たす場合にはステップ２１９へ進み、そうでない場合にはステップ２２０へ進む。
Rprob[slct] ＞ Iprob …(17)
【００４７】
ステップ２１９では、物体追跡フラグをIP_Tracking=0としてリセットする。これにより、次回の画像処理ではステップ２０６においてレーダ検知物体の位置：R（Px_z0[slct],Py_z0[slct]）に基づき初回抽出処理が行われるため、適切なタイミングでレーダと同一物体を冗長に検知して信頼性を高めることができる。そして、ステップ２２０へ進む。
【００４８】
ステップ２２０では、ステップ２０３などの確信度演算に用いる変数について過去値を更新し、終了する。
【００４９】
このようにして、レーダ検知物体と画像追跡物体が異なる場合には、ステップ２１２から２１９の条件により画像での追跡処理をコントロールする。これにより、画像処理可能な物体数が１物体だけのシステムでも、前方に複数の物体が存在する場合に、状況に応じて適切な物体に関して画像処理を行うことが可能となり、フュージョンによる信頼性の高い外界認識系を現実的なプロセッサー構成で実現することが可能となる。
【００５０】
次に、効果を説明する。
第１実施例の車両用外界認識装置にあっては、次に列挙する効果が得られる。
【００５１】
画像処理装置４で検知した物体と、レーダ処理装置２が選択したレーダ検知物が同一物体ではないと判断された場合には、レーザレーダ１で検知した物体群の中で最も高い接触可能性Rprob[slct]と、画像処理装置４で検知した物体が自車にとって障害物となる可能性Iprobとの関係に応じて、追跡する対象を切り換えるため、常に自車にとって最も留意する必要のある物体を選択することができる。よって、画像処理領域を１物体に限定でき、画像処理の演算負荷を下げることができる。
【００５２】
Rprob[slct]がIprobよりも小さい場合には、画像の追跡を続行するため、レーダの視野角外に存在する物体であるが、自車と接近しているために注意する必要のある物体を見落とすことがなくなる。
【００５３】
Rprob[slct]がIprobよりも大きい場合には、画像の追跡を強制終了し、レーダ検知物を初回抽出処理により検知し直すため、適切なタイミングでレーダと同一物体を冗長に検知して信頼性を高めることができる。
【００５４】
Rprob[slct]とIprobが共にTh_Prob1よりも小さい場合には、画像の追跡を強制終了し、レーダ検知物を初回抽出処理により検知し直すため、画像処理対象をレーダ検知物に切り換えることで、将来、障害物となるかもしれない物体に、早期に備えることができる。一般に、レーダよりもカメラの方が広視野角であるため、このような場面は、レーダは車間距離方向に遠い物体を検知しているが、画像では横方向（車幅方向）に遠い物体であって自車の操舵回避で通過する直前のシーンである。
【００５５】
Rprob[slct]とIprobが共にTh_Prob1よりも大きい場合には、画像の追跡を続行するため、レーダ視野角外で検知できない物体とレーダで検知中の物体の双方について注意を怠らないシステム構成が可能となる。
【００５６】
図８に、レーダ検知物と画像検知物が異なる場合における、画像処理のアクションとその効果を示す。
【００５７】
（第２実施例）
第１実施例はレーダ検知物体と画像検知物体が異なる場合に、画像処理する物体を状況に応じて適切に選択するものであるが、第２実施例では、これに加えてレーダ検知物体と画像検知物体が同じ場合における、画像処理への追跡処理をコントロールすることで、画像処理の位置精度が低い場合に対応するものである。なお、第２実施例の構成は図２に示した第１実施例の構成と同一であるため、説明を省略する。
【００５８】
次に、作用を説明する。
［追跡物体選択制御処理］
図９，１０は、追跡物体選択制御処理の流れを示すフローチャートである。なお、第１実施例と同一部分には、同一のステップ番号を付して説明を省略する。
【００５９】
ステップ３０７では、第1の実施例のステップ２０７と同様であるが、これに加えて、画像処理が精度良く実施されることを意味するフラグ：IP_State=1をセットする。このフラグがIP_State=0の場合には、画像処理により物体追跡を行うことはできているが、検知位置精度は高くない場合を意味している。
【００６０】
ステップ３０９は、第1実施例のステップ２０７とほぼ同様であるが、これに加えて、物体追跡フラグはIP_Tracking=1としてセットされた場合には、画像処理による追跡での位置精度を調べ、精度良く実施されていればIP_State=1をセットする。追跡はできたが位置精度が悪い可能性がある場合にはIP_State=0にセットする。具体的な方法としては、エッジ検出により物体を検出した場合にはIP_State=1とセットし、パターンマッチングにより検出した場合にはIP_State=0をセットする。
【００６１】
ステップ３１１は、第1実施例のステップ２１１と同様であるが、第1実施例ではレーダと画像が同一物体を検知している場合にはステップ２２０へ進んで本制御を終了したのに対し、ステップ３２１へ進む点が異なる。
【００６２】
ステップ３２１では、下記の式(18)を満足する場合にはステップ３２２へ進み、そうでない場合にはステップ３２３へ進む。
IP_State ＝ １ …(18)
【００６３】
ステップ３２２では、物体追跡フラグをIP_Tracking=1のままにセットする。これにより、次回の画像処理ではステップ３０８において画像追跡物体の位置：I（Px_z0,Py_z0）に基づき追跡処理が続行される。そして、ステップ３２０へ行く。
【００６４】
ステップ３２３では、式(14)を満足する場合にはステップ３２４へ進み、そうでない場合にはステップ３２５へ進む。
ここで、式(14)を流用したが、新たな閾値を設定しても良い。また、レーダの確信度を用いたが画像の確信度：Iprobを用いても良い。
【００６５】
ステップ３２４では、物体追跡フラグをIP_Tracking=1のままにセットする。これにより、次回の画像処理ではステップ２０８において画像追跡物体の位置：I（Px_z0,Py_z0）に基づき追跡処理が続行される。これにより、画像から算出される物体位置精度は多少低下するが、常に連続して障害物位置を求めることで、レーダとの冗長な物体検知系が構成でき、視野が狭いために近距離でロストする可能性のあるレーダのバックアップが可能となる。そして、ステップ２２０へ行く。
【００６６】
ステップ３２５では、物体追跡フラグをIP_Tracking=0にリセットする。これにより、次回の画像処理ではステップ２０６においてレーダ検知物体の位置：R（Px_z0[slct],Py_z0[slct]）に基づき初回抽出処理が行われるため、これにより、将来的に障害物となる場合に高精度な位置検出が画像から実施できるように備えることができる。そして、ステップ２２０へ行く。
【００６７】
このようにして、レーダ検知物体と画像追跡物体が同じ場合では、検知物が障害物となる可能性の高さと画像処理による物体追跡位置精度に応じて画像での追跡処理の｛続行｝と｛強制終了｝とをコントロールする。これにより、画像処理での追跡位置精度が悪い場合には走行状況に応じて、冗長に検知することを優先する、或いは、位置精度向上を優先する、に対応することが可能となり、フュージョンによる信頼性の向上と位置精度の向上を実現することが可能となる。
【００６８】
次に、効果を説明する。
第２実施例の車両用外界認識装置にあっては、次に列挙する効果が得られる。
【００６９】
画像で検知した物体とレーダ検知物が同一物体である場合には、画像処理による位置精度と、レーザレーダ１で検知した物体群の中で最も高い接触可能性Rprob[slct]と、画像処理装置４で検知した物体が自車にとって障害物となる可能性Iprobとの関係に応じて、追跡する対象を切り換える。すなわち、今のところ検知物が障害物にならないと判断できる場合に画像処理の信頼性が低いときは、追跡処理を一旦強制的に終了させ、より高精度な位置検出が画像から実施できるように画像処理を最初からやり直す。これにより、将来的に障害物となる場合に備えることができる。また、検知物が障害物の場合に画像処理の信頼性が低いときは、画像から算出される物体位置精度は多少低下するが、常に連続して障害物位置を求めることで、レーダとの冗長な物体検知系が構成でき、視野が狭いために近距離でロストする可能性のあるレーダのバックアップが可能となる。
【００７０】
画像追跡の位置精度が低いと判断された場合でも、レーダの確信度Rprob[slct]が所定値Th_Prob2よりも大きい場合には画像の追跡を続行するため、画像から算出される物体位置精度は多少低下するが、常に連続して障害物位置を求めることで、レーダとの冗長な物体検知系が構成でき、視野が狭いために近距離でロストする可能性のあるレーダのバックアップが可能となる。
【００７１】
画像追跡の位置精度が低いと判断され、かつ、レーダの確信度Rprob[slct]が所定値Th_Prob2以下である場合には、画像の追跡を一度強制終了し、以前から画像で追跡していた物体＝レーダ検知物を再度、初期的な画像処理からやり直す。すなわち、画像追跡中に追跡物体の画像領域に多少の背景を含んでしまうことにより信頼性が低くなった場合、画像処理を最初からやり直すことで背景を再度除去できる。これにより、将来的に障害物となる場合に高精度な位置検出が画像から実施できるように備えることができる。
【００７２】
図１１に、レーダ検知物と画像検知物が同一である場合における、画像処理のアクションとその効果を示す。
【００７３】
（第３実施例）
第１，第２実施例は、画像処理する物体を限定するため、追跡処理をコントロールするものであるが、第３実施例では、これに加え、後段へ出力する物体位置を、シンプルに高精度化でき、かつ、適切な物体を選択して出力するものである。なお、第３実施例の構成は図２に示した第１実施例の構成と同一であるため、説明を省略する。
【００７４】
次に、作用を説明する。
［追跡物体選択制御処理］
図１２〜１６は、追跡物体選択制御処理の流れを示すフローチャートである。なお、第１および第２実施例と同一部分には、同一のステップ番号を付して説明を省略する。
【００７５】
ステップ４１３，４１９，４２５では、物体追跡フラグをIP_Tracking=0としてリセットし、ステップ４２６へ進む。
【００７６】
ステップ４１５，４１７，４２２，４２４では、物体追跡フラグをIP_Tracking=1のままにセットし、ステップ４２６へ進む。
【００７７】
ステップ４２６では、式(12)，(13)の双方を満たす場合にはステップ４２７へ進み、そうでない場合にはステップ４２８へ進む。
【００７８】
ステップ４２７では、縦方向の位置と横方向の位置とを、どちらもレーダ検知物の位置であるR(Px_z0[slct], Py_z0[slct])を後段へ出力し、ステップ２２０へ進む。
【００７９】
ステップ４２８では、式(14)，(15)の双方を満たす場合にはステップ４２９へ進み、そうでない場合にはステップ４３０へ進む。
【００８０】
ステップ４２９では、衝突速度低減のための目標減速度を下記の式(19)から演算し、このときのブレーキトルク、ブレーキ圧を下記の式(20)から求める。これをレーダ検知物体と画像追跡物体とで比較し、強い制動力を必要とする物体位置を後段へ出力して、ステップ２２０へ進む。
αCA ＝ (Vp2 − Vc2) ／｛2 (L − Lt) ｝…(19)
なお、 Vp ＝ Vc + Vr
Tbrk ＝ Tw − Rt*Rat*Rdef ( Te−Je*dNe ) …(20)
なお Tw ＝ Mv*αCA *Rw
ここで、式(19)のαCAは目標加速度、Vcは自車速度、Vrは物体との相対速度、Lは物体までの距離を、Ltは目標車間距離を表している。また、式(20)のTbrkはブレーキトルクを、Twは駆動軸トルクを、Rtはトルコンの入出力軸の速度比から求まるトルク比を、RatはATの変速ギア比を、Rdefはデフギア比を、Neは計測するエンジン回転数を、dNe はその時間微分値を、TeはNeで決まるエンジンブレーキトルクを、Jeはエンジンイナーシャを、Mvは自車両の重さを、Rwは車輪半径を、それぞれ表している。
【００８１】
ステップ４３０では、式(16)を満たす場合にはステップ４３１へ進み、そうでない場合にはステップ４３２へ進む。
【００８２】
ステップ４３１では、縦方向の位置と横方向の位置とを、どちらも画像検知物の位置であるI(Px_z0, Py_z0)を後段へ出力し、ステップ２２０へ進む。
【００８３】
ステップ４３２では、式(17)を満たす場合にはステップ４３３へ進み、そうでない場合にはステップ２２０へ進む。
【００８４】
ステップ４３３では、縦方向の位置と横方向の位置とを、どちらも レーダ検知物の位置であるR(Px_z0[slct], Py_z0[slct])を後段へ出力して、ステップ２２０へ進む。
【００８５】
ステップ４３４では、式(18)を満足する場合にはステップ４３５へ、そうでない場合にはステップ４３６へ進む。
【００８６】
ステップ４３５では、縦方向の位置はレーダ検知物の縦位置であるR(Py_z0[slct])を、横方向の位置は画像検知物体の横位置であるI(Px_z0)を後段へ出力して、ステップ２２０へ進む。
【００８７】
ステップ４３６では、縦方向の位置と横方向の位置を、どちらもレーダ検知物の位置であるR(Px_z0[slct], Py_z0[slct])を後段へ出力して、ステップ２２０へ進む。
ステップ４２７、４２９、４３１、４３３、４３５および４３６により、出力物体位置決定手段が構成される。
【００８８】
このようにして、レーダ検知物体と画像追跡物体が同じか否か、および、障害物確信度、画像処理の信頼性に基づき、物体位置を選択して後段へ出力する。このため、後段への出力位置をシンプルな構成で高精度化でき、かつ、適切な物体を選択して出力することが可能となる。
【００８９】
次に、効果を説明する。
第３実施例の車両用外界認識装置にあっては、次に列挙する効果が得られる。
【００９０】
画像処理による位置精度と、レーザレーダ１で検知した物体群の中で最も高い接触可能性Rprob[slct]と、画像処理装置４で検知した物体が自車にとって障害物となる可能性Iprobに基づき、後段へ出力する物体位置を選択的に決定するため、簡単に後段への出力する位置を高精度化することができる。
【００９１】
レーダと画像が同一の物体を追跡中と判断した場合には、後段への位置出力を、
縦方向（車間距離）がレーダの出力、横方向（車幅方向）が画像検知物の出力となるように選択し、画像処理の信頼性が低い場合には、縦方向も横方向も共にレーダの出力を選択して後段に出力するため、シンプルに後段への出力する位置を高精度化することができる。
【００９２】
レーダと画像が同一物体を追跡していないと判断した場合、Rprob[slct]がIprobよりも小さい場合には、縦方向も横方向も共に画像検知物の位置を後段に出力し、Rprob[slct]がIprobよりも大きい場合には、縦方向も横方向も共にレーダ検知物の位置を後段へ出力し、Rprob[slct]とIprobが共に所定値Th_Prob1よりも小さい場合には、縦方向も横方向も共にレーダ検知物の位置を後段へ出力するため、後段への出力する位置を状況に応じて適切に選択することができる。
【００９３】
レーダと画像が同一物体を追跡していないと判断した場合、Rprob[slct]とIprobが共に所定値Th_Prob1よりも大きい場合には、衝突速度低減のための目標減速度を演算し、このときのブレーキトルク、ブレーキ圧を求め、これをレーダ検知物体と画像追跡物体とで比較し、より大きな制動力が必要となる方の物体位置を後段へ選択して出力するため、レーダで検知中の物体と視野角外で検知できない物体の双方がともに障害物の場合に、自車にとってより適切な物体位置を後段へ出力することができる。
【００９４】
図１７に、後段への検知物位置を出力する際の条件とその効果を示す。
【図面の簡単な説明】
【図１】車両用外界認識装置の構成を示すブロック図である。
【図２】第１実施例の車両用外界認識装置の構成を示すブロック図である。
【図３】第１実施例の追跡物体選択制御処理の流れを示すフローチャートである。
【図４】第１実施例の追跡物体選択制御処理の流れを示すフローチャートである。
【図５】第１実施例の追跡物体選択制御処理の流れを示すフローチャートである。
【図６】注目する物体を選択する処理の流れを示すフローチャートである。
【図７】関数funcの特性を表すマップである。
【図８】レーダ検知物と画像検知物が異なる場合における、画像処理のアクションとその効果を示す図である。
【図９】第２実施例の追跡物体選択制御処理の流れを示すフローチャートである。
【図１０】第２実施例の追跡物体選択制御処理の流れを示すフローチャートである。
【図１１】レーダ検知物と画像検知物が同一である場合における、画像処理のアクションとその効果を示す図である。
【図１２】第３実施例の追跡物体選択制御処理の流れを示すフローチャートである。
【図１３】第３実施例の追跡物体選択制御処理の流れを示すフローチャートである。
【図１４】第３実施例の追跡物体選択制御処理の流れを示すフローチャートである。
【図１５】第３実施例の追跡物体選択制御処理の流れを示すフローチャートである。
【図１６】第３実施例の追跡物体選択制御処理の流れを示すフローチャートである。
【図１７】後段への検知物位置を出力する際の条件とその効果を示す図である。
【図１８】従来技術の問題点を示す説明図である。
【図１９】従来技術の問題点を示す説明図である。
【符号の説明】
１ レーザレーダ
２ レーダ処理装置
３ CCDカメラ
４ 画像処理装置
５ 外界認識装置
６ 車速検出装置
７ 操舵角検出装置
８ 自動ブレーキ制御装置
９ 負圧ブレーキブースタ
１０１ 物体位置検出手段
１０２ 画像取り込み手段
１０３ 注目物体選択手段
１０４ 画像処理物体追跡手段
１０５ 第１確信度算出手段
１０６ 第２確信度算出手段
１０７ 同一物体判断手段
１０８ 追跡物体選択手段
【発明の属する技術分野】
この発明は、レーザレーダやミリ波レーダ等の測距センサとCCDカメラやCMOSカメラなどにより測距センサの検知物を冗長に捕捉することにより、より高精度に物体位置を検出するとともに、測距センサのロストを補うことを目的とする車両用外界認識装置に関するものである。
【０００２】
【従来の技術】
レーザレーダが物体を検知した場合には、その物体位置に相当する画像領域についてステレオカメラにより冗長に物体検知することで信頼性の向上を狙った装置が提案されている。
【０００３】
この装置では、カメラにより冗長検知する画像処理領域をレーダで検知した先行車位置に基づき限定するため、画像処理を高速に行うことが可能となるものである。
【０００４】
【特許文献１】
特開平７−１２５５６７号公報
【０００５】
【発明が解決しようとする課題】
しかしながら、上記従来技術にあっては、常にレーダと画像は同一物体を捕捉するため、図１８のように操舵回避の後に低速車Ｂとの接近が起こるシーン、または図１９のように直進時でも停止車Ａの近くをすり抜けるシーン等に対応できない。
【０００６】
つまり、常にレーダと同一の物体を画像で捕捉する場合では、一般的にカメラよりも視野角の狭いレーダが停止車Ａ（に接近するために、停止車Ａ）をロストして低速車Ｂを検知すると、画像処理対象も低速車Ｂに切り換える。このとき、停止車Ａに接近し過ぎる状況が生じた場合には、システム全体でそれを検知できないという問題が生じる。ここで、画像処理により停止車Ａと低速車Ｂの双方について追跡を行えば問題はないが、現在および近い将来におけるＣＰＵ能力では、画像処理可能な物体数は１物体に限られてしまう。
【０００７】
本発明は、上記問題に着目してなされたもので、その目的とするところは、複数の物体が存在するとき、画像処理する物体を状況に応じて適切なタイミングで切り換えることができ、画像処理の演算負荷を軽減できる車両用外界認識装置を提供することにある。
【０００８】
【課題を解決するための手段】
上述の目的を達成するため、本発明では、自車前方の物体位置を検出する物体位置検出手段と、自車前方の状況を画像として取り込む画像取り込み手段と、検出された物体位置に基づいて、自車にとって最も注目すべき物体を１つだけ選択する注目物体選択手段と、選択された物体を初期的に参照し、取り込まれた画像の処理により物体を追跡する画像処理物体追跡手段と、を備えた車両用外界認識装置において、選択された物体が自車にとって障害物となる可能性を第１確信度として算出する第１確信度算出手段と、追跡中の物体が自車にとって障害物となる可能性を第２確信度として算出する第２確信度算出手段と、選択された物体と追跡中の物体が同一であるかどうかを判断する同一物体判断手段と、選択された物体と追跡中の物体が同一ではないと判断されたとき、第１確信度と第２確信度に基づき、画像処理物体追跡手段で追跡する物体を選択する追跡物体選択手段と、を設けたことを特徴とする。
【０００９】
【発明の効果】
よって、本発明にあっては、追跡物体選択手段は、選択された物体と追跡中の物体が異なる場合には、選択された物体が障害物となる可能性と、追跡中の物体が障害物となる可能性とに基づいて、追跡する物体を選択するため、画像処理する物体を状況に応じて適切なタイミングで切り換えることができ、画像処理の演算負荷を軽減できる。
【００１０】
【発明の実施の形態】
以下、本発明の実施の形態を図面に基づいて説明する。
図１は、車両用外界認識装置の構成を示すブロック図である。この車両用外界認識装置は、物体位置検出手段１０１と、画像取り込み手段１０２と、注目物体選択手段１０３と、画像処理物体追跡手段１０４と、第１確信度算出手段１０５と、第２確信度算出手段１０６と、同一物体判断手段１０７と、追跡物体選択手段１０８とから構成される。
【００１１】
前記物体位置検出手段１０１は、検知物体との相対位置を出力する。画像取り込み手段１０２は、自車前方の画像を撮らえる。注目物体選択手段１０３は、物体位置検出手段１０１の出力に基づき自車にとって最も注目したい物体を１つだけ選択する。画像処理物体追跡手段１０４は、注目物体選択手段１０３で選択した物体を初期的に参照し、画像取り込み手段１０２の画像の処理で物体を追跡する。
【００１２】
前記第１確信度算出手段１０５は、注目物体選択手段１０３で選択した物体が自車にとって障害物となる可能性として第１確信度を算出する。第２確信度算出手段１０６は、画像処理物体追跡手段１０４で追跡中の物体が自車にとって障害物となる可能性として第２確信度を算出する。同一物体判断手段１０７は、注目物体選択手段１０３で選択された物体と、画像処理物体追跡手段１０４で追跡中の物体が同一であるか否かを判断する。
【００１３】
前記追跡物体選択手段１０８は、第１確信度と第２確信度と同一物体判断手段１０７の判断結果に基づき、画像処理物体追跡手段１０４が追跡する物体を選択する。
【００１４】
次に、実施の形態を実現する具体的実施例を説明する。
【００１５】
（第１実施例）
第１実施例は、画像処理可能な物体数が１物体のみというシステムにおいて、自車前方に複数の物体が存在する場合に、それらの画像処理を適切なタイミングで切り換えることにより、現実的なフュージョンシステムの構成を可能とする場合である。
【００１６】
まず、構成を説明する。
図２は、第１実施例の車両用外界認識装置の構成を示すブロック図である。スキャニング式レーザレーダ（物体位置検出手段）１で走査した結果から障害物候補を抽出するレーダ処理装置（注目物体選択手段）２が接続され、このレーダ処理装置２では一つまたは複数の障害物候補に対して自車両を原点とする２次元（車間距離方向と車幅方向）座標値の算出と障害物候補の幅（大きさ）の算出が実施される。
【００１７】
また自車前方の状況を高速に把握するプログレッシブスキャン式CCDカメラ（画像取り込み手段）３が搭載され、この撮像結果が画像処理装置（画像処理物体追跡手段）４に接続される。この画像処理装置４ではレーダ処理装置２で捕捉した障害物候補の座標付近の画像データを記憶し、自車両のピッチング変動等によりレーダ検知物体をロストした場合に、画像処理により物体を検知する処理が実施される。
【００１８】
レーダ処理装置２の出力、および画像処理装置４の出力は外界認識装置５に接続され、自車両の状態量を推定するために従属左右車輪速度を検出する車速検出装置６と、前輪操舵角を検出する操舵角検出装置７も接続される。このようなハード構成から、本発明の第１確信度算出手段、第２確信度算出手段、同一物体判断手段および追跡物体選択手段に相当する演算処理が行われ、これにより高度な車両用の外界認識システムが実施される。
【００１９】
外界認識装置５では、レーダ処理装置２で検知した各物体位置と画像処理により追跡中の物体位置とを選択して自車両にとって障害物であるか否かを正確に判断し、その判断結果は自動ブレーキ制御装置８に接続される。そして、前後輪には任意な制動力を達成する負圧ブレーキブースタ９が接続され、自車両の自動ブレーキ制御８からの制動力指令電圧が負圧ブレーキブースタ９のソレノイドバルブに印加されることにより行われる。これらのレーダ処理装置２や自動ブレーキ制御装置８は、それぞれマイクロコンピュータとその周辺部品や各種アクチュエータの駆動回路などを備え、互いに通信回路を介して情報を送受信する。
【００２０】
次に、作用を説明する。
［追跡物体選択制御処理］
図３〜図５は、追跡物体選択制御処理の流れを示すフローチャートであり、本制御は、例えば、100[ms]毎に実施される。
【００２１】
ステップ２０１では、スキャニング式レーザレーダの検知した各物体の位置をR（Px_z0[i], Py_z0[i]）として読込む。ここで、添え字のxは横方向（車幅方向）の物体位置であって、yは縦方向の位置（車間距離）である。また、iとは各検知物のID番号で0以上の整数あり、z0とは今回の値を、z1は1サンプリング（100ms）過去の値を、znはnサンプリング過去の値を、それぞれ意味する。
【００２２】
ステップ２０２では、CCDカメラ３から今回のサンプリングにおける撮像結果（画像）を取り込む。
【００２３】
ステップ２０３では、ステップ２０１で検知した各物体（各ID番号）の中から、最も注目する物体を1物体選択する。具体的な流れを、図６のフローチャートに示す。
【００２４】
ステップ２０３−１では、今回のサンプリングにおける自車両の車速Vspと舵角Strとヨーレートdψ/dtを読み込む。
【００２５】
ステップ２０３−２では、ステップ２０３−１で求めた車速と舵角とヨーレートを用いて、下記の式(1)より自車の将来の移動軌跡を、自車の旋回半径として予測する。
R＝Vsp／（dψ/dt）（in case of Vsp＞30km/h） …(1)
R＝（lf＋lr）／Str（in case of Vsp≦30km/h）
ここで、lf，lrは、それぞれ前輪から重心までの距離と、後輪から重心までの距離を表している。
【００２６】
ステップ２０３−３では、ステップ２０１で読み込んだ検知物体の位置から自車と接触する可能性の最も高い相対速度ベクトルの向きを下記の式(2)から、自車両とギリギリで接触する場合の相対速度ベクトルの向きを下記の式(3)からそれぞれ求める。
direction_C[i]=atan(Px_z0[i]/Py_z0[i]) …(2)
direction_L[i]=atan((Px_z0[i]+W_zo[i]/2+w/2)/(Py_z0[i])) …(3)
ここで、W_zo[i]は物体の幅、wは自車の幅を表している。
【００２７】
次に、自車に対する障害物候補の相対速度ベクトルの向きを下記の式(4)で算出し、これにより、検知物体が自車にとって障害物となり得る可能性を下記の式(5)により算出する。
direction[i]=atan(rVx_z0[i]/rVy_z0[i]) …(4)
Recog_rVxy[i]=(-0.2/fabs(direction_L[i]-direction_C[i]))
*fabs(direction_C[i]-direction[i])+1.0 …(5)
ここで、rVx_z 0 [i] は横方向の相対速度、 rVy_z 0 [i] は縦方向の相対速度、 fabs() は浮動小数点数の絶対値を取る関数であり、Recog_rVxyは接触する可能性があるときには0.8から１までの範囲を取り、可能性が低いほど小さい値となる。
【００２８】
ステップ２０３−４では、式(1)で算出した自車の将来の移動軌跡Rから、下記の式(6)により検知物体と自車との接触可能性を求める。
Recog_Dist[i]=(-0.2/w/2)*abs(hypot(Py_z0[i],(Px_z0[i]-R))-R)+1.0 …(6)
ここで、abs(A) とは、 A （引数 argument ）の絶対値を出力する関数、hypot(p1,p2)は(p1*p1+p2*p2)0.5を返す引数であり、Recog_Dist[i]は接触する可能性があるときには0.8から１までの範囲を取り、可能性が低いほど小さい値となる。
【００２９】
ステップ２０３−５では、式(5),(6)で算出した２つの接触可能性を１つの接触可能性に統合する。
Rprob[i]=
func(Th_rVy_L,Th_rVy_H,rVy_z0[i],Recog_rVxy[i],Recog_Dist[i]) …(7)
ここで、Th_rVyとTh_rVy_Hは障害物判断方法の重みを決める適当な閾値である。func(a1,a2,a3,a4,a5)は図７に表されるような特性を持つ関数であり、縦方向の相対速度が小さいときには式(6)の結果を重視し、相対速度が大きいときには式(5)の結果を重視する。
【００３０】
各物体について自車との接触可能性Rprob[i]を算出した後、すべてのRprob[i]の中で所定以上高い物体の中から最も高い物体を１つだけ選択し、その物体ID番号をslctとする。すべてのRprob[i]が所定以上とならない（障害物が存在しない）場合にはslct=-1とする。
【００３１】
ステップ２０４では、ステップ２０３でslct＜0の場合には、ステップ２２０へ、そうでない場合にはステップ２０５へ進む。
【００３２】
ステップ２０５では、画像処理による物体追跡を行っているか否かをフラグ：IP_Tracking より調べる。このフラグは、画像処理によるトラッキングを行っている場合にはIP_Tracking=1となり、そうでない場合にはIP_Tracking=0となる。ここで、IP_Tracking=0の場合にはステップ２０６へ、そうでない場合にはステップ２０８へ進む。
【００３３】
ステップ２０６では、ステップ２０３で選択した物体の位置：R（Px_z0[slct], Py_z0[slct]）に基づく画像領域に関して、物体の抽出を行う（初回抽出処理と呼ぶ）。
【００３４】
ステップ２０７では、ステップ２０６で初回抽出処理が成功した場合には、レーダ位置R（Px_z0[slct],Py_z0[slct]）と画像のエッジ位置との関係付けを行い、物体追跡フラグをIP_Tracking=1として設定して、ステップ２１０へ進む。初回抽出処理が失敗した場合には物体追跡フラグをIP_Tracking=0のままにしてステップ２２０へ進む。
【００３５】
ステップ２０８では、前回の画像による物体追跡領域に基づき、物体追跡処理用の領域を定め、その領域内で物体追跡を実施する。
【００３６】
ステップ２０９では、ステップ２０８の画像処理で物体を追跡できた場合には、画像処理から検出する物体の位置：I(Px_z0,Py_z0)を算出する。画像では１物体しか処理しないため、I(Px_z0,Py_z0)はスカラーとなる。そして、物体追跡フラグはIP_Tracking=1のままでステップ２１０へ進む。画像による追跡処理が失敗した場合には物体追跡フラグをIP_Tracking=0のに設定してステップ２２０へ進む。
【００３７】
ステップ２１０では、画像で検知した物体が自車にとって障害物となる可能性：Iprobを算出する。具体的な方法としては、ステップ２０３と同様である。ここで、Iprobを算出する際には相対速度ベクトルに基づく判断は行わず、検知物の位置と自車の予測進路に基づき（つまりRecog_rVxyではなくRecog_Distから）Iprobを算出する。なぜならば、画像処理で算出した横方向位置は高精度であるが、縦位置の精度は悪いため微分演算を必要とする相対速度がキレイに得られないからである。
【００３８】
ステップ２１１では、画像で検知した物体とステップ２０３で選択したレーダ検知物が同一物体であるか否かの判断を行う。具体的には例えば下記の式(8)，(9)の双方を満足したら同一物体と判断する。ここで、レーダと画像が同一物体を捕捉中にはステップ２２０へ、そうでない場合にはステップ２１２へ進む。
abs{ R(Px_z0[slct] ) − I(Px_z0) } ＜ Th_Px1 …(8)
abs{ R(Py_z0[slct] ) − I(Py_z0) } ＜ Th_Py1 …(9)
ここで、abs(A)とは、A(引数argumentの頭文字)の絶対値を出力する関数である。また、Th_Px1とは横方向の検知位置の変化に関する閾値であって、Th_Py1とは縦方向の検知位置に関する閾値である。つまり、レーダ検知位置と画像の検知位置が所定よりも離れた場合には、双方で違う物体を検知している、ことを意味する。
【００３９】
ここでは、双方の位置の隔たりから判断したが、レーザの位置に入れ替わりが生じた場合も同様に、レーダと画像では別の物体を検知していることになる。これを判断する例として、下記の式(10)，(11)の双方を満足するとレーダ検知物に入れ替わりが生じたと判断し、ステップ２１２へ進むとしても構わない。
abs{ R(Px_z0[slct] ) − R(Px_z1[slct] ) } ＞ Th_Px2 …(10)
abs{ R(Py_z0[slct] ) − R(Py_z1[slct] ) } ＞ Th_Py2 …(11)
ここで、Th_Px2、Th_Py2とは前回と今回のサンプリング周期の間に物体の動きに関する許容値を表しています。つまり、今回と前回のサンプリングにおけるレーダで最も注目する物体が変わらなければ（入れ替わりが生じない場合には）、式(10)，(11)の左辺は比較的小さい値になり、これにより判断できる。
【００４０】
ステップ２１２では、IprobとRprob[slct]から、下記の式(12)，(13)の双方を満たす場合にはステップ２１３へ進み、そうでない場合にはステップ２１４へ進む。
Rprob[slct] ＜ Th_Prob1…(12)
Iprob ＜ Th_Prob1 …(13)
ここで、Th_Prob1とは障害物ではないと確信できる程度の小さい値を意味している。
【００４１】
ステップ２１３では、物体追跡フラグをIP_Tracking=0としてリセットする。これにより、次回の画像処理ではステップ２０６においてレーダ検知物体の位置：R（Px_z0[slct],Py_z0[slct]）に基づき初回抽出処理が行われるため、画像処理対象をレーダ検知物に切り換えることで、将来、障害物となるかもしれない物体に、早期に備えることができる。そして、ステップ２２０へ進む。
【００４２】
ステップ２１４では、IprobとRprob[slct]から、下記の式(14)，(15)の双方を満たす場合にはステップ２１５へ進み、そうでない場合にはステップ２１６へ進む。
Rprob[slct] ＞ Th_Prob2 …(14)
Iprob ＞ Th_Prob2 …(15)
ここで、Th_Prob2とは障害物であると確信できる程度の大きい値を意味している。
【００４３】
ステップ２１５では、物体追跡フラグをIP_Tracking=1のままにセットする。これにより、次回の画像処理ではステップ２０８において画像追跡物体の位置：I（Px_z0, Py_z0）に基づき追跡処理が続行されるため、レーダ視野角外で検知できない物体とレーダで検知中の物体の双方について注意を怠らないシステム構成が可能となる。そして、ステップ２２０へ進む。
【００４４】
ステップ２１６では、IprobとRprob[slct]から、下記の式(16)を満たす場合にはステップ２１７へ進み、そうでない場合にはステップ２１８へ進む。
Rprob[slct] ＜ Iprob …(16)
【００４５】
ステップ２１７では、物体追跡フラグをIP_Tracking=1のままにセットする。これにより、次回の画像処理ではステップ２０８において画像追跡物体の位置：I（Px_z0,Py_z0）に基づき追跡処理が続行されるため、レーダの視野角外に存在する物体であるが、自車と接近しているために注意する必要がある物体を見落とすことがなくなる。そして、ステップ２２０へ進む。
【００４６】
ステップ２１８では、IprobとRprob[slct]から、下記の式(17)を満たす場合にはステップ２１９へ進み、そうでない場合にはステップ２２０へ進む。
Rprob[slct] ＞ Iprob …(17)
【００４７】
ステップ２１９では、物体追跡フラグをIP_Tracking=0としてリセットする。これにより、次回の画像処理ではステップ２０６においてレーダ検知物体の位置：R（Px_z0[slct],Py_z0[slct]）に基づき初回抽出処理が行われるため、適切なタイミングでレーダと同一物体を冗長に検知して信頼性を高めることができる。そして、ステップ２２０へ進む。
【００４８】
ステップ２２０では、ステップ２０３などの確信度演算に用いる変数について過去値を更新し、終了する。
【００４９】
このようにして、レーダ検知物体と画像追跡物体が異なる場合には、ステップ２１２から２１９の条件により画像での追跡処理をコントロールする。これにより、画像処理可能な物体数が１物体だけのシステムでも、前方に複数の物体が存在する場合に、状況に応じて適切な物体に関して画像処理を行うことが可能となり、フュージョンによる信頼性の高い外界認識系を現実的なプロセッサー構成で実現することが可能となる。
【００５０】
次に、効果を説明する。
第１実施例の車両用外界認識装置にあっては、次に列挙する効果が得られる。
【００５１】
画像処理装置４で検知した物体と、レーダ処理装置２が選択したレーダ検知物が同一物体ではないと判断された場合には、レーザレーダ１で検知した物体群の中で最も高い接触可能性Rprob[slct]と、画像処理装置４で検知した物体が自車にとって障害物となる可能性Iprobとの関係に応じて、追跡する対象を切り換えるため、常に自車にとって最も留意する必要のある物体を選択することができる。よって、画像処理領域を１物体に限定でき、画像処理の演算負荷を下げることができる。
【００５２】
Rprob[slct]がIprobよりも小さい場合には、画像の追跡を続行するため、レーダの視野角外に存在する物体であるが、自車と接近しているために注意する必要のある物体を見落とすことがなくなる。
【００５３】
Rprob[slct]がIprobよりも大きい場合には、画像の追跡を強制終了し、レーダ検知物を初回抽出処理により検知し直すため、適切なタイミングでレーダと同一物体を冗長に検知して信頼性を高めることができる。
【００５４】
Rprob[slct]とIprobが共にTh_Prob1よりも小さい場合には、画像の追跡を強制終了し、レーダ検知物を初回抽出処理により検知し直すため、画像処理対象をレーダ検知物に切り換えることで、将来、障害物となるかもしれない物体に、早期に備えることができる。一般に、レーダよりもカメラの方が広視野角であるため、このような場面は、レーダは車間距離方向に遠い物体を検知しているが、画像では横方向（車幅方向）に遠い物体であって自車の操舵回避で通過する直前のシーンである。
【００５５】
Rprob[slct]とIprobが共にTh_Prob1よりも大きい場合には、画像の追跡を続行するため、レーダ視野角外で検知できない物体とレーダで検知中の物体の双方について注意を怠らないシステム構成が可能となる。
【００５６】
図８に、レーダ検知物と画像検知物が異なる場合における、画像処理のアクションとその効果を示す。
【００５７】
（第２実施例）
第１実施例はレーダ検知物体と画像検知物体が異なる場合に、画像処理する物体を状況に応じて適切に選択するものであるが、第２実施例では、これに加えてレーダ検知物体と画像検知物体が同じ場合における、画像処理への追跡処理をコントロールすることで、画像処理の位置精度が低い場合に対応するものである。なお、第２実施例の構成は図２に示した第１実施例の構成と同一であるため、説明を省略する。
【００５８】
次に、作用を説明する。
［追跡物体選択制御処理］
図９，１０は、追跡物体選択制御処理の流れを示すフローチャートである。なお、第１実施例と同一部分には、同一のステップ番号を付して説明を省略する。
【００５９】
ステップ３０７では、第1の実施例のステップ２０７と同様であるが、これに加えて、画像処理が精度良く実施されることを意味するフラグ：IP_State=1をセットする。このフラグがIP_State=0の場合には、画像処理により物体追跡を行うことはできているが、検知位置精度は高くない場合を意味している。
【００６０】
ステップ３０９は、第1実施例のステップ２０７とほぼ同様であるが、これに加えて、物体追跡フラグはIP_Tracking=1としてセットされた場合には、画像処理による追跡での位置精度を調べ、精度良く実施されていればIP_State=1をセットする。追跡はできたが位置精度が悪い可能性がある場合にはIP_State=0にセットする。具体的な方法としては、エッジ検出により物体を検出した場合にはIP_State=1とセットし、パターンマッチングにより検出した場合にはIP_State=0をセットする。
【００６１】
ステップ３１１は、第1実施例のステップ２１１と同様であるが、第1実施例ではレーダと画像が同一物体を検知している場合にはステップ２２０へ進んで本制御を終了したのに対し、ステップ３２１へ進む点が異なる。
【００６２】
ステップ３２１では、下記の式(18)を満足する場合にはステップ３２２へ進み、そうでない場合にはステップ３２３へ進む。
IP_State ＝ １ …(18)
【００６３】
ステップ３２２では、物体追跡フラグをIP_Tracking=1のままにセットする。これにより、次回の画像処理ではステップ３０８において画像追跡物体の位置：I（Px_z0,Py_z0）に基づき追跡処理が続行される。そして、ステップ３２０へ行く。
【００６４】
ステップ３２３では、式(14)を満足する場合にはステップ３２４へ進み、そうでない場合にはステップ３２５へ進む。
ここで、式(14)を流用したが、新たな閾値を設定しても良い。また、レーダの確信度を用いたが画像の確信度：Iprobを用いても良い。
【００６５】
ステップ３２４では、物体追跡フラグをIP_Tracking=1のままにセットする。これにより、次回の画像処理ではステップ２０８において画像追跡物体の位置：I（Px_z0,Py_z0）に基づき追跡処理が続行される。これにより、画像から算出される物体位置精度は多少低下するが、常に連続して障害物位置を求めることで、レーダとの冗長な物体検知系が構成でき、視野が狭いために近距離でロストする可能性のあるレーダのバックアップが可能となる。そして、ステップ２２０へ行く。
【００６６】
ステップ３２５では、物体追跡フラグをIP_Tracking=0にリセットする。これにより、次回の画像処理ではステップ２０６においてレーダ検知物体の位置：R（Px_z0[slct],Py_z0[slct]）に基づき初回抽出処理が行われるため、これにより、将来的に障害物となる場合に高精度な位置検出が画像から実施できるように備えることができる。そして、ステップ２２０へ行く。
【００６７】
このようにして、レーダ検知物体と画像追跡物体が同じ場合では、検知物が障害物となる可能性の高さと画像処理による物体追跡位置精度に応じて画像での追跡処理の｛続行｝と｛強制終了｝とをコントロールする。これにより、画像処理での追跡位置精度が悪い場合には走行状況に応じて、冗長に検知することを優先する、或いは、位置精度向上を優先する、に対応することが可能となり、フュージョンによる信頼性の向上と位置精度の向上を実現することが可能となる。
【００６８】
次に、効果を説明する。
第２実施例の車両用外界認識装置にあっては、次に列挙する効果が得られる。
【００６９】
画像で検知した物体とレーダ検知物が同一物体である場合には、画像処理による位置精度と、レーザレーダ１で検知した物体群の中で最も高い接触可能性Rprob[slct]と、画像処理装置４で検知した物体が自車にとって障害物となる可能性Iprobとの関係に応じて、追跡する対象を切り換える。すなわち、今のところ検知物が障害物にならないと判断できる場合に画像処理の信頼性が低いときは、追跡処理を一旦強制的に終了させ、より高精度な位置検出が画像から実施できるように画像処理を最初からやり直す。これにより、将来的に障害物となる場合に備えることができる。また、検知物が障害物の場合に画像処理の信頼性が低いときは、画像から算出される物体位置精度は多少低下するが、常に連続して障害物位置を求めることで、レーダとの冗長な物体検知系が構成でき、視野が狭いために近距離でロストする可能性のあるレーダのバックアップが可能となる。
【００７０】
画像追跡の位置精度が低いと判断された場合でも、レーダの確信度Rprob[slct]が所定値Th_Prob2よりも大きい場合には画像の追跡を続行するため、画像から算出される物体位置精度は多少低下するが、常に連続して障害物位置を求めることで、レーダとの冗長な物体検知系が構成でき、視野が狭いために近距離でロストする可能性のあるレーダのバックアップが可能となる。
【００７１】
画像追跡の位置精度が低いと判断され、かつ、レーダの確信度Rprob[slct]が所定値Th_Prob2以下である場合には、画像の追跡を一度強制終了し、以前から画像で追跡していた物体＝レーダ検知物を再度、初期的な画像処理からやり直す。すなわち、画像追跡中に追跡物体の画像領域に多少の背景を含んでしまうことにより信頼性が低くなった場合、画像処理を最初からやり直すことで背景を再度除去できる。これにより、将来的に障害物となる場合に高精度な位置検出が画像から実施できるように備えることができる。
【００７２】
図１１に、レーダ検知物と画像検知物が同一である場合における、画像処理のアクションとその効果を示す。
【００７３】
（第３実施例）
第１，第２実施例は、画像処理する物体を限定するため、追跡処理をコントロールするものであるが、第３実施例では、これに加え、後段へ出力する物体位置を、シンプルに高精度化でき、かつ、適切な物体を選択して出力するものである。なお、第３実施例の構成は図２に示した第１実施例の構成と同一であるため、説明を省略する。
【００７４】
次に、作用を説明する。
［追跡物体選択制御処理］
図１２〜１６は、追跡物体選択制御処理の流れを示すフローチャートである。なお、第１および第２実施例と同一部分には、同一のステップ番号を付して説明を省略する。
【００７５】
ステップ４１３，４１９，４２５では、物体追跡フラグをIP_Tracking=0としてリセットし、ステップ４２６へ進む。
【００７６】
ステップ４１５，４１７，４２２，４２４では、物体追跡フラグをIP_Tracking=1のままにセットし、ステップ４２６へ進む。
【００７７】
ステップ４２６では、式(12)，(13)の双方を満たす場合にはステップ４２７へ進み、そうでない場合にはステップ４２８へ進む。
【００７８】
ステップ４２７では、縦方向の位置と横方向の位置とを、どちらもレーダ検知物の位置であるR(Px_z0[slct], Py_z0[slct])を後段へ出力し、ステップ２２０へ進む。
【００７９】
ステップ４２８では、式(14)，(15)の双方を満たす場合にはステップ４２９へ進み、そうでない場合にはステップ４３０へ進む。
【００８０】
ステップ４２９では、衝突速度低減のための目標減速度を下記の式(19)から演算し、このときのブレーキトルク、ブレーキ圧を下記の式(20)から求める。これをレーダ検知物体と画像追跡物体とで比較し、強い制動力を必要とする物体位置を後段へ出力して、ステップ２２０へ進む。
αCA ＝ (Vp2 − Vc2) ／｛2 (L − Lt) ｝…(19)
なお、 Vp ＝ Vc + Vr
Tbrk ＝ Tw − Rt*Rat*Rdef ( Te−Je*dNe ) …(20)
なお Tw ＝ Mv*αCA *Rw
ここで、式(19)のαCAは目標加速度、Vcは自車速度、Vrは物体との相対速度、Lは物体までの距離を、Ltは目標車間距離を表している。また、式(20)のTbrkはブレーキトルクを、Twは駆動軸トルクを、Rtはトルコンの入出力軸の速度比から求まるトルク比を、RatはATの変速ギア比を、Rdefはデフギア比を、Neは計測するエンジン回転数を、dNe はその時間微分値を、TeはNeで決まるエンジンブレーキトルクを、Jeはエンジンイナーシャを、Mvは自車両の重さを、Rwは車輪半径を、それぞれ表している。
【００８１】
ステップ４３０では、式(16)を満たす場合にはステップ４３１へ進み、そうでない場合にはステップ４３２へ進む。
【００８２】
ステップ４３１では、縦方向の位置と横方向の位置とを、どちらも画像検知物の位置であるI(Px_z0, Py_z0)を後段へ出力し、ステップ２２０へ進む。
【００８３】
ステップ４３２では、式(17)を満たす場合にはステップ４３３へ進み、そうでない場合にはステップ２２０へ進む。
【００８４】
ステップ４３３では、縦方向の位置と横方向の位置とを、どちらも レーダ検知物の位置であるR(Px_z0[slct], Py_z0[slct])を後段へ出力して、ステップ２２０へ進む。
【００８５】
ステップ４３４では、式(18)を満足する場合にはステップ４３５へ、そうでない場合にはステップ４３６へ進む。
【００８６】
ステップ４３５では、縦方向の位置はレーダ検知物の縦位置であるR(Py_z0[slct])を、横方向の位置は画像検知物体の横位置であるI(Px_z0)を後段へ出力して、ステップ２２０へ進む。
【００８７】
ステップ４３６では、縦方向の位置と横方向の位置を、どちらもレーダ検知物の位置であるR(Px_z0[slct], Py_z0[slct])を後段へ出力して、ステップ２２０へ進む。
ステップ４２７、４２９、４３１、４３３、４３５および４３６により、出力物体位置決定手段が構成される。
【００８８】
このようにして、レーダ検知物体と画像追跡物体が同じか否か、および、障害物確信度、画像処理の信頼性に基づき、物体位置を選択して後段へ出力する。このため、後段への出力位置をシンプルな構成で高精度化でき、かつ、適切な物体を選択して出力することが可能となる。
【００８９】
次に、効果を説明する。
第３実施例の車両用外界認識装置にあっては、次に列挙する効果が得られる。
【００９０】
画像処理による位置精度と、レーザレーダ１で検知した物体群の中で最も高い接触可能性Rprob[slct]と、画像処理装置４で検知した物体が自車にとって障害物となる可能性Iprobに基づき、後段へ出力する物体位置を選択的に決定するため、簡単に後段への出力する位置を高精度化することができる。
【００９１】
レーダと画像が同一の物体を追跡中と判断した場合には、後段への位置出力を、
縦方向（車間距離）がレーダの出力、横方向（車幅方向）が画像検知物の出力となるように選択し、画像処理の信頼性が低い場合には、縦方向も横方向も共にレーダの出力を選択して後段に出力するため、シンプルに後段への出力する位置を高精度化することができる。
【００９２】
レーダと画像が同一物体を追跡していないと判断した場合、Rprob[slct]がIprobよりも小さい場合には、縦方向も横方向も共に画像検知物の位置を後段に出力し、Rprob[slct]がIprobよりも大きい場合には、縦方向も横方向も共にレーダ検知物の位置を後段へ出力し、Rprob[slct]とIprobが共に所定値Th_Prob1よりも小さい場合には、縦方向も横方向も共にレーダ検知物の位置を後段へ出力するため、後段への出力する位置を状況に応じて適切に選択することができる。
【００９３】
レーダと画像が同一物体を追跡していないと判断した場合、Rprob[slct]とIprobが共に所定値Th_Prob1よりも大きい場合には、衝突速度低減のための目標減速度を演算し、このときのブレーキトルク、ブレーキ圧を求め、これをレーダ検知物体と画像追跡物体とで比較し、より大きな制動力が必要となる方の物体位置を後段へ選択して出力するため、レーダで検知中の物体と視野角外で検知できない物体の双方がともに障害物の場合に、自車にとってより適切な物体位置を後段へ出力することができる。
【００９４】
図１７に、後段への検知物位置を出力する際の条件とその効果を示す。
【図面の簡単な説明】
【図１】車両用外界認識装置の構成を示すブロック図である。
【図２】第１実施例の車両用外界認識装置の構成を示すブロック図である。
【図３】第１実施例の追跡物体選択制御処理の流れを示すフローチャートである。
【図４】第１実施例の追跡物体選択制御処理の流れを示すフローチャートである。
【図５】第１実施例の追跡物体選択制御処理の流れを示すフローチャートである。
【図６】注目する物体を選択する処理の流れを示すフローチャートである。
【図７】関数funcの特性を表すマップである。
【図８】レーダ検知物と画像検知物が異なる場合における、画像処理のアクションとその効果を示す図である。
【図９】第２実施例の追跡物体選択制御処理の流れを示すフローチャートである。
【図１０】第２実施例の追跡物体選択制御処理の流れを示すフローチャートである。
【図１１】レーダ検知物と画像検知物が同一である場合における、画像処理のアクションとその効果を示す図である。
【図１２】第３実施例の追跡物体選択制御処理の流れを示すフローチャートである。
【図１３】第３実施例の追跡物体選択制御処理の流れを示すフローチャートである。
【図１４】第３実施例の追跡物体選択制御処理の流れを示すフローチャートである。
【図１５】第３実施例の追跡物体選択制御処理の流れを示すフローチャートである。
【図１６】第３実施例の追跡物体選択制御処理の流れを示すフローチャートである。
【図１７】後段への検知物位置を出力する際の条件とその効果を示す図である。
【図１８】従来技術の問題点を示す説明図である。
【図１９】従来技術の問題点を示す説明図である。
【符号の説明】
１ レーザレーダ
２ レーダ処理装置
３ CCDカメラ
４ 画像処理装置
５ 外界認識装置
６ 車速検出装置
７ 操舵角検出装置
８ 自動ブレーキ制御装置
９ 負圧ブレーキブースタ
１０１ 物体位置検出手段
１０２ 画像取り込み手段
１０３ 注目物体選択手段
１０４ 画像処理物体追跡手段
１０５ 第１確信度算出手段
１０６ 第２確信度算出手段
１０７ 同一物体判断手段
１０８ 追跡物体選択手段
Claims (12)
- 自車前方の物体位置を検出する物体位置検出手段と、
自車前方の状況を画像として取り込む画像取り込み手段と、
検出された物体位置に基づいて、自車にとって最も注目すべき物体を１つだけ選択する注目物体選択手段と、
選択された物体を初期的に参照し、取り込まれた画像の処理により物体を追跡する画像処理物体追跡手段と、
を備えた車両用外界認識装置において、
選択された物体が自車にとって障害物となる可能性を第１確信度として算出する第１確信度算出手段と、
追跡中の物体が自車にとって障害物となる可能性を第２確信度として算出する第２確信度算出手段と、
選択された物体と追跡中の物体が同一であるかどうかを判断する同一物体判断手段と、
選択された物体と追跡中の物体が同一ではないと判断されたとき、第１確信度と第２確信度に基づき、画像処理物体追跡手段で追跡する物体を選択する追跡物体選択手段と、
を設けたことを特徴とする車両用外界認識装置。 - 請求項１に記載の車両用外界認識装置において、
前記追跡物体選択手段は、第１確信度よりも第２確信度の方が高いとき、追跡中の物体を選択することを特徴とする車両用外界認識装置。 - 請求項１または請求項２に記載の車両用外界認識装置において、
前記追跡物体選択手段は、第１確信度よりも第２確信度の方が低いとき、選択された物体を選択することを特徴とする車両用外界認識装置。 - 請求項１ないし請求項３のいずれか１項に記載の車両用外界認識装置において、
前記追跡物体選択手段は、第１確信度と第２確信度が共に所定値よりも低いとき、選択された物体を選択することを特徴とする車両用外界認識装置。 - 請求項１ないし請求項４のいずれか１項に記載の車両用外界認識装置において、
前記追跡物体選択手段は、第１確信度と第２確信度が共に所定値よりも高いとき、追跡中の物体を選択することを特徴とする車両用外界認識装置。 - 請求項１ないし請求項５のいずれか１項に記載の車両用外界認識装置において、
前記画像処理物体追跡手段の処理状態の信頼性を、画像処理信頼性として出力する画像処理信頼性出力手段を設け、
前記追跡物体選択手段は、選択された物体と追跡中の物体が同一であると判断されたとき、第１確信度と第２確信度と画像処理信頼性とに基づき、追跡する物体を選択することを特徴とする車両用外界認識装置。 - 請求項６に記載の車両用外界認識装置において、
前記追跡物体選択手段は、
画像処理信頼性が高いと判断されたとき、追跡中の物体を選択し、
画像処理信頼性が低いと判断されたとき、第１確信度または第２確信度の少なくとも一方が所定値よりも高い場合には、追跡中の物体を選択することを特徴とする車両用外界認識装置。 - 請求項６または請求項７に記載の車両用外界認識装置において、
前記追跡物体選択手段は、
画像処理信頼性が高いと判断されたとき、追跡中の物体を選択し、
画像処理信頼性が低いと判断されたとき、第１確信度または第２確信度の少なくとも一方が所定値よりも低い場合には、選択された物体を選択することを特徴とする車両用外界認識装置。 - 請求項６ないし請求項８のいずれか１項に記載の車両用外界認識装置において、
前記第１確信度と第２確信度と画像処理信頼性のうちの少なくとも２つ以上と、同一物体判断手段の判断結果とに基づき、後段へ出力する物体位置を、選択された物体の縦（車間距離）方向位置、選択された物体の横（車幅）方向位置、追跡中の物体の縦方向位置、追跡中の物体の横方向位置の中から選択的に決定する出力物体位置決定手段を設けたことを特徴とする車両用外界認識装置。 - 請求項９に記載の車両用外界認識装置において、
前記出力物体位置決定手段は、
選択された物体と追跡中の物体が同一であると判断されたとき、選択された物体の縦（車間距離）方向位置と、追跡中の物体位置の横（車幅）方向を物体位置として決定し、
画像処理信頼性が低いと判断されたとき、選択された物体の縦方向位置と横方向位置を物体位置として決定することを特徴とする車両用外界認識装置。 - 請求項９または請求項１０に記載の車両用外界認識装置において、
前記出力物体位置決定手段は、選択された物体と追跡中の物体が同一ではないと判断されたとき、
第１確信度よりも第２確信度の方が高い場合には、追跡中の物体の縦方向位置と横方向位置を物体位置として決定し、
第１確信度よりも第２確信度の方が低い場合には、選択された物体の縦方向位置と横方向位置を物体位置として決定し、
第１確信度よりも第２確信度の方が高く、かつ、第１確信度と第２確信度が共に所定値よりも低い場合には、選択された物体の縦方向位置と横方向位置を物体位置として決定することを特徴とする車両用外界認識装置。 - 請求項９ないし請求項１１のいずれか１項に記載の車両用外界認識装置において、
前記出力物体位置決定手段は、選択された物体と追跡中の物体が同一ではないと判断されたとき、
第１確信度よりも第２確信度の方が低く、かつ、第１確信度と第２確信度が共に所定値よりも高い場合には、選択された物体と追跡中の物体の双方に対し、必要となる自車の制動力を演算し、より大きな制動力が必要となる方を物体位置として決定することを特徴とする車両用外界認識装置。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003189615A JP3915746B2 (ja) | 2003-07-01 | 2003-07-01 | 車両用外界認識装置 |
| US10/878,213 US7136750B2 (en) | 2003-07-01 | 2004-06-29 | Obstacle detection apparatus and method for automotive vehicle |
| DE102004031381A DE102004031381B4 (de) | 2003-07-01 | 2004-06-29 | Vorrichtung und Verfahren zur Erfassung von Hindernissen für Kraftfahrzeuge |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003189615A JP3915746B2 (ja) | 2003-07-01 | 2003-07-01 | 車両用外界認識装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2005025458A JP2005025458A (ja) | 2005-01-27 |
| JP3915746B2 true JP3915746B2 (ja) | 2007-05-16 |
Family
ID=33549794
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003189615A Expired - Lifetime JP3915746B2 (ja) | 2003-07-01 | 2003-07-01 | 車両用外界認識装置 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US7136750B2 (ja) |
| JP (1) | JP3915746B2 (ja) |
| DE (1) | DE102004031381B4 (ja) |
Families Citing this family (35)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3918791B2 (ja) | 2003-09-11 | 2007-05-23 | トヨタ自動車株式会社 | 物体検出装置 |
| JP3925488B2 (ja) * | 2003-11-11 | 2007-06-06 | 日産自動車株式会社 | 車両用画像処理装置 |
| US7146276B2 (en) * | 2004-09-13 | 2006-12-05 | Delphi Technologies, Inc. | Method for determining driving task demand based on speed variability |
| JP4333639B2 (ja) * | 2005-06-13 | 2009-09-16 | 株式会社豊田中央研究所 | 障害物回避制御装置及び障害物回避制御プログラム |
| JP2007077871A (ja) * | 2005-09-14 | 2007-03-29 | Toyota Motor Corp | 車両の制御装置 |
| JP5109264B2 (ja) * | 2006-02-27 | 2012-12-26 | トヨタ自動車株式会社 | 物体検出装置 |
| EP1892149B1 (en) * | 2006-08-24 | 2009-02-04 | Harman Becker Automotive Systems GmbH | Method for imaging the surrounding of a vehicle and system therefor |
| JP4892518B2 (ja) * | 2008-05-20 | 2012-03-07 | 日立オートモティブシステムズ株式会社 | 車両用外界認識装置、および、車両システム |
| DE102008024929A1 (de) * | 2008-05-23 | 2009-11-26 | Wabco Gmbh | Fahrerassistenzsystem |
| US8812226B2 (en) * | 2009-01-26 | 2014-08-19 | GM Global Technology Operations LLC | Multiobject fusion module for collision preparation system |
| JP5210233B2 (ja) * | 2009-04-14 | 2013-06-12 | 日立オートモティブシステムズ株式会社 | 車両用外界認識装置及びそれを用いた車両システム |
| JP4858574B2 (ja) * | 2009-05-19 | 2012-01-18 | トヨタ自動車株式会社 | 物体検出装置 |
| DE102009050519A1 (de) * | 2009-10-23 | 2011-04-28 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren zur Fahrerinformation |
| US8988276B2 (en) * | 2010-03-17 | 2015-03-24 | Honda Motor Co., Ltd. | Vehicle surroundings monitoring device |
| DE102010033729B4 (de) * | 2010-08-07 | 2014-05-08 | Audi Ag | Verfahren und Vorrichtung zum Bestimmen der Position eines Fahrzeugs auf einer Fahrbahn sowie Kraftwagen mit einer solchen Vorrichtung |
| WO2012059973A1 (ja) * | 2010-11-01 | 2012-05-10 | 株式会社日立製作所 | 車載装置および制御方法 |
| JP2013002927A (ja) * | 2011-06-15 | 2013-01-07 | Honda Elesys Co Ltd | 障害物検知装置及びコンピュータプログラム |
| JP5727356B2 (ja) * | 2011-11-30 | 2015-06-03 | 日立オートモティブシステムズ株式会社 | 物体検知装置 |
| US9441985B2 (en) * | 2012-07-25 | 2016-09-13 | Rockwell Collins, Inc. | Future scene generating system, device, and method for a remotely-operated vehicle |
| EP2927082B1 (en) * | 2012-11-27 | 2017-08-02 | Nissan Motor Co., Ltd | Vehicule acceleration suppression device and vehicle acceleration suppression method |
| US9164511B1 (en) | 2013-04-17 | 2015-10-20 | Google Inc. | Use of detected objects for image processing |
| US9582886B2 (en) * | 2013-07-08 | 2017-02-28 | Honda Motor Co., Ltd. | Object recognition device |
| JP6429360B2 (ja) * | 2014-04-25 | 2018-11-28 | 本田技研工業株式会社 | 物体検出装置 |
| JP6292097B2 (ja) * | 2014-10-22 | 2018-03-14 | 株式会社デンソー | 側方測距センサ診断装置 |
| KR101637716B1 (ko) * | 2014-11-03 | 2016-07-07 | 현대자동차주식회사 | 차량의 장애물 위치 인식 장치 및 방법 |
| US20170043717A1 (en) * | 2015-08-10 | 2017-02-16 | Arie Heiman | System and Apparatus that Alert Car Drivers Approaching Obstacles in the Road |
| JP6645074B2 (ja) * | 2015-08-25 | 2020-02-12 | 株式会社Ihi | 支障物検知システム |
| ES2916342T3 (es) * | 2016-01-19 | 2022-06-30 | Sphereo Sound Ltd | Síntesis de señales para la reproducción de audio inmersiva |
| JP6617677B2 (ja) * | 2016-10-19 | 2019-12-11 | 株式会社デンソー | 車両制御装置、車両制御方法 |
| JP6544348B2 (ja) | 2016-12-22 | 2019-07-17 | トヨタ自動車株式会社 | 車両運転支援装置 |
| JP6515912B2 (ja) * | 2016-12-22 | 2019-05-22 | トヨタ自動車株式会社 | 車両運転支援装置 |
| KR102304851B1 (ko) * | 2017-03-28 | 2021-09-27 | 현대자동차주식회사 | Ecu, 상기 ecu를 포함하는 무인 자율 주행 차량, 및 이의 주변 차량 인지 방법 |
| CN110582428A (zh) * | 2017-03-31 | 2019-12-17 | 空中客车A^3有限责任公司 | 用于感测外部对象的交通工具监控系统和方法 |
| FR3077547A1 (fr) * | 2018-02-08 | 2019-08-09 | Renault S.A.S | Systeme et procede de detection d'un risque de collision entre un vehicule automobile et un objet secondaire situe sur les voies de circulation adjacentes audit vehicule lors d'un changement de voie |
| GB2571586B (en) * | 2018-03-01 | 2021-09-01 | Jaguar Land Rover Ltd | Acquisition and tracking method and apparatus |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3264060B2 (ja) | 1993-11-04 | 2002-03-11 | 三菱自動車工業株式会社 | 自動車の走行制御装置の先行車検出機構 |
| US6888622B2 (en) * | 2002-03-12 | 2005-05-03 | Nissan Motor Co., Ltd. | Method for determining object type of reflective object on track |
-
2003
- 2003-07-01 JP JP2003189615A patent/JP3915746B2/ja not_active Expired - Lifetime
-
2004
- 2004-06-29 DE DE102004031381A patent/DE102004031381B4/de not_active Expired - Fee Related
- 2004-06-29 US US10/878,213 patent/US7136750B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| DE102004031381A1 (de) | 2005-02-03 |
| US20050004761A1 (en) | 2005-01-06 |
| DE102004031381B4 (de) | 2013-02-07 |
| US7136750B2 (en) | 2006-11-14 |
| JP2005025458A (ja) | 2005-01-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3915746B2 (ja) | 車両用外界認識装置 | |
| JP4433887B2 (ja) | 車両用外界認識装置 | |
| JP3719095B2 (ja) | 挙動検出装置および勾配検出方法 | |
| US9235767B2 (en) | Detection region modification for driving assistance apparatus and driving assistance method | |
| US9187051B2 (en) | Method for detecting an imminent rollover of a vehicle | |
| JP2004531424A (ja) | 車用の感知装置 | |
| EP2894618B1 (en) | Speed calculating device and speed calculating method, and collision determination device | |
| JP5651642B2 (ja) | 物体位置検知装置 | |
| US10853666B2 (en) | Target object estimating apparatus | |
| US20220314967A1 (en) | Vehicular control system | |
| JP2017140857A (ja) | 車両制御システム | |
| JP2019067116A (ja) | 立体物接地判定装置 | |
| US20200363218A1 (en) | Driver assistance system and control method for the same | |
| JP2001043495A (ja) | ステレオ式車外監視装置 | |
| JP5698618B2 (ja) | 絶対速度推定装置 | |
| CN114537430A (zh) | 车辆控制装置、车辆控制方法及计算机可读取的存储介质 | |
| KR20230031344A (ko) | 자동차를 둘러싼 영역 내 장애물을 검출하기 위한 시스템 및 방법 | |
| US20110304734A1 (en) | Method and apparatus for operating a video-based driver assistance system in a vehicle | |
| JP2002225656A (ja) | 車輌用外界認識装置 | |
| KR102363691B1 (ko) | 자율주행을 위한 객체 속도 추정 장치 및 방법 | |
| CN115959112A (zh) | 车辆控制装置、车辆控制方法及存储介质 | |
| CN115959111A (zh) | 车辆控制装置、车辆控制方法及存储介质 | |
| JP3900111B2 (ja) | 車両用外界認識装置 | |
| CN110709727B (zh) | 用于检测迎面车辆的车辆系统 | |
| WO2023139978A1 (ja) | 車載カメラ装置、車載カメラシステム、および、画像保存方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20051117 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060127 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061003 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061017 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061128 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070116 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070129 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 3915746 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100216 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110216 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120216 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120216 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130216 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130216 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140216 Year of fee payment: 7 |
|
| EXPY | Cancellation because of completion of term |