JP5862785B2 - 衝突判定装置及び衝突判定方法 - Google Patents

衝突判定装置及び衝突判定方法 Download PDF

Info

Publication number
JP5862785B2
JP5862785B2 JP2014532717A JP2014532717A JP5862785B2 JP 5862785 B2 JP5862785 B2 JP 5862785B2 JP 2014532717 A JP2014532717 A JP 2014532717A JP 2014532717 A JP2014532717 A JP 2014532717A JP 5862785 B2 JP5862785 B2 JP 5862785B2
Authority
JP
Japan
Prior art keywords
collision determination
vehicle
radar
image
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014532717A
Other languages
English (en)
Other versions
JPWO2014033957A1 (ja
Inventor
雄介 大内
雄介 大内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Application granted granted Critical
Publication of JP5862785B2 publication Critical patent/JP5862785B2/ja
Publication of JPWO2014033957A1 publication Critical patent/JPWO2014033957A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/165Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06Systems determining position data of a target
    • G01S13/08Systems for measuring distance only
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867Combination of radar systems with cameras
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles

Description

本発明は、車両と物体の衝突を判定する衝突判定装置及び衝突判定方法に関する。
従来、衝突判定装置及び衝突判定方法としては、例えば特開2005−84034号公報に記載されるように、レーダセンサによる検出結果と画像センサによる検出結果を用いて物体の合成物標を生成し、生成した合成物標に基づいて車両と物体の衝突を判定する装置が知られている。
特開2005−84034号公報
しかし、従来の衝突判定装置及び衝突判定方法では、物体が画像センサにより検出可能であるがレーダセンサにより検出不能であることにより合成物標が生成されない場合、合成物標が生成されるまで衝突判定が行われなかった。そして、合成物標が生成されるまでに比較的長い処理時間を要するので、衝突判定を早いタイミングで行うことができなかった。
そこで、本発明は、合成物標が生成されない場合でも早いタイミングで衝突判定を行える衝突判定装置及び衝突判定方法を提供しようとするものである。
本発明に係る衝突判定装置は、レーダ波により車両前方の物体を検出するレーダ検出部と、車両前方を撮像し撮像した画像により物体を検出する画像検出部と、レーダ検出部による検出結果と画像検出部による検出結果を用いて生成された合成物標に基づいて車両と物体の衝突を判定する衝突判定部とを備え、衝突判定部は、物体がレーダ検出部により検出不能であり画像検出部により検出可能であり、且つ物体が車両の進行方向において静止していると判定した場合、合成物標に基づく衝突判定に代えて、画像検出部による検出結果に基づいて衝突判定を行う。
これにより、物体がレーダ検出部により検出不能であり画像検出部により検出可能であり、且つ衝突判定部により物体が車両の進行方向において静止していると判定した場合、合成物標に基づく衝突判定に代えて、画像検出部による検出結果に基づいて衝突判定が行われる。よって、衝突判定部による静止判定により処理時間が短縮されるとともに、画像検出部による検出結果に基づいて早いタイミングで衝突判定を行うことができる。
また、衝突判定部は、車両の進行方向における単位時間当りの車両と物体の間の距離の変化として車両の速度から算出した第1の距離変化量と、車両の進行方向における単位時間当りの車両と物体の間の距離の変化として画像の検出結果から算出した第2の距離変化量との比率に基づいて、物体が車両の進行方向において静止しているか否かを判定してもよい。これにより、第1の距離変化量と第2の距離変化量との比率に基づいて、物体の静止状態を高速に判定できる。
また、衝突判定部は、第1の距離変化量と第2の距離変化量との比率が閾値未満である場合、物体が車両の進行方向において静止していると判定してもよい。
また、衝突判定部は、物体がレーダ検出部の検出範囲外であり画像検出部の検出範囲内に存在し、且つ物体が車両の進行方向において静止していると判定した場合、画像検出部による検出結果に基づいて衝突判定を行ってもよい。
また、衝突判定部は、物体がレーダ検出部により検出されず画像検出部により検出され、且つ物体が車両の進行方向において静止していると判定した場合、画像検出部による検出結果に基づいて衝突判定を行ってもよい。
また、衝突判定部は、合成物標が生成され、生成された合成物標が解除された場合、画像検出部による検出結果に基づいて衝突判定を行ってもよい。
また、レーダ検出部の検出範囲と画像検出部の検出範囲とが部分的に重なり、レーダ検出部により検出されず画像検出部により検出される領域が存在してもよい。
また、レーダ検出部は、ミリ波により車両前方の物体を検出してもよい。
本発明に係る衝突判定方法は、レーダ波により車両前方の物体を検出し、車両前方を撮像し撮像した画像により物体を検出し、レーダ検出による検出結果と画像検出による検出結果を用いて生成された合成物標に基づいて車両と物体の衝突を判定する衝突判定方法において、物体がレーダ検出により検出不能であり画像検出により検出可能であり、且つ物体が車両の進行方向において静止していると判定した場合、合成物標に基づく衝突判定に代えて、画像検出による検出結果に基づいて衝突判定を行うことを含む。
本発明によれば、合成物標が生成されない場合でも早いタイミングで衝突判定を行える衝突判定装置及び衝突判定方法を提供できる。
本発明の実施形態に係る衝突判定装置の構成を示すブロック図である。 レーダ及びステレオカメラの検出範囲を示す図である。 従来の衝突判定処理の状況を示す図である。 衝突判定装置の動作を示すフローチャートである。 図4に示す衝突判定処理の状況を示す図である。 図4の動作を具体的に示すフローチャートである。 図4の動作を具体的に示すフローチャートである。
以下、添付図面を参照して、本発明の実施形態を詳細に説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。
まず、図1及び図2を参照して本発明の実施形態に係る衝突判定装置の構成について説明する。衝突判定装置は、車両に搭載され、レーダセンサ及び画像センサを用いて車両と物体の衝突を判定する装置である。
図1は、本発明の実施形態に係る衝突判定装置の構成を示すブロック図である。図1に示すように、衝突判定装置は、速度センサ11、レーダ12、ステレオカメラ13及びECU20(Electronic Control Unit)を備えている。
速度センサ11は、車両の速度を検出する。速度センサ11としては、例えば車輪速センサが用いられる。速度センサ11は、検出した車両速度をECU20に供給する。
レーダ12は、レーダ波により車両前方の物体を検出するレーダ検出部(レーダセンサ)として機能し、車両前方にレーダ波(電磁波)を送信し、物体から反射されるレーダ波を受信する。レーダ12としては、例えば、マイクロ波レーダ、ミリ波レーダ、超音波レーダ、レーザレーダが用いられる。レーダ12は、物体の検出結果を示すレーダ検出情報をECU20に供給する。
ステレオカメラ13は、車両前方を撮像し撮像した画像により物体を検出する画像検出部(画像センサ)として機能する。ステレオカメラ13としては、例えば、CCD(Charge-Coupled Device)、CMOS(Complementary Metal-Oxide Semiconductor)が用いられる。ステレオカメラ13は、複数のカメラとして車両の前面又はキャビンに設置される。ステレオカメラ13は、物体の検出結果を示す画像検出情報をECU20に供給する。なお、ステレオカメラ13に代えて単一のカメラが用いられてもよい。
ECU20は、レーダ物標生成部21、画像物標生成部22、合成物標生成部23及び衝突判定部24を備えている。ECU20は、CPU、ROM、RAM等を主体として、CPUによるプログラムの実行を通じてレーダ物標生成部21、画像物標生成部22、合成物標生成部23及び衝突判定部24の機能を実現する。なお、ECU20は、単一ユニットとして構成されてもよく、複数ユニットとして構成されてもよい。
レーダ物標生成部21は、レーダ12からのレーダ検出情報に基づいてレーダ物標を生成する。レーダ物標は、車両を基準とする座標から求められる、物体までの距離及び物体の横位置に関する物標情報を有している。
レーダ物標の物標情報は、レーダ12からのレーダ検出情報に基づいて算出される。物体までの距離とは、車両の進行方向における車両(レーダ12)から物体までの距離を表し、レーダ12からレーダ波が送信され、物体から反射されて受信されるまでの時間に基づいて算出される。物体の横位置とは、車両の進行方向と直交する方向における車両(レーダ12)から物体までの距離を表し、物体から反射されて受信されるレーダ波の方向(角度)に基づいて算出される。レーダ物標における横位置は、レーダ12により検出された物体の位置の情報であり、物体の横幅の情報を含まない。
画像物標生成部22は、ステレオカメラ13からの画像検出情報に基づいて画像物標を生成する。画像物標は、車両を基準とする座標から求められる、物体までの距離及び物体の横位置に関する物標情報を有している。また、画像物標生成部22は、画像検出情報に基づいて物体をトラッキングすることにより物体が静止状態にあるか否かを判定し、トラッキング結果及び静止状態の判定結果を衝突判定部24に供給する。
画像物標の物標情報は、ステレオカメラ13を構成する左右カメラの画像検出情報のずれに基づいて三角測量の原理により算出され、又は、前方車両のナンバープレート等の検出サイズ及び位置に基づいて算出される。物体までの距離とは、車両の進行方向における車両(ステレオカメラ13)から物体までの距離を表す。物体の横位置とは、車両の進行方向と直交する方向における車両(ステレオカメラ13)から物体までの距離を表す。画像物標における横位置は、画像から検出された物体の横方向の範囲、つまり物体の横幅の情報も含む。物標情報の算出に際しては、算出誤差を低減するために算出値を平均化する等の処理が行われてもよい。
合成物標生成部23は、レーダ物標及び画像物標の物標情報、つまりレーダ12及びステレオカメラ13による検出結果を用いて物体の合成物標を生成する。合成物標は、レーダ物標及び画像物標の物標情報に基づいて両方の物標を照合して生成される。両方の物標は、両方の物標における物標情報の類似度、つまり、物体までの距離及び物体の横位置の類似度に基づいて照合される。合成物標は、物体までの距離及び物体の横位置(横幅を含む)に関する物標情報を有している。合成物標の物標情報は、レーダ物標及び画像物標の物標情報に基づくものであり、レーダ物標又は画像物標単独の物標情報より高い精度を有している。
図2は、レーダ12とステレオカメラ13の検出範囲A1、A2を示す図である。図2に示すように、レーダ12の検出範囲A1は、ステレオカメラ13の検出範囲A2よりも狭い。このため、車両Cの斜め前方には、レーダ12の検出範囲A1の外側でステレオカメラ13のみにより検出可能な領域が存在することになる。そして、図2に示すように、物体が両方のセンサ12、13の検出範囲A1、A2内に存在する間は合成物標が生成されるが、物体がレーダ12の検出範囲A1から逸脱すると合成物標が生成されなくなる。
図1の説明に戻って、衝突判定部24は、レーダ物標、画像物標及び合成物標について、それぞれに衝突判定用のパラメータを算出する。パラメータとしては、例えば、物標距離、衝突確率、存在確率及び衝突横位置が算出される。
物標距離とは、車両の進行方向における物標までの距離を意味し、衝突確率とは、車両が物標に対応する物体と衝突する確率を意味し、存在確率とは、物標に対応する物体が実際に存在する確率を意味し、衝突横位置とは、物標に対応する物体との衝突が予想される横位置(車両の幅方向における位置)を意味する。物標距離、衝突確率、存在確率及び衝突横位置は、各物標の移動状況に基づいて求められる。各物標のパラメータは、各物標の物標情報と併せて所定期間に亘ってRAM等のメモリに記憶され、必要に応じて読み出される。
衝突判定部24は、合成物標に基づいて衝突判定を行う。衝突判定部24は、合成物標のパラメータが所定の閾値を満たす場合、衝突時間が閾値未満であるか否かに基づいて物体との衝突可能性を判定する。衝突時間は、合成物標の物標情報を用いて、物体までの距離を物体の相対速度(物体までの距離の単位時間当たり変化量)で除して算出される。衝突可能性の判定結果は、例えば、運転者への報知、車両の制動又は操舵への制御介入等による衝突回避支援に用いられる。
また、衝突判定部24は、レーダ物標が生成されず画像物標のみが生成される状況において、画像物標に基づいて衝突判定を行う。衝突判定部24は、画像物標のパラメータが所定の閾値を満たし、かつ衝突時間が閾値未満であるか否かに基づいて、物体との衝突可能性を判定する。衝突時間は、画像物標の物標情報を用いて、物体までの距離を物体の相対速度で除して算出される。
ここで、衝突判定部24は、物体がレーダ12により検出不能でありステレオカメラ13により検出可能であり、且つ物体が車両の進行方向において静止していると判定した場合、合成物標に基づく衝突判定に代えて、ステレオカメラ13による検出結果に基づいて衝突判定を行う。物体の静止状態は、後述するように、いずれも車両の進行方向における単位時間当りの車両と物体の間の距離の変化であり、車両の速度から算出した第1の距離変化量と、画像の検出結果から算出した第2の距離変化量との比率に基づいて判定される。
つぎに、図3から図7を参照して衝突判定装置の動作について説明する。まず、図3を参照して従来の衝突判定処理について説明する。図3は、従来の衝突判定処理の状況を示す図である。
図3には、レーダ12及びステレオカメラ13の検出範囲A1、A2とともに、各センサ12、13により生成された物標の位置の変化が時系列的に示されている。物標としては、走行中の車両Cの前方を横断する例えば歩行者Pを想定している。
図3(a)に示す状況では、歩行者Pが先行車C1、C2の陰から出現している。この場合、画像物標生成部22は、歩行者Pを物体として認識して静止状態を判定し、画像物標生成部22が静止状態を確認すると、衝突判定部24は、衝突判定を行う。ここで、画像物標生成部22による静止判定には画像の更新周期との関係で比較的長い処理時間を要する。よって、例えば図3(a)に示すように衝突回避支援の作動が遅れ又は適切に行われない場合がある。
図3(b)に示す状況では、歩行者Pは、車両Cの前方を素早く横断している。この場合、画像物標生成部22は、歩行者Pを物体として認識して静止状態を判定する。ここで、画像物標生成部22は、車両Cの進行方向と交差する方向、特に直交する方向における物体の速度も考慮して静止状態を判定する。よって、画像物標生成部22が静止状態を確認しない限り、例えば図3(b)に示すように衝突判定が行われなくなる。
このため、図3(a)、(b)に示すような状況では、早いタイミングで衝突判定を行えず、結果として、衝突回避支援の作動が遅れ又は適切に行われないことになる。
つぎに、図4及び図5を参照して衝突判定装置の動作について説明する。図4は、衝突判定装置の動作を示すフローチャートである。図5は、図4に示す衝突判定処理の状況を示す図である。
衝突判定装置は、図4に示す処理を処理周期毎に繰り返し実行する。図4に示すように、レーダ物標生成部21は、レーダ12の検出範囲内に物体が存在する場合にレーダ物標を生成する(ステップS11)。画像物標生成部22は、ステレオカメラ13の検出範囲内に物体が存在する場合に画像物標を生成する(S12)。合成物標生成部23は、レーダ物標と画像物標の照合が得られる場合に合成物標を生成する(S13)。衝突判定部24は、レーダ物標、画像物標及び合成物標のそれぞれについて、衝突判定用のパラメータを算出する(S14)。
衝突判定部24は、物体がレーダ12により検出不能でありステレオカメラ13により検出可能であるか否か、つまり合成物標が生成されていないか否かを判定する(S15)。このような状況は、図2に示したように、物体がレーダ12の検出範囲外でありステレオカメラ13の検出範囲内に存在する場合に生じる。また、このような状況は、レーダ検出に失敗し画像検出に成功した場合、つまり、物体がレーダ12により検出されずステレオカメラ13により検出される場合にも生じる。
合成物標が生成されていないと判定した場合、衝突判定部24は、車両の進行方向において物体が静止しているか否かを判定する(S16)。ここで、車両の進行方向において物体が静止しているとは、該方向における物体の速度が0又は略0であることを意味する。
この判定では、後述するように、車両の速度から算出した第1の距離差(距離変化量)と、画像の検出結果から算出した第2の距離差(距離変化量)との比率(距離比)が閾値未満であるか否かが判定される。第1及び第2の距離差は、いずれも車両の進行方向における単位時間当りの車両と物体の間の距離の変化を表している。
そして、車両の進行方向において物体が静止していると判定した場合、衝突判定部24は、画像物標に基づいて、つまりステレオカメラ13による検出結果に基づいて衝突判定を行う(S17)。つまり、合成物標が生成されていない場合でも、走行中の車両の前方を横断する例えば歩行者を対象として、画像物標に基づいて衝突判定が行われる。
なお、S15にて合成物標が生成されていないと判定した場合、又はS16にて車両の進行方向において物体が静止していると判定した場合、衝突判定部24は、合成物標に基づいて衝突判定を行う(S18)。
図5には、図3と対比して、図4に示す衝突判定処理における物標の位置の変化が時系列的に示されている。図4に示す衝突判定処理において、衝突判定部24は、画像物標生成部22が歩行者を物体として認識した後、画像物標生成部22の代わりに物体の静止状態を判定する。そして、衝突判定部24は、物体の静止状態を確認すると、衝突判定を行う。
よって、例えば図5(a)に示す状況では、物体を認識した直後に静止状態を確認し、早いタイミングで衝突判定を行うことができる。また、例えば図5(b)に示すように、物体を認識した後に静止状態が確認されれば、早いタイミングで衝突判定を行うことができる。よって、衝突判定の結果に基づいて、衝突回避の作動を早めることができ、又は確実にすることができる。
つぎに、図6及び図7を参照して衝突判定装置の具体的な動作について説明する。図6及び図7は、図4の動作を具体的に示すフローチャートである。なお、図6には示していないが、図4のS11、S12、S13及びS14について説明したとおり、レーダ物標の生成、画像物標の生成、合成物標の生成及び衝突判定用パラメータの算出が行われる。
図6及び図7に示すように、衝突判定部24は、画像単独判定フラグがオンであり、かつ新規フラグがオンであるか否かを判定する(S21)。画像単独判定フラグとは、合成物標に代えて画像物標に基づいて衝突判定を行うことを許可するためのフラグである。このフラグは、車両の進行方向における物体の移動ベクトルが閾値未満である場合にオンとなる。新規フラグとは、物標が新規に生成されたことを示すフラグである。ここで、両方のフラグの条件を満たすと判定しなかった場合、画像物標に基づく衝突判定を行わないので、処理が終了する。
一方、両方のフラグの条件を満たすと判定した場合、衝突判定部24は、バッファフラグがオンであり、かつブレーキが事前制動状態又は介入制動状態でないか否かを判定する(S22)。バッファフラグとは、画像物標の物標情報のバッファリングを許可するためのフラグである。また、事前制動状態又は介入制動状態とは、衝突回避支援の一環として行われる制動介入を意味する。ここで、バッファフラグ及び制動条件を満たすと判定しなかった場合、処理が後述のS30に移る。
一方、バッファフラグの条件及び制動条件を満たすと判定した場合、衝突判定部24は、直前の処理周期における距離比をバッファリングするとともに、距離比の算出に用いる不感帯速度を設定する(S23)。なお、距離比及び不感帯速度については後述する。
衝突判定部24は、車両の速度が速度閾値を超えており、かつ物体までの距離が直前の処理周期よりも短縮しているか否かを判定する(S24)。速度閾値は、車両の静止状態を判定するために0又は略0に設定される。車両の速度としては、速度センサ11の検出結果が用いられ、物体までの距離としては、画像物標の物標情報が用いられる。
車両の速度及び物体までの距離の条件を満たすと判定した場合、衝突判定部24は、車両の進行方向における単位時間当りの車両と物体の間の距離の変化を示す第1及び第2の距離差(距離変化量)を算出する(S25)。距離差は、直前の処理周期と現在の処理周期との間に物体までの距離がどの程度変化したかを示す値であり、物体までの距離が短縮するほど大きな値となる。
第1の距離差は、車両の速度に画像の更新周期を乗じた値である。車両の速度としては、速度センサ11の検出結果が用いられ、画像の更新周期は、ステレオカメラ13の特性値が用いられる。つまり、第1の距離差は、処理周期の間に車両が移動した距離(絶対距離)を表している。
第2の距離差は、直前の処理周期における物体までの距離から現在の処理周期における物体までの距離を減じた値である。物体までの距離としては、画像物標の物標情報が用いられる。つまり、第2の距離差は、処理周期の間に物体に対して車両が移動した距離(相対距離)を表している。よって、車両の進行方向における物体の速度が0である場合、ステレオカメラ13の検出誤差を理想的に0と仮定すると、第2の距離差が第1の距離差と等しくなる。
衝突判定部24は、第2の距離差が第1の距離差を超えているか否かを判定する(S26)。そして、第2の距離差が第1の距離差を超えていると判定した場合、衝突判定部24は、第1の距離比を算出する(S27)。この場合、物体が車両の進行方向において車両に接近するように移動している可能性が高いことになる。
一方、第2の距離差が第1の距離差を超えていると判定しなかった場合、衝突判定部24は、第2の距離比を算出する(S28)。この場合、物体が車両の進行方向において車両から離間するように移動している可能性が高いことになる。
第1及び第2の距離比(R1、R2)は、第1及び第2の距離差(D1、D2)、画像の更新周期(Cu)、及び不感帯速度(Vd)を用いて次式のとおり算出される。ここで、不感帯速度とは、ステレオカメラ13の検出誤差を考慮するとともに、車両の進行方向に僅かに移動している物体を静止物として判定するために設定される速度であり、車両の進行方向における物体の想定速度及びステレオカメラ13の検出誤差を考慮し、0ではなく略0の値に設定される。
R1=Max(0、(D2−Vd・Cu)/D1−1) …(1)
R2=min(0、(D2+Vd・Cu)/D1−1) …(2)
第1及び第2の距離比は、第2の距離差の補正値と第1の距離差との比であり、車両の進行方向における物体の速度が0に近いほど小さい値として算出される。第2の距離差は、ステレオカメラ13の検出誤差と、車両の進行方向における物体の速度を考慮して補正される。つまり、第1及び第2の距離比は、物体が車両の進行方向において静止しているか否かを判定するための指標として用いられる。
一方、S24にて車両の速度及び物体までの距離の条件を満たすと判定しなかった場合、衝突判定部24は、第3の距離比を算出する(S29)。第3の距離比は、最大値(∞)として算出され、結果的に、横断歩行者などの「静止物」に対する衝突判定が行われない。
S27、S28又はS29にて距離比を算出すると、衝突判定部24は、静止物トラッキング中であるか否かを判定する(S30)。ここで、静止物トラッキングは、車両の進行方向における物体の移動ベクトルが閾値未満である場合に行われる。静止物トラッキング中であるか否かは、合成物標生成部22から供給されるフラグに基づいて判定される。
静止物トラッキング中であると判定した場合、衝突判定部24は、物体を静止物と判定し、衝突判定に用いる物体の相対速度として、トラッキングに用いる画像速度を設定する(S31)。画像速度は、画像物標の物標情報を用いて、物体までの距離の単位時間当り変化量として算出される。これは、すでに静止物としてトラッキングされている物体は、静止物である可能性が高いためである。
一方、静止物トラッキング中であると判定しなかった場合、衝突判定部24は、距離比が判定閾値未満であるか否かを判定する(S32)。判定閾値は、物体が車両の進行方向において殆ど移動しない静止物であるか否かを判定するための閾値である。そして、距離比が判定閾値未満であると判定した場合、衝突判定部24は、物体を静止物と判定し、衝突判定に用いる物体の相対速度として、速度センサ11により検出された車両速度を設定する(S33)。これは、距離比が判定閾値未満である物体は、車両の進行方向における物体の速度が0に近いので、静止物である可能性が高いためである。
一方、距離比が判定閾値未満であると判定しなかった場合、衝突判定部24は、物体を移動物と判定し、衝突判定に用いる物体の相対速度として最大値(∞)を設定する(S34)。これは、距離比が判定閾値以上である物体は、車両の進行方向における物体の速度が大きいので、移動物である可能性が高いためである。この場合、結果的に、横断歩行者などの「静止物」に対する衝突判定が行われない。
S31又はS33にて物体を静止物と判定した場合、衝突判定部24は、画像物標に基づいて衝突判定を行う(S35)。衝突判定部24は、画像物標のパラメータが所定の閾値を満たす場合、設定した物体の相対速度により物体までの距離を除して衝突時間を算出し、衝突時間が閾値未満であるか否かに基づいて、物体との衝突可能性を判定する。そして、衝突可能性が高いと判定すると、衝突判定部24は、衝突回避支援を作動すると決定する一方、衝突可能性が低いと判定すると、衝突回避支援を作動しないと決定する。
以上説明したように、本発明の実施形態に係る衝突判定装置によれば、物体がレーダ12により検出不能でありステレオカメラ13により検出可能であり、且つ衝突判定部24により物体が車両の進行方向において静止していると判定した場合、合成物標に基づく衝突判定に代えて、ステレオカメラ13の検出結果に基づいて衝突判定が行われる。よって、衝突判定部24による静止判定により処理時間が短縮されるとともに、ステレオカメラ13による検出結果に基づいて早いタイミングで衝突判定を行うことができる。
また、車両の進行方向における単位時間当りの車両と物体の間の距離の変化として車両の速度から算出した第1の距離変化量と、車両の進行方向における単位時間当りの車両と物体の間の距離の変化量として画像の検出結果から算出した第2の距離変化量との比率に基づいて、物体が車両の進行方向において静止しているか否かを判定してもよい。これにより、第1の距離変化量と第2の距離変化量との比率に基づいて、物体の静止状態を高速に判定できる。
また、第1の距離変化量と第2の距離変化量との比率が閾値未満である場合、物体が車両の進行方向において静止していると判定してもよい。
また、物体がレーダ12の検出範囲外でありステレオカメラ13の検出範囲内に存在し、且つ物体が車両の進行方向において静止していると判定した場合、ステレオカメラ13による検出結果に基づいて衝突判定を行ってもよい。
また、物体がレーダ12により検出されずステレオカメラ13により検出され、且つ物体が車両の進行方向において静止していると判定した場合、ステレオカメラ13による検出結果に基づいて衝突判定を行ってもよい。
また、合成物標が生成され、生成された合成物標が解除された場合、ステレオカメラ13による検出結果に基づいて衝突判定を行ってもよい。
また、レーダ12の検出範囲とステレオカメラ13の検出範囲とが部分的に重なり、レーダ12により検出されずステレオカメラ13により検出される領域が存在してもよい。
また、レーダ12は、ミリ波により車両前方の物体を検出してもよい。
なお、前述した実施形態は、本発明に係る衝突判定装置及び衝突判定方法の最良な実施形態を説明したものであり、本発明に係る衝突判定装置及び衝突判定方法は、本実施形態に記載したものに限定されるものではない。本発明に係る衝突判定装置及び衝突判定方法は、各請求項に記載した発明の要旨を逸脱しない範囲で本実施形態に係る衝突判定装置及び衝突判定方法を変形し、または他のものに適用したものであってもよい。
例えば、上記実施形態の説明では、レーダ物標生成部21及び画像物標生成部22の機能をECU20により実現する場合について説明した。しかし、レーダ物標生成部21の機能を単独のECU、例えばレーダセンサ用ECUにより実現し、画像物標生成部22の機能を単独のECU、例えば画像センサ用ECUにより実現してもよい。
また、上記実施形態の説明では、レーダ12及びステレオカメラ13の検出範囲A1、A2が車両の進行方向に対して左右対称であり、対称的に重なっている場合について説明した。しかし、両方のセンサ12、13の検出範囲A1、A2は、部分的に重なり、レーダ12により検出されず、ステレオカメラ13により検出される領域が存在していればよく、必ずしも車両の進行方向に対して左右対称であり対称的に重なっている必要はない。
11…速度センサ、12…レーダ、13…ステレオカメラ、20…ECU、21…レーダ物標生成部、22…画像物標生成部、23…合成物標生成部、24…衝突判定部。

Claims (9)

  1. レーダ波により車両前方の物体を検出するレーダ検出部と、
    前記車両前方を撮像し撮像した画像により前記物体を検出する画像検出部と、
    前記レーダ検出部による検出結果と前記画像検出部による検出結果を用いて生成された合成物標に基づいて前記車両と前記物体の衝突を判定する衝突判定部と、
    を備え、
    前記衝突判定部は、前記物体が前記レーダ検出部により検出不能であり前記画像検出部により検出可能であり、且つ前記物体が前記車両の進行方向において静止していると判定した場合、前記合成物標に基づく衝突判定に代えて、前記画像検出部による検出結果に基づいて衝突判定を行う衝突判定装置。
  2. 前記衝突判定部は、前記車両の進行方向における単位時間当りの前記車両と前記物体の間の距離の変化として前記車両の速度から算出した第1の距離変化量と、前記車両の進行方向における単位時間当りの前記車両と前記物体の間の距離の変化として前記画像の検出結果から算出した第2の距離変化量との比率に基づいて、前記物体が前記車両の進行方向において静止しているか否かを判定する、請求項1に記載の衝突判定装置。
  3. 前記衝突判定部は、前記第1の距離変化量と前記第2の距離変化量との前記比率が閾値未満である場合、前記物体が前記車両の進行方向において静止していると判定する、請求項2に記載の衝突判定装置。
  4. 前記衝突判定部は、前記物体が前記レーダ検出部の検出範囲外であり前記画像検出部の検出範囲内に存在し、且つ前記物体が前記車両の進行方向において静止していると判定した場合、前記画像検出部による検出結果に基づいて衝突判定を行う、請求項1〜3のいずれか一項に記載の衝突判定装置。
  5. 前記衝突判定部は、前記物体が前記レーダ検出部により検出されず前記画像検出部により検出され、且つ前記物体が前記車両の進行方向において静止していると判定した場合、前記画像検出部による検出結果に基づいて衝突判定を行う、請求項1〜3のいずれか一項に記載の衝突判定装置。
  6. 前記衝突判定部は、前記合成物標が生成され、生成された前記合成物標が解除された場合、前記画像検出部による検出結果に基づいて衝突判定を行う、請求項1〜3のいずれか一項に記載の衝突判定装置。
  7. 前記レーダ検出部の検出範囲と前記画像検出部の検出範囲とが部分的に重なり、前記レーダ検出部により検出されず前記画像検出部により検出される領域が存在する、請求項1〜6のいずれか一項に記載の衝突判定装置。
  8. 前記レーダ検出部は、ミリ波により前記車両前方の前記物体を検出する、請求項1〜7のいずれか一項に記載の衝突判定装置。
  9. レーダ波により車両前方の物体を検出し、
    前記車両前方を撮像し撮像した画像により前記物体を検出し、
    前記レーダ検出による検出結果と前記画像検出による検出結果を用いて生成された合成物標に基づいて前記車両と前記物体の衝突を判定する衝突判定方法において、
    前記物体が前記レーダ検出により検出不能であり前記画像検出により検出可能であり、且つ前記物体が前記車両の進行方向において静止していると判定した場合、前記合成物標に基づく衝突判定に代えて、前記画像検出による検出結果に基づいて衝突判定を行うこと、
    を含む衝突判定方法。
JP2014532717A 2012-09-03 2012-09-03 衝突判定装置及び衝突判定方法 Active JP5862785B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2012/072365 WO2014033957A1 (ja) 2012-09-03 2012-09-03 衝突判定装置及び衝突判定方法

Publications (2)

Publication Number Publication Date
JP5862785B2 true JP5862785B2 (ja) 2016-02-16
JPWO2014033957A1 JPWO2014033957A1 (ja) 2016-08-08

Family

ID=50182801

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014532717A Active JP5862785B2 (ja) 2012-09-03 2012-09-03 衝突判定装置及び衝突判定方法

Country Status (5)

Country Link
US (1) US9405006B2 (ja)
EP (1) EP2894617B1 (ja)
JP (1) JP5862785B2 (ja)
CN (1) CN104603855B (ja)
WO (1) WO2014033957A1 (ja)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5991332B2 (ja) * 2014-02-05 2016-09-14 トヨタ自動車株式会社 衝突回避制御装置
US10890648B2 (en) * 2014-10-24 2021-01-12 Texas Instruments Incorporated Method and apparatus for generating alignment matrix for camera-radar system
JP2016090772A (ja) * 2014-11-04 2016-05-23 株式会社ソニー・コンピュータエンタテインメント ヘッドマウントディスプレイおよび情報処理方法
JP6428482B2 (ja) * 2015-05-18 2018-11-28 トヨタ自動車株式会社 車両用制御装置
JP2016224615A (ja) * 2015-05-28 2016-12-28 株式会社デンソー 警報制御装置
US10908257B2 (en) * 2015-09-30 2021-02-02 Sony Corporation Signal processing apparatus, signal processing method, and program
US11543513B2 (en) * 2015-09-30 2023-01-03 Sony Corporation Information processing apparatus, information processing method and program
US9870708B2 (en) 2016-03-12 2018-01-16 Wipro Limited Methods for enabling safe tailgating by a vehicle and devices thereof
US10145951B2 (en) * 2016-03-30 2018-12-04 Aptiv Technologies Limited Object detection using radar and vision defined image detection zone
CN106379319B (zh) * 2016-10-13 2019-11-19 上汽大众汽车有限公司 一种汽车辅助驾驶系统及控制方法
US10338208B2 (en) * 2016-10-27 2019-07-02 GM Global Technology Operations LLC Object detection in multiple radars
JP6454368B2 (ja) * 2017-03-15 2019-01-16 株式会社Subaru 車両の表示システム及び車両の表示システムの制御方法
DE112018004835T5 (de) * 2017-09-01 2020-07-16 Murakami Corporation Kollisionsvorhersagevorrichtung, Kollisionsvorhersageverfahren und Programm
JP7033308B2 (ja) * 2018-03-29 2022-03-10 株式会社パル技研 危険予測装置、危険予測方法、及びプログラム
JP7195098B2 (ja) * 2018-09-27 2022-12-23 株式会社Subaru 車両用通信装置、並びにこれを用いる車両制御システムおよび交通システム
JP2020091672A (ja) * 2018-12-06 2020-06-11 ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツングRobert Bosch Gmbh 鞍乗型車両のライダー支援システムのための処理装置及び処理方法、鞍乗型車両のライダー支援システム、及び、鞍乗型車両
JP2022028989A (ja) * 2018-12-18 2022-02-17 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、および情報処理方法、並びにプログラム
US10776673B2 (en) * 2019-01-31 2020-09-15 StradVision, Inc. Learning method and learning device for sensor fusion to integrate information acquired by radar capable of distance estimation and information acquired by camera to thereby improve neural network for supporting autonomous driving, and testing method and testing device using the same
JP2020179808A (ja) * 2019-04-26 2020-11-05 トヨタ自動車株式会社 車両制御装置
JP7268490B2 (ja) * 2019-06-13 2023-05-08 株式会社デンソー 物体認識装置、運転支援システム
CN110395111A (zh) * 2019-08-05 2019-11-01 深圳市威尔电器有限公司 汽车安全驾驶监控方法、监控中心、辅助装置
JP7131508B2 (ja) * 2019-08-21 2022-09-06 トヨタ自動車株式会社 レーダ装置
US11180148B2 (en) * 2019-09-03 2021-11-23 Ford Global Technologies, Llc Detection and response to confined trailer in system-assisted hitch operation
JP7328863B2 (ja) * 2019-10-11 2023-08-17 株式会社デンソー 制御装置
CN111289967A (zh) * 2020-03-31 2020-06-16 四川长虹电器股份有限公司 基于毫米波雷达的人员检测跟踪与计数算法
US11328601B1 (en) 2021-02-22 2022-05-10 Volvo Car Corporation Prevention of low-speed sideswipe collisions with non-moving objects
JP7468409B2 (ja) * 2021-03-01 2024-04-16 トヨタ自動車株式会社 車両衝突回避支援装置
CN114333318B (zh) * 2021-12-31 2023-04-28 成都路行通信息技术有限公司 一种基于传感器空间角摩托车碰撞检测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020032515A1 (en) * 1999-06-28 2002-03-14 Hitachi, Ltd. Vehicle control method and vehicle warning method
JP2007091102A (ja) * 2005-09-29 2007-04-12 Toyota Motor Corp 障害物検出装置
JP2008276689A (ja) * 2007-05-07 2008-11-13 Mitsubishi Electric Corp 車両用障害物認識装置
JP2009186260A (ja) * 2008-02-05 2009-08-20 Nissan Motor Co Ltd 物体検出装置及び測距方法
JP2011221630A (ja) * 2010-04-06 2011-11-04 Honda Motor Co Ltd 車両の周辺監視装置

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0717347A (ja) * 1993-07-07 1995-01-20 Mazda Motor Corp 自動車の障害物検知装置
JPH09142236A (ja) * 1995-11-17 1997-06-03 Mitsubishi Electric Corp 車両の周辺監視方法と周辺監視装置及び周辺監視装置の故障判定方法と周辺監視装置の故障判定装置
JP4308381B2 (ja) * 1999-09-29 2009-08-05 富士通テン株式会社 周辺監視センサ
JP2001134769A (ja) * 1999-11-04 2001-05-18 Honda Motor Co Ltd 対象物認識装置
US20010031068A1 (en) * 2000-04-14 2001-10-18 Akihiro Ohta Target detection system using radar and image processing
JP2002189075A (ja) * 2000-12-20 2002-07-05 Fujitsu Ten Ltd 道路上方静止物検知方法
DE10133945A1 (de) * 2001-07-17 2003-02-06 Bosch Gmbh Robert Verfahren und Vorrichtung zum Austausch und zur Verarbeitung von Daten
US6771208B2 (en) * 2002-04-24 2004-08-03 Medius, Inc. Multi-sensor system
JP3918791B2 (ja) * 2003-09-11 2007-05-23 トヨタ自動車株式会社 物体検出装置
JP4305191B2 (ja) * 2004-01-21 2009-07-29 トヨタ自動車株式会社 車両用衝突推定装置
JP4763250B2 (ja) * 2004-04-09 2011-08-31 株式会社デンソー 物体検出装置
JP4684954B2 (ja) * 2005-08-31 2011-05-18 本田技研工業株式会社 車両の走行安全装置
JP2007155469A (ja) * 2005-12-05 2007-06-21 Alpine Electronics Inc 車間距離検出装置および車間距離検出方法
JP4595833B2 (ja) * 2006-02-24 2010-12-08 トヨタ自動車株式会社 物体検出装置
JP4211809B2 (ja) * 2006-06-30 2009-01-21 トヨタ自動車株式会社 物体検出装置
US8013780B2 (en) * 2007-01-25 2011-09-06 Magna Electronics Inc. Radar sensing system for vehicle
JP4453775B2 (ja) * 2008-06-27 2010-04-21 トヨタ自動車株式会社 物体検出装置
JP2010018080A (ja) 2008-07-09 2010-01-28 Mazda Motor Corp 車両の運転支援装置
DE102009021229A1 (de) * 2009-05-19 2010-01-21 Daimler Ag Kamerabasierte Objektverarbeitung für die Abstandsregelung eines Fahrzeugs zur kraftstoffsparenden Einreglung des Sollabstandes
JP2011164989A (ja) * 2010-02-10 2011-08-25 Toyota Motor Corp ふらつき判定装置
JP5515969B2 (ja) * 2010-03-30 2014-06-11 ソニー株式会社 送信装置及び方法、並びにプログラム
CN103155015B (zh) * 2010-09-08 2014-12-31 丰田自动车株式会社 移动物预测装置、假想活动物预测装置、程序模块、移动物预测方法以及假想活动物预测方法
JP2012103858A (ja) * 2010-11-09 2012-05-31 Toyota Motor Corp 障害物認識装置
CN102542843A (zh) * 2010-12-07 2012-07-04 比亚迪股份有限公司 防止车辆碰撞的预警方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020032515A1 (en) * 1999-06-28 2002-03-14 Hitachi, Ltd. Vehicle control method and vehicle warning method
JP2007091102A (ja) * 2005-09-29 2007-04-12 Toyota Motor Corp 障害物検出装置
JP2008276689A (ja) * 2007-05-07 2008-11-13 Mitsubishi Electric Corp 車両用障害物認識装置
JP2009186260A (ja) * 2008-02-05 2009-08-20 Nissan Motor Co Ltd 物体検出装置及び測距方法
JP2011221630A (ja) * 2010-04-06 2011-11-04 Honda Motor Co Ltd 車両の周辺監視装置

Also Published As

Publication number Publication date
US20150234044A1 (en) 2015-08-20
EP2894617B1 (en) 2016-11-30
WO2014033957A1 (ja) 2014-03-06
EP2894617A1 (en) 2015-07-15
JPWO2014033957A1 (ja) 2016-08-08
CN104603855B (zh) 2016-06-22
US9405006B2 (en) 2016-08-02
CN104603855A (zh) 2015-05-06
EP2894617A4 (en) 2015-11-11

Similar Documents

Publication Publication Date Title
JP5862785B2 (ja) 衝突判定装置及び衝突判定方法
JP5884912B2 (ja) 衝突判定装置及び衝突判定方法
JP6011625B2 (ja) 速度算出装置及び速度算出方法並びに衝突判定装置
JP5979232B2 (ja) 衝突判定装置及び衝突判定方法
US20140333467A1 (en) Object detection device
WO2018056212A1 (ja) 物体検知装置及び物体検知方法
JP6787157B2 (ja) 車両制御装置
JP2014228943A (ja) 車両用外界センシング装置、その軸ズレ補正プログラム及びその軸ズレ補正方法
US10527719B2 (en) Object detection apparatus and object detection method
JP5785578B2 (ja) 車両周辺監視装置
JP5012270B2 (ja) 物体検出装置
JP2018097765A (ja) 物体検出装置、及び物体検出方法
JP6504078B2 (ja) 衝突予測装置
JP2019052920A (ja) 物体検出装置、物体検出方法及び車両制御システム
WO2017138329A1 (ja) 衝突予測装置
WO2017170799A1 (ja) 物体認識装置及び物体認識方法
JP6531689B2 (ja) 移動軌跡検出装置、移動物体検出装置、移動軌跡検出方法
WO2014033958A1 (ja) 衝突判定装置及び衝突判定方法
JP2021117848A (ja) 物体検出装置

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151201

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151214

R151 Written notification of patent or utility model registration

Ref document number: 5862785

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151