WO2014033955A1 - 速度算出装置及び速度算出方法並びに衝突判定装置 - Google Patents

速度算出装置及び速度算出方法並びに衝突判定装置 Download PDF

Info

Publication number
WO2014033955A1
WO2014033955A1 PCT/JP2012/072362 JP2012072362W WO2014033955A1 WO 2014033955 A1 WO2014033955 A1 WO 2014033955A1 JP 2012072362 W JP2012072362 W JP 2012072362W WO 2014033955 A1 WO2014033955 A1 WO 2014033955A1
Authority
WO
WIPO (PCT)
Prior art keywords
speed
image
moving
distance
calculation
Prior art date
Application number
PCT/JP2012/072362
Other languages
English (en)
French (fr)
Inventor
亮 猪俣
Original Assignee
トヨタ自動車株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by トヨタ自動車株式会社 filed Critical トヨタ自動車株式会社
Priority to PCT/JP2012/072362 priority Critical patent/WO2014033955A1/ja
Publication of WO2014033955A1 publication Critical patent/WO2014033955A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/04Systems determining the presence of a target
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867Combination of radar systems with cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/00624Recognising scenes, i.e. recognition of a whole field of perception; recognising scene-specific objects
    • G06K9/00791Recognising scenes perceived from the perspective of a land vehicle, e.g. recognising lanes, obstacles or traffic signs on road scenes
    • G06K9/00805Detecting potential obstacles
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles

Abstract

移動体周囲の物体の速度を算出する速度算出装置であって、移動体周囲を撮像し撮像した画像により物体を検出する画像検出部と、移動体の速度を示す移動体速度と、物体の速度を示し画像から算出される画像速度とを移動体から物体までの距離に応じた割合で用いて、物体の速度を算出するものであり、物体までの距離が大きいほど移動体速度の比率が高くなり、物体までの距離が小さいほど画像速度の比率が高くなる割合で移動体速度及び画像速度を用いて物体の速度を算出する速度算出部とを備える。

Description

速度算出装置及び速度算出方法並びに衝突判定装置

 本発明は、移動体周囲の物体の速度を算出する速度算出装置及び速度算出方法並びに衝突判定装置に関する。

 従来、移動体制御を目的として、画像情報に基づいて移動体周囲の物体までの距離及び物体の速度を算出することが知られている。例えば特開2010-146494号公報には、物体までの距離が閾値未満であるか否かに応じて近距離用と遠距離用の検出アルゴリズムを切り替えて車両前方の物体を検出する装置が記載されている。

特開2010-146494号公報

 しかし、このような装置では、物体までの距離が閾値を僅かに下回る状況と上回る状況の間で互いに異なるアルゴリズムを用いて物体の速度が算出されることになる。そして、物体の速度の算出結果に大きな開きがあると、移動体制御の円滑さが損なわれてしまい移動体の操縦者に違和感を与える場合があった。

 そこで、本発明は、移動体の操縦者に違和感を与えないように、移動体周囲の物体の速度を精度良く算出できる速度算出装置及び速度算出方法並びに衝突判定装置を提供しようとするものある。

 本発明に係る速度算出装置は、移動体周囲の物体の速度を算出する装置であって、移動体周囲を撮像し撮像した画像により物体を検出する画像検出部と、移動体の速度を示す移動体速度と、物体の速度を示し画像から算出される画像速度とを移動体から物体までの距離に応じた割合で用いて、物体の速度を算出するものであり、物体までの距離が大きいほど移動体速度の比率が高くなり、物体までの距離が小さいほど画像速度の比率が高くなる割合で移動体速度及び画像速度を用いて物体の速度を算出する速度算出部とを備える。

 これにより、移動体速度と画像速度を物体までの距離に応じた比率で用いて物体の速度を算出するので、物体までの距離の変化に追随して近距離及び遠距離の物体の速度を精度良く算出できる。特に、遠距離の物体ほど画像速度の精度が低下することをふまえて、遠距離の物体については移動体速度の比率を高くし、近距離の物体については画像速度の比率を高くして物体の速度を算出するので、物体の速度を精度良く算出できる。

 速度算出装置は、レーダ波により物体を検出するレーダ検出部をさらに備え、速度算出部は、物体がレーダ検出部により検出されず画像検出部により検出される場合、移動体速度及び画像速度を用いて物体の速度を算出してもよい。これにより、レーダ波による検出結果と画像による検出結果とを物体の検出状況に応じて適切に使い分けて物体の速度を算出できる。

 速度算出装置は、レーダ検出部による検出結果と画像検出部による検出結果を用いて物体の合成物標を生成する合成物標生成部をさらに備え、速度算出部は、合成物標が生成された後にレーダ検出部により物体が検出されない場合、移動体速度及び画像速度を用いて物体の速度を算出してもよい。これにより、合成物標と画像による検出結果とをレーダ検出部による検出状況に応じて適切に使い分けて物体の速度を算出できる。

 速度算出装置は、レーダ波により物体を検出するレーダ検出部をさらに備え、速度算出部は、物体がレーダ検出部の検出範囲外かつ画像検出部の検出範囲内に存在する場合、移動体速度及び画像速度を用いて物体の速度を算出してもよい。これにより、レーダ波による検出結果と画像による検出結果とを物体の存在位置に応じて適切に使い分けて物体の速度を算出できる。

 速度算出装置は、物体が移動体の進行方向において静止しているか否かを判定する静止判定部をさらに備え、速度算出部は、物体が静止していると判定された場合、移動体速度及び画像速度を用いて物体の速度を算出してもよい。これにより、移動体速度を用いて物体の速度を精度良く算出できる。

 速度算出部は、物体までの距離が上限値以上の場合、移動体速度の比率が1、画像速度の比率が0となるような割合で移動体速度及び画像速度を用いて物体の速度を算出してもよい。これにより、遠距離の物体の速度を移動体速度のみを用いて算出できる。

 速度算出部は、物体までの距離が下限値以下の場合、移動体速度の比率が0、画像速度の比率が1となるような割合で移動体速度及び画像速度を用いて物体の速度を算出してもよい。これにより、近距離の物体の速度を画像速度のみを用いて算出できる。

 本発明に係る衝突判定装置は、前述した速度算出装置と、速度算出装置により算出された物体の速度に基づいて、物体との衝突を判定する衝突判定部とを備える。これにより、物体までの距離の変化に追随して精度良く算出された近距離及び遠距離の物体の速度に基づいて、物体との衝突を判定できる。

 また、速度算出装置は、移動体前方を撮像し撮像した画像により物体を検出することにより、移動体前方の物体の速度を算出してもよい。

 また、速度算出装置は、移動体進行方向を撮像し撮像した画像により物体を検出することにより、移動体進行方向の物体の速度を算出してもよい。

 また、移動体は、車両でもよく、船舶、航空機、飛翔体など他の移動体でもよい。

 本発明に係る速度算出方法は、移動体周囲の物体の速度を算出する方法であって、移動体周囲を撮像し撮像した画像により物体を検出し、移動体の速度を示す移動体速度と、物体の速度を示し画像から算出される画像速度とを移動体から物体までの距離が大きいほど移動体速度の比率が高くなり、移動体から物体までの距離が小さいほど画像速度の比率が高くなる割合で用いて物体の速度を算出することを含む。これにより、物体までの距離の変化に追随して近距離及び遠距離の物体の速度を精度良く算出できる。

 本発明によれば、移動体の操縦者に違和感を与えないように、移動体周囲の物体の速度を精度良く算出できる速度算出装置及び速度算出方法並びに衝突判定装置を提供できる。

本発明の第1の実施形態に係る衝突判定装置の構成を示すブロック図である。 衝突判定装置の動作を示すフローチャートである。 距離係数マップの一例を示す図である。 画像速度に基づく衝突時間の算出結果と車両速度及び画像速度に基づく衝突時間の算出結果とを対比して示す図である。 第2の実施形態に係る衝突判定装置の構成を示すブロック図である。 ステレオカメラとレーダの検出範囲を示す図である。 衝突判定装置の動作を示すフローチャートである。

 以下、添付図面を参照して、本発明の実施形態を詳細に説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。

 以下では、本発明の実施形態に係る速度算出装置及び速度算出方法並びに衝突判定装置について説明する。速度算出装置及び速度算出方法は、移動体周囲の物体の速度を算出する装置及び方法であり、衝突判定装置は、速度算出装置により算出された物体の速度に基づいて、物体との衝突を判定する装置である。

 そして、以下では、移動体が車両であって、衝突判定装置が車両周囲、特に車両前方の物体の速度を算出する速度算出装置により算出された物体の速度に基づいて、物体との衝突を判定する実施形態について説明する。しかし、移動体は、車両に限らず、船舶、航空機、飛翔体などでもよい。また、速度算出装置は、移動体前方に限らず、移動体の進行方向の物体の速度を算出してもよく、衝突判定装置は、これらの物体の速度に基づいて、物体との衝突を判定してもよい。

 図1から図4を参照して本発明の第1の実施形態に係る衝突判定装置について説明する。

 衝突判定装置は、車両に搭載され、画像センサを用いて車両と物体の衝突を判定する装置である。衝突判定装置は、画像センサを用いて物体の速度を算出する速度算出装置としても機能する。物体とは、移動物及び静止物を含み、車両の走行にとって妨げとなる、例えば、先行車、対向車、自転車、歩行者、駐停車車両、ガードレールなどの障害物である。

 まず、図1を参照して衝突判定装置の構成について説明する。図1は、第1の実施形態に係る衝突判定装置の構成を示すブロック図である。図1に示すように、衝突判定装置は、速度センサ11、ステレオカメラ12及びECU20(Electronic Control Unit)を備えている。

 速度センサ11は、車両の速度を検出する。速度センサ11としては、例えば車輪速センサが用いられる。速度センサ11は、検出した車両速度(絶対速度)をECU20に供給する。

 ステレオカメラ12は、車両前方を撮像し撮像した画像により物体を検出する画像検出部(画像センサ)として機能する。ステレオカメラ12としては、例えば、CCD(Charge-Coupled Device)、CMOS(Complementary Metal-Oxide Semiconductor)が用いられる。ステレオカメラ12は、複数のカメラとして車両の前面又はキャビンに設置される。ステレオカメラ12は、物体の検出結果を示す画像検出情報をECU20に供給する。なお、ステレオカメラ12に代えて単一のカメラが用いられてもよい。

 ECU20は、画像物標生成部21、静止判定部24、速度算出部25及び衝突判定部26を備えている。ECU20は、CPU、ROM、RAM等を主体として、CPUによるプログラムの実行を通じて、画像物標生成部21、静止判定部24、速度算出部25及び衝突判定部26の機能を実現する。なお、ECU20は、単一ユニットとして構成されてもよく、複数ユニットとして構成されてもよい。

 画像物標生成部21は、ステレオカメラ12からの画像検出情報に基づいて画像物標を生成する。画像物標は、車両を基準とする座標から求められる、物体までの距離及び物体の横位置に関する物標情報を有している。

 画像物標の物標情報は、ステレオカメラ12を構成する左右カメラの画像検出情報のずれに基づいて三角測量の原理により算出され、又は、前方車両のナンバープレート等の検出サイズ及び位置に基づいて算出される。物体までの距離とは、車両の進行方向における車両(ステレオカメラ12)から物体までの距離を表す。物体の横位置とは、車両の進行方向と直交する方向における車両(ステレオカメラ12)から物体までの距離を表す。画像物標における横位置は、画像から検出された物体の横方向の範囲、つまり物体の横幅の情報も含む。物標情報の算出に際しては、算出誤差を低減するために算出値を平均化する等の処理が行われてもよい。

 画像物標生成部21は、物体の速度を示し画像検出情報から算出される画像速度(絶対速度)を算出する。画像速度は、画像物標の物標情報を用いて、物体までの距離及び車両速度に基づいて算出される。画像速度は、例えば、連続する処理周期における物体までの距離の変化に基づいて、例えば、処理周期iにおける距離と処理周期i+1における距離の差分を処理周期の間隔で除し、除算値から車両速度を減じて算出される。画像速度の算出に際しても、算出誤差を低減するために連続する処理周期における算出値を平均化する等の処理が行われてもよい。

 静止判定部24は、画像速度に基づいて車両前方の物体が静止しているか否かを判定する。なお、物体の静止とは、車両の進行方向における物体の速度(絶対速度)が0又は略0であることを意味する。このような物体としては、走行中の車両の前方を横断する例えば歩行者が想定される。

 速度算出部25は、車両速度及び画像物標の物標情報に基づいて物体の速度(相対速度)を算出する。速度算出部25は、車両の速度を示す車両速度と、物体の速度を示す画像速度とを物体までの距離に応じた割合で用いて、物体の速度を算出する。速度算出部25は、物体までの距離に応じた割合を物体までの距離が大きいほど車両速度の比率が高く、物体までの距離が小さいほど画像速度の比率が高くなるように設定する。また、速度算出部25は、車両前方の物体が静止している場合にだけ、車両速度及び画像速度を用いて物体の速度を算出してもよい。

 衝突判定部26は、速度算出部25により算出された物体の速度に基づいて物体との衝突を判定する。衝突判定部26は、物体までの距離を物体の速度で除した衝突時間が所定の閾値未満であるか否かに基づいて、物体との衝突可能性を判定する。衝突可能性の判定結果は、例えば、運転者への報知、車両の制動又は操舵への制御介入による衝突回避支援などに用いられる。

 つぎに、図2及び図3を参照して衝突判定装置の動作について説明する。図2は、衝突判定装置の動作を示すフローチャートである。衝突判定装置は、図2に示す処理を所定周期で繰り返し実行する。

 速度センサ11は、車両速度(絶対速度)を検出する(ステップS11)。画像物標生成部21は、ステレオカメラ12の検出範囲内に物体が存在する場合に画像物標を生成する(S12)。画像物標生成部21は、物体の速度を示し画像検出情報から算出される画像速度(絶対速度)を算出する(S13)。

 静止判定部24は、画像速度に基づいて車両前方の物体が静止しているか否かを判定する(S14)。これは、車両の進行方向における物体の速度が小さいほど、車両速度に基づいて物体の速度を精度良く算出できるためである。ただし、S14の処理は、省略されてもよい。

 ここで、S14の処理を行う場合、S15以降の処理は、S14にて物体が静止していると判定された場合に実行され、静止していると判定されなかった場合には実行されずに処理が終了する。また、物体の静止を判定する代わりに、画像認識に基づいて物体が横断歩行者であるか否かを判定したり、画像認識又は地図情報に基づいて物体が横断歩道位置に存在するか否かを判定したりしてもよい。

 速度算出部25は、画像物標の物標情報を用いて物体までの距離に対応する距離係数を求める(S15)。距離係数は、物体の速度の算出に用いる、車両速度と画像速度との割合(重み付け)を示す係数であり、例えば後述する距離係数マップを用いて求められる。

 図3は、距離係数マップの一例を示す図である。図3に示すように、距離係数マップは、横軸における物体までの距離と縦軸における距離係数との関係を表している。距離係数マップ上には、距離の下限値Tl及び上限値Tuが設定されている。距離係数は、例えば、車両速度の比率と画像速度の比率の合計を1とした場合における車両速度の比率(0~1)を表している。そして、この例では、距離係数は、物体までの距離が下限値Tl以下では「0」、上限値Tu以上では「1」、下限値Tlと上限値Tuの間では「0」と「1」の間の値として設定されている。なお、図3に示す例では、距離係数が下限値Tlと上限値Tuの間で単調増加するように設定されているが、他の態様で増加するように設定されてもよい。

 図2の説明に戻って、S15にて距離係数を求めると、速度算出部25は、距離係数(p)、車両速度(V1)及び画像速度(V2)に基づいて、物体の速度(相対速度)Vを算出する(S16)。物体の速度Vは、次式により算出される。
  V=p・(-V1)+(1-p)・(V2-V1) …(1)

 つまり、物体の速度は、物体までの距離が下限値Tl以下の場合に画像速度のみを用いて算出される一方、上限値Tu以上の場合に車両速度のみを用いて算出される。そして、物体の速度は、下限値Tlと上限値Tuの間では、物体までの距離が大きいほど車両速度を高い比率で用いて(大きく重み付けして)算出され、物体までの距離が小さいほど画像速度を高い比率で用いて(大きく重み付けして)算出される。

 物体の速度が算出されると、衝突判定部26は、物体までの距離を物体の速度で除して衝突時間を算出する(S17)。そして、衝突判定部26は、衝突時間が所定の閾値未満であるか否かに基づいて物体との衝突を判定する(S18)。

 図4は、画像速度に基づく衝突時間の算出結果と、車両速度及び画像速度に基づく衝突時間の算出結果とを対比して示す図である。なお、画像速度に基づく衝突時間は、画像速度に相当する物体の速度で物体までの距離を除して算出され、車両速度及び画像速度に基づく衝突時間は、物体までの距離を車両速度及び画像速度に基づいて算出された物体の速度で物体までの距離を除して算出される。図4では、横軸が実測から得られる実際の衝突時間を示しており、縦軸が衝突時間の算出結果を示している。

 図4では、物体までの距離のバラツキにより生じる衝突時間の算出結果のバラツキが示されている。そして、破線は、画像速度に基づく算出結果のバラツキの範囲V1を示しており、実線は、車両速度及び画像速度に基づく算出結果のバラツキの範囲V2を示している。図4に示すように、車両速度及び画像速度に基づく算出結果(V2)は、画像速度に基づく算出結果(V1)と比べて、そのバラツキが1/2程度に改善されている。したがって、衝突時間を精度よく算出することにより、物体との衝突を精度良く判定できる。

 以上説明したように、第1の実施形態に係る速度算出装置によれば、車両速度(移動体速度)と画像速度を物体までの距離に応じた比率で用いて物体の速度を算出するので、物体までの距離の変化に追随して近距離及び遠距離の物体の速度を精度良く算出できる。特に、遠距離の物体ほど画像速度の精度が低下することをふまえて、遠距離の物体については車両速度(移動体速度)の比率を高くし、近距離の物体については画像速度の比率を高くして物体の速度を算出するので、物体の速度を精度良く算出できる。

 また、物体が静止していると判定された場合、車両速度(移動体速度)及び画像速度を用いて物体の速度を算出することにより、車両速度(移動体速度)を用いて物体の速度を精度良く算出してもよい。

 本発明の実施形態に係る衝突判定装置によれば、物体までの距離の変化に追随して精度良く算出された近距離及び遠距離の物体の速度に基づいて、物体との衝突を判定できる。

 本発明の実施形態に係る速度算出方法によれば、車両速度(移動体速度)と画像速度を物体までの距離に応じた比率で用いて物体の速度を算出するので、物体までの距離の変化に追随して近距離及び遠距離の物体の速度を精度良く算出できる。

 つぎに、図5から図7を参照して本発明の第2の実施形態に係る衝突判定装置について説明する。なお、第1の実施形態と重複する説明は省略する。

 衝突判定装置は、車両に搭載され、レーダセンサ及び画像センサを用いて車両と物体の衝突を判定する装置である。衝突判定装置は、レーダセンサ及び画像センサを用いて物体の速度を算出する速度算出装置としても機能する。

 まず、図5及び図6を参照して衝突判定装置の構成について説明する。図5は、第2の実施形態に係る衝突判定装置の構成を示すブロック図である。図5に示すように、衝突判定装置は、速度センサ11、ステレオカメラ12及びECU30の他にレーダ13を備えている。速度センサ11及びステレオカメラ12の構成及び機能は、第1の実施形態と同様であるので説明を省略する。

 レーダ13は、レーダ波により車両前方の物体を検出するレーダ検出部(レーダセンサ)として機能し、車両前方にレーダ波(電磁波)を送信し、物体から反射されるレーダ波を受信する。レーダ13としては、例えば、マイクロ波レーダ、ミリ波レーダ、超音波レーダ、レーザレーダが用いられる。レーダ13は、物体の検出結果を示すレーダ検出情報をECU30に供給する。

 ECU30は、画像物標生成部21、静止判定部24、速度算出部25及び衝突判定部26の他に、レーダ物標生成部22及び合成物標生成部23を備えている。ECU30は、CPU、ROM、RAM等を主体として、CPUによるプログラムの実行を通じて、画像物標生成部21、レーダ物標生成部22、合成物標生成部23、静止判定部24、速度算出部35、衝突判定部36の機能を実現する。画像物標生成部21及び静止判定部24の構成及び機能は、第1の実施形態と同様であるので説明を省略する。

 レーダ物標生成部22は、レーダ13からのレーダ検出情報に基づいてレーダ物標を生成する。レーダ物標は、車両を基準とする座標から求められる、物体までの距離及び物体の横位置に関する物標情報を有している。

 レーダ物標の物標情報は、レーダ13からのレーダ検出情報に基づいて算出される。物体までの距離とは、車両の進行方向における車両(レーダ13)から物体までの距離を表し、レーダ13からレーダ波が送信され、物体から反射されて受信されるまでの時間に基づいて算出される。物体の横位置とは、車両の進行方向と直交する方向における車両(レーダ13)から物体までの距離を表し、物体から反射されて受信されるレーダ波の方向(角度)に基づいて算出される。レーダ物標における横位置は、レーダ13により検出された物体の位置の情報であり、物体の横幅の情報を含まない。

 図6は、レーダ13とステレオカメラ12の検出範囲A1、A2を示す図である。図6に示すように、レーダ13の検出範囲A1は、ステレオカメラ12の検出範囲A2よりも狭い。このため、車両の斜め前方には、レーダ13の検出範囲A1の外側でステレオカメラ12のみにより検出可能な領域が存在することになる。図6には、レーダ13及びステレオカメラ12の検出範囲A1、A2からステレオカメラ12の検出範囲A2に移動する物標が示されている。

 レーダ13は、物体の幅を考慮した横位置の検出精度が低く物体の横幅も検出できないが、物体までの距離の検出精度が高い。一方、ステレオカメラ12は、物体までの距離の検出精度が低いが、横位置及び横幅の検出精度が高い。よって、画像物標の物標情報における物体までの距離に基づいて算出される画像速度の検出精度は、物体までの距離が大きくなるほど低下する。

 合成物標生成部23は、レーダ物標及び画像物標の物標情報、つまりレーダ13及びステレオカメラ12による検出結果を用いて物体の合成物標を生成する。合成物標は、レーダ物標及び画像物標の物標情報に基づいて両方の物標を照合して生成される。両方の物標は、両方の物標における物標情報の類似度、つまり、物体までの距離及び横位置の類似度に基づいて照合される。合成物標は、物体までの距離及び物体の横位置(横幅も含む)に関する物標情報を有している。合成物標の物標情報は、レーダ物標及び画像物標の物標情報に基づくものであり、レーダ物標又は画像物標単独の物標情報より高い精度を有している。

 速度算出部35は、車両速度及び合成物標、レーダ物標若しくは画像物標の物標情報に基づいて物体の速度(相対速度)を算出する。速度算出部35は、合成物標が生成された場合、合成物標の物標情報に基づいて物体の速度を算出する。この場合、物体の速度は、合成物標の物標情報における物体までの距離を処理周期の間隔で除して算出される。また、速度算出部35は、レーダ物標のみが生成された場合、レーダ物標の物標情報に基づいて物体の速度を算出してもよい。この場合、物体の速度は、レーダ物標の物標情報における物体までの距離を処理周期の間隔で除して算出される。

 一方、速度算出部35は、画像物標のみが生成された場合、画像物標の物標情報に基づいて物体の速度を算出する。この場合、速度算出部35は、車両の速度を示す車両速度と、物体の速度を示す画像速度とを物体までの距離に応じた割合で用いて、物体の速度を算出する。

 衝突判定部36は、速度算出部35により算出された物体の速度に基づいて物体との衝突を判定する。衝突判定部36は、物体までの距離を物体の速度で除した衝突時間が所定の閾値未満であるか否かに基づいて、物体との衝突可能性を判定する。衝突可能性の判定結果は、例えば、運転者への報知、車両の制動又は操舵への制御介入に用いられる。

 つぎに、図7を参照して衝突判定装置の動作について説明する。図7は、衝突判定装置の動作を示すフローチャートである。衝突判定装置は、図7に示す処理を所定周期で繰り返し実行する。

 まず、速度センサ11は、車両の速度(車両速度)を検出する(ステップS21)。レーダ物標生成部22は、レーダ13の検出範囲内に物体が存在する場合にレーダ物標を生成する(S22)。画像物標生成部21は、ステレオカメラ12の検出範囲内に物体が存在する場合に画像物標を生成する(S23)。合成物標生成部23は、レーダ物標と画像物標の照合が得られる場合に合成物標を生成する(S24)。

 速度算出部35は、合成物標が生成されているか否か、つまり、物体が両方のセンサ12、13により検出されているか否かを判定する(S25)。

 合成物標が生成されていると判定された場合、速度算出部35は、合成物標に基づいて物体の速度を算出する(S26)。つまり、速度算出部35は、合成物標の物標情報における物体までの距離に基づいて物体の速度を算出する。そして、衝突判定部36は、合成物標の物標情報を用いて、物体までの距離を物体の速度で除して衝突時間を算出する(S27)。

 一方、S25にて合成物標が生成されていると判定されなかった場合、ECU30は、合成物標が生成された後、画像物標のみが生成されているか否かを判定する(S28)。つまり、ECU30は、直前の処理周期で物体がレーダ13及びステレオカメラ12により検出された後、現在の処理周期でステレオカメラ12のみにより検出されているかを判定する。

 これは、例えば、走行中の車両の前方を横断する歩行者がレーダ13の検出範囲から逸脱した場合、又は何らかの理由によりレーダ13により検出されなくなった(ロストした)場合に相当する。そして、このような場合には、物体までの距離が大きいほど画像検出情報に基づいて算出される物体の速度の算出精度が低下する。

 S28にて画像物標のみが生成されていると判定された場合、画像物標生成部21は、物体の速度を示し画像検出情報から算出される画像速度(絶対速度)を算出する(S29)。静止判定部24は、車両速度及び画像速度に基づいて物体が静止しているか否かを判定する(S30)。ただし、S30の処理は、省略されてもよい。

 ここで、S30の処理を行う場合、S31以降の処理は、S30にて物体が静止していると判定された場合に実行され、静止していると判定されなかった場合には実行されずに処理が終了する。一方、S28にて画像物標のみが生成されていると判定されなかった場合、処理が終了する。

 速度算出部35は、図3を用いて説明したように、画像物標の物標情報を用いて物体までの距離に対応する距離係数を求める(S31)。速度算出部35は、距離係数、車両速度及び画像速度に基づいて、前述した(1)式により物体の速度(相対速度)を算出する(S32)。

 物体の速度が算出されると、衝突判定部36は、画像物標の物標情報を用いて、物体までの距離を物体の速度で除して衝突時間を算出する(S33)。S27又はS33にて衝突時間を算出すると、衝突判定部36は、衝突時間に基づいて物体との衝突を判定する(S34)。

 以上説明したように、第2の実施形態に係る速度算出装置によれば、合成物標が生成された後にレーダ13により物体が検出されない場合、車両速度(移動体速度)及び画像速度を用いて物体の速度を算出するので、合成物標と画像による検出結果とをレーダ13による検出状況に応じて適切に使い分けて物体の速度を算出できる。

 また、物体がレーダ13により検出されずステレオカメラ12により検出される場合、車両速度(移動体速度)及び画像速度を用いて物体の速度を算出することにより、レーダ波による検出結果と画像による検出結果とを物体の検出状況に応じて適切に使い分けて物体の速度を算出してもよい。

 また、合成物標が生成された後にレーダ13により物体が検出されない場合、車両速度(移動体速度)及び画像速度を用いて物体の速度を算出することにより、合成物標と画像による検出結果とをレーダ13による検出状況に応じて適切に使い分けて物体の速度を算出してもよい。

 また、物体がレーダ13の検出範囲外かつステレオカメラ12の検出範囲内に存在する場合、車両速度(移動体速度)及び画像速度を用いて物体の速度を算出することにより、レーダ波による検出結果と画像による検出結果とを物体の存在位置に応じて適切に使い分けて物体の速度を算出してもよい。

 また、物体が静止していると判定された場合、車両速度(移動体速度)及び画像速度を用いて物体の速度を算出することにより、車両速度(移動体速度)を用いて物体の速度を精度良く算出してもよい。

 なお、第2の実施形態では、合成物標と画像による検出結果とをレーダ13による検出状況に応じて適切に使い分けて物体の速度を算出する場合について説明した。しかし、レーダ波による検出結果と画像による検出結果とをレーダ13の検出状況に応じて適切に使い分けて物体の速度を算出する場合についても同様に説明される。

 なお、前述した実施形態は、本発明に係る速度算出装置及び速度算出方法並びに衝突判定装置の最良な実施形態を説明したものであり、本発明に係る速度算出装置及び速度算出方法並びに衝突判定装置は、本実施形態に記載したものに限定されるものではない。本発明に係る速度算出装置及び速度算出方法並びに衝突判定装置は、各請求項に記載した発明の要旨を逸脱しない範囲で本実施形態に係る速度算出装置及び速度算出方法並びに衝突判定装置を変形し、または他のものに適用したものであってもよい。

 例えば、上記実施形態の説明では、画像物標生成部21の機能をECU20により実現し、又は画像物標生成部21及びレーダ物標生成部22の機能をECU30により実現する場合について説明した。しかし、画像物標生成部21の機能を単独のECU、例えば画像センサ用ECUにより実現し、レーダ物標生成部22の機能を単独のECU、例えばレーダセンサ用ECUにより実現してもよい。

 また、上記実施形態の説明では、物体の速度を相対速度として算出する場合について説明したが、物体の速度を絶対速度として算出してもよい。

 以上、本発明の実施形態に係る速度算出装置及び速度算出方法並びに衝突判定装置について説明した。なお、上記実施形態の説明では、衝突判定装置が車両周囲、特に車両前方の物体の速度を算出する速度算出装置により算出された物体の速度に基づいて、物体との衝突を判定する実施形態について説明した。

 しかし、冒頭にて述べたように、移動体は、車両に限らず、船舶、航空機、飛翔体などでもよい。また、速度算出装置は、移動体前方に限らず、移動体の進行方向の物体の速度を算出してもよく、衝突判定装置は、これらの物体の速度に基づいて、物体との衝突を判定してもよい。

 例えば、移動体前方を撮像し撮像した画像により物体を検出する画像センサ(画像検出部)を用いることにより、移動体前方の物体の速度を算出することができる。さらに、移動体前方の物体及び移動体後方の物体をそれぞれに撮像し、撮像した画像により物体を検出する少なくとも2つの画像センサを用いることにより、移動体進行方向の物体の速度を算出することができる。

 11…速度センサ、12…ステレオカメラ、13…レーダ、20、30…ECU、21…画像物標生成部、22…レーダ物標生成部、23…合成物標生成部、24…静止判定部、25、35…速度算出部、26、36…衝突判定部。

Claims (12)

  1.  移動体周囲の物体の速度を算出する速度算出装置において、
     移動体周囲を撮像し撮像した画像により前記物体を検出する画像検出部と、
     前記移動体の速度を示す移動体速度と、前記物体の速度を示し前記画像から算出される画像速度とを前記移動体から前記物体までの距離に応じた割合で用いて、前記物体の速度を算出するものであり、前記物体までの距離が大きいほど前記移動体速度の比率が高くなり、前記物体までの距離が小さいほど前記画像速度の比率が高くなる割合で前記移動体速度及び前記画像速度を用いて前記物体の速度を算出する速度算出部と、
    を備える速度算出装置。
  2.  レーダ波により前記物体を検出するレーダ検出部をさらに備え、
     前記速度算出部は、前記物体が前記レーダ検出部により検出されず前記画像検出部により検出される場合、前記移動体速度及び前記画像速度を用いて前記物体の速度を算出する、請求項1に記載の速度算出装置。
  3.  前記レーダ検出部による検出結果と前記画像検出部による検出結果を用いて前記物体の合成物標を生成する合成物標生成部をさらに備え、
     前記速度算出部は、前記合成物標が生成された後に前記レーダ検出部により前記物体が検出されない場合、前記移動体速度及び前記画像速度を用いて前記物体の速度を算出する、請求項2に記載の速度算出装置。
  4.  レーダ波により前記物体を検出するレーダ検出部をさらに備え、
     前記速度算出部は、前記物体が前記レーダ検出部の検出範囲外かつ前記画像検出部の検出範囲内に存在する場合、前記移動体速度及び前記画像速度を用いて前記物体の速度を算出する、請求項1に記載の速度算出装置。
  5.  前記物体が前記移動体の進行方向において静止しているか否かを判定する静止判定部をさらに備え、
     前記速度算出部は、前記物体が静止していると判定された場合、前記移動体速度及び前記画像速度を用いて前記物体の速度を算出する、請求項1~4のいずれか一項に記載の速度算出装置。
  6.  前記速度算出部は、前記物体までの距離が上限値以上の場合、前記移動体速度の比率が1、前記画像速度の比率が0となるような割合で前記移動体速度及び前記画像速度を用いて前記物体の速度を算出する、請求項1~5のいずれか一項に記載の速度算出装置。
  7.  前記速度算出部は、前記物体までの距離が下限値以下の場合、前記移動体速度の比率が0、前記画像速度の比率が1となるような割合で前記移動体速度及び前記画像速度を用いて前記物体の速度を算出する、請求項1~6のいずれか一項に記載の速度算出装置。
  8.  移動体前方の物体の速度を算出する速度算出装置において、
     移動体前方を撮像し撮像した画像により前記物体を検出する画像検出部と、
     前記移動体の速度を示す移動体速度と、前記物体の速度を示し前記画像から算出される画像速度とを前記移動体から前記物体までの距離に応じた割合で用いて、前記物体の速度を算出するものであり、前記物体までの距離が大きいほど前記移動体速度の比率が高くなり、前記物体までの距離が小さいほど前記画像速度の比率が高くなる割合で前記移動体速度及び前記画像速度を用いて前記物体の速度を算出する速度算出部と、
    を備える、請求項1~7のいずれか一項に記載の速度算出装置。
  9.  移動体進行方向の物体の速度を算出する速度算出装置において、
     移動体進行方向を撮像し撮像した画像により前記物体を検出する画像検出部と、
     前記移動体の速度を示す移動体速度と、前記物体の速度を示し前記画像から算出される画像速度とを前記移動体から前記物体までの距離に応じた割合で用いて、前記物体の速度を算出するものであり、前記物体までの距離が大きいほど前記移動体速度の比率が高くなり、前記物体までの距離が小さいほど前記画像速度の比率が高くなる割合で前記移動体速度及び前記画像速度を用いて前記物体の速度を算出する速度算出部と、
    を備える、請求項1~7のいずれか一項に記載の速度算出装置。
  10.  前記移動体は車両である、請求項1~9のいずれか一項に記載の速度算出装置。
  11.  請求項1~10のいずれか一項に記載の速度算出装置と、
     前記速度算出装置により算出された前記物体の速度に基づいて、前記物体との衝突を判定する衝突判定部と、
    を備える衝突判定装置。
  12.  移動体周囲の物体の速度を算出する速度算出方法において、
     移動体周囲を撮像し撮像した画像により前記物体を検出し、
     前記移動体の速度を示す移動体速度と、前記物体の速度を示し前記画像から算出される画像速度とを前記移動体から前記物体までの距離が大きいほど前記移動体速度の比率が高くなり、前記移動体から前記物体までの距離が小さいほど前記画像速度の比率が高くなる割合で用いて前記物体の速度を算出すること、
    を含む速度算出方法。
PCT/JP2012/072362 2012-09-03 2012-09-03 速度算出装置及び速度算出方法並びに衝突判定装置 WO2014033955A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2012/072362 WO2014033955A1 (ja) 2012-09-03 2012-09-03 速度算出装置及び速度算出方法並びに衝突判定装置

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2014532715A JP6011625B2 (ja) 2012-09-03 2012-09-03 速度算出装置及び速度算出方法並びに衝突判定装置
PCT/JP2012/072362 WO2014033955A1 (ja) 2012-09-03 2012-09-03 速度算出装置及び速度算出方法並びに衝突判定装置
EP12883817.4A EP2894618B1 (en) 2012-09-03 2012-09-03 Speed calculating device and speed calculating method, and collision determination device
US14/425,063 US9905013B2 (en) 2012-09-03 2012-09-03 Speed calculating device and speed calculating method, and collision determination device
CN201280075553.2A CN104620297B (zh) 2012-09-03 2012-09-03 速度算出装置、速度算出方法以及碰撞判定装置

Publications (1)

Publication Number Publication Date
WO2014033955A1 true WO2014033955A1 (ja) 2014-03-06

Family

ID=50182799

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/072362 WO2014033955A1 (ja) 2012-09-03 2012-09-03 速度算出装置及び速度算出方法並びに衝突判定装置

Country Status (5)

Country Link
US (1) US9905013B2 (ja)
EP (1) EP2894618B1 (ja)
JP (1) JP6011625B2 (ja)
CN (1) CN104620297B (ja)
WO (1) WO2014033955A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI665647B (zh) * 2017-08-01 2019-07-11 鴻海精密工業股份有限公司 汽車警示方法及電子裝置

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014033956A1 (ja) * 2012-09-03 2014-03-06 トヨタ自動車株式会社 衝突判定装置及び衝突判定方法
US9582886B2 (en) * 2013-07-08 2017-02-28 Honda Motor Co., Ltd. Object recognition device
US10317522B2 (en) * 2016-03-01 2019-06-11 GM Global Technology Operations LLC Detecting long objects by sensor fusion
CN110400463B (en) * 2019-07-26 2020-09-04 合肥工业大学 Safe driving early warning method based on optimal driving speed recommendation

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008204281A (ja) * 2007-02-21 2008-09-04 Denso Corp 物体検出装置、および車車間通信システム
JP2009186260A (ja) * 2008-02-05 2009-08-20 Nissan Motor Co Ltd 物体検出装置及び測距方法
JP2010020476A (ja) * 2008-07-09 2010-01-28 Nissan Motor Co Ltd 物体検出装置及び物体検出方法
JP2010146494A (ja) 2008-12-22 2010-07-01 Honda Motor Co Ltd 車両周辺監視装置
WO2011070650A1 (ja) * 2009-12-08 2011-06-16 トヨタ自動車株式会社 物体検出装置及び物体検出方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3395623B2 (ja) * 1998-01-19 2003-04-14 株式会社日立製作所 車両の走行制御装置
JP3409736B2 (ja) * 1999-04-30 2003-05-26 日産自動車株式会社 Leading vehicle follow-up control device
US7272482B2 (en) * 2002-09-30 2007-09-18 Nissan Motor Co., Ltd. Preceding-vehicle following control system
JP4026477B2 (ja) * 2002-11-12 2007-12-26 日産自動車株式会社 Vehicle notification device
JP2004217175A (ja) * 2003-01-17 2004-08-05 Toyota Motor Corp Inter-vehicle distance control device
JP3835438B2 (ja) * 2003-07-11 2006-10-18 トヨタ自動車株式会社 衝突対応車両制御システム
JP4211809B2 (ja) * 2006-06-30 2009-01-21 トヨタ自動車株式会社 物体検出装置
JP2009120116A (ja) * 2007-11-16 2009-06-04 Hitachi Ltd 車両衝突回避支援装置
JP2010204805A (ja) * 2009-03-02 2010-09-16 Konica Minolta Holdings Inc 周辺監視装置および該方法
CN102542843A (zh) * 2010-12-07 2012-07-04 比亚迪股份有限公司 防止车辆碰撞的预警方法及装置
US8694222B2 (en) * 2011-10-26 2014-04-08 GM Global Technology Operations LLC Collision avoidance system and method of operating the same

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008204281A (ja) * 2007-02-21 2008-09-04 Denso Corp 物体検出装置、および車車間通信システム
JP2009186260A (ja) * 2008-02-05 2009-08-20 Nissan Motor Co Ltd 物体検出装置及び測距方法
JP2010020476A (ja) * 2008-07-09 2010-01-28 Nissan Motor Co Ltd 物体検出装置及び物体検出方法
JP2010146494A (ja) 2008-12-22 2010-07-01 Honda Motor Co Ltd 車両周辺監視装置
WO2011070650A1 (ja) * 2009-12-08 2011-06-16 トヨタ自動車株式会社 物体検出装置及び物体検出方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2894618A4 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI665647B (zh) * 2017-08-01 2019-07-11 鴻海精密工業股份有限公司 汽車警示方法及電子裝置

Also Published As

Publication number Publication date
CN104620297B (zh) 2017-03-22
JPWO2014033955A1 (ja) 2016-08-08
EP2894618A1 (en) 2015-07-15
JP6011625B2 (ja) 2016-10-19
US20150262375A1 (en) 2015-09-17
CN104620297A (zh) 2015-05-13
EP2894618A4 (en) 2015-07-15
EP2894618B1 (en) 2016-10-26
US9905013B2 (en) 2018-02-27

Similar Documents

Publication Publication Date Title
US9390624B2 (en) Vehicle-installation intersection judgment apparatus and program
US9583003B2 (en) Vehicle danger notification control apparatus
US10246030B2 (en) Object detection apparatus and driving assistance apparatus
EP2741270B1 (en) Driving assistance apparatus and driving assistance method
JP5892129B2 (ja) 道路形状認識方法、道路形状認識装置、プログラムおよび記録媒体
JP5870908B2 (ja) 車両の衝突判定装置
US9778356B2 (en) Autonomous emergency braking system and method for recognizing pedestrian therein
JP5939357B2 (ja) 移動軌跡予測装置及び移動軌跡予測方法
US20150109164A1 (en) Target detection apparatus
US9650040B2 (en) Collision mitigation apparatus
JP3915746B2 (ja) 車両用外界認識装置
JP5926080B2 (ja) 走行区画線認識装置およびプログラム
US8060307B2 (en) Vehicle driving assistance system
US20140343750A1 (en) Collision mitigation apparatus
JP5969534B2 (ja) 走行支援装置
US9487195B2 (en) Collision avoidance assistance device and collision avoidance assistance method
JP4883246B2 (ja) 物体検出装置及び物体検出方法
JP5350297B2 (ja) 車両姿勢角算出装置及びそれを用いた車線逸脱警報システム
KR101276871B1 (ko) Vehicle collision prevention device and method
CA3001287C (en) Display assistance device and display assistance method
US10053095B2 (en) Vehicle control apparatus
US10106154B2 (en) Driving support apparatus
US20180137761A1 (en) Driving support apparatus for a vehicle
US8854458B2 (en) Object detection device
EP2302412B1 (en) System and method for evaluation of an automotive vehicle forward collision threat

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12883817

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase in:

Ref document number: 2014532715

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 14425063

Country of ref document: US

NENP Non-entry into the national phase in:

Ref country code: DE

REEP Request for entry into the european phase

Ref document number: 2012883817

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2012883817

Country of ref document: EP