JP6404922B2 - 物体認識装置及びそれを用いた車両走行制御装置 - Google Patents

物体認識装置及びそれを用いた車両走行制御装置 Download PDF

Info

Publication number
JP6404922B2
JP6404922B2 JP2016529224A JP2016529224A JP6404922B2 JP 6404922 B2 JP6404922 B2 JP 6404922B2 JP 2016529224 A JP2016529224 A JP 2016529224A JP 2016529224 A JP2016529224 A JP 2016529224A JP 6404922 B2 JP6404922 B2 JP 6404922B2
Authority
JP
Japan
Prior art keywords
lane
host vehicle
vehicle
unit
behind
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016529224A
Other languages
English (en)
Other versions
JPWO2015194371A1 (ja
Inventor
黒田 浩司
浩司 黒田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Astemo Ltd
Original Assignee
Hitachi Automotive Systems Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Automotive Systems Ltd filed Critical Hitachi Automotive Systems Ltd
Publication of JPWO2015194371A1 publication Critical patent/JPWO2015194371A1/ja
Application granted granted Critical
Publication of JP6404922B2 publication Critical patent/JP6404922B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/167Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62DMOTOR VEHICLES; TRAILERS
    • B62D15/00Steering not otherwise provided for
    • B62D15/02Steering position indicators ; Steering position determination; Steering aids
    • B62D15/021Determination of steering angle
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867Combination of radar systems with cameras
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9315Monitoring blind spots
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/932Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles using own vehicle data, e.g. ground speed, steering wheel direction
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327Sensor installation details
    • G01S2013/93272Sensor installation details in the back of the vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327Sensor installation details
    • G01S2013/93274Sensor installation details on the side of the vehicles

Description

本発明は、物体認識装置及びそれを用いた車両走行制御装置に係り、特に、自車両の斜め後方を含む後方に存在する物体の位置を認識して自車両の走行を制御する車両走行制御装置に関する。
従来、自車両の後方に存在する物体の位置を検出する技術として、例えば特許文献1に開示されている従来技術が知られている。
特許文献1に開示されている物体位置検出装置は、道路を走行する自車両の走行位置を記憶する記憶手段と、前記自車両の後方に存在する後方物体の位置を検出する検出手段と
、前記記憶手段に記憶された前記自車両の過去の走行位置と前記検出手段によって検出された前記後方物体の位置との相対位置関係に基づいて、前記後方物体が位置する車線を推定する推定手段と、を備え、前記推定手段は、前記自車両の過去の走行位置から求められる走行軌跡と前記後方物体の位置との距離に基づいて前記後方物体が位置する車線を推定する装置である。
特開2010−127908号公報
ところで、ある車線を走行する車両の運転者は、例えば前方を走行する車両を追い抜く際や右左折等に備えて車線変更を行う場合があり、そのように自車両が車線を変更した場合などには、自車両の走行位置は車線を跨いで記憶されることとなる。
特許文献1に開示されている物体位置検出装置においては、自車両の過去の走行位置から求められる走行軌跡と後方物体の位置との距離に基づいて後方物体が位置する車線を推定するため、上記したように、自車両が車線を変更して自車両の過去の走行位置が車線を跨いで記憶された場合、図20で示すように、自車両が走行する車線や後方物体が位置する車線を正確に把握できず、例えば自車両を運転する運転者に対して誤った警報を発生する可能性があった。また、特許文献1に開示されている物体位置検出装置においては、自車両がカーブした車線を走行する際にも、自車両が走行する車線や後方物体が位置する車線を正確に把握できない場合があり、上記したように例えば自車両を運転する運転者に対して誤った警報を発生する可能性があった。
また、特許文献1に開示されている物体位置検出装置においては、自車両の後方に存在する後方物体の位置を検出する検出手段としてミリ波レーダを使用しているが、例えば自車両がガードレールが連続して敷設された道路を走行する場合、ミリ波レーダ等の電波レーダから出力される信号がそのガードレールで反射され、後方物体の位置、ひいては後方物体が位置する車線を正確に推定できないといった問題もあった。
本発明は、前記問題に鑑みてなされたものであって、その目的とするところは、自車両の斜め後方を含む後方に存在する物体の位置を精緻に認識することでのできる物体認識装置及びそれを用いた車両走行制御装置を提供することにある。
上記する課題を解決するために、本発明に係る物体認識装置は、自車両後方に存在する物体の位置を認識する物体認識装置であって、自車両前方または後方の環境を撮像する撮像部と、前記撮像部で撮像された画像に基づいて、自車両前方または後方における車線を検知する車線検知部と、前記車線検知部で検知された車線と自車両の走行履歴とに基づいて、自車両後方における車線の位置を推定する車線位置推定部と、自車両後方に存在する物体を検知する後方物体検知部と、前記車線位置推定部で推定された車線の位置に対する前記後方物体検知部で検知された物体の相対位置を算出する相対位置演算部と、を備えることを特徴とする。
また、本発明に係る物体認識装置は、自車両後方に存在する物体の位置を認識する物体認識装置であって、自車両前方または後方の環境を撮像する撮像部と、前記撮像部で撮像された画像に基づいて、自車両前方または後方における静止立体物を検知する立体物検知部と、前記立体物検知部で検知された静止立体物と自車両の走行履歴とに基づいて、自車両後方における静止立体物の位置を推定する立体物位置推定部と、自車両後方に存在する物体を検知する後方物体検知部と、前記立体物位置推定部で推定された静止立体物の位置に対する前記後方物体検知部で検知された物体の相対位置を算出する相対位置演算部と、を備えることを特徴とする。
また、本発明に係る車両走行制御装置は、前記物体認識装置により認識された物体の位置に基づいて、自車両の走行を制御することを特徴とする。
本発明によれば、自車両前方の環境を撮像する撮像部で撮像された画像に基づいて、自車両前方における車線もしくは静止立体物を検知し、検知された車線もしくは静止立体物と自車両の走行履歴とに基づいて、自車両後方における車線もしくは静止立体物の位置を推定し、推定された車線もしくは静止立体物の位置に対する自車両後方に存在する物体の相対位置を算出することにより、自車両の斜め後方を含む後方に存在する物体の位置を精緻に認識することができる。
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
本発明に係る物体認識装置を用いた車両走行制御装置の実施形態1の構成を示す構成図。 図1に示すカメラにより撮像された画像の一例を示す図。 自車両に対する車線及び後側方車両の位置の一例を示す図。 自車両を原点とする座標系の時間変化を説明する図。 図1に示す車線位置情報記憶部に記憶される車線位置情報の一例を示す図。 自車両に対する車線と後側方車両の位置関係の一例を示す図。 自車両に対する車線と後側方車両の位置関係の他例を示す図。 図1に示す車両走行制御装置による処理フローを説明したフローチャート。 本発明に係る物体認識装置を用いた車両走行制御装置の実施形態2の構成を示す構成図。 図9に示すステレオカメラにより撮像された画像の一例を示す図。 自車両に対する静止立体物及び後側方車両の位置の一例を示す図。 図9に示す立体物位置情報記憶部に記憶される立体物位置情報の一例を示す図。 自車両に対する静止立体物と後側方車両の位置関係の一例を示す図。 自車両に対する静止立体物と後側方車両の位置関係の他例を示す図 図9に示す車両走行制御装置による処理フローを説明したフローチャート。 本発明に係る物体認識装置を用いた車両走行制御装置の実施形態3の構成を示す構成図。 図16に示すカメラにより撮像された画像の一例を示す図。 自車両に対する車線及び後側方車両の位置の一例を示す図。 図16に示す車線位置情報記憶部に記憶される車線位置情報の一例を示す図。 従来技術により検知される後方物体の位置を説明した図。
以下、本発明の実施形態を図面を参照しながら説明する。
<実施形態1>
図1は、本発明に係る物体認識装置を用いた車両走行制御装置の実施形態1の構成を示す構成図である。
図示するように、車両走行制御装置50は、主に、自車両後方に存在する物体の位置を認識する物体認識装置20、操舵角センサ21、ヨーレートセンサ22、車輪速センサ23、ナビゲーションシステム24、及び、物体認識装置20により認識された物体の位置に基づいて自車両の走行等を制御する各種制御信号を生成するコントロールユニット25を備えている。
また、前記物体認識装置20は、後方物体検知装置1と車線検知装置2と走行履歴演算装置3とを有する。
後方物体検知装置1は、自車両の斜め後方(以下、後側方という)を含む後方に存在する物体(例えば、移動もしくは停止・駐車している車両(自動車やバイク、自転車等)や人等)を検知するためのものであり、例えば自車両の左右の後側部に設けられた複数の電波レーダ(後方物体検知部)7で構成される。この電波レーダ7は、自車両後方の所定範囲に電波を送信し、その範囲に存在する物体からの反射波を受信することで、自車両後方の物体の相対位置(距離、方向)および自車両に対する相対速度を検知することができる
具体的には、自車両VSには、例えば図3に示すように、左右それぞれの後側部に電波レーダ7a、7bが搭載され、自車両VSの左後部に取付けられた電波レーダ7aが自車両VSの後左方の領域Aaを検知領域とし、自車両VSの右後部に取付けられた電波レーダ7bが自車両VSの後右方の領域Abを検知領域としている。例えば、自車両VSに対して右側の隣接車線にターゲット車両VTが存在する場合、電波レーダ7は、自車両VSの中央を原点とする座標系X-Yにおけるターゲット車両VTの位置(P,Q)と自車両VSに対する相対速度を各電波レーダ7a、7bにより検知する。
車線検知装置2は、自車両前方における車線(車両が走行するレーン)を検知するためのものであり、例えば自車両のウインドシールドの中央上部に配置されて自車両前方の環境を撮像するカメラ(前方カメラ)(撮像部)8と、カメラ8で撮像された画像に基づい
て自車両前方における車線を検知する車線検知部9と、で構成されている。
カメラ8は、例えばCMOSカメラから構成され、自車両の前方かつ斜め下方に向いた光軸を有するように自車両に取付けられ、図2に示すように、自車両前方の数十m以上の範囲に亘って道路等を含む周囲の環境を撮像し、撮像された画像を車線検知部9へ送信する。
車線検知部9は、カメラ8で撮像された画像に基づいて例えば2値化処理や特徴点抽出処理を行うことにより、その画像から道路上の道路区画線(白線や黄線、破線、ボッツドッツ等)に該当すると推測される画素(道路区画線候補点)を選出し、選出した道路区画線候補点のうち連続的に並んだものを、車線を構成する道路区画線であると認識してその位置を求め、その位置に関する情報を走行履歴演算装置3の車線位置推定部4へ送信する
。図2では、カメラ8で撮像された画像における右側の道路区画線の位置を手前からR1〜R3、左側の道路区画線の位置を手前からL1〜L3で示し、図3では、図2に示すこれらの道路区画線の位置について、自車両の中央を原点とする上方から見た座標系X-Y
における位置をR1:(xr_1,yr_1), R2:(xr_2,yr_2), R3:(xr_3,yr_3), L1:(xl_1,yl_1)
, L2:(xl_2,yl_2),L3: (xl_3,yl_3)でそれぞれ示している。なお、図2及び図3では、道路区画線の位置を右側と左側のそれぞれについて3点求めた例を示しているが、2点以下または4点以上求める場合や、直線や曲線で近似する場合も同様である。
また、道路区画線あるいはその道路区画線により画定される車線を認識する手法は種々の手法が開発されており、例えば、路肩や中央分離帯をパターンマッチング等の手法により抽出する手法を加味することも可能である。また、車線検知装置2は、例えば車線維持支援装置(レーンキープアシストともいう)や車線逸脱警報装置(レーンデパーチャーワーニングともいう)等に用いられる車線検知用の各種装置と共用してもよいことは勿論である。
走行履歴演算装置3は、前記後方物体検知装置1や車線検知装置2から送信される情報に基づいて自車両の後方に存在する物体の位置等を算出し、自車両の走行制御に要する情報をコントロールユニット25へ出力するものであり、主に、走行履歴演算部11と、車線位置推定部4と、車線位置情報記憶部10と、相対位置演算部5と、判断部6と、で構成されている。
走行履歴演算部11は、車両走行制御装置50を構成する操舵角センサ21、ヨーレートセンサ22、車速センサとしての車輪速センサ23、ナビゲーションシステム24などから得られる情報に基づいて、自車両の走行履歴を算出し、その算出結果を車線位置推定部4へ送信する。
具体的には、図4に示すように、時刻t(n)における自車両中央を原点とする座標系をX
(n)-Y(n)、時刻t(n+1)における自車両中央を原点とする座標系をX(n+1)-Y(n+1)とし
、時刻t(n)における自車両VSの速度をVn、その進行方向をθnとするとき、Δt=(t(n+1)
-t (n))の間の自車両VSの位置の変化量(Δx、Δy)は以下の式(1)で表される。
Figure 0006404922
次に、時刻t(n+1)=t(n)+Δtのときの自車両VSの方向(向き)を考える。操舵角セン
サ21やヨーレートセンサ22によって推定される時刻t(n)における自車両VSの回転角速度をωnとすると、時刻t(n+1)における自車両VSの進行方向θn+1は以下の式(2)で
推定される。
Figure 0006404922
また、時刻t(n)における自車両中央を原点とする座標系X(n)-Y(n)と時刻t(n+1)にお
ける自車両中央を原点とする座標系X(n+1)-Y(n+1)とのなす角Δθnは、以下の式(3)で表される。
Figure 0006404922
ここで、時々刻々における自車両VSの速度Vnは、車輪速センサ23やナビゲーションシステム24などによって求められ、自車両VSの進行方向θnや回転角速度ωnは、操舵角センサ21やヨーレートセンサ22、ナビゲーションシステム24などによって求められる。
車線位置推定部4は、上記した走行履歴演算部11における関係式に基づいて、車線検知装置2から出力される車線位置情報(道路区画線位置に相当)を、その時刻における自車両中央を原点とする座標系へと変換し、その変換結果を車線位置情報記憶部10へ記憶する。その際の座標系の変換について、地面に固定されたポイントPが、時刻t(n)における自車両中央を原点とする座標系X(n)-Y(n)から時刻t(n+1)における座標系X(n+1)-Y(n+1)へ変換されることを考え、時刻t(n)における座標系でのポイントPの座標を(x(t(n)),y(t(n)))とし、時刻t(n+1)におけるポイントPの座標を(x(t(n+1)),y(t(n+1)))とすると、これらの座標の関係は以下の式(4)で表される。
Figure 0006404922
このように、車線位置推定部4は、過去に検知された車線位置を、走行履歴演算部11から得られる情報に基づいて、その時刻における自車両中央を原点とする座標系へと変換し、その変換結果を車線位置情報記憶部10へ記憶する。また、それと同時に、車線位置推定部4は、車線検知装置2から現時点での車線位置情報を取得して車線位置情報記憶部10へ追加して記憶する。
具体的には、車線位置推定部4は、図5に示すように、まず、時刻t(n)において、車線検知装置2から出力される車線位置情報を車線位置情報記憶部10へ記憶する。例えば、図2及び図3に示したように、カメラ8で撮像された画像から求められた右側の道路区画線の位置(すなわち車線情報)を、時刻t(n)における自車両中央を原点とする座標系X-Yにおける位置R1〜R3として(xr_1(t(n)),yr_1(t(n))),(xr_2(t(n)),yr_2(t(n))),(xr_3(t(n)),yr_3(t(n)))の座標情報を記憶する。同様に、図5では記載していないが、カメラ8で撮像された画像から求められた左側の道路区画線の位置(すなわち車線情報)を、自車両中央を原点とする座標系X-Yにおける位置L1〜L3として(xl_1(t(n)),yl_1(t(n))),(xl_2(t(n)),yl_2(t(n))),(xl_3(t(n)),yl_3(t(n)))の座標情報を記憶する。
次に、時刻がt(n)からt(n+1)に進んだときには、車線位置推定部4は、右側の道路区画線の位置R1〜R3および左側の道路区画線の位置L1〜L3を、式(4)を用いて時刻t(n+1)における自車両中央を原点とする座標系X(n+1)-Y(n+1)での位置情報に変換して車線位置情報記憶部10へ記憶する。
このような変換を逐次行い、時刻t(n+m)の時点では、時刻t(n)のときに検出した右側の道路区画線の位置R1〜R3から時刻t(n+m)のときに検出した右側の道路区画線の位置Rm1〜Rm3までを合わせて、その座標情報を車線位置情報として車線位置情報記憶部10へ記憶する(図5参照)。同様に、左側の道路区画線についても、時刻t(n)から時刻t(n+
m)までに車線検知装置2により検出された道路区画線の位置情報を車線位置情報として車線位置情報記憶部10へ記憶する。
なお、車線位置情報記憶部10は、過去の車線位置情報を蓄積して記憶するが、記憶容量のオーバーフローを防ぐために、所定の時間以上経過した車線位置情報や自車両からの距離が所定値以上となった車線位置情報は、当該車線位置情報記憶部10から逐次削除することが実用上有効である。
このように、車線位置情報を時々刻々で認識し、過去の車線位置情報を用いることで、自車両後方の車線位置を正確に推定することができる。
相対位置演算部5は、車線位置情報記憶部10に記憶された自車両後方の車線の位置に対して、後方物体検知装置1で検知された物体の相対位置を算出するものである。
具体的には、後方物体検知装置1が図6や図7に示すようにターゲット車両VTを検知すると共に、自車両中央を原点とする座標系X-Yにおけるターゲット車両VTの位置(P,Q)と自車両VSに対する相対速度を検知した場合、相対位置演算部5は、車線位置
情報記憶部10に記憶された車線位置情報から、自車両VSの進行方向(Y軸方向)で最も近い2点(左右の道路区画線の各2点)を選出する。図6や図7では、右側の道路区画線の位置Rn1、Rn2、及び、左側の道路区画線の位置Ln1、Ln2の車線位置情報がY軸方向で最も近い点となっている。そして、相対位置演算部5は、右側の道路区画線位置の2点Rn1、Rn2を結ぶ直線を求め、この直線のターゲット車両VTのY軸方向の位置に相当する場所におけるX方向の距離xr_npを求め、距離xr_npの値とターゲット車両VTのX軸方向の値Pとの大小関係を算出し、その算出結果を判断部6へ送信する。
判断部6は、相対位置演算部5から送信された大小関係に基づいて、後方物体検知装置1で検知された物体が所定の車線(例えば、警告を発するべき車線)に存在するか否かを判断する。
具体的には、判断部6は、相対位置演算部5から送信された大小関係に基づいて、例えば図6に示すように、ターゲット車両VTが右側の道路区画線の内側に存在するかあるいは外側に存在するかを判断し、その判断結果をコントロールユニット25へ送信する。なお、図6では、ターゲット車両VTのX軸方向の値Pが右側の道路区画線までの距離xr_npよりも大きい例、すなわち、ターゲット車両VTが右側の隣接車線に存在する例を示しており、上記した演算により、ターゲット車両VTが自車両VSが走行する車線に対して右側の隣接車線に存在すると判断できる。
一方、図7では、ターゲット車両VTのX軸方向の値Pが右側の道路区画線までの距離xr_npよりも小さい例を示しており、この場合には、上記と同様の演算を左側の道路区画
線に対しても続いて行うことで、ターゲット車両VTが自車両VSが走行する車線と同じ車線内の後方に存在するか否かを判定できる。
コントロールユニット25は、物体認識装置20(の走行履歴演算装置3の判断部6)から送信された情報に基づいて、自車両の走行等を制御する各種制御信号を生成する。
具体的には、コントロールユニット25は、判断部6により後方物体検知装置1で検知された物体が所定の車線(例えば、警告を発するべき車線)に存在すると判断された場合
、例えば、操舵を制御(規制)する制御信号や、自車両の車速を制御する制御信号、運転者に対して警告(警報やコントロールパネル等への警告表示)を発するための制御信号等を生成し、そのような制御信号を適宜の車載装置へ送信する。
以上の車両走行制御装置50による一連の処理の流れを図8を参照して説明すると、まず、ステップS101では、物体認識装置20の車線検知装置2により、図2及び図3に基づき説明した手法により、自車両を原点とする上方から見た座標系X‐Yにおける車線位置を求める。
次に、ステップS102では、走行履歴演算装置3の車線位置推定部4により、ステップS1
01で求めた車線位置を、自車両を原点とする座標系で車線位置情報記憶部10に記憶しておく。
次に、ステップS103では、走行履歴演算部11により、車両走行制御装置50を構成する操舵角センサ21、ヨーレートセンサ22、車輪速センサ23、ナビゲーションシステム24などから得られる情報に基づいて、Δt秒間の自車両の移動量を推定し、上記した
式(1)から式(3)を用いて、時刻t(n)における自車両を原点とする座標系X(n)-Y(n
)及び時刻t(n+1)における自車両を原点とする座標系X(n+1)-Y(n+1)を求める。
次に、ステップS104では、車線位置推定部4により、上記した式(4)を用いて、過去に車線検知装置2で検出した車線位置情報を、現在の時刻における自車両を原点とする座標系へと変換し、自車両後方の車線位置を推定して車線位置情報記憶部10へ記憶する。
次に、ステップS105では、後方物体検知装置1により、後側方を含む後方の物体(ターゲット車両等)を検知し、そのターゲット車両の位置座標(P,Q)等を求める。
次に、ステップS106では、相対位置演算部5により、ステップS104で記憶された車線位置情報とステップS105で検知されたターゲット車両との相対位置を求める。より具体的には、上記したように、後方物体検知装置1がターゲット車両を検知すると共に、自車両を原点とする座標系X-Yにおけるターゲット車両の位置(P,Q)等を検知した場合、車線位置情報記憶部10に記憶された車線位置情報から、自車両の進行方向(Y軸方向)で最も近い2点の車線位置情報を選出する。これらのY軸方向で最も近い2点の車線位置とターゲット車両とのX方向の距離を求めることで、車線に対するターゲット車両の相対位置を推定することが可能となる。
次に、ステップS107では、判断部6により、ステップS106で求めた車線に対するターゲット車両の相対位置の情報に基づいて、自車両後方のターゲット車両がどの車線(自車両が走行する車線、右隣の車線、左隣の車線、または2車線以上離れた車線)を走行しているかを判定する。具体的には、ターゲット車両が警報対象とすべき領域(車線)に存在するか否かを判断し、ターゲット車両が警報対象とすべき領域(車線)に存在すると判断されたときは、ステップS108において、ターゲット車両の位置と速度(例えば、ターゲット車両が自車両に近づくか否か)との情報から実際に警報を出力すべきか否かを判断する。
そして、ステップS108で実際に警報を出力すべきと判断したときは、ステップS109において、コントロールユニット25により制御信号を生成して警報を発生する。
なお、これらの一連の処理は、ΔT秒経過する毎に繰り返される。
このように、本実施形態1では、ミリ波レーダ等の電波レーダ7を用いて自車両の斜め後方を含む後方に存在する物体を検知する車両において、自車両前方の環境を撮像するカメラ8で撮像された画像に基づいて、自車両前方における車線を検知し、検知された車線と自車両の走行履歴とに基づいて、自車両後方における車線の位置を推定し、推定された車線の位置に対する自車両後方に存在する物体の相対位置を算出することにより、カーブ走行時や車線変更時においても、自車両の斜め後方を含む後方に存在する物体の位置、特にその物体が位置する車線を精緻に認識することができる。
<実施形態2>
図9は、本発明に係る物体認識装置を用いた車両走行制御装置の実施形態2の構成を示す構成図である。
図9に示す実施形態2の車両走行制御装置50Aは、上記した実施形態1の車両走行制御装置50に対して、自車両前方の静止立体物(以下では単に立体物という)を検知する点が相違しており、その他の構成は実施形態1の車両走行制御装置50と同様である。したがって、以下では、実施形態1の車両走行制御装置50と異なる構成のみを詳述し、実施形態1と同様の構成には同様の符号を付してその詳細な説明は省略する。
図示するように、車両走行制御装置50Aの物体認識装置20Aは、後方物体検知装置1Aと立体物検知装置2Aと走行履歴演算装置3Aとを有する。
立体物検知装置2Aは、自車両前方における立体物(例えば、車線に沿って敷設されたガードレールや壁等)を検知するためのものであり、例えば自車両のウインドシールドの中央上部に配設されて自車両前方の環境を撮像する複数のカメラ(前方カメラ)からなるステレオカメラ8Aと、ステレオカメラ8Aで撮像された複数の画像に基づいて自車両前方における立体物を検知する立体物検知部9Aと、で構成されている。
ステレオカメラ8Aを構成する各カメラは、図10に示すように、前方を走行する先行車両VPや路側の立体物であるガードレールGR等を含む周囲の環境を撮像し、撮像された画像を立体物検知部9Aへ送信する。
立体物検知部9Aは、ステレオカメラ8Aで撮像された左右の画像情報に基づいて、左右の画像の視差を求め、立体物の存在を検知すると共に自車両から立体物までの距離を計算する。また、求められた距離情報を用いて、地上からの高さ情報を含む立体物の大きさを求め、それらの各種情報を走行履歴演算装置3Aの立体物位置推定部4Aへ送信する。図10では、ステレオカメラ8Aで撮像された画像から検知された立体物(ここではガードレールGR)の代表点を手前からG1〜G3として示し、図11では、図10に示すこれらの立体物の代表点の位置について、自車両を原点とする3次元の座標系X-Y-Zにおける位置をG1:(xg_1,yg_1,zg_1), G2:(xg_2,yg_2,zg_2), G3:(xg_3,yg_3,zg_3)でそれぞれ示している。なお、図10及び図11では、立体物の代表点の位置を3点検出した例を示しているが、2点以下または4点以上検出する場合も同様である。また、立体物が例えば車線に沿って連続して存在する場合は、座標系のX-Y面における直線または曲線と
して近似してもよい。
走行履歴演算装置3Aの走行履歴演算部11Aは、実施形態1における図4に基づき説明したのと同様の計算により、時刻t(n)における自車両中央を原点とする座標系X(n)-Y
(n)から時刻t(n+1)における自車両を原点とする座標系X(n+1)-Y(n+1)を算出し、Δt=(
t (n+1)-t(n))の間の自車両VSの位置の変化量(Δx、Δy)を算出する。また、自車両V
Sの方向の変化についても、実施形態1における式(2)等で説明した手順と同様の手順の計算で求め、それらの算出結果を立体物位置推定部4Aへ送信する。
立体物位置推定部4Aは、走行履歴演算部11Aにより求められた自車両の位置の変化量等に基づいて、立体物検知装置2Aから出力される立体物位置情報を、その時刻における自車両中央を原点とする座標系へと変換し、その変換結果を立体物位置情報記憶部10Aへ記憶する。その際の座標系の変換について、X-Y座標系の変換は、実施形態1にお
ける式(4)で示した変換と同様であるが、本実施形態2では、自車両の位置等の変化はX-Y平面(図示例では水平面)内の軸方向への移動とZ軸(鉛直軸)周りでの回転であ
るため、立体物検知装置2Aにより検出された立体物のZ方向の情報(高さ)は座標変換の前後で同じ値を保持するものとする。
このように、立体物位置推定部4Aは、過去に検知された立体物位置を、走行履歴演算部11Aから得られる情報に基づいて、その時刻における自車両中央を原点とする座標系へと変換し、その変換結果を立体物位置情報記憶部10Aへ記憶する。また、それと同時に、立体物位置推定部4Aは、立体物検知装置2Aから現時点での立体物位置情報を取得して立体物位置情報記憶部10Aへ追加して記憶する。
具体的には、立体物位置推定部4Aは、図12に示すように、まず、時刻t(n)において
、立体物検知装置2Aから出力される立体物位置情報を立体物位置情報記憶部10Aへ記憶する。例えば、図10及び図11に示したように、ステレオカメラ8Aで撮像された画像から求められた立体物の位置情報を、時刻t(n)における自車両中央を原点とする座標系X-Y-Zにおける位置及び高さの情報G1〜G3として(xg_1(t(n)),yg_1(t(n)),zg_1(t(n))), (xg_2(t(n)),yg_2(t(n)),zg_2(t(n))),
(xr_3(t(n)),yr_3(t(n)),zg_3(t(n)))の座標情報を記憶する。
次に、時刻がt(n)からt(n+1)に進んだときには、立体物位置推定部4Aは、立体物の位置情報G1〜G3を、上記した式(4)を用いて時刻t(n+1)における自車両中央を原点とする座標系X(n+1)-Y(n+1)-Z(n+1)での位置情報に変換して立体物位置情報記憶部10Aへ記憶する。
このような変換を逐次行い、時刻t(n+m)の時点では、時刻t(n)のときに検出した立体物の位置情報G1〜G3から時刻t(n+m)のときに検出した立体物の位置情報Gm1〜Gm3までを合わせて、3次元の座標情報を立体物位置情報記憶部10Aへ記憶する。
なお、立体物位置情報記憶部10Aは、過去の立体物位置情報を蓄積して記憶するが、記憶容量のオーバーフローを防ぐために、所定の時間以上経過した立体物位置情報や自車両からの距離が所定値以上となった立体物位置情報は、当該立体物位置情報記憶部10Aから逐次削除することが実用上有効である。
このように、立体物位置情報を時々刻々で認識し、過去の立体物位置情報を用いることで、自車両後方の立体物の位置を正確に推定することができる。
相対位置演算部5Aは、立体物位置情報記憶部10Aに記憶された自車両後方の立体物の位置に対して、後方物体検知装置1Aで検知された物体の相対位置を算出する。
具体的には、後方物体検知装置1Aが図13や図14に示すように左後方のターゲット車両VTを検知すると共に、自車両中央を原点とする座標系のX-Y面におけるターゲッ
ト車両VTの位置(P2,Q2)と自車両VSに対する相対速度を検知した場合、相対位置演
算部5Aは、立体物位置情報記憶部10Aに記憶された立体物位置情報から、自車両VSの進行方向(Y軸方向)で最も近い2点を選出する。図13では、立体物位置情報Gn1
、Gn2がY軸方向で最も近い点となっている。そして、相対位置演算部5Aは、立体物
の2つの代表点の位置Gn1、Gn2を結ぶ直線を求め、この直線のターゲット車両VTのY軸方向の位置に相当する場所におけるX方向の距離xg_npを求め、距離xg_npの値とターゲット車両VTのX軸方向の値P2との大小関係を算出し、その算出結果を判断部6Aへ送信する。
判断部6Aは、相対位置演算部5Aから送信された大小関係に基づいて、後方物体検知装置1Aで検知された物体が所定の領域(例えば、後方物体検知装置1Aによる検知結果の信頼性が低いと判断される領域、言い換えれば、後方物体検知装置1Aで検知された物体が立体物の影響によって誤検知された物体であると判断される領域)に存在するか否かを判断する。
具体的には、判断部6Aは、相対位置演算部5Aから送信された大小関係に基づいて、例えば図13に示すように、ターゲット車両VTが立体物の内側(自車両側)に存在するかあるいは外側(自車両側とは反対側)に存在するかを判断し、その立体物が電波レーダ7Aによるターゲット車両VTの検知結果に与える影響を判断して、その判断結果をコントロールユニット25Aへ送信する。例えば、立体物の2つの代表点の位置情報Gn1、
Gn2に含まれる高さが、電波レーダ7Aの取付け位置よりも高い場合、電波レーダ7A
から出力される電波はその立体物の2つの代表点を結んだ線より遠方には到達しないと考えられる。図13では、ターゲット車両VTのX軸方向の値P2がY軸から立体物までの距離xg_npよりも大きい例を示しているが、このような場合には、後方物体検知装置1Aに
よるターゲット車両VTの検知結果の信頼性が低いと判断される。
また、例えば、図14では、自車両VSの左後部に取り付けられた電波レーダ7aAによってターゲット車両VT'が検知され、自車両VSの右後部に取り付けられた電波レー
ダ7bAによってターゲット車両VTが検知され、立体物位置推定部4Aによって、立体物の3つの代表点の位置情報Gn1、Gn2、Gn3が得られる例を示している。このよう
な場合、電波レーダ7Aから放射される電波は、連続した形状を有する立体物によって反射されることが予想され、電波レーダ7bAによって検知されたターゲット車両VTは真の情報であるが、電波レーダ7aAによって検知されたターゲット車両VT'は、立体物
によって電波が反射されて誤ったターゲット車両(ターゲット車両VTのゴースト)を検知した情報である可能性が高いと推測される。そのため、このような場合にも、後方物体検知装置1Aによるターゲット車両VTの検知結果の信頼性が低いと判断される。
なお、図13及び図14に示す例では、立体物の位置情報を点の連続として示しているが、立体物が例えば道路に沿って連続して存在する場合には、直線または曲線として近似し、その情報を3次元の座標系X-Y-Zにおける立体物の位置情報として記憶してもよい
コントロールユニット25Aは、物体認識装置20A(の走行履歴演算装置3Aの判断部6A)から送信された情報に基づいて、自車両の走行等を制御する各種制御信号を生成する。
具体的には、コントロールユニット25Aは、判断部6Aにより後方物体検知装置1Aで検知された物体が所定の領域(例えば、後方物体検知装置1Aによる検知結果の信頼性が低いと判断される領域)に存在すると判断された場合、例えば上記した実施形態1における操舵制御(規制)や、自車両の車速制御、運転者に対する警告(警報や警告表示)の必要性が低いと判断して、それらを解除もしくは抑制する制御信号を生成する。
以上の車両走行制御装置50Aによる一連の処理の流れを図15を参照して説明すると
、まず、ステップS201では、物体認識装置20Aの立体物検知装置2Aにより、図10及び図11に基づき説明した手法により、自車両を原点とする3次元の座標系X-Y-Zにおける立体物位置を求める。
次に、ステップS202では、走行履歴演算装置3Aの立体物位置推定部4Aにより、ステップS201で求めた立体物位置を、自車両を原点とする座標系で立体物位置情報記憶部10Aに記憶しておく。
次に、ステップS203では、走行履歴演算部11Aにより、車両走行制御装置50Aを構成する操舵角センサ21A、ヨーレートセンサ22A、車輪速センサ23A、ナビゲーションシステム24Aなどから得られる情報に基づいて、Δt秒間の自車両の移動量を推定
する。このステップS203での処理は、図8のステップS103での処理と同様である。
次に、ステップS204では、立体物位置推定部4Aにより、上記した式(4)を用いて、過去に立体物検知装置2Aで検出した立体物位置情報を、現在の時刻における自車両を原点とする座標系へと変換し、自車両後方の立体物位置を推定して立体物位置情報記憶部10Aへ記憶する。
次に、ステップS205では、後方物体検知装置1Aにより、後側方を含む後方の物体(ターゲット車両等)を検知し、そのターゲット車両の位置座標(P,Q)等を求める。このス
テップS205での処理は、図8のステップS105での処理と同様である。
次に、ステップS206では、相対位置演算部5Aにより、ステップS204で記憶された立体物位置情報とステップS205で検知されたターゲット車両との相対位置を求める。より具体的には、上記したように、後方物体検知装置1Aがターゲット車両を検知すると共に、自車両を原点とする3次元座標系のX-Y面におけるターゲット車両の位置(P,Q)等を検知した場合、立体物位置情報記憶部10Aに記憶された立体物位置情報から、自車両の進行方向(Y軸方向)で最も近い2点の立体物位置情報を選出する。これらのY軸方向で最も近い2点の立体物の代表点の位置とターゲット車両とのX方向の距離を求めることで、立体物に対するターゲット車両の相対位置を推定できる。
次に、ステップS207では、自車両後方のターゲット車両が警報対象とすべき領域(車線
)に存在するか否かを判断する。通常は、ターゲット車両が自車両に対してどの位置に存在するかによって判断するが、実施形態1で説明したような車線位置情報が取得されている場合には、ターゲット車両がどの車線(自車両が走行する車線、右隣の車線、左隣の車線、または2車線以上離れた車線)を走行しているかを正確に判断できる。
ステップS207でターゲット車両が警報対象とすべき領域(車線)に存在すると判断されたときは、ステップS208において、ステップS206で求めた立体物に対するターゲット車両の相対位置の情報に基づいて、図13及び図14に基づき説明した手法によって、後方物体検知装置1Aで検知された車両が後方物体検知装置1Aによる検知結果の信頼性が低いと判断される領域に存在するか否か、言い換えれば、後方物体検知装置1Aで検知された車両が立体物の影響によって誤検知された車両であるか否かを判断する。
ステップS208で後方物体検知装置1Aで検知された車両が立体物の影響によって誤検知された車両でないと判断されたときは、ステップS209において、そのターゲット車両について、ターゲット車両の位置と速度(例えば、ターゲット車両が自車両に近づくか否か)との情報から実際に警報を出力すべきか否かを判断する。
そして、ステップS209で実際に警報を出力すべきと判断したときは、ステップS210において、コントロールユニット25Aにより制御信号を生成して警報を発生する。このステップS209、S210での処理は、図8のステップS108、S109での処理と同様である。
なお、これらの一連の処理は、ΔT秒経過する毎に繰り返される。
このように、本実施形態2によれば、ミリ波レーダ等の電波レーダ7Aを用いて自車両の斜め後方を含む後方に存在する物体を検知する車両において、自車両前方の環境を撮像するステレオカメラ8Aで撮像された複数の画像に基づいて、自車両前方における立体物を検知し、検知された立体物と自車両の走行履歴とに基づいて、自車両後方における立体物の位置を推定し、推定された立体物の位置に対する自車両後方に存在する物体の相対位置を算出することにより、自車両の斜め後方を含む後方に存在する物体の位置、特にその物体が位置する車線を精緻に認識することができる。
<実施形態3>
図16は、本発明に係る物体認識装置を用いた車両走行制御装置の実施形態3の構成を示す構成図である。
図16に示す実施形態3の車両走行制御装置50Bは、上記した実施形態1の車両走行制御装置50に対して、自車両後方の環境を撮像するカメラを用いて自車両後方の車線を検知する点が相違しており、その他の構成は実施形態1の車両走行制御装置50と同様である。したがって、以下では、実施形態1の車両走行制御装置50と異なる構成のみを詳述し、実施形態1と同様の構成には同様の符号を付してその詳細な説明は省略する。
図示するように、車両走行制御装置50Bの物体認識装置20Bは、実施形態1の車両走行制御装置50と同様、後方物体検知装置1Bと車線検知装置2Bと走行履歴演算装置3Bとを有するが、この実施形態3では、車線検知装置2Bにおけるカメラ(撮像部)8Bが、自車両の後方に向けて取り付けられている(図18参照)。
車線検知装置2Bは、自車両後方における車線(車両が走行するレーン)を検知するためのものであり、例えば自車両の後部に配置されて自車両後方の環境を撮像するカメラ(
後方カメラ)(撮像部)8Bと、カメラ8Bで撮像された画像に基づいて自車両後方にお
ける車線を検知する車線検知部9Bと、で構成されている。
カメラ8Bは、例えばCMOSカメラから構成され、自車両の後方かつ斜め下方に向いた光軸を有するように自車両に取付けられ、図17に示すように、自車両後方の約十mの範囲に亘って道路等を含む周囲の環境を撮像し、撮像された画像を車線検知部9Bへ送信する
。なお、ここでは、カメラ8Bの検知領域(撮像領域)Acが、後方物体検知装置1Bを構成する電波レーダ7B(7aB、7bB)の検知領域Aa、Abよりも小さく、より詳細には、電波レーダ7B(7aB、7bB)の自車両後方への検知領域Aa、Abが、カメラ8Bの自車両後方への検知領域(撮像領域)Acよりも大きく、電波レーダ7B(7aB、7bB)によって、カメラ8Bよりも自車両からより後方(特に、後側方)に存在する物体を検知できるものとする(図18参照)。
車線検知部9Bは、カメラ8Bで撮像された画像に基づいて例えば2値化処理や特徴点抽出処理を行うことにより、その画像から道路上の道路区画線(白線や黄線、破線、ボッツドッツ等)に該当すると推測される画素(道路区画線候補点)を選出し、選出した道路区画線候補点のうち連続的に並んだものを、車線を構成する道路区画線であると認識してその位置を求め、その位置に関する情報を走行履歴演算装置3Bの車線位置推定部4Bへ送信する。図17では、カメラ8Bで撮像された画像における右側(車両の進行方向に視て右側)の道路区画線の位置を手前からRc1、Rc2、左側(車両の進行方向に視て左側)の道路区画線の位置を手前からLc1、Lc2で示し、図18では、図17に示すこれらの道路区画線の位置について、自車両の中央を原点とする上方から見た座標系X-Y
における位置をRc1:(xcr_1,ycr_1), Rc2:(xcr_2,ycr_2), Lc1:(xcl_1,ycl_1), Lc2:(xcl_2,ycl_2)でそれぞれ示している。なお、図17及び図18では、道路区画線の位置
を右側と左側のそれぞれについて2点求めた例を示しているが、1点または3点以上求める場合や、直線や曲線で近似する場合も同様である。
また、道路区画線あるいはその道路区画線により画定される車線を認識する手法は種々の手法が開発されており、例えば、路肩や中央分離帯をパターンマッチング等の手法により抽出する手法を加味することも可能である。また、車線検知装置2Bは、例えば車線維持支援装置(レーンキープアシストともいう)や車線逸脱警報装置(レーンデパーチャーワーニングともいう)等に用いられる車線検知用の各種装置と共用してもよいことは勿論である。
走行履歴演算装置3Bの走行履歴演算部11Bは、実施形態1における図4に基づき説明したのと同様の計算により、時刻t(n)における自車両中央を原点とする座標系X(n)-Y
(n)から時刻t(n+1)における自車両を原点とする座標系X(n+1)-Y(n+1)を算出し、Δt=(
t (n+1)-t(n))の間の自車両VSの位置の変化量(Δx、Δy)を算出する。また、自車両V
Sの方向の変化についても、実施形態1における式(2)等で説明した手順と同様の手順の計算で求め、それらの算出結果を立体物位置推定部4Bへ送信する。
車線位置推定部4Bは、実施形態1における図4に基づき説明したのと同様の計算により、過去に検知された車線位置を、走行履歴演算部11Bから得られる情報に基づいて、その時刻における自車両中央を原点とする座標系へと変換し、その変換結果を車線位置情報記憶部10Bへ記憶する。また、それと同時に、車線位置推定部4Bは、車線検知装置2Bから現時点での車線位置情報を取得して車線位置情報記憶部10Bへ追加して記憶する。
具体的には、車線位置推定部4Bは、図19に示すように、まず、時刻t(n)において、車線検知装置2Bから出力される車線位置情報を車線位置情報記憶部10Bへ記憶する。例えば、図17及び図18に示したように、カメラ8Bで撮像された画像から求められた右側の道路区画線の位置(すなわち車線情報)を、時刻t(n)における自車両中央を原点とする座標系X-Yにおける位置Rc1、Rc2として(xcr_1(t(n)),ycr_1(t(n))),(xcr_2(t(n)),ycr_2(t(n)))の座標情報を記憶する。同様に
、図19では記載していないが、カメラ8Bで撮像された画像から求められた左側の道路区画線の位置(すなわち車線情報)を、自車両中央を原点とする座標系X-Yにおける位
置Lc1、Lc2として(xcl_1(t(n)), ycl_1(t(n))),(xcl_2(t(n)),ycl_2(t(n)))の座標情報を記憶する。
次に、時刻がt(n)からt(n+1)に進んだときには、車線位置推定部4Bは、右側の道路区画線の位置Rc1、Rc2および左側の道路区画線の位置Lc1、Lc2を、上記した式(4)を用いて時刻t(n+1)における自車両中央を原点とする座標系X(n+1)-Y(n+1)での
位置情報に変換して車線位置情報記憶部10Bへ記憶する。
このような変換を逐次行い、時刻t(n+m)の時点では、時刻t(n)のときに検出した右側の道路区画線の位置Rc1、Rc2から時刻t(n+m)のときに検出した右側の道路区画線の位置Rcm1、Rcm2までを合わせて、その座標情報を車線位置情報として車線位置情報記憶部10Bへ記憶する(図19参照)。同様に、左側の道路区画線についても、時刻t(n)から時刻t(n+m)までに車線検知装置2Bにより検出された道路区画線の位置情報を車線位置情報として車線位置情報記憶部10Bへ記憶する。
なお、車線位置情報記憶部10Bは、過去の車線位置情報を蓄積して記憶するが、記憶容量のオーバーフローを防ぐために、所定の時間以上経過した車線位置情報や自車両からの距離が所定値以上となった車線位置情報は、当該車線位置情報記憶部10Bから逐次削除することが実用上有効である。
このように、車線位置情報を時々刻々で認識し、過去の車線位置情報を用いることで、自車両後方の車線位置(カメラ8Bの検知領域(撮像領域)Acよりも後方の車線位置)を正確に推定することができる。
相対位置演算部5B、及び、判断部6Bは、実施形態1における図4から図7に基づき説明したのと同様の計算により、例えば、後方のターゲット車両VTが自車両VSが走行する車線に対して右側の隣接車線に存在するか(図6参照)、又は、ターゲット車両VT
が自車両VSが走行する車線と同じ車線内の後方に存在するか(図7参照)を判定する。
コントロールユニット25Bについても、実施形態1に基づき説明したのと同様の計算により、物体認識装置20B(の走行履歴演算装置3Bの判断部6B)から送信された情報に基づいて、自車両の走行等を制御する各種制御信号を生成することができる。
なお、実施形態3の車両走行制御装置50Bによる一連の処理の流れは、実施形態1の車両制御装置50による一連の処理の流れとほぼ同様であるため、その詳細な説明は省略する。
このように、本実施形態3では、例えばカメラ8Bよりも自車両後方への検知範囲の大きいミリ波レーダ等の電波レーダ7Bを用いて自車両の斜め後方を含む後方に存在する物体を検知する車両において、自車両後方の環境を撮像するカメラ8Bで撮像された画像に基づいて、自車両後方における車線を検知し、検知された車線と自車両の走行履歴とに基づいて、自車両後方(特に、カメラ8Bの検知領域(撮像領域)Acよりも後方)における車線の位置を推定し、推定された車線の位置に対する自車両後方に存在する物体の相対位置を算出することにより、カーブ走行時や車線変更時においても、自車両の斜め後方を含む後方に存在する物体の位置、特にその物体が位置する車線を精緻に且つ迅速に認識することができる。
なお、上記では、実施形態1と実施形態2と実施形態3を別個に説明したが、それらのうちのいずれかを組み合わせて使用し、自車両前方または後方の環境を撮像するカメラで撮像された画像に基づいて、自車両前方または後方における車線及び立体物を検知し、検知された車線及び立体物と自車両の走行履歴とに基づいて、自車両後方における車線及び立体物の位置を推定し、推定された車線及び立体物の位置に対する自車両後方に存在する物体の相対位置を算出することで、自車両の斜め後方を含む後方に存在する物体の位置、特にその物体が位置する車線をより精緻に認識することができる。
また、上記した実施形態1〜3では、車輪速センサを使用して自車両の速度情報を取得する形態について説明したが、車輪速センサ以外の手段もしくは装置により自車両の速度情報を取得してもよいことは勿論である。
また、上記した実施形態2では、複数のカメラからなるステレオカメラを用いて立体物を検知する形態について説明したが、単眼カメラを利用して立体物を検知してもよい。
さらに、上記した実施形態3では、単眼カメラを後方に向けて取り付けて自車両後方の車線を検知する形態について説明したが、複数のカメラからなるステレオカメラを後方に向けて取り付けて自車両後方の車線または立体物を検知し、その検知結果に基づいて自車両後方(特に、ステレオカメラの検知領域(撮像領域)よりも後方)における車線の位置または立体物の位置を推定してもよい。
なお、本発明は上記した実施形態1〜3に限定されるものではなく、様々な変形形態が含まれる。例えば、上記した実施形態1〜3は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また
、実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
1、1A、1B… 後方物体検知装置
2、2B … 車線検知装置
2A… 立体物検知装置
3、3A、3B… 走行履歴演算装置
4、4B … 車線位置推定部
4A… 立体物位置推定部
5、5A、5B… 相対位置演算部
6、6A、6B… 判断部
7、7A、7B… 電波レーダ(後方物体検知部)
8 … 前方カメラ(撮像部)
8A… ステレオカメラ(撮像部)
8B… 後方カメラ(撮像部)
9、9B … 車線検知部
9A… 立体物検知部
10、10B… 車線位置情報記憶部
10A… 立体物位置情報記憶部
11、11A、11B… 走行履歴演算部
20、20A、20B… 物体認識装置
21、21A、21B… 操舵角センサ
22、22A、22B… ヨーレートセンサ
23、23A、23B… 車輪速センサ
24、24A、24B… ナビゲーションシステム
25、25A、25B… コントロールユニット
GR… ガードレール
VP… 先行車両
VS… 自車両
VT… ターゲット車両

Claims (10)

  1. 自車両後方に存在する物体の位置を認識する物体認識装置であって、
    自車両後方の環境を撮像する撮像部と、
    前記撮像部で撮像された画像に基づいて、自車両後方における車線を検知する車線検知部と、
    前記車線検知部で検知された車線と自車両の走行履歴とに基づいて、前記撮像部の撮像領域よりも後方における車線の位置を推定する車線位置推定部と、
    自車両後方に存在する物体を検知するとともに、その自車両後方への検知領域が前記撮像部の自車両後方への撮像領域よりも大きい後方物体検知部と、
    前記車線位置推定部で推定された車線の位置に対する前記後方物体検知部で検知された物体の相対位置を算出する相対位置演算部と、を備えることを特徴とする物体認識装置。
  2. 前記撮像部は、単眼カメラで構成され、前記後方物体検知部は、電波レーダで構成されることを特徴とする、請求項に記載の物体認識装置。
  3. 前記物体認識装置は、前記相対位置演算部で算出された物体の相対位置に基づいて、前記物体が所定の車線に存在するか否かを判断する判断部を更に備えることを特徴とする、請求項1に記載の物体認識装置。
  4. 請求項3に記載の物体認識装置により認識された物体の位置に基づいて、自車両の走行を制御することを特徴とする車両走行制御装置。
  5. 前記判断部により前記物体が所定の車線に存在すると判断した際に警告を発生するようになっていることを特徴とする、請求項4に記載の車両走行制御装置。
  6. 自車両後方に存在する物体の位置を認識する物体認識装置であって、
    自車両後方の環境を撮像する撮像部と、
    前記撮像部で撮像された画像に基づいて、自車両後方における静止立体物を検知する立体物検知部と、
    前記立体物検知部で検知された静止立体物と自車両の走行履歴とに基づいて、前記撮像部の撮像領域よりも後方における静止立体物の位置を推定する立体物位置推定部と、
    自車両後方に存在する物体を検知するとともに、その自車両後方への検知領域が前記撮像部の自車両後方への撮像領域よりも大きい後方物体検知部と、
    前記立体物位置推定部で推定された静止立体物の位置に対する前記後方物体検知部で検知された物体の相対位置を算出する相対位置演算部と、を備えることを特徴とする物体認識装置。
  7. 前記撮像部は、複数のカメラで構成され、前記後方物体検知部は、電波レーダで構成されることを特徴とする、請求項に記載の物体認識装置。
  8. 前記物体認識装置は、前記相対位置演算部で算出された物体の相対位置に基づいて、前記物体が所定の領域に存在するか否かを判断する判断部を更に備えることを特徴とする、請求項6に記載の物体認識装置。
  9. 請求項8に記載の物体認識装置により認識された物体の位置に基づいて、自車両の走行を制御することを特徴とする車両走行制御装置。
  10. 前記判断部により前記物体が所定の領域に存在すると判断した際に警告を発生するようになっていることを特徴とする、請求項9に記載の車両走行制御装置。
JP2016529224A 2014-06-19 2015-06-03 物体認識装置及びそれを用いた車両走行制御装置 Active JP6404922B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014126634 2014-06-19
JP2014126634 2014-06-19
PCT/JP2015/065967 WO2015194371A1 (ja) 2014-06-19 2015-06-03 物体認識装置及びそれを用いた車両走行制御装置

Publications (2)

Publication Number Publication Date
JPWO2015194371A1 JPWO2015194371A1 (ja) 2017-04-20
JP6404922B2 true JP6404922B2 (ja) 2018-10-17

Family

ID=54935361

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016529224A Active JP6404922B2 (ja) 2014-06-19 2015-06-03 物体認識装置及びそれを用いた車両走行制御装置

Country Status (5)

Country Link
US (1) US9934690B2 (ja)
EP (1) EP3159866B1 (ja)
JP (1) JP6404922B2 (ja)
CN (1) CN106463064B (ja)
WO (1) WO2015194371A1 (ja)

Families Citing this family (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015209186A1 (de) * 2015-05-20 2016-12-08 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Ermittlung einer Beschreibung eines Fahrstreifens
JP6361666B2 (ja) * 2016-01-26 2018-07-25 トヨタ自動車株式会社 車両用衝突回避支援システム
JP6602683B2 (ja) * 2016-02-05 2019-11-06 株式会社東芝 充電装置および位置ずれ検出方法
US10318829B2 (en) * 2016-03-17 2019-06-11 Nec Corporation Passenger counting device, system, method and program, and vehicle movement amount calculation device, method and program
US20170309181A1 (en) * 2016-04-26 2017-10-26 Hyundai Motor Company Apparatus for recognizing following vehicle and method thereof
JP6838285B2 (ja) * 2016-04-28 2021-03-03 日立Astemo株式会社 レーンマーカ認識装置、自車両位置推定装置
EP3486133B1 (en) * 2016-07-12 2023-05-10 Nissan Motor Co., Ltd. Travel control method and travel control device
CN108528433B (zh) * 2017-03-02 2020-08-25 比亚迪股份有限公司 车辆行驶自动控制方法和装置
CN108528449B (zh) * 2017-03-02 2020-02-21 比亚迪股份有限公司 车辆行驶自动控制方法和装置
CN108528450B (zh) * 2017-03-02 2020-06-19 比亚迪股份有限公司 车辆行驶自动控制方法和装置
CN108528432B (zh) * 2017-03-02 2020-11-06 比亚迪股份有限公司 车辆行驶自动控制方法和装置
CN106991389B (zh) * 2017-03-29 2021-04-27 蔚来(安徽)控股有限公司 确定道路边沿的装置和方法
EP3618027B1 (en) * 2017-05-17 2021-06-23 Mitsubishi Electric Corporation Object identification device, road-side device and object identification method
JP6272592B1 (ja) * 2017-05-22 2018-01-31 三菱電機株式会社 位置推定装置、位置推定方法及び位置推定プログラム
JP6820075B2 (ja) * 2017-07-25 2021-01-27 日本電気株式会社 乗員数検知システム、乗員数検知方法、およびプログラム
KR20190012370A (ko) * 2017-07-27 2019-02-11 삼성에스디에스 주식회사 차선 변경 지원 방법 및 장치
BR112020002623A2 (pt) * 2017-08-10 2020-07-28 Nissan Motor Co., Ltd. método de gerenciamento de informação de faixa de tráfego, método de controle de deslocamento e dispositivo de gerenciamento de informação de faixa de tráfego
JP6666883B2 (ja) * 2017-09-01 2020-03-18 株式会社Subaru 走行支援装置
JP6592852B2 (ja) * 2017-09-07 2019-10-23 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム
JP6930394B2 (ja) * 2017-11-24 2021-09-01 トヨタ自動車株式会社 物体認識装置
US11429108B2 (en) * 2018-02-27 2022-08-30 Hitachi Astemo, Ltd. Noise-cancelling learning device and vehicle provided with same
JP2019159380A (ja) * 2018-03-07 2019-09-19 株式会社デンソー 物体検知装置、物体検知方法およびプログラム
WO2020026633A1 (ja) * 2018-08-02 2020-02-06 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
CN109177876A (zh) * 2018-08-13 2019-01-11 吉利汽车研究院(宁波)有限公司 一种移动物体检测报警系统及方法
JP7136035B2 (ja) * 2018-08-31 2022-09-13 株式会社デンソー 地図生成装置及び地図生成方法
JP7230373B2 (ja) * 2018-09-04 2023-03-01 いすゞ自動車株式会社 車線特定装置及び車線特定方法
JP7020353B2 (ja) * 2018-09-21 2022-02-16 トヨタ自動車株式会社 物体検出装置
JP7234354B2 (ja) 2018-09-30 2023-03-07 グレート ウォール モーター カンパニー リミテッド 走行座標系の構築方法及びその使用
JP7087911B2 (ja) * 2018-10-24 2022-06-21 マツダ株式会社 障害物認識装置
DE102018220803A1 (de) * 2018-12-03 2020-06-04 Robert Bosch Gmbh Spurgenaue Lokalisierung von Fahrzeugen
US10703365B1 (en) 2018-12-26 2020-07-07 Automotive Research & Testing Center Lane tracking method and lane tracking system for an autonomous vehicle
JP7169873B2 (ja) * 2018-12-27 2022-11-11 株式会社デンソー 運転支援装置
KR20200113915A (ko) * 2019-03-27 2020-10-07 주식회사 만도 차량 제어 장치 및 방법
JP2020203546A (ja) * 2019-06-14 2020-12-24 株式会社シマノ 検出装置、検出方法、生成方法、コンピュータプログラム、および記憶媒体
US11514594B2 (en) 2019-10-30 2022-11-29 Vergence Automation, Inc. Composite imaging systems using a focal plane array with in-pixel analog storage elements
KR20210054944A (ko) * 2019-11-06 2021-05-14 현대자동차주식회사 차량용 레이더센서의 오차 보정 장치 및 그 방법
JP7277349B2 (ja) * 2019-12-12 2023-05-18 日立Astemo株式会社 運転支援装置、および、運転支援システム
CN113359147B (zh) * 2020-03-06 2023-08-18 宇通客车股份有限公司 一种车辆及目标物运动状态的判断方法和装置
JP2022011941A (ja) * 2020-06-30 2022-01-17 ダイハツ工業株式会社 運転支援装置
US11679768B2 (en) 2020-10-19 2023-06-20 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for vehicle lane estimation
JPWO2022254788A1 (ja) * 2021-06-04 2022-12-08
WO2023276616A1 (ja) * 2021-07-02 2023-01-05 株式会社デンソー 運転支援装置
JP7298063B1 (ja) * 2022-11-15 2023-06-27 Pciソリューションズ株式会社 機械学習認識システム

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6123985A (ja) * 1984-07-13 1986-02-01 Nissan Motor Co Ltd 車間距離検出装置
US6618672B2 (en) * 1998-10-21 2003-09-09 Yazaki Corporation Vehicle-applied rear-and-side monitoring system
DE19921449C1 (de) 1999-05-08 2001-01-25 Daimler Chrysler Ag Leithilfe bei einem Fahrspurwechsel eines Kraftfahrzeuges
JP2001357497A (ja) 2000-06-13 2001-12-26 Mitsubishi Motors Corp 後方車両監視装置
JP3885716B2 (ja) * 2002-11-21 2007-02-28 日産自動車株式会社 車両用推奨操作量生成装置
JP4578795B2 (ja) * 2003-03-26 2010-11-10 富士通テン株式会社 車両制御装置、車両制御方法および車両制御プログラム
JP4661602B2 (ja) 2006-01-13 2011-03-30 トヨタ自動車株式会社 後方車両解析装置及び衝突予測装置
KR101075615B1 (ko) * 2006-07-06 2011-10-21 포항공과대학교 산학협력단 주행 차량의 운전자 보조 정보 생성 장치 및 방법
JP4420011B2 (ja) * 2006-11-16 2010-02-24 株式会社日立製作所 物体検知装置
JP2009143433A (ja) * 2007-12-14 2009-07-02 Toyota Motor Corp 車両挙動制御装置
KR101071732B1 (ko) * 2007-12-17 2011-10-11 현대자동차주식회사 차량 주행속도 제어 장치 및 그 방법
JP5359516B2 (ja) * 2008-07-29 2013-12-04 日産自動車株式会社 車両運転支援装置及び車両運転支援方法
JP5493342B2 (ja) 2008-12-01 2014-05-14 トヨタ自動車株式会社 物体位置検出装置
JP4992959B2 (ja) * 2009-11-30 2012-08-08 株式会社デンソー 衝突回避支援装置、および衝突回避支援プログラム
JP4990424B2 (ja) * 2010-04-15 2012-08-01 三菱電機株式会社 走行支援装置
JP2012226392A (ja) * 2011-04-14 2012-11-15 Honda Elesys Co Ltd 運転支援システム
JPWO2012147187A1 (ja) * 2011-04-27 2014-07-28 トヨタ自動車株式会社 周辺車両検出装置
US9469297B2 (en) 2011-12-28 2016-10-18 Toyota Jidosha Kabushiki Kaisha Driving assistance apparatus for vehicle
JP5743286B2 (ja) * 2012-12-28 2015-07-01 富士重工業株式会社 車両の運転支援装置
US9026356B2 (en) * 2013-02-22 2015-05-05 Nissan North America, Inc. Vehicle navigation system and method
JP6188471B2 (ja) * 2013-07-26 2017-08-30 アルパイン株式会社 車両後側方警報装置、車両後側方警報方法および立体物検出装置

Also Published As

Publication number Publication date
JPWO2015194371A1 (ja) 2017-04-20
CN106463064A (zh) 2017-02-22
EP3159866A4 (en) 2018-02-21
EP3159866A1 (en) 2017-04-26
WO2015194371A1 (ja) 2015-12-23
CN106463064B (zh) 2020-06-26
US9934690B2 (en) 2018-04-03
US20170053533A1 (en) 2017-02-23
EP3159866B1 (en) 2022-04-13

Similar Documents

Publication Publication Date Title
JP6404922B2 (ja) 物体認識装置及びそれを用いた車両走行制御装置
EP3361721B1 (en) Display assistance device and display assistance method
JP4420011B2 (ja) 物体検知装置
JP6344638B2 (ja) 物体検出装置、移動体機器制御システム及び物体検出用プログラム
JP5441549B2 (ja) 道路形状認識装置
JP6787157B2 (ja) 車両制御装置
TW201704067A (zh) 防撞方法、實現該防撞方法之電腦程式產品及防撞系統
US11024051B2 (en) Object detection device
JP6450294B2 (ja) 物体検出装置、物体検出方法、及びプログラム
JP2007300181A (ja) 周辺認識装置、周辺認識方法、プログラム
JP2007280132A (ja) 走行誘導障害物検出装置および車両用制御装置
JP2007309799A (ja) 車載測距装置
JP2019067116A (ja) 立体物接地判定装置
JP2001195698A (ja) 歩行者検知装置
JP6204782B2 (ja) オフロードダンプトラック
JP2017067535A (ja) 周辺認識装置
JP6465919B2 (ja) 障害物検知システム
JP5832850B2 (ja) 車線監視システム及び車線監視方法
JP4231883B2 (ja) 画像処理装置及びその方法
JP6295868B2 (ja) 車両用表示装置
JP6287683B2 (ja) 道路曲率検出装置
JP4629638B2 (ja) 車両の周辺監視装置
JP7083768B2 (ja) 認識装置、車両制御装置、認識方法、およびプログラム
JP6604052B2 (ja) 走路境界推定装置及び走路境界推定方法
JP2021117848A (ja) 物体検出装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161014

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170801

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170828

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180330

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180828

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180913

R150 Certificate of patent or registration of utility model

Ref document number: 6404922

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350