JP6658868B2 - 走路検出方法及び走路検出装置 - Google Patents

走路検出方法及び走路検出装置 Download PDF

Info

Publication number
JP6658868B2
JP6658868B2 JP2018506708A JP2018506708A JP6658868B2 JP 6658868 B2 JP6658868 B2 JP 6658868B2 JP 2018506708 A JP2018506708 A JP 2018506708A JP 2018506708 A JP2018506708 A JP 2018506708A JP 6658868 B2 JP6658868 B2 JP 6658868B2
Authority
JP
Japan
Prior art keywords
lane
vehicle
lane change
feature points
runway
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018506708A
Other languages
English (en)
Other versions
JPWO2017163368A1 (ja
Inventor
千加夫 土谷
千加夫 土谷
泰仁 佐野
泰仁 佐野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Publication of JPWO2017163368A1 publication Critical patent/JPWO2017163368A1/ja
Application granted granted Critical
Publication of JP6658868B2 publication Critical patent/JP6658868B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/10Path keeping
    • B60W30/12Lane keeping
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/167Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18Propelling the vehicle
    • B60W30/18009Propelling the vehicle related to particular drive situations
    • B60W30/18163Lane change; Overtaking manoeuvres
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Description

本発明は、走路検出方法及び走路検出装置に関するものである。
従来から、路面の画像から走行レーンを検出する装置が知られている(特許文献1)。特許文献1では、先ず、路面座標に逆投影された複数のエッジ点に対して、水平方向のエッジヒストグラムを作成する。そして、エッジヒストグラムのピーク位置を求め、ピーク位置に寄与するエッジ群を1つのグループとして抽出することで、レーンマーカーを検出する。
特開2005−100000号公報
しかし、車両が車線変更を行った場合には、車両に対するレーンマーカーの位置が、車線変更前に対して、車線変更以降で車両の横移動量だけ、ずれてしまう。このため、同じレーンマーカーに属するエッジ群を正しく抽出できなくなる。
本発明は、上記課題に鑑みて成されたものであり、その目的は、車線変更に伴う車両と走路特徴点間の距離の変化の影響を受けずに走路を検出できる走路検出方法及び走路検出装置を提供することである。
本発明の一態様は、車両に搭載された物標検出センサで検出された複数の走路特徴点に基づいて走路境界を検出する走路検出方法であって、車両の車線変更を検出した場合には、車線変更が開始する前に検出して蓄積された複数の走路特徴点を、車線変更による車両の車幅方向の移動量に基づいて補正し、補正された車線変更が開始する前に検出して蓄積された複数の走路特徴点、及び車線変更が完了した後に検出して蓄積された複数の走路特徴点を使って、車両の車線変更が完了した後に、走路境界を検出する。
本発明の一態様によれば、車線変更に伴う車両と走路特徴点間の距離の変化の影響を受けずに走路を検出することができる。
図1は、第1実施形態に係わる走路検出装置1の構成を示すブロック図である。 図2は、図1に示した走路検出装置1を用いた走路検出方法の一例を示すフローチャートである。 図3Aは、車両51が緩やかな右カーブの2車線道路のうち左側の車線を走行している様子を示す俯瞰図である。 図3B(a)は、図3Aの第一の周辺地図から生成される第二の周辺地図の一例を示す俯瞰図であり、図3B(b)は、図3B(a)の第二の周辺地図から生成されるヒストグラムの一例を示すグラフである。 図4Aは、緩やかな右カーブの2車線道路において、車両51が走行する車線を、右側の車線から左側の車線へ変更する、いわゆる、車線変更を行っている様子を示す俯瞰図である。 図4Bは、図4Aの第一の周辺地図から生成される第二の周辺地図の一例を示す俯瞰図である。 図4C(a)は、図4Bの第二の周辺地図から、車線変更完了時刻(Tc)以前に検出された走路特徴点FPを削除した第三の地図を示し、図4C(b)は、第三の地図から生成されるヒストグラムの一例を示すグラフである。 図5は、第2実施形態に係わる走路検出装置1を用いた走路検出方法の一例を示すフローチャートである。 図6Aは、図4Aの第一の周辺地図から生成される第二の周辺地図の一例を示す俯瞰図である。 図6B(a)は、図6Aの第二の周辺地図から、車線変更が開始する前に検出された走路特徴点FPのy座標に含まれる車線変更量(OF)をオフセットした第三の地図を示し、図6B(b)は、第三の地図から生成されるヒストグラムの一例を示すグラフである。
(第1実施形態)
次に、図面を参照して、実施形態を詳細に説明する。
図1を参照して、第1実施形態に係わる走路検出装置1の全体構成を説明する。走路検出装置1は、車両に搭載されたセンサが検出した路面上の走路特徴点から、車両が走行する走路の境界を検出する。走路検出装置1は、車両に搭載された物標検出センサ11と、車両の移動速度及び車両のヨーレイトに基づいて車両の移動量を検出する移動量検出センサ10と、物標検出センサ11が検出した複数の走路特徴点及び移動量検出センサ10が検出した車両の移動量に基づいて、走路境界を検出する走路検出回路12とを備える。
物標検出センサ11は、車両周囲の路面に標示された白線(レーンマーカーを含む)を検出する。物標検出センサ11は、車両に取り付けられたカメラ34と、カメラ34が撮像したデジタル画像から白線を含む路面標示を検出する画像処理回路35とを備える。検出された路面標示は、その位置を示す複数の走路特徴点からなる特徴点群として表現される。画像処理回路35は、走路特徴点として、例えば、画像の明るさが鋭敏に或いは不連続に変化している箇所(輝度エッジ)を検出すればよい。カメラ34は、その撮像方向を車両前方に向けて車両に固定され、広い画角を撮像できる広角レンズを備えている。よって、カメラ34は、車両が車線変更を行っている途中で、車両が跨ぐ白線(レーンマーカー)も検出することができる。
移動量検出センサ10は、車輪速センサ31と、ヨーレイトセンサ32と、移動量検出回路33とを備える。車輪速センサ31は車両が備える車輪の回転速度を検出する。ヨーレイトセンサ32は、車両のヨーレイトを検出する。移動量検出回路33は、車輪の回転速度及び車両のヨーレイトから、所定時間における車両の移動量を検出する。車両の移動量は、例えば、車両の移動方向及び移動距離を含む。
走路検出回路12は、CPU(中央処理装置)、メモリ、及び入出力部を備えるマイクロコンピュータを用いて実現可能である。マイクロコンピュータを走路検出回路12として機能させるためのコンピュータプログラム(走路検出プログラム)を、マイクロコンピュータにインストールして実行する。これにより、マイクロコンピュータは、走路検出回路12として機能する。なお、ここでは、ソフトウェアによって走路検出回路12を実現する例を示すが、もちろん、以下に示す各情報処理を実行するための専用のハードウェアを用意して、走路検出回路12を構成することも可能である。また、走路検出回路12に含まれる複数の回路(21、24、25)を個別のハードウェアにより構成してもよい。更に、走路検出回路12のみならず、画像処理回路35及び移動量検出回路33の各々も、同様にして、ソフトウェア或いは専用のハードウェアとして実現可能である。更に、走路検出回路12は、車両にかかわる他の制御に用いる電子制御ユニット(ECU)と兼用してもよい。
走路検出回路12は、周辺地図生成回路21と、車線変更検出回路25と、走路境界推定回路24とを含む。周辺地図生成回路21は、車両に搭載された物標検出センサ11で検出された複数の走路特徴点を、車両の移動量に基づいて蓄積する。具体的に、周辺地図生成回路21は、物標検出センサ11で検出された特徴点群の履歴を、特徴点群を検出した時刻間の車両の移動量に基づいてつなぎ合わせた、特徴点群からなる車両周囲の地図(第一の周辺地図)を生成する。換言すれば、周辺地図生成回路21は、異なる時刻に観測された走路特徴点を、車両の移動量を考慮してつなぎ合わせる。これにより、走路特徴点の検出履歴を蓄積して、第一の周辺地図を生成する。
具体的に、カメラ34は、所定時間毎に車両周囲の路面を撮像する。移動量検出センサ10は、この所定時間における車両の移動方向及び移動距離を検出する。周辺地図生成回路21は、走路特徴点の位置を車両の移動方向の逆方向へ車両の移動距離だけ移動させる。周辺地図生成回路21は、これを繰り返しながら、異なる時刻に観測された複数の走路特徴点を車両の移動量を考慮して、つなぎ合わせることにより、複数の走路特徴点の検出履歴を蓄積して第一の周辺地図を生成する。
車線変更検出回路25は、カメラ34が撮像する車両前方の路面の画像から、車線変更を検出する。具体的には、カメラ34の撮像方向は車両に対して固定されているため、画像上のレーンマーカーの位置から、車両がレーンマーカーを跨ぐか否かを判断することができる。車線変更検出回路25は、車両がレーンマーカーを跨ぐと判断した場合、車線変更を検出する。現に跨いでいる状態において車線変更を検出してもよいし、跨ぐことは予想された時点で車線変更を検出してもよい。もちろん、車線変更検出回路25は、カメラ34の画像のみならず、その他の情報に基づいて車線変更を判断してもよい。例えば、地図上の車両の位置と方向指示器の動作状態との組合せや、操舵角或いは転舵角と方向指示器の動作状態との組合せから、車線変更を判断してもよい。更に、後述するように、第二の周辺地図における走路特徴点FPの連続性から判断してもよい。
図3Aに示すように、車両51が緩やかな右カーブの2車線道路のうち左側の車線を走行している。図3Aには、この2車線道路を定義する3つの走路境界(SKa、SKb、SKc)を示している。周辺地図生成回路21が生成する第一の周辺地図は、3つの走路境界(SKa、SKb、SKc)に沿って検出された特徴点群(図示せず)を含む。なお、実施形態において、車両51の位置を原点とし、車両51の進行方向をx軸、車両51の車幅方向をy軸とする平面座標を用いる。
走路境界推定回路24は、蓄積された複数の走路特徴点、即ち第一の周辺地図に基づいて走路境界を検出する。具体的に、先ず、第一の周辺地図に含まれる複数の走路特徴点の連続性を判定する。そして、走路境界推定回路24は、走路特徴点間の連続性に基づいて、走路境界を検出する。以下、走路境界推定回路24の処理動作を詳細に説明する。
走路境界推定回路24は、複数の走路特徴点の連続性を、車幅方向(y軸方向)の座標の度数により判定する。例えば、走路境界推定回路24は、車両51の位置を原点とし、車両51の車幅方向をy軸とし、y軸に直交する軸を時間軸(t軸)とし、車両51の移動量を考慮せず、第二の周辺地図を作成する。走路境界推定回路24は、図3B(a)に示すように、図3Aに示す第一の周辺地図に含まれる複数の走路特徴点FPを、その検出時刻(t)及び車幅方向の位置(y座標)に基づいて第二の周辺地図上にプロットする。
図3Aに示すように走路に沿って車両51が走行していれば、図3B(a)の第二の周辺地図に示すように、時間軸(t軸)に対して、車両51の移動量を考慮していないので、走路特徴点FPの車幅方向の位置(y座標)はほぼ一定である。このため、道路形状(緩やかな右カーブ)に係わらず、走路特徴点FPはt軸に平行な直線に沿ったプロットとなる。
走路境界推定回路24は、第二の周辺地図上の走路特徴点FPを、図3B(b)に示すように、y軸に沿った一次元のヒストグラムに投票する。走路境界推定回路24は、ヒストグラムから複数の走路特徴点の連続性を判定することができる。
走路境界推定回路24は、ヒストグラムのピーク(y座標)を検出し、ピーク毎に第二の周辺地図上の走路特徴点FPをグルーピングすることにより走路境界点群を抽出する。例えば、ヒストグラムに投票した走路特徴点FPの各々を最も近いピークに属させることによりグルーピングすることができる。なお、第二の周辺地図上で走路特徴点FPをグルーピングすることにより、第一の周辺地図上の走路特徴点FPをグルーピングするよりも、容易に走路特徴点FPをグルーピングすることができる。グルーピングされた複数の走路特徴点FPは1つの走路境界点群を構成する。このように、走路境界推定回路24は、走路特徴点FPの車幅方向の位置(y座標)の度数に基づいて走路特徴点FP間の連続性を判定することができる。また、ヒストグラムを用いたグルーピングを行うことにより、走路境界推定回路24は、平行する複数の走路境界点群を同時に抽出することができる。或いは、走路境界推定回路24は、ヒストグラムを用いる代わりに、走路特徴点FPを既知の方法用いて曲線で近似することで、境界点群に対して複数の曲線をあてはめることができる。そして、走路境界推定回路24は、あてはめた複数の曲線が平行線であるか否かを判断することができる。
次に、走路境界推定回路24は、抽出した走路境界点群の各々から各走路境界(SKa、SKb、SKc)の形状を推定する。具体的に、走路境界推定回路24は、第一の周辺地図にて、各走路境界点群に対して、道路モデル関数で表現される曲線をあてはめることにより、各走路境界(SKa、SKb、SKc)の形状を推定する。道路モデル関数は、例えば、三次関数(y=ax+bx+cx+d)である。この場合、走路境界推定回路24は、係数a、b、c及びdを算出する。ここで、最小二乗法による関数あてはめを用いてもよいが、より安定性を求める場合にはRANSAC(Random sample consensus)等のロバスト推定を用いてもよい。
このように、図3Aに示すように走路に沿って車両51が走行していれば、道路の形状に係わらず、ヒストグラムのピーク(y座標)を用いて、容易に走路境界点群を抽出することができる。
これに対して、図4Aに示すように、車両51が車線変更を行った場合には、図3A及び図3Bを参照して説明した方法では、正確に走路境界点群を抽出することが難しい場合がある。
図4Aは、緩やかな右カーブの2車線道路において、車両51が走行する車線を、右側の車線から左側の車線へ変更する、いわゆる、車線変更を行っている様子を示す俯瞰図である。この場合、周辺地図生成回路21が生成する第一の周辺地図は、図3Aと同様にして、3つの走路境界(SKa、SKb、SKc)に沿って検出された特徴点群(図示せず)を含む。しかし、図3Aとは異なり、車線変更を行っている期間において、車両51に対する走路境界(SKa、SKb、SKc)の横位置(y座標)が変化する。
このため、図4Bに示すように、第二の周辺地図は、図3B(a)とは異なる。具体的には、第二の周辺地図では、車両51の移動量を考慮していないので、車線変更が開始してから完了するまでの期間(車線変更を行っている期間)において走路特徴点FPのy座標が変化する。そして、車線変更が開始する前に検出した走路特徴点FPのy座標と、車線変更が完了した後に検出した走路特徴点FPのy座標との間にズレが生じる。従って、図4Bに示す第二の周辺地図上の走路特徴点FPをy軸に沿った一次元のヒストグラムに投票しても、図3B(b)と同様なピークとはならなくなる。よって、ピークを基準として走路境界点群を正確に抽出することが困難になる。
そこで、走路境界推定回路24は、車線変更が完了した後に検出された走路特徴点間の連続性に基づいて走路境界を推定する。具体的には、図4C(a)に示すように、図4Bの第二の周辺地図から、車線変更が完了した時刻(Tc)以前に検出された走路特徴点FPを削除した第三の周辺地図を生成する。そして、走路境界推定回路24は、図4C(b)に示すように、第三の周辺地図から生成されるヒストグラムのピーク(y座標)を用いて、走路境界点群を抽出する。車線変更が完了した後に検出された走路特徴点のFPのy座標はほぼ一定であるため、図3Bと同様にして、ヒストグラムのピーク(y座標)を用いて、容易に走路境界点群を抽出することができる。
その後、前述したように、走路境界推定回路24は、第一の周辺地図にて、各走路境界点群に対して、道路モデル関数で表現される曲線をあてはめることにより、各走路境界(SKa、SKb、SKc)の形状を推定する。
なお、走路境界推定回路24は、車線変更検出回路25が車線変更を検出した時刻に基づいて、車線変更が完了した時刻(Tc)を設定する。例えば、車線変更を行っている期間の長さを5秒と予め設定し、車線変更検出回路25が車線変更を検出した時刻から所定時間(2.5秒)が経過した時刻を車線変更が完了した時刻(Tc)として設定すればよい。車線変更を行っている期間及び所定時間は、地図情報に含まれる車線幅や車両の速度に応じて調整可能である。
次に、図2のフローチャートを参照して、車両51が車線変更を行った場合における、図1に示した走路検出装置1を用いた走路検出方法の一例を説明する。ここでは、図1に示した走路検出装置1のうち走路検出回路12の動作手順を説明する。図2に示す処理は所定周期で繰り返し実行される。
先ずステップS01において、車線変更検出回路25は、カメラ34が撮像する車両前方の路面の画像から、車線変更を検出する。そして、車線変更中フラグを立てる。具体的には、走路特徴点FPのy座標に基づいて車線変更を検出する。走路特徴点FPのy座標の符号(+/−)が反転した場合に、車線変更を検出すればよい。ステップS02に進み、走路境界推定回路24は、車線変更を検出した時点での車両の速度から車線変更が完了する地点を設定する。具体的には、車線変更検出回路25が車線変更を検出した時刻に基づいて、車線変更が完了した時刻(Tc)を設定する。例えば、車線変更検出回路25が車線変更を検出した時刻から2.5秒後を、車線変更が完了した時刻(Tc)として設定する。なお、厳密な車線変更が完了した時刻(Tc)の推定する必要はなく、車線変更を行っている期間の長さを、十分長く設定しておいても良い。第一の周辺地図での走路境界の形状推定への影響を抑制することができれば良く、その他、簡易な方法により十分な精度の車線変更完了時刻(Tc)を推定可能である。
ステップS03に進み、走路境界推定回路24は、車線変更中フラグが立っているか否かを判断する。車線変更中フラグが立っている場合(S03でYES)、車線変更中である、つまり車線変更が開始したが、完了していないと判断して、ステップS04に進む。一方、車線変更中フラグが立っていない場合(S03でNO)、車線変更中ではないと判断して、ステップS05に進む。
車線変更中において走路特徴点FPのy座標は変化し、車線変更が開始する前に検出した走路特徴点FPのy座標と、車線変更が完了した後に検出した走路特徴点FPのy座標との間にズレが生じる。そこで、ステップS04において、走路境界推定回路24は、図4Bの第二の周辺地図から、車線変更が完了した時刻(Tc)以前に検出された走路特徴点FPを削除した第三の周辺地図(図4C(a))を生成する。ここで、現在の時刻が車線変更完了時刻(Tc)を過ぎた場合は、車線変更中フラグを下す。その後、ステップS05へ進む。
ステップS05において、走路境界推定回路24は、第三の周辺地図上の走路特徴点FPを、図4C(b)に示すように、y軸に沿った一次元のヒストグラムに投票する。なお、フラグが立っていない場合、第二の周辺地図を用いて、ヒストグラムを作成する。
ステップS06に進み、走路境界推定回路24は、ヒストグラムから複数の走路特徴点の連続性を判定する。具体的には、ヒストグラムのピーク(y座標)を検出し、ピーク毎に第三の周辺地図上の走路特徴点FPをグルーピングすることにより走路境界点群を抽出する。
ステップS07に進み、走路境界推定回路24は、第一の周辺地図にて、抽出した各走路境界点群に対して、道路モデル関数で表現される曲線をあてはめることにより、各走路境界(SKa、SKb、SKc)の形状を推定する。
以上説明したように、第1の実施形態によれば、以下の作用効果が得られる。
走路境界推定回路24は、車両51の車線変更を検出した場合には、車線変更量(オフセット量)に考慮して、車線変更が完了した後に検出した走路特徴点FPに対する車線変更が完了する前に検出した走路特徴点FPの連続性を判定し、走路特徴点FP間の連続性に基づいて走路境界を検出する。車線変更に伴う車幅方向への移動量(車線変更量)に応じて車線変更前後の走路特徴点FP間の連続性を考慮する。第1実施形態では、“車線変更が完了する前に検出された走路特徴点FPを無視する”という考慮をして、走路特徴点FP間の連続性を判定する。このため、車線変更に伴う車両51と走路特徴点FP間の距離の変化の影響を受けずに、走路を検出できる。
走路境界推定回路24は、車線変更が完了した後に検出された走路特徴点FP間の連続性に基づいて走路境界を推定する。このため、車線変更による車両の車幅方向への移動量(車線変更量)を正確に推定できなかった場合にも、車線変更完了前の走路特徴点FPの横位置(y座標)の変化の影響は除いて、走路境界の推定を行うことができる。
走路境界推定回路24は、走路特徴点の車幅方向の位置の度数に基づいて走路特徴点間の連続性を判定する。走路境界推定回路24は、周囲地図上の走路特徴点を車両の車幅方向のy軸に対して累積した一次元のヒストグラムとして表現する。そして、車線境界をヒストグラム上のピークとしてとらえることができ、車線境界ごとに車線形状を容易に推定できる。
走路境界推定回路24は、車両51の車線変更を検出した時刻に基づいて、車線変更が開始してから完了するまでの期間を設定する。第1実施形態では、車両51の車線変更を検出した時刻に基づいて、車線変更が完了する時刻を設定する。これにより、車線変更が完了した後に検出した走路特徴点FPを正確に特定することができる。
(第2実施形態)
第2実施形態に係わる走路境界推定回路24は、車線変更が開始する前に検出した走路特徴点FPの車幅方向の位置(y座標)を車線変更量で補正する。そして、補正後の走路特徴点間の連続性に基づいて走路境界を推定する。具体的に、走路境界推定回路24は、補正後の走路特徴点FP’と車線変更が完了した後に検出した走路特徴点FPとを組み合わせて、走路境界を検出する。なお、走路境界推定回路24は、車線変更が開始してから完了するまでに検出した走路特徴点FPを、第1実施形態と同様にして、排除する。走路検出装置1のブロック構成は、図1と同じであり、図示及び説明を省略する。
図6Aは、図4Bと同様に、図4Aに示す第一の周辺地図から生成された第二の周辺地図を示す。走路境界推定回路24は、車両51が車線変更を行った場合、第一の周辺地図から図6Aに示す第二の周辺地図を生成する。そして、図6B(a)に示すように、車線変更が開始した時刻(Ts)以前に検出された走路特徴点FPのy座標を、車線変更量(OF)と同じ量だけ車線変更方向とは逆方向に移動する。これにより、車線変更が開始した時刻(Ts)以前に検出された走路特徴点FPのy座標に含まれる車線変更量(OF)をオフセットすることができる。
更に、図6Aの第二の周辺地図から、車線変更が開始した時刻(Ts)から車線変更が完了した時刻(Tc)までに検出された走路特徴点FPを削除する。このように、走路境界推定回路24は、図6Aの第二の周辺地図から図6B(a)に示す第四の周辺地図を生成する。
なお、オフセット量(車線変更量)は、1車線分の車線幅であり、あらかじめ平均的な車線幅から設定しておくことができる。なお、走路境界推定回路24は、走路特徴点をグルーピングするためにオフセット処理を行う。このため、実際の車線幅とオフセット量(車線変更量)の間に多少の誤差は許容される。したがって、オフセット量(車線変更量)はあらかじめ決定しておくことができる。
そして、走路境界推定回路24は、図6B(b)に示すように、第四の周辺地図から生成されるヒストグラムのピーク(y座標)を用いて、走路境界点群を抽出する。図6B(a)に示すように、補正後の走路特徴点FP’のy座標は、車線変更が完了した後に検出された走路特徴点FPのy座標とほぼ一致する。このため、図3Bと同様にして、ヒストグラムのピーク(y座標)を用いて、容易に走路境界点群を抽出することができる。
その後、前述したように、走路境界推定回路24は、各走路境界点群に対して、道路モデル関数で表現される曲線をあてはめることにより、各走路境界(SKa、SKb、SKc)の形状を推定する。
なお、走路境界推定回路24は、車線変更検出回路25が車線変更を検出した時刻に基づいて、車線変更が開始した時刻(Ts)を設定する。例えば、車線変更を行っている期間の長さを5秒と予め設定し、車線変更検出回路25が車線変更を検出した時刻よりも所定時間(2.5秒)前の時刻を車線変更が開始した時刻(Ts)として設定すればよい。車線変更を行っている期間及び所定時間は、地図情報に含まれる車線幅や車両の速度に応じて調整可能である。
次に、図5のフローチャートを参照して、車両51が車線変更を行った場合における走路検出装置1を用いた走路検出方法の他の例を説明する。ここでは、図1に示した走路検出装置1のうち走路検出回路12の動作手順を説明する。図5に示す処理は所定周期で繰り返し実行される。
図5のフローチャートでは、図2のステップS02の代わりに、ステップS10を実行し、図2のステップS04の代わりに、ステップS11及びS12を実行する。その他のステップS01、S03、S05〜S07は、図2と共通するため、説明を省略する。
ステップS10において、走路境界推定回路24は、車線変更を検出した時点での車両の速度から、車線変更が開始した地点及び車線変更が完了した地点をそれぞれ設定する。具体的には、車線変更検出回路25が車線変更を検出した時刻に基づいて、車線変更が開始した時刻(Ts)及び車線変更が完了した時刻(Tc)を設定する。例えば、走路境界推定回路24は、車線変更検出回路25が車線変更を検出した時刻よりも2.5秒前の時刻を車線変更が開始した時刻(Ts)として設定する。そして、車線変更検出回路25が車線変更を検出した時刻から2.5秒後を、車線変更が完了した時刻(Tc)として設定する。なお、厳密な車線変更が開始した時刻(Ts)の推定する必要はなく、車線変更を行っている期間の長さを、十分長く設定しておいても良い。第一の周辺地図での走路境界の形状推定への影響を抑制することができれば良く、その他、簡易な方法により十分な精度の車線変更開始時刻(Ts)を推定可能である。
車線変更中フラグが立っている場合(S03でYES)、ステップS11に進む。車線変更中において走路特徴点FPのy座標は変化し、車線変更が開始する前に検出した走路特徴点FPのy座標と、車線変更が完了した後に検出した走路特徴点FPのy座標との間にズレが生じる。
そこで、ステップS11において、走路境界推定回路24は、図6Aの第二の周辺地図から、車線変更が開始した時刻(Ts)から車線変更が完了した時刻(Tc)までの間に検出された走路特徴点FPを削除する。ここで、現在の時刻が車線変更完了時刻(Tc)を過ぎた場合は、車線変更中フラグを下す。
ステップS12に進み、更に、走路境界推定回路24は、図6B(a)に示すように、車線変更が開始した時刻(Ts)以前に検出された走路特徴点FPのy座標を、車線変更量(OF)と同じ量だけ逆方向に移動する。これにより、車線変更が開始した時刻(Ts)以前に検出された走路特徴点FPのy座標に含まれる車線変更量(OF)をオフセットすることができる。
ステップS05に進み、走路境界推定回路24は、図6B(a)に示す補正後の走路特徴点FP’及び車線変更が完了した時刻(Tc)の後に検出された走路特徴点FPを、図6B(b)に示すように、y軸に沿った一次元のヒストグラムに投票する。
ステップS06に進み、走路境界推定回路24は、図6B(b)に示すヒストグラムのピーク(y座標)を検出し、ピーク毎に第四の周辺地図上の走路特徴点(FP、FP’)をグルーピングすることにより走路境界点群を抽出する。ステップS07に進み、走路境界推定回路24は、第一の周辺地図にて、抽出した各走路境界点群に対して、道路モデル関数で表現される曲線をあてはめることにより、各走路境界(SKa、SKb、SKc)の形状を推定する。
以上説明したように、第2の実施形態によれば、以下の作用効果が得られる。
走路境界推定回路24は、車両51の車線変更を検出した場合には、車線変更量(オフセット量)に考慮して、車線変更が完了した後に検出した走路特徴点FPに対する車線変更が完了する前に検出した走路特徴点FPの連続性を判定し、走路特徴点FP間の連続性に基づいて走路境界を検出する。車線変更に伴う車幅方向への移動量(車線変更量)に応じて車線変更前後の走路特徴点FP間の連続性を考慮する。第2実施形態では、“車線変更が開始してから完了するまでの間に検出された走路特徴点FPを無視し、且つ車線変更が開始する前に検出された走路特徴点FPの位置はオフセット量を考慮して移動させる”という考慮をして、走路特徴点FP間の連続性を判定する。このため、車線変更に伴う車両51と走路特徴点FP間の距離の変化の影響を受けずに、走路を検出できる。
車線変更によって、車両と走路特徴点間の距離は車両の車幅方向への移動量(OF)分だけ変化してしまう。そこで、車両と走路特徴点間の距離を、車両の車幅方向への移動量(OF)分だけ補正する。これにより、車線変更に伴う検出距離の変化を相殺できるので、車線変更の有無にかかわらず走路特徴点が連続的に分布し、走路境界の推定が容易になる。
走路境界推定回路24は、車両51の車線変更を検出した時刻に基づいて、車線変更が開始してから完了するまでの期間を設定する。第2実施形態では、車両51の車線変更を検出した時刻に基づいて、車線変更が開始する時刻(Ts)車線変更が完了する時刻(Tc)をそれぞれ設定する。これにより、車線変更が開始する前に検出した走路特徴点FP、及び車線変更が完了した後に検出した走路特徴点FPを正確に特定することができる。
上述の各実施形態で示した各機能は、1又は複数の処理回路により実装され得る。処理回路は、電気回路を含む処理装置等のプログラムされた処理装置を含む。処理装置は、また、実施形態に記載された機能を実行するようにアレンジされた特定用途向け集積回路(ASIC)や従来型の回路部品のような装置を含む。
実施形態では、移動量検出センサ10及び物標検出センサ11を備えるスタンドアローン型の走路検出装置1を例示したが、走路検出装置は、無線通信網を介したコンピュータネットワークを用いたクライアントサーバモデルとしても実現可能である。この場合、例えば、移動量検出センサ10及び物標検出センサ11を備える車両51(クライアント)はコンピュータネットワークを介して走路検出装置(サーバ)に接続する。これにより、図1に示す走路検出回路12を備えるサーバを、コンピュータネットワークを介して、移動量検出センサ10及び物標検出センサ11に接続することができる。この場合、走路検出装置は、主に走路検出回路12(サーバ)により構成され、移動量検出センサ10及び物標検出センサ11は走路検出装置に含まれない。
以上、実施例に沿って本発明の内容を説明したが、本発明はこれらの記載に限定されるものではなく、種々の変形及び改良が可能であることは、当業者には自明である。
1 走路検出装置
10 移動量検出センサ
11 物標検出センサ
12 走路検出回路
24 走路境界推定回路
25 車線変更検出回路
51 車両
FP、FP’ 走路特徴点
OF 車線変更量(オフセット量)

Claims (8)

  1. 車両に搭載された物標検出センサで検出された複数の走路特徴点を、前記車両の移動量に基づいて蓄積し、前記蓄積された複数の走路特徴点に基づいて走路境界を検出する走路検出回路を用いた走路検出方法であって、
    前記走路検出回路は、
    前記車両の車線変更を検出した場合には、前記車線変更が開始する前に検出して蓄積された複数の走路特徴点を、前記車線変更による前記車両の車幅方向の移動量に基づいて補正し、
    前記補正された車線変更が開始する前に検出して蓄積された複数の走路特徴点、及び前記車線変更が完了した後に検出して蓄積された複数の走路特徴点を使って、前記車両の車線変更が完了した後に、前記走路境界を検出する
    ことを特徴とする走路検出方法。
  2. 前記走路検出回路は、
    前記車両の車幅方向の位置に基づいて、前記蓄積された複数の走路特徴点をグルーピングし、
    前記グルーピングによって抽出された複数の走路特徴点に基づいて、走路境界を検出し、
    車線変更を検出した場合には、前記蓄積された複数の走路特徴点のうち、前記補正された車線変更が開始する前に検出して蓄積された複数の走路特徴点、及び前記車線変更が完了した後に検出して蓄積された複数の走路特徴点をグルーピングし、
    前記グルーピングによって抽出された複数の走路特徴点に基づいて、前記車両の車線変更が完了した後に、前記走路境界を検出する
    ことを特徴とする請求項1に記載の走路検出方法。
  3. 前記走路検出回路は、
    前記車線変更が開始する前に検出した前記走路特徴点の車幅方向の位置を、前記車線変更による前記車両の車幅方向の移動量と同じ量だけ車線変更方向とは逆方向に移動させて使う
    ことを特徴とする請求項1又は2に記載の走路検出方法。
  4. 前記走路検出回路は、前記車線変更が開始してから完了するまでに検出された前記走路特徴点を使わないことを特徴とする請求項1〜3のいずれか一項に記載の走路検出方法。
  5. 前記走路検出回路は、車両の車線変更を検出した時刻に基づいて、前記車線変更が開始した時刻及び前記車線変更が完了した時刻を設定することを特徴とする請求項1〜4のいずれか一項に記載の走路検出方法。
  6. 車両に搭載された物標検出センサで検出された複数の走路特徴点を、前記車両の移動量に基づいて蓄積する周辺地図生成回路と、
    前記蓄積された複数の走路特徴点に基づいて走路境界を検出する走路境界推定回路と
    を備える走路検出装置であって、
    前記走路境界推定回路は、
    前記車両の車線変更を検出した場合には、前記車線変更が開始する前に検出して蓄積された複数の走路特徴点を、前記車線変更による前記車両の車幅方向の移動量に基づいて補正し、
    前記補正された車線変更が開始する前に検出して蓄積された複数の走路特徴点、及び前記車線変更が完了した後に検出して蓄積された前記走路特徴点を使って、前記車両の車線変更が完了した後に、前記走路境界を検出する
    ことを特徴とする走路検出装置。
  7. 車両に搭載された物標検出センサで検出された複数の走路特徴点を、前記車両の移動量に基づいて蓄積し、前記蓄積された複数の走路特徴点に基づいて走路境界を検出する走路検出回路を用いた走路検出方法であって、
    前記走路検出回路は、前記車両の車線変更を検出した場合には、前記車線変更が完了する前に検出して蓄積された複数の走路特徴点を無視し、
    前記車線変更が完了した後に検出して蓄積された複数の走路特徴点を使って、前記車両の車線変更が完了した後に、前記走路境界を検出する
    ことを特徴とする走路検出方法。
  8. 前記走路検出回路は、
    前記車両の車幅方向の位置に基づいて、前記蓄積された複数の走路特徴点をグルーピングし、
    前記グルーピングによって抽出された複数の走路特徴点に基づいて、走路境界を検出し、
    車線変更を検出した場合には、前記蓄積された複数の走路特徴点のうち、前記車線変更が完了した後に検出して蓄積された複数の走路特徴点をグルーピングし、
    前記グルーピングによって抽出された複数の走路特徴点に基づいて、前記車両の車線変更が完了した後に、前記走路境界を検出する
    ことを特徴とする請求項7に記載の走路検出方法。
JP2018506708A 2016-03-24 2016-03-24 走路検出方法及び走路検出装置 Active JP6658868B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/059399 WO2017163368A1 (ja) 2016-03-24 2016-03-24 走路検出方法及び走路検出装置

Publications (2)

Publication Number Publication Date
JPWO2017163368A1 JPWO2017163368A1 (ja) 2019-03-14
JP6658868B2 true JP6658868B2 (ja) 2020-03-04

Family

ID=59900074

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018506708A Active JP6658868B2 (ja) 2016-03-24 2016-03-24 走路検出方法及び走路検出装置

Country Status (10)

Country Link
US (1) US10275666B2 (ja)
EP (1) EP3435353B1 (ja)
JP (1) JP6658868B2 (ja)
KR (1) KR20180122382A (ja)
CN (1) CN109074741B (ja)
BR (1) BR112018069501B1 (ja)
CA (1) CA3018663C (ja)
MX (1) MX369231B (ja)
RU (1) RU2695011C1 (ja)
WO (1) WO2017163368A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020087001A (ja) * 2018-11-27 2020-06-04 株式会社デンソー 車線位置情報出力装置
US11093761B2 (en) * 2019-03-06 2021-08-17 GM Global Technology Operations LLC Lane position sensing and tracking in a vehicle
US11584371B2 (en) 2020-07-15 2023-02-21 Toyota Research Institute, Inc. Systems and methods for using R-functions and semi-analytic geometry for lane keeping in trajectory planning
RU210463U1 (ru) * 2021-11-17 2022-04-15 федеральное государственное бюджетное образовательное учреждение высшего образования "Новгородский государственный университет имени Ярослава Мудрого" Телевизионное устройство для измерения координат изображения объекта
CN114396933B (zh) * 2021-12-31 2024-03-08 广州小鹏自动驾驶科技有限公司 一种车道拓扑构建方法、装置、车辆和存储介质

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4819169A (en) * 1986-09-24 1989-04-04 Nissan Motor Company, Limited System and method for calculating movement direction and position of an unmanned vehicle
GB9317983D0 (en) * 1993-08-28 1993-10-13 Lucas Ind Plc A driver assistance system for a vehicle
JP3209671B2 (ja) * 1995-11-27 2001-09-17 富士通テン株式会社 カーブ路判定装置
JP2002029347A (ja) * 2000-07-17 2002-01-29 Honda Motor Co Ltd 車両用走行区分線検出装置
US6819779B1 (en) * 2000-11-22 2004-11-16 Cognex Corporation Lane detection system and apparatus
US6894606B2 (en) * 2000-11-22 2005-05-17 Fred Forbes Vehicular black box monitoring system
JP2003322522A (ja) * 2002-05-07 2003-11-14 Daihatsu Motor Co Ltd 車間距離検出装置及び検出方法
JP2003203298A (ja) * 2002-12-11 2003-07-18 Honda Motor Co Ltd 走行区分線認識装置を備えた自動走行車両
JP3956926B2 (ja) * 2003-09-24 2007-08-08 アイシン精機株式会社 路面走行レーン検出装置
JP4822099B2 (ja) * 2005-07-11 2011-11-24 アイシン・エィ・ダブリュ株式会社 ナビゲーション装置及びナビゲーション方法
JP2007241468A (ja) * 2006-03-06 2007-09-20 Toyota Motor Corp 車線変更検出装置
JP4656456B2 (ja) * 2008-10-22 2011-03-23 日本電気株式会社 車線区画線検出装置、車線区画線検出方法、及び車線区画線検出プログラム
JP5321497B2 (ja) * 2010-02-22 2013-10-23 株式会社デンソー 白線認識装置
US20120022739A1 (en) * 2010-07-20 2012-01-26 Gm Global Technology Operations, Inc. Robust vehicular lateral control with front and rear cameras
JP5591613B2 (ja) * 2010-07-27 2014-09-17 株式会社小糸製作所 車両検出装置
DE102010048760A1 (de) * 2010-09-17 2011-07-28 Daimler AG, 70327 Verfahren zur Erzeugung eines Straßenmodells
JP5825239B2 (ja) * 2012-10-09 2015-12-02 トヨタ自動車株式会社 車両制御装置
RU2571871C2 (ru) * 2012-12-06 2015-12-27 Александр ГУРЕВИЧ Способ определения границ дороги, формы и положения объектов, находящихся на дороге, и устройство для его выполнения
JP6141788B2 (ja) * 2014-04-14 2017-06-07 本田技研工業株式会社 レーンマーク認識装置
CN103942960B (zh) * 2014-04-22 2016-09-21 深圳市宏电技术股份有限公司 一种车辆变道检测方法及装置
US20170089717A1 (en) * 2015-09-29 2017-03-30 Garmin Switzerland Gmbh Use of road lane data to improve traffic probe accuracy

Also Published As

Publication number Publication date
RU2695011C1 (ru) 2019-07-18
CN109074741A (zh) 2018-12-21
MX2018011510A (es) 2019-01-10
JPWO2017163368A1 (ja) 2019-03-14
BR112018069501B1 (pt) 2024-01-02
EP3435353A4 (en) 2019-03-27
CA3018663C (en) 2019-04-30
EP3435353B1 (en) 2022-03-02
KR20180122382A (ko) 2018-11-12
BR112018069501A2 (pt) 2019-01-29
CA3018663A1 (en) 2017-09-28
CN109074741B (zh) 2021-08-10
US20190102632A1 (en) 2019-04-04
US10275666B2 (en) 2019-04-30
EP3435353A1 (en) 2019-01-30
MX369231B (es) 2019-11-01
WO2017163368A1 (ja) 2017-09-28

Similar Documents

Publication Publication Date Title
JP6658868B2 (ja) 走路検出方法及び走路検出装置
JP6272204B2 (ja) 道路区画線情報取得装置
JP2011180982A (ja) 区画線検出装置
JP6617828B2 (ja) 走路検出方法及び走路検出装置
JP2012159469A (ja) 車両用画像認識装置
JP6189816B2 (ja) 走行区画線認識装置
JP2014046710A (ja) 操舵角センサの中立点補正装置及び中立点補正方法
JP6243319B2 (ja) 逸脱判定装置
JP2012159470A (ja) 車両用画像認識装置
JP5425500B2 (ja) キャリブレーション装置およびキャリブレーション方法
CN114037977B (zh) 道路灭点的检测方法、装置、设备及存储介质
JP6295524B2 (ja) 光軸補正装置
CN110570680A (zh) 利用地图信息确定对象位置的方法和系统
JP6416654B2 (ja) 白線検出装置
JP7149234B2 (ja) 車線データ生成装置、位置特定装置、車線データ生成方法および位置特定方法
JP2015106323A (ja) 情報処理装置、カメラ取付角度の推定方法、及びプログラム
JP2015121954A (ja) 輝度値算出装置及び車線検出システム
JP2013183311A (ja) 車載カメラの姿勢角推定装置及び検出システム
JP7058128B2 (ja) 情報処理装置およびプログラム
JP2022180672A (ja) 外界認識装置、外界認識方法、および外界認識プログラム
JP2018072637A (ja) オルソ画像作成装置、オルソ画像作成方法およびプログラム

Legal Events

Date Code Title Description
A529 Written submission of copy of amendment under article 34 pct

Free format text: JAPANESE INTERMEDIATE CODE: A5211

Effective date: 20180918

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181025

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181025

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190723

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190917

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200107

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200120

R151 Written notification of patent or utility model registration

Ref document number: 6658868

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151