JP5513327B2 - Lane estimation device - Google Patents
Lane estimation device Download PDFInfo
- Publication number
- JP5513327B2 JP5513327B2 JP2010201205A JP2010201205A JP5513327B2 JP 5513327 B2 JP5513327 B2 JP 5513327B2 JP 2010201205 A JP2010201205 A JP 2010201205A JP 2010201205 A JP2010201205 A JP 2010201205A JP 5513327 B2 JP5513327 B2 JP 5513327B2
- Authority
- JP
- Japan
- Prior art keywords
- lane
- parameter coefficient
- vehicle
- time
- curve approximation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
本発明は、走行車線を表わす曲線近似式のパラメータ係数の過去の点列に基づいて、設定時間進み後の走行車線を予測する車線推定装置に関する。 The present invention relates to a lane estimation device that predicts a travel lane after a set time has elapsed based on a past point sequence of parameter coefficients of a curve approximation formula representing a travel lane.
自動車等の車両においては、車両に搭載されているカメラ(以下、「車載カメラ」と称する)を用いて自車両が走行している走行レーンを区画する走行車線を認識し、自車両を走行レーンに沿って走行させるべく、操舵制御等を行う車線追従制御が知られている。 In a vehicle such as an automobile, a travel lane that divides a travel lane in which the host vehicle is traveling is recognized using a camera (hereinafter referred to as an “in-vehicle camera”) mounted on the vehicle, and the host vehicle is moved to the travel lane. Lane tracking control that performs steering control or the like to travel along the road is known.
この車線追従制御は、例えば、目標走行線を左右の走行車線の中央に設定し、この目標走行線を追従して車両が走行するように、操舵制御を代表とする車両挙動制御を行う。この場合、操舵制御は電動モータ等の制御アクチュエータを設定トルクで動作させることで、カーブ路等においては、自車両を目標走行線に沿った曲率で旋回動作させるようにする。尚、車両挙動制御には、操舵制御以外にブレーキ制御がある。ブレーキ制御は、左右輪の何れかの車輪(前後輪)に対してブレーキを働かせて、自車両の進行方向と目標走行線との間のヨー角が0[deg]になるような制御を行う。 In this lane tracking control, for example, a target travel line is set at the center of the left and right travel lanes, and vehicle behavior control represented by steering control is performed so that the vehicle travels following the target travel line. In this case, the steering control is performed by operating a control actuator such as an electric motor with a set torque so that the host vehicle turns on a curved road or the like with a curvature along the target travel line. The vehicle behavior control includes brake control in addition to steering control. In the brake control, a brake is applied to any one of the left and right wheels (front and rear wheels) so that the yaw angle between the traveling direction of the host vehicle and the target travel line becomes 0 [deg]. .
このように、自車両を走行レーンに沿って走行させる車線追従制御では、目標走行線を精度良く求めることで、車両を安定させた状態で走行させることができる。目標走行線を精度良く求める技術として、例えば特許文献1(特許第4333484号公報)には、車載カメラで撮像した画像に基づいて道路曲率を求めるに際し、この道路曲率の時間変化量を、道路曲率に応じて、道路曲率が小さい場合には、制限値を小さくして、時間変化量を小さくすることで、外乱(振動)成分を強く抑制し、一方、道路曲率が大きい場合には、制限値を大きくすることで、外乱(振動)成分の抑制量を弱くする技術が開示されている。 Thus, in the lane tracking control in which the host vehicle travels along the travel lane, the vehicle can be traveled in a stable state by accurately obtaining the target travel line. As a technique for obtaining a target travel line with high accuracy, for example, Patent Document 1 (Japanese Patent No. 4333484) discloses a method of calculating a road curvature based on an image captured by an in-vehicle camera. Accordingly, when the road curvature is small, the limit value is reduced and the amount of change over time is reduced, thereby strongly suppressing the disturbance (vibration) component. On the other hand, when the road curvature is large, the limit value is set. A technique is disclosed in which the amount of suppression of disturbance (vibration) components is weakened by increasing.
上述した文献に開示されているように、道路曲率の時間変化量を、道路曲率に応じて制限すれば、道路曲率が大きくなるほど発生し易い振動(外乱)成分を効率よく排除することができる。しかし、その反面、道路曲率が大きくなるに従い、操舵制御御等の車両挙動制御に応答遅れが生じ易くなる問題がある。 As disclosed in the above-described literature, if the amount of time change in road curvature is limited in accordance with the road curvature, vibration (disturbance) components that tend to occur as the road curvature increases can be efficiently eliminated. However, as the road curvature increases, there is a problem that a response delay tends to occur in vehicle behavior control such as steering control.
従って、車線追従制御性を満足させるためには、走行安定性をある程度犠牲にする必要があり、走行安定性と車線追従制御性との双方を満足させることは困難であった。 Therefore, in order to satisfy the lane following controllability, it is necessary to sacrifice the traveling stability to some extent, and it is difficult to satisfy both the traveling stability and the lane following controllability.
又、外乱成分としては、振動以外に、車載カメラに入射される逆光や、前方の視界を妨げる先行車などがあり、これら外乱成分を有効に排除しながら、自車両の走行する目標走行線を高精度に求めることは困難である。 In addition to vibration, there are back light incident on the in-vehicle camera and a preceding vehicle that obstructs the forward field of view. It is difficult to obtain with high accuracy.
本発明は、上記事情に鑑み、走行安定性と車線追従制御性との双方を満足させることのできる目標走行線を設定する車線推定装置を提供することを目的とする。 In view of the above circumstances, an object of the present invention is to provide a lane estimation device that sets a target travel line that can satisfy both travel stability and lane tracking controllability.
上記目的を達成するため本発明による車両推定装置は、車両に搭載されて該車両の外部環境を撮像する撮像手段と、前記撮像手段で撮像した画像に基づいて走行車線と路面との車線境界を検出し、該車線境界に車線候補点を点列状にプロットする車線候補点設定手段と、前記車線候補点の点列に基づいて前記車線境界を推定する第1曲線近似式のパラメータ係数を求めると共に、今回の演算時を基準として設定時間幅前における前記パラメータ係数の点列から求めた第2曲線近似式に基づいて設定時間進み後の予測パラメータ係数を設定する曲線近似処理手段と、前記予測パラメータ係数を前記第1曲線近似式に代入して前記時間進み後の推定車線を求める車線位置設定手段と、前記車線位置設定手段で設定した推定車線に基づき前記車両の走行する目標走行線を設定する車線追従制御手段とを備えることを特徴とする。 In order to achieve the above object, a vehicle estimation apparatus according to the present invention includes an imaging unit mounted on a vehicle and imaging an external environment of the vehicle, and a lane boundary between a traveling lane and a road surface based on an image captured by the imaging unit. Lane candidate point setting means for detecting and plotting lane candidate points on the lane boundary in a point sequence, and determining a parameter coefficient of a first curve approximation formula for estimating the lane boundary based on the point sequence of the lane candidate points And a curve approximation processing means for setting a prediction parameter coefficient after a set time advance based on a second curve approximation formula obtained from a point sequence of the parameter coefficient before the set time width on the basis of the current calculation time, and the prediction A lane position setting means for substituting a parameter coefficient into the first curve approximation formula to obtain an estimated lane after time advance, and an estimated lane set by the lane position setting means based on the estimated lane Characterized in that it comprises a lane line follow-up control means for setting a target traveling line rows.
本発明によれば、過去の車線候補点の点列に基づいて設定時間進み後の予測パラメータ係数を設定し、この予測パラメータ係数に基づいて推定車線を設定し、この推定車線に基づいて車両の走行する目標走行線を設定するようにしたので、外乱の影響を受け難い状態で目標走行線を設定することができる。 According to the present invention, the prediction parameter coefficient after the set time advance is set based on the point sequence of the past lane candidate points, the estimated lane is set based on the prediction parameter coefficient, and the vehicle lane is determined based on the estimated lane. Since the target travel line for traveling is set, the target travel line can be set in a state where it is hardly affected by disturbance.
以下、図面に基づいて本発明の一実施形態を説明する。図1に示す走行制御装置は、画像処理系Aと操舵制御系Bとを有し、画像処理系Aが撮像手段1と画像処理部2と車線推定部9とで構成され、操舵制御系Bは運転支援制御部10と制御アクチュエータ11とを主な構成要素としている。尚、本実施形態では、画像処理系Aと操舵制御部10とがカメラユニットに設けられている。
Hereinafter, an embodiment of the present invention will be described with reference to the drawings. 1 includes an image processing system A and a steering control system B, and the image processing system A includes an
運転支援制御部10はマイクロコンピュータを主体に構成されており、CAN(Controller Area Network)通信等の車内通信回線12を通じてアクチュエータ11と双方向通信可能に接続されている。この運転支援制御部10は、画像処理系Aから送信される走行車線データに基づき、自車両の走行する目標走行線Lo(図5参照)を設定し、自車両がこの目標走行線Loを追従走行する車線追従制御手段を備えている。尚、車線追従制御としては、操舵制御や左右輪ブレーキ制御がある。操舵制御は、自車両Mが目標走行線Loの曲率に沿って走行するように、ステアリングのハンドル角を設定し、操舵トルクとして制御アクチュエータ11へ出力する。又、左右輪ブレーキ制御は、旋回走行時において、旋回内側前後輪と旋回外側前後輪とに対してブレーキを個別に作動させることで、車両の水平面挙動制御(ヨーモーメント制御)を行う。尚、本実施形態では、車線追従制御として操舵制御を採用しているため、以下においては、操舵制御を制御例に掲げて説明する。
The driving
操舵制御は、運転支援制御部10からのハンドル角に応じた操舵トルクを制御アクチュエータ11に発生させてステアリングの操舵反力を制御する。この制御アクチュエータ11として、本実施形態では電動モータを採用している。
In the steering control, a steering torque corresponding to the steering wheel angle from the driving
又、図2に示すように、画像処理系Aの撮像手段1は、メインカメラ1aとサブカメラ1bとからなるステレオカメラであり、この両カメラ1a,1bは、例えばルームミラー上方であって、フロントガラスに近接する位置の車幅方向中央から左右に等間隔を開けて水平な状態で設置されている。又、この各カメラ1a,1bにCCDやCMOS等の撮像素子が設けられており、この両撮像素子によって自車両が走行している走行レーンを含む車両前方の外部環境が撮像される。
As shown in FIG. 2, the imaging means 1 of the image processing system A is a stereo camera composed of a main camera 1a and a
両カメラ1a,1bで撮像した一対のアナログ画像が画像処理部2に出力される。画像処理部2は、A/D変換部3と画像補正部4と画像データメモリ5と車線推定部9とを備えている。各カメラ1a,1bで撮像したアナログ画像は、A/D変換部3に設けられている各A/D変換器3a,3bで設定輝度階調のデジタル画像に変換されて画像補正部4に出力される。
A pair of analog images captured by both
画像補正部4では、両カメラ1a,1bの取付け位置の誤差に起因するずれや信号に含まれているノイズ成分の除去等を含む輝度値の補正等の画像補正が行われ、メインカメラ1aの出力信号から基準画像データが生成され、又、サブカメラ1bの出力信号から、基準画像と垂直方向長が同じで、基準画像よりも大きな水平方向長を有する比較画像データが生成される。そして、この基準画像データ及び比較画像データが画像データメモリ5に格納されると共に、画像処理手段6に出力される。
The image correction unit 4 performs image correction such as correction of luminance values including displacement caused by errors in the mounting positions of the
画像処理手段6はイメージプロセッサ7と距離データメモリ8とを備えている。イメージプロセッサ7は、基準画像データと比較画像データとの視差に基づいて両画像中の同一対象物の距離データ(自車両から対象物までの距離)を、三角測量の原理を利用して算出し、距離データメモリ8に格納する。
The image processing means 6 includes an
又、車線推定部9は、車線候補点設定手段としての車線候補点設定部9aと、曲線近似処理手段としての曲線近似処理部9bと、車線位置設定手段としての車線位置設定部9cと、データメモリ9dとを備えている。データメモリ9dには、図6に示すような、左右の走行車線21L,21Rの内側エッジ(車線内辺と路面との境界)間の距離(走行レーン幅)W1、及び二重白線の内側誘導線22の内側エッジ間の距離(誘導レーン幅)W2等の固定データ、及び後述する車線推定式の各パラメータ係数a,b,cの履歴が順次記憶されている。
The lane estimation unit 9 includes a lane candidate
高速道路の走行レーンは、走行車線21L,21Rが左右に一本ずつ描かれており、二重白線では、その内側に誘導線22が描かれている。この走行レーン幅W1、誘導レーン幅W2は、予め設定範囲に決められている。従って、例えば後述する車線候補点設定部9aで、左右の内側エッジにそれぞれプロットした車線候補点P間の距離と、レーン幅W1,W2とを比較し、車線候補点P間の距離が、何れのレーン幅W1,W2に近いかで、車線候補点Pがプロットされている車線の車線種(走行車線か内側誘導車線か)を識別することができる。又、後述する曲線近似処理部9bでは、この車線候補点Pの点列から最小二乗法により、走行車線21L,21Rの近似曲線を求める。
In the driving lane of the highway, the
車線候補点設定部9aは、画像データメモリ5に格納されている今回撮像した基準画像データと比較画像データとを読込み、又、距離データメモリ8に格納されている距離データを読込む。そして、これら各データに基づき基準画像データ上に、自車両が走行する走行レーンの両側車線の車線候補点Pをプロットする(図5参照)。
The lane candidate
具体的には、今回撮像した1つのフレームの基準画像データ上の1画素幅の水平ライン上を下側(自車両の手前側)から上向き(遠方)に1画素幅ずつオフセットしながら順次画素を探索し、基準画像データの各画素の輝度値に基づいて各画素の輝度微分値、すなわちエッジ強度(輝度差)が閾値以上に大きく変化する条件を満たしている画素を車線境界として検出する。このエッジ強度は、内側エッジの方が、外側エッジよりも強く表れる。従って、走行レーンの左右に走行車線21L,21Rが1本ずつ描かれている場合には、図5に示すように、この各走行車線21L,21Rの内側エッジが、車線候補点Pとしてプロットされる。又、図6に示すように、二重白線の場合は、内側誘導線22の内側エッジが車線候補点Pとしてプロットされる。
Specifically, the pixels are sequentially shifted while being offset by one pixel width from the lower side (front side of the host vehicle) upward (distant) on the horizontal line of one pixel width on the reference image data of one frame captured this time. Search is performed, and a pixel satisfying a condition that the luminance differential value of each pixel, that is, the edge intensity (luminance difference) greatly changes to a threshold value or more based on the luminance value of each pixel of the reference image data is detected as a lane boundary. This edge strength appears stronger at the inner edge than at the outer edge. Therefore, when one
更に、図7に示すように、二重白線の入口(開始端)では、二重白線の入口よりも手前において走行車線21L,21Rの内側エッジにプロットされている車線候補点Pが、二重白線の入口よりも遠方では、それが切り替り、内側誘導線22の内側エッジに車線候補点Pがプロットされる。一方、図8に示すように、二重白線の出口(終了端)では、その手前においては二重白線の内側誘導線22の内側エッジに車線候補点Pがプロットされ、二重白線の出口(終了端)よりも遠方では、走行車線21L,21Rの内側エッジに車線候補点Pがプロットされる。
Further, as shown in FIG. 7, at the entrance (starting end) of the double white line, the lane candidate point P plotted on the inner edge of the
曲線近似処理部9bは、車線候補点Pの点列の各座標(x,y)に基づき、最小二乗法から、最もフィットする近似曲線(推定車線Lp)となる第1曲線近似式としての車線推定式(y=ax2+bx+c)のパラメータ係数a,b,cを求める(図5参照)。ここで、第一項のパラメータ係数aは車線の曲率に関するパラメータ、第2項のパラメータ係数bは自車両Mに対する傾き(ヨー角)に関する角度パラメータ(図5参照)、第3項のパラメータ係数cは自車両Mの中央(正確には、両カメラ1a,1bの中間)を原点とするy軸方向のオフセット量(原点からの横位置)であり、本実施形態では、左側を正(+)、右側を負(−)としている。このパラメータ係数cの差分(+c−(−c))がレーン幅となり、総和(c+(−c))が自車両Mのレーン幅中央からのオフセット量Δcとなる。
The curve
尚、図5においては、左側走行レーンの推定車線Lplを求める車線推定式を、y=alx2+blx+cl(但し、clは正値)で表わし、右側走行レーンの推定車線Lprを求める車線推定式を、y=arx2+brx+cr(但し、crは負値)で表わしている。 In FIG. 5, the lane estimation formula for obtaining the estimated lane Lpl for the left lane is represented by y = alx 2 + blx + cl (where cl is a positive value), and the lane estimation formula for obtaining the estimated lane Lpr for the right lane is shown. , Y = arx 2 + brx + cr (where cr is a negative value).
又、プロットした車線候補点Pが走行車線21L,21Rの内側エッジか内側誘導線22の内側エッジかは、互いに対向する左右の車線候補点P間の距離(間隔)と各レーン幅W1,W2とを比較し、走行レーン幅W1に近い場合は、走行車線21L,21Rと判断し、誘導レーン幅W2に近い場合は誘導線22と判断する。
Whether the plotted lane candidate point P is the inner edge of the driving
ところで、上述したように、本実施形態では、推定車線Lpを車線候補点Pの点列に基づき、最小二乗法により設定した車線推定式(y=ax2+bx+c)の各パラメータ係数a,b,cを求めるようにしているため、例えば、図7に示すような二重白線の入口(開始端)、図8に示すような二重白線の出口(終了端)では、車線候補点Pのプロット位置が切り替るため、各パラメータ係数a,b,cが不安定となり、車線推定式(y=ax2+bx+c)によって設定される推定車線Lpと実際の走行車線21L,21Rや内側誘導線22との間のずれ量が大きくなる。
As described above, in the present embodiment, the parameter coefficients a, b, and lanes of the lane estimation formula (y = ax 2 + bx + c) set by the least square method based on the estimated lane Lp based on the sequence of lane candidate points P are used. For example, at the double white line entrance (start end) as shown in FIG. 7 and the double white line exit (end end) as shown in FIG. Since the positions are switched, the parameter coefficients a, b, and c become unstable, and the estimated lane Lp set by the lane estimation formula (y = ax 2 + bx + c), the
又、例えば日中のトンネル出口付近において自車両M前方が急に明るくなった場合、撮像手段1にて撮像した画像が逆光により露出オーバとなり、白化現象が発生する。その結果、自車両M前方の視界が一時的に遮られて、内側エッジの検出エラーが生じるため、推定車線Lpを正しく設定することが困難となる。又、先行車がバス、トラック等の大型車両であり、車間距離が比較的短いために、撮像手段1の遠方視野が遮られている場合、走行車線21L,21Rの内側エッジを遠方まで撮像することができず、この場合も検出エラーが生じるため、推定車線Lpを正しく設定することが困難となる。
For example, when the front of the host vehicle M suddenly becomes bright near the tunnel exit during the daytime, the image captured by the
一方、図5に示すように、自車両Mが、例えば走行レーンの中央を走行するように設定されている場合、この自車両Mの走行する目標走行線Loのオフセット量Δcは0となる。尚、この目標走行線Loは、後述する運転支援制御部10で求められる。
On the other hand, as shown in FIG. 5, when the host vehicle M is set to travel in the center of the travel lane, for example, the offset amount Δc of the target travel line Lo on which the host vehicle M travels is zero. The target travel line Lo is obtained by the driving
自車両Mが、目標走行線Loを正確に追従走行させるためには、操舵制御を精度良く行う必要がある。しかし、ステアリングを制御動作させる制御アクチュエータ11は、ある特有の応答遅れを有している。そのため、本実施形態では、各フレーム毎に求めた車線推定式(y=ax2+bx+c)のパラメータ係数a,b,cの1つの履歴を記憶し、記憶した過去パラメータ係数a(或いはb、或いはc)の時間軸上の点列から最小二乗法により、設定時間進みtf後の予測パラメータ係数a’(或いはb’、或いはc’)を推定する。この時間進みtfは、予め実験などにも基づいて調べた制御アクチュエータ11の応答遅れ特性に対応して設定される。
In order for the host vehicle M to accurately follow the target travel line Lo, it is necessary to perform steering control with high accuracy. However, the
図9に、自車両がカーブ路に進入する際に画像フレーム毎に設定される、各パラメータ係数a,b,cの変化特性を示す。同図(i)に示すパラメータ係数aはカーブ路に進入して設定曲率に達するまで、徐々に上昇する。又、同図(ii)に示すパラメータ係数bはヨー角に関するパラメータであり、常に細かい変動特性を示している。一方、同図(iii)に示すパラメータ係数cは横位置に関するパラメータであり、予め設定した位置(例えば走行レーンの中央ではΔc=0)を維持するように制御されるため、緩やかで比較的狭い振幅の変化特性を示している。 FIG. 9 shows change characteristics of the parameter coefficients a, b, and c set for each image frame when the host vehicle enters a curved road. The parameter coefficient “a” shown in FIG. 6 (i) gradually increases until entering the curve road and reaching the set curvature. The parameter coefficient b shown in FIG. 2 (ii) is a parameter related to the yaw angle, and always shows fine fluctuation characteristics. On the other hand, the parameter coefficient c shown in (iii) of the figure is a parameter related to the lateral position, and is controlled so as to maintain a preset position (for example, Δc = 0 in the center of the traveling lane). The change characteristic of amplitude is shown.
図9(i)に示すように、パラメータ係数aは大きな変化を示すため、比較的長い時間幅の履歴に基づいて設定時間進み後のパラメータ係数を予測することができる。又、同図(ii)に示すパラメータ係数bは、短い時間幅の履歴であれば、それに基づいて設定時間進み後のパラメータ係数を予測可能である。一方、同図(iii)に示すパラメータ係数cはレーン幅が一方へ偏した場合には大きく変動するが、レーン幅が一定の場合は常に一定値の値を示すため、比較的長い時間幅の履歴に基づいて設定時間進み後のパラメータ係数を予測することができる。 As shown in FIG. 9 (i), since the parameter coefficient a shows a large change, the parameter coefficient after the set time can be predicted based on a history having a relatively long time width. In addition, if the parameter coefficient b shown in FIG. 5 (ii) is a history with a short time width, the parameter coefficient after the set time can be predicted based on the history. On the other hand, the parameter coefficient c shown in FIG. 3 (iii) fluctuates greatly when the lane width is biased to one side, but always shows a constant value when the lane width is constant. Based on the history, it is possible to predict the parameter coefficient after the set time has elapsed.
そのため、図10に示すように、例えばパラメータ係数a(或いはb、或いはc)の現在値よりも設定時間シフトts前の時間を基準として、設定時間幅tw前までの各パラメータ係数a(或いはb、或いはc)の過去パラメータ係数の点列に基づき最小二乗法により、第2曲線近似式f(x)を求め、この第2曲線近似式f(x)に基づき現在値を基準として設定時間進みtf後の予測パラメータ係数a’(或いはb’、或いはc’)を求める。その際、各パラメータ係数a(或いはb、或いはc)の時間幅tw、時間シフトts、時間進みtfは、上述した変化特性に応じて設定する。 Therefore, as shown in FIG. 10, for example, each parameter coefficient a (or b) up to the set time width tw before the set time shift ts from the current value of the parameter coefficient a (or b or c) is used as a reference. Or the second curve approximation formula f (x) is obtained by the least square method based on the past parameter coefficient point sequence of c), and the set time advances based on the current value based on the second curve approximation formula f (x). A prediction parameter coefficient a ′ (or b ′ or c ′) after tf is obtained. At this time, the time width tw, the time shift ts, and the time advance tf of each parameter coefficient a (or b or c) are set according to the above-described change characteristics.
因みに、実験によれば、パラメータ係数aは、時間幅twが0.01〜6.0[sec]、時間シフトtsが0.01〜0.1[sec]、時間進みtfが0.0〜0.2[sec]程度である。又、パラメータ係数bは、時間幅twが0.01〜0.1[sec]、時間シフトtsが0.01〜0.1[sec]、時間進みtfが0.0〜0.2[sec]程度である。又、パラメータ係数cは、時間幅twが0.01〜0.1[sec]、時間シフトtsが0.01〜0.1[sec]、時間進みtfが0.0〜0.2[sec]程度である。 Incidentally, according to the experiment, the parameter coefficient a has a time width tw of 0.01 to 6.0 [sec], a time shift ts of 0.01 to 0.1 [sec], and a time advance tf of about 0.0 to 0.2 [sec]. The parameter coefficient b has a time width tw of 0.01 to 0.1 [sec], a time shift ts of 0.01 to 0.1 [sec], and a time advance tf of about 0.0 to 0.2 [sec]. The parameter coefficient c has a time width tw of 0.01 to 0.1 [sec], a time shift ts of 0.01 to 0.1 [sec], and a time advance tf of about 0.0 to 0.2 [sec].
ところで、車線追従制御において最も安定して車両の進行方向を制御できるのは操舵制御であり、この操舵制御に関するパラメータ係数は、カーブ曲率に関する係数aであるため、本実施形態では、このパラメータ係数aの過去の点列から予測パラメータ係数a’を求めるものとする。 By the way, it is the steering control that can control the traveling direction of the vehicle most stably in the lane tracking control, and the parameter coefficient related to the steering control is the coefficient a related to the curve curvature. In the present embodiment, this parameter coefficient a It is assumed that the prediction parameter coefficient a ′ is obtained from the past point sequence.
車線位置設定部9cは、曲線近似処理部9bで求めた予測パラメータ係数a’を、上述した車線推定式のパラメータ係数aに代入して(y=a’x2+bx+c)、設定時間進みtf後の推定車線(近似曲線)Lpを求める。
The lane
操舵制御系Bの運転支援制御部10では、この左右の車線推定式(y=a’x2+bx+c)から求めた左右の推定車線Lpに基づき、自車両Mが走行する目標走行線Loを求め、この目標走行線Lo上を自車両Mが走行するようにステアリングのハンドル角を設定し、この制御アクチュエータ11へ出力する。制御アクチュエータ11は、運転支援制御部10からのハンドル角に応じた操舵トルクを発生させてステアリングの操舵反力を制御し、車両の進行方向を調整する。
The driving
上述した各曲線近似処理部9bでの処理は、具体的には、図3に示す車線推定処理ルーチン、及び、図4に示す予測パラメータ係数設定処理サブルーチンに従って実行される。尚、以下においては、自車両Mが高速道路を走行している場合を想定して説明する。
Specifically, the processing in each of the curve
図3に示す現在の車線推定処理ルーチンは、曲線近似処理部9bで実行されるもので、撮像手段1で撮像した画像の1フレーム毎に実行され、先ず、ステップS1で、上述した車線候補点設定部9aでプロットした車線候補点Pを読込み、ステップS2で、この車線候補点Pの点列の各座標(x,y)に基づき、最小二乗法により、最もフィットする曲線近似となる二次車線推定式
y=ax2+bx+c
の各項のパラメータ係数a,b,cを求める。そして、ステップS3へ進み、パラメータ係数a,b,cをデータメモリ9dに保存し、ステップS4へ進み、過去のパラメータ係数aの点列から、将来の予測パラメータ係数a’を設定し、ステップS5で、各パラメータ係数a’,b,cに基づいて、設定時間進みtf後の推定車線Lpを設定し、ルーチンを抜ける。
The current lane estimation processing routine shown in FIG. 3 is executed by the curve
The parameter coefficients a, b, and c of each term are obtained. In step S3, the parameter coefficients a, b, and c are stored in the
上述したステップS4での、予測パラメータ係数a’の設定処理は、図4に示す予測パラメータ係数設定処理サブルーチンにおいて実行される。このサブルーチンでは、先ず、ステップS11で、車線認識距離が安定しているか否かが調べられる。車線認識距離が安定しているか否かは、撮像手段1により走行車線が、外乱の影響を受けることなく遠方まで撮像されるか否かで判定する。例えば、撮像手段1で撮像した画像が、逆光などの外乱より露出オーバとなって検出エラーが発生したり、先行車が外乱として作用し、この先行車によって前方の視野が遮られたために、走行車線21L,21Rの内側エッジを予め設定した車線認定距離(例えば100[m])まで撮像することができない場合などである。そして、車線認定距離が外乱の影響を受けることなく安定している状態、すなわち遠方(例えば100[m]先)まで撮像手段1の視野が確保されている場合は、ステップS12へ進み、又、外乱の影響を受けて不安定となっている場合はステップS14へ分岐する。
The setting process of the prediction parameter coefficient a ′ in step S4 described above is executed in the prediction parameter coefficient setting process subroutine shown in FIG. In this subroutine, first, in step S11, it is checked whether or not the lane recognition distance is stable. Whether or not the lane recognition distance is stable is determined by whether or not the traveling lane is imaged far away by the
ステップS12へ進むと、走行レーンが二重白線の入口(開始端)、或いは、出口(終了端)が検出されたか否かを調べる。上述したように二重白線の入口(開始端)、或いは出口(終了端)では、車線候補点Pのプロット位置が切り替るため、各パラメータ係数a,b,cが不安定となり、車線推定式(y=ax2+bx+c)によって設定される推定車線Lpと実際の走行車線21L,21Rや内側誘導線22との間のずれ量が大きくなる。そのため、二重白線の入口(開始端)或いは出口(終了端)を検出しない場合はステップS13へ進むが、検出した場合は、ステップS14へ分岐する。
In step S12, it is checked whether or not the entrance (start end) or exit (end end) of the double white line is detected in the travel lane. As described above, at the entrance (start end) or exit (end end) of the double white line, the plot position of the lane candidate point P is switched, so that each parameter coefficient a, b, c becomes unstable, and the lane estimation formula A deviation amount between the estimated lane Lp set by (y = ax 2 + bx + c) and the
ステップS13へ進むと、過去パラメータ係数を読込む時間幅(過去パラメータ係数読込み時間幅)twを時間短(例えば1.0[sec])で設定し(tw←短)で設定して、ステップS15へ進む。又、ステップS14へ分岐すると、過去パラメータ係数読込み時間幅twを時間長(例えば4.0[sec])で設定して(tw←長)、ステップS15へ進む。 In step S13, the time width for reading the past parameter coefficient (past parameter coefficient reading time width) tw is set as a short time (for example, 1.0 [sec]) (tw ← short), and the process proceeds to step S15. . When branching to step S14, the past parameter coefficient reading time width tw is set as a time length (for example, 4.0 [sec]) (tw ← length), and the process proceeds to step S15.
撮像手段1にて遠方(例えば100[m]先)までの走行車線が認識できない状態、或いは二重白線の入口(開始端)や出口(終了端)では、内側エッジの検出精度が低下する。一方、前方視界がよく、しかも走行車線が一定の場合は、遠方まで内側エッジを精度良く検出することができる。従って、撮像手段1の視界が充分確保されており、しかも走行車線が一定の場合は、撮像手段1の画像が歪んだり、余分な光等のノイズが混入し難いため、時間幅twを短くすることで、時間幅tw内の過去パラメータ係数aの点数が少なくなり、これに基づいて後述するステップS16で設定する予測パラメータ係数a’の実際の走行車線に対する追従性が良くなる。一方、撮像手段1の視界が不十分であったり、走行レーンが二重白線の入口、或いは出口である場合、車線候補点Pの点列が一時的に不安定となるため、このよう場合は時間幅twを長くして過去パラメータ係数aの点数を多くすることで、後述するステップS16で設定する予測パラメータ係数a’が平均化されるため、異常値が一時的に検出されても変動を抑制することができる。
In a state where the
そして、ステップS15へ進むと、現在時間から過去へ設定時間シフトtsさせた時間軸を原点として、この原点から時間幅tw分の過去パラメータ係数を読込む。この時間シフトtsは、一次遅れフィルタとして機能を有している。すなわち、上述したステップS2で設定した現在のパラメータ係数aにばらつきがあっても、原点を過去に時間シフトtsだけ遡らせているので、現在のパラメータ係数aの影響を受け難くなる。尚、本実施形態では、時間シフトtsを、0.01〜0.1[sec]の中の何れかで固定値としているが、撮像手段1による視界範囲に応じ、視界が良好な場合は短く設定する等の可変値としても良い。
Then, when proceeding to step S15, the past parameter coefficient for the time width tw is read from this origin with the time axis shifted from the current time to the past as a set time ts. This time shift ts functions as a first-order lag filter. That is, even if there is a variation in the current parameter coefficient a set in step S2 described above, the origin is moved back by the time shift ts in the past, so that it is difficult to be influenced by the current parameter coefficient a. In the present embodiment, the time shift ts is set to a fixed value in any of 0.01 to 0.1 [sec]. However, the time shift ts is set to a short value when the field of view is good according to the field of view range of the
その後、ステップS16へ進み、ステップS15で読込んだ過去パラメータ係数aの点列に基づき最小二乗法により、曲線近似式f(x)を求め、この曲線近似式f(x)に基づき現在値を基準として設定時間進みtf後の予測パラメータ係数a’を設定して、図3のステップS5へ進む。この時間進みtfは、操舵トルクによりステアリングに発生させる操舵反力の応答遅れ時間を考慮して設定されており、本実施形態では0.0〜0.2[sec]の中から設定した固定値としている。 Thereafter, the process proceeds to step S16, a curve approximation formula f (x) is obtained by the least square method based on the point sequence of the past parameter coefficient a read in step S15, and the current value is obtained based on this curve approximation formula f (x). The prediction parameter coefficient a ′ after the set time advance tf is set as a reference, and the process proceeds to step S5 in FIG. This time advance tf is set in consideration of the response delay time of the steering reaction force generated in the steering by the steering torque, and is a fixed value set from 0.0 to 0.2 [sec] in this embodiment.
そして、ステップS5においては、上述したように設定時間進みtf後の左右の推定車線Lpを、各パラメータ係数a’,b,cに基づく車線推定式(y=a’x2+bx+c)から求める。この左右の推定車線Lpは、操舵制御系Bの運転支援制御部10で読込まれ、この左右の推定車線Lpに基づき、自車両Mが走行する目標走行線Loを求める。そして、この目標走行線Lo上を自車両Mが走行するようなステアリングのハンドル角を設定し、制御アクチュエータ11へ出力する。
In step S5, as described above, the left and right estimated lanes Lp after the set time advance tf are obtained from the lane estimation formula (y = a′x 2 + bx + c) based on the parameter coefficients a ′, b, and c. The left and right estimated lanes Lp are read by the driving
このように、本実施形態では、推定車線Lpを算出する際のパラメータ係数a’が、制御アクチュエータ11の応答遅れを考慮した時間進みtf後に設定されているため、良好な操舵制御性を得ることができる。その結果、自車両Mが走行する目標走行線Loに沿った操舵制御が、制御アクチュエータ11の応答遅れを考慮して早めに制御されるため、自車両Mの走行安定性と車線追従制御性との双方を満足させることができる。
Thus, in the present embodiment, the parameter coefficient a ′ for calculating the estimated lane Lp is set after the time advance tf considering the response delay of the
尚、本発明は、上述した実施形態に限るものではなく、例えば車線追従制御として左右輪ブレーキ制御が採用されている場合、制御アクチュエータ11は、ブレーキを動作させるブレーキアクチュエータとなる。左右輪ブレーキ制御では、旋回走行時において、旋回内側前後輪と旋回外側前後輪のブレーキアクチュエータを個別に作動させて、水平面挙動制御(ヨーモーメント制御)を行うものである。従って、ヨーモーメント制御では、上述したステップS4において、ヨー角に関する角度パラメータであるパラメータ係数bの時間進みtfの予測パラメータ係数b’を、過去の時間幅tw内のパラメータ係数bの点列から算出する。従って、この場合、上述した図4の予測パラメータ係数設定処理サブルーチンでは、過去パラメータ係数bを読込み、この過去パラメータ係数bの点列に基づいて予測パラメータ係数b’が設定される。
The present invention is not limited to the above-described embodiment. For example, when left and right wheel brake control is adopted as lane tracking control, the
1…撮像手段、
9…車線推定部、
9a…車線候補点設定部、
9b…曲線近似処理部、
9c…車線位置設定部、
10…運転支援制御部、
11…制御アクチュエータ、
21L,21R…走行車線、
22…内側誘導線、
A…画像処理系、
B…操舵制御系、
Lo…目標走行線、
Lp…推定車線、
M…自車両、
P…車線候補点、
a,b,c…パラメータ係数、
a’,b’,c’…予測パラメータ係数
tf…時間進み
tw…時間幅
1 ... Imaging means,
9 ... Lane estimation part,
9a ... Lane candidate point setting section,
9b ... curve approximation processing unit,
9c: Lane position setting unit,
10: Driving support control unit,
11 ... Control actuator,
21L, 21R ... Driving lane,
22 ... Inner guide wire,
A ... Image processing system
B ... Steering control system,
Lo ... Target driving line,
Lp ... Estimated lane,
M ... own vehicle,
P ... Lane candidate point,
a, b, c ... parameter coefficients,
a ', b', c '... Prediction parameter coefficient tf ... Time advance tw ... Time width
Claims (3)
前記撮像手段で撮像した画像に基づいて走行車線と路面との車線境界を検出し、該車線境界に車線候補点を点列状にプロットする車線候補点設定手段と、
前記車線候補点の点列に基づいて前記車線境界を推定する第1曲線近似式のパラメータ係数を求めると共に、今回の演算時を基準として設定時間幅前における前記パラメータ係数の点列から求めた第2曲線近似式に基づいて設定時間進み後の予測パラメータ係数を設定する曲線近似処理手段と、
前記予測パラメータ係数を前記第1曲線近似式に代入して前記時間進み後の推定車線を求める車線位置設定手段と、
前記車線位置設定手段で設定した推定車線に基づき前記車両が追従する目標走行線を設定する車線追従制御手段と
を備えることを特徴とする車線推定装置。 Imaging means mounted on a vehicle for imaging the external environment of the vehicle;
Lane candidate point setting means for detecting a lane boundary between a traveling lane and a road surface based on an image captured by the imaging means, and plotting lane candidate points in the form of a point sequence on the lane boundary;
The parameter coefficient of the first curve approximation formula for estimating the lane boundary based on the point sequence of the lane candidate points is obtained, and the parameter coefficient obtained from the parameter coefficient point sequence before the set time width is based on the current calculation time. A curve approximation processing means for setting a prediction parameter coefficient after a set time advance based on a two-curve approximation formula;
Lane position setting means for substituting the prediction parameter coefficient into the first curve approximation formula to determine the estimated lane after time advance;
A lane estimation device comprising: lane tracking control means for setting a target travel line that the vehicle follows based on the estimated lane set by the lane position setting means.
ことを特徴とする請求項1記載の車線推定装置。 2. The time width is set to be short when the recognition distance is long, and is set to be long when the recognition distance is short, based on the recognition distance in front of the vehicle imaged by the imaging means. Lane estimation device.
前記時間進みは、前記制御アクチュエータの応答遅れ特性に対応して設定される
ことを特徴とする請求項1或いは2記載の車線推定装置。 The lane tracking control means has vehicle behavior control means for operating a control actuator so that the vehicle follows the target travel line,
The lane estimation apparatus according to claim 1 or 2, wherein the time advance is set corresponding to a response delay characteristic of the control actuator.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010201205A JP5513327B2 (en) | 2010-09-08 | 2010-09-08 | Lane estimation device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010201205A JP5513327B2 (en) | 2010-09-08 | 2010-09-08 | Lane estimation device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012058984A JP2012058984A (en) | 2012-03-22 |
JP5513327B2 true JP5513327B2 (en) | 2014-06-04 |
Family
ID=46056010
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010201205A Active JP5513327B2 (en) | 2010-09-08 | 2010-09-08 | Lane estimation device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5513327B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11472481B2 (en) | 2018-10-08 | 2022-10-18 | Hl Klemove Corp. | Apparatus and method for controlling vehicle by determining distortion in lane recognition |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6088251B2 (en) | 2013-01-11 | 2017-03-01 | 株式会社日本自動車部品総合研究所 | Vehicle travel support device |
JP6171612B2 (en) * | 2013-06-20 | 2017-08-02 | 株式会社豊田中央研究所 | Virtual lane generation apparatus and program |
KR102083207B1 (en) * | 2013-11-21 | 2020-03-02 | 현대모비스 주식회사 | System for controlling lane keeping of vehicle using exponential smoothing, and apparatus for generating virtual lane using exponential smoothing |
JP5936279B2 (en) | 2013-12-27 | 2016-06-22 | 富士重工業株式会社 | Driving assistance device |
JP5895955B2 (en) | 2014-02-07 | 2016-03-30 | トヨタ自動車株式会社 | Lane boundary detection device |
JP6372314B2 (en) * | 2014-11-10 | 2018-08-15 | 株式会社豊田中央研究所 | Target locus calculation apparatus and program |
JP6269534B2 (en) * | 2015-03-02 | 2018-01-31 | トヨタ自動車株式会社 | Travel control device |
KR101583797B1 (en) | 2015-03-04 | 2016-01-08 | 군산대학교산학협력단 | Apparatus and method for detecting lane based on top view image transform |
CN110167813B (en) * | 2017-01-10 | 2022-05-03 | 三菱电机株式会社 | Travel route recognition device and travel route recognition method |
JP6407447B1 (en) | 2017-01-10 | 2018-10-17 | 三菱電機株式会社 | Traveling path recognition device and traveling path recognition method |
CN113348120A (en) * | 2019-01-21 | 2021-09-03 | 日立安斯泰莫株式会社 | Vehicle control device, vehicle control method, and vehicle control system |
-
2010
- 2010-09-08 JP JP2010201205A patent/JP5513327B2/en active Active
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11472481B2 (en) | 2018-10-08 | 2022-10-18 | Hl Klemove Corp. | Apparatus and method for controlling vehicle by determining distortion in lane recognition |
Also Published As
Publication number | Publication date |
---|---|
JP2012058984A (en) | 2012-03-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5513327B2 (en) | Lane estimation device | |
JP5276637B2 (en) | Lane estimation device | |
CN109421709B (en) | Driving support device for vehicle | |
US9516277B2 (en) | Full speed lane sensing with a surrounding view system | |
US8306700B2 (en) | Vehicle travel support device, vehicle, and vehicle travel support program | |
EP3416368A1 (en) | Calibration system and calibration apparatus | |
US20140180543A1 (en) | Vehicle control device | |
CN110167813B (en) | Travel route recognition device and travel route recognition method | |
WO2009113225A1 (en) | Vehicle travel support device, vehicle, and vehicle travel support program | |
WO2014129312A1 (en) | Device for suppressing deviation from lane boundary line | |
CN110785328A (en) | Parking assist method and parking control device | |
JP6407447B1 (en) | Traveling path recognition device and traveling path recognition method | |
US11165932B2 (en) | Imaging apparatus, imaging system, vehicle and foreign matter determination method | |
JP2020071122A (en) | Own vehicle position estimation device | |
JP2007293672A (en) | Photographing apparatus for vehicle and soiling detection method for photographing apparatus for vehicle | |
JP2011175572A (en) | Lane recognition device | |
JP6590988B1 (en) | Lane marking recognition system | |
JP5559650B2 (en) | Lane estimation device | |
CN109309785B (en) | Imaging control device and imaging control method | |
JP3930309B2 (en) | Vehicle driving support device | |
JP7122211B2 (en) | PARKING ASSIST DEVICE AND PARKING ASSIST METHOD | |
JP7122394B2 (en) | Imaging unit controller | |
JP7070235B2 (en) | Automatic parking device | |
JP5034087B2 (en) | Vehicle travel support device, vehicle, vehicle travel support program | |
JP4225242B2 (en) | Travel path recognition device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130327 |
|
TRDD | Decision of grant or rejection written | ||
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140227 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140304 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140327 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5513327 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |