JPH04293109A - Running lane tracking device, running lane deviation alarm device and autonomous running controller - Google Patents
Running lane tracking device, running lane deviation alarm device and autonomous running controllerInfo
- Publication number
- JPH04293109A JPH04293109A JP3058455A JP5845591A JPH04293109A JP H04293109 A JPH04293109 A JP H04293109A JP 3058455 A JP3058455 A JP 3058455A JP 5845591 A JP5845591 A JP 5845591A JP H04293109 A JPH04293109 A JP H04293109A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- driving lane
- lane
- image
- driving
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 claims description 9
- 238000000034 method Methods 0.000 description 27
- 238000010586 diagram Methods 0.000 description 13
- 238000003708 edge detection Methods 0.000 description 6
- 238000012544 monitoring process Methods 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Abstract
Description
【０００１】0001
【産業上の利用分野】本発明は、車両の走行レーン内で
の位置や走行レーンに対する傾きを監視するために用い
られる走行レーン追跡装置、車両用に用いられる走行レ
ーン逸脱警報装置および自律走行制御装置に関する。[Industrial Application Field] The present invention relates to a driving lane tracking device used to monitor the position of a vehicle within a driving lane and its inclination with respect to the driving lane, a driving lane deviation warning device used for vehicles, and an autonomous driving control device. Regarding equipment.
【０００２】0002
【従来の技術】従来、この種の走行レーン追跡装置とし
ては、特開昭６２−１５５１４０号公報に記載されてい
るように、ビデオカメラから車両前方の道路画像を取り
込み、画像処理を行なうことによって路面の状態を監視
する装置において、車両の速度およびハンドルの操舵角
を用いて道路画像内の処理領域を設定するようにしてい
た。2. Description of the Related Art Conventionally, this type of driving lane tracking device captures a road image in front of a vehicle from a video camera and performs image processing, as described in Japanese Patent Laid-Open No. 155140/1983. In devices that monitor road surface conditions, a processing area within a road image is set using the speed of the vehicle and the steering angle of the steering wheel.
【０００３】また、走行レーン逸脱警報装置としては、
特開昭６３−２１４９００号公報に記載されているよう
に、リニアイメージセンサからの輝度情報を用いて路面
上の白線を検出し、検出された白線を用いて走行レーン
内での車両の位置を認識し、車両の進行方向に異常が生
じた場合にドライバーに警報を与えるようにしていた。[0003] Also, as a driving lane departure warning device,
As described in Japanese Patent Application Laid-Open No. 63-214900, white lines on the road surface are detected using brightness information from a linear image sensor, and the position of the vehicle within the driving lane is determined using the detected white lines. The system recognizes this and warns the driver if there is an abnormality in the direction the vehicle is traveling.
【０００４】さらに、自律走行制御装置としては、特開
平２−４８７０４号公報に記載されているように、ビデ
オカメラから得た道路画像を画像処理し、その結果とし
て認識した走行レーンの領域を実世界系の座標に変換し
た結果を用いて経路の設定を行うようにしていた。Furthermore, as described in Japanese Unexamined Patent Publication No. 2-48704, an autonomous driving control device processes a road image obtained from a video camera and executes the recognized driving lane area as a result. The route was set using the results of conversion to world coordinates.
【０００５】[0005]
【発明が解決しようとする課題】このような従来の走行
レーン認識装置では、処理領域が路面のどの部分に設定
されても良かったが、走行レーンの認識を行なうために
は路面に表示された白線を含む領域が処理領域として設
定されなければならない。ところが、ハンドルの操舵角
は車両の進行方向、あるいは走行レーンの向きとは必ず
しも一致しないため、適切に白線を処理領域内にとどめ
ておくことが困難であるという問題を有していた。[Problem to be solved by the invention] In such conventional driving lane recognition devices, the processing area can be set on any part of the road surface, but in order to recognize the driving lane, it is necessary to set the processing area on the road surface. The area including the white line must be set as the processing area. However, since the steering angle of the steering wheel does not necessarily match the direction of travel of the vehicle or the direction of the driving lane, there has been a problem in that it is difficult to appropriately keep the white line within the processing area.
【０００６】また、従来の走行レーン逸脱警報装置では
、路面に表示された白線を部分的にしか認識していない
ため、雑音成分の影響による誤認識の可能性が大きく、
必ずしも適切な警報が行われるわけではなかった。[0006] In addition, conventional driving lane departure warning devices only partially recognize white lines displayed on the road surface, so there is a high possibility of erroneous recognition due to the influence of noise components.
Appropriate warnings were not always given.
【０００７】さらに、従来の自律走行制御装置では、画
像内で求めた走行レーンの領域を実世界座標系に変換し
、走行可能な経路を設定しているが、非常に多くの処理
時間を要するだけでなく複雑な画像に対してはうまく変
換が行えないなどの困難さがあった。[0007]Furthermore, conventional autonomous driving control devices convert the driving lane area determined in the image into a real-world coordinate system and set a route that can be traveled, but this requires an extremely large amount of processing time. In addition, there were difficulties in converting complex images.
【０００８】本発明は以上のような課題を解決するもの
で、認識された走行レーンを用いて道路画像内の処理領
域を設定し、安定した白線検出を行い走行レーンの追跡
が可能な走行レーン追跡装置を提供することを第１の目
的としている。[0008] The present invention solves the above-mentioned problems, and provides a driving lane that uses recognized driving lanes to set a processing area in a road image, performs stable white line detection, and allows the driving lane to be tracked. The primary objective is to provide a tracking device.
【０００９】また、追跡された走行レーンを監視するこ
とにより安定して車両の走行レーン内での位置を認識し
、車両が走行レーンを逸脱しそうな場合にはドライバー
に適切な警報を与え、誤認識率の低い走行レーン逸脱警
報装置を提供することを第２の目的としている。In addition, by monitoring the tracked driving lane, the vehicle's position within the driving lane can be stably recognized, and if the vehicle is about to deviate from the driving lane, an appropriate warning can be given to the driver to prevent erroneous driving. A second objective is to provide a driving lane departure warning device with a low recognition rate.
【００１０】さらに、認識された走行レーンから車両の
走行レーンに対する傾きと走行レーン内での位置を求め
、それらの値を用いてステアリングの制御を行わせるこ
とにより、座標変換を用いずに処理速度を向上させた自
律走行制御装置を提供することを第３の目的としている
。Furthermore, by determining the inclination of the vehicle with respect to the driving lane and the position within the driving lane from the recognized driving lane, and controlling the steering using these values, the processing speed can be increased without using coordinate transformation. The third objective is to provide an autonomous driving control device with improved performance.
【００１１】[0011]
【課題を解決するための手段】本発明は上記第１の目的
を達成するために、車両に装着され車両前方の道路を撮
像するビデオカメラと、前記ビデオカメラから取り込ま
れた道路画像に対して画像処理を行なう画像処理手段と
、前記画像処理手段が処理を行なう画像内の領域を設定
する処理領域設定手段と、前記画像処理手段の処理結果
を用いて走行レーンの認識を行なう走行レーン認識手段
とを備え、前記処理領域設定手段が前記走行レーン認識
手段のレーン認識結果に基づいて処理領域を設定するよ
うにしたことを第１の課題解決手段としている。[Means for Solving the Problems] In order to achieve the above first object, the present invention provides a video camera mounted on a vehicle to image the road in front of the vehicle, and a road image captured from the video camera. An image processing means for performing image processing, a processing area setting means for setting an area in an image to be processed by the image processing means, and a driving lane recognition means for recognizing a driving lane using the processing result of the image processing means. A first means for solving the problem is that the processing area setting means sets the processing area based on the lane recognition result of the driving lane recognition means.
【００１２】また、第２の目的を達成するために、上記
第１の課題解決手段の走行レーン追跡装置から出力され
る走行レーンの認識結果を用いて車両の走行レーン内で
の位置を認識する車両位置認識手段と、前記車両位置認
識手段によって認識された車両のレーン内での位置から
車両のレーン逸脱の危険性を判断するレーン逸脱判断手
段と、前記レーン逸脱判断手段が車両が走行レーンから
逸脱する危険性があると判断した場合にドライバーに対
して警報を与える警報手段とを備えたことを第２の課題
解決手段としている。[0012] Furthermore, in order to achieve the second object, the position of the vehicle within the driving lane is recognized using the recognition result of the driving lane outputted from the driving lane tracking device of the first problem solving means. a vehicle position recognition means; a lane departure determination means for determining the risk of the vehicle departing from the lane based on the position of the vehicle within the lane recognized by the vehicle position recognition means; A second problem-solving means is provided with a warning means for giving a warning to the driver when it is determined that there is a risk of the vehicle deviating from the vehicle.
【００１３】さらに、第３の目的を達成するために、上
記第１の課題解決手段の走行レーン追跡装置から出力さ
れる走行レーンの認識結果を用いて車両の走行レーンに
対する傾きを検出する車両傾き検出手段と、前記車両傾
き検出手段によって検出された車両の走行レーンに対す
る傾きおよび前記走行レーン逸脱警報装置における車両
位置認識手段の出力として得られる車両のレーン内での
位置を用いてステアリングの制御値を決定するステアリ
ング制御手段とを備えたことを第３の課題解決手段とし
ている。[0013]Furthermore, in order to achieve the third object, the vehicle inclination detects the inclination of the vehicle with respect to the driving lane using the recognition result of the driving lane outputted from the driving lane tracking device of the first problem solving means. a steering control value using a detection means, the inclination of the vehicle with respect to the driving lane detected by the vehicle inclination detection means, and the position of the vehicle within the lane obtained as an output of the vehicle position recognition means in the driving lane departure warning device. The third problem-solving means is to include a steering control means for determining.
【００１４】[0014]
【作用】本発明は上記した第１の課題解決手段により、
走行レーンの認識結果を用いてつぎの道路画像に対する
処理領域を設定するため、走行レーン認識の指標となる
白線を適切に処理領域内にとどめておくことが可能であ
り、さらには走行レーンの追跡を安定して行なうことが
できる。[Operation] The present invention has the above-mentioned first problem solving means.
Since the processing area for the next road image is set using the recognition results of the driving lane, it is possible to appropriately keep the white line, which is an indicator for driving lane recognition, within the processing area, and furthermore, it is possible to track the driving lane. can be performed stably.
【００１５】また、第２の課題解決手段により、走行レ
ーン追跡装置による走行レーンの認識結果を用いて車両
の走行状態を監視するため、路上の白線以外の物体など
の影響で誤まって警報を出す可能性を低減させることが
できる。[0015] Furthermore, according to the second problem-solving means, since the driving condition of the vehicle is monitored using the recognition result of the driving lane by the driving lane tracking device, it is possible to prevent a warning from being erroneously issued due to the influence of objects other than the white line on the road. It is possible to reduce the possibility of
【００１６】さらに、第３の課題解決手段により、走行
レーン追跡装置による走行レーンの認識結果を用いてス
テアリングの制御値を決定するため、複雑な座標変換な
どを用いることなく簡潔に制御を行うことができる。Furthermore, according to the third problem-solving means, the steering control value is determined using the recognition result of the driving lane by the driving lane tracking device, so that control can be performed simply without using complicated coordinate transformations. Can be done.
【００１７】[0017]
【実施例】以下、本発明の第１の課題解決手段の実施例
を図１を参照しながら説明する。[Embodiment] An embodiment of the first problem solving means of the present invention will be described below with reference to FIG.
【００１８】図に示すように、ビデオカメラ１は車両前
方の道路を撮像し、道路画像を得るものであり、画像処
理手段２はビデオカメラ１から得られた道路画像内に設
定された処理領域に対してフィルタ処理や２値化処理な
どの画像処理を行なう。処理領域設定手段３は画像処理
手段２に対して処理すべき画像内の領域を指示する。走
行レーン認識手段４は画像処理手段２によって処理され
た道路画像の結果を用いて走行レーンを認識し、その認
識結果を処理領域設定手段３に与えるものである。As shown in the figure, the video camera 1 images the road in front of the vehicle to obtain a road image, and the image processing means 2 processes a processing area set within the road image obtained from the video camera 1. Image processing such as filter processing and binarization processing is performed on the image. The processing area setting means 3 instructs the image processing means 2 as to the area within the image to be processed. The driving lane recognition means 4 recognizes the driving lane using the result of the road image processed by the image processing means 2, and provides the recognition result to the processing area setting means 3.
【００１９】上記構成において、図２を参照しながら動
作を説明すると、まず、装置が始動されるとステップ２
１においてビデオカメラ１から車両前方の道路画像が取
り込まれる。図３にビデオカメラ１から取り込まれた道
路画像を示している。つぎにステップ２２に進み、処理
領域設定手段３による処理領域の設定が行なわれるが、
装置が始動した直後および走行レーンが認識されなかっ
た場合には画像全体、あるいはあらかじめ設定された初
期処理領域が処理領域として設定される。本実施例にお
いては、初期処理領域として道路画像の下半分が設定さ
れているものとする。つぎにステップ２３に進み、処理
領域内のエッジ検出処理が行なわれる。エッジの検出は
ｓｏｂｅｌフィルタに代表されるエッジ検出フィルタを
用いて行なうことができ、本実施例のような道路画像に
おいては、路面と路面に表示された白線との境界がエッ
ジとして抽出される。つぎにステップ２４に進み、ステ
ップ２３で得られたエッジ画像に対して２値化処理が行
なわれる。エッジ画像の２値化は、あらかじめ設定され
た所定のしきい値を用いて各画素を０あるいは１に置き
換えることによって行なうことができ、しきい値を適切
に選ぶことにより、ステップ２３で得られたエッジ画像
から路面と白線の境界を取り出すことができる。ステッ
プ２３のエッジ検出処理およびステップ２４の２値化処
理は画像処理手段２によって行なわれる。In the above configuration, the operation will be explained with reference to FIG. 2. First, when the device is started, step 2
1, a road image in front of the vehicle is captured from a video camera 1. FIG. 3 shows a road image captured from the video camera 1. Next, the process proceeds to step 22, where the processing area setting means 3 sets the processing area.
Immediately after the device is started and when the driving lane is not recognized, the entire image or a preset initial processing area is set as the processing area. In this embodiment, it is assumed that the lower half of the road image is set as the initial processing area. Next, the process proceeds to step 23, where edge detection processing within the processing area is performed. Edge detection can be performed using an edge detection filter such as a Sobel filter, and in a road image like the one in this embodiment, a boundary between a road surface and a white line displayed on the road surface is extracted as an edge. Next, the process proceeds to step 24, where the edge image obtained in step 23 is subjected to binarization processing. Binarization of the edge image can be performed by replacing each pixel with 0 or 1 using a predetermined threshold set in advance. The boundary between the road surface and the white line can be extracted from the edge image. The edge detection process in step 23 and the binarization process in step 24 are performed by the image processing means 2.
【００２０】図４は図３に示した道路画像に対してエッ
ジ検出処理および２値化処理を行なった結果を示してい
る。図４に破線で示した領域は設定された初期処理領域
であり、その内部に路面と白線の境界が検出された例を
示している。このとき、ビデオカメラ１の取り付け角度
を調節し、設定される処理領域が車両に十分近い路面と
なるようにすることで処理領域に前方の車両等が存在せ
ず、エッジとして路面と白線の境界のみを取り出せるよ
うにすることができる。つぎにステップ２５に進み、走
行レーンの近似処理が行なわれる。走行レーンの近似は
、たとえばハフ変換のような直線検出アルゴリズムを用
いて行なうことができる。ハフ変換は画像内の点列をパ
ラメータ空間内の曲線群に写し、パラメータ空間内で取
り出した特徴点から逆に直線を求めるアルゴリズムであ
り、本実施例の場合、２値化画像の処理領域内にある点
列をパラメータ空間に写し、パラメータ空間内で曲線の
密度が高い点を検出することによって走行レーンを示す
路面上の白線を抽出することができる。図５は図４に示
した２値化画像の処理領域内の点列に対してハフ変換を
行ない、走行レーンを直線で近似した例を示している。
カーブした道路についても、カーブを短い直線の連続と
してとらえ、近似する走行レーンの領域を車両の直前に
限定することによって車両と走行レーンの位置関係を十
分認識することができる。走行レーンの近似処理は走行
レーン認識手段４によって行なわれ、走行レーン認識手
段４はその近似結果により走行レーンと車両の位置関係
を認識する。FIG. 4 shows the results of edge detection processing and binarization processing performed on the road image shown in FIG. 3. The area indicated by the broken line in FIG. 4 is the set initial processing area, and shows an example in which a boundary between the road surface and the white line is detected. At this time, by adjusting the mounting angle of the video camera 1 and making sure that the processing area to be set is on the road surface sufficiently close to the vehicle, there will be no vehicle in front of the processing area, and the border between the road surface and the white line will be used as an edge. It is possible to take out only the Next, the process proceeds to step 25, where driving lane approximation processing is performed. The driving lane can be approximated using a straight line detection algorithm such as Hough transform. Hough transform is an algorithm that maps a sequence of points in an image to a group of curves in a parameter space and conversely calculates a straight line from the feature points extracted in the parameter space. By mapping the point sequence in the parameter space to the parameter space and detecting points with a high density of curves in the parameter space, it is possible to extract the white line on the road surface that indicates the driving lane. FIG. 5 shows an example in which a Hough transform is performed on a sequence of points in the processing area of the binarized image shown in FIG. 4, and a driving lane is approximated by a straight line. Even on a curved road, the positional relationship between the vehicle and the driving lane can be sufficiently recognized by considering the curve as a series of short straight lines and limiting the area of the approximate driving lane in front of the vehicle. The driving lane approximation process is performed by the driving lane recognition means 4, and the driving lane recognition means 4 recognizes the positional relationship between the driving lane and the vehicle based on the approximation result.
【００２１】ここで初期処理が終了し、制御の流れは再
びステップ２１へ戻る。ステップ２１では初期処理と同
様、車両前方の道路画像が取り込まれ、つぎにステップ
２２へ進む。ステップ２２では新しい処理領域の設定が
行なわれるが、ここでは前回のループにおけるステップ
２５で近似された走行レーンを基準として領域の設定が
行なわれる。本実施例においては、処理領域を左右３つ
ずつの矩形ウインドウとして設定することとし、各々の
ウインドウの中心が走行レーンを近似した直線上にくる
ように処理領域を設定するものとする。本実施例におい
ては、処理領域を左右３つずつの矩形ウインドウとして
設定したが、ウインドウの形状や個数については任意に
定めることができる。また、その設定位置も走行レーン
を近似した直線上に処理領域の中心を設定する必要はな
く、近似結果を利用した他の設定方法を用いても良い。[0021] The initial processing is now completed, and the flow of control returns to step 21 again. In step 21, similarly to the initial processing, a road image in front of the vehicle is captured, and the process then proceeds to step 22. In step 22, a new processing area is set, but here, the area is set based on the driving lane approximated in step 25 in the previous loop. In this embodiment, the processing area is set as three rectangular windows on the left and right sides, and the processing area is set so that the center of each window is on a straight line that approximates the driving lane. In this embodiment, the processing area is set as three rectangular windows on the left and right sides, but the shape and number of windows can be arbitrarily determined. Further, the setting position does not need to be such that the center of the processing area is set on a straight line that approximates the driving lane, and other setting methods using the approximation results may be used.
【００２２】図６は図５に示した走行レーンの近似直線
を基準としてウインドウを設定した例を示している。図
６におけるＲ１からＲ６までの矩形が設定された処理領
域を示している。以下、処理領域として設定されたウイ
ンドウ内の画像に対してステップ２３におけるエッジ検
出処理、ステップ２４における２値化処理、ステップ２
５における走行レーン近似処理が初期処理と同様の手順
で行なわれ、走行レーンの追跡が行なわれる。つぎに取
り込まれる道路画像に対しては新たに近似された走行レ
ーンを用いて処理領域が設定される。また、ステップ２
５において走行レーンの近似がうまく行なえなかった場
合には、つぎの道路画像に対して初期処理と同様の処理
領域を設定するようにし、認識率の低下を防ぐことがで
きる。FIG. 6 shows an example in which a window is set using the approximate straight line of the driving lane shown in FIG. 5 as a reference. The rectangles from R1 to R6 in FIG. 6 indicate the set processing area. Hereinafter, the edge detection process in step 23, the binarization process in step 24, and the step 2 will be performed on the image within the window set as the processing area.
The driving lane approximation process in step 5 is performed in the same procedure as the initial process, and the driving lane is tracked. For the next road image to be captured, a processing area is set using the newly approximated driving lane. Also, step 2
If the driving lane cannot be approximated well in step 5, a processing area similar to the initial processing is set for the next road image, thereby preventing a decrease in the recognition rate.
【００２３】以上説明したように本実施例によれば、走
行レーンの認識結果を用いてつぎの画像に対する処理領
域を設定するため、不要な領域の処理を行なうことなく
路面上の白線を検出することが可能であり、走行レーン
の追跡を安定して行なうことができる。As explained above, according to this embodiment, the processing area for the next image is set using the recognition result of the driving lane, so the white line on the road surface can be detected without processing unnecessary areas. This makes it possible to stably track the driving lane.
【００２４】つぎに、本発明の第２の課題解決手段の実
施例、すなわち、走行レーン追跡装置によって認識され
る走行レーンを用いて走行レーン内での車両の位置を認
識し、車両がレーンを逸脱する危険性がある場合にドラ
イバーに警報を与える走行レーン逸脱警報装置の実施例
を図７を参照しながら説明する。Next, we will discuss an embodiment of the second problem-solving means of the present invention, that is, the position of the vehicle within the driving lane is recognized using the driving lane recognized by the driving lane tracking device, and the vehicle moves along the lane. An embodiment of a driving lane departure warning device that warns the driver when there is a risk of departure will be described with reference to FIG.
【００２５】図に示すように、走行レーン追跡装置５は
上記実施例で説明したものであり、車両位置認識手段６
は走行レーン追跡装置５から出力される走行レーンの認
識結果を用いて走行レーン内での車両の位置を認識する
。レーン逸脱判断手段７は車両がレーンを逸脱する危険
性を判断する。警報手段８は車両がレーンを逸脱する危
険性があると判断された場合にドライバーに対して警報
を与えるものである。As shown in the figure, the driving lane tracking device 5 is the one explained in the above embodiment, and the vehicle position recognition means 6
recognizes the position of the vehicle within the driving lane using the driving lane recognition result output from the driving lane tracking device 5. The lane deviation determining means 7 determines the risk of the vehicle deviating from the lane. The warning means 8 gives a warning to the driver when it is determined that there is a risk that the vehicle will deviate from its lane.
【００２６】上記構成において図８を参照しながら動作
を説明すると、まず、ステップ２６において、走行レー
ン追跡装置５によって走行レーンの認識処理が行われる
。認識された走行レーンは図５に示したような直線近似
として出力される。つぎにステップ２７に進み、車両位
置認識手段６による車両位置の認識処理が行われる。
図９および図１０は車両位置の認識方法を説明する図で
あり、図９は車両が走行レーンの中央を走行している場
合に走行レーン追跡装置５から出力された認識結果であ
り、図１０は車両が走行レーンの中央から左に片寄って
走行している場合の認識結果である。θｌ、θｒはそれ
ぞれ画像底辺の中央Ｏから認識されたレーンを示す直線
に下ろした垂線が画像底辺となす角度であり、この角度
を用いて車両位置認識手段６は車両の走行レーン内での
位置を認識する。The operation of the above configuration will be described with reference to FIG. 8. First, in step 26, the driving lane tracking device 5 performs a driving lane recognition process. The recognized driving lane is output as a straight line approximation as shown in FIG. Next, the process proceeds to step 27, where the vehicle position recognition means 6 performs vehicle position recognition processing. 9 and 10 are diagrams illustrating a method for recognizing the vehicle position. FIG. 9 shows the recognition results output from the driving lane tracking device 5 when the vehicle is running in the center of the driving lane, and FIG. is the recognition result when the vehicle is traveling to the left from the center of the driving lane. θl and θr are angles formed by a perpendicular line drawn from the center O of the bottom of the image to a straight line indicating the recognized lane, and using these angles, the vehicle position recognition means 6 determines the position of the vehicle within the lane in which it is traveling. Recognize.
【００２７】図９に示したように、車両がレーンの中央
を走行している場合にはθｌ＝θｒの関係が成立ち、図
１０に示したように車両がレーンの中央から左に寄った
場合にはθｌ＜θｒ、逆に右に寄った場合にはθｌ＞θ
ｒの関係が検出される。そこで、車両のレーン内での位
置を表すパラメータとしてθｌ−θｒを用いることがで
きる。つぎにステップ２８に進み、レーン逸脱判断手段
７による車両のレーン逸脱の危険性判断処理が行われる
。レーン逸脱の危険性はステップ２７で検出されたパラ
メータθｌ−θｒを用いて行うことができる。θｌ−θ
ｒは車両が走行レーンの中央を走行している場合には０
となるので、θｌ−θｒが０からどの程度離れているか
を監視し、θｌ−θｒと０との差が予め定めたしきい値
を越えた場合にステップ２９においてドライバーに対し
て警報を与える。ここで、θｌ−θｒの符号から車両が
左右のどちら側に寄っているかが判断できるため、その
情報をドライバーに与えるようにすることもできる。ま
た、方向指示器の操作を監視することにより、ドライバ
ーの意志で走行レーンをはみ出そうとしている場合には
警報を与えないようにし、過剰な警報を抑えることもで
きる。As shown in FIG. 9, when the vehicle is running in the center of the lane, the relationship θl=θr holds, and as shown in FIG. 10, the vehicle moves to the left from the center of the lane. If it is, θl<θr, and conversely, if it is to the right, θl>θ
A relationship of r is detected. Therefore, θl−θr can be used as a parameter representing the position of the vehicle within the lane. Next, the process proceeds to step 28, where the lane departure determining means 7 performs a process of determining the risk of the vehicle departing from the lane. The risk of lane departure can be determined using the parameters θl-θr detected in step 27. θl−θ
r is 0 if the vehicle is running in the center of the driving lane.
Therefore, how far θl-θr is from 0 is monitored, and if the difference between θl-θr and 0 exceeds a predetermined threshold, a warning is given to the driver in step 29. Here, since it can be determined from the sign of θl-θr whether the vehicle is on the left or the right, it is also possible to provide this information to the driver. In addition, by monitoring the operation of the turn signal, it is possible to prevent excessive warnings by not giving a warning if the driver is attempting to deviate from the driving lane.
【００２８】以上説明したように本実施例によれば、走
行レーン追跡装置から出力された走行レーンの認識結果
を用いて車両の走行レーン内での位置を認識するため、
路面上の物体や雑音の影響を受けにくい位置認識が可能
である。As explained above, according to the present embodiment, the position of the vehicle within the driving lane is recognized using the recognition result of the driving lane outputted from the driving lane tracking device.
Position recognition is possible without being affected by objects on the road or noise.
【００２９】つぎに、本発明の第３の課題解決手段の実
施例、すなわち、走行レーン追跡装置によって認識され
る走行レーンおよび走行レーン逸脱警報装置によって認
識される車両の走行レーン内での位置を用いてステアリ
ング制御を行う自律走行制御装置の実施例について図１
１を参照しながら説明する。なお、上記実施例と同じ構
成のものは同一符号を付して説明を省略する。Next, we will discuss an embodiment of the third problem-solving means of the present invention, that is, the driving lane recognized by the driving lane tracking device and the position of the vehicle within the driving lane recognized by the driving lane deviation warning device. Figure 1 shows an example of an autonomous driving control device that performs steering control using
This will be explained with reference to 1. Components having the same configuration as those in the above embodiment are given the same reference numerals and explanations will be omitted.
【００３０】図に示すように、走行レーン逸脱警報装置
９は上記第２の課題解決手段の実施例で説明したもので
あり、車両傾き検出手段１０は走行レーン追跡装置５か
ら出力される走行レーンの認識結果から車両の走行レー
ンに対する傾きを検出するものである。ステアリング制
御手段１１は車両傾き検出手段１０によって検出された
車両の走行レーンに対する傾きと走行レーン逸脱警報装
置９における車両の走行レーン内での位置を示すパラメ
ータθｌ−θｒとを用いてステアリングの制御値を決定
する。As shown in the figure, the driving lane deviation warning device 9 is the one explained in the embodiment of the second problem solving means, and the vehicle tilt detecting means 10 detects the driving lane deviation output from the driving lane tracking device 5. The system detects the inclination of the vehicle relative to the driving lane based on the recognition results. The steering control means 11 uses the inclination of the vehicle with respect to the driving lane detected by the vehicle inclination detection means 10 and the parameters θl-θr indicating the position of the vehicle within the driving lane in the driving lane departure warning device 9 to determine a steering control value. Determine.
【００３１】上記構成において、図１２を参照しながら
動作を説明すると、まず、ステップ３０において走行レ
ーン追跡装置５によって走行レーンの認識処理が行われ
る。図１３は直線近似として出力された走行レーンの認
識結果を示す図であり、Ｖｐで示した２本の直線の交点
は画像内の無限遠点に対応する。つぎにステップ３１に
進み、車両傾き検出手段１０による車両の走行レーンに
対する傾き検出処理が行われる。車両の走行レーンに対
する傾きは図１３に示した点Ｖｐの画像内での位置から
検出することができる。ビデオカメラ１の取り付け角度
が路面に対して一定であれば点Ｖｐは画像内で常に同じ
高さに存在するため、図１４に示したようにＶｐの監視
領域をＶＬとして設定することができる。ここで、坂道
などを走行する場合のビデオカメラ１と路面の角度の変
化を考慮し、幅を持たせてＶＬを設定することもできる
。The operation of the above configuration will be described with reference to FIG. 12. First, in step 30, the driving lane tracking device 5 performs a driving lane recognition process. FIG. 13 is a diagram showing the recognition result of the driving lane output as a straight line approximation, and the intersection of two straight lines indicated by Vp corresponds to an infinity point in the image. Next, the process proceeds to step 31, where the vehicle inclination detection means 10 performs a process of detecting the inclination of the vehicle with respect to the driving lane. The inclination of the vehicle with respect to the driving lane can be detected from the position of point Vp in the image shown in FIG. If the mounting angle of the video camera 1 is constant with respect to the road surface, the point Vp always exists at the same height in the image, so the monitoring area of Vp can be set as VL as shown in FIG. 14. Here, it is also possible to set VL with a width in consideration of changes in the angle between the video camera 1 and the road surface when driving on a slope or the like.
【００３２】図１４に示した点ＶＬ０はＶＬの画像内で
の中点であり、車両が走行レーンに対して傾きを持たな
い場合にはＶｐはこの点の付近に検出される。そこでＶ
ｐのＶＬ０からのずれを車両の走行レーンに対する傾き
のパラメータとして用いることが可能である。つぎにス
テップ３２に進み、ステアリング制御手段１１によるス
テアリング制御が行われる。ここでのステアリング制御
はステップ３１で検出されたＶｐのＶＬ０からのずれに
比例させてステアリングの角度を決定し、その値をステ
アリング駆動部に与えることで行われる。つぎにステッ
プ３３に進み、走行レーン逸脱警報装置９による車両の
走行レーン内での位置認識が行われる。前記の実施例に
述べたように、車両の走行レーン内での位置はθｌ−θ
ｒで表されるので、ステップ３２と同様、この値に比例
させてステアリングの角度を決定し、ステアリングの制
御を行わせることができる。本実施例においては、車両
の走行レーン内での傾きを優先させて処理を行ったが、
車両の走行レーン内での位置に対する処理をこれと並列
させて行わせてもよい。Point VL0 shown in FIG. 14 is the midpoint in the image of VL, and if the vehicle does not have an inclination with respect to the driving lane, Vp will be detected near this point. So V
It is possible to use the deviation of p from VL0 as a parameter for the inclination of the vehicle with respect to the driving lane. Next, the process proceeds to step 32, where steering control by the steering control means 11 is performed. The steering control here is performed by determining the steering angle in proportion to the deviation of Vp from VL0 detected in step 31, and applying that value to the steering drive section. Next, the process proceeds to step 33, where the lane departure warning device 9 recognizes the position of the vehicle within the lane. As described in the previous embodiment, the position of the vehicle within the driving lane is θl−θ
Since it is represented by r, the steering angle can be determined in proportion to this value and the steering can be controlled as in step 32. In this example, processing was performed with priority given to the inclination of the vehicle within the driving lane.
Processing regarding the position of the vehicle within the driving lane may be performed in parallel with this.
【００３３】以上説明したように本実施例によれば、走
行レーン追跡装置から出力された走行レーンの認識結果
から検出される車両の走行レーンに対する傾きと、走行
レーン逸脱警報装置によって認識される車両の走行レー
ン内での位置を用いることにより、座標変換などの処理
を行わずに車両を自動的に走行レーンに沿って走行させ
ることが可能である。As explained above, according to this embodiment, the inclination of the vehicle with respect to the driving lane detected from the driving lane recognition result output from the driving lane tracking device and the vehicle recognized by the driving lane departure warning device By using the position within the driving lane, it is possible to automatically drive the vehicle along the driving lane without performing processing such as coordinate conversion.
【００３４】[0034]
【発明の効果】以上の実施例から明らかなように本発明
によれば、車両に装着され車両前方の道路を撮像するビ
デオカメラと、前記ビデオカメラから取り込まれた道路
画像に対して画像処理を行なう画像処理手段と、前記画
像処理手段が処理を行なう画像内の領域を設定する処理
領域設定手段と、前記画像処理手段の処理結果を用いて
走行レーンの認識を行なう走行レーン認識手段とを備え
、前記処理領域設定手段が前記走行レーン認識手段のレ
ーン認識結果に基づいて処理領域を設定すようにしたか
ら、認識された走行レーンを用いて道路画像内の処理領
域を設定するため、安定した白線検出を行なうことがで
き、走行レーンの追跡が可能である。As is clear from the above embodiments, according to the present invention, there is provided a video camera attached to a vehicle that images the road in front of the vehicle, and image processing is performed on the road image taken from the video camera. processing area setting means for setting an area in an image to be processed by the image processing means; and driving lane recognition means for recognizing a driving lane using the processing result of the image processing means. Since the processing area setting means sets the processing area based on the lane recognition result of the driving lane recognition means, the processing area in the road image is set using the recognized driving lane, so it is stable. It is possible to detect white lines and track driving lanes.
【００３５】また、上記走行レーン追跡装置から出力さ
れる走行レーンの認識結果を用いて車両の走行レーン内
での位置を認識する車両位置認識手段と、前記車両位置
認識手段によって認識された車両のレーン内での位置か
ら車両のレーン逸脱の危険性を判断するレーン逸脱判断
手段と、前記レーン逸脱判断手段が車両が走行レーンか
ら逸脱する危険性があると判断した場合にドライバーに
対して警報を与える警報手段とを備えたから、追跡され
た走行レーンを監視することにより、安定して車両の走
行レーン内での位置を認識し、車両が走行レーンを逸脱
しそうな場合にはドライバーに適切な警報を与え、注意
を促すことができる。[0035] Also, a vehicle position recognition means for recognizing the position of the vehicle within the travel lane using the recognition result of the travel lane outputted from the travel lane tracking device; A lane departure determination means for determining the risk of a vehicle departing from the lane based on its position within the lane; and a warning to the driver when the lane departure determination means determines that there is a risk of the vehicle departing from the driving lane. By monitoring the tracked driving lane, the vehicle's position within the driving lane can be stably recognized, and if the vehicle is about to deviate from the driving lane, an appropriate warning can be given to the driver. can be given and called for attention.
【００３６】さらに、上記走行レーン追跡装置から出力
される走行レーンの認識結果を用いて車両の走行レーン
に対する傾きを検出する車両傾き検出手段と、前記車両
傾き検出手段によって検出された車両の走行レーンに対
する傾きおよび前記走行レーン逸脱警報装置における車
両位置認識手段の出力として得られる車両のレーン内で
の位置を用いてステアリングの制御値を決定するステア
リング制御手段とを備えたから、認識された走行レーン
から車両の走行レーンに対する傾きと、走行レーン内で
の位置を求め、それらの値を用いてステアリングの制御
を行わせることにより、簡単な処理で車両を自動的にレ
ーンに沿って走行させることが可能である。[0036]Furthermore, vehicle inclination detection means detects the inclination of the vehicle with respect to the driving lane using the recognition result of the driving lane output from the driving lane tracking device, and the driving lane of the vehicle detected by the vehicle inclination detection means and a steering control means for determining a steering control value using the inclination of the vehicle and the position of the vehicle within the lane obtained as an output of the vehicle position recognition means in the driving lane departure warning device. By determining the vehicle's inclination to the driving lane and its position within the driving lane and controlling the steering using these values, it is possible to automatically drive the vehicle along the lane with simple processing. It is.
【図１】本発明の一実施例の走行レーン追跡装置の基本
構成を示すブロック図FIG. 1 is a block diagram showing the basic configuration of a driving lane tracking device according to an embodiment of the present invention.
【図２】同走行レーン追跡装置の動作フローチャート[Figure 2] Operation flowchart of the driving lane tracking device
【
図３】同走行レーン追跡装置のビデオカメラから取り込
まれた道路画像を示す図[
Figure 3: Diagram showing a road image captured from the video camera of the same driving lane tracking device
【図４】同走行レーン追跡装置の道路画像に対して画像
処理を行なった結果を示す図[Fig. 4] A diagram showing the results of image processing performed on the road image obtained by the driving lane tracking device.
【図５】同走行レーン追跡装置の近似された走行レーン
を示す図[Fig. 5] A diagram showing approximated driving lanes of the same driving lane tracking device.
【図６】同走行レーン追跡装置の近似された走行レーン
を基準として設定された処理領域を示す図[Fig. 6] A diagram showing a processing area set based on the approximated driving lane of the driving lane tracking device.
【図７】本発
明の一実施例の走行レーン逸脱警報装置の基本構成を示
すブロック図FIG. 7 is a block diagram showing the basic configuration of a driving lane departure warning device according to an embodiment of the present invention.
【図８】同走行レーン逸脱警報装置の動作フローチャー
ト[Figure 8] Operation flowchart of the lane departure warning device
【図９】同走行レーン逸脱警報装置の車両がレーンの中
央を走行中に得られる走行レーンの認識結果を示す図[Fig. 9] A diagram showing the recognition results of the driving lane obtained when the vehicle using the driving lane deviation warning device is driving in the center of the lane.
【
図１０】同走行レーン逸脱警報装置の車両がレーンの左
寄りを走行中に得られる走行レーンの認識結果を示す図[
Figure 10 is a diagram showing the recognition results of the driving lane obtained when the vehicle using the driving lane departure warning system is driving on the left side of the lane.
【図１１】本発明の一実施例の自律走行制御装置の基本
構成を示すブロック図FIG. 11 is a block diagram showing the basic configuration of an autonomous driving control device according to an embodiment of the present invention.
【図１２】同自律走行制御装置の動作フローチャート[Figure 12] Operation flowchart of the autonomous driving control device
【
図１３】同自律走行制御装置の車両の走行レーンに対す
る傾き検出の方法を説明する図[
FIG. 13 is a diagram illustrating a method of detecting the inclination of the vehicle with respect to the driving lane of the autonomous driving control device.
【図１４】同自律走行制御装置の画像内に設定された車
両の傾き監視領域を示す図[Fig. 14] A diagram showing the vehicle tilt monitoring area set in the image of the autonomous driving control device.
１ ビデオカメラ ２ 画像処理手段 ３ 処理領域設定手段 ４ 走行レーン認識手段 1 Video camera 2 Image processing means 3 Processing area setting means 4 Driving lane recognition means
Claims (3)
するビデオカメラと、前記ビデオカメラから取り込まれ
た道路画像に対して画像処理を行なう画像処理手段と、
前記画像処理手段が処理を行なう画像内の領域を設定す
る処理領域設定手段と、前記画像処理手段の処理結果を
用いて走行レーンの認識を行なう走行レーン認識手段と
を備え、前記処理領域設定手段が前記走行レーン認識手
段のレーン認識結果に基づいて処理領域を設定するよう
にしてなる走行レーン追跡装置。1. A video camera mounted on a vehicle to image a road in front of the vehicle; and an image processing means for performing image processing on a road image captured from the video camera.
The processing area setting means includes processing area setting means for setting an area in an image to be processed by the image processing means, and driving lane recognition means for recognizing a driving lane using a processing result of the image processing means. A driving lane tracking device configured to set a processing area based on a lane recognition result of the driving lane recognition means.
ら出力される走行レーンの認識結果を用いて車両の走行
レーン内での位置を認識する車両位置認識手段と、前記
車両位置認識手段によって認識された車両のレーン内で
の位置から車両のレーン逸脱の危険性を判断するレーン
逸脱判断手段と、前記レーン逸脱判断手段が車両が走行
レーンから逸脱する危険性があると判断した場合にドラ
イバーに対して警報を与える警報手段とを備えた走行レ
ーン逸脱警報装置。2. Vehicle position recognition means for recognizing the position of the vehicle within the travel lane using the recognition result of the travel lane output from the travel lane tracking device according to claim 1; and recognition by the vehicle position recognition means. lane departure determination means for determining the risk of the vehicle departing from the lane based on the vehicle's position within the lane; A driving lane departure warning device is provided with a warning means for giving a warning to the driver.
ら出力される走行レーンの認識結果を用いて車両の走行
レーンに対する傾きを検出する車両傾き検出手段と、前
記車両傾き検出手段によって検出された車両の走行レー
ンに対する傾きおよび請求項２記載の走行レーン逸脱警
報装置における車両位置認識手段の出力として得られる
車両のレーン内での位置を用いてステアリングの制御値
を決定するステアリング制御手段とを備えた自律走行制
御装置。3. Vehicle inclination detection means for detecting the inclination of the vehicle with respect to the driving lane using the recognition result of the driving lane outputted from the driving lane tracking device according to claim 1; Steering control means for determining a steering control value using the inclination of the vehicle with respect to the driving lane and the position of the vehicle within the lane obtained as an output of the vehicle position recognition means in the driving lane departure warning device according to claim 2. Autonomous driving control device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP3058455A JPH04293109A (en) | 1991-03-22 | 1991-03-22 | Running lane tracking device, running lane deviation alarm device and autonomous running controller |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP3058455A JPH04293109A (en) | 1991-03-22 | 1991-03-22 | Running lane tracking device, running lane deviation alarm device and autonomous running controller |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH04293109A true JPH04293109A (en) | 1992-10-16 |
Family
ID=13084898
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP3058455A Pending JPH04293109A (en) | 1991-03-22 | 1991-03-22 | Running lane tracking device, running lane deviation alarm device and autonomous running controller |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH04293109A (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05165518A (en) * | 1991-12-16 | 1993-07-02 | Kubota Corp | Crop string detector |
| US6076040A (en) * | 1996-09-27 | 2000-06-13 | Toyota Jidosha Kabushiki Kaisha | Vehicle running position detecting system |
| US6185492B1 (en) | 1997-07-09 | 2001-02-06 | Toyota Jidosha Kabushiki Kaisha | Vehicle steering control apparatus for assisting a steering effort to move a vehicle along a line desired by a driver |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH02120910A (en) * | 1988-10-31 | 1990-05-08 | Mazda Motor Corp | Image processor for moving vehicle |
| JPH02301808A (en) * | 1989-05-17 | 1990-12-13 | Mazda Motor Corp | Device for controlling running of moving vehicle |
| JPH02302900A (en) * | 1989-05-18 | 1990-12-14 | Agency Of Ind Science & Technol | Method for forecasting traveling position based on white line recognition on road |
| JPH04184603A (en) * | 1990-11-20 | 1992-07-01 | Toyota Motor Corp | Guide line detecting device |
-
1991
- 1991-03-22 JP JP3058455A patent/JPH04293109A/en active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH02120910A (en) * | 1988-10-31 | 1990-05-08 | Mazda Motor Corp | Image processor for moving vehicle |
| JPH02301808A (en) * | 1989-05-17 | 1990-12-13 | Mazda Motor Corp | Device for controlling running of moving vehicle |
| JPH02302900A (en) * | 1989-05-18 | 1990-12-14 | Agency Of Ind Science & Technol | Method for forecasting traveling position based on white line recognition on road |
| JPH04184603A (en) * | 1990-11-20 | 1992-07-01 | Toyota Motor Corp | Guide line detecting device |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05165518A (en) * | 1991-12-16 | 1993-07-02 | Kubota Corp | Crop string detector |
| US6076040A (en) * | 1996-09-27 | 2000-06-13 | Toyota Jidosha Kabushiki Kaisha | Vehicle running position detecting system |
| DE19742394C2 (en) * | 1996-09-27 | 2001-02-01 | Toyota Motor Co Ltd | Vehicle driving position detection system |
| US6185492B1 (en) | 1997-07-09 | 2001-02-06 | Toyota Jidosha Kabushiki Kaisha | Vehicle steering control apparatus for assisting a steering effort to move a vehicle along a line desired by a driver |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9773177B2 (en) | Surrounding environment recognition device | |
| US10891738B2 (en) | Boundary line recognition apparatus and branch road determination apparatus | |
| JP2002197470A (en) | Device for detecting traffic lane | |
| JP2005148817A (en) | Image processor for vehicle | |
| JPH08320997A (en) | Vehicle travel lane recognition device, and obstacle detector and road deviation reporting device | |
| EP1017036A1 (en) | Method and apparatus for detecting deviation of automobile from lane | |
| US9830518B2 (en) | Lane mark recognition device | |
| JP3704987B2 (en) | Vehicle travel control device | |
| JP3301995B2 (en) | Stereo exterior monitoring device | |
| JP3508213B2 (en) | Vehicle running state determination device | |
| KR101268282B1 (en) | Lane departure warning system in navigation for vehicle and method thereof | |
| Chapuis et al. | Real-time vehicle trajectory supervision on the highway | |
| US6636257B1 (en) | Mobile body recognizing apparatus and motor vehicle monitoring apparatus | |
| JPH08138036A (en) | Preceding vehicle recognition device | |
| CN111104824A (en) | Method for detecting lane departure, electronic device, and computer-readable storage medium | |
| JP3227247B2 (en) | Roadway detection device | |
| KR100355993B1 (en) | An apparatus for warning lane deviation and a method for warning the same | |
| JP3600314B2 (en) | External environment recognition device for vehicles | |
| JP2007299045A (en) | Lane recognition device | |
| JPH04293109A (en) | Running lane tracking device, running lane deviation alarm device and autonomous running controller | |
| JP2870372B2 (en) | Object recognition device | |
| JPH08320998A (en) | Lane marker detector | |
| JP2003044863A (en) | Device for recognizing partition line | |
| JP3399113B2 (en) | Vehicle travel path recognition device and alarm / travel control device using the same | |
| JPH02241855A (en) | Preceding vehicle identifying method |