JPH07239996A - Course recognition device - Google Patents
Course recognition deviceInfo
- Publication number
- JPH07239996A JPH07239996A JP6029936A JP2993694A JPH07239996A JP H07239996 A JPH07239996 A JP H07239996A JP 6029936 A JP6029936 A JP 6029936A JP 2993694 A JP2993694 A JP 2993694A JP H07239996 A JPH07239996 A JP H07239996A
- Authority
- JP
- Japan
- Prior art keywords
- template
- guideline
- image
- straight line
- road
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Instructional Devices (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
【０００１】[0001]
【産業上の利用分野】本発明は走路認識装置に関し、特
に画像センサで得た道路の画像から道路のガイドライン
を検出して走路認識を行なう走路認識装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a track recognition device, and more particularly to a track recognition device for detecting a guideline of a road from an image of the road obtained by an image sensor to recognize the track.
【０００２】[0002]
【従来の技術】従来より、車両の自動操縦等を実現する
ための要素技術として、画像センサを用いた道路白線検
出装置が提案されている。例えば本出願人は、特願平４
−２６５６５５号において、車両前方道路をカメラによ
り撮像して得られた撮像画像を所定サイズのサーチウィ
ンドウで走査し、予め白線形状に適合するように設定し
ておいたテンプレートとの相関が最も高い領域を白線と
して認識する道路白線検出装置を開示している。2. Description of the Related Art Conventionally, a road white line detecting device using an image sensor has been proposed as an elemental technology for realizing automatic vehicle operation and the like. For example, the applicant of the present invention is Japanese Patent Application No.
In No. 265655, a region having the highest correlation with the template which is set in advance to match the white line shape by scanning a captured image obtained by capturing the road ahead of the vehicle with a camera in a search window of a predetermined size. There is disclosed a road white line detection device that recognizes as a white line.
【０００３】この装置は、車両中央に配設したカメラで
白線を撮像した場合、通常は車両左側の白線は右上が
り、車両右側の白線は左上がりに、それぞれアスファル
ト部分より高輝度に撮像されることに鑑み、予め右上が
り、左上がり等の白線に描かれたテンプレートを容易に
し、撮像画像中からサーチウィンドウとして切り出した
画像とテンプレートとの相関を演算し、最も高い相関の
得られた走査位置を白線領域として把握するものであ
る。In this device, when a white line is picked up by a camera arranged in the center of the vehicle, the white line on the left side of the vehicle normally goes up to the right and the white line on the right side of the vehicle goes up to the left, respectively, with higher brightness than the asphalt portion. In view of this, it is easy to preliminarily draw a template drawn in a white line such as rising to the right or rising to the left, calculate the correlation between the image cut out as a search window from the captured image and the template, and obtain the scanning position with the highest correlation. Is a white line area.
【０００４】ところで、走行路がカーブに差しかかる
と、車両から比較的離間した位置の白線は、左カーブの
とき車両左側の白線が左上がりに、又は右カーブのとき
車両右側の白線が右上がりになる場合がある。一方、自
動制御等の車両制御に白線検出の結果を利用するために
は、比較的遠方の白線位置を検出する必要がある。この
ため、白線検出の際に参照するテンプレートが固定テン
プレートでは実用的な白線検出を実現することができな
い。By the way, when the road approaches a curve, the white line at a position relatively distant from the vehicle is such that the white line on the left side of the vehicle rises to the left when the curve is left, or the white line on the right side of the vehicle rises to the right when the curve is right. May be. On the other hand, in order to use the result of the white line detection for vehicle control such as automatic control, it is necessary to detect the position of the white line relatively far away. Therefore, if the template referred to when detecting the white line is a fixed template, practical white line detection cannot be realized.
【０００５】そこで、上記装置においては、白線形状が
比較的安定している車両直前部において固定テンプレー
トによる白線検出を行い、その際に撮像画像中テンプレ
ートと最も適合した部分を、より遠方のテンプレートと
することで、順次遠方の白線を検出する手法を採用して
いる。この場合、白線検出に用いるテンプレートの形状
と実際の白線形状とが道路のカーブ如何によって大きく
かけ離れることがなく、車両から離間した位置において
白線位置を検出することが可能となる。Therefore, in the above apparatus, the white line is detected by the fixed template in the front part of the vehicle where the white line shape is relatively stable, and at that time, the portion most suitable for the template in the captured image is set as the farther template. By doing so, a method of sequentially detecting distant white lines is adopted. In this case, the shape of the template used for detecting the white line and the actual shape of the white line do not greatly differ from each other depending on the curve of the road, and the white line position can be detected at a position separated from the vehicle.
【０００６】[0006]
【発明が解決しようとする課題】従来装置では撮像画像
の車両直前部において、白線の傾き及び幅及び輝度が固
定した固定テンプレートを用いて白線検出を行なってい
る。しかし、道路上の白線の幅は一定とは限らないし、
更に走行路がカーブしていたり、画像センサの取付角度
のずれ又は経時変化で画像センサの撮像方向に誤差があ
ると撮像画像における白線の傾きは車両直前部であって
も固定テンプレートとずれてしまう。このように、撮像
画像と固定テンプレートとで白線の幅及び傾きのずれが
大きくなると白線検出の精度が悪化するという問題があ
った。本発明は上記の点に鑑みなされたもので、撮像さ
れた道路画像からエッジ検出して得た直線から傾き及び
幅の少なくとも一方を決定したガイドラインを持つテン
プレートを作成し、このテンプレートを用いて道路画像
のガイドラインを認識することにより、撮像された道路
画像とテンプレートとのガイドラインのずれがきわめて
小さく、ガイドライン検出精度が向上する走路認識装置
を提供することを目的とする。In the conventional device, the white line is detected in the front part of the vehicle of the captured image by using the fixed template in which the inclination, width and brightness of the white line are fixed. However, the width of the white line on the road is not always constant,
Furthermore, if there is an error in the imaging direction of the image sensor due to a curved running path, a deviation in the mounting angle of the image sensor, or a change over time, the inclination of the white line in the captured image will deviate from the fixed template even in the front of the vehicle. . As described above, there is a problem that the accuracy of white line detection deteriorates when the width and inclination of the white line between the captured image and the fixed template become large. The present invention has been made in view of the above points, and creates a template having a guideline in which at least one of inclination and width is determined from a straight line obtained by edge detection from a captured road image, and using this template, a road is created. It is an object of the present invention to provide a roadway recognition device in which the deviation of the guideline between the captured road image and the template is extremely small and the guideline detection accuracy is improved by recognizing the guideline of the image.
【０００７】[0007]
【課題を解決するための手段】請求項１の発明は、図１
の原理図に示す如く、車両前方の道路を撮像する画像セ
ンサＭ１と、撮像された道路画像から画素値が急変する
エッジ点を検出するエッジ検出部Ｍ２と、検出された複
数のエッジ点に近似する直線を抽出する直線抽出部Ｍ３
と抽出された直線と同一の傾きを持つガイドラインのテ
ンプレートを作成するテンプレート作成部Ｍ４と、上記
道路画像の各部と作成されたテンプレートとの相関演算
を行なう相関演算部Ｍ５と、演算された相関値に基き道
路画像上のガイドライン位置を認識するガイドライン認
識部Ｍ６とを有する。The invention according to claim 1 is based on FIG.
As shown in the principle diagram of 1., an image sensor M1 that captures an image of the road ahead of the vehicle, an edge detection unit M2 that detects an edge point where the pixel value suddenly changes from the captured image of the road, and a plurality of detected edge points are approximated. A straight line extraction unit M3 for extracting a straight line
And a template creation unit M4 that creates a guideline template having the same slope as the extracted straight line, a correlation calculation unit M5 that performs a correlation calculation between each part of the road image and the created template, and a calculated correlation value And a guideline recognition unit M6 for recognizing the guideline position on the road image.
【０００８】また、請求項２の発明では、直線抽出部Ｍ
３は、画素値が増大する方向に急変する正のエッジ点
と、画素値が減小する方向に急変する負のエッジ点との
夫々を近似する一対の直線を抽出し、テンプレート作成
部Ｍ４は、上記一対の直線の離間距離と略同一幅で所定
の傾きのガイドラインのテンプレートを作成する。According to the second aspect of the invention, the straight line extraction section M
3 extracts a pair of straight lines that respectively approximate a positive edge point that suddenly changes in the direction in which the pixel value increases and a negative edge point that suddenly changes in the direction in which the pixel value decreases, and the template creation unit M4 A template of a guideline having a predetermined inclination with a width substantially the same as the distance between the pair of straight lines is created.
【０００９】また、請求項３の発明では、直線抽出部Ｍ
３は、画素値が増大する方向に急変する正のエッジ点
と、画素値が減小する方向に急変する負のエッジ点との
夫々を近似する一対の直線を抽出し、テンプレート作成
部Ｍ４は、上記一対の直線の離間距離と略同一幅で、か
つ同一の傾きを持つのガイドラインのテンプレートを作
成する。According to the third aspect of the invention, the straight line extraction unit M
3 extracts a pair of straight lines that respectively approximate a positive edge point that suddenly changes in the direction in which the pixel value increases and a negative edge point that suddenly changes in the direction in which the pixel value decreases, and the template creation unit M4 , A guideline template having substantially the same width as the distance between the pair of straight lines and having the same inclination is created.
【００１０】[0010]
【作用】請求項１の発明においては、撮像された道路画
像からエッジ検出して得た直線と同一の傾きのガイドラ
インを持つテンプレートを作成し、このテンプレートを
用いて道路画像のガイドラインを認識するため、撮像さ
れた道路画像とテンプレートとのガイドラインの傾きの
ずれが小さく、ガイドライン検出精度が向上する。According to the first aspect of the present invention, a template having a guideline having the same inclination as a straight line obtained by edge detection from a captured road image is created, and the guideline of the road image is recognized using this template. , The deviation of the inclination of the guideline between the captured road image and the template is small, and the guideline detection accuracy is improved.
【００１１】請求項２の発明においては、撮像された道
路画像からエッジ検出して得た一対の直線と同一幅のガ
イドラインを持つテンプレートを作成し、このテンプレ
ートを用いて道路画像のガイドラインを認識するため、
撮像された道路画像とテンプレートとのガイドラインの
幅のずれが小さく、ガイドライン検出精度が向上する。According to the second aspect of the present invention, a template having a guideline having the same width as a pair of straight lines obtained by edge detection from the captured road image is created, and the guideline of the road image is recognized using this template. For,
The deviation of the width of the guideline between the captured road image and the template is small, and the guideline detection accuracy is improved.
【００１２】請求項３の発明においては、撮像された道
路画像からエッジ検出して得た一対の直線と同一の傾き
及び幅のガイドラインを持つテンプレートを作成し、こ
のテンプレートを用いて道路画像のガイドラインを認識
するため、撮像された道路画像とテンプレートとのガイ
ドラインの傾き及び幅のずれが小さく、ガイドライン検
出精度が向上する。According to the third aspect of the present invention, a template having a guideline of the same inclination and width as a pair of straight lines obtained by edge detection from the captured road image is created, and the guideline of the road image is created using this template. Therefore, the inclination and width of the guideline between the captured road image and the template are small, and the guideline detection accuracy is improved.
【００１３】[0013]
【実施例】図２は本発明装置の一実施例のブロック図を
示す。同図中、画像センサとしてのビデオカメラ１０で
撮像した前方の道路画像の画像信号はＤ／Ａコンバータ
でディジタル化され、走路認識電子回路１１に供給され
る。FIG. 2 shows a block diagram of an embodiment of the device of the present invention. In the figure, the image signal of the road image in the front taken by the video camera 10 as the image sensor is digitized by the D / A converter and supplied to the track recognition electronic circuit 11.
【００１４】走路認識電子回路１１は、１画面分の画像
データを格納するフレームメモリ１５、フレームメモリ
１５内で隣接する画素の画素値（モノクロームの場合は
輝度）の偏差からエッジを検出するソーベルオペレータ
等の微分オペレータであるエッジ検出部１６、エッジ検
出部１６で検出された複数のエッジ点から最小二乗法等
を用いて直線近似を行なって直線を抽出する直線抽出部
１７、直線抽出部１７で抽出された直線からテンプレー
トを作成するテンプレート作成部１８、テンプレート作
成部１８で作成されたテンプレートとフレームメモリ１
５の道路画像の各部との相関を演算する相関演算部１９
と、相関演算部１９の演算結果から道路画像におけるガ
イドライン位置を認識して認識結果を走路制御電子回路
３０に供給するガイドライン認識部２０と、フレームメ
モリ１５からガイドライン認識部２０までの各回路を制
御する制御部２１とから構成されている。The track recognition electronic circuit 11 detects an edge from a frame memory 15 that stores image data for one screen and a deviation between pixel values (luminance in the case of monochrome) of adjacent pixels in the frame memory 15. An edge detection unit 16 that is a differential operator such as an operator, a straight line extraction unit 17 that performs straight line approximation from a plurality of edge points detected by the edge detection unit 16 using the least square method, and extracts a straight line, a straight line extraction unit 17 Template creating unit 18 for creating a template from the straight line extracted in step 1, and the template and frame memory 1 created by the template creating unit 18.
Correlation calculator 19 that calculates the correlation with each part of the road image 5
And the guideline recognition unit 20 that recognizes the guideline position in the road image from the calculation result of the correlation calculation unit 19 and supplies the recognition result to the track control electronic circuit 30, and each circuit from the frame memory 15 to the guideline recognition unit 20. And a control unit 21 for controlling the operation.
【００１５】ところで、ガイドラインとしては道路のと
中央線や路側境界線を示す白線、又は追越禁止を表わす
黄線等がある。By the way, as a guideline, there are a white line indicating the center line of the road, a roadside boundary line, or a yellow line indicating overtaking prohibition.
【００１６】なお、走行制御電子回路３０は操舵制御、
車速制御等の各種制御を行なうものである。The traveling control electronic circuit 30 controls the steering,
Various controls such as vehicle speed control are performed.
【００１７】図３は走路認識電子回路１２が実行する走
路認識処理の一実施例のフローチャートを示す。この処
理は所定時間毎に実行される。同図中、制御部２１はス
テップＳ１０でフレームメモリ１５に格納された道路画
像に対してサーチウィンドウを設定する。ここで図４に
示す道路画像４０にガイドライン４１，４２があると
き、左側ガイドライン４１を検出するためのサーチウィ
ンドウ４３は通常走行状態でガイドライン４１が存在す
るであろう所定の垂直，水平位置を基準として、例えば
垂直方向１６画素×水平方向４８の領域である。なお、
サーチウィンドウ４３の位置は所定の垂直位置で、前回
の走路認識処理でガイドラインを検出した水平位置を基
準に設定しても良い。FIG. 3 shows a flow chart of an embodiment of the track recognition process executed by the track recognition electronic circuit 12. This process is executed every predetermined time. In the figure, the control unit 21 sets a search window for the road image stored in the frame memory 15 in step S10. Here, when the road image 40 shown in FIG. 4 has the guide lines 41 and 42, the search window 43 for detecting the left guide line 41 is based on the predetermined vertical and horizontal positions where the guide line 41 will exist in the normal running state. The area is, for example, 16 pixels in the vertical direction × 48 pixels in the horizontal direction. In addition,
The position of the search window 43 is a predetermined vertical position, and may be set with reference to the horizontal position where the guideline is detected in the previous track recognition process.
【００１８】次にステップＳ２０で制御部２１はエッジ
検出部１６に上記サーチウィンドウ４３内の水平方向の
エッジ検出を行なわせる。これによりエッジ検出部１６
はサーチウィンドウ４３内の各ラインについて左端から
右端に向けて順次、隣接する画素値の偏差つまり微分値
を求めエッジ点を検出する。道路画像においてアスファ
ルト部は輝度が低く、白縁部は輝度が高いため、ガイド
ライン４１の左側縁では偏差（微分値）が正の大きな値
となり、右側縁では偏差が負の大きな点となって検出さ
れる。エッジ検出部１６はステップＳ３０でエッジ点の
うち、偏差の絶対値がしきい値を越えるものだけをエッ
ジ点とし、しきい値以下のものはノイズとみなして捨て
る。これによって図５に示す如く、サーチウィンドウ４
３内で○印で示す偏差が正のエッジ点と×印で示す偏差
が負のエッジ点とが検出される。次に、ステップＳ４０
で制御部２１はサーチウィンドウ４３内で検出されたエ
ッジ点数が所定値以上か否かを判別し、所定値未満であ
ればフレームメモリ１５の道路画像にはガイドラインが
存在しないとみなして処理を終了する。エッジ点数が所
定値を越えていればステップＳ２０に進み、直線抽出部
１７に直線抽出を行なわせる。これにより、直線抽出部
１７は偏差が正，負夫々について複数のエッジ点から最
小二乗法を用いて直線近似を行なって図５に示す直線４
４，４５を求める。この直線４４，４５は傾きａが同一
として求められ、次式で表わされる。Next, in step S20, the control unit 21 causes the edge detection unit 16 to detect a horizontal edge in the search window 43. As a result, the edge detector 16
Detects the edge point of each line in the search window 43 sequentially from the left end to the right end by obtaining the deviation between adjacent pixel values, that is, the differential value. In the road image, the asphalt part has low brightness and the white edge part has high brightness. Therefore, the deviation (differential value) has a large positive value on the left edge of the guideline 41, and the deviation has a large negative value on the right edge. To be done. In step S30, the edge detection unit 16 regards only the edge points whose absolute value of the deviation exceeds the threshold value as the edge points, and regards the edge points less than the threshold value as noise and discards them. As a result, as shown in FIG.
In FIG. 3, edge points with positive deviation indicated by ◯ and edge points with negative deviation indicated by x are detected. Next, step S40.
Then, the control unit 21 determines whether or not the number of edge points detected in the search window 43 is equal to or more than a predetermined value, and if less than the predetermined value, it is considered that the road image in the frame memory 15 does not have a guideline, and the process is ended. To do. If the number of edge points exceeds the predetermined value, the process proceeds to step S20, and the straight line extraction unit 17 is made to perform straight line extraction. As a result, the straight line extraction unit 17 performs straight line approximation by using the least squares method from a plurality of edge points for each of positive and negative deviations, and the straight line 4 shown in FIG.
Ask for 4,45. The straight lines 44 and 45 are obtained with the same inclination a, and are expressed by the following equation.
【００１９】ｘ＝ａｙ＋ｂ2 …（１） ｘ＝ａｙ＋ｂ1 …（２） 次にステップＳ６０で制御部２１はテンプレート作成部
１８に直線４４，４５からテンプレートを作成させる。
これにより、テンプレート作成部１８は（１），（２）
式から｜ｂ1 −ｂ｜を求め、これをテンプレートのガイ
ドライン幅とし、図６に示す如く例えば水平方向１６画
素×垂直方向１６画素のテンプレート５０の中心位置Ｏ
を挟んで水平方向に｜ｂ1 −ｂ2 ｜だけ離間した一対の
画素Ｐ1，Ｐ2 夫々を通り傾きがａの２つの直線を引
き、この２つの直線の内側の画素の画素値をｄｗ、外側
の画素の画素値をｄｂとしてテンプレート５０を作成す
る。画素値ｄｗは標準的なガイドライン部分の固定の画
素値であり、画素値ｄｂは標準的なアスファルト部分の
固定の画素値であり、ｄｗ＞ｄｂの関係にある。つまり
テンプレート５０は道路画像を元に作成される。X = ay + b 2 (1) x = ay + b 1 (2) Next, in step S60, the control unit 21 causes the template creating unit 18 to create a template from the straight lines 44 and 45.
As a result, the template creation unit 18 is (1), (2)
From the formula, | b 1 −b | is obtained, and this is taken as the guideline width of the template, and as shown in FIG. 6, for example, the center position O of the template 50 of 16 pixels in the horizontal direction × 16 pixels in the vertical direction.
A straight line is drawn through the pair of pixels P 1 and P 2 that are horizontally separated by | b 1 −b 2 | with a slope of a, and the pixel value of the pixel inside these two straight lines is dw. , The template 50 is created with the pixel values of the outer pixels set to db. The pixel value dw is a fixed pixel value in the standard guideline portion, the pixel value db is a fixed pixel value in the standard asphalt portion, and has a relationship of dw> db. That is, the template 50 is created based on the road image.
【００２０】次にステップＳ７０で制御部２１はフレー
ムメモリ１５の画像のサーチウィンドウ４３内の画素値
のヒストグラムを作成する。例えば図７の実線で示すヒ
ストグラムが作成されると、ヒストグラム上で低輝度の
ピークｐｂをアスファルト部の固定の画素値ｄｂに移動
し、かつ高輝度のピークｐｗをガイドラインの固定の画
素値ｄｗに移動するようにサーチウィンドウ４３内の全
画素の画素値について階調変換を行なう。これによって
階調変換後のサーチウィンドウ４３内の画素値のヒスト
グラムは図７の破線に示す如くなる。Next, in step S70, the control unit 21 creates a histogram of pixel values in the search window 43 of the image in the frame memory 15. For example, when the histogram shown by the solid line in FIG. 7 is created, the low-brightness peak pb is moved to the fixed pixel value db of the asphalt portion on the histogram, and the high-brightness peak pw is set to the fixed pixel value dw of the guideline. Gradation conversion is performed on the pixel values of all the pixels in the search window 43 so as to move. As a result, the histogram of the pixel values in the search window 43 after gradation conversion becomes as shown by the broken line in FIG.
【００２１】この後、ステップＳ８０で制御部２１は相
関演算部１９に相関演算を行なわせる。これにより相関
演算部１９は階調変換されたサーチウィンドウ４３に対
してテンプレート５０を画素単位で移動させ、各移動位
置で互いに対応するサーチウィンドウ４３の画素値とテ
ンプレート５０の画素値との差の絶対値の総和を相関値
として演算する。Thereafter, in step S80, the control section 21 causes the correlation calculation section 19 to perform the correlation calculation. As a result, the correlation calculator 19 moves the template 50 pixel by pixel with respect to the tone-converted search window 43, and the difference between the pixel value of the search window 43 and the pixel value of the template 50 corresponding to each other at each moving position is calculated. The sum of absolute values is calculated as the correlation value.
【００２２】この後ステップＳ９０で制御部２１はガイ
ドライン認識部２０に認識を行なわせる。これによって
ガイドライン認識部２０は相関演算時にテンプレートの
各移動位置で算出された相関値から最小の相関値を選択
し、その移動位置におけるテンプレート５０の中心位置
０に対応するサーチウィンドウ４３上の画素の位置をガ
イドライン位置として検出及び認識する。After that, in step S90, the control unit 21 causes the guideline recognition unit 20 to perform recognition. As a result, the guideline recognition unit 20 selects the minimum correlation value from the correlation values calculated at each moving position of the template at the time of the correlation calculation, and determines the pixel on the search window 43 corresponding to the center position 0 of the template 50 at the moving position. Detect and recognize the position as a guideline position.
【００２３】この後、制御部２１はステップＳ１００で
上記ガイドライン認識部２０で選択された最小の相関値
が所定値以下で充分に小さいかどうかを判別し、充分に
小さい場合はステップＳ１１０で信頼できるガイドライ
ン位置であるとして走行制御電子回路３０に通知させ、
また充分に小さくない場合はステップＳ１２０でガイド
ライン位置を検出したか信頼性は低いとして走行制御電
子回路３０に通知させ処理を終了する。After that, the control unit 21 determines in step S100 whether the minimum correlation value selected by the guideline recognition unit 20 is sufficiently smaller than a predetermined value, and if it is sufficiently small, it can be reliable in step S110. Let the traveling control electronic circuit 30 notify that it is the guideline position,
If it is not sufficiently small, it is determined in step S120 that the guideline position is detected or the reliability is low, and the running control electronic circuit 30 is notified and the process ends.
【００２４】ところで上記ステップＳ１０〜Ｓ１２０の
処理は、図４に示す左側のガイドライン４１についてサ
ーチウィンドウ４３とは垂直方向位置が異なる複数のサ
ーチウィンドウを設定して同様に行なわれ、更に右側の
ガイドライン４２についてもまったく同様に行なわれ
る。The steps S10 to S120 are similarly performed by setting a plurality of search windows different in vertical position from the search window 43 for the guideline 41 on the left side shown in FIG. Is done in exactly the same way.
【００２５】このように、テンプレートは撮像画像のサ
ーチウィンドウのエッジ検出により得たガイドラインの
傾きを基に作成するため、カーブや画像センサの撮像方
向の誤差があっても、道路画像のガイドラインとテンプ
レートのガイドラインとの傾きが一致し、ガイドライン
の検出精度が高くなる。As described above, since the template is created based on the inclination of the guideline obtained by detecting the edge of the search window of the captured image, even if there is an error in the curve or the image pickup direction of the image sensor, the guideline of the road image and the template are generated. The inclination of the guideline matches the guideline, and the guideline detection accuracy increases.
【００２６】また、ガイドラインを検出したい領域つま
りサーチウィンドウでエッジ点を検出し、エッジ点数が
少ない時にはガイドラインが存在しないとするため、ガ
イドラインの存在しない領域であっても、ガイドライン
を検出しようとし、誤った認識を行なうことがない。Further, since an area where a guideline is desired to be detected, that is, an edge point is detected in a search window and the guideline does not exist when the number of edge points is small, an attempt is made to detect the guideline even in an area where the guideline does not exist. There is no recognition.
【００２７】また、実際の道路のガイドラインはどこで
も一定の太さではないが、サーチウィンドウの中から検
出した一対の直線の離間距離からガイドラインの幅を検
出し、その幅をテンプレートのガイドライン幅として使
用するため、ガイドラインの幅の変化に対応でき、検出
精度が高くなる。Although the actual road guideline does not have a constant thickness anywhere, the guideline width is detected from the distance between a pair of straight lines detected in the search window, and that width is used as the guideline width of the template. Therefore, it is possible to cope with the change in the width of the guideline, and the detection accuracy is improved.
【００２８】更に、道路画像の階調変換を行なうため、
テンプレートと道路画像とのガイドラインの輝度が同程
度となり、相関値によるガイドラインの検出精度が向上
する。Further, in order to perform gradation conversion of the road image,
The brightness of the guideline in the template and the guideline of the road image are similar, and the detection accuracy of the guideline based on the correlation value is improved.
【００２９】なお、上記実施例ではサーチウィンドウ内
の正，負のエッジ点から一対の直線を抽出しているが、
正又は負の一方のエッジ点から１本の直線を抽出し、こ
の直線と同一の傾きで所定幅のガイドラインを持つテン
プレートを作成しても良く、更に抽出した一対の直線の
離間距離と同一幅で所定の傾きのガイドラインを持つテ
ンプレートを作成しても良く、上記実施例に限定されな
い。Although a pair of straight lines are extracted from the positive and negative edge points in the search window in the above embodiment,
One straight line may be extracted from one of the positive or negative edge points, and a template having a guideline of a predetermined width with the same slope as this straight line may be created. A template having a predetermined inclination guideline may be created with, and is not limited to the above-mentioned embodiment.
【００３０】[0030]
【発明の効果】上述の如く、請求項１の発明によれば、
撮像された道路画像からエッジ検出して得た直線と同一
の傾きのガイドラインを持つテンプレートを作成し、こ
のテンプレートを用いて道路画像のガイドラインを認識
することにより、撮像された道路画像とテンプレートと
のガイドラインの傾きのずれが小さく、ガイドライン検
出精度が向上することができる。As described above, according to the invention of claim 1,
By creating a template with a guideline of the same inclination as the straight line obtained by edge detection from the captured road image and recognizing the guideline of the road image using this template, the captured road image and the template The deviation of the inclination of the guideline is small, and the guideline detection accuracy can be improved.
【００３１】また、請求項２の発明によれば、撮像され
た道路画像からエッジ検出して得た一対の直線と同一幅
のガイドラインを持つテンプレートを作成し、このテン
プレートを用いて道路画像のガイドラインを認識するた
め、撮像された道路画像とテンプレートとのガイドライ
ンの幅のずれが小さく、ガイドライン検出精度が向上す
る。また、請求項３の発明によれば、撮像された道路画
像からエッジ検出して得た一対の直線と同一の傾き及び
幅のガイドラインを持つテンプレートを作成し、このテ
ンプレートを用いて道路画像のガイドラインを認識する
ため、撮像された道路画像とテンプレートとのガイドラ
インの傾き及び幅のずれが小さく、ガイドライン検出精
度が向上し、実用上きわめて有用である。According to the second aspect of the present invention, a template having a guideline having the same width as a pair of straight lines obtained by edge detection from the captured road image is created, and the guideline of the road image is created using this template. Therefore, the deviation of the guideline width between the captured road image and the template is small, and the guideline detection accuracy is improved. Further, according to the invention of claim 3, a template having a guideline of the same inclination and width as a pair of straight lines obtained by edge detection from the captured road image is created, and using this template, the guideline of the road image is created. Therefore, the inclination and width of the guideline between the captured road image and the template are small, and the guideline detection accuracy is improved, which is extremely useful in practice.
【図１】本発明の原理図である。FIG. 1 is a principle diagram of the present invention.
【図２】本発明装置のブロック図である。FIG. 2 is a block diagram of the device of the present invention.
【図３】本発明の走路認識処理のフローチャートであ
る。FIG. 3 is a flowchart of a road recognition process of the present invention.
【図４】道路画像を示す図である。FIG. 4 is a diagram showing a road image.
【図５】サーチウィンドウを示す図である。FIG. 5 is a diagram showing a search window.
【図６】テンプレートを示す図である。FIG. 6 is a diagram showing a template.
【図７】ヒストグラムを示す図である。FIG. 7 is a diagram showing a histogram.
１０ ビデオカメラ １１ Ｄ／Ａコンバータ １２ 走路認識電子回路 １５ フレームメモリ １６ エッジ検出部 １７ 直線抽出部 １８ テンプレート作成部 １９ 相関演算部 ２０ ガイドライン認識部 ２１ 制御部 ３０ 走行制御電子回路 10 Video Camera 11 D / A Converter 12 Track Recognition Electronic Circuit 15 Frame Memory 16 Edge Detection Section 17 Straight Line Extraction Section 18 Template Creation Section 19 Correlation Calculation Section 20 Guideline Recognition Section 21 Control Section 30 Travel Control Electronic Circuit
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｇ０６Ｔ 7/00 Ｇ０９Ｂ 29/00 ─────────────────────────────────────────────────── ─── Continuation of the front page (51) Int.Cl. 6 Identification code Internal reference number FI Technical display location G06T 7/00 G09B 29/00
Claims (3)
と、 撮像された道路画像から画素値が急変するエッジ点を検
出するエッジ検出部と、 検出された複数のエッジ点に近似する直線を抽出する直
線抽出部と、 抽出された直線と同一の傾きを持つガイドラインのテン
プレートを作成するテンプレート作成部と、 上記道路画像の各部と作成されたテンプレートとの相関
演算を行なう相関演算部と、 演算された相関値に基き道路画像上のガイドライン位置
を認識するガイドライン認識部とを有することを特徴と
する走路認識装置。1. An image sensor for picking up an image of a road ahead of a vehicle, an edge detecting section for detecting an edge point at which a pixel value suddenly changes from an imaged road image, and a straight line approximating a plurality of detected edge points. A straight line extraction unit, a template creation unit that creates a guideline template having the same slope as the extracted straight line, and a correlation calculation unit that performs a correlation calculation between each part of the road image and the created template. And a guideline recognition unit that recognizes the guideline position on the road image based on the correlation value.
向に急変する正のエッジ点と、画素値が減小する方向に
急変する負のエッジ点との夫々を近似する一対の直線を
抽出し、 前記テンプレート作成部は、上記一対の直線の離間距離
と略同一幅で所定の傾きのガイドラインを持つテンプレ
ートを作成することを特徴とする請求項１記載の走路認
識装置。2. The straight line extracting unit defines a pair of straight lines that respectively approximate a positive edge point that suddenly changes in the direction in which the pixel value increases and a negative edge point that suddenly changes in the direction in which the pixel value decreases. The runway recognition apparatus according to claim 1, wherein the template creation unit creates a template having a guideline with a predetermined inclination that is substantially the same width as the distance between the pair of straight lines.
向に急変する正のエッジ点と、画素値が減小する方向に
急変する負のエッジ点との夫々を近似する一対の直線を
抽出し、 前記テンプレート作成部は、上記一対の直線の離間距離
と略同一幅で、かつ同一の傾きを持つガイドラインを持
つテンプレートを作成することを特徴とする請求項１記
載の走路認識装置。3. The pair of straight lines approximating a positive edge point that suddenly changes in a direction in which the pixel value increases and a negative edge point that suddenly changes in a direction in which the pixel value decreases. The runway recognition device according to claim 1, wherein the template creation unit creates a template having guidelines having substantially the same width and the same inclination as the distance between the pair of straight lines.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP6029936A JPH07239996A (en) | 1994-02-28 | 1994-02-28 | Course recognition device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP6029936A JPH07239996A (en) | 1994-02-28 | 1994-02-28 | Course recognition device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH07239996A true JPH07239996A (en) | 1995-09-12 |
Family
ID=12289882
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP6029936A Pending JPH07239996A (en) | 1994-02-28 | 1994-02-28 | Course recognition device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH07239996A (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6449383B1 (en) | 1998-01-27 | 2002-09-10 | Denso Corporation | Lane mark recognition system and vehicle traveling control system using the same |
| US6591000B1 (en) | 1998-04-21 | 2003-07-08 | Denso Corporation | Apparatus and method for preprocessing a picked-up image, lane mark recognizing system, related vehicle traveling control system, and recording media |
| KR100391442B1 (en) * | 2000-12-27 | 2003-07-12 | 현대자동차주식회사 | Image processing method for preventing a vehicle from running off the line |
| JP2004310525A (en) * | 2003-04-08 | 2004-11-04 | Toyota Motor Corp | Vehicular image processor |
| JP2011126433A (en) * | 2009-12-18 | 2011-06-30 | Suzuki Motor Corp | Parking support device |
-
1994
- 1994-02-28 JP JP6029936A patent/JPH07239996A/en active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6449383B1 (en) | 1998-01-27 | 2002-09-10 | Denso Corporation | Lane mark recognition system and vehicle traveling control system using the same |
| DE19903187B4 (en) * | 1998-01-27 | 2007-01-25 | Denso Corp., Kariya | Lane mark detection system and vehicle travel control system for use thereof |
| US6591000B1 (en) | 1998-04-21 | 2003-07-08 | Denso Corporation | Apparatus and method for preprocessing a picked-up image, lane mark recognizing system, related vehicle traveling control system, and recording media |
| KR100391442B1 (en) * | 2000-12-27 | 2003-07-12 | 현대자동차주식회사 | Image processing method for preventing a vehicle from running off the line |
| JP2004310525A (en) * | 2003-04-08 | 2004-11-04 | Toyota Motor Corp | Vehicular image processor |
| JP2011126433A (en) * | 2009-12-18 | 2011-06-30 | Suzuki Motor Corp | Parking support device |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3279479B2 (en) | Video monitoring method and device | |
| JPH0728975A (en) | Road environment recognizing device | |
| US20090052742A1 (en) | Image processing apparatus and method thereof | |
| JP2008158958A (en) | Road surface determination method and road surface determination device | |
| JP2007179386A (en) | Method and apparatus for recognizing white line | |
| JP3287465B2 (en) | Stereo image processing device | |
| JP2003162798A (en) | Device and program for monitoring obstacle | |
| JP3656056B2 (en) | Interrupting vehicle detection device and method | |
| JP3812384B2 (en) | Leading vehicle recognition device | |
| JP2003077099A (en) | Preceding vehicle recognition system | |
| JP2829934B2 (en) | Mobile vehicle environment recognition device | |
| JP2010061375A (en) | Apparatus and program for recognizing object | |
| JPH07239996A (en) | Course recognition device | |
| JP2002104113A (en) | Rear monitoring device | |
| JP2962799B2 (en) | Roadside detection device for mobile vehicles | |
| JPH1097699A (en) | Obstacle detecting device for vehicle | |
| JP3366135B2 (en) | Travel direction control device | |
| JPH07302325A (en) | On-vehicle image recognizing device | |
| JP3345995B2 (en) | Road white line detector | |
| JPH08320998A (en) | Lane marker detector | |
| JP2005157733A (en) | Traffic lane recognition device and traffic lane recognition method | |
| JP4070450B2 (en) | Forward vehicle recognition device and recognition method | |
| JP6949090B2 (en) | Obstacle detection device and obstacle detection method | |
| JP3196559B2 (en) | Line recognition method | |
| JP3390122B2 (en) | Vehicle white line detection device |