JP3196559B2 - Line recognition method - Google Patents
Line recognition methodInfo
- Publication number
- JP3196559B2 JP3196559B2 JP07486795A JP7486795A JP3196559B2 JP 3196559 B2 JP3196559 B2 JP 3196559B2 JP 07486795 A JP07486795 A JP 07486795A JP 7486795 A JP7486795 A JP 7486795A JP 3196559 B2 JP3196559 B2 JP 3196559B2
- Authority
- JP
- Japan
- Prior art keywords
- line
- search
- threshold
- luminance
- threshold value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000000034 method Methods 0.000 title claims description 23
- 235000019557 luminance Nutrition 0.000 claims description 45
- 238000001514 detection method Methods 0.000 claims description 30
- 238000005070 sampling Methods 0.000 claims 1
- 238000011156 evaluation Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 1
Description
【０００１】[0001]
【産業上の利用分野】本発明は、車両の自動運転等のた
めに道路に沿って設けられたラインを認識するためのラ
イン認識方法に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a line recognition method for recognizing a line provided along a road for automatic driving of a vehicle or the like.
【０００２】[0002]
【従来の技術】運転者の負担を軽くするための運転制御
装置が各種開発されて車両に搭載されている。この中
で、ハンドル操作も自動的に行う自動運転が研究されて
おり、通常の自動車においても自動運転が可能な機構を
搭載することが検討されている。この自動運転のために
は、走路に対する自動車の位置を常時把握して自動車が
走路に沿って走行できるように制御する必要がある。走
路に対する自動車の位置を把握するために、走路に形成
されたライン（白線）を検出することが従来から種々提
案されている。2. Description of the Related Art Various driving control devices for reducing the burden on the driver have been developed and mounted on vehicles. Among them, research has been conducted on automatic driving in which the steering wheel operation is also performed automatically, and it has been studied to mount a mechanism capable of automatically driving even a normal automobile. For this automatic driving, it is necessary to constantly control the position of the vehicle with respect to the runway so that the vehicle can travel along the runway. In order to grasp the position of an automobile with respect to a runway, various detections of lines (white lines) formed on the runway have been conventionally proposed.
【０００３】例えば、特開平4-152406号公報には、車両
に搭載されたCCD カメラを用いて道路の前方の白線を検
出するライン検出装置が開示されている。即ちこの検出
装置は、CCD カメラによって道路の状況を撮影し、画像
全体の輝度の平均値と最大値とからしきい値を算出し、
このしきい値を用いて画像の輝度を二値化して白線部分
を検出するようにしたものである。これにより、路面の
状況に応じたしきい値によって画像中の白線を検出する
ことができ、天候や白線の汚れに係わらず誤検出を少な
くして道路の前方の白線を検出することができる。For example, Japanese Patent Laying-Open No. 4-152406 discloses a line detection device that detects a white line in front of a road by using a CCD camera mounted on a vehicle. That is, this detection device captures the state of the road with a CCD camera, calculates a threshold value from the average value and the maximum value of the luminance of the entire image,
The brightness of the image is binarized using this threshold value to detect a white line portion. As a result, a white line in the image can be detected based on the threshold value according to the road surface condition, and a white line in front of the road can be detected with less erroneous detection regardless of the weather or dirt on the white line.
【０００４】[0004]
【発明が解決しようとする課題】従来のライン検出装置
では、画像全体の輝度の平均値と最大値とからしきい値
を算出しているため、白線の検出判断基準が天候や路面
状態にあわせて設定されるようになっている。しかし、
画像全体の輝度によってしきい値を求めているため、画
像の一部に影等がある場合等には、輝度の平均値が低く
なって適切なしきい値を算出することができず、白線を
検出できないことがあった。また、逆に画像の一部に部
分的な反射等がある場合等には、輝度の平均値が高くな
って、白線以外のものを白線と検出してしまうことがあ
った。従って、従来のライン検出装置では、画像の一部
で輝度が大きく異なる場合には、正確に白線を検出する
ことができなかった。In the conventional line detecting device, the threshold value is calculated from the average value and the maximum value of the luminance of the entire image. Therefore, the detection criterion of the white line is determined according to the weather and the road surface condition. It is to be set. But,
Since the threshold value is calculated based on the luminance of the entire image, when a part of the image has a shadow or the like, the average value of the luminance becomes low and an appropriate threshold value cannot be calculated. Sometimes it could not be detected. On the other hand, when there is partial reflection or the like in a part of the image, the average value of the luminance becomes high, and an object other than the white line may be detected as a white line. Therefore, the conventional line detection device cannot accurately detect a white line when the luminance of a part of the image is largely different.
【０００５】本発明は上記状況に鑑みてなされたもの
で、画像の一部で輝度が大きく変化していても確実に白
線を検出することができるライン認識方法を提供するこ
とを目的とする。The present invention has been made in view of the above circumstances, and an object of the present invention is to provide a line recognition method capable of reliably detecting a white line even when the luminance of a part of an image greatly changes.
【０００６】そこで、車両に搭載されたカメラによって
道路のラインを撮影し、撮影された画像を複数の領域に
分割し、該分割された領域内を検索して前記ラインの位
置を判定し、一つの領域で前記ラインの位置を判定した
後判定された該ラインの位置に基づいて隣接する次の領
域の検索範囲を決定するようにしている。 Therefore, a road line is photographed by a camera mounted on a vehicle, the photographed image is divided into a plurality of regions, and the divided regions are searched to determine the position of the line. After determining the position of the line in one area, the search range of the next adjacent area is determined based on the determined position of the line .
【０００７】[0007]
【課題を解決するための手段】 上記目的を達成するため
の請求項１の本発明のライン認識方法は、車両に搭載さ
れたカメラによって道路のラインを撮影し、撮影された
画像の全画素における輝度の平均値を演算し、全画素中
において前記平均値を越える輝度の画素における輝度の
平均値を第１しきい値とし、全画素中において前記第１
しきい値を越える輝度の画素における輝度の平均値をラ
インしきい値とする一方、検索点における輝度が前記ラ
インしきい値よりも高く且つ該検索点を挟んで同一距離
離れた部位の輝度がそれぞれ前記第１しきい値よりも低
い場合に該検索点をライン検出点とすることを特徴とす
る。 According to a first aspect of the present invention, there is provided a line recognition method for photographing a road line by using a camera mounted on a vehicle, the method comprising the steps of: An average value of luminance is calculated, and an average value of luminance of pixels having a luminance exceeding the average value among all pixels is set as a first threshold value.
While the average value of the luminance of the pixels having the luminance exceeding the threshold value is set as the line threshold value, the luminance of a portion where the luminance at the search point is higher than the line threshold value and is separated by the same distance from the search point is reduced. When each of the search points is lower than the first threshold value, the search point is set as a line detection point.
【０００８】また、上記目的を達成するための請求項２
の本発明のライン認識方法は、車両に搭載されたカメラ
によって道路のラインを撮影し、撮影された画像を複数
の領域に分割し、一つの領域の全画素における輝度の平
均値を演算し、該一つの領域の全画素中において前記平
均値を越える輝度の画素における輝度の平均値を第１し
きい値とし、前記一つの領域の全画素中において前記第
１しきい値を越える輝度の画素における輝度の平均値を
ラインしきい値とする一方、検索点における輝度が前記
ラインしきい値よりも高く且つ該検索点を挟んで同一距
離離れた部位の輝度がそれぞれ前記第１しきい値よりも
低い場合に該検索点を前記一つの領域におけるライン検
出点とし、該一つの領域でライン検出点を判定した後判
定されたライン検出点の位置に基づいて隣接する次の領
域の検索範囲を決定することを特徴とする。[0008] In order to achieve the above object, a second aspect is provided.
In the line recognition method of the present invention, a road line is photographed by a camera mounted on a vehicle, the photographed image is divided into a plurality of regions, and an average value of luminance in all pixels in one region is calculated. In all the pixels of the one area, the average value of the luminance of the pixels having the luminance exceeding the average value is set as a first threshold value, and in all the pixels of the one area, the pixel of the luminance exceeding the first threshold value is used. The brightness at the search point is higher than the line threshold and the brightness at the same distance from the first threshold is higher than the first threshold. Is low, the search point is set as a line detection point in the one area, and the search range of the next adjacent area is determined based on the position of the line detection point determined after determining the line detection point in the one area. Decision Characterized in that it.
【０００９】そして、前記ラインしきい値と前記第１し
きい値との差が所定値よりも小さい場合は該第１しきい
値に該所定値を加算した値をラインしきい値としたこと
を特徴とする。また、判定された前記ライン検出点の位
置を複数抽出し、各抽出点の誤差の二乗和を最小にする
パラメータを求めて前記ラインの位置を補間することを
特徴とする。When the difference between the line threshold value and the first threshold value is smaller than a predetermined value, a value obtained by adding the predetermined value to the first threshold value is set as the line threshold value. It is characterized by. Further, a plurality of positions of the determined line detection points are extracted, and a parameter for minimizing a sum of squares of an error of each extracted point is obtained to interpolate the position of the line.
【００１０】上記構成によると、分割された領域毎にラ
インの位置を判定し、領域毎のラインの位置に基づいて
画像全体のラインの状態を認識する。この時、新たな領
域での検索範囲は、前回判定されたラインの位置に基づ
いて決定される。According to the above configuration , the position of the line is determined for each divided area, and the state of the line of the entire image is recognized based on the position of the line for each area. At this time, the search range in the new area is determined based on the position of the line determined last time.
【００１１】[0011]
【作用】請求項１の発明によると、撮影された全画素に
おける輝度の平均値に基づいて第１しきい値を求めると
共に、第１しきい値に基づいてラインしきい値を求め、
検索点の輝度がラインしきい値よりも高く、しかも検索
点の両側の輝度が第１しきい値よりも低い場合、検索点
をラインとして認識する。According to the first aspect of the present invention, a first threshold value is obtained based on an average value of luminance of all photographed pixels, and a line threshold value is obtained based on the first threshold value.
If the brightness of the search point is higher than the line threshold and the brightness on both sides of the search point is lower than the first threshold, the search point is recognized as a line.
【００１２】請求項２の発明によると、分割された一つ
の領域の全画素における輝度の平均値に基づいて第１し
きい値を求めると共に、第１しきい値に基づいてライン
しきい値を求め、検索点の輝度がラインしきい値よりも
高く、しかも検索点の両側の輝度が第１しきい値よりも
低い場合、検索点を一つの領域内のラインとして認識
し、一つの領域でラインを検出した後、一つの領域のラ
インの位置に基づいて隣接する次の領域の検索範囲を決
定し、次の領域内で同様にラインを検出して領域毎のラ
インの位置に基づいて画像全体のラインの状態を認識す
る。According to the second aspect of the present invention, the first threshold value is obtained based on the average value of the luminance of all the pixels in one divided area, and the line threshold value is determined based on the first threshold value. When the brightness of the search point is higher than the line threshold and the brightness on both sides of the search point is lower than the first threshold, the search point is recognized as a line in one area, and After detecting the line, the search range of the next adjacent area is determined based on the position of the line in one area, the line is similarly detected in the next area, and the image is determined based on the position of the line in each area. Recognize the state of the entire line.
【００１３】そして、ラインしきい値と第１しきい値と
の差が所定値よりも小さい場合は第１しきい値に該所定
値を加算した値をラインしきい値とし、ラインを誤って
検出しないようにする。また、判定されたライン検出点
の位置を複数抽出し、各抽出点の多項式に対する誤差の
二乗和を最小にする多項式のパラメータを求めてライン
の位置を補間することで、ラインが破線や汚れで途切れ
ている場合でも確実にラインを認識する。If the difference between the line threshold value and the first threshold value is smaller than a predetermined value, a value obtained by adding the predetermined value to the first threshold value is set as the line threshold value, and the line is erroneously determined. Avoid detection. In addition, by extracting a plurality of positions of the determined line detection points, obtaining the parameters of the polynomial that minimizes the sum of squares of the error with respect to the polynomial at each extracted point, and interpolating the position of the line, the line may be broken or stained. Recognize lines reliably even if they are interrupted.
【００１４】[0014]
【実施例】図１には本発明の一実施例に係るライン認識
方法の全体処理の流れ、図２には検索領域の設定を説明
する画像の全体状況、図３には画像の一部の拡大状態、
図４には画面における検索点と実際の距離との関係を表
すグラフ、図５には検索範囲の状況、図６にはしきい値
算出処理の流れ、図７にはラインの位置を補間する際の
状況を示してある。FIG. 1 is a flowchart showing the overall processing of a line recognition method according to an embodiment of the present invention. FIG. 2 is a diagram showing the overall situation of an image for explaining the setting of a search area. Expanded state,
FIG. 4 is a graph showing the relationship between the search points on the screen and the actual distance, FIG. 5 shows the state of the search range, FIG. 6 shows the flow of the threshold value calculation process, and FIG. 7 interpolates the line positions. The situation at the time is shown.
【００１５】図１に示すように、図示しない車両に搭載
されたCCD カメラによって車両前方の道路状況が撮影さ
れ、画像情報が入力される。画像情報は複数の領域とし
ての探索領域に分割されて設定され、各探索領域毎に画
像の輝度に基づいてしきい値が算出される。しきい値を
算出した後、このしきい値に基づいて各探索領域毎にラ
イン（白線）が検出され、検出された白線の位置によっ
て隣接する次の探索領域の探索範囲を決定する。また、
複数の白線の検出情報に基づき検出点の多項式に対する
誤差の二乗和を最小にする多項式のパラメータを求め
（最小二乗法）、白線の位置を補間する。As shown in FIG. 1, a road condition in front of a vehicle is photographed by a CCD camera mounted on the vehicle (not shown), and image information is input. The image information is divided into a plurality of search regions and set, and a threshold value is calculated for each search region based on the brightness of the image. After calculating the threshold, a line (white line) is detected for each search area based on the threshold, and the search range of the next adjacent search area is determined based on the position of the detected white line. Also,
Based on the detection information of the plurality of white lines, a parameter of a polynomial that minimizes the sum of squares of the error with respect to the polynomial at the detection point is obtained (least square method), and the position of the white line is interpolated.
【００１６】図２乃至図５に基づいて探索領域の設定処
理を説明する。図２に示すように、画面１における垂直
方向の探索領域は、前方距離ｙｌ〜ｙｈの間でΔｙ毎に
ｎ個に分割し、それぞれ画面上に対応する垂直位置（１
ライン）を設定する。画面１における水平方向の探索位
置は、初期の場合は、幅ｗの車線の中央に平行に位置し
た時の画面上の白線位置を水平方向の探索位置として設
定される。白線を検出した後は、前回の検出位置を基に
±ｍ画素（ｍは定数）の領域が水平方向の探索範囲とし
て設定される。例えば、画角34.5度のレンズを下向き1
0.7度に取付け、図４に示したように、水平方向α512
画素、垂直方向β512 画素の処理画面２を使用した場
合、垂直方向の探索領域ｉ（０〜ｎ）と、実際の前方距
離yi及び処理画面２上における垂直方向βｉ（画素数）
の関係は、図５に示した表に示した関係となる。The process of setting a search area will be described with reference to FIGS. As shown in FIG. 2, the search area in the vertical direction on the screen 1 is divided into n pieces for each Δy between the forward distances yl to yh, and the vertical position (1
Line). In the initial stage, the horizontal search position on the screen 1 is set as the horizontal search position on the white line position on the screen when it is positioned parallel to the center of the lane having the width w. After the white line is detected, an area of ± m pixels (m is a constant) is set as a horizontal search range based on the previous detection position. For example, a lens with an angle of view of 34.5 degrees
At 0.7 degrees, horizontal direction α512 as shown in FIG.
When the processing screen 2 of pixels and β512 pixels in the vertical direction is used, the search area i (0 to n) in the vertical direction, the actual forward distance yi, and the vertical direction βi (the number of pixels) on the processing screen 2
Is the relationship shown in the table shown in FIG.
【００１７】複数の探索領域に画面１を分割した状態を
図３に示してある。図３及び図６に基づいてｉ番目の探
索領域におけるしきい値算出について説明する。１番目
の探索領域では、車線の中央に平行に位置した時の画面
上の白線３の位置を水平方向の探索位置である探索幅Ｗ
とする。図６に示したように、ｉ番目の探索領域で全画
素における輝度の平均値を算出する。ｉ番目の探索領域
の全画素について、算出された平均値を越える輝度の画
素の輝度のみを合計し、その平均値を第１しきい値であ
る道路しきい値Ｓとする。次に、ｉ番目の探索領域の全
画素について、道路しきい値Ｓを越える輝度の画素の輝
度のみを合計し、その平均値をラインしきい値である白
線しきい値Ｋとする。この時、白線しきい値Ｋと道路し
きい値Ｓとの差が所定値としての定数ｔより小さい場
合、道路しきい値Ｓに定数ｔを加算した値を白線しきい
値Ｋとする（請求項４）。白線しきい値Ｋと道路しきい
値Ｓとの差が小さい場合に道路しきい値Ｓに定数ｔを加
算した値を白線しきい値Ｋとしたので、白線以外のもの
を白線として検出してしまうことを防ぐことが可能とな
る。FIG. 3 shows a state where the screen 1 is divided into a plurality of search areas. The calculation of the threshold value in the i-th search area will be described with reference to FIGS. In the first search area, the position of the white line 3 on the screen when positioned parallel to the center of the lane is determined by a search width W which is a horizontal search position.
And As shown in FIG. 6, the average value of the luminance in all pixels in the i-th search area is calculated. For all the pixels in the i-th search area, only the luminances of the pixels having a luminance exceeding the calculated average value are summed, and the average value is set as the first threshold value, the road threshold value S. Next, for all the pixels in the i-th search area, only the brightness of the pixels having a brightness exceeding the road threshold value S is summed, and the average value is set as a white line threshold value K which is a line threshold value. At this time, if the difference between the white line threshold value K and the road threshold value S is smaller than a constant t as a predetermined value, a value obtained by adding the constant t to the road threshold value S is set as the white line threshold value K (claim Item 4). When the difference between the white line threshold value K and the road threshold value S is small, the value obtained by adding the constant t to the road threshold value S is defined as the white line threshold value K. Can be prevented.
【００１８】道路しきい値Ｓ及び白線しきい値Ｋを求め
た後、このしきい値に基づいてｉ番目の探索領域で白線
３が二値化処理によって検出される。ｉ番目の探索領域
における画面１上の白線の幅をhiとし、画面１上の横方
向座標をｘ（検索点）とした時、検索点ｘを挟んで同一
距離離れたx-hi点、x+hi点の輝度と検索点ｘの輝度とを
道路しきい値Ｓ及び白線しきい値Ｋと比較して白線３を
判定する。白線３を判定する場合、次の３つの条件を全
て満たした時に検索点ｘを白線３の検出点とする。 条件１：検索点ｘの輝度＞白線しきい値Ｋ 条件２： x-hi点の輝度＜道路しきい値Ｓ 条件３： x+hi点の輝度＜道路しきい値ＳAfter obtaining the road threshold value S and the white line threshold value K, the white line 3 is detected by the binarization process in the i-th search area based on the threshold values. When the width of the white line on the screen 1 in the i-th search area is hi and the horizontal coordinate on the screen 1 is x (search point), x-hi points, x The white line 3 is determined by comparing the luminance of the point + hi and the luminance of the search point x with the road threshold value S and the white line threshold value K. When the white line 3 is determined, the search point x is set as the detection point of the white line 3 when all of the following three conditions are satisfied. Condition 1: Luminance of search point x> white line threshold K Condition 2: Luminance of x-hi point <road threshold S Condition 3: Luminance of x + hi point <road threshold S
【００１９】複数の探索領域に画面１を分割し、各探索
領域毎に上述した３つの条件を全て満たした時に検索点
ｘを白線３の検出点とすることにより、画面１に部分的
な明暗等が存在しても、白線３を検出する際の誤認識を
大幅に減らすことができる。The screen 1 is divided into a plurality of search areas, and the search point x is set as the detection point of the white line 3 when all of the above three conditions are satisfied for each search area, so that the screen 1 is partially bright and dark. And so on, the erroneous recognition when detecting the white line 3 can be greatly reduced.
【００２０】ｉ番目の探索領域で検索点ｘが白線３の検
出点と判定された後、白線３の検出点の位置によって隣
接する探索領域の検索範囲が決定される。即ち、検索点
ｘ±ｍ画素（例えばｍ＝４０画素）の範囲が隣接する探
索領域の検索範囲とされる。これにより、隣接する探索
領域の検索範囲を短時間で決定することができる。After the search point x is determined as the detection point of the white line 3 in the i-th search area, the search range of the adjacent search area is determined based on the position of the detection point of the white line 3. That is, the range of the search point x ± m pixels (for example, m = 40 pixels) is set as the search range of the adjacent search area. Thereby, the search range of the adjacent search area can be determined in a short time.
【００２１】各探索領域で検索点ｘを白線３の検出点と
判定した後、道路に複数設けられた白線３を同心円（平
行直線を含む）で表現し、全ての白線３の検出点の多項
式に対する誤差の二乗和を最小にする多項式のパラメー
タを求める。即ち、最小二乗法により白線３の補間を行
い、破線や汚れで白線３が途切れている場合に対応す
る。After determining the search point x as a detection point of the white line 3 in each search area, a plurality of white lines 3 provided on the road are represented by concentric circles (including parallel straight lines), and a polynomial of all the detection points of the white line 3 is determined. Find the parameters of the polynomial that minimizes the sum of squares of the error with respect to. That is, the white line 3 is interpolated by the least squares method, and corresponds to a case where the white line 3 is interrupted by a broken line or dirt.
【００２２】図７には画面１の映像をｘ−ｙ平面座標
（上面視）に変換した状態を示してある。白線３の候補
点を抽出して図７のようにｘ−ｙ平面座標に変換し、左
右の白線３を次式１、２によって同心円で表現する。 左：ax2+ay2+x+by+c=0 ・・・１ 右：ax2+ay2+x+by+d=0 ・・・２ 次に、制約条件を含めた評価関数Ｚを次式３によって定
義する。更に「白線３の間隔は3.5m近傍である」等のa,
b,c,d の一次式で表される制約条件を二乗し、評価項目
を加えることができる。 Ｚ＝Σwi(axi2+ayi2+xi+byi+c)2 ＋Σwi(axi2+ayi2+xi+byi+d)2 ＋w(c-d-3.5)2 ・・・３ 但し、xi、yiはｉ番目の探索領域の白線候補点、 wi＝（白線候補の評価値）−（白線しきい値Ｋ）：重
み、 w＝制約式に対する重みである。 wi＝（白線候補の評価値）−（白線しきい値Ｋ）によ
り、白線候補の評価値が大きいほど白線３である可能性
が高いことを加味することができる。評価関数Ｚを最小
にするパラメータa,b,c,d を求める。このように、最小
二乗法によって補間を行うことにより（請求項５）、片
側の白線３や破線の白線３及び汚れによって途切れてい
る白線３であっても、白線３の認識が可能となる。FIG. 7 shows a state in which the image on the screen 1 is converted into xy plane coordinates (top view). The candidate points of the white line 3 are extracted and converted into xy plane coordinates as shown in FIG. 7, and the left and right white lines 3 are expressed as concentric circles by the following equations 1 and 2. Left: ax 2 + ay 2 + x + by + c = 0 ... 1 Right: ax 2 + ay 2 + x + by + d = 0 ... 2 Next, the evaluation function Z including the constraints is It is defined by the following equation 3. Furthermore, a, such as "the interval between the white lines 3 is around 3.5 m",
The constraint condition represented by the linear expression of b, c, d can be squared to add an evaluation item. Z = Σwi (axi 2 + ayi 2 + xi + byi + c) 2 + Σwi (axi 2 + ayi 2 + xi + byi + d) 2 + w (cd-3.5) 2 ... 3 where xi and yi are i Wi = (evaluation value of white line candidate)-(white line threshold value K): weight, w = weight for constraint equation. From wi = (evaluation value of white line candidate) − (white line threshold value K), it is possible to take into account that the larger the evaluation value of the white line candidate is, the higher the possibility of being white line 3 is. Find the parameters a, b, c, d that minimize the evaluation function Z. In this way, by performing the interpolation by the least squares method (claim 5), the white line 3 can be recognized even if the white line 3 on one side or the broken white line 3 and the white line 3 interrupted by dirt.
【００２３】従って、上述した方法で白線３の認識を行
うことにより、画面１に部分的な明暗等が存在しても、
即ち、部分的に影等が存在しても、複数の探索領域に分
割して探索領域毎に白線３の検出点を評価することがで
きるので、白線３を検出する際の誤認識を大幅に減らす
ことができる。また、白線３の検出点の位置によって隣
接する探索領域の検索範囲が決定されるので隣接する探
索領域の検索範囲を短時間で決定することができる（請
求項１、３）。また、検索点ｘの判定を行う場合、道路
しきい値Ｓ及び白線しきい値Ｋを用いて検索点ｘを挟ん
で同一距離離れたx-hi点、x+hi点と共に二値化処理によ
って白線３を判定するようにしたので、白線３を精度良
く認識することができる（請求項２、３）。また、全て
の白線３の検出点に対する誤差の二乗和を最小にするパ
ラメータを求めて白線３の補間を行うようにしたので、
破線や汚れで白線３が途切れている場合であっても白線
３の認識が可能となる。Therefore, by recognizing the white line 3 by the above-described method, even if the screen 1 has a partial brightness or the like,
That is, even if a shadow or the like partially exists, the detection point of the white line 3 can be evaluated by dividing the search region into a plurality of search regions, so that erroneous recognition when detecting the white line 3 is greatly reduced. Can be reduced. Further, since the search range of the adjacent search region is determined by the position of the detection point of the white line 3, the search range of the adjacent search region can be determined in a short time (claims 1 and 3). In addition, when the search point x is determined, binarization processing is performed using the road threshold value S and the white line threshold value K together with the x-hi point and the x + hi point that are the same distance from each other across the search point x. Since the white line 3 is determined, the white line 3 can be recognized with high accuracy (claims 2 and 3). Further, since the parameter for minimizing the sum of squares of the error with respect to the detection points of all the white lines 3 is obtained, the interpolation of the white lines 3 is performed.
Even when the white line 3 is interrupted by a broken line or dirt, the white line 3 can be recognized.
【００２４】上述したライン認識方法は、撮影された画
像を複数の探索領域に分割し、分割された探索領域内を
検索してラインの位置を判定し、判定されたラインの位
置に基づいて隣接する探索領域の検索範囲を決定するよ
うにしたので、影等で画面の一部で輝度が変わっても、
ラインの認識を確実に行なって誤認識を大幅に減らすこ
とが可能になると共に、隣接する探索領域の検索範囲を
短時間で決定することができ、ラインの認識の処理時間
を短くすることが可能になる。The above-described line recognition method divides a photographed image into a plurality of search areas, searches the divided search areas to determine the position of a line, and determines an adjacent position based on the determined position of the line. Since the search range of the search area to be determined is determined, even if the brightness changes in a part of the screen due to a shadow or the like,
Recognition of lines can be reliably performed, and erroneous recognition can be greatly reduced. In addition, the search range of the adjacent search area can be determined in a short time, and the processing time of line recognition can be reduced. become.
【００２５】[0025]
【発明の効果】 請求項１ のライン認識方法は、撮影され
た画像の全画素における輝度の平均値と、平均値を越え
る輝度の平均値である第１しきい値と、第１しきい値を
越える輝度の平均値であるラインしきい値とに基づい
て、検索点を挟んで同一距離離れた点と共に二値化処理
によってラインを判定するようにしたので、画面全体の
輝度に係わらずラインを精度良く認識することができ
る。Line recognition method according to claim 1 according to the present invention had an average value of luminance in all the pixels of the captured image, a first threshold value is an average value of the luminance exceeding the average value, the first threshold value The line is determined by binarization processing along with a point at the same distance from the search point based on the line threshold value, which is the average value of the luminance exceeding the threshold value, so that the line is determined regardless of the luminance of the entire screen. Can be accurately recognized.
【００２６】請求項２のライン認識方法は、撮影された
画像を複数の探索領域に分割し、分割された探索領域毎
に全画素における輝度の平均値と、平均値を越える輝度
の平均値である第１しきい値と、第１しきい値を越える
輝度の平均値であるラインしきい値とに基づいて、検索
点を挟んで同一距離離れた点と共に二値化処理によって
ラインを判定し、判定されたラインの位置に基づいて隣
接する探索領域の検索範囲を決定するようにしたので、
影等で画面の一部の輝度が変わっても、また画面全体の
輝度に係わらずラインの認識が確実に行なえると共に、
隣接する探索領域の検索範囲を短時間で決定することが
できる。この結果、ラインの誤認識を大幅に減らすこと
が可能になると共にラインの認識の処理時間を短くする
ことが可能になる。According to a second aspect of the present invention, a photographed image is divided into a plurality of search areas, and an average value of luminance of all pixels and an average value of luminance exceeding the average value are obtained for each of the divided search areas. Based on a certain first threshold value and a line threshold value that is an average value of luminance exceeding the first threshold value, a line is determined by binarization processing together with points separated by the same distance across the search point. Since the search range of the adjacent search area is determined based on the position of the determined line,
Even if the brightness of a part of the screen changes due to shadows, etc., and the line can be reliably recognized regardless of the brightness of the entire screen,
The search range of the adjacent search area can be determined in a short time. As a result, erroneous line recognition can be significantly reduced, and the processing time for line recognition can be shortened.
【００２７】また、第１しきい値とラインしきい値との
差が小さい場合、第１しきい値に所定値を加算した値を
ラインしきい値としたので、ラインを誤って検出しない
ようにすることが可能となる。また、全てのラインの抽
出点の多項式に対する誤差の二乗和を最小にする多項式
のパラメータを求めてラインの補間を行うようにしたの
で、破線や汚れでラインが途切れている場合であてもラ
インの認識が可能となる。When the difference between the first threshold value and the line threshold value is small, a value obtained by adding a predetermined value to the first threshold value is used as the line threshold value, so that a line is not detected erroneously. It becomes possible to. In addition, since the interpolation of the line is performed by obtaining the parameter of the polynomial which minimizes the sum of squares of the error with respect to the polynomial of the extraction points of all the lines, even if the line is broken by a broken line or dirt, the line is interpolated. Recognition becomes possible.
【図１】本発明の一実施例に係るライン認識方法の全体
処理の流れ図。FIG. 1 is a flowchart of an overall process of a line recognition method according to an embodiment of the present invention.
【図２】検索領域の設定を説明する画像の全体状況図。FIG. 2 is an overall situation diagram of an image for explaining setting of a search area.
【図３】画像の一部を表す拡大図。FIG. 3 is an enlarged view showing a part of an image.
【図４】画面における検索点と実際の距離との関係を表
すグラフ。FIG. 4 is a graph showing a relationship between a search point on a screen and an actual distance.
【図５】検索範囲の状況説明図。FIG. 5 is a diagram illustrating a search range.
【図６】しきい値算出処理の流れ図。FIG. 6 is a flowchart of a threshold value calculation process.
【図７】ラインの位置を補間する際の状況説明図。FIG. 7 is a diagram illustrating a situation when interpolating the position of a line.
１ 画面 ２ 処理画面 ３ 白線 1 screen 2 processing screen 3 white line
───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.7，ＤＢ名) G06T 1/00 G06T 7/00 - 7/60 H04N 7/18 G01B 11/00 - 11/30 G05D 1/00 - 1/12 B60R 1/00 - 1/12 ──────────────────────────────────────────────────続 き Continued on the front page (58) Field surveyed (Int.Cl. 7 , DB name) G06T 1/00 G06T 7 /00-7/60 H04N 7/18 G01B 11/00-11/30 G05D 1 / 00-1/12 B60R 1/00-1/12
Claims (4)
ラインを撮影し、撮影された画像の全画素における輝度
の平均値を演算し、全画素中において前記平均値を越え
る輝度の画素における輝度の平均値を第１しきい値と
し、全画素中において前記第１しきい値を越える輝度の
画素における輝度の平均値をラインしきい値とする一
方、検索点における輝度が前記ラインしきい値よりも高
く且つ該検索点を挟んで同一距離離れた部位の輝度がそ
れぞれ前記第１しきい値よりも低い場合に該検索点をラ
イン検出点とすることを特徴とするライン認識方法。 1. A camera mounted on a vehicle uses a camera on a road.
Takes a line and measures the brightness of all pixels in the captured image
Calculate the average value of
The average value of the luminance of pixels having different luminances is defined as a first threshold value.
And a luminance exceeding the first threshold value in all pixels.
The average value of the luminance in the pixel is used as the line threshold.
The brightness at the search point is higher than the line threshold
And the brightness of a portion at the same distance from the search point is
If the search point is lower than the first threshold value,
A line recognition method characterized by using an in-detection point.
ラインを撮影し、撮影された画像を複数の領域に分割
し、一つの領域の全画素における輝度の平均値を演算
し、該一つの領域の全画素中において前記平均値を越え
る輝度の画素における輝度の平均値を第１しきい値と
し、前記一つの領域の全画素中において前記第１しきい
値を越える輝度の画素における輝度の平均値をラインし
きい値とする一方、検索点における輝度が前記ラインし
きい値よりも高く且つ該検索点を挟んで同一距離離れた
部位の輝度がそれぞれ前記第１しきい値よりも低い場合
に該検索点を前記一つの領域におけるライン検出点と
し、該一つの領域でライン検出点を判定した後判定され
たライン検出点の位置に基づいて隣接する次の領域の検
索範囲を決定することを特徴とするライン認識方法。 2. A camera mounted on a vehicle is used to cover a road.
Take a line and divide the captured image into multiple areas
And calculate the average value of the luminance of all pixels in one area
And exceeds the average value in all the pixels of the one area.
The average value of the luminance of pixels having different luminances is defined as a first threshold value.
And the first threshold in all pixels of the one region.
Line the average value of the luminance in pixels with a luminance exceeding the value.
While the luminance at the search point
Higher than the threshold and separated by the same distance across the search point
When the brightness of each part is lower than the first threshold value
The search point and the line detection point in the one area
Then, it is determined after determining the line detection point in the one area.
Based on the position of the detected line detection point.
A line recognition method comprising determining a search range.
との差が所定値よりも小さい場合は該第１しきい値に該
所定値を加算した値をラインしきい値としたことを特徴
とする請求項１もしくは請求項２に記載のライン認識方
法。 3. The line threshold and the first threshold.
Is smaller than a predetermined value, the first threshold is set to
The value obtained by adding the predetermined value is used as the line threshold.
The line recognition method according to claim 1 or 2,
Law.
数抽出し、各抽出点の誤差の二乗和を最小にするパラメ
ータを求めて前記ラインの位置を補間することを特徴と
する請求項２に記載のライン認識方法。 4. The position of the determined line detection point is duplicated.
Parameters to minimize the sum of squared errors at each sampling point.
Interpolating the position of the line to obtain the data
3. The line recognition method according to claim 2, wherein:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP07486795A JP3196559B2 (en) | 1995-03-31 | 1995-03-31 | Line recognition method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP07486795A JP3196559B2 (en) | 1995-03-31 | 1995-03-31 | Line recognition method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH08272933A JPH08272933A (en) | 1996-10-18 |
| JP3196559B2 true JP3196559B2 (en) | 2001-08-06 |
Family
ID=13559719
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP07486795A Expired - Lifetime JP3196559B2 (en) | 1995-03-31 | 1995-03-31 | Line recognition method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3196559B2 (en) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102005044979A1 (en) * | 2005-09-20 | 2007-03-22 | Adc Automotive Distance Control Systems Gmbh | Method for detecting lane markings |
| JP6362442B2 (en) | 2014-06-13 | 2018-07-25 | 富士通株式会社 | Lane boundary line extraction device, lane boundary line extraction method, and program |
| JP6512920B2 (en) * | 2015-04-21 | 2019-05-15 | 本田技研工業株式会社 | Lane detection device and method thereof, lane display device and method thereof |
| JP6971177B2 (en) | 2018-03-09 | 2021-11-24 | フォルシアクラリオン・エレクトロニクス株式会社 | Compartment line recognition device |
-
1995
- 1995-03-31 JP JP07486795A patent/JP3196559B2/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH08272933A (en) | 1996-10-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7376247B2 (en) | Target detection system using radar and image processing | |
| US7729516B2 (en) | Ranging device utilizing image processing | |
| JP3630100B2 (en) | Lane detection device | |
| JP3503230B2 (en) | Nighttime vehicle recognition device | |
| US8005266B2 (en) | Vehicle surroundings monitoring apparatus | |
| JP3230642B2 (en) | Vehicle ahead detection device | |
| JP2001082955A (en) | Device for adjusting dislocation of stereoscopic image | |
| JP2001092970A (en) | Lane recognizing device | |
| US10235579B2 (en) | Vanishing point correction apparatus and method | |
| JP2007179386A (en) | Method and apparatus for recognizing white line | |
| JP3656056B2 (en) | Interrupting vehicle detection device and method | |
| JPH08156723A (en) | Vehicle obstruction detecting device | |
| JPH11195127A (en) | Method for recognizing white line and device therefor | |
| JP3807651B2 (en) | White line recognition device | |
| JPH05116557A (en) | Automatic velocity controller of vehicle and distance detection device | |
| JP3196559B2 (en) | Line recognition method | |
| JPH11345392A (en) | Device and method for detecting obstacle | |
| JP2962799B2 (en) | Roadside detection device for mobile vehicles | |
| JPH0757200A (en) | Method and device for recognizing travel course | |
| JP2000259997A (en) | Height of preceding vehicle and inter-vehicle distance measuring device | |
| JP3532896B2 (en) | Smear detection method and image processing apparatus using the smear detection method | |
| JP3507857B2 (en) | Traffic flow detector | |
| JPH07239996A (en) | Course recognition device | |
| JPH09128548A (en) | Vehicle detecting method | |
| JP2001033238A (en) | Object recognizing apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20010508 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080608 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090608 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100608 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110608 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110608 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120608 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120608 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130608 Year of fee payment: 12 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140608 Year of fee payment: 13 |
|
| EXPY | Cancellation because of completion of term |