JPH05314396A - Continuous line tracking device - Google Patents
Continuous line tracking deviceInfo
- Publication number
- JPH05314396A JPH05314396A JP14688592A JP14688592A JPH05314396A JP H05314396 A JPH05314396 A JP H05314396A JP 14688592 A JP14688592 A JP 14688592A JP 14688592 A JP14688592 A JP 14688592A JP H05314396 A JPH05314396 A JP H05314396A
- Authority
- JP
- Japan
- Prior art keywords
- window
- line
- white line
- reliability
- width
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Geophysics And Detection Of Objects (AREA)
- Complex Calculations (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
【０００１】[0001]
【産業上の利用分野】本発明は、連続線追跡装置に関す
るもので、例えば、道路幅（領域）を抽出するためにそ
の道路上に形成された白線を検出するために用いられる
装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a continuous line tracking device, for example, a device used for detecting a white line formed on a road to extract a road width (region).
【０００２】[0002]
【従来の技術】道路認識を行うためには、車両に取り付
けたカメラにより前方の道路の表面情報を取り込み、所
定の画像処理を行って左右に位置する白線（中央線，車
両通行帯境界線等）をそれぞれ抽出する。そして、その
抽出した２本の白線間が自車両が走行している道路領域
と検出することができる。2. Description of the Related Art In order to recognize a road, the surface information of the road ahead is taken in by a camera attached to the vehicle, a predetermined image processing is performed, and white lines (center line, vehicle lane boundary line, etc.) located on the left and right sides. ) Respectively. The area between the two extracted white lines can be detected as the road area in which the vehicle is traveling.
【０００３】そして上記の画像処理の方法としては、上
記白線が連続線であることから、以下の方式をとること
が考えられる。すなわちまず、画像中に任意の範囲のウ
インドウ（１本の白線の一部を含むようにエリアを設定
する）を設定し、そのウインドウ内で輝度等に対する微
分処理を行いエッジを検出することによりウインドウ内
の白線を抽出し、次にその白線の延長線上にウインドウ
を移動設定し、その新たに設定したウインドウ内で上記
白線の抽出処理を行う。そして、上記処理を繰り返し行
うことにより、白線（連続線）の追跡を行うことができ
るのである。As the above-mentioned image processing method, since the white line is a continuous line, the following method may be adopted. That is, first, a window in an arbitrary range (setting an area to include a part of one white line) is set in the image, and the window is detected by performing a differentiation process with respect to brightness etc. in the window and detecting an edge. The white line inside is extracted, then the window is moved and set on the extension of the white line, and the white line is extracted in the newly set window. The white line (continuous line) can be traced by repeating the above process.
【０００４】この方式によれば、白線の存在箇所が予測
できるために誤検出が少なくなるとともに、エッジを検
出する際に行う微分処理対象の面積も小さくすることが
できる（画像全体でなくウインドウ内だけですむ）た
め、高速処理が行え、道路情報のように、リアルタイム
で逐次新しい画像（動画）情報が送られてくるものに対
しても対処することが可能となる。According to this method, since the location of the white line can be predicted, erroneous detection is reduced, and the area of the differential processing target when detecting the edge can be reduced (in the window, not in the entire image). Therefore, high-speed processing can be performed, and it becomes possible to deal with road information, in which new image (moving image) information is successively sent in real time.
【０００５】[0005]
【発明が解決しようとする課題】ところで、本発明者が
知得したところによると、道路表面に形成された白線
（より具体的には白線のエッジ）の検出精度は、形成直
後の周囲の道路表面との輝度の差等が明確な時には、エ
ッジが顕著にあらわれ精度が高くなり、一方、比較的時
間が経過したり、道路の表面が全体的に汚れたりしてい
る時には、白線の境界部分が不明確になり白線抽出がし
にくくなるという現象が生じる。By the way, according to the knowledge of the present inventor, the accuracy of detection of the white line (more specifically, the edge of the white line) formed on the road surface depends on the surrounding road immediately after the formation. When the difference in brightness from the surface is clear, the edges are prominent and the accuracy is high.On the other hand, when the time has passed or the road surface is completely dirty, the white line boundary Becomes unclear and it becomes difficult to extract the white line.
【０００６】さらに、白線の一部が剥がれたりまたは汚
れたりしていることがあり、その場合には、部分的に抽
出しにくくなったりすることがあり、検出精度が、場所
によりばらつくことになる。Further, a part of the white line may be peeled off or dirty, and in that case, it may be difficult to partially extract the white line, and the detection accuracy may vary depending on the place. ..
【０００７】しかしながら、上記した方式では、次に設
定するウインドウの幅が固定であったため、例えば、ウ
インドウ幅を狭く設定すると、検出能力が低下するた
め、上記のように白線のエッジが不鮮明になった場合に
は検出不能となり、白線の追跡ができなくなるおそれが
ある。一方、逆にウインドウの幅を広くした場合には、
上記のような場合における白線のエッジでも、それを抽
出する可能性は高くなるが、それにともない本来検出す
べき白線のエッジではないノイズを検出する可能性も増
加する。その結果、白線のエッジが鮮明の時にはかえっ
て検出精度が低下するという弊害を招く。しかも、処理
エリアが広くなるため、処理時間も長くなるという問題
を生じる。However, in the above-mentioned method, the width of the window to be set next is fixed. For example, if the window width is set to be narrow, the detection capability is lowered, so that the edge of the white line becomes unclear as described above. If it does, it may be impossible to detect and the white line may not be traced. On the other hand, on the contrary, when the width of the window is widened,
Even in the case of the above case, the edge of the white line is more likely to be extracted, but accordingly, the possibility of detecting noise that is not the edge of the white line to be originally detected is also increased. As a result, when the edge of the white line is clear, the detection accuracy is rather deteriorated. Moreover, since the processing area becomes large, the processing time becomes long.
【０００８】本発明は、上記した背景に鑑みてなされた
もので、その目的とするところは、ノイズの影響を可及
的に抑制しつつ線の検出精度の向上を図り、さらに、で
きるだけ処理時間を短縮することのできる連続線追跡装
置を提供することにある。The present invention has been made in view of the above background, and an object of the present invention is to improve the line detection accuracy while suppressing the influence of noise as much as possible, and to further reduce the processing time as much as possible. (EN) Provided is a continuous line tracking device capable of shortening
【０００９】[0009]
【課題を解決するための手段】上記した目的を達成する
ために、本発明に係る連続線追跡装置では、前記画像中
の所定位置に所定幅のウインドウを設定するウインドウ
設定手段と、そのウインドウ設定手段により設定された
前記ウインドウ内に存在する線を抽出する線抽出手段
と、その線抽出手段における抽出結果の信頼度を算出す
る信頼度算出手段と、その信頼度算出手段にて求めた信
頼度の大小に応じて次に設定するウインドウの幅の狭広
を設定し、それを前記ウインドウ設定手段に送るウイン
ドウ幅決定手段とを備え、かつ前記所定位置が、前記線
抽出手段により抽出された線の延長線上とした。In order to achieve the above object, in the continuous line tracking device according to the present invention, window setting means for setting a window having a predetermined width at a predetermined position in the image, and the window setting. Line extracting means for extracting a line existing in the window set by the means, reliability calculating means for calculating the reliability of the extraction result by the line extracting means, and reliability calculated by the reliability calculating means The width of the window to be set next according to the size of the line, and a window width determining means for sending it to the window setting means, and the predetermined position is the line extracted by the line extracting means. Was an extension of.
【００１０】[0010]
【作用】検出した画像中の所定位置にウインドウを設定
する。この時、１つのウインドウには１本の線が存在す
るような位置に調整する。そして、そのウインドウ内に
存在する線をエッジ検出その他の種々の検出（画像処
理）方法を用いて抽出する。次いで、設定されたウイン
ドウをその線の延長線上に再設定し、再度、線を抽出す
る。以後、この処理を繰り返し行い、一画像中に存在す
る連続線を追跡しながら抽出する。The window is set at a predetermined position in the detected image. At this time, the position is adjusted so that one window exists in one window. Then, the lines existing in the window are extracted by using various detection (image processing) methods such as edge detection. Then, the set window is reset on the extension line of the line, and the line is extracted again. After that, this process is repeated, and the continuous lines existing in one image are traced and extracted.
【００１１】この時、信頼度算出手段にてウインドウ内
での抽出処理の結果の信頼度を求め、信頼度が低い場合
には、抽出した線の延長線上に実際の線がない確率が高
くなるため、ウインドウ幅決定手段により次に設定する
ウインドウの幅を広く設定する。また逆に抽出結果の信
頼度が高いときには、抽出した線の延長線上に実際の線
が位置する確率が高くなるため、ウインドウ幅を狭く設
定する。そして、その設定結果に基づいてウインドウ設
定手段を作動させ、次のウインドウを設定する。これに
より、信頼度の低い時には、次に設定されるウインドウ
の幅は広くなるため、確実に線を抽出することができ、
また、信頼度が高い時には次に設定されるウインドウの
幅が狭くなるため、ノイズを拾うおそれが可及的に減少
し、かつ、処理エリアが狭くなることから高速処理が行
われる。そして、たとえ狭くても前に抽出した線の延長
線上に次の線が存在する確率が高いため、確実に抽出さ
れる。At this time, the reliability calculation means obtains the reliability of the result of the extraction processing within the window, and when the reliability is low, the probability that there is no actual line on the extension of the extracted line is high. Therefore, the window width determining means sets the width of the next window to be wide. On the contrary, when the reliability of the extraction result is high, the probability that an actual line is located on the extension line of the extracted line becomes high, so the window width is set to be narrow. Then, the window setting means is operated based on the setting result to set the next window. As a result, when the reliability is low, the width of the window to be set next becomes wide, so it is possible to reliably extract lines,
Further, when the reliability is high, the width of the window to be set next is narrowed, the possibility of picking up noise is reduced as much as possible, and the processing area is narrowed, so that high-speed processing is performed. Then, even if it is narrow, the next line is likely to be present on the extension of the previously extracted line, so that it is reliably extracted.
【００１２】[0012]
【実施例】以下、本発明に係る連続線追跡装置の好適な
実施例を添付図面を参照にして詳述する。図１は、本発
明に係る連続線追跡装置の一実施例を示しており、本例
では、道路認識装置に適用した例について説明する。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS A preferred embodiment of a continuous line tracking device according to the present invention will be described in detail below with reference to the accompanying drawings. FIG. 1 shows an embodiment of a continuous line tracking device according to the present invention. In this example, an example applied to a road recognition device will be described.
【００１３】同図に示すように、１はＴＶカメラやＣＣ
Ｄカメラ等の画像入力装置であり、車両の前面所定位置
や、車室内のバックミラー近傍所定位置等に取り付けら
れ、前方の道路の表面の状態を撮影することができるよ
うになっている。この画像入力装置１の出力が、フレー
ムメモリからなる画像記憶手段２に入力されるようにな
っている。この画像記憶手段２は、本例では画像入力装
置１で検出した道路の表面情報を濃淡画像として記憶す
るようになっている。As shown in FIG. 1, 1 is a TV camera or CC
An image input device such as a D camera, which is attached to a predetermined position on the front surface of the vehicle, a predetermined position near the rearview mirror in the vehicle interior, and the like, and is capable of capturing an image of the surface condition of the road ahead. The output of the image input device 1 is input to the image storage means 2 including a frame memory. In this example, the image storage means 2 stores the road surface information detected by the image input device 1 as a grayscale image.
【００１４】また、上記画像記憶手段２には、ウインド
ウ設定手段３並びに白線抽出手段４がそれぞれ接続され
ており、ウインドウ設定手段３により、上記画像記憶手
段２に記憶された処理対象となる一画像上の所定位置に
ウインドウを設定するようになっている。具体的には、
その画像に対して最初に設定する初期ウインドウは、予
め設定された所定位置（画像の下方部位）に比較的広い
面積のウインドウを設定し、２回目以降に行う再設定
は、前回設定したウインドの上辺に再設定のウインドウ
の下辺が接する所定位置に設定するようになっている。
そして、再設定の位置は、基本的には白線抽出手段４か
ら送られてくる情報信号に基づいて、前回設定したウイ
ンドウ内に位置する白線の延長線上の白線が存在する部
位を含むエリアを設定するようになっている。A window setting means 3 and a white line extracting means 4 are connected to the image storing means 2, and the window setting means 3 stores one image to be processed stored in the image storing means 2. The window is set at a predetermined position above. In particular,
The initial window that is initially set for the image is a window having a relatively large area at a predetermined position (lower part of the image), and the resetting performed after the second time is the window of the previously set window. The upper side is set at a predetermined position where the lower side of the reset window is in contact.
Then, the reset position is basically set based on the information signal sent from the white line extraction means 4 to set an area including a portion where the white line on the extension line of the white line located in the previously set window exists. It is supposed to do.
【００１５】また、白線抽出手段４は、上記ウインドウ
設定手段３にて設定されたウインドウのエリア内に対し
て、例えばソーベルの演算子等を用いて微分処理を行
い、白線（追い越し禁止を示す黄色い線も含む）の左右
のエッジを検出するようになっている。この時、エッジ
画像には正負の値をもたせておく。これにより、一方向
に走査していった場合、例えば通常の道路部分（白線が
形成されていない部分）から白線になる境界では明るく
なるため正のピーク値があらわれ、逆に白線から通常の
道路部分になる境界では負のピーク値があらわれる。そ
して、それら正負のピーク値の間が白線の領域（幅）と
なる。そして、係る微分処理を、水平方向（ｘ軸方向）
の１ライン毎に順次行い、対となるピーク値の間隔が所
定のしきい値以下ならそのペアは白線の両側のエッジを
示すものと判断し、その中点を白線の代表点とする。但
し、ノイズ等の影響を抑えるため、上記ピーク値（正及
び負）には所定のしきい値を設定し、そのしきい値を超
えた正負のピーク値を対象とするようにしている。ま
た、ピーク値のペアが複数検出された場合には、それぞ
れのペア間の幅を求め、最も白線の幅に近いペアを抽出
し、その中点（代表点）を求める。Further, the white line extracting means 4 performs a differentiating process on the area of the window set by the window setting means 3 by using, for example, a Sobel operator or the like to obtain a white line (yellow indicating overtaking prohibition). The left and right edges (including lines) are detected. At this time, the edge image has positive and negative values. As a result, when scanning in one direction, for example, a positive peak value appears because it becomes bright at the boundary from the normal road part (the part where the white line is not formed) to the white line, and conversely from the white line to the normal road. Negative peak values appear at the boundary that becomes a part. The white line region (width) is between the positive and negative peak values. Then, the differentiating process is performed in the horizontal direction (x-axis direction).
If the interval between paired peak values is less than or equal to a predetermined threshold value, it is determined that the pair indicates edges on both sides of the white line, and the middle point is set as the representative point of the white line. However, in order to suppress the influence of noise and the like, a predetermined threshold value is set for the peak value (positive and negative), and positive and negative peak values exceeding the threshold value are targeted. Further, when a plurality of pairs of peak values are detected, the width between each pair is obtained, the pair closest to the width of the white line is extracted, and the midpoint (representative point) thereof is obtained.
【００１６】そして係る複数の代表点を直線近似して白
線の方向を算出する。そして、白線情報、より具体的に
は、上記直線近似して得られた白線の方向を示す直線と
ウインドウの上枠との交点座標（ｘ，ｙ）を、上記ウイ
ンドウ設定手段３に送るようになっており、ウインドウ
設定手段３では、その交点座標（ｘ，ｙ）を中点となる
ように所定幅のウインドウを設定するのである。Then, the direction of the white line is calculated by linearly approximating the plurality of representative points. Then, the white line information, more specifically, the coordinates (x, y) of the intersection of the straight line indicating the direction of the white line obtained by the linear approximation and the upper frame of the window are sent to the window setting means 3. Therefore, the window setting means 3 sets a window having a predetermined width so that the coordinates (x, y) of the intersection point become the middle point.
【００１７】また、白線抽出手段４では、ウインドウ内
で検出できた代表点の数を信頼度算出手段５に送るよう
になっている。この信頼度算出手段５では、白線抽出手
段４で抽出した白線の信頼性を求めるもので、具体的に
は、下記式により求められる。The white line extracting means 4 sends the number of representative points detected in the window to the reliability calculating means 5. The reliability calculation means 5 obtains the reliability of the white line extracted by the white line extraction means 4, and is specifically obtained by the following formula.
【００１８】[0018]
【数１】信頼度＝代表点の数／ウインドウのＹ座標数
（走査した回数） そして、上記信頼度の数値が大きいほど、検出できた代
表点（ピーク値のペア）の割合が大きいため、抽出結果
の信頼性が高い。このようにして算出された信頼度が次
段のウインドウ幅決定手段６に送るようになっている。## EQU1 ## Reliability = number of representative points / number of Y-coordinates of window (number of times of scanning) And, the larger the numerical value of the reliability, the larger the proportion of the representative points (pair of peak values) that can be detected. The reliability of the extraction result is high. The reliability calculated in this manner is sent to the window width determining means 6 in the next stage.
【００１９】ウインドウ幅決定手段６では、与えられた
信頼度から、次に設定するウインドウの幅（Ｘ座標方
向）を決定し、それを上記ウインドウ設定手段３に送る
ようになっている。すなわち、基本的には信頼度が低い
時には幅を広くし、逆に信頼度が高い時には幅を狭くす
るようにしている。そして、具体的な処理としては、上
記信頼度に所定の係数を掛けたりすることにより、信頼
度の増減に対して連続的に幅を増減させるようにしても
良く、或いは、１または複数のしきい値を設定し、段階
的に変化させるようにしても良く、任意の手法をとるこ
とができる。The window width determining means 6 determines the window width (X coordinate direction) to be set next from the given reliability and sends it to the window setting means 3. That is, basically, the width is widened when the reliability is low, and conversely, the width is narrowed when the reliability is high. Then, as a specific process, the reliability may be multiplied by a predetermined coefficient to continuously increase or decrease the range with respect to the increase or decrease of the reliability, or one or a plurality of steps may be performed. The threshold value may be set and changed stepwise, and any method can be adopted.
【００２０】なお、上記白線抽出手段４における抽出結
果は、図示省略するが、従来と同様に各種装置に送ら
れ、所定の処理がなされる。すなわち、例えば道路認識
装置に送られる場合には、画面上の左右両側に存在し、
抽出された２本の平行線の間が道路部分と認識すること
ができる。また、上記出力から画像中のどの位置に白線
が存在するかを検出することにより、例えば、車両が車
線のどの位置（中央或いは左／右より）を走っているか
等を抽出することもできるなど、種々の利用がなされ
る。Although not shown in the figure, the extraction result of the white line extracting means 4 is sent to various devices and subjected to a predetermined process as in the conventional case. That is, for example, when it is sent to a road recognition device, it exists on both the left and right sides of the screen,
The road portion can be recognized between the two extracted parallel lines. Further, by detecting at which position in the image the white line exists from the above output, it is possible to extract, for example, at which position (from the center or left / right) the vehicle is running, etc. , Various uses are made.
【００２１】次に上記した実施例の作用について図２に
示すフローチャート図に基づいて説明する。まず、画像
入力装置１を用いて、車両の前方の道路情報を逐次取り
込む。そして、１フレームごとに画像処理を行い、白線
を抽出する。この時、仮にその撮影した処理対象となる
一画像が、例えば図３に示すように、左側の白線Ｌが実
線からなる連続線で、右側の白線Ｒが破線からなる連続
線であったとし、また、便宜上画像の上下方向がＹ軸、
左右方向がＸ軸として、以下説明する。Next, the operation of the above embodiment will be described with reference to the flow chart shown in FIG. First, the image input device 1 is used to sequentially capture road information in front of the vehicle. Then, image processing is performed for each frame to extract a white line. At this time, it is assumed that the captured one image is a continuous line in which the white line L on the left side is a solid line and the white line R on the right side is a continuous line in a broken line, as shown in FIG. Also, for convenience, the vertical direction of the image is the Y axis,
The following description will be given assuming that the horizontal direction is the X axis.
【００２２】すなわち、画像データを取り込んだ後、ウ
インドウ設定手段３を用いて、その画像の所定位置に初
期ウインドウを設定する（Ｓ１０１，１０２）。本例で
は、車両前方に位置する白線は、車両の左右両側にある
ため、原則として画面上には左右両側に上下方向に伸び
るようにしてあらわれる。そこで、それら両白線を同時
に検出すべく、Ｘ軸方向に２つのウインドウを設定して
いくようにしている。そして、その初期ウインドウｌ
１，ｒ１は、２本の白線をそれぞれ抽出することから、
画像の左右両側下方部位に設定する。ついで、両初期ウ
インドウｌ１，ｒ１内のエリアに対して、白線検出手段
４を用いて上記したエッジ検出による白線の抽出処理を
行う（Ｓ１０３）。なお、左右両側とも同一の処理手順
により逐次ウインドウを設定して白線の追跡を行うの
で、以下、一方の白線Ｌに対する追跡処理について説明
する。That is, after capturing the image data, the window setting means 3 is used to set an initial window at a predetermined position of the image (S101, 102). In this example, since the white line located in front of the vehicle is on both the left and right sides of the vehicle, in principle it appears on the screen so as to extend in the up and down directions on both the left and right sides. Therefore, two windows are set in the X-axis direction in order to detect both white lines at the same time. And the initial window l
Since 1 and r1 respectively extract two white lines,
Set on the lower left and right sides of the image. Then, the white line detecting means 4 is used to perform the white line extraction processing by the above-mentioned edge detection for the areas in both the initial windows 11 and r1 (S103). Since the white lines are traced by sequentially setting windows on the left and right sides by the same processing procedure, the tracing process for one white line L will be described below.
【００２３】ついで、上記白線処理の結果得られる代表
点から、白線検出手段４によりその画像上の座標から直
線近似を行い初期ウインドウｌ１の上辺と、近似した直
線（白線）との交点座標（ｘ，ｙ）を求め、また、信頼
度算出手段５並びにウインドウ幅決定手段６にて、抽出
した白線の信頼度を求めると共に、その信頼度から次に
設定する追跡ウインドウの幅を決定する（Ｓ１０５，１
０６）。Then, from the representative point obtained as a result of the above white line processing, the white line detecting means 4 performs a linear approximation from the coordinates on the image, and the intersection point coordinate (x) of the upper side of the initial window 11 and the approximated straight line (white line). , Y), and the reliability of the extracted white line is determined by the reliability calculation means 5 and the window width determination means 6, and the width of the tracking window to be set next is determined from the reliability (S105, 1
06).
【００２４】すなわち、たとえ白線Ｌのように実線であ
ったとしても、その一部が汚れていたり、剥がれていた
りすることがあり、さらには、光線やその他種々の原因
にともない白線のエッジと道路表面との濃淡の差が少な
くエッジ検出できないか、或いは検出できたとしてもそ
の差が少ないためにピーク値が所定のしきい値を超えな
いなどして、その走査線の箇所には白線が存在しない
（代表点がない）と判断されることがある。その結果、
抽出された代表点は、例えば図４（Ａ）に示すように、
ピーク値のペア（＋，−）並びにその中点である代表点
（×）は、比較的疎らに存在することになる。また、逆
にエッジ部分での濃淡の差が顕著で、同図（Ｂ）に示す
ように、殆どすべての走査線上にピーク値のペア並びに
その中点である代表点が抽出できることもある。That is, even if it is a solid line like the white line L, a part of it may be soiled or peeled off. Furthermore, due to light rays and various other causes, the edge of the white line and the road There is a white line at the position of the scanning line because the difference in shade from the surface is too small to detect the edge, or even if it can be detected, the difference is so small that the peak value does not exceed the predetermined threshold. It may be judged not (no representative point). as a result,
The extracted representative points are, for example, as shown in FIG.
The pair of peak values (+,-) and the representative point (x) which is the midpoint thereof are relatively sparsely present. On the other hand, the difference in shade at the edge portion is conspicuous, and as shown in FIG. 4B, peak value pairs and representative points which are the midpoints thereof may be extracted on almost all scanning lines.
【００２５】そして、同図（Ａ）に示すように、抽出さ
れたピーク値のペア（代表点）の数が少なければ、その
抽出結果の信頼度が低く、直線近似（図中実線で示す）
した結果が、実際の白線の位置を示しているとは限ら
ず、その直線の延長線上に白線が存在する確率が低くな
る。その結果、図示するように設定するウインドウ幅を
広くし、白線抽出エリアを大きくすることにより、たと
え、今回の抽出結果が誤っていたとしても確実に次のウ
インドウにおける白線抽出処理で実際の白線を抽出する
ことが可能となる。As shown in FIG. 6A, if the number of extracted peak value pairs (representative points) is small, the reliability of the extraction result is low, and linear approximation (indicated by a solid line in the figure).
The result does not always indicate the actual position of the white line, and the probability that the white line exists on the extended line of the straight line becomes low. As a result, as shown in the figure, widening the set window width and increasing the white line extraction area ensures that even if the extraction result this time is incorrect, the white line extraction processing in the next window will reliably produce the actual white line. It becomes possible to extract.
【００２６】一方、同図（Ｂ）のように、抽出されたピ
ーク値のペア（代表点）の数が多ければ、その抽出結果
の信頼度が高く、直線近似した線の延長線上に白線の存
在確率が高くなる。その結果、図示するように設定する
ウインドウ幅を狭くする。これにより、ノイズを抽出す
る可能性が少なくなると共に、抽出処理を行うエリアが
少なくなるため、高速処理が可能となる。On the other hand, as shown in FIG. 6B, when the number of extracted peak value pairs (representative points) is large, the reliability of the extraction result is high, and a white line is present on the extension line of the linearly approximated line. Existence probability increases. As a result, the window width set as shown is narrowed. As a result, the possibility of extracting noise is reduced, and the area for extraction processing is reduced, so that high-speed processing is possible.
【００２７】次に、現在処理している画像に追跡ウイン
ドウが設定できるか否か、すなわち、ウインドウが一つ
の画像の上端に行っていないかを判断（Ｓ１０６）し、
設定可能な場合には、抽出した白線の延長線上に追跡ウ
インドウを設定（Ｓ１０７）する。すなわち、ウインド
ウ設定手段３では、白線検出手段４から送られてきた交
点座標データ（ｘ，ｙ）並びにウインドウ幅決定手段６
から送られてきた幅データに基づいて、白線の延長線上
に次の追跡ウインドウｌ２を設定する。具体的には、上
記交点座標が追跡ウインドウの下辺の中点位置にくるよ
うに、所定幅の追跡ウインドウを設定する。なお、本例
では、追跡ウインドウのＹ軸方向の高さは一定にしてい
るが、適宜変更するのは構わない。そして、その変更も
本発明のように信頼度が高いほど短く、また低いほど長
くするようにする他、種々の手段を採ることができる。
そして、ステップ１０３に戻り、設定した所定幅の追跡
ウインドウ内に対して白線の抽出処理をする。そして、
ウインドウの設定並びに設定したウインドウ内の白線抽
出を繰り返し行う。Next, it is judged whether or not a tracking window can be set for the image currently being processed, that is, whether or not the window is located at the upper end of one image (S106),
If it can be set, a tracking window is set on the extension of the extracted white line (S107). That is, in the window setting means 3, the intersection point coordinate data (x, y) sent from the white line detecting means 4 and the window width determining means 6 are set.
The following tracking window 12 is set on the extension line of the white line based on the width data sent from. Specifically, the tracking window having a predetermined width is set so that the intersection coordinates are located at the midpoint position of the lower side of the tracking window. Although the height of the tracking window in the Y-axis direction is constant in this example, it may be changed appropriately. The change can be made shorter as the reliability is higher and longer as the reliability is low, and various means can be adopted.
Then, the process returns to step 103, and the white line is extracted in the tracking window having the set predetermined width. And
Repeat window setting and white line extraction in the set window.
【００２８】一方、上記ステップ１０６の判断にて、現
在処理中の画像の上方所定位置にウインドウがきた場合
には、それ以上の追跡ウインドウの設定ができないた
め、次画面の有無を確認し（Ｓ１０８）、ある場合には
ステップ１０１に戻り、次の画像を取り込み、以後上記
処理を繰り返し行う。また、無い場合には処理を終了す
る。On the other hand, if it is determined in the above step 106 that the window is located at a predetermined position above the image currently being processed, further tracking windows cannot be set, so that the presence or absence of the next screen is confirmed (S108). ), If there is, the process returns to step 101, the next image is captured, and the above process is repeated thereafter. If not, the process ends.
【００２９】ところで、設定したウインドウ内に白線が
抽出されなかった場合には、次のウインドウ設定をする
ための基準となる（ｘ，ｙ）座標が求められないが、こ
の場合には、例えばその前に抽出された白線を延長し、
その延長線と抽出できなかったウインドウの上辺との交
点座標に基づいて追跡ウインドウを設定するようにして
もよく、或いは抽出できなかった場合には、その画像で
の処理を中止し、次の画像を取り込むようにしてもよ
く、種々の手段を用いることができる。そして、係る場
合（後者はもちろん前者も所定数延長しても白線の抽出
ができないとき）にも、ステップ１０６における処理
で、追跡ウインドウ設定不可能と判断され、ステップ１
０８に移行するようになる。By the way, when the white line is not extracted in the set window, the (x, y) coordinate which is the reference for setting the next window cannot be obtained, but in this case, for example, Extend the previously extracted white line,
The tracking window may be set based on the coordinates of the intersection of the extension line and the upper side of the window that could not be extracted, or if it could not be extracted, the processing for that image is stopped and the next image is displayed. May be incorporated, and various means can be used. In such a case (the latter cannot be extracted even if the former is extended by a predetermined number, of course), the process in step 106 determines that the tracking window cannot be set, and the step 1
It will move to 08.
【００３０】なお、破線からなる白線Ｒに対する追跡処
理も上記と同様に行われるが、破線の場合には、一定の
間隔で白線が存在しない領域があるため、例えば初期ウ
インドウｒ１や追跡ウインドウｒ４，６等では白線抽出
の信頼性が高くなるため、次に設定するウインドウの幅
は狭くなるが、逆に追跡ウインドウｒ３では信頼性が低
くなるため設定するウインドウの幅を広くする。The tracking process for the white line R consisting of a broken line is also performed in the same manner as described above. However, in the case of a broken line, there are regions where white lines do not exist at regular intervals, and therefore, for example, the initial window r1 and the tracking window r4. In 6 and the like, the reliability of white line extraction is high, so the width of the window to be set next is narrow, but conversely, in the tracking window r3, the reliability is low, so the width of the window to be set is wide.
【００３１】また、例えば追跡ウインドウｒ２のよう
に、もともと白線がない領域の場合では、白線の抽出が
できないため、上記したごとくその次に設定する追跡ウ
インドウｒ３の設定位置は、初期ウインドウｒ１にて抽
出した白線を延長することにより求めることができる。
しかし、設定するウインドウの幅は、ピーク値のペア
（代表点）の数が０となり、信頼性は零となってしまう
ため、そのままでは、ウインドウ幅決定手段６にて決定
されるウインドウ幅は広くなる。しかし、かかる場合に
は抽出の信頼性が低いわけではないため、そのウインド
ウｒ２の幅と次に設定する追跡ウインドウｒ３の幅とは
等しくするようにしたり、或いは、ｒ５（ｒ４での信頼
性が高くなっているため、このｒ５でのウインドウ幅は
狭くなっている）に基づいて設定するｒ６のように、標
準の幅に戻すようにしてもよい。もちろん、そのまま幅
を広くするようにしても良く、種々の手段を採ることが
できる。Further, in the case where there is originally no white line such as the tracking window r2, the white line cannot be extracted. Therefore, the setting position of the tracking window r3 to be set next as described above is the initial window r1. It can be obtained by extending the extracted white line.
However, since the number of pairs of peak values (representative points) becomes 0 and the reliability becomes zero, the window width set by the window width determination means 6 is wide. Become. However, in such a case, the reliability of extraction is not low, so that the width of the window r2 and the width of the tracking window r3 to be set next may be made equal, or the reliability of r5 (r4 Since the window width at r5 is narrower, the window width at r5 may be reduced to the standard width as in r6. Of course, the width may be widened as it is, and various means can be adopted.
【００３２】そして、この様に破線の場合における空白
領域のために抽出した代表点が少ないのか、信頼性が低
いために抽出した代表点が少ないのかは、例えばかかる
空白領域が一定の間隔で現れることに着目し、過去のデ
ータ（白線の抽出領域と非抽出領域の発生状態）を記憶
し、それと比較したり、例えばｒ３の場合には、図４
（Ｃ）に示すようにウインドウの下方にはピーク値等が
現れず、上方に集中してピーク値のペアが現れることか
ら、Ｙ軸方向に対するばらつきの度合等を検出すること
により上記式（１）の分母を代表点の存在している領域
のＹ座標数（抽出された代表点の上限と下限間）とする
こと等により対応することができる。Whether there are a small number of representative points extracted for the blank area in the case of the broken line, or a small number of representative points extracted due to low reliability, for example, the blank area appears at regular intervals. Paying attention to this, the past data (the generation state of the white line extraction region and the non-extraction region) is stored and compared, or in the case of r3, for example, in FIG.
As shown in (C), the peak value and the like do not appear in the lower part of the window, and the peak value pairs appear concentrated in the upper part. Therefore, by detecting the degree of variation in the Y-axis direction, the above equation (1) It is possible to deal with this by setting the denominator of) as the Y coordinate number of the area where the representative point exists (between the upper limit and the lower limit of the extracted representative point).
【００３３】なお、上記した実施例では、白線抽出手段
が、エッジ検出により白線を抽出するようにしたが、本
発明はこれに限ることなく、種々の画像認識手法を用い
ることができる。In the above embodiment, the white line extracting means extracts the white line by edge detection, but the present invention is not limited to this, and various image recognition methods can be used.
【００３４】また、上記した実施例では次に設定するウ
インドウの中点を交点座標に一致させるようにしたが、
本発明はこれに限らず、所定方向に所定量だけずらして
も良い。すなわち、カーブの場合にはそのカーブしてい
る方向にずらした方が、検出精度が上がるからであり、
そのずらす量はカーブの曲率半径の大小から決定するこ
とができる。In the above embodiment, the midpoint of the window to be set next is made to coincide with the intersection coordinates.
The present invention is not limited to this, and may be shifted in a predetermined direction by a predetermined amount. That is, in the case of a curve, it is better to shift in the direction of the curve because the detection accuracy will be higher.
The amount of shift can be determined from the size of the radius of curvature of the curve.
【００３５】さらに、上記した実施例では、道路上に形
成された白線を抽出する装置に適用した例について説明
したが、本発明はこれに限ることなく、種々の連続線に
対する抽出を行うようにしてもよいのはもちろんであ
り、線の種類も上述したごとく実線や破線等、その種類
は問わず、途中にとぎれた箇所があっても全体として連
続していれば本発明でいう連続線となるのである。Further, in the above-mentioned embodiment, the example applied to the device for extracting the white line formed on the road has been described, but the present invention is not limited to this, and it is possible to perform extraction for various continuous lines. Of course, the type of line may be a solid line, a broken line, or the like, as described above, regardless of the type, and even if there is a broken point in the middle, it is a continuous line as referred to in the present invention. It will be.
【００３６】[0036]
【発明の効果】以上のように、本発明に係る連続線追跡
装置では、設定するウインドウの幅がその前に処理を行
った線の抽出結果の信頼性が高い場合には狭くなる。す
なわち、信頼性が高い場合には、その抽出した線の延長
線上に次の線の存在確立が高くなるため、ウインドウの
幅を狭くしても確実に線を抽出することができ、しか
も、ウインドウ幅を狭くしたことによりノイズを拾う可
能性が少なくなり、かつ処理対象となる面積が狭くなる
ため、高速処理が可能となる。一方、抽出結果の信頼性
が低い場合には、次に設定するウインドウの幅を広くす
ることにより、確実に線を抽出することができる。すな
わち、抽出結果の状況に応じて、ノイズの影響を可及的
に抑制しつつ線の検出精度の向上を図り、さらに、でき
るだけ処理時間を短縮することのできる。これにより、
確実かつ高速に線の追跡を行うことができる。As described above, in the continuous line tracking device according to the present invention, the width of the window to be set becomes narrow when the reliability of the extraction result of the line processed before is high. That is, when the reliability is high, the next line is more likely to be present on the extension line of the extracted line, so that the line can be reliably extracted even if the width of the window is narrowed. By narrowing the width, the possibility of picking up noise is reduced, and the area to be processed is narrowed, so that high-speed processing is possible. On the other hand, when the reliability of the extraction result is low, the line can be reliably extracted by increasing the width of the window to be set next. That is, it is possible to improve the line detection accuracy while suppressing the influence of noise as much as possible according to the situation of the extraction result, and further to shorten the processing time as much as possible. This allows
The line can be traced reliably and at high speed.
【図１】本発明に係る連続線追跡装置の好適な一実施例
を示すブロック図である。FIG. 1 is a block diagram showing a preferred embodiment of a continuous line tracking device according to the present invention.
【図２】作用を説明するためのフローチャート図であ
る。FIG. 2 is a flow chart for explaining the operation.
【図３】読み込んだ画像の一例を示す図である。FIG. 3 is a diagram showing an example of a read image.
【図４】作用を説明するための図である。FIG. 4 is a diagram for explaining the operation.
１ 画像入力装置 ２ 画像記憶手段 ３ ウインドウ設定手段 ４ 白線抽出手段 ５ 信頼度算出手段 ６ ウインドウ幅決定手段 1 image input device 2 image storage means 3 window setting means 4 white line extracting means 5 reliability calculation means 6 window width determining means
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.5 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｇ０６Ｆ 15/70 ３４０ 9071−5Ｌ // Ｇ０１Ｖ 9/04 Ｓ 7256−2Ｇ ─────────────────────────────────────────────────── ─── Continuation of the front page (51) Int.Cl. 5 Identification code Internal reference number FI Technical display location G06F 15/70 340 9071-5L // G01V 9/04 S 7256-2G
Claims (1)
ドウを設定するウインドウ設定手段と、 そのウインドウ設定手段により設定された前記ウインド
ウ内に存在する線を抽出する線抽出手段と、 その線抽出手段における抽出結果の信頼度を算出する信
頼度算出手段と、 その信頼度算出手段にて求めた信頼度の大小に応じて次
に設定するウインドウの幅の狭広を設定し、それを前記
ウインドウ設定手段に送るウインドウ幅決定手段とを備
え、 かつ前記所定位置が、前記線抽出手段により抽出された
線の延長線上とした連続線追跡装置。1. A window setting means for setting a window having a predetermined width at a predetermined position in the image, a line extracting means for extracting a line existing in the window set by the window setting means, and the line extraction. The reliability calculation means for calculating the reliability of the extraction result in the means, and the width of the window to be set next according to the magnitude of the reliability calculated by the reliability calculation means is set, and the width is set to the window. A continuous line tracking device, comprising: window width determining means for sending to the setting means, and wherein the predetermined position is on an extension of the line extracted by the line extracting means.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP14688592A JPH05314396A (en) | 1992-05-13 | 1992-05-13 | Continuous line tracking device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP14688592A JPH05314396A (en) | 1992-05-13 | 1992-05-13 | Continuous line tracking device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH05314396A true JPH05314396A (en) | 1993-11-26 |
Family
ID=15417780
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP14688592A Withdrawn JPH05314396A (en) | 1992-05-13 | 1992-05-13 | Continuous line tracking device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH05314396A (en) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002027447A (en) * | 2000-07-12 | 2002-01-25 | Fuji Heavy Ind Ltd | Vehicle surrounding monitoring device having fail safe function |
| JP2004178159A (en) * | 2002-11-26 | 2004-06-24 | Nissan Motor Co Ltd | Lane deviation preventing device |
| US6868168B2 (en) | 2000-12-26 | 2005-03-15 | Nissan Motor Co., Ltd. | Lane recognition system for vehicle |
| JP2009054173A (en) * | 2008-10-06 | 2009-03-12 | Toyota Motor Corp | Device for deciding vehicle travel road |
| WO2011040119A1 (en) * | 2009-09-30 | 2011-04-07 | 日立オートモティブシステムズ株式会社 | Vehicle controller |
| JP2011243161A (en) * | 2010-05-21 | 2011-12-01 | Denso Corp | Lane boundary detection apparatus and lane boundary detection program |
| JP2013191040A (en) * | 2012-03-14 | 2013-09-26 | Alpine Electronics Inc | Lane mark detector and reliability calculation method of lane mark |
| CN103523021A (en) * | 2012-07-02 | 2014-01-22 | 现代摩比斯株式会社 | Reliability calculation method of lane detection and apparatus for calculating for performing thereof |
| JP2014013451A (en) * | 2012-07-03 | 2014-01-23 | Clarion Co Ltd | In-vehicle lane recognition device |
| JP2015210102A (en) * | 2014-04-24 | 2015-11-24 | 株式会社オプトアート | Workpiece shape identification device |
| JP2016122320A (en) * | 2014-12-25 | 2016-07-07 | 株式会社日本自動車部品総合研究所 | Travel section line recognition device |
| JPWO2018212280A1 (en) * | 2017-05-19 | 2020-03-19 | パイオニア株式会社 | Measuring device, measuring method and program |
-
1992
- 1992-05-13 JP JP14688592A patent/JPH05314396A/en not_active Withdrawn
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002027447A (en) * | 2000-07-12 | 2002-01-25 | Fuji Heavy Ind Ltd | Vehicle surrounding monitoring device having fail safe function |
| US6868168B2 (en) | 2000-12-26 | 2005-03-15 | Nissan Motor Co., Ltd. | Lane recognition system for vehicle |
| JP2004178159A (en) * | 2002-11-26 | 2004-06-24 | Nissan Motor Co Ltd | Lane deviation preventing device |
| US6973380B2 (en) | 2002-11-26 | 2005-12-06 | Nissan Motor Co., Ltd. | Lane keep control apparatus and method for automotive vehicle |
| JP2009054173A (en) * | 2008-10-06 | 2009-03-12 | Toyota Motor Corp | Device for deciding vehicle travel road |
| US8630793B2 (en) | 2009-09-30 | 2014-01-14 | Hitachi Automotive Systems, Ltd. | Vehicle controller |
| WO2011040119A1 (en) * | 2009-09-30 | 2011-04-07 | 日立オートモティブシステムズ株式会社 | Vehicle controller |
| JP2011073529A (en) * | 2009-09-30 | 2011-04-14 | Hitachi Automotive Systems Ltd | Vehicle controller |
| JP2011243161A (en) * | 2010-05-21 | 2011-12-01 | Denso Corp | Lane boundary detection apparatus and lane boundary detection program |
| JP2013191040A (en) * | 2012-03-14 | 2013-09-26 | Alpine Electronics Inc | Lane mark detector and reliability calculation method of lane mark |
| CN103523021A (en) * | 2012-07-02 | 2014-01-22 | 现代摩比斯株式会社 | Reliability calculation method of lane detection and apparatus for calculating for performing thereof |
| JP2014013451A (en) * | 2012-07-03 | 2014-01-23 | Clarion Co Ltd | In-vehicle lane recognition device |
| JP2015210102A (en) * | 2014-04-24 | 2015-11-24 | 株式会社オプトアート | Workpiece shape identification device |
| JP2016122320A (en) * | 2014-12-25 | 2016-07-07 | 株式会社日本自動車部品総合研究所 | Travel section line recognition device |
| JPWO2018212280A1 (en) * | 2017-05-19 | 2020-03-19 | パイオニア株式会社 | Measuring device, measuring method and program |
| JP2022034051A (en) * | 2017-05-19 | 2022-03-02 | パイオニア株式会社 | Measuring device, measuring method and program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7362883B2 (en) | Lane marker recognition method | |
| US10521676B2 (en) | Lane detection device, lane departure determination device, lane detection method and lane departure determination method | |
| JP3350296B2 (en) | Face image processing device | |
| JP3503230B2 (en) | Nighttime vehicle recognition device | |
| JP3083918B2 (en) | Image processing device | |
| KR100818317B1 (en) | Method for recognizing a vehicle using the difference image | |
| JP2007179386A (en) | Method and apparatus for recognizing white line | |
| JPH05314396A (en) | Continuous line tracking device | |
| JP2888735B2 (en) | Travel lane detection device | |
| JP3812384B2 (en) | Leading vehicle recognition device | |
| JP4631197B2 (en) | Branch determination device, program, and recording medium | |
| Takahashi et al. | A robust lane detection using real-time voting processor | |
| JPH07249128A (en) | Picture processor for vehicle | |
| JP3453952B2 (en) | Traffic flow measurement device | |
| JP3319401B2 (en) | Roadway recognition device | |
| JP2893814B2 (en) | Plate cutout device for automatic car number reader | |
| JP2962799B2 (en) | Roadside detection device for mobile vehicles | |
| JP3287166B2 (en) | Distance measuring device | |
| JPH11219435A (en) | White line detector for automobile | |
| JP2883131B2 (en) | Driving lane identification method | |
| JP3331095B2 (en) | In-vehicle image processing device | |
| JPH0520593A (en) | Travelling lane recognizing device and precedence automobile recognizing device | |
| JP2006172262A (en) | Road sign detector for vehicle | |
| JP2006314060A (en) | Image processing apparatus and noise detecting method | |
| JPH0933216A (en) | Image processor carried on vehicle |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 19990803 |