JPH0757200A - Method and device for recognizing travel course - Google Patents
Method and device for recognizing travel courseInfo
- Publication number
- JPH0757200A JPH0757200A JP20496793A JP20496793A JPH0757200A JP H0757200 A JPH0757200 A JP H0757200A JP 20496793 A JP20496793 A JP 20496793A JP 20496793 A JP20496793 A JP 20496793A JP H0757200 A JPH0757200 A JP H0757200A
- Authority
- JP
- Japan
- Prior art keywords
- image
- vehicle
- road
- lane
- detected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
Description
【０００１】[0001]
【産業上の利用分野】本発明は、車両走行時における事
故の事前回避、予防安全のために用いられる走路認識装
置および走路認識方法に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a road recognizing device and a road recognizing method which are used for avoiding accidents and preventing safety while a vehicle is traveling.
【０００２】[0002]
【従来の技術】高速道路上等での車両の安全走行を維持
するため、車両に搭載されたカメラで前方の道路画像を
撮像し、この道路画像から走路を挟んだ左右２本の白線
（レ−ンマ−ク）の位置を検出して走路認識を行う方式
がある。2. Description of the Related Art In order to maintain safe running of a vehicle on a highway or the like, an image of the road ahead is taken by a camera mounted on the vehicle, and two white lines (left and right) between the left and right sides of the running road are recorded from this road image. There is a method of recognizing a track by detecting the position of the (mark).
【０００３】しかし、一画面の道路画像から、同時にし
かも安全上問題無い程度の正確さを持って左右２本のレ
ーンマークの位置を検出することは難しく、例えば、各
レーンマークのパターンの違いやノイズ等に起因して、
各レーンマーク検出位置の部分的な混同が生じたりする
恐れがある。However, it is difficult to detect the positions of the two lane marks on the left and right simultaneously from the road image of one screen and with an accuracy that does not cause a safety problem. Due to noise, etc.
There is a risk of partial confusion of the lane mark detection positions.
【０００４】そこで従来は、道路画像を左右２つの領域
に分割し、それぞれの領域内でレーンマークの検出処理
を別々に行う方式をとっていた。さらに検出されたレー
ンマークの位置情報から路面上の車両位置検出等の走路
認識を行うにあたっても、各領域内で検出した個々のレ
−ンマ−クの位置情報に対して別々に処理を行ってい
た。Therefore, conventionally, a method has been adopted in which the road image is divided into left and right regions and the lane mark detection processing is performed separately in each region. Further, when recognizing a road such as detecting the vehicle position on the road surface based on the detected lane mark position information, the position information of each lane mark detected in each area is separately processed. It was
【０００５】[0005]
【発明が解決しようとする課題】このように従来は、道
路画像を左右２つの領域に分割し、領域ごとに同じ処理
を２回繰り返してレーンマーク検出および走路認識を行
っていた。したがって、当然ながら処理時間がかかり、
運転員に危険状態をいち早く知らせるべきこの種の装置
にとっては大きなマイナス要因となっていた。As described above, conventionally, the road image is divided into two regions, the left and right regions, and the same process is repeated twice for each region to detect the lane mark and recognize the runway. Therefore, of course, it takes processing time,
This was a major negative factor for this type of device, which requires the operator to be notified of the dangerous state as soon as possible.
【０００６】本発明はこのような課題を解決するための
もので、一画面の道路画像から一回の処理で、しかも車
両走行の安全上問題の無い程度の正確さを持って走路認
識を行うことのできる走路認識装置および走路認識方法
の提供を目的としている。The present invention is intended to solve such a problem, and performs road recognition from a road image on a single screen with a single process and with such accuracy that there is no problem in safety of vehicle running. An object of the present invention is to provide a runway recognition device and a runway recognition method capable of performing the same.
【０００７】[0007]
【課題を解決するための手段】本発明の走路認識装置は
上記した目的を達成するために、車両前方の道路画像を
撮像する撮像手段と、前記撮像手段により撮像された道
路画像から、前記車両の走路を挟んだ左右２本のレ−ン
マ−クの画像を検出する画像前処理手段と、前記画像前
処理手段により検出された各レ−ンマ−ク画像を基に、
これらレ−ンマ−クの構成点をなす座標を検出する座標
検出手段と、前記座標検出手段により検出された座標に
基づき、前記左右２本のレ−ンマ−クを近似する１本の
多次曲線を走路認識結果として算出する演算手段とを具
備することを特長とするものである。In order to achieve the above-mentioned object, a running lane recognition device of the present invention uses an image pickup means for picking up a road image in front of a vehicle, and a road image picked up by the image pickup means from the vehicle. Image pre-processing means for detecting images of two left and right lane marks across the running path, and based on each lane mark image detected by the image pre-processing means,
Coordinate detecting means for detecting the coordinates forming the constituent points of the lane marks, and one multi-order for approximating the two left and right lane marks based on the coordinates detected by the coordinate detecting means. The present invention is characterized by comprising a calculating means for calculating a curve as a result of track recognition.
【０００８】[0008]
【作用】すなわち、本発明では、撮像手段により撮像さ
れた道路画像から、車両の走路を挟んだ左右２本のレ−
ンマ−クの画像を検出し、検出した各レ−ンマ−ク画像
を基に各レ−ンマ−クの構成点をなす座標を検出して、
さらに検出された各レ−ンマ−ク座標に基づき、左右２
本のレ−ンマ−ク１本の多次曲線を走路認識結果として
算出するので、一画面の道路画像から一回の処理で、し
かも車両走行の安全上問題の無い程度の正確さを持って
走路認識を行うことができる。よって、車線からの車両
の逸脱や運転者の居眠り等の危険状態をより早くより正
確に検知し、走行中の安全性を高めることができる。That is, according to the present invention, the two right and left rails across the road of the vehicle are extracted from the road image taken by the imaging means.
The image of the mark mark is detected, and the coordinates forming the constituent points of each mark mark are detected based on the detected mark mark images,
Further, based on each detected lane mark coordinate, right and left 2
Since a multi-dimensional curve of one lane mark is calculated as a road recognition result, it can be processed once from a road image on one screen, and with a degree of accuracy that does not pose a safety problem for vehicle running. Track recognition can be performed. Therefore, it is possible to detect a dangerous state such as deviation of the vehicle from the lane or drowsiness of the driver more quickly and more accurately, and to improve safety during traveling.
【０００９】[0009]
【実施例】以下、本発明の実施例を図面を参照して説明
する。Embodiments of the present invention will be described below with reference to the drawings.
【００１０】図１は本発明に係る一実施例の走路認識装
置の構成を示すブロック図である。同図において、１は
車両に設置されるカメラであり、走行中に車両前方の道
路画像を撮像して白黒の画像信号を得る。このカメラ１
は車両のフロントガラス近くのル−フに取り付けられて
おり、光軸は水平に対して約 0.8度下向きで、画像中の
水平線の位置が画面の上端から３分の１付近になるよう
に設定されている。また２は画像メモリであり、カメラ
１により撮像された画像信号をデジタルデータとして蓄
積する。３は画像前処理部であり、画像メモリ２から読
み込んだ画像データに対してフィルタリングおよび二値
化処理を行って、道路画像中の左右２本のレ−ンマ−ク
のエッジ検出を行う。また４は座標検出部であり、画像
前処理部３により検出された左右２本のレ−ンマ−クの
構成点となっている画素の座標検出を行う。５は多次曲
線算出部であり、座標検出部４によって検出された各レ
−ンマ−ク座標、その他から、左右２本のレ−ンマ−ク
を近似する１本の多次曲線を求める。６は画像合成部で
あり、画像メモリ２に蓄積された道路画像と多次曲線算
出部５により算出された多次曲線とを合成する。７は表
示装置であり、画像合成部６で得た合成画像を表示す
る。８は警報処理部であり、多次曲線算出部５により算
出された多次曲線の係数を用いて車両の進行方向、道路
上の車両位置等を検出し、この結果から予め設定された
条件に従って車両走行状態の良否を判定し、その良否を
示す信号を警報装置９に出力する。FIG. 1 is a block diagram showing the construction of a runway recognition apparatus according to an embodiment of the present invention. In the figure, reference numeral 1 denotes a camera installed in a vehicle, which captures a road image in front of the vehicle while traveling to obtain a black and white image signal. This camera 1
Is attached to the roof near the windshield of the vehicle, the optical axis is about 0.8 degrees downward with respect to the horizontal, and the position of the horizontal line in the image is set to be around one-third from the top of the screen. Has been done. An image memory 2 stores the image signal captured by the camera 1 as digital data. An image preprocessing unit 3 performs filtering and binarization processing on the image data read from the image memory 2 to detect edges of two left and right lane marks in the road image. Reference numeral 4 denotes a coordinate detection unit which detects the coordinates of the pixels which are the constituent points of the two left and right lane marks detected by the image preprocessing unit 3. Reference numeral 5 denotes a multi-order curve calculation unit, which obtains one multi-order curve that approximates two left and right lane marks from each of the lane mark coordinates detected by the coordinate detection unit 4 and others. An image synthesizing unit 6 synthesizes the road image accumulated in the image memory 2 and the multi-order curve calculated by the multi-order curve calculating unit 5. A display device 7 displays the composite image obtained by the image composition unit 6. An alarm processing unit 8 detects the traveling direction of the vehicle, the vehicle position on the road, etc. by using the coefficient of the multi-order curve calculated by the multi-order curve calculation unit 5, and according to a preset condition from this result. The quality of the vehicle traveling state is determined, and a signal indicating the quality is output to the alarm device 9.
【００１１】図２は画像前処理部３の構成を示すブロッ
ク図である。FIG. 2 is a block diagram showing the configuration of the image preprocessing unit 3.
【００１２】同図に示すように、画像前処理部３はバッ
ファメモリ１０、ＤＳＰ（DigitalSignal Processer）
１１、第１フレームメモリ１２、第２フレームメモリ１
３、および加算器１４からなる。バッファメモリ１０は
画像メモリ２から読み込んだ道路画像のデータを一時的
に保持する。但し、ここで処理の対象となる画像データ
は、一画面全体の画像デ−タ中の、水平線以下の路面部
分（画面下部３分の２程度）、具体的には 512×288 画
素程度であり、この部分の画像データのみが画像メモリ
２から読み込まれてバッファメモリ１０に保持される。
ＤＳＰ１１はバッファメモリ１０に保持された画像デー
タに対してフィルタリングを行い、且つ加算器１４の出
力データに対して二値化処理を行う部分である。ここで
使用されるフィルタとしては、道路画像上の各レ−ンマ
−クの形状的な特長から、例えば図３に示すように、一
画面を７（横）×９（縦）に分割し、且つ±４５度方向
の直線領域に対してだけ感度を持たせた２Ｄフィルタが
望ましい。なお、この２Ｄフィルタに設定される特性
は、例えば警報処理部８からの車線変更発生信号、その
他によって変更可能である。各フレームメモリ１２、１
３はＤＳＰ１１より取り出された＋４５度方向、−４５
度方向のフィルタリング結果をそれぞれ保持する部分で
あり、第２フレームメモリ１３には二値化処理の結果も
保持される。加算器１４は各フレームメモリ１２、１３
に保持されたデータを合成する部分である。そして加算
器１４の出力は再びＤＳＰ１１に送られ、二値化された
後、第２フレームメモリ１３に記憶される。As shown in FIG. 1, the image preprocessing unit 3 includes a buffer memory 10 and a DSP (Digital Signal Processor).
11, first frame memory 12, second frame memory 1
3 and an adder 14. The buffer memory 10 temporarily holds the road image data read from the image memory 2. However, the image data to be processed here is the road surface portion below the horizon (about two-thirds lower part of the screen) in the image data of the entire screen, specifically about 512 x 288 pixels. Only the image data of this portion is read from the image memory 2 and held in the buffer memory 10.
The DSP 11 is a portion that performs filtering on the image data held in the buffer memory 10 and performs binarization processing on the output data of the adder 14. As the filter used here, one screen is divided into 7 (horizontal) × 9 (vertical), as shown in FIG. 3, because of the shape features of each lane mark on the road image. A 2D filter having sensitivity only to the linear region in the ± 45 ° direction is desirable. The characteristic set in the 2D filter can be changed by, for example, a lane change generation signal from the alarm processing unit 8 or the like. Each frame memory 12, 1
3 is the +45 degree direction extracted from the DSP 11, -45
The second frame memory 13 also holds the result of the binarization process, which is a part that holds each filtering result in the degree direction. The adder 14 is provided in each of the frame memories 12 and 13
This is the part that synthesizes the data held in. The output of the adder 14 is sent to the DSP 11 again, binarized, and then stored in the second frame memory 13.
【００１３】次に本実施例の動作について説明する。Next, the operation of this embodiment will be described.
【００１４】まずカメラ１で得た例えば図４に示すよう
な白黒画像の信号は、図示しないＡ／Ｄ変換器によって
８ビットのデジタルデータに変換され、画素数 680×48
0 のデジタル画像デ−タとして画像メモリ２に記憶され
る。First, for example, a monochrome image signal as shown in FIG. 4 obtained by the camera 1 is converted into 8-bit digital data by an A / D converter (not shown), and the number of pixels is 680 × 48.
It is stored in the image memory 2 as 0 digital image data.
【００１５】この後、画像メモリ２に記憶された特定領
域部分（画面下部３分の２程度）の画像データは、画像
前処理部３によって読み込まれてバッファメモリ１０に
格納される。その後、バッファメモリ１０に格納された
画像データに対しＤＳＰ１１にて＋４５度方向および−
４５度方向のフィルタリングを行い、それぞれの結果を
各フレ−ムメモリ１２、１３に記憶する。さらに各フレ
−ムメモリ１２、１３に記憶されたデータは加算器１４
にて加算され、再びＤＳＰ１１に転送されて「００Ｈ」
と「ＦＦＨ」とに二値化される。これにより、原画像の
中から図５に示すような左右２本のレ−ンマ−クＥ１、
Ｅ２のエッジ画像が検出される。そしてこのエッジ画像
は第２フレ−ムメモリ１３に格納される。After that, the image data of the specific area portion (about two-thirds lower part of the screen) stored in the image memory 2 is read by the image preprocessing unit 3 and stored in the buffer memory 10. After that, with respect to the image data stored in the buffer memory 10, the DSP 11 moves in the +45 degree direction and −
Filtering in the direction of 45 degrees is performed, and the respective results are stored in the frame memories 12 and 13. Further, the data stored in each frame memory 12 and 13 is added by an adder 14
Is added and is transferred to the DSP 11 again, and "00H" is added.
And “FFH” are binarized. As a result, two right and left lane marks E1 as shown in FIG.
The edge image of E2 is detected. Then, this edge image is stored in the second frame memory 13.
【００１６】次に、検出された各レ−ンマ−クの構成点
となっている画素の座標検出を座標検出部４にて行う。Next, the coordinate detection unit 4 detects the coordinates of the pixels which are the constituent points of the detected lane marks.
【００１７】図６はこの座標検出およびこれに続いて行
われる多次曲線算出の手順を示すフロ−チャ−トであ
る。FIG. 6 is a flow chart showing the procedure of this coordinate detection and the subsequent multi-dimensional curve calculation.
【００１８】まず図７に示すように、第２フレームメモ
リ１３の二値デ−タをｙ座標零のラインからｘ方向に沿
って順次読んで行き、レ−ンマ−ク構成画素である「Ｆ
ＦＨ」を検索する（ステップ６０１）。通常、レ−ンマ
−クのｘ軸方向の画素幅は３〜６画素程度になるため、
ｘ軸方向の１本のライン上では連続する「ＦＦＨ」が２
ケ所または１カ所で検出されることになる。「ＦＦＨ」
が検出されれば、次にそのデ−タが置かれているフレ−
ムメモリ１３上のアドレスから座標を割り出してこれを
記憶する（ステップ６０２）。このようにして第２フレ
ームメモリ１３からすべてのラインの「ＦＦＨ」を検出
し、レ−ンマ−クの全構成画素の座標を求めてこれらを
記憶する。またこの間、検出した「ＦＦＨ」の総画素数
をステップ６０３にて求めて行く。First, as shown in FIG. 7, the binary data of the second frame memory 13 is sequentially read from the line of zero y coordinate along the x direction, and "F" which is a lane mark constituent pixel.
"FH" is searched (step 601). Normally, the pixel width of the lane mark in the x-axis direction is about 3 to 6 pixels,
There are 2 consecutive "FFHs" on one line in the x-axis direction.
It will be detected at one place or one place. "FFH"
Is detected, the frame containing the data is placed next.
The coordinates are calculated from the address on the memory 13 and stored (step 602). In this way, "FFH" of all lines are detected from the second frame memory 13, the coordinates of all the constituent pixels of the lane mark are obtained, and these are stored. During this period, the total number of detected "FFH" pixels is calculated in step 603.
【００１９】次に、以上により得た左右２本のレ−ンマ
−クの座標および総画素数から最小二乗法により一本の
多次曲線を求める。この最小二乗法の正規方程式は次の
(1)式で表される。Next, one multidimensional curve is obtained by the least square method from the coordinates of the two left and right lane marks and the total number of pixels obtained as described above. This least squares normal equation is
It is expressed by equation (1).
【００２０】[0020]
【数１】 ここで、ｘi 、ｙi はステップ６０２で得たｉ番目の
「ＦＦＨ」画素のｘ座標およびｙ座標、Ｋはステップ６
０３で得た総画素数、Ｃj はｎ次曲線のｊ次の係数であ
る。[Equation 1] Here, x i and y i are x and y coordinates of the i-th “FFH” pixel obtained in step 602, and K is step 6
The total number of pixels obtained in 03, C j, is the j- th coefficient of the n-th curve.
【００２１】すなわち、多次曲線算出部５は、まず (1)
式の各行列要素の値をそれぞれ算出する（ステップ６０
５）。ここで、 (1)式はＣ1 ・・・Ｃn に関するｎ＋１
元連立方程式であるから、ダウスの消去法を用いてこれ
を解くことでｎ次曲線の係数が求められる（ステップ６
０６）。That is, the multi-order curve calculation unit 5 first (1)
The value of each matrix element of the expression is calculated (step 60).
5). Here, the equation (1) is n + 1 with respect to C 1 ... C n.
Since it is a simultaneous equation, the coefficient of the nth-order curve is obtained by solving it using the Daussian elimination method (step 6).
06).
【００２２】こうして求められた多次曲線は、画像合成
部６にて画像メモリ２に蓄積された道路画像と合成され
た後、表示装置７に出力される。この結果、図８に示す
ようなｎ次曲線８１と道路画像との合成画像が得られ
る。The multi-order curve thus obtained is combined with the road image stored in the image memory 2 by the image combining section 6 and then output to the display device 7. As a result, a composite image of the nth-order curve 81 and the road image as shown in FIG. 8 is obtained.
【００２３】一方、警報処理部８は、求められた多次曲
線の係数を用いて車両の進行方向、路面上の車両位置等
の検出を行い、車両走行状態の異常の有無を判定する。
そして走行状態に異常があれば、異常発生信号を警報装
置９に出力する。警報装置９は異常発生信号を入力する
と、運転者に音や光でこのことを知らせる。On the other hand, the alarm processing unit 8 detects the traveling direction of the vehicle, the position of the vehicle on the road surface, etc. by using the coefficient of the obtained multi-dimensional curve, and determines whether or not there is an abnormality in the vehicle running state.
Then, if there is an abnormality in the traveling state, an abnormality occurrence signal is output to the alarm device 9. When the alarm device 9 inputs an abnormality occurrence signal, it informs the driver of this by sound or light.
【００２４】また警報処理部８は、多次曲線の係数の変
化から車両の車線変更を検出する機能を持ち、車線変更
を検出すると画像前処理部３のＤＳＰ１１に、図９に示
すような各レーンマーク（センターラインＬ２を挾んだ
左右２本のレーンマークＬ１、Ｌ３）のエッジのみを検
出できるような方向性を持ったフィルタを設定する。こ
れにより図１０に示すような２本のレーンマークＥ１、
Ｅ２が検出され、これらレーンマーク座標から同様に多
次曲線が走路認識結果として求められる。Further, the alarm processing unit 8 has a function of detecting a lane change of the vehicle from the change of the coefficient of the multi-order curve, and when the lane change is detected, the DSP 11 of the image preprocessing unit 3 is provided with each function as shown in FIG. A directional filter is set so that only the edges of the lane mark (the left and right lane marks L1 and L3 that sandwich the center line L2) can be detected. As a result, two lane marks E1 as shown in FIG.
E2 is detected, and similarly, a multi-dimensional curve is obtained as a road recognition result from these lane mark coordinates.
【００２５】かくして本実施例の走路認識装置によれ
ば、道路画像からのレーンマーク検出結果に多少のノイ
ズが含まれていても１本の多次曲線に走路認識結果を絞
り込むことができるので、一画面の道路画像から一回の
処理でしかも正確に走路認識を行うことができる。した
がって、車線からの車両の逸脱や運転者の居眠り等の危
険状態をより早くより正確に検知し、走行中の安全性を
高めることができる。Thus, according to the runway recognition apparatus of this embodiment, the runway recognition result can be narrowed down to one multi-order curve even if the lane mark detection result from the road image contains some noise. It is possible to perform accurate roadway recognition from a road image on one screen only once. Therefore, it is possible to detect a dangerous state such as deviation of the vehicle from the lane or drowsiness of the driver more quickly and more accurately, and to enhance safety during traveling.
【００２６】なお、各レーンマークを近似する多次曲線
を求める方法としては最小二乗法に限定されない。例え
ば、スプライン補間法等を用いてもよいし、その他も方
法も考えられる。The method of obtaining a multi-order curve that approximates each lane mark is not limited to the least squares method. For example, the spline interpolation method or the like may be used, and other methods can be considered.
【００２７】[0027]
【発明の効果】以上説明したように本発明の走路認識装
置および走路認識方法によれば、左右２本のレ−ンマ−
クを一本の多次曲線で近似することにより、一画面の道
路画像から一回の処理で、しかも車両走行の安全上問題
の無い程度の正確さを持って走路認識を行うことがで
き、車線からの車両の逸脱や運転者の居眠り等の危険状
態をより早くより正確に検知し、走行中の安全性を高め
ることができる。As described above, according to the track recognition device and the track recognition method of the present invention, the left and right lane markers are provided.
By approximating ku with a single multi-dimensional curve, it is possible to perform road recognition with a single processing from a road image on one screen, and with an accuracy that does not cause a safety problem of vehicle running, It is possible to detect a dangerous state such as deviation of the vehicle from the lane or drowsiness of the driver more quickly and more accurately, and to enhance safety while traveling.
【図１】本発明に係る一実施例の走路認識装置の構成を
示すブロック図である。FIG. 1 is a block diagram showing a configuration of a track recognizing device according to an embodiment of the present invention.
【図２】画像前処理部の構成を示すブロック図である。FIG. 2 is a block diagram showing a configuration of an image preprocessing unit.
【図３】画像前処理部内のフィルタの例を示す図であ
る。FIG. 3 is a diagram illustrating an example of a filter in an image preprocessing unit.
【図４】カメラの撮影画像の例を示す図である。FIG. 4 is a diagram showing an example of a captured image of a camera.
【図５】図４の道路画像から検出されたレ−ンマ−クの
エッジ画像を示す図である。5 is a diagram showing an edge image of a lane mark detected from the road image of FIG.
【図６】座標検出およびこれに続いて行われる多次曲線
算出の手順を示すフロ−チャ−トである。FIG. 6 is a flowchart showing a procedure of coordinate detection and calculation of a multi-order curve that is performed subsequently.
【図７】各レ−ンマ−クのエッジ画像からレ−ンマ−ク
構成画素である「ＦＦＨ」を検索する動作を説明するた
めの図である。FIG. 7 is a diagram for explaining an operation of searching for "FFH" which is a pixel forming a lane mark from the edge image of each lane mark.
【図８】多次曲線と道路画像との合成画像の例を示す図
である。FIG. 8 is a diagram showing an example of a composite image of a multi-order curve and a road image.
【図９】車線変更時のカメラの撮影画像を示す図であ
る。FIG. 9 is a diagram showing a captured image of the camera when changing lanes.
【図１０】図９の道路画像から検出されたレ−ンマ−ク
のエッジ画像を示す図である。10 is a diagram showing an edge image of a lane mark detected from the road image of FIG.
１…カメラ、２…画像メモリ、３…画像前処理部、４…
座標検出部、５…多次曲線算出部、６…画像合成部、７
…表示部、８…警報処理部、９…警報装置。1 ... Camera, 2 ... Image memory, 3 ... Image preprocessor, 4 ...
Coordinate detection unit, 5 ... Multi-order curve calculation unit, 6 ... Image synthesis unit, 7
... Display unit, 8 ... Alarm processing unit, 9 ... Alarm device.
Claims (3)
と、 前記撮像手段により撮像された道路画像から、前記車両
の走路を挟んだ左右２本のレ−ンマ−クの画像を検出す
る画像前処理手段と、 前記画像前処理手段により検出された各レ−ンマ−ク画
像を基に、これらレ−ンマ−クの構成点をなす座標を検
出する座標検出手段と、 前記座標検出手段により検出された座標に基づき、前記
左右２本のレ−ンマ−クを近似する１本の多次曲線を走
路認識結果として算出する演算手段とを具備することを
特徴とする走路認識装置。1. An image pickup means for picking up a road image ahead of a vehicle, and an image for detecting two left and right lane mark images sandwiching a running path of the vehicle from the road image picked up by the image pickup means. Pre-processing means, coordinate detection means for detecting the coordinates forming the constituent points of these lane marks on the basis of the lane mark images detected by the image pre-processing means, and the coordinate detection means. A runway recognition apparatus comprising: a calculation means for calculating, as a runway recognition result, one multi-order curve that approximates the two left and right lane marks based on the detected coordinates.
走行状態の良否を検出する手段をさらに具備することを
特徴とする走路認識装置。2. The road recognizing device according to claim 1, further comprising means for detecting whether the running state of the vehicle is good or bad by using the multi-order curve calculated by the calculating means. .
両の走路認識を行う方法において、 前記撮像された道路画像から、前記車両の走路を挟んだ
左右２本のレ−ンマ−クの画像を検出する工程と、 前記検出されたレ−ンマ−ク画像を基に、前記各レ−ン
マ−クの構成点をなす座標を検出する工程と、 前記検出された座標に基づき、前記左右２本のレ−ンマ
−クを近似する１本の多次曲線を走路認識結果として算
出する工程とを有することを特徴とする走路認識方法。3. A method for recognizing a running path of a vehicle by capturing a road image in front of the vehicle, wherein two right and left lane marks sandwiching the running lane of the vehicle are included in the captured road image. A step of detecting an image, a step of detecting the coordinates forming the constituent points of each of the lane marks based on the detected lane mark image, and a step of detecting the coordinates of the left and right sides based on the detected coordinates. And a step of calculating one multi-order curve approximating two lane marks as a result of lane recognition.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP20496793A JP3260503B2 (en) | 1993-08-19 | 1993-08-19 | Runway recognition device and runway recognition method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP20496793A JP3260503B2 (en) | 1993-08-19 | 1993-08-19 | Runway recognition device and runway recognition method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0757200A true JPH0757200A (en) | 1995-03-03 |
| JP3260503B2 JP3260503B2 (en) | 2002-02-25 |
Family
ID=16499268
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP20496793A Expired - Fee Related JP3260503B2 (en) | 1993-08-19 | 1993-08-19 | Runway recognition device and runway recognition method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3260503B2 (en) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7209832B2 (en) * | 2004-07-15 | 2007-04-24 | Mitsubishi Denki Kabushiki Kaisha | Lane recognition image processing apparatus |
| US7486175B2 (en) | 2005-06-15 | 2009-02-03 | Denso Corporation | Vehicle drive assist system |
| US8818042B2 (en) | 2004-04-15 | 2014-08-26 | Magna Electronics Inc. | Driver assistance system for vehicle |
| US8917169B2 (en) | 1993-02-26 | 2014-12-23 | Magna Electronics Inc. | Vehicular vision system |
| US8993951B2 (en) | 1996-03-25 | 2015-03-31 | Magna Electronics Inc. | Driver assistance system for a vehicle |
| US9171217B2 (en) | 2002-05-03 | 2015-10-27 | Magna Electronics Inc. | Vision system for vehicle |
| US9436880B2 (en) | 1999-08-12 | 2016-09-06 | Magna Electronics Inc. | Vehicle vision system |
| US9440535B2 (en) | 2006-08-11 | 2016-09-13 | Magna Electronics Inc. | Vision system for vehicle |
-
1993
- 1993-08-19 JP JP20496793A patent/JP3260503B2/en not_active Expired - Fee Related
Cited By (32)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8917169B2 (en) | 1993-02-26 | 2014-12-23 | Magna Electronics Inc. | Vehicular vision system |
| US8993951B2 (en) | 1996-03-25 | 2015-03-31 | Magna Electronics Inc. | Driver assistance system for a vehicle |
| US9436880B2 (en) | 1999-08-12 | 2016-09-06 | Magna Electronics Inc. | Vehicle vision system |
| US9834216B2 (en) | 2002-05-03 | 2017-12-05 | Magna Electronics Inc. | Vehicular control system using cameras and radar sensor |
| US9643605B2 (en) | 2002-05-03 | 2017-05-09 | Magna Electronics Inc. | Vision system for vehicle |
| US10683008B2 (en) | 2002-05-03 | 2020-06-16 | Magna Electronics Inc. | Vehicular driving assist system using forward-viewing camera |
| US9171217B2 (en) | 2002-05-03 | 2015-10-27 | Magna Electronics Inc. | Vision system for vehicle |
| US10351135B2 (en) | 2002-05-03 | 2019-07-16 | Magna Electronics Inc. | Vehicular control system using cameras and radar sensor |
| US10118618B2 (en) | 2002-05-03 | 2018-11-06 | Magna Electronics Inc. | Vehicular control system using cameras and radar sensor |
| US11203340B2 (en) | 2002-05-03 | 2021-12-21 | Magna Electronics Inc. | Vehicular vision system using side-viewing camera |
| US10015452B1 (en) | 2004-04-15 | 2018-07-03 | Magna Electronics Inc. | Vehicular control system |
| US10735695B2 (en) | 2004-04-15 | 2020-08-04 | Magna Electronics Inc. | Vehicular control system with traffic lane detection |
| US9609289B2 (en) | 2004-04-15 | 2017-03-28 | Magna Electronics Inc. | Vision system for vehicle |
| US9948904B2 (en) | 2004-04-15 | 2018-04-17 | Magna Electronics Inc. | Vision system for vehicle |
| US8818042B2 (en) | 2004-04-15 | 2014-08-26 | Magna Electronics Inc. | Driver assistance system for vehicle |
| US11847836B2 (en) | 2004-04-15 | 2023-12-19 | Magna Electronics Inc. | Vehicular control system with road curvature determination |
| US10110860B1 (en) | 2004-04-15 | 2018-10-23 | Magna Electronics Inc. | Vehicular control system |
| US9736435B2 (en) | 2004-04-15 | 2017-08-15 | Magna Electronics Inc. | Vision system for vehicle |
| US10187615B1 (en) | 2004-04-15 | 2019-01-22 | Magna Electronics Inc. | Vehicular control system |
| US10306190B1 (en) | 2004-04-15 | 2019-05-28 | Magna Electronics Inc. | Vehicular control system |
| US11503253B2 (en) | 2004-04-15 | 2022-11-15 | Magna Electronics Inc. | Vehicular control system with traffic lane detection |
| US10462426B2 (en) | 2004-04-15 | 2019-10-29 | Magna Electronics Inc. | Vehicular control system |
| US9008369B2 (en) | 2004-04-15 | 2015-04-14 | Magna Electronics Inc. | Vision system for vehicle |
| US7209832B2 (en) * | 2004-07-15 | 2007-04-24 | Mitsubishi Denki Kabushiki Kaisha | Lane recognition image processing apparatus |
| US7486175B2 (en) | 2005-06-15 | 2009-02-03 | Denso Corporation | Vehicle drive assist system |
| US9440535B2 (en) | 2006-08-11 | 2016-09-13 | Magna Electronics Inc. | Vision system for vehicle |
| US11148583B2 (en) | 2006-08-11 | 2021-10-19 | Magna Electronics Inc. | Vehicular forward viewing image capture system |
| US11396257B2 (en) | 2006-08-11 | 2022-07-26 | Magna Electronics Inc. | Vehicular forward viewing image capture system |
| US10787116B2 (en) | 2006-08-11 | 2020-09-29 | Magna Electronics Inc. | Adaptive forward lighting system for vehicle comprising a control that adjusts the headlamp beam in response to processing of image data captured by a camera |
| US11623559B2 (en) | 2006-08-11 | 2023-04-11 | Magna Electronics Inc. | Vehicular forward viewing image capture system |
| US10071676B2 (en) | 2006-08-11 | 2018-09-11 | Magna Electronics Inc. | Vision system for vehicle |
| US11951900B2 (en) | 2006-08-11 | 2024-04-09 | Magna Electronics Inc. | Vehicular forward viewing image capture system |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3260503B2 (en) | 2002-02-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3167752B2 (en) | Vehicle distance detection device | |
| JP3156817B2 (en) | Vehicle periphery monitoring device | |
| CN104657735B (en) | Method for detecting lane lines, system, lane departure warning method and system | |
| JPH10512694A (en) | Method and apparatus for detecting movement of an object in a continuous image | |
| JPH06107096A (en) | Forward monitoring method for vehicle | |
| JP2002314989A (en) | Peripheral monitor for vehicle | |
| JPH1062162A (en) | Detector for obstacle | |
| JP3260503B2 (en) | Runway recognition device and runway recognition method | |
| JP3807651B2 (en) | White line recognition device | |
| JPH10300494A (en) | Vehicle position detecting device and method and route guide device and method | |
| JPH07250268A (en) | Vehicle periphery monitoring device | |
| JP3157958B2 (en) | Leading vehicle recognition method | |
| JPH0973529A (en) | Two-wheeled vehicle monitor device | |
| JPH07302325A (en) | On-vehicle image recognizing device | |
| JPH10320559A (en) | Traveling path detector for vehicle | |
| JP2003248895A (en) | System and method for image type vehicle sensing | |
| JP2861638B2 (en) | Travel lane detection device | |
| JP2536549B2 (en) | Inter-vehicle distance detection method | |
| JP2001092979A (en) | Unsuitable image detecting method | |
| JP2003111075A (en) | Obstacle detecting method and apparatus | |
| JP2003322522A (en) | Inter-vehicle distance detection device and detection method | |
| JP3196559B2 (en) | Line recognition method | |
| JPH01265399A (en) | Road recognizing device for vehicle | |
| JP2023052713A (en) | Imaging device, imaging system, and imaging method | |
| JPH07114688A (en) | Method for recognizing vehicle registered number |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20011127 |
|
| LAPS | Cancellation because of no payment of annual fees |