JPH11203458A - Road shape recognizing device - Google Patents

Road shape recognizing device

Info

Publication number
JPH11203458A
JPH11203458A JP1806898A JP1806898A JPH11203458A JP H11203458 A JPH11203458 A JP H11203458A JP 1806898 A JP1806898 A JP 1806898A JP 1806898 A JP1806898 A JP 1806898A JP H11203458 A JPH11203458 A JP H11203458A
Authority
JP
Japan
Prior art keywords
road
image
circle
detecting
sign
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP1806898A
Other languages
Japanese (ja)
Inventor
Kazunori Nousou
Tomoko Shimomura
倫子 下村
千典 農宋
Original Assignee
Nissan Motor Co Ltd
日産自動車株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd, 日産自動車株式会社 filed Critical Nissan Motor Co Ltd
Priority to JP1806898A priority Critical patent/JPH11203458A/en
Publication of JPH11203458A publication Critical patent/JPH11203458A/en
Withdrawn legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/00624Recognising scenes, i.e. recognition of a whole field of perception; recognising scene-specific objects
    • G06K9/00791Recognising scenes perceived from the perspective of a land vehicle, e.g. recognising lanes, obstacles or traffic signs on road scenes
    • G06K9/00818Recognising traffic signs

Abstract

PROBLEM TO BE SOLVED: To unnecessitate scanning such as white line detection and to be hardly affected by an environment by comparing an image position at the time of flat road surface with the image position of an on-road symbol detected from a picked-up image and detecting a road shape from the compared result. SOLUTION: A video signal image picked-up by a camera 1, is stored in an image memory 2 as a digital image, that image memory 2 is connected with a position detecting part 3, and that position detecting part 3 sets a radius showing the size of a circle so as to detect a delineartor preceding for a prescribed distance from the image. The circle of that radius is detected within a detection range set by a detection range setting part 4, the central position of that detected circle is compared with the image position at the time of flat road surface set by an image pickup position setting part 6 by a road shape detecting part 6, and a road gradient is detected. Thus, since the operation of a white line or the like is not required, processing is made simple and programming is facilitated.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION
【0001】[0001]
【発明の属する技術分野】この発明は、少ない演算負荷
で自動車等における走行道路形状を高速認識できる道路
形状認識装置に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a road shape recognizing device capable of recognizing a road shape of a car or the like at high speed with a small calculation load.
【0002】[0002]
【従来の技術】従来の道路認識装置としては、例えば、
特開平7−198349号公報または特開平7−275
41号公報に開示されたものがある。これらの従来の装
置においては、カメラで路面画像を得て、路面に描かれ
た白線を画像処理によって検出する。その白線をさらに
近似線によって認識したうえで、近似線から道路勾配な
どを検出するようになっている。
2. Description of the Related Art As a conventional road recognition device, for example,
JP-A-7-198349 or JP-A-7-275
There is one disclosed in Japanese Patent Application Publication No. 41 (JP-A) 41. In these conventional devices, a road surface image is obtained by a camera, and a white line drawn on the road surface is detected by image processing. After recognizing the white line by an approximate line, a road gradient or the like is detected from the approximate line.
【0003】[0003]
【発明が解決しようとする課題】しかしながら、白線を
もって道路形状として検出するためには、白線が複数あ
る場合は、常にある一定の間隔で道路に描かれる必要が
あり、幅が変化する道路では勾配を検出することができ
ない。また、白線の間隔が一定である道路でも、白線の
かすれた道路や雪の積もった道では白線が検出できない
ため、勾配検出もできない。さらに、白線形状から勾配
を検出するためには高精度の白線形状近似が必要で、計
算量が多くなり、高速処理可能な高性能画像処理装置が
必要となるという問題がある。
However, in order to detect a white line as a road shape, if there are a plurality of white lines, it is necessary to always draw the white lines on the road at certain fixed intervals. Cannot be detected. In addition, even on a road where the intervals between the white lines are constant, a gradient cannot be detected because a white line cannot be detected on a road with a faint white line or a road with snow. Furthermore, in order to detect a gradient from a white line shape, a high-precision white line shape approximation is required, which increases the amount of calculation and requires a high-performance image processing device capable of high-speed processing.
【0004】また、車載用の勾配計測装置として従来用
いられているジャイロコンパスは車両の真下の路面の勾
配角を計測することはできるが、車両より前方道路の勾
配を求めることはできない。本発明は、上記従来の問題
点を解決するものであり、簡単な演算で、環境からの影
響を受けにくい道路形状認識装置を提供することを目的
としている。
A gyrocompass conventionally used as an in-vehicle gradient measuring device can measure a gradient angle of a road surface directly below a vehicle, but cannot determine a gradient of a road ahead from a vehicle. SUMMARY OF THE INVENTION An object of the present invention is to solve the above-mentioned conventional problems, and an object of the present invention is to provide a road shape recognizing device which is simple in operation and is less affected by the environment.
【0005】[0005]
【課題を解決するための手段】このため、請求項1記載
の発明は、車両より前方道路を撮像するカメラと、カメ
ラの撮像画像を記憶する画像メモリと、前記撮像画像か
ら、路面に対して所定高さの路上標識を所定大きさで検
出し、画像上の位置を特定する位置検出手段と、路面が
平坦時の標識の画像位置を記憶する撮像位置設定手段
と、路面が平坦時の画像位置と前記検出された路上標識
の画像位置とを比較することで、道路形状を検出する道
路形状検出手段とを有するものとした。
According to the present invention, a camera for capturing an image of a road ahead of a vehicle, an image memory for storing an image captured by the camera, and A position detecting means for detecting a road sign having a predetermined height with a predetermined size and specifying a position on an image; an imaging position setting means for storing an image position of the sign when the road surface is flat; and an image when the road surface is flat. Road shape detecting means for detecting a road shape by comparing the position with the image position of the detected road sign is provided.
【0006】請求項2記載の発明は、前記位置検出手段
が、所定大きさの路上標識を検出した後、さらに車速に
応じて大きさを順次に拡大して近づいてくる路上標識を
追跡検出し、前記道路形状検出手段は、その軌跡で道路
形状を検出するようにしたものとした。
According to a second aspect of the present invention, after the position detecting means detects a road sign of a predetermined size, the position detecting means tracks and detects a traffic sign approaching the road by sequentially increasing the size according to the vehicle speed. The road shape detecting means detects the road shape based on the trajectory.
【0007】請求項3記載の発明は、車両より前方道路
を撮像するカメラと、カメラの撮像画像を記憶する画像
メモリと、前記撮像画像から、所定間隔を有し路面に対
して所定高さで設置される複数の路上標識を所定大きさ
で検出し、その路上標識の画像上の位置を特定する位置
検出部と、前記路上標識の画像位置とその大きさの並べ
方で、検出対象を確認する検出対象確認手段と、路面が
平坦時の標識の画像位置を記憶する撮像位置設定手段
と、前記路上標識の画像位置と道路が平坦時の位置とを
比較することで、道路勾配を検出するとともに、各路上
標識の画像位置で道路形状を検出する道路形状検出手段
とを有するものとした。
According to a third aspect of the present invention, there is provided a camera for capturing an image of a road ahead of a vehicle, an image memory for storing an image captured by the camera, and a predetermined distance from the captured image at a predetermined height with respect to a road surface. A plurality of road signs to be installed are detected at a predetermined size, and a position detection unit for specifying the position of the road sign on the image and a method of arranging the image position of the road sign and its size are used to confirm a detection target. Detection target confirmation means, imaging position setting means for storing the image position of the sign when the road surface is flat, and detecting the road gradient by comparing the image position of the road sign with the position when the road is flat And road shape detecting means for detecting the road shape at the image position of each road sign.
【0008】請求項4記載の発明は、前記路上標識が所
定の画像範囲内で検出され、該範囲は道路勾配によって
標識画像の変動をカバーできるように設定されたものと
した。
According to a fourth aspect of the present invention, the road sign is detected within a predetermined image range, and the range is set so as to cover the fluctuation of the sign image by the road gradient.
【0009】請求項5記載の発明は、前記路上標識がデ
リニエータで、前記位置検出手段が所定半径の円を検出
する円検出機能と、円の下に棒を検出してデリニエータ
であることを確認する確認機能とを持ち合わせているも
のとした。
According to a fifth aspect of the present invention, it is confirmed that the on-road sign is a delineator, the position detecting means detects a circle having a predetermined radius, and a bar below the circle is a delineator. And a confirmation function.
【0010】請求項6記載の発明は、前記路上標識が信
号機で、前記位置検出手段が所定半径の円を検出する円
検出機能と、検出された円が3つ所定の関係で並んでい
ることを確認する確認機能とを持ち合わせているものと
した。請求項7記載の発明は、前記位置検出手段にさら
に3つの円から、色を検出して信号機と色が一致するか
否かを確認する機能が付加されているものとした。
According to a sixth aspect of the present invention, the road sign is a traffic light, the position detecting means detects a circle having a predetermined radius, and three detected circles are arranged in a predetermined relationship. And a confirmation function for confirming. According to a seventh aspect of the present invention, the position detecting means is provided with a function of detecting a color from three circles and confirming whether or not the color matches the traffic light.
【0011】請求項8記載の発明は、前記路上標識が速
度制限標識で、前記位置検出手段が半径が異なる2つの
円を検出する円検出機能と、検出された径の異なる2つ
の円が同心で、比率がある一定値であることを確認する
確認機能とを持ち合わせているものとした。請求項9記
載の発明は、前記確認手段が同心の大円と小円の間の色
を検出し、赤であることを確認して、検出するものとし
た。
[0011] According to an eighth aspect of the present invention, the road sign is a speed limit sign and the position detecting means detects two circles having different radii, and the detected two circles having different radii are concentric. Therefore, it has a function of confirming that the ratio is a certain value. According to a ninth aspect of the present invention, the confirmation means detects a color between the concentric great circle and the small circle, confirms that the color is red, and detects the color.
【0012】請求項10記載の発明は、前記位置検出手
段が、撮像画像から水平、垂直微分画像を求める微分画
像作成部と、水平、垂直微分値をもとにエッジの勾配角
を求める勾配角演算部と、勾配角をもとにそのエッジを
ある半径rの円の一部としたときの円の中心位置を求め
る円中心算出部と、各エッジについて求めた円中心位置
をHoughプレーンに投票するHoughプレーン作
成部と、Houghプレーン上所定回数以上に投票され
た点の位置を円の中心位置として、検出する円中心位置
検出部とを備え、前記勾配角演算部に水平、垂直微分値
に対応する勾配角を格納する勾配角テーブルが接続さ
れ、該勾配角テーブルには水平、垂直微分値がしきい値
より小さい値に対応して、エッジがないことを示すフラ
グが格納されているものとした。
According to a tenth aspect of the present invention, the position detecting means determines a horizontal and vertical differential image from the captured image, and a gradient angle for determining an edge gradient angle based on the horizontal and vertical differential values. A calculation unit, a circle center calculation unit that calculates the center position of the circle when the edge is part of a circle having a certain radius r based on the gradient angle, and a circle center position calculated for each edge is voted on the Hough plane. And a circle center position detection unit for detecting the position of a point voted a predetermined number or more times on the Hough plane as the center position of the circle, and the gradient angle calculation unit to calculate the horizontal and vertical differential values. A gradient angle table for storing a corresponding gradient angle is connected, and the gradient angle table stores a flag indicating that there is no edge corresponding to a value where the horizontal and vertical differential values are smaller than the threshold value. It was as.
【0013】請求項11記載の発明は、前記勾配角演算
部が、前記勾配角テーブルからしきい値以上のエッジ位
置だけの勾配角とその座標位置を示すリストを作成し、
前記円中心算出部はリストアップされた勾配角と座標位
置で円中心位置を算出するものとした。請求項12記載
の発明は、前記円中心算出部にはエッジの勾配角に対応
する半径rの円の中心位置の算出値が格納された円中心
テーブルが接続されているものとした。
According to an eleventh aspect of the present invention, the gradient angle calculation unit creates a list indicating gradient angles only for edge positions equal to or greater than a threshold value and their coordinate positions from the gradient angle table,
The circle center calculation unit calculates the circle center position based on the listed gradient angles and coordinate positions. According to a twelfth aspect of the present invention, the circle center calculation unit is connected to a circle center table storing a calculated value of a center position of a circle having a radius r corresponding to an edge gradient angle.
【0014】[0014]
【作用】 請求項1記載の発明では、所定高さの標識を
所定距離先から撮像するとき画像上の大きさが一定で、
画像上の上下位置が道路勾配によって変化することを利
用して道路勾配を検出するようにしたので、カメラの撮
像画像から、所定大きさの標識画像を検出し、道路が平
坦時の画像位置と比較する操作だけで、道路勾配を検出
することが可能になる。白線検出などの操作が不要なた
め、処理が単純で、プログラミングしやすい効果が得ら
れる。
According to the first aspect of the present invention, when a sign of a predetermined height is imaged from a predetermined distance ahead, the size on the image is constant,
Since the road gradient is detected by using the fact that the vertical position on the image changes according to the road gradient, a sign image of a predetermined size is detected from the captured image of the camera, and the image position when the road is flat is determined. The road gradient can be detected only by the operation of comparison. Since an operation such as white line detection is not required, the processing is simple and an effect of easy programming can be obtained.
【0015】請求項2記載の発明では、請求項1で検出
された標識を車速に応じて大きさを順次に拡大して追跡
検出し、その軌跡で道路形状を検出するようにしたの
で、検出する標識の大きさを変える操作だけで追跡検出
ができ、複雑な操作なしで総合的な道路情報を提供する
ことができる。
According to the second aspect of the present invention, the size of the sign detected in the first aspect is sequentially expanded in accordance with the vehicle speed, and the sign is detected. The tracking detection can be performed only by changing the size of the sign to be performed, and comprehensive road information can be provided without complicated operation.
【0016】請求項3記載の発明では、所定間隔で設置
される複数の路上標識を画像から所定の大きさで検出
し、道路の勾配および形状を検出するようにしたので、
道路が平坦時の画像位置と比較する操作だけで勾配を検
出することができる。道路形状は各標識の縦および横位
置の比較だけで直線、カーブといった道路形状を検出す
ることができる。これらの操作はすべて比較だけで行な
うので、処理が簡単で、プログラミングがしやすい効果
が得られる。
According to the third aspect of the present invention, a plurality of road signs installed at predetermined intervals are detected at a predetermined size from the image, and the gradient and shape of the road are detected.
The gradient can be detected only by the operation of comparing with the image position when the road is flat. As for the road shape, a road shape such as a straight line or a curve can be detected only by comparing the vertical and horizontal positions of each sign. Since all of these operations are performed only by comparison, an effect that processing is simple and programming is easy can be obtained.
【0017】請求項4記載の発明では、路上標識は所定
の画像範囲内で検出され、この範囲は道路勾配によって
標識画像の変動をカバーできるように設定されるから、
処理するデータ量が減り、路上標識を高速検出できると
ともに、誤検出を減少させる効果が得られる。
According to the fourth aspect of the present invention, the road sign is detected within a predetermined image range, and this range is set so as to cover the fluctuation of the sign image by the road gradient.
The amount of data to be processed is reduced, and road signs can be detected at high speed, and the effect of reducing erroneous detection can be obtained.
【0018】請求項5記載の発明では、路上標識をデリ
ニエータとし、位置検出手段は所定半径の円を検出し、
円の下に棒を検出してデリニエータであることを確認す
るようにしたので、検出結果が信頼性の高いものとな
る。
According to the fifth aspect of the present invention, the road sign is a delineator, and the position detecting means detects a circle having a predetermined radius.
Since a bar is detected under the circle to confirm that the bar is a delineator, the detection result is highly reliable.
【0019】請求項6記載の発明では、路上標識を信号
機とし、位置検出手段は所定半径の円を検出し、検出さ
れた円が例えば横一列に3つ並んでいることで確認する
ようにしたので、確実に信号機を検出することができ
る。請求項7記載の発明では、請求項6で検出された3
つの円から、さらに色を検出して信号機と色が一致する
か否かを確認するようにしたから、同じく3つの円の他
の物体による誤検出を防ぐことができる。
According to the sixth aspect of the present invention, the road sign is a traffic light, and the position detecting means detects a circle having a predetermined radius and confirms that the three detected circles are arranged in a horizontal line, for example. Therefore, it is possible to reliably detect the traffic light. According to the seventh aspect of the present invention, the 3
Since the color is further detected from the three circles to check whether the color matches the traffic light, it is possible to prevent erroneous detection of the three circles by other objects.
【0020】請求項8記載の発明では、路上標識を速度
制限標識とし、位置検出手段は半径が異なる2つの円を
検出し、検出された径の異なる2つの円が同心で、比率
がある一定値であることを確認するようにしたので、同
心あるいは比率のみでの検出より信頼性が向上する。請
求項9記載の発明では、検出された同心の大円と小円の
間の色を検出し、赤であることを確認するするようにし
たので、検出結果の信頼性がさらに向上する。
In the invention according to claim 8, the road sign is a speed limit sign, the position detecting means detects two circles having different radii, and the two circles having different detected diameters are concentric and have a constant ratio. Since the value is confirmed, the reliability is improved as compared with the detection using only the concentricity or the ratio. According to the ninth aspect of the present invention, the color between the detected concentric great circle and small circle is detected to confirm that the color is red, so that the reliability of the detection result is further improved.
【0021】請求項10記載の発明では、位置検出手段
は、撮像画像から水平、垂直微分画像を求め、水平、垂
直微分画像に基づいて勾配角テーブルからエッジの勾配
角を求める。このとき、水平、垂直微分値がしきいより
小さければ、エッジがないことを示すフラグが得られる
ので、1つの操作でしきい値処理が同時にでき、高速に
円検出ができる。
According to the tenth aspect of the present invention, the position detecting means obtains a horizontal and vertical differential image from the captured image, and obtains a gradient angle of an edge from a gradient angle table based on the horizontal and vertical differential images. At this time, if the horizontal and vertical differential values are smaller than the threshold, a flag indicating that there is no edge is obtained, so that threshold processing can be performed simultaneously with one operation, and circle detection can be performed at high speed.
【0022】請求項11記載の発明では、勾配角演算部
は、前記勾配角テーブルからしきい値以上のエッジ位置
だけの勾配角とその座標位置を示すリストを作成し、前
記円中心算出部はリストアップされた勾配角と座標位置
で円中心位置を算出するようにしたので、全画面を対象
に行なうより、情報量が減少し、少量のメモリ量で情報
を格納することが可能で、処理速度が向上する。請求項
12記載の発明では、前記円中心算出部にエッジの勾配
角に対応する半径rの円の中心位置の算出値が格納され
た円中心テーブルを接続するようにしたので、同じ演算
を繰り返すことがなくなり、処理効率が向上する。
According to the eleventh aspect of the present invention, the gradient angle calculation unit creates a list indicating the gradient angles of only edge positions equal to or greater than a threshold value and their coordinate positions from the gradient angle table, and the circle center calculation unit Since the center of the circle is calculated based on the listed gradient angles and coordinate positions, the amount of information is reduced, and information can be stored with a small amount of memory. Speed is improved. According to the twelfth aspect of the invention, since the circle center calculation unit is connected to the circle center table storing the calculated value of the center position of the circle having the radius r corresponding to the gradient angle of the edge, the same calculation is repeated. And the processing efficiency is improved.
【0023】[0023]
【発明の実施の形態】以下、この発明の実施の形態を実
施例により説明する。まず、図1〜図6を用いて第1の
実施例の検出原理を説明し、図7、図8で実施例の構成
を説明する。図1は道路上の半径Rの円形標識Dが、画
像上で半径rの円dに撮像されるときの撮像距離Zと画
像上の上下位置ypの関係を示す図で、図2はその撮像
画像である。ここで、カメラは焦点距離fを有するレン
ズLとCCDからなるCCDカメラで、レンズは路面か
ら高さHcの所に位置し、そのレンズの光軸上のレンズ
から焦点距離fを離れた撮像面にCCDが配置されてい
る。
Embodiments of the present invention will be described below with reference to embodiments. First, the detection principle of the first embodiment will be described with reference to FIGS. 1 to 6, and the configuration of the embodiment will be described with reference to FIGS. FIG. 1 is a diagram showing a relationship between an imaging distance Z and a vertical position yp on an image when a circular sign D with a radius R on a road is imaged on a circle d with a radius r on the image, and FIG. It is an image. Here, the camera is a CCD camera including a lens L and a CCD having a focal length f, and the lens is located at a height Hc from the road surface and is an imaging surface separated from the lens on the optical axis of the lens by a focal length f. Is arranged with a CCD.
【0024】図1から分かるように画像上に撮像される
標識の半径rとその標識までの距離Zの関係は式(1)
で示されるため、同じ半径Rの標識が同じ半径rに撮像
されるときに、その標識までの距離はいつも同じであ
る。 r=R・f/Z 式(1)
As can be seen from FIG. 1, the relationship between the radius r of the sign picked up on the image and the distance Z to the sign is given by the following equation (1).
Therefore, when a marker having the same radius R is imaged at the same radius r, the distance to the marker is always the same. r = R · f / Z Equation (1)
【0025】また、道路が平坦であれば、標識が撮像さ
れる位置yp(y軸)とその標識までの距離Zは式
(2)で示されるため、同じ高さHdの標識が同じ距離
先から撮像されるときに画像上の高さ位置はいつも同じ
である。 yp=(Hc−Hd)・f/Z 式(2) ここで、yp、fの単位はカメラのCCDの画素、H
c、Hd、Zの単位はmである。すなわち、道路が平坦
であれば、画像上で同じ大きさに撮像される標識は、そ
れについての撮像距離も同じで、画像上でいつも同じ高
さ位置に撮像される。
If the road is flat, the position yp (y-axis) where the sign is imaged and the distance Z to the sign are given by equation (2), so that a sign having the same height Hd is the same distance ahead. The height position on the image is always the same when the image is picked up from. yp = (Hc−Hd) · f / Z Equation (2) Here, the unit of yp and f is a pixel of the CCD of the camera, H
The unit of c, Hd, and Z is m. That is, if the road is flat, the signs that are imaged in the same size on the image have the same imaging distance, and are always imaged at the same height position on the image.
【0026】一方、カメラより前方道路が下だり坂また
は登ぼり坂の場合では、標識は平坦な道路より低くまた
は高くなって撮像されるため、画像上では平坦な道路よ
り低い位置または高い位置となる。図3、図4は前方道
路が下だり坂と登ぼり坂のそれぞれの撮像の様子とその
撮像画像を示す。(a)は撮像する様子で、(b)は撮
像画像である。図3では、カメラより前方道路が下だり
坂なので、標識Dが勾配角α分低く撮像され、撮像位置
ydは図2の平坦道路時のypより下となっている。ま
た図4の登ぼり坂では、標識Dが勾配角α分高く撮像さ
れ、画像上で撮像位置yuが図2の平坦道路時のypに
比べて上の位置にとなる。
On the other hand, when the road ahead of the camera is a downhill or an uphill, the sign is imaged at a position lower or higher than the flat road, so that the sign is lower or higher than the flat road on the image. Become. FIG. 3 and FIG. 4 show a state of image pickup and a picked-up image of a downhill slope and an uphill slope, respectively, of the road ahead. (A) shows a state where an image is captured, and (b) shows a captured image. In FIG. 3, since the road ahead of the camera is downhill, the sign D is imaged lower by the gradient angle α, and the image pickup position yd is lower than yp on the flat road in FIG. In addition, on the uphill slope in FIG. 4, the sign D is imaged higher by the gradient angle α, and the imaging position yu on the image is higher than yp on the flat road in FIG.
【0027】上記のように、所定高さの標識は所定距離
から撮像された画像上の縦方向位置が道路状況によって
異なるため、標識を画像から検出しその画像上の縦方向
位置で道路の勾配を判定できる。また所定距離先の標識
は画像上で所定の大きさで撮像されるから、大きさの同
じ標識を検出対象とし、同じ寸法で撮像画像から検出し
画像上の位置で道路の勾配を検出することが可能であ
る。また検出する際、一定大きさの標識画像に対する検
出のみの単純な処理だけでよいため、ブログラミングが
簡単であり、普通の画像処理装置でも高速処理が可能に
なる。
As described above, since the vertical position of the sign at the predetermined height on the image taken from the predetermined distance differs depending on the road conditions, the sign is detected from the image and the gradient of the road is determined at the vertical position on the image. Can be determined. In addition, since the sign at a predetermined distance is imaged at a predetermined size on the image, it is necessary to detect a sign having the same size as a detection target, detect the sign at the same size from the captured image, and detect a road gradient at a position on the image. Is possible. In addition, at the time of detection, since only a simple process of detecting a sign image of a fixed size is sufficient, blogger programming is easy, and high-speed processing can be performed even with an ordinary image processing apparatus.
【0028】次に、上記原理を用いて、前方道路の勾配
を求める実施例を説明する。ここで、路上標識としてデ
リニエータを用いる。デリニエータは道路わきに等間隔
に設置される標識で、路面からは所定の高さを有してい
る。各デリニエータは共通に円形反射板を棒が支持する
形を有している。円形の反射板が道路の走行方向に面し
ており、道路からは図5の(a)のような半径Rの反射
板とそれを支える棒Bが見える。走行車が走行しながら
前方道路を撮像するとき、(b)のような撮像画像が得
られる。
Next, a description will be given of an embodiment in which the gradient of the road ahead is obtained by using the above principle. Here, a delineator is used as a road sign. The delineator is a sign installed at equal intervals beside the road and has a predetermined height from the road surface. Each delineator has a shape in which a rod supports a circular reflector in common. The circular reflector faces the traveling direction of the road, and a reflector having a radius R and a rod B supporting the reflector as shown in FIG. When an image of the road ahead is taken while the traveling vehicle is traveling, an image as shown in (b) is obtained.
【0029】このように円を棒が支えるのが各デリニエ
ータに共通する特徴で、かつ反射板の大きさが分かるの
で、画像から大きさが既知である円dを検出対象として
検出し、円検出後にその円に棒がついていることを確認
することでデリニエータを検出することができる。検出
されたデリニエータの円の位置と平坦な道路時の位置と
を比較して道路の勾配を検出する。
As described above, the fact that the circle is supported by the rod is a feature common to each delineator, and since the size of the reflector is known, the circle d whose size is known from the image is detected as an object to be detected. The delineator can be detected later by confirming that the bar is attached to the circle. The gradient of the road is detected by comparing the position of the detected delineator circle with the position on a flat road.
【0030】次に、画像上でのデリニエータの検出につ
いて説明する。デリニエータ(反射板)の大きさが一定
に決められているので、撮像距離を決めると、式(〓
1)により画像上から検出する円の半径rが決定され
る。デリニエータの検出は、この半径rの円を対象とし
て行なうが、道路勾配によってデリニエータの出現しう
る領域に検出範囲を限定して検出を行なう。例えば下だ
り坂、登ぼり坂とも最大勾配角をα(rad)と仮定す
れば、図3、図4よりデリニエータの検出位置の上下限
(yu、yd)が決定される。したがって円の検出範囲
を図6に示すようにy軸のyd〜yuの範囲に限定する
ことができる。yd、yuは式(3)により算出され
る。このように円の検出領域が限定されると、検出処理
が高速になり、誤検出を低減させる効果が得られる。
Next, detection of a delineator on an image will be described. Since the size of the delineator (reflector) is fixed, if the imaging distance is determined, the expression (〓
According to 1), the radius r of the circle detected from the image is determined. The detection of the delineator is performed on the circle having the radius r, but the detection is performed by limiting the detection range to an area where the delineator can appear due to the road gradient. For example, assuming that the maximum gradient angle is α (rad) for both downhills and uphills, the upper and lower limits (yu, yd) of the detection position of the delineator are determined from FIGS. Therefore, the detection range of the circle can be limited to the range of yd to yu on the y-axis as shown in FIG. yd and yu are calculated by equation (3). When the detection area of the circle is limited as described above, the detection processing speeds up, and an effect of reducing erroneous detection is obtained.
【数1】 (Equation 1)
【0031】次に、第1の実施例について図7、図8を
もって説明する。図7は本実施例の構成を示すブロック
図で、図8はその処理の流れを示すフローチャートであ
る。図7において、カメラ1は、焦点距離fのレンズL
とレンズから撮像面までの距離が焦点距離fとなるよう
に配置されたCCDとを有するCCDカメラで、前方道
路を撮像できるように車両上の適切な部位に取り付けら
れている。カメラのレンズ中心と路面の距離はHcとな
っている。
Next, a first embodiment will be described with reference to FIGS. FIG. 7 is a block diagram showing the configuration of this embodiment, and FIG. 8 is a flowchart showing the flow of the processing. In FIG. 7, a camera 1 includes a lens L having a focal length f.
And a CCD arranged so that the distance from the lens to the imaging surface is equal to the focal length f. The CCD camera is attached to an appropriate portion on the vehicle so as to be able to image the road ahead. The distance between the lens center of the camera and the road surface is Hc.
【0032】カメラ1の撮像した映像信号がディジタル
画像として画像メモリ2に出力され記憶される。画像メ
モリ2は位置検出部3と接続され、位置検出部3はまた
道路形状検出部5と接続されている。位置検出部3と道
路形状検出部5にはそれぞれ検出範囲設定部4、撮像位
置設定部6が接続されている。
The video signal picked up by the camera 1 is output to the image memory 2 as a digital image and stored. The image memory 2 is connected to a position detection unit 3, and the position detection unit 3 is also connected to a road shape detection unit 5. A detection range setting unit 4 and an imaging position setting unit 6 are connected to the position detection unit 3 and the road shape detection unit 5, respectively.
【0033】位置検出部3には所定距離Z先のデリニエ
ータを画像から検出できるように円の大きさを示す半径
rが設定されており、画像メモリ2から入力された映像
信号を、検出範囲設定部4で設定された検出範囲内で画
像処理して半径rの円を検出し円の中心位置を抽出す
る。道路形状検出部5は位置検出部3で検出された円の
中心位置を撮像位置設定部6で設定されている道路が平
坦時の画像位置と比較して道路勾配を検出する。
A radius r indicating the size of a circle is set in the position detecting section 3 so that a delineator at a predetermined distance Z from the image can be detected from the image, and the video signal input from the image memory 2 is set to a detection range setting. Image processing is performed within the detection range set by the unit 4 to detect a circle having a radius r, and the center position of the circle is extracted. The road shape detection unit 5 detects the road gradient by comparing the center position of the circle detected by the position detection unit 3 with the image position when the road set by the imaging position setting unit 6 is flat.
【0034】次に、上記構成における処理の流れを図8
のフローチャートに従って説明する。まずステップ10
1で、デリニエータの撮像距離Zを決め、それをもとに
検出範囲設定部4と撮像位置設定部6および位置検出部
3において初期設定が行なわれる。これによって検出範
囲設定部4に上記式(3)に基づいて演算された図6の
ようにyd、yuで囲む領域が検出領域として設定され
る。また位置検出部3には検出する円の半径rが設定さ
れる。撮像位置設定部6においては道路が平坦時のデリ
ニエータの円の中心位置ypが記憶される。
Next, the processing flow in the above configuration is shown in FIG.
This will be described according to the flowchart of FIG. First step 10
In step 1, the imaging distance Z of the delineator is determined, and the detection range setting unit 4, the imaging position setting unit 6, and the position detection unit 3 perform initial setting based on the determined imaging distance Z. As a result, an area surrounded by yd and yu calculated based on the above equation (3) is set as a detection area in the detection range setting unit 4 as shown in FIG. Further, the radius r of the circle to be detected is set in the position detection unit 3. The imaging position setting unit 6 stores the center position yp of the circle of the delineator when the road is flat.
【0035】ステップ102において、画像メモリ2か
ら画像信号を位置検出部3に入力する。ステップ103
においては、位置検出部3は、検出範囲設定部4から検
出範囲の設定値(yd〜yu)を読み出し、その設定範
囲内で画像信号に対して画像処理を行なって半径rの円
の検出を行う。円検出は例えばテンプレートマッチング
やHough変換など公知の技術を利用することが可能
である。またHough変換を用いた高速円検出は後述
詳細に説明する。
In step 102, an image signal is input from the image memory 2 to the position detector 3. Step 103
In, the position detection unit 3 reads the set value (yd to yu) of the detection range from the detection range setting unit 4, performs image processing on the image signal within the set range, and detects a circle having a radius r. Do. For circle detection, for example, a known technique such as template matching or Hough transform can be used. The high-speed circle detection using the Hough transform will be described later in detail.
【0036】半径rの円が検出されると、撮像画像から
さらに縦エッジ検出を行ない検出した円の下に縦長のエ
ッジがあることを確認する。縦エッジが付いていれば、
検出円はデリニエータの円として画像上の縦方向位置
(y軸)を抽出する。縦エッジを検出するには例えばソ
ーベルなどの縦エッジ検出用のオペレータを用いること
が可能である。上記処理によって、所定距離先のデリニ
エータの円が画像から検出され、その位置の高さ、すな
わち縦方向位置(y軸)が特定される。
When a circle having a radius r is detected, a vertical edge is further detected from the captured image, and it is confirmed that there is a vertically long edge below the detected circle. If there is a vertical edge,
The detection circle extracts the vertical position (y-axis) on the image as a circle of the delineator. To detect a vertical edge, for example, an operator for detecting a vertical edge such as a Sobel can be used. By the above processing, the circle of the delineator located a predetermined distance ahead is detected from the image, and the height of the position, that is, the vertical position (y-axis) is specified.
【0037】ステップ104においては、抽出された円
の縦方向位置の座標値ycを撮像位置設定部6に設定さ
れている位置ypと比較して前方道路勾配を検出する。
すなわち、画像から検出した円の縦方向位置ycと道路
が平坦な場合に円の中心が撮像される高さ位置ypの大
小関係から、yc=ypなら、前方は平坦道路、ycく
ypなら、前方は登り坂、yc>ypなら、前方は下り
坂と判断する。
In step 104, the coordinate value yc of the vertical position of the extracted circle is compared with the position yp set in the image pickup position setting section 6 to detect a forward road gradient.
That is, from the magnitude relationship between the vertical position yc of the circle detected from the image and the height position yp at which the center of the circle is imaged when the road is flat, if yc = yp, the front is a flat road, if yc is yp, The front is determined to be an uphill, and if yc> yp, the front is determined to be a downhill.
【0038】上記のように、形状、大きさ、高さが既知
のデリニエータを検出対象として検出し、その画像上の
縦方向位置で道路勾配を判断するようにしたので、白線
検出のような複雑な処理を行うことなく、単眼の画像処
理を用いた円検出を行なうだけで、自車両が勾配に入る
前に前方の道路の勾配を検出することが可能になる。
As described above, a delineator whose shape, size, and height are known is detected as a detection target, and the road gradient is determined based on the vertical position on the image. It is possible to detect the gradient of the road ahead before the host vehicle enters the gradient only by performing circle detection using monocular image processing without performing complicated processing.
【0039】また、この手法は、白線検出を用いないた
め、白線の形状や有無に左右されない勾配検知が可能に
なる。さらに、この手法では、画像処理が、大きさや形
状の決まった円などの検出という単純な処理だけで行な
うため、プログラミングが簡単であり、かつ、一般的な
性能の画像処理装置でも高速処理が可能になるという利
点が得られる。また、デリニエータの円の検出に関して
は、その特徴である棒がついているかどうかで確認して
検出するようにしたから単純な処理で、質よくデリニエ
ータを検出することができ、道路勾配の検出結果が信頼
性の高いものとなる。
In addition, since this method does not use white line detection, it is possible to detect a gradient that is not affected by the shape or presence or absence of a white line. Furthermore, with this method, image processing is performed only by simple processing of detecting circles with fixed sizes and shapes, so programming is simple and high-speed processing is possible even with image processing equipment with general performance Is obtained. In addition, as for the detection of the circle of the delineator, it is possible to detect the delineator with high quality by simple processing by checking whether or not the bar which is the characteristic of the circle is detected. It will be highly reliable.
【0040】本実施例では、登ぼり坂、下だり坂などの
勾配について検出したが、ジャイロコンパスなど、自車
の傾斜センサとの統合により、前方の道路の勾配の変化
だけでなく、実際の勾配も予測できる。また、ジャイロ
コンパスから自車が坂を下っていると判断されたときに
画像から前方道路が平坦であると判断されれば、前方に
下り坂が続くことを、自車が登り坂を走行中と判断され
たときに画像から前方道路が平坦であると判断されれ
ば、前方は登り坂が続くことを判断できる。
In this embodiment, the inclination of an uphill or a downhill is detected. However, the integration with the inclination sensor of the own vehicle such as a gyro compass allows not only the change in the gradient of the road ahead but also the actual inclination. The gradient can also be predicted. In addition, if it is determined from the gyro compass that the vehicle is downhill, if the image indicates that the road ahead is flat, the vehicle is traveling uphill, indicating that the downhill continues ahead. If it is determined from the image that the road ahead is flat, it can be determined that the vehicle is going uphill in front.
【0041】次に、第2の実施例について説明する。こ
の実施例は、第1の実施例で検出したデリニエータを追
跡検出して勾配の他に道路形状も検出するようにしたも
のである。車両が走行すれば、デリニエータとカメラの
位置関係が変化し、画像上ではデリニエータが道路の形
状を描きながら撮像されるから、デリニエータを追跡検
出して道路形状を検出することができる。すなわち所定
距離先からデリニエータを検出してその高さ位置で前方
道路の勾配を検出したのち、デリニエータの位置変化を
追跡し検出することによって横方向を含めた前方道路の
形状を検出することができる。
Next, a second embodiment will be described. In this embodiment, the delineator detected in the first embodiment is detected by tracking to detect not only the gradient but also the road shape. When the vehicle travels, the positional relationship between the delineator and the camera changes, and the delineator is imaged while drawing the shape of the road on the image. Therefore, the road shape can be detected by tracking and detecting the delineator. That is, after detecting the delineator from a predetermined distance and detecting the gradient of the road ahead at the height position, the shape of the road including the lateral direction can be detected by tracking and detecting the change in the position of the delineator. .
【0042】デリニエータを追跡検出するには、画像上
の円の検出半径rを撮像距離の変化に応じて変える必要
がある。そこで、例えば1回の画像処理時間を△t、車
速をV、デリニエータの半径をR、最初に検出対象とし
たデリニエータまでの距離をZとすると、i回後の処理
での検出対象の円の半径riは、式(4)に基づいて算
出することができる。図9はその距離の変化と円の半径
rの変化を示している。(a)は所定距離Zから離れた
ところで撮像する場合で、(b)は画像更新後の撮像様
子である。 ri=f・R/(Z−iΔt・V) 式(4) 但し、iは画像更新の回数で、0、1、…の整数で構成
される。また、そのときの円の検出範囲は、撮像距離Z
−i・△t・V(m)により、図6と同様に、式(5)
に基づいて算出され、yuiとydiで囲む範囲とな
る。
In order to track and detect the delineator, it is necessary to change the detection radius r of the circle on the image according to the change in the imaging distance. Thus, for example, if one image processing time is Δt, the vehicle speed is V, the radius of the delineator is R, and the distance to the first delineator to be detected is Z, the circle to be detected in the processing after i times is determined. The radius ri can be calculated based on equation (4). FIG. 9 shows the change in the distance and the change in the radius r of the circle. (A) shows a case where an image is taken at a distance from the predetermined distance Z, and (b) shows an image pickup state after updating the image. ri = f · R / (Z−iΔt · V) Equation (4) where i is the number of times of image update and is composed of integers of 0, 1,. The detection range of the circle at that time is the imaging distance Z
−i · Δt · V (m), as in FIG.
, And is a range surrounded by yui and ydi.
【数2】 (Equation 2)
【0043】このように画像の更新に同期して円の検出
範囲と半径を変化させて円検出して、各時刻の円の位置
を比較することで、道路形状を検出することが可能とな
る。例えば、図10、図11のように位置変化が非線形
の場合は道路がカーブであることが分かる。このとき最
初に検出した円dの縦方向位置が平坦な道路時より上か
下かによって、登ぼり坂カーブか下だり坂カーブの判定
ができる。図10は登ぼり坂カーブで、図11は下だり
坂カーブである。またデリニエータの円の位置変化が図
12、図13に示すように直線変化する場合、最初の円
dの検出位置が平坦な道路時より上であると、直線登ぼ
り坂、下であると直線下だり坂と判断できる。図12は
直線登ぼり坂で、図13は直線下だり坂である。
As described above, by detecting the circle by changing the detection range and the radius of the circle in synchronization with the update of the image, and comparing the positions of the circles at each time, the road shape can be detected. . For example, when the position change is non-linear as in FIGS. 10 and 11, it can be understood that the road is a curve. At this time, whether the vertical position of the circle d detected first is above or below a flat road can be determined as an uphill slope curve or a downhill slope curve. 10 shows an uphill curve, and FIG. 11 shows a downhill curve. When the position change of the circle of the delineator changes linearly as shown in FIG. 12 and FIG. 13, if the detection position of the first circle d is above a flat road, it is straight uphill, and if it is below it, it is straight uphill. We can judge that it is downhill. 12 shows a straight uphill slope, and FIG. 13 shows a straight downhill slope.
【0044】図14は第2の実施例の構成を示すブロッ
ク図である。カメラ1は第1の実施例と同じように車両
に設置され、レンズLが路面より高さHcとなってい
る。カメラ1からの映像信号は画像メモリ2に出力され
記憶される。画像メモリは位置検出部31に接続され
る。位置検出部31とそれに接続される検出範囲設定部
41に車両側の車速信号Vが入力されている。位置検出
部31は位置記憶部80と接続され、位置記憶部80は
また撮像位置設定部61とともに道路形状検出部51に
接続される。
FIG. 14 is a block diagram showing the configuration of the second embodiment. The camera 1 is installed in a vehicle as in the first embodiment, and the lens L has a height Hc above the road surface. The video signal from the camera 1 is output to the image memory 2 and stored. The image memory is connected to the position detector 31. The vehicle-side vehicle speed signal V is input to the position detection unit 31 and the detection range setting unit 41 connected thereto. The position detecting unit 31 is connected to the position storing unit 80, and the position storing unit 80 is connected to the road shape detecting unit 51 together with the imaging position setting unit 61.
【0045】位置検出部31に初期設定として所定距離
先のデリニエータの円が検出されるように検出する円の
半径rが設定されている。半径rの円を検出したのち、
画像メモリの更新に同期して車速Vと更新の回数iで前
記式(4)に基づいて更新後の画像から検出円の半径を
算出する。そして各時刻に半径が算出された円を、検出
範囲設定部41で設定されている範囲内で映像信号に対
する画像処理によって検出する。
The radius r of the circle to be detected is set as an initial setting in the position detector 31 so that the circle of the delineator at a predetermined distance ahead is detected. After detecting a circle with radius r,
The radius of the detected circle is calculated from the updated image based on the equation (4) using the vehicle speed V and the number of updates i in synchronization with the update of the image memory. Then, a circle whose radius is calculated at each time is detected by image processing on the video signal within the range set by the detection range setting unit 41.
【0046】検出範囲設定部41は更新後の画像から円
の検出範囲を設定するよう、画像メモリの更新に同期し
て車速Vと更新の回数iで前記式(5)に基づいてデリ
ニエータへの撮像距離変化に従って円検出の範囲を算出
する。位置記憶部80は位置検出部31で検出された各
時刻の円の位置を記憶する。撮像位置設定部61には第
1の実施例と同様に所定距離Z先のデリニエータの撮像
位置が記憶されている。
The detection range setting unit 41 sets the detection range of the circle from the updated image based on the equation (5) with the vehicle speed V and the update count i in synchronization with the update of the image memory. The circle detection range is calculated according to the change in the imaging distance. The position storage unit 80 stores the position of the circle at each time detected by the position detection unit 31. The imaging position setting unit 61 stores the imaging position of the delineator at a predetermined distance Z ahead as in the first embodiment.
【0047】道路形状検出部51は円の検出位置のうち
最初に検出された円の位置と撮像位置設定部61で設定
されている平坦な道路時の位置ypとを比較して前方道
路の勾配を検出する。そして各時刻の位置をもとに図1
0〜図13のようにその軌跡の形状で道路形状を判断す
る。本実施例は上記のように、第1の実施例で検出され
た円を追跡検出して道路形状を判定する機能を加えたの
で、道路勾配だけでなく、道路形状を検出できるように
なり、総合的な道路状況を提供することが可能となる。
The road shape detecting section 51 compares the position of the circle detected first among the detected positions of the circle with the position yp of the flat road set by the image pickup position setting section 61 to determine the gradient of the road ahead. Is detected. Then, based on the position of each time,
The road shape is determined based on the shape of the trajectory as shown in FIG. As described above, this embodiment adds a function of tracking and detecting the circle detected in the first embodiment to determine the road shape, so that not only the road gradient but also the road shape can be detected. It is possible to provide comprehensive road conditions.
【0048】次に、第3の実施例を説明する。この実施
例では、等間隔に設定されている複数のデリニエータを
検出し、それらの画像上の並び方により道路形状を検出
する。図15は、等間隔に並んでいる3つのデリニエー
タを撮像するときの様子を示す図である。最も手前の検
出対象のデリニエータDまでの距離をZ(m)とし、デ
リニエータの間隔をeとすると、デリニエータの距離は
それぞれZ、Z+e、Z+2eとなる。それらを前記式
(1)、式(2)に代入することによって画像上円の半
径と位置を算出することができる。
Next, a third embodiment will be described. In this embodiment, a plurality of delineators set at equal intervals are detected, and the road shape is detected based on the arrangement on the image. FIG. 15 is a diagram illustrating a state where three delineators arranged at equal intervals are imaged. Assuming that the distance to the foremost detection target delineator D is Z (m) and the distance between the delineators is e, the delineator distances are Z, Z + e, and Z + 2e, respectively. By substituting these into Equations (1) and (2), the radius and position of the circle on the image can be calculated.
【0049】すなわち各円の半径は、式(6)により求
めることができる。 r0=R・f/Z、 r1=R・f/(Z+e)、 r2=R・f/(Z+2e)、 (6) 但し、r0は距離Z離れたところのデリニエータの円の
半径である。r1は距離Z+e離れたところのデリニエ
ータの円の半径である。r3は距離Z+2e離れたとこ
ろのデリニエータの円の半径である。
That is, the radius of each circle can be obtained by equation (6). r0 = R ・ f / Z, r1 = R ・ f / (Z + e), r2 = R ・ f / (Z + 2e), (6) where r0 is the radius of the circle of the delineator at a distance Z away. r1 is the radius of the circle of the delineator at the distance Z + e. r3 is the radius of the circle of the delineator at a distance Z + 2e.
【0050】また、検出対象が連続する三つのデリニエ
ータの場合、それらすべてが撮像されうる範囲yu、y
dは、図6と同様の考え方で、ydは最も手前のデリニ
エータが最も下に撮像される高さ、yuは、その二つ後
方のデリニエータが撮像され得る最も上の高さとなるの
で、式(7)で求めることができる。図16は検出範囲
が設定された画像である。
In the case where the detection target is three consecutive delinators, all of them can be imaged in the ranges yu and y.
Since d is the same concept as in FIG. 6, yd is the height at which the foremost delineator is imaged at the bottom, and yu is the highest height at which the delineator two images behind it can be imaged. 7). FIG. 16 is an image in which a detection range is set.
【数3】 (Equation 3)
【0051】この範囲内において、3種類の半径r0、
r1、r2大きさの円を検出し、これをもとに第1の実
施例と同様の方法でデリニエータを検出することができ
る。またこのとき、この大きさの三つの円の位置関係、
例えば、下から上に向けて、大きいものから小さいもの
の順で並んでいるなどの位置関係をデリニエータである
ことを再確認することができる。また、これらの位置関
係をもとに、道路勾配や横方向の変位を含めた前方道路
形状を認識することができる。
Within this range, three types of radii r0,
A circle having a size of r1 and r2 is detected, and based on this, a delineator can be detected in the same manner as in the first embodiment. Also, at this time, the positional relationship between three circles of this size,
For example, it is possible to reconfirm that the positional relationship, such as the order from the largest to the smallest from the bottom up, is a delineator. Further, based on these positional relationships, it is possible to recognize the road shape ahead including the road gradient and the lateral displacement.
【0052】すなわち、前方道路が平坦であるときにお
ける三つの円が撮像される位置y0、y1、y2は、式
(2)にそれぞれの距離を代入することで求めることが
できるが、図17、図18のように実際に検出したy
0、y1、y2と、平坦な道路で計算して求めたy座標
値との関係から、例えば、y0−y2が計算した値より
大きいさいと、y0後方から登ぼり坂が始まると判断で
きる。またy0−y2が計算した値より小さいとy0よ
り後方から下り坂が始まることを判断することができ
る。図17は登ぼり坂で、図18は下だり坂である。
That is, the positions y0, y1, and y2 at which the three circles are imaged when the road ahead is flat can be obtained by substituting the respective distances into equation (2). The actually detected y as shown in FIG.
From the relationship between 0, y1, y2 and the y-coordinate value calculated on a flat road, for example, if y0-y2 is larger than the calculated value, it can be determined that the uphill starts from behind y0. If y0-y2 is smaller than the calculated value, it can be determined that the downhill starts from behind y0. FIG. 17 shows an uphill slope, and FIG. 18 shows a downhill slope.
【0053】図19は、前方道路が直線の場合における
路側からの変位がW(m)であるときの、等間隔に並ぶ
デリニエータのx軸方向の撮像位置と距離との関係を示
す図である。このとき、三つのデリニエータが撮像され
るx軸方向x0、x1、x2の位置は式(8)で求める
ことができる。 x0=W・f/Z、 x1=W・f/(Z+e)、 x2=W・f/(Z+2e)、 (8)
FIG. 19 is a diagram showing the relationship between the imaging position in the x-axis direction and the distance of equally spaced delineators when the displacement from the road side is W (m) when the road ahead is straight. . At this time, the positions in the x-axis directions x0, x1, and x2 at which the three delineators are imaged can be obtained by Expression (8). x0 = W · f / Z, x1 = W · f / (Z + e), x2 = W · f / (Z + 2e), (8)
【0054】ここでは、実際の変位Wは未知数でも、三
つのデリニエータまでの距離Zと間隔eから前方が直線
であるときの(x0−x1)と(x1−x2)との比率
を算出し基準値として、A=(x0−x1)/(x1−
x2)が基準値より小さいと右カーブ、基準値より大き
いと左カーブと判断することができる。
Here, even if the actual displacement W is unknown, the ratio between (x0-x1) and (x1-x2) when the front is a straight line is calculated from the distance Z to the three delineators and the distance e from the distance e. A = (x0−x1) / (x1−
If x2) is smaller than the reference value, it can be determined that the curve is a right curve.
【0055】図20は第3の実施例の構成を示すブロッ
ク図である。図7に示す第1の実施例と同じように、車
両にカメラ1が設置され、画像メモリ2に画像信号が出
力され記憶されている。画像メモリ2には検出範囲設定
部40をもった位置検出部30が接続されている。位置
検出部30は検出対象確認部70を介して道路形状検出
部50と接続される。道路形状検出部50には撮像位置
設定部60が接続されている。
FIG. 20 is a block diagram showing the configuration of the third embodiment. As in the first embodiment shown in FIG. 7, a camera 1 is installed in a vehicle, and an image signal is output and stored in an image memory 2. The image memory 2 is connected to a position detection unit 30 having a detection range setting unit 40. The position detection unit 30 is connected to the road shape detection unit 50 via the detection target confirmation unit 70. An imaging position setting unit 60 is connected to the road shape detection unit 50.
【0056】初期設定として検出範囲設定部40に上記
式(7)に基づいて算出されたyu、ydを記憶させて
円の検出範囲を設定する。位置検出部30には上記式
(6)の演算に基づいて算出された3種類の半径r0、
r1、r2を記憶させる。撮像位置設定部60には上記
円のうち、一番径の大きいr0の円が平坦な道路時の撮
像位置が設定されている。また、道路が直線時の(x0
−x1)と(x1−x2)との比率を演算し基準値とし
て記憶する。
As the initial setting, the detection range setting section 40 stores yu and yd calculated based on the above equation (7) to set the detection range of the circle. The position detector 30 has three types of radii r0 calculated based on the calculation of the above equation (6),
r1 and r2 are stored. In the imaging position setting unit 60, an imaging position at the time of a road where the circle having the largest diameter r0 among the circles is flat is set. When the road is straight, (x0
-X1) and (x1-x2) are calculated and stored as a reference value.
【0057】道路形状を検出する際、画像メモリから撮
像画像の映像信号が位置検出部30に出力される。位置
検出部30は検出範囲設定部40で設定されている範囲
内で撮像画像から設定されている半径r0、r1、r2
で3種類の円を検出し、縦方向(y軸)、横方向(x
軸)の位置を抽出する。検出対象確認部70は下から、
径が順次に小さくなっているどうかをチェックして円が
デリニエータであることを確認する。
When a road shape is detected, a video signal of a captured image is output from the image memory to the position detection unit 30. The position detection unit 30 has the radii r0, r1, r2 set from the captured image within the range set by the detection range setting unit 40.
To detect three types of circles, the vertical direction (y-axis), and the horizontal direction (x
Extract the position of (axis). From the bottom, the detection target confirmation unit 70
Check to see if the diameter is progressively smaller to make sure the circle is a delineator.
【0058】道路形状検出部50は、まず半径の大きい
円(r0)の縦方向位置を撮像位置設定部60に設定さ
れている平坦な道路の位置と比較して道路勾配を判断す
る。そして各円の横方向位置x0、x1、x2によりA
=(x0−x1)/(x1−x2)を算出し、基準値と
比較する。Aと基準値が一致するならば図21のように
直線道路と判断する。Aが基準値より小さいならば図2
2のように右カーブ道路と判断する。Aが基準値より大
きいならば図23のように左カーブと判断する。本実施
例は以上のように構成され、等間隔に並ぶデリニエータ
を利用することで、前方道路の勾配のほかに、横方向の
カーブを含めた道路形状が認識できる。また、円の並び
方でデリニエータの検出をチェックするようにしたの
で、検出結果は信頼性の高いものとなる。
The road shape detecting section 50 first judges the road gradient by comparing the vertical position of the circle (r0) having a large radius with the position of a flat road set in the image pickup position setting section 60. A is determined by the horizontal position x0, x1, x2 of each circle.
= (X0-x1) / (x1-x2) and compare with a reference value. If A and the reference value match, it is determined that the road is a straight road as shown in FIG. If A is smaller than the reference value, FIG.
It is determined to be a right curve road as shown in 2. If A is larger than the reference value, it is determined that the curve is a left curve as shown in FIG. This embodiment is configured as described above, and by using the delineators arranged at equal intervals, it is possible to recognize a road shape including a curve in a lateral direction in addition to a gradient of a road ahead. In addition, since the detection of the delineator is checked according to the arrangement of the circles, the detection result is highly reliable.
【0059】次に、デリニエータの円の検出について第
4の実施例として説明する。この実施例は主として高
速、かつ、ノイズがある場合でも円検出ができるように
したものである。図24は、前記位置検出部3(30、
31)における円検出の機能ブロック図である。画像メ
モリ2からの撮像画像は微分画像作成部33に入力され
る。ここで検出範囲設定部で設定された検出範囲内で画
像を微分処理して、x、y方向のそれぞれの微分画像を
作る。
Next, detection of the circle of the delineator will be described as a fourth embodiment. This embodiment is mainly designed to detect a circle at high speed even when there is noise. FIG. 24 shows the position detector 3 (30,
It is a functional block diagram of circle detection in 31). The captured image from the image memory 2 is input to the differential image creation unit 33. Here, the image is differentiated within the detection range set by the detection range setting unit to create differential images in the x and y directions.
【0060】勾配角演算部34では、水平、垂直微分値
(dx、dy)をもとに、勾配角デーブル38から各エ
ッジの勾配角θを求める。円中心算出部35は、その勾
配角θをもとに、エッジを半径rの円の一部として円中
心テーブル39より中心位置(xc、yc)を算出す
る。各エッジ点について算出された円中心座標をHou
ghプレーン作成部36においてHoughプレーン上
に投票する。円中心位置検出部37はHoughプレー
ン上の所定回数以上に投票された点を抽出して円中心と
して検出する。
The gradient angle calculator 34 calculates the gradient angle θ of each edge from the gradient angle table 38 based on the horizontal and vertical differential values (dx, dy). The circle center calculation unit 35 calculates the center position (xc, yc) from the circle center table 39 using the edge as a part of a circle having a radius r based on the gradient angle θ. Hou is the circle center coordinate calculated for each edge point.
The gh plane creation unit 36 votes on the Hough plane. The circle center position detecting unit 37 extracts points voted a predetermined number of times or more on the Hough plane, and detects the points as circle centers.
【0061】図25は、円検出処理の流れを示すフロー
チャートである。まず、ステップ201において、画像
メモリ2から撮像画像が微分画像作成部33に入力され
ると、撮像画像に対して検出範囲設定部で設定された検
出範囲で微分処理が行なわれて、水平、垂直微分画像が
作成される。微分処理は例えば図26のソ一ベルオペレ
ータと撮像画像とのコンボリユーションにより行なわれ
る。ここで、図26の(a)は水平微分処理用ソ一ベル
オペレータで、(b)は垂直微分処理用ソ一ベルオペレ
ータである。上記微分処理により例えば図27のような
原画像(a)からは、水平微分画像(b)と、垂直微分
画像(c)が作成される。
FIG. 25 is a flowchart showing the flow of the circle detecting process. First, in step 201, when a captured image is input from the image memory 2 to the differential image creation unit 33, differentiation processing is performed on the captured image in the detection range set by the detection range setting unit, and horizontal and vertical A derivative image is created. The differentiation process is performed by, for example, convolution of the sobel operator and the captured image in FIG. Here, FIG. 26 (a) is a horizontal differential processing single-level operator, and FIG. 26 (b) is a vertical differential processing single-level operator. By the differentiation process, a horizontal differential image (b) and a vertical differential image (c) are created from the original image (a) as shown in FIG. 27, for example.
【0062】ステップ202においては、勾配角演算部
34で各エッジ毎の水平微分値および垂直微分値をもと
に、エッジの勾配角が演算された勾配角画像が作成され
る。勾配角θは、式(9)により求めることができる。 θ=arctan(dx/dy) (9) ただし、勾配角は、しきい値以上のエッジを持つ位置だ
けで求めればよい。また、式(9)による演算は、画像
を更新するたびに計算するのでは処理時間がかかってし
まうため、高速化を考え、次のような方法を用いて全画
面の勾配角の入った勾配角画像を作成する。
In step 202, a gradient angle image in which the gradient angle of the edge has been calculated by the gradient angle calculator 34 based on the horizontal differential value and the vertical differential value of each edge is created. The gradient angle θ can be obtained by Expression (9). θ = arctan (dx / dy) (9) However, the gradient angle may be obtained only at a position having an edge equal to or larger than the threshold value. In addition, since the calculation by equation (9) requires processing time to calculate each time an image is updated, considering the speedup, the following method is used to calculate the gradient including the gradient angle of the entire screen. Create a corner image.
【0063】画像の輝度範囲が一般に0から255とな
るので、図26のオペレータを用いて求めた結果、水平
微分dx、垂直微分dyの値は−128〜127の間の
値になる。それを8bitの2の補数で表現すると、0
x80〜0x7Fとなる。dx、dyの値から、式
(9)の値を表引きで求められるように縦軸がdy横軸
がdxの2次元の表を作成する。図28はその表の構成
を示す。
Since the luminance range of an image is generally from 0 to 255, the values of the horizontal differential dx and the vertical differential dy are values between -128 and 127 as a result of using the operator in FIG. Expressing it as an 8-bit two's complement, 0
x80 to 0x7F. From the values of dx and dy, a two-dimensional table in which the vertical axis is dy and the horizontal axis is dx is created so that the value of equation (9) can be obtained by table lookup. FIG. 28 shows the structure of the table.
【0064】表は、dxとdyの値によってA、B、
C、D4つの領域が形成されている。dxが0〜12
7、dyが0〜127がC領域を構成し、ここでπ〜3
π/2の勾配角が算出される。dxが−128〜−1、
dyが0〜127がD領域を構成し、ここで3π/2〜
2πの勾配角が算出される。また。dxが0〜127、
dyが−128〜−1がB領域を構成し、ここでπ/2
〜πの勾配角が算出される。dxが−128〜−1、d
yが−128〜−1がA領域を構成し、ここで0〜π/
2の勾配角が算出される。エッジがしきい値以下の部分
は円検出を行なわないので、dx、dyの絶対値がしき
い値(TH)以下の部分(ハッチング)にはエッジがし
きい値以下であることを示すフラグをいれておく。この
表は勾配角テーブルとして使用される。勾配角演算部3
4はdx、dyの値により勾配角テーブルから上記表を
引いて勾配角を演算する。
The table shows that A, B,
Four regions C and D are formed. dx is 0 to 12
7, dy 0 to 127 constitutes the C region, where π to 3
A gradient angle of π / 2 is calculated. dx is -128 to -1,
dy of 0 to 127 constitutes the D region, where 3π / 2 to 2
A gradient angle of 2π is calculated. Also. dx is 0 to 127,
dy = −128 to −1 configures the B region, where π / 2
A gradient angle of ~ π is calculated. dx is -128 to -1, d
y is -128 to -1 to form the A region, where 0 to π /
2 are calculated. Since the circle detection is not performed on the portion where the edge is equal to or smaller than the threshold, a flag indicating that the edge is equal to or smaller than the threshold is set in the portion (hatching) where the absolute values of dx and dy are equal to or smaller than the threshold (TH). Keep it in. This table is used as a gradient angle table. Slope angle calculator 3
4 calculates the gradient angle by subtracting the above table from the gradient angle table based on the values of dx and dy.
【0065】これによって勾配角画像からは各エッジが
ある位置にその位置の勾配角θが得られる。またエッジ
がない位置にはエッジがないことを示すフラグが得られ
る。このように、各エッジの勾配角の演算は表引きによ
り行なうので、式(9)による演算が省かれ、高速処理
が可能になる。また、エッジ強度がしきい値以下の場合
も上記表引きで、エッジのないことを示すフラグが得ら
れるため、しきい値判断のための操作が省かれ処理速度
がさらに向上する。
As a result, the gradient angle θ at each edge is obtained from the gradient angle image at the position where each edge exists. At the position where there is no edge, a flag indicating that there is no edge is obtained. As described above, since the calculation of the gradient angle of each edge is performed by table look-up, the calculation by Expression (9) is omitted, and high-speed processing becomes possible. Also, when the edge strength is equal to or less than the threshold value, a flag indicating that there is no edge is obtained by the above lookup, so that the operation for determining the threshold value is omitted and the processing speed is further improved.
【0066】円中心演算部35は各エッジの勾配角をも
とに、エッジをもつ画素(x、y)が半径rの円の一部
と仮定して円の中心位置(xc、yc)を求める。図2
9はエッジの勾配角とそのエッジを含む円の中心位置と
の位置関係を示す図である。
The circle center calculator 35 determines the center position (xc, yc) of the circle based on the gradient angle of each edge, assuming that the pixel (x, y) having the edge is a part of a circle having a radius r. Ask. FIG.
9 is a diagram showing the positional relationship between the gradient angle of an edge and the center position of a circle including the edge.
【0067】ある位置(x、y)のエッジの勾配角が分
かれば、幾何学的計算により、そのエッジが半径rの円
の一部である場合、その円の中心(xc、yc)は、式
10より求めることができる。 xc=x+r・cosθ yc=y+r・sinθ (10)
If the gradient angle of the edge at a certain position (x, y) is known, geometric calculations show that if the edge is part of a circle with a radius r, the center (xc, yc) of the circle is It can be obtained from Equation 10. xc = x + r · cos θ yc = y + r · sin θ (10)
【0068】xc、ycの検出はHough変換の原理
により行なう。Hough変換とは、もし、中心(x
c、yc)から半径rの円が処理範囲内の画像に存在す
ると、画像全体においてすべてのエッジの勾配角θで上
記計算を繰り返した場合、円周上のすべてのエッジにお
いて円の中心位置が(xc、yc)として求められるた
め、式(10)の計算結果が(xc、yc)と求められ
る回数が多くなる。このことから、(xc、yc)と求
められた回数があるしきい値以上であれば、その位置を
半径r円の中心と判断できる。
The detection of xc and yc is performed based on the principle of Hough transform. The Hough transform means that if the center (x
If a circle having a radius r from c, yc) exists in the image within the processing range, if the above calculation is repeated at the gradient angles θ of all edges in the entire image, the center position of the circle will be found at all edges on the circumference. Since it is obtained as (xc, yc), the number of times that the calculation result of Expression (10) is obtained as (xc, yc) increases. From this, if (xc, yc) and the number of times obtained are equal to or greater than a certain threshold value, the position can be determined to be the center of the radius r circle.
【0069】次に、上記原理をもとに、前述したエッジ
がないことを示すフラグを含んだ勾配角画像を利用する
ことで、高速に中心位置を求める。まず、Houghプ
レーン作成部36は、撮像画像に対応するHoughプ
レーンを作成する。図30はHoughプレーンを形式
的に示したもので、各格子は画像の画素位置に対応す
る。円中心テーブル39には勾配角θに対応するr−c
osθ、r−sinθのデータが格納される。
Next, based on the above principle, the center position is obtained at high speed by using the above-described gradient angle image including the flag indicating that there is no edge. First, the Hough plane creating unit 36 creates a Hough plane corresponding to a captured image. FIG. 30 shows a Hough plane in a formal manner, and each grid corresponds to a pixel position of an image. The circle center table 39 has rc corresponding to the gradient angle θ.
The data of osθ and r-sinθ are stored.
【0070】円中心テーブルに勾配角θが入力されると
図31に示すように対応するr−cosθ、r−sin
θが読み出される。(a)はr−cosθを演算するテ
ーブルで、(b)はr−sinθを演算する円中心テー
ブルである。勾配角画像の全画素において、まず、その
内容がエッジがないことを示すフラグであるか否かを確
認し、勾配角が格納されている位置においてだけ、円中
心テーブルから値を得てエッジの画素位置とともに式
(10)に代入して円中心を計算する。
When the gradient angle θ is input to the circle center table, the corresponding r-cos θ and r-sin as shown in FIG.
θ is read. (A) is a table for calculating r-cos θ, and (b) is a circle center table for calculating r-sin θ. In all the pixels of the gradient angle image, first, it is checked whether or not the content is a flag indicating that there is no edge, and only at the position where the gradient angle is stored, a value is obtained from the circle center table to obtain the edge. The center of the circle is calculated by substituting into the equation (10) together with the pixel position.
【0071】ステップ203において円中心の演算結果
をHoughブレーン上の対応する位置に投票する。こ
れによって、フラグの判断だけで、エッジのあるなしを
判断することができ、エッジがあるか否かの判断と同時
に勾配角を求め、その角をもとにした表引きと加算だけ
で円の中心を計算できるため、高速かつ簡単な計算だけ
で円中心をHoughプレーンに投票することができ
る。
In step 203, the result of the calculation of the center of the circle is cast to the corresponding position on the Hough brain. This makes it possible to judge the presence or absence of an edge only by judging the flag, determine the gradient angle at the same time as determining whether or not there is an edge, and look up and add the circle based only on that angle to obtain the circle. Since the center can be calculated, the center of the circle can be voted on the Hough plane only by high-speed and simple calculation.
【0072】なお、Houghプレーンの作成におい
て、さらにより高速性を求める場合においては、次のよ
うな方法もある。すなわち図28の表から勾配角を表引
きする際、フラグと勾配角を有する勾配角画像を作成す
る代わりに、図32に示すようなリストを作成する。こ
のリストは、次の方法で作成する。リストは、縦軸をy
座標とし、勾配角をしまうリストとx座標をしまうリス
トの2種類を作成し、そのうちどちらかの先頭に、各y
座標毎にそのライン上のエッジの数を格納するカウンタ
を設ける。(a)は勾配角リストで、(b)はx座標リ
ストである。なおここでは、カウンタはx座標リストに
設けられている。
In the case where a higher speed is required in creating the Hough plane, the following method is also available. That is, when the gradient angles are looked up from the table in FIG. 28, a list as shown in FIG. 32 is created instead of creating a gradient angle image having a flag and a gradient angle. This list is created in the following way. In the list, the vertical axis is y
Create two types of lists, a list that stores the gradient angle and a list that stores the x coordinate.
A counter is provided for storing the number of edges on the line for each coordinate. (A) is a gradient angle list, and (b) is an x coordinate list. Here, the counter is provided in the x coordinate list.
【0073】撮像画像の各y座標毎に微分値dx、dy
により勾配角テーブルを表引きで勾配角を求める。エッ
ジがある場合のみ、その位置の勾配角のリストには勾配
角を、x座標のリストにはx座標値をしまい、カウンタ
をインクリメントする。全yラインにおいてこの操作を
行うと、各yラインの先頭のカウンタにはそのyライン
上のエッジの個数が入り、そのライン上の各エッジの勾
配角とそのエッジのx座標値だけを格納したリストがで
き上がる。
Differential values dx, dy for each y coordinate of the captured image
The gradient angle is obtained by looking up the gradient angle table. Only when there is an edge, the gradient angle is stored in the list of gradient angles at that position, the x coordinate value is stored in the list of x coordinates, and the counter is incremented. When this operation is performed on all y lines, the number of edges on the y line is entered in the counter at the head of each y line, and only the gradient angle of each edge on the line and the x coordinate value of the edge are stored. The list is completed.
【0074】Houghプレーンの作成は、このリスト
を用いて、各ライン毎に、カウンタに格納されている回
数分だけ式(10)を計算すればよいため、エッジのな
いことを示すフラグについての操作が省かれ、特に、リ
ストが短くなるようなエッジの少ない画像の処理をより
高速に行える。また、勾配角画像より少ない領域に勾配
角の情報を格納できるという利点もある。
The Hough plane can be created by using this list and calculating the equation (10) for each line by the number of times stored in the counter. Is omitted, and in particular, processing of an image having few edges such as a short list can be performed at higher speed. Another advantage is that information on the gradient angle can be stored in a smaller area than the gradient angle image.
【0075】次に、ステップ204において、Houg
hプレーン内からの円の中心位置検出を行なう。円の中
心位置の検出は、処理対象画像が円しか含まないような
ノイズのない画像であればプレーン内の最大値の位置と
して検出できる。画像にノイズが多いなど、投票結果が
ピーク点とならない場合、図33のように円の中心付近
が面積を持った領域として点数が高くなるので、例え
ば、Houghプレーンをあるしきい値以上でラベリン
グし、そのラベル画像の重心を円の中心とすることで円
の中心を求めることができる。
Next, in step 204, Houg
The center position of the circle from within the h plane is detected. The detection of the center position of the circle can be detected as the position of the maximum value in the plane if the image to be processed has no noise and includes only the circle. If the voting result does not become a peak point due to a large amount of noise in the image or the like, the score increases as a region having an area near the center of the circle as shown in FIG. 33. For example, labeling the Hough plane with a certain threshold or more is performed. The center of the circle can be obtained by setting the center of gravity of the label image as the center of the circle.
【0076】また、この手法は、ノイズの多い画像だけ
なく、例えば、エッジが半円だけしか検出されないよう
なエッジの出難い画像でも、ラベリングのしきい値の設
定を低くすることにより対処できる。上記のような方法
により、画像内の半径rの円の中心位置を検出でき、中
心位置と半径rで円が検出される。
In addition, this method can cope with not only an image having a lot of noise but also an image in which an edge is hard to appear such that only a semicircle is detected by lowering the setting of the labeling threshold. By the above method, the center position of the circle having the radius r in the image can be detected, and the circle is detected based on the center position and the radius r.
【0077】次に、上記円検出原理を用いて、検出対象
をデリニエータ以外の道路標識にしたときの変形例を説
明する。まず信号機の検出方法について説明する.信号
機の場合、円の大きさ三つの円の位置関係は一定であ
り、信号機の高さもある程度の高さの範囲内であるの
で、まず、所定大きさの三つの円を検出する。円検出の
方法は、信号機の円の半径をもとに、前述の方法を用い
る。検出された三つの円の中心位置が1直線上に並ぶよ
うであれば信号であると判断する。また、より正確に行
う場合は、図34のようにその円の内部の色が、青、
黄、赤の順であるか否かおよび円の上下に横エッジがあ
るか否かを判断することで、確認することもできる。
Next, a modified example will be described in which the detection target is a road sign other than the delineator using the above-described circle detection principle. First, the signal detection method is explained. In the case of a traffic light, the positional relationship between the three circles is constant and the height of the traffic light is also within a certain height range. Therefore, first, three circles of a predetermined size are detected. As the method of circle detection, the above-described method is used based on the radius of the circle of the traffic light. If the center positions of the three detected circles are aligned on one straight line, it is determined that the signal is a signal. In addition, when performing more accurately, the color inside the circle is blue, as shown in FIG.
The determination can also be made by determining whether the order is yellow and red and whether there are horizontal edges above and below the circle.
【0078】次に速度制限標識の検出方法について説明
する。ここでは、図35に示すような制限速度標識につ
いて述べる。制限速度を示す標識も、信号機同様、大き
さや形状が既知であり、ほとんどの場合、高さも一定で
あることが多い。また、形状は大きい円の内部は赤、小
さい円の内部は白であり、大きい円と小さい円の比率
(Rs:Rb)も一定であることも分かっている。この
既知の情報を用いて、半径の比率がRs:Rbである大
きさの異なる二つの円を検出し、その内、円の中心が同
じ位置にある組を見つけることで標識を検出する。加え
て、二つの円の組の大きい円と小さい円の間の領域が赤
であることを認識することで、標識であることを再確認
することもできる。
Next, a method of detecting a speed limit sign will be described. Here, a speed limit sign as shown in FIG. 35 will be described. The sign indicating the speed limit also has a known size and shape, similarly to the traffic light, and in most cases, the height is often constant. It is also known that the inside of a large circle is red and the inside of a small circle is white, and that the ratio (Rs: Rb) between the large and small circles is also constant. Using this known information, two circles having different ratios of radius Rs: Rb are detected, and a marker whose center is located at the same position is detected to detect a marker. In addition, by recognizing that the area between the large circle and the small circle of the pair of two circles is red, it is possible to reconfirm that the area is a sign.
【0079】次に信号機や標識の検出結果を用いた道路
勾配検出について説明する。信号機や標識は、デリニエ
ータと異なり、一般道路の至るところに存在するため、
一般道路での勾配検知として利用できるが、高さや存在
間隔が一定とは限らない。しかし、一般道では、高速道
路には存在しないような急勾配の道路もあり、このよう
な勾配が前方にある場合、図36に示すように、通常、
画像中部yc付近にしか撮像されない信号機が、画像の
非常に低い位置あるいは非常に高い位置に撮像されると
き、前方道路が急勾配であることが分かる。図37、図
38はそれぞれ急な登ぼり坂と急な下だり坂が撮像され
たときの撮像画像である。
Next, a description will be given of road gradient detection using detection results of traffic signals and signs. Traffic lights and signs are located throughout the general road, unlike delinators,
Although it can be used as gradient detection on general roads, the height and the existence interval are not always constant. However, on general roads, there are some steep roads that do not exist on expressways, and when such a slope is ahead, as shown in FIG.
When a traffic light that is only captured near the center yc of the image is captured at a very low or very high position in the image, it is known that the road ahead is steep. FIG. 37 and FIG. 38 are captured images when a steep uphill and a steep downhill are respectively imaged.
【0080】[0080]
【発明の効果】以上説明してきたように、請求項1記載
の発明では、所定高さの標識を所定距離先から撮像する
とき画像上の大きさが一定で、画像上の上下位置が道路
勾配によって変化することを利用して道路勾配を検出す
るようにしたので、カメラの撮像画像から、所定大きさ
の標識画像を検出し、道路が平坦時の画像位置と比較す
る操作だけで、道路勾配を検出することが可能になる。
白線検出などの操作が不要なため、処理が単純で、プロ
グラミングしやすい効果が得られる。
As described above, according to the first aspect of the present invention, when a sign having a predetermined height is imaged from a predetermined distance ahead, the size on the image is constant, and the vertical position on the image is the road gradient. The road gradient is detected using the change in the road gradient, so the sign image of a predetermined size is detected from the image captured by the camera, and the road gradient is detected only by the operation of comparing with the image position when the road is flat. Can be detected.
Since an operation such as white line detection is not required, the processing is simple and an effect of easy programming can be obtained.
【0081】請求項2記載の発明では、検出された標識
をさらに車速に応じて大きさを順次に拡大して追跡検出
し、その軌跡で道路形状を検出するようにしたので、検
出する標識の大きさを変える操作だけで追跡検出がで
き、複雑な操作なしで総合的な道路情報を提供すること
ができる。
According to the second aspect of the present invention, the size of the detected sign is further sequentially enlarged in accordance with the vehicle speed, and the detected sign is tracked, and the road shape is detected based on the track. Tracking detection can be performed only by changing the size, and comprehensive road information can be provided without complicated operations.
【0082】請求項3記載の発明では、所定間隔で設置
される複数の路上標識を画像から所定の大きさで検出
し、道路の勾配および形状を検出するようにしたので、
道路が平坦時の画像位置と比較する操作だけで勾配を検
出することができる。道路形状は各標識の縦および横位
置の比較だけで直線、カーブといった道路形状を検出す
ることができる。これらの操作はすべて比較だけで行な
うので、処理が簡単で、プログラミングがしやすい効果
が得られる。
According to the third aspect of the present invention, a plurality of road signs installed at predetermined intervals are detected at a predetermined size from the image, and the gradient and shape of the road are detected.
The gradient can be detected only by the operation of comparing with the image position when the road is flat. As for the road shape, a road shape such as a straight line or a curve can be detected only by comparing the vertical and horizontal positions of each sign. Since all of these operations are performed only by comparison, an effect that processing is simple and programming is easy can be obtained.
【0083】請求項4記載の発明では、路上標識を所定
の画像範囲内で検出し、この範囲を道路勾配によって標
識画像の変動をカバーできるように設定したから、処理
するデータが減り、路上標識を高速検出できるととも
に、誤検出を減少させる効果が得られる。
According to the fourth aspect of the present invention, the road sign is detected within a predetermined image range, and this range is set so as to cover the fluctuation of the sign image by the road gradient. Can be detected at high speed, and the effect of reducing erroneous detection can be obtained.
【0084】請求項5記載の発明では、路上標識をデリ
ニエータとして、位置検出手段は所定半径の円を検出
し、円の下に棒を検出してデリニエータであることを確
認するようにしたので、検出結果が信頼性の高いものと
なる。
According to the fifth aspect of the present invention, the road sign is used as a delineator, and the position detecting means detects a circle having a predetermined radius, and detects a bar below the circle to confirm that it is a delineator. The detection result becomes highly reliable.
【0085】請求項6記載の発明では、路上標識を信号
機として、位置検出手段は所定半径の円を検出し、検出
された円が例えば横一列に3つ並んでいることで確認す
るようにしたので、より確実に信号機を検出することが
できる。請求項7記載の発明では、検出された3つの円
から、さらに色を検出して信号機と色が一致するか否か
を確認するようにしたから、同じく3つの円の他の物体
による誤検出を防ぐことができる。
According to the sixth aspect of the present invention, the road sign is used as a traffic light, and the position detecting means detects a circle having a predetermined radius, and confirms that three detected circles are arranged in a horizontal line, for example. Therefore, the traffic signal can be detected more reliably. According to the seventh aspect of the present invention, the color is further detected from the detected three circles to check whether the color matches the traffic light. Therefore, the three circles are erroneously detected by other objects. Can be prevented.
【0086】請求項8記載の発明では、路上標識は速度
制限標識で、位置検出手段は半径が異なる2つの円を検
出する円検出手段と、検出された径の異なる2つの円が
同心で、比率がある一定値であることを確認するように
したので、信頼性の高い検出となる。請求項9記載の発
明では、検出された同心の大円と小円の間の色を検出
し、赤であることを確認するするようにしたので、信頼
性がさらに向上する。
According to the invention of claim 8, the road sign is a speed limit sign, the position detecting means is a circle detecting means for detecting two circles having different radii, and the two detected circles having different diameters are concentric. Since the ratio is confirmed to be a constant value, highly reliable detection is achieved. According to the ninth aspect of the invention, the color between the detected concentric great circle and small circle is detected to confirm that the color is red, so that the reliability is further improved.
【0087】請求項10記載の発明では、位置検出手段
は、撮像画像から水平、垂直微分画像を求め、水平、垂
直微分画像に基づいて勾配角テーブルからエッジの勾配
角を求める。このとき、水平、垂直微分値がしきいより
小さければ、エッジがないことを示すフラグが得られる
ので、1つの操作でしきい値処理だでき、高速に円検出
ができる。
According to the tenth aspect, the position detecting means obtains a horizontal and vertical differential image from the captured image, and obtains a gradient angle of an edge from a gradient angle table based on the horizontal and vertical differential images. At this time, if the horizontal and vertical differential values are smaller than the threshold, a flag indicating that there is no edge is obtained. Therefore, threshold processing can be performed by one operation, and circle detection can be performed at high speed.
【0088】請求項11記載の発明では、円を検出する
に際して、勾配角演算部が、勾配角テーブルからしきい
値以上のエッジ位置だけの勾配角とその座標位置を示す
リストを作成し、円中心算出部がリストアップされた勾
配角と座標位置で円中心位置を算出するようにしたの
で、全画面を対象に行なうより、情報量が減少し、少量
のメモリ量で情報を格納することが可能で、処理速度が
向上する。請求項12記載の発明では、円中心算出部に
エッジの勾配角に対応する半径rの円の中心位置の算出
値が格納された円中心テーブルを接続するようにしたの
で、同じ演算を繰り返すことがなく、処理効率が向上す
る。
According to the eleventh aspect of the present invention, when detecting a circle, the gradient angle calculation unit creates a list indicating the gradient angles and the coordinate positions of only the edge positions above the threshold value from the gradient angle table, Since the center calculation unit calculates the center of the circle based on the listed gradient angles and coordinate positions, the amount of information is reduced and the information can be stored with a small amount of memory as compared with performing the entire screen. Possible and processing speed is improved. According to the twelfth aspect of the present invention, since the circle center table in which the calculated value of the center position of the circle having the radius r corresponding to the gradient angle of the edge is connected to the circle center calculation unit, the same calculation is repeated. And the processing efficiency is improved.
【図面の簡単な説明】[Brief description of the drawings]
【図1】道路の勾配を検出する原理の説明図である。FIG. 1 is an explanatory diagram of a principle of detecting a road gradient.
【図2】カメラの撮像画像である。FIG. 2 is an image captured by a camera.
【図3】下り坂を撮像するときの様子とその撮像画像で
ある。
FIG. 3 shows a state when a downhill is imaged and an image thereof.
【図4】登ぼり坂を撮像するときの様子とその画像であ
る。
FIG. 4 shows a state when an image of an uphill is taken and its image.
【図5】デリニエータの形状とその撮像画像である。FIG. 5 shows a shape of a delineator and a captured image thereof.
【図6】デリニエータの検出範囲を示す図である。FIG. 6 is a diagram illustrating a detection range of a delineator.
【図7】第1の実施例の構成を示すブロック図である。FIG. 7 is a block diagram showing the configuration of the first embodiment.
【図8】実施例における処理の流れを示すフローチャー
トである。
FIG. 8 is a flowchart illustrating a flow of a process according to the embodiment.
【図9】検出対象までの距離変化とその撮像画像上の位
置および大きさの変化の説明図である。
FIG. 9 is an explanatory diagram of a change in a distance to a detection target and a change in a position and a size on a captured image.
【図10】登ぼり坂カーブにおける円の検出位置の時間
的軌跡である。
FIG. 10 is a time trajectory of a detected position of a circle on an uphill slope curve.
【図11】下だり坂カーブにおける円の検出位置の時間
的軌跡である。
FIG. 11 is a time trajectory of a detection position of a circle on a downward slope curve.
【図12】直線道路の登ぼり坂における円の検出位置の
時間的軌跡である。
FIG. 12 is a time trajectory of a circle detection position on an uphill slope on a straight road.
【図13】直線道路の下だり坂における円の検出位置の
時間的軌跡である。
FIG. 13 is a time trajectory of a circle detection position on a downhill slope of a straight road.
【図14】第2の実施例の構成を示すブロック図であ
る。
FIG. 14 is a block diagram showing a configuration of a second example.
【図15】3つのデリニエータが連続して撮像されると
きの撮像画像である。
FIG. 15 is a captured image when three delineators are continuously imaged.
【図16】3つのデリニエータの検出範囲を示す図であ
る。
FIG. 16 is a diagram showing detection ranges of three delineators.
【図17】前方道路が登ぼり坂のときの撮像画像であ
る。
FIG. 17 is a captured image when the road ahead is uphill.
【図18】前方道路が下り坂のときの撮像画像である。FIG. 18 is a captured image when a forward road is downhill.
【図19】等間隔に並ぶデリニエータが撮像されるx軸
方向の位置の説明図
FIG. 19 is an explanatory diagram of positions in the x-axis direction at which delineators arranged at equal intervals are imaged;
【図20】第3の実施例の構成を示すブロック図であ
る。
FIG. 20 is a block diagram showing a configuration of a third embodiment.
【図21】前方道路が直線の場合の撮像画像である。FIG. 21 is a captured image when the road ahead is straight.
【図22】前方道路が右左カーブのときの撮像画像であ
る。
FIG. 22 is a captured image when the front road is curved right and left.
【図23】前方道路が左カーブのときの撮像画像であ
る。
FIG. 23 is a captured image when the road ahead is a left curve.
【図24】円検出の構成を示す機能ブロック図である。FIG. 24 is a functional block diagram showing a configuration of circle detection.
【図25】円検出の処理の流れを示すフローチャートで
ある。
FIG. 25 is a flowchart illustrating a flow of a circle detection process.
【図26】水平、垂直微分画像を求めるためのソーベル
オペレータ
FIG. 26: Sobel operator for obtaining horizontal and vertical differential images
【図27】微分処理の効果を示す画像である。FIG. 27 is an image showing the effect of the differentiation processing.
【図28】勾配角演算用表である。FIG. 28 is a gradient angle calculation table.
【図29】エッジ位置とその位置の勾配角から円の中心
を求める方法の説明図
FIG. 29 is an explanatory diagram of a method of obtaining a center of a circle from an edge position and a gradient angle of the position.
【図30】Houngプレーンを形式的に示す図であ
る。
FIG. 30 is a diagram formally showing a Hung plane.
【図31】θからr−cosθとr−sinθを引くテ
ーブルである。
FIG. 31 is a table for subtracting r-cos θ and r-sin θ from θ.
【図32】勾配角、x座標位置リストである。FIG. 32 is a list of gradient angles and x coordinate positions.
【図33】ラベリング効果を示す図である。FIG. 33 is a diagram showing a labeling effect.
【図34】信号機の形状を示す図である。FIG. 34 is a diagram showing the shape of a traffic light.
【図35】速度制限の道路標識の形状を示す図である。FIG. 35 is a diagram showing the shape of a speed-limited road sign.
【図36】平坦な道路時の信号機の撮像位置を示す図で
ある。
FIG. 36 is a diagram showing an imaging position of a traffic light on a flat road.
【図37】急な登ぼり坂における信号機の撮像位置を示
す図である。
FIG. 37 is a diagram illustrating an imaging position of a traffic light on a steep ascending slope.
【図38】急な下だり坂おける信号機の撮像位置を示す
図である。
FIG. 38 is a diagram illustrating an imaging position of a traffic light on a steep downhill.
【符号の説明】[Explanation of symbols]
1 CCDカメラ(カメラ) 2 画像メモリ 3、30、31 位置検出部(位置検出手段) 4、40、41 検出範囲設定部 5、50、51 道路形状検出部(道路形状検出手
段) 6、60、61 撮像位置設定部(撮像位置設定手
段) 70 検出対象確認部 80 位置記憶部
Reference Signs List 1 CCD camera (camera) 2 Image memory 3, 30, 31 Position detecting unit (position detecting means) 4, 40, 41 Detection range setting unit 5, 50, 51 Road shape detecting unit (road shape detecting means) 6, 60 61 imaging position setting unit (imaging position setting means) 70 detection target confirmation unit 80 position storage unit

Claims (12)

    【特許請求の範囲】[Claims]
  1. 【請求項1】 車両より前方道路を撮像するカメラと、
    カメラの撮像画像を記憶する画像メモリと、前記撮像画
    像から、路面に対して所定高さの路上標識を所定大きさ
    で検出し、画像上の位置を特定する位置検出手段と、路
    面が平坦時の標識の画像位置を記憶する撮像位置設定手
    段と、路面が平坦時の画像位置と前記検出された路上標
    識の画像位置とを比較することで、道路形状を検出する
    道路形状検出手段とを有することを特徴とする道路形状
    認識装置。
    1. A camera for imaging a road ahead of a vehicle,
    An image memory for storing a captured image of a camera, a position detecting means for detecting a road sign having a predetermined height with respect to a road surface with a predetermined size from the captured image and specifying a position on the image; Image position setting means for storing the image position of the sign, and road shape detecting means for detecting the road shape by comparing the image position when the road surface is flat with the detected image position of the road sign. A road shape recognition device characterized by the above-mentioned.
  2. 【請求項2】 前記位置検出手段は、所定大きさの路上
    標識を検出した後、さらに車速に応じて大きさを順次に
    拡大して近づいてくる路上標識を追跡検出し、前記道路
    形状検出手段は、その軌跡で道路形状を検出するように
    したことを特徴とする請求項1記載の道路形状認識装
    置。
    2. The method according to claim 1, further comprising: detecting a road sign of a predetermined size, and further detecting the approaching road sign by sequentially increasing the size according to the vehicle speed, and detecting the approaching road sign. The road shape recognition device according to claim 1, wherein the road shape is detected based on the trajectory.
  3. 【請求項3】 車両より前方道路を撮像するカメラと、
    カメラの撮像画像を記憶する画像メモリと、前記撮像画
    像から、所定間隔を有し路面に対して所定高さで設置さ
    れる複数の路上標識を所定大きさで検出し、その路上標
    識の画像上の位置を特定する位置検出部と、前記路上標
    識の画像位置とその大きさの並べ方で、検出対象を確認
    する検出対象確認手段と、路面が平坦時の標識の画像位
    置を記憶する撮像位置設定手段と、前記路上標識の画像
    位置と道路が平坦時の位置とを比較することで、道路勾
    配を検出するとともに、各路上標識の画像位置で道路形
    状を検出する道路形状検出手段とを有することを特徴と
    する道路形状認識装置。
    3. A camera for imaging a road ahead of a vehicle,
    An image memory that stores a captured image of a camera, and from the captured image, a plurality of road signs installed at a predetermined height with respect to a road surface at a predetermined interval are detected at a predetermined size, and an image of the road sign is detected. A position detection unit that specifies the position of the road sign, a detection target confirmation unit that confirms a detection target by arranging the image position of the road sign and its size, and an imaging position setting that stores the image position of the sign when the road surface is flat. Means, and a road shape detecting means for detecting a road gradient by comparing an image position of the road sign with a position when the road is flat, and detecting a road shape at an image position of each road sign. A road shape recognition device characterized by the following.
  4. 【請求項4】 前記路上標識は所定の画像範囲内で検出
    され、該範囲は道路勾配によって標識画像の変動をカバ
    ーできるように設定されたことを特徴とする請求項1、
    2または3記載の道路形状認識装置。
    4. The traffic sign according to claim 1, wherein the road sign is detected within a predetermined image range, and the range is set so as to cover a change in the sign image depending on a road gradient.
    4. The road shape recognition device according to 2 or 3.
  5. 【請求項5】 前記路上標識はデリニエータで、前記位
    置検出手段は所定半径の円を検出する円検出機能と、円
    の下に棒を検出してデリニエータであることを確認する
    確認機能とを持ち合わせていることを特徴とする請求項
    1、2または3記載の道路形状認識装置。
    5. The road sign is a delineator, and the position detecting means has a circle detecting function for detecting a circle having a predetermined radius and a confirming function for detecting a bar below the circle to confirm that it is a delineator. 4. The road shape recognition device according to claim 1, wherein the road shape is recognized.
  6. 【請求項6】 前記路上標識は信号機で、前記位置検出
    手段は所定半径の円を検出する円検出機能と、検出され
    た円が3つ所定の関係で並んでいることを確認する確認
    機能とを持ち合わせていることを特徴とする請求項1、
    2または3記載の道路形状認識装置。
    6. The road sign is a traffic light, and the position detecting means has a circle detecting function for detecting a circle having a predetermined radius, and a confirmation function for confirming that three detected circles are arranged in a predetermined relationship. Claim 1, characterized by having
    4. The road shape recognition device according to 2 or 3.
  7. 【請求項7】 前記位置検出手段にさらに3つの円か
    ら、色を検出して信号機と色が一致するか否かを確認す
    る機能が付加されていることを特徴とする請求項6記載
    の道路形状認識装置。
    7. The road according to claim 6, wherein the position detecting means is further provided with a function of detecting a color from three circles and confirming whether the color matches the traffic light. Shape recognition device.
  8. 【請求項8】 前記路上標識は速度制限標識で、前記位
    置検出手段は半径が異なる2つの円を検出する円検出機
    能と、検出された径の異なる2つの円が同心で、比率が
    ある一定値であることを確認する確認機能とを持ち合わ
    せていることを特徴とする請求項1または2記載の道路
    形状認識装置。
    8. The road sign is a speed limit sign, the position detecting means detects a circle having two different diameters, and the detected two circles having different diameters are concentric and have a constant ratio. The road shape recognition device according to claim 1, further comprising a confirmation function for confirming the value.
  9. 【請求項9】 前記確認手段は同心の大円と小円の間の
    色を検出し、赤であることを確認して、検出することを
    特徴とする請求項8記載の道路形状認識装置。
    9. The road shape recognition apparatus according to claim 8, wherein said confirmation means detects a color between a concentric great circle and a small circle, confirms that the color is red, and detects the color.
  10. 【請求項10】 前記位置検出手段は、撮像画像から水
    平、垂直微分画像を求める微分画像作成部と、水平、垂
    直微分値をもとにエッジの勾配角を求める勾配角演算部
    と、勾配角をもとにそのエッジをある半径rの円の一部
    としたときの円の中心位置を求める円中心算出部と、各
    エッジについて求めた円中心位置をHoughプレーン
    に投票するHoughプレーン作成部と、Houghプ
    レーン上所定回数以上に投票された点の位置を円の中心
    位置として、検出する円中心位置検出部とを備え、前記
    勾配角演算部に水平、垂直微分値に対応する勾配角を格
    納する勾配角テーブルが接続され、該勾配角テーブルに
    は水平、垂直微分値がしきい値より小さい値に対応し
    て、エッジがないことを示すフラグが格納されているこ
    とを特徴とする請求項5、6、7、8または9記載の道
    路形状認識装置。
    10. A position detecting unit comprising: a differential image generating unit for obtaining a horizontal and vertical differential image from a captured image; a gradient angle calculating unit for obtaining an edge gradient angle based on horizontal and vertical differential values; A circle center calculating unit for calculating the center position of the circle when the edge is a part of a circle having a certain radius r, and a Hough plane creating unit for voting the circle center position obtained for each edge to a Hough plane. , A circle center position detecting unit for detecting a position of a point voted a predetermined number or more times on the Hough plane as a center position of the circle, and storing a gradient angle corresponding to a horizontal or vertical differential value in the gradient angle calculating unit. And a flag indicating that there is no edge corresponding to a value whose horizontal and vertical differential values are smaller than a threshold value. The road shape recognition device according to 5, 6, 7, 8 or 9.
  11. 【請求項11】 前記勾配角演算部は、前記勾配角テー
    ブルからしきい値以上のエッジ位置だけの勾配角とその
    座標位置を示すリストを作成し、前記円中心算出部はリ
    ストアップされた勾配角と座標位置で円中心位置を算出
    することを特徴とする請求項10記載の道路形状認識装
    置。
    11. The gradient angle calculation unit creates a list indicating gradient angles of only edge positions equal to or larger than a threshold value and their coordinate positions from the gradient angle table, and the circle center calculation unit calculates the listed gradients. The road shape recognition device according to claim 10, wherein a circle center position is calculated based on the corner and the coordinate position.
  12. 【請求項12】 前記円中心算出部にはエッジの勾配角
    に対応する半径rの円の中心位置の算出値が格納された
    円中心テーブルが接続されていることを特徴とする請求
    項10記載の道路形状認識装置。
    12. A circle center table storing a calculated value of a center position of a circle having a radius r corresponding to a gradient angle of an edge is connected to the circle center calculation unit. Road shape recognition device.
JP1806898A 1998-01-13 1998-01-13 Road shape recognizing device Withdrawn JPH11203458A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP1806898A JPH11203458A (en) 1998-01-13 1998-01-13 Road shape recognizing device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP1806898A JPH11203458A (en) 1998-01-13 1998-01-13 Road shape recognizing device

Publications (1)

Publication Number Publication Date
JPH11203458A true JPH11203458A (en) 1999-07-30

Family

ID=11961361

Family Applications (1)

Application Number Title Priority Date Filing Date
JP1806898A Withdrawn JPH11203458A (en) 1998-01-13 1998-01-13 Road shape recognizing device

Country Status (1)

Country Link
JP (1) JPH11203458A (en)

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001283392A (en) * 2000-03-31 2001-10-12 Denso Corp Method and device for recognizing obstacle of vehicle and recording medium
JP2005301519A (en) * 2004-04-08 2005-10-27 Toyota Motor Corp Signaler detection device and signaler detection method
JP2006309499A (en) * 2005-04-28 2006-11-09 Honda Motor Co Ltd Vehicle and lane mark recognition device
CN1312619C (en) * 2003-06-30 2007-04-25 佳能株式会社 Image processing apparatus, image processing method, program for implementing image processing method, and recording medium recording program
JP2007124676A (en) * 2006-11-22 2007-05-17 Hitachi Ltd On-vehicle image processor
EP2023265A1 (en) 2007-07-30 2009-02-11 Delphi Technologies, Inc. Method for recognising an object
EP2040196A1 (en) 2007-09-21 2009-03-25 Honda Motor Co., Ltd. Road shape estimating device
JP2009163714A (en) * 2007-12-10 2009-07-23 Fujitsu Ltd Device and method for determining road sign
JP2009223797A (en) * 2008-03-18 2009-10-01 Denso Corp Obstacle detector
JP2010204047A (en) * 2009-03-05 2010-09-16 Nec Corp Moving object measuring system, moving object measuring apparatus, moving object measuring method, and program
EP2116958A3 (en) * 2008-05-08 2011-09-07 Hella KGaA Hueck & Co. Method and device for calculating the drive path in the area in front of a vehicle
JP2012011867A (en) * 2010-06-30 2012-01-19 Mitsubishi Heavy Ind Ltd Vehicle position calculation system and vehicle position calculation method, and program therefor
JP2012104027A (en) * 2010-11-12 2012-05-31 Honda Motor Co Ltd Object determination apparatus for vehicle
DE102012200053A1 (en) 2011-01-06 2012-07-12 Denso Corporation Image recognition device for recognizing a circular road sign
JP2012238243A (en) * 2011-05-12 2012-12-06 Fuji Heavy Ind Ltd Environment recognition device and environment recognition method
WO2013026609A1 (en) * 2011-08-23 2013-02-28 Robert Bosch Gmbh Method for estimating a road course and method for controlling a light emission of at least one headlamp of a vehicle
JP2014139766A (en) * 2012-12-20 2014-07-31 Denso Corp Road surface shape estimation device
JP2014215698A (en) * 2013-04-23 2014-11-17 富士重工業株式会社 Vehicle driving support device
KR20160071168A (en) * 2014-12-11 2016-06-21 현대자동차주식회사 Apparatus and method for guiding curvature of road
WO2016158491A1 (en) * 2015-04-02 2016-10-06 株式会社デンソー Collision avoidance assistance device
JP2016197046A (en) * 2015-04-03 2016-11-24 日産自動車株式会社 Object detector
JP6138293B1 (en) * 2016-01-19 2017-05-31 三菱電機株式会社 Road surface undulation estimation device and road surface undulation estimation method
US10591928B2 (en) 2017-10-05 2020-03-17 Honda Motor Co., Ltd. Vehicle control device, vehicle control method, and computer readable storage medium

Cited By (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001283392A (en) * 2000-03-31 2001-10-12 Denso Corp Method and device for recognizing obstacle of vehicle and recording medium
CN1312619C (en) * 2003-06-30 2007-04-25 佳能株式会社 Image processing apparatus, image processing method, program for implementing image processing method, and recording medium recording program
JP2005301519A (en) * 2004-04-08 2005-10-27 Toyota Motor Corp Signaler detection device and signaler detection method
US7933434B2 (en) 2005-04-28 2011-04-26 Honda Motor Co., Ltd. Vehicle and lane mark recognizes
JP2006309499A (en) * 2005-04-28 2006-11-09 Honda Motor Co Ltd Vehicle and lane mark recognition device
WO2006118020A1 (en) * 2005-04-28 2006-11-09 Honda Motor Co., Ltd. Vehicle and lane mark recognizer
JP2007124676A (en) * 2006-11-22 2007-05-17 Hitachi Ltd On-vehicle image processor
EP2023265A1 (en) 2007-07-30 2009-02-11 Delphi Technologies, Inc. Method for recognising an object
JP2009033743A (en) * 2007-07-30 2009-02-12 Delphi Technologies Inc Method for recognition of object
US8050460B2 (en) 2007-07-30 2011-11-01 Delphi Technologies, Inc. Method for recognition of an object
JP2009075938A (en) * 2007-09-21 2009-04-09 Honda Motor Co Ltd Road shape estimating device
EP2040196A1 (en) 2007-09-21 2009-03-25 Honda Motor Co., Ltd. Road shape estimating device
JP2009163714A (en) * 2007-12-10 2009-07-23 Fujitsu Ltd Device and method for determining road sign
JP2009223797A (en) * 2008-03-18 2009-10-01 Denso Corp Obstacle detector
DE102009012917B4 (en) 2008-03-18 2019-07-04 Denso Corporation Obstacle detection device for vehicles
US8180561B2 (en) 2008-03-18 2012-05-15 Denso Corporation Vehicle-installation obstacle detection apparatus
EP2116958A3 (en) * 2008-05-08 2011-09-07 Hella KGaA Hueck & Co. Method and device for calculating the drive path in the area in front of a vehicle
JP2010204047A (en) * 2009-03-05 2010-09-16 Nec Corp Moving object measuring system, moving object measuring apparatus, moving object measuring method, and program
JP2012011867A (en) * 2010-06-30 2012-01-19 Mitsubishi Heavy Ind Ltd Vehicle position calculation system and vehicle position calculation method, and program therefor
JP2012104027A (en) * 2010-11-12 2012-05-31 Honda Motor Co Ltd Object determination apparatus for vehicle
DE102012200053A1 (en) 2011-01-06 2012-07-12 Denso Corporation Image recognition device for recognizing a circular road sign
JP2012238243A (en) * 2011-05-12 2012-12-06 Fuji Heavy Ind Ltd Environment recognition device and environment recognition method
WO2013026609A1 (en) * 2011-08-23 2013-02-28 Robert Bosch Gmbh Method for estimating a road course and method for controlling a light emission of at least one headlamp of a vehicle
US9376052B2 (en) 2011-08-23 2016-06-28 Robert Bosch Gmbh Method for estimating a roadway course and method for controlling a light emission of at least one headlight of a vehicle
JP2014139766A (en) * 2012-12-20 2014-07-31 Denso Corp Road surface shape estimation device
US9489583B2 (en) 2012-12-20 2016-11-08 Denso Corporation Road surface shape estimating device
JP2014215698A (en) * 2013-04-23 2014-11-17 富士重工業株式会社 Vehicle driving support device
KR20160071168A (en) * 2014-12-11 2016-06-21 현대자동차주식회사 Apparatus and method for guiding curvature of road
JP2016197018A (en) * 2015-04-02 2016-11-24 株式会社デンソー Collision avoidance assist device
WO2016158491A1 (en) * 2015-04-02 2016-10-06 株式会社デンソー Collision avoidance assistance device
US10442430B2 (en) 2015-04-02 2019-10-15 Denso Corporation Collision avoidance assistance device
JP2016197046A (en) * 2015-04-03 2016-11-24 日産自動車株式会社 Object detector
JP6138293B1 (en) * 2016-01-19 2017-05-31 三菱電機株式会社 Road surface undulation estimation device and road surface undulation estimation method
JP2017129404A (en) * 2016-01-19 2017-07-27 三菱電機株式会社 Road surface undulation estimation device and road surface undulation estimation method
US10591928B2 (en) 2017-10-05 2020-03-17 Honda Motor Co., Ltd. Vehicle control device, vehicle control method, and computer readable storage medium

Similar Documents

Publication Publication Date Title
US10025998B1 (en) Object detection using candidate object alignment
JP6246867B2 (en) Driving correction from stationary target
US9818301B2 (en) Lane correction system, lane correction apparatus and method of correcting lane
US10262216B2 (en) Hazard detection from a camera in a scene with moving shadows
JP2015207281A (en) Solid detector, solid detection method, solid detection program, and mobile body equipment control system
CN101929867B (en) Clear path detection using road model
CN101630412B (en) Camera-based lane marker detection
JP4557288B2 (en) Image recognition device, image recognition method, position specifying device using the same, vehicle control device, and navigation device
JP3864945B2 (en) Road lane detection device
Jung et al. A lane departure warning system using lateral offset with uncalibrated camera
JP3436074B2 (en) Car stereo camera
JP4321821B2 (en) Image recognition apparatus and image recognition method
JP4822766B2 (en) Road marking recognition device and system
KR101605514B1 (en) Apparatus and method for recognizing lane
EP2282295B1 (en) Object recognizing device and object recognizing method
EP0827127B1 (en) Local positioning apparatus, and method therefor
JP3619628B2 (en) Driving environment recognition device
JP5962850B2 (en) Signal recognition device
EP1930863B1 (en) Detecting and recognizing traffic signs
JP2917661B2 (en) Traffic flow measurement processing method and device
US8027514B2 (en) Apparatus for recognizing object in image
JP3503230B2 (en) Nighttime vehicle recognition device
CN108960183B (en) Curve target identification system and method based on multi-sensor fusion
JP4703136B2 (en) Line drawing processing equipment
CN100452093C (en) Device for detecting road traveling lane

Legal Events

Date Code Title Description
A300 Withdrawal of application because of no request for examination

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20050405