JPH09179989A - Road recognition device for vehicle - Google Patents
Road recognition device for vehicleInfo
- Publication number
- JPH09179989A JPH09179989A JP7339329A JP33932995A JPH09179989A JP H09179989 A JPH09179989 A JP H09179989A JP 7339329 A JP7339329 A JP 7339329A JP 33932995 A JP33932995 A JP 33932995A JP H09179989 A JPH09179989 A JP H09179989A
- Authority
- JP
- Japan
- Prior art keywords
- road
- camera
- image
- picture
- ground
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
【0001】[0001]
【発明の属する技術分野】本発明は車両用道路認識装
置、より具体的には道路位置認識の推定信頼度を高める
技術に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a vehicle road recognition device, and more particularly to a technique for improving the estimation reliability of road position recognition.
【0002】[0002]
【従来の技術】従来の車両用道路認識装置の従来技術と
して、例えば特開平4−106700号公報に開示され
ている「車両用道路認識装置」が、又他の従来技術とし
て特開平7−124688号公報に開示されている「車
両用走行車線認識装置及び車両用障害物検出装置・道路
逸脱報知装置」等が知られている。2. Description of the Related Art As a conventional technique for a conventional vehicle road recognition device, for example, a "vehicle road recognition device" disclosed in Japanese Patent Application Laid-Open No. 4-106700, and as another conventional technique, Japanese Patent Application Laid-Open No. 7-124688. "Vehicle traveling lane recognition device, vehicle obstacle detection device, road deviation notification device" and the like disclosed in Japanese Patent Laid-Open Publication No. 2003-242242 are known.
【0003】[0003]
【発明が解決しようとする課題】しかしながら、道路の
白線を画素の輝度変化から検出することによって道路を
認識する特開平4−106700号公報に開示されてい
る技術では、側溝、かげなどのラインも道路上の白線と
見なし、道路位置を誤認識する可能性があった。一方、
特開平7−124688号公報に開示されている技術で
は、道路の波線を画素の輝度変化の周期性から検出し、
道路を認識するので、前記問題点は解消されるものの路
面の不整備等によりバウンス・ロール高さが変わる時に
画素の周期性がなくなり道路を見失うという問題点があ
った。However, in the technique disclosed in Japanese Patent Laid-Open No. 4-106700, which recognizes a road by detecting the white line of the road from the change in the brightness of pixels, lines such as gutters and shades are also formed. It was considered as a white line on the road, and there was a possibility of misrecognizing the road position. on the other hand,
In the technique disclosed in Japanese Patent Laid-Open No. 7-124688, the wavy line of a road is detected from the periodicity of the luminance change of pixels,
Since the road is recognized, the above problem is solved, but when the bounce / roll height changes due to poor road surface or the like, the periodicity of pixels disappears and the road is lost.
【0004】本発明は、このような従来の問題点に着目
してなされたもので、バウンス・ロール、高さが変わる
過渡状態でも、画像中における地面の位置を一定に保つ
画像を構成し、その画像の画素の周期性から道路の波線
を検出することによって、道路位置認識の信頼性の向上
を実現する車両用道路認識装置を提供することを目的と
している。The present invention has been made by paying attention to such a conventional problem, and forms an image for keeping the position of the ground constant in the image even in a transient state where the bounce roll and height change. An object of the present invention is to provide a vehicular road recognition device that realizes improvement in reliability of road position recognition by detecting a wavy line of a road from the periodicity of pixels of the image.
【0005】[0005]
【課題を解決するための手段】本発明は上述の課題を解
決するために、車両前方の画像をとり込む画像入力部
と、地面に対するカメラの姿勢を算出するカメラ姿勢算
出部と、姿勢が変わっても画像中における地面の位置を
一定に保つ画像変換部と、画素の周期性から道路の波線
を認識する周期成分検出部と、道路の波線の画像中の位
置から道路位置を計算する道路位置計算部とを有する。In order to solve the above-mentioned problems, the present invention changes an attitude by an image input section for capturing an image in front of a vehicle, a camera attitude calculation section for calculating the attitude of the camera with respect to the ground. Even the image conversion unit that keeps the ground position in the image constant, the periodic component detection unit that recognizes the wavy line of the road from the periodicity of the pixels, and the road position that calculates the road position from the position of the road wavy line in the image And a calculation unit.
【0006】[0006]
【発明の実施の形態】以下、添付の図面を参照し、本発
明による車両用道路認識装置の実施の形態を詳細に説明
する。BEST MODE FOR CARRYING OUT THE INVENTION Embodiments of a vehicle road recognition device according to the present invention will be described in detail below with reference to the accompanying drawings.
【0007】〔第1の実施の形態〕図1は、本発明によ
る車両用道路認識装置の第1の実施の形態を示す機能ブ
ロック図である。[First Embodiment] FIG. 1 is a functional block diagram showing a first embodiment of a vehicle road recognition apparatus according to the present invention.
【0008】第1の実施の形態における車両用道路認識
装置は、道路の画像情報をとり込む画像入力装置1(カ
メラを含む)と、このカメラの姿勢を知るためのロール
レイトセンサ、ピッチレイトセンサおよびハイトセンサ
とにより構成されているセンサ部2と、画像中の地面の
位置を一定に保つ画像変換部3と、画像変換部3の画像
情報から周期性のある部分を検知する周期成分抽出部4
と、周期成分抽出部4で得られた部分の位置から道路位
置を算出する道路位置算出部5から成る。The vehicle road recognition apparatus according to the first embodiment is an image input apparatus 1 (including a camera) that takes in image information of a road, a roll rate sensor and a pitch rate sensor for knowing the attitude of the camera. And a height sensor, an image conversion unit 3 that keeps the ground position in the image constant, and a periodic component extraction unit that detects a periodic portion from the image information of the image conversion unit 3. Four
And a road position calculation unit 5 that calculates a road position from the position of the portion obtained by the periodic component extraction unit 4.
【0009】次に図1に示した車両用道路認識装置の作
用を説明する。Next, the operation of the vehicle road recognition device shown in FIG. 1 will be described.
【0010】図2は第1の実施の形態における動作フロ
ーである。この実施の形態の車両道路認識装置では、ま
ず道路画像のとり込みを行ない(S101)、ピッチレ
ート、ロールレイトおよび高さのデータを採取する(S
103)。次に、これらデータを基に仮想画像計算を行
ない(S105)、周期成分を抽出し(S107)、道
路位置の算出を行なう(S109)。FIG. 2 is an operation flow in the first embodiment. In the vehicle road recognition apparatus of this embodiment, first, a road image is captured (S101), and pitch rate, roll rate, and height data are collected (S).
103). Next, virtual image calculation is performed based on these data (S105), periodic components are extracted (S107), and road position is calculated (S109).
【0011】カメラのロール・ピッチ角、高さが決まれ
ば、画像と地面の座標(カメラ固定座標)には一対一の
関係がある。よって、カメラの姿勢が変わってもこのと
きの値がわかっていれば、元の姿勢でとらえた地面の画
像を構成することが可能である。If the roll pitch angle and height of the camera are determined, there is a one-to-one relationship between the coordinates of the image and the ground (fixed camera coordinates). Therefore, even if the posture of the camera changes, if the value at this time is known, it is possible to construct an image of the ground captured in the original posture.
【0012】図3はカメラ姿勢による道路画像の変化を
説明するためのグラフである。FIG. 3 is a graph for explaining the change of the road image depending on the camera posture.
【0013】図3において、dは画像の大きさを表すパ
ラメータを、pはピッチ角を、hはカメラ高さを、それ
ぞれ示している。In FIG. 3, d is a parameter representing the size of the image, p is the pitch angle, and h is the camera height.
【0014】まずピッチのみを考える。画像左をX′
軸、上をY′軸とすると、 X′軸(1,0,0,) Y′軸(0, cosp, sinp) Z′軸(0,-sinp, cosp) 原点は(0,h−d sinp,d cosp) となる。First, consider only the pitch. Image left is X '
Assuming that the axis is Y'axis, the X'axis (1, 0, 0,) Y'axis (0, cosp, sinp) Z'axis (0, -sinp, cosp) The origin is (0, hd sinp, d cosp).
【0015】画像固定座標系と地面固定座標系の関係
は、 x′(1,0,0,)+y′(0, cosp, sinp) +z′(0,-sinp, cosp)+(0,h−d sinp,d cosp) =(x,y,z) …式(1) となる。The relationship between the image fixed coordinate system and the ground fixed coordinate system is as follows: x '(1,0,0,) + y' (0, cosp, sinp) + z '(0, -sinp, cosp) + (0, h -D sinp, d cosp) = (x, y, z) Equation (1) is obtained.
【0016】次に図4を用いてロールを加えて考える
と、 X″= ( cosr, sinr) Y″= (-sinr, cosr) となる。Next, considering a roll by using FIG. 4, X ″ = (cosr, sinr) Y ″ = (-sinr, cosr).
【0017】(x″,y″)と(x′,y′)の関係
は、 x″( cosr, sinr)+y″(-sinr, cosr)=(x′,y′) …式(2) となる。The relationship between (x ", y") and (x ', y') is as follows: x "(cosr, sinr) + y" (-sinr, cosr) = (x ', y') (2) Becomes
【0018】画像上の点K(x,y,z)と地面投影点
L(x0 ,0,z0 )の関係は、 (x−x0)/(0−x0)=(y−0)/(h−0) =(z−z0)/(0−z0) …式(3) となる。The relationship between the point K (x, y, z) on the image and the ground projection point L (x 0 , 0, z 0 ) is (x−x 0 ) / (0−x 0 ) = (y− 0) / (h-0) = (z−z 0 ) / (0−z 0 ) ... Equation (3).
【0019】式(1),(2),(3)より、地面投影
点(x0 ,0,z0 )は画像(x″,y″)に変換され
る。From the equations (1), (2) and (3), the ground projection point (x 0 , 0, z 0 ) is converted into the image (x ″, y ″).
【0020】なお、実際上、カメラの高さは略一定であ
ることが多いので、その変化分を無視してもよい。又、
地面以外のものも地面にはりついたものと誤認識する
が、利用しないので問題とならない。In practice, since the height of the camera is often substantially constant, the change may be ignored. or,
Objects other than the ground are erroneously recognized as clinging to the ground, but there is no problem because they are not used.
【0021】ロール・ピッチレイトセンサ、ハイトセン
サによりカメラのロール・ピッチ角、高さ変化を計算
し、それらが一定な仮想のカメラからとらえた画像を構
成する。The roll / pitch rate sensor and the height sensor calculate the roll / pitch angle and height change of the camera to construct an image captured by a virtual camera.
【0022】道路形状が一定であるならば、道路の波線
は同じ位置の画素に入ることになり、画素の輝度変化に
周期性が生ずる。それにより波線が検出されることにな
り、結果としてロール・ピッチ角と高さが変わっても道
路位置検出が可能となる。If the road shape is constant, the wavy line of the road will enter the pixel at the same position, and the brightness change of the pixel will have periodicity. As a result, the wavy line is detected, and as a result, the road position can be detected even if the roll pitch angle and the height change.
【0023】なお、道路の波線の間隔、及び車速がわか
っているとその周期も限定することができ、信頼性を向
上させることができる。If the distance between the wavy lines on the road and the vehicle speed are known, the period can be limited and the reliability can be improved.
【0024】車速v、波線1周期長さlの場合、l/v
が周期となる。If the vehicle speed is v and the length of one cycle of the wavy line is 1, then 1 / v
Is the cycle.
【0025】〔第2の実施の形態〕図5は本発明による
車両用道路認識装置の第2の実施の形態を示す機能ブロ
ック図である。[Second Embodiment] FIG. 5 is a functional block diagram showing a second embodiment of the vehicle road recognition apparatus according to the present invention.
【0026】本実施の形態において、第1の実施の形態
と異なる点は、センサ部2の代わりにロール・ピッチ
角、高さの変化を推定する推定部6を設けた点にある。
よって、第1の実施の形態に対する利点はそれらのセン
サを用いないことにある。The present embodiment differs from the first embodiment in that the sensor section 2 is replaced by an estimation section 6 for estimating changes in roll pitch angle and height.
Therefore, the advantage over the first embodiment is that these sensors are not used.
【0027】以下、推定方法を図6のフローチャートを
用いて説明する。The estimation method will be described below with reference to the flowchart of FIG.
【0028】従来例の特開平4−106700号公報に
開示されている技術を用いて地面上のラインを3本検出
する(例えば、白線2本、水平線1本というよう
に。)。道路位置の認識には用いていない点が大きな違
いである。そのため、側溝やかげが作るラインでも良
い。道路位置計算には用いないので従来の問題点が回避
される。Three lines on the ground are detected by using the technique disclosed in Japanese Patent Laid-Open No. 4-106700 as a conventional example (for example, two white lines and one horizontal line). The major difference is that it is not used to recognize the road position. Therefore, a line created by a gutter or a shadow may be used. Since it is not used for road position calculation, the conventional problems can be avoided.
【0029】図6において、まず、ある瞬間の画像を基
準画像として取り込み(S201)、前述の3本のライ
ンを記憶する。次に、現在の画像に対してもそれらのラ
インを検出し(S203)、基準画像と比較する。そし
て、ピッチ角、ロール角および高さを推定し(S20
5)、仮想画像計算を行ない(S207)、周期成分を
抽出し(S209)、道路位置の計算を行なう(S21
1)。In FIG. 6, first, an image at a certain moment is taken in as a reference image (S201), and the above three lines are stored. Next, those lines are detected also in the current image (S203) and compared with the reference image. Then, the pitch angle, roll angle, and height are estimated (S20
5) The virtual image is calculated (S207), the periodic component is extracted (S209), and the road position is calculated (S21).
1).
【0030】3本のラインの画像上の移動を説明できる
ロール・ピッチ角、高さ変化は1つしかなく、第1の実
施の形態で説明したように解くことができる。これによ
りそれらの変化を推定する。There is only one roll-pitch angle and height change that can explain the movement of the three lines on the image, and it can be solved as described in the first embodiment. This estimates those changes.
【0031】なお、高さ違いを無視すれば、地面上2本
のラインでロール・ピッチ角変化を推定できることにな
る。If the difference in height is ignored, the roll / pitch angle change can be estimated with two lines on the ground.
【0032】[0032]
【発明の効果】以上詳細に説明してきたように、本発明
によれば、ヨー角・ロール角、高さが一定な、仮想のカ
メラからとらえた画像を計算し、その画像上で道路の波
線を検出するようにしたため、道路位置検出の信頼性が
向上できるという効果が得られる。As described above in detail, according to the present invention, an image captured from a virtual camera having a constant yaw angle / roll angle and a constant height is calculated, and a wavy line of a road is calculated on the image. Is detected, there is an effect that the reliability of road position detection can be improved.
【図1】本発明における車両用道路認識装置の第1の実
施の形態を示す機能ブロック図である。FIG. 1 is a functional block diagram showing a first embodiment of a vehicle road recognition device according to the present invention.
【図2】本発明における第1の実施の形態の動作を表す
フローチャートである。FIG. 2 is a flowchart showing an operation of the first exemplary embodiment of the present invention.
【図3】本発明におけるカメラ姿勢による道路画像の変
化を説明するためのグラフである。FIG. 3 is a graph for explaining a change in a road image depending on a camera posture according to the present invention.
【図4】本発明におけるカメラ姿勢による道路画像の変
化をロールを加えて説明したグラフである。FIG. 4 is a graph illustrating a change in a road image depending on a camera posture according to the present invention, with rolls added.
【図5】本発明における車両用道路認識装置の第2の実
施の形態を示す機能ブロック図である。FIG. 5 is a functional block diagram showing a second embodiment of the vehicle road recognition device according to the present invention.
【図6】本発明における第2の実施の形態の推定方法を
示すフローチャートである。FIG. 6 is a flowchart showing an estimation method according to the second embodiment of the present invention.
1 画像入力装置 2 センサ部 3 画像変換部 4 周期成分抽出部 5 道路位置算出部 6 推定部 1 image input device 2 sensor unit 3 image conversion unit 4 periodic component extraction unit 5 road position calculation unit 6 estimation unit
Claims (3)
と、 地面に対するカメラの姿勢を算出するカメラ姿勢算出部
と、 姿勢が変わっても画像中における地面の位置を一定に保
つ画像変換部と、 画素の周期性から道路の波線を認識する周期成分検出部
と、 道路の波線の画像中の位置から道路位置を計算する道路
位置計算部とを有することを特徴とする車両用道路認識
装置。1. An image input unit that captures an image in front of the vehicle, a camera posture calculation unit that calculates the posture of the camera with respect to the ground, and an image conversion unit that keeps the ground position in the image constant even if the posture changes. A vehicle road recognition device comprising: a periodic component detection unit that recognizes a road wave line from pixel periodicity; and a road position calculation unit that calculates a road position from the position of the road wave line in an image.
メラのロールレイト、ピッチレイト、ハイトセンサの情
報によりカメラ姿勢を算出することを特徴とする車両用
道路認識装置。2. The vehicle road recognition device according to claim 1, wherein the camera attitude is calculated based on information from a camera roll rate, pitch rate, and height sensor.
面のラインの移動によりカメラ姿勢を算出することを特
徴とする車両用道路認識装置。3. The vehicle road recognition device according to claim 2, wherein the camera posture is calculated by moving a line on the ground.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP7339329A JPH09179989A (en) | 1995-12-26 | 1995-12-26 | Road recognition device for vehicle |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP7339329A JPH09179989A (en) | 1995-12-26 | 1995-12-26 | Road recognition device for vehicle |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH09179989A true JPH09179989A (en) | 1997-07-11 |
Family
ID=18326427
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP7339329A Pending JPH09179989A (en) | 1995-12-26 | 1995-12-26 | Road recognition device for vehicle |
Country Status (1)
Country | Link |
---|---|
JP (1) | JPH09179989A (en) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006514382A (en) * | 2003-08-18 | 2006-04-27 | フィコ ミロールス,エセ ア | System and method for monitoring the external environment of a vehicle |
JP2017037401A (en) * | 2015-08-07 | 2017-02-16 | 株式会社デンソー | Travel environment recognition device |
WO2020110435A1 (en) * | 2018-11-29 | 2020-06-04 | 日立オートモティブシステムズ株式会社 | External environment recognition device |
CN113240595A (en) * | 2021-05-06 | 2021-08-10 | 腾讯科技(深圳)有限公司 | Image detection method, image detection device, storage medium and computer equipment |
-
1995
- 1995-12-26 JP JP7339329A patent/JPH09179989A/en active Pending
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006514382A (en) * | 2003-08-18 | 2006-04-27 | フィコ ミロールス,エセ ア | System and method for monitoring the external environment of a vehicle |
JP2017037401A (en) * | 2015-08-07 | 2017-02-16 | 株式会社デンソー | Travel environment recognition device |
WO2020110435A1 (en) * | 2018-11-29 | 2020-06-04 | 日立オートモティブシステムズ株式会社 | External environment recognition device |
JP2020087176A (en) * | 2018-11-29 | 2020-06-04 | 日立オートモティブシステムズ株式会社 | Outside recognition system |
CN113240595A (en) * | 2021-05-06 | 2021-08-10 | 腾讯科技(深圳)有限公司 | Image detection method, image detection device, storage medium and computer equipment |
CN113240595B (en) * | 2021-05-06 | 2023-09-08 | 腾讯科技(深圳)有限公司 | Image detection method, device, storage medium and computer equipment |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4856612B2 (en) | Object detection device | |
US8005266B2 (en) | Vehicle surroundings monitoring apparatus | |
JP3630100B2 (en) | Lane detection device | |
JP4654163B2 (en) | Vehicle surrounding environment recognition device and system | |
JP4584120B2 (en) | Road marking line detection device, road marking line detection method, road marking line detection program | |
WO2007111220A1 (en) | Road division line detector | |
US8094884B2 (en) | Apparatus and method for detecting object | |
JPH10512694A (en) | Method and apparatus for detecting movement of an object in a continuous image | |
JP2006268097A (en) | On-vehicle object detecting device, and object detecting method | |
JP2002197444A (en) | Run lane recognition device for vehicle | |
JP2002163661A (en) | Device for detecting white line | |
WO2019156072A1 (en) | Attitude estimating device | |
JP2009252198A (en) | Travel environment presuming device, method and program, and traffic lane deviation alarm device and steering assisting apparatus | |
JP2003162798A (en) | Device and program for monitoring obstacle | |
JP2010061375A (en) | Apparatus and program for recognizing object | |
JP3812384B2 (en) | Leading vehicle recognition device | |
JP3911983B2 (en) | Rear monitoring device | |
JP2012252501A (en) | Traveling path recognition device and traveling path recognition program | |
JP2018148345A (en) | On-vehicle camera system, adhered matter detecting apparatus, adhered matter removing method, and adhered matter detecting program | |
JP2010003253A (en) | Motion estimation device | |
JPH09179989A (en) | Road recognition device for vehicle | |
JP4321410B2 (en) | Object detection apparatus and method | |
JP4070450B2 (en) | Forward vehicle recognition device and recognition method | |
JP2006018339A (en) | License plate recognition device and method | |
JPH08320998A (en) | Lane marker detector |