KR102445017B1 - Road Curvature and Slope Estimation Method using Width Information of a Front Lane - Google Patents
Road Curvature and Slope Estimation Method using Width Information of a Front Lane Download PDFInfo
- Publication number
- KR102445017B1 KR102445017B1 KR1020210116136A KR20210116136A KR102445017B1 KR 102445017 B1 KR102445017 B1 KR 102445017B1 KR 1020210116136 A KR1020210116136 A KR 1020210116136A KR 20210116136 A KR20210116136 A KR 20210116136A KR 102445017 B1 KR102445017 B1 KR 102445017B1
- Authority
- KR
- South Korea
- Prior art keywords
- road
- information
- inclination
- lane
- image
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 23
- 238000000605 extraction Methods 0.000 claims description 2
- 239000000284 extract Substances 0.000 abstract description 2
- 241001300198 Caperonia palustris Species 0.000 description 6
- 235000000384 Veronica chamaedrys Nutrition 0.000 description 6
- 238000010586 diagram Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000000725 suspension Substances 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
- B60W40/06—Road conditions
- B60W40/076—Slope angle of the road
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
- B60W40/06—Road conditions
- B60W40/072—Curvature of the road
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B60W2420/42—
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2552/00—Input parameters relating to infrastructure
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2552/00—Input parameters relating to infrastructure
- B60W2552/15—Road slope, i.e. the inclination of a road segment in the longitudinal direction
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Mathematical Physics (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Traffic Control Systems (AREA)
- Navigation (AREA)
Abstract
전방 차선의 너비 정보를 이용한 도로의 곡률 및 기울어짐 추정 방법이 제공된다. 본 발명의 실시예에 따른 도로 정보 추정 방법은, 도로 영상을 획득하고, 획득한 도로 영상에서 차선을 추출하며, 추출된 차선을 너비 정보를 이용하여 도로 정보를 추정한다. 이에 의해, 주행 중에 전방에 존재하는 차선 간 너비정보를 이용하여 차량과 도로의 자세 변화를 추정할 수 있고, 이를 기반으로 능동 새시 제어에 활용하여 차량의 안정성 및 승차감을 확보할 수 있게 된다.A method for estimating curvature and inclination of a road using information on the width of a front lane is provided. The method for estimating road information according to an embodiment of the present invention obtains a road image, extracts a lane from the acquired road image, and estimates road information using the extracted lane width information. Accordingly, it is possible to estimate the change in the attitude of the vehicle and the road by using the width information between the lanes existing in front while driving, and based on this, it is possible to secure the stability and ride comfort of the vehicle by using it for active chassis control.
Description
본 발명은 도로의 곡률 및 기울어짐 추정 기술에 관한 것으로, 더욱 상세하게는 카메라를 이용하여 원거리에 존재하는 도로의 곡률 및 기울어짐을 추정하는 방법에 관한 것이다.The present invention relates to a technology for estimating the curvature and inclination of a road, and more particularly, to a method of estimating the curvature and inclination of a road existing at a distance using a camera.
최근 고급사양의 차량이 증가함에 따라, 승차감과 운전 편의성, 주행 안정성을 확보하기 위한 시스템 장치가 증가하는 추세에 있다.Recently, as the number of high-end vehicles increases, the number of system devices for securing ride comfort, driving convenience, and driving stability tends to increase.
이는, 차량이 현재 주행 중인 차선의 정보 뿐 아니라 차량이 주행할 원거리의 차선정보를 추정하여 차선의 곡률 및 도로의 기울기를 미리 예측하여 샤시 제어에 활용하여 주행 안정성 및 승차감을 높이는 기술을 필요로 한다.This requires a technology to increase driving stability and ride comfort by estimating not only information on the lane in which the vehicle is currently driving but also information on the long-distance lane in which the vehicle will travel, predicting the curvature of the lane and the slope of the road in advance, and using it for chassis control. .
기존의 방식은 차선 정보를 추출할 때 원거리에 있는 도로의 기울기 변화 혹은 주행 중인 차량의 차체의 자세 변화로 인한 영향을 반영하지 않고, 차선을 2차원 평면에 있다는 가정을 하여, 차량의 샤시 제어에 효율적인 정보를 제공해주지 못하고 있다.When extracting lane information, the existing method does not reflect the effects of changes in the inclination of the road at a distance or changes in the attitude of the vehicle body in motion, but assumes that the lanes are on a two-dimensional plane, and is used to control the chassis of the vehicle. It does not provide effective information.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 능동 샤시 제어에 의한 편의성과 안정성 확보를 위한 방안으로, 계산량이 적으면서도 전방 수십 미터의 도로에 대하여 기울기와 곡률을 미리 예측할 수 있는 방법을 제공함에 있다.The present invention has been devised to solve the above problems, and an object of the present invention is to provide a method for securing convenience and stability through active chassis control. To provide a way to predict in advance.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 도로 정보 추정 방법은, 도로 영상을 획득하는 단계; 획득한 도로 영상에서 차선을 추출하는 단계; 추출된 차선을 너비 정보를 이용하여, 도로 정보를 추정하는 단계;를 포함한다.According to an embodiment of the present invention for achieving the above object, a method for estimating road information includes: acquiring a road image; extracting a lane from the acquired road image; and estimating road information by using the extracted lane width information.
그리고, 획득 단계는, 카메라를 이용하여 전방 영상을 생성하는 단계; 전방 영상을 위에서 아래로 내려다본 영상으로 변환하는 단계:를 포함하고, 추출 단계는, 변환된 영상에서 차선을 추출할 수 있다.And, the acquiring step, generating a front image using a camera; Converting the front image into an image viewed from top to bottom, wherein the extraction step may extract a lane from the converted image.
또한, 도로 정보는, 도로의 기울어짐 정보를 포함할 수 있다.In addition, the road information may include information on the inclination of the road.
그리고, 도로 정보는, 도로의 경사 정보 및 기울어짐 정보를 포함할 수 있다.In addition, the road information may include slope information and inclination information of the road.
또한, 추정 단계는, 차선의 너비의 변화를 이용하여, 도로의 경사 정보 및 기울어짐 정보를 추정할 수 있다.Also, in the estimating step, the slope information and the slope information of the road may be estimated by using the change in the width of the lane.
그리고, 추정 단계는, 차량의 움직임 정보르 더 이용하여, 도로의 경사 정보 및 기울어짐 정보를 추정할 수 있다.And, in the estimating step, the inclination information and the inclination information of the road may be estimated by further using the vehicle motion information.
또한, 차량의 움직임 정보는, 차량에 탑재된 IMU(Inertial Measurement Unit)를 이용하여 생성할 수 있다.In addition, the vehicle motion information may be generated using an Inertial Measurement Unit (IMU) mounted on the vehicle.
한편, 본 발명의 다른 실시예에 따른, 도로 정보추정 시스템은, 도로 영상을 획득하는 카메라; 획득한 도로 영상에서 차선을 추출하고, 추출된 차선을 너비 정보를 이용하여 도로 정보를 추정하는 프로세서;를 포함한다.On the other hand, according to another embodiment of the present invention, a system for estimating road information includes: a camera for acquiring a road image; and a processor for extracting a lane from the obtained road image, and estimating road information using the extracted lane width information.
이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, 주행 중에 전방에 존재하는 차선 간 너비정보를 이용하여 차량과 도로의 자세 변화를 추정할 수 있고, 이를 기반으로 능동 새시 제어에 활용하여 차량의 안정성 및 승차감을 확보할 수 있다.As described above, according to the embodiments of the present invention, it is possible to estimate the change in the attitude of the vehicle and the road using the width information between the lanes existing in front while driving, and based on this, it is possible to estimate the change in the attitude of the vehicle and the vehicle by using it for active chassis control. Stability and riding comfort can be secured.
또한, 본 발명의 실시예들에 따르면, 차량을 기준으로 좌, 우 차선의 너비만을 이용하는 것이 아닌 전방의 모든 차선 간 너비 정보를 이용하기 때문에, 차선변화(분기, 합류)에 대해 강인하게 동작하므로, 차량 주행 안전 보조기술 및 자율 주행 기술의 성능을 증대시킬 수 있게 된다.In addition, according to embodiments of the present invention, since width information between all lanes in front is used instead of using only the widths of the left and right lanes based on the vehicle, it operates robustly against lane changes (divergence, merging). , it is possible to increase the performance of vehicle driving safety assist technology and autonomous driving technology.
도 1은 카메라를 이용한 차선 곡률 감지 시스템 개요,
도 2는 본 발명의 일 실시예에 따른 도로 곡률/기울어짐 추정 방법의 설명에 제공되는 순서도,
도 3은 입력 이미지와 흑백 이미지 변환,
도 4는 Bird eye view,
도 5는 정해진 법칙으로 bird eye view를 구성하는 경우 lane 위치에 오차가 발생하는 경우를 예시한 도면,
도 6은 차량과 노면간 상대 자세 변화가 없는 경우를 예시한 도면,
도 7은 차량이 앞쪽으로 기울어진 경우를 예시한 도면,
도 8은 차량이 뒤쪽으로 기울어진 경우를 예시한 도면,
도 9는 정상적인 경우, 오르막길, 내리막길을 예시한 도면, 그리고,
도 10은 본 발명의 일 실시예에 따른 도로 곡률/기울어짐 추정 시스템의 블럭도이다.1 is an overview of a lane curvature detection system using a camera;
2 is a flowchart provided for the description of a road curvature/slope estimation method according to an embodiment of the present invention;
3 is an input image and a black and white image conversion,
4 is a Bird eye view,
5 is a diagram illustrating a case in which an error occurs in a lane position when configuring a bird eye view according to a predetermined rule;
6 is a view illustrating a case in which there is no change in the relative posture between the vehicle and the road surface;
7 is a view illustrating a case in which the vehicle is tilted forward;
8 is a view illustrating a case in which the vehicle is tilted backward;
9 is a view illustrating an uphill road and a downhill road in a normal case, and,
10 is a block diagram of a road curvature/slope estimation system according to an embodiment of the present invention.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.Hereinafter, the present invention will be described in more detail with reference to the drawings.
본 발명의 일 실시예에서는, 전방 차선의 너비 정보를 이용한 도로의 곡률 및 기울어짐 추정 방법을 제시한다.According to an embodiment of the present invention, a method for estimating curvature and inclination of a road using width information of a front lane is provided.
본 발명의 실시예에 따른 도로의 곡률/기울어짐 추정 방법은, 카메라를 이용하여 원거리(30~100m)에 존재하는 차선의 3차원 좌표 및 곡률을 검출하고, 검출된 곡률 정보를 기반으로 하여 도로의 기울어짐 정도를 추정하여, 차량 서스펜션, 스티어링의 제어에 활용할 수 있도록 한다.The method for estimating curvature/inclination of a road according to an embodiment of the present invention uses a camera to detect three-dimensional coordinates and curvature of a lane existing at a long distance (30 to 100 m), and based on the detected curvature information, the road By estimating the degree of inclination, it can be used to control vehicle suspension and steering.
본 발명의 실시예에 따른 도로의 곡률/기울어짐 추정 방법은, 계산량이 적으면서도 전방 수십 미터의 도로에 대하여 기울기와 곡률을 미리 예측할 수 있도록 한다.The method for estimating curvature/inclination of a road according to an embodiment of the present invention enables the inclination and curvature of a road to be predicted in advance with respect to a road several tens of meters in front with a small amount of calculation.
차량에 장착되어 있는 카메라는 주행중에 지면을 향하는 각도와 위치가 변화하는데, 본 발명의 실시예에 따른 도로의 곡률/기울어짐 추정 방법은, 다른 센서의 도움 없이 카메라로 추출한 차선의 3차원 정보로부터 이를 보정하여 도로와 차량간 자세정보를 추정하여 이를 연속적으로 반영하여 차선 추정값을 보정하므로 정확도가 높다.The camera mounted on the vehicle changes the angle and position toward the ground while driving. The method for estimating the curvature/inclination of the road according to an embodiment of the present invention is based on the 3D information of the lane extracted by the camera without the help of other sensors. By correcting this, the attitude information between the road and the vehicle is estimated and the lane estimation value is corrected by continuously reflecting it, so the accuracy is high.
본 발명의 실시예에서는, 도 1에 도시된 바와 같이, 도로의 곡률 추정을 위해 단일 카메라를 사용하여 획득한 차량 전방의 이미지 정보를 이용한다. 도 2는 입력 이미지로부터 차선의 위치 및 곡률을 추정하기 위한 순서도이다.In the embodiment of the present invention, as shown in FIG. 1 , image information of the front of the vehicle obtained using a single camera is used for estimating the curvature of the road. 2 is a flowchart for estimating the position and curvature of a lane from an input image.
도 2에 도시된 바와 같이, 단일 카메라를 이용하여 전방 도로에 대한 사영된 이미지를 얻고, 사영된 이미지를 도로의 위에서 아래로 내려다본 view(bird eye view)로 이미지를 변환한 후, 변환된 이미지에서 에지를 검출하여 이미지를 black&white 이미지로 변환한다.As shown in FIG. 2 , a projected image of the road ahead is obtained using a single camera, the projected image is converted into a top-down view of the road (bird eye view), and then the converted image Converts the image to a black&white image by detecting an edge in
도 3에는 단일 카메라를 이용하여 획득한 전방 도로 이미지를 나타내었고, 도 4에는 이를 bird eye view로 변환한 후에 black&white로 변환한 이미지를 나타내었다.3 shows a front road image acquired using a single camera, and FIG. 4 shows an image converted to black & white after converting it to a bird eye view.
다음, 변환된 이미지에서 차선을 추출하고, 추출한 차선들을 분류한다.Next, lanes are extracted from the transformed image, and the extracted lanes are classified.
한편, 정해진 기법으로 bird eye view를 구성하는 경우에는, 도 5에 도시된 바와 같이 차선 위치에 오차가 발생할 수 있다. On the other hand, when the bird eye view is configured by a predetermined technique, an error may occur in the lane position as shown in FIG. 5 .
차량과 지면의 자세 정보 gamma를 추정 할 수 있으면, 아래 식으로부터 차선의 실제 거리 D를 추정할 수 있다.If the attitude information gamma of the vehicle and the ground can be estimated, the actual distance D of the lane can be estimated from the equation below.
여기서, alpha는 이미지 센서로부터 주어지며, beta는 이미지 센서에서 alpha가 주어지면 lookup table로부터 주어지는 값이다. H는 카메라의 탑재 높이이다.Here, alpha is given from the image sensor, and beta is a value given from the lookup table when alpha is given from the image sensor. H is the mount height of the camera.
차체가 아닌 지면의 기울기가 바뀌는 경우, gamma는 차량에 탑재된 각속도, 가속도 센서 정보로부터 얻어낼 수 없다. 이에 따라, 본 발명의 실시예에서는 차선들간의 너비 정보의 변화로부터 gamma를 추정한다.When the inclination of the ground rather than the vehicle body changes, gamma cannot be obtained from the angular velocity and acceleration sensor information mounted on the vehicle. Accordingly, in the embodiment of the present invention, gamma is estimated from a change in width information between lanes.
구체적으로, 본 발명의 실시예에서는 이미지 내에서 차량의 차선의 너비 w의 변화를 이용하여 지면의 오르막, 내리막, 좌우로 기울어짐 정보를 추정한다.Specifically, in the embodiment of the present invention, information on uphill, downhill, and left and right inclination of the ground is estimated by using the change in the width w of the vehicle lane in the image.
예를 들어, 차선의 너비 변화는 카메라와 지면의 높이 변화로부터 발생하는 것으로 다음과 같은 관계를 갖는다.For example, a change in the width of a lane is caused by a change in the height of the camera and the ground, and has the following relationship.
일반적인 경우 차선의 너비가 크게 변화하지 않으므로 이미지 내에서 차선의 윗부분과 아랫부분의 너비가 연속적으로 변하는 양을 추정하고 추정한 값들을 이용하여 Z의 기울기를 추정할 수 있다.In general, since the width of the lane does not change significantly, the amount of continuously changing the width of the upper and lower portions of the lane in the image can be estimated, and the slope of Z can be estimated using the estimated values.
w1은 아랫부분, w2는 윗부분의 너비(픽셀) 이라고 하면 다음과 같은 관계를 따른다.If w1 is the lower part and w2 is the upper width (pixels), the following relationship follows.
이때, 한 이미지 내에서 y 방향에 따른 Z 값은 추정할 수 없지만, 차량과 지면의 자세각도 gamma를 추정 할 수 있다. Z를 y에 대한 평면식으로 가정한다.In this case, the Z value along the y direction in one image cannot be estimated, but the attitude angle gamma between the vehicle and the ground can be estimated. Assume that Z is a planar expression with respect to y.
차선 검출 방법으로부터 한 차선과 다른 차선들 간의 y축에 대한 너비 w_k(y)는 알고 있다.From the lane detection method, the width w_k(y) on the y-axis between one lane and other lanes is known.
즉, 한 차선과 다른 차선과의 너비 w를 이용하면 평면 방정식의 계수 a, b를 구할 수 있음. 이때 gamma는 다음과 같이 산출할 수 있고, 이를 통해도로의 오르막/내리막/좌우 기울어짐 여부와 그 정도를 파악 할 수 있다.That is, by using the width w between one lane and another, the coefficients a and b of the plane equation can be obtained. At this time, gamma can be calculated as follows, and through this, it is possible to determine whether the road is uphill/downhill/left and right inclination and its degree.
그리고, 차량에 탑재된 IMU(Inertial Measurement Unit) 등을 이용하여, 차량의 자세가 변한 것인지, 지면의 높이 변화가 있는 것인지 판별할 수 있다.In addition, it is possible to determine whether the posture of the vehicle has changed or whether there is a change in the height of the ground by using an Inertial Measurement Unit (IMU) or the like mounted on the vehicle.
도 6에는, 차량과 노면간 상대 자세 변화가 없는 경우, 즉, 평지인 경우나 차량의 자세변화가 없는 경우를 나타내었다.6 shows a case in which there is no change in the relative posture between the vehicle and the road surface, that is, a case in which there is no change in the posture of the vehicle on a flat ground.
도 7에는 차량이 앞쪽으로 기울어진 경우(gamma < 0)를 나타내었는데, bird eye view에서 위쪽으로 갈수록 차선 간 너비가 길어지는 것을 확인할 수 있다.7 shows a case in which the vehicle is inclined forward (gamma < 0), it can be seen that the width between lanes increases as it goes upward in the bird eye view.
도 8에는 차량이 뒤쪽으로 기울어진 경우(gamma > 0)를 나타내었는데, 차선이 위로 갈수록 좁아지는 것을 확인할 수 있다.8 shows a case in which the vehicle is inclined backward (gamma > 0), and it can be seen that the lane becomes narrower as it goes up.
그리고, 도 9에는 정상적인 경우, 오르막길, 내리막길의 너비 관계를 통합하여 나타내었다.And, in FIG. 9 , the relationship between the width of the uphill road and the downhill road is integrated and shown in the normal case.
도 10은 본 발명의 다른 실시예에 따른 도로 곡률/기울어짐 추정 시스템의 블럭도이다.10 is a block diagram of a road curvature/slope estimation system according to another embodiment of the present invention.
본 발명의 실시예에 따른 도로 곡률/기울어짐 추정 시스템은, 도 10에 도시된 바와 같이, 카메라(110), IMU(120), 프로세서(130) 및 차량 네트워크 인터페이스(140)를 포함하여 구축된다.A road curvature/tilt estimation system according to an embodiment of the present invention is constructed including a
카메라(110)는 차량 전방 이미지를 생성하고, IMU(120)는 차량의 움직임 정보를 생성한다.The
프로세서(130)는 카메라(110)에서 생성한 이미지와 IMU(120)에서 생성한 움직임 정보를 이용하여, 전술한 방법에 따라 도로 곡률/기울어짐을 추정하고, 추정 결과를 차량 네트워크 인터페이스(140)를 통해 차량 측에 전달한다.The
지금까지, 전방 차선의 너비 정보를 이용한 도로의 곡률 및 기울어짐 추정 방법 및 시스템에 대해 바람직한 실시예를 들어 상세히 설명하였다.So far, a preferred embodiment has been described in detail for a method and system for estimating the curvature and inclination of a road using information on the width of the front lane.
위 실시예에서는, 원거리에 있는 차선의 곡률 정보를 선행 예측하여 차량의 새시 제어에 능동적으로 활용하기 위해, 도로의 3차원 곡률 정보를 정밀하게 추정하기 위해 추출된 차선정보를 이용하였다.In the above embodiment, the extracted lane information was used to accurately estimate the 3D curvature information of the road in order to proactively predict the curvature information of the long-distance lane and actively use it for chassis control of the vehicle.
위 실시예에 따르면, 주행 중에 전방에 존재하는 차선 간 너비정보를 이용 할 수 있으면 차량과 도로의 자세 변화를 추정할 수 있고, 위와 같은 정보를 기반으로 능동 새시 제어에 활용하여 차량의 안정성 및 승차감을 확보할 수 있다.According to the above embodiment, if the width information between the lanes in front is available while driving, the change in the attitude of the vehicle and the road can be estimated, and based on the above information, it is used for active chassis control to improve the stability and ride comfort of the vehicle. can be obtained
그리고, 차량을 기준으로 좌, 우 차선의 너비만을 이용하는 것이 아닌 전방의 모든 차선 간 너비 정보를 이용하기 때문에 차선변화(분기, 합류)에 대해 강인하게 동작하므로 차량 주행 안전 보조기술 및 자율 주행 기술의 성능을 증대시킬 수 있다.And, since it uses the width information between all lanes ahead rather than using only the width of the left and right lanes based on the vehicle, it operates robustly against lane changes (divergence and merging). performance can be increased.
한편, 본 실시예에 따른 장치와 방법의 기능을 수행하게 하는 컴퓨터 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체에도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다. 또한, 본 발명의 다양한 실시예에 따른 기술적 사상은 컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터로 읽을 수 있는 코드 형태로 구현될 수도 있다. 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터에 의해 읽을 수 있고 데이터를 저장할 수 있는 어떤 데이터 저장 장치이더라도 가능하다. 예를 들어, 컴퓨터로 읽을 수 있는 기록매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광디스크, 하드 디스크 드라이브, 등이 될 수 있음은 물론이다. 또한, 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터로 읽을 수 있는 코드 또는 프로그램은 컴퓨터간에 연결된 네트워크를 통해 전송될 수도 있다.On the other hand, it goes without saying that the technical idea of the present invention can also be applied to a computer-readable recording medium containing a computer program for performing the functions of the apparatus and method according to the present embodiment. In addition, the technical ideas according to various embodiments of the present invention may be implemented in the form of computer-readable codes recorded on a computer-readable recording medium. The computer-readable recording medium may be any data storage device readable by the computer and capable of storing data. For example, the computer-readable recording medium may be a ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical disk, hard disk drive, or the like. In addition, the computer-readable code or program stored in the computer-readable recording medium may be transmitted through a network connected between computers.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.In addition, although preferred embodiments of the present invention have been illustrated and described above, the present invention is not limited to the specific embodiments described above, and the technical field to which the present invention belongs without departing from the gist of the present invention as claimed in the claims In addition, various modifications may be made by those of ordinary skill in the art, and these modifications should not be individually understood from the technical spirit or perspective of the present invention.
110 : 카메라
120 : IMU
130 : 프로세서
140 : 차량 네트워크 인터페이스110: camera
120: IMU
130: processor
140: vehicle network interface
Claims (8)
획득한 도로 영상에서 차선을 추출하는 단계;
추출된 차선들 간의 너비 정보의 변화를 이용하여, 도로에 대한 평면식을 산출하는 단계; 및
산출된 도로에 대한 평면식으로부터, 도로의 기울어짐에 대한 3차원 정보를 추정하는 단계;를 포함하고,
산출 단계에서,
도로에 대한 평면식은 추출된 차선들 간의 너비 정보의 변화로부터 직접 산출되고,
추정 단계에서,
도로의 기울어짐에 대한 3차원 정보는 도로에 대한 평면식의 계수로부터 직접 추정되며,
도로에 대한 평면식은, 다음의 수학식이고,
여기서, Z는 도로에 대한 평면식이며, a와 b는 도로에 대한 평면식의 계수이고, y 축은 도로에 수직인 축이며,
a는, 다음의 관계식에 의해 계산되고,
여기서, w1, w2, w3, ..., wn은 도로 영상의 각기 다른 n개의 지점들에서 차선의 너비 정보들인 것을 특징으로 하는 도로 정보 추정 방법.
obtaining a road image;
extracting a lane from the acquired road image;
calculating a planar expression for a road by using a change in width information between the extracted lanes; and
Including; estimating three-dimensional information about the inclination of the road from the calculated planar expression for the road;
In the output stage,
The planar expression for the road is calculated directly from the change in width information between the extracted lanes,
In the estimation stage,
The three-dimensional information about the inclination of the road is directly estimated from the coefficients of the planar expression for the road,
The plane equation for the road is the following equation,
where Z is the plane equation for the road, a and b are the coefficients of the plane equation for the road, the y axis is the axis perpendicular to the road,
a is calculated by the following relation,
Here, w 1 , w 2 , w 3 , ..., w n are lane width information at n different points of the road image.
획득 단계는,
카메라를 이용하여 전방 영상을 생성하는 단계;
전방 영상을 위에서 아래로 내려다본 영상으로 변환하는 단계:를 포함하고,
추출 단계는,
변환된 영상에서 차선을 추출하는 것을 특징으로 하는 도로 정보 추정 방법.
The method according to claim 1,
The acquisition stage is
generating a front image using a camera;
Converting the front image to a top-down image, comprising:
The extraction step is
A method for estimating road information, characterized in that the lane is extracted from the converted image.
도로의 기울어짐에 대한 3차원 정보는,
도로의 오르막 경사 정도, 도로의 내르막 경사 정도, 도로의 좌우 기울어짐 정도에 대한 정보를 포함하는 것을 특징으로 하는 도로 정보 추정 방법.
The method according to claim 1,
The three-dimensional information about the inclination of the road is,
A method of estimating road information, comprising information on a degree of uphill slope of a road, a degree of downhill slope of the road, and a degree of left and right inclination of the road.
도로의 기울어짐에 대한 3차원 정보는, 다음의 수학식으로 계산하고,
여기서, γ는 도로의 기울어짐에 대한 3차원 정보인 것을 특징으로 하는 도로 정보 추정 방법.
The method according to claim 1,
The three-dimensional information about the inclination of the road is calculated by the following equation,
Here, γ is three-dimensional information on the inclination of the road.
추정 단계는,
차량의 움직임 정보를 더 이용하여, 도로의 기울어짐에 대한 3차원 정보를 추정하는 것을 특징으로 하는 도로 정보 추정 방법.
The method according to claim 1,
The estimation step is
A method for estimating road information, characterized in that the three-dimensional information on the inclination of the road is estimated by further using the vehicle motion information.
획득한 도로 영상에서 차선을 추출하고, 추출된 차선들 간의 너비 정보의 변화를 이용하여 도로에 대한 평면식을 산출하며, 산출된 도로에 대한 평면식으로부터 도로의 기울어짐에 대한 3차원 정보를 추정하는 프로세서;를 포함하고,
도로에 대한 평면식은,
추출된 차선들 간의 너비 정보의 변화로부터 직접 산출되고,
도로의 기울어짐에 대한 3차원 정보는,
도로에 대한 평면식의 계수로부터 직접 추정되며,
도로에 대한 평면식은, 다음의 수학식이고,
여기서, Z는 도로에 대한 평면식이며, a와 b는 도로에 대한 평면식의 계수이고, y 축은 도로에 수직인 축이며,
a는, 다음의 관계식에 의해 계산되고,
여기서, w1, w2, w3, ..., wn은 도로 영상의 각기 다른 n개의 지점들에서 차선의 너비 정보들인 것을 특징으로 하는 도로 정보 추정 시스템.
a camera for acquiring road images;
A lane is extracted from the obtained road image, a planar expression for the road is calculated using the change in width information between the extracted lanes, and 3D information about the inclination of the road is estimated from the calculated planar expression for the road. A processor that includes;
The plane equation for the road is,
It is calculated directly from the change in width information between the extracted lanes,
The three-dimensional information about the inclination of the road is,
Directly estimated from the coefficients of the planar equation for the road,
The plane equation for the road is the following equation,
where Z is the plane equation for the road, a and b are the coefficients of the plane equation for the road, the y axis is the axis perpendicular to the road,
a is calculated by the following relation,
Here, w 1 , w 2 , w 3 , ..., w n are lane width information at n different points of the road image.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210116136A KR102445017B1 (en) | 2018-09-28 | 2021-09-01 | Road Curvature and Slope Estimation Method using Width Information of a Front Lane |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180116217A KR20200037011A (en) | 2018-09-28 | 2018-09-28 | Road Curvature and Slope Estimation Method using Width Information of a Front Lane |
| KR1020210116136A KR102445017B1 (en) | 2018-09-28 | 2021-09-01 | Road Curvature and Slope Estimation Method using Width Information of a Front Lane |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180116217A Division KR20200037011A (en) | 2018-09-28 | 2018-09-28 | Road Curvature and Slope Estimation Method using Width Information of a Front Lane |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210111730A KR20210111730A (en) | 2021-09-13 |
| KR102445017B1 true KR102445017B1 (en) | 2022-09-21 |
Family
ID=70275596
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180116217A KR20200037011A (en) | 2018-09-28 | 2018-09-28 | Road Curvature and Slope Estimation Method using Width Information of a Front Lane |
| KR1020210116136A KR102445017B1 (en) | 2018-09-28 | 2021-09-01 | Road Curvature and Slope Estimation Method using Width Information of a Front Lane |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180116217A KR20200037011A (en) | 2018-09-28 | 2018-09-28 | Road Curvature and Slope Estimation Method using Width Information of a Front Lane |
Country Status (1)
| Country | Link |
|---|---|
| KR (2) | KR20200037011A (en) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2008089964A2 (en) | 2007-01-23 | 2008-07-31 | Valeo Schalter Und Sensoren Gmbh | Method and system for video-based road lane curvature measurement |
| JP2013147113A (en) * | 2012-01-18 | 2013-08-01 | Toyota Motor Corp | Road surface state detection device and suspension control device |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100418763B1 (en) * | 2000-12-28 | 2004-02-18 | 현대자동차주식회사 | A method for measuring road slope and a system for controling vehicle speed upon road slope measured thereby |
| KR101655553B1 (en) * | 2014-10-29 | 2016-09-08 | 현대자동차주식회사 | Driver assistance apparatus and method |
| KR102231560B1 (en) * | 2014-11-24 | 2021-03-24 | 현대엠엔소프트 주식회사 | Improve fuel economy method using Road gradient extraction by driving front image |
-
2018
- 2018-09-28 KR KR1020180116217A patent/KR20200037011A/en not_active IP Right Cessation
-
2021
- 2021-09-01 KR KR1020210116136A patent/KR102445017B1/en active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2008089964A2 (en) | 2007-01-23 | 2008-07-31 | Valeo Schalter Und Sensoren Gmbh | Method and system for video-based road lane curvature measurement |
| JP2013147113A (en) * | 2012-01-18 | 2013-08-01 | Toyota Motor Corp | Road surface state detection device and suspension control device |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20200037011A (en) | 2020-04-08 |
| KR20210111730A (en) | 2021-09-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102023297B1 (en) | Road Plane Output with Lateral Slope | |
| EP3517997A1 (en) | Method and system for detecting obstacles by autonomous vehicles in real-time | |
| JP6477882B2 (en) | Self-position estimation apparatus and self-position estimation method | |
| CA2987373C (en) | Position estimation device and position estimation method | |
| JP7278705B2 (en) | AUTONOMOUS ROUTE GENERATION METHOD AND DEVICE THEREOF | |
| US8233660B2 (en) | System and method for object motion detection based on multiple 3D warping and vehicle equipped with such system | |
| EP2348279B1 (en) | Road measurement device and method for measuring road | |
| JP5023186B2 (en) | Object motion detection system based on combination of 3D warping technique and proper object motion (POM) detection | |
| WO2018030010A1 (en) | Road surface estimation device, vehicle control device, road surface estimation method, and program | |
| CN111510704B (en) | Method for correcting camera dislocation and device using same | |
| CN106183979A (en) | A kind of method and apparatus vehicle reminded according to spacing | |
| JP7173471B2 (en) | 3D position estimation device and program | |
| JP2020126626A (en) | Method for providing robust object distance estimation based on camera by performing pitch calibration of camera more precisely with fusion of information acquired through camera and information acquired through v2v communication and device using the same | |
| US20200311967A1 (en) | Information processing device and computer-readable recording medium recording object information generation program | |
| KR102304851B1 (en) | Ecu, autonomous vehicle including the ecu, and method of recognizing near vehicle for the same | |
| KR102445017B1 (en) | Road Curvature and Slope Estimation Method using Width Information of a Front Lane | |
| KR102039801B1 (en) | Road Gradient Estimation Method and System based on Stereo Camera | |
| JP5760523B2 (en) | Runway estimation apparatus and program | |
| US11740103B2 (en) | Map creation device, map creation system, map creation method, and storage medium | |
| WO2020079309A1 (en) | Obstacle detection | |
| KR102441424B1 (en) | System and method for fusion recognition using active stick filter | |
| JP4847303B2 (en) | Obstacle detection method, obstacle detection program, and obstacle detection apparatus | |
| JP2021043486A (en) | Position estimating device | |
| JP2020019445A (en) | Vehicle travel control system | |
| JP5056436B2 (en) | 3D map generation apparatus and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A107 | Divisional application of patent | ||
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| X091 | Application refused [patent] | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) |