KR102174729B1 - Method and system for recognizing lane using landmark - Google Patents
Method and system for recognizing lane using landmark Download PDFInfo
- Publication number
- KR102174729B1 KR102174729B1 KR1020180152773A KR20180152773A KR102174729B1 KR 102174729 B1 KR102174729 B1 KR 102174729B1 KR 1020180152773 A KR1020180152773 A KR 1020180152773A KR 20180152773 A KR20180152773 A KR 20180152773A KR 102174729 B1 KR102174729 B1 KR 102174729B1
- Authority
- KR
- South Korea
- Prior art keywords
- lane
- image
- coordinates
- landmark
- camera
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 28
- 239000011159 matrix material Substances 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
Images
Classifications
-
- G06K9/00798—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/0031—Geometric image transformation in the plane of the image for topological mapping of a higher dimensional structure on a lower dimensional surface
-
- G06T3/06—
Abstract
복수의 차로들에서 차량의 주행 차로를 인식하는 방법은, 차량에 설치된 카메라로 촬영된 영상으로부터 서로 다른 종류의 시설물의 영상 좌표를 검출하고, 지도 데이터로부터 상기 시설물의 3차원 공간 좌표를 계산하고, 상기 3차원 공간 좌표를 영상에 투영하여 투영된 영상 좌표를 구하는 단계와, 상기 영상 좌표와 상기 투영된 영상 좌표 사이의 투영 에러(projection error)에 기초하여 상기 주행 차로를 인식하는 단계를 포함한다.A method of recognizing a driving lane of a vehicle in a plurality of lanes includes detecting image coordinates of different types of facilities from images captured by a camera installed in the vehicle, calculating 3D spatial coordinates of the facilities from map data, And obtaining projected image coordinates by projecting the 3D spatial coordinates onto an image, and recognizing the driving lane based on a projection error between the image coordinates and the projected image coordinates.
Description
본 발명의 개념에 따른 실시 예는 서로 다른 평면에 속한 이종의 복수의 시설물을 활용하여 주행 차로를 인식하는 방법에 관한 것이다.An embodiment according to the concept of the present invention relates to a method of recognizing a driving lane by using a plurality of different types of facilities belonging to different planes.
주행 환경에서 하나의 시설물을 활용하여 차량의 위치를 추정하는 방법은 삼각 측량법, 호모그라피(homography) 방법, PnP(perspective n points) 방법 등이 있다. Methods of estimating the location of a vehicle using a single facility in a driving environment include triangulation, homography, and PnP (perspective n points) methods.
삼각 측량법은 카메라의 높이와 시설물의 높이 또는 시설물의 크기와 같은 사전지식을 활용하여 측위하는 방법이고, 호모그라피 방법은 대부분의 측위에 활용될 수 있는 주요 시설물(차로 표시선, 표지판, 안전표지, 노면표시 등)은 평면이므로 영상 평면과 시설물 평면 간에 호모그라피 관계가 있음을 활용하여 측위하는 방법이고, PnP 방법은 상기의 사전 지식이나 가정이 필요없이 영상과 3차원 상의 n개의 대응점이 있을 때 카메라의 3차원 상의 위치와 방향을 추정하는 방법이다.The triangulation method is a method of positioning using prior knowledge such as the height of the camera and the height of the facility or the size of the facility, and the homography method is a method of positioning major facilities that can be used for most positioning (lanes, signs, safety signs, road surface Display, etc.) is a plane, so it is a method of positioning by taking advantage of the homography relationship between the image plane and the facility plane, and the PnP method is a method of positioning the camera when there are n correspondence points in the image and 3D without the need for prior knowledge or assumptions. It is a method of estimating the position and direction in 3D.
그러나 상기 하나의 시설물을 활용하여 차량의 위치를 추정하는 경우 3차원 복원 정보에 오류가 많이 존재한다.However, when estimating the location of a vehicle using the single facility, there are many errors in 3D restoration information.
등록특허공보 제10-1610502호는 카메라에서 촬상한 도로 이미지와 주행계로 측정한 주행거리를 이용하여 도로를 주행하면서 자신의 위치를 파악하는 도로주행 로봇의 자기위치 인식방법 발명이 개시되어 있다.Registered Patent Publication No. 10-1610502 discloses an invention of a method for recognizing a self-location of a road-driving robot, which detects its own location while traveling on a road using a road image captured by a camera and a mileage measured by an odometer.
상기 선행기술문헌은 주행계를 통해 이전 위치에서 이동위치까지 주행한 주행거리를 측정하고, 이동위치에서의 도로 이미지로부터 랜드마크 위치를 추출하고, 이전위치에서 주행거리만큼 이동했을 다수의 가상 위치를 발생시키고, 상기 이미지 상 랜드마크 위치의 정확도로 가중치를 구하여 가상 위치를 가중하여 다시 샘플링하는 구성이 개시되어 있다. The prior art document measures the driving distance traveled from the previous position to the moving position through an odometer, extracts the landmark position from the road image at the moving position, and identifies a number of virtual positions that would have moved by the driving distance from the previous position. A configuration is disclosed in which a virtual position is weighted and resampled by obtaining a weight with an accuracy of a landmark position on the image.
그러나, 상기 선행기술문헌은 1차적으로 주행계의 주행거리에 따라 가상 위치를 구하고 도로 이미지의 랜드마크로 위치의 정확도를 높임으로써 이미지 센싱의 큰 편차를 보완할 수 있는 장점이 있지만, 여전히 3차원 복원 정보에 오류가 많이 존재하는 문제점이 있다.However, the prior art document has the advantage of compensating for a large deviation in image sensing by primarily obtaining a virtual location according to the mileage of the odometer and increasing the accuracy of the location as a landmark of the road image, but still 3D restoration There is a problem that there are many errors in information.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 랜드마크를 활용한 주행차로 인식 방법은 서로 다른 평면에 속한 차로 표시선과 랜드마크를 함께 사용하여 주행차로를 인식하는 것을 목적으로 한다.The present invention was conceived to solve the above problems, and the method of recognizing a driving lane using a landmark of the present invention aims to recognize a driving lane by using lane marking lines and landmarks belonging to different planes together. do.
상기와 같은 목적을 달성하기 위한 본 발명의 복수의 차로들에서 차량의 주행 차로를 인식하는 방법은, 차량에 설치된 카메라로 촬영된 영상으로부터 서로 다른 종류의 시설물의 영상 좌표를 검출하고, 지도 데이터로부터 상기 시설물의 3차원 공간 좌표를 획득하고, 상기 3차원 공간 좌표를 영상에 투영하여 투영된 영상 좌표를 구하는 단계와, 상기 영상 좌표와 상기 투영된 영상 좌표 사이의 투영 에러(projection error)에 기초하여 상기 주행 차로를 인식하는 단계를 포함한다.A method of recognizing a driving lane of a vehicle in a plurality of lanes according to the present invention for achieving the above object, detects image coordinates of different types of facilities from an image photographed by a camera installed in the vehicle, and Obtaining 3D spatial coordinates of the facility, projecting the 3D spatial coordinates onto an image to obtain projected image coordinates, and based on a projection error between the image coordinates and the projected image coordinates And recognizing the driving lane.
상기 시설물은 서로 다른 평면에 속한다.The facilities belong to different planes.
상기 투영 에러는, 상기 영상좌표와 상기 투영된 영상 좌표 사이의 거리 오차를 의미한다.The projection error means a distance error between the image coordinate and the projected image coordinate.
상기 투영된 영상 좌표를 구하는 단계는, 상기 차량에 설치된 카메라로 촬영된 영상으로부터 랜드마크와 차선 끝점 각각의 영상 좌표를 검출하는 단계와, 상기 지도 데이터로부터 상기 랜드마크의 3차원 공간 좌표와 상기 복수의 차로들 각각의 차선 끝점들의 3차원 공간 좌표를 계산하는 단계와, 상기 랜드마크와 상기 차선 끝점들의 3차원 공간 좌표를 영상에 투영하여 상기 투영된 영상 좌표를 구하는 단계를 포함한다.The step of obtaining the projected image coordinates includes detecting image coordinates of each of the landmark and the lane end point from the image captured by the camera installed in the vehicle, and the three-dimensional spatial coordinates of the landmark from the map data and the plurality of And calculating the three-dimensional spatial coordinates of the end points of each lane of the lanes, and obtaining the projected image coordinates by projecting the three-dimensional spatial coordinates of the landmark and the lane end points onto an image.
상기 투영된 영상 좌표를 구하는 단계는, 상기 영상으로부터 검출된 차선 끝점이 지도상의 특정 차로에 존재할 때의 상기 카메라의 위치와 자세에 대한 정보를 계산하는 단계와, 상기 카메라의 위치와 자세에 대한 정보를 기준으로 상기 랜드마크와 상기 차선 끝점들의 3차원 공간 좌표를 영상에 투영하여 상기 투영된 영상 좌표를 구하는 단계를 포함한다.The step of obtaining the projected image coordinates includes calculating information on the position and posture of the camera when a lane end point detected from the image exists in a specific lane on the map, and information on the position and posture of the camera. And obtaining the projected image coordinates by projecting the 3D spatial coordinates of the landmark and the lane end points on the image based on.
상기 주행 차로를 인식하는 단계는, 상기 영상 좌표와 상기 투영된 영상 좌표 사이의 투영 에러가 최소가 되는 차로를 상기 주행 차로로서 선택한다.In the step of recognizing the driving lane, a lane in which a projection error between the image coordinate and the projected image coordinate is minimal is selected as the driving lane.
상기한 바와 같은 본 발명의 랜드마크를 활용한 주행차로 인식 방법은 차로 표시선과 랜드마크를 함께 사용하여 주행차로를 인식함으로써 정밀한 측위가 가능한 효과가 있다.The method for recognizing a driving lane using a landmark according to the present invention as described above has an effect of enabling precise positioning by recognizing a driving lane by using a lane marking line and a landmark together.
도 1은 본 발명의 실시 예에 따른 차로 인식 시스템을 나타낸다.
도 2는 이종의 시설물을 나타내는 도면이다.
도 3은 본 발명의 실시 예에 따른 차로 인식 시스템의 동작 방법을 설명하기 위한 플로우차트이다.1 shows a lane recognition system according to an embodiment of the present invention.
2 is a diagram showing different types of facilities.
3 is a flowchart illustrating a method of operating a lane recognition system according to an embodiment of the present invention.
이하에서는 본 발명에 따른 실시예 및 도면을 참조하여, 본 발명을 더욱 상술한다. Hereinafter, the present invention will be described in more detail with reference to embodiments and drawings according to the present invention.
도 1은 본 발명의 실시 예에 따른 차로 인식 시스템을 나타내고, 도 2는 이종의 시설물을 나타내는 도면이다.1 is a diagram illustrating a lane recognition system according to an embodiment of the present invention, and FIG. 2 is a diagram illustrating heterogeneous facilities.
도 1과 도 2를 참조하면, 본 발명의 차로 인식 시스템(200)은 복수의 차로들에서 차량의 주행 차로를 인식한다. 노면에 위치한 차로 표시선을 이용하여 주행 차로를 검출할 때, 다차로 도로의 경우 검출된 차로 표시선이 지도상의 몇 차로의 차로 표시선인지 알 수 없다. 1 and 2, the
따라서 본 발명의 차로 인식 시스템(200)은 도로 표지판과 같은 부수적인 랜드마크가 존재 할 경우, 상기 랜드마크를 이용하여, 검출된 차로 표시선이 지도상의 몇 차로의 차로 표시선인지 알아낼 수 있다. Accordingly, when an auxiliary landmark such as a road sign exists, the
즉, 본 발명의 차로 인식 시스템(200)은 서로 다른 평면에 속하는 서로 다른 시설물 특히, 노면에 위치한 차로 표시선과 노면에 수직한 면에 위치한 도로 표지판과 같은 랜드마크를 활용하여 차로를 인식하는 것이다. That is, the
차로 인식 시스템(200)은 차량에 설치된 카메라(100)로부터 획득된 영상을 전달받는다. 차로 인식 시스템(200)은 카메라(100) 로부터 획득된 영상으로부터 랜드마크의 영상 좌표를 검출한다. 랜드마크(landmark)는 주행방향을 표시하는 화살표, 횡단보도, 정지선 등의 도로 상에 표시되는 표식, 도로 표지판, 및 교통 안전표지 등을 의미한다. 바람직하게는 본 명세서에서 랜드마크는 차선 끝점과 서로 다른 평면에 속하는 도로 표지판과 교통 안전표지 등을 의미한다.The
차로 인식 시스템(200)은 카메라(100)로부터 획득된 영상으로부터 복수의 차로들 중에서 차량의 주행차로의 차선 끝점의 영상 좌표를 검출한다. The
지도 저장부(300)는 랜드마크 정보, 차선 끝점 정보 등의 지형지물 정보를 포함하고 있는 지도 데이터가 저장된다.The
차로 인식 시스템(200)은 지도 저장부(300)에 저장된 지도 데이터로부터 상기 랜드마크의 3차원 공간 좌표를 획득한다. 차로 인식 시스템(200)은 지도 저장부(300)에 저장된 지도 데이터로부터 상기 복수의 차로들 각각의 차선 끝점들 각각의 3차원 공간 좌표를 획득한다.The
랜드마크 중에서 도로 표지판의 경우 지도상에서 반경 100m 이내에 1개 존재한다고 하면 차로는 여러 개 존재한다. 따라서, 현재 카메라에서 촬영된 영상으로부터 차선 끝점과 도로 표지판이 검출되었을 때, 상기 영상에서 검출된 도로 표지판의 3차원 좌표는 지도로부터 알 수 있다. 그러나, 상기 영상에서 검출된 차선 끝점은 지도 상의 여러 차로들 중에서 어느 차로의 차선 끝점인지 알 수 없으므로, 영상에서 검출된 차선 끝점의 3차원 좌표는 알 수 없다. Among landmarks, if there is one road sign within a 100m radius on the map, there are several lanes. Therefore, when a lane end point and a road sign are detected from an image captured by the current camera, the three-dimensional coordinates of the road sign detected in the image can be known from the map. However, since the end point of the lane detected in the image is not known to which lane of the various lanes on the map, the three-dimensional coordinates of the end point of the lane detected in the image cannot be known.
따라서, 차로 인식 시스템(200)은 영상으로부터 검출된 차선 끝점이 지도상의 특정 차로에 존재한다고 가정하고, 가정된 결과를 이용하여 차량의 주행 차로를 인식할 수 있다. Accordingly, the
도 3은 본 발명의 실시 예에 따른 차로 인식 시스템의 동작 방법을 설명하기 위한 플로우차트이다. 도 1과 도 3을 참조하면, 차로 인식 시스템(200)은 카메라(100)로 촬영된 영상으로부터 랜드마크의 영상좌표와 주행차로의 차선 끝점 각각의 영상 좌표를 검출한다(S110).3 is a flowchart illustrating a method of operating a lane recognition system according to an embodiment of the present invention. Referring to FIGS. 1 and 3, the
차로 인식 시스템(200)은 지도 데이터로부터 상기 랜드마크의 3차원 공간 좌표와 복수의 차로들 각각의 차선 끝점들의 3차원 공간 좌표를 획득한다(S120).The
차로 인식 시스템(200)은 상기 랜드마크의 3차원 공간 좌표와 차량이 여러 차로들 중 특정 차로에 있다고 가정하고, 상기 특정 차로의 차선 끝점들의 3차원 공간 좌표를 활용하여 상기 특정 차로 상의 차량의 위치(하기 수학식의 M에 해당함)를 계산한다(S130).The
차로 인식 시스템(200)은 상기 랜드마크의 3차원 공간 좌표와 상기 특정 차로의 차선 끝점들의 3차원 공간 좌표를, 계산된 차량의 위치에 카메라 있다고 가정하고 투영하여 투영된 영상 좌표를 계산한다(S140).The
구체적으로, 랜드마크가 도로 표지판이고 차로가 편도 3차로일 경우를 예로 들어, 투영된 영상 좌표를 계산하는 과정을 설명하면 다음과 같다. Specifically, taking a case where the landmark is a road sign and the lane is a one-way three lane, the process of calculating the projected image coordinates will be described as follows.
하기의 [수학식]은 3차원 상의 점
[수학식][Equation]
여기서, s는 스케일 상수이고, K는 카메라의 고유 행렬(intrinsic matrix)이다. K는 3*3 행렬로써 카메라 칼리브레이션(calibration)에 의해 사전에 계산되어 알 수 있다.Here, s is the scale constant, and K is the intrinsic matrix of the camera. K is a 3*3 matrix, which can be calculated and known in advance by camera calibration.
i는 자연수이고, 예컨대, 랜드마크가 사각형의 도로 표지판일 때, 랜드마크에 대한 i는 4이고, 차선 끝점의 i는 1 이상일 수 있다.i is a natural number. For example, when the landmark is a square road sign, i for the landmark may be 4, and i at the end of the lane may be 1 or more.
M은 카메라와 3차원 공간 좌표 사이의 관계를 나타내는 외부 행렬(extrinsic matrix)이다. M은 3차원 공간 좌표계에서 카메라의 위치와 자세에 대한 정보를 담고 있다. M is an extrinsic matrix representing the relationship between the camera and the three-dimensional space coordinates. M contains information on the position and posture of the camera in the three-dimensional space coordinate system.
M은 카메라가 탑재된 차량이 이동하기 때문에 계속 변화한다. 따라서, 측위란 M을 알아내는 것이라고 할 수 있다. 왜냐하면 M에는 카메라의 자세와 위치가 존재하기 때문이다. The M keeps changing as the vehicle equipped with the camera moves. Therefore, it can be said that positioning is to find out M. This is because M has the camera's posture and position.
K를 안다고할 때, M은 4개 이상의 3차원 점의 좌표와 영상의 점의 좌표를 알면 계산할 수 있다. 예컨대, PnP(perspective n points) 알고리즘을 이용하여 계산할 수 있으나 이에 한정되는 것은 아니다. PnP 알고리즘은 영상과 3차원 상의 n개의 대응점이 있을 때 카메라의 3차원 상의 위치와 방향을 추정할 수 있는 알고리즘이다.Assuming that K is known, M can be calculated by knowing the coordinates of four or more 3D points and the coordinates of the points in the image. For example, it may be calculated using a perspective n points (PnP) algorithm, but is not limited thereto. The PnP algorithm is an algorithm capable of estimating the position and direction of the camera on the 3D when there are n correspondence points on the image and 3D.
상기한 바와 같이 본 발명의 차로 인식 시스템(200)은 영상으로부터 검출된 차선 끝점이 지도상의 특정 차로에 존재한다고 가정하고, 가정된 결과를 이용하여 차량의 주행 차로를 인식한다.As described above, the
따라서, 영상으로부터 검출된 차선 끝점의 영상 좌표, 영상으로부터 검출된 도로 표지판의 영상 좌표, 상기 도로 표지판의 3차원 공간 좌표, 특정 차로로 가정된 차선 끝점의 3차원 공간 좌표를 이용하여 상기 [수학식]을 통해 M을 계산한다. Therefore, using the image coordinate of the end point of the lane detected from the image, the image coordinate of the road sign detected from the image, the 3D spatial coordinate of the road sign, and the 3D spatial coordinate of the lane end point assumed to be a specific lane, the [Equation ] To calculate M.
예컨대, 영상으로부터 검출된 차선 끝점이 지도 상의 1차로의 차선 끝점이라고 가정했을 때의 M1을 계산하고, 영상으로부터 검출된 차선 끝점이 지도 상의 2차로의 차선 끝점이라고 가정했을 때의 M2를 계산하고, 영상으로부터 검출된 차선 끝점이 지도 상의 3차로의 차선 끝점이라고 가정했을 때의 M3을 계산한다.For example, M1 is calculated assuming that the lane end point detected from the image is the lane end point of the first lane on the map, and M2 is calculated assuming that the lane end point detected from the image is the lane end point of the second lane on the map, M3 is calculated assuming that the lane end point detected from the image is the lane end point of the third lane on the map.
계산된 M1을 기준으로, 도로 표지판의 3차원 공간 좌표와 1차로의 차선 끝점의 3차원 공간 좌표를 영상에 투영하여 제1 영상 좌표를 구한다. 도로 표지판과 1차로의 차선 끝점의 투영된 제1 영상 좌표는 상기 [수학식]에 의하여 구해진다.Based on the calculated M1, the first image coordinates are obtained by projecting the three-dimensional space coordinates of the road sign and the three-dimensional space coordinates of the end point of the lane of the first lane onto the image. The projected first image coordinates of the road sign and the end point of the lane of the first lane are obtained by the above [Equation].
계산된 M2를 기준으로, 도로 표지판의 3차원 공간 좌표와 2차로의 차선 끝점의 3차원 공간 좌표를 영상에 투영하여 제2 영상 좌표를 구한다. 도로 표지판과 2차로의 차선 끝점의 투영된 제2 영상 좌표는 상기 [수학식]에 의하여 구해진다.Based on the calculated M2, the 3D spatial coordinates of the road sign and the 3D spatial coordinates of the lane end point of the second lane are projected onto the image to obtain the second image coordinates. The projected second image coordinates of the road sign and the lane end point of the second lane are obtained by the above [Equation].
계산된 M3을 기준으로, 도로 표지판의 3차원 공간 좌표와 3차로의 차선 끝점의 3차원 공간 좌표를 영상에 투영하여 제3 영상 좌표룰 구한다. 도로 표지판과 3차로의 차선 끝점의 투영된 제3 영상 좌표는 상기 [수학식]에 의하여 구해진다.Based on the calculated M3, the 3D spatial coordinates of the road sign and the 3D spatial coordinates of the end point of the lane of the 3rd lane are projected onto the image to obtain the third image coordinates. The projected third image coordinate of the end point of the lane between the road sign and the third lane is obtained by the above [Equation].
차로 인식 시스템(200)은 카메라(100)로부터의 영상 좌표와 [수학식]에 의해 투영된 각 영상좌표 사이의 거리 오차인 투영 에러(projection error)를 계산하고, 계산된 투영 에러 중에서 최소 값을 가지는 투영 에러에 대해 가정한 차로를 주행 차로로서 선택한다(S150).The
구체적으로, 영상으로부터 검출된 도로 표지판과 차선 끝점 각각의 영상 좌표와, M1을 기준으로 상기 도로 표지판과 제1 차로의 차선 끝점 각각의 투영된 제1 영상 좌표 사이의 거리 오차인 제1 투영 에러(projection error; PE1)를 계산한다.Specifically, a first projection error, which is a distance error between the image coordinates of each of the road signs and the end points of the lanes detected from the image, and the projected first image coordinates of each of the end points of the lanes of the road sign and the first lane based on M1. Calculate the projection error; PE1).
영상으로부터 검출된 도로 표지판과 차선 끝점 각각의 영상 좌표와, M2를 기준으로 상기 도로 표지판과 제2 차로의 차선 끝점 각각의 투영된 제2 영상 좌표 사이의 거리 오차인 제2 투영 에러(projection error; PE2)를 계산한다.A second projection error, which is a distance error between the image coordinates of each of the road signs and the end points of the lanes detected from the image, and the projected second image coordinates of each of the end points of the lanes of the road sign and the second lane based on M2; PE2) is calculated.
영상으로부터 검출된 도로 표지판과 차선 끝점 각각의 영상 좌표와, M3를 기준으로 상기 도로 표지판과 제3 차로의 차선 끝점 각각의 투영된 제3 영상 좌표 사이의 거리 오차인 제3 투영 에러(projection error; PE3)를 계산한다.A third projection error, which is a distance error between the image coordinates of each of the road signs and the end points of the lanes detected from the image, and the projected third image coordinates of each of the end points of the lanes of the road sign and the third lane based on M3; PE3) is calculated.
투영 에러들(PE1, PE2, PE3) 중에서 최소 값을 가지는 투영 에러를 선택하고, 선택된 투영 에러에 대해 가정한 차로를 주행 차로로서 선택한다. Among the projection errors PE1, PE2, PE3, a projection error having a minimum value is selected, and a lane assumed for the selected projection error is selected as a driving lane.
만약 영상으로부터 검출된 차선 끝점이 지도 상의 1차로의 차선 끝점이라고 한 가정이 맞다면, 영상으로부터 검출된 차선 끝점이 지도 상의 2차로 또는 3차로의 차선 끝점이라고 한 가정에 비해 투영 에러가 상대적으로 더 작을 것이다. 이를 활용하여 자차가 주행하는 차로가 몇차로 인지 인식할 수 있다.If the assumption that the lane end point detected from the image is the lane end point of the first lane on the map is correct, the projection error is relatively higher than the assumption that the lane end point detected from the image is the lane end point of the second lane or the third lane on the map. Will be small. Using this, it is possible to recognize the number of lanes the own vehicle is driving.
본 발명은 도면에 도시된 일 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.Although the present invention has been described with reference to the exemplary embodiment shown in the drawings, this is only exemplary, and those of ordinary skill in the art will appreciate that various modifications and other equivalent embodiments are possible therefrom. Therefore, the true technical protection scope of the present invention should be determined by the technical idea of the attached registration claims.
10; 차량의 위치 추정 장치
100; 환경 인식 센서
200; 정밀 지도 정보 수신부
300; 파티클 필터부10; Vehicle location estimation device
100; Environmental sensor
200; Precision map information receiver
300; Particle filter part
Claims (6)
차량에 설치된 카메라로 촬영된 영상으로부터 서로 다른 종류의 시설물의 영상 좌표를 검출하고, 지도 데이터로부터 상기 시설물의 3차원 공간 좌표를 획득하고, 하기의 수학식을 통해 상기 3차원 공간 좌표를 영상에 투영하여 투영된 영상 좌표를 구하는 단계; 및
상기 영상 좌표와 상기 투영된 영상 좌표 사이의 복수 개의 투영 에러(projection error) 중에서 최소 값을 가지는 투영에러를 선택하고, 상기 선택된 투영 에러에 기초하여 상기 주행 차로를 인식하는 단계;를 포함하는 랜드마크를 활용한 주행차로 인식 방법.
[수학식]
여기서, (
In a method of recognizing a driving lane of a vehicle in a plurality of lanes,
Detecting image coordinates of different types of facilities from images taken with a camera installed in the vehicle, obtaining 3D spatial coordinates of the facilities from map data, and projecting the 3D spatial coordinates onto the image through the following equation Obtaining the projected image coordinates; And
A landmark comprising; selecting a projection error having a minimum value from among a plurality of projection errors between the image coordinate and the projected image coordinate, and recognizing the driving lane based on the selected projection error. How to recognize as a driving vehicle using
[Equation]
here, (
상기 시설물은 서로 다른 평면에 속하는 것을 특징으로 하는 랜드마크를 활용한 주행차로 인식 방법.
The method of claim 1,
The method for recognizing the facility as a driving vehicle using landmarks, characterized in that the facilities belong to different planes.
상기 영상좌표와 상기 투영된 영상 좌표 사이의 거리 오차를 의미하는 것을 특징으로 하는 랜드마크를 활용한 주행차로 인식 방법.
The method of claim 1, wherein the projection error is
A method of recognizing a driving vehicle using a landmark, which means a distance error between the image coordinate and the projected image coordinate.
상기 차량에 설치된 카메라로 촬영된 영상으로부터 랜드마크와 차선 끝점 각각의 영상 좌표를 검출하는 단계;
상기 지도 데이터로부터 상기 랜드마크의 3차원 공간 좌표와 상기 복수의 차로들 각각의 차선 끝점들의 3차원 공간 좌표를 획득하는 단계; 및
상기 랜드마크와 상기 차선 끝점들의 3차원 공간 좌표를 영상에 투영하여 상기 투영된 영상 좌표를 구하는 단계;를 포함하는 랜드마크를 활용한 주행차로 인식 방법.
The method of claim 1, wherein obtaining the projected image coordinates comprises:
Detecting image coordinates of each of a landmark and an end point of a lane from an image captured by a camera installed in the vehicle;
Acquiring 3D spatial coordinates of the landmark and 3D spatial coordinates of lane end points of each of the plurality of lanes from the map data; And
And obtaining the projected image coordinates by projecting the three-dimensional spatial coordinates of the landmark and the lane end points onto an image.
상기 영상으로부터 검출된 차선 끝점이 지도상의 특정 차로에 존재할 때의 상기 카메라의 위치와 자세에 대한 정보를 계산하는 단계; 및
상기 카메라의 위치와 자세에 대한 정보를 기준으로 상기 랜드마크와 상기 차선 끝점들의 3차원 공간 좌표를 영상에 투영하여 상기 투영된 영상 좌표를 구하는 단계;를 포함하는 랜드마크를 활용한 주행차로 인식 방법.
The method of claim 4, wherein obtaining the projected image coordinates comprises:
Calculating information on the position and posture of the camera when the lane end point detected from the image exists in a specific lane on the map; And
A method for recognizing a driving vehicle using a landmark comprising: projecting the three-dimensional spatial coordinates of the landmark and the lane end points onto an image based on information on the position and posture of the camera to obtain the projected image coordinates; .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180152773A KR102174729B1 (en) | 2018-11-30 | 2018-11-30 | Method and system for recognizing lane using landmark |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180152773A KR102174729B1 (en) | 2018-11-30 | 2018-11-30 | Method and system for recognizing lane using landmark |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200065875A KR20200065875A (en) | 2020-06-09 |
| KR102174729B1 true KR102174729B1 (en) | 2020-11-05 |
Family
ID=71082604
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180152773A KR102174729B1 (en) | 2018-11-30 | 2018-11-30 | Method and system for recognizing lane using landmark |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102174729B1 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20220065126A (en) | 2020-11-12 | 2022-05-20 | 현대자동차주식회사 | Apparatus and Method for detecting driving lane based on multi-sensor |
| CN113205447A (en) * | 2021-05-11 | 2021-08-03 | 北京车和家信息技术有限公司 | Road picture marking method and device for lane line identification |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101558285B1 (en) * | 2014-05-20 | 2015-10-13 | 경북대학교 산학협력단 | Driving lane recognition apparatus and method for recognizing driving lane thereof |
| KR101764839B1 (en) * | 2016-03-11 | 2017-08-03 | 재단법인대구경북과학기술원 | System and method for lane level positioning |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101610502B1 (en) | 2014-09-02 | 2016-04-07 | 현대자동차주식회사 | Apparatus and method for recognizing driving enviroment for autonomous vehicle |
-
2018
- 2018-11-30 KR KR1020180152773A patent/KR102174729B1/en active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101558285B1 (en) * | 2014-05-20 | 2015-10-13 | 경북대학교 산학협력단 | Driving lane recognition apparatus and method for recognizing driving lane thereof |
| KR101764839B1 (en) * | 2016-03-11 | 2017-08-03 | 재단법인대구경북과학기술원 | System and method for lane level positioning |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20200065875A (en) | 2020-06-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7082545B2 (en) | Information processing methods, information processing equipment and programs | |
| KR102128851B1 (en) | Method and system for determining global location of first landmark | |
| KR102425272B1 (en) | Method and system for determining a position relative to a digital map | |
| WO2018142900A1 (en) | Information processing device, data management device, data management system, method, and program | |
| Brenner | Extraction of features from mobile laser scanning data for future driver assistance systems | |
| JP5714940B2 (en) | Moving body position measuring device | |
| WO2018125939A1 (en) | Visual odometry and pairwise alignment for high definition map creation | |
| KR101444685B1 (en) | Method and Apparatus for Determining Position and Attitude of Vehicle by Image based Multi-sensor Data | |
| CN106463051B (en) | Traffic signal recognition device and traffic signal recognition method | |
| JP2012127896A (en) | Mobile object position measurement device | |
| JP2009053059A (en) | Object specifying device, object specifying method, and object specifying program | |
| JP6950832B2 (en) | Position coordinate estimation device, position coordinate estimation method and program | |
| JP4978615B2 (en) | Target identification device | |
| CN111351502B (en) | Method, apparatus and computer program product for generating a top view of an environment from a perspective view | |
| JP6759175B2 (en) | Information processing equipment and information processing system | |
| JP2012011867A (en) | Vehicle position calculation system and vehicle position calculation method, and program therefor | |
| CN104748754A (en) | Vehicle positioning method and vehicle positioning system thereof | |
| KR102174729B1 (en) | Method and system for recognizing lane using landmark | |
| JP6135972B2 (en) | Orientation method, orientation program, and orientation device | |
| JP2009204385A (en) | Targeting device, method, and program | |
| US9014964B2 (en) | Navigation apparatus capable of providing real-time navigation images | |
| JP2012215442A (en) | Own position determination system, own position determination program, own position determination method | |
| JP6683195B2 (en) | Information processing apparatus, information processing system, information processing method, and program | |
| CN112528719A (en) | Estimation device, estimation method, and storage medium | |
| CN115790616A (en) | Determination of an absolute initial position of a vehicle |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right |