KR102674613B1 - Vehicle position correction method and vehicle position correction device - Google Patents
Vehicle position correction method and vehicle position correction device Download PDFInfo
- Publication number
- KR102674613B1 KR102674613B1 KR1020210148828A KR20210148828A KR102674613B1 KR 102674613 B1 KR102674613 B1 KR 102674613B1 KR 1020210148828 A KR1020210148828 A KR 1020210148828A KR 20210148828 A KR20210148828 A KR 20210148828A KR 102674613 B1 KR102674613 B1 KR 102674613B1
- Authority
- KR
- South Korea
- Prior art keywords
- lane
- virtual
- camera
- vehicle
- control unit
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000001514 detection method Methods 0.000 claims abstract description 51
- 239000011159 matrix material Substances 0.000 claims description 7
- 239000000284 extract Substances 0.000 claims description 6
- 230000014509 gene expression Effects 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 16
- 238000006073 displacement reaction Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/10—Path keeping
- B60W30/12—Lane keeping
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
- B60W40/06—Road conditions
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3626—Details of the output of route guidance instructions
- G01C21/3658—Lane guidance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0001—Details of the control system
- B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
- B60W2050/0057—Frequency analysis, spectral techniques or transforms
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
Landscapes
- Engineering & Computer Science (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Mechanical Engineering (AREA)
- Transportation (AREA)
- Signal Processing (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Navigation (AREA)
- Traffic Control Systems (AREA)
Abstract
차로 결정 방법 및 차로 결정 장치에서, 차량의 항법 위치가 획득되고, 고정밀 지도 데이터로부터 항법 위치에 인접한 차선 정보가 추출되고, 항법 위치, 차선 정보 및 카메라 파라미터에 기초하여 항법 위치의 위치 오차 범위 내의 복수의 차량 위치들에서의 복수의 가상 차선 영상들이 생성되고, 차량의 전방 영상이 촬영되고, 전방 영상에서 차선을 검출하여 차선 검출 영상이 생성되고, 차선 검출 영상과 복수의 가상 차선 영상들에 대한 매칭을 수행하여 복수의 가상 차선 영상들 중 차선 검출 영상과 매칭되는 가상 차선 영상이 선택되고, 복수의 차량 위치들 중 선택된 가상 차선 영상에 상응하는 차량 위치에 따라 항법 위치가 보정되고, 보정된 항법 위치에 기초하여 차량의 현재 차로가 결정된다.In the lane determination method and lane determination device, the navigation position of the vehicle is obtained, lane information adjacent to the navigation position is extracted from the high-precision map data, and a plurality of lanes within the position error range of the navigation position are based on the navigation position, lane information, and camera parameters. A plurality of virtual lane images are generated at vehicle locations, an image in front of the vehicle is captured, a lane detection image is generated by detecting a lane in the front image, and matching the lane detection image with the plurality of virtual lane images By performing, a virtual lane image matching the lane detection image is selected from among the plurality of virtual lane images, the navigation position is corrected according to the vehicle position corresponding to the selected virtual lane image among the plurality of vehicle positions, and the corrected navigation position is performed. Based on this, the current lane of the vehicle is determined.
Description
본 발명은 차량용 방법 및 장치에 관한 것으로서, 더욱 상세하게는 항법 장치, 고정밀 지도 데이터 및 카메라를 이용한 차로 결정 방법 및 차로 결정 장치에 관한 것이다.The present invention relates to a method and device for a vehicle, and more specifically, to a navigation device, a lane determination method and a lane determination device using high-precision map data and cameras.
차량 등에서 경로 안내 등의 제공하기 위하여 차량의 위치를 추정하는 기술이 널리 활용되고 있다. 예를 들어, GPS(Global Positioning System) 기술, DR(Dead Reckoning) GPS 기술 등이 활용되고 있다. 그러나, GPS 기술 등에 의한 GPS 위치는 주변 환경으로부터의 잡음 및 간섭에 영향을 받거나, 주변 건물 등에 의해 다중 경로가 발생하는 등의 이유로 위치 오차를 가질 수 있다. 이에 따라, 현재 널리 활용되고 있는 이러한 GPS 기술은 차량의 정밀한 위치를 획득하지 못하는 문제가 있다.Technology for estimating the location of a vehicle is widely used to provide route guidance to vehicles. For example, Global Positioning System (GPS) technology and Dead Reckoning (DR) GPS technology are being used. However, GPS location using GPS technology may have location errors due to factors such as being affected by noise and interference from the surrounding environment or multiple paths occurring due to surrounding buildings. Accordingly, this GPS technology, which is currently widely used, has a problem in that it cannot obtain the precise location of the vehicle.
특히, 자율 주행을 수행하기 위해서는, 차량의 정밀한 위치가 획득되어야 하고, 또한 고정밀(High Definition; HD) 지도를 이용하여 현재 도로에서 차량이 몇 번째 차로에 위치하는 지가 정확하게 판단되어야 한다. 그러나, 상술한 GPS 기술로 차량의 위치를 획득하는 경우, 상기 차량의 현재 차로가 잘못 결정될 수 있는 문제가 있다.In particular, in order to perform autonomous driving, the precise location of the vehicle must be obtained, and it must also be accurately determined which lane the vehicle is in on the current road using a high definition (HD) map. However, when acquiring the location of a vehicle using the above-described GPS technology, there is a problem that the current lane of the vehicle may be incorrectly determined.
본 발명의 일 목적은 차량의 차로를 정확하게 결정할 수 있는 차로 결정 방법을 제공하는 것이다.One object of the present invention is to provide a lane determination method that can accurately determine the lane of a vehicle.
본 발명의 다른 목적은 차량의 차로를 정확하게 결정할 수 있는 차로 결정 장치를 제공하는 것이다.Another object of the present invention is to provide a lane determination device that can accurately determine the lane of a vehicle.
다만, 본 발명의 목적은 상술한 목적들로 한정되는 것이 아니며, 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위에서 다양하게 확장될 수 있을 것이다.However, the purpose of the present invention is not limited to the above-mentioned purposes, and may be expanded in various ways without departing from the spirit and scope of the present invention.
본 발명의 일 목적을 달성하기 위하여, 본 발명의 실시예들에 따른 차량의 차로를 결정하는 방법에서, 항법 장치가 상기 차량의 항법 위치를 획득하고, 제어부가 고정밀 지도 데이터로부터 상기 항법 위치에 인접한 차선 정보를 추출하고, 상기 제어부가 상기 항법 위치, 상기 차선 정보 및 카메라의 카메라 파라미터에 기초하여 상기 항법 위치의 위치 오차 범위 내의 복수의 차량 위치들에서의 상기 카메라의 시선에 의한 복수의 가상 차선 영상들을 생성하고, 상기 카메라가 상기 차량의 전방 영상을 촬영하고, 상기 제어부가 상기 전방 영상에서 차선을 검출하여 차선 검출 영상을 생성하고, 상기 제어부가 상기 차선 검출 영상과 상기 복수의 가상 차선 영상들에 대한 매칭을 수행하여 상기 복수의 가상 차선 영상들 중 상기 차선 검출 영상과 매칭되는 가상 차선 영상을 선택하고, 상기 제어부가 상기 복수의 차량 위치들 중 상기 선택된 가상 차선 영상에 상응하는 차량 위치에 따라 상기 항법 위치를 보정하고, 상기 제어부가 상기 보정된 항법 위치에 기초하여 상기 차량의 현재 차로를 결정한다.In order to achieve an object of the present invention, in the method for determining the lane of a vehicle according to embodiments of the present invention, the navigation device acquires the navigation position of the vehicle, and the control unit acquires the navigation position adjacent to the navigation position from high-precision map data. Lane information is extracted, and the control unit extracts a plurality of virtual lane images by the line of sight of the camera at a plurality of vehicle positions within a position error range of the navigation position based on the navigation position, the lane information, and camera parameters of the camera. The camera captures a front image of the vehicle, the control unit detects a lane in the front image to generate a lane detection image, and the control unit captures the lane detection image and the plurality of virtual lane images. performs matching to select a virtual lane image that matches the lane detection image among the plurality of virtual lane images, and the control unit selects the virtual lane image according to the vehicle position corresponding to the selected virtual lane image among the plurality of vehicle positions. The navigation position is corrected, and the control unit determines the current lane of the vehicle based on the corrected navigation position.
일 실시예에서, 상기 카메라 파라미터는 상기 카메라의 내적 파라미터(intrinsic parameter) 및 외적 파라미터(extrinsic parameter)를 포함할 수 있다.In one embodiment, the camera parameters may include intrinsic parameters and extrinsic parameters of the camera.
일 실시예에서, 상기 내적 파라미터는 상기 카메라의 초점 거리(focal length), 주점(principal point) 좌표 및 비대칭 계수를 포함하고, 상기 외적 파라미터는 상기 카메라의 회전 행렬 값 및 상대 위치를 포함할 수 있다.In one embodiment, the internal product parameters include a focal length, principal point coordinates, and asymmetry coefficient of the camera, and the external product parameters may include a rotation matrix value and a relative position of the camera. .
일 실시예에서, 상기 복수의 차량 위치들에서의 상기 복수의 가상 차선 영상들을 생성하도록, 상기 제어부가 상기 카메라 파라미터를 이용하여 가상 카메라 모델을 생성하고, 상기 제어부가 상기 가상 카메라 모델에서 상기 카메라의 상대 위치를 변경하면서 상기 복수의 차량 위치들 각각에서의 상기 복수의 가상 차선 영상들 각각을 생성할 수 있다.In one embodiment, the control unit generates a virtual camera model using the camera parameters to generate the plurality of virtual lane images at the plurality of vehicle locations, and the control unit generates a virtual camera model in the virtual camera model to generate the plurality of virtual lane images at the plurality of vehicle locations. Each of the plurality of virtual lane images at each of the plurality of vehicle locations can be generated while changing the relative position.
일 실시예에서, 상기 복수의 차량 위치들 각각에서의 상기 복수의 가상 차선 영상들 각각을 생성하도록, 상기 제어부가 상기 차선 정보의 각 차선 점 좌표를 상기 가상 카메라 모델을 이용하여 가상 차선 점 좌표로 변환하고, 상기 제어부가 상기 가상 차선 점 좌표에서 가상 차선 점을 포함하는 상기 복수의 가상 차선 영상들 각각을 생성할 수 있다. 상기 항법 위치의 상기 위치 오차 범위 내의 상기 복수의 차량 위치들에서의 상기 복수의 가상 차선 영상들이 생성될 때까지, 상기 카메라의 상기 상대 위치가 상기 복수의 차량 위치들에 각각 상응하도록 변경되면서 상기 복수의 가상 차선 영상들 각각이 생성될 수 있다.In one embodiment, the control unit converts each lane point coordinate of the lane information into virtual lane point coordinates using the virtual camera model to generate each of the plurality of virtual lane images at each of the plurality of vehicle locations. After converting, the control unit may generate each of the plurality of virtual lane images including a virtual lane point from the virtual lane point coordinates. The relative position of the camera is changed to correspond to each of the plurality of vehicle positions until the plurality of virtual lane images at the plurality of vehicle positions within the position error range of the navigation position are generated. Each of the virtual lane images may be generated.
일 실시예에서, 상기 제어부는, 수학식 ""을 이용하여 상기 차선 정보의 상기 각 차선 점 좌표를 상기 가상 차선 점 좌표로 변환하고, 여기서, s는 스케일 인자를 나타내고, 상기 스케일 인자가 곱해진 x 및 y는 상기 가상 차선 점 좌표를 나타내고, fx 및 fy는 상기 카메라의 초점 거리를 나타내고, cx 및 cy는 상기 카메라의 주점 좌표를 나타내고, skew_cfx는 상기 카메라의 비대칭 계수를 나타내고, r11 내지 r33은 상기 카메라의 회전 행렬 값들을 나타내고, t1 내지 t3은 상기 카메라의 상대 위치를 나타내고, X, Y 및 Z는 상기 차선 정보의 상기 각 차선 점 좌표를 나타낼 수 있다.In one embodiment, the control unit uses the equation " Convert each lane point coordinate of the lane information into the virtual lane point coordinates using ", where s represents a scale factor, x and y multiplied by the scale factor represent the virtual lane point coordinates, f x and f y represent the focal length of the camera, c x and c y represent the principal point coordinates of the camera, skew_cf values, t 1 to t 3 may represent the relative position of the camera, and X, Y, and Z may represent coordinates of each lane point of the lane information.
일 실시예에서, 상기 제어부는 상기 카메라의 상기 상대 위치를 0.1m씩 변경하여 0.1m의 간격을 가지는 상기 복수의 차량 위치들에서의 상기 복수의 가상 차선 영상들을 생성할 수 있다.In one embodiment, the controller may change the relative position of the camera by 0.1 m to generate the plurality of virtual lane images at the plurality of vehicle positions with an interval of 0.1 m.
일 실시예에서, 상기 복수의 가상 차선 영상들 중 상기 차선 검출 영상과 매칭되는 상기 가상 차선 영상을 선택하도록, 상기 제어부가 상기 차선 검출 영상과 상기 복수의 가상 차선 영상들 사이의 정규화된 상호 정보(Normalized Mutual Information; NMI) 값들을 계산하고, 상기 제어부가 상기 NMI 값들 중 가장 큰 NMI 값을 가지는 상기 가상 차선 영상을 선택할 수 있다.In one embodiment, the control unit selects the virtual lane image that matches the lane detection image among the plurality of virtual lane images, normalized mutual information between the lane detection image and the plurality of virtual lane images ( Normalized Mutual Information (NMI) values are calculated, and the control unit may select the virtual lane image with the largest NMI value among the NMI values.
일 실시예에서, 상기 선택된 가상 차선 영상에 상응하는 상기 차량 위치에 따라 상기 항법 위치를 보정하도록, 상기 제어부가 상기 보정된 항법 위치를 상기 선택된 가상 차선 영상에 상응하는 상기 차량 위치로 결정할 수 있다.In one embodiment, the control unit may determine the corrected navigation position as the vehicle position corresponding to the selected virtual lane image to correct the navigation position according to the vehicle position corresponding to the selected virtual lane image.
일 실시예에서, 상기 보정된 항법 위치에 기초하여 상기 차량의 상기 현재 차로를 결정하도록, 상기 제어부가 상기 고정밀 지도 데이터에 포함된 복수의 차로 중심선들 중 상기 보정된 항법 위치에 인접한 차로 중심선을 결정하고, 상기 제어부가 상기 결정된 차로 중심선에 따라 상기 차량의 상기 현재 차로를 결정할 수 있다.In one embodiment, the control unit determines a lane center line adjacent to the corrected navigation position among a plurality of lane center lines included in the high-precision map data to determine the current lane of the vehicle based on the corrected navigation position. And, the control unit may determine the current lane of the vehicle according to the determined lane center line.
본 발명의 일 목적을 달성하기 위하여, 본 발명의 실시예들에 따른 차량의 차로를 결정하는 차로 결정 장치는 상기 차량의 항법 위치를 획득하는 항법 장치, 상기 차량의 전방 영상을 촬영하는 카메라, 고정밀 지도 데이터를 저장하는 고정밀 지도 저장부, 및 상기 차로 결정 장치의 동작을 제어하는 제어부를 포함한다. 상기 제어부는, 상기 고정밀 지도 데이터로부터 상기 항법 위치에 인접한 차선 정보를 추출하고, 상기 항법 위치, 상기 차선 정보 및 상기 카메라의 카메라 파라미터에 기초하여 상기 항법 위치의 위치 오차 범위 내의 복수의 차량 위치들에서의 상기 카메라의 시선에 의한 복수의 가상 차선 영상들을 생성하고, 상기 전방 영상에서 차선을 검출하여 차선 검출 영상을 생성하고, 상기 차선 검출 영상과 상기 복수의 가상 차선 영상들에 대한 매칭을 수행하여 상기 복수의 가상 차선 영상들 중 상기 차선 검출 영상과 매칭되는 가상 차선 영상을 선택하고, 상기 복수의 차량 위치들 중 상기 선택된 가상 차선 영상에 상응하는 차량 위치에 따라 상기 항법 위치를 보정하고, 상기 보정된 항법 위치에 기초하여 상기 차량의 현재 차로를 결정한다.In order to achieve an object of the present invention, a lane determination device for determining the lane of a vehicle according to embodiments of the present invention includes a navigation device for acquiring the navigation position of the vehicle, a camera for capturing a front image of the vehicle, and a high-precision It includes a high-precision map storage unit that stores map data, and a control unit that controls the operation of the lane determination device. The control unit extracts lane information adjacent to the navigation position from the high-precision map data, and selects a plurality of vehicle positions within a position error range of the navigation position based on the navigation position, the lane information, and camera parameters of the camera. Generate a plurality of virtual lane images by the line of sight of the camera, generate a lane detection image by detecting a lane in the front image, and perform matching between the lane detection image and the plurality of virtual lane images. Selecting a virtual lane image that matches the lane detection image among a plurality of virtual lane images, correcting the navigation position according to a vehicle position corresponding to the selected virtual lane image among the plurality of vehicle positions, and Determine the current lane of the vehicle based on the navigation position.
일 실시예에서, 상기 카메라 파라미터는 상기 카메라의 내적 파라미터(intrinsic parameter) 및 외적 파라미터(extrinsic parameter)를 포함할 수 있다.In one embodiment, the camera parameters may include intrinsic parameters and extrinsic parameters of the camera.
일 실시예에서, 상기 내적 파라미터는 상기 카메라의 초점 거리(focal length), 주점(principal point) 좌표 및 비대칭 계수를 포함하고, 상기 외적 파라미터는 상기 카메라의 회전 행렬 값 및 상대 위치를 포함할 수 있다.In one embodiment, the internal product parameters include a focal length, principal point coordinates, and asymmetry coefficient of the camera, and the external product parameters may include a rotation matrix value and a relative position of the camera. .
일 실시예에서, 상기 제어부는, 상기 카메라 파라미터를 이용하여 가상 카메라 모델을 생성하고, 상기 가상 카메라 모델에서 상기 카메라의 상대 위치를 변경하면서 상기 복수의 차량 위치들 각각에서의 상기 복수의 가상 차선 영상들 각각을 생성할 수 있다.In one embodiment, the control unit generates a virtual camera model using the camera parameters, and changes the relative position of the camera in the virtual camera model while changing the plurality of virtual lane images at each of the plurality of vehicle positions. Each of them can be created.
일 실시예에서, 상기 제어부는 상기 차선 정보의 각 차선 점 좌표를 상기 가상 카메라 모델을 이용하여 가상 차선 점 좌표로 변환하고, 상기 가상 차선 점 좌표에서 가상 차선 점을 포함하는 상기 복수의 가상 차선 영상들 각각을 생성하고, 상기 제어부는, 상기 항법 위치의 상기 위치 오차 범위 내의 상기 복수의 차량 위치들에서의 상기 복수의 가상 차선 영상들이 생성될 때까지, 상기 카메라의 상기 상대 위치를 상기 복수의 차량 위치들에 각각 상응하도록 변경하면서 상기 복수의 가상 차선 영상들 각각을 생성할 수 있다.In one embodiment, the control unit converts each lane point coordinate of the lane information into virtual lane point coordinates using the virtual camera model, and the plurality of virtual lane images including virtual lane points in the virtual lane point coordinates. each of which is generated, and the control unit determines the relative position of the camera to the plurality of vehicles until the plurality of virtual lane images are generated at the plurality of vehicle positions within the position error range of the navigation position. Each of the plurality of virtual lane images can be generated while changing the positions to correspond to each other.
일 실시예에서, 상기 제어부는, 수학식 ""을 이용하여 상기 차선 정보의 상기 각 차선 점 좌표를 상기 가상 차선 점 좌표로 변환하고, 여기서, s는 스케일 인자를 나타내고, 상기 스케일 인자가 곱해진 x 및 y는 상기 가상 차선 점 좌표를 나타내고, fx 및 fy는 상기 카메라의 초점 거리를 나타내고, cx 및 cy는 상기 카메라의 주점 좌표를 나타내고, skew_cfx는 상기 카메라의 비대칭 계수를 나타내고, r11 내지 r33은 상기 카메라의 회전 행렬 값들을 나타내고, t1 내지 t3은 상기 카메라의 상대 위치를 나타내고, X, Y 및 Z는 상기 차선 정보의 상기 각 차선 점 좌표를 나타낼 수 있다.In one embodiment, the control unit uses the equation " Convert each lane point coordinate of the lane information into the virtual lane point coordinates using ", where s represents a scale factor, x and y multiplied by the scale factor represent the virtual lane point coordinates, f x and f y represent the focal length of the camera, c x and c y represent the principal point coordinates of the camera, skew_cf values, t 1 to t 3 may represent the relative position of the camera, and X, Y, and Z may represent coordinates of each lane point of the lane information.
일 실시예에서, 상기 제어부는 상기 카메라의 상기 상대 위치를 0.1m씩 변경하여 0.1m의 간격을 가지는 상기 복수의 차량 위치들에서의 상기 복수의 가상 차선 영상들을 생성할 수 있다.In one embodiment, the controller may change the relative position of the camera by 0.1 m to generate the plurality of virtual lane images at the plurality of vehicle positions with an interval of 0.1 m.
일 실시예에서, 상기 제어부는, 상기 차선 검출 영상과 상기 복수의 가상 차선 영상들 사이의 정규화된 상호 정보(Normalized Mutual Information; NMI) 값들을 계산하고, 상기 NMI 값들 중 가장 큰 NMI 값을 가지는 상기 가상 차선 영상을 선택할 수 있다.In one embodiment, the control unit calculates normalized mutual information (NMI) values between the lane detection image and the plurality of virtual lane images, and calculates the normalized mutual information (NMI) values between the lane detection images and the plurality of virtual lane images, and You can select a virtual lane image.
일 실시예에서, 상기 제어부는, 상기 보정된 항법 위치를 상기 선택된 가상 차선 영상에 상응하는 상기 차량 위치로 결정할 수 있다.In one embodiment, the controller may determine the corrected navigation position as the vehicle position corresponding to the selected virtual lane image.
일 실시예에서, 상기 제어부는, 상기 고정밀 지도 데이터에 포함된 복수의 차로 중심선들 중 상기 보정된 항법 위치에 인접한 차로 중심선을 결정하고, 상기 결정된 차로 중심선에 따라 상기 차량의 상기 현재 차로를 결정할 수 있다.In one embodiment, the control unit may determine a lane center line adjacent to the corrected navigation position among a plurality of lane center lines included in the high-precision map data, and determine the current lane of the vehicle according to the determined lane center line. there is.
본 발명의 실시예들에 따른 차로 결정 방법 및 차로 결정 장치에서, 고정밀 지도 데이터로부터 항법 위치에 인접한 차선 정보가 추출되고, 상기 항법 위치, 상기 차선 정보 및 카메라의 카메라 파라미터에 기초하여 상기 항법 위치의 위치 오차 범위 내의 복수의 차량 위치들에서의 복수의 가상 차선 영상들이 생성되며, 전방 영상에서 차선을 검출하여 차선 검출 영상이 생성되고, 상기 차선 검출 영상과 상기 복수의 가상 차선 영상들에 대한 매칭을 수행하여 상기 항법 위치가 보정되고, 상기 보정된 항법 위치에 기초하여 상기 차량의 현재 차로가 결정될 수 있다. 이에 따라, 상기 차량의 정밀한 위치가 획득되고, 상기 차량의 상기 현재 차로가 정확하게 결정될 수 있다.In the lane determination method and lane determination device according to embodiments of the present invention, lane information adjacent to the navigation position is extracted from high-precision map data, and the navigation position is determined based on the navigation position, the lane information, and the camera parameters of the camera. A plurality of virtual lane images are generated at a plurality of vehicle positions within the position error range, a lane detection image is generated by detecting a lane in the front image, and the lane detection image and the plurality of virtual lane images are matched. The navigation position is corrected, and the current lane of the vehicle can be determined based on the corrected navigation position. Accordingly, the precise location of the vehicle can be obtained, and the current lane of the vehicle can be accurately determined.
다만, 본 발명의 효과는 상술한 효과에 한정되는 것이 아니며, 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위에서 다양하게 확장될 수 있을 것이다.However, the effects of the present invention are not limited to the effects described above, and may be expanded in various ways without departing from the spirit and scope of the present invention.
도 1은 본 발명의 실시예들에 따른 차로 결정 방법을 나타내는 순서도이다.
도 2는 항법 위치에 인접한 차선 정보의 일 예를 나타내는 도면이다.
도 3은 가상 카메라 모델의 일 예를 나타내는 도면이다.
도 4는 복수의 차량 위치들에서의 복수의 가상 차선 영상들의 일 예를 나타내는 도면이다.
도 5는 전방 영상에서 차선을 검출하여 차선 검출 영상을 생성하는 일 예를 설명하기 위한 도면이다.
도 6은 차선 검출 영상과 복수의 가상 차선 영상들에 대한 매칭을 수행하여 항법 위치를 보정하는 일 예를 설명하기 위한 도면이다.
도 7은 차선 검출 영상과 각 가상 차선 영상 사이의 정규화된 상호 정보(Normalized Mutual Information; NMI) 값을 계산하는 일 예를 설명하기 위한 도면이다.
도 8은 보정된 항법 위치에 기초하여 차량의 현재 차로를 결정하는 일 예를 설명하기 위한 도면이다.
도 9는 본 발명의 실시예들에 따른 차로 결정 장치를 나타내는 블록도이다.1 is a flowchart showing a method for determining a lane according to embodiments of the present invention.
Figure 2 is a diagram showing an example of lane information adjacent to a navigation position.
Figure 3 is a diagram showing an example of a virtual camera model.
FIG. 4 is a diagram illustrating an example of multiple virtual lane images at multiple vehicle locations.
Figure 5 is a diagram for explaining an example of generating a lane detection image by detecting a lane in a front image.
FIG. 6 is a diagram illustrating an example of correcting the navigation position by matching a lane detection image and a plurality of virtual lane images.
FIG. 7 is a diagram illustrating an example of calculating a normalized mutual information (NMI) value between a lane detection image and each virtual lane image.
FIG. 8 is a diagram illustrating an example of determining the current lane of a vehicle based on the corrected navigation position.
Figure 9 is a block diagram showing a lane determination device according to embodiments of the present invention.
본문에 개시되어 있는 본 발명의 실시예들에 대해서, 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 실시예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 실시예들은 다양한 형태로 실시될 수 있으며 본문에 설명된 실시예들에 한정되는 것으로 해석되어서는 아니 된다.Regarding the embodiments of the present invention disclosed in the text, specific structural and functional descriptions are merely illustrative for the purpose of explaining the embodiments of the present invention, and the embodiments of the present invention may be implemented in various forms. It should not be construed as limited to the embodiments described in.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.Since the present invention can be subject to various changes and can have various forms, specific embodiments will be illustrated in the drawings and described in detail in the text. However, this is not intended to limit the present invention to a specific disclosed form, and should be understood to include all changes, equivalents, and substitutes included in the spirit and technical scope of the present invention.
제1, 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성 요소로부터 구별하는 목적으로 사용될 수 있다. 예를 들어, 본 발명의 권리 범위로부터 이탈되지 않은 채 제1 구성 요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제 2 구성 요소도 제1 구성 요소로 명명될 수 있다.Terms such as first, second, etc. may be used to describe various components, but the components should not be limited by the terms. The above terms may be used for the purpose of distinguishing one component from another component. For example, a first component may be referred to as a second component, and similarly, the second component may also be referred to as a first component without departing from the scope of the present invention.
어떤 구성 요소가 다른 구성 요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성 요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성 요소가 다른 구성 요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성 요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.When a component is said to be "connected" or "connected" to another component, it is understood that it may be directly connected to or connected to that other component, but that other components may also exist in between. It should be. On the other hand, when it is mentioned that a component is “directly connected” or “directly connected” to another component, it should be understood that there are no other components in between. Other expressions that describe the relationship between components, such as "between" and "immediately between" or "neighboring" and "directly adjacent to" should be interpreted similarly.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terms used in this application are only used to describe specific embodiments and are not intended to limit the invention. Singular expressions include plural expressions unless the context clearly dictates otherwise. In this application, terms such as “comprise” or “have” are intended to designate the existence of a described feature, number, step, operation, component, part, or combination thereof, but are not intended to indicate the presence of one or more other features or numbers. It should be understood that this does not exclude in advance the possibility of the existence or addition of steps, operations, components, parts, or combinations thereof.
또한, 본문에 기재된 "~부" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.Additionally, terms such as “~unit” used in the text refer to a unit that processes at least one function or operation, and this may be implemented through hardware, software, or a combination of hardware and software.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미이다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미인 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless otherwise defined, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by a person of ordinary skill in the technical field to which the present invention pertains. Terms such as those defined in commonly used dictionaries should be interpreted as having a meaning consistent with the meaning in the context of the related technology, and unless clearly defined in the present application, should not be interpreted as having an ideal or excessively formal meaning. .
또한, 본 발명의 상세한 설명 및 특허청구범위에 사용된 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과, 이의 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.In addition, the terms used in the detailed description and claims of the present invention should be understood to include those commonly understood by those skilled in the art in the technical field to which the present invention pertains, as well as equivalents or substitutes thereof.
이하, 첨부한 도면들을 참조하여, 본 발명의 실시예들을 보다 상세하게 설명하고자 한다. 도면상의 동일한 구성 요소에 대해서는 동일하거나 유사한 참조 부호를 사용한다.Hereinafter, embodiments of the present invention will be described in more detail with reference to the attached drawings. The same or similar reference numerals are used for identical components in the drawings.
도 1은 본 발명의 실시예들에 따른 차로 결정 방법을 나타내는 순서도이고, 도 2는 항법 위치에 인접한 차선 정보의 일 예를 나타내는 도면이고, 도 3은 가상 카메라 모델의 일 예를 나타내는 도면이고, 도 4는 복수의 차량 위치들에서의 복수의 가상 차선 영상들의 일 예를 나타내는 도면이고, 도 5는 전방 영상에서 차선을 검출하여 차선 검출 영상을 생성하는 일 예를 설명하기 위한 도면이고, 도 6은 차선 검출 영상과 복수의 가상 차선 영상들에 대한 매칭을 수행하여 항법 위치를 보정하는 일 예를 설명하기 위한 도면이고, 도 7은 차선 검출 영상과 각 가상 차선 영상 사이의 정규화된 상호 정보(Normalized Mutual Information; NMI) 값을 계산하는 일 예를 설명하기 위한 도면이고, 도 8은 보정된 항법 위치에 기초하여 차량의 현재 차로를 결정하는 일 예를 설명하기 위한 도면이다.FIG. 1 is a flowchart showing a method for determining a lane according to embodiments of the present invention, FIG. 2 is a diagram showing an example of lane information adjacent to a navigation position, and FIG. 3 is a diagram showing an example of a virtual camera model. FIG. 4 is a diagram illustrating an example of a plurality of virtual lane images at a plurality of vehicle locations, FIG. 5 is a diagram illustrating an example of generating a lane detection image by detecting a lane in a front image, and FIG. 6 is a diagram to explain an example of correcting the navigation position by matching the lane detection image and a plurality of virtual lane images, and Figure 7 shows the normalized mutual information between the lane detection image and each virtual lane image. This is a diagram for explaining an example of calculating a Mutual Information (NMI) value, and FIG. 8 is a diagram for explaining an example of determining the current lane of a vehicle based on the corrected navigation position.
도 1을 참조하면, 본 발명의 실시예들에 따른 차량의 차로를 결정하는 방법에서, 상기 차량에 장착된 항법 장치가 상기 차량의 항법 위치를 획득할 수 있다(S110). 일 실시예에서, 상기 항법 장치는 위성의 궤도정보와 수신된 신호의 도달 시각차를 측정하여 삼각 측량방법으로 상기 차량의 3차원 위치를 실시간으로 결정하는 글로벌 위성 항법 장치(Global Navigation Satellite System; GNSS) 및/또는 자이로스코프를 통해 방위 기준을 정하고 가속도계를 이용하여 이동 변위를 측정하는 관성 항법 장치(Inertial Navigation System; INS)를 포함하고, 상기 항법 위치는 상기 GNSS 및/또는 상기 INS에 의해 결정된 상기 차량의 위치일 수 있다.Referring to FIG. 1, in the method for determining the lane of a vehicle according to embodiments of the present invention, a navigation device mounted on the vehicle may acquire the navigation position of the vehicle (S110). In one embodiment, the navigation device is a Global Navigation Satellite System (GNSS) that determines the three-dimensional position of the vehicle in real time using a triangulation method by measuring the satellite's orbit information and the arrival time difference of the received signal. and/or an inertial navigation system (INS) that determines a direction reference through a gyroscope and measures movement displacement using an accelerometer, and the navigation position is determined by the GNSS and/or the INS. It may be the location of .
상기 차량의 차로 결정 장치는 고정밀(High Definition; HD) 지도 데이터를 저장하는 고정밀 지도 저장부를 포함하고, 상기 차로 결정 장치의 제어부는 상기 고정밀 지도 데이터로부터 상기 항법 위치에 인접한 차선 정보를 추출할 수 있다(S120). 도 2는 상기 항법 위치에 인접한 상기 차선 정보의 일 예(200)를 나타낸다. 도 2에 도시된 바와 같이, 상기 고정밀 지도 데이터로부터 빨간 점으로 표시된 상기 항법 위치에 인접한 하얀 선 및 노란 선으로 표시된 차선들을 나타내는 상기 차선 정보가 추출될 수 있다.The lane determination device for the vehicle includes a high-precision map storage unit that stores high-definition (HD) map data, and the control unit of the lane determination device can extract information on lanes adjacent to the navigation position from the high-precision map data. (S120). Figure 2 shows an example 200 of the lane information adjacent to the navigation location. As shown in FIG. 2, the lane information representing lanes indicated by white and yellow lines adjacent to the navigation position indicated by a red dot can be extracted from the high-precision map data.
상기 제어부는 상기 항법 장치에 의해 획득된 상기 항법 위치, 상기 고정밀 지도 데이터로부터 추출된 상기 차선 정보 및 상기 차량에 장착된 카메라의 카메라 파라미터에 기초하여 상기 항법 위치의 위치 오차 범위 내의 복수의 차량 위치들에서의 상기 카메라의 시선에 의한 복수의 가상 차선 영상들을 생성할 수 있다(S130, S140). 일 실시예에서, 상기 카메라 파라미터는 상기 카메라의 내적 파라미터(intrinsic parameter) 및 외적 파라미터(extrinsic parameter)를 포함할 수 있다. 예를 들어, 상기 내적 파라미터는, 상기 카메라에 대한 내재적 파라미터로서, 상기 카메라의 초점 거리(focal length), 주점(principal point) 좌표, 및 상기 카메라에 대한 조정(Calibration)에 의해 획득되는 비대칭 계수를 포함할 수 있다. 또한, 예를 들어, 상기 외적 파라미터는, 상기 카메라에 대한 외부적 파라미터로서, 상기 카메라의 자세에 의해 결정되는 회전 행렬 값, 및 상기 항법 위치로부터의 상기 카메라의 상대 위치를 포함할 수 있다.The control unit determines a plurality of vehicle positions within a position error range of the navigation position based on the navigation position acquired by the navigation device, the lane information extracted from the high-precision map data, and the camera parameters of the camera mounted on the vehicle. A plurality of virtual lane images can be generated by the camera's line of sight (S130, S140). In one embodiment, the camera parameters may include intrinsic parameters and extrinsic parameters of the camera. For example, the intrinsic parameter is an intrinsic parameter for the camera, including the focal length of the camera, the principal point coordinates, and the asymmetry coefficient obtained by calibration of the camera. It can be included. Also, for example, the external parameter is an external parameter for the camera and may include a rotation matrix value determined by the posture of the camera and a relative position of the camera from the navigation position.
일 실시예에서, 상기 제어부는 상기 카메라 파라미터를 이용하여 가상 카메라 모델을 생성하고(S130), 상기 가상 카메라 모델에서 상기 카메라의 상기 상대 위치를 변경하면서 상기 복수의 차량 위치들 각각에서의 상기 복수의 가상 차선 영상들 각각을 생성할 수 있다(S140). 여기서, 상기 가상 카메라 모델은 상기 차선 정보의 각 차선 점 좌표를 각 가상 차선 영상에서의 가상 차선 점 좌표로 변환하기 위한 수학식을 나타낼 수 있다.In one embodiment, the control unit generates a virtual camera model using the camera parameters (S130), and changes the relative position of the camera in the virtual camera model while changing the plurality of vehicle locations at each of the plurality of vehicle locations. Each of the virtual lane images can be generated (S140). Here, the virtual camera model may represent a mathematical equation for converting the coordinates of each lane point in the lane information into the coordinates of the virtual lane point in each virtual lane image.
예를 들어, 도 3에 도시된 바와 같이, 상기 가상 카메라 모델은 수학식(300)일 수 있고, 상기 제어부는 수학식(300), 즉 ""을 이용하여 상기 차선 정보의 상기 각 차선 점 좌표를 상기 가상 차선 점 좌표로 변환할 수 있다. 여기서, s는 스케일 인자를 나타내고, 상기 스케일 인자가 곱해진 x 및 y는 각 가상 차선 영상에서의 상기 가상 차선 점 좌표를 나타내고, fx 및 fy는 상기 카메라의 (x-축 및 y-축에서의) 상기 초점 거리를 나타내고, cx 및 cy는 상기 카메라의 (x-축 및 y-축에서의) 상기 주점 좌표를 나타내고, skew_cfx는 상기 카메라의 상기 비대칭 계수를 나타내고, r11 내지 r33은 상기 카메라의 자세에 의해 결정되는 상기 카메라의 회전 행렬 값들을 나타내고, t1 내지 t3은 상기 항법 위치로부터의 상기 카메라의 상대 위치를 나타내고, X, Y 및 Z는 상기 차선 정보의 상기 각 차선 점 좌표(예를 들어, 상기 항법 위치로부터의 각 차선 점의 상대 위치)를 나타낼 수 있다.For example, as shown in FIG. 3, the virtual camera model may be
상기 제어부는 상기 차선 정보의 각 차선 점 좌표를 상기 가상 카메라 모델을 이용하여 상기 가상 차선 점 좌표로 변환하고, 상기 가상 차선 점 좌표에서 가상 차선 점을 포함하는 상기 복수의 가상 차선 영상들 각각을 생성할 수 있다. 또한, 상기 항법 위치의 상기 위치 오차 범위 내의 상기 복수의 차량 위치들에서의 상기 복수의 가상 차선 영상들이 생성될 때까지, 상기 카메라의 상기 상대 위치가 상기 복수의 차량 위치들에 각각 상응하도록 변경되면서 상기 복수의 가상 차선 영상들 각각이 생성될 수 있다. 예를 들어, 도 4에 도시된 바와 같이, 상기 제어부는 상기 항법 위치에서 상기 고정밀 지도 데이터로부터 추출된 상기 차선 정보의 각 차선 점 좌표를 상기 가상 카메라 모델을 이용하여 상기 가상 차선 점 좌표로 변환함으로써, 상기 차량 위치로서 상기 항법 위치에서의 가상 차선 영상(410)을 생성할 수 있다. 또한, 상기 항법 위치의 상기 위치 오차 범위가 약 +2m 내지 약 -2m인 경우, 상기 제어부는, 상기 차량 위치를 상기 차량의 진행 방향에 수직인 횡(Lateral) 방향으로 변경하면서, 즉 상기 카메라의 상기 상대 위치(예를 들어, t1 내지 t3 중 적어도 하나)를 약 0m에서 약 -2m까지 일정 간격만큼 변경하면서 각 차량 위치에서의 가상 차선 영상(420)을 생성하고, 또한 상기 카메라의 상기 상대 위치(예를 들어, t1 내지 t3 중 적어도 하나)를 약 0m에서 약 +2m까지 일정 간격만큼 변경하면서 각 차량 위치에서의 가상 차선 영상(430)을 생성할 수 있다. 일 실시예에서, 상기 제어부는 상기 카메라의 상기 상대 위치를 약 0.1m씩 변경하여 약 0.1m의 간격을 가지는 상기 복수의 차량 위치들에서의 복수의 가상 차선 영상들(400)을 생성할 수 있다. 한편, 복수의 가상 차선 영상들(400) 각각은 상응하는 차량 위치에서의 상기 카메라의 시선에 의한 차선들의 영상일 수 있다. 예를 들어, 도 4에서 중간에 위치한 가상 차선 영상(410)은 상기 차량이 상기 항법 위치에 위치한 경우 상기 카메라의 시선에 의한 차선들의 영상일 수 있다. 또한, 도 4에서 좌측에 위치한 가상 차선 영상(420)은 상기 차량이 상기 항법 위치로부터 상기 횡 방향을 따라 좌측으로 2m 떨어진 위치에 위치한 경우 상기 카메라의 시선에 의한 차선들의 영상일 수 있다. 또한, 도 4에서 우측에 위치한 가상 차선 영상(430)은 상기 차량이 상기 항법 위치로부터 상기 횡 방향을 따라 우측으로 2m 떨어진 위치에 위치한 경우 상기 카메라의 시선에 의한 차선들의 영상일 수 있다.The control unit converts each lane point coordinate of the lane information into the virtual lane point coordinates using the virtual camera model, and generates each of the plurality of virtual lane images including a virtual lane point from the virtual lane point coordinates. can do. Additionally, the relative position of the camera is changed to correspond to each of the plurality of vehicle positions until the plurality of virtual lane images are generated at the plurality of vehicle positions within the position error range of the navigation position. Each of the plurality of virtual lane images may be generated. For example, as shown in FIG. 4, the control unit converts each lane point coordinate of the lane information extracted from the high-precision map data at the navigation location into the virtual lane point coordinates using the virtual camera model. , a virtual lane image 410 at the navigation position can be generated as the vehicle position. In addition, when the position error range of the navigation position is about +2m to about -2m, the control unit changes the vehicle location in the lateral direction perpendicular to the traveling direction of the vehicle, that is, the camera A virtual lane image 420 is generated at each vehicle location while changing the relative position (for example, at least one of t1 to t3) at a certain interval from about 0m to about -2m, and the relative position of the camera A virtual lane image 430 at each vehicle location may be generated while changing (for example, at least one of t1 to t3) at regular intervals from about 0 m to about +2 m. In one embodiment, the control unit may change the relative position of the camera by about 0.1 m to generate a plurality of virtual lane images 400 at the plurality of vehicle positions with an interval of about 0.1 m. . Meanwhile, each of the plurality of virtual lane images 400 may be an image of lanes from the perspective of the camera at the corresponding vehicle location. For example, the virtual lane image 410 located in the middle of FIG. 4 may be an image of lanes viewed from the camera's line of sight when the vehicle is located at the navigation position. Additionally, the virtual lane image 420 located on the left in FIG. 4 may be an image of lanes viewed from the camera's line of sight when the vehicle is located 2 m to the left along the lateral direction from the navigation position. Additionally, the virtual lane image 430 located on the right in FIG. 4 may be an image of lanes viewed from the camera's line of sight when the vehicle is located 2 m to the right along the lateral direction from the navigation position.
상기 차량에 장착된 상기 카메라는 상기 차량의 전방 영상을 촬영하고(S150), 상기 제어부는 상기 전방 영상에서 차선을 검출하여 차선 검출 영상을 생성할 수 있다(S160). 예를 들어, 도 5에 도시된 바와 같이, 상기 카메라는 상기 차량의 전방 영상(510)을 촬영하고, 상기 제어부는 530으로 표시된 바와 같이 전방 영상(510)에서 차선을 검출할 수 있다. 일 예에서, 상기 제어부는 전방 영상(510)에서 휴 변환(Hough Transform)을 수행하여 직선을 구하고, 소실점을 이용하여 차선을 검출할 수 있다. 이에 따라, 전방 영상(510)에서의 차선을 나타내는 차선 검출 영상(550)이 생성될 수 있다.The camera mounted on the vehicle captures a front image of the vehicle (S150), and the control unit detects a lane in the front image to generate a lane detection image (S160). For example, as shown in FIG. 5 , the camera captures a front image 510 of the vehicle, and the control unit may detect a lane in the front image 510 as indicated by 530 . In one example, the controller may perform Hough Transform on the front image 510 to obtain a straight line and detect a lane using the vanishing point. Accordingly, a lane detection image 550 representing a lane in the front image 510 may be generated.
상기 제어부는 상기 차선 검출 영상과 상기 복수의 가상 차선 영상들에 대한 매칭을 수행하여 상기 복수의 가상 차선 영상들 중 상기 차선 검출 영상과 매칭되는 가상 차선 영상을 선택할 수 있다(S170). 예를 들어, 도 6에 도시된 바와 같이, 상기 제어부는 차선 검출 영상(550)과 복수의 가상 차선 영상들(400)에 대한 매칭을 수행하여 차선 검출 영상(550)과 매칭되는 가상 차선 영상(420)을 획득할 수 있다. 한편, 차선 검출 영상(550)에 매칭되는 가상 차선 영상(420)과 도 5의 전방 영상(510)이 중첩되는 경우, 도 6의 650에 도시된 바와 같이, 가상 차선 영상(420)의 차선들과 전방 영상(510)의 차선들이 일치할 수 있다.The control unit may perform matching between the lane detection image and the plurality of virtual lane images and select a virtual lane image that matches the lane detection image among the plurality of virtual lane images (S170). For example, as shown in FIG. 6, the control unit performs matching between the lane detection image 550 and a plurality of virtual lane images 400 to match the lane detection image 550 with a virtual lane image ( 420) can be obtained. Meanwhile, when the virtual lane image 420 matching the lane detection image 550 and the front image 510 of FIG. 5 overlap, as shown at 650 in FIG. 6, the lanes of the virtual lane image 420 The lanes of the front image 510 may coincide.
일 실시예에서, 상기 제어부는 상기 차선 검출 영상과 상기 복수의 가상 차선 영상들 사이의 정규화된 상호 정보(Normalized Mutual Information; NMI) 값들을 계산하고, 상기 NMI 값들 중 가장 큰 NMI 값을 가지는 상기 가상 차선 영상을 상기 차선 검출 영상에 매칭되는 상기 가상 차선 영상으로 선택할 수 있다. 예를 들어, 상기 제어부는 도 7에 도시된 수학식(710), 즉 "", 및 수학식(730), 즉 ""을 이용하여 상기 차선 검출 영상과 각 가상 차선 영상의 NMI 값을 계산할 수 있다. 여기서, Y는 상기 가상 차선 영상이고, C는 상기 차선 검출 영상이며, NMI(Y,C)는 상기 차선 검출 영상과 각 가상 차선 영상의 상기 NMI 값이고, "H(변수)" 함수는 변수의 엔트로피를 나타낼 수 있다. 다만, 상기 차선 검출 영상과 상기 복수의 가상 차선 영상들의 매칭은 도 7의 수학식들(710, 730)을 이용하는 것에 한정되지 않는다.In one embodiment, the control unit calculates normalized mutual information (NMI) values between the lane detection image and the plurality of virtual lane images, and the virtual lane having the largest NMI value among the NMI values. A lane image may be selected as the virtual lane image matching the lane detection image. For example, the control unit uses
상기 제어부는 상기 매칭 결과에 따라, 즉 상기 복수의 차량 위치들 중 상기 선택된 가상 차선 영상에 상응하는 차량 위치에 따라 상기 항법 위치를 보정할 수 있다(S180). 일 실시예에서, 상기 제어부는 상기 보정된 항법 위치를 상기 선택된 가상 차선 영상에 상응하는 상기 차량 위치로 결정할 수 있다. 한편, 이와 같이 결정된 차량 위치는 실제 차량 위치와 실질적으로 동일한 차량 정밀 위치일 수 있다. 예를 들어, 도 6의 600에 도시된 바와 같이, 빨간 점으로 표시된 상기 항법 위치는 녹색 점으로 표시된 상기 실제 차량 위치로부터 떨어져 있을 수 있으나, 상기 매칭 결과에 따른 파란 점으로 표시된 녹색 점으로 표시된 상기 실제 차량 위치와 동일 또는 중첩될 수 있다.The control unit may correct the navigation position according to the matching result, that is, according to the vehicle position corresponding to the selected virtual lane image among the plurality of vehicle positions (S180). In one embodiment, the controller may determine the corrected navigation position as the vehicle position corresponding to the selected virtual lane image. Meanwhile, the vehicle location determined in this way may be a precise vehicle location that is substantially the same as the actual vehicle location. For example, as shown at 600 in FIG. 6, the navigation position indicated by a red dot may be distant from the actual vehicle position indicated by a green dot, but the navigation position indicated by a blue dot according to the matching result is indicated by a green dot. It may be identical to or overlap with the actual vehicle location.
상기 제어부는 상기 보정된 항법 위치에 기초하여 상기 차량의 현재 차로를 결정할 수 있다(S190). 일 실시예에서, 상기 제어부는 상기 고정밀 지도 데이터에 포함된 복수의 차로 중심선들 중 상기 보정된 항법 위치에 인접한 차로 중심선을 결정하고, 상기 결정된 차로 중심선에 따라 상기 차량의 상기 현재 차로를 결정할 수 있다. 예를 들어, 도 8의 800에서 녹색 선들은 차선들을 나타내고, 분홍 선들은 차로 중심선들을 나타낸다. 상기 제어부는 상기 분홍 선들로 표현된 차로 중심선들 중 상기 보정된 항법 위치에 가장 가까운 차로 중심선을 선택하고, 상기 차로 중심선이 위치한 차로를 상기 차량의 상기 현재 차로로 결정할 수 있다.The control unit may determine the current lane of the vehicle based on the corrected navigation position (S190). In one embodiment, the control unit determines a lane center line adjacent to the corrected navigation position among a plurality of lane center lines included in the high-precision map data, and determines the current lane of the vehicle according to the determined lane center line. . For example, at 800 in FIG. 8, green lines represent lanes, and pink lines represent lane center lines. The control unit may select the lane center line closest to the corrected navigation position among the lane center lines represented by the pink lines, and determine the lane where the lane center line is located as the current lane of the vehicle.
상술한 바와 같이, 본 발명의 실시예들에 따른 상기 차로 결정 방법에서, 상기 고정밀 지도 데이터로부터 상기 항법 위치에 인접한 상기 차선 정보가 추출되고, 상기 항법 위치, 상기 차선 정보 및 상기 카메라 파라미터에 기초하여 상기 항법 위치의 상기 위치 오차 범위 내의 상기 복수의 차량 위치들에서의 상기 복수의 가상 차선 영상들이 생성되며, 상기 전방 영상에서 상기 차선을 검출하여 상기 차선 검출 영상이 생성되고, 상기 차선 검출 영상과 상기 복수의 가상 차선 영상들에 대한 매칭을 수행하여 상기 항법 위치가 보정되고, 상기 보정된 항법 위치에 기초하여 상기 차량의 상기 현재 차로가 결정될 수 있다. 이에 따라, 상기 차량의 정밀한 위치가 획득되고, 상기 차량의 상기 현재 차로가 정확하게 결정될 수 있다.As described above, in the lane determination method according to embodiments of the present invention, the lane information adjacent to the navigation position is extracted from the high-precision map data, and based on the navigation position, the lane information, and the camera parameters. The plurality of virtual lane images are generated at the plurality of vehicle positions within the position error range of the navigation position, the lane detection image is generated by detecting the lane in the front image, and the lane detection image and the The navigation position may be corrected by performing matching on a plurality of virtual lane images, and the current lane of the vehicle may be determined based on the corrected navigation position. Accordingly, the precise location of the vehicle can be obtained, and the current lane of the vehicle can be accurately determined.
도 9는 본 발명의 실시예들에 따른 차로 결정 장치를 나타내는 블록도이다.Figure 9 is a block diagram showing a lane determination device according to embodiments of the present invention.
도 9를 참조하면, 본 발명의 실시예들에 따른 차량의 차로를 결정하는 차로 결정 장치(900)는 상기 차량의 항법 위치를 획득하는 항법 장치(910), 상기 차량의 전방 영상을 촬영하는 카메라(950), 고정밀 지도(HD-MAP) 데이터를 저장하는 고정밀 지도 저장부(930), 및 차로 결정 장치(100)의 동작을 제어하는 제어부(970)를 포함할 수 있다. 일 실시예에서, 항법 장치(910)는 글로벌 위성 항법 장치(Global Navigation Satellite System; GNSS) 및/또는 관성 항법 장치(Inertial Navigation System; INS)를 포함할 수 있다.Referring to FIG. 9, the
제어부(970)는 상기 고정밀 지도 데이터로부터 상기 항법 위치에 인접한 차선 정보를 추출하고, 상기 항법 위치, 상기 차선 정보 및 카메라(950)의 카메라 파라미터에 기초하여 상기 항법 위치의 위치 오차 범위 내의 복수의 차량 위치들에서의 카메라(950)의 시선에 의한 복수의 가상 차선 영상들을 생성할 수 있다. 일 실시예에서, 상기 카메라 파라미터는 카메라(950)의 내적 파라미터 및 외적 파라미터를 포함하고, 상기 내적 파라미터는 카메라(950)의 초점 거리, 주점 좌표 및 비대칭 계수를 포함하고, 상기 외적 파라미터는 카메라(950)의 회전 행렬 값 및 상대 위치를 포함할 수 있다.The
일 실시예에서, 제어부(970)는 상기 카메라 파라미터를 이용하여 가상 카메라 모델을 생성하고, 상기 가상 카메라 모델에서 카메라(950)의 상대 위치를 변경하면서 상기 복수의 차량 위치들 각각에서의 상기 복수의 가상 차선 영상들 각각을 생성할 수 있다. 예를 들어, 제어부(970)는 상기 차선 정보의 각 차선 점 좌표를 상기 가상 카메라 모델을 이용하여 가상 차선 점 좌표로 변환하고, 상기 가상 차선 점 좌표에서 가상 차선 점을 포함하는 상기 복수의 가상 차선 영상들 각각을 생성할 수 있다. 일 실시예에서, 제어부(970)는 수학식 ""을 이용하여 상기 차선 정보의 상기 각 차선 점 좌표를 상기 가상 차선 점 좌표로 변환할 수 있고, 여기서, s는 스케일 인자를 나타내고, 상기 스케일 인자가 곱해진 x 및 y는 상기 가상 차선 점 좌표를 나타내고, fx 및 fy는 카메라(950)의 초점 거리를 나타내고, cx 및 cy는 카메라(950)의 주점 좌표를 나타내고, skew_cfx는 카메라(950)의 비대칭 계수를 나타내고, r11 내지 r33은 카메라(950)의 회전 행렬 값들을 나타내고, t1 내지 t3은 카메라(950)의 상대 위치를 나타내고, X, Y 및 Z는 상기 차선 정보의 상기 각 차선 점 좌표를 나타낼 수 있다.In one embodiment, the
한편, 제어부(970)는, 상기 항법 위치의 상기 위치 오차 범위 내의 상기 복수의 차량 위치들에서의 상기 복수의 가상 차선 영상들이 생성될 때까지, 카메라(950)의 상기 상대 위치를 상기 복수의 차량 위치들에 각각 상응하도록 변경하면서 상기 복수의 가상 차선 영상들 각각을 생성할 수 있다. 일 실시예에서, 제어부(970)는 카메라(950)의 상기 상대 위치를 0.1m씩 변경하여 0.1m의 간격을 가지는 상기 복수의 차량 위치들에서의 상기 복수의 가상 차선 영상들을 생성할 수 있다.Meanwhile, the
또한, 제어부(970)는 카메라(950)에 의해 촬영된 상기 전방 영상에서 차선을 검출하여 차선 검출 영상을 생성하고, 상기 차선 검출 영상과 상기 복수의 가상 차선 영상들에 대한 매칭을 수행하여 상기 복수의 가상 차선 영상들 중 상기 차선 검출 영상과 매칭되는 가상 차선 영상을 선택할 수 있다. 일 실시예에서, 제어부(970)는 상기 차선 검출 영상과 상기 복수의 가상 차선 영상들 사이의 정규화된 상호 정보(Normalized Mutual Information; NMI) 값들을 계산하고, 상기 NMI 값들 중 가장 큰 NMI 값을 가지는 상기 가상 차선 영상을 선택할 수 있다.In addition, the
또한, 제어부(970)는 상기 복수의 차량 위치들 중 상기 선택된 가상 차선 영상에 상응하는 차량 위치에 따라 상기 항법 위치를 보정할 수 있다. 일 실시예에서, 제어부(970)는 상기 보정된 항법 위치를 상기 선택된 가상 차선 영상에 상응하는 상기 차량 위치로 결정할 수 있다. 한편, 이와 같이 결정된 상기 보정된 항법 위치는 상기 차량의 실제 위치에 상응한 차량 정밀 위치일 수 있다.Additionally, the
또한, 제어부(970)는 상기 보정된 항법 위치에 기초하여 상기 차량의 현재 차로를 결정할 수 있다. 일 실시예에서, 제어부(970)는 고정밀 지도 저장부(930)에 저장된 상기 고정밀 지도 데이터에 포함된 복수의 차로 중심선들 중 상기 보정된 항법 위치에 인접한 차로 중심선을 결정하고, 상기 결정된 차로 중심선에 따라 상기 차량의 상기 현재 차로를 결정할 수 있다.Additionally, the
상술한 바와 같이, 본 발명의 실시예들에 따른 차로 결정 장치(100)는 상기 고정밀 지도 데이터로부터 상기 항법 위치에 인접한 상기 차선 정보를 추출하고, 상기 항법 위치, 상기 차선 정보 및 상기 카메라 파라미터에 기초하여 상기 항법 위치의 상기 위치 오차 범위 내의 상기 복수의 차량 위치들에서의 상기 복수의 가상 차선 영상들을 생성하며, 상기 전방 영상에서 상기 차선을 검출하여 상기 차선 검출 영상을 생성하고, 상기 차선 검출 영상과 상기 복수의 가상 차선 영상들에 대한 매칭을 수행하여 상기 항법 위치를 보정하고, 상기 보정된 항법 위치에 기초하여 상기 차량의 상기 현재 차로를 결정할 수 있다. 이에 따라, 본 발명의 실시예들에 따른 차로 결정 장치(100)는 상기 차량의 정밀한 위치를 획득하고, 상기 차량의 상기 현재 차로를 정확하게 결정할 수 있다.As described above, the lane determination device 100 according to embodiments of the present invention extracts the lane information adjacent to the navigation position from the high-precision map data and based on the navigation position, the lane information, and the camera parameters. generating the plurality of virtual lane images at the plurality of vehicle positions within the position error range of the navigation position, detecting the lane in the front image to generate the lane detection image, and generating the lane detection image and The navigation position may be corrected by matching the plurality of virtual lane images, and the current lane of the vehicle may be determined based on the corrected navigation position. Accordingly, the lane determination device 100 according to embodiments of the present invention can obtain the precise location of the vehicle and accurately determine the current lane of the vehicle.
이상, 본 발명의 실시예들에 따른 차로 결정 방법 및 차로 결정 장치에 대하여 도면을 참조하여 설명하였지만, 상기 설명은 예시적인 것으로서 본 발명의 기술적 사상을 벗어나지 않는 범위에서 해당 기술 분야에서 통상의 지식을 가진 자에 의하여 수정 및 변경될 수 있을 것이다.Above, the lane determination method and lane determination device according to the embodiments of the present invention have been described with reference to the drawings. However, the above description is illustrative and is based on common knowledge in the relevant technical field without departing from the technical spirit of the present invention. It may be modified and changed by those who have it.
본 발명은 차량용 방법 및 장치에 적용될 수 있다. 이상에서는 본 발명의 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.The present invention can be applied to methods and devices for vehicles. Although the present invention has been described above with reference to embodiments, those skilled in the art may modify and change the present invention in various ways without departing from the spirit and scope of the present invention as set forth in the claims below. You will understand that it is possible.
900: 차로 결정 장치
910: 항법 장치
930: 고정밀 지도 저장부
950: 카메라
970: 제어부900: Lane decision device
910: navigation device
930: High-precision map storage unit
950: Camera
970: Control unit
Claims (20)
항법 장치가 상기 차량의 항법 위치를 획득하는 단계;
제어부가 고정밀 지도 데이터로부터 상기 항법 위치에 인접한 차선 정보를 추출하는 단계;
상기 제어부가 상기 항법 위치, 상기 차선 정보 및 카메라의 카메라 파라미터에 기초하여 상기 항법 위치의 위치 오차 범위 내의 복수의 차량 위치들에서의 상기 카메라의 시선에 의한 복수의 가상 차선 영상들을 생성하는 단계;
상기 카메라가 상기 차량의 전방 영상을 촬영하는 단계;
상기 제어부가 상기 전방 영상에서 차선을 검출하여 차선 검출 영상을 생성하는 단계;
상기 제어부가 상기 차선 검출 영상과 상기 복수의 가상 차선 영상들에 대한 매칭을 수행하여 상기 복수의 가상 차선 영상들 중 상기 차선 검출 영상과 매칭되는 가상 차선 영상을 선택하는 단계;
상기 제어부가 상기 복수의 차량 위치들 중 상기 선택된 가상 차선 영상에 상응하는 차량 위치에 따라 상기 항법 위치를 보정하는 단계; 및
상기 제어부가 상기 보정된 항법 위치에 기초하여 상기 차량의 현재 차로를 결정하는 단계를 포함하고,
상기 복수의 차량 위치들에서의 상기 복수의 가상 차선 영상들을 생성하는 단계는,
상기 제어부가 상기 카메라 파라미터를 이용하여 가상 카메라 모델을 생성하는 단계; 및
상기 제어부가 상기 가상 카메라 모델에서 상기 카메라의 상대 위치를 변경하면서 상기 복수의 차량 위치들 각각에서의 상기 복수의 가상 차선 영상들 각각을 생성하는 단계를 포함하는 것을 특징으로 하는 차로 결정 방법.In the method of determining the lane of a vehicle,
A navigation device acquiring the navigation position of the vehicle;
A control unit extracting lane information adjacent to the navigation location from high-precision map data;
The control unit generating a plurality of virtual lane images by the line of sight of the camera at a plurality of vehicle positions within a position error range of the navigation position based on the navigation position, the lane information, and camera parameters of the camera;
capturing an image of the front of the vehicle by the camera;
generating a lane detection image by the control unit detecting a lane in the front image;
The control unit performing matching between the lane detection image and the plurality of virtual lane images to select a virtual lane image that matches the lane detection image among the plurality of virtual lane images;
The control unit correcting the navigation position according to a vehicle location corresponding to the selected virtual lane image among the plurality of vehicle locations; and
The control unit determines the current lane of the vehicle based on the corrected navigation position,
Generating the plurality of virtual lane images at the plurality of vehicle locations includes:
generating a virtual camera model by the control unit using the camera parameters; and
A method for determining a lane, wherein the control unit generates each of the plurality of virtual lane images at each of the plurality of vehicle positions while changing the relative position of the camera in the virtual camera model.
상기 외적 파라미터는 상기 카메라의 회전 행렬 값 및 상대 위치를 포함하는 것을 특징으로 하는 차로 결정 방법.The method of claim 2, wherein the inner product parameters include a focal length, principal point coordinates, and asymmetry coefficient of the camera,
The external parameter includes a rotation matrix value and a relative position of the camera.
상기 제어부가 상기 차선 정보의 각 차선 점 좌표를 상기 가상 카메라 모델을 이용하여 가상 차선 점 좌표로 변환하는 단계; 및
상기 제어부가 상기 가상 차선 점 좌표에서 가상 차선 점을 포함하는 상기 복수의 가상 차선 영상들 각각을 생성하는 단계를 포함하고,
상기 항법 위치의 상기 위치 오차 범위 내의 상기 복수의 차량 위치들에서의 상기 복수의 가상 차선 영상들이 생성될 때까지, 상기 카메라의 상기 상대 위치가 상기 복수의 차량 위치들에 각각 상응하도록 변경되면서 상기 복수의 가상 차선 영상들 각각이 생성되는 것을 특징으로 하는 차로 결정 방법.The method of claim 1, wherein generating each of the plurality of virtual lane images at each of the plurality of vehicle locations comprises:
The control unit converting each lane point coordinate of the lane information into virtual lane point coordinates using the virtual camera model; and
The control unit generating each of the plurality of virtual lane images including a virtual lane point in the virtual lane point coordinates,
The relative position of the camera is changed to correspond to each of the plurality of vehicle positions until the plurality of virtual lane images at the plurality of vehicle positions within the position error range of the navigation position are generated. A lane determination method characterized in that each of the virtual lane images is generated.
수학식 ""을 이용하여 상기 차선 정보의 상기 각 차선 점 좌표를 상기 가상 차선 점 좌표로 변환하고,
여기서, s는 스케일 인자를 나타내고, 상기 스케일 인자가 곱해진 x 및 y는 상기 가상 차선 점 좌표를 나타내고, fx 및 fy는 상기 카메라의 초점 거리를 나타내고, cx 및 cy는 상기 카메라의 주점 좌표를 나타내고, skew_cfx는 상기 카메라의 비대칭 계수를 나타내고, r11 내지 r33은 상기 카메라의 회전 행렬 값들을 나타내고, t1 내지 t3은 상기 카메라의 상대 위치를 나타내고, X, Y 및 Z는 상기 차선 정보의 상기 각 차선 점 좌표를 나타내는 것을 특징으로 하는 차로 결정 방법.The method of claim 5, wherein the control unit,
Mathematical expression " Converting each lane point coordinate of the lane information into the virtual lane point coordinates using ",
Here, s represents the scale factor, x and y multiplied by the scale factor represent the virtual lane point coordinates, f x and f y represent the focal length of the camera, and c x and c y represent the focal length of the camera. represents the principal point coordinates , skew_cf represents the coordinates of each lane point of the lane information.
상기 제어부가 상기 차선 검출 영상과 상기 복수의 가상 차선 영상들 사이의 정규화된 상호 정보(Normalized Mutual Information; NMI) 값들을 계산하는 단계; 및
상기 제어부가 상기 NMI 값들 중 가장 큰 NMI 값을 가지는 상기 가상 차선 영상을 선택하는 단계를 포함하는 것을 특징으로 하는 차로 결정 방법.The method of claim 1, wherein selecting the virtual lane image that matches the lane detection image from among the plurality of virtual lane images comprises:
The control unit calculating normalized mutual information (NMI) values between the lane detection image and the plurality of virtual lane images; and
A method for determining a lane, wherein the control unit selects the virtual lane image having the largest NMI value among the NMI values.
상기 제어부가 상기 보정된 항법 위치를 상기 선택된 가상 차선 영상에 상응하는 상기 차량 위치로 결정하는 단계를 포함하는 것을 특징으로 하는 차로 결정 방법.The method of claim 1, wherein correcting the navigation position according to the vehicle position corresponding to the selected virtual lane image comprises:
A lane determination method comprising the step of the control unit determining the corrected navigation position as the vehicle position corresponding to the selected virtual lane image.
상기 제어부가 상기 고정밀 지도 데이터에 포함된 복수의 차로 중심선들 중 상기 보정된 항법 위치에 인접한 차로 중심선을 결정하는 단계; 및
상기 제어부가 상기 결정된 차로 중심선에 따라 상기 차량의 상기 현재 차로를 결정하는 단계를 포함하는 것을 특징으로 하는 차로 결정 방법.The method of claim 1, wherein determining the current lane of the vehicle based on the corrected navigation position comprises:
The control unit determining a lane center line adjacent to the corrected navigation position among a plurality of lane center lines included in the high-precision map data; and
A method for determining a lane, wherein the control unit determines the current lane of the vehicle according to the determined lane center line.
상기 차량의 항법 위치를 획득하는 항법 장치;
상기 차량의 전방 영상을 촬영하는 카메라;
고정밀 지도 데이터를 저장하는 고정밀 지도 저장부; 및
상기 차로 결정 장치의 동작을 제어하는 제어부를 포함하고,
상기 제어부는,
상기 고정밀 지도 데이터로부터 상기 항법 위치에 인접한 차선 정보를 추출하고,
상기 항법 위치, 상기 차선 정보 및 상기 카메라의 카메라 파라미터에 기초하여 상기 항법 위치의 위치 오차 범위 내의 복수의 차량 위치들에서의 상기 카메라의 시선에 의한 복수의 가상 차선 영상들을 생성하고,
상기 전방 영상에서 차선을 검출하여 차선 검출 영상을 생성하고,
상기 차선 검출 영상과 상기 복수의 가상 차선 영상들에 대한 매칭을 수행하여 상기 복수의 가상 차선 영상들 중 상기 차선 검출 영상과 매칭되는 가상 차선 영상을 선택하고,
상기 복수의 차량 위치들 중 상기 선택된 가상 차선 영상에 상응하는 차량 위치에 따라 상기 항법 위치를 보정하고,
상기 보정된 항법 위치에 기초하여 상기 차량의 현재 차로를 결정하고,
상기 제어부는,
상기 카메라 파라미터를 이용하여 가상 카메라 모델을 생성하고,
상기 가상 카메라 모델에서 상기 카메라의 상대 위치를 변경하면서 상기 복수의 차량 위치들 각각에서의 상기 복수의 가상 차선 영상들 각각을 생성하는 것을 특징으로 하는 차로 결정 장치.In the lane determination device for determining the lane of a vehicle,
a navigation device that acquires the navigation position of the vehicle;
A camera that captures an image of the front of the vehicle;
A high-precision map storage unit that stores high-precision map data; and
A control unit that controls the operation of the lane determination device,
The control unit,
Extract lane information adjacent to the navigation location from the high-precision map data,
Generate a plurality of virtual lane images by the line of sight of the camera at a plurality of vehicle positions within a position error range of the navigation position based on the navigation position, the lane information, and the camera parameters of the camera,
Generate a lane detection image by detecting a lane in the front image,
Matching the lane detection image and the plurality of virtual lane images to select a virtual lane image that matches the lane detection image among the plurality of virtual lane images,
Correcting the navigation position according to a vehicle position corresponding to the selected virtual lane image among the plurality of vehicle positions,
Determine the current lane of the vehicle based on the corrected navigation position,
The control unit,
Create a virtual camera model using the camera parameters,
A lane determination device that generates each of the plurality of virtual lane images at each of the plurality of vehicle positions while changing the relative position of the camera in the virtual camera model.
상기 외적 파라미터는 상기 카메라의 회전 행렬 값 및 상대 위치를 포함하는 것을 특징으로 하는 차로 결정 장치.13. The method of claim 12, wherein the inner product parameters include a focal length, principal point coordinates, and asymmetry coefficient of the camera,
The external parameter includes a rotation matrix value and a relative position of the camera.
상기 제어부는 상기 차선 정보의 각 차선 점 좌표를 상기 가상 카메라 모델을 이용하여 가상 차선 점 좌표로 변환하고, 상기 가상 차선 점 좌표에서 가상 차선 점을 포함하는 상기 복수의 가상 차선 영상들 각각을 생성하고,
상기 제어부는, 상기 항법 위치의 상기 위치 오차 범위 내의 상기 복수의 차량 위치들에서의 상기 복수의 가상 차선 영상들이 생성될 때까지, 상기 카메라의 상기 상대 위치를 상기 복수의 차량 위치들에 각각 상응하도록 변경하면서 상기 복수의 가상 차선 영상들 각각을 생성하는 것을 특징으로 하는 차로 결정 장치.According to claim 11,
The control unit converts each lane point coordinate of the lane information into virtual lane point coordinates using the virtual camera model, and generates each of the plurality of virtual lane images including a virtual lane point from the virtual lane point coordinates, ,
The control unit sets the relative position of the camera to correspond to the plurality of vehicle positions, respectively, until the plurality of virtual lane images at the plurality of vehicle positions within the position error range of the navigation position are generated. A lane determination device characterized in that it generates each of the plurality of virtual lane images while changing them.
수학식 ""을 이용하여 상기 차선 정보의 상기 각 차선 점 좌표를 상기 가상 차선 점 좌표로 변환하고,
여기서, s는 스케일 인자를 나타내고, 상기 스케일 인자가 곱해진 x 및 y는 상기 가상 차선 점 좌표를 나타내고, fx 및 fy는 상기 카메라의 초점 거리를 나타내고, cx 및 cy는 상기 카메라의 주점 좌표를 나타내고, skew_cfx는 상기 카메라의 비대칭 계수를 나타내고, r11 내지 r33은 상기 카메라의 회전 행렬 값들을 나타내고, t1 내지 t3은 상기 카메라의 상대 위치를 나타내고, X, Y 및 Z는 상기 차선 정보의 상기 각 차선 점 좌표를 나타내는 것을 특징으로 하는 차로 결정 장치.The method of claim 15, wherein the control unit:
Mathematical expression " Converting each lane point coordinate of the lane information into the virtual lane point coordinates using ",
Here, s represents the scale factor, x and y multiplied by the scale factor represent the virtual lane point coordinates, f x and f y represent the focal length of the camera, and c x and c y represent the focal length of the camera. represents the principal point coordinates , skew_cf represents the coordinates of each lane point of the lane information.
상기 차선 검출 영상과 상기 복수의 가상 차선 영상들 사이의 정규화된 상호 정보(Normalized Mutual Information; NMI) 값들을 계산하고,
상기 NMI 값들 중 가장 큰 NMI 값을 가지는 상기 가상 차선 영상을 선택하는 것을 특징으로 하는 차로 결정 장치.The method of claim 11, wherein the control unit:
Calculate normalized mutual information (NMI) values between the lane detection image and the plurality of virtual lane images,
A lane determination device characterized in that the virtual lane image having the largest NMI value among the NMI values is selected.
상기 보정된 항법 위치를 상기 선택된 가상 차선 영상에 상응하는 상기 차량 위치로 결정하는 것을 특징으로 하는 차로 결정 장치.The method of claim 11, wherein the control unit:
Lane determination device, characterized in that determining the corrected navigation position as the vehicle position corresponding to the selected virtual lane image.
상기 고정밀 지도 데이터에 포함된 복수의 차로 중심선들 중 상기 보정된 항법 위치에 인접한 차로 중심선을 결정하고,
상기 결정된 차로 중심선에 따라 상기 차량의 상기 현재 차로를 결정하는 것을 특징으로 하는 차로 결정 장치. The method of claim 11, wherein the control unit:
Determining a lane center line adjacent to the corrected navigation position among a plurality of lane center lines included in the high-precision map data,
A lane determination device that determines the current lane of the vehicle according to the determined lane center line.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020210148828A KR102674613B1 (en) | 2021-11-02 | 2021-11-02 | Vehicle position correction method and vehicle position correction device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020210148828A KR102674613B1 (en) | 2021-11-02 | 2021-11-02 | Vehicle position correction method and vehicle position correction device |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20230064040A KR20230064040A (en) | 2023-05-10 |
KR102674613B1 true KR102674613B1 (en) | 2024-06-13 |
Family
ID=86386290
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020210148828A KR102674613B1 (en) | 2021-11-02 | 2021-11-02 | Vehicle position correction method and vehicle position correction device |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102674613B1 (en) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010019759A (en) * | 2008-07-11 | 2010-01-28 | Mazda Motor Corp | Traveling lane detector for vehicle |
KR101454153B1 (en) * | 2013-09-30 | 2014-11-03 | 국민대학교산학협력단 | Navigation system for unmanned ground vehicle by sensor fusion with virtual lane |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101521531B1 (en) * | 2012-07-13 | 2015-05-19 | 삼성테크윈 주식회사 | Method for controlling surveillance camera |
KR102421855B1 (en) * | 2017-09-28 | 2022-07-18 | 삼성전자주식회사 | Method and apparatus of identifying driving lane |
-
2021
- 2021-11-02 KR KR1020210148828A patent/KR102674613B1/en active IP Right Grant
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010019759A (en) * | 2008-07-11 | 2010-01-28 | Mazda Motor Corp | Traveling lane detector for vehicle |
KR101454153B1 (en) * | 2013-09-30 | 2014-11-03 | 국민대학교산학협력단 | Navigation system for unmanned ground vehicle by sensor fusion with virtual lane |
Also Published As
Publication number | Publication date |
---|---|
KR20230064040A (en) | 2023-05-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10671862B2 (en) | Method and system for detecting obstacles by autonomous vehicles in real-time | |
KR102483649B1 (en) | Vehicle localization method and vehicle localization apparatus | |
JP6760114B2 (en) | Information processing equipment, data management equipment, data management systems, methods, and programs | |
WO2018225446A1 (en) | Map points-of-change detection device | |
CN108692719B (en) | Object detection device | |
JP7404010B2 (en) | Position estimation device and method | |
US9797981B2 (en) | Moving-object position/attitude estimation apparatus and moving-object position/attitude estimation method | |
JP2001331787A (en) | Road shape estimating device | |
CN107527382B (en) | Data processing method and device | |
EP3032818A1 (en) | Image processing device and markers | |
CN112232275B (en) | Obstacle detection method, system, equipment and storage medium based on binocular recognition | |
CN113701781B (en) | Matching lane searching method based on high-precision map and visual lane lines | |
KR101453143B1 (en) | Stereo matching process system, stereo matching process method, and recording medium | |
KR102490521B1 (en) | Automatic calibration through vector matching of the LiDAR coordinate system and the camera coordinate system | |
KR102174729B1 (en) | Method and system for recognizing lane using landmark | |
JP2019003606A (en) | Map change point detection device | |
CN116184430B (en) | Pose estimation algorithm fused by laser radar, visible light camera and inertial measurement unit | |
CN111510704A (en) | Method for correcting camera dislocation and device using same | |
KR20220068710A (en) | Method and apparatus for vehicle localization | |
JP2011112556A (en) | Search target position locating device, method, and computer program | |
WO2016157802A1 (en) | Information processing apparatus, information processing system, information processing method, and storage medium | |
CN112862818A (en) | Underground parking lot vehicle positioning method combining inertial sensor and multi-fisheye camera | |
KR102674613B1 (en) | Vehicle position correction method and vehicle position correction device | |
JP2010145219A (en) | Movement estimation device and program | |
TWI657230B (en) | Navigation and positioning device and method of navigation and positioning |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right |