KR20200141871A - Apparatus and method for obtaining lane information - Google Patents
Apparatus and method for obtaining lane information Download PDFInfo
- Publication number
- KR20200141871A KR20200141871A KR1020190068972A KR20190068972A KR20200141871A KR 20200141871 A KR20200141871 A KR 20200141871A KR 1020190068972 A KR1020190068972 A KR 1020190068972A KR 20190068972 A KR20190068972 A KR 20190068972A KR 20200141871 A KR20200141871 A KR 20200141871A
- Authority
- KR
- South Korea
- Prior art keywords
- lane
- effective
- vehicle
- information
- surrounding image
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 238000002372 labelling Methods 0.000 claims abstract description 8
- 230000006870 function Effects 0.000 claims description 80
- 230000007423 decrease Effects 0.000 claims description 2
- 238000013528 artificial neural network Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 16
- 230000008569 process Effects 0.000 description 10
- 238000004891 communication Methods 0.000 description 7
- 239000000284 extract Substances 0.000 description 7
- 238000000605 extraction Methods 0.000 description 7
- 238000012549 training Methods 0.000 description 7
- 239000011159 matrix material Substances 0.000 description 6
- 238000012423 maintenance Methods 0.000 description 5
- 238000010801 machine learning Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000012512 characterization method Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 206010044565 Tremor Diseases 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000002803 fossil fuel Substances 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
Images
Classifications
-
- G06K9/00798—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
- B60W30/10—Path keeping
- B60W30/12—Lane keeping
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30256—Lane; Road marking
Abstract
Description
본 발명은 차량이 주행하는 도로 상의 차선에 대한 정보를 획득하는 차선 정보 획득 장치 및 방법에 관한 것이다.The present invention relates to an apparatus and method for obtaining lane information for obtaining information on a lane on a road on which a vehicle is traveling.
일반적으로 차량은 화석 연료, 전기 등을 동력원으로 하여 도로 또는 선로를 주행하는 운송 장치를 의미한다.In general, a vehicle refers to a transportation device that travels on a road or track using fossil fuel, electricity, or the like as a power source.
차량은 기술의 발달에 따라 운전자에게 다양한 기능을 제공할 수 있도록 발전해왔다. 특히, 차량의 전장화 추세에 따라, 사고 직전 또는 사고 순간에 사고를 방지하기 위해 동작하는 능동형 안전 시스템(ASS: Active Safety System)을 구비하는 차량이 등장하였다.Vehicles have been developed to provide various functions to drivers according to the development of technology. In particular, according to the trend of electrification of vehicles, vehicles having an active safety system (ASS) that operate to prevent accidents just before or at the moment of accidents have appeared.
나아가, 최근에는 운전자의 부담을 경감시켜주고 편의를 증진시켜주기 위하여 차량 상태, 운전자 상태, 및 주변 환경과 같은 주행 환경에 대한 정보를 능동적으로 제공하는 첨단 운전자 지원 시스템(ADAS: Advanced Driver Assist System)이 탑재된 차량에 대한 연구가 활발히 진행되고 있다. Furthermore, in recent years, an advanced driver assistance system (ADAS: Advanced Driver Assist System) that actively provides information on the driving environment such as vehicle status, driver status, and surrounding environment in order to reduce the burden on the driver and improve convenience. Research on this equipped vehicle is actively underway.
첨단 운전자 지원 시스템 중 차선 이탈 경보 시스템(LDWS: Lane Departure Warning System)과 차선 유지 지원 시스템(LKAS: Lane Keeping Assist System)은 차량의 주변 영상을 기초로 차선 정보를 획득하고, 획득된 주행 차선 정보를 이용하여 차량의 주행을 제어할 수 있다. Among the advanced driver assistance systems, the Lane Departure Warning System (LDWS) and the Lane Keeping Assist System (LKAS) acquire lane information based on the surrounding images of the vehicle and collect the acquired driving lane information. Can be used to control the driving of the vehicle.
본 발명이 해결하고자 하는 과제는, 차량의 주변 영상과 정밀 지도 내 차선의 매칭 결과에 따라 결정되는 유효 차선의 다항함수 피팅 결과를 학습하여 차선 정보 획득 모델을 생성하는 차선 정보 획득 장치 및 방법을 제공하는 것이다. The problem to be solved by the present invention is to provide a lane information acquisition device and method for generating a lane information acquisition model by learning a polynomial function fitting result of an effective lane determined according to a matching result of a lane in a precision map with an image around a vehicle. Is to do.
다만, 본 발명이 해결하고자 하는 과제는 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 해결하고자 하는 과제는 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.However, the problem to be solved by the present invention is not limited to those mentioned above, and another problem to be solved that is not mentioned may be clearly understood by those of ordinary skill in the art to which the present invention belongs from the following description. will be.
본 발명의 일 실시예에 따른 차선 정보 획득 방법은, 차량의 주변 영상을 기초로 상기 차량의 위치를 추정하는 단계; 정밀 지도 내 상기 추정된 차량의 위치에 대응되는 차선을 상기 주변 영상 내 차선에 매칭(Matching)하는 단계; 상기 차선의 매칭 정보를 이용하여 상기 매칭된 차선을 유효 차선으로 결정하는 단계; 상기 결정된 유효 차선을 피팅(Fitting)하는 단계; 차선 정보 획득 모델의 생성을 위한 학습에 이용되는 상기 유효 차선의 정답 데이터로서 상기 피팅된 유효 차선에 대한 다항함수 계수를 획득하는 단계; 및 상기 주변 영상 내 상기 피팅된 유효 차선에 상기 다항함수 계수를 레이블링(Labeling)하는 단계를 포함한다. A method of obtaining lane information according to an embodiment of the present invention includes: estimating a location of the vehicle based on an image around the vehicle; Matching (Matching) a lane corresponding to the position of the estimated vehicle in a precision map with a lane in the surrounding image; Determining the matched lane as an effective lane using matching information of the lane; Fitting the determined effective lane; Acquiring polynomial coefficients for the fitted effective lanes as correct answer data of the valid lanes used for learning to generate a lane information acquisition model; And labeling the polynomial coefficient on the fitted effective lane in the surrounding image.
또한, 상기 매칭된 차선을 상기 유효 차선으로 결정하는 단계는, 상기 매칭된 차선 중 상기 정밀 지도 내 상기 추정된 차량의 위치에 대응되는 차선과 상기 주변 영상 내 차선 간 평균 픽셀 좌표 오차가 제 1 임계값 이하인 후보 차선으로부터 상기 평균 픽셀 좌표 오차가 최소인 상기 유효 차선을 결정할 수 있다.In addition, in the determining of the matched lane as the effective lane, an average pixel coordinate error between a lane corresponding to the estimated vehicle position in the precision map among the matched lanes and a lane in the surrounding image is a first threshold. The effective lane having the minimum average pixel coordinate error may be determined from a candidate lane less than or equal to the value.
또한, 상기 매칭된 차선을 상기 유효 차선으로 결정하는 단계는, 상기 평균 픽셀 좌표 오차가 최소인 상기 후보 차선으로부터 상기 정밀 지도 내 상기 추정된 차량의 위치에 대응되는 차선과 상기 주변 영상 내 차선 간 좌표 오차가 제 2 임계값 이상인 픽셀의 개수가 제 3 임계값 이하인 상기 유효 차선을 결정할 수 있다.In addition, determining the matched lane as the effective lane may include coordinates between a lane corresponding to the estimated vehicle position in the precision map from the candidate lane having the minimum average pixel coordinate error and a lane in the surrounding image The effective lane in which the number of pixels having an error equal to or greater than the second threshold value is equal to or lower than the third threshold value may be determined.
또한, 상기 유효 차선의 정답 데이터로서 상기 피팅된 유효 차선에 대한 상기 다항함수 계수를 획득하는 단계는, 상기 피팅된 다항함수에 대한 평균 피팅 오차가 제 4 임계값 이하인 경우, 상기 다항함수 계수를 획득할 수 있다.In addition, obtaining the polynomial coefficient for the fitted effective lane as correct answer data for the effective lane may include obtaining the polynomial coefficient when the average fitting error for the fitted polynomial function is less than or equal to a fourth threshold. can do.
또한, 상기 유효 차선의 정답 데이터로서 상기 피팅된 유효 차선에 대한 상기 다항함수 계수를 획득하는 단계는, 상기 평균 피팅 오차가 상기 제 4 임계값 이하인 상기 피팅된 다항함수 중 피팅 오차가 제 5 임계값 이상인 픽셀의 개수가 제 6 임계값 이하인 상기 다항함수의 계수를 획득할 수 있다.In addition, obtaining the polynomial function coefficient for the fitted effective lane as correct answer data of the effective lane may include a fitting error among the fitted polynomial functions having the average fitting error equal to or less than the fourth threshold value. A coefficient of the polynomial function in which the number of pixels above the sixth threshold value is less than or equal to the sixth threshold value may be obtained.
또한, 상기 레이블링된 상기 유효 차선을 학습하여 상기 차선 정보 획득 모델을 생성하는 단계를 더 포함하고, 상기 차선 정보 획득 모델을 생성하는 단계는, 상기 유효 차선이 입력된 상기 차선 정보 획득 모델에 의해 출력된 출력 데이터와 상기 유효 차선에 레이블링된 상기 다항함수 계수 사이의 오차가 작아지도록 상기 유효 차선을 학습할 수 있다.Further, the step of generating the lane information acquisition model by learning the labeled valid lanes, wherein the step of generating the lane information acquisition model, the effective lane is output by the inputted lane information acquisition model The effective lane may be learned so that an error between the obtained output data and the polynomial function coefficient labeled on the effective lane decreases.
또한, 상기 유효 차선에 상기 다항함수 계수를 레이블링하는 단계는, 제 1 시점에 획득된 상기 주변 영상 내 상기 유효 차선을 상기 제 1 시점 이전의 제 2 시점에 획득된 상기 주변 영상 내 상기 유효 차선 및 상기 제 1 시점 이후의 제 3 시점에 획득된 상기 주변 영상 내 상기 유효 차선 중 적어도 하나를 병합하여 상기 다항함수 계수를 레이블링할 수 있다.In addition, the labeling of the polynomial coefficient on the effective lane may include: the effective lane in the surrounding image acquired at a first view point and the effective lane in the surrounding image acquired at a second view point before the first view point. The polynomial coefficient may be labeled by merging at least one of the effective lanes in the surrounding image acquired at a third view after the first view.
또한, 상기 차선 정보 획득 모델을 생성하는 단계는, 상기 레이블링된 상기 유효 차선과 함께 상기 차량의 위치 정보를 학습하여 상기 차선 정보 획득 모델을 생성할 수 있다.In addition, in the generating the lane information acquisition model, the lane information acquisition model may be generated by learning the location information of the vehicle together with the labeled valid lane.
또한, 상기 차량의 위치를 추정하는 단계는, GPS 기반 상기 차량의 초기 위치 정보에 대응되는 상기 정밀 지도의 랜드마크를 상기 차량의 카메라에 의해 촬영된 상기 주변 영상에 매칭하여 상기 카메라의 초기 위치 정보를 획득하는 단계; 상기 카메라의 초기 위치 정보 및 상기 차량의 주행 정보를 기초로 샘플링된 복수의 후보 위치 정보 각각에 대응되는 상기 정밀 지도의 랜드마크와 상기 영상 간 매칭 정보에 기초하여 상기 카메라의 위치를 추정하는 단계; 및 상기 추정된 카메라의 위치를 기초로 상기 차량의 위치를 추정하는 단계를 포함할 수 있다.In addition, the step of estimating the location of the vehicle may include matching the landmark of the precision map corresponding to the initial location information of the vehicle based on GPS with the surrounding image captured by the camera of the vehicle to provide initial location information of the camera. Obtaining a; Estimating the location of the camera based on matching information between the image and the landmark of the precision map corresponding to each of the plurality of candidate location information sampled based on the initial location information of the camera and the driving information of the vehicle; And estimating the location of the vehicle based on the estimated location of the camera.
또한, 주변 영상으로부터 상기 타겟 차선을 추출하는 단계; 및 상기 추출된 타겟 차선을 상기 차선 정보 획득 모델에 입력하여 상기 다항함수 계수를 획득하는 단계를 더 포함할 수 있다.Further, extracting the target lane from the surrounding image; And inputting the extracted target lane into the lane information obtaining model to obtain the polynomial coefficient.
본 발명의 다른 실시예에 따른 차선 정보 획득 방법은, 차량의 타겟 주변 영상으로부터 타겟 차선을 추출하는 단계; 및 상기 추출된 타겟 차선을 차선 정보 획득 모델에 입력하여 상기 타겟 차선의 피팅 결과로서의 다항함수 계수를 획득하는 단계를 포함하고, 상기 차선 정보 획득 모델은, 상기 차량의 주변 영상 내 차선과 정밀 지도 내 상기 차량의 위치에 대응되는 차선 간 매칭 정보에 따라 결정된 유효 차선의 피팅 결과를 학습함으로써 생성된다.According to another embodiment of the present invention, a method for obtaining lane information includes: extracting a target lane from an image around a target of a vehicle; And inputting the extracted target lane into a lane information acquisition model to obtain a polynomial coefficient as a result of fitting the target lane, wherein the lane information acquisition model includes lanes in the surrounding image of the vehicle and in a precision map It is generated by learning a fitting result of an effective lane determined according to matching information between lanes corresponding to the location of the vehicle.
본 발명의 일 실시예에 따른 차선 정보 획득 장치는, 차량의 주변 영상을 기초로 상기 차량의 위치를 추정하고, 정밀 지도 내 상기 추정된 차량의 위치에 대응되는 차선을 상기 주변 영상 내 차선에 매칭(Matching)하고, 상기 차선의 매칭 정보를 기초로 결정된 유효 차선을 피팅(Fitting)하여, 상기 피팅된 유효 차선에 대한 다항함수 계수를 획득하는 피팅부; 및 상기 유효 차선에 상기 다항함수 계수를 레이블링(Labeling)하고, 상기 레이블링된 상기 유효 차선을 학습하여 타겟 차선에 대한 다항함수 계수를 출력하는 차선 정보 획득 모델을 생성하는 모델 생성부를 포함한다.The apparatus for obtaining lane information according to an embodiment of the present invention estimates the location of the vehicle based on the surrounding image of the vehicle, and matches a lane corresponding to the estimated location of the vehicle in a precision map with a lane in the surrounding image. A fitting unit configured to obtain a polynomial function coefficient for the fitted effective lane by (Matching) and fitting an effective lane determined based on matching information of the lane; And a model generator for generating a lane information acquisition model for labeling the polynomial coefficient on the effective lane, learning the labeled effective lane, and outputting a polynomial function coefficient for a target lane.
본 발명의 실시예에 의하면, 차선의 피팅 시 사용자의 경험 또는 직관을 배제함으로써 보다 정확한 차선 정보를 획득할 수 있다. 특히, 기계 학습을 통해 차선 정보 획득 모델을 생성하여 이용하므로, 학습 DB가 많아질수록 출력하는 차선 정보의 정확도가 높아질 수 있다. According to an exemplary embodiment of the present invention, more accurate lane information can be obtained by excluding user experience or intuition when fitting a lane. In particular, since the lane information acquisition model is generated and used through machine learning, the accuracy of the output lane information may increase as the number of training DBs increases.
또한, 검출된 주행 차선 정보를 차선 이탈 경보 시스템과 차선 유지 지원 시스템의 입력 값으로서 이용함으로써, 보다 정밀한 차량의 제어가 가능할 수 있다.Further, by using the detected driving lane information as input values of the lane departure warning system and the lane maintenance support system, more precise vehicle control may be possible.
도 1 및 2 는 여러 가지 실시예에 따른 차선 정보 획득 시스템의 제어 블록도이다.
도 3은 본 발명의 일 실시예에 따른 차선 정보 획득 방법 중 유효 차선에 대한 다항함수의 계수 획득 방법의 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 정밀 지도로부터 추출되는 차선의 범위와 주변 영상으로부터 추출되는 차선의 범위를 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 주변 영상으로부터 추출된 차선을 예시하는 도면이다.
도 6는 도 5의 주변 영상에 정밀 지도로부터 추출된 차선을 매칭하는 경우를 예시하는 도면이다.
도 7은 도 6의 매칭에 따른 매칭 오차를 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시예에 따른 차량으로부터의 거리를 기준으로 피팅 범위를 결정하는 방법을 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시예에 따른 차선 정보 획득 방법 중 차선 정보 획득 모델을 생성하는 방법을 설명하기 위한 도면이다.
도 10은 본 발명의 일 실시예에 따른 차선 정보 획득 방법 중 타겟 차선에 대한 다항함수의 계수 획득 방법을 설명하기 위한 도면이다.1 and 2 are control block diagrams of a system for obtaining lane information according to various embodiments.
3 is a flowchart of a method of obtaining a coefficient of a polynomial function for an effective lane among a method of obtaining lane information according to an embodiment of the present invention.
4 is a diagram illustrating a range of a lane extracted from a precision map and a range of a lane extracted from a surrounding image according to an embodiment of the present invention.
5 is a diagram illustrating lanes extracted from surrounding images according to an embodiment of the present invention.
6 is a diagram illustrating a case of matching lanes extracted from a precision map with the surrounding image of FIG. 5.
7 is a diagram for describing a matching error according to the matching of FIG. 6.
8 is a diagram illustrating a method of determining a fitting range based on a distance from a vehicle according to an exemplary embodiment of the present invention.
9 is a diagram illustrating a method of generating a lane information acquisition model among a method of obtaining lane information according to an embodiment of the present invention.
10 is a diagram illustrating a method of obtaining a coefficient of a polynomial function for a target lane among a method of obtaining lane information according to an embodiment of the present invention.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.Advantages and features of the present invention, and a method of achieving them will become apparent with reference to the embodiments described below in detail together with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but may be implemented in a variety of different forms, and only these embodiments make the disclosure of the present invention complete, and are common knowledge in the technical field to which the present invention pertains. It is provided to completely inform the scope of the invention to those who have, and the invention is only defined by the scope of the claims.
본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.In describing the embodiments of the present invention, if it is determined that a detailed description of a known function or configuration may unnecessarily obscure the subject matter of the present invention, a detailed description thereof will be omitted. In addition, terms to be described later are terms defined in consideration of functions in an embodiment of the present invention, which may vary according to the intention or custom of users or operators. Therefore, the definition should be made based on the contents throughout this specification.
도 1 및 2 는 여러 가지 실시예에 따른 차선 정보 획득 시스템의 제어 블록도이다. 1 and 2 are control block diagrams of a system for obtaining lane information according to various embodiments.
도 1을 참조하면, 일 실시예에 따른 차선 정보 획득 시스템(1)은 차량(V) 및 차선 정보 획득 장치(100)로 구성될 수 있다.Referring to FIG. 1, a
차량(V)은 도로나 선로를 따라 주행하면서 인간, 물건 또는 동물 등을 하나의 위치에서 다른 위치로 이동시킬 수 있는 운송 수단을 의미할 수 있다. 일 실시예에 따른 차량(V)은 삼륜 또는 사륜 자동차, 모터사이클 등의 이륜 자동차, 건설 기계, 원동기장치자전거, 자전거 및 선로를 주행하는 열차 등을 포함할 수 있다.The vehicle V may refer to a transportation means capable of moving humans, objects, animals, etc. from one location to another while driving along a road or track. The vehicle V according to an exemplary embodiment may include a three-wheeled or four-wheeled vehicle, a two-wheeled vehicle such as a motorcycle, a construction machine, a prime mover bicycle, a bicycle, and a train running on a track.
도 1의 차량(V)은 GPS 모듈을 구비하여, 적어도 하나의 GPS(Global Position System) 위성으로부터 항법 데이터(Navigation Data)를 포함하는 위성 신호를 수신할 수 있다. 차량(V)은 위성 신호에 기초하여 GPS 기반 차량(V)의 현재 위치 및 차량(V)의 진행 방향 등을 획득할 수 있다. 이 때, GPS 모듈은 복수의 GPS 위성 각각으로부터 복수의 위성 신호를 수신할 수 있다.The vehicle V of FIG. 1 includes a GPS module and may receive a satellite signal including navigation data from at least one Global Position System (GPS) satellite. The vehicle V may acquire a current location of the GPS-based vehicle V and a traveling direction of the vehicle V based on a satellite signal. In this case, the GPS module may receive a plurality of satellite signals from each of the plurality of GPS satellites.
또한, 도 1의 차량(V)은 일반 지도 및/또는 정밀 지도를 미리 저장할 수 있다. 여기서, 일반 지도는 링크와 노드로 표현되는 도로 정보를 포함하는 지도를 의미할 수 있다. 또한, 정밀 지도는 일반 지도보다 더 많은 정보를 포함하는 지도로서, 안전하고 정밀한 차량(V)제어를 위해 높은 정확도를 가지며, 도로의 평면 위치뿐만 아니라 고도, 경사, 곡률 등에 대한 정보를 포함하는 지도를 의미할 수 있다. 또한, 정밀 지도는 차선, 표지판, 신호등, 가드레일과 같은 도로 시설물에 대한 정보를 더 포함하는 지도를 의미할 수 있다. In addition, the vehicle V of FIG. 1 may store a general map and/or a precision map in advance. Here, the general map may refer to a map including road information represented by links and nodes. In addition, a precision map is a map that includes more information than a general map, and has high accuracy for safe and precise vehicle (V) control, and a map that includes information on altitude, slope, curvature, etc. Can mean Also, the precision map may mean a map further including information on road facilities such as lanes, signs, traffic lights, and guard rails.
아울러, 도 1의 차량(V)은 첨단 운전자 보조 시스템(ADAS: Advanced Driver Assistance System)이 탑재될 수 있다. 여기서, 첨단 운전자 보조 시스템이란 운전자의 부담을 경감시켜주고 편의를 증진시켜주기 위해 차량(V) 상태, 운전자 상태, 주변 환경 정보와 같은 주행 환경 정보를 제공하거나 능동적으로 차량(V)을 제어하는 시스템을 의미할 수 있다.In addition, the vehicle V of FIG. 1 may be equipped with an Advanced Driver Assistance System (ADAS). Here, the advanced driver assistance system is a system that provides driving environment information such as vehicle (V) status, driver status, and surrounding environment information or actively controls the vehicle (V) in order to reduce the burden on the driver and improve convenience. Can mean
예를 들어, 차량(V)은 차선 이탈 경보 시스템(LDWS: Lane Departure Warning System) 및 차선 유지 지원 시스템(LKAS: Lane Keeping Assist System) 중 적어도 하나가 탑재될 수 있다. 다만, 차량(V)에 탑재되는 첨단 운전자 보조 시스템이 상술한 예에 한정되지는 않는다.For example, the vehicle V may be equipped with at least one of a Lane Departure Warning System (LDWS) and a Lane Keeping Assist System (LKAS). However, the advanced driver assistance system mounted on the vehicle V is not limited to the above-described example.
차량(V)에 탑재된 첨단 운전자 보조 시스템은 차량(V)의 주행 환경을 감지하기 위한 감지 수단을 포함할 수 있다. 일 실시예에 따른 감지 수단은 차량(V) 주변으로 펄스를 조사하고, 해당 방향에 위치하는 물체로부터 반사되는 에코 펄스를 수신하여 주행 환경을 감지하는 레이더(Radar), 차량(V) 주변으로 레이저를 조사하고, 해당 방향에 위치하는 물체로부터 반사되는 레이저를 수신하는 라이다(LiDAR), 및/또는 차량(V) 주변으로 초음파를 조사하고, 해당 방향에 위치하는 물체로부터 반사되는 에코 초음파를 수신하는 초음파 센서 등을 포함할 수 있다. The advanced driver assistance system mounted on the vehicle V may include a sensing means for detecting a driving environment of the vehicle V. The sensing means according to an embodiment is a radar that detects a driving environment by irradiating a pulse around the vehicle V and receiving an echo pulse reflected from an object located in a corresponding direction, and a laser around the vehicle V. And/or a LiDAR that receives a laser reflected from an object located in a corresponding direction, and/or an ultrasonic wave is irradiated around the vehicle (V), and an echo ultrasound reflected from an object located in the corresponding direction is received. It may include an ultrasonic sensor and the like.
또한, 첨단 운전자 보조 시스템은 감지 수단으로서 카메라를 포함할 수 있다. 카메라는 차량(V)의 전방, 측방, 및/또는 후방을 향하도록 마련되어, 해당 방향으로의 주변 영상을 촬영할 수 있다. 촬영된 주변 영상은 영상처리 과정을 통해 차량(V) 주변의 물체뿐만 아니라 차선이나 표지판 등의 정보를 획득하는 기초가 될 수 있다. In addition, advanced driver assistance systems may include cameras as sensing means. The camera is provided to face the front, side, and/or rear of the vehicle V, and the surrounding images in the corresponding direction may be photographed. The captured surrounding image may be a basis for acquiring information such as lanes or signs as well as objects around the vehicle V through an image processing process.
한편, 상술한 차선 이탈 경보 시스템 및/또는 차선 유지 지원 시스템은 차량 주변의 차선 정보를 기초로 차량(V)의 주행을 제어할 수 있다. 이 때, 차량(V)의 주행 제어에 이용되는 차선 정보는 차량(V)에 탑재된 카메라에 의해 촬영되는 차량(V)의 주변 영상으로부터 획득될 수 있다.Meanwhile, the lane departure warning system and/or the lane maintenance support system described above may control the driving of the vehicle V based on lane information around the vehicle. In this case, lane information used for driving control of the vehicle V may be obtained from an image around the vehicle V photographed by a camera mounted on the vehicle V.
이와 같은 방법 중 하나로 전방 영상으로부터 딥러닝과 같은 기계학습을 통해 차선을 검출하고, 차량 주변 영역을 평지로 가정한 후, 차량 좌표계로 차선 좌표를 변환하고, 피팅된 차선에 대한 다항함수 계수를 계산하는 방법이 있다. 이 때, 다항함수 계수의 정확도를 높이기 위해 복수 개의 연속 영상에서 검출된 차선 결과를 병합할 수 있다. As one of these methods, the lane is detected from the front image through machine learning such as deep learning, the area around the vehicle is assumed to be flat, and then the lane coordinates are converted to the vehicle coordinate system, and the polynomial coefficient for the fitted lane is calculated. There is a way to do it. In this case, in order to increase the accuracy of the coefficients of the polynomial function, the lane results detected from the plurality of consecutive images may be merged.
그러나, 지면 상태에 따라 차체가 떨리면서 카메라 자세각이 실시간으로 변하게 되어, 각각의 연속 영상에 대하여 온라인 카메라 캘리브레이션과 같은 복잡한 과정을 수행해야 하는 번거로움이 있다.However, as the vehicle body trembles according to the ground condition, the camera's attitude angle changes in real time, and it is cumbersome to perform a complicated process such as online camera calibration for each continuous image.
또한, 주변 영상 학습을 통한 차선 검출 모델의 생성을 위해 학습 데이터에 레이블링(Labeling)되는 정답 데이터를 생성할 필요가 있는데, 이러한 정답 데이터는 사람이 주변 영상을 직접 육안으로 확인하여 차선 영역을 마킹할 수 있다. 이 경우, 획득되는 차선 정보의 정확도 및 신뢰도가 낮아질 수 있다. In addition, in order to generate a lane detection model through learning surrounding images, it is necessary to generate correct answer data that is labeled on the training data. This data is used by a person to directly check the surrounding images with the naked eye to mark the lane area. I can. In this case, the accuracy and reliability of the acquired lane information may be lowered.
이를 해결하기 위해, 본 발명의 일 실시예에 따른 차선 정보 획득 시스템(1)은 차량(V)의 주변 영상과 정밀 지도 내 차선의 매칭(Matching) 결과에 따라 결정되는 유효 차선의 다항함수 피팅(Fitting) 결과를 학습하여 차선 정보 획득 모델을 생성할 수 있다.To solve this, the lane
구체적으로, 차선 정보 획득 장치(100)는 차량(V)으로부터 수신한 정보를 이용하여 차선 정보를 획득할 수 있다. 여기서, 차선 정보는 주변 영상 내의 차선을 다항함수로 피팅한 결과를 의미하며, 피팅된 다항함수의 계수를 포함할 수 있다. Specifically, the
차선 정보 획득을 위해, 차선 정보 획득 장치(100)는 공지된 여러 가지 통신 방법으로 차량(V)과 통신함으로써 정보를 교환할 수 있다. 일 실시예에 따른 차량(V)의 추정 위치 획득 장치(100)는 CDMA, GSM, W-CDMA, TD-SCDMA, WiBro, LTE, EPC 등의 공지된 통신 방법을 채택하여 기지국을 거쳐 차량(V)과 통신할 수 있다. 이와는 달리, 다른 실시예에 따른 차량(V)의 추정 위치 획득 장치(100)는 무선 랜(Wireless LAN), 와이파이(Wi-Fi), 블루투스(Bluetooth), 지그비(Zigbee), WFD(Wi-Fi Direct), UWB(Ultra wideband), 적외선 통신(IrDA; Infrared Data Association), BLE (Bluetooth Low Energy), NFC(Near Field Communication)와 같은 통신 방법을 채택하여 소정 거리 이내에서 차량(V)과 통신할 수도 있다. 다만, 차선 정보 획득 장치(100)가 차량(V)과 통신하는 방법은 상술한 실시예에 한정되지 않는다.In order to acquire lane information, the lane
차선 정보 획득 장치(100)는 차량(V)의 주변 영상 내 차선과 정밀 지도 내 차선을 매칭하고, 매칭 결과에 따라 결정되는 유효 차선을 다항함수 피팅한 후, 피팅된 다항함수 계수를 학습하여 차선 정보 획득 모델을 생성할 수 있다. 또한, 차선 정보 획득 장치(100)는 생성된 차선 정보 획득 모델에 주변 영상으로부터 추출된 타겟 차선을 입력하여 타겟 차선에 대한 다항함수 계수를 획득할 수 있다.The lane
이를 위해, 차선 정보 획득 장치(100)는 학습부(110) 및 추론부(120)를 포함할 수 있다. To this end, the lane
학습부(110)는 차량(V)의 주변 영상과 정밀 지도 내 차선의 매칭 결과에 따라 결정되는 유효 차선의 다항함수 피팅 결과를 학습하여 차선 정보 획득 모델을 생성할 수 있다. 도 1을 참조하면, 학습부(110)는 피팅부(111)와 모델 생성부(112)를 포함할 수 있다.The
피팅부(111)는 차량(V)의 주변 영상과 정밀 지도 내 차선의 매칭 결과에 따라 결정되는 유효 차선의 다항함수 피팅 결과로부터 다항함수 계수를 획득할 수 있다. 구체적으로, 피팅부(111)는 차량(V)의 주변 영상을 기초로 차량(V)의 위치를 추정하고, 정밀 지도 내 추정된 차량(V)의 위치에 대응되는 차선을 주변 영상 내 차선에 매칭하고, 차선의 매칭 정보를 기초로 결정된 유효 차선을 피팅하여, 상기 피팅된 유효 차선에 대한 다항함수 계수를 획득할 수 있다.The
모델 생성부(112)는 피팅 결과를 학습하여 차선 정보 획득 모델을 생성할 수 있다. 유효 차선에 다항함수 계수를 레이블링하고, 레이블링된 유효 차선을 학습하여 타겟 차선에 대한 다항함수 계수를 출력하는 차선 정보 획득 모델을 생성할 수 있다.The
추론부(120)는 생성된 차선 정보 획득 모델에 주변 영상으로부터 추출된 타겟 차선을 입력하여 타겟 차선에 대한 다항함수 계수를 획득할 수 있다. 도 1을 참조하면, 추론부(120)는 차선 추출부(121)와 계수 획득부(122)를 포함할 수 있다.The
차선 추출부(121)는 외부로부터 입력된 주변 영상으로부터 타겟 차선을 추출할 수 있다. 또한, 계수 획득부(122)는 추출된 타겟 차선을 차선 정보 획득 모델에 입력하여 다항함수 계수를 획득할 수 있다.The
상술한 실시예에 따른 차선 정보 획득 장치(100)의 각 구성은 마이크로프로세서(Microprocessor)를 포함하는 연산 장치로 구현될 수 있고, 예를 들어 중앙 처리 장치(Central Processing Unit, CPU), 그래픽 처리 장치(Graphic Processing Unit, GPU) 등으로 구현될 수 있다. 이와는 달리, 차선 정보 획득 장치(100)를 구성하는 복수의 구성이 하나의 SOC(System On Chip)으로 구현되는 것도 가능할 수 있다.Each configuration of the lane
한편, 도 1에서는 차선 정보 획득 장치(100)가 차량(V)과 별개로 마련되어 차선 정보 획득 시스템(1)을 구성하는 경우에 대하여 예시하고 있으나, 이와는 달리 차선 정보 획득 장치(100)가 차량(V) 내부에 마련되는 것도 가능할 수 있다.Meanwhile, in FIG. 1, a case in which the lane
도 2를 참조하면, 다른 실시예에 따른 차선 정보 획득 시스템(1)은 차선 정보 획득 장치(100)를 포함하는 차량(V)으로 구성될 수 있다. 다만, 차선 정보 획득 장치(100)가 마련되는 방식을 제외하고는, 도 2의 차선 정보 획득 시스템(1)과 도 2의 차량(V)의 차선 정보 획득 시스템(1)의 동작 방식을 동일하다.Referring to FIG. 2, a
이하에서는 도 3 내지 10을 참조하여, 상술한 차선 정보 획득 장치(100)에 의해 수행되는 본 발명의 일 실시예에 따른 차선 정보 획득 방법을 설명한다. 먼저, 도 3 내지 8을 통해 상술한 피팅부(111)에 의해 수행되는 유효 차선에 대한 다항함수의 계수 획득 방법을 설명하고, 도 9를 통해 상술한 학습부(110)에 의해 수행되는 차선 정보 획득 모델을 생성하는 방법을 설명한 후, 도 10을 통해 상술한 추론부(120)에 의해 수행되는 타겟 차선에 대한 다항함수의 계수 획득 방법을 설명한다.Hereinafter, a method for obtaining lane information according to an embodiment of the present invention performed by the above-described lane
도 3은 본 발명의 일 실시예에 따른 차선 정보 획득 방법 중 유효 차선에 대한 다항함수의 계수 획득 방법의 흐름도이고, 도 4는 본 발명의 일 실시예에 따른 정밀 지도로부터 추출되는 차선의 범위와 주변 영상으로부터 추출되는 차선의 범위를 설명하기 위한 도면이고, 도 5는 본 발명의 일 실시예에 따른 주변 영상으로부터 추출된 차선을 예시하는 도면이고, 도 6는 도 5의 주변 영상에 정밀 지도로부터 추출된 차선을 매칭하는 경우를 예시하는 도면이고, 도 7은 도 6의 매칭에 따른 매칭 오차를 설명하기 위한 도면이며, 도 8은 본 발명의 일 실시예에 따른 차량으로부터의 거리를 기준으로 피팅 범위를 결정하는 방법을 설명하기 위한 도면이다.3 is a flowchart of a method of obtaining a coefficient of a polynomial function for an effective lane among a method of obtaining lane information according to an embodiment of the present invention, and FIG. 4 is a flowchart illustrating a range of lanes extracted from a precision map according to an embodiment of the present invention. A diagram for explaining a range of lanes extracted from a surrounding image, FIG. 5 is a diagram illustrating a lane extracted from a surrounding image according to an embodiment of the present invention, and FIG. 6 is a detailed map of the surrounding image of FIG. A diagram illustrating a case of matching the extracted lanes, FIG. 7 is a diagram for explaining a matching error according to the matching of FIG. 6, and FIG. 8 is a fitting based on a distance from a vehicle according to an embodiment of the present invention. It is a diagram for explaining a method of determining a range.
상술한 바와 같이, 일 실시예에 따른 차선 정보 획득 장치(100)의 피팅부(111)는 차선 정보 획득 모델을 생성하기 위해, 유효 차선의 피팅에 따른 다항함수 계수를 획득할 수 있다.As described above, in order to generate a lane information acquisition model, the
이를 위해, 피팅부(111)는 위성 신호 및 주변 영상을 기초로 차량(V)의 위치를 추정할 수 있다(S100). 차량(V)의 위치를 추정하기 위한 실시예로서, 피팅부(111)는 우선 GPS 기반 차량(V)의 초기 위치 정보에 대응되는 정밀 지도의 랜드마크를 차량(V)의 카메라에 의해 촬영된 상기 주변 영상에 매칭하여 카메라의 초기 위치 정보를 획득할 수 있다. To this end, the
카메라의 초기 위치 정보를 획득하기 위해, 피팅부(111)는 차량(V)으로부터 수신된 GPS 기반 차량(V)의 초기 위치를 이용하여 차량(V)의 초기 자세각을 획득할 수 있다. 그 다음, 피팅부(111)는 정밀 지도에서 GPS 기반 차량(V)의 초기 위치 정보를 기초로 제 1 관심 영역을 결정할 수 있다. 제 1 관심 영역이 결정되면, 피팅부(111)는 제 1 관심 영역 내에 존재하는 차선에 대한 제 1 랜드마크를 카메라에 의해 촬영된 영상에 매칭하여 카메라의 초기 자세각에 대한 회전 행렬 R을 획득할 수 있다. 또한, 피팅부(111)는 정밀 지도에서 GPS 기반 차량(V)의 초기 위치 정보를 기초로 제 2 관심 영역을 결정하고, 제 2 관심 영역 내에 존재하는 차선 이외의 제 2 랜드마크를 카메라의 초기 자세각을 기준으로 영상에 매칭하여 카메라의 초기 위치에 대한 이동 행렬 T를 획득할 수 있다.In order to obtain the initial position information of the camera, the
카메라의 초기 위치 정보를 획득한 후, 피팅부(111)는 카메라의 초기 위치를 입력값으로하여 카메라의 추정 위치 정보를 획득할 수 있다. 이를 위해, 피팅부(111)는 카메라의 초기 위치 정보 주변에 복수의 후보 위치 정보를 샘플링 하고, Particle Filter를 이용하여 카메라의 추정 위치 정보를 획득할 수 있다. 그 다음, 피팅부(111)는 복수의 후보 위치 정보 각각에 대응되는 정밀 지도의 랜드마크와 영상 간 매칭 오차에 기초하여 복수의 후보 위치 정보 각각에 가중치를 부여할 수 있다. 가중치 부여 후, 피팅부(111)는 가중치가 부여된 복수의 후보 위치 정보를 이용하여 복수의 후보 위치 정보를 새롭게 샘플링 하고, 새롭게 샘플링된 복수의 후보 위치 정보의 표준편차가 기준 표준편차 이하이면, 새롭게 샘플링된 복수의 후보 위치 정보의 평균값을 카메라의 추정 위치 정보로서 획득할 수 있다.After obtaining the initial position information of the camera, the
카메라의 추정 위치 정보가 획득되면, 피팅부(111)는 카메라의 추정 위치 정보의 유효성을 검증한 후, 유효한 카메라의 추정 위치 정보를 기초로 차량(V)의 추정 위치 정보를 획득할 수 있다. 이를 위해, 피팅부(111)는 먼저 카메라의 추정 위치 정보에 대응되는 정밀 지도의 랜드마크 중 차선 이외의 제 2 랜드마크를 확인하여, 제 2 랜드마크 각각의 매칭 오차에 대응되는 카메라 추정 위치 정보의 가중치를 획득할 수 있다. 제 2 랜드마크 각각의 매칭 오차에 대응되는 가중치가 획득되면, 피팅부(111)는 기준치 이상의 가중치의 수가 기준 개수 이상인지 판단하여 추정된 카메라의 위치 정보를 유효한 것으로 결정할 수 있다. 이를 통해, 피팅부(111)는 카메라 추정 위치 정보를 이용하여 차량(V)의 추정 위치 정보를 획득할 수 있다.When the estimated location information of the camera is obtained, the
도 3에서는 위성 신호 및 주변 영상을 기초로 차량(V)의 위치를 추정하는 경우를 예시하였으나, 다른 실시예에 따른 차선 정보 획득 방법은 RTK/INS 장비를 이용하여 고정밀 지도에서 현재 차량(V)의 위치 정보를 추정할 수도 있다.3 illustrates a case of estimating the location of the vehicle V based on satellite signals and surrounding images, but the method for obtaining lane information according to another embodiment uses an RTK/INS device to determine the current vehicle V on a high-precision map. You can also estimate the location information of.
차량(V)의 추정 위치 정보에 따라 차량(V)의 위치가 추정되면, 피팅부(111)는 추정된 차량(V)의 위치에 대응되는 차선을 정밀 지도로부터 추출할 수 있다(S110). 도 4를 참조하면, 피팅부(111)는 차량(V)의 뒷범퍼를 포함하고, 차량(V)의 전륜으로부터 차량(V)의 전방, 즉 종축 방향으로 미리 정해진 최대 임계 거리까지의 제 1 관심 영역 SM을 설정하고, 제 1 관심 영역 SM 내 차선의 픽셀 좌표를 추출할 수 있다.When the location of the vehicle V is estimated according to the estimated location information of the vehicle V, the
그 다음, 피팅부(111)는 추출된 차선을 주변 영상에 매칭하여 차선을 피팅할 수 있다(S120). 이에 앞서, 피팅부(111)는 차량(V)에 탑재된 카메라에 의해 촬영된 주변 영상 내 차선을 추출할 수 있다. 일 실시예에 따른 피팅부(111)는 학습 영상에 차선 영역의 위치가 레이블링된 학습 데이터를 학습하여 생성된 차선 추출 모델을 이용하여 주변 영상으로부터 차선을 추출할 수 있다. 도 5는 피팅부(111)에 의해 주변 영상으로부터 추출된 4개의 차선을 예시한다.Then, the
다시 도 4를 참조하면, 차량(V)에 탑재된 카메라는 화각에 의해 형성된는 제 2 관심 영역 SC에 대한 주변 영상을 획득하고, 피팅부(111)는 주변 영상으로부터 제 2 관심 영역 SC 내 차선의 픽셀 좌표를 추출할 수 있다. 이 때, 제 1 관심 영역 SM과 제 2 관심 영역 SC는 일부 중첩되는 영역이 존재하므로, 동일한 차선이 정밀 지도와 주변 영상 각각으로부터 추출된 것일 수 있다.Referring back to FIG. 4, the camera mounted on the vehicle V acquires a surrounding image for the second ROI S C formed by the angle of view, and the
따라서, 피팅부(111)는 정밀 지도로부터 추출된 차선을 주변 영상의 차선에 매칭할 수 있다. 구체적으로, 피팅부(111)는 수학식 1에 따라 정밀 지도로부터 추출된 차선의 픽셀 좌표를 주변 영상에 투영시켜 차선 매칭을 수행할 수 있다.Accordingly, the
여기서, m은 주변 영상으로 투영된 차선의 픽셀 좌표 값이고, K는 카메라 내부 파라미터 행렬이고, R은 정밀 지도 상의 차선에 대한 3차원 픽셀 좌표를 카메라 좌표계로 변환시키는 회전 행렬이고, T는 정밀 지도 상의 차선에 대한 3차원 픽셀 좌표를 카메라 좌표계로 변환시키는 이동 행렬이다. 또한, R과 T는 단계 S100에서 수행된 차량(V)의 위치 추정 결과와, 카메라-차량(V) 좌표계 간 회전/이동 변환 행렬을 기초로 획득될 수 있다.Here, m is the pixel coordinate value of the lane projected into the surrounding image, K is the camera internal parameter matrix, R is the rotation matrix that converts the 3D pixel coordinates of the lane on the precision map into the camera coordinate system, and T is the precision map. It is a movement matrix that converts the 3D pixel coordinates of the image lane into the camera coordinate system. Further, R and T may be obtained based on the result of estimating the position of the vehicle V performed in step S100 and a rotation/movement transformation matrix between the camera-vehicle V coordinate system.
도 6에서는 주변 영상 내 추출된 4개의 차선 상에 정밀 지도로부터 추출된 복수의 차선이 매칭되는 경우를 예시한다. 이 때, 주변 영상 내 4번 차선에 대하여 정밀 지도 내 차선과의 매칭 결과 오차가 발생함을 확인할 수 있다. 매칭 오차가 존재할 경우, 매칭된 차선에 대하여 피팅 결과 역시 부정확할 수 있으므로, 피팅부(111)는 피팅에 앞서 매칭된 차선의 유효성을 판단할 수 있다.6 illustrates a case where a plurality of lanes extracted from a precision map are matched on four lanes extracted in a surrounding image. In this case, it can be confirmed that an error occurs as a result of matching the
구체적으로, 일 실시예에 따른 피팅부(111)는 매칭된 차선 중 정밀 지도 내 추정된 차량(V)의 위치에 대응되는 차선과 주변 영상 내 차선 간 평균 픽셀 좌표 오차가 제 1 임계값 이하인지 확인하여, 유효 차선을 결정할 수 있다. 도 7을 참조하면, 피팅부(111)는 정밀 지도로부터 추출된 차선의 어느 하나의 픽셀 PM과 주변 영상으로부터 추출된 차선의 대응 픽섹 PI 간의 매칭 오차 de를 확인할 수 있다. Specifically, the
그 다음, 피팅부(111)는 정밀 지도로부터 추출된 차선의 나머지 픽셀과 주변 영상으로부터 추출된 차선의 대응 픽셀 각각의 매칭 오차를 확인한 후, 이들의 평균인 평균 픽셀 좌표 오차를 획득할 수 있다. 평균 픽셀 좌표 오차를 획득한 후, 피팅부(111)는 획득된 평균 픽셀 좌표 오차가 제 1 임계값 이하인지 확인하여, 평균 픽셀 좌표 오차가 제 1 임계값 이하인 매칭된 차선을 유효 차선으로 결정할 수 있다. 여기서, 제 1 임계값이란 유효 차선으로 결정할 수 있는 매칭된 차선에 대한 평균 픽셀 좌표 오차의 최대값을 의미할 수 있다.Then, the
상술한 과정에 부가하여, 다른 실시예에 따른 피팅부(111)는 평균 픽셀 좌표 오차가 최소인 후보 차선 각각에 대하여 정밀 지도로부터 추출된 차선과 주변 영상으로부터 추출된 차선 간 픽셀 좌표 오차가 제 2 임계값 이상인 픽셀의 개수를 확인할 수 있다. 여기서, 제 2 임계값은 차선의 픽셀 좌표를 유효하지 않은 것으로 결정할 수 있는 매칭된 차선에 대한 픽셀 좌표 오차의 최소값을 의미할 수 있다. In addition to the above-described process, the
그 다음, 피팅부(111)는 픽셀 좌표 오차가 제 2 임계값 이상인 픽셀의 개수가 제 3 임계값 이하인 매칭 차선을 유효 차선으로 결정할 수도 있다. 여기서, 제 3 임계값은 유효 차선으로 결정할 수 있는 매칭된 차선에 대한 유효하지 않은 픽셀 개수의 최대값을 의미할 수 있다.Then, the
상술한 과정을 통해 유효 차선이 결정되면, 피팅부(111)는 유효 차선을 피팅할 수 있다(S120). 여기서, 유효 차선이란 유효한 것으로 판단되는 매칭 차선 중 정밀 지도로부터 추출된 차선을 의미할 수 있다. 추후 차선 피팅 결과로부터 획득되는 다항함수 계수는 딥러닝과 같은 기계학습에서의 정답 데이터로서 입력 데이터에 레이블링 되므로, 피팅부(111)는 주변 영상으로부터 추출된 차선 보다 정확도가 높은 정밀 지도로부터 추출된 차선을 유효 차선으로 선택할 수 있다.When the effective lane is determined through the above-described process, the
구체적으로, 피팅부(111)는 유효 차선을 구성하는 각각의 픽셀 좌표를 차량(V) 좌표계로 변환한 후 커브 피팅(Curve Fitting)을 수행할 수 있다. 구체적으로, 피팅부(111)는 수학식 2에 따라 유효 차선을 피팅할 수 있다.Specifically, the
수학식 2에 따른 다항함수로 유효 차선을 피팅한 다음, 피팅부(111)는 피팅된 유효 차선에 대한 다항함수의 계수를 획득할 수 있다(S130). 구체적으로, 피팅부(111)는 수학식 2의 계수인 a, b, c, 및 d를 획득할 수 있다. 획득된 계수와 관련하여, 6a는 차선의 곡률 미분값을 의미하고, 2b는 곡률을 의미하고, arctan(c)는 방향값을 의미하고, d는 오프셋값을 의미할 수 있다. 그 결과, 획득된 다항함수 계수는 차선 이탈 경보 시스템(1), 차선 유지 지원 시스템(1) 등의 입력값으로 이용될 수 있다.After fitting the effective lane with the polynomial function according to Equation 2, the
또한, 일 실시예에 따른 피팅부(111)는 피팅된 다항함수의 유효성을 판단하고, 유효한 다항함수에 대하여만 계수를 획득할 수도 있다. 도 4에서 설명한 바와 같이, 피팅부(111)는 차량(V)의 전륜으로부터 차량(V)의 전방, 즉 종축 방향으로 미리 정해진 최대 임계 거리까지의 관심 영역을 설정하고, 관심 영역 내 차선 좌표를 추출할 수 있다. 피팅부(111)는 이렇게 추출된 차선 좌표를 주변 영상 내 차선에 매칭할 수 있다. In addition, the
이 때, 피팅부(111)는 차량(V)으로부터 먼 차선의 픽셀일수록 매칭 오차가 증가할 수 있다. 도 8에서는 최대 임계 거리 d1 내에서 차선 Lf를 따라 배치되는 매칭된 차선의 픽셀 좌표 중 빗금 영역을 가지는 픽셀 좌표의 매칭 오차가 큰 경우를 예시한다. In this case, the matching error may increase as the pixels of the
이를 고려하여, 피팅부(111)는 먼저 최대 임계 거리 d1 내의 차선의 픽셀을 기초로 다항함수 피팅을 수행한 후, 실제 차선의 픽셀 좌표 각각으로부터 해당 다항함수의 출력값의 오차를 확인할 수 있다. 피팅부(111)는 차선의 픽셀 좌표 각각에 대한 평균 오차가 제 4 임계값 이하인 경우에 피팅된 다항함수를 유효한 것으로 판단할 수 있다. In consideration of this, the
반면, 차선의 픽셀 좌표 각각에 대한 평균 오차가 제 4 임계값보다 큰 경우, 피팅부(111)는 최대 임계 거리 이하의 범위 내 차선의 픽셀에 대해서만 다시 피팅을 수행하고, 피팅 결과의 유효성을 판단할 수 있다. 여기서, 제 4 임계값이란 피팅된 다항함수를 유효한 것으로 결정할 수 있는 실제 차선의 픽셀에 대한 평균 오차의 최대값을 의미할 수 있다.On the other hand, when the average error for each of the pixel coordinates of the lane is greater than the fourth threshold value, the
도 8에서는 피팅에 이용하는 차선의 픽셀 범위를 최대 임계 거리인 d1으로부터 d2로 제한하여 다항함수 피팅을 수행하는 경우를 예시한다.8 illustrates a case in which polynomial function fitting is performed by limiting the pixel range of the lane used for fitting from d 1 to d 2 , which is the maximum critical distance.
상술한 과정에 부가하여, 다른 실시예에 따른 피팅부(111)는 차선의 픽셀 좌표 각각에 대한 평균 오차가 제 4 임계값 이하인 후보 다항함수에 대하여 각각의 차선의 픽셀 좌표에 대한 오차가 제 5 임계값 이상인 픽셀의 개수가 제 6 임계값 이하인 다항함수를 유효한 것으로 판단할 수도 있다. 여기서, 제 5 임계값은 다항함수를 유효하지 않은 것으로 결정할 수 있는 실제 차선의 픽셀 각각에 대한 오차의 최소값을 의미하고, 제 6 임계값은 다항함수를 유효한 것으로 결정할 수 있는 실제 차선의 픽셀 각각에 대한 유효하지 않은 픽셀 개수의 최대값을 의미할 수 있다.In addition to the above-described process, the
상술한 과정에 따라 피팅된 다항함수가 유효한 것으로 판단되면, 피팅부(111)는 해당 다항함수의 계수를 획득할 수 있다.If it is determined that the polynomial function fitted according to the above-described process is valid, the
지금까지는 피팅부(111)에 의해 수행되는 유효 차선에 대한 다항함수의 계수 획득 방법을 설명하였다. 이하에서는 도 9를 참조하여, 상술한 학습부(110)에 의해 수행되는 차선 정보 획득 모델을 생성하는 방법을 설명한다.Until now, the method of obtaining the coefficients of the polynomial function for the effective lane performed by the
도 9는 본 발명의 일 실시예에 따른 차선 정보 획득 방법 중 차선 정보 획득 모델을 생성하는 방법을 설명하기 위한 도면이다.9 is a diagram illustrating a method of generating a lane information acquisition model among a method of obtaining lane information according to an embodiment of the present invention.
상술한 바와 같이, 일 실시예에 따른 차선 정보 획득 장치(100)의 학습부(110)는 피팅부(111)에 의해 획득된 피팅에 따른 다항함수 계수를 기초로 유효 차선을 학습하여 차선 정보 획득 모델을 생성할 수 있다.As described above, the
이를 위해, 학습부(110)는 제 1 시점에 획득한 주변 영상, 제 1 시점 이전의 제 2 시점에 획득한 주변 영상 및 제 1 시점 이후의 제 3 시점에 획득한 주변 영상으로부터 동일한 유효 차선을 추출할 수 있다(S200). 구체적으로, 일 실시예에 따른 학습부(110)는 제 1 시점에 획득한 주변 영상으로부터 유효 차선을 추출하고, 제 1 시점 이전의 제 2 시점에 획득한 주변 영상으로부터 앞서 추출한 유효 차선과 동일한 유효 차선을 추출하고, 제 1 시점 이후의 제 3 시점에 획득한 주변 영상으로부터 앞서 추출한 유효 차선과 동일한 유효 차선을 추출한 후, 서로 다른 시점에 획득된 주변 영상으로부터 추출된 유효 차선을 병합할 수 있다. To this end, the
도 9에서는 제 1 시점에 대응되는 유효 차선을 제 2 시점에 대응되는 유효 차선 및 제 3 시점에 대응되는 유효 차선과 병합하는 경우를 예시하였으나, 제 1 시점에 대응되는 유효 차선을 제 2 시점에 대응되는 유효 차선 및 제 3 시점에 대응되는 유효 차선 중 적어도 하나와 병합하는 것도 가능할 수 있다.9 illustrates a case in which the valid lane corresponding to the first viewpoint is merged with the valid lane corresponding to the second viewpoint and the valid lane corresponding to the third viewpoint, but the valid lane corresponding to the first viewpoint is combined with the second viewpoint. It may be possible to merge with at least one of a corresponding effective lane and an effective lane corresponding to the third viewpoint.
그 다음, 학습부(110)는 추출된 유효 차선에 다항함수 계수를 레이블링할 수 있다(S210). 구체적으로, 학습부(110)는 추출되어 병합된 유효 차선에 해당 유효 차선의 피팅에 따라 획득된 다항함수 계수를 레이블링 할 수 있다. 상술한 바와 같이, 유효 차선의 피팅에 따라 획득된 다항함수 계수는 정밀 지도로부터 획득된 값으로서 신뢰할 수 있으므로, 학습부(110)는 다항함수 계수를 정답 데이터로서 유효 차선에 레이블링할 수 있다.Then, the
만약, 학습부(110)가 지도 학습(Supervised Learning)을 따르는 경우, 학습부(110)는 추출된 유효 차선 전부에 다함함수 계수를 레이블링 할 수 있다. 이와는 달리, 학습부(110)가 반지도 학습(Semisupervised Learning)을 따르는 경우라면, 학습부(110)는 추출된 유효 차선 중 일부에 대해서만 다항함수 계수를 레이블링하고, 레이블링 된 유효 차선과 레이블링 되지 않은 유효 차선을 함께 이용하여 학습할 수도 있다.If the
마지막으로, 학습부(110)는 레이블링된 유효 차선을 학습하여 차선 정보 획득 모델을 생성할 수 있다(S220). 여기서, 차선 정보 획득 모델이란 주변 영상 내 타겟 차선이 입력되면 해당 차선의 다항함수 피팅에 따른 다항함수 계수를 출력하는 모델을 의미하고, 일 실시예에 따른 차선 정보 획득 모델은 신경망 기반의 모델일 수 있다. 신경망 기반의 차선 정보 획득 모델은 CNN(Convolution Neural Network), DNN(Deep Neural Network), RNN(Recurrent Neural Network), BRDNN(Bidirectional Recurrent Deep Neural Network)과 같은 신경망 모델로 구현될 수 있다.Finally, the
일 실시예에 따른 차선 정보 획득 모델은 유효 차선이 입력되는 입력층, 입력된 유효 차선에 대응되는 다항함수 계수가 출력되는 출력층, 및 입력층과 출력층 사이에 마련되는 복수의 은닉층으로 구성될 수 있다. 출력층은 복수의 은닉층 중 가장 마지막 은닉층과 완전 연결 네트워크(Fully Connected Network)를 형성할 수 있다. 이 때, 인공 신경망의 출력층은 N차 다항함수의 계수에 대한 노드로 구성되고, 각각의 노드는 다항함수 계수에서의 각각의 계수를 의미할 수 있다. The lane information acquisition model according to an embodiment may include an input layer into which an effective lane is input, an output layer through which a polynomial function coefficient corresponding to the input effective lane is output, and a plurality of hidden layers provided between the input layer and the output layer. . The output layer may form a fully connected network with the last hidden layer among the plurality of hidden layers. In this case, the output layer of the artificial neural network is composed of nodes for coefficients of the N-th order polynomial function, and each node may mean each coefficient in the coefficient of the polynomial function.
만약, 차선 정보 획득 모델이 CNN 모델로 구현되는 경우, 복수의 은닉층은 복수의 컨볼루션층(Convolution Layer)과 서브 샘플링층(Subsampling Layer)로 구성될 수 있다. 컨볼루션층은 입력되는 유효 차선에 다양한 컨볼루션 커널(Convolution Kunnel)을 적용하여, 유효 차선에 대한 특징화 벡터를 획득할 수 있다. 이처럼, 컨볼루션은 고차원의 유효 차선에 대해서 특징을 추출하는 일종의 템플릿과 같은 역할을 수행할 수 있다. 서브 샘플링층은 획득된 특징화 벡터의 차원을 축소하는 뉴런층으로서, 컨볼루션 층에 의해 생성된 특징화 벡터에 대한 공간적 해상도를 낮출 수 있다. 이와 같은 과정을 통해, 차선 정보 획득 모델은 문제의 복잡도를 줄일 수 있다. 은닉층에는 컨볼루션 층과 서브 샘플링 층은 반복하여 배치됨으로써 상술한 과정이 반복 수행될 수 있다. 학습부(110)는 출력과 정답 간의 오차를 최소화 하는 방향으로 Back Propagation을 이용하여 인공 신경망의 파라미터를 재조정하고, 출력이 정답에 수렴할 때까지 상술한 입력을 이용하여 인공 신경망을 반복 학습 시킬 수 있다. If the lane information acquisition model is implemented as a CNN model, the plurality of hidden layers may include a plurality of convolution layers and subsampling layers. The convolutional layer may obtain a characterization vector for the effective lane by applying various convolution kernels to the input effective lane. In this way, convolution can serve as a template for extracting features for high-dimensional effective lanes. The sub-sampling layer is a neuron layer that reduces the dimension of the obtained characterization vector, and can lower the spatial resolution of the characterization vector generated by the convolutional layer. Through this process, the lane information acquisition model can reduce the complexity of the problem. The convolutional layer and the sub-sampling layer are repeatedly disposed in the hidden layer, so that the above-described process may be repeatedly performed. The
예를 들어, 일 실시예에 따른 학습부(110)는 k번째 주변 영상에서 검출된 i번째 유효 차선과, i번째 유효 차선과 동일한 k번째 주변 영상의 이전 또는 이후 주변 영상 내 유효 차선을 입력 데이터로 하여, 인공 신경망을 학습시킬 수 있다. 또한, 다른 실시에에 따른 학습부(110)는 상술한 입력 데이터에 k번째 차량 좌표계 기준으로 k번째 주변 영상의 이전 또는 이후 주변 영상에 대응되는 차량의 위치/자세 정보를 부가하여, 인공 신경망을 학습시킬 수 있다.For example, the
또한, 또 다른 실시예에 따른 학습부(110)는 인공 신경망에 의해 출력되는 출력 데이터가 k번째 주변 영상에서 검출된 i 번째 유효 차선에 대한 다항함수 계수를 포함하도록, 인공 신경망을 학습시킬 수 있다. 뿐만 아니라, 또 다른 실시예에 따른 학습부(110)는 인공 신경망에 의해 상술한 출력 데이터에 부가하여 k번째 주변 영상의 이전 또는 이후 주변 영상에서 검출된 유효 차선에 대한 다항함수 계수를 출력하도록, 인공 신경망을 학습시킬 수 있다.In addition, the
이 때, 학습부(110)는 수학식 3의 손실함수에 대하여 손실 loss를 최소로 하는 다항함수 계수를 획득할 수 있다.In this case, the
여기서, ag, bg, cg, 및 dg는 다항함수 계수에 대한 정답 데이터를 의미하고, a, b, c, 및 d는 출력 데이터를 의미할 수 있다.Here, a g , b g , c g , and d g may mean correct answer data for a polynomial coefficient, and a, b, c, and d may mean output data.
일 실시예에 따른 학습부(110)는 지도 학습 방법에 따라, 유효 차선을 입력으로 하고, 해당 유효 차선의 피팅 결과에 따른 다항함수 계수를 대응시킴으로써 유효 차선을 학습할 수 있다. 즉, 학습부(110)는 입력인 유효 차선과 정답인 다항함수 계수 사이의 관계를 학습함으로써, 입력되는 유효 차선의 피팅 결과에 따른 다항함수 계수를 출력하는 차선 정보 획득 모델을 생성할 수 있다.The
이와는 달리, 다른 실시예에 따른 학습부(110)는 레이블링이 된 일부 유효 차선과 레이블링이 되지 않은 나머지 유효 차선을 함께 이용하여 학습하는 In contrast, the
반지도 학습(Semisupervised Learning)에 의해 차선 정보 획득 모델을 생성할 수도 있다. 또는, 또 다른 실시예에 따른 학습부(110) 학습 결과가 올바른지에 대한 피드백을 이용하는 강화 학습(Reinforcement Learning)에 따라 차선 정보 생성 모델을 생성할 수도 있다.It is also possible to create a suboptimal information acquisition model by semisupervised learning. Alternatively, the
학습 완료 후, 학습부(110)는 추론 과정을 통해 학습 과정에서 이용된 입력 데이터의 형식과 동일하게 신경망에 After completing the learning, the
또한, 학습부(110)는 유효 차선 이외에 입력으로서 추정된 차량(V)의 위치 정보를 함께 학습할 수도 있다. 즉, 학습부(110)는 추정된 차량(V)의 위치 정보, 및 해당 위치 정보에 대응되는 유효 차선을 입력으로 하고, 해당 유효 차선의 피팅 결과에 따른 다항함수 계수를 출력으로 하는 차선 정보 획득 모델을 생성할 수 있다.In addition, the
또한, 제 1 시점에 대응되는 유효 차선이 제 2 시점에 대응되는 유효 차선 및 제 3 시점에 대응되는 유효 차선 중 적어도 하나와 병합되는 경우, 학습부(110)는 차선 정보 획득 모델이 제 1 시점뿐만 아니라, 제 2 시점 및 제 3 시점 중 적어도 하나에 대응되는 유효 차선에 대한 다항함수 계수를 출력할 수 있도록, 유효 차선을 학습할 수도 있다. 예를 들어, 제 1 시점에 대응되는 유효 차선이 제 2 시점에 대응되는 유효 차선과 병합되는 경우, 학습부(110)는 병합된 유효 차선을 학습하여, 제 1 시점에 대응되는 유효 차선에 대한 다항함수 계수 및 제 2 시점에 대응되는 유효 차선에 대한 다항함수 계수를 출력하는 차선 정보 획득 모델을 생성할 수 있다. 이와는 달리, 제 1 시점에 대응되는 유효 차선이 제 3 시점에 대응되는 유효 차선과 병합되는 경우, 학습부(110)는 병합된 유효 차선을 학습하여, 제 1 시점에 대응되는 유효 차선에 대한 다항함수 계수 및 제 3 시점에 대응되는 유효 차선에 대한 다항함수 계수를 출력하는 차선 정보 획득 모델을 생성할 수도 있다.In addition, when the effective lane corresponding to the first viewpoint is merged with at least one of the valid lane corresponding to the second viewpoint and the valid lane corresponding to the third viewpoint, the
지금까지는 학습부(110)에 의해 수행되는 차선 정보 획득 모델을 생성하는 방법을 설명하였다. 이하에서는, 도 10을 참조하여, 상술한 추론부(120)에 의해 수행되는 타겟 차선에 대한 다항함수의 계수 획득 방법을 설명한다.Until now, a method of generating a lane information acquisition model performed by the
도 10은 본 발명의 일 실시예에 따른 차선 정보 획득 방법 중 타겟 차선에 대한 다항함수의 계수 획득 방법을 설명하기 위한 도면이다.10 is a diagram for explaining a method of obtaining a coefficient of a polynomial function for a target lane among a method of obtaining lane information according to an embodiment of the present invention.
상술한 바와 같이, 차선 정보 획득 장치(100)의 추론부(120)는 생성된 차선 정보 획득 모델에 주변 영상으로부터 추출된 타겟 차선을 입력하여 타겟 차선에 대한 다항함수 계수를 획득할 수 있다.As described above, the
이를 위해, 추론부(120)는 먼저 차량(V)의 주변 영상을 획득할 수 있다(S300). 차선 정보 획득 장치(100)가 차량(V)과 별개로 마련되는 경우, 추론부(120)는 차선 정보 획득 장치(100)의 통신 수단에 의해 수신된 차량(V)의 주변 영상을 획득할 수 있다. 이와는 달리, 차선 정보 획득 장치(100)가 차량(V)과 일체로 마련되는 경우, 추론부(120)는 차량(V)의 카메라로부터 직접 주변 영상을 획득하거나, 카메라에 의해 획득된 주변 영상을 차량(V) 내부 통신수단에 의해 획득할 수 있다.To this end, the
주변 영상을 획득한 후, 추론부(120)는 획득된 주변 영상으로부터 타겟 차선을 추출할 수 있다(S310). 여기서, 타겟 차선이란 주변 영상 내 정보를 획득하고자 하는 차선을 의미할 수 있고, 일 실시예에 따른 타겟 차선은 단수 또는 복수 개 일 수 있다.After obtaining the surrounding image, the
구체적으로, 추론부(120)의 차선 추출부(121)는 학습 영상에 차선 영역의 위치가 레이블링된 학습 데이터를 학습하여 생성된 차선 추출 모델을 이용하여 주변 영상으로부터 타겟 차선을 추출할 수 있다. 이 때, 일 실시예에 따른 추론부(120)는 피팅부(111)와는 별개의 차선 추출 모델을 이용할 수 있다. 이와는 달리, 다른 실시예에 따른 추론부(120)는 피팅부(111)와 차선 추출 모델을 공유할 수 있고, 나아가 피팅부(111)와 일체로 구현될 수도 있다.Specifically, the
마지막으로, 추론부(120)는 타겟 차선을 차선 정보 획득 모델에 입력하여 타겟 차선에 대한 다항함수 계수를 획득할 수 있다(S320). 구체적으로, 추론부(120)의 계수 획득부(122)는 주변 영상으로부터 추출된 타겟 차선을 학습부(110)에 의해 생성된 차선 정보 획득 모델에 입력하고, 차선 정보 획득 모델로부터 출력되는 다항함수 계수를 획득할 수 있다.Finally, the
만약, 학습부(110)가 유효 차선뿐만 아니라 추정된 차량(V)의 위치 정보를 함께 학습하여 차선 정보 획득 모델을 생성한 경우, 계수 획득부(122)는 타겟 차선과 함께 현재 차량(V)의 위치 정보를 차선 정보 획득 모델에 입력하여 타겟 차선에 대한 다항함수 계수를 획득할 수 있다. 이렇게 획득된 다항함수 계수는 타겟 차선의 곡률 미분값, 타겟 차선의 곡률, 타겟 차선의 방향값, 및 오프셋값에 대한 정보를 포함하므로, 추후 차선 이탈 경보 시스템(1), 차선 유지 지원 시스템(1) 등의 입력값으로 이용될 수 있다.If the
상술한 실시예에 따른 차선 정보 획득 장치 및 방법은, 차선의 피팅 시 사용자의 경험 또는 직관을 배제함으로써 보다 정확한 차선 정보를 획득할 수 있다. 특히, 기계 학습을 통해 차선 정보 획득 모델을 생성하여 이용하므로, 학습 DB가 많아질수록 출력하는 차선 정보의 정확도가 높아질 수 있다. The apparatus and method for obtaining lane information according to the above-described embodiment may obtain more accurate lane information by excluding user experience or intuition when fitting a lane. In particular, since the lane information acquisition model is generated and used through machine learning, the accuracy of the output lane information may increase as the number of training DBs increases.
또한, 검출된 주행 차선 정보를 차선 이탈 경보 시스템과 차선 유지 지원 시스템의 입력 값으로서 이용함으로써, 보다 정밀한 차량의 제어가 가능할 수 있다.Further, by using the detected driving lane information as input values of the lane departure warning system and the lane maintenance support system, more precise vehicle control may be possible.
한편, 상술한 일 실시예에 따른 차선 정보 획득 방법에 포함된 각각의 단계는, 이러한 단계를 수행하도록 프로그램된 컴퓨터 프로그램을 기록하는 컴퓨터 판독가능한 기록매체에서 구현될 수 있다.Meanwhile, each step included in the method for obtaining lane information according to the above-described embodiment may be implemented in a computer-readable recording medium for recording a computer program programmed to perform such a step.
또한, 상술한 일 실시예에 따른 차선 정보 획득 방법에 포함된 각각의 단계는, 이러한 단계를 수행하도록 프로그램된 컴퓨터 프로그램으로 구현될 수도 있다.In addition, each step included in the method for obtaining lane information according to the above-described embodiment may be implemented as a computer program programmed to perform these steps.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 품질에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely illustrative of the technical idea of the present invention, and those of ordinary skill in the art to which the present invention pertains will be able to make various modifications and variations without departing from the essential quality of the present invention. Accordingly, the embodiments disclosed in the present invention are not intended to limit the technical idea of the present invention, but to explain the technical idea, and the scope of the technical idea of the present invention is not limited by these embodiments. The scope of protection of the present invention should be interpreted by the following claims, and all technical ideas within the scope equivalent thereto should be construed as being included in the scope of the present invention.
일 실시예에 따르면, 상술한 차선 정보 획득 장치 및 방법은 댁내 또는 산업 현장 등 다양한 분야에서 이용될 수 있으므로 산업상 이용 가능성이 있다.According to an embodiment, since the above-described apparatus and method for obtaining lane information can be used in various fields such as indoors or industrial sites, there is a possibility of industrial use.
1: 차선 정보 획득 시스템
100: 차선 정보 획득 장치
V: 차량1: lane information acquisition system
100: lane information acquisition device
V: vehicle
Claims (13)
정밀 지도 내 상기 추정된 차량의 위치에 대응되는 차선을 상기 주변 영상 내 차선에 매칭(Matching)하는 단계;
상기 차선의 매칭 정보를 이용하여 상기 매칭된 차선을 유효 차선으로 결정하는 단계;
상기 결정된 유효 차선을 피팅(Fitting)하는 단계;
차선 정보 획득 모델의 생성을 위한 학습에 이용되는 상기 유효 차선의 정답 데이터로서 상기 피팅된 유효 차선에 대한 다항함수 계수를 획득하는 단계; 및
상기 주변 영상 내 상기 피팅된 유효 차선에 상기 다항함수 계수를 레이블링(Labeling)하는 단계를 포함하는
차선 정보 획득 방법.Estimating the location of the vehicle based on the surrounding image of the vehicle;
Matching (Matching) a lane corresponding to the position of the estimated vehicle in a precision map with a lane in the surrounding image;
Determining the matched lane as an effective lane using matching information of the lane;
Fitting the determined effective lane;
Acquiring a polynomial function coefficient for the fitted effective lane as correct answer data of the effective lane used for learning to generate a lane information acquisition model; And
And labeling the polynomial coefficient on the fitted effective lane in the surrounding image.
How to get lane information.
상기 매칭된 차선을 상기 유효 차선으로 결정하는 단계는,
상기 매칭된 차선 중 상기 정밀 지도 내 상기 추정된 차량의 위치에 대응되는 차선과 상기 주변 영상 내 차선 간 평균 픽셀 좌표 오차가 제 1 임계값 이하인 후보 차선으로부터 상기 평균 픽셀 좌표 오차가 최소인 상기 유효 차선을 결정하는
차선 정보 획득 방법.The method of claim 1,
The step of determining the matched lane as the effective lane,
The effective lane in which the average pixel coordinate error is minimum from a candidate lane in which an average pixel coordinate error between a lane corresponding to the estimated vehicle position in the precision map and a lane in the surrounding image among the matched lanes is less than a first threshold value To determine
How to get lane information.
상기 매칭된 차선을 상기 유효 차선으로 결정하는 단계는,
상기 평균 픽셀 좌표 오차가 최소인 상기 후보 차선으로부터 상기 정밀 지도 내 상기 추정된 차량의 위치에 대응되는 차선과 상기 주변 영상 내 차선 간 좌표 오차가 제 2 임계값 이상인 픽셀의 개수가 제 3 임계값 이하인 상기 유효 차선을 결정하는
차선 정보 획득 방법.The method of claim 2,
The step of determining the matched lane as the effective lane,
The number of pixels in which a coordinate error between a lane corresponding to the estimated vehicle position in the precision map and a lane in the surrounding image from the candidate lane having the minimum average pixel coordinate error is equal to or greater than a second threshold value is equal to or less than a third threshold value. To determine the effective lane
How to get lane information.
상기 유효 차선의 정답 데이터로서 상기 피팅된 유효 차선에 대한 상기 다항함수 계수를 획득하는 단계는,
상기 피팅된 다항함수에 대한 평균 피팅 오차가 제 4 임계값 이하인 경우, 상기 다항함수 계수를 획득하는
차선 정보 획득 방법.The method of claim 1,
Obtaining the polynomial function coefficient for the fitted effective lane as correct answer data of the effective lane,
When the average fitting error for the fitted polynomial function is less than or equal to a fourth threshold value, obtaining the polynomial function coefficient
How to get lane information.
상기 유효 차선의 정답 데이터로서 상기 피팅된 유효 차선에 대한 상기 다항함수 계수를 획득하는 단계는,
상기 평균 피팅 오차가 상기 제 4 임계값 이하인 상기 피팅된 다항함수 중 피팅 오차가 제 5 임계값 이상인 픽셀의 개수가 제 6 임계값 이하인 상기 다항함수의 계수를 획득하는
차선 정보 획득 방법.The method of claim 4,
Obtaining the polynomial function coefficient for the fitted effective lane as correct answer data of the effective lane,
Obtaining a coefficient of the polynomial function in which the number of pixels having a fitting error equal to or greater than a fifth threshold value among the fitted polynomial functions having the average fitting error equal to or lower than the fourth threshold value is equal to or lower than a sixth threshold value
How to get lane information.
상기 레이블링된 상기 유효 차선을 학습하여 상기 차선 정보 획득 모델을 생성하는 단계를 더 포함하고,
상기 차선 정보 획득 모델을 생성하는 단계는,
상기 유효 차선이 입력된 상기 차선 정보 획득 모델에 의해 출력된 출력 데이터와 상기 유효 차선에 레이블링된 상기 다항함수 계수 사이의 오차가 작아지도록 상기 유효 차선을 학습하는
차선 정보 획득 방법. The method of claim 1,
Further comprising the step of generating the lane information acquisition model by learning the labeled effective lane,
The step of generating the lane information acquisition model,
Learning the effective lane so that an error between the output data output by the lane information acquisition model in which the effective lane is input and the polynomial coefficient labeled on the effective lane decreases
How to get lane information.
상기 유효 차선에 상기 다항함수 계수를 레이블링하는 단계는,
제 1 시점에 획득된 상기 주변 영상 내 상기 유효 차선을 상기 제 1 시점 이전의 제 2 시점에 획득된 상기 주변 영상 내 상기 유효 차선 및 상기 제 1 시점 이후의 제 3 시점에 획득된 상기 주변 영상 내 상기 유효 차선 중 적어도 하나를 병합하여 상기 다항함수 계수를 레이블링하는
차선 정보 획득 방법. The method of claim 1,
Labeling the polynomial coefficient on the effective lane,
The effective lane in the surrounding image acquired at a first view point is in the surrounding image acquired at a second view point before the first view point, and the effective lane in the surrounding image acquired at a third view point after the first view point. Labeling the polynomial coefficient by merging at least one of the effective lanes
How to get lane information.
상기 차선 정보 획득 모델을 생성하는 단계는,
상기 레이블링된 상기 유효 차선과 함께 상기 차량의 위치 정보를 학습하여 상기 차선 정보 획득 모델을 생성하는
차선 정보 획득 방법.The method of claim 1,
The step of generating the lane information acquisition model,
Generating the lane information acquisition model by learning the location information of the vehicle together with the labeled valid lane
How to get lane information.
상기 차량의 위치를 추정하는 단계는,
GPS 기반 상기 차량의 초기 위치 정보에 대응되는 상기 정밀 지도의 랜드마크를 상기 차량의 카메라에 의해 촬영된 상기 주변 영상에 매칭하여 상기 카메라의 초기 위치 정보를 획득하는 단계;
상기 카메라의 초기 위치 정보 및 상기 차량의 주행 정보를 기초로 샘플링된 복수의 후보 위치 정보 각각에 대응되는 상기 정밀 지도의 랜드마크와 상기 영상 간 매칭 정보에 기초하여 상기 카메라의 위치를 추정하는 단계; 및
상기 추정된 카메라의 위치를 기초로 상기 차량의 위치를 추정하는 단계를 포함하는
차선 정보 획득 방법.The method of claim 1,
The step of estimating the location of the vehicle,
Obtaining initial location information of the camera by matching the landmark of the precision map corresponding to the initial location information of the vehicle based on GPS with the surrounding image captured by the camera of the vehicle;
Estimating the location of the camera based on matching information between the image and the landmark of the precision map corresponding to each of the plurality of candidate location information sampled based on the initial location information of the camera and the driving information of the vehicle; And
Including the step of estimating the position of the vehicle based on the estimated position of the camera
How to get lane information.
상기 추출된 타겟 차선을 차선 정보 획득 모델에 입력하여 상기 타겟 차선의 피팅 결과로서의 다항함수 계수를 획득하는 단계를 포함하고,
상기 차선 정보 획득 모델은,
상기 차량의 주변 영상 내 차선과 정밀 지도 내 상기 차량의 위치에 대응되는 차선 간 매칭 정보에 따라 결정된 유효 차선의 피팅 결과를 학습함으로써 생성되는
차선 정보 획득 방법.Extracting a target lane from an image around a target of the vehicle; And
Including the step of obtaining a polynomial coefficient as a result of fitting the target lane by inputting the extracted target lane into a lane information acquisition model,
The lane information acquisition model,
Generated by learning the fitting result of the effective lane determined according to matching information between the lane in the surrounding image of the vehicle and the lane corresponding to the location of the vehicle in the precision map
How to get lane information.
상기 유효 차선에 상기 다항함수 계수를 레이블링(Labeling)하고, 상기 레이블링된 상기 유효 차선을 학습하여 타겟 차선에 대한 다항함수 계수를 출력하는 차선 정보 획득 모델을 생성하는 모델 생성부를 포함하는
차선 정보 획득 장치.The vehicle location is estimated based on the surrounding image of the vehicle, the lane corresponding to the estimated vehicle location in the precision map is matched with the lane in the surrounding image, and is determined based on the matching information of the lane. A fitting unit that fits an effective lane and obtains a polynomial function coefficient for the fitted effective lane; And
And a model generation unit for generating a lane information acquisition model for labeling the polynomial coefficient on the effective lane, learning the labeled effective lane, and outputting a polynomial function coefficient for a target lane.
Lane information acquisition device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190068972A KR20200141871A (en) | 2019-06-11 | 2019-06-11 | Apparatus and method for obtaining lane information |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190068972A KR20200141871A (en) | 2019-06-11 | 2019-06-11 | Apparatus and method for obtaining lane information |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20200141871A true KR20200141871A (en) | 2020-12-21 |
Family
ID=74090504
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190068972A KR20200141871A (en) | 2019-06-11 | 2019-06-11 | Apparatus and method for obtaining lane information |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20200141871A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112782661A (en) * | 2021-01-05 | 2021-05-11 | 广州小鹏自动驾驶科技有限公司 | Method and related device for detecting motor vehicle road guardrail |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20170097435A (en) | 2016-02-18 | 2017-08-28 | 한국전자통신연구원 | Apparatus and method for decision making for right turn in intersection for autonomous driving system |
-
2019
- 2019-06-11 KR KR1020190068972A patent/KR20200141871A/en not_active Application Discontinuation
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20170097435A (en) | 2016-02-18 | 2017-08-28 | 한국전자통신연구원 | Apparatus and method for decision making for right turn in intersection for autonomous driving system |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112782661A (en) * | 2021-01-05 | 2021-05-11 | 广州小鹏自动驾驶科技有限公司 | Method and related device for detecting motor vehicle road guardrail |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10976741B2 (en) | Safety and comfort constraints for navigation | |
| CN110531753B (en) | Control system, control method and controller for autonomous vehicle | |
| US10943355B2 (en) | Systems and methods for detecting an object velocity | |
| KR102420476B1 (en) | Apparatus and method for estimating location of vehicle and computer recordable medium storing computer program thereof | |
| CN108572663B (en) | Target tracking | |
| KR102146451B1 (en) | Apparatus and method for acquiring conversion information of coordinate system | |
| KR102071418B1 (en) | Apparatus and method for providing camera calibration for vehicle | |
| US11321950B2 (en) | Apparatus and method for detecting lane information, and computer-readable recording medium storing computer program programmed to execute same method | |
| US20200284591A1 (en) | Aligning road information for navigation | |
| Chen et al. | Pseudo-image and sparse points: Vehicle detection with 2D LiDAR revisited by deep learning-based methods | |
| KR101797818B1 (en) | Apparatus and method for providing road information based on deep learnig | |
| CN110930323A (en) | Method and device for removing light reflection of image | |
| US20210165413A1 (en) | Safe traversable area estimation in unstructured free-space using deep convolutional neural network | |
| US20220315062A1 (en) | Information processing apparatus, control apparatus for moving body, method of controlling information processing apparatus, and method of controlling moving body | |
| KR20200120402A (en) | Apparatus and method for obtaining estimated location of vehicle | |
| KR102604821B1 (en) | Apparatus and method for estimating location of vehicle | |
| US20210396527A1 (en) | Apparatus and method for determining of correction information of vehicle sensor | |
| KR20200141871A (en) | Apparatus and method for obtaining lane information | |
| KR20210041969A (en) | Apparatus and method for providing on-line camera calibration by using map matching | |
| Rana et al. | The perception systems used in fully automated vehicles: a comparative analysis | |
| KR20200142716A (en) | Method for providing navigation information, server and method for providing vehicle map | |
| US20220284623A1 (en) | Framework For 3D Object Detection And Depth Prediction From 2D Images | |
| KR102129498B1 (en) | Apparatus and method for estimating position of vehicle | |
| US20240161398A1 (en) | Late-to-early temporal fusion for point clouds | |
| EP4266261A1 (en) | 3d road surface estimation for automated driving systems |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal |