KR102456626B1 - Apparatus and method for traffic lane recognition in automatic steering control of vehilcles - Google Patents
Apparatus and method for traffic lane recognition in automatic steering control of vehilcles Download PDFInfo
- Publication number
- KR102456626B1 KR102456626B1 KR1020160005272A KR20160005272A KR102456626B1 KR 102456626 B1 KR102456626 B1 KR 102456626B1 KR 1020160005272 A KR1020160005272 A KR 1020160005272A KR 20160005272 A KR20160005272 A KR 20160005272A KR 102456626 B1 KR102456626 B1 KR 102456626B1
- Authority
- KR
- South Korea
- Prior art keywords
- lane
- vehicle
- probability distribution
- surrounding
- information
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 84
- 238000009826 distribution Methods 0.000 claims abstract description 147
- 238000001514 detection method Methods 0.000 claims description 22
- 230000008569 process Effects 0.000 claims description 11
- 230000003287 optical effect Effects 0.000 claims description 7
- 238000012937 correction Methods 0.000 claims description 4
- 230000007704 transition Effects 0.000 claims 1
- 230000008859 change Effects 0.000 description 8
- 238000010187 selection method Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000033228 biological regulation Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/10—Path keeping
- B60W30/12—Lane keeping
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/02—Rear-view mirror arrangements
- B60R1/08—Rear-view mirror arrangements involving special optical features, e.g. avoiding blind spots, e.g. convex mirrors; Side-by-side associations of rear-view and other mirrors
- B60R1/081—Rear-view mirror arrangements involving special optical features, e.g. avoiding blind spots, e.g. convex mirrors; Side-by-side associations of rear-view and other mirrors avoiding blind spots, e.g. by using a side-by-side association of mirrors
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- B60W2420/42—
-
- B60W2420/52—
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
- B60Y2300/00—Purposes or special features of road vehicle drive control systems
- B60Y2300/10—Path keeping
- B60Y2300/12—Lane keeping
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Traffic Control Systems (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
Abstract
자율 주행 차량의 차선 인지 방법은 차량에 탑재된 카메라로부터 획득된 영상 정보를 근거로 차선의 제1위치를 인식하는 단계, 차량에 탑재된 카메라 및 센서 중 적어도 하나를 통해 획득된 주변 차량 정보를 바탕으로 차선에 대한 확률분포(probability distribution)를 결정하는 단계, 및 확률분포의 일정 범위 내 차선이 포함되는 지에 따라 제1위치 및 확률분포에 따른 차선의 제2위치 중 하나를 출력하는 단계를 포함한다.The lane recognition method of an autonomous vehicle includes recognizing a first position of a lane based on image information obtained from a camera mounted on the vehicle, and based on information about surrounding vehicles obtained through at least one of a camera and a sensor mounted on the vehicle. Determining a probability distribution for the lane by using .
Description
본 발명은 자율 주행 차량의 차선 인지 방법 및 장치에 관한 것으로, 더욱 상세하게는 카메라를 통한 영상 정보를 기반으로 차선을 인지하는 과정에서 차선이 명확하지 않은 경우에 발생할 수 있는 오류를 해결할 수 있는 방법 및 장치에 관한 것이다.The present invention relates to a method and apparatus for recognizing a lane of an autonomous vehicle, and more particularly, a method for resolving an error that may occur when a lane is not clear in the process of recognizing a lane based on image information through a camera and devices.
자동차는 운전자에게 보다 편안하고 안전한 주행환경을 제공하기 위해 개발되어왔다. 또한, 운전자의 안전 및 편의를 향상시키기 위한 안전 제어 시스템들이 개발되고 있다. 나아가, 운전자에게 보다 안락하고 안전한 주행환경을 제공하기 위한 지능형 운전자 지원 시스템에 대한 연구 역시 활발하게 진행되고 있으며 궁극적으로는 자율 주행 또는 무인 자율 주행을 위한 제어 시스템에 대한 연구로 확대되어가고 있다.Automobiles have been developed to provide drivers with a more comfortable and safe driving environment. In addition, safety control systems for improving driver safety and convenience are being developed. Furthermore, research on an intelligent driver assistance system to provide a more comfortable and safe driving environment for drivers is also being actively conducted, and ultimately, research on a control system for autonomous driving or unmanned autonomous driving is being expanded.
운전자를 돕기 위한 주행 편의 장치에는 현재 차선(lane)을 유지하면서 종방향 속도를 조절하며 이웃한 차량과의 차간 거리를 제어할 수 있는 지능형 순항 제어장치(Smart Cruise Control, SCC), 고속도로 운전지원 시스템(Highway Driving Assist, HDA) 등이 포함되어 있다. 또한, 주행중인 차선을 벗어나는 경우 운전자에게 경고를 주거나 본래 주행 중이던 차선으로 복귀시키는 차선 유지 지원 시스템(Lane Keeping Assist System, LKAS)등도 연구되고 있다.Driving convenience devices to assist the driver include Smart Cruise Control (SCC) that maintains the current lane, adjusts longitudinal speed, and controls the inter-vehicle distance with neighboring vehicles, and a highway driving assistance system. (Highway Driving Assist, HDA). In addition, a lane keeping assist system (LKAS), which warns the driver or returns to the original driving lane, is being studied when the vehicle deviates from the driving lane.
여러 기능을 수행할 수 있는 주행 편의 장치에서 기본적으로 요구되는 것은 차량이 주행 중 차선을 인지하는 기술이다. 예를 들면, 자율주행 차량의 경우, 차선을 잘못 인지하거나 차선이 인지되지 않는 주행 상황에서 현재 주행 중인 차선을 벗어나서 주행하는 상황이 발생할 수 있다. 주행 편의 장치는 이러한 차선이탈 상황을 막기 위한 보완 장치들을 포함할 수 있다.A basic requirement of a driving convenience device that can perform various functions is a technology for recognizing a lane while a vehicle is driving. For example, in the case of an autonomous vehicle, a situation in which a lane is incorrectly recognized or a vehicle is driven out of a currently driving lane in a driving situation in which the lane is not recognized may occur. The driving convenience device may include complementary devices for preventing such a lane departure situation.
자율 주행 차량에서 카메라를 통한 영상 정보를 기반으로 차선을 인지하는 방법이 가장 보편적으로 사용되는 방법이다. 영상 정보를 이용하는 경우, 이상적으로 차선이 깨끗하게 그려진 경우에는 자율 주행 차량이 차선을 인지하는 데 문제가 없을 수 있다. 하지만, 도로에 차선이 분명하지 않은 경우에는 자율 주행 차량이 차선을 잘못 인지하는 경우가 발생한다. 예를 들어, 도로 공사 등과 같은 이유로 기존 차선에 추가로 새로운 차선이 생겨나는 경우, 영상 기반으로 차선을 인지하는 방법으로는 차선이 잘못인지 될 가능성이 발생한다. 이와 같은 상황에서 차선 인지 카메라가 기존의 잘못 그려진 차선을 인지하더라도 실제의 차량 주행은 새로 추가된 차선을 기반으로 움직일 수 있는데, 이를 보정하기 위한 방법이 필요하다.In an autonomous vehicle, lane recognition based on image information from a camera is the most commonly used method. In the case of using image information, if the lanes are ideally drawn clearly, the autonomous vehicle may have no problem recognizing the lanes. However, when the lane is not clear on the road, the autonomous vehicle may incorrectly recognize the lane. For example, when a new lane is added to the existing lane for reasons such as road construction, etc., there is a possibility that the lane may be incorrectly recognized by recognizing the lane based on an image. In such a situation, even if the lane recognition camera recognizes the existing incorrectly drawn lane, the actual vehicle can move based on the newly added lane, and a method for correcting this is needed.
본 발명은 카메라 영상 정보 기반 차선 인지의 부정확성을 보조하고, 주변 차량 정보를 활용한 확률적 분포 기반의 차선 추정 결과를 사용하여 차선 인지를 보정하기 위한 방법과 장치를 포함한다.The present invention includes a method and apparatus for assisting inaccuracy of lane recognition based on camera image information and correcting lane recognition using a result of estimating a lane based on a probabilistic distribution using information on surrounding vehicles.
또한, 본 발명은 도로의 상태 또는 환경적인 요인(날씨 등)에 의해 카메라 영상을 통해 차선을 인식하기 어려운 경우, 주행 중 주변 차량 정보를 사용하여 차선을 인지하는 방법과 장치를 포함한다.In addition, the present invention includes a method and apparatus for recognizing a lane using surrounding vehicle information while driving when it is difficult to recognize a lane through a camera image due to road conditions or environmental factors (weather, etc.).
본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The technical problems to be achieved in the present invention are not limited to the technical problems mentioned above, and other technical problems not mentioned will be clearly understood by those of ordinary skill in the art to which the present invention belongs from the description below. will be able
본 발명의 일 실시예에 따른 자율 주행 차량의 차선 인지 방법은 차량에 탑재된 카메라로부터 획득된 영상 정보를 근거로 차선의 제1위치를 인식하는 단계; 차량에 탑재된 카메라 및 센서 중 적어도 하나를 통해 획득된 주변 차량 정보를 바탕으로 상기 차선에 대한 확률분포(probability distribution)를 결정하는 단계; 및 상기 확률분포의 일정 범위 내 상기 차선이 포함되는 지에 따라 상기 제1위치 및 상기 확률분포에 따른 상기 차선의 제2위치 중 하나를 출력하는 단계를 포함할 수 있다.A method for recognizing a lane of an autonomous vehicle according to an embodiment of the present invention includes recognizing a first position of a lane based on image information obtained from a camera mounted on the vehicle; determining a probability distribution for the lane based on surrounding vehicle information obtained through at least one of a camera and a sensor mounted on the vehicle; and outputting one of the first position and the second position of the lane according to the probability distribution according to whether the lane is included within a predetermined range of the probability distribution.
또한, 상기 제1위치를 인식하는 단계는 상기 영상 정보를 탑 뷰(top view) 형태로 보정하는 단계; 보정된 영상에서 상기 차선에 대응하는 패턴을 검출하는 단계; 및 상기 패턴과 상기 차량 사이의 거리를 결정하는 단계를 포함할 수 있다.In addition, recognizing the first position may include correcting the image information in a top view form; detecting a pattern corresponding to the lane in the corrected image; and determining a distance between the pattern and the vehicle.
또한, 상기 주변 차량 정보는 물체의 거리나 속도, 각도를 측정하기 위해 전자기파를 사용하는 레이더(Radar, Radio Detection And Ranging) 감지 센서, 빛을 이용해 레이더가 볼 수 없는 사각지대까지 관측 가능한 라이다(Lidar, Light Detection and Ranging) 센서, 광학계를 통해 영상으로 취득한 후 처리해 감지하는 카메라(Camera) 중 적어도 하나에 의해 획득될 수 있다.In addition, the surrounding vehicle information is a radar (Radio Detection And Ranging) detection sensor that uses electromagnetic waves to measure the distance, speed, and angle of an object, and a lidar that can observe even a blind spot that radar cannot see using light ( It can be acquired by at least one of a Lidar, Light Detection and Ranging) sensor, and a camera that processes and detects an image through an optical system.
또한, 자율 주행 차량의 차선 인지 방법은 차량에 탑재된 카메라 및 센서로부터 복수의 상기 주변 차량 정보가 수집되면, 상기 복수의 주변 차량 정보를 매칭시키는 단계를 더 포함할 수 있다.In addition, the method for recognizing a lane of an autonomous vehicle may further include matching the plurality of surrounding vehicle information when a plurality of the surrounding vehicle information is collected from a camera and a sensor mounted on the vehicle.
또한, 상기 확률분포를 결정하는 단계는 상기 주변 차량 정보에 근거하여, 상기 차량을 기준으로 상기 주변 차량의 개별 궤적을 결정하는 제1단계; 상기 개별 궤적을 바탕으로 상기 개별 확률분포를 결정하는 제2단계; 및 상기 개별 확률분포를 결합하여 상기 확률분포를 출력하는 제3단계를 포함할 수 있다.In addition, the determining of the probability distribution may include: a first step of determining individual trajectories of the surrounding vehicles based on the vehicle based on the surrounding vehicle information; a second step of determining the individual probability distribution based on the individual trajectory; and a third step of outputting the probability distribution by combining the individual probability distributions.
또한, 상기 주변 차량 정보에 포함된 상기 주변 차량의 수를 결정하는 단계를 더 포함하고, 상기 수만큼 상기 제1단계 내지 상기 제3단계를 반복할 수 있다.The method may further include determining the number of the surrounding vehicles included in the surrounding vehicle information, and repeating the first to third steps by the number.
또한, 자율 주행 차량의 차선 인지 방법은 상기 주변 차량에 개별적으로 가중치를 결정하는 단계를 더 포함하고, 상기 개별 확률분포는 상기 가중치를 반영하여 상기 확률분포에 결합될 수 있다.In addition, the method for recognizing a lane of an autonomous vehicle may further include determining a weight individually for the surrounding vehicles, and the individual probability distribution may be combined with the probability distribution by reflecting the weight.
또한, 상기 가중치는 1/n(n은 상기 주변 차량의 수)으로 초기 설정되고, 상기 개별 확률분포와 상기 확률분포의 거리가 가까울수록 상기 가중치는 높아질 수 있다.In addition, the weight is initially set to 1/n (n is the number of surrounding vehicles), and the closer the distance between the individual probability distribution and the probability distribution is, the higher the weight may be.
또한, 상기 주변 차량의 상기 개별 궤적이 기 설정된 범위를 초과하는 횡방향 움직임이 있는 경우, 상기 가중치를 최소값으로 결정할 수 있다.Also, when there is a lateral movement in which the individual trajectories of the surrounding vehicles exceed a preset range, the weight may be determined as a minimum value.
또한, 상기 확률분포의 기 설정된 확률 범위 내 상기 차선이 위치하면 상기 제1위치를 출력할 수 있다.Also, when the lane is located within a preset probability range of the probability distribution, the first position may be output.
또한, 자율 주행 차량의 차선 인지 방법은 상기 기 설정된 확률 범위 내 상기 차선이 위치하지 않으면, 수동 운전 전환을 요청하는 단계; 및 상기 차선의 제2위치를 출력하는 단계를 더 포함할 수 있다.In addition, the method for recognizing a lane of an autonomous vehicle may include: when the lane is not located within the preset probability range, requesting a manual driving change; and outputting a second position of the lane.
본 발명의 다른 실시예에 따른 프로세서에 의해 실행되는 것을 통하여, 전술한 자율 주행 차량의 차선 인지 방법을 포함할 수 있다. 또한, 본 발명의 다른 실시예에 따른 컴퓨터 판독 가능한 기록매체는 전술한 자율 주행 차량의 차선 인지 방법을 포함할 수 있다.Through being executed by a processor according to another embodiment of the present invention, the above-described method for recognizing a lane of an autonomous vehicle may be included. In addition, the computer-readable recording medium according to another embodiment of the present invention may include the above-described method for recognizing a lane of an autonomous vehicle.
본 발명의 다른 실시예에 따른 자율 주행 차량의 차선 인지 장치는 차량에 탑재된 카메라로부터 획득된 영상 정보를 근거로 차선의 제1위치를 인식하는 제1차선 인지부; 차량에 탑재된 카메라 및 센서 중 적어도 하나를 통해 획득된 주변 차량 정보를 바탕으로 상기 차선에 대한 확률분포(probability distribution)를 결정하는 제2차선 인지부; 및 상기 확률분포의 일정 범위 내 상기 차선이 포함되는 지에 따라 상기 제1위치 및 상기 확률분포에 따른 상기 차선의 제2위치 중 하나를 출력하는 판단부를 포함할 수 있다.A lane recognition apparatus for an autonomous vehicle according to another embodiment of the present invention includes: a first lane recognition unit for recognizing a first position of a lane based on image information obtained from a camera mounted on the vehicle; a second lane recognition unit for determining a probability distribution for the lane based on information about surrounding vehicles obtained through at least one of a camera and a sensor mounted on the vehicle; and a determination unit outputting one of the first position and the second position of the lane according to the probability distribution according to whether the lane is included within a predetermined range of the probability distribution.
또한, 상기 제1차선 인지부는 상기 영상 정보를 탑 뷰(top view) 형태로 보정하는 보정부; 보정된 영상에서 상기 차선에 대응하는 패턴을 검출하는 검출부; 및 상기 패턴과 상기 차량 사이의 거리를 결정하는 측정부를 포함할 수 있다.In addition, the first lane recognizing unit may include a correction unit for correcting the image information in a top view form; a detection unit detecting a pattern corresponding to the lane in the corrected image; and a measuring unit that determines a distance between the pattern and the vehicle.
또한, 상기 주변 차량 정보는 물체의 거리나 속도, 각도를 측정하기 위해 전자기파를 사용하는 레이더(Radar, Radio Detection And Ranging) 감지 센서, 빛을 이용해 레이더가 볼 수 없는 사각지대까지 관측 가능한 라이다(Lidar, Light Detection and Ranging) 센서, 광학계를 통해 영상으로 취득한 후 처리해 감지하는 카메라(Camera) 중 적어도 하나에 의해 획득될 수 있다.In addition, the surrounding vehicle information is a radar (Radio Detection And Ranging) detection sensor that uses electromagnetic waves to measure the distance, speed, and angle of an object, and a lidar that can observe even a blind spot that radar cannot see using light ( It can be acquired by at least one of a Lidar, Light Detection and Ranging) sensor, and a camera that processes and detects an image through an optical system.
또한, 자율 주행 차량의 차선 인지 장치는 차량에 탑재된 카메라 및 센서로부터 복수의 상기 주변 차량 정보가 수집되면, 상기 복수의 주변 차량 정보를 매칭시키는 매칭부를 더 포함할 수 있다.In addition, the apparatus for recognizing a lane of an autonomous vehicle may further include a matching unit that matches the plurality of surrounding vehicle information when a plurality of the surrounding vehicle information is collected from a camera and a sensor mounted on the vehicle.
또한, 상기 제2차선 인지부는 상기 주변 차량 정보에 근거하여, 상기 차량을 기준으로 상기 주변 차량의 개별 궤적을 결정하는 제1단계; 상기 개별 궤적을 바탕으로 상기 개별 확률분포를 결정하는 제2단계; 및 상기 개별 확률분포를 결합하여 상기 확률분포를 출력하는 제3단계를 수행할 수 있다.The second lane recognizing unit may include: a first step of determining individual trajectories of the surrounding vehicles based on the vehicle based on the surrounding vehicle information; a second step of determining the individual probability distribution based on the individual trajectory; and a third step of outputting the probability distribution by combining the individual probability distributions.
또한, 상기 제2차선 인지부는 상기 주변 차량 정보에 포함된 주변 차량의 수를 결정하고, 상기 수만큼 상기 제1단계 내지 상기 제3단계를 반복 수행할 수 있다.Also, the second lane recognizing unit may determine the number of surrounding vehicles included in the surrounding vehicle information, and repeat the first to third steps by the number.
또한, 상기 제2차선 인지부는 상기 주변 차량에 개별적으로 가중치를 결정하고, 상기 개별 확률분포를 상기 가중치를 반영하여 상기 확률분포에 결합할 수 있다.Also, the second lane recognizing unit may individually determine weights for the surrounding vehicles, and combine the individual probability distributions with the probability distributions by reflecting the weights.
또한, 상기 가중치는 1/n(n은 상기 주변 차량의 수)으로 초기 설정되고, 상기 개별 확률분포와 상기 확률분포의 거리가 가까울수록 상기 가중치는 높아질 수 있다.In addition, the weight is initially set to 1/n (n is the number of surrounding vehicles), and the closer the distance between the individual probability distribution and the probability distribution is, the higher the weight may be.
또한, 상기 주변 차량의 상기 개별 궤적이 기 설정된 범위를 초과하는 횡방향 움직임이 있는 경우, 상기 가중치를 최소값으로 결정할 수 있다.Also, when there is a lateral movement in which the individual trajectories of the surrounding vehicles exceed a preset range, the weight may be determined as a minimum value.
또한, 상기 판단부에서 출력되는 결과는 멀티미디어 시스템의 스크린을 통해 출력될 수 있다.In addition, the result output from the determination unit may be output through the screen of the multimedia system.
또한, 상기 판단부는 상기 확률분포의 기 설정된 확률 범위 내 상기 차선이 위치하면 상기 제1위치를 출력할 수 있다.Also, the determination unit may output the first position when the lane is located within a predetermined probability range of the probability distribution.
또한, 상기 판단부는 상기 기 설정된 확률 범위 내 상기 차선이 위치하지 않으면, 수동 운전 전환을 요청하고, 상기 차선의 제2위치를 출력할 수 있다.Also, when the lane is not located within the preset probability range, the determination unit may request a manual driving change and output a second position of the lane.
상기 본 발명의 양태들은 본 발명의 바람직한 실시예들 중 일부에 불과하며, 본원 발명의 기술적 특징들이 반영된 다양한 실시예들이 당해 기술분야의 통상적인 지식을 가진 자에 의해 이하 상술할 본 발명의 상세한 설명을 기반으로 도출되고 이해될 수 있다.Aspects of the present invention are only some of the preferred embodiments of the present invention, and various embodiments in which the technical features of the present invention are reflected are detailed descriptions of the present invention that will be described below by those of ordinary skill in the art can be derived and understood based on
본 발명에 따른 장치에 대한 효과에 대해 설명하면 다음과 같다.The effect on the device according to the present invention will be described as follows.
본 발명은 도로의 상태, 날씨 등의 영향 등으로 인해 자율 주행 차량이 카메라를 통해 획득한 영상 정보를 통해 차선을 인지하기 어려운 경우, 주변 차량 궤적 분석을 통해 보다 정확한 차선을 인지할 수 있다.According to the present invention, when it is difficult for an autonomous vehicle to recognize a lane through image information acquired through a camera due to the influence of road conditions, weather, etc., a more accurate lane can be recognized through an analysis of the trajectory of the surrounding vehicle.
또한, 본 발명은 주변의 여러 차량 궤적 분석을 통해 연속적인 차선 정보 제공이 가능하고, 각 차량별 가중치를 사용함으로써 차선 변경하는 등 차선을 따라 주행하지 않는 차량을 배제할 수 있어, 주변 차량 정보를 이용하는 데 정확도를 높일 수 있다.In addition, the present invention can provide continuous lane information through analysis of multiple vehicle trajectories in the vicinity, and by using a weight for each vehicle, it is possible to exclude vehicles that do not drive along the lane, such as changing lanes, so that information about surrounding vehicles can be saved. It can be used to increase accuracy.
또한, 본 발명은 자율 주행 중 차선이 인지되지 않는 상황에서 차량 제어를 바로 운전자에게 넘겨주기 어렵기 때문에, 일정 시간 또는 일정 거리 동안 자율주행을 수행할 수 있도록 주행 중인 도로의 차선을 인지하는 보조 장치를 제공할 수 있다.In addition, according to the present invention, since it is difficult to directly transfer vehicle control to the driver in a situation in which a lane is not recognized during autonomous driving, an auxiliary device for recognizing a lane of a driving road so that autonomous driving can be performed for a certain period of time or a certain distance can provide
본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The effects obtainable in the present invention are not limited to the above-mentioned effects, and other effects not mentioned will be clearly understood by those of ordinary skill in the art from the following description.
이하에 첨부되는 도면들은 본 발명에 관한 이해를 돕기 위한 것으로, 상세한 설명과 함께 본 발명에 대한 실시예들을 제공한다. 다만, 본 발명의 기술적 특징이 특정 도면에 한정되는 것은 아니며, 각 도면에서 개시하는 특징들은 서로 조합되어 새로운 실시예로 구성될 수 있다.
도1은 실제 도로에서 차선 인식이 어려운 경우를 설명한다.
도2는 자율 주행 차량의 차선 인지 방법을 설명한다.
도3은 영상 정보를 이용해 차선을 인식하는 방법을 설명한다.
도4는 주변 차량 정보를 사용하여 확률 분포를 결정하는 방법을 설명한다.
도5는 주변 차량 정보에 의해 차선 위치에 대한 확률 분포를 결정한 예를 설명한다.
도6은 복수의 주변 차량이 있을 경우 확률 분포를 합하는 방법을 설명한다.
도7은 복수의 주변 차량으로부터 확률 분포를 결정한 예를 설명한다.
도8은 자율 주행 차량의 차선 선택 방법을 설명한다.
도9는 영상 정보에 근거한 차선 정보와 주변 차량 정보에 의한 확률 분포를 매칭한 예를 설명한다.
도10은 영상 정보에 근거한 차선 정보가 주변 차량 정보에 의한 확률 분포에 따른 기준범위에 속하는 지 판단하는 방법을 설명한다.
도11은 주변 차량 정보에 의한 확률 분포를 바탕으로 차선 위치를 결정하는 방법을 설명한다.
도12는 자율 주행 차량의 차선 인지 장치를 설명한다.BRIEF DESCRIPTION OF THE DRAWINGS The accompanying drawings are provided to help understanding of the present invention, and provide embodiments of the present invention together with a detailed description. However, the technical features of the present invention are not limited to specific drawings, and features disclosed in each drawing may be combined with each other to form a new embodiment.
1 illustrates a case in which lane recognition is difficult on an actual road.
2 illustrates a lane recognition method of an autonomous vehicle.
3 illustrates a method of recognizing a lane using image information.
4 illustrates a method of determining a probability distribution using surrounding vehicle information.
5 illustrates an example in which a probability distribution for a lane position is determined based on surrounding vehicle information.
6 illustrates a method of summing probability distributions when there are a plurality of surrounding vehicles.
7 illustrates an example in which a probability distribution is determined from a plurality of surrounding vehicles.
8 illustrates a lane selection method of an autonomous vehicle.
9 illustrates an example in which lane information based on image information and a probability distribution based on surrounding vehicle information are matched.
10 illustrates a method of determining whether lane information based on image information belongs to a reference range according to a probability distribution based on surrounding vehicle information.
11 illustrates a method of determining a lane position based on a probability distribution based on surrounding vehicle information.
12 illustrates an apparatus for recognizing a lane of an autonomous vehicle.
이하, 본 발명의 실시예들이 적용되는 장치 및 다양한 방법들에 대하여 도면을 참조하여 보다 상세하게 설명한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.Hereinafter, an apparatus and various methods to which embodiments of the present invention are applied will be described in more detail with reference to the drawings. The suffixes "module" and "part" for components used in the following description are given or mixed in consideration of only the ease of writing the specification, and do not have distinct meanings or roles by themselves.
실시예의 설명에 있어서, 각 구성 요소의 "상(위) 또는 하(아래)"에 형성되는 것으로 기재되는 경우에 있어, 상(위) 또는 하(아래)는 두 개의 구성 요소들이 서로 직접 접촉되거나 하나 이상의 또 다른 구성 요소가 두 개의 구성 요소들 사이에 배치되어 형성되는 것을 모두 포함한다. 또한, "상(위) 또는 하(아래)"으로 표현되는 경우 하나의 구성 요소를 기준으로 위쪽 방향뿐만 아니라 아래쪽 방향의 의미도 포함할 수 있다.In the description of the embodiment, in the case where it is described as being formed on "upper (upper) or under (lower)" of each component, upper (upper) or lower (lower) means that the two components are in direct contact with each other or One or more other components are all formed by being disposed between two components. In addition, when expressed as "upper (upper) or lower (lower)", the meaning of not only an upper direction but also a lower direction based on one component may be included.
도1은 실제 도로에서 차선 인식이 어려운 경우를 설명한다. 구체적으로, (a) 내지 (c)는 이전 차선 위에 새로운 차선이 그려졌고 이전 차선이 완전히 삭제되지 않은 경우들을 설명한다.1 illustrates a case in which lane recognition is difficult on an actual road. Specifically, (a) to (c) describe cases in which a new lane is drawn over the previous lane and the previous lane is not completely deleted.
차량에 탑재된 카메라를 통해 영상 정보(이미지 정보)를 얻고 영상 정보에 포함된 차선을 인식하는 방법은 차선이 분명한 경우에는 문제가 되지 않지만 (a), (b), (c)에서와 같이 새로운 차선과 이전 차선을 구분하기 어려운 경우에는 오류를 일으키기 쉽다. 특히, 이전 차선이 새로운 차선보다 오히려 진하거나 신규 또는 임시로 생성된 진짜 차선이 흐릿한 경우, 영상 기반의 차선 인지 방법을 통해서 자율 주행 차량은 새로운 차선이 아닌 이전 차선을 인지할 수 밖에 없다. 따라서, 자율주행 차량의 경우, 영상 기반의 차선 인지의 부정확 정도를 판단하는 방법이나 장치가 더 필요하다.The method of obtaining image information (image information) through the camera mounted on the vehicle and recognizing the lane included in the image information is not a problem when the lane is clear, but as in (a), (b), (c), When it is difficult to distinguish the lane from the previous lane, it is prone to errors. In particular, when the previous lane is darker than the new lane or the new or temporarily created real lane is blurry, the autonomous vehicle has no choice but to recognize the previous lane rather than the new lane through the image-based lane recognition method. Accordingly, in the case of an autonomous vehicle, a method or apparatus for determining the inaccuracy level of image-based lane recognition is further required.
또한, 공사 중인 도로와 같은 경우는 (c)와 같이 차선의 곡률이 급격하게 변하는 경우가 많고 자율 주행 중에 주행제어권을 운전자에게 바로 넘겨주는 경우 주행 안전을 위협할 수 있기 때문에, 자율 주행 차량은 일시적으로 가상 차선을 생성하여 주행해야 하는 경우가 발생할 수 있다.In addition, in the case of a road under construction, the curvature of the lane often changes abruptly as shown in (c), and if the driving control right is transferred directly to the driver during autonomous driving, driving safety may be threatened. There may be cases where you need to create a virtual lane and drive.
도2는 자율 주행 차량의 차선 인지 방법을 설명한다.2 illustrates a lane recognition method of an autonomous vehicle.
도시된 바와 같이, 자율 주행 차량의 차선 인지 방법은 차량에 탑재된 카메라로부터 획득된 영상 정보를 근거로 차선의 제1위치를 인식하는 단계(12), 차량에 탑재된 카메라 및 센서 중 적어도 하나를 통해 획득된 주변 차량 정보를 바탕으로 차선에 대한 확률분포(probability distribution)를 결정하는 단계(14), 및 확률분포의 일정 범위 내 상기 차선이 포함되는 지에 따라 제1위치 및 확률분포에 따른 차선의 제2위치 중 하나를 출력하는 단계(16)를 포함할 수 있다.As shown, the lane recognition method of an autonomous vehicle includes recognizing a first position of a lane based on image information obtained from a camera mounted on the vehicle (12), and at least one of a camera and a sensor mounted on the vehicle. Determining a probability distribution for a lane based on information about surrounding vehicles obtained through outputting one of the second positions (16).
자율 주행 차량의 차선 인지 방법을 통해, 자율 주행 차량은 영상 정보를 기반으로 인식된 차선에 오류가 있는지를 판단하고, 수동 운전으로 전환하기 전까지 임시로 가상 차선을 출력할 수 있다. 특히, 자율 주행 차량은 영상 정보에 기반한 차선 결과가 주는 차선의 신뢰도를 바탕으로 오류를 판단하는 것이 아니라, 주변 차량의 궤적 분석을 기반으로 현재 영상 정보를 기반으로 인지한 차선 결과의 정확도를 판단하고, 만약 오류로 판단되는 경우 새로운 추정 차선의 결과로 대체할 수 있다.Through the lane recognition method of the autonomous driving vehicle, the autonomous driving vehicle may determine whether there is an error in the recognized lane based on image information and temporarily output a virtual lane until switching to manual driving. In particular, autonomous vehicles do not judge errors based on the reliability of the lanes given by the lane results based on image information, but rather determine the accuracy of the lane results recognized based on the current image information based on the trajectory analysis of surrounding vehicles. , if it is judged as an error, it can be replaced with the result of a new estimated lane.
예를 들어, 주변 차량의 궤적을 기반으로 자율 주행 차량이 차선의 확률적 분포 구하기 위해서, 전방의 주변 차량은 차선의 가운데로 주행하려고 한다는 전제를 기반으로 차선의 확률 분포를 결정한다. 또한, 복수의 주변 차량이 감지되는 경우, 주변 차량 각각의 궤적을 기반으로 결정된 차선 확률 분포를 통합하여, 자율 주행 차량이 주행하는 위치를 기준으로 차선 확률 분포를 결정할 수 있다. 이러한 과정에서 통합된 차선의 확률 분포를 기반으로 각 주변 차량들의 궤적을 통해 얻어진 개별 확률 분포의 정확도에 대한 가중치 부여할 수 있다. 전술한 과정을 반복하여 자율 주행 차량은 연속적인 차선의 확률 분포를 결정할 수 있다.For example, in order to obtain the probabilistic distribution of the lane of the autonomous driving vehicle based on the trajectory of the neighboring vehicle, the probability distribution of the lane is determined based on the premise that the neighboring vehicle in front tries to drive in the middle of the lane. In addition, when a plurality of surrounding vehicles are detected, the lane probability distribution determined based on the trajectories of each of the surrounding vehicles may be integrated to determine the lane probability distribution based on the driving position of the autonomous driving vehicle. In this process, based on the integrated probability distribution of the lane, it is possible to give weight to the accuracy of the individual probability distribution obtained through the trajectories of each surrounding vehicle. By repeating the above process, the autonomous vehicle may determine the probability distribution of successive lanes.
또한, 카메라의 영상 정보를 기반의 차선 인지 정확성을 판단하는 위해서, 자율 주행 차량은 주변 차량 정보를 바탕으로 자율 주행 차량을 기준으로 한 확률 밀도 함수(probability density function, PDF)를 통해 결정된 차선의 확률 분포(probability distribution)를 영상 정보를 통해 인식된 차선 정보에 대입할 수 있다. 만약, 영상 정보를 통해 인식된 차선 정보(제1위치)가 차선의 확률 분포의 기준에 미치지 못하면, 자율 주행 차량은 영상 정보를 통해 인식된 차선 정보가 부정확한 경우로 판단할 수 있다. 만약, 영상 정보를 통해 인식된 차선 정보(제1위치)가 부정확한 경우로 판단되면, 확률 분포를 기반으로 차선을 추정한 결과(제2위치)를 결정하고, 추정한 결과를 차선으로 인식할 수 있다. 예를 들어, 확률 분포를 기반으로 차선을 추정한 결과(제2위치)는 확률 분포의 대표값(예: 평균)을 사용할 수 있다.In addition, in order to determine the accuracy of lane recognition based on the image information of the camera, the autonomous driving vehicle has the probability of a lane determined through a probability density function (PDF) based on the autonomous vehicle based on surrounding vehicle information. A probability distribution can be substituted for lane information recognized through image information. If the lane information (the first position) recognized through the image information does not meet the criterion of the probability distribution of the lane, the autonomous vehicle may determine that the lane information recognized through the image information is incorrect. If it is determined that the lane information (the first position) recognized through the image information is inaccurate, the result of estimating the lane (the second position) is determined based on the probability distribution, and the estimated result is recognized as the lane. can For example, a result (second position) of estimating a lane based on the probability distribution may use a representative value (eg, average) of the probability distribution.
도3은 영상 정보를 이용해 차선을 인식하는 방법을 설명한다.3 illustrates a method of recognizing a lane using image information.
도시된 바와 같이, 영상 정보를 이용해 차선을 인식하는 방법은 영상 정보를 탑 뷰(top view) 형태로 보정하는 단계(22), 보정된 영상에서 차선에 대응하는 패턴을 검출하는 단계(24), 및 패턴과 차량 사이의 거리를 결정하는 단계(26)를 포함할 수 있다.As shown, the method of recognizing a lane using image information includes correcting the image information in a top view form (22), detecting a pattern corresponding to the lane in the corrected image (24), and determining 26 a distance between the pattern and the vehicle.
예를 들면, 차량에 탑재된 카메라를 통해 획득된 영상 정보는 카메라의 위치에 따라 달라질 수 있다. 자율 주행 차량은 카메라가 탑재된 위치와 카메라가 촬영한 영상이 어떠한 각도로 촬영될 수 있는지를 이미 인지하고 있기 때문에, 해당 정보를 바탕으로 도로를 위에서 찍은 것과 같은 형태의 탑 뷰와 같은 형태로 영상 정보를 보정할 수 있다. 이후, 보정된 영상을 통해 차선의 패턴을 감지할 수 있다. 이때, 도로 상에 형성된 차선은 기 설정된 형상을 포함하고 있으며, 자율 주행 차량은 해당 차선의 형태를 통해 차선의 종류를 인식할 수 있다. 차선이 인식되면, 자율 주행 차량은 주행 중 위치와 차선 사이의 거리를 결정할 수 있다.For example, image information acquired through a camera mounted on a vehicle may vary depending on the location of the camera. Since the autonomous vehicle already knows where the camera is mounted and at what angle the image captured by the camera can be captured, based on that information, it creates an image in the form of a top view of the road as if it was taken from above. information can be corrected. Thereafter, the pattern of the lane may be detected through the corrected image. In this case, the lane formed on the road includes a preset shape, and the autonomous vehicle may recognize the type of the lane through the shape of the corresponding lane. When the lane is recognized, the autonomous vehicle can determine the distance between the location and the lane while driving.
도4는 주변 차량 정보를 사용하여 확률 분포를 결정하는 방법을 설명한다.4 illustrates a method of determining a probability distribution using surrounding vehicle information.
도시된 바와 같이, 주변 차량 정보를 사용하여 확률 분포를 결정하는 방법은 주변 차량 정보에 근거하여, 상기 차량을 기준으로 주변 차량의 개별 궤적을 결정하는 제1단계(34), 개별 궤적을 바탕으로 개별 확률분포를 결정하는 제2단계(36), 및 개별 확률분포를 결합하여 확률분포를 출력하는 제3단계(38)를 포함할 수 있다.As shown, the method of determining the probability distribution using the surrounding vehicle information is based on the
여기서, 자율 주행 차량이 사용하는 주변 차량 정보는 물체의 거리나 속도, 각도를 측정하기 위해 전자기파를 사용하는 레이더(Radar, Radio Detection And Ranging) 감지 센서, 빛을 이용해 레이더가 볼 수 없는 사각지대까지 관측 가능한 라이다(Lidar, Light Detection and Ranging) 센서, 광학계를 통해 영상으로 취득한 후 처리해 감지하는 카메라(Camera) 중 적어도 하나에 의해 획득될 수 있다.Here, the information on the surrounding vehicle used by the autonomous driving vehicle is a radar (Radio Detection And Ranging) detection sensor that uses electromagnetic waves to measure the distance, speed, and angle of an object, and uses light to reach blind spots that radar cannot see. It can be acquired by at least one of an observable Lidar (Light Detection and Ranging) sensor, and a camera that processes and detects an image through an optical system.
도시되지 않았지만, 주변 차량 정보를 사용하여 확률 분포를 결정하는 방법은 차량에 탑재된 복수의 카메라 또는 센서로부터 복수의 주변 차량 정보가 수집되면, 복수의 주변 차량 정보를 매칭시키는 단계를 더 포함할 수 있다. 복수의 정보를 매칭하면, 자율 주행 차량은 주변 차량에 대한 정보를 보다 정확히 인식할 수 있다.Although not shown, the method of determining a probability distribution using surrounding vehicle information may further include matching a plurality of surrounding vehicle information when a plurality of surrounding vehicle information is collected from a plurality of cameras or sensors mounted on the vehicle. have. When a plurality of pieces of information are matched, the autonomous vehicle may more accurately recognize information about surrounding vehicles.
또한, 주변 차량 정보를 사용하여 확률 분포를 결정하는 방법은 주변 차량 정보에 포함된 주변 차량의 수를 결정하는 단계(32)를 더 포함할 수 있다. 복수의 주변 차량 정보가 포함되는 경우, 자율 주행 차량은 해당하는 수만큼 제1단계(34) 내지 제3단계(38)를 반복하여 수행할 수 있다.Also, the method of determining the probability distribution using the surrounding vehicle information may further include determining 32 the number of surrounding vehicles included in the surrounding vehicle information. When a plurality of surrounding vehicle information is included, the autonomous driving vehicle may repeat the
또한, 주변 차량 정보를 사용하여 확률 분포를 결정하는 방법은 주변 차량에 개별적으로 가중치를 결정하는 단계(40)를 더 포함할 수 있다. 여기서, 개별 확률분포는 가중치를 반영하여 확률분포에 결합될 수 있다. 예를 들어, 가중치는 1/n(n은 상기 주변 차량의 수)으로 초기 설정될 수 있다. 이후, 주변 차량으로부터 계산된 개별 확률 분포와 통합 확률 분포 사이의 거리가 가까울수록 가중치는 높아질 수 있다.In addition, the method of determining the probability distribution using the surrounding vehicle information may further include determining weights for the surrounding vehicles individually ( 40 ). Here, the individual probability distributions may be combined with the probability distributions by reflecting weights. For example, the weight may be initially set to 1/n (n is the number of surrounding vehicles). Thereafter, as the distance between the individual probability distribution calculated from the surrounding vehicle and the integrated probability distribution is shorter, the weight may be increased.
한편, 실시예에 따라, 주변 차량의 개별 궤적이 기 설정된 범위를 초과하는 횡방향 움직임이 있는 경우, 가중치를 최소값으로 결정할 수 있다. 이 경우, 횡방향 움직임이 있는 주변 차량은 차선을 변경하는 차량으로 인식될 수 있어, 차선을 추정하는 데 도움이 되지 않기 때문이다.Meanwhile, according to an embodiment, when there is a lateral movement in which individual trajectories of surrounding vehicles exceed a preset range, the weight may be determined as a minimum value. This is because, in this case, a surrounding vehicle with lateral movement may be recognized as a lane-changing vehicle, and thus does not help in estimating the lane.
자율 주행 차량이 주행 중 주변 차량이 한 대 이상 존재하는 경우. 주변 차량의 궤적을 분석하면, 각 차량 별 실제 차선이 있을만한 위치를 확률적으로 결정할 수 있다. 이는 자율 주행 차량이 주행 중인 도로에 대한 정보(차선 폭 등) 또는 해당 지역의 규제(도로 설계 기준 등) 등의 정보를 이미 포함하고 있는 경우, 주변 차량의 궤적을 통해 추정할 수 있는 차선의 위치는 실제와 더욱 근접할 수 있다.When an autonomous vehicle is driving and one or more nearby vehicles are present. By analyzing the trajectories of surrounding vehicles, it is possible to probabilistically determine a location where an actual lane for each vehicle is likely to exist. This is the lane position that can be estimated from the trajectories of surrounding vehicles if the autonomous vehicle already contains information such as information on the road on which the autonomous vehicle is driving (lane width, etc.) or local regulations (road design standards, etc.) may be closer to reality.
또한, 복수의 주변 차량 모두가 차선을 유지하며 계속 주행할 수는 없다. 하지만, 차선을 유지하는 주변 차량이 그렇지 않은 차량보다 많은 것이 일반적이다. 따라서, 주변 차량으로부터 계산된 개별 확률 분포를 합하면 통합 확률 분포를 결정할 수 있고, 통합 확률 분포와 개별 확률 분포를 비교하여 둘 사이의 거리가 가까울수록 가중치는 높아질 수 있다. 이러한 이유로, 초기에는 1/n의 가중치가 부여되더라도, 시간이 지날수록 결정된 확률적 차선 위치 기반으로 주변 차량 각각에 정확도에 대한 가중치는 다르게 설정될 수 있다. 또한 주변 차량 중 일부가 차선 변경 등 실제 차선과 다르게 주행하더라도, 해당 차량의 가중치는 시간이 지날 수록 감소함으로써 정확한 차선 추정이 가능해질 수 있다.In addition, it is not possible for all of the plurality of surrounding vehicles to keep driving while maintaining a lane. However, it is common that there are more surrounding vehicles that keep their lane than those that do not. Accordingly, by summing the individual probability distributions calculated from the surrounding vehicles, the integrated probability distribution may be determined, and the weight may be increased as the distance between the two is closer by comparing the integrated probability distribution and the individual probability distribution. For this reason, even if a weight of 1/n is initially assigned, a weight for accuracy may be set differently for each of the surrounding vehicles based on the determined probabilistic lane position as time passes. In addition, even if some of the surrounding vehicles drive differently from the actual lane, such as a lane change, the weight of the corresponding vehicle decreases over time, thereby enabling accurate lane estimation.
도2 및 도4를 참조하면, 자율 주행 차량이 주행 중 주변 차량 정보를 통해 차선의 위치에 대한 확률 분포를 결정하면, 영상 정보를 기반으로 인지된 차선 결과를 비교할 수 있다. 비교 결과, 영상 정보를 기반으로 인지된 차선 결과가 잘못되었다고 판단되면, 자율 주행 차량은 확률 분포에 따른 차선의 추정 위치를 사용할 수 있다.Referring to FIGS. 2 and 4 , when the autonomous driving vehicle determines the probability distribution for the position of the lane based on information on surrounding vehicles while the autonomous vehicle is driving, the result of the recognized lane based on the image information may be compared. As a result of the comparison, if it is determined that the lane result recognized based on the image information is incorrect, the autonomous vehicle may use the estimated position of the lane according to the probability distribution.
도5는 주변 차량 정보에 의해 차선 위치에 대한 확률 분포를 결정한 예를 설명한다. 구체적으로, (a)는 자율 주행 차량(50)의 좌측 전방에 주변 차량(51a)이 위치하는 경우를 설명하고, (b)는 자율 주행 차량(50)의 우측 전방에 주변 차량(51b)이 위치하는 경우를 설명한다.5 illustrates an example in which a probability distribution for a lane position is determined based on surrounding vehicle information. Specifically, (a) describes a case in which the surrounding
먼저, (a)를 참조하면 자율 주행 차량(50)은 차량에 탑재된 장치를 이용하여 주변 차량(51a)이 움직이는 궤적(52)을 인식할 수 있다. 이후, 주변 차량(51a)이 움직이는 궤적(52)에 대응하여 각 거리(예를 들어, 10 미터 간격으로)마다 주변 차량(51a)의 우측(즉, 자율 주행 차량(50)이 주행 하는 방향)으로 차선이 위치할 수 있는 확률 분포를 계산할 수 있다. 이때, 주변 차량(51a)은 차로(lane)의 중심을 주행하고 있다고 가정할 수 있다. 주변 차량(51a)의 궤적(52)을 바탕으로, 자율 주행 차량(50)이 주행할 차로의 양쪽 차선(54, 56)을 추정할 수 있다. 예를 들어, 자율 주행 차량은 주변 차량(51a)의 궤적(52)을 바탕으로 확률 밀도 함수(probability density function, PDF)를 통해 결정된 각 거리(10m, 20m, 30m, 40m, 50m)마다의 차선의 확률 분포(pdf_fA@10m, pdf_fA@20m, pdf_fA@30m, pdf_fA@40m, pdf_fA@50m)를 결정할 수 있다.First, referring to (a), the
마찬가지로, (b)를 참조하면 자율 주행 차량(50)은 차량에 탑재된 장치를 이용하여 주변 차량(51b)이 움직이는 궤적(53)을 인식할 수 있다. 이후, 주변 차량(51b)이 움직이는 궤적(53)에 대응하여 각 거리(예를 들어, 10 미터 간격으로)마다 주변 차량(51b)의 우측(즉, 자율 주행 차량(50)이 주행 하는 방향)으로 차선이 위치할 수 있는 확률 분포를 계산할 수 있다. 이때, 주변 차량(51b)은 차로(lane)의 중심을 주행하고 있다고 가정할 수 있다. 주변 차량(51b)의 궤적(53)을 바탕으로, 자율 주행 차량(50)이 주행할 차로의 양쪽 차선(55, 57)을 추정할 수 있다. 예를 들어, 자율 주행 차량은 주변 차량(51b)의 궤적(53)을 바탕으로 확률 밀도 함수(probability density function, PDF)를 통해 결정된 각 거리(10m, 20m, 30m, 40m, 50m)마다의 차선의 확률 분포(pdf_fB@10m, pdf_fB@20m, pdf_fB@30m, pdf_fB@40m, pdf_fB@50m)를 결정할 수 있다.Similarly, referring to (b), the
도6은 복수의 주변 차량이 있을 경우 확률 분포를 합하는 방법을 설명한다. 구체적으로, (a)는 자율 주행 차량이 획득한 주변 차량 정보에 복수의 주변 차량이 포함된 경우 각 주변 차량에 대한 확률 분포를 설명하고, (b)는 각 주변 차량에 대한 확률 분포 중 자율 주행 차량이 필요로 하는 차선에 대한 정보를 결합하는 과정을 설명하며, (c)는 각 주변 차량에 대한 확률 분포가 결합된 결과를 설명한다.6 illustrates a method of summing probability distributions when there are a plurality of surrounding vehicles. Specifically, (a) describes the probability distribution for each surrounding vehicle when a plurality of surrounding vehicles are included in surrounding vehicle information obtained by the autonomous driving vehicle, and (b) shows the autonomous driving among the probability distributions for each surrounding vehicle. The process of combining information on the lane required by the vehicle is described, and (c) describes the combined result of the probability distribution for each surrounding vehicle.
먼저, (a)를 참조하면, 복수의 주변 차량의 궤적(52, 53)이 발견되면, 해당 궤적(52, 53)을 바탕으로 차선의 확률 분포(54, 55)를 결정할 수 있다(도5에서 설명한 방법을 참조).First, referring to (a), when
이후, (b)를 참조하면, 복수의 주변 차량의 궤적(52, 53)을 통해 동일한 차선(예를 들면, 자율 주행 차량이 주행할 차로의 좌측 차선)에 대한 확률 분포(54, 55)를 곱할 수 있다. 해당 확률 분포(54, 55)를 곱하면, (c)에서 설명한 바와 같이 각 차량 궤적의 확률 분포를 종합하여 하나의 대표 차선의 확률 분포를 결정할 수 있다.Then, referring to (b),
전술한 과정은 복수의 주변 차량의 궤적(52, 53)이 발견되면, 주변 차량의 수만큼 반복될 수 있다. 또한, 자율 주행 차량이 주행 중인 차로의 좌측과 우측에 위치할 차선과 관련한 확률 분포는 거리마다 연산될 수 있다.When the
도7은 복수의 주변 차량으로부터 확률 분포를 결정한 예를 설명한다.7 illustrates an example in which a probability distribution is determined from a plurality of surrounding vehicles.
도시된 바와 같이, 자율 주행 차량(50)의 좌측 및 우측 전방에 위치할 수 있는 차선에 대한 확률 분포를 결정할 수 있다. 여기서, 확률 분포는 자율 주행 차량(50)을 기준으로 기 설정된 거리 간격(예, 10m)마다 결정될 수 있다.As shown, probability distributions for lanes that may be located in front of the left and right sides of the
이하에서는 가중치를 결정하는 방법을 설명한다. 복수의 주변 차량에 대한 정보가 취득된 경우, 자율 주행 차량(50)은 각 거리 별로 각 주변 차량(예를 들면, 50a, 50b, 도5참조)의 궤적을 고려한 통합 확률 분포(pdf_f)를 결정할 수 있다. 초기 가중치는 다음과 같다.Hereinafter, a method of determining the weight will be described. When information on a plurality of surrounding vehicles is acquired, the
여기서, n은 주변 차량의 수이고, i는 1보다 같거나 크고 n보다 같거나 작은 자연수이다.Here, n is the number of surrounding vehicles, and i is a natural number greater than or equal to 1 and less than or equal to n.
먼저, 각 거리마다 통합 확률 분포(pdf_fTotal)는 다음과 같이 결정할 수 있다.First, the integrated probability distribution (pdf_f Total ) for each distance can be determined as follows.
여기서, x는 거리이고, A, B, …, N은 주변 차량에 붙인 임의적인 수이다.where x is the distance, A, B, ... , N is an arbitrary number assigned to the surrounding vehicles.
이후, 통합 확률 분포(pdf_fTotal)와 각 주변 차량 별 확률 분포와 차이(두 확률 분포 사이의 거리)를 결정할 수 있다. 예를 들면, 통합 확률 분포(pdf_f Total@ X m, x는 거리)와 제1주변 차량(예, 도5의 50a)의 궤적에 따른 확률 분포(pdf_f A @ X m, x는 거리)의 확률 분포 거리( dA @ x m)를 연산할 수 있다. 또한, 통합 확률 분포(pdf_f Total@ X m, x는 거리)와 제1주변 차량(예, 도5의 50b)의 궤적에 따른 확률 분포(pdf_f B @ X m, x는 거리)의 확률 분포 거리( dB @ x m)를 연산할 수 있다. 만약 N번째 주변 차량의 정보의 경우에는 통합 확률 분포(pdf_f Total@ X m, x는 거리)와 궤적에 따른 확률 분포(pdf_f N @ X m, x는 거리)의 확률 분포 거리( dN @ x m)를 연산할 수 있다.Thereafter, it is possible to determine the integrated probability distribution (pdf_f Total ) and the probability distribution and difference (distance between the two probability distributions) for each surrounding vehicle. For example, the probability of the integrated probability distribution (pdf_f Total@ X m , where x is the distance) and the probability distribution (pdf_f A @ X m , where x is the distance) according to the trajectory of the first surrounding vehicle (eg, 50a in FIG. 5 ) distribution distance ( d A @ xm ) can be calculated. In addition, the probability distribution distance of the integrated probability distribution (pdf_f Total@ X m , where x is the distance) and the probability distribution (pdf_f B @ X m , where x is the distance) according to the trajectory of the first surrounding vehicle (eg, 50b in FIG. 5 ) ( d B @ xm ) can be calculated. In the case of information on the Nth surrounding vehicle, the probability distribution distance ( d N @ xm ) can be calculated.
예를 들어, 확률 분포 거리를 결정하는 방법으로는 거리나 유사도를 측정하는 방법으로 유클리드 거리, 키(카이)제곱 거리, 마할라노비스 거리, 힐링거 거리 등을 사용할 수 있다. 구체적으로, 유클리드 거리(Euclidean distance)는 두 점간의 거리를 계산할 때 사용할 수 있고, 마할라노비스 거리(Mahalanobis distance)는 위치인식 등을 위해 서로 연관이 있는 특징점 간의 유사도를 계산할 때 사용할 수 있으며, 힐링거 거리(Hellinger distance)는 비교하고자 하는 두 특징점이 모두 가우시안 분포를 가지고 있을 때 서로 유사도를 측정하기 위해 사용할 수 있다.For example, as a method of determining the probability distribution distance, a Euclidean distance, a height (chi) square distance, a Mahalanobis distance, a Heinger distance, etc. may be used as a method of measuring the distance or similarity. Specifically, the Euclidean distance can be used to calculate the distance between two points, and the Mahalanobis distance can be used to calculate the similarity between feature points that are related to each other for location recognition, etc. The Hellinger distance can be used to measure the similarity between two feature points to be compared when both feature points have a Gaussian distribution.
전술한 방법을 통해, 각각의 거리를 구하고, 이 거리가 가까울수록 해당 차량이 차선의 중앙에서 차선의 궤적을 따라 움직이는 것을 의미하므로, 확률 분포 거리가 작을수록 높은 가중치를 부여할 수 있다. 가중치(W)는 아래와 같이 결정될 수 있다.Through the above-described method, each distance is obtained, and as the distance is closer, it means that the corresponding vehicle moves from the center of the lane along the trajectory of the lane. The weight W may be determined as follows.
도8은 자율 주행 차량의 차선 선택 방법을 설명한다.8 illustrates a lane selection method of an autonomous vehicle.
도시된 바와 같이, 자율 주행 차량의 차선 선택 방법은 확률 분포의 기 설정된 확률 범위 내 자선이 위치하는지 판단하는 단계(42), 확률분포의 기 설정된 확률 범위 내 차선이 위치하면 영상 정보를 기반으로 한 차선의 제1위치를 출력하는 단계(44)를 포함할 수 있다.As shown, the lane selection method of the autonomous vehicle includes the step of determining whether an own ship is located within a preset probability range of the probability distribution (42), and when a lane is located within a preset probability range of the probability distribution, based on image information and outputting the first position of the lane (44).
또한, 자율 주행 차량의 차선 선택 방법은 확률분포의 기 설정된 확률 범위 내 차선이 위치하지 않으면, 수동 운전 전환을 요청하는 단계(46), 및 확률 분포를 기반으로 추정한 차선의 제2위치를 출력하는 단계(48)를 더 포함할 수 있다. 여기서, 수동 운전 전환의 요청은 기 설정된 시간 동안 이루어질 수 있다.In addition, the lane selection method of the autonomous driving vehicle outputs a second position of the lane estimated based on the
도9는 영상 정보에 근거한 차선 정보와 주변 차량 정보에 의한 확률 분포를 매칭한 예를 설명한다.9 illustrates an example in which lane information based on image information and a probability distribution based on surrounding vehicle information are matched.
도시된 바와 같이, 자율 주행 차량(50)은 거리별로 영상 정보를 바탕으로 획득한 차선 정보(차선의 제1위치, 60)와 주변 차량 정보를 바탕으로 추정한 차선 정보(확률 분포)를 결정할 수 있다. 이후, 자율 주행 차량(50)은 영상 정보를 바탕으로 획득한 차선 정보(차선의 제1위치, 60)와 주변 차량 정보를 바탕으로 추정한 차선 정보(확률 분포)를 매칭시킬 수 있다. 이후, 영상 정보를 바탕으로 획득한 차선 정보(차선의 제1위치, 60)가 주변 차량 정보를 바탕으로 추정한 차선 정보(확률 분포)의 기 설정된 범위에 포함되는지 판단할 수 있다.As shown, the
도10은 영상 정보에 근거한 차선 정보가 주변 차량 정보에 의한 확률 분포에 따른 기준범위에 속하는 지 판단하는 방법을 설명한다.10 illustrates a method of determining whether lane information based on image information belongs to a reference range according to a probability distribution based on surrounding vehicle information.
도시된 바와 같이, 영상 정보를 바탕으로 획득한 차선 정보(차선의 제1위치, 60a, 60b, 또는 60c)와 주변 차량 정보를 바탕으로 추정한 차선 정보(확률 분포, 58)를 매칭시켜 비교할 수 있다. 여기서, 확률 분포(58)에 허용 범위(TH)를 미리 설정할 수 있다. 이후, 대표 차선 확률 분포(58)에 각 거리별 차선 위치(60a, 60b, 또는 60c)를 대입하여 그 결과가 일정 기준(TH)을 넘으면 영상 기반의 차선 정보(60a, 60b, 또는 60c)가 유효한 정보라고 판단할 수 있다. 예를 들면, 각 거리별 차선 위치(60a, 60b, 또는 60c) 중 두 경우(60a, 60b)는 일정 기준(TH)을 넘었지만, 다른 경우(60c)는 일정 기준(TH)을 넘지 못했다.As shown, it is possible to compare by matching the lane information (the first position of the lane, 60a, 60b, or 60c) obtained based on the image information and the lane information (probability distribution, 58) estimated based on the surrounding vehicle information. have. Here, the allowable range TH may be preset in the
한편, 도로에 표시된 차선은 미세하게 변화되지 않는 특징이 있으므로, 각 거리별 차선 위치를 각각 비교하는 것보다, 각 거리별 차선 위치를 합하여 통합적으로 기준을 넘었는지를 판단할 수도 있다. 예를 들면, 10m, 20m, 30m, 40m, 50m의 거리에서 각각에서 발생한 차이(예, pdf_fTotal @10m (x1))를 합하여 전체 기준과 다음과 같이 비교할 수 있다.Meanwhile, since the lanes displayed on the road do not change minutely, rather than comparing the lane positions for each distance, it is also possible to determine whether the standard is exceeded by summing the lane positions for each distance. For example, the difference (eg, pdf_f Total @10m (x 1 )) at distances of 10m, 20m, 30m, 40m, and 50m can be summed and compared with the overall standard as follows.
pdf_fTotal @10m (x1) + pdf_fTotal @20m (x2) + … + pdf_fTotal @50m (x5) < CriteriaTotal pdf_f Total @10m (x 1 ) + pdf_f Total @20m (x 2 ) + … + pdf_f Total @50m (x 5 ) < Criteria Total
전술한 영상 정보를 바탕으로 획득한 차선 정보(차선의 제1위치, 60a, 60b, 또는 60c)와 주변 차량 정보를 바탕으로 추정한 차선 정보(확률 분포, 58)를 매칭시켜 비교하는 방법은 자율 주행 장치에 탑재된 전자 장치들의 연산 능력이나 설계방식에 따라 다르게 적용될 수 있다.The method of matching and comparing the lane information (the first position of the lane, 60a, 60b, or 60c) obtained based on the above-described image information and the lane information (probability distribution, 58) estimated based on the surrounding vehicle information is autonomous. It may be applied differently depending on the calculation capability or design method of the electronic devices mounted on the driving device.
도11은 주변 차량 정보에 의한 확률 분포를 바탕으로 차선 위치를 결정하는 방법을 설명한다.11 illustrates a method of determining a lane position based on a probability distribution based on surrounding vehicle information.
도시된 바와 같이, 만약 영상 정보를 바탕으로 획득한 차선 정보가 확률 분포(58)에 기 설정된 확률 범위 내 차선이 위치하지 않으면, 자율 주행 차량(50)은 확률 분포(58)에 따라 추정한 차선의 제2위치(62)를 사용할 수 있다.As shown, if the lane information obtained based on the image information does not include a lane within a predetermined probability range in the
예를 들면, 자율 주행 차량(50)은 각 거리(10m, 20m, 30m, 40m, 50m)별 자차의 차선 위치 확률 분포(58, pdf_fTotal)에서 평균과 같은 대표값을 추출하고, 각 거리별 대표값을 선택한 후 곡선 모델링을 통해 영상 기반 차선 정보와 동일한 형태(62)로 출력할 수 있다.For example, the
도12는 자율 주행 차량의 차선 인지 장치를 설명한다.12 illustrates an apparatus for recognizing a lane of an autonomous vehicle.
도시된 바와 같이, 자율 주행 차량의 차선 인지 장치(80)는 차량에 탑재된 카메라로부터 획득된 영상 정보를 근거로 차선의 제1위치를 인식하는 제1차선 인지부(82), 차량에 탑재된 카메라 및 센서 중 적어도 하나를 통해 획득된 주변 차량 정보를 바탕으로 차선에 대한 확률분포(probability distribution)를 결정하는 제2차선 인지부(84), 및 확률분포의 일정 범위 내 차선이 포함되는 지에 따라 상기 제1위치 및 상기 확률분포에 따른 차선의 제2위치 중 하나를 출력하는 판단부(86)를 포함할 수 있다.As shown, the
또한, 제1차선 인지부(82)는 영상 정보를 탑 뷰(top view) 형태로 보정하는 보정부(92), 보정된 영상에서 차선에 대응하는 패턴을 검출하는 검출부(94), 및 패턴과 차량 사이의 거리를 결정하는 측정부(96)를 포함할 수 있다.In addition, the first
차선 인지 장치(80)는 영상 정보 및 주변 차량 정보를 획득할 수 있는 편의 장치(70)와 연동할 수 있다. 편의 장치에는 영상 정보 및 주변 차량 정보를 위한 물체의 거리나 속도, 각도를 측정하기 위해 전자기파를 사용하는 레이더(Radar, Radio Detection And Ranging) 감지 센서(72), 빛을 이용해 레이더가 볼 수 없는 사각지대까지 관측 가능한 라이다(Lidar, Light Detection and Ranging) 센서(74), 광학계를 통해 영상으로 취득한 후 처리해 감지하는 카메라(Camera, 76)) 중 적어도 하나를 포함할 수 있다. 또한, 판단부(86)에서 출력되는 결과는 멀티미디어 시스템의 디스플레이(78)를 통해 출력될 수 있다.The
또한, 자율 주행 차량의 차선 인지 장치(80)는 차량에 탑재된 카메라 및 센서로부터 복수의 주변 차량 정보가 수집되면 복수의 주변 차량 정보를 매칭시키는 매칭부(86)를 더 포함할 수 있다.In addition, the
또한, 제2차선 인지부(84)는 주변 차량 정보에 근거하여, 차량을 기준으로 상기 주변 차량의 개별 궤적을 결정하는 제1단계, 개별 궤적을 바탕으로 개별 확률분포를 결정하는 제2단계, 및 개별 확률분포를 결합하여 확률분포를 출력하는 제3단계를 수행할 수 있다. 또한, 제2차선 인지부(84)는 주변 차량 정보에 포함된 주변 차량의 수를 결정하고, 해당하는 수만큼 제1단계 내지 상기 제3단계를 반복하여 수행할 수 있다.In addition, the second
또한, 제2차선 인지부(84)는 주변 차량에 개별적으로 가중치를 결정하고, 개별 확률분포를 가중치를 반영하여 확률분포에 결합시킬 수 있다. 이때, 가중치는 1/n(n은 상기 주변 차량의 수)으로 초기 설정될 수 있고, 주변 차량 각각에서 얻은 개별 확률 분포와 통합 확률 분포 사이의 거리가 가까울수록 상기 가중치는 높아질 수 있다.In addition, the second
한편, 주변 차량의 개별 궤적이 기 설정된 범위를 초과하는 횡방향 움직임이 있는 경우, 가중치를 최소값으로 결정할 수도 있다.Meanwhile, when there is a lateral movement in which individual trajectories of surrounding vehicles exceed a preset range, the weight may be determined as a minimum value.
또한, 판단부(86)는 확률분포의 기 설정된 확률 범위 내 차선이 위치하면 제1위치를 출력할 수 있다. 또한, 판단부(86)는 확률분포의 기 설정된 확률 범위 내 차선이 위치하지 않으면, 수동 운전 전환을 요청하고, 차선의 제2위치를 출력할 수 있다. 여기서, 수동 운전 전환의 요청은 기 설정된 시간 동안 이루어질 수 있다.Also, the
상술한 실시예에 따른 방법은 컴퓨터에서 실행되기 위한 프로그램으로 제작되어 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있으며, 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함된다.The method according to the above-described embodiment may be produced as a program to be executed by a computer and stored in a computer-readable recording medium, and examples of the computer-readable recording medium include ROM, RAM, CD-ROM, magnetic tape. , a floppy disk, an optical data storage device, and the like, and also includes those implemented in the form of a carrier wave (eg, transmission through the Internet).
컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 상술한 방법을 구현하기 위한 기능적인(function) 프로그램, 코드 및 코드 세그먼트들은 실시예가 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.The computer-readable recording medium is distributed in a network-connected computer system, so that the computer-readable code can be stored and executed in a distributed manner. In addition, functional programs, codes, and code segments for implementing the above-described method can be easily inferred by programmers in the technical field to which the embodiment belongs.
본 발명은 본 발명의 정신 및 필수적 특징을 벗어나지 않는 범위에서 다른 특정한 형태로 구체화될 수 있음은 당업자에게 자명하다.It is apparent to those skilled in the art that the present invention may be embodied in other specific forms without departing from the spirit and essential characteristics of the present invention.
따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.Accordingly, the above detailed description should not be construed as restrictive in all respects but as exemplary. The scope of the present invention should be determined by a reasonable interpretation of the appended claims, and all modifications within the equivalent scope of the present invention are included in the scope of the present invention.
80: 차선 인지 장치 82: 제1차선 인지부
84: 제2차선 인지부 86: 판단부
92: 보정부 96: 측정부
70: 편의 장치 72: 감지센서
74: 라이다 센서 76: 카메라80: lane recognition device 82: first lane recognition unit
84: second lane recognition unit 86: judgment unit
92: correction unit 96: measurement unit
70: convenience device 72: detection sensor
74: lidar sensor 76: camera
Claims (25)
차량에 탑재된 카메라 및 센서 중 적어도 하나를 통해 획득된 주변 차량 정보를 바탕으로 상기 차선에 대한 확률분포(probability distribution)를 결정하는 단계; 및
상기 확률분포의 일정 범위 내 상기 차선이 포함되는 지에 따라 상기 제1위치 및 상기 확률분포에 따른 상기 차선의 제2위치 중 하나를 출력하는 단계
를 포함하는, 자율 주행 차량의 차선 인지 방법.recognizing a first position of a lane based on image information obtained from a camera mounted on a vehicle;
determining a probability distribution for the lane based on surrounding vehicle information obtained through at least one of a camera and a sensor mounted on the vehicle; and
outputting one of the first position and the second position of the lane according to the probability distribution according to whether the lane is included in a predetermined range of the probability distribution;
A method for recognizing a lane of an autonomous vehicle, comprising:
상기 제1위치를 인식하는 단계는
상기 영상 정보를 탑 뷰(top view) 형태로 보정하는 단계;
보정된 영상에서 상기 차선에 대응하는 패턴을 검출하는 단계; 및
상기 패턴과 상기 차량 사이의 거리를 결정하는 단계
를 포함하는, 자율 주행 차량의 차선 인지 방법.According to claim 1,
The step of recognizing the first position is
correcting the image information in a top view form;
detecting a pattern corresponding to the lane in the corrected image; and
determining a distance between the pattern and the vehicle;
A method for recognizing a lane of an autonomous vehicle, comprising:
상기 주변 차량 정보는 물체의 거리나 속도, 각도를 측정하기 위해 전자기파를 사용하는 레이더(Radar, Radio Detection And Ranging) 감지 센서, 빛을 이용해 레이더가 볼 수 없는 사각지대까지 관측 가능한 라이다(Lidar, Light Detection and Ranging) 센서, 광학계를 통해 영상으로 취득한 후 처리해 감지하는 카메라(Camera) 중 적어도 하나에 의해 획득되는, 자율 주행 차량의 차선 인지 방법.According to claim 1,
The information about the surrounding vehicle is a radar (Radio Detection And Ranging) detection sensor that uses electromagnetic waves to measure the distance, speed, and angle of an object, and a lidar that can observe even a blind spot that radar cannot see using light (Lidar, A method of lane recognition of an autonomous vehicle, which is acquired by at least one of a Light Detection and Ranging sensor and a camera that processes and detects an image through an optical system.
차량에 탑재된 카메라 및 센서로부터 복수의 상기 주변 차량 정보가 수집되면, 상기 복수의 주변 차량 정보를 매칭시키는 단계
를 더 포함하는, 자율 주행 차량의 차선 인지 방법.4. The method of claim 3,
When a plurality of the surrounding vehicle information is collected from a camera and a sensor mounted on the vehicle, matching the plurality of surrounding vehicle information
A method for recognizing a lane of an autonomous vehicle further comprising:
상기 확률분포를 결정하는 단계는
상기 주변 차량 정보에 근거하여, 상기 차량을 기준으로 상기 주변 차량의 개별 궤적을 결정하는 제1단계;
상기 개별 궤적을 바탕으로 개별 확률분포를 결정하는 제2단계; 및
상기 개별 확률분포를 결합하여 상기 확률분포를 출력하는 제3단계
를 포함하는, 자율 주행 차량의 차선 인지 방법.According to claim 1,
The step of determining the probability distribution is
a first step of determining an individual trajectory of the surrounding vehicle based on the vehicle based on the surrounding vehicle information;
a second step of determining individual probability distributions based on the individual trajectories; and
A third step of outputting the probability distribution by combining the individual probability distributions
A method for recognizing a lane of an autonomous vehicle, comprising:
상기 주변 차량 정보에 포함된 상기 주변 차량의 수를 결정하는 단계를 더 포함하고,
상기 수만큼 상기 제1단계 내지 상기 제3단계를 반복하는, 자율 주행 차량의 차선 인지 방법.6. The method of claim 5,
Further comprising the step of determining the number of the surrounding vehicles included in the surrounding vehicle information,
The method of recognizing a lane of an autonomous vehicle, repeating the first to third steps by the number of times.
상기 주변 차량에 개별적으로 가중치를 결정하는 단계를 더 포함하고,
상기 개별 확률분포는 상기 가중치를 반영하여 상기 확률분포에 결합되는, 자율 주행 차량의 차선 인지 방법.6. The method of claim 5,
Further comprising the step of individually determining the weight of the surrounding vehicle,
and the individual probability distribution is coupled to the probability distribution by reflecting the weight.
상기 가중치는 1/n(n은 상기 주변 차량의 수)으로 초기 설정되고,
상기 개별 확률분포와 상기 확률분포의 거리가 가까울수록 상기 가중치는 높아지는, 자율 주행 차량의 차선 인지 방법.8. The method of claim 7,
The weight is initially set to 1/n (n is the number of surrounding vehicles),
The method of claim 1, wherein the weight increases as the distance between the individual probability distribution and the probability distribution increases.
상기 주변 차량의 상기 개별 궤적이 기 설정된 범위를 초과하는 횡방향 움직임이 있는 경우, 상기 가중치를 최소값으로 결정하는, 자율 주행 차량의 차선 인지 방법.8. The method of claim 7,
and determining the weight as a minimum value when there is a lateral movement in which the individual trajectory of the surrounding vehicle exceeds a preset range.
상기 확률분포의 기 설정된 확률 범위 내 상기 차선이 위치하면 상기 제1위치를 출력하는, 자율 주행 차량의 차선 인지 방법.According to claim 1,
and outputting the first position when the lane is located within a preset probability range of the probability distribution.
상기 기 설정된 확률 범위 내 상기 차선이 위치하지 않으면,
수동 운전 전환을 요청하는 단계; 및
상기 차선의 제2위치를 출력하는 단계
를 더 포함하는, 자율 주행 차량의 차선 인지 방법.11. The method of claim 10,
If the lane is not located within the preset probability range,
requesting a manual driving transition; and
outputting a second position of the lane
A method for recognizing a lane of an autonomous vehicle further comprising:
차량에 탑재된 카메라 및 센서 중 적어도 하나를 통해 획득된 주변 차량 정보를 바탕으로 상기 차선에 대한 확률분포(probability distribution)를 결정하는 제2차선 인지부; 및
상기 확률분포의 일정 범위 내 상기 차선이 포함되는 지에 따라 상기 제1위치 및 상기 확률분포에 따른 상기 차선의 제2위치 중 하나를 출력하는 판단부
를 포함하는, 자율 주행 차량의 차선 인지 장치.a first lane recognition unit for recognizing a first position of a lane based on image information obtained from a camera mounted on the vehicle;
a second lane recognition unit for determining a probability distribution for the lane based on information about surrounding vehicles obtained through at least one of a camera and a sensor mounted on the vehicle; and
A determination unit configured to output one of the first position and the second position of the lane according to the probability distribution according to whether the lane is included within a predetermined range of the probability distribution
A lane recognition device for an autonomous vehicle comprising a.
상기 제1차선 인지부는
상기 영상 정보를 탑 뷰(top view) 형태로 보정하는 보정부;
보정된 영상에서 상기 차선에 대응하는 패턴을 검출하는 검출부; 및
상기 패턴과 상기 차량 사이의 거리를 결정하는 측정부
를 포함하는, 자율 주행 차량의 차선 인지 장치.15. The method of claim 14,
The first lane recognition unit
a correction unit for correcting the image information in a top view form;
a detection unit detecting a pattern corresponding to the lane in the corrected image; and
Measuring unit that determines the distance between the pattern and the vehicle
A lane recognition device for an autonomous vehicle comprising a.
상기 주변 차량 정보는 물체의 거리나 속도, 각도를 측정하기 위해 전자기파를 사용하는 레이더(Radar, Radio Detection And Ranging) 감지 센서, 빛을 이용해 레이더가 볼 수 없는 사각지대까지 관측 가능한 라이다(Lidar, Light Detection and Ranging) 센서, 광학계를 통해 영상으로 취득한 후 처리해 감지하는 카메라(Camera) 중 적어도 하나에 의해 획득되는, 자율 주행 차량의 차선 인지 장치.15. The method of claim 14,
The information about the surrounding vehicle is a radar (Radio Detection And Ranging) detection sensor that uses electromagnetic waves to measure the distance, speed, and angle of an object, and a lidar that can observe even a blind spot that radar cannot see using light (Lidar, A lane recognition device for an autonomous vehicle that is acquired by at least one of a Light Detection and Ranging sensor, a camera that processes and detects an image through an optical system.
차량에 탑재된 카메라 및 센서로부터 복수의 상기 주변 차량 정보가 수집되면, 상기 복수의 주변 차량 정보를 매칭시키는 매칭부
를 더 포함하는, 자율 주행 차량의 차선 인지 장치.17. The method of claim 16,
When a plurality of the surrounding vehicle information is collected from a camera and a sensor mounted on the vehicle, a matching unit that matches the plurality of surrounding vehicle information
A lane recognition device for an autonomous vehicle further comprising a.
상기 제2차선 인지부는
상기 주변 차량 정보에 근거하여, 상기 차량을 기준으로 상기 주변 차량의 개별 궤적을 결정하는 제1단계;
상기 개별 궤적을 바탕으로 개별 확률분포를 결정하는 제2단계; 및
상기 개별 확률분포를 결합하여 상기 확률분포를 출력하는 제3단계
를 수행하는, 자율 주행 차량의 차선 인지 장치.15. The method of claim 14,
The second lane recognition unit
a first step of determining an individual trajectory of the surrounding vehicle based on the vehicle based on the surrounding vehicle information;
a second step of determining individual probability distributions based on the individual trajectories; and
A third step of outputting the probability distribution by combining the individual probability distributions
A lane recognition device for an autonomous vehicle that performs
상기 제2차선 인지부는 상기 주변 차량 정보에 포함된 주변 차량의 수를 결정하고, 상기 수만큼 상기 제1단계 내지 상기 제3단계를 반복 수행하는, 자율 주행 차량의 차선 인지 장치.19. The method of claim 18,
and the second lane recognizing unit determines the number of surrounding vehicles included in the surrounding vehicle information, and repeats the first to third steps by the number.
상기 제2차선 인지부는 상기 주변 차량에 개별적으로 가중치를 결정하고, 상기 개별 확률분포를 상기 가중치를 반영하여 상기 확률분포에 결합하는, 자율 주행 차량의 차선 인지 장치.19. The method of claim 18,
and the second lane recognizing unit individually determines weights for the surrounding vehicles, and combines the individual probability distributions with the probability distributions by reflecting the weights.
상기 가중치는 1/n(n은 상기 주변 차량의 수)으로 초기 설정되고,
상기 개별 확률분포와 상기 확률분포의 거리가 가까울수록 상기 가중치는 높아지는, 자율 주행 차량의 차선 인지 장치.21. The method of claim 20,
The weight is initially set to 1/n (n is the number of surrounding vehicles),
and the weight increases as the distance between the individual probability distribution and the probability distribution increases.
상기 주변 차량의 상기 개별 궤적이 기 설정된 범위를 초과하는 횡방향 움직임이 있는 경우, 상기 가중치를 최소값으로 결정하는, 자율 주행 차량의 차선 인지 장치.21. The method of claim 20,
and determining the weight as a minimum value when there is a lateral movement in which the individual trajectory of the surrounding vehicle exceeds a preset range.
상기 판단부에서 출력되는 결과는 멀티미디어 시스템의 스크린을 통해 출력되는, 자율 주행 차량의 차선 인지 장치.15. The method of claim 14,
and a result output from the determination unit is output through a screen of a multimedia system.
상기 판단부는 상기 확률분포의 기 설정된 확률 범위 내 상기 차선이 위치하면 상기 제1위치를 출력하는, 자율 주행 차량의 차선 인지 장치.15. The method of claim 14,
and the determining unit outputs the first position when the lane is located within a preset probability range of the probability distribution.
상기 판단부는 상기 기 설정된 확률 범위 내 상기 차선이 위치하지 않으면, 수동 운전 전환을 요청하고, 상기 차선의 제2위치를 출력하는, 자율 주행 차량의 차선 인지 장치.25. The method of claim 24,
and the determining unit requests a manual driving changeover and outputs a second position of the lane when the lane is not located within the preset probability range.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160005272A KR102456626B1 (en) | 2016-01-15 | 2016-01-15 | Apparatus and method for traffic lane recognition in automatic steering control of vehilcles |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160005272A KR102456626B1 (en) | 2016-01-15 | 2016-01-15 | Apparatus and method for traffic lane recognition in automatic steering control of vehilcles |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20170085752A KR20170085752A (en) | 2017-07-25 |
| KR102456626B1 true KR102456626B1 (en) | 2022-10-18 |
Family
ID=59422745
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020160005272A KR102456626B1 (en) | 2016-01-15 | 2016-01-15 | Apparatus and method for traffic lane recognition in automatic steering control of vehilcles |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102456626B1 (en) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102470298B1 (en) * | 2017-12-01 | 2022-11-25 | 엘지이노텍 주식회사 | A method of correcting cameras and device thereof |
| CN108983771A (en) * | 2018-07-03 | 2018-12-11 | 天津英创汇智汽车技术有限公司 | Vehicle lane-changing decision-making technique and device |
| KR102092913B1 (en) * | 2018-10-08 | 2020-04-23 | 현대모비스 주식회사 | Apparatus for informing inside lane and control method thereof |
| EP3640679B1 (en) * | 2018-10-15 | 2023-06-07 | Zenuity AB | A method for assigning ego vehicle to a lane |
| KR102633140B1 (en) | 2018-10-23 | 2024-02-05 | 삼성전자주식회사 | Method and apparatus of determining driving information |
| FR3088280A1 (en) * | 2018-11-08 | 2020-05-15 | Psa Automobiles Sa | CONSTRUCTION BY SEGMENTATION OF VIRTUAL TRACKS ON A PAVEMENT |
| KR102032501B1 (en) * | 2019-06-10 | 2019-10-15 | 오토아이티(주) | Method and system for lane departure warning |
| US11295521B2 (en) | 2020-03-25 | 2022-04-05 | Woven Planet North America, Inc. | Ground map generation |
| KR102342414B1 (en) * | 2020-05-29 | 2021-12-24 | 서울대학교산학협력단 | Apparatus and method for virtual lane generation based on traffic flow for autonomous driving in severe weather condition |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004341941A (en) | 2003-05-16 | 2004-12-02 | Denso Corp | Traveling lane estimation device, branch lane entry estimation device, vehicle speed control device, and program |
| JP2012035794A (en) | 2010-08-09 | 2012-02-23 | Nissan Motor Co Ltd | Vehicle control device |
| JP2013168016A (en) | 2012-02-15 | 2013-08-29 | Toyota Motor Corp | Travel lane recognition device |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101225626B1 (en) | 2010-07-19 | 2013-01-24 | 포항공과대학교 산학협력단 | Vehicle Line Recognition System and Method |
| KR101215219B1 (en) * | 2010-12-14 | 2012-12-24 | 주식회사 만도 | Vehicle Control System Capable of Keeping Lane |
| KR101787996B1 (en) * | 2013-04-11 | 2017-10-19 | 주식회사 만도 | Apparatus of estimating traffic lane in vehicle, control method of thereof |
-
2016
- 2016-01-15 KR KR1020160005272A patent/KR102456626B1/en active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004341941A (en) | 2003-05-16 | 2004-12-02 | Denso Corp | Traveling lane estimation device, branch lane entry estimation device, vehicle speed control device, and program |
| JP2012035794A (en) | 2010-08-09 | 2012-02-23 | Nissan Motor Co Ltd | Vehicle control device |
| JP2013168016A (en) | 2012-02-15 | 2013-08-29 | Toyota Motor Corp | Travel lane recognition device |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20170085752A (en) | 2017-07-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102456626B1 (en) | Apparatus and method for traffic lane recognition in automatic steering control of vehilcles | |
| US11796344B2 (en) | Map information system | |
| US10976741B2 (en) | Safety and comfort constraints for navigation | |
| US20210291827A1 (en) | Recognition and prediction of lane constraints and construction areas in navigation | |
| RU2645388C2 (en) | Device for identifying wrong recognition | |
| US9245188B2 (en) | Lane detection system and method | |
| US7327855B1 (en) | Vision-based highway overhead structure detection system | |
| US8994823B2 (en) | Object detection apparatus and storage medium storing object detection program | |
| CN108573611B (en) | Speed limit sign fusion method and speed limit sign fusion system | |
| JP2004531424A (en) | Sensing device for cars | |
| Jiménez et al. | Improving the obstacle detection and identification algorithms of a laserscanner-based collision avoidance system | |
| JP7422661B2 (en) | Travel trajectory correction method, travel control method, and travel trajectory correction device | |
| EP3048023A1 (en) | Method for assisting a driver in driving an ego vehicle and corresponding driver assistance system | |
| CN113386752B (en) | Method and device for determining an optimal cruising lane in a driver assistance system | |
| JP6911312B2 (en) | Object identification device | |
| KR102467223B1 (en) | Apparatus and method for automatic steering control based on vehicles changing lanes | |
| CN112363494A (en) | Method and device for planning advancing path of robot and storage medium | |
| JP7006203B2 (en) | Trajectory setting device | |
| KR20200133856A (en) | Autonomous driving apparatus and method | |
| KR102355426B1 (en) | Method and apparatus for detecting and avoiding obstacles on driving path | |
| US11487293B2 (en) | Map-information obstacle-tracking system and method | |
| EP3244233B1 (en) | Apparatus and method for automated parking | |
| KR20180058436A (en) | Apparatus and method for classifying object |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |