KR102499334B1 - 라이다 센서를 이용하여 차선을 검출하는 방법 및 상기 방법을 수행하는 차선 검출 장치 - Google Patents
라이다 센서를 이용하여 차선을 검출하는 방법 및 상기 방법을 수행하는 차선 검출 장치 Download PDFInfo
- Publication number
- KR102499334B1 KR102499334B1 KR1020210084217A KR20210084217A KR102499334B1 KR 102499334 B1 KR102499334 B1 KR 102499334B1 KR 1020210084217 A KR1020210084217 A KR 1020210084217A KR 20210084217 A KR20210084217 A KR 20210084217A KR 102499334 B1 KR102499334 B1 KR 102499334B1
- Authority
- KR
- South Korea
- Prior art keywords
- lane
- points
- point
- detecting
- detection device
- Prior art date
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 89
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000005286 illumination Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 9
- 239000000203 mixture Substances 0.000 claims description 8
- 230000006870 function Effects 0.000 description 14
- 230000008569 process Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 9
- 239000000284 extract Substances 0.000 description 9
- 238000000605 extraction Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000009826 distribution Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
- B60W40/06—Road conditions
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
- G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0001—Details of the control system
- B60W2050/0002—Automatic control, details of type of controller or control system architecture
- B60W2050/0004—In digital systems, e.g. discrete-time systems involving sampling
- B60W2050/0005—Processor details or data handling, e.g. memory registers or chip architecture
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/408—Radar; Laser, e.g. lidar
-
- B60W2420/52—
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Electromagnetism (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Mathematical Physics (AREA)
- Mechanical Engineering (AREA)
- Optics & Photonics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Transportation (AREA)
- Automation & Control Theory (AREA)
- Traffic Control Systems (AREA)
Abstract
본 발명의 일 실시예에 따른 차선 검출 장치에 의해 수행되는 차선을 검출하는 방법은, 라이다 센서로부터, 상기 라이다 센서 주변을 검색한 포인트 데이터를 획득하는 단계; 상기 차선 검출 장치의 주행 상황에 기초하여 설정된 임계 값을 이용하여, 상기 포인트 데이터에 포함된 복수의 포인트들 중에서 상기 차선에 대응되는 적어도 하나의 차선 포인트를 검출하는 단계; 및 상기 적어도 하나의 차선 포인트를 이용하여 상기 차선을 검출하는 단계를 포함할 수 있다.
Description
본 발명은 라이다 센서를 이용하여 차선을 검출하는 방법 및 상기 방법을 수행하는 차선 검출 장치에 관한 것이다.
라이다(Light Detection And Ranging, LiDAR)는 고출력의 펄스 레이저를 이용하여 물체에 반사되어 돌아오는 레이저 빔의 시간을 측정하여 거리 정보를 획득하는 기술로, 자율주행차량, 지구환경 관측, 대기분석, 및 무인기기 등 다양한 분야에 활용되고 있다. 최근에는 상기 라이다가 3D 리버스 엔지니어링, 자율주행 및 무인 자동차를 위한 레이저 스캐너 및 3D 영상 카메라의 핵심 기술로 활용되면서 그 활용성과 중요성이 점차 증가되고 있다.
한편, 자율주행을 위해서는 차량의 위치를 정밀하게 파악하는 것이 필요하다. 현재는 GPS 센서를 이용하여 차량의 위치를 파악하고 있지만, 자율주행을 위해서는 차량의 위치를 수 센티미터 이내의 오차로 구분할 수 있어야 하기 때문에 차량의 위치를 보다 정밀하게 측정할 필요가 있다.
차량의 위치를 보다 정확하게 측정하기 위해서는, 관성 측정 장치 또는 주행거리 측정 장치와 같은 차량 내부의 감지 정보와 GPS, 라이다, 카메라, 레이더와 같은 차량 외부의 센서들을 이용하여 검출된 정보들을 융합, 보완하는 것이 일반적이다. 이러한 차량 외부의 센서들은 건물의 벽, 가드레일, 차선, 이정표, 신호등 과 같은 도로의 특징 정보들을 추출할 수 있으며, 추출된 정보들은 고정밀지도와 함께 정밀한 위치를 추정하는데 이용된다.
차량의 위치와 관련된 정보들 중에서 차선 정보는 다른 도로 관련 특징 정보들보다 특히 많이 존재하는 정보이고, 차량의 차로 내 횡방향 위치를 추정하기 위한 가장 정확한 정보이다. 따라서, 정밀한 차선 검출 결과는 정밀 측위 기술 결과의 성능을 높이는데 큰 도움을 줄 수 있다.
<타 센서를 이용한 차선 검출 기술의 문제점>
현재 차선을 검출하기 위한 센서는 카메라 센서가 유일하다. 하지만, 카메라 센서의 경우, 급격한 조도 변화에 따른 성능 저하가 심하고 정확한 거리 정보를 측정하기 어려운 단점을 가지고 있다. 즉, 카메라 센서는, 터널 진출입 시와 같은 급격한 조도 변화가 생기는 경우나, 주행 중 전방에 햇빛이 강렬하게 비치는 경우 등에서는 정확한 차선 검출 결과를 도출해내기 어렵다.
또한, 2차원 영상 정보를 통해 검출된 차선 정보를 3차원의 정보로 변환하는 것이 필요하기 때문에, 다양한 도로 상황에서 정확한 거리 정보를 측정하는 것이 어려워 정확한 인식 성능을 보장하기 어렵다.
따라서, 본 명세서에서는 일반적인 주행 상황 뿐만 아니라, 타 센서의 인식 오류의 상황에서도 정확한 차로 내 위치를 추정하기 위한 라이다 센서 기반의 차선 검출 기술을 제안한다.
본 발명이 해결하고자 하는 과제는, 라이다 센서를 이용하여 차선을 검출하는 방법을 제공하는 것이다.
다만, 본 발명이 해결하고자 하는 과제는 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 해결하고자 하는 과제는 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시예에 따른 차선 검출 장치에 의해 수행되는 차선을 검출하는 방법은, 라이다 센서로부터, 상기 라이다 센서 주변을 검색한 포인트 데이터를 획득하는 단계; 상기 차선 검출 장치의 주행 상황에 기초하여 설정된 임계 값을 이용하여, 상기 포인트 데이터에 포함된 복수의 포인트들 중에서 상기 차선에 대응되는 적어도 하나의 차선 포인트를 검출하는 단계; 및 상기 적어도 하나의 차선 포인트를 이용하여 상기 차선을 검출하는 단계를 포함할 수 있다.
상기 적어도 하나의 차선 포인트를 검출하는 단계는, 상기 복수의 포인트들의 세기를 가우시안 혼합 모델에 적용하여, 상기 복수의 포인트들을 노면에 대응하는 노면 포인트와 상기 차선 포인트로 구분하는 단계를 포함할 수 있다.
상기 적어도 하나의 차선 포인트를 검출하는 단계는, 상기 차선 검출 장치 또는 상기 라이다 센서의 주변을 소정의 크기를 갖는 셀 영역으로 구분하는 단계를 더 포함하고, 상기 적어도 하나의 차선 포인트를 검출하는 단계는, 상기 차선을 포함하는 차선 셀에 대해서만 수행될 수 있다.
상기 적어도 하나의 차선 포인트를 검출하는 단계는, 상기 복수의 포인트들의 세기를 가우시안 모델에 적용하는 단계; 및 상기 가우시안 모델의 왜도의 크기가 소정의 양수 값 이상인 경우, 상기 셀 영역을 상기 차선 셀로 결정하는 단계를 더 포함할 수 있다.
상기 적어도 하나의 차선 포인트를 검출하는 단계는, 상기 복수의 포인트들 중에서 선택된 제1 포인트들을 이용하여, 제1 평면을 생성하는 단계; 상기 복수의 포인트들 중에서 선택된 제2 포인트들을 이용하여, 제2 평면을 생성하는 단계; 및 상기 제1 평면에 포함된 제1 인라이어 포인트의 개수가 상기 제2 평면에 포함된 제2 인라이어 포인트의 개수보다 많은 경우, 상기 제1 평면을 도로의 노면이라고 판단하는 단계를 포함하고, 상기 적어도 하나의 차선 포인트는 상기 제1 평면에 포함될 수 있다.
상기 차선을 검출하는 단계는, 상기 적어도 하나의 차선 포인트 중에서, 상기 라이다 센서로부터 소정의 거리 이내의 차선 포인트들을 선택하는 단계; 상기 선택된 차선 포인트들 중에서 적어도 일부를 이용하여 복수의 곡선들을 생성하는 단계; 상기 복수의 곡선들 중에서, 상기 복수의 곡선들로부터의 거리가 소정의 값 이하인 차선 포인트들이 할당된 세그먼트의 수가 가장 많은 곡선을 기반 차선으로 선정하는 단계; 및 상기 기반 차선을 이용하여, 상기 차선 검출 장치가 탑재된 차량에 대한 주행 차선, 주변 차선 및 반대 차선 중에서 적어도 하나를 검출하는 단계를 포함할 수 있다.
상기 주행 차선, 주변 차선 및 반대 차선 중에서 적어도 하나를 검출하는 단계는, 상기 기반 차선의 곡률에 기초하여, 상기 주행 차선 및 상기 주변 차선 중에서 적어도 하나를 검출하는 단계를 포함할 수 있다.
상기 차선을 검출하는 단계는, 상기 검출된 차선으로부터 소정의 거리 이내의 포인트들을 제거하는 단계; 및 제거되지 않은 포인트들을 이용하여, 상기 검출된 차선이 아닌 다른 차선을 검출하는 단계를 더 포함할 수 있다.
본 발명의 다른 실시예에 따른 차선을 검출하는 차선 검출 장치는, 라이다 센서로부터, 상기 라이다 센서 주변을 검색한 포인트 데이터를 획득하는 송수신기; 및 상기 송수신기를 제어하는 프로세서를 포함하고, 상기 프로세서는, 상기 차선 검출 장치의 주행 상황에 기초하여 설정된 임계 값을 이용하여, 상기 포인트 데이터에 포함된 복수의 포인트들 중에서 상기 차선에 대응되는 적어도 하나의 차선 포인트를 검출하고, 상기 적어도 하나의 차선 포인트를 이용하여 상기 차선을 검출할 수 있다.
본 발명의 또 다른 실시예에 따른 차선 검출 시스템은, 주변을 검색한 포인트 데이터를 획득하는 라이다 센서; 및 주행 상황에 기초하여 설정된 임계 값을 이용하여, 상기 포인트 데이터에 포함된 복수의 포인트들 중에서 상기 차선에 대응되는 적어도 하나의 차선 포인트를 검출하고, 상기 적어도 하나의 차선 포인트를 이용하여 상기 차선을 검출하는 차선 검출 장치를 포함할 수 있다.
본 발명의 실시예에 의하면, 라이다 센서를 이용하여 차량 주위의 차선을 검출함으로써, 카메라 센서를 이용한 방법에 비하여, 더욱 정밀하게 차선의 위치를 검출할 수 있다.
또한, 본 발명의 실시예에 의하면, 주행 상황에 적응적으로 설정된 임계 값을 이용하여 차선 포인트를 추출함으로써, 일반 주행 상황 뿐만 아니라, 급격한 조도 변화, 주/야간 및 우천시에도 차선을 정확하게 검출할 수 있다.
또한, 본 발명의 실시예에 의하면, 기반 차선을 이용하여 나머지 차선을 검출함으로써, 차선 검출을 위한 연산의 양을 크게 감소시킬 수 있다.
도 1은 본 발명의 실시예에 따른 차선 검출 시스템을 나타내는 블록도이다.
도 2는 본 발명의 실시예에 따른 차선 검출 프로그램의 기능을 개념적으로 나타내는 블록도이다.
도 3은 노면 검출부가 차선 검출 장치가 탑재된 차량 주위의 도로의 노면을 검출한 예시를 나타낸다.
도 4는 주행 상황에 따라 적응적으로 설정된 임계 값을 이용하여 차선 포인트를 추출하는 일 예시를 나타낸다.
도 5는 본 발명의 실시예에 따라 셀 영역을 설정하는 일 예시를 나타낸다.
도 6의 노면 셀과 차선 셀의 가우시안 모델의 일 예시를 나타낸다.
도 7은 차선 검출 장치가 탑재된 차량 주위의 차선 포인트를 추출한 결과의 일 예시를 나타낸다.
도 8은 본 발명의 실시예에 따라 차선 검출부에서 한 개 이상의 차선 포인트가 할당된 세그먼트의 수를 계산하는 방법을 나타낸다.
도 9는 차선 검출부에서 검출한 차선의 일 예시이다.
도 10은 본 발명의 실시예에 따라 차선 검출 장치가 차선을 검출하는 방법을 나타내는 흐름도이다.
도 2는 본 발명의 실시예에 따른 차선 검출 프로그램의 기능을 개념적으로 나타내는 블록도이다.
도 3은 노면 검출부가 차선 검출 장치가 탑재된 차량 주위의 도로의 노면을 검출한 예시를 나타낸다.
도 4는 주행 상황에 따라 적응적으로 설정된 임계 값을 이용하여 차선 포인트를 추출하는 일 예시를 나타낸다.
도 5는 본 발명의 실시예에 따라 셀 영역을 설정하는 일 예시를 나타낸다.
도 6의 노면 셀과 차선 셀의 가우시안 모델의 일 예시를 나타낸다.
도 7은 차선 검출 장치가 탑재된 차량 주위의 차선 포인트를 추출한 결과의 일 예시를 나타낸다.
도 8은 본 발명의 실시예에 따라 차선 검출부에서 한 개 이상의 차선 포인트가 할당된 세그먼트의 수를 계산하는 방법을 나타낸다.
도 9는 차선 검출부에서 검출한 차선의 일 예시이다.
도 10은 본 발명의 실시예에 따라 차선 검출 장치가 차선을 검출하는 방법을 나타내는 흐름도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 실시예에 따른 차선 검출 시스템을 나타내는 블록도이다.
도 1을 참조하면, 차선 검출 시스템(10)은 라이다 센서(20) 및 차선 검출장치(100)를 포함할 수 있다.
본 명세서에서는, 설명의 편의상, 차선 검출 시스템(10)이 자율주행차량(이하 간략하게, 차량)에 탑재되는 것으로 설명하지만, 이에 한정되지 않는다. 즉, 차선 검출 시스템(10)은 자율주행차량 뿐만 아니라 드론 등의 무인 이동체에도 탑재될 수 있으며, 자율주행체나 무인 이동체가 아닌 다른 이동 가능한 이동체(자동차, 오토바이, 비행체 등)에도 탑재될 수 있다.
뿐만 아니라, 본 명세서에서 라이다 센서(20)는 차선 검출 장치(100)와 구분되는 별개의 장치로서, 차선 검출 장치(100)로 포인트 데이터를 전송하는 것으로 설명하지만, 이에 한정되지 않는다. 즉, 실시예에 따라, 라이다 센서(20)는 차선 검출 장치(100)에 포함될 수 있으며, 이와 같은 경우, 라이다 센서(20)는 내부 시그널링 등을 통해 후술할 포인트 데이터 수신부(210)로 포인트 데이터를 전송할 수 있다.
라이다 센서(20)는 소정의 방향(예컨대, 차선 검출 장치의 이동 방향(전방) 뿐만 아니라, 측방, 후방을 포함하는 360도 방향)으로 레이저를 방사하고, 주위의 지형지물 등에 의해 반사된 레이저를 수신할 수 있다. 이때, 라이다 센서(20)가 방사하여 수신한 레이저는 하나 이상의 포인트 데이터를 포함할 수 있다.
차선 검출 장치(100)는 라이다 센서(20)로부터 포인트 데이터를 수신하고, 수신한 포인트 데이터를 이용하여 차선 검출 장치(100)(또는 차선 검출 장치(100)가 탑재된 차량)의 주변의 차선(lane)을 검출할 수 있다.
보다 자세하게는, 차선 검출 장치(100)는 수신한 포인트 데이터를 이용하여 도로의 노면(ground)을 검출하고, 검출된 노면에 포함된 포인트들 중에서 노면 포인트와 구분되는 차선 포인트를 추출하고, 추출된 차선 포인트를 이용하여 차선을 검출하고, 이전 프레임에서 검출한 차선과 현재 프레임에서 검출한 차선을 연계함으로써, 차선을 추적할 수 있다.
이를 위해, 차선 검출 장치(100)는 프로세서(100), 송수신기(110) 및 메모리(130)를 포함할 수 있다.
프로세서(110)는 차선 검출 장치(100)의 동작을 전반적으로 제어할 수 있다.
프로세서(110)는, 송수신기(120)를 이용하여, 라이다 센서(20)로부터 포인트 데이터를 수신할 수 있다.
본 명세서에서는, 차선 검출 장치(100)는 송수신기(120)를 이용하여 포인트 데이터를 수신하는 것으로 설명하였지만, 이에 한정되지 않는다. 즉, 실시예에 따라, 차선 검출 장치(100)는 입출력기(미도시)를 포함하고, 입출력기(미도시)를 이용하여 포인트 데이터를 수신할 수 있으며, 또는 라이다 센서(20)가 차선 검출 장치(100)에 포함되어, 포인트 데이터가 차선 검출 장치(100) 내에서 생성할 수도 있다.
메모리(130)는 차선 검출 프로그램(200) 및 차선 검출 프로그램(200)의 실행에 필요한 정보를 저장할 수 있다.
본 명세서에서 차선 검출 프로그램(200)은 포인트 데이터를 이용하여 도로의 차선을 검출하도록 프로그램된 명령어들을 포함하는 소프트웨어를 의미할 수 있다.
프로세서(110)는 차선 검출 프로그램(200)을 실행하기 위하여 메모리(130)에서 차선 검출 프로그램(200) 및 차선 검출 프로그램(200)의 실행에 필요한 정보를 로드할 수 있다.
프로세서(110)는, 차선 검출 프로그램(200)을 실행하여, 수신한 포인트 데이터를 이용하여 차선 검출 장치(100)의 주변에 위치하는 차선을 검출할 수 있다.
차선 검출 프로그램(200)의 기능 및/또는 동작에 대하여는 도 2를 통해 상세하게 살펴보기로 한다.
도 2는 본 발명의 실시예에 따른 차선 검출 프로그램의 기능을 개념적으로 나타내는 블록도이다.
도 2를 참조하면, 차선 검출 프로그램(200)은 포인트 데이터 수신부(210), 노면 검출부(220), 차선 포인트 추출부(230), 차선 검출부(240) 및 차선 추적부(250)를 포함할 수 있다.
도 2에 도시된 포인트 데이터 수신부(210), 노면 검출부(220), 차선 포인트 추출부(230), 차선 검출부(240) 및 차선 추적부(250)는 차선 검출 프로그램(200)의 기능을 쉽게 설명하기 위하여 차선 검출 프로그램(200)의 기능을 개념적으로 나눈 것으로서, 이에 한정되지 않는다. 실시예들에 따라, 포인트 데이터 수신부(210), 노면 검출부(220), 차선 포인트 추출부(230), 차선 검출부(240) 및 차선 추적부(250)의 기능은 병합/분리 가능하며, 하나의 프로그램에 포함된 일련의 명령어들로 구현될 수도 있다.
포인트 데이터 수신부(210)는 라이다 센서(20)로부터 포인트 데이터를 수신할 수 있다. 포인트 데이터 수신부(210)가 수신하는 포인트 데이터에는 복수의 포인트들이 포함될 수 있다.
노면 검출부(220)는 수신한 포인트 데이터를 이용하여 도로의 노면을 검출할 수 있다. 여기서, 도로의 노면은 도로 상 또는 도로 주위의 장애물 등을 제외한 도로의 표면을 의미할 수 있다.
실시예에 따라, 노면 검출부(220)는 평면 피팅 방법을 이용하여 도로의 노면을 검출할 수 있다.
보다 자세하게는, 노면 검출부(220)는 수신한 포인트 데이터 중에서 소정의 개수(예컨대, 4개)의 포인트들을 선택하고, 선택한 포인트들을 포함하는 평면(ax+by+cz+d=0)을 생성할 수 있다.
이후, 노면 검출부(220)는 평면을 생성하는데 이용한 포인트들이 아닌 다른 포인트 중에서 상기 평면에 대한 인라이어(inlier) 포인트를 결정할 수 있다. 여기서, 인라이어 포인트는 생성한 평면과의 수직 거리가 소정의 값 이하인 포인트를 의미할 수 있다.
노면 검출부(220)는 위의 과정을 복수 번 반복하여 복수 개의 평면들을 생성할 수 있다. 노면 검출부(220)는 생성한 복수 개의 평면들 중에서 인라이어 포인트 개수가 가장 많은 평면을 도로의 노면(표면)으로 선택할 수 있다.
노면 검출부(220)가 평면을 생성하는 과정을 반복하는 횟수는 기 설정된 값으로서, 수신한 포인트 데이터에 포함된 포인트들의 개수에 기초하여 결정된 값일 수 있다. 예컨대, 상기 횟수는 수신한 포인트 데이터에 포함된 포인트들 중에서 서로 다른 소정의 개수의 포인트들을 선택하는 경우의 수이거나, 상기 경우의 수보다는 작은 수 중에서 기 설정된 수일 수 있다.
예컨대, 도 3을 더 참조하면, 도 3은 노면 검출부(220)가 차선 검출 장치(100)가 탑재된 차량(V) 주위의 도로의 노면을 검출한 예시를 나타낸다. 노면 검출부(220)는 수신한 포인트 데이터를 이용하여 평면 피팅 방법을 수행함으로써, 차량(V) 주위의 노면(RS)를 검출할 수 있다.
차선 포인트 추출부(230)는 인라이어 포인트들의 세기(intensity)를 이용하여 도로의 노면으로 선택된 평면에 포함된 인라이어 포인트들을 노면 포인트와 차선 포인트로 구분할 수 있다. 이는, 도로의 노면 중에서 차선의 반사율이, 차선이 아닌 표면의 반사율에 비해 높기 때문이다.
여기서, 차선 포인트는 도로의 노면에 포함된 인라이어 포인트들 중에서 차선을 구성하는 포인트를 의미하고, 노면 포인트는 도로의 노면에 포함된 인라이어 포인트들 중에서 차선 포인트가 아닌 포인트를 의미할 수 있다.
보다 자세하게는, 차선 포인트 추출부(230)는 주행 상황에 적응적으로(주변 환경에 기초하여) 설정된 임계 값을 이용하여 인라이어 포인트들 중에서 차선 포인트를 추출할 수 있다. 즉, 차선 포인트 추출부(230)는 인라이어 포인트의 세기와 적응적으로 설정된 임계 값을 비교하여, 세기가 임계 값 이상(초과)인 인라이어 포인트는 차선 포인트에 해당한다고 결정할 수 있다.
이는, 주행 상황(즉, 주변 환경)을 고려하지 않고, 하나의 임계 값만을 이용하여 차선 포인트를 추출하는 경우, 다양한 주행 상황(주간, 야간, 우천시 등과 같은 조도 양의 차이 또는 터널 진입, 구조물 또는 차량에 의한 음영 지역과 같은 조도의 급격한 변화)에서 적절한 차선 포인트가 추출되지 못할 수도 있기 때문이다.
여기서, 다양한 주행 상황이라 함은, 주간, 야간, 우천시 등과 같이 조도가 차이나는 상황이나, 터널 진입, 구조물 또는 차량에 의한 음영 지역 발생 등 조도 변화가 급격하게 발생하는 상황을 의미할 수 있다.
따라서, 차선 포인트 추출부(230)는 주행 상황의 변화에 강인하게 차선 포인트를 추출하기 위해, 주행 상황에 따라 적응적으로 설정된 임계 값을 이용하여 차선 포인트를 추출할 수 있다.
예컨대, 도 4를 더 참조하면, 도 4의 (a)는 차선 검출 장치(100)가 탑재된 차량이 주간에 운행함에 따라, 차선 포인트 추출부(230)는 임계 값을 10으로 설정하여 차선 포인트를 추출하는 일 예시를 나타내고, 도 4의 (b)는 차선 검출 장치(100)가 탑재된 차량이 야간에 운행함에 따라, 차선 포인트 추출부(230)는 임계 값을 7로 설정하여 차선 포인트를 추출하는 일 예시를 나타내고, 도 4의 (c)는 차선 검출 장치(100)가 탑재된 차량이 우천 시에 운행함에 따라, 차선 포인트 추출부(230)는 임계 값을 5로를 설정하여 차선 포인트를 추출하는 일 예시를 나타낸다.
도 4의 (a) 내지 (c)를 통해 확인할 수 있는 바와 같이, 차선 검출 장치(100)가 탑재된 차량이 주간, 야간 및/또는 우천에 운행하는지 여부에 따라, 차선 검출 장치(100)가 수신하는 포인트 데이터의 세기가 다를 수 있으며, 이에 따라, 차선 포인트 추출부(230)는 주행 상황에 적응적으로 임계 값을 설정함으로써, 보다 정확하게 차선 포인트를 추출할 수 있다.
본 명세서에서는 차선 포인트 추출부(230)가 주간, 야간 및 우천 시에 임계 값을 각각 10, 7, 5로 설정한 것으로 설명하지만, 이는 일 예시일 뿐, 이에 한정되지 않는다.
임계 값을 적응적으로 설정하기 위해, 차선 포인트 추출부(230)는 차선 검출 장치(100)가 탑재된 차량 주변에 소정의 크기의 셀 영역을 설정하고, 설정한 셀 영역에 가우시안 혼합 모델(Gaussian Mixture Model, GMM)을 적용할 수 있다.
즉, 하나의 셀에 포함된 인라이어 포인트들에 가우시안 혼합 모델을 적용할 경우, 차선 포인트의 세기와 노면 포인트의 세기의 차이에 의하여, 두 개의 가우시안 분포가 혼합된 형태로 모델링될 수 있으며, 차선 포인트 추출부(230)는 두 개의 혼합된 가우시안 분포를 이용하여 임계 값을 결정할 수 있다.
여기서, 셀 영역은 차로의 폭 및 차선의 길이 중에서 적어도 하나에 기초하여 설정될 수 있다. 예컨대, 도 5를 더 참조하면, 대한민국의 도로교통공단에서 규정한 차로의 최소 폭은 2.75 미터이고, 차선의 최소 길이는 10 미터이므로, 이에 따라, 셀 영역은 가로 2 미터, 세로 10 미터로 설정될 수 있다.
또한, 차선 포인트 추출부(230)는 설정한 셀 영역을 차선 포인트가 포함된 차선 셀과 차선 포인트가 포함되지 않은 노면 셀로 구분하고, 설정한 셀 영역이 차선 셀에 해당할 경우에만, 위에서 설명한 차선 포인트 추출을 수행할 수 있다.
여기서, 차선 셀은 셀 영역 내에 차선이 포함되어 있는 셀 영역을 의미하고, 노면 셀은 셀 영역 내에 차선이 포함되어 있지 않은 셀 영역을 의미하는데, 노면 셀의 경우, 셀 영역에 차선이 포함되어 있지 않으므로, 노면 셀에 차선 포인트 추출을 수행할 경우, 노면 포인트가 차선 포인트로 추출되는 문제가 발생할 수 있기 때문이다.
이를 위해, 차선 포인트 추출부(230)는 설정한 셀 영역에 포함된 인라이어 포인트들에 가우시안 모델을 적용하고, 가우시안 모델의 왜도(skewness)의 크기가 소정의 값(예컨대, 3) 이상(초과)인 경우, 설정한 셀 영역을 차선 셀로 결정할 수 있다.
예컨대, 도 6을 더 참조하면, 도 6의 (a)는 노면 셀의 가우시안 모델의 일 예시를 나타내고, 도 6의 (b)는 차선 셀의 가우시안 모델의 일 예시를 나타낼 수 있다.
도 6의 (a)의 경우, 가우시안 모델의 왼쪽에 데이터가 더 많이 분포하고 있으므로(즉, 포인트들의 세기가 큰 데이터가 거의 없으므로), 가우시안 모델의 왜도의 크기는 상기 소정의 값 미만(이하)의 값(예컨대, 0 에 가까운 값)에 해당하며, 따라서, 차선 포인트 추출부(230)는 해당 셀 영역을 노면 셀로 판단하고, 차선 포인트 추출을 수행하지 않을 수 있다.
반면, 도 6의 (b)의 경우, 가우시안 모델의 오른쪽에 데이터가 더 많이 분포하고 있으므로(즉, 포인트들의 세기가 큰 데이터가 존재하므로), 가우시안 모델의 왜도의 크기는 상기 소정의 값 이상(초과)인 값에 해당하며, 따라서, 차선 포인트 추출부(230)는 해당 셀 영역을 차선 셀로 판단하고, 차선 포인트 추출을 수행할 수 있다.
또한, 도 7을 더 참조하면, 도 7은 차선 포인트 추출부(230)가 차선 검출 장치(100)가 탑재된 차량(V) 주위의 차선 포인트를 추출한 결과를 나타낸다.
차선 포인트 추출부(230)는 앞서 설명한 바와 같이, 설정한 셀 영역이 차선 셀에 해당하는 경우, 해당 셀 영역에 가우시안 혼합 모델을 적용하여 적응적으로 임계 값을 설정하고, 해당 셀 영역에 포함된 인라이어 포인트들 중에서 세기가 적응적으로 설정된 임계 값 이상(초과)인 인라이어 포인트를 차선 포인트에 해당한다고 결정할 수 있다. 이를 통해, 도 7과 같이, 차선 포인트 추출부(230)는 주위의 노면 포인트와 구분하여 차선 포인트를 명확하게 추출할 수 있다.
차선 검출부(240)는 차선 포인트 추출부(230)에서 추출한 차선 포인트를 이용하여 차선을 검출할 수 있다.
보다 자세하게는, 차선 검출부(240)는 차선을 검출하기 위해 우선 기반 차선을 설정할 수 있다.
여기서, 기반 차선은 추출된 차선 포인트를 이용하여 검출할 수 있는 가장 정확한 차선을 의미할 수 있다. 라이다 센서(20)으로부터 거리가 멀어질수록 포인트 데이터에 포함된 인라이어 포인트의 반사율과 밀집도가 낮아지기 때문에, 라이다 센서(20)로부터 거리가 가까울수록 차선 포인트가 많이 존재하고, 그의 위치 정확도 또한 높을 수 있다.
따라서, 차선 검출부(240)는 가장 정확하게 위치를 검출할 수 있는 기반 차선을 우선 검출하여, 기반 차선을 기초로 다른 차선을 검출할 수 있다.
실시 예에 따라, 차선 검출부(240)는 기반 차선을 검출하기 위해, 추출한 차선 포인트 중에서 라이더 센서(20)로부터 소정의 거리 이내의 차선 포인트들을 선택할 수 있다. 실시예에 따라, 상기 소정의 거리는 차로의 폭에 해당하는 값일 수 있다. 예컨대, 상기 소정의 거리는 대한민국에서 일반적인 차로의 폭에 해당하는 3.5m일 수 있다.
차선 검출부(240)는 선택된 차선 포인트들 중에서 소정의 개수(예컨대, 4개)의 포인트를 선정하여 3차 곡선(ax3+bx2+cx+d=0)을 생성하고, 생성한 3차 곡선으로부터의 거리(예컨대, 수직 거리)가 기 설정된 값 이하(미만)인 차선 포인트들을 선택할 수 있다.
차선 검출부(240)는 생성한 3차 곡선으로부터의 거리가 기 설정된 값 이하(미만)인 것으로 선택된 차선 포인트들을 소정의 간격으로 나누어진 세그먼트에 할당하고, 한 개 이상의 차선 포인트가 할당된 세그먼트의 수를 계산할 수 있다.
예컨대, 도 8을 더 참조하면, 차선 검출부(240)는 라이더 센서(20)로부터 소정의 거리 이내에 있는 것으로 선택된 27개의 차선 포인트들 중에서, 3차 곡선(C)부터의 거리(d1)가 기 설정된 값 이하(미만)인 18개의 차선 포인트들(LP)을 선택할 수 있다. 이후, 차선 검출부(240)는 선택한 차선 포인트들(LP)을 소정의 간격(d2)으로 나누어진 세그먼트(SG)에 할당하고, 차선 포인트(LP)가 한 개 이상의 할당된 세그먼트(SG)의 수(14개)를 계산할 수 있다.
차선 검출부(240)는 3차원 곡선의 생성부터 세그먼트 수의 계산까지의 동작 복수 번 수행하고, 복수의 3차 곡선들 중에서 소정의 기준을 만족하면서 세그먼트의 수가 가장 많은 3차 곡선을 기반 차선으로 선정할 수 있다.
상기 소정의 기준은 곡선을 차선으로 정의하기 위한 기준으로서, 계산된 세그먼트의 수와 세그먼트를 할당하는 소정의 간격을 곱하여 길이를 산출하고, 산출된 길이가 소정의 값 이상(초과)인지 여부일 수 있다. 따라서, 차선 검출부(240)는 세그먼트의 수가 가장 많은 3차 곡선의 길이가 소정의 값 이상(초과)인 경우에만 기반 차선으로 선정할 수 있다.
차선 검출부(240)는 검출한 기반 차선을 이용하여 주행 차선 및 주변 차선을 검출할 수 있다. 여기서, 상기 주행 차선은 차선 검출 장치(100)가 탑재된 차량이 주행 중인 차로의 차선을 의미하고, 상기 주변 차선은 상기 주행 차로와 동일한 방향의 차로의 차선을 의미할 수 있다.
보다 자세하게는, 차선 검출부(240)는 검출한 기반 차선과 동일한 곡률을 갖는 차선을 검색함으로써, 주행 차선과 주변 차선을 검출할 수 있다. 이는 일반적으로 주행 차선과 주변 차선은 곡률이 동일하기 때문이며, 이를 통해 연산을 크게 줄일 수 있는 효과가 있다.
차선 검출부(240)는 기반 차선을 일정 간격으로 이동시키면서, 기반 차선을 검출할 때와 동일한 방법을 이용하여, 기반 차선이 이동된 위치가 차선(주행 차선 또는 주변 차선)에 해당하는지 여부를 판단할 수 있다.
즉, 차선 검출부(240)는 기반 차선이 이동된 위치에서 차선 포인트가 할당된 세그먼트의 수를 계산하고, 상기 위치에서의 세그먼트의 수와 기반 차선의 세그먼트의 수를 비교한 결과에 따라, 상기 위치가 차선에 해당한다고 결정할 수 있다.
예컨대, 차선 검출부(240)는 상기 위치에서의 세그먼트의 수가 기반 차선의 세그먼트의 수의 소정의 비율 이상(초과)인 경우, 상기 위치가 차선에 해당한다고 결정할 수 있다.
차선을 검출하는 경우, 차선 검출부(240)는 검출된 차선에서 소정의 거리(수직 거리) 이하에 위치하는 포인트들을 제거한 후, 남은 포인트에 대해 다시 차선 검출 프로세스를 수행하여, 주행 차선 또는 주변 차선을 검출할 수 있다. 이는 하나의 차선에 인접하는 차선은 차량이 지날 수 있는 만큼의 거리를 두고 위치하기 때문이다. 따라서, 검출된 차선으로부터 최대로 차량의 폭에 해당하는 거리 이하에 위치하는 포인트들은 차선 포인트가 아니기 때문에, 연산 부담을 감소시키기 위하여, 차선 검출부(240)는 해당 포인트들을 제거한 후, 남은 포인트에 대해 다시 차선 검출 프로세스를 수행함으로써, 주변 차선들을 추가적으로 검출할 수 있다.
예컨대, 도 9를 더 참조하면, 도 9는 차선 검출부에서 차선을 검출한 결과를 나타내는 일 예시이다. 차선 검출부(250)는 기반 차선을 이용하여 주행 차선 및 주변 차선 중에서 적어도 하나를 검출할 수 있으며, 검출한 주행 차선 및 주변 차선 중에서 적어도 하나를 구분하고, 구분한 결과를 출력할 수 있다.
차선 추적부(250)는 이전 프로세스에서 검출한 차선들과 현재 프로세스에서 검출한 차선들의 동일성을 판단하기 위하여, 차선 검출부(240)에서 검출한 차선들(주행 차선 및 주변 차선)을 추적할 수 있다.
보다 자세하게는, 차선 추적부(250)는 현재 프로세스에서 검출한 차선의 곡률과 위치 정보에 기초하여, 이전 프로세스에서 검출한 차선들과 현재 프로세스에서 검출한 차선들을 연계시키고, 칼만 필터를 이용하여 차선을 연계시킨 결과에 대한 노이즈를 제거함으로써, 연계된 차선의 동일성을 확보할 수 있다.
도 10은 본 발명의 실시예에 따라 차선 검출 장치가 차선을 검출하는 방법을 나타내는 흐름도이다.
도 1, 도 2 및 10을 참조하면, 포인트 데이터 수신부(210)가 복수의 포인트들을 포함하는 포인트 데이터를 라이다 센서(20)로부터 획득하면(S1000), 노면 검출부(220)는 수신한 포인트 데이터에 평면 피팅 방법을 적용하여 도로의 노면을 검출할 수 있다(S1010).
이후, 차선 포인트 추출부(230)는 셀 영역과 적응적 임계 값을 이용하여 도로의 노면에 포함된 인라이어 포인트들 중에서 차선 포인트를 추출할 수 있다(S1020).
차선 검출부(240)는 추출한 차선 포인트를 이용하여 기반 차선을 설정하고, 기반 차선에 기초하여 차선들을 검출할 수 있다(S1030).
차선 추적부(250)는 검출한 차선들(주행 차선 및 주변 차선)을 추적하여, 이전 프로세스에서 검출한 차선들과 현재 프로세스에서 검출한 차선들의 동일성을 판단할 수 있다(S1040).
본 발명의 실시예에 의하면, 라이다 센서를 이용하여 차량 주위의 차선을 검출함으로써, 카메라 센서를 이용한 방법에 비하여, 더욱 정밀하게 차선의 위치를 검출할 수 있다.
또한, 본 발명의 실시예에 의하면, 주행 상황에 적응적으로 설정된 임계 값을 이용하여 차선 포인트를 추출함으로써, 일반 주행 상황 뿐만 아니라, 급격한 조도 변화, 주/야간 및 우천시에도 차선을 정확하게 검출할 수 있다.
또한, 본 발명의 실시예에 의하면, 기반 차선을 이용하여 나머지 차선을 검출함으로써, 차선 검출을 위한 연산의 양을 크게 감소시킬 수 있다.
본 발명에 첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 인코딩 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 인코딩 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방법으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 품질에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
10: 차선 검출 시스템
20: 라이다 센서
100: 차선 검출 장치
200: 차선 검출 프로그램
210: 포인트 데이터 수신부
220: 노면 검출부
230: 차선 포인트 추출부
240: 차선 검출부
250: 차선 추적부
20: 라이다 센서
100: 차선 검출 장치
200: 차선 검출 프로그램
210: 포인트 데이터 수신부
220: 노면 검출부
230: 차선 포인트 추출부
240: 차선 검출부
250: 차선 추적부
Claims (12)
- 차선 검출 장치에 의해 수행되는 차선을 검출하는 방법에 있어서,
라이다 센서로부터, 상기 라이다 센서 주변을 검색한 포인트 데이터를 획득하는 단계;
상기 차선 검출 장치의 각각 서로 다른 복수의 주행 상황에 기초하여 설정된 임계 값을 이용하여, 상기 포인트 데이터에 포함된 복수의 포인트들 중에서 상기 차선에 대응되는 적어도 하나의 차선 포인트를 검출하는 단계; 및
상기 적어도 하나의 차선 포인트를 이용하여 상기 차선을 검출하는 단계를 포함하고,
상기 적어도 하나의 차선 포인트를 검출하는 단계는,
상기 복수의 포인트들의 세기를 가우시안 혼합 모델에 적용하여, 상기 복수의 포인트들을 노면에 대응하는 노면 포인트와 상기 차선 포인트로 구분하는 단계를 포함하고,
상기 임계 값은,
복수의 임계 값 중, 상기 서로 다른 복수의 주행 상황에 기초하여 결정되는 어느 하나의 값이고,
상기 주행 상황은,
주간, 야간, 또는 우천에 의해 조도가 차이나는 상황 및 터널, 구조물, 또는 차량에 의한 음영지역에 의해 조도 변화가 발생하는 상황을 포함하는,
차선을 검출하는 방법. - 삭제
- 제1 항에 있어서,
상기 적어도 하나의 차선 포인트를 검출하는 단계는,
상기 차선 검출 장치 또는 상기 라이다 센서의 주변을 소정의 크기를 갖는 셀 영역으로 구분하는 단계를 더 포함하고,
상기 적어도 하나의 차선 포인트를 검출하는 단계는, 상기 차선을 포함하는 차선 셀에 대해서만 수행되는
차선을 검출하는 방법. - 제3 항에 있어서,
상기 적어도 하나의 차선 포인트를 검출하는 단계는,
상기 복수의 포인트들의 세기를 가우시안 모델에 적용하는 단계; 및
상기 가우시안 모델의 왜도의 크기가 소정의 양수 값 이상인 경우, 상기 셀 영역을 상기 차선 셀로 결정하는 단계를 더 포함하는
차선을 검출하는 방법. - 제1 항에 있어서,
상기 적어도 하나의 차선 포인트를 검출하는 단계는,
상기 복수의 포인트들 중에서 선택된 제1 포인트들을 이용하여, 제1 평면을 생성하는 단계;
상기 복수의 포인트들 중에서 선택된 제2 포인트들을 이용하여, 제2 평면을 생성하는 단계; 및
상기 제1 평면에 포함된 제1 인라이어 포인트의 개수가 상기 제2 평면에 포함된 제2 인라이어 포인트의 개수보다 많은 경우, 상기 제1 평면을 도로의 노면이라고 판단하는 단계를 포함하고,
상기 적어도 하나의 차선 포인트는 상기 제1 평면에 포함되는
차선을 검출하는 방법. - 제1 항에 있어서,
상기 차선을 검출하는 단계는,
상기 적어도 하나의 차선 포인트 중에서, 상기 라이다 센서로부터 소정의 거리 이내의 차선 포인트들을 선택하는 단계;
상기 선택된 차선 포인트들 중에서 적어도 일부를 이용하여 복수의 곡선들을 생성하는 단계;
상기 복수의 곡선들 중에서, 상기 복수의 곡선들로부터의 거리가 소정의 값 이하인 차선 포인트들이 할당된 세그먼트의 수가 가장 많은 곡선을 기반 차선으로 선정하는 단계; 및
상기 기반 차선을 이용하여, 상기 차선 검출 장치가 탑재된 차량에 대한 주행 차선, 주변 차선 및 반대 차선 중에서 적어도 하나를 검출하는 단계를 포함하는
차선을 검출하는 방법. - 제6 항에 있어서,
상기 주행 차선, 주변 차선 및 반대 차선 중에서 적어도 하나를 검출하는 단계는,
상기 기반 차선의 곡률에 기초하여, 상기 주행 차선 및 상기 주변 차선 중에서 적어도 하나를 검출하는 단계를 포함하는
차선을 검출하는 방법. - 제1 항에 있어서,
상기 차선을 검출하는 단계는,
상기 검출된 차선으로부터 소정의 거리 이내의 포인트들을 제거하는 단계; 및
제거되지 않은 포인트들을 이용하여, 상기 검출된 차선이 아닌 다른 차선을 검출하는 단계를 더 포함하는
차선을 검출하는 방법. - 차선을 검출하는 차선 검출 장치에 있어서,
라이다 센서로부터, 상기 라이다 센서 주변을 검색한 포인트 데이터를 획득하는 송수신기; 및
상기 송수신기를 제어하는 프로세서를 포함하고,
상기 프로세서는,
상기 차선 검출 장치의 각각 서로 다른 복수의 주행 상황에 기초하여 설정된 임계 값을 이용하여, 상기 포인트 데이터에 포함된 복수의 포인트들 중에서 상기 차선에 대응되는 적어도 하나의 차선 포인트를 검출하고,
상기 적어도 하나의 차선 포인트를 이용하여 상기 차선을 검출하고,
상기 프로세서는,
상기 적어도 하나의 차선 포인트를 검출하기 위하여, 상기 복수의 포인트들의 세기를 가우시안 혼합 모델에 적용하여, 상기 복수의 포인트들을 노면에 대응하는 노면 포인트와 상기 차선 포인트로 구분하고,
상기 임계 값은,
복수의 임계 값 중, 상기 서로 다른 복수의 주행 상황에 맞 기초하여 결정되는 어느 하나의 값이고,
상기 주행 상황은,
주간, 야간, 또는 우천에 의해 조도가 차이나는 상황 및 터널, 구조물, 또는 차량에 의한 음영지역에 의해 조도 변화가 발생하는 상황을 포함하는,
차선 검출 장치. - 주변을 검색한 포인트 데이터를 획득하는 라이다 센서; 및
각각 서로 다른 복수의 주행 상황에 기초하여 설정된 임계 값을 이용하여, 상기 포인트 데이터에 포함된 복수의 포인트들 중에서 차선에 대응되는 적어도 하나의 차선 포인트를 검출하고, 상기 적어도 하나의 차선 포인트를 이용하여 상기 차선을 검출하는 차선 검출 장치를 포함하고,
상기 차선 검출 장치는,
상기 적어도 하나의 차선 포인트를 검출하기 위하여, 상기 복수의 포인트들의 세기를 가우시안 혼합 모델에 적용하여, 상기 복수의 포인트들을 노면에 대응하는 노면 포인트와 상기 차선 포인트로 구분하고,
상기 임계 값은,
복수의 임계 값 중, 상기 서로 다른 복수의 주행 상황에 기초하여 결정되는 어느 하나의 값이고,
상기 주행 상황은,
주간, 야간, 또는 우천에 의해 조도가 차이나는 상황 및 터널, 구조물, 또는 차량에 의한 음영지역에 의해 조도 변화가 발생하는 상황을 포함하는,
차선 검출 시스템. - 컴퓨터 프로그램을 저장하고 있는 컴퓨터 판독 가능 기록매체로서,
상기 컴퓨터 프로그램은,
제1 항, 및 제3 항 내지 제8 항 중 어느 한 항에 따른 방법을 프로세서가 수행하도록 하기 위한 명령어를 포함하는
컴퓨터 판독 가능한 기록매체. - 컴퓨터 판독 가능한 기록매체에 저장되어 있는 컴퓨터 프로그램으로서,
상기 컴퓨터 프로그램은,
제1 항, 및 제3 항 내지 제8 항 중 어느 한 항에 따른 방법을 프로세서가 수행하도록 하기 위한 명령어를 포함하는
컴퓨터 프로그램.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210084217A KR102499334B1 (ko) | 2021-06-28 | 2021-06-28 | 라이다 센서를 이용하여 차선을 검출하는 방법 및 상기 방법을 수행하는 차선 검출 장치 |
| US17/462,365 US20220414386A1 (en) | 2021-06-28 | 2021-08-31 | Method for detecting lane line using lidar sensor and lane detection device for performing the method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210084217A KR102499334B1 (ko) | 2021-06-28 | 2021-06-28 | 라이다 센서를 이용하여 차선을 검출하는 방법 및 상기 방법을 수행하는 차선 검출 장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20230001410A KR20230001410A (ko) | 2023-01-04 |
| KR102499334B1 true KR102499334B1 (ko) | 2023-02-14 |
Family
ID=84543405
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210084217A KR102499334B1 (ko) | 2021-06-28 | 2021-06-28 | 라이다 센서를 이용하여 차선을 검출하는 방법 및 상기 방법을 수행하는 차선 검출 장치 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US20220414386A1 (ko) |
| KR (1) | KR102499334B1 (ko) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116699644B (zh) * | 2023-08-07 | 2023-10-27 | 四川华腾公路试验检测有限责任公司 | 基于三维激光雷达的标线可靠性评估方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005100000A (ja) * | 2003-09-24 | 2005-04-14 | Aisin Seiki Co Ltd | 路面走行レーン検出装置 |
| KR101868898B1 (ko) * | 2017-02-06 | 2018-06-20 | 국방과학연구소 | 자율주행을 위한 차선 인식 방법 및 장치 |
| JP2018173749A (ja) * | 2017-03-31 | 2018-11-08 | 株式会社パスコ | 道路標示検出装置、道路標示検出方法、プログラム、及び道路面検出装置 |
| JP2020026985A (ja) * | 2018-08-09 | 2020-02-20 | 株式会社豊田中央研究所 | 車両位置推定装置及びプログラム |
| KR102083909B1 (ko) * | 2018-10-23 | 2020-03-04 | 주식회사 모빌테크 | 포인트 클라우드 맵 기반의 자율주행차량용 차선데이터 정보 자동 추출 방법 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10055850B2 (en) * | 2014-09-19 | 2018-08-21 | Brain Corporation | Salient features tracking apparatus and methods using visual initialization |
| CN109117825B (zh) * | 2018-09-04 | 2020-01-17 | 百度在线网络技术（北京）有限公司 | 车道线处理方法和装置 |
| CN113785340A (zh) * | 2020-02-14 | 2021-12-10 | 松下知识产权经营株式会社 | 信息处理方法、信息处理系统以及信息处理装置 |
| CN116113567A (zh) * | 2020-09-30 | 2023-05-12 | 三菱电机株式会社 | 行驶路径生成装置以及行驶路径生成方法 |
| US11702102B2 (en) * | 2020-11-19 | 2023-07-18 | Waymo Llc | Filtering return points in a point cloud based on radial velocity measurement |
| US11472435B2 (en) * | 2020-11-30 | 2022-10-18 | Automotive Research & Testing Center | Trajectory determination method for a vehicle |
| CN115375956A (zh) * | 2021-05-20 | 2022-11-22 | 华为技术有限公司 | 一种车道线的检测方法及相关装置 |
| KR102367138B1 (ko) * | 2021-10-13 | 2022-02-25 | (주)뷰런테크놀로지 | 라이다 센서를 이용하여 횡단보도를 검출하는 방법 및 상기 방법을 수행하는 횡단보도 검출 장치 |
-
2021
- 2021-06-28 KR KR1020210084217A patent/KR102499334B1/ko active IP Right Grant
- 2021-08-31 US US17/462,365 patent/US20220414386A1/en active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005100000A (ja) * | 2003-09-24 | 2005-04-14 | Aisin Seiki Co Ltd | 路面走行レーン検出装置 |
| KR101868898B1 (ko) * | 2017-02-06 | 2018-06-20 | 국방과학연구소 | 자율주행을 위한 차선 인식 방법 및 장치 |
| JP2018173749A (ja) * | 2017-03-31 | 2018-11-08 | 株式会社パスコ | 道路標示検出装置、道路標示検出方法、プログラム、及び道路面検出装置 |
| JP2020026985A (ja) * | 2018-08-09 | 2020-02-20 | 株式会社豊田中央研究所 | 車両位置推定装置及びプログラム |
| KR102083909B1 (ko) * | 2018-10-23 | 2020-03-04 | 주식회사 모빌테크 | 포인트 클라우드 맵 기반의 자율주행차량용 차선데이터 정보 자동 추출 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20230001410A (ko) | 2023-01-04 |
| US20220414386A1 (en) | 2022-12-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Sun et al. | A 3D LiDAR data-based dedicated road boundary detection algorithm for autonomous vehicles | |
| KR102614323B1 (ko) | 수동 및 능동 측정을 이용한 장면의 3차원 지도 생성 | |
| RU2668459C1 (ru) | Устройство оценки положения и способ оценки положения | |
| KR102286005B1 (ko) | 주행 제어 시스템 및 주행 제어 방법 | |
| US20190156129A1 (en) | Traveling Road Boundary Estimation Apparatus and Traveling Assistance System Using Same | |
| CN110674705B (zh) | 基于多线激光雷达的小型障碍物检测方法及装置 | |
| KR102069666B1 (ko) | 포인트 클라우드 맵 기반의 자율주행차량용 실시간 주행경로 설정 방법 | |
| WO2018061084A1 (ja) | 自己位置推定方法及び自己位置推定装置 | |
| JP7232946B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
| US20230111364A1 (en) | Method for detecting crosswalk using lidar sensor and crosswalk detection device for performing the method | |
| CN112166457A (zh) | 点云分割方法、系统和可移动平台 | |
| KR20210116415A (ko) | 라이다 누화를 완화시키기 위한 라이다 시스템 설계 | |
| EP4127607A1 (en) | Systems and methods for optimizing map tile requests for navigation | |
| KR102499334B1 (ko) | 라이다 센서를 이용하여 차선을 검출하는 방법 및 상기 방법을 수행하는 차선 검출 장치 | |
| US11645775B1 (en) | Methods and apparatus for depth estimation on a non-flat road with stereo-assisted monocular camera in a vehicle | |
| CN114675295A (zh) | 一种障碍物判定的方法、装置、设备及存储介质 | |
| US20230394694A1 (en) | Methods and apparatus for depth estimation using stereo cameras in a vehicle system | |
| Bayerl et al. | Following Dirt Roads at Night Time: Sensors and Features for Lane Recognition and Tracking | |
| US20240125940A1 (en) | Systems and methods for variable-resolution refinement of geiger mode lidar | |
| US20230069691A1 (en) | Method for detecting traffic sign using lidar sensor and traffic sign detection device performing the method | |
| JP7344744B2 (ja) | 路側端検出方法、及び、路側端検出装置 | |
| KR20230073601A (ko) | 라이다 센서를 이용하여 횡단보도를 검출하는 방법 및 상기 방법을 수행하는 횡단보도 검출 장치 | |
| US11954915B2 (en) | Method for detecting guard-rail using LIDAR sensor and guard-rail detection device performing the method | |
| WO2023042451A1 (ja) | 自律走行鉱山車両 | |
| US20220413147A1 (en) | Method for detecting ground using lidar sensor and ground detection device performing same |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| AMND | Amendment | ||
| AMND | Amendment | ||
| AMND | Amendment | ||
| X091 | Application refused [patent] | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) | ||
| GRNT | Written decision to grant |