KR102083909B1 - 포인트 클라우드 맵 기반의 자율주행차량용 차선데이터 정보 자동 추출 방법 - Google Patents

포인트 클라우드 맵 기반의 자율주행차량용 차선데이터 정보 자동 추출 방법 Download PDF

Info

Publication number
KR102083909B1
KR102083909B1 KR1020180126788A KR20180126788A KR102083909B1 KR 102083909 B1 KR102083909 B1 KR 102083909B1 KR 1020180126788 A KR1020180126788 A KR 1020180126788A KR 20180126788 A KR20180126788 A KR 20180126788A KR 102083909 B1 KR102083909 B1 KR 102083909B1
Authority
KR
South Korea
Prior art keywords
lane
group data
point group
road
extracting
Prior art date
Application number
KR1020180126788A
Other languages
English (en)
Inventor
김재승
유형곤
Original Assignee
주식회사 모빌테크
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 모빌테크 filed Critical 주식회사 모빌테크
Priority to KR1020180126788A priority Critical patent/KR102083909B1/ko
Application granted granted Critical
Publication of KR102083909B1 publication Critical patent/KR102083909B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0257Control of position or course in two dimensions specially adapted to land vehicles using a radar
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/10Path keeping
    • B60W30/12Lane keeping
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • General Physics & Mathematics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 포인트 클라우드 맵 기반의 자율주행차량용 차선데이터 정보 자동 추출 방법에 관한 것으로, 보다 상세하게는 모바일 맵핑 시스템(MMS; Mobile Mapping System)의 LiDAR를 이용하여 획득되는 3차원 점군데이터(포인트 클라우드 맵)로부터 차선의 3차원 정보를 획득하고 차량의 주행방향 및 위치를 인식할 수 있도록 한 것이다.
특히, 본 발명은 획득한 점군데이터로부터 도로의 점군데이터를 추출한 후 인텐시티(intensity, 강도값 또는 반사값 등)를 확인하여 차선을 추출하고, 추출한 차선을 군집화하며, 군집화된 차선의 중심점과 벡터값을 이용하여 3차원 차선정보 및 주행방향에 대한 정보를 획득할 수 있다.
구체적으로, 본 발명은 3차원 점군데이터가 가지고 있는 인텐시티(Intensity)의 히스토그램(Histogram)을 통해 차선의 점군데이터를 추출한 후, 팔진트리(Octree) 기반으로 하위 셀로 나누고, 평면의 임계값에 따라 다각형화 및 군집화를 거쳐, 차선의 중심점과 벡터값을 확인할 수 있다.
따라서, 자율주행 분야, 도로 인식 분야, 자율주행용 고정밀 도로 지도 분야, 실시간 차선 인식 분야, 특히 라이다를 이용한 도로인식 및 자율주행 분야는 물론 이와 유사 내지 연관된 분야에서 신뢰성 및 경쟁력을 향상시킬 수 있다.

Description

포인트 클라우드 맵 기반의 자율주행차량용 차선데이터 정보 자동 추출 방법{Automatic extraction method for lane data information for autonomous driving vehicles based on point cloud map}
본 발명은 포인트 클라우드 맵 기반의 자율주행차량용 차선데이터 정보 자동 추출 방법에 관한 것으로서, 보다 상세하게는 모바일 맵핑 시스템(MMS; Mobile Mapping System)의 LiDAR를 이용하여 획득되는 3차원 점군데이터(포인트 클라우드 맵)로부터 차선의 3차원 정보를 획득하고 차량의 주행방향 및 위치를 인식할 수 있도록 한 것이다.
특히, 본 발명은 획득한 점군데이터로부터 도로의 점군데이터를 추출한 후 인텐시티(intensity, 강도값 또는 반사값을 포함하는 의미임)를 확인하여 차선을 추출하고, 추출한 차선을 군집화하며, 군집화된 차선의 중심점과 벡터값을 이용하여 3차원 차선정보 및 주행방향에 대한 정보를 획득할 수 있는 포인트 클라우드 맵 기반의 자율주행차량용 차선데이터 정보 자동 추출 방법에 관한 것이다.
차량의 무인자율화(자율주행차량)는 크게 주위 환경을 인식하는 단계와, 인식된 환경으로부터 주행경로를 계획하는 단계, 그리고 계획된 경로를 따라 주행하는 단계로 구성될 수 있다.
이러한 차량 주변의 환경에 대한 인식 기술은, 자율주행차량이 주행을 목표로 하는 대상환경에 따라 달라지게 되는데, 특히, 기존의 유인차량이 주행하도록 설계 및 시공된 도로환경에서 자율주행을 하기 위해서는, 도로에 존재하는 다양한 규칙 들을 인식하는 기술이 필수적으로 요구될 수 있다.
특히, 차선을 인식하여 정해진 차선을 따라 이동하는 것은, 유인차량과의 안전한 주행을 위하여 가장 기본적인 기술이라고 할 수 있다.
도로의 차선을 인식하는 방법 중 하나로, 카메라를 통해 획득된 영상을 기반으로 하는 방법이 있다.
카메라를 통해 획득된 영상정보는, 일반적인 센서들에 비해 많은 정보를 확인할 수 있기 때문에, 정보를 획득하기 좋은 환경에서는 다른 센서들에 비해 상대적으로 많은 정보를 활용할 수 있다는 장점이 있다.
또한, 카메라로 촬영된 영상은 사람이 눈으로 보는 색상정보를 그대로 활용할 수 있기 때문에, 차선에 대한 정확한 정보의 획득이 가능하다는 장점도 있다.
그러나, 카메라를 통해 촬영된 광학방식의 영상은, 주위 환경에 대한 영향이 매우 높다는 단점이 있다.
예를 들어, 도로로 입사되는 광량이 적정한 경우에는, 다양한 정보를 획득할 수 있으나, 그렇지 못한 경우에는 원하는 정보를 획득하지 못하거나 잘못된 정보를 획득하는 경우가 발생할 수 있다.
특히, 차선에 대하여 정보를 획득하지 못하거나 잘못된 정보를 획득하는 경우에는, 곧 바로 교통사고로 이어진다는 문제점이 있다.
이러한 광학방식의 영상에 발생되는 문제점을 해결하기 위하여, 최근에는 라이다(Lidar)를 이용한 도로인식기술이 개발되고 있다.
라이다는 레이저 펄스를 발사한 후 반사되어 돌아오는 것을 통해, 물체까지의 거리 등을 측정함으로써, 주변의 모습을 정밀하게 그려내는 장치를 말하는 것으로, 전파를 이용한 레이더와 원리는 같으나, 전자기파 중 빛이라고 불리는 가시광선 영역의 주파수를 이용하므로, 실제 이용기술과 활용범위는 다르다고 볼 수 있다.
이러한 라이다는, 모바일 맵핑 시스템(MMS; Mobile Mapping System)을 구성하는 하나의 구성요소로서, MMS는 라이다 이외에도 카메라, 관성측정유닛(IMU; Inertial Measurement Unit), GPS, 거리측정표시기(DMI; Distance Measurement Indicator) 등을 포함하고 있다.
이에 MMS는, 라이다를 통해 획득된 정보와 GPS로부터 얻어진 좌표를 매칭하면, 정밀한 디지털 맵 데이터를 획득할 수 있다.
하기의 선행기술문헌인 대한민국 등록특허공보 제10-1843866호 '라이다 데이터를 이용하여 도로 영역과 차선을 검출하는 방법 및 그 시스템'은, 차량에 탑재된 라이다를 이용하여 데이터를 획득하고, 경사도를 이용하여 도로 영역 및 차선을 검출하는 기술에 관한 것이다.
그러나, 경사도만을 이용하여 도로 영역을 검출하는 데는 한계가 있다.
예를 들어, 톨게이트 입구 등이나 고속도로 등에는 감속이나 졸음방지 등을 위해, 노면에 요철형태의 홈을 형성하는 경우가 있으며 이러한 요철형태의 홈은 지면에 수직으로 경사도가 형성되므로, 차량의 주행이 가능함에도 불구하고 도로가 아닌 것으로 인식할 수 있다.
이는 도로의 보수공사 등으로 인해 철재의 프레임이 설치된 지역에서도 비슷한 현상이 발생할 수 있다.
반대로, 경사도가 비슷하지만 도로가 아닌 지역을 도로 인식하는 경우도 발생할 수 있다.
이는, 도로의 정보를 단순히 외형적 정보에 한정함에 따라 발생하는 현상으로, 일반적으로 도로를 주행하는 운전자가 외형뿐만 아니라 색상 등의 시각정보에 의해 도로의 정보를 인식하면서 주행함을 고려하면, 위의 문제점이 발생되는 이유를 쉽게 파악할 수 있다.
대한민국 등록특허공보 제10-1843866호 '라이다 데이터를 이용하여 도로 영역과 차선을 검출하는 방법 및 그 시스템'
상기와 같은 문제점을 해결하기 위해서, 본 발명은 모바일 맵핑 시스템(MMS)의 LiDAR를 이용하여 획득되는 3차원 점군데이터(포인트 클라우드 맵)로부터 차선의 3차원 정보를 획득하고 차량의 주행방향 및 위치를 인식할 수 있도록 한 포인트 클라우드 맵 기반의 자율주행차량용 차선데이터 정보 자동 추출 방법을 제공하는데 목적이 있다.
특히, 본 발명은 획득한 점군데이터로부터 도로의 점군데이터를 추출한 후 인텐시티(intensity, 강도값 또는 반사값 등)를 확인하여 차선을 추출하고, 추출한 차선을 군집화하며, 군집화된 차선의 중심점과 벡터값을 이용하여 3차원 차선정보 및 주행방향에 대한 정보를 획득할 수 있는 포인트 클라우드 맵 기반의 자율주행차량용 차선데이터 정보 자동 추출 방법을 제공하는데 목적이 있다.
구체적으로, 본 발명은 3차원 점군데이터가 가지고 있는 인텐시티(Intensity)의 히스토그램(Histogram)을 통해 차선의 점군데이터를 추출한 후, 팔진트리(Octree) 기반으로 하위 셀로 나누고, 평면의 임계값에 따라 다각형화 및 군집화를 거쳐, 차선의 중심점과 벡터값을 확인할 수 있는 포인트 클라우드 맵 기반의 자율주행차량용 차선데이터 정보 자동 추출 방법을 제공하는데 목적이 있다.
상기와 같은 목적을 달성하기 위해서, 본 발명에 따른 포인트 클라우드 맵 기반의 자율주행차량용 차선데이터 정보 자동 추출 방법은, 라이다(Lidar)에 의해 획득된 3차원 점군데이터로부터 도로영역을 추출하는 도로점군데이터 추출단계; 추출된 도로점군데이터로부터 차선영역을 추출하는 차선점군데이터 추출단계; 추출된 차선점군데이터를 3차원상에서 군집화하는 차선군집화단계; 및 군집화된 차선의 중심점을 추출하고 점선형태의 차선을 선형태로 확장하는 차선라인화단계;를 포함한다.
또한, 상기 도로점군데이터 추출단계는, 3차원 라이다를 이용하여 점군데이터를 획득하는 3차원 점군데이터 획득과정; 및 상기 3차원 점군데이터를 시맨틱분할(Semantic Segmentation) 방식으로 처리하여 도로의 점군데이터를 추출하는 도로점군데이터 추출과정;을 포함할 수 있다.
또한, 상기 차선점군데이터 추출단계는, 추출된 도로점군데이터를 확인하는 도로점군데이터 확인과정; 해당 도로점군데이터의 인텐시티(Intensity)를 히스토그램(Histogram)화하여 확인하는 인텐시티 확인과정; 및 상기 인텐시티를 기반으로 차선의 점군데이터를 추출하는 차선점군데이터 추출과정;을 포함할 수 있다.
또한, 상기 차선점군데이터 추출단계는, 상기 차선점군데이터 추출과정 이후에, 데이터 클러스터링(Data clustering)을 통해 노이즈를 제거하는 노이즈 제거과정;을 더 포함할 수 있다.
또한, 상기 차선군집화단계는, 팔진트리 레벨(Octree level)에 따른 공간분할 및 분류를 통해 상기 차선점군데이터를 하위셀로 분할하는 차선점군데이터 분할과정; 하위셀로 분할된 상기 차선점군데이터를 기본 평면 객체 계산을 통해 평면의 임계값에 따라 다각형화하는 차선점군데이터 다각형화과정; 및 다각형화된 상기 차선점군데이터를 군집화하는 차선점군데이터 군집화과정;을 포함할 수 있다.
또한, 상기 차선군집화단계는, 쾌속행진산법(Fast Marching Method)을 적용하여 상기 차선점군데이터를 다각형 및 군집화할 수 있다.
또한, 상기 차선군집화단계는, 군집화된 각각의 차선들의 중심점을 계산하고 이에 따른 차선의 진행방향에 따라 벡터값을 부여할 수 있다.
또한, 상기 차선점군데이터 추출단계는, 상기 차선점군데이터 추출과정 이후에, 추출된 차선점군데이터로부터 중앙선을 추출한 후, 추출된 중앙선을 기준으로 우측의 차선을 진행방향의 차선으로 인식하는 차선방향인식과정;을 더 포함할 수 있다.
또한, 상기 차선방향인식과정은, 직선의 차선과 점선의 차선의 배치관계를 확인하고, 점선의 차선들 사이에 직선의 차선이 존재하는 경우, 해당 직선의 차선을 중앙선으로 인식할 수 있다.
또한, 상기 차선점군데이터 추출단계는, 상기 차선점군데이터 추출과정 이후에, 직선의 차선과 점선의 차선의 배치관계를 확인하고, 점선 차선들의 적어도 일측 가장자리에 직선의 차선이 존재하는 경우, 해당 점선의 차선을 진행방향의 차선으로 인식하는 차선방향인식과정;을 더 포함할 수 있다.
현재, 자율주행 자동차의 안전한 운용과 기술 보완을 위해 모바일 맵핑 시스템(MMS mobile mapping system)을 이용하여 수집한 정밀도로지도(HD-map)의 필요성이 중요한 이슈로 주목받고 있다.
정밀도로지도 데이터는, GPS의 절대좌표가 적용되어있는 자율 주행 차량의 카메라, 라이다 등 각종 센서들이 가지고 있는 물리적인 한계를 보완하고, 연산해야 하는 영역을 최소한으로 축소해 줄 수 있다.
따라서, 정밀도로지도 데이터를 기반으로 하면 자율주행차량의 위치 정보 정확도를 높여주며 빠른 실시간 분석을 통해 주행환경의 다양한 정보들을 인식하는 과정에서 발생할 수 있는 오류를 방지해 줄 수 있다.
한편, 실제 도로 위에 있는 표식들은 운전자 및 비운전자에게 교통 경로를 안내하고 운전의 행동을 제어하며 교통 안전을 유지하는 등 안내와 정보를 제공하는 중요한 기능을 하는 바, 이러한 정보들 또한 정밀도로지도 데이터에 포함되어 있다.
이에, 정밀도로지도 데이터는, 내포되어 있는 수많은 도로 정보(신호등, 차선, 도로, 연석, 표지판 등)들의 정확하고 빠른 분류 및 추출할 수 있도록 하며, 다양하고 복잡한 환경에서 자율주행 차량이 인식오류 등과 같이 안전에 직결되는 문제들의 유발 가능성을 현저히 감소시켜줄 수 있다.
이러한, 도로에서의 주변 환경 정보는 매우 필수적이며 높은 정확도의 데이터를 필요로 할 뿐만 아니라, 빠르게 변화하고 새로 생겨나는 도로에 대해서 정확한 정보의 신속한 업데이트는 필수적이라고 할 수 있다.
이에, 본 발명은 모바일 맵핑 시스템(MMS; Mobile Mapping System)의 LiDAR를 이용하여 획득되는 3차원 점군데이터(포인트 클라우드 맵)로부터 차선의 3차원 정보를 획득하고 차량의 주행방향 및 위치를 인식할 수 있는 장점이 있다.
특히, 본 발명은 단순히 3차원의 외형적 정보에만 의존하지 않고, 획득한 점군데이터로부터 도로의 점군데이터를 추출한 후 인텐시티(intensity, 강도값 또는 반사값 등)를 확인하여 차선을 추출하고, 추출한 차선을 군집화하며, 군집화된 차선의 중심점과 벡터값을 이용하여 3차원 차선정보 및 주행방향에 대한 정보를 획득할 수 있는 장점이 있다.
결과적으로, 3차원 정보를 획득할 수 있는 라이당의 장점과, 시각적효과에 의해 도로정보를 인식할 수 있는 영상정보의 장점을 취합하여, 정확 및 정밀한 정보를 실시간으로 획득할 수 있는 장점이 있다.
이를 통해, 본 발명은 차량에 탑재된 각종 센서들이 자율주행 중 인식해서 이용해야 하는 시설물들(신호등, 차선, 도로, 연석, 표지판 등)의 다양한 환경에 따른 오인식 및 안전 문제 등을 효율적으로 해결할 수 있는 효과가 있다.
구체적으로, 본 발명은 3차원 점군데이터가 가지고 있는 인텐시티(Intensity)의 히스토그램(Histogram)을 통해 차선의 점군데이터를 추출한 후, 팔진트리(Octree) 기반으로 하위 셀로 나누고, 평면의 임계값에 따라 다각형화 및 군집화를 거쳐, 차선의 중심점과 벡터값을 확인할 수 있는 장점이 있다.
이를 통해, 본 발명은 자율주행 이동체(자율주행차량)에 의한 고정밀지도(HD Map, 정밀도로지도)의 활용성과 정확성을 향상시킴은 물론, 점군데이터를 이용한 기반데이터(정밀도로지도 등) 내의 필요정보를 빠르게 추출할 수 있는 장점이 있다.
더불어, 본 발명은 정밀도로지도의 최신성(빠른 업데이트), 정밀도의 향상은 물론, 중요 콘텐츠와 정보들을 보다 상세하게 제공할 수 있으며, 새로 제작되는 디지털지도가 아닌 기존의 디지털지도에도 쉽게 적용이 가능하므로, 다양한 분야에서 적극적으로 활용할 수 있다.
따라서, 자율주행 분야, 도로 인식 분야, 자율주행용 고정밀 도로 지도 분야, 실시간 차선 인식 분야, 특히 라이다를 이용한 도로인식 및 자율주행 분야는 물론 이와 유사 내지 연관된 분야에서 신뢰성 및 경쟁력을 향상시킬 수 있다.
도 1은 본 발명에 의한 포인트 클라우드 맵 기반의 자율주행차량용 차선데이터 정보 자동 추출 방법의 일 실시예를 나타내는 흐름도이다.
도 2는 도 1의 단계 'S100'에 대한 구체적인 일 실시예를 나타내는 흐름도이다.
도 3은 도 1의 단계 'S200'에 대한 구체적인 일 실시예를 나타내는 흐름도이다.
도 4는 도 1의 단계 'S300'에 대한 구체적인 일 실시예를 나타내는 흐름도이다.
도 5는 도 4의 과정 'S340'에 대한 구체적인 일 실시예를 나타내는 순서도이다.
도 6은 도 1의 다른 실시예를 나타내는 흐름도이다.
도 7 내지 도 9는 도 1이 적용되는 과정을 설명하는 도면이다.
본 발명에 따른 포인트 클라우드 맵 기반의 자율주행차량용 차선데이터 정보 자동 추출 방법에 대한 예는 다양하게 적용할 수 있으며, 특히 차량에 탑재되는 자율주행시스템이나 자율주행을 위한 영상처리장치, 영상처리모듈, 도로인식장치 등에서 활용될 수 있다.
이에, 포인트 클라우드 맵 기반의 자율주행차량용 차선데이터 정보 자동 추출 방법은 다양한 시스템이나 장치에서 수행될 수 있으며, 이하에서는 첨부된 도면을 참조하여 가장 바람직한 실시 예에 대해 설명하기로 한다.
도 1은 본 발명에 의한 포인트 클라우드 맵 기반의 자율주행차량용 차선데이터 정보 자동 추출 방법의 일 실시예를 나타내는 흐름도이다.
도 1을 참조하면, 포인트 클라우드 맵 기반의 자율주행차량용 차선데이터 정보 자동 추출 방법은 도로점군데이터 추출단계(S100), 차선점군데이터 추출단계(S200), 차선군집화단계(S300) 및 차선라인화단계(S400)를 포함한다.
도로점군데이터 추출단계(S100)는 라이다(Lidar)에 의해 획득된 3차원 점군데이터로부터 도로영역을 추출하는 것으로, 라이다에서 출력된 레이저가 산란되거나 반사되어 돌아오는 시간과 강도, 주파수의 변화, 편광 상태의 변화 등을 기반으로 반사된 물체에 대한 3차원 정보를 수집할 수 있다.
예를 들어 도로영역은, 유사한 의미(정보)를 갖는 점들을 취합하는 영역 결합(Region merging) 및 다른 의미를 갖는 영역을 분리하는 영역 분리(Region splitting) 등의 과정을 통해 추출할 수 있다.
차선점군데이터 추출단계(S200)는 추출된 도로점군데이터로부터 차선영역을 추출하는 것으로, 앞서 추출된 도로점군데이터에 포함된 다양한 노이즈 등을 제거하여 차선영역을 추출할 수 있다.
예를 들어 차선영역은, 데이터 클러스터링(Clustering)을 통해 추출할 수 있다.
차선군집화단계(S300)는 추출된 차선점군데이터를 3차원상에서 군집화하는 것으로, 앞서 추출된 차선영역에 해당하는 다수 개의 점군데이터를 하나로 군집화할 수 있다.
예를 들어 점선형태의 차선의 경우, 각 점선에 포함된 점군데이터를 군집화하여 하나의 점선으로 다각형화(직사각형 형태)할 수 있다.
차선라인화단계(S400)는 군집화된 차선의 중심점을 추출하고 점선형태의 차선을 선형태로 확장하는 것으로, 점선으로 이루어진 차선에 의한 차량의 주행라인을 인식하기 위한 것이다.
예를 들어, 점선 형태의 차선의 경우, 각 점선 부분에 대한 차선점군데이터를 취합하여, 하나의 직선형태로 이루어진 차선으로 라인화할 수 있다. 여기서, 점선의 차선을 라인화함은 차량의 주행을 위한 것이며, 점선의 차선을 실선의 차선으로 인식하기 위한 것은 아니다.
이하에서, 도 1에 나타난 각 단계들을 보다 구체적으로 살펴보기로 한다.ㄴ
도 2는 도 1의 단계 'S100'에 대한 구체적인 일 실시예를 나타내는 흐름도이다.
도 2를 참조하면, 도로점군데이터 추출단계(S100)는 3차원 점군데이터 획득과정(S110) 및 도로점군데이터 추출과정(S120)을 포함할 수 있다.
3차원 점군데이터 획득과정(S110)은 3차원 라이다를 이용하여 점군데이터를 획득하는 과정으로, 도 7에 나타난 바와 같이 주행하는 도로를 포함하는 주위환경에 대한 3차원 점군데이터를 획득할 수 있다.
도로점군데이터 추출과정(S120)은 주위환경에 대한 3차원 점군데이터로부터 도로에 대한 3차원 점군데이터를 추출하는 것으로, 3차원 점군데이터를 시맨틱분할(Semantic Segmentation) 방식으로 처리하여 도로의 점군데이터를 추출하는 할 수 있다.
여기서, 시맨틱분할 방식은 영역확장(Region growing)을 통한 영역결합(Region merging) 및 영역분리(Region splitting)에 의해 특정 영역을 추출하는 것으로, 전체 영역을 기본영역으로 구분한 후, 특성의 차이가 작은 영역끼리 계속 통합하고, 차이가 큰 영역을 구분하는 방식이다.
이를 통해, 어두운 특성의 도로로부터 밝은 특성의 차선영역을 추출할 수 있다.
도 3은 도 1의 단계 'S200'에 대한 구체적인 일 실시예를 나타내는 흐름도이다.
도 3을 참조하면, 차선점군데이터 추출단계(S200)는 도로점군데이터 확인과정(S210), 인텐시티(Intensity) 확인과정(S220), 차선점군데이터 추출과정(S230) 및 노이즈 제거과정(S240)을 포함할 수 있다. 여기서, 인텐시티는 강도값 또는 반사값 등을 포함하는 의미로 사용될 수 있다.
구체적으로 살펴보면, 앞서 추출된 도로점군데이터를 확인한 후(S210), 해당 도로점군데이터의 인텐시티(Intensity)를 확인할 수 있다(S220). 이때, 인텐시티는 히스토그램(Histogram)화하여 확인할 수 있다.
그리고, 확인된 인텐시티의 히스토그램을 기반으로 차선의 점군데이터를 추출할 수 있으며(S230), 데이터 클러스터링(Data clustering)을 통해 노이즈를 제거할 수 있다(S240).
도 4는 도 1의 단계 'S300'에 대한 구체적인 일 실시예를 나타내는 흐름도이다.
차선군집화단계(S300)는 차선점군데이터 분할과정(S310), 차선점군데이터 다각형화과정(S320), 차선점군데이터 군집화과정(S330) 및 차선방향인식과정(S340)을 포함할 수 있다.
먼저, 팔진트리 레벨(Octree level)에 따른 공간분할 및 분류를 통해, 앞서 추출된 차선점군데이터를 하위셀로 분할한 후(S310), 하위셀로 분할된 차선점군데이터를 기본 평면 객체 계산을 통해 평면의 임계값에 따라 다각형화하고(S320), 다각형화된 차선점군데이터를 군집화할 수 있다(S300).
보다 구체적으로, 차선군집화단계(S300)는 패싯 이론(Facet theory)에 기초한 쾌속행진산법(Fast Marching Method)을 적용하여 점군(Point cloud)을 하위셀로 나눈 다음(S310), 기본 평면의 개체를 계산하여 평면성의 임계값에 따라 점진적으로 다각형으로 집계하여, 차선점군데이터를 다각형화 및 군집화할 수 있다(S320).
그리고, 쾌속행진산법의 확산함수를 이용하여, 군집화된 각각의 차선들의 중심점을 계산하고 이에 따른 차선의 진행방향에 따라 벡터값을 부여하여 차선방향을 인식할 수 있다(S340).
도 5는 도 4의 과정 'S340'에 대한 구체적인 일 실시예를 나타내는 순서도이다.
먼저, 군집화된 차선데이터를 확인하고(S341), 차선데이터 중 직선형태의 차선과 점선 형태의 차선이 도로상에 표시(배치)된 형태를 확인할 수 있다(S342).
이와 같이, 직선의 차선과 점선의 차선의 배치관계를 확인하고(S342), 도 8에 나타난 바와 같이 점선의 차선들 사이에 직선의 차선이 존재하는 경우(예를 들어, 왕복차선), 다시 말해 직선이 중앙에 위치한 경우(S343), 해당 직선의 차선을 중앙선으로 추출할 수 있다.
그리고, 추출된 중앙선을 기준으로 우측의 차선을 진행방향의 차선으로 인식할 수 있으며(S344), 차선의 진행방향에 대응하여 벡터값을 부여할 수 있다(S346).
만약, 도 9에 나타난 바와 같이 점선 차선들의 적어도 일측 가장자리에 직선의 차선이 존재하는 경우(예를 들어, 편도차선), 반대편 차선이 없으므로 해당 점선의 차선을 진행방향의 차선으로 인식할 수 있다(S345).
도 6은 도 1의 다른 실시예를 나타내는 흐름도이다.
도 6을 참조하면, 앞서 설명한 도로점군데이터 추출단계(S100), 차선점군데이터 추출단계(S200), 차선군집화단계(S300) 및 차선라인화단게(S400)를 통해 인식된 차선정보에 대하여 검증을 수행하는 차선라인 검증단계(S500)를 더 수행할 수 있다.
이러한 차선라인 검증단계(S500)는, 이미 제작된 자율주행용 지도와 비교하여 검증할 수 있으며, 이러한 검증과정을 통해 본 발명에 의해 추출된 차선정보에 대한 신뢰성을 향상시킬 수 있다.
이상에서 본 발명에 의한 포인트 클라우드 맵 기반의 자율주행차량용 차선데이터 정보 자동 추출 방법에 대하여 설명하였다. 이러한 본 발명의 기술적 구성은 본 발명이 속하는 기술분야의 당업자가 본 발명의 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다.
그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 한정적인 것이 아닌 것으로서 이해되어야 한다.

Claims (10)

  1. 라이다(Lidar)에 의해 획득된 3차원 점군데이터로부터 도로영역을 추출하는 도로점군데이터 추출단계;
    추출된 도로점군데이터로부터 차선영역을 추출하는 차선점군데이터 추출단계;
    추출된 차선점군데이터를 3차원상에서 군집화하는 차선군집화단계; 및
    군집화된 차선의 중심점을 추출하고 점선형태의 차선을 선형태로 확장하는 차선라인화단계;를 포함하고,
    상기 도로점군데이터 추출단계는,
    3차원 라이다를 이용하여 점군데이터를 획득하는 3차원 점군데이터 획득과정; 및
    상기 3차원 점군데이터를 시맨틱분할(Semantic Segmentation) 방식으로 처리하여 도로의 점군데이터를 추출하는 도로점군데이터 추출과정;을 포함하며,
    상기 차선점군데이터 추출단계는,
    추출된 도로점군데이터를 확인하는 도로점군데이터 확인과정;
    해당 도로점군데이터의 인텐시티(Intensity)를 히스토그램(Histogram)화하여 확인하는 인텐시티 확인과정; 및
    상기 인텐시티를 기반으로 차선의 점군데이터를 추출하는 차선점군데이터 추출과정;을 포함하고,
    상기 차선군집화단계는,
    공간분할 및 분류를 통해 상기 차선점군데이터를 하위셀로 분할하는 차선점군데이터 분할과정; 및
    하위셀로 분할된 상기 차선점군데이터를 기본 평면 객체 계산을 통해 평면의 임계값에 따라 다각형화하는 차선점군데이터 다각형화과정;을 포함하는 것을 특징으로 하는 포인트 클라우드 맵 기반의 자율주행차량용 차선데이터 정보 자동 추출 방법.
  2. 라이다(Lidar)에 의해 획득된 3차원 점군데이터로부터 도로영역을 추출하는 도로점군데이터 추출단계;
    추출된 도로점군데이터로부터 차선영역을 추출하는 차선점군데이터 추출단계;
    추출된 차선점군데이터를 3차원상에서 군집화하는 차선군집화단계; 및
    군집화된 차선의 중심점을 추출하고 점선형태의 차선을 선형태로 확장하는 차선라인화단계;를 포함하고,
    상기 도로점군데이터 추출단계는,
    3차원 라이다를 이용하여 점군데이터를 획득하는 3차원 점군데이터 획득과정; 및
    상기 3차원 점군데이터를 시맨틱분할(Semantic Segmentation) 방식으로 처리하여 도로의 점군데이터를 추출하는 도로점군데이터 추출과정;을 포함하며,
    상기 차선점군데이터 추출단계는,
    추출된 도로점군데이터를 확인하는 도로점군데이터 확인과정;
    해당 도로점군데이터의 인텐시티(Intensity)를 히스토그램(Histogram)화하여 확인하는 인텐시티 확인과정; 및
    상기 인텐시티를 기반으로 차선의 점군데이터를 추출하는 차선점군데이터 추출과정;을 포함하고,
    상기 차선군집화단계는,
    쾌속행진산법(Fast Marching Method)을 적용하여 상기 차선점군데이터를 다각형 및 군집화하는 것을 특징으로 하는 포인트 클라우드 맵 기반의 자율주행차량용 차선데이터 정보 자동 추출 방법.
  3. 제 1항에 있어서,
    상기 차선점군데이터 분할과정은 팔진트리 레벨(Octree level)에 따른 공간분할 및 분류를 수행하는 것을 특징으로 하는 포인트 클라우드 맵 기반의 자율주행차량용 차선데이터 정보 자동 추출 방법.
  4. 제 3항에 있어서,
    상기 차선점군데이터 추출단계는,
    상기 차선점군데이터 추출과정 이후에,
    데이터 클러스터링(Data clustering)을 통해 노이즈를 제거하는 노이즈 제거과정;을 더 포함하는 것을 특징으로 하는 포인트 클라우드 맵 기반의 자율주행차량용 차선데이터 정보 자동 추출 방법.
  5. 제1항에 있어서,
    상기 차선군집화단계는,
    다각형화된 상기 차선점군데이터를 군집화하는 차선점군데이터 군집화과정;을 더 포함하는 것을 특징으로 하는 포인트 클라우드 맵 기반의 자율주행차량용 차선데이터 정보 자동 추출 방법.
  6. 제 2항에 있어서,
    상기 차선군집화단계는,
    군집화된 각각의 차선들의 중심점을 계산하고 이에 따른 차선의 진행방향에 따라 벡터값을 부여하는 것을 특징으로 하는 포인트 클라우드 맵 기반의 자율주행차량용 차선데이터 정보 자동 추출 방법.
  7. 제 1항 또는 제 2항에 있어서,
    상기 차선점군데이터 추출단계는,
    상기 차선점군데이터 추출과정 이후에,
    추출된 차선점군데이터로부터 중앙선을 추출한 후, 추출된 중앙선을 기준으로 우측의 차선을 진행방향의 차선으로 인식하는 차선방향인식과정;을 더 포함하는 것을 특징으로 하는 포인트 클라우드 맵 기반의 자율주행차량용 차선데이터 정보 자동 추출 방법.
  8. 제 7항에 있어서,
    상기 차선방향인식과정은,
    직선의 차선과 점선의 차선의 배치관계를 확인하고, 점선의 차선들 사이에 직선의 차선이 존재하는 경우, 해당 직선의 차선을 중앙선으로 인식하는 것을 특징으로 하는 포인트 클라우드 맵 기반의 자율주행차량용 차선데이터 정보 자동 추출 방법.
  9. 제 1항 또는 제 2항에 있어서,
    상기 차선점군데이터 추출단계는,
    상기 차선점군데이터 추출과정 이후에,
    직선의 차선과 점선의 차선의 배치관계를 확인하고, 점선 차선들의 적어도 일측 가장자리에 직선의 차선이 존재하는 경우, 해당 점선의 차선을 진행방향의 차선으로 인식하는 차선방향인식과정;을 더 포함하는 것을 특징으로 하는 포인트 클라우드 맵 기반의 자율주행차량용 차선데이터 정보 자동 추출 방법.
  10. 삭제
KR1020180126788A 2018-10-23 2018-10-23 포인트 클라우드 맵 기반의 자율주행차량용 차선데이터 정보 자동 추출 방법 KR102083909B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180126788A KR102083909B1 (ko) 2018-10-23 2018-10-23 포인트 클라우드 맵 기반의 자율주행차량용 차선데이터 정보 자동 추출 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180126788A KR102083909B1 (ko) 2018-10-23 2018-10-23 포인트 클라우드 맵 기반의 자율주행차량용 차선데이터 정보 자동 추출 방법

Publications (1)

Publication Number Publication Date
KR102083909B1 true KR102083909B1 (ko) 2020-03-04

Family

ID=69783438

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180126788A KR102083909B1 (ko) 2018-10-23 2018-10-23 포인트 클라우드 맵 기반의 자율주행차량용 차선데이터 정보 자동 추출 방법

Country Status (1)

Country Link
KR (1) KR102083909B1 (ko)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112348921A (zh) * 2020-11-05 2021-02-09 上海汽车集团股份有限公司 一种基于视觉语义点云的建图方法及系统
CN112560747A (zh) * 2020-12-23 2021-03-26 苏州工业园区测绘地理信息有限公司 基于车载点云数据的车道边界交互式提取方法
WO2021196969A1 (zh) * 2020-03-31 2021-10-07 纳恩博(北京)科技有限公司 定位方法及装置、设备、介质
WO2021235640A1 (ko) * 2020-05-22 2021-11-25 주식회사 에스오에스랩 라이다 장치
CN113705414A (zh) * 2021-08-23 2021-11-26 山东恒宇电子有限公司 一种基于图像补偿和色彩增强的车道线识别方法及系统
KR102333828B1 (ko) * 2021-07-21 2021-12-03 (주)뷰런테크놀로지 라이다 데이터 기반 차선 검출 방법 및 시스템
US11204412B2 (en) 2020-05-22 2021-12-21 Sos Lab Co., Ltd. LiDAR device
KR102363719B1 (ko) 2021-06-30 2022-02-16 주식회사 모빌테크 3차원 점군 지도의 투영 변환을 이용한 차선 좌표 추출 방법
CN114136327A (zh) * 2021-11-22 2022-03-04 武汉中海庭数据技术有限公司 一种虚线段的查全率的自动化检查方法及系统
KR102371849B1 (ko) * 2020-10-29 2022-03-11 주식회사 드림티엔에스 차선추출 방법
CN114593738A (zh) * 2022-05-09 2022-06-07 山东大学 基于八叉树搜索反光柱的机器人全局定位方法及系统
KR20220081776A (ko) * 2020-12-09 2022-06-16 주식회사 맵퍼스 점군 정합 방법 및 점군 정합 장치
CN114662600A (zh) * 2022-03-25 2022-06-24 南京慧尔视软件科技有限公司 一种车道线的检测方法、装置和存储介质
KR20220106894A (ko) * 2021-01-22 2022-08-01 주식회사 드림티엔에스 도로 기호 및 문자 추출방법
CN114842039A (zh) * 2022-04-11 2022-08-02 中国工程物理研究院机械制造工艺研究所 一种含回转体微结构金刚石压砧的同轴度误差计算方法
KR20230001410A (ko) * 2021-06-28 2023-01-04 (주)뷰런테크놀로지 라이다 센서를 이용하여 차선을 검출하는 방법 및 상기 방법을 수행하는 차선 검출 장치
KR20230014591A (ko) * 2021-07-21 2023-01-30 (주) 오토노머스에이투지 사물인식 포인트클라우드 피처 기반 도로 시설물 관리 방법 및 장치
CN116153057A (zh) * 2022-09-12 2023-05-23 东北林业大学 基于激光雷达点云估算车道宽度的方法
KR102540627B1 (ko) * 2022-10-27 2023-06-13 주식회사 모빌테크 객체의 엣지 노이즈 필터링 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170104287A (ko) * 2016-03-07 2017-09-15 한국전자통신연구원 주행 가능 영역 인식 장치 및 그것의 주행 가능 영역 인식 방법
KR101843866B1 (ko) 2016-11-30 2018-05-14 네이버 주식회사 라이다 데이터를 이용하여 도로 영역과 차선을 검출하는 방법 및 그 시스템

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170104287A (ko) * 2016-03-07 2017-09-15 한국전자통신연구원 주행 가능 영역 인식 장치 및 그것의 주행 가능 영역 인식 방법
KR101843866B1 (ko) 2016-11-30 2018-05-14 네이버 주식회사 라이다 데이터를 이용하여 도로 영역과 차선을 검출하는 방법 및 그 시스템

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021196969A1 (zh) * 2020-03-31 2021-10-07 纳恩博(北京)科技有限公司 定位方法及装置、设备、介质
US11204412B2 (en) 2020-05-22 2021-12-21 Sos Lab Co., Ltd. LiDAR device
WO2021235640A1 (ko) * 2020-05-22 2021-11-25 주식회사 에스오에스랩 라이다 장치
US11841462B2 (en) 2020-05-22 2023-12-12 Sos Lab Co., Ltd. LiDAR device
KR102371849B1 (ko) * 2020-10-29 2022-03-11 주식회사 드림티엔에스 차선추출 방법
CN112348921B (zh) * 2020-11-05 2024-03-29 上海汽车集团股份有限公司 一种基于视觉语义点云的建图方法及系统
CN112348921A (zh) * 2020-11-05 2021-02-09 上海汽车集团股份有限公司 一种基于视觉语义点云的建图方法及系统
KR102513683B1 (ko) 2020-12-09 2023-03-27 주식회사 맵퍼스 점군 정합 방법 및 점군 정합 장치
KR20220081776A (ko) * 2020-12-09 2022-06-16 주식회사 맵퍼스 점군 정합 방법 및 점군 정합 장치
CN112560747A (zh) * 2020-12-23 2021-03-26 苏州工业园区测绘地理信息有限公司 基于车载点云数据的车道边界交互式提取方法
KR20220106894A (ko) * 2021-01-22 2022-08-01 주식회사 드림티엔에스 도로 기호 및 문자 추출방법
KR102499334B1 (ko) * 2021-06-28 2023-02-14 (주)뷰런테크놀로지 라이다 센서를 이용하여 차선을 검출하는 방법 및 상기 방법을 수행하는 차선 검출 장치
KR20230001410A (ko) * 2021-06-28 2023-01-04 (주)뷰런테크놀로지 라이다 센서를 이용하여 차선을 검출하는 방법 및 상기 방법을 수행하는 차선 검출 장치
KR102363719B1 (ko) 2021-06-30 2022-02-16 주식회사 모빌테크 3차원 점군 지도의 투영 변환을 이용한 차선 좌표 추출 방법
KR102607302B1 (ko) 2021-07-21 2023-11-29 (주)오토노머스에이투지 사물인식 포인트클라우드 피처 기반 도로 시설물 관리 방법 및 장치
KR20230014591A (ko) * 2021-07-21 2023-01-30 (주) 오토노머스에이투지 사물인식 포인트클라우드 피처 기반 도로 시설물 관리 방법 및 장치
KR102333828B1 (ko) * 2021-07-21 2021-12-03 (주)뷰런테크놀로지 라이다 데이터 기반 차선 검출 방법 및 시스템
CN113705414A (zh) * 2021-08-23 2021-11-26 山东恒宇电子有限公司 一种基于图像补偿和色彩增强的车道线识别方法及系统
CN113705414B (zh) * 2021-08-23 2024-02-23 山东恒宇电子有限公司 一种基于图像补偿和色彩增强的车道线识别方法及系统
CN114136327A (zh) * 2021-11-22 2022-03-04 武汉中海庭数据技术有限公司 一种虚线段的查全率的自动化检查方法及系统
CN114662600B (zh) * 2022-03-25 2023-11-07 南京慧尔视软件科技有限公司 一种车道线的检测方法、装置和存储介质
CN114662600A (zh) * 2022-03-25 2022-06-24 南京慧尔视软件科技有限公司 一种车道线的检测方法、装置和存储介质
CN114842039B (zh) * 2022-04-11 2023-06-27 中国工程物理研究院机械制造工艺研究所 一种含回转体微结构金刚石压砧的同轴度误差计算方法
CN114842039A (zh) * 2022-04-11 2022-08-02 中国工程物理研究院机械制造工艺研究所 一种含回转体微结构金刚石压砧的同轴度误差计算方法
CN114593738B (zh) * 2022-05-09 2022-07-26 山东大学 基于八叉树搜索反光柱的机器人全局定位方法及系统
CN114593738A (zh) * 2022-05-09 2022-06-07 山东大学 基于八叉树搜索反光柱的机器人全局定位方法及系统
CN116153057A (zh) * 2022-09-12 2023-05-23 东北林业大学 基于激光雷达点云估算车道宽度的方法
KR102540627B1 (ko) * 2022-10-27 2023-06-13 주식회사 모빌테크 객체의 엣지 노이즈 필터링 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램

Similar Documents

Publication Publication Date Title
KR102083909B1 (ko) 포인트 클라우드 맵 기반의 자율주행차량용 차선데이터 정보 자동 추출 방법
KR102069666B1 (ko) 포인트 클라우드 맵 기반의 자율주행차량용 실시간 주행경로 설정 방법
KR102103941B1 (ko) 포인트 클라우드 맵 기반의 자율주행차량용 도로 및 차선데이터 실시간 업데이트 방법
KR102595897B1 (ko) 차선 결정 방법 및 장치
WO2018068653A1 (zh) 点云数据处理方法、装置及存储介质
KR102091580B1 (ko) 이동식 도면화 시스템을 이용한 도로 표지 정보 수집 방법
US8452103B2 (en) Scene matching reference data generation system and position measurement system
US8428362B2 (en) Scene matching reference data generation system and position measurement system
JP6442834B2 (ja) 路面高度形状推定方法とシステム
JP6870475B2 (ja) 車線情報出力方法および車線情報出力装置
KR20170104287A (ko) 주행 가능 영역 인식 장치 및 그것의 주행 가능 영역 인식 방법
US20220398856A1 (en) Method for reconstruction of a feature in an environmental scene of a road
Ravi et al. Lane width estimation in work zones using LiDAR-based mobile mapping systems
CN111213153A (zh) 目标物体运动状态检测方法、设备及存储介质
JP7410932B2 (ja) ライダーセンサーを取り付けられた自動車両のための道路検出の方法
CN111091037A (zh) 用于确定驾驶信息的方法和设备
KR20200095338A (ko) 스마트폰을 사용하는 보행자를 보호하기 위한 첨단 보행자 보조 시스템을 제공하는 방법 및 장치
Welzel et al. Accurate camera-based traffic sign localization
KR102367138B1 (ko) 라이다 센서를 이용하여 횡단보도를 검출하는 방법 및 상기 방법을 수행하는 횡단보도 검출 장치
CN113178091B (zh) 安全行驶区域方法、装置和网络设备
KR102316818B1 (ko) 도로 네트워크를 갱신하는 방법 및 장치
JP2014194698A (ja) 道路端検出システム、方法およびプログラム
US20230221140A1 (en) Roadmap generation system and method of using
KR102288623B1 (ko) 육상이동체 시뮬레이션을 위한 정밀도로지도 데이터 처리 및 포맷변경방법
WO2021004813A1 (en) Method and mobile entity for detecting feature points in an image

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant