KR102426583B1 - 라이다 센서를 이용하여 이정표를 검출하는 방법 및 상기 방법을 수행하는 이정표 검출 장치 - Google Patents

라이다 센서를 이용하여 이정표를 검출하는 방법 및 상기 방법을 수행하는 이정표 검출 장치 Download PDF

Info

Publication number
KR102426583B1
KR102426583B1 KR1020210115122A KR20210115122A KR102426583B1 KR 102426583 B1 KR102426583 B1 KR 102426583B1 KR 1020210115122 A KR1020210115122 A KR 1020210115122A KR 20210115122 A KR20210115122 A KR 20210115122A KR 102426583 B1 KR102426583 B1 KR 102426583B1
Authority
KR
South Korea
Prior art keywords
milestone
point
points
position value
cluster
Prior art date
Application number
KR1020210115122A
Other languages
English (en)
Inventor
천창환
이승용
Original Assignee
(주)뷰런테크놀로지
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)뷰런테크놀로지 filed Critical (주)뷰런테크놀로지
Priority to KR1020210115122A priority Critical patent/KR102426583B1/ko
Priority to US17/462,377 priority patent/US20230069691A1/en
Application granted granted Critical
Publication of KR102426583B1 publication Critical patent/KR102426583B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06K9/6217—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Data Mining & Analysis (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

본 발명의 일 실시예에 따른 이정표 검출 장치에 의해 수행되는 이정표를 검출하는 방법은, 라이다 센서로부터, 상기 라이다 센서의 주변을 검색한 포인트 데이터를 획득하는 단계; 상기 포인트 데이터에 포함된 복수의 포인트들 각각의 위치를 이용하여, 상기 복수의 포인트들을 군집화하는 단계; 상기 복수의 포인트들을 군집화한 적어도 하나의 군집 중에서 평면성 객체에 해당하는 군집을 결정하는 단계; 및 기 설정된 이정표 검출 기준에 기초하여, 상기 평면성 객체 중에서 상기 이정표에 해당하는 이정표 객체를 검출하는 단계를 포함할 수 있다.

Description

라이다 센서를 이용하여 이정표를 검출하는 방법 및 상기 방법을 수행하는 이정표 검출 장치 {METHOD OF DETECTING SIGNPOST USING LIDAR SENSOR AND SIGNPOST DETECTION DEVICE PERFORMING METHOD}
본 발명은 라이다 센서를 이용하여 이정표를 검출하는 방법 및 상기 방법을 수행하는 이정표 검출 장치에 관한 것이다.
라이다(Light Detection And Ranging, LiDAR)는 고출력의 펄스 레이저를 이용하여 물체에 반사되어 돌아오는 레이저 빔의 시간을 측정하여 거리 정보를 획득하는 기술로, 자율주행차량, 지구환경 관측, 대기분석, 및 무인기기 등 다양한 분야에 활용되고 있다. 최근에는 상기 라이다가 3D 리버스 엔지니어링, 자율주행 및 무인 자동차를 위한 레이저 스캐너 및 3D 영상 카메라의 핵심 기술로 활용되면서 그 활용성과 중요성이 점차 증가되고 있다.
<자율주행 기술에 있어서 이정표 검출 기술의 중요성>
한편, 자율주행을 위해서는 차량의 위치를 정밀하게 파악하는 것이 필요하다. 현재는 GPS 센서를 이용하여 차량의 위치를 파악하고 있지만, 자율주행을 위해서는 차량의 위치를 수 센티미터 이내의 오차로 구분할 수 있어야 하기 때문에 차량의 위치를 보다 정밀하게 측정할 필요가 있다.
일반적으로 정밀 위치를 추정하기 위해서는 다양한 정보를 포함하고 있는 고정밀 지도(자율주행을 위한 HD 지도)와의 맵 매칭 방법을 이용한다. 고정밀 지도에는 차량의 횡 방향 위치를 추정하기 위한 정보와 종 방향 위치를 추정하기 위한 정보를 포함될 수 있다.
차량의 횡 방향 위치를 추정하기 위한 정보들(예컨대, 건물의 벽, 가드레일, 차선 등)은 다양하며, 주행 중 지속적으로 차량 주위에서 확인될 수 있지만, 차량의 종 방향 위치를 추정하기 위한 정보는 이정표와 신호등 등으로 그 종류가 적고, 지속적으로 존재하지 않고 간헐적으로 존재한다.
따라서, 이러한 제한적인 상황에서 이정표를 이용하여 정확하게 차량의 종 방향 위치(예컨대, 종 방향 거리)를 검출해 내는 것은 매우 중요하고, 검출된 결과는 정밀 측위 기술의 종 방향 위치 추정 결과의 성능을 높이는데 큰 도움을 줄 수 있다.
<타 센서를 이용한 이정표 검출 기술의 문제점>
한편, 종래에는 차량의 종 방향 위치를 추정하기 위하여 카메라 센서를 이용하였다. 하지만, 카메라 센서의 경우, 차량과 이정표, 신호등 등과의 거리를 정확하게 측정하기 어려우며, 큰 조도 변화, 야간 주행 및 우천 시 주행과 같이, 일반적이지 않은 환경 상에서 성능이 급격하게 저하되는 문제가 존재한다.
본 발명이 해결하고자 하는 과제는, 전술한 문제를 해결하기 위해, 라이다 센서를 이용하여 도로 상의 이정표를 검출하는 방법을 제공하는 것이다.
다만, 본 발명이 해결하고자 하는 과제는 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 해결하고자 하는 과제는 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시예에 따른 이정표 검출 장치에 의해 수행되는 이정표를 검출하는 방법은, 라이다 센서로부터, 상기 라이다 센서의 주변을 검색한 포인트 데이터를 획득하는 단계; 상기 포인트 데이터에 포함된 복수의 포인트들 각각의 위치를 이용하여, 상기 복수의 포인트들을 군집화하는 단계; 상기 복수의 포인트들을 군집화한 적어도 하나의 군집 중에서 평면성 객체에 해당하는 평면성 객체 군집을 결정하는 단계; 및 기 설정된 이정표 검출 기준에 기초하여, 상기 평면성 객체 군집 중에서 상기 이정표에 해당하는 이정표 객체 군집을 검출하는 단계를 포함할 수 있다.
상기 복수의 포인트들을 군집화하는 단계는, 상기 복수의 포인트들 중에서 높이가 기 설정된 제1 기준 높이 이상인 이정표 후보 포인트들을 구분하는 단계; 및 상기 이정표 후보 포인트들의 위치를 이용하여 상기 이정표 후보 포인트들을 군집화하는 단계를 포함할 수 있다.
상기 이정표 후보 포인트들을 군집화하는 단계는, 상기 이정표 후보 포인트들 중에서 거리가 기 설정된 제1 기준 거리 이하인 포인트들을 연결하는 단계; 및 서로 연결된 포인트들이 하나의 군집에 포함되도록 상기 이정표 후보 포인트들을 군집화하는 단계를 포함할 수 있다.
상기 평면성 객체에 해당하는 평면성 객체 군집을 결정하는 단계는, 상기 적어도 하나의 군집 중에서 제1 군집에 포함된 적어도 하나의 포인트 쌍을 잇는 적어도 하나의 직선을 생성하는 단계; 및 상기 적어도 하나의 직선 각각에 대한 인라이어 포인트를 이용하여, 상기 제1 군집이 상기 평면성 객체 군집에 해당하는지 여부를 결정하는 단계를 포함할 수 있다.
상기 제1 군집이 상기 평면성 객체 군집에 해당하는지 여부를 결정하는 단계는, 상기 적어도 하나의 직선 중에서 인라이어 포인트의 개수가 가장 많은 대표 직선을 선정하는 단계; 및 상기 대표 직선에 대한 인라이어 포인트의 개수와 상기 제1 군집에 포함된 포인트들의 개수의 비율이 기 설정된 기준 비율 이상인 경우, 상기 제1 군집은 상기 평면성 객체 군집에 해당한다고 결정하는 단계를 포함할 수 있다.
상기 이정표 검출 기준은 기준 각도, 기준 크기 및 제2 기준 높이 중에서 적어도 하나를 포함할 수 있다.
상기 이정표 객체 군집을 검출하는 단계는, 상기 이정표 검출 기준이 상기 기준 각도를 포함하는 경우, 상기 평면성 객체 군집이 나타내는 객체의 법선 벡터와, 상기 이정표 검출 장치가 장착된 차량의 이동 방향 사이의 각도 차이가 상기 기준 각도 이하인지 여부를 판단하는 단계를 포함할 수 있다.
상기 이정표 객체 군집을 검출하는 단계는, 상기 이정표 검출 기준이 상기 기준 크기를 포함하는 경우, 상기 평면성 객체 군집이 나타내는 객체의 폭이 상기 기준 크기 이상인지 여부를 판단하는 단계를 포함할 수 있다.
상기 이정표 객체를 검출하는 단계는, 상기 이정표 검출 기준이 상기 제2 기준 높이를 포함하는 경우, 상기 평면성 객체 군집이 나타내는 객체의 지면으로부터의 높이가 상기 제2 기준 높이 이상인지 여부를 판단하는 단계를 포함할 수 있다.
상기 이정표 검출 기준은 기준 크기 및 제2 기준 높이 중에서 적어도 하나를 포함하고, 상기 평면성 객체 군집 중에서 상기 이정표에 해당하는 이정표 객체 군집을 검출하는 단계는, 상기 평면성 객체 군집을 소정의 간격에 따라 복수의 영역으로 분할하는 단계; 상기 복수의 영역들 각각에 포함된 포인트들 중에서 가로 방향 위치 값이 가장 큰 제1 포인트와 상기 가로 방향 위치 값이 가장 작은 제2 포인트 사이의 가로 방향 거리에 기초하여, 상기 복수의 영역들 중에서 이정표 검출 영역을 선택하는 단계; 및 상기 이정표 검출 영역들에 포함된 포인트들의 위치를 이용하여, 상기 평면성 객체 군집이 상기 기준 크기 및 상기 제2 기준 높이 중에서 상기 이정표 검출 기준에 포함된 적어도 하나를 만족하는지 여부를 판단하는 단계를 포함할 수 있다.
상기 이정표 검출 기준에 상기 기준 크기가 포함된 경우, 상기 평면성 객체 군집이 상기 기준 크기 및 상기 제2 기준 높이 중에서 상기 이정표 검출 기준에 포함된 적어도 하나를 만족하는지 여부를 판단하는 단계는, 상기 이정표 검출 영역들에 포함된 포인트들 중에서, 가로 방향 위치 값이 가장 작은 제3 포인트, 상기 가로 방향 위치 값이 가장 큰 제4 포인트, 세로 방향 위치 값이 가장 작은 제5 포인트 및 상기 세로 방향 위치 값이 가장 큰 제6 포인트를 결정하는 단계; 및 상기 제3 포인트의 가로 방향 위치 값과 상기 제4 포인트의 가로 방향 위치 값의 차이와, 상기 제5 포인트의 세로 방향 위치 값 및 상기 제6 포인트의 세로 방향 위치 값의 차이에 기초하여, 상기 평면성 객체 군집이 상기 기준 크기를 만족하는지 여부를 판단하는 단계를 판단하는 단계를 포함할 수 있다.
상기 이정표 검출 기준에 상기 제2 기준 높이가 포함된 경우, 상기 평면성 객체 군집이 상기 기준 크기 및 상기 제2 기준 높이 중에서 상기 이정표 검출 기준에 포함된 적어도 하나를 만족하는지 여부를 판단하는 단계는, 상기 이정표 검출 영역들에 포함된 포인트들 중에서, 세로 방향 위치 값이 가장 작은 제7 포인트를 결정하는 단계; 및 상기 제7의 세로 방향 위치 값에 기초하여, 상기 평면성 객체 군집이 상기 제2 기준 높이를 만족하는지 여부를 판단하는 단계를 포함할 수 있다.
상기 포인트 데이터를 획득하는 단계, 상기 복수의 포인트들을 군집화하는 단계, 상기 평면성 객체에 해당하는 평면성 객체 군집을 결정하는 단계 및 상기 이정표에 해당하는 이정표 객체 군집을 검출하는 단계는 프레임 단위로 수행되고, 현재 프레임에서 검출된 제1 이정표 객체 군집이 나타내는 제1 이정표 객체의 크기 및 위치 중에서 적어도 하나와 직전 프레임에서 검출된 제2 이정표 객체 군집이 나타내는 제2 이정표 객체의 크기 및 위치 중에서 적어도 하나의 비교 결과에 기초하여, 상기 제1 이정표 객체와 상기 제2 이정표 객체의 동일성을 판단하는 단계를 더 포함할 수 있다.
본 발명의 다른 실시예에 따른 이정표를 검출하는 이정표 검출 장치는, 라이다 센서로부터, 상기 라이다 센서 주변을 검색한 포인트 데이터를 획득하는 송수신기; 및 상기 송수신기를 제어하는 프로세서를 포함하고, 상기 프로세서는, 상기 포인트 데이터에 포함된 복수의 포인트들 각각의 위치를 이용하여, 상기 복수의 포인트들을 군집화하고, 상기 복수의 포인트들을 군집화한 적어도 하나의 군집 중에서 평면성 객체에 해당하는 평면성 객체 군집을 결정하고, 기 설정된 이정표 검출 기준에 기초하여, 상기 평면성 객체 군집 중에서 상기 이정표에 해당하는 이정표 객체 군집을 검출할 수 있다.
본 발명의 또 다른 실시예에 따른 이정표 검출 시스템은, 주변을 검색한 포인트 데이터를 획득하는 라이다 센서; 및 상기 포인트 데이터에 포함된 복수의 포인트들 각각의 위치를 이용하여, 상기 복수의 포인트들을 군집화하고, 상기 복수의 포인트들을 군집화한 적어도 하나의 군집 중에서 평면성 객체에 해당하는 평면성 객체 군집을 결정하고, 기 설정된 이정표 검출 기준에 기초하여, 상기 평면성 객체 군집 중에서 이정표에 해당하는 이정표 객체 군집을 검출하는 이정표 검출 장치를 포함할 수 있다.
본 발명의 실시예에 의하면, 라이다 센서를 이용하여 이정표를 검출함으로써, 큰 조도 변화, 야간 또는 우천과 같은 환경의 변화에 강인하게 도로 상의 이정표를 검출할 수 있다.
또한, 본 발명의 실시예에 의하면, 이정표와 차량 사이의 종 방향 거리를 정확하게 제공함으로써, 차량의 위치 추정을 보다 정밀하게 수행할 수 있다.
또한, 본 발명의 실시예에 의하면, 라이다 센서를 이용하여 차량과 이정표 사이의 실제 거리를 측정함으로써, 이정표의 3차원 위치를 보다 정확하게 측정할 수 있다.
도 1은 본 발명의 실시예에 따른 이정표 검출 시스템을 나타내는 블록도이다.
도 2는 본 발명의 실시예에 따른 이정표 검출 프로그램의 기능을 개념적으로 나타내는 블록도이다.
도 3은 본 발명의 실시예에 따른 포인트 군집화부에서 이정표 후보 포인트를 구분한 결과의 일 예시를 나타낸다.
도 4는 본 발명의 실시예에 따른 포인트 군집화부에서 이정표 후보 포인트들을 군집화한 결과의 일 예시를 나타낸다.
도 5는 본 발명의 실시예에 따른 평면성 객체 결정부에서 군집 내의 대표 직선을 선정한 결과의 일 예시를 나타낸다.
도 6은 본 발명의 실시예에 따른 평면성 객체 결정부에서 평면성 객체를 결정한 결과의 일 예시를 나타낸다.
도 7은 이정표 검출부에서 평면성 객체의 크기와 높이를 결정하는 방법을 나타낸다.
도 8은 본 발명의 실시예에 따른 이정표 검출부에서 이정표 객체를 결정한 결과의 일 예시를 나타낸다.
도 9는 본 발명의 실시예에 따라 이정표 검출 장치가 이정표를 검출하는 방법을 나타내는 흐름도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 실시예에 따른 이정표 검출 시스템을 나타내는 블록도이다.
도 1을 참조하면, 이정표 검출 시스템(10)은 라이다 센서(20) 및 이정표 검출 장치(100)를 포함할 수 있다.
본 명세서에서는, 설명의 편의상, 이정표 검출 시스템(10)이 자율주행차량(이하 간략하게, 차량)에 탑재되는 것으로 설명하지만, 이에 한정되지 않는다. 즉, 이정표 검출 시스템(10)은 자율주행차량 뿐만 아니라 드론 등의 무인 이동체에도 탑재될 수 있으며, 자율주행차량이나 무인 이동체가 아닌 다른 이동 가능한 이동체(자동차, 오토바이, 비행체 등)에도 탑재될 수 있다.
뿐만 아니라, 본 명세서에서 라이다 센서(20)는 이정표 검출 장치(100)와 구분되는 별개의 장치로서, 이정표 검출 장치(100)로 포인트 데이터를 전송하는 것으로 설명하지만, 이에 한정되지 않는다. 즉, 실시예에 따라, 라이다 센서(20)는 이정표 검출 장치(100)에 포함될 수 있으며, 이와 같은 경우, 라이다 센서(20)는 내부 시그널링 등을 통해 후술할 포인트 데이터 수신부(210)로 포인트 데이터를 전송할 수 있다.
라이다 센서(20)는 소정의 방향(예컨대, 이정표 검출 장치의 이동 방향(전방) 뿐만 아니라, 측방, 후방을 포함하는 360도 방향으로 레이저를 방사하고, 주위의 지형지물 등에 의해 반사된 레이저를 수신할 수 있다. 이때, 라이다 센서(20)가 방사하여 수신한 레이저는 하나 이상의 포인트 데이터를 포함할 수 있다.
이정표 검출 장치(100)는 라이다 센서(20)로부터 포인트 데이터를 수신하고, 수신한 포인트 데이터를 이용하여 이정표 검출 장치(100)(또는 이정표 검출 장치(100)가 탑재된 차량)의 주변의 이정표를 검출할 수 있다.
보다 자세하게는, 이정표 검출 장치(100)는 수신한 포인트 데이터를 군집화하고, 군집화된 포인트 데이터를 이용하여 평면성 군집을 검색하고, 검색된 평면성 군집 중에서 이정표를 검출하고, 현재 프레임에서 검출된 이정표와 이전 프레임에서 검출된 이정표의 동일성을 판단할 수 있다.
이를 위해, 이정표 검출 장치(100)는 프로세서(100), 송수신기(110) 및 메모리(130)를 포함할 수 있다.
프로세서(110)는 이정표 검출 장치(100)의 동작을 전반적으로 제어할 수 있다.
프로세서(110)는, 송수신기(120)를 이용하여, 라이다 센서(20)로부터 포인트 데이터를 수신할 수 있다.
본 명세서에서는, 이정표 검출 장치(100)는 송수신기(120)를 이용하여 포인트 데이터를 수신하는 것으로 설명하였지만, 이에 한정되지 않는다. 즉, 실시예에 따라, 이정표 검출 장치(100)는 입출력기(미도시)를 포함하고, 입출력기(미도시)를 이용하여 포인트 데이터를 입력 받을 수 있다. 또한, 라이다 센서(20)가 이정표 검출 장치(100)에 포함되는 경우, 포인트 데이터는 이정표 검출 장치(100) 내에서 생성될 수도 있다.
메모리(130)는 이정표 검출 프로그램(200) 및 이정표 검출 프로그램(200)의 실행에 필요한 정보를 저장할 수 있다.
본 명세서에서 이정표 검출 프로그램(200)은 포인트 데이터를 이용하여 도로 상의 이정표를 검출하도록 프로그램된 명령어들을 포함하는 소프트웨어를 의미할 수 있다.
프로세서(110)는 이정표 검출 프로그램(200)을 실행하기 위하여 메모리(130)에서 이정표 검출 프로그램(200) 및 이정표 검출 프로그램(200)의 실행에 필요한 정보를 로드할 수 있다.
프로세서(110)는, 이정표 검출 프로그램(200)을 실행하여, 이정표 검출 장치(100)의 주변에 위치하는 이정표를 검출할 수 있다.
이정표 검출 프로그램(200)의 기능 및/또는 동작에 대하여는 도 2를 통해 상세하게 살펴보기로 한다.
도 2는 본 발명의 실시예에 따른 이정표 검출 프로그램의 기능을 개념적으로 나타내는 블록도이다.
도 2를 참조하면, 이정표 검출 프로그램(200)은 포인트 데이터 수신부(210), 포인트 군집화부(220), 평면성 객체 결정부(230), 이정표 검출부(240) 및 이정표 추적부(250)를 포함할 수 있다.
도 2에 도시된 포인트 데이터 수신부(210), 포인트 군집화부(220), 평면성 객체 결정부(230), 이정표 검출부(240) 및 이정표 추적부(250)는 이정표 검출 프로그램(200)의 기능을 쉽게 설명하기 위하여 이정표 검출 프로그램(200)의 기능을 개념적으로 나눈 것으로서, 이에 한정되지 않는다. 실시예들에 따라, 포인트 데이터 수신부(210), 포인트 군집화부(220), 평면성 객체 결정부(230), 이정표 검출부(240) 및 이정표 추적부(250)의 기능은 병합/분리 가능하며, 하나의 프로그램에 포함된 일련의 명령어들로 구현될 수도 있다.
포인트 데이터 수신부(210)는 라이다 센서(20)로부터 포인트 데이터를 수신할 수 있다. 포인트 데이터 수신부(210)가 수신하는 포인트 데이터에는 복수의 포인트들이 포함될 수 있다.
포인트 군집화부(220)는 수신한 포인트 데이터에 포함된 복수의 포인트들을 군집화할 수 있다.
보다 자세하게는, 먼저 포인트 군집화부(220)는 복수의 포인트들 각각의 높이를 이용하여, 복수의 포인트들 중에서 이정표 후보 포인트들을 구분할 수 있다. 이는 일반적으로 도로 상의 이정표는 차량보다 높게 존재하기 때문이다.
따라서, 포인트 군집화부(220)는 복수의 포인트들 중에서 높이가 기 설정된 제1 기준 높이 이상인 포인트들을 이정표 후보 포인트로 구분할 수 있다. 실시예에 따라, 상기 제1 기준 높이는 차량의 높이(예컨대, 차종에 따른 최대 높이)에 기초하여 설정될 수 있다.
예컨대, 도 3은 본 발명의 실시예에 따른 포인트 군집화부(220)에서 이정표 후보 포인트를 구분한 결과의 일 예시를 나타낸다.
도 3을 더 참조하면, 포인트 군집화부(220)는 차량(V)의 이동 방향에 위치하는 복수의 포인트들 중에서 높이가 상기 제1 기준 높이 이상인 이정표 후보 포인트들(SCP)을 색깔 등을 이용하여 다른 포인트들과 구분되도록 표시할 수 있다.
또한, 포인트 군집화부(220)는 이정표 후보 포인트들 각각의 위치 정보를 이용하여, 이정표 후보 포인트들에 대한 군집화를 수행할 수 있다. 여기서, 위치 정보는 이정표 후보 포인트의 3차원 공간 상에서의 위치(예컨대, 자율주행용 지도 상의 위치 또는 지구 상의 절대 위치)를 의미할 수 있다.
보다 자세하게는, 포인트 군집화부(220)는 이정표 후보 포인트들 각각의 위치 정보를 이용하여, 두 개의 이정표 후보 포인트들 사이의 거리(예컨대, 3차원 공간 상에서의 거리)를 계산하고, 기 설정된 제1 기준 거리 이하의 거리를 갖는 이정표 후보 포인트들을 서로 연결하고, 서로 연결된 이정표 후보 포인트들이 하나의 군집에 포함되도록 하여 적어도 하나의 군집을 생성할 수 있다.
예컨대, 복수의 이정표 후보 포인트들 중에서 제1 이정표 후보 포인트와 제2 이정표 후보 포인트 사이의 거리가 제1 기준 거리 이하이고, 제2 이정표 후보 포인트와 제3 이정표 후보 포인트 사이의 거리가 제1 기준 거리 이하이고, 제4 이정표 후보 포인트와 제5 이정표 후보 포인트 사이의 거리가 제1 기준 거리 이하인 경우, 포인트 군집화부(220)는 제1 이정표 후보 포인트, 제2 이정표 후보 포인트 및 제3 이정표 후보 포인트를 포함하는 제1 군집을 생성하고, 제4 이정표 후보 포인트 및 제5 이정표 후보 포인트를 포함하는 제2 군집을 생성할 수 있다.
예컨대, 도 4는 본 발명의 실시예에 따른 포인트 군집화부(220)에서 이정표 후보 포인트들을 군집화한 결과의 일 예시를 나타낸다.
도 4를 더 참조하면, 포인트 군집화부(220)는 두 개의 이정표 후보 포인트들 사이의 거리가 기 설정된 제1 기준 거리 이하인 이정표 후보 포인트들을 서로 연결함으로써, 복수의 군집들(C1, C2, C3, …)을 생성하고, 색깔 등을 이용하여 생성한 복수의 군집들(C1, C2, C3, …) 각각이 서로 구분되도록 표시할 수 있다.
이후, 평면성 객체 결정부(230)는 포인트 군집화부(220)에서 생성된 적어도 하나의 군집 각각에 포함된 포인트들을 이용하여 적어도 하나의 직선을 생성하고, 상기 적어도 하나의 직선에 대한 인라이어 포인트를 이용하여 상기 적어도 하나의 군집 각각의 평면성을 판단할 수 있다.
보다 자세하게는, 평면성 객체 결정부(230)는 적어도 하나의 군집 각각에 포함된 복수의 포인트들을 2차원 평면으로 투영하고, 복수의 포인트들을 라인 피팅하기 위한 하나의 직선을 생성할 수 있다.
즉, 평면성 객체 결정부(230)는 2차원 평면으로 투영된 복수의 포인트들 중에서 랜덤으로 포인트 쌍을 선정하고, 선정된 포인트 쌍을 연결하여 직선을 생성할 수 있다.
평면성 객체 결정부(230)는 생성된 직선과, 선정된 포인트 쌍과 동일한 군집에 포함된 포인트들 각각과의 거리를 계산하고, 포인트들 중에서 계산된 거리가 기 설정된 제2 기준 거리 이하인 인라이어(inlier) 포인트를 결정할 수 있다.
평면성 객체 결정부(230)는 하나의 군집 내에서 서로 다른 포인트 쌍을 복수 회(예컨대, 복수의 포인트들 중에서 2개의 포인트들을 선택하는 횟수) 선정하고, 선정된 포인트 쌍 별로 직선에 대한 인라이어 포인트를 결정할 수 있다.
평면성 객체 결정부(230)는 포인트 쌍을 연결한 직선들 중에서 인라이어 포인트의 수가 가장 많은 직선을 해당 군집 내의 대표 직선으로 선정할 수 있다.
예컨대, 도 5는 본 발명의 실시예에 따른 평면성 객체 결정부(230)에서 군집 내의 대표 직선을 선정한 결과의 일 예시를 나타낸다.
도 5를 더 참조하면, 평면성 객체 결정부(230)는 군집 별로 대표 직선을 선정하고, 선정한 대표 직선들(L1, L2, L3, …)을 표시할 수 있다.
평면성 객체 결정부(230)는 상기 대표 직선에 대한 인라이어 포인트의 수와 해당 군집에 포함된 포인트들 전체의 수를 비교하고, 비교 결과에 기초하여 해당 군집이 나타내는 객체는 평면성을 가진다고(즉, 평면성 객체라고) 결정할 수 있다.
실시예에 따라, 평면성 객체 결정부(230)는 상기 대표 직선에 대한 인라이어 포인트의 수와 해당 군집에 포함된 포인트들 전체의 수의 비율이 기 설정된 기준 비율 이상인 경우, 해당 군집이 나타내는 객체는 평면성 객체라고 결정할 수 있다.
예컨대, 도 6은 본 발명의 실시예에 따른 평면성 객체 결정부(230)에서 평면성 객체를 결정한 결과의 일 예시를 나타낸다.
도 6을 더 참조하면, 평면성 객체 결정부(230)는 군집에 포함된 포인트들 전체의 수와 군집의 대표 직선에 대한 인라이어 포인트의 수의 비율에 기초하여, 평면성 객체(PO)를 결정하고, 색깔 등을 이용하여 평면성 객체(PO)가 다른 대표 직선들(L1, L2, L3, …)과 구분되도록 표시할 수 있다.
이후, 이정표 검출부(240)는 기 설정된 기준 각도, 기준 크기 및 제2 기준 높이 중에서 적어도 하나에 기초하여, 적어도 하나의 평면성 객체 중에서 이정표에 해당하는 이정표 객체를 검출할 수 있다.
예컨대, 이정표 검출부(240)는 상기 적어도 하나의 평면성 객체 중에서 상기 상기 기준 각도 및 상기 기준 크기를 만족하는 평면성 객체를 상기 이정표 객체로 결정하거나, 상기 기준 각도, 상기 기준 크기 및 상기 제2 기준 높이를 모두 만족하는 평면성 객체를 상기 이정표 객체로 결정할 수 있다.
먼저, 상기 기준 각도의 만족 여부를 판단하는 방법에 대해서 살펴보면, 일반적으로 이정표는 이동하는 차량을 바라보도록 설치되며, 상기 적어도 하나의 평면성 객체 각각은 기 투영된 2차원 평면을 이용하여 평면으로 나타내어질 수 있다.
따라서, 이정표 검출부(240)는 상기 기준 각도와 상기 적어도 하나의 평면성 객체를 비교하기 위해, 2차원 평면으로 나타내어지는 평면성 객체의 법선 벡터와, 차량의 이동 방향 사이의 각도 차이가 상기 기준 각도 이하인지 여부를 판단할 수 있다. 예컨대, 상기 기준 각도는 20°일 수 있다.
이정표 검출부(240)는, 법선 벡터와 차량의 이동 방향 사이의 각도 차이가 상기 기준 각도보다 큰 평면성 객체는 이정표 객체에 해당하지 않는다고 판단할 수 있다.
또한, 상기 기준 크기 및/또는 제2 기준 높이의 만족 여부를 판단하는 방법에 대해서 살펴보면, 이정표 검출부(240)는 상기 기준 크기 및 상기 제2 기준 높이를 만족하지 않는 평면성 객체는 이정표 객체에 해당하지 않는다고 판단할 수 있다. 실시예에 따라, 상기 기준 크기는 평면성 객체의 세로 길이 및 가로 길이를 포함하고, 상기 제2 기준 높이는 상기 평면성 객체의 아랫변의 높이를 의미할 수 있다.
이를 위해, 이정표 검출부(240)는 평면성 객체에 포함된 포인트들의 위치를 이용하여, 평면성 객체의 크기와 높이를 결정하고, 평면성 객체의 크기와 상기 기준 크기를 비교하고, 평면성 객체의 높이와 상기 제2 기준 높이를 비교할 수 있다.
보다 자세하게는, 이정표 검출부(240)는 평면성 객체의 크기(즉, 세로 길이 및 가로 길이)와 높이를 결정하기 위해, 평면성 객체(또는 평면성 객체를 포함하는 소정의 영역)를 소정의 높이 간격에 따라 복수의 영역들로 분할하고, 평면성 객체에 포함된 포인트들 각각의 위치에 따라, 상기 포인트들을 상기 복수의 영역들 중에서 어느 하나로 분류할 수 있다.
이정표 검출부(240)는 상기 복수의 영역들 중에서, 포함된 포인트들 사이의 가로 방향(즉, 횡 방향) 최대 거리가 소정의 제3 기준 거리 이상인 영역들을 검출할 수 있다. 즉, 이정표 검출부(240)는, 상기 복수의 영역들 각각에 대해, 포함된 포인트들 중에서 가장 왼쪽에 위치하는 포인트와 가장 오른쪽에 위치하는 포인트 사이의 횡방향 거리를 계산하고, 계산한 가로 방향 거리가 상기 제3 기준 거리 이상인 영역들을 검출할 수 있다.
이정표 검출부(240)는 검출한 영역들에 포함된 포인트들의 위치를 이용하여, 검출한 영역들에 포함된 포인트들 중에서 가장 왼쪽에 위치하는 제1 포인트(즉, 가로 방향 위치 값이 가장 작은 포인트), 가장 오른쪽에 위치하는 제2 포인트(즉, 가로 방향 위치 값이 가장 큰 포인트), 가장 아래쪽에 위치하는 제3 포인트(즉, 세로 방향 위치 값이 가장 작은 포인트) 및 가장 위쪽에 위치하는 제4 포인트(즉, 세로 방향 위치 값이 가장 큰 포인트)를 결정할 수 있다.
이정표 검출부(240)는 상기 제1 포인트의 위치, 상기 제2 포인트의 위치, 상기 제3 포인트의 위치 및 상기 제4 포인트의 위치를 이용하여, 평면성 객체의 크기와 높이를 결정할 수 있다. 즉, 이정표 검출부(240)는 상기 제2 포인트의 가로 방향 위치 값과 상기 제1 포인트의 가로 방향 위치 값의 차이를 평면성 객체의 가로 길이로 결정하고, 상기 제4 포인트의 세로 방향 위치 값과 상기 제3 포인트의 세로 방향 위치 값의 차이를 평면성 객체의 세로 길이로 결정하고, 상기 제3 포인트의 세로 방향 위치 값을 상기 평면성 객체의 높이로 결정할 수 있다.
예컨대, 도 7은 이정표 검출부(240)에서 평면성 객체의 크기와 높이를 결정하는 방법을 나타낸다.
도 7을 더 참조하면, 이정표 검출부(240)는 소정의 높이 간격(HP)에 따라 평면성 객체(PO)를 복수의 영역들(R1, R2, R3, R4, R5, R6, R7, R8 및 R9)로 분할하고, 평면성 객체(PO)에 포함된 포인트들 각각을 복수의 영역들(R1, R2, R3, R4, R5, R6, R7, R8 및 R9) 중에서 어느 하나로 분류할 수 있다.
이정표 검출부(240)는 복수의 영역들(R1, R2, R3, R4, R5, R6, R7, R8 및 R9) 중에서, 포함된 포인트들 사이의 가로 방향 최대 거리가 제3 기준 거리 이상인 제3 영역(R3), 제7 영역(R7) 및 제9 영역(R9)을 검출할 수 있다.
이정표 검출부(240)는 제3 영역(R3), 제7 영역(R7) 및 제9 영역(R9)에 포함된 포인트들의 위치를 이용하여, 제3 영역(R3), 제7 영역(R7) 및 제9 영역(R9)에 포함된 포인트들 중에서 가장 왼쪽에 위치하는 제1 포인트(P1), 가장 오른쪽에 위치하는 제2 포인트(P2), 가장 아래쪽에 위치하는 제3 포인트(P3) 및 가장 위쪽에 위치하는 제4 포인트(P4)를 결정하고, 제2 포인트(P2)의 가로 방향 위치 값과 제1 포인트(P1)의 가로 방향 위치 값의 차이를 평면성 객체(PO)의 가로 길이로 결정하고, 제4 포인트(P4)의 세로 방향 위치 값과 제3 포인트(P3)의 세로 방향 위치 값의 차이를 평면성 객체(P0)의 세로 길이로 결정하고, 제3 포인트(P3)의 세로 방향 위치 값과 지면에 해당하는 세로 방향 위치 값의 차이를 상기 평면성 객체의 높이로 결정할 수 있다.
이정표 검출부(240)는 결정한 평면성 객체의 크기가 상기 기준 크기를 만족하는지 여부를 판단하고, 결정한 평면성 객체의 높이가 상기 제2 기준 높이를 만족하는지 여부를 판단할 수 있다.
또한, 일반적으로 상기 이정표의 크기 및 위치는 차량이 운행하는 지역에서 정해지는 규격에 따라 결정될 수 있다.
따라서, 이정표 검출부(240)는 2차원 평면으로 나타내어지는 평면성 객체의 크기 및 위치가, 상기 규격에 따라 결정된 기준 크기 및 제2 기준 높이를 만족하는지 여부를 판단할 수 있다.
예컨대, 대한민국의 경우, 현재 왕복 2차로인 경우 이정표의 가로 길이는 360cm 이상이고, 이정표의 세로 길이는 220cm 이상이어야 하며, 왕복 4차로 이상의 경우 이정표의 가로 길이는 400cm 이상이고, 이정표의 세로 길이는 250cm 이상이어야 한다. 따라서, 차량이 대한민국에서 운행 중인 경우, 이정표 검출부(240)는, 상기 규격에 따라, 상기 적어도 하나의 평면성 객체의 가로 길이가 5 미터 이내이고, 세로 길이가 3 미터 이내인지 여부를 판단할 수 있다.
예컨대, 도 8은 본 발명의 실시예에 따른 이정표 검출부(240)에서 이정표 객체를 결정한 결과의 일 예시를 나타낸다.
도 8을 더 참조하면, 이정표 검출부(240)는 기 설정된 기준 각도, 기준 크기 및 제2 기준 높이 중에서 적어도 하나에 기초하여, 적어도 하나의 평면성 객체 중에서 이정표에 해당하는 이정표 객체를 검출하고, 라인 피팅을 이용하여 결정한 이정표 객체의 외곽선(SO)을 표시할 수 있다.
마지막으로, 이정표 추적부(250)는 이정표 검출의 안정화를 위해, 현재 프레임에서의 검출 결과를 이전 프레임에서의 검출 결과와 비교하고, 비교 결과에 따라, 현재 프레임에서 검출된 제1 이정표 객체와 이전 프레임에서 검출된 제2 이정표 객체의 동일 여부를 결정할 수 있다.
보다 자세하게는, 이정표 추적부(250)는 상기 제1 이정표 객체의 크기 및 위치를, 상기 제2 이정표 객체의 크기 및 위치와 비교할 수 있다. 예컨대, 비교 결과, 크기의 차이가 기 설정된 제1 범위 이내이고, 위치의 차이가 기 설정된 제2 범위 이내인 경우, 이정표 추적부(250)는 상기 제1 이정표 객체는 상기 제2 이정표 객체와 동일하다고 결정할 수 있다.
실시예에 따라, 상기 제1 범위 및 상기 제2 범위 중에서 적어도 하나는 차량의 운행 속도에 따라 결정될 수 있다. 즉, 상기 제1 범위 및 상기 제2 범위 중에서 적어도 하나는 가변적일 수 있다.
상기 제1 이정표 객체가 상기 제2 이정표 객체와 동일한 경우, 이정표 추적부(250)는 상기 제1 이정표 객체의 ID를 상기 제2 이정표 객체의 ID와 동일하게 설정할 수 있다.
도 9는 본 발명의 실시예에 따라 이정표 검출 장치가 이정표를 검출하는 방법을 나타내는 흐름도이다.
도 1, 도 2 및 도 9를 참조하면, 포인트 데이터 수신부(210)가 복수의 포인트들을 포함하는 포인트 데이터를 라이다 센서(20)로부터 획득하면(S900), 포인트 군집화부(220)는 상기 복수의 포인트들을 군집화하여, 적어도 하나의 군집을 생성할 수 있다(S910).
이후, 평면성 객체 결정부(230)는 적어도 하나의 군집 각각에 포함된 포인트들을 이용하여 적어도 하나의 직선을 생성하고, 상기 적어도 하나의 직선에 대한 인라이어 포인트를 이용하여 상기 적어도 하나의 군집 중에서 평면성 객체에 해당하는 군집을 결정할 수 있다(S920).
그리고, 이정표 검출부(240)는 기 설정된 기준 각도, 기준 크기 및 제2 기준 높이 중에서 적어도 하나에 기초하여, 적어도 하나의 평면성 객체 중에서 이정표에 해당하는 이정표 객체를 검출할 수 있다(S930).
마지막으로, 이정표 추적부(250)는 현재 프레임에서 검출된 제1 이정표 객체의 크기 및 위치와 이전 프레임에서 검출된 제2 이정표 객체의 크기 및 위치를 이용하여, 제1 이정표 객체와 제2 이정표 객체의 동일 여부를 결정할 수 있다(S940).
본 발명의 실시예에 의하면, 라이다 센서를 이용하여 이정표를 검출함으로써, 큰 조도 변화, 야간 또는 우천과 같은 환경의 변화에 강인하게 도로 상의 이정표를 검출할 수 있다.
또한, 본 발명의 실시예에 의하면, 이정표와 차량 사이의 종 방향 거리를 정확하게 제공함으로써, 차량의 위치 추정을 보다 정밀하게 수행할 수 있다.
또한, 본 발명의 실시예에 의하면, 라이다 센서를 이용하여 차량과 이정표 사이의 실제 거리를 측정함으로써, 이정표의 3차원 위치를 보다 정확하게 측정할 수 있다.
본 발명에 첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 인코딩 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 인코딩 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방법으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 품질에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
10: 이정표 검출 시스템
20: 라이다 센서
100: 이정표 검출 장치
200: 이정표 검출 프로그램
210: 포인트 데이터 수신부
220: 포인트 군집화부
230: 평면성 객체 결정부
240: 이정표 검출부
250: 이정표 추적부

Claims (19)

  1. 이정표 검출 장치에 의해 수행되는 이정표를 검출하는 방법에 있어서,
    라이다 센서로부터, 상기 라이다 센서의 주변을 검색한 포인트 데이터를 획득하는 단계;
    상기 포인트 데이터에 포함된 복수의 포인트들 각각의 위치를 이용하여, 상기 복수의 포인트들을 군집화하는 단계;
    상기 복수의 포인트들을 군집화한 적어도 하나의 군집 중에서 평면성 객체에 해당하는 평면성 객체 군집을 결정하는 단계; 및
    기 설정된 이정표 검출 기준에 기초하여, 상기 평면성 객체 군집 중에서 상기 이정표에 해당하는 이정표 객체 군집을 검출하는 단계를 포함하고,
    상기 이정표 검출 기준은 기준 크기 및 제2 기준 높이 중에서 적어도 하나를 포함하고,
    상기 이정표 객체 군집을 검출하는 단계는,
    상기 평면성 객체 군집을 소정의 간격에 따라 복수의 영역들로 분할하는 단계;
    상기 복수의 영역들 각각에 포함된 포인트들 중에서 가로 방향 위치 값이 가장 큰 제1 포인트와 상기 가로 방향 위치 값이 가장 작은 제2 포인트 사이의 가로 방향 거리에 기초하여, 상기 복수의 영역들 중에서 이정표 검출 영역을 선택하는 단계; 및
    상기 이정표 검출 영역들에 포함된 포인트들의 위치를 이용하여, 상기 평면성 객체 군집이 상기 기준 크기 및 상기 제2 기준 높이 중에서 상기 이정표 검출 기준에 포함된 적어도 하나를 만족하는지 여부를 판단하는 단계를 포함하고,
    상기 이정표 검출 기준에 상기 기준 크기가 포함된 경우, 상기 평면성 객체 군집이 상기 기준 크기 및 상기 제2 기준 높이 중에서 상기 이정표 검출 기준에 포함된 적어도 하나를 만족하는지 여부를 판단하는 단계는,
    상기 이정표 검출 영역들에 포함된 포인트들 중에서, 가로 방향 위치 값이 가장 작은 제3 포인트, 상기 가로 방향 위치 값이 가장 큰 제4 포인트, 세로 방향 위치 값이 가장 작은 제5 포인트 및 상기 세로 방향 위치 값이 가장 큰 제6 포인트를 결정하는 단계; 및
    상기 제3 포인트의 가로 방향 위치 값과 상기 제4 포인트의 가로 방향 위치 값의 차이와, 상기 제5 포인트의 세로 방향 위치 값 및 상기 제6 포인트의 세로 방향 위치 값의 차이에 기초하여, 상기 평면성 객체 군집이 상기 기준 크기를 만족하는지 여부를 판단하는 단계를 포함하는
    이정표를 검출하는 방법.
  2. 이정표 검출 장치에 의해 수행되는 이정표를 검출하는 방법에 있어서,
    라이다 센서로부터, 상기 라이다 센서의 주변을 검색한 포인트 데이터를 획득하는 단계;
    상기 포인트 데이터에 포함된 복수의 포인트들 각각의 위치를 이용하여, 상기 복수의 포인트들을 군집화하는 단계;
    상기 복수의 포인트들을 군집화한 적어도 하나의 군집 중에서 평면성 객체에 해당하는 평면성 객체 군집을 결정하는 단계; 및
    기 설정된 이정표 검출 기준에 기초하여, 상기 평면성 객체 군집 중에서 상기 이정표에 해당하는 이정표 객체 군집을 검출하는 단계를 포함하고,
    상기 이정표 검출 기준은 기준 크기 및 제2 기준 높이 중에서 적어도 하나를 포함하고,
    상기 이정표 객체 군집을 검출하는 단계는,
    상기 평면성 객체 군집을 소정의 간격에 따라 복수의 영역들로 분할하는 단계;
    상기 복수의 영역들 각각에 포함된 포인트들 중에서 가로 방향 위치 값이 가장 큰 제1 포인트와 상기 가로 방향 위치 값이 가장 작은 제2 포인트 사이의 가로 방향 거리에 기초하여, 상기 복수의 영역들 중에서 이정표 검출 영역을 선택하는 단계; 및
    상기 이정표 검출 영역들에 포함된 포인트들의 위치를 이용하여, 상기 평면성 객체 군집이 상기 기준 크기 및 상기 제2 기준 높이 중에서 상기 이정표 검출 기준에 포함된 적어도 하나를 만족하는지 여부를 판단하는 단계를 포함하고,
    상기 이정표 검출 기준에 상기 제2 기준 높이가 포함된 경우, 상기 평면성 객체 군집이 상기 기준 크기 및 상기 제2 기준 높이 중에서 상기 이정표 검출 기준에 포함된 적어도 하나를 만족하는지 여부를 판단하는 단계는,
    상기 이정표 검출 영역들에 포함된 포인트들 중에서, 세로 방향 위치 값이 가장 작은 제7 포인트를 결정하는 단계; 및
    상기 제7 포인트의 세로 방향 위치 값에 기초하여, 상기 평면성 객체 군집이 상기 제2 기준 높이를 만족하는지 여부를 판단하는 단계를 포함하는
    이정표를 검출하는 방법.
  3. 제1 항 또는 제2 항에 있어서,
    상기 복수의 포인트들을 군집화하는 단계는,
    상기 복수의 포인트들 중에서 높이가 기 설정된 제1 기준 높이 이상인 이정표 후보 포인트들을 구분하는 단계; 및
    상기 이정표 후보 포인트들의 위치를 이용하여 상기 이정표 후보 포인트들을 군집화하는 단계를 포함하는
    이정표를 검출하는 방법.
  4. 제3 항에 있어서,
    상기 이정표 후보 포인트들을 군집화하는 단계는,
    상기 이정표 후보 포인트들 중에서 거리가 기 설정된 제1 기준 거리 이하인 포인트들을 연결하는 단계; 및
    서로 연결된 포인트들이 하나의 군집에 포함되도록 상기 이정표 후보 포인트들을 군집화하는 단계를 포함하는
    이정표를 검출하는 방법.
  5. 제1 항 또는 제2 항에 있어서,
    상기 평면성 객체에 해당하는 평면성 객체 군집을 결정하는 단계는,
    상기 적어도 하나의 군집 중에서 제1 군집에 포함된 적어도 하나의 포인트 쌍을 잇는 적어도 하나의 직선을 생성하는 단계; 및
    상기 적어도 하나의 직선 각각에 대한 인라이어 포인트를 이용하여, 상기 제1 군집이 상기 평면성 객체 군집에 해당하는지 여부를 결정하는 단계를 포함하는
    이정표를 검출하는 방법.
  6. 제5 항에 있어서,
    상기 제1 군집이 상기 평면성 객체 군집에 해당하는지 여부를 결정하는 단계는,
    상기 적어도 하나의 직선 중에서 인라이어 포인트의 개수가 가장 많은 대표 직선을 선정하는 단계; 및
    상기 대표 직선에 대한 인라이어 포인트의 개수와 상기 제1 군집에 포함된 포인트들의 개수의 비율이 기 설정된 기준 비율 이상인 경우, 상기 제1 군집은 상기 평면성 객체 군집에 해당한다고 결정하는 단계를 포함하는
    이정표를 검출하는 방법.
  7. 제1 항 또는 제2 항에 있어서,
    상기 이정표 검출 기준은 기준 각도를 더 포함하는
    이정표를 검출하는 방법.
  8. 제7 항에 있어서,
    상기 이정표 객체 군집을 검출하는 단계는,
    상기 이정표 검출 기준이 상기 기준 각도를 포함하는 경우, 상기 평면성 객체 군집이 나타내는 객체의 법선 벡터와, 상기 이정표 검출 장치가 장착된 차량의 이동 방향 사이의 각도 차이가 상기 기준 각도 이하인지 여부를 판단하는 단계를 포함하는
    이정표를 검출하는 방법.
  9. 삭제
  10. 삭제
  11. 삭제
  12. 삭제
  13. 제1 항 또는 제2 항에 있어서,
    상기 포인트 데이터를 획득하는 단계, 상기 복수의 포인트들을 군집화하는 단계, 상기 평면성 객체에 해당하는 평면성 객체 군집을 결정하는 단계 및 상기 이정표에 해당하는 이정표 객체 군집을 검출하는 단계는 프레임 단위로 수행되고,
    현재 프레임에서 검출된 제1 이정표 객체 군집이 나타내는 제1 이정표 객체의 크기 및 위치 중에서 적어도 하나와 직전 프레임에서 검출된 제2 이정표 객체 군집이 나타내는 제2 이정표 객체의 크기 및 위치 중에서 적어도 하나의 비교 결과에 기초하여, 상기 제1 이정표 객체와 상기 제2 이정표 객체의 동일성을 판단하는 단계를 더 포함하는
    이정표를 검출하는 방법.
  14. 이정표를 검출하는 이정표 검출 장치에 있어서,
    라이다 센서로부터, 상기 라이다 센서 주변을 검색한 포인트 데이터를 획득하는 송수신기; 및
    상기 송수신기를 제어하는 프로세서를 포함하고,
    상기 프로세서는,
    상기 포인트 데이터에 포함된 복수의 포인트들 각각의 위치를 이용하여, 상기 복수의 포인트들을 군집화하고, 상기 복수의 포인트들을 군집화한 적어도 하나의 군집 중에서 평면성 객체에 해당하는 평면성 객체 군집을 결정하고, 기 설정된 이정표 검출 기준에 기초하여, 상기 평면성 객체 군집 중에서 상기 이정표에 해당하는 이정표 객체 군집을 검출하고,
    상기 프로세서는, 상기 이정표 검출 기준에 기준 크기가 포함되는 경우,
    상기 평면성 객체 군집을 소정의 간격에 따라 복수의 영역들로 분할하고,
    상기 복수의 영역들 각각에 포함된 포인트들 중에서 가로 방향 위치 값이 가장 큰 제1 포인트와 상기 가로 방향 위치 값이 가장 작은 제2 포인트 사이의 가로 방향 거리에 기초하여, 상기 복수의 영역들 중에서 이정표 검출 영역을 선택하고,
    상기 이정표 검출 영역 각각에 포함된 포인트들 중에서, 가로 방향 위치 값이 가장 작은 제3 포인트, 상기 가로 방향 위치 값이 가장 큰 제4 포인트, 세로 방향 위치 값이 가장 작은 제5 포인트 및 상기 세로 방향 위치 값이 가장 큰 제6 포인트를 결정하고,
    상기 제3 포인트의 가로 방향 위치 값과 상기 제4 포인트의 가로 방향 위치 값의 차이와, 상기 제5 포인트의 세로 방향 위치 값 및 상기 제6 포인트의 세로 방향 위치 값의 차이에 기초하여, 상기 평면성 객체 군집이 상기 기준 크기를 만족하는지 여부를 판단하는
    이정표 검출 장치.
  15. 주변을 검색한 포인트 데이터를 획득하는 라이다 센서; 및
    상기 포인트 데이터에 포함된 복수의 포인트들 각각의 위치를 이용하여, 상기 복수의 포인트들을 군집화하고, 상기 복수의 포인트들을 군집화한 적어도 하나의 군집 중에서 평면성 객체에 해당하는 평면성 객체 군집을 결정하고, 기 설정된 이정표 검출 기준에 기초하여, 상기 평면성 객체 군집 중에서 이정표에 해당하는 이정표 객체 군집을 검출하는 이정표 검출 장치를 포함하고,
    상기 이정표 검출 장치는, 상기 이정표 검출 기준에 기준 크기가 포함되는 경우,
    상기 평면성 객체 군집을 소정의 간격에 따라 복수의 영역들로 분할하고,
    상기 복수의 영역들 각각에 포함된 포인트들 중에서 가로 방향 위치 값이 가장 큰 제1 포인트와 상기 가로 방향 위치 값이 가장 작은 제2 포인트 사이의 가로 방향 거리에 기초하여, 상기 복수의 영역들 중에서 이정표 검출 영역을 선택하고,
    상기 이정표 검출 영역 각각에 포함된 포인트들 중에서, 가로 방향 위치 값이 가장 작은 제3 포인트, 상기 가로 방향 위치 값이 가장 큰 제4 포인트, 세로 방향 위치 값이 가장 작은 제5 포인트 및 상기 세로 방향 위치 값이 가장 큰 제6 포인트를 결정하고,
    상기 제3 포인트의 가로 방향 위치 값과 상기 제4 포인트의 가로 방향 위치 값의 차이와, 상기 제5 포인트의 세로 방향 위치 값 및 상기 제6 포인트의 세로 방향 위치 값의 차이에 기초하여, 상기 평면성 객체 군집이 상기 기준 크기를 만족하는지 여부를 판단하는
    이정표 검출 시스템.
  16. 컴퓨터 프로그램을 저장하고 있는 컴퓨터 판독 가능 기록매체로서,
    상기 컴퓨터 프로그램은,
    제1 항 또는 제2 항에 따른 방법을 프로세서가 수행하도록 하기 위한 명령어를 포함하는
    컴퓨터 판독 가능한 기록매체.
  17. 컴퓨터 판독 가능한 기록매체에 저장되어 있는 컴퓨터 프로그램으로서,
    상기 컴퓨터 프로그램은,
    제1 항 또는 제2 항에 따른 방법을 프로세서가 수행하도록 하기 위한 명령어를 포함하는
    컴퓨터 프로그램.
  18. 이정표를 검출하는 이정표 검출 장치에 있어서,
    라이다 센서로부터, 상기 라이다 센서 주변을 검색한 포인트 데이터를 획득하는 송수신기; 및
    상기 송수신기를 제어하는 프로세서를 포함하고,
    상기 프로세서는,
    상기 포인트 데이터에 포함된 복수의 포인트들 각각의 위치를 이용하여, 상기 복수의 포인트들을 군집화하고, 상기 복수의 포인트들을 군집화한 적어도 하나의 군집 중에서 평면성 객체에 해당하는 평면성 객체 군집을 결정하고, 기 설정된 이정표 검출 기준에 기초하여, 상기 평면성 객체 군집 중에서 상기 이정표에 해당하는 이정표 객체 군집을 검출하고,
    상기 프로세서는, 상기 이정표 검출 기준에 제2 기준 높이가 포함되는 경우,
    상기 평면성 객체 군집을 소정의 간격에 따라 복수의 영역들로 분할하고,
    상기 복수의 영역들 각각에 포함된 포인트들 중에서 가로 방향 위치 값이 가장 큰 제1 포인트와 상기 가로 방향 위치 값이 가장 작은 제2 포인트 사이의 가로 방향 거리에 기초하여, 상기 복수의 영역들 중에서 이정표 검출 영역을 선택하고,
    상기 이정표 검출 영역 각각에 포함된 포인트들 중에서, 세로 방향 위치 값이 가장 작은 제7 포인트를 결정하고,
    상기 제7 포인트의 세로 방향 위치 값에 기초하여, 상기 평면성 객체 군집이 상기 제2 기준 높이를 만족하는지 여부를 판단하는
    이정표 검출 장치.
  19. 주변을 검색한 포인트 데이터를 획득하는 라이다 센서; 및
    상기 포인트 데이터에 포함된 복수의 포인트들 각각의 위치를 이용하여, 상기 복수의 포인트들을 군집화하고, 상기 복수의 포인트들을 군집화한 적어도 하나의 군집 중에서 평면성 객체에 해당하는 평면성 객체 군집을 결정하고, 기 설정된 이정표 검출 기준에 기초하여, 상기 평면성 객체 군집 중에서 이정표에 해당하는 이정표 객체 군집을 검출하는 이정표 검출 장치를 포함하고,
    상기 이정표 검출 장치는, 상기 이정표 검출 기준에 제2 기준 높이가 포함되는 경우,
    상기 평면성 객체 군집을 소정의 간격에 따라 복수의 영역들로 분할하고,
    상기 복수의 영역들 각각에 포함된 포인트들 중에서 가로 방향 위치 값이 가장 큰 제1 포인트와 상기 가로 방향 위치 값이 가장 작은 제2 포인트 사이의 가로 방향 거리에 기초하여, 상기 복수의 영역들 중에서 이정표 검출 영역을 선택하고,
    상기 이정표 검출 영역 각각에 포함된 포인트들 중에서, 세로 방향 위치 값이 가장 작은 제7 포인트를 결정하고,
    상기 제7 포인트의 세로 방향 위치 값에 기초하여, 상기 평면성 객체 군집이 상기 제2 기준 높이를 만족하는지 여부를 판단하는
    이정표 검출 시스템.
KR1020210115122A 2021-08-30 2021-08-30 라이다 센서를 이용하여 이정표를 검출하는 방법 및 상기 방법을 수행하는 이정표 검출 장치 KR102426583B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020210115122A KR102426583B1 (ko) 2021-08-30 2021-08-30 라이다 센서를 이용하여 이정표를 검출하는 방법 및 상기 방법을 수행하는 이정표 검출 장치
US17/462,377 US20230069691A1 (en) 2021-08-30 2021-08-31 Method for detecting traffic sign using lidar sensor and traffic sign detection device performing the method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210115122A KR102426583B1 (ko) 2021-08-30 2021-08-30 라이다 센서를 이용하여 이정표를 검출하는 방법 및 상기 방법을 수행하는 이정표 검출 장치

Publications (1)

Publication Number Publication Date
KR102426583B1 true KR102426583B1 (ko) 2022-07-29

Family

ID=82606335

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210115122A KR102426583B1 (ko) 2021-08-30 2021-08-30 라이다 센서를 이용하여 이정표를 검출하는 방법 및 상기 방법을 수행하는 이정표 검출 장치

Country Status (2)

Country Link
US (1) US20230069691A1 (ko)
KR (1) KR102426583B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102540636B1 (ko) * 2022-10-27 2023-06-13 주식회사 모빌테크 방향 정보를 포함한 지도 생성 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190043035A (ko) * 2017-10-17 2019-04-25 현대자동차주식회사 라이다 데이터 기반 객체 검출 장치, 그를 포함한 시스템 및 그 방법
KR20190078890A (ko) * 2017-12-27 2019-07-05 삼성전자주식회사 그리드 기반의 평면 추정 방법 및 장치
JP6787389B2 (ja) * 2016-02-26 2020-11-18 株式会社ニコン 検出装置、検出システム、検出方法、情報処理装置、及び処理プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6787389B2 (ja) * 2016-02-26 2020-11-18 株式会社ニコン 検出装置、検出システム、検出方法、情報処理装置、及び処理プログラム
KR20190043035A (ko) * 2017-10-17 2019-04-25 현대자동차주식회사 라이다 데이터 기반 객체 검출 장치, 그를 포함한 시스템 및 그 방법
KR20190078890A (ko) * 2017-12-27 2019-07-05 삼성전자주식회사 그리드 기반의 평면 추정 방법 및 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102540636B1 (ko) * 2022-10-27 2023-06-13 주식회사 모빌테크 방향 정보를 포함한 지도 생성 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램

Also Published As

Publication number Publication date
US20230069691A1 (en) 2023-03-02

Similar Documents

Publication Publication Date Title
US11748947B2 (en) Display method and display device for providing surrounding information based on driving condition
US20210101616A1 (en) Systems and methods for vehicle navigation
AU2017300097B2 (en) Crowdsourcing and distributing a sparse map, and lane measurements for autonomous vehicle navigation
EP3137850B1 (en) Method and system for determining a position relative to a digital map
US8134480B2 (en) Image processing system and method
JP7165201B2 (ja) 認識装置
EP4296721A2 (en) Generating 3-dimensional maps of a scene using passive and active measurements
RU2661963C1 (ru) Устройство вычисления маршрута движения
KR20190008292A (ko) 물체 검출 방법 및 물체 검출 장치
JP6568437B2 (ja) 区画線認識装置
KR102367138B1 (ko) 라이다 센서를 이용하여 횡단보도를 검출하는 방법 및 상기 방법을 수행하는 횡단보도 검출 장치
CN108291814A (zh) 用于在环境中点精确地定位机动车的方法、设备、地图管理装置和系统
WO2022229704A2 (en) Multi-frame image segmentation
JP7043765B2 (ja) 車両走行制御方法及び装置
KR20230020934A (ko) 효율적인 차량 크기 추정을 위한 시스템 및 방법
JP7416114B2 (ja) 表示制御装置および表示制御プログラム
KR102426583B1 (ko) 라이다 센서를 이용하여 이정표를 검출하는 방법 및 상기 방법을 수행하는 이정표 검출 장치
JP2019537018A (ja) 環境モデルを生成するための、および相互センサフィーチャポイント参照を用いてポジショニングするための方法およびシステム
KR102486496B1 (ko) 라이다 센서를 이용하여 노면을 검출하는 방법 및 장치
JP2020086884A (ja) 区画線推定装置、表示制御装置、方法、及びコンピュータ・プログラム
US20230266469A1 (en) System and method for detecting road intersection on point cloud height map
JP6530782B2 (ja) 車両制御装置
KR20200052868A (ko) 자율주행 차량 항법 장치 및 항법
KR102178585B1 (ko) 주변 차량 자세 추정 시스템
JP7241582B2 (ja) 移動体位置検出方法及び移動体位置検出システム

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant