KR102131387B1 - 라이다의 멀티 레이어 데이터를 클러스터링하는 방법 - Google Patents

라이다의 멀티 레이어 데이터를 클러스터링하는 방법 Download PDF

Info

Publication number
KR102131387B1
KR102131387B1 KR1020140175973A KR20140175973A KR102131387B1 KR 102131387 B1 KR102131387 B1 KR 102131387B1 KR 1020140175973 A KR1020140175973 A KR 1020140175973A KR 20140175973 A KR20140175973 A KR 20140175973A KR 102131387 B1 KR102131387 B1 KR 102131387B1
Authority
KR
South Korea
Prior art keywords
objects
clustering
layer
layer data
reference object
Prior art date
Application number
KR1020140175973A
Other languages
English (en)
Other versions
KR20160069847A (ko
Inventor
오영철
신기철
유병용
허명선
Original Assignee
현대자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020140175973A priority Critical patent/KR102131387B1/ko
Publication of KR20160069847A publication Critical patent/KR20160069847A/ko
Application granted granted Critical
Publication of KR102131387B1 publication Critical patent/KR102131387B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S367/00—Communications, electrical: acoustic wave systems and devices
    • Y10S367/907—Coordinate determination

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Mechanical Engineering (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

본 발명은 복수 개의 멀티 레이어 데이터를 하나의 오브젝트로 인지되도록 복수의 융합 과정을 거쳐 최종의 오브젝트의 특징을 추출하는 것을 특징으로 하는 라이다의 멀티 레이어 데이터를 클러스터링하는 방법을 제공한다.
본 발명의 일실시예에 따른 라이다의 멀티 레이어 데이터를 클러스터링하는 방법은 상하 일정 간격별 횡면에 대한 센서 정보를 포함하는 멀티 레이어 데이터를 획득하는 단계, 상기 멀티 레이어 데이터에 대하여 레이어별로 클러스터링 알고리즘을 수행하여 클러스터링하는 단계, 각 레이어별로 클러스터링 되지 않은 상기 멀티 레이어 데이터를 이용하여 클러스터링하는 단계, 각 레이어 별로 클러스터링된 데이터를 이용해서 오브젝트들을 1차 융합하는 단계, 융합된 상기 오브젝트들을 이용하여 오브젝트들의 형상 또는 특징을 추출하는 단계, 추출된 상기 오브젝트들의 형상 또는 특징과 차량 및 가드레일을 포함하는 구성요소에 대한 모델링 기반의 중첩된 오브젝트들을 2차 융합하는 단계 및 융합된 상기 오브젝트들을 이용하여 오브젝트들의 최종 형상 또는 특징을 추출하는 단계를 포함한다.

Description

라이다의 멀티 레이어 데이터를 클러스터링하는 방법{Method for clustering Data of Multi-layer of Lidar}
본 발명은 라이다의 멀티 레이어 데이터를 클러스터링하는 방법에 관한 것으로, 보다 상세하게는 멀티 레이어로 분포되는 오브젝트들의 분류 및 융합 기술에 관한 것이다.
다양한 안전 서비스 지원을 위하여 차량은 주변 관측이 필요하며, 이를 위하여 차량은 주변 관측 장치를 포함하고 있다. 예컨대, 차량은 라이다 센서 장치를 포함하고 있다. 라이다 센서 장치는 전방 등의 일정 방향에 신호를 송출한 후 피드백되는 신호를 분석하여 영상 이미지를 생성할 수 있다. 이 과정에서 라이다 센서 장치는 전방의 상하를 일정 레이어로 구분하고, 각 레이어별로 영상 이미지를 획득하게 된다. 즉 종래 라이다 센서 장치는 멀티 레이어 이미지를 지원한다.
그런데 이러한 멀티 레이어 기준으로 생성된 이미지는 특정 서비스 지원을 위해 판단해야 할 데이터가 상당량 분포하게 되어 여러 가지 문제점을 안고 있다. 이에 따라, 멀티 레이어별 오브젝트들 중 동일 오브젝트에 대한 융합이 필요하다. 이러한 문제 해소를 위하여 종래에는 레이어별 오브젝트들이 오버랩되는 상태를 기준으로 처리하였다. 그러나 단순히 오버랩되는 상태를 기준으로 이미지 처리를 수행할 경우, 오브젝트들 간의 세밀한 구분이 불가능한 문제가 있다. 이러한 문제는 잠재적으로 차량의 위험 예측이나 회피를 어렵게 만드는 문제점을 낳게 된다.
본 발명은 복수 개의 멀티 레이어 데이터를 하나의 오브젝트로 인지되도록 복수의 융합 과정을 거쳐 최종의 오브젝트의 특징을 추출하는 것을 특징으로 하는 라이다의 멀티 레이어 데이터를 클러스터링하는 방법을 제공한다.
본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시예에 의해 보다 분명하게 알게 될 것이다. 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
본 발명의 일실시예에 따른 라이다의 멀티 레이어 데이터를 클러스터링하는 방법은 상하 일정 간격별 횡면에 대한 센서 정보를 포함하는 멀티 레이어 데이터를 획득하는 단계, 상기 멀티 레이어 데이터에 대하여 레이어별로 클러스터링 알고리즘을 수행하여 클러스터링하는 단계, 각 레이어별로 클러스터링 되지 않은 상기 멀티 레이어 데이터를 이용하여 클러스터링하는 단계, 각 레이어 별로 클러스터링된 데이터를 이용해서 오브젝트들을 1차 융합하는 단계, 융합된 상기 오브젝트들을 이용하여 오브젝트들의 형상 또는 특징을 추출하는 단계, 추출된 상기 오브젝트들의 형상 또는 특징과 차량 및 가드레일을 포함하는 구성요소에 대한 모델링 기반의 중첩된 오브젝트들을 2차 융합하는 단계 및 융합된 상기 오브젝트들을 이용하여 오브젝트들의 최종 형상 또는 특징을 추출하는 단계를 포함한다.
또한, 상기 오브젝트들을 1차 융합하는 단계는, 오브젝트들을 클러스터링 하는 단계, 상기 오브젝트들을 정렬하는 단계, 정렬된 상기 오브젝트들 중에 기준 오브젝트를 선정하는 단계, 상기 기준 오브젝트와 다른 오브젝트 간의 중첩 계산을 수행하는 단계, 상기 기준 오브젝트와 특정 오브젝트 간의 중첩이 있는지 여부를 확인하는 단계, 상기 오브젝트들 간의 마할라노비스 거리를 계산하는 단계, 상기 마할라노비스 거리가 사전 정의된 기준값 이하인지 여부를 확인하는 단계 및 상기 오브젝트들을 융합하는 단계를 포함할 수 있다.
또한, 상기 거리를 계산하는 단계는, 상기 오브젝트들 중 가장 큰 크기의 오브젝트를 기준 오브젝트로 선정하는 단계 및 상기 기준 오브젝트와 다른 오브젝트들 간의 마할라노비스 거리를 계산하는 단계를 포함할 수 있다.
또한, 상기 오브젝트들을 2차 융합하는 단계는, 추출된 오브젝트들의 형상과 차량 또는 가드레일을 포함하는 구성요소에 대한 오브젝트들을 이용하여 모델링하는 단계, 모델링된 상기 오브젝트들을 정렬하는 단계, 정렬된 상기 오브젝트들 중에 기준 오브젝트를 선정하는 단계, 상기 기준 오브젝트와 다른 오브젝트 간의 중첩 계산을 수행하는 단계, 상기 기준 오브젝트와 특정 오브젝트 간의 중첩이 있는지 여부를 확인하는 단계 및 상기 중첩이 있으면, 상기 오브젝트들을 융합하고, 모델링 하는 단계를 포함할 수 있다.
또한, 상기 클러스터링 알고리즘은 ABD 클러스터링 알고리즘을 이용하여 클러스터링 할 수 있다.
본 기술은 멀티 레이어 데이터를 하나의 오브젝트로 인지할 수 있도록 클러스터링할 수 있는 기술이다.
아울러, 본 기술은 라이다 센서의 특성에 따라서 오브젝트의 높이 정보를 추출할 수 있고, 라이다의 오브젝트 형상을 인지하여 오브젝트 종류를 파악할 수 있는 기술이다.
도 1은 본 발명의 일실시예에 따른 라이다의 멀티 레이어 데이터를 클러스터링하는 차량 시스템을 개략적으로 나타낸 도면이다.
도 2는 본 발명의 일실시예에 따른 차량 시스템 중 제어모듈의 구성을 보다 상세하게 설명하는 도면이다.
도 3은 본 발명의 일실시예에 따른 오브젝트를 1차 융합하는 방법을 설명하는 도면이다.
도 4는 본 발명의 일실시예에 따른 오브젝트를 2차 융합하는 방법을 설명하는 도면이다.
도 5는 본 발명의 일실시예에 따른 오브젝트 융합을 설명하기 위한 도면이다.
도 6 내지 도 9는 ABD 클러스터링 방법에 따른 브레이크 포인트(Break Point, BP)를 추출하는 방법을 설명하는 도면이다.
상술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술되어 있는 상세한 설명을 통하여 보다 명확해 질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하기로 한다.
도 1은 본 발명의 일실시예에 따른 라이다의 멀티 레이어 데이터를 클러스터링하는 차량 시스템을 개략적으로 나타낸 도면이다.
도 1을 참조하면, 본 발명의 차량 시스템은 라이다 센서(100) 및 제어모듈(110)의 구성을 포함할 수 있다.
이와 같은 구성을 포함하는 본 발명의 차량 시스템은 라이다 센서(100)에 의해 수집된 복수의 멀티 레이어 영상에서 오브젝트를 추출하고, 추출된 오브젝트들 중 융합이 가능한 오브젝트를 융합할 수 있도록 지원한다. 이에 따라, 본 발명의 차량 시스템은 오브젝트가 융합된 이미지를 기반으로 보다 개선된 데이터 처리를 수행하며, 그에 따른 결과를 토대로 안전 서비스 지원을 수행할 수 있다.
라이다(Light Detection And Ranging) 센서(100)는 주변 지형 지물 예컨대 상대 측 차량에 레이저를 발사하고, 상대 측 차량에서 반사된 레이저를 스캐너로 감지한 후 반사되어 되돌아오는 시간을 관측하여 대상물의 거리를 계산할 수 있다. 또한 라이다 센서(100)는 상대 측 차량의 이동 속도를 측정할 수 있다. 즉 라이다 센서(100)는 일정 파라메터 예컨대 차간 거리 및 상대 속도 측정을 위한 센서 정보를 수집할 수 있다. 특히 본 발명의 라이다 센서(100)는 상하로 일정 높이에 횡으로 레이저를 조사하고 그에 따른 피드백 신호를 수집할 수 있다. 이때, 라이다 센서(100)는 복수의 높이에서 횡으로 레이저를 조사하여, 멀티 레이어 형태의 센서 정보를 수집할 수 있다. 라이다 센서(100)가 수집한 센서 정보는 제어모듈(110)에 전달될 수 있다. 이때, 라이다 센서(100)가 전달하는 멀티 레이어 형태의 센서 정보 즉 멀티 레이어 데이터는 복수의 레이어 면에 배치된 복수개의 포인트 정보를 포함할 수 있다.
제어모듈(110)은 라이다 센서(100)에 의해 수집된 멀티 레이어 형태의 센서 정보 예컨대 멀티 레이어 데이터를 수집하고, 이를 기반으로 오브젝트 융합을 수행할 수 있다. 이 과정에서 제어모듈(110)은 데이터 분포도를 고려하여 보다 개선된 오브젝트 구분을 수행하고, 해당 오브젝트 인지를 기반으로 오브젝트 융합을 수행할 수 있다. 이러한 제어모듈(110)은 도 2에 도시된 바와 같은 구성을 통하여 오브젝트 융합을 수행할 수 있다. 한편, 제어모듈(110)은 멀티 레이어 데이터를 오브젝트 융합 이미지로 변환할 수 있다.
도 2는 본 발명의 일실시예에 따른 차량 시스템 중 제어모듈의 구성을 보다 상세하게 설명하는 도면이다.
도 2를 참조하면, 제어모듈(110)은 클러스터링부(10), 오브젝트 1차 융합부(20), 모델링을 위한 특징 추출부(30), 오브젝트 2차 융합부(40) 및 최종 특징 추출부(50)의 구성을 포함할 수 있다.
클러스터링부(10)는 라이다 센서(100)가 전달한 복수개의 포인트로 구성된 멀티 레이어 데이터에서, 복수개의 포인트들을 레이어별로 클러스터링하는 구성이다. 즉, 클러스터링부(10)는 멀티 레이어 데이터에서 각 레이어별로 일정 포인트들을 하나의 그룹으로 클러스터링할 수 있다. 즉, 각 레이어별로 클러스터링 알고리즘(Adaptive Breaking Detection, ABD)을 수행하여 클러스터링을 실시할 수 있고, 각 레이어별로 클러스터링 되지 않은 포인트들을 이용하여 재클러스터링(Re- Clustering)이 가능하다.
구체적으로, 클러스터링 알고리즘은 ABD 클러스터링, K-means 클러스터링 또는 허프변환(Hough Transform, HT) 클러스터링 등을 이용할 수 있다. ABD 클러스터링 방법에 따른 브레이크 포인트(Break Point, BP)를 추출하는 방법을 도 6 내지 9에서 구체적으로 설명하고자 한다.
이를 위하여 클러스터링부(10)는 복수개의 클러스터링 유닛 또는 클러스터링 프로세서로 구성될 수 있다. 복수개의 클러스터링 유닛은 멀티 레이어 데이터에서 각 레이어별로 배치된 포인트들에 대한 클러스터링 과정을 수행할 수 있다.
오브젝트 1차 융합부(20)는 각각의 레이어별로 클러스터링된 오브젝트들을 이용하여 1차적으로 융합한다. 즉, 클러스터링 된 복수의 멀티 레이어 오브젝트들은 클러스터링부(10)를 통해 연산량이 저감된 방식으로 융합될 수 있다.
모델링을 위한 특징 추출부(30)는 1차로 융합된 오브젝트들에 대한 오브젝트의 형상을 추출하는 구성이다.
한편, 도 5를 기준으로, 클러스터링부(10)는 2개의 레이어별로 배치된 복수개의 포인트들을 각각의 레이어별로 클러스터링하여 2개의 오브젝트들(50, 52)로 클러스터링할 수 있다. 이러한 2개의 오브젝트들(50, 52)은 실제 측정값을 나타내고, 차량의 폭과 전장 길이를 고려하여 외곽 형상으로 모델링된 차량 모델(51) 및 수직 구조물에 대한 클러스터링이 어려우므로 측정된 길이에 비례하여 길이를 확장시키고, 폭을 최소화하는 가드레일 모델(53)을 나타낸다.
오브젝트 2차 융합부(40)는 추출된 오브젝트 형상과 차량과 가드레일을 포함하는 구성요소에 대한 경험적 모델링 기반의 오브젝트들을 이용하여 2차로 융합한다.
최종 특징 추출부(50)는 2차로 융합된 오브젝트들에 대한 오브젝트의 형상을 추출하는 구성이다.
도 3은 본 발명의 일실시예에 따른 오브젝트를 1차 융합하는 방법을 설명하는 도면이다.
도 3을 참조하면, 본 발명의 오브젝트 처리 방법은 차량은 센서 정보 수집을 수행할 수 있다. 차량은 오브젝트 융합 적용 요청이 디폴트로 설정되어 있거나, 해당 요청이 스케줄 정보에 따라 발생하는 경우 라이다 센서를 활성화하도록 제어할 수 있다.
그리고, 차량은 라이다 센서를 이용하여 상하 일정 간격 별로 센서 정보를 수집한다. 이에 따라, 차량은 상하 일정 간격별로 적어도 하나의 포인트가 배치된 횡면들로 구성된 멀티 레이어 데이터를 획득할 수 있다.
다음으로, 차량의 제어모듈은 레이어별 포인트 클러스터링을 수행할 수 있다(S300). 즉, 제어모듈은 라이더 센서가 전달한 멀티 레이어 데이터에 대하여, 각 레이어별로 배치된 포인트들의 클러스터링을 수행할 수 있다. 이 과정에서 제어 모듈은 데이터들의 분포도 특성을 고려하여 데이터 클러스터링을 수행할 수 있다.
다음에는, 제어모듈은 오브젝트 정렬을 수행할 수 있다(S310). 이때, 제어모듈은 오브젝트들을 크기 순으로 정렬할 수 있다. 특히, 제어모듈은 N개의 오브젝트에 대하여 내림차순 정렬을 수행할 수 있다. 크기 정렬이 완료되면, 제어모듈은 기준 오브젝트를 선정할 수 있다(S320). 기준 오브젝트는 예컨대 오브젝트들 중 가장 큰 크기를 가지는 오브젝트가 될 수 있다.
기준 오브젝트가 정해지면, 제어모듈은 다른 오브젝트와 기준 오브젝트 간의 중첩 계산을 수행한다(S330). 내림차순 정렬된 오브젝트를 바탕으로 제어모듈은 기준 오브젝트와 차순위 크기의 오브젝트 간의 비교를 수행하며, 이후 기준 오브젝트와 차차순위 크기의 오브젝트 간의 비교하는 방법과 같이 순차적으로 기준 오브젝트와 다른 오브젝트들 간의 중첩 계산을 수행할 수 있다.
구체적으로, 제어모듈이 다른 오브젝트와 기준 오브젝트 간의 중첩 계산 시에 오브젝트들의 위치에 따른 X 및 Y 좌표 상에 최소값 및 최대값을 이용하여 중첩 계산을 수행할 수 있다
제어모듈은 기준 오브젝트와 특정 오브젝트 간의 중첩이 있는지 여부를 확인할 수 있다(S340). 기준 오브젝트와 특정 오브젝트 간의 중첩이 있는 경우, 제어모듈은 두 오브젝트들 간의 마할라노비스 거리(md)를 계산할 수 있다(S350).
마할라노비스 거리(md) 계산은 다음 수학식 1을 통해 획득할 수 있다.
[수학식 1]
Figure 112014119739245-pat00001
수학식 1에서 d(a,b)는 특정 포인트 "a 및 b" 사이의 마할라노비스 거리이며, (a-b)T는 변환행렬,
Figure 112014119739245-pat00002
는 공분산 행렬의 역행렬이다. 공분산행렬은 포인트들의 데이터 분포도를 기반으로 산출될 수 있다.
그리고, 제어모듈은 마할라노비스 거리가 사전 정의된 기준 값 이하인지 여부를 확인할 수 있다(S360). 두 오브젝트들 즉, 기준 오브젝트와 특정 오브젝트 간의 마할라노비스 거리가 사전 정의된 기준 값 이하인 경우, 제어모듈은 오브젝트 융합을 수행할 수 있다(S370, S380, S390).
도 4는 본 발명의 일실시예에 따른 오브젝트를 2차 융합하는 방법을 설명하는 도면이다.
도 4를 참조하면, 모델링을 위한 특징 추출부(30)에서 추출된 오브젝트 형상과 차량과 가드레일을 포함하는 구성요소에 대한 오브젝트들을 이용하여 모델링 한다(S400).
제어모듈은 모델링된 오브젝트 정렬을 수행할 수 있다(S410). 이때, 제어모듈은 오브젝트들을 크기 순으로 정렬할 수 있다. 특히, 제어모듈은 N개의 오브젝트에 대하여 내림차순 정렬을 수행할 수 있다. 크기 정렬이 완료되면, 제어모듈은 기준 오브젝트를 선정할 수 있다(S420). 기준 오브젝트는 예컨대 오브젝트들 중 가장 큰 크기를 가지는 오브젝트가 될 수 있다.
기준 오브젝트가 정해지면, 제어모듈은 다른 오브젝트와 기준 오브젝트 간의 중첩 계산을 수행한다(S430). 내림차순 정렬된 오브젝트를 바탕으로 제어모듈은 기준 오브젝트와 차순위 크기의 오브젝트 간의 비교를 수행하며, 이후 기준 오브젝트와 차차순위 크기의 오브젝트 간의 비교하는 방법과 같이 순차적으로 기준 오브젝트와 다른 오브젝트들 간의 중첩 계산을 수행할 수 있다.
제어모듈은 기준 오브젝트와 특정 오브젝트 간의 중첩이 있는지 여부를 확인할 수 있다(S440). 기준 오브젝트와 특정 오브젝트 간의 중첩이 있는 경우, 제어모듈은 두 오브젝트들을 융합하고, 오브젝트들을 모델링한다(S450).
다음으로, 오브젝트의 융합이 완료되면(S460), 오브젝트의 특징을 추출한다(S470).
도 6 내지 도 9는 ABD 클러스터링 방법에 따른 브레이크 포인트(Break Point, BP)를 추출하는 방법을 설명하는 도면이다.
도 6을 참조하면, 가상의 원을 기준으로 동일 원안에 있는 오브젝트는 동일 물체로 판단한다. Pn ~ pn-1은 포인트를 나타내고, Dmax는 가상의 원의 최 외곽과 포인트와의 최대거리를 나타낸다. 포인트들 간의 거리가 Dmax보다 크면, 서로 다른 물체로 인지할 수 있다.
Figure 112014119739245-pat00003

도 7을 참조하면, 포인트들 간 수평거리(r1)보다 수직거리(r2)의 거리가 더 크기 때문에 도 6에 비교하여 수직 거리를 보완할 필요가 있음을 보여준다.
Figure 112014119739245-pat00004

도 8을 참조하면, 브레이크 포인트는 P0, P2, P3, P4, P5, P6, P8이 되고, P1, P7은 포인트로 정의할 수 있으며, PointNum는 포인트들 사이에 포인트 개수를 정의하고, Bind는 클러스터링으로 정의할 수 있다.
구체적으로 살펴보면, P0와 P2 사이 및 P6과 P8사이에는 포인트 개수는 1개이므로, 1보다 크기 때문에 하나의 물체로 인식하여 클러스터링을 실시하고, P3와 P4 사이 및 P4와 P5 사이에는 포인트 개수가 0개 이므로 하나의 물체로 인식하지 않는다.
Figure 112014119739245-pat00005

도 9를 참조하면, ABD 클러스터링 알고리즘을 반영하여 각 포인트들이 클러스터링 된 도면을 나타낸다.
Figure 112014119739245-pat00006

전술한 바와 같이, 본 기술은 멀티 레이어 데이터를 하나의 오브젝트로 인지할 수 있도록 클러스터링할 수 있는 기술이다.
아울러, 본 기술은 라이다 센서의 특성에 따라서 오브젝트의 높이 정보를 추출할 수 있고, 라이다의 오브젝트 형상을 인지하여 오브젝트 종류를 파악할 수 있는 기술이다.
이상, 본 발명은 비록 한정된 구성과 도면에 의해 설명되었으나, 본 발명의 기술적 사상은 이러한 것에 한정되지 않으며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해, 본 발명의 기술적 사상과 하기 기재될 특허청구범위의 균등범위 내에서 다양한 수정 및 변형 실시가 가능할 것이다.

Claims (7)

  1. 상하 일정 간격별 횡면에 대한 센서 정보를 포함하는 멀티 레이어 데이터를 획득하는 단계;
    상기 멀티 레이어 데이터에 대하여 레이어별로 클러스터링 알고리즘을 수행하여 클러스터링하는 단계;
    각 레이어별로 클러스터링 되지 않은 상기 멀티 레이어 데이터를 이용하여 클러스터링하는 단계;
    각 레이어 별로 클러스터링된 데이터를 이용해서 오브젝트들을 1차 융합하는 단계;
    융합된 상기 오브젝트들을 이용하여 오브젝트들의 형상 또는 특징을 추출하는 단계;
    추출된 상기 오브젝트들의 형상 또는 특징과 차량 및 가드레일을 포함하는 구성요소에 대한 모델링 기반의 중첩된 오브젝트들을 2차 융합하는 단계; 및
    융합된 상기 오브젝트들을 이용하여 오브젝트들의 최종 형상 또는 특징을 추출하는 단계
    를 포함하되,
    상기 오브젝트들을 2차 융합하는 단계는,
    추출된 오브젝트들의 형상과 차량 또는 가드레일을 포함하는 구성요소에 대한 오브젝트들을 이용하여 모델링하는 단계;
    모델링된 상기 오브젝트들을 정렬하는 단계;
    정렬된 상기 오브젝트들 중에 기준 오브젝트를 선정하는 단계;
    상기 기준 오브젝트와 다른 오브젝트 간의 중첩 계산을 수행하는 단계;
    상기 기준 오브젝트와 특정 오브젝트 간의 중첩이 있는지 여부를 확인하는 단계; 및
    상기 중첩이 있으면, 상기 오브젝트들을 융합하고, 모델링 하는 단계를 포함하는 것을 특징으로 하는 라이다의 멀티 레이어 데이터를 클러스터링 하는 방법.
  2. 청구항 1에 있어서,
    상기 오브젝트들을 1차 융합하는 단계는,
    오브젝트들을 클러스터링 하는 단계;
    상기 오브젝트들을 정렬하는 단계;
    정렬된 상기 오브젝트들 중에 기준 오브젝트를 선정하는 단계;
    상기 기준 오브젝트와 다른 오브젝트 간의 중첩 계산을 수행하는 단계;
    상기 기준 오브젝트와 특정 오브젝트 간의 중첩이 있는지 여부를 확인하는 단계;
    상기 오브젝트들 간의 마할라노비스 거리를 계산하는 단계;
    상기 마할라노비스 거리가 사전 정의된 기준값 이하인지 여부를 확인하는 단계; 및
    상기 오브젝트들을 융합하는 단계를 포함하는 것을 특징으로 하는 라이다의 멀티 레이어 데이터를 클러스터링 하는 방법.
  3. 청구항 2에 있어서,
    상기 거리를 계산하는 단계는,
    상기 오브젝트들 중 가장 큰 크기의 오브젝트를 기준 오브젝트로 선정하는 단계; 및
    상기 기준 오브젝트와 다른 오브젝트들 간의 마할라노비스 거리를 계산하는 단계를 포함하는 것을 특징으로 하는 라이다의 멀티 레이어 데이터를 클러스터링하는 방법.
  4. 삭제
  5. 청구항 1에 있어서,
    상기 클러스터링 알고리즘은 ABD 클러스터링 알고리즘을 이용하여 클러스터링 하는 것을 특징으로 하는 라이다의 멀티 레이어 데이터를 클러스터링 하는 방법.
  6. 청구항 5에 있어서,
    상기 ABD 클러스터링 알고리즘에 따른 브레이크 포인트(Break Point)를 추출하는 방법에서,
    Figure 112014119739245-pat00007

    상기 수식에 따라 가상의 원의 최외곽과 각 포인트와의 최대거리(
    Figure 112014119739245-pat00008
    )를 계산하는 것을 특징으로 하는 라이다의 멀티 레이어 데이터를 클러스터링 하는 방법.
  7. 청구항 6에 있어서,
    상기 브레이크 포인트(Break Point) 사이의 거리가 일정 값 이하이면,
    Figure 112014119739245-pat00009

    상기 수식에 따라 상기 ABD 클러스터링 알고리즘을 반영하여 상기 브레이크 포인트가 클러스터링된 것을 특징으로 하는 라이다의 멀티 레이어 데이터를 클러스터링 하는 방법.

KR1020140175973A 2014-12-09 2014-12-09 라이다의 멀티 레이어 데이터를 클러스터링하는 방법 KR102131387B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140175973A KR102131387B1 (ko) 2014-12-09 2014-12-09 라이다의 멀티 레이어 데이터를 클러스터링하는 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140175973A KR102131387B1 (ko) 2014-12-09 2014-12-09 라이다의 멀티 레이어 데이터를 클러스터링하는 방법

Publications (2)

Publication Number Publication Date
KR20160069847A KR20160069847A (ko) 2016-06-17
KR102131387B1 true KR102131387B1 (ko) 2020-07-08

Family

ID=56343891

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140175973A KR102131387B1 (ko) 2014-12-09 2014-12-09 라이다의 멀티 레이어 데이터를 클러스터링하는 방법

Country Status (1)

Country Link
KR (1) KR102131387B1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102154589B1 (ko) * 2018-10-31 2020-09-10 (주)오토노머스에이투지 라이다의 멀티 레이어 데이터를 클러스터링하는 방법 및 이를 이용한 컴퓨팅 장치
DE102018127990A1 (de) * 2018-11-08 2020-05-14 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Verarbeitungseinheit zur Ermittlung von Information in Bezug auf ein Objekt in einem Umfeld eines Fahrzeugs
KR102267277B1 (ko) * 2019-08-29 2021-06-21 (주)오토노머스에이투지 라이다 센서의 포인트 데이터를 클러스터링하는 방법 및 이를 이용한 컴퓨팅 장치
KR102320920B1 (ko) * 2019-10-01 2021-11-04 (주)오토노머스에이투지 다중 라이다의 멀티 레이어 데이터를 처리하는 방법 및 이를 이용한 시스템
US11507092B2 (en) * 2019-12-27 2022-11-22 Woven Planet North America, Inc. Sequential clustering
KR102407174B1 (ko) * 2020-08-28 2022-06-10 한국로봇융합연구원 해상 환경에서 복수의 레이더 및 라이더를 이용하여 목표 대상물과 장치 간 상대 정보를 추정하기 위한 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
M. Himmelsbach 외 2인. Real-time Object Classification in 3D Point Clouds Using Point Feature Histograms. 2009 IEEE/RSJ International Conference on Intelligent Robots and Systems. 2009년 10월 1부.*

Also Published As

Publication number Publication date
KR20160069847A (ko) 2016-06-17

Similar Documents

Publication Publication Date Title
KR102131387B1 (ko) 라이다의 멀티 레이어 데이터를 클러스터링하는 방법
KR101480651B1 (ko) 오브젝트 처리 방법 및 이를 지원하는 차량
KR102138082B1 (ko) 다수의 이미지 일치성을 바탕으로 보험클레임 사기 방지를 실현하는 방법, 시스템, 기기 및 판독 가능 저장매체
CN106952303B (zh) 车距检测方法、装置和系统
CA3094424C (en) Safety monitoring and early-warning method for man-machine interaction behavior of underground conveyor belt operator
JP6306683B2 (ja) 動的カテゴリ物体認識のコンピュータベースの方法コンピュータベースの方法及びシステム
US9251598B2 (en) Vision-based multi-camera factory monitoring with dynamic integrity scoring
CN110419048B (zh) 用于标识所定义的对象的系统
US9524426B2 (en) Multi-view human detection using semi-exhaustive search
US20150294143A1 (en) Vision based monitoring system for activity sequency validation
US20150294496A1 (en) Probabilistic person-tracking using multi-view fusion
WO2014087725A1 (ja) 商品情報処理装置、そのデータ処理方法、およびプログラム
CN110264495B (zh) 一种目标跟踪方法及装置
KR101116273B1 (ko) 교통사고 인식장치 및 그 방법
Yan et al. Towards automated detection and quantification of concrete cracks using integrated images and lidar data from unmanned aerial vehicles
EP3236419A1 (en) Image processing device and image processing method
JP2010067079A (ja) 行動解析システムおよび行動解析方法
US20170151943A1 (en) Method, apparatus, and computer program product for obtaining object
CN105825495A (zh) 物体检测装置和物体检测方法
CN110147748B (zh) 一种基于道路边缘检测的移动机器人障碍物识别方法
CN111144231B (zh) 一种基于深度图像的自助通道防尾随检测方法和系统
KR102185225B1 (ko) 딥러닝 및 데이터 결합을 이용한 싱크홀 탐지방법 및 이를 이용한 싱크홀 탐지시스템
CN104933392A (zh) 使用多视图融合的概率性人追踪
KR101598343B1 (ko) 정체 시공간 패턴 자동인식 시스템 및 그 방법
JP2009070344A (ja) 画像認識装置、画像認識方法および電子制御装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant