KR102452550B1

KR102452550B1 - 라이다 데이터 기반 객체 검출 장치, 그를 포함한 시스템 및 그 방법

Info

Publication number: KR102452550B1
Application number: KR1020170134843A
Authority: KR
Inventors: 김재광; 장윤호
Original assignee: 현대자동차주식회사; 기아 주식회사
Priority date: 2017-10-17
Filing date: 2017-10-17
Publication date: 2022-10-07
Also published as: KR20190043035A

Abstract

본 발명은 라이다 데이터 기반 객체 검출 장치, 그를 포함한 시스템 및 그 방법에 관한 것으로, 본 발명의 실시예에 따른 라이다 데이터 기반 객체 검출 장치는 라이다 데이터 기반으로 거리에 따른 가변 셀 단위의 그리드 맵을 생성하는 데이터 구조화부; 상기 그리드 맵 내의 객체셀과 배경셀을 구분하는 객체 검출부; 및 상기 객체셀을 군집화하는 군집화부를 포함할 수 있다.

Description

라이다 데이터 기반 객체 검출 장치, 그를 포함한 시스템 및 그 방법{Apparatus for aggregating object based on Lidar data, system having the same and method thereof}

본 발명은 라이다 데이터 기반 객체 검출 장치, 그를 포함한 시스템 및 그 방법에 관한 것으로, 보다 상세하게는 라이다 데이터 기반 객체 검출 시 객체 구분을 효율적을 수행할 수 있는 기술에 관한 것이다.

자율주행 기술 개발을 위해 라이다(LiDAR) 센서의 활용은 필수적이다. 라이다 센서는 다수의 데이터를 통해 객체의 형태 정보를 예측하는데 용이하고, 정확한 종/횡방향 위치 정보를 제공하기 때문에 장애물 검출 및 차량 위치인식 등에 활용이 용이하다.

이러한 라이다 센서 중, 3차원의 다수의 포인트를 얻을 수 있는 3D 라이다 센서의 경우, 장애물의 높이 정보까지 예측이 가능하여 정확하고 세밀한 객체 검출 기술 개발에 도움을 준다. 그러나 이러한 3D 라이다 센서의 경우 많은 양의 데이터를 처리해야 하기 때문에 효율적인 데이터 처리 방법이 중요하다.

이에 효율적인 라이다 데이터 처리를 위해 그리드 맵(Grid Map)과 같이 포인트 단위의 접근이 아닌 기하학적으로 간소화된 셀(Cell) 단위의 접근을 통해 데이터를 처리하는 경우가 많다. 그런데, 종래에는 셀 단위 객체를 군집화하기 위한 셀들의 구분 기준이 애매하여 군집화 오류가 발생하기 쉬운 문제점이 있었다.

본 발명의 실시예는 라이다 데이터를 기반으로 거리에 따른 가변 셀로 구성된 그리드 맵을 생성하고 그리드 맵의 각 셀 단위로 객체를 검출함으로써 원거리 및 근거리 객체를 정확히 구분하여 검출할 수 있는 라이다 데이터 기반 객체 검출 장치, 그를 포함한 시스템 및 그 방법을 제공하고자 한다.

본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재들로부터 당업자에게 명확하게 이해될 수 있을 것이다.

본 발명의 실시예에 따른 라이다 데이터 기반 객체 검출 장치는 라이다 데이터 기반으로 거리에 따른 가변 셀 단위의 그리드 맵을 생성하는 데이터 구조화부; 상기 그리드 맵 내의 객체셀과 배경셀을 구분하는 객체 검출부; 및 상기 객체셀을 군집화하는 군집화부를 포함할 수 있다.

일 실시예에서, 상기 군집화된 객체셀로부터 장애물을 인식하는 객체 추적부를 더 포함할 수 있다.

일 실시예에서, 상기 라이다 데이터의 전처리를 수행하여 유효 영역을 선정하는 데이터 전처리부를 더 포함하는 것을 포함할 수 있다.

일 실시예에서, 상기 데이터 전처리부는, 라이다 센서와 차량간의 좌표를 맞추는 캘리브레이션을 수행하고, 상기 라이다 데이터 내의 반사율이 낮은 포인트를 제거하거나, 자차의 차체에 의해 반사되는 데이터를 제거하는 것을 포함할 수 있다.

일 실시예에서, 상기 데이터 구조화부는, 상기 거리에 따른 가변 셀로 구성되는 3D 그리드 맵을 생성하는 것을 포함할 수 있다.

일 실시예에서, 상기 데이터 구조화부는, 자차를 기준으로 종방향(차량 진행 방향)에 대해 그리드 맵의 셀의 크기를 가변하여 구성하는 것을 포함할 수 있다.

일 실시예에서, 상기 데이터 구조화부는, 상기 자차와 가까운 셀일수록 셀의 크기를 작게 생성하고 상기 자차와 거리가 먼 셀일수록 셀의 크기를 크게 생성하는 것을 포함할 수 있다.

일 실시예에서, 상기 데이터 구조화부는, 상기 3D 그리드 맵의 셀 내의 포인트 위치를 산출하여 각 셀 단위 포인트 점유율을 판단한 후, 상기 셀 단위 포인트 점유율을 포함한 2D 그리드 맵을 생성하는 것을 포함할 수 있다.

일 실시예에서, 상기 데이터 구조화부는, 자차로부터 가까운 첫번째 셀의 크기와 상기 첫번째 셀보다 큰 두번째 셀의 크기의 차이값인 공차를 이용한 등차수열의 합을 이용하여 포인트가 몇번째 셀 내에 위치하는지를 산출하여, 셀 단위의 포인트 점유율을 판단하는 것을 포함할 수 있다.

일 실시예에서, 상기 데이터 구조화부는, 상기 셀 단위 포인트 점유율이 미리 정한 임계치 이상인 셀을 객체가 존재하는 유효한 셀인 것을 판단하는 것을 포함할 수 있다.

일 실시예에서, 상기 객체 검출부는, 상기 그리드 맵의 각 셀에 포함된 적어도 하나 이상의 포인트들의 최대 높이 위치 정보, 최소 높이 위치 정보를 이용하여 상기 객체셀와 상기 배경셀을 구분하는 것을 포함할 수 있다.

일 실시예에서, 상기 객체 검출부는, 상기 포인트들의 최소 높이 위치가 미리 정한 임계치 이상인 셀을 상기 배경셀로 판단하는 것을 포함할 수 있다.

일 실시예에서, 상기 객체 검출부는, 상기 포인트들의 최대 높이 위치가 미리 정한 임계치 이하인 셀을 상기 배경셀로 판단하는 것을 포함할 수 있다.

일 실시예에서, 상기 객체 검출부는, 상기 데이터 구조화부에서 상기 그리드 맵을 생성하기 전에 상기 라이다 데이터 내의 포인트들의 3차원 정보 또는 주변 포인트들간의 관계를 이용하여 노면으로 추정되는 배경셀을 미리 제거하는 것을 포함할 수 있다.

일 실시예에서, 상기 라이다 데이터 및 상기 객체 추적부의 추적 결과를 저장하는 저장부;를 더 포함하는 것을 포함할 수 있다.

본 발명의 실시예에 따른 라이다 데이터 기반 객체 검출 시스템은 차량 주변 장애물을 감지하는 라이다 센서; 및 상기 라이다 센서로부터 수신한 라이다 데이터 기반으로 거리에 따른 가변 셀 단위의 그리드 맵을 생성하고 상기 그리드 맵 내의 객체셀과 배경셀을 구분하여 상기 배경셀을 제거하고, 상기 객체셀을 군집화하여 객체를 추적하는 라이다 데이터 기반 객체 검출 장치;를 포함할 수 있다.

본 발명의 실시예에 따른 라이다 데이터 기반 객체 검출 방법은 라이다 데이터 기반으로 거리에 따른 가변 셀 단위의 그리드 맵을 생성하는 단계; 상기 그리드 맵 내의 객체셀과 배경셀을 구분하는 단계; 상기 객체셀을 군집화하는 단계; 및 상기 군집화된 객체셀로부터 장애물을 인식하는 단계;를 포함할 수 있다.

일 실시예에서, 상기 그리드 맵을 생성하는 단계는, 상기 거리에 따른 가변 셀로 구성되는 3D 그리드 맵을 생성하는 단계; 상기 3D 그리드 맵의 셀 내의 포인트 위치를 산출하는 단계; 상기 3D 그리드 맵의 각 셀 단위 포인트 점유율을 판단하는 단계; 및 상기 셀 단위 포인트 점유율을 포함한 2D 그리드 맵을 생성하는 단계를 포함할 수 있다.

일 실시예에서, 상기 3D 그리드 맵을 생성하는 단계는, 자차를 기준으로 종방향(차량 진행 방향)에 대해 상기 그리드 맵의 셀의 크기를 가변하여 구성하고, 상기 자차와 가까운 셀일수록 셀의 크기를 작게 생성하는 것을 포함할 수 있다.

일 실시예에서, 상기 객체셀과 배경셀을 구분하는 단계는, 상기 그리드 맵의 각 셀에 포함된 적어도 하나 이상의 포인트들의 최대 높이 위치 정보, 최소 높이 위치 정보를 이용하여 상기 객체셀와 상기 배경셀을 구분하는 것을 포함할 수 있다.

본 기술은 라이다 데이터를 기반으로 거리에 따른 가변 셀로 구성된 그리드 맵을 생성하고 그리드 맵의 각 셀 단위로 객체를 검출함으로써 원거리 및 근거리 객체를 정확히 구분하여 검출할 수 있다.

도 1은 본 발명의 실시예에 따른 라이다 데이터 기반 객체 검출 시스템의 구성도이다.
도 2a는 본 발명의 실시예에 따른 가변셀로 구성된 그리드 맵의 예시도이다.
도 2b는 본 발명의 실시예에 따른 셀 단위 3D 그리드 맵의 구성 예시도이다.
도 2c는 본 발명의 실시예에 따른 2D 그리드 맵의 예시도이다.
도 2d는 본 발명의 실시예에 따른 포인트 점유율에 따른 2D 그리드 맵의 예시도이다.
도 3은 본 발명의 실시예에 따른 배경 또는 노면을 제거한 2D 그리드 맵의 예시도이다.
도 4a는 본 발명의 실시예에 따른 라이다 데이터 기반 입력 데이터의 예시도이다.
도 4b는 본 발명의 실시예에 따른 라이다 데이터 기반 입력 데이터에서 노면 및 배경을 제거한 예시도이다.
도 5는 본 발명의 실시예에 따른 라이다 데이터 기반 데이터의 객체 검출 방법을 나타내는 순서도이다.
도 6은 본 발명의 실시예에 따른 전처리 과정을 구체적으로 나타내는 순서도이다.
도 7은 본 발명의 실시예에 따른 그리드 맵 생성 방법을 구체적으로 나타내는 순서도이다.
도 8a는 본 발명의 실시예에 따른 라이다에 의한 입력데이터의 예시도이다.
도 8b는 본 발명의 실시예에 따른 라이다에 의한 입력데이터의 전처리를 수행한 예시도이다.
도 8c는 본 발명의 실시예에 따른 객체와 배경을 구분한 예시도이다.
도 8d는 본 발명의 실시예에 따른 객체를 군지화하는 예시도이다.
도 8e는 본 발명의 실시예에 따른 군집화된 객체로부터 객체 추적 예시도이다.
도 9a는 고정 셀 기반의 객체 군집화 예시도이다.
도 9b는 본 발명의 실시예에 따른 가변 셀 기반의 객체 군집화 예시도이다.
도 10은 본 발명의 실시예에 따른 라이다 데이터 기반 데이터의 객체 검출 방법을 적용한 컴퓨터 시스템의 구성도이다.

이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 실시예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다.

본 발명의 실시예의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 또한, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 도 1 내지 도 10을 참조하여, 본 발명의 실시예들을 구체적으로 설명하기로 한다.

도 1은 본 발명의 실시예에 따른 라이다 데이터 기반 객체 검출 시스템의 구성도이다. 도 2a는 본 발명의 실시예에 따른 가변셀로 구성된 그리드 맵의 예시도이다. 도 2b는 본 발명의 실시예에 따른 셀 단위 3D 그리드 맵의 구성 예시도이다. 도 2c는 본 발명의 실시예에 따른 2D 그리드 맵의 예시도이다. 도 2d는 본 발명의 실시예에 따른 포인트 점유율에 따른 2D 그리드 맵의 예시도이다. 도 3은 본 발명의 실시예에 따른 배경 또는 노면을 제거한 2D 그리드 맵의 예시도이다. 도 4a는 본 발명의 실시예에 따른 라이다 기반 입력 데이터의 예시도이고, 도 4b는 본 발명의 실시예에 따른 라이다 기반 입력 데이터에서 노면 및 배경을 제거한 예시도이다.

도 1을 참조하면 본 발명의 실시예에 따른 라이다 데이터 기반 객체 검출 시스템은 객체 검출 장치(100), 라이다 센서(300), 차량 장치(200)를 포함할 수 있다.

객체 검출 장치(100)는 라이다 센서(300)로부터 수신한 라이다 데이터 기반으로 거리에 따른 가변 셀 단위의 그리드 맵을 생성하고 그리드 맵 내의 객체셀과 배경셀을 구분하여 배경셀을 제거하고, 객체셀을 군집화하여 객체를 추적한다.

이를 위해 객체 검출 장치(100)는 디스플레이부(110), 통신부(120), 저장부(130), 데이터 전처리부(140), 데이터 구조화부(150), 객체 검출부(160), 객체 군집화부(170), 객체 추적부(180), 제어부(190)를 포함한다.

디스플레이부(110)는 객체 검출 장치(100)로부터 수신한 객체정보를 지도정보 등과 함께 화면에 표시할 수 있다. 이를 위해 디스플레이부(110)는 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display), 또는 전기영동 디스플레이(electrophoretic display, EPD)를 포함할 수 있다.

통신부(120)는 차량 장치(200) 및 라이다 센서(300)와의 데이터 송수신을 위한 통신을 수행한다.

저장부(140)는 라이다 센서(300)로부터 수신한 라이다 데이터, 객체 검출 정보, 그리드 맵 등을 저장할 수 있다. 이를 위해, 저장부(140)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory), SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 또는 광디스크 타입의 저장매체를 포함할 수 있다.

데이터 전처리부(140)는 라이다 데이터의 전처리를 수행하여 유효 영역을 선정한다. 이를 위해, 데이터 전처리부(140)는 라이다 센서(300)와 차량간의 좌표를 맞추는 캘리브레이션을 수행한다. 즉, 라이다 센서(300)의 차량 장착 위치 각도에 따라 기준 좌표계에 맞게 라이다 데이터를 변환한다. 또한, 데이터 전처리부(140)는 라이다 데이터의 인텐시티(intensity) 또는 컨피던스(confidence)정보를 통해 신호의 세기 또는 반사율이 낮은 포인트는 필터링을 통해 제거한다. 또한, 데이터 전처리부(140)는 자차의 차체에 의해 반사되는 데이터를 제거한다. 즉 라이다 센서(300)의 장착 위치와 FOV에 따라 자차의 차체에 의해 가려지는 영역이 존재하므로, 데이터 전처리부(140)는 기준 좌표계를 이용하여 자차 차체에 반사되는 데이터를 제거할 수 있다.

데이터 구조화부(150)는 라이다 데이터 기반으로 거리에 따른 가변 셀 단위의 그리드 맵을 생성한다. 먼저, 데이터 구조화부(150)는 거리에 따른 가변 셀로 구성되는 3D 그리드 맵을 생성한다. 이때, 데이터 구조화부(150)는 자차를 기준으로 종방향(차량 진행 방향)에 대해 그리드 맵의 셀의 크기를 가변하여 구성할 수 있다. 도 2a를 참조하면 자차와 가장 가까운 셀의 길이가 L이라고 할 때 그 다음 셀의 길이는 bL이고 그 다음 셀의 길이는 cL로 자차와 멀어질수록 셀의 길이가 점점 커짐을 알 수 있다. 즉, 데이터 구조화부(150)는 자차와 가까운 셀일수록 셀의 크기를 작게 생성하고 자차와 거리가 먼 셀일수록 셀의 크기를 크게 생성하여, 그리드 맵을 구성한다.

데이터 구조화부(150)는 3D 그리드 맵의 셀 내의 포인트 위치를 산출하여 각 셀 단위 포인트 점유율을 판단한 후, 상기 셀 단위 포인트 점유율을 포함한 2D 그리드 맵을 생성한다.

즉, 데이터 구조화부(150)는 자차로부터 가까운 첫번째 셀의 크기와 상기 첫번째 셀보다 큰 두번째 셀의 크기의 차이값인 공차를 이용한 등차수열의 합을 이용하여 포인트가 몇번째 셀 내에 위치하는지를 산출하여, 셀 단위의 포인트 점유율을 판단할 수 있다. 이러한 셀 단위별 포인트 점유율을 판단하기 위해, 아래 수학식 1과 같이 n 번째 셀에 대한 거리값 Sn을 산출하고, 아래 수학식 2와 같이, 해당 포인트가 몇번째(n) 셀에 위치하는 지를 아래 수학식 2를 통해 산출할 수 있다. 이때, 도 2a의 그리드 맵의 셀 횡방향의 크기를 a로 고정, 종방향 크기는 초기 크기가 a이고, 그 다음 셀의 크기가 a+d, 그 다음 셀의 크기가 a+2d,....로 점점 증가한다고 가정한다.

Sn은 자차와의 거리값, a는 초기 셀의 크기 d는 공차, offset는 셀 중앙을 맞추기 위한 변수이다.

초항이 a이고 공차가 d인 등차수열의 합을 구하여, 셀의 인덱스(n, 몇번째 셀인지)를 산출할 수 있다.

데이터 구조화부(150)는 셀 단위 포인트 점유율이 미리 정한 임계치 이상인 셀을 객체가 존재하는 유효한 셀인 것으로 판단할 수 있다.

도 2b와 같이, 3 by 7의 가변 셀을 가지는 3D 그리드 맵이 생성되는 경우, 각 셀의 내부에는 적어도 하나 이상의 포인트가 존재하고, 각 포인트의 최대 높이 위치와 최소 높이 위치 정보를 알 수 있다. 도 2c를 참조하면, 이러한 각 포인트의 최대 높이 위치 정보와 최소 높이 위치 정보를 포함하는 2D 그리드 맵을 생성한다.

객체 검출부(160)는 그리드 맵 내의 객체셀과 배경셀을 구분하고 배경셀을 제거한다. 즉, 도 2d와 같이, 포인트 점유율이 미리 정한 임계치 이상이면 객체셀(501)인 것으로 판단하고 포인트 점유율이 미리 정한 임계치 미만이면 배경셀(502)로 판단한다.

객체 검출부(160)는 그리드 맵의 각 셀에 포함된 적어도 하나 이상의 포인트들의 최대 높이 위치 정보, 최소 높이 위치 정보를 이용하여 객체셀과 배경셀을 구분할 수 있다. 즉, 객체 검출부(160)는 포인트들의 최소 높이 위치가 미리 정한 임계치 이상인 셀은 배경셀로 판단할 수 있다. 예를 들어, 고가차도, 이정표 등은 5미터 높이 이상에 위치하는 경우가 많으므로, 포인트의 최소 높이가 5미터 이상이면 고가차도나 이정표와 같은 것으로 판단하고 차량이 주행하는 경로내에 장애물이 존재하는 것이 아니므로 차량 높이 이상의 객체들은 배경셀로 처리한다.

또한, 객체 검출부(160)는 노면 등을 제거하기 위해, 포인트들의 최대 높이 위치가 미리 정한 임계치 이하인 셀을 배경셀로 처리할 수 있다. 또한, 객체 검출부(160)는 데이터 구조화부(150)에서 그리드 맵을 생성하기 전에 라이다 데이터 내의 포인트들의 3차원 정보 또는 주변 포인트들간의 관계를 이용하여 노면으로 추정되는 배경셀을 미리 제거할 수 있다. 도 4a를 보면, 노면에 포인트들이 확인되는데, 도 4b를 참조하면 이러한 노면이나 이정표에 해당하는 위치의 포인트들이 제거됨을 알 수 있다.

도 2d와 같이, 셀단위 포인트 점유율에 따라 객체셀(501)과 배경셀(502)이 구분된 후, 객체셀 중에서 포인트의 최대 높이 위치 정보, 최소 높이 위치 정보를 통해 배경셀이 제거되어 도 3과 같이 객체셀(501)의 수가 줄어들었음을 알 수 있다.

객체 군집화부(170)는 객체 검출부(160)에서 구분된 객체셀들을 미리 정한 규칙에 따라 군집화를 수행한다. 예를 들어, 이웃하는 셀들을 하나의 객체로 군집화할 수 있다. 객체 군집화부(170)는 2D 군집화와 3D 군집화로 구분될 수 있는데, 2D 군집화는 높이 정보를 고려하지 않고 데이터를 X-Y 평면으로 투영하여 군집화를 수행하는 것으로 포인트 단위 또는 특정 구조화된 단위의 군집화가 가능한다. 3D 군집화는 높이 정보(Z)를 모두 고려하여 X-Y-Z 평면에서 군집화를 수행한다. 이때, 3D 군집화는 2D 군집화에 비해 연산량이 많으나 세밀한 군집화가 가능하다. 이에 본 발명에서는 군집화 대상이 차량과 같이 지면에서부터 연결된 직육면체 형태의 단순한 객체가 대다수 이므로 그리드 맵 기반의 2D 군집화로 성능을 확보할 수 있다.

예를 들어, 인접한 3개의 셀을 하나로 군집화하는 경우 셀 크기가 20cm라고 가정할 때, 총 60cm 내에 포인트들이 하나의 객체로 군집화할 수 있다. 반면 셀 크기가 50cm일 때, 150cm 내에 있는 포인트들이 하나의 객체로 군집화되는데, 셀 크기가 클 경우 군집화 시 인접 객체가 합쳐질 수 있고, 셀의 크기가 작은 경우 원거리 객체에 의해 점유되는 셀들의 수가 적을 수 있어, 고정된 셀의 크기를 적용하는 경우 원거리 군집화 및 근거리 군집화를 모두 만족할 수 없다. 이에 본 발명에서는 자차와 가까운 셀의 크기는 작게, 자차와 먼 셀의 크기는 크게 가변적으로 설정함으로써 객체 군집화를 수행하더라도 원거리 객체와 근거리 객체의 검출이 정확하다. 이처럼 셀의 크기를 가변하여 적용하는 경우 원거리 군집화 시 처리해야 할 셀 개수가 줄어 처리 속도가 향상될 수 있다.

객체 추적부(180)는 군집화된 객체셀이 장애물인지, 차량인지, 사람인지 등을 추적하여 인식할 수 있다.

제어부(190)는 각 구성요소의 전반적인 동작을 제어한다.

라이다 센서(300)는 차량 전방의 장애물을 측정하여 측정 데이터를 객체 검출 장치(100)로 전달한다.

차량 장치(200)는 객체 검출 장치(100)에서 객체(장애물)이 판별된 정보를 수신하여 차량 제어를 위해 이용한다. 이러한 차량 장치(200)는 선행차량과의 차간 간격을 유지하며 차선을 유지하는 차선 유지 시스템, 차량 주변 장애물을 감지하는 장애물 감지 시스템, 충돌위험을 감지하는 충돌 예방 시스템, 전방위 장애물을 검출하여 자율 주행을 수행하는 자율 주행 시스템, 인접 차량 접근 시 경고 및 차량 제어를 수행하는 안전운전 시스템 등을 포함할 수 있다.

이와 같이, 본 발명은 라이다 데이터 객체 군집화 시, 자차와의 거리에 따른 가변 셀로 구성되는 그리드 맵을 생성하여 군집화를 수행함으로써 원거리 객체와 근거리 객체에 있어 모두 만족할 수 있는 군집화가 가능하도록 한다. 또한, 객체의 검출 및 군집화가 정확하게 이루어짐으로 객체 추적 결과의 신뢰도가 높아짐에 따라, 이러한 객체 추적 결과를 이용하는 차량 장치들의 신뢰도도 함께 상승될 수 있다.

이하, 도 5를 참조하면 본 발명의 실시예에 따른 라이다 기반 데이터의 객체 검출 방법을 설명하기로 한다. 도 5는 본 발명의 실시예에 따른 라이다 기반 데이터의 객체 검출 방법을 나타내는 순서도이다. 도 8a는 본 발명의 실시예에 따른 라이다에 의한 입력데이터의 예시도이고, 도 8b는 본 발명의 실시예에 따른 라이다에 의한 입력데이터의 전처리를 수행한 예시도이며, 도 8c는 본 발명의 실시예에 따른 객체와 배경을 구분한 예시도이다. 도 8d는 본 발명의 실시예에 따른 객체를 군지화하는 예시도이고, 도 8e는 본 발명의 실시예에 따른 군집화된 객체로부터 객체 추적 예시도이다.

도 5를 참조하면, 라이다 데이터가 입력되면(S110), 객체 검출 장치(100)는 라이다 데이터에 대한 전처리 과정을 수행하여 유효 데이터를 선정한다(S120). 도 8a와 같은 라이다 데이터가 입력되면 라이다 센서(300)와 차량간의 좌표를 맞추는 캘리브레이션을 수행하고, 신호의 세기 또는 반사율이 낮은 포인트는 필터링을 통해 제거한 후 자차의 차체에 의해 반사되는 데이터를 제거함으로써 도 8b와 같이 유효 영역만 남게 된다.

이어, 객체 검출 장치(100)는 전처리가 수행된 라이다 데이터를 셀 단위의 그리드 맵으로 생성한다(S130). 이때, 셀 단위의 그리드 맵은 도 2a 내지 도 2d와 같이 생성되며, 셀 단위 내에 적어도 하나 이상의 포인트들이 존재하게 되고, 각 포인트의 최대 높이 위치정보 및 최소 높이 위치정보를 포함한다.

객체 검출 장치(100)는 그리드 맵의 셀들을 객체셀과 배경셀로 구분한다(S140). 즉 각 셀 내의 포인트 점유율이 미리 정한 임계치 이상이면 객체셀로 판단하고 미리 정한 임계치 미만이면 배경셀로 판단한다. 도 8c는 객체셀과 배경셀로 구분되어 있는 라이다 데이터를 나타낸다.

그 후 객체 검출 장치(100)는 이웃하는 객체셀들을 군집하는 객체 군집화를 수행한다(S150). 도 8d를 참조하면 객체 군집화가 수행된 예를 개시하고 있다.

이어, 객체 검출 장치(100)는 군집된 객체들을 추적하여 객체가 사람인지 차량인지 등 객체를 판단한다(S160). 도 8e는 객체(화살표 부분)가 추적된 예시도이다.

이하, 도 6은 본 발명의 실시예에 따른 전처리 과정을 구체적으로 설명하기로 한다. 도 6은 본 발명의 실시예에 따른 전처리 과정을 구체적으로 나타내는 순서도이다.

도 6을 참조하면, 객체 검출 장치(100)는 라이다 센서와 차량간의 좌표 맞추는 캘리브레이션 작업을 수행한다(S121).

이어 객체 검출 장치(100)는 라이다 데이터 내의 포인트들 중 미리 정한 임계값으로 필터링을 수행하여 반사율이 낮은 포인트를 제거한다(S122).

그 후, 객체 검출 장치(100)는 라이다 데이터 내의 자차량 차체에 의해 반사되는 데이터를 제거한다(S123). 이처럼 객체 검출 장치(100)는 전처리 과정을 통해 유효한 데이터만을 남긴다.

이하, 도 7은 본 발명의 실시예에 따른 그리드 맵 생성 방법을 구체적으로 설명하기로 한다. 도 7은 본 발명의 실시예에 따른 그리드 맵 생성 방법을 구체적으로 나타내는 순서도이다.

객체 검출 장치(100)는 자차와의 거리별 가변 셀로 구성되는 3D 그리드 맵을 생성한다(S131). 이때, 도 2a와 같이 그리드 맵에서 자차와 가까운 셀은 크기가 작고 자차와 먼 셀은 크기가 크게 생성된다.

이후, 객체 검출 장치(100)는 그리드 맵의 셀 단위의 포인트 위치를 산출할 수 있다(S132). 즉, 포인트들이 어느 셀에 위치하는 지를 산출함으로써, 어느 셀에 포인트들이 많은지를 알 수 있다.

객체 검출 장치(100)는 포인트들의 위치 정보를 이용하여 셀 단위 포인트 점유율을 판단할 수 있다(S133).

이에 객체 검출 장치(100)는 셀 단위 포인트 점유율에 따른 2D 그리드 맵을 생성할 수 있다(S134). 도 2d를 참조하면 포인트 점유율이 미리 정한 임계치 이상인 셀을 객체셀(501)로 구분하고, 포인트 점유율이 미리 정한 임계치 미만인 셀을 배경셀(502)로 구분함을 알 수 있다.

도 9a는 고정 셀 기반의 객체 군집화 예시도이고, 도 9b는 본 발명의 실시예에 따른 가변 셀 기반의 객체 군집화 예시도이다.

도 9a를 참조하면, 고정된 크기를 가지는 셀로 구성된 그리드 맵에서 객체 군집화를 수행하는 경우, 원거리의 객체(601)가 군집화에 의해 큰 덩어리로 군집화됨을 알 수 있다. 반면에 도 9b를 참조하면 가변 크기를 가지는 셀로 구섣된 그리드맵에서 객체 군집화를 수행하는 경우, 원거리의 객체(602)가 정상크기로 군집화가 됨을 알 수 있다.

이와 같이, 본 발명은 라이다 데이터가 입력되면 전처리 과정을 통해 유효 데이터를 선정한 후 포인트 단위가 아닌 셀 단위의 그리드 맵을 구성하고 각 셀 내의 포인트들의 위치 및 개수 정보를 이용하여 그리드 맵의 셀들을 객체셀과 배경셀로 구분하고, 객체셀의 군집화를 통해 객체를 추적한다. 이때, 셀들을 자차와의 거리에 따라 셀 크기를 다르게 구성함으로써 고정 셀의 기준 거리 설정에 따라 근거리 객체를 잘 구분하게 되면 원거리 객체가 여러 개로 분할되고, 원거리 객체를 잘 구분하게 되면 근거리의 인접 객체들이하나로 합쳐지는 단점을 해결하고, 근거리, 원거리 모두 만족하는 객체 군집화가 가능하다.

도 10은 본 발명의 실시예에 따른 라이다 기반 데이터의 객체 검출 방법을 적용한 컴퓨터 시스템의 구성도이다.

도 10을 참조하면, 컴퓨팅 시스템(1000)은 버스(1200)를 통해 연결되는 적어도 하나의 프로세서(1100), 메모리(1300), 사용자 인터페이스 입력 장치(1400), 사용자 인터페이스 출력 장치(1500), 스토리지(1600), 및 네트워크 인터페이스(1700)를 포함할 수 있다.

프로세서(1100)는 중앙 처리 장치(CPU) 또는 메모리(1300) 및/또는 스토리지(1600)에 저장된 명령어들에 대한 처리를 실행하는 반도체 장치일 수 있다. 메모리(1300) 및 스토리지(1600)는 다양한 종류의 휘발성 또는 불휘발성 저장 매체를 포함할 수 있다. 예를 들어, 메모리(1300)는 ROM(Read Only Memory) 및 RAM(Random Access Memory)을 포함할 수 있다.

따라서, 본 명세서에 개시된 실시예들과 관련하여 설명된 방법 또는 알고리즘의 단계는 프로세서(1100)에 의해 실행되는 하드웨어, 소프트웨어 모듈, 또는 그 2 개의 결합으로 직접 구현될 수 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 착탈형 디스크, CD-ROM과 같은 저장 매체(즉, 메모리(1300) 및/또는 스토리지(1600))에 상주할 수도 있다.

예시적인 저장 매체는 프로세서(1100)에 커플링되며, 그 프로세서(1100)는 저장 매체로부터 정보를 판독할 수 있고 저장 매체에 정보를 기입할 수 있다. 다른 방법으로, 저장 매체는 프로세서(1100)와 일체형일 수도 있다. 프로세서 및 저장 매체는 주문형 집적회로(ASIC) 내에 상주할 수도 있다. ASIC는 사용자 단말기 내에 상주할 수도 있다. 다른 방법으로, 프로세서 및 저장 매체는 사용자 단말기 내에 개별 컴포넌트로서 상주할 수도 있다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다.

따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

100 : 객체 검출 장치
200 : 차량 장치
300 : 라이다
110 : 저장부
120 : 데이터 구조화부
130 : 객체 검출부
140 : 객체 군집화부
150 : 통신부
160 : 제어부

Claims

라이다 데이터 기반으로 거리에 따른 가변 셀 단위의 그리드 맵을 생성하는 데이터 구조화부;
상기 그리드 맵 내의 객체셀과 배경셀을 구분하는 객체 검출부; 및
상기 객체셀을 군집화하는 군집화부
를 포함하고,
상기 객체 검출부는,
상기 그리드 맵의 각 셀에 포함된 적어도 하나 이상의 포인트들의 최대 높이 위치 정보, 최소 높이 위치 정보를 이용하여 상기 객체셀와 상기 배경셀을 구분하는 것을 특징으로 하는 라이다 데이터 기반 객체 검출 장치.
청구항 1에 있어서,
상기 군집화된 객체셀로부터 장애물을 인식하는 객체 추적부
를 더 포함하는 것을 특징으로 하는 라이다 데이터 기반 객체 검출 장치.
청구항 1에 있어서,
상기 라이다 데이터의 전처리를 수행하여 유효 영역을 선정하는 데이터 전처리부
를 더 포함하는 것을 특징으로 하는 라이다 데이터 기반 객체 검출 장치.
청구항 3에 있어서,
상기 데이터 전처리부는,
라이다 센서와 차량간의 좌표를 맞추는 캘리브레이션을 수행하고, 상기 라이다 데이터 내의 반사율이 낮은 포인트를 제거하거나, 자차의 차체에 의해 반사되는 데이터를 제거하는 것을 특징으로 하는 라이다 데이터 기반 객체 검출 장치.
청구항 1에 있어서,
상기 데이터 구조화부는,
상기 거리에 따른 가변 셀로 구성되는 3D 그리드 맵을 생성하는 것을 특징으로 하는 라이다 데이터 기반 객체 검출 장치.
청구항 5에 있어서,
상기 데이터 구조화부는,
자차를 기준으로 종방향(차량 진행 방향)에 대해 그리드 맵의 셀의 크기를 가변하여 구성하는 것을 특징으로 하는 라이다 데이터 기반 객체 검출 장치.
청구항 6에 있어서,
상기 데이터 구조화부는,
상기 자차와 가까운 셀일수록 셀의 크기를 작게 생성하고 상기 자차와 거리가 먼 셀일수록 셀의 크기를 크게 생성하는 것을 특징으로 하는 라이다 데이터 기반 객체 검출 장치.
청구항 7에 있어서,
상기 데이터 구조화부는,
상기 3D 그리드 맵의 셀 내의 포인트 위치를 산출하여 각 셀 단위 포인트 점유율을 판단한 후, 상기 셀 단위 포인트 점유율을 포함한 2D 그리드 맵을 생성하는 것을 특징으로 하는 라이다 데이터 기반 객체 검출 장치.
청구항 8에 있어서,
상기 데이터 구조화부는,
자차로부터 가까운 첫번째 셀의 크기와 상기 첫번째 셀보다 큰 두번째 셀의 크기의 차이값인 공차를 이용한 등차수열의 합을 이용하여 포인트가 몇번째 셀 내에 위치하는지를 산출하여, 셀 단위의 포인트 점유율을 판단하는 것을 특징으로 하는 라이다 데이터 기반 객체 검출 장치.
청구항 9에 있어서,
상기 데이터 구조화부는,
상기 셀 단위 포인트 점유율이 미리 정한 임계치 이상인 셀을 객체가 존재하는 유효한 셀인 것을 판단하는 것을 특징으로 하는 라이다 데이터 기반 객체 검출 장치.
삭제
청구항 1에 있어서,
상기 객체 검출부는,
상기 포인트들의 최소 높이 위치가 미리 정한 임계치 이상인 셀을 상기 배경셀로 판단하는 것을 특징으로 하는 라이다 데이터 기반 객체 검출 장치.
청구항 1에 있어서,
상기 객체 검출부는,
상기 포인트들의 최대 높이 위치가 미리 정한 임계치 이하인 셀을 상기 배경셀로 판단하는 것을 특징으로 하는 라이다 데이터 기반 객체 검출 장치.
청구항 1에 있어서,
상기 객체 검출부는,
상기 데이터 구조화부에서 상기 그리드 맵을 생성하기 전에 상기 라이다 데이터 내의 포인트들의 3차원 정보 또는 주변 포인트들간의 관계를 이용하여 노면으로 추정되는 배경셀을 미리 제거하는 것을 특징으로 하는 라이다 데이터 기반 객체 검출 장치.
청구항 2에 있어서,
상기 라이다 데이터 및 상기 객체 추적부의 추적 결과를 저장하는 저장부;
를 더 포함하는 것을 특징으로 하는 라이다 데이터 기반 객체 검출 장치.
차량 주변 장애물을 감지하는 라이다 센서; 및
상기 라이다 센서로부터 수신한 라이다 데이터 기반으로 거리에 따른 가변 셀 단위의 그리드 맵을 생성하고 상기 그리드 맵 내의 객체셀과 배경셀을 구분하여 상기 배경셀을 제거하고, 상기 객체셀을 군집화하여 객체를 추적하는 라이다 데이터 기반 객체 검출 장치;
를 포함하고,
상기 라이다 데이터 기반 객체 검출 장치는,
상기 그리드 맵의 각 셀에 포함된 적어도 하나 이상의 포인트들의 최대 높이 위치 정보, 최소 높이 위치 정보를 이용하여 상기 객체셀와 상기 배경셀을 구분하는 것을 특징으로 하는 라이다 데이터 기반 객체 검출 시스템.
라이다 데이터 기반으로 거리에 따른 가변 셀 단위의 그리드 맵을 생성하는 단계;
상기 그리드 맵 내의 객체셀과 배경셀을 구분하는 단계;
상기 객체셀을 군집화하는 단계; 및
상기 군집화된 객체셀로부터 장애물을 인식하는 단계;
를 포함하고,
상기 객체셀과 배경셀을 구분하는 단계는,
상기 그리드 맵의 각 셀에 포함된 적어도 하나 이상의 포인트들의 최대 높이 위치 정보, 최소 높이 위치 정보를 이용하여 상기 객체셀와 상기 배경셀을 구분하는 것을 특징으로 하는 라이다 데이터 기반 객체 검출 방법.
청구항 17에 있어서,
상기 그리드 맵을 생성하는 단계는,
상기 거리에 따른 가변 셀로 구성되는 3D 그리드 맵을 생성하는 단계;
상기 3D 그리드 맵의 셀 내의 포인트 위치를 산출하는 단계;
상기 3D 그리드 맵의 각 셀 단위 포인트 점유율을 판단하는 단계; 및
상기 셀 단위 포인트 점유율을 포함한 2D 그리드 맵을 생성하는 단계
를 포함하는 것을 특징으로 하는 라이다 데이터 기반 객체 검출 방법.
청구항 18에 있어서,
상기 3D 그리드 맵을 생성하는 단계는,
자차를 기준으로 종방향(차량 진행 방향)에 대해 상기 그리드 맵의 셀의 크기를 가변하여 구성하고, 상기 자차와 가까운 셀일수록 셀의 크기를 작게 생성하는 것을 특징으로 하는 라이다 데이터 기반 객체 검출 방법.
삭제