KR20230119335A - 레이더 센서 포인트 클라우드 데이터를 이용한 물체 검출 기술 - Google Patents

Abstract

레이더 센서 포인트 클라우드 데이터를 이용한 물체 검출 기술이 개시된다. 일 실시예에 따른 물체 검출 시스템에 의해 수행되는 물체 검출 방법은, 레이더 센서의 포인트 클라우드 데이터에 포함된 특성 정보들을 획득하는 단계; 및 상기 획득된 포인트 클라우드에 포함된 특성 정보들 중 적어도 하나 이상의 특성 정보를 이용하여 딥러닝 기반의 검출 모델을 통해 물체를 검출하는 단계를 포함할 수 있다.

Description

레이더 센서 포인트 클라우드 데이터를 이용한 물체 검출 기술{OBJECT DETECTION METHOD UTILIZING RADAR POINT CLOUD}

아래의 설명은 물체 검출 기술에 관한 것이다.

레이더 센서로부터 획득한 데이터를 통해 주변 물체를 검출하는 방법은 크게 두 가지로 분류 가능하다. 첫 번째는 개발자가 레이더 센서 데이터를 통해 물체의 위치를 검출하는 알고리즘을 직접 설계하는 방식이고, 두 번째는 레이더 센서 데이터를 활용하여 딥러닝 물체 검출 알고리즘을 훈련시키는 방식이다.

레이더 센서 물체 검출 알고리즘을 직접 설계하기 위해서는 개발자의 경험과 지식이 중요하게 작용한다. 환경에서 획득된 레이더 센서 데이터가 분석되어 물체가 존재할 때와 존재하지 않을 때의 레이더 센서 데이터의 특성이 구분된다. 물체가 존재할 때의 특성은 주변 물체의 운동 상태, 운동 방향, 물체의 크기 등에 따라 매우 다르게 나타나므로 모든 환경 상황을 포괄할 수 있는 알고리즘을 개발하는 것이 가장 중요하다. 따라서 개발자는 다양한 환경을 포괄할 수 있도록 검출 알고리즘을 설계해야 하며, 최적의 검출 성능을 획득하기 위해 많은 알고리즘 변수 변경 실험을 진행해야 한다.

딥러닝 기반 검출 모델을 훈련시키는 방식은 누적된 레이더 센서 데이터를 통해 딥러닝 물체 검출 알고리즘을 최적화 하는 방법이다. 최근 라이다 센서를 활용한 딥러닝 기반 물체 검출 알고리즘이 개발되며 높은 성능을 보임에 따라 레이더 센서에도 이를 적용하고자 하는 연구, 기술개발이 진행되었다. 레이더 센서를 활용한 딥러닝 기반 물체 검출 방법은 크게 두 가지로 분류 가능하다. 첫 번째는 기존에 연구된 라이다 기반 알고리즘에 라이다 센서 데이터를 적용하는 것으로, 레이더에서 획득한 도플러 주파수, 후 처리된 포인트 클라우드를 딥러닝 알고리즘의 입력으로 사용하여 주변 물체들의 위치를 검출하였다. 두 번째는 레이더 센서를 카메라 혹은 라이다 센서와 결합하여 물체를 검출하는 센서 퓨전 기법으로, 두 가지 이상의 센서 신호를 입력 단계, 특징맵 추출 단계 등의 여러 부분에서 융합함으로써 물체 검출의 성능 및 신뢰성을 높이고자 하였다.

기존의 딥러닝 기반 레이더 포인트 클라우드 물체 검출 기술은 모두 라이다 센서를 활용한 물체 검출 알고리즘을 차용하여 개발되었다. 라이다 포인트 클라우드는 포인트의 3 차원 위치 좌표, 반사율, 획득 시간 세 가지의 정보를 포함하며, 기존 레이더 포인트 클라우드 물체 검출 기술들은 이러한 입력 신호 값을 구성하기 위해 레이더 포인트 클라우드로부터 3 차원 위치 좌표, RCS, 획득 시간 등의 정보들을 추출하여 네트워크 입력으로 사용한다.

레이더 센서는 위의 위치 좌표, RCS, 획득 시간 정보 이외에도 획득한 포인트의 여러 물리적 상태들에 대한 정보를 획득할 수 있다. 레이더 포인트 클라우드의 각 포인트는 물체의 동적 특성, 도플러 주파수 불확실성, 포인 클러스터 유효성, 물체의 이동 속도 등의 추가적인 정보들을 포함한다. 종래의 기술들은 레이더 센서로부터 획득한 포인트 클라우드를 라이다 기반 알고리즘에 적용하기 위해 개발되었으므로 레이더 센서에서 획득 가능한 추가적인 정보들을 충분히 사용하지 못하는 단점을 가지고 있다.

레이더 센서의 포인트 클라우드 데이터에 포함된 특성 정보를 이용하여 딥러닝 기반의 검출 모델을 통해 물체를 검출하는 방법 및 시스템을 제공할 수 있다.

물체 검출 시스템에 의해 수행되는 물체 검출 방법은, 레이더 센서의 포인트 클라우드 데이터에 포함된 특성 정보들을 획득하는 단계; 및 상기 획득된 포인트 클라우드에 포함된 특성 정보들 중 적어도 하나 이상의 특성 정보를 이용하여 딥러닝 기반의 검출 모델을 통해 물체를 검출하는 단계를 포함할 수 있다.

상기 포인트 클라우드 데이터에 포함된 특성 정보들은, RCS 정보, 도플러 주파수, 물체 동적 특성, 도플러 주파수 불확실성 또는 포인트 클러스터 유효성 중 적어도 하나 이상을 포함할 수 있다.

상기 검출하는 단계는, 상기 획득된 클라우드 포인트에 포함된 특성 정보들에 대하여 포인트 클라우드 필터링을 수행하는 단계를 포함할 수 있다.

상기 검출하는 단계는, 상기 획득된 클라우드 포인트에 포함된 물체 동적 특성의 신뢰도에 따라 그룹화하는 단계를 포함할 수 있다.

상기 검출하는 단계는, 상기 물체 동적 특성의 신뢰도가 기 설정된 기준 이상일 경우, 상기 기 설정된 기준 이상인 물체 동적 특성의 값들에 대하여 이동중인 물체와 정지 상태의 물체를 정수형으로 표현하는 단계를 포함할 수 있다.

상기 검출하는 단계는, 상기 물체 동적 특성의 신뢰도가 기 설정된 기준 이하일 경우, 상기 기 설정된 기준 이하인 물체 동적 특성의 값들을 동일한 수치로 통일시키는 단계를 포함할 수 있다.

상기 검출하는 단계는, 상기 획득된 클라우드 포인트에 포함된 도플러 주파수 불확실성을 모호, 분명, 무효로 구분하고, 상기 구분된 모호, 분명, 무효로 표현되는 도플러 주파수 불확실성을 수치적으로 표현하고, 상기 구분된 분명으로 미표현되는 도플러 불확실성을 포함하는 포인트를 제거하는 단계를 포함할 수 있다.

상기 검출하는 단계는, 상기 획득된 클라우드 포인트에 포함된 포인트 클러스터 유효성을 무효 상태 또는 유효 상태로 구분하고, 상기 구분된 무효 상태 또는 유효 상태로 표현되는 포인트 클러스터 유효성을 수치적으로 표현하고, 상기 구분된 유효 상태로 미표현되는 포인트 클러스터 유효성을 포함하는 포인트를 제거하는 단계를 포함할 수 있다.

상기 검출하는 단계는, 상기 획득된 클라우드 포인트에 포함된 RCS 정보를 딥러닝 기반의 검출 모델에 입력되는 포인트의 특성값에 포함시키고, 상기 RCS 정보가 포함된 포인트의 특성값을 이용하여 상기 딥러닝 기반의 검출 모델을 통해 물체를 검출하는 단계를 포함할 수 있다.

상기 검출하는 단계는, 상기 딥러닝 기반의 검출 모델을 통해 상기 획득된 포인트 클라우드 데이터로부터 추출된 벡터 정보에 RCS 값을 가중치로 부여하여 물체를 검출하는 단계를 포함할 수 있다.

상기 검출하는 단계는, 상기 딥러닝 기반의 검출 모델을 통해 기 설정된 기준 이상의 RCS 값을 갖는 특징맵의 위치에 RCS 값을 가중치로 부여하여 물체를 검출하는 단계를 포함할 수 있다.

상기 검출하는 단계는, 상기 레이더 센서로부터 획득된 포인트 클라우드 데이터의 이동 속도 정보를 사용하여 환산된 속도 정보를 상기 딥러닝 기반의 검출 모델의 입력 데이터로 사용하는 단계를 포함할 수 있다.

상기 검출하는 단계는, 멀티 스윕 방식을 사용하여 일정 시간동안 누적된 포인트 클라우드 데이터의 속도 정보를 상기 딥러닝 기반의 검출 모델의 입력 데이터로 사용하여 포인트의 위치를 보정하는 단계를 포함할 수 있다.

물체 검출 방법을 상기 물체 검출 시스템에 실행시키기 위해 비-일시적인 컴퓨터 판독가능한 기록 매체에 저장되는 컴퓨터 프로그램을 포함할 수 있다.

물체 검출 시스템은, 레이더 센서의 포인트 클라우드 데이터에 포함된 특성 정보들을 획득하는 정보 획득부; 및 상기 획득된 포인트 클라우드에 포함된 특성 정보들 중 적어도 하나 이상의 특성 정보를 이용하여 딥러닝 기반의 검출 모델을 통해 물체를 검출하는 물체 검출부를 포함할 수 있다.

딥러닝 기법을 이용한 레이더 포인트 클라우드 물체 검출 수행 시 레이더 센서의 데이터 활용도를 향상시킬 수 있다.

기존의 딥러닝 기반 레이더 물체 검출 알고리즘을 적용할 때 레이더 센서의 신호를 효과적으로 활용할 수 있어, 레이더 센서의 낮은 포인트 클라우드 단점을 보완할 수 있으며, 물체에서 획득한 여러 물리적인 신호들을 활용함으로써 물체 검출 성능을 향상시킬 수 있다.

레이더 센서를 활용하는 여러 이동 장비들에 포괄적으로 사용 가능한 기법이며, 이동 장비와 주변 물체와의 사고 방지, 이동 경로 계획, 물체 식별 등의 다양한 분야에도 활용될 수 있을 것으로 예상한다.

도 1은 일 실시예에 따른 물체 검출 시스템의 개괄적인 동작을 설명하기 위한 도면이다.
도 2는 일 실시예에 따른 물체 검출 시스템에서 포인트 필터링을 수행하는 방법을 설명하기 위한 도면이다.
도 3은 일 실시예에 따른 물체 검출 시스템에서 RCS 정보를 활용하는 방법을 설명하기 위한 도면이다.
도 4는 일 실시예에 따른 물체 검출 시스템에서 속도 정보를 활용한 보정 결과를 나타낸 예이다.
도 5는 일 실시예에 따른 물체 검출 시스템의 구성을 설명하기 위한 블록도이다.
도 6은 일 실시예에 따른 물체 검출 시스템에서 물체 검출 방법을 설명하기 위한 흐름도이다.

이하, 실시예를 첨부한 도면을 참조하여 상세히 설명한다.

실시예에서는 레이더 센서를 탑재한 차량 또는 이동로봇에서 활용 가능한 딥러닝 기반 물체 검출 동작에 대하여 설명하기로 한다. 기존의 포인트 클라우드 물체 검출 기법들은 주로 라이다(Lidar: Light Detection and Ranging) 센서를 사용하여 물체 검출을 수행한다. 라이다 센서는 획득된 포인트의 3 차원 위치, 반사율, 포인트 획득 시간을 포함한 포인트 클라우드를 형성한다. 기존의 딥러닝 기반 레이더 물체 검출 기술들은 레이더 입력 신호를 라이다 기반 물체 검출 알고리즘의 입력처럼 세 가지 특성만을 사용하여 동작하였다. 레이더 센서에는 라이다 센서의 정보들뿐만 아니라 획득된 포인트의 도플러 주파수 변화량, RCS(Radar Cross-Section), 안테나에 수신된 포인트의 여러가지 물리적 상태 등의 추가적인 정보들이 존재한다. 도플러 주파수를 통해 물체의 속도 정보를 획득할 수 있으며, RCS 값을 통해 물체의 재질, 크기 등에 대한 대략적인 정보를 얻을 수 있다. 포인트의 물리적 상태는 발신단에서 출발한 레이더 신호가 수신단에 감지되었을 때, 감지된 포인트의 특성을 분석하여 물체의 운동 상태, 도플러 불확실성, 포인트 오탐지 정보와 관련된 신호들을 포함한다. 실시예에서는 레이더 포인트에 포함된 도플러 주파수 변화량, RCS, 포인트의 물리적 상태 등의 정보를 활용하여 딥러닝 기반 물체 검출 알고리즘에 사용하는 동작에 대하여 설명하기로 한다.

도 1은 일 실시예에 따른 물체 검출 시스템의 개괄적인 동작을 설명하기 위한 도면이다.

물체 검출 시스템(100)은 레이더 센서의 포인트 클라우드 데이터를 딥러닝 기반의 검출 모델을 이용하여 물체를 검출할 수 있다. 예를 들면, 물체 검출 시스템(100)은 라이다 기반의 물체 검출 알고리즘에 레이더에서 획득 가능한 정보들을 추가적으로 활용하여 물체 검출의 신뢰성, 검출 성능을 향상시킬 수 있다.

물체 검출 시스템(100)은 레이더 센서의 포인트 클라우드 데이터를 획득할 수 있다(110). 물체 검출 시스템(100)은 포인트 클라우드 데이터의 특성 정보들을 획득할 수 있다(120). 레이더 안테나로부터 수신되는 원정보는 후처리 되어 포인트 클라우드 형태로 변형 가능하다. 이때, 각 포인트는 물체의 위치, 획득 시간, RCS, 도플러 주파수, 물체 동적 특성, 도플러 주파수 불확실성, 포인트 클러스터 유효성 등의 특성 정보를 포함할 수 있다. 레이더로부터 획득 가능한 많은 신호들은 각 동작 과정을 통해 딥러닝 기반 검출 모델/알고리즘의 성능, 신뢰도를 향상시킬 수 있다.

물체 검출 시스템(100)은 포인트 클라우드 데이터를 필터링할 수 있다. 물체 검출 시스템(100)은 포인트 클라우드 데이터에 포함된 특성 정보들 중 적어도 하나 이상의 특성 정보를 이용하여 포인트 클라우드 데이터를 필터링할 수 있다. 물체 검출 시스템(100)은 레이더 센서로부터 획득된 포인트 클라우드 데이터를 물체 동적 특성, 도플러 주파수 불확실성, 포인트 클러스터 유효성을 포함하는 세 가지의 필터링을 수행하여 딥뉴럴 네트워크 트레이닝 및 인퍼런스에 보다 적합한 포인트 클라우드 데이터로 전처리할 수 있다.

도 2를 참고하면, 포인트 필터링을 수행하는 방법을 설명하기 위한 도면이다. 물체 검출 시스템(100)은 클라우드 포인트 데이터에 포함된 물체 동적 특성을 그룹화할 수 있다(210). 물체 검출 시스템(100)은 획득된 클라우드 포인트에 포함된 물체 동적 특성의 신뢰도(동적 특성 신뢰도)에 따라 그룹화할 수 있다. 물체 동적 특성 그룹화는 포인트가 반사된 물체의 움직임에 대한 정보(동적 물체, 정지 물체, 사선 방향 이동 물체 등)를 포함한다. 물체 검출 시스템(100)은 레이더 센서의 동적 특성 신뢰도가 기 설정된 기준 이상일 경우, 딥러닝 기반의 검출 모델의 입력 데이터로 물체 동적 정보에 대한 특성값을 수치화할 수 있다. 물체 검출 시스템(100)은 물체 동적 정보에 대한 특성값을 정수값으로 표현할 수 있다. 예를 들면, 물체 검출 시스템(100)은 이동 중인 물체를 0, 정지 상태의 물체를 1로 정수형으로 표현할 수 있다. 물체 검출 시스템(100)은 정수형 또는 딥러닝 기반의 검출 모델의 입력 값에 적합한 수치 표현으로 변형하여 사용할 수 있다. 이를 통해 포인트 클라우드 데이터에서 동적 물체에 대한 물체 검출 성능이 향상될 수 있다. 또한, 물체 검출 시스템(100)은 동적 특성 신뢰도가 기 설정된 기중 이하일 경우, 모든 포인트의 동적 특성 값을 동일한 수치로 통일시킬 수 있다. 동적 특성의 신뢰도가 낮은 경우 포인트의 동적 특성 값들은 입력 노이즈에 해당되므로 네트워크의 성능을 하락시킬 수 있다. 따라서 모든 동적 특성 값을 동일한 값으로 수정하여 그룹화 할 수 있다. 또한, 동일한 그룹으로 수정하는 대신 동적 특성 값을 제거한 포인트 클라우드를 딥러닝 기반의 검출 모델의 입력 데이터로 사용할 수 있다.

물체 검출 시스템(100)은 클라우드 포인트 데이터에 포함된 도플러 주파수 불확실성을 필터링할 수 있다(220). 도플러 주파수 불확실성은 모호, 분명, 무효 등의 특성값으로 표현될 수 있다. 도플러 주파수 불확실성 역시 물체 동적 특성과 같이 수치적으로 표현 가능하다. 물체 검출 시스템(100)은 획득된 클라우드 포인트에 포함된 도플러 주파수 불확실성을 모호, 분명, 무효로 구분하고, 구분된 모호, 분명, 무효로 표현되는 도플러 주파수 불확실성을 수치적으로 표현할 수 있다. 예를 들면, 물체 검출 시스템(100)은 도플러 주파수 불확실성에 대하여 정수 0을 무효, 정수 1을 모호, 정수 2를 분명 등으로 표현할 수 있다. 물체 검출 시스템(100)은 구분된 분명으로 미표현되는 도플러 불확실성을 포함하는 포인트를 제거할 수 있다. 도플러 주파수 불확실성에서 분명으로 분류되지 않는 포인트는 포인트의 좌표, RCS 정보(속도) 등의 신뢰성이 보장되지 않으므로 실시예에서는 분명한 포인트를 제외한 모든 포인트들을 제거하는 필터링을 통해 보다 신뢰성 높은 레이더 포인트 클라우드 데이터를 형성할 수 있으며, 알고리즘의 성능을 향상시킬 수 있다.

물체 검출 시스템(100)은 클라우드 포인트 데이터에 포함된 포인트 클러스터 유효성을 필터링할 수 있다(230). 포인트 클러스터 유효성은 레이더 안테나로부터 수신되는 신호가 낮은 RCS 값, 클러터, 고조파 등의 포인트 클러터 유효성을 저해하는 요소가 발견 되었는지를 나타내는 특성 값이다. 포인트 클러터 유효성은 크게 무효 상태, 유효 상태로 구분되며, 각 상태는 여러가지 하위 상태들로 분류될 수 있다. 물체 검출 시스템(100)은 획득된 클라우드 포인트에 포함된 포인트 클러스터 유효성을 무효 상태 또는 유효 상태로 구분하고, 구분된 무효 상태 또는 유효 상태로 표현되는 포인트 클러스터 유효성을 수치적으로 표현할 수 있다. 예를 들면, 모든 하위 클러터 유효성 상태들도 정수값으로 표현 가능하므로 정수 0을 낮은 RCS 에 의한 무효, 정수 1을 고조파에 의한 무효, 정수 2 를 유효 등으로 표현 가능하다. 물체 검출 시스템(100)은 구분된 유효 상태로 미표현되는 포인트 클러스터 유효성을 포함하는 포인트를 제거할 수 있다. 물체 검출 시스템(100)은 유효하지 않은 포인트의 상태(ex. 낮은 RCS, 고조파 발생, 근거리 아티팩트 등)를 갖는 포인트들을 제거하고, 유효한 상태들로 표현되는 포인트를 사용하여 보다 신뢰성 높은 레이더 포인트 클라우드 데이터를 형성하는 필터링을 수행할 수 있다.

물체 검출 시스템(100)은 포인트 필터링을 수행함에 따라 딥러닝 기반의 검출 모델에 입력하기 위한 포인트 클라우드 데이터를 획득할 수 있다. RCS 정보, 상대속도 값은 라이다 센서에서 얻을 수 없는 센서 데이터이므로 라이다 기반 알고리즘을 활용한 딥러닝 알고리즘에는 모델 입력으로 사용되지 않은 센서 값이다. RCS 정보는 물체의 유효 면적을 의미하며, 대략적인 물체의 크기, 반사율로 해석 가능하다.

필터링된 포인트 클라우드 데이터는 RCS 정보, 상대속도의 특성들을 포함하고 있으며, 실시예에서는 레이더 포인트 클라우드의 RCS 값, 상대속도 값을 딥러닝 기반 물체 검출 인식 모델의 입력 데이터로 사용할 수 있다.

물체 검출 시스템(100)은 딥러닝 기반의 검출 모델을 이용하여 물체를 검출할 수 있다(140, 150). 딥러닝 기반의 검출 모델에 필터링이 수행된 포인트 클라우드 데이터가 입력될 수 있고, 딥러닝 기반의 검출 모델을 통해 필터링이 수행된 포인트 클라우드 데이터로부터 물체를 검출할 수 있다. 딥러닝 기반의 검출 모델은 포인트 클라우드 데이터에 포함된 특성 정보를 이용하여 물체를 검출하게 된다.

물체 검출 시스템(100)은 RCS 정보를 크게 세 가지의 방법으로 딥러닝 기반의 검출 모델에 입력할 수 있다. 도 3을 참고하면, RCS 정보를 활용하는 방법을 설명하기 위한 도면이다. 일례로, 물체 검출 시스템(100)은 딥러닝 기반의 검출 모델에 입력되는 포인트의 특성 값에 RCS 정보를 포함시키고, RCS 정보가 포함된 포인트의 특성값을 이용하여 딥러닝 기반의 검출 모델을 통해 물체를 검출할 수 있다. 이러한 첫 번째 방법은 딥러닝 기반의 검출 모델이 RCS 정보(값)의 특성을 파악하여 스스로 물체 검출 성능을 향상시키는 방향으로 학습시킬 수 있다. 첫 번째 방법은 연구, 기술들이 활용하는 가장 일반적인 방법이다. 다른 예로서, 물체 검출 시스템(100)은 딥러닝 기반의 검출 모델을 통해 포인트 클라우드 데이터로부터 추출된 벡터 정보에 RCS 값을 가중치로 부여하여 물체를 검출할 수 있다. 두 번째 방법은 각 레이더 포인트 벡터에 RCS 정보(값)을 곱하여 중요도 정보를 주는 방법이다. 검출의 대상이 되는 중요한 물체들은 대부분 RCS 값이 크다는 특성을 갖는다. RCS 값을 포인트 가중치로 사용함으로써 물체에 해당하는 레이더 포인트의 중요도를 향상시킬 수 있다. 또 다른 예로서, 물체 검출 시스템(100)은 딥러닝 기반의 검출 모델을 통해 기 설정된 기준 이상의 RCS 값을 갖는 특징맵의 위치에 RCS 값을 가중치로 부여하여 물체를 검출할 수 있다. 세 번째 방법은 딥러닝 기반의 검출 모델로부터 연산된 특징맵에 RCS 값을 활용할 수 있다. 높은 RCS 값을 갖는 특징맵의 위치에 RCS 값을 활용함으로써 중요도가 높은 특징 값들에 가중치를 부여하여 검출 성능을 향상시킬 수 있다.

물체 검출 시스템(100)은 레이더 센서로부터 획득된 포인트 클라우드 데이터의 이동 속도 정보를 사용하여 환산된 속도 정보를 딥러닝 기반의 검출 모델의 입력 데이터로 사용할 수 있다. 상대속도 또한 라이다에서는 직접적으로 얻을 수 없는 센서 데이터이다. 상대 속도는 센서의 이동 속도 정보를 사용하여 절대 속도로 환산될 수 있으므로 상대 속도, 절대 속도를 포함하여 이하 속도 정보로 기재하기로 한다. 도 4를 참고하면, 속도 정보를 활용한 보정 결과를 나타낸 예이다. 물체 검출 시스템(100)은 속도 정보를 두 가지의 방법으로 딥러닝 기반의 검출 모델의 입력 과정에서 사용할 수 있다. 일례로, 물체 검출 시스템(100)은 속도 정보를 RCS와 마찬가지로 딥러닝 모델의 입력 값으로 사용할 수 있다. 물체에서 레이더 포인트가 적게 탐지된 상황에서 물체가 움직이는 정보가 주어진다면 물체 검출 성능과 신뢰도를 높일 수 있다. 다른 예로서, 물체 검출 시스템(100)은 멀티 스윕에서 포인트 속도 보정에 사용할 수 있다. 라이다, 레이더는 매우 빠른 주기로 센서 값을 획득하며, 센서 값이 측정될 때마다 딥러닝 기반 검출 모델을 동작시키는 것은 모델의 동작시간 한계, 적은 포인트 수 등의 문제를 발생시킨다. 이를 해결하기 위해 일반적으로 멀티 스윕 방식으로 사용하여 일정 시간동안 누적된 포인트 클라우드 데이터를 동일한 시간대에 감지되었다 가정하여 딥러닝 기반 검출 모델의 입력 데이터로 사용할 수 있다. 이러한 가정에 따라 운동중인 물체에서 감지된 멀티 스윕 포인트 클라우드 중에서 비교적 오래된 포인트들은 실제 물체의 위치에서 벗어나는 문제가 발생한다. 레이더 포인트의 속도 정보를 이용하여 멀티 스윕을 형성할 때, 포인트의 위치를 보정 가능하며, 이를 통해 검출 성능을 향상시킬 수 있다. 속도 정보를 활용한 멀티 스윕 보정 결과는 도 4와 같다. 도 4(a)는 기존 멀티 스윕 결과를 나타낸 것이고, 도 4(b)는 레이더 속도 정보를 활용하여 보정된 멀티 스윕 결과를 나타낸 것이다.

도 5는 일 실시예에 따른 물체 검출 시스템의 구성을 설명하기 위한 블록도이고, 도 6은 일 실시예에 따른 물체 검출 시스템에서 물체 검출 방법을 설명하기 위한 흐름도이다.

물체 검출 시스템(100)의 프로세서는 정보 획득부(510) 및 물체 검출부(520)을 포함할 수 있다. 이러한 프로세서의 구성요소들은 물체 검출 시스템에 저장된 프로그램 코드가 제공하는 제어 명령에 따라 프로세서에 의해 수행되는 서로 다른 기능들(different functions)의 표현들일 수 있다. 프로세서 및 프로세서의 구성요소들은 도 6의 물체 검출 방법이 포함하는 단계들(610 내지 620)을 수행하도록 물체 검출 시스템을 제어할 수 있다. 이때, 프로세서 및 프로세서의 구성요소들은 메모리가 포함하는 운영체제의 코드와 적어도 하나의 프로그램의 코드에 따른 명령(instruction)을 실행하도록 구현될 수 있다.

프로세서는 물체 검출 방법을 위한 프로그램의 파일에 저장된 프로그램 코드를 메모리에 로딩할 수 있다. 예를 들면, 물체 검출 시스템에서 프로그램이 실행되면, 프로세서는 운영체제의 제어에 따라 프로그램의 파일로부터 프로그램 코드를 메모리에 로딩하도록 물체 검출 시스템을 제어할 수 있다. 이때, 정보 획득부(510) 및 물체 검출부(520) 각각은 메모리에 로딩된 프로그램 코드 중 대응하는 부분의 명령을 실행하여 이후 단계들(610 내지 620)을 실행하기 위한 프로세서의 서로 다른 기능적 표현들일 수 있다.

단계(610)에서 정보 획득부(510)는 레이더 센서의 포인트 클라우드 데이터에 포함된 특성 정보들을 획득할 수 있다. 이때, 특성 정보들은, RCS 정보, 도플러 주파수, 물체 동적 특성, 도플러 주파수 불확실성 또는 포인트 클러스터 유효성 중 적어도 하나 이상을 포함할 수 있다.

단계(620)에서 물체 검출부(520)는 획득된 포인트 클라우드에 포함된 특성 정보들 중 적어도 하나 이상의 특성 정보를 이용하여 딥러닝 기반의 검출 모델을 통해 물체를 검출할 수 있다. 물체 검출부(520)는 획득된 클라우드 포인트에 포함된 특성 정보들에 대하여 포인트 클라우드 필터링을 수행할 수 있다. 물체 검출부(520)는 획득된 클라우드 포인트에 포함된 물체 동적 특성의 신뢰도에 따라 그룹화할 수 있다. 물체 검출부(520)는 물체 동적 특성의 신뢰도가 기 설정된 기준 이상일 경우, 기 설정된 기준 이상인 물체 동적 특성의 값들에 대하여 이동중인 물체와 정지 상태의 물체를 정수형으로 표현할 수 있다. 물체 검출부(520)는 물체 동적 특성의 신뢰도가 기 설정된 기준 이하일 경우, 기 설정된 기준 이하인 물체 동적 특성의 값들을 동일한 수치로 통일시킬 수 있다. 물체 검출부(520)는 획득된 클라우드 포인트에 포함된 도플러 주파수 불확실성을 모호, 분명, 무효로 구분하고, 구분된 모호, 분명, 무효로 표현되는 도플러 주파수 불확실성을 수치적으로 표현하고, 구분된 분명으로 미표현되는 도플러 불확실성을 포함하는 포인트를 제거할 수 있다. 물체 검출부(520)는 획득된 클라우드 포인트에 포함된 포인트 클러스터 유효성을 무효 상태 또는 유효 상태로 구분하고, 구분된 무효 상태 또는 유효 상태로 표현되는 포인트 클러스터 유효성을 수치적으로 표현하고, 구분된 유효 상태로 미표현되는 포인트 클러스터 유효성을 포함하는 포인트를 제거할 수 있다. 물체 검출부(520)는 획득된 클라우드 포인트에 포함된 RCS 정보를 딥러닝 기반의 검출 모델에 입력되는 포인트의 특성값에 포함시키고, RCS 정보가 포함된 포인트의 특성값을 이용하여 딥러닝 기반의 검출 모델을 통해 물체를 검출할 수 있다. 물체 검출부(520)는 딥러닝 기반의 검출 모델을 통해 획득된 포인트 클라우드 데이터로부터 추출된 벡터 정보에 RCS 값을 가중치로 부여하여 물체를 검출할 수 있다. 물체 검출부(520)는 딥러닝 기반의 검출 모델을 통해 기 설정된 기준 이상의 RCS 값을 갖는 특징맵의 위치에 RCS 값을 가중치로 부여하여 물체를 검출할 수 있다. 물체 검출부(520)는 레이더 센서로부터 획득된 포인트 클라우드 데이터의 이동 속도 정보를 사용하여 환산된 속도 정보를 딥러닝 기반의 검출 모델의 입력 데이터로 사용할 수 있다. 물체 검출부(520)는 스윕 방식을 사용하여 일정 시간동안 누적된 포인트 클라우드 데이터의 속도 정보를 딥러닝 기반의 검출 모델의 입력 데이터로 사용하여 포인트의 위치를 보정할 수 있다.

실시예에서 제안된 레이더 신호를 사용한 딥러닝 기반 물체 검출 동작은 레이더를 탑재한 모든 장비에 활용이 가능하다. 대표적인 적용가능 분야는 주변 물체를 인지하기 위해 레이더를 장착한 차량, 이동로봇이 있다. 첫 번째로 차량의 경우 자율주행 및 ADAS(Advanced Driving Assistance System)를 위해 레이더가 필수적으로 사용된다. 레이더를 통해 주변 물체를 검출하여 충돌과 같은 주행 위험성을 사전에 예측할 수 있으며, 이는 교통사고 위험성을 크게 낮춰준다. 유로 NCAP(New Car Assessment Program)은 교통사고를 줄이기 위한 기술 개발 로드맵을 제시하며, 현재 주변 물체와의 충돌을 방지하기 위한 ADAS 장비 도입을 의무화하고 있다. 상용차의 경우 카메라, 레이더 두 가지의 센서를 활용하여 충돌 방지 시스템을 도입하였으며, 특히 레이더는 외부 환경에 영향을 적게 받으며, 비교적 저렴한 가격의 센서이므로 현재 가장 범용적으로 사용되는 센서이다. 두 번째의 이동로봇의 경우도 주변 물체의 검출은 필수적인 기술이다. 이동로봇은 비교적 저속으로 운동하지만 보다 복잡한 환경에서 주어진 업무를 수행해야 하므로 물체 검출의 중요성이 매우 높다. 이때, 레이더를 활용하는 주변의 느린 물체들을 높은 정확도로 검출할 수 있으므로 이동 로봇에서도 레이더의 활용성이 매우 높다. 차량, 이동로봇과 같이 주변 물체 검출의 높은 정확도가 필요하며 동시에 합리적인 가격으로 제작할 필요성이 존재하는 모든 제품에 레이더가 센서가 활용될 수 있으며, 딥러닝 기반 레이더 포인트 클라우드 알고리즘이 적용될 수 있다.

실시예에 따른 딥러닝 기반 레이더 물체 검출 알고리즘을 통해 주변 물체의 위치에 대한 정보를 획득 가능하므로 자율주행 차량 또는 이동형 로봇에 응용 가능하며, 향후 주변 물체의 추적, 이동경로 설정, 환경 지도 생성 등의 보다 복잡한 기능을 수행할 것으로 예상된다. 주변 물체의 추적은 시간에 따라 누적된 검출 결과를 종합적으로 판단하여 물체가 가려진 상황에서도 신뢰성 높은 물체 위치 검출을 가능하게 한다. 자율주행 차량 또는 이동로봇이 목적지까지 이동하기 위해서는 이동경로 결정이 필요하다. 이때, 주변 물체의 위치 검출 결과를 이용하여 지역적인 이동경로를 설정할 수 있으며, 이를 통해 주변 물체와의 충돌 사고 예방의 효과를 갖게 된다. 환경 지도는 이동해야 하는 경로의 주변 환경들을 지도로 표현한 데이터베이스이다. 레이더 물체 검출 알고리즘의 건물, 도로, 도로 울타리 등의 검출 결과를 이용하여 환경 지도를 구축할 수 있으며, 이를 통해 신뢰성 높은 자율주행 기술을 개발할 수 있다

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (15)

1. 물체 검출 시스템에 의해 수행되는 물체 검출 방법에 있어서,
   레이더 센서의 포인트 클라우드 데이터에 포함된 특성 정보들을 획득하는 단계; 및
   상기 획득된 포인트 클라우드에 포함된 특성 정보들 중 적어도 하나 이상의 특성 정보를 이용하여 딥러닝 기반의 검출 모델을 통해 물체를 검출하는 단계
   를 포함하는 물체 검출 방법.
2. 제1항에 있어서,
   상기 포인트 클라우드 데이터에 포함된 특성 정보들은,
   RCS 정보, 도플러 주파수, 물체 동적 특성, 도플러 주파수 불확실성 또는 포인트 클러스터 유효성 중 적어도 하나 이상을 포함하는 물체 검출 방법.
3. 제1항에 있어서,
   상기 검출하는 단계는,
   상기 획득된 클라우드 포인트에 포함된 특성 정보들에 대하여 포인트 클라우드 필터링을 수행하는 단계
   를 포함하는 물체 검출 방법.
4. 제3항에 있어서,
   상기 검출하는 단계는,
   상기 획득된 클라우드 포인트에 포함된 물체 동적 특성의 신뢰도에 따라 그룹화하는 단계
   를 포함하는 물체 검출 방법.
5. 제4항에 있어서,
   상기 검출하는 단계는,
   상기 물체 동적 특성의 신뢰도가 기 설정된 기준 이상일 경우, 상기 기 설정된 기준 이상인 물체 동적 특성의 값들에 대하여 이동중인 물체와 정지 상태의 물체를 정수형으로 표현하는 단계
   를 포함하는 물체 검출 방법.
6. 제4항에 있어서,
   상기 검출하는 단계는,
   상기 물체 동적 특성의 신뢰도가 기 설정된 기준 이하일 경우, 상기 기 설정된 기준 이하인 물체 동적 특성의 값들을 동일한 수치로 통일시키는 단계
   를 포함하는 물체 검출 방법.
7. 제3항에 있어서,
   상기 검출하는 단계는,
   상기 획득된 클라우드 포인트에 포함된 도플러 주파수 불확실성을 모호, 분명, 무효로 구분하고, 상기 구분된 모호, 분명, 무효로 표현되는 도플러 주파수 불확실성을 수치적으로 표현하고, 상기 구분된 분명으로 미표현되는 도플러 불확실성을 포함하는 포인트를 제거하는 단계
   를 포함하는 물체 검출 방법.
8. 제3항에 있어서,
   상기 검출하는 단계는,
   상기 획득된 클라우드 포인트에 포함된 포인트 클러스터 유효성을 무효 상태 또는 유효 상태로 구분하고, 상기 구분된 무효 상태 또는 유효 상태로 표현되는 포인트 클러스터 유효성을 수치적으로 표현하고, 상기 구분된 유효 상태로 미표현되는 포인트 클러스터 유효성을 포함하는 포인트를 제거하는 단계
   를 포함하는 물체 검출 방법.
9. 제1항에 있어서,
   상기 검출하는 단계는,
   상기 획득된 클라우드 포인트에 포함된 RCS 정보를 딥러닝 기반의 검출 모델에 입력되는 포인트의 특성값에 포함시키고, 상기 RCS 정보가 포함된 포인트의 특성값을 이용하여 상기 딥러닝 기반의 검출 모델을 통해 물체를 검출하는 단계
   를 포함하는 물체 검출 방법.
10. 제1항에 있어서,
    상기 검출하는 단계는,
    상기 딥러닝 기반의 검출 모델을 통해 상기 획득된 포인트 클라우드 데이터로부터 추출된 벡터 정보에 RCS 값을 가중치로 부여하여 물체를 검출하는 단계
    를 포함하는 물체 검출 방법.
11. 제1항에 있어서,
    상기 검출하는 단계는,
    상기 딥러닝 기반의 검출 모델을 통해 기 설정된 기준 이상의 RCS 값을 갖는 특징맵의 위치에 RCS 값을 가중치로 부여하여 물체를 검출하는 단계
    를 포함하는 물체 검출 방법.
12. 제1항에 있어서,
    상기 검출하는 단계는,
    상기 레이더 센서로부터 획득된 포인트 클라우드 데이터의 이동 속도 정보를 사용하여 환산된 속도 정보를 상기 딥러닝 기반의 검출 모델의 입력 데이터로 사용하는 단계
    를 포함하는 물체 검출 방법.
13. 제1항에 있어서,
    상기 검출하는 단계는,
    멀티 스윕 방식을 사용하여 일정 시간동안 누적된 포인트 클라우드 데이터의 속도 정보를 상기 딥러닝 기반의 검출 모델의 입력 데이터로 사용하여 포인트의 위치를 보정하는 단계
    를 포함하는 물체 검출 방법.
14. 제1항 내지 제13항 중 어느 한 항의 물체 검출 방법을 상기 물체 검출 시스템에 실행시키기 위해 비-일시적인 컴퓨터 판독가능한 기록 매체에 저장되는 컴퓨터 프로그램.
15. 물체 검출 시스템에 있어서,
    레이더 센서의 포인트 클라우드 데이터에 포함된 특성 정보들을 획득하는 정보 획득부; 및
    상기 획득된 포인트 클라우드에 포함된 특성 정보들 중 적어도 하나 이상의 특성 정보를 이용하여 딥러닝 기반의 검출 모델을 통해 물체를 검출하는 물체 검출부
    를 포함하는 물체 검출 시스템.
    

Images