KR102050756B1

KR102050756B1 - 초소형 표적 탐지기

Info

Publication number: KR102050756B1
Application number: KR1020190061373A
Authority: KR
Inventors: 김병학; 김민영
Original assignee: 한화시스템 주식회사; 경북대학교 산학협력단
Priority date: 2019-05-24
Filing date: 2019-05-24
Publication date: 2020-01-08

Abstract

본 발명은 초소형 표적 탐지기에 관한 것으로, 보다 상세하게는, 레이저 레이더(Laser-based radar, LIDAR)와 같이 3차원 공간정보를 이용하여 초소형 표적의 위치(좌표)를 검출하는 3D 센서 시스템에 적합한 V-RBNN(Variable Radial Bounded Nearest Neighbor) 기반 초소형 표적 탐지기에 관한 것이다.
본 발명의 실시예에 따른 초소형 표적 탐지기에 의하면, 기존의 설계 경험을 바탕으로 확보된 기본 LIDAR 데이터 셋을 기반으로 LIDAR의 광기구 설계 특성을 고려한 표적의 형태와 움직임 궤적, 그리고 발생 가능한 노이즈 성분을 증강시켜 제공하여 2km 수준의 원거리에서 접근하는 드론과 같은 초소형 표적을 안정적으로 탐지할 수 있다.

Description

초소형 표적 탐지기{MICRO TARGET DETECTION DEVICE}

본 발명은 초소형 표적 탐지기에 관한 것으로, 보다 상세하게는, 레이저 레이더(Laser-based radar, LIDAR)와 같이 3차원 공간정보를 이용하여 초소형 표적의 위치(좌표)를 검출하는 3D 센서 시스템에 적합한 초소형 표적 탐지기에 관한 것이다.

드론은 무인 비행체로서, 레저, 방송, 군사, 취미, 유통, 통신 등 다양한 분야에서 활용되고 있다. 이와 같이 드론의 응용분야가 점차 확대됨에 따라 안전이나 보안을 이유로 위협이 되는 드론을 탐지 및 추적하기 위한 시스템 도입이 필요하였다.

드론과 같은 초소형 표적을 탐지하기 위해 기존에는 적외선과 가시광선을 융합한 전자광학영상센서(Electro-Optical/Infra-Red, EO/IR)를 이용한 탐지 시스템이 주로 사용되어 왔으나, 이러한 적외선 및 가시광선 센서와 같은 2D 센서들은 복잡한 배경의 조건에서 드론과 같은 초소형 표적을 효과적으로 탐지하는데 한계가 있었다.

도 1은 기존 EO/IR 시스템을 이용하여 드론을 촬영한 이미지를 도시한 도면으로서, 대략 1000m 거리에서 횡단 사인파 방향으로 접근하는 드론의 EO/IR 이미지이다.

도 1에 도시된 이미지에서, 멀리 있는 배경에는 산들과 도로가 있고, 이미지 중앙에는 강이 있다. 강둑에는 나무가 있고, 드론이 나무 앞을 비행하고 있다. 도 1의 (a) 또는 (c)와 같이, 드론은 비교적 단조로운 배경의 장소에서는 최적으로 탐지된다.

그러나, 도 1의 (b)와 같이, 배경에서 나무를 포함하는 영역에 드론이 접근할 때 검출은 사실상 어렵다. 이러한 조건은 장면의 나무, 수풀, 구름, 또는 해수면의 태양광 반사, 발포시 화염 현상 등으로 인해 EO/IR 운영 환경에서 자주 발생한다.

이와 같이, EO/IR 시스템과 같이 2D 영상 기반의 기존의 탐지 시스템은 주야간 환경하에서 전천후로 표적을 감시할 수 있는 이점은 있으나, 비교적 복잡한 배경조건에서는 배경과 표적을 구분하지 못하고, 열 영상 포화현상이나 빛 반사 등으로 인해 표적이 포화영역과 겹치게 될 경우 표적 탐지성능이 저하되는 문제가 있었다.

이러한 기존 EO/IR 시스템의 한계를 극복하기 위해 3D 센서를 사용할 수 있다.

도 2는 기존 LiDAR 시스템을 이용하여 드론을 촬영한 이미지를 도시한 도면으로서, 30cm³ 정도의 부피를 갖는 드론을 10m, 25m, 50m 거리에서 촬영한 이미지를 도시하였다.

도 2의 (a)와 같이, LiDAR 센서와 드론과의 거리가 10m일 경우의 결과로 9개 정도의 점으로 드론이 검출되었다. 드론과의 거리가 10m일 때, [수학식 1] 및 [수학식 2]와 같이, 탄젠트 함수(Tangent Funcion)를 이용하여 길이에 대한 검출 해상도를 계산하면, 가로방향 해상도 0.0017m(1.7cm)이고, 세로방향 해상도 0.3492m(34.9cm)이다. 또한, 가로방향 스캔 해상도로 30cm³ 정도의 드론을 [수학식 3]과 같이 계산하여 최대 가로 17 포인트, 세로 1 포인트로 표현 가능함을 계산할 수 있다. 실제 드론은 가로 포인트가 일부 생략되어 가로 7 포인트, 세로 1 포인트로 탐지되었다.

도 2의 (b)와 같이, LiDAR 센서와 드론과의 거리가 25m일 경우, [수학식 1] 내지 [수학식 3]을 이용하여 10m 거리일 때와 동일한 방법으로 최대 가로 7 포인트, 세로 0.3 포인트로 계산할 수 있다. 실제 가로 6 포인트, 세로 1 포인트로 탐지되었다.

도 2의 (c)와 같이, LiDAR 센서와 드론과의 거리가 50m일 때의 실험 결과로서, 계산식에 따른 길이 해상도는 AZ_RES 0.0873, EL_RES 1.7460이므로, AZ 3.4×0.17 포인트로 검출이 가능하나, 실제 가로 3 포인트, 세로 1 포인트로 탐지되었다. 실제 실험 과정에서 세로방향으로 드론이 움직일 경우, 성공적 검출과 실패적 검출이 반복되었다.

결과적으로, LiDAR 센서에서는 해상력이 매우 낮아 원거리의 드론을 검출하기에 부적합하다. 만약, 드론과의 거리가 2km 거리 조건이라면, LiDAR의 해상도는 AZ_RES 3.49m, EL_RES 69.84m 이고, 검출 가능한 포인트들은 AZ__points0.086, EL__points 0.0043으로 대략 1/10 확률로 1개의 점이 간헐적으로 깜빡이는 형태로 예측할 수 있다. 이정도는 공기 중 수분에 반사되는 깜빡임 형태의 노이즈와 표적을 구분할 수 없는 수준이다.

상기에서, AZ는 방위각, EL은 고도, AZ_RES는 AZ의 해상도, EL_RES는 EL의 해상도이다.

이와 같이, 기존 LiDAR 시스템는 EO/IR 시스템에 비해 소형 표적의 탐지 성능은 우수하지만 낮은 레이저의 에너지와 해상도로 인해 여전히 100m 이상의 거리에서 드론과 같은 초소형 표적을 탐지하거나 더 작은 표적을 탐지하는데 한계가 있었다.

따라서, 해를 가하는 위협 드론이 원거리에서 접근 비행을 할 경우 대략 1000~2000m 정도의 거리로부터 안정적으로 탐지하여 대응 체계를 안정적으로 작동시키기 위해서는 대략 2km 수준의 원거리에서 접근하는 드론과 같은 초소형 표적을 안정적으로 탐지할 수 있는 고출력, 고응답 및 고해상도를 갖는 새로운 레이저 레이더(Laser-based radar)(이하 'LIDAR'라 함) 시스템의 개발이 필요하였고, 이와 더불어 LIDAR 센서의 데이터가 획득되기 전 탐지 알고리즘에 대한 연구 개발이 필요하였다.

KR 10-2017-0067195 A, 2017. 06. 16. KR 10-2018-0135146 A, 2018. 12. 20.

"Muler, T. Robust drone detection for day/night counter-UAV with static VIS and SWIR cameras. In Proceedings of the Ground/Air Multisensor Interoperability, Integration, and Networking for Persistent ISR VIII. International Society for Optics and Photonics, Anaheim, CA, USA, 10-13 April 2017; Volume 10190,p. 1019018." "Wang, H.; Wang, B.; Liu, B.; Meng, X.; Yang, G. Pedestrian recognition and tracking using 3D LiDAR for autonomous vehicle. Robot. Auton. Syst. 2017, 88, 71-78." "Premebida, C.; Ludwig, O.; Nunes, U. LIDAR and vision-based pedestrian detection system. J. Field Robot. 2009, 26, 696-711." "Morris, D.D.; Colonna, B.; Haley, P. Ladar-based mover detection from moving vehicles. Gen. Dyn. Robot. Syst. 2006, arXiv:1709.08515." "Bogoslavskyi, I.; Stachniss, C. Fast range image-based segmentation of sparse 3D laser scans for online operation. In Proceedings of the 2016 IEEE/RSJ International Conference on Intelligent Robots and Systems(IROS), Daejeon, Korea, 9-14 October 2016; pp. 163-169." "Laurenzis, M.; Hengy, S.; Hommes, A.; Kloeppel, F.; Shoykhetbrod, A.; Geibig, T.; Johannes, W.; Naz, P.; Christnacher, F. Multi-sensor field trials for detection and tracking of multiple small unmanned aerial vehicles flying at low altitude. In Proceedings of the Signal Processing, Sensor/Information Fusion, and Target Recognition XXVI. International Society for Optics and Photonics, Anaheim, CA, USA, 11-12 April 2017; Volume 10200, p. 102001A."

본 발명은 LIDAR와 같이 3차원 공간정보를 이용하여 초소형 표적의 위치(좌표)를 검출하는 3D 센서 시스템의 표적 탐지에 적용하기 위한 것으로, 2km 수준의 원거리에서 접근하는 드론과 같은 초소형 표적을 안정적으로 탐지할 수 있는 초소형 표적 탐지기를 제공한다.

상기한 목적을 달성하기 위한 일 측면에 따른 본 발명은 3차원 센서를 이용하여 기설정된 임의의 지역을 스캔하여 수집된 원시 데이터 세트를 상기 3차원 센서의 시야각에 대응하여 절단하고, 절단된 데이터 세트에 각 프레임별 배경변화와 노이즈를 반영하고, 상기 3차원 센서의 레이저 빔 패턴을 분석하여 표적의 형태를 설계하고, 상기 표적의 속도 및 움직임 특성에 따라 궤적을 생성하여 상기 절단된 데이트 세트에 융합하여 증강 데이터 세트를 생성하고, 생성된 상기 증강 데이터 세트로부터 복셀(Voxel) 기반으로 하는 옥트리(Octree) 구조를 이용하여 정적인 배경을 제거하고, 배경이 제거된 증강 데이터 세트에 대해 거리별로 달라지는 표적의 포인트 특성을 고려하여 가변 반경값을 사용하는 V-RBNN(Variable Radial Bounded Nearest Neighbor)의 최근접 이웃 탐색기법으로 클러스터링하며, 클러스터링이 완료된 증강 데이터 세트에 대해 표적의 조건을 벗어나는 아웃라이어(Outlier)와 표적 가림 클러스터를 제거하여 상기 표적을 탐지하는 초소형 표적 탐지기를 제공한다.

또한, 상기한 목적을 달성하기 위한 다른 측면에 따른 본 발명은 3차원 센서를 이용하여 기설정된 임의의 지역을 스캔하여 수집된 원시 데이터 세트를 상기 3차원 센서의 시야각에 대응하여 절단하고, 절단된 데이터 세트에 각 프레임별 배경변화와 노이즈를 반영하고, 상기 3차원 센서의 레이저 빔 패턴을 분석하여 표적의 형태를 설계하고, 상기 표적의 속도 및 움직임 특성에 따라 궤적을 생성하여 상기 절단된 데이트 세트에 융합하여 증강 데이터 세트를 생성하고, 생성된 상기 증강 데이터 세트를 다양한 배경조건, 생성 노이즈 특성, 표적의 형태 및 크기, 표적의 궤적 형태 및 속도에 대응하는 시나리오별로 구분하여 시각화하고, 시각화된 시나리오별 증강 데이터 세트와 동일한 시나리오별로 생성되어 데이터베이스화된 기준 데이터 세트를 상호 비교하여 증강 데이터 세트를 검증하고, 검증이 완료된 상기 증강 데이터 세트로부터 복셀(Voxel) 기반으로 하는 옥트리(Octree) 구조를 이용하여 정적인 배경을 제거하고, 배경이 제거된 증강 데이터 세트에 대해 거리별로 달라지는 표적의 포인트 특성을 고려하여 가변 반경값을 사용하는 V-RBNN(Variable Radial Bounded Nearest Neighbor)의 최근접 이웃 탐색기법으로 클러스터링하며, 클러스터링이 완료된 증강 데이터 세트에 대해 표적의 조건을 벗어나는 아웃라이어(Outlier)와 표적 가림 클러스터를 제거하여 상기 표적을 탐지하는 초소형 표적 탐지기를 제공한다.

또한, 상기한 목적을 달성하기 위한 또 다른 측면에 따른 본 발명은 3차원 센서를 이용하여 초소형 표적의 침투와 탐지 성능을 시험하고자 하는 임의의 지역을 스캐닝하고, 이를 기초맵으로 하여 원시 데이터 세트를 수집하는 원시 데이터 세트 수집부; 상기 원시 데이터 세트를 상기 3차원 센서의 시야각 만큼 절단하는 원시 데이터 세트 절단부; 절단된 데이터 세트에 각 프레임마다 미세하게 위치가 변경될 수 있는 배경 변화와 대기 반사로 발생될 수 있는 광역 깜박임 형태의 노이즈를 모사하여 반영하는 배경변화 및 노이브 모사부; 상기 3차원 센서의 레이저 빔 패턴을 분석하는 레이저 빔 패턴 분석부; 상기 레이저 빔 패턴의 분석을 토대로 표적의 형태를 설계하는 표적 형태 설계부; 탐지하고자 하는 표적의 움직임 형태와 노이즈의 움직임 특성을 고려하여 탐지할 표적의 움직임과 노이즈의 움직임에 대한 3차원 궤적 프로파일을 생성하는 표적 궤적 설계부; 상기 3차원 궤적 프로파일에 탐지하고자 하는 표적의 형태를 융합하여 상기 3차원 궤적 프로파일을 따라 움직이는 표적에 대한 증강 데이터 세트를 생성하는 증강 데이터 세트 생성부; 상기 생성된 증강 데이터 세트를 시각화하여 검증하는 시각화 및 유사성 검증부; 상기 증강 데이터 세트에서 움직이는 표적과 고정된 장면을 복셀(Voxel) 기반으로 하는 옥트리(Octree) 구조를 이용하여 서로 비교 분리하여 배경을 제거하는 배경 제거부; 배경이 제거된 증강 데이터 세트에 대해 거리별로 달라지는 표적의 포인트 특성을 고려하여 가변 반경값을 사용하는 V-RBNN의 최근접 이웃 탐색기법으로 클러스터링하는 클리스터링부; 클러스터링이 완료된 증강 데이터 세트에 대해 표적의 조건을 벗어나는 아웃라이어(Outlier)와 표적 가림 클러스터를 제거하고, 상기 3차원 센서의 스캔 채널을 벗어나거나, 혹은 환경의 영향으로 표적의 탐지 결과가 상실된 경우와 같은 상황이 발생된 경우에는 가중치 히스토리 큐 궤적방식에 FIR(Finite Impulse Response) 원리를 접목하여 표적의 순차적 이동특성을 모니터링하여 표적의 순차적인 위치를 예측하여 초소형 표적을 탐지하는 표적 탐지부를 포함하는 초소형 표적 탐지기를 제공한다.

또한, 상기 원시 데이터 세트 수집부는 상기 3차원 센서의 실시간 데이터를 정합하는 방식으로 초기맵을 생성하고, 한번 초기맵을 생성한 3차원 센서는 레이더와 연동하여 대략적인 위치로 지향한 후 레이저 스캔을 시작하여 표적을 탐지하거나, 혹은 서보모터가 장착된 2축 집벌을 활용하여 스캐너 어셈블리를 회전시키는 방식으로 광범위한 스캔을 수행하여 수집할 수 있다.

또한, 상기 표적 형태 설계부는 탐지하고자 하는 표적의 형태와 밀집지역을 확인하는 단계; 레이저 빔의 수직 및 수평방향의 교차영역을 분석하는 단계; 레이저 빔의 간격과 상기 교차영역에 대한 각도를 확인하는 단계; 상기 교차영역이 작은 EL 방향의 교차각과 AZ 방향의 교차각을 계산하는 단계; 상기 AZ 방향과 상기 EL 방향의 시야각의 길이(FOV_m)를 계산하는 단계; 탐지하고자 하는 표적이 차지할 수 있는 검출 라인수(BL_AZ, BL_EL)를 계산하는 단계; 상기 교차영역의 길이정보(BI_AZ, BI_EL)를 계산하는 단계; 상기 교차영역의 추가 검출되는 탐지영역을 고려한 길이(TBI_AZ, TBI_EL)를 계산하는 단계; 및 최종 표적의 포인트 개수(TP)를 계산하는 단계로 표적 형태를 설계할 수 있다.

또한, 상기 AZ 방향과 상기 EL 방향의 시야각의 길이(FOV_m)는 거리(R_m)에 따라 달라지고, 하기 [수학식 1]을 통해 계산하여 얻어질 수 있다.

[수학식 1]

또한, 상기 탐지하고자 하는 표적이 차지할 수 있는 검출 라인수(BL_AZ, BL_EL)는 하기 [수학식 2]을 통해 계산하여 얻어질 수 있다.

[수학식 2]

여기서, 'T_m'은 표적의 길이(m), 'ROUNDUP'은 정수값을 정의하는 함수, 'SR_AZ'는 AZ 방향의 스캔 해상도, 'SR_EL'는 EL 방향의 스캔 해상도.

또한, 상기 교차영역의 길이정보(BI_AZ, BI_EL)는 각각 하기 [수학식 3]을 통해 계산하여 얻어질 수 있다.

[수학식 3]

여기서, 'B_deg'는 레이저 빔 발산각, 'FOVdeg'는 3차원 센서의 시야각.

또한, 상기 교차영역의 추가 검출되는 탐지영역을 고려한 길이(TBI_AZ,TBI_EL)는 각각 하기 [수학식 4]를 통해 계산하여 얻어질 수 있다.

[수학식 4]

또한, 상기 최종 표적의 포인트 개수(TP)는 하기 [수학식 5]를 통해 계산하여 얻어질 수 있다.

[수학식 5]

또한, 상기 시각화 및 유사성 검증부는 상기 생성된 증강 데이터 세트를 다양한 배경조건, 생성 노이즈 특성, 표적의 형태 및 크기, 표적의 궤적 형태 및 속도에 대응하는 시나리오별로 구분하여 시각화하고, 시각화된 시나리오별 증강 데이터 세트와 동일한 시나리오별로 생성되어 데이터베이스화된 기준 데이터 세트를 상호 비교하는 방식으로 검증할 수 있다.

본 발명의 실시예에 따른 초소형 표적 탐지기에 의하면, 기존의 설계 경험을 바탕으로 확보된 기본 LIDAR 데이터 셋을 기반으로 LIDAR의 광기구 설계 특성을 고려한 표적의 형태와 움직임 궤적, 그리고 발생 가능한 노이즈 성분을 증강시켜 제공한다.

또한, 3D 센서의 특성을 변경하여 임의의 LIDAR 센서의 출력을 시뮬레이션하여 원하는 형태와 크기의 표적을 얻고, 그에 따라 3D 포인트의 해상도를 조정하는 한편, 탐지 프레임 워크의 실험 및 설계를 위해 다양한 증강 데이터 세트를 생성한다.

따라서, 본 발명은 LIDAR와 같이 3차원 공간정보를 이용하여 초소형 표적의 위치(좌표)를 검출하는 3D 센서 시스템에 적합한 증강 데이터 세트를 제공함으로써 2km 수준의 원거리에서 접근하는 드론과 같은 초소형 표적을 안정적으로 탐지할 수 있다.

또한, 본 발명에 따른 초소형 표적 탐지기는 LIDAR 센서 시스템의 하드웨어와 동시에 탐지 소프트웨어를 개발할 수 있는 이점을 제공하고, 이를 통해 LIDAR 센서 시스템의 개발 및 생산 시간을 단축할 수 있고, 특히, 개발 프로세스 중에 하드웨어가 여러번 수정되더라도 실제 센서에서 반복적으로 데이터를 수집하는 번거로움을 피할 수 있다.

또한, 본 발명에 따른 초소형 표적 탐지기는 수집된 표적의 형태 및 크기의 다양성을 반영하기 위해 복셀(Voxel) 기반의 배경 제거기법(background subtraction)과 새로운 클러스터링 방법(V-RBNN, Variable Radial Bounded Nearest Neighbor)을 제공함으로써 탐색 연산량을 줄여 실시간 탐지 속도를 향상시키는 한편, 기존의 클러스터링 방법(RBNN)에 비해 클러스터링 정확성을 향상시킴으로써 다양한 거리에서 표적 형태와 크기의 변화를 고려하여 표적으로 효과적으로 탐지할 수 있다.

도 1은 기존 EO/IR 시스템을 이용하여 드론을 촬영한 이미지를 도시한 도면.
도 2는 기존 LiDAR 시스템을 이용하여 드론을 촬영한 이미지를 도시한 도면.
도 3은 본 발명의 실시예에 따른 초소형 표적 탐지기를 설명하기 위해 도시한 블럭도.
도 4는 본 발명에 따른 시나리오별 증강 데이터 세트를 생성하는 과정을 도시한 도면.
도 5는 본 발명에 따른 시나리오별 증강 데이터 세트를 이용하여 표적을 탐지하는 과정을 도시한 도면.
도 6은 LIDAR 센서의 개념 및 공항의 예제 데이터 세트를 도시한 도면.
도 7은 LIDAR 레이저 빔의 특성 분석 및 동등한 타켓 투영점에 대한 계산 방법을 도시한 도면.
도 8은 다른 범위의 표적과 소음의 형태를 나타낸 도면.
도 9는 표적과 소음의 궤적 설계를 설명하기 위해 도시한 도면.
도 10은 증강 데이터 세트의 시각화 결과와 각 데이터 세트를 도시한 도면.
도 11은 V-RBNN 기반으로 표적을 탐지하는 방법을 도시한 도면.
도 12는 본 발명에 따른 V-RBNN 클러스터링 방법을 설명하기 위해 도시한 개념도.
도 13은 본 발명에 따른 표적 탐지 알고리즘의 구현 및 테스트를 위해 그래픽 사용자 인터페이스(GUI) 소프웨어를 도시한 도면.
도 14는 본 발명에 따른 초소형 드론의 탐지 실험 결과 데이터를 도시한 도면.
도 15는 유클리드 거리 및 IOU(Intersection over union) 측정 결과 도면.
도 16은 본 발명에 따른 초소형 표적 탐지 알고리즘의 전반적인 성능 측정 결과 도면.

본 발명은 2D EO/IR 이미징 센서와 3D LiDAR 센서를 이용한 초소형 드론의 탐지 한계를 극복하기 위해 고출력, 고응답 및 고해상도를 갖는 LIDAR와 같이 3차원 공간정보를 이용하여 초소형 표적의 위치를 검출하는 3D 센서 시스템에 적합한 V-RBNN(Variable Radial Bounded Nearest Neighbor) 기반 초소형 표적 탐지기를 제공한다.

본 발명에 따른 초소형 표적 탐지기는, 첫째, 레이저 빔과 주사 특성을 고려한 가상 타켓을 생성하고, LIDAR 센서 시스템의 전체 하드웨어 시스템을 개발하기 전에 다양한 종류의 테스트를 위해 실제 LIDAR 센서 데이터를 사용하며, 이를 보완할 수 있는 증강된 데이터 세트를 제공한다. 둘째, 복셀(Voxel) 기반의 배경 제거기법(background subtraction)과 V-RBNN 기법을 사용하여 초소형 표적을 탐지한다.

본 발명은 성능 검증을 위해 기준(표준) 표적 데이터가 필요하고, 레이저 빔 특성과 스캔 특성을 고려하여 실제 초소형 표적 데이터와 가까운 가상의 표적과 노이즈 성분을 생성하며, 이를 실제 LIDAR 센서의 데이터와 융합하는 방법을 제안한다. 또한, 이렇게 생성된 융합 데이터의 특성을 쉽게 확인하기 위해 시각화 기법을 사용한다.

본 명세서에서, 표적의 모양, 크기 및 궤도는 개발할 LIDAR 센서의 광학 설계를 고려하여 시뮬레이션된다. 예를 들어, LIDAR 센서로는 "Anjum, N.; Cavallaro, A. Multifeature object trajectory clustering for video analysis. IEEE Trans. Circuits Syst. Video Technol. 2008, 18, 1555-1564.", "Navarro-Serment, L.E.; Mertz, C.; Hebert, M. Pedestrian detection and tracking using three-dimensional ladar data. Int. J. Robot. Res. 2010, 29, 1516-1528.", "Kim, B.H.; Khan, D.; Bohak, C.; Kim, J.K.; Choi, W.; Lee, H.J.; Kim, M.Y. Ladar data generation fused with virtual targets and visualization for small drone detection system. In Proceedings of the Technologies for Optical Countermeasures XV. International Society for Optics and Photonics, Berlin, Germany, 10-13 September 2018; Volume 10797, p. 107970I"에서 제안된 센서를 고려하였다.

이하, 첨부된 도면을 참조하여 본 발명의 실시 예들을 상세히 설명하기로 한다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 발명의 실시 예들은 본 발명의 개시가 완전하도록 하며, 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 도면상에서 동일 부호는 동일한 요소를 지칭한다.

도 3은 도 3은 본 발명의 실시예에 따른 초소형 표적 탐지기를 설명하기 위해 도시한 블럭도이다.

도 3을 참조하면, 본 발명의 실시예에 따른 초소형 표적 탐지기(10)는 LIDAR와 같이 3차원 공간정보를 이용하여 초소형 표적의 위치(좌표)를 검출하는 3D 센서 시스템에 적합하게 적용할 수 있는 증강 데이터 세트를 생성하기 위해 원시 데이터 세트 수집부(11), 원시 데이터 세트 절단부(12), 배경변화 및 노이즈 모사부(13), 레이저 빔 패턴 분석부(14), 표적 형태 설계부(15), 표적 궤적 설계부(16) 및 증강 데이터 세트 생성부(17)를 포함한다. 또한, 시각화 및 유사성 검출부(18)를 더 포함한다.

도 4는 시나리오별 증강 데이터 세트를 생성하는 과정을 설명하기 위해 도시한 개념도이다.

도 3 및 도 4와 같이, 원시 데이터 세트 수집부(11)로부터 3D 센서, 예를 들면 LIDAR 센서를 이용하여 임의의 지역, 즉 초소형 표적의 침투와 탐지 성능을 시험하고자 하는 임의의 지역에 대해 원시 데이터 세트(1, 원본 배경 데이터 세트(Raw dataset)를 수집한다(S11).

이후, 원시 데이터 세트 절단부(12)를 통해 LIDAR 센서의 시야각(Field of View, FOV)을 얻기 위해 원시 데이터 세트(1)를 LIDAR 센서의 시야각 만큼 절단한다(S12). 이때, 절단된 데이터 세트(2)는 LIDAR 센서의 시야각에 대응하는 크기를 갖는다.

이후, 배경변화 및 노이즈 모사부(13)를 통해 절단된 데이터 세트(2)에 레이저 스캔 데이터의 각 프레임마다 미세하게 위치가 바뀔 수 있는 배경변화와 대기 반사로 발생될 수 있는 전반적인 노이즈 등을 반영한다(ST13). 즉, 상기 배경변화와 상기 노이즈 등을 절단된 데이터 세트(2)에 모사하여 상기 배경변화와 상기 노이즈 등이 반영된 데이터 세트(3)를 생성한다.

이와 같이, 절단된 데이터 세트(2)에 상기 배경변화와 상기 노이즈 등을 모사하여 반영하는 이유는 상기 배경변화를 포함하여 다양한 형태의 노이즈에 대한 영향을 시뮬레이션하기 위함이다. 이때, 상기 전반적인 노이즈들은, 예를 들면 구름이나 수분(습기) 등으로 발생될 수 있는 광역 깜박임 형태의 노이즈 등을 포함한다.

이후, 레이버 빔 패턴 분석부(14) 및 표적 형태 설계부(15)를 통해 LIDAR 센서의 레이저 빔 패턴을 분석하여 표적의 형태를 설계한다(S14, S15). 즉, LIDAR 센서의 소스 특성(예컨대, 레이저의 빔폭과 레이더 빔의 형태(shape))를 분석하여 거리별 표적의 갯수(3D 포인트 수)를 계산하고 거리별 달라지는 표적의 형태(4)를 설계한다. 참고로, LIDAR와 같은 TOF(Time of Flight) 원리의 센서는 빔 발산각(Divergence angle)을 갖는 특성으로 인해 검출되는 포인트의 특성이 다르다. 이에 따라, 레이저 빔 특성에 대한 분석과 레이저 빔이 겹치는 구간을 고려하여 거리별 표적의 갯수를 계산하여 거리별 달라지는 표적의 형태를 설계한다.

이후, 표적 궤적 설계부(16)을 통해 탐지할 표적의 움직임 형태와 노이즈의 움직임 특성을 고려하여 움직임에 대한 3차원 궤적을 생성한다(S16). 즉, 표적의 움직임과 표적 이외에 구름 또는 다른 움직이는 물체 등과 같은 노이즈의 움직임을 고려하여 궤적 프로파일(5, 6)을 설계한다.

이후, 증강 데이터 세트 생성부(17)를 통해 생성된 표적 및 노이즈의 3차원 궤적 프로파일(5, 6)에 탐지하고자 하는 표적의 형태(4)를 융합하여 궤적을 따라 움직이는 표적에 대한 증강 데이터 세트(7)를 생성한다(S17).

이후, 시각화 및 유사성 검증부(18)를 통해 생성된 증강 데이터 세트(7)를 시각화한다(S18). 즉, 원시 데이터 세트(1)를 증강 데이터 세트(7)와 융합하는 한편, 증강 데이터 세트(7)가 실제의 상황(환경)과 유사한 특성을 가지고 있는지를 판단하기 위해 각기 다른 칼러로 시각화한다.

이러한 시각화된 증강 데이터 세트는 다양한 배경조건, 생성 노이즈 특성, 표적의 형태/크기, 표적의 궤적 형태 및 속도에 대응하는 시나리오별로 구분하여 생성하고, 이러한 증강 데이터 세트는 지상 검증 데이터(ground truth data)를 계산하기 위해 경계박스(bounding box)가 절대적인 표적 위치(target loacation)에 추가된다.

이렇게 생성된 본 발명의 실시예에 따른 증강 데이터 세트는 3D 센서, 즉 LIDAR 센서 시스템에서 초소형 표적을 정밀하게 탐지하기 위한 데이터 세트로 사용된다.

도 3과 같이, 본 발명의 실시예에 따른 초소형 표적 탐지기(10)는 증폭 데이터 세트로부터 표적을 탐지하기 위해 배경 제거부(19), 클러스터링부(20) 및 표적 탐지부(21)를 포함한다.

도 5는 도 4에 도시된 증강 표적 데이터 세트를 이용하여 표적을 탐지하는 과정을 설명하기 위해 도시한 개념도이다.

도 3 및 도 5와 같이, 먼저 배경 제거부(19)를 통해 증강 데이터 세트로부터 복셀(Voxel) 기반으로 하는 방법을 이용하여 배경을 제거한다(S21). 즉, LIDAR 센서의 설치 위치에서 최초 스캔되는 배경 데이터를 옥트리(Octree) 방식의 복셀 기반("Girardeau-Montaut, D.; Roux, M.; Marc, R.; Thibault, G. Change detection on points cloud data acquired with a ground laser scanner. Int. Arch. Photogramm. Remote Sens. Spat. Inf. Sci. 2005, 36, W19." 참조)으로 구분하여 제거한다. 예를 들어, 증강 데이터 세트에서 움직이는 물체(표적)와 고정된 장면은 지도의 초기 프레임과 다른 연속적인 프레임 간의 옥트리 기반 비교를 사용하여 분리한다.

이후, 클러스터링부(20)를 통해 거리별로 달라지는 표적의 포인트 특성을 고려하여 가변 반경값을 사용하여 배경이 제거된 증강 데이터 세트를 클러스터링한다(S22). 이때, 클러스터링은 RBNN(Klasing, K.; Wollherr, D.; Buss, M. A clustering method for efficient segmentation of 3D laser data. In Proceedings of the 2008 IEEE International Conference on Robotics and Automation, Pasadena, CA, USA, 19-23 May 2008; pp. 4043-4048." 참조)이 아닌 V-RBNN의 최근접 이웃 탐색기법으로 표적의 후보군을 분류한다.

이후, 표적 탐지부(21)를 통해 클러스터링 후 초소형 표적의 조건을 벗어나는 아웃라이어(Outlier)와 표적 가림 클러스터를 제거한다(S23). 통상적으로, 클러스터링시 타켓에 근접하게 위치하는 물체(표적)의 소음(잡음) 및 간섭 등과 같은 노이즈의 간헐적 집중 현상과 표적 주변의 가림 물체가 존재함에 따라 클러스터링시 어려움이 발생할 수 있다.

이를 해결하기 위해, 본 발명에서는 근접 이웃 탐색기법으로 클러스터링하여 최종 표적을 구별해낼 수 있다. 즉, 가장 근접한 이웃 검색(nearest neighbor search)을 사용하여 반경 제한 조건의 최소 지점을 기반으로 하는 아웃라이어 제거기법으로 추가 처리된다.

이후, 클러스터링 후, LIDAR 센서의 스캔 채널을 벗어나거나 환경의 영향으로 표적의 탐지 결과가 상실된 경우와 같은 상황이 발생된 경우에는 가중치 히스토리 큐 궤적(history que trajectories)을 이용하여 순차적인 위치를 판단한다(S24).

예를 들어, 다양한 시나리오의 실험 데이터 결과로, 표적의 포인트가 하나도 존재하지 않아 탐지 경계박스가 없거나 아웃라이어의 간섭으로 탐지 표적의 경계 박스가 기이하게 큰 경우(노이즈가 많거나 데이터 세트의 특이점으로 인해 매우 큰 경우)의 상황이 발생할 수 있는데, 이러한 상황(표적 탐지 결과가 유실된 경우)을 극복하기 위해 표적의 순차적 이동특성을 히스토리 큐로 모니터링하여 이를 예측한다.

이후, 표적 타겟 탐지 및 성능을 비교한다(S25). 이때, 성능 평가는 정확한 기준 데이터와 탐지 알고리즘의 결과를 중심 좌표의 유클리드 거리(Euclidean distance, L2)와 두 경계박스의 합집합(Intersection over union, IOU)을 지상 검증(Ground truth)과 기존 RBNN 기법과 비교하여 성능을 평가한다. 그리고, 전체 성능은 다양한 시나리오(데이터 세트)에 대한 평균 유클리드 거리(Euclidean distance) 및 예상 평균 겹침(EAO, Estimated Average Overlap) 값과 비교하여 평가할 수 있다.

제안된 3D 스캐닝 시스템(LIDAR)

도 6은 LIDAR 센서의 개념 및 공항의 예제 데이터 세트를 설명하기 위해 도시한 도면으로서, (a)는 LIDAR 하드웨어 설계 및 스캐닝의 일례를 도시한 도면이고, (b)는 초기맵을 획득하기 위한 실험 환경(공항)을 도시한 도면이고, (c)는 (b)의 실험 환경을 LIDAR 센서로 스캔하여 얻어지는 실시간 스캔 뷰를 도시한 도면이다.

도 6의 (a)와 같이, LIDAR 센서는 고반복(고응답) 레이저 펄스를 AZ(수평), EL(수직) 방향으로 고속 스캔하여 0.5°×0.5°내에서 해상도가 매우 높은 포인트를 검출할 수 있다. 도 6의 (b)는 초기 설계 모델(프로토타입 모델)을 활용한 초기맵 실험 환경을 보여주는 도면이다. 도 6의 (c)는 초기맵 데이터 세트가 획득된 결과를 보여주는 도면으로, 녹색 가이드 라인은 LIDAR 센서의 실시간 스캔 뷰를 나타낸다.

도 6의 (c)에 도시된 초기맵은 LIDAR의 실시간 데이터를 정합하는 방식으로 생성하고, 한번 초기맵을 생성한 LIDAR는 레이더와 연동하여 대략적인 위치로 지향한 후 레이저 스캔을 시작하여 표적을 탐지하거나, 혹은 서보모터가 장착된 2축 짐벌을 활용하여 스캐너 어셈블리를 회전시키는 방식으로 광범위한 스캔을 수행할 수 있다.

한편, 고해상도를 구현하기 위해 1ns 펄스 기간의 1560mm 레이저 소스가 사용되고, 고속 스캔을 위해 1kHz 고속 미러 갈바노미터(mirror galvanometer)가 사용된다. 수광 검출기 유닛의 픽셀 크기는 100㎛이고, 검출기 유닛에는 광학 시스템이 추가된다. 그리고, 레이저 검출기 유닛에 도달하는 도달 빔 직경은 100㎛ 또는 그 이하의 풋 프린트(footfrint)(레이저 펄스의 빔이 지표면에 그리는 투영패턴으로서, 빔 확산도와 센서의 대지 고도 및 스캔 각도에 따라 크기와 형상이 달라짐)로 설계된다.

빔 발산 및 갈마노미터 스캐닝 특성을 고려하면 스캔 가능한 레이저 빔 어레이는 150×20이 된다. 따라서, 0.5°×0.5°공간(각) 해상도는 로컬 스캔 시야각(FOV) 공간에서 0.025°×0.003°계산된다. 기존의 LiDAR 센서와 비교하여 각도 해상도는 EL 방향으로 80배, AZ 방향으로 33배로 매우 조밀한 해상도로 설계되었다. 또한, 빔 발산각을 광학적으로 조절하여 더욱 먼 거리까지 검출하도록 하였으며, 최대 검출 가능 거리는 2km 수준으로 LiDAR 센서와 비교하여 16배 수준이다. 2km 거리의 표적을 검출하기 위해 700kw급 이상의 고출력 레이저 소스와 1000kHz의 빠른 반복률을 갖는 시드 라이트(seed light) 기반의 광섬유 증폭 레이저가 사용된다.

LIDAR의 검출속도

LIDAR 센서를 통해 탐지 가능한 드론의 최대 속도는 광학 스캐닝 속도, 2축 짐벌 모터의 속도, 센서와 드론 사이의 거리에 의해 제한된다. LIDAR 센서의 광 스캐닝 속도는 최대 20Hz이고, 기계적 모터 속도는 최대 16°/s이고, 탐지 가능한 드론의 최대 속도는 200m 내에서 대략 56m/s(202km/h)이다. 예를 들어, 거리가 100m인 경우 최대 탐지 드론 속도는 28m/s(101km/h)이다. 광학 스캐닝 속도는 빠르며, 빠른 방향 전환, 그리고 지그재그 동작의 경우 적어도 두 개의 중심 좌표의 궤도 정보가 정확성을 유지한다. 200m의 거리에서 10m/s(36km/h) 동적 비행 드론은 20Hz 광학 스캔 조건의 3개의 중심 좌표와 1000m 범위에서 17개의 중심 좌표에서 감지된다.

타겟 및 노이즈 생성

고성능 LIDAR 설계는 장기적인 프로젝트이며, 구현 단계에서는 설계 변경이 불가피하다. 이에 따라, 하드웨어 개발 중에 데이터 세트를 자주 수집하는 실험은 사실상 한계가 있다. 또한 하드웨어 생산이 완료된 후 탐지 알고리즘의 구현이 시작된 경우 전체 개발 시간이 매우 느릴 수 있다. 실제 LIDAR 센서를 이용한 표적 탐지 실험을 수행하여 다양한 기준 데이터를 획득하기 어렵다. 따라서, 이전에 획득한 기준맵 데이터를 토대로 레이저 센서의 빔 특성을 분석하여 표적의 형태와 궤적을 생성한다. 이 과정에서 생성된 증강 데이터 세트는 초소형 표적 탐지 알고리즘에 활용된다.

레이저 빔 분석

레이저 빔의 정확한 분석은 LIDAR 센서용 증강 데이터 세트를 모델링하는데 중요한 요소이다. LiDAR 센서의 표적 검출 포인트의 수를 예측하기 위해 사용한 방법과, LIDAR 센서의 빔 발산각과 스캔 해상도를 모두 고려하여 시야각 내에서 검출된 레이저 펄스의 간격과 개수를 계산함으로써 표적의 3D 포인트의 수를 예측할 수 있다.

도 7은 본 발명에 따른 LIDAR 레이저 빔의 특성 분석 및 동등한 타켓 투영점에 대한 계산 방법을 설명하기 위해 도시한 도면으로서, (a)는 표적의 조밀한 지역, (b) 빔 발산 및 교차점, (c)는 탐지 가능한 표적 투영 지점을 나타낸 도면이다.

도 7의 (a)와 같이, 탐지하고자 하는 30cm³의 부피를 갖는 초소형 드론의 형상과 밀집지역(Dense area)을 확인할 수 있다. 도 7의 (b)는 레이저 빔의 수직 및 수평방향의 교차영역을 분석한 것으로, 레이저 빔 간격과 교차영역에 대한 각도를 확인할 수 있다.

예를 들어, 교차영역이 작은 EL 방향의 교차각은 0.003182°이고, AZ 방향의 교차각은 0.011°로 계산할 수 있다. AZ 방향과 EL 방향의 시야각이 0.5일 경우, 시야각의 길이(FOV_m)는 거리(R_m)에 따라 달라지며, [수학식 4]를 통해 계산할 수 있다.

만약, AZ 방향의 스캔 해상도(SR_AZ)가 'SR_AZ=150', EL 방향의 스캔 해상도(SR_EL)가 'SR_EL=20'으로 설계하면, 하기의 [수학식 5]를 활용하여 표적이 차지할 수 있는 AZ 방향과 EL 방향의 검출 라인수(BL_AZ, BL_EL)가 몇 개인지 각각 계산할 수 있다.

여기서, 'T_m'은 표적의 길이(m), 'ROUNDUP'은 정수값을 정의하는 함수이다.

만약, 레이저 빔 발산각(B_deg)을 'B_deg = 0.62mrad(0.035°)'로 설계하면, AZ 방향과 EL 방향의 스캔 해상도(SR_AZ, SR_EL)를 고려하여 [수학식 6]을 통해 레이저 빔의 교차영역의 길이정보(BI_AZ, BI_EL)를 계산할 수 있다 .

그리고, 레이저 빔 교차영역으로 추가 검출되는 탐지영역을 고려한 길이(TBI_AZ, TBI_EL)는 각각 [수학식 7]을 이용하여 계산하고, 최종 표적의 포인트(3D 포인트) 개수(TP)는 [수학식 8]을 이용하여 계산할 수 있다.

거리별 상기 계산의 결과를 [표 1]에 나타내었다.

상기 [표 1]은 상기 수학식들과 함께 설명한 내용을 토대로 표적의 거리에 따라 계산한 결과표로서, 200m에서 기본적으로 검출 가능한 표적의 라인은 20×3 라인들이며, 빔의 교차영역으로 추가 검출되는 포인트를 더하면, 105개의 3D 포인트들로 표적이 표현될 수 있음을 예측할 수 있다. 또한, 기본적으로 2km에서 검출 가능한 표적 탐지 라인은 2×1 라인들이며, 빔 교차영역을 반영한 결과는 17개의 포인트들로 표현됨을 계산할 수 있다. LiDAR 센서가 2km 조건에서 AZ 0.086, EL 0.0043와 비교하여 LIDAR는 AZ 17, EL 1개의 포인트를 표현할 수 있다. 이러한 방법으로 최종 검출된 표적의 포인트 특성을 투영한 결과가 도 6의 (c)에 도시되어 있다.

표적의 소음과 형태

표적을 생성하기 위해서는 표적에 포함된 3D 포인트의 개수를 계산한 다음 3D 포인트의 개수에 따라 배경에 대한 형태를 생성하고, 생성된 데이터를 검증한다.

도 8은 다른 범위의 표적과 소음의 형태를 나타낸 도면으로서, (a)는 중간 범위에서의 표적의 형태를 나타낸 도면이고, (b)는 원거리에서의 표적의 형태를 나타낸 도면이다.

도 8의 (a)는 대략 500m의 중간거리에 있는 표적의 형태와 그외 배경(교란) 요소를 함께 설계한 결과를 나타낸 도면이고, 도 8의 (b)는 1km 이상의 원거리에 있는 표적의 형태와 그외 배경(교란) 요소를 함께 설계한 결과를 나타낸 도면으로서, 도 8과 같이, 표적의 형태는 LiDAR 센서를 활용한 실험에서 무작위로 분포하므로, 표적의 크기와 거리에 따른 포인트의 개수를 고려한 조건에서 무작위 분포의 특성을 추가하였다. 이에 따라, 데이터 세트를 생성할 때마다 다른 프로파일이 생성된다.

궤적 설계

실험을 위한 표적의 데이터 세트는 표적의 움직임 궤적에 대한 움직임 계획을 사용하여 설계되고, 궤적에 표적의 형태를 융합하는 방식을 사용하여 동일한 표적의 형태에서 다양한 궤적의 경우에 대해 실험이 가능하게 하였다. 이에 따라, 동시에 동일한 궤적을 움직이는 서로 다른 형태를 갖는 표적에 대한 데이터 세트를 생성할 수 있다.

도 9는 표적과 소음의 궤적 설계를 설명하기 위해 도시한 도면으로서, (a)는 궤적 설계, (b) 표적 형태 설계, (c)는 증강된 실험 데이터 세트의 생성을 나타낸 도면이다.

도 9의 (a)에서, 파란선은 표적의 움직임에 대한 궤도 계획이다. 붉은선은 서로 다른 가짜 표적의 움직임 특성으로 생성된 결과이다. 가짜 표적의 궤적 중 주기가 큰 부분은 구름과 같이 천천히 움직이는 물체를 모사한 것이며, 선형 모양으로 이동하는 붉은선은 표적 주변에 전반적으로 분포되어 있는 노이즈를 모사한 것이다.

도 9의 (b)는 하나의 프레임에 대응하는 표적의 형태를 도시한 것으로, 두 줄로 표시된 파란점들이 표적에 해당하고, 붉은점들은 다양한 형태의 노이즈들이다.

도 9의 (c)는 표적 정보 및 배경 정보를 갖는 궤적 프로파일을 생성하도록 융합된 데이터 세트, 즉 생성된 궤적 프로파일과 표적의 데이터 및 배경의 데이터를 융합한 데이터 세트를 도시한 것으로, 제트 컬러(jet color)로 표현되는 부분은 배경을 나타내고, 파란색으로 표현되는 부분은 표적과 노이즈가 추가된 데이터를 나타낸다.

증강 및 시각화

기존의 배경과 표적 및 노이즈 성분이 융합된 데이터 세트는 탐지 알고리즘을 설계하기 위해 사용된다. 하지만 증강 데이터 세트가 의도와 맞도록 잘 설계되었는지, 표적의 움직임과 형태는 적절한지, 노이즈와 표적 간의 간섭은 원하는 프로파일과 유사성이 있는지에 대한 검증이 필요하다. 이에, 실험용 데이터 세트(도 3을 통해 생성된 시나리오별 증강 데이터 세트)를 입력받는 형태와 동일한 기준 데이터 세트(동일한 방식으로 생성된 시나리오별 데이터 세트)를 데이터베이스화하고, 이를 상호 비교하여 검증한다. 이때, 실험용 데이터 세트와, 기생성된 데이터베이스화된 데이터 세트를 검증하기 위해 웹 기반 시각화 툴을 이용할 수 있고, 이를 통해 표적의 속도와 데이터 세트의 노이즈 양에 따라 증강 데이터 세트를 4가지로 분류하여 검증한다.

도 10은 증강 데이터 세트의 시각화 결과와 각 데이터 세트를 설명하기 위해 도시한 도면이다.

도 10에서, #1은 빠른 움직임 특성을 갖는 표적과 엉성한 노이즈가 서로 간섭을 받으며 비행하는 데이터 세트이다. #2는 표적의 움직임이 느리고, 주변에 표적만큼 조밀한 형태의 클러스터링 노이즈가 존재하는 데이터 세트로서, 표적의 주변으로 작은 구름이나 새 등이 비행할 경우 발생할 수 있는 데이터 세트이다. #3은 빠른 움직임의 표적과 조밀하거나 엉성한 노이즈가 여러가지로 한 꺼번에 간섭을 일으킬 경우에 대한 도전적 시험용 데이터 세트이다. #4는 표적은 느린 움직임을 보이고, 주변에 큰 비행기, 진한 구름 또는 건축물 등으로 간섭을 받을 경우의 데이터 세트이다.

이와 같이, 본 발명의 실시예에 따른 증강 표적 데이터 세트의 생성방법을 통해 생성된 데이터 세트는 시각화 툴에서 시각화된 후 데이터베이스에 기등록된 동일한 조건에서 생성된 데이터 세트와 비교 검증하고, 검증을 통해 실험에 적절한 데이터 세트인지 아닌지 판단하여 유효한 데이터 세트를 선별하여 탐지 알고리즘에 사용한다.

표적 탐지

실험을 통해 증강된 증강 데이터 세트를 사용하여 초소형 표적을 탐지하는 알고리즘을 설계하는 개념을 도 5를 통해 전반적으로 간략하게 설명하였다. 이하에서는 증강 데이터 세트를 이용하여 표적을 탐지하는 방법에 대해 구체적으로 설명하기로 한다.

도 11은 V-RBNN 기반으로 표적을 탐지하는 방법을 설명하기 위해 도시한 도면이다.

도 11을 참조하면, 먼저 배경 분리(제거) 단계에서는 'Background_PointXYZ'와 'Current_PointXYZ' 입력 데이터들을 사용하여 배경과 비교하여 변화가 발생된 부분을 'cloud_Octree' 결과로 출력한다. 이에 대한 자세한 설명은 후술하기로 한다.

이후, V-RBNN 단계에서, 표적 탐지의 히스토리를 기반으로 표적과의 거리를 예측하여 'calRange_t'로 저장한다. 반경 'radius'는 [수학식 9]를 이용하여 계산한다.

여기서, '

'는 수평방향의 스캔라인 수, '

'는 수직방향의 스캐라인 수, 'FOV'는 LIDAR의 시야각의 길이를 나타낸다.

이때, 탐지 표적의 크기에 따라 λ(lambda)와 'bias' 상수 파라미터를 조절할 수 있다.

클러스터링 이후에 발생되는 아웃라이어를 정의된 'radius'에 내에서 최소 이웃 포인트의 개수(minimum number of neighbor points) nMin 조건으로 제거한다. 이때, nMin은 실험 결과에서 '3'으로 셋팅한다.

아웃라이어가 제거된 후에 표적 이외의 표적보다 큰 클러스터가 센싱영역에 유입되었을 때 발생하는 간섭 현상을 극복하기 위해 표적으로 탐지되는 경계박스의 대각선 길이를 기반으로 표적의 크기를 체크한다. 대각선 상태가 비정상적으로 큰 경우, 예를 들면, 'diagBB > 1m'일 경우에는 해당 탐지된 경계박스를 추가로 제외시킨다.

마지막으로, 표적에 대한 포인트를 하나도 찾지 못하였거나, 비정상적으로 큰 탐지 결과를 갖는 경우에는 예외 상황으로 인식하여 FIR(Finite Impulse Response) 필터링 방법("Pak, J.M.; Kim, P.S.; You, S.H.; Lee, S.S.; Song, M.K. Extended least square unbiased FIR filter for target tracking using the constant velocity motion model. Int. J. Control Autom. Syst. 2017, 15, 947-951." 참조)에 기반하여 기존 표적 탐지 히스토리를 사용하여 현재의 표적 위치를 예측한다.

3D 배경 분리

배경의 초기 3D 맵이 생성되면, 실시간으로 새로운 도착 프레임과 비교함으로써 공간 변화를 실현할 수 있다("Azim, A.; Aycard, O. Detection, classification and tracking of moving objects in a 3D environment. In Proceedings of the 2012 IEEE Intelligent Vehicles Symposium (IV), Alcala de Henares, Spain, 3-7 June 2012; pp. 802-807", "Shackleton, J.; VanVoorst, B.; Hesch, J. Tracking people with a 360-degree lidar. In Proceedings of the 2010 7th IEEE International Conference on Advanced Video and Signal Based Surveillance, Boston, MA, USA, 29 August-1 September 2010; pp. 420-426" 참조).

고정된 장면과 움직이는 표적을 구분하기 위해 옥트리(Octree) 기반의 점유 격자 표현방법("Hornung, A.; Wurm, K.M.; Bennewitz, M.; Stachniss, C.; Burgard, W. OctoMap: An efficient probabilistic 3D mapping framework based on octrees. Auton. Robot. 2013, 34, 189-206." 참조)을 사용하였다. 옥트리는 각 노드에 8개의 하위 노드가 있는 일종의 트리 데이터 구조로서, 3D 공간을 분할하는데 사용된다.

즉, 실시간으로 LIDAR 센서에서 입력되는 데이터에서 기준맵에 대한 부분을 빼주는 방법을 사용한다. 3D 포인트들은 좌표가 세분화되어 저장됨으로, 옥트리 개념의 복셀(Voxel)을 사용하여 배경 성분을 제거할 수 있다. 예를 들어, 두 포인트 클라우드들의 복셀 기반 옥트리 구조(초기맵 또는 기준맵 및 수신 프레임들)는 서로 비교되고, 그 결과로서 생성되는 포인트 클라우드는 많은 클러터와 함께 표적으로부터 분리된다. 이러한 포인트 클라우드, 즉, 클러터를 가진 배경성분이 제거된 결과는 표적과 노이즈를 서로 구별하기 위해 클러스터링 처리단계의 입력으로 사용된다.

V-RBNN

3D 공간에서 데이터를 클러스터링하는데는 여러가지 방법이 있다. 대표적인 접근법으로는 가장 가까운 이웃 탐색이고, 좀더 빠르고 클러스터링 성능이 우수한 원지름 기반의 최근접 이웃 탐색기법(RBNN)("Klasing, K.; Wollherr, D.; Buss, M. A clustering method for efficient segmentation of 3D laser data. In Proceedings of the 2008 IEEE International Conference on Robotics and Automation, Pasadena, CA, USA, 19-23 May 2008; pp. 4043-4048." 참조)을 LIDAR 센서에 맞도록 응용하여 실험을 진행하였다.

그러나, RBNN 방법으로 탐지된 표적 클러스터링 결과는 거리별로 달라지는 표적의 조밀도의 영향으로 원거리 센서의 클러스터링에 적용하는데 한계가 있다. 즉, RBNN 기법에서는 근거리에서 표적을 잘 탐색하는 'radius'의 셋팅으로 원거리의 표적을 클러스터링할 경우 표적을 클러터로 결정하는 오류를 범하는 문제가 있었다. 또한, 간헐적이지만, 표적의 어떠한 포인트도 탐지하지 못하고, 이로 인해 표적 탐지 결과에 대한 경계박스를 전혀 도식화하지 못하는 한계 사항이 있을 수 있다.

전술한 바와 같이, 그 특성상 LIDAR 센서에 의해 수집된 표적의 형상 및 크기가 다양하기 때문에 모든 거리에 대해 고정된 반경을 정의할 수 없다. 표적은 센서에 더 가까울 때 조밀한 모양과 많은 수의 3D 포인트를 갖는다. 이 경우 작은 반지름으로 클러스터링하면, 감지가 되지 않거나, 대상 클러스터로 노이즈가 감지된다. 반대로 큰 반경은 장거리에서 접근할 때 표적과 함께 아웃라이어로 탐지하게 된다.

따라서, 표적을 1km에서 2km까지 효과적으로 클러스터링하기 위해서는 접근 거리에 따라 변화하는 표적의 분포를 고려하여 접근 거리별로 달라지는 표적의 분포를 반영하기 위해 가변 원지름 기반 방법인 V-RBNN 기법을 사용하는 것이 바람직하다.

도 12는 본 발명에 따른 V-RBNN 클러스터링 방법을 설명하기 위해 도시한 개념도로서, (a)는 지상 검증(ground truth), (b)는 RBNN(R=0.06m) 클러스터링, (c)는 RBNN(R=0.2m) 클러스터링, (d)는 V-RBNN 클러스터링 결과 데이터를 나타낸 도면이다.

도 12의 (a)와 같이, 근거리, 중간거리, 그리고 원거리의 표적 포인트의 형태와 노이즈의 분포를 보여준다. 도 12의 (b)는 탐색 반경 길이가 0.06m로 설정된 결과 데이터로서, 중거리 원격 표적에 대한 성능이 저하되는 것을 확인할 수 있다. 도 12의 (c)는 탐색 반경 길이가 0.2m로 설정된 결과 데이터로서, 근거리와 중거리 원격 표적에 대한 성능이 저하되는 것을 확인할 수 있다. 도 12의 (d)는 표적이 위치하는 거리, 즉 표적의 거리에 따라 반경값을 적응적으로 조정한 결과 데이터로서, 표적 포인트 분포가 변경되더라도 클러스터링 성능이 유지되는 것을 확인할 수 있다.

참고로, 도 12의 각 도면에서 표시된 빨간색의 점은 표적으로 판단된 부분을 나타내고, 초록색(녹색)은 노이즈(클러터)를 의미한다. 그리고, 오렌지색(주황색) 원은 최적의 클러스터링(정상적으로 표적에 대한 클러스터링이 이루어짐)을 나타내고, 회색 원은 클러스터링을 실패했거나 표적이 아닌 노이즈를 검출한 경우를 나타낸다.

GUI 소프트웨어 및 실험

도 13은 본 발명에 따른 표적 탐지 알고리즘의 구현 및 테스트를 위해 그래픽 사용자 인터페이스(GUI) 소프웨어를 도시한 도면으로서, 도 13과 같이, GUI는 좌측 위의 큰 윈도우 화면에서 증강 데이터 세트를 읽어온다. 화면 상에서 녹색선은 LIDAR의 시야각(FOV)을 나타내고, 기준 표적의 움직임을 빨간색 경계박스로 표시하였다.

윈도우 화면 아래에는 데이터를 불러오거나 카메라 뷰를 조정할 수 있도록 구성하였고, 우측 위의 작은 윈도우 화면은 LIDAR 센서가 실시간으로 검출하고 있는 시야각(FOV)에 해당되는 영역과, 기준 표적의 움직임을 빨간색 경계박스로 표시하였다.

그리고, 우측 아래의 작은 윈도우 화면은 배경 제거 이후에 V-RBNN과 아웃라이어, 교합(Occlusion), 그리고 경계박스의 예측 결과, 최종 표적 탐지 영역을 노란색 경계박스로 표시하였다.

도 14는 본 발명에 따른 초소형 드론의 탐지 실험 결과 데이터를 설명하기 위해 도시한 도면으로서, (a)는 도 10의 데이터셋 #1을 사용한 탐지 결과, (b)는 각 프레임에 대한 경계박스 결과, (c)는 순차적 표적 간의 유클리드 거리, (d)는 도 10의 데이터셋 #3을 사용한 탐지 결과, (e) 및 (f)는 경계박스 및 유클리드 거리를 나타낸다.

도 14의 (b)와 (e)는 각 데이터 세트에서 기준 표적, 기존의 RBNN 방법 및 본 발명의 경계박스 탐지 결과를 보여주며, 도 14의 (c)와 (f)는 기준 표적, 기존의 RBNN 방법 및 본 발명의 표적 중심 좌표 간의 유클리드 거리(L2)를 측정한 결과이다. 도 14의 (b)와 (e)의 실험 결과에서 기존의 RBNN 방법은 가짜 표적이 근접할 때 그것들을 포함하여 표적으로 탐지하여 비정상적으로 탐지 경계박스가 커지는 것을 확인할 수 있다. 즉, 기존의 방법에서 표적의 중심 좌표 탐지 결과의 유클리드 거리가 커지는 것을 본 발명에서 제안된 초소형 표적 탐지방법에서는 이러한 문제를 극복할 수 있다.

양적 측정

표적 탐지 알고리즘의 성능을 정량적으로 평가하는 것이 중요하다. 실험에 사용된 GUI 소프트웨어는 표적 탐지 결과에 대한 로그 파일을 저장하도록 설계되었다.

한편, 정량적인 측정에는 두 개의 인덱스가 사용된다. 먼저, 기준 표적의 위치와 탐지 결과의 표적 위치의 중심 좌표 간의 오차를 유클리드 거리로 측정하였다.

도 15는 유클리드 거리 및 IOU(Intersection over union) 측정 결과 도면이다.

도 15의 (a), (e), (i) 및 (m)은 기존의 RBNN 방법을 사용하여 표적을 탐지한 결과에 대한 유클리드 거리를 프레임별로 보여주고 있고, 도 15의 (b), (f), (j) 및 (n)은 본 발명에서 제안한 V-RBNN 방법을 사용하여 표적을 탐지한 결과에 대한 유클리드 거리를 프레임별로 보여주고 있다.

도 15와 같이, 본 발명에서 제안된 V-RBNN 방법을 사용하여 표적을 탐지한 결과에 기존 RBNN 방법에 비해 오차가 현저하게 낮아졌으며, 안정적인 특성을 보여준다. 또한, IOU는 표적의 탐지 영역 상자, 경계박스가 기준 영역과 얼마나 차이를 보이는지를 알수 있다. 이때, 유클리드 거리의 반응치가 작으면 좋은 특성인데 비하여, IOU는 1에 근접하도록 커질 수록 좋은 특성이 됨을 의미한다.

도 15의 (c), (g), (k) 및 (o)는 기존의 RBNN 방법을 사용하여 표적을 탐지한 결과에 대한 예상 평균 중첩(EAO, Estimated Average Overlap) 측정 결과이고, 도 15의 (d), (h), (i) 및 (p)는 본 발명에서 제안된 V-RBNN 방법에 대한 측정 결과이다.

도 15의 측정 결과를 분석하여 본 발명에서 제안된 탐지 알고리즘이 성능이 우수하다 판단되나, IOU 측정 데이터는 프레임 증가와 감속 폭이 넓어 판단이 모호해진다.

이러한 경우에는 예상 평균 중첩(EAO)를 측정하여 평균적인 알고리즘 성능 평가를 할 수 있다.

도 16은 본 발명에 따른 초소형 표적 탐지 알고리즘의 전반적인 성능 측정 결과 도면으로서, (a)는 평균 유클리드 거리(L2)를 보여주는 도면이고, (b)는 예상 평균 중첩(EAO)을 보여주는 도면이다.

도 16의 (b)에 나타난 바와 같이, 본 발명에서 제안된 V-RBNN을 적용한 경우에는 정확도가 0.6 내지 0.7로서, 이는 기존의 RBNN을 사용하는 경우 정확도에 비해 두 배 이상 성능이 향상된 것으로 확인할 수 있다. 참고로, RBNN은 대략 0.3 EAO 수준이다.

상기에서, 본 발명의 바람직한 실시 예가 특정 용어들을 사용하여 설명 및 도시되었지만 그러한 용어는 오로지 본 발명을 명확하게 설명하기 위한 것일 뿐이며, 본 발명의 실시 예 및 기술된 용어는 다음의 청구범위의 기술적 사상 및 범위로부터 이탈되지 않고서 여러 가지 변경 및 변화가 가해질 수 있는 것은 자명한 일이다. 이와 같이 변형된 실시 예들은 본 발명의 사상 및 범위로부터 개별적으로 이해되어져서는 안 되며, 본 발명의 청구범위 안에 속한다고 해야 할 것이다.

1 : 원시 데이터 세트
2 : 절단된 데이터 세트
3 : 모사된 데이터 세트
4 : 표적의 형태
5 : 표적 궤적 프로파일
6 : 노이즈 궤적 프로파일
7 : 증강 데이터 세트
10 : 초소형 표적 탐지기
11 : 원시 데이터 세트 수집부
12 : 원시 데이터 세트 절단부
13 : 배경변화 및 노이즈 모사부
14 : 레이저 빔 패턴 분석부
15 : 표적 형태 설계부
16 : 표적 궤적 설계부
17 : 증강 데이터 세트 생성부
18 : 시각화 및 유사성 검증부
19 : 배경 제거부
20 : 클러스터링부
21 : 표적 탐지부

Claims

3차원 센서를 이용하여 기설정된 임의의 지역을 스캔하여 수집된 원시 데이터 세트를 상기 3차원 센서의 시야각에 대응하여 절단하고, 절단된 데이터 세트에 각 프레임별 배경변화와 노이즈를 반영하고, 상기 3차원 센서의 레이저 빔 패턴을 분석하여 표적의 형태를 설계하고, 상기 표적의 속도 및 움직임 특성에 따라 궤적을 생성하여 상기 절단된 데이터 세트에 융합하여 증강 데이터 세트를 생성하고, 생성된 상기 증강 데이터 세트로부터 복셀(Voxel) 기반으로 하는 옥트리(Octree) 구조를 이용하여 정적인 배경을 제거하고, 배경이 제거된 증강 데이터 세트에 대해 거리별로 달라지는 표적의 포인트 특성을 고려하여 가변 반경값을 사용하는 V-RBNN(Variable Radial Bounded Nearest Neighbor)의 최근접 이웃 탐색기법으로 클러스터링하며, 클러스터링이 완료된 증강 데이터 세트에 대해 표적의 조건을 벗어나는 아웃라이어(Outlier)와 표적 가림 클러스터를 제거하여 상기 표적을 탐지하는 초소형 표적 탐지기.
3차원 센서를 이용하여 기설정된 임의의 지역을 스캔하여 수집된 원시 데이터 세트를 상기 3차원 센서의 시야각에 대응하여 절단하고, 절단된 데이터 세트에 각 프레임별 배경변화와 노이즈를 반영하고, 상기 3차원 센서의 레이저 빔 패턴을 분석하여 표적의 형태를 설계하고, 상기 표적의 속도 및 움직임 특성에 따라 궤적을 생성하여 상기 절단된 데이터 세트에 융합하여 증강 데이터 세트를 생성하고, 생성된 상기 증강 데이터 세트를 다양한 배경조건, 생성 노이즈 특성, 표적의 형태 및 크기, 표적의 궤적 형태 및 속도에 대응하는 시나리오별로 구분하여 시각화하고, 시각화된 시나리오별 증강 데이터 세트와 동일한 시나리오별로 생성되어 데이터베이스화된 기준 데이터 세트를 상호 비교하여 증강 데이터 세트를 검증하고, 검증이 완료된 상기 증강 데이터 세트로부터 복셀(Voxel) 기반으로 하는 옥트리(Octree) 구조를 이용하여 정적인 배경을 제거하고, 배경이 제거된 증강 데이터 세트에 대해 거리별로 달라지는 표적의 포인트 특성을 고려하여 가변 반경값을 사용하는 V-RBNN(Variable Radial Bounded Nearest Neighbor)의 최근접 이웃 탐색기법으로 클러스터링하며, 클러스터링이 완료된 증강 데이터 세트에 대해 표적의 조건을 벗어나는 아웃라이어(Outlier)와 표적 가림 클러스터를 제거하여 상기 표적을 탐지하는 초소형 표적 탐지기.
3차원 센서를 이용하여 초소형 표적의 침투와 탐지 성능을 시험하고자 하는 임의의 지역을 스캐닝하고, 이를 초기맵으로 하여 원시 데이터 세트를 수집하는 원시 데이터 세트 수집부;
상기 원시 데이터 세트를 상기 3차원 센서의 시야각 만큼 절단하는 원시 데이터 세트 절단부;
절단된 데이터 세트에 각 프레임마다 미세하게 위치가 변경될 수 있는 배경 변화와 대기 반사로 발생될 수 있는 광역 깜박임 형태의 노이즈를 모사하여 반영하는 배경변화 및 노이즈 모사부;
상기 3차원 센서의 레이저 빔 패턴을 분석하는 레이저 빔 패턴 분석부;
상기 레이저 빔 패턴의 분석을 토대로 표적의 형태를 설계하는 표적 형태 설계부;
탐지하고자 하는 표적의 움직임 형태와 노이즈의 움직임 특성을 고려하여 탐지할 표적의 움직임과 노이즈의 움직임에 대한 3차원 궤적 프로파일을 생성하는 표적 궤적 설계부;
상기 3차원 궤적 프로파일에 탐지하고자 하는 표적의 형태를 융합하여 상기 3차원 궤적 프로파일을 따라 움직이는 표적에 대한 증강 데이터 세트를 생성하는 증강 데이터 세트 생성부;
상기 생성된 증강 데이터 세트를 시각화하여 검증하는 시각화 및 유사성 검증부;
상기 증강 데이터 세트에서 움직이는 표적과 고정된 장면을 복셀(Voxel) 기반으로 하는 옥트리(Octree) 구조를 이용하여 서로 비교 분리하여 배경을 제거하는 배경 제거부;
배경이 제거된 증강 데이터 세트에 대해 거리별로 달라지는 표적의 포인트 특성을 고려하여 가변 반경값을 사용하는 V-RBNN의 최근접 이웃 탐색기법으로 클러스터링하는 클러스터링부;
클러스터링이 완료된 증강 데이터 세트에 대해 표적의 조건을 벗어나는 아웃라이어(Outlier)와 표적 가림 클러스터를 제거하고, 상기 3차원 센서의 스캔 채널을 벗어나거나, 혹은 환경의 영향으로 표적의 탐지 결과가 상실된 경우와 같은 상황이 발생된 경우에는 가중치 히스토리 큐 궤적방식에 FIR(Finite Impulse Response) 원리를 접목하여 표적의 순차적 이동특성을 모니터링하여 표적의 순차적인 위치를 예측하여 초소형 표적을 탐지하는 표적 탐지부;
를 포함하는 초소형 표적 탐지기.
제 3 항에 있어서,
상기 원시 데이터 세트 수집부는 상기 3차원 센서의 실시간 데이터를 정합하는 방식으로 초기맵을 생성하고, 한번 초기맵을 생성한 3차원 센서는 레이더와 연동하여 대략적인 위치로 지향한 후 레이저 스캔을 시작하여 표적을 탐지하거나, 혹은 서보모터가 장착된 2축 집벌을 활용하여 스캐너 어셈블리를 회전시키는 방식으로 광범위한 스캔을 수행하여 수집하는 초소형 표적 탐지기.
제 4 항에 있어서,
상기 표적 형태 설계부는,
탐지하고자 하는 표적의 형태와 밀집지역을 확인하는 단계;
레이저 빔의 수직 및 수평방향의 교차영역을 분석하는 단계;
레이저 빔의 간격과 상기 교차영역에 대한 각도를 확인하는 단계;
상기 교차영역이 작은 EL 방향의 교차각과 AZ 방향의 교차각을 계산하는 단계;
상기 AZ 방향과 상기 EL 방향의 시야각의 길이(FOV_m)를 계산하는 단계;
탐지하고자 하는 표적이 차지할 수 있는 검출 라인수(BL_AZ, BL_EL)를 계산하는 단계;
상기 교차영역의 길이정보(BI_AZ, BI_EL)를 계산하는 단계;
상기 교차영역의 추가 검출되는 탐지영역을 고려한 길이(TBI_AZ, TBI_EL)를 계산하는 단계; 및
최종 표적의 포인트 개수(TP)를 계산하는 단계;
로 표적 형태를 설계하는 초소형 표적 탐지기.
제 5 항에 있어서,
상기 AZ 방향과 상기 EL 방향의 시야각의 길이(FOV_m)는 거리(R_m)에 따라 달라지고, 하기 [수학식 1]을 통해 계산하여 얻어지는 초소형 표적 탐지기.

[수학식 1]
제 6 항에 있어서,
상기 탐지하고자 하는 표적이 차지할 수 있는 검출 라인수(BL_AZ, BL_EL)는 하기 [수학식 2]을 통해 계산하여 얻어지는 초소형 표적 탐지기.

[수학식 2]

여기서, 'T_m'은 표적의 길이(m), 'ROUNDUP'은 정수값을 정의하는 함수, 'SR_AZ'는 AZ 방향의 스캔 해상도, 'SR_EL'는 EL 방향의 스캔 해상도.
제 7 항에 있어서,
상기 교차영역의 길이정보(BI_AZ, BI_EL)는 각각 하기 [수학식 3]을 통해 계산하여 얻어지는 초소형 표적 탐지기.

[수학식 3]

여기서, 'B_deg'는 레이저 빔 발산각, 'FOVdeg'는 3차원 센서의 시야각.
제 8 항에 있어서,
상기 교차영역의 추가 검출되는 탐지영역을 고려한 길이(TBI_AZ,TBI_EL)는 각각 하기 [수학식 4]를 통해 계산하여 얻어지는 초소형 표적 탐지기.

[수학식 4]
제 9 항에 있어서,
상기 최종 표적의 포인트 개수(TP)는 하기 [수학식 5]를 통해 계산하여 얻어지는 초소형 표적 탐지기.

[수학식 5]
제 3 항에 있어서,
상기 시각화 및 유사성 검증부는 상기 생성된 증강 데이터 세트를 다양한 배경조건, 생성 노이즈 특성, 표적의 형태 및 크기, 표적의 궤적 형태 및 속도에 대응하는 시나리오별로 구분하여 시각화하고, 시각화된 시나리오별 증강 데이터 세트와 동일한 시나리오별로 생성되어 데이터베이스화된 기준 데이터 세트를 상호 비교하는 방식으로 검증하는 초소형 표적 탐지기.