KR102069100B1 - 뉴럴 네트워크 기반 FMCW LiDAR 신호처리 시스템 및 방법 - Google Patents

Abstract

본 발명은 뉴럴 네트워크 기반 FMCW LiDAR 신호처리 시스템 및 방법에 관한 것으로서, 보다 구체적으로는 CFAR(Constant False Alarm Rate)의 Average Scailing Factor에 여유로운 마진을 설정하고 신경망을 이용하여 출력되는 데이터 중 유의미한 데이터를 모두 검출하여 기존에는 얻을 수 없던 부가적인 데이터를 광학계로부터 얻어낸다.
또한, FFT(Fast Fourier Transform) 결과물의 Peak를 신경망의 많은 weight 들로 인하여 선형 보간법 보다 높은 해상도로 보간 할 수 있으며, 거리에 비례한 신호 감쇠, 또는 다중 반사에 따른 멀티 타겟 Beat Frequency 감지 등을 수행할 수 있는 NN(Neural Network)을 구현하고, 이를 FFT(Fast Fourier Transform) 1 사이클 이내에 동작 가능할 수 있도록 가속하는 NPU(Neural Processing Unit)를 구현하는데 관한 것이다.
이를 위해 본 발명은, FMCW LiDAR가 시작 또는 리셋 시 사전에 저장된 기본 설정 또는 신규 설정을 로딩하는 설정 로딩단계와; 상기 설정 단계에서 설정된 값을 기반으로 디지털 레이저 제어신호를 생성하는 제어신호 생성단계와; 상기 제어신호 생성단계를 거쳐 발사된 레이저를 수신하여 주파수 도메인으로 변환하는 주파수 도메인 변환단계와; 상기 주파수 변환단계를 통해 변환된 주파수 도메인을 CFAR 필터로 통과시켜 유효 데이터 후보 영역을 검색하는 후보 영역 검색단계와; 상기 후보 영역 검색단계로부터 검색된 유효 데이터 후보 영역에 대해 가속된 신경망 계산을 수행하여 유효 데이터를 분류하는 유효 데이터 분류단계와; 상기 유효 데이터 분류단계 이후로 분류된 유효 데이터를 저장하는 유효 데이터 저장단계;를 포함하는 것을 특징으로 한다.
또한, 본 발명은, 송신 레이저을 설정되어 있는 공간 영역으로 방사하는 것에 대한 반사 레이저을 수신하는 레이저 수신부와; 상기 레이저 수신부가 수신한 레이저를 디지털 신호로 변환하는 신호 변환부와; 상기 신호 변환부가 수신한 디지털 신호를 주파수 도메인으로 변환하는 주파수 변환부와; 상기 주파수 변환부를 통해 변환된 주파수 도메인을 CFAR 필터로 통과시켜 유효 데이터 후보 영역을 검색하는 후보 영역 검색부와; 상기 후보 영역 검색부로 부터 검색된 유효 데이터 후보 영역에 대해 가속된 신경망 계산을 수행하여 유효 데이터를 분류하는 유효 데이터 분류부와; 상기 유효 데이터 분류부로 분류된 유효 데이터를 저장하는 유효 데이터 저장부와; 상기 유효 데이터 저장부에 저장된 데이터를 기반으로 신호처리 시스템을 제어하기 위한 변수를 설정 및 모니터를 하기 위한 시스템 제어부;를 포함하는 것을 특징으로 한다.

Description

뉴럴 네트워크 기반 FMCW LiDAR 신호처리 시스템 및 방법{FMCW LiDAR SIGNAL PROCESSING SYSTEM AND METHOD BASED ON NEURAL NETWORK}

본 발명은 뉴럴 네트워크 기반 FMCW LiDAR 신호처리 시스템 및 방법에 관한 것으로서, 보다 구체적으로는 일반 신경망 가속기 RTL(Register Transfer Level)를 FMCW(Frequency Modulated Continuous Wave) LiDAR(Light Detection And Ranging) 신호처리기 내부에 구현하여 고속 RF(Radio Frequency) 신호처리에서 발생할 수 있는 오류를 줄이고 공간분해능을 향상을 가능하게 할 수 있는 신경망을 이용한 FMCW LiDAR의 기능 확장 및 정확도 향상 방법에 관한 것이다.

라이다(LiDAR)는 Light Detection And Ranging의 약자이며, 빛으로 탐지하고 거리를 측정한다는 뜻이다. 때로는 LADAR(Laser Detection And Ranging)라는 이름으로 사용되지만, LiDAR가 보다 정확한 용어이다. 레이저라고 하는 광원을 목표물에 비춤으로써 사물까지의 거리, 방향, 속도, 온도, 물질분포 및 농도 특성 등을 감지할 수 있는 기술이다. LiDAR 센서는 일반적으로 높은 에너지 밀도와 짧은 주기를 가지는 펄스 신호를 생성할 수 있는 레이저의 장점을 활용하여 보다 정밀한 대기 중의 물성 관측 및 거리 측정 등에 활용이 된다.

LiDAR 센서 기술은 탐조등 빛의 산란 세기를 통하여 상공에서의 공기 밀도 분석 등을 위한 목적으로 1930년대 처음 시도되었으나, 1960년대 레이저의 발명과 함께 비로소 본격적인 개발이 가능하였다. 1970년대 이후 레이저 광원 기술의 지속적인 발전과 함께 다양한 분야에 응용 가능한 라이다 센서 기술들이 개발되었다. 항공기, 위성 등에 탑재되어 정밀한 대기 분석 및 지구환경 관측을 위한 중요한 관측 기술로 활용되고 있으며, 또한 우주선 및 탐사 로봇에 장착되어 사물까지의 거리 측정 등 카메라 기능을 보완하기 위한 수단으로 활용되고 있다. 지상에서는 원거리 거리 측정, 자동차 속도위반 단속 등을 위한 간단한 형태의 LiDAR 센서 기술들이 상용화되어 왔으며, 최근에는 3D reverse engineering 및 미래 무인 자동차를 위한 laser scanner 및 3D 영상 카메라의 핵심 기술로 활용되면서 그 활용성과 중요성이 점차 증가되고 있다.

레이저 거리측정 기술은 레이저를 이용하여 레이저를 발생한 장소에서 레이저를 발생시킨 후 목표물에서 되돌아오는 레이저의 파장을 측정하여 목표물까지의 거리를 원격으로 측정하는 기술이다. 초창기에는 레이저 거리측정 기술이 레이저 및 부품 등의 가격이 비싸고 기술적인 난이도 때문에 주로 군사용으로만 사용되었다. 최근에는 이러한 기술을 산업용으로 상용화하기 위해 많은 노력을 하고 있다. 레이저 거리측정기는 자동화 산업 현장의 무인화 시스템, 선박 접안 시 배의 파손을 막기 위한 거리 측정, 무인 과속 감지기, 차량 충동 방지 시스템 등에 적용되고 있다. 산업용의 경우 측정거리가 약 1㎞ 이내로 짧고 측정오차도 1~10 ㎜ 이내를 만족하고 있다.

레이저를 이용한 거리측정에는 다음과 같은 방법이 알려져 있다. 대표적인 펄스의 왕복시간을 측정하는 pulsed TOF(time of flight), 신호의 위상차를 통해 거리를 측정하는 위상변이(phase shift), 그리고 주파수에 변화를 준 후 주파수 차이를 통해 거리 정보를 추출하는 주파수 변조법(FMCW, frequency modulated continuous wave) 기술 등이 있다.

TOF 방식은 레이저가 펄스 신호를 방출하여 측정 범위 내에 있는 물체로부터의 반사 펄스 신호들이 수신기에 도착하는 시간을 측정함으로써 거리를 측정한다. TOF 방식은 우수한 성능을 보여주지만, 시스템의 크기가 크고 고비용이 요구된다. 저가의 거리 측정 시스템에는 주로 phase shift 또는 FMCW 방식이 사용된다.

Phase shift 방식은 특정 주파수를 가지고 연속적으로 변조되는 레이저 빔을 방출하고 측정 범위 내에 있는 물체로부터 반사되어 되돌아오는 신호의 위상 변화량을 측정하여 시간 및 거리를 계산하는 방식이다. 그러나 phase shift 또는 FMCW 방식은 신호의 흔들림이나 간섭 현상(crosstalk)에 의해 시스템의 성능이 제한되고, 특히 FMCW 방식은 주파수 변화의 비선형성에 의해 시스템 성능이 제한된다는 단점이 있다.

일반적으로, coherent 방식을 이용한 FMCW LiDAR는 파장 특성상 탐지 거리는 굉장히 긴 반면에, 송신광과 수신광의 위상차로 진동수가 약간 다른 두 개의 소리가 간섭을 일으켜 소리가 주기적으로 세어졌다 약해졌다 하는 맥놀이 현상에 의하여 생긴 주파수인 맥놀이 주파수(beat frequency)를 계산하기 위하여 사용되는 FFT(Fast Fourier Transform)의 경우에는 칩 내부에서 시간, 공간적으로 제한이 있기 때문에 해상도에도 제한이 있다. 또한 고속 파이프라인 형태로 동작하기 때문에 수행시간이 긴 복잡한 알고리즘으로 이를 보조할 수 없다.

또한 주파수 도메인에서 CFAR(Constant false alarm rate) 필터를 거친 최대 PSD(Power Spectral Density) 만으로 beat frequency를 파악하는 것이 정답이라고 하기에는 무리가 있다. 표적에 맞는 반사광의 세기는 거리에 따라 감쇠하기도 하고, 수학적으로 완벽한 점을 만들 수 없는 광학계의 레이저는 쪼개져서 반사되거나, 물체의 광 투과율에 따라 약한 강도로 반사되거나 여러 차례에 걸쳐 반사될 수도 있기 때문이다.

따라서 이런 단점들을 극복하고 해상도를 높이기 위해서, 신호 처리 로직 내부에 FFT(Fast Fourier Transform) 한 사이클 이내로 동작할 수 있는 최적화된 NN(Neural Network)을 구현한다. 해당 신경망은 FPGA(Field Programmable Gate Array)에서는 LSTM(Long Short-Term Memory)을 셀로 선택하여 구현하고, ASIC(Application Specific Integrated Circuit)으로 양산시에는 LSTM 셀의 구조를 변경한 GRU(Gated Recurrent Unit)를 셀로 채택하여 전자회로에 최적화한다.

대한민국 등록특허공보 제10-1135982호 대한민국 등록특허공보 제10-0049871호

본 발명은 상기한 종래 기술의 문제점을 해결하기 위해 안출된 것으로서, 종래 기술은 주파수 도메인으로 변경된 데이터를 CFAR(Constant false alarm rate) 필터를 거쳐, 최대 Peak PSD(Power Spectral Density) 만을 찾아 주변 값으로 선형 보간 하는 것 만을 진행하였다. 때문에 최대 Peak 값 외의 다른 값들이 의미가 있더라도 무시되었다.

본 발명은 CFAR(Constant false alarm rate)의 Average Scaling Factor에 여유로운 마진을 설정하고 신경망을 이용하여 출력되는 데이터 중 유의미한 데이터를 모두 검출하여 기존에는 얻을 수 없던 부가적인 데이터를 광학계로부터 얻어낸다.

또한, FFT(Fast Fourier Transform) 결과물의 Peak를 신경망의 많은 weight 들로 인하여 선형 보간 법보다 높은 해상도로 보간 할 수 있으며, 거리에 비례한 신호 감쇠, 또는 다중 반사에 따른 멀티 타겟 Beat Frequency 감지 등을 수행할 수 있는 NN(Neural Network)을 구현하고, 이를 FFT(Fast Fourier Transform) 1 사이클 이내에 동작 가능할 수 있도록 가속하는 NPU(Neural Processing Unit)를 구현하는데 그 목적이 있다.

상기 목적을 달성하기 위하여, 본 발명은, FMCW LiDAR가 시작 또는 리셋 시 사전에 저장된 기본 설정 또는 신규 설정을 로딩 하는 설정 로딩단계와; 상기 설정 단계에서 설정된 값을 기반으로 디지털 레이저 제어신호를 생성하는 제어신호 생성단계와; 상기 제어신호 생성단계를 거쳐 발사된 레이저를 수신하여 주파수 도메인으로 변환하는 주파수 도메인 변환단계와; 상기 주파수 변환단계를 통해 변환된 주파수 도메인을 CFAR 필터로 통과시켜 유효 데이터 후보 영역을 검색하는 후보 영역 검색단계와; 상기 후보 영역 검색단계로부터 검색된 유효 데이터 후보 영역에 대해 가속된 신경망 계산을 수행하여 유효 데이터를 분류하는 유효 데이터 분류단계와; 상기 유효 데이터 분류단계 이후로 분류된 유효 데이터를 저장하는 유효 데이터 저장단계;를 포함하는 것을 특징으로 한다.

여기서, 상기 유효 데이터 분류단계는 신경망 계산은 신경망의 연산 복잡도에 따라 관련 가속 로직 셀을 확장하여 유효 데이터 분류속도가 주파수 도메인 변환이 완료되는 시간보다 단축되도록 가속하는 것을 특징으로 한다.

또한, 상기 후보 영역 검색단계는 변환된 주파수 도메인의 신호 대역 강도에 따라 유효 데이터 후보 영역을 검색하는 것을 특징으로 한다.

더욱이, 상기 설정 로딩 단계는 PL(Programmable Logic)에 커스터마이징한 하드웨어를 제어하는 변수를 상시 모니터링하는 것을 특징으로 한다.

추가로, 상기 유효 데이터 저장단계는 인터럽트 발생 데이터를 통해 CPU에서 리소스를 낭비하지 않고 하드웨어 FIFO를 읽어 갈 수 있게 하는 것을 특징으로 한다.

또한, 본 발명은, 송신 레이저를 설정되어 있는 공간 영역으로 방사하는 것에 대한 반사 레이저를 수신하는 레이저 수신부와; 상기 레이저 수신부가 수신한 레이저를 디지털 신호로 변환하는 신호 변환부와; 상기 신호 변환부가 수신한 디지털 신호를 주파수 도메인으로 변환하는 주파수 변환부와; 상기 주파수 변환부를 통해 변환된 주파수 도메인을 CFAR 필터로 통과시켜 유효 데이터 후보 영역을 검색하는 후보 영역 검색부와; 상기 후보 영역 검색부로 부터 검색된 유효 데이터 후보 영역에 대해 가속된 신경망 계산을 수행하여 유효 데이터를 분류하는 유효 데이터 분류부와; 상기 유효 데이터 분류부로 분류된 유효 데이터를 저장하는 유효 데이터 저장부와; 상기 유효 데이터 저장부에 저장된 데이터를 기반으로 신호처리 시스템을 제어하기 위한 변수를 설정 및 모니터를 하기 위한 시스템 제어부;를 포함하는 것을 특징으로 한다.

여기서, 상기 시스템 제어부를 통해 미러를 회전 구동하여 광의 반사 각도를 수평이나 수직으로 조정하기 위한 DAC(Digital to Analog Convertion)를 제어하는 디지털 신호를 생성하는 것을 특징으로 한다.

또한, 상기 시스템 제어부는 실시간으로 빛을 반사하여 스크린에 영상을 형성하는 스캐너를 구비하고, 상기 스캐너의 각도를 모니터링하여 3D Point Cloud를 형성하는 것을 특징으로 한다.

더욱이, 상기 주파수 변환부는 주파수 도메인 데이터 변환 과정을 이용하여 특정 beat frequency의 반사광 강도를 감지하는 것을 특징으로 한다.

추가로, 상기 유효 데이터 분류부는 가속된 신경망 계산 시 고속 행렬 연산만 수행하도록 제한하여 FPGA 내부에 최적화되는 것을 특징으로 한다.

이상과 같은 본 발명에 따른 뉴럴 네트워크 기반 FMCW LiDAR 신호처리 시스템 및 방법은 기존에 1개의 가장 근접한 peak만을 검출하지 못하였던 LiDAR 시스템에서 여러 개의 유효한 peak를 검출할 수 있다. 한 가지 예시로 레이저가 유리를 투과하고 목표물에 반사되고 있을 경우 기존에는 가장 큰 신호인 유리에서 반사되는 빛 밖에 검출하지 못했지만, 신경망 학습을 통해 추가적인 반사광을 검출할 수 있다. 또한 부가적으로 FFT(Fast Fourier Transform)의 부족한 분해 능력을 극복하기 위해 사용하는 선형 보간법 보다 높은 정확도로 보정한 결과를 얻을 수 있다.

도 1은 본 발명에 따른 뉴럴 네트워크 기반 FMCW LiDAR 신호처리 시스템의 블록다이어그램을 도시한 도면
도 2는 본 발명에 따른 뉴럴 네트워크 기반 FMCW LiDAR 신호처리 동작 순서도에 따른 과정을 도시한 순서도
도 3은 본 발명에 따른 뉴럴 네트워크 기반 FMCW LiDAR 신호처리 시스템에서 NPU 병렬 계산기 셀을 도시한 도면
도 4는 본 발명에 따른 뉴럴 네트워크 기반 FMCW LiDAR 신호처리 파이프라인 동작을 도시한 도면

본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석 되어야만 한다.

따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.

이하, 도면을 참조로 하여 본 발명에 따른 뉴럴 네트워크 기반 FMCW LiDAR 신호처리 시스템 및 방법을 설명하기로 한다.

도 1은 본 발명에 따른 뉴럴 네트워크 기반 FMCW LiDAR 신호처리 시스템의 블록다이어그램을 도시한 도면이다.

이하에서는 뉴럴 네트워크 기반 FMCW LiDAR 신호처리 시스템의 블록다이어그램에 관련된 구체적인 사항에 대해 살펴보기로 한다.

도 1을 참조하면, 신경망 관련 부분을 제외하고 기본적으로 일반화되어 있는 FMCW LiDAR와 같은 구조를 지니고 있다. FMCW RADAR와도 비슷한데, 송신 및 수신하는 소스가 전파에서 빛으로 바뀌면 LiDAR가 된다.

또한, FPGA(Field Programmable Gate Array), PL(Programmable Logic), PS(Processing System), Control & Status, 14bit Function Generator(RF), 16bit Function Generator(Slow), FFT(Fast Fourier transform), CFAR(Constant False Alarm Rate), NPU(Neural Processing Unit), Weight & Bias, FIFO(First In First Out)를 포함할 수 있다.

기본적으로, 송신 레이저를 설정되어 있는 공간 영역으로 방사하는 것에 대한 반사 레이저를 수신하는 레이저 수신부와 상기 레이저 수신부가 수신한 레이저를 디지털 신호로 변환하는 신호 변환부와 상기 신호 변환부가 수신한 디지털 신호를 주파수 도메인으로 변환하는 주파수 변환부와 상기 주파수 변환부를 통해 변환된 주파수 도메인을 CFAR 필터로 통과시켜 유효 데이터 후보 영역을 검색하는 후보 영역 검색부와 상기 후보 영역 검색부로부터 검색된 유효 데이터 후보 영역에 대해 가속된 신경망 계산을 수행하여 유효 데이터를 분류하는 유효 데이터 분류부와 상기 유효 데이터 분류부로 분류된 유효 데이터를 저장하는 유효 데이터 저장부와 상기 유효 데이터 저장부에 저장된 데이터를 기반으로 신호처리 시스템을 제어하기 위한 변수를 설정 및 모니터를 하기 위한 시스템 제어부를 포함하고 있다.

보다 구체적으로, FPGA(Field Programmable Gate Array)은 프로그램이 가능한 비메모리 반도체의 일종으로 회로 변경이 불가능한 일반 반도체와 달리 용도에 맞게 회로를 다시 새겨 넣을 수 있다. 또한, 사용자는 자신의 용도에 맞게 반도체의 기능을 소프트웨어 프로그램 하듯이 변형시킬 수 있다.

FPGA(Field Programmable Gate Array)은 본 발명의 도 1에 따라 신호 생성 및 신호 처리를 관장하는 SOC(System On Chip)으로 초고속으로 통신 가능한 ARM core가 일반적인 임베디드 소프트웨어를 가동할 수 있게 해 준다.

PL(Programmable Logic)은 프로그램 가능 논리로 추론의 형식적 원리를 취급하고 단순한 초등 논리로부터 복잡한 시스템을 풀기 위해서 사용된다.

PL(Programmable Logic)은 본 발명의 도 1에 따라 하드웨어를 프로그래밍 가능한 FPGA의 영역으로 일반적인 CPU에서 빠르게 할 수 없는 일들을 내부에서 커스터마이징 한 하드웨어를 프로그래밍 함으로써 가속한다.

PS(Processing System)은 원시 프로그램의 한 문장을 번역하여 바로 실행하는 루틴인 인터프리터나 일정한 구문 규칙과 의미 규칙에 따라 어느 기호의 집합을 다른 기호의 집합으로 변환시키는 프로그램인 컴파일러와 같은 프로그램 언어 처리 시스템 부분을 가리킨다.

PS(Processing System)은 본 발명의 도 1에 따라 일반적인 CPU 기능을 하는 FPGA 영역, ARM core 및 일반적인 인터페이스를 포함한다.

Control & Status에서 Control 부분은 어떤 생산물을 만들어내는 것이 아니라 시스템 전체가 효율적으로 가동할 수 있는 상태를 만들기 위해 순서와 프로그램 혹은 기구가 맡은 역할과 동작을 가리키고 있다. 또한, Status 부분은 자체적으로 부호화 되어 매번 DL/1 호출을 수행한 후 처리 제어 블록(PCB)에 기록되어 응용 프로그램이 상태 보호를 확인할 수 있으므로 특정의 오류나 예외적인 현상이 발생할 때에 프로그램사에서 이를 감지하여 특정의 처리 루틴을 수행하거나 프로그램을 중단하는 적절한 조치를 취할 수 있도록 해 준다.

Control & Status은 본 발명의 도 1에 따라 PL 로직에 커스터마이징한 하드웨어를 제어할 변수들을 설정하고 기타 변수들을 모니터링하는 모듈로 대부분은 제어 값을 설정만 하지만 상기 시스템 제어부를 통하여 16bit Function Generator(Slow) 모듈에서 출력되는 신호는 CPU에서 상시 모니터링 한다. 그를 통해 실시간으로 빛을 반사하여 스크린에 영상을 형성하는 장치인 스캐너의 각도를 모니터링하여 3D Point Cloud(3차원 점구름)를 그리는데 사용한다.

여기서 3D Point Cloud란 3차원 좌표계에서 점은 보통 X, Y, Z 좌표로 정의되며 종종 사물의 표면을 나타내기 위해 사용되기도 한다. 점구름은 3D 스캐너로 얻을 수 있고, 3D 스캐너는 사물의 표면에서 수많은 점을 자동으로 측정하고, 이를 통해 생성한 점구름을 파일 또는 적합한 시각화 도구로 출력한다. 위와 같은 기계가 측정한 점들의 집합을 점구름으로 표현한다.

14bit Function Generator(RF)은 본 발명의 도 1에 따라 레이저를 제어하는 디지털 신호를 생성하는 블록으로 두 개의 블록을 발생시키는 신호 형태는 다르지만 coherent 방식을 사용하기 위해 파형 시작 부분이 정확히 동기화되어야 한다.

16bit Function Generator(Slow)은 본 발명의 도 1에 따라 상기 시스템 제어부를 통해 스캐너의 미러를 수평이나 수직으로 움직일 수 있도록 하기 위한 DAC(Digital to Analog Convertion)를 제어하는 디지털 신호를 생성하여 레이저의 발사 방향을 조절한다.

FFT(Fast Fourier transform)은 고속 푸리에 변환으로 이산적인 입력 신호에 대하여 시간에 대한 신호를 주파수 성분으로 분해하는 과정인 이산 푸리에 변환(DFT: Discrete Fourier transform)과 그 역변환을 빠르게 수행하는 효율적인 알고리즘이다.

FFT(Fast Fourier transform)은 본 발명의 도 1에 따라 고속 무선주파수 ADC(Analog to Digital Convertion)에서 수신되는 타임 도메인 데어터를 주파수 도메인 데이터로 변환해 주는 역할을 한다. 이 과정을 통하여 특정 beat frequency의 반사광이 어느 정도의 강도로 발생하였는지 알 수가 있다.

CFAR(Constant False Alarm Rate)은 일정 오경보율로 수신기에 표적 반사되어 되돌아온 신호(에코)들은 통상적으로 안테나에 의해 수신, 증폭, 다운 컨버팅 되고 그 후 비디오 신호로서 알려진 신호의 포락선을 추출하는 검출기 회로를 통과한다. 이 비디오 신호는 수신된 에코의 전력에 비례하며, 원하는 에코 신호 및 내부 수신기 잡음 및 외부 클러터 및 간섭으로 부터의 원하지 않는 전력을 포함한다. 일정 오경보율 회로의 역할은 임의의 복귀가 타겟으로 부터 비롯되는 것으로 간주될 수 있는 전력 임계치를 결정하는 것이다. 이 임계치가 너무 낮으면, 더 많은 타겟들이 잘못된 경보들의 증가된 수에 포함되어서 검출될 것이다.

역으로, 임계치가 너무 높으면, 더 적은 타겟들이 검출될 것이지만, 오경보들의 수 또한 낮을 것이다. 대부분의 레이더 검출기에서, 임계치는 오류 경보의 요구되는 확률(또는 동등하게, 오경보(false alarm) 및 오경보(false alarm) 사이의 시간)을 달성하기 위해 설정된다. 타겟들이 검출되어야 하는 배경이 시간 및 공간과 일정하면, 잘못된 경보의 특정 확률을 제공하는 고정된 임계 레벨이 선택될 수 있다.

일반적으로 상기 설정은 가우시안(Gaussian)인 것으로 가정되는 잡음의 확률 밀도 함수에 의해 결정된다. 그 후, 검출의 확률은 타겟 리턴 신호의 신호 대 잡음비(signal-to-noise ratio)의 함수이다. 그러나, 대부분의 추적 시스템에서, 원하지 않는 클러터 및 간섭 소스들은 잡음 레벨이 공간적으로 그리고 시간적으로 변화한다는 것을 의미한다. 이 경우, 변경 임계치(change threshold)가 사용될 수 있으며, 여기서 임계 레벨은 상승 및 하강하여 오류 경보의 일정한 확률을 유지한다.

CFAR(Constant False Alarm Rate)은 본 발명의 도 1에 FFT의 결과물의 각 신호 대역 중 유의미한 강도를 가지는 데이터를 구분하는 필터 역할을 한다. 여기에서 디지털 로직에 최적화시키기 위하여 CA-CFAR(Cell Average Constant False Alarm Rate)를 사용한다.

CA-CFAR(Cell Average Constant False Alarm Rate)은 가장 간단한 CFAR(Constant False Alarm Rate) 검출 방식들에서, 임계 레벨은 테스트(CUT) 하의 셀 주변의 잡음의 레벨을 추정함으로써 계산된다. 이는 CUT 주변의 셀들의 블록을 취하고 평균 전력 레벨을 계산하는 것에 의해 발견될 수 있다. CUT 자체로부터의 전력으로 이러한 추정치를 손상시키는 것을 피하기 위해, CUT에 바로 인접한 셀들은 보통 무시되고(그리고 '가드 셀(guard cell)'이라 함), 타겟이 모든 인접 셀들 보다 크고 로컬 평균 전력 레벨보다 더 큰 경우, 타겟은 CUT에 존재하게 된다. 국부적인 전력 레벨의 추정은 때때로 제한된 샘플 크기를 허용하기 위해 약간 증가될 수 있다.

NPU(Neural Processing Unit)는 신경망 처리장치로 인간이 뇌를 통해 문제를 처리하는 방법과 비슷한 방법으로 문제를 해결하기 위해 컴퓨터에서 채택하고 있는 구조로 인간은 뇌의 기본 구조 조직인 뉴런(neuron)과 뉴런이 연결되어 일을 처리하는 것처럼, 수학적 모델로서의 뉴런이 상호 연결되어 네트워크를 형성할 때 이를 신경망이라 한다. 이를 생물학적 신경망과 구별하여 특히 인공 신경망(artificial neural network)이라 하는데 신경망은 각 뉴런이 독립적으로 동작하는 처리기의 역할을 하기 때문에 병렬성(parallellism)이 뛰어나고, 많은 연결선에 정보가 분산되어 있기 때문에 몇몇 뉴런에 문제가 발생하더라도 전체 시스템에 큰 영향을 주지 않으므로 결함 허용(fault tolerance) 능력이 있으며, 주어진 환경에 대한 학습 능력이 있다. 인공지능(AI)의 핵심인 딥러닝(스스로 학습하는 것) 알고리즘 실행에 최적화되어 있고, 비정형적인 데이터를 빠르게 처리한다.

상기 유효 데이터 분류부에 NPU(Neural Processing Unit)은 본 발명의 도 1에 따라 고속 행렬 연산에 최적화된 병렬 곱셈, 덧셈 계산을 수행하며 필요한 기능만을 지원하도록 제한하여 칩 또는 FPGA 내부에 작게 포함시킬 수 있도록 최적화한다.

Weight & Bias은 본 발명의 도 1에 따라 이미 학습된 신경망 모델의 변수들로 해당 변수들을 곱하고 더해서 신경망이 유효한 데이터를 판별할 수 있게 한다.

FIFO(First In First Out)은 시간과 우선순위와 관련된 데이터를 정리하고 이용하는 방식을 줄여 말하는 것으로 이러한 표현은 선입선처리 행위에 따라 순서대로 처리함으로써 기술을 처리하거나 수요 충돌을 관리하는 대기의 원칙을 말한다.

또한, 시스템에서는 기억 장치와의 접근이나 데이터 처리, 정보 처리에 있어서 대기 시간이 생기는 경우 먼저 기억된 데이터나 먼저 온 명령을 우선적으로 꺼내거나 처리를 마치거나 하는 방식을 말한다.

FIFO(First In First Out)은 본 발명의 도 1에 따라 NPU에서 계산이 끝난 데이터를 CPU에서 순서대로 읽어 갈 수 있도록 저장하는 버퍼 역할을 한다.

도 2는 본 발명에 따른 뉴럴 네트워크 기반 FMCW LiDAR 신호처리 동작 순서도에 따른 과정을 도시한 순서도이다.

이하에서는 뉴럴 네트워크 기반 FMCW LiDAR 신호처리 동작 순서에 관련된 구체적인 사항에 대해 살펴보기로 한다.

기본적으로, FMCW LiDAR가 시작 또는 리셋 시 사전에 저장된 기본 설정 또는 신규 설정을 로딩하는 설정 로딩단계와 상기 설정 단계에서 설정된 값을 기반으로 디지털 레이저 제어신호를 생성하는 제어신호 생성단계와 상기 제어신호 생성단계를 거쳐 발사된 레이저를 수신하여 주파수 도메인으로 변환하는 주파수 도메인 변환단계와 상기 주파수 변환단계를 통해 변환된 주파수 도메인을 CFAR 필터로 통과시켜 유효 데이터 후보 영역을 검색하는 후보 영역 검색단계와 상기 후보 영역 검색단계로부터 검색된 유효 데이터 후보 영역에 대해 가속된 신경망 계산을 수행하여 유효 데이터를 분류하는 유효 데이터 분류단계와 상기 유효 데이터 분류단계 이후로 분류된 유효 데이터를 저장하는 유효 데이터 저장단계를 포함하고 있다.

보다 구체적으로, 뉴럴 네트워크 기반 FMCW LiDAR 신호처리 동작 시작 또는 리셋 시에 CPU에 저장되어 있던 기본 설정이나 새로 받는 설정을 Control & Status 모듈에 로드한다. 이를 통해 외부 칩 및 PL(Programmable Logic)에 커스터마이징한 하드웨어를 제어하는 변수를 상시 모니터링 하고, 상기 단계에서 설정된 값을 기반으로 디지털 레이저 제어신호를 생성하여, 레이저를 제어한다.

그 다음, 레이저 발사 후 수신광을 FFT에서 주파수 도메인으로 변환한다. 그리고 CFAR 필터를 거쳐 유효 데이터 후보 영역을 찾는다. 이때, CFAR의 평균에 곱해지는 계수를 넉넉하게 적게 잡아서 CFAR이 데이터를 유의미한 데이터 후보를 극소수만 남기지는 않도록 한다. 또한, 변환된 주파수 도메인의 신호 대역 강도에 따라 유효 데이터 후보 영역을 검색한다.

그 다음, NPU를 통하여 가속된 신경망 계산을 수행한다. 이를 통해, 신경망 계산은 뉴럴 네트워크의 연산 복잡도에 따라 셀을 확장하여 유효 데이터 분류속도가 주파수 도메인 변환이 완료되는 시간보다 단축되도록 가속하고, 물체의 모서리에 투사되어 쪼개지거나, 유리 등을 투과하여 이중으로 반사광이 들어올 경우 등의 특이 케이스를 커버한다. 또한 신경망은 수많은 Weight를 가진 다차원 방정식이므로 선형 보간법 보다 높은 정확도로 결과물을 보정하여, FFT가 가진 제한된 해상도를 극복한다.

그 다음, NPU 계산이 끝난 데이터를 CPU(ARM Core)에서 읽어 갈 수 있도록 FIFO 버퍼에 저장하고 CPU가 프로그램을 실행하고 있을 때, 입출력 하드웨어 등의 장치나 또는 예외 상황이 발생하여 처리가 필요할 경우에 CPU에게 알려 처리할 수 있도록 하는 인터럽트를 발생시키고, 인터럽트 발생 데이터를 수신한 CPU(ARM core)에서 인터럽트 루틴을 활용하여 리소스를 낭비하지 않게 하여 하드웨어 FIFO를 읽어 갈 수 있게 하고 FIFO의 사이즈를 체크하고 저장되어 있는 만큼 데이터를 읽어 들인 후, 외부로 송신하기 위한 데이터 포맷으로 소프트웨어적으로 변경한다.

그 다음, 네트워크 또는 외부 인터페이스를 통해 데이터를 필요로 하는 타 장치에 송신한다. 그리고 타 장치에 송신하는 과정을 마친 다음 뉴럴 네트워크 기반 FMCW LiDAR 신호처리의 동작 시작 또는 리셋 시에 CPU에 저장되어 있던 기본 설정이나 새로 받는 설정된 값을 기반으로 디지털 레이저 제어신호를 생성하고 레이저를 제어하는 단계로 되돌아가 상기 동작 순서를 반복하게 된다. 설명의 편의를 위해 Data flow를 통하여 순차적으로 설명하였지만, 이는 병렬적으로 상시 동작하는 시스템이다.

도 3은 본 발명에 따른 뉴럴 네트워크 기반 FMCW LiDAR 신호처리 시스템에서 NPU 병렬 계산기 셀을 도시한 도면이다.

이하에서는 뉴럴 네트워크 기반 FMCW LiDAR 신호처리 시스템에서 NPU 병렬 계산기 셀에 관련된 구체적인 사항에 대해 살펴보기로 한다.

신경망 가속을 위해 NPU에 포함되는 기본적인 셀은 행렬 곱셈에 최적화하기 위하여 도 3와 같은 구조를 취한다. 이를 구현한 NN(Neural Network)의 연산 복잡도에 따라 필요한 만큼 확장하여 신경망의 분류 속도가 FFT의 모든 포인트 연산이 완료되는 시간보다 짧아질 수 있도록 가속한다. 각 입력, 출력 부는 신경망 구성에 따라 제어된 동작을 수행하여 원하는 형태의 행렬 연산을 완료할 수 있다.

또한, 신경망 학습을 위한 데이터 구축 및 학습에서 정확도를 향상시키기 위한 신경망 손실 함수(Loss Function) 계산 용도 데이터로는 제품에 실제로 사용할 RF ADC(Analog to Digital Convertion)보다 더 고성능의 칩셋을 활용하여 실제로 연산할 데이터보다 높은 공간분해능을 가진 데이터로 스플라인 보간(spline interpolation)을 하여 고해상도 데이터를 생성한다. 이후 해당 데이터를 활용하여 Loss가 수렴하도록 학습시킴으로써 좋은 결과를 얻을 수 있다.

도 4는 본 발명에 따른 뉴럴 네트워크 기반 FMCW LiDAR 신호처리 파이프라인 동작을 도시한 도면이다.

이하에서는 뉴럴 네트워크 기반 FMCW LiDAR 신호처리 파이프라인 동작에 관련된 구체적인 사항에 대해 살펴보기로 한다.

신경망의 동작 속도는 FFT의 연산 속도와 같거나 더 빨라야 한다. 도 4와 같이 FFT가 동작하는 동안 CFAR이 FFT의 데이터를 이어받아 별도의 버퍼링 없이 필터링을 수행하고, NPU 또한 최소한의 버퍼링을 거친 후 다음 FFT가 시작하기 전에 신경망 연산을 끝내야 한다. 이를 달성하기 위하여 신경망 복잡도에 따른 NPU의 병렬 계산기 셀을 추가하여 가속하여야 한다. 신경망이 너무 복잡한 경우 FPGA 또는 칩의 한정된 공간에 병렬 계산기를 필요한 만큼 포함시키지 못한다. 따라서 적당한 복잡도의 신경망을 구현하는 것 또한 중요하다.

이상에서 첨부된 도면을 참조하여 본 발명을 설명함에 있어 특정형상 및 방향을 위주로 설명하였으나, 본 발명은 그 발명에 속하는 기술분야에서 통상의 지식을 가진 사람에 의하여 다양한 변형 및 변경이 가능하고, 이러한 변형 및 변경은 본 발명의 권리범위에 포함되는 것으로 해석되어야 한다.

전술한 특성 및 이하 상세한 설명은 모두 본 발명의 설명 및 이해를 돕기 위한 예시적인 사항이다. 즉, 본 발명은 이와 같은 실시 예에 한정되지 않고 다른 형태로 구체화될 수 있다. 다음 실시 형태들은 단지 본 발명을 완전히 개시하기 위한 예시이며, 본 발명이 속하는 기술 분야의 통상의 기술자들에게 본 발명을 전달하기 위한 설명이다. 따라서, 본 발명의 구성 요소들을 구현하기 위한 방법이 여럿 있는 경우에는, 이들 방법 중 특정한 것 또는 이와 동일성 있는 것 가운데 어떠한 것으로든 본 발명의 구현이 가능함을 분명히 할 필요가 있다.

본 명세서 및 청구범위에 어떤 구성이 특정 요소들을 포함한다는 언급이 있는 경우, 또는 어떤 과정이 특정 단계들을 포함한다는 언급이 있는 경우는, 그 외 다른 요소 또는 다른 단계들이 더 포함될 수 있음을 의미한다. 즉, 본 명세서에서 사용되는 용어들은 특정 실시 형태를 설명하기 위한 것일 뿐이고, 본 발명의 개념을 한정하기 위한 것이 아니다. 나아가, 발명의 이해를 돕기 위해 설명한 예시들은 그것의 상보적인 실시 예도 포함한다.

Claims (10)

1. FMCW LiDAR가 시작 또는 리셋 시 사전에 저장된 기본 설정 또는 신규 설정을 로딩하는 설정 로딩단계와;
   상기 설정 단계에서 설정된 값을 기반으로 디지털 레이저 제어신호를 생성하는 제어신호 생성단계와;
   상기 제어신호 생성단계를 거쳐 발사된 레이저를 수신하고, beat frequency 대역의 반사광 강도의 세기를 감지하기 위해 수신된 레이저를 주파수 도메인으로 변환하는 주파수 도메인 변환단계와;
   상기 주파수 변환단계를 통해 변환된 주파수 도메인을 CFAR 필터로 통과시켜 변환된 주파수 도메인의 신호 대역 강도에 따라 유효 데이터 후보 영역을 검색하는 후보 영역 검색단계와;
   상기 후보 영역 검색단계로부터 검색된 유효 데이터 후보 영역에 대해 가속된 신경망 계산 시 고속 행렬 연산만 수행하도록 제한하고, 뉴럴 네트워크의 연산 복잡도에 따라 셀을 확장하여 유효 데이터 분류속도가 주파수 도메인 변환이 완료되는 시간보다 단축되도록 하여 유효 데이터를 분류하는 유효 데이터 분류단계와;
   상기 유효 데이터 분류단계 이후로 분류된 유효 데이터를 저장하는 유효 데이터 저장단계;를 포함하는 것을 특징으로 하는 뉴럴 네트워크 기반 FMCW LiDAR 신호처리 방법.
   
2. 삭제
3. 삭제
4. 청구항 1에 있어서,
   상기 설정 로딩 단계는 PL(Programmable Logic)에 커스터마이징한 하드웨어를 제어하는 변수를 상시 모니터링하는 것을 특징으로 하는 뉴럴 네트워크 기반 FMCW LiDAR 신호처리 방법.
   
5. 청구항 1항에 있어서,
   상기 유효 데이터 저장단계는 인터럽트 발생 데이터를 통해 CPU에서 리소스를 낭비하지 않고 하드웨어 FIFO를 읽어 갈 수 있게 하는 것을 특징으로 하는 뉴럴 네트워크 기반 FMCW LiDAR 신호처리 방법.
   
6. 송신 레이저를 설정되어 있는 공간 영역으로 방사하는 것에 대한 반사 레이저를 수신하는 레이저 수신부와;
   상기 레이저 수신부가 수신한 레이저를 디지털 신호로 변환하는 신호 변환부와;
   상기 신호 변환부가 수신한 디지털 신호를 주파수 도메인으로 변환하고, 주파수 도메인 변환 과정을 이용하여 beat frequency의 반사광 강도의 세기를 감지하는 주파수 변환부와;
   상기 주파수 변환부를 통해 변환된 주파수 도메인을 CFAR 필터로 통과시켜 변환된 주파수 도메인의 신호 대역 강도에 따라 유효 데이터 후보 영역을 검색하는 후보 영역 검색부와;
   상기 후보 영역 검색부로부터 검색된 유효 데이터 후보 영역에 대해 가속된 신경망 계산 시 고속 행렬 연산만 수행하도록 제한하여 FPGA 내부에 최적화를 하고, 뉴럴 네트워크의 연산 복잡도에 따라 셀을 확장하여 유효 데이터 분류속도가 주파수 도메인 변환이 완료되는 시간보다 단축되도록 하여 유효 데이터를 분류하는 유효 데이터 분류부와;
   상기 유효 데이터 분류부로 분류된 유효 데이터를 저장하는 유효 데이터 저장부와;
   상기 유효 데이터 저장부에 저장된 데이터를 기반으로 신호처리 시스템을 제어하기 위한 변수를 설정 및 모니터를 하기 위한 시스템 제어부;를 포함하는 것을 특징으로 하는 뉴럴 네트워크 기반 FMCW LiDAR 신호처리 시스템.
   
7. 청구항 6에 있어서,
   상기 시스템 제어부를 통해 미러를 회전 구동하여 광의 반사 각도를 수평이나 수직으로 조정하기 위한 DAC(Digital to Analog Convertion)를 제어하는 디지털 신호를 생성하는 것을 특징으로 하는 뉴럴 네트워크 기반 FMCW LiDAR 신호처리 시스템.
   
8. 청구항 6에 있어서,
   상기 시스템 제어부는 실시간으로 빛을 반사하여 스크린에 영상을 형성하는 스캐너를 구비하고, 상기 스캐너의 각도를 모니터링하여 3D Point Cloud를 형성하는 것을 특징으로 하는 뉴럴 네트워크 기반 FMCW LiDAR 신호처리 시스템.
   
9. 삭제
10. 삭제

Images