KR20220113070A

KR20220113070A - Up/Down Chirp 피크 패턴 매칭을 통한 FMCW LiDAR 신호처리 방법

Info

Publication number: KR20220113070A
Application number: KR1020210016804A
Authority: KR
Inventors: 박현주
Original assignee: 주식회사 인포웍스
Priority date: 2021-02-05
Filing date: 2021-02-05
Publication date: 2022-08-12

Abstract

본 발명은 FMCW LiDAR 신호처리 방법에 관한 것으로, 더욱 상세하게는 일반 신경망 가속기 RTL(Register Transfer Level)를 FMCW(Frequency Modulated Continuous Wave) LiDAR(Light Detection And Ranging) 신호처리기 내에 구현하고, 신호처리 데이터에 대한 신뢰도를 향상시키기 위한 Up/Down Chirp 피크 패턴 매칭을 통한 FMCW LiDAR 신호처리 방법에 관한 것이다.
상기 목적을 달성하기 위하여, 본 발명의 방법은, FMCW LiDAR를 거쳐 발사된 레이저를 수신하여 주파수 도메인으로 변환하는 주파수 도메인 변환단계와; 상기 주파수 도메인 변환단계를 통해 변환된 주파수 도메인에 대응되는 전력 밀도의 패턴을 도출하는 전력 밀도 패턴 도출단계와; 상기 도출된 다수의 패턴을 기초로 LSTM(Long short-term memory) 및 RNN(Recurrent neural network) 합성곱 신경망 자연어 처리 중 적어도 어느 하나 이상의 방법을 통해 매칭하는 패턴 매칭단계와; 상기 매칭된 패턴을 인식하여 Doppler 주파수에 따른 유효한 세기를 가진 Up/Down Chirp 피크 기반 Beat 주파수의 이동 및 겹쳐짐 현상을 인지하고 최종 Doppler 주파수를 도출하는 Doppler 주파수 도출단계;를 포함하는 것을 특징으로 한다.

Description

Up/Down Chirp 피크 패턴 매칭을 통한 FMCW LiDAR 신호처리 방법{UP/DOWN CHIRP PEAK PATTERN MATCHING BASED FMCW LIDAR SIGNAL PROCESSING METHOD}

본 발명은 FMCW LiDAR 신호처리 방법에 관한 것으로, 더욱 상세하게는 일반 신경망 가속기 RTL(Register Transfer Level)를 FMCW(Frequency Modulated Continuous Wave) LiDAR(Light Detection And Ranging) 신호처리기 내에 구현하고, 신호처리 데이터에 대한 신뢰도를 향상시키기 위한 Up/Down Chirp 피크 패턴 매칭을 통한 FMCW LiDAR 신호처리 방법에 관한 것이다.

라이다(LiDAR)는 Light Detection And Ranging의 약자이며, 빛으로 탐지하고 거리를 측정한다는 뜻으로 때로는 LADAR(Laser Detection And Ranging)라는 이름으로 사용되지만, LiDAR가 보다 정확한 용어이며, LiDAR 센서 기술은 탐조등 빛의 산란 세기를 통하여 상공에서의 공기 밀도 분석 등을 위한 목적으로 1930년대 처음 시도되었으나, 1960년대 레이저의 발명과 함께 비로소 본격적인 개발이 가능하였고, 1970년대 이후 레이저 광원 기술의 지속적인 발전과 함께 다양한 분야에 응용 가능한 라이다 센서 기술들이 개발되었으며, 항공기, 위성 등에 탑재되어 정밀한 대기 분석 및 지구환경 관측을 위한 중요한 관측 기술로 활용되고 있으며, 또한 우주선 및 탐사 로봇에 장착되어 사물까지의 거리 측정 등 카메라 기능을 보완하기 위한 수단으로 활용되며, 지상에서는 원거리 거리 측정, 자동차 속도위반 단속 등을 위한 간단한 형태의 LiDAR 센서 기술들이 상용화되어 왔으며, 최근에는 3D reverse engineering 및 미래 무인 자동차를 위한 laser scanner 및 3D 영상 카메라의 핵심 기술로 활용되면서 그 활용성과 중요성이 점차 증가되고 있다.

또한, 레이저 거리측정 기술은 레이저를 이용하여 레이저를 발생한 장소에서 레이저를 발생시킨 후 목표물에서 되돌아오는 레이저의 파장을 측정하여 목표물까지의 거리를 원격으로 측정하는 기술이며, 초창기에는 레이저 거리측정 기술이 레이저 및 부품 등의 가격이 비싸고 기술적인 난이도 때문에 주로 군사용으로만 사용되어, 최근에는 이러한 기술을 산업용으로 상용화하기 위해 많은 노력을 하고 있으며, 레이저 거리측정기는 자동화 산업 현장의 무인화 시스템, 선박 접안 시 배의 파손을 막기 위한 거리 측정, 무인 과속 감지기, 차량 충동 방지 시스템 등에 적용되고 있다. 산업용의 경우 측정거리가 약 1㎞ 이내로 짧고 측정오차도 1~10 ㎜ 이내를 만족하고 있다.

또한, FMCW LiDAR는 일정 세기 이상의 신호가 돌아오는 시간을 측정하는 TOF LiDAR와 다르게 주파수 도메인에서 전력 밀도를 통한 Beat Frequency로 거리를 측정하기 때문에 1회 측정 동안 투과 또는 반사되는 여러 물체의 Distance를 검출 가능하다.

하지만, 이 때문에 여러 물체가 각각 다른 속도로 움직일 경우 Doppler Frequency로 인하여 PSD Peak의 주파수가 섞이거나, PSD Peak가 겹쳐져 버리는 등의 현상이 발생할 수 있다. 이때 이를 처리하는 기존의 단순한 Up/Down Chirp Peak 매칭 방법은 Peak 순서의 섞임 또는 Peak의 겹쳐짐을 인지하지 못하고 오류를 발생시켜 데이터 신뢰도를 떨어트리는 문제점이 있다.

대한민국 공개특허공보 제10-2021-0013076호

본 발명은 상기한 종래 기술의 문제점을 해결하기 위해 안출된 것으로서, 주파수 도메인에서 출력되는 전력 밀도의 패턴을 LSTM 또는 RNN 합성곱 신경망의 자연어 처리와 유사한 방법으로 매칭하고 패턴을 인식하여 Doppler 주파수에 따른 유효한 세기를 가진 Beat Frequency의 이동 및 겹쳐짐 현상을 인지하고 올바른 Doppler Frequency를 계산하여 데이터 신뢰도를 향상시키기 위한 Up/Down Chirp 피크 패턴 매칭을 통한 FMCW LiDAR 신호처리 방법을 제공하는 것이다.

상기 목적을 달성하기 위하여, 본 발명의 방법은, FMCW LiDAR를 거쳐 발사된 레이저를 수신하여 주파수 도메인으로 변환하는 주파수 도메인 변환단계와; 상기 주파수 도메인 변환단계를 통해 변환된 주파수 도메인에 대응되는 전력 밀도의 패턴을 도출하는 전력 밀도 패턴 도출단계와; 상기 도출된 다수의 패턴을 기초로 LSTM(Long short-term memory) 및 RNN(Recurrent neural network) 합성곱 신경망 자연어 처리 중 적어도 어느 하나 이상의 방법을 통해 매칭하는 패턴 매칭단계와; 상기 매칭된 패턴을 인식하여 Doppler 주파수에 따른 유효한 세기를 가진 Up/Down Chirp 피크 기반 Beat 주파수의 이동 및 겹쳐짐 현상을 인지하고 최종 Doppler 주파수를 도출하는 Doppler 주파수 도출단계;를 포함하는 것을 특징으로 한다.

본 발명에 따른 Up/Down Chirp 피크 패턴 매칭을 통한 FMCW LiDAR 신호처리 방법은 기존의 Peak 순서의 섞임 또는 Peak의 겹쳐짐을 인지하지 못하고 오류를 발생시켜 데이터 신뢰도를 떨어트리는 문제점에 대응하여, FPGA 내부에서 FFT 결과 Stream을 별도 메모리를 거치지 않고 RNN 또는 LSTN 등으로 구현한 합성곱 신경망으로 바로 수신하고, 신경망에서 패턴 매칭을 통하여 peak의 주파수 이동 크기(Doppler Frequency)를 추정하여 기존 방식보다 신뢰도 높은 Beat Frequency 계산 후 결과값으로 신뢰도 높은 데이터 생성할 수 있다.

다만, 본 발명의 효과가 상술한 효과들로 제한되는 것은 아니며, 언급되지 아니한 효과들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확히 이해될 수 있을 것이다.

도 1은 본 발명에 따른 Up/Down Chirp 피크 패턴 매칭을 통한 FMCW LiDAR 신호처리 방법에 대한 실시예를 도시한 도면
도 2는 본 발명에 따른 Up/Down Chirp 피크 패턴 매칭을 통한 FMCW LiDAR 신호처리 방법에 대한 실시예를 도시한 도면
도 3은 본 발명에 따른 Up/Down Chirp 피크 패턴 매칭을 통한 FMCW LiDAR 신호처리 방법에 대한 실시예를 도시한 도면
도 4는 본 발명에 따른 Up/Down Chirp 피크 패턴 매칭을 통한 FMCW LiDAR 신호처리 방법에 대한 실시예를 도시한 도면

본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.

따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.

본 발명에 따른 방법은, FMCW LiDAR를 거쳐 발사된 레이저를 수신하여 주파수 도메인으로 변환하는 주파수 도메인 변환단계와, 상기 주파수 도메인 변환단계를 통해 변환된 주파수 도메인에 대응되는 전력 밀도의 패턴을 도출하는 전력 밀도 패턴 도출단계와, 상기 도출된 다수의 패턴을 기초로 LSTM(Long short-term memory) 및 RNN(Recurrent neural network) 합성곱 신경망 자연어 처리 중 적어도 어느 하나 이상의 방법을 통해 매칭하는 패턴 매칭단계와, 상기 매칭된 패턴을 인식하여 Doppler 주파수에 따른 유효한 세기를 가진 Up/Down Chirp 피크 기반 Beat 주파수의 이동 및 겹쳐짐 현상을 인지하고 최종 Doppler 주파수를 도출하는 Doppler 주파수 도출단계를 포함하여 이루어진다.

또한, 도면 1 내지 4를 참고하여 설명하면, IFOV 스캔 시 목표물의 속도가 없을 때 Beat Frequency(Up chirp)로써, CFAR Threshold를 통한 유효한 세기의 Peak 검출이 가능하고, 도플러 주파수 발생 시 유효한 세기의 Peak의 이동(간략화)으로써, 목표물이 반대 방향으로 이동 중이므로 Peak 순서 반전이 가능하고, Doppler Frequency에 의해서 잘못 추정되는 Beat Frequency 비교로써, Up/Down Chirp의 Peak가 주파수 도메인 상 가까운 것끼리 매칭되어 발생되는 오류를 FPGA 내부에서 FFT 결과 Stream을 별도 메모리를 거치지 않고 RNN 또는 LSTN 등으로 구현한 합성곱 신경망으로 바로 수신하고, 신경망에서 패턴 매칭을 통하여 peak의 주파수 이동 크기(Doppler Frequency)를 추정하여 기존 방식보다 신뢰도 높은 Beat Frequency 계산 후 결과값으로 신뢰도 높은 데이터 생성할 수도 있다.

또한, 본 발명은 한편, 다양한 전자적으로 정보를 처리하는 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 저장 매체에 기록될 수 있다. 여기서, 저장 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 저장 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것 들이거나 소프트웨어 분야 당업자에게 공지되어 사용 가능한 것일 수도 있다. 저장매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광 기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 또한 상술한 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수도 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 전자적으로 정보를 처리하는 장치, 예를 들어, 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상에서 첨부된 도면을 참조하여 본 발명을 설명함에 있어 특정형상 및 방향을 위주로 설명하였으나, 본 발명은 그 발명에 속하는 기술분야에서 통상의 지식을 가진 사람에 의하여 다양한 변형 및 변경이 가능하고, 이러한 변형 및 변경은 본 발명의 권리범위에 포함되는 것으로 해석되어야 한다.

Claims

FMCW LiDAR를 거쳐 발사된 레이저를 수신하여 주파수 도메인으로 변환하는 주파수 도메인 변환단계와;
상기 주파수 도메인 변환단계를 통해 변환된 주파수 도메인에 대응되는 전력 밀도의 패턴을 도출하는 전력 밀도 패턴 도출단계와;
상기 도출된 다수의 패턴을 기초로 LSTM(Long short-term memory) 및 RNN(Recurrent neural network) 합성곱 신경망 자연어 처리 중 적어도 어느 하나 이상의 방법을 통해 매칭하는 패턴 매칭단계와;
상기 매칭된 패턴을 인식하여 Doppler 주파수에 따른 유효한 세기를 가진 Up/Down Chirp 피크 기반 Beat 주파수의 이동 및 겹쳐짐 현상을 인지하고 최종 Doppler 주파수를 도출하는 Doppler 주파수 도출단계;를 포함하는 것을 특징으로 하는 Up/Down Chirp 피크 패턴 매칭을 통한 FMCW LiDAR 신호처리 방법.