KR20220113070A - Up/Down Chirp 피크 패턴 매칭을 통한 FMCW LiDAR 신호처리 방법 - Google Patents

Up/Down Chirp 피크 패턴 매칭을 통한 FMCW LiDAR 신호처리 방법 Download PDF

Info

Publication number
KR20220113070A
KR20220113070A KR1020210016804A KR20210016804A KR20220113070A KR 20220113070 A KR20220113070 A KR 20220113070A KR 1020210016804 A KR1020210016804 A KR 1020210016804A KR 20210016804 A KR20210016804 A KR 20210016804A KR 20220113070 A KR20220113070 A KR 20220113070A
Authority
KR
South Korea
Prior art keywords
frequency domain
frequency
signal processing
pattern
neural network
Prior art date
Application number
KR1020210016804A
Other languages
English (en)
Inventor
박현주
Original Assignee
주식회사 인포웍스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 인포웍스 filed Critical 주식회사 인포웍스
Priority to KR1020210016804A priority Critical patent/KR20220113070A/ko
Publication of KR20220113070A publication Critical patent/KR20220113070A/ko

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/32Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/34Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated using transmission of continuous, frequency-modulated waves while heterodyning the received signal, or a signal derived therefrom, with a locally-generated signal related to the contemporaneously transmitted signal
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/4861Circuits for detection, sampling, integration or read-out
    • GPHYSICS
    • G02OPTICS
    • G02FOPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/35Non-linear optics
    • G02F1/353Frequency conversion, i.e. wherein a light beam is generated with frequency components different from those of the incident light beams
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Nonlinear Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Optics & Photonics (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

본 발명은 FMCW LiDAR 신호처리 방법에 관한 것으로, 더욱 상세하게는 일반 신경망 가속기 RTL(Register Transfer Level)를 FMCW(Frequency Modulated Continuous Wave) LiDAR(Light Detection And Ranging) 신호처리기 내에 구현하고, 신호처리 데이터에 대한 신뢰도를 향상시키기 위한 Up/Down Chirp 피크 패턴 매칭을 통한 FMCW LiDAR 신호처리 방법에 관한 것이다.
상기 목적을 달성하기 위하여, 본 발명의 방법은, FMCW LiDAR를 거쳐 발사된 레이저를 수신하여 주파수 도메인으로 변환하는 주파수 도메인 변환단계와; 상기 주파수 도메인 변환단계를 통해 변환된 주파수 도메인에 대응되는 전력 밀도의 패턴을 도출하는 전력 밀도 패턴 도출단계와; 상기 도출된 다수의 패턴을 기초로 LSTM(Long short-term memory) 및 RNN(Recurrent neural network) 합성곱 신경망 자연어 처리 중 적어도 어느 하나 이상의 방법을 통해 매칭하는 패턴 매칭단계와; 상기 매칭된 패턴을 인식하여 Doppler 주파수에 따른 유효한 세기를 가진 Up/Down Chirp 피크 기반 Beat 주파수의 이동 및 겹쳐짐 현상을 인지하고 최종 Doppler 주파수를 도출하는 Doppler 주파수 도출단계;를 포함하는 것을 특징으로 한다.

Description

Up/Down Chirp 피크 패턴 매칭을 통한 FMCW LiDAR 신호처리 방법{UP/DOWN CHIRP PEAK PATTERN MATCHING BASED FMCW LIDAR SIGNAL PROCESSING METHOD}
본 발명은 FMCW LiDAR 신호처리 방법에 관한 것으로, 더욱 상세하게는 일반 신경망 가속기 RTL(Register Transfer Level)를 FMCW(Frequency Modulated Continuous Wave) LiDAR(Light Detection And Ranging) 신호처리기 내에 구현하고, 신호처리 데이터에 대한 신뢰도를 향상시키기 위한 Up/Down Chirp 피크 패턴 매칭을 통한 FMCW LiDAR 신호처리 방법에 관한 것이다.
라이다(LiDAR)는 Light Detection And Ranging의 약자이며, 빛으로 탐지하고 거리를 측정한다는 뜻으로 때로는 LADAR(Laser Detection And Ranging)라는 이름으로 사용되지만, LiDAR가 보다 정확한 용어이며, LiDAR 센서 기술은 탐조등 빛의 산란 세기를 통하여 상공에서의 공기 밀도 분석 등을 위한 목적으로 1930년대 처음 시도되었으나, 1960년대 레이저의 발명과 함께 비로소 본격적인 개발이 가능하였고, 1970년대 이후 레이저 광원 기술의 지속적인 발전과 함께 다양한 분야에 응용 가능한 라이다 센서 기술들이 개발되었으며, 항공기, 위성 등에 탑재되어 정밀한 대기 분석 및 지구환경 관측을 위한 중요한 관측 기술로 활용되고 있으며, 또한 우주선 및 탐사 로봇에 장착되어 사물까지의 거리 측정 등 카메라 기능을 보완하기 위한 수단으로 활용되며, 지상에서는 원거리 거리 측정, 자동차 속도위반 단속 등을 위한 간단한 형태의 LiDAR 센서 기술들이 상용화되어 왔으며, 최근에는 3D reverse engineering 및 미래 무인 자동차를 위한 laser scanner 및 3D 영상 카메라의 핵심 기술로 활용되면서 그 활용성과 중요성이 점차 증가되고 있다.
또한, 레이저 거리측정 기술은 레이저를 이용하여 레이저를 발생한 장소에서 레이저를 발생시킨 후 목표물에서 되돌아오는 레이저의 파장을 측정하여 목표물까지의 거리를 원격으로 측정하는 기술이며, 초창기에는 레이저 거리측정 기술이 레이저 및 부품 등의 가격이 비싸고 기술적인 난이도 때문에 주로 군사용으로만 사용되어, 최근에는 이러한 기술을 산업용으로 상용화하기 위해 많은 노력을 하고 있으며, 레이저 거리측정기는 자동화 산업 현장의 무인화 시스템, 선박 접안 시 배의 파손을 막기 위한 거리 측정, 무인 과속 감지기, 차량 충동 방지 시스템 등에 적용되고 있다. 산업용의 경우 측정거리가 약 1㎞ 이내로 짧고 측정오차도 1~10 ㎜ 이내를 만족하고 있다.
또한, FMCW LiDAR는 일정 세기 이상의 신호가 돌아오는 시간을 측정하는 TOF LiDAR와 다르게 주파수 도메인에서 전력 밀도를 통한 Beat Frequency로 거리를 측정하기 때문에 1회 측정 동안 투과 또는 반사되는 여러 물체의 Distance를 검출 가능하다.
하지만, 이 때문에 여러 물체가 각각 다른 속도로 움직일 경우 Doppler Frequency로 인하여 PSD Peak의 주파수가 섞이거나, PSD Peak가 겹쳐져 버리는 등의 현상이 발생할 수 있다. 이때 이를 처리하는 기존의 단순한 Up/Down Chirp Peak 매칭 방법은 Peak 순서의 섞임 또는 Peak의 겹쳐짐을 인지하지 못하고 오류를 발생시켜 데이터 신뢰도를 떨어트리는 문제점이 있다.
대한민국 공개특허공보 제10-2021-0013076호
본 발명은 상기한 종래 기술의 문제점을 해결하기 위해 안출된 것으로서, 주파수 도메인에서 출력되는 전력 밀도의 패턴을 LSTM 또는 RNN 합성곱 신경망의 자연어 처리와 유사한 방법으로 매칭하고 패턴을 인식하여 Doppler 주파수에 따른 유효한 세기를 가진 Beat Frequency의 이동 및 겹쳐짐 현상을 인지하고 올바른 Doppler Frequency를 계산하여 데이터 신뢰도를 향상시키기 위한 Up/Down Chirp 피크 패턴 매칭을 통한 FMCW LiDAR 신호처리 방법을 제공하는 것이다.
상기 목적을 달성하기 위하여, 본 발명의 방법은, FMCW LiDAR를 거쳐 발사된 레이저를 수신하여 주파수 도메인으로 변환하는 주파수 도메인 변환단계와; 상기 주파수 도메인 변환단계를 통해 변환된 주파수 도메인에 대응되는 전력 밀도의 패턴을 도출하는 전력 밀도 패턴 도출단계와; 상기 도출된 다수의 패턴을 기초로 LSTM(Long short-term memory) 및 RNN(Recurrent neural network) 합성곱 신경망 자연어 처리 중 적어도 어느 하나 이상의 방법을 통해 매칭하는 패턴 매칭단계와; 상기 매칭된 패턴을 인식하여 Doppler 주파수에 따른 유효한 세기를 가진 Up/Down Chirp 피크 기반 Beat 주파수의 이동 및 겹쳐짐 현상을 인지하고 최종 Doppler 주파수를 도출하는 Doppler 주파수 도출단계;를 포함하는 것을 특징으로 한다.
본 발명에 따른 Up/Down Chirp 피크 패턴 매칭을 통한 FMCW LiDAR 신호처리 방법은 기존의 Peak 순서의 섞임 또는 Peak의 겹쳐짐을 인지하지 못하고 오류를 발생시켜 데이터 신뢰도를 떨어트리는 문제점에 대응하여, FPGA 내부에서 FFT 결과 Stream을 별도 메모리를 거치지 않고 RNN 또는 LSTN 등으로 구현한 합성곱 신경망으로 바로 수신하고, 신경망에서 패턴 매칭을 통하여 peak의 주파수 이동 크기(Doppler Frequency)를 추정하여 기존 방식보다 신뢰도 높은 Beat Frequency 계산 후 결과값으로 신뢰도 높은 데이터 생성할 수 있다.
다만, 본 발명의 효과가 상술한 효과들로 제한되는 것은 아니며, 언급되지 아니한 효과들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확히 이해될 수 있을 것이다.
도 1은 본 발명에 따른 Up/Down Chirp 피크 패턴 매칭을 통한 FMCW LiDAR 신호처리 방법에 대한 실시예를 도시한 도면
도 2는 본 발명에 따른 Up/Down Chirp 피크 패턴 매칭을 통한 FMCW LiDAR 신호처리 방법에 대한 실시예를 도시한 도면
도 3은 본 발명에 따른 Up/Down Chirp 피크 패턴 매칭을 통한 FMCW LiDAR 신호처리 방법에 대한 실시예를 도시한 도면
도 4는 본 발명에 따른 Up/Down Chirp 피크 패턴 매칭을 통한 FMCW LiDAR 신호처리 방법에 대한 실시예를 도시한 도면
본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.
따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
본 발명에 따른 방법은, FMCW LiDAR를 거쳐 발사된 레이저를 수신하여 주파수 도메인으로 변환하는 주파수 도메인 변환단계와, 상기 주파수 도메인 변환단계를 통해 변환된 주파수 도메인에 대응되는 전력 밀도의 패턴을 도출하는 전력 밀도 패턴 도출단계와, 상기 도출된 다수의 패턴을 기초로 LSTM(Long short-term memory) 및 RNN(Recurrent neural network) 합성곱 신경망 자연어 처리 중 적어도 어느 하나 이상의 방법을 통해 매칭하는 패턴 매칭단계와, 상기 매칭된 패턴을 인식하여 Doppler 주파수에 따른 유효한 세기를 가진 Up/Down Chirp 피크 기반 Beat 주파수의 이동 및 겹쳐짐 현상을 인지하고 최종 Doppler 주파수를 도출하는 Doppler 주파수 도출단계를 포함하여 이루어진다.
또한, 도면 1 내지 4를 참고하여 설명하면, IFOV 스캔 시 목표물의 속도가 없을 때 Beat Frequency(Up chirp)로써, CFAR Threshold를 통한 유효한 세기의 Peak 검출이 가능하고, 도플러 주파수 발생 시 유효한 세기의 Peak의 이동(간략화)으로써, 목표물이 반대 방향으로 이동 중이므로 Peak 순서 반전이 가능하고, Doppler Frequency에 의해서 잘못 추정되는 Beat Frequency 비교로써, Up/Down Chirp의 Peak가 주파수 도메인 상 가까운 것끼리 매칭되어 발생되는 오류를 FPGA 내부에서 FFT 결과 Stream을 별도 메모리를 거치지 않고 RNN 또는 LSTN 등으로 구현한 합성곱 신경망으로 바로 수신하고, 신경망에서 패턴 매칭을 통하여 peak의 주파수 이동 크기(Doppler Frequency)를 추정하여 기존 방식보다 신뢰도 높은 Beat Frequency 계산 후 결과값으로 신뢰도 높은 데이터 생성할 수도 있다.
또한, 본 발명은 한편, 다양한 전자적으로 정보를 처리하는 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 저장 매체에 기록될 수 있다. 여기서, 저장 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 저장 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것 들이거나 소프트웨어 분야 당업자에게 공지되어 사용 가능한 것일 수도 있다. 저장매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광 기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 또한 상술한 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수도 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 전자적으로 정보를 처리하는 장치, 예를 들어, 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서 첨부된 도면을 참조하여 본 발명을 설명함에 있어 특정형상 및 방향을 위주로 설명하였으나, 본 발명은 그 발명에 속하는 기술분야에서 통상의 지식을 가진 사람에 의하여 다양한 변형 및 변경이 가능하고, 이러한 변형 및 변경은 본 발명의 권리범위에 포함되는 것으로 해석되어야 한다.

Claims (1)

  1. FMCW LiDAR를 거쳐 발사된 레이저를 수신하여 주파수 도메인으로 변환하는 주파수 도메인 변환단계와;
    상기 주파수 도메인 변환단계를 통해 변환된 주파수 도메인에 대응되는 전력 밀도의 패턴을 도출하는 전력 밀도 패턴 도출단계와;
    상기 도출된 다수의 패턴을 기초로 LSTM(Long short-term memory) 및 RNN(Recurrent neural network) 합성곱 신경망 자연어 처리 중 적어도 어느 하나 이상의 방법을 통해 매칭하는 패턴 매칭단계와;
    상기 매칭된 패턴을 인식하여 Doppler 주파수에 따른 유효한 세기를 가진 Up/Down Chirp 피크 기반 Beat 주파수의 이동 및 겹쳐짐 현상을 인지하고 최종 Doppler 주파수를 도출하는 Doppler 주파수 도출단계;를 포함하는 것을 특징으로 하는 Up/Down Chirp 피크 패턴 매칭을 통한 FMCW LiDAR 신호처리 방법.
KR1020210016804A 2021-02-05 2021-02-05 Up/Down Chirp 피크 패턴 매칭을 통한 FMCW LiDAR 신호처리 방법 KR20220113070A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210016804A KR20220113070A (ko) 2021-02-05 2021-02-05 Up/Down Chirp 피크 패턴 매칭을 통한 FMCW LiDAR 신호처리 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210016804A KR20220113070A (ko) 2021-02-05 2021-02-05 Up/Down Chirp 피크 패턴 매칭을 통한 FMCW LiDAR 신호처리 방법

Publications (1)

Publication Number Publication Date
KR20220113070A true KR20220113070A (ko) 2022-08-12

Family

ID=82803857

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210016804A KR20220113070A (ko) 2021-02-05 2021-02-05 Up/Down Chirp 피크 패턴 매칭을 통한 FMCW LiDAR 신호처리 방법

Country Status (1)

Country Link
KR (1) KR20220113070A (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210013076A (ko) 2018-05-10 2021-02-03 아워스 테크놀로지, 아이엔씨. 타겟 환경의 동시 빔 스캐닝을 위한 멀티 채널 레이저 모듈 기반의 lidar 시스템

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210013076A (ko) 2018-05-10 2021-02-03 아워스 테크놀로지, 아이엔씨. 타겟 환경의 동시 빔 스캐닝을 위한 멀티 채널 레이저 모듈 기반의 lidar 시스템

Similar Documents

Publication Publication Date Title
US10261187B2 (en) Optical phasograms for LADAR vibrometry
EP3881099B1 (en) Lidar system that is configured to compute ranges with differing range resolutions
JP2021527227A (ja) コヒーレントlidarのピッチ−キャッチスキャニングのための方法およびシステム
WO2020028146A1 (en) Method and system for optimizing scanning of coherent lidar in autonomous vehicles
US11630189B2 (en) Multi-tone continuous wave detection and ranging
Kuptsov et al. Multi-target method for small unmanned vehicles parameters remote determination by microwave radars
KR102146156B1 (ko) 오브젝트 검출 방법 및 장치
WO2022000332A1 (zh) 一种雷达探测方法及相关装置
KR20220113070A (ko) Up/Down Chirp 피크 패턴 매칭을 통한 FMCW LiDAR 신호처리 방법
CN102590822A (zh) 基于啁啾调制机理的激光雷达
CN102721956B (zh) 一种光束瞄准系统中回波信号采集和传输方法
Liang et al. Monte Carlo simulation for modulated pulse bathymetric light detecting and ranging systems
Rieger et al. Resolving range ambiguities in high-repetition rate airborne lidar applications
KR20220113115A (ko) PSD 기반 CFAR 알고리즘을 통한 FMCW LiDAR 신호처리 방법
KR20220069443A (ko) 인공지능 기반 FMCW LiDAR 고속 신호처리 방법
KR20220114325A (ko) Interferometer 기반 FMCW LiDAR 노이즈 처리 시스템
KR102010696B1 (ko) 레이더 센서 및 라이다 센서 기반의 융합 센서를 이용한 클러터 제거 장치 및 방법
KR20220069442A (ko) 인공지능 기반 FMCW LiDAR 멀티채널 신호처리 방법
CN112859044A (zh) 一种基于涡旋光的水下激光雷达系统
JP2021025976A (ja) 遠隔気流観測装置、遠隔気流観測方法及びプログラム
Mao et al. Simulation on Mutual Interference of Laser Radar in Road Environments
KR20220071457A (ko) 인공지능 기반 fmcw 라이다에서 폴리곤스캐너 적용 시스템 및 방법
US20220163653A1 (en) Directly Determining Free Spaces Around Devices
KR20220114748A (ko) 수평수직 적층된 다채널 Fiber array 기반 FMCW LiDAR 스캐너 제어 방법
Park et al. Bi-directional LSTM-based Overhead Target Classification for Automotive Radar Systems