KR20220071457A - 인공지능 기반 fmcw 라이다에서 폴리곤스캐너 적용 시스템 및 방법 - Google Patents

Abstract

본 발명은 FMCW 라이다에서 폴리곤스캐너 적용 시스템 및 방법에 관한 것으로, 더욱 상세하게는 일반 신경망 가속기 RTL(Register Transfer Level)를 FMCW(Frequency Modulated Continuous Wave) LiDAR(Light Detection And Ranging) 신호처리기 내부에 구현하고, FMCW 라이다에서 폴리곤스캐너를 적용시키기 위한 인공지능 기반 FMCW 라이다에서 폴리곤스캐너 적용 시스템 및 방법에 관한 것이다.
상기 목적을 달성하기 위하여, 본 발명의 시스템은, FMCW LiDAR의 광을 방출하는 적어도 하나의 광원부와; 상기 광원부로부터 방출된 광이 입사되는 입사면과 해당 입사된 광을 굴절시켜 출사시키는 출사면을 포함하는 복수 개의 제1 프리즘부와; 상기 제1 프리즘부를 포함하며 상기 광을 제1 방향을 따라 스캔하는 조향부와; 상기 조향부로부터 스캔된 광을 반사시키는 복수 개의 반사면을 포함하며 회전에 의해 상기 광을 상기 제1 방향과는 다른 제2 방향을 따라 스캔하는 폴리곤 미러부와; 상기 폴리곤 미러부에서 스캔된 광을 주파수 도메인 데이터로 변환하는 데이터 변환부와; 상기 변환된 데이터에 대해 인공지능 기반의 가속된 신경망 계산을 수행하여 폴리곤 미러부에 스캔된 광의 상태를 판단하는 상태 제어부;를 포함하는 것을 특징으로 한다.

Description

인공지능 기반 FMCW 라이다에서 폴리곤스캐너 적용 시스템 및 방법{SYSTEM AND METHOD FOR APPLYING POLYGON SCANNER IN ARTIFICIAL INTELLIGENCE-BASED FMCW LIDAR}

본 발명은 FMCW 라이다에서 폴리곤스캐너 적용 시스템 및 방법에 관한 것으로, 더욱 상세하게는 일반 신경망 가속기 RTL(Register Transfer Level)를 FMCW(Frequency Modulated Continuous Wave) LiDAR(Light Detection And Ranging) 신호처리기 내부에 구현하고, FMCW 라이다에서 폴리곤스캐너를 적용시키기 위한 인공지능 기반 FMCW 라이다에서 폴리곤스캐너 적용 시스템 및 방법에 관한 것이다.

라이다(LiDAR)는 Light Detection And Ranging의 약자이며, 빛으로 탐지하고 거리를 측정한다는 뜻으로 때로는 LADAR(Laser Detection And Ranging)라는 이름으로 사용되지만, LiDAR가 보다 정확한 용어이며, LiDAR 센서 기술은 탐조등 빛의 산란 세기를 통하여 상공에서의 공기 밀도 분석 등을 위한 목적으로 1930년대 처음 시도되었으나, 1960년대 레이저의 발명과 함께 비로소 본격적인 개발이 가능하였고, 1970년대 이후 레이저 광원 기술의 지속적인 발전과 함께 다양한 분야에 응용 가능한 라이다 센서 기술들이 개발되었으며, 항공기, 위성 등에 탑재되어 정밀한 대기 분석 및 지구환경 관측을 위한 중요한 관측 기술로 활용되고 있으며, 또한 우주선 및 탐사 로봇에 장착되어 사물까지의 거리 측정 등 카메라 기능을 보완하기 위한 수단으로 활용되며, 지상에서는 원거리 거리 측정, 자동차 속도위반 단속 등을 위한 간단한 형태의 LiDAR 센서 기술들이 상용화되어 왔으며, 최근에는 3D reverse engineering 및 미래 무인 자동차를 위한 laser scanner 및 3D 영상 카메라의 핵심 기술로 활용되면서 그 활용성과 중요성이 점차 증가되고 있다.

레이저 거리측정 기술은 레이저를 이용하여 레이저를 발생한 장소에서 레이저를 발생시킨 후 목표물에서 되돌아오는 레이저의 파장을 측정하여 목표물까지의 거리를 원격으로 측정하는 기술이며, 초창기에는 레이저 거리측정 기술이 레이저 및 부품 등의 가격이 비싸고 기술적인 난이도 때문에 주로 군사용으로만 사용되어, 최근에는 이러한 기술을 산업용으로 상용화하기 위해 많은 노력을 하고 있으며, 레이저 거리측정기는 자동화 산업 현장의 무인화 시스템, 선박 접안 시 배의 파손을 막기 위한 거리 측정, 무인 과속 감지기, 차량 충동 방지 시스템 등에 적용되고 있다. 산업용의 경우 측정거리가 약 1㎞ 이내로 짧고 측정오차도 1~10 ㎜ 이내를 만족하고 있다.

또한, 라이다의 거리 측정 방식에는 라이다의 송광부와 물체 사이를 왕복하는 데에 걸리는 시간과 광의 속도를 곱하여 상기 거리를 구하는 TOF(time of flight)방식이 있으며, TOF 방식은 송광부로부터 물체에 조사하는 광의 진행 방향을 조절하는 방법에 따라 기계식, 비기계식으로 대별된다.

기계식에는 모터의 회전력을 이용하여 송광부의 구성 요소를 회전시켜 넓은 시야각을 확보할 수 있는 방식이 있고, 상기 송과부의 구성 요소를 회전시키는 방식에는 반사형 미러를 회전하는 방식, 오실레이팅 미러 방식, 광굴절 소자를 이용한 스캐닝 방식 등이 있으며, 이러한 라이다 시스템은 자동차의 운전자 보조장치(ADAS) 또는 자율주행차에서 3차원 거리 영상을 얻기 위해 적용될 수 있으며, 자율주행단계에서 고해상도를 얻기 위해서는 40개 이상의 수직 채널이 필요할 수 있지만 종래 기술을 가지고는 자연환경 변화에 적절한 대응이 어려운 문제점이 내포되어 있다.

따라서, 열악한 자연환경 변화에서 자율주행 차량의 객체인식 및 정확한 고장 진단을 위해서, 신호 처리 로직 내부에 FFT(Fast Fourier Transform) 한 사이클 이내로 동작할 수 있는 최적화된 NN(Neural Network)을 구현하고, FMCW 라이다에서 폴리곤스캐너를 적용시키기 위한 인공지능 기반 FMCW 라이다에서 폴리곤스캐너 적용 기술 개발이 필요한 상황이다.

대한민국 공개특허공보 제10-2019-0112698호

본 발명은 상기한 종래 기술의 문제점을 해결하기 위해 안출된 것으로서, 신호 처리 로직 내부에 FFT(Fast Fourier Transform) 한 사이클 이내로 동작할 수 있는 최적화된 NN(Neural Network)을 구현하고, FMCW 라이다에서 폴리곤스캐너를 적용시키기 위한 인공지능 기반 FMCW 라이다에서 폴리곤스캐너 적용 시스템 및 방법을 제공하는 것이다.

상기 목적을 달성하기 위하여, 본 발명의 시스템은, FMCW LiDAR의 광을 방출하는 적어도 하나의 광원부와; 상기 광원부로부터 방출된 광이 입사되는 입사면과 해당 입사된 광을 굴절시켜 출사시키는 출사면을 포함하는 복수 개의 제1 프리즘부와; 상기 제1 프리즘부를 포함하며 상기 광을 제1 방향을 따라 스캔하는 조향부와; 상기 조향부로부터 스캔된 광을 반사시키는 복수 개의 반사면을 포함하며 회전에 의해 상기 광을 상기 제1 방향과는 다른 제2 방향을 따라 스캔하는 폴리곤 미러부와; 상기 폴리곤 미러부에서 스캔된 광을 주파수 도메인 데이터로 변환하는 데이터 변환부와; 상기 변환된 데이터에 대해 인공지능 기반의 가속된 신경망 계산을 수행하여 폴리곤 미러부에 스캔된 광의 상태를 판단하는 상태 제어부;를 포함하는 것을 특징으로 한다.

또한, 본 발명의 방법은, FMCW LiDAR의 광을 방출하는 광 방출단계와; 상기 광 방출단계 이후 방출된 광이 입사되는 입사면과 상기 입사된 광을 굴절시켜 출사시키는 광 출사단계와; 상기 광을 제1 방향을 따라 스캔하는 제1 광 스캔단계와; 상기 제1 광 스캔단계 이후 출사된 광을 반사시키는 복수 개의 반사면에 따라 회전에 의해 상기 광을 상기 제1 방향과는 다른 제2 방향을 따라 스캔하는 제2 광 스캔단계와; 상기 스캔된 광을 주파수 도메인 데이터로 변환하는 데이터 변환단계와; 상기 변환된 데이터에 대해 인공지능 기반의 가속된 신경망 계산을 수행하여 폴리곤 미러부에 스캔된 광의 상태를 판단하는 상태 제어단계;를 포함하는 것을 특징으로 한다.

이상과 같은 본 발명에 따른 인공지능 기반 FMCW 라이다에서 폴리곤스캐너 적용 시스템 및 방법에 있어, 열악한 자연환경 변화에서 자율주행 차량의 객체인식 및 정확한 고장 진단을 위해서 신호 처리 로직 내부에 FFT(Fast Fourier Transform) 한 사이클 이내로 동작할 수 있는 최적화된 NN(Neural Network)을 구현하고, FMCW 라이다에서 폴리곤스캐너를 적용시킬 수 있도록 한다.

본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.

따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.

본 발명에 따른 시스템은, FMCW LiDAR의 광을 방출하는 적어도 하나의 광원부와, 상기 광원부로부터 방출된 광이 입사되는 입사면과 해당 입사된 광을 굴절시켜 출사시키는 출사면을 포함하는 복수 개의 제1 프리즘부와, 상기 제1 프리즘부를 포함하며 상기 광을 제1 방향을 따라 스캔하는 조향부와, 상기 조향부로부터 스캔된 광을 반사시키는 복수 개의 반사면을 포함하며 회전에 의해 상기 광을 상기 제1 방향과는 다른 제2 방향을 따라 스캔하는 폴리곤 미러부와, 상기 폴리곤 미러부에서 스캔된 광을 주파수 도메인 데이터로 변환하는 데이터 변환부와, 상기 변환된 데이터에 대해 인공지능 기반의 가속된 신경망 계산을 수행하여 폴리곤 미러부에 스캔된 광의 상태를 판단하는 상태 제어부를 포함하여 이루어진다.

또한, 본 발명에 따른 방법은, FMCW LiDAR의 광을 방출하는 광 방출단계와, 상기 광 방출단계 이후 방출된 광이 입사되는 입사면과 상기 입사된 광을 굴절시켜 출사시키는 광 출사단계와, 상기 광을 제1 방향을 따라 스캔하는 제1 광 스캔단계와, 상기 제1 광 스캔단계 이후 출사된 광을 반사시키는 복수 개의 반사면에 따라 회전에 의해 상기 광을 상기 제1 방향과는 다른 제2 방향을 따라 스캔하는 제2 광 스캔단계와, 상기 스캔된 광을 주파수 도메인 데이터로 변환하는 데이터 변환단계와, 상기 변환된 데이터에 대해 인공지능 기반의 가속된 신경망 계산을 수행하여 폴리곤 미러부에 스캔된 광의 상태를 판단하는 상태 제어단계를 포함하여 이루어진다.

또한, 본 발명은 한편, 다양한 전자적으로 정보를 처리하는 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 저장 매체에 기록될 수 있다. 여기서, 저장 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 저장 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것 들이거나 소프트웨어 분야 당업자에게 공지되어 사용 가능한 것일 수도 있다. 저장매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광 기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 또한 상술한 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수도 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 전자적으로 정보를 처리하는 장치, 예를 들어, 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상에서 첨부된 도면을 참조하여 본 발명을 설명함에 있어 특정형상 및 방향을 위주로 설명하였으나, 본 발명은 그 발명에 속하는 기술분야에서 통상의 지식을 가진 사람에 의하여 다양한 변형 및 변경이 가능하고, 이러한 변형 및 변경은 본 발명의 권리범위에 포함되는 것으로 해석되어야 한다.

Claims (2)

1. FMCW LiDAR의 광을 방출하는 적어도 하나의 광원부와;
   상기 광원부로부터 방출된 광이 입사되는 입사면과 해당 입사된 광을 굴절시켜 출사시키는 출사면을 포함하는 복수 개의 제1 프리즘부와;
   상기 제1 프리즘부를 포함하며 상기 광을 제1 방향을 따라 스캔하는 조향부와;
   상기 조향부로부터 스캔된 광을 반사시키는 복수 개의 반사면을 포함하며 회전에 의해 상기 광을 상기 제1 방향과는 다른 제2 방향을 따라 스캔하는 폴리곤 미러부와;
   상기 폴리곤 미러부에서 스캔된 광을 주파수 도메인 데이터로 변환하는 데이터 변환부와;
   상기 변환된 데이터에 대해 인공지능 기반의 가속된 신경망 계산을 수행하여 폴리곤 미러부에 스캔된 광의 상태를 판단하는 상태 제어부;를 포함하는 것을 특징으로 하는 인공지능 기반 FMCW 라이다에서 폴리곤스캐너 적용 시스템.
   
2. FMCW LiDAR의 광을 방출하는 광 방출단계와;
   상기 광 방출단계 이후 방출된 광이 입사되는 입사면과 상기 입사된 광을 굴절시켜 출사시키는 광 출사단계와;
   상기 광을 제1 방향을 따라 스캔하는 제1 광 스캔단계와;
   상기 제1 광 스캔단계 이후 출사된 광을 반사시키는 복수 개의 반사면에 따라 회전에 의해 상기 광을 상기 제1 방향과는 다른 제2 방향을 따라 스캔하는 제2 광 스캔단계와;
   상기 스캔된 광을 주파수 도메인 데이터로 변환하는 데이터 변환단계와;
   상기 변환된 데이터에 대해 인공지능 기반의 가속된 신경망 계산을 수행하여 폴리곤 미러부에 스캔된 광의 상태를 판단하는 상태 제어단계;를 포함하는 것을 특징으로 하는 인공지능 기반 FMCW 라이다에서 폴리곤스캐너 적용 방법.