KR20210062379A - 경량 딥러닝 네트워크를 이용한 fmcw 레이더 신호 처리 방법 및 시스템 - Google Patents

경량 딥러닝 네트워크를 이용한 fmcw 레이더 신호 처리 방법 및 시스템 Download PDF

Info

Publication number
KR20210062379A
KR20210062379A KR1020190150532A KR20190150532A KR20210062379A KR 20210062379 A KR20210062379 A KR 20210062379A KR 1020190150532 A KR1020190150532 A KR 1020190150532A KR 20190150532 A KR20190150532 A KR 20190150532A KR 20210062379 A KR20210062379 A KR 20210062379A
Authority
KR
South Korea
Prior art keywords
data
artificial intelligence
intelligence model
dimensional data
dimensional
Prior art date
Application number
KR1020190150532A
Other languages
English (en)
Other versions
KR102357469B1 (ko
Inventor
이영한
이성호
신민건
Original Assignee
한국전자기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자기술연구원 filed Critical 한국전자기술연구원
Priority to KR1020190150532A priority Critical patent/KR102357469B1/ko
Priority to US16/952,481 priority patent/US20210158153A1/en
Publication of KR20210062379A publication Critical patent/KR20210062379A/ko
Application granted granted Critical
Publication of KR102357469B1 publication Critical patent/KR102357469B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/35—Details of non-pulse systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/08—Systems for measuring distance only
    • G01S13/32—Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S13/34—Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated using transmission of continuous, frequency-modulated waves while heterodyning the received signal, or a signal derived therefrom, with a locally-generated signal related to the contemporaneously transmitted signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/52—Discriminating between fixed and moving objects or between objects moving at different speeds
    • G01S13/536—Discriminating between fixed and moving objects or between objects moving at different speeds using transmission of continuous unmodulated waves, amplitude-, frequency-, or phase-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G01S13/583—Velocity or trajectory determination systems; Sense-of-movement determination systems using transmission of continuous unmodulated waves, amplitude-, frequency-, or phase-modulated waves and based upon the Doppler effect resulting from movement of targets
    • G01S13/584—Velocity or trajectory determination systems; Sense-of-movement determination systems using transmission of continuous unmodulated waves, amplitude-, frequency-, or phase-modulated waves and based upon the Doppler effect resulting from movement of targets adapted for simultaneous range and velocity measurements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/35—Details of non-pulse systems
    • G01S7/352—Receivers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/35—Details of non-pulse systems
    • G01S7/352—Receivers
    • G01S7/356—Receivers involving particularities of FFT processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

경량 딥러닝 네트워크를 이용한 FMCW 레이더 신호 처리 방법 및 시스템이 제공된다. 본 발명의 실시예에 따른 인공지능 모델을 이용한 데이터 처리 방법은, n 차원 데이터를 다수의 2차원 데이터로 변환하고, 변환된 다수의 2차원 데이터를 서로 다른 채널로 인공지능 모델에 입력하여, 인공지능 모델로 입력된 다수의 2차원 데이터를 분석하여 처리한다. 이에 의해, 연산량 및 메모리 사용량을 감축시켜 경량의 딥러닝 네트워크로 객체의 특성을 학습 및 추론할 수 있게 된다.

Description

경량 딥러닝 네트워크를 이용한 FMCW 레이더 신호 처리 방법 및 시스템{Method and System for Processing FMCW Radar Signal using Lightweight Deep Learning Network}
본 발명은 인공지능 관련 기술에 관한 것으로, 더욱 상세하게는 인공지능 모델로 FMCW 레이더 신호처리를 분석하여 목표 객체의 특성(움직임, 상태 등)을 추론하는 방법에 관한 것이다.
FMCW(Frequency Modulated Continuous Wave) 레이더 신호 기반의 정보 처리 기술은 입력 장치를 작은 폼팩터, 저비용 등으로 구현하게 하는 장점이 있기 때문에 최근 관련 연구가 활발히 진행되고 있으며, 인공지능 모델을 활용한 분석까지 시도되고 있다.
그러나, 레이더 신호를 처리하면 3차원 데이터로 표현되기 때문에, 이를 이용하여 딥러닝 네트워크와 같은 기계학습을 사용하면 높은 연산량과 메모리 사용량이 요구된다.
이로 인해 작은 폼팩터의 입력 장치 대비 기계학습 모듈의 크기가 커지기 때문에, 딥러닝 네트워크와 같은 기술을 사용하지 않고, 낮은 수준의 기계학습 기술을 사용하여 이를 해결하고 있다.
하지만, 이 해결법은 성능이 많이 떨어진다는 문제가 있다. 그러므로, 딥러닝 네트워크를 사용하되, 향후 재학습 용이성, 강인한 성능 등의 장점까지 확보할 수 있도록 하기 위한 방안이 요청된다.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, FMCW 레이더 신호 처리를 통해 얻어지는 거리, 속도, 시간의 3차원 데이터를 2차원 데이터로 변환하여 경량의 딥러닝 네트워크에 입력하여 객체의 특성을 추론하는 방법을 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 인공지능 모델을 이용한 데이터 처리 방법은, n 차원 데이터를 다수의 2차원 데이터로 변환하는 단계; 변환된 다수의 2차원 데이터를 서로 다른 채널로 인공지능 모델에 입력하는 단계; 및 인공지능 모델로 입력된 다수의 2차원 데이터를 분석하여 처리하는 단계;를 포함한다.
그리고, 변환 단계는, n 차원 데이터를 n-1 개의 2차원 데이터로 변환할 수 있다.
또한, 본 발명의 실시예에 따른 인공지능 모델을 이용한 데이터 처리 방법은, FMCW 레이더 신호를 FFT 수행하여 n 차원 데이터를 생성하는 단계;를 더 포함하고, 변환 단계는, 생성 단계에서 생성된 n 차원 데이터를 n-1 개의 2차원 데이터로 변환할 수 있다.
그리고, n은 3이고, 3차원 데이터의 제1 축은 속도 데이터이고, 3차원 데이터의 제2 축은 위치 데이터이며, 3차원 데이터의 제3 축은 시간 데이터일 수 있다.
또한, 2차원 데이터 중 하나는 제1 축이 속도이고 제2 축이 시간인 데이터이고, 2차원 데이터 중 다른 하나는 제1 축이 위치이고 제2 축이 시간인 데이터일 수 있다.
그리고, 본 발명의 실시예에 따른 인공지능 모델을 이용한 데이터 처리 방법은, 다수의 2차원 데이터를 구분하여, 각각에 대해 ROI(Region of Interest)를 설정하는 단계;를 더 포함하고, 입력 단계는, 설정 단계에서 ROI가 각각 설정된 다수의 2차원 데이터를 인공지능 모델에 입력할 수 있다.
또한, 인공지능 모델은, 2차원 데이터를 처리하는 2차원 Convolutional Layer를 포함하여 구성될 수 있다.
그리고, 처리 단계는, 입력된 다수의 2차원 데이터로 인공지능 모델을 학습시키는 단계; 및 인공지능 모델로 입력된 다수의 2차원 데이터로부터 결과를 추론하는 단계;를 포함할 수 있다.
또한, 추론 단계는, 객체의 상태, 움직임, 행동 및 제스처 중 적어도 하나를 추론할 수 있다.
한편, 본 발명의 다른 실시예에 따른, 인공지능 모델을 이용한 데이터 처리 시스템은, n 차원 데이터를 다수의 2차원 데이터로 변환하는 신호처리부; 및 변환된 다수의 2차원 데이터를 서로 다른 채널로 인공지능 모델에 입력하고, 인공지능 모델로 입력된 다수의 2차원 데이터를 분석하여 처리하는 프로세서;를 포함한다.
한편, 본 발명의 다른 실시예에 따른, 인공지능 모델을 이용한 데이터 처리 방법은, n 차원 데이터로부터 변환된 다수의 2차원 데이터로를 인공지능 모델에 입력하는 단계; 및 인공지능 모델로 입력된 다수의 2차원 데이터를 분석하여 처리하는 단계;를 포함한다.
한편, 본 발명의 다른 실시예에 따른, 인공지능 모델을 이용한 데이터 처리 시스템은, n 차원 데이터로부터 변환된 다수의 2차원 데이터로를 인공지능 모델에 입력하고, 인공지능 모델로 입력된 다수의 2차원 데이터를 분석하여 처리하는 프로세서; 및 프로세서에 필요한 저장 공간을 제공하는 저장부;를 포함한다.
이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, FMCW 레이더 신호 처리를 통해 얻어지는 거리, 속도, 시간의 3차원 데이터를 2차원 데이터로 변환하여 딥러닝 네트워크에 입력함으로써, 연산량 및 메모리 사용량을 감축시켜 경량의 딥러닝 네트워크로 객체의 특성을 학습 및 추론할 수 있게 된다.
또한, 본 발명의 실시예들에 따르면, 2차원 데이터 별로 ROI를 독립적으로 상이하게 설정함으로써, 딥러닝 네트워크에 요구되는 연산량을 더욱 줄일 수 있게 된다.
도 1은 본 발명의 일 실시예에 따른 딥러닝 네트워크의 FMCW 레이더 신호 처리 방법의 설명에 제공되는 흐름도,
도 2는 3차원 레이더 데이터를 도시한 도면,
도 3은 3D Convolutional Layer를 도시한 도면,
도 4는 2D Convolutional Layer를 도시한 도면,
도 5와 도 6은, 3차원 레이더 데이터를 2차원 레이더 데이터로 변환하는 방법의 설명에 제공되는 도면들,
도 7은 3차원 레이더 데이터를 2개의 2차원 데이터로 변환한 결과를 나타낸 도면,
도 8은 2개의 2차원 데이터에 채널별로 ROI를 설정하는 방법의 설명에 제공되는 도면,
도 9는 본 발명의 다른 실시예에 따른 레이더 시스템의 블럭도이다.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.
본 발명의 실시예에서는, FMCW(Frequency Modulated Continuous Wave) 레이터 신호로부터 목표 객체의 움직임을 추론하도록 경량의 딥러닝 네트워크를 학습시키고, 이를 이용하여 FMCW 레이터 신호 입력으로부터 목표 객체의 움직임을 추론한다.
추론된 목표 객체의 움직임을 기반으로 UX/UI 처리, 장치/시스템 제어 등의 후속 처리가 이루어질 수 있다.
경량의 딥러닝 네트워크를 이용하는 관계로, 본 발명의 실시예에서는 3차원으로 처리된 FMCW 레이터 신호를 2개의 2차원 데이터로 변환하여, 딥러닝 네트워크에 개별 채널로 입력시킨다.
나아가, 각 채널별 ROI(Region of Interest)를 독립적으로 설계함으로써, 채널별 특성이 반영되는 동시에 딥러닝 네트워크의 연산량이 감축되도록 한다.
도 1은 본 발명의 일 실시예에 따른 딥러닝 네트워크의 FMCW 레이더 신호 처리 방법의 설명에 제공되는 흐름도이다.
도시된 바와 같이, 먼저, FMCW 레이더 신호를 수신하여(S110), 디지털 신호로 변환한 후에(S120), 2차례에 걸친 FFT(Fast Fourier Transform)를 수행하여 3차원의 레이더 데이터를 생성한다(S130,S140).
FMCW 레이더는 전송된 레이더 신호와 전송 후 물체에서 반사되어 들어오는 레이더 신호 간의 시간 및 위상 차이를 계산하여, 물체의 특성(거리, 움직임 등)을 파악하는 기술이다.
S130단계와 S130단계를 통해 생성되는 3차원 레이더 데이터를 도 2에 도시하였다. 도시된 바와 같이, 3차원 레이더 데이터는, 속도 데이터(Doppler), 위치 데이터(Range), 시간 데이터(Time)가 각각의 축으로 표현되어, 3차원 데이터를 구성한다.
이 3차원 데이터를 처리하여 목표 객체의 움직임을 학습하고 추론하기 위해서는, 딥러닝 모델이 도 3에 도시된 바와 같이 3D Convolutional Layer로 구성되어야 한다.
하지만, 3D Convolutional Layer는 도 4에 도시된 2D Convolutional Layer에 비해, 연산량은 Kernel 크기(N)의 제곱 만큼 증가하며, 메모리 사용량도 N배 만큼 증가한다. 이와 같은 수준의 연산 자원 사용은 경량화된 딥러닝 네트워크에 적합하지 않다.
이에, 본 발명의 실시예에서는, 3차원 데이터를 2개의 2차원 데이터로 변환하는 절차를 수행한다(S150). 경량 딥러닝 네트워크에 적합한 데이터로 변환하는 것이다.
구체적으로, S150단계에서는 도 5와 도 6에 도시된 바와 같이 3차원 레이더 데이터를 한 축이 속도이고 다른 한 축이 시간인 2차원 데이터(Doppler, Time)와 한 축이 위치이고 다른 한 축이 시간인 2차원 데이터(Range, Time)로 변환한다.
이 변환은 다음의 식으로 정리할 수 있다.
Figure pat00001
여기서, R(r)은 위치 데이터, V(v)은 속도 데이터, T(t)은 시간 데이터를 각각 의미한다. 도 7에는 3차원 레이더 데이터를 2개의 2차원 데이터로 변환한 결과를 나타내었다.
다음, S150단계에서 생성된 2개의 2차원 데이터를 구분하여, 각각에 대해 독립적으로 ROI(Region of Interest)를 개별적으로 설정한다(S160).
차원 감소 변환으로 얻은 2개의 2차원 레이더 데이터에는 일반적으로 분류하고자 하는 목표 물체의 특징이 나타나 있지만 전 영역에 걸쳐 표현되지 않고, 공간적으로 제한적인 영역에 나타난다.
따라서, 전 영역의 레이더 데이터를 입력으로 사용하는 것 보다, 도 8에 도시된 바와 같이, ROI를 설정하여 사용하는 것이 연산량 측면에서 효과적이다. 입력 데이터의 크기에 따라 딥러닝 네트워크에서의 연산량이 비례하기 때문이다.
레이더 신호는 영상 신호와 마찬가지로 각 채널이 독립적이긴 하지만, 영상 신호와 달리 공간적 특성(Spatial Characteristics)이 채널별로 다르기 때문에 ROI 설정을 각 채널 별로 다르게 설정한다.
딥러닝 네트워크의 입력으로 사용하기 위한 2개의 2차원 데이터에 각각 다른 위치의 ROI를 설정하지만, ROI 결과물의 크기는 동일하도록 함으로써 채널을 구성할 수 있도록 한다.
S160단계에서 ROI가 각각 설정된 2개의 2차원 데이터는 서로 다른 채널로 2차원 Convolutional Layer로 구성된 딥러닝 네트워크에 입력되며(S170), 딥러닝 네트워크에서 2개의 2차원 데이터를 처리한다(S180).
학습 과정이라면, S170단계에서 딥러닝 네트워크의 출력단에 목표 객체의 움직임 정보가 더 주어지고, S180단계에서는 딥러닝 네트워크의 학습이 이루어지게 된다.
추론 과정이라면, S180단계에서 딥러닝 네트워크는 입력된 2개의 2차원 데이터를 분석하여 목표 객체의 움직임을 분류(추론)하게 된다.
도 9는 본 발명의 다른 실시예에 따른 레이더 시스템의 블럭도이다. 도시된 바와 같이, 본 발명의 실시예에 따른 레이더 시스템은, 레이더(210), 신호 처리부(220), 프로세서(230), 제어부(240) 및 저장부(250)를 포함하여 구성된다.
레이더(210)는 FMCW 레이더 신호를 전송하고, 물체에서 반사되어 들어오는 레이더 신호를 수신한다.
신호 처리부(220)는 수신된 레이더 신호를 디지털 신호로 변환한 후에 2차례에 걸쳐 FFT를 수행하여 3차원의 레이더 데이터를 생성한다. 그리고, 신호 처리부(220)는 3차원 데이터를 2개의 2차원 데이터로 변환하고, 2개의 2차원 데이터를 구분하여 각각에 대해 독립적으로 ROI를 개별적으로 검출/설정한다.
프로세서(230)는 전술한 경량의 딥러닝 네트워크를 실행하기 위한 GPU(Graphic Processing Unit)들과 CPU(Central Processing Unit)들의 집합이다.
프로세서(230)에 의해 실행되는 딥러닝 네트워크는 2차원 Convolutional Layer로 구성되며, ROI를 개별적으로 설정된 2개의 2차원 데이터를 서로 다른 채널로 입력받아 처리(학습, 분류/추론)한다.
제어부(240)는 딥러닝 네트워크의 추론 결과에 따라 UI/UX 처리, 장치/시스템 제어 등의 후속 처리를 수행한다.
저장부(250)는 프로세서(230)가 기능하고 동작함에 있어 필요한 저장 공간을 제공한다.
지금까지, FMCW 레이터 신호로부터 목표 객체의 움직임을 추론하도록 경량의 딥러닝 네트워크를 학습시키고, 이를 이용하여 FMCW 레이터 신호 입력으로부터 목표 객체의 움직임을 추론하는 방법에 대해 바람직한 실시예를 들어 상세히 설명하였다.
위 실시예에서, 3차원 레이더 데이터를 2개의 2차원 데이터로 변환하여, 딥러닝 네트워크에 개별 채널로 입력시키는 것을 상정하였는데, 확장이 가능함은 물론이다.
이를 테면, 속도 데이터, 위치 데이터, 각도 데이터, 시간 데이터가 각각의 축으로 표현되어 있는 4차원 데이터를 3개의 2차원 데이터로 변환하는 것도 가능하다. 이 경우 변환되는 3개의 2차원 데이터는, 1) 한 축이 속도이고 다른 한 축이 시간인 2차원 데이터, 2) 한 축이 위치이고 다른 한 축이 시간인 2차원 데이터, 3) 한 축이 각도이고 다른 한 축이 시간인 2차원 데이터이다.
더 나아가, 본 발명의 기술적 사상은 n차원 데이터를 n-1개의 2차원 데이터로 변환하는 경우에 적용되는 것으로 확장가능하다.
그리고, 위 실시예에서는, 레이더 데이터로부터 목표 객체의 움직임을 추론하는 것을 상정하였는데, 움직임 이외의 다른 특성, 이를 테면, 상태, 행동, 제스처를 추론하는 경우에 대해서도 본 발명의 기술적 사상이 적용될 수 있다.
뿐만 아니라, 레이더 데이터가 다른 종류의 데이터로 대체되는 경우에도 위에 따른 경량 딥러닝 네트워크를 이용한 데이터 처리를 구현할 수도 있음은 물론이다.
또한, 언급한 딥러닝 네트워크는 인공지능 모델의 일 예에 불과한 것이므로, 다른 종류의 인공지능 모델로 대체될 수 있다.
한편, 본 실시예에 따른 장치와 방법의 기능을 수행하게 하는 컴퓨터 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체에도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다. 또한, 본 발명의 다양한 실시예에 따른 기술적 사상은 컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터로 읽을 수 있는 코드 형태로 구현될 수도 있다. 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터에 의해 읽을 수 있고 데이터를 저장할 수 있는 어떤 데이터 저장 장치이더라도 가능하다. 예를 들어, 컴퓨터로 읽을 수 있는 기록매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광디스크, 하드 디스크 드라이브, 등이 될 수 있음은 물론이다. 또한, 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터로 읽을 수 있는 코드 또는 프로그램은 컴퓨터간에 연결된 네트워크를 통해 전송될 수도 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
210 : 레이더
220 : 신호 처리부
230 : 프로세서
240 : 제어부
250 : 저장부

Claims (12)

  1. n 차원 데이터를 다수의 2차원 데이터로 변환하는 단계;
    변환된 다수의 2차원 데이터를 서로 다른 채널로 인공지능 모델에 입력하는 단계;
    인공지능 모델로 입력된 다수의 2차원 데이터를 분석하여 처리하는 단계;를 포함하는 것을 특징으로 하는 인공지능 모델을 이용한 데이터 처리 방법.
  2. 청구항 1에 있어서,
    변환 단계는,
    n 차원 데이터를 n-1 개의 2차원 데이터로 변환하는 것을 특징으로 하는 인공지능 모델을 이용한 데이터 처리 방법.
  3. 청구항 2에 있어서,
    FMCW(Frequency Modulated Continuous Wave) 레이더 신호를 FFT 수행하여 n 차원 데이터를 생성하는 단계;를 더 포함하고,
    변환 단계는,
    생성 단계에서 생성된 n 차원 데이터를 n-1 개의 2차원 데이터로 변환하는 것을 특징으로 하는 인공지능 모델을 이용한 데이터 처리 방법.
  4. 청구항 3에 있어서,
    n은 3이고,
    3차원 데이터의 제1 축은 속도 데이터이고,
    3차원 데이터의 제2 축은 위치 데이터이며,
    3차원 데이터의 제3 축은 시간 데이터인 것을 특징으로 하는 인공지능 모델을 이용한 데이터 처리 방법.
  5. 청구항 4에 있어서,
    2차원 데이터 중 하나는 제1 축이 속도이고 제2 축이 시간인 데이터이고,
    2차원 데이터 중 다른 하나는 제1 축이 위치이고 제2 축이 시간인 데이터인 것을 특징으로 하는 인공지능 모델을 이용한 데이터 처리 방법.
  6. 청구항 1에 있어서,
    다수의 2차원 데이터를 구분하여, 각각에 대해 ROI(Region of Interest)를 설정하는 단계;를 더 포함하고,
    입력 단계는,
    설정 단계에서 ROI가 각각 설정된 다수의 2차원 데이터를 인공지능 모델에 입력하는 것을 특징으로 하는 인공지능 모델을 이용한 데이터 처리 방법.
  7. 청구항 1에 있어서,
    인공지능 모델은,
    2차원 데이터를 처리하는 2차원 Convolutional Layer를 포함하여 구성되는 것을 특징으로 하는 인공지능 모델을 이용한 데이터 처리 방법.
  8. 청구항 1에 있어서,
    처리 단계는,
    입력된 다수의 2차원 데이터로 인공지능 모델을 학습시키는 단계; 및
    인공지능 모델로 입력된 다수의 2차원 데이터로부터 결과를 추론하는 단계;를 포함하는 것을 특징으로 하는 인공지능 모델을 이용한 데이터 처리 방법.
  9. 청구항 8에 있어서,
    추론 단계는,
    객체의 상태, 움직임, 행동 및 제스처 중 적어도 하나를 추론하는 것을 특징으로 하는 인공지능 모델을 이용한 데이터 처리 방법.
  10. n 차원 데이터를 다수의 2차원 데이터로 변환하는 신호처리부; 및
    변환된 다수의 2차원 데이터를 서로 다른 채널로 인공지능 모델에 입력하고, 인공지능 모델로 입력된 다수의 2차원 데이터를 분석하여 처리하는 프로세서;를 포함하는 것을 특징으로 하는 인공지능 모델을 이용한 데이터 처리 시스템.
  11. n 차원 데이터로부터 변환된 다수의 2차원 데이터로를 인공지능 모델에 입력하는 단계;
    인공지능 모델로 입력된 다수의 2차원 데이터를 분석하여 처리하는 단계;를 포함하는 것을 특징으로 하는 인공지능 모델을 이용한 데이터 처리 방법.
  12. n 차원 데이터로부터 변환된 다수의 2차원 데이터로를 인공지능 모델에 입력하고, 인공지능 모델로 입력된 다수의 2차원 데이터를 분석하여 처리하는 프로세서; 및
    프로세서에 필요한 저장 공간을 제공하는 저장부;를 포함하는 것을 특징으로 하는 인공지능 모델을 이용한 데이터 처리 시스템.
KR1020190150532A 2019-11-21 2019-11-21 경량 딥러닝 네트워크를 이용한 fmcw 레이더 신호 처리 방법 및 시스템 KR102357469B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190150532A KR102357469B1 (ko) 2019-11-21 2019-11-21 경량 딥러닝 네트워크를 이용한 fmcw 레이더 신호 처리 방법 및 시스템
US16/952,481 US20210158153A1 (en) 2019-11-21 2020-11-19 Method and system for processing fmcw radar signal using lightweight deep learning network

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190150532A KR102357469B1 (ko) 2019-11-21 2019-11-21 경량 딥러닝 네트워크를 이용한 fmcw 레이더 신호 처리 방법 및 시스템

Publications (2)

Publication Number Publication Date
KR20210062379A true KR20210062379A (ko) 2021-05-31
KR102357469B1 KR102357469B1 (ko) 2022-02-04

Family

ID=75971305

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190150532A KR102357469B1 (ko) 2019-11-21 2019-11-21 경량 딥러닝 네트워크를 이용한 fmcw 레이더 신호 처리 방법 및 시스템

Country Status (2)

Country Link
US (1) US20210158153A1 (ko)
KR (1) KR102357469B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101899549B1 (ko) * 2017-12-27 2018-09-17 재단법인 경북아이티융합 산업기술원 카메라 및 라이다 센서를 이용한 장애물 인식 장치 및 그 방법
KR101964100B1 (ko) * 2017-10-23 2019-04-01 국민대학교산학협력단 신경망 학습 기반의 객체 검출 장치 및 방법
KR20190081257A (ko) * 2017-12-29 2019-07-09 재단법인대구경북과학기술원 레이더 장치 및 그것을 이용한 고해상도 도플러 추출 방법

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015111549A1 (de) * 2015-07-16 2017-01-19 Wolfgang Grond Verfahren zur visuellen Darstellung elektronischer Ausgangsdatensätze
US10637544B1 (en) * 2018-04-24 2020-04-28 Genghiscomm Holdings, LLC Distributed radio system
US11321327B2 (en) * 2018-06-28 2022-05-03 International Business Machines Corporation Intelligence situational awareness
WO2020008458A2 (en) * 2018-07-02 2020-01-09 Vayyar Imaging Ltd. System and methods for environment mapping

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101964100B1 (ko) * 2017-10-23 2019-04-01 국민대학교산학협력단 신경망 학습 기반의 객체 검출 장치 및 방법
KR101899549B1 (ko) * 2017-12-27 2018-09-17 재단법인 경북아이티융합 산업기술원 카메라 및 라이다 센서를 이용한 장애물 인식 장치 및 그 방법
KR20190081257A (ko) * 2017-12-29 2019-07-09 재단법인대구경북과학기술원 레이더 장치 및 그것을 이용한 고해상도 도플러 추출 방법

Also Published As

Publication number Publication date
KR102357469B1 (ko) 2022-02-04
US20210158153A1 (en) 2021-05-27

Similar Documents

Publication Publication Date Title
US11024041B2 (en) Depth and motion estimations in machine learning environments
US11557085B2 (en) Neural network processing for multi-object 3D modeling
CN107358626B (zh) 一种利用条件生成对抗网络计算视差的方法
US9171403B2 (en) Contour completion for augmenting surface reconstructions
Cheng et al. Bi-pointflownet: Bidirectional learning for point cloud based scene flow estimation
WO2022141720A1 (zh) 一种基于三维热图的三维点云目标检测方法和装置
CN110796166A (zh) 一种基于注意力机制的多任务图像处理方法
WO2020088766A1 (en) Methods for optical flow estimation
Deo et al. Predicting waves in fluids with deep neural network
Salami et al. Tesla-rapture: A lightweight gesture recognition system from mmwave radar sparse point clouds
CN112734931B (zh) 一种辅助点云目标检测的方法及系统
Yang et al. Spatio-temporal domain awareness for multi-agent collaborative perception
CN114037882A (zh) 边缘人工智能装置、电子装置及其方法
Guo et al. Radar signal recognition based on CNN with a hybrid attention mechanism and skip feature aggregation
CN110557193A (zh) 最大化飞行时间光学深度传感器在计算环境中的效率
CN111639591B (zh) 轨迹预测模型生成方法、装置、可读存储介质及电子设备
KR102357469B1 (ko) 경량 딥러닝 네트워크를 이용한 fmcw 레이더 신호 처리 방법 및 시스템
Sun et al. Utilizing explainable ai for improving the performance of neural networks
Gerhards et al. Radar-based gesture recognition with spiking neural networks
Dogan et al. Multi‐view pose estimation with mixtures of parts and adaptive viewpoint selection
CN109754416B (zh) 图像处理装置和方法
Zhang et al. Toward mobile 3d vision
EP4224860A1 (en) Processing a time-varying signal using an artificial neural network for latency compensation
Li et al. Fully convolutional SVM for car detection in UAV imagery
Shaaban et al. Evaluation of spiking neural networks for time domain-based radar hand gesture recognition

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant