KR20200144862A - 레이더의 해상도 향상 방법 및 장치 - Google Patents
레이더의 해상도 향상 방법 및 장치 Download PDFInfo
- Publication number
- KR20200144862A KR20200144862A KR1020190073012A KR20190073012A KR20200144862A KR 20200144862 A KR20200144862 A KR 20200144862A KR 1020190073012 A KR1020190073012 A KR 1020190073012A KR 20190073012 A KR20190073012 A KR 20190073012A KR 20200144862 A KR20200144862 A KR 20200144862A
- Authority
- KR
- South Korea
- Prior art keywords
- resolution
- radar
- data
- training
- low
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 94
- 238000012549 training Methods 0.000 claims abstract description 247
- 238000007781 pre-processing Methods 0.000 claims description 53
- 238000013528 artificial neural network Methods 0.000 claims description 20
- 230000005540 biological transmission Effects 0.000 claims description 11
- 238000003672 processing method Methods 0.000 claims description 6
- 230000004044 response Effects 0.000 claims description 6
- 230000015572 biosynthetic process Effects 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 abstract description 60
- 230000008569 process Effects 0.000 description 18
- 238000010586 diagram Methods 0.000 description 17
- 230000008859 change Effects 0.000 description 12
- 230000007423 decrease Effects 0.000 description 12
- 230000006870 function Effects 0.000 description 7
- 238000001514 detection method Methods 0.000 description 5
- 230000004913 activation Effects 0.000 description 3
- 230000035559 beat frequency Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000033228 biological regulation Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000004907 flux Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 230000000630 rising effect Effects 0.000 description 2
- 238000010408 sweeping Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000012615 high-resolution technique Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000004304 visual acuity Effects 0.000 description 1
- 239000013585 weight reducing agent Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
- G01S13/50—Systems of measurement based on relative movement of target
- G01S13/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
- G01S13/583—Velocity or trajectory determination systems; Sense-of-movement determination systems using transmission of continuous unmodulated waves, amplitude-, frequency-, or phase-modulated waves and based upon the Doppler effect resulting from movement of targets
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
- G01S13/90—Radar or analogous systems specially adapted for specific applications for mapping or imaging using synthetic aperture techniques, e.g. synthetic aperture radar [SAR] techniques
- G01S13/904—SAR modes
- G01S13/9047—Doppler beam sharpening mode
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
- G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
- G01S7/35—Details of non-pulse systems
- G01S7/352—Receivers
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
- G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
- G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/408—Radar; Laser, e.g. lidar
-
- B60W2420/52—
-
- G01S2007/356—
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
- G01S7/35—Details of non-pulse systems
- G01S7/352—Receivers
- G01S7/356—Receivers involving particularities of FFT processing
Landscapes
- Engineering & Computer Science (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- Theoretical Computer Science (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Radar Systems Or Details Thereof (AREA)
Abstract
레이더 데이터의 해상도를 증가시키는 방법이 제공된다. 일 실시예에 따른 레이더 해상도 증가 모델을 트레이닝시키는 방법은, 복수의 차원들 중 적어도 한 차원에 대응하는 정보에 기초하여 원본 레이더 원시 데이터로부터 고해상도 트레이닝 참값 및 저해상도 트레이닝 입력을 생성하고, 저해상도 트레이닝 입력 및 고해상도 트레이닝 참값에 기초하여 해상도 증가 모델을 트레이닝시킬 수 있다. 레이더 데이터를 처리하는 장치는 트레이닝된 해상도 증가 모델에 기초하여 저해상도 입력 데이터로부터 고해상도 출력 데이터를 생성할 수 있다.
Description
이하, 레이더의 해상도를 향상시키는 기술이 제공된다.
ADAS(Advanced Driver Assistance Systems)는 차량의 내부 또는 외부에 탑재되는 센서들을 이용하여 운전자의 안전과 편의를 증진하고, 위험한 상황을 회피하고자 하는 목적으로 운전을 지원하는 보조 시스템이다.
ADAS에서 이용되는 센서들은 카메라, 적외선 센서, 초음파 센서, 라이더(LiDAR) 및 레이더(Radar)를 포함할 수 있다. 이 중에서 레이더는 광학 기반 센서에 비해, 날씨와 같은 주변 환경의 영향을 받지 않고 차량 주변의 오브젝트를 안정적으로 측정할 수 있다.
일 실시예에 따른 레이더 해상도 증가 모델을 트레이닝시키는 방법은, 원본 레이더 원시 데이터를 구성하는 복수의 차원들 중 적어도 한 차원에 대응하는 정보에 기초하여, 상기 원본 레이더 원시 데이터로부터 상기 고해상도 트레이닝 참값 및 저해상도 트레이닝 입력을 생성하는 단계; 및 상기 저해상도 트레이닝 입력 및 상기 고해상도 트레이닝 참값에 기초하여 해상도 증가 모델을 트레이닝시키는 단계를 포함할 수 있다.
상기 원본 레이더 원시 데이터를 구성하는 복수의 차원들은, 도플러 속도, 수평 각도, 고도 각도, 및 거리 중 하나 또는 상기 도플러 속도, 상기 수평 각도, 상기 고도 각도, 및 상기 거리 중 둘 이상의 조합을 포함할 수 있다.
상기 고해상도 트레이닝 참값 및 저해상도 트레이닝 입력을 생성하는 단계는, 상기 원본 레이더 원시 데이터로부터 저해상도 레이더 데이터를 선별하는 단계; 및 상기 선별된 저해상도 레이더 데이터를 전처리함으로써 상기 저해상도 트레이닝 입력을 생성하는 단계를 포함할 수 있다.
상기 저해상도 레이더 데이터를 선별하는 단계는, 각도 차원에 대해 상기 원본 레이더 원시 데이터에서 복수의 안테나 채널들 중 일부 안테나 채널에 대응하는 레이더 데이터를 상기 저해상도 레이더 데이터로서 선별하는 단계를 포함할 수 있다.
상기 저해상도 레이더 데이터를 선별하는 단계는, 도플러 속도 차원에 대해 상기 원본 레이더 원시 데이터에서 한 번의 스캔에 사용되는 처프(chirp) 신호들 중 일부 처프 신호에 대응하는 레이더 데이터를 상기 저해상도 레이더 데이터로서 선별하는 단계를 포함할 수 있다.
상기 저해상도 레이더 데이터를 선별하는 단계는, 거리 차원에 대해 상기 원본 레이더 원시 데이터에 할당된 대역(bandwidth) 중 일부 대역에 대응하는 레이더 데이터를 상기 저해상도 레이더 데이터로서 선별하는 단계를 포함할 수 있다.
상기 선별된 저해상도 레이더 데이터를 전처리함으로써 상기 저해상도 트레이닝 입력을 생성하는 단계는, 상기 선별된 저해상도 레이더 데이터에 대해 거리 고속 푸리에 변환(FFT, fast fourier transform) 및 디지털 빔 형성(DBF, Digital Beam Forming)을 수행하는 단계를 포함할 수 있다.
상기 선별된 저해상도 레이더 데이터를 전처리함으로써 상기 저해상도 트레이닝 입력을 생성하는 단계는, 상기 저해상도 레이더 데이터로부터 거리-도플러 맵 및 거리-각도 맵 중 적어도 하나를 생성하는 단계를 포함할 수 있다.
상기 고해상도 트레이닝 참값 및 저해상도 트레이닝 입력을 생성하는 단계는, 상기 원본 레이더 원시 데이터로부터 고해상도 레이더 데이터를 선별하는 단계; 및 상기 선별된 고해상도 레이더 데이터를 전처리함으로써 상기 고해상도 트레이닝 참값을 생성하는 단계를 포함할 수 있다.
상기 해상도 증가 모델은 컨볼루션 레이어를 포함하는 뉴럴 네트워크로 구현되고, 상기 트레이닝시키는 단계는, 서브스페이스 타입 기반(subspace type based) 추정 기법에 기초하여 추정된 도래각 정보에 더 기초하여 상기 해상도 증가 모델을 트레이닝시키는 단계를 포함할 수 있다.
상기 해상도 증가 모델은 생성기 모델(generator model) 및 분류기 모델(discriminator)을 포함하고, 상기 트레이닝시키는 단계는, 상기 생성기 모델에 기초하여 상기 저해상도 트레이닝 입력으로부터 임시 고해상도 출력을 생성하는 단계; 상기 임시 고해상도 출력, 상기 고해상도 트레이닝 참값, 및 서브스페이스 타입 기반 추정 기법에 기초하여 추정된 도래각 정보로부터 상기 분류기 모델에 의해 출력된 결과에 기초하여, 상기 생성기 모델 및 상기 분류기 모델을 트레이닝시키는 단계; 및 트레이닝이 완료된 경우에 응답하여, 상기 해상도 증가 모델로부터 상기 분류기 모델을 제거하는 단계를 포함할 수 있다.
일 실시예에 따른 레이더 데이터 처리 방법은, 레이더 신호의 송신 및 수신에 기초하여 레이더 센서에 의해 레이더 원시 데이터를 생성하는 단계; 및 트레이닝된 해상도 증가 모델에 기초하여, 상기 레이더 원시 데이터를 전처리함으로써 생성된 입력 데이터로부터 고해상도 출력 데이터를 생성하는 단계를 포함할 수 있다.
상기 고해상도 출력 데이터를 생성하는 단계는, 상기 레이더 원시 데이터에 대해 거리 고속 푸리에 변환 및 디지털 빔 형성 수행함으로써 상기 입력 데이터를 생성하는 단계를 포함할 수 있다.
상기 고해상도 출력 데이터를 생성하는 단계는, 상기 입력 데이터로서 거리-도플러 맵 및 거리-각도 맵 중 하나의 맵(map)을 생성하는 단계; 및 상기 입력 데이터로서 생성된 맵으로부터, 상기 해상도 증가 모델에 기초하여, 상기 고해상도 출력 데이터로서 상기 입력 데이터와 동일한 타입의 맵을 출력하는 단계를 포함할 수 있다.
레이더 센서가 모바일 단말에 장착되고, 상기 레이더 원시 데이터를 생성하는 단계는, 상기 레이더 센서가 적어도 일부에 대해 레이더 신호를 송신하고, 상기 객체의 적어도 일부로부터 반사된 레이더 신호를 수신함으로써 상기 레이더 원시 데이터를 생성하는 단계를 포함하고, 상기 고해상도 출력 데이터에 기초하여 상기 객체와 연관된 제스쳐 및 상기 객체의 신원(identity) 중 적어도 하나를 인식하고, 인식된 결과를 지시하는 단계를 더 포함할 수 있다.
복수의 레이더 센서들이 차량에 장착되고, 상기 복수의 레이더 센서들로부터 저해상도 레이더 원시 데이터를 중앙 프로세서로 전달하는 단계; 상기 중앙 프로세서가 상기 저해상도 레이더 원시 데이터로부터 상기 해상도 증가 모델에 기초하여 상기 고해상도 출력 데이터를 생성하는 단계; 및 상기 고해상도 출력 데이터에 기초하여 주행 관련 정보를 생성하는 단계를 더 포함할 수 있다.
일 실시예에 따른 트레이닝 장치는 해상도 증가 모델을 저장하는 메모리; 및 원본 레이더 원시 데이터를 구성하는 복수의 차원들 중 적어도 한 차원에 대응하는 정보에 기초하여, 상기 원본 레이더 원시 데이터로부터 상기 고해상도 트레이닝 참값 및 저해상도 트레이닝 입력을 생성하고, 상기 저해상도 트레이닝 입력으로부터 상기 고해상도 트레이닝 참값이 출력되도록 해상도 증가 모델을 트레이닝시키는 프로세서를 포함할 수 있다.
도 1은 레이더 데이터를 처리하는 방법을 통한 주변 환경 인식을 설명하는 도면이다.
도 2는 레이더 센서의 구성을 설명하는 블록도이다.
도 3은 일 실시예에 따른 레이더 센서의 스캔에 의해 획득되는 처프 신호들을 설명하는 도면이다.
도 4 및 도 5는 일 실시예에 따른 레이더 스캔 이미지를 설명하는 도면이다.
도 6은 일 실시예에 따른 해상도 증가 모델의 예시적인 구조를 설명하는 도면이다.
도 7은 일 실시예에 따른 레이더 해상도 증가 모델을 트레이닝시키는 방법을 설명하는 흐름도이다.
도 8은 일 실시예에 따른 거리 차원의 데이터 선별을 도시한다.
도 9는 일 실시예에 따른 시선 속도 차원의 데이터 선별을 도시한다.
도 10은 일 실시예에 따른 각도 차원의 데이터 선별을 도시한다.
도 11은 일 실시예에 따른 해상도 증가 모델의 트레이닝 및 해상도 증가 동작을 설명한다.
도 12 및 도 13은 일 실시예에 따른 해상도 증가 모델이 GAN 구조로 구현된 예시를 설명한다.
도 14는 일 실시예에 따른 트레이닝 장치의 구성을 설명하는 블록도이다.
도 15는 일 실시예에 따른 레이더 데이터를 처리하는 장치의 구성을 설명하는 블록도이다.
도 16은 일 실시예에 따른 레이더 데이터 처리 장치가 모바일 단말에 구현된 예시를 설명한다.
도 17은 일 실시예에 따른 레이더 데이터 처리 장치가 차량에 구현된 예시를 설명한다.
도 2는 레이더 센서의 구성을 설명하는 블록도이다.
도 3은 일 실시예에 따른 레이더 센서의 스캔에 의해 획득되는 처프 신호들을 설명하는 도면이다.
도 4 및 도 5는 일 실시예에 따른 레이더 스캔 이미지를 설명하는 도면이다.
도 6은 일 실시예에 따른 해상도 증가 모델의 예시적인 구조를 설명하는 도면이다.
도 7은 일 실시예에 따른 레이더 해상도 증가 모델을 트레이닝시키는 방법을 설명하는 흐름도이다.
도 8은 일 실시예에 따른 거리 차원의 데이터 선별을 도시한다.
도 9는 일 실시예에 따른 시선 속도 차원의 데이터 선별을 도시한다.
도 10은 일 실시예에 따른 각도 차원의 데이터 선별을 도시한다.
도 11은 일 실시예에 따른 해상도 증가 모델의 트레이닝 및 해상도 증가 동작을 설명한다.
도 12 및 도 13은 일 실시예에 따른 해상도 증가 모델이 GAN 구조로 구현된 예시를 설명한다.
도 14는 일 실시예에 따른 트레이닝 장치의 구성을 설명하는 블록도이다.
도 15는 일 실시예에 따른 레이더 데이터를 처리하는 장치의 구성을 설명하는 블록도이다.
도 16은 일 실시예에 따른 레이더 데이터 처리 장치가 모바일 단말에 구현된 예시를 설명한다.
도 17은 일 실시예에 따른 레이더 데이터 처리 장치가 차량에 구현된 예시를 설명한다.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 특허출원의 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
아래 설명하는 실시예들에는 다양한 변경이 가해질 수 있다. 아래 설명하는 실시예들은 실시 형태에 대해 한정하려는 것이 아니며, 이들에 대한 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
실시예에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 실시예를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수 개의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
도 1은 레이더 데이터를 처리하는 방법을 통한 주변 환경 인식을 설명하는 도면이다.
일 실시예에 따른 레이더 데이터를 처리하는 장치(110)는 센서를 통해 전방에 존재하는 객체를 검출할 수 있다. 예를 들어, 객체를 검출하는 센서는 이미지 센서 및 레이더 센서 등일 수 있으며, 이를 통해, 전방의 객체(180)까지의 거리도 검출할 수 있다.
도 1에서는 센서가 레이더인 경우를 설명하고자 한다. 레이더 데이터를 처리하는 장치(110)는 레이더 센서(111)에서 수신된 레이더 신호를 분석하여 전방의 객체(180)까지의 거리를 검출할 수 있다. 레이더 센서(111)는 레이더 데이터를 처리하는 장치(110)의 내부 또는 외부에 위치할 수 있다. 레이더 데이터를 처리하는 장치(110)는 레이더 센서(111)로부터 수신된 레이더 신호 뿐 아니라 다른 센서(예를 들어, 이미지 센서 등)에서 수집된 데이터를 함께 고려하여 전방의 객체(180)까지의 거리를 검출할 수도 있다.
레이더 데이터를 처리하는 장치(110)는 차량에 탑재될 수 있다. 차량은 레이더 데이터를 처리하는 장치(110)에 의해 검출된 객체까지의 거리에 기초하여, ACC(Adaptive Cruise Control) 동작, AEB(Autonomous Emergency Braking) 동작, 및 BSD(Blind Spot Detection) 동작 등을 수행할 수 있다.
더 나아가, 레이더 데이터를 처리하는 장치(110)는 거리 검출 외에도 주변 맵(130)을 생성할 수 있다. 주변 맵(130)은 레이더 데이터를 처리하는 장치(110)의 주변에 존재하는 표적들의 위치를 나타내는 맵으로서, 주변의 표적은 차량 및 사람과 같이 동적 객체일 수도 있고, 가드레일 및 신호등과 같이 정적 객체(배경) 일 수 있다.
주변 맵(130)을 생성하기 위한 방법으로 단일 스캔 이미지 방법이 사용될 수 있다. 레이더 데이터를 처리하는 장치(110)가 센서로부터 단일 스캔 이미지(120)를 획득하고, 획득된 단일 스캔 이미지(120)로부터 주변 맵(130)을 생성하는 것이 단일 스캔 이미지 방법이다. 단일 스캔 이미지(120)는 단일 레이더 센서(111)에 의해 센싱된 레이더 신호로부터 생성된 이미지로서, 비교적 낮은 해상도를 나타낸다. 단일 스캔 이미지(120)는 레이더 스캔 이미지로서, 임의의 레이더 센서(111)에 의해 임의의 고도 각(elevation angle)로부터 수신된 레이더 신호들이 지시하는 거리들을 나타낼 수 있다. 예를 들어, 도 1에 도시된 단일 스캔 이미지에서 가로 축은 레이더 센서(111)의 스티어링 각도, 세로 축은 레이더 센서(111)로부터 표적까지의 거리를 나타낼 수 있다. 다만, 단일 스캔 이미지의 형태를 도 1에 도시된 바로 한정하는 것은 아니고, 설계에 따라 다른 포맷(format)으로 표현될 수도 있다. 본 명세서에서 레이더 스캔 이미지는 거리-도플러 맵 및 거리-각도 맵과 같은 2차원 이미지 맵을 주로 설명하였으나, 이로 한정하는 것은 아니고, 거리-도플러-각도 맵과 같은 3차원 이상의 포맷으로 된 맵으로 구성될 수도 있다.
본 명세서에서 스티어링 각도는 레이더 데이터를 처리하는 장치로부터 타겟 지점을 향하는 방향에 대응하는 각도를 나타낼 수 있다. 예를 들어, 스티어링 각도는 레이더 데이터를 처리하는 장치(예를 들어, 차량)를 기준으로, 데이터 데이터를 처리하는 장치의 진행 방향 및 타겟 지점 사이의 각도일 수 있다.
레이더 데이터를 처리하는 장치(110)는 다중 레이더 맵(multi radar map)을 통해 표적의 형상에 대한 정확한 정보를 획득할 수 있다. 다중 레이더 맵은 복수의 레이더 스캔 이미지들의 결합으로부터 생성할 수 있다. 예를 들어, 레이더 데이터를 처리하는 장치(110)는 레이더 센서(111)의 이동에 따라 획득되는 레이더 스캔 이미지들을 시공간적으로 결합함으로써 주변 맵(130)을 생성할 수 있다. 참고로, 레이더 데이터는 레이더 센서(111)에 의해 센싱되는 레이더 원시 데이터(radar raw data)를 포함할 수 있다.
상술한 바와 같이, 레이더 데이터를 처리하는 장치(110)는 레이더 데이터를 처리하여 임의의 스캔 이미지를 생성하고, 생성된 스캔 이미지에 기초하여 주변 맵(130)과 같은 주행 관련 정보를 생성하거나, 객체 인식 등을 수행할 수 있다. 이 때, 주행 관련 정보 생성 및 객체 인식 등에 있어서, 정확성을 향상시키기 위해서는 고해상도의 스캔 이미지가 요구된다. 본 명세서에서 해상도(resolution)는 이미지가 상세하게 표현되는 척도(measure)를 나타낼 수 있다. 후술하겠으나, 분해능(resolving power)은 작은 차이를 분별해내는 기기의 능력으로서, 예를 들어, 서로 떨어져 있는 두 물체를 서로 구별할 수 있는 능력을 나타낼 수 있다. 따라서, 기기의 분해능이 작아져서 향상될수록, 보다 고해상도의 이미지가 획득될 수 있다.
다만, 레이더 센서의 비용 및 개수 등의 제한으로 인하여, 단일 레이더 센서가 획득할 수 있는 레이더 데이터의 정보 량이 제한될 수 있다. 단일 레이더 센서에 의한 레이더 데이터의 정보 량이 제한되므로, 해당 레이더 데이터로부터 생성되는 스캔 이미지의 해상도도 제한될 수 있다. 이와 관련하여 레이더 센서의 도플러 속도에 대한 분해능 제한, 및 거리 분해능에 대한 제한은 아래 도 2 내지 도 3에서 설명하고, 각도 분해능 제한은 도 10에서 설명한다. 이러한 분해능 제한을 해결하기 위해 아래 도 6 내지 도 17에서는 레이더 센서에 의해 획득된 레이더 데이터로부터 생성된 레이더 스캔 이미지의 해상도를 증가시키는 방법을 설명한다.
참고로, 레이더 분야에서의 도래각 초해상도 기법들은 노이즈 서브스페이스(noise subspace)를 추정한 후, 그 정보에 기초하여 표적 신호가 어디서부터 왔는지를 추적한다. 다만, 미리 알고 있는 개수의 객체에 대해서는 정확한 피크 값을 반환(return)하지만, 그 외의 성분들은 DFT(Discrete Fourier Transform) 기법보다 표현이 어려울 수 있다. 아울러, 이러한 기법들은 도래각 외의 차원에서 널리 사용되지는 않으나, 모든 차원에서 사용 가능하다. 아래 도 7 내지 도 17에서는 해상도 증가 모델(예를 들어, 뉴럴 네트워크)를 이용하여 레이더 데이터의 적어도 일부 차원에 해당하는 정보의 해상도를 증가시키는 방법을 설명한다.
도 2는 레이더 센서의 구성을 설명하는 블록도이다.
레이더 센서(210)는 안테나(213)를 통해 신호를 방사하고, 안테나(213)를 통해 신호를 수신할 수 있다. 레이더 센서(210)가 방사하는 신호 및 레이더 센서(210)에 의해 수신되는 신호를 레이더 신호라고 나타낼 수 있다. 레이더 센서(210)는 예를 들어, mmWave Radar일 수 있고, 방사된 전기파가 객체에 맞고 되돌아오는 시간(Time of Flight)과 신호 파형의 변화를 분석해 객체까지의 거리를 측정할 수 있다. 예를 들어, 레이더 센서(210)는 FMCW 레이더 (Frequency Modulated Continuous- Wave Radio Detection And Ranging) 레이더로 구현될 수 있다.
레이더 센서(210)의 처프 전송기(Chirp Transmitter)(211)는 시간에 따라 주파수가 변하는, 주파수 변조 신호(FM signal, Frequency Modulated signal)(202)를 생성할 수 있다. 예를 들어, 처프 전송기(211)는 처프 신호(chirp signal)(201)를 주파수 변조함으로써, 주파수 변조 신호(202)를 생성할 수 있다. 처프 신호(201)는 시간에 따라 진폭(amplitude)이 선형적으로 증가하거나 감소하는 신호를 나타낼 수 있다. 처프 전송기(211)는 처프 신호(201)의 진폭에 대응하는 주파수를 가지는 주파수 변조 신호(202)를 생성할 수 있다. 예를 들어, 도 2에 도시된 바와 같이, 주파수 변조 신호(202)는 처프 신호(201)의 진폭이 증가하는 구간에서는 점진적으로 주파수가 증가하는 파형을 나타낼 수 있고, 처프 신호(201)의 진폭이 감소하는 구간에서는 점진적으로 주파수가 감소하는 파형을 나타낼 수 있다. 처프 전송기(211)는 주파수 변조 신호(202)를 듀플렉서(212)로 전달할 수 있다.
레이더 센서(210)의 듀플렉서(duplexer)(212)는 안테나(213)를 통한 신호의 송신 경로 및 수신 경로를 결정할 수 있다. 예를 들어, 레이더 센서(210)가 주파수 변조 신호(202)를 방사하는 동안, 듀플렉서(212)는 처프 전송기(211)로부터 안테나(213)까지의 신호 경로를 형성할 수 있고, 형성된 신호 경로를 통해 주파수 변조 신호(202)를 안테나(213)로 전달한 후 외부로 방사할 수 있다.
레이더 센서(210)가 객체로부터 반사된 신호를 수신하는 동안, 듀플렉서(212)는 안테나(213)로부터 주파수 분석기(216)까지의 신호 경로를 형성할 수 있다. 안테나(213)는 방사된 신호가 장애물에 도달 후 반사되어 되돌아온 반사 신호를 수신할 수 있고, 레이더 센서(210)는 안테나(213)로부터 주파수 분석기(216)까지의 신호 경로를 통해 반사 신호를 주파수 분석기(216)로 전달할 수 있다.
주파수 믹서(frequency mixer)(214)는 수신된 신호로부터 주파수 변조(FM) 이전의 선형 신호(예를 들어, 원본 처프 신호)를 복조할 수 있다. 증폭기(215)는 복조된 선형 신호의 진폭을 증폭할 수 있다.
주파수 분석기(spectrum analyzer)(216)는 객체로부터 반사되어 들어오는 신호(208)와 방사된 처프 신호(201)를 비교할 수 있다. 주파수 분석기(216)는 방사된 처프 신호(201) 및 반사된 신호(208) 간의 주파수 차이를 검출할 수 있다. 방사된 처프 신호(201) 및 반사된 신호(208) 간의 주파수 차이는, 도 2에 도시된 그래프(209)에서, 방사된 처프 신호(201)의 진폭이 시간축을 따라 선형적으로 증가하는 구간 동안 일정한(constant) 차이를 나타낼 수 있고, 레이더 센서(210) 및 객체 간의 거리에 비례한다. 따라서, 레이더 센서(210) 및 객체 간의 거리는 방사된 처프 신호(201) 및 반사된 신호(208) 간의 주파수 차이로부터 도출(derive)될 수 있다. 주파수 분석기(216)는 분석된 정보를 레이더 데이터를 처리하는 장치의 프로세서로 전달할 수 있다. 여기서, 프로세서로 전달되는 정보는 레이더 신호로부터 생성된 데이터로서, 레이더 데이터라고 나타낼 수 있다. 레이더 데이터는 거리, 수평 각, 고도 각, 및 시선 속도 등의 차원으로 구성되는 정보를 포함할 수 있다. 아래에서는 레이더 데이터의 각 차원의 산출에 있어서 분해능을 설명한다.
예를 들어, 주파수 분석기(216)는 하기 수학식 1에 따라 레이더 센서(210) 및 객체 간의 거리를 계산할 수 있다.
[수학식 1]
상술한 수학식 1에서, R은 레이더 센서(210) 및 객체 간의 거리를 나타낸다 c는 광속을 나타낸다. T는 방사된 처프 신호(201)의 상승 구간의 시간 길이를 나타낸다. fb는 상승 구간 내 임의의 시점에서 방사된 처프 신호(201) 및 반사된 신호(208) 간의 주파수 차이로서, 비트 주파수(beat frequency)라고 부를 수 있다. B는 변조 대역폭을 나타낸다. 참고로, 비트 주파수 fb는 아래와 같은 수학식 2를 통해 도출될 수 있다.
[수학식 2]
상술한 수학식 2에서 fb는 비트 주파수를 나타내고, td는 방사된 처프 신호(201)의 방사 시점 및 반사된 신호(208)의 수신 시점 간의 시간 차이(예를 들어, 지연 시간)를 나타낸다.
상술한 수학식 1에서는 레이더 데이터로부터 산출되는 거리를 설명하였는데, 레이더 센서에 의해 획득되는 레이더 데이터로부터 산출되는 거리의 분해능은 아래 수학식 3과 같이 나타낼 수 있다.
[수학식 3]
상술한 수학식 3에서 dres는 거리 분해능을 나타낼 수 있고, c는 광속, B는 레이더 센서에 허용된 대역폭을 나타낼 수 있다. 레이더 센서에 허용되는 대역폭 B는 각 국의 법령에서 규정하는 바에 따라 정해지며, 현 시점에서 ETSI(European Telecommunications Standards Institute)와 FCC(Federal Communications Commission)는 자동차용 레이더(automotive radar)에 있어서 77 GHz 대역을 허용하였다. 수학식 3에 나타난 바와 같이, 대역폭이 증가될수록 dres가 작아지므로 거리 분해능이 향상될 수 있다. 다만, 가용한(available) 대역폭은 법령 등에 따라 제한되는 바, 각 레이더 센서는 거리 산출에 있어서 한정된 분해능을 가지게 된다.
아래 도 3에서는 한번의 스캔 동안 일련의 처프 신호들의 송신 및 수신 및 도플러 속도의 분해능 제한을 설명한다.
도 3은 일 실시예에 따른 레이더 센서의 스캔에 의해 획득되는 처프 신호들을 설명하는 도면이다.
레이더 데이터를 처리하는 장치가 차량(391)이고, 임의의 타겟 지점(392)로부터 반사된 레이더 신호(310)를 센싱하는 예시를 설명한다. 한번의 스캔(311)에 대응하는 레이더 신호(310)는 복수의 처프 신호들을 포함할 수 있다. 예를 들어, 각 처프 신호(312)는 T의 주기를 가질 수 있고, 한 스캔에 대응하는 레이더 신호(310)는 n개의 처프 신호들을 포함할 수 있다. 레이더 센서는 한번의 스캔 동안 n개의 처프 신호들을 방사하고, 해당 n개의 처프 신호들을 센싱할 수 있다. 따라서, 한 스캔(311)에 대응하는 레이더 신호(310)의 시간 길이는 nT일 수 있다. 여기서, n은 1이상의 정수일 수 있다. 각 처프 신호들은 μs 단위 내지 ms 단위로 방출되므로, 빠른 시간 축에서 타겟들의 속도는 상수로 가정될 수 있다.
레이더 신호(310)에 포함된 처프 신호들은 도 3에 도시된 바와 같이 빠른 시간(fast time) 축, 느린 시간(slow time) 축, 및 주파수 축의 그래프(320)로 표현될 수도 있다. 느린 시간 축은 처프 신호들에 의해 구분되는 시간 축일 수 있고, 빠른 시간 축은 각 처프 신호(312)의 주파수 변화가 나타나는 시간 축일 수 있다. 또한, 각 처프 신호(312)를 비트 신호(beat signal) 파형(330)으로 표현할 경우, 도 3에 도시된 바와 같이 각 처프 신호(312)마다 위상(340)이 달라질 수도 있다. 일 실시예에 따르면 레이더 데이터를 처리하는 장치는 이러한 위상(340)의 변화를 통해 주행 관련 정보로서 상대 속도를 산출할 수 있다.
예를 들어, 상대 속도는 타겟 지점으로부터 레이더 센서를 향하는 시선 속도(radial velocity)인 도플러 속도일 수 있다. 레이더 센서에 의해 획득되는 레이더 데이터로부터 산출되는 도플러 속도의 분해능은 아래 수학식 4과 같이 나타날 수 있다.
[수학식 4]
상술한 수학식 4에서 vres는 도플러 속도 분해능을 나타내고, 
는 레이더 센서가 사용하는 대역의 파장을 나타낼 수 있다. Tf는 복수의 일련의 처프 신호들에 주어진 프레임 시간으로서 한 스캔에 대응하는 레이더 신호의 시간 길이이다. 각 처프의 주기가 T이고 한 스캔 동안 n개의 처프 신호들이 송신 및 수신된다면, 프레임 시간 Tf는 nT일 수 있다. 수학식 4에 나타난 바와 같이, 프레임 시간 Tf가 증가되면 도플러 속도 분해능 vres가 작아지면서 향상될 수 있다. 다만, 각 처프 신호에 주어진 주기가 증가되면, 측정 가능한 최대 속도가 감소하고, 실시간 동작에 있어서 한번의 스캔에 허용되는 시간을 초과하는 문제가 발생할 수 있다. 다시 말해, 한 번의 스캔에서 사용할 처프 신호들의 개수 증가시키면 데이터 전송량 및 동작 시간이 증가하는 트레이드 오프 문제가 발생한다. 따라서, 각 레이더 센서는 도플러 속도 산출에 있어서 한정된 분해능을 가지게 된다.
또한, 도 10에서 후술하겠으나, 각도 분해능은 레이더 센서의 가상 안테나의 개수에 반비례하므로, 가상 안테나의 개수가 증가할수록 각도 분해능이 작아져서 향상될 수 있다. 가상 안테나의 개수는 레이더 센서의 송신 안테나의 개수 및 수신 안테나의 개수의 곱에 대응한다. 따라서, 각도 분해능을 개선하기 위해서는, 실제 물리적인 송신 안테나의 개수 및 수신 안테나의 개수가 증가되어야 하므로, 안테나를 제어하기 위한 RFIC 개수가 증가할 뿐만 아니라 물리적으로 배치되어야 하는 안테나의 개수가 증가하므로 레이더 센서의 크기가 커지게 되는 제약이 있다.
일 실시예에 따르면 복수의 레이더 센서들이 차량의 여러 부위에 설치될 수 있고, 복수의 레이더 센서들에 의해 센싱된 정보를 기초로 레이더 데이터를 처리하는 장치가 차량의 전방위(all direction)에 대한 타겟 지점까지의 거리, 방향(예를 들어, 스티어링 각도), 및 상대 속도를 상술한 바와 같이 계산할 수 있다. 레이더 데이터를 처리하는 장치는 예를 들어, 차량에 탑재될 수 있다. 차량은 레이더 센서들에 의해 수집된 정보에 기초하여 획득된 정보를 이용하여, 주행에 도움이 되는 다양한 기능(예를 들어, ACC(Adaptive Cruise Control), BSD(Blind Spot Detection), 및 LCA(lane change assistance) 등)을 제공할 수 있다. 아래 도 4 및 도 5에서는 주행 관련 정보로서 생성되는 레이더 스캔 이미지의 예시들을 설명한다.
도 4 및 도 5는 일 실시예에 따른 레이더 스캔 이미지를 설명하는 도면이다.
일 실시예에 따른 레이더 데이터는 복수의 차원들로 구성될 수 있고, 예를 들어, 거리와 관련된 차원, 수평 각과 관련된 차원, 고도 각과 관련된 차원, 및 시선 속도와 관련된 차원을 포함할 수 있다. 다만, 수평 각과 고도 각은 해상도 증가 방법에서 큰 차이가 없으므로, 아래에서는 주로 각도를 수평 각으로 설명한다. 다만, 본 명세서의 레이더 데이터의 차원을 3개로 한정하는 것은 아니다.
거리와 관련된 차원은 처프 신호의 주파수에 대한 변화를 나타낼 수 있다. 처프 신호의 주파수 변화는 빠른 시간 축에서 나타나는 정보이며, 레이더 센서에서 송신 신호와 수신 신호 간의 주파수 차이로부터 레이더 센서와 물체 간의 거리가 계산될 수 있다. 상술한 바와 같이 거리의 분해능은 처프 신호가 스윕(sweeping)하는 대역폭에 반비례한다. 즉, 대역폭이 증가될 수록, 향상된 거리 분해능이 제공된다.
각도와 관련된 차원은 가상 안테나들에 대한 변화를 나타낼 수 있다. 예를 들어, 레이더 센서가 평면파(plane wave)를 이용하고, ULA (Uniform Linear Array)로 배치된 구조일 수 있다. 이 때, 임의의 특정 송신(TX) 안테나에서 송신된 레이더 신호는 복수의 수신(RX) 안테나에서 수신될 수 있다. 인접한 수신 안테나들은 서로 Δd 만큼씩의 간격으로 이격되어 배치되고, 따라서 수신 안테나들은 동일한 송신 안테나로부터 방사된 신호에 대해 서로 다른 위상을 가지는 수신 신호를 수신하게 된다. 이러한 위상 차이를 통해 레이더 데이터를 처리하는 장치는 도래각(DoA, Direction of Arrival)을 추정할 수 있다. 단순한 DBF(digital beam forming)을 통해 도래각을 추정할 경우, 각도 해상도는 총 가상 안테나들(virtual antennas)의 개수에 반비례한다. 즉, 가상 안테나들의 개수가 많아질수록 각도 분해능이 향상되어 도래각 추정 정확도가 높아질 수 있다. 참고로, 가상 안테나들의 개수는, 송신 안테나의 개수 및 수신 안테나의 개수의 곱에 대응할 수 있다.
시선 속도와 관련된 차원은 복수의 처프 신호들 간의 변화에 대한 정보를 나타낼 수 있다. 예를 들어, 객체가 이동하고 있을 때, 해당 객체로부터 연속적으로 반사되어 수신되는 복수의 처프 신호들의 위상이 변화하고, 이러한 복수의 처프 신호들의 위상 변화 정보로부터 객체의 시선 속도가 추정될 수 있다. 처프 신호의 주기가 동일하다면, 한 번의 스캔에 더 많은 개수의 처프 신호가 사용될수록 레이더 데이터에서 속도 분해능이 향상될 수 있다
일 실시예에 따르면, 레이더 스캔 이미지 맵은 레이더 데이터의 복수이 차원들 중 일부 차원에 해당하는 정보를 나타낼 수 있다. 예를 들어, 도 4는 일 실시예에 따른 거리-도플러 맵(490)을 설명한다.
레이더 데이터를 처리하는 장치는 복수의 처프 신호들(410)을 도 4에 도시된 바와 같이 비트 신호 파형(430)으로 나타낼 수 있고, 비트 신호 파형(430)을 전처리(440)함으로써 거리-도플러 맵(490)(range-doppler map)을 생성할 수 있다. 전처리(440)는 도 4에 도시된 바와 같이 느린 시간 축을 따른 인덱스 i 별 아날로그 디지털 변환(ADC, analog digital convert), 인덱스 i별 고속 푸리에 변환(FFT, fast Fourier transform), 및 거리 빈(range-bin) 별로 고속 푸리에 변환을 수행하는 동작을 포함할 수 있다. 도 4에 도시된 거리-도플러 맵(490)의 가로 축은 도플러 속도(예를 들어 ,시선 속도)를 나타내고, 세로 축은 거리를 나타낼 수 있다. 따라서, 거리-도플러 맵(490)은 임의이 표적(491)이 가지는 도플러 속도 및 레이더 센서로부터 해당 표적(491)까지의 거리를 나타낼 수 있다. 다만, 레이더 스캔 이미지를 이로 한정하는 것은 아니다.
도 5는 일 실시예에 따른 거리-각도 맵(520)을 설명하는 도면이다. 임의의 주어진 시야(510)에 대해 레이더 센서는 레이더 신호를 수신하여 레이더 데이터를 생성할 수 있고, 레이더 데이터는 도 5에 도시된 바와 같이 거리-각도 맵(520)으로 표현될 수 있다. 거리-각도 맵(520)은 다양한 알고리즘에 의해 도출될 수 있는데 제1 거리-각도 맵(521)은 8개의 안테나(예를 들어 ,NANT=8)를 통해 센싱된 레이더 데이터로부터 DBF(digital beam forming)을 통해 산출될 수 있다. 제2 거리-각도 맵(522)은 8개의 안테나를 통해 센싱된 레이더 데이터로부터 MUSIC(MUlti SIgnal Classification)을 통해 산출될 수 있다. 제3 거리-각도 맵(523)은 31개의 안테나를 통해 센싱된 레이더 데이터로부터 DBF를 통해 산출될 수 있다. 도 5에 도시된 바와 같이 동일한 개수의 안테나(NANT=8)가 주어졌을 때, MUSIC에 의한 제2 거리-각도 맵(522)이 비교적 높은 해상도(resolution)을 나타낼 수 있다.
일 실시예에 따른 레이더 데이터를 처리하는 장치는 해상도 증가 모델을 이용하여 상술한 레이더 데이터를 전처리한 결과(예를 들어, 레이더 스캔 이미지)의 해상도를 증가시킬 수 있다. 예를 들어, 해상도 증가 모델로서 뉴럴 네트워크가 사용될 수 있고, 아래 도 6 내지 도 15에서 상세히 설명한다. 참고로, 해상도 증가 모델을 트레이닝시키는 장치는 트레이닝 장치라고 나타낼 수 있다.
도 6은 일 실시예에 따른 해상도 증가 모델의 예시적인 구조를 설명하는 도면이다.
일 실시예에 따른 해상도 증가 모델은, 레이더 스캔 이미지의 해상도를 증가시키도록 설계된 모델로서, 예를 들어, 기계 학습 구조일 수 있고, 뉴럴 네트워크(600)를 포함할 수 있다. 해상도 증가 모델은 제1 해상도의 입력 데이터로부터 제2 해상도의 출력 데이터를 출력하도록 설계될 수 있다. 여기서, 제2 해상도는 제1 해상도보다 높은 해상도로서, 본 명세서에서 제2 해상도는 고해상도, 제1 해상도는 저해상도라고 나타낼 수 있다. 제1 해상도의 입력 데이터는 저해상도 입력 데이터, 제2 해상도의 출력 데이터는 고해상도 출력 데이터라고 나타낼 수 있다.
뉴럴 네트워크(neural network)(600)는 딥 뉴럴 네트워크(DNN, deep neural network)의 예시에 해당할 수 있다. DNN은 완전 연결 네트워크(fully connected network), 딥 컨볼루셔널 네트워크(deep convolutional network) 및 리커런트 뉴럴 네트워크(recurrent neural network) 등을 포함할 수 있다. 뉴럴 네트워크(600)는 딥 러닝에 기반하여 비선형적 관계에 있는 입력 데이터 및 출력 데이터를 서로 매핑함으로써 이미지의 해상도 증가를 수행할 수 있다. 딥 러닝은 빅 데이터 세트로부터 이미지 처리와 같은 문제를 해결하기 위한 기계 학습 기법으로 지도식(supervised) 또는 비지도식(unsupervised) 학습을 통해 입력 데이터 및 출력 데이터를 서로 매핑할 수 있다.
도 6을 참조하면, 뉴럴 네트워크(600)는 입력 레이어(610), 히든 레이어(620) 및 출력 레이어(630)를 포함한다. 입력 레이어(610), 히든 레이어(620) 및 출력 레이어(630)는 각각 복수의 인공 노드들을 포함한다.
도 6에는 설명의 편의를 위해 히든 레이어(620)가 3개의 레이어를 포함하는 것으로 도시되었나, 히든 레이어(620)는 다양한 수의 레이어들을 포함할 수 있다. 또한, 도 6에는 뉴럴 네트워크(600)는 입력 데이터를 수신하기 위한 별도의 입력 레이어를 포함하는 것으로 도시되었으나, 입력 데이터가 히든 레이어(620)에 직접 입력될 수 있다. 뉴럴 네트워크(600)에서 출력 레이어(630)를 제외한 레이어들의 인공 노드들은 출력 신호를 전송하기 위한 링크들을 통해 다음 레이어의 인공 노드들과 연결될 수 있다. 링크들의 수는 다음 레이어에 포함된 인공 노드들의 수에 대응할 수 있다.
히든 레이어(620)에 포함된 각각의 인공 노드에는 이전 레이어에 포함된 인공 노드들의 가중된 입력들(weighted inputs)에 관한 활성 함수(activation function)의 출력이 입력될 수 있다. 가중된 입력은 이전 레이어에 포함된 인공 노드들의 입력에 가중치(weight)가 곱해진 것이다. 가중치는 뉴럴 네트워크(600)의 파라미터로 지칭될 수 있다. 활성 함수는 시그모이드(sigmoid), 하이퍼볼릭 탄젠트(hyperbolic tangent; tanh) 및 렐루(rectified linear unit; ReLU)를 포함할 수 있고, 활성 함수에 의해 뉴럴 네트워크(600)에 비선형성이 형성될 수 있다. 출력 레이어(630)에 포함된 각각의 인공 노드에는 이전 레이어에 포함된 인공 노드들의 가중된 입력들이 입력될 수 있다. 임의의 레이어로부터 다음 레이어로 가중된 데이터가 입력되는 과정을 전파(propagation)라고 나타낼 수 있다. 참고로, 뉴럴 네트워크(600)는 컨볼루션 필터링을 위해 구성된 컨볼루션 레이어를 포함할 수도 있다. 예를 들어, 장치는 이전 레이어로부터 컨볼루션 레이어로 임의의 정보를 전파할 수 있고, 전파된 정보에 대해 컨볼루션 필터링을 수행하며, 컨볼루션 필터링 결과를 그 다음 레이어로 전파할 수 있다.
위에서는 해상도 증가 모델의 예시로서, 뉴럴 네트워크(600)를 설명하였으나, 특징 추출 모델을 뉴럴 네트워크(600)로 한정하는 것은 아니다.
참고로, 일반적인 이미지 처리 분야에서 카메라는 피사체에 빛이 반사되어 렌즈를 통해 들어오는 신호를 단순 기록하는 수동 센서(passive sensor)로서, 이미지의 폭이나 높이에 대해 추가 이미지 프로세싱이 없더라도 간단히 다운 샘플링될 수 있다. 카메라 센서의 픽셀 크기가 폭 및 높이에 대해 거의 유사하여, 픽셀 들간에 공간적으로 유사한 상관관계(correlation)을 가지기 때문이다. 따라서 카메라에 의해 획득되는 이미지는 사람의 시세포의 동작을 모방하여 영상처리에 특화된 CNN 구조에 단순 적용이 가능하다. 다만, 하지만 레이더 데이터는 일반적인 이미지와는 다른 차원으로 정의되는 정보(예를 들어, 거리, 각도, 속도)를 포함하고, 특정 위치의 값은 복소수로 표현되기 때문에 일반 이미지와 동일한 이미지 프로세싱이 적용되기 어렵다.
따라서, 레이더 데이터에 대한 해상도 증가 모델을 트레이닝시키기 위해서는 적절한 저해상도 트레이닝 입력 및 고해상도 트레이닝 참값을 선별하는 것이 중요하다. 아래 도 7 내지 도 10에서는 해상도 증가 모델을 트레이닝시키기 위하여 원본 데이터로부터 저해상도 트레이닝 입력 및 고해상도 트레이닝 참값을 선별하는 동작을 설명한다.
도 7은 일 실시예에 따른 레이더 해상도 증가 모델을 트레이닝시키는 방법을 설명하는 흐름도이다.
우선, 단계(710)에서 트레이닝 장치는 원본 레이더 원시 데이터(790)로부터 트레이닝 데이터를 생성할 수 있다. 원본 레이더 원시 데이터(original radar raw data)는, 트레이닝에 사용되는 레이더 원시 데이터의 원본(original copy)을 나타낼 수 있다. 예를 들어, 트레이닝 장치는 원본 레이더 원시 데이터를 구성하는 복수의 차원들 중 적어도 한 차원에 대응하는 정보에 기초하여, 원본 레이더 원시 데이터로부터 고해상도 트레이닝 참값 및 저해상도 트레이닝 입력을 생성할 수 있다. 트레이닝 데이터는 저해상도 트레이닝 입력 및 고해상도 트레이닝 참값의 쌍을 포함할 수 있다. 상술한 바와 같이, 원본 레이더 원시 데이터를 구성하는 복수의 차원들은, 도플러 속도, 수평 각도, 고도 각도, 및 거리 중 하나 또는 도플러 속도, 수평 각도, 고도 각도, 및 거리 중 둘 이상의 조합을 포함할 수 있다.
예를 들어, 단계(711)에서 트레이닝 장치는 원본 레이더 원시 데이터로부터 데이터를 선별할 수 있다. 예를 들어, 트레이닝 장치는 원본 레이더 원시 데이터로부터 저해상도 레이더 데이터 및 고해상도 레이더 데이터를 선별할 수 있다. 예를 들어, 저해상도 레이더 데이터 및 고해상도 레이더 데이터는 상술한 차원들 중 적어도 한 차원에 대해 원본 레이더 원시 데이터로부터 선별된 데이터일 수 있다. 다만, 고해상도 레이더 데이터는 원본 레이더 원시 데이터 자체일 수도 있다. 저해상도 레이더 데이터는 고해상도 레이더 데이터에 비해 낮은 해상도 및 향상된 분해능을 가지는 데이터일 수 있다. 저해상도 레이더 데이터 및 고해상도 데이터 데이터의 선별은 하기 도 8 내지 도 10에서 설명한다.
그리고 단계(712)에서 트레이닝 장치는 선별된 저해상도 레이더 데이터를 전처리함으로써 저해상도 트레이닝 입력을 생성할 수 있다. 저해상도 트레이닝 입력은 예를 들어, 저해상도 레이더 데이터에 대한 전처리 결과로서 생성되는 레이더 스캔 이미지일 수 있다. 예를 들어, 트레이닝 장치는 선별된 저해상도 레이더 데이터에 대해 거리 고속 푸리에 변환(FFT, fast fourier transform) 및 디지털 빔 형성(DBF, Digital Beam Forming)을 전처리 동작으로서 수행할 수 있다. 다만, 전처리 동작을 이로 한정하는 것은 아니다. 트레이닝 장치는 상술한 전처리 동작을 통해 저해상도 레이더 데이터로부터 거리-도플러 맵 및 거리-각도 맵 중 적어도 하나를 저해상도 트레이닝 입력으로서 생성할 수 있다. 거리-도플러 맵 및 거리-각도 맵은 상술한 바와 같이 레이더 스캔 이미지의 한 타입일 수 있다.
이어서 단계(713)에서 트레이닝 장치는 선별된 고해상도 레이더 데이터를 전처리함으로써 고해상도 트레이닝 참값을 생성할 수 있다. 고해상도 트레이닝 참값은 예를 들어, 고해상도 레이더 데이터에 대한 전처리 결과로서 생성되는 레이더 스캔 이미지일 수 있다. 이 때, 트레이닝 장치는 저해상도 트레이닝 입력으로서 생성된 레이더 스캔 이미지와 동일한 타입의 맵을 고해상도 트레이닝 참값으로 생성할 수 있다. 예를 들어, 저해상도 트레이닝 입력이 거리-도플러 맵 타입인 경우, 고해상도 트레이닝 참값도 거리-도플러 맵 타입으로 생성될 수 있다.
그리고 단계(720)에서 트레이닝 장치는 해상도 증가 모델을 트레이닝시킬 수 있다. 트레이닝 장치는 저해상도 트레이닝 입력 및 고해상도 트레이닝 참값에 기초하여 해상도 증가 모델을 트레이닝시킬 수 있다. 예를 들어, 트레이닝 장치는 저해상도 트레이닝 임시 해상도 증가 모델에 기초하여 저해상도 트레이닝 입력으로부터 임시 고해상도 출력을 생성할 수 있다. 여기서, 임시 해상도 증가 모델은 트레이닝이 완료되기 전의 해상도 증가 모델을 나타낼 수 있고, 임시 고해상도 출력은 트레이닝이 완료되기 전의 해상도 증가 모델의 출력을 나타낼 수 있다. 트레이닝 장치는 상술한 임시 고해상도 출력 및 고해상도 트레이닝 참값(ground truth) 간의 손실을 미리 정의된 손실 함수에 기초하여 산출할 수 있다. 트레이닝 장치는 산출된 손실에 기초하여, 해상도 증가 모델을 트레이닝시킬 수 있다. 예를 들어, 트레이닝 장치는 손실이 최소화되도록 해상도 증가 모델의 파라미터를, 예를 들어, 역전파 방식(back propagation)으로, 업데이트할 수 있다. 다만, 트레이닝을 이로 한정하는 것은 아니고, 다양한 방식의 트레이닝 기법이 적용될 수 있다.
일 실시예에 따르면 트레이닝 장치에 의해 트레이닝된 해상도 증가 모델을 통해, 레이더 데이터를 처리하는 장치는 레이더 센서에 의해 생성되는 저해상도의 레이더 원시 데이터로부터 고해상도의 레이더 스캔 이미지를 생성할 수 있게 된다. 예를 들어, 트레이닝 장치는 원본 레이더 원시 데이터에서 좁은 대역폭으로 저해상도 레이더 데이터를 선별하고, 그에 대응하는 고해상도 레이더 데이터를 넓은 대역폭으로 선별할 수 있다. 대역폭은 상술한 바와 같이 거리 분해능과 관련되어 있으므로, 대역폭을 달리 한 트레이닝 데이터에 기초하여 트레이닝된 해상도 증가 모델은, 거리 차원에서의 해상도가 증가된 레이더 스캔 이미지를 출력할 수 있다. 다만, 이로 한정하는 것은 아니고, 트레이닝 장치는 레이더 센서의 일부 안테나 데이터에 대응하는 저해상도 레이더 데이터, 전체 안테나 데이터에 대응하는 고해상도 레이더 데이터를 선별할 수도 있다. 또한, 트레이닝 장치는 복수의 처프 신호들 중 일부 처프 신호에 대응하는 저해상도 레이더 데이터, 전체 처프 신호들에 대응하는 고해상도 레이더 데이터를 선별할 수도 있다. 이러한 데이터 선별은 하나의 차원에서만 수행되는 것으로 한정하는 것은 아니고, 2개 이상의 차원에 대해서 복합적으로 레이더 데이터가 선별될 수도 있다.
어플리케이션에 따라, 해상도가 향상되어야 하는 차원이 달라질 수 있는데, 사용자가 향상시키길 원하는 차원에 따라 데이터 선별 동작 및 데이터 전처리 방식이 달라질 수 있다.
도 8은 일 실시예에 따른 거리 차원의 데이터 선별을 도시한다.
일 실시예에 따르면 트레이닝 장치는 거리 차원에 대해 원본 레이더 원시 데이터(890)에 할당된 대역(bandwidth) 중 일부 대역에 대응하는 레이더 데이터를 저해상도 레이더 데이터(821, 822)로서 선별할 수 있다. 예를 들어, 트레이닝 장치는 원본 레이더 원시 데이터(890)로부터, 고해상도 레이더 데이터(810) 및 저해상도 레이더 데이터(821, 822)를 거리 차원에서 선별할 수 있다. 도 8은 고해상도 레이더 데이터(810)가 원본 레이더 원시 데이터(890)인 예시를 설명한다. 트레이닝 장치는 고해상도 레이더 데이터(810)에서 처프 신호가 스윕(sweep)하는 대역폭을 감소시킴으로써 거리 차원에서의 해상도가 감소된 저해상도 레이더 데이터(821, 822)를 선별할 수 있다. 앞서 도 3에서 설명한 바와 같이, 처프 신호에서 세로 축은 주파수에 대응하므로, 트레이닝 장치는 주파수 범위를 제한하여 하나의 처프 신호를 복수의 신호들로 분할할 수 있다. 분할된 복수의 신호들의 각각은 저해상도 레이더 데이터(821, 822)에 대응할 수 있다.
도 9는 일 실시예에 따른 시선 속도 차원의 데이터 선별을 도시한다.
일 실시예에 따르면 트레이닝 장치는 도플러 속도 차원에 대해 원본 레이더 원시 데이터(990)에서 한 번의 스캔에 사용되는 처프(chirp) 신호들 중 일부 처프 신호에 대응하는 레이더 데이터를 저해상도 레이더 데이터(921, 922)로서 선별할 수 있다. 예를 들어, 한 번의 스캔에 사용되는 처프 신호들의 각각을 1번 처프, 2번 처프, 3번 처프, 4번 처프, 5번 처프, 및 6번 처프 등으로 넘버링할 수 있다. 이 때, 저해상도 레이더 데이터로서 1번 처프, 3번 처프, 및 5번 처프에 대응하는 데이터가 선별되거나, 2번 처프, 4번 처프, 및 6번 처프에 대응하는 데이터가 선별될 수 있다. 다만, 이로 한정하는 것은 아니고, 저해상도 레이더 데이터로서 1번 처프, 2번 처프, 및 3번 처프에 대응하는 저해상도 레이더 데이터가 선별될 수 있고, 4번 처프, 5번 처프, 및 6번 처프에 대응하는 저해상도 레이더 데이터가 선별될 수도 있다.
트레이닝 장치는 원본 레이더 원시 데이터(990)로부터 고해상도 레이더 데이터(910) 및 저해상도 레이더 데이터(921, 922)를 시선 속도 차원에서 선별할 수 있다. 도 9는 고해상도 레이더 데이터(910)가 원본 레이더 원시 데이터(990)인 예시를 설명한다. 트레이닝 장치는 고해상도 레이더 데이터(910)에서 한번의 스캔에 사용되는 처프 신호들 중 일부 처프 신호를 선별함으로써, 속도 차원에서 해상도가 감소된 저해상도 레이더 데이터(921, 922)를 선별할 수 있다.
도 10은 일 실시예에 따른 각도 차원의 데이터 선별을 도시한다.
일 실시예에 따르면 트레이닝 장치는 각도 차원에 대해 원본 레이더 원시 데이터에서 복수의 안테나 채널들 중 일부 안테나 채널에 대응하는 레이더 데이터를 저해상도 레이더 데이터로서 선별할 수 있다.
우선, 각 레이더 센서는 하나 이상의 송신 안테나(1010) 및 하나 이상의 수신 안테나(1020)를 포함할 수 있다. 레이더 센서에서 송신 안테나(1010) 및 수신 안테나(1020)의 조합은 가상 안테나처럼 동작할 수 있다. 예를 들어, 송신 안테나(1010)의 개수 NTX 및 수신 안테나(1020)의 개수 NRX인 경우, 가상 안테나의 개수 N는 NTX 및 NRX의 곱에 대응할 수 있다. 이런 레이더 센서 구조에서, 예를 들어, 각도 차원에서의 해상도는 하기 수학식 5와 같이 나타낼 수 있다.
[수학식 5]
상술한 수학식 5에서 
는 레이더 센서가 사용하는 파장, N은 가상 안테나들의 개수, d는 가상 안테나들 간의 거리, 
는 도래각을 나타낼 수 있다. 따라서, 가상 안테나의 개수가 증가할수록 각도 분해능이 작아지면서 향상되지만, 물리적으로 증가될 수 있는 개수에는 한계가 있다. 아래에서는 MIMO (Multiple Input and Multiple Output)에 사용된 가상 안테나들의 개수의 감소에 따른, 각도 차원에서 해상도가 증가되는 예시를 설명한다.
일 실시예에 따르면 트레이닝 장치는 원본 레이더 원시 데이터로부터 안테나 정보를 선별함으로써, 각도 차원에서 해상도가 감소된 저해상도 레이더 데이터를 선별할 수 있다.
예를 들어, 도 10은 하나의 송신 안테나(1010)로부터 8개의 수신 안테나(1020)가 신호를 수신하는 구조의 레이더 센서를 설명한다. 트레이닝 장치는 수신 안테나(1020)들 중 제1 수신 그룹(1031)에 속하는 안테나들에 대응하는 데이터를 고해상도 레이더 데이터로서 선별할 수 있다. 트레이닝 장치는 제1 수신 그룹(1031) 중 일부 서브 그룹(1032)에 속하는 안테나들에 대응하는 데이터를 저해상도 레이더 데이터로서 선별할 수 있다. 수학식 5에서 상술한 바와 같이 안테나 개수가 감소할수록 각도 분해능이 열화되므로, 일부 서브 그룹(1032)에 속하는 안테나들에 대응하는 데이터로부터 생성되는 레이더 스캔 이미지는 제1 수신 그룹(1031)에 속하는 안테나들에 대응하는 데이터로부터 생성되는 레이더 스캔 이미지보다 낮은 각도 해상도를 나타낼 수 있다.
유사하게, 트레이닝 장치는 수신 안테나(1020)들 중 제2 수신 그룹(1041)에 속하는 안테나들에 대응하는 데이터를 고해상도 데이터로서 선별하고, 제2 수신 그룹(1041)의 서브 그룹(1042)에 속하는 안테나들에 대응하는 데이터를 저해상도 레이더 데이터로서 선별할 수 있다. 제3 수신 그룹(1051) 및 그 서브 그룹(1052)에 대해서도 유사한 설명이 적용된다.
더 나아가, 트레이닝 장치는 제4 수신 그룹(1061) 내에서 복수의 서브 그룹들(1062)에 속하는 안테나에 대응하는 데이터를 이용하여, 복수의 서브 그룹들(1062) 개수 만큼의 저해상도 레이더 데이터를 선별할 수도 있다.
트레이닝 장치는 저해상도 레이더 데이터를 전처리하여 트레이닝 입력을 생성하고, 고해상도 레이더 데이터를 전처리하여 참값(GT, ground truth)인 트레이닝 출력을 생성할 수 있다. 본 명세서에서 참값인 트레이닝 출력은, 고해상도 트레이닝 참값이라고 나타낼 수 있고, 레이더 스캔 이미지 포맷일 수 있으나, 이로 한정하는 것은 아니고, 다양한 포맷의 데이터가 사용될 수도 있다.
도 8 내지 도 10에서 상술한 데이터 선별 동작 이후에는, 다음과 같은 방식으로 저해상도 레이더 데이터 및 고해상도 레이더 데이터가 전처리될 수 있다.
예를 들어, 레이더 데이터가 거리 차원, 각도 차원, 및 시선 속도 차원의 3개 차원으로 구성되는 경우, 트레이닝 장치는 3개 차원의 정보를 모두 활용하기 위해, 일반적인 레이더의 RSP (Radar Signal Processing) 동작을 각 데이터 차원 길이에 맞게 수행할 수 있다. RSP 동작은 거리 FFT, 각도 DBF, 및 속도 FFT를 통해 레이더 원시 데이터를 사람에 의해 해석 가능한 형태의 데이터로 변환하는 동작을 나타낼 수 있다. 원하는 고해상도 출력 데이터의 포맷이 고해상도의 거리-각도 맵(Range-angle map)이나 거리-도플러 맵(Range-Doppler map)인 경우, 트레이닝 장치는 고해상도 레이더 데이터에 대해 전처리 동작으로서, 각 포맷에 대응하는 2개 차원(예를 들어, 거리-각도 맵에 대해서는 거리 차원 및 각도 차원이고, 거리-도플러 맵에 대해서는 거리 차원 및 시선 속도 차원)의 RSP 동작 후 미사용된 차원에 비동기 집적(non-coherent integration)을 통해 SNR이 향상한 고해상도 트레이닝 참값을 생성할 수 있다. 이렇게 생성된 고해상도 트레이닝 참값은 트레이닝 과정에서 참값으로 활용될 수 있다. 이 때, 트레이닝 장치는 저해상도 레이더 데이터에 대해 전처리 동작으로서 각 포맷에 대응하는 2개 차원의 RSP 동작을 수행함으로써, 저해상도 트레이닝 입력을 생성할 수 있다.
예를 들어, 거리 차원에서 저해상도 트레이닝 입력 및 고해상도 트레이닝 참값을 생성하기 위해, 트레이닝 장치는 레이더가 스윕하는 대역폭 중 일부 대역폭의 데이터를 저해상도 레이더 데이터로서 선별할 수 있다. 트레이닝 장치는 전처리 동작으로서 선별된 저해상도 레이더 데이터 및 고해상도 레이더 데이터에 거리 FFT를 적용함으로써, 저해상도 트레이닝 입력 및 고해상도 트레이닝 참값을 생성할 수 있다.
다른 예를 들어, 시선 속도 차원에서 저해상도 트레이닝 입력 및 고해상도 트레이닝 참값을 생성하기 위해, 트레이닝 장치는 한 스캔에서 사용하는 처프 신호들 중 일부 신호에 대응하는 레이더 데이터를 저해상도 레이더 데이터로서 선별할 수 있다. 트레이닝 장치는 이렇게 선별된 저해상도 레이더 데이터 및 고해상도 레이더 데이터에 전처리 동작으로서 속도 FFT를 적용함으로써 저해상도 트레이닝 입력 및 고해상도 트레이닝 참값을 생성할 수 있다.
참고로, 트레이닝 장치는 전처리 동작에 있어서, 일반적인 FFT 계열의 기법이 아닌 다른 타입의 고해상도(high-resolution) 기법을 사용하여 보조 정보를 생성할 수 있다. 예를 들어, 트레이닝 장치는 최종 출력의 관심사항이 아닌 차원에 대하여 비동조 적분(non-coherent integration) 등의 방법을 통하여 SNR이 향상되고 차원이 축소된 트레이닝 출력을 생성할 수 있다. 아래 각도 차원의 예시에서 보조 정보 생성을 설명한다.
또 다른 예를 들어, 각도 차원에서 저해상도 트레이닝 입력 및 고해상도 트레이닝 참값을 생성하기 위해, 트레이닝 장치는 MIMO의 복수의 가상 안테나들 중 일부 안테나에 대응하는 레이더 데이터를 저해상도 레이더 데이터로서 선별할 수 있다. 이 때, 레이더 센서가 수평 각 및 고도 각을 개별적으로 추정할 수 있는 경우, 데이터 선별 및 전처리 동작은 수평 각 및 고도 각 차원에 대해 개별적으로 수행될 수도 있다. 트레이닝 장치는 전처리 동작으로서, DBF를 통해 저해상도 트레이닝 입력을 생성하고, MUSIC 등의 서브스페이스(subspace) 기반 도래각 추정 기법을 통해 센서 신뢰도(reliability) 보장을 위한 보조 정보를 생성할 수 있다. 트레이닝 장치는 DBF를 통해 고해상도 트레이닝 참값을 생성할 수도 있다.
각도 차원에서의 전처리 동작과 관련하여, 레이더 원시 데이터의 차원을 Nr×Ns×Nv로 정의하면, 거리 차원에 있어서 Nr은 빠른 시간 축에 대한 ADC 샘플의 개수이고, 각도 차원에 있어서 Ns는 가상 안테나 개수, 시선 속도 차원에 있어서 Nv는 한 번의 스캔에 사용하는 처프 신호의 개수일 수 있다. 도 10은 복수의 가상 안테나들 중 일부 안테나에 대응하는 저해상도 레이더 데이터를 선별하고, 전체 안테나에 대응하는 고해상도 레이더 데이터를 참값으로 설정하는 예시를 설명하였다. 예를 들어, 저해상도 레이더 데이터는 Nr×(Ns/4)×Nv일 수 있다. 트레이닝 데이터는 이 저해상도 레이더 데이터에 거리 FFT 및 DBF (Digital Beam Forming) 을 적용함으로써 저해상도 트레이닝 입력을 생성할 수 있다. 상술한 Nr×Ns×Nv 차원의 고해상도 레이더 데이터는 거리 FFT 및 DBF에 의해 NrFFT×NsFFT×Nv의 차원이 변경될 수 있다. 해상도 증가 모델이 향상된 각도 해상도를 가지는 거리-각도 맵(range-angle map)을 생성하기 위해서, 트레이닝 장치는 비동조 적분을 NrFFT×NsFFT×Nv의 차원의 데이터에 적용함으로써 SNR이 향상된 NrFFT×NsFFT×1의 차원 의 고해상도 트레이닝 참값을 생성할 수 있다. 고해상도 트레이닝 참값은 그레이 스케일 이미지 포맷의 거리-각도 맵으로 해석될 수 있고, 트레이닝 과정에서 참값으로 사용될 수 있다.
도 11은 일 실시예에 따른 해상도 증가 모델의 트레이닝 및 해상도 증가 동작을 설명한다.
일 실시예에 따르면 도 8 내지 도 10에서 상술한 바와 같이, 저해상도 트레이닝 입력(1110) 및 고해상도 트레이닝 참값(1140)이 생성될 수 있고, 해상도 증가 모델(1120)은 컨볼루션 레이어를 포함하는 뉴럴 네트워크로 구현될 수 있다. 예를 들어, 뉴럴 네트워크의 구조는 CNN(convolutional neural network), VDSR(Very Deep Super Resolution network), EDSR(enhanced deep super-resolution network), RDN(residual dense network), GAN(Generative adversarial network) 등 다양한 네트워크의 구조가 레이더 데이터에 맞게 수정 및 변경되어 사용될 수 있다. 저해상도 트레이닝 입력(1110) 및 고해상도 트레이닝 참값(1140)을 생성하기 위한 전처리 동작 및 뉴럴 네트워크 구조는 해상도를 향상시킬 차원에 따라 그 전처리 방식과 네트워크 구조 변경 지점 등이 달라질 수 있다.
예를 들어, 도 11에 도시된 바와 같이, 트레이닝 장치는 여러 장의 저해상도 트레이닝 입력(1110)(예를 들어, 저해상도 이미지)을 컬러 채널과 유사하게 스택하여 해상도 증가 모델(1120)에 입력할 수 있다. 2개의 레이어를 사용하는 CNN 구조의 해상도 증가 모델(1120)을 이용하는 경우, 트레이닝 장치는 첫 레이어에서 다중 처프(multi-chirp)으로 인한 저해상도 트레이닝 입력(1110)의 정보를 융합하고, 패치(patch)를 추출한 후에, 다음 레이어를 통해 비선형 맵핑(non-linear mapping)을 수행하고, 그 결과로부터 고해상도 출력 데이터를 복원(reconstruction)할 수 있다.
또한, 트레이닝 장치는 고해상도 트레이닝 참값(1140) 외에 트레이닝의 정확도를 개선하기 위한 보조 정보를 더 활용할 수도 있다. 일 실시예에 따르면 트레이닝 장치는 서브스페이스 타입 기반(subspace type based) 추정 기법에 기초하여 추정된 도래각 정보에 더 기초하여 해상도 증가 모델을 트레이닝시킬 수도 있다. 예를 들어, 레이더 분야에서 도래각(DoA, Direction of Arrival)를 추정하는 기법은 크게 쿼드래틱 타입(quadratic type)과 서브스페이스 타입(subspace type)으로 분류될 수 있다. 쿼드래틱 타입(Quadratic type)의 기법은 대표적으로 바트렛(Bartlett)이나 MVDR (Minimum Variance Distortionless Response)등을 포함할 수 있다. 서브스페이스 타입의 기법은, 아이겐 분해(eigen-decomposition)를 사용하는 MUSIC (MUlti SIgnal Classification)이나 ESPRIT (Estimation of Signal Parameters by Rotational Invariance Techniques)등을 포함할 수 있다. MUSIC은 아이겐 스페이스(eigenspace) 기반의 주파수 추정(frequency estimate) 기법으로 피사렌코(Pisarenko)의 고조파 분해(harmonic decomposition)을 일반화한 방법으로서, MUSIC의 신호 서브 스페이스 차원을 1로 놓을 경우 피사렌코(Pisarenko)의 기법과 동일할 수 있다.
DBF와 같은 방식에 비해 서브스페이스 기반의 MUSIC과 같은 기법들은 높은 정확도로 고해상도의 도래각 추정 결과를 나타낼 수 있다. 트레이닝 데이터의 트레이닝 출력을 DBF 기반의 결과만으로 구성하고, 손실 함수로서 MSE loss를 이용하여 트레이닝이 수행되면, 트레이닝된 모델로부터 출력되는 결과가 블러(blurry)할 수 있다. 도 11에서는 트레이닝 과정에서 해상도 증가 모델(1120)이 트레이닝 출력으로서 고해상도 레이더 이미지와 함께 MUSIC을 수행한 결과를 출력하도록 설계될 수 있다. 트레이닝 장치는 해상도 증가 모델(1120)에 기초하여 저해상도 트레이닝 입력(1110)으로부터 고해상도 임시 출력 및 임시 MUSIC 결과(1130)를 출력할 수 있고, 트레이닝 장치는 도 8 내지 도 10에서 상술한 바에 따라 생성된 고해상도 트레이닝 참값(1140) 및 참값의 MUSIC을 이용하여 고해상도 임시 출력 및 임시 MUSIC 결과(1130)에 대한 손실을 산출할 수 있다. 이렇게 산출된 손실이 최소화되도록 해상도 증가 모델(1120)이 트레이닝되면, 해당 해상도 증가 모델(1120)은, 블러(blurry) 레벨이 억제된 결과를 출력할 수 있다. 다시 말해, 트레이닝 장치는 MUSIC 결과를 보조 정보로서 이용함으로써 신뢰도를 확보할 수 있다. 트레이닝이 완료되면, 해상도 증가 모델(1120)에서 MUSIC과 같은 보조 정보를 출력하는 노드 내지 레이어가 제거될 수 있다. 따라서, 트레이닝이 완료된 해상도 증가 모델(1120)은, 저해상도 입력 데이터로부터 고해상도 출력 데이터만을 생성할 수 있다.
참고로, MUSIC 결과는 고해상도 레이더 데이터로부터 생성될 수 있으나, 이로 한정하는 것은 아니다. MUSIC 결과는 저해상도 레이더 데이터로부터도 생성될 수 있다.
도 12 및 도 13은 일 실시예에 따른 해상도 증가 모델이 GAN 구조로 구현된 예시를 설명한다.
GAN 구조는 해당 구조의 특징 및 적대적 손실(adversarial loss)로 인하여 실제 같은(realistic) 이미지를 결과로서 출력할 수 있다. 다만, GAN 구조로 된 해상도 증가 모델은 출력가능한 매니폴드(manifold)들 중 하나를 선택함으로써 분류기(discriminator)를 속일 수 있는 출력을 생성하는 것으로서, 그럴 듯한(plausible) 고해상도 출력을 생성할 뿐, 출력된 고해상도 출력의 신뢰도(reliability)가 보장되지 않을 수 있다. 센서에서는 신뢰도가 중요한 팩터이므로, GAN 구조에서 신뢰도를 보장할 수 있는 방법이 요구된다.
우선, 일 실시예에 따른 해상도 증가 모델은 GAN 구조로서 생성기 모델(generator model) 및 분류기 모델(discriminator)을 포함할 수 있다. 도 12는 GAN 구조로 된 해상도 증가 모델의 트레이닝 과정을 설명하고, 도 13은 트레이닝 완료 후 해상도 증가 모델을 이용한 고해상도 데이터 출력을 설명한다.
도 12에 도시된 바와 같이, 트레이닝 장치는 원본 레이더 원시 데이터(1290)로부터 트레이닝 데이터를 생성할 수 있다. 예를 들어, 도 12에서 트레이닝 장치는 원본 레이더 원시 데이터 자체를 고해상도 레이더 데이터로서 선별할 수 있고, 고해상도 레이더 데이터에 대해 고해상도 전처리 동작(1212)을 수행할 수 있다. 고해상도 전처리 동작은 거리 FFT(range FFT), DBF, 및 비동조 적분을 포함할 수 있다. 또한, 트레이닝 장치는 원본 레이더 원시 데이터로부터 임의의 차원(예를 들어, 도 12에서는 각도 차원)에 기초한 데이터 선별 동작(1211)을 수행하여 저해상도 레이더 데이터를 선별할 수 있다. 데이터 선별 동작(1211)은 도 8 내지 도 10에서 상술한 바와 같다. 트레이닝 장치는 저해상도 레이더 데이터에 대해서 저해상도 전처리 동작(1213)을 수행할 수 있다. 저해상도 전처리 동작(1213)은 거리 FFT, DBF, 및 MUSIC을 포함할 수 있다.
상술한 고해상도 전처리 동작(1212)의 결과로서, 트레이닝 장치는 참값 데이터를 고해상도 트레이닝 참값(1261)으로서 생성할 수 있다. 저해상도 전처리 동작(1213)의 결과로서 트레이닝 장치는 저해상도 트레이닝 입력(1262)을 생성할 수 있다. 또한, 저해상도 전처리 동작(1213)의 결과는 부가 입력(additional input)으로서 MUSIC 결과(1280)를 포함할 수도 있다. 다만, 부가 입력을 MUSIC 결과(1280)로 한정하는 것은 아니고, 레이더의 도래각을 추정하는 다른 기법의 결과일 수도 있다. 도 12에서 고해상도 트레이닝 참값(1261) 및 저해상도 트레이닝 입력(1262)은 거리-각도 맵일 수 있다.
다만, 저해상도 전처리 동작(1213) 및 고해상도 전처리 동작(1212)을 이로 한정하는 것은 아니고, 고해상도 전처리 동작(1213)이 MUSIC 알고리즘을 수행하는 동작을 더 포함하고, 저해상도 전처리 동작(1213)은 거리 FFT 및 DBF만 포함할 수도 있다. 이 경우, 고해상도 전처리 동작(1213)에서 출력된 MUSIC 결과가 추가 참값(additional GT)으로서 사용될 수도 있다.
일 실시예에 따른 트레이닝 장치는 임시 고해상도 출력(1270), 고해상도 트레이닝 참값(1261), 및 서브스페이스 타입 기반 추정 기법에 기초하여 추정된 도래각 정보로부터 분류기 모델(1250)에 의해 출력된 결과에 기초하여, 생성기 모델(1240) 및 분류기 모델(1250)을 트레이닝시킬 수 있다. 예를 들어, 서브스페이스 타입 기반 추정 기법은 MUSIC 알고리즘일 수 있고, MUSIC 결과값은 도래각 정보일 수 있다. 생성기 모델(1240) 및 분류기 모델(1250)은 도 6에서 상술한 바와 같은 구조로 구현될 수 있으나, 이로 한정하는 것은 아니다.
예를 들어, 트레이닝 장치는 생성기 모델(1240)에 기초하여 저해상도 트레이닝 입력(1262)으로부터 임시 고해상도 출력(1270)을 생성할 수 있다. 예를 들어, 트레이닝 장치는 저해상도 트레이닝 입력(1262)을 생성기 모델(1240)에 입력하고, 생성기 모델(1240)에 포함된 복수의 노드들을 포함하는 레이어들로 순차적으로 전파시킴으로써 임시 고해상도 출력(1270)을 생성할 수 있다. 생성기 모델(1240) 내에서 데이터의 전파 과정은 도 6에서 상술한 바와 유사하게 수행될 수 있다. 트레이닝 장치는 생성기 모델(1240)에 의해 출력된 임시 고해상도 출력(1270), 고해상도 트레이닝 참값(1261), 및 서브스페이스 타입 기반 추정 기법에 기초하여 추정된 도래각 정보를 분류기 모델(1250)에 입력할 수 있다.
트레이닝 장치는 분류기 모델(1250)을 이용하여 임시 고해상도 출력(1270), 고해상도 트레이닝 참값(1261), 및 서브스페이스 타입 기반 추정 기법에 기초하여 추정된 도래각 정보로부터 진위 정보(1259)를 출력할 수 있다. 진위 정보(1259)는 생성기 모델(1240)에 의해 출력된 임시 고해상도 출력(1270)이 기준 참값인 고해상도 트레이닝 참값(1261)에 비해 진짜(real)인지 가짜(fake)인지 여부를 지시하는 정보일 수 있다. 트레이닝 장치는 진위 정보(1259)에 기초하여 적대적 손실을 산출하고, 적대적 손실에 기초하여 생성기 모델(1240) 및 분류기 모델(1250)을 트레이닝시킬 수 있다. 트레이닝 장치는 생성기 모델(1240) 및 분류기 모델(1250) 중 한 모델만 트레이닝시키거나, 두 모델을 동시에 트레이닝시키거나, 두 모델을 각각 순차적으로 트레이닝시킬 수 있다.
트레이닝 장치는 트레이닝이 완료된 경우에 응답하여, 해상도 증가 모델로부터 분류기 모델(1250)을 제거할 수 있다.
여기서, 트레이닝 과정에서 사용되는 부가 입력(additional input)인 MUSIC 결과(1280)는 도미넌트(dominant)한 신호(signal)들의 위치를 지시하므로, 생성기 모델(1240)이 도미넌트한 신호들의 위치와 무관하게 임시 고해상도 출력(1270)을 생성하게 될 경우, 분류기 모델(1250)이 해당 출력을 쉽게 가짜라고 판별할 수 있다. 따라서, 도 12에 따라 트레이닝된 생성기 모델(1240)은 분류기 모델(1250)을 속이기(fooling) 위해서는, MUSIC과 같이 정확하게 예측된 도래각 정보 및 더 많은 안테나 데이터의 DBF가 표현할 수 있는 풍부한 정보가 모두 표현되는 출력 데이터를 생성하게 된다.
도 13에 도시된 바와 같이 GAN 구조에서 트레이닝이 완료된 후, 해상도 증가 모델에서는 분류기 모델이 제거될 수 있다.
일 실시예에 따른 레이더 데이터를 처리하는 장치는 레이더 신호의 송신 및 수신에 기초하여 레이더 센서에 의해 레이더 원시 데이터(1301)를 생성할 수 있다. 레이더 데이터를 처리하는 장치는 생성된 레이더 원시 데이터(1301)에 대해 전처리 동작(1310)을 수행할 수 있다. 전처리 동작(1310)은 거리 FFT 동작 및 DBF 동작을 포함할 수 있으나, 이로 한정하는 것은 아니다. 레이더 데이터를 처리하는 장치는 전처리 동작(1310)의 결과로서 입력 데이터(1360)를 생성할 수 있다. 도 13에 도시된 바와 같이, 입력 데이터(1360)는 거리-각도 맵의 포맷으로 된 레이더 스캔 이미지이고, 입력으로는 안테나 6개에 해당하는 데이터만 사용된 바, 상당히 러프(rough)한 각도 해상도를 나타낼 수 있다. 레이더 데이터를 처리하는 장치는 트레이닝된 생성기 모델(1340)을 포함하는 해상도 증가 모델에 기초하여, 레이더 원시 데이터(1301)를 전처리함으로써 생성된 입력 데이터(1360)로부터 고해상도 출력 데이터(1370)를 생성할 수 있다. 생성된 고해상도 출력 데이터(1370)는 입력 데이터(1360)에 비해 고해상도를 가질 수 있다.
도 14는 일 실시예에 따른 트레이닝 장치의 구성을 설명하는 블록도이다.
일 실시예에 따른 트레이닝 장치(1400)는 프로세서(1410) 및 메모리(1420)를 포함할 수 있다.
프로세서(1410)는 원본 레이더 원시 데이터를 구성하는 복수의 차원들 중 적어도 한 차원에 대응하는 정보에 기초하여, 원본 레이더 원시 데이터로부터 고해상도 트레이닝 참값(1442) 및 저해상도 트레이닝 입력(1441)을 생성할 수 있다. 예를 들어, 프로세서(1410)는 원본 레이더 원시 데이터를 거리 차원, 각도 차원, 및 시선 속도 차원 중 적어도 한 차원에 기초하여 선별하고, 선별된 데이터를 전처리하여 상술한 고해상도 트레이닝 참값(1442) 및 저해상도 트레이닝 입력(1441)을 생성할 수 있다. 프로세서(1410)는 저해상도 트레이닝 입력(1441)으로부터 고해상도 트레이닝 참값(1442)이 출력되도록 해상도 증가 모델(1430)을 트레이닝시킬 수 있다. 다만, 트레이닝 장치(1400)의 프로세서(1410)의 동작을 이로 한정하는 것은 아니고, 도 1 내지 도 13에서 트레이닝 과정과 관련한 동작들 중 적어도 하나를 병렬적으로 또는 순차적으로 수행할 수도 있다.
메모리(1420)는 해상도 증가 모델(1430)을 저장할 수 있다. 또한, 메모리(1420)는 트레이닝 데이터(1440) 및 해상도 증가 모델(1430)을 트레이닝시키기 위해 요구되는 데이터를 임시로 또는 반영구적으로 저장할 수도 있다. 예를 들어, 메모리(1420)는 트레이닝 입력(1441)으로부터 해상도 증가 모델(1430)에 기초하여 산출된 임시 고해상도 출력을 저장할 수도 있다. 트레이닝 데이터(1440)는 상술한 바와 같이 트레이닝 입력(1441) 및 트레이닝 출력(1442)의 쌍을 포함할 수 있다.
도 15는 일 실시예에 따른 레이더 데이터를 처리하는 장치의 구성을 설명하는 블록도이다.
레이더 데이터를 처리하는 장치(1500)는 레이더 센서(1510), 프로세서(1520), 및 메모리(1530)를 포함할 수 있다.
레이더 센서(1510)는 레이더 신호의 송신 및 수신에 기초하여 레이더 센서(1510)에 의해 레이더 원시 데이터를 생성할 수 있다. 레이더 센서(1510)는 도 2에서 상술한 바와 같이 구성될 수 있으나, 이로 한정하는 것은 아니다.
프로세서(1520)는 트레이닝된 해상도 증가 모델에 기초하여, 레이더 원시 데이터를 전처리함으로써 생성된 저해상도 입력 데이터로부터 고해상도 출력 데이터를 생성할 수 있다. 저해상도 입력 데이터는 예를 들어, 레이더 원시 데이터가 해석된 레이더 스캔 이미지일 수 있고, 레이더 센서의 성능 제한으로 인하여 해상도가 비교적 낮을 수 있다. 저해상도 입력 데이터는 입력 데이터라고 나타낼 수도 있다. 고해상도 출력 데이터는, 예를 들어, 해상도 증가 모델에 기초하여 저해상도 입력 데이터로부터 추론된 레이더 스캔 이미지로서, 저해상도 입력 데이터에 비해 상대적으로 높은 해상도를 가질 수 있다.
예를 들어, 프로세서(1520)는 저해상도 입력 데이터를 해상도 증가 모델에 입력하여 각 레이어로 순차적으로 전파시킴으로써, 최종 레이어에서 고해상도 출력 데이터를 생성할 수 있다. 해상도 증가 모델은 도 11 및 도 13에서 상술한 구조일 수 있으나, 이로 한정하는 것은 아니다.
프로세서(1520)는 레이더 원시 데이터에 대해 거리 고속 푸리에 변환 및 디지털 빔 형성 수행함으로써 저해상도 입력 데이터를 생성할 수 있다. 또한, 프로세서(1520)는 저해상도 입력 데이터로서 거리-도플러 맵 및 거리-각도 맵 중 하나의 맵(map)을 생성할 수 있다. 이 때, 프로세서(1520)는 저해상도 입력 데이터로서 생성된 맵으로부터, 해상도 증가 모델에 기초하여, 고해상도 출력 데이터로서 저해상도 입력 데이터와 동일한 타입의 맵을 출력할 수 있다. 예를 들어, 프로세서(1520)는 저해상도 입력 데이터로서 거리-각도 맵을 생성하는 경우, 고해상도 출력 데이터로서 거리-각도 맵을 출력할 수 있다. 다만, 프로세서(1520)의 동작을 이로 한정하는 것은 아니고, 도 1 내지 도 13에서 해상도 증가와 관련된 동작들 중 적어도 하나가 병렬적으로 또는 순차적으로 수행될 수도 있다.
메모리(1530)는 해상도 증가 모델을 저장할 수 있다. 또한, 메모리(1530)는 레이더 데이터를 처리하는 방법에 요구되는 정보를 임시적으로 또는 반영구적으로 저장할 수도 있다. 예를 들어, 메모리(1530)는 전처리 결과들, 해상도 증가 모델의 네트워크 구조 및 파라미터(예를 들어, 노드들 간의 연결 가중치)를 저장할 수도 있다.
도 16은 일 실시예에 따른 레이더 데이터 처리 장치가 모바일 단말에 구현된 예시를 설명한다.
예를 들어, 레이더 센서(1610)는 모바일 단말(1600)에 장착될 수 있다. 레이더 데이터를 처리하는 장치는 모바일 단말(1600)로서 구현될 수 있다. 모바일 단말(1600)은 레이더 센서(1610)가 적어도 일부에 대해 레이더 신호를 송신하고, 객체의 적어도 일부로부터 반사된 레이더 신호를 수신함으로써 레이더 원시 데이터를 생성할 수 있다.
모바일 단말(1600)은 레이더 원시 데이터로 대해 전처리 동작(1620)을 수행할 수 있다. 모바일 단말(1600)은 전처리 동작(1620)의 결과로서 저해상도 입력 데이터를 생성할 수 있고, 생성된 저해상도 입력 데이터를 해상도 증가 모델(1630)에 입력할 수 있다. 모바일 단말(1600)은 해상도 증감 모델에 기초하여 저해상도 입력 데이터로부터 고해상도 출력 데이터를 생성할 수 있다.
모바일 단말(1600)은 고해상도 출력 데이터에 기초하여 인식 동작(1640)을 수행할 수 있다. 예를 들어, 모바일 단말(1600)은 고해상도 출력 데이터에 기초하여 객체와 연관된 제스쳐 및 객체의 신원(identity) 중 적어도 하나를 인식하고, 인식된 결과를 지시할 수 있다, 인식된 결과를 지시하는 동작은 인식된 결과를 명시적으로 또는 암시적으로 지시하는 동작으로서, 예를 들어, 모바일 단말(1600)은 객체와 연관된 제스쳐가 인식되면, 인식된 제스쳐에 대응하는 동작(예를 들어, 기능 및/또는 어플리케이션 실행)을 포함할 수 있다. 다른 예를 들어, 인식된 결과를 지시하는 동작은 모바일 단말(1600)은 객체의 신원이 인식되면, 그 결과로서 객체의 신원 인식에 응답하여 잠금 상태였던 모바일 단말(1600)을 언락하는 동작 등을 포함할 수 있다.
참고로, 어플리케이션이 제스쳐 인식(1641)일 경우 전처리 동작(1620)으로서 마이크로 도플러(micro-Doppler, μD) 데이터를 추출하는 동작이 수행되어야 한다. 어플리케이션이 얼굴 등의 객체 인식(1642)일 경우, 수평 각 및 고도 각의 데이터를 추출할 수 있도록 안테나 및 데이터 동작이 설계될 필요가 있다.
우선, 제스쳐 인식(1641)을 위해, 레이더 데이터를 처리하는 장치는 전처리 동작(1620)으로서 STFT (Short Time Fourier Transform) 등을 통하여 시간 변화에 따른 도플러 주파수의 변화를 지시하는 마이크로 도플러 데이터를 산출할 수 있다. 트레이닝 과정 중 데이터 선별에 있어서, 트레이닝 장치는 원본 레이더 원시 데이터에서 여러 스캔에 걸친 처프 신호들 중 일부 신호에 대응하는 레이더 데이터를 선별할 수 있다. 트레이닝 장치는 선별된 데이터 중 저해상도 레이더 데이터 및 고해상도 레이더 데이터에 대해 각각 상술한 STFT 동작을 전처리 동작(1620)으로서 적용할 수 있다.
도 17은 일 실시예에 따른 레이더 데이터 처리 장치가 차량에 구현된 예시를 설명한다.
일 실시예에 따르면 복수의 레이더 센서들(1710)이 차량(1700)에 장착될 수 있다. 예를 들어, 복수의 레이더 센서들(1710)은 서로 다른 시야각을 가지도록 장착될 수 있다. 복수의 레이더 센서들(1710)의 각각은 다른 레이더 센서와 다른 방향을 향하도록(directing) 장착될 수 있다. 복수의 레이더 센서들(1710)의 시야각의 일부가 중첩될 수도 있으나, 이로 한정하는 것은 아니다.
레이더 데이터를 처리하는 장치는 복수의 레이더 센서들(1710)로부터 저해상도 레이더 원시 데이터를 중앙 프로세서(1720)로 전달할 수 있다. 중앙 프로세서(1720)가 저해상도 레이더 원시 데이터로부터 해상도 증가 모델에 기초하여 고해상도 출력 데이터를 생성할 수 있다. 중앙 프로세서(1720)는 고해상도 출력 데이터에 기초하여 주행 관련 정보를 생성할 수 있다. 주행 관련 정보는, 예를 들어, 차량(1700) 주변에 존재하는 객체들의 위치, 방향, 및 거리를 지시하는 맵, 주변 위험 정보, 및 차량(1700) 내비게이션 정보 등을 포함할 수 있다.
레이더 센서에 의해 생성되는 레이더 원시 데이터는 높은 차원의 정보를 가지므로, 데이터 크기가 크고, 더 나아가 멀티 레이더가 차량(1700) 주변을 모두 감지할 경우 레이더 원시 데이터의 데이터 량이 방대해질 수 있다. 일 실시예에 따른 레이더 데이터를 처리하는 장치는 각 레이더 센서에서 저해상도 레이더 데이터를 수집하고, 저해상도 레이더 데이터로부터 해상도 증가 모델에 기초하여 고해상도 출력 데이터를 생성할 수 있다. 이 경우, 전송 과정에서 저해상도 레이더 데이터가 전송되므로, 데이터 전송의 오버헤드가 낮아진다. 또한, 레이더 데이터를 처리하는 장치는 해상도 증감 모델을 이용하여 고해상도 출력 데이터를 생성하여 주행 관련 정보를 생성하므로, 보다 높은 정확도를 가지는 주행 관련 정보를 생성할 수 있다.
따라서, 일 실시예에 따른 레이더 데이터를 처리하는 장치는 차량(1700)용 레이더에 있어서, 향상된 해상도를 통하여 정밀한 위치 및 속도 추정, 하드웨어 경량화, 및 원시 데이터 전송 오버헤드 절감 등의 효과를 제공할 수 있다.
아울러, 도 17에서는 하나 이상의 레이더로부터 데이터를 받은 별도의 신호처리부(예를 들어, 중앙 프로세서(1720))가 해상도 증가 모델을 이용하여 저해상도 입력 데이터로부터 고해상도 출력 데이터를 생성하는 예시를 설명하였으나, 이로 한정하는 것은 아니다. 개별 레이더 센서가 해상도 증감 모델을 포함할 수 있고, 각각 해상도 증가 모델을 이용하여 자신이 수집한 저해상도 입력 데이터의 해상도를 적어도 한 차원에 대해 증가시킨 고해상도 출력 데이터를 생성할 수도 있다.
도 17에 도시된 바와 같이 해상도 증가 모델은 차량(1700)에 탑재되어, 주변 물체 탐지 및 차량(1700)의 위치 추정 그리고 이를 이용한 자율 주행에 응용될 수 있으나, 이로 한정하는 것은 아니고, 이러한 레이더 데이터를 카메라, 초음파, 라이다와 같은 이종 센서의 센싱 데이터 또는 GPS, V2X 통신 등의 정보에 융합함으로써 더욱 정밀한 ADAS 기술을 제공하는데 사용될 수도 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
1500: 레이더 데이터를 처리하는 장치
1510: 레이더 센서
1520: 프로세서
1530: 메모리
1510: 레이더 센서
1520: 프로세서
1530: 메모리
Claims (18)
- 원본 레이더 원시 데이터를 구성하는 복수의 차원들 중 적어도 한 차원에 대응하는 정보에 기초하여, 상기 원본 레이더 원시 데이터로부터 상기 고해상도 트레이닝 참값 및 저해상도 트레이닝 입력을 생성하는 단계; 및
상기 저해상도 트레이닝 입력 및 상기 고해상도 트레이닝 참값에 기초하여 해상도 증가 모델을 트레이닝시키는 단계
를 포함하는 레이더 해상도 증가 모델을 트레이닝시키는 방법. - 제1항에 있어서,
상기 원본 레이더 원시 데이터를 구성하는 복수의 차원들은,
도플러 속도, 수평 각도, 고도 각도, 및 거리 중 하나 또는 상기 도플러 속도, 상기 수평 각도, 상기 고도 각도, 및 상기 거리 중 둘 이상의 조합을 포함하는,
레이더 해상도 증가 모델을 트레이닝시키는 방법. - 제1항에 있어서,
상기 고해상도 트레이닝 참값 및 저해상도 트레이닝 입력을 생성하는 단계는,
상기 원본 레이더 원시 데이터로부터 저해상도 레이더 데이터를 선별하는 단계; 및
상기 선별된 저해상도 레이더 데이터를 전처리함으로써 상기 저해상도 트레이닝 입력을 생성하는 단계;
를 포함하는 레이더 해상도 증가 모델을 트레이닝시키는 방법. - 제3항에 있어서,
상기 저해상도 레이더 데이터를 선별하는 단계는,
각도 차원에 대해 상기 원본 레이더 원시 데이터에서 복수의 안테나 채널들 중 일부 안테나 채널에 대응하는 레이더 데이터를 상기 저해상도 레이더 데이터로서 선별하는 단계
를 포함하는 레이더 해상도 증가 모델을 트레이닝시키는 방법. - 제3항에 있어서,
상기 저해상도 레이더 데이터를 선별하는 단계는,
도플러 속도 차원에 대해 상기 원본 레이더 원시 데이터에서 한 번의 스캔에 사용되는 처프(chirp) 신호들 중 일부 처프 신호에 대응하는 레이더 데이터를 상기 저해상도 레이더 데이터로서 선별하는 단계
를 포함하는 레이더 해상도 증가 모델을 트레이닝시키는 방법. - 제3항에 있어서,
상기 저해상도 레이더 데이터를 선별하는 단계는,
거리 차원에 대해 상기 원본 레이더 원시 데이터에 할당된 대역(bandwidth) 중 일부 대역에 대응하는 레이더 데이터를 상기 저해상도 레이더 데이터로서 선별하는 단계
를 포함하는 레이더 해상도 증가 모델을 트레이닝시키는 방법. - 제3항에 있어서,
상기 선별된 저해상도 레이더 데이터를 전처리함으로써 상기 저해상도 트레이닝 입력을 생성하는 단계는,
상기 선별된 저해상도 레이더 데이터에 대해 거리 고속 푸리에 변환(FFT, fast fourier transform) 및 디지털 빔 형성(DBF, Digital Beam Forming)을 수행하는 단계
를 포함하는 레이더 해상도 증가 모델을 트레이닝시키는 방법. - 제7항에 있어서,
상기 선별된 저해상도 레이더 데이터를 전처리함으로써 상기 저해상도 트레이닝 입력을 생성하는 단계는,
상기 저해상도 레이더 데이터로부터 거리-도플러 맵 및 거리-각도 맵 중 적어도 하나를 생성하는 단계
를 포함하는 레이더 해상도 증가 모델을 트레이닝시키는 방법. - 제1항에 있어서,
상기 고해상도 트레이닝 참값 및 저해상도 트레이닝 입력을 생성하는 단계는,
상기 원본 레이더 원시 데이터로부터 고해상도 레이더 데이터를 선별하는 단계; 및
상기 선별된 고해상도 레이더 데이터를 전처리함으로써 상기 고해상도 트레이닝 참값을 생성하는 단계;
를 포함하는 레이더 해상도 증가 모델을 트레이닝시키는 방법. - 제1항에 있어서,
상기 해상도 증가 모델은 컨볼루션 레이어를 포함하는 뉴럴 네트워크로 구현되고,
상기 트레이닝시키는 단계는,
서브스페이스 타입 기반(subspace type based) 추정 기법에 기초하여 추정된 도래각 정보에 더 기초하여 상기 해상도 증가 모델을 트레이닝시키는 단계
를 포함하는 레이더 해상도 증가 모델을 트레이닝시키는 방법. - 제1항에 있어서,
상기 해상도 증가 모델은 생성기 모델(generator model) 및 분류기 모델(discriminator)을 포함하고,
상기 트레이닝시키는 단계는,
상기 생성기 모델에 기초하여 상기 저해상도 트레이닝 입력으로부터 임시 고해상도 출력을 생성하는 단계;
상기 임시 고해상도 출력, 상기 고해상도 트레이닝 참값, 및 서브스페이스 타입 기반 추정 기법에 기초하여 추정된 도래각 정보로부터 상기 분류기 모델에 의해 출력된 결과에 기초하여, 상기 생성기 모델 및 상기 분류기 모델을 트레이닝시키는 단계; 및
트레이닝이 완료된 경우에 응답하여, 상기 해상도 증가 모델로부터 상기 분류기 모델을 제거하는 단계
를 포함하는 레이더 해상도 증가 모델을 트레이닝시키는 방법. - 레이더 신호의 송신 및 수신에 기초하여 레이더 센서에 의해 레이더 원시 데이터를 생성하는 단계; 및
트레이닝된 해상도 증가 모델에 기초하여, 상기 레이더 원시 데이터를 전처리함으로써 생성된 입력 데이터로부터 고해상도 출력 데이터를 생성하는 단계
를 포함하는 레이더 데이터 처리 방법. - 제12항에 있어서,
상기 고해상도 출력 데이터를 생성하는 단계는,
상기 레이더 원시 데이터에 대해 거리 고속 푸리에 변환 및 디지털 빔 형성 수행함으로써 상기 입력 데이터를 생성하는 단계
를 포함하는 레이더 데이터 처리 방법. - 제12항에 있어서,
상기 고해상도 출력 데이터를 생성하는 단계는,
상기 입력 데이터로서 거리-도플러 맵 및 거리-각도 맵 중 하나의 맵(map)을 생성하는 단계; 및
상기 입력 데이터로서 생성된 맵으로부터, 상기 해상도 증가 모델에 기초하여, 상기 고해상도 출력 데이터로서 상기 입력 데이터와 동일한 타입의 맵을 출력하는 단계
를 포함하는 레이더 데이터 처리 방법. - 제12항에 있어서,
레이더 센서가 모바일 단말에 장착되고,
상기 레이더 원시 데이터를 생성하는 단계는,
상기 레이더 센서가 적어도 일부에 대해 레이더 신호를 송신하고, 객체의 적어도 일부로부터 반사된 레이더 신호를 수신함으로써 상기 레이더 원시 데이터를 생성하는 단계
를 포함하고,
상기 고해상도 출력 데이터에 기초하여 상기 객체와 연관된 제스쳐 및 상기 객체의 신원(identity) 중 적어도 하나를 인식하고, 인식된 결과를 지시하는 단계
를 더 포함하는 레이더 데이터 처리 방법. - 제12항에 있어서,
복수의 레이더 센서들이 차량에 장착되고,
상기 복수의 레이더 센서들로부터 저해상도 레이더 원시 데이터를 중앙 프로세서로 전달하는 단계;
상기 중앙 프로세서가 상기 저해상도 레이더 원시 데이터로부터 상기 해상도 증가 모델에 기초하여 상기 고해상도 출력 데이터를 생성하는 단계; 및
상기 고해상도 출력 데이터에 기초하여 주행 관련 정보를 생성하는 단계
를 더 포함하는 레이더 데이터 처리 방법. - 제1항 내지 제16항 중 어느 한 항의 방법을 수행하기 위한 명령어를 포함하는 하나 이상의 컴퓨터 프로그램을 저장한 컴퓨터 판독 가능 기록 매체.
- 해상도 증가 모델을 저장하는 메모리; 및
원본 레이더 원시 데이터를 구성하는 복수의 차원들 중 적어도 한 차원에 대응하는 정보에 기초하여, 상기 원본 레이더 원시 데이터로부터 상기 고해상도 트레이닝 참값 및 저해상도 트레이닝 입력을 생성하고, 상기 저해상도 트레이닝 입력으로부터 상기 고해상도 트레이닝 참값이 출력되도록 해상도 증가 모델을 트레이닝시키는 프로세서
를 포함하는 트레이닝 장치.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190073012A KR20200144862A (ko) | 2019-06-19 | 2019-06-19 | 레이더의 해상도 향상 방법 및 장치 |
| US16/658,229 US11506776B2 (en) | 2019-06-19 | 2019-10-21 | Method and device with improved radar resolution |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190073012A KR20200144862A (ko) | 2019-06-19 | 2019-06-19 | 레이더의 해상도 향상 방법 및 장치 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20200144862A true KR20200144862A (ko) | 2020-12-30 |
Family
ID=74037804
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190073012A KR20200144862A (ko) | 2019-06-19 | 2019-06-19 | 레이더의 해상도 향상 방법 및 장치 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US11506776B2 (ko) |
| KR (1) | KR20200144862A (ko) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102191007B1 (ko) * | 2019-04-19 | 2020-12-14 | 한국과학기술원 | 3 차원 이미지 생성 방법 및 장치 |
| US11719803B2 (en) * | 2019-07-02 | 2023-08-08 | Metawave Corporation | Beam steering radar with adjustable long-range radar mode for autonomous vehicles |
| KR20210065259A (ko) * | 2019-11-26 | 2021-06-04 | 삼성전자주식회사 | 레이더 장치 및 그 동작 방법 |
| US11639985B2 (en) * | 2020-07-02 | 2023-05-02 | International Business Machines Corporation | Three-dimensional feature extraction from frequency modulated continuous wave radar signals |
| US20220206140A1 (en) * | 2020-12-29 | 2022-06-30 | GM Global Technology Operations LLC | Increased radar angular resolution with extended aperture from motion |
| CN112764002B (zh) * | 2021-01-07 | 2022-09-30 | 北京理工大学重庆创新中心 | 一种基于可变形卷积的fmcw雷达手势识别方法 |
| US20220308166A1 (en) * | 2021-03-18 | 2022-09-29 | Wisense Technologies Ltd. | System and method for electromagnetic signal estimation |
| CN117980776A (zh) * | 2021-09-29 | 2024-05-03 | 索尼半导体解决方案公司 | 雷达装置及雷达装置的数据输出方法 |
| US20230140890A1 (en) * | 2021-11-09 | 2023-05-11 | Aptiv Technologies Limited | Machine-Learning-Based Super Resolution of Radar Data |
| CN116359908A (zh) * | 2021-12-27 | 2023-06-30 | 北京万集科技股份有限公司 | 点云数据增强方法、装置、计算机设备、系统及存储介质 |
| CN114740463B (zh) * | 2022-04-08 | 2024-04-12 | 桂林电子科技大学 | 一种能提高调频连续波雷达距离分辨率的方法 |
| CN115267786A (zh) * | 2022-07-29 | 2022-11-01 | 北京彩彻区明科技有限公司 | 融合卫星观测亮温和高程的ResUNet-GAN全球雷达反演方法及装置 |
Family Cites Families (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7245250B1 (en) * | 2005-08-16 | 2007-07-17 | Itt Manufacturing Enterprises, Inc. | Synthetic aperture radar image compression |
| WO2010122502A1 (en) * | 2009-04-20 | 2010-10-28 | Yeda Research And Development Co. Ltd. | Super-resolution from a single signal |
| JP6548376B2 (ja) * | 2014-10-06 | 2019-07-24 | 日本電産株式会社 | レーダシステム、レーダ信号処理装置、車両走行制御装置および方法、ならびにコンピュータプログラム |
| US10613208B2 (en) * | 2015-05-15 | 2020-04-07 | Texas Instruments Incorporated | Low complexity super-resolution technique for object detection in frequency modulation continuous wave radar |
| US9889859B2 (en) | 2015-12-21 | 2018-02-13 | Intel Corporation | Dynamic sensor range in advanced driver assistance systems |
| US20170206434A1 (en) * | 2016-01-14 | 2017-07-20 | Ford Global Technologies, Llc | Low- and high-fidelity classifiers applied to road-scene images |
| US9846228B2 (en) | 2016-04-07 | 2017-12-19 | Uhnder, Inc. | Software defined automotive radar systems |
| US10671082B2 (en) | 2017-07-03 | 2020-06-02 | Baidu Usa Llc | High resolution 3D point clouds generation based on CNN and CRF models |
| US20190080166A1 (en) | 2017-09-13 | 2019-03-14 | TuSimple | Data acquistion and input of neural network method for deep odometry assisted by static scene optical flow |
| EP3525000B1 (en) * | 2018-02-09 | 2021-07-21 | Bayerische Motoren Werke Aktiengesellschaft | Methods and apparatuses for object detection in a scene based on lidar data and radar data of the scene |
| CN111133447B (zh) * | 2018-02-18 | 2024-03-19 | 辉达公司 | 适于自主驾驶的对象检测和检测置信度的方法和系统 |
| CN111433627B (zh) * | 2018-04-05 | 2023-09-22 | 谷歌有限责任公司 | 使用机器学习执行角估计的基于智能设备的雷达系统 |
| US11966838B2 (en) * | 2018-06-19 | 2024-04-23 | Nvidia Corporation | Behavior-guided path planning in autonomous machine applications |
| KR20200010640A (ko) * | 2018-06-27 | 2020-01-31 | 삼성전자주식회사 | 모션 인식 모델을 이용한 자체 운동 추정 장치 및 방법, 모션 인식 모델 트레이닝 장치 및 방법 |
| US10976412B2 (en) * | 2019-02-01 | 2021-04-13 | GM Global Technology Operations LLC | Deep learning for super resolution in a radar system |
| US10956755B2 (en) * | 2019-02-19 | 2021-03-23 | Tesla, Inc. | Estimating object properties using visual image data |
| US20200393558A1 (en) * | 2019-06-13 | 2020-12-17 | Wisense Technologies Ltd. | System and method of enhancing a performance of an electromagnetic sensor |
-
2019
- 2019-06-19 KR KR1020190073012A patent/KR20200144862A/ko not_active Application Discontinuation
- 2019-10-21 US US16/658,229 patent/US11506776B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| US11506776B2 (en) | 2022-11-22 |
| US20200400810A1 (en) | 2020-12-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20200144862A (ko) | 레이더의 해상도 향상 방법 및 장치 | |
| JP7394582B2 (ja) | レーダーデータを処理する装置及び方法 | |
| US11719811B2 (en) | Method and device to improve radar data using reference data | |
| CN107076836B (zh) | 用于对机动车辆周围区域中的对象分类的方法、驾驶员辅助系统和机动车辆 | |
| US9274221B2 (en) | Method and apparatus for remote object sensing employing compressive sensing | |
| KR102516367B1 (ko) | 레이더 데이터를 처리하는 장치 및 방법 | |
| EP3842824A2 (en) | Method and device to process radar signal | |
| CN112230193A (zh) | 雷达数据处理设备和局部行程分辨力调整方法 | |
| KR20210106864A (ko) | 레이더 신호에 기초한 오브젝트 검출 방법 및 장치 | |
| CN112241003A (zh) | 用于对象检测的方法和系统 | |
| Lim et al. | DNN-based human face classification using 61 GHz FMCW radar sensor | |
| Kim et al. | Target classification using combined YOLO-SVM in high-resolution automotive FMCW radar | |
| KR20220141748A (ko) | 레이더 신호로부터 표적 정보를 추출하는 방법 및 컴퓨터 판독가능 저장 매체 | |
| US20230139751A1 (en) | Clustering in automotive imaging | |
| KR20220066796A (ko) | 레이더 신호 처리 방법 및 장치 | |
| KR20210154446A (ko) | 복소수 기반 어텐션 네트워크 연산 방법 및 장치 | |
| Gao | Efficient and Enhanced Radar Perception for Autonomous Driving Systems | |
| KR102669876B1 (ko) | 국지적 분해능을 조정하는 레이더 데이터 처리 장치 및 방법 | |
| US20230393257A1 (en) | Fractalet radar processing | |
| KR102673761B1 (ko) | 시간 영역 상관 관계 기법에 기초한 차량의 전방 관측 레이더 영상 생성 장치 및 그 방법 | |
| TWI834771B (zh) | 相機與雷達訊框之早期融合 | |
| US20230341545A1 (en) | Near field radar beamforming | |
| TWI834772B (zh) | 雷達深度學習 | |
| KR20240035140A (ko) | 레이더 신호 처리 방법 및 장치 | |
| CN117558128A (zh) | 基于仿真毫米波雷达的高速路侧感知识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E601 | Decision to refuse application |