KR20200108097A - 빔 조향 레이더 및 콘볼루션 신경망 시스템을 사용하는 물체 감지를 위한 방법 및 장치 - Google Patents

빔 조향 레이더 및 콘볼루션 신경망 시스템을 사용하는 물체 감지를 위한 방법 및 장치 Download PDF

Info

Publication number
KR20200108097A
KR20200108097A KR1020207025523A KR20207025523A KR20200108097A KR 20200108097 A KR20200108097 A KR 20200108097A KR 1020207025523 A KR1020207025523 A KR 1020207025523A KR 20207025523 A KR20207025523 A KR 20207025523A KR 20200108097 A KR20200108097 A KR 20200108097A
Authority
KR
South Korea
Prior art keywords
scan
radar
object detection
fmcw signal
chirps
Prior art date
Application number
KR1020207025523A
Other languages
English (en)
Inventor
아르민 알 뵐켈
매슈 해리슨
Original Assignee
메타웨이브 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 메타웨이브 코포레이션 filed Critical 메타웨이브 코포레이션
Publication of KR20200108097A publication Critical patent/KR20200108097A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4814—Constructional features, e.g. arrangements of optical elements of transmitters alone
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/08—Systems for measuring distance only
    • G01S13/32—Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S13/34—Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated using transmission of continuous, frequency-modulated waves while heterodyning the received signal, or a signal derived therefrom, with a locally-generated signal related to the contemporaneously transmitted signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/42—Simultaneous measurement of distance and other co-ordinates
    • G01S13/426—Scanning radar, e.g. 3D radar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G01S13/583—Velocity or trajectory determination systems; Sense-of-movement determination systems using transmission of continuous unmodulated waves, amplitude-, frequency-, or phase-modulated waves and based upon the Doppler effect resulting from movement of targets
    • G01S13/584—Velocity or trajectory determination systems; Sense-of-movement determination systems using transmission of continuous unmodulated waves, amplitude-, frequency-, or phase-modulated waves and based upon the Doppler effect resulting from movement of targets adapted for simultaneous range and velocity measurements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4817—Constructional features, e.g. arrangements of optical elements relating to scanning
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4911—Transmitters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4912—Receivers
    • G01S7/4913—Circuits for detection, sampling, integration or read-out
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G05D1/024—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/08—Systems for measuring distance only
    • G01S13/32—Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S13/34—Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated using transmission of continuous, frequency-modulated waves while heterodyning the received signal, or a signal derived therefrom, with a locally-generated signal related to the contemporaneously transmitted signal
    • G01S13/343—Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated using transmission of continuous, frequency-modulated waves while heterodyning the received signal, or a signal derived therefrom, with a locally-generated signal related to the contemporaneously transmitted signal using sawtooth modulation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/08—Systems for measuring distance only
    • G01S13/32—Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S13/36—Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
    • G01S13/38—Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal wherein more than one modulation frequency is used
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/52—Discriminating between fixed and moving objects or between objects moving at different speeds
    • G01S13/536—Discriminating between fixed and moving objects or between objects moving at different speeds using transmission of continuous unmodulated waves, amplitude-, frequency-, or phase-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9322—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles using additional data, e.g. driver condition, road state or weather data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/03—Details of HF subsystems specially adapted therefor, e.g. common to transmitter and receiver
    • G01S7/032—Constructional details for solid-state radar subsystems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/415—Identification of targets based on measurements of movement associated with the target

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Traffic Control Systems (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Optics & Photonics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)

Abstract

본 명세서에 개시된 예는 물체 감지 및 분류를 위한 자율 주행 차량의 레이더 시스템에 관한 것이다. 레이더 시스템은 적어도 하나의 빔 조향 안테나, 송수신기, 송수신기를 위한 스캔 파라미터의 세트를 조정하도록 구성되는 스캔 파라미터 제어기를 갖는 레이더 모듈과, 자율 주행 차량의 경로 및 주변 환경에 있는 물체를 감지하고 분류하기 위한 머신 러닝 모듈 및 분류기를 갖고, 레이더 모듈에 물체 데이터 및 레이더 제어 정보를 송신하는 인식 모듈을 갖는다.

Description

빔 조향 레이더 및 콘볼루션 신경망 시스템을 사용하는 물체 감지를 위한 방법 및 장치
관련 출원에 대한 상호 참조
본 출원은 2018년 2월 5일에 제출된 미국 가출원 번호 62/626,569에 대하여 우선권을 주장하고, 2019년 1월 4일에 제출되었고 그 자체가 2018년 1월 4일에 제출된 미국 가출원 번호 62/613,675에 대한 우선권을 주장하는 미국 특허 출원 번호 16/240,666에 관련되며, 그 둘 모두는 그 전체가 본 명세서에 참조로 포함된다.
자율 주행은 공상 과학 소설의 영역으로부터 실현 가능한 현실로 빠르게 이동하고 있다. 이미 시장에는 안전 및 더 나은 주행을 위해 차량을 자동화하고, 적응시키고, 향상시키는 첨단 운전자 보조 시스템("ADAS(Advanced-Driver Assistance System)")이 있다. 다음 단계는 조향, 가속, 제동, 및 주변 환경을 모니터링하는 것과 같은 주행 기능과 교통 상황, 길을 건너는 보행자, 동물 등을 회피하기 위해 필요할 때에 차선 또는 속도를 변경하는 것과 같은 이벤트에 대응하기 위한 주행 상태를 점점 더 많이 제어하는 차량이 될 것이다. 물체 및 이미지 감지에 대한 요구 사항은 매우 중요하며 데이터를 캡처하고 그것을 처리하고 실행하기 위해 필요한 시간을 지정한다. 이 모든 것이 정확성, 일관성, 및 비용 최적화를 보장한다.
이 작업을 수행하는 한 측면은 주변 환경에서 인간과 동일하거나 더 나은 수준으로 물체를 감지하고 분류하는 능력이다. 인간은 본질적으로 눈과 뇌의 두 가지 주요 기능 부분을 갖는 매우 복잡한 인지 시각계를 통해 주변 세계를 인식하고 인지하는 데 능숙하다. 자율 주행 기술에서, 눈은 카메라, 레이더, 라이더(lidar)와 같은 다수의 센서의 조합을 포함할 수 있는 반면, 뇌는 다수의 인공 지능, 머신 러닝, 및 딥 러닝 시스템을 포함할 수 있다. 목표는 역동적이고 빠르게 움직이는 환경을 실시간으로 완전히 이해하는 것 및 환경의 변화에 대응하여 행동하는 인간과 같은 지능을 갖는 것이다.
본 출원은 일정한 축척으로 그려져 있지 않고 유사한 참조 문자가 전체적으로 유사한 부분을 지칭하는 첨부 도면과 병용되는 이하의 상세한 설명과 관련되어 보다 완전히 이해될 수 있다.
도 1은 자율 주행 차량의 빔 조향 레이더 시스템이 물체를 감지하고 식별하기 위해 사용되는 예시적 환경을 보여준다.
도 2는 다양한 예에 따른 자율 주행 차량을 위한 자율 주행 시스템의 개략도이다.
도 3은 다양한 예에 따른 도 2에서와 같은 빔 조향 레이더 시스템의 개략도이다.
도 4는 다양한 예에 따른 도 3에서와 같이 구현된 빔 조향 레이더 시스템을 운용하기 위한 흐름도이다.
도 5는 다양한 예에 따른 레이더 신호 및 그 관련된 스캔 파라미터를 보여준다.
도 6은 다양한 예에 따른 빔 조향 레이더 시스템의 대역폭당 거리 분해능을 나타내는 그래프를 보여준다.
도 7a 및 도 7b는 스캔 파라미터와 설계 목표 사이의 예시적인 트레이드오프를 보여준다.
도 8a는 다양한 예에 따른 스캔 파라미터를 조정하기 위한 흐름도를 보여준다.
도 8b는 도 8a에서와 같은 조정을 위한 예시적인 스캔 파라미터를 보여준다.
도 9는 다양한 예에 따른 스캔 파라미터를 조정하기 위한 흐름도를 보여준다.
도 10은 다양한 예에 따른 스캔 파라미터를 조정하기 위한 흐름도를 보여준다.
도 11은 도 10의 조정을 위한 예시적인 스캔 파라미터를 보여준다.
빔 조향 레이더 및 콘볼루션 신경망 시스템을 사용하는 물체 감지를 위한 방법 및 장치가 개시된다. 방법 및 장치는 자율 주행 차량의 빔 조향 레이더에 의한 원시 데이터의 습득과 차량의 시야("FoV(Field-of-View)")에서 다수의 물체에 관한 정보를 추출하기 위해 인식 모듈을 통해 그 데이터를 처리하는 것을 포함한다. 이 정보는 위치, 크기, 속도, 물체 범주 등과 같은 감지된 물체의 파라미터, 치수, 또는 기술자(descriptor)일 수 있다. 물체는 도로, 벽, 건물, 및 도로 중앙의 중앙분리대와 같은 차량의 FoV에서의 구조 요소뿐만 아니라, 다른 차량, 보행자, 행인, 자전거 타는 사람, 식물, 나무, 동물 등을 포함할 수 있다. 빔 조향 레이더는 빔 조향을 가능하게 하도록 그 전기적 또는 전자기적 구성을 변경하는 것과 같이 동적으로 제어되는 적어도 하나의 빔 조향 안테나를 포함한다. 동적 제어는 차량의 FoV에서 물체를 식별하면 빔 조향 레이더에 그 레이더 스캔 파라미터를 조정함으로써 그 빔을 조향할 위치 및 관심 영역에 초점을 맞출 위치를 알리는 인식 모듈에 의해 도움을 받는다.
이하의 설명에서, 예의 완전한 이해를 제공하기 위해 다수의 특정한 세부 사항이 제시된다는 것이 이해된다. 그러나, 예는 이러한 특정한 세부 사항에 제한되지 않고 실시될 수 있다는 것이 이해된다. 다른 경우에, 잘 알려진 방법 및 구조는 예의 설명을 불필요하게 모호하게 하는 것을 피하기 위해 상세하게 설명되지 않을 수 있다. 또한, 예는 서로 조합하여 사용될 수 있다.
도 1은 자율 주행 차량의 빔 조향 레이더 시스템이 물체를 감지하고 식별하기 위해 사용되는 예시적인 환경을 보여준다. 자아 차량(ego vehicle)(100)은 FoV 또는 특정 영역을 스캔하기 위해 레이더 신호를 송신하기 위한 빔 조향 레이더 시스템(106)을 갖춘 자율 주행 차량이다. 이하에서 보다 상세하게 설명되는 바와 같이, 레이더 신호는 다수의 송신 빔(118)을 생성하도록 조정될 수 있는 스캔 파라미터의 세트에 따라 송신된다. 스캔 파라미터는, 특히, 레이더 송신 지점으로부터의 스캔 영역의 전체 각도, 송신된 레이더 신호의 전력, 각 증분 송신 빔의 스캔 각도뿐만 아니라, 각 빔 사이의 각도 또는 그 사이의 중첩을 포함할 수 있다. 전체 FoV 또는 그 일부는 연속적인 인접 스캔 위치 또는 특정한 또는 임의의 순서에 있을 수 있는 그러한 송신 빔(118)의 모임에 의해 스캔될 수 있다. FoV라는 용어는 본 명세서에서 레이더 송신과 관련하여 사용되며 시야가 차단되지 않은 시각적인 FoV를 의미하지 않는 것에 주의하라. 스캔 파라미터는 이들 증분 송신 빔 사이의 시간 간격뿐만 아니라, 전체 또는 부분 스캔에 대한 시작 및 중지 각도 위치를 나타낼 수도 있다.
다양한 예에서, 자아 차량(100)은 또한 카메라(102) 및 라이더(104)와 같은 다른 인식 센서를 가질 수 있다. 이들 인식 센서는 자아 차량(100)에 필요하지 않지만, 빔 조향 레이더 시스템(106)의 물체 감지 능력을 증가시키는 데 유용할 수 있다. 카메라 센서(102)는 가시적 물체 및 상태를 감지하고 다양한 기능의 수행을 지원하기 위해 사용될 수 있다. 라이더 센서(104)는 또한 물체를 감지하고 차량의 제어를 조정하기 위해 이 정보를 제공하는 데 사용될 수 있다. 이 정보는 고속도로에서의 혼잡, 도로 상태, 및 차량의 센서, 동작, 또는 작동에 영향을 미치는 다른 상태와 같은 정보를 포함할 수 있다. 카메라 센서는 현재 주차와 같은 주행 기능에서(예컨대, 후방 카메라에서) 운전자를 지원하기 위해 첨단 운전자 보조 시스템("ADAS")에서 사용된다. 카메라는 높은 수준의 디테일로 질감, 색상, 및 명암 정보를 포착할 수 있지만, 사람의 눈과 비슷하게, 악천후 상태 및 조명 변화에 취약하다. 카메라(102)는 고분해능을 가질 수 있지만 50미터를 넘는 물체를 구분할 수 없다.
라이더 센서는 일반적으로 빛의 펄스가 물체까지 이동하고 다시 센서로 돌아가는 데에 걸리는 시간을 계산함으로써 물체까지의 거리를 측정한다. 라이더 센서는, 차량의 맨 위에 위치하면, 주변 환경의 360° 3D 뷰를 제공할 수 있다. 다른 접근 방식은 차량 주변의 상이한 위치에서 여러 개의 라이더를 사용하여 전체 360° 뷰를 제공할 수 있다. 그러나 라이더(104)와 같은 라이더 센서는 여전히 엄청나게 비싸고, 크기가 크고, 기상 상태에 민감하며, 단거리(일반적으로 150~200미터 미만)로 제한된다. 반면에, 레이더는 수년 동안 차량에 사용되었으며 모든 기상 상태에서 작동한다. 또한 레이더는 다른 유형의 센서보다 훨씬 적은 프로세싱을 사용하며 장애물 뒤에 있는 물체를 감지하고 움직이는 물체의 속도를 알아내는 이점을 갖는다. 분해능에 관한 한, 라이더의 레이저 빔은 작은 영역에 초점이 맞추어지고, RF 신호보다 작은 파장을 가지며, 약 0.25 degree의 분해능을 달성할 수 있다.
다양한 예에서 그리고 이하에서 보다 상세하게 설명되는 바와 같이, 빔 조향 레이더 시스템(106)은 자아 차량의 경로 및 주변 환경의 360° 트루 3D 비전 및 인간과 유사한 해석을 제공할 수 있다. 레이더 시스템(106)은 빔 조향 안테나 모듈 (적어도 하나의 빔 조향 안테나를 갖는다)을 사용하여 360° FoV에서 모든 방향으로 RF 빔을 형성하고 조향할 수 있으며, 약 300미터 이상의 장거리에 걸쳐 신속하고 높은 정확도로 물체를 인식한다. 레이더(106)의 장거리 능력과 함께 카메라(102) 및 라이더(104)의 단거리 능력은 자아 차량(100)의 센서 결합 모듈(108)이 그 물체 감지 및 식별을 향상시킬 수 있게 한다.
이제 다양한 예에 따른 자아 차량을 위한 자율 주행 시스템의 개략도를 보여주는 도 2에 주목한다. 자율 주행 시스템(200)은 주행 기능의 일부의 또는 전체의 자동화를 제공하는 자아 차량에서 사용하기 위한 시스템이다. 주행 기능은, 예컨대, 조향, 가속, 제동, 및 주변 환경을 모니터링하는 것과, 교통 상황, 길을 건너는 보행자, 동물 등을 회피하기 위해 필요할 때에 차선 또는 속도를 변경하는 것과 같은 이벤트에 대응하기 위한 주행 상태를 포함할 수 있다. 자율 주행 시스템(200)은 빔 조향 레이더 시스템(202)과, 카메라(204), 라이더(206), 인프라 구조(infrastructure) 센서(208), 환경 센서(210), 작동 센서(212), 사용자 선호 센서(214), 및 다른 센서(216)와 같은 다른 센서 시스템을 포함한다. 자율 주행 시스템(200)은 또한 통신 모듈(218), 센서 결합 모듈(220), 시스템 컨트롤러(222), 시스템 메모리(224), 및 V2V 통신 모듈(226)을 포함한다. 자율 주행 시스템(200)의 이러한 구성은 예시적인 구성이며 도 2에 도시된 특정한 구조로 제한되는 것을 의미하지 않는다는 것이 이해된다. 도 2에 나타내지 않은 추가 시스템 및 모듈이 자율 주행 시스템(200)에 포함될 수 있다.
다양한 예에서, 빔 조향 레이더 시스템(202)은 차량의 360° FoV의 하나 또는 다수의 부분에 초점을 맞출 수 있는 동적으로 제어 가능하고 조향 가능한 빔을 제공하기 위한 적어도 하나의 빔 조향 안테나를 포함한다. 빔 조향 안테나로부터 방사된 빔은 차량의 경로 및 주변 환경의 물체로부터 반사되고, 물체를 감지하고 식별하기 위해 레이더 시스템(202)에 의해 수신 및 처리된다. 레이더 시스템(202)은 원하는 대로 물체를 감지 및 식별하고 레이더 모듈을 제어하도록 훈련되는 인식 모듈을 포함한다. 카메라 센서(204) 및 라이더(206)는, 비록 훨씬 더 낮은 범위이긴 하지만, 자아 차량의 경로 및 주변 환경에 있는 물체를 식별하기 위해 사용될 수도 있다.
인프라 구조 센서(208)는 주행 중에 인프라 구조로부터, 예컨대 스마트 도로 구성과, 빌보드 정보와, 신호등, 정지 신호, 교통 경고 등을 포함하는 교통 경보 및 지시기(indicator)로부터 정보를 제공할 수 있다. 이것은 성장하는 영역이며, 이 정보에서 비롯되는 용도와 능력은 엄청나다. 환경 센서(210)는 특히 기온, 습도, 안개, 시계(visibility), 강수량 등과 같은 외부의 다양한 상태를 감지한다. 작동 센서(212)는 차량의 기능 작동에 대한 정보를 제공한다. 이것은 타이어 공기압, 연료량, 브레이크 마모 등일 수 있다. 사용자 선호 센서(214)는 사용자가 선호하는 것의 일부인 상태를 감지하도록 구성될 수 있다. 이것은 기온 조정, 스마트 창문 가림 등일 수 있다. 다른 센서(216)는 차량 내부 및 주변의 상태를 모니터링하기 위한 추가 센서를 포함할 수 있다.
다양한 예에서, 센서 결합 모듈(220)은 이들 다양한 기능을 최적화하여 차량 및 환경의 대략적으로 포괄적인 뷰를 제공한다. 많은 유형의 센서가 센서 결합 모듈(220)에 의해 제어될 수 있다. 이들 센서는 정보를 공유하고 하나의 제어 동작이 다른 시스템에 미치는 영향을 고려하기 위해 서로 조직화할 수 있다. 한 예에서, 혼잡한 주행 상태에서, 노이즈 감지 모듈(도시하지 않음)은 차량과 간섭할 수 있는 다수의 레이더 신호가 있는 것을 식별할 수 있다. 이 정보는 이들 다른 신호를 피하고 간섭을 최소화하도록 레이더의 스캔 파라미터를 조정하기 위해 레이더(202)의 인식 모듈에 의해 사용될 수 있다.
다른 예에서, 환경 센서(210)는 날씨가 변하고 있는 것 및 시계가 감소하고 있는 것을 감지할 수 있다. 이 상황에서, 센서 결합 모듈(220)은 이들 새로운 상태에서 차량이 길을 찾는 능력을 향상시키기 위해 다른 센서를 설정하도록 결정할 수 있다. 설정은 카메라 또는 라이더 센서(204 또는 206)를 끄거나 이들 시계 기반 센서의 샘플링 속도를 줄이는 것을 포함할 수 있다. 이것은 실질적으로 현재 상황에 적응된 센서(들)에 의존한다. 이에 응답하여, 인식 모듈은 이들 상태에 대해서도 레이더(202)를 설정한다. 예컨대, 레이더(202)는 더 집중된 빔을 제공하기 위해 빔 폭을 감소시킬 수 있고, 따라서 더 정밀한 감지 능력을 제공할 수 있다.
다양한 예에서, 센서 결합 모듈(220)은 이력 상태 및 제어에 기초하여 메타 구조(metastructure) 안테나에 직접 제어를 보낼 수 있다. 센서 결합 모듈(220)은 또한 시스템(200) 내의 일부의 센서를 사용하여 다른 센서에 대한 피드백 또는 교정(calibration)으로서 동작할 수 있다. 이러한 방식으로, 작동 센서(212)는 템플릿, 패턴, 및 제어 시나리오를 생성하기 위해 인식 모듈 및/또는 센서 결합 모듈(220)에 피드백을 제공할 수 있다. 이들은 성공적인 동작에 기초하거나 불량한 결과에 기초할 수 있으며, 센서 결합 모듈(220)은 과거의 동작으로부터 학습한다.
센서(202~216)로부터의 데이터는 자율 주행 시스템(200)의 표적 감지 및 식별 성능을 개선하기 위해 센서 결합 모듈(220)에서 결합될 수 있다. 센서 결합 모듈(220)은 시스템 컨트롤러(222)에 의해 자체적으로 제어될 수 있으며, 이는 또한 차량의 다른 모듈 및 시스템과 상호 작용하고 제어할 수 있다. 예컨대, 시스템 컨트롤러(222)는 원하는 대로 상이한 센서(202~216)를 켜고 끄거나, 주행 위험요소(예컨대, 사슴, 보행자, 자전거 타는 사람, 또는 차량의 경로에 갑자기 나타나는 다른 차량, 날아다니는 잔해 등)를 식별하면 정지하라는 지시를 차량에 제공할 수 있다.
자율 주행 시스템(200)의 모든 모듈 및 시스템은 통신 모듈(218)을 통해 서로 통신한다. 자율 주행 시스템(200)은 또한 시스템(200) 및 시스템(200)을 사용하는 자아 차량의 작동에 사용되는 정보 및 데이터(예컨대, 정적 및 동적 데이터)를 저장할 수 있는 시스템 메모리(224)를 포함한다. V2V 통신 모듈(226)은 다른 차량과의 통신에 사용된다. V2V 통신은 또한 차량의 사용자, 운전자, 또는 운전자에게 보이지 않는 다른 차량으로부터의 정보를 포함할 수 있으며, 차량이 사고를 피하도록 조정하는 데 도움이 될 수 있다.
도 3은 다양한 예에 따른 도 2에서와 같은 빔 조향 레이더 시스템의 개략도를 보여준다. 빔 조향 레이더 시스템(300)은 트루 3D 비전을 갖는 "디지털 눈"이며, 인간과 유사하게 세상을 해석할 수 있다. "디지털 눈" 및 인간과 유사한 해석 능력은 레이더 모듈(302) 및 인식 모듈(304)의 두 가지 주요 모듈에 의해 제공된다. 레이더 모듈(302)은 자율 주행 자아 차량의 360° FoV의 하나 또는 다수의 부분에 초점을 맞출 수 있는 동적으로 제어 가능하고 조향 가능한 빔을 제공하기 위한 적어도 하나의 빔 조향 안테나(306)를 포함한다. 현재의 빔 조향 안테나 구현은 최대 120~180° FoV의 빔을 조향할 수 있는 것에 주의하라. 완전한 360° FoV에 도달하기 위한 조향성을 제공하려면 다수의 빔 조향 안테나가 필요할 수 있다.
다양한 예에서, 빔 조향 안테나(306)는 다수의 조향 각도에서 RF 신호를 제공하기 위해 RFIC와 통합된다. 안테나는 메타 구조 안테나, 위상 배열 안테나, 또는 밀리미터파 주파수로 RF 신호를 방사할 수 있는 임의의 다른 안테나일 수 있다. 본 명세서에서 일반적으로 정의된 메타 구조는 그 기하학적 구조에 기초하여 원하는 방향으로 입사 방사선을 제어하고 조작할 수 있는 설계된 구조이다. 메타 구조 안테나는, 예컨대, 전력을 분할하고 임피던스 매칭을 제공하는 피드 또는 전력 분할 레이어, 조향 각도 제어 및 다른 기능을 제공하는 RFIC를 갖는 RF 회로 레이어, 및 다수의 마이크로스트립, 갭, 패치, 비아(via) 등을 갖는 메타 구조 안테나 레이어를 포함하는 다양한 구조 및 레이어를 포함할 수 있다. 메타 구조 레이어는 메타 물질(metamaterial) 레이어를 포함할 수 있다. 빔 조향 안테나(306)의 다양한 구성, 형상, 디자인, 및 치수는 특정한 설계를 구현하고 특정한 제약을 충족시키기 위해 사용될 수 있다.
레이더 제어는 부분적으로 인식 모듈(304)에 의해 제공된다. 레이더 모듈(302)에 의해 생성된 레이더 데이터는 물체 감지 및 식별을 위해 인식 모듈(304)에 제공된다. 레이더 데이터는 메타 구조 안테나(306)에 의해 방사된 RF 신호를 송신하고 이들 RF 신호의 반사를 수신할 수 있는 레이더 칩셋을 갖는 송수신기(308)에 의해 획득된다. 인식 모듈(304)에 있어서의 물체 감지 및 식별은 머신 러닝 모듈("MLM(Machine Learning Module)")(312) 및 분류기(314)에서 수행된다. 차량의 FoV에서 물체를 식별하면, 인식 모듈(304)은 필요에 따라 빔 조향 및 빔 특성을 조정하기 위해 레이더 모듈(302)의 안테나 제어기(310) 및 스캔 파라미터 제어기(316)에 물체 데이터 및 제어 명령을 제공한다. 안테나 제어기(310)는 조향 각도와 같은 안테나 파라미터를 제어하는 반면 스캔 파라미터 제어기(316)는 송수신기(308)에서의 레이더 신호의 스캔 파라미터를 조정한다. 예컨대, 인식 모듈(304)은 차량의 경로에서 자전거 타는 사람을 감지하고 레이더 모듈(302)이 주어진 조향 각도로 그리고 자전거 타는 사람의 위치에 대응하는 FoV의 부분 내에서 추가 RF 빔을 집중시키도록 지시할 수 있다.
다양한 예에서, MLM(312)은, 다양한 예에서, 입력으로부터 출력까지 3개의 적층된 콘볼루션 레이어를 갖는 완전한 콘볼루션 신경망("FCN(fully convolutional neural network)")인 CNN을 구현한다(추가 레이어가 또한 CNN에 포함될 수 있다). 이들 레이어의 각각은 또한 종래의 L2 규칙화(L2 regularization)에 대한 대체로서 정류된 선형 활성화 함수(rectified linear activation function)와 배치 정규화(batch normalization)를 수행하며 각 레이어는 64개의 필터를 갖는다. 많은 FCN과 달리, 입력의 크기가 비교적 작고 압축 없이 런타임 요구 사항이 충족되기 때문에 데이터는 네트워크를 통해 전파되는 동안에 압축되지 않는다. 다양한 예에서, CNN은 원시 레이더 데이터, 합성 레이더 데이터, 라이더 데이터로 훈련된 다음에 레이더 데이터 등으로 다시 훈련될 수 있다. 양호한 물체 감지 및 식별 성능을 달성하도록 CNN을 훈련하기 위해 다수의 훈련 옵션이 구현될 수 있다.
분류기(314)는 또한 레이더 모듈(302)에 의해 획득된 레이더 데이터에서의 속도 정보 및 마이크로 도플러 시그니처(micro-doppler signature)를 사용하여 인식 모듈(304)의 물체 식별 능력을 향상시키기 위해 CNN 또는 다른 물체 분류기를 포함할 수 있다. 물체가 천천히 움직이고 있을 때, 또는 도로 차선 밖에서 이동하고 있을 때, 그것은 동력 설비를 갖춘 차량이 아닌, 사람, 동물, 자전거 타는 사람 등일 가능성이 높다. 유사하게, 하나의 물체가 고속으로 이동하고 있지만, 고속도로에서의 다른 차량의 평균 속도보다 낮을 때, 분류기(314)는 이 속도 정보를 사용하여 그 차량이 트럭인지 또는 더 느리게 이동하는 경향이 있는 다른 물체인지를 결정한다. 유사하게, 일부 국가에서(예컨대, 미국에서) 고속도로의 맨 오른쪽 차선과 같은 물체의 위치는 보다 느리게 움직이는 유형의 차량을 나타낸다. 물체의 움직임이 도로의 경로를 따르지 않는 경우, 물체는 도로를 가로질러 달리는 사슴과 같은 동물일 수 있다. 이 모든 정보는 다양한 센서와, 날씨 및 교통 서비스뿐만 아니라 다른 차량 또는 스마트 도로 및 스마트 교통 표지와 같은 환경 자체로부터 제공되는 정보를 포함하는, 차량에 사용할 수 있는 정보로부터 결정될 수 있다.
속도 정보는 레이더 센서 고유의 것임에 주의하라. 레이더 데이터는 (ri, θi,
Figure pct00001
i, Ii, vi) 형식의 데이터 튜플을 갖는 다차원 형식으로 되어 있고, 여기서 ri, θi,
Figure pct00002
i는 물체의 위치 좌표를 나타내고, ri는 레이더 시스템(300)과 그 시선을 따른 물체 사이의 범위 또는 거리를 나타내고, θi는 방위각이고,
Figure pct00003
i는 앙각이고, Ii는 송수신기(308)로 되돌려지는 송신 전력의 양을 나타내는 강도 또는 반사율이고, vi는 레이더 시스템(300)과 그 시선을 따른 물체 사이의 속도이다. 인식 모듈(304)에 의해 레이더 모듈(302)에 제공되는 위치 및 속도 정보는 안테나 제어기(310) 및 스캔 파라미터 제어기(316)가 그에 따라 그 파라미터를 조정할 수 있게 한다.
이제 도 3에서와 같이 구현된 빔 조향 레이더 시스템을 작동하기 위한 흐름도를 보여주는 도 4를 주목한다. 먼저, 빔 조향 레이더 시스템이 스캔 파라미터의 세트를 사용하여 빔 조향 레이더 스캔의 송신을 개시한다(400). 레이더 스캔은, 다양한 예에서, 주파수 변조 연속 파장("FMCW(Frequency-Modulated Continuous Wave)") 신호일 수 있다. FMCW 신호는 레이더 시스템이 송신된 신호와 수신된/반사된 신호 또는 에코 사이의 위상 또는 주파수에서의 차이를 측정함으로써 물체까지의 범위를 측정하게 한다. FMCW 형식에는, 삼각형, 톱니, 직사각형 등을 포함하여 사용될 수 있는 다양한 변조 패턴이 있으며, 각각 이점과 용도를 갖는다. FMCW 신호 내에는, 각각이 송신 빔에 대응하는 다수의 파형 또는 처프(chirp)가 있을 수 있다. 송신 빔이 물체에 부딪히면, 빔은 물체에서 반사될 것이고 귀환 신호 또는 에코가 레이더 시스템에서 수신된다(402).
에코는 물체를 감지하기 위해 인식 모듈(304)에서 MLM에 의해 분석된다(404). 물체가 감지되지 않으면, 빔 조향 레이더 시스템(300)은 추가 스캔과 함께 에코를 계속 기다린다. 빔 조향 레이더 시스템은 빔 송신을 중지하지 않고, 자아 차량이 작동하는 한 스캔이 수행된다. 인식 모듈(304)이 에코에서 물체가 감지된 것을 나타내면, 물체의 위치 및 그 속도와 같은 물체 정보가 추출되고 레이더 모듈(302)에 보내진다(406). 인식 모듈(304)은 또한 다음 스캔에서 레이더 빔을 어디에 집중시킬지에 대한 정보를 보낼 수 있다. 물체 정보는 도 5~도 11을 참조하여 이하에서 설명되는 것과 같이 다양한 방식으로 스캔 파라미터를 조정하도록(408) 스캔 파라미터 제어기(316)에 알릴 것이다. 그런 다음 인식 모듈(304)은 물체를 분류하고(410) 물체 분류 결과를 차량의 센서 결합 모듈에 보내어, 다른 센서로부터의 물체 감지/분류와 함께 차량에 대해, 취할 제어 동작이 있다면, 어떤 제어 동작(예컨대, 속도 감소, 차선 변경, 제동 등)을 취할지 결정한다.
도 5는 레이더 신호 및 그 관련 스캔 파라미터를 더 상세하게 보여준다. 레이더 신호(500)는 처프(502~506)와 같은 일련의 처프를 포함하는 FMCW 신호이다. 신호(500)는 물체의 위치, 그 분해능 및 속도를 결정하는 방법에 영향을 미치는 파라미터의 세트에 의해 정의된다. 신호(500)와 관련되고 도 5에 도시된 파라미터는 다음을 포함한다. (1) 처프 신호의 최소 및 최대 주파수 fmax 및 fmin. (2) 하나의 처프 시퀀스에 대한 총 시간 Ttotal. (3) 레이더 시스템에서 위상 고정 루프("PLL(Phase Locked Loop)")에 대한 정착 시간을 나타내는 Tdelay. (4) 실제 측정 시간 Tmeas(예컨대, 300미터 이내의 물체를 감지하는 처프 시퀀스의 경우 2㎲보다 크다). (5) 하나의 처프의 총 시간 Tchip. (6) 처프 사이의 반복 시간 Trepeat. (7) 처프의 총 대역폭 B. (8) 처프의 유효 대역폭 Beff. (9) 연속 측정 사이의 대역폭 ΔBeff. (10) 처프당 행하여지는 측정의 횟수 Nr(즉, 각 처프마다, 에코에 대하여 행하여질 측정 횟수). (11) 시퀀스당 처프의 수 Nc.
물체의 거리 및 거리 분해능은 이하와 같이 그리고 대역폭 B당 범위 분해능을 나타내는 그래프(600)로 도 6에 도시된 바와 같이 처프 파라미터 Nr 및 Beff에 의해 완전히 결정된다.
Figure pct00004
(식 1)
Figure pct00005
(식 2)
물체의 속도 및 속도 분해능은 처프 시퀀스 파라미터에 의해서도 완전히 결정된다. 달성되는 최소 속도 또는 분해능은 이하와 같이 결정된다(c는 빛의 속도를 나타낸다).
Figure pct00006
(식 3)
보다 높은 레이더 주파수는 동일한 시퀀스 파라미터에 대해 보다 나은 속도 분해능을 제공한다. 최대 속도는 이하와 같이 주어진다.
Figure pct00007
(식 4)
스캔 파라미터 사이의 추가 관계는 이하의 식에 의해 주어지고, 식 5는 샘플 속도를 나타내고, 식 6은 연속 측정 사이의 시간 Δt를 나타내고, 식 7은 범위 분해능을 나타내고, 식 8은 처프 시간을 나타내고, 식 9는 최대 속도를 나타낸다.
Figure pct00008
(식 5)
Figure pct00009
(식 6)
Figure pct00010
(식 7)
Figure pct00011
(식 8)
Figure pct00012
(식 9)
파라미터 Rmax가 고정되면, vmax와 Rmin은 더 이상 독립적이지 않은 것에 주의하라. 또한 식 5의 샘플 속도 fsample은 선택된 최대 속도 및 범위에 대해 얼마나 세밀한 범위 분해능이 실현될 수 있는지를 결정한다. 또한 이하의 식 1~9를 사용하여 주어진 설계 목표에 대한 스캔 파라미터를 설정할 수 있는 것에 주의하라. 예컨대, 장거리에서 고분해능으로 물체를 감지하기 위해, 레이더 시스템(300)은 처프당 많은 수의 측정을 수행해야 한다. 목표가 장거리에서 고속으로 물체를 감지하는 것이라면, 처프 시간이 낮아야 처프 시간이 제한된다. 첫 번째 경우, 장거리에서의 고분해능 감지는 레이더 시스템의 신호 처리 유닛의 대역폭에 의해 제한된다. 두 번째 경우에는, 장거리에서의 높은 최대 속도가 레이더 칩셋의 데이터 획득 속도(분해능도 제한한다)에 의해 제한된다.
도 7a, 도 7b는 스캔 파라미터와 설계 목표 사이의 예시적인 트레이드오프를 보여준다. 도 7a에서, 표(700)는 장거리에서 물체를 감지하는 것이 목표인 단일 처프 시퀀스에 대한 스캔 파라미터의 값을 나타낸다. 물체의 속도와 범위가 증가하면 거리 분해능이 낮아지는 것에 주의하라. 또한 총 시퀀스 시간을 늘려서 시퀀스에 보다 많은 처프를 추가함으로써 속도 분해능이 증가될 수 있는 것에 주의하라. 도 7b에서, 표(702)는 단거리에서 물체를 감지하는 것이 목표인 단일 처프 시퀀스에 대한 스캔 파라미터의 값을 나타낸다. 감지된 물체의 최대 속도가 20㎧ 미만인 경우, 거리 분해능은 미세한 0.2미터까지 개선될 수 있는 것에 주의하라. 또한, 보다 나은 속도 분해능은 시퀀스 시간을 증가시킨다는 것에 주의하라. 예컨대, 0.3㎧의 속도 분해능은 7.1㎳의 시퀀스 시간을 필요로 한다.
물체 감지 능력의 측면에서 스캔 파라미터와 설계 목표 사이의 트레이드오프는 빔 조향 레이더 시스템의 작동 중에 스캔 파라미터를 조정하는 다수의 방법을 가능하게 한다. 도 8a, 도 9 및 도 10은 원하는 대로 그리고 다양한 예에 따라 스캔 파라미터를 조정하기 위한 흐름도를 보여준다. 도 8a에서, 빔 조향 레이더 시스템은 먼저, 예컨대, 계산 시간을 줄이기 위해 처프 램프 및/또는 처프 번호당 보다 적은 측정 포인트를 사용하거나, 측정 시간을 줄이기 위해 시퀀스에서 보다 적은 처프를 사용함으로써 저분해능 스캔을 수행한다(800). 이 스캔에 이어 고분해능 스캔이 이어진다(802). 보다 높은 분해능의 스캔은 예컨대 (예컨대, 지도 툴을 사용하여 자아 차량의 전면으로부터 300미터 떨어진 도로를 예측함으로써) 예상 교통 상황이 있는 지역에서, 저분해능 스캔 동안 물체 또는 다수의 물체를 포함하는 것으로 표시된 지역에서, 또는 다른 센서에 의해, 예컨대, 자아 차량의 카메라 및/또는 라이더 센서에 의해 표시된 지역에서 수행된다. 도 8b는 행(806)의 저분해능 스캔 및 행(808)의 고분해능 스캔에 대한 예시적인 스캔 파라미터를 나타낸다. 고분해능 스캔은 처리를 위해 저분해능 스캔보다 2배 더 긴 측정 시간과 4배 더 많은 데이터 포인트에서 수행된다는 것에 주의하라.
도 9에서, 빔 조향 레이더 시스템은 먼저 보다 넓은 빔 폭으로 스캔을 수행하고(900), 다음으로 좁은 빔으로 FoV를 다시 스캔한다(902). 도 8의 보다 높은 분해능의 스캔과 마찬가지로, 예컨대 예상 교통 상황이 있는 지역에서, 저분해능 스캔 동안 물체 또는 다수의 물체를 포함하는 것으로 표시된 지역에서, 또는 다른 센서에 의해, 예컨대, 자아 차량의 카메라 및/또는 라이더 센서에 의해 표시된 지역에서 보다 좁은 스캔이 수행된다. 빔 조향 레이더 시스템이 다수의 안테나로 구현될 때 두 작동이 병렬로 수행될 수 있는 것에 주의하라. 크로스토크는 76~81㎓ 범위에서의 허용된 주파수 대역 내의 상이한 주파수 부대역에서 각 안테나의 세트를 작동함으로써 생략될 수 있다. 또한 두 배의 빔 폭을 갖는 안테나는 동일한 스캔 파라미터를 사용하여 절반의 시간으로 고정된 FoV를 스캔하는 것을 가능하게 할 것임에 주의하라.
도 10에서, 빔 조향 레이더 시스템은 높은 범위 분해능과 보다 낮은 절대 속도 캡처로 첫 번째 스캔을 수행한다(1000). 다음으로 보다 낮은 범위 분해능과 높은 절대 속도 캡처로 두 번째 스캔이 이어진다(1002). 대응하는 예시적인 스캔 파라미터가 도 11의 표(1100)에 나타나 있으며, 행(1102)은 최대 속도가 30㎧인 높은 범위 분해능 스캔을 나타내고 행(1104)은 최대 속도가 85㎧인 낮은 범위 분해능 스캔을 나타낸다. 스캔 파라미터를 조정하는 데 사용되는 방법과 관계없이, 빔 조향 레이더 시스템은 다수의 설계 목표를 달성하고 단거리 및 장거리 모두에서 물체의 위치와 속도를 감지할 수 있다. 물체는 도 3에 나타낸 바와 같이 레이더 모듈에 연결된 인식 모듈 내의 MLM으로 더 분류된다.
이들 다양한 예는 향상된 센서 성능, 모든 기후/모든 조건 감지, 진보된 의사 결정 알고리즘, 및 센서 결합을 통한 다른 센서와의 상호 작용으로 자율 주행을 지원한다. 이들 구성은 레이더가 자율 주행 자동차와 같은 많은 응용 분야에서 날씨 상태에 의해 방해받지 않기 때문에 레이더 센서의 사용을 최적화한다. 본 명세서에서 설명된 레이더는 트루 3D 비전을 갖고 인간과 유사하게 세계를 해석할 수 있는 사실상 "디지털 눈"이다.
개시된 예의 앞선 설명은 당업자가 본 개시를 제조하거나 사용할 수 있게 하도록 제공된다는 것이 이해된다. 이들 예에 대한 다양한 수정은 당업자에게 쉽게 명백해질 것이며, 본 명세서에 정의된 일반적인 원리는 본 개시의 사상 또는 범위를 벗어나지 않고서 다른 예에 적용될 수 있다. 따라서, 본 개시는 본 명세서에 나타낸 예에 제한되도록 의도되지 않고 본 명세서에 개시된 원리 및 신규 특징과 일치하는 가장 넓은 범위에 따른다.

Claims (20)

  1. 물체 감지 및 분류를 위한 자율 주행 차량의 레이더 시스템으로서,
    적어도 하나의 빔 조향 안테나와,
    송수신기와,
    상기 송수신기를 위한 스캔 파라미터의 세트를 조정하도록 구성되는 스캔 파라미터 제어기
    를 포함하는 레이더 모듈과,
    상기 자율 주행 차량의 경로 및 주변 환경에 있는 물체를 감지하고 분류하기 위한 머신 러닝 모듈 및 분류기를 포함하고, 상기 레이더 모듈에 물체 데이터 및 레이더 제어 정보를 송신하는 인식 모듈을 포함하는
    레이더 시스템.
  2. 제 1 항에 있어서,
    상기 레이더 모듈은 상기 인식 모듈에 의해 상기 레이더 모듈에 송신되는 상기 물체 데이터 및 상기 레이더 제어 정보에 따라 상기 적어도 하나의 빔 조향 안테나를 제어하기 위한 안테나 제어기를 더 포함하는
    레이더 시스템.
  3. 제 1 항에 있어서,
    상기 머신 러닝 모듈은 콘볼루션 신경망을 포함하는
    레이더 시스템.
  4. 제 1 항에 있어서,
    상기 송수신기는 상기 스캔 파라미터의 세트로 빔 조향 레이더 스캔의 송신을 개시하는
    레이더 시스템.
  5. 제 4 항에 있어서,
    상기 스캔 파라미터의 세트는 상기 인식 모듈에 의해 상기 레이더 모듈에 송신되는 상기 물체 데이터 및 상기 레이더 제어 정보에 따라 조정되는
    레이더 시스템.
  6. 제 4 항에 있어서,
    상기 레이더 스캔은 FMCW(Frequency-Modulated Continuous Wave) 신호를 포함하는
    레이더 시스템.
  7. 제 6 항에 있어서,
    상기 스캔 파라미터는, 상기 FMCW 신호의 최소 및 최대 주파수, 상기 FMCW 신호에서의 처프(chirp) 시퀀스에 대한 총 시간, 위상 고정 루프(Phase Locked Loop)에 대한 정착 시간, 측정 시간, 상기 FMCW 신호에서의 하나의 처프의 총 시간, 상기 FMCW 신호에서의 처프 사이의 반복 시간, 상기 FMCW 신호에서의 처프의 총 대역폭, 상기 FMCW 신호에서의 처프의 유효 대역폭, 연속 측정 사이의 대역폭, 상기 FMCW 신호에서의 처프당 행하여지는 측정의 횟수, 시퀀스당 처프의 수로 구성되는 그룹으로부터 선택되는 파라미터를 포함하는
    레이더 시스템.
  8. 물체 감지 및 분류 방법으로서,
    송수신기를 사용하여 빔 지향 레이더 스캔의 송신을 개시하는 단계와,
    에코를 수신하는 단계와,
    상기 수신된 에코에서 물체를 감지하는 단계와,
    상기 감지된 물체에 관한 물체 정보를 추출하는 단계와,
    다음의 빔 조향 레이더 스캔을 위해 상기 송수신기에서 스캔 파라미터의 세트를 조정하는 단계를 포함하는
    물체 감지 및 분류 방법.
  9. 제 8 항에 있어서,
    상기 빔 조향 레이더 스캔은 FMCW 신호인
    물체 감지 및 분류 방법.
  10. 제 8 항에 있어서,
    콘볼루션 신경망 및 분류기로 상기 감지된 물체를 분류하는 단계를 더 포함하는
    물체 감지 및 분류 방법.
  11. 제 8 항에 있어서,
    상기 물체 정보는 물체 위치 및 속도를 포함하는
    물체 감지 및 분류 방법.
  12. 제 8 항에 있어서,
    센서 결합 모듈에 물체 분류 정보를 보내는 단계를 더 포함하는
    물체 감지 및 분류 방법.
  13. 제 9 항에 있어서,
    상기 스캔 파라미터는, 상기 FMCW 신호의 최소 및 최대 주파수, 상기 FMCW 신호에서의 처프(chirp) 시퀀스에 대한 총 시간, 위상 고정 루프(Phase Locked Loop)에 대한 정착 시간, 측정 시간, 상기 FMCW 신호에서의 하나의 처프의 총 시간, 상기 FMCW 신호에서의 처프 사이의 반복 시간, 상기 FMCW 신호에서의 처프의 총 대역폭, 상기 FMCW 신호에서의 처프의 유효 대역폭, 연속 측정 사이의 대역폭, 상기 FMCW 신호에서의 처프당 행하여지는 측정의 횟수, 시퀀스당 처프의 수로 구성되는 그룹으로부터 선택되는 파라미터를 포함하는
    물체 감지 및 분류 방법.
  14. 물체 감지 및 분류 방법으로서,
    스캔 파라미터의 제 1 세트로 제 1 스캔을 수행하는 단계와,
    수신된 에코로부터의 물체 감지 정보에 기초하여 상기 스캔 파라미터의 제 1 세트를 조정하는 단계와,
    상기 스캔 파라미터의 제 1 세트로부터 조정된 파라미터의 제 2 세트로 제 2 스캔을 수행하는 단계를 포함하는
    물체 감지 및 분류 방법.
  15. 제 14 항에 있어서,
    상기 제 1 스캔은 상기 제 2 스캔보다 낮은 분해능을 갖는
    물체 감지 및 분류 방법.
  16. 제 14 항에 있어서,
    상기 제 1 스캔은 제 1 빔 폭을 갖는 빔 조향 안테나로 수행되는
    물체 감지 및 분류 방법.
  17. 제 14 항에 있어서,
    상기 제 2 스캔은 제 2 빔 폭을 갖는 빔 조향 안테나로 수행되고, 상기 제 2 빔 폭은 상기 제 1 빔 폭보다 좁은
    물체 감지 및 분류 방법.
  18. 제 14 항에 있어서,
    상기 제 2 스캔은 상기 제 1 스캔보다 낮은 분해능과 높은 속도 캡처를 갖는
    물체 감지 및 분류 방법.
  19. 제 14 항에 있어서,
    상기 스캔 파라미터의 제 1 세트는, FMCW 신호의 최소 및 최대 주파수, 상기 FMCW 신호에서의 처프(chirp) 시퀀스에 대한 총 시간, 위상 고정 루프(Phase Locked Loop)에 대한 정착 시간, 측정 시간, 상기 FMCW 신호에서의 하나의 처프의 총 시간, 상기 FMCW 신호에서의 처프 사이의 반복 시간, 상기 FMCW 신호에서의 처프의 총 대역폭, 상기 FMCW 신호에서의 처프의 유효 대역폭, 연속 측정 사이의 대역폭, 상기 FMCW 신호에서의 처프당 행하여지는 측정의 횟수, 시퀀스당 처프의 수로 구성되는 그룹으로부터 선택되는 파라미터를 포함하는
    물체 감지 및 분류 방법.
  20. 제 14 항에 있어서,
    상기 제 1 및 제 2 스캔은 메타 구조(metastructure) 안테나로 수행되는
    물체 감지 및 분류 방법.
KR1020207025523A 2018-02-05 2019-02-05 빔 조향 레이더 및 콘볼루션 신경망 시스템을 사용하는 물체 감지를 위한 방법 및 장치 KR20200108097A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862626569P 2018-02-05 2018-02-05
US62/626,569 2018-02-05
PCT/US2019/016723 WO2019153016A1 (en) 2018-02-05 2019-02-05 Method and apparatus for object detection using a beam steering radar and convolutional neural network system

Publications (1)

Publication Number Publication Date
KR20200108097A true KR20200108097A (ko) 2020-09-16

Family

ID=67478616

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207025523A KR20200108097A (ko) 2018-02-05 2019-02-05 빔 조향 레이더 및 콘볼루션 신경망 시스템을 사용하는 물체 감지를 위한 방법 및 장치

Country Status (4)

Country Link
EP (1) EP3749977A4 (ko)
JP (1) JP2021516763A (ko)
KR (1) KR20200108097A (ko)
WO (1) WO2019153016A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023163354A1 (ko) * 2022-02-25 2023-08-31 삼성전자 주식회사 차량용 전자 장치 및 그 동작 방법

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111220958B (zh) * 2019-12-10 2023-05-26 西安宁远电子电工技术有限公司 基于一维卷积神经网络的雷达目标多普勒像分类识别方法
CN110988872B (zh) * 2019-12-25 2023-10-03 中南大学 无人机载穿墙雷达探测墙体健康状态的快速识别方法
ES2894200A1 (es) * 2020-08-05 2022-02-11 Univ Rovira I Virgili Dispositivo y procedimiento para comunicacion vehiculo-infraestructura y vehiculo-vehiculo
EP4386427A1 (en) * 2022-12-16 2024-06-19 Imec VZW An radar apparatus and a method for visual prescan for moving objects

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04323584A (ja) * 1991-04-23 1992-11-12 Mitsubishi Electric Corp レーダ信号識別装置
DE60032573T2 (de) * 1999-08-12 2007-10-04 Automotive Systems Laboratory Inc., Farmington Hills Neurales netzwerk radarverarbeitungsgerät
US7683827B2 (en) * 2004-12-15 2010-03-23 Valeo Radar Systems, Inc. System and method for reducing the effect of a radar interference signal
US7327308B2 (en) * 2005-04-28 2008-02-05 Chung Shan Institute Of Science And Technology, Armaments Bureau, M.N.D. Programmable method and test device for generating target for FMCW radar
JP5226185B2 (ja) * 2006-02-15 2013-07-03 富士通株式会社 探知測距装置
JP4712826B2 (ja) * 2008-05-15 2011-06-29 古河電気工業株式会社 パルスドップラレーダ装置
JP6190140B2 (ja) * 2012-06-21 2017-08-30 古野電気株式会社 物標探知装置および物標探知方法
US9720072B2 (en) * 2014-08-28 2017-08-01 Waymo Llc Methods and systems for vehicle radar coordination and interference reduction
JP6567832B2 (ja) * 2015-01-29 2019-08-28 日本電産株式会社 レーダシステム、レーダ信号処理装置、車両走行制御装置および方法、ならびにコンピュータプログラム
JP6392152B2 (ja) 2015-03-24 2018-09-19 パナソニック株式会社 レーダ装置および走行車両検知方法
TWI588510B (zh) * 2016-05-12 2017-06-21 桓達科技股份有限公司 調頻連續波雷達訊號處理方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023163354A1 (ko) * 2022-02-25 2023-08-31 삼성전자 주식회사 차량용 전자 장치 및 그 동작 방법

Also Published As

Publication number Publication date
EP3749977A1 (en) 2020-12-16
JP2021516763A (ja) 2021-07-08
WO2019153016A1 (en) 2019-08-08
EP3749977A4 (en) 2021-11-10

Similar Documents

Publication Publication Date Title
US11133577B2 (en) Intelligent meta-structure antennas with targeted polarization for object identification
US10739438B2 (en) Super-resolution radar for autonomous vehicles
US20210286050A1 (en) Intelligent metamaterial radar for target identification
US20190204834A1 (en) Method and apparatus for object detection using convolutional neural network systems
US11327156B2 (en) Reinforcement learning engine for a radar system
US20220308204A1 (en) Beam steering radar with selective scanning mode for autonomous vehicles
US11479262B2 (en) Geographically disparate sensor fusion for enhanced target detection and identification in autonomous vehicles
US11378654B2 (en) Recurrent super-resolution radar for autonomous vehicles
KR20200108097A (ko) 빔 조향 레이더 및 콘볼루션 신경망 시스템을 사용하는 물체 감지를 위한 방법 및 장치
US11495877B2 (en) Multi-layer, multi-steering antenna system for autonomous vehicles
US11585896B2 (en) Motion-based object detection in a vehicle radar using convolutional neural network systems
US11852749B2 (en) Method and apparatus for object detection using a beam steering radar and a decision network
US11587204B2 (en) Super-resolution radar for autonomous vehicles
US11719803B2 (en) Beam steering radar with adjustable long-range radar mode for autonomous vehicles
US20200241109A1 (en) Side lobe reduction in a beam steering vehicle radar antenna for object identification
US20220252721A1 (en) Guard band antenna in a beam steering radar for resolution refinement
US20210255300A1 (en) Gan-based data synthesis for semi-supervised learning of a radar sensor
US20200241122A1 (en) Radar system with three-dimensional beam scanning

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E601 Decision to refuse application