KR20220009709A - Radar sensor R&D method with artificial intelligence machine learning - Google Patents
Radar sensor R&D method with artificial intelligence machine learning Download PDFInfo
- Publication number
- KR20220009709A KR20220009709A KR1020200088261A KR20200088261A KR20220009709A KR 20220009709 A KR20220009709 A KR 20220009709A KR 1020200088261 A KR1020200088261 A KR 1020200088261A KR 20200088261 A KR20200088261 A KR 20200088261A KR 20220009709 A KR20220009709 A KR 20220009709A
- Authority
- KR
- South Korea
- Prior art keywords
- data
- radar sensor
- autonomous driving
- module
- vehicle
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/006—Theoretical aspects
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
- G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
- G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
- G01S2013/9327—Sensor installation details
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Electromagnetism (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Traffic Control Systems (AREA)
- Radar Systems Or Details Thereof (AREA)
Abstract
Description
본 발명은 인공지능 기계학습을 적용한 레이더 센서 개발 방법에 관한 것으로 좀 더 상세하게는, 자율주행시스템을 비롯한 다양한 응용에서 레이더 센서 센싱 결과와 그에 따른 대응데이터의 상관관계를 인공지능 기계학습을 통해 도출해내는 시스템 개발 방법에 관한 것이다. The present invention relates to a radar sensor development method to which artificial intelligence machine learning is applied. More specifically, the correlation between radar sensor sensing results and corresponding data in various applications including autonomous driving systems is derived through artificial intelligence machine learning. It is about how to develop the system.
레이더 센서는 RAdio Detection And Ranging; Radar Sensor, 공간에 전자파를 송신하고, 물체에 부딪혀 돌아오는 반사파를 측정하여 탐지된 물체의 방향, 거리, 속도 등을 검출하는 센서이다. 레이더센서가 거리를 측정하는 기본적 원리는 송신안테나에서 발사된 전파가 물체에 반사되어 되돌아온 시간을 측정하여 물체와 센서간의 거리를 계산한다. 추가적으로 전파의 도플러 효과를 이용하여 물체의 속도를 계산하거나 수신안테나를 복수개로 늘려 수신되는 전파를 디지털데이터로 변환한 뒤 다양한 수학적 알고리즘을 적용하여 물체의 위치, 방향 반사계수 등을 계산해 낼 수 있다. 레이더센서와 비교하여 카메라센서의 동영상에서 의미 있는 정보를 분석해 내는 영상분석 과정도 디지털데이터로 바뀐 이미지 데이터에 다양한 수학적 알고리즘을 적용하여 물체의 형태, 종류, 색상 등을 분류하는 의미 있는 정보를 추출하게 되는데, 이러한 아날로그신호에서 변화된 디지털 원천데이터(이하 로 데이터, raw data)에 수학적인 알고리즘을 적용하여 의미있는 정보를 추출하는 과정을 일반적으로 신호처리(DSP, Digital Signal Processing)이라 한다.The radar sensor is RAdio Detection And Ranging; Radar Sensor, a sensor that detects the direction, distance, speed, etc. of a detected object by transmitting electromagnetic waves to space and measuring the reflected waves that collide with an object. The basic principle of how the radar sensor measures the distance is to calculate the distance between the object and the sensor by measuring the time it takes for the radio wave emitted from the transmitting antenna to be reflected off the object and return. Additionally, it is possible to calculate the speed of an object by using the Doppler effect of radio waves or convert the received radio waves into digital data by increasing the number of receiving antennas, and then apply various mathematical algorithms to calculate the position and direction of the object and the reflection coefficient. In the image analysis process, which analyzes meaningful information from the video of the camera sensor compared to the radar sensor, various mathematical algorithms are applied to the image data converted into digital data to extract meaningful information to classify the shape, type, and color of an object. The process of extracting meaningful information by applying a mathematical algorithm to the digital source data (hereinafter referred to as raw data) changed from the analog signal is generally called signal processing (DSP, Digital Signal Processing).
레이더 센서는 사물의 위치와 속도를 추적하는 기능을 나타내며, 전자기파를 이용하기 때문에 안개, 강우 등의 기상 악화 속에서 기능을 발휘하지 못하는 광학센서와 달리 전천후 센싱이 가능하고, 데이터를 2차원(평면)으로 인식하는 카메라와 달리, 3차원(공간) 데이터를 얻을 수 있다. 그러나 레이더 센서는 복잡하고 어려운 DSP(디지털 신호처리) 과정을 거쳐야 한다. 레이더 센서가 본래 감지한 로 데이터를 전처리한 후, 주파수 신호로 변환하고, 불필요하다고 판단되는 배경 데이터를 필터링한 후, 유효 데이터를 추출하는 다단계 신호처리 작업을 거친다. 이 과정에서 상당한 고난도 작업이 이루어지기 때문에 고급인력을 요하고 오차범위를 줄이기 위한 노력이 끊임없이 이어지며, 이로 인한 비용 상승은 필연적이다. 하지만 로 데이터를 가공하는 과정에서 허용오차 범위는 증가하며, 이는 확률론을 적용한 계산에 의하기 때문에 거의 필연적이다. 레이더 센서를 적용하는 대표적인 기술분야로서 자율주행이 있다. The radar sensor shows the function of tracking the position and speed of an object, and because it uses electromagnetic waves, unlike optical sensors that cannot function in bad weather such as fog and rain, it can sense all weather and convert data in two dimensions (planar). ), it is possible to obtain three-dimensional (spatial) data, unlike the camera. However, radar sensors must go through a complex and difficult DSP (digital signal processing) process. After pre-processing the raw data originally detected by the radar sensor, it is converted into a frequency signal, filtered background data judged to be unnecessary, and then subjected to multi-step signal processing to extract valid data. In this process, since considerable high-level work is performed, high-quality manpower is required and efforts to reduce the margin of error are continuously made, which inevitably leads to an increase in cost. However, in the process of processing raw data, the tolerance range increases, which is almost inevitable because it is calculated using probability theory. Autonomous driving is a representative technology field to which radar sensors are applied.
자율주행차량용 인지센서는 주로 카메라, 라이다, 레이더 등이 활용된다. 이러한 인지센서를 통해 입력된 정보를 기초로 주변상황을 판단한 뒤 실제가속, 감속, 정지, 방향전환 등 차량을 제어하게 된다. 현재 자율주행을 위해서 가장 많이 사용되는 센서는 카메라와 라이더 센서 이다. 광학센서는 높은 해상도를 이용하여 교통신호분석, 차선감지 등 차량의 자율주행에 필요한 다양한 분야에 활용되고 있다. 그러나 광학센서의 단점인 안개, 폭우, 먼지, 햇빛, 상향 조명, 역광 등에 취약한 단점이 있다. 예로써, 테슬라의 자율주행차량은 전복된 트럭을 정지된 지형으로 보아 추돌사고를 냈고, 오전 시간 대 역광으로 인한 전방 감식 불가 상태에서 추돌사고를 낸 적이 있다. Cognitive sensors for autonomous vehicles are mainly used for cameras, lidars, and radars. After judging the surrounding situation based on the information input through the recognition sensor, the vehicle is controlled such as actual acceleration, deceleration, stop, and direction change. Currently, the most used sensors for autonomous driving are cameras and lidar sensors. Optical sensors are being used in various fields necessary for autonomous driving of vehicles such as traffic signal analysis and lane detection by using high resolution. However, there is a disadvantage in that the optical sensor is vulnerable to fog, heavy rain, dust, sunlight, high light, backlight, etc. For example, Tesla's self-driving vehicle caused a collision by viewing an overturned truck as stationary terrain, and there was a time when the front collision was impossible due to backlighting in the morning.
반면, 레이더 센서는 전자파를 이용함으로써 광학 센서에 비해 해상도는 떨어지지만 악천후 환경에 강인한 특성을 가지고 있어 전방의 물체를 감지하고 속도 및 거리, 위치 등을 측정하여 충돌방지 및 보행자 감지 등에 활용된다. On the other hand, the radar sensor uses electromagnetic waves, so the resolution is lower than that of the optical sensor, but it has strong characteristics in bad weather environments.
그러나 자율주행에 필요한 높은 성능의 레이더 센서를 개발하기 위해서는 눈으로 보이지 않는 전자파를 분석 하여 위험상황을 예측해야하는 부분에 있어 광학제품에 비해 개발적인 난관이 있다.However, in order to develop a high-performance radar sensor required for autonomous driving, there is a developmental challenge compared to optical products in that it is necessary to predict dangerous situations by analyzing electromagnetic waves that are invisible to the eye.
레이더센서는 고유 주파수를 발생시키는 안테나를 통해 아날로그 전파신호를 전방으로 출력시키고 한개 또는 다수의 수신채널로 전파신호를 수신하고, 수신된 아날로그 신호를 디지털 신호로 변환한 로 데이터를 생성하고 DSP(Digital Signal Processing)과정을 통해 다양한 알고리즘을 적용하여 움직이는 물체의 속도, 거리, 각도, 반사량 등을 산출하여 차량의 충돌위험을 감지하여 정차시키거나 보행자를 인지하여 속도를 줄이는 기능을 하게 된다(도 1 참조). The radar sensor outputs an analog radio signal to the front through an antenna that generates a natural frequency, receives the radio signal through one or multiple reception channels, generates raw data that converts the received analog signal into a digital signal, and generates DSP (Digital Signal Processing), various algorithms are applied to calculate the speed, distance, angle, and amount of reflection of a moving object to detect the risk of collision of a vehicle and stop it or reduce the speed by recognizing a pedestrian (see Fig. 1) ).
이중 특히 DSP 과정은 수집된 로 데이터로부터 의미있는 정보를 추출하는 복잡한 sw 처리과정으로 자율주행에 필요한 높은 성능의 레이더 센서를 개발하는 것이 가장 핵심적인 과정이다(도 2 참조).In particular, the DSP process is a complex SW processing process that extracts meaningful information from the collected raw data, and it is the most essential process to develop a high-performance radar sensor required for autonomous driving (see Fig. 2).
이렇게 개발된 DSP SW는 레이더센서에 모듈로 내장되어 자율주행에 필요한 전방충돌 예측, 보행자감지, 전방차량 출발알람기능 등에 활용된다. The DSP SW developed in this way is built into the radar sensor as a module and is used for forward collision prediction, pedestrian detection, and front vehicle departure alarm functions required for autonomous driving.
자율주행자동차의 경우, 적게는 한개에서 많게는 7개정도의 레이더센서가 장착된다(도 3 참조). 일반적으로 전방차량충돌을 감시하기 위해 100미터 이상의 전방물체를 감시하는 Long Range Radar(LRR), 차량주변 또는 후방의 가까운 물체를 감시하는 Short Rang Radar(SRR)등의 센싱결과를 입력으로 하여 자율주행차량의 이동을 제어하게 된다. 이때 사용되는 레이더 센서는 각각의 위치에 따라 그 기능과 역할에 맞도록 구분되어 개발된다. 이 과정에서 각 레이더센서는 그 위치와 기능에 따라 개별적으로 복잡한 DSP 과정을 거쳐 개발되며 또한 각각의 기능을 개별적으로 검증해야하는 문제가 발생한다. 즉, 도 3과 같이 복잡한 신호처리 과정을 거쳐 레이더 센서에서 수집된 로 데이터로부터 유의미한 데이터를 추출하고, 여려 대의 레이더 센서들의 추출 데이터를 다시 취합하여 자율주행 동작을 제어하는 데 사용하는 것이다.In the case of an autonomous vehicle, at least one to as many as 7 radar sensors are mounted (see FIG. 3 ). In general, autonomous driving by inputting sensing results such as Long Range Radar (LRR), which monitors objects in front of 100 meters or more, and Short Rang Radar (SRR), which monitors objects near or behind the vehicle to monitor collisions with vehicles in front. It controls the movement of the vehicle. The radar sensor used at this time is developed separately to suit its function and role according to each location. In this process, each radar sensor is developed through a complex DSP process individually according to its location and function, and there is a problem that each function must be individually verified. That is, meaningful data is extracted from the raw data collected from the radar sensor through a complex signal processing process as shown in FIG. 3 , and the extracted data of several radar sensors is re-collected and used to control the autonomous driving operation.
따라서 각각 독립적으로 개발된 레이더센서는 전체적인 자율주행의 독립적인 판단변수로 활용될 수밖에 없으며 필연적으로 자율주행차량제어의 복잡도를 높일 수 밖에 없다. Therefore, each independently developed radar sensor has no choice but to be used as an independent judgment variable for overall autonomous driving, and inevitably increases the complexity of autonomous vehicle control.
공개특허 10-2019-0083317호의 경우, 각종 센서를 구비하여 차선변경 결정을 인공지능으로 실시하는 기술이 기재되어 있지만, 운전자의 의도 입력을 기반으로 하고 있어, 상술한 레이더 센서로부터 유의미한 데이터를 추출하는 과정 자체는 종래기술과 동일하다. In the case of Patent Publication No. 10-2019-0083317, a technology for performing lane change determination with artificial intelligence by providing various sensors is described, but it is based on the driver's intention input, and meaningful data is extracted from the above-mentioned radar sensor. The process itself is the same as in the prior art.
한편, 현재 자율주행용 AI는 센서로 부터 입력된 센싱정보를 활용하여 차량을 제어하는 역할을 수행하게 되며, 이때 AI를 학습시키는데 주로 사용되는 원천데이터는 영상데이터가 사용된다. Meanwhile, the current AI for autonomous driving plays a role in controlling the vehicle by using the sensing information input from the sensor.
NVIDIA는 자사의 자율주행용 플랫폼에 간단한 신경망 AI를 구축한 다음, 약4,800Km의 운행 영상데이터를 학습시킨 결과 아무런 DSP 과정이나 알고리즘 구현 없이 스스로 차선을 판단하는 결과를 만들어냈다(End to End Learning for Self-Driving Cars, NVDIA). 그러나, 상술한 바와 같이, 영상 데이터에만 의존하는 자율주행은 2차원 평면데이터에 의존하기 때문에 안전에 한계가 있다. NVIDIA built a simple neural network AI on its autonomous driving platform, and then learned about 4,800 km of driving video data. Self-Driving Cars, NVDIA). However, as described above, since autonomous driving that depends only on image data depends on two-dimensional planar data, there is a limit to safety.
본 발명의 목적은 기존의 레이더 센서 신호처리 (DSP)과정을 대신하여 인공지능을 적용한 기계학습으로 물체의 위치와 속도 추적 및 그에 따른 응용 데이터를 얻고자 하는데 있다.An object of the present invention is to obtain an object's position and speed tracking and application data according thereto through machine learning applying artificial intelligence instead of the conventional radar sensor signal processing (DSP) process.
본 발명의 또 다른 목적은 자율주행에 필요한 각각의 위치별 레이더센서를 독립적으로 개발하는 방식이 아니라 모든 레이더센서의 시간동기화된 로 데이터를 동시에 기계학습 시킴으로써 자율주행용 레이더센서의 통합 알고리즘을 개발하는 것이다.Another object of the present invention is to develop an integrated algorithm of a radar sensor for autonomous driving by simultaneously machine learning the time-synchronized raw data of all radar sensors, rather than independently developing a radar sensor for each location required for autonomous driving. will be.
상기 목적에 따라 본 발명은, 레이더 센서를 준비하고, 표적에 대해 레이더 센서로부터 방사되고 표적으로부터 반사되어 수집된 전자기파에 의한 로 데이터를 저장하고, 상기 로 데이터와 시간동기화되고, 로 데이터와 연관되어 이루어진 대응으로부터 도출된 로 대응데이터(raw corresponding data)를 인공지능 기계학습 모듈에 입력하여 학습시켜, 레이더 센서 로 데이터에 대해 실시간 대응하는 대응데이터를 구비한 레이더 센서 응용 시스템을 제공한다.According to the above object, the present invention prepares a radar sensor, stores raw data by electromagnetic waves that are radiated from the radar sensor to a target and reflected from the target, and are time-synchronized with the raw data, and are associated with the raw data To provide a radar sensor application system with corresponding data corresponding to the raw data of the radar sensor in real time by inputting and learning the raw corresponding data derived from the correspondence made into the artificial intelligence machine learning module.
상기에서, 레이더 센서 로 데이터에 연관된 로 대응데이터는, 레이더 센서가 감지한 표적의 위치와 속도 데이터에 따라 기계 또는 기계조작자에 의해 대응된 데이터로서, 자율주행의 경우 자율주행 이전 단계에서 사람이 운전한 주행데이터가 되고, 심전도 측정의 경우 레이더 센서가 측정한 맥파 전달 시간에 대해 시간 동기화되어 측정된 사람의 심박 데이터가 될 수 있다. In the above, the raw data related to the raw data of the radar sensor is data corresponded by a machine or a machine operator according to the position and speed data of the target detected by the radar sensor, and in the case of autonomous driving, a human driving It becomes one driving data, and in the case of electrocardiogram measurement, it can be the heartbeat data of a person measured by time synchronization with the pulse wave transmission time measured by the radar sensor.
상기 목적에 따라 본 발명은, 레이더 센서를 장착한 일반차량을 준비하고, 상기 레이더 센서에서 수집한 로 데이터(raw data)와 실시간 동기화된 운전자의 주행데이터(차량에 대해 가속, 감속, 및 핸들조향을 실시한 주행데이터)를 기계학습 중 지도학습을 이용하되, 레이더 센서의 로 데이터를 입력데이터로 하고, 이와 시간동기화된 운전자의 주행데이터를 출력데이터로 하여 기계학습모듈로 인과관계를 학습시켜, 레이더 센서 로 데이터에 실시간 대응하여 주행하는 인공지능 자율주행 모듈을 제공한다.According to the above object, the present invention prepares a general vehicle equipped with a radar sensor, and the driver's driving data (acceleration, deceleration, and steering wheel steering for the vehicle) synchronized in real time with the raw data collected from the radar sensor driving data) of the machine learning, using supervised learning during machine learning, using the raw data of the radar sensor as the input data, and using the driving data of the driver synchronized with this as the output data, learn the causal relationship with the machine learning module, It provides an artificial intelligence autonomous driving module that responds to data with sensors in real time.
상기에서, 레이더 센서 이외에 카메라, 라이다 센서를 더 포함하고, 이들로부터 수집된 데이터와 이들 센서 각각의 데이터와 실시간 동기화된 운전자의 주행데이터를 지도학습의 입력과 출력에 추가하여 기계학습을 실시한 인공지능 자율주행 모듈을 제공한다.In the above, in addition to the radar sensor, it further includes a camera and a lidar sensor, and the data collected from these and the driving data of the driver synchronized in real time with the data of each of these sensors are added to the input and output of supervised learning to perform machine learning. It provides an intelligent autonomous driving module.
즉, 본 발명은,That is, the present invention is
레이더 센서;radar sensor;
상기 레이더 센서를 장착한 차량;a vehicle equipped with the radar sensor;
상기 레이더 센서에서 수집한 로 데이터(raw data);raw data collected by the radar sensor;
상기 레이더 센서 로 데이터와 실시간 동기화된 운전자의 주행데이터; 및driving data of the driver synchronized with the data from the radar sensor in real time; and
상기 레이더 센서 로 데이터를 입력 데이터로 하고 상기 주행데이터를 출력데이터로 하여 지도학습을 실시하는 기계학습 모듈;을 포함하고,A machine learning module for performing supervised learning using the radar sensor data as input data and the driving data as output data;
상기 주행데이터는 차량에 대한 가속, 감속, 및 핸들조향 데이터를 포함하며,The driving data includes acceleration, deceleration, and steering wheel data for the vehicle,
상기 기계학습 모듈에 의해 레이더 센서 로 데이터에 기반하여 차량을 자율적으로 가속, 감속, 및 핸들조향 하도록 차량 하드웨어에 탑재되는 것을 특징으로 하는 자율주행 모듈을 제공한다.It provides an autonomous driving module, characterized in that it is mounted on vehicle hardware to autonomously accelerate, decelerate, and steer the vehicle based on data from the radar sensor by the machine learning module.
상기에 있어서, 차량에 카메라를 더 포함하여 상기 레이더 센서 로 데이터와 시간동기화된 영상데이터를 입력 데이터에 추가하여 지도학습을 실시하는 것을 특징으로 하는 자율주행 모듈을 제공한다.In the above, there is provided an autonomous driving module, characterized in that the vehicle further includes a camera to perform supervised learning by adding image data time-synchronized with data from the radar sensor to input data.
상기에 있어서, 레이더 센서는 전방, 측방, 후방에 하나 이상 배치되고, 각각의 레이더 센서별로 식별번호가 부여되고, 식별번호가 부여된 모든 레이더 센서의 로 데이터가 서로 시간동기화되고, 주행데이터와의 연관성을 지도학습하는데 입력 데이터로 사용되는 것을 특징으로 하는 자율주행 모듈을 제공한다.In the above, one or more radar sensors are disposed in the front, side, and rear, an identification number is assigned to each radar sensor, the raw data of all the radar sensors to which the identification number is assigned are time-synchronized with each other, and It provides an autonomous driving module characterized in that it is used as input data for supervised learning of associations.
상기에 있어서, 레이더 센서 로 데이터는 디지털 신호처리 과정을 거치지 않는 무손실 데이터 인 것을 특징으로 하는 자율주행 모듈을 제공한다.In the above, the radar sensor raw data provides an autonomous driving module, characterized in that it is lossless data that does not go through a digital signal processing process.
상기의 레이더 센서 로 데이터와 운전자의 주행데이터는 차량과 별개의 장소에 있는 서버에 통신을 통해 수집 저장되는 것을 특징으로 하는 자율주행 모듈 제작을 위한 데이터 수집 방법을 제공한다.It provides a data collection method for manufacturing an autonomous driving module, characterized in that the radar sensor raw data and the driving data of the driver are collected and stored through communication in a server located at a location separate from the vehicle.
본 발명은, The present invention is
레이더 센서와 상기의 자율주행 모듈을 탑재한 하드웨어를 구비한 자율주행차량을 제공한다.Provided is an autonomous vehicle equipped with a radar sensor and hardware on which the autonomous driving module is mounted.
본 발명에 따르면, 레이더 센서에 대한 복잡한 DSP 개발 과정 전체 또는 필요에 따라 일부를 제거할 수 있어, DSP처리 인력의 노고와 비용을 절감할 수 있다. 뿐만, 아니라, 본 발명의 인공지능 기계학습과정은 레이더 센서의 로 데이터 전부를 사용하는 무손실 데이터이기 때문에, 기존 레이더 센서 개발방식인 DSP 단계의 로 데이터에서 전처리, 배경제거 등의 필터링 과정에서 소실되는 데이터로 인한 발생할 수 있는 오차 문제로부터 자유롭다. According to the present invention, the entire or part of the complex DSP development process for the radar sensor can be eliminated as needed, thereby reducing the labor and cost of DSP processing personnel. In addition, since the artificial intelligence machine learning process of the present invention is lossless data using all of the raw data of the radar sensor, it is lost in the filtering process such as pre-processing and background removal from the raw data of the DSP stage, which is the existing radar sensor development method. It is free from error problems that may occur due to data.
또한, 기존 레이더센서의 개발과정의 검증용 데이터로 저장된 로데이터와 시간 동기화된 차량운행정보 및 영상정보 등을 센서 성능 향상의 학습 데이터로 직접 활용함으로서 개발자들의 DSP SW개발 과정의 개발자에 의한 착오와 부주의 그리고 코드 작성 중 발생할 수 있는 오류를 줄일 수 있는 장점이 있다. In addition, by directly utilizing the raw data stored as data for verification of the existing radar sensor development process, time-synchronized vehicle operation information and image information, etc. as learning data for sensor performance improvement, errors and It has the advantage of reducing carelessness and errors that may occur during code writing.
또한, 본 발명에 따르면, 지속적인 데이터 수집만으로 새로운 위험사례 대응 알고리즘을 개발할 수 있으며, 시간 동기화 되어있는 다수 센서를 동시에 인공지능 학습시키면 자율주행을 위한 센서 통합 알고리즘을 제공할 수 있다.In addition, according to the present invention, it is possible to develop a new risk case response algorithm only by continuous data collection, and if multiple time-synchronized sensors are simultaneously trained by artificial intelligence, a sensor integration algorithm for autonomous driving can be provided.
또한, 본 발명에 따르면, 레이더 센서 데이터는 영상 데이터의 2차원적 한계를 뛰어넘어 악천후, 운행 중의 위험물을 포함하는 3차원 데이터를 제공하기 때문에 안전한 자율주행 인공지능 모듈을 제공할 수 있다. In addition, according to the present invention, the radar sensor data can provide a safe autonomous driving artificial intelligence module because it provides three-dimensional data including bad weather and dangerous substances while driving beyond the two-dimensional limit of image data.
또한, 본 발명에 따르면, 자율주행 뿐 아니라 어떠한 산업분야의 레이더 센서라 할지라도 센서 기능에 대응하는 시간 동기화된 입력 데이터를 이용하여 인공지능 학습을 실시하면 센서 기능개발을 위한 복잡한 DSP과정 전체 또는 일부를 생략하고도 유효한 레이더 센서의 기능을 구현할 수 있다. In addition, according to the present invention, if artificial intelligence learning is performed using time-synchronized input data corresponding to sensor functions, not only autonomous driving but also radar sensors in any industrial field, all or part of the complex DSP process for sensor function development It is possible to implement a valid radar sensor function even if it is omitted.
도 1은 자율주행 레이더 센서의 동작원리와 여기에 디지털 신호처리가 개입되는 것을 설명하는 블록도이다.
도 2는 디지털 신호처리 과정을 세부적으로 설명하는 블록순서도이다.
도 3은 자율주행차량에 설치된 레이더 센서와 그에 다른 감지 범위를 보여준다.
도 4는 본 발명에 따라 레이더 센서 데이터와 실시간 동기화된 주행데이터를 기계학습에 의해 훈련시켜 레이더 센서에 따라 자율주행을 실시하도록 한 것을 설명하는 개요도이다.
도 5는 레이더 센서 로 데이터에 실시간 동기화된 주행데이터 실시예를 보여준다.1 is a block diagram illustrating the operation principle of an autonomous driving radar sensor and digital signal processing is involved therein.
2 is a block flow diagram illustrating in detail a digital signal processing process.
3 shows a radar sensor installed in an autonomous vehicle and a different detection range thereof.
4 is a schematic diagram for explaining that autonomous driving is performed according to the radar sensor by training the driving data synchronized with the radar sensor data in real time by machine learning according to the present invention.
5 shows an embodiment of driving data synchronized with the radar sensor data in real time.
이하, 첨부도면을 참조하여 본 발명의 바람직한 실시예에 대해 상세히 설명한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.
본 발명은 레이더 센서의 DSP SW 개발분야에 AI를 적용하는 것이다. The present invention is to apply AI to the field of DSP SW development of radar sensors.
이를 위해, 레이더 센서 로 데이터와 시간동기화된 실제운행상황에 따른 차량속도 가/감속데이터 및 운전자가 행하는 핸들 조향과 같은 주행데이터를 추가로 학습시킨다.To this end, vehicle speed acceleration/deceleration data according to the actual driving situation time-synchronized with data from the radar sensor and driving data such as steering wheel performed by the driver are additionally learned.
즉, 먼저, 레이더 센서를 장착한 일반차량을 준비하고, 운전자가 직접 주행을 실시한다. 이때, 상기 레이더 센서에서 수집한 로 데이터와 실시간 동기화된 운전자의 주행데이터(차량에 대해 가속, 감속, 및 핸들조향을 실시한 주행데이터)를 수집한다. 충분한 주행거리, 예를 들면, 5,000 km 정도를 주행하며, 다양한 환경에 노출시키면서 주행하는 것이 바람직하다.That is, first, a general vehicle equipped with a radar sensor is prepared, and the driver directly drives the vehicle. At this time, the driving data of the driver (driving data obtained by performing acceleration, deceleration, and steering wheel steering of the vehicle) synchronized with the raw data collected by the radar sensor in real time is collected. It is desirable to drive a sufficient mileage, for example, about 5,000 km, and drive while being exposed to various environments.
레이더 센서의 로 데이터와 이와 실시간 동기화된 주행데이터는 차량 내부의 MCU와 같은 메모리에 저장되거나, 좀 더 용량이 큰 별도의 서버에 저장되도록 CAN 과 같은 통신수단을 이용하여 저장한다.The raw data of the radar sensor and the driving data synchronized with it are stored in the same memory as the MCU inside the vehicle or are stored using a communication means such as CAN to be stored in a separate server with a larger capacity.
차량 외에 소정 장소에 설치된 대용량 서버에 저장된 레이더 로 데이터와 주행데이터를 기계학습장치에 입력하여 학습시킨다. 즉, 레이더 센서의 로 데이터를 입력으로 하고, 그에 따라 실시간 동기화된 주행데이터를 출력으로 하여 지도학습을 시키는 인공지능 신경망을 활용한다. In addition to the vehicle, radar data and driving data stored in a large-capacity server installed in a predetermined place are input into the machine learning device to learn. In other words, it uses the artificial intelligence neural network that takes the raw data of the radar sensor as an input and outputs the real-time synchronized driving data as an output for supervised learning.
학습을 통해 훈련된 인공지능은 레이더 로 데이터와 주행데이터를 연관 지을 수 있게 된다. 따라서, 레이더 센서와 그에 따라 동작하는 인공지능 자율주행 모듈을 구성하여 이를 차량에 탑재시켜 자율주행을 실시할 수 있다. Artificial intelligence trained through learning will be able to correlate data and driving data with radar. Accordingly, autonomous driving can be performed by configuring a radar sensor and an artificial intelligence autonomous driving module that operates accordingly, and mounting it in a vehicle.
레이더 센서는 대개 차량 전방에 2개(광폭 근거리, 협폭 장거리), 측방 4개(좌우 각각 2개), 후방 1개와 같이 7개가 구비되며, 고급 차량의 경우 그 수는 더 늘어난다. 따라서 각각의 레이더 센서에 식별번호를 부여하고, 이들로부터 센싱된 데이터를 식별번호별로 수집 저장하되, 시각별로 정돈되게 클럭정보와 함께 저장한다. There are usually 7 radar sensors in the front of the vehicle (wide-range short-distance, narrow-width long-distance), 4 sides (two each on the left and right), and one at the rear, and the number of radar sensors increases further in the case of high-end vehicles. Therefore, an identification number is assigned to each radar sensor, and the data sensed therefrom is collected and stored by identification number, but is stored together with clock information in an orderly fashion by time.
레이더 센서가 지속적인 센싱을 하는 동안, 사람이 차량을 운전하면서, 가속, 감속, 핸들 조향을 실시하는 모든 주행데이터가 레이더 센서 데이터와 시간 동기화되어 저장된다. While the radar sensor continuously senses, all driving data for acceleration, deceleration, and steering wheel while driving a vehicle is time-synchronized and stored with the radar sensor data.
이와 같이 수집된 다수의 레이더 센서 로 데이터와 여기에 시간 동기화된 주행데이터는 기계학습의 입력과 출력으로 제공되어 지도학습을 거쳐, 훈련을 마친 후 레이더 센서와 연계된 자율주행 모듈이 제작된다. 예를 들면, 1번부터 7번에 이르는 레이더 센서 각각의 로 데이터와 시간 동기화된 주행 데이터는 지도학습을 통해, 1번 2번, 3번 전방주시용 레이더 센서의 로 데이터와 연관된 가감속 동작 데이터, 4 내지 5번의 측방감시용 레이더 센서의 로 데이터와 연관된 조향 데이터, 6 내지 7번 후방감시용 레이더 센서 로 데이터와 4 내지 5번의 측방감시용 레이더 센서 로 데이터를 함께 연관시킨 조향데이터가 학습의 결과 훈련된 자율주행모드 소프트웨어로 제작될 수 있다. 그러나 대부분 1 내지 7번의 레이더 센서 전체의 로 데이터와 주행데이터가 함께 학습되고 자율주행 소프트웨어에 반영될 수 있다. 상기 인공지능을 활용하여 제작된 레이더센서 기반 자율주행 모듈은 차량에 레이더 센서와 함께 통신모듈을 포함한 하드웨어 시스템에 탑재될 수 있다. The collected data from multiple radar sensors and driving data synchronized with this data are provided as input and output for machine learning, undergo supervised learning, and after training, an autonomous driving module linked to the radar sensor is manufactured. For example, the driving data time-synchronized with the raw data of each of the radar sensors from No. 1 to No. 7 is the acceleration/deceleration motion data related to the raw data of the No. 1, No. 2, and No. 3 forward-looking radar sensors through supervised learning. , Steering data associated with the raw data of the radar sensor for lateral monitoring of Nos. 4 to 5, the raw data of the radar sensor for rearward monitoring No. 6 to 7, and the steering data in which the data from the radar sensor for lateral monitoring of Nos. 4 and 5 are correlated together As a result, it can be built into trained autonomous driving mode software. However, in most cases, the raw data and driving data of all
도 5에는, 주행데이터의 예를 좀 더 상세히 들어놓았다. 5 , an example of driving data is provided in more detail.
전방 물체, 측방 물체, 후방물체 부재시 가속정보, 속도정보, 조향데이터가 각각의 레이더 센서 로 데이터와 실시간 동기화되어 저장되며, 이후, 기계학습의 입력과 출력이 되어 훈련된다.In the absence of a front object, a side object, or a rear object, acceleration information, speed information, and steering data are stored in real-time synchronization with the data by each radar sensor, and then are trained as input and output of machine learning.
전방 물체가 안전거리 밖에 있고, 측방, 및 후방 물체 부재시 속도정보(등속), 조향(각도)정보가 각각의 레이더 센서 로 데이터와 실시간 동기화되어 저장되며, 이후, 기계학습의 입력과 출력이 되어 훈련된다.When the front object is outside the safe distance and there is no lateral or rear object, the speed information (constant speed) and steering (angle) information are synchronized and stored in real time with the data by each radar sensor. do.
전방 물체가 안전거리 안에 있고, 측방, 및 후방 물체 부재시 감속정보, 조향정보가 각각의 레이더 센서 로 데이터와 실시간 동기화되어 저장되며, 이후, 기계학습의 입력과 출력이 되어 훈련된다.When the front object is within a safe distance and there is no side and rear objects, deceleration information and steering information are stored in real-time synchronized with data from each radar sensor, and then trained as input and output of machine learning.
전방 물체가 안전거리 안에 있고, 측방 물체 부재, 후방 물체 접근 시, 감속정보및 차선변경을 위한 조향정보가 각각의 레이더 센서 로 데이터와 실시간 동기화되어 저장되며, 이후, 기계학습의 입력과 출력이 되어 훈련된다.When the object in front is within the safe distance, the absence of a side object, or the approach of a rear object, deceleration information and steering information for lane change are stored in real-time synchronized with the data by each radar sensor, and then become input and output of machine learning. are trained
이 외에도 다양한 상황에서 운전자의 주행데이터가 레이더 센서들의 로 데이터와 실시간 동기화되어 수집되고 기계학습의 입력과 출력이 되어 훈련된다.In addition, in various situations, the driver's driving data is collected in real-time synchronized with the raw data of the radar sensors, and is trained as an input and output of machine learning.
충분한 훈련을 마친 후, 레이더 센서 로 데이터를 기반으로 한 인공지능 자율주행 모듈이 제작된다. After sufficient training, an artificial intelligence autonomous driving module based on data from the radar sensor is produced.
이러한 자율주행 모듈을 차량에 탑재하면, 레이더 센서의 로 데이터에 따라 차량은 가속, 감속, 조향을 자율적으로 실시한다. 상술한 바와 같이, 레이더 센서는 3차원을 인식할 수 있는 데이터이고, 악천후에 의해 영향받지 않으므로 안전한 자율주행이 이루어질 수 있다. When such an autonomous driving module is mounted on a vehicle, the vehicle autonomously accelerates, decelerates, and steers according to the raw data of the radar sensor. As described above, the radar sensor is data capable of recognizing three dimensions, and since it is not affected by bad weather, safe autonomous driving can be achieved.
상기에서, 레이더 센서 이외에 카메라, 라이다 센서를 더 포함하고, 이들로부터 수집된 데이터와 이들 센서 각각의 데이터와 실시간 동기화된 운전자의 주행데이터를 지도학습의 입력과 출력에 추가하여 기계학습을 실시한 인공지능 자율주행 모듈을 제공한다. 카메라의 영상데이터 역시 레이더 센서 로 데이터 및 주행데이터와 실시간 동기화되며, 레이더 센서 로 데이터와의 상관관계 및 주행데이터와의 상관관계가 학습되어 자율주행 모듈에 반영된다. 특히, 차선변경 모드에서 빠른 판단을 할 수 있다. In the above, in addition to the radar sensor, it further includes a camera and a lidar sensor, and the data collected from these and the driving data of the driver synchronized in real time with the data of each of these sensors are added to the input and output of supervised learning to perform machine learning. It provides an intelligent autonomous driving module. The image data of the camera is also synchronized with the data and driving data by the radar sensor in real time, and the correlation with the data and the driving data from the radar sensor are learned and reflected in the autonomous driving module. In particular, it is possible to make a quick judgment in the lane change mode.
즉, 본 발명은 기존의 복잡한 DSP 처리과정을 생략하고 직접적으로 차량의 운행상황이 반영된 레이더 센서 연계 자율주행용 SW를 제공할 수 있다. That is, the present invention can provide software for autonomous driving linked to a radar sensor that directly reflects the driving situation of a vehicle by omitting the existing complicated DSP processing process.
이러한 방식을 적용하면 자율주행차량에 설치되는 위치와 역할에 따라 달라지는 레이더센서의 DSP과정을 통합적으로 학습시켜 개발 할 수 있다.If this method is applied, the DSP process of the radar sensor, which varies depending on the location and role installed in the autonomous vehicle, can be integrated and developed.
또한 각 위치별 센서의 로 데이터를 시간 동기화 하여 전체적으로 저장하고 학습시키면 개별적인 레이더 센서를 통합하여 개발할 수 있는 추가적인 장점이 있다. In addition, if the raw data of each location sensor is time-synchronized and stored and learned as a whole, there is an additional advantage that individual radar sensors can be integrated and developed.
기존의 자율주행제어는 각 위치별 기능별 센서를 독립적으로 개발하고 자율주행제어를 위하여 다시 통합하는 과정을 거쳐야한다. 그러나 본 발명에 따르면, 각각의 센서의 로 데이터와 운전자의 운행 상태를 시간동기화 하여 저장하고 레이더 센서 전체 데이터와 주행데이터를 학습시킴으로써 학습의 결과는 그대로 자율주행차량의 통합적인 제어 판단에 최적화된 결과를 도출하게 된다. Existing autonomous driving control has to go through the process of independently developing sensors for each function for each location and re-integrating them for autonomous driving control. However, according to the present invention, the raw data of each sensor and the driving state of the driver are time-synchronized and stored, and the entire radar sensor data and driving data are learned, so that the learning result is optimized for the integrated control judgment of the autonomous vehicle. will derive
추가적으로 이러한 레이더 센서 개발 방식은 자율주행용 레이더센서이외 다른 산업분야의 레이더센서의 경우도 레이더 센서의 로 데이터와 시간 동기화된 학습데이터만 있다면 복잡한 DSP과정을 생략하고도 인공지능 학습을 통해 기능을 구현할 수 있다. 예를 들면 사람의 심박을 측정하는 레이더센서의 경우 인공지능 학습에 필요한 시간 동기화된 데이터는 심전도 기계를 통해 사람에게 직접 측정한 심박 데이터가 될 수 있다. In addition, this radar sensor development method can implement functions through artificial intelligence learning without omitting the complicated DSP process, as long as there is only raw data and time-synchronized learning data of the radar sensor in the case of radar sensors in industrial fields other than autonomous driving radar sensors. can For example, in the case of a radar sensor that measures a person's heart rate, the time-synchronized data required for AI learning can be heart rate data directly measured by a person through an electrocardiogram machine.
본 발명의 권리는 위에서 설명된 실시예에 한정되지 않고 청구범위에 기재된 바에 의해 정의되며, 본 발명의 분야에서 통상의 지식을 가진 자가 청구범위에 기재된 권리범위 내에서 다양한 변형과 개작을 할 수 있다는 것은 자명하다.The right of the present invention is not limited to the above-described embodiments, but is defined by the claims, and those skilled in the art can make various modifications and adaptations within the scope of the claims. it is self-evident
Claims (7)
상기 레이더 센서를 장착한 차량;
상기 레이더 센서에서 수집한 로 데이터(raw data);
상기 레이더 센서 로 데이터와 실시간 동기화된 운전자의 주행데이터; 및
상기 레이더 센서 로 데이터를 입력 데이터로 하고 상기 주행데이터를 출력데이터로 하여 지도학습을 실시하는 기계학습 모듈;을 포함하고,
상기 주행데이터는 차량에 대한 가속, 감속, 및 핸들조향 데이터를 포함하며,
상기 기계학습 모듈에 의해 레이더 센서 로 데이터에 기반하여 차량을 자율적으로 가속, 감속, 및 핸들조향 하는 자율주행모듈이 차량 하드웨어에 탑재된 것을 특징으로 하는 자율주행 모듈.radar sensor;
a vehicle equipped with the radar sensor;
raw data collected by the radar sensor;
driving data of the driver synchronized with the data from the radar sensor in real time; and
A machine learning module for performing supervised learning by using the radar sensor data as input data and the driving data as output data;
The driving data includes acceleration, deceleration, and steering wheel data for the vehicle,
An autonomous driving module, characterized in that the autonomous driving module that autonomously accelerates, decelerates, and steers the vehicle based on data from the radar sensor by the machine learning module is mounted on the vehicle hardware.
상기 레이더 센서의 전자기파를 반사하는 표적;
상기 표적으로부터 반사된 전자기파에 의해 생성된 레이더 센서 로 데이터 수집 모듈;
상기 레이더 센서 로 데이터와 실시간 동기화되고 상기 표적의 위치 또는 속도를 독립변수로 하여 변화되는 로 대응데이터 수집 모듈;
상기 레이더 센서 로 데이터(raw data)와 로 대응 데이터를 입력 데이터와 출력 데이터로 하여 기계학습으로 지도학습시키는 기계학습 모듈; 및
상기 기계학습 모듈의 학습결과 얻어지는, 레이더 센서 로 데이터와 실시간 동기화되는 대응 데이터를 도출하는 대응 모듈;을 포함하는 것을 특징으로 하는 인공지능 레이더 센서 응용 모듈.
radar sensor;
a target that reflects electromagnetic waves of the radar sensor;
a data collection module to the radar sensor generated by the electromagnetic wave reflected from the target;
a raw data collection module that is synchronized with the radar sensor raw data in real time and is changed using the position or speed of the target as an independent variable;
a machine learning module for supervised learning by machine learning by using the radar sensor raw data and raw data as input data and output data; and
AI radar sensor application module comprising a; a corresponding module for deriving the corresponding data that is synchronized with the radar sensor raw data in real time, obtained as a result of the learning of the machine learning module.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200088261A KR102391173B1 (en) | 2020-07-16 | 2020-07-16 | Radar sensor R&D method with artificial intelligence machine learning |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200088261A KR102391173B1 (en) | 2020-07-16 | 2020-07-16 | Radar sensor R&D method with artificial intelligence machine learning |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220009709A true KR20220009709A (en) | 2022-01-25 |
| KR102391173B1 KR102391173B1 (en) | 2022-04-27 |
Family
ID=80049176
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200088261A KR102391173B1 (en) | 2020-07-16 | 2020-07-16 | Radar sensor R&D method with artificial intelligence machine learning |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102391173B1 (en) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017181643A1 (en) * | 2016-04-22 | 2017-10-26 | Huawei Technologies Co., Ltd. | Object detection using radar and machine learning |
| KR20180020615A (en) * | 2016-08-19 | 2018-02-28 | 한양대학교 산학협력단 | Method for predicting driving path of object vehicle by maching learning and method for controlling vehicle using the same |
| KR20190076645A (en) * | 2017-12-22 | 2019-07-02 | 삼성전자주식회사 | Method and device to detect object |
| KR20190101926A (en) * | 2019-06-04 | 2019-09-02 | 엘지전자 주식회사 | Autonomous vehicles and control method thereof |
-
2020
- 2020-07-16 KR KR1020200088261A patent/KR102391173B1/en active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017181643A1 (en) * | 2016-04-22 | 2017-10-26 | Huawei Technologies Co., Ltd. | Object detection using radar and machine learning |
| KR20180020615A (en) * | 2016-08-19 | 2018-02-28 | 한양대학교 산학협력단 | Method for predicting driving path of object vehicle by maching learning and method for controlling vehicle using the same |
| KR20190076645A (en) * | 2017-12-22 | 2019-07-02 | 삼성전자주식회사 | Method and device to detect object |
| KR20190101926A (en) * | 2019-06-04 | 2019-09-02 | 엘지전자 주식회사 | Autonomous vehicles and control method thereof |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102391173B1 (en) | 2022-04-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11604253B2 (en) | Vehicular sensing system for classification of detected objects | |
| US11703587B2 (en) | Vehicle radar sensing system with enhanced angle resolution | |
| CN107609522B (en) | Information fusion vehicle detection system based on laser radar and machine vision | |
| EP3682308B1 (en) | Intelligent ladar system with low latency motion planning updates | |
| US20190204834A1 (en) | Method and apparatus for object detection using convolutional neural network systems | |
| CN109305165B (en) | Intelligent ultrasonic system, vehicle rear collision warning device and control method thereof | |
| US11774582B2 (en) | Imaging and radar fusion for multiple-object tracking | |
| US11585896B2 (en) | Motion-based object detection in a vehicle radar using convolutional neural network systems | |
| US11753002B2 (en) | Vehicular control system | |
| KR20210106864A (en) | Method and apparatus for detecting object based on radar signal | |
| WO2021131953A1 (en) | Information processing device, information processing system, information processing program, and information processing method | |
| JP3562278B2 (en) | Environment recognition device | |
| CN113792598A (en) | Vehicle-mounted camera-based vehicle collision prediction system and method | |
| CN111402630B (en) | Road early warning method, device and storage medium | |
| CN117173666A (en) | Automatic driving target identification method and system for unstructured road | |
| KR102391173B1 (en) | Radar sensor R&D method with artificial intelligence machine learning | |
| Meinecke et al. | Approach for protection of vulnerable road users using sensor fusion techniques | |
| US20240194077A1 (en) | Method for operating a driver assistance system, computer program product, driver assistance system, and vehicle | |
| KR20220007824A (en) | Self-driving system with radar sensor and artificial intelligence machine learning | |
| CN114624713A (en) | Target tracking during acceleration events | |
| CN117075526B (en) | Remote control method and device for automatic driving vehicle | |
| KR20230136830A (en) | Driver assistance system and driver assistance method | |
| CN118876993A (en) | Automatic driving method and system based on infrared polarized image sensor | |
| Sarkar | Driver Assistance Technologies | |
| CN114829972A (en) | Method for detecting at least one traffic participant |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right |