KR20220007824A - 레이더 센서와 인공지능 기계학습이 적용된 자율주행시스템 - Google Patents

Abstract

본 발명의 목적은 레이더 센서의 복잡한 신호처리 기술에 의한 자율주행용 데이터 추출과정을 생략하고 인공지능 기계학습으로부터 자율주행에 유의미한 데이터를 얻고자 하는 것이다.
상기 목적에 따라 본 발명은, 레이더 센서를 장착한 일반차량을 준비하고, 상기 레이더 센서에서 수집한 로 데이터(raw data)와 실시간 동기화된 운전자의 주행데이터(차량에 대해 가속, 감속, 및 핸들조향을 실시한 주행데이터)를 기계학습 중 지도학습을 이용하여 레이더 센서의 로 데이터를 입력데이터로 하고, 운전자의 주행데이터를 출력데이터로 하여 훈련된 인공지능 자율주행 모듈을 제공한다.

Description

레이더 센서와 인공지능 기계학습이 적용된 자율주행시스템{Self-driving system with radar sensor and artificial intelligence machine learning}

본 발명은 레이더 센서와 인공지능 기계학습을 결합하여 도출되는 자율주행시스템에 관한 것이다.

자율주행차량용 인지센서는 주로카메라, 라이다, 레이더 등이 활용된다. 이러한 인지센서를 통해 입력된 정보를 기초로 주변상황을 판단한 뒤 실제가속, 감속, 정지, 방향전환 등 차량을 제어하게 된다. 현재 자율주행을 위해서 가장 많이 사용되는 센서는 카메라와 라이더 센서 이다. 광학센서는 높은 해상도를 이용하여 교통신호분석, 차선감지 등 차량의 자율주행에 필요한 다양한 분야에 활용되고 있다. 그러나 광학센서의 단점인 안개, 폭우, 먼지, 햇빛, 상향 조명, 역광 등에 취약한 단점이 있다. 예로써, 테슬라의 자율주행차량은 전복된 트럭을 정지된 지형으로 보아 추돌사고를 냈고, 오전 시간 대 역광으로 인한 전방 감식 불가 상태에서 추돌사고를 낸 적이 있다.

반면, 레이더 센서는 전자파를 이용함으로써 광학 센서에 비해 해상도는 떨어지지만 악천후 환경에 강인한 특성을 가지고 있어 전방의 물체를 감지하고 속도 및 거리, 위치 등을 측정하여 충돌방지 및 보행자 감지 등에 활용된다.

그러나 자율주행에 필요한 높은 성능의 레이더 센서를 개발하기 위해서는 눈으로 보이지 않는 전자파를 분석 하여 위험상황을 예측해야하는 부분에 있어 광학제품에 비해 개발적인 난관이 있다.

레이더센서는 고유 주파수를 발생시키는 안테나를 통해 아날로그 전파신호를 전방으로 출력시키고 한개 또는 다수의 수신채널로 전파신호를 수신하고, 수신된 아날로그 신호를 디지털 신호로 변환한 원천 데이터(Raw 데이터)를 생성하고 DSP(Digital Signal Processing)과정을 통해 다양한 알고리즘을 적용하여 움직이는 물체의 속도, 거리, 각도, 반사량 등을 산출하여 차량의 충돌위험을 감지하여 정차시키거나 보행자를 인지하여 속도를 줄이는 기능을 하게 된다(도 1 참조).

이중 특히 DSP 과정은 수집된 Raw 데이터로부터 의미있는 정보를 추출하는 복잡한 sw 처리과정으로 자율주행에 필요한 높은 성능의 레이더 센서를 개발하는 것이 가장 핵심적인 과정이다(도 2 참조).

이렇게 개발된 DSP SW는 레이더센서에 모듈로 내장되어 자율주행에 필요한 전방충돌 예측, 보행자감지, 전방차량 출발알람기능 등에활용된다.

자율주행자동차의 경우, 적게는 한개에서 많게는 7개정도의 레이더센서가 장착된다(도 3 참조). 일반적으로 전방차량충돌을 감시하기 위해 100미터 이상의 전방물체를 감시하는 Long Range Radar(LRR), 차량주변 또는 후방의 가까운 물체를 감시하는 Short Rang Radar(SRR)등의 센싱결과를 입력으로 하여 자율주행차량의 이동을 제어하게 된다. 이때 사용되는 레이더 센서는 각각의 위치에따라 그 기능과 역할에 맞도록 구분되어 개발된다. 이 과정에서 각 레이더센서는 그 위치와 기능에 따라 개별적으로 복잡한 DSP 과정을 거쳐 개발되며 또한 각각의 기능을 개별적으로 검증해야하는 문제가 발생한다. 즉, 도 3과 같이 복잡한 신호처리 과정을 거쳐 레이더 센서에서 수집된 원시데이터로부터 유의미한 데이터를 추출하고, 여려 대의 레이더 센서들의 추출 데이터를 다시 취합하여 자율주행 동작을 제어하는 데 사용하는 것이다.

따라서 각각 독립적으로 개발된 레이더센서는 전체적인 자율주행의 독립적인 판단변수로 활용될수밖에 없으며 필연적으로 자율주행차량제어의 복잡도를 높일 수 밖에 없다.

공개특허 10-2019-0083317호의 경우, 각종 센서를 구비하여 차선변경 결정을 인공지능으로 실시하는 기술이 기재되어 있지만, 운전자의 의도 입력을 기반으로 하고 있어, 상술한 레이더 센서로부터 유의미한 데이터를 추출하는 과정 자체는 종래기술과 동일하다.

한편, 현재 자율주행용 AI는센서로부터 입력된 센싱정보를 활용하여 차량을 제어하는 역할을 수행하게된다. 이때 AI를 학습시키는 원천데이터 로영상데이터가 사용된다.

NVDIA는 자사의 자율주행용 플랫폼에 간단한 신경망 AI를 구축한 다음, 약4,800Km의 운행 영상데이터를 학습시킨 결과 아무런 DSP 과정이나 알고리즘 구현 없이 스스로 차선을 판단하는 결과를 만들어냈다(End to End Learning for Self-Driving Cars, NVDIA). 그러나, 상술한 바와 같이, 영상 데이터에만 의존하는 자율주행은 2차원 평면데이터에 의존하기 때문에 안전에 한계가 있다.

본 발명의 목적은 레이더 센서의 복잡한 신호처리 기술에 의한 자율주행용 데이터 추출과정을 생략하고 인공지능 기계학습으로부터 자율주행에 유의미한 데이터를 얻고자 하는 것이다.

상기 목적에 따라 본 발명은, 레이더 센서를 장착한 일반차량을 준비하고, 상기 레이더 센서에서 수집한 로 데이터(raw data)와 실시간 동기화된 운전자의 주행데이터(차량에 대해 가속, 감속, 및 핸들조향을 실시한 주행데이터)를 기계학습 중 지도학습을 이용하여 레이더 센서의 로 데이터를 입력데이터로 하고, 운전자의 주행데이터를 출력데이터로 하여 훈련된 인공지능 자율주행 모듈을 제공한다.

상기에서, 레이더 센서 이외에 카메라, 라이다 센서를 더 포함하고, 이들로부터 수집된 데이터와 이들 센서 각각의 데이터와 실시간 동기화된 운전자의 주행데이터를 지도학습의 입력과 출력에 추가하여 기계학습을 실시한 인공지능 자율주행 모듈을 제공한다.

즉, 본 발명은,

레이더 센서;

상기 레이더 센서를 장착한 차량;

상기 레이더 센서에서 수집한 로 데이터(raw data);

상기 레이더 센서 로 데이터와 실시간 동기화된 운전자의 주행데이터; 및

상기 레이더 센서 로 데이터를 입력 데이터로 하고 상기 주행데이터를 출력데이터로 하여 지도학습을 실시하는 기계학습 모듈;을 포함하고,

상기 주행데이터는 차량에 대한 가속, 감속, 및 핸들조향 데이터를 포함하며,

상기 기계학습 모듈에 의해 레이더 센서 로 데이터에 기반하여 차량을 자율적으로 가속, 감속, 및 핸들조향 하도록 차량 하드웨어에 탑재되는 것을 특징으로 하는 자율주행 모듈을 제공한다.

상기에 있어서, 차량에 카메라를 더 포함하여 상기 레이더 센서 로 데이터와 시간동기화된 영상데이터를 입력 데이터에 추가하여 지도학습을 실시하는 것을 특징으로 하는 자율주행 모듈을 제공한다.

상기에 있어서, 레이더 센서는 전방, 측방, 후방에 하나 이상 배치되고, 각각의 레이더 센서별로 식별번호가 부여되고, 식별번호가 부여된 모든 레이더 센서의 로 데이터가 서로 시간동기화되고, 주행데이터와의 연관성을 지도학습하는데 입력 데이터로 사용되는 것을 특징으로 하는 자율주행 모듈을 제공한다.

상기에 있어서, 레이더 센서 로 데이터는 디지털 신호처리 과정을 거치지 않는 무손실 데이터 인 것을 특징으로 하는 자율주행 모듈을 제공한다.

상기의 레이더 센서 로 데이터와 운전자의 주행데이터는 차량과 별개의 장소에 있는 서버에 통신을 통해 수집 저장되는 것을 특징으로 하는 자율주행 모듈 제작을 위한 데이터 수집 방법을 제공한다.

본 발명은,

레이더 센서와 상기의 자율주행 모듈을 탑재한 하드웨어를 구비한 자율주행차량을 제공한다.

본 발명에 따르면, 레이더 센서에 대한 DSP 개발 과정을 제거할 수 있어, 신호처리 인력의 노고와 비용을 절감할 수 있다. 뿐만, 아니라, 본 발명의 인공지능 기계학습과정은 레이더 센서의 로 데이터 전부를 사용하는 무손실 데이터이기 때문에, 레이더 센서의 로 데이터에서 전처리, 배경제거 등의 필터링 과정에서 소실되는 데이터로 인한 오차 문제로부터 자유롭다.

또한, 본 발명에 따르면, 지속적인 데이터 수집만으로 새로운 위험사례 대응 알고리즘을 개발할 수 있으며, 자율주행을 위한 센서 통합 알고리즘을 제공할 수 있다.

또한, 본 발명에 따르면, 레이더 센서 데이터는 영상 데이터의 2차원적 한계를 뛰어넘어 악천후, 도로면의 요철 등을 포함하는 3차원 데이터를 제공하기 때문에 안전한 자율주행 인공지능 모듈을 제공할 수 있다.

도 1은 자율주행 레이더 센서의 동작원리와 여기에 디지털 신호처리가 개입되는 것을 설명하는 블록도이다.
도 2는 디지털 신호처리 과정을 세부적으로 설명하는 블록순서도이다.
도 3은 자율주행차량에 설치된 레이더 센서와 그에 다른 감지 범위를 보여준다.
도 4는 본 발명에 따라 레이더 센서 데이터와 실시간 동기화된 주행데이터를 기계학습에 의해 훈련시켜 레이더 센서에 따라 자율주행을 실시하도록 한 것을 설명하는 개요도이다.
도 5는 레이더 센서 로데이터에 실시간 동기화된 주행데이터 실시예를 보여준다.

이하, 첨부도면을 참조하여 본 발명의 바람직한 실시예에 대해 상세히 설명한다.

본 발명은 레이더 센서의 DSP SW 개발분야에 AI를 적용하는 것이다.

이를 위해, 레이더 센서 Raw 데이터와 시간동기화된 실제운행상황에 따른 차량속도 가/감속데이터 및 운전자가 행하는 핸들 조향과 같은 주행데이터를 추가로 학습시킨다.

즉, 먼저, 레이더 센서를 장착한 일반차량을 준비하고, 운전자가 직접 주행을 실시한다. 이때, 상기 레이더 센서에서 수집한 로 데이터(raw data)와 실시간 동기화된 운전자의 주행데이터(차량에 대해 가속, 감속, 및 핸들조향을 실시한 주행데이터)를 수집한다. 충분한 주행거리, 예를 들면, 5,000 km 정도를 주행하며, 다양한 환경에 노출시키면서 주행하는 것이 바람직하다.

레이더 센서의 로 데이터와 이와 실시간 동기화된 주행데이터는 차량 내부의 MCU와 같은 메모리에 저장되거나, 좀 더 용량이 큰 별도의 서버에 저장되도록 CAN 과 같은 통신수단을 이용하여 저장한다.

차량 외에 소정 장소에 설치된 대용량 서버에 저장된 레이더 로 데이터와 주행데이터를 기계학습장치에 입력하여 학습시킨다. 즉, 레이더 센서의 로 데이터를 입력으로하고, 그에 따라 실시간 동기화된 주행데이터를 출력으로 하여 지도학습을 시키는 인공지능 신경망을 활용한다.

학습을 통해 훈련된 인공지능은 레이더 로 데이터와 주행데이터를 연관지을 수 있게 된다. 따라서, 레이더 센서와 그에 따라 동작하는 인공지능 자율주행 모듈을 구성하여 이를 차량에 탑재시켜 자율주행을 실시할 수 있다.

레이더 센서는 대개 차량 전방에 2개(광폭 근거리, 협폭 장거리), 측방 4개(좌우 각각 2개), 후방 1개와 같이 7개가 구비되며, 고급 차량의 경우 그 수는 더 늘어난다. 따라서 각각의 레이더 센서에 식별번호를 부여하고, 이들로부터 센싱된 데이터를 식별번호별로 수집저장하되, 시각별로 정돈되게 클럭정보와 함께 저장한다.

레이더 센서가 지속적인 센싱을 하는 동안, 사람이 차량을 운전하면서, 가속, 감속, 핸들 조향을 실시하는 모든 주행데이터가 레이던 센서 데이터와 시간 동기화되어 저장된다.

이와 같이 수집된 다수의 레이더 센서 로 데이터와 여기에 시간동기화된 주행데이터는 기계학습의 입력과 출력으로 제공되어 지도학습을 거쳐, 훈련을 마친 후 레이더 센서와 연계된 자율주행 모듈이 제작된다. 예를 들면, 1번부터 7번에 이르는 레이더 센서 각각의 로 데이터와 시간 동기화된 주행데이터는 지도학습을 통해, 1번, 2번 전방주시용 레이더 센서의 로 데이터와 연관된 가감속 동작 데이터, 3 내지 6번의 측방감시용 레이더 센서의 로 데이터와 연관된 조향 데이터, 7번 후방감시용 레이더 센서 로 데이터와 3 내지 6번의 측방감시용 레이더 센서 로 데이터를 함께 연관시킨 조향데이터가 학습의 결과 훈련된 자율주행모드 소프트웨어로 제작될 수 있다. 그러나 대부분 1 내지 7번의 레이더 센서 전체의 로 데이터와 주행데이터가 함께 학습되고 자율주행 소프트웨어에 반영될 수 있다.

상기 인공지능을 활용하여 제작된 레이더센서 기반 자율주행 모듈은 차량에 레이더 센서와 함께 통신모듈을 포함한 하드웨어 시스템에 탑재될 수 있다.

도 5에는, 주행데이터의 예를 좀 더 상세히 들어놓았다.

전방 물체, 측방 물체, 후방물체 부재시 가속정보, 속도정보, 조향데이터가 각각의 레이더 센서 로 데이터와 실시간 동기화되어 저장되며, 이후, 기계학습의 입력과 출력이 되어 훈련된다.

전방 물체가 안전거리 밖에 있고, 측방, 및 후방 물체 부재시 속도정보(등속), 조향(각도)정보가 각각의 레이더 센서 로 데이터와 실시간 동기화되어 저장되며, 이후, 기계학습의 입력과 출력이 되어 훈련된다.

전방 물체가 안전거리 안에 있고, 측방, 및 후방 물체 부재시 감속정보, 조향정보가 각각의 레이더 센서 로 데이터와 실시간 동기화되어 저장되며, 이후, 기계학습의 입력과 출력이 되어 훈련된다.

전방 물체가 안전거리 안에 있고, 측방 물체 부재, 후방 물체 접근 시, 감속정보및 차선변경을 위한 조향정보가 각각의 레이더 센서 로 데이터와 실시간 동기화되어 저장되며, 이후, 기계학습의 입력과 출력이 되어 훈련된다.

이 외에도 다양한 상황에서 운전자의 주행데이터가 레이더 센서들의 로 데이터와 실시간 동기화되어 수집되고 기계학습의 입력과 출력이 되어 훈련된다.

충분한 훈련을 마친 후, 레이더 센서 로 데이터를 기반으로 한 인공지능 자율주행 모듈이 제작된다.

이러한 자율주행 모듈을 차량에 탑재하면, 레이더 센서의 로 데이터에 따라 차량은 가속, 감속, 조향을 자율적으로 실시한다. 상술한 바와 같이, 레이더 센서는 3차원을 인식할 수 있는 데이터이고, 악천후에 의해 영향받지 않으므로 안전한 자율주행이 이루어질 수 있다.

상기에서, 레이더 센서 이외에 카메라, 라이다 센서를 더 포함하고, 이들로부터 수집된 데이터와 이들 센서 각각의 데이터와 실시간 동기화된 운전자의 주행데이터를 지도학습의 입력과 출력에 추가하여 기계학습을 실시한 인공지능 자율주행 모듈을 제공한다. 카메라의 영상데이터 역시 레이더 센서 로 데이터 및 주행데이터와 실시간 동기화되며, 레이더 센서 로 데이터와의 상관관계 및 주행데이터와의 상관관계가 학습되어 자율주행 모듈에 반영된다. 특히, 차선변경 모드에서 빠른 판단을 할 수 있다.

즉, 본 발명은 기존의 복잡한 DSP 처리과정을 생략하고 직접적으로 차량의 운행상황이 반영된 레이더 센서 연계 자율주행용 SW를 제공할 수 있다.

이러한 방식을 적용하면 자율주행차량에 설치되는 위치와 역할에 따라 달라지는 레이더센서의 DSP과정을 통합적으로 학습시켜 개발 할 수 있다.

또한 각 위치별 센서의 Raw 데이터를 시간 동기화 하여 전체적으로 저장하고 학습시키면 개별적인 레이더 센서를 통합하여 개발할 수 있는 추가적인 장점이 있다.

기존의 자율주행제어는 각 위치별 기능별 센서를 독립적으로 개발하고 자율주행제어를 위하여 다시통합하는 과정을 거쳐야한다. 그러나 본 발명에 따르면, 각각의 센서의 Raw 데이터와 운전자의 운행 상태를 시간동기화 하여 저장하고 레이더 센서 전체 데이터와 주행데이터를 학습시킴으로써 학습의 결과는 그대로 자율주행차량의 통합적인 제어 판단에 최적화된 결과를 도출하게 된다.

본 발명의 권리는 위에서 설명된 실시예에 한정되지 않고 청구범위에 기재된 바에 의해 정의되며, 본 발명의 분야에서 통상의 지식을 가진 자가 청구범위에 기재된 권리범위 내에서 다양한 변형과 개작을 할 수 있다는 것은 자명하다.

Claims (6)

1. 레이더 센서;
   상기 레이더 센서를 장착한 차량;
   상기 레이더 센서에서 수집한 로 데이터(raw data);
   상기 레이더 센서 로 데이터와 실시간 동기화된 운전자의 주행데이터; 및
   상기 레이더 센서 로 데이터를 입력 데이터로 하고 상기 주행데이터를 출력데이터로 하여 지도학습을 실시하는 기계학습 모듈;을 포함하고,
   상기 주행데이터는 차량에 대한 가속, 감속, 및 핸들조향 데이터를 포함하며,
   상기 기계학습 모듈에 의해 레이더 센서 로 데이터에 기반하여 차량을 자율적으로 가속, 감속, 및 핸들조향 하도록 차량 하드웨어에 탑재되는 것을 특징으로 하는 자율주행 모듈.
2. 제1항에 있어서, 차량에 카메라를 더 포함하여 상기 레이더 센서 로 데이터와 시간동기화된 영상데이터를 입력 데이터에 추가하여 지도학습을 실시하는 것을 특징으로 하는 자율주행 모듈.
3. 제1항에 있어서, 레이더 센서는 전방, 측방, 후방에 하나 이상 배치되고, 각각의 레이더 센서별로 식별번호가 부여되고, 식별번호가 부여된 모든 레이더 센서의 로 데이터가 서로 시간동기화되고, 주행데이터와의 연관성을 지도학습하는데 입력 데이터로 사용되는 것을 특징으로 하는 자율주행 모듈.
4. 제1항에 있어서, 레이더 센서 로 데이터는 디지털 신호처리 과정을 거치지 않는 무손실 데이터 인 것을 특징으로 하는 자율주행 모듈.
5. 제1항의 레이더 센서 로 데이터와 운전자의 주행데이터는 차량과 별개의 장소에 있는 서버에 통신을 통해 수집 저장되는 것을 특징으로 하는 자율주행 모듈 제작을 위한 데이터 수집 방법.
6. 레이더 센서와 제1항 내지 제4항 중 어느 한 항의 자율주행 모듈을 탑재한 하드웨어를 구비한 자율주행차량.
   
   
   
   
   
   
   
   

Images