KR102602271B1

KR102602271B1 - 인공신경망을 이용한 주행 차량의 충돌 가능성 판단 방법 및 장치

Info

Publication number: KR102602271B1
Application number: KR1020210095187A
Authority: KR
Inventors: 정정주; 정세훈; 김대정; 김진성
Original assignee: 한양대학교 산학협력단
Priority date: 2021-07-20
Filing date: 2021-07-20
Publication date: 2023-11-14
Also published as: KR20230014008A

Abstract

일 실시예에 따른 인공신경망을 이용한 주행 차량의 충돌 가능성 판단 장치는, 라이다 및 레이다로부터 수신한 라이다 정보 및 레이다 정보를 입력 정보로 하고, 미리 설정된 영역에 존재하는 타켓 차량(target vehicle) 및 자아 차량(ego vehicle)에 대한 주행 정보를 포함하고 있는 그리드 맵(Grid Map) 정보를 출력 정보로 하는 전처리 모듈 및 상기 그리드 맵 정보를 입력 정보로 하고, 상기 타켓 차량과 상기 자아 차량의 충돌 발생 여부 정보를 포함하고 있는 제1충돌 예측 정보를 출력 정보로 하는, 기 학습된 충돌 감지 인공신경망 모듈을 포함하고, 상기 제1충동 예측 정보는, 미리 정의된 상기 타켓 차량과 상기 자아 차량의 주행 유형 중 하나의 유형에 해당하는지 여부에 대한 정보를 포함하고, 상기 주행 유형은, 상기 타켓 차량과 상기 자아 차량의 평행 주행 유형, 상기 타켓 차량의 차선 이동 유형, 상기 자아 차량의 차선 이동 유형 및 상기 타켓 차량과 상기 자아 차량의 동시 차선 이동 유형을 포함할 수 있다.

Description

인공신경망을 이용한 주행 차량의 충돌 가능성 판단 방법 및 장치{Method and apparatus for determining the possibility of collision of a driving vehicle using an artificial neural network}

본 발명은 인공신경망을 이용한 주행 차량의 충돌 가능성 판단 방법 및 장치에 관한 발명으로서, 보다 상세하게는 라이다 센서와 차량 센서로 취득한 정보를 기초로 현재 주행하고 있는 차량과 주행 차량과의 관계를 분석하여, 향후 충돌할 가능성이 존재하는지 여부에 대한 정보를 제공해주는 기술에 관한 발명이다.

자율주행이란 출발지에서 목적지까지 운전자의 개입 없이 스스로 운행이 가능한 이동 객체의 운행으로 정의될 수 있으며, 자율주행 기술은 유럽은 6단계 미국은 5단계로 구분하여 각 단계별 기술들을 정의해 놓고 있다.

현재 자율주행 자동차의 자율주행 레벨은 3단계인 조건부 자동화에 이르렀으며, 레벨 3단계의 자율주행은 일반적으로 차량의 주행은 시스템에게 맡기되, 시스템의 요청이 있는 경우 또는 운전자가 직접 개입하는 경우에 한해서만 차량의 제어권을 시스템에서 운전자로 이양하는 수준의 자율주행을 의미한다.

자율주행 레벨 3단계에서는, 시스템이 교통상황을 파악하여 자율적으로 운행을 하는데, 레벨 3단계의 경우 교통혼잡 시 저속주행, 고속도로 주행, 자동 차로 변경 등의 제어를 통해 주행까지 가능하다. 그러나, 레벨 3단계의 경우 이동 경로 또는 전체 도로의 운행 상황에 대해서는 판단할 수 없는 단점이 존재한다. 따라서, 현재의 자율주행 시스템의 발전 방향은 이러한 상황에서도 정확한 판단이 가능한 레벨 4단계로 진입할 수 있도록 자율 주행 시스템의 기술력을 높이는 것에 초점이 맞춰져 있다.

자율주행 레벨이 3단계에서 4단계로 진입하기 위해서는, 자율주행 시스템이 이동경로 상의 차량 주변의 여러 요소들을 정확하게 판단하여 운전자의 개입이 없어도 완벽하게 자율 주행이 가능해야 한다. 그리고 이를 정확하게 실행하기 위해서는 자율주행 시스템이 단순히 차량의 주변 객체만 인식하는 것이 아니라 운행 차량의 운행 정보를 고려하여 주변 이동 객체들의 예상 주행 경로를 인식하고, 이를 통해 운행중인 차량과 주변 객체와의 충돌에 대한 정보를 예상할 수 있어야 한다.

그러나, 현재까지 제안된 기술로는 단일 센서를 이용하여 취득한 주변 차량의 정보 또는 주변 차량과의 통신을 통해 취득한 정보를 기초로 주변 차량의 주행 경로를 예측할 뿐, 현재 주행중인 차량과 주변 차량과의 상대적인 관계를 종합적으로 분석하여 주행중인 차량과 주변 차량과의 관계 정보를 정확히 제공해주는 기술은 존재하지 않은 실정이다.

또한, 주행 중 사고는 주행 중인 차량과 옆 차선에 있는 차량과만 발생하는 것은 아니고, 주행 중인 차량의 옆옆 차선에서 주행하고 있는 주변 차량과도 사고가 발생할 가능성이 높은데, 종래 기술의 경우 현재 주행 중인 차량의 옆 차선에서 주행하고 있는 주변 차량과의 충돌 가능성 여부에 대해서만 판단할 뿐, 옆옆 차선에서 주행하고 있는 주변 차량과의 사고 발생 가능성 여부를 판단하는 기술은 존재하지 않은 실정이다.

대한민국 공개특허 제10-2018-0159606호 - 카메라 및 라이다 센서 융합을 이용한 객체 검출 방법 및 그를 위한 장치 (2018.12.12 공개)

따라서, 일 실시예에 따른 인공신경망을 이용한 주행 차량의 충돌 가능성 판단 방법 및 장치는 상기 설명한 문제점을 해결하기 위해 고안된 발명으로서, 센서로 취득한 정보를 기초로 주행 중인 차량과 주변 차량과의 관계를 분석한 정보를 운전자에게 제공해주는데 그 목적이 있다.

보다 구체적으로는, 일 실시예에 따른 인공신경망을 이용한 주행 차량의 충돌 가능성 판단 방법 및 장치는 주행 중인 차량과 주변 차량과 발생할 수 있는 유형들을 미리 정의해 놓은 후, 각종 센서들로 취득한 정보를 기초로 주행 중인 차량과 주변 차량의 경로 분석을 통해 주행 중인 차량과 주변 차량 사이에 향후 발생할 수 있는 유형에 대한 정보를 제공해주는 기술을 제공하는데 그 목적이 존재한다.

상기 미리 설정된 영역의 크기는, 상기 자아 차량을 기준으로 전방 10m, 후방 10m 및 상기 타켓 차량의 방향으로 10m 또는 차선 두개의 길이를 포함할 수 있다.

상기 주행 정보는, 상기 레이다가 송신하는 레이다 신호의 포인트 정보, 상기 레이다 신호의 강도 정보 및 상기 타켓 차량과 상기 자아 차량과의 상대 속도 정보를 포함할 수 있다.

상기 입력 정보는, 차량에 부착된 센서로부터 수신한 차량 정보를 더 포함하고, 상기 차량 정보는, 상기 차량의 조향 각도 정보, 요레이트 정보, 종방향 가속도 정보, 횡방향 가속도 정보 및 차량 속도 정보 중 적어도 하나를 포함할 수 있다.

상기 주행 정보는, 상기 라이다가 송신하는 레이다 신호의 포인트 정보, 상기 레이다 신호의 강도 정보 및 상기 라이다가 송신하는 라이다 신호의 포인트 정보를 포함하고, 상기 그리드 맵 정보는, 상기 차량 정보가 상기 그리드 맵에 더미(dummy) 형식으로 부착된 정보일 수 있다.

상기 전처리 모듈은, 미리 설정된 시간 동안 미리 설정된 횟수만큼 수신한 상기 라이다 정보 및 상기 레이다 정보를 순차적으로 배열한 통합 데이터를 생성하는 타임 윈도잉 모듈을 포함할 수 있다.

상기 미리 설정된 시간은 1초 내지 2초의 시간을 포함하고, 상기 미리 설정된 횟수는 5회 내지 10회를 포함할 수 있다.

상기 전처리 모듈은, 상기 통합 데이터를 기초로 상기 라이다가 송신하는 라이다 신호의 포인트 정보, 상기 라이다 신호의 강도 정보 및 상기 타켓 차량과 상기 자아 차량과의 상대 속도 정보를 포함하는 특징 벡터 정보를 생성하는 그리드 맵 정보 생성 모듈을 포함할 수 있다.

상기 그리드 맵 정보 생성 모듈은, 상기 특징 백터 정보를 그리드 맵에 투영하여 그리드 맵 정보를 생성할 수 있다.

상기 인공신경망을 이용한 주행 차량의 충돌 가능성 판단 장치는 상기 충돌 감지 인공신경망 모듈의 소프트 맥스(soft max)층 전 단계인 완전 연결층(Fully-Connected layer)에서 출력되는 상기 4가지 주행 유형에 관한 로직 벡터(Logit Vector) 정보를 추출한 후, 상기 로직 벡터에 상기 주행 유형으로 판단할 수 없는 예외 유형에 대한 정보를 합산 한 후, 합산된 로직 벡터 정보를 기초로 제2충돌 예측 정보를 출력하는 후처리 모듈을 더 포함할 수 있다.

상기 제2충돌 예측 정보는, 상기 주행 유형 및 상기 예외 유형 중 어느 하나의 유형에 해당하는지 여부에 대한 정보를 포함할 수 있다.

일 실시예에 따른 인공신경망을 이용한 주행 차량의 충돌 가능성 판단 장치는 라이다 및 레이다로부터 수신한 라이다 정보 및 레이다 정보를 입력 정보로 하고, 미리 설정된 영역에 존재하는 타켓 차량(target vehicle) 및 자아 차량(ego vehicle)에 대한 주행 정보를 포함하고 있는 그리드 맵(Grid Map) 정보를 출력 정보로 하는 전처리 모듈, 상기 그리드 맵 정보를 입력 정보로 하고, 상기 타켓 차량과 상기 자아 차량의 충돌 발생 여부 정보를 포함하고 있는 제1충돌 예측 정보를 출력 정보로 하는, 기 학습된 충돌 감지 인공신경망 모듈 및 차량에 부착된 센서로부터 차량 정보를 수신하고, 상기 차량 정보를 상기 충돌 감지 인공신경망 모듈에서 완전 연결층이 처음으로 시작되는 레이어에 중간 입력 정보로 송신하는 중간 입력 정보 송신 모듈을 포함하고, 상기 제1충돌 예측 정보는, 미리 정의된 상기 타켓 차량과 상기 자아 차량의 주행 유형 중 어느 하나의 유형에 해당하는지 여부에 대한 정보를 출력하고, 상기 주행 유형은, 상기 타켓 차량과 상기 자아 차량의 평행 주행 유형, 상기 타켓 차량의 차선 이동 유형, 상기 자아 차량의 차선 이동 유형 및 상기 타켓 차량과 상기 자아 차량의 동시 차선 이동 유형을 포함할 수 있다.

상기 차량 정보는, 상기 차량의 조향 각도 정보, 요레이트 정보, 종방향 가속도 정보, 횡방향 가속도 정보 및 차량 속도 정보 중 적어도 하나를 포함할 수 있다.

일 실시예에 따른 인공신경망을 이용한 주행 차량의 충돌 가능성 판단 방법은 라이다 및 레이다로부터 수신한 라이다 정보 및 레이다 정보를 입력 정보로 하고, 미리 설정된 영역에 존재하는 타켓 차량(target vehicle) 및 자아 차량(ego vehicle)에 대한 주행 정보를 포함하고 있는 그리드 맵(Grid Map) 정보를 출력 정보로 하는 전처리 단계 및 상기 그리드 맵 정보를 입력 정보로 하고, 상기 타켓 차량과 상기 자아 차량의 충돌 발생 여부 정보를 포함하고 있는 제1충돌 예측 정보를 출력 정보로 하는, 기 학습된 충돌 감지 인공신경망 모듈을 이용하여, 상기 제1충돌 예측 정보를 출력하는 출력 정보 출력 단계를 포함하고, 상기 제1충동 예측 정보는, 미리 정의된 상기 타켓 차량과 상기 자아 차량의 주행 유형 중 어느 하나의 유형에 해당하는지 여부에 대한 정보를 포함하고, 상기 주행 유형은, 상기 타켓 차량과 상기 자아 차량의 평행 주행 유형, 상기 타켓 차량의 차선 이동 유형, 상기 자아 차량의 차선 이동 유형 및 상기 타켓 차량과 상기 자아 차량의 동시 차선 이동 유형을 포함할 수 있다.

일 실시예에 따른 인공신경망을 이용한 주행 차량의 충돌 가능성 판단 방법 및 장치는 여러 센서를 이용하여 취득한 데이터를 기초로 인공신경망 학습을 통해 주행 중인 차량과 주변 차량과의 예상 주행 경로를 분석하기 때문에, 주변 차량과의 충돌 가능성 여부를 종래 기술 보다 정확하게 예측할 수 있는 효과가 존재한다.

일 실시예에 따른 인공신경망을 이용한 주행 차량의 충돌 가능성 판단 방법 및 장치는 현재 주행 중인 차량과 옆옆 차선에 존재하는 차량과 향후 일어날 수 있는 주행 상황들을 유형별로 분류한 후, 이를 기초로 학습을 하고 추론하기 때문에 운전자에게 예측되는 상황에 대한 정보를 구체적으로 제공할 수 있으며, 더 나아가 정확히 구분이 어려운 상황에 대해서는 별도의 알고리즘을 통해 출력 결과에서 배제시키므로, 추론 결과의 정확성을 높일 수 있는 효과가 존재한다.

도 1은 본 발명에 따라 자아 차량과 타겟 차량 사이에 발생할 수 있는 4가지 유형에 대해 설명한 도면이다.
도 2는 본 발명의 일 실시예에 따른 인공신경망을 이용한 주행 차량의 충돌 가능성 판단 장치의 일부 구성 요소를 도시한 도면이다.
도 3의 (a)는 본 발명의 일 실시예에 따른 전처리 모듈의 일부 구성 요소를 도시한 블록도이며, 도 3의 (b)는 전처리 모듈에 입력되는 정보를 도시한 도면이다.
도4는 본 발명의 일 실시예에 따른 전처리 모듈에 입력되는 그리드 맵 정보의 종류를 도시한 도면이다.
도 5는 본 발명의 실시예에 따른 충돌 감지 인공신경망 모듈의 학습 세션과 추론 세션을 도시한 도면이다.
도 6은 본 발명의 실시예에 따른 충돌 감지 인공신경망 모듈의 구성 요소와 입력 정보, 출력 정보를 도시한 도면이다.
도 7은 본 발명의 실시예에 따른 충돌 감지 인공신경망 모듈의 프로세스 과정을 설명하기 위한 도면이다.
도 8은 본 발명의 실시예에 따른 후처리 모듈의 프로세스 과정을 설명하기 위한 도면이다.
도 9는 본 발명의 다른 실시예에 따른 충돌 감지 인공신경망 모듈의 프로세스 과정을 설명하기 위한 도면이다.
도 10은 본 발명의 일 실시예 따라 충돌 감지 인공신경망 모듈이 출력한 정보를 유형별로 도시한 도면이다.
도 11은 본 발명의 각각의 실시예에 따라 후처리 모듈을 적용하였을 때와 적용하지 않았을 때의 출력 결과를 비교 도시한 도면이다.
도 12는 본 발명에 따른 충돌 가능성 판단 장치와 종래 기술에 따른 충돌 가능성 판단 장치의 예측 정확도에 대한 실험 결과를 수치로 정리하여 도시한 도면이다.

이하, 본 발명에 따른 실시 예들은 첨부된 도면들을 참조하여 설명한다. 각 도면의 구성요소들에 참조 부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명의 실시 예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 실시예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 실시 예들을 설명할 것이나, 본 발명의 기술적 사상은 이에 한정되거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있다.

또한, 본 명세서에서 사용한 용어는 실시 예를 설명하기 위해 사용된 것으로, 개시된 발명을 제한 및/또는 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.

본 명세서에서, "포함하다", "구비하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는다.

또한, 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "간접적으로 연결"되어 있는 경우도 포함하며, 본 명세서에서 사용한 "제 1", "제 2" 등과 같이 서수를 포함하는 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되지는 않는다.

아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략한다.

또한, 본 발명의 명칭은 '인공신경망을 이용한 주행 차량의 충돌 가능성 판단 장치'로 기재하였으나, 이하 명세서에서는 설명의 편의를 위해 '인공신경망을 이용한 주행 차량의 충돌 가능성 판단 장치'는 '충돌 가능성 판단 장치'로 지칭하여 설명하도록 한다.

도 1은 본 발명에 따라 자아 차량과 타겟 차량 사이에 발생할 수 있는 4가지 유형에 대해 설명한 도면이다.

본 발명은 현재 운전자가 주행하고 있는 자아 차량(10)과, 자아 차량(10) 주변에서 주행하면서, 자아 차량(10)과 충돌 가능성이 있어 분석 대상이 되는 타켓 차량(20)과의 충돌 가능성 여부를 판단하는 기술에 관한 발명으로서, 보다 구체적으로는 자아 차량(10)과 옆옆 차선에서 주행하고 있는 타켓 차량(20)과의 충돌 가능성 여부를 미리 설정되어 있는 유형별로 분석하여 충돌 가능성 여부에 대한 정보를 운전자에게 제공해줄 수 있는 기술에 관한 발명이다.

현재 주행중인 자아 차량(10)과 타켓 차량(20)의 옆옆 차선에서 주행중인 타켓 차량(20)의 예상 주행 관계는 도 1에 도시된 바와 같이 총 4가지의 유형을 분류 될 수 있다.

제1유형은 자아 차량(10) 및 타켓 차량(20) 모두 현 상황에서 차선을 변경하지 않고 평행하게 주행하는 평행 주행의 경우로서, 이 경우 사고 발생 가능성은 없는 것으로 판단될 수 있다. 이하 설명의 편의를 위해 평행 주행은 제1유형으로 지칭하여 설명하도록 한다.

제2유형은 자아 차량(10)은 현 상황에서 차선을 변경하지 않고 계속 주행하나, 타켓 차량(20)이 자아 차량(10)의 방향으로 한 차선 이동하는 타켓 차량 차선 변경 유형이다. 제2유형의 경우 당장 사고는 발생할 가능성은 적지만, 향후 주행 경로에 따라 사고가 발생할 가능성이 존재하는 유형이다. 이하 설명의 편의를 위해 타켓 차량 차선 변경 유형은 제2유형으로 지칭하여 설명하도록 한다.

제3유형은 타겟 차량(20)은 현 상황에서 차선을 변경하지 않고 계속 주행하나, 자아 차량(10)이 타겟 차량(20)의 방향으로 한 차선 이동하는 타켓 차량 차선 변경 유형이다. 제3유형의 경우 당장 사고는 발생할 가능성은 적지만, 향후 주행 경로에 따라 사고가 발생할 가능성이 존재하는 유형이다. 이하 설명의 편의를 위해 자아 차량 차선 변경 유형은 제3유형으로 지칭하여 설명하도록 한다.

제4유형은 자아 차량(10) 및 타켓 차량(20) 모두 현 상황에서 차선을 상대방 차량으로 한 차선씩 이동하는 경우로서, 제4유형의 경우 한 차선씩의 이동으로 인해 비록 바로 옆 차선에 차량이 주행하고 있지는 않았지만 차량 사고가 발생할 수 있는 유형에 해당한다. 이하 설명의 편의를 위해 자아 차량 및 타켓 차량 차선 변경 유형은 제4유형으로 지칭하여 설명하도록 한다.

즉, 본 발명에 따른, 충돌 가능성 판단 장치(100)는 현재 주행중인 차량과 옆옆 차선에서 주행하고 있는 차량과 발생할 수 있는 시나리오를 유형별로 분석 한 후, 센서를 취득한 정보를 기초로 양 차량(10,20)들이 향후 어떤 유형으로 주행을 하는지에 대해 예측을 한 후, 예측된 정보를 운전자에게 제공해주는 그 목적이 있다. 이하 도면을 통해 본 발명의 구성 요소에 대해 구체적으로 알아본다.

도 2는 본 발명의 일 실시예에 따른 인공신경망을 이용한 주행 차량의 충돌 가능성 판단 장치의 일부 구성 요소를 도시한 도면이고, 도 3의 (a)는 본 발명의 일 실시예에 따른 전처리 모듈의 일부 구성 요소를 도시한 블록도이며, 도 3의 (b)는 전처리 모듈에 입력되는 정보를 도시한 도면이며, 도4는 본 발명의 일 실시예에 따른 전처리 모듈에 입력되는 그리드 맵 정보의 종류를 도시한 도면이다.

도 2를 참조하면, 본 발명의 일 실시예에 따른 충돌 가능성 판단 장치(100)는 센서의 의해 취득된 데이터에 대해 전처리 과정을 진행하는 전처리 모듈(110), 전처리 모듈(110)에 의해 출력된 데이터를 입력 데이터로 하고, 타켓 차량과 자아 차량의 충돌 발생 여부 정보를 포함하고 있는 제1충돌 예측 정보를 출력 정보로 하는 충돌 감지 인공신경망 모듈(120), 충돌 감지 인공신경망 모듈(120)이 출력한 출력 정보를 기초로 충돌 감지 여부에 대해 한 번 더 추론하는 후처리 모듈(130) 및 센서의 의해 취득된 데이터가 저장되는 메모리 모듈(140) 등을 포함할 수 있다.

도 3의 (a)를 참조하면, 전처리 모듈(110)은 라이다 정보(31), 레이더 정보(32)를 합친 제1입력 정보(34) 또는 라이다 정보(31), 레이더 정보(32) 및 차량 정보(33) 합친 제2입력 정보(35)를 입력 정보를 하고, 자아 차량(10) 및 타켓 차량(20)의 주행 정보를 포함하고 있는 그리드 맵 정보(40)를 출력 정보로 하는 모듈로서, 타임 윈도우 모듈(111)과 그리드 맵 정보 생성 모듈(112)을 포함하고 있다.

라이다 정보(31)는 차량에 부착된 적어도 하나의 라이더 센서로부터 취득한 정보를 의미하며, 구체적으로 타켓 차량(20)에 라이다 신호를 송신한 후, 타겟 차량(20)으로부터 반사되어 다시 라이더 센서로 입력된 신호에 대한 포인트 정보, 반사율에 대한 정보 및 라이더 센서로 입력되는 포인트 강도의 세기에 대한 정보를 포함할 수 있다.

레이다 정보(32)는 차량에 부착된 적어도 하나의 레이다 센서로부터 취득한 정보를 의미하며, 구체적으로 타켓 차량(20)에 레이다 신호를 송신한 후, 타겟 차량(20)으로부터 반사되어 다시 레이다 센서로 입력된 신호에 대한 포인트 정보, 반사율에 대한 정보 및 레이다 센서로 입력되는 포인트 강도의 세기에 대한 정보를 포함할 수 있다.

차량 정보(33)는 자아 차량(10)에 부착된 센서로부터 취득한 자아 차량(10)에 대한 정보를 의미하며, 구체적으로 자아 차량(10)의 조향 각도 정보, 요레이트 정보, 종방향 가속도 정보, 횡방향 가속도 정보 및 차량 속도 정보 등을 포함할 수 있다.

본 발명에 따른 전처리 모듈(110)은 여러 센서로부터 정보를 취득한 후, 이를 가공함에 있어서 미리 설정된 영역에 존재하는 영역들에 관한 정보를 취득한 후, 이를 그리드 맵에 투영하여 그리드 맵 정보(40)를 생성한다.

구체적으로 그리드 맵(grid map)은, 도면에 도시된 바와 같이 격자 단위의 셀로 이루어진 맵으로서, 각 단위 셀의 길이는 가로 길이(d1)는 0.1m 세로 길이(l1)는 1m로 이루어져 있으며, 자아 차량(10)과 타켓 차량(20)의 위치 정보는 그리드 맵의 단위 셀 위에 표시될 수 있다.

그리드 맵의 크기는 미리 설정된 영역의 크기에 의해 정해지며, 미리 설정된 영역의 크기는 자아 차량(10)과 타켓 차량(20)과의 관계에 있어서 관심 있게 봐야 하는 영역을 의미한다. 구체적으로, 도 3의 (b)에 도시된 바와 같이 자아 차량(10)을 기준으로 종방향의 전체 길이(L)는 전방 길이방향으로 10m, 후방 길이방향으로 10m로 총 20m 길이에 해당할 수 있으며, 횡방향의 전체 길이(D)는 자아 차량(10)에서 타켓 차량(20)의 방향으로 10m 또는 차선 두개의 길이를 포함하도록 설정될 수 있다. 본 발명에 따른 미리 설정된 영역의 길이는 상기 설명한 예시로 한정되는 것은 아니고, 교통 환경에 따라 다양한 길이의 범위로 설정될 수 있다.

전처리 모듈(110)의 타임 윈도우 모듈(111)은 제1입력 정보(34) 또는 제2입력 정보(35)를 타임 윈도잉(time windowing) 방법으로 여러 시간에 걸쳐 데이터를 축적하여 통합 데이터를 생성할 수 있다.

구체적으로, 타임 윈도우 모듈(111)은 미리 설정된 시간 동안 미리 설정된 간격으로 취득하여 누적적으로 쌓아 올린 통합 데이터를 생성할 수 있다. 일 예로, 0.5초동안 0.1초동안의 간격으로 총 5회 제1입력 정보(34) 또는 제2입력 정보(35)를 수신한 후, 수신한 정보들을 하나의 데이터 형태로 생성할 수 있다. 타임 윈도잉 기법에 의해 정보를 생성하는 경우 차량에 대한 과거의 위치 정보 및 시간 정보를 활용할 수 있어, 단순히 현재 정보에 근거하여 추론을 하는 경우 보다 정확도가 높은 정보를 출력할 수 있는 장점이 존재한다.

그리드 맵 정보 생성 모듈(112)은 타임 윈도우 모듈(111)에서 생성한 정보를 기초로 특징 벡터를 생성하고, 생성한 특징 벡터 정보를 그리드 맵에 투영하여 최종적으로 그리드 맵 정보(40)를 생성할 수 있다.

구체적으로, 그리드 맵 정보 생성 모듈(112)은 타임 윈도우 모듈(111)이 생성한 통합 데이터에서 레이다 포인트 정보 특징 벡터, 레이다 반사율 정보 특징 벡터, 레이다 강도 정보 특징 벡터, 라이다 포인트 정보 특징 벡터 등에 대한 정보를 특징 벡터별로 생성할 수 있으며, 전처리 모듈(110)에 입력되는 입력 정보의 종류의 따라 생성되는 특징 벡터는 다른 종류의 벡터가 생성될 수 있다.

라이다 정보(31)와 레이다 정보(32)를 포함하는 제1입력 정보(34)가 전처리 모듈(110)의 입력 정보로 입력되는 경우, 전처리 모듈(110)은 제1그리드 맵 정보를 생성할 수 있다.

제1그리드 맵 정보는, 도 4의 (a)에 도시된 바와 같이 라이다 포인트 정보(a)를 포함하고 있는 특징 벡터, 라이다 세기(강도) 정보(b)를 포함하고 있는 특징 벡터 및 레이다 정보에 기초한 자아 차량(10)과 타켓 차량(20)과의 상대 속도 정보(c)를 포함하고 있는 특징 벡터에 대한 정보가 포함되어 있을 수 있다.

그리드 맵 정보 생성 모듈(112)은 각각의 벡터를 생성함에 있어서, 타임 윈도우 모듈(111)이 미리 설정된 시간 동안 제1입력 정보를 수신한 개수 만큼 벡터를 생성할 수 있다. 즉, 일 예로 타임 윈도우 모듈(111)이 제1입력 정보(34)를 1초동안 0.1초 간격으로 총 10회 수신한 경우, 도 4에 도시된 바와 같이 그리드 맵 정보(40)는 각각의 벡터에 대해 총 10개의 채널(channel)을 생성할 수 있다. 따라서, 제1그리드 맵 정보에는 라이다 포인트 정보, 라이다 세기 정보 및 상대 속도 정보를 포함하고 있는 주행 정보가 포함되어 있을 수 있다.

라이다 정보(31) 및 레이다 정보(32)와 더불어 차량 정보(33)까지 포함하는 제2입력 정보(35)가 전처리 모듈(110)의 입력 정보로 입력되는 경우, 전처리 모듈(110)은 제2그리드 맵 정보를 생성할 수 있다.

제2그리드 맵 정보는, 도 4의 (b)에 도시된 바와 같이 라이다 포인트 정보(a)를 포함하고 있는 특징 벡터, 라이다 세기(강도) 정보(b)를 포함하고 있는 특징 벡터 및 레이다 포인트 정보(d)를 포함하고 있는 특징 벡터에 대한 정보가 포함될 수 있으며, 차량 정보(33)는 그리드 맵 자체에 투영될 수 있는 정보가 아닌 만큼 그리드 맵에 더비(dummy) 형식으로 부착되어 그리드 맵 정보가 생성될 수 있다.

그리드 맵 정보 생성 모듈(112)은 각각의 벡터를 생성함에 있어서, 타임 윈도우 모듈(111)이 미리 설정된 시간 동안 제1입력 정보를 수신한 개수 만큼 벡터를 생성할 수 있다. 즉, 일 예로 타임 윈도우 모듈(111)이 제2입력 정보(35)를 1초동안 0.1초 간격으로 총 10회 수신한 경우, 도 4에 도시된 바와 같이 그리드 맵 정보(40)는 각각의 벡터에 대해 총 10개의 채널(channel)을 생성할 수 있다. 따라서, 제2그리드 맵 정보에는 라이다 포인트 정보, 라이다 세기 정보, 레이더 포인트 정보를 포함하고 있는 주행 정보가 포함되어 있을 수 있으며, 이렇게 생성된 그리드 맵 정보(40)는 인공신경망 모듈(200)의 입력 정보로 활용된다.

도 5는 본 발명의 실시예에 따른 충돌 감지 인공신경망 모듈의 학습 세션과 추론 세션을 도시한 도면이고, 도 6은 본 발명의 실시예에 따른 충돌 감지 인공신경망 모듈의 구성 요소와 입력 정보, 출력 정보를 도시한 도면이며, 도 7은 본 발명의 실시예에 따른 충돌 감지 인공신경망 모듈의 프로세스 과정을 설명하기 위한 도면이다.

도 5내지 도 7을 참조하면, 충돌 감지 인공신경망 모듈(120)은 그리드 맵 정보(40)를 입력 정보로 하고, 타켓 차량(20)과 자아 차량(10)에 대해 예측된 주행 경로에 기초하여 타켓 차량(20)과 자아 차량(10)과의 충돌 발생 여부 정보를 포함하고 있는 제1충돌 예측 정보(50)를 출력 정보로 하는, 기 학습된 충돌 감지 인공신경망 모듈로서, 도 5에 도시된 바와 같이 입력 정보, 출력 정보 및 레퍼런스 정보를 기초로 학습을 수행하는 학습 세션(121)과 입력 정보를 기초로 출력 정보를 출력하는 추론 세션(122)을 포함할 수 있다.

충돌 감지 인공신경망 모듈(120)은 다수의 은닉층을 가지고 있는 일반적인 DNN(Deep Neural Network) 구조의 인공신경망이 차용될 수 있는데, 충돌 감지 인공신경망 모듈(120)에 입력되는 데이터가 그리드 맵 형식의 데이터인 점에 비추어, CNN(Convolution Neural Network) 종류의 네트워크가 차용될 수 있다.

도 6과 도 7에 도시된 바와 같이 입력 정보인 그리드 맵 정보(40)는 복수 개의 컨볼루션 레이어와 맥스 폴링 과정을 거치면서 특정 정보를 포함하는 특징 맵이 추출되고, 이렇게 추출된 특징 맵은 여러 개의 히든 레이어를 거쳐 최종적으로 소프트 맥스를 거쳐 출력 정보가 출력될 수 있다.

본 발명에 따른 충돌 감지 인공신경망 모듈(120)이 출력하는 출력 정보(50)는 앞서 살펴본 주행 유형 중 4가지 유형 중 어느 한가지 유형에 해당하는지 여부에 대한 정보 및 이에 대한 확률 정보가 출력될 수 있다. 따라서, 최종 소프트 맥스층을 통과하기 직전의 완전 연결층(45, Fullly-Connected layer)은 4가지 유형에 대한 각각의 확률 정보를 포함하고 있다. 즉, V1은 제1유형에 대한 확률 정보를 포함하고 있는 제1유형 확률 정보(51)를 의미하고, V2는 제2유형에 대한 확률 정보를 포함하고 있는 제2유형 확률 정보(52)를 의미하며, V3는 제3유형에 대한 확률 정보를 포함하고 있는 제3유형 확률 정보(53)를 의미하고, V4는 제4유형에 대한 확률 정보를 포함하고 있는 제1유형 확률 정보(54)를 의미하며, 소프트 맥스층은 상기 4가지 유형 중 가장 확률이 높은 유형에 대한 정보를 충돌 감지 인공신경망 모듈(120)의 출력 정보로 출력할 수 있다.

도 8은 본 발명의 실시예에 따른 후처리 모듈의 프로세스 과정을 설명하기 위한 도면이다.

도 8을 참조하면, 후처리 모듈(130)은 충돌 감지 인공신경망 모듈(120)이 생성하는 정보들을 이용하는 모듈로서, 구체적으로는 충돌 감지 예측 인공신경망 모듈의 소프트 맥스(soft max)층 전 단계인 완전 연결층(45)에서 출력되는 미리 설정된 4가지 주행 유형에 관한 로직 벡터(Logit Vector) 정보를 추출한 후, 로직 벡터에 상기 4가지 주행 유형으로 판단할 수 없는 예외 유형에 대한 정보를 합산 한 후, 합산된 로직 벡터 정보를 기초로 제2충돌 예측 정보(60)를 출력하는 모듈을 의미한다.

즉, 후처리 모듈(400)은 제1유형 확률 정보(51), 제2유형 확률 정보(52), 제3유형 확률 정보(53) 및 제4유형 확률 정보(54)를 완전 연결층(45)에서 추출한 후, 상기 4가지 유형으로 판단할 수 없는 예외 유형을 새로운 클래스(class)로 만든 후, 총 5가지 유형으로 다시 충돌 가능성 여부를 판단하는 모듈을 의미한다.

본 발명의 경우 앞서 설명한 바와 같이 출력 결과는 미리 설정된 4가 유형 중 한 가지 유형으로 출력되므로, 제1충돌 예측 정보는 상기 4가지 유형 중 하나의 정보를 반드시 출력이 된다. 비록, 자아 차량(10)과 타켓 차량(20)의 예상 주행 경로는 앞서 설명한 4가지 유형에 대부분 해당이 되나, 경우에 따라서는 4가지 유형에 해당하지 않는 애매한 경우도 발생할 수 있다. 그리고 이러한 경우는 당연히 어느 4가지 유형에 해당하지 않는데 이를 하나의 유형으로 정해 버리고 학습을 하거나 추론은 하는 것은 오히려 4가지 유형에 대한 예측 결과를 감소시키는 문제를 일으킬 수 있다. 따라서, 본 발명에 따른 후처리 모듈(130)은 판단하기 어려운 유형에 대해서는 제5유형으로 별도로 분류하여 출력을 하므로, 제1유형 내지 제4 유형에 대해서는 후처리 모듈(130)이 적용되지 않은 경우보다 보다 신뢰도가 높은 정보가 출력될 수 있다.

여기서 후처리 모듈(130)이 제5유형으로 분류하는 기준은 4가지 유형에 대한 확률 중 그 어느 하나도 미리 설정된 기준을 넘기지 못하는 경우(예를 들어 60프로) 이 경우 그 추록에 대한 정확도를 보장할 수 없는 상황이므로 이러한 경우는 제5유형으로 분류하여 별도의 유형으로 출력 정보를 생성할 수 있다.

도 9는 본 발명의 다른 실시예에 따른 충돌 감지 인공신경망 모듈의 프로세스 과정을 설명하기 위한 도면이다.

도 9에 따른 충돌 감지 인공신경망 모듈(120)의 기본 구조는 도 7에서 설명한 인공신경망 모듈과 유사하나, 충돌 감지 인공신경망 모듈(120)에 입력되는 정보는 라이다 정보(31)와 레이다 정보(32)로 기초로 생성된 제1그리드 맵 정보이며, 차량 정보 입력 모듈(121)로부터 차량의 각종 정보를 포함하고 있는 차량 정보(33)를 포함하고 있는 중간 입력 정보를 충돌 감지 인공신경망 모듈(120)에서 완전 연결층이 처음 시작되는 제1완전 연결층(42)에 입력시킨다는 점에서 차이점이 존재한다.

여기서 제1완전 연결층(42)에 입력되는 정보는 자아 차량(10)의 조향 각도 정보, 요레이트 정보, 종방향 가속도 정보, 횡방향 가속도 정보 및 차량 속도 정보 등이 포함될 수 있으며, 충돌 감지 인공신경망 모듈(120)은 이렇게 입력된 중간 입력 정보를 활용하여 학습 및 추론을 하여 출력 정보인 제1충돌 예측 정보(50)를 출력할 수 있다.

도 10은 본 발명의 일 실시예 따라 충돌 감지 인공신경망 모듈이 출력한 정보를 유형별로 도시한 도면이다.

도 10의 (a)는 자아 차량(10) 및 타켓 차량(20) 모두 현 상황에서 차선을 변경하지 않고 평행하게 주행하는 제1유형으로서, 도면에 도시된 바와 같이 각각의 차량에 대한 예측 주행 경로는 일직선으로 평행하게 출력되는 것을 알 수 있다.

도 10의 (b)는 자아 차량(10)은 현 상황에서 차선을 변경하지 않고 계속 주행하나, 타켓 차량(20)이 자아 차량(10)의 방향으로 한 차선 이동하는 타켓 차량 차선 변경 유형에 해당하는 제2유형으로서, 도면에 도시된 바와 같이 자아 차량(10)에 대한 예측 주행 경로는 일직선으로 출력이 되나, 타켓 차량(20)의 예측 주행 경로는 차선이 변경되는 것을 알 수 있다. 타켓 차량(20)이 차선이 한 차선 변경되었음에도 불구하고, 예측 주행 경로가 자아 차량(10)의 예측 경로와 평행하게 출력되지 않으면 사고 발생 가능성이 존재하므로, 이에 대한 위험 정보를 운전자에게 출력할 수 있다.

도 10의 (c)는 타켓 차량(20)은 현 상황에서 차선을 변경하지 않고 계속 주행하나, 자아 차량(10)이 타켓 차량(20)의 방향으로 한 차선 이동하는 자아 차량 차선 변경 유형에 해당하는 제3유형으로서, 도면에 도시된 바와 같이 타겟 차량(20)에 대한 예측 주행 경로는 일직선으로 출력이 되나, 자야 차량(20)의 예측 주행 경로는 차선이 변경되는 것을 알 수 있다. 자아 차량(10)이 차선이 한 차선 변경되었음에도 불구하고, 예측 주행 경로가 타겟 차량(20)의 예측 경로와 평행하게 출력되지 않으면 사고 발생 가능성이 존재하므로, 이에 대한 위험 정보를 운전자에게 출력할 수 있다

도 10의 (d)는 자아 차량(10) 및 타켓 차량(20) 모두 현 상황에서 차선을 상대방 차량으로 한 차선씩 이동하는 경우로서, 제4유형의 경우 한 차선씩의 이동으로 인해 자아 차량(10)과 타켓 차량(20)의 예측 주행 경로는 제2차선으로 향하게 되므로, 이 경우는 사고가 발생할 가능성이 높은 경우에 해당한다. 따라서, 제4유형에 해당하는 경우 이에 대한 위험 정보를 운전자에게 출력할 수 있다.

도 11은 본 발명의 각각의 실시예에 따라 후처리 모듈을 적용하였을 때와 적용하지 않았을 때의 출력 결과를 비교 도시한 도면으로서, 구체적으로 도 11의 (a)는 후처리 모듈이 적용되지 않았을 때의 충돌 감지 인공신경망 모듈(120)이 출력한 예측 주행 경로를 표시한 도면이고, 도11의 (b)는 충돌 감지 인공신경망 모듈(120)에서 출력된 정보가 후처리 모듈(130)을 통과하여 출력된 예측 주행 경로를 표시한 도면으로서, 도면에 도시된 바와 같이 정확하게 판단할 수 없는 유형에 대해서는 출력 결과가 제5유형에 대한 정보로 출력됨을 알 수 있다.

앞서 설명한 바와 같이 후처리 모듈(130)이 적용되지 않은 경우, 출력 결과는 4가 유형 중 한 가지 유형으로 반드시 출력해야 하므로, 4가지 유형에 해당하지 않음에도 유형이 선택되어야 하기 때문에 각각의 유형에 대한 정확도가 떨어질 수 있다. 그러나 후처리 모듈(130)이 적용되면 판단하기 어려운 유형에 대해서는 제5유형으로 별도로 분류하여 출력하기 때문에, 제1유형 내지 제4 유형에 대해서는 보다 정확도가 높은 정보가 출력될 수 있다.

도 12는 본 발명에 따른 충돌 가능성 판단 장치와 종래 기술에 따른 충돌 가능성 판단 장치의 예측 정확도에 대한 실험 결과를 수치로 정리하여 도시한 도면으로서, 도 12의 (a)는 실험에 기본적인 데이터 셋(data set)에 대한 정보를 도시한 표이고, 도 12의 (b)는 각각의 유형별로의 실험 결과를 도시한 도면이다.

또한, 도 12의 (c)는 본 발명의 여러 실시예에 대한 결과를 비교 도시한 도면으로서, 표 항목 중 차량 정보 입력 항목은 전처리 모듈의 입력 정보가 차량 정보(33)만 입력된 경우, 타임 윈도잉 정보 항목은 입력 정보는 라이다 정보(31) 및 레이다 정보(32)가 입력 되고 그 후 타임 윈도우 모듈(111)에 의해 타임 윈도우 기법이 적용된 정보가 활용된 경우, 라이다 정보 및 레이더 정보 항목은 입력 정보로 오직 라이다 정보(31)와 레이다 정보(32)가 활용된 경우를 말한다. 본 발명 항목은 입력 정보로 라이다 정보(31), 레이다 정보(32) 및 차량 정보(33)가 모두 활용되고 타임 윈도우 기법도 적용된 경우를 의미한다. 표에 도시된 바와 같이 데이터가 많아지고 타임 윈도우 기법이 적용될수록 정확도가 높아지는 것을 알 수 있다.

지금까지 도면을 통해 일 실시예에 따른 충돌 가능성 판단 장치(100)의 구성 요소 및 작동원리에 대하 알아보았다.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 컨트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 컨트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. 그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

10 : 자아 차량 20 : 타겟차량
30 : 전처리 모듈 입력정보 40 : 그리드맵 정보
50 : 제1충돌예측 정보 60 : 제2충돌예측 정보
100 : 충돌가능성 판단장치 110 : 전처리 모듈
111 : 타임윈도우 모듈 112 : 그리드 맵 정보 생성모듈
120 : 충돌감지 인공신경망 모듈 121 : 학습 세션
122 : 추론 세션 130 : 후처리 모듈
140 : 메모리 모듈

Claims

라이다 및 레이다로부터 수신한 라이다 정보 및 레이다 정보를 입력 정보로 하고, 미리 설정된 영역에 존재하는 타켓 차량(target vehicle) 및 자아 차량(ego vehicle)에 대한 주행 정보를 포함하고 있는 그리드 맵(Grid Map) 정보를 출력 정보로 하는 전처리 모듈; 및
상기 그리드 맵 정보를 입력 정보로 하고, 상기 타켓 차량과 상기 자아 차량의 충돌 발생 여부 정보를 포함하고 있는 제1충돌 예측 정보를 출력 정보로 하는, 기 학습된 충돌 감지 인공신경망 모듈;을 포함하고,
상기 제1충돌 예측 정보는, 미리 정의된 상기 타켓 차량과 상기 자아 차량의 주행 유형 중 하나의 유형에 해당하는지 여부에 대한 정보를 포함하고,
상기 주행 유형은,
상기 타켓 차량과 상기 자아 차량의 평행 주행 유형, 상기 타켓 차량의 차선 이동 유형, 상기 자아 차량의 차선 이동 유형 및 상기 타켓 차량과 상기 자아 차량의 동시 차선 이동 유형을 포함하고,
상기 전처리 모듈은,
미리 설정된 시간 동안 미리 설정된 횟수만큼 수신한 상기 라이다 정보 및 상기 레이다 정보를 순차적으로 배열한 통합 데이터를 생성하는 타임 윈도잉 모듈; 및
상기 통합 데이터를 기초로 상기 라이다가 송신하는 라이다 신호의 포인트 정보, 상기 라이다 신호의 강도 정보 및 상기 타켓 차량과 상기 자아 차량과의 상대 속도 정보를 포함하는 특징 벡터 정보를 생성하는 그리드 맵 정보 생성 모듈;을 포함하는,
인공신경망을 이용한 주행 차량의 충돌 가능성 판단 장치.
제1항에 있어서,
상기 미리 설정된 영역의 크기는,
상기 자아 차량을 기준으로 전방 10m, 후방 10m 및 상기 타켓 차량의 방향으로 10m 또는 차선 두개의 길이를 포함하는,
인공신경망을 이용한 주행 차량의 충돌 가능성 판단 장치.
제1항에 있어서,
상기 주행 정보는,
상기 레이다가 송신하는 레이다 신호의 포인트 정보, 상기 레이다 신호의 강도 정보 및 상기 타켓 차량과 상기 자아 차량과의 상대 속도 정보를 포함하는,
인공신경망을 이용한 주행 차량의 충돌 가능성 판단 장치.
제1항에 있어서,
상기 입력 정보는, 차량에 부착된 센서로부터 수신한 차량 정보를 더 포함하고,
상기 차량 정보는, 상기 차량의 조향 각도 정보, 요레이트 정보, 종방향 가속도 정보, 횡방향 가속도 정보 및 차량 속도 정보 중 적어도 하나를 포함하는,
인공신경망을 이용한 주행 차량의 충돌 가능성 판단 장치.
제4항에 있어서,
상기 주행 정보는,
상기 레이다가 송신하는 레이다 신호의 포인트 정보, 상기 레이다 신호의 강도 정보 및 상기 라이다가 송신하는 라이다 신호의 포인트 정보를 포함하고,
상기 그리드 맵 정보는,
상기 차량 정보가 상기 그리드 맵에 더미(dummy) 형식으로 부착된 정보인,
인공신경망을 이용한 주행 차량의 충돌 가능성 판단 장치.
삭제
제1항에 있어서,
상기 미리 설정된 시간은 1초 내지 2초의 시간을 포함하고,
상기 미리 설정된 횟수는 5회 내지 10회를 포함하는,
인공신경망을 이용한 주행 차량의 충돌 가능성 판단 장치.
삭제
제1항에 있어서,
상기 그리드 맵 정보 생성 모듈은,
상기 특징 벡터 정보를 그리드 맵에 투영하여 그리드 맵 정보를 생성하는,
인공신경망을 이용한 주행 차량의 충돌 가능성 판단 장치.
제1항에 있어서,
상기 충돌 감지 인공신경망 모듈의 소프트 맥스(soft max)층 전 단계인 완전 연결층(Fully-Connected layer)에서 출력되는 상기 주행 유형에 관한 로직 벡터(Logit Vector) 정보를 추출한 후, 상기 로직 벡터에 상기 주행 유형으로 판단할 수 없는 예외 유형에 대한 정보를 합산 한 후, 합산된 로직 벡터 정보를 기초로 제2충돌 예측 정보를 출력하는 후처리 모듈;을 더 포함하는,
인공신경망을 이용한 주행 차량의 충돌 가능성 판단 장치.
제10항에 있어서,
상기 제2충돌 예측 정보는,
상기 주행 유형 및 상기 예외 유형 중 어느 하나의 유형에 해당하는지 여부에 대한 정보를 포함하는,
인공신경망을 이용한 주행 차량의 충돌 가능성 판단 장치.
라이다 및 레이다로부터 수신한 라이다 정보 및 레이다 정보를 입력 정보로 하고, 미리 설정된 영역에 존재하는 타켓 차량(target vehicle) 및 자아 차량(ego vehicle)에 대한 주행 정보를 포함하고 있는 그리드 맵(Grid Map) 정보를 출력 정보로 하는 전처리 모듈;
상기 그리드 맵 정보를 입력 정보로 하고, 상기 타켓 차량과 상기 자아 차량의 충돌 발생 여부 정보를 포함하고 있는 제1충돌 예측 정보를 출력 정보로 하는, 기 학습된 충돌 감지 인공신경망 모듈; 및
차량에 부착된 센서로부터 차량 정보를 수신하고, 상기 차량 정보를 상기 충돌 감지 인공신경망 모듈에서 완전 연결층이 처음으로 시작되는 레이어에 중간 입력 정보로 송신하는 중간 입력 정보 송신 모듈;을 포함하고,
상기 제1충돌 예측 정보는, 미리 정의된 상기 타켓 차량과 상기 자아 차량의 주행 유형 중 어느 하나의 유형에 해당하는지 여부에 대한 정보를 출력하고
상기 주행 유형은,
상기 타켓 차량과 상기 자아 차량의 평행 주행 유형, 상기 타켓 차량의 차선 이동 유형, 상기 자아 차량의 차선 이동 유형 및 상기 타켓 차량과 상기 자아 차량의 동시 차선 이동 유형을 포함하고,
상기 전처리 모듈은,
미리 설정된 시간 동안 미리 설정된 횟수만큼 수신한 상기 라이다 정보 및 상기 레이다 정보를 순차적으로 배열한 통합 데이터를 생성하는 타임 윈도잉 모듈; 및
상기 통합 데이터를 기초로 상기 라이다가 송신하는 라이다 신호의 포인트 정보, 상기 라이다 신호의 강도 정보 및 상기 타켓 차량과 상기 자아 차량과의 상대 속도 정보를 포함하는 특징 벡터 정보를 생성하는 그리드 맵 정보 생성 모듈;을 포함하는,
인공신경망을 이용한 주행 차량의 충돌 가능성 판단 장치.
제12항에 있어서,
상기 차량 정보는,
상기 차량의 조향 각도 정보, 요레이트 정보, 종방향 가속도 정보, 횡방향 가속도 정보 및 차량 속도 정보 중 적어도 하나를 포함하는,
인공신경망을 이용한 주행 차량의 충돌 가능성 판단 장치.
라이다 및 레이다로부터 수신한 라이다 정보 및 레이다 정보를 입력 정보로 하고, 미리 설정된 영역에 존재하는 타켓 차량(target vehicle) 및 자아 차량(ego vehicle)에 대한 주행 정보를 포함하고 있는 그리드 맵(Grid Map) 정보를 출력 정보로 하는 전처리 단계; 및
상기 그리드 맵 정보를 입력 정보로 하고, 상기 타켓 차량과 상기 자아 차량의 충돌 발생 여부 정보를 포함하고 있는 제1충돌 예측 정보를 출력 정보로 하는, 기 학습된 충돌 감지 인공신경망 모듈을 이용하여, 상기 제1충돌 예측 정보를 출력하는 출력 정보 출력 단계;를 포함하고,
상기 제1충돌 예측 정보는, 미리 정의된 상기 타켓 차량과 상기 자아 차량의 주행 유형 중 어느 하나의 유형에 해당하는지 여부에 대한 정보를 포함하고,
상기 주행 유형은,
상기 타켓 차량과 상기 자아 차량의 평행 주행 유형, 상기 타켓 차량의 차선 이동 유형, 상기 자아 차량의 차선 이동 유형 및 상기 타켓 차량과 상기 자아 차량의 동시 차선 이동 유형을 포함하고,
상기 전처리 단계는,
미리 설정된 시간 동안 미리 설정된 횟수만큼 수신한 상기 라이다 정보 및 상기 레이다 정보를 순차적으로 배열한 통합 데이터를 생성하고,
상기 통합 데이터를 기초로 상기 라이다가 송신하는 라이다 신호의 포인트 정보, 상기 라이다 신호의 강도 정보 및 상기 타켓 차량과 상기 자아 차량과의 상대 속도 정보를 포함하는 특징 벡터 정보를 생성하는,
인공신경망을 이용한 주행 차량의 충돌 가능성 판단 방법.
제14항에 있어서,
상기 주행 정보는,
상기 레이다가 송신하는 레이다 신호의 포인트 정보, 상기 레이다 신호의 강도 정보 및 상기 타켓 차량과 상기 자아 차량과의 상대 속도 정보를 포함하는,
인공신경망을 이용한 주행 차량의 충돌 가능성 판단 방법.