KR102636586B1 - 자율 주행 차량의 주행 테스트 제어 장치 및 방법 - Google Patents

자율 주행 차량의 주행 테스트 제어 장치 및 방법 Download PDF

Info

Publication number
KR102636586B1
KR102636586B1 KR1020210171429A KR20210171429A KR102636586B1 KR 102636586 B1 KR102636586 B1 KR 102636586B1 KR 1020210171429 A KR1020210171429 A KR 1020210171429A KR 20210171429 A KR20210171429 A KR 20210171429A KR 102636586 B1 KR102636586 B1 KR 102636586B1
Authority
KR
South Korea
Prior art keywords
driving
collision
neural network
scenario
score
Prior art date
Application number
KR1020210171429A
Other languages
English (en)
Other versions
KR20230083438A (ko
Inventor
부준호
이강윤
Original Assignee
(주)컨트롤웍스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)컨트롤웍스 filed Critical (주)컨트롤웍스
Priority to KR1020210171429A priority Critical patent/KR102636586B1/ko
Publication of KR20230083438A publication Critical patent/KR20230083438A/ko
Application granted granted Critical
Publication of KR102636586B1 publication Critical patent/KR102636586B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • B60W60/0016—Planning or execution of driving tasks specially adapted for safety of the vehicle or its occupants
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0097—Predicting future conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0011—Planning or execution of driving tasks involving control alternatives for a single driving scenario, e.g. planning several paths to avoid obstacles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M17/00—Testing of vehicles
    • G01M17/007—Wheeled or endless-tracked vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B60W2050/0004—In digital systems, e.g. discrete-time systems involving sampling
    • B60W2050/0005—Processor details or data handling, e.g. memory registers or chip architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means

Abstract

뉴럴 네트워크 모델 기반으로 자율 주행 차량의 주행 테스트를 안전하게 제어할 수 있는 자율 주행 차량의 주행 테스트 제어 장치 및 방법에 관한 것으로, 다수의 시나리오에 기반하여 상기 자율 주행 차량을 모의 주행시키는 단계, 상기 다수의 시나리오에 상응하는 모의 주행 결과값들을 획득하는 단계, 상기 획득한 모의 주행 결과값들을 뉴럴 네트워크 모델에 입력하여 시나리오별 충돌 스코어를 산출하는 단계, 상기 시나리오별 충돌 스코어 및 모의 주행 결과값 사이의 상관 관계를 기반으로 상기 뉴럴 네트워크 모델을 학습시키는 단계, 상기 뉴럴 네트워크 모델의 학습이 완료되었는지를 확인하는 단계, 상기 뉴럴 네트워크 모델의 학습이 완료되면 특정 시나리오에 상응하여 테스트 주행하는 상기 자율 주행 차량의 실제 테스트 주행 정보 및 실제 테스트 환경 정보를 상기 학습 완료된 뉴럴 네트워크 모델에 입력하여 최적의 충돌 스코어를 산출하는 단계, 및 상기 산출된 최적의 충돌 스코어를 기반으로 상기 자율 주행 차량의 충돌 위험을 판단 및 예측하는 단계를 포함할 수 있다.

Description

자율 주행 차량의 주행 테스트 제어 장치 및 방법{APPARATUS AND METHOD FOR CONTROLLING DRIVING TEST OF AUTONOMOUS DRIVING VEHICLES}
본 발명은, 자율 주행 차량의 주행 테스트 제어 장치에 관한 것으로, 보다 상세하게는 뉴럴 네트워크 모델 기반으로 자율 주행 차량의 주행 테스트를 안전하게 제어할 수 있는 자율 주행 차량의 주행 테스트 제어 장치 및 방법에 관한 것이다.
일반적으로, ADAS(Advanced Driver Assistance Systems)은, 운전 중 발생할 수 있는 수 많은 상황들 중 일부 상황을 차량 스스로 인지하고 판단하여 기계 장치를 제어하는 기술로서, 복잡한 차량 제어 프로세스에서 운전자를 돕고 보완하며, 궁극으로는 자율주행 기술을 완성하기 위해 개발되었다.
최근에는, 이러한 ADAS(Advanced Driver Assistance Systems)을 적용한 자율 주행 차량의 수요가 늘어나고 있다.
이처럼, 자율 주행 차량의 수요가 증가함에 따라, 자율 주행 차량의 사고 예방을 위하여 자율 주행 차량의 주행 테스트 과정이 매우 중요한 프로세스 중의 하나이다.
자율 주행 차량의 주행 테스트는, 프루빙 그라운드(Proving Ground)에서, 테스트용 차량(VUT: Vehicle Under Test)과 시나리오 차량을 통해 자율 주행 성능을 테스트할 수 있다.
여기서, 테스트용 차량은, 다양한 주행 환경과 미리 설정된 시나리오에 따라 주행하는 하나 또는 다수의 시나리오 차량과의 충돌 사고를 일으키지 않는 상황에서 주행 테스트가 진행되어야 한다.
주행 테스트 제어 장치를 포함하는 관제 센터는, 다수의 시나리오 차량들이 존재하는 다양한 시나리오 환경에서 주행 테스트를 제어할 때, 테스트용 차량과 시나리오 차량의 GPS 위치 정보에 기반하여 사고 위험도를 판단하고 사고 위험 시에 테스트를 중단할 수 있다.
하지만, 기존의 주행 테스트 제어 장치는, 차량의 GPS 위치 정보에 기반하여 사고 위험도를 판단하므로, 예상하지 못한 상황이 발생할 경우, 사고 발생을 예상하지 못하여 테스트 차량에 충돌 사고가 발생하거나 또는 안전한 상황에서도 사고 위험이 존재한다고 판단하는 판단 오류로 인하여 주행 테스트를 갑자기 중단시키는 문제들이 발생할 수 있었다.
따라서, 향후, 다양한 돌발 상황에서도 사고 위험을 정확하게 판단 및 예측하여 자율 주행 차량의 주행 테스트를 안전하게 제어할 수 있는 주행 테스트 제어 장치의 개발이 요구되고 있다.
대한민국 등록특허 10-1996230호(2019. 06. 28 등록)
본 발명의 일실시예가 이루고자 하는 기술적 과제는, 시나리오별 충돌 스코어 및 모의 주행 결과값 사이의 상관 관계를 기반으로 사전 학습한 뉴럴 네트워크 모델을 통해 최적의 충돌 스코어를 산출하고 자율 주행 차량의 충돌 위험을 판단 및 예측함으로써, 다양한 돌발 상황에서도 사고 위험을 정확하게 판단 및 예측하여 자율 주행 차량의 주행 테스트를 안전하게 제어할 수 있는 주행 테스트 제어 장치 및 방법을 제공하고자 한다.
본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기와 같은 기술적 과제를 해결하기 위하여, 본 발명의 일실시예에 의한 자율 주행 차량의 주행 테스트를 제어하는 장치의 주행 테스트 제어 방법은, 다수의 시나리오에 기반하여 상기 자율 주행 차량을 모의 주행시키는 단계, 상기 다수의 시나리오에 상응하는 모의 주행 결과값들을 획득하는 단계, 상기 획득한 모의 주행 결과값들을 뉴럴 네트워크 모델에 입력하여 시나리오별 충돌 스코어를 산출하는 단계, 상기 시나리오별 충돌 스코어 및 모의 주행 결과값 사이의 상관 관계를 기반으로 상기 뉴럴 네트워크 모델을 학습시키는 단계, 상기 뉴럴 네트워크 모델의 학습이 완료되었는지를 확인하는 단계, 상기 뉴럴 네트워크 모델의 학습이 완료되면 특정 시나리오에 상응하여 테스트 주행하는 상기 자율 주행 차량의 실제 테스트 주행 정보 및 실제 테스트 환경 정보를 상기 학습 완료된 뉴럴 네트워크 모델에 입력하여 최적의 충돌 스코어를 산출하는 단계, 및 상기 산출된 최적의 충돌 스코어를 기반으로 상기 자율 주행 차량의 충돌 위험을 판단 및 예측하는 단계를 포함할 수 있다.
주행 테스트 제어 방법의 대안적인 실시예에서, 상기 자율 주행 차량을 모의 주행시키는 단계는, 가상 테스트 주행 알고리즘을 통해 상기 자율 주행 차량을 모의 주행시킬 수 있다.
주행 테스트 제어 방법의 대안적인 실시예에서, 상기 자율 주행 차량을 모의 주행시키는 단계는, 다수의 시나리오 상황에 대한 시나리오 차량들을 모의 경로상에 미리 설정하여 배치하고, 상기 시나리오 차량을 상기 모의 경로를 따라 주행하도록 설정하며, 상기 시나리오 차량과 함께 상기 자율 주행 차량을 모의 주행시킬 수 있다.
주행 테스트 제어 방법의 대안적인 실시예에서, 상기 모의 주행 결과값들을 획득하는 단계는, 모의 주행 경로, 자차 위치, 자차 추정 위치, 자차 속도, 자차 헤딩각, 자차 속도에 따른 기준 TTC(Time to Collision), 자차의 모의 주행 타임 스텝별 미래 충돌 시점 중 적어도 어느 하나를 포함하는 상기 모의 주행 결과값들을 획득할 수 있다.
주행 테스트 제어 방법의 대안적인 실시예에서, 상기 시나리오별 충돌 스코어를 산출하는 단계는, 상기 획득한 모의 주행 결과값들을 기반으로 모의 주행 타임 스텝별 미래 충돌 시점을 산출하고, 상기 산출한 모의 주행 타임 스텝별 미래 충돌 시점과 속도에 따른 기준 TTC(Time to Collision)를 비교한 비교 결과값을 상기 충돌 스코어에 반영하여 상기 시나리오별 충돌 스코어를 산출할 수 있다.
주행 테스트 제어 방법의 대안적인 실시예에서, 상기 뉴럴 네트워크 모델을 학습시키는 단계는, 제1 시나리오에 상응하는 제1 모의 주행 결과값과 상기 제1 모의 주행 결과값에 상응하는 제1 충돌 스코어 사이의 제1 상관 관계를 분석하여 상기 분석한 제1 상관 관계를 기반으로 상기 뉴럴 네트워크 모델을 학습시키는 제1 학습 과정과, 제2 시나리오에 상응하는 제2 모의 주행 결과값과 상기 제2 모의 주행 결과값에 상응하는 제2 충돌 스코어 사이의 제2 상관 관계를 분석하여 상기 분석한 제2 상관 관계를 기반으로 상기 뉴럴 네트워크 모델을 학습시키는 제2 학습 과정을 포함하며, 상기 시나리오별로 제1, 제2 학습 과정을 반복하여 충돌 스코어 및 모의 주행 결과값 사이의 상관 관계를 기반으로 상기 뉴럴 네트워크 모델을 학습시킬 수 있다.
주행 테스트 제어 방법의 대안적인 실시예에서, 상기 뉴럴 네트워크 모델을 학습시키는 단계는, 상기 시나리오별 충돌 스코어 및 모의 주행 결과값 사이의 상관 관계를 상기 뉴럴 네트워크 모델에 입력하여 충돌 가능성이 높은 시나리오 패턴을 학습시킬 수 있다.
주행 테스트 제어 방법의 대안적인 실시예에서, 상기 최적의 충돌 스코어를 산출하는 단계는, 상기 자율 주행 차량의 실제 테스트 주행 정보 및 실제 테스트 환경 정보가 사전 학습된 뉴럴 네트워크 모델에 입력되면 사전 학습한 시나리오별 충돌 스코어 및 모의 주행 결과값 사이의 상관 관계를 기반으로 상기 최적의 충돌 스코어를 산출할 수 있다.
주행 테스트 제어 방법의 대안적인 실시예에서, 상기 자율 주행 차량의 충돌 위험을 판단 및 예측하는 단계는, 상기 산출된 충돌 스코어가 경고 레벨이면 상기 자율 주행 차량의 충돌 위험으로 인지하고, 충돌 위험에 상응하는 경고 알람을 출력할 수 있다.
주행 테스트 제어 방법의 대안적인 실시예에서, 상기 자율 주행 차량의 충돌 위험을 판단 및 예측하는 단계는, 상기 산출된 충돌 스코어가 위험 레벨이면 상기 자율 주행 차량의 충돌 위험이 매우 높음으로 인지하고, 상기 자율 주행 차량의 테스트 주행 중단을 요청할 수 있다.
한편, 본 발명 일 실시예에 따른 주행 테스트 제어 방법을 제공하기 위한 자율 주행 차량의 주행 테스트 제어 장치는, 하나 이상의 코어를 포함하는 프로세서, 및 메모리를 포함하고, 상기 프로세서는, 다수의 시나리오에 기반하여 상기 자율 주행 차량을 모의 주행시키고, 상기 다수의 시나리오에 상응하는 모의 주행 결과값들을 획득하며, 상기 획득한 모의 주행 결과값들을 뉴럴 네트워크 모델에 입력하여 시나리오별 충돌 스코어를 산출하고, 상기 시나리오별 충돌 스코어 및 모의 주행 결과값 사이의 상관 관계를 기반으로 상기 뉴럴 네트워크 모델을 학습시키며, 상기 뉴럴 네트워크 모델의 학습이 완료되었는지를 확인하고, 상기 뉴럴 네트워크 모델의 학습이 완료되면 특정 시나리오에 상응하여 테스트 주행하는 상기 자율 주행 차량의 실제 테스트 주행 정보 및 실제 테스트 환경 정보를 상기 학습 완료된 뉴럴 네트워크 모델에 입력하여 최적의 충돌 스코어를 산출하며, 상기 산출된 최적의 충돌 스코어를 기반으로 상기 자율 주행 차량의 충돌 위험을 판단 및 예측할 수 있다.
본 발명에 따른 주행 테스트 제어 장치 및 방법의 효과에 대해 설명하면 다음과 같다.
본 발명은, 시나리오별 충돌 스코어 및 모의 주행 결과값 사이의 상관 관계를 기반으로 사전 학습한 뉴럴 네트워크 모델을 통해 최적의 충돌 스코어를 산출하고 자율 주행 차량의 충돌 위험을 판단 및 예측함으로써, 다양한 돌발 상황에서도 사고 위험을 정확하게 판단 및 예측하여 자율 주행 차량의 주행 테스트를 안전하게 제어할 수 있다.
본 발명의 적용 가능성의 추가적인 범위는 이하의 상세한 설명으로부터 명백해질 것이다. 그러나 본 발명의 사상 및 범위 내에서 다양한 변경 및 수정은 당업자에게 명확하게 이해될 수 있으므로, 상세한 설명 및 본 발명의 바람직한 실시 예와 같은 특정 실시 예는 단지 예시로 주어진 것으로 이해되어야 한다.
도 1은, 본 발명에 따른 주행 테스트 제어 제어 방법을 제공하기 위한 동작을 수행하는 주행 테스트 제어 장치의 블록 구성도를 도시한 도면이다.
도 2는, 본 발명에 따른 주행 테스트 제어 장치의 뉴럴 네트워크 모델 학습 과정을 설명하기 위한 개략도이다.
도 3은, 본 발명에 따른 주행 테스트 제어 장치의 사전 학습된 뉴럴 네트워크 모델의 충돌 위험 예측 과정을 설명하기 위한 개략도이다.
도 4는, 본 발명에 따른 주행 테스트 제어 장치의 주행 테스트 제어 방법을 설명하기 위한 흐름도이다.
이하에서는 도면을 참조하여 본 발명을 더욱 상세하게 설명한다.
이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 단순히 본 명세서 작성의 용이함을 고려하여 부여되는 것으로서, 상기 "모듈" 및 "부"는 서로 혼용되어 사용될 수도 있다.
나아가, 이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 발명의 실시예를 상세하게 설명하지만, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다.
본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 가지는 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 함을 밝혀두고자 한다.
본 명세서에서 신경망, 인공 신경망, 네트워크 함수는 종종 상호 교환 가능하게 사용될 수 있다.
또한, 본 명세서에 걸쳐, 뉴럴 네트워크(neural network), 신경망 네트워크, 네트워크 함수는, 동일한 의미로 사용될 수 있다. 뉴럴 네트워크는, 일반적으로 “노드”라 지칭될 수 있는 상호 연결된 계산 단위들의 집합으로 구성될 수 있다. 이러한 “노드”들은, “뉴런(neuron)”들로 지칭될 수도 있다. 뉴럴 네트워크는, 적어도 둘 이상의 노드들을 포함하여 구성된다. 뉴럴 네트워크들을 구성하는 노드(또는 뉴런)들은 하나 이상의 “링크”에 의해 상호 연결될 수 있다.
도 1은, 본 발명에 따른 주행 테스트 제어 방법을 제공하기 위한 동작을 수행하는 주행 테스트 제어 장치의 블록 구성도를 도시한 도면이다.
도 1에 도시된 주행 테스트 제어 장치(100)의 구성은, 간략화하여 나타낸 예시일 뿐이다.
본 발명의 일 실시예에서 주행 테스트 제어 장치(100)는, 주행 테스트 제어 장치(100)의 컴퓨팅 환경을 수행하기 위한 다른 구성들이 포함될 수 있고, 개시된 구성들 중 일부만이 주행 테스트 제어 장치(100)를 구성할 수도 있다.
주행 테스트 제어 장치(100)는, 프로세서(110), 메모리(130), 네트워크부(150)를 포함할 수 있다.
본 발명에서, 프로세서(110)는, 다수의 시나리오에 기반하여 자율 주행 차량을 모의 주행시키고, 다수의 시나리오에 상응하는 모의 주행 결과값들을 획득하며, 획득한 모의 주행 결과값들을 뉴럴 네트워크 모델에 입력하여 시나리오별 충돌 스코어를 산출하고, 시나리오별 충돌 스코어 및 모의 주행 결과값 사이의 상관 관계를 기반으로 뉴럴 네트워크 모델을 학습시키며, 뉴럴 네트워크 모델의 학습이 완료되었는지를 확인하고, 뉴럴 네트워크 모델의 학습이 완료되면 특정 시나리오에 상응하여 테스트 주행하는 자율 주행 차량의 실제 테스트 주행 정보 및 실제 테스트 환경 정보를 학습 완료된 뉴럴 네트워크 모델에 입력하여 최적의 충돌 스코어를 산출하며, 산출된 최적의 충돌 스코어를 기반으로 자율 주행 차량의 충돌 위험을 판단 및 예측할 수 있다.
프로세서(110)는, 자율 주행 차량을 모의 주행시킬 때, 가상 테스트 주행 알고리즘을 통해 자율 주행 차량을 모의 주행시킬 수 있다.
여기서, 프로세서(110)는, 자율 주행 차량을 모의 주행시킬 때, 다수의 시나리오 상황에 대한 시나리오 차량들을 모의 경로상에 미리 설정하여 배치하고, 시나리오 차량을 모의 경로를 따라 주행하도록 설정하며, 시나리오 차량과 함께 자율 주행 차량을 모의 주행시킬 수 있다.
경우에 따라, 프로세서(110)는, 자율 주행 차량을 모의 주행시킬 때, 테스트 주행 환경에 상응하여 시나리오 차량 및 자율 주행 차량의 주행 속도 및 가감속 정도를 설정할 수도 있다.
다른 경우로서, 프로세서(110)는, 자율 주행 차량을 모의 주행시킬 때, 시나리오 차량과 함께 자율 주행 차량을 다양한 곡률을 갖는 모의 경로를 따라 주행하도록 설정할 수도 있다.
다음, 프로세서(110)는, 모의 주행 결과값들을 획득할 때, 모의 주행 경로, 자차 위치, 자차 추정 위치, 자차 속도, 자차 헤딩각, 자차 속도에 따른 기준 TTC(Time to Collision), 자차의 모의 주행 타임 스텝별 미래 충돌 시점 중 적어도 어느 하나를 포함하는 모의 주행 결과값들을 획득할 수 있는데, 이는 일 실시예일 뿐, 이에 한정되지 않는다.
여기서, 차량 이동 추정 위치는, 외삽법(extrapolation)을 이용하여 산출될 수 있는데, 이는 일 실시예일 뿐, 이에 한정되지 않는다.
또한, 프로세서(110)는, 모의 주행 결과값들을 획득할 때, 모의 주행 결과값들을 시나리오별로 획득하고, 시나리오별로 모의 주행 결과값을 저장할 수 있다.
이어, 프로세서(110)는, 시나리오별 충돌 스코어를 산출할 때, 획득한 모의 주행 결과값들을 기반으로 모의 주행 타임 스텝별 미래 충돌 시점을 산출하고, 산출한 모의 주행 타임 스텝별 미래 충돌 시점과 속도에 따른 기준 TTC(Time to Collision)를 비교한 비교 결과값을 충돌 스코어에 반영하여 시나리오별 충돌 스코어를 산출할 수 있다.
다음, 프로세서(110)는, 뉴럴 네트워크 모델을 학습시킬 때, 제1 시나리오에 상응하는 제1 모의 주행 결과값과 제1 모의 주행 결과값에 상응하는 제1 충돌 스코어 사이의 제1 상관 관계를 분석하여 분석한 제1 상관 관계를 기반으로 뉴럴 네트워크 모델을 학습시키는 제1 학습 과정과, 제2 시나리오에 상응하는 제2 모의 주행 결과값과 제2 모의 주행 결과값에 상응하는 제2 충돌 스코어 사이의 제2 상관 관계를 분석하여 분석한 제2 상관 관계를 기반으로 뉴럴 네트워크 모델을 학습시키는 제2 학습 과정을 포함하며, 시나리오별로 제1, 제2 학습 과정을 반복하여 충돌 스코어 및 모의 주행 결과값 사이의 상관 관계를 기반으로 뉴럴 네트워크 모델을 학습시킬 수 있다.
그리고, 프로세서(110)는, 뉴럴 네트워크 모델을 학습시킬 때, 시나리오별 충돌 스코어 및 모의 주행 결과값 사이의 상관 관계를 뉴럴 네트워크 모델에 입력하여 충돌 가능성이 높은 시나리오 패턴을 학습시킬 수 있다.
이어, 프로세서(110)는, 뉴럴 네트워크 모델의 학습이 완료되면 특정 시나리오에 상응하여 테스트 주행하는 자율 주행 차량으로부터 실제 테스트 주행 정보를 획득할 수 있다.
여기서, 실제 테스트 주행 정보는, 자차 위치, 자차 추정 위치, 자차 속도, 자차 가속도, 자차 헤딩각, 시나리오 차량과의 거리 간격, 시나리오 차량과의 상대 속도, 자차 모터 전기 파워, 자차 모터 토크 중 적어도 어느 하나를 포함할 수 있는데, 이는 일 실시예일 뿐, 이에 한정되지 않는다.
또한, 프로세서(110)는, 뉴럴 네트워크 모델의 학습이 완료되면 특정 시나리오에 상응하여 테스트 주행하는 자율 주행 차량으로부터 실제 테스트 환경 정보를 획득할 수 있다.
여기서, 실제 테스트 환경 정보는, 도로 경사 및 도로 곡률을 포함할 수 있는데, 이는 일 실시예일 뿐, 이에 한정되지 않는다.
그리고, 프로세서(110)는, 최적의 충돌 스코어를 산출할 때, 자율 주행 차량의 실제 테스트 주행 정보 및 실제 테스트 환경 정보가 사전 학습된 뉴럴 네트워크 모델에 입력되면 사전 학습한 시나리오별 충돌 스코어 및 모의 주행 결과값 사이의 상관 관계를 기반으로 최적의 충돌 스코어를 산출할 수 있다.
이어, 프로세서(110)는, 자율 주행 차량의 충돌 위험을 판단 및 예측할 때, 산출된 충돌 스코어가 경고 레벨이면 자율 주행 차량의 충돌 위험으로 인지하고, 충돌 위험에 상응하는 경고 알람을 출력할 수 있다.
여기서, 충돌 위험에 상응하는 경고 알람은, 스피커로 특정 소리를 출력하는 제1 경고 알람, 진동기를 진동시키는 제2 경고 알람, 경고등을 온/오프시키는 제3 경고 알람, 디스플레이 화면에 문자, 영상, 그림, 도안, 메시지를 적어도 하나 포함하는 경고 표시를 출력하는 제4 경고 알람 중 적어도 어느 한 경고 알람을 출력할 수 있는데, 이는 일 실시예일 뿐, 이에 한정되지 않는다.
다음, 프로세서(110)는, 자율 주행 차량의 충돌 위험을 판단 및 예측할 때, 산출된 충돌 스코어가 위험 레벨이면 자율 주행 차량의 충돌 위험이 매우 높음으로 인지하고, 자율 주행 차량의 테스트 주행 중단을 요청할 수 있다.
그리고, 프로세서(110)는, 자율 주행 차량의 충돌 위험을 판단 및 예측할 때, 산출된 충돌 스코어를 기반으로 특정 시나리오에 대한 자율 주행 차량의 충돌 위험을 판단 및 예측하고, 특정 시나리오에 대한 충돌 위험 예측 결과 정보를 생성할 수 있다.
여기서, 특정 시나리오에 대한 충돌 위험 예측 결과 정보는, 특정 시나리오에 상응하여 테스트 주행하는 자율 주행 차량의 충돌 회피 가이드 정보를 포함할 수 있다.
경우에 따라, 특정 시나리오에 대한 충돌 위험 예측 결과 정보는, 특정 시나리오에 상응하여 테스트 주행하는 자율 주행 차량의 충돌 회피 가이드 정보를 위험 상황 클래스별로 분류하고, 분류된 위험 상황 클래스에 상응하는 충돌 회피 가이드 상세 정보를 포함할 수도 있다.
또한, 전술한 뉴럴 네트워크 모델은, 딥 뉴럴 네트워크일 수 있다. 본 명세서에 걸쳐, 신경망, 네트워크 함수, 뉴럴 네트워크(neural network)는 동일한 의미로 사용될 수 있다. 딥 뉴럴 네트워크(DNN: deep neural network, 심층신경망)는, 입력 레이어와 출력 레이어 외에 복수의 히든 레이어를 포함하는 신경망을 의미할 수 있다. 딥 뉴럴 네트워크를 이용하면 데이터의 잠재적인 구조(latent structures)를 파악할 수 있다. 즉, 사진, 글, 비디오, 음성, 음악의 잠재적인 구조(예를 들어, 어떤 물체가 사진에 있는지, 글의 내용과 감정이 무엇인지, 음성의 내용과 감정이 무엇인지 등)를 파악할 수 있다. 딥 뉴럴 네트워크는 컨벌루셔널 뉴럴 네트워크 (CNN: convolutional neural network), 리커런트 뉴럴 네트워크(RNN: recurrent neural network), 제한 볼츠만 머신(RBM: restricted boltzmann machine), 심층 신뢰 네트워크(DBN: deep belief network), Q 네트워크, U 네트워크, 샴 네트워크 등을 포함할 수 있다.
컨벌루셔널 뉴럴 네트워크는, 딥 뉴럴 네트워크의 일종으로서, 컨벌루셔널 레이어를 포함하는 신경망을 포함한다. 컨벌루셔널 뉴럴 네트워크는, 최소한의 전처리(preprocess)를 사용하도록 설계된 다계층 퍼셉트론(multilayer perceptrons)의 한 종류이다. CNN은, 하나 또는 여러 개의 컨벌루셔널 레이어와 이와 결합된 인공 신경망 계층들로 구성될 수 있다. CNN은, 가중치와 풀링 레이어(pooling layer)들을 추가로 활용할 수 있다. 이러한 구조 덕분에 CNN은, 2차원 구조의 입력 데이터를 충분히 활용할 수 있다. 컨벌루셔널 뉴럴 네트워크는, 이미지에서 오브젝트를 인식하기 위하여 사용될 수 있다. 컨벌루셔널 뉴럴 네트워크는, 이미지 데이터를 차원을 가진 행렬로 나타내어 처리할 수 있다. 예를 들어 RGB(red-green-blue)로 인코딩 된 이미지 데이터의 경우, R, G, B 색상별로 각각 2차원(예를 들어, 2 차원 이미지 인 경우) 행렬로 나타내 질 수 있다. 즉, 이미지 데이터의 각 픽셀의 색상 값이 행렬의 성분이 될 수 있으며 행렬의 크기는 이미지의 크기와 같을 수 있다. 따라서, 이미지 데이터는, 3개의 2차원 행렬로(3차원의 데이터 어레이)로 나타내질 수 있다.
컨벌루셔널 뉴럴 네트워크에서, 컨벌루셔널 필터를 이동해가며 컨벌루셔널 필터와 이미지의 각 위치에서의 행렬 성분끼리 곱하는 것으로 컨벌루셔널 과정(컨벌루셔널 레이어의 입출력)을 수행할 수 있다. 컨벌루셔널 필터는, n*n 형태의 행렬로 구성될 수 있다. 컨벌루셔널 필터는, 일반적으로 이미지의 전체 픽셀의 수보다 작은 고정된 형태의 필터로 구성될 수 있다. 즉, m*m 이미지를 컨벌루셔널 레이어(예를 들어, 컨벌루셔널 필터의 사이즈가 n*n인 컨벌루셔널 레이어)입력시키는 경우, 이미지의 각 픽셀을 포함하는 n*n 픽셀을 나타내는 행렬이 컨벌루셔널 필터와 성분 곱 (즉, 행렬의 각 성분끼리의 곱) 될 수 있다. 컨벌루셔널 필터와의 곱에 의하여 이 미지에서 컨벌루셔널 필터와 매칭되는 성분이 추출될 수 있다. 예를 들어, 이미지에서 상하 직선 성분을 추출하기 위한 3*3 컨벌루셔널 필터는 [[0,1,0], [0,1,0], [0,1,0]] 와 같이 구성될 수 있다. 이미지에서 상하 직선 성분을 추출하기 위한 3*3 컨벌루셔널 필터가 입력 이미지에 적용되면 이미지에서 컨벌루셔널 필터와 매칭되는 상하 직선 성분이 추출되어 출력될 수 있다. 컨벌루셔널 레이어는 이미지를 나타낸 각각의 채널에 대한 각각의 행렬(즉, R, G, B 코딩 이미지의 경우, R, G, B 색상)에 컨벌루셔널 필터를 적용할 수 있다. 컨벌루셔널 레이어는 입력 이미지에 컨벌루셔널 필터를 적용하여 입력 이미지에서 컨벌루셔널 필터와 매칭되는 피쳐를 추출할 수 있다. 컨벌루셔널 필터의 필터 값(즉, 행렬의 각 성분의 값)은 컨벌루셔널 뉴럴 네트워크의 학습 과정에서 역전파에 의하여 업데이트 될 수 있다.
컨벌루셔널 레이어의 출력에는, 서브샘플링 레이어가 연결되어 컨벌루셔널 레이어의 출력을 단순화하여 메모리 사용량과 연산량을 줄일 수 있다. 예를 들어, 2*2 맥스 풀링 필터를 가지는 풀링 레이어에 컨벌루셔널 레이어의 출력을 입력시키는 경우, 이미지의 각 픽셀에서 2*2 패치마다 각 패치에 포함되는 최대값을 출력하여 이미지를 압축할 수 있다. 전술한 풀링은 패치에서 최소값을 출력하거나, 패치의 평균값을 출력하는 방식일 수도 있으며 임의의 풀링 방식이 본 발명에 포함될 수 있다.
컨벌루셔널 뉴럴 네트워크는, 하나 이상의 컨벌루셔널 레이어, 서브 샘플링 레이어를 포함할 수 있다. 컨벌루셔널 뉴럴 네트워크는 컨벌루셔널 과정과 서브샘플링 과정(예를 들어, 전술한 맥스 풀링 등)을 반복적으로 수행하여 이미지에서 피쳐를 추출할 수 있다. 반복적인 컨벌루션널 과정과 서브샘플링 과정을 통해 뉴럴 네트워크는 이미지의 글로벌 피쳐를 추출할 수 있다.
컨벌루셔널 레이어 또는 서브샘플링 레이어의 출력은 풀 커넥티드 레이어(fully connected layer)에 입력될 수 있다. 풀 커넥티드 레이어는 하나의 레이어에 있는 모든 뉴런과 이웃한 레이어에 있는 모든 뉴런이 연결되는 레이어이다. 풀 커넥티드 레이어는 뉴럴 네트워크에서 각 레이어의 모든 노드가 다른 레이어의 모든 노드에 연결된 구조를 의미할 수 있다.
본 발명의 일 실시예에 따르면, 프로세서(110)는, 하나 이상의 코어로 구성될 수 있으며, 컴퓨팅 장치의 중앙 처리 장치(CPU: central processing unit), 범용 그래픽 처리 장치 (GPGPU: general purpose graphics processing unit), 텐서 처리 장치(TPU: tensor processing unit) 등의 데이터 분석, 딥러닝을 위한 프로세서를 포함할 수 있다. 프로세서(110)는, 메모리(130)에 저장된 컴퓨터 프로그램을 판독하여 본 발명의 일 실시예에 따른 기계 학습을 위한 데이터 처리를 수행할 수 있다. 본 발명의 일실시예에 따라 프로세서(110)는, 신경망의 학습을 위한 연산을 수행할 수 있다. 프로세서(110)는, 딥러닝(DL: deep learning)에서 학습을 위한 입력 데이터의 처리, 입력 데이터에서의 피처 추출, 오차 계산, 역전파(backpropagation)를 이용한 신경망의 가중치 업데이트 등의 신경망의 학습을 위한 계산을 수행할 수 있다. 프로세서(110)의 CPU, GPGPU, 및 TPU 중 적어도 하나가 네트워크 함수의 학습을 처리할 수 있다. 예를 들어, CPU 와 GPGPU가 함께 네트워크 함수의 학습, 네트워크 함수를 이용한 데이터 분류를 처리할 수 있다. 또한, 본 발명의 일 실시예에서 복수의 컴퓨팅 장치의 프로세서를 함께 사용하여 네트워크 함수의 학습, 네트워크 함수를 이용한 데이터 분류를 처리할 수 있다. 또한, 본 발명의 일 실시예에 따른 컴퓨팅 장치에서 수행되는 컴퓨터 프로그램은, CPU, GPGPU 또는 TPU 실행가능 프로그램일 수 있다.
본 발명의 일 실시예에 따르면, 메모리(130)는, 주행 테스트 제어 방법을 제공하기 위한 컴퓨터 프로그램을 저장할 수 있으며, 저장된 컴퓨터 프로그램은 프로세서(120)에 의하여 구동될 수 있다. 메모리(130)는, 프로세서(110)가 생성하거나 결정한 임의의 형태의 정보 및 네트워크부(150)가 수신한 임의의 형태의 정보를 저장할 수 있다.
본 발명의 일 실시예에 따르면, 메모리(130)는, 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 주행 테스트 제어 장치(100)는 인터넷(internet) 상에서 상기 메모리(130)의 저장 기능을 수행하는 웹 스토리지(web storage)와 관련되어 동작할 수도 있다. 전술한 메모리에 대한 기재는 예시일 뿐, 이에 제한되지 않는다.
본 발명의 일 실시예에 따른 네트워크부(150)는, 주행 테스트 제어 등을 다른 컴퓨팅 장치, 서버 등과 송수신할 수 있다. 또한, 네트워크부(150)는, 복수의 컴퓨팅 장치 사이의 통신을 가능하게 하여 복수의 컴퓨팅 장치 각각에서 주행 테스트 제어 모델의 학습을 위한 동작들이 분산 수행되도록 할 수 있다. 네트워크부(150)는, 복수의 컴퓨팅 장치 사이의 통신을 가능하게 하여 주행 테스트 제어 네트워크 함수를 사용한 모델 학습을 위한 연산을 분산 처리하도록 할 수 있다.
본 발명의 일 실시예에 따른 네트워크부(150)는, 근거리(단거리), 원거리, 유선 및 무선 등과 같은 현재 사용 및 구현되는 임의의 형태의 유무선 통신 기술에 기반하여 동작할 수 있으며, 다른 네트워크들에서도 사용될 수 있다.
본 발명의 주행 테스트 제어 장치(100)는, 출력부 및 입력부를 더 포함할 수도 있다.
본 발명의 일 실시예에 따른 출력부는, 주행 테스트 제어를 위한 사용자 인터페이스(UI, user interface)를 표시할 수 있다. 출력부는, 프로세서(110)가 생성하거나 결정한 임의의 형태의 정보 및 네트워크부(150)가 수신한 임의의 형태의 정보를 출력할 수 있다.
본 발명의 일 실시예에서, 출력부는, 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 중에서 적어도 하나를 포함할 수 있다. 이들 중 일부 디스플레이 모듈은, 그를 통해 외부를 볼 수 있도록 투명형 또는 광 투과형으로 구성될 수 있다. 이는 투명 디스플레이 모듈이라 지칭될 수 있는데, 상기 투명 디스플레이 모듈의 대표적인 예로는 TOLED(Transparent OLED) 등이 있다.
본 발명의 일 실시예에 따른 입력부는, 사용자 입력을 수신할 수 있다. 입력부는, 사용자 입력을 수신받기 위한 사용자 인터페이스 상의 키 및/또는 버튼들, 또는 물리적인 키 및/또는 버튼들을 구비할 수 있다. 입력부를 통한 사용자 입력에 따라 본 발명의 실시예들에 따른 디스플레이를 제어하기 위한 컴퓨터 프로그램이 실행될 수 있다.
본 발명의 실시예들에 따른 입력부는, 사용자의 버튼 조작 또는 터치 입력을 감지하여 신호를 수신하거나, 카메라 또는 마이크로폰을 통하여 사용자 등의 음성 또는 동작을 수신하여 이를 입력 신호로 변환할 수도 있다. 이를 위해 음성 인식(Speech Recognition) 기술 또는 동작 인식(Motion Recognition) 기술들이 사용될 수 있다.
본 발명의 실시예들에 따른 입력부는, 주행 테스트 제어 장치(100)와 연결된 외부 입력 장비로서 구현될 수도 있다. 예를 들어, 입력 장비는 사용자 입력을 수신하기 위한 터치 패드, 터치 펜, 키보드 또는 마우스 중 적어도 하나일 수 있으나, 이는 예시일 뿐이며 이에 제한되는 것은 아니다.
본 발명의 일 실시예에 따른 입력부는, 사용자 터치 입력을 인식할 수 있다. 본 발명의 일 실시예에 따른 입력부는, 출력부와 동일한 구성일 수도 있다. 입력부는, 사용자의 선택 입력을 수신하도록 구현되는 터치 스크린으로 구성될 수 있다. 터치 스크린은, 접촉식 정전용량 방식, 적외선 광 감지 방식, 표면 초음파(SAW) 방식, 압전 방식, 저항막 방식 중 어느 하나의 방식이 사용될 수 있다. 전술한 터치 스크린에 대한 자세한 기재는, 본 발명의 일 실시예에 따른 예시일 뿐이며, 다양한 터치 스크린 패널이 주행 테스트 제어 장치(100)에 채용될 수 있다. 터치 스크린으로 구성된 입력부는, 터치 센서를 포함할 수 있다. 터치 센서는, 입력부의 특정 부위에 가해진 압력 또는 입력부의 특정 부위에 발생하는 정전 용량 등의 변화를 전기적인 입력신호로 변환하도록 구성될 수 있다. 터치 센서는, 터치 되는 위치 및 면적뿐만 아니라, 터치 시의 압력까지도 검출할 수 있도록 구성될 수 있다. 터치 센서에 대한 터치입력이 있는 경우, 그에 대응하는 신호(들)는 터치 제어기로 보내진다. 터치 제어기는, 그 신호(들)를 처리한 다음 대응하는 데이터를 프로세서(110)로 전송할 수 있다. 이로써, 프로세서(110)는 입력부의 어느 영역이 터치 되었는지 여부 등을 인식할 수 있게 된다.
본 발명의 일 실시예에서, 서버는, 서버의 서버 환경을 수행하기 위한 다른 구성들이 포함될 수도 있다. 서버는 임의의 형태의 장치는 모두 포함할 수 있다. 서버는, 디지털 기기로서, 랩탑 컴퓨터, 노트북 컴퓨터, 데스크톱 컴퓨터, 웹 패드, 이동 전화기와 같이 프로세서를 탑재하고 메모리를 구비한 연산 능력을 갖춘 디지털 기기일 수 있다.
본 발명의 일 실시예에 따른 주행 테스트 제어 결과를 표시하는 사용자 인터페이스를 사용자 단말로 제공하기 위한 동작을 수행하는 서버(미도시)는, 네트워크부, 프로세서 및 메모리를 포함할 수 있다.
서버는, 본 발명의 실시예들에 따른 사용자 인터페이스를 생성할 수 있다. 서버는, 클라이언트(예를 들어, 사용자 단말)에게 네트워크를 통해 정보를 제공하는 컴퓨팅 시스템일 수 있다. 서버는, 생성한 사용자 인터페이스를 사용자 단말로 전송할 수 있다. 이러한 경우, 사용자 단말은, 서버에 액세스할 수 있는 임의의 형태의 주행 테스트 제어 장치(100)일 수 있다. 서버의 프로세서는, 네트워크부를 통해 사용자 단말로 사용자 인터페이스를 전송할 수 있다. 본 발명의 실시예들에 따른 서버는 예를 들어, 클라우드 서버일 수 있다. 서버는 서비스를 처리하는 웹 서버일 수 있다. 전술한 서버의 종류는 예시일 뿐이며 이에 제한되지 않는다.
이와 같이, 본 발명은, 시나리오별 충돌 스코어 및 모의 주행 결과값 사이의 상관 관계를 기반으로 사전 학습한 뉴럴 네트워크 모델을 통해 최적의 충돌 스코어를 산출하고 자율 주행 차량의 충돌 위험을 판단 및 예측함으로써, 다양한 돌발 상황에서도 사고 위험을 정확하게 판단 및 예측하여 자율 주행 차량의 주행 테스트를 안전하게 제어할 수 있다.
도 2는, 본 발명에 따른 주행 테스트 제어 장치의 뉴럴 네트워크 모델 학습 과정을 설명하기 위한 개략도이다.
도 2에 도시된 바와 같이, 본 발명은, 다수의 시나리오에 기반하여 자율 주행 차량을 모의 주행시킬 수 있다.
여기서, 본 발명은, 가상 테스트 주행 알고리즘을 통해 자율 주행 차량을 모의 주행시킬 수 있다.
본 발명은, 자율 주행 차량을 모의 주행시킬 때, 다수의 시나리오 상황에 대한 시나리오 차량들을 모의 경로상에 미리 설정하여 배치하고, 시나리오 차량을 모의 경로를 따라 주행하도록 설정하며, 시나리오 차량과 함께 자율 주행 차량을 모의 주행시킬 수 있다.
경우에 따라, 본 발명은, 자율 주행 차량을 모의 주행시킬 때, 테스트 주행 환경에 상응하여 시나리오 차량 및 자율 주행 차량의 주행 속도 및 가감속 정도를 설정할 수도 있다.
다른 경우로서, 본 발명은, 자율 주행 차량을 모의 주행시킬 때, 시나리오 차량과 함께 자율 주행 차량을 다양한 곡률을 갖는 모의 경로를 따라 주행하도록 설정할 수도 있다.
다음, 본 발명은, 다수의 시나리오에 상응하는 모의 주행 결과값들을 획득할 수 있다.
여기서, 모의 주행 결과값은, 모의 주행 경로, 자차 위치, 자차 추정 위치, 자차 속도, 자차 헤딩각, 자차 속도에 따른 기준 TTC(Time to Collision), 자차의 모의 주행 타임 스텝별 미래 충돌 시점 등을 포함할 수 있다.
그리고, 본 발명은, 모의 주행 결과값들을 뉴럴 네트워크 모델에 입력하여 시나리오별 충돌 스코어를 산출할 수 있다.
여기서, 본 발명은, 모의 주행 결과값들을 기반으로 모의 주행 타임 스텝별 미래 충돌 시점을 산출하고, 산출한 모의 주행 타임 스텝별 미래 충돌 시점과 속도에 따른 기준 TTC(Time to Collision)를 비교한 비교 결과값을 충돌 스코어에 반영하여 시나리오별 충돌 스코어를 산출할 수 있다.
이어, 본 발명은, 시나리오별 충돌 스코어 및 모의 주행 결과값 사이의 상관 관계를 기반으로 뉴럴 네트워크 모델을 학습시킬 수 있다.
일 예로, 본 발명은, 제1 시나리오에 상응하는 제1 모의 주행 결과값과 제1 모의 주행 결과값에 상응하는 제1 충돌 스코어 사이의 제1 상관 관계를 분석하여 분석한 제1 상관 관계를 기반으로 뉴럴 네트워크 모델을 학습시키는 제1 학습 과정과, 제2 시나리오에 상응하는 제2 모의 주행 결과값과 제2 모의 주행 결과값에 상응하는 제2 충돌 스코어 사이의 제2 상관 관계를 분석하여 분석한 제2 상관 관계를 기반으로 뉴럴 네트워크 모델을 학습시키는 제2 학습 과정을 포함하며, 시나리오별로 제1, 제2 학습 과정을 반복하여 충돌 스코어 및 모의 주행 결과값 사이의 상관 관계를 기반으로 뉴럴 네트워크 모델을 학습시킬 수 있다.
즉, 본 발명은, 시나리오별 충돌 스코어 및 모의 주행 결과값 사이의 상관 관계를 뉴럴 네트워크 모델에 입력하여 충돌 가능성이 높은 시나리오 패턴을 학습시킬 수 있다.
도 3은, 본 발명에 따른 주행 테스트 제어 장치의 사전 학습된 뉴럴 네트워크 모델의 충돌 위험 예측 과정을 설명하기 위한 개략도이다.
도 3에 도시된 바와 같이, 본 발명은, 특정 시나리오에 상응하여 테스트 주행하는 자율 주행 차량의 실제 테스트 주행 정보 및 실제 테스트 환경 정보를 사전 학습된 뉴럴 네트워크 모델에 입력하여 최적의 충돌 스코어를 산출하고, 산출된 최적의 충돌 스코어를 기반으로 자율 주행 차량의 충돌 위험을 판단 및 예측할 수 있다.
여기서, 본 발명은, 사전 학습된 뉴럴 네트워크 모델을 통해 사전 학습한 시나리오별 충돌 스코어 및 모의 주행 결과값 사이의 상관 관계를 기반으로 최적의 충돌 스코어를 산출할 수 있다.
그리고, 본 발명은, 산출된 충돌 스코어가 경고 레벨이면 자율 주행 차량의 충돌 위험으로 인지하고, 충돌 위험에 상응하는 경고 알람을 출력할 수 있다.
또한, 본 발명은, 산출된 충돌 스코어가 위험 레벨이면 자율 주행 차량의 충돌 위험이 매우 높음으로 인지하고, 자율 주행 차량의 테스트 주행 중단을 요청할 수도 있다.
이어, 본 발명은, 산출된 충돌 스코어를 기반으로 특정 시나리오에 대한 자율 주행 차량의 충돌 위험을 판단 및 예측하고, 특정 시나리오에 대한 충돌 위험 예측 결과 정보를 생성할 수 있다.
일 예로, 특정 시나리오에 대한 충돌 위험 예측 결과 정보는, 특정 시나리오에 상응하여 테스트 주행하는 자율 주행 차량의 충돌 회피 가이드 정보를 포함할 수 있다.
경우에 따라, 특정 시나리오에 대한 충돌 위험 예측 결과 정보는, 특정 시나리오에 상응하여 테스트 주행하는 자율 주행 차량의 충돌 회피 가이드 정보를 위험 상황 클래스별로 분류하고, 분류된 위험 상황 클래스에 상응하는 충돌 회피 가이드 상세 정보를 포함할 수도 있다.
도 4는, 본 발명에 따른 주행 테스트 제어 장치의 주행 테스트 제어 방법을 설명하기 위한 흐름도이다.
도 4에 도시된 바와 같이, 본 발명은, 다수의 시나리오에 기반하여 상기 자율 주행 차량을 모의 주행시킬 수 있다(S10).
이어, 본 발명은, 다수의 시나리오에 상응하는 모의 주행 결과값들을 획득할 수 있다(S20).
다음, 본 발명은, 획득한 모의 주행 결과값들을 뉴럴 네트워크 모델에 입력하여 시나리오별 충돌 스코어를 산출할 수 있다(S30).
본 발명은, 모의 주행 결과값들을 기반으로 모의 주행 타임 스텝별 미래 충돌 시점을 산출하고, 산출한 모의 주행 타임 스텝별 미래 충돌 시점과 속도에 따른 기준 TTC(Time to Collision)를 비교한 비교 결과값을 충돌 스코어에 반영하여 시나리오별 충돌 스코어를 산출할 수 있다.
그리고, 본 발명은, 시나리오별 충돌 스코어 및 모의 주행 결과값 사이의 상관 관계를 기반으로 뉴럴 네트워크 모델을 학습시킬 수 있다(S40).
여기서, 본 발명은, 시나리오별 충돌 스코어 및 모의 주행 결과값 사이의 상관 관계를 뉴럴 네트워크 모델에 입력하여 충돌 가능성이 높은 시나리오 패턴을 학습시킬 수 있다.
이어, 본 발명은, 뉴럴 네트워크 모델의 학습이 완료되었는지를 확인할 수 있다(S50).
다음, 본 발명은, 뉴럴 네트워크 모델의 학습이 완료되면 특정 시나리오에 상응하여 자율 주행 차량을 실제 테스트 주행시킬 수 있다(S60).
그리고, 본 발명은, 테스트 주행하는 자율 주행 차량의 실제 테스트 주행 정보 및 실제 테스트 환경 정보를 학습 완료된 뉴럴 네트워크 모델에 입력하여 최적의 충돌 스코어를 산출할 수 있다(S70).
이어, 본 발명은, 산출된 최적의 충돌 스코어를 기반으로 자율 주행 차량의 충돌 위험을 판단 및 예측할 수 있다(S80).
여기서, 본 발명은, 산출된 충돌 스코어가 경고 레벨이면 자율 주행 차량의 충돌 위험으로 인지하고, 충돌 위험에 상응하는 경고 알람을 출력할 수 있다.
경우에 따라, 본 발명은, 산출된 충돌 스코어가 위험 레벨이면 자율 주행 차량의 충돌 위험이 매우 높음으로 인지하고, 자율 주행 차량의 테스트 주행 중단을 요청할 수도 있다.
또한, 본 발명은, 산출된 충돌 스코어를 기반으로 특정 시나리오에 대한 자율 주행 차량의 충돌 위험을 판단 및 예측하고, 특정 시나리오에 대한 충돌 위험 예측 결과 정보를 생성할 수도 있다.
다음, 본 발명은, 주행 테스트 제어 종료 요청인지를 확인하고(S90), 주행 테스트 제어 종료 요청이면 주행 테스트 제어 과정을 종료할 수 있다.
이와 같이, 본 발명은, 시나리오별 충돌 스코어 및 모의 주행 결과값 사이의 상관 관계를 기반으로 사전 학습한 뉴럴 네트워크 모델을 통해 최적의 충돌 스코어를 산출하고 자율 주행 차량의 충돌 위험을 판단 및 예측함으로써, 다양한 돌발 상황에서도 사고 위험을 정확하게 판단 및 예측하여 자율 주행 차량의 주행 테스트를 안전하게 제어할 수 있다.
이상에서 본 발명들에 설명된 특징, 구조, 효과 등은 본 발명의 적어도 하나의 실시예에 포함되며, 반드시 하나의 실시예에만 한정되는 것은 아니다. 나아가, 각 실시예에서 예시된 특징, 구조, 효과 등은 실시예들이 속하는 분야의 통상의 지식을 가지는 자에 의해 다른 실시예들에 대해서도 조합 또는 변형되어 실시 가능하다. 따라서 이러한 조합과 변형에 관계된 내용들은 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.
또한, 이상에서 실시예를 중심으로 설명하였으나 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 예를 들어, 실시예에 구체적으로 나타난 각 구성 요소는 변형하여 실시할 수 있는 것이다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.
100: 주행 테스트 제어 장치
110: 프로세서
130: 메모리
150: 네트워크부

Claims (8)

  1. 자율 주행 차량의 주행 테스트를 제어하는 장치의 주행 테스트 제어 방법에 있어서,
    다수의 시나리오에 기반하여 상기 자율 주행 차량을 모의 주행시키는 단계;
    상기 다수의 시나리오에 상응하는 모의 주행 결과값들을 획득하는 단계;
    상기 획득한 모의 주행 결과값들을 뉴럴 네트워크 모델에 입력하여 시나리오별 충돌 스코어를 산출하는 단계;
    상기 시나리오별 충돌 스코어 및 모의 주행 결과값 사이의 상관 관계를 기반으로 상기 뉴럴 네트워크 모델을 학습시키는 단계;
    상기 뉴럴 네트워크 모델의 학습이 완료되었는지를 확인하는 단계;
    상기 뉴럴 네트워크 모델의 학습이 완료되면 특정 시나리오에 상응하여 테스트 주행하는 상기 자율 주행 차량의 실제 테스트 주행 정보 및 실제 테스트 환경 정보를 상기 학습 완료된 뉴럴 네트워크 모델에 입력하여 최적의 충돌 스코어를 산출하는 단계; 및
    상기 산출된 최적의 충돌 스코어를 기반으로 상기 자율 주행 차량의 충돌 위험을 판단 및 예측하는 단계를 포함하며,
    상기 시나리오별 충돌 스코어를 산출하는 단계는,
    상기 획득한 모의 주행 결과값들을 기반으로 모의 주행 타임 스텝별 미래 충돌 시점을 산출하고, 상기 산출한 모의 주행 타임 스텝별 미래 충돌 시점과 속도에 따른 기준 TTC(Time to Collision)를 비교한 비교 결과값을 상기 충돌 스코어에 반영하여 상기 시나리오별 충돌 스코어를 산출하는 것을 특징으로 하는 주행 테스트 제어 방법.
  2. 제1 항에 있어서,
    상기 자율 주행 차량을 모의 주행시키는 단계는,
    가상 테스트 주행 알고리즘을 통해 상기 자율 주행 차량을 모의 주행시키는 것을 특징으로 하는 주행 테스트 제어 방법.
  3. 제1 항에 있어서,
    상기 모의 주행 결과값들을 획득하는 단계는,
    모의 주행 경로, 자차 위치, 자차 추정 위치, 자차 속도, 자차 헤딩각, 자차 속도에 따른 기준 TTC(Time to Collision), 자차의 모의 주행 타임 스텝별 미래 충돌 시점 중 적어도 어느 하나를 포함하는 상기 모의 주행 결과값들을 획득하는 것을 특징으로 하는 주행 테스트 제어 방법.
  4. 삭제
  5. 제1 항에 있어서,
    상기 뉴럴 네트워크 모델을 학습시키는 단계는,
    제1 시나리오에 상응하는 제1 모의 주행 결과값과 상기 제1 모의 주행 결과값에 상응하는 제1 충돌 스코어 사이의 제1 상관 관계를 분석하여 상기 분석한 제1 상관 관계를 기반으로 상기 뉴럴 네트워크 모델을 학습시키는 제1 학습 과정과,
    제2 시나리오에 상응하는 제2 모의 주행 결과값과 상기 제2 모의 주행 결과값에 상응하는 제2 충돌 스코어 사이의 제2 상관 관계를 분석하여 상기 분석한 제2 상관 관계를 기반으로 상기 뉴럴 네트워크 모델을 학습시키는 제2 학습 과정을 포함하며,
    상기 시나리오별로 제1, 제2 학습 과정을 반복하여 충돌 스코어 및 모의 주행 결과값 사이의 상관 관계를 기반으로 상기 뉴럴 네트워크 모델을 학습시키는 것을 특징으로 하는 주행 테스트 제어 방법.
  6. 제1 항에 있어서,
    상기 최적의 충돌 스코어를 산출하는 단계는,
    상기 자율 주행 차량의 실제 테스트 주행 정보 및 실제 테스트 환경 정보가 사전 학습된 뉴럴 네트워크 모델에 입력되면 사전 학습한 시나리오별 충돌 스코어 및 모의 주행 결과값 사이의 상관 관계를 기반으로 상기 최적의 충돌 스코어를 산출하는 것을 특징으로 하는 주행 테스트 제어 방법.
  7. 제1 항에 있어서,
    상기 자율 주행 차량의 충돌 위험을 판단 및 예측하는 단계는,
    상기 산출된 충돌 스코어가 경고 레벨이면 상기 자율 주행 차량의 충돌 위험으로 인지하고, 충돌 위험에 상응하는 경고 알람을 출력하는 것을 특징으로 하는 주행 테스트 제어 방법.
  8. 주행 테스트 제어 방법을 제공하기 위한 자율 주행 차량의 주행 테스트 제어 장치로서,
    하나 이상의 코어를 포함하는 프로세서; 및
    메모리;
    를 포함하고,
    상기 프로세서는,
    다수의 시나리오에 기반하여 상기 자율 주행 차량을 모의 주행시키고, 상기 다수의 시나리오에 상응하는 모의 주행 결과값들을 획득하며, 상기 획득한 모의 주행 결과값들을 뉴럴 네트워크 모델에 입력하여 시나리오별 충돌 스코어를 산출하고, 상기 시나리오별 충돌 스코어 및 모의 주행 결과값 사이의 상관 관계를 기반으로 상기 뉴럴 네트워크 모델을 학습시키며, 상기 뉴럴 네트워크 모델의 학습이 완료되었는지를 확인하고, 상기 뉴럴 네트워크 모델의 학습이 완료되면 특정 시나리오에 상응하여 테스트 주행하는 상기 자율 주행 차량의 실제 테스트 주행 정보 및 실제 테스트 환경 정보를 상기 학습 완료된 뉴럴 네트워크 모델에 입력하여 최적의 충돌 스코어를 산출하며, 상기 산출된 최적의 충돌 스코어를 기반으로 상기 자율 주행 차량의 충돌 위험을 판단 및 예측하는 한편,
    상기 프로세서는,
    상기 시나리오별 충돌 스코어를 산출하는 경우, 상기 획득한 모의 주행 결과값들을 기반으로 모의 주행 타임 스텝별 미래 충돌 시점을 산출하고, 상기 산출한 모의 주행 타임 스텝별 미래 충돌 시점과 속도에 따른 기준 TTC(Time to Collision)를 비교한 비교 결과값을 상기 충돌 스코어에 반영하여 상기 시나리오별 충돌 스코어를 산출하는 것을 특징으로 하는 주행 테스트 제어 장치.
KR1020210171429A 2021-12-03 2021-12-03 자율 주행 차량의 주행 테스트 제어 장치 및 방법 KR102636586B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210171429A KR102636586B1 (ko) 2021-12-03 2021-12-03 자율 주행 차량의 주행 테스트 제어 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210171429A KR102636586B1 (ko) 2021-12-03 2021-12-03 자율 주행 차량의 주행 테스트 제어 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20230083438A KR20230083438A (ko) 2023-06-12
KR102636586B1 true KR102636586B1 (ko) 2024-02-14

Family

ID=86770228

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210171429A KR102636586B1 (ko) 2021-12-03 2021-12-03 자율 주행 차량의 주행 테스트 제어 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102636586B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116609093B (zh) * 2023-07-21 2023-10-03 中汽院智能网联汽车检测中心(湖南)有限公司 一种基于养护作业的智能驾驶安全测试系统及方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021109653A (ja) * 2020-01-02 2021-08-02 ベイジン バイドゥ ネットコム サイエンス アンド テクノロジー カンパニー リミテッド 自律走行システムのテスト方法、装置、電子機器、プログラム及びコンピュータ読み取り可能な記録媒体

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3210473B2 (ja) * 1993-03-11 2001-09-17 株式会社東芝 ビジュアルフィードバック制御装置
JPH07225894A (ja) * 1994-02-15 1995-08-22 Toshiba Corp 車両用走行制御装置とその制御知識獲得方法
KR20180094725A (ko) * 2017-02-16 2018-08-24 삼성전자주식회사 자율 주행을 위한 차량 제어 방법, 차량 제어 장치 및 자율 주행을 위한 학습 방법
KR102442061B1 (ko) * 2017-04-06 2022-09-13 삼성전자주식회사 전자 장치, 그의 경고 메시지 제공 방법 및 비일시적 컴퓨터 판독가능 기록매체
KR101996230B1 (ko) 2018-02-26 2019-07-04 (주)에스더블유엠 자율주행 차량의 시뮬레이션을 위한 테스트정보 제공 방법 및 장치
KR20210068199A (ko) * 2019-11-29 2021-06-09 (주)컨트롤웍스 자율주행차량 시험 평가를 위한 제어 방법 및 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021109653A (ja) * 2020-01-02 2021-08-02 ベイジン バイドゥ ネットコム サイエンス アンド テクノロジー カンパニー リミテッド 自律走行システムのテスト方法、装置、電子機器、プログラム及びコンピュータ読み取り可能な記録媒体

Also Published As

Publication number Publication date
KR20230083438A (ko) 2023-06-12

Similar Documents

Publication Publication Date Title
US20220392234A1 (en) Training neural networks for vehicle re-identification
US11928866B2 (en) Neural networks for object detection and characterization
US10803323B2 (en) Electronic device and method of detecting driving event of vehicle
KR102504699B1 (ko) 엔티티 링킹 방법, 장치, 기기, 저장 매체 및 컴퓨터 프로그램
CN113366495A (zh) 搜索自主车辆传感器数据存储库
WO2018005594A1 (en) Eye gaze tracking using neural networks
KR102474246B1 (ko) 복수 개의 전자 디바이스를 이용하여 신경망 모델을 처리하는 방법 및 시스템
JP7168708B2 (ja) マップデータの更新方法、装置、機器及び可読記憶媒体
EP3542315A1 (en) Mirror loss neural networks
JP2019086475A (ja) 学習プログラム、検出プログラム、学習方法、検出方法、学習装置および検出装置
CN112016398A (zh) 手持物体识别方法及装置
KR102636586B1 (ko) 자율 주행 차량의 주행 테스트 제어 장치 및 방법
US20220297728A1 (en) Agent trajectory prediction using context-sensitive fusion
US20210150349A1 (en) Multi object tracking using memory attention
US20230082079A1 (en) Training agent trajectory prediction neural networks using distillation
KR102655066B1 (ko) 자율 주행 차량의 적응 순항 제어 장치 및 방법
KR20230135198A (ko) 건설중장비의 고장예측 장치 및 방법
KR20230135200A (ko) 건설중장비의 이상징후 감지 장치 및 방법
US11893063B2 (en) Electronic device and operation method thereof
KR20190096752A (ko) 컨텐츠에 대한 텍스트 코멘트를 생성하는 방법 및 전자 장치
JP2019086473A (ja) 学習プログラム、検出プログラム、学習方法、検出方法、学習装置および検出装置
Sarwar Murshed et al. Efficient deployment of deep learning models on autonomous robots in the ROS environment
KR102630272B1 (ko) 머신 러닝 기반 전자 메시지 검사 방법, 장치 및 프로그램
KR102591078B1 (ko) 인공지능 모델을 이용하여 3차원 객체 탐지를 수행하는 전자 장치 및 이의 동작 방법
KR102519554B1 (ko) 심층 신경망 시스템을 포함하는 전자 장치 및 그 동작 방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant