KR20200094643A - 최근 주행 경로에 대한 궤적 기반 행동 분석을 수행하여 차량의 모드를 수동 주행 모드에서 자율 주행 모드로 변경할 지 여부를 판단하는 학습 방법 및 학습 장치 - Google Patents

최근 주행 경로에 대한 궤적 기반 행동 분석을 수행하여 차량의 모드를 수동 주행 모드에서 자율 주행 모드로 변경할 지 여부를 판단하는 학습 방법 및 학습 장치 Download PDF

Info

Publication number
KR20200094643A
KR20200094643A KR1020200001729A KR20200001729A KR20200094643A KR 20200094643 A KR20200094643 A KR 20200094643A KR 1020200001729 A KR1020200001729 A KR 1020200001729A KR 20200001729 A KR20200001729 A KR 20200001729A KR 20200094643 A KR20200094643 A KR 20200094643A
Authority
KR
South Korea
Prior art keywords
test
verification
information
target
learning
Prior art date
Application number
KR1020200001729A
Other languages
English (en)
Other versions
KR102373487B1 (ko
Inventor
김계현
김용중
김학경
남운현
부석훈
성명철
신동수
여동훈
유우주
이명춘
이형수
장태웅
정경중
제홍모
조호진
Original Assignee
주식회사 스트라드비젼
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 스트라드비젼 filed Critical 주식회사 스트라드비젼
Publication of KR20200094643A publication Critical patent/KR20200094643A/ko
Application granted granted Critical
Publication of KR102373487B1 publication Critical patent/KR102373487B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0097—Predicting future conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/082—Selecting or switching between different modes of propelling
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005—Handover processes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005—Handover processes
    • B60W60/0059—Estimation of the risk associated with autonomous or manual driving, e.g. situation too complex, sensor failure or driver incapacity
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0055—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot with safety arrangements
    • G05D1/0061—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot with safety arrangements for transition from automatic pilot to manual pilot and vice versa
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06N3/0427—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0454—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G08G1/0129—Traffic data processing for creating historical data or processing based on historical data
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G08G1/0133—Traffic data processing for classifying traffic situation
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/161—Decentralised systems, e.g. inter-vehicle communication
    • G08G1/163—Decentralised systems, e.g. inter-vehicle communication involving continuous checking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0011—Planning or execution of driving tasks involving control alternatives for a single driving scenario, e.g. planning several paths to avoid obstacles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005—Handover processes
    • B60W60/0051—Handover processes from occupants to vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005—Handover processes
    • B60W60/0053—Handover processes from vehicle to occupant

Abstract

운전자의 최근 주행 경로를 분석함으로써, 자율 주행이 가능한 차량의 주행 모드 전환이 적절한지 여부를 판단하기 위해 이용될 충돌 확률을 계산하는 학습 방법에 있어서, (a) 학습 장치가, 상태 벡터 및 궤적 벡터가 획득되면, (i) 상태 네트워크로 하여금 상태 특징 맵을 생성하도록 하는 프로세스 및 (ii) 궤적 네트워크로 하여금 궤적 특징 맵을 생성하도록 하는 프로세스를 수행하는 단계; (b) 상기 학습 장치가, 안전성 네트워크로 하여금, 사고가 발생할 것으로 예측되는 확률인 예측 충돌 확률을 산출하도록 하는 단계; 및 (c) 상기 학습 장치가, 로스 레이어로 하여금, 상기 예측 충돌 확률 및 기획득된 GT(Ground Truth) 충돌 확률을 참조하여 로스를 생성하도록 함으로써, 파라미터 중 적어도 일부를 학습하는 단계;를 포함하는 방법이 제공된다.

Description

최근 주행 경로에 대한 궤적 기반 행동 분석을 수행하여 차량의 모드를 수동 주행 모드에서 자율 주행 모드로 변경할 지 여부를 판단하는 학습 방법 및 학습 장치{LEARNING METHOD AND LEARNING DEVICE FOR DETERMINING WHETHER TO SWITCH MODE OF VEHICLE FROM MANUAL DRIVING MODE TO AUTONOMOUS DRIVING MODE BY PERFORMING TRAJECTORY-BASED BEHAVIOR ANALYSIS ON RECENT DRIVING ROUTE}
본 발명은 자율 주행 차량에 사용하기 위한 학습 방법 및 학습 장치에 관한 것으로; 보다 상세하게는, 최근 주행 경로에 대한 궤적 기반 행동 분석을 수행하여 차량의 모드를 수동 주행 모드에서 자율 주행 모드로 전환할 지 여부를 판단하는 상기 학습 방법 및 상기 학습 장치 그리고 이를 이용하여 테스팅 방법 및 테스팅 장치에 관한 것이다.
자율 주행에서, 모드 전환은 중요한 이슈이다. 이는, 운전자가 수동으로 운전하는 동안 위험한 상황에 빠지는 경우, 자동으로 자율 주행 모드로 차량의 모드가 변경될 필요가 있기 때문이다. 하지만, 지금까지의 자율 주행 분야에서의 연구는 주로 어떻게 차량이 잘 주행되는지에 치중되어 있었고, 이와 같은 모드 전환이 어떻게 효율적으로 이루어질 수 있는지에 대해서는 연구가 많이 이루어지지 않고 있다. 또한, 일반적인 경우에는 차량의 모드 전환이 수동으로 이루어지기 때문에, 운전자가 위험하게 운전하여 자기 자신의 차량뿐만 아니라 주변 차량을 위험에 빠뜨리더라도 차량이 자율 주행 모드로 주행될 수 없는 문제가 있다.
본 발명은 상술한 문제점을 해결하는 것을 목적으로 한다.
본 발명은 운전자의 최근 주행 경로를 분석하여 충돌 확률을 계산하기 위한 학습 방법을 제공하는 것을 다른 목적으로 한다.
본 발명은 운전자의 최근 주행 경로를 분석하여 충돌 확률을 계산하고, 이를 참조하여 상기 운전자가 위험하게 운전하는지 여부를 판단하기 위한 학습 방법을 제공하는 것을 또 다른 목적으로 한다.
본 발명은 운전자가 위험하게 운전하는 경우 차량의 모드를 수동 주행 모드에서 자율 주행 모드로 전환하는 방법을 제공함으로써 도로 상황을 개선하는 것을 또 다른 목적으로 한다.
상기한 바와 같은 본 발명의 목적을 달성하고, 후술하는 본 발명의 특징적인 효과를 실현하기 위한 본 발명의 특징적인 구성은 하기와 같다.
본 발명의 일 태양에 따르면, 운전자의 최근 주행 경로를 이에 대응하는 시간 범위의 주변 상황과 관련하여 분석함으로써, 자율 주행이 가능한 차량의 주행 모드 전환이 적절한지 여부를 판단하기 위해 이용될 충돌 확률을 계산하는 학습 방법에 있어서, (a) 학습 장치가, (i) 제1 시점 내지 제T 시점을 포함하는 검증용 대상 시간 범위 내 (i-1) 적어도 하나의 대상 차량에 대한 적어도 하나의 대상 모션 정보 및 (i-2) 상기 대상 차량으로부터 임계 거리 이하에 위치한 하나 이상의 주변 물체 중 적어도 일부에 대한 하나 이상의 주변 모션 정보 중에서 적어도 일부를 포함하는 적어도 하나의 검증용 상황 정보에 대응하는 적어도 하나의 상태 벡터, 및 (ii) 상기 검증용 대상 시간 범위 내에 상기 대상 차량이 주행한 적어도 하나의 주행 경로에 대한 적어도 하나의 검증용 경로 정보에 대응하는 적어도 하나의 궤적 벡터가 획득되면, (i) 상태 네트워크로 하여금, 상기 상태 벡터에 적어도 하나의 제1 뉴럴 네트워크 연산을 가하여 적어도 하나의 상태 특징 맵을 생성하도록 하는 프로세스 및 (ii) 궤적 네트워크로 하여금, 상기 궤적 벡터에 적어도 하나의 제2 뉴럴 네트워크 연산을 가하여 적어도 하나의 궤적 특징 맵을 생성하도록 하는 프로세스를 수행하는 단계; (b) 상기 학습 장치가, 상기 상태 특징 맵 및 상기 궤적 특징 맵에 대응하는 적어도 하나의 컨캐터네이팅(concatenating)된 특징 맵이 획득되면, 안전성 네트워크로 하여금, 상기 컨캐터네이팅된 특징 맵에 적어도 하나의 제3 뉴럴 네트워크 연산을 가하여, 상기 검증용 상황 정보에 의해 규정되는 상황에 관한 상기 검증용 경로 정보에 대응하는 상기 주행 경로에 의한 적어도 하나의 사고가 발생할 것으로 예측되는 확률인 적어도 하나의 예측 충돌 확률을 산출하도록 하는 단계; 및 (c) 상기 학습 장치가, 로스 레이어로 하여금, 상기 예측 충돌 확률 및 기획득된 적어도 하나의 GT(Ground Truth) 충돌 확률을 참조하여 적어도 하나의 로스를 생성하도록 하고, 이를 이용해 백프로퍼게이션(backpropagation)을 수행하도록 함으로써 상기 안전성 네트워크, 상기 궤적 네트워크 및 상기 상태 네트워크의 파라미터 중 적어도 일부를 학습하는 단계;를 포함하는 것을 특징으로 하는 방법이 제공된다.
일 실시예에서, 상기 (a) 단계에서, 상기 학습 장치가, (i) 상기 상태 네트워크의 적어도 하나의 제1 컨벌루션 레이어로 하여금 상기 상태 벡터에 적어도 하나의 제1 컨벌루션 연산을 가하여 적어도 하나의 제(1-1) 특징 맵을 생성하도록 하고, (ii) 상기 상태 네트워크의 적어도 하나의 제1 풀링 레이어로 하여금 상기 제(1-1) 특징 맵에 적어도 하나의 제1 풀링 연산을 가하여 적어도 하나의 제(1-2) 특징 맵을 생성하도록 하며, (iii) 적어도 하나의 제1 FC(Fully-Connected) 레이어로 하여금 상기 제(1-2) 특징 맵에 적어도 하나의 제1 FC 연산을 가하여 상기 상태 특징 맵을 생성하도록 한다.
일 실시예에서, 상기 (a) 단계에서, 상기 학습 장치가, (i) 상기 궤적 네트워크의 적어도 하나의 제2 컨벌루션 레이어로 하여금 상기 궤적 벡터에 적어도 하나의 제2 컨벌루션 연산을 가하여 적어도 하나의 제(2-1) 특징 맵을 생성하도록 하고, (ii) 상기 궤적 네트워크의 적어도 하나의 제2 풀링 레이어로 하여금 상기 제(2-1) 특징 맵에 적어도 하나의 제2 풀링 연산을 가하여 적어도 하나의 제(2-2) 특징 맵을 생성하도록 하며, (iii) 적어도 하나의 제2 FC 레이어로 하여금 상기 제(2-2) 특징 맵에 적어도 하나의 제2 FC 연산을 가하여 상기 궤적 특징 맵을 생성하도록 한다.
일 실시예에서, 상기 (b) 단계에서, 상기 학습 장치가, (i) 적어도 하나의 컨캐터네이팅 레이어로 하여금 상기 상태 특징 맵 및 상기 궤적 특징 맵을 컨캐터네이팅하여 상기 컨캐터네이팅된 특징 맵을 생성하도록 하고, (ii) 상기 안전성 네트워크의 적어도 하나의 제3 컨벌루션 레이어로 하여금 상기 컨캐터네이팅된 특징 맵에 적어도 하나의 제3 컨벌루션 연산을 가하여 적어도 하나의 제(3-1) 특징 맵을 생성하도록 하며, (iii) 상기 안전성 네트워크의 적어도 하나의 제3 풀링 레이어로 하여금 상기 제(3-1) 특징 맵에 적어도 하나의 제3 풀링 연산을 가하여 적어도 하나의 제(3-2) 특징 맵을 생성하도록 하고, (iv) 적어도 하나의 제3 FC 레이어로 하여금 상기 제(3-2) 특징 맵에 적어도 하나의 제3 FC 연산을 가하여 상기 예측 충돌 확률을 산출하도록 한다.
일 실시예에서, 상기 (a) 단계 이전에, (a0) 상기 학습 장치가, 상기 대상 차량과 연동된 적어도 하나의 기지국 서버와 통신하여, (i) 상기 기지국 서버로부터 획득된, (i-1) 상기 대상 차량에 대한 적어도 하나의 대상 위치 정보, (i-2) 상기 대상 차량에 대한 적어도 하나의 대상 속도 정보, (i-3) 상기 주변 물체 중 주변 차량의 적어도 일부에 대한 적어도 하나의 주변 위치 정보 및 (i-4) 상기 검증용 대상 시간 범위에 대응하는, 상기 주변 차량의 적어도 일부에 대한 적어도 하나의 주변 속도 정보를 포함하는 상기 검증용 상황 정보를 이용하여, 상기 상태 벡터를 생성하는 프로세스, (ii) 상기 기지국 서버로부터 획득된, 검증용 영역 맵 상에서의 상기 검증용 대상 시간 범위 동안 상기 대상 차량의 상기 주행 경로에 대응하는 상기 검증용 경로 정보를 이용하여 상기 궤적 벡터를 생성하는 프로세스, 및 (iii) 상기 기지국 서버로부터 획득된, 제(T+1) 시점 내지 제(T+K) 시점 - K는 임의의 정수임 - 을 포함하는 주의 시간 범위 내에 상기 대상 차량에 적어도 하나의 사고가 일어났는지 여부에 대한 사고 정보를 이용하여, 상기 GT 충돌 확률을 획득하는 프로세스를 수행하는 단계;를 더 포함한다.
일 실시예에서, 상기 (a) 단계 이전에, (a1) 상기 학습 장치가, (i) 상기 검증용 대상 시간 범위에 대응하는 상기 검증용 상황 정보 - 상기 검증용 상황 정보는, (1) 상기 대상 차량에 대한 적어도 하나의 주행 기록 정보를 참조하여 획득된, (1-1) 상기 대상 차량에 대한 적어도 하나의 대상 위치 정보와 (1-2) 상기 대상 차량에 대한 적어도 하나의 대상 속도 정보, 및 (2) 상기 대상 차량의 적어도 하나의 대상 카메라를 통해 상기 검증용 대상 시간 범위 동안에 기록된 적어도 하나의 주행 영상을 참조하여 획득된, (2-1) 상기 주변 물체 중 주변 차량의 적어도 일부에 대한 적어도 하나의 주변 위치 정보와 (2-2) 상기 주변 차량의 적어도 일부에 대한 적어도 하나의 주변 속도 정보를 포함함 - 를 이용하여 상기 상태 벡터를 생성하는 프로세스, (ii) 상기 주행 기록 정보를 참조로 하여 획득된, 검증용 영역 맵 상에서의 상기 검증용 대상 시간 범위 동안 상기 대상 차량의 상기 주행 경로에 대응하는 상기 검증용 경로 정보를 참조하여, 상기 궤적 벡터를 생성하는 프로세스, 및 (iii) 상기 주행 기록 정보를 참조로 하여 획득된, 제(T+1) 시점 내지 제(T+K) 시점 - K는 임의의 정수임 - 을 포함하는 주의 시간 범위 내에서 상기 대상 차량에 적어도 하나의 사고가 일어났는지 여부에 대한 사고 정보를 이용하여, 상기 GT 충돌 확률을 획득하는 프로세스를 수행하는 단계;를 더 포함한다.
일 실시예에서, 상기 (a) 단계 이전에, (a2) 상기 학습 장치가, (i) 상기 검증용 대상 시간 범위에 대응하는 상기 검증용 상황 정보 - 상기 검증용 상황 정보는, (1) 상기 대상 차량에 대한 적어도 하나의 주행 기록 정보를 참조하여 획득된, (1-1) 상기 대상 차량에 대한 적어도 하나의 대상 위치 정보와 (1-2) 상기 대상 차량에 대한 적어도 하나의 대상 속도 정보, 및 (2) 상기 주변 차량 중 적어도 일부와 통신하기 위해 이용될, 상기 대상 차량에 설치된 적어도 하나의 V2X(vehicle to everything) 통신 모듈을 이용하여 획득된, (2-1) 상기 주변 물체 중 주변 차량의 적어도 일부에 대한 적어도 하나의 주변 위치 정보와 (2-2) 상기 주변 차량의 적어도 일부에 대한 적어도 하나의 주변 속도 정보를 포함함 - 를 이용하여 상기 상태 벡터를 생성하는 프로세스, (ii) 상기 주행 기록 정보를 참조로 하여 획득된, 검증용 영역 맵 상에서의 상기 검증용 대상 시간 범위 동안 상기 대상 차량의 상기 주행 경로에 대응하는 상기 검증용 경로 정보를 이용하여, 상기 궤적 벡터를 생성하는 프로세스, 및 (iii) 상기 주행 기록 정보를 참조로 하여 획득된, 제(T+1) 시점 내지 제(T+K) 시점 - K는 임의의 정수임 - 을 포함하는 주의 시간 범위 내에서 상기 대상 차량에 적어도 하나의 사고가 일어났는지 여부에 대한 사고 정보를 이용하여, 상기 GT 충돌 확률을 획득하는 프로세스를 수행하는 단계;를 더 포함한다.
일 실시예에서, 상기 (a) 단계 이전에, (a3) 상기 학습 장치가, 상기 대상 차량 및 상기 주변 물체를 포함하는 적어도 하나의 가상 세계를 시뮬레이팅(simulating)하는 적어도 하나의 시뮬레이팅 장치와 통신하여, (i) 상기 시뮬레이팅 장치로부터 획득된, (i-1) 상기 대상 차량에 대한 적어도 하나의 대상 위치 정보, (i-2) 상기 대상 차량에 대한 적어도 하나의 대상 속도 정보, (i-3) 상기 주변 물체 중 주변 차량의 적어도 일부에 대한 적어도 하나의 주변 위치 정보, 및 (i-4) 상기 검증용 대상 시간 범위에 대응하는 상기 주변 차량의 적어도 일부에 대한 하나 이상의 주변 속도 정보를 포함하는 상기 검증용 상황 정보를 이용하여, 상기 상태 벡터를 생성하는 프로세스, (ii) 상기 시뮬레이팅 장치로부터 획득된, 검증용 영역 맵 상에서의 상기 검증용 대상 시간 범위 동안 상기 대상 차량의 상기 주행 경로에 대응하는 상기 검증용 경로 정보를 이용하여, 상기 궤적 벡터를 생성하는 프로세스, 및 (iii) 상기 시뮬레이팅 장치로부터 획득된, 제(T+1) 시점 내지 제(T+K) 시점 - K는 임의의 정수임 - 을 포함하는 주의 시간 범위 내에 상기 대상 차량에 적어도 하나의 사고가 일어났는지 여부에 대한 적어도 하나의 사고 정보를 이용하여, 상기 GT 충돌 확률을 획득하는 프로세스를 수행하는 단계;를 더 포함한다.
일 실시예에서, 상기 대상 모션 정보는, (i-1) 상기 대상 차량에 대한 적어도 하나의 대상 위치 정보, (i-2) 상기 대상 차량에 대한 적어도 하나의 대상 속도 정보 및 (i-3) 상기 대상 차량에 대한 적어도 하나의 대상 가속 정보 중 적어도 일부를 포함하고, 상기 주변 모션 정보는, (ii-1) 상기 주변 물체 중 적어도 일부에 대한 적어도 하나의 주변 위치 정보, (ii-2) 상기 주변 물체 중 적어도 일부에 대한 적어도 하나의 주변 속도 정보 및 (ii-3) 상기 주변 물체 중 적어도 일부에 대한 적어도 하나의 주변 가속 정보 중 적어도 일부를 포함한다.
본 발명의 다른 태양에 따르면, 운전자의 최근 주행 경로를 이에 대응하는 시간 범위의 주변 상황과 관련하여 분석함으로써, 자율 주행이 가능한 차량의 주행 모드 전환이 적절한지 여부를 판단하기 위해 이용될 충돌 확률을 계산하는 테스팅 방법에 있어서, (a) (1) 학습 장치가, (i) 제1 시점 내지 제T 시점을 포함하는 학습용 검증용 대상 시간 범위 내 (i-1) 적어도 하나의 학습용 대상 차량에 대한 적어도 하나의 학습용 대상 모션 정보 및 (i-2) 상기 학습용 대상 차량으로부터 임계 거리 이하에 위치한 하나 이상의 학습용 주변 물체 중 적어도 일부에 대한 하나 이상의 학습용 주변 모션 정보 중에서 적어도 일부를 포함하는 적어도 하나의 학습용 검증용 상황 정보에 대응하는 적어도 하나의 학습용 상태 벡터, 및 (ii) 상기 학습용 검증용 대상 시간 범위 내에 상기 학습용 대상 차량이 주행한 적어도 하나의 학습용 주행 경로에 대한 적어도 하나의 학습용 검증용 경로 정보에 대응하는 적어도 하나의 학습용 궤적 벡터가 획득되면, (i) 상태 네트워크로 하여금, 상기 학습용 상태 벡터에 적어도 하나의 제1 뉴럴 네트워크 연산을 가하여 적어도 하나의 학습용 상태 특징 맵을 생성하도록 하는 프로세스 및 (ii) 궤적 네트워크로 하여금, 상기 학습용 궤적 벡터에 적어도 하나의 제2 뉴럴 네트워크 연산을 가하여 적어도 하나의 학습용 궤적 특징 맵을 생성하도록 하는 프로세스를 수행하고, (2) 상기 학습 장치가, 상기 학습용 상태 특징 맵 및 상기 학습용 궤적 특징 맵에 대응하는 적어도 하나의 학습용 컨캐터네이팅된 특징 맵이 획득되면, 안전성 네트워크로 하여금, 상기 학습용 컨캐터네이팅된 특징 맵에 적어도 하나의 제3 뉴럴 네트워크 연산을 가하여, 상기 학습용 검증용 상황 정보에 의해 규정되는 학습용 상황에 관한 상기 학습용 검증용 경로 정보에 대응하는 상기 학습용 주행 경로에 의한 적어도 하나의 학습용 사고가 발생할 것으로 예측되는 확률인 적어도 하나의 학습용 예측 충돌 확률을 산출하도록 하며, (3) 상기 학습 장치가, 로스 레이어로 하여금, 상기 학습용 예측 충돌 확률 및 기획득된 적어도 하나의 GT 충돌 확률을 참조하여 적어도 하나의 로스를 생성하도록 하고, 이를 이용해 백프로퍼게이션을 수행하도록 함으로써 상기 안전성 네트워크, 상기 궤적 네트워크 및 상기 상태 네트워크의 파라미터 중 적어도 일부를 학습한 상태에서, 테스팅 장치가, (i) 제1' 시점 내지 제T' 시점을 포함하는 테스트용 검증용 대상 시간 범위 내 (i-1) 적어도 하나의 테스트용 대상 차량에 대한 적어도 하나의 테스트용 대상 모션 정보 및 (i-2) 상기 테스트용 대상 차량으로부터 임계 거리 이하에 위치한 하나 이상의 테스트용 주변 물체 중 적어도 일부에 대한 하나 이상의 테스트용 주변 모션 정보 중에서 적어도 일부를 포함하는 적어도 하나의 테스트용 검증용 상황 정보에 대응하는 적어도 하나의 테스트용 상태 벡터, 및 (ii) 상기 테스트용 검증용 대상 시간 범위 내에 상기 테스트용 대상 차량이 주행한 적어도 하나의 테스트용 주행 경로에 대한 적어도 하나의 테스트용 검증용 경로 정보에 대응하는 적어도 하나의 테스트용 궤적 벡터가 획득되면, (i) 상기 상태 네트워크로 하여금, 상기 테스트용 상태 벡터에 상기 적어도 하나의 제1 뉴럴 네트워크 연산을 가하여 적어도 하나의 테스트용 상태 특징 맵을 생성하도록 하는 프로세스 및 (ii) 상기 궤적 네트워크로 하여금, 상기 테스트용 궤적 벡터에 상기 적어도 하나의 제2 뉴럴 네트워크 연산을 가하여 적어도 하나의 테스트용 궤적 특징 맵을 생성하도록 하는 프로세스를 수행하는 단계; 및 (b) 상기 테스팅 장치가, 상기 테스트용 상태 특징 맵 및 상기 테스트용 궤적 특징 맵에 대응하는 적어도 하나의 테스트용 컨캐터네이팅된 특징 맵이 획득되면, 상기 안전성 네트워크로 하여금, 상기 테스트용 컨캐터네이팅된 특징 맵에 상기 적어도 하나의 제3 뉴럴 네트워크 연산을 가하여, 상기 테스트용 검증용 상황 정보에 의해 규정되는 테스트용 상황에 관한 상기 테스트용 검증용 경로 정보에 대응하는 상기 테스트용 주행 경로에 의한 적어도 하나의 테스트용 사고가 발생할 것으로 예측되는 확률인 적어도 하나의 테스트용 예측 충돌 확률을 산출하도록 하는 단계;를 포함하는 것을 특징으로 하는 테스팅 방법이 제공된다.
일 실시예에서, 상기 (a) 단계에서, 상기 테스팅 장치가, 상기 테스트용 대상 차량과 연동된 적어도 하나의 테스트용 기지국 서버와 통신하여, (i) 상기 테스트용 기지국 서버로부터 획득된, (i-1) 상기 테스트용 대상 차량에 대한 적어도 하나의 테스트용 대상 위치 정보, (i-2) 상기 테스트용 대상 차량에 대한 적어도 하나의 테스트용 대상 속도 정보, (i-3) 상기 테스트용 주변 물체 중 테스트용 주변 차량의 적어도 일부에 대한 적어도 하나의 테스트용 주변 위치 정보 및 (i-4) 상기 테스트용 검증용 대상 시간 범위에 대응하는, 상기 테스트용 주변 차량의 적어도 일부에 대한 적어도 하나의 테스트용 주변 속도 정보를 포함하는 상기 테스트용 검증용 상황 정보를 이용하여, 상기 테스트용 상태 벡터를 생성하는 프로세스, 및 (ii) 상기 테스트용 기지국 서버로부터 획득된, 테스트용 검증용 영역 맵 상에서의 상기 테스트용 검증용 대상 시간 범위 동안 상기 테스트용 대상 차량의 상기 테스트용 주행 경로에 대응하는 상기 테스트용 검증용 경로 정보를 참조하여 상기 테스트용 궤적 벡터를 생성하는 프로세스를 수행한다.
일 실시예에서, 상기 (a) 단계에서, 상기 테스팅 장치가, (i) 상기 테스트용 검증용 대상 시간 범위에 대응하는 상기 테스트용 검증용 상황 정보 - 상기 테스트용 검증용 상황 정보는, (1) 상기 테스트용 대상 차량에 포함된 테스트용 GPS 및 테스트용 속도 제어 유닛 중 적어도 하나로부터 획득된, (1-1) 상기 테스트용 대상 차량의 적어도 하나의 테스트용 대상 위치 정보와 (1-2) 상기 테스트용 대상 차량의 적어도 하나의 테스트용 대상 속도 정보, 및 (2) 상기 테스트용 대상 차량의 적어도 하나의 테스트용 대상 카메라를 통해 상기 테스트용 검증용 대상 시간 범위 동안 기록된 적어도 하나의 테스트용 주행 영상을 참조하여 획득된, (2-1) 상기 테스트용 주변 물체 중 테스트용 주변 차량의 적어도 일부에 대한 적어도 하나의 테스트용 주변 위치 정보와 (2-2) 상기 테스트용 주변 물체 중 상기 테스트용 주변 차량의 적어도 일부에 대한 적어도 하나의 테스트용 주변 속도 정보를 포함함 - 를 이용하여 상기 테스트용 상태 벡터를 생성하는 프로세스, 및 (ii) 상기 테스트용 대상 차량에 포함된 테스트용 플래닝(planning) 유닛으로부터 획득된, 테스트용 검증용 영역 맵 상에서의 상기 테스트용 검증용 대상 시간 범위 동안 상기 테스트용 대상 차량의 상기 테스트용 주행 경로에 대응하는 상기 테스트용 검증용 경로 정보를 참조하여, 상기 테스트용 궤적 벡터를 생성하는 프로세스를 수행한다.
일 실시예에서, 상기 (a) 단계에서, 상기 테스팅 장치가, (i) 상기 테스트용 검증용 대상 시간 범위에 대응하는 상기 테스트용 검증용 상황 정보 - 상기 테스트용 검증용 상황 정보는, (1) 상기 테스트용 대상 차량에 포함된 테스트용 GPS 및 테스트용 속도 제어 유닛 중 적어도 하나로부터 획득된, (1-1) 상기 테스트용 대상 차량의 적어도 하나의 테스트용 대상 위치 정보와 (1-2) 상기 테스트용 대상 차량의 적어도 하나의 테스트용 대상 속도 정보, 및 (2) 상기 테스트용 대상 차량에 포함된 테스트용 V2X 통신 모듈을 이용하여 상기 테스트용 검증용 대상 시간 범위 동안 획득된, (2-1) 상기 테스트용 주변 물체 중 테스트용 주변 차량의 적어도 일부에 대한 적어도 하나의 테스트용 주변 위치 정보와 (2-2) 상기 테스트용 주변 물체 중 테스트용 주변 차량의 적어도 일부에 대한 적어도 하나의 테스트용 주변 속도 정보를 포함함 - 를 이용하여 상기 테스트용 상태 벡터를 생성하는 프로세스, 및 (ii) 상기 테스트용 대상 차량에 포함된 테스트용 플래닝 유닛으로부터 획득된, 테스트용 검증용 영역 맵 상에서의 상기 테스트용 검증용 대상 시간 범위 동안 상기 테스트용 대상 차량의 상기 테스트용 주행 경로에 대응하는 상기 테스트용 검증용 경로 정보를 참조하여, 상기 테스트용 궤적 벡터를 생성하는 프로세스를 수행한다.
일 실시예에서, (c) 상기 테스팅 장치가, 상기 테스트용 예측 충돌 확률이 임계치보다 크며, 상기 테스트용 대상 차량의 주행 모드가 수동 주행 모드인 경우, 상기 테스트용 대상 차량으로 하여금 상기 주행 모드를 자율 주행 모드로 변경하도록 하는 단계;를 더 포함한다.
본 발명의 또 다른 태양에 따르면, 운전자의 최근 주행 경로를 이에 대응하는 시간 범위의 주변 상황과 관련하여 분석함으로써, 자율 주행이 가능한 차량의 주행 모드 전환이 적절한지 여부를 판단하기 위해 이용될 충돌 확률을 계산하는 학습 장치에 있어서, 인스트럭션을 저장하는 적어도 하나의 메모리; 및 (I) (i) 제1 시점 내지 제T 시점을 포함하는 검증용 대상 시간 범위 내 (i-1) 적어도 하나의 대상 차량에 대한 적어도 하나의 대상 모션 정보 및 (i-2) 상기 대상 차량으로부터 임계 거리 이하에 위치한 하나 이상의 주변 물체 중 적어도 일부에 대한 하나 이상의 주변 모션 정보 중에서 적어도 일부를 포함하는 적어도 하나의 검증용 상황 정보에 대응하는 적어도 하나의 상태 벡터, 및 (ii) 상기 검증용 대상 시간 범위 내에 상기 대상 차량이 주행한 적어도 하나의 주행 경로에 대한 적어도 하나의 검증용 경로 정보에 대응하는 적어도 하나의 궤적 벡터가 획득되면, (i) 상태 네트워크로 하여금, 상기 상태 벡터에 적어도 하나의 제1 뉴럴 네트워크 연산을 가하여 적어도 하나의 상태 특징 맵을 생성하도록 하는 프로세스 및 (ii) 궤적 네트워크로 하여금, 상기 궤적 벡터에 적어도 하나의 제2 뉴럴 네트워크 연산을 가하여 적어도 하나의 궤적 특징 맵을 생성하도록 하는 프로세스를 수행하는 프로세스, (II) 상기 상태 특징 맵 및 상기 궤적 특징 맵에 대응하는 적어도 하나의 컨캐터네이팅(concatenating)된 특징 맵이 획득되면, 안전성 네트워크로 하여금, 상기 컨캐터네이팅된 특징 맵에 적어도 하나의 제3 뉴럴 네트워크 연산을 가하여, 상기 검증용 상황 정보에 의해 규정되는 상황에 관한 상기 검증용 경로 정보에 대응하는 상기 주행 경로에 의한 적어도 하나의 사고가 발생할 것으로 예측되는 확률인 적어도 하나의 예측 충돌 확률을 산출하도록 하는 프로세스, 및 (III) 로스 레이어로 하여금, 상기 예측 충돌 확률 및 기획득된 적어도 하나의 GT(Ground Truth) 충돌 확률을 참조하여 적어도 하나의 로스를 생성하도록 하고, 이를 이용해 백프로퍼게이션(backpropagation)을 수행하도록 함으로써 상기 안전성 네트워크, 상기 궤적 네트워크 및 상기 상태 네트워크의 파라미터 중 적어도 일부를 학습하는 프로세스를 수행하기 위한 상기 인스트럭션을 실행하도록 구성된 적어도 하나의 프로세서;를 포함하는 것을 특징으로 하는 학습 장치가 제공된다.
일 실시예에서, 상기 (I) 프로세스에서, 상기 프로세서가, (i) 상기 상태 네트워크의 적어도 하나의 제1 컨벌루션 레이어로 하여금 상기 상태 벡터에 적어도 하나의 제1 컨벌루션 연산을 가하여 적어도 하나의 제(1-1) 특징 맵을 생성하도록 하고, (ii) 상기 상태 네트워크의 적어도 하나의 제1 풀링 레이어로 하여금 상기 제(1-1) 특징 맵에 적어도 하나의 제1 풀링 연산을 가하여 적어도 하나의 제(1-2) 특징 맵을 생성하도록 하며, (iii) 적어도 하나의 제1 FC(Fully-Connected) 레이어로 하여금 상기 제(1-2) 특징 맵에 적어도 하나의 제1 FC 연산을 가하여 상기 상태 특징 맵을 생성하도록 한다.
일 실시예에서, 상기 (I) 프로세스에서, 상기 프로세서가, (i) 상기 궤적 네트워크의 적어도 하나의 제2 컨벌루션 레이어로 하여금 상기 궤적 벡터에 적어도 하나의 제2 컨벌루션 연산을 가하여 적어도 하나의 제(2-1) 특징 맵을 생성하도록 하고, (ii) 상기 궤적 네트워크의 적어도 하나의 제2 풀링 레이어로 하여금 상기 제(2-1) 특징 맵에 적어도 하나의 제2 풀링 연산을 가하여 적어도 하나의 제(2-2) 특징 맵을 생성하도록 하며, (iii) 적어도 하나의 제2 FC 레이어로 하여금 상기 제(2-2) 특징 맵에 적어도 하나의 제2 FC 연산을 가하여 상기 궤적 특징 맵을 생성하도록 한다.
일 실시예에서, 상기 (II) 프로세스에서, 상기 프로세서가, (i) 적어도 하나의 컨캐터네이팅 레이어로 하여금 상기 상태 특징 맵 및 상기 궤적 특징 맵을 컨캐터네이팅하여 상기 컨캐터네이팅된 특징 맵을 생성하도록 하고, (ii) 상기 안전성 네트워크의 적어도 하나의 제3 컨벌루션 레이어로 하여금 상기 컨캐터네이팅된 특징 맵에 적어도 하나의 제3 컨벌루션 연산을 가하여 적어도 하나의 제(3-1) 특징 맵을 생성하도록 하며, (iii) 상기 안전성 네트워크의 적어도 하나의 제3 풀링 레이어로 하여금 상기 제(3-1) 특징 맵에 적어도 하나의 제3 풀링 연산을 가하여 적어도 하나의 제(3-2) 특징 맵을 생성하도록 하고, (iv) 적어도 하나의 제3 FC 레이어로 하여금 상기 제(3-2) 특징 맵에 적어도 하나의 제3 FC 연산을 가하여 상기 예측 충돌 확률을 산출하도록 한다.
일 실시예에서, 상기 (I) 프로세스 이전에, 상기 프로세서가, (I0) 상기 대상 차량과 연동된 적어도 하나의 기지국 서버와 통신하여, (i) 상기 기지국 서버로부터 획득된, (i-1) 상기 대상 차량에 대한 적어도 하나의 대상 위치 정보, (i-2) 상기 대상 차량에 대한 적어도 하나의 대상 속도 정보, (i-3) 상기 주변 물체 중 주변 차량의 적어도 일부에 대한 적어도 하나의 주변 위치 정보 및 (i-4) 상기 검증용 대상 시간 범위에 대응하는, 상기 주변 차량의 적어도 일부에 대한 적어도 하나의 주변 속도 정보를 포함하는 상기 검증용 상황 정보를 이용하여, 상기 상태 벡터를 생성하는 프로세스, (ii) 상기 기지국 서버로부터 획득된, 검증용 영역 맵 상에서의 상기 검증용 대상 시간 범위 동안 상기 대상 차량의 상기 주행 경로에 대응하는 상기 검증용 경로 정보를 이용하여 상기 궤적 벡터를 생성하는 프로세스, 및 (iii) 상기 기지국 서버로부터 획득된, 제(T+1) 시점 내지 제(T+K) 시점 - K는 임의의 정수임 - 을 포함하는 주의 시간 범위 내에 상기 대상 차량에 적어도 하나의 사고가 일어났는지 여부에 대한 사고 정보를 이용하여, 상기 GT 충돌 확률을 획득하는 프로세스를 수행하는 프로세스를 더 수행한다.
일 실시예에서, 상기 (I) 프로세스 이전에, 상기 프로세서가, (I1) (i) 상기 검증용 대상 시간 범위에 대응하는 상기 검증용 상황 정보 - 상기 검증용 상황 정보는, (1) 상기 대상 차량에 대한 적어도 하나의 주행 기록 정보를 참조하여 획득된, (1-1) 상기 대상 차량에 대한 적어도 하나의 대상 위치 정보와 (1-2) 상기 대상 차량에 대한 적어도 하나의 대상 속도 정보, 및 (2) 상기 대상 차량의 적어도 하나의 대상 카메라를 통해 상기 검증용 대상 시간 범위 동안에 기록된 적어도 하나의 주행 영상을 참조하여 획득된, (2-1) 상기 주변 물체 중 주변 차량의 적어도 일부에 대한 적어도 하나의 주변 위치 정보와 (2-2) 상기 주변 차량의 적어도 일부에 대한 적어도 하나의 주변 속도 정보를 포함함 - 를 이용하여 상기 상태 벡터를 생성하는 프로세스, (ii) 상기 주행 기록 정보를 참조로 하여 획득된, 검증용 영역 맵 상에서의 상기 검증용 대상 시간 범위 동안 상기 대상 차량의 상기 주행 경로에 대응하는 상기 검증용 경로 정보를 참조하여, 상기 궤적 벡터를 생성하는 프로세스, 및 (iii) 상기 주행 기록 정보를 참조로 하여 획득된, 제(T+1) 시점 내지 제(T+K) 시점 - K는 임의의 정수임 - 을 포함하는 주의 시간 범위 내에서 상기 대상 차량에 적어도 하나의 사고가 일어났는지 여부에 대한 사고 정보를 이용하여, 상기 GT 충돌 확률을 획득하는 프로세스를 수행하는 프로세스를 더 수행한다.
일 실시예에서, 상기 (I) 프로세스 이전에, 상기 프로세서가, (I2) (i) 상기 검증용 대상 시간 범위에 대응하는 상기 검증용 상황 정보 - 상기 검증용 상황 정보는, (1) 상기 대상 차량에 대한 적어도 하나의 주행 기록 정보를 참조하여 획득된, (1-1) 상기 대상 차량에 대한 적어도 하나의 대상 위치 정보와 (1-2) 상기 대상 차량에 대한 적어도 하나의 대상 속도 정보, 및 (2) 상기 주변 차량 중 적어도 일부와 통신하기 위해 이용될, 상기 대상 차량에 설치된 적어도 하나의 V2X(vehicle to everything) 통신 모듈을 이용하여 획득된, (2-1) 상기 주변 물체 중 주변 차량의 적어도 일부에 대한 적어도 하나의 주변 위치 정보와 (2-2) 상기 주변 차량의 적어도 일부에 대한 적어도 하나의 주변 속도 정보를 포함함 - 를 이용하여 상기 상태 벡터를 생성하는 프로세스, (ii) 상기 주행 기록 정보를 참조로 하여 획득된, 검증용 영역 맵 상에서의 상기 검증용 대상 시간 범위 동안 상기 대상 차량의 상기 주행 경로에 대응하는 상기 검증용 경로 정보를 이용하여, 상기 궤적 벡터를 생성하는 프로세스, 및 (iii) 상기 주행 기록 정보를 참조로 하여 획득된, 제(T+1) 시점 내지 제(T+K) 시점 - K는 임의의 정수임 - 을 포함하는 주의 시간 범위 내에서 상기 대상 차량에 적어도 하나의 사고가 일어났는지 여부에 대한 사고 정보를 이용하여, 상기 GT 충돌 확률을 획득하는 프로세스를 수행하는 프로세스를 더 수행한다.
일 실시예에서, 상기 (I) 프로세스 이전에, 상기 프로세서가, (I3) 상기 대상 차량 및 상기 주변 물체를 포함하는 적어도 하나의 가상 세계를 시뮬레이팅(simulating)하는 적어도 하나의 시뮬레이팅 장치와 통신하여, (i) 상기 시뮬레이팅 장치로부터 획득된, (i-1) 상기 대상 차량에 대한 적어도 하나의 대상 위치 정보, (i-2) 상기 대상 차량에 대한 적어도 하나의 대상 속도 정보, (i-3) 상기 주변 물체 중 주변 차량의 적어도 일부에 대한 적어도 하나의 주변 위치 정보, 및 (i-4) 상기 검증용 대상 시간 범위에 대응하는 상기 주변 차량의 적어도 일부에 대한 하나 이상의 주변 속도 정보를 포함하는 상기 검증용 상황 정보를 이용하여 상기 상태 벡터를 생성하는 프로세스, (ii) 상기 시뮬레이팅 장치로부터 획득된, 검증용 영역 맵 상에서의 상기 검증용 대상 시간 범위 동안 상기 대상 차량의 상기 주행 경로에 대응하는 상기 검증용 경로 정보를 이용하여, 상기 궤적 벡터를 생성하는 프로세스, 및 (iii) 상기 시뮬레이팅 장치로부터 획득된, 제(T+1) 시점 내지 제(T+K) 시점 - K는 임의의 정수임 - 을 포함하는 주의 시간 범위 내에 상기 대상 차량에 적어도 하나의 사고가 일어났는지 여부에 대한 적어도 하나의 사고 정보를 이용하여, 상기 GT 충돌 확률을 획득하는 프로세스를 수행하는 프로세스를 더 수행한다.
일 실시예에서, 상기 대상 모션 정보는, (i-1) 상기 대상 차량에 대한 적어도 하나의 대상 위치 정보, (i-2) 상기 대상 차량에 대한 적어도 하나의 대상 속도 정보 및 (i-3) 상기 대상 차량에 대한 적어도 하나의 대상 가속 정보 중 적어도 일부를 포함하고, 상기 주변 모션 정보는, (ii-1) 상기 주변 물체 중 적어도 일부에 대한 적어도 하나의 주변 위치 정보, (ii-2) 상기 주변 물체 중 적어도 일부에 대한 적어도 하나의 주변 속도 정보 및 (ii-3) 상기 주변 물체 중 적어도 일부에 대한 적어도 하나의 주변 가속 정보 중 적어도 일부를 포함한다.
본 발명의 또 다른 태양에 따르면, 운전자의 최근 주행 경로를 이에 대응하는 시간 범위의 주변 상황과 관련하여 분석함으로써, 자율 주행이 가능한 차량의 주행 모드 전환이 적절한지 여부를 판단하기 위해 이용될 충돌 확률을 계산하는 테스팅 장치에 있어서, 인스트럭션을 저장하는 적어도 하나의 메모리; 및 (I) (1) 학습 장치가, (i) 제1 시점 내지 제T 시점을 포함하는 학습용 검증용 대상 시간 범위 내 (i-1) 적어도 하나의 학습용 대상 차량에 대한 적어도 하나의 학습용 대상 모션 정보 및 (i-2) 상기 학습용 대상 차량으로부터 임계 거리 이하에 위치한 하나 이상의 학습용 주변 물체 중 적어도 일부에 대한 하나 이상의 학습용 주변 모션 정보 중에서 적어도 일부를 포함하는 적어도 하나의 학습용 검증용 상황 정보에 대응하는 적어도 하나의 학습용 상태 벡터, 및 (ii) 상기 학습용 검증용 대상 시간 범위 내에 상기 학습용 대상 차량이 주행한 적어도 하나의 학습용 주행 경로에 대한 적어도 하나의 학습용 검증용 경로 정보에 대응하는 적어도 하나의 학습용 궤적 벡터가 획득되면, (i) 상태 네트워크로 하여금, 상기 학습용 상태 벡터에 적어도 하나의 제1 뉴럴 네트워크 연산을 가하여 적어도 하나의 학습용 상태 특징 맵을 생성하도록 하는 프로세스 및 (ii) 궤적 네트워크로 하여금, 상기 학습용 궤적 벡터에 적어도 하나의 제2 뉴럴 네트워크 연산을 가하여 적어도 하나의 학습용 궤적 특징 맵을 생성하도록 하는 프로세스를 수행하고, (2) 상기 학습 장치가, 상기 학습용 상태 특징 맵 및 상기 학습용 궤적 특징 맵에 대응하는 적어도 하나의 학습용 컨캐터네이팅된 특징 맵이 획득되면, 안전성 네트워크로 하여금, 상기 학습용 컨캐터네이팅된 특징 맵에 적어도 하나의 제3 뉴럴 네트워크 연산을 가하여, 상기 학습용 검증용 상황 정보에 의해 규정되는 학습용 상황에 관한 상기 학습용 검증용 경로 정보에 대응하는 상기 학습용 주행 경로에 의한 적어도 하나의 학습용 사고가 발생할 것으로 예측되는 확률인 적어도 하나의 학습용 예측 충돌 확률을 산출하도록 하며, (3) 상기 학습 장치가, 로스 레이어로 하여금, 상기 학습용 예측 충돌 확률 및 기획득된 적어도 하나의 GT 충돌 확률을 참조하여 적어도 하나의 로스를 생성하도록 하고, 이를 이용해 백프로퍼게이션을 수행하도록 함으로써 상기 안전성 네트워크, 상기 궤적 네트워크 및 상기 상태 네트워크의 파라미터 중 적어도 일부를 학습한 상태에서, (i) 제1' 시점 내지 제T' 시점을 포함하는 테스트용 검증용 대상 시간 범위 내 (i-1) 적어도 하나의 테스트용 대상 차량에 대한 적어도 하나의 테스트용 대상 모션 정보 및 (i-2) 상기 테스트용 대상 차량으로부터 임계 거리 이하에 위치한 하나 이상의 테스트용 주변 물체 중 적어도 일부에 대한 하나 이상의 테스트용 주변 모션 정보 중에서 적어도 일부를 포함하는 적어도 하나의 테스트용 검증용 상황 정보에 대응하는 적어도 하나의 테스트용 상태 벡터, 및 (ii) 상기 테스트용 검증용 대상 시간 범위 내에 상기 테스트용 대상 차량이 주행한 적어도 하나의 테스트용 주행 경로에 대한 적어도 하나의 테스트용 검증용 경로 정보에 대응하는 적어도 하나의 테스트용 궤적 벡터가 획득되면, (i) 상기 상태 네트워크로 하여금, 상기 테스트용 상태 벡터에 상기 적어도 하나의 제1 뉴럴 네트워크 연산을 가하여 적어도 하나의 테스트용 상태 특징 맵을 생성하도록 하는 프로세스 및 (ii) 상기 궤적 네트워크로 하여금, 상기 테스트용 궤적 벡터에 상기 적어도 하나의 제2 뉴럴 네트워크 연산을 가하여 적어도 하나의 테스트용 궤적 특징 맵을 생성하도록 하는 프로세스를 수행하는 프로세스, 및 (II) 상기 테스트용 상태 특징 맵 및 상기 테스트용 궤적 특징 맵에 대응하는 적어도 하나의 테스트용 컨캐터네이팅된 특징 맵이 획득되면, 상기 안전성 네트워크로 하여금, 상기 테스트용 컨캐터네이팅된 특징 맵에 상기 적어도 하나의 제3 뉴럴 네트워크 연산을 가하여, 상기 테스트용 검증용 상황 정보에 의해 규정되는 테스트용 상황에 관한 상기 테스트용 검증용 경로 정보에 대응하는 상기 테스트용 주행 경로에 의한 적어도 하나의 테스트용 사고가 발생할 것으로 예측되는 확률인 적어도 하나의 테스트용 예측 충돌 확률을 산출하도록 하는 프로세스를 수행하기 위한 상기 인스트럭션을 실행하도록 구성된 적어도 하나의 프로세서;를 포함하는 것을 특징으로 하는 테스팅 장치가 제공된다.
일 실시예에서, 상기 (I) 프로세스에서, 상기 프로세서가, 상기 테스트용 대상 차량과 연동된 적어도 하나의 테스트용 기지국 서버와 통신하여, (i) 상기 테스트용 기지국 서버로부터 획득된, (i-1) 상기 테스트용 대상 차량에 대한 적어도 하나의 테스트용 대상 위치 정보, (i-2) 상기 테스트용 대상 차량에 대한 적어도 하나의 테스트용 대상 속도 정보, (i-3) 상기 테스트용 주변 물체 중 테스트용 주변 차량의 적어도 일부에 대한 적어도 하나의 테스트용 주변 위치 정보 및 (i-4) 상기 테스트용 검증용 대상 시간 범위에 대응하는, 상기 테스트용 주변 차량의 적어도 일부에 대한 적어도 하나의 테스트용 주변 속도 정보를 포함하는 상기 테스트용 검증용 상황 정보를 이용하여, 상기 테스트용 상태 벡터를 생성하는 프로세스, 및 (ii) 상기 테스트용 기지국 서버로부터 획득된, 테스트용 검증용 영역 맵 상에서의 상기 테스트용 검증용 대상 시간 범위 동안 상기 테스트용 대상 차량의 상기 테스트용 주행 경로에 대응하는 상기 테스트용 검증용 경로 정보를 참조하여 상기 테스트용 궤적 벡터를 생성하는 프로세스를 수행한다.
일 실시예에서, 상기 (I) 프로세스에서, 상기 프로세서가, (i) 상기 테스트용 검증용 대상 시간 범위에 대응하는 상기 테스트용 검증용 상황 정보 - 상기 테스트용 검증용 상황 정보는, (1) 상기 테스트용 대상 차량에 포함된 테스트용 GPS 및 테스트용 속도 제어 유닛 중 적어도 하나로부터 획득된, (1-1) 상기 테스트용 대상 차량의 적어도 하나의 테스트용 대상 위치 정보와 (1-2) 상기 테스트용 대상 차량의 적어도 하나의 테스트용 대상 속도 정보, 및 (2) 상기 테스트용 대상 차량의 적어도 하나의 테스트용 대상 카메라를 통해 상기 테스트용 검증용 대상 시간 범위 동안 기록된 적어도 하나의 테스트용 주행 영상을 참조하여 획득된, (2-1) 상기 테스트용 주변 물체 중 테스트용 주변 차량의 적어도 일부에 대한 적어도 하나의 테스트용 주변 위치 정보와 (2-2) 상기 테스트용 주변 물체 중 상기 테스트용 주변 차량의 적어도 일부에 대한 적어도 하나의 테스트용 주변 속도 정보를 포함함 - 를 이용하여 상기 테스트용 상태 벡터를 생성하는 프로세스, 및 (ii) 상기 테스트용 대상 차량에 포함된 테스트용 플래닝(planning) 유닛으로부터 획득된, 테스트용 검증용 영역 맵 상에서의 상기 테스트용 검증용 대상 시간 범위 동안 상기 테스트용 대상 차량의 상기 테스트용 주행 경로에 대응하는 상기 테스트용 검증용 경로 정보를 참조하여, 상기 테스트용 궤적 벡터를 생성하는 프로세스를 수행한다.
일 실시예에서, 상기 (I) 프로세스에서, 상기 프로세서가, (i) 상기 테스트용 검증용 대상 시간 범위에 대응하는 상기 테스트용 검증용 상황 정보 - 상기 테스트용 검증용 상황 정보는, (1) 상기 테스트용 대상 차량에 포함된 테스트용 GPS 및 테스트용 속도 제어 유닛 중 적어도 하나로부터 획득된, (1-1) 상기 테스트용 대상 차량의 적어도 하나의 테스트용 대상 위치 정보와 (1-2) 상기 테스트용 대상 차량의 적어도 하나의 테스트용 대상 속도 정보, 및 (2) 상기 테스트용 대상 차량에 포함된 테스트용 V2X 통신 모듈을 이용하여 상기 테스트용 검증용 대상 시간 범위 동안 획득된, (2-1) 상기 테스트용 주변 물체 중 테스트용 주변 차량의 적어도 일부에 대한 적어도 하나의 테스트용 주변 위치 정보와 (2-2) 상기 테스트용 주변 물체 중 테스트용 주변 차량의 적어도 일부에 대한 적어도 하나의 테스트용 주변 속도 정보를 포함함 - 를 이용하여 상기 테스트용 상태 벡터를 생성하는 프로세스, 및 (ii) 상기 테스트용 대상 차량에 포함된 테스트용 플래닝 유닛으로부터 획득된, 테스트용 검증용 영역 맵 상에서의 상기 테스트용 검증용 대상 시간 범위 동안 상기 테스트용 대상 차량의 상기 테스트용 주행 경로에 대응하는 상기 테스트용 검증용 경로 정보를 참조하여, 상기 테스트용 궤적 벡터를 생성하는 프로세스를 수행한다.
일 실시예에서, 상기 프로세서가, (III) 상기 테스트용 예측 충돌 확률이 임계치보다 크며, 상기 테스트용 대상 차량의 주행 모드가 수동 주행 모드인 경우, 상기 테스트용 대상 차량으로 하여금 상기 주행 모드를 자율 주행 모드로 변경하도록 하는 프로세스를 더 수행한다.
이 외에도, 본 발명의 방법을 실행하기 위한 컴퓨터 프로그램을 기록하기 위한 컴퓨터 판독 가능한 기록 매체가 더 제공된다.
본 발명은 운전자의 최근 운전 경로를 분석하여 충돌 확률을 계산하기 위한 학습 방법을 제공할 수 있는 효과가 있다.
또한, 본 발명은 운전자의 최근 운전 경로를 분석하여 충돌 확률을 계산하고, 이를 참조하여 상기 운전자가 위험하게 운전하고 있는지 여부를 판단하기 위한 학습 방법을 제공할 수 있는 효과가 있다.
또한, 본 발명은 운전자가 위험하게 운전하고 있는 경우 차량의 모드를 수동 주행 모드에서 자율 주행 모드로 전환하는 방법을 제공함으로써 도로 상황을 개선할 수 있는 효과가 있다.
본 발명의 상기 및 다른 목적 및 특징은 다음의 첨부 도면과 함께 주어진 바람직한 실시예들의 설명에서 명백해질 것이다.
본 발명의 실시예의 설명에 이용되기 위하여 첨부된 아래 도면들은 본 발명의 실시예들 중 단지 일부일 뿐이며, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자(이하 "통상의 기술자")에게 있어서는 발명적 작업이 이루어짐 없이 이 도면들에 기초하여 다른 도면들이 얻어질 수 있다.
도 1은 본 발명의 일 실시예에 따른 운전자의 최근 주행 경로를 이에 대응하는 시간 범위의 주변 상황과 관련하여 분석함으로써, 자율 주행이 가능한 차량의 주행 모드 전환이 적절한지 여부를 판단하기 위해 이용될 충돌 확률을 계산하는 학습 방법을 수행하는 학습 장치의 구성을 개략적으로 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 운전자의 최근 주행 경로를 이에 대응하는 시간 범위의 주변 상황과 관련하여 분석함으로써, 자율 주행이 가능한 차량의 주행 모드 전환이 적절한지 여부를 판단하기 위해 이용될 충돌 확률을 계산하는 학습 방법을 개략적으로 나타낸 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 운전자의 최근 주행 경로를 이에 대응하는 시간 범위의 주변 상황과 관련하여 분석함으로써, 자율 주행이 가능한 차량의 주행 모드 전환이 적절한지 여부를 판단하기 위해 이용될 충돌 확률을 계산하는 학습 방법을 수행하기 위해 이용될, 상태 네트워크, 궤적 네트워크 및 안전성 네트워크의 구성의 예시를 개략적으로 나타낸 도면이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명의 목적들, 기술적 해법들 및 장점들을 분명하게 하기 위하여 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 통상의 기술자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다.
또한, 본 발명의 상세한 설명 및 청구항들에 걸쳐, "포함하다"라는 단어 및 그것의 변형은 다른 기술적 특징들, 부가물들, 구성요소들 또는 단계들을 제외하는 것으로 의도된 것이 아니다. 통상의 기술자에게 본 발명의 다른 목적들, 장점들 및 특성들이 일부는 본 설명서로부터, 그리고 일부는 본 발명의 실시로부터 드러날 것이다. 아래의 예시 및 도면은 실례로서 제공되며, 본 발명을 한정하는 것으로 의도된 것이 아니다.
더욱이 본 발명은 본 명세서에 표시된 실시예들의 모든 가능한 조합들을 망라한다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
본 발명에서 언급하는 각종 이미지는 포장 또는 비포장 도로 관련 이미지를 포함할 수 있으며, 이 경우 도로 환경에서 등장할 수 있는 물체(가령, 자동차, 사람, 동물, 식물, 물건, 건물, 비행기나 드론과 같은 비행체, 기타 장애물)를 상정할 수 있을 것이나, 반드시 이에 한정되는 것은 아니며, 본 발명에서 언급하는 각종 이미지는 도로와 상관 없는 이미지(가령, 비포장도로, 골목길, 공터, 바다, 호수, 강, 산, 숲, 사막, 하늘, 실내와 관련된 이미지)일 수도 있으며, 이 경우, 비포장도로, 골목길, 공터, 바다, 호수, 강, 산, 숲, 사막, 하늘, 실내 환경에서 등장할 수 있는 물체(가령, 자동차, 사람, 동물, 식물, 물건, 건물, 비행기나 드론과 같은 비행체, 기타 장애물)를 상정할 수 있을 것이나, 반드시 이에 한정되는 것은 아니다.
이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 바람직한 실시예들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따라 운전자의 최근 운전 경로를 이에 대응하는 시간 범위의 주변 상황과 관련하여 분석함으로써, 자율 주행이 가능한 차량의 주행 모드 전환이 적절한지 여부를 판단하기 위해 이용될 충돌 확률을 계산하는 학습 방법을 수행하는 학습 장치의 구성을 개략적으로 나타낸 도면이다.
도 1을 참조하면, 상기 학습 장치(100)는, 추후 자세히 설명할 적어도 하나의 상태 네트워크(130), 적어도 하나의 궤적 네트워크(140), 적어도 하나의 안전성 네트워크(150) 및 적어도 하나의 로스 레이어(160)를 포함할 수 있다. 상기 상태 네트워크(130), 상기 궤적 네트워크(140), 상기 안전성 네트워크(150) 및 상기 로스 레이어(160)의 입출력 및 연산 프로세스는 각각 적어도 하나의 통신부(110) 및 적어도 하나의 프로세서(120)에 의해 이루어질 수 있다. 다만, 도 1에서는 상기 통신부(110) 및 상기 프로세서(120)의 구체적인 연결 관계를 생략하였다. 이 때, 메모리(115)는 후술할 여러 가지 인스트럭션들을 저장한 상태일 수 있고, 상기 프로세서(120)는 상기 메모리(115)에 저장된 상기 인스트럭션들을 실행하도록 설정되되, 상기 프로세서(120)는 추후 설명할 상기 인스트럭션들을 실행함으로써 본 발명의 프로세스들을 수행할 수 있다. 이와 같이 상기 학습 장치(100)가 묘사되었다고 하여, 상기 학습 장치(100)가 미디엄, 프로세서, 메모리 또는 기타 컴퓨팅 구성요소가 통합된 형태인 통합 프로세서를 포함하는 경우를 배제하는 것은 아니다.
상기 운전자의 상기 최근 주행 경로를 이에 대응하는 시간 범위의 주변 상황과 관련하여 분석함으로써, 상기 자율 주행이 가능한 차량의 주행 모드 전환이 적절한지 여부를 판단하기 위해 이용될 충돌 확률을 계산하는 학습 방법의 일 예시를 설명하기 위해 도 2를 참조하도록 한다.
도 2는 본 발명의 일 실시예에 따른 상기 운전자의 상기 최근 주행 경로를 이에 대응하는 시간 범위의 상기 주변 상황과 관련하여 분석함으로써, 상기 자율 주행이 가능한 차량의 주행 모드 전환이 적절한지 여부를 판단하기 위해 이용될 상기 충돌 확률을 계산하는 학습 방법을 개략적으로 나타낸 흐름도이다.
도 2를 참조하면, 상기 학습 장치(100)는, (i) 상기 상태 네트워크(130)로 하여금, 추후 설명할 적어도 하나의 상태 벡터에 적어도 하나의 제1 뉴럴 네트워크 연산을 가하여 적어도 하나의 상태 특징 맵을 생성하도록 하는 프로세스 및 (ii) 상기 궤적 네트워크(140)로 하여금, 추후 설명할 적어도 하나의 궤적 벡터에 적어도 하나의 제2 뉴럴 네트워크 연산을 가하여 적어도 하나의 궤적 특징 맵을 생성하도록 하는 프로세스를 수행할 수 있다(S01 및 S02). 상기 S01 단계 및 상기 S02 단계에 대응하는 이러한 두 프로세스는 서로 독립적인 것으로, 두 프로세스가 병렬적으로 동시에 수행되거나, 둘 중 어느 하나가 더 먼저 수행되더라도 무방하다. 이후, 상기 학습 장치(100)는, 상기 안전성 네트워크(150)로 하여금, 상기 상태 특징 맵 및 상기 궤적 특징 맵에 대한 정보를 포함하는 컨캐터네이팅(concatenating)된 특징 맵에 적어도 하나의 제3 뉴럴 네트워크 연산을 가하여, 추후 설명할 예측 충돌 확률을 산출하도록 할 수 있다(S03). 그리고, 상기 학습 장치(100)는, 상기 로스 레이어(160)로 하여금, 상기 예측 충돌 확률 및 적어도 하나의 GT(ground truth) 충돌 확률을 참조하여 적어도 하나의 로스를 생성하고, 이를 이용해 백프로퍼게이션(backpropagation)을 수행하도록 함으로써 상기 안전성 네트워크(150), 상기 궤적 네트워크(140) 및 상기 상태 네트워크(130)의 파라미터 중 적어도 일부를 학습할 수 있다(S04).
이상 상기 학습 장치(100)가 본 발명의 상기 학습 방법을 수행하는 대략적인 흐름에 대해 설명하였다. 이하, 상기 학습 방법에 대해 더욱 구체적으로 설명하기 이전에, 이를 수행하기 위해 사용되는 상기 상태 벡터, 상기 궤적 벡터 및 상기 GT 충돌 확률을 획득하는 방법에 대해 설명할 것이다.
먼저, 상기 상태 벡터는, 제1 시점 내지 제T 시점을 포함하는 검증용 대상 시간 범위 내, 상기 학습 장치(100)와 연동하는 적어도 하나의 대상 차량에 대한 적어도 하나의 대상 모션 정보, 및 상기 대상 차량으로부터 임계 거리 이하에 위치한 하나 이상의 주변 물체 중 적어도 일부의 하나 이상의 모션에 대한 정보를 포함하는 하나 이상의 주변 모션 정보 중에서 적어도 일부를 포함하는 적어도 하나의 검증용 상황 정보에 대응하는 벡터일 수 있다. 이때, T는 특정 임의의 정수이다. 상기 대상 모션 정보는, 일 예로, 상기 대상 차량에 대한 적어도 하나의 대상 위치 정보 및 상기 대상 차량에 대한 적어도 하나의 대상 속도 정보를 포함할 수 있다. 그리고, 상기 주변 모션 정보는, 또한 일 예로, 상기 대상 차량으로부터 임계 거리 이하에 위치한 주변 물체 중 적어도 일부에 대한 적어도 하나의 주변 위치 정보 및 상기 주변 물체 중 적어도 일부에 대한 적어도 하나의 주변 속도 정보를 포함할 수 있다. 다른 예로, 상기 대상 모션 정보는 상기 검증용 대상 시간 범위에 대응하는 상기 대상 차량의 적어도 하나의 대상 가속 정보를 더 포함할 수 있고, 상기 주변 모션 정보는 상기 주변 물체 중 적어도 일부에 대한 적어도 하나의 주변 가속 정보를 더 포함할 수 있다. 이하의 설명에서는, 상기 대상 모션 정보는 상기 대상 가속 정보를 포함하지 않고 상기 주변 모션 정보는 상기 주변 가속 정보를 포함하지 않는 것으로 가정하여 설명될 것이지만, 통상의 기술자는, 이하 보여진 설명을 참조하여, 상기 대상 모션 정보 및 상기 주변 모션 정보가 각각 그에 대응하는 가속 정보를 포함하는 경우의 본 발명의 상기 학습 방법을 이용할 수 있다.
다음으로, 상기 궤적 벡터는, 상기 검증용 대상 시간 범위 내에 상기 대상 차량이 주행한 적어도 하나의 주행 경로에 대한 적어도 하나의 검증용 경로 정보에 대응하는 벡터일 수 있다. 예를 들어, 상기 검증용 경로 정보는, 상기 제1 시점 내지 상기 제T 시점 중, 상기 대상 차량이 주행 차로를 변경한 제1 특정 시점에 대한 정보, 혹은 상기 제1 시점 내지 상기 제T 시점 중, 상기 대상 차량이 우회전 혹은 좌회전한 제2 특정 시점에 대한 정보를 포함할 수 있다.
상기 상태 벡터에 대응하는 상기 검증용 상황 정보, 및 상기 궤적 벡터에 대응하는 상기 검증용 경로 정보는, 이하 설명할 각각의 경우에 대한 실시예를 이용하여 획득될 수 있지만, 물론 이에 한정된 것은 아닐 것이다.
먼저, 제1 실시예는, 상기 대상 차량과 상기 주변 물체 중 주변 차량이, V2X(vehicle-to-everything) 통신 가능하여 자신들의 모션 정보를 기지국 서버로 지속적으로 전달할 수 있는 제1 경우에 관한 것이다. 상기 제1 경우에서, 상기 학습 장치(100)는, 상기 기지국 서버로부터 획득된, (i) 상기 대상 위치 정보와 상기 대상 속도 정보를 포함하는 상기 대상 모션 정보 및 (ii) 상기 주변 위치 정보와 상기 주변 속도 정보를 포함하는 상기 주변 모션 정보 중 적어도 일부를 참조하여, 상기 검증용 대상 시간 범위에 대응하는 상기 검증용 상황 정보를 획득할 수 있다. 또한, 상기 학습 장치(100)는, 상기 기지국 서버로부터 획득된, 검증용 영역 맵 상에서의 상기 대상 차량의 상기 주행 경로에 대한 정보를 참조하여 상기 검증용 경로 정보를 획득할 수 있다.
그리고, 제2 실시예는, 상기 대상 차량이 이미지 프로세싱 기반의 자율 주행을 수행하지만, 상기 대상 차량 및 상기 주변 차량은 자신들의 모션 정보를 상기 기지국 서버에 전달하지 않는 제2 경우에 관한 것이다. 이 경우, 상기 학습 장치(100)는, (i) 상기 검증용 대상 시간 범위 내의 상기 자율 주행 동안 기록된, 상기 대상 차량의 적어도 하나의 주행 기록 정보를 참조하여 상기 대상 모션 정보를 획득할 수 있고, (ii) 상기 대상 차량의 적어도 하나의 대상 카메라를 통해 상기 검증용 대상 시간 범위 동안 기록된 적어도 하나의 주행 영상을 참조하여 상기 주변 모션 정보를 획득할 수 있다. 이때, 상기 대상 모션 정보와 상기 주변 모션 정보를 획득함으로써, 이 둘을 포함하는 상기 검증용 상황 정보가 획득될 수 있다.
게다가, 상기 주행 기록 정보는, 상기 대상 차량이 상기 검증용 대상 시간 범위 내의 각 시점에 어느 정도의 속도로 주행했는지에 대한 정보 및 GPS를 이용하여 각 상기 시점에서의 상기 대상 차량의 위치에 대한 정보를 포함하고 있을 것이므로, 상기 주행 기록 정보를 참조하여 상기 대상 모션 정보가 획득될 수 있다.
또한, 상기 주행 영상에 (i) CNN(Convolutional Neural Network)을 이용한 객체 검출 연산, (ii) 거리 예측 연산 및 (iii) 속도 예측 연산이 가해지는 경우, 상기 주행 영상을 참조하여 상기 주변 모션 정보가 획득될 수 있다.
이때, 상기 거리 예측 연산은, 상기 주행 영상의 프레임 상에서의 상기 주변 물체과 상기 대상 차량 간의 거리 산출에 이용될 수 있으며, 주점(principal point), 소실점(vanishing point) 및 초점 간의 관계, 및 카메라의 광축과 지면 사이의 각도를 참조하여 수행될 수 있다. 또한, 상기 속도 예측 연산은, 상기 주변 물체의 속력 산출에 이용될 수 있으며, 상기 대상 속도 정보, 및 상기 주변 물체가 프레임 별로 얼마나 이동했는지에 대한 정보를 참조하여 수행될 수 있다.
구체적으로, 상기 객체 검출 연산이 수행될 때, 상기 주변 객체 중 적어도 일부가 상기 주행 영상에서 검출될 수 있다. 그 후, 상기 거리 예측 연산이, 상기 주변 물체의 거리를 산출하기 위해 수행될 수 있고, 상기 거리가 상기 대상 위치 정보와 함께, 상기 주변 위치 정보를 생성하기 위해 이용될 수 있다. 또한, 상기 속도 예측 연산이 수행되어 상기 주변 속도 정보가 생성될 수 있다. 상기 객체 검출 연산, 상기 거리 예측 연산 및 상기 속도 예측 연산은 모두 널리 알려진 종래 기술이므로, 통상의 기술자는 이를 이용하여 상기 주변 모션 정보를 획득할 수 있을 것이다.
한편, 상기 주행 기록 정보는, 그에 포함된 전술한 정보 외에도, 상기 대상 차량이 주행한 스티어링(steering) 각에 대한 정보를 포함하고 있으므로, 상기 학습 장치(100)가 상기 주행 기록 정보를 참조하여 상기 검증용 경로 정보를 획득할 수 있을 것이다.
다음으로, 제3 실시예는, 상기 대상 차량 및 상기 주변 차량이 자신들의 모션 정보를 상기 V2X 통신을 통해 서로 공유하는 제3 경우에 관한 것이다. 이 경우, 상기 학습 장치(100)는, 상기 제2 실시예와 유사하게 상기 주행 기록 정보를 참조하여 상기 대상 모션 정보를 획득할 수 있고, 상기 대상 차량에 설치된 적어도 하나의 V2X 통신 모듈을 이용하여 획득된, 상기 주변 차량 중 적어도 일부에 대한 모션 정보를 참조하여 상기 주변 모션 정보를 획득할 수 있다. 또한, 상기 제2 실시예와 유사하게, 상기 학습 장치(100)는 상기 대상 차량에 저장된 상기 주행 기록 정보를 참조하여 상기 검증용 경로 정보를 획득할 수 있다.
마지막으로, 제4 실시예는, 시뮬레이팅(simulating) 장치에 의해 생성된 적어도 하나의 가상 세계에 상기 대상 차량 및 상기 주변 물체가 시뮬레이팅 되는 제4 경우에 관한 것이다. 이때, 시뮬레이팅 알고리즘이라면 어떤 것이든 상기 가상 세계를 시뮬레이팅하는 데에 이용될 수 있다. 이 경우, 상기 시뮬레이팅 장치에는 상기 대상 위치 정보 및 상기 대상 속도 정보가 저장되어 있을 것이고, 상기 주변 위치 정보 및 상기 주변 속도 정보가 저장되어 있을 것이며, 상기 대상 차량이 어떻게 주행했는지에 대한 정보 역시 저장되어 있을 것이므로, 상기 학습 장치(100)는 상기 시뮬레이팅 장치로부터 상기 검증용 상황 정보 및 상기 검증용 경로 정보를 획득할 수 있을 것이다.
상기 실시예 외에 제5 실시예에서, 관리자는 상기 검증용 상황 정보와 상기 검증용 경로 정보를 임의로 생성할 수 있다.
상기 학습 장치(100)는, 상기 검증용 상황 정보 및 상기 검증용 경로 정보가 획득된 후, 이를 이용하여 상기 상태 벡터 및 상기 궤적 벡터를 생성할 수 있다. 상기 상태 벡터는, 상기 검증용 대상 시간 범위 내의 각 상기 시점에 대응하는, 상기 대상 위치 정보, 상기 대상 속도 정보, 상기 주변 위치 정보 및 상기 주변 속도 정보 각각을 성분으로 포함하도록 설정하여 생성될 수 있다. 또한, 상기 궤적 벡터는, 상기 검증용 경로 정보에 포함된, 상기 대상 시간 범위 내의 각 상기 시점에서 상기 대상 차량이 취한 행동(예를 들어, 차로 변경 또는 방향 전환)에 대한 정보 및 상기 대상 차량의 상대적 위치 정보 각각을 그 성분으로 포함하도록 설정하여 생성될 수 있다.
이하 GT 충돌 확률을 획득하는 방법에 대해 설명하도록 한다. 상기 GT 충돌 확률은, 제(T+1) 시점 내지 제(T+K) 시점(K는 임의의 정수임)을 포함하는 주의 시간 범위 내에 상기 대상 차량에 적어도 하나의 사고가 일어났는지 여부에 대한 사고 정보를 참조하여 획득될 수 있다. 이때, K는 임의의 정수이다. 즉, 상기 사고 정보는, 상기 상태 벡터에 대응하는 상황에서, 상기 궤적 벡터에 대응하는 상기 주행 경로가 사고를 유발했는지 여부를 나타낼 수 있다. 상기 사고 정보는, 상기 제1 경우, 상기 기지국 서버로부터 획득될 수 있고, 상기 제2 경우 및 상기 제3 경우, 상기 주행 기록 정보를 참조하여 획득될 수 있다. 상기 제4 경우, 상기 사고 정보는, 상기 시뮬레이팅 장치에 저장되어 있을 것이므로, 상기 시뮬레이팅 장치와 통신하여 획득될 수 있다. 상기 제5 실시예에 대응하는 제5 경우에서, 관리자는 상기 사고 정보를 단순히 임의적으로 생성할 수 있다.
상기 상태 벡터, 상기 궤적 벡터 및 상기 GT 충돌 확률이 획득된 후, 상기 학습 장치(100)는, (i) 상기 상태 네트워크(130)로 하여금, 상기 상태 벡터에 상기 제1 뉴럴 네트워크 연산을 가하여 상기 상태 특징 맵을 생성하도록 하는 프로세스 및 (ii) 상기 궤적 네트워크(140)로 하여금, 상기 궤적 벡터에 상기 제2 뉴럴 네트워크 연산을 가하여 상기 궤적 특징 맵을 생성하도록 하는 프로세스를 수행할 수 있다. 그 후, 상기 컨캐터네이팅된 특징 맵이 획득되면, 상기 학습 장치(100)는 상기 안전성 네트워크(150)로 하여금, 상기 컨캐터네이팅된 특징 맵에 상기 제3 뉴럴 네트워크 연산을 가하여, 상기 상황에 관한 상기 주행 경로에 의한 상기 사고가 발생할 것으로 예측되는 확률을 나타내는 상기 예측 충돌 확률을 산출하도록 할 수 있다. 이에 대해 더욱 구체적으로 설명하기 위해, 상기 상태 네트워크(130), 상기 궤적 네트워크(140) 및 상기 안전성 네트워크(150)의 구성에 대해 도 3을 참조하여 설명하도록 한다.
도 3은 본 발명의 일 실시예에 따른 상기 운전자의 상기 최근 주행 경로를 이에 대응하는 시간 범위의 상기 상황과 관련하여 분석함으로써, 상기 자율 주행이 가능한 차량의 상기 주행 모드 전환이 적절한지 여부를 판단하기 위해 이용될 충돌 확률을 계산하는 상기 학습 방법을 수행하기 위해 이용될, 상기 상태 네트워크(130), 상기 궤적 네트워크(140) 및 상기 안전성 네트워크(150)의 구성의 예시를 개략적으로 나타낸 도면이다.
도 3을 참조하면, 상기 상태 벡터(130)는, 제1 컨벌루션 레이어(131), 제1 풀링 레이어(132) 및 제1 FC(Fully-Connected) 레이어(133)를 포함할 수 있다. 이때, 상기 학습 장치(100)는, 상기 제1 컨벌루션 레이어(131)로 하여금 상기 상태 벡터에 적어도 하나의 제1 컨벌루션 연산을 가하여 적어도 하나의 제(1-1) 특징 맵을 생성하도록 한다. 그 후, 상기 학습 장치(100)는, 상기 제1 풀링 레이어(132)로 하여금 상기 제(1-1) 특징 맵에 적어도 하나의 제1 풀링 연산을 가하여 적어도 하나의 제(1-2) 특징 맵을 생성하도록 하고, 상기 제1 FC 레이어로 하여금 상기 제(1-2) 특징 맵에 적어도 하나의 제1 FC 연산을 가하여 상기 상태 특징 맵을 생성하도록 한다. 일예로, 상기 제1 컨벌루션 연산은 1차원 컨벌루션 필터를 이용하여 수행될 수 있고, 상기 제1 풀링 연산은, 다수의 상태 벡터와 다수의 궤적 벡터의 쌍에 대한 정보를 풀링하기 위해 이용될 글로벌 풀링 연산일 수 있지만, 이에 한정되는 것은 아니다.
그리고, 다시 도 3을 참조하면, 상기 궤적 네트워크(140)는, 제2 컨벌루션 레이어(141), 제2 풀링 레이어(142)와 제2 FC 레이어(143)을 포함할 수 있다. 이때, 상기 학습 장치(100)는, 상기 제2 컨벌루션 레이어(141)로 하여금 상기 궤적 벡터에 적어도 하나의 제2 컨벌루션 연산을 가하여 적어도 하나의 제(2-1) 특징 맵을 생성하도록 한다. 그 후, 상기 학습 장치(100)는, 상기 제2 풀링 레이어(142)로 하여금 상기 제(2-1) 특징 맵에 적어도 하나의 제2 풀링 연산을 가하여 적어도 하나의 제(2-2) 특징 맵을 생성하도록 하며, 상기 제2 FC 레이어(143)로 하여금 상기 제(2-2) 특징 맵에 적어도 하나의 제2 FC 연산을 가하여 상기 궤적 특징 맵을 생성하도록 할 수 있다. 또한, 일예로, 상기 제2 컨벌루션 연산은 상기 1차원 컨벌루션 필터를 이용하여 수행될 수 있고, 상기 제2 풀링 연산은 상기 글로벌 풀링 연산일 수 있으나, 이에 한정되는 것은 아니다.
마지막으로, 도 3을 다시 참조하면, 상기 안전성 네트워크는, 컨캐터네이팅 레이어(151), 제3 컨벌루션 레이어(152), 제3 풀링 레이어(153) 및 제3 FC 레이어(154)를 포함할 수 있다. 이때, 상기 학습 장치(100)는, 상기 컨캐터네이팅 레이어(151)로 하여금 상기 상태 특징 맵 및 상기 궤적 특징 맵을 컨캐터네이팅하여 상기 컨캐터네이팅된 특징 맵을 생성하도록 한다. 상기 상태 특징 맵 및 상기 궤적 특징 맵은 채널 방향(channel-wise)으로 컨캐터네이팅될 수 있으나, 이에 한정되는 것은 아니다. 그 후, 상기 학습 장치(100)는, 상기 제3 컨벌루션 레이어(152)로 하여금 상기 컨캐터네이팅된 특징 맵에 적어도 하나의 제3 컨벌루션 연산을 가하여 적어도 하나의 제(3-1) 특징 맵을 생성하도록 한다. 이후, 상기 학습 장치(100)는, 상기 제3 풀링 레이어(153)로 하여금 상기 제(3-1) 특징 맵에 적어도 하나의 제3 풀링 연산을 가하여 적어도 하나의 제(3-2) 특징 맵을 생성하도록 하고, 상기 제3 FC 레이어(154)로 하여금 상기 제(3-2) 특징 맵에 적어도 하나의 제3 FC 연산을 가하여 상기 적어도 하나의 예측 충돌 확률을 산출하도록 할 수 있다.
그 후, 상기 학습 장치(100)는 상기 로스 레이어(160)로 하여금, 상기 예측 충돌 확률 및 상기 GT 충돌 확률을 참조하여 상기 로스를 생성하도록 하고, 이를 이용해 백프로퍼게이션을 수행하도록 함으로써, 상기 안전성 네트워크(150), 상기 궤적 네트워크(140) 및 상기 상태 네트워크(130)의 파라미터 중 적어도 일부를 학습할 수 있다.
이상, 상기 안전성 네트워크(150), 상기 궤적 네트워크(140) 및 상기 상태 네트워크(130)의 학습 프로세스에 대해 설명하였다. 이하 이들의 테스트 프로세스에 대해 설명하도록 한다.
즉, (1) 상기 학습 장치(100)가, (i) 상기 제1 시점 내지 상기 제T 시점을 포함하는 학습용 검증용 대상 시간 범위 내 (i-1) 적어도 하나의 학습용 대상 차량에 대한 적어도 하나의 학습용 대상 모션 정보 및 (i-2) 상기 학습용 대상 차량으로부터 임계 거리 이하에 위치한 하나 이상의 학습용 주변 물체 중 적어도 일부에 대한 하나 이상의 학습용 주변 모션 정보 중에서 적어도 일부를 포함하는 적어도 하나의 학습용 검증용 상황 정보에 대응하는 적어도 하나의 학습용 상태 벡터, 및 (ii) 상기 학습용 검증용 대상 시간 범위 내에 상기 학습용 대상 차량이 주행한 적어도 하나의 학습용 주행 경로에 대한 적어도 하나의 학습용 검증용 경로 정보에 대응하는 적어도 하나의 학습용 궤적 벡터가 획득되면, (i) 상기 상태 네트워크(130)로 하여금, 상기 학습용 상태 벡터에 상기 제1 뉴럴 네트워크 연산을 가하여 적어도 하나의 학습용 상태 특징 맵을 생성하도록 하는 프로세스 및 (ii) 상기 궤적 네트워크(140)로 하여금, 상기 학습용 궤적 벡터에 상기 제2 뉴럴 네트워크 연산을 가하여 적어도 하나의 학습용 궤적 특징 맵을 생성하도록 하는 프로세스를 수행하고, (2) 상기 학습 장치(100)가, 상기 학습용 상태 특징 맵 및 상기 학습용 궤적 특징 맵에 대응하는 적어도 하나의 학습용 컨캐터네이팅된 특징 맵이 획득되면, 상기 안전성 네트워크(150)로 하여금, 상기 학습용 컨캐터네이팅된 특징 맵에 상기 제3 뉴럴 네트워크 연산을 가하여, 상기 학습용 검증용 상황 정보에 의해 규정되는 학습용 상황에 관한 상기 학습용 검증용 경로 정보에 대응하는 상기 학습용 주행 경로에 의한 적어도 하나의 학습용 사고가 발생할 것으로 예측되는 확률인 적어도 하나의 학습용 예측 충돌 확률을 산출하도록 하며, (3) 상기 학습 장치(100)가, 상기 로스 레이어(160)로 하여금, 상기 학습용 예측 충돌 확률 및 기획득된 적어도 하나의 GT 충돌 확률을 참조하여 적어도 하나의 로스를 생성하도록 하고, 이를 이용해 백프로퍼게이션을 수행하도록 함으로써 상기 안전성 네트워크(150), 상기 궤적 네트워크(140) 및 상기 상태 네트워크(130)의 파라미터 중 적어도 일부를 학습한 상태에서, 테스팅 장치가, (i) 제1' 시점 내지 제T' 시점을 포함하는 테스트용 검증용 대상 시간 범위 내 (i-1) 적어도 하나의 테스트용 대상 차량에 대한 적어도 하나의 테스트용 대상 모션 정보 및 (i-2) 상기 테스트용 대상 차량으로부터 임계 거리 이하에 위치한 하나 이상의 테스트용 주변 물체 중 적어도 일부에 대한 하나 이상의 테스트용 주변 모션 정보 중에서 적어도 일부를 포함하는 적어도 하나의 테스트용 검증용 상황 정보에 대응하는 적어도 하나의 테스트용 상태 벡터, 및 (ii) 상기 테스트용 검증용 대상 시간 범위 내에 상기 테스트용 대상 차량이 주행한 적어도 하나의 테스트용 주행 경로에 대한 적어도 하나의 테스트용 검증용 경로 정보에 대응하는 적어도 하나의 테스트용 궤적 벡터가 획득되면, (i) 상기 상태 네트워크(130)로 하여금, 상기 테스트용 상태 벡터에 상기 제1 뉴럴 네트워크 연산을 가하여 적어도 하나의 테스트용 상태 특징 맵을 생성하도록 하는 프로세스 및 (ii) 상기 궤적 네트워크(140)로 하여금, 상기 테스트용 궤적 벡터에 상기 제2 뉴럴 네트워크 연산을 가하여 적어도 하나의 테스트용 궤적 특징 맵을 생성하도록 하는 프로세스를 수행할 수 있다.
그 후, 상기 테스팅 장치가, 상기 테스트용 상태 특징 맵 및 상기 테스트용 궤적 특징 맵에 대응하는 적어도 하나의 테스트용 컨캐터네이팅된 특징 맵이 획득되면, 상기 안전성 네트워크(150)로 하여금, 상기 테스트용 컨캐터네이팅된 특징 맵에 상기 제3 뉴럴 네트워크 연산을 가하여, 상기 테스트용 검증용 상황 정보에 의해 규정되는 테스트용 상황에 관한 상기 테스트용 검증용 경로 정보에 대응하는 상기 테스트용 주행 경로에 의한 적어도 하나의 테스트용 사고가 발생할 것으로 예측되는 확률인 적어도 하나의 테스트용 예측 충돌 확률을 산출하도록 할 수 있다.
이 때, 상기 테스트용 주변 물체 중 테스트용 주변 차량과 상기 테스트용 대상 차량이, 테스트용 V2X 통신이 가능하여 자신들의 테스트용 모션 정보를 상기 테스트용 기지국 서버에 지속적으로 전달한 경우를 상정하자. 상기 테스팅 장치는, 상기 테스트용 대상 차량과 연동된 상기 테스트용 기지국 서버와 통신하여, (i) 상기 테스트용 기지국 서버로부터 획득된 상기 테스트용 검증용 상황 정보를 이용하여 상기 테스트용 상태 벡터를 생성하는 프로세스, 및 (ii) 상기 테스트용 기지국 서버로부터 획득된 상기 테스트용 검증용 경로 정보를 참조하여 상기 테스트용 궤적 벡터를 생성하는 프로세스를 수행할 수 있다.
또는, 상기 테스트용 대상 차량이 이미지 프로세싱 기반의 자율 주행을 수행하지만, 상기 테스트용 대상 차량 및 상기 테스트용 주변 차량이, 자신들의 테스트용 모션 정보를 상기 테스트용 기지국 서버에 전달하거나 서로 통신하지 않은 다른 경우를 상정하자. 상기 테스팅 장치가, (i) (i-1) 상기 테스트용 대상 차량에 포함된 테스트용 GPS 및 테스트용 속도 제어 유닛 중 적어도 하나로부터 획득된 상기 테스트용 대상 모션 정보 및 (i-2) 상기 테스트용 대상 차량의 적어도 하나의 테스트용 대상 카메라를 통해 상기 테스트용 검증용 대상 시간 범위 동안 기록된 적어도 하나의 테스트용 주행 영상을 참조하여 획득된 상기 테스트용 주변 모션 정보를 포함하는, 상기 테스트용 검증용 대상 시간 범위에 대응하는 상기 테스트용 검증용 상황 정보를 이용하여, 상기 테스트용 상태 벡터를 생성하는 프로세스 및 (ii) 상기 테스트용 대상 차량에 포함된 테스트용 플래닝(planning) 유닛으로부터 획득된 상기 테스트용 검증용 경로 정보를 참조하여 상기 테스트용 궤적 벡터를 생성하는 프로세스를 수행할 수 있다. 이때, 상기 테스트용 속도 제어 유닛 및 상기 플래닝 유닛은, 상기 대상 차량에 포함될 수 있으며 상기 대상 차량의 ECU(Electronic Control Unit)와 연동할 수 있다.
또한, 상기 테스트용 대상 차량 및 상기 테스트용 주변 차량이 자신들의 테스트용 모션 정보를 상기 V2X 통신을 통해 서로 공유하는 또 다른 경우를 상정하자. 상기 테스팅 장치는, (i) (i-1) 상기 테스트용 대상 차량에 포함된 상기 테스트용 GPS 및 상기 테스트용 속도 제어 유닛 중 적어도 하나로부터 획득된 상기 테스트용 대상 모션 정보 및 (i-2) 상기 테스트용 대상 차량에 포함된 테스트용 V2X 통신 모듈을 이용하여 상기 테스트용 검증용 대상 시간 범위 동안 획득된 상기 테스트용 주변 모션 정보를 포함하는, 상기 테스트용 검증용 대상 시간 범위에 대응하는 상기 테스트용 검증용 상황 정보를 이용하여, 상기 테스트용 상태 벡터를 생성하는 프로세스 및 (ii) 상기 테스트용 대상 차량에 포함된 상기 테스트용 플래닝 유닛으로부터 획득된 상기 테스트용 검증용 경로 정보를 참조하여 상기 테스트용 궤적 벡터를 생성하는 프로세스를 수행할 수 있다.
이와 같이 상기 테스트용 검증용 상황 정보 및 상기 테스트용 검증용 경로 정보를 이용하여 상기 테스트용 상태 벡터 및 상기 테스트용 궤적 벡터가 획득되면, 이는 상기 상태 네트워크, 상기 궤적 네트워크 및 상기 안전성 네트워크에 의해 처리되어, 상기 테스트용 예측 충돌 확률이 산출될 수 있을 것이다.
그 후, 상기 테스트용 예측 충돌 확률이 임계치보다 크며, 상기 테스트용 대상 차량의 주행 모드가 수동 주행 모드인 경우, 상기 테스팅 장치는 상기 테스트용 대상 차량으로 하여금 상기 주행 모드를 자율 주행 모드로 변경하도록 할 수 있다.
본 발명의 상기 방법을 통해, 상기 테스트용 대상 차량을 위험하게 운전하는 운전자로부터 상기 테스트용 대상 차량의 통제권이 옮겨질 수 있기 때문에 사고를 예방 수 있을 것이다.
이상 설명된 본 발명에 따른 실시예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.

Claims (28)

  1. 운전자의 최근 주행 경로를 이에 대응하는 시간 범위의 주변 상황과 관련하여 분석함으로써, 자율 주행이 가능한 차량의 주행 모드 전환이 적절한지 여부를 판단하기 위해 이용될 충돌 확률을 계산하는 학습 방법에 있어서,
    (a) 학습 장치가, (i) 제1 시점 내지 제T 시점을 포함하는 검증용 대상 시간 범위 내 (i-1) 적어도 하나의 대상 차량에 대한 적어도 하나의 대상 모션 정보 및 (i-2) 상기 대상 차량으로부터 임계 거리 이하에 위치한 하나 이상의 주변 물체 중 적어도 일부에 대한 하나 이상의 주변 모션 정보 중에서 적어도 일부를 포함하는 적어도 하나의 검증용 상황 정보에 대응하는 적어도 하나의 상태 벡터, 및 (ii) 상기 검증용 대상 시간 범위 내에 상기 대상 차량이 주행한 적어도 하나의 주행 경로에 대한 적어도 하나의 검증용 경로 정보에 대응하는 적어도 하나의 궤적 벡터가 획득되면, (i) 상태 네트워크로 하여금, 상기 상태 벡터에 적어도 하나의 제1 뉴럴 네트워크 연산을 가하여 적어도 하나의 상태 특징 맵을 생성하도록 하는 프로세스 및 (ii) 궤적 네트워크로 하여금, 상기 궤적 벡터에 적어도 하나의 제2 뉴럴 네트워크 연산을 가하여 적어도 하나의 궤적 특징 맵을 생성하도록 하는 프로세스를 수행하는 단계;
    (b) 상기 학습 장치가, 상기 상태 특징 맵 및 상기 궤적 특징 맵에 대응하는 적어도 하나의 컨캐터네이팅(concatenating)된 특징 맵이 획득되면, 안전성 네트워크로 하여금, 상기 컨캐터네이팅된 특징 맵에 적어도 하나의 제3 뉴럴 네트워크 연산을 가하여, 상기 검증용 상황 정보에 의해 규정되는 상황에 관한 상기 검증용 경로 정보에 대응하는 상기 주행 경로에 의한 적어도 하나의 사고가 발생할 것으로 예측되는 확률인 적어도 하나의 예측 충돌 확률을 산출하도록 하는 단계; 및
    (c) 상기 학습 장치가, 로스 레이어로 하여금, 상기 예측 충돌 확률 및 기획득된 적어도 하나의 GT(Ground Truth) 충돌 확률을 참조하여 적어도 하나의 로스를 생성하도록 하고, 이를 이용해 백프로퍼게이션(backpropagation)을 수행하도록 함으로써 상기 안전성 네트워크, 상기 궤적 네트워크 및 상기 상태 네트워크의 파라미터 중 적어도 일부를 학습하는 단계;
    를 포함하는 것을 특징으로 하는 방법.
  2. 제 1항에 있어서,
    상기 (a) 단계에서,
    상기 학습 장치가, (i) 상기 상태 네트워크의 적어도 하나의 제1 컨벌루션 레이어로 하여금 상기 상태 벡터에 적어도 하나의 제1 컨벌루션 연산을 가하여 적어도 하나의 제(1-1) 특징 맵을 생성하도록 하고, (ii) 상기 상태 네트워크의 적어도 하나의 제1 풀링 레이어로 하여금 상기 제(1-1) 특징 맵에 적어도 하나의 제1 풀링 연산을 가하여 적어도 하나의 제(1-2) 특징 맵을 생성하도록 하며, (iii) 적어도 하나의 제1 FC(Fully-Connected) 레이어로 하여금 상기 제(1-2) 특징 맵에 적어도 하나의 제1 FC 연산을 가하여 상기 상태 특징 맵을 생성하도록 하는 것을 특징으로 하는 방법.
  3. 제 1항에 있어서,
    상기 (a) 단계에서,
    상기 학습 장치가, (i) 상기 궤적 네트워크의 적어도 하나의 제2 컨벌루션 레이어로 하여금 상기 궤적 벡터에 적어도 하나의 제2 컨벌루션 연산을 가하여 적어도 하나의 제(2-1) 특징 맵을 생성하도록 하고, (ii) 상기 궤적 네트워크의 적어도 하나의 제2 풀링 레이어로 하여금 상기 제(2-1) 특징 맵에 적어도 하나의 제2 풀링 연산을 가하여 적어도 하나의 제(2-2) 특징 맵을 생성하도록 하며, (iii) 적어도 하나의 제2 FC 레이어로 하여금 상기 제(2-2) 특징 맵에 적어도 하나의 제2 FC 연산을 가하여 상기 궤적 특징 맵을 생성하도록 하는 것을 특징으로 하는 방법.
  4. 제 1항에 있어서,
    상기 (b) 단계에서,
    상기 학습 장치가, (i) 적어도 하나의 컨캐터네이팅 레이어로 하여금 상기 상태 특징 맵 및 상기 궤적 특징 맵을 컨캐터네이팅하여 상기 컨캐터네이팅된 특징 맵을 생성하도록 하고, (ii) 상기 안전성 네트워크의 적어도 하나의 제3 컨벌루션 레이어로 하여금 상기 컨캐터네이팅된 특징 맵에 적어도 하나의 제3 컨벌루션 연산을 가하여 적어도 하나의 제(3-1) 특징 맵을 생성하도록 하며, (iii) 상기 안전성 네트워크의 적어도 하나의 제3 풀링 레이어로 하여금 상기 제(3-1) 특징 맵에 적어도 하나의 제3 풀링 연산을 가하여 적어도 하나의 제(3-2) 특징 맵을 생성하도록 하고, (iv) 적어도 하나의 제3 FC 레이어로 하여금 상기 제(3-2) 특징 맵에 적어도 하나의 제3 FC 연산을 가하여 상기 예측 충돌 확률을 산출하도록 하는 것을 특징으로 하는 방법.
  5. 제 1항에 있어서,
    상기 (a) 단계 이전에,
    (a0) 상기 학습 장치가, 상기 대상 차량과 연동된 적어도 하나의 기지국 서버와 통신하여, (i) 상기 기지국 서버로부터 획득된, (i-1) 상기 대상 차량에 대한 적어도 하나의 대상 위치 정보, (i-2) 상기 대상 차량에 대한 적어도 하나의 대상 속도 정보, (i-3) 상기 주변 물체 중 주변 차량의 적어도 일부에 대한 적어도 하나의 주변 위치 정보 및 (i-4) 상기 검증용 대상 시간 범위에 대응하는, 상기 주변 차량의 적어도 일부에 대한 적어도 하나의 주변 속도 정보를 포함하는 상기 검증용 상황 정보를 이용하여, 상기 상태 벡터를 생성하는 프로세스, (ii) 상기 기지국 서버로부터 획득된, 검증용 영역 맵 상에서의 상기 검증용 대상 시간 범위 동안 상기 대상 차량의 상기 주행 경로에 대응하는 상기 검증용 경로 정보를 이용하여 상기 궤적 벡터를 생성하는 프로세스, 및 (iii) 상기 기지국 서버로부터 획득된, 제(T+1) 시점 내지 제(T+K) 시점 - K는 임의의 정수임 - 을 포함하는 주의 시간 범위 내에 상기 대상 차량에 적어도 하나의 사고가 일어났는지 여부에 대한 사고 정보를 이용하여, 상기 GT 충돌 확률을 획득하는 프로세스를 수행하는 단계;
    를 더 포함하는 것을 특징으로 하는 방법.
  6. 제 1항에 있어서,
    상기 (a) 단계 이전에,
    (a1) 상기 학습 장치가, (i) 상기 검증용 대상 시간 범위에 대응하는 상기 검증용 상황 정보 - 상기 검증용 상황 정보는, (1) 상기 대상 차량에 대한 적어도 하나의 주행 기록 정보를 참조하여 획득된, (1-1) 상기 대상 차량에 대한 적어도 하나의 대상 위치 정보와 (1-2) 상기 대상 차량에 대한 적어도 하나의 대상 속도 정보, 및 (2) 상기 대상 차량의 적어도 하나의 대상 카메라를 통해 상기 검증용 대상 시간 범위 동안에 기록된 적어도 하나의 주행 영상을 참조하여 획득된, (2-1) 상기 주변 물체 중 주변 차량의 적어도 일부에 대한 적어도 하나의 주변 위치 정보와 (2-2) 상기 주변 차량의 적어도 일부에 대한 적어도 하나의 주변 속도 정보를 포함함 - 를 이용하여 상기 상태 벡터를 생성하는 프로세스, (ii) 상기 주행 기록 정보를 참조로 하여 획득된, 검증용 영역 맵 상에서의 상기 검증용 대상 시간 범위 동안 상기 대상 차량의 상기 주행 경로에 대응하는 상기 검증용 경로 정보를 참조하여, 상기 궤적 벡터를 생성하는 프로세스, 및 (iii) 상기 주행 기록 정보를 참조로 하여 획득된, 제(T+1) 시점 내지 제(T+K) 시점 - K는 임의의 정수임 - 을 포함하는 주의 시간 범위 내에서 상기 대상 차량에 적어도 하나의 사고가 일어났는지 여부에 대한 사고 정보를 이용하여, 상기 GT 충돌 확률을 획득하는 프로세스를 수행하는 단계;
    를 더 포함하는 것을 특징으로 하는 방법.
  7. 제 1항에 있어서,
    상기 (a) 단계 이전에,
    (a2) 상기 학습 장치가, (i) 상기 검증용 대상 시간 범위에 대응하는 상기 검증용 상황 정보 - 상기 검증용 상황 정보는, (1) 상기 대상 차량에 대한 적어도 하나의 주행 기록 정보를 참조하여 획득된, (1-1) 상기 대상 차량에 대한 적어도 하나의 대상 위치 정보와 (1-2) 상기 대상 차량에 대한 적어도 하나의 대상 속도 정보, 및 (2) 상기 주변 차량 중 적어도 일부와 통신하기 위해 이용될, 상기 대상 차량에 설치된 적어도 하나의 V2X(vehicle to everything) 통신 모듈을 이용하여 획득된, (2-1) 상기 주변 물체 중 주변 차량의 적어도 일부에 대한 적어도 하나의 주변 위치 정보와 (2-2) 상기 주변 차량의 적어도 일부에 대한 적어도 하나의 주변 속도 정보를 포함함 - 를 이용하여 상기 상태 벡터를 생성하는 프로세스, (ii) 상기 주행 기록 정보를 참조로 하여 획득된, 검증용 영역 맵 상에서의 상기 검증용 대상 시간 범위 동안 상기 대상 차량의 상기 주행 경로에 대응하는 상기 검증용 경로 정보를 이용하여, 상기 궤적 벡터를 생성하는 프로세스, 및 (iii) 상기 주행 기록 정보를 참조로 하여 획득된, 제(T+1) 시점 내지 제(T+K) 시점 - K는 임의의 정수임 - 을 포함하는 주의 시간 범위 내에서 상기 대상 차량에 적어도 하나의 사고가 일어났는지 여부에 대한 사고 정보를 이용하여, 상기 GT 충돌 확률을 획득하는 프로세스를 수행하는 단계;
    를 더 포함하는 것을 특징으로 하는 방법.
  8. 제 1항에 있어서,
    상기 (a) 단계 이전에,
    (a3) 상기 학습 장치가, 상기 대상 차량 및 상기 주변 물체를 포함하는 적어도 하나의 가상 세계를 시뮬레이팅(simulating)하는 적어도 하나의 시뮬레이팅 장치와 통신하여, (i) 상기 시뮬레이팅 장치로부터 획득된, (i-1) 상기 대상 차량에 대한 적어도 하나의 대상 위치 정보, (i-2) 상기 대상 차량에 대한 적어도 하나의 대상 속도 정보, (i-3) 상기 주변 물체 중 주변 차량의 적어도 일부에 대한 적어도 하나의 주변 위치 정보, 및 (i-4) 상기 검증용 대상 시간 범위에 대응하는 상기 주변 차량의 적어도 일부에 대한 하나 이상의 주변 속도 정보를 포함하는 상기 검증용 상황 정보를 이용하여, 상기 상태 벡터를 생성하는 프로세스, (ii) 상기 시뮬레이팅 장치로부터 획득된, 검증용 영역 맵 상에서의 상기 검증용 대상 시간 범위 동안 상기 대상 차량의 상기 주행 경로에 대응하는 상기 검증용 경로 정보를 이용하여, 상기 궤적 벡터를 생성하는 프로세스, 및 (iii) 상기 시뮬레이팅 장치로부터 획득된, 제(T+1) 시점 내지 제(T+K) 시점 - K는 임의의 정수임 - 을 포함하는 주의 시간 범위 내에 상기 대상 차량에 적어도 하나의 사고가 일어났는지 여부에 대한 적어도 하나의 사고 정보를 이용하여, 상기 GT 충돌 확률을 획득하는 프로세스를 수행하는 단계;
    를 더 포함하는 것을 특징으로 하는 방법.
  9. 제 1항에 있어서,
    상기 대상 모션 정보는, (i-1) 상기 대상 차량에 대한 적어도 하나의 대상 위치 정보, (i-2) 상기 대상 차량에 대한 적어도 하나의 대상 속도 정보 및 (i-3) 상기 대상 차량에 대한 적어도 하나의 대상 가속 정보 중 적어도 일부를 포함하고,
    상기 주변 모션 정보는, (ii-1) 상기 주변 물체 중 적어도 일부에 대한 적어도 하나의 주변 위치 정보, (ii-2) 상기 주변 물체 중 적어도 일부에 대한 적어도 하나의 주변 속도 정보 및 (ii-3) 상기 주변 물체 중 적어도 일부에 대한 적어도 하나의 주변 가속 정보 중 적어도 일부를 포함하는 것을 특징으로 하는 방법.
  10. 운전자의 최근 주행 경로를 이에 대응하는 시간 범위의 주변 상황과 관련하여 분석함으로써, 자율 주행이 가능한 차량의 주행 모드 전환이 적절한지 여부를 판단하기 위해 이용될 충돌 확률을 계산하는 테스팅 방법에 있어서,
    (a) (1) 학습 장치가, (i) 제1 시점 내지 제T 시점을 포함하는 학습용 검증용 대상 시간 범위 내 (i-1) 적어도 하나의 학습용 대상 차량에 대한 적어도 하나의 학습용 대상 모션 정보 및 (i-2) 상기 학습용 대상 차량으로부터 임계 거리 이하에 위치한 하나 이상의 학습용 주변 물체 중 적어도 일부에 대한 하나 이상의 학습용 주변 모션 정보 중에서 적어도 일부를 포함하는 적어도 하나의 학습용 검증용 상황 정보에 대응하는 적어도 하나의 학습용 상태 벡터, 및 (ii) 상기 학습용 검증용 대상 시간 범위 내에 상기 학습용 대상 차량이 주행한 적어도 하나의 학습용 주행 경로에 대한 적어도 하나의 학습용 검증용 경로 정보에 대응하는 적어도 하나의 학습용 궤적 벡터가 획득되면, (i) 상태 네트워크로 하여금, 상기 학습용 상태 벡터에 적어도 하나의 제1 뉴럴 네트워크 연산을 가하여 적어도 하나의 학습용 상태 특징 맵을 생성하도록 하는 프로세스 및 (ii) 궤적 네트워크로 하여금, 상기 학습용 궤적 벡터에 적어도 하나의 제2 뉴럴 네트워크 연산을 가하여 적어도 하나의 학습용 궤적 특징 맵을 생성하도록 하는 프로세스를 수행하고, (2) 상기 학습 장치가, 상기 학습용 상태 특징 맵 및 상기 학습용 궤적 특징 맵에 대응하는 적어도 하나의 학습용 컨캐터네이팅된 특징 맵이 획득되면, 안전성 네트워크로 하여금, 상기 학습용 컨캐터네이팅된 특징 맵에 적어도 하나의 제3 뉴럴 네트워크 연산을 가하여, 상기 학습용 검증용 상황 정보에 의해 규정되는 학습용 상황에 관한 상기 학습용 검증용 경로 정보에 대응하는 상기 학습용 주행 경로에 의한 적어도 하나의 학습용 사고가 발생할 것으로 예측되는 확률인 적어도 하나의 학습용 예측 충돌 확률을 산출하도록 하며, (3) 상기 학습 장치가, 로스 레이어로 하여금, 상기 학습용 예측 충돌 확률 및 기획득된 적어도 하나의 GT 충돌 확률을 참조하여 적어도 하나의 로스를 생성하도록 하고, 이를 이용해 백프로퍼게이션을 수행하도록 함으로써 상기 안전성 네트워크, 상기 궤적 네트워크 및 상기 상태 네트워크의 파라미터 중 적어도 일부를 학습한 상태에서, 테스팅 장치가, (i) 제1' 시점 내지 제T' 시점을 포함하는 테스트용 검증용 대상 시간 범위 내 (i-1) 적어도 하나의 테스트용 대상 차량에 대한 적어도 하나의 테스트용 대상 모션 정보 및 (i-2) 상기 테스트용 대상 차량으로부터 임계 거리 이하에 위치한 하나 이상의 테스트용 주변 물체 중 적어도 일부에 대한 하나 이상의 테스트용 주변 모션 정보 중에서 적어도 일부를 포함하는 적어도 하나의 테스트용 검증용 상황 정보에 대응하는 적어도 하나의 테스트용 상태 벡터, 및 (ii) 상기 테스트용 검증용 대상 시간 범위 내에 상기 테스트용 대상 차량이 주행한 적어도 하나의 테스트용 주행 경로에 대한 적어도 하나의 테스트용 검증용 경로 정보에 대응하는 적어도 하나의 테스트용 궤적 벡터가 획득되면, (i) 상기 상태 네트워크로 하여금, 상기 테스트용 상태 벡터에 상기 적어도 하나의 제1 뉴럴 네트워크 연산을 가하여 적어도 하나의 테스트용 상태 특징 맵을 생성하도록 하는 프로세스 및 (ii) 상기 궤적 네트워크로 하여금, 상기 테스트용 궤적 벡터에 상기 적어도 하나의 제2 뉴럴 네트워크 연산을 가하여 적어도 하나의 테스트용 궤적 특징 맵을 생성하도록 하는 프로세스를 수행하는 단계; 및
    (b) 상기 테스팅 장치가, 상기 테스트용 상태 특징 맵 및 상기 테스트용 궤적 특징 맵에 대응하는 적어도 하나의 테스트용 컨캐터네이팅된 특징 맵이 획득되면, 상기 안전성 네트워크로 하여금, 상기 테스트용 컨캐터네이팅된 특징 맵에 상기 적어도 하나의 제3 뉴럴 네트워크 연산을 가하여, 상기 테스트용 검증용 상황 정보에 의해 규정되는 테스트용 상황에 관한 상기 테스트용 검증용 경로 정보에 대응하는 상기 테스트용 주행 경로에 의한 적어도 하나의 테스트용 사고가 발생할 것으로 예측되는 확률인 적어도 하나의 테스트용 예측 충돌 확률을 산출하도록 하는 단계;
    를 포함하는 것을 특징으로 하는 테스팅 방법.
  11. 제 10항에 있어서,
    상기 (a) 단계에서,
    상기 테스팅 장치가, 상기 테스트용 대상 차량과 연동된 적어도 하나의 테스트용 기지국 서버와 통신하여, (i) 상기 테스트용 기지국 서버로부터 획득된, (i-1) 상기 테스트용 대상 차량에 대한 적어도 하나의 테스트용 대상 위치 정보, (i-2) 상기 테스트용 대상 차량에 대한 적어도 하나의 테스트용 대상 속도 정보, (i-3) 상기 테스트용 주변 물체 중 테스트용 주변 차량의 적어도 일부에 대한 적어도 하나의 테스트용 주변 위치 정보 및 (i-4) 상기 테스트용 검증용 대상 시간 범위에 대응하는, 상기 테스트용 주변 차량의 적어도 일부에 대한 적어도 하나의 테스트용 주변 속도 정보를 포함하는 상기 테스트용 검증용 상황 정보를 이용하여, 상기 테스트용 상태 벡터를 생성하는 프로세스, 및 (ii) 상기 테스트용 기지국 서버로부터 획득된, 테스트용 검증용 영역 맵 상에서의 상기 테스트용 검증용 대상 시간 범위 동안 상기 테스트용 대상 차량의 상기 테스트용 주행 경로에 대응하는 상기 테스트용 검증용 경로 정보를 참조하여 상기 테스트용 궤적 벡터를 생성하는 프로세스를 수행하는 것을 특징으로 하는 테스팅 방법.
  12. 제 10항에 있어서,
    상기 (a) 단계에서,
    상기 테스팅 장치가, (i) 상기 테스트용 검증용 대상 시간 범위에 대응하는 상기 테스트용 검증용 상황 정보 - 상기 테스트용 검증용 상황 정보는, (1) 상기 테스트용 대상 차량에 포함된 테스트용 GPS 및 테스트용 속도 제어 유닛 중 적어도 하나로부터 획득된, (1-1) 상기 테스트용 대상 차량의 적어도 하나의 테스트용 대상 위치 정보와 (1-2) 상기 테스트용 대상 차량의 적어도 하나의 테스트용 대상 속도 정보, 및 (2) 상기 테스트용 대상 차량의 적어도 하나의 테스트용 대상 카메라를 통해 상기 테스트용 검증용 대상 시간 범위 동안 기록된 적어도 하나의 테스트용 주행 영상을 참조하여 획득된, (2-1) 상기 테스트용 주변 물체 중 테스트용 주변 차량의 적어도 일부에 대한 적어도 하나의 테스트용 주변 위치 정보와 (2-2) 상기 테스트용 주변 물체 중 상기 테스트용 주변 차량의 적어도 일부에 대한 적어도 하나의 테스트용 주변 속도 정보를 포함함 - 를 이용하여 상기 테스트용 상태 벡터를 생성하는 프로세스, 및 (ii) 상기 테스트용 대상 차량에 포함된 테스트용 플래닝(planning) 유닛으로부터 획득된, 테스트용 검증용 영역 맵 상에서의 상기 테스트용 검증용 대상 시간 범위 동안 상기 테스트용 대상 차량의 상기 테스트용 주행 경로에 대응하는 상기 테스트용 검증용 경로 정보를 참조하여, 상기 테스트용 궤적 벡터를 생성하는 프로세스를 수행하는 것을 특징으로 하는 테스팅 방법.
  13. 제 10항에 있어서,
    상기 (a) 단계에서,
    상기 테스팅 장치가, (i) 상기 테스트용 검증용 대상 시간 범위에 대응하는 상기 테스트용 검증용 상황 정보 - 상기 테스트용 검증용 상황 정보는, (1) 상기 테스트용 대상 차량에 포함된 테스트용 GPS 및 테스트용 속도 제어 유닛 중 적어도 하나로부터 획득된, (1-1) 상기 테스트용 대상 차량의 적어도 하나의 테스트용 대상 위치 정보와 (1-2) 상기 테스트용 대상 차량의 적어도 하나의 테스트용 대상 속도 정보, 및 (2) 상기 테스트용 대상 차량에 포함된 테스트용 V2X 통신 모듈을 이용하여 상기 테스트용 검증용 대상 시간 범위 동안 획득된, (2-1) 상기 테스트용 주변 물체 중 테스트용 주변 차량의 적어도 일부에 대한 적어도 하나의 테스트용 주변 위치 정보와 (2-2) 상기 테스트용 주변 물체 중 테스트용 주변 차량의 적어도 일부에 대한 적어도 하나의 테스트용 주변 속도 정보를 포함함 - 를 이용하여 상기 테스트용 상태 벡터를 생성하는 프로세스, 및 (ii) 상기 테스트용 대상 차량에 포함된 테스트용 플래닝 유닛으로부터 획득된, 테스트용 검증용 영역 맵 상에서의 상기 테스트용 검증용 대상 시간 범위 동안 상기 테스트용 대상 차량의 상기 테스트용 주행 경로에 대응하는 상기 테스트용 검증용 경로 정보를 참조하여, 상기 테스트용 궤적 벡터를 생성하는 프로세스를 수행하는 것을 특징으로 하는 테스팅 방법.
  14. 제 10항에 있어서,
    (c) 상기 테스팅 장치가, 상기 테스트용 예측 충돌 확률이 임계치보다 크며, 상기 테스트용 대상 차량의 주행 모드가 수동 주행 모드인 경우, 상기 테스트용 대상 차량으로 하여금 상기 주행 모드를 자율 주행 모드로 변경하도록 하는 단계;
    를 더 포함하는 것을 특징으로 하는 테스팅 방법.
  15. 운전자의 최근 주행 경로를 이에 대응하는 시간 범위의 주변 상황과 관련하여 분석함으로써, 자율 주행이 가능한 차량의 주행 모드 전환이 적절한지 여부를 판단하기 위해 이용될 충돌 확률을 계산하는 학습 장치에 있어서,
    인스트럭션을 저장하는 적어도 하나의 메모리; 및
    (I) (i) 제1 시점 내지 제T 시점을 포함하는 검증용 대상 시간 범위 내 (i-1) 적어도 하나의 대상 차량에 대한 적어도 하나의 대상 모션 정보 및 (i-2) 상기 대상 차량으로부터 임계 거리 이하에 위치한 하나 이상의 주변 물체 중 적어도 일부에 대한 하나 이상의 주변 모션 정보 중에서 적어도 일부를 포함하는 적어도 하나의 검증용 상황 정보에 대응하는 적어도 하나의 상태 벡터, 및 (ii) 상기 검증용 대상 시간 범위 내에 상기 대상 차량이 주행한 적어도 하나의 주행 경로에 대한 적어도 하나의 검증용 경로 정보에 대응하는 적어도 하나의 궤적 벡터가 획득되면, (i) 상태 네트워크로 하여금, 상기 상태 벡터에 적어도 하나의 제1 뉴럴 네트워크 연산을 가하여 적어도 하나의 상태 특징 맵을 생성하도록 하는 프로세스 및 (ii) 궤적 네트워크로 하여금, 상기 궤적 벡터에 적어도 하나의 제2 뉴럴 네트워크 연산을 가하여 적어도 하나의 궤적 특징 맵을 생성하도록 하는 프로세스를 수행하는 프로세스, (II) 상기 상태 특징 맵 및 상기 궤적 특징 맵에 대응하는 적어도 하나의 컨캐터네이팅(concatenating)된 특징 맵이 획득되면, 안전성 네트워크로 하여금, 상기 컨캐터네이팅된 특징 맵에 적어도 하나의 제3 뉴럴 네트워크 연산을 가하여, 상기 검증용 상황 정보에 의해 규정되는 상황에 관한 상기 검증용 경로 정보에 대응하는 상기 주행 경로에 의한 적어도 하나의 사고가 발생할 것으로 예측되는 확률인 적어도 하나의 예측 충돌 확률을 산출하도록 하는 프로세스, 및 (III) 로스 레이어로 하여금, 상기 예측 충돌 확률 및 기획득된 적어도 하나의 GT(Ground Truth) 충돌 확률을 참조하여 적어도 하나의 로스를 생성하도록 하고, 이를 이용해 백프로퍼게이션(backpropagation)을 수행하도록 함으로써 상기 안전성 네트워크, 상기 궤적 네트워크 및 상기 상태 네트워크의 파라미터 중 적어도 일부를 학습하는 프로세스를 수행하기 위한 상기 인스트럭션을 실행하도록 구성된 적어도 하나의 프로세서;
    를 포함하는 것을 특징으로 하는 학습 장치.
  16. 제 15항에 있어서,
    상기 (I) 프로세스에서,
    상기 프로세서가, (i) 상기 상태 네트워크의 적어도 하나의 제1 컨벌루션 레이어로 하여금 상기 상태 벡터에 적어도 하나의 제1 컨벌루션 연산을 가하여 적어도 하나의 제(1-1) 특징 맵을 생성하도록 하고, (ii) 상기 상태 네트워크의 적어도 하나의 제1 풀링 레이어로 하여금 상기 제(1-1) 특징 맵에 적어도 하나의 제1 풀링 연산을 가하여 적어도 하나의 제(1-2) 특징 맵을 생성하도록 하며, (iii) 적어도 하나의 제1 FC(Fully-Connected) 레이어로 하여금 상기 제(1-2) 특징 맵에 적어도 하나의 제1 FC 연산을 가하여 상기 상태 특징 맵을 생성하도록 하는 것을 특징으로 하는 학습 장치.
  17. 제 15항에 있어서,
    상기 (I) 프로세스에서,
    상기 프로세서가, (i) 상기 궤적 네트워크의 적어도 하나의 제2 컨벌루션 레이어로 하여금 상기 궤적 벡터에 적어도 하나의 제2 컨벌루션 연산을 가하여 적어도 하나의 제(2-1) 특징 맵을 생성하도록 하고, (ii) 상기 궤적 네트워크의 적어도 하나의 제2 풀링 레이어로 하여금 상기 제(2-1) 특징 맵에 적어도 하나의 제2 풀링 연산을 가하여 적어도 하나의 제(2-2) 특징 맵을 생성하도록 하며, (iii) 적어도 하나의 제2 FC 레이어로 하여금 상기 제(2-2) 특징 맵에 적어도 하나의 제2 FC 연산을 가하여 상기 궤적 특징 맵을 생성하도록 하는 것을 특징으로 하는 학습 장치.
  18. 제 15항에 있어서,
    상기 (II) 프로세스에서,
    상기 프로세서가, (i) 적어도 하나의 컨캐터네이팅 레이어로 하여금 상기 상태 특징 맵 및 상기 궤적 특징 맵을 컨캐터네이팅하여 상기 컨캐터네이팅된 특징 맵을 생성하도록 하고, (ii) 상기 안전성 네트워크의 적어도 하나의 제3 컨벌루션 레이어로 하여금 상기 컨캐터네이팅된 특징 맵에 적어도 하나의 제3 컨벌루션 연산을 가하여 적어도 하나의 제(3-1) 특징 맵을 생성하도록 하며, (iii) 상기 안전성 네트워크의 적어도 하나의 제3 풀링 레이어로 하여금 상기 제(3-1) 특징 맵에 적어도 하나의 제3 풀링 연산을 가하여 적어도 하나의 제(3-2) 특징 맵을 생성하도록 하고, (iv) 적어도 하나의 제3 FC 레이어로 하여금 상기 제(3-2) 특징 맵에 적어도 하나의 제3 FC 연산을 가하여 상기 예측 충돌 확률을 산출하도록 하는 것을 특징으로 하는 학습 장치.
  19. 제 15항에 있어서,
    상기 (I) 프로세스 이전에,
    상기 프로세서가, (I0) 상기 대상 차량과 연동된 적어도 하나의 기지국 서버와 통신하여, (i) 상기 기지국 서버로부터 획득된, (i-1) 상기 대상 차량에 대한 적어도 하나의 대상 위치 정보, (i-2) 상기 대상 차량에 대한 적어도 하나의 대상 속도 정보, (i-3) 상기 주변 물체 중 주변 차량의 적어도 일부에 대한 적어도 하나의 주변 위치 정보 및 (i-4) 상기 검증용 대상 시간 범위에 대응하는, 상기 주변 차량의 적어도 일부에 대한 적어도 하나의 주변 속도 정보를 포함하는 상기 검증용 상황 정보를 이용하여, 상기 상태 벡터를 생성하는 프로세스, (ii) 상기 기지국 서버로부터 획득된, 검증용 영역 맵 상에서의 상기 검증용 대상 시간 범위 동안 상기 대상 차량의 상기 주행 경로에 대응하는 상기 검증용 경로 정보를 이용하여 상기 궤적 벡터를 생성하는 프로세스, 및 (iii) 상기 기지국 서버로부터 획득된, 제(T+1) 시점 내지 제(T+K) 시점 - K는 임의의 정수임 - 을 포함하는 주의 시간 범위 내에 상기 대상 차량에 적어도 하나의 사고가 일어났는지 여부에 대한 사고 정보를 이용하여, 상기 GT 충돌 확률을 획득하는 프로세스를 수행하는 프로세스를 더 수행하는 것을 특징으로 하는 학습 장치.
  20. 제 15항에 있어서,
    상기 (I) 프로세스 이전에,
    상기 프로세서가, (I1) (i) 상기 검증용 대상 시간 범위에 대응하는 상기 검증용 상황 정보 - 상기 검증용 상황 정보는, (1) 상기 대상 차량에 대한 적어도 하나의 주행 기록 정보를 참조하여 획득된, (1-1) 상기 대상 차량에 대한 적어도 하나의 대상 위치 정보와 (1-2) 상기 대상 차량에 대한 적어도 하나의 대상 속도 정보, 및 (2) 상기 대상 차량의 적어도 하나의 대상 카메라를 통해 상기 검증용 대상 시간 범위 동안에 기록된 적어도 하나의 주행 영상을 참조하여 획득된, (2-1) 상기 주변 물체 중 주변 차량의 적어도 일부에 대한 적어도 하나의 주변 위치 정보와 (2-2) 상기 주변 차량의 적어도 일부에 대한 적어도 하나의 주변 속도 정보를 포함함 - 를 이용하여 상기 상태 벡터를 생성하는 프로세스, (ii) 상기 주행 기록 정보를 참조로 하여 획득된, 검증용 영역 맵 상에서의 상기 검증용 대상 시간 범위 동안 상기 대상 차량의 상기 주행 경로에 대응하는 상기 검증용 경로 정보를 참조하여, 상기 궤적 벡터를 생성하는 프로세스, 및 (iii) 상기 주행 기록 정보를 참조로 하여 획득된, 제(T+1) 시점 내지 제(T+K) 시점 - K는 임의의 정수임 - 을 포함하는 주의 시간 범위 내에서 상기 대상 차량에 적어도 하나의 사고가 일어났는지 여부에 대한 사고 정보를 이용하여, 상기 GT 충돌 확률을 획득하는 프로세스를 수행하는 프로세스를 더 수행하는 것을 특징으로 하는 학습 장치.
  21. 제 15항에 있어서,
    상기 (I) 프로세스 이전에,
    상기 프로세서가, (I2) (i) 상기 검증용 대상 시간 범위에 대응하는 상기 검증용 상황 정보 - 상기 검증용 상황 정보는, (1) 상기 대상 차량에 대한 적어도 하나의 주행 기록 정보를 참조하여 획득된, (1-1) 상기 대상 차량에 대한 적어도 하나의 대상 위치 정보와 (1-2) 상기 대상 차량에 대한 적어도 하나의 대상 속도 정보, 및 (2) 상기 주변 차량 중 적어도 일부와 통신하기 위해 이용될, 상기 대상 차량에 설치된 적어도 하나의 V2X(vehicle to everything) 통신 모듈을 이용하여 획득된, (2-1) 상기 주변 물체 중 주변 차량의 적어도 일부에 대한 적어도 하나의 주변 위치 정보와 (2-2) 상기 주변 차량의 적어도 일부에 대한 적어도 하나의 주변 속도 정보를 포함함 - 를 이용하여 상기 상태 벡터를 생성하는 프로세스, (ii) 상기 주행 기록 정보를 참조로 하여 획득된, 검증용 영역 맵 상에서의 상기 검증용 대상 시간 범위 동안 상기 대상 차량의 상기 주행 경로에 대응하는 상기 검증용 경로 정보를 이용하여, 상기 궤적 벡터를 생성하는 프로세스, 및 (iii) 상기 주행 기록 정보를 참조로 하여 획득된, 제(T+1) 시점 내지 제(T+K) 시점 - K는 임의의 정수임 - 을 포함하는 주의 시간 범위 내에서 상기 대상 차량에 적어도 하나의 사고가 일어났는지 여부에 대한 사고 정보를 이용하여, 상기 GT 충돌 확률을 획득하는 프로세스를 수행하는 프로세스를 더 수행하는 것을 특징으로 하는 학습 장치.
  22. 제 15항에 있어서,
    상기 (I) 프로세스 이전에,
    상기 프로세서가, (I3) 상기 대상 차량 및 상기 주변 물체를 포함하는 적어도 하나의 가상 세계를 시뮬레이팅(simulating)하는 적어도 하나의 시뮬레이팅 장치와 통신하여, (i) 상기 시뮬레이팅 장치로부터 획득된, (i-1) 상기 대상 차량에 대한 적어도 하나의 대상 위치 정보, (i-2) 상기 대상 차량에 대한 적어도 하나의 대상 속도 정보, (i-3) 상기 주변 물체 중 주변 차량의 적어도 일부에 대한 적어도 하나의 주변 위치 정보, 및 (i-4) 상기 검증용 대상 시간 범위에 대응하는 상기 주변 차량의 적어도 일부에 대한 하나 이상의 주변 속도 정보를 포함하는 상기 검증용 상황 정보를 이용하여, 상기 상태 벡터를 생성하는 프로세스, (ii) 상기 시뮬레이팅 장치로부터 획득된, 검증용 영역 맵 상에서의 상기 검증용 대상 시간 범위 동안 상기 대상 차량의 상기 주행 경로에 대응하는 상기 검증용 경로 정보를 이용하여, 상기 궤적 벡터를 생성하는 프로세스, 및 (iii) 상기 시뮬레이팅 장치로부터 획득된, 제(T+1) 시점 내지 제(T+K) 시점 - K는 임의의 정수임 - 을 포함하는 주의 시간 범위 내에 상기 대상 차량에 적어도 하나의 사고가 일어났는지 여부에 대한 적어도 하나의 사고 정보를 이용하여, 상기 GT 충돌 확률을 획득하는 프로세스를 수행하는 프로세스를 더 수행하는 것을 특징으로 하는 학습 장치.
  23. 제 15항에 있어서,
    상기 대상 모션 정보는, (i-1) 상기 대상 차량에 대한 적어도 하나의 대상 위치 정보, (i-2) 상기 대상 차량에 대한 적어도 하나의 대상 속도 정보 및 (i-3) 상기 대상 차량에 대한 적어도 하나의 대상 가속 정보 중 적어도 일부를 포함하고,
    상기 주변 모션 정보는, (ii-1) 상기 주변 물체 중 적어도 일부에 대한 적어도 하나의 주변 위치 정보, (ii-2) 상기 주변 물체 중 적어도 일부에 대한 적어도 하나의 주변 속도 정보 및 (ii-3) 상기 주변 물체 중 적어도 일부에 대한 적어도 하나의 주변 가속 정보 중 적어도 일부를 포함하는 것을 특징으로 하는 학습 장치.
  24. 운전자의 최근 주행 경로를 이에 대응하는 시간 범위의 주변 상황과 관련하여 분석함으로써, 자율 주행이 가능한 차량의 주행 모드 전환이 적절한지 여부를 판단하기 위해 이용될 충돌 확률을 계산하는 테스팅 장치에 있어서,
    인스트럭션을 저장하는 적어도 하나의 메모리; 및
    (I) (1) 학습 장치가, (i) 제1 시점 내지 제T 시점을 포함하는 학습용 검증용 대상 시간 범위 내 (i-1) 적어도 하나의 학습용 대상 차량에 대한 적어도 하나의 학습용 대상 모션 정보 및 (i-2) 상기 학습용 대상 차량으로부터 임계 거리 이하에 위치한 하나 이상의 학습용 주변 물체 중 적어도 일부에 대한 하나 이상의 학습용 주변 모션 정보 중에서 적어도 일부를 포함하는 적어도 하나의 학습용 검증용 상황 정보에 대응하는 적어도 하나의 학습용 상태 벡터, 및 (ii) 상기 학습용 검증용 대상 시간 범위 내에 상기 학습용 대상 차량이 주행한 적어도 하나의 학습용 주행 경로에 대한 적어도 하나의 학습용 검증용 경로 정보에 대응하는 적어도 하나의 학습용 궤적 벡터가 획득되면, (i) 상태 네트워크로 하여금, 상기 학습용 상태 벡터에 적어도 하나의 제1 뉴럴 네트워크 연산을 가하여 적어도 하나의 학습용 상태 특징 맵을 생성하도록 하는 프로세스 및 (ii) 궤적 네트워크로 하여금, 상기 학습용 궤적 벡터에 적어도 하나의 제2 뉴럴 네트워크 연산을 가하여 적어도 하나의 학습용 궤적 특징 맵을 생성하도록 하는 프로세스를 수행하고, (2) 상기 학습 장치가, 상기 학습용 상태 특징 맵 및 상기 학습용 궤적 특징 맵에 대응하는 적어도 하나의 학습용 컨캐터네이팅된 특징 맵이 획득되면, 안전성 네트워크로 하여금, 상기 학습용 컨캐터네이팅된 특징 맵에 적어도 하나의 제3 뉴럴 네트워크 연산을 가하여, 상기 학습용 검증용 상황 정보에 의해 규정되는 학습용 상황에 관한 상기 학습용 검증용 경로 정보에 대응하는 상기 학습용 주행 경로에 의한 적어도 하나의 학습용 사고가 발생할 것으로 예측되는 확률인 적어도 하나의 학습용 예측 충돌 확률을 산출하도록 하며, (3) 상기 학습 장치가, 로스 레이어로 하여금, 상기 학습용 예측 충돌 확률 및 기획득된 적어도 하나의 GT 충돌 확률을 참조하여 적어도 하나의 로스를 생성하도록 하고, 이를 이용해 백프로퍼게이션을 수행하도록 함으로써 상기 안전성 네트워크, 상기 궤적 네트워크 및 상기 상태 네트워크의 파라미터 중 적어도 일부를 학습한 상태에서, (i) 제1' 시점 내지 제T' 시점을 포함하는 테스트용 검증용 대상 시간 범위 내 (i-1) 적어도 하나의 테스트용 대상 차량에 대한 적어도 하나의 테스트용 대상 모션 정보 및 (i-2) 상기 테스트용 대상 차량으로부터 임계 거리 이하에 위치한 하나 이상의 테스트용 주변 물체 중 적어도 일부에 대한 하나 이상의 테스트용 주변 모션 정보 중에서 적어도 일부를 포함하는 적어도 하나의 테스트용 검증용 상황 정보에 대응하는 적어도 하나의 테스트용 상태 벡터, 및 (ii) 상기 테스트용 검증용 대상 시간 범위 내에 상기 테스트용 대상 차량이 주행한 적어도 하나의 테스트용 주행 경로에 대한 적어도 하나의 테스트용 검증용 경로 정보에 대응하는 적어도 하나의 테스트용 궤적 벡터가 획득되면, (i) 상기 상태 네트워크로 하여금, 상기 테스트용 상태 벡터에 상기 적어도 하나의 제1 뉴럴 네트워크 연산을 가하여 적어도 하나의 테스트용 상태 특징 맵을 생성하도록 하는 프로세스 및 (ii) 상기 궤적 네트워크로 하여금, 상기 테스트용 궤적 벡터에 상기 적어도 하나의 제2 뉴럴 네트워크 연산을 가하여 적어도 하나의 테스트용 궤적 특징 맵을 생성하도록 하는 프로세스를 수행하는 프로세스, 및 (II) 상기 테스트용 상태 특징 맵 및 상기 테스트용 궤적 특징 맵에 대응하는 적어도 하나의 테스트용 컨캐터네이팅된 특징 맵이 획득되면, 상기 안전성 네트워크로 하여금, 상기 테스트용 컨캐터네이팅된 특징 맵에 상기 적어도 하나의 제3 뉴럴 네트워크 연산을 가하여, 상기 테스트용 검증용 상황 정보에 의해 규정되는 테스트용 상황에 관한 상기 테스트용 검증용 경로 정보에 대응하는 상기 테스트용 주행 경로에 의한 적어도 하나의 테스트용 사고가 발생할 것으로 예측되는 확률인 적어도 하나의 테스트용 예측 충돌 확률을 산출하도록 하는 프로세스를 수행하기 위한 상기 인스트럭션을 실행하도록 구성된 적어도 하나의 프로세서;
    를 포함하는 것을 특징으로 하는 테스팅 장치.
  25. 제 24항에 있어서,
    상기 (I) 프로세스에서,
    상기 프로세서가, 상기 테스트용 대상 차량과 연동된 적어도 하나의 테스트용 기지국 서버와 통신하여, (i) 상기 테스트용 기지국 서버로부터 획득된, (i-1) 상기 테스트용 대상 차량에 대한 적어도 하나의 테스트용 대상 위치 정보, (i-2) 상기 테스트용 대상 차량에 대한 적어도 하나의 테스트용 대상 속도 정보, (i-3) 상기 테스트용 주변 물체 중 테스트용 주변 차량의 적어도 일부에 대한 적어도 하나의 테스트용 주변 위치 정보 및 (i-4) 상기 테스트용 검증용 대상 시간 범위에 대응하는, 상기 테스트용 주변 차량의 적어도 일부에 대한 적어도 하나의 테스트용 주변 속도 정보를 포함하는 상기 테스트용 검증용 상황 정보를 이용하여, 상기 테스트용 상태 벡터를 생성하는 프로세스, 및 (ii) 상기 테스트용 기지국 서버로부터 획득된, 테스트용 검증용 영역 맵 상에서의 상기 테스트용 검증용 대상 시간 범위 동안 상기 테스트용 대상 차량의 상기 테스트용 주행 경로에 대응하는 상기 테스트용 검증용 경로 정보를 참조하여 상기 테스트용 궤적 벡터를 생성하는 프로세스를 수행하는 것을 특징으로 하는 테스팅 장치.
  26. 제 24항에 있어서,
    상기 (I) 프로세스에서,
    상기 프로세서가, (i) 상기 테스트용 검증용 대상 시간 범위에 대응하는 상기 테스트용 검증용 상황 정보 - 상기 테스트용 검증용 상황 정보는, (1) 상기 테스트용 대상 차량에 포함된 테스트용 GPS 및 테스트용 속도 제어 유닛 중 적어도 하나로부터 획득된, (1-1) 상기 테스트용 대상 차량의 적어도 하나의 테스트용 대상 위치 정보와 (1-2) 상기 테스트용 대상 차량의 적어도 하나의 테스트용 대상 속도 정보, 및 (2) 상기 테스트용 대상 차량의 적어도 하나의 테스트용 대상 카메라를 통해 상기 테스트용 검증용 대상 시간 범위 동안 기록된 적어도 하나의 테스트용 주행 영상을 참조하여 획득된, (2-1) 상기 테스트용 주변 물체 중 테스트용 주변 차량의 적어도 일부에 대한 적어도 하나의 테스트용 주변 위치 정보와 (2-2) 상기 테스트용 주변 물체 중 상기 테스트용 주변 차량의 적어도 일부에 대한 적어도 하나의 테스트용 주변 속도 정보를 포함함 - 를 이용하여 상기 테스트용 상태 벡터를 생성하는 프로세스, 및 (ii) 상기 테스트용 대상 차량에 포함된 테스트용 플래닝(planning) 유닛으로부터 획득된, 테스트용 검증용 영역 맵 상에서의 상기 테스트용 검증용 대상 시간 범위 동안 상기 테스트용 대상 차량의 상기 테스트용 주행 경로에 대응하는 상기 테스트용 검증용 경로 정보를 참조하여, 상기 테스트용 궤적 벡터를 생성하는 프로세스를 수행하는 것을 특징으로 하는 테스팅 장치.
  27. 제 24항에 있어서,
    상기 (I) 프로세스에서,
    상기 프로세서가, (i) 상기 테스트용 검증용 대상 시간 범위에 대응하는 상기 테스트용 검증용 상황 정보 - 상기 테스트용 검증용 상황 정보는, (1) 상기 테스트용 대상 차량에 포함된 테스트용 GPS 및 테스트용 속도 제어 유닛 중 적어도 하나로부터 획득된, (1-1) 상기 테스트용 대상 차량의 적어도 하나의 테스트용 대상 위치 정보와 (1-2) 상기 테스트용 대상 차량의 적어도 하나의 테스트용 대상 속도 정보, 및 (2) 상기 테스트용 대상 차량에 포함된 테스트용 V2X 통신 모듈을 이용하여 상기 테스트용 검증용 대상 시간 범위 동안 획득된, (2-1) 상기 테스트용 주변 물체 중 테스트용 주변 차량의 적어도 일부에 대한 적어도 하나의 테스트용 주변 위치 정보와 (2-2) 상기 테스트용 주변 물체 중 테스트용 주변 차량의 적어도 일부에 대한 적어도 하나의 테스트용 주변 속도 정보를 포함함 - 를 이용하여 상기 테스트용 상태 벡터를 생성하는 프로세스, 및 (ii) 상기 테스트용 대상 차량에 포함된 테스트용 플래닝 유닛으로부터 획득된, 테스트용 검증용 영역 맵 상에서의 상기 테스트용 검증용 대상 시간 범위 동안 상기 테스트용 대상 차량의 상기 테스트용 주행 경로에 대응하는 상기 테스트용 검증용 경로 정보를 참조하여, 상기 테스트용 궤적 벡터를 생성하는 프로세스를 수행하는 것을 특징으로 하는 테스팅 장치.
  28. 제 24항에 있어서,
    상기 프로세서가, (III) 상기 테스트용 예측 충돌 확률이 임계치보다 크며, 상기 테스트용 대상 차량의 주행 모드가 수동 주행 모드인 경우, 상기 테스트용 대상 차량으로 하여금 상기 주행 모드를 자율 주행 모드로 변경하도록 하는 프로세스를 더 수행하는 것을 특징으로 하는 테스팅 장치.
KR1020200001729A 2019-01-30 2020-01-06 최근 주행 경로에 대한 궤적 기반 행동 분석을 수행하여 차량의 모드를 수동 주행 모드에서 자율 주행 모드로 변경할 지 여부를 판단하는 학습 방법 및 학습 장치 KR102373487B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201962798637P 2019-01-30 2019-01-30
US62/798,637 2019-01-30
US16/724,833 2019-12-23
US16/724,833 US10919543B2 (en) 2019-01-30 2019-12-23 Learning method and learning device for determining whether to switch mode of vehicle from manual driving mode to autonomous driving mode by performing trajectory-based behavior analysis on recent driving route

Publications (2)

Publication Number Publication Date
KR20200094643A true KR20200094643A (ko) 2020-08-07
KR102373487B1 KR102373487B1 (ko) 2022-03-14

Family

ID=69191869

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200001729A KR102373487B1 (ko) 2019-01-30 2020-01-06 최근 주행 경로에 대한 궤적 기반 행동 분석을 수행하여 차량의 모드를 수동 주행 모드에서 자율 주행 모드로 변경할 지 여부를 판단하는 학습 방법 및 학습 장치

Country Status (5)

Country Link
US (1) US10919543B2 (ko)
EP (1) EP3690846A1 (ko)
JP (1) JP6964354B2 (ko)
KR (1) KR102373487B1 (ko)
CN (1) CN111497863B (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11880997B2 (en) 2020-08-28 2024-01-23 Samsung Electronics Co., Ltd. Method and apparatus with pose estimation

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3745310A1 (en) * 2019-05-28 2020-12-02 Robert Bosch GmbH Method for calibrating a multi-sensor system using an artificial neural network
US11427210B2 (en) * 2019-09-13 2022-08-30 Toyota Research Institute, Inc. Systems and methods for predicting the trajectory of an object with the aid of a location-specific latent map
US11299179B2 (en) * 2020-03-10 2022-04-12 GM Global Technology Operations LLC Quality index and real-time forward propagation of virtual controls for smart enablement of automated driving
US20210403056A1 (en) * 2020-06-24 2021-12-30 Toyota Research Institute, Inc. Convolution operator selection
CN112633474B (zh) * 2020-12-20 2022-04-05 东南大学 一种重型营运车辆的后向防撞驾驶决策方法
US11807233B1 (en) * 2020-12-23 2023-11-07 Zoox, Inc. Procedurally generated safety system determination
US20220276657A1 (en) * 2021-03-01 2022-09-01 Samsung Electronics Co., Ltd. Trajectory generation of a robot using a neural network
CN115345261B (zh) * 2022-10-18 2023-02-03 永立数智(北京)科技有限公司 车辆轨迹真实性校验方法、装置及电子设备
CN117475090A (zh) * 2023-12-27 2024-01-30 粤港澳大湾区数字经济研究院(福田) 一种轨迹生成模型、轨迹生成方法、装置、终端及介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015225366A (ja) * 2014-05-26 2015-12-14 株式会社リコー 事故防止システム、事故防止装置、事故防止方法

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7629899B2 (en) * 1997-10-22 2009-12-08 Intelligent Technologies International, Inc. Vehicular communication arrangement and method
US7418346B2 (en) * 1997-10-22 2008-08-26 Intelligent Technologies International, Inc. Collision avoidance methods and systems
JP5189157B2 (ja) * 2010-11-30 2013-04-24 株式会社豊田中央研究所 可動物の目標状態決定装置及びプログラム
JP5878491B2 (ja) * 2013-03-27 2016-03-08 株式会社日本自動車部品総合研究所 運転支援装置
US9594725B1 (en) * 2013-08-28 2017-03-14 Lytx, Inc. Safety score using video data but without video
US10599155B1 (en) * 2014-05-20 2020-03-24 State Farm Mutual Automobile Insurance Company Autonomous vehicle operation feature monitoring and evaluation of effectiveness
WO2016170786A1 (ja) 2015-04-21 2016-10-27 パナソニックＩｐマネジメント株式会社 情報処理システム、情報処理方法、およびプログラム
US9818239B2 (en) * 2015-08-20 2017-11-14 Zendrive, Inc. Method for smartphone-based accident detection
KR102137213B1 (ko) * 2015-11-16 2020-08-13 삼성전자 주식회사 자율 주행을 위한 모델 학습 장치 및 방법과 자율 주행 장치
JP2017162438A (ja) * 2016-03-11 2017-09-14 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 危険予測方法
WO2018057978A1 (en) * 2016-09-23 2018-03-29 Apple Inc. Decision making for autonomous vehicle motion control
JP6731819B2 (ja) * 2016-09-26 2020-07-29 日立オートモティブシステムズ株式会社 移動体軌道予測システム
US10452068B2 (en) * 2016-10-17 2019-10-22 Uber Technologies, Inc. Neural network system for autonomous vehicle control
KR101906197B1 (ko) * 2016-11-07 2018-12-05 엘지전자 주식회사 차량 및 그 제어방법
US10663974B2 (en) * 2016-11-23 2020-05-26 Electronics And Telecommunications Research Institute Object recognition device, autonomous driving system including the same, and object recognition method using the object recognition device
KR101982774B1 (ko) * 2016-11-29 2019-05-27 엘지전자 주식회사 자율 주행 차량
US10254121B2 (en) * 2017-01-23 2019-04-09 Uber Technologies, Inc. Dynamic routing for self-driving vehicles
US10133275B1 (en) * 2017-03-01 2018-11-20 Zoox, Inc. Trajectory generation using temporal logic and tree search
US10324469B2 (en) * 2017-03-28 2019-06-18 Mitsubishi Electric Research Laboratories, Inc. System and method for controlling motion of vehicle in shared environment
US10994729B2 (en) * 2017-03-29 2021-05-04 Mitsubishi Electric Research Laboratories, Inc. System and method for controlling lateral motion of vehicle
US10471963B2 (en) * 2017-04-07 2019-11-12 TuSimple System and method for transitioning between an autonomous and manual driving mode based on detection of a drivers capacity to control a vehicle
US10332320B2 (en) * 2017-04-17 2019-06-25 Intel Corporation Autonomous vehicle advanced sensing and response
US10789835B2 (en) * 2017-05-23 2020-09-29 Uatc, Llc Fractional risk performance evaluation for autonomous vehicles
US10884902B2 (en) * 2017-05-23 2021-01-05 Uatc, Llc Software version verification for autonomous vehicles
US10290074B2 (en) * 2017-05-25 2019-05-14 Uber Technologies, Inc. Coordinating on-demand transportation with autonomous vehicles
WO2018229549A2 (en) * 2017-06-16 2018-12-20 Nauto Global Limited System and method for digital environment reconstruction
JP6992285B2 (ja) * 2017-06-19 2022-01-13 株式会社デンソー 運転支援装置
US10007269B1 (en) * 2017-06-23 2018-06-26 Uber Technologies, Inc. Collision-avoidance system for autonomous-capable vehicle
CN109496288A (zh) * 2017-07-13 2019-03-19 北京嘀嘀无限科技发展有限公司 用于确定轨迹的系统和方法
KR102013590B1 (ko) * 2017-07-18 2019-08-23 엘지전자 주식회사 차량에 구비된 차량 제어 장치 및 차량의 제어방법
US10967862B2 (en) * 2017-11-07 2021-04-06 Uatc, Llc Road anomaly detection for autonomous vehicle
US10943152B2 (en) * 2018-05-23 2021-03-09 Here Global B.V. Method, apparatus, and system for detecting a physical divider on a road segment
US10800408B2 (en) * 2018-05-24 2020-10-13 Baidu Usa Llc Determining driving paths for autonomous driving that avoid moving obstacles
US11091158B2 (en) * 2018-06-24 2021-08-17 Mitsubishi Electric Research Laboratories, Inc. System and method for controlling motion of vehicle with variable speed
US11199842B2 (en) * 2018-06-26 2021-12-14 Baidu Usa Llc Determining driving paths for autonomous driving using parallel processing
US10981564B2 (en) * 2018-08-17 2021-04-20 Ford Global Technologies, Llc Vehicle path planning
US11001256B2 (en) * 2018-09-19 2021-05-11 Zoox, Inc. Collision prediction and avoidance for vehicles
US10896334B2 (en) * 2018-11-28 2021-01-19 Here Global B.V. Method and system of a machine learning model for detection of physical dividers
US11215997B2 (en) * 2018-11-30 2022-01-04 Zoox, Inc. Probabilistic risk assessment for trajectory evaluation
US20200211394A1 (en) * 2018-12-26 2020-07-02 Zoox, Inc. Collision avoidance system

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015225366A (ja) * 2014-05-26 2015-12-14 株式会社リコー 事故防止システム、事故防止装置、事故防止方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11880997B2 (en) 2020-08-28 2024-01-23 Samsung Electronics Co., Ltd. Method and apparatus with pose estimation

Also Published As

Publication number Publication date
CN111497863A (zh) 2020-08-07
KR102373487B1 (ko) 2022-03-14
US20200239029A1 (en) 2020-07-30
JP2020121714A (ja) 2020-08-13
JP6964354B2 (ja) 2021-11-10
US10919543B2 (en) 2021-02-16
CN111497863B (zh) 2023-04-18
EP3690846A1 (en) 2020-08-05

Similar Documents

Publication Publication Date Title
KR20200094643A (ko) 최근 주행 경로에 대한 궤적 기반 행동 분석을 수행하여 차량의 모드를 수동 주행 모드에서 자율 주행 모드로 변경할 지 여부를 판단하는 학습 방법 및 학습 장치
JP6857371B2 (ja) 安全な自律走行を支援する学習方法、そしてこれを利用した学習装置、テスト方法、及びテスト装置
US11328219B2 (en) System and method for training a machine learning model deployed on a simulation platform
CN112703459B (zh) 对抗场景的迭代生成
US10031526B1 (en) Vision-based driving scenario generator for autonomous driving simulation
KR102325028B1 (ko) 강화 학습에 기초하여 협업 주행에서 다중 에이전트 센서 퓨전을 수행하는 방법 및 장치
US10882522B2 (en) Systems and methods for agent tracking
US10997729B2 (en) Real time object behavior prediction
CN110389584A (zh) 用于评估自动驾驶车辆的轨迹候选项的方法
US20190278290A1 (en) Simulation-based method to evaluate perception requirement for autonomous driving vehicles
CN110377025A (zh) 用于自动驾驶车辆的传感器聚合框架
CN110239562A (zh) 自动驾驶车辆的基于周围车辆行为的实时感知调整与驾驶调适
US20200174486A1 (en) Learning-based dynamic modeling methods for autonomous driving vehicles
US11409284B2 (en) Relaxation optimization model to plan an open space trajectory for autonomous vehicles
KR20200039547A (ko) 트래킹 네트워크를 포함한 cnn을 사용하여 객체를 트래킹하는 방법 및 이를 이용한 장치
Belbachir et al. Simulation-driven validation of advanced driving-assistance systems
US20230350399A1 (en) Operational testing of autonomous vehicles
JP2022547611A (ja) 道路シーンにおける多様な長期将来軌道のシミュレーション
US20220198107A1 (en) Simulations for evaluating driving behaviors of autonomous vehicles
Gechter et al. Towards a hybrid real/virtual simulation of autonomous vehicles for critical scenarios
Guvenc et al. Simulation Environment for Safety Assessment of CEAV Deployment in Linden
CN111460879B (zh) 利用网格生成器的神经网络运算方法及使用该方法的装置
KR20200095382A (ko) 경쟁적인 컴퓨팅 및 정보 퓨전을 이용하여 차량의 자율 주행을 지원하는데 이용될 자율 주행 서비스 플랫폼을 제공하는 방법 및 이를 이용한 서버
KR20200094639A (ko) 딥러닝 기반 장치의 학습에 사용되는 가상 세계 시뮬레이터의 물리 엔진을 캘리브레이션하는 방법 및 장치, 그리고 이를 위한 실제 상태 네트워크를 학습하는 방법 및 이를 이용한 학습 장치
CN115859821A (zh) 创建用于模拟自主驾驶车辆的模拟环境的方法和系统

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant