KR102191169B1 - Method for preventing possible malfunctions of dcu occuring during autonomous driving by referring to ads using outputs of heterogeneous dcus and method using the same - Google Patents

Method for preventing possible malfunctions of dcu occuring during autonomous driving by referring to ads using outputs of heterogeneous dcus and method using the same Download PDF

Info

Publication number
KR102191169B1
KR102191169B1 KR1020190153632A KR20190153632A KR102191169B1 KR 102191169 B1 KR102191169 B1 KR 102191169B1 KR 1020190153632 A KR1020190153632 A KR 1020190153632A KR 20190153632 A KR20190153632 A KR 20190153632A KR 102191169 B1 KR102191169 B1 KR 102191169B1
Authority
KR
South Korea
Prior art keywords
dcu
information
determination information
determination
situation
Prior art date
Application number
KR1020190153632A
Other languages
Korean (ko)
Inventor
이영석
이학진
Original Assignee
주식회사 오비고
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 오비고 filed Critical 주식회사 오비고
Priority to KR1020190153632A priority Critical patent/KR102191169B1/en
Application granted granted Critical
Publication of KR102191169B1 publication Critical patent/KR102191169B1/en

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/14Adaptive cruise control
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0088Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/3003Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3024Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a central processing unit [CPU]
    • B60W2050/0078
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • B60W2420/408
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/42Image sensing, e.g. optical camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/52Radar, Lidar
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/45External transmission of data to or from the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/45External transmission of data to or from the vehicle
    • B60W2556/50External transmission of data to or from the vehicle for navigation systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60YINDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00Purposes or special features of road vehicle drive control systems
    • B60Y2300/14Cruise control
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60YINDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00Special features of vehicle units
    • B60Y2400/30Sensors

Abstract

The present invention relates to a method for preventing a misjudgment situation by domain control units (DCUs), which may occur in autonomous driving through an anomaly detection system (ADS) using an output value of a heterogeneous DCU. According to the present invention, the method comprises the steps of: (a) obtaining first situation information to N^th situation information; (b) generating at least some of K_1^th determination information to K_M^th determination information; and (c) supporting at least some of a first DCU to an M^th DCU to be analyzed. According to the present invention, it is possible to prevent misjudgment of DCUs.

Description

이종 DCU의 출력 값을 사용하는 ADS를 통해 자율 주행에서 발생할 수 있는 DCU들의 오판 상황을 방지하는 방법 및 이를 이용한 장치{METHOD FOR PREVENTING POSSIBLE MALFUNCTIONS OF DCU OCCURING DURING AUTONOMOUS DRIVING BY REFERRING TO ADS USING OUTPUTS OF HETEROGENEOUS DCUS AND METHOD USING THE SAME} METHOD FOR PREVENTING POSSIBLE MALFUNCTIONS OF DCU OCCURING DURING AUTONOMOUS DRIVING BY REFERRING TO ADS USING OUTPUTS OF HETEROGENEOUS DCUS through ADS using output values of heterogeneous DCUs AND METHOD USING THE SAME}

본 발명은 이종 DCU의 출력 값을 사용하는 ADS를 통해 자율 주행에서 발생할 수 있는 DCU들의 오판 상황을 방지하는 방법 및 이를 이용한 장치에 관한 것이다.The present invention relates to a method for preventing a misjudgment situation of DCUs that may occur in autonomous driving through ADS using output values of heterogeneous DCUs, and to an apparatus using the same.

최근 자율 주행 기술은 큰 발전으로 주목받고 있다. 매년 발전하는 자율 주행 기술은 점점 더 고도화되고 정교화된 자율 주행을 보여 주고 있으나, 그 안전성에 대해서는 여전히 의문 부호가 붙는 것이 현실이다. 예를 들어, 가장 진보된 자율 주행 기술을 가졌다고 평가받는 테슬라의 자율 주행 차량에서도 심심치 않게 오토 파일럿의 오류로 인한 탑승자의 사망 사례 등이 보고되고 있다.In recent years, autonomous driving technology is attracting attention as a great development. The self-driving technology that develops every year shows more and more advanced and sophisticated autonomous driving, but the reality is that there are still questions about its safety. For example, Tesla's self-driving vehicle, which is evaluated as having the most advanced autonomous driving technology, has reportedly reported deaths of occupants due to autopilot errors.

이와 같은 자율 주행의 위험은, 시범 주행을 할 때 실제 주행 상황에서 발생할 수 있는 너무나 많은 변수들이 고려될 수 없기 때문이다. 실제로, 자율 주행 분야의 선두권 업체인 모빌아이의 CEO인 샤슈아는, 자율 주행 차량이 도로를 주행함에 따른 사고 발생 빈도를 따져 통계적인 방식으로 안전성을 담보하기 위해서는 300억km 이상의 시범 주행 거리가 필요하며, 이와 같은 시범 주행 거리는 400만 대의 자율 주행 차량이 매일 20시간씩 도로 주행을 하여야 겨우 달성할 수 있는 수준인데다, 이를 수행함에 따른 트래픽, 차량 구입비, 컴퓨팅 비용 등만을 고려하더라도 2조 5천억 달러 이상이 소요되므로 일반적인 기업이 부담할 수 있는 수준이 아니라고 주장한 바 있다.This risk of autonomous driving is because too many variables that may occur in an actual driving situation cannot be taken into account when performing a trial driving. In fact, Shashua, CEO of Mobileye, a leading company in the field of autonomous driving, needs a pilot mileage of more than 30 billion km to ensure safety in a statistical way, considering the frequency of accidents caused by autonomous vehicles driving on the road. And, such a pilot mileage is a level that can only be achieved when 4 million autonomous vehicles drive on the road for 20 hours every day, and even considering only the traffic, vehicle purchase cost, and computing cost resulting from this, it is $2.5 trillion. It has been argued that the above is not the level that general companies can bear.

따라서, 위와 같이 과도하게 많은 자원을 투입하여 시범 주행을 하지 않더라도 실제 주행 상황의 많은 변수가 고려될 수 있도록 하는 방법이 필요한데, 이와 같은 방법은 많이 연구되지 않은 것이 사실이다.Therefore, there is a need for a method that allows many variables of the actual driving situation to be considered even if the pilot driving is not performed by investing excessively large resources as described above, but it is true that such a method has not been studied much.

본 발명은 상술한 문제점을 해결하는 것을 목적으로 한다.An object of the present invention is to solve the above-described problems.

또한 본 발명은 이종의 Domain Control Unit(DCU)에 대한 Anomaly Detection System(ADS)를 사용하여 자율 주행에서 발생할 수 있는 DCU들의 오판 상황을 방지하기 위해 상기 DCU들을 분석할 수 있도록 지원하는 것을 목적으로 한다.In addition, an object of the present invention is to support the analysis of the DCUs in order to prevent misjudgment of DCUs that may occur in autonomous driving by using an Anomaly Detection System (ADS) for heterogeneous Domain Control Units (DCUs). .

또한 본 발명은 이종의 DCU들에서 출력되는 판단 정보들을 비교하여, 이들 중 타 판단 정보들과의 유사도가 임계치 이하인 특정 판단 정보에 대응하는 특정 DCU의 문제를 검출하는 방법을 제공하는 것을 목적으로 한다.Another object of the present invention is to provide a method of comparing determination information output from heterogeneous DCUs and detecting a problem of a specific DCU corresponding to specific determination information whose similarity to other determination information is less than or equal to a threshold. .

또한 본 발명은 특정 DCU의 문제를 관리자가 확인하여, 특정 DCU의 알고리즘을 수정할 수 있는 방법을 제공하는 것을 목적으로 한다.Another object of the present invention is to provide a method for an administrator to check a problem of a specific DCU and correct an algorithm of a specific DCU.

상기한 바와 같은 본 발명의 목적을 달성하고, 후술하는 본 발명의 특징적인 효과를 실현하기 위한 본 발명의 특징적인 구성은 하기와 같다.The characteristic configuration of the present invention for achieving the object of the present invention as described above and realizing the characteristic effects of the present invention described later is as follows.

본 발명의 일 태양에 따르면, 이종의 Domain Control Unit(DCU)에 대한 Anomaly Detection System(ADS)를 사용하여 자율 주행에서 발생할 수 있는 상기 DCU들의 오판 상황을 방지하기 위해 상기 DCU들을 분석할 수 있도록 지원하는 방법에 있어서, (a) 상기 자율 주행을 수행하는 대상 차량과 연동하여 동작하는 컴퓨팅 장치가, 자율 주행 상태에 대응하는 소정의 제1 시점 내지 제N 시점 - N은 1 이상의 정수임 - 마다, 상기 대상 차량에 탑재된 센서 모듈로 하여금, 상기 대상 차량 주변의 상황에 대한 제1 상황 정보 내지 제N 상황 정보를 획득하도록 하는 단계; (b) 상기 컴퓨팅 장치가, 상기 컴퓨팅 장치와 연동하여 동작하는 제1 DCU 내지 제M DCU - M은 2 이상의 정수임 - 중 적어도 일부로 하여금, 상기 제1 상황 정보 내지 상기 제N 상황 정보 중 하나인 제K 상황 정보 - K는 1 이상 N 이하의 정수임 - 를 참조로 하여, 제K_1 판단 정보 내지 제K_M 판단 정보 중 적어도 일부를 생성하도록 하는 단계; 및 (c) 상기 컴퓨팅 장치가, 이와 연동하여 동작하는 상기 ADS로 하여금, 상기 제K_1 판단 정보 내지 상기 제K_M 판단 정보 중 적어도 일부를 참조로 하여 상기 제1 DCU 내지 상기 제M DCU 중 적어도 일부에 대한 제K 판단 일치도를 계산하도록 하고, 엣지 로거로 하여금 상기 제K 판단 일치도를 참조로 하여 상기 제K 상황 정보를 태그하여 저장하도록 함으로써 상기 제1 DCU 내지 상기 제M DCU 중 적어도 일부가 분석될 수 있도록 지원하는 단계를 포함하는 것을 특징으로 하는 방법이 개시된다.According to an aspect of the present invention, support to analyze the DCUs to prevent the misjudgment situation of the DCUs that may occur in autonomous driving by using an Anomaly Detection System (ADS) for heterogeneous Domain Control Units (DCUs) In the method, (a) the computing device operating in conjunction with the target vehicle performing autonomous driving, a predetermined first to N-th time point corresponding to the autonomous driving state-N is an integer greater than or equal to 1-every time, the Causing a sensor module mounted in a target vehicle to acquire first situation information to an Nth situation information about a situation around the target vehicle; (b) the computing device allows at least some of the first DCU to M-th DCU operating in conjunction with the computing device-M is an integer of 2 or more-which is one of the first context information to the N-th context information. Generating at least a part of K_1th determination information to K_Mth determination information with reference to K context information-K is an integer of 1 or more and N or less; And (c) the computing device causes the ADS to operate in conjunction with the K_1-th determination information to at least part of the first DCU to the M-th DCU with reference to at least a portion of the K_1th determination information to the K_Mth determination information. At least a part of the first DCU to the M-th DCU can be analyzed by calculating the K-th decision match degree for the K-th decision match, and causing the edge logger to tag and store the K-th situation information with reference to the K-th decision match degree. Disclosed is a method comprising the step of assisting to perform.

일례로서, 상기 (c) 단계는, 상기 컴퓨팅 장치가, 상기 ADS로 하여금, 상기 제K_1 판단 정보 내지 상기 제K_M 판단 정보 중 적어도 일부에 하기 수식에 따른 Dynamic Time Warping 알고리즘을 적용하여 상기 제1 DCU 내지 상기 제M DCU 중 적어도 일부에 대한 상기 제K 판단 일치도를 계산하도록 하고,As an example, in step (c), the computing device causes the ADS to apply a Dynamic Time Warping algorithm according to the following equation to at least a part of the K_1-th determination information to the K_M-th determination information, and the first DCU To calculate the K-th determination agreement for at least a portion of the M-th DCU,

Figure 112019121931157-pat00001
Figure 112019121931157-pat00001

상기 수식에서,

Figure 112019121931157-pat00002
는 상기 제K_1 판단 정보 내지 상기 제K_M 판단 정보 중 적어도 하나에 대한 정보를 포함하는 제1 특정 시계열 벡터를 의미하고,
Figure 112019121931157-pat00003
는 상기 제K_1 판단 정보 내지 상기 제K_M 판단 정보 중 다른 하나에 대한 정보를 포함하는 제2 특정 시계열 벡터를 의미하는 것을 특징으로 하는 방법이 개시된다. In the above formula,
Figure 112019121931157-pat00002
Denotes a first specific time series vector including information on at least one of the K_1th determination information to the K_Mth determination information,
Figure 112019121931157-pat00003
Disclosed is a method, characterized in that denotes a second specific time series vector including information on another one of the K_1-th determination information to the K_M-th determination information.

일례로서, (d) 상기 컴퓨팅 장치가, 상기 엣지 로거로 하여금, 상기 제K 상황 정보의 태그 정보가 이에 대한 상기 제K 판단 일치도 중 적어도 일부가 임계치 이하임을 나타내는 경우, 소정의 로그 분석 시스템에 상기 제K 상황 정보 및 상기 제K_1 판단 정보 내지 상기 제K_M 판단 정보를 전달하도록 하고, 상기 로그 분석 시스템으로 하여금 소정 디스플레이 장치를 통해 상기 제K 상황 정보 및 상기 제K_1 판단 정보 내지 상기 제K_M 판단 정보를 관리자에게 전달함으로써 상기 관리자가 상기 제K 상황 정보에 대응하는 제K 시점의 제1 DCU 내지 상기 제M DCU 중 적어도 일부의 프로세스 과정을 분석할 수 있도록 지원하는 단계를 더 포함하는 것을 특징으로 하는 방법이 개시된다. As an example, (d) the computing device, when the edge logger causes the tag information of the K-th situation information to indicate that at least a part of the matching degree of the K-th determination is less than or equal to a threshold, the log analysis system The K-th situation information and the K_1-th determination information to the K_M-th determination information are transmitted, and the log analysis system transmits the K-th situation information and the K_1-th determination information to the K_M-th determination information through a predetermined display device. The method further comprising the step of supporting the manager to analyze at least some of the process processes of the first DCU to the M-th DCU at the K-th time point corresponding to the K-th context information by transmitting to the manager. Is initiated.

일례로서, (e) 상기 컴퓨팅 장치가, 상기 로그 분석 시스템으로부터 상기 제1 DCU 내지 상기 제M DCU 중 특정 DCU에 문제가 있음에 대한 분석 정보를 획득하면, 상기 분석 정보를 참조로 하여 상기 특정 DCU의 알고리즘을 수정하는 단계를 더 포함하는 것을 특징으로 하는 방법이 개시된다. As an example, (e) when the computing device obtains analysis information about a problem in a specific DCU among the first DCU to the M-th DCU from the log analysis system, the specific DCU The method further comprising the step of modifying the algorithm of is disclosed.

일례로서, 상기 (a) 단계는, 상기 컴퓨팅 장치가, 카메라, 레이더, 라이더, GPS 및 V2X 통신 모듈 중 적어도 일부를 포함하는 상기 센서 모듈로 하여금 상기 제1 상황 정보 내지 상기 제N 상황 정보를 획득하도록 하는 것을 특징으로 하는 방법이 개시된다. As an example, in the step (a), the computing device obtains the first situation information to the N-th situation information by the sensor module including at least a part of a camera, a radar, a lidar, a GPS, and a V2X communication module. A method is disclosed, characterized in that the

일례로서, 상기 제1 DCU 내지 상기 제M DCU 중 적어도 일부는 각각 복수 개의 가상 뉴런들을 포함하는 복수 개의 레이어로 이루어진 뉴럴 네트워크의 형태로 구현되고, 다른 일부는 Rule-based 알고리즘의 형태로 구현되되, 각각의 상기 제1 DCU 내지 상기 제M DCU는 서로 다른 로직에 따라 결과를 출력하는 것을 특징으로 하는 방법이 개시된다. As an example, at least some of the first DCU to the M-th DCU are implemented in the form of a neural network consisting of a plurality of layers each including a plurality of virtual neurons, and other parts are implemented in the form of a rule-based algorithm, Disclosed is a method, wherein each of the first DCU to the Mth DCU outputs a result according to a different logic.

일례로서, 상기 (b) 단계는, 상기 컴퓨팅 장치가, 상기 제1 DCU 내지 상기 제M DCU 중 기설정된 적어도 하나의 메인 DCU로부터 생성된, 제K_1 판단 정보 내지 제K_M 판단 정보 중 적어도 하나의 메인 판단 정보를 상기 대상 차량의 액추에이터에 전달함으로써 상기 대상 차량이 상기 메인 판단 정보에 따라 상기 자율 주행을 수행할 수 있도록 지원하는 것을 특징으로 하는 방법이 개시된다.As an example, in the step (b), the computing device includes at least one of the K_1th determination information to the K_Mth determination information generated from at least one preset main DCU among the first DCU to the Mth DCU. Disclosed is a method, characterized in that, by transmitting determination information to an actuator of the target vehicle, the target vehicle supports the autonomous driving according to the main determination information.

본 발명의 다른 태양에 따르면, 이종의 Domain Control Unit(DCU)에 대한 Anomaly Detection System(ADS)를 사용하여 자율 주행에서 발생할 수 있는 상기 DCU들의 오판 상황을 방지하기 위해 상기 DCU들을 분석할 수 있도록 지원하는 컴퓨팅 장치에 있어서, 인스트럭션들을 저장하는 하나 이상의 메모리; 및 상기 인스트럭션들을 수행하도록 설정된 하나 이상의 프로세서를 포함하되, 상기 프로세서는, (I) 자율 주행 상태에 대응하는 소정의 제1 시점 내지 제N 시점 - N은 1 이상의 정수임 - 마다, 대상 차량에 탑재된 센서 모듈로 하여금, 상기 대상 차량 주변의 상황에 대한 제1 상황 정보 내지 제N 상황 정보를 획득하도록 하는 프로세스; (II) 상기 컴퓨팅 장치와 연동하여 동작하는 제1 DCU 내지 제M DCU - M은 2 이상의 정수임 - 중 적어도 일부로 하여금, 상기 제1 상황 정보 내지 상기 제N 상황 정보 중 하나인 제K 상황 정보 - K는 1 이상 N 이하의 정수임 - 를 참조로 하여, 제K_1 판단 정보 내지 제K_M 판단 정보 중 적어도 일부를 생성하도록 하는 프로세스; 및 (III) 이와 연동하여 동작하는 상기 ADS로 하여금, 상기 제K_1 판단 정보 내지 상기 제K_M 판단 정보 중 적어도 일부를 참조로 하여 상기 제1 DCU 내지 상기 제M DCU 중 적어도 일부에 대한 제K 판단 일치도를 계산하도록 하고, 엣지 로거로 하여금 상기 제K 판단 일치도를 참조로 하여 상기 제K 상황 정보를 태그하여 저장하도록 함으로써 상기 제1 DCU 내지 상기 제M DCU 중 적어도 일부가 분석될 수 있도록 지원하는 프로세스를 수행하는 것을 특징으로 하는 장치가 개시된다. According to another aspect of the present invention, support for analyzing the DCUs to prevent misjudgment of the DCUs that may occur in autonomous driving by using an Anomaly Detection System (ADS) for heterogeneous Domain Control Units (DCUs). A computing device comprising: one or more memories for storing instructions; And one or more processors configured to perform the instructions, wherein the processor includes: (I) a predetermined first to N-th time point corresponding to the autonomous driving state-N is an integer greater than or equal to 1-each mounted on the target vehicle A process of causing the sensor module to acquire first situation information to Nth situation information about a situation around the target vehicle; (II) the first DCU to the M-th DCU operating in conjunction with the computing device-M is an integer greater than or equal to 2-K-th situation information, which is one of the first situation information to the N-th situation information-K Is an integer equal to or greater than 1 and equal to or less than N; And (III) the ADS operating in conjunction therewith, with reference to at least a part of the K_1-th determination information to the K_M-th determination information, and the K-th determination match degree with respect to at least a portion of the first DCU to the M-th DCU. A process for supporting at least part of the first DCU to the M DCU to be analyzed by calculating and storing the K-th context information by tagging the edge logger with reference to the K-th determination match degree. An apparatus is disclosed, characterized in that it performs.

일례로서, 상기 (III) 프로세스는, 상기 프로세서가, 상기 ADS로 하여금, 상기 제K_1 판단 정보 내지 상기 제K_M 판단 정보 중 적어도 일부에 하기 수식에 따른 Dynamic Time Warping 알고리즘을 적용하여 상기 제1 DCU 내지 상기 제M DCU 중 적어도 일부에 대한 상기 제K 판단 일치도를 계산하도록 하고,As an example, in the (III) process, the processor causes the ADS to apply a Dynamic Time Warping algorithm according to the following equation to at least a part of the K_1-th determination information to the K_M-th determination information, and the first DCU to To calculate the K-th determination match degree for at least a portion of the M-th DCU,

Figure 112019121931157-pat00004
Figure 112019121931157-pat00004

상기 수식에서,

Figure 112019121931157-pat00005
는 상기 제K_1 판단 정보 내지 상기 제K_M 판단 정보 중 적어도 하나에 대한 정보를 포함하는 제1 특정 시계열 벡터를 의미하고,
Figure 112019121931157-pat00006
는 상기 제K_1 판단 정보 내지 상기 제K_M 판단 정보 중 다른 하나에 대한 정보를 포함하는 제2 특정 시계열 벡터를 의미하는 것을 특징으로 하는 장치가 개시된다. In the above formula,
Figure 112019121931157-pat00005
Denotes a first specific time series vector including information on at least one of the K_1th determination information to the K_Mth determination information,
Figure 112019121931157-pat00006
A device is disclosed, characterized in that denotes a second specific time series vector including information on another one of the K_1-th determination information to the K_M-th determination information.

일례로서, (IV) 상기 프로세서가, 상기 엣지 로거로 하여금, 상기 제K 상황 정보의 태그 정보가 이에 대한 상기 제K 판단 일치도 중 적어도 일부가 임계치 이하임을 나타내는 경우, 소정의 로그 분석 시스템에 상기 제K 상황 정보 및 상기 제K_1 판단 정보 내지 상기 제K_M 판단 정보를 전달하도록 하고, 상기 로그 분석 시스템으로 하여금 소정 디스플레이 장치를 통해 상기 제K 상황 정보 및 상기 제K_1 판단 정보 내지 상기 제K_M 판단 정보를 관리자에게 전달함으로써 상기 관리자가 상기 제K 상황 정보에 대응하는 제K 시점의 제1 DCU 내지 상기 제M DCU 중 적어도 일부의 프로세스 과정을 분석할 수 있도록 지원하는 프로세스를 더 수행하는 것을 특징으로 하는 장치가 개시된다. As an example, (IV) the processor, when the edge logger causes the tag information of the K-th context information to indicate that at least a part of the matching degree of the K-th determination is less than or equal to a threshold value, the The K situation information and the K_1th determination information to the K_Mth determination information are transmitted, and the log analysis system manages the Kth situation information and the K_1th determination information to the K_Mth determination information through a predetermined display device. The apparatus further performs a process of supporting the manager to analyze at least some of the process processes of the first DCU to the M-th time point corresponding to the K-th context information by transmitting to Is initiated.

일례로서, 상기 프로세서가, (V) 상기 로그 분석 시스템으로부터 상기 제1 DCU 내지 상기 제M DCU 중 특정 DCU에 문제가 있음에 대한 분석 정보를 획득하면, 상기 분석 정보를 참조로 하여 상기 특정 DCU의 알고리즘을 수정하는 프로세스를 더 수행하는 것을 특징으로 하는 장치가 개시된다. As an example, when the processor (V) obtains analysis information about a problem in a specific DCU among the first DCU to the M-th DCU from the log analysis system, the specific DCU is An apparatus is disclosed which further performs the process of modifying the algorithm.

일례로서, 상기 (I) 프로세스는, 상기 프로세서가, 카메라, 레이더, 라이더, GPS 및 V2X 통신 모듈 중 적어도 일부를 포함하는 상기 센서 모듈로 하여금 상기 제1 상황 정보 내지 상기 제N 상황 정보를 획득하도록 하는 것을 특징으로 하는 장치가 개시된다. As an example, in the (I) process, the processor causes the sensor module including at least some of a camera, a radar, a lidar, a GPS, and a V2X communication module to obtain the first situation information to the Nth situation information. Disclosed is an apparatus, characterized in that.

일례로서, 상기 제1 DCU 내지 상기 제M DCU 중 적어도 일부는 각각 복수 개의 가상 뉴런들을 포함하는 복수 개의 레이어로 이루어진 뉴럴 네트워크의 형태로 구현되고, 다른 일부는 Rule-based 알고리즘의 형태로 구현되되, 각각의 상기 제1 DCU 내지 상기 제M DCU는 서로 다른 로직에 따라 결과를 출력하는 것을 특징으로 하는 장치가 개시된다. As an example, at least some of the first DCU to the M-th DCU are implemented in the form of a neural network consisting of a plurality of layers each including a plurality of virtual neurons, and other parts are implemented in the form of a rule-based algorithm, An apparatus is disclosed, wherein each of the first DCU to the Mth DCU outputs a result according to a different logic.

일례로서, 상기 (II) 프로세스는, 상기 프로세서가, 상기 제1 DCU 내지 상기 제M DCU 중 기설정된 적어도 하나의 메인 DCU로부터 생성된, 제K_1 판단 정보 내지 제K_M 판단 정보 중 적어도 하나의 메인 판단 정보를 상기 대상 차량의 액추에이터에 전달함으로써 상기 대상 차량이 상기 메인 판단 정보에 따라 상기 자율 주행을 수행할 수 있도록 지원하는 것을 특징으로 하는 장치가 개시된다.As an example, in the (II) process, the processor may determine at least one of K_1-th determination information to K_M-th determination information generated from at least one preset main DCU among the first DCU to the M-th DCU Disclosed is an apparatus, characterized in that by transferring information to an actuator of the target vehicle, the target vehicle supports the autonomous driving according to the main determination information.

또한 본 발명은 이종의 Domain Control Unit(DCU)에 대한 Anomaly Detection System(ADS)를 사용하여 자율 주행에서 발생할 수 있는 DCU들의 오판 상황을 방지하기 위해 상기 DCU들을 분석할 수 있도록 지원할 수 있는 효과가 있다.In addition, the present invention has an effect of supporting the analysis of the DCUs in order to prevent a misjudgment situation of DCUs that may occur in autonomous driving by using an Anomaly Detection System (ADS) for heterogeneous Domain Control Units (DCUs). .

또한 본 발명은 이종의 DCU들에서 출력되는 판단 정보들을 비교하여, 이들 중 타 판단 정보들과의 유사도가 임계치 이하인 특정 판단 정보에 대응하는 특정 DCU의 문제를 검출하는 방법을 제공할 수 있는 효과가 있다.In addition, the present invention has the effect of providing a method of comparing the determination information output from heterogeneous DCUs and detecting a problem of a specific DCU corresponding to specific determination information whose similarity with other determination information is less than or equal to a threshold. have.

또한 본 발명은 특정 DCU의 문제를 관리자가 확인하여, 특정 DCU의 알고리즘을 수정할 수 있는 방법을 제공할 수 있는 효과가 있다.In addition, the present invention has an effect of providing a method for a manager to check a problem of a specific DCU and correct an algorithm of a specific DCU.

도 1은 본 발명의 일 실시예에 따라 이종의 Domain Control Unit(DCU)에 대한 Anomaly Detection System(ADS)를 사용하여 자율 주행에서 발생할 수 있는 DCU들의 오판 상황을 방지하기 위해 DCU들을 분석할 수 있도록 지원하는 방법을 수행하는 컴퓨팅 장치의 구성을 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 이종의 DCU에 대한 ADS를 사용하여 자율 주행에서 발생할 수 있는 DCU들의 오판 상황을 방지하기 위해 DCU들을 분석할 수 있도록 지원하는 방법을 수행하는 컴퓨팅 장치의 각 구성들과 대상 차량의 구성들 간의 연동 관계를 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 이종의 DCU에 대한 ADS를 사용하여 자율 주행에서 발생할 수 있는 DCU들의 오판 상황을 방지하기 위해 DCU들을 분석할 수 있도록 지원하는 방법을 나타낸 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 이종의 DCU에 대한 ADS를 사용하여 자율 주행에서 발생할 수 있는 DCU들의 오판 상황을 방지하기 위해 DCU들을 분석할 수 있도록 지원하는 방법을 수행하면서 사용되는 Dynamic Time Warping 알고리즘의 원리를 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 이종의 DCU에 대한 ADS를 사용하여 자율 주행에서 발생할 수 있는 DCU들의 오판 상황을 방지하기 위해 DCU들을 분석할 수 있도록 지원하는 방법을 수행하면서 사용되는 디스플레이 장치에 나타나는 정보를 나타낸 도면이다.
FIG. 1 is to analyze DCUs to prevent misjudgment of DCUs that may occur in autonomous driving by using an Anomaly Detection System (ADS) for heterogeneous Domain Control Units (DCUs) according to an embodiment of the present invention. A diagram showing a configuration of a computing device that performs a supporting method.
FIG. 2 is a diagram of a computing device performing a method of supporting analysis of DCUs in order to prevent a misjudgment situation of DCUs that may occur in autonomous driving by using ADS for heterogeneous DCUs according to an embodiment of the present invention. It is a diagram showing an interlocking relationship between components and components of a target vehicle.
3 is a flowchart illustrating a method of supporting analysis of DCUs in order to prevent a misjudgment situation of DCUs that may occur in autonomous driving by using ADS for heterogeneous DCUs according to an embodiment of the present invention.
FIG. 4 is a dynamic time used while performing a method of supporting DCUs to be analyzed in order to prevent a misjudgment situation of DCUs that may occur in autonomous driving by using ADS for heterogeneous DCUs according to an embodiment of the present invention. It is a diagram showing the principle of the warping algorithm.
FIG. 5 is a display device used while performing a method of supporting DCUs to be analyzed in order to prevent a misjudgment situation of DCUs that may occur in autonomous driving by using ADS for heterogeneous DCUs according to an embodiment of the present invention. It is a diagram showing the information shown in.

후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.DETAILED DESCRIPTION OF THE INVENTION The detailed description of the present invention to be described later refers to the accompanying drawings, which illustrate specific embodiments in which the present invention may be practiced. These embodiments are described in detail sufficient to enable a person skilled in the art to practice the present invention. It is to be understood that the various embodiments of the present invention are different from each other, but need not be mutually exclusive. For example, specific shapes, structures, and characteristics described herein may be implemented in other embodiments without departing from the spirit and scope of the present invention in relation to one embodiment. In addition, it is to be understood that the location or arrangement of individual components within each disclosed embodiment may be changed without departing from the spirit and scope of the present invention. Accordingly, the detailed description to be described below is not intended to be taken in a limiting sense, and the scope of the present invention, if properly described, is limited only by the appended claims, along with all scopes equivalent to those claimed by the claims. Like reference numerals in the drawings refer to the same or similar functions over several aspects.

이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 바람직한 실시예들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings in order to enable those of ordinary skill in the art to easily implement the present invention.

도 1은 본 발명의 일 실시예에 따라 이종의 Domain Control Unit(DCU)에 대한 Anomaly Detection System(ADS)를 사용하여 자율 주행에서 발생할 수 있는 DCU들의 오판 상황을 방지하기 위해 DCU들을 분석할 수 있도록 지원하는 방법을 수행하는 컴퓨팅 장치의 구성을 나타낸 도면이다.FIG. 1 is to analyze DCUs to prevent misjudgment of DCUs that may occur in autonomous driving by using an Anomaly Detection System (ADS) for heterogeneous Domain Control Units (DCUs) according to an embodiment of the present invention. A diagram showing a configuration of a computing device that performs a supporting method.

도 1을 참조하면, 컴퓨팅 장치(100)는 적어도 하나의 Anomaly Detection System(ADS)(130) 및 적어도 하나의 엣지 로거(140)를 포함할 수 있다. 이 때, ADS(130) 및 엣지 로거(140)의 입출력 및 연산 과정은 각각 통신부(110) 및 프로세서(120)에 의해 이루어질 수 있다. 다만 도 1에서는 통신부(110) 및 프로세서(120)의 구체적인 연결 관계를 생략하였다. 이 때, 메모리(115)는 후술할 여러 가지 지시들을 저장한 상태일 수 있고, 프로세서(120)는 메모리(115)에 저장된 지시들을 수행하도록 설정되되, 프로세서(120)는 추후 설명할 프로세스들을 수행함으로써 본 발명을 수행할 수 있다. 이와 같이 컴퓨팅 장치(100)가 묘사되었다고 하여, 컴퓨팅 장치(100)가 본 발명을 실시하기 위한 미디엄, 프로세서 및 메모리가 통합된 형태인 integrated 프로세서를 포함하는 경우를 배제하는 것은 아니다.Referring to FIG. 1, the computing device 100 may include at least one Anomaly Detection System (ADS) 130 and at least one edge logger 140. In this case, input/output and operation processes of the ADS 130 and the edge logger 140 may be performed by the communication unit 110 and the processor 120, respectively. However, in FIG. 1, a specific connection relationship between the communication unit 110 and the processor 120 is omitted. At this time, the memory 115 may be in a state in which various instructions to be described later are stored, and the processor 120 is set to execute instructions stored in the memory 115, but the processor 120 performs processes to be described later. By doing this, the present invention can be carried out. The description of the computing device 100 as described above does not exclude the case where the computing device 100 includes an integrated processor in which a medium, a processor, and a memory are integrated for implementing the present invention.

이상 본 발명의 일 실시예에 따른 이종의 DCU에 대한 ADS를 사용하여 자율 주행에서 발생할 수 있는 DCU들의 오판 상황을 방지하기 위해 DCU들을 분석할 수 있도록 지원하는 방법을 수행하는 컴퓨팅 장치(100)의 구성에 대해 알아보았다. 이하 이와 대상 차량(200)의 연동 관계에 대해 도 2를 참조로 하여 알아보도록 한다.As described above, of the computing device 100 performing a method of supporting analysis of DCUs in order to prevent a misjudgment situation of DCUs that may occur in autonomous driving by using ADS for heterogeneous DCUs according to an embodiment of the present invention. I learned about the composition. Hereinafter, the interlocking relationship between this and the target vehicle 200 will be examined with reference to FIG. 2.

도 2는 본 발명의 일 실시예에 따른 이종의 DCU에 대한 ADS를 사용하여 자율 주행에서 발생할 수 있는 DCU들의 오판 상황을 방지하기 위해 DCU들을 분석할 수 있도록 지원하는 방법을 수행하는 컴퓨팅 장치의 각 구성들과 대상 차량의 구성들 간의 연동 관계를 나타낸 도면이다.FIG. 2 is a diagram of a computing device performing a method of supporting analysis of DCUs in order to prevent a misjudgment situation of DCUs that may occur in autonomous driving by using ADS for heterogeneous DCUs according to an embodiment of the present invention. It is a diagram showing an interlocking relationship between components and components of a target vehicle.

도 2를 참조로 하면, 대상 차량(200)에 포함된 센서 모듈(210)을 통해 추후 설명할 제K 주변 정보가 획득되면, 대상 차량(200)에 포함된 제1 DCU 내지 제M DCU(220-1, ??, 220-M)을 통해 제K 주변 정보가 연산된 후, 이에 따라 생성된 제K_1 판단 정보 내지 제K_M 판단 정보가 ADS(130)에 전달되고, ADS(130)는 이를 이용해 제K 판단 일치도를 계산한 후 이를 이용해 제K 상태 정보에 대한 태그 정보를 생성하여 엣지 로거(140)에 전달하는 구성을 확인할 수 있다. 또한, 제K_1 판단 정보 내지 제K_M 판단 정보 중 하나인 메인 판단 정보가 대상 차량(200)에 포함된 액추에이터(230)에 전달되어 자율 주행이 수행되는 구성 역시 확인할 수 있을 것이다.Referring to FIG. 2, when K-th surrounding information to be described later is acquired through the sensor module 210 included in the target vehicle 200, the first DCU to the M-th DCU 220 included in the target vehicle 200 -1, ??, 220-M), after the K-th surrounding information is calculated, the K_1-th determination information or K_M-th determination information generated accordingly is transmitted to the ADS 130, and the ADS 130 uses this After calculating the K-th determination match, the configuration of generating tag information for the K-th state information and transmitting it to the edge logger 140 may be confirmed using this. In addition, the configuration in which the main determination information, which is one of the K_1th determination information to the K_Mth determination information, is transmitted to the actuator 230 included in the target vehicle 200 to perform autonomous driving may also be confirmed.

이와 같은 관계에 대한 가정 하에서, 본 발명의 일 실시예에 따른 이종의 DCU에 대한 ADS를 사용하여 자율 주행에서 발생할 수 있는 DCU들의 오판 상황을 방지하기 위해 DCU들을 분석할 수 있도록 지원하는 방법에 대해 도 3을 참조로 하여 설명하도록 한다.Under the assumption of such a relationship, using ADS for heterogeneous DCUs according to an embodiment of the present invention, a method of supporting DCUs to be analyzed to prevent misjudgment of DCUs that may occur in autonomous driving It will be described with reference to FIG. 3.

도 3은 본 발명의 일 실시예에 따른 이종의 DCU에 대한 ADS를 사용하여 자율 주행에서 발생할 수 있는 DCU들의 오판 상황을 방지하기 위해 DCU들을 분석할 수 있도록 지원하는 방법을 나타낸 흐름도이다.3 is a flowchart illustrating a method of supporting analysis of DCUs in order to prevent a misjudgment situation of DCUs that may occur in autonomous driving by using ADS for heterogeneous DCUs according to an embodiment of the present invention.

도 3을 참조로 하면, 컴퓨팅 장치(100)는, 자율 주행 상태에 대응하는 소정의 제1 시점 내지 제N 시점 - N은 1 이상의 정수임 - 마다, 대상 차량(200)에 탑재된 센서 모듈(210)로 하여금, 대상 차량(200) 주변의 상황에 대한 제1 상황 정보 내지 제N 상황 정보를 획득하도록 할 수 있다(S01). 이후, 컴퓨팅 장치(100)는, 제1 DCU 내지 제M DCU(220-1, ??, 220-M) 중 적어도 일부로 하여금, 제1 상황 정보 내지 제N 상황 정보 중 하나인 제K 상황 정보를 참조로 하여, 제K_1 판단 정보 내지 제K_M 판단 정보 중 적어도 일부를 생성하도록 할 수 있다(S02). 그리고, 컴퓨팅 장치(100)는, ADS(130)로 하여금, 제K_1 판단 정보 내지 제K_M 판단 정보 중 적어도 일부를 참조로 하여 상기 제1 DCU 내지 상기 제M DCU(220-1, ??, 220-M) 중 적어도 일부에 대한 제K 판단 일치도를 계산하도록 할 수 있다(S03). 최종적으로, 컴퓨팅 장치(100)는, 엣지 로거(140)로 하여금 제K 판단 일치도를 참조로 하여 제K 상황 정보를 태그하여 저장하도록 함으로써 제1 DCU 내지 제M DCU(220-1, ??, 220-M) 중 적어도 일부가 분석될 수 있도록 지원할 수 있다(S04).Referring to FIG. 3, the computing device 100 includes a sensor module 210 mounted in the target vehicle 200 for each predetermined first to N-th time point corresponding to the autonomous driving state-N is an integer greater than or equal to 1- ) To obtain the first situation information to the Nth situation information about the situation around the target vehicle 200 (S01). Thereafter, the computing device 100 causes at least a portion of the first DCU to the M-th DCU 220-1, ??, 220-M to transmit the K-th context information, which is one of the first context information to the N-th context information. For reference, it is possible to generate at least some of the K_1th determination information to the K_Mth determination information (S02). In addition, the computing device 100 causes the ADS 130 to refer to at least a portion of the K_1th determination information to the K_Mth determination information, and the first DCU to the Mth DCU 220-1, ??, 220 -M) can be calculated to calculate the K-th determination match for at least some (S03). Finally, the computing device 100 causes the edge logger 140 to tag and store the K-th context information with reference to the K-th determination matching degree, so that the first DCU to the M-th DCU 220-1, ??, 220-M) may be supported so that at least some of them can be analyzed (S04).

이하 이에 대해 더욱 자세히 설명하도록 한다.Hereinafter, this will be described in more detail.

먼저, S01 단계에서, 컴퓨팅 장치는, 전술한 센서 모듈(210)을 사용하는데, 센서 모듈(210)은 카메라, 레이더, 라이더, GPS 및 V2X 통신 모듈 중 적어도 일부를 포함하는 것일 수 있다. 이를 통해 획득되는 각 시점의 제1 상황 정보 내지 제N 상황 정보는, 레이더 및 라이더를 통해 획득된 주변 차량의 정보, 카메라를 통해 획득된 정보를 소정 뉴럴 네트워크가 연산함으로써 획득된 주변 차량의 정보 및 V2X 통신 모듈을 통해 획득된 주변 차량의 정보를 종합한 결과와, GPS를 통해 획득된 대상 차량(200)의 위치 정보를 포함할 수 있을 것이다. 상기의 센서들의 조합은 필수적이거나 한정적인 것이 아니고, 이외의 다른 센서들도 센서 모듈(210)에 포함될 수 있을 것이다.First, in step S01, the computing device uses the sensor module 210 described above, and the sensor module 210 may include at least some of a camera, a radar, a lidar, a GPS, and a V2X communication module. The first situation information to the N-th situation information at each point in time obtained through this is the information of the surrounding vehicle obtained through radar and the rider, the information of the surrounding vehicle obtained by calculating the information obtained through the camera by a predetermined neural network, and It may include a result of synthesizing information on surrounding vehicles acquired through the V2X communication module and location information of the target vehicle 200 acquired through GPS. The combination of the above sensors is not essential or limited, and other sensors may be included in the sensor module 210.

또한, S02 단계에서, 상기의 상황 정보들, 즉 제1 상황 정보 내지 제N 상황 정보 중 하나인 제K 상황 정보가 연산될 수 있는데, 이를 연산하는 제1 DCU 내지 제M DCU(220-1, ??, 220-M)는, 서로 다른 로직에 따라 결과를 출력하는 모듈들일 수 있다. 즉, 제1 DCU 내지 제M DCU(220-1, ??, 220-M)은 기본적으로 자율 주행을 수행하기 위해 설계된 소프트웨어 또는 하드웨어 모듈일 수 있는데, 이들은 서로 다른 로직에 따라 결과를 출력하도록 설계됨으로써, 서로 비교군이 될 수 있도록 설계된 것이다. 일 예로, 제1 DCU 내지 제M DCU(220-1, ??, 220-M) 중 적어도 일부는, 각각 복수 개의 가상 뉴런들을 포함하는 복수 개의 레이어로 이루어진 뉴럴 네트워크의 형태로 구현되고, 다른 일부는 Rule-based 알고리즘의 형태로 구현될 수 있다. 뉴럴 네트워크의 형태로 구현된 DCU들은, 서로 레이어의 구성이 다른 것들일 수 있고, 다른 방식으로 학습된 것들일 수 있다. In addition, in step S02, the above-described context information, that is, the K-th context information, which is one of the first context information to the N-th context information, may be calculated. The first DCU to the M-th DCU 220-1, ??, 220-M) may be modules that output results according to different logics. That is, the first DCU to the M-th DCU (220-1, ??, 220-M) may be basically software or hardware modules designed to perform autonomous driving, and they are designed to output results according to different logics. As a result, it is designed to be a comparison group with each other. For example, at least some of the first DCU to the M-th DCU (220-1, ??, 220-M) are implemented in the form of a neural network consisting of a plurality of layers each including a plurality of virtual neurons, and other parts Can be implemented in the form of a Rule-based algorithm. DCUs implemented in the form of a neural network may have different layer configurations from each other, or may be learned in different ways.

그리고, S03 단계에서, 컴퓨팅 장치(100)는, ADS(130)로 하여금, 상기의 제1 DCU 내지 제M DCU(220-1, ??, 220-M) 중 적어도 일부로부터 생성된 제K_1 판단 정보 내지 제K_M 판단 정보 중 적어도 일부에 대한 제K 판단 일치도들을, Dynamic Time Warping 알고리즘을 적용하여 계산하도록 할 수 있다. Dynamic Time Warping 알고리즘은 주로 서로 길이가 다른 시계열적인 벡터들 간의 유사도를 측정하기 위해 주식의 선물 거래 분야에서 많이 사용되는 알고리즘이다. 구체적으로는, 아래 수식에 따라 Dynamic Time Warping 알고리즘이 수행될 수 있다.And, in step S03, the computing device 100, the ADS (130), the first DCU to the M-th DCU (220-1, ??, 220-M) from at least some of the generated K_1 determination The K-th judgment matching degrees for at least some of the information to the K_M-th judgment information may be calculated by applying a dynamic time warping algorithm. The Dynamic Time Warping algorithm is an algorithm that is widely used in the futures trading field of stocks to measure the similarity between time series vectors of different lengths. Specifically, a Dynamic Time Warping algorithm may be performed according to the following equation.

Figure 112019121931157-pat00007
Figure 112019121931157-pat00007

수식에서,

Figure 112019121931157-pat00008
는 상기 제K_1 판단 정보 내지 상기 제K_M 판단 정보 중 적어도 하나에 대한 정보를 포함하는 제1 특정 시계열 벡터를 의미하고,
Figure 112019121931157-pat00009
는 상기 제K_1 판단 정보 내지 상기 제K_M 판단 정보 중 다른 하나에 대한 정보를 포함하는 제2 특정 시계열 벡터를 의미할 수 있다. 이와 같은 Dynamic Time Warping 알고리즘이 수행됨에 따라, 각각의 제1 DCU 내지 제M DCU(220-1, ??, 220-M)들이 각각 판단한 결과가 비교될 수 있다. 이들 중 튀는 결과가 있을 경우, 해당 판단 정보와 다른 판단 정보 간의 제K 판단 유사도가 낮게 도출될 것이므로, 이를 찾아낼 수 있을 것이다. 제K 상황 정보는, 이와 같은 제K 판단 유사도들 중 임계치 이하인 것들이 존재할 경우, 이를 나타내도록 태그될 수 있다.In the formula,
Figure 112019121931157-pat00008
Denotes a first specific time series vector including information on at least one of the K_1th determination information to the K_Mth determination information,
Figure 112019121931157-pat00009
May mean a second specific time series vector including information on another one of the K_1-th determination information to the K_M-th determination information. As such a dynamic time warping algorithm is performed, the results determined by each of the first DCU to M-th DCUs 220-1, ??, and 220-M may be compared. If there is a bouncing result among these, the K-th judgment similarity between the corresponding judgment information and other judgment information will be derived, so that it will be possible to find it. The K-th situation information may be tagged to indicate when there are those of the K-th determination similarity that are less than or equal to a threshold.

여기서, Dynamic Time Warping 알고리즘이 수행되어야 하는 이유를 도 4를 참조로 하여 설명하도록 한다. Here, the reason why the Dynamic Time Warping algorithm should be performed will be described with reference to FIG. 4.

도 4는 본 발명의 일 실시예에 따른 이종의 DCU에 대한 ADS를 사용하여 자율 주행에서 발생할 수 있는 DCU들의 오판 상황을 방지하기 위해 DCU들을 분석할 수 있도록 지원하는 방법을 수행하면서 사용되는 Dynamic Time Warping 알고리즘의 원리를 나타낸 도면이다.FIG. 4 is a dynamic time used while performing a method of supporting DCUs to be analyzed in order to prevent a misjudgment situation of DCUs that may occur in autonomous driving by using ADS for heterogeneous DCUs according to an embodiment of the present invention. It is a diagram showing the principle of the warping algorithm.

전술한 바와 같이, 각각의 제1 DCU 내지 제M DCU(220-1, ??, 220-M)들은 서로 다른 로직으로 구현된 바, 서로 다른 스타일로 판단 정보를 생성할 것이다. Dynamic Time Warping 알고리즘을 사용하는 것은, 이와 같이 서로 다른 스타일로 생성된 판단 정보 간의 유사도, 즉 제K 판단 일치도를 계산하기 위함이다. 예를 들어, 각각의 판단 정보는, 서로 다른 시간 범위 동안의 지시 정보를 포함할 수 있다. 도 4는 이와 같은 판단 정보들에 포함된 지시 정보를 수치화할 경우 나타날 수 있는 그래프의 형태를 도시한 것이다. 이 때, 도 4를 참조로 하면, 제K_1 판단 정보는, 5초 중 2초 간 직진 가속하고, 3초 간 등속으로 좌회전하는 지시 정보를 포함할 수 있고, 제K_2 판단 정보는, 6초 중 2.5초 간 직진 가속하고, 3.5초 간 등속으로 좌회전하는 지시 정보를 포함할 수 있다. 이와 같은 경우, 양 판단 정보는 다소 유사한 것으로 볼 수 있으나, 일반적인 유클리디언 거리 기반 유사도 계산 방식으로는 양 판단 정보가 유사하다는 결론을 내기가 어렵다. Dynamic Time Warping 알고리즘은 이와 같이 시간 범위가 다른 시계열적 벡터에 대해서도 비교적 정확하게 유사도, 즉 제K 판단 일치도를 생성할 수 있는 것이므로 사용되었다.As described above, since each of the first DCU to M-th DCU 220-1, ??, 220-M is implemented with different logics, determination information will be generated in different styles. The use of the Dynamic Time Warping algorithm is to calculate the similarity between judgment information generated in different styles, that is, the K-th judgment match. For example, each determination information may include indication information for a different time range. 4 is a diagram illustrating a form of a graph that may appear when the indication information included in such determination information is digitized. In this case, referring to FIG. 4, the K_1th determination information may include instruction information for accelerating straight ahead for 2 seconds out of 5 seconds and turning left at a constant speed for 3 seconds, and the K_2 determination information is in 6 seconds. It can include instruction information to accelerate straight ahead for 2.5 seconds and turn left at constant speed for 3.5 seconds. In this case, both determination information may be viewed as somewhat similar, but it is difficult to conclude that both determination information are similar with a general Euclidean distance-based similarity calculation method. The Dynamic Time Warping algorithm was used because it can relatively accurately generate similarity, that is, the K-th judgment agreement, even for time series vectors having different time ranges.

엣지 로거(140)는, 제K 판단 일치도 중 적어도 일부가 상기 임계치보다 작은 경우에, 이를 반영한 정보가 태그된 제K 상황 정보를 저장한 후, 소정 로그 분석 시스템(미도시)과 연동함으로써 제1 DCU 내지 제M DCU(220-1, ??, 220-M)들 중 적어도 일부가 분석될 수 있도록 지원할 수 있다.The edge logger 140 stores the tagged K-th situation information to which information reflecting this, when at least a part of the K-th determination coincidence is less than the threshold, and then interlocks with a predetermined log analysis system (not shown) to perform the first At least some of the DCU to M-th DCUs 220-1, ??, 220-M may be supported to be analyzed.

구체적으로, 컴퓨팅 장치(100)는, 엣지 로거(140)로 하여금, 제K 상황 정보의 태그 정보가 이에 대한 상기 제K 판단 일치도 중 적어도 일부가 임계치 이하임을 나타내는 경우, 소정의 로그 분석 시스템에 상기 제K 상황 정보 및 상기 제K_1 판단 정보 내지 상기 제K_M 판단 정보를 전달하도록 할 수 있다. 이후, 컴퓨팅 장치(100)는, 로그 분석 시스템으로 하여금 소정 디스플레이 장치를 통해 제K 상황 정보 및 제K_1 판단 정보 내지 제K_M 판단 정보를 관리자에게 전달함으로써 관리자가 제K 상황 정보에 대응하는 제K 시점의 제1 DCU 내지 제M DCU(220-1, ??, 220-M) 중 적어도 일부의 프로세스 과정을 분석할 수 있도록 지원할 수 있다. 이에 대해 도 5를 참조로 하여 설명하도록 한다.Specifically, when the edge logger 140 indicates that the tag information of the K-th situation information indicates that at least a part of the matching degree of the K-th determination is less than or equal to a threshold value, the The K-th situation information and the K_1-th determination information to the K_M-th determination information may be transmitted. Thereafter, the computing device 100 causes the log analysis system to transmit the K-th situation information and the K_1-th determination information or the K_M-th determination information to the administrator through a predetermined display device, so that the administrator is the K-th time point corresponding to the K-th situation information. It may support to analyze at least some of the process processes of the first DCU to the Mth DCU 220-1, ??, 220-M. This will be described with reference to FIG. 5.

도 5는 본 발명의 일 실시예에 따른 이종의 DCU에 대한 ADS를 사용하여 자율 주행에서 발생할 수 있는 DCU들의 오판 상황을 방지하기 위해 DCU들을 분석할 수 있도록 지원하는 방법을 수행하면서 사용되는 디스플레이 장치에 나타나는 정보를 나타낸 도면이다.FIG. 5 is a display device used while performing a method of supporting DCUs to be analyzed in order to prevent a misjudgment situation of DCUs that may occur in autonomous driving by using ADS for heterogeneous DCUs according to an embodiment of the present invention. It is a diagram showing the information shown in.

도 5를 참조로 하면, 관리자는, 로그 분석 시스템과 연동된 디스플레이 장치를 통해, 제1 DCU 내지 제M DCU(220-1, ??, 220-M) 중 적어도 하나가 다른 것들과 다른 판단을 한 상황에 대응하는 제K 상황 정보와 함께, 각각의 제1 DCU 내지 제M DCU(220-1, ??, 220-M)가 이를 어떻게 판단하였는지에 대한 정보를 소정 UI에 따라 확인할 수 있을 것이다. 즉, 11월 19일 22시 05분에 승용차, 트럭 및 보행자가 도면의 좌표와 같이 위치해 있을 때 각각의 DCU들이 판단한 결과를 상기 화면을 통해 확인한 후, 관리자는 어떤 DCU가 옳은 판단을 하였고 어떤 다른 DCU가 틀린 판단을 했는지 여부를 판단하고, 틀린 판단을 한 특정 DCU에 대한 분석 정보를 로그 분석 시스템에 입력할 수 있다. 이후, 로그 분석 시스템은, 분석 정보를 컴퓨팅 장치(100)에 다시 발신하고, 컴퓨팅 장치(100)는, 이를 참조로 하여 특정 DCU의 알고리즘을 수정할 수 있을 것이다.Referring to FIG. 5, the administrator makes a determination that at least one of the first DCU to the M-th DCU 220-1, ??, 220-M is different from the others through the display device interlocked with the log analysis system. Information on how each of the first DCU to M-th DCU 220-1, ??, 220-M determined this, together with the K-th situation information corresponding to one situation, may be checked according to a predetermined UI. That is, at 22:05 on November 19th, when cars, trucks, and pedestrians are located according to the coordinates in the drawing, after checking the result of each DCU's decision through the above screen, the manager made the right decision by which DCU and which other It is possible to determine whether the DCU has made an incorrect judgment, and input analysis information on a specific DCU that has made an incorrect judgment into the log analysis system. Thereafter, the log analysis system transmits the analysis information to the computing device 100 again, and the computing device 100 may modify the algorithm of a specific DCU with reference to this.

다만, 이상의 과정은 시범 주행 중에 이루어지는 것이므로, 시범 주행이 이루어지는 과정에 대해서도 설명하도록 한다. 즉, 제1 DCU 내지 제M DCU(220-1, ??, 220-M) 중 적어도 하나는, 시범 주행을 수행하기 위한 메인 DCU로 지정되어 있을 수 있다. 이 때, 컴퓨팅 장치(100)는, 메인 DCU가 제1 상황 정보 내지 제N 상황 정보를 연산하여 생성된 메인 판단 정보들을 대상 차량(200)의 액추에이터에 전달함으로써 대상 차량(200)이 메인 판단 정보에 따라 시범 주행을 수행할 수 있도록 지원할 수 있다.However, since the above process is performed during the pilot driving, the process in which the pilot driving is performed will also be described. That is, at least one of the first DCU to the M-th DCU 220-1, ??, 220-M may be designated as the main DCU for performing the trial driving. In this case, the computing device 100 transmits the main determination information generated by the main DCU calculating the first situation information to the Nth situation information to the actuator of the target vehicle 200 so that the target vehicle 200 It can be supported to perform a trial run according to the following.

이상의 과정을 통해, 시범 주행을 적절히 수행하면서도, 실제 주행 상황에서 일어날 수 있는 여러 변수들을 고려한 피드백 결과를 얻을 수 있을 것이다.Through the above process, it is possible to obtain a feedback result considering various variables that may occur in an actual driving situation while properly performing the pilot driving.

이상 설명된 본 발명에 따른 실시예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The embodiments according to the present invention described above may be implemented in the form of program instructions that can be executed through various computer components and recorded in a computer-readable recording medium. The computer-readable recording medium may include program instructions, data files, data structures, etc. alone or in combination. The program instructions recorded in the computer-readable recording medium may be specially designed and configured for the present invention, or may be known and usable to those skilled in the computer software field. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical recording media such as CD-ROMs and DVDs, magnetic-optical media such as floptical disks. media), and a hardware device specially configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. Examples of the program instructions include not only machine language codes such as those produced by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like. The hardware device may be configured to operate as one or more software modules to perform processing according to the present invention, and vice versa.

이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.In the above, the present invention has been described by specific matters such as specific elements and limited embodiments and drawings, but this is provided only to help a more general understanding of the present invention, and the present invention is not limited to the above embodiments. , Anyone with ordinary knowledge in the technical field to which the present invention pertains can make various modifications and variations from these descriptions.

따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.Therefore, the spirit of the present invention is limited to the above-described embodiments and should not be defined, and all modifications that are equally or equivalent to the claims as well as the claims to be described later fall within the scope of the spirit of the present invention. I would say.

Claims (14)

(a) 자율 주행을 수행하는 대상 차량과 연동하여 동작하는 컴퓨팅 장치가, 자율 주행 상태에 대응하는 소정의 제1 시점 내지 제N 시점 - N은 1 이상의 정수임 - 마다, 상기 대상 차량에 탑재된 센서 모듈로 하여금, 상기 대상 차량 주변의 상황에 대한 제1 상황 정보 내지 제N 상황 정보를 획득하도록 하는 단계;
(b) 상기 컴퓨팅 장치가, 상기 컴퓨팅 장치와 연동하여 동작하는 제1 DCU 내지 제M DCU - M은 2 이상의 정수임 - 중 적어도 일부로 하여금, 상기 제1 상황 정보 내지 상기 제N 상황 정보 중 하나인 제K 상황 정보 - K는 1 이상 N 이하의 정수임 - 를 참조로 하여, 제K_1 판단 정보 내지 제K_M 판단 정보 중 적어도 일부를 생성하도록 하는 단계; 및
(c) 상기 컴퓨팅 장치가, 이와 연동하여 동작하는 ADS로 하여금, 상기 제K_1 판단 정보 내지 상기 제K_M 판단 정보 중 적어도 일부를 참조로 하여 상기 제1 DCU 내지 상기 제M DCU 중 적어도 일부에 대한 제K 판단 일치도를 계산하도록 하고, 엣지 로거로 하여금 상기 제K 판단 일치도를 참조로 하여 상기 제K 상황 정보를 태그하여 저장하도록 함으로써 상기 제1 DCU 내지 상기 제M DCU 중 적어도 일부가 분석될 수 있도록 지원하는 단계
를 포함하는 것을 특징으로 하는 방법.
(a) A computing device operating in conjunction with a target vehicle performing autonomous driving, a predetermined first point to an Nth point in time corresponding to the autonomous driving state-N is an integer greater than or equal to 1-Each sensor mounted on the target vehicle Allowing the module to acquire first situation information to Nth situation information about a situation around the target vehicle;
(b) the computing device allows at least some of the first DCU to M-th DCU operating in conjunction with the computing device-M is an integer of 2 or more-which is one of the first context information to the N-th context information. Generating at least a part of K_1th determination information to K_Mth determination information with reference to K context information-K is an integer of 1 or more and N or less; And
(c) The computing device causes the ADS operating in conjunction therewith to refer to at least a part of the K_1th determination information to the K_Mth determination information to determine at least a portion of the first DCU to the Mth DCU. Support for at least part of the first DCU to the M-th DCU to be analyzed by allowing the K-th decision match to be calculated, and by causing the edge logger to tag and store the K-th situation information with reference to the K-th match to be determined. Steps to
The method comprising a.
제 1항에 있어서,
상기 (c) 단계는,
상기 컴퓨팅 장치가, 상기 ADS로 하여금, 상기 제K_1 판단 정보 내지 상기 제K_M 판단 정보 중 적어도 일부에 하기 수식에 따른 Dynamic Time Warping 알고리즘을 적용하여 상기 제1 DCU 내지 상기 제M DCU 중 적어도 일부에 대한 상기 제K 판단 일치도를 계산하도록 하고,
Figure 112019121931157-pat00010

상기 수식에서,
Figure 112019121931157-pat00011
는 상기 제K_1 판단 정보 내지 상기 제K_M 판단 정보 중 적어도 하나에 대한 정보를 포함하는 제1 특정 시계열 벡터를 의미하고,
Figure 112019121931157-pat00012
는 상기 제K_1 판단 정보 내지 상기 제K_M 판단 정보 중 다른 하나에 대한 정보를 포함하는 제2 특정 시계열 벡터를 의미하는 것을 특징으로 하는 방법.
The method of claim 1,
The step (c),
The computing device causes the ADS to apply a Dynamic Time Warping algorithm according to the following equation to at least a portion of the K_1-th determination information to the K_M-th determination information to determine at least a portion of the first DCU to the M-th DCU. Calculate the degree of agreement of the K-th judgment,
Figure 112019121931157-pat00010

In the above formula,
Figure 112019121931157-pat00011
Denotes a first specific time series vector including information on at least one of the K_1th determination information to the K_Mth determination information,
Figure 112019121931157-pat00012
Means a second specific time series vector including information on the other one of the K_1th determination information to the K_Mth determination information.
제 1항에 있어서,
(d) 상기 컴퓨팅 장치가, 상기 엣지 로거로 하여금, 상기 제K 상황 정보의 태그 정보가 이에 대한 상기 제K 판단 일치도 중 적어도 일부가 임계치 이하임을 나타내는 경우, 소정의 로그 분석 시스템에 상기 제K 상황 정보 및 상기 제K_1 판단 정보 내지 상기 제K_M 판단 정보를 전달하도록 하고, 상기 로그 분석 시스템으로 하여금 소정의 디스플레이 장치를 통해 상기 제K 상황 정보 및 상기 제K_1 판단 정보 내지 상기 제K_M 판단 정보를 관리자에게 전달함으로써 상기 관리자가 상기 제K 상황 정보에 대응하는 제K 시점의 제1 DCU 내지 상기 제M DCU 중 적어도 일부의 프로세스 과정을 분석할 수 있도록 지원하는 단계
를 더 포함하는 것을 특징으로 하는 방법.
The method of claim 1,
(d) When the computing device causes the edge logger to indicate that the tag information of the K-th situation information indicates that at least a part of the matching degree of the K-th determination is equal to or less than a threshold, the K-th situation Information and the K_1th determination information to the K_Mth determination information, and causes the log analysis system to transmit the Kth situation information and the K_1th determination information to the K_Mth determination information to an administrator through a predetermined display device. Supporting the manager to analyze at least some of the process processes of the first DCU to the M DCU at the Kth point of time corresponding to the Kth context information by transmitting
The method further comprising a.
제 3항에 있어서,
(e) 상기 컴퓨팅 장치가, 상기 로그 분석 시스템으로부터 상기 제1 DCU 내지 상기 제M DCU 중 특정 DCU에 문제가 있음에 대한 분석 정보를 획득하면, 상기 분석 정보를 참조로 하여 상기 특정 DCU의 알고리즘을 수정하는 단계
를 더 포함하는 것을 특징으로 하는 방법.
The method of claim 3,
(e) When the computing device obtains analysis information about a problem in a specific DCU among the first DCU to the M-th DCU from the log analysis system, the algorithm of the specific DCU is determined by referring to the analysis information. Steps to fix
The method further comprising a.
제 1항에 있어서,
상기 (a) 단계는,
상기 컴퓨팅 장치가, 카메라, 레이더, 라이더, GPS 및 V2X 통신 모듈 중 적어도 일부를 포함하는 상기 센서 모듈로 하여금 상기 제1 상황 정보 내지 상기 제N 상황 정보를 획득하도록 하는 것을 특징으로 하는 방법.
The method of claim 1,
The step (a),
Wherein the computing device causes the sensor module including at least some of a camera, a radar, a lidar, a GPS, and a V2X communication module to obtain the first situation information to the Nth situation information.
제 1항에 있어서,
상기 제1 DCU 내지 상기 제M DCU 중 적어도 일부는 각각 복수 개의 가상 뉴런들을 포함하는 복수 개의 레이어로 이루어진 뉴럴 네트워크의 형태로 구현되고, 다른 일부는 Rule-based 알고리즘의 형태로 구현되되, 각각의 상기 제1 DCU 내지 상기 제M DCU는 서로 다른 로직에 따라 결과를 출력하는 것을 특징으로 하는 방법.
The method of claim 1,
At least part of the first DCU to the M-th DCU is implemented in the form of a neural network consisting of a plurality of layers each including a plurality of virtual neurons, and the other part is implemented in the form of a rule-based algorithm, each of the The first DCU to the M-th DCU outputting results according to different logics.
제 1항에 있어서,
상기 (b) 단계는,
상기 컴퓨팅 장치가, 상기 제1 DCU 내지 상기 제M DCU 중 기설정된 적어도 하나의 메인 DCU로부터 생성된, 제K_1 판단 정보 내지 제K_M 판단 정보 중 적어도 하나의 메인 판단 정보를 상기 대상 차량의 액추에이터에 전달함으로써 상기 대상 차량이 상기 메인 판단 정보에 따라 상기 자율 주행을 수행할 수 있도록 지원하는 것을 특징으로 하는 방법.
The method of claim 1,
The step (b),
The computing device transmits at least one of the K_1th determination information to the K_Mth determination information, generated from at least one preset main DCU among the first DCU to the Mth DCU, to the actuator of the target vehicle Thereby supporting the target vehicle to perform the autonomous driving according to the main determination information.
이종의 Domain Control Unit(DCU)에 대한 Anomaly Detection System(ADS)를 사용하여 자율 주행에서 발생할 수 있는 상기 DCU들의 오판 상황을 방지하기 위해 상기 DCU들을 분석할 수 있도록 지원하는 컴퓨팅 장치에 있어서,
인스트럭션들을 저장하는 하나 이상의 메모리; 및
상기 인스트럭션들을 수행하도록 설정된 하나 이상의 프로세서를 포함하되,
상기 프로세서는, (I) 자율 주행 상태에 대응하는 소정의 제1 시점 내지 제N 시점 - N은 1 이상의 정수임 - 마다, 대상 차량에 탑재된 센서 모듈로 하여금, 상기 대상 차량 주변의 상황에 대한 제1 상황 정보 내지 제N 상황 정보를 획득하도록 하는 프로세스; (II) 상기 컴퓨팅 장치와 연동하여 동작하는 제1 DCU 내지 제M DCU - M은 2 이상의 정수임 - 중 적어도 일부로 하여금, 상기 제1 상황 정보 내지 상기 제N 상황 정보 중 하나인 제K 상황 정보 - K는 1 이상 N 이하의 정수임 - 를 참조로 하여, 제K_1 판단 정보 내지 제K_M 판단 정보 중 적어도 일부를 생성하도록 하는 프로세스; 및 (III) 이와 연동하여 동작하는 상기 ADS로 하여금, 상기 제K_1 판단 정보 내지 상기 제K_M 판단 정보 중 적어도 일부를 참조로 하여 상기 제1 DCU 내지 상기 제M DCU 중 적어도 일부에 대한 제K 판단 일치도를 계산하도록 하고, 엣지 로거로 하여금 상기 제K 판단 일치도를 참조로 하여 상기 제K 상황 정보를 태그하여 저장하도록 함으로써 상기 제1 DCU 내지 상기 제M DCU 중 적어도 일부가 분석될 수 있도록 지원하는 프로세스
를 수행하는 것을 특징으로 하는 장치.
In a computing device that supports analysis of the DCUs to prevent a misjudgment situation of the DCUs that may occur in autonomous driving by using an Anomaly Detection System (ADS) for heterogeneous Domain Control Units (DCUs),
One or more memories for storing instructions; And
Including one or more processors configured to perform the instructions,
The processor, (I) a predetermined first time point to the N-th time point corresponding to the autonomous driving state-N is an integer greater than or equal to 1-each time, the sensor module mounted in the target vehicle to determine the situation around the target vehicle A process of obtaining 1 context information to an Nth context information; (II) the first DCU to the M-th DCU operating in conjunction with the computing device-M is an integer greater than or equal to 2-K-th situation information, which is one of the first situation information to the N-th situation information-K Is an integer equal to or greater than 1 and equal to or less than N; a process of generating at least a part of K_1th determination information to K_Mth determination information with reference to; And (III) the ADS operating in conjunction therewith, with reference to at least some of the K_1-th determination information to the K_M-th determination information, and the K-th determination match degree for at least a portion of the first DCU to the M-th DCU. A process for supporting at least some of the first DCU to the M DCU to be analyzed by calculating and storing the K-th context information by tagging the edge logger with reference to the K-th determination agreement
Device, characterized in that to perform.
제 8항에 있어서,
상기 (III) 프로세스는,
상기 프로세서가, 상기 ADS로 하여금, 상기 제K_1 판단 정보 내지 상기 제K_M 판단 정보 중 적어도 일부에 하기 수식에 따른 Dynamic Time Warping 알고리즘을 적용하여 상기 제1 DCU 내지 상기 제M DCU 중 적어도 일부에 대한 상기 제K 판단 일치도를 계산하도록 하고,
Figure 112019121931157-pat00013

상기 수식에서,
Figure 112019121931157-pat00014
는 상기 제K_1 판단 정보 내지 상기 제K_M 판단 정보 중 적어도 하나에 대한 정보를 포함하는 제1 특정 시계열 벡터를 의미하고,
Figure 112019121931157-pat00015
는 상기 제K_1 판단 정보 내지 상기 제K_M 판단 정보 중 다른 하나에 대한 정보를 포함하는 제2 특정 시계열 벡터를 의미하는 것을 특징으로 하는 장치.
The method of claim 8,
The (III) process,
The processor causes the ADS to apply a Dynamic Time Warping algorithm according to the following equation to at least a portion of the K_1-th determination information to the K_M-th determination information, and the first DCU to the M-th DCU for at least a portion of the Calculate the K-th judgment agreement,
Figure 112019121931157-pat00013

In the above formula,
Figure 112019121931157-pat00014
Denotes a first specific time series vector including information on at least one of the K_1th determination information to the K_Mth determination information,
Figure 112019121931157-pat00015
Means a second specific time series vector including information on the other one of the K_1-th determination information to the K_M-th determination information.
제 8항에 있어서,
(IV) 상기 프로세서가, 상기 엣지 로거로 하여금, 상기 제K 상황 정보의 태그 정보가 이에 대한 상기 제K 판단 일치도 중 적어도 일부가 임계치 이하임을 나타내는 경우, 소정의 로그 분석 시스템에 상기 제K 상황 정보 및 상기 제K_1 판단 정보 내지 상기 제K_M 판단 정보를 전달하도록 하고, 상기 로그 분석 시스템으로 하여금 소정의 디스플레이 장치를 통해 상기 제K 상황 정보 및 상기 제K_1 판단 정보 내지 상기 제K_M 판단 정보를 관리자에게 전달함으로써 상기 관리자가 상기 제K 상황 정보에 대응하는 제K 시점의 제1 DCU 내지 상기 제M DCU 중 적어도 일부의 프로세스 과정을 분석할 수 있도록 지원하는 프로세스
를 더 수행하는 것을 특징으로 하는 장치.
The method of claim 8,
(IV) When the processor causes the edge logger to indicate that the tag information of the K-th situation information indicates that at least a part of the matching degree of the K-th determination is less than or equal to a threshold, the K-th situation information And transmitting the K_1th determination information to the K_Mth determination information, and causing the log analysis system to transmit the Kth situation information and the K_1th determination information to the K_Mth determination information to an administrator through a predetermined display device. By doing so, a process for supporting the manager to analyze at least some of the process processes of the first DCU to the M DCU at the Kth time point corresponding to the Kth context information
The device, characterized in that to further perform.
제 10항에 있어서,
상기 프로세서가,
(V) 상기 로그 분석 시스템으로부터 상기 제1 DCU 내지 상기 제M DCU 중 특정 DCU에 문제가 있음에 대한 분석 정보를 획득하면, 상기 분석 정보를 참조로 하여 상기 특정 DCU의 알고리즘을 수정하는 프로세스
를 더 수행하는 것을 특징으로 하는 장치.
The method of claim 10,
The processor,
(V) A process of modifying an algorithm of the specific DCU with reference to the analysis information when analysis information on a problem exists in a specific DCU among the first DCU to the M-th DCU from the log analysis system
The device, characterized in that to further perform.
제 8항에 있어서,
상기 (I) 프로세스는,
상기 프로세서가, 카메라, 레이더, 라이더, GPS 및 V2X 통신 모듈 중 적어도 일부를 포함하는 상기 센서 모듈로 하여금 상기 제1 상황 정보 내지 상기 제N 상황 정보를 획득하도록 하는 것을 특징으로 하는 장치.
The method of claim 8,
The (I) process,
The apparatus, wherein the processor causes the sensor module including at least some of a camera, a radar, a lidar, a GPS, and a V2X communication module to obtain the first situation information to the Nth situation information.
제 8항에 있어서,
상기 제1 DCU 내지 상기 제M DCU 중 적어도 일부는 각각 복수 개의 가상 뉴런들을 포함하는 복수 개의 레이어로 이루어진 뉴럴 네트워크의 형태로 구현되고, 다른 일부는 Rule-based 알고리즘의 형태로 구현되되, 각각의 상기 제1 DCU 내지 상기 제M DCU는 서로 다른 로직에 따라 결과를 출력하는 것을 특징으로 하는 장치.
The method of claim 8,
At least part of the first DCU to the M-th DCU is implemented in the form of a neural network consisting of a plurality of layers each including a plurality of virtual neurons, and the other part is implemented in the form of a rule-based algorithm, each of the The device, characterized in that the first DCU to the Mth DCU output results according to different logics.
제 8항에 있어서,
상기 (II) 프로세스는,
상기 프로세서가, 상기 제1 DCU 내지 상기 제M DCU 중 기설정된 적어도 하나의 메인 DCU로부터 생성된, 제K_1 판단 정보 내지 제K_M 판단 정보 중 적어도 하나의 메인 판단 정보를 상기 대상 차량의 액추에이터에 전달함으로써 상기 대상 차량이 상기 메인 판단 정보에 따라 상기 자율 주행을 수행할 수 있도록 지원하는 것을 특징으로 하는 장치.
The method of claim 8,
The (II) process,
The processor transmits at least one of the K_1-th determination information to the K_M-th determination information, generated from at least one preset main DCU among the first DCU to the M-th DCU, to the actuator of the target vehicle. And supporting the target vehicle to perform the autonomous driving according to the main determination information.
KR1020190153632A 2019-11-26 2019-11-26 Method for preventing possible malfunctions of dcu occuring during autonomous driving by referring to ads using outputs of heterogeneous dcus and method using the same KR102191169B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190153632A KR102191169B1 (en) 2019-11-26 2019-11-26 Method for preventing possible malfunctions of dcu occuring during autonomous driving by referring to ads using outputs of heterogeneous dcus and method using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190153632A KR102191169B1 (en) 2019-11-26 2019-11-26 Method for preventing possible malfunctions of dcu occuring during autonomous driving by referring to ads using outputs of heterogeneous dcus and method using the same

Publications (1)

Publication Number Publication Date
KR102191169B1 true KR102191169B1 (en) 2020-12-16

Family

ID=74042357

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190153632A KR102191169B1 (en) 2019-11-26 2019-11-26 Method for preventing possible malfunctions of dcu occuring during autonomous driving by referring to ads using outputs of heterogeneous dcus and method using the same

Country Status (1)

Country Link
KR (1) KR102191169B1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006099715A (en) * 2004-09-06 2006-04-13 Daihatsu Motor Co Ltd Collision prediction method and collision prediction system
JP2006209523A (en) * 2005-01-28 2006-08-10 Yokogawa Electric Corp Information processor and information processing method
KR20130124357A (en) * 2011-03-28 2013-11-13 인터내셔널 비지네스 머신즈 코포레이션 Anomaly detection system, anomaly detection method, and program of same
JP2016095751A (en) * 2014-11-17 2016-05-26 富士通株式会社 Abnormality unit identification program, abnormality unit identification method and abnormality unit identification system
WO2019082647A1 (en) * 2017-10-24 2019-05-02 日立オートモティブシステムズ株式会社 Vehicle control device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006099715A (en) * 2004-09-06 2006-04-13 Daihatsu Motor Co Ltd Collision prediction method and collision prediction system
JP2006209523A (en) * 2005-01-28 2006-08-10 Yokogawa Electric Corp Information processor and information processing method
KR20130124357A (en) * 2011-03-28 2013-11-13 인터내셔널 비지네스 머신즈 코포레이션 Anomaly detection system, anomaly detection method, and program of same
JP2016095751A (en) * 2014-11-17 2016-05-26 富士通株式会社 Abnormality unit identification program, abnormality unit identification method and abnormality unit identification system
WO2019082647A1 (en) * 2017-10-24 2019-05-02 日立オートモティブシステムズ株式会社 Vehicle control device

Similar Documents

Publication Publication Date Title
KR102447352B1 (en) Method and device for traffic light detection and intelligent driving, vehicle, and electronic device
US11507084B2 (en) Collaborative 3-D environment map for computer-assisted or autonomous driving vehicles
Haq et al. Comparing offline and online testing of deep neural networks: An autonomous car case study
US11148676B2 (en) Detection of an anomalous image associated with image data from one or more cameras of a computer-aided or autonomous driving vehicle
US20220307859A1 (en) Method and device for updating map
US11783568B2 (en) Object classification using extra-regional context
US20180130355A1 (en) Advanced driver-assistance system with landmark localization on objects in images using convolutional neural networks
US20180276912A1 (en) Machine Learning for Triaging Failures in Autonomous Vehicles
KR20180068511A (en) Apparatus and method for generating training data for training neural network determining information related to road included in an image
CN111489403A (en) Method and device for generating virtual feature map by utilizing GAN
US20190042738A1 (en) Physics-based approach for attack detection and localization in closed-loop controls for autonomous vehicles
US10139832B2 (en) Computer-assisted or autonomous driving with region-of-interest determination for traffic light analysis
JP2006182086A (en) Vehicle sensing device
Haq et al. Can offline testing of deep neural networks replace their online testing? a case study of automated driving systems
US11164450B2 (en) Traffic flow at intersections
US20200174488A1 (en) False target removal device and method for vehicles and vehicle including the device
Ijaz et al. Automatic steering angle and direction prediction for autonomous driving using deep learning
US11087450B1 (en) Wheel matcher
CN114595738A (en) Method for generating training data for recognition model and method for generating recognition model
KR102191169B1 (en) Method for preventing possible malfunctions of dcu occuring during autonomous driving by referring to ads using outputs of heterogeneous dcus and method using the same
US20200250853A1 (en) Method and device for supporting administrators to evaluate object detecting processes of object detectors to provide logical grounds of autonomous driving
CN110879949A (en) Image processing and network generation method and device based on fusion neural network
Katare et al. Autonomous embedded system enabled 3-D object detector:(With point cloud and camera)
Ravishankaran Impact on how AI in automobile industry has affected the type approval process at RDW
US9111361B1 (en) Distinguishing between moving targets and clutter in a video

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant