KR20220062961A - A model for explaining the reason for the decision of self-driving car - Google Patents
A model for explaining the reason for the decision of self-driving car Download PDFInfo
- Publication number
- KR20220062961A KR20220062961A KR1020200148751A KR20200148751A KR20220062961A KR 20220062961 A KR20220062961 A KR 20220062961A KR 1020200148751 A KR1020200148751 A KR 1020200148751A KR 20200148751 A KR20200148751 A KR 20200148751A KR 20220062961 A KR20220062961 A KR 20220062961A
- Authority
- KR
- South Korea
- Prior art keywords
- original image
- information
- image
- difference
- neural network
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Image Analysis (AREA)
Abstract
Description
아래의 설명은 자율주행 차량의 판단에 대한 근거를 설명하는 기술에 관한 것이다. The description below relates to the technology that explains the rationale for the autonomous vehicle's judgment.
XAI(Explainable Artificial Intelligence)이란 인공지능이 적용된 모델이 어떤 과정을 거쳐서 현재의 결론을 도출했는지를 최종 사용자가 이해할 수 있는 형태로 설명하는 기술로써 모델이 도출한 결론에 대한 신뢰성을 높인다. 설명 가능한 인공지능은 개발 전략에 따라 심층설명학습, 해석 가능한 모델, 모델 귀납으로 구분할 수 있다. 설명 가능한 인공지능을 개발하기 위한 기술로는 SA(Sensitivity Analysis), LRP(Layer-wise Relevance Propagation)가 있다. SA는 딥 러닝 모델의 국지적인 입력 변화가 모델이 도출한 결론에 얼마나 영향을 미치는지를 설명하는 방법이고, LRP는 모델이 도출한 결론으로부터 역전파 형태로 신경망의 각 계층이 이 결론 도출에 얼마나 기여했는지를 설명하는 방법이다.XAI (Explainable Artificial Intelligence) is a technology that explains how the model to which artificial intelligence is applied went through which process to draw the current conclusion in a form that the end user can understand, and it increases the reliability of the conclusion drawn by the model. Explainable artificial intelligence can be divided into deep explanatory learning, interpretable model, and model induction according to the development strategy. Technologies for developing explainable AI include Sensitivity Analysis (SA) and Layer-wise Relevance Propagation (LRP). SA is a method of explaining how much a local input change of a deep learning model affects the conclusion drawn by the model, and LRP is a method of back propagation from the conclusion drawn by the model to how much each layer of the neural network contributes to this conclusion. How to explain what you did.
Deep Learning은 입력값 벡터와 이에 대응되는 출력값 벡터의 쌍들을 학습 데이터로 하여 학습하고, 이후 새로운 벡터가 입력되었을 때 이에 대해 도출되는 출력값 벡터를 추론하는 알고리즘으로, 입력값과 출력값 각각에 해당하는 층을 포함하여 여러 개의 층으로 구성된 신경망 구조를 이용한다. 이러한 신경망 구조는 입력값 벡터로부터 출력값 벡터를 도출하는 함수이며, 각 층을 구성하는 노드들 간의 가중치를 조절하여, 학습 데이터에 이 함수를 적용했을 때 입력값 벡터와 출력값 벡터의 오차를 최소화시키는 것을 목표로 한다. 딥 러닝을 위한 신경망은 입력값 벡터에 해당하는 입력층(Input Layer), 학습 데이터의 특징을 추출하기 위한 은닉층(Hidden Layer), 출력값 벡터에 해당하는 출력층(Output Layer)으로 구성되어 있으며, 일반적으로 은닉층이 2개 이상의 층으로 구성되어 있을 때 딥 러닝이라고 한다. 딥 러닝 알고리즘에는 이미지를 처리하기 위한 CNN(Convolutional Neural Network), 번역 등의 서비스에 활용되는 RNN(Recurrent Neural Network), 실제 데이터와 유사한 형태의 가짜 데이터를 생성하는 데 활용되는 GAN(Generative Adversarial Network) 등이 있다.Deep Learning is an algorithm that learns by using pairs of an input value vector and a corresponding output vector as training data, and then infers an output vector derived from a new vector when a new vector is input. It uses a neural network structure composed of several layers, including This neural network structure is a function that derives an output vector from an input vector, and it minimizes the error between the input vector and the output vector when this function is applied to training data by adjusting the weights between nodes constituting each layer. aim for A neural network for deep learning consists of an input layer corresponding to an input value vector, a hidden layer for extracting features of learning data, and an output layer corresponding to an output value vector. When the hidden layer consists of two or more layers, it is called deep learning. Deep learning algorithms include Convolutional Neural Network (CNN) for image processing, Recurrent Neural Network (RNN) used for services such as translation, and Generative Adversarial Network (GAN) used to generate fake data similar to real data. etc.
자율주행 자동차에 적용할 수 있는 대표적인 딥 러닝 알고리즘에는 CNN(Convolutional Neural Network)이 있는데, 이를 응용하여 CNN의 판단에 대해 설명할 수 있는 객체 탐지(Object Detection) 기술이 가장 관련성이 높은 종래 기술이라고 할 수 있다. 객체 탐지 기술이 적용된 모델에는 Fast R-CNN(ICCV' 15), Faster R-CNN(NIPS' 15), YOLO v1, v2, v3(You Only Look Once, CVPR' 16, CVPR' 17, arXiv' 18) 등이 있다. 상기는 모델의 예시를 나열한 것이며, 이와 같은 모델은 다음과 같은 특징을 가질 수 있다. A representative deep learning algorithm that can be applied to autonomous vehicles is a Convolutional Neural Network (CNN). can Models with object detection technology include Fast R-CNN (ICCV' 15), Faster R-CNN (NIPS' 15), YOLO v1, v2, v3 (You Only Look Once, CVPR' 16, CVPR' 17, arXiv' 18 ), etc. The above is a list of examples of models, and such a model may have the following characteristics.
첫째, 이미지에서 인식한 물체를 직사각형으로 표시하고 그 물체가 구체적으로 어떤 종류인지(사람, 책 등) 설명한다. 둘째, 해당 물체의 분류를 판단했을 때 그 판단에 대한 확률(probability)을 표시한다. 확률이란 모델에 의해 도출된 분류 판단이 정확할 확률을 의미하며, 확률을 계산하는 방법에는 N개의 분류가 있고 신경망 모델의 출력값이 각 분류 
상기 언급한 객체 탐지 기술이 적용된 모델은 인식한 물체의 종류와 위치에 대해서는 설명할 수 있지만, 일반적으로 어떤 과정을 거쳐서 해당 물체를 특정 물체로 인식했는지, 해당 물체의 위치를 결과물에 표시된 특정 사각형으로 결정했는지에 대한 정보는 제공하지 않으므로, 자율주행 자동차에 적용된 객체 탐지 모델이 잘못된 판단을 도출하여 사고가 발생한 경우 모델이 왜 잘못된 판단을 도출했는지에 대한 설명이 부족하여 그 원인을 파악하기 비교적 어렵다는 문제점이 있다.Although the model to which the above-mentioned object detection technology is applied can explain the type and location of the recognized object, in general, through what process the object was recognized as a specific object, and the location of the object as a specific rectangle displayed in the result Since it does not provide information on whether or not a decision was made, when an accident occurs because the object detection model applied to the autonomous vehicle derives a wrong decision, the problem is that it is relatively difficult to determine the cause because the explanation of why the model derived the wrong decision is insufficient. There is this.
설명 가능한 인공지능(XAI)에 기반하여 자율주행 차량의 물체 인식과 관련된 판단에 대한 근거를 설명하는 학습 모델을 제안하고, 제안된 모델을 통해 물체 인식에 대한 근거를 도출하기 위한 정보 제공 방법 및 시스템을 제공할 수 있다.Based on explanatory artificial intelligence (XAI), we propose a learning model that explains the rationale for the judgment related to object recognition of autonomous vehicles, and a method and system for providing information to derive the basis for object recognition through the proposed model can provide
상기 제안된 학습 모델을 통해 원본 이미지 및 원본 이미지의 특정 영역을 변화시킨 복사 이미지 각각에 대한 출력값의 차이를 도출하고, 도출된 출력값의 차이에 따라 결론 및 설명을 도출하기 위한 정보 제공 방법 및 시스템을 제공할 수 있다. An information providing method and system for deriving the difference in output values for each of the original image and the copy image in which a specific area of the original image is changed through the proposed learning model, and deriving conclusions and explanations according to the difference in the derived output values can provide
정보 제공 시스템에 의해 수행되는 근거 설명 방법은, 물체 또는 배경을 인식하기 위하여 구성된 물체 인식 모델을 통해 자율주행 차량과 관련된 원본 이미지로부터 물체 정보를 인식하는 단계; 상기 인식된 물체 정보를 포함하는 복수 개의 영역으로 구분된 원본 이미지와 상기 원본 이미지의 특정 영역에 색상을 변경한 복사 이미지를 자율주행 차량의 판단에 대한 근거 설명을 위한 신경망 기반의 학습 모델에 입력하는 단계; 및 상기 근거 설명을 위한 신경망 기반의 학습 모델을 이용하여 획득된 상기 원본 이미지와 상기 복사 이미지에 대한 출력값의 차이를 통해 자율주행 차량으로부터 인식된 물체 정보에 대한 근거 정보를 제공하는 단계를 포함할 수 있다. The rationale explanation method performed by the information providing system includes: recognizing object information from an original image related to an autonomous vehicle through an object recognition model configured to recognize an object or a background; An original image divided into a plurality of regions including the recognized object information and a copy image in which a color is changed in a specific region of the original image are input to a neural network-based learning model for explaining the basis for determination of an autonomous vehicle step; and providing basis information for object information recognized by the autonomous vehicle through a difference between the output values of the original image and the copied image obtained using a neural network-based learning model for explaining the basis. there is.
상기 입력하는 단계는, 상기 원본 이미지로부터 차량과 관련된 물체 정보를 획득하고, 상기 획득된 차량과 관련된 물체 정보에 기초하여, 물체 영역이 구분된 영역 정보를 포함하는 원본 이미지를 상기 근거 설명을 위한 신경망 기반의 학습 모델에 입력하는 단계를 포함하고, 상기 원본 이미지는, 자율주행 차량의 카메라로부터 촬영된 이미지를 의미하고, 상기 획득된 차량과 관련된 객체 정보는, 상기 원본 이미지로부터 분류된 물체 및 배경, 상기 분류된 물체의 종류를 나타내는 분류값 및 상기 분류된 물체의 위치를 나타내는 위치 좌표를 포함할 수 있다. The inputting may include obtaining vehicle-related object information from the original image, and based on the obtained vehicle-related object information, an original image including area information in which object areas are divided into a neural network for explaining the basis and inputting it into a learning model based on, wherein the original image refers to an image captured by a camera of an autonomous vehicle, and the obtained vehicle-related object information includes: an object and a background classified from the original image; It may include a classification value indicating the type of the classified object and position coordinates indicating the position of the classified object.
상기 입력하는 단계는, 상기 원본 이미지에서 물체 영역이 구분된 영역 정보를 복수 개의 영역으로 분할하고, 상기 원본 이미지에서 분할된 복수 개의 영역의 픽셀에 색상을 변화시킴에 따라 생성된 복사 이미지를 상기 근거 설명을 위한 신경망 기반의 학습 모델에 입력할 수 있다. The inputting includes dividing the area information in which the object area is divided into a plurality of areas in the original image, and using the copied image generated by changing the color of pixels in the plurality of areas divided in the original image as the basis It can be input into a neural network-based learning model for explanation.
상기 제공하는 단계는, 상기 근거 설명을 위한 신경망 기반의 학습 모델을 이용하여 상기 원본 이미지에 대한 출력값 및 상기 복사 이미지에 대한 출력값을 획득하고, 상기 획득된 원본 이미지에 대한 출력값과 상기 복사 이미지에 대한 출력값의 차이를 계산하는 단계를 포함할 수 있다. In the providing step, an output value for the original image and an output value for the copied image are obtained using a neural network-based learning model for explaining the evidence, and an output value for the obtained original image and the output value for the copied image are obtained. It may include calculating a difference between the output values.
상기 제공하는 단계는, 상기 원본 이미지의 복수 개의 영역 및 상기 복사 이미지의 복수 개의 영역을 영역 집합으로 구성하기 위하여 영역 집합의 가로 크기 및 세로 크기를 지정하고, 상기 지정된 가로 크기 및 세로 크기에 기초하여 구성된 영역 집합에 속한 각 영역의 출력값의 차이에 대한 평균을 계산하고, 상기 계산된 출력값의 차이에 대한 평균에 기반하여 결론 및 설명을 도출하는 단계를 포함할 수 있다. In the providing step, a horizontal size and a vertical size of a region set are designated to constitute a plurality of regions of the original image and a plurality of regions of the copy image as a region set, and based on the specified horizontal size and vertical size, The method may include calculating an average of differences in output values of each region belonging to the configured region set, and deriving conclusions and explanations based on the average of differences in the calculated output values.
상기 제공하는 단계는, 상기 원본 이미지의 복수 개의 영역 및 상기 복사 이미지의 복수 개의 영역을 기 설정된 기준 값을 기준으로 상기 출력값의 차이가 큰 영역과 상기 출력값의 차이가 작은 영역을 분류하고, 상기 분류된 출력값의 차이가 큰 영역과 상기 출력값의 차이가 작은 영역으로부터 획득된 각각의 객체 분류값에 기초하여 결론 및 설명을 도출하는 단계를 포함할 수 있다. The providing may include classifying a region having a large difference in the output value and a region having a small difference in the output value based on a preset reference value for the plurality of regions of the original image and the plurality of regions of the copy image, and the classification The method may include deriving a conclusion and an explanation based on each object classification value obtained from a region having a large difference in output values and a region having a small difference in the output values.
상기 근거 설명을 위한 신경망 기반의 학습 모델은, 상기 원본 이미지 및 상기 복사 이미지에 대해 출력층이 이미지의 물체 분류를 나타내는 신경망의 출력층과 연결된 은닉층의 각 노드의 값을 추출하여 각각의 벡터로 나타내고, 상기 각각의 벡터의 각 원소값을 이용하여 출력값의 차이를 도출할 수 있다. The neural network-based learning model for the explanation of the evidence extracts the value of each node of the hidden layer connected to the output layer of the neural network in which the output layer represents the object classification of the image for the original image and the copied image, and represents it as a vector, A difference in output values can be derived by using each element value of each vector.
정보 제공 시스템은, 물체 또는 배경을 인식하기 위하여 구성된 물체 인식 모델을 통해 자율주행 차량과 관련된 원본 이미지로부터 물체 정보를 인식하는 단계; 상기 인식된 물체 정보를 포함하는 복수 개의 영역으로 구분된 원본 이미지와 상기 원본 이미지의 특정 영역에 색상을 변경한 복사 이미지를 자율주행 차량의 판단에 대한 근거 설명을 위한 신경망 기반의 학습 모델에 입력하는 이미지 입력부; 및 상기 근거 설명을 위한 신경망 기반의 학습 모델을 이용하여 획득된 상기 원본 이미지와 상기 복사 이미지에 대한 출력값의 차이를 통해 자율주행 차량으로부터 인식된 물체 정보에 대한 근거 정보를 제공하는 근거 제공부를 포함할 수 있다. The information providing system may include: recognizing object information from an original image related to an autonomous vehicle through an object recognition model configured to recognize an object or a background; An original image divided into a plurality of regions including the recognized object information and a copy image in which a color is changed in a specific region of the original image are input to a neural network-based learning model for explaining the basis for determination of an autonomous vehicle image input unit; and a basis providing unit that provides basis information for object information recognized by an autonomous vehicle through a difference between the output values of the original image and the copied image obtained using a neural network-based learning model for explaining the basis. can
자율주행 차량의 이미지 인식 모델이 특정 물체를 특정 분류로 인식했을 때, 그렇게 인식하도록 기여한 요소에 대한 분석을 통해 이미지 인식 알고리즘의 경향성을 분석할 수 있으며, 신뢰성을 판단 및 보장할 수 있어 이미지 인식 알고리즘의 개선에 기여할 수 있다. When the image recognition model of an autonomous vehicle recognizes a specific object as a specific classification, the tendency of the image recognition algorithm can be analyzed through analysis of factors contributing to such recognition, and reliability can be determined and guaranteed, so the image recognition algorithm can contribute to the improvement of
또한, 상기 신뢰성의 정도에 따라 신뢰성이 비교적 낮은 조건에서 모델의 정확성을 개선하기 위한 실험을 진행하는 것이 효율적이므로 자율주행 자동차의 인식 정확성 실험 계획의 효율적인 수립에도 기여할 수 있다. In addition, since it is efficient to conduct an experiment to improve the accuracy of a model under a condition of relatively low reliability according to the degree of reliability, it can contribute to the efficient establishment of an experiment plan for recognition accuracy of an autonomous vehicle.
또한, 모델의 오류에 의한 사고 발생 시 그 원인이 된 인식 오류에 대해서 보다 상세하고 명확히 파악할 수 있기 때문에 오류 원인의 분석에 기여할 수 있다.In addition, when an accident caused by an error in the model occurs, it can contribute to the analysis of the cause of the error because the recognition error that caused the error can be grasped in more detail and clearly.
도 1은 일 실시예에 따른 정보 제공 시스템의 동작을 설명하기 위한 도면이다.
도 2는 일 실시예에 따른 정보 제공 시스템의 구성을 설명하기 위한 블록도이다.
도 3은 일 실시예에 따른 정보 제공 시스템에서 이미지에 대한 출력값의 차이를 설명하기 위한 도면이다.
도 4는 일 실시예에 따른 정보 제공 시스템에서 출력값의 차이를 설명하기 위한 도면이다.
도 5는 일 실시예에 따른 정보 제공 시스템에서 출력값의 차이에 따라 근거를 제공하는 동작을 설명하기 위한 도면이다.
도 6은 일 실시예에 따른 정보 제공 시스템에서 학습 모델을 이용하여 출력값의 차이를 획득하는 동작을 설명하기 위한 도면이다.1 is a diagram for explaining an operation of an information providing system according to an embodiment.
2 is a block diagram illustrating a configuration of an information providing system according to an embodiment.
3 is a diagram for explaining a difference in output values for images in the information providing system according to an embodiment.
4 is a diagram for explaining a difference in output values in an information providing system according to an embodiment.
5 is a diagram for explaining an operation of providing a rationale according to a difference in output values in the information providing system according to an exemplary embodiment.
6 is a diagram for explaining an operation of obtaining a difference in output values using a learning model in the information providing system according to an embodiment.
이하, 실시예를 첨부한 도면을 참조하여 상세히 설명한다.Hereinafter, embodiments will be described in detail with reference to the accompanying drawings.
실시예에서는 설명 가능한 인공지능(XAI)에 기반하여 자율주행 차량의 물체 인식과 관련된 판단에 대한 근거를 설명하는 모델을 제안하고, 상기 제안된 모델을 통해 물체 인식에 대한 근거를 설명하기로 한다. 종래 기술이 물체 인식에 대한 결과만을 설명하는 반면, 실시예에서 제안된 기술은 물체 인식에 대한 근거를 설명할 수 있다. 구체적으로, 물체가 나타난 입력 이미지에서 물체에 해당하는 영역 중 일부분을 변화시켜서 그에 따른 출력 분류값과 그에 대한 확률을 도출하고, 원본 이미지를 입력한 결과 도출되는 출력 분류값과 그에 대한 확률과의 차이를 정량적으로 도출하는 SA(Sensitivity Analysis) 기반의 방법을 이용한다.In the embodiment, we propose a model for explaining the basis for judgment related to object recognition of an autonomous vehicle based on explanatory artificial intelligence (XAI), and explain the basis for object recognition through the proposed model. While the prior art only describes the result for object recognition, the technique proposed in the embodiment can explain the rationale for object recognition. Specifically, by changing a part of the area corresponding to the object in the input image in which the object appears, the output classification value and its probability are derived accordingly, and the difference between the output classification value derived as a result of inputting the original image and the probability thereof We use SA (Sensitivity Analysis)-based method to quantitatively derive .
도 1은 일 실시예에 따른 정보 제공 시스템의 동작을 설명하기 위한 도면이다.1 is a diagram for explaining an operation of an information providing system according to an embodiment.
정보 제공 시스템은 인공지능에 기반하여 자율주행 차량(예를 들면, 자동차, 화물차, 버스 등)의 물체 인식과 관련된 판단에 대한 근거를 설명하는 학습 모델을 구성할 수 있다. 정보 제공 시스템은 자율주행 차량의 카메라로부터 촬영된 이미지로부터 기 학습된 객체 탐지용 학습 모델(신경망 모델)을 이용하여 차량과 관련된 물체 정보를 인식할 수 있다. 이때, 차량 또는 자율주행 차량의 카메라로부터 촬영된 이미지(데이터 세트)를 이용하여 객체 탐지용 학습 모델이 학습될 수 있다. 다시 말해서, 이미지 인식을 위한 모델(객체 탐지용 학습 모델)을 통해 물체 정보가 인식될 수 있다. 정보 제공 시스템은 물체의 종류를 나타내는 분류값과 위치 좌표(예를 들면, 왼쪽 위 끝점 및 오른쪽 아래 끝점의 x축 및 y축 좌표)를 포함하는 물체 정보를 도출한 후, 이에 대한 근거 설명을 위한 신경망 기반의 학습 모델을 통해 설명하여 자율주행 차량의 물체 인식의 정확성 및 신뢰성을 높일 수 있다. The information providing system may construct a learning model that explains the basis for a judgment related to object recognition of an autonomous vehicle (eg, a car, a freight car, a bus, etc.) based on artificial intelligence. The information providing system may recognize vehicle-related object information by using a learning model (neural network model) for object detection that has been previously learned from an image captured by a camera of the autonomous vehicle. In this case, a learning model for object detection may be learned using an image (data set) captured from a camera of the vehicle or autonomous vehicle. In other words, object information may be recognized through a model for image recognition (a learning model for object detection). The information providing system derives object information including classification values indicating the type of object and location coordinates (eg, the x-axis and y-axis coordinates of the upper-left and lower-right endpoints), By explaining through a neural network-based learning model, it is possible to increase the accuracy and reliability of object recognition in autonomous vehicles.
상세하게는, 정보 제공 시스템은 기 학습된 객체 탐지용 학습 모델을 이용하여 촬영된 이미지(이하, '원본 이미지'로 기재하기로 함)로부터 물체를 인식하고, 인식된 물체 정보를 획득할 수 있다. 예를 들면, 정보 제공 시스템은 원본 이미지로부터 물체와 배경을 분류하고, 물체를 나타내는 분류값과 위치 좌표를 인식할 수 있다. 정보 제공 시스템은 인식된 각 물체에 대해 물체와 물체를 기준으로 주변의 일정 폭만큼의 영역을 포함하는 직사각형을 결정할 수 있다. 예를 들면, 물체와 물체를 기준으로 주변의 일정 폭만큼의 영역을 포함하는 최소 크기의 직사각형이 결정될 수 있다. 정보 제공 시스템은 원본 이미지의 각 직사각형을 복수 개의 영역으로 나눈 다음, 각 영역의 모든 픽셀을 특정 색으로 변경한 각 이미지(복사 이미지)들을 근거 설명을 위한 신경망 기반의 학습 모델에 입력하였을 때 출력되는 결과값(분류 값 및 위치 좌표)의 차이를 계산할 수 있다. 정보 제공 시스템은 계산된 결과값의 차이에 기초하여 원본 이미지에 대한 근거를 제공할 수 있다. 정보 제공 시스템은 최종 결론 및 설명을 사용자가 이해할 수 있는 형태로 근거를 도출할 수 있다.In detail, the information providing system may recognize an object from a photographed image (hereinafter referred to as an 'original image') using a pre-learned learning model for object detection, and obtain recognized object information. . For example, the information providing system may classify an object and a background from an original image, and recognize a classification value and position coordinates representing the object. The information providing system may determine, for each recognized object, a rectangle including the object and an area of a certain width around the object based on the object. For example, a rectangle having a minimum size including an object and an area of a predetermined width around the object may be determined. The information providing system divides each rectangle of the original image into a plurality of regions, and then inputs each image (copy image) in which all pixels in each region are changed to a specific color into a neural network-based learning model for explanation of evidence. The difference between the result values (classification value and location coordinates) can be calculated. The information providing system may provide a basis for the original image based on the difference between the calculated result values. The information providing system can derive the rationale for the final conclusion and explanation in a form that the user can understand.
도 1을 참고하면, 정보 제공 시스템은 원본 이미지로부터 물체 및 배경을 인식할 수 있다(110). 예를 들면, 정보 제공 시스템은 기 학습된 객체 탐지용 학습 모델을 통해 원본 이미지로부터 물체 및 배경을 인식할 수 있다. 정보 제공 시스템은 원본 이미지에 대한 출력값을 저장할 수 있다. 또는, 정보 제공 시스템은 근거 설명을 위한 신경망 기반의 학습 모델을 통해 원본 이미지로부터 물체 및 배경을 인식할 수 있다. Referring to FIG. 1 , the information providing system may recognize an object and a background from an original image ( 110 ). For example, the information providing system may recognize an object and a background from an original image through a pre-learned learning model for object detection. The information providing system may store an output value for the original image. Alternatively, the information providing system may recognize an object and a background from an original image through a neural network-based learning model for explanation of evidence.
정보 제공 시스템은 인식된 각 물체의 위치를 직사각형으로 표시할 수 있다(120). 정보 제공 시스템은 각 직사각형에 대해 원본 이미지에서 직사각형 부분을 근거 설명을 위한 신경망 기반의 학습 모델에 입력하였을 때의 출력값을 저장할 수 있다(121). 이때, 직사각형은 각 물체를 포함하는 형태로 표시될 수 있다. 이후, 정보 제공 시스템은 물체를 포함하는 직사각형 범위 또는 그 주변을 복수 개(예를 들면, N*M)의 영역으로 나눌 수 있다(122). 정보 제공 시스템은 직사각형을 복수 개의 영역으로 나누어서 각 영역의 입력값 변화가 출력값에 얼마나 큰 영향을 미치는지 계산할 수 있다. 이때, 정보 제공 시스템은 각 직사각형 및 각 영역에 대하여 반복적으로 동작을 수행할 수 있으며, 도 1에 도시된 '각 사각형에 대하여'의 경우, 다음 사각형이 존재할 경우 다음 사각형에 대하여 동일한 작업을 수행하고, 다음 직사각형이 존재하지 않을 경우, 프로세스를 종료할 수 있다. 마찬가지로, '각 영역에 대하여'의 경우 다음 영역이 존재할 경우, 다음 영역에 대하여 동일한 작업을 수행하고, 다음 영역이 존재하지 않을 경우, 프로세스를 종료할 수 있다. 정보 제공 시스템은 각 영역의 모든 픽셀을 일정한 색으로 변화시켰을 때의 출력값의 변화를 도출할 수 있다. 정보 제공 시스템은 각 영역의 모든 픽셀을 일정한 색으로 변화시킨 복사 이미지로부터 도출되는 출력값을 각 영역에 대해 구할 수 있다. 일례로, 정보 제공 시스템은 복수 개의 영역으로 구분된 원본 이미지를 복사할 수 있다(123). 정보 제공 시스템은 원본 이미지를 복사한 복사 이미지에서 해당 영역(예를 들면, 모든 영역 또는 특정 영역)을 일정색(예를 들면, 검정색)으로 칠할 수 있다(124). 정보 제공 시스템은 복사 이미지를 근거 설명을 위한 신경망 기반의 학습 모델에 입력하여 출력값을 획득할 수 있다(125). 정보 제공 시스템은 복사 이미지의 각 영역에 대해 출력된 출력값과 원본 이미지에 대한 출력값의 차이를 계산할 수 있다(126). 정보 제공 시스템은 계산된 출력값의 차이가 최대인 영역을 찾아 표시할 수 있다(127). 정보 제공 시스템은 계산된 출력값의 차이에 대한 결과를 분석하여 사용자가 이해할 수 있는 형태로 전체 결과에 대한 결론 및 설명을 도출할 수 있다(130). 정보 제공 시스템은 전체 결과에 대한 결론 및 설명을 포함하는 근거를 생성 및 표시할 수 있다. The information providing system may display the position of each recognized object as a rectangle ( 120 ). The information providing system may store the output value when the rectangular part in the original image for each rectangle is input to the neural network-based learning model for evidence explanation ( 121 ). In this case, the rectangle may be displayed in a form including each object. Thereafter, the information providing system may divide the rectangular range including the object or its periphery into a plurality of (eg, N*M) areas ( 122 ). The information providing system may divide the rectangle into a plurality of regions and calculate how much a change in the input value of each region affects the output value. At this time, the information providing system may repeatedly perform an operation for each rectangle and each area, and in the case of 'for each rectangle' shown in FIG. 1, if the next rectangle exists, the same operation is performed for the next rectangle, , if the next rectangle does not exist, the process can be terminated. Similarly, in the case of 'for each area', if the next area exists, the same operation is performed for the next area, and if the next area does not exist, the process may be terminated. The information providing system may derive a change in the output value when all pixels in each region are changed to a constant color. The information providing system may obtain an output value derived from a copy image in which all pixels of each area are changed to a constant color for each area. For example, the information providing system may copy the original image divided into a plurality of areas ( 123 ). The information providing system may paint a corresponding area (eg, all areas or a specific area) with a predetermined color (eg, black) in the copied image from which the original image is copied ( 124 ). The information providing system may obtain an output value by inputting the copied image into a neural network-based learning model for explanation of evidence ( 125 ). The information providing system may calculate a difference between an output value output for each region of the copy image and an output value for the original image ( 126 ). The information providing system may find and display a region in which the difference between the calculated output values is maximum ( 127 ). The information providing system may derive a conclusion and explanation about the overall result in a form that the user can understand by analyzing the result of the difference in the calculated output values ( 130 ). The information providing system may generate and display evidence including conclusions and explanations for the overall outcome.
도 2는 일 실시예에 따른 정보 제공 시스템의 구성을 설명하기 위한 블록도이다.2 is a block diagram illustrating a configuration of an information providing system according to an embodiment.
정보 제공 시스템(100)의 프로세서는 물체 인식부(210), 이미지 입력부(220) 및 근거 제공부(230)를 포함할 수 있다. 이러한 프로세서의 구성요소들은 정보 제공 시스템에 저장된 프로그램 코드가 제공하는 제어 명령에 따라 프로세서에 의해 수행되는 서로 다른 기능들(different functions)의 표현들일 수 있다. 이때, 프로세서 및 프로세서의 구성요소들은 메모리가 포함하는 운영체제의 코드와 적어도 하나의 프로그램의 코드에 따른 명령(instruction)을 실행하도록 구현될 수 있다.The processor of the
물체 인식부(210)는 물체 또는 배경을 인식하기 위하여 구성된 물체 인식 모델을 통해 자율주행 차량과 관련된 원본 이미지로부터 물체 정보를 인식할 수 있다. The object recognition unit 210 may recognize object information from an original image related to the autonomous vehicle through an object recognition model configured to recognize an object or a background.
이미지 입력부(220)는 인식된 물체 정보를 포함하는 복수 개의 영역으로 구분된 원본 이미지와 원본 이미지의 특정 영역에 색상을 변경한 복사 이미지를 자율주행 차량의 판단에 대한 근거 설명을 위한 신경망 기반의 학습 모델에 입력할 수 있다. 이미지 입력부(220)는 근거 설명을 위한 신경망 기반의 학습 모델을 이용하여 획득된 원본 이미지와 복사 이미지에 대한 출력값의 차이를 통해 근거 정보를 제공할 수 있다. 이때, 원본 이미지는, 자율주행 차량의 카메라로부터 촬영된 이미지를 의미하고, 획득된 차량과 관련된 객체 정보는, 원본 이미지로부터 분류된 물체 및 배경, 분류된 물체의 종류를 나타내는 분류값 및 분류된 물체의 위치를 나타내는 위치 좌표를 포함할 수 있다. 이미지 입력부(210)는 원본 이미지에서 물체 영역이 구분된 영역 정보를 복수 개의 영역으로 분할하고, 원본 이미지에서 분할된 복수 개의 영역의 픽셀에 색상을 변화시킴에 따라 생성된 복사 이미지를 근거 설명을 위한 신경망 기반의 학습 모델에 입력할 수 있다. The image input unit 220 uses an original image divided into a plurality of regions including the recognized object information and a copy image obtained by changing a color in a specific region of the original image for neural network-based learning to explain the basis for determining the autonomous vehicle. can be entered into the model. The image input unit 220 may provide evidence information through a difference between output values of the original image and the copied image obtained using a neural network-based learning model for explanation of evidence. In this case, the original image means an image captured by a camera of the autonomous vehicle, and the obtained vehicle-related object information includes objects and backgrounds classified from the original image, a classification value indicating the type of the classified object, and a classified object. may include location coordinates indicating the location of . The image input unit 210 divides the area information in which the object area is divided into a plurality of areas in the original image, and uses the copied image generated by changing the color of the pixels of the plurality of areas divided in the original image for the basis of explanation. It can be input to a neural network-based learning model.
근거 제공부(220)는 근거 설명을 위한 신경망 기반의 학습 모델을 이용하여 획득된 원본 이미지와 복사 이미지에 대한 출력값의 차이를 통해 자율주행 차량으로부터 인식된 물체 정보에 대한 근거 정보를 제공할 수 있다. 이때, 근거 설명을 위한 신경망 기반의 학습 모델은, 원본 이미지 및 복사 이미지에 대해 출력층이 이미지의 물체 분류를 나타내는 신경망의 출력층과 연결된 은닉층의 각 노드의 값을 추출하여 각각의 벡터로 나타내고, 각각의 벡터의 각 원소값을 이용하여 출력값의 차이를 도출할 수 있다. 근거 제공부(220)는 근거 설명을 위한 신경망 기반의 학습 모델을 이용하여 원본 이미지에 대한 출력값 및 복사 이미지에 대한 출력값을 획득하고, 획득된 원본 이미지에 대한 출력값과 복사 이미지에 대한 출력값의 차이를 계산할 수 있다. 근거 제공부(220)는 원본 이미지의 복수 개의 영역 및 복사 이미지의 복수 개의 영역을 영역 집합으로 구성하기 위하여 영역 집합의 가로 크기 및 세로 크기를 지정하고, 지정된 가로 크기 및 세로 크기에 기초하여 구성된 영역 집합에 속한 각 영역의 출력값의 차이에 대한 평균을 계산하고, 계산된 출력값의 차이에 대한 평균에 기반하여 결론 및 설명을 도출할 수 있다. 근거 제공부(220)는 원본 이미지의 복수 개의 영역 및 복사 이미지의 복수 개의 영역을 기 설정된 기준 값을 기준으로 출력값의 차이가 큰 영역과 출력값의 차이가 작은 영역을 분류하고, 분류된 출력값의 차이가 큰 영역과 출력값의 차이가 작은 영역으로부터 획득된 각각의 객체 분류값에 기초하여 결론 및 설명을 도출할 수 있다. The evidence providing unit 220 may provide the basis information for the object information recognized by the autonomous vehicle through the difference between the output values of the original image and the copied image obtained using a neural network-based learning model for explaining the evidence. . At this time, the neural network-based learning model for explaining the evidence extracts the value of each node of the hidden layer connected to the output layer of the neural network in which the output layer represents the object classification of the image with respect to the original image and the copied image and represents it as a vector, each The difference between the output values can be derived by using each element value of the vector. The evidence providing unit 220 obtains an output value for the original image and an output value for the copied image by using a neural network-based learning model for explaining the evidence, and the difference between the output value for the obtained original image and the output value for the copied image can be calculated The basis providing unit 220 designates a horizontal size and a vertical size of the region set in order to configure the plurality of regions of the original image and the plurality of regions of the copied image as a region set, and the region configured based on the specified horizontal and vertical sizes. An average of the differences in output values of each region belonging to the set may be calculated, and conclusions and explanations may be derived based on the average of the differences in the calculated output values. The basis providing unit 220 classifies a plurality of regions of the original image and a plurality of regions of the copied image into a region having a large difference in output values and a region having a small difference in output values based on a preset reference value, and the difference between the classified output values Conclusions and explanations can be drawn based on each object classification value obtained from a region with a large α and a region with a small difference in output values.
도 3은 일 실시예에 따른 정보 제공 시스템에서 이미지에 대한 출력값의 차이를 설명하기 위한 도면이다. 3 is a diagram for explaining a difference in output values for images in an information providing system according to an embodiment.
정보 제공 시스템은 이미지로부터 인식된 각 물체를 직사각형(점선 형태의 직사각형)으로 나타낼 수 있다. 정보 제공 시스템은 직사각형을 복수 개의 영역으로 구분할 수 있다. 정보 제공 시스템은 복수 개의 영역을 격자 형태로 나타낼 수 있다. 도 3을 참고하면, 각 직사각형의 원본 이미지와 각 직사각형에서 각 영역을 변화시킨 복사 이미지를 근거 설명을 위한 신경망 기반의 학습 모델에 입력하였을 때의 출력값의 차이를 나타낸 것이다. 예를 들면, 각 영역의 모든 픽셀을 특정색(예를 들면, 검정색)으로 변화시켰을 때의 복사 이미지의 출력값과 원본 이미지의 출력값의 변화를 도출하여 표시하는 과정을 나타낼 수 있다. 도 3A는 물체의 위치를 직사각형(점선 형태의 직사각형)으로 나타낸 것이고, 도 3B는 물체의 위치를 나타내는 직사각형(점선 형태의 직사각형)과 함께 직사각형을 복수 개의 영역으로 구분한 것(실선)을 나타낸 것이다. 도 3C에서 색칠된 영역(예를 들면, 검은색으로 색칠된 영역)은 변화시키는 영역을 나타낸 것이다. 예를 들면, 도 3C는 각 영역별로 해당 영역의 모든 픽셀을 검은색으로 변화시킨 복사 이미지를 근거 설명을 위한 신경망 기반의 학습 모델에 입력하여 출력값을 도출하고, 원본 이미지를 근거 설명을 위한 신경망 기반의 학습 모델에 입력하였을 때의 출력값과의 차이를 계산하는 과정을 나타낸 것이다. 도 3D에서 각 영역의 진하기는 해당 영역을 변화시켰을 때의 출력값의 차이를 나타낸 것이다. 도 3D는 도 3C에의 최종 결과로 도출된 각 영역의 출력값의 차이를 나타낸 것이다. 도 3D에서 각 영역의 진하기는 출력값의 차이가 클수록 진하게 표시될 수 있고, 출력값의 차이가 작을수록 연하게 표시될 수 있다. The information providing system may represent each object recognized from the image as a rectangle (a rectangle in the form of a dotted line). The information providing system may divide the rectangle into a plurality of regions. The information providing system may represent a plurality of regions in the form of a grid. Referring to FIG. 3 , it shows the difference in output values when the original image of each rectangle and the copy image obtained by changing each region in each rectangle are input to a neural network-based learning model for explanation of evidence. For example, it may represent a process of deriving and displaying changes in the output value of the copied image and the output value of the original image when all pixels in each region are changed to a specific color (eg, black). 3A shows the position of the object as a rectangle (a rectangle in the form of a dotted line), and FIG. 3B shows a rectangle (a rectangle in the form of a dotted line) indicating the position of the object and dividing the rectangle into a plurality of regions (solid line). . In FIG. 3C, a colored area (eg, a black colored area) indicates a changing area. For example, FIG. 3C shows that for each region, a copy image in which all pixels of the corresponding region are changed to black is input to a neural network-based learning model for explanation of evidence to derive an output value, and the original image is based on a neural network for explanation of evidence It shows the process of calculating the difference with the output value when it is input to the learning model of In FIG. 3D , the darkness of each area indicates the difference in output values when the corresponding area is changed. FIG. 3D shows the difference in output values of each region derived as a final result of FIG. 3C. In FIG. 3D , the darkness of each region may be displayed darker as the difference between the output values is greater, and may be displayed lighter as the difference between the output values is smaller.
도 4는 일 실시예에 따른 정보 제공 시스템에서 출력값의 차이를 설명하기 위한 도면이다.4 is a diagram for explaining a difference in output values in an information providing system according to an embodiment.
정보 제공 시스템은 출력값의 차이를 시각화하여 표시하는 방법, 출력값의 차이가 위치별로 어떻게 분포하는지를 해석하는 방법, 출력값의 차이가 크거나 작은 영역의 특징을 해석하는 방법 등 다양한 방법이 사용될 수 있다. 또한, 이러한 방법들 중 한 가지 또는 복수 가지의 방법이 이용될 수 있다. 도 4를 참고하면, 출력값의 차이에 대한 설명 생성을 동작의 예를 나타낸 것이다. 도 4A는 단순히 출력값의 차이를 시각화하여 표시한 것이고, 도 4B는 출력값의 차이가 위치별로 어떻게 분포하는지를 해석하고, 해석 결과를 자연어로 설명한 것이다. 도 4C는 출력값의 차이가 큰 영역과 작은 영역의 특징을 해석하고, 해석 결과를 자연어로 설명한 것이다. Various methods may be used for the information providing system, such as a method of visualizing and displaying the difference in output values, a method of interpreting how the difference in output values is distributed by location, and a method of interpreting the characteristics of a region with a large or small difference in output values. Also, one or more of these methods may be used. Referring to FIG. 4 , an example of an operation of generating a description for a difference in output values is shown. FIG. 4A simply visualizes and displays the difference in output values, and FIG. 4B illustrates how the difference in output values is distributed for each location and explains the analysis results in natural language. FIG. 4C is a diagram illustrating characteristics of a region having a large difference in output values and a region having a small difference in output values analyzed, and the analysis results are explained in natural language.
도 5는 일 실시예에 따른 정보 제공 시스템에서 출력값의 차이에 따라 근거를 제공하는 동작을 설명하기 위한 도면이다.5 is a diagram for explaining an operation of providing a rationale according to a difference in output values in the information providing system according to an exemplary embodiment.
정보 제공 시스템은 도 4에서 제시된 설명 방법 중 도 4B와 도 4C에 해당하는 방법에 대한 순서도를 5B'와 도 5C'로 나타낸 것이다. 도 5B'를 참고하면, 정보 제공 시스템은 영역 집합을 구성하여 각 영역 집합에 대한 출력값의 차이에 대한 평균에 기반하여 근거를 도출할 수 있다. 구체적으로, 정보 제공 시스템은 복수 개의 영역을 하나의 영역으로 구성하기 위하여 영역 집합의 가로 크기 및 세로 크기(각 행 및 열의 영역 개수)를 지정할 수 있다(510). 예를 들면, 가로 크기가 3, 세로 크기가 4이면, 행과 영은 각각 3개, 4개의 영역으로 구성될 수 있으며, 총 3*4=12개의 영역으로 구성될 수 있다. 이렇게 구성된 각 영역 집합에 대해 해당 영역 집합에 속한 각 영역의 출력값의 차이에 대한 평균을 계산할 수 있다(520). 정보 제공 시스템은 계산된 출력값의 차이에 대한 평균값에 기초하여 결론 및 설명을 도출할 수 있다(530). In the information providing system, flowcharts for methods corresponding to FIGS. 4B and 4C among the explanatory methods presented in FIG. 4 are shown as 5B' and 5C'. Referring to FIG. 5B', the information providing system may derive a basis based on an average of differences in output values for each set of regions by constructing a set of regions. Specifically, the information providing system may designate a horizontal size and a vertical size (the number of regions in each row and column) of the region set to configure the plurality of regions into one region ( 510 ). For example, if the horizontal size is 3 and the vertical size is 4, the row and the zero may be composed of 3 and 4 regions, respectively, and a total of 3*4=12 regions may be configured. For each region set configured in this way, an average of differences in output values of each region belonging to the region set may be calculated ( 520 ). The information providing system may draw conclusions and explanations based on the average value of the calculated differences in output values ( 530 ).
도 5C'를 참고하면, 정보 제공 시스템은 각 영역을 출력값의 차이를 기 설정된 기준에 기초하여 큰 영역과 작은 영역으로 구분하여 각 영역의 출력값의 차이에 따라 영역을 분류 및 분류된 영역별 객체 분류값에 기반하여 근거를 도출할 수 있다. 구체적으로, 정보 제공 시스템은 각 영역을 출력값의 차이가 큰 영역과 작은 영역으로 분류할 수 있다(540). 이때, 큰 영역과 작은 영역으로 분류하기 위한 기준값이 설정될 수 있으며, 이러한 기준값은 사용자에 의해 입력될 수 있고, 또는 정보 제공 시스템에 의해 자동으로 입력될 수 있다. 정보 제공 시스템은 각 영역 분류에 속하는 영역들을 근거 설명을 위한 신경망 기반의 학습 모델에 입력하여 출력되는 객체 분류값을 도출할 수 있다. 정보 제공 시스템은 출력값의 차이가 큰 영역을 근거 설명을 위한 신경망 기반의 학습 모델에 입력하여 출력되는 객체 분류값을 도출할 수 있다(550). 정보 제공 시스템은 출력값의 차이가 작은 영역을 근거 설명을 위한 신경망 기반의 학습 모델에 입력하여 출력되는 객체 분류값을 도출할 수 있다(560). 정보 제공 시스템은 각 영역의 영역 분류 값 및 도출된 객체 분류값에 기반하여 근거를 도출할 수 있다. 정보 제공 시스템은 출력값의 차이에 의한 영역 분류 및 객체 분류값에 기반하여 결론 및 설명을 도출할 수 있다(570).Referring to FIG. 5C', the information providing system divides each area into a large area and a small area based on a preset criterion for the difference in output values, and classifies the area according to the difference in the output values of each area and classifies the objects by the classified area Evidence can be derived based on the value. Specifically, the information providing system may classify each region into a region having a large difference in output values and a region having a small output value ( 540 ). In this case, a reference value for classifying into a large area and a small area may be set, and the reference value may be input by a user or may be automatically input by an information providing system. The information providing system may derive an object classification value that is output by inputting regions belonging to each region classification into a neural network-based learning model for explanation of evidence. The information providing system may derive an output object classification value by inputting a region having a large difference in output values into a neural network-based learning model for explanation of evidence ( 550 ). The information providing system may derive an output object classification value by inputting a region having a small difference in output values into a neural network-based learning model for explanation of evidence ( 560 ). The information providing system may derive a rationale based on the region classification value of each region and the derived object classification value. The information providing system may derive conclusions and explanations based on the domain classification and object classification values due to the difference in output values ( 570 ).
도 6은 일 실시예에 따른 정보 제공 시스템에서 학습 모델을 이용하여 출력값의 차이를 획득하는 동작을 설명하기 위한 도면이다. 6 is a diagram for explaining an operation of obtaining a difference in output values using a learning model in the information providing system according to an embodiment.
도 6은 원본 이미지와 원본 이미지의 특정 영역을 변화시킨 복사 이미지 각각을 근거 설명을 위한 신경망 기반의 학습 모델에 입력하였을 때, 도출되는 출력값의 차이를 도출하는 과정을 나타낸 것이다. 각 이미지에 대하여 신경망의 출력층과 연결된 은닉층(LL)의 값을 각각 벡터화하고, 두 벡터의 각 원소값을 이용하여 차이를 정량적으로 계산하여 출력값의 차이를 도출할 수 있다.6 is a diagram illustrating a process of deriving a difference in output values derived when the original image and each of the copy images obtained by changing a specific region of the original image are input to a neural network-based learning model for explanation of evidence. For each image, the value of the hidden layer (LL) connected to the output layer of the neural network is vectorized, and the difference between the two vectors is quantitatively calculated by using each element value of the two vectors to derive the difference in the output value.
정보 제공 시스템은 원본 이미지(O)(도 6A)와 특정 영역을 변화시킨 복사 이미지(O')(도 6B)를 근거 설명을 위한 신경망 기반의 학습 모델에 입력할 수 있다. 이때, 학습 모델은 기 학습된 학습 모델일 수 있다. 정보 제공 시스템은 기 학습 모델로부터 원본 이미지와 복사 이미지 간의 출력값의 차이를 획득할 수 있다. 원본 이미지와 복사 이미지에 대해, 출력층(OL)이 이미지의 물체 분류를 나타내는 신경망(도 6C)의 출력층과 연결된 은닉층(LL)의 각 노드의 값을 추출하여 각각의 벡터(도 6D, 도 6E)로 나타낼 수 있다. 이러한 각각의 벡터를 각각의 배열 val(O), val(O')로 나타내면, 배열로 나타낸 각각의 벡터값의 차이를 정량적으로 계산함으로써 출력값이 차이가 도출될 수 있다. The information providing system may input the original image O (FIG. 6A) and the copy image O' (FIG. 6B) in which a specific region is changed into a neural network-based learning model for explaining the evidence. In this case, the learning model may be a previously learned learning model. The information providing system may obtain a difference in output values between the original image and the copied image from the pre-learning model. For the original image and the copied image, the output layer (OL) extracts the value of each node of the hidden layer (LL) connected with the output layer of the neural network (Fig. 6C) representing the object classification of the image, and each vector (Fig. 6D, Fig. 6E) can be expressed as If each of these vectors is represented by respective arrays val(O) and val(O'), the difference in output values may be derived by quantitatively calculating the difference between the respective vector values represented by the array.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.The device described above may be implemented as a hardware component, a software component, and/or a combination of the hardware component and the software component. For example, devices and components described in the embodiments may include, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable gate array (FPGA). , a programmable logic unit (PLU), microprocessor, or any other device capable of executing and responding to instructions, may be implemented using one or more general purpose or special purpose computers. The processing device may execute an operating system (OS) and one or more software applications running on the operating system. A processing device may also access, store, manipulate, process, and generate data in response to execution of the software. For convenience of understanding, although one processing device is sometimes described as being used, one of ordinary skill in the art will recognize that the processing device includes a plurality of processing elements and/or a plurality of types of processing elements. It can be seen that can include For example, the processing device may include a plurality of processors or one processor and one controller. Other processing configurations are also possible, such as parallel processors.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.Software may comprise a computer program, code, instructions, or a combination of one or more thereof, which configures a processing device to operate as desired or is independently or collectively processed You can command the device. The software and/or data may be any kind of machine, component, physical device, virtual equipment, computer storage medium or apparatus, to be interpreted by or to provide instructions or data to the processing device. may be embodied in The software may be distributed over networked computer systems and stored or executed in a distributed manner. Software and data may be stored in one or more computer-readable recording media.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. The method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, etc. alone or in combination. The program instructions recorded on the medium may be specially designed and configured for the embodiment, or may be known and available to those skilled in the art of computer software. Examples of the computer-readable recording medium include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic such as floppy disks. - includes magneto-optical media, and hardware devices specially configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine language codes such as those generated by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.As described above, although the embodiments have been described with reference to the limited embodiments and drawings, various modifications and variations are possible from the above description by those skilled in the art. For example, the described techniques are performed in an order different from the described method, and/or the described components of the system, structure, apparatus, circuit, etc. are combined or combined in a different form than the described method, or other components Or substituted or substituted by equivalents may achieve an appropriate result.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and equivalents to the claims are also within the scope of the following claims.
Claims (8)
물체 또는 배경을 인식하기 위하여 구성된 물체 인식 모델을 통해 자율주행 차량과 관련된 원본 이미지로부터 물체 정보를 인식하는 단계;
상기 인식된 물체 정보를 포함하는 복수 개의 영역으로 구분된 원본 이미지와 상기 원본 이미지의 특정 영역에 색상을 변경한 복사 이미지를 자율주행 차량의 판단에 대한 근거 설명을 위한 신경망 기반의 학습 모델에 입력하는 단계; 및
상기 근거 설명을 위한 신경망 기반의 학습 모델을 이용하여 획득된 상기 원본 이미지와 상기 복사 이미지에 대한 출력값의 차이를 통해 자율주행 차량으로부터 인식된 물체 정보에 대한 근거 정보를 제공하는 단계
를 포함하는 정보 제공 방법. An information providing method for an object recognition model of an autonomous vehicle performed by an information providing system, the method comprising:
recognizing object information from an original image associated with an autonomous vehicle through an object recognition model configured to recognize an object or a background;
An original image divided into a plurality of regions including the recognized object information and a copy image in which a color is changed in a specific region of the original image are input to a neural network-based learning model for explaining the basis for determination of an autonomous vehicle step; and
Providing basis information for object information recognized by an autonomous vehicle through a difference between output values of the original image and the copied image obtained using a neural network-based learning model for explaining the basis
A method of providing information, including
상기 입력하는 단계는,
상기 인식된 물체 정보에 기초하여, 물체 영역이 구분된 영역 정보를 포함하는 원본 이미지를 상기 근거 설명을 위한 신경망 기반의 학습 모델에 입력하는 단계
를 포함하고,
상기 원본 이미지는, 자율주행 차량의 카메라로부터 촬영된 이미지를 의미하고,
상기 획득된 차량과 관련된 객체 정보는, 상기 원본 이미지로부터 분류된 물체 및 배경, 상기 분류된 물체의 종류를 나타내는 분류값 및 상기 분류된 물체의 위치를 나타내는 위치 좌표를 포함하는
것을 특징으로 하는 정보 제공 방법. According to claim 1,
The input step is
Based on the recognized object information, inputting an original image including area information into which object areas are divided into a neural network-based learning model for explaining the basis
including,
The original image means an image taken from a camera of an autonomous vehicle,
The obtained vehicle-related object information includes an object and a background classified from the original image, a classification value indicating the type of the classified object, and location coordinates indicating the location of the classified object
Information providing method, characterized in that.
상기 입력하는 단계는,
상기 원본 이미지에서 물체 영역이 구분된 영역 정보를 복수 개의 영역으로 분할하고, 상기 원본 이미지에서 분할된 복수 개의 영역의 픽셀에 색상을 변화시킴에 따라 생성된 복사 이미지를 상기 근거 설명을 위한 신경망 기반의 학습 모델에 입력하는 단계
를 포함하는 정보 제공 방법. According to claim 1,
The input step is
In the original image, the area information in which the object area is divided is divided into a plurality of areas, and the copied image generated by changing the color of the pixels of the plurality of areas divided in the original image is a neural network-based method for explaining the basis. Steps to enter into the learning model
A method of providing information, including
상기 제공하는 단계는,
상기 근거 설명을 위한 신경망 기반의 학습 모델을 이용하여 상기 원본 이미지에 대한 출력값 및 상기 복사 이미지에 대한 출력값을 획득하고, 상기 획득된 원본 이미지에 대한 출력값과 상기 복사 이미지에 대한 출력값의 차이를 계산하는 단계
를 포함하는 정보 제공 방법.According to claim 1,
The providing step is
Obtaining an output value for the original image and an output value for the copied image using a neural network-based learning model for explaining the evidence, and calculating the difference between the obtained output value for the original image and the output value for the copied image step
A method of providing information, including
상기 제공하는 단계는,
상기 원본 이미지의 복수 개의 영역 및 상기 복사 이미지의 복수 개의 영역을 영역 집합으로 구성하기 위하여 영역 집합의 가로 크기 및 세로 크기를 지정하고, 상기 지정된 가로 크기 및 세로 크기에 기초하여 구성된 영역 집합에 속한 각 영역의 출력값의 차이에 대한 평균을 계산하고, 상기 계산된 출력값의 차이에 대한 평균에 기반하여 결론 및 설명을 도출하는 단계
를 포함하는 정보 제공 방법.5. The method of claim 4,
The providing step is
In order to configure the plurality of regions of the original image and the plurality of regions of the copy image as a region set, the horizontal size and vertical size of the region set are designated, and each of the regions belonging to the configured region set based on the specified horizontal and vertical sizes calculating an average of the difference in output values of the region, and deriving a conclusion and explanation based on the average of the difference in the calculated output values
A method of providing information, including
상기 제공하는 단계는,
상기 원본 이미지의 복수 개의 영역 및 상기 복사 이미지의 복수 개의 영역을 기 설정된 기준 값을 기준으로 상기 출력값의 차이가 큰 영역과 상기 출력값의 차이가 작은 영역을 분류하고, 상기 분류된 출력값의 차이가 큰 영역과 상기 출력값의 차이가 작은 영역으로부터 획득된 각각의 객체 분류값에 기초하여 결론 및 설명을 도출하는 단계
를 포함하는 정보 제공 방법.5. The method of claim 4,
The providing step is
A plurality of regions of the original image and a plurality of regions of the copied image are classified into a region having a large difference in the output values and a region having a small difference in the output values based on a preset reference value, and the classified output values having a large difference are classified. deriving a conclusion and explanation based on each object classification value obtained from a region and a region having a small difference in the output value
A method of providing information, including
상기 근거 설명을 위한 신경망 기반의 학습 모델은,
상기 원본 이미지 및 상기 복사 이미지에 대해 출력층이 이미지의 물체 분류를 나타내는 신경망의 출력층과 연결된 은닉층의 각 노드의 값을 추출하여 각각의 벡터로 나타내고, 상기 각각의 벡터의 각 원소값을 이용하여 출력값의 차이를 도출하는
것을 특징으로 하는 정보 제공 방법.According to claim 1,
The neural network-based learning model for the explanation of the evidence is,
For the original image and the copied image, the output layer extracts the value of each node of the hidden layer connected to the output layer of the neural network representing the object classification of the image and represents it as each vector, and the output value using each element value of each vector making a difference
Information providing method, characterized in that.
물체 또는 배경을 인식하기 위하여 구성된 물체 인식 모델을 통해 상기 자율주행 차량과 관련된 원본 이미지로부터 물체 정보를 인식하는 물체 인식부;
상기 인식된 물체 정보를 포함하는 복수 개의 영역으로 구분된 원본 이미지와 상기 원본 이미지의 특정 영역에 색상을 변경한 복사 이미지를 자율주행 차량의 판단에 대한 근거 설명을 위한 신경망 기반의 학습 모델에 입력하는 이미지 입력부; 및
상기 근거 설명을 위한 신경망 기반의 학습 모델을 이용하여 획득된 상기 원본 이미지와 상기 복사 이미지에 대한 출력값의 차이를 통해 자율주행 차량으로부터 인식된 물체 정보에 대한 근거 정보를 제공하는 근거 제공부
를 포함하는 정보 제공 시스템.
In the information providing system,
an object recognition unit for recognizing object information from an original image related to the autonomous vehicle through an object recognition model configured to recognize an object or a background;
An original image divided into a plurality of regions including the recognized object information and a copy image in which a color is changed in a specific region of the original image are input to a neural network-based learning model for explaining the basis for determination of an autonomous vehicle image input unit; and
A basis providing unit that provides basis information for object information recognized from an autonomous vehicle through a difference between output values of the original image and the copied image obtained using a neural network-based learning model for explaining the basis
An information provision system comprising a.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200148751A KR102504862B1 (en) | 2020-11-09 | 2020-11-09 | A model for explaining the reason for the decision of self-driving car |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200148751A KR102504862B1 (en) | 2020-11-09 | 2020-11-09 | A model for explaining the reason for the decision of self-driving car |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220062961A true KR20220062961A (en) | 2022-05-17 |
| KR102504862B1 KR102504862B1 (en) | 2023-02-28 |
Family
ID=81803247
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200148751A KR102504862B1 (en) | 2020-11-09 | 2020-11-09 | A model for explaining the reason for the decision of self-driving car |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102504862B1 (en) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200094846A (en) * | 2019-01-23 | 2020-08-10 | 한국과학기술원 | Method and apparatus for training neural network |
-
2020
- 2020-11-09 KR KR1020200148751A patent/KR102504862B1/en active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200094846A (en) * | 2019-01-23 | 2020-08-10 | 한국과학기술원 | Method and apparatus for training neural network |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102504862B1 (en) | 2023-02-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111738231B (en) | Target object detection method and device, computer equipment and storage medium | |
| KR102565278B1 (en) | Image segmentation method, image segmentation device, and learning method ofimage segmentation | |
| EP3388978B1 (en) | Image classification method, electronic device, and storage medium | |
| US8379994B2 (en) | Digital image analysis utilizing multiple human labels | |
| KR102160224B1 (en) | Semantic object region segmentation method and system based on weak map learning object detector | |
| KR102008290B1 (en) | Method and apparatus for detecting action of object in viedio stream | |
| KR20160096460A (en) | Recognition system based on deep learning including a plurality of classfier and control method thereof | |
| KR101930940B1 (en) | Apparatus and method for analyzing image | |
| KR20160091786A (en) | Method and apparatus for managing user | |
| KR102476022B1 (en) | Face detection method and apparatus thereof | |
| KR20160032466A (en) | Method and apparatus for extracting image feature | |
| KR20190131207A (en) | Robust camera and lidar sensor fusion method and system | |
| KR20210051473A (en) | Apparatus and method for recognizing video contents | |
| KR101817440B1 (en) | The 3d model-based object recognition techniques and systems with a multi-camera | |
| Chen et al. | Exploring gradient-based multi-directional controls in gans | |
| KR102285269B1 (en) | Image analysis apparatus and method for utilizing the big data base GEO AI | |
| CN113255715A (en) | Method of identifying filters in a neural network, system thereof, and storage medium | |
| Vishnu Lohit et al. | Multiple object detection mechanism using YOLO | |
| Duque et al. | The OBSERVER: An intelligent and automated video surveillance system | |
| KR102504862B1 (en) | A model for explaining the reason for the decision of self-driving car | |
| KR102026280B1 (en) | Method and system for scene text detection using deep learning | |
| KR102580131B1 (en) | Cycle generative adversarial network conditional gen erative adversarial network | |
| KR102127855B1 (en) | Feature selection method with maximum repeatability | |
| KR102224218B1 (en) | Method and Apparatus for Deep Learning based Object Detection utilizing Video Time Information | |
| KR102605708B1 (en) | Visual explanation for image classification task using adjustable grad-cam |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |