KR20230051110A - Method and apparatus for processing artificial intelligence learning model of on-board image processing system - Google Patents

Method and apparatus for processing artificial intelligence learning model of on-board image processing system Download PDF

Info

Publication number
KR20230051110A
KR20230051110A KR1020220129992A KR20220129992A KR20230051110A KR 20230051110 A KR20230051110 A KR 20230051110A KR 1020220129992 A KR1020220129992 A KR 1020220129992A KR 20220129992 A KR20220129992 A KR 20220129992A KR 20230051110 A KR20230051110 A KR 20230051110A
Authority
KR
South Korea
Prior art keywords
learning model
visual
artificial intelligence
visual attention
attention map
Prior art date
Application number
KR1020220129992A
Other languages
Korean (ko)
Inventor
윤찬현
김태우
주경노
Original Assignee
한국과학기술원
국방과학연구소
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원, 국방과학연구소 filed Critical 한국과학기술원
Publication of KR20230051110A publication Critical patent/KR20230051110A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

The present invention relates to a technology for processing an artificial intelligence learning model in an on-board image processing system mounted on an artificial satellite. A visual attention map, which has a random pruning ratio and a random visual attention map framework applied thereto, is generated from an object image of an object photographed by an artificial satellite, an explanatory index value of an interpreter interaction type is provided based on robustness to the generated visual attention map and the preference of an interpreter depending on the visual attention map framework, the pruning ratio of an on-board image processing device and the information of the visual attention map framework are determined based on the explanatory index value of an interpreter interaction type, and the determined pruning ration and the determined information of the visual attention map framework are transmitted to the on-board image processing device, thereby satisfying both the accuracy and explainability of an object detection model.

Description

인공지능 학습 모델 처리 장치 및 방법, 이를 위한 온보드 기반 이미지 처리 시스템, 인공지능 학습 모델 처리 방법을 수행하는 프로그램 및 인공지능 학습 모델 처리 방법을 수행하는 프로그램이 저장된 컴퓨터 판독 가능한 기록매체 {METHOD AND APPARATUS FOR PROCESSING ARTIFICIAL INTELLIGENCE LEARNING MODEL OF ON-BOARD IMAGE PROCESSING SYSTEM}Artificial intelligence learning model processing device and method, onboard-based image processing system therefor, a program for performing the artificial intelligence learning model processing method, and a computer readable recording medium storing a program for performing the artificial intelligence learning model processing method {METHOD AND APPARATUS FOR PROCESSING ARTIFICIAL INTELLIGENCE LEARNING MODEL OF ON-BOARD IMAGE PROCESSING SYSTEM}

본 발명은 위성에 탑재되는 온보드(on-board) 기반의 이미지 처리 시스템에서 인공지능 학습 모델을 처리하는 기술에 관한 것이다.The present invention relates to a technology for processing an artificial intelligence learning model in an on-board based image processing system mounted on a satellite.

객체 탐지 및 장면 추론과 같은 위성 이미지 분석에서의 심층 학습(deep learning)은 합성 곱 신경망(convolutional neural network) 기반의 비선형적 분석을 통해 높은 예측 정확도를 가지며, 시간과 빛의 상황에 따른 픽셀 변화에 강건한 특성을 보이면서 높은 예측 성능을 확보할 수 있다.Deep learning in satellite image analysis, such as object detection and scene inference, has high prediction accuracy through nonlinear analysis based on a convolutional neural network, and pixel change according to time and light conditions. It is possible to secure high predictive performance while showing robust characteristics.

그러나, 심층 신경망의 비선형 구조는 사람으로 하여금 그 예측에 대한 역추적에 한계가 있기 때문에, 최근에는 시각적 집중 맵(visual attention map)과 같이 사람이 이해할 수 있는 도메인의 설명을 제공하는 설명 가능한 인공지능 모델이 제안되고 있다.However, since the non-linear structure of deep neural networks has limits for humans to trace back their predictions, recently explainable artificial intelligence that provides descriptions of domains that humans can understand, such as visual attention maps. A model is being proposed.

위성 이미지 분석은 위성의 이미지 센서로 촬영된 상위 뷰의 이미지 내에서 장면 분류나 타겟 객체 탐지를 수행한다. 이때, 설명 가능한 인공지능 모델은 인공지능 모델의 예측과 그에 대한 설명을 지상의 판독관에게 제공함으로써 인공지능 모델에 대한 신뢰도와 설명성을 향상시킬 수 있다. 하지만, 지금까지 설명 가능한 인공지능 모델은 심층 신경망의 파라미터로부터 사람이 이해가능한 형태의 설명을 주도록 모델을 잘 해석하는 것에 초점이 맞춰져 있다. 따라서, 판독관에게 제공하는 설명에 대한 설명성의 질과 신뢰도에 대한 이슈는 여전히 존재한다.Satellite image analysis performs scene classification or target object detection within a top view image captured by a satellite image sensor. At this time, the explainable artificial intelligence model can improve the reliability and explainability of the artificial intelligence model by providing the prediction of the artificial intelligence model and its explanation to the ground reader. However, explainable artificial intelligence models so far have focused on interpreting the model well to give human-understandable explanations from the parameters of deep neural networks. Thus, issues of the quality and reliability of the explanations provided to the reader still exist.

또한, 최근의 위성 탑재 하드웨어 상에는 임베디드 GPU와 FPGA 등이 장착되어 인공지능 기반 온보드 이미지 처리의 요구사항이 늘고 있다. 대표적으로는 촬영된 위성 이미지에서 구름을 탐지하여, 이 영역의 이미지 패치는 제외하고 지상에 전송함으로써 위성-지상 사이의 통신 대역을 효율적으로 활용할 수 있게 한다.In addition, as embedded GPUs and FPGAs are installed on recent satellite-mounted hardware, the requirements for artificial intelligence-based onboard image processing are increasing. Typically, cloud is detected in a captured satellite image, and image patches in this area are excluded and transmitted to the ground, thereby enabling efficient use of the communication band between the satellite and the ground.

하지만, 위성 하드웨어 가속기의 메모리 제약과 저전력 요구사항으로 인해 상술한 바와 같은 설명 가능한 인공지능 기반의 위성 이미지 분석 모델을 처리하기 위해서는 학습된 모델의 경량화가 필요하다. 일반적으로 사용되는 지식 전이(knowledge distillation)와 가지치기(pruning) 기법은 학습된 모델을 효과적으로 경량화 할 수 있으나, 모델의 압축률이 높아질수록 정확도와 설명가능한 인공지능 모델의 설명성이 저하되는 문제점이 존재한다. 특히, 가지치기 기법에서는 모델의 정확도를 유지하도록 심층 신경망의 파라미터 제거 기준을 적응적으로 선택하여 모델의 정확도를 최대한 유지하려는 연구들이 존재하였으나, 설명가능한 인공지능 모델의 설명성의 변화에 대한 이슈가 존재한다.However, due to memory limitations and low power requirements of the satellite hardware accelerator, it is necessary to reduce the weight of the learned model in order to process the above-described explainable artificial intelligence-based satellite image analysis model. Commonly used knowledge distillation and pruning techniques can effectively lighten the learned model, but there is a problem that the accuracy and explainability of the explainable artificial intelligence model deteriorates as the compression rate of the model increases. do. In particular, in the pruning technique, there have been studies to maintain model accuracy as much as possible by adaptively selecting the parameter removal criterion of the deep neural network to maintain model accuracy, but there is an issue about the change in explainability of explainable artificial intelligence models. do.

즉, 위성에 탑재되는 온보드 기반의 인공지능 이미지 처리 시스템은 메모리, 전력 등의 제약으로 인해 학습 모델(위성 온보드 인공지능 모델)의 경량화가 필요하며, 경량화를 위해 가지치기 기법 등을 적용할 경우에 학습 모델의 정확도와 설명성(explainability)이 저하되는 문제가 있다.In other words, the onboard-based artificial intelligence image processing system mounted on the satellite needs to reduce the weight of the learning model (satellite onboard artificial intelligence model) due to limitations in memory and power. There is a problem in that the accuracy and explainability of the learning model are degraded.

"Grad-cam: Visual explanations from deep networks via gradient-based localization." Selvaraju, et al., ICCV, 2017."Grad-cam: Visual explanations from deep networks via gradient-based localization." Selvaraju, et al., ICCV, 2017. "The Lottery Ticket Hypothesis: Finding Sparse, Trainable Neural Networks", J Frankle, et al., ICLR, 2019"The Lottery Ticket Hypothesis: Finding Sparse, Trainable Neural Networks", J Frankle, et al., ICLR, 2019 "Distilling the knowledge in a neural network", G Hinton, NeurIPS Workshop, 2014."Distilling the knowledge in a neural network", G Hinton, NeurIPS Workshop, 2014. "Learning both weights and connections for efficient neural networks." S Han, et al., NeurIPS, 2015."Learning both weights and connections for efficient neural networks." S Han, et al., NeurIPS, 2015. "Cloudscout: a deep neural network for on-board cloud detection on hyperspectral images." Giuffrida, G et al., Remote Sensing, 2020."Cloudscout: a deep neural network for on-board cloud detection on hyperspectral images." Giuffrida, G et al., Remote Sensing, 2020. "An FPGA-Based Hardware Accelerator for CNNs Inference on Board Satellites: Benchmarking with Myriad 2-Based Solution for the CloudScout Case Study." Rapuano E, et al., Remote Sensing, 2021."An FPGA-Based Hardware Accelerator for CNNs Inference on Board Satellites: Benchmarking with Myriad 2-Based Solution for the CloudScout Case Study." Rapuano E, et al., Remote Sensing, 2021.

이에, 본 발명의 실시예에 따르면, 위성 온보드 인공지능 모델의 설명성을 유지하면서 심층 신경망 구조에 대해 적응적으로 가지치기 비율을 조정할 수 있는 온보드 기반의 인공지능 모델 처리 기술을 제안하고자 한다.Accordingly, according to an embodiment of the present invention, an onboard-based artificial intelligence model processing technology capable of adaptively adjusting the pruning ratio for a deep neural network structure while maintaining the explainability of the satellite onboard artificial intelligence model is proposed.

본 발명은 온보드 인공지능 모델의 설명성을 정량적으로 표현하고, 이를 기초로 백본 네트워크의 가지치기 제어 및 타겟 설명성을 최대화하는 인공지능 모델 처리 기술을 제안하고자 한다.The present invention intends to propose an artificial intelligence model processing technology that quantitatively expresses the explainability of the onboard artificial intelligence model and maximizes the pruning control and target explainability of the backbone network based on the quantitative expression.

구체적으로, 본 발명은 시각적 집중 맵 간의 배경 편이를 제거하여 일치 정도를 나타내기 위한 시각적 집중 맵의 일치(similarity) 연산 기법과, 판독관의 피드백을 바탕으로 설명에 대한 판독관과 인공 지능 모델 간의 합의 정도를 기초로 온보드 처리를 적응적으로 변화시키는 기법을 제안하고자 한다.Specifically, the present invention provides a similarity calculation method for visual attention maps to indicate the degree of matching by removing background shift between visual attention maps, and a method for calculating a similarity between a reader and an artificial intelligence model for explanation based on the reader's feedback. We propose a technique for adaptively changing the onboard processing based on the degree of agreement.

본 발명의 해결하고자 하는 과제는 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 해결하고자 하는 과제는 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The problem to be solved by the present invention is not limited to those mentioned above, and another problem to be solved that is not mentioned will be clearly understood by those skilled in the art from the description below.

본 발명의 실시예에 따르면, 온보드 기반 이미지 처리 장치로부터 인공지능 학습 모델의 시각적 집중 맵 이미지를 수신하는 수신부; 상기 시각적 집중 맵 이미지에 대해 데이터 기반 분석을 수행하여 상기 시각적 집중 맵 이미지의 강건도(robustness)를 평가하는 강건도 평가부; 상기 시각적 집중 맵 이미지에 대한 스코어를 기초로 사용자 기반 분석을 수행하여 상기 시각적 집중 맵 이미지의 선호도(preference)를 분석하는 선호도 분석부; 상기 강건도에 대한 평가 결과와 상기 선호도에 대한 분석 결과를 기초로 판독관 상호작용형 설명성 지표값을 생성하는 지표값 생성부; 상기 판독관 상호작용형 설명성 지표값을 기 학습된 가지치기 민감도 학습 모델에 입력하여 상기 시각적 집중 맵 이미지의 가지치기 비율을 결정하는 가지치기 비율 결정부; 및 상기 판독관 상호작용형 설명성 지표값을 기 학습된 가지치기 민감도 학습 모델에 입력하여 상기 시각적 집중 맵 이미지의 시각적 집중 맵 프레임워크의 정보를 결정하는 시각적 집중 맵 프레임워크 결정부;를 포함하는 온보드 기반 이미지 처리 시스템의 인공지능 학습 모델 처리 장치를 제공할 수 있다.According to an embodiment of the present invention, a receiving unit receiving a visual concentration map image of an artificial intelligence learning model from an on-board based image processing device; a robustness evaluation unit evaluating robustness of the visual concentration map image by performing data-based analysis on the visual concentration map image; a preference analyzer configured to analyze a preference of the visual attention map image by performing a user-based analysis based on a score of the visual attention map image; an index value generation unit generating an interactive explanatory index value based on the evaluation result of the robustness and the analysis result of the preference; a pruning ratio determination unit inputting the reader interactive explanatory index value to a pre-learned pruning sensitivity learning model to determine a pruning ratio of the visually intensive map image; and a visual attention map framework determiner configured to determine information of the visual attention map framework of the visual attention map image by inputting the reader interactive explanatory index value into a pre-learned pruning sensitivity learning model. An artificial intelligence learning model processing device of an on-board based image processing system may be provided.

여기서, 상기 강건도 평가부는, 서로 다른 가지치기 비율을 갖는 두 개의 시각적 집중 맵 이미지 간의 유사도를 계산하고, 계산되는 상기 유사도를 상기 강건도로 표현하되, 상기 인공지능 학습 모델의 시각적 집중 맵 이미지에 대해 가지치기를 적용하지 않은 경우와 랜덤한 가지치기 비율을 적용한 경우 각각의 유사도 평균값을 상기 강건도로 표현할 수 있다.Here, the robustness evaluation unit calculates a similarity between two visual attention map images having different pruning ratios, and expresses the calculated similarity as the robustness, for the visual attention map image of the artificial intelligence learning model. When pruning is not applied and when a random pruning ratio is applied, the average value of each similarity can be expressed as the robustness.

또한, 상기 강건도 평가부는, 상기 두 개의 시각적 집중 맵 이미지 각각에 대해 청색의 픽셀 성분을 제거하고, 상기 청색의 픽셀 성분이 제거된 두 개의 후처리 이미지의 공통 지역과 배타적 지역에 대한 각각의 정보값을 계산하며, 계산된 상기 각각의 정보값을 기초로 상기 유사도를 계산할 수 있다.In addition, the robustness evaluation unit removes a blue pixel component from each of the two visually focused map images, and obtains information about a common region and an exclusive region of two post-processed images from which the blue pixel component is removed. A value may be calculated, and the similarity may be calculated based on the calculated information value.

또한, 상기 스코어는 상기 시각적 집중 맵 이미지에 대한 판독관의 피드백 기반 분석 결과일 수 있다.In addition, the score may be an analysis result based on feedback from the reader on the visual concentration map image.

또한, 상기 지표값 생성부는, 상기 강건도에 대한 평가 결과와 상기 선호도에 대한 분석 결과 각각에 상기 시각적 집중 맵 이미지의 정확도를 판별하기 위한 가중치를 부여하되, 상기 정확도는 소정 범위의 값을 갖는 상기 시각적 집중 맵 이미지에 대한 상기 판독관의 평균 스코어로 표현될 수 있다.In addition, the indicator value generation unit assigns a weight to determine the accuracy of the visual concentration map image to each of the evaluation result of the robustness and the analysis result of the preference, wherein the accuracy has a value within a predetermined range. It can be expressed as the average score of the reader for the visual attention map image.

또한, 상기 가지치기 비율 결정부는 상기 판독관 상호작용형 설명성 지표값이 임계값을 초과하도록 상기 시각적 집중 맵 이미지의 가지치기 비율을 변경하고, 상기 시각적 집중 맵 프레임워크 결정부는 상기 판독관 상호작용형 설명성 지표값이 임계값을 초과하도록 상기 시각적 집중 맵 프레임워크의 정보를 변경할 수 있다.In addition, the pruning ratio determining unit changes the pruning ratio of the visual attention map image such that the reader interactive explanatory index value exceeds a threshold value, and the visual attention map framework determining unit changes the reader interaction type explanatory index value. Information of the visual attention map framework may be changed so that a type descriptive index value exceeds a threshold value.

또한, 상기 가지치기 비율 결정부는 상기 판독관 상호작용형 설명성 지표값에 따라 상기 인공지능 학습 모델의 은닉층별로 가지치기 비율을 상이하게 결정할 수 있다.In addition, the pruning ratio determiner may differently determine a pruning ratio for each hidden layer of the artificial intelligence learning model according to the reader interactive explanatory index value.

또한, 상기 장치는 상기 결정된 가지치기 비율과 시각적 집중 맵 프레임워크의 정보를 상기 온보드 기반 이미지 처리 장치로 각각 송신하는 송신부를 더 포함할 수 있다.The apparatus may further include a transmitter configured to transmit the determined pruning ratio and information of the visual concentration map framework to the onboard-based image processing apparatus.

본 발명의 실시예에 따르면, 온보드 기반 이미지 처리 장치로부터 인공지능 학습 모델의 시각적 집중 맵 이미지를 수신하는 단계; 상기 시각적 집중 맵 이미지에 대한 데이터 기반 분석을 수행하여 상기 시각적 집중 맵 이미지의 강건도를 평가하는 단계; 상기 시각적 집중 맵 이미지에 대한 스코어를 기초로 사용자 기반 분석을 수행하여 상기 시각적 집중 맵 이미지의 선호도를 분석하는 단계; 상기 강건도에 대한 평가 결과와 상기 선호도에 대한 분석 결과를 기초로 판독관 상호작용형 설명성 지표값을 생성하는 단계; 및 상기 판독관 상호작용형 설명성 지표값을 기 학습된 가지치기 민감도 학습 모델에 입력하여 상기 시각적 집중 맵 이미지의 가지치기 비율과 시각적 집중 맵 프레임워크의 정보를 각각 결정하는 단계;를 포함하는 온보드 기반 이미지 처리 시스템의 인공지능 학습 모델 처리 방법을 제공할 수 있다.According to an embodiment of the present invention, receiving a visual concentration map image of an artificial intelligence learning model from an on-board based image processing device; evaluating the robustness of the visual attention map image by performing a data-based analysis on the visual attention map image; Analyzing a preference of the visual attention map image by performing a user-based analysis based on a score for the visual attention map image; generating a reader interactive explanatory index value based on the evaluation result of the robustness and the analysis result of the preference; and determining a pruning ratio of the visual attention map image and information of the visual attention map framework, respectively, by inputting the reader interactive explanatory index value into a pre-learned pruning sensitivity learning model. An artificial intelligence learning model processing method of the based image processing system can be provided.

여기서, 상기 평가하는 단계는, 서로 다른 가지치기 비율을 갖는 두 개의 시각적 집중 맵 이미지 간의 유사도를 계산하는 단계; 및 계산되는 상기 유사도를 상기 강건도로 표현하되, 상기 인공지능 학습 모델의 시각적 집중 맵 이미지에 대해 가지치기를 적용하지 않은 경우와 랜덤한 가지치기 비율을 적용한 경우 각각의 유사도 평균값을 상기 강건도로 표현하는 단계;를 포함할 수 있다.Here, the evaluating may include calculating a similarity between two visual concentration map images having different pruning ratios; And expressing the calculated similarity as the robustness, expressing the average value of each similarity as the robustness when pruning is not applied to the visual concentration map image of the artificial intelligence learning model and when a random pruning ratio is applied step; may be included.

또한, 상기 유사도를 계산하는 단계는, 상기 두 개의 시각적 집중 맵 이미지 각각에 대해 청색의 픽셀 성분을 제거하는 단계; 상기 청색의 픽셀 성분이 제거된 두 개의 후처리 이미지의 공통 지역과 배타적 지역에 대한 각각의 정보값을 계산하는 단계; 및 계산된 상기 각각의 정보값을 기초로 상기 유사도를 계산하는 단계;를 포함할 수 있다.The calculating of the degree of similarity may include removing a blue pixel component from each of the two visual concentration map images; calculating respective information values for a common region and an exclusive region of two post-processed images from which the blue pixel component is removed; and calculating the degree of similarity based on each of the calculated information values.

또한, 상기 스코어는 상기 시각적 집중 맵 이미지에 대한 판독관의 피드백 기반 분석 결과일 수 있다.In addition, the score may be an analysis result based on feedback from the reader on the visual concentration map image.

또한, 상기 생성하는 단계는, 상기 강건도에 대한 평가 결과와 상기 선호도에 대한 분석 결과 각각에 상기 시각적 집중 맵 이미지의 정확도를 판별하기 위한 가중치를 부여하되, 상기 정확도는 소정 범위의 값을 갖는 상기 시각적 집중 맵 이미지에 대한 상기 판독관의 평균 스코어로 표현되는 것을 특징으로 할 수 있다.In addition, the generating step may include assigning a weight to each of the evaluation result of the robustness and the analysis result of the preference to determine the accuracy of the visual concentration map image, wherein the accuracy has a value within a predetermined range. It can be characterized in that it is expressed as the average score of the reader for the visual concentration map image.

또한, 상기 결정하는 단계는, 상기 판독관 상호작용형 설명성 지표값이 임계값을 초과하도록 상기 시각적 집중 맵 이미지의 가지치기 비율과 시각적 집중 맵 프레임워크의 정보를 각각 변경하는 단계를 포함할 수 있다.The determining may include changing a pruning ratio of the visual attention map image and information of the visual attention map framework, respectively, such that the reader interactive explanatory index value exceeds a threshold value. there is.

또한, 상기 결정하는 단계는, 상기 판독관 상호작용형 설명성 지표값에 따라 상기 인공지능 학습 모델의 은닉층별로 가지치기 비율을 상이하게 결정하는 단계를 포함할 수 있다.The determining may include determining a pruning ratio differently for each hidden layer of the artificial intelligence learning model according to the reader interactive explanatory index value.

또한, 상기 방법은 상기 결정된 가지치기 비율과 시각적 집중 맵 프레임워크의 정보를 상기 온보드 기반 이미지 처리 장치로 각각 송신하는 단계를 더 포함할 수 있다.The method may further include transmitting information on the determined pruning ratio and the visual concentration map framework to the onboard-based image processing device, respectively.

본 발명의 실시예에 따르면, 위성을 통해 촬영되는 객체에 대한 객체 이미지로부터 시각적 집중 맵 이미지를 생성하는 온보드 기반 이미지 처리 장치; 및 상기 온보드 기반 이미지 처리 장치에서 생성된 상기 시각적 집중 맵 이미지를 수신하고, 수신되는 상기 시각적 집중 맵 이미지에 대한 강건도와 상기 시각적 집중 맵 프레임워크에 따른 판독관의 선호도를 기초로 판독관 상호작용형 설명성 지표값을 제공하며, 상기 판독관 상호작용형 설명성 지표값을 기초로 상기 온보드 기반 이미지 처리 장치의 가지치기 비율과 시각적 집중 맵 프레임워크의 정보를 각각 결정하고, 결정되는 가지치기 비율과 시각적 집중 맵 프레임워크의 정보를 상기 온보드 기반 이미지 처리 장치로 각각 전송하는 인공지능 학습 모델 처리 장치;를 포함하는 온보드 기반 이미지 처리 시스템을 제공할 수 있다.According to an embodiment of the present invention, an on-board based image processing device for generating a visual concentration map image from an object image of an object photographed through a satellite; and receive the visual attention map image generated by the on-board based image processing device, and based on the robustness of the received visual attention map image and the reader's preference according to the visual attention map framework, the reader interactive type. Provides an explanatory index value, determines the pruning ratio of the onboard-based image processing device and information of the visual concentration map framework, respectively, based on the reader interactive explanatory index value, and determines the pruning ratio and It is possible to provide an onboard-based image processing system including an artificial intelligence learning model processing device that transmits information of a visual concentration map framework to the onboard-based image processing device, respectively.

여기서, 상기 온보드 기반 이미지 처리 장치는, 상기 객체를 촬영하는 이미지 센서; 상기 이미지 센서를 통해 촬영되는 상기 객체 이미지를 기초로 상기 객체에 대한 위치 정보와 클래스를 예측하는 객체 탐지 학습 모델; 및 상기 객체 탐지 학습 모델의 예측 결과를 기초로 상기 객체 이미지에 대한 상기 시각적 집중 맵 이미지를 생성하는 시각적 집중 맵 프레임워크;를 포함할 수 있다.Here, the on-board based image processing device includes an image sensor for photographing the object; an object detection learning model that predicts location information and a class of the object based on the object image captured by the image sensor; and a visual attention map framework that generates the visual attention map image for the object image based on a prediction result of the object detection learning model.

본 발명의 실시예에 따른 컴퓨터 판독 가능 기록매체는 컴퓨터 프로그램을 저장하고, 상기 컴퓨터 프로그램은, 온보드 기반 이미지 처리 시스템의 인공지능 학습 모델 처리 장치에 의해 수행되는 인공지능 학습 모델 처리 방법을 프로세서가 수행하도록 하기 위한 명령어를 포함하고, 상기 방법은, 온보드 기반 이미지 처리 장치로부터 인공지능 학습 모델의 시각적 집중 맵 이미지를 수신하는 단계; 수신되는 상기 시각적 집중 맵 이미지에 대해 데이터 기반 분석을 수행하여 상기 시각적 집중 맵 이미지의 강건도를 평가하는 단계; 상기 시각적 집중 맵 이미지에 대한 스코어를 기초로 사용자 기반 분석을 수행하여 상기 시각적 집중 맵 이미지의 선호도를 분석하는 단계; 상기 강건도에 대한 평가 결과와 상기 선호도에 대한 분석 결과를 기초로 판독관 상호작용형 설명성 지표값을 생성하는 단계; 및 상기 판독관 상호작용형 설명성 지표값을 기 학습된 가지치기 민감도 학습 모델에 입력하여 상기 시각적 집중 맵 이미지의 가지치기 비율과 시각적 집중 맵 프레임워크의 정보를 각각 결정하는 단계;를 포함할 수 있다.A computer readable recording medium according to an embodiment of the present invention stores a computer program, and the computer program performs an artificial intelligence learning model processing method performed by an artificial intelligence learning model processing device of an onboard-based image processing system. The method includes: receiving a visual concentration map image of an artificial intelligence learning model from an on-board based image processing device; evaluating the robustness of the received visual attention map image by performing data-based analysis on the received visual attention map image; Analyzing a preference of the visual attention map image by performing a user-based analysis based on a score for the visual attention map image; generating a reader interactive explanatory index value based on the evaluation result of the robustness and the analysis result of the preference; and determining a pruning ratio of the visual attention map image and information of the visual attention map framework, respectively, by inputting the reader interactive explanatory index value into a pre-learned pruning sensitivity learning model. there is.

본 발명의 실시예에 따른 컴퓨터 판독 가능 기록매체에 저장된 컴퓨터 프로그램은, 온보드 기반 이미지 처리 시스템의 인공지능 학습 모델 처리 장치에 의해 수행되는 인공지능 학습 모델 처리 방법을 프로세서가 수행하도록 하기 위한 명령어를 포함하고, 상기 방법은, 온보드 기반 이미지 처리 장치로부터 인공지능 학습 모델의 시각적 집중 맵 이미지를 수신하는 단계; 상기 시각적 집중 맵 이미지에 대해 데이터 기반 분석을 수행하여 상기 시각적 집중 맵 이미지의 강건도를 평가하는 단계; 상기 시각적 집중 맵 이미지에 대한 스코어를 기초로 사용자 기반 분석을 수행하여 상기 시각적 집중 맵 이미지의 선호도를 분석하는 단계; 상기 강건도에 대한 평가 결과와 상기 선호도에 대한 분석 결과를 기초로 판독관 상호작용형 설명성 지표값을 생성하는 단계; 및 상기 판독관 상호작용형 설명성 지표값을 기 학습된 가지치기 민감도 학습 모델에 입력하여 상기 시각적 집중 맵 이미지의 가지치기 비율과 시각적 집중 맵 프레임워크의 정보를 각각 결정하는 단계;를 포함할 수 있다.A computer program stored in a computer readable recording medium according to an embodiment of the present invention includes instructions for causing a processor to perform an artificial intelligence learning model processing method performed by an artificial intelligence learning model processing device of an onboard-based image processing system. and receiving a visual concentration map image of an artificial intelligence learning model from an on-board based image processing device; evaluating the robustness of the visual attention map image by performing data-based analysis on the visual attention map image; Analyzing a preference of the visual attention map image by performing a user-based analysis based on a score for the visual attention map image; generating a reader interactive explanatory index value based on the evaluation result of the robustness and the analysis result of the preference; and determining a pruning ratio of the visual attention map image and information of the visual attention map framework, respectively, by inputting the reader interactive explanatory index value into a pre-learned pruning sensitivity learning model. there is.

본 발명에 의하면, 온보드 위성 이미지 분석 모델의 프로세싱 정책 제어를 통해 제한된 하드웨어 환경에서 설명 가능한 인공지능 모델의 추론 시 다음과 같은 문제와 현상들을 해소할 수 있다.According to the present invention, the following problems and phenomena can be solved when inferring an explainable artificial intelligence model in a limited hardware environment through the processing policy control of the onboard satellite image analysis model.

첫째, 설명 가능한 인공지능 모델이 주어진 심층 신경망을 잘 해석하는 데 중점을 두지만, 생성된 설명이 사람의 입장에서 얼마나 사용성이 있는지에 대한 평가가 부족하다. 따라서, 해석된 시각적 집중 맵이 주는 설명성에 대한 정량적 평가를 사람의 평가 기준과 모델의 일관성 평가를 복합적으로 활용하여 설명 가능한 인공지능 모델의 설명이 사람의 측면과 데이터의 측면에서 얼마나 설명성이 있는지를 복합적으로 평가할 수 있다. First, although explainable artificial intelligence models focus on interpreting a given deep neural network well, they lack evaluation of how usable the generated explanations are from a human point of view. Therefore, a quantitative evaluation of the explainability of the interpreted visual concentration map is made by combining human evaluation criteria and model consistency evaluation to determine how explanatory the explanation of the explainable artificial intelligence model is from the human and data perspectives. can be evaluated comprehensively.

둘째, 제한된 하드웨어 환경에서 모델을 경량화 함에 따라 필연적으로 발생하는 정확도의 저하를 막기 위한 연구들은 많이 존재한다. 하지만, 이 심층 신경망을 설명 가능한 인공지능 모델로 해석 할 시 발생하는 잠재적인 설명성 저하에 초점을 두진 않았다. 따라서, 비록 모델이 타겟 객체에 대해 정확한 정답을 맞출지라도 거기에 대한 판단 근거가 지협적인 특성 또는 사람이 판단하는 기준과는 다른 영역에 초점이 맞춰져 사람에 대한 설명성을 떨어뜨린다.Second, there are many studies to prevent the deterioration of accuracy that inevitably occurs as the model is lightened in a limited hardware environment. However, we did not focus on the potential deterioration of explainability that occurs when interpreting this deep neural network as an explainable artificial intelligence model. Therefore, even if the model gives an accurate answer to the target object, the basis for the judgment is focused on a local characteristic or a region different from the criterion for human judgment, thereby degrading human explanation.

본 발명에서는 은닉층 별 가지치기 비율에 대한 설명성의 민감도를 기반으로 모델이 가지는 설명성을 최대한 유지하면서 학습 모델의 파라미터 수와 연산량을 경량화할 수 있다.In the present invention, based on the sensitivity of the explainability to the pruning ratio for each hidden layer, the number of parameters and the amount of computation of the learning model can be reduced while maximally maintaining the explainability of the model.

도 1은 본 발명의 실시예에 따른 인공지능 학습 모델 처리 장치를 설명하는 온보드 기반 이미지 처리 시스템을 도시한 도면이다.
도 2는 도 1의 온보드 기반 이미지 처리 시스템에서 온보드 기반 이미지 처리 장치를 도시한 도면이다.
도 3은 시각적 집중 맵 이미지 간의 유사도를 평가하기 위해 모델의 예측에 영향을 주지 않는 배경 부분을 제거하기 위한 이미지 전처리 과정을 예시한 도면이다.
도 4는 은닉층에 따른 설명성 변화를 표현하는 민감도를 나타낸 그래프이다.
도 5는 본 발명의 실시예에 따른 인공지능 학습 모델 처리 방법을 설명하는 흐름도이다.1 is a diagram showing an onboard-based image processing system describing an artificial intelligence learning model processing device according to an embodiment of the present invention.
FIG. 2 is a diagram illustrating an on-board based image processing device in the on-board based image processing system of FIG. 1 .
3 is a diagram illustrating an image pre-processing process for removing a background part that does not affect model prediction in order to evaluate similarity between visual concentration map images.
4 is a graph showing the sensitivity expressing the change in explainability according to the hidden layer.
5 is a flowchart illustrating an artificial intelligence learning model processing method according to an embodiment of the present invention.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.Advantages and features of the present invention, and methods of achieving them, will become clear with reference to the embodiments described below in conjunction with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but may be implemented in various different forms, and only these embodiments make the disclosure of the present invention complete, and common knowledge in the art to which the present invention belongs. It is provided to completely inform the person who has the scope of the invention, and the present invention is only defined by the scope of the claims.

본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.The terms used in this specification will be briefly described, and the present invention will be described in detail.

본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.The terms used in the present invention have been selected from general terms that are currently widely used as much as possible while considering the functions in the present invention, but these may vary depending on the intention of a person skilled in the art or precedent, the emergence of new technologies, and the like. In addition, in a specific case, there is also a term arbitrarily selected by the applicant, and in this case, the meaning will be described in detail in the description of the invention. Therefore, the term used in the present invention should be defined based on the meaning of the term and the overall content of the present invention, not simply the name of the term.

명세서 전체에서 어떤 부분이 어떤 구성요소를 '포함'한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. When it is said that a certain part 'includes' a certain element in the entire specification, it means that other elements may be further included without excluding other elements unless otherwise stated.

또한, 명세서에서 사용되는 '부'라는 용어는 소프트웨어 또는 FPGA나 ASIC과 같은 하드웨어 구성요소를 의미하며, '부'는 어떤 역할들을 수행한다. 그렇지만 '부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 '부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '부'들로 결합되거나 추가적인 구성요소들과 '부'들로 더 분리될 수 있다.In addition, the term 'unit' used in the specification means software or a hardware component such as FPGA or ASIC, and 'unit' performs certain roles. However, 'part' is not limited to software or hardware. A 'unit' may be configured to reside in an addressable storage medium and may be configured to reproduce one or more processors. Thus, as an example, 'unit' refers to components such as software components, object-oriented software components, class components and task components, processes, functions, properties, procedures, subroutines, segments of program code, drivers, firmware, microcode, circuitry, data, databases, data structures, tables, arrays and variables. The functionality provided within the components and 'parts' may be combined into a smaller number of elements and 'parts' or further separated into additional elements and 'parts'.

아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략한다.Hereinafter, with reference to the accompanying drawings, embodiments of the present invention will be described in detail so that those skilled in the art can easily carry out the present invention. And in order to clearly explain the present invention in the drawings, parts irrelevant to the description are omitted.

도 1은 본 발명의 실시예에 따른 인공지능 학습 모델 처리 장치를 설명하는 온보드 기반 이미지 처리 시스템을 도시한 도면이다.1 is a diagram showing an onboard-based image processing system describing an artificial intelligence learning model processing device according to an embodiment of the present invention.

도 1에 도시한 바와 같이, 온보드 기반 이미지 처리 시스템(1)은 온보드 기반 이미지 처리 장치(10)와 인공지능 학습 모델 처리 장치(100)를 포함할 수 있다.As shown in FIG. 1 , the onboard based image processing system 1 may include an onboard based image processing device 10 and an artificial intelligence learning model processing device 100 .

온보드 기반 이미지 처리 장치(10)는, 예를 들어 위성에 설치되어 위성 광학 카메라를 통해 촬영된 객체(예를 들어, 비행기)의 이미지에 대해 인공지능 기반의 객체 탐지 모델링을 적용하여 객체 검출 결과와 시각적 집중 맵 이미지를 생성할 수 있다.The onboard-based image processing device 10 applies artificial intelligence-based object detection modeling to an image of an object (eg, an airplane) installed on a satellite and photographed through a satellite optical camera, for example, to obtain an object detection result and A visual focus map image can be created.

이러한 온보드 기반 이미지 처리 장치(10)는 도 2에 상세히 도시된다.This on-board based image processing device 10 is shown in detail in FIG. 2 .

도 2에 도시한 바와 같이, 온보드 기반 이미지 처리 장치(10) 내의 인공지능 기반 객체 탐지 모델(12)은 위성 광학 카메라를 통해 촬영된 이미지(A)를 입력받아 관심 객체에 대한 객체 검출 결과(a)인 바운딩 박스 정보(위치)와 객체의 클래스(예를 들어, 비행기)를 예측할 수 있다.As shown in FIG. 2, the artificial intelligence-based object detection model 12 in the onboard-based image processing device 10 receives an image A captured through a satellite optical camera and detects an object of interest as an object detection result (a). ), bounding box information (position) and object class (eg, airplane) can be predicted.

인공지능 기반 객체 탐지 모델(12)에서 예측된 결과는 시각적 집중 맵 프레임워크(14)로 입력될 수 있으며, 시각적 집중 맵 프레임워크(14)는 인공지능 기반 객체 탐지 모델(12)의 예측 결과를 이용하며, 입력 이미지(A)의 각 영역이 객체 탐지에 기여한 정도를 나타내는 시각적 집중 맵 이미지(B)를 생성할 수 있다. 시각적 집중 맵 이미지(B)는 입력된 이미지(A)와 동일한 크기의 히트맵(heatmap)으로 표현될 수 있다. 이때, 위성의 전력 환경으로 인해 본 모델을 최소한의 전력으로 처리해야 하는 제약이 존재한다.The predicted result from the artificial intelligence-based object detection model 12 may be input to the visual attention map framework 14, and the visual attention map framework 14 converts the predicted result of the artificial intelligence-based object detection model 12 to and a visual concentration map image (B) representing the degree to which each area of the input image (A) contributes to object detection may be generated. The visual concentration map image (B) may be expressed as a heatmap having the same size as the input image (A). At this time, there is a restriction that the model should be processed with minimum power due to the power environment of the satellite.

시각적 집중 맵 프레임워크(14)는 인공지능 기반 객체 탐지 모델(12)에서 시각적 맵 이미지(B)를 도출하기 위한 방법으로, 예를 들어 모델 그라디언트 기반 분석법 또는 픽셀 관련성 기반 분석법 등을 포함할 수 있다.The visual concentration map framework 14 is a method for deriving the visual map image B from the artificial intelligence-based object detection model 12, and may include, for example, a model gradient-based analysis method or a pixel correlation-based analysis method. .

한편, 본 발명의 실시예에서 시각적 집중 맵 이미지(B)에 대한 설명성을 결정하는 변인으로, (1)심층 신경망의 가지치기 비율(

Figure pat00001
), 및 (2)시각적 집중 맵 프레임워크(
Figure pat00002
) 두 가지로 정의될 수 있다. 즉, 본 발명의 실시예에서는, 학습 모델의 정확도와 설명성을 모두 유지하기 위해 이러한 두 가지 변인을 이용하고자 한다.On the other hand, in an embodiment of the present invention, as a variable that determines the explanatory property of the visual concentration map image (B), (1) the pruning ratio of the deep neural network (
Figure pat00001
), and (2) a visually focused map framework (
Figure pat00002
) can be defined in two ways. That is, in an embodiment of the present invention, these two variables are intended to be used in order to maintain both the accuracy and explainability of the learning model.

온보드 기반 이미지 처리 장치(10)에서 생성된 시각적 집중 맵 이미지(B)에는 심층 신경망에 대한 가지치기 비율(

Figure pat00003
)과 시각적 집중 맵 프레임워크(
Figure pat00004
)가 포함될 수 있는데, 최초에 인공지능 학습 모델을 연산하는 단계에서는 가지치기 비율(
Figure pat00005
) 및 시각적 집중 맵 프레임워크(
Figure pat00006
)가 랜덤하게 결정될 수 있으며, 온보드 기반 이미지 처리 장치(10)는 이와 같이 랜덤하게 결정된 가지치기 비율(
Figure pat00007
) 및 시각적 집중 맵 프레임워크(
Figure pat00008
)를 적용하여 온보드에서 촬영되는 이미지들에 대해 설명 가능한 인공지능 학습 모델을 연산할 수 있다.In the visual concentration map image (B) generated by the on-board based image processing unit 10, the pruning ratio for the deep neural network (
Figure pat00003
) and the visual focus map framework (
Figure pat00004
) may be included, and in the step of initially calculating the artificial intelligence learning model, the pruning ratio (
Figure pat00005
) and the visual focus map framework (
Figure pat00006
) may be randomly determined, and the onboard-based image processing device 10 randomly determines the pruning ratio (
Figure pat00007
) and the visual focus map framework (
Figure pat00008
) can be applied to calculate an artificial intelligence learning model that can explain images captured onboard.

온보드 기반 이미지 처리 장치(10)에서 생성된 객체 검출 결과(a)와 시각적 집중 맵 이미지(B)는 지상에 설치된 인공지능 학습 모델 처리 장치(100)로 제공될 수 있다.The object detection result (a) and the visual concentration map image (B) generated by the onboard-based image processing device 10 may be provided to the artificial intelligence learning model processing device 100 installed on the ground.

다시 도 1을 참조하면, 본 발명의 실시예에 따른 인공지능 학습 모델 처리 장치(100)는 시각적 집중 맵 이미지(B)의 두 가지 변인을 제어하기 위한 판독관 합의 모델(supervisor consensus model) 기반의 온보드 설명 가능한 모델 처리 결정(심층 신경망의 가지치기 비율, 시각적 집중 맵 프레임워크) 구조를 포함할 수 있다.Referring back to FIG. 1, the artificial intelligence learning model processing apparatus 100 according to an embodiment of the present invention is based on a supervisor consensus model for controlling two variables of a visual concentration map image (B). It can include on-board explainable model processing decisions (pruning ratios in deep neural networks, visual focus map frameworks) structures.

이러한 인공지능 학습 모델 처리 장치(100)는, (1)가지치기 비율 변화에 따른 시각적 집중 맵 이미지(B)의 강건도(robustness)를 평가(데이터 기반 분석)하고, (2)시각적 집중 맵 이미지(B)에 따른 판독관 선호도(판독관 기반 분석)를 분석하며, 이를 통해 판독관 상호작용형 설명성 지표를 구하고, 이를 최대화하는 가지치기 비율(

Figure pat00009
)과 시각적 집중 맵 프레임워크(
Figure pat00010
)를 결정할 수 있다. 강건도라 함은 서로 다른 가지치기 비율을 갖는 두 개의 시각적 집중 맵 이미지 간의 유사도를 계산한 결과에 대한 가지치기 여부에 따른 평균값을 의미하며, 판독관 선호도라 함은 시각적 집중 맵 이미지를 확인하는 판독관(사용자)이 직접 입력하는 입력값(하기에는 스코어(score)라 명명한다)에 따른 결과를 의미할 수 있다. 이에 대해서는 하기 실시예에서 구체적으로 설명하기로 한다. 또한, 인공지능 학습 모델 처리 장치(100)는, 가지치기 비율에서 구체적으로 각 은닉층 별 가지치기 비율 결정 모델을 통해 은닉층 별로 가지치기 비율을 세부적으로 결정하여, 온보드 모델 처리 정책을 업데이트 할 수 있다.The artificial intelligence learning model processing device 100 (1) evaluates the robustness (data-based analysis) of the visual concentration map image (B) according to the change in the pruning ratio, and (2) the visual concentration map image Analyzing reader preference (reader-based analysis) according to (B), obtaining a reader interactive explanatory index through this, and pruning ratio maximizing it (
Figure pat00009
) and the visual focus map framework (
Figure pat00010
) can be determined. Robustness means the average value according to whether pruning is performed for the result of calculating the similarity between two visual attention map images having different pruning ratios, and reader preference means the reader who checks the visual attention map image. It may mean a result according to an input value (hereinafter referred to as a score) directly input by a (user). This will be described in detail in the following examples. In addition, the artificial intelligence learning model processing apparatus 100 may determine the pruning ratio in detail for each hidden layer through a pruning ratio determination model for each hidden layer in the pruning ratio, and update the onboard model processing policy.

도 1에 도시한 바와 같이, 인공지능 학습 모델 처리 장치(100)는, 온보드 기반 이미지 처리 장치(10)로부터 인공지능 학습 모델의 시각적 집중 맵 이미지(B)를 수신하는 수신부(110), 시각적 집중 맵 이미지(B)에 대해 데이터 기반 분석을 수행하여 시각적 집중 맵 이미지(B)의 강건도를 평가하는 강건도 평가부(120), 시각적 집중 맵 이미지(B)에 대한 스코어를 기초로 사용자 기반 분석을 수행하여 시각적 집중 맵 이미지의 선호도를 분석하는 선호도 분석부(130), 강건도에 대한 평가 결과와 선호도에 대한 분석 결과를 기초로 판독관 상호작용형 설명성 지표값을 생성하는 지표값 생성부(140), 판독관 상호작용형 설명성 지표값을 기 학습된 가지치기 민감도 학습 모델에 입력하여 시각적 집중 맵 이미지(B)의 가지치기 비율을 결정하는 가지치기 비율 결정부(150), 판독관 상호작용형 설명성 지표값을 기 학습된 가지치기 민감도 학습 모델에 입력하여 시각적 집중 맵 이미지(B)의 시각적 집중 맵 프레임워크의 정보를 결정하는 시각적 집중 맵 프레임워크 결정부(160), 그리고 결정된 가지치기 비율과 시각적 집중 맵 프레임워크의 정보를 온보드 기반 이미지 처리 장치(10)로 송신하는 송신부(170)를 포함할 수 있다.As shown in FIG. 1, the artificial intelligence learning model processing device 100 includes a receiving unit 110 for receiving a visual concentration map image B of the artificial intelligence learning model from the onboard-based image processing device 10, visual concentration Robustness evaluation unit 120 that evaluates the robustness of the visually focused map image (B) by performing data-based analysis on the map image (B), user-based analysis based on the score for the visually focused map image (B) a preference analysis unit 130 that analyzes the preference of the visual attention map image by performing, and an index value generation unit that generates a reader interactive explanatory index value based on the evaluation result of the robustness and the analysis result of the preference. (140), a pruning ratio determining unit 150 for determining a pruning ratio of the visual concentration map image (B) by inputting the reader interactive explanatory index value to the pre-learned pruning sensitivity learning model; A visual attention map framework determination unit 160 for determining information of the visual attention map framework of the visual attention map image (B) by inputting the interactive explanatory index value to the pre-learned pruning sensitivity learning model, and the determined It may include a transmitter 170 that transmits information on the pruning ratio and the visual concentration map framework to the onboard-based image processing device 10 .

먼저, 강건도 평가부(120)의 가지치기 정도 변화에 따른 시각적 집중 맵 이미지의 강건도를 평가하기 위한 방법은 다음과 같다.First, a method for evaluating the robustness of the visual concentration map image according to the change in the degree of pruning of the robustness evaluation unit 120 is as follows.

본 발명의 실시예에서 시각적 집중 맵의 강건도는, 상술한 바와 같이 가지치기 여부에 따른 평균값을 의미하기 때문에, 특정 가지치기 비율로 경량화된 모델로부터 생성된 새로운 시각적 집중 맵이 가지치기를 하지 않은 원본 모델의 시각적 집중 맵과 얼마나 동일한지로 정의될 수 있다.Since the robustness of the visual focus map in the embodiment of the present invention means the average value depending on whether or not pruning is performed as described above, a new visual focus map generated from a model lightened at a specific pruning ratio is not pruned. It can be defined how identical it is to the visual focus map of the original model.

이를 위해서 먼저 본 발명의 실시예에서는 동일한 이미지

Figure pat00011
에 대한 서로 다른 가지치기 비율(
Figure pat00012
)을 갖는 두 개의 시각적 집중 맵 이미지(
Figure pat00013
)를 비교하여 유사도를 평가하는 방법을 예시적으로 설명하기로 한다.To this end, in an embodiment of the present invention, the same image
Figure pat00011
Different pruning ratios for (
Figure pat00012
) with two visual focus map images (
Figure pat00013
) will be described as an example of a method of evaluating similarity by comparing.

유사도를 평가하는 목적은 불필요한 배경, 즉, 모델 예측에 전혀 영향을 주지 않는 지역의 유사도를 배제한 하이라이트 된 영역들에 대한 일치도만을 고려해야하기 때문에, 본 발명의 실시예에서는 도 3과 같이 이미지의 배경을 전처리하는 과정을 선행적으로 수행한다.Since the purpose of evaluating the similarity is to consider only the coincidence of the highlighted areas excluding the unnecessary background, that is, the similarity of the area that does not affect the model prediction at all, in the embodiment of the present invention, the background of the image as shown in FIG. The pre-processing process is performed in advance.

도 3에 도시한 바와 같이, 서로 다른 가지치기 비율을 각각 갖는 시각적 집중 맵 이미지(

Figure pat00014
)에 대해서, 임계값 미만의 픽셀을 제거하여 후처리된 두 개의 이미지(
Figure pat00015
)를 생성한다.As shown in FIG. 3, the visual concentration map images each having a different pruning ratio (
Figure pat00014
), two images post-processed by removing pixels below the threshold (
Figure pat00015
) to create

예를 들어, 강건도 평가부(120)는 서로 다른 가지치기 비율을 갖는 두 개의 시각적 집중 맵 이미지(

Figure pat00016
) 각각에 대해 청색에 인접하는 픽셀 성분을 제거하는 후처리 공정을 진행하고, 청색에 인접하는 픽셀 성분이 제거된 두 개의 후처리 이미지를 생성할 수 있다. 이미지 처리 시스템에서 두 개의 시각적 집중 맵 이미지를 서로 비교한다는 것은 적색에 가까운 영역이 얼마나 일치하는지를 판단하는 것이기 때문에, 적색 값이 0에 가까운 픽셀(도 3에서 청색에 가까운 부분)을 제거하는 과정이 필요하다.For example, the robustness evaluation unit 120 may use two visual concentration map images having different pruning ratios (
Figure pat00016
), a post-processing process of removing a pixel component adjacent to blue may be performed for each, and two post-processed images in which pixel components adjacent to blue are removed may be generated. Since comparing two visual concentration map images with each other in the image processing system is to determine how much the areas close to red match, a process of removing pixels with red values close to 0 (parts close to blue in FIG. 3) is required. do.

강건도 평가부(120)는 두 개의 후처리 된 이미지(

Figure pat00017
)를 기초로 공통 지역(
Figure pat00018
)과 배타적 지역(I e (A,A')에 대한 정보값을 다음 [수학식 1]과 [수학식 2]와 같이 계산할 수 있다.The robustness evaluation unit 120 includes two post-processed images (
Figure pat00017
) based on the common area (
Figure pat00018
) and the information value of the exclusive area ( I e (A, A') ) can be calculated as in [Equation 1] and [Equation 2].

Figure pat00019
Figure pat00019

Figure pat00020
Figure pat00020

[수학식 1]에서

Figure pat00021
연산자는 픽셀 별 곱셈을 의미한다.In [Equation 1]
Figure pat00021
operator means pixel-by-pixel multiplication.

여기서, 공통 지역(

Figure pat00022
)은 A 및 A' 이미지에서 교집합 영역(도 3에서 흰색 부분이 겹치는 영역)을 의미하고, 배타적 지역(I e (A,A')은 A 이미지 또는 A' 이미지만 갖는 고유의 영역을 의미한다.Here, the common area (
Figure pat00022
) means the intersection area (the area where the white part overlaps in FIG. 3) in the A and A' images, and the exclusive area ( I e (A,A' ) means a unique area having only the A image or the A' image. .

이후, 강건도 평가부(120)는 계산된 공통 지역(

Figure pat00023
)과 배타적 지역(I e (A,A')에 대한 정보값을 기초로 두 개의 시각적 집중 맵 이미지(
Figure pat00024
)의 유사도(
Figure pat00025
)를 다음 [수학식 3]과 같이 구할 수 있다.Then, the robustness evaluation unit 120 calculates the common area (
Figure pat00023
) and two visual concentration map images (based on the information values for the exclusive area ( I e (A,A' ))
Figure pat00024
) similarity (
Figure pat00025
) can be obtained as follows [Equation 3].

Figure pat00026
Figure pat00026

이와 같은 유사도 평가 방법을 바탕으로, 주어진 데이터셋

Figure pat00027
에 대해 각각 가지치기를 하지 않았을 때(즉,
Figure pat00028
)와, 가지치기 비율(
Figure pat00029
)을 적용한 경우에 대한 시각적 집중 맵의 유사도 평균 값을 강건도(
Figure pat00030
)로 표현할 수 있으며, 이러한 강건도는 다음 [수학식 4]와 같이 표현할 수 있다.Based on this similarity evaluation method, given dataset
Figure pat00027
When pruning is not done for each (i.e.,
Figure pat00028
) and the pruning ratio (
Figure pat00029
), the average value of the similarity of the visual concentration map for the case of applying the robustness (
Figure pat00030
), and this robustness can be expressed as the following [Equation 4].

Figure pat00031
Figure pat00031

예를 들어, 강건도가 높다는 것은 시각적 집중 맵 프레임워크가 동일하다고 가정했을 때, 가지치기를 하지 않은 네트워크와 가지치기를 한 네트워크에서 생성된 시각적 집중 맵이 서로 유사하다는 의미로 해석될 수 있다.For example, high robustness can be interpreted as meaning that visual attention maps generated from unpruned and pruned networks are similar to each other, assuming that the visual attention map frameworks are the same.

다음으로, 시각적 집중 맵 프레임워크에 따른 판독관의 피드백 기반 분석을 위하여 데이터셋

Figure pat00032
의 시각적 집중 맵 이미지
Figure pat00033
에 대해 각각 판독관이 스코어(score, sr)를 매길 수 있다.Next, the dataset for the reader's feedback-based analysis according to the visual attention map framework
Figure pat00032
Visual concentration map image of
Figure pat00033
For each, the reader can score (score, sr).

이때, 스코어(sr)는

Figure pat00034
의 연속적인 값으로 표현될 수 있으며, -1은 설명이 틀렸을 경우, 즉, 감지된 객체의 설명에 대한 거짓 양성(False Positive; FP)과 거짓 음성(False Negative ;FN), 그리고 1은 설명이 정확한 경우로 표현될 수 있다. 그리고, 스코어(sr)가 0에 가까워질수록 시각적 집중 맵 이미지에 대한 판독관의 평가가 불확실한 경우를 나타낸다. 즉, 판독관 입장에서는 위성에서 촬영된 이미지에 대한 객체 검출 결과만으로 객체에 대한 분석이 어렵기 때문에, 시각적 집중 맵 이미지에 대한 판독관의 객관적인 입력값인 스코어(sr)를 하기 선호도 분석부(130)의 선호도 분석 결과에 활용할 수 있다.At this time, the score (sr) is
Figure pat00034
It can be expressed as a continuous value of , where -1 is for false positives (FP) and false negatives (FN) for the description of the detected object, and 1 is for false descriptions. It can be expressed as an exact case. Further, as the score sr approaches 0, it indicates a case in which the reader's evaluation of the visual concentration map image is uncertain. That is, since it is difficult for the reader to analyze the object only with the object detection result for the image taken from the satellite, the preference analysis unit 130 calculates the score sr, which is the objective input value of the reader for the visually focused map image. ) can be used for the preference analysis result.

선호도 분석부(130)는, 주어진 데이터셋

Figure pat00035
에 대한 M개의 시각적 집중 맵 프레임워크의 스코어(
Figure pat00036
)가 존재하는 경우에, 고정된 가지치기 비율
Figure pat00037
에 대해 시각적 집중 맵 프레임워크
Figure pat00038
의 판독관 선호도(
Figure pat00039
)를 다음 [수학식 5]와 같이 구할 수 있다.Preference analysis unit 130, the given dataset
Figure pat00035
Scores of M visual attention map frameworks for (
Figure pat00036
) is present, a fixed pruning rate
Figure pat00037
About Visual Focus Map Framework
Figure pat00038
of the reader's preference (
Figure pat00039
) can be obtained as follows [Equation 5].

Figure pat00040
Figure pat00040

[수학식 5]에서 구해진 판독관 선호도(

Figure pat00041
)는 존재하는 M개 시각적 설명 프레임워크에 대한 중요도로서, 값이 0과 1 사이고, M개
Figure pat00042
총 합이 1로 표현된다. 이 값을 시각적 설명 맵 프레임워크
Figure pat00043
에 따른 상대적인 판독관 설명 선호도로 표현할 수 있다.Reader preference obtained in [Equation 5] (
Figure pat00041
) is the importance for the M existing visual explanation frameworks, with values between 0 and 1, and M
Figure pat00042
The total sum is expressed as 1. This value is used in the visual description map framework
Figure pat00043
It can be expressed as a relative reader description preference according to .

지표값 생성부(140)는 이상과 같은 강건도 평가부(120)의 데이터 기반 분석과 선호도 분석부(130)의 판독관 기반의 선호도 분석 결과 각각을 바탕으로 인공지능과 판독관의 합의 모델을 통해 위 두 가지 설명성 평가 방법에 적응적인 가중치를 넣어 평가할 수 있다. 적응적인 가중치는 판독관이 주어진 프레임워크에서 시각적 집중 맵이 얼마나 정확한지로 표현된다.The indicator value generation unit 140 creates a consensus model between artificial intelligence and the reader based on the results of the data-based analysis of the robustness evaluation unit 120 and the reader-based preference analysis of the preference analyzer 130, respectively. Through this, it is possible to evaluate by adding adaptive weights to the above two explanatory evaluation methods. Adaptive weights express how accurate the visual attention map is in a given framework for the reader.

먼저, 데이터셋

Figure pat00044
에 대한 합의 스코어(
Figure pat00045
)를 다음 [수학식 6]과 같이 구할 수 있다.First, the dataset
Figure pat00044
Consensus score for (
Figure pat00045
) can be obtained as follows [Equation 6].

Figure pat00046
Figure pat00046

여기서, 합의 스코어(

Figure pat00047
)라 함은 시각적 집중 맵 이미지에 대한 판독관의 평균 스코어를 의미하며, 소정 범위의 값, 예컨대 [-1, 1] 사이의 값을 가질 수 있다. 예컨대, 합의 스코어(
Figure pat00048
)는 1로 갈수록 모델의 설명이 대체로 정확함을 의미하며, -1에 가까울수록 설명의 오류가 많아 설명성이 떨어짐을 의미한다.Here, the consensus score (
Figure pat00047
) means the average score of the reader for the visual attention map image, and may have a value in a predetermined range, for example, a value between [-1, 1]. For example, the consensus score (
Figure pat00048
) means that the explanation of the model is generally accurate as the value increases to 1, and the closer to -1, the more errors in the explanation and the less explanatory.

이를 바탕으로 주어진 시각적 집중 맵 이미지(

Figure pat00049
)에 대한 판독관 상호작용형 설명성 지표값(supervisor interactive explainability, SIE)은 아래 [수학식 7]과 같이 표현될 수 있다.Based on this, given the visual concentration map image (
Figure pat00049
The supervisor interactive explainability (SIE) for ) can be expressed as in [Equation 7] below.

Figure pat00050
Figure pat00050

Figure pat00051
Figure pat00051

본 발명의 실시예에 따른 판독관 상호작용형 설명성 지표값(SIE)을 생성하는 이유는, 시각적 집중 맵 이미지의 가지치기 비율에 따른 강건도 평가 결과와 시각적 집중 맵 이미지의 판독관 스코어에 따른 선호도 분석 결과를 하이브리드(hybrid)하게 적용하기 위함이다. 즉, 시각적 집중 맵 이미지의 강건도는 가지치기 비율 변인에 따라 변화하는 값으로 볼 수 있고, 판독관 선호도는 입력 데이터 셋이 주어졌을 때 시각적 집중 맵 프레임워크 방법론에 대한 사용자(판독관)의 산호도 지표라고 할 수 있는데, 기존의 설명성 측정 방법론에서는 학습 모델이 스스로 평가하는 설명성(데이터 기반 분석)과 사용자가 직접 스코어링이나 시각적 집중 맵 이미지에 대한 그라운드-트루스(ground-truth))를 만들어서 평가하는 방법(사용자 기반 분석) 중 어느 하나만을 활용한 반면, 본 발명의 실시예에서는 이러한 데이터 기반 분석과 사용자 기반 분석을 하이브리드하게 적용하여 사용자가 이해 가능하면서 데이터 분석을 통한 보다 정교한 형태의 설명성 지표값을 제안한 것이다.The reason for generating the reader interactive explanatory index value (SIE) according to an embodiment of the present invention is the robustness evaluation result according to the pruning ratio of the visual attention map image and the reader score of the visual attention map image. This is to apply the preference analysis result in a hybrid manner. That is, the robustness of the visual attention map image can be seen as a value that changes according to the pruning ratio variable, and the reader's preference is the user's (reader's) preference for the methodology of the visual attention map framework when an input data set is given. It can also be called an indicator. In the existing explanatory measurement methodology, the learning model evaluates itself (data-based analysis) and the user directly scores or visually concentrates on the map image by creating ground-truth). While only one of the evaluation methods (user-based analysis) was used, in the embodiment of the present invention, data-based analysis and user-based analysis are hybridly applied to provide a more sophisticated form of explanation through data analysis while being understandable by users. This is the suggested index value.

이와 같은 판독관 상호작용형 설명성 지표값(SIE)을 기초로 다음 주기에 업데이트 될 가지치기 비율과 시각적 집중 맵 프레임워크

Figure pat00052
는 다음 [수학식 8]과 같이 최적화 문제를 통해 결정될 수 있다.The pruning ratio and visual focus map framework to be updated in the next cycle based on such a reader-interactive explanatory index value (SIE)
Figure pat00052
Can be determined through an optimization problem as shown in [Equation 8] below.

Figure pat00053
Figure pat00053

[수학식 9]는 [수학식 8]의 조건식이다.[Equation 9] is a conditional expression of [Equation 8].

Figure pat00054
Figure pat00054

이때, 다음 주기에서의 전체 모델의 가지치기 비율

Figure pat00055
이 정해지면, 다음 주기에서의 정해진 가지치기 비율
Figure pat00056
에 대해 각 은닉층 별 가지치기 비율을 결정하기 위해 은닉층 별 모델의 판독관 상호작용형 설명성 지표값(SIE)에 민감한 정도를 프로파일링한다. 은닉층
Figure pat00057
의 가지치기 민감도는
Figure pat00058
로 표현될 수 있으며, 이는 은닉층
Figure pat00059
의 가지치기 비율이 판독관 상호작용형 설명성 지표값(SIE)에 따라 적응적으로 변화됨을 의미한다.At this time, the pruning rate of the entire model in the next cycle
Figure pat00055
is fixed, the fixed pruning rate in the next cycle
Figure pat00056
In order to determine the pruning ratio for each hidden layer for , the degree of sensitivity to the SIE of the model for each hidden layer is profiled. hidden layer
Figure pat00057
The pruning sensitivity of
Figure pat00058
can be expressed as, which is the hidden layer
Figure pat00059
This means that the pruning ratio of is adaptively changed according to the SIE.

이때,

Figure pat00060
은 기 학습된 가지치기 만감도 학습 모델내에 포함된 은닉층
Figure pat00061
을 제외한 다른 은닉층의 가지치기 비율을 0으로 고정하고 은닉층
Figure pat00062
의 가지치기 비율을 변화시킬 때의 판독관 상호작용형 설명성 지표값(SIE)의 변화를 나타낸다. 이는 도 4에 도시된 은닉층에 따른 판독관 상호작용형 설명성 지표값의 변화를 표현하는 민감도 그래프를 통해 확인할 수 있다. 예컨대, 은닉층의 가지치기 비율과 판독관 상호작용형 설명성 지표값(SIE)은 서로 반비례하며, 이러한 반비례하는 정도는 가지치기 민감도 학습 모델 내의 은닉층별로 각기 상이함을 알 수 있다.At this time,
Figure pat00060
Hidden layer included in the pre-learned pruning sensitivity learning model
Figure pat00061
The pruning ratio of the other hidden layers except for is fixed to 0 and the hidden layer
Figure pat00062
It shows the change in the reader interactive explanatory index value (SIE) when changing the pruning ratio of . This can be confirmed through the sensitivity graph representing the change in the reader interactive explanatory index value according to the hidden layer shown in FIG. 4 . For example, it can be seen that the pruning ratio of the hidden layer and the reader interactive explanatory index value (SIE) are inversely proportional to each other, and this inversely proportional degree is different for each hidden layer in the pruning sensitivity learning model.

다음 주기에서의 모든 은닉층의 가지치기 비율

Figure pat00063
에 대한 전체 설명성 민감도를 각 은닉층의 민감도의 곱으로 나타내고(즉, 각 은닉층이 가지는 파라미터 개수를
Figure pat00064
이라 할 때,
Figure pat00065
을 만족해야 함), 각 은닉층별 최적의 가지치기 비율
Figure pat00066
을 구하기 위해 아래 [수학식 10]과 같은 조건을 만족하는 값을 찾는다.The pruning rate of all hidden layers in the next cycle
Figure pat00063
The overall explanatory sensitivity for is represented by the product of the sensitivity of each hidden layer (ie, the number of parameters each hidden layer
Figure pat00064
When saying
Figure pat00065
must be satisfied), and the optimal pruning ratio for each hidden layer
Figure pat00066
In order to obtain , a value that satisfies the condition as shown in [Equation 10] below is found.

Figure pat00067
Figure pat00067

Figure pat00068
Figure pat00068

이와 같이, 온보드 가지치기 비율과 시각적 집중 맵 프레임워크 정보가 결정되면, 결정된 가지치기 비율과 시각적 집중 맵 프레임워크 정보는 인공지능 학습 모델 처리 장치(100)의 송신부(170)를 통해 온보드 기반 이미지 처리 장치(10)로 송신될 수 있으며, 온보드 기반 이미지 처리 장치(10)는 인공지능 학습 모델 처리 장치(100)로부터 송신된 가지치기 비율과 시각적 집중 맵 프레임워크 정보를 기초로 다음 주기 동안 위성에서 촬영된 이미지에 대해 위 과정을 반복적으로 수행하여 온보드의 설명성을 유지하면서 제한된 하드웨어 상황에서 가속하기 위한 처리 구조를 결정할 수 있다.In this way, if the onboard pruning ratio and the visual concentration map framework information are determined, the determined pruning ratio and the visual concentration map framework information are processed based on the onboard image through the transmission unit 170 of the artificial intelligence learning model processing device 100. It can be transmitted to the device 10, and the onboard-based image processing device 10 captures images from the satellite during the next period based on the pruning ratio and the visual concentration map framework information transmitted from the artificial intelligence learning model processing device 100. By repeatedly performing the above process on the image, it is possible to determine a processing structure for acceleration in a limited hardware situation while maintaining the on-board explanatory nature.

이하, 상술한 구성들과 함께, 본 발명의 실시예에 따른 인공지능 학습 모델 처리 장치(100)의 인공지능 학습 모델 처리 방법을 도 5의 흐름도를 참조하여 상세히 설명하기로 한다.Hereinafter, the artificial intelligence learning model processing method of the artificial intelligence learning model processing device 100 according to an embodiment of the present invention together with the above-described configurations will be described in detail with reference to the flowchart of FIG. 5 .

도 5에 도시한 바와 같이, 인공지능 학습 모델 처리 장치(100)는 수신부(110)를 통해 온보드 기반 이미지 처리 장치(10)로부터 시각적 집중 맵 이미지를 수신할 수 있다(S100). 인공지능 학습 모델 처리 장치(100)로 수신되는 시각적 집중 맵 이미지는 온보드 기반 이미지 처리 장치(10)에서 객체 탐지 모델링에 의한 랜덤한 가지치기 비율과 랜덤한 시각적 집중 맵 프레임워크가 각각 적용될 수 있으며, 랜덤한 가지치기 비율을 갖는 시각적 집중 맵 이미지는 서로 다른 가지치기 비율을 갖는 두 개의 시각적 집중 맵 이미지를 포함할 수 있다.As shown in FIG. 5 , the artificial intelligence learning model processing device 100 may receive a visual concentration map image from the on-board based image processing device 10 through the receiving unit 110 (S100). The visual concentration map image received by the artificial intelligence learning model processing device 100 may be applied with a random pruning ratio and a random visual concentration map framework by object detection modeling in the onboard-based image processing device 10, respectively, A visual focus map image with a random pruning ratio may include two visual focus map images with different pruning ratios.

이후, 인공지능 학습 모델 처리 장치(100)의 강건도 평가부(120)는 수신된 시각적 집중 맵 이미지의 가지치기 정도 변화에 따른 강건도를 평가할 수 있다(S102). 이러한 강건도 평가부(120)는 서로 다른 가지치기 비율을 갖는 두 개의 시각적 집중 맵 이미지 간의 유사도를 계산하고, 계산되는 유사도를 인공지능 학습 모델에 적용하되, 인공지능 학습 모델에 가지치기를 적용하지 않은 경우와 랜덤한 가지치기 비율을 적용한 경우 각각의 유사도 평균값을 강건도로 표현할 수 있다. 또한, 강건도 평가부(120)는 두 개의 시각적 집중 맵 이미지 각각에 대해 청색에 인접하는 픽셀 성분을 제거하고, 청색에 인접하는 픽셀 성분이 제거된 두 개의 후처리 이미지의 공통 지역과 배타적 지역에 대한 각각의 정보값을 계산하며, 계산된 각각의 정보값을 기초로 유사도를 계산할 수 있다.Then, the robustness evaluation unit 120 of the artificial intelligence learning model processing device 100 may evaluate the robustness according to the change in the pruning degree of the received visual concentration map image (S102). The robustness evaluation unit 120 calculates the similarity between two visual concentration map images having different pruning ratios and applies the calculated similarity to the artificial intelligence learning model, but does not apply pruning to the artificial intelligence learning model. In the case where there is no difference and when a random pruning ratio is applied, the average value of each similarity can be expressed as a robustness. In addition, the robustness evaluation unit 120 removes a pixel component adjacent to blue for each of the two visual concentration map images, and the pixel components adjacent to blue are removed in a common region and an exclusive region of the two post-processed images. Each information value is calculated, and a similarity can be calculated based on each calculated information value.

이후, 인공지능 학습 모델 처리 장치(100)의 선호도 분석부(130)는 시각적 집중 맵 이미지에 대한 스코어를 기초로, 시각적 집중 맵 프레임워크에 대한 선호도를 분석할 수 있다(S104). 여기서, 스코어는 시각적 집중 맵 이미지에 대한 판독관의 피드백 기반 분석 결과일 수 있다.Then, the preference analysis unit 130 of the artificial intelligence learning model processing device 100 may analyze the preference for the visual attention map framework based on the score for the visual attention map image (S104). Here, the score may be an analysis result based on the feedback of the reader on the visual attention map image.

강건도 평가부(120)에서 평가된 강건도 평가 결과와 선호도 분석부(130)에서 분석된 선호도 분석 결과는 지표값 생성부(140)를 통해 판독관 상호작용형 설명성 지표값(SIE)으로 나타낼 수 있다(S106). 이러한 지표값 생성부(140)는 강건도 평가 결과와 선호도 분석 결과 각각에 시각적 집중 맵 이미지의 정확도를 판별하기 위한 가중치를 부여하되, 정확도는 소정 범위의 값, 예컨대 -1과 1 사이의 값을 갖는 시각적 집중 맵 이미지에 대한 판독관의 평균 스코어로 표현될 수 있다.The robustness evaluation result evaluated by the robustness evaluation unit 120 and the preference analysis result analyzed by the preference analysis unit 130 are converted into a reader interactive explanatory index value (SIE) through the index value generating unit 140. It can be displayed (S106). The indicator value generation unit 140 assigns a weight to determine the accuracy of the visual concentration map image to each of the robustness evaluation result and the preference analysis result, but the accuracy is a value within a predetermined range, for example, a value between -1 and 1. It can be expressed as the average score of the reader for the visual attention map image with

판독관의 평균 스코어는 합의 스코어라는 개념으로 설명될 수 있는데, 상술한 [수학식 6]에서 알 수 있듯이, 합의 스코어가 높으면(λc→1) 이미 시각적 설명 맵 이미지를 사람이 잘 이해할 수 있는 것으로 판단하고, 반대로 합의 스코어가 음의 수로 높으면(λc→-1) 해당 시각적 집중 맵 이미지의 설명성에 오류가 있다고 판단하여 강건도 평가(데이터 기반 분석)가 크게 중요하지 않을 수 있다. 다만, 합의 스코어가 판독관이 애매하다고 생각한 상태(λc→0)이면, 이때부터는 데이터 기반 분석이 설명성 지표값 도출에 중요하게 작용할 수 있다.The average score of the readers can be explained by the concept of consensus score. As can be seen from the above-mentioned [Equation 6], if the consensus score is high (λ c → 1), the visual description map image can already be understood by humans well. Conversely, if the consensus score is high as a negative number (λ c → -1), it is determined that there is an error in the descriptiveness of the visual concentration map image, and the robustness evaluation (data-based analysis) may not be very important. However, if the consensus score is considered ambiguous by the reader (λ c → 0), data-based analysis can play an important role in deriving the explanatory index value from this point on.

가지치기 비율 결정부(150)는 판독관 상호작용형 설명성 지표값이 임계값을 초과하는지를 판단하고, 시각적 집중 맵 프레임워크 결정부(160)는 판독관 상호작용형 설명성 지표값이 임계값을 초과하는지를 각각 판단할 수 있다(S108).The pruning ratio determiner 150 determines whether the reader interactive explanatory index value exceeds a threshold value, and the visual attention map framework determiner 160 determines whether the reader interactive explanatory index value exceeds the threshold value. It is possible to determine whether each exceeds (S108).

판독관 상호작용형 설명성 지표값이 임계값을 초과하면 현재의 가지치기 비율과 시각적 집중맵 프레임워크를 유지하고(S110), 판독관 상호작용형 설명성 지표값이 임계값을 초과하지 않으면 가지치기 비율과 시각적 집중 맵 프레임워크의 정보를 변경할 수 있다(S112).If the reader interactive explanatory index value exceeds the threshold value, the current pruning ratio and visual concentration map framework are maintained (S110), and if the reader interactive explanatory index value does not exceed the threshold value, the current pruning ratio and visual concentration map framework are maintained. Information of the stroke ratio and the visual concentration map framework may be changed (S112).

이와 같이 변경된 가지치기 비율과 시각적 집중 맵 프레임워크의 정보는 송신부(170)를 통해 온보드 기반 이미지 처리 장치(10)로 송신될 수 있으며, 온보드 기반 이미지 처리 장치(10)는 변경된 가지치기 비율과 시각적 집중 맵 프레임워크의 정보를 기초로 객체 탐지 모델에 대한 이미지 처리 과정을 진행할 수 있다.The changed pruning ratio and information on the visual concentration map framework may be transmitted to the onboard-based image processing device 10 through the transmission unit 170, and the onboard-based image processing device 10 may transmit the changed pruning ratio and visual concentration map framework information. Based on the information of the concentration map framework, an image processing process for the object detection model may be performed.

온보드 기반 이미지 처리 장치(10)에서 이미지 처리 과정을 진행하게 되면 다음 주기 동안 위성에서 촬영된 이미지에 대한 시각적 집중 맵 이미지가 인공지능 학습 모델 처리 장치(100)로 다시 수신되어 상술한 과정들을 반복적으로 수행하게 되고, 이에 따라 온보드 기반 이미지 처리 장치(10)의 설명성을 유지하면서 제한된 하드웨어 상황에서 가속하기 위한 처리 구조를 결정할 수 있게 된다.When the image processing process is performed in the onboard-based image processing device 10, the visual concentration map image for the image taken from the satellite is received again by the artificial intelligence learning model processing device 100 during the next cycle, and the above-described process is repeated. Accordingly, it is possible to determine a processing structure for acceleration in a limited hardware situation while maintaining the explanatory nature of the onboard-based image processing device 10 .

즉, 본 발명의 실시예에 따른 가지치기 비율 결정부(150)는 판독관 상호작용형 설명성 지표값이 임계값을 초과하도록 시각적 집중 맵 이미지의 가지치기 비율을 변경하고, 본 발명의 실시예에 따른 시각적 집중 맵 프레임워크 결정부(160)는 판독관 상호작용형 설명성 지표값이 임계값을 초과하도록 시각적 집중 맵 프레임워크의 정보를 변경하는 역할을 수행한다.That is, the pruning ratio determination unit 150 according to an embodiment of the present invention changes the pruning ratio of the visual attention map image so that the descriptive index value of the reader interactive type exceeds the threshold value, and The visual attention map framework determination unit 160 according to the function of changing the information of the visual attention map framework so that the reader interactive explanatory index value exceeds the threshold value.

한편, 전술한 본 발명의 실시예에 따른 인공지능 학습 모델 처리 방법에 포함된 각각의 단계는, 이러한 단계를 수행하도록 하기 위한 명령어를 포함하는 컴퓨터 프로그램을 기록하는 컴퓨터 판독 가능한 기록매체에서 구현될 수 있다.On the other hand, each step included in the artificial intelligence learning model processing method according to the embodiment of the present invention described above may be implemented in a computer readable recording medium recording a computer program including instructions for performing these steps. there is.

본 발명에 첨부된 각 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 기록매체에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 기록매체에 저장된 인스트럭션들은 흐름도의 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.Combinations of each step in each flowchart attached to the present invention may be performed by computer program instructions. Since these computer program instructions may be loaded into a processor of a general-purpose computer, a special-purpose computer, or other programmable data processing equipment, the instructions executed by the processor of the computer or other programmable data processing equipment function as described in each step of the flowchart. create a means to do them. These computer program instructions can also be stored on a computer usable or computer readable medium that can be directed to a computer or other programmable data processing equipment to implement functions in a particular way, so that the computer usable or computer readable It is also possible that the instructions stored on the recording medium produce an article of manufacture containing instruction means for performing the functions described in each step of the flowchart. The computer program instructions can also be loaded on a computer or other programmable data processing equipment, so that a series of operational steps are performed on the computer or other programmable data processing equipment to create a computer-executed process to generate computer or other programmable data processing equipment. Instructions for performing the processing equipment may also provide steps for executing the functions described at each step in the flowchart.

또한, 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시예들에서는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.Further, each step may represent a module, segment or portion of code that includes one or more executable instructions for executing the specified logical function(s). It should also be noted that in some alternative embodiments it is possible for the functions mentioned in the steps to occur out of order. For example, two steps shown in succession may in fact be performed substantially concurrently, or the steps may sometimes be performed in reverse order depending on the function in question.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 품질에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely an example of the technical idea of the present invention, and various modifications and variations can be made to those skilled in the art without departing from the essential qualities of the present invention. Therefore, the embodiments disclosed in the present invention are not intended to limit the technical idea of the present invention, but to explain, and the scope of the technical idea of the present invention is not limited by these embodiments. The protection scope of the present invention should be construed according to the claims below, and all technical ideas within the scope equivalent thereto should be construed as being included in the scope of the present invention.

10: 온보드 기반 이미지 처리 장치
100: 인공지능 학습 모델 처리 장치
110: 수신부
120: 강건도 평가부
130: 선호도 분석부
140: 지표값 생성부
150: 가지치기 비율 결정부
160: 시각적 집중 맵 프레임워크 결정부
170: 송신부10: on-board based image processing unit
100: artificial intelligence learning model processing device
110: receiver
120: robustness evaluation unit
130: preference analysis unit
140: index value generation unit
150: pruning ratio determining unit
160: visual focus map framework determining unit
170: transmitter

Claims (20)

온보드(on-board) 기반 이미지 처리 장치로부터 인공지능 학습 모델의 시각적 집중 맵(visual attention map) 이미지를 수신하는 수신부;
상기 시각적 집중 맵 이미지에 대해 데이터 기반 분석을 수행하여 상기 시각적 집중 맵 이미지의 강건도(robustness)를 평가하는 강건도 평가부;
상기 시각적 집중 맵 이미지에 대한 스코어를 기초로 사용자 기반 분석을 수행하여 상기 시각적 집중 맵 이미지의 선호도(preference)를 분석하는 선호도 분석부;
상기 강건도에 대한 평가 결과와 상기 선호도에 대한 분석 결과를 기초로 판독관 상호작용형 설명성 지표값을 생성하는 지표값 생성부;
상기 판독관 상호작용형 설명성 지표값을 기 학습된 가지치기 민감도 학습 모델에 입력하여 상기 시각적 집중 맵 이미지의 가지치기(pruning) 비율을 결정하는 가지치기 비율 결정부; 및
상기 판독관 상호작용형 설명성 지표값을 기 학습된 가지치기 민감도 학습 모델에 입력하여 상기 시각적 집중 맵 이미지의 시각적 집중 맵 프레임워크의 정보를 결정하는 시각적 집중 맵 프레임워크 결정부;를 포함하는
온보드 기반 이미지 처리 시스템의 인공지능 학습 모델 처리 장치.a receiving unit receiving a visual attention map image of an artificial intelligence learning model from an on-board based image processing device;
a robustness evaluation unit evaluating robustness of the visual concentration map image by performing data-based analysis on the visual concentration map image;
a preference analyzer configured to analyze a preference of the visual attention map image by performing a user-based analysis based on a score of the visual attention map image;
an index value generation unit generating an interactive explanatory index value based on the evaluation result of the robustness and the analysis result of the preference;
a pruning ratio determining unit configured to determine a pruning ratio of the visual concentration map image by inputting the reader interactive explanatory index value to a pre-learned pruning sensitivity learning model; and
A visual attention map framework determining unit configured to determine information of a visual attention map framework of the visual attention map image by inputting the reader interactive explanatory index value into a pre-learned pruning sensitivity learning model.
Artificial intelligence learning model processing unit of on-board based image processing system. 제 1 항에 있어서,
상기 강건도 평가부는,
서로 다른 가지치기 비율을 갖는 두 개의 시각적 집중 맵 이미지 간의 유사도를 계산하고,
계산되는 상기 유사도를 상기 강건도로 표현하되, 상기 인공지능 학습 모델의 시각적 집중 맵 이미지에 대해 가지치기를 적용하지 않은 경우와 랜덤한 가지치기 비율을 적용한 경우 각각의 유사도 평균값을 상기 강건도로 표현하는
온보드 기반 이미지 처리 시스템의 인공지능 학습 모델 처리 장치.According to claim 1,
The robustness evaluation unit,
Calculate the similarity between two visual attention map images with different pruning ratios;
The calculated similarity is expressed as the robustness, but when pruning is not applied to the visual concentration map image of the artificial intelligence learning model and when a random pruning ratio is applied, the average value of each similarity is expressed as the robustness
Artificial intelligence learning model processing unit of on-board based image processing system. 제 2 항에 있어서,
상기 강건도 평가부는,
상기 두 개의 시각적 집중 맵 이미지 각각에 대해 청색의 픽셀 성분을 제거하고,
상기 청색의 픽셀 성분이 제거된 두 개의 후처리 이미지의 공통 지역과 배타적 지역에 대한 각각의 정보값을 계산하며,
계산된 상기 각각의 정보값을 기초로 상기 유사도를 계산하는
온보드 기반 이미지 처리 시스템의 인공지능 학습 모델 처리 장치.According to claim 2,
The robustness evaluation unit,
Remove a blue pixel component from each of the two visual concentration map images;
calculating respective information values for a common region and an exclusive region of two post-processed images from which the blue pixel component has been removed;
Calculating the degree of similarity based on the calculated information value
Artificial intelligence learning model processing unit of on-board based image processing system. 제 1 항에 있어서,
상기 스코어는 상기 시각적 집중 맵 이미지에 대한 판독관의 피드백 기반 분석 결과인
온보드 기반 이미지 처리 시스템의 인공지능 학습 모델 처리 장치.According to claim 1,
The score is the result of the reader's feedback-based analysis of the visual attention map image.
Artificial intelligence learning model processing unit of on-board based image processing system. 제 4 항에 있어서,
상기 지표값 생성부는,
상기 강건도에 대한 평가 결과와 상기 선호도에 대한 분석 결과 각각에 상기 시각적 집중 맵 이미지의 정확도를 판별하기 위한 가중치를 부여하되,
상기 정확도는 소정 범위의 값을 갖는 상기 시각적 집중 맵 이미지에 대한 상기 판독관의 평균 스코어로 표현되는
온보드 기반 이미지 처리 시스템의 인공지능 학습 모델 처리 장치.According to claim 4,
The indicator value generating unit,
A weight for determining the accuracy of the visual concentration map image is assigned to each of the evaluation result of the robustness and the analysis result of the preference,
The accuracy is expressed as the average score of the reader for the visual concentration map image having a value in a predetermined range.
Artificial intelligence learning model processing unit of on-board based image processing system. 제 1 항에 있어서,
상기 가지치기 비율 결정부는 상기 판독관 상호작용형 설명성 지표값이 임계값을 초과하도록 상기 시각적 집중 맵 이미지의 가지치기 비율을 변경하고,
상기 시각적 집중 맵 프레임워크 결정부는 상기 판독관 상호작용형 설명성 지표값이 임계값을 초과하도록 상기 시각적 집중 맵 프레임워크의 정보를 변경하는
온보드 기반 이미지 처리 시스템의 인공지능 학습 모델 처리 장치.According to claim 1,
The pruning ratio determiner changes the pruning ratio of the visual attention map image so that the reader interactive explanatory index value exceeds a threshold value;
The visual attention map framework determining unit changes information of the visual attention map framework so that the reader interactive explanatory index value exceeds a threshold value.
Artificial intelligence learning model processing unit of on-board based image processing system. 제 1 항에 있어서,
상기 가지치기 비율 결정부는 상기 판독관 상호작용형 설명성 지표값에 따라 상기 인공지능 학습 모델의 은닉층별로 가지치기 비율을 상이하게 결정하는
온보드 기반 이미지 처리 시스템의 인공지능 학습 모델 처리 장치.According to claim 1,
The pruning ratio determination unit determines a pruning ratio differently for each hidden layer of the artificial intelligence learning model according to the reader interactive explanatory index value
Artificial intelligence learning model processing unit of on-board based image processing system. 제 1 항에 있어서,
상기 결정된 가지치기 비율과 시각적 집중 맵 프레임워크의 정보를 상기 온보드 기반 이미지 처리 장치로 각각 송신하는 송신부를 더 포함하는
온보드 기반 이미지 처리 시스템의 인공지능 학습 모델 처리 장치.According to claim 1,
Further comprising a transmitter for transmitting the determined pruning ratio and information of the visual concentration map framework to the onboard-based image processing device.
Artificial intelligence learning model processing unit of on-board based image processing system. 온보드 기반 이미지 처리 장치로부터 인공지능 학습 모델의 시각적 집중 맵 이미지를 수신하는 단계;
상기 시각적 집중 맵 이미지에 대해 데이터 기반 분석을 수행하여 상기 시각적 집중 맵 이미지의 강건도를 평가하는 단계;
상기 시각적 집중 맵 이미지에 대한 스코어를 기초로 사용자 기반 분석을 수행하여 상기 시각적 집중 맵 이미지의 선호도를 분석하는 단계;
상기 강건도에 대한 평가 결과와 상기 선호도에 대한 분석 결과를 기초로 판독관 상호작용형 설명성 지표값을 생성하는 단계; 및
상기 판독관 상호작용형 설명성 지표값을 기 학습된 가지치기 민감도 학습 모델에 입력하여 상기 시각적 집중 맵 이미지의 가지치기 비율과 시각적 집중 맵 프레임워크의 정보를 각각 결정하는 단계;를 포함하는
온보드 기반 이미지 처리 시스템의 인공지능 학습 모델 처리 방법.Receiving a visual concentration map image of an artificial intelligence learning model from an on-board based image processing device;
evaluating the robustness of the visual attention map image by performing data-based analysis on the visual attention map image;
Analyzing a preference of the visual attention map image by performing a user-based analysis based on a score for the visual attention map image;
generating a reader interactive explanatory index value based on the evaluation result of the robustness and the analysis result of the preference; and
Determining a pruning ratio of the visual attention map image and information of the visual attention map framework, respectively, by inputting the reader interactive explanatory index value into a pre-learned pruning sensitivity learning model.
A method for processing an artificial intelligence learning model in an on-board based image processing system. 제 9 항에 있어서,
상기 평가하는 단계는,
서로 다른 가지치기 비율을 갖는 두 개의 시각적 집중 맵 이미지 간의 유사도를 계산하는 단계; 및
계산되는 상기 유사도를 상기 강건도로 표현하되, 상기 인공지능 학습 모델의 시각적 집중 맵 이미지에 대해 가지치기를 적용하지 않은 경우와 랜덤한 가지치기 비율을 적용한 경우 각각의 유사도 평균값을 상기 강건도로 표현하는 단계;를 포함하는
온보드 기반 이미지 처리 시스템의 인공지능 학습 모델 처리 방법.According to claim 9,
The evaluation step is
calculating a degree of similarity between two visual concentration map images having different pruning ratios; and
Expressing the calculated similarity as the robustness, expressing the average value of each similarity as the robustness when pruning is not applied to the visual concentration map image of the artificial intelligence learning model and when a random pruning ratio is applied including
A method for processing an artificial intelligence learning model in an on-board based image processing system. 제 10 항에 있어서,
상기 유사도를 계산하는 단계는,
상기 두 개의 시각적 집중 맵 이미지 각각에 대해 청색의 픽셀 성분을 제거하는 단계;
상기 청색의 픽셀 성분이 제거된 두 개의 후처리 이미지의 공통 지역과 배타적 지역에 대한 각각의 정보값을 계산하는 단계; 및
계산된 상기 각각의 정보값을 기초로 상기 유사도를 계산하는 단계;를 포함하는
온보드 기반 이미지 처리 시스템의 인공지능 학습 모델 처리 방법.According to claim 10,
The step of calculating the similarity is,
removing a blue pixel component from each of the two visual concentration map images;
calculating respective information values for a common region and an exclusive region of two post-processed images from which the blue pixel component is removed; and
Calculating the degree of similarity based on each of the calculated information values;
A method for processing an artificial intelligence learning model in an on-board based image processing system. 제 9 항에 있어서,
상기 스코어는 상기 시각적 집중 맵 이미지에 대한 판독관의 피드백 기반 분석 결과인
온보드 기반 이미지 처리 시스템의 인공지능 학습 모델 처리 방법.According to claim 9,
The score is the result of the reader's feedback-based analysis of the visual attention map image.
A method for processing an artificial intelligence learning model in an on-board based image processing system. 제 12 항에 있어서,
상기 생성하는 단계는,
상기 강건도에 대한 평가 결과와 상기 선호도에 대한 분석 결과 각각에 상기 시각적 집중 맵 이미지의 정확도를 판별하기 위한 가중치를 부여하되,
상기 정확도는 소정 범위의 값을 갖는 상기 시각적 집중 맵 이미지에 대한 상기 판독관의 평균 스코어로 표현되는 것을 특징으로 하는
온보드 기반 이미지 처리 시스템의 인공지능 학습 모델 처리 방법.According to claim 12,
The generating step is
A weight for determining the accuracy of the visual concentration map image is assigned to each of the evaluation result of the robustness and the analysis result of the preference,
Characterized in that the accuracy is expressed as the average score of the reader for the visual concentration map image having a value in a predetermined range.
A method for processing an artificial intelligence learning model in an on-board based image processing system. 제 9 항에 있어서,
상기 결정하는 단계는,
상기 판독관 상호작용형 설명성 지표값이 임계값을 초과하도록 상기 시각적 집중 맵 이미지의 가지치기 비율과 시각적 집중 맵 프레임워크의 정보를 각각 변경하는 단계를 포함하는
온보드 기반 이미지 처리 시스템의 인공지능 학습 모델 처리 방법.According to claim 9,
The determining step is
Changing the pruning ratio of the visual attention map image and the information of the visual attention map framework, respectively, such that the reader interactive explanatory index value exceeds a threshold value.
A method for processing an artificial intelligence learning model in an on-board based image processing system. 제 9 항에 있어서,
상기 결정하는 단계는,
상기 판독관 상호작용형 설명성 지표값에 따라 상기 인공지능 학습 모델의 은닉층별로 가지치기 비율을 상이하게 결정하는 단계를 포함하는
온보드 기반 이미지 처리 시스템의 인공지능 학습 모델 처리 방법.According to claim 9,
The determining step is
Determining different pruning ratios for each hidden layer of the artificial intelligence learning model according to the reader interactive explanatory index value
A method for processing an artificial intelligence learning model in an on-board based image processing system. 제 9 항에 있어서,
상기 결정된 가지치기 비율과 시각적 집중 맵 프레임워크의 정보를 상기 온보드 기반 이미지 처리 장치로 각각 송신하는 단계를 더 포함하는
온보드 기반 이미지 처리 시스템의 인공지능 학습 모델 처리 방법.According to claim 9,
Further comprising transmitting the determined pruning ratio and information of the visual concentration map framework to the onboard-based image processing device, respectively.
A method for processing an artificial intelligence learning model in an on-board based image processing system. 위성을 통해 촬영되는 객체에 대한 객체 이미지로부터 시각적 집중 맵 이미지를 생성하는 온보드 기반 이미지 처리 장치; 및
상기 온보드 기반 이미지 처리 장치에서 생성된 상기 시각적 집중 맵 이미지를 수신하고, 수신되는 상기 시각적 집중 맵 이미지에 대한 강건도와 상기 시각적 집중 맵 프레임워크에 따른 판독관의 선호도를 기초로 판독관 상호작용형 설명성 지표값을 제공하며, 상기 판독관 상호작용형 설명성 지표값을 기초로 상기 온보드 기반 이미지 처리 장치의 가지치기 비율과 시각적 집중 맵 프레임워크의 정보를 각각 결정하고, 결정되는 가지치기 비율과 시각적 집중 맵 프레임워크의 정보를 상기 온보드 기반 이미지 처리 장치로 각각 전송하는 인공지능 학습 모델 처리 장치;를 포함하는
온보드 기반 이미지 처리 시스템.an on-board based image processing device that generates a visually focused map image from an object image of an object captured via a satellite; and
Receive the visual attention map image generated by the on-board based image processing device, and present an interactive description of the reader based on the robustness of the received visual attention map image and the reader's preference according to the visual attention map framework. Provides a gender index value, determines the pruning ratio of the onboard-based image processing device and information of the visual concentration map framework, respectively, based on the reader interactive explanatory index value, and determines the determined pruning ratio and visual An artificial intelligence learning model processing device for transmitting the information of the centralized map framework to the onboard-based image processing device, respectively.
On-board based image processing system. 제 17 항에 있어서,
상기 온보드 기반 이미지 처리 장치는,
상기 객체를 촬영하는 이미지 센서;
상기 이미지 센서를 통해 촬영되는 상기 객체 이미지를 기초로 상기 객체에 대한 위치 정보와 클래스를 예측하는 객체 탐지 학습 모델; 및
상기 객체 탐지 학습 모델의 예측 결과를 기초로 상기 객체 이미지에 대한 상기 시각적 집중 맵 이미지를 생성하는 시각적 집중 맵 프레임워크;를 포함하는
온보드 기반 이미지 처리 시스템.18. The method of claim 17,
The on-board based image processing device,
an image sensor for photographing the object;
an object detection learning model that predicts location information and a class of the object based on the object image captured by the image sensor; and
A visual attention map framework for generating the visual attention map image for the object image based on the prediction result of the object detection learning model;
On-board based image processing system. 컴퓨터 프로그램을 저장하고 있는 컴퓨터 판독 가능 기록매체로서,
상기 컴퓨터 프로그램은,
온보드 기반 이미지 처리 시스템의 인공지능 학습 모델 처리 장치에 의해 수행되는 인공지능 학습 모델 처리 방법을 프로세서가 수행하도록 하기 위한 명령어를 포함하고,
상기 방법은,
온보드 기반 이미지 처리 장치로부터 인공지능 학습 모델의 시각적 집중 맵 이미지를 수신하는 단계;
상기 시각적 집중 맵 이미지에 대해 데이터 기반 분석을 수행하여 상기 시각적 집중 맵 이미지의 강건도를 평가하는 단계;
상기 시각적 집중 맵 이미지에 대한 스코어를 기초로 사용자 기반 분석을 수행하여 상기 시각적 집중 맵 이미지의 선호도를 분석하는 단계;
상기 강건도에 대한 평가 결과와 상기 선호도에 대한 분석 결과를 기초로 판독관 상호작용형 설명성 지표값을 생성하는 단계; 및
상기 판독관 상호작용형 설명성 지표값을 기 학습된 가지치기 민감도 학습 모델에 입력하여 상기 시각적 집중 맵 이미지의 가지치기 비율과 시각적 집중 맵 프레임워크의 정보를 각각 결정하는 단계;를 포함하는
컴퓨터 판독 가능한 기록매체.A computer-readable recording medium storing a computer program,
The computer program,
Includes instructions for causing a processor to perform an artificial intelligence learning model processing method performed by an artificial intelligence learning model processing device of an onboard-based image processing system;
The method,
Receiving a visual concentration map image of an artificial intelligence learning model from an on-board based image processing device;
evaluating the robustness of the visual attention map image by performing data-based analysis on the visual attention map image;
Analyzing a preference of the visual attention map image by performing a user-based analysis based on a score for the visual attention map image;
generating a reader interactive explanatory index value based on the evaluation result of the robustness and the analysis result of the preference; and
Determining a pruning ratio of the visual attention map image and information of the visual attention map framework, respectively, by inputting the reader interactive explanatory index value into a pre-learned pruning sensitivity learning model.
A computer-readable recording medium. 컴퓨터 판독 가능 기록매체에 저장된 컴퓨터 프로그램으로서,
상기 컴퓨터 프로그램은,
온보드 기반 이미지 처리 시스템의 인공지능 학습 모델 처리 장치에 의해 수행되는 인공지능 학습 모델 처리 방법을 프로세서가 수행하도록 하기 위한 명령어를 포함하고,
상기 방법은,
온보드 기반 이미지 처리 장치로부터 인공지능 학습 모델의 시각적 집중 맵 이미지를 수신하는 단계;
상기 시각적 집중 맵 이미지에 대해 데이터 기반 분석을 수행하여 상기 시각적 집중 맵 이미지의 강건도를 평가하는 단계;
상기 시각적 집중 맵 이미지에 대한 스코어를 기초로 사용자 기반 분석을 수행하여 상기 시각적 집중 맵 이미지의 선호도를 분석하는 단계;
상기 강건도에 대한 평가 결과와 상기 선호도에 대한 분석 결과를 기초로 판독관 상호작용형 설명성 지표값을 생성하는 단계; 및
상기 판독관 상호작용형 설명성 지표값을 기 학습된 가지치기 민감도 학습 모델에 입력하여 상기 시각적 집중 맵 이미지의 가지치기 비율과 시각적 집중 맵 프레임워크의 정보를 각각 결정하는 단계;를 포함하는
기록매체에 저장된 컴퓨터 프로그램.As a computer program stored on a computer-readable recording medium,
The computer program,
Includes instructions for causing a processor to perform an artificial intelligence learning model processing method performed by an artificial intelligence learning model processing device of an onboard-based image processing system;
The method,
Receiving a visual concentration map image of an artificial intelligence learning model from an on-board based image processing device;
evaluating the robustness of the visual attention map image by performing data-based analysis on the visual attention map image;
Analyzing a preference of the visual attention map image by performing a user-based analysis based on a score of the visual attention map image;
generating an interactive explanatory index value based on the evaluation result of the robustness and the analysis result of the preference; and
Determining a pruning ratio of the visual attention map image and information of the visual attention map framework, respectively, by inputting the reader interactive explanatory index value into a pre-learned pruning sensitivity learning model.
A computer program stored on a recording medium.
KR1020220129992A 2021-10-08 2022-10-11 Method and apparatus for processing artificial intelligence learning model of on-board image processing system KR20230051110A (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020210134386 2021-10-08
KR20210134386 2021-10-08

Publications (1)

Publication Number Publication Date
KR20230051110A true KR20230051110A (en) 2023-04-17

Family

ID=86128085

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220129992A KR20230051110A (en) 2021-10-08 2022-10-11 Method and apparatus for processing artificial intelligence learning model of on-board image processing system

Country Status (1)

Country Link
KR (1) KR20230051110A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116863279A (en) * 2023-09-01 2023-10-10 南京理工大学 Model distillation method for mobile terminal model light weight based on interpretable guidance
CN117041531A (en) * 2023-09-04 2023-11-10 无锡维凯科技有限公司 Mobile phone camera focusing detection method and system based on image quality evaluation

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
"An FPGA-Based Hardware Accelerator for CNNs Inference on Board Satellites: Benchmarking with Myriad 2-Based Solution for the CloudScout Case Study." Rapuano E, et al., Remote Sensing, 2021.
"Cloudscout: a deep neural network for on-board cloud detection on hyperspectral images." Giuffrida, G et al., Remote Sensing, 2020.
"Distilling the knowledge in a neural network", G Hinton, NeurIPS Workshop, 2014.
"Grad-cam: Visual explanations from deep networks via gradient-based localization." Selvaraju, et al., ICCV, 2017.
"Learning both weights and connections for efficient neural networks." S Han, et al., NeurIPS, 2015.
"The Lottery Ticket Hypothesis: Finding Sparse, Trainable Neural Networks", J Frankle, et al., ICLR, 2019

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116863279A (en) * 2023-09-01 2023-10-10 南京理工大学 Model distillation method for mobile terminal model light weight based on interpretable guidance
CN116863279B (en) * 2023-09-01 2023-11-21 南京理工大学 Model distillation method for mobile terminal model light weight based on interpretable guidance
CN117041531A (en) * 2023-09-04 2023-11-10 无锡维凯科技有限公司 Mobile phone camera focusing detection method and system based on image quality evaluation
CN117041531B (en) * 2023-09-04 2024-03-15 无锡维凯科技有限公司 Mobile phone camera focusing detection method and system based on image quality evaluation

Similar Documents

Publication Publication Date Title
US20220197281A1 (en) Intelligent decision-making method and system for unmanned surface vehicle
KR20230051110A (en) Method and apparatus for processing artificial intelligence learning model of on-board image processing system
CN110866887A (en) Target situation fusion sensing method and system based on multiple sensors
KR20190113119A (en) Method of calculating attention for convolutional neural network
CA3125794A1 (en) Shadow and cloud masking for agriculture applications using convolutional neural networks
Dezert et al. Edge detection in color images based on DSmT
CN113781519A (en) Target tracking method and target tracking device
CN114241110A (en) Point cloud semantic uncertainty sensing method based on neighborhood aggregation Monte Carlo inactivation
Mur-Labadia et al. Bayesian deep learning for affordance segmentation in images
CN115601551A (en) Object identification method and device, storage medium and electronic equipment
Tsuji et al. Non-guided depth completion with adversarial networks
CN111435457A (en) Method for classifying acquisition acquired by sensor
Acun et al. D3net (divide and detect drivable area net): deep learning based drivable area detection and its embedded application
Mittal et al. FEMT: a computational approach for fog elimination using multiple thresholds
CN115331162A (en) Cross-scale infrared pedestrian detection method, system, medium, equipment and terminal
CN114463676A (en) Safety helmet wearing detection method based on implicit expression
Afonso et al. Underwater object recognition: A domain-adaption methodology of machine learning classifiers
Sadhu et al. Obstacle detection for image-guided surface water navigation
Liu et al. Multi-focus image fusion algorithm based on unsupervised deep learning
Brodie et al. Augmenting wave-kinematics algorithms with machine learning to enable rapid littoral mapping and surf-zone state characterization from imagery
CN116503406B (en) Hydraulic engineering information management system based on big data
Malathi et al. Optimzied resnet model of convolutional neural network for under sea water object detection and classification
Gaetani et al. Deep stochastic image segmentation for autonomous robotic inspection
CN116861261B (en) Training method, deployment method, system, medium and equipment for automatic driving model
CN117576573B (en) Building atmosphere evaluation method, system, equipment and medium based on improved VGG16 model