KR102605708B1 - 조정 가능한 Grad-CAM을 기반으로 한 이미지 분류 작업에 시각적 설명 - Google Patents

조정 가능한 Grad-CAM을 기반으로 한 이미지 분류 작업에 시각적 설명 Download PDF

Info

Publication number
KR102605708B1
KR102605708B1 KR1020210113752A KR20210113752A KR102605708B1 KR 102605708 B1 KR102605708 B1 KR 102605708B1 KR 1020210113752 A KR1020210113752 A KR 1020210113752A KR 20210113752 A KR20210113752 A KR 20210113752A KR 102605708 B1 KR102605708 B1 KR 102605708B1
Authority
KR
South Korea
Prior art keywords
feature map
weight
explanation
grad
cam
Prior art date
Application number
KR1020210113752A
Other languages
English (en)
Other versions
KR20230031471A (ko
Inventor
조인휘
안준항
Original Assignee
한양대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한양대학교 산학협력단 filed Critical 한양대학교 산학협력단
Priority to KR1020210113752A priority Critical patent/KR102605708B1/ko
Publication of KR20230031471A publication Critical patent/KR20230031471A/ko
Application granted granted Critical
Publication of KR102605708B1 publication Critical patent/KR102605708B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/422—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation for representing the structure of the pattern or shape of an object therefor
    • G06V10/426—Graphical representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

조정 가능한 Grad-CAM을 기반으로 한 이미지 분류 작업에 시각적 설명 기술이 개시된다. 일 실시예에 따른, 설명 제공 시스템에 의해 수행되는 이미지 분류 작업에 시각적 설명을 제공하는 방법은, 입력 이미지가 설명을 제공하기 위한 모델을 통과함에 따라 획득된 특징맵에 대한 선택 특징(Select Feature) 과정을 통해 선택 특징맵을 획득하는 단계; 상기 획득된 특징맵과 상기 획득된 선택 특징맵의 각각의 가중치의 비교를 통해 가중치를 선택하는 단계; 및 상기 선택된 가중치를 이용하여 상기 획득된 특징맵 또는 상기 획득된 선택 특징맵과의 연산을 통해 상기 입력 이미지의 이미지 분류 작업에 대한 시각적 설명을 결과 데이터로서 출력하는 단계를 포함할 수 있다.

Description

조정 가능한 Grad-CAM을 기반으로 한 이미지 분류 작업에 시각적 설명{VISUAL EXPLANATION FOR IMAGE CLASSIFICATION TASK USING ADJUSTABLE GRAD-CAM}
아래의 설명은 이미지 분류를 위한 인공지능 기술에 관한 것이다.
현재 인공지능 기술은 이미지 분류, 물체 감지 등 다양한 컴퓨터 비전 작업에서 인간 수준에 가까운 성능을 보여주며 성공적으로 적용되었다. 현재 사용되는 모델은 정확성 측면에서 뛰어난 성능을 가지고 있지만, 적절한 설명을 제공하지 않고 블랙박스(Black-Box) 역할을 하고 있다. 따라서 블랙박스 모델을 투명하고 해석할 수 있게 만드는 것도 인공지능 분야에서 중요한 연구이다.
모델을 투명하고 해석할 수 있게 만드는 기법을 설명 가능한 인공지능 기술(Explainable artificial intelligence; XAI) 기술이라고 한다. XAI 기술은 사용자가 모델이 좋은 결정을 하고 있다고 믿도록 함으로써 모델의 신뢰성을 높이도록 한다. 그리고 블랙박스 모델 내부를 시각화 할 수 있도록 모델의 성능을 개선할 수 있을 뿐만 아니라, 훈련되지 않은 일반인도 '강한' 모델과 '약한' 모델을 구분할 수 있다.
최근에는 딥러닝의 CNN(Convolutional Neural Networks) 기반의 객체 검출 및 분류 방법들이 많이 활용되고 있다. 이에, CNN 기반의 이미지 분류 작업에서 시각적 설명을 제공하기 위한 기술이 제안될 필요가 있다.
Grad-CAM을 개량한 새로운 Adjustable Grad-CAM 기반의 XAI기술을 제공할 수 있다.
설명 제공 시스템에 의해 수행되는 이미지 분류 작업에 시각적 설명을 제공하는 방법은, 입력 이미지가 설명을 제공하기 위한 모델을 통과함에 따라 획득된 특징맵에 대한 선택 특징(Select Feature) 과정을 통해 선택 특징맵을 획득하는 단계; 상기 획득된 특징맵과 상기 획득된 선택 특징맵의 각각의 가중치의 비교를 통해 가중치를 선택하는 단계; 및 상기 선택된 가중치를 이용하여 상기 획득된 특징맵 또는 상기 획득된 선택 특징맵과의 연산을 통해 상기 입력 이미지의 이미지 분류 작업에 대한 시각적 설명을 결과 데이터로서 출력하는 단계를 포함할 수 있다.
상기 획득하는 단계는, 상기 획득된 특징맵에서 특정 비율의 픽셀값을 상기 획득된 특징맵의 기본값으로 설정하고, 상기 획득된 특징맵의 값을 기본값과 벡터 감산 연산(Vector subtraction operation)을 수행하고, 상기 벡터 감산 연산을 통해 선택 특징맵을 획득하는 단계를 포함할 수 있다.
상기 획득하는 단계는, 상기 획득된 선택 특징맵을 Grad-CAM방식으로 그레디언트(gradient)를 계산하여 가중치를 획득하는 단계를 포함할 수 있다.
상기 획득하는 단계는, 상기 획득된 특징맵을 Grad-CAM 방식으로 그레디언트(gradient)를 계산하여 가중치를 획득하는 단계를 포함할 수 있다.
상기 선택하는 단계는, 상기 획득된 특징맵과 상기 획득된 선택 특징맵의 각각의 가중치를 비교하여 더 높은 가중치를 선택하는 단계를 포함할 수 있다.
상기 출력하는 단계는, 상기 출력된 결과 데이터가 사용자에 의해 설정된 임계치를 만족할 경우, Grad-CAM 방식의 가중치를 사용하고, 상기 출력된 결과 데이터가 사용자에 의해 설정된 임계치를 만족하지 않을 경우, 작은 값으로 만드는 가중치를 사용하는 단계를 포함할 수 있다.
설명 제공 시스템은, 입력 이미지가 설명을 제공하기 위한 모델을 통과함에 따라 획득된 특징맵에 대한 선택 특징(Select Feature) 과정을 통해 선택 특징맵을 획득하는 특징맵 획득부; 상기 획득된 특징맵과 상기 획득된 선택 특징맵의 각각의 가중치의 비교를 통해 가중치를 선택하는 가중치 선택부; 및 상기 선택된 가중치를 이용하여 상기 획득된 특징맵 또는 상기 획득된 선택 특징맵과의 연산을 통해 상기 입력 이미지의 이미지 분류 작업에 대한 시각적 설명을 결과 데이터로서 출력하는 설명 출력부를 포함할 수 있다.
Grad-CAM을 개량한 새로운 Adjustable Grad-CAM이라는 XAI기술을 제공할 수 있다.
Grad-CAM보다 사용자에게 더 좋은 설명(explanation)을 제시할 수 있고, 클래스 차별적(class discriminative) 관점에서 더 좋은 효과가 있다.
도 1은 CAM을 설명하기 위한 도면이다.
도 2는 Grad-CAM을 설명하기 위한 도면이다.
도 3은 일 실시예에 있어서, Adjustable Grad-CAM 을 설명하기 위한 도면이다.
도 4는 일 실시예에 있어서, Adjustable Grad-CAM 실행 동작을 설명하기 위한 흐름도이다.
도 5는 일 실시예에 있어서, Grad-CAM과 Adjustable Grad-CAM을 비교한 예이다.
도 6은 일 실시예에 따른 설명 제공 시스템의 구성을 설명하기 위한 블록도이다.
도 7은 일 실시예에 따른 설명 제공 시스템에서 이미지 분류 작업에 시각적 설명을 제공하는 방법을 설명하기 위한 흐름도이다.
이하, 실시예를 첨부한 도면을 참조하여 상세히 설명한다.
도 1은 CAM을 설명하기 위한 도면이다.
일반적인 CNN은 컨볼루션(Convolution) 연산, 활성화(Activation) 연산 등 몇 가지 연산을 반복적으로 수행하도록 구성된다. CNN 모델은 주로 특징 추출(Feature Extraction) 과정과 플래튼(Flatten) 과정으로 나뉜다. 일정 횟수 이상의 특징 추출 과정 이후에는 플래튼 과정을 통해 입력 이미지가 1차원(1 dimension)의 벡터로 변환된다. CNN 모델을 사용하고 이미지 분류(Image Classification) 문제를 해결한 경우, CNN은 복수 개의 층의 컨볼루션(Convolutional) 연산을 거친 후, 플래튼 과정을 통해서 분류(classification)를 진행한다. CAM은 컨볼루션 연산을 사용한 다음, 플래튼 과정을 사용하지 않고, 대신 GAP(Global Average Pooling)을 사용한다. GAP은 최종 특징맵 값을 평균으로 구하는 계산 방식이다. GAP을 계산한 후에, 계산한 값들을 다른 분류기에 입력해야 한다. 분류기는 다시 학습하고, 각 입력값에게 가중치(weight)를 부여한다. CAM 방식의 최종 결과는 특징맵과 가중치를 곱하고 동일 위치의 픽셀별 합을 합친다. CAM의 결과를 분석해보면, CNN 모델의 강조된 부분의 더 밝게 나타날 수 있다.
특정 Class C에 대한 CAM Score 계산 수식:
는 Class C 예측하는 k번째 특징맵에 대한 가중치, 는 k번째 특징맵, 는 특징맵 내 i, j 위치 값, 는 특징맵 별 합을 의미한다. 는 k번째 특징맵 내의 i, j의 위치값을 의미한다.
CAM에서는 GAP 레이어(layer)를 반드시 사용해야 한다. CAM 방식은 GAP 레이어를 반드시 사용해야 한다는 점에서 문제점이 존재한다. GAP 레이어가 포함된 CNN 기반의 모델인 경우에는 적용할 수 있지만, GAP 레이어가 없는 경우에는 마지막 컨볼루션 레이어(convolutional layer) 뒤에 GAP 레이어를 붙여서 다시 튜닝(tuning)해야 한다는 문제가 생긴다.
도 2는 Grad-CAM을 설명하기 위한 도면이다.
Grad-CAM은 경사(gradient)를 사용하여 전역 평균 풀링(Global Average Pooling)을 사용하지 않기 때문에 GAP layer를 붙여서 다시 튜닝해야 할 필요도 없어 CAM의 문제점을 해결할 수 있게 되었다. 또한 Grad-CAM을 사용하면 모든 CNN 기반으로 한 모델의 구조를 변동시키지 않고, 컨볼루션 레이어를 가진 모델이면 모두 Grad-CAM을 적용할 수 있기 때문에 다른 모델들에서도 사용할 수 있게 된다. Grad-CAM은 CAM 방식 중에서 가중치를 구하는 방식이 새로운 방식으로 대체되었다. CAM처럼 GAP 레이어를 붙여서 다시 튜닝하지 않고 그레디언트 계산을 통하여 가중치를 구한다. 가중치는 특정 클래스에 특정 입력이 주는 영향력, 즉 특징맵의 각 요소가 특정 클래스에 주는 영향력이다.
그레디언트를 통해 특징맵의 가중치를 계산하는 수식:
는 k번째 특징맵 내의 i, j의 위치값, 는 특징맵 별 합을 의미한다. 는 소프트맥스 이전의 클래스 c에 대한 스코어이다. 는 소프트맥스 함수 이후에 출력되는 분류 범주 값 c에 대한 소프트맥스 이전의 레이어값 y를 보고자 하는 합성곱 레이어의 특징맵 로 미분한 값이다.
Class c에 대한 Grad-CAM Score 계산 수식:
는 k번째 특징맵, 은 그레디언트를 통해 계산된 특징맵의 가중치를 의미한다.
Grad-CAM은 쉽게 계산할 수 있지만, 그러나 클래스 구별 측면에서 고려하면 Grad-CAM의 결과가 불확실하다는 단점이 있다. 즉, Grad-CAM사용자에게 CNN 내부를 직관적으로 설명할 수 있지만, 신뢰성 및 정확도가 낮다.
도 3은 일 실시예에 있어서, Adjustable Grad-CAM 을 설명하기 위한 도면이다.
Adjustable Grad-CAM은 주로 Grad-CAM을 기반으로 하고 클래스 구별(class discriminative) 측면 위주로 개량한 것이다. Adjustable Grad-CAM은 Grad-CAM 방식 중 가중치를 계산 후, 또 다른 계산을 추가한 것이다. Adjustable Grad-CAM은 CNN에서 사용되는 특징맵의 결과를 선택 특징(Select Feature)이라는 과정을 통해 재분류시킨다.
선택 특징 과정에 대하여 설명하기로 한다. 각 특징맵에서 특정 비율의 픽셀값이 해당 특징맵의 기본값으로 설정될 수 있다. 이때, 특정 비율은 사용자 또는 컴퓨터에 의해 설정될 수 있다. 예를 들면, 실시예에서는 각 특징맵 중 수량이 제일 많은 10% 픽셀값이 특징맵의 기본값으로 설정되는 것을 예를 들어 설명하기로 한다. 원래 특징맵의 값과 기본값이 벡터 감산 연산(Vector subtraction operation)이 수행될 수 있다. 벡터 감산 연산을 수행한 결과가 선택 특징맵(Selected Feature Map)이 된다. 선택 특징맵을 Grad-CAM방식과 동일하게 그레디언트 계산을 수행함에 따라 가중치가 획득될 수 있다. 선택 특징맵을 통해 가중치가 획득된 후, 특징맵을 통해 계산된 가중치 값과 비교하고 더 높은 값을 가중치로 사용할 수 있다.
이와 같이, 새로운 가중치를 사용할 경우, 클래스 구별 측면에서 더 좋은 효과를 획득할 수 있다. 수식을 사용하면, 효과가 좋은 결과는 그대로 놔두고, 효과가 안좋은 결과에는 낮은 가중치를 부여하게 된다. 값은별로 차이가 안나지만, 결국 사용자가 Adjustable Grad-CAM의 결과를 통해 더 좋은 설명을 획득할 수 있다.
t는 사용자가 Grad-CAM의 결과를 보고 더 보충한 후에 설정한 임계치(Threshold)이다. 수식을 보면 가중치가 두 부분으로 선택할 수 있다.
h(x)는 Grad-CAM을 사용한 후 계산된 가중치의 결과이다. 만약에, 사용자가 Grad-CAM의 결과를 만족한다면 (if h(x)≥t)에 해당하는 가중치를 Grad-CAM의 가중치로 사용한다. 반면, 사용자가 Grad-CAM의 결과를 만족하지 않는다면, (if h(x)<t)에 해당하는 가중치를 사용한다.
의 값은 가장 작은 값이다. 는 의 값을 더 작은 값으로 만드는 것이다.
Class c에 대한 Adjustable Grad-CAM Score 계산 수식:
은 k번째 선택 특징맵 내 i,j 위치값이고, 는 소프트맥스 이전의 클래스 c에 대한 스코어이다.
는 가중치, 는 Class c에 대하여 계산된 Adjustable Grad-CAM 점수(Score)이다.
도 4는 일 실시예에 있어서, Adjustable Grad-CAM 실행 동작을 설명하기 위한 흐름도이다.
설명 제공 시스템은 Adjustable Grad-CAM 실행 동작을 수행할 수 있다. 설명 제공 시스템은 입력 이미지(401)를 설명을 제공하기 위한 모델에 입력받을 수 있다. 설명 제공 시스템은 입력 이미지를 설명을 제공하기 위한 모델에 입력받음에 따라CNN(402)을 기반으로 특징맵(403)을 획득할 수 있다.
설명 제공 시스템은 획득된 특징맵(403)에 대한 선택 특징 과정을 수행함에 따라 선택 특징맵(404)을 획득할 수 있다. 설명 제공 시스템은 획득된 특징맵(403)에 대한 Grad-CAM방식(409)으로 그레디언트(gradient)를 계산하여 가중치를 획득할 수 있다. 설명 제공 시스템은 h(x)를 획득(410)할 수 있다.
이때, 설명 제공 시스템은 획득된 선택 특징맵(404)에 대한 Grad-CAM방식(409)으로 그레디언트(gradient)를 계산하여 가중치를 획득할 수 있다. 설명 제공 시스템은 h(sx)를 획득(405)할 수 있다.
설명 제공 시스템은 획득된 h(x)와 h(sx) 중 더 높은 값을 선택(406)할 수 있다. 설명 제공 시스템은 선택된 가중치를 이용한 Grad-CAM의 결과를 출력할 수 있다. 설명 제공 시스템은 출력된 결과가 사용자가 만족하는지 여부를 판단할 수 있다(407). 설명 제공 시스템은 출력된 결과에 대하여 사용자가 만족할 경우, 선택된 가중치 h(x)또는 h(sx)를 사용(408)하여 특징맵 또는 선택 특징맵을 연산하여 입력 이미지의 이미지 분류 작업에 대한 시각적 설명을 결과로 출력(413)할 수 있다.
설명 제공 시스템은 사용자가 만족하지 않을 경우, 사용자로부터 보충할 특징 영역들을 추가(411)할 수 있다. 이때, 선택 특징 과정이 추가될 수 있다. 설명 제공 시스템은 추가된 선택 특징 과정을 통해 추가된 선택 특징맵에 대한 Adjustable Grad-CAM 가중치를 사용(412)할 수 있다. 여기서, Adjustable Grad-CAM 가중치란 특징맵의 가중치와 선택 특징맵의 가중치 중 높은 가중치를 선택하는 과정을 통해 도출된 가중치를 의미한다. 설명 제공 시스템은 Adjustable Grad-CAM 가중치와 추가된 선택 특징의 연산을 통해 입력 이미지의 이미지 분류 작업에 대한 시각적 설명을 결과로 출력(413)할 수 있다.
도 5는 일 실시예에 있어서, Grad-CAM과 Adjustable Grad-CAM을 비교한 예이다.
도 5(a)는 Grad-CAM을 이용한 결과이고, 도 5(b)는 Adjustable Grad-CAM를 이용한 결과를 나타낸 것이다. 두 결과를 비교해보면, Adjustable Grad-CAM을 사용한 시각적 설명이 클래스 구별(class discriminative)측면에서 더 좋은 설명을 제시한 것을 확인할 수 있다.
도 5(a)를 참고하면, Grad-CAM을 사용한 결과에서는 강아지의 목 부분을 가장 중요한 특징으로 제시하였다. 그러나, 사용자는 강아지의 얼굴 부분을 더 중요한 특징이라고 생각할 수 있다.
이에 반해, 도 5(b)를 참고하면, Adjustable Grad-CAM을 사용한 결과는 강아지의 얼굴 부분을 가장 중요한 특징으로 제시하였고, 고양이의 얼굴 부분도 중요한 특징으로 제시하였다. 다시 말해서, Adjustable Grad-CAM이 클래스 구별의 성능이 더 뛰어난 것을 확인할 수 있다.
도 6은 일 실시예에 따른 설명 제공 시스템의 구성을 설명하기 위한 블록도이고, 도 7은 일 실시예에 따른 설명 제공 시스템에서 이미지 분류 작업에 시각적 설명을 제공하는 방법을 설명하기 위한 흐름도이다.
설명 제공 시스템(100)의 프로세서는 특징맵 획득부(610), 가중치 선택부(620) 및 설명 출력부(630)를 포함할 수 있다. 이러한 프로세서의 구성요소들은 설명 제공 시스템에 저장된 프로그램 코드가 제공하는 제어 명령에 따라 프로세서에 의해 수행되는 서로 다른 기능들(different functions)의 표현들일 수 있다. 프로세서 및 프로세서의 구성요소들은 도 7의 이미지 분류 작업에 시각적 설명을 제공하는 방법이 포함하는 단계들(710 내지 730)을 수행하도록 설명 제공 시스템을 제어할 수 있다. 이때, 프로세서 및 프로세서의 구성요소들은 메모리가 포함하는 운영체제의 코드와 적어도 하나의 프로그램의 코드에 따른 명령(instruction)을 실행하도록 구현될 수 있다.
프로세서는 이미지 분류 작업에 시각적 설명을 제공하는 방법을 위한 프로그램의 파일에 저장된 프로그램 코드를 메모리에 로딩할 수 있다. 예를 들면, 설명 제공 시스템에서 프로그램이 실행되면, 프로세서는 운영체제의 제어에 따라 프로그램의 파일로부터 프로그램 코드를 메모리에 로딩하도록 설명 제공 시스템을 제어할 수 있다. 이때, 프로세서는 특징맵 획득부(610), 가중치 선택부(620) 및 설명 출력부(630) 각각은 메모리에 로딩된 프로그램 코드 중 대응하는 부분의 명령을 실행하여 이후 단계들(710 내지 730)을 실행하기 위한 프로세서의 서로 다른 기능적 표현들일 수 있다.
단계(710)에서 특징맵 획득부(610)는 입력 이미지가 설명을 제공하기 위한 모델을 통과함에 따라 획득된 특징맵에 대한 선택 특징(Select Feature) 과정을 통해 선택 특징맵을 획득할 수 있다. 특징맵 획득부(610)는 획득된 특징맵에서 특정 비율의 픽셀값을 획득된 특징맵의 기본값으로 설정하고, 획득된 특징맵의 값을 기본값과 벡터 감산 연산(Vector subtraction operation)을 수행하고, 벡터 감산 연산을 통해 선택 특징맵을 획득할 수 있다. 특징맵 획득부(610)는 획득된 선택 특징맵을 Grad-CAM방식으로 그레디언트(gradient)를 계산하여 가중치를 획득할 수 있다. 특징맵 획득부(610)는 획득된 특징맵을 Grad-CAM 방식으로 그레디언트(gradient)를 계산하여 가중치를 획득할 수 있다.
단계(720)에서 가중치 선택부(620)는 획득된 특징맵과 획득된 선택 특징맵의 각각의 가중치의 비교를 통해 가중치를 선택할 수 있다. 가중치 선택부(620)는 획득된 특징맵과 획득된 선택 특징맵의 각각의 가중치를 비교하여 더 높은 가중치를 선택할 수 있다.
단계(730)에서 설명 출력부(630)는 선택된 가중치를 이용하여 획득된 특징맵 또는 획득된 선택 특징맵과의 연산을 통해 입력 이미지의 이미지 분류 작업에 대한 시각적 설명을 결과 데이터로서 출력할 수 있다. 설명 출력부(630)는 출력된 결과 데이터가 사용자에 의해 설정된 임계치를 만족할 경우, Grad-CAM 방식의 가중치를 사용하고, 출력된 결과 데이터가 사용자에 의해 설정된 임계치를 만족하지 않을 경우, 작은 값으로 만드는 가중치를 사용할 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (7)

  1. 설명 제공 시스템에 의해 수행되는 이미지 분류 작업에 시각적 설명을 제공하는 방법에 있어서,
    입력 이미지가 설명을 제공하기 위한 모델을 통과함에 따라 획득된 특징맵에 대한 선택 특징(Select Feature) 과정을 통해 선택 특징맵을 획득하는 단계;
    상기 획득된 특징맵과 상기 획득된 선택 특징맵의 각각의 가중치의 비교를 통해 가중치를 선택하는 단계; 및
    상기 선택된 가중치를 이용하여 상기 획득된 특징맵 또는 상기 획득된 선택 특징맵과의 연산을 통해 상기 입력 이미지의 이미지 분류 작업에 대한 시각적 설명을 결과 데이터로서 출력하는 단계
    를 포함하고,
    상기 획득하는 단계는,
    상기 획득된 특징맵에서 특정 비율의 픽셀값을 상기 획득된 특징맵의 기본값으로 설정하고, 상기 획득된 특징맵의 값을 기본값과 벡터 감산 연산(Vector subtraction operation)을 수행하고, 상기 벡터 감산 연산을 통해 선택 특징맵을 획득하는 단계
    를 포함하고,
    상기 출력하는 단계는,
    상기 출력된 결과 데이터가 사용자에 의해 설정된 임계치를 만족할 경우, Grad-CAM 방식의 가중치를 사용하고, 상기 출력된 결과 데이터가 사용자에 의해 설정된 임계치를 만족하지 않을 경우, 작은 값으로 만드는 가중치를 사용하는 단계
    를 포함하는 시각적 설명을 제공하는 방법.
  2. 삭제
  3. 제1항에 있어서,
    상기 획득하는 단계는,
    상기 획득된 선택 특징맵을 Grad-CAM방식으로 그레디언트(gradient)를 계산하여 가중치를 획득하는 단계
    를 포함하는 시각적 설명을 제공하는 방법.
  4. 제1항에 있어서,
    상기 획득하는 단계는,
    상기 획득된 특징맵을 Grad-CAM 방식으로 그레디언트(gradient)를 계산하여 가중치를 획득하는 단계
    를 포함하는 시각적 설명을 제공하는 방법.
  5. 제1항에 있어서,
    상기 선택하는 단계는,
    상기 획득된 특징맵과 상기 획득된 선택 특징맵의 각각의 가중치를 비교하여 더 높은 가중치를 선택하는 단계
    를 포함하는 시각적 설명을 제공하는 방법.
  6. 삭제
  7. 설명 제공 시스템에 있어서,
    입력 이미지가 설명을 제공하기 위한 모델을 통과함에 따라 획득된 특징맵에 대한 선택 특징(Select Feature) 과정을 통해 선택 특징맵을 획득하는 특징맵 획득부;
    상기 획득된 특징맵과 상기 획득된 선택 특징맵의 각각의 가중치의 비교를 통해 가중치를 선택하는 가중치 선택부; 및
    상기 선택된 가중치를 이용하여 상기 획득된 특징맵 또는 상기 획득된 선택 특징맵과의 연산을 통해 상기 입력 이미지의 이미지 분류 작업에 대한 시각적 설명을 결과 데이터로서 출력하는 설명 출력부
    를 포함하고,
    상기 특징맵 획득부는,
    상기 획득된 특징맵에서 특정 비율의 픽셀값을 상기 획득된 특징맵의 기본값으로 설정하고, 상기 획득된 특징맵의 값을 기본값과 벡터 감산 연산(Vector subtraction operation)을 수행하고, 상기 벡터 감산 연산을 통해 선택 특징맵을 획득하는 것을 포함하고,
    상기 출력부는,
    상기 출력된 결과 데이터가 사용자에 의해 설정된 임계치를 만족할 경우, Grad-CAM 방식의 가중치를 사용하고, 상기 출력된 결과 데이터가 사용자에 의해 설정된 임계치를 만족하지 않을 경우, 작은 값으로 만드는 가중치를 사용하는
    설명 제공 시스템.
KR1020210113752A 2021-08-27 2021-08-27 조정 가능한 Grad-CAM을 기반으로 한 이미지 분류 작업에 시각적 설명 KR102605708B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210113752A KR102605708B1 (ko) 2021-08-27 2021-08-27 조정 가능한 Grad-CAM을 기반으로 한 이미지 분류 작업에 시각적 설명

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210113752A KR102605708B1 (ko) 2021-08-27 2021-08-27 조정 가능한 Grad-CAM을 기반으로 한 이미지 분류 작업에 시각적 설명

Publications (2)

Publication Number Publication Date
KR20230031471A KR20230031471A (ko) 2023-03-07
KR102605708B1 true KR102605708B1 (ko) 2023-11-23

Family

ID=85513242

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210113752A KR102605708B1 (ko) 2021-08-27 2021-08-27 조정 가능한 Grad-CAM을 기반으로 한 이미지 분류 작업에 시각적 설명

Country Status (1)

Country Link
KR (1) KR102605708B1 (ko)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10007865B1 (en) * 2017-10-16 2018-06-26 StradVision, Inc. Learning method and learning device for adjusting parameters of CNN by using multi-scale feature maps and testing method and testing device using the same
KR102198395B1 (ko) * 2018-05-08 2021-01-06 서울대학교산학협력단 녹내장 조기진단과 의심영역 표시 방법 및 이를 위한 시스템
KR102216689B1 (ko) * 2018-11-23 2021-02-17 네이버 주식회사 시계열 의료 데이터를 통한 질병 예후 예측을 위한 딥 뉴럴 네트워크의 분류 결과 시각화 방법 및 시스템

Also Published As

Publication number Publication date
KR20230031471A (ko) 2023-03-07

Similar Documents

Publication Publication Date Title
US11556778B2 (en) Automated generation of machine learning models
KR20180126220A (ko) 객체를 식별하는 방법 및 디바이스
KR102532748B1 (ko) 뉴럴 네트워크 학습 방법 및 장치
KR102476022B1 (ko) 얼굴검출 방법 및 그 장치
KR102361005B1 (ko) 상관관계와 필터 뱅크 csp 특징의 피셔 비율을 이용한 bci를 위한 최적 전극 선택 장치 및 방법
CN111292377A (zh) 目标检测方法、装置、计算机设备和存储介质
KR101833943B1 (ko) 동영상의 주요 장면을 추출 및 탐색하는 방법 및 시스템
KR102185979B1 (ko) 동영상에 포함된 객체의 운동 유형을 결정하기 위한 방법 및 장치
KR102210404B1 (ko) 위치 정보 추출 장치 및 방법
KR102127855B1 (ko) 검출 반복성을 최대화 하는 특징점 선별방법
KR102605707B1 (ko) 모델에 관계없이 적용 가능한 메타러닝을 사용한 발작 예측 방법
KR102605708B1 (ko) 조정 가능한 Grad-CAM을 기반으로 한 이미지 분류 작업에 시각적 설명
KR20210111677A (ko) 뉴럴 네트워크의 클리핑 방법, 뉴럴 네트워크의 컨벌루션 계산 방법 및 그 방법을 수행하기 위한 전자 장치
KR20240052912A (ko) 슬라이스 기반 기계 학습 모델들을 위한 시각적 분석 프레임워크를 위한 시스템 및 방법
KR20240052913A (ko) 슬라이스 기반 기계 학습 모델들을 효율적으로 분석하고 비교하기 위한 시스템 및 방법
JP2019023801A (ja) 画像認識装置、画像認識方法、及び画像認識プログラム
KR102413588B1 (ko) 학습 데이터에 따른 객체 인식 모델 추천 방법, 시스템 및 컴퓨터 프로그램
KR102504862B1 (ko) 자율주행 자동차의 판단에 대한 근거 설명 모델
KR101834279B1 (ko) 지연 특징 추출을 이용하여 얼굴을 검출하기 위한 이미지 처리 방법 및 시스템
KR20230157841A (ko) 이미지 기반 지식 그래프 증강 및 임베딩 방법과 그 시스템
KR102223255B1 (ko) 유방 영상 보고 데이터 시스템을 이용한 딥 네트워크의 시각적 진단 해석 방법 및 시스템
KR20220120924A (ko) 영상 분할 장치 및 방법
CN112771566A (zh) 图像处理装置和图像处理方法
KR20240156034A (ko) 기 학습된 딥러닝 모델의 역량 측정 방법 및 시스템
KR102421987B1 (ko) 깊은 신경망 내에서의 강화된 배치 정규화를 위한 전자 장치, 방법, 및 컴퓨터 판독가능 매체

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant