KR20210141150A - 이미지 분류 모델을 이용한 이미지 분석 방법 및 장치 - Google Patents

이미지 분류 모델을 이용한 이미지 분석 방법 및 장치 Download PDF

Info

Publication number
KR20210141150A
KR20210141150A KR1020200058434A KR20200058434A KR20210141150A KR 20210141150 A KR20210141150 A KR 20210141150A KR 1020200058434 A KR1020200058434 A KR 1020200058434A KR 20200058434 A KR20200058434 A KR 20200058434A KR 20210141150 A KR20210141150 A KR 20210141150A
Authority
KR
South Korea
Prior art keywords
mask
image
prediction result
original image
classification model
Prior art date
Application number
KR1020200058434A
Other languages
English (en)
Inventor
박정형
오영록
정형식
Original Assignee
삼성에스디에스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성에스디에스 주식회사 filed Critical 삼성에스디에스 주식회사
Priority to KR1020200058434A priority Critical patent/KR20210141150A/ko
Priority to US16/884,899 priority patent/US11288549B2/en
Publication of KR20210141150A publication Critical patent/KR20210141150A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20128—Atlas-based segmentation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

이미지 분석 방법 및 장치가 개시된다. 일 실시예에 따른 이미지 분석 방법은, 사전 학습된 이미지 분류 모델을 이용하여 원본 이미지에 대한 예측 결과를 생성하는 단계; 상기 원본 이미지, 상기 예측 결과 및 상기 이미지 분류 모델을 이용하여 복수의 마스크를 학습하는 단계; 및 상기 복수의 마스크 중 적어도 하나에 기초하여 상기 예측 결과에 대한 상기 원본 이미지의 영역별 기여도를 시각화한 맵을 생성하는 단계를 포함한다.

Description

이미지 분류 모델을 이용한 이미지 분석 방법 및 장치{METHOD AND APPARATUS FOR IMAGE ANALYSIS USING IMAGE CLASSIFICATION MODEL}
개시되는 실시예들은 이미지 분석 기술과 관련된다.
심층 신경망(Deep Neural Network) 모델은 이미지/음성/텍스트 등의 다양한 분야에서 활용되며 빠르게 발전하고 있다. 이처럼 신경망 모델의 예측 결과가 실생활에 접목되면서, 모델의 예측 결과를 합리적으로 설명하고자 하는 수요 역시 꾸준히 증가하고 있다. 특히, 의료, 자율주행 등 완벽한 예측력을 요하는 분야에서는 이를 정확히 설명하는 것이 더욱 중요하다. 예를 들어, 입력 데이터에서 모델의 예측 결과에 대한 기여도(feature importance)가 큰 부분을 찾을 수 있다면 사용자가 모델의 예측 결과를 이해하는데 큰 도움이 될 것이다.
한편, 이미지 분류 모델에서 입력 이미지의 픽셀 별 기여도를 나타내는 돌출 맵(saliency map) 생성을 위한 종래 기술들은 지나치게 높은 연산량을 요구하거나, 제한적인 정보만을 활용하여 돌출 맵을 생성하므로 생성된 돌출 맵의 정확도나 해석력에 한계가 존재한다.
대한민국 공개특허공보 제10-2019-0134933호 (2019.12.05. 공개)
개시되는 실시예들은 이미지 분석 방법 및 장치를 제공하기 위한 것이다.
일 실시예에 따른 이미지 분석 방법은, 사전 학습된 이미지 분류 모델을 이용하여 원본 이미지에 대한 예측 결과를 생성하는 단계; 상기 원본 이미지, 상기 예측 결과 및 상기 이미지 분류 모델을 이용하여 복수의 마스크를 학습하는 단계; 및 상기 복수의 마스크 중 적어도 하나에 기초하여 상기 예측 결과에 대한 상기 원본 이미지의 영역별 기여도를 시각화한 맵을 생성하는 단계를 포함한다.
상기 복수의 마스크는, 긍정적 마스크(positive mask) 및 부정적 마스크(negative mask)를 포함하고, 상기 학습하는 단계는, 상기 원본 이미지에 상기 긍정적 마스크를 적용하여 생성된 이미지에 대한 상기 이미지 분류 모델의 예측 결과, 상기 원본 이미지에 대한 예측 결과 및 상기 긍정적 마스크와 상기 부정적 마스크 사이의 유사도 기초하여 상기 긍정적 마스크를 학습하고, 상기 원본 이미지에 상기 부정적 마스크를 적용하여 생성된 이미지에 대한 상기 이미지 분류 모델의 예측 결과, 상기 원본 이미지에 대한 예측 결과 및 상기 유사도에 기초하여 상기 부정적 마스크를 학습할 수 있다.
상기 학습하는 단계는, 상기 긍정적 마스크를 적용하여 생성된 이미지에 대한 상기 이미지 분류 모델의 예측 결과가 상기 원본 이미지에 대한 예측 결과와 유사해지고 상기 유사도가 감소하도록 상기 긍정적 마스크를 학습하고, 상기 부정적 마스크를 적용하여 생성된 이미지에 대한 상기 이미지 분류 모델의 예측 결과가 상기 원본 이미지에 대한 예측 결과와 상이해지고 상기 유사도가 감소하도록 상기 부정적 마스크를 학습할 수 있다.
상기 맵을 생성하는 단계는, 상기 긍정적 마스크에 기초하여 상기 맵을 생성할 수 있다.
상기 복수의 마스크는, 상기 원본 이미지에 대한 주 마스크(primary mask) 및 상기 원본 이미지에 대한 하나 이상의 변형 이미지 각각에 대한 보조 마스크(auxiliary mask)를 포함할 수 있다.
상기 학습하는 단계는, 상기 원본 이미지에 상기 주 마스크를 적용하여 생성된 이미지에 대한 상기 이미지 분류 모델의 예측 결과 및 상기 원본 이미지에 대한 예측 결과에 기초하여 상기 주 마스크를 학습하는 단계; 상기 하나 이상의 변형 이미지를 생성하는 단계; 상기 하나 이상의 변형 이미지 각각에 상기 보조 마스크를 적용하여 생성된 하나 이상의 이미지 각각에 대한 상기 이미지 분류 모델의 예측 결과 및 상기 원본 이미지에 대한 예측 결과에 기초하여 상기 하나 이상의 변형 이미지 각각에 대한 보조 마스크를 학습하는 단계; 상기 하나 이상의 변형 이미지 각각을 생성하기 위해 상기 원본 이미지에 적용된 변형 연산에 대한 역연산을 이용하여 상기 하나 이상의 변형 이미지 각각에 대한 보조 마스크를 변형하는 단계; 및 상기 하나 이상의 변형 이미지 각각에 대한 변형된 보조 마스크에 기초하여 상기 학습된 주 마스크를 갱신하는 단계를 포함할 수 있다.
상기 주 마스크를 학습하는 단계는, 상기 주 마스크를 적용하여 생성된 이미지에 대한 상기 이미지 분류 모델의 예측 결과가 상기 원본 이미지에 대한 예측 결과와 유사해지도록 상기 주 마스크를 학습하고, 상기 보조 마스크를 학습하는 단계는, 상기 보조 마스크를 적용하여 생성된 하나 이상의 이미지 각각에 대한 상기 이미지 분류 모델의 예측 결과가 상기 원본 이미지에 대한 예측 결과와 유사해지도록 상기 하나 이상의 변형 이미지 각각에 대한 보조 마스크를 학습할 수 있다.
상기 갱신하는 단계는, 상기 학습된 주 마스크와 상기 하나 이상의 변형 이미지 각각에 대한 변형된 보조 마스크 사이의 유사도에 기초하여 상기 학습된 주 마스크를 갱신할 수 있다.
상기 갱신하는 단계는, 상기 유사도의 평균이 증가하도록 상기 학습된 주 마스크를 갱신할 수 있다.
상기 맵을 생성하는 단계는, 상기 갱신된 주 마스크에 기초하여 상기 맵을 생성할 수 있다.
일 실시예에 따른 이미지 분석 장치는, 사전 학습된 이미지 분류 모델을 이용하여 원본 이미지에 대한 예측 결과를 생성하고, 상기 원본 이미지, 상기 예측 결과 및 상기 이미지 분류 모델을 이용하여 복수의 마스크를 학습하는 마스크 학습부; 및 상기 복수의 마스크 중 적어도 하나에 기초하여 상기 예측 결과에 대한 상기 원본 이미지의 영역별 기여도를 시각화한 맵을 생성하는 맵 생성부를 포함한다.
상기 복수의 마스크는, 긍정적 마스크(positive mask) 및 부정적 마스크(negative mask)를 포함하고, 상기 마스크 학습부는, 상기 원본 이미지에 상기 긍정적 마스크를 적용하여 생성된 이미지에 대한 상기 이미지 분류 모델의 예측 결과, 상기 원본 이미지에 대한 예측 결과 및 상기 긍정적 마스크와 상기 부정적 마스크 사이의 유사도 기초하여 상기 긍정적 마스크를 학습하고, 상기 원본 이미지에 상기 부정적 마스크를 적용하여 생성된 이미지에 대한 상기 이미지 분류 모델의 예측 결과, 상기 원본 이미지에 대한 예측 결과 및 상기 유사도에 기초하여 상기 부정적 마스크를 학습할 수 있다.
상기 마스크 학습부는, 상기 긍정적 마스크를 적용하여 생성된 이미지에 대한 상기 이미지 분류 모델의 예측 결과가 상기 원본 이미지에 대한 예측 결과와 유사해지고 상기 유사도가 감소하도록 상기 긍정적 마스크를 학습하고, 상기 부정적 마스크를 적용하여 생성된 이미지에 대한 상기 이미지 분류 모델의 예측 결과가 상기 원본 이미지에 대한 예측 결과와 상이해지고 상기 유사도가 감소하도록 상기 부정적 마스크를 학습할 수 있다.
상기 맵 생성부는, 상기 긍정적 마스크에 기초하여 상기 맵을 생성할 수 있다.
상기 마스크 학습부는, 상기 원본 이미지에 상기 주 마스크를 적용하여 생성된 이미지에 대한 상기 이미지 분류 모델의 예측 결과 및 상기 원본 이미지에 대한 예측 결과에 기초하여 상기 주 마스크를 학습하고, 상기 하나 이상의 변형 이미지를 생성하고, 상기 하나 이상의 변형 이미지 각각에 상기 보조 마스크를 적용하여 생성된 하나 이상의 이미지 각각에 대한 상기 이미지 분류 모델의 예측 결과 및 상기 원본 이미지에 대한 예측 결과에 기초하여 상기 하나 이상의 변형 이미지 각각에 대한 보조 마스크를 학습하고, 상기 하나 이상의 변형 이미지 각각을 생성하기 위해 상기 원본 이미지에 적용된 변형 연산에 대한 역연산을 이용하여 상기 하나 이상의 변형 이미지 각각에 대한 보조 마스크를 변형하고, 상기 하나 이상의 변형 이미지 각각에 대한 변형된 보조 마스크에 기초하여 상기 학습된 주 마스크를 갱신할 수 있다.
상기 마스크 학습부는, 상기 주 마스크를 적용하여 생성된 이미지에 대한 상기 이미지 분류 모델의 예측 결과가 상기 원본 이미지에 대한 예측 결과와 유사해지도록 상기 주 마스크를 학습하고, 상기 보조 마스크를 적용하여 생성된 하나 이상의 이미지 각각에 대한 상기 이미지 분류 모델의 예측 결과가 상기 원본 이미지에 대한 예측 결과와 유사해지도록 상기 하나 이상의 변형 이미지 각각에 대한 보조 마스크를 학습할 수 있다.
상기 마스크 학습부는, 상기 학습된 주 마스크와 상기 하나 이상의 변형 이미지 각각에 대한 변형된 보조 마스크 사이의 유사도에 기초하여 상기 학습된 주 마스크를 갱신할 수 있다.
상기 마스크 학습부는, 상기 유사도의 평균이 증가하도록 상기 학습된 주 마스크를 갱신할 수 있다.
상기 맵 생성부는, 상기 갱신된 주 마스크에 기초하여 상기 맵을 생성할 수 있다.
개시되는 실시예들에 따르면, 원본 이미지 및 원본 이미지에 대한 이미지 분류 모델의 예측 결과를 이용하여 다양한 방식으로 학습되는 복수의 마스크에 기초하여 이미지 분류 모델의 예측 결과에 대한 원본 이미지의 영역별 기여도를 시각화함으로써 다양한 관점에서 원본 이미지의 영역별 기여도를 분석할 수 있으며, 시각화되는 영역별 기여도의 정확성을 향상시킬 수 있다.
도 1은 일 실시예에 따른 이미지 분석 장치의 구성도
도 2는 제1 실시예에 따른 마스크 학습 과정을 나타낸 순서도
도 3은 제2 실시예에 따른 마스크 학습 과정을 나타낸 순서도
도 4는 일 실시예에 따른 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도
이하, 도면을 참조하여 본 발명의 구체적인 실시형태를 설명하기로 한다. 이하의 상세한 설명은 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다.
본 발명의 실시예들을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 본 발명의 실시예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다.
도 1은 일 실시예에 따른 이미지 분석 장치의 구성도이다.
일 실시예에 따른 이미지 분석 장치(100)는 마스크 학습부(110) 및 맵 생성부(120)를 포함한다.
일 실시예에서, 마스크 학습부(110) 및 맵 생성부(120)는 각각 물리적으로 구분된 하나 이상의 장치를 이용하여 구현되거나, 하나 이상의 프로세서 또는 하나 이상의 프로세서 및 소프트웨어의 결합에 의해 구현될 수 있으며, 도시된 예와 달리 구체적 동작에 있어 명확히 구분되지 않을 수 있다.
마스크 학습부(110)는 사전 학습된 이미지 분류 모델을 이용하여 원본 이미지에 대한 예측 결과를 생성하고, 원본 이미지, 원본 이미지에 대한 이미지 분류 모델의 예측 결과 및 이미지 분류 모델을 이용하여 복수의 마스크를 학습한다.
이때, 일 실시예에 따르면 이미지 분류 모델은 예를 들어, 입력되는 이미지를 복수의 클래스 중 하나로 분류하도록 학습된 심층 신경망(deep neural network) 모델일 수 있다.
예를 들어, 이미지 분류 모델은 예를 들어, 소프트맥스(softmax) 함수를 출력 층의 활성화 함수(activation function)로 이용한 심층 신경망 기반의 다중 클래스 분류(multi-class classification) 모델일 수 있다.
다른 예로, 이미지 분류 모델은 함수를 예를 들어, 시그모이드(sigmoid)를 출력 층의 활성화 함수로 이용한 심층 신경망 기반의 이진 분류(binary classification) 모델일 수 있다.
그러나, 이미지 분류 모델의 신경망 구조 및 출력 층의 활성화 함수는 반드시 특정한 예로 한정되는 것은 아니며 실시예에 따라 다양하게 변형될 수 있다.
일 실시예에 따르면, 마스크는 마스크가 적용될 이미지에 포함된 각 픽셀의 픽셀 값에 대한 가중치를 포함하는 가중치 행렬을 의미하며, 이때, 가중치는 예를 들어, 0~1 사이의 값을 가질 수 있다.
예를 들어, 마스크가 적용될 이미지 A가 n×m개의 픽셀로 구성된 이미지인 경우, 해당 이미지 A에 대한 마스크 M은 n×m개의 가중치 값을 포함하는 가중치 행렬일 수 있다. 또한, 이미지 A에 마스크 M을 적용하여 생성되는 이미지 A'는 예를 들어, 아래의 수학식 1과 같이 이미지 A에 포함된 각 픽셀에 대한 픽셀 값의 행렬과 마스크 M 사이의 요소별 곱셈(element-wise multiplication)을 통해 생성될 수 있다.
[수학식 1]
Figure pat00001
이때, ai,j는 이미지 A의 픽셀들 중 좌표가 {i, j}인 픽셀의 픽셀 값, wi,j는 이미지 A의 픽셀들 중 좌표가 {i, j}인 픽셀에 대한 가중치를 나타낸다.
맵 생성부(120)는 마스크 학습부(110)에 의해 학습된 복수의 마스크 중 적어도 하나에 기초하여, 원본 이미지에 대한 이미지 분류 모델의 예측 결과에 대한 원본 이미지의 영역별 기여도(feature importance)를 시각화한 맵을 생성한다.
이때, 영역별 기여도는 예를 들어, 픽셀별 기여도 또는 하나 이상의 픽셀을 포함하는 픽셀 그룹(예를 들어, 수퍼 픽셀(super pixel))별 기여도일 수 있으며, 맵 생성부(120)에 의해 학습된 복수의 마스크 중 적어도 하나에 포함된 가중치에 기초하여 산출될 수 있다.
한편, 맵 생성부(120)에 의해 생성되는 맵은 예를 들어, 돌출 맵(saliency map)일 수 있으나, 반드시 특정한 형태로 한정되는 것은 아니며, 맵을 생성하는 방법 역시 반드시 특정한 방법으로 한정되는 것은 아니다.
이하에서는, 마스크 학습부(110)에 의해 수행되는 마스크 학습 과정의 구체적 실시예에 대해 상세히 설명하기로 한다.
제1 실시예
도 2는 제1 실시예에 따른 마스크 학습 과정을 나타낸 순서도이다.
도 2를 참조하면, 우선, 마스크 학습부(110)는 사전 학습된 이미지 분류 모델을 이용하여 원본 이미지에 대한 예측 결과를 생성한다(210).
이후, 마스크 학습부(110)는 원본 이미지, 원본 이미지에 대한 이미지 분류 모델의 예측 결과 및 이미지 분류 모델을 이용하여 긍정적 마스크(positive mask) 및 부정적 마스크(negative mask)를 학습한다(220).
이때, 긍정적 마스크는 원본 이미지의 픽셀들 중 원본 이미지에 대한 이미지 분류 모델의 예측 결과에 긍정적인 영향을 주는 픽셀에 대한 가중치가 높은 값을 가지도록 학습되는 마스크를 의미할 수 있다.
또한, 부정적 마스크는 원본 이미지의 픽셀들 중 원본 이미지에 대한 이미지 분류 모델의 예측 결과에 부정적인 영향을 주는 픽셀에 대한 가중치가 높은 값을 가지도록 학습되는 마스크를 의미할 수 있다.
일 실시예에 따르면, 마스크 학습부(110)는 원본 이미지에 긍정적 마스크를 적용하여 생성된 이미지에 대한 이미지 분류 모델의 예측 결과, 원본 이미지에 대한 이미지 분류 모델의 예측 결과 및 긍정적 마스크와 부정적 마스크 사이의 유사도에 기초하여 긍정적 마스크를 학습할 수 있다.
또한, 마스크 학습부(110)는 원본 이미지에 부정적 마스크를 적용하여 생성된 이미지에 대한 이미지 분류 모델의 예측 결과, 원본 이미지에 대한 이미지 분류 모델의 예측 결과 및 긍정적 마스크와 부정적 마스크 사이의 유사도에 기초하여 부정적 마스크를 학습할 수 있다.
구체적으로, 마스크 학습부(110)는 원본 이미지에 긍정적 마스크를 적용하여 생성된 이미지에 대한 이미지 분류 모델의 예측 결과가 원본 이미지에 대한 이미지 분류 모델의 예측 결과와 유사해지도록 함과 동시에 부정적 마스크와의 유사도가 감소하도록 긍정적 마스크를 학습할 수 있다.
또한, 마스크 학습부(110)는 원본 이미지에 부정적 마스크를 적용하여 생성된 이미지에 대한 이미지 분류 모델의 예측 결과가 원본 이미지에 대한 예측 결과와 상이해지도록 함과 동시에 긍정적 마스크와의 유사도가 감소하도록 부정적 마스크를 학습할 수 있다.
예를 들어, 이미지 분류 모델이 소프트맥스 함수를 출력 층의 활성화 함수로 이용한 다중 클래스 분류 모델이며 이미지 분류 모델에 의해 원본 이미지가 클래스 c로 분류된 것으로 가정하면, 마스크 학습부(110)는 예를 들어, 수학식 2와 같이 정의된 손실 함수(loss function)에 기초한 역전파(backpropagation) 알고리즘을 이용하여 긍정적 마스크를 반복 갱신함으로써 긍정적 마스크를 학습할 수 있다. 또한, 마스크 학습부(110)는 수학식 3과 같이 정의된 손실 함수에 기초한 역전파 알고리즘을 이용하여 부정적 마스크를 반복 갱신함으로써 부정적 마스크를 학습할 수 있다.
[수학식 2]
Figure pat00002
[수학식 3]
Figure pat00003
한편, 수학식 2 및 3에서, L+(M+)는 긍정적 마스크 학습을 위한 손실 함수, L-(M-)는 부정적 마스크 학습을 위한 손실 함수, X는 원본 이미지, M+는 긍정적 마스크, M-는 부정적 마스크,
Figure pat00004
는 L1 노름(Norm),
Figure pat00005
는 원본 이미지에 긍정적 마스크를 적용하여 생성된 이미지,
Figure pat00006
는
Figure pat00007
에 대한 이미지 분류 모델의 예측 결과로서
Figure pat00008
의 클래스가 클래스 c일 확률,
Figure pat00009
는 원본 이미지에 부정적 마스크를 적용하여 생성된 이미지,
Figure pat00010
는
Figure pat00011
에 대한 이미지 분류 모델의 예측 결과로서
Figure pat00012
의 클래스가 클래스 c일 확률을 나타낸다.
또한, λTV, λL1 및 λs는 각각 사전 설정된 계수를 나타낸다.
또한, TV(·)는 마스크의 총 변량(total variance)을 나타내며, 예를 들어, 마스크 M에 대한 총 변량은 아래의 수학식 4와 같이 정의될 수 있다.
[수학식 4]
Figure pat00013
또한, S(M+, 1-M-)는 M+와 1-M- 사이의 유사도를 나타내며, 예를 들어, 코사인 유사도(cosine similarity), Lp (이때, p는 자연수) 노름 등일 수 있다.
한편, 긍정적 마스크와 부정적 마스크 학습을 위해 이용되는 손실 함수는 반드시 상술한 예에 한정되는 것은 아니며, 실시예에 따라 다양하게 변형될 수 있다.
한편, 일 실시예에 따르면, 긍정적 마스크 및 부정적 마스크에 대한 학습이 완료된 경우, 맵 생성부(120)는 학습된 긍정적 마스크에 기초하여 원본 이미지에 대한 이미지 분류 모델의 예측 결과에 대한 원본 이미지의 영역별 기여도를 시각화한 맵을 생성할 수 있다.
한편, 도 2에 도시된 순서도에서 적어도 일부의 단계들은 순서를 바꾸어 수행되거나, 다른 단계와 결합되어 함께 수행되거나, 생략되거나, 세부 단계들로 나뉘어 수행되거나, 또는 도시되지 않은 하나 이상의 단계가 부가되어 수행될 수 있다.
제2 실시예
도 3은 제2 실시예에 따른 마스크 학습 과정을 나타낸 순서도이다.
도 3을 참조하면, 우선, 마스크 학습부(110)는 사전 학습된 이미지 분류 모델을 이용하여 원본 이미지에 대한 예측 결과를 생성한다(310).
이후, 마스크 학습부(110)는 원본 이미지, 원본 이미지에 대한 이미지 분류 모델의 예측 결과 및 이미지 분류 모델을 이용하여 주 마스크(primary mask)를 학습한다(320).
이때, 일 실시예에 따르면, 마스크 학습부(110)는 원본 이미지에 주 마스크를 적용하여 생성된 이미지에 대한 이미지 분류 모델의 예측 결과 및 원본 이미지에 대한 이미지 분류 모델의 예측 결과에 기초하여 주 마스크를 학습할 수 있다.
구체적으로, 마스크 학습부(110)는 원본 이미지에 주 마스크를 적용하여 생성된 이미지에 대한 이미지 분류 모델의 예측 결과가 원본 이미지에 대한 이미지 분류 모델의 예측 결과와 유사해지도록 주 마스크를 학습할 수 있다.
예를 들어, 이미지 분류 모델이 소프트맥스 함수를 출력 층의 활성화 함수로 이용한 다중 클래스 분류 모델이며 이미지 분류 모델에 의해 원본 이미지가 클래스 c로 분류된 것으로 가정하면, 마스크 학습부(110)는 예를 들어, 수학식 5와 같이 정의된 손실 함수에 기초한 역전파 알고리즘을 이용하여 주 마스크 M'를 반복 갱신함으로써 주 마스크 M'를 학습할 수 있다.
[수학식 5]
Figure pat00014
이후, 마스크 학습부(110)는 원본 이미지에 대한 하나 이상의 변형 이미지를 생성한다(330).
이때, 원본 이미지에 대한 변형 이미지는 예를 들어, 회전, 상하 반전, 좌우 반전, 확대, 축소 등과 같은 변형 연산을 이용하여 원본 이미지를 변형함으로써 생성된 이미지를 의미한다.
한편, 마스크 학습부(110)는 원본 이미지에 각각 상이한 변형 연산을 적용하여 하나 이상의 변형 이미지를 생성될 수 있다.
예를 들어, 원본 이미지 X에 대한 하나 이상의 변형 이미지 중 n번째 변형 이미지 Xn은 예를 들어, 아래의 수학식 6에 의해 생성될 수 있다.
[수학식 6]
Figure pat00015
이때, Tn(·)는 n번째 변형 이미지 Xn을 생성하기 위해 원본 이미지 X에 적용된 변형 연산을 나타낸다.
이후, 마스크 학습부(110)는 하나 이상의 변형 이미지, 원본 이미지에 대한 이미지 분류 모델의 예측 결과 및 이미지 분류 모델을 이용하여 하나 이상의 변형 이미지 각각에 대한 보조 마스크(auxiliary mask)를 학습한다(340).
이때, 일 실시예에 따르면, 마스크 학습부(110)는 하나 이상의 변형 이미지 각각에 보조 마스크를 적용하여 생성된 하나 이상의 이미지 각각에 대한 이미지 분류 모델의 예측 결과 및 원본 이미지에 대한 이미지 분류 모델의 예측 결과에 기초하여 하나 이상의 변형 이미지 각각에 대한 보조 마스크를 학습할 수 있다.
구체적으로, 마스크 학습부(110)는 하나 이상의 변형 이미지 각각에 보조 마스크를 적용하여 생성된 하나 이상의 이미지 각각에 대한 이미지 분류 모델의 예측 결과가 원본 이미지에 대한 이미지 분류 모델의 예측 결과와 유사해지도록 각 변형 이미지에 대한 보조 마스크를 학습할 수 있다.
예를 들어, 이미지 분류 모델이 소프트맥스 함수를 출력 층의 활성화 함수로 이용한 다중 클래스 분류 모델이며 이미지 분류 모델에 의해 원본 이미지가 클래스 c로 분류된 것으로 가정하면, 마스크 학습부(110)는 예를 들어, 수학식 7과 같이 정의된 손실 함수에 기초한 역전파 알고리즘을 이용하여 각 변형 이미지에 대한 보조 마스크를 반복 갱신함으로써 각 변형 이미지에 대한 보조 마스크를 학습할 수 있다.
[수학식 7]
Figure pat00016
수학식 7에서 Mn(이때, n은 1보다 큰 자연수)은 n번째 변형 이미지 Xn에 대한 보조 마스크를 나타낸다.
이후, 마스크 학습부(110)는 하나 이상의 변형 이미지 각각을 생성하기 위해 원본 이미지에 적용된 변형 연산에 대한 역연산을 각 변형 이미지에 대한 보조 마스크에 적용하여 각 보조 마스크를 변형한다(350).
예를 들어, 마스크 학습부(110)는 아래의 수학식 8과 같이 n번째 변형 이미지 생성을 위해 원본 이미지에 적용된 변형 연산 Tn(·)에 대한 역연산 Tn -1(·)을 n번째 변형 이미지에 대한 보조 마스크 Mn에 적용하여 변형된 보조 마스크 Mn '를 생성할 수 있다.
[수학식 8]
Figure pat00017
이후, 마스크 학습부(110)는 하나 이상의 변형 이미지 각각에 대한 변형된 보조 마스크에 기초하여 주 마스크를 갱신한다(360).
일 실시예에 따르면, 마스크 학습부(110)는 주 마스크와 변형된 각 보조 마스크 사이의 유사도에 기초하여 주 마스크를 갱신할 수 있다. 이때, 유사도는 예를 들어, 코사인 유사도, Lp 노름 등일 수 있다.
구체적으로, 마스크 학습부(110)는 주 마스크와 변형된 각 보조 마스크 사이의 유사도를 산출한 후 산출된 유사도의 평균이 증가하도록 주 마스크를 갱신할 수 있다.
한편, 일 실시예에 따르면, 맵 생성부(120)는 주 마스크에 대한 갱신이 완료된 경우, 갱신된 주 마스크에 기초하여 원본 이미지에 대한 이미지 분류 모델의 예측 결과에 대한 원본 이미지의 영역별 기여도를 시각화한 맵을 생성할 수 있다.
한편, 도 3에 도시된 순서도에서 적어도 일부의 단계들은 순서를 바꾸어 수행되거나, 다른 단계와 결합되어 함께 수행되거나, 생략되거나, 세부 단계들로 나뉘어 수행되거나, 또는 도시되지 않은 하나 이상의 단계가 부가되어 수행될 수 있다.
도 4는 일 실시예에 따른 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도이다.
도시된 실시예에서, 각 컴포넌트들은 이하에 기술된 것 이외에 상이한 기능 및 능력을 가질 수 있고, 이하에 기술되지 것 이외에도 추가적인 컴포넌트를 포함할 수 있다.
도시된 컴퓨팅 환경(10)은 컴퓨팅 장치(12)를 포함한다. 일 실시예에서, 컴퓨팅 장치(12)는 이미지 분석 장치(100)에 포함되는 하나 이상의 컴포넌트일 수 있다. 컴퓨팅 장치(12)는 적어도 하나의 프로세서(14), 컴퓨터 판독 가능 저장 매체(16) 및 통신 버스(18)를 포함한다. 프로세서(14)는 컴퓨팅 장치(12)로 하여금 앞서 언급된 예시적인 실시예에 따라 동작하도록 할 수 있다. 예컨대, 프로세서(14)는 컴퓨터 판독 가능 저장 매체(16)에 저장된 하나 이상의 프로그램들을 실행할 수 있다. 상기 하나 이상의 프로그램들은 하나 이상의 컴퓨터 실행 가능 명령어를 포함할 수 있으며, 상기 컴퓨터 실행 가능 명령어는 프로세서(14)에 의해 실행되는 경우 컴퓨팅 장치(12)로 하여금 예시적인 실시예에 따른 동작들을 수행하도록 구성될 수 있다.
컴퓨터 판독 가능 저장 매체(16)는 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보를 저장하도록 구성된다. 컴퓨터 판독 가능 저장 매체(16)에 저장된 프로그램(20)은 프로세서(14)에 의해 실행 가능한 명령어의 집합을 포함한다. 일 실시예에서, 컴퓨터 판독 가능 저장 매체(16)는 메모리(랜덤 액세스 메모리와 같은 휘발성 메모리, 비휘발성 메모리, 또는 이들의 적절한 조합), 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 그 밖에 컴퓨팅 장치(12)에 의해 액세스되고 원하는 정보를 저장할 수 있는 다른 형태의 저장 매체, 또는 이들의 적합한 조합일 수 있다.
통신 버스(18)는 프로세서(14), 컴퓨터 판독 가능 저장 매체(16)를 포함하여 컴퓨팅 장치(12)의 다른 다양한 컴포넌트들을 상호 연결한다.
컴퓨팅 장치(12)는 또한 하나 이상의 입출력 장치(24)를 위한 인터페이스를 제공하는 하나 이상의 입출력 인터페이스(22) 및 하나 이상의 네트워크 통신 인터페이스(26)를 포함할 수 있다. 입출력 인터페이스(22) 및 네트워크 통신 인터페이스(26)는 통신 버스(18)에 연결된다. 입출력 장치(24)는 입출력 인터페이스(22)를 통해 컴퓨팅 장치(12)의 다른 컴포넌트들에 연결될 수 있다. 예시적인 입출력 장치(24)는 포인팅 장치(마우스 또는 트랙패드 등), 키보드, 터치 입력 장치(터치패드 또는 터치스크린 등), 음성 또는 소리 입력 장치, 다양한 종류의 센서 장치 및/또는 촬영 장치와 같은 입력 장치, 및/또는 디스플레이 장치, 프린터, 스피커 및/또는 네트워크 카드와 같은 출력 장치를 포함할 수 있다. 예시적인 입출력 장치(24)는 컴퓨팅 장치(12)를 구성하는 일 컴포넌트로서 컴퓨팅 장치(12)의 내부에 포함될 수도 있고, 컴퓨팅 장치(12)와는 구별되는 별개의 장치로 컴퓨팅 장치(12)와 연결될 수도 있다.
이상에서 대표적인 실시예를 통하여 본 발명에 대하여 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 전술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
10: 컴퓨팅 환경
12: 컴퓨팅 장치
14: 프로세서
16: 컴퓨터 판독 가능 저장 매체
18: 통신 버스
20: 프로그램
22: 입출력 인터페이스
24: 입출력 장치
26: 네트워크 통신 인터페이스
100: 이미지 분석 장치
110: 마스크 학습부
120; 맵 생성부

Claims (20)

  1. 사전 학습된 이미지 분류 모델을 이용하여 원본 이미지에 대한 예측 결과를 생성하는 단계;
    상기 원본 이미지, 상기 예측 결과 및 상기 이미지 분류 모델을 이용하여 복수의 마스크를 학습하는 단계; 및
    상기 복수의 마스크 중 적어도 하나에 기초하여 상기 예측 결과에 대한 상기 원본 이미지의 영역별 기여도를 시각화한 맵을 생성하는 단계를 포함하는 이미지 분석 방법.
  2. 청구항 1에 있어서,
    상기 복수의 마스크는, 긍정적 마스크(positive mask) 및 부정적 마스크(negative mask)를 포함하고,
    상기 학습하는 단계는, 상기 원본 이미지에 상기 긍정적 마스크를 적용하여 생성된 이미지에 대한 상기 이미지 분류 모델의 예측 결과, 상기 원본 이미지에 대한 예측 결과 및 상기 긍정적 마스크와 상기 부정적 마스크 사이의 유사도 기초하여 상기 긍정적 마스크를 학습하고, 상기 원본 이미지에 상기 부정적 마스크를 적용하여 생성된 이미지에 대한 상기 이미지 분류 모델의 예측 결과, 상기 원본 이미지에 대한 예측 결과 및 상기 유사도에 기초하여 상기 부정적 마스크를 학습하는 이미지 분석 방법.
  3. 청구항 2에 있어서,
    상기 학습하는 단계는, 상기 긍정적 마스크를 적용하여 생성된 이미지에 대한 상기 이미지 분류 모델의 예측 결과가 상기 원본 이미지에 대한 예측 결과와 유사해지고 상기 유사도가 감소하도록 상기 긍정적 마스크를 학습하고, 상기 부정적 마스크를 적용하여 생성된 이미지에 대한 상기 이미지 분류 모델의 예측 결과가 상기 원본 이미지에 대한 예측 결과와 상이해지고 상기 유사도가 감소하도록 상기 부정적 마스크를 학습하는 이미지 분석 방법.
  4. 청구항 2에 있어서,
    상기 맵을 생성하는 단계는, 상기 긍정적 마스크에 기초하여 상기 맵을 생성하는 이미지 분석 방법.
  5. 청구항 1에 있어서,
    상기 복수의 마스크는, 상기 원본 이미지에 대한 주 마스크(primary mask) 및 상기 원본 이미지에 대한 하나 이상의 변형 이미지 각각에 대한 보조 마스크(auxiliary mask)를 포함하는 이미지 분석 방법.
  6. 청구항 5에 있어서,
    상기 학습하는 단계는,
    상기 원본 이미지에 상기 주 마스크를 적용하여 생성된 이미지에 대한 상기 이미지 분류 모델의 예측 결과 및 상기 원본 이미지에 대한 예측 결과에 기초하여 상기 주 마스크를 학습하는 단계;
    상기 하나 이상의 변형 이미지를 생성하는 단계;
    상기 하나 이상의 변형 이미지 각각에 상기 보조 마스크를 적용하여 생성된 하나 이상의 이미지 각각에 대한 상기 이미지 분류 모델의 예측 결과 및 상기 원본 이미지에 대한 예측 결과에 기초하여 상기 하나 이상의 변형 이미지 각각에 대한 보조 마스크를 학습하는 단계;
    상기 하나 이상의 변형 이미지 각각을 생성하기 위해 상기 원본 이미지에 적용된 변형 연산에 대한 역연산을 이용하여 상기 하나 이상의 변형 이미지 각각에 대한 보조 마스크를 변형하는 단계; 및
    상기 하나 이상의 변형 이미지 각각에 대한 변형된 보조 마스크에 기초하여 상기 학습된 주 마스크를 갱신하는 단계를 포함하는 이미지 분석 방법.
  7. 청구항 6에 있어서,
    상기 주 마스크를 학습하는 단계는, 상기 주 마스크를 적용하여 생성된 이미지에 대한 상기 이미지 분류 모델의 예측 결과가 상기 원본 이미지에 대한 예측 결과와 유사해지도록 상기 주 마스크를 학습하고,
    상기 보조 마스크를 학습하는 단계는, 상기 보조 마스크를 적용하여 생성된 하나 이상의 이미지 각각에 대한 상기 이미지 분류 모델의 예측 결과가 상기 원본 이미지에 대한 예측 결과와 유사해지도록 상기 하나 이상의 변형 이미지 각각에 대한 보조 마스크를 학습하는 이미지 분석 방법.
  8. 청구항 6에 있어서,
    상기 갱신하는 단계는, 상기 학습된 주 마스크와 상기 하나 이상의 변형 이미지 각각에 대한 변형된 보조 마스크 사이의 유사도에 기초하여 상기 학습된 주 마스크를 갱신하는 이미지 분석 방법.
  9. 청구항 8에 있어서,
    상기 갱신하는 단계는, 상기 유사도의 평균이 증가하도록 상기 학습된 주 마스크를 갱신하는 이미지 분석 방법.
  10. 청구항 6에 있어서,
    상기 맵을 생성하는 단계는, 상기 갱신된 주 마스크에 기초하여 상기 맵을 생성하는 이미지 분석 방법.
  11. 사전 학습된 이미지 분류 모델을 이용하여 원본 이미지에 대한 예측 결과를 생성하고, 상기 원본 이미지, 상기 예측 결과 및 상기 이미지 분류 모델을 이용하여 복수의 마스크를 학습하는 마스크 학습부; 및
    상기 복수의 마스크 중 적어도 하나에 기초하여 상기 예측 결과에 대한 상기 원본 이미지의 영역별 기여도를 시각화한 맵을 생성하는 맵 생성부를 포함하는 이미지 분석 장치.
  12. 청구항 11에 있어서,
    상기 복수의 마스크는, 긍정적 마스크(positive mask) 및 부정적 마스크(negative mask)를 포함하고,
    상기 마스크 학습부는,
    상기 원본 이미지에 상기 긍정적 마스크를 적용하여 생성된 이미지에 대한 상기 이미지 분류 모델의 예측 결과, 상기 원본 이미지에 대한 예측 결과 및 상기 긍정적 마스크와 상기 부정적 마스크 사이의 유사도 기초하여 상기 긍정적 마스크를 학습하고,
    상기 원본 이미지에 상기 부정적 마스크를 적용하여 생성된 이미지에 대한 상기 이미지 분류 모델의 예측 결과, 상기 원본 이미지에 대한 예측 결과 및 상기 유사도에 기초하여 상기 부정적 마스크를 학습하는 이미지 분석 장치.
  13. 청구항 12에 있어서,
    상기 마스크 학습부는,
    상기 긍정적 마스크를 적용하여 생성된 이미지에 대한 상기 이미지 분류 모델의 예측 결과가 상기 원본 이미지에 대한 예측 결과와 유사해지고 상기 유사도가 감소하도록 상기 긍정적 마스크를 학습하고,
    상기 부정적 마스크를 적용하여 생성된 이미지에 대한 상기 이미지 분류 모델의 예측 결과가 상기 원본 이미지에 대한 예측 결과와 상이해지고 상기 유사도가 감소하도록 상기 부정적 마스크를 학습하는 이미지 분석 장치.
  14. 청구항 12에 있어서,
    상기 맵 생성부는, 상기 긍정적 마스크에 기초하여 상기 맵을 생성하는 이미지 분석 장치.
  15. 청구항 11에 있어서,
    상기 복수의 마스크는, 상기 원본 이미지에 대한 주 마스크(primary mask) 및 상기 원본 이미지에 대한 하나 이상의 변형 이미지 각각에 대한 보조 마스크(auxiliary mask)를 포함하는 이미지 분석 장치.
  16. 청구항 15에 있어서,
    상기 마스크 학습부는,
    상기 원본 이미지에 상기 주 마스크를 적용하여 생성된 이미지에 대한 상기 이미지 분류 모델의 예측 결과 및 상기 원본 이미지에 대한 예측 결과에 기초하여 상기 주 마스크를 학습하고,
    상기 하나 이상의 변형 이미지를 생성하고,
    상기 하나 이상의 변형 이미지 각각에 상기 보조 마스크를 적용하여 생성된 하나 이상의 이미지 각각에 대한 상기 이미지 분류 모델의 예측 결과 및 상기 원본 이미지에 대한 예측 결과에 기초하여 상기 하나 이상의 변형 이미지 각각에 대한 보조 마스크를 학습하고,
    상기 하나 이상의 변형 이미지 각각을 생성하기 위해 상기 원본 이미지에 적용된 변형 연산에 대한 역연산을 이용하여 상기 하나 이상의 변형 이미지 각각에 대한 보조 마스크를 변형하고,
    상기 하나 이상의 변형 이미지 각각에 대한 변형된 보조 마스크에 기초하여 상기 학습된 주 마스크를 갱신하는 이미지 분석 장치.
  17. 청구항 16에 있어서,
    상기 마스크 학습부는,
    상기 주 마스크를 적용하여 생성된 이미지에 대한 상기 이미지 분류 모델의 예측 결과가 상기 원본 이미지에 대한 예측 결과와 유사해지도록 상기 주 마스크를 학습하고,
    상기 보조 마스크를 적용하여 생성된 하나 이상의 이미지 각각에 대한 상기 이미지 분류 모델의 예측 결과가 상기 원본 이미지에 대한 예측 결과와 유사해지도록 상기 하나 이상의 변형 이미지 각각에 대한 보조 마스크를 학습하는 이미지 분석 장치.
  18. 청구항 16에 있어서,
    상기 마스크 학습부는, 상기 학습된 주 마스크와 상기 하나 이상의 변형 이미지 각각에 대한 변형된 보조 마스크 사이의 유사도에 기초하여 상기 학습된 주 마스크를 갱신하는 이미지 분석 장치.
  19. 청구항 18에 있어서,
    상기 마스크 학습부는, 상기 유사도의 평균이 증가하도록 상기 학습된 주 마스크를 갱신하는 이미지 분석 장치.
  20. 청구항 16에 있어서,
    상기 맵 생성부는, 상기 갱신된 주 마스크에 기초하여 상기 맵을 생성하는 이미지 분석 장치.

KR1020200058434A 2020-05-15 2020-05-15 이미지 분류 모델을 이용한 이미지 분석 방법 및 장치 KR20210141150A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020200058434A KR20210141150A (ko) 2020-05-15 2020-05-15 이미지 분류 모델을 이용한 이미지 분석 방법 및 장치
US16/884,899 US11288549B2 (en) 2020-05-15 2020-05-27 Method and apparatus for image analysis using image classification model

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200058434A KR20210141150A (ko) 2020-05-15 2020-05-15 이미지 분류 모델을 이용한 이미지 분석 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20210141150A true KR20210141150A (ko) 2021-11-23

Family

ID=78512511

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200058434A KR20210141150A (ko) 2020-05-15 2020-05-15 이미지 분류 모델을 이용한 이미지 분석 방법 및 장치

Country Status (2)

Country Link
US (1) US11288549B2 (ko)
KR (1) KR20210141150A (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114936327B (zh) * 2022-07-22 2022-10-28 腾讯科技（深圳）有限公司 元素识别模型的获取方法、装置、计算机设备和存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190134933A (ko) 2018-05-18 2019-12-05 오드컨셉 주식회사 이미지 내 객체의 대표 특성을 추출하는 방법, 장치 및 컴퓨터 프로그램

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10600185B2 (en) * 2017-03-08 2020-03-24 Siemens Healthcare Gmbh Automatic liver segmentation using adversarial image-to-image network
US20200012884A1 (en) * 2018-07-03 2020-01-09 General Electric Company Classification based on annotation information

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190134933A (ko) 2018-05-18 2019-12-05 오드컨셉 주식회사 이미지 내 객체의 대표 특성을 추출하는 방법, 장치 및 컴퓨터 프로그램

Also Published As

Publication number Publication date
US11288549B2 (en) 2022-03-29
US20210357700A1 (en) 2021-11-18

Similar Documents

Publication Publication Date Title
CN111279362B (zh) 胶囊神经网络
JP2021521505A (ja) 包括的機械学習サービスを提供するアプリケーション開発プラットフォームおよびソフトウェア開発キット
US20210097401A1 (en) Neural network systems implementing conditional neural processes for efficient learning
AU2019200270A1 (en) Concept mask: large-scale segmentation from semantic concepts
EP3596663B1 (en) Neural network system
US20200410365A1 (en) Unsupervised neural network training using learned optimizers
WO2023051140A1 (zh) 用于图像特征表示生成的方法、设备、装置和介质
US11823480B2 (en) Method for training image classification model and apparatus for executing the same
US20200234145A1 (en) Action selection using interaction history graphs
US20200327450A1 (en) Addressing a loss-metric mismatch with adaptive loss alignment
US20240202511A1 (en) Gated linear networks
EP4033412A2 (en) Method and apparatus with neural network training
KR20210141150A (ko) 이미지 분류 모델을 이용한 이미지 분석 방법 및 장치
CN113490955A (zh) 用于产生金字塔层的架构的系统和方法
Julian Deep learning with pytorch quick start guide: learn to train and deploy neural network models in Python
US20210256388A1 (en) Machine-Learned Models Featuring Matrix Exponentiation Layers
US20210383226A1 (en) Cross-transformer neural network system for few-shot similarity determination and classification
US20240070456A1 (en) Corrective Reward Optimization for Sequential Labeling
US11755883B2 (en) Systems and methods for machine-learned models having convolution and attention
KR20230062052A (ko) 예측 모델 학습 방법 및 장치
JP2024519265A (ja) フィードフォワード空間変換ユニットを備えたニューラルネットワーク
CN116415620A (zh) 用于神经网络的全局解释的方法和系统
WO2024138177A1 (en) Recurrent interface networks
KR20230061150A (ko) 비지도 도메인 적응을 하기 위한 방법 및 장치
WO2023059737A1 (en) Self-attention based neural networks for processing network inputs from multiple modalities

Legal Events

Date Code Title Description
A201 Request for examination