KR20220117366A - 특징 맵을 이용한 출력 노드 변화 시각화 장치 및 방법 - Google Patents

특징 맵을 이용한 출력 노드 변화 시각화 장치 및 방법 Download PDF

Info

Publication number
KR20220117366A
KR20220117366A KR1020210019872A KR20210019872A KR20220117366A KR 20220117366 A KR20220117366 A KR 20220117366A KR 1020210019872 A KR1020210019872 A KR 1020210019872A KR 20210019872 A KR20210019872 A KR 20210019872A KR 20220117366 A KR20220117366 A KR 20220117366A
Authority
KR
South Korea
Prior art keywords
output node
feature map
change
image
neural network
Prior art date
Application number
KR1020210019872A
Other languages
English (en)
Other versions
KR102461685B1 (ko
Inventor
유현
백지원
정경용
Original Assignee
경기대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경기대학교 산학협력단 filed Critical 경기대학교 산학협력단
Priority to KR1020210019872A priority Critical patent/KR102461685B1/ko
Publication of KR20220117366A publication Critical patent/KR20220117366A/ko
Application granted granted Critical
Publication of KR102461685B1 publication Critical patent/KR102461685B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06K9/6267—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 합성곱 신경망 기반의 특징 맵을 이용한 출력 노드 변화 시각화 장치 및 방법에 관한 것이다. 본 발명의 일 실시 예에 따르면, 입력 데이터의 부분적인 변화에 따른 결과의 변화를 감지하여 인공신경망 내부의 동작 특성을 이해하고 신경망 모델의 판단에 영향을 주는 부분의 위치에 따른 중요도를 시각적으로 알 수 있다.

Description

특징 맵을 이용한 출력 노드 변화 시각화 장치 및 방법 {DEVICE AND METHOD FOR VISUALIZING OUTPUT NODE FLUCTUATION USING FEATURE MAP}
본 발명은 특징 맵을 이용한 출력 노드 변화 시각화 장치 및 방법으로, 보다 상세하게는 신경망 모델의 입력데이터의 부분적인 변화와 연관된 출력 노드의 변화 정보를 이용해, 신경망 모델이 판단하는데 근거로 사용된 긍정적 또는 부정적 영향 정보를 추출하여 시각화하는 합성곱 신경망 기반의 특징 맵을 이용한 출력 노드 변화 시각화 장치 및 방법에 관한 것이다.
인공지능은 인간의 지능으로 할 수 있는 학습, 개발 등을 컴퓨터가 할 수 있도록 한다. 인공지능에서 최근 주목받고 있는 기술로 딥 러닝이 있다. 딥 러닝은 데이터를 학습하여 유사한 데이터를 군집화하거나 분류를 통해 예측하는데 사용되는 기술이다. 합성곱 신경망(CNN, Convolutional Neural Networks)는 한 개의 계층(레이어), 다수의 계층과 통합 계층, 완전하게 연결된 계층들로 구성되어 있다. 합성곱 신경망은 비선형 모델을 구현할 수 있으며 이미지 인식, 음성 인식 등에서 널리 사용되고 있는 방법이다. 딥 러닝은 데이터를 학습하는데 많은 시간이 소요되는 공통적인 단점이 있다. 합성곱 신경망은 이미지의 차원수와 크기를 축소시키고, 특징을 추출하여 결과에 대한 예측을 한다. 이는 많은 메모리와 계산량을 필요로 하며, 확장성의 한계가 있다. 또한 데이터를 변형시킬 경우 정확도가 감소되는 단점이 있다.
최근의 빅데이터를 이용한 인공지능 알고리즘은 내부 구성이 복잡하고 해석이 불가능한 블랙 박스 모델의 사용이 증가하고 있다. 이러한 블랙 박스 형태의 모델이 점차 더 많이 사용됨에 따라 인공지능의 다양한 이해관계자들로부터 머신 러닝 모델의 해석력과 투명성에 대한 요구가 증가하고 있다. 특히, 금융 및 보안과 같은 분야에서는 결과에 대하여 설득력 있는 데이터를 제공하는 것이 차츰 중요해지고 있다. 특정 전문가 지원 시스템에서 인공지능의 분류 시스템에서 데이터 입력 형태는 매우 다양하다. 따라서 머신 러닝 모델이 특정 데이터 형태의 특수성을 판단했을 때 모델에서 가장 중요한 판단 근거를 제시하여야 한다. 이러한 과정을 거쳐야 전문가가 각각의 인자별 대응 방안을 판단할 수 있으며, 모델의 결과에 대한 신뢰도를 결정할 수 있다. 인공지능 알고리즘의 입력 데이터의 상황에 따라 각각의 인자별로 중요도를 판단하게 된다. 이와 같이 모델의 예측의 근거를 이해하는 것은 모델의 결과를 신뢰할지 여부를 판단하는데 있어 매우 중요하다.
신경망의 학습 및 판정 이후 예측 근거를 설명하는 형태에는 텍스트를 기반으로 하는 설명, 시각적 설명, 단순화에 의한 설명 등 다양한 수단을 사용한다. 특히 시각화 설명은 신경망 연구자들과 인공지능 시스템 사용자들에게 모델 내부의 상화 작용 정보를 전달하는 효율적인 방법이다. 대표적인 시각적 설명방법으로는 라임(LIME, Local Interpretable Model-Agnostic Explanation)이 있으며, 라임(LIME)은 신경망의 결과를 오브젝트 형상으로 표시한다. 이러한 방식은 오브젝트 분류 설명에는 효과적이나, 신경망 내부 이해에는 유용성이 떨어진다.
본 발명의 배경기술은 대한민국 공개특허 제10-2019-0166179호에 게시되어 있다.
본 발명은 입력 데이터의 부분적 변화에 따른 출력 노드의 변화를 분석하여 신경망 모델이 판단의 근거로 사용한 긍정적 또는 부정적 영향 정보를 추출하는 특징 맵을 이용한 출력 노드 변화 시각화 장치 및 방법을 제공한다.
본 발명은 신경망 모델이 입력 데이터를 판단하거나 분류할 때 그 근거로 사용된 정보를 시각화하여 표현하는 특징 맵을 이용한 출력 노드 변화 시각화 장치 및 방법을 제공한다.
본 발명의 일 측면에 따르면, 특징 맵을 이용한 출력 노드 변화 시각화 장치를 제공한다.
본 발명의 일 실시예에 따른 특징 맵을 이용한 출력 노드 변화 시각화 장치는 이미지 분석을 위하여 합성곱 신경망 학습 모델을 구축하고 학습하는 학습부, 이미지의 부분적인 변화에 따른 출력 노드를 추출하는 변화 감지부 및 출력 노드의 변동을 시각화하는 시각화부를 포함할 수 있다.
본 발명의 다른 일 측면에 따르면, 특징 맵을 이용한 출력 노드 변화 시각화 방법 및 이를 실행하는 컴퓨터 프로그램이 기록된 컴퓨터가 판독 가능한 기록매체를 제공한다.
본 발명의 일 실시 예에 따른 특징 맵을 이용한 출력 노드 변화 시각화 방법 및 이를 실행하는 컴퓨터 프로그램이 저장된 기록매체는 이미지를 입력하는 단계, 이미지를 합성곱 신경망 학습 모델을 통해 특징 맵을 추출하는 단계, 합성곱 신경망 학습 모델을 이용한 상기 이미지의 출력 노드 최대값을 산출하는 단계, 이미지를 부분적으로 변환하고 학습하여 출력 노드 최대값을 산출하는 단계, 출력 노드 최대값을 이용해 출력 노드의 변동을 추출하는 단계 및 출력 노드의 변경 부분을 시각화 하는 단계를 포함할 수 있다.
본 발명의 일 실시 예에 따르면, 입력 데이터의 부분적인 변화에 따른 결과의 변화를 감지하여 인공신경망 내부의 동작 특성을 이해하고 신경망 모델의 판단에 영향을 주는 부분의 위치에 따른 중요도를 시각적으로 알 수 있다.
본 발명의 일 실시 예에 따르면, 입력 데이터의 부분적 변화에 따른 출력 노드의 변화를 분석하여 신경망 모델이 판단의 근거로 사용한 긍정적 또는 부정적 영향 정보를 추출할 수 있다.
본 발명의 일 실시 예에 따르면, 신경망 모델이 입력 데이터를 판단하거나 분류할 때 그 근거로 사용된 정보를 시각화하여 표현하여 내부 해석을 가능하게 하고 판단에 대한 즉각적인 이해를 도울 수 있다.
도 1 내지 도8은 본 발명의 일 실시 예에 따른 특징 맵을 이용한 출력 노드 변화 시각화 장치를 설명하기 위한 도면들.
도9 및 도 10은 본 발명의 일 실시 예에 따른 특징 맵을 이용한 출력 노드 변화 시각화 방법을 설명한 도면들.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 이를 상세한 설명을 통해 상세히 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 본 명세서 및 청구항에서 사용되는 단수 표현은, 달리 언급하지 않는 한 일반적으로 "하나 이상"을 의미하는 것으로 해석되어야 한다.
이하, 본 발명의 바람직한 실시 예를 첨부도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
도 1 내지 도 8은 본 발명의 일 실시 예에 따른 특징 맵을 이용한 출력 노드 변화 시각화 장치를 설명하기 위한 도면들이다.
특징 맵을 이용한 출력 노드 변화 시각화 장치(10)는 인공 신경망의 모양을 변경하지 않고 다양한 이미지 분류와 신경망 내의 데이터 흐름을 포착할 수 있다.
도 1을 참조하면, 특징 맵을 이용한 출력 노드 변화 시각화 장치(10)는 이미지 인식을 위해 레스넷(ResNet)을 이용해 학습 모델을 구성한다. 특징 맵을 이용한 출력 노드 변화 시각화 장치(10)는 학습을 위해 데이터 수집을 준비하고 사전 처리되며 학습 모델을 수행한다.
특징 맵을 이용한 출력 노드 변화 시각화 장치(10)는 학습이 완료된 신경망에서 특정 분류 대상 이미지와 출력 레이어의 활성화 함수(Softmax) 값을 산출하고 별도로 저장한다. 특징 맵을 이용한 출력 노드 변화 시각화 장치(10)는 레스넷(ResNet) 학습을 통해 추출한 특징 맵의 부분 반전을 통해 출력 노드의 변화를 추적하여 각 부분의 영향을 비교한다. 예를 들면, 특징 맵을 이용한 출력 노드 변화 시각화 장치(10)는 각 픽셀을 순차적으로 반전시키면서 학습한 후 설정된 기준 값을 이용해 각 출력 노드의 변동 정보를 추출한다. 특징 맵을 이용한 출력 노드 변화 시각화 장치(10)는 레스넷(ResNet)에서 추출한 특징 맵에서 최대값을 가지는 출력 노드를 기준 값을 설정한다. 특징 맵을 이용한 출력 노드 변화 시각화 장치(10)는 픽셀을 반전시켜 학습하였을 때 변동되는 출력 노드가 입력 이미지 분류 또는 판별에 기여한 긍정적 영향 또는 부정적 영향 정도를 산출할 수 있다.
특징 맵을 이용한 출력 노드 변화 시각화 장치(10)는 이미지 분류 또는 판별에 기여한 긍정적 영향 또는 부정적 영향 정도의 정보를 포함하는 설명가능 특징 맵(Explainable Feature Map)을 생성한다. 특징 맵을 이용한 출력 노드 변화 시각화 장치(10)는 설명가능 특징 맵(Explainable Feature Map)을 시각화하여 입력된 이미지 상에 긍정적 또는 부정적 영향의 위치별 중요도를 표현할 수 있다. 여기서, 시각화한 정보는 인공지능 시스템 사용 전문가 또는 인공지능 연구자가 신경망 작동 결과에 대한 이유와 근거, 내부 해석에 이용할 수 있다. 특징 맵을 이용한 출력 노드 변화 시각화 장치(10)는 입력 데이터 값의 변화에 따른 모델 예측 값의 변화 크기에 따라 입력 위치의 중요 정보를 표현할 수 있다. 특히 특징 맵을 이용한 출력 노드 변화 시각화 장치(10)는 시각적 표현이 가능해 지능형 영상 분석 결과 해석에 기여할 수 있다. 예를 들면, 설명 가능 특징 맵 이미지를 이용하여 질병 진단 과정에서 기여한 긍정적 영향 정보를 판단할 수 있다. 또한 설명 가능 특징 맵 이미지에서 부정적 영향을 주는 위치로 표시된 부분을 질병의 회복 상태를 확인하는 등의 목적으로 활용할 수 있다.
도 2를 참조하면, 특징 맵을 이용한 출력 노드 변화 시각화 장치(10)는 학습부(100), 변화 감지부(200) 및 시각화부(300)를 포함한다.
학습부(100)는 이미지 분석을 위하여 합성곱 신경망 학습 모델을 구축하고 학습한다.
도 3을 참조하면, 학습부(100)는 합성곱 신경망 모델을 기반으로 하는 ResNet 모델을 학습 모델로 구성한다. 학습부(100)는 베이직블록(BasicBlock) 층을 갖는 7개의 계층(레이어, layer)으로 구성된다. 학습부(100)는 각 계층을 2개의 잔차(Residual) 블록을 중첩하여 구성한다. 자세히 설명하면, 레스넷(ResNet)은 신경망 네트워크를 작은 블록으로 구분하며, 이 블록을 잔차(Residual) 블록으로 부른다. 잔차(Residual) 블록은 출력 값에 블록의 입력 값을 더하는 방식의 특징이 있다. 레스넷(ResNet)은 잔차(Residual) 블록의 특징을 이용해 깊어지는 신경망 모델에서 발생하는 Vanishing Gradients문제를 해결한다.
학습부(100)는 입력 이미지가 합성곱 함수를 통과하고, 배치 정규화(Batch Normalization), 활성화 함수를 거치도록 한다. 이러한 하나의 과정을 모듈로 묶은 것이 잔차(Residual) 블록이다. 예를 들면 학습부(100)는 잔차(Residual) 블록마다 배치 정규화(Batch Normalization)를 구성하고 최종적으로 활성화 함수(ReLU)를 통과시킨다. 배치 정규화(Batch Normalization)는 블록 내부로 입력되는 데이터를 평균과 분산으로 정규화 하며, 드롭 아웃과 같은 효과를 낸다.
다시 도 2을 참조하면 변화 감지부(200)는 입력 이미지의 부분적인 변화에 따른 출력 노드의 변화를 추출하여 설명 가능한 특징 맵을 생성한다. 변화 감지부(200)는 입력 이미지의 부분 반전 작업이 출력 노드에 주는 영향을 주목하고, 긍정적 영향 또는 부정적 영향의 정도를 산출할 수 있다.
변화 감지부(200)는 레스넷(ResNet)의 출력 노드 변화를 감지한다. 변화 감지부(200)는 입력 이미지가 학습부(100)에 의해 최종 분류되어 추출된 출력 노드를 확인한다. 출력 노드의 변화를 비교하기 위해 변화 감지부(200)는 입력 이미지를 픽셀로 분리하고, 분리된 픽셀을 순차적으로 반전하여 학습한다. 자세히 설명하면 변화 감지부(200)는 반전된 픽셀을 학습부(100)에서 생성한 학습모델인 레스넷(ResNet)에 입력한다. 변화 감지부(200)는 원본 입력 이미지에서 추출된 출력 노드 중에 최대값을 가지는 노드의 값을 MaxN으로 표시하고 기준 값을 설정한다. 변화 감지부(200)는 픽셀을 순차적으로 반전시키면서 학습부(100)의 학습 모델을 통해 추출된 출력 노드 중 최대값을 MaxM으로 설정한다. 변화 감지부(200)는 MaxN과 MaxM의 값을 이용해 원본 이미지의 최종 분류에 긍정적인 영향을 미치는 픽셀 및 부정적인 영향을 미치는 픽셀을 산출한다. 변화 감지부(200)는 [수학식1]을 이용해 긍정적인 영향을 미치는 픽셀의 긍정적 영향(Positive Factor) 정도를 산출한다.
Figure pat00001
ReLu(Rectified Linear Unit)는 입력값이 0보다 작은 경우 0이고, 0보다 큰 경우 입력값 그대로 출력하는 특성이 있다.
변화 감지부(200)는 원본 이미지에 대한 판단의 근거가 되는 위치 및 위치에 따른 중요도를 반전된 픽셀로 표현할 수 있다.
반대로 부정적인 영향을 미치는 픽셀의 부정적 영향(Negative Factor) 정도는 [수학식 2]를 이용해 산출한다.
Figure pat00002
변화 감지부(200)는 입력된 이미지 판단에 영향을 주는 긍정적 또는 부정적 영향 정도를 반전된 픽셀의 위치에 따라 특징 맵에 표시하고, 긍정적 영향 또는 부정적 영향 정보를 포함하는 설명 가능 특징 맵을 생성한다.
시각화부(300)는 설명 가능 특징 맵의 결과 값을 이미지 형식으로 변환하여 특정 지점의 픽셀 변화가 결과 값에 미치는 영향을 확인할 수 있다.
시각화부(300)는 최종 결과를 이미지 형식으로 시각화 하기 위해 정규화 작업을 수행하고 긍정적 영향(PF) 밝기와 부정적 양향(NF) 밝기를 변환한다. 예를 들면 시각화부(300)는 긍정적 영향(PF) 및 부정적 영향(NF)을 시각적으로 표현하기 위해 각각 정규화 작업을 수행한다. 시각화부(300)는 긍정적 영향(PF) 및 부정적 영향(NF)의 밝기 단계를 256단계로 조절하여 시각화 이미지로 표현할 수 있다.
시각화부(300)는 [수학식 3]을 이용하여 특징 맵의 밝기를 조정한다.
Figure pat00003
Pix는 특징 맵의 이전 밝기 단계이고, Pixnew는 새로운 밝기이다. Pixmax는 이전 특징 맵의 최대 밝기 값이고, Pixmin는 이전 특징 맵의 최소 밝기 값이다. α는 밝기 단계이고, β는 기본 배경 밝기이다. 변수들은 사용 환경에 따라 적절히 조정할 수 있고. 보다 선명하게 특징 맵의 결과를 확인할 수 있다.
도 4를 참조하면, 특징 맵을 이용한 출력 노드 변화 시각화 장치(10)는 입력 이미지 분류에 긍정적 또는 부정적 영향을 주는 형상을 확인할 수 있다. 예를 들면, 학습부(100)는 질병 판정을 위한 레스넷(ResNet) 학습 모델을 구성한다. 변화 감지부(200)는 질병의 발현이 확인된 X-ray 이미지를 레스넷(ResNet) 학습을 통해 특징 맵을 추출하고, 최종 출력 노드의 값을 기준값으로 설정한다. 변화 감지부(200)는 질병의 발현이 확인된 X-ray 이미지를 픽셀 단위로 순차적으로 반전시키며 레스넷(ResNet) 학습을 수행하고, 출력 노드의 최대값을 기준 값과 비교하여 변화를 감지한다. 변화 감지부(200)는 판정에 긍정적 영향(Positive Factor)을 미친 부분은 설명 가능 특징 맵에서 양수 값으로 표현할 수 있고, 부정적인 영향(Negative Factor)을 미친 부분은 음수 값으로 표현할 수 있다.
도 5는 본 발명의 일 실시 예에 따른 특징 맵을 이용한 출력 노드 변화 시각화 장치(10)가 추출한 긍정적 영향 또는 부정적 영향을 포함한 설명 가능 특징 맵을 시각화한 예시이다.
도 5의 상단 긍정적 영향(Positive Factor) 이미지를 참조하면, 특징 맵을 이용한 출력 노드 변화 시각화 장치(10)가 질병 판정에 긍정적 영향을 주었다고 판단한 부분인 전체 융곽과 심장의 외형이 심대비 판정에 중요한 인자라는 것을 확인할 수 있다. 이는 실제 심대비 판정의 기준인 심융곽비(cardio-Thoracic ratio)를 측정하여 심대비를 진단하는 과정일 일치한다.
특징 맵을 이용한 출력 노드 변화 시각화 장치(10)가 표현한 부정적 영향(Negative Factor)의 이미지(도 5 하단 참조)는 질병 판정에 부정적인 영향을 미치는 부분으로 질병의 종류에 따라 환자의 회복을 판단하는 기준으로 삼을 수도 있다.
도 6은 본 발명의 다른 실시 예에 따른 특징 맵을 이용한 출력 노드 변화 시각화 장치(10)가 입력 이미지를 분류하여 설명 가능 특징 맵을 생성한 예시이다.
도 6을 참조하면, 특징 맵을 이용한 출력 노드 변화 시각화 장치(10)는 입력 이미지에 나타난 감정을 분류하는 것으로 입력 이미지의 픽셀을 반전하여 신경망 내부에서 분류의 근거가 표현된 설명 가능 특징 맵을 생성한다.
도 7은 본 발명의 다른 실시 예에 따른 특징 맵을 이용한 출력 노드 변화 시각화 장치(10)가 얼굴 표정 관련 공인데이터를 기반으로 학습량에 따른 긍정적 영향 정도 정보를 포함한 설명 가능 특징 맵의 변화이다.
도 7을 참조하면, 이미지 추출 결과, 특징 맵을 이용한 출력 노드 변화 시각화 장치(10)는 학습량이 증가할 수록 신경망의 작동 구간이 명확해짐을 확인할 수 있다. epoch는 인공신경망(CNN)의 학습 주기를 뜻한다. 예를 들면, 학습을 진행할수록 '놀람'에 관련된 이미지를 분석하는 요소가 점차 정확해지고 있는 것을 확인할 수 있다.
도 8을 참조하면, 특징 맵을 이용한 출력 노드 변화 시각화 장치(10)가 픽셀의 크기 2X2를 조정하여 설명 가능 특징 맵을 추출하는 것이 더 매끄럽고 선명한 것을 확인할 수 있다.
예를 들면1×1크기의 입력 픽셀을 사용하는 경우 패턴 형태가 이미지에 투영되어 결과가 매끄럽지 않으며, 선명하지 못하다. 2×2 크기의 픽셀로 변경하면 동일한 형태의 이미지를 보다 매끄럽고 선명한 형태로 볼 수 있다. 최종적으로 출력되는 픽셀의 패턴 형태는 신경망의 형태에 따라 다를 수 있다.
도9는 본 발명의 일 실시 예에 따른 특징 맵을 이용한 출력 노드 변화 시각화 방법을 설명한 도면이다. 이하 설명하는 각 과정은 특징 맵을 이용한 출력 노드 변화 시각화 장치를 구성하는 각 기능부가 수행하는 과정이나, 본 발명의 간결하고 명확한 설명을 위해 각 단계의 주체를 특징 맵을 이용한 출력 노드 변화 시각화 장치로 통칭하도록 한다.
단계 S910에서 특징 맵을 이용한 출력 노드 변화 시각화 장치(10)는 분류 또는 판별을 위한 이미지를 신경망 모델이 입력한다. 예를 들면 특징 맵을 이용한 출력 노드 변화 시각화 장치(10)는 질병 판별을 위한 X-ray 이미지 일 수도 있고, 분류 또는 판별을 위한 다양한 형태의 이미지 일 수 있다.
단계 S920에서 특징 맵을 이용한 출력 노드 변화 시각화 장치(10)는 신경망 학습 모델을 이용해 입력 이미지의 특징 맵을 추출하고, 출력 노드의 최대값을 산출한다.
단계 S930에서 특징 맵을 이용한 출력 노드 변화 시각화 장치(10)는 원본 이미지에서 순차적으로 픽셀을 반전하여 신경망 학습 모델을 수행하고, 출력 노드의 최대값을 산출한다.
단계 S940에서 특징 맵을 이용한 출력 노드 변화 시각화 장치(10)는 단계 S920에서 산출한 원본 이미지의 출력 노드 최대값을 기준으로 하고, 단계 S930에서 산출한 순차적을 픽셀이 반전한 변경 이미지의 출력 노드 최대값을 이용하여 설명 가능 특징 맵을 생성한다.
단계 S950에서 특징 맵을 이용한 출력 노드 변화 시각화 장치(10)는 추출된 분류 또는 판별에 긍정적 영향을 준 픽셀은 +로 부정적 영향을 준 픽셀은 -로 하고 밝기를 조절하여 설명 가능 특징 맵을 시각화한다.
도 10은 본 발명의 일 실시 예에 따른 특징 맵을 이용한 출력 노드 변화 시각화 장치의 코드 예시이다.
도 10을 참고하면, 특징 맵을 이용한 출력 노드 변화 시각화 장치(10)는 긍정적 영향 정도를 구하기 위해 출력 노드의 최대값을 이용하여 설명 가능 특징 맵을 생성한다.
특징 맵을 이용한 출력 노드 변화 시각화 장치(10)는 원본 입력 이미지의 출력 노드의 최대값을 산출한다.
특징 맵을 이용한 출력 노드 변화 시각화 장치(10)는 설명 가능 특징 맵을 생성하기 위해 원본 이미지와 동일한 특징 맵을 생성한다.
특징 맵을 이용한 출력 노드 변화 시각화 장치(10)는 빈 메모리에 공간을 할당한다.
특징 맵을 이용한 출력 노드 변화 시각화 장치(10)는 픽셀을 부분 반전시킬 사본 이미지를 입력 이미지로부터 생성한다.
특징 맵을 이용한 출력 노드 변화 시각화 장치(10)는 사본 이미지의 x, y 전체 좌표를 순환하면서 픽셀을 반전시킨다. 이때 반전의 의미는 표현 가능한 범위 내에서 균등한 차이를 보이는 최대 먼 숫자 값으로 정의한다. 예를 들면 -1에서 1까지의 측정치를 갖는 경우 반전 값을 -1의 반전 값은 1이 아니고 0이 된다. -1의 반전 값이 1인 경우 또는 1의 반전 값을 1이라고 가정하면 두 값의 차이는 2가 되지만 0의 반전 값은 -1 또는 1이 되기 때문에 다른 숫자들과 반전 값이 차이가 나게 되므로 균등한 차이 값을 산출하기 위해서는 [수학식 4]를 이용해 산출된다.
Figure pat00004
[수학식 4]에 의하면 입력 값의 범위가 -1~ 1인 경우 두 숫자들 차이가 균등하게 1의 차이 값을 가지도록 [표 1]과 같은 반전 값이 산출된다.
입력 값 반전 값
-1 0
-0.9 0.1
-0.8 0.2
-0.7 0.3
-0.6 0.4
-0.5 0.5
-0.4 0.6
-0.3 0.7
-0.2 0.8
-0.1 0.9
0 -1
0.1 -0.9
0.2 -0.8
0.3 -0.7
0.4 -0.6
0.5 -0.5
0.6 -0.4
0.7 -0.3
0.8 -0.2
0.9 -0.1
1 0
특징 맵을 이용한 출력 노드 변화 시각화 장치(10)는 픽셀이 반전된 사본 이미지를 신경망 학습 모델로 학습하여 출력 노드의 최대값(MaxM)을 산출한다.
특징 맵을 이용한 출력 노드 변화 시각화 장치(10)는 원본 이미지의 출력 노드 최대값(MaxN)과 픽셀이 반전된 사본 이미지의 출력 노드 최대값(MaxM)을 이용해 차이를 산출하고, 특징 맵에 반영한다.
특징 맵을 이용한 출력 노드 변화 시각화 장치(10)는 원본 이미지와 사본 이미지의 차이를 반영한 특징 맵을 설명 가능 특징 맵으로 생성한다.
상술한 특징 맵을 이용한 출력 노드 변화 시각화 방법은 컴퓨터가 읽을 수 있는 매체 상에 컴퓨터가 읽을 수 있는 코드로 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록 매체는, 예를 들어 이동형 기록 매체(CD, DVD, 블루레이 디스크, USB 저장 장치, 이동식 하드 디스크)이거나, 고정식 기록 매체(ROM, RAM, 컴퓨터 구비형 하드 디스크)일 수 있다. 상기 컴퓨터로 읽을 수 있는 기록 매체에 기록된 상기 컴퓨터 프로그램은 인터넷 등의 네트워크를 통하여 다른 컴퓨팅 장치에 전송되어 상기 다른 컴퓨팅 장치에 설치될 수 있고, 이로써 상기 다른 컴퓨팅 장치에서 사용될 수 있다.
이상에서, 본 발명의 실시 예를 구성하는 모든 구성 요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시 예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위안에서라면, 그 모든 구성요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다.
도면에서 동작들이 특정한 순서로 도시되어 있지만, 반드시 동작들이 도시된 특정한 순서로 또는 순차적 순서로 실행되어야만 하거나 또는 모든 도시 된 동작들이 실행되어야만 원하는 결과를 얻을 수 있는 것으로 이해되어서는 안 된다. 특정 상황에서는, 멀티태스킹 및 병렬 처리가 유리할 수도 있다. 더욱이, 위에 설명한 실시 예 들에서 다양한 구성들의 분리는 그러한 분리가 반드시 필요한 것으로 이해되어서는 안 되고, 설명된 프로그램 컴포넌트들 및 시스템들은 일반적으로 단일 소프트웨어 제품으로 함께 통합되거나 다수의 소프트웨어 제품으로 패키지 될 수 있음을 이해하여야 한다.
이제까지 본 발명에 대하여 그 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
10: 특징 맵을 이용한 출력 노드 변화 시각화 장치
100: 학습부
200: 변화 감지부
300: 시각화부

Claims (10)

  1. 특징 맵을 이용한 출력 노드 변화 시각화 장치에 있어서,
    이미지 분석을 위하여 합성곱 신경망 학습 모델을 구축하고 학습하는 학습부;
    상기 이미지의 부분적인 변화에 따른 출력 노드를 추출하는 변화 감지부 및
    상기 출력 노드의 변화를 시각화하는 시각화부를 포함하는 특징 맵을 이용한 출력 노드 변화 시각화 장치.
  2. 제1항에 있어서,
    상기 변화 감지부는
    상기 이미지의 분류 또는 판단에 영향을 주는 특징을 추출하는 특징 맵을 이용한 출력 노드 변화 시각화 장치.
  3. 제1항에 있어서,
    상기 변화 감지부는
    상기 출력 노드의 최대값을 이용하여 출력 노드의 변화를 산출하는 특징 맵을 이용한 출력 노드 변화 시각화 장치.
  4. 제1 항에 있어서,
    상기 학습부는
    상기 이미지를 분류 또는 판별하기 위해 레스넷 학습 모델을 이용하는 특징 맵을 이용한 출력 노드 변화 시각화 장치.
  5. 제1 항에 있어서,
    상기 시각화부는
    상기 특징 맵을 이미지 형식으로 변환하는 특징 맵을 이용한 출력 노드 변화 시각화 장치.
  6. 특징 맵을 이용한 출력 노드 변화 시각화 장치가 수행하는 특징 맵을 이용한 출력 노드 변화 시각화 방법에 있어서,
    이미지를 입력하는 단계;
    상기 이미지를 합성곱 신경망 학습 모델을 통해 특징 맵을 추출하는 단계;
    상기 합성곱 신경망 학습 모델을 이용한 상기 이미지의 출력 노드 최대값을 산출하는 단계;
    상기 출력 노드 최대값을 이용해 출력 노드의 변화를 추출하는 단계 및
    상기 출력 노드의 변화 정보를 시각화 하는 단계를 포함하는 특징 맵을 이용한 출력 노드 변화 시각화 방법.
  7. 제6항에 있어서,
    상기 이미지의 분류 또는 판단에 영향을 주는 특징을 추출하는 단계를 더 포함하는 특징 맵을 이용한 출력 노드 변화 시각화 방법.
  8. 제6항에 있어서
    상기 합성곱 신경망 학습 모델은 레스넷을 이용하는 특징 맵을 이용한 출력 노드 변화 시각화 방법.
  9. 제6항에 있어서,
    상기 출력 노드의 변화 부분을 시각화 하는 단계는
    상기 출력 노드의 변화 정보를 포함한 특징 맵을 이미지 형식으로 변환하는 특징 맵을 이용한 출력 노드 변화 시각화 방법.
  10. 제6항 내지 제9항 중 어느 하나의 특징 맵을 이용한 출력 노드 변화 시각화 방법을 실행하는 컴퓨터가 판독 가능한 기록매체에 기록된 컴퓨터 프로그램.
KR1020210019872A 2021-02-15 2021-02-15 특징 맵을 이용한 출력 노드 변화 시각화 장치 및 방법 KR102461685B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210019872A KR102461685B1 (ko) 2021-02-15 2021-02-15 특징 맵을 이용한 출력 노드 변화 시각화 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210019872A KR102461685B1 (ko) 2021-02-15 2021-02-15 특징 맵을 이용한 출력 노드 변화 시각화 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20220117366A true KR20220117366A (ko) 2022-08-24
KR102461685B1 KR102461685B1 (ko) 2022-11-02

Family

ID=83111710

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210019872A KR102461685B1 (ko) 2021-02-15 2021-02-15 특징 맵을 이용한 출력 노드 변화 시각화 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102461685B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190140276A (ko) * 2018-06-11 2019-12-19 고려대학교 산학협력단 비지도 학습장치 및 그 학습방법
KR20200023673A (ko) * 2018-08-16 2020-03-06 한국과학기술원 백내장 진단을 위한 토너먼트 기반의 랭킹 컨볼루셔널 뉴럴 네트워크

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190140276A (ko) * 2018-06-11 2019-12-19 고려대학교 산학협력단 비지도 학습장치 및 그 학습방법
KR20200023673A (ko) * 2018-08-16 2020-03-06 한국과학기술원 백내장 진단을 위한 토너먼트 기반의 랭킹 컨볼루셔널 뉴럴 네트워크

Also Published As

Publication number Publication date
KR102461685B1 (ko) 2022-11-02

Similar Documents

Publication Publication Date Title
US20180189610A1 (en) Active machine learning for training an event classification
CN111860565A (zh) 用于训练用于测量技术中的质量检查的分类器的工作流程
JP7313828B2 (ja) 情報処理装置、情報処理方法、及びプログラム
WO2020190480A1 (en) Classifying an input data set within a data category using multiple data recognition tools
US11875898B2 (en) Automatic condition diagnosis using an attention-guided framework
CN116934747B (zh) 眼底图像分割模型训练方法、设备和青光眼辅助诊断系统
CN115048969A (zh) 用于评估、理解和改进深度神经网络的视觉分析系统
CN114170475A (zh) 一种用于图像分类的模型训练方法、设备及存储介质
JP7519232B2 (ja) 異常検知方法、異常検知装置および異常検知プログラム
JP2020004360A (ja) 多変数データシーケンスの画像化
US20240070537A1 (en) Microscopy System and Method for Generating a Machine-Learned Model for Processing Microscope Data
KR102461685B1 (ko) 특징 맵을 이용한 출력 노드 변화 시각화 장치 및 방법
US20230260259A1 (en) Method and device for training a neural network
Mursalin et al. EpNet: A deep neural network for ear detection in 3D point clouds
EP3748540A1 (en) Deep neural network visualisation
Li et al. Smart vision for quality apple classification using SURF–Harris optimizing techniques
WO2021065937A1 (ja) 機械学習装置
JP2007272398A (ja) 分類装置、プログラム、及び方法
US20240071057A1 (en) Microscopy System and Method for Testing a Sensitivity of an Image Processing Model
Chatterjee et al. TorchEsegeta: Framework for Interpretability and Explainability of Image-based Deep Learning Models
Naeem et al. Quantifying image quality attributes for training and testing of machine learning methods
KR102600092B1 (ko) 합성 데이터의 생성 품질 향상을 위한 도메인 적응을 통한 실제 데이터와 합성 데이터의 분류 시스템 및 그 방법
JP7365261B2 (ja) コンピュータシステムおよびプログラム
Konate et al. A comparison of saliency methods for deep learning explainability
JP7559633B2 (ja) 統合モデルの生成方法、画像検査システム、画像検査用モデルの生成装置、画像検査用モデルの生成プログラム及び画像検査装置

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant