KR102163519B1 - 오토인코더 및 다중 인스턴스 학습을 통한 뉴럴 네트워크 학습 방법 및 이를 수행하는 컴퓨팅 시스템 - Google Patents

오토인코더 및 다중 인스턴스 학습을 통한 뉴럴 네트워크 학습 방법 및 이를 수행하는 컴퓨팅 시스템 Download PDF

Info

Publication number
KR102163519B1
KR102163519B1 KR1020200068640A KR20200068640A KR102163519B1 KR 102163519 B1 KR102163519 B1 KR 102163519B1 KR 1020200068640 A KR1020200068640 A KR 1020200068640A KR 20200068640 A KR20200068640 A KR 20200068640A KR 102163519 B1 KR102163519 B1 KR 102163519B1
Authority
KR
South Korea
Prior art keywords
state
learning
data
neural network
autoencoder
Prior art date
Application number
KR1020200068640A
Other languages
English (en)
Inventor
김선우
곽태영
문예찬
Original Assignee
주식회사 딥바이오
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 딥바이오 filed Critical 주식회사 딥바이오
Priority to KR1020200068640A priority Critical patent/KR102163519B1/ko
Application granted granted Critical
Publication of KR102163519B1 publication Critical patent/KR102163519B1/ko
Priority to JP2022572516A priority patent/JP2023529585A/ja
Priority to EP21818809.2A priority patent/EP4148629A4/en
Priority to PCT/KR2021/006966 priority patent/WO2021246810A1/ko
Priority to US18/008,407 priority patent/US20230244930A1/en
Priority to CN202180040650.7A priority patent/CN115777107A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

오토인코더 및 다중 인스턴스 학습 기법을 이용하여 적은 수의 학습 데이터로 뉴럴 네트워크를 학습할 수 있는 방법 및 이를 수행하는 컴퓨팅 시스템이 개시된다. 본 발명의 일 측면에 따르면, 입력된 데이터 인스턴스(instance)가 제1상태인지 제2상태인지를 판단하기 위한 오토인코더 및 입력된 데이터 인스턴스가 제1상태 또는 제2상태일 가능성을 출력할 수 있는 뉴럴 네트워크를 포함하는 컴퓨팅 시스템에서 수행되는 뉴럴 네트워크 학습 방법으로서, 제1상태 또는 제2상태 중 어느 하나로 라벨링되어 있는 복수의 데이터 백(bag) 각각에 대하여, 상기 데이터 백에 포함된 데이터 인스턴스들 중 일부인 학습용 인스턴스를 추출하는 추출단계 및 상기 복수의 데이터 백 각각에 상응하는 학습용 인스턴스에 기초하여 상기 뉴럴 네트워크를 학습하는 학습단계를 포함하되, 상기 추출단계는, 상기 데이터 백에 포함된 각 데이터 인스턴스를 학습 중인 상기 뉴럴 네트워크에 입력하여, 상기 데이터 백에 포함된 각 데이터 인스턴스 별 가능성을 산출하는 단계 및 상기 데이터 백에 포함된 각 데이터 인스턴스 별 가능성, 및 상기 데이터 백에 포함된 각 데이터 인스턴스 중 적어도 일부에 대한 상기 오토인코더의 판단 결과에 기초하여 상기 데이터 백에 포함된 각 데이터 인스턴스 중 일부를 학습용 인스턴스라고 판단하는 단계를 포함하는 뉴럴 네트워크 학습 방법이 제공된다.

Description

오토인코더 및 다중 인스턴스 학습을 통한 뉴럴 네트워크 학습 방법 및 이를 수행하는 컴퓨팅 시스템{Neural network learning method using auto encoder and multiple instance learning and computing system performing the same}
본 발명은 뉴럴 네트워크 학습 방법 및 이를 수행하는 컴퓨팅 시스템에 관한 것으로서, 보다 상세하게는 오토인코더 및 다중 인스턴스 학습 기법을 이용하여 적은 수의 학습 데이터로도 뉴럴 네트워크의 성능을 높일 수 있는 뉴럴 네트워크 학습 방법 및 이를 수행하는 컴퓨팅 시스템에 관한 것이다.
최근에는 기계학습의 발달로 인해 이미지를 인식하거나 분류하는 등의 업무를 컴퓨터 시스템에 의해 자동화하고자 하는 시도가 활발히 이루어지고 있다. 특히 기계학습의 일종인 뉴럴 네트워크(예를 들어, 컨벌루션 뉴럴 네트워크(Convolution Neural Network, CNN)를 이용한 딥러닝 방식)를 이용하여 사람이 수행하던 각종 분류나 판단을 자동화하기 위한 시도가 이루어지고 있으며, 뉴럴 네트워크(예를 들어, CNN)를 이용한 딥러닝을 이용하여 생체 이미지(예를 들어, 환자의 생체 조직 슬라이드)를 판독하여 특정 질병에 대한 상태 또는 징후를 판단하는 진단을 수행하는 것을 대표적인 예로 들 수 있다.
한편, 본 발명의 배경 기술 중 하나인 다중 인스턴스 학습(Multiple Instance Learning)에 관하여 도 1a 및 도 1b를 참조하여 설명한다.
인스턴스(instance) 하나를 학습 단위로 사용하는 개별 인스턴스 학습과는 달리 다중 인스턴스 학습에서는 인스턴스의 집합인 백(Bag)을 학습 단위로 간주한다. 따라서 개별 인스턴스 학습에서는 인스턴스에 레이블을 다는 반면, 다중 인스턴스 학습에서는 인스턴스가 아닌 백에 레이블을 달게 된다. 다중 인스턴스 학습은 학습 단위 측면에서 제외하고 개별 인스턴스 학습와 유사하지만 다음 제약사항을 추가로 가진다. 이진 분류를 수행함에 있어 백이 긍정(positive)이면 적어도 백 안에 존재하는 인스턴스 중 하나 이상이 긍정임을, 백이 부정(negative)이면 백 안에 모든 인스턴스들이 부정임을 가정한다.
이러한 특징으로 인하여 다중 인스턴스 학습은, 예를 들어, 뉴럴 네트워크를 이용하여 병리 홀-슬라이드-이미지(Whole Slide Image)로부터 병변을 진단하는 분야에 적용될 수 있다. 병변을 진단하는 뉴럴 네트워크를 학습하기 위해서는 홀-슬라이드-이미지가 아니라 이를 일정한 크기로 분할한 이미지 패치를 학습 데이터로 사용하게 되지만, 병변의 유무에 관한 정보(즉, 레이블)는 패치 단위가 아니라 홀-슬라이드-이미지에 부여되어 있기 때문이다.
도 1a는 다중 인스턴스 학습에 이용되는 학습 데이터의 일 예를 도시한 도면이다. 도 1은 각각 N개의 데이터 인스턴스를 포함하는 M개의 백(B1 내지 BM)을 도시하고 있다. 도 1에서 백 Bi는 Li로 라벨링되어 있으며(여기서, i는 1<=i<=M인 임의의 정수), 데이터 인스턴스 Dij는 백 Bi에 포함되어 있는 j번째 인스턴스를 나타낸다(여기서, j는 1<=j<=N인 임의의 정수).
도 1b는 다중 인스턴스 학습 기법을 통하여 뉴럴 네트워크(NN)를 학습하는 과정의 일 예를 나타내는 의사코드(pseudo code)를 도시한 도면이다. 도 1b는 학습 데이터를 1 에폭(epoch)만큼 학습하는 과정을 나타내고 있으며, 실제 학습 과정에서는 다수의 에폭만큼 학습이 진행될 수 있다. 도 1b에서는 도 1a에 도시된 학습 데이터로 학습이 진행된다고 가정한다.
도 1b를 참조하면, 다중 인스턴스 학습에서는 먼저 각각의 백(B1 내지 BM)으로부터 학습 데이터 인스턴스(T1 내지 TM)를 추출하는 과정(S10)에 수행되며, 이후 추출된 학습 데이터 인스턴스로 뉴럴 네트워크(NN)을 훈련하는 과정(S20)이 수행된다.
S10 단계에 대하여 보다 상세하게 설명하면, 백 Bi에 대하여 다음의 과정이 수행된다(여기서, i는 1<=i<=M인 임의의 정수).
현재 학습이 진행 중인 뉴럴 네트워크(NN) 백 Bi내의 각 데이터 인스턴스를 입력하여 해당 인스턴스가 긍정(positive; 예를 들어, 병변이 존재함)일 가능성을 산출한다(S11, S12).
백 Bi 내의 모든 데이터 인스턴스 중 해당 데이터 인스턴스의 긍정 가능성이 가장 큰 데이터 인스턴스 Dik를 학습 데이터 인스턴스 Ti로 결정하며(S13), 학습 데이터 인스턴스 Ti의 레이블은 백 Bi에 부여된 레이블이 된다(S14).
위에서 설명한 종래의 다중 인스턴스 학습에서는 백 하나당 인스턴스 하나를 추출하여 학습에 이용하기 때문에, 뉴럴 네트워크의 성능을 높이기 위해서는 많은 양의 백이 필요하다는 문제점이 있다. 예를 들어, 병변을 검출하기 위한 뉴럴 네트워크에 기존의 다중 인스턴스 학습을 이용하기 위해서는 병변 유무에 관한 표지가 부여된 많은 수의 홀-슬라이드-이미지가 필요하게 되는 것이다.
또한 앞서 설명한 바와 같이 다중 인스턴스 학습에서는 학습 데이터 인스턴스의 추출 과정에서 학습이 완료되기 전의 뉴럴 네트워크가 이용되기 때문에, 하나의 백으로부터 다수의 데이터 인스턴스를 추출하게 되면 잘못된 인스턴스가 추출될 가능성이 높아지는 문제점이 발생하게 된다.
본 발명이 이루고자 하는 기술적인 과제는 하나의 데이터 백에서 여러 개의 데이터 인스턴스를 학습용 인스턴스를 추출함으로써, 상대적으로 적은 수의 데이터로도 적절하게 뉴럴 네트워크를 학습할 수 있는 방법 및 시스템을 제공하는 것이다.
본 발명의 일 측면에 따르면, 입력된 데이터 인스턴스(instance)가 제1상태인지 제2상태인지를 판단하기 위한 오토인코더 및 입력된 데이터 인스턴스가 제1상태 또는 제2상태일 가능성을 출력할 수 있는 뉴럴 네트워크를 포함하는 컴퓨팅 시스템에서 수행되는 뉴럴 네트워크 학습 방법으로서, 제1상태 또는 제2상태 중 어느 하나로 라벨링되어 있는 복수의 데이터 백(bag) 각각에 대하여, 상기 데이터 백에 포함된 데이터 인스턴스들 중 일부인 학습용 인스턴스를 추출하는 추출단계; 및 상기 복수의 데이터 백 각각에 상응하는 학습용 인스턴스에 기초하여 상기 뉴럴 네트워크를 학습하는 학습단계를 포함하되, 상기 추출단계는, 상기 데이터 백에 포함된 각 데이터 인스턴스를 학습 중인 상기 뉴럴 네트워크에 입력하여, 상기 데이터 백에 포함된 각 데이터 인스턴스 별 가능성을 산출하는 단계; 및 상기 데이터 백에 포함된 각 데이터 인스턴스 별 가능성, 및 상기 데이터 백에 포함된 각 데이터 인스턴스 중 적어도 일부에 대한 상기 오토인코더의 판단 결과에 기초하여 상기 데이터 백에 포함된 각 데이터 인스턴스 중 일부를 학습용 인스턴스라고 판단하는 단계를 포함하는 뉴럴 네트워크 학습 방법이 제공된다.
일 실시예에서, 상기 뉴럴 네트워크 학습 시스템은, 상기 오토인코더에 입력된 데이터 인스턴스와 상기 오토인코더에서 출력된 출력 데이터와의 차이에 기초하여, 상기 오토인코더에 입력된 데이터 인스턴스가 제1상태인지 제2상태인지를 판단할 수 있다.
일 실시예에서, 상기 오토인코더는, 제1상태인 데이터 인스턴스만으로 미리 학습되어 있으며, 상기 데이터 백에 포함된 각 데이터 인스턴스 별 가능성, 및 상기 데이터 백에 포함된 각 데이터 인스턴스 중 적어도 일부에 대한 상기 오토인코더의 판단 결과에 기초하여 상기 데이터 백에 포함된 각 데이터 인스턴스 중 일부를 학습용 인스턴스라고 판단하는 단계는, 상기 데이터 백이 제1상태로 라벨링된 경우, 제2상태일 가능성이 가장 높은 데이터 인스턴스에서부터 제2상태일 가능성이 낮아지는 순서로 상기 오토인코더에 입력하여, 상기 오토인코더에 의해 제1상태라고 판단된 상위 일부의 데이터 인스턴스를 상기 데이터 백에 상응하는 학습용 인스턴스라고 판단하는 단계; 및 상기 데이터 백이 제2상태로 라벨링된 경우, 제2상태일 가능성이 가장 높은 데이터 인스턴스에서부터 제2상태일 가능성이 낮아지는 순서로 상기 오토인코더에 입력하여, 상기 오토인코더에 의해 제2상태라고 판단된 상위 일부의 데이터 인스턴스를 상기 데이터 백에 상응하는 학습용 인스턴스라고 판단하는 단계를 포함할 수 있다.
일 실시예에서, 상기 뉴럴 네트워크 학습 방법은, 상기 추출단계 및 상기 학습단계를 1 에폭(epoch) 이상 반복 수행하는 단계를 더 포함할 수 있다.
일 실시예에서, 상기 복수의 데이터 백 각각은, 홀-이미지(whole-image)이며, 상기 복수의 데이터 백 각각에 포함된 데이터 인스턴스(instance)는, 상기 데이터 백에 상응하는 홀-이미지를 소정의 크기로 분할한 각각의 이미지 패치인 것을 특징으로 할 수 있다.
본 발명의 다른 일 측면에 따르면, 입력된 패치가 제1상태인지 제2상태인지를 판단하기 위한 오토인코더-여기서, 상기 패치는, 이미지를 소정의 크기로 분할한 것 중 하나임-; 및 입력된 패치가 제1상태 또는 제2상태일 가능성을 출력할 수 있는 뉴럴 네트워크를 포함하는 컴퓨팅 시스템에서 수행되는 뉴럴 네트워크 학습 방법으로서, 제1상태 또는 제2상태 중 어느 하나로 라벨링되어 있는 복수의 학습용 이미지 각각에 대하여, 상기 학습용 이미지를 구성하는 패치 중 일부인 학습용 패치를 추출하는 추출단계; 및 상기 복수의 학습용 이미지 각각에 상응하는 학습용 패치에 기초하여 상기 뉴럴 네트워크를 학습하는 학습단계를 포함하되, 상기 추출단계는, 상기 학습용 이미지를 구성하는 각 패치를 훈련중인 상기 뉴럴 네트워크에 입력하여, 상기 학습용 이미지를 구성하는 각 패치 별 가능성을 산출하는 단계; 및 상기 학습용 이미지를 구성하는 각 패치 별 가능성, 및 상기 학습용 이미지를 구성하는 각 패치 중 적어도 일부에 대한 상기 오토인코더의 판단 결과에 기초하여 상기 학습용 이미지를 구성하는 각 패치 중 일부를 학습용 패치라고 판단하는 단계를 포함하는 뉴럴 네트워크 학습 방법이 제공된다.
일 실시예에서, 상기 오토인코더는, 제1상태인 패치만으로 미리 학습되어 있으며, 상기 학습용 이미지를 구성하는 각 패치 별 가능성, 및 상기 학습용 이미지를 구성하는 각 패치 중 적어도 일부에 대한 상기 오토인코더의 판단 결과에 기초하여 상기 학습용 이미지를 구성하는 각 패치 중 일부를 학습용 패치라고 판단하는 단계는, 상기 학습용 이미지가 제1상태로 라벨링된 경우, 제2상태일 가능성이 가장 높은 패치에서부터 제2상태일 가능성이 낮아지는 순서로 상기 오토인코더에 입력하여, 상기 오토인코더에 의해 제1상태라고 판단된 상위 일부의 패치를 상기 학습용 이미지에 상응하는 학습용 패치라고 판단하는 단계; 및 상기 학습용 이미지가 제2상태로 라벨링된 경우, 제2상태일 가능성이 가장 높은 패치에서부터 제2상태일 가능성이 낮아지는 순서로 상기 오토인코더에 입력하여, 상기 오토인코더에 의해 제2상태라고 판단된 상위 일부의 패치를 상기 학습용 이미지에 상응하는 학습용 패치라고 판단하는 단계를 포함할 수 있다.
일 실시예에서, 상기 학습용 이미지 각각은, 소정의 질병으로 인한 병변이 포함된 이미지 혹은 상기 병변이 포함되지 않는 이미지 중 어느 하나이며, 상기 제1상태는 상기 병변이 존재하지 않는 정상 상태이며, 상기 제2상태는 상기 병변이 존재하는 비정상 상태일 수 있다.
본 발명의 다른 일 측면에 따르면, 데이터 처리장치에 설치되며 상술한 방법을 수행하기 위한 매체에 기록된 컴퓨터 프로그램이 제공된다.
본 발명의 다른 일 측면에 따르면, 상술한 방법을 수행하기 위한 컴퓨터 프로그램이 기록된 컴퓨터 판독가능한 기록매체가 제공된다.
본 발명의 다른 일 측면에 따르면, 컴퓨팅 시스템으로서, 프로세서 및 메모리를 포함하되, 상기 메모리는, 상기 프로세서에 의해 수행될 경우, 상기 컴퓨팅 시스템이 상술한 방법을 수행하도록 하는 컴퓨팅 시스템이 제공된다.
본 발명의 다른 일 측면에 따르면, 입력된 데이터 인스턴스(instance)가 제1상태인지 제2상태인지를 판단하기 위한 오토인코더 및 입력된 데이터 인스턴스가 제1상태 또는 제2상태일 가능성을 출력할 수 있는 뉴럴 네트워크를 저장하는 저장모듈; 제1상태 또는 제2상태 중 어느 하나로 라벨링되어 있는 복수의 데이터 백(bag) 각각에 대하여, 상기 데이터 백에 포함된 데이터 인스턴스들 중 일부인 학습용 인스턴스를 추출하는 추출모듈; 및 상기 복수의 데이터 백 각각에 상응하는 학습용 인스턴스에 기초하여 상기 뉴럴 네트워크를 학습하는 학습모듈을 포함하되, 상기 추출모듈은, 상기 데이터 백에 포함된 각 데이터 인스턴스를 학습 중인 상기 뉴럴 네트워크에 입력하여, 상기 데이터 백에 포함된 각 데이터 인스턴스 별 가능성을 산출하고, 상기 데이터 백에 포함된 각 데이터 인스턴스 별 가능성, 및 상기 데이터 백에 포함된 각 데이터 인스턴스 중 적어도 일부에 대한 상기 오토인코더의 판단 결과에 기초하여 상기 데이터 백에 포함된 각 데이터 인스턴스 중 일부를 학습용 인스턴스라고 판단하는 뉴럴 네트워크 학습 시스템이 제공된다.
일 실시예에서, 상기 추출모듈은, 상기 오토인코더에 입력된 데이터 인스턴스와 상기 오토인코더에서 출력된 출력 데이터와의 차이에 기초하여, 상기 오토인코더에 입력된 데이터 인스턴스가 제1상태인지 제2상태인지를 판단할 수 있다.
일 실시예에서, 상기 오토인코더는, 제1상태인 데이터 인스턴스만으로 미리 학습되어 있으며, 추출모듈은, 상기 데이터 백에 포함된 각 데이터 인스턴스 별 가능성, 및 상기 데이터 백에 포함된 각 데이터 인스턴스 중 적어도 일부에 대한 상기 오토인코더의 판단 결과에 기초하여 상기 데이터 백에 포함된 각 데이터 인스턴스 중 일부를 학습용 인스턴스라고 판단하기 위하여, 상기 데이터 백이 제1상태로 라벨링된 경우, 제2상태일 가능성이 가장 높은 데이터 인스턴스에서부터 제2상태일 가능성이 낮아지는 순서로 상기 오토인코더에 입력하여, 상기 오토인코더에 의해 제1상태라고 판단된 상위 일부의 데이터 인스턴스를 상기 데이터 백에 상응하는 학습용 인스턴스라고 판단하고, 상기 데이터 백이 제2상태로 라벨링된 경우, 제2상태일 가능성이 가장 높은 데이터 인스턴스에서부터 제2상태일 가능성이 낮아지는 순서로 상기 오토인코더에 입력하여, 상기 오토인코더에 의해 제2상태라고 판단된 상위 일부의 데이터 인스턴스를 상기 데이터 백에 상응하는 학습용 인스턴스라고 판단할 수 있다.
본 발명의 다른 일 측면에 따르면, 입력된 패치가 제1상태인지 제2상태인지를 판단하기 위한 오토인코더-여기서, 상기 패치는, 이미지를 소정의 크기로 분할한 것 중 하나이며, 상기 오토인코더는, 복수의 제1상태인 패치만으로 미리 학습됨; 및 입력된 패치가 제1상태 또는 제2상태일 가능성을 출력할 수 있는 뉴럴 네트워크를 저장하는 저장모듈; 제1상태 또는 제2상태 중 어느 하나로 라벨링되어 있는 복수의 학습용 이미지 각각에 대하여, 상기 학습용 이미지를 구성하는 패치 중 일부인 학습용 패치를 추출하는 추출모듈; 및 상기 복수의 학습용 이미지 각각에 상응하는 학습용 패치에 기초하여 상기 뉴럴 네트워크를 학습하는 학습모듈을 포함하되, 상기 추출모듈은, 상기 학습용 이미지를 구성하는 각 패치를 훈련중인 상기 뉴럴 네트워크에 입력하여, 상기 학습용 이미지를 구성하는 각 패치 별 가능성을 산출하고, 상기 학습용 이미지를 구성하는 각 패치 별 가능성, 및 상기 학습용 이미지를 구성하는 각 패치 중 적어도 일부에 대한 상기 오토인코더의 판단 결과에 기초하여 상기 학습용 이미지를 구성하는 각 패치 중 일부를 학습용 패치라고 판단하는 뉴럴 네트워크 학습 시스템이 제공된다.
일 실시예에서, 상기 오토인코더는, 제1상태인 패치만으로 미리 학습되어 있으며, 상기 추출모듈은, 상기 학습용 이미지를 구성하는 각 패치 별 가능성, 및 상기 학습용 이미지를 구성하는 각 패치 중 적어도 일부에 대한 상기 오토인코더의 판단 결과에 기초하여 상기 학습용 이미지를 구성하는 각 패치 중 일부를 학습용 패치라고 판단하기 위하여, 상기 학습용 이미지가 제1상태로 라벨링된 경우, 제2상태일 가능성이 가장 높은 패치에서부터 제2상태일 가능성이 낮아지는 순서로 상기 오토인코더에 입력하여, 상기 오토인코더에 의해 제1상태라고 판단된 상위 일부의 패치를 상기 학습용 이미지에 상응하는 학습용 패치라고 판단하고, 상기 학습용 이미지가 제2상태로 라벨링된 경우, 제2상태일 가능성이 가장 높은 패치에서부터 제2상태일 가능성이 낮아지는 순서로 상기 오토인코더에 입력하여, 상기 오토인코더에 의해 제2상태라고 판단된 상위 일부의 패치를 상기 학습용 이미지에 상응하는 학습용 패치라고 판단할 수 있다.
본 발명의 기술적 사상에 의하면, 하나의 데이터 백에서 여러 개의 데이터 인스턴스를 학습용 인스턴스가 추출될 수 있다. 종래의 다중 인스턴스 학습 방법에서는 하나의 데이터 백에서 여러 개의 학습용 인스턴스를 추출하는 경우 잘못된 학습 데이터 인스턴스가 추출될 가능성이 높아 뉴럴 네트워크의 학습에 부정적인 영향을 미칠 수 있었으나, 본 발명의 기술적 사상에 따른 방법에 의하면, 미리 학습된 오토인코더를 이용하여 학습용 인스턴스를 필터링을 함으로써, 잘못된 학습 데이터 인스턴스가 추출되는 것을 상당히 줄일 수 있게 되는 효과가 있다.. 따라서, 보다 적은 수의 데이터만으로 효과적으로 뉴럴 네트워크를 학습할 수 있게 되는 효과가 있다.
본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 간단한 설명이 제공된다.
도 1a는 다중 인스턴스 학습에 이용되는 학습 데이터의 일 예를 도시한 도면이다.
도 1b는 다중 인스턴스 학습 기법을 통하여 뉴럴 네트워크를 학습하는 과정의 일 예를 나타내는 의사코드(pseudo code)를 도시한 도면이다.
도 2는 본 발명의 기술적 사상에 따른 뉴럴 네트워크 학습 방법을 수행하기 위한 컴퓨팅 시스템의 개략적인 구성을 도시한 도면이다.
도 3은 본 발명의 기술적 사상에 따른 뉴럴 네트워크 학습 방법에서 이용하는 오토인코더의 구조를 개략적으로 도시한 도면이다.
도 4는 본 발명의 기술적 사상에 따른 뉴럴 네트워크 학습 시스템이 학습용 데이터 인스턴스를 추출하는 방법의 일 예를 도시한 도면이다.
도 5는 도 4의 단계 S120의 구체적인 과정의 일 예를 도시한 도면이다.
도 6은 도 5의 단계 S121의 구체적인 과정의 일 예를 도시한 도면이다.
도 7은 본 발명의 일 실시예에 따른 뉴럴 네트워크를 이용한 판단 시스템의 개략적인 구성을 도시한 도면이다.
도 8은 본 발명의 일 실시예에 따른 뉴럴 네트워크를 이용한 판단 시스템이 병리 슬라이드 이미지 내의 병변 영역을 격자맵의 형태로 출력한 예를 도시하고 있다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 명세서에 있어서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, 본 명세서에 있어서는 어느 하나의 구성요소가 다른 구성요소로 데이터를 '전송'하는 경우에는 상기 구성요소는 상기 다른 구성요소로 직접 상기 데이터를 전송할 수도 있고, 적어도 하나의 또 다른 구성요소를 통하여 상기 데이터를 상기 다른 구성요소로 전송할 수도 있는 것을 의미한다. 반대로 어느 하나의 구성요소가 다른 구성요소로 데이터를 '직접 전송'하는 경우에는 상기 구성요소에서 다른 구성요소를 통하지 않고 상기 다른 구성요소로 상기 데이터가 전송되는 것을 의미한다.
이하, 첨부된 도면들을 참조하여 본 발명의 실시예들을 중심으로 본 발명을 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.
도 2는 본 발명의 기술적 사상에 따른 뉴럴 네트워크 학습 방법을 수행하기 위한 컴퓨팅 시스템의 개략적인 구성을 도시한 도면이다.
본 발명의 기술적 사상에 따른 뉴럴 네트워크 학습 방법은 뉴럴 네트워크 학습 시스템(100)에 의해 수행될 수 있다.
상기 뉴럴 네트워크 학습 시스템(100)은 본 발명의 기술적 사상을 구현하기 위한 연산능력을 가진 데이터 처리장치인 컴퓨팅 시스템일 수 있으며, 일반적으로 네트워크를 통해 클라이언트가 접속 가능한 데이터 처리 장치인 서버뿐만 아니라 개인용 컴퓨터나 휴대 단말 등과 같은 컴퓨팅 장치를 포함할 수 있다.
상기 뉴럴 네트워크 학습 시스템(100)은 어느 하나의 물리적 장치로 구현될 수도 있으나, 필요에 따라 복수의 물리적 장치가 유기적으로 결합되어 본 발명의 기술적 사상에 따른 뉴럴 네트워크 학습 시스템(100)을 구현할 수 있음을 본 발명의 기술분야의 평균적 전문가는 용이하게 추론할 수 있을 것이다.
도 2를 참조하면, 상기 뉴럴 네트워크 학습 시스템(100)은 저장모듈(110), 추출모듈(120) 및 학습모듈(130)을 포함할 수 있다. 본 발명의 실시예에 따라서는, 상술한 구성요소들 중 일부 구성요소는 반드시 본 발명의 구현에 필수적으로 필요한 구성요소에 해당하지 않을 수도 있으며, 또한 실시예에 따라 상기 뉴럴 네트워크 학습 시스템(100)은 이보다 더 많은 구성요소를 포함할 수도 있음은 물론이다. 예를 들어 상기 시스템(100)은 상기 뉴럴 네트워크 학습 시스템(100) 의 다른 구성(예를 들면, 저장모듈(110), 추출모듈(120), 학습모듈(130) 등)의 기능 및/또는 리소스를 제어하기 위한 제어모듈(미도시)을 더 포함할 수도 있다. 또한 실시예에 따라 상기 뉴럴 네트워크 학습 시스템(100)은 본 발명의 기술적 사상을 구현하는데 필요한 각종 정보 및/또는 데이터를 저장하기 위한 데이터베이스(Database; DB; 140)를 더 포함할 수도 있다.
상기 뉴럴 네트워크 학습 시스템(100)은 본 발명의 기술적 사상을 구현하기 위해 필요한 하드웨어 리소스(resource) 및/또는 소프트웨어를 구비한 논리적인 구성을 의미할 수 있으며, 반드시 하나의 물리적인 구성요소를 의미하거나 하나의 장치를 의미하는 것은 아니다. 즉, 상기 시스템(100)은 본 발명의 기술적 사상을 구현하기 위해 구비되는 하드웨어 및/또는 소프트웨어의 논리적인 결합을 의미할 수 있으며, 필요한 경우에는 서로 이격된 장치에 설치되어 각각의 기능을 수행함으로써 본 발명의 기술적 사상을 구현하기 위한 논리적인 구성들의 집합으로 구현될 수도 있다. 또한, 상기 시스템(100)은 본 발명의 기술적 사상을 구현하기 위한 각각의 기능 또는 역할별로 별도로 구현되는 구성들의 집합을 의미할 수도 있다. 예를 들어, 저장모듈(110), 추출모듈(120), 학습모듈(130) 각각은 서로 다른 물리적 장치에 위치할 수도 있고, 동일한 물리적 장치에 위치할 수도 있다. 또한, 구현 예에 따라서는 상기 저장모듈(110), 추출모듈(120), 학습모듈(130) 각각을 구성하는 소프트웨어 및/또는 하드웨어의 결합 역시 서로 다른 물리적 장치에 위치하고, 서로 다른 물리적 장치에 위치한 구성들이 서로 유기적으로 결합되어 각각의 상기 모듈들을 구현할 수도 있다.
또한, 본 명세서에서 모듈이라 함은, 본 발명의 기술적 사상을 수행하기 위한 하드웨어 및 상기 하드웨어를 구동하기 위한 소프트웨어의 기능적, 구조적 결합을 의미할 수 있다. 예를 들어, 상기 모듈은 소정의 코드와 상기 소정의 코드가 수행되기 위한 하드웨어 리소스(resource)의 논리적인 단위를 의미할 수 있으며, 반드시 물리적으로 연결된 코드를 의미하거나, 한 종류의 하드웨어를 의미하는 것은 아님은 본 발명의 기술분야의 평균적 전문가에게는 용이하게 추론될 수 있다.
상기 저장모듈(110)은 뉴럴 네트워크(111) 및 오토인코더(112)를 저장할 수 있다.
본 명세서에서 뉴럴 네트워크는 다층 퍼셉트론 모델을 포함하며, 인공 뉴럴 네트워크를 정의하는 일련의 설계사항들을 표현하는 정보의 집합을 의미할 수 있다.
일 실시예에서, 상기 뉴럴 네트워크(112)는 컨볼루션 뉴렬 네트워크일 수 있다. 컨볼루션 뉴렬 네트워크는 잘 알려진 바와 같이, 입력 레이어, 복수의 히든 레이어들, 및 출력 레이어를 포함할 수 있다. 복수의 히든 레이어들 각각은 컨볼루션 레이어 및 풀링 레이어(또는 서브 샘플링 레이어)를 포함할 수 있다.
컨볼루션 뉴렬 네트워크는 이러한 각각의 레이어들을 정의하기 위한 함수, 필터, 스트라이드(stride), 웨이트 팩터 등에 의해 정의될 수 있다. 또한, 출력 레이어는 풀리 커넥티드(fully connected)된 전방향 레이어(FeedForward layer)로 정의될 수 있다.
컨볼루션 뉴렬 네트워크를 구성하는 각각의 레이어별 설계 사항은 널리 알려져 있다. 예를 들어, 복수의 레이어들에 포함될 레이어의 개수, 상기 복수의 레이어들을 정의하기 위한 컨볼루션 함수, 풀링 함수, 활성화 함수 각각에 대해서는 공지된 함수들이 이용될 수도 있고, 본 발명의 기술적 사상을 구현하기 위해 별도로 정의된 함수들이 이용될 수도 있다.
컨볼루션 함수의 일 예로는 이산 컨볼류션 합 등이 있다. 풀링 함수의 일 예로는 맥스 풀링(max pooling), 에버리지 풀링(average pooling) 등이 이용될 수 있다. 활성화 함수의 일 예로는 시그모이드 (sigmoid), 탄젠트 하이퍼볼릭 (tanh), ReLU (rectified linear unit)등일 수 있다.
이러한 컨볼루션 뉴렬 네트워크의 설계 사항이 정의되면 설계사항이 정의된 컨볼루션 뉴럴 네트워크가 저장장치에 저장될 수 있다. 그리고 상기 컨볼류션 뉴럴 네트워크가 학습되면, 각각의 레이어들에 해당하는 웨이트 팩터가 특정될 수 있다.
즉, 컨볼루션 뉴렬 네트워크의 학습은 각각의 레이어들의 웨이트 팩터들이 결정되는 프로세스를 의미할 수 있다. 그리고 컨볼루션 뉴렬 네트워크가 학습되면, 학습된 컨볼루션 뉴렬 네트워크는 입력 레이어에 입력 데이터를 입력받고 미리 정의된 출력 레이어를 통해 출력 데이터를 출력할 수 있다.
본 발명의 실시 예에 따른 뉴럴 네트워크는 상기와 같이 널리 알려진 설계 사항들 중 어느 하나 또는 복수 개를 선택하여 정의될 수도 있고, 독자적인 설계 사항이 상기 뉴럴 네트워크를 위해 정의될 수도 있다.
상기 뉴럴 네트워크(111)는 입력된 데이터의 분류(classification)에 이용될 수 있는 클래시피케이션 뉴럴 네트워크일 수 있다. 바람직하게는 상기 뉴럴 네트워크(111)는 입력된 데이터가 소정의 제1상태 또는 제2상태인지 여부에 대한 가능성을 출력함으로써, 상기 입력된 데이터에 대한 이진 분류에 이용되는 뉴럴 네트워크일 수 있다. 예를 들어, 상기 뉴럴 네트워크(111)는 생체 이미지를 입력받아 해당 이미지에 소정의 질병(예를 들면, 암)에 의해 발생하는 병변이 존재할 가능성을 판단하기 위한 뉴럴 네트워크일 수 있다.
즉, 상기 뉴럴 네트워크(111)는 상기 뉴럴 네트워크(111)에 입력되는 값이 소정의 제1상태 또는 제2상태일 가능성을 출력할 수 있다. 제1상태는 긍정(positive) 또는 부정(negative) 중 어느 하나일 수 있으며, 제2상태는 긍정(positive) 또는 부정(negative) 중 나머지 하나일 수 있다. 예를 들어, 제1상태는 병변이 존재하지 않는 정상 상태(negative)이고 제2상태는 병변이 존재하는 비정상 상태(positive)일 수 있다.
상기 뉴럴 네트워크(111)가 출력하는 가능성은, 상기 뉴럴 네트워크(111) 내의 손실함수(예를 들면, 평균 제곱 오차(mean squared error; MSE), 교차 엔트로피 오차(cross entropy error; CEE) 또는 두 벡터 간의 거리(예를 들면, 유클리드 거리, n-노름 거리, 맨해튼 거리 등)를 나타내는 함수 등)에 의해 산출되는 값일 수 있다.
상기 오토인코더(112)는 비지도 학습 방법론에서 주로 사용되는 뉴럴 네트워크 구조이다. 상기 오토인코더(112)는 입력되는 값의 차원을 축소했다가 다시 복원하는 형태의 비지도 기계학습 모델로서, 학습에 사용되는 값들이 가지는 특징을 학습하는 기능을 가진다. 보다 상세하게는 상기 오토인코더(112)는 출력 값을 입력 값에 근사하도록 하는 함수를 학습하며, 인코더를 통해 입력 값에 대한 피쳐를 추출하고, 디코더를 통해 입력 값를 재구성한다.
도 3은 상기 오토인코더(112)의 구조를 개략적으로 도시한 도면이다. 도 3을 참조하면, 오토인코더(112)는 컨볼루셔널 레이어를 포함하는 인코더 파트(112-1) 및 디컨볼루셔널 레이어를 포함하는 디코더 파트(112-2)를 포함할 수 있다. 인코더(111)로 원본 데이터(x)가 입력되면 인코더 파트(112-1)에서 원본 데이터(x)에 대한 인코딩이 수행되어 원본 데이터(x)의 피쳐(z=E(x))가 생성될 수 있다. 생성된 피쳐(z)는 디코더 파트(112-2)에서 디코딩되어 원본 데이터(x)에 상응하는 복원 데이터(x'=D(z))가 생성될 수 있다.
오토인코더 역시 뉴럴 네트워크의 일종이므로 다수의 훈련 데이터에 의한 학습이 선행되는데, 오토 인코도의 학습 단계에서는 각각의 학습 데이터 d에 대해 아래의 1) 내지 3) 과정이 수행된다.
1) 학습 데이터 d가 오토인코더(112)에 입력되어 인코딩 및 디코딩 과정을 거쳐 학습 데이터 d에 상응하는 복원 데이터 d'이 생성된다.
2) 학습 데이터 d와 복원 데이터 d' 간의 차이인 오차 e=L(d, d')가 산출된다(L은 손실함수).
3) 오차 역전파(error backpropagation) 방법에 따라 오토인코더(112) 내의 가중치가 갱신된다.
한편, 상기 오토인코더(112)는 입력된 값이 제1상태인지 제2상태인지를 판단하는데 이용될 수 있다.
일 실시예에서, 상기 오토인코더(112)는 제1상태의 학습 데이터만으로 미리 학습될 수 있으며, 소정의 예측 대상 값을 학습된 상기 오토인코더(112)에 입력하여 상기 오토인코더(112)가 복원(즉, 출력)한 결과 값과 상기 예측 대상 값이 소정의 한계 값 이상 차이가 나는 경우, 상기 예측 대상 값은 제2상태라고 판단될 수 있다.
다른 일 실시예예서, 상기 오토인코더(112)는 제2상태의 데이터만으로 미리 학습될 수 있으며, 소정의 예측 대상 값을 학습된 상기 오토인코더(112)에 입력하여 상기 오토인코더(112)가 복원(즉, 출력)한 결과 값과 상기 예측 대상 값이 소정의 한계 값 이상 차이가 나는 경우, 상기 예측 대상 값은 제1상태라고 판단될 수 있다.
한편, 실시예에 따라 상기 오토인코더(112)는 변분 오토인코더(Variational AutoEncoder; VAE)를 포함할 수 있다.
다시 도 2를 참조하면, 상기 DB(140)은 상기 뉴럴 네트워크(111)의 학습에 이용될 학습 데이터를 저장할 수 있다. 학습 데이터는 도 1a을 참조하여 설명한 바와 같은 다중 인스턴스 학습용 데이터일 수 있다. 즉, 상기 DB(140)에 저장된 학습 데이터 각각은 다수의 데이터 인스턴스를 포함하는 데이터 백일 수 있다.
일 실시예에서, 상기 복수의 학습 데이터 각각은 홀-이미지일 수 있으며, 각각의 학습 데이터를 구성하는 데이터 인스턴스는 해당 홀-이미지를 소정의 크기로 분할한 각각의 이미지 패치일 수 있다. 예를 들어, 상기 학습 데이터 각각은 온전한 병리 슬라이드 이미지일 수 있다. 이 경우 데이터 백은 하나의 온전한 병리 슬라이드 이미지가 되며, 해당 데이터 백에 포함된 데이터 인스턴스는 해당 병리 슬라이드 이미지를 소정의 크기로 분할한 개별 패치일 수 있다.
한편, 상기 DB(140)에 저장된 학습 데이터는 각각 제1상태 또는 제2상태로 라벨링되어 있을 수 있다. 예를 들어, 상기 복수의 학습 데이터가 병리 슬라이드 이미지일 경우, 각각의 학습 데이터는 병리 슬라이드 이미지에 대한 진단 결과(예를 들어, 병변의 유무 등)가 라벨링되어 있을 수 있다.
한편, 실시예에 따라서는 상기 학습 데이터들은 DB(140)에 저장되어 있는 것이 아니라 외부 입력 수단을 통해 사용자로부터 입력될 수도 있으며, HDD나 SDD와 같은 저장장치에 파일의 형태로 저장되어 있을 수도 있다.
상기 추출모듈(120)은 제1상태 또는 제2상태 중 어느 하나로 라벨링되어 있는 복수의 데이터 백 각각에 대하여, 상기 데이터 백에 포함된 데이터 인스턴스들 중 일부를 학습용 인스턴스로 추출하는 추출단계를 수행할 수 있다. 상기 추출모듈(120)에 의해 추출된 학습용 인스턴스는 후추 상기 뉴럴 네트워크(111)의 학습에 이용될 수 있다.
도 4는 상기 추출모듈(120)이 학습용 데이터 인스턴스를 추출하는 방법의 일 예를 도시한 도면이다. 도 4는 학습 데이터들이 도 1a에 도시돤 바와 같은 경우를 예로 들고 있다.
도 4를 참조하면, 상기 추출모듈(120)은 먼저 각각의 데이터 백 B1 내지 BM에 대하여 단계 S110 내지 S130을 수행할 수 있다(S100).
한편, 상기 추출모듈(120)은 데이터 백 Bi에 대하여(i는 1<=i<=M인 임의의 정수), 상기 데이터 백 Bi에 포함된 각 데이터 인스턴스 Dij를 뉴럴 네트워크(111)에 입력하여(j는 1<=j<=N인 임의의 정수), 상기 데이터 백 Bi에 포함된 각 데이터 인스턴스 Dij의 가능성 Pij을 산출할 수 있다(S110, S111). 예를 들어, Pij는 제2상태일 가능성일 수 있으며, 데이터 인스턴스 Dij에 대한 Cross-entropy Loss를 가능성 Pij로 산출할 수 있다.
이후 상기 추출모듈(120)은 상기 데이터 백 Bi에 포함된 각 데이터 인스턴스 별 가능성(Pi1 내지 PiN), 및 상기 데이터 백에 포함된 각 데이터 인스턴스(Di1 내지 DiN) 중 적어도 일부에 대한 상기 오토인코더(112)의 판단 결과에 기초하여 상기 데이터 백 Bi에 포함된 각 데이터 인스턴스(Di1 내지 DiN) 중 일부를 학습용 인스턴스라고 판단할 수 있으며(S120), 판단된 학습용 인스턴스를 Bi의 라벨 Li로 라벨링할 수 있다(S130).
도 5는 도 4의 단계 S120의 구체적인 과정의 일 예를 도시한 도면이다. 도 5의 예에서는 상기 오토인코더(112)는, 제1상태인 데이터 인스턴스만으로 미리 학습되어 있다고 가정한다.
도 5를 참조하면, 상기 추출모듈(120)은 상기 데이터 백이 제1상태로 라벨링된 경우, 제2상태일 가능성이 가장 높은 데이터 인스턴스에서부터 제2상태일 가능성이 낮아지는 순서로 상기 오토인코더(112)에 입력하여, 상기 오토인코더에 의해 제1상태라고 판단된 상위 일부의 데이터 인스턴스를 상기 데이터 백에 상응하는 학습용 인스턴스라고 판단할 수 있다(S121). 이때, 상기 추출모듈(120)은 오토인코더(112)에 입력된 데이터 인스턴스와 오토인코더(112)가 출력한 출력 데이터 간의 차이가 소정의 한계 값 이상인 경우 오토 인코더(112)에 입력된 데이터 인스턴스가 제1상태라고 판단할 수 있다.
한편, 상기 데이터 백이 제2상태로 라벨링된 경우, 상기 추출모듈(120)은 제2상태일 가능성이 가장 높은 데이터 인스턴스에서부터 제2상태일 가능성이 낮아지는 순서로 상기 오토인코더(112)에 입력하여, 상기 오토인코더(112)에 의해 제2상태라고 판단된 상위 일부의 데이터 인스턴스를 상기 데이터 백에 상응하는 학습용 인스턴스라고 판단할 수 있다(S122).
도 6은 도 5의 단계 S121의 구체적인 과정의 일 예를 도시한 도면이다.
도 6을 참조하면, 상기 추출모듈(120)은 데이터 백 Bi 내의 데이터 인스턴스(Di1 내지 DiN)를 제2상태일 가능성의 순으로 내림차순 정렬을 할 수 있다(S1211).
상기 추출모듈(120)은 단계 S1211를 통해 정렬된 순서대로 Bi 내의 데이터 인스턴스 Ak를 오토인코더(112)에 입력하여(k는 1<=j<=N인 임의의 정수), 입력된 데이터 인스턴스 Ak의 상태를 판단할 수 있으며(S1213), 데이터 인스턴스 Ak가 제1상태라고 판단된 경우 데이터 인스턴스 Ak를 학습용 인스턴스라고 판단할 수 있다(S1215).
상기 추출모듈(120)은 단계 S1213 내지 단계 S1215를 루프가 종료하거나 데이터 백 Bi에 상응하는 학습용 인스턴스가 미리 정해진 개수 Z만큼 발견될 때까지 수행할 수 있다(S1212, S1216, S1217 참조).
본 발명이 속하는 분야의 통상의 기술자라면, 도 6을 참고하여 도 5의 단계 S122의 구체적인 예 역시 손쉽게 도출할 수 있을 것이므로 상세한 설명은 생략하기로 한다. 한편, 도 5 및 도 6은 도 4의 단계 S120을 구현하는 일 예이며, 도 4의 단계 S120을 구현하는 다양한 방법이 있을 수 있음은 물론이다.
상술한 바와 같은 추출 과정을 통하여, 상기 추출모듈(120)은 하나의 데이터 백에서 여러 개의 데이터 인스턴스를 학습용 인스턴스로 추출할 수 있다. 종래의 다중 인스턴스 학습 방법에서는 하나의 데이터 백에서 여러 개의 학습용 인스턴스를 추출하는 경우 잘못된 학습 데이터 인스턴스가 추출될 가능성이 높아 뉴럴 네트워크의 학습에 부정적인 영향을 미칠 수 있었으나, 본 발명의 기술적 사상에 따른 방법에 의하면, 어느 하나의 상태만을 가지는 학습 데이터 인스턴스로 미리 학습된 오토인코더를 이용하여 필터링을 함으로써, 잘못된 학습 데이터 인스턴스가 추출되는 것을 상당히 줄일 수 있게 되는 효과가 있다.
다시 도 2를 참조하면, 상기 학습모듈(130)은 상기 추출모듈(120)에 의해 추출된 학습용 인스턴스에 기초하여 상기 뉴럴 네트워크(111)를 학습할 수 있다.
상기 학습모듈(130)은 널리 알려진 바와 같이, 뉴럴 네트워크(111)에 입력된 학습용 인스턴스와 출력 값간의 손실 오차를 상기 뉴럴 네트워크(111)에 역전파하여 상기 뉴럴 네트워크(111)를 학습할 수 있다.
상기 뉴럴 네트워크 학습 방법은, 상기 추출모듈에 의해 수행되는 학습 데이터 인스턴스 추출과정 및 상기 학습모듈(130)에 의해 수행되는 학습과정을 하나의 에폭(epoch)으로 취급하고, 복수의 에폭만큼 이를 반복 수행함으로써 뉴럴 네트워크(111)의 성능을 향상시킬 수 있다.
한편, 본 발명의 기술적 사상에 따른 뉴럴 네트워크 학습 방법은 이미지 기반의 질병 진단 혹은 의사의 진단에 도움을 주기 위한 진단 보조에 이용될 수 있는 이미지 기반의 질병 진단을 위한 뉴럴 네트워크를 학습하는데 응용될 수 있는데, 이하에서는 이러한 응용예에 대하여 설명하기로 한다.
본 응용예에서 상기 뉴럴 네트워크(111)는 홀-슬라이드-이미지(whole-slide-image)를 소정의 크기로 분할한 이미지 패치를 입력받아 해딩 이미지 패치에 소정의 질병으로 인한 병변의 유무를 판단하는 진단용 혹은 진단 보조용 뉴럴 네트워크일 수 있다. 이 경우 상기 DB(140)는 복수의 병리 이미지 슬라이드를 저장할 수 있다. 병리 슬라이드 이미지는 조직 이미지를 비롯한 다양한 생체 이미지일 수 있다. 한편, 각각의 병리 슬라이드 이미지는 병변이 존재하지 않는 제1상태(정상 상태), 또는 상기 병변이 존재하는 제2상태(비정상 상태) 중 어느 하나로 라벨링되어 있을 수 있다. 한편, 본 응용예에서, 상기 오토인코더(112)는 병변이 존재하지 않는 정상 상태의 이미지 패치만으로 미리 학습되어 있을 수 있다. 예를 들어, 학습자는 뉴럴 네트워크(111)의 학습을 위해 상기 DB(140)에 저장된 병리 슬라이드 이미지 중 정상 상태로 라벨링된 것만을 골라 패치로 분할한 후 상기 오토인코더(112)를 미리 학습할 수 있다. 또는 학습자는 뉴럴 네트워크(111)의 학습에 이용되지 않는 별도의 정상 상태의 패치를 수집하여 상기 오토인코더(112)를 미리 학습할 수도 있다.
본 응용예에서, 상기 추출모듈(120)은 정상 상태 또는 비정상 상태 중 어느 하나로 라벨링되어 있는 복수의 학습용 병리 슬라이드 이미지 각각에 대하여, 상기 학습용 병리 슬라이드 이미지를 구성하는 패치 중 일부인 학습용 패치를 추출하는 추출단계를 수행할 수 있으며, 상기 학습모듈(130)은 추출된 학습용 패치에 기초하여 상기 뉴럴 네트워크(111)를 학습하는 학습단계를 수행할 수 있다.
이때, 상기 추출단계에서, 상기 추출모듈(120)은 상기 학습용 병리 슬라이드 이미지를 구성하는 각 패치를 훈련중인 뉴럴 네트워크(111)에 입력하여, 상기 학습용 병리 슬라이드 이미지를 구성하는 각 패치 별 가능성을 산출할 수 있으며, 상기 학습용 병리 슬라이드 이미지를 구성하는 각 패치 별 가능성, 및 상기 학습용 병리 슬라이드 이미지를 구성하는 각 패치 중 적어도 일부에 대한 상기 오토 인코더(112)의 판단 결과에 기초하여 상기 학습용 병리 슬라이드 이미지를 구성하는 각 패치 중 일부를 학습용 패치라고 판단할 수 있다.
보다 상세하게는 상기 추출모듈(120)은 상기 학습용 병리 슬라이드 이미지가 정상 상태로 라벨링된 경우, 비정상 상태일 가능성이 가장 높은 패치에서부터 비정상 상태일 가능성이 낮아지는 순서로 상기 오토인코더(112)에 입력하여, 상기 오토인코더(112)에 의해 정상상태라고 판단된 상위 일부의 패치를 상기 학습용 이미지에 상응하는 학습용 패치라고 판단할 수 있다. 또한 상기 추출모듈(120)은 상기 학습용 이미지가 비정상 상태로 라벨링된 경우, 비정상 상태일 가능성이 가장 높은 패치에서부터 비정상 상태일 가능성이 낮아지는 순서로 상기 오토 인코더(112)에 입력하여, 상기 오토 인코더(112)에 의해 비정상 상태라고 판단된 상위 일부의 패치를 상기 학습용 이미지에 상응하는 학습용 패치라고 판단할 수 있다.
한편, 상술한 뉴럴 네트워크 학습 방법에 의해 학습된 뉴럴 네트워크는 소정의 판단 시스템에 탑재되어, 입력된 데이터에 대한 예측을 수행할 수 있다. 일 실시예에서, 상기 판단 시스템에 탑재되는 뉴럴 네트워크는 이미지에 대한 판단에 이용될 수 있다. 즉, 상기 뉴럴 네트워크는 소정의 이미지가 제1상태 또는 제2상태인지 여부를 판단하기 위한 것일 수 있다. 한편 상기 판단 시스템은 소정의 컴퓨팅 시스템일 수 있다.
이하에서는 상술한 뉴럴 네트워크 학습 방법에 의해 학습된 뉴럴 네트워크를 탑재한 판단 시스템의 일 예에 관하여 도 7을 참조하여 설명하기로 한다.
도 7은 본 발명의 일 실시예에 따른 뉴럴 네트워크를 이용한 판단 시스템의 개략적인 구성을 도시한 도면이다.
도 7을 참조하면, 상기 뉴럴 네트워크를 이용한 판단 시스템(300)은 저장모듈(310), 패치단위 판단모듈(320) 및 출력모듈(330)을 포함할 수 있다.
상기 저장모듈(310)은 상술한 뉴럴 네트워크 학습 방법에 의하여 학습된 뉴럴 네트워크를 저장할 수 있다. 상기 저장모듈(310)은 뉴럴 네트워크를 비롯하여 각종 정보 및 데이터를 저장할 수 있는 저장 수단일 수 있다.
상기 패치단위 판단모듈(320)은, 소정의 판단 대상 이미지를 분할한 복수의 진단 패치 각각을 상기 뉴럴 네트워크에 입력하여 상기 복수의 진단 패치 각각에 상응하는 판단 결과를 획득할 수 있다.
상기 출력모듈(330)은 상기 패치단위 진단모듈에 의해 획득된 상기 복수의 진단 패치 각각의 판단 결과에 기초하여, 상기 판단 대상 이미지의 격자맵을 출력할 수 있다. 상기 격자맵은 제1상태의 패치 영역과 제2상태의 패치 영역을 시각적으로 구분할 수 있는 맵을 의미할 수 있다.
상기 뉴럴 네트워크를 이용한 판단 시스템()은 병리 슬라이드 이미지를 입력받아 병변 영역을 출력하는 시스템으로 이용될 수 있다. 이 경우, 즉, 상기 판단 시스템(300)은 소정의 질병에 의한 병변을 포함하는 병리 슬라이드 이미지를 입력받을 수 있으며, 상기 패치단위 판단모듈(320)은 상기 병리 슬라이드 이미지를 패치 단위로 분할하고, 각 패치 별로 병변의 존재 유무를 판단할 수 있다. 이후 상기 출력모듈()은 각 패치 별 판단 결과에 기초하여 상기 병리 슬라이드 이미지의 병변 영역을 패치 단위로 구분되는 격자맵의 형태로 출력할 수 있다.
도 8은 병리 슬라이드 이미지 내의 병변 영역을 격자맵의 형태로 출력한 예를 도시하고 있다. 도 8에서는 제2상태로 판단된 패치에 상응하는 영역(병변 영역)이 짙은 색으로 표시되어 있다.
한편, 상기 컴퓨팅 장치(100)는 프로세서 및 저장장치를 포함할 수 있다. 상기 프로세서는 본 발명의 기술적 사상을 구현하기 위한 프로그램을 구동시킬 수 있는 연산장치를 의미할 수 있으며, 상기 프로그램과 본 발명의 기술적 사상에 의해 정의되는 뉴럴 네트워크 학습 방법을 수행할 수 있다. 상기 프로세서는 싱글 코어 CPU 혹은 멀티 코어 CPU를 포함할 수 있다. 상기 저장장치는 본 발명의 기술적 사상을 구현하는데 필요한 프로그램 및 각종 데이터를 저장할 수 있는 데이터 저장수단을 의미할 수 있으며, 구현 예에 따라 복수의 저장수단으로 구현될 수도 있다. 또한 상기 저장장치는 상기 컴퓨팅 장치(100)에 포함된 주 기억장치뿐만 아니라, 상기 프로세서에 포함될 수 있는 임시 저장장치 또는 메모리 등을 포함하는 의미일 수도 있다. 메모리는 고속 랜덤 액세스 메모리를 포함할 수 있고 하나 이상의 자기 디스크 저장 장치, 플래시 메모리 장치, 또는 기타 비휘발성 고체상태 메모리 장치와 같은 비휘발성 메모리를 포함할 수도 있다. 프로세서 및 기타 구성 요소에 의한 메모리로의 액세스는 메모리 컨트롤러에 의해 제어될 수 있다.
한편, 본 발명의 실시예에 따른 방법은 컴퓨터가 읽을 수 있는 프로그램 명령 형태로 구현되어 컴퓨터로 읽을 수 있는 기록 매체에 저장될 수 있으며, 본 발명의 실시예에 따른 제어 프로그램 및 대상 프로그램도 컴퓨터로 판독 가능한 기록 매체에 저장될 수 있다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
기록 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 소프트웨어 분야 당업자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터로 읽을 수 있는 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 전자적으로 정보를 처리하는 장치, 예를 들어, 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타나며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (17)

  1. 입력된 데이터 인스턴스(instance)가 제1상태인지 제2상태인지를 판단하기 위한 오토인코더 및 입력된 데이터 인스턴스가 제1상태 또는 제2상태일 가능성을 출력할 수 있는 뉴럴 네트워크를 포함하는 컴퓨팅 시스템에서 수행되는 뉴럴 네트워크 학습 방법으로서,
    제1상태 또는 제2상태 중 어느 하나로 라벨링되어 있는 복수의 데이터 백(bag) 각각에 대하여, 상기 데이터 백에 포함된 데이터 인스턴스들 중 일부인 학습용 인스턴스를 추출하는 추출단계; 및
    상기 복수의 데이터 백 각각에 상응하는 학습용 인스턴스에 기초하여 상기 뉴럴 네트워크를 학습하는 학습단계를 포함하되,
    상기 추출단계는,
    상기 데이터 백에 포함된 각 데이터 인스턴스를 학습 중인 상기 뉴럴 네트워크에 입력하여, 상기 데이터 백에 포함된 각 데이터 인스턴스 별 가능성을 산출하는 단계; 및
    상기 데이터 백에 포함된 각 데이터 인스턴스 별 가능성, 및 상기 데이터 백에 포함된 각 데이터 인스턴스 중 적어도 일부에 대한 상기 오토인코더의 판단 결과에 기초하여 상기 데이터 백에 포함된 각 데이터 인스턴스 중 일부를 학습용 인스턴스라고 판단하는 단계를 포함하는 뉴럴 네트워크 학습 방법.
  2. 제1항에 있어서,
    상기 컴퓨팅 시스템은,
    상기 오토인코더에 입력된 데이터 인스턴스와 상기 오토인코더에서 출력된 출력 데이터와의 차이에 기초하여, 상기 오토인코더에 입력된 데이터 인스턴스가 제1상태인지 제2상태인지를 판단하는 뉴럴 네트워크 학습 방법.
  3. 제1항에 있어서,
    상기 오토인코더는, 제1상태인 데이터 인스턴스만으로 미리 학습되어 있으며,
    상기 데이터 백에 포함된 각 데이터 인스턴스 별 가능성, 및 상기 데이터 백에 포함된 각 데이터 인스턴스 중 적어도 일부에 대한 상기 오토인코더의 판단 결과에 기초하여 상기 데이터 백에 포함된 각 데이터 인스턴스 중 일부를 학습용 인스턴스라고 판단하는 단계는,
    상기 데이터 백이 제1상태로 라벨링된 경우,
    제2상태일 가능성이 가장 높은 데이터 인스턴스에서부터 제2상태일 가능성이 낮아지는 순서로 상기 오토인코더에 입력하여, 상기 오토인코더에 의해 제1상태라고 판단된 상위 일부의 데이터 인스턴스를 상기 데이터 백에 상응하는 학습용 인스턴스라고 판단하는 단계; 및
    상기 데이터 백이 제2상태로 라벨링된 경우,
    제2상태일 가능성이 가장 높은 데이터 인스턴스에서부터 제2상태일 가능성이 낮아지는 순서로 상기 오토인코더에 입력하여, 상기 오토인코더에 의해 제2상태라고 판단된 상위 일부의 데이터 인스턴스를 상기 데이터 백에 상응하는 학습용 인스턴스라고 판단하는 단계를 포함하는 뉴럴 네트워크 학습 방법.
  4. 제1항에 있어서,
    상기 뉴럴 네트워크 학습 방법은,
    상기 추출단계 및 상기 학습단계를 1 에폭(epoch) 이상 반복 수행하는 단계를 더 포함하는 뉴럴 네트워크 학습 방법.
  5. 제1항에 있어서,
    상기 복수의 데이터 백 각각은, 홀-이미지(whole-image)이며,
    상기 복수의 데이터 백 각각에 포함된 데이터 인스턴스(instance)는, 상기 데이터 백에 상응하는 홀-이미지를 소정의 크기로 분할한 각각의 이미지 패치인 것을 특징으로 하는 뉴럴 네트워크 학습 방법
  6. 입력된 패치가 제1상태인지 제2상태인지를 판단하기 위한 오토인코더-여기서, 상기 패치는, 이미지를 소정의 크기로 분할한 것 중 하나임-; 및 입력된 패치가 제1상태 또는 제2상태일 가능성을 출력할 수 있는 뉴럴 네트워크를 포함하는 컴퓨팅 시스템에서 수행되는 뉴럴 네트워크 학습 방법으로서,
    제1상태 또는 제2상태 중 어느 하나로 라벨링되어 있는 복수의 학습용 이미지 각각에 대하여, 상기 학습용 이미지를 구성하는 패치 중 일부인 학습용 패치를 추출하는 추출단계; 및
    상기 복수의 학습용 이미지 각각에 상응하는 학습용 패치에 기초하여 상기 뉴럴 네트워크를 학습하는 학습단계를 포함하되,
    상기 추출단계는,
    상기 학습용 이미지를 구성하는 각 패치를 훈련중인 상기 뉴럴 네트워크에 입력하여, 상기 학습용 이미지를 구성하는 각 패치 별 가능성을 산출하는 단계; 및
    상기 학습용 이미지를 구성하는 각 패치 별 가능성, 및 상기 학습용 이미지를 구성하는 각 패치 중 적어도 일부에 대한 상기 오토인코더의 판단 결과에 기초하여 상기 학습용 이미지를 구성하는 각 패치 중 일부를 학습용 패치라고 판단하는 단계를 포함하는 뉴럴 네트워크 학습 방법.
  7. 제6항에 있어서,
    상기 오토인코더는, 제1상태인 패치만으로 미리 학습되어 있으며,
    상기 학습용 이미지를 구성하는 각 패치 별 가능성, 및 상기 학습용 이미지를 구성하는 각 패치 중 적어도 일부에 대한 상기 오토인코더의 판단 결과에 기초하여 상기 학습용 이미지를 구성하는 각 패치 중 일부를 학습용 패치라고 판단하는 단계는,
    상기 학습용 이미지가 제1상태로 라벨링된 경우,
    제2상태일 가능성이 가장 높은 패치에서부터 제2상태일 가능성이 낮아지는 순서로 상기 오토인코더에 입력하여, 상기 오토인코더에 의해 제1상태라고 판단된 상위 일부의 패치를 상기 학습용 이미지에 상응하는 학습용 패치라고 판단하는 단계; 및
    상기 학습용 이미지가 제2상태로 라벨링된 경우,
    제2상태일 가능성이 가장 높은 패치에서부터 제2상태일 가능성이 낮아지는 순서로 상기 오토인코더에 입력하여, 상기 오토인코더에 의해 제2상태라고 판단된 상위 일부의 패치를 상기 학습용 이미지에 상응하는 학습용 패치라고 판단하는 단계를 포함하는 뉴럴 네트워크 학습 방법.
  8. 제6항에 있어서,
    상기 학습용 이미지 각각은, 소정의 질병으로 인한 병변이 포함된 이미지 혹은 상기 병변이 포함되지 않는 이미지 중 어느 하나이며,
    상기 제1상태는 상기 병변이 존재하지 않는 정상 상태이며,
    상기 제2상태는 상기 병변이 존재하는 비정상 상태인 뉴럴 네트워크 학습 방법.
  9. 제6항에 기재된 뉴럴 네트워크 학습 방법에 의하여 학습된 뉴럴 네트워크를 저장하는 저장모듈;
    소정의 판단 대상 이미지를 분할한 복수의 진단 패치 각각을 상기 뉴럴 네트워크에 입력하여 상기 복수의 진단 패치 각각에 상응하는 판단 결과를 획득하는 패치단위 판단모듈; 및
    상기 패치단위 판단모듈에 의해 획득된 상기 복수의 진단 패치 각각의 판단 결과에 기초하여, 상기 판단 대상 이미지의 격자맵을 출력하는 출력모듈을 포함하는 뉴럴 네트워크를 이용한 판단 시스템.
  10. 컴퓨팅 시스템에 제1항 내지 제8항 중 어느 한 항에 기재된 방법을 실행시키기 위하여 매체에 기록된 컴퓨터 프로그램.
  11. 컴퓨팅 시스템에 제1항 내지 제8항 중 어느 한 항에 기재된 방법을 실행시키기 위한 컴퓨터 프로그램이 기록된 컴퓨터 판독가능한 기록매체.
  12. 컴퓨팅 시스템으로서,
    프로세서 및 메모리를 포함하되,
    상기 메모리는, 상기 프로세서에 의해 수행될 경우, 상기 컴퓨팅 시스템이 제1항 내지 제8항 중 어느 한 항에 기재된 방법을 수행하도록 하는 컴퓨팅 시스템.
  13. 입력된 데이터 인스턴스(instance)가 제1상태인지 제2상태인지를 판단하기 위한 오토인코더 및 입력된 데이터 인스턴스가 제1상태 또는 제2상태일 가능성을 출력할 수 있는 뉴럴 네트워크를 저장하는 저장모듈;
    제1상태 또는 제2상태 중 어느 하나로 라벨링되어 있는 복수의 데이터 백(bag) 각각에 대하여, 상기 데이터 백에 포함된 데이터 인스턴스들 중 일부인 학습용 인스턴스를 추출하는 추출모듈; 및
    상기 복수의 데이터 백 각각에 상응하는 학습용 인스턴스에 기초하여 상기 뉴럴 네트워크를 학습하는 학습모듈을 포함하되,
    상기 추출모듈은,
    상기 데이터 백에 포함된 각 데이터 인스턴스를 학습 중인 상기 뉴럴 네트워크에 입력하여, 상기 데이터 백에 포함된 각 데이터 인스턴스 별 가능성을 산출하고,
    상기 데이터 백에 포함된 각 데이터 인스턴스 별 가능성, 및 상기 데이터 백에 포함된 각 데이터 인스턴스 중 적어도 일부에 대한 상기 오토인코더의 판단 결과에 기초하여 상기 데이터 백에 포함된 각 데이터 인스턴스 중 일부를 학습용 인스턴스라고 판단하는 뉴럴 네트워크 학습 시스템.
  14. 제13항에 있어서,
    상기 추출모듈은,
    상기 오토인코더에 입력된 데이터 인스턴스와 상기 오토인코더에서 출력된 출력 데이터와의 차이에 기초하여, 상기 오토인코더에 입력된 데이터 인스턴스가 제1상태인지 제2상태인지를 판단하는 뉴럴 네트워크 학습 시스템.
  15. 제13항에 있어서,
    상기 오토인코더는, 제1상태인 데이터 인스턴스만으로 미리 학습되어 있으며,
    상기 추출모듈은, 상기 데이터 백에 포함된 각 데이터 인스턴스 별 가능성, 및 상기 데이터 백에 포함된 각 데이터 인스턴스 중 적어도 일부에 대한 상기 오토인코더의 판단 결과에 기초하여 상기 데이터 백에 포함된 각 데이터 인스턴스 중 일부를 학습용 인스턴스라고 판단하기 위하여,
    상기 데이터 백이 제1상태로 라벨링된 경우,
    제2상태일 가능성이 가장 높은 데이터 인스턴스에서부터 제2상태일 가능성이 낮아지는 순서로 상기 오토인코더에 입력하여, 상기 오토인코더에 의해 제1상태라고 판단된 상위 일부의 데이터 인스턴스를 상기 데이터 백에 상응하는 학습용 인스턴스라고 판단하고,
    상기 데이터 백이 제2상태로 라벨링된 경우,
    제2상태일 가능성이 가장 높은 데이터 인스턴스에서부터 제2상태일 가능성이 낮아지는 순서로 상기 오토인코더에 입력하여, 상기 오토인코더에 의해 제2상태라고 판단된 상위 일부의 데이터 인스턴스를 상기 데이터 백에 상응하는 학습용 인스턴스라고 판단하는 뉴럴 네트워크 학습 시스템.
  16. 입력된 패치가 제1상태인지 제2상태인지를 판단하기 위한 오토인코더-여기서, 상기 패치는, 이미지를 소정의 크기로 분할한 것 중 하나이며, 상기 오토인코더는, 복수의 제1상태인 패치만으로 미리 학습됨; 및
    입력된 패치가 제1상태 또는 제2상태일 가능성을 출력할 수 있는 뉴럴 네트워크를 저장하는 저장모듈;
    제1상태 또는 제2상태 중 어느 하나로 라벨링되어 있는 복수의 학습용 이미지 각각에 대하여, 상기 학습용 이미지를 구성하는 패치 중 일부인 학습용 패치를 추출하는 추출모듈; 및
    상기 복수의 학습용 이미지 각각에 상응하는 학습용 패치에 기초하여 상기 뉴럴 네트워크를 학습하는 학습모듈을 포함하되,
    상기 추출모듈은,
    상기 학습용 이미지를 구성하는 각 패치를 훈련중인 상기 뉴럴 네트워크에 입력하여, 상기 학습용 이미지를 구성하는 각 패치 별 가능성을 산출하고,
    상기 학습용 이미지를 구성하는 각 패치 별 가능성, 및 상기 학습용 이미지를 구성하는 각 패치 중 적어도 일부에 대한 상기 오토인코더의 판단 결과에 기초하여 상기 학습용 이미지를 구성하는 각 패치 중 일부를 학습용 패치라고 판단하는 뉴럴 네트워크 학습 시스템.
  17. 제16항에 있어서,
    상기 오토인코더는, 제1상태인 패치만으로 미리 학습되어 있으며,
    상기 추출모듈은, 상기 학습용 이미지를 구성하는 각 패치 별 가능성, 및 상기 학습용 이미지를 구성하는 각 패치 중 적어도 일부에 대한 상기 오토인코더의 판단 결과에 기초하여 상기 학습용 이미지를 구성하는 각 패치 중 일부를 학습용 패치라고 판단하기 위하여,
    상기 학습용 이미지가 제1상태로 라벨링된 경우,
    제2상태일 가능성이 가장 높은 패치에서부터 제2상태일 가능성이 낮아지는 순서로 상기 오토인코더에 입력하여, 상기 오토인코더에 의해 제1상태라고 판단된 상위 일부의 패치를 상기 학습용 이미지에 상응하는 학습용 패치라고 판단하고,
    상기 학습용 이미지가 제2상태로 라벨링된 경우,
    제2상태일 가능성이 가장 높은 패치에서부터 제2상태일 가능성이 낮아지는 순서로 상기 오토인코더에 입력하여, 상기 오토인코더에 의해 제2상태라고 판단된 상위 일부의 패치를 상기 학습용 이미지에 상응하는 학습용 패치라고 판단하는 뉴럴 네트워크 학습 시스템.
KR1020200068640A 2020-06-05 2020-06-05 오토인코더 및 다중 인스턴스 학습을 통한 뉴럴 네트워크 학습 방법 및 이를 수행하는 컴퓨팅 시스템 KR102163519B1 (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
KR1020200068640A KR102163519B1 (ko) 2020-06-05 2020-06-05 오토인코더 및 다중 인스턴스 학습을 통한 뉴럴 네트워크 학습 방법 및 이를 수행하는 컴퓨팅 시스템
JP2022572516A JP2023529585A (ja) 2020-06-05 2021-06-03 オートエンコーダ及びマルチインスタンス学習を通じたニューラルネットワーク学習方法並びにこれを実行するコンピューティングシステム
EP21818809.2A EP4148629A4 (en) 2020-06-05 2021-06-03 METHOD FOR TRAINING A NEURAL NETWORK BY AUTO-CODER AND MULTI-INSTANCE LEARNING, AND COMPUTER SYSTEM FOR IMPLEMENTING THIS METHOD
PCT/KR2021/006966 WO2021246810A1 (ko) 2020-06-05 2021-06-03 오토인코더 및 다중 인스턴스 학습을 통한 뉴럴 네트워크 학습 방법 및 이를 수행하는 컴퓨팅 시스템
US18/008,407 US20230244930A1 (en) 2020-06-05 2021-06-03 Neural network learning method using auto encoder and multiple instance learning and computing system performing the same
CN202180040650.7A CN115777107A (zh) 2020-06-05 2021-06-03 通过自动编码器及多实例学习进行的神经网络学习方法以及执行其的计算系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200068640A KR102163519B1 (ko) 2020-06-05 2020-06-05 오토인코더 및 다중 인스턴스 학습을 통한 뉴럴 네트워크 학습 방법 및 이를 수행하는 컴퓨팅 시스템

Publications (1)

Publication Number Publication Date
KR102163519B1 true KR102163519B1 (ko) 2020-10-07

Family

ID=72883662

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200068640A KR102163519B1 (ko) 2020-06-05 2020-06-05 오토인코더 및 다중 인스턴스 학습을 통한 뉴럴 네트워크 학습 방법 및 이를 수행하는 컴퓨팅 시스템

Country Status (6)

Country Link
US (1) US20230244930A1 (ko)
EP (1) EP4148629A4 (ko)
JP (1) JP2023529585A (ko)
KR (1) KR102163519B1 (ko)
CN (1) CN115777107A (ko)
WO (1) WO2021246810A1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102317992B1 (ko) * 2021-03-26 2021-10-28 주식회사 트윔 뉴럴 네트워크를 이용한 제품 검사 방법, 장치 및 제품 검사 장치 학습 방법
WO2021246810A1 (ko) * 2020-06-05 2021-12-09 주식회사 딥바이오 오토인코더 및 다중 인스턴스 학습을 통한 뉴럴 네트워크 학습 방법 및 이를 수행하는 컴퓨팅 시스템
KR20220117005A (ko) * 2021-02-16 2022-08-23 한국기술교육대학교 산학협력단 기계학습 모델의 이상 데이터 추출 방법 및 장치
WO2022224419A1 (ja) * 2021-04-22 2022-10-27 日本電気株式会社 学習装置、予測装置、学習方法、及び、記録媒体

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019186198A1 (en) * 2018-03-29 2019-10-03 Benevolentai Technology Limited Attention filtering for multiple instance learning
KR20190143510A (ko) * 2018-06-04 2019-12-31 주식회사 딥바이오 투 페이스 질병 진단 시스템 및 그 방법
KR20200044183A (ko) * 2018-10-05 2020-04-29 주식회사 딥바이오 병리 이미지 검색을 위한 시스템 및 방법
KR20200057547A (ko) * 2018-11-16 2020-05-26 주식회사 딥바이오 지도학습기반의 합의 진단방법 및 그 시스템

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102163519B1 (ko) * 2020-06-05 2020-10-07 주식회사 딥바이오 오토인코더 및 다중 인스턴스 학습을 통한 뉴럴 네트워크 학습 방법 및 이를 수행하는 컴퓨팅 시스템

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019186198A1 (en) * 2018-03-29 2019-10-03 Benevolentai Technology Limited Attention filtering for multiple instance learning
KR20190143510A (ko) * 2018-06-04 2019-12-31 주식회사 딥바이오 투 페이스 질병 진단 시스템 및 그 방법
KR20200044183A (ko) * 2018-10-05 2020-04-29 주식회사 딥바이오 병리 이미지 검색을 위한 시스템 및 방법
KR20200057547A (ko) * 2018-11-16 2020-05-26 주식회사 딥바이오 지도학습기반의 합의 진단방법 및 그 시스템

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021246810A1 (ko) * 2020-06-05 2021-12-09 주식회사 딥바이오 오토인코더 및 다중 인스턴스 학습을 통한 뉴럴 네트워크 학습 방법 및 이를 수행하는 컴퓨팅 시스템
KR20220117005A (ko) * 2021-02-16 2022-08-23 한국기술교육대학교 산학협력단 기계학습 모델의 이상 데이터 추출 방법 및 장치
KR102556173B1 (ko) * 2021-02-16 2023-07-14 한국기술교육대학교 산학협력단 기계학습 모델의 이상 데이터 추출 방법 및 장치
KR102317992B1 (ko) * 2021-03-26 2021-10-28 주식회사 트윔 뉴럴 네트워크를 이용한 제품 검사 방법, 장치 및 제품 검사 장치 학습 방법
WO2022224419A1 (ja) * 2021-04-22 2022-10-27 日本電気株式会社 学習装置、予測装置、学習方法、及び、記録媒体
EP4328853A4 (en) * 2021-04-22 2024-05-01 Nec Corp TRAINING DEVICE, PREDICTION DEVICE, TRAINING METHOD AND RECORDING MEDIUM

Also Published As

Publication number Publication date
US20230244930A1 (en) 2023-08-03
CN115777107A (zh) 2023-03-10
EP4148629A1 (en) 2023-03-15
WO2021246810A1 (ko) 2021-12-09
JP2023529585A (ja) 2023-07-11
EP4148629A4 (en) 2024-05-15

Similar Documents

Publication Publication Date Title
KR102163519B1 (ko) 오토인코더 및 다중 인스턴스 학습을 통한 뉴럴 네트워크 학습 방법 및 이를 수행하는 컴퓨팅 시스템
Fang et al. Read like humans: Autonomous, bidirectional and iterative language modeling for scene text recognition
Yao et al. A comprehensive survey on convolutional neural network in medical image analysis
Dara et al. Feature extraction by using deep learning: A survey
Pashaei et al. Brain tumor classification via convolutional neural network and extreme learning machines
Purwar et al. Hybrid prediction model with missing value imputation for medical data
KR102246318B1 (ko) 병리 이미지 검색을 위한 시스템 및 방법
US20210034968A1 (en) Neural network learning apparatus for deep learning and method thereof
KR102261475B1 (ko) 중증도 판단용 뉴럴 네트워크 학습 방법 및 시스템
Gayathri et al. Automated classification of diabetic retinopathy through reliable feature selection
KR102236948B1 (ko) 준-지도학습을 이용하여 질병의 발병 영역에 대한 어노테이션을 수행하기 위한 방법 및 이를 수행하는 진단 시스템
US20200134455A1 (en) Apparatus and method for training deep learning model
Sun et al. Novel hybrid CNN-SVM model for recognition of functional magnetic resonance images
KR102512151B1 (ko) 객체 검출 방법 및 장치
Pap et al. Implementation of intelligent model for pneumonia detection
WO2021067457A1 (en) Objective evaluation of neurological movement disorders from medical imaging
Thomas et al. Comparative analysis of facial affect detection algorithms
KR102226897B1 (ko) 다중 페이즈 생체 이미지를 이용하여 학습된 뉴럴 네트워크를 이용한 질병 진단 방법 및 이를 수행하는 질병 진단 시스템
Mendoza et al. Anomaly Detection with generative models
Nalepa et al. Fusing Deep Learning with Support Vector Machines to Detect COVID-19 in X-Ray Images
Khan A Novel Deep Learning-Based Framework for Context-Aware Semantic Segmentation in Medical Imaging
KR102229939B1 (ko) 인공신경망을 이용한 심박동기 구분을 위한 장치, 이를 위한 방법 및 이 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체
Gutstein Transfer learning techniques for deep neural nets
KR20220043064A (ko) 병리 이미지 분석 결과 출력 방법 및 이를 수행하는 컴퓨팅 시스템
Toennies et al. Classification and clustering

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant