KR102642137B1 - 딥 러닝 모델의 불확실성을 고려한 조직 이미지 분류 장치 및 조직 이미지 분류 방법 - Google Patents

딥 러닝 모델의 불확실성을 고려한 조직 이미지 분류 장치 및 조직 이미지 분류 방법 Download PDF

Info

Publication number
KR102642137B1
KR102642137B1 KR1020220098532A KR20220098532A KR102642137B1 KR 102642137 B1 KR102642137 B1 KR 102642137B1 KR 1020220098532 A KR1020220098532 A KR 1020220098532A KR 20220098532 A KR20220098532 A KR 20220098532A KR 102642137 B1 KR102642137 B1 KR 102642137B1
Authority
KR
South Korea
Prior art keywords
label
patches
tissue image
value
threshold
Prior art date
Application number
KR1020220098532A
Other languages
English (en)
Other versions
KR20240020745A (ko
Inventor
이문용
박영진
천종기
고영신
Original Assignee
한국과학기술원
(재)씨젠의료재단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원, (재)씨젠의료재단 filed Critical 한국과학기술원
Priority to KR1020220098532A priority Critical patent/KR102642137B1/ko
Publication of KR20240020745A publication Critical patent/KR20240020745A/ko
Application granted granted Critical
Publication of KR102642137B1 publication Critical patent/KR102642137B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/693—Acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695—Preprocessing, e.g. image segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/032—Recognition of patterns in medical or anatomical images of protuberances, polyps nodules, etc.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

본 명세서는 조직이 활영된 조직 이미지를 입력받고, 조직 이미지를 복수의 패치들로 분할하고, 학습된 딥 러닝 모델을 기초로 복수의 패치들에 대한 분류 결과를 생성하고 복수의 패치들에 대한 분류 결과를 기초로 조직 이미지에 대한 분류 결과를 생성하는 조직 이미지 분류 장치 및 조직 이미지 분류 방법을 제공한다. 조직 이미지 분류 장치는 N개의 소스 패치들 중에서 비정상 타입으로 라벨링된 소스 패치의 개수 M을 기초로 하여, 병합 패치가 정상 타입인 정도를 지시하는 제1 라벨과 병합 패치가 비정상 타입인 정도를 지시하는 제2 라벨을 결정할 수 있다.

Description

딥 러닝 모델의 불확실성을 고려한 조직 이미지 분류 장치 및 조직 이미지 분류 방법{Tissue image classifying device considering uncertainty of deep learning model and operating method of classifying tissue image}
본 발명은 딥 러닝 모델의 불확실성을 고려한 조직 이미지 분류 장치 및 조직 이미지 분류 방법에 관한 것이다.
암(cancer)과 같이 인간을 사망에 이르게 할 수 있는 질병을 신속하게 진단하기 위하여, 조직(tissue)이 촬영된 조직 이미지를 인공 지능을 이용하여 자동으로 분류하는 방법에 대한 연구가 활발하게 진행되고 있다. 조직 이미지를 자동으로 분류할 수 있다면 의사가 암을 판단하기 위해 사용하는 시간과 노력을 절감할 수 있다.
그러나 조직 이미지를 인공 지능을 이용하여 자동으로 분류할 때, 조직 이미지의 크기가 성능에 큰 영향을 미친다.
조직 이미지의 크기는 현재의 중앙 처리 장치(CPU) 및 그래픽 처리 장치(GPU)를 기반하여 동작하는 인공 지능 모델이 처리 가능한 이미지의 크기보다 매우 커서, 조직 이미지 전체를 인공 지능 모델에 입력할 경우 조직 이미지를 분류하는데 오랜 시간이 소요되기 때문이다.
따라서, 조직 이미지 전체를 인공 지능 모델에 한꺼번에 입력하는 대신 조직 이미지를 복수의 패치들로 분할하고, 분할된 복수의 패치들을 인공 지능 모델에 입력하여 조직 이미지의 타입을 분류하는 방법이 주로 사용되고 있다.
실시예들은, 딥 러닝 모델의 학습에 사용되는 패치의 개수를 증가시킬 수 있는 조직 이미지 분류 장치 및 조직 이미지 분류 방법을 제공한다.
또한, 실시예들은, 딥 러닝 모델을 학습하는 과정에서 과대-확신(over-confidence) 문제가 발생하는 것을 방지할 수 있는 조직 이미지 분류 장치 및 조직 이미지 분류 방법을 제공한다.
또한, 실시예들은, 딥 러닝 모델의 학습에 사용되는 패치에 대한 라벨링 정보를 보다 정확하게 결정할 수 있는 조직 이미지 분류 장치 및 조직 이미지 분류 방법을 제공한다.
다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
일 실시예는, 조직이 촬영된 조직 이미지를 입력받는 입력부, 조직 이미지를 복수의 패치들로 분할하는 분할부, 학습된 딥 러닝 모델을 기초로 복수의 패치들에 대한 분류 결과를 생성하고 복수의 패치들에 대한 분류 결과를 기초로 조직 이미지에 대한 분류 결과를 생성하는 조직 이미지 분류부를 포함하는 조직 이미지 분류 장치를 제공한다.
이때, 학습된 딥 러닝 모델은, 학습에 사용된 조직 이미지를 분할부를 이용해 분할한 N개의 소스 패치들을 병합하여 생성된 병합 패치를 이용하여 학습된 딥 러닝 모델이다. 그리고 병합 패치가 정상 타입인 정도를 지시하는 제1 라벨과 병합 패치가 비정상 타입인 정도를 지시하는 제2 라벨은 N개의 소스 패치들 중에서 비정상 타입으로 라벨링된 소스 패치의 개수 M(M은 0 이상 N 이하의 정수)을 기초로 결정될 수 있다.
다른 실시예는, 조직이 촬영된 조직 이미지를 입력받는 입력부, 조직 이미지를 복수의 패치들로 분할하는 분할부, 복수의 패치들 중 N개(N은 자연수)의 소스 패치들을 병합하여 병합 패치를 생성하는 생성부 및 병합 패치를 이용하여 딥 러닝 모델에 대한 학습을 수행하는 학습부를 포함하는 딥 러닝 모델 학습 장치를 제공한다.
이때, 생성부는, N개의 소스 패치들 중에서 비정상 타입으로 라벨링된 소스 패치의 개수 M(M은 0 이상 N 이하의 정수)를 기초로 하여, 병합 패치가 정상 타입인 정도를 지시하는 제1 라벨과 병합 패치가 비정상 타입인 정도를 지시하는 제2 라벨을 결정할 수 있다.
또 다른 실시예는, 조직이 촬영된 제1 조직 이미지를 입력받는 제1 입력 단계, 제1 조직 이미지를 복수의 제1 패치들로 분할하는 제1 분할 단계, 복수의 제1 패치들 중 N개(N은 자연수)의 소스 패치들을 병합하여 병합 패치를 생성하는 생성 단계, 병합 패치를 이용하여 딥 러닝 모델에 대한 학습을 수행하는 학습 단계, 조직이 촬영된 제2 조직 이미지를 입력받는 제2 입력 단계, 제2 조적 이미지를 복수의 제2 패치들로 분할하는 제2 분할 단계 및 딥 러닝 모델을 기초로 제2 패치들에 대한 분류 결과를 생성하고, 제2 패치들에 대한 분류 결과를 기초로 제2 조직 이미지에 대한 분류 결과를 생성하는 조직 이미지 분류 단계;를 포함하는 조직 이미지 분류 방법을 제공한다.
이때, 생성 단계는, N개의 소스 패치들 중에서 비정상 타입으로 라벨링된 소스 패치의 개수 M(M은 0 이상 N 이하의 정수)를 기초로 하여, 병합 패치가 정상 타입인 정도를 지시하는 제1 라벨과 병합 패치가 비정상 타입인 정도를 지시하는 제2 라벨을 결정할 수 있다.
또 다른 실시예는, 조직이 촬영된 조직 이미지 및 조직 이미지가 분할된 복수의 패치들을 저장하는 메모리 및 학습된 딥 러닝 모델을 기초로 복수의 패치들에 대한 분류 결과를 생성하고 복수의 패치들에 대한 분류 결과를 기초로 상기 조직 이미지에 대한 분류 결과를 생성하는 프로세서를 포함하는 컴퓨팅 시스템을 제공한다.
이때, 학습된 딥 러닝 모델은 학습에 사용된 조직 이미지가 분할된 N개의 소스 패치들을 병합하여 생성된 병합 패치를 이용하여 학습된 딥 러닝 모델이다. 그리고 병합 패치가 정상 타입인 정도를 지시하는 제1 라벨과 병합 패치가 비정상 타입인 정도를 지시하는 제2 라벨은 N개의 소스 패치들 중에서 비정상 타입으로 라벨링된 소스 패치의 개수 M(M은 0 이상의 정수)을 기초로 결정될 수 있다.
실시예들에 따른 조직 이미지 분류 장치 및 조직 이미지 분류 방법에 의하면, 딥 러닝 모델의 학습에 사용되는 패치의 개수를 증가시키고, 딥 러닝 모델을 학습하는 과정에서 과대-확신(over-confidence) 문제가 발생하는 것을 방지하고, 딥 러닝 모델의 학습에 사용되는 패치에 대한 라벨링 정보를 보다 정확하게 결정할 수 있다.
도 1은 본 발명의 일 실시예에 따른 딥 러닝 모델 학습 장치의 개념도이다.
도 2는 본 발명의 일 실시예에 따른 딥 러닝 모델 학습 장치의 동작의 일 예를 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 딥 러닝 모델 학습 장치의 동작의 다른 예를 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 딥 러닝 모델 학습 장치의 동작의 또 다른 예를 나타낸 도면이다.
도 5는 패치에 따른 라벨링 정보의 일 예를 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따른 병합 패치와 라벨링 정보의 관계의 일 예를 나타낸 도면이다.
도 7은 본 발명의 일 실시예에 따른 병합 패치의 제1 라벨과 제2 라벨의 범위의 일 예를 나타낸 도면이다.
도 8은 본 발명의 일 실시예에 따른 딥 러닝 모델 학습 장치가 제1 라벨과 제2 라벨을 결정하는 동작의 일 예를 나타낸 흐름도이다.
도 9는 본 발명의 일 실시예에 따른 딥 러닝 모델 학습 장치가 M의 값에 따라 병합 패치의 제1 라벨과 제2 라벨을 결정하는 동작의 일 예를 나타낸 도면이다.
도 10은 본 발명의 일 실시예에 따른 조직 이미지 분류 장치를 나타낸 개념도이다.
도 11은 본 발명의 실시예들에 따른 조직 이미지 분류 방법을 나타낸 도면이다.
도 12는 본 발명의 실시예들에 따른 컴퓨팅 시스템의 구성도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
명세서 전체에서 사용되는 정도의 용어 "약", "실질적으로" 등은 언급된 의미에 고유한 제조 및 물질 허용오차가 제시될 때 그 수치에서 또는 그 수치에 근접한 의미로 사용되고, 본 발명의 이해를 돕기 위해 정확하거나 절대적인 수치가 언급된 개시 내용을 비양심적인 침해자가 부당하게 이용하는 것을 방지하기 위해 사용된다. 본 발명의 명세서 전체에서 사용되는 정도의 용어 "~(하는) 단계" 또는 "~의 단계"는 "~ 를 위한 단계"를 의미하지 않는다.
본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1개의 유닛이 2개 이상의 하드웨어를 이용하여 실현되어도 되고, 2개 이상의 유닛이 1개의 하드웨어에 의해 실현되어도 된다.
본 명세서에 있어서 단말, 장치 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말, 장치 또는 디바이스와 연결된 서버에서 대신 수행될 수도 있다. 이와 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능 중 일부도 해당 서버와 연결된 단말, 장치 또는 디바이스에서 수행될 수도 있다.
본 명세서에서 있어서, 단말과 매핑(Mapping) 또는 매칭(Matching)으로 기술된 동작이나 기능 중 일부는, 단말의 식별 정보(Identifying Data)인 단말기의 고유번호나 개인의 식별정보를 매핑 또는 매칭한다는 의미로 해석될 수 있다.
도 1은 본 발명의 일 실시예에 따른 딥 러닝 모델 학습 장치(100)의 개념도이다.
도 1을 참조하면, 딥 러닝 모델 학습 장치(100)는 입력부(110), 분할부(120), 생성부(130) 및 학습부(140)를 포함할 수 있다.
입력부(110)는 조직이 촬영된 조직 이미지를 딥 러닝 모델 학습 장치(100)의 외부로부터 입력받을 수 있다. 조직 이미지는 조직(tissue)이 촬영된 이미지이다.
조직은 인간 또는 동물의 세포들을 포함할 수 있다. 일 예로 조직은 암(e.g. 위암, 대장암) 세포의 존재 여부를 확인하기 위해 인체의 장기(e.g. 위, 대장, 소장, 간)로부터 추출된 생검 조직일 수 있다.
조직은 다양한 형태의 촬영 장비(e.g. 카메라, 캠코더, 스캐너)를 통해 촬상될 수 있다. 그리고 조직이 촬영된 이미지의 포맷은 JPG, GIF, PNG, BMP 등으로 다양하게 결정될 수 있다.
이때, 조직은 헤마톡실린 및 에오신(hematoxylin and eosin) 염색이 수행된 조직일 수 있다. 헤마톡실린 및 에오신 염색에 의해서 세포핵(cell nuclei)은 파란색으로 염색되고 세포외기질(extracellular matrix)과 세포질(cytoplasm)은 분홍색으로 염색될 수 있다.
한편, 조직 이미지는 주석(annotation) 정보를 추가로 포함할 수 있다. 주석 정보는 조직 이미지의 어떤 영역이 어떤 타입에 해당하는지를 지시하는 정보이다. 일 예로, 주석 정보는 조직 이미지의 특정 영역이 병변(e.g. 암)이 존재하는 비정상(abnormal) 영역이고 나머지 영역이 병변이 존재하지 않는 정상(normal) 영역이라는 것을 지시할 수 있다.
주석 정보는 조직 이미지를 분류하는 딥 러닝 모델의 학습 시에 정답을 지시하는 정보로서 사용될 수 있다.
분할부(120)는 입력부(110)에서 입력받은 조직 이미지를 복수의 패치들로 분할할 수 있다.
복수의 패치들 각각의 크기는 조직 이미지보다 작을 수 있다. 일 예로, 복수의 패치들 각각의 크기는 n*n 픽셀(e.g. 256*256, 128*128)로 동일할 수 있다.
다른 예로, 복수의 패치들의 크기는 서로 상이할 수도 있다. 복수의 패치들 중 일부는 n*n 픽셀(e.g. 256*256) 크기의 패치이고 일부는 m*m 픽셀(e.g. 128*128) 크기의 패치일 수 있다. 이때, m은 n보다 작다.
생성부(130)는 복수의 패치들 중 N개(N은 자연수)의 소스 패치들을 병합하여 병합 패치를 생성할 수 있다. 생성부(130)가 병합 패치를 생성하는 구체적인 방법은 후술할 도면을 통해 상세히 설명한다.
학습부(140)는 생성부(130)에서 생성한 병합 패치를 이용하여 딥 러닝 모델에 대한 학습을 수행할 수 있다.
딥 러닝 모델(deep learning model)은 전술한 병합 패치를 입력받아 병합 패치에 대한 예측 값을 출력할 수 있다. 본 발명의 실시예들에서 병합 패치에 대한 대한 예측 값은 병합 패치가 정상(normal)인 정도의 예측 값 및 병합 패치가 비정상(abnormal)인 정도의 예측 값을 포함할 수 있다.
이때, 병합 패치가 정상인 정도의 예측 값은 병합 패치가 정상 타입(즉, 병변이 존재하지 않음)일 확률을 나타내는 값일 수 있다. 그리고 병합 패치가 비정상인 정도의 예측 값은 병합 패치가 비정상 타입(즉, 병변이 존재함)인 정도를 나타내는 확률 값일 수 있다.
본 발명의 실시예들에서 병합 패치의 타입 중 일부는 정상 타입으로 분류되고 일부는 비정상 타입으로 분류될 수 있다.
본 발명의 실시예들에서 병합 패치의 타입은 다양한 방법으로 분류될 수 있다.
일 예로, 병합 패치의 타입은 악성(malignant) 및 양성(benign)의 2가지 타입으로 분류될 수 있다.
다른 예로, 병합 패치의 타입은 악성(malignant), 이형성(dysplasia) 및 양성(benign)의 3가지 타입으로 분류될 수 있다.
또 다른 예로, 병합 패치의 타입은 악성(malignant), 이형성(dysplasia), 미분류(uncategorized) 및 양성(benign)의 4가지 타입으로 분류될 수 있다.
일 예로, 악성(malignant) 타입은 선암(adenocarcinoma), 선암으로 의심(suspicious), 선암을 암시(suggestive), 고도 림프종(high-grade lymphoma) 및 기타 암종(carcinoma)를 포함하는 악성 신생물(malignant neoplasm)을 지시하는 타입으로 정의될 수 있다.
이형성(dysplasia) 타입은 모든 등급의 이형성증이 있는 관상 선종(tubular adenoma)을 포함하는 이형성(dysplasia)을 지시하는 타입으로 정의될 수 있다.
양성(benign) 타입은 비종양성(nonneoplastic) 양성 병변(e.g. 위염(gastritis), 폴립(polyps))을 지시하는 타입으로 정의될 수 있다.
미분류(uncategorized) 타입은 비정형 선 증식(atypical glandular proliferation), 신경 내분비 종양(neuroendocrine tumors), 점막하 종양(submucosal tumors), 저등급 림프종(low-grade lymphoma) 및 기질 종양(stromal tumors) 등 전술한 3가지 타입에 해당되지 않는 나머지 병변(lesions)을 지시하는 타입으로 정의될 수 있다.
이때, 병합 패치의 타입 중 일부는 정상 타입으로 정의되고, 정상 타입을 제외한 나머지는 비정상 타입으로 정의될 수 있다. 예를 들어, 병합 패치의 타입이 악성(malignant), 이형성(dysplasia), 미분류(uncategorized) 및 양성(benign)의 4가지 타입으로 분류될 경우에, 이 중 악성(malignant), 이형성(dysplasia), 미분류(uncategorized)는 비정상 타입으로 정의되고 양성(benign)은 정상 타입으로 분류될 수 있다.
본 명세서에서 딥 러닝 모델은 인공 신경망을 다층 레이어로 쌓은 모델일 수 있다. 딥 러닝 모델은 다층의 네트워크로 이루어진 심층 신경망(deep neural network)에서 다량의 데이터를 학습시킴으로써 각각의 영상의 특징(feature)를 자동으로 학습하고, 이를 통해 목적 함수, 즉 예측 정확도의 에러(error)를 최소화시키는 방법으로 네트워크를 학습시켜 나아가는 모델로 구현될 수 있다.
일 예로, 딥 러닝 모델은 컨볼루션 뉴럴 네트워크(CNN, Convolutional Neural Network)일 수 있다. CNN은 Visual Geometry Group (VGG) network, Inception (GoogleNet), ResNet, DenseNet 등의 다양한 형태의 스키마로 구현될 수 있다.
단, 본 발명의 실시예들에서 설명하는 딥 러닝 모델은 CNN에만 한정되지 않으며, 현재 또는 장래에 사용될 수 있는 다른 형태의 딥 러닝 모델(e.g. DHN(Deep Hierachical Network), CDBN(Convolutional Deep Belief Network), DDN(Deconvolutional Deep Network), RNN(Recurrent Neural Network))이 사용될 수도 있다.
딥 러닝 모델은 딥 러닝 프레임워크를 통해 구현될 수 있다. 딥 러닝 프레임워크는 딥 러닝 모델을 개발할 때 공통적으로 사용되는 기능들을 라이브러리 형태로 제공하고, 시스템 소프트웨어나 하드웨어 플랫폼을 잘 사용할 수 있도록 지원하는 역할을 한다. 본 실시예에서 딥 러닝 모델은 현재 공개되었거나 장래 공개될 어떠한 딥 러닝 프레임워크를 이용하여 구현될 수 있다.
딥 러닝 모델에 대한 학습을 수행한다는 것은 딥 러닝 모델의 입력에 대한 예측 값이 실제 값(ground-truth)과 최대한 유사하도록 딥 러닝 모델에 대한 파라미터를 조정하는 것을 의미한다. 학습부(140)는 패치를 딥 러닝 모델에 입력하고, 딥 러닝 모델의 예측 값과 실제 값을 비교하여 딥 러닝 모델에 대한 파라미터를 조정하는 과정을 반복적으로 수행하여 딥 러닝 모델의 예측 정확도를 높일 수 있다.
한편, 딥 러닝 모델의 학습 과정은 훈련(training)으로 표현하고, 그 결과를 학습(learning)이라고 표현할 수 있으나, 학습 과정이나 그 결과를 표현하기 위해 훈련 또는 학습 중 하나를 사용할 수 있다.
이때, 학습부(140)는 입력된 패치의 손실 함수 값을 최소화하는 방향으로 딥 러닝 모델에 대한 파라미터를 조정할 수 있다.
손실 함수는 타깃 패치에 대한 타입의 예측 값이 타깃 패치의 실제 타입과 얼마나 유사한지를 계산하는 함수이다. 손실 함수는 일 예로 평균 절대 오차(MAE), 평균 제곱 오차(MSE), 평균 제곱근 오차(RMSE), 이진 크로스-엔트로피(Binary Cross-Entropy) 또는 범주형 크로스-엔트로피(Categorical Cross-Entropy) 등일 수 있다.
한편, 딥 러닝 모델의 예측 정확도를 높이기 위해 학습을 반복적으로 수행하는 과정에서 과대-확신(over-confidence) 문제가 발생할 수 있다. 학습에 사용된 입력에 대한 예측 정확도를 높이기 위해 최적화된 딥 러닝 모델이 오히려 실제 입력에 대한 예측을 부정확하게 하는 문제가 발생할 수 있다. 딥 러닝 모델에 존재하는 불확실성을 고려하기 위해서 딥 러닝 모델의 학습 과정에서 과대-확신(over-confidence) 문제를 방지하기 위한 작업이 필요하다.
도 2는 본 발명의 일 실시예에 따른 딥 러닝 모델 학습 장치(100)의 동작의 일 예를 나타낸 도면이다.
도 2를 참조하면, 딥 러닝 모델 학습 장치(100)는 조직 이미지를 복수의 패치들로 분할할 수 있다. 그리고 딥 러닝 모델 학습 장치(100)는 복수의 패치들 중 일반 패치들을 딥 러닝 모델에 입력하여 딥 러닝 모델에 대한 학습을 수행할 수 있다.
일반 패치는 분할부(120)에 의해 생성된 복수의 패치들 중에서 별도의 처리 과정(e.g. 병합, 크롭, 혼합)이 추가로 적용되지 않은 패치일 수 있다.
도 3은 본 발명의 일 실시예에 따른 딥 러닝 모델 학습 장치(100)의 동작의 다른 예를 나타낸 도면이다.
도 3을 참조하면, 딥 러닝 모델 학습 장치(100)의 생성부(130)는 복수의 패치들로부터 N개의 소스 패치들을 결정할 수 있다.
일 예로, N은 k^2(k는 2 이상의 자연수)일 수 있다. 즉, N은 4(=2^2), 9(=3^2), 16(=4^2), 25(=5^2), … 중 하나의 값일 수 있다.
복수의 패치들로부터 N개의 소스 패치들을 결정하는 방법은 다양하게 결정될 수 있다. 일 예로, 생성부(130)는 복수의 패치들로부터 N개의 소스 패치들을 랜덤하게 선택할 수 있다. 만약 T개의 패치들로부터 N개의 소스 패치들을 선택한다면, N개의 소스 패치들이 결정될 수 있는 경우의 수는 이다.
그리고 생성부(130)는 N개의 소스 패치들을 병합하여 병합 패치를 생성할 수 있다. 일 예로, 병합 패치의 크기는 도 2에서 설명한 일반 패치의 크기와 동일할 수 있다. 이 경우 N개의 소스 패치들 각각의 크기는 일반 패치보다 작다.
N개의 소스 패치들을 병합하는 방법은 다양하게 결정될 수 있다.
일 예로, N개의 소스 패치들은 서로 중첩되지 않게 타일 형태로 병합될 수 있다. N이 k^2일 때, 가로 방향으로 k개의 소스 패치가 병합되고 세로 방향으로 k개의 소스 패치가 병합될 수 있다. 각 소스 패치의 크기가 m*m 픽셀일 때, 생성부(130)는 N개의 소스 패치들을 병합하여 (km)*(km) 픽셀 크기의 병합 패치를 생성할 수 있다.
다른 예로, N개의 소스 패치들 중 하나의 소스 패치의 일부분이 다른 소스 패치에 중첩되는 방식으로 병합될 수도 있다.
이와 같이, 생성부(130)는 소스 패치들을 다양한 방식으로 조합하고 또한 조합된 소스 패치들을 다양한 방식으로 병합하여, 딥 러닝 모델의 학습에 사용되는 패치의 개수를 증가시킬 수 있다. 이를 통해, 딥 러닝 모델은 다양한 패치를 이용한 학습을 수행할 수 있으며 결과적으로 딥 러닝 모델의 정확도가 향상될 수 있다.
딥 러닝 모델 학습 장치(100)의 학습부(140)는 병합 패치를 딥 러닝 모델에 입력하여 딥 러닝 모델에 대한 학습을 수행할 수 있다.
도 4는 본 발명의 일 실시예에 따른 딥 러닝 모델 학습 장치(100)의 동작의 또 다른 예를 나타낸 도면이다.
도 4를 참조하면, 딥 러닝 모델 학습 장치(100)의 학습부(140)는 일반 패치를 이용하여 딥 러닝 모델을 학습하는 동작과 병합 패치를 이용하여 딥 러닝 모델을 학습하는 동작을 동시에 수행할 수 있다.
이때, 딥 러닝 모델 학습 장치(100)의 학습부(140)는 일반 패치와 병합 패치를 포함하는 배치(batch) 단위로 딥 러닝 모델에 대한 학습을 수행할 수 있다. 배치는 하나 이상의 일반 패치와 하나 이상의 병합 패치를 포함할 수 있다.
일 예로, 배치에 포함되는 패치(일반 패치/병합 패치)의 개수가 이고 그 중 병합 패치의 비율이 이면, 일반 패치에 대한 손실 함수 값 , 병합 패치에 대한 손실 함수 값 및 전체 손실 함수 값 은 다음의 수학식 1과 같이 결정될 수 있다.
[수학식 1]
이때,은 KL 다이버전스(Divergence) 함수, 는 일반 패치가 정상 타입인 정도 및 비정상 타입인 정도, 는 딥 러닝 모델을 통해 예측한 일반 패치가 정상 타입인 정도 및 비정상 타입인 정도, 는 병합 패치가 정상 타입인 정도 및 비정상 타입인 정도, 는 딥 러닝 모델을 통해 예측한 병합 패치가 정상 타입인 정도 및 비정상 타입인 정도, 는 설정된 가중치 값이다.
한편, 도 2 내지 도 4에서 설명한 방법에 따라 딥 러닝 모델을 학습하기 위해, 일반 패치 또는 병합 패치에 대해 라벨링 정보가 설정될 수 있다.
패치(일반 패치/병합 패치)에 대한 라벨링 정보는, 해당 패치를 이용하여 딥 러닝 모델을 학습할 때 정답을 지시하는 정보로 사용될 수 있다. 이하, 도 4에서 이에 대해 자세히 설명한다.
도 5는 패치에 따른 라벨링 정보의 일 예를 나타낸 도면이다.
도 5를 참조하면, 패치에 대한 라벨링 정보는 1) 해당 패치가 정상(normal) 타입인 정도와 2) 해당 패치가 비정상(abnormal) 타입인 정도를 지시할 수 있다.
정상인 일반 패치의 라벨링 정보는, 정상 타입인 정도가 1이고, 비정상 타입인 정도가 0이라는 것을 지시할 수 있다.
비정상인 일반 패치의 라벨링 정보는, 정상 타입인 정도가 0이고, 비정상 타입인 정도가 1이라는 것을 지시할 수 있다.
한편, 병합 패치의 라벨링 정보는, 해당 패치가 정상 타입인 정도가 제1 라벨이고, 해당 패치가 비정상 타입인 정도가 제2 라벨이라는 것을 지시할 수 있다.
이때, 제1 라벨 및 제2 라벨의 값이 반드시 0 또는 1은 아니다. 병합 패치를 구성하는데 사용된 소스 패치들 중 일부는 정상 타입인 소스 패치이고 일부는 비정상 타입인 소스 패치일 수 있기 때문이다.
일 예로, 병합 패치(A)를 구성하는데 4개의 소스 패치들이 사용되고 그 중 3개가 정상 타입인 패치이고 1개가 비정상 타입인 패치이면 제1 라벨의 값은 3/4 = 0.75이고 제2 라벨의 값은 1/4 = 0.25일 수 있다.
다른 예로, 병합 패치(B)를 구성하는데 정상 타입인 소스 패치의 1/5과 비정상 타입인 소스 패치의 4/5가 사용된 경우 제1 라벨의 값은 1/5 = 0.2이고 제2 라벨의 값은 4/5 = 0.8일 수 있다.
이하, 딥 러닝 모델 학습 장치(100)가 딥 러닝 모델에 대한 학습을 수행하기 위해 병합 패치에 대한 라벨링 정보를 설정하는 구체적인 방법을 설명한다.
도 6은 본 발명의 일 실시예에 따른 병합 패치와 라벨링 정보의 관계의 일 예를 나타낸 도면이다.
도 6을 참조하면, 병합 패치가 N개의 소스 패치들로 구성될 경우, N개의 소스 패치들 중에서 비정상 타입으로 라벨링된 소스 패치의 개수 M(M은 0 이상 N 이하의 정수)에 따라 제1 라벨(LABEL_1)과 제2 라벨(LABEL_2)의 값이 달라질 수 있다.
도 6에서 M의 값이 증가할수록 제1 라벨의 값은 감소하고 제2 라벨의 값은 증가한다.
M=0일 때, 제1 라벨의 값은 0.9, 제2 라벨의 값은 0.1이다.
M=1일 때, 제1 라벨의 값은 0.4, 제2 라벨의 값은 0.6이다.
M=2일 때, 제1 라벨의 값은 0.3, 제2 라벨의 값은 0.7이다.
M=3일 때, 제1 라벨의 값은 0.2, 제2 라벨의 값은 0.8이다.
M=4일 때, 제1 라벨의 값은 0.1, 제2 라벨의 값은 0.9이다.
도 7은 본 발명의 일 실시예에 따른 병합 패치의 제1 라벨(LABEL_1)과 제2 라벨(LABEL_2)의 범위의 일 예를 나타낸 도면이다.
도 7을 참조하면, 병합 패치의 제1 라벨(LABEL_1)은 제1 임계값(THR_1) 이하이고 제2 임계값(THR_2) 이상일 수 있다. 마찬가지로, 병합 패치의 제2 라벨(LABEL_2) 역시 제1 임계값(THR_1) 이하이고 제2 임계값(THR_2) 이상일 수 있다. 이때, 제1 임계값(THR_1)은 제2 임계값(THR_2)보다 크다.
도 7에서, 병합 패치의 제1 라벨(LABEL_1)과 제2 라벨(LABEL_2)은 설정된 규칙을 만족하는 범위 내에서 변경될 수 있다. 일 예로, 병합 패치의 제1 라벨(LABEL_1)과 제2 라벨(LABEL_2)의 합은 1로 고정될 수 있다.
한편 제1 임계값(THR_1)은 1보다 작고 제2 임계값(THR_2)은 0보다 클 수 있다. 제1 임계값(THR_1)이 1보다 작으므로, 병합 패치를 구성하는 모든 소스 패치들이 정상 타입인 경우에도 제1 라벨(LABEL_1)은 1보다 작다. 또한 제2 임계값(THR_2)이 0보다 크므로, 병합 패치를 구성하는 모든 소스 패치들이 비정상 타입인 경우에도 제1 라벨(LABEL_1)은 1보다 크다.
이처럼, 병합 패치의 제1 라벨(LABEL_1)과 제2 라벨(LABEL_2)의 범위를 제한하는 이유는 정답을 1로 라벨링하고 오답을 0으로 라벨링하여 딥 러닝 모델을 학습할 경우에 발생할 수 있는 과대-확신(over-confidence) 문제를 방지하기 위함이다.
도 8은 본 발명의 일 실시예에 따른 딥 러닝 모델 학습 장치(100)가 제1 라벨(LABEL_1)과 제2 라벨(LABEL_2)을 결정하는 동작의 일 예를 나타낸 흐름도이다.
도 8을 참조하면, 딥 러닝 모델 학습 장치(100)의 생성부(130)는 병합 패치를 구성하는 N개의 소스 패치들 중에서 비정상 타입으로 라벨링된 소스 패치의 개수 M이 0인지 판단한다(S810).
M이 0일 때(S810-Y), 생성부(130)는 병합 패치의 제1 라벨(LABEL_1)이 제2 라벨(LABEL_2)보다 크도록 제1 라벨(LABEL_1)과 제2 라벨(LABEL_2)을 결정한다(S820).
M이 1 이상일 때(S810-N), 생성부(130)는 병합 패치의 제2 라벨(LABEL_2)이 제1 라벨(LABEL_1)보다 크도록 결정한다(S830).
도 9는 본 발명의 일 실시예에 따른 딥 러닝 모델 학습 장치(100)가 M의 값에 따라 병합 패치의 제1 라벨(LABEL_1)과 제2 라벨(LABEL_2)을 결정하는 동작의 일 예를 나타낸 도면이다.
도 9를 참조하면, 딥 러닝 모델 학습 장치(100)의 생성부(130)는 M이 0일 때, 제1 라벨(LABEL_1)을 도 7에서 설명한 제1 임계값(THR_1)으로 설정하고 제2 라벨(LABEL_2)을 제2 임계값(THR_2)으로 설정할 수 있다.
한편, 생성부(130)는 M이 1 이상일 때, 제1 라벨(LABEL_1)을 다음의 수학식 에 따라 설정할 수 있다.
[수학식 2]
(LABEL_1) = 0.5 - ((THR_1 - 0.5)*(M)/(N))
제1 임계값(THR_1)이 0.5보다 크므로, 결과적으로 제1 라벨(LABEL_1)은 0.5보다 작다.
반면, 생성부(130)는 M이 1 이상일 때, 제2 라벨(LABEL_2)을 다음의 수학식 에 따라 설정할 수 있다.
[수학식 3]
(LABEL_2) = 0.5 + ((THR_1 - 0.5)*(M)/(N))
제1 임계값(THR_1)이 0.5보다 크므로, 결과적으로 제2 라벨(LABEL_2)은 0.5보다 크다.
전술한 바와 같이, 제1 라벨(LABEL_1) 및 제2 라벨(LABEL_2)을 결정함으로써, 딥 러닝 모델 학습 장치(100)는 딥 러닝 모델의 학습에 사용되는 병합 패치에 대한 라벨링 정보인 제1 라벨(LABEL_1) 및 제2 라벨(LABEL_2)을 보다 정확하게 결정할 수 있다.
도 10은 본 발명의 일 실시예에 따른 조직 이미지 분류 장치(1000)를 나타낸 개념도이다.
도 10을 참조하면, 조직 이미지 분류 장치(1000)는 입력부(1010), 분할부(1020) 및 조직 이미지 분류부(1030)를 포함할 수 있다.
조직 이미지 분류 장치(1000)의 입력부(1010)는 조직이 촬영된 조직 이미지를 입력받을 수 있다.
조직 이미지 분류 장치(1000)의 분할부(1020)는 입력부(1010)에서 입력받은 조직 이미지를 복수의 패치들로 분할할 수 있다.
조직 이미지 분류 장치(1000)의 조직 이미지 분류부(1030)는 학습된 딥 러닝 모델을 기초로 분할부(1020)에서 분할한 복수의 패치들에 대한 분류 결과를 생성하고, 복수의 패치들에 대한 분류 결과를 기초로 조직 이미지에 대한 분류 결과를 생성할 수 있다. 조직 이미지 분류부(1030)는 복수의 패치들 각각에 대한 분류를 추론하여 복수의 패치들에 대한 분류 결과를 생성할 수 있다. 조직 이미지 분류부(1030)는 복수의 패치들의 분류 결과들을 종합하여 재구성된 조직 이미지의 분류를 추론하여 조직 이미지에 대한 분류 결과를 생성할 수 있다.
이때, 학습된 딥 러닝 모델은, 학습에 사용된 조직 이미지를 분할부(1020)를 이용해 분할한 N개의 소스 패치들을 병합하여 생성된 병합 패치를 이용하여 학습된 딥 러닝 모델일 수 있다. 그리고 병합 패치가 정상 타입인 정도를 지시하는 제1 라벨과 병합 패치가 비정상 타입인 정도를 지시하는 제2 라벨은 N개의 소스 패치들 중에서 비정상 타입으로 라벨링된 소스 패치의 개수 M(M은 0 이상 N 이하의 정수)을 기초로 결정될 수 있다.
일 예로, N은 k^2(k는 2 이상의 자연수)일 수 있다.
일 예로, 제1 라벨과 제2 라벨의 합은 1일 수 있다.
일 예로, 제1 라벨 및 제2 라벨은 제1 임계값 이하이고 제2 임계값 이상일 수 있다. 이때, 제1 임계값은 제2 임계값보다 크다.
일 예로, M이 0일 때 제1 라벨은 제2 라벨보다 크고, M이 1 이상일 때 제2 라벨은 제1 라벨보다 크다. M이 0일 때, 제1 라벨은 제1 임계값이고 제2 라벨은 제2 임계값일 수 있다. M이 1이상일 때 제1 라벨은 0.5 - ((THR_1 - 0.5)*(M)/(N))이고 제2 라벨은 0.5 + ((THR_1 - 0.5)*(M)/(N)) (이때, THR_1은 제1 임계값이다)일 수 있다.
한편, 조직 이미지 분류 장치(1000)는 다양한 방법으로 구현될 수 있다.
일 예로, 도 10에서 설명한 조직 이미지 분류 장치(1000)는 도 1에서 설명한 딥 러닝 모델 학습 장치(100)일 수 있다. 이 경우 조직 이미지 분류 장치(1000)의 입력부(1010)는 딥 러닝 모델 학습 장치(100)의 입력부(110)이고, 조직 이미지 분류 장치(1000)의 분할부(1020)는 딥 러닝 모델 학습 장치(100)의 분할부(120)일 수 있다.
일 예로, 도 10에서 설명한 조직 이미지 분류 장치(1000)의 조직 이미지 분류부(1030)에서 사용하는 딥 러닝 모델은 도 1에서 설명한 딥 러닝 모델 학습 장치(100)의 학습부(140)에 의해 학습될 수 있다. 그리고 딥 러닝 모델의 학습에 사용되는 병합 패치는 도 1에서 설명한 딥 러닝 모델 학습 장치(100)의 생성부(130)에 의해 생성될 수 있다.
도 11은 본 발명의 실시예들에 따른 조직 이미지 분류 방법(1100)을 나타낸 도면이다.
도 11을 참조하면, 조직 이미지 분류 방법(1100)은 조직이 촬영된 제1 조직 이미지를 입력받는 제1 입력 단계(S1110)를 포함할 수 있다. 일 예로, 제1 입력 단계(S1110)는 도 1에서 설명한 딥 러닝 모델 학습 장치(100)의 입력부(110)에 의해 수행될 수 있다.
조직 이미지 분류 방법(1100)은 제1 입력 단계(S1110)에서 입력받은 제1 조직 이미지를 복수의 제1 패치들로 분할하는 제1 분할 단계(S1120)를 포함할 수 있다. 일 예로, 제1 분할 단계(S1120)는 도 1에서 설명한 딥 러닝 모델 학습 장치(100)의 분할부(120)에 의해 수행될 수 있다.
조직 이미지 분류 방법(1100)은 복수의 제1 패치들 중에서 N개(N은 자연수)의 소스 패치들을 병합하여 병합 패치를 생성하는 생성 단계(S1130)를 포함할 수 있다. 일 예로, 생성 단계(S1130)는 도 1에서 설명한 딥 러닝 모델 학습 장치(100)의 생성부(130)에 의해 수행될 수 있다.
이때, N은 k^2(k는 2 이상의 자연수)일 수 있다.
조직 이미지 분류 방법(1100)은 생성 단계(S1130)에서 생성된 병합 패치를 이용하여 딥 러닝 모델에 대한 학습을 수행하는 학습 단계(S1140)를 포함할 수 있다. 일 예로, 학습 단계(S1140)는 도 1에서 설명한 딥 러닝 모델 학습 장치(100)의 학습부(140)에 의해 수행될 수 있다.
이때, 생성 단계(S1130)는 N개의 소스 패치들 중에서 비정상 타입으로 라벨링된 소스 패치의 개수 M(M은 0 이상 N 이하의 정수)을 기초로 하여, 병합 패치가 정상 타입인 정도를 지시하는 제1 라벨(LABEL_1)과 병합 패치가 비정상 타입인 정도를 지시하는 제2 라벨(LABEL_2)을 결정할 수 있다.
이때, 제1 라벨(LABEL_1)과 제2 라벨(LABEL_2)의 합은 1일 수 있다.
일 예로, 생성 단계(S1130)는 제1 라벨(LABEL_1) 및 제2 라벨(LABEL_2)을 제1 임계값(THR_1) 이하이고 제2 임계값(THR_2) 이상이 되도록 결정할 수 있다. 이때, 제1 임계값(THR_1)은 제2 임계값(THR_2)보다 크다.
한편, 생성 단계(S1130)는 M이 0일 때 제1 라벨(LABEL_1)이 제2 라벨(LABEL_2)보다 크도록 제1 라벨(LABEL_1)과 제2 라벨(LABEL_2)을 결정하고, M이 1 이상일 때 제2 라벨(LABEL_2)이 제1 라벨(LABEL_1)보다 크도록 제1 라벨(LABEL_1)과 제2 라벨(LABEL_2)을 결정할 수 있다.
일 예로, 생성 단계(S1130)는 M이 0일 때, 제1 라벨(LABEL_1)을 제1 임계값(THR_1)으로 결정하고 제2 라벨(LABEL_2)을 제2 임계값(THR_2)으로 결정할 수 있다.
다른 예로, 생성 단계(S1130)는 M이 1 이상일 때, 제1 라벨(LABEL_1)을 0.5 - ((THR_1 - 0.5)*(M)/(N))으로 결정하고, 제2 라벨(LABEL_2)을 0.5 + ((THR_1 - 0.5)*(M)/(N))으로 결정할 수 있다.
한편, 조직 이미지 분류 방법(1100)은 조직이 촬영된 제2 조직 이미지를 입력받는 제2 입력 단계(S1150)를 추가로 포함할 수 있다. 일 예로, 제2 입력 단계(S1150)는 도 10에서 설명한 조직 이미지 분류 장치(1000)의 입력부(1010)에 의해 수행될 수 있다.
그리고 조직 이미지 분류 방법(1100)은 제2 조직 이미지를 복수의 제2 패치들로 분할하는 제2 분할 단계(S1160)를 추가로 포함할 수 있다. 일 예로, 제2 분할 단계(S1160)는 도 10에서 설명한 조직 이미지 분류 장치(1000)의 분할부(1020)에 의해 수행될 수 있다.
그리고 조직 이미지 분류 방법(1100)은 딥 러닝 모델을 기초로 제2 패치들에 대한 분류 결과를 생성하고, 복수의 제2 패치들에 대한 분류 결과를 기초로 제2 조직 이미지에 대한 분류 결과를 생성하는 조직 이미지 분류 단계(S1170)를 추가로 포함할 수 있다. 일 예로, 조직 이미지 분류 단계(S1170)는 도 10에서 설명한 조직 이미지 분류 장치(1000)의 조직 이미지 분류부(1030)에 의해 수행될 수 있다.
도 12는 본 발명의 실시예들에 따른 컴퓨팅 시스템(1200)의 구성도이다.
도 12를 참조하면, 컴퓨팅 시스템(1200)은 메모리(1210) 및 프로세서(1220)를 포함할 수 있다.
메모리(1210)는 조직이 촬영된 조직 이미지 및 조직 이미지가 분할된 복수의 패치들을 저장할 수 있다. 메모리(1210)는 휘발성 메모리(e.g. SRAM, DRAM) 또는 비휘발성 메모리(e.g. NAND Flash)일 수 있다.
프로세서(1220)는 학습된 딥 러닝 모델을 기초로 복수의 패치들에 대한 분류 결과를 생성하고, 복수의 패치들에 대한 분류 결과를 기초로 조직 이미지에 대한 분류 결과를 생성할 수 있다. 이때, 학습된 딥 러닝 모델은 학습에 사용된 조직 이미지가 분할된 N개의 소스 패치들을 병합하여 생성된 병합 패치를 이용하여 학습된 딥 러닝 모델일 수 있다. 그리고 병합 패치가 정상 타입인 정도를 지시하는 제1 라벨과 병합 패치가 비정상 타입인 정도를 지시하는 제2 라벨은 N개의 소스 패치들 중에서 비정상 타입으로 라벨링된 소스 패치의 개수 M(M은 0 이상의 정수)을 기초로 결정될 수 있다.
프로세서(1220)는 도 10에서 설명한 조직 이미지 분류 장치(1000)의 입력부(1010), 분할부(1020) 및 조직 이미지 분류부(1030)의 기능을 실행할 수 있다.
전술한 딥 러닝 모델 학습 장치(100) 및 조직 이미지 분류 장치(1000)는, 프로세서, 메모리, 사용자 입력 장치, 프레젠테이션 장치 중 적어도 일부를 포함하는 컴퓨팅 장치에 의해 구현될 수 있다. 메모리는, 프로세서에 의해 실행되면 특정 태스크를 수행할 수 있도록 코딩되어 있는 컴퓨터-판독가능 소프트웨어, 애플리케이션, 프로그램모듈, 루틴, 인스트럭션(instructions), 및/또는 데이터 등을 저장하는 매체이다. 프로세서는 메모리에 저장되어 있는 컴퓨터-판독가능 소프트웨어, 애플리케이션, 프로그램 모듈, 루틴, 인스트럭션, 및/또는 데이터 등을 판독하여 실행할 수 있다. 사용자 입력 장치는 사용자로 하여금 프로세서에게 특정 태스크를 실행하도록 하는 명령을 입력하거나 특정 태스크의 실행에 필요한 데이터를 입력하도록 하는 수단일 수 있다. 사용자 입력 장치는 물리적인 또는 가상적인 키보드나 키패드, 키버튼, 마우스, 조이스틱, 트랙볼, 터치-민감형 입력 수단, 또는 마이크로폰 등을 포함할 수 있다. 프레젠테이션 장치는 디스플레이, 프린터, 스피커, 또는 진동 장치등을 포함할 수 있다.
컴퓨팅 장치는 스마트폰, 태블릿, 랩탑, 데스크탑, 서버, 클라이언트 등의 다양한 장치를 포함할 수 있다. 컴퓨팅 장치는 하나의 단일한 스탠드-얼론 장치일 수도 있고, 통신망을 통해 서로 협력하는 다수의 컴퓨팅 장치들로 이루어진 분산형 환경에서 동작하는 다수의 컴퓨팅 장치를 포함할 수 있다.
컴퓨팅 장치는 스마트폰, 태블릿, 랩탑, 데스크탑, 서버, 클라이언트 등의 다양한 장치를 포함할 수 있다. 컴퓨팅 장치는 하나의 단일한 스탠드-얼론 장치일 수도 있고, 통신망을 통해 서로 협력하는 다수의 컴퓨팅 장치들로 이루어진 분산형 환경에서 동작하는 다수의 컴퓨팅 장치를 포함할 수 있다.
한편, 컴퓨팅 장치는 고전(classic) 컴퓨팅 장치가 아니라 양자(quantum) 컴퓨팅 장치일 수 있다. 양자 컴퓨팅 장치는 비트가 아닌 큐비트(Qubit) 단위로 연산을 수행한다. 큐비트는 0과 1이 동시에 중첩(superposition)되는 상태를 가질 수 있으며, M개의 큐비트가 있으면 동시에 2^M개의 상태를 표현할 수 있다.
양자 컴퓨팅 장치는 양자 연산을 수행하기 위해 하나 이상의 큐비트를 입력받아 지정된 연산을 수행하는 다양한 종류의 양자 게이트들(e.g. Pauli / Rotation / Hadamard / CNOT / SWAP / Toffoli)를 사용할 수 있고, 양자 게이트들을 조합하여 특수한 기능을 하는 양자 회로를 구성할 수 있다.
양자 컴퓨팅 장치는 기존의 인공 신경망(e.g. CNN, RNN)이 수행하는 기능을 적은 파라미터를 사용하면서도 더 빠른 속도로 수행할 수 있는 양자 인공 신경망(e.g. QCNN, QGRNN)을 사용할 수 있다.
또한 전술한 조직 이미지 분류 방법(1100)은, 프로세서를 구비하고, 또한 프로세서에 의해 실행되면 조직 이미지 분류 방법(1100)을 수행할 수 있도록 코딩된 컴퓨터 판독 가능 소프트웨어, 애플리케이션, 프로그램 모듈, 루틴, 인스트럭션, 및/또는 데이터 구조 등을 저장한 메모리를 구비하는 컴퓨팅 장치에 의해 실행될 수 있다.
상술한 본 실시예들은 다양한 수단을 통해 구현될 수 있다. 예를 들어, 본 실시예들은 하드웨어, 펌웨어(firmware), 소프트웨어 또는 그것들의 결합 등에 의해 구현될 수 있다.
하드웨어에 의한 구현의 경우, 본 실시예들에 따른 조직 이미지 분류 방법(1100)은 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 프로세서, 컨트롤러, 마이크로 컨트롤러 또는 마이크로프로세서 등에 의해 구현될 수 있다.
예를 들어 실시예들에 따른 조직 이미지 분류 방법(1100)은 심층 신경망의 뉴런(neuron)과 시냅스(synapse)가 반도체 소자들로 구현된 인공지능 반도체 장치를 이용하여 구현될 수 있다. 이때 반도체 소자는 현재 사용하는 반도체 소자들, 예를 들어 SRAM이나 DRAM, NAND 등일 수도 있고, 차세대 반도체 소자들, RRAM이나 STT MRAM, PRAM 등일 수도 있고, 이들의 조합일 수도 있다.
실시예들에 따른 조직 이미지 분류 방법(1100)을 인공지능 반도체 장치를 이용하여 구현할 때, 딥 러닝 모델을 소프트웨어로 학습한 결과(가중치)를 어레이로 배치된 시냅스 모방소자에 전사하거나 인공지능 반도체 장치에서 학습을 진행할 수도 있다.
펌웨어나 소프트웨어에 의한 구현의 경우, 본 실시예들에 따른 조직 이미지 분류 방법(1100)은 이상에서 설명된 기능 또는 동작들을 수행하는 장치, 절차 또는 함수 등의 형태로 구현될 수 있다. 소프트웨어 코드는 메모리 유닛에 저장되어 프로세서에 의해 구동될 수 있다. 메모리 유닛은 상기 프로세서 내부 또는 외부에 위치하여, 이미 공지된 다양한 수단에 의해 프로세서와 데이터를 주고 받을 수 있다.
또한, 위에서 설명한 "시스템", "프로세서", "컨트롤러", "컴포넌트", "모듈", "인터페이스", "모델", 또는 "유닛" 등의 용어는 일반적으로 컴퓨터 관련 엔티티 하드웨어, 하드웨어와 소프트웨어의 조합, 소프트웨어 또는 실행 중인 소프트웨어를 의미할 수 있다. 예를 들어, 전술한 구성 요소는 프로세서에 의해서 구동되는 프로세스, 프로세서, 컨트롤러, 제어 프로세서, 개체, 실행 스레드, 프로그램 및/또는 컴퓨터일 수 있지만 이에 국한되지 않는다. 예를 들어, 컨트롤러 또는 프로세서에서 실행 중인 애플리케이션과 컨트롤러 또는 프로세서가 모두 구성 요소가 될 수 있다. 하나 이상의 구성 요소가 프로세스 및/또는 실행 스레드 내에 있을 수 있으며, 구성 요소들은 하나의 장치(예: 시스템, 컴퓨팅 디바이스 등)에 위치하거나 둘 이상의 장치에 분산되어 위치할 수 있다.
한편, 또 다른 실시예는 전술한 조직 이미지 분류 방법(1100)을 수행하는, 컴퓨터 기록매체에 저장되는 컴퓨터 프로그램을 제공한다. 또한 또 다른 실시예는 전술한 조직 이미지 분류 방법(1100)을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
기록매체에 기록된 프로그램은 컴퓨터에서 읽히어 설치되고 실행됨으로써 전술한 단계들을 실행할 수 있다.
이와 같이, 컴퓨터가 기록매체에 기록된 프로그램을 읽어 들여 프로그램으로 구현된 기능들을 실행시키기 위하여, 전술한 프로그램은 컴퓨터의 프로세서(CPU)가 컴퓨터의 장치 인터페이스(Interface)를 통해 읽힐 수 있는 C, C++, JAVA, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다.
이러한 코드는 전술한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Function Code)를 포함할 수 있고, 전술한 기능들을 컴퓨터의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수도 있다.
또한, 이러한 코드는 전술한 기능들을 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조 되어야 하는지에 대한 메모리 참조 관련 코드를 더 포함할 수 있다.
또한, 컴퓨터의 프로세서가 전술한 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 컴퓨터의 프로세서가 컴퓨터의 통신 모듈을 이용하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야만 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수도 있다.
이상에서 전술한 바와 같은 프로그램을 기록한 컴퓨터로 읽힐 수 있는 기록매체는, 일 예로, ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 미디어 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함할 수 있다.
또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
그리고, 본 발명을 구현하기 위한 기능적인(Functional) 프로그램과 이와 관련된 코드 및 코드 세그먼트 등은, 기록매체를 읽어서 프로그램을 실행시키는 컴퓨터의 시스템 환경 등을 고려하여, 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론되거나 변경될 수도 있다.
도 12를 통해 설명된 조직 이미지 분류 방법(1100)은, 컴퓨터에 의해 실행되는 애플리케이션이나 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.
전술한 조직 이미지 분류 방법(1100)은, 단말기에 기본적으로 설치된 애플리케이션(이는 단말기에 기본적으로 탑재된 플랫폼이나 운영체제 등에 포함된 프로그램을 포함할 수 있다)에 의해 실행될 수 있고, 사용자가 애플리케이션 스토어 서버, 애플리케이션 또는 해당 서비스와 관련된 웹 서버 등의 애플리케이션 제공 서버를 통해 마스터 단말기에 직접 설치한 애플리케이션(즉, 프로그램)에 의해 실행될 수도 있다. 이러한 의미에서, 전술한 조직 이미지 분류 방법(1100)은 단말기에 기본적으로 설치되거나 사용자에 의해 직접 설치된 애플리케이션(즉, 프로그램)으로 구현되고 단말기에 등의 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100: 딥 러닝 모델 학습 장치
110: 입력부
120: 분할부
130: 생성부
140: 학습부
1000: 조직 이미지 분류 장치
1010: 입력부
1020: 분할부
1030: 조직 이미지 분류부

Claims (20)

  1. 조직이 촬영된 조직 이미지를 입력받는 입력부;
    상기 조직 이미지를 복수의 패치들로 분할하는 분할부;
    학습된 딥 러닝 모델을 기초로 상기 복수의 패치들에 대한 분류 결과를 생성하고 상기 복수의 패치들에 대한 분류 결과를 기초로 상기 조직 이미지에 대한 분류 결과를 생성하는 조직 이미지 분류부;를 포함하고,
    상기 학습된 딥 러닝 모델은,
    학습에 사용된 조직 이미지를 분할한 N개의 소스 패치들을 병합하여 생성된 병합 패치를 이용하여 학습된 딥 러닝 모델이고,
    상기 병합 패치가 병변이 존재하지 않는 정상 타입인 정도를 지시하는 제1 라벨과 상기 병합 패치가 병변이 존재하는 비정상 타입인 정도를 지시하는 제2 라벨은 상기 N개의 소스 패치들 중에서 비정상 타입으로 라벨링된 소스 패치의 개수 M(M은 0 이상 N 이하의 정수)을 기초로 결정되고,
    상기 M의 값이 증가할수록 상기 제1 라벨의 값은 감소하고 상기 제2 라벨의 값은 증가하고,
    상기 제1 라벨 및 상기 제2 라벨은 제1 임계값 이하이고 제2 임계값 이상이고,
    상기 제1 임계값은 상기 제2 임계값보다 크고,
    상기 M이 0일 때 상기 제1 라벨은 상기 제2 라벨보다 크고,
    상기 M이 0일 때 상기 제1 라벨의 값은 1보다 작고 상기 제2 라벨의 값은 0보다 크고,
    상기 M이 1 이상일 때 상기 제2 라벨은 상기 제1 라벨보다 크고,
    상기 M이 1 이상일 때 상기 제1 라벨의 값은 0.5보다 작고 상기 제2 라벨의 값은 0.5보다 큰 조직 이미지 분류 장치.
  2. 제1항에 있어서,
    상기 N은 k^2(k는 2 이상의 자연수)인 조직 이미지 분류 장치.
  3. 제1항에 있어서,
    상기 제1 라벨과 상기 제2 라벨의 합은 1인 조직 이미지 분류 장치.
  4. 삭제
  5. 삭제
  6. 제1항에 있어서,
    상기 M이 0일 때, 상기 제1 라벨은 상기 제1 임계값이고 상기 제2 라벨은 상기 제2 임계값인 조직 이미지 분류 장치.
  7. 제1항에 있어서,
    상기 M이 1 이상일 때, 상기 제1 라벨은 0.5 - ((THR_1 - 0.5)*(M)/(N))이고 상기 제2 라벨은 0.5 + ((THR_1 - 0.5)*(M)/(N)) 이고,
    상기 THR_1은 상기 제1 임계값인 조직 이미지 분류 장치.
  8. 조직이 촬영된 조직 이미지를 입력받는 입력부;
    상기 조직 이미지를 복수의 패치들로 분할하는 분할부;
    상기 복수의 패치들 중 N개(N은 자연수)의 소스 패치들을 병합하여 병합 패치를 생성하는 생성부; 및
    상기 병합 패치를 이용하여 딥 러닝 모델에 대한 학습을 수행하는 학습부;를 포함하고,
    상기 생성부는,
    상기 N개의 소스 패치들 중에서 비정상 타입으로 라벨링된 소스 패치의 개수 M(M은 0 이상 N 이하의 정수)을 기초로 하여, 상기 병합 패치가 병변이 존재하지 않는 정상 타입인 정도를 지시하는 제1 라벨과 상기 병합 패치가 병변이 존재하는 비정상 타입인 정도를 지시하는 제2 라벨을 결정하고,
    상기 M의 값이 증가할수록 상기 제1 라벨의 값은 감소하고 상기 제2 라벨의 값은 증가하고,
    상기 생성부는,
    상기 제1 라벨 및 상기 제2 라벨을 제1 임계값 이하이고 제2 임계값 이상이 되도록 결정하고,
    상기 제1 임계값은 상기 제2 임계값보다 크고,
    상기 M이 0일 때 상기 제1 라벨이 상기 제2 라벨보다 크고 상기 제1 라벨의 값은 1보다 작고 상기 제2 라벨의 값은 0보다 크도록 상기 제1 라벨과 상기 제2 라벨을 결정하고,
    상기 M이 1 이상일 때 상기 제2 라벨이 상기 제1 라벨보다 크고 상기 제1 라벨의 값은 0.5보다 작고 상기 제2 라벨의 값은 0.5보다 크도록 상기 제1 라벨과 상기 제2 라벨을 결정하는 딥 러닝 모델 학습 장치.
  9. 제8항에 있어서,
    상기 N은 k^2(k는 2 이상의 자연수)인 딥 러닝 모델 학습 장치.
  10. 제8항에 있어서,
    상기 제1 라벨과 상기 제2 라벨의 합은 1인 딥 러닝 모델 학습 장치.
  11. 삭제
  12. 삭제
  13. 제8항에 있어서,
    상기 M이 0일 때, 상기 제1 라벨을 상기 제1 임계값으로 결정하고 상기 제2 라벨을 상기 제2 임계값으로 결정하는 딥 러닝 모델 학습 장치.
  14. 제8항에 있어서,
    상기 생성부는,
    상기 M이 1 이상일 때, 상기 제1 라벨을 0.5 - ((THR_1 - 0.5)*(M)/(N))으로 결정하고 상기 제2 라벨을 0.5 + ((THR_1 - 0.5)*(M)/(N))으로 결정하고,
    상기 THR_1은 상기 제1 임계값인 딥 러닝 모델 학습 장치.
  15. 조직이 촬영된 제1 조직 이미지를 입력받는 제1 입력 단계;
    상기 제1 조직 이미지를 복수의 제1 패치들로 분할하는 제1 분할 단계;
    상기 복수의 제1 패치들 중 N개(N은 자연수)의 소스 패치들을 병합하여 병합 패치를 생성하는 생성 단계;
    상기 병합 패치를 이용하여 딥 러닝 모델에 대한 학습을 수행하는 학습 단계;
    조직이 촬영된 제2 조직 이미지를 입력받는 제2 입력 단계;
    상기 제2 조직 이미지를 복수의 제2 패치들로 분할하는 제2 분할 단계; 및
    상기 딥 러닝 모델을 기초로 상기 제2 패치들에 대한 분류 결과를 생성하고, 상기 복수의 제2 패치들에 대한 분류 결과를 기초로 상기 제2 조직 이미지에 대한 분류 결과를 생성하는 조직 이미지 분류 단계;를 포함하고,
    상기 생성 단계는,
    상기 N개의 소스 패치들 중에서 비정상 타입으로 라벨링된 소스 패치의 개수 M(M은 0 이상 N 이하의 정수)을 기초로 하여, 상기 병합 패치가 병변이 존재하지 않는 정상 타입인 정도를 지시하는 제1 라벨과 상기 병합 패치가 병변이 존재하는 비정상 타입인 정도를 지시하는 제2 라벨을 결정하고,
    상기 M의 값이 증가할수록 상기 제1 라벨의 값은 감소하고 상기 제2 라벨의 값은 증가하고,
    상기 제1 라벨 및 상기 제2 라벨을 제1 임계값 이하이고 제2 임계값 이상이 되도록 결정하고,
    상기 제1 임계값은 상기 제2 임계값보다 크고,
    상기 M이 0일 때 상기 제1 라벨이 상기 제2 라벨보다 크고 상기 제1 라벨의 값은 1보다 작고 상기 제2 라벨의 값은 0보다 크도록 상기 제1 라벨과 상기 제2 라벨을 결정하고,
    상기 M이 1 이상일 때 상기 제2 라벨이 상기 제1 라벨보다 크고 상기 제1 라벨의 값은 0.5보다 작고 상기 제2 라벨의 값은 0.5보다 크도록 상기 제1 라벨과 상기 제2 라벨을 결정하는 조직 이미지 분류 방법.
  16. 삭제
  17. 삭제
  18. 제15항에 있어서,
    상기 생성 단계는,
    상기 M이 0일 때, 상기 제1 라벨을 상기 제1 임계값으로 결정하고 상기 제2 라벨을 상기 제2 임계값으로 결정하는 조직 이미지 분류 방법.
  19. 제15항에 있어서,
    상기 생성 단계는,
    상기 M이 1 이상일 때, 상기 제1 라벨을 0.5 - ((THR_1 - 0.5)*(M)/(N))으로 결정하고,
    상기 제2 라벨을 0.5 + ((THR_1 - 0.5)*(M)/(N))으로 결정하고,
    상기 THR_1은 상기 제1 임계값인 조직 이미지 분류 방법.
  20. 조직이 촬영된 조직 이미지 및 상기 조직 이미지가 분할된 복수의 패치들을 저장하는 메모리; 및
    학습된 딥 러닝 모델을 기초로 상기 복수의 패치들에 대한 분류 결과를 생성하고 상기 복수의 패치들에 대한 분류 결과를 기초로 상기 조직 이미지에 대한 분류 결과를 생성하는 프로세서를 포함하고,
    상기 학습된 딥 러닝 모델은,
    학습에 사용된 조직 이미지가 분할된 N개의 소스 패치들을 병합하여 생성된 병합 패치를 이용하여 학습된 딥 러닝 모델이고,
    상기 병합 패치가 병변이 존재하지 않는 정상 타입인 정도를 지시하는 제1 라벨과 상기 병합 패치가 병변이 존재하는 비정상 타입인 정도를 지시하는 제2 라벨은 상기 N개의 소스 패치들 중에서 비정상 타입으로 라벨링된 소스 패치의 개수 M(M은 0 이상의 정수)을 기초로 결정되고,
    상기 M의 값이 증가할수록 상기 제1 라벨의 값은 감소하고 상기 제2 라벨의 값은 증가하고,
    상기 제1 라벨 및 상기 제2 라벨은 제1 임계값 이하이고 제2 임계값 이상이고,
    상기 제1 임계값은 상기 제2 임계값보다 크고,
    상기 M이 0일 때 상기 제1 라벨은 상기 제2 라벨보다 크고,
    상기 M이 0일 때 상기 제1 라벨의 값은 1보다 작고 상기 제2 라벨의 값은 0보다 크고,
    상기 M이 1 이상일 때 상기 제2 라벨은 상기 제1 라벨보다 크고,
    상기 M이 1 이상일 때 상기 제1 라벨의 값은 0.5보다 작고 상기 제2 라벨의 값은 0.5보다 큰 컴퓨팅 시스템.
KR1020220098532A 2022-08-08 2022-08-08 딥 러닝 모델의 불확실성을 고려한 조직 이미지 분류 장치 및 조직 이미지 분류 방법 KR102642137B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220098532A KR102642137B1 (ko) 2022-08-08 2022-08-08 딥 러닝 모델의 불확실성을 고려한 조직 이미지 분류 장치 및 조직 이미지 분류 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220098532A KR102642137B1 (ko) 2022-08-08 2022-08-08 딥 러닝 모델의 불확실성을 고려한 조직 이미지 분류 장치 및 조직 이미지 분류 방법

Publications (2)

Publication Number Publication Date
KR20240020745A KR20240020745A (ko) 2024-02-16
KR102642137B1 true KR102642137B1 (ko) 2024-03-06

Family

ID=90056116

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220098532A KR102642137B1 (ko) 2022-08-08 2022-08-08 딥 러닝 모델의 불확실성을 고려한 조직 이미지 분류 장치 및 조직 이미지 분류 방법

Country Status (1)

Country Link
KR (1) KR102642137B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102261475B1 (ko) * 2020-06-05 2021-06-07 주식회사 딥바이오 중증도 판단용 뉴럴 네트워크 학습 방법 및 시스템
JP2021533470A (ja) * 2018-08-07 2021-12-02 ディープ バイオ インク ニューラルネットワークを用いた疾病の診断システム及び方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021533470A (ja) * 2018-08-07 2021-12-02 ディープ バイオ インク ニューラルネットワークを用いた疾病の診断システム及び方法
KR102261475B1 (ko) * 2020-06-05 2021-06-07 주식회사 딥바이오 중증도 판단용 뉴럴 네트워크 학습 방법 및 시스템

Also Published As

Publication number Publication date
KR20240020745A (ko) 2024-02-16

Similar Documents

Publication Publication Date Title
Shaukat et al. A novel deep learning-based approach for malware detection
Bhardwaj et al. Deep Learning Essentials: Your hands-on guide to the fundamentals of deep learning and neural network modeling
US20190279075A1 (en) Multi-modal image translation using neural networks
WO2020159890A1 (en) Method for few-shot unsupervised image-to-image translation
Wei et al. Efficient feature selection algorithm based on particle swarm optimization with learning memory
Cao et al. A survey of mix-based data augmentation: Taxonomy, methods, applications, and explainability
Price et al. Goofed: Extracting advanced features for image classification via improved genetic programming
Jiang et al. Maxmatch: Semi-supervised learning with worst-case consistency
US20240046128A1 (en) Dynamic causal discovery in imitation learning
de Maele et al. Disentangling what and where for 3d object-centric representations through active inference
KR102642137B1 (ko) 딥 러닝 모델의 불확실성을 고려한 조직 이미지 분류 장치 및 조직 이미지 분류 방법
Luciw et al. Where-what network-4: The effect of multiple internal areas
KR102586484B1 (ko) 분류 과정에서 발생하는 불확실성을 고려한 조직 이미지 분류 장치 및 조직 이미지 분류 방법
KR102642132B1 (ko) 딥 러닝 모델을 이용한 조직 이미지 분류 장치 및 조직 이미지 분류 방법
KR102552147B1 (ko) 그래프를 이용하여 오분류 패치의 클래스를 수정하는 조직 이미지 분류 장치 및 조직 이미지 분류 방법
JayaSree et al. A Deep Insight into Deep Learning Architectures, Algorithms and Applications
Wei et al. Learning and exploiting interclass visual correlations for medical image classification
Zhang et al. Incremental Few-Shot Object Detection with scale-and centerness-aware weight generation
CN116524289A (zh) 一种模型训练方法及相关系统
Chander et al. Enhanced pelican optimization algorithm with ensemble-based anomaly detection in industrial internet of things environment
Dmitrenko Dnn model extraction attacks using prediction interfaces
Ho NBDT: Neural-backed decision trees
George et al. A three-tier BERT based transformer framework for detecting and classifying skin cancer with HSCGS algorithm
Nalepa et al. Fusing Deep Learning with Support Vector Machines to Detect COVID-19 in X-Ray Images
Wang et al. Universal Adversarial Perturbation Generated by Using Attention Information

Legal Events

Date Code Title Description
AMND Amendment
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant