KR102430796B1 - 딥러닝 모델의 분산 훈련을 위한 전체 슬라이드 이미지 분배 방법 및 이를 수행하는 컴퓨팅 시스템 - Google Patents

딥러닝 모델의 분산 훈련을 위한 전체 슬라이드 이미지 분배 방법 및 이를 수행하는 컴퓨팅 시스템 Download PDF

Info

Publication number
KR102430796B1
KR102430796B1 KR1020220031137A KR20220031137A KR102430796B1 KR 102430796 B1 KR102430796 B1 KR 102430796B1 KR 1020220031137 A KR1020220031137 A KR 1020220031137A KR 20220031137 A KR20220031137 A KR 20220031137A KR 102430796 B1 KR102430796 B1 KR 102430796B1
Authority
KR
South Korea
Prior art keywords
equation
neural network
patches
slide images
slide
Prior art date
Application number
KR1020220031137A
Other languages
English (en)
Inventor
김선우
곽태영
Original Assignee
주식회사 딥바이오
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 딥바이오 filed Critical 주식회사 딥바이오
Priority to KR1020220031137A priority Critical patent/KR102430796B1/ko
Application granted granted Critical
Publication of KR102430796B1 publication Critical patent/KR102430796B1/ko
Priority to PCT/KR2023/003228 priority patent/WO2023177150A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5083—Techniques for rebalancing the load in a distributed system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/505—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5066—Algorithms for mapping a plurality of inter-dependent sub-tasks onto a plurality of physical CPUs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0454—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/5017—Task decomposition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/503—Resource availability

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

딥러닝 모델의 분산 학습을 위한 전체 슬라이드 이미지 분배 방법 및 이를 수행하는 컴퓨팅 시스템이 개시된다. 본 발명의 일 측면에 따르면, N개(N은 2 이상의 정수)의 전체 슬라이드 이미지인 제1슬라이드 이미지 내지 제N슬라이드 이미지 각각에서 조직의 포함된 유효 패치를 판단하는 유효 패치 판단모듈, 상기 N개의 전체 슬라이드 이미지를 상호 배타적인 두 개의 집단인 학습 데이터 클래스 및 튜닝 데이터 클래스로 분할하는 분할모듈, 상기 학습 데이터 클래스에 속하는 학습용 전체 슬라이드 이미지를 전체 슬라이드 이미지 단위로 M개의 뉴럴 네트워크 학습 시스템(여기서, M은 2 이상의 정수)으로 분배하는 학습용 이미지 분배모듈 및 상기 튜닝 데이터 클래스에 속하는 튜닝용 전체 슬라이드 이미지를 전체 슬라이드 이미지 단위로 상기 M개의 뉴럴 네트워크 학습 시스템으로 분배하는 튜닝용 이미지 분배모듈을 포함하되, 상기 분할모듈은, 상기 학습 데이터 클래스에 속하는 전체 슬라이드 이미지의 유효 패치의 총 개수와 상기 튜닝 데이터 클래스에 속하는 전체 슬라이드 이미지의 유효 패치의 총 개수의 비율이 소정의 기준 비율을 만족하도록 상기 N개의 전체 슬라이드 이미지를 상호 배타적인 두 개의 클래스로 분할하는 컴퓨팅 시스템이 제공된다.

Description

딥러닝 모델의 분산 훈련을 위한 전체 슬라이드 이미지 분배 방법 및 이를 수행하는 컴퓨팅 시스템{Method for distributing whole slide image for distributed training of deep learning models, and computing system performing the same}
본 발명은 딥러닝 모델의 분산 학습을 위한 전체 슬라이드 이미지 분배 방법 및 이를 수행하는 컴퓨팅 시스템에 관한 것이다. 보다 상세하게는 다수의 뉴럴 네트워크 학습 시스템에 분산되어 있는 인공 뉴럴 네트워크(딥러닝 모델)을 훈련하기 위하여, 복수의 전체 슬라이드 이미지를 상기 다수의 뉴럴 네트워크 학습 시스템에 분산 배치하는 방법 및 이를 수행하는 컴퓨팅 시스템에 관한 것이다.
최근에는 기계학습의 발달로 인해 이미지를 인식하거나 분류하는 등의 업무를 컴퓨터 시스템에 의해 자동화하고자 하는 시도가 활발히 이루어지고 있다. 특히 기계학습의 일종인 뉴럴 네트워크(예를 들어, 컨벌루션 뉴럴 네트워크(Convolution Neural Network, CNN)를 이용한 딥러닝 방식)를 이용하여 사람이 수행하던 각종 분류나 판단을 자동화하기 위한 시도가 이루어지고 있으며, 뉴럴 네트워크(예를 들어, CNN)를 이용한 딥러닝을 이용하여 생체 이미지(예를 들어, 환자의 생체 조직 슬라이드)를 판독하여 특정 질병에 대한 상태 또는 징후를 판단하는 진단을 수행하는 것을 대표적인 예로 들 수 있다.
대규모의 학습 데이터를 토대로 크기가 큰 딥러닝 모델을 훈련하는 경우, 훈련 시간 단축을 위해 분산 훈련 방법을 사용할 수 있다. 이때 분산된 다수의 훈련용 하드웨어(예: GPU)에 동일하게 초기화된 딥러닝 모델을 적재한 후 각 하드웨어 별로 배치된 학습 데이터를 활용하여 모델을 훈련하면서 주기적으로 모델을 동기화하는 방식을 사용할 수 있다.
학습 데이터의 분산 배치는 대체로 서로 겹치지 않도록 동일한 규모로 분할된 데이터가 각 하드웨어에서 접근 가능하도록 설정하면 된다. 보통은 각 하드웨어에서 빠르게 접근할 수 있는 저장소에 해당 데이터를 저장하는 방식으로 데이터의 배치가 이루어진다. 다수의 훈련용 하드웨어가 하나의 서버에 연결되고, 서버에 SSD나 HDD 등 저장소가 존재하는 경우, 다수의 훈련용 하드웨어 각각에 배치된 학습 데이터가 동일한 서버의 저장소에 저장될 수 있으며, 이러한 경우에도 각 훈련용 하드웨어는 각자에게 배치된 학습 데이터만을 활용하여 훈련이 이루어진다.
병리 영상 데이터의 경우 현미경 카메라나 기타 다른 방식으로 데이터가 생성되는 경우도 있지만, 디지털 슬라이드 스캐너로 유리 슬라이드를 200 배율 또는 400 배율에서 스캔하여 생성한 전체 슬라이드 이미지(Whole-Slide Image; WSI) 형태의 데이터가 많이 활용된다. 이러한 형태의 병리 영상 데이터는 영상 하나의 크기가 수백MB에서 수GB에 이르며, 이미지 해상도 또한 수천 픽셀에서 수만 픽셀에 이르는 매우 큰 데이터이다. 따라서 이를 한꺼번에 딥러닝 모델에 입력하거나 훈련에 활용하기는 매우 어렵다.
전체 슬라이드 이미지의 경우 보통 소규모의 패치(patch) 단위 영상으로 분할하여 딥러닝 모델의 훈련에 활용하며, 훈련된 딥러닝 모델을 통한 분석 시에도 동일 규모의 패치 영상으로 분할하여 각각을 분석한 후, 분석된 결과를 통합하는 형태로 활용한다. 통상적으로 전체 슬라이드 이미지 데이터는 규모를 줄이기 위해 압축된 형태의 데이터로 저장되며, 따라서 패치 단위로 영상을 분할하기 위해서는 전체 슬라이드 이미지 데이터의 압축을 해제하여 영상을 복원하는 과정이 필요하다.
딥러닝 모델의 훈련을 위해 동일한 전체 슬라이드 이미지에서 반복적으로 패치 영상을 분할하는 것은 반복적인 이미지 압축 해제를 필요로 하는 것을 의미하며, 따라서 전체 훈련 시간이 장기화되는 문제가 있다. 이를 해결하기 위해 보통은 전체 슬라이드 이미지 데이터에서 필요한 패치 영상을 추출하여 별도의 영상 데이터로 저장하는 단계를 미리 수행한 후, 추출된 패치 영상 데이터를 딥러닝 모델의 훈련에 활용하는 방식을 사용한다.
분산 훈련이 필요할 만큼 대규모인 병리 영상 데이터, 특히 전체 슬라이드 이미지 데이터를 미리 처리하여 필요한 패치 영상 데이터를 생성하는 것은 그 자체로 시간이 많이 소요되며, 따라서 시간 단축을 위해 분산 작업이 필요할 수 있다. 그러나 패치 영상 데이터 생성 과정을 딥러닝 모델의 분산 훈련 과정과 독립적으로 분산 처리하는 경우 다음과 같은 문제가 발생할 수 있다.
첫째, 분산된 각 하드웨어에서 생성된 패치 영상 데이터들을 하나의 저장소에 모은 후 다시 분산 훈련을 위해 분산하는 경우, 대규모 데이터의 이동에 시간 및 자원이 많이 소요될 수 있으며, 둘째, 분산된 각 하드웨어에서 생성된 패치 영상 데이터들을 분산 훈련용 하드웨어들이 사용할 수 있도록 재배치하는 경우, 역시 대규모 데이터의 이동이 발생할 수 있으며, 또한 데이터 배치를 효율적으로 하기 위한 알고리즘이 필요하다.
따라서, 병리 영상 데이터 특히 전체 슬라이드 이미지 데이터를 이용하여 딥러닝 모델을 분산 훈련하는 경우, 분산 훈련에 사용되는 각 하드웨어가 연결된 서버의 저장소에 훈련에 필요한 패치 영상들이 저장되도록 패치 영상 추출을 분산 처리할 필요가 있다. 이때, 전체 슬라이드 이미지 데이터는 실질적으로 서로 다른 크기의 조직 영역을 포함하고 있으며, 조직이 아닌 배경 영역에 속하는 패치 영상들은 훈련에 활용될 이유가 없다. 따라서, 각 전체 슬라이드 이미지 데이터마다 추출되는 패치 영상의 규모가 다를 수 있으며, 이를 고려한 학습 데이터 분산 배치 방법을 개발할 필요가 있다.
본 발명이 이루고자 하는 기술적인 과제는 전체 슬라이드 이미지 데이터로 구성된 병리 영상 데이터를 딥러닝 모델의 분산 학습을 위해 효율적이고 효과적으로 분산 배치하는 방법 및 이를 수행하는 컴퓨팅 시스템을 제공하는 것이다.
본 발명의 일 측면에 따르면, N개(N은 2 이상의 정수)의 전체 슬라이드 이미지(Whole Slide Image)인 제1슬라이드 이미지 내지 제N슬라이드 이미지 각각에서 조직의 포함된 유효 패치를 판단하는 유효 패치 판단모듈, 상기 N개의 전체 슬라이드 이미지를 상호 배타적인 두 개의 집단인 학습 데이터 클래스 및 튜닝 데이터 클래스로 분할하는 분할모듈, 상기 학습 데이터 클래스에 속하는 학습용 전체 슬라이드 이미지를 전체 슬라이드 이미지 단위로 M개의 뉴럴 네트워크 학습 시스템(여기서, M은 2 이상의 정수)으로 분배하는 학습용 이미지 분배모듈 및 상기 튜닝 데이터 클래스에 속하는 튜닝용 전체 슬라이드 이미지를 전체 슬라이드 이미지 단위로 상기 M개의 뉴럴 네트워크 학습 시스템으로 분배하는 튜닝용 이미지 분배모듈을 포함하되, 상기 분할모듈은, 상기 학습 데이터 클래스에 속하는 전체 슬라이드 이미지의 유효 패치의 총 개수와 상기 튜닝 데이터 클래스에 속하는 전체 슬라이드 이미지의 유효 패치의 총 개수의 비율이 소정의 기준 비율을 만족하도록 상기 N개의 전체 슬라이드 이미지를 상호 배타적인 두 개의 클래스로 분할하는 컴퓨팅 시스템이 제공된다.
일 실시예에서, 상기 유효 패치 판단모듈은, 상기 N개의 전체 슬라이드 이미지 각각에 대하여, 상기 전체 슬라이드 이미지를 구성하는 패치 중에서 조직이 존재하는 패치의 적어도 일부를 유효 패치로 판단할 수 있다.
일 실시예에서, 상기 유효 패치 판단모듈은, 상기 전체 슬라이드 이미지를 구성하는 패치 중에서 조직 영역이 존재하는 패치의 적어도 일부를 유효 패치로 판단하기 위하여, 일정 간격만큼 떨어진 상기 전체 슬라이드 이미지 상의 특정 위치마다, 해당 위치에 조직이 존재하는 판단하고, 존재한다고 판단한 경우 상기 특정 위치를 중심점으로 하는 일정 크기의 영역을 유효 패치라고 판단할 수 있다.
일 실시예에서, 상기 유효 패치 판단모듈은, 상기 전체 슬라이드 이미지를 구성하는 패치 중에서 조직이 존재하는 패치의 적어도 일부를 유효 패치로 판단하기 위하여, 상기 전체 슬라이드 이미지에 포함된 조직 영역을 판단하고, 일정 간격만큼 떨어진 상기 조직 영역 상의 특정 위치를 중심점으로 하는 일정 크기의 영역을 유효 패치라고 판단할 수 있다.
일 실시예에서, 상기 학습용 이미지 분배모듈은, 상기 M개의 뉴럴 네트워크 학습 시스템 각각에 분배되는 학습용 전체 슬라이드 이미지들의 유효 패치의 총 개수의 편차가 최소화 되도록 분배하고, 상기 튜닝용 이미지 분배모듈은, 상기 M개의 뉴럴 네트워크 학습 시스템 각각에 분배되는 튜닝용 전체 슬라이드 이미지들의 유효 패치의 총 개수의 편차가 최소화 되도록 분배할 수 있다.
일 실시예에서, 상기 분할모듈은, 상기 N개의 전체 슬라이드 이미지에 포함된 유효 패치의 총 개수 및 상기 기준 비율에 기초하여, 상기 학습 데이터 클래스에 포함될 유효 패치의 총 개수 L을 산출하고, 하기 [점화식 1]에 기초하여 V(N, L)을 산출하는 과정을 수행하면서, 하기 [점화식 1]의 V(i, j)의 값이 하기 [식 1-1]에 따른 값인 A(i, j)로 결정될 때마다 제i전체 슬라이드 이미지를 상기 학습 데이터 클래스로 결정하고, 상기 학습 데이터 클래스로 분류되지 않은 전체 슬라이드 이미지를 상기 튜닝 데이터 클래스로 결정할 수 있다.
[점화식 1]
Figure 112022026931313-pat00001
Figure 112022026931313-pat00002
(상기 [점화식 1]에서, i는 1<=i<=N인 정수이며, j는 1<=j<=L인 정수이며, Xi는 제i전체 슬라이드 이미지에 포함된 유효 패치의 개수임, A(i, j)는 하기 [식 1-1]에 의해 계산되는 값이며, B(i, j)는 하기 [식 1-2]에 의해 계산되는 값임)
[식 1-1]
Figure 112022026931313-pat00003
[식 1-2]
Figure 112022026931313-pat00004
일 실시예에서, 상기 학습용 이미지 분배모듈은, 상기 학습 데이터 클래스에 속하는 전체 슬라이드 이미지의 유효 패치의 총 개수에 기초하여, 상기 M개의 뉴럴 네트워크 학습 시스템 각각에 분배될 학습용 유효 패치의 개수 P1 내지 PM을 산출하고, 1<=m<=M인 정수 m 각각에 대하여, 하기 [점화식 2]에 기초하여 V(|Rm|, Pm)을 산출하는 과정을 수행하면서, 하기 [점화식 2]의 V(i, j)의 값이 하기 [식 2-1]에 따른 값인 A(i, j)로 결정될 때마다 집합 Rm에 속하는 전체 슬라이드 이미지 중 i번째 전체 슬라이드 이미지를 m번째 뉴럴 네트워크 학습 시스템으로 분배할 수 있다(여기서, 집합 Rm은 상기 학습 데이터 클래스에 속하는 전체 슬라이드 이미지 중에서 상기 M개의 뉴럴 네트워크 학습 시스템 중 어느 하나로도 분배되지 않은 나머지로 구성된 집합이며, |Rm|은 집합 Rm의 크기이며, Pm은 상기 m번째 뉴럴 네트워크 학습 시스템으로 분배될 학습용 유효 패치의 개수임).
[점화식 2]
Figure 112022026931313-pat00005
Figure 112022026931313-pat00006
(상기 [점화식 2]에서, i는 1<=i<=|Rm|인 정수이며, j는 1<=j<=Pm인 정수이며, Xi는 집합 Rm에 속하는 전체 슬라이드 이미지 중 i번째 전체 슬라이드 이미지에 포함된 유효 패치의 개수임, A(i, j)는 하기 [식 2-1]에 의해 계산되는 값이며, B(i, j)는 하기 [식 2-2]에 의해 계산되는 값임)
[식 2-1]
Figure 112022026931313-pat00007
[식 2-2]
Figure 112022026931313-pat00008
일 실시예에서, 상기 튜닝용 이미지 분배모듈은, 상기 튜닝 데이터 클래스에 속하는 전체 슬라이드 이미지의 유효 패치의 총 개수에 기초하여, 상기 M개의 뉴럴 네트워크 학습 시스템 각각에 분배될 튜닝용 유효 패치의 개수 Q1 내지 QM을 산출하고, 1<=m<=M인 정수 m 각각에 대하여, 하기 [점화식 3]에 기초하여 V(|Sm|, Qm)을 산출하는 과정을 수행하면서, 하기 [점화식 3]의 V(i, j)의 값이 하기 [식 3-1]에 따른 값인 A(i, j)로 결정될 때마다 집합 S에 속하는 전체 슬라이드 이미지 중 i번째 전체 슬라이드 이미지를 m번째 뉴럴 네트워크 학습 시스템으로 분배할 수 있다(여기서, 집합 Sm은 상기 튜닝 데이터 클래스에 속하는 전체 슬라이드 이미지 중에서 상기 M개의 뉴럴 네트워크 학습 시스템 중 어느 하나로 분배되지 않고 남은 것으로 구성된 집합이며, |Sm|은 집합 Sm의 크기이며, Qm은 상기 m번째 뉴럴 네트워크 학습 시스템으로 분배될 학습용 유효 패치의 개수임).
[점화식 3]
Figure 112022026931313-pat00009
Figure 112022026931313-pat00010
(상기 [점화식 3]에서, i는 1<=i<=|Sm|인 정수이며, j는 1<=j<=Qm인 정수이며, X(i)는 집합 Sm에 속하는 전체 슬라이드 이미지 중 i번째 전체 슬라이드 이미지에 포함된 유효 패치의 개수임, A(i, j)는 하기 [식 3-1]에 의해 계산되는 값이며, B(i, j)는 하기 [식 3-2]에 의해 계산되는 값임)
[식 3-1]
Figure 112022026931313-pat00011
[식 3-2]
Figure 112022026931313-pat00012
본 발명의 다른 일 측면에 따르면, N개(N은 2 이상의 정수)의 전체 슬라이드 이미지(Whole Slide Image)인 제1슬라이드 이미지 내지 제N슬라이드 이미지 각각에서 조직의 포함된 유효 패치를 판단하는 유효 패치 판단모듈 및 상기 N개의 전체 슬라이드 이미지를 M개의 뉴럴 네트워크 학습 시스템(여기서, M은 2 이상의 정수)으로 분배하는 학습용 이미지 분배모듈을 포함하되, 상기 학습용 이미지 분배모듈은, 상기 M개의 뉴럴 네트워크 학습 시스템 각각에 분배되는 전체 슬라이드 이미지들의 유효 패치의 총 개수의 편차가 최소화 되도록 분배하는 컴퓨팅 시스템이 제공된다.
일 실시예에서, 상기 학습용 이미지 분배모듈은, 상기 N개의 전체 슬라이드 이미지의 유효 패치의 총 개수에 기초하여, 상기 M개의 뉴럴 네트워크 학습 시스템 각각에 분배될 학습용 유효 패치의 개수 P1 내지 PM을 산출하고, 1<=m<=M인 정수 m 각각에 대하여, 하기 [점화식 4]에 기초하여 V(|Rm|, Pm)을 산출하는 과정을 수행하면서, 하기 [점화식 4]의 V(i, j)의 값이 하기 [식 4-1]에 따른 값인 A(i, j)로 결정될 때마다 집합 Rm에 속하는 전체 슬라이드 이미지 중 i번째 전체 슬라이드 이미지를 m번째 뉴럴 네트워크 학습 시스템으로 분배할 수 있다(여기서, 집합 Rm은 상기 N개의 전체 슬라이드 이미지 중에서 상기 M개의 뉴럴 네트워크 학습 시스템 중 어느 하나로도 분배되지 않은 나머지로 구성된 집합이며, |Rm|은 집합 Rm의 크기이며, Pm은 상기 m번째 뉴럴 네트워크 학습 시스템으로 분배될 학습용 유효 패치의 개수임).
[점화식 4]
Figure 112022026931313-pat00013
Figure 112022026931313-pat00014
(상기 [점화식 4]에서, i는 1<=i<=|Rm|인 정수이며, j는 1<=j<=Pm인 정수이며, Xi는 집합 Rm에 속하는 전체 슬라이드 이미지 중 i번째 전체 슬라이드 이미지에 포함된 유효 패치의 개수임, A(i, j)는 하기 [식 4-1]에 의해 계산되는 값이며, B(i, j)는 하기 [식 4-2]에 의해 계산되는 값임)
[식 4-1]
Figure 112022026931313-pat00015
[식 4-2]
Figure 112022026931313-pat00016
본 발명의 다른 일 측면에 따르면, N개의 전체 슬라이드 이미지(Whole Slide Image)인 제1슬라이드 이미지 내지 제N슬라이드 이미지 각각에서 조직의 포함된 유효 패치를 판단하는 유효 패치 판단모듈-여기서, N은 2 이상의 정수이며, 상기 N개의 전체 슬라이드 이미지 각각에는 분류 기준 정보가 태깅되어 있음-, 상기 N개의 전체 슬라이드 이미지를 상기 분류 기준 정보에 따라 복수의 그룹으로 분류하는 분류모듈, 상기 복수의 그룹을 상호 배타적인 두 개의 클래스인 학습 데이터 클래스 및 튜닝 데이터 클래스로 분할하는 분할모듈, 상기 학습 데이터 클래스에 속하는 각 그룹 내의 학습용 전체 슬라이드 이미지를 전체 슬라이드 이미지 단위로 M개의 뉴럴 네트워크 학습 시스템(여기서, M은 2 이상의 정수)으로 분배하는 학습용 이미지 분배모듈 및 상기 튜닝 데이터 클래스에 속하는 각 그룹 내의 튜닝용 전체 슬라이드 이미지를 전체 슬라이드 이미지 단위로 상기 M개의 뉴럴 네트워크 학습 시스템으로 분배하는 튜닝용 이미지 분배모듈을 포함하되, 상기 분할모듈은, 상기 학습 데이터 클래스에 속하는 각 그룹에 포함된 전체 슬라이드 이미지의 유효 패치의 총 개수와 상기 튜닝 데이터 클래스에 속하는 각 그룹에 포함된 전체 슬라이드 이미지의 유효 패치의 총 개수의 비율이 소정의 기준 비율을 만족하도록 상기 복수의 그룹을 상호 배타적인 두 개의 클래스로 분할하는 컴퓨팅 시스템이 제공된다.
일 실시예에서, 상기 분할모듈은, 상기 N개의 전체 슬라이드 이미지에 포함된 유효 패치의 총 개수 및 상기 기준 비율에 기초하여, 상기 학습 데이터 클래스에 포함될 각 그룹에 속하는 전체 슬라이드 이미지의 유효 패치의 총 개수 L을 산출하고, 하기 [점화식 5]에 기초하여 V(H, L)을 산출하는 과정을 수행하면서(여기서, H는 상기 복수의 그룹의 개수임), 하기 [점화식 5]의 V(i, j)의 값이 하기 [식 5-1]에 따른 값인 A(i, j)로 결정될 때마다 제i그룹을 상기 학습 데이터 클래스로 결정하고, 상기 학습 데이터 클래스로 분류되지 않은 그룹을 상기 튜닝 데이터 클래스로 분류할 수 있다.
[점화식 5]
Figure 112022026931313-pat00017
Figure 112022026931313-pat00018
(상기 [점화식 5]에서, i는 1<=i<=H인 정수이며, j는 1<=j<=L인 정수이며, Xi는 제i그룹 내의 전체 슬라이드 이미지 각각에 포함된 유효 패치의 총 개수임, A(i, j)는 하기 [식 5-1]에 의해 계산되는 값이며, B(i, j)는 하기 [식 5-2]에 의해 계산되는 값임)
[식 5-1]
Figure 112022026931313-pat00019
[식 5-2]
Figure 112022026931313-pat00020
본 발명의 다른 일 측면에 따르면, N개의 전체 슬라이드 이미지(Whole Slide Image)인 제1슬라이드 이미지 내지 제N슬라이드 이미지 각각에서 조직의 포함된 유효 패치를 판단하는 유효 패치 판단모듈-여기서, N은 2 이상의 정수이며, 상기 N개의 전체 슬라이드 이미지 각각에는 분류 기준 정보가 태깅되어 있음;
상기 N개의 전체 슬라이드 이미지를 상기 분류 기준 정보에 따라 H개의 그룹(여기서, H는 2 이상의 정수)으로 분류하는 분류모듈 및 상기 H개의 그룹을 M개의 뉴럴 네트워크 학습 시스템(여기서, M은 2 이상의 정수)으로 분배하는 학습용 이미지 분배모듈을 포함하되, 상기 학습용 이미지 분배모듈은, 상기 M개의 뉴럴 네트워크 학습 시스템 각각에 분배되는 그룹에 포함되는 전체 슬라이드 이미지들의 유효 패치의 총 개수의 편차가 최소화 되도록 분배하는 컴퓨팅 시스템이 제공된다.
일 실시예에서, 상기 학습용 이미지 분배모듈은, 상기 N개의 전체 슬라이드 이미지의 유효 패치의 총 개수에 기초하여, 상기 M개의 뉴럴 네트워크 학습 시스템 각각에 분배될 학습용 유효 패치의 개수 P1 내지 PM을 산출하고, 1<=m<=M인 정수 m 각각에 대하여, 하기 [점화식 6]에 기초하여 V(|Rm|, Pm)을 산출하는 과정을 수행하면서, 하기 [점화식 6]의 V(i, j)의 값이 하기 [식 6-1]에 따른 값인 A(i, j)로 결정될 때마다 집합 Rm에 속하는 그룹 중 i번째 그룹을 m번째 뉴럴 네트워크 학습 시스템으로 분배할 수 있다(여기서, 집합 Rm은 상기 H개의 그룹 중에서 상기 M개의 뉴럴 네트워크 학습 시스템 중 어느 하나로도 분배되지 않은 나머지로 구성된 집합이며, |Rm|은 집합 Rm의 크기이며, Pm은 상기 m번째 뉴럴 네트워크 학습 시스템으로 분배될 학습용 유효 패치의 개수임).
[점화식 6]
Figure 112022026931313-pat00021
Figure 112022026931313-pat00022
(상기 [점화식 6]에서, i는 1<=i<=|Rm|인 정수이며, j는 1<=j<=Pm인 정수이며, Xi는 집합 Rm에 속하는 그룹 중 i번째 그룹에 포함된 전체 슬라이드 이미지의 유효 패치의 개수임, A(i, j)는 하기 [식 6-1]에 의해 계산되는 값이며, B(i, j)는 하기 [식 6-2]에 의해 계산되는 값임)
[식 6-1]
Figure 112022026931313-pat00023
[식 6-2]
Figure 112022026931313-pat00024
본 발명의 다른 일 측면에 따르면, 컴퓨팅 시스템이, N개(N은 2 이상의 정수)의 전체 슬라이드 이미지(Whole Slide Image)인 제1슬라이드 이미지 내지 제N슬라이드 이미지 각각에서 조직의 포함된 유효 패치를 판단하는 유효패치 판단단계, 상기 컴퓨팅 시스템이, 상기 N개의 전체 슬라이드 이미지를 상호 배타적인 두 개의 집단인 학습 데이터 클래스 및 튜닝 데이터 클래스로 분할하는 분할단계, 상기 컴퓨팅 시스템이, 상기 학습 데이터 클래스에 속하는 학습용 전체 슬라이드 이미지를 전체 슬라이드 이미지 단위로 M개의 뉴럴 네트워크 학습 시스템(M은 2 이상의 정수)으로 분배하는 학습용 이미지 분배단계 및 상기 컴퓨팅 시스템이, 상기 튜닝 데이터 클래스에 속하는 튜닝용 전체 슬라이드 이미지를 전체 슬라이드 이미지 단위로 상기 M개의 뉴럴 네트워크 학습 시스템으로 분배하는 튜닝용 이미지 분배단계를 포함하되, 상기 분할단계는, 상기 학습 데이터 클래스에 속하는 전체 슬라이드 이미지의 유효 패치의 총 개수와 상기 튜닝 데이터 클래스에 속하는 전체 슬라이드 이미지의 유효 패치의 총 개수의 비율이 소정의 기준 비율을 만족하도록 상기 N개의 전체 슬라이드 이미지를 상호 배타적인 두 개의 클래스로 분할하는 단계를 포함하는 뉴럴 네트워크 학습용 전체 슬라이드 이미지 분배 방법이 제공된다.
일 실시예에서, 상기 유효패치 판단단계는, 상기 N개의 전체 슬라이드 이미지 각각에 대하여, 상기 전체 슬라이드 이미지를 구성하는 패치 중에서 조직이 존재하는 패치의 적어도 일부를 유효 패치로 판단하는 단계를 포함할 수 있다.
일 실시예에서, 상기 전체 슬라이드 이미지를 구성하는 패치 중에서 조직 영역이 존재하는 패치의 적어도 일부를 유효 패치로 판단하는 단계는, 일정 간격만큼 떨어진 상기 전체 슬라이드 이미지 상의 특정 위치마다, 해당 위치에 조직이 존재하는 판단하고, 존재한다고 판단한 경우 상기 특정 위치를 중심점으로 하는 일정 크기의 영역을 유효 패치라고 판단하는 단계를 포함할 수 있다.
일 실시예에서, 상기 전체 슬라이드 이미지를 구성하는 패치 중에서 조직 영역이 존재하는 패치의 적어도 일부를 유효 패치로 판단하는 단계는, 상기 전체 슬라이드 이미지에 포함된 조직 영역을 판단하는 단계 및 일정 간격만큼 떨어진 상기 조직 영역 상의 특정 위치를 중심점으로 하는 일정 크기의 영역을 유효 패치라고 판단하는 단계를 포함할 수 있다.
일 실시예에서, 상기 학습용 이미지 분배단계는, 상기 M개의 뉴럴 네트워크 학습 시스템 각각에 분배되는 학습용 전체 슬라이드 이미지들의 유효 패치의 총 개수의 편차가 최소화 되도록 분배하는 단계를 포함하고, 상기 튜닝용 이미지 분배단계는, 상기 M개의 뉴럴 네트워크 학습 시스템 각각에 분배되는 튜닝용 전체 슬라이드 이미지들의 유효 패치의 총 개수의 편차가 최소화 되도록 분배하는 단계를 포함할 수 있다.
일 실시예에서, 상기 분할단계는, 상기 N개의 전체 슬라이드 이미지에 포함된 유효 패치의 총 개수 및 상기 기준 비율에 기초하여, 상기 학습 데이터 클래스에 포함될 유효 패치의 총 개수 L을 산출하는 단계, 상기 [점화식 1]에 기초하여 V(N, L)을 산출하는 과정을 수행하면서, 상기 [점화식 1]의 V(i, j)의 값이 상기 [식 1-1]에 따른 값인 A(i, j)로 결정될 때마다 제i전체 슬라이드 이미지를 상기 학습 데이터 클래스로 분류하는 단계 및 상기 학습 데이터 클래스로 분류되지 않은 전체 슬라이드 이미지를 상기 튜닝 데이터 클래스로 분류하는 단계를 포함할 수 있다.
일 실시예에서, 상기 학습용 이미지 분배단계는, 상기 학습 데이터 클래스에 속하는 전체 슬라이드 이미지의 유효 패치의 총 개수에 기초하여, 상기 M개의 뉴럴 네트워크 학습 시스템 각각에 분배될 학습용 유효 패치의 개수 P1 내지 PM을 산출하는 단계, 1<=m<=M인 정수 m 각각에 대하여, 상기 [점화식 2]에 기초하여 V(|Rm|, Pm)을 산출하는 과정을 수행하면서, 상기 [점화식 2]의 V(i, j)의 값이 하기 [식 2-1]에 따른 값인 A(i, j)로 결정될 때마다 집합 Rm에 속하는 전체 슬라이드 이미지 중 i번째 전체 슬라이드 이미지를 m번째 뉴럴 네트워크 학습 시스템으로 분배하는 단계(여기서, 집합 Rm은 상기 학습 데이터 클래스에 속하는 전체 슬라이드 이미지 중에서 상기 M개의 뉴럴 네트워크 학습 시스템 중 어느 하나로도 분배되지 않은 나머지로 구성된 집합이며, |Rm|은 집합 Rm의 크기이며, Pm은 상기 m번째 뉴럴 네트워크 학습 시스템으로 분배될 학습용 유효 패치의 개수임)를 포함할 수 있다.
일 실시예에서, 상기 튜닝용 이미지 분배단계는, 상기 튜닝 데이터 클래스에 속하는 전체 슬라이드 이미지의 유효 패치의 총 개수에 기초하여, 상기 M개의 뉴럴 네트워크 학습 시스템 각각에 분배될 튜닝용 유효 패치의 개수 Q1 내지 QM을 산출하는 단계, 1<=m<=M인 정수 m 각각에 대하여, 상기 [점화식 3]에 기초하여 V(|Sm|, Qm)을 산출하는 과정을 수행하면서, 상기 [점화식 3]의 V(i, j)의 값이 하기 [식 3-1]에 따른 값인 A(i, j)로 결정될 때마다 집합 S에 속하는 전체 슬라이드 이미지 중 i번째 전체 슬라이드 이미지를 m번째 뉴럴 네트워크 학습 시스템으로 분배하는 단계(여기서, 집합 Sm은 상기 튜닝 데이터 클래스에 속하는 전체 슬라이드 이미지 중에서 상기 M개의 뉴럴 네트워크 학습 시스템 중 어느 하나로 분배되지 않고 남은 것으로 구성된 집합이며, |Sm|은 집합 Sm의 크기이며, Qm은 상기 m번째 뉴럴 네트워크 학습 시스템으로 분배될 학습용 유효 패치의 개수임)를 포함할 수 있다.
본 발명의 다른 일 측면에 따르면, 컴퓨팅 시스템이, N개(N은 2 이상의 정수)의 전체 슬라이드 이미지(Whole Slide Image)인 제1슬라이드 이미지 내지 제N슬라이드 이미지 각각에서 조직의 포함된 유효 패치를 판단하는 유효패치 판단단계 및 상기 N개의 전체 슬라이드 이미지를 M개의 뉴럴 네트워크 학습 시스템(여기서, M은 2 이상의 정수)으로 분배하는 학습용 이미지 분배단계를 포함하는 뉴럴 네트워크 학습용 전체 슬라이드 이미지 분배 방법이 제공된다.
일 실시예에서, 상기 학습용 이미지 분배단계는, 상기 N개의 전체 슬라이드 이미지의 유효 패치의 총 개수에 기초하여, 상기 M개의 뉴럴 네트워크 학습 시스템 각각에 분배될 학습용 유효 패치의 개수 P1 내지 PM을 산출하는 단계 및 1<=m<=M인 정수 m 각각에 대하여, 상기 [점화식 4]에 기초하여 V(|Rm|, Pm)을 산출하는 과정을 수행하면서, 상기 [점화식 4]의 V(i, j)의 값이 상기 [식 4-1]에 따른 값인 A(i, j)로 결정될 때마다 집합 Rm에 속하는 전체 슬라이드 이미지 중 i번째 전체 슬라이드 이미지를 m번째 뉴럴 네트워크 학습 시스템으로 분배하는 단계(여기서, 집합 Rm은 상기 N개의 전체 슬라이드 이미지 중에서 상기 M개의 뉴럴 네트워크 학습 시스템 중 어느 하나로도 분배되지 않은 나머지로 구성된 집합이며, |Rm|은 집합 Rm의 크기이며, Pm은 상기 m번째 뉴럴 네트워크 학습 시스템으로 분배될 학습용 유효 패치의 개수임)를 포함할 수 있다.
본 발명의 다른 일 측면에 따르면, 컴퓨팅 시스템이, N개의 전체 슬라이드 이미지(Whole Slide Image)인 제1슬라이드 이미지 내지 제N슬라이드 이미지 각각에서 조직의 포함된 유효 패치를 판단하는 유효패치 판단단계-여기서, N은 2 이상의 정수이며, 상기 N개의 전체 슬라이드 이미지 각각에는 분류 기준 정보가 태깅되어 있음-, 상기 컴퓨팅 시스템이, 상기 N개의 전체 슬라이드 이미지를 상기 분류 기준 정보에 따라 복수의 그룹으로 분류하는 분류단계, 상기 컴퓨팅 시스템이, 상기 복수의 그룹을 상호 배타적인 두 개의 클래스인 학습 데이터 클래스 및 튜닝 데이터 클래스로 분할하는 분할단계, 상기 컴퓨팅 시스템이, 상기 학습 데이터 클래스에 속하는 각 그룹 내의 학습용 전체 슬라이드 이미지를 전체 슬라이드 이미지 단위로 M개의 뉴럴 네트워크 학습 시스템(여기서, M은 2 이상의 정수)으로 분배하는 학습용 이미지 분배단계 및 상기 컴퓨팅 시스템이, 상기 튜닝 데이터 클래스에 속하는 각 그룹 내의 튜닝용 전체 슬라이드 이미지를 전체 슬라이드 이미지 단위로 상기 M개의 뉴럴 네트워크 학습 시스템으로 분배하는 튜닝용 이미지 분배단계를 포함하되, 상기 분할단계는, 상기 학습 데이터 클래스에 속하는 각 그룹에 포함된 전체 슬라이드 이미지의 유효 패치의 총 개수와 상기 튜닝 데이터 클래스에 속하는 각 그룹에 포함된 전체 슬라이드 이미지의 유효 패치의 총 개수의 비율이 소정의 기준 비율을 만족하도록 상기 복수의 그룹을 상호 배타적인 두 개의 클래스로 분할하는 단계를 포함하는 뉴럴 네트워크 학습용 전체 슬라이드 이미지 분배 방법이 제공된다.
일 실시예에서, 상기 분할단계는, 상기 N개의 전체 슬라이드 이미지에 포함된 유효 패치의 총 개수 및 상기 기준 비율에 기초하여, 상기 학습 데이터 클래스에 포함될 유효 패치의 총 개수 L을 산출하는 단계, 상기 [점화식 5]에 기초하여 V(H, L)을 산출하는 과정을 수행하면서(여기서, H는 상기 복수의 그룹의 개수임), 하기 [점화식 5]의 V(i, j)의 값이 상기 [식 5-1]에 따른 값인 A(i, j)로 결정될 때마다 제i그룹을 상기 학습 데이터 클래스로 분류하는 단계 및 상기 학습 데이터 클래스로 분류되지 않은 그룹을 상기 튜닝 데이터 클래스로 분류하는 단계를 포함할 수 있다.
본 발명의 다른 일 측면에 따르면, 컴퓨팅 시스템이, N개의 전체 슬라이드 이미지(Whole Slide Image)인 제1슬라이드 이미지 내지 제N슬라이드 이미지 각각에서 조직의 포함된 유효 패치를 판단하는 유효 패치 판단단계-여기서, N은 2 이상의 정수이며, 상기 N개의 전체 슬라이드 이미지 각각에는 분류 기준 정보가 태깅되어 있음-, 상기 컴퓨팅 시스템이, 상기 N개의 전체 슬라이드 이미지를 상기 분류 기준 정보에 따라 H개의 그룹(여기서, H는 2 이상의 정수)으로 분류하는 분류단계 및 상기 컴퓨팅 시스템이, 상기 H개의 그룹을 M개의 뉴럴 네트워크 학습 시스템(여기서, M은 2 이상의 정수)으로 분배하는 학습용 이미지 분배단계를 포함하되, 상기 학습용 이미지 분배단계는, 상기 M개의 뉴럴 네트워크 학습 시스템 각각에 분배되는 그룹에 포함되는 전체 슬라이드 이미지들의 유효 패치의 총 개수의 편차가 최소화 되도록 분배하는 단계를 포함하는 뉴럴 네트워크 학습용 전체 슬라이드 이미지 분배 방법이 제공된다.
일 실시예에서, 상기 학습용 이미지 분배단계는, 상기 N개의 전체 슬라이드 이미지의 유효 패치의 총 개수에 기초하여, 상기 M개의 뉴럴 네트워크 학습 시스템 각각에 분배될 학습용 유효 패치의 개수 P1 내지 PM을 산출하는 단계 및 1<=m<=M인 정수 m 각각에 대하여, 상기 [점화식 6]에 기초하여 V(|Rm|, Pm)을 산출하는 과정을 수행하면서, 상기 [점화식 6]의 V(i, j)의 값이 상기 [식 6-1]에 따른 값인 A(i, j)로 결정될 때마다 집합 Rm에 속하는 그룹 중 i번째 그룹을 m번째 뉴럴 네트워크 학습 시스템으로 분배하는 단계를 포함할 수 있다(여기서, 집합 Rm은 상기 H개의 그룹 중에서 상기 M개의 뉴럴 네트워크 학습 시스템 중 어느 하나로도 분배되지 않은 나머지로 구성된 집합이며, |Rm|은 집합 Rm의 크기이며, Pm은 상기 m번째 뉴럴 네트워크 학습 시스템으로 분배될 학습용 유효 패치의 개수임).본 발명의 다른 일 측면에 따르면, 데이터 처리장치에 설치되며 상술한 방법을 수행하기 위한 매체에 기록된 컴퓨터 프로그램이 제공된다.
본 발명의 다른 일 측면에 따르면, 상술한 방법을 수행하기 위한 컴퓨터 프로그램이 기록된 컴퓨터 판독 가능한 기록매체가 제공된다.
본 발명의 다른 일 측면에 따르면, 컴퓨팅 시스템으로서, 프로세서 및 메모리를 포함하되, 상기 메모리는, 상기 프로세서에 의해 수행될 경우, 상기 컴퓨팅 시스템이 상술한 방법을 수행하도록 하는 컴퓨팅 시스템이 제공된다.
본 발명의 일 실시예에 따르면, 다수의 인공 뉴럴 네트워크를 다수의 학습용 시스템에서 분산 학습할 때, 각각의 학습용 시스템으로 학습용 전체 슬라이드 이미지가 효율적으로 분배되도록 하는 기술적 사상을 제공할 수 있다.
특히, 단순히 전체 슬라이드 이미지의 개수를 균일하게 분배하는 것이 아니라, 실질적으로 인공 뉴럴 네트워크의 학습에 사용되는 유효 패치의 개수가 각각의 학습용 시스템에 거의 균등하게 분배되도록 함으로써 분산 학습의 효율성을 극대화 할 수 있게 되는 효과가 있다.
본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 간단한 설명이 제공된다.
도 1은 본 발명의 일 실시예에 따른 뉴럴 네트워크 학습용 전체 슬라이드 이미지 분배 방법의 수행되는 환경을 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 뉴럴 네트워크 학습용 전체 슬라이드 이미지 분배 방법을 도시한 흐름도이다.
도 3은 전체 슬라이드 이미지를 구성하는 각 패치 및 유효패치의 예를 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 뉴럴 네트워크 학습용 전체 슬라이드 이미지 분배 방법에서 사용되는 특수한 공용 함수의 의사 코드를 도시한 것이다.
도 5는 N개의 전체 슬라이드 이미지를 학습 데이터 클래스와 튜닝 데이터 클래스를 분할하는 알고리즘을 나타내는 의사 코드이다.
도 6은 학습 데이터 클래스에 속하는 전체 슬라이드 이미지를 M개의 뉴럴 네트워크 학습 시스템으로 분배하는 알고리즘을 나타내는 의사 코드이다.
도 7은 튜닝 데이터 클래스에 속하는 전체 슬라이드 이미지를 M개의 뉴럴 네트워크 학습 시스템으로 분배하는 알고리즘을 나타내는 의사 코드이다.
도 8은 본 발명의 다른 일 실시예에 따른 뉴럴 네트워크 학습용 전체 슬라이드 이미지 분배 방법을 도시한 흐름도이다.
도 9는 N개의 전체 슬라이드 이미지를 M개의 뉴럴 네트워크 학습 시스템으로 분배하는 알고리즘을 나타내는 의사 코드이다.
도 10은 본 발명의 다른 일 실시예에 따른 뉴럴 네트워크 학습용 전체 슬라이드 이미지 분배 방법을 도시한 흐름도이다.
도 11은 분류 기준 정보에 의해 분류된 H개의 그룹을 학습 데이터 클래스와 튜닝 데이터 클래스를 분할하는 알고리즘을 나타내는 의사 코드이다.
도 12는 본 발명의 일 실시예에 따른 전체 슬라이드 이미지 분배 시스템의 구성을 개략적으로 도시한 블록도이다.
도 13은 본 발명의 일 실시예에 따른 뉴럴 네트워크 학습 시스템의 개략적인 구성을 도시한 블록도이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 명세서에 있어서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, 본 명세서에 있어서는 어느 하나의 구성요소가 다른 구성요소로 데이터를 '전송'하는 경우에는 상기 구성요소는 상기 다른 구성요소로 직접 상기 데이터를 전송할 수도 있고, 적어도 하나의 또 다른 구성요소를 통하여 상기 데이터를 상기 다른 구성요소로 전송할 수도 있는 것을 의미한다. 반대로 어느 하나의 구성요소가 다른 구성요소로 데이터를 '직접 전송'하는 경우에는 상기 구성요소에서 다른 구성요소를 통하지 않고 상기 다른 구성요소로 상기 데이터가 전송되는 것을 의미한다.
이하, 첨부된 도면들을 참조하여 본 발명의 실시예들을 중심으로 본 발명을 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.
도 1은 본 발명의 일 실시예에 따른 뉴럴 네트워크 학습용 전체 슬라이드 이미지 분배 방법의 수행되는 환경을 도시한 도면이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 뉴럴 네트워크 학습용 전체 슬라이드 이미지 분배 방법은 전체 슬라이드 이미지 분배 시스템(100)에 의해 수행될 수 있다.
상기 전체 슬라이드 이미지 분배 시스템(100)은 본 발명의 기술적 사상을 구현하기 위한 연산능력을 가진 데이터 처리장치인 컴퓨팅 시스템일 수 있으며, 프로세서, 메모리 및 각종 주변장치를 구비할 수 있다. 상기 전체 슬라이드 이미지 분배 시스템(100)은 일반적으로 네트워크를 통해 클라이언트가 접속 가능한 데이터 처리 장치인 서버뿐만 아니라 개인용 컴퓨터나 휴대 단말 등과 같은 컴퓨팅 장치를 포함할 수 있다. 상기 전체 슬라이드 이미지 분배 시스템(100)은 어느 하나의 물리적 장치로 구현될 수도 있으나, 필요에 따라 복수의 물리적 장치가 유기적으로 결합되어 본 발명의 기술적 사상에 따른 전체 슬라이드 이미지 분배 시스템(100)을 구현할 수 있음을 본 발명의 기술분야의 평균적 전문가는 용이하게 추론할 수 있을 것이다.
한편, 일 실시예에서, 상기 전체 슬라이드 이미지 분배 시스템(100)은 도 1에 도시된 바와 달리, 소정의 모(母) 시스템의 서브 시스템의 형태일 수 있으며, 상기 모 시스템은 병리 슬리이드 이미지에 대한 디지털 영상 처리를 수행하는 등의 기능을 수행하는 서버일 수 있다.
상기 전체 슬라이드 이미지 분배 시스템(100)은 복수의 전체 슬라이드 이미지(Whole Slide Image; WSI)를 복수의 뉴럴 네트워크 학습 시스템(200-1 내지 200-M)으로 분배할 수 있다.
전체 슬라이드 이미지는 병리 검체 슬라이드를 스캔한 이미지로서, 보다 상세하게는 생채 조직을 채취하여 유리 슬라이드의 형태로 제작한 것을 디지털 스캐너로 스캔한 생체 조직 이미지일 수 있다.
상기 복수의 뉴럴 네트워크 학습 시스템(200-1 내지 200-M)으로 분배될 복수의 전체 슬라이드 이미지는 데이터베이스(300; DB)에 저장될 수 있다. 이하에서는 뉴럴 네트워크 학습 시스템들로 분배될 전체 슬라이드 이미지의 개수를 N(N은 2 이상의 정수)이라고 하며, 차례대로 제1슬라이드 이미지 내지 제N슬라이드 이미지라고 부르기로 한다. 한편, 바람직하게 N은 후술할 복수의 뉴럴 네트워크 학습 시스템의 개수인 M보다 큰 값일 수 있다.
본 명세서에서 DB(Database)라 함은, 적어도 하나의 테이블로 구현될 수도 있으며, 상기 DB에 저장된 정보를 검색, 저장, 및 관리하기 위한 별도의 DBMS(Database Management System)을 더 포함하는 의미로 사용될 수도 있다. 또한, 링크드 리스트(linked-list), 트리(Tree), 관계형 DB의 형태 등 다양한 방식으로 구현될 수 있으며, 상기 DB(300)에 저장될 정보를 저장할 수 있는 모든 데이터 저장매체 및 데이터 구조를 포함하는 의미로 사용될 수 있다.
상기 N개의 전체 슬라이드 이미지 각각에는 소정의 정보가 태깅되어 있을 수 있다. 예를 들어 각각의 전체 슬라이드 이미지에는 해당 이미지를 다른 이미지와 구분하기 위한 이미지 식별정보가 태깅되어 있을 수 있다.
실시예에 따라 상기 N개의 전체 슬라이드 이미지 각각에는 질병이나 병변에 관한 진단 정보가 태깅되어 있을 수 있다. 예를 들어, 상기 N개의 전체 슬라이드 이미지 각각에는 병변 영역이 미리 어노테이션되어 있을 수 있으며, 그 외에도 특정 질병의 유무 혹은 중증도 등이 태깅되어 있을 수 있다. 중증도는 질병의 정도를 이산적으로 구분한 것으로서, 질병의 종류에 따라 미리 정의되어 있을 수 있으며, 예를 들어, 중증도는 질병의 종류에 따라 전립선암의 글리슨 스코어(Gleason score), 글리슨 등급 그룹(Gleason grade group), 방광암이나 유방암의 등급(grade) 등일 수 있다. 각 이미지에 태깅된 질병 혹은 병변에 관한 진단 정보는 진단자에 의해 미리 지정되어 있을 수 있으며, 추후 상기 뉴럴 네트워크 학습 시스템(200-1 내지 200-M)이 인공 뉴럴 네트워크 혹은 딥러닝 모델을 지도 학습하는데 이용될 수 있다.
실시예에 따라 상기 N개의 전체 슬라이드 이미지 각각에는 소정의 분류 기준 정보가 더 태깅되어 있을 수 있다. 분류 기준 정보는 전체 슬라이드 이미지를 그룹으로 분류하는데 필요한 정보일 수 있다. 예를 들어, 분류 기준 정보는 환자의 실별 정보일 수 있으며, 이 경우 분류 기준 정보를 이용하여 동일한 환자에서 추출한 조직의 전체 슬라이드 이미지들을 하나의 그룹으로 묶을 수 있다.
한편, 실시예에 따라 상기 N개의 전체 슬라이드 이미지는 DB(300)가 아니라 HDD나 SDD와 같은 저장장치에 파일의 형태로 저장되어 있을 수도 있으며, 상기 전체 슬라이드 이미지 분배 시스템(100)와 네트워크를 통해 연결된 소정의 외부 시스템(미도시)에 저장되어 있을 수도 있다.
상기 전체 슬라이드 이미지 분배 시스템(100)은 전체 슬라이드 이미지 단위로 상기 제1슬라이드 이미지 내지 상기 제N슬라이드 이미지를 분배할 수 있다. 상기 전체 슬라이드 이미지 분배 시스템(100)은 각각의 뉴럴 네트워크 학습 시스템(200-1 내지 200-M)으로 분배할 전체 슬라이드 이미지를 해당 뉴럴 네트워크 학습 시스템으로 직접 전송하는 방식으로 분배할 수도 있으며, 분배할 전체 슬라이드 이미지의 식별정보를 해당 뉴럴 네트워크 학습 시스템으로 전달하고 뉴럴 네트워크 학습 시스템에서 DB(300)에 접속하여 분배받은 전체 슬라이드 이미지를 획득하는 방식으로 분배할 수도 있다.
한편, 상기 전체 슬라이드 이미지 분배 시스템(100)은 각 전체 슬라이드 이미지에 포함된 유효 패치의 개수에 기초하여 상기 N개의 전체 슬라이드 이미지를 분배할 수 있는데, 이에 대해서는 후술하기로 한다. 여기서 패치(또는 '타일'이라고도 함)는 전체 슬라이드 이미지를 소정의 단위 크기로 분할한 일부의 이미지일 수 있다. 예를 들어 하나의 전체 슬라이드 이미지는 일정한 크기를 가진 격자 형태의 패치로 분할될 수 있다. 유효 패치는 해당 패치의 전부 혹은 일부에 생체 조직(tissue)이 포함되어 있는 패치를 의미할 수 있다.
상기 뉴럴 네트워크 학습 시스템(200-1 내지 200-M)은 본 발명의 기술적 사상을 구현하기 위한 연산능력을 가진 데이터 처리장치인 컴퓨팅 시스템일 수 있으며, 일반적으로 네트워크를 통해 클라이언트가 접속 가능한 데이터 처리 장치인 서버뿐만 아니라 개인용 컴퓨터나 휴대 단말 등과 같은 컴퓨팅 장치를 포함할 수 있다.
상기 뉴럴 네트워크 학습 시스템(200-m; m은 1<=m<=M인 정수) 각각은 인공 뉴럴 네트워크(210-m)을 포함할 수 있으며, 자신에게 분배된 전체 슬라이드 이미지를 이용하여 인공 뉴럴 네트워크(210-m)를 학습할 수 있다.
상기 뉴럴 네트워크 학습 시스템(200-m)은 전체 슬라이드 이미지로부터 유효 패치를 추출할 수 있으며 추출한 유효 패치 각각을 인공 뉴럴 네트워크(210-m)의 입력 레이어에 입력하여 상기 인공 뉴럴 네트워크(210-m)를 학습할 수 있다.
한편, 상기 인공 뉴럴 네트워크(210-1 내지 210-M) 각각은 이미지 패치를 입력 레이어를 통해 입력받아 소정의 질병에 대한 판단의 기준이 될 수 있는 출력값을 출력 레이어를 통해 출력할 수 있다. 예를 들어, 상기 인공 뉴럴 네트워크(210-1 내지 210-M)은 입력받은 패치에 소정의 질병이 있을 확률 혹은 소정의 질병의 중증도에 대한 확률을 출력하거나 패치를 구성하는 각 픽셀 별 질병 확률 등을 출력할 수 있다. 따라서, 학습이 완료된 상기 인공 뉴럴 네트워크(210-1 내지 210-M)는 소정의 질병에 대한 진단에 이용되거나, 질병의 진단을 위한 보조적인 정보를 생성하는데 이용될 수 있다.
또한 분산 학습된 인공 뉴럴 네트워크들(210-1 내지 210-M)은 학습 진행되는 도중 혹은 학습이 완료된 후 서로 동기화되어 하나의 모델을 구성하는데 이용될 수도 있다.
본 명세서에서 인공 뉴럴 네트워크는 딥 러닝 모델이라고 불릴 수도 있다.
본 명세서에서 인공 뉴럴 네트워크는 다층 퍼셉트론 모델을 포함하며, 인공 뉴럴 네트워크를 정의하는 일련의 설계사항들을 표현하는 정보의 집합을 의미할 수 있다. 인공 뉴렬 네트워크는 잘 알려진 바와 같이, 입력 레이어, 복수의 히든 레이어들, 및 출력 레이어를 포함할 수 있다.
복수의 히든 레이어들 각각은 컨볼루션 레이어 및 풀링 레이어(또는 서브 샘플링 레이어)를 포함할 수 있다. 컨볼루션 뉴렬 네트워크는 이러한 각각의 레이어들을 정의하기 위한 함수, 필터, 스트라이드(stride), 웨이트 팩터 등에 의해 정의될 수 있다. 또한, 출력 레이어는 풀리 커넥티드(fully connected)된 전방향 레이어(FeedForward layer)로 정의될 수 있다.
일 실시예에서, 상기 인공 뉴럴 네트워크는 컨볼루션 뉴렬 네트워크 (convolutional neural network) 이거나 혹은 컨볼루션 뉴렬 네트워크를 포함할 수 있다.
컨볼루션 뉴렬 네트워크를 구성하는 각각의 레이어별 설계 사항은 널리 알려져 있다. 예를 들어, 복수의 레이어들에 포함될 레이어의 개수, 상기 복수의 레이어들을 정의하기 위한 컨볼루션 함수, 풀링 함수, 활성화 함수 각각에 대해서는 공지된 함수들이 이용될 수도 있고, 본 발명의 기술적 사상을 구현하기 위해 별도로 정의된 함수들이 이용될 수도 있다. 컨볼루션 함수의 일 예로는 이산 컨볼류션 합 등이 있다. 풀링 함수의 일 예로는 맥스 풀링(max pooling), 에버리지 풀링(average pooling) 등이 이용될 수 있다. 활성화 함수의 일 예로는 시그모이드 (sigmoid), 탄젠트 하이퍼볼릭 (tanh), ReLU (rectified linear unit)등일 수 있다. 이러한 컨볼루션 뉴렬 네트워크의 설계 사항이 정의되면 설계사항이 정의된 컨볼루션 뉴럴 네트워크가 저장장치에 저장될 수 있다.
그리고 상기 컨볼류션 뉴럴 네트워크가 학습되면, 각각의 레이어들에 해당하는 웨이트 팩터가 특정될 수 있다. 즉, 컨볼루션 뉴렬 네트워크의 학습은 각각의 레이어들의 웨이트 팩터들이 결정되는 프로세스를 의미할 수 있다. 그리고 컨볼루션 뉴렬 네트워크가 학습되면, 학습된 컨볼루션 뉴렬 네트워크는 입력 레이어에 입력 데이터를 입력받고 미리 정의된 출력 레이어를 통해 출력 데이터를 출력할 수 있다.
본 발명의 실시 예에 따른 뉴럴 네트워크는 상기와 같이 널리 알려진 설계 사항들 중 어느 하나 또는 복수 개를 선택하여 정의될 수도 있고, 독자적인 설계 사항이 상기 뉴럴 네트워크를 위해 정의될 수도 있다.
도 2는 본 발명의 일 실시예에 따른 전체 슬라이드 이미지 분배 시스템(100)이 수행하는 뉴럴 네트워크 학습용 전체 슬라이드 이미지 분배 방법을 도시한 흐름도이다.
도 2를 참조하면 상기 전체 슬라이드 이미지 분배 시스템(100)은 N개(N은 2 이상의 정수)의 전체 슬라이드 이미지인 제1슬라이드 이미지 내지 제N슬라이드 이미지 각각에서 조직의 포함된 유효 패치를 판단할 수 있다(S100).
상기 전체 슬라이드 이미지 분배 시스템(100)은 상기 N개의 전체 슬라이드 이미지 각각에 대하여, 상기 전체 슬라이드 이미지를 구성하는 패치 중에서 조직이 존재하는 패치의 적어도 일부를 유효 패치로 판단할 수 있다.
상기 전체 슬라이드 이미지 분배 시스템(100)은 전체 슬라이드 이미지가 압축된 형태로 저장되어 있는 경우 압축을 해제하여 영상을 복원한 후 유효 패치를 판단할 수 있다.
일 실시예에서, 상기 전체 슬라이드 이미지 분배 시스템(100)은 일정 간격만큼 떨어진 상기 전체 슬라이드 이미지 상의 특정 위치마다, 해당 위치에 조직이 존재하는 판단하고, 존재한다고 판단한 경우 상기 특정 위치를 중심점으로 하는 일정 크기의 영역을 유효 패치라고 판단할 수 있다. 보다 상세하게는 상기 전체 슬라이드 이미지 분배 시스템(100)은 전체 슬라이드 이미지를 구성하는 각 패치의 중심점에 해당하는 위치마다, 해당 위치에 조직이 존재하는지를 판단할 수 있다. 특정 위치에 조직이 존재하는지 여부를 판단하는 방법은 다양할 수 있다. 예를 들어 상기 전체 슬라이드 이미지 분배 시스템(100)은 미리 학습된 조직 판단용 뉴럴 네트워크를 이용하여 해당 위치를 중심점으로 하는 일정 영역에 조직이 존재하는지 여부를 판단할 수 있다. 상기 조직 판단용 뉴럴 네트워크는 특정 위치를 중심으로 하는 일정 영역의 이미지를 입력 레이어를 통해 입력받아 해당 영역에 조직이 존재하는지 여부를 판단하기 위한 출력값을 출력 레이어를 통해 출력하는 인공 뉴럴 네트워크일 수 있다. 또는 상기 전체 슬라이드 이미지 분배 시스템(100)특정 위치를 중심으로 하는 일정 영역 픽셀 값을 소정의 기준 값과 비교하는 방식으로 해당 위치에 조직이 존재하는지 여부를 판단할 수도 있으며, 그 외에도 알려진 다양한 방법을 통해 특정 위치에 조직이 존재하는지 여부를 판단할 수 있다.
다른 일 실시예에서, 상기 전체 슬라이드 이미지 분배 시스템(100)은 전체 슬라이드 이미지에 포함된 조직 영역을 판단하고, 일정 간격만큼 떨어진 상기 조직 영역 상의 특정 위치를 중심점으로 하는 일정 크기의 영역을 유효 패치라고 판단할 수 있다. 예를 들어, 상기 전체 슬라이드 이미지 분배 시스템(100)은 전체 슬라이드 이미지에 포함된 조직 영역을 판단하기 위하여 미리 학습된 조직 영역 판단용 뉴럴 네트워크를 이용할 수 있으며, 그 외 알려진 다양한 방법을 통해 전체 슬라이드 이미지에 포함된 조직 영역을 판단할 수 있다. 슬라이드 이미지로부터 조직 영역을 판단하는 다양한 기술이 이미 공개되어 있으며, 기 출원된 특허출원 제10-2021-0008312호에 개시된 방법 등을 예로 들 수 있다.
상기 전체 슬라이드 이미지 분배 시스템(100)은 상기 N개의 전체 슬라이드 이미지 각각의 유효 패치의 개수를 산출할 수 있다(S110).
도 3은 전체 슬라이드 이미지를 구성하는 각 패치 및 유효패치의 예를 도시한 도면이다. 도 3에 도시된 바와 같이 하나의 전체 슬라이드 이미지가 8×8의 패치로 분할되고, 그 중 회색으로 표시된 패치가 유효패치로 판단된 경우, 상기 전체 슬라이드 이미지 분배 시스템(100)은 도 3의 전체 슬라이드 이미지의 유효 패치의 개수인 21을 산출할 수 있다. 이러한 방식으로 상기 전체 슬라이드 이미지 분배 시스템(100)은 상기 N개의 전체 슬라이드 이미지 각각의 유효 패치의 개수를 산출할 수 있다.
다시 도 2를 참조하면, 상기 전체 슬라이드 이미지 분배 시스템(100)은 상기 N개의 전체 슬라이드 이미지를 상호 배타적인 두 개의 집단인 학습 데이터 클래스 및 튜닝 데이터 클래스로 분할할 수 있다.
본 명세서에서 집단 A를 상호 배타적인 두 개의 집단인 B, C로 분할한다고 함은, i)B와 C의 교집합이 공집합이며, ii)B와 C의 합집합이 A가 되도록 A에 속한 각각의 개별 요소를 B 또는 C로 분류하는 것을 의미할 수 있다.
학습 데이터 클래스로 분류된 전체 슬라이드 이미지와 튜닝 데이터 클래스로 분류된 전체 슬라이드 이미지는 구체적인 용도가 구분될 수 있는데, 학습 데이터 클래스로 분류된 전체 슬라이드 이미지는 상기 인공 뉴럴 네트워크(210-1 내지 210-M)을 학습하는데 이용될 수 있으며, 튜닝 데이터 클래스로 분류된 전체 슬라이드 이미지는 상기 인공 뉴럴 네트워크(210-1 내지 210-M)를 파인 튜닝(fine tuning)하는데 이용되거나 학습된 뉴럴 네트워크를 검증(validation)하는데 이용될 수 있다.
상기 전체 슬라이드 이미지 분배 시스템(100)은 전체 슬라이드 이미지 내의 유효 패치의 개수를 고려하여 학습 데이터 클래스와 튜닝 데이터 클래스를 분할할 수 있는데, 보다 구체적으로는 상기 전체 슬라이드 이미지 분배 시스템(100)은 상기 학습 데이터 클래스에 속하는 전체 슬라이드 이미지의 유효 패치의 총 개수와 상기 튜닝 데이터 클래스에 속하는 전체 슬라이드 이미지의 유효 패치의 총 개수의 비율이 소정의 기준 비율을 만족하도록 상기 N개의 전체 슬라이드 이미지를 분할할 수 있다. 예를 들어, 상기 N개의 전체 슬라이드 이미지에 포함된 유효 패치의 총 개수가 E이고, 기준 비율이 α:(1-α)라면 상기 전체 슬라이드 이미지 분배 시스템(100)은 α×E개의 유효 패치가 학습 데이터 클래스에 포함되도록 하고, (1-α)×E개의 유효 패치가 튜닝 데이터 클래스에 포함되도록 상기 N개의 전체 슬라이드 이미지를 분할할 수 있다(α는 0<α<1인 실수). 또는 전체 슬라이드 이미지 분배 시스템(100)은 학습 데이터 클래스에 포함되는 유효 패치의 실제 비중과 기준 비율 α간의 차이가 소정의 임계 값 이하가 되도록 상기 N개의 전체 슬라이드 이미지를 분할할 수도 있다.
일 실시예에서, 상기 전체 슬라이드 이미지 분배 시스템(100)은 특정한 집단에 포함될 유효패치의 개수가 정해져 있는 경우, 해당 집단에 포함되어야 할 전체 슬라이드 이미지를 구할 수 있는 점화식을 이용하여 상기 N개의 전체 슬라이드 이미지를 학습 데이터 클래스와 튜닝 데이터 클래스로 분할할 수 있다.
보다 상세하게는, 먼저 상기 전체 슬라이드 이미지 분배 시스템(100)은 상기 N개의 전체 슬라이드 이미지에 포함된 유효 패치의 총 개수 및 상기 기준 비율에 기초하여, 상기 학습 데이터 클래스에 포함될 유효 패치의 총 개수 L을 산출할 수 있다. 앞서 설명한 바에 의하면 상기 전체 슬라이드 이미지 분배 시스템(100)은 상기 학습 데이터 클래스에 포함될 유효 패치의 총 개수 L를 α×E로 산출할 수 있다.
다음으로 상기 전체 슬라이드 이미지 분배 시스템(100)은 하기 [점화식 1]에 기초하여 V(N, L)을 산출하는 과정을 수행하면서, 하기 [점화식 1]의 V(i, j)의 값이 하기 [식 1-1]에 따른 값인 A(i, j)로 결정될 때마다 제i전체 슬라이드 이미지를 상기 학습 데이터 클래스로 분류할 수 있으며, 상기 학습 데이터 클래스로 분류되지 않은 전체 슬라이드 이미지를 상기 튜닝 데이터 클래스로 분류할 수 있다.
[점화식 1]
Figure 112022026931313-pat00025
Figure 112022026931313-pat00026
(상기 [점화식 1]에서, i는 1<=i<=N인 정수이며, j는 1<=j<=L인 정수이며, Xi는 제i전체 슬라이드 이미지에 포함된 유효 패치의 개수임, A(i, j)는 하기 [식 1-1]에 의해 계산되는 값이며, B(i, j)는 하기 [식 1-2]에 의해 계산되는 값임)
[식 1-1]
Figure 112022026931313-pat00027
[식 1-2]
Figure 112022026931313-pat00028
상기 [점화식 1]을 이용하여 학습 데이터 클래스와 튜닝 데이터 클래스를 분할하는 방식을 구현한 구체적인 예가 도 5에 도시되어 있다. 도 5는 유효 패치의 개수가 각각 산출되어 있는 N개의 전체 슬라이드 이미지를 학습 데이터 클래스와 튜닝 데이터 클래스를 분할하는 알고리즘을 나타내는 의사 코드(pseudo code)이다.
한편, 도 5의 알고리즘을 비롯하여, 유효 패치의 개수를 기준으로 전체 슬라이드 이미지들을 특정한 그룹으로 분류하기 위한 각종 알고리즘(도 6, 도 7, 도 9 및 도 11 참조)은 공통적으로 특정한 함수(혹은 프로시져)를 이용하게 되는데, 도 4는 해당 함수(혹은 프로시져)를 나타내는 의사 코드를 도시한 것이다.
도 4에서 변수 X, Z, G는 함수 int V(i, j)에서도 접근 가능한 글로벌 변수 혹은 상위 스코프(scope)의 변수일 수 있다. G는 분류(혹은 분할)의 대상이 되는 전체 슬라이드 이미지 전체의 리스트이며, X는 G에 속하는 전체 슬라이드 이미지 각각의 유효 패치의 개수의 리스트이며, Z는 분류(혹은 분할)가 완료된 전체 슬라이드 이미지를 포함할 집합을 나타낸다.
도 4에서 S1000은 위 [점화식 1]의 "V(i, 0) = 0, V(0, j) = 0"을 구현한 것이며, S1100, S1400, S1600 및 S1700은 위 [점화식 1]의 V(i, j)를 구하는 부분을 구현한 것이며, S1200은 위 [식 1-1]을 구현한 것이며, S1300은 위 [식 1-2]을 구현한 것이다.
한편 도 5를 참조하면, 상기 전체 슬라이드 이미지 분배 시스템(100)은 상기 N개의 전체 슬라이드 이미지를 학습 데이터 클래스와 튜닝 데이터 클래스로 분할하기 위하여, G를 상기 N개의 전체 슬라이드 이미지로 설정하고(S123), Z를 공집합으로 초기화하고(S124), 상기 N개의 전체 슬라이드 이미지 각각에 포함되어 있는 유효 패치의 개수를 차례로 X에 할당할 수 있다(S125). 이후 상기 전체 슬라이드 이미지 분배 시스템(100)은 V(N, L)을 호출할 수 있다(S126). 이때, N은 분할될 전체 슬라이드 이미지의 총 개수이며(S121), L은 학습 데이터 클래스에 속하게 될 각각의 전체 슬라이드 이미지의 유효 패치의 총합이다(S122).
V(N, L)의 실행이 종료된 후, 상기 전체 슬라이드 이미지 분배 시스템(100)은 Z에 포함된 전체 슬라이드 이미지를 학습 데이터 클래스로 분류할 수 있으며(S127), 상기 N개의 전체 슬라이드 이미지 중 Z에 속하지 않는 전체 슬라이드 이미지를 튜닝 데이터 클래스로 분류할 수 있다(S128).
다시 도 2를 참조하면, 상기 전체 슬라이드 이미지 분배 시스템(100)은 상기 학습 데이터 클래스에 속하는 학습용 전체 슬라이드 이미지를 전체 슬라이드 이미지 단위로 상기 M개의 뉴럴 네트워크 학습 시스템으로 분배할 수 있다(S130).
일 실시예에서, 상기 전체 슬라이드 이미지 분배 시스템(100)은 상기 M개의 뉴럴 네트워크 학습 시스템(200-1 내지 200-M) 각각에 분배되는 학습용 전체 슬라이드 이미지들의 유효 패치의 총 개수의 편차가 최소화 되도록 분배할 수 있다.
또는 다른 일 실시예에서, 상기 전체 슬라이드 이미지 분배 시스템(100)은 상술한 점화식을 이용하여 상기 학습 데이터 클래스에 속하는 학습용 전체 슬라이드 이미지를 상기 M개의 뉴럴 네트워크 학습 시스템으로 분배할 수 있다.
보다 구체적으로는, 먼저 상기 전체 슬라이드 이미지 분배 시스템(100)은 상기 학습 데이터 클래스에 속하는 전체 슬라이드 이미지의 유효 패치의 총 개수에 기초하여, 상기 M개의 뉴럴 네트워크 학습 시스템 각각에 분배될 학습용 유효 패치의 개수 P1 내지 PM을 산출할 수 있다, 예를 들어 상기 전체 슬라이드 이미지 분배 시스템(100)은 P1 내지 PM을 [학습 데이터 클래스에 속하는 전체 슬라이드 이미지의 유효 패치의 총 개수]를 M으로 나눈 값으로 결정할 수 있다.다만 P1 내지 PM은 상기 M개의 뉴럴 네트워크 학습 시스템 각각에 분배될 학습용 유효 패치의 개수를 개략적으로 결정한 임시 값이며, 실제로 상기 M개의 뉴럴 네트워크 학습 시스템 각각에 분배될 학습용 유효 패치의 실제 개수는 P1 내지 PM과 다소간의 차이가 있을 수 있다. 상기 전체 슬라이드 이미지 분배 시스템(100)은 유효 패치가 아니라 전체 슬라이드 이미지 단위로 분배를 하기 때문이다.
다음으로 상기 전체 슬라이드 이미지 분배 시스템(100)은, 1<=m<=M인 정수 m 각각에 대하여, 하기 [점화식 2]에 기초하여 V(|Rm|, Pm)을 산출하는 과정을 수행하면서, 하기 [점화식 2]의 V(i, j)의 값이 하기 [식 2-1]에 따른 값인 A(i, j)로 결정될 때마다 집합 Rm에 속하는 전체 슬라이드 이미지 중 i번째 전체 슬라이드 이미지를 m번째 뉴럴 네트워크 학습 시스템으로 분배할 수 있다. 이때, 집합 Rm은 상기 학습 데이터 클래스에 속하는 전체 슬라이드 이미지 중에서 상기 M개의 뉴럴 네트워크 학습 시스템 중 어느 하나로도 분배되지 않은 나머지로 구성된 집합이며, |Rm|은 집합 Rm의 크기를 의미한다.
위 과정을 통해 m번째 뉴럴 네트워크 학습 시스템으로 분배된 전체 슬라이드 이미지에 포함된 유효 패치의 실제 개수는 Pm보다 작을 수 있다(상기 전체 슬라이드 이미지 분배 시스템(100)은 유효 패치가 아니라 전체 슬라이드 이미지 단위로 분배를 하기 때문임). 따라서, 일 실시예에서는, m번째 뉴럴 네트워크 학습 시스템으로 전체 슬라이드 이미지가 분배된 후, 아직 전체 슬라이드 이미지가 분배되지 않은 나머지 뉴럴 네트워크 학습 시스템으로 분배될 학습용 유효 패치의 개수(즉, Pm+1 내지 PM)가 업데이트될 수 있다. 예를 들어, 상기 전체 슬라이드 이미지 분배 시스템(100)은 Pm+1 내지 PM을 |Rm+1|/(M-m)으로 업데이트할 수 있다.
[점화식 2]
Figure 112022026931313-pat00029
Figure 112022026931313-pat00030
(상기 [점화식 2]에서, i는 1<=i<=|Rm|인 정수이며, j는 1<=j<=Pm인 정수이며, Xi는 집합 Rm에 속하는 전체 슬라이드 이미지 중 i번째 전체 슬라이드 이미지에 포함된 유효 패치의 개수임, A(i, j)는 하기 [식 2-1]에 의해 계산되는 값이며, B(i, j)는 하기 [식 2-2]에 의해 계산되는 값임)
[식 2-1]
Figure 112022026931313-pat00031
[식 2-2]
Figure 112022026931313-pat00032
상기 [점화식 2]을 이용하여 학습 데이터 클래스에 속하는 전체 슬라이드 이미지를 상기 M개의 뉴럴 네트워크 학습 시스템(200-1 내지 200-M)으로 분배하는 방식을 구현한 구체적인 예가 도 6에 도시되어 있다. 도 6은 학습 데이터 클래스에 속하는 전체 슬라이드 이미지를 상기 M개의 뉴럴 네트워크 학습 시스템(200-1 내지 200-M)으로 분배하는 알고리즘을 나타내는 의사 코드이다. 도 6의 알고리즘 역시 도 4의 함수를 이용한다.
도 6를 참조하면, 초기에는 상기 학습 데이터 클래스에 속하는 모든 전체 슬라이드 이미지가 뉴럴 네트워크 학습 시스템으로 분배된 바 없으므로 R1을 상기 학습 데이터 클래스에 속하는 전체 슬라이드 이미지 전체의 리스트로 설정한다(S131).
그리고 상기 전체 슬라이드 이미지 분배 시스템(100)은 1<=m<=M인 정수 m 각각에 대하여, 다음의 과정을 수행한다(S132).
상기 전체 슬라이드 이미지 분배 시스템(100)은 G를 상기 학습 데이터 클래스에 속하면서 아직 분배되지 않은 전체 슬라이드 이미지의 리스트인 Rm로 설정하고(S134), Z를 공집합으로 초기화하고(S135), G에 속하는 전체 슬라이드 이미지 각각에 포함되어 있는 유효 패치의 개수를 차례로 X에 할당할 수 있다(S136). 이후 상기 전체 슬라이드 이미지 분배 시스템(100)은 V(|Rm|, Pm)을 호출할 수 있다(S137). 이때, Pm은 m번째 뉴럴 네트워크 학습 시스템(200-m)으로 분배될 학습용 유효 패치의 총 개수이며(S133), |Rm|은 Rm의 크기이다. 일 실시예에서 Pm은 |Rm|/(M-m+1) 일 수 있다.
V(|Rm|, Pm)의 실행이 종료된 후, 상기 전체 슬라이드 이미지 분배 시스템(100)은 Z에 포함된 학습용 전체 슬라이드 이미지를 m번째 뉴럴 네트워크 학습 시스템(200-m)으로 분배할 수 있으며(S138), m번째 뉴럴 네트워크 학습 시스템(200-m)으로 분배된 전체 슬라이드 이미지를 제외한 나머지를 Rm+1로 설정할 수 있다(S139).
다시 도 2를 참조하면, 상기 전체 슬라이드 이미지 분배 시스템(100)은 상기 튜닝 데이터 클래스에 속하는 튜닝용 전체 슬라이드 이미지를 전체 슬라이드 이미지 단위로 상기 M개의 뉴럴 네트워크 학습 시스템으로 분배할 수 있다(S140).
일 실시예에서, 상기 전체 슬라이드 이미지 분배 시스템(100)은 상기 M개의 뉴럴 네트워크 학습 시스템(200-1 내지 200-M) 각각에 분배되는 튜닝용 전체 슬라이드 이미지들의 유효 패치의 총 개수의 편차가 최소화 되도록 분배할 수 있다.
또는 다른 일 실시예에서, 상기 전체 슬라이드 이미지 분배 시스템(100)은 상술한 점화식을 이용하여 상기 튜닝 데이터 클래스에 속하는 학습용 전체 슬라이드 이미지를 상기 M개의 뉴럴 네트워크 학습 시스템(200-1 내지 200-M)으로 분배할 수 있다.
보다 구체적으로는, 먼저 상기 전체 슬라이드 이미지 분배 시스템(100)은 상기 튜닝 데이터 클래스에 속하는 전체 슬라이드 이미지의 유효 패치의 총 개수에 기초하여, 상기 M개의 뉴럴 네트워크 학습 시스템 각각에 분배될 튜닝용 유효 패치의 개수 Q1 내지 QM을 산출할 수 있다. 예를 들어 상기 전체 슬라이드 이미지 분배 시스템(100)은 Q1 내지 QM을 [튜닝 데이터 클래스에 속하는 전체 슬라이드 이미지의 유효 패치의 총 개수]를 M으로 나눈 값으로 결정할 수 있다.
다만 Q1 내지 QM은 상기 M개의 뉴럴 네트워크 학습 시스템 각각에 분배될 튜닝용 유효 패치의 개수를 개략적으로 결정한 임시 값이며, 실제로 상기 M개의 뉴럴 네트워크 학습 시스템 각각에 분배될 튜닝용 유효 패치의 실제 개수는 Q1 내지 QM과 다소간의 차이가 있을 수 있다. 상기 전체 슬라이드 이미지 분배 시스템(100)은 유효 패치가 아니라 전체 슬라이드 이미지 단위로 분배를 하기 때문이다.
다음으로 상기 전체 슬라이드 이미지 분배 시스템(100)은, 1<=m<=M인 정수 m 각각에 대하여, 하기 [점화식 3]에 기초하여 V(|Sm|, Qm)을 산출하는 과정을 수행하면서, 하기 [점화식 3]의 V(i, j)의 값이 하기 [식 3-1]에 따른 값인 A(i, j)로 결정될 때마다 집합 S에 속하는 전체 슬라이드 이미지 중 i번째 전체 슬라이드 이미지를 m번째 뉴럴 네트워크 학습 시스템으로 분배할 수 있다. 이때, 집합 Sm은 상기 튜닝 데이터 클래스에 속하는 전체 슬라이드 이미지 중에서 상기 M개의 뉴럴 네트워크 학습 시스템 중 어느 하나로 분배되지 않고 남은 것으로 구성된 집합이며, |Sm|은 집합 Sm의 크기이다.
위 과정을 통해 m번째 뉴럴 네트워크 학습 시스템으로 분배된 전체 슬라이드 이미지에 포함된 유효 패치의 실제 개수는 Qm보다 작을 수 있다(상기 전체 슬라이드 이미지 분배 시스템(100)은 유효 패치가 아니라 전체 슬라이드 이미지 단위로 분배를 하기 때문임). 따라서, 일 실시예에서는, m번째 뉴럴 네트워크 학습 시스템으로 전체 슬라이드 이미지가 분배된 후, 아직 전체 슬라이드 이미지가 분배되지 않은 나머지 뉴럴 네트워크 학습 시스템으로 분배될 튜닝용 유효 패치의 개수(즉, Qm+1 내지 QM)가 업데이트될 수 있다. 예를 들어, 상기 전체 슬라이드 이미지 분배 시스템(100)은 Qm+1 내지 QM을 |Sm+1|/(M-m)으로 업데이트할 수 있다.
[점화식 3]
Figure 112022026931313-pat00033
Figure 112022026931313-pat00034
(상기 [점화식 3]에서, i는 1<=i<=|Sm|인 정수이며, j는 1<=j<=Qm인 정수이며, X(i)는 집합 Sm에 속하는 전체 슬라이드 이미지 중 i번째 전체 슬라이드 이미지에 포함된 유효 패치의 개수임, A(i, j)는 하기 [식 3-1]에 의해 계산되는 값이며, B(i, j)는 하기 [식 3-2]에 의해 계산되는 값임)
[식 3-1]
Figure 112022026931313-pat00035
[식 3-2]
Figure 112022026931313-pat00036
상기 [점화식 3]을 이용하여 튜닝 데이터 클래스에 속하는 전체 슬라이드 이미지를 상기 M개의 뉴럴 네트워크 학습 시스템(200-1 내지 200-M)으로 분배하는 방식을 구현한 구체적인 예가 도 7에 도시되어 있다. 도 7은 튜닝 데이터 클래스에 속하는 전체 슬라이드 이미지를 상기 M개의 뉴럴 네트워크 학습 시스템(200-1 내지 200-M)으로 분배하는 알고리즘을 나타내는 의사 코드이다. 도 7의 알고리즘 역시 도 4의 함수를 이용한다.
도 7를 참조하면, 초기에는 상기 학습 데이터 클래스에 속하는 모든 전체 슬라이드 이미지가 뉴럴 네트워크 학습 시스템으로 분배된 바 없으므로 S1을 상기 학습 데이터 클래스에 속하는 전체 슬라이드 이미지 전체의 리스트로 설정한다(S141).
그리고 상기 전체 슬라이드 이미지 분배 시스템(100)은 1<=m<=M인 정수 m 각각에 대하여, 다음의 과정을 수행한다(S142).
상기 전체 슬라이드 이미지 분배 시스템(100)은 G를 상기 튜닝 데이터 클래스에 속하면서 아직 분배되지 않은 전체 슬라이드 이미지의 리스트인 Sm로 설정하고(S144), Z를 공집합으로 초기화하고(S145), G에 속하는 전체 슬라이드 이미지 각각에 포함되어 있는 유효 패치의 개수를 차례로 X에 할당할 수 있다(S146). 이후 상기 전체 슬라이드 이미지 분배 시스템(100)은 V(|Sm|, Qm)을 호출할 수 있다(S147). 이때, Qm은 m번째 뉴럴 네트워크 학습 시스템(200-m)으로 분배될 튜닝용 유효 패치의 총 개수이며(S143), |Sm|은 Sm의 크기이다. 일 실시예에서 Qm은 |Sm|/(M-m+1) 일 수 있다.
V(|Sm|, Qm)의 실행이 종료된 후, 상기 전체 슬라이드 이미지 분배 시스템(100)은 Z에 포함된 튜닝용 전체 슬라이드 이미지를 m번째 뉴럴 네트워크 학습 시스템(200-m)으로 분배할 수 있으며(S148), m번째 뉴럴 네트워크 학습 시스템(200-m)으로 분배된 전체 슬라이드 이미지를 제외한 나머지를 Sm+1로 설정할 수 있다(S149).
도 8은 본 발명의 다른 일 실시예에 따른 뉴럴 네트워크 학습용 전체 슬라이드 이미지 분배 방법을 도시한 흐름도이다. 도 8의 경우에는 도 2에서와 달리 상기 N개의 전체 슬라이드 이미지를 학습용 데이터 클래스와 튜닝용 데이터 클래스로 구분하지 않고, 상기 N개의 전체 슬라이드 이미지 전부를 학습용 데이터로 취급한다.
도 8을 참조하면, 상기 전체 슬라이드 이미지 분배 시스템(100)은 N개(N은 2 이상의 정수)의 전체 슬라이드 이미지인 제1슬라이드 이미지 내지 제N슬라이드 이미지 각각에서 조직의 포함된 유효 패치를 판단하고(S200), 상기 복수의 전체 슬라이드 이미지 각각의 유효 패치의 개수를 산출할 수 있다(S210).
또한 상기 전체 슬라이드 이미지 분배 시스템(100)은 상기 N개의 전체 슬라이드 이미지를 M개의 뉴럴 네트워크 학습 시스템(200-1 내지 200-M)으로 분배할 수 있다(S220).
S220 단계를 보다 구체적으로 설명하면, 먼저 상기 전체 슬라이드 이미지 분배 시스템(100)은 상기 N개의 전체 슬라이드 이미지의 유효 패치의 총 개수에 기초하여, 상기 M개의 뉴럴 네트워크 학습 시스템 각각에 분배될 학습용 유효 패치의 개수 P1 내지 PM을 산출할 수 있다. 예를 들어 상기 전체 슬라이드 이미지 분배 시스템(100)은 P1 내지 PM을 전부 [N개의 전체 슬라이드 이미지의 유효 패치의 총 개수]를 M으로 나눈 값으로 결정할 수 있다.
다음으로 상기 전체 슬라이드 이미지 분배 시스템(100)은 1<=m<=M인 정수 m 각각에 대하여, 하기 [점화식 4]에 기초하여 V(|Rm|, Pm)을 산출하는 과정을 수행하면서, 하기 [점화식 4]의 V(i, j)의 값이 하기 [식 4-1]에 따른 값인 A(i, j)로 결정될 때마다 집합 Rm에 속하는 전체 슬라이드 이미지 중 i번째 전체 슬라이드 이미지를 m번째 뉴럴 네트워크 학습 시스템으로 분배할 수 있다. 이때, 집합 Rm은 상기 N개의 전체 슬라이드 이미지 중에서 상기 M개의 뉴럴 네트워크 학습 시스템 중 어느 하나로도 분배되지 않은 나머지로 구성된 집합이며, |R|은 집합 R의 크기이다.
[점화식 4]
Figure 112022026931313-pat00037
Figure 112022026931313-pat00038
(상기 [점화식 4]에서, i는 1<=i<=|Rm|인 정수이며, j는 1<=j<=Pm인 정수이며, Xi는 집합 Rm에 속하는 전체 슬라이드 이미지 중 i번째 전체 슬라이드 이미지에 포함된 유효 패치의 개수임, A(i, j)는 하기 [식 4-1]에 의해 계산되는 값이며, B(i, j)는 하기 [식 4-2]에 의해 계산되는 값임)
[식 4-1]
Figure 112022026931313-pat00039
[식 4-2]
Figure 112022026931313-pat00040
상기 [점화식 4]를 이용하여 상기 N개의 전체 슬라이드 이미지를 상기 M개의 뉴럴 네트워크 학습 시스템(200-1 내지 200-M)으로 분배하는 방식을 구현한 구체적인 예가 도 9에 도시되어 있다. 도 9는 상기 N개의 전체 슬라이드 이미지를 상기 M개의 뉴럴 네트워크 학습 시스템(200-1 내지 200-M)으로 분배하는 알고리즘을 나타내는 의사 코드이다. 도 9의 알고리즘 역시 도 4의 함수를 이용한다.
도 9를 참조하면, 초기에는 상기 N개의 전체 슬라이드 이미지가 뉴럴 네트워크 학습 시스템으로 분배된 바 없으므로 R1을 상기 N개의 전체 슬라이드 이미지 전체의 리스트로 설정한다(S221).
그리고 상기 전체 슬라이드 이미지 분배 시스템(100)은 1<=m<=M인 정수 m 각각에 대하여, 다음의 과정을 수행한다(S222).
상기 전체 슬라이드 이미지 분배 시스템(100)은 G를 아직 분배되지 않은 전체 슬라이드 이미지의 리스트인 Rm로 설정하고(S224), Z를 공집합으로 초기화하고(S225), G에 속하는 전체 슬라이드 이미지 각각에 포함되어 있는 유효 패치의 개수를 차례로 X에 할당할 수 있다(S226). 이후 상기 전체 슬라이드 이미지 분배 시스템(100)은 V(|Rm|, Pm)을 호출할 수 있다(S227). 이때, Pm은 m번째 뉴럴 네트워크 학습 시스템(200-m)으로 분배될 튜닝용 유효 패치의 총 개수이며(S223), |Rm|은 Rm의 크기이다. 일 실시예에서 Pm은 |Rm|/(M-m+1) 일 수 있다
V(|Rm|, Pm)의 실행이 종료된 후, 상기 전체 슬라이드 이미지 분배 시스템(100)은 Z에 포함된 학습용 전체 슬라이드 이미지를 m번째 뉴럴 네트워크 학습 시스템(200-m)으로 분배할 수 있으며(S228), m번째 뉴럴 네트워크 학습 시스템(200-m)으로 분배된 전체 슬라이드 이미지를 제외한 나머지를 Rm+1로 설정할 수 있다(S229).
도 10은 본 발명의 다른 일 실시예에 따른 뉴럴 네트워크 학습용 전체 슬라이드 이미지 분배 방법을 도시한 흐름도이다. 도 10의 경우 각각의 전체 슬라이드 이미지에는 분류 기준 정보가 태깅되어 있으며, 분류 기준 정보는 전체 슬라이드 이미지를 하나의 그룹으로 묶을 수 있는 기준이 되는 정보로서, 예를 들어 환자의 식별 정보일 수 있다. 따라서, 동일한 환자로부터 유래한 복수의 전체 슬라이드 이미지는 하나의 그룹으로 묶일 수 있다.
이 외에도 분류 기준 정보는, 실시예에 따라서, 특정한 질병의 유무, 질병의 중증도(예를 들어, 글리슨 스코어), 기저질환 유무, 성별, 연령대, 특정 진단 검사의 결과에 따른 구분 등일 수 있다. 또는 분류 기준 정보는 여러 세부 분류 기준이 결합된 조건일 수도 있다. 예를 들어, 분류 기준 정보는 성별, 연령대 및 중증도가 논리곱 및/또는 논리합으로 결합된 조건일 수 있다.
도 10의 경우에는 전체 슬라이드 이미지의 그룹을 학습 데이터 클래스 및 튜닝 데이터 클래스로 분할하는데, 이는 특정한 딥러닝 모델 학습 방법의 경우에는 동일한 분류에 속하는 여러 개의 전체 슬라이드 이미지들(예를 들어, 동일 환자에서 유래한 여러 개의 전체 슬라이드 이미지들) 중 일부가 학습에 사용되고 나머지 일부는 튜닝(혹은 검증)에 사용되는 것이 허용되지 않을 수 있기 때문이다.
도 10을 참조하면, 상기 전체 슬라이드 이미지 분배 시스템(100)은 N개의 전체 슬라이드 이미지인 제1슬라이드 이미지 내지 제N슬라이드 이미지 각각에서 조직의 포함된 유효 패치를 판단하고(S200), 상기 복수의 전체 슬라이드 이미지 각각의 유효 패치의 개수를 산출할 수 있다(S210).
상기 전체 슬라이드 이미지 분배 시스템(100)은 상기 N개의 전체 슬라이드 이미지 각각에 태깅되어 있는 분류 기준 정보에 따라 상기 N개의 전체 슬라이드 이미지를 복수의 그룹으로 분류할 수 있다(S220). 상기 전체 슬라이드 이미지 분배 시스템(100)은 상기 N개의 전체 슬라이드 이미지 중 동일한 분류 기준 정보가 태깅되어 있는 것들을 하나의 그룹으로 묶을 수 있다.
이후 상기 전체 슬라이드 이미지 분배 시스템(100)은 분류 기준 정보에 따라 분류된 상기 복수의 그룹을 상호 배타적인 두 개의 클래스인 학습 데이터 클래스 및 튜닝 데이터 클래스로 분할할 수 있다(S230). 특히 상기 전체 슬라이드 이미지 분배 시스템(100)은 상기 학습 데이터 클래스에 속하는 각 그룹에 포함된 전체 슬라이드 이미지의 유효 패치의 총 개수와 상기 튜닝 데이터 클래스에 속하는 각 그룹에 포함된 전체 슬라이드 이미지의 유효 패치의 총 개수의 비율이 소정의 기준 비율을 만족하도록 상기 복수의 그룹을 상호 배타적인 두 개의 클래스로 분할할 수 있다.
일 실시예에서, 상기 전체 슬라이드 이미지 분배 시스템(100)은 상술한 점화식을 이용하여 상기 복수의 그룹을 학습 데이터 클래스 및 튜닝 데이터 클래스로 분할할 수 있다.
보다 상세하게는, 먼저 상기 전체 슬라이드 이미지 분배 시스템(100)은 상기 N개의 전체 슬라이드 이미지에 포함된 유효 패치의 총 개수 및 상기 기준 비율에 기초하여, 상기 학습 데이터 클래스에 포함될 유효 패치의 총 개수 L을 산출할 수 있다. 앞서 설명한 바에 의하면 상기 전체 슬라이드 이미지 분배 시스템(100)은 상기 학습 데이터 클래스에 포함될 유효 패치의 총 개수 L를 α×E로 산출할 수 있다.
다음으로 상기 전체 슬라이드 이미지 분배 시스템(100)은 하기 [점화식 5]에 기초하여 V(H, L)을 산출하는 과정을 수행하면서(여기서, H는 상기 복수의 그룹의 개수임), 하기 [점화식 5]의 V(i, j)의 값이 하기 [식 5-1]에 따른 값인 A(i, j)로 결정될 때마다 제i그룹을 상기 학습 데이터 클래스로 분류할 수 있으며, 상기 학습 데이터 클래스로 분류되지 않은 그룹을 상기 튜닝 데이터 클래스로 분류할 수 있다. 한편, 바람직하게 H는 상기 복수의 뉴럴 네트워크 학습 시스템의 개수인 M보다 큰 값일 수 있다.
[점화식 5]
Figure 112022026931313-pat00041
Figure 112022026931313-pat00042
(상기 [점화식 5]에서, i는 1<=i<=H인 정수이며, j는 1<=j<=L인 정수이며, Xi는 제i그룹 내의 전체 슬라이드 이미지 각각에 포함된 유효 패치의 총 개수임, A(i, j)는 하기 [식 5-1]에 의해 계산되는 값이며, B(i, j)는 하기 [식 5-2]에 의해 계산되는 값임)
[식 5-1]
Figure 112022026931313-pat00043
[식 5-2]
Figure 112022026931313-pat00044
상기 [점화식 5]를 이용하여 학습 데이터 클래스와 튜닝 데이터 클래스를 분할하는 방식을 구현한 구체적인 예가 도 11에 도시되어 있다. 도 11은 분류 기준 정보에 의해 분류된 H개의 그룹을 학습 데이터 클래스와 튜닝 데이터 클래스를 분할하는 알고리즘을 나타내는 의사 코드이다. 도 11의 알고리즘 역시 도 4의 함수를 이용한다.
한편 도 11을 참조하면, 상기 전체 슬라이드 이미지 분배 시스템(100)은 상기 H개의 그룹을 학습 데이터 클래스와 튜닝 데이터 클래스로 분할하기 위하여, G를 상기 H개의 그룹의 리스트로 설정하고(S233), Z를 공집합으로 초기화하고(S234), G에 속하는 각 그룹 내의 전체 슬라이드 이미지들에 포함되어 있는 유효 패치의 총 개수를 차례로 X에 할당할 수 있다(S235). 이후 상기 전체 슬라이드 이미지 분배 시스템(100)은 V(H, L)을 호출할 수 있다(S236). 이때, H는 분할될 그룹의 총 개수이며(S231), L은 학습 데이터 클래스에 속하게 될 각각의 그룹 내의 전체 슬라이드 이미지의 유효 패치의 총합이다(S232).
V(H, L)의 실행이 종료된 후, 상기 전체 슬라이드 이미지 분배 시스템(100)은 Z에 포함된 그룹을 학습 데이터 클래스로 분류할 수 있으며(S237), 상기 H개의 그룹 중 Z에 속하지 않는 그룹을 튜닝 데이터 클래스로 분류할 수 있다(S238).
다시 도 10을 참조하면, 상기 전체 슬라이드 이미지 분배 시스템(100)은 상기 학습 데이터 클래스에 속하는 각 그룹 내의 학습용 전체 슬라이드 이미지를 전체 슬라이드 이미지 단위로 상기 M개의 뉴럴 네트워크 학습 시스템(200-1 내지 200-M)으로 분배할 수 있다(S240). 일 실시예에서 상기 전체 슬라이드 이미지 분배 시스템(100)은 도 6에 도시된 알고리즘을 이용하여 상기 학습 데이터 클래스에 속하는 학습용 전체 슬라이드 이미지를 분배할 수 있다.
또한 상기 전체 슬라이드 이미지 분배 시스템(100)은 상기 튜닝 데이터 클래스에 속하는 각 그룹 내의 튜닝용 전체 슬라이드 이미지를 전체 슬라이드 이미지 단위로 상기 M개의 뉴럴 네트워크 학습 시스템(200-1 내지 200-M)으로 분배할 수 있다(S250). 일 실시예에서 상기 전체 슬라이드 이미지 분배 시스템(100)은 도 7에 도시된 알고리즘을 이용하여 상기 튜닝 데이터 클래스에 속하는 튜닝용 전체 슬라이드 이미지를 분배할 수 있다.
한편 실시예에 따라서, 상기 전체 슬라이드 이미지 분배 시스템(100)은 H개로 분류한 그룹을 학습용 데이터 클래스와 튜닝용 데이터 클래스로 구분하지 않고, 상기 H개로 분류한 그룹 전부를 학습용 데이터로 취급할 수도 있다. 즉 본 실시예에서, 상기 전체 슬라이드 이미지 분배 시스템(100)은 상기 H개의 그룹을 상기 M개의 뉴럴 네트워크 학습 시스템(200-1 내지 200-M)으로 분배하되, 상기 M개의 뉴럴 네트워크 학습 시스템 각각에 분배되는 그룹에 포함되는 전체 슬라이드 이미지들의 유효 패치의 총 개수의 편차가 최소화 되도록 분배할 수 있다.
보다 구체적으로는 상기 전체 슬라이드 이미지 분배 시스템(100)은 상기 N개의 전체 슬라이드 이미지의 유효 패치의 총 개수에 기초하여, 상기 M개의 뉴럴 네트워크 학습 시스템 각각에 분배될 학습용 유효 패치의 개수 P1 내지 PM을 산출할 수 있다. 이후 전체 슬라이드 이미지 분배 시스템(100)은, 1<=m<=M인 정수 m 각각에 대하여, 하기 [점화식 6]에 기초하여 V(|Rm|, Pm)을 산출하는 과정을 수행하면서, 하기 [점화식 6]의 V(i, j)의 값이 하기 [식 6-1]에 따른 값인 A(i, j)로 결정될 때마다 집합 Rm에 속하는 그룹 중 i번째 그룹을 m번째 뉴럴 네트워크 학습 시스템으로 분배할 수 있다. 여기서, 집합 Rm은 상기 H개의 그룹 중에서 상기 M개의 뉴럴 네트워크 학습 시스템(200-1 내지 200-M) 중 어느 하나로도 분배되지 않은 나머지로 구성된 집합이며, |Rm|은 집합 Rm의 크기이며, Pm은 상기 m번째 뉴럴 네트워크 학습 시스템으로 분배될 학습용 유효 패치의 개수이다.
[점화식 6]
Figure 112022026931313-pat00045
Figure 112022026931313-pat00046
(상기 [점화식 6]에서, i는 1<=i<=|Rm|인 정수이며, j는 1<=j<=Pm인 정수이며, Xi는 집합 Rm에 속하는 그룹 중 i번째 그룹에 포함된 전체 슬라이드 이미지의 유효 패치의 개수임, A(i, j)는 하기 [식 6-1]에 의해 계산되는 값이며, B(i, j)는 하기 [식 6-2]에 의해 계산되는 값임)
[식 6-1]
Figure 112022026931313-pat00047
[식 6-2]
Figure 112022026931313-pat00048
한편, 일 실시예에서, 상기 전체 슬라이드 이미지 분배 시스템(100)은 많은 수의 전체 슬라이드 이미지를 소정의 카테고리 분할 기준(예를 들어, 환자의 특성)에 따라 여러 카테고리로 분할하고, 각 카테고리 별로 상술한 전체 슬라이드 분배 방법을 실행할 수도 있다. 예를 들어, 학습에 이용될 데이터 전체가 U라고 하면, 상기 전체 슬라이드 이미지 분배 시스템(100)은 U를 U0, U1, U2, U3, …, UC로 구분하고, U0, U1, U2, U3, …, UC 각각에 대하여 상술한 전체 슬라이드 분배 방법을 실행할 수도 있다. 이렇게 전체 데이터를 카테고리 별로 구분하고 구분된 각 카테고리 별로 분배할 경우, 분배된 결과 내에서 각 카테고리들이 차지하는 비율과 전체 데이터에서 각 카테고리들이 차지하는 비율이 거의 유사하게 맞춰질 수 있게 된다.
도 12는 본 발명의 일 실시예에 따른 전체 슬라이드 이미지 분배 시스템(100)의 구성을 개략적으로 도시한 블록도이다.
도 12를 참조하면, 상기 전체 슬라이드 이미지 분배 시스템(100)은 유효 패치 판단모듈(110), 분류모듈(120), 분할모듈(130), 학습용 이미지 분배모듈(140), 튜닝용 이미지 분배모듈(150)을 포함할 수 있다. 본 발명의 실시예에 따라서는, 상술한 구성요소들 중 일부 구성요소는 반드시 본 발명의 구현에 필수적으로 필요한 구성요소에 해당하지 않을 수도 있으며, 또한 실시예에 따라 상기 전체 슬라이드 이미지 분배 시스템(100)은 이보다 더 많은 구성요소를 포함할 수도 있음은 물론이다. 예를 들어 상기 전체 슬라이드 이미지 분배 시스템(100)의 다른 구성(예를 들면, 유효 패치 판단모듈(110), 분류모듈(120), 분할모듈(130), 학습용 이미지 분배모듈(140), 튜닝용 이미지 분배모듈(150) 등)의 기능 및/또는 리소스를 제어하기 위한 제어모듈(미도시)을 더 포함할 수도 있다.
상기 전체 슬라이드 이미지 분배 시스템(100)은 본 발명의 기술적 사상을 구현하기 위해 필요한 하드웨어 리소스(resource) 및/또는 소프트웨어를 구비한 논리적인 구성을 의미할 수 있으며, 반드시 하나의 물리적인 구성요소를 의미하거나 하나의 장치를 의미하는 것은 아니다. 즉, 상기 전체 슬라이드 이미지 분배 시스템(100)은 본 발명의 기술적 사상을 구현하기 위해 구비되는 하드웨어 및/또는 소프트웨어의 논리적인 결합을 의미할 수 있으며, 필요한 경우에는 서로 이격된 장치에 설치되어 각각의 기능을 수행함으로써 본 발명의 기술적 사상을 구현하기 위한 논리적인 구성들의 집합으로 구현될 수도 있다. 또한, 상기 전체 슬라이드 이미지 분배 시스템(100)은 본 발명의 기술적 사상을 구현하기 위한 각각의 기능 또는 역할별로 별도로 구현되는 구성들의 집합을 의미할 수도 있다. 예를 들어, 유효 패치 판단모듈(110), 분류모듈(120), 분할모듈(130), 학습용 이미지 분배모듈(140), 튜닝용 이미지 분배모듈(150) 각각은 서로 다른 물리적 장치에 위치할 수도 있고, 동일한 물리적 장치에 위치할 수도 있다. 또한, 구현 예에 따라서는 상기 유효 패치 판단모듈(110), 분류모듈(120), 분할모듈(130), 학습용 이미지 분배모듈(140), 튜닝용 이미지 분배모듈(150) 각각을 구성하는 소프트웨어 및/또는 하드웨어의 결합 역시 서로 다른 물리적 장치에 위치하고, 서로 다른 물리적 장치에 위치한 구성들이 서로 유기적으로 결합되어 각각의 상기 모듈들을 구현할 수도 있다.
또한, 본 명세서에서 모듈이라 함은, 본 발명의 기술적 사상을 수행하기 위한 하드웨어 및 상기 하드웨어를 구동하기 위한 소프트웨어의 기능적, 구조적 결합을 의미할 수 있다. 예를 들어, 상기 모듈은 소정의 코드와 상기 소정의 코드가 수행되기 위한 하드웨어 리소스(resource)의 논리적인 단위를 의미할 수 있으며, 반드시 물리적으로 연결된 코드를 의미하거나, 한 종류의 하드웨어를 의미하는 것은 아님은 본 발명의 기술분야의 평균적 전문가에게는 용이하게 추론될 수 있다.
상기 유효 패치 판단모듈(110)은 N개의 전체 슬라이드 이미지인 제1슬라이드 이미지 내지 제N슬라이드 이미지 각각에서 조직의 포함된 유효 패치를 판단할 수 있다. 또한 상기 유효 패치 판단모듈(110)은 상기 N개의 전체 슬라이드 이미지 각각의 유효 패치의 개수를 산출할 수도 있다.
상기 유효 패치 판단모듈(110)은, 상기 N개의 전체 슬라이드 이미지 각각에 대하여, 상기 전체 슬라이드 이미지를 구성하는 패치 중에서 조직이 존재하는 패치의 적어도 일부를 유효 패치로 판단할 수 있다. 이를 위하여, 일 실시예에서, 상기 유효 패치 판단모듈(110)은 일정 간격만큼 떨어진 상기 전체 슬라이드 이미지 상의 특정 위치마다, 해당 위치에 조직이 존재하는 판단하고, 존재한다고 판단한 경우 상기 특정 위치를 중심점으로 하는 일정 크기의 영역을 유효 패치라고 판단할 수 있다. 다른 일 실시예에서, 상기 유효 패치 판단모듈(110)은, 상기 전체 슬라이드 이미지에 포함된 조직 영역을 판단하고, 일정 간격만큼 떨어진 상기 조직 영역 상의 특정 위치를 중심점으로 하는 일정 크기의 영역을 유효 패치라고 판단할 수도 있다.
일 실시예에서, 상기 분할모듈(130)은 상기 N개의 전체 슬라이드 이미지를 상호 배타적인 두 개의 집단인 학습 데이터 클래스 및 튜닝 데이터 클래스로 분할할 수 있으며, 특히 상기 분할모듈(130)은 상기 학습 데이터 클래스에 속하는 전체 슬라이드 이미지의 유효 패치의 총 개수와 상기 튜닝 데이터 클래스에 속하는 전체 슬라이드 이미지의 유효 패치의 총 개수의 비율이 소정의 기준 비율을 만족하도록 상기 N개의 전체 슬라이드 이미지를 상호 배타적인 두 개의 클래스로 분할할 수 있다. 상기 분할모듈(130)이 상기 N개의 전체 슬라이드 이미지를 학습 데이터 클래스 및 튜닝 데이터 클래스로 분할하는 구체적인 방법은 앞서 설명한 바와 같다.
상기 학습용 이미지 분배모듈(140)은 상기 학습 데이터 클래스에 속하는 학습용 전체 슬라이드 이미지를 전체 슬라이드 이미지 단위로 M개의 뉴럴 네트워크 학습 시스템(210-1 내지 210-M)으로 분배할 수 있으며, 상기 튜닝용 이미지 분배모듈(150)은 상기 튜닝 데이터 클래스에 속하는 튜닝용 전체 슬라이드 이미지를 전체 슬라이드 이미지 단위로 상기 M개의 뉴럴 네트워크 학습 시스템(210-1 내지 210-M)으로 분배할 수 있다. 상기 학습용 이미지 분배모듈(140) 및 튜닝용 이미지 분배모듈(150)이 전체 슬라이드 이미지를 분배하는 구체적인 방법은 앞서 설명한 바와 같다.
한편, 다른 일 실시예에서, 상기 학습용 이미지 분배모듈(140)은 상기 N개의 전체 슬라이드 이미지를 상기 M개의 뉴럴 네트워크 학습 시스템(200-1 내지 200-M)으로 분배할 수도 있으며, 구체적인 분배 방법은 앞서 설명한 바와 같다.
한편 다른 일 실시예에서, 상기 분류모듈(120)은 상기 N개의 전체 슬라이드 이미지를 분류 기준 정보에 따라 복수의 그룹으로 분류할 수 있으며, 상기 분할모듈(130)은 상기 복수의 그룹을 상호 배타적인 두 개의 클래스인 학습 데이터 클래스 및 튜닝 데이터 클래스로 분할할 수 있다. 특히, 상기 분할모듈(130)은 상기 학습 데이터 클래스에 속하는 각 그룹에 포함된 전체 슬라이드 이미지의 유효 패치의 총 개수와 상기 튜닝 데이터 클래스에 속하는 각 그룹에 포함된 전체 슬라이드 이미지의 유효 패치의 총 개수의 비율이 소정의 기준 비율을 만족하도록 분할할 수 있다. 상기 분할모듈(130)이 상기 복수의 그룹을 학습 데이터 클래스 및 튜닝 데이터 클래스로 분할하는 구체적인 방법은 앞서 설명한 바와 같다.
상기 학습용 이미지 분배모듈(140)은 상기 학습 데이터 클래스에 속하는 각 그룹 내의 학습용 전체 슬라이드 이미지를 전체 슬라이드 이미지 단위로 상기 M개의 뉴럴 네트워크 학습 시스템(210-1 내지 210-M)으로 분배할 수 있으며, 튜닝용 이미지 분배모듈(150)은 상기 튜닝 데이터 클래스에 속하는 각 그룹 내의 튜닝용 전체 슬라이드 이미지를 전체 슬라이드 이미지 단위로 상기 M개의 뉴럴 네트워크 학습 시스템(210-1 내지 210-M)으로 분배할 수 있다. 상기 학습용 이미지 분배모듈(140) 및 튜닝용 이미지 분배모듈(150)이 전체 슬라이드 이미지를 분배하는 구체적인 방법은 앞서 설명한 바와 같다.
한편, 다른 일 실시예에서, 상기 학습용 이미지 분배모듈(140)은 상기 복수의 그룹을 학습 데이터 클래스와 튜닝 데이터 클래스로 분할하지 않고, 상기 M개의 뉴럴 네트워크 학습 시스템(200-1 내지 200-M)으로 분배할 수도 있으며, 구체적인 분배 방법은 앞서 설명한 바와 같다.
도 13은 본 발명의 일 실시예에 따른 뉴럴 네트워크 학습 시스템의 개략적인 구성을 도시한 블록도이다.
도 13을 참조하면 상기 뉴럴 네트워크 학습 시스템(200)은 저장모듈(220), 획득모듈(230), 유효패치 판단모듈(240), 학습모듈(250)을 포함할 수 있다. 본 발명의 실시예에 따라서는, 상술한 구성요소들 중 일부 구성요소는 반드시 본 발명의 구현에 필수적으로 필요한 구성요소에 해당하지 않을 수도 있으며, 또한 실시예에 따라 상기 뉴럴 네트워크 학습 시스템(200)은 이보다 더 많은 구성요소를 포함할 수도 있음은 물론이다.
도 13을 참조하면, 상기 저장모듈(220)은 학습될 인공 뉴럴 네트워크(210)를 저장할 수 있다.
상기 획득모듈(230)은 상기 뉴럴 네트워크 학습 시스템으로 분배된 전체 슬라이드 이미지들을 획득할 수 있다. 예를 들어 상기 획득모듈(120)은 상기 DB(300)로부터 전체 슬라이드 이미지를 획득할 수 있다.
상기 유효패치 추출모듈(240)은 전체 슬라이드 이미지로부터 유효 패치를 판단하고, 추출할 수 있다. 상기 유효패치 추출모듈(240)이 유효 패치를 판단하는 방법은 전체 슬라이드 이미지 분배 시스템(100)이 전체 슬라이드 이미지로부터 유효 패치를 판단하는 방법과 거의 동일하므로 상세한 설명은 생략하기로 한다.
상기 학습모듈(250)은 인공 뉴럴 네트워크(210)을 학습할 수 있다. 보다 상세하게는 상기 학습모듈(250)은 상기 유효 패치 추출모듈(240)이 추출한 유효 패치 각각을 상기 인공 뉴럴 네트워크(210)의 입력 레이어로 입력함으로써 상기 인공 뉴럴 네트워크(210)를 학습할 수 있다. 입력 레이어를 통해 유효 패치를 입력받은 상기 인공 뉴럴 네트워크(210)는 네트워크 내부의 파라미터(가중치)가 입력된 학습 데이터에 맞게 조정되는 방식으로 학습될 수 있다. 딥러닝 방식을 통해 인공 뉴럴 네트워크가 학습되는 구체적인 과정(예를 들어 역전파, 하강경사법 등)은 널리 공지되어 있으며 본 발명의 주요한 기술적 특징에 해당하지 아니하므로 본 명세서에서는 이에 대한 상세한 설명은 생략하기로 한다. 한편, 상기 학습모듈(250)은 학습 데이터(즉 유효 패치)에 정답 라벨이 태깅되어 있는지 여부에 따라 지도 학습 또는 비지도 학습 기법으로 상기 인공 뉴럴 네트워크(210)를 학습할 수 있다.
한편 실시예에 따라, 상기 학습모듈(250)은 학습용 데이터 클래스에 속하는 학습용 전체 슬라이드 이미지에서 추출한 유효 패치는 상기 인공 뉴럴 네트워크(210)를 학습하는데 이용하고, 튜닝용 데이터 클래스에 속하는 튜닝용 전체 슬라이드 이미지에서 추출한 유효 패치는 상기 인공 뉴럴 네트워크(220)를 파인-튜닝하거나 상기 인공 뉴럴 네트워크(230)가 올바로 학습되었는지를 검증하는데 이용할 수 있다.
한편, 상기 전체 슬라이드 이미지 분배 시스템(100)은 프로세서 및 저장장치인 메모리를 포함할 수 있다. 상기 프로세서는 본 발명의 기술적 사상을 구현하기 위한 프로그램을 구동시킬 수 있는 연산장치를 의미할 수 있으며, 상기 프로그램과 본 발명의 기술적 사상에 의해 정의되는 방법을 수행할 수 있다. 상기 프로세서는 싱글 코어 CPU 혹은 멀티 코어 CPU를 포함할 수 있으며 GPU를 포함할 수도 있다. 상기 메모리는 본 발명의 기술적 사상을 구현하는데 필요한 프로그램 및 각종 데이터를 저장할 수 있는 데이터 저장수단을 의미할 수 있으며, 구현 예에 따라 복수의 저장수단으로 구현될 수도 있다. 또한 상기 메모리는 상기 전체 슬라이드 이미지 분배 시스템(100)에 포함된 주 기억장치뿐만 아니라, 상기 프로세서에 포함될 수 있는 임시 저장장치 또는 메모리 등을 포함하는 의미일 수도 있다. 메모리는 고속 랜덤 액세스 메모리를 포함할 수 있고 하나 이상의 자기 디스크 저장 장치, 플래시 메모리 장치, 또는 기타 비휘발성 고체상태 메모리 장치와 같은 비휘발성 메모리를 포함할 수도 있다. 프로세서 및 기타 구성 요소에 의한 메모리로의 액세스는 메모리 컨트롤러에 의해 제어될 수 있다.
한편, 본 발명의 실시예에 따른 방법은 컴퓨터가 읽을 수 있는 프로그램 명령 형태로 구현되어 컴퓨터로 읽을 수 있는 기록 매체에 저장될 수 있으며, 본 발명의 실시예에 따른 제어 프로그램 및 대상 프로그램도 컴퓨터로 판독 가능한 기록 매체에 저장될 수 있다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
기록 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 소프트웨어 분야 당업자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터로 읽을 수 있는 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 전자적으로 정보를 처리하는 장치, 예를 들어, 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타나며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (29)

  1. N개(N은 2 이상의 정수)의 전체 슬라이드 이미지(Whole Slide Image)인 제1슬라이드 이미지 내지 제N슬라이드 이미지 각각에서 조직의 포함된 유효 패치를 판단하는 유효 패치 판단모듈;
    상기 N개의 전체 슬라이드 이미지를 상호 배타적인 두 개의 집단인 학습 데이터 클래스 및 튜닝 데이터 클래스로 분할하는 분할모듈;
    상기 학습 데이터 클래스에 속하는 학습용 전체 슬라이드 이미지를 전체 슬라이드 이미지 단위로 M개의 뉴럴 네트워크 학습 시스템(여기서, M은 2 이상의 정수)으로 분배하는 학습용 이미지 분배모듈; 및
    상기 튜닝 데이터 클래스에 속하는 튜닝용 전체 슬라이드 이미지를 전체 슬라이드 이미지 단위로 상기 M개의 뉴럴 네트워크 학습 시스템으로 분배하는 튜닝용 이미지 분배모듈을 포함하되,
    상기 분할모듈은,
    상기 학습 데이터 클래스에 속하는 전체 슬라이드 이미지의 유효 패치의 총 개수와 상기 튜닝 데이터 클래스에 속하는 전체 슬라이드 이미지의 유효 패치의 총 개수의 비율이 소정의 기준 비율을 만족하도록 상기 N개의 전체 슬라이드 이미지를 상호 배타적인 두 개의 클래스로 분할하는 컴퓨팅 시스템.
  2. 제1항에 있어서,
    상기 유효 패치 판단모듈은, 상기 N개의 전체 슬라이드 이미지 각각에 대하여,
    상기 전체 슬라이드 이미지를 구성하는 패치 중에서 조직이 존재하는 패치의 적어도 일부를 유효 패치로 판단하는 컴퓨팅 시스템.
  3. 제1항에 있어서,
    상기 학습용 이미지 분배모듈은,
    상기 M개의 뉴럴 네트워크 학습 시스템 각각에 분배되는 학습용 전체 슬라이드 이미지들의 유효 패치의 총 개수의 편차가 최소화 되도록 분배하고,
    상기 튜닝용 이미지 분배모듈은,
    상기 M개의 뉴럴 네트워크 학습 시스템 각각에 분배되는 튜닝용 전체 슬라이드 이미지들의 유효 패치의 총 개수의 편차가 최소화 되도록 분배하는 컴퓨팅 시스템.
  4. 제1항에 있어서,
    상기 분할모듈은,
    상기 N개의 전체 슬라이드 이미지에 포함된 유효 패치의 총 개수 및 상기 기준 비율에 기초하여, 상기 학습 데이터 클래스에 포함될 유효 패치의 총 개수 L을 산출하고,
    하기 [점화식 1]에 기초하여 V(N, L)을 산출하는 과정을 수행하면서, 하기 [점화식 1]의 V(i, j)의 값이 하기 [식 1-1]에 따른 값인 A(i, j)로 결정될 때마다 제i전체 슬라이드 이미지를 상기 학습 데이터 클래스로 결정하고,
    상기 학습 데이터 클래스로 분류되지 않은 전체 슬라이드 이미지를 상기 튜닝 데이터 클래스로 결정하는 컴퓨팅 시스템.
    [점화식 1]
    Figure 112022026931313-pat00049

    Figure 112022026931313-pat00050

    (상기 [점화식 1]에서, i는 1<=i<=N인 정수이며, j는 1<=j<=L인 정수이며, Xi는 제i전체 슬라이드 이미지에 포함된 유효 패치의 개수임, A(i, j)는 하기 [식 1-1]에 의해 계산되는 값이며, B(i, j)는 하기 [식 1-2]에 의해 계산되는 값임)
    [식 1-1]
    Figure 112022026931313-pat00051

    [식 1-2]
    Figure 112022026931313-pat00052
  5. 제1항에 있어서,
    상기 학습용 이미지 분배모듈은,
    상기 학습 데이터 클래스에 속하는 전체 슬라이드 이미지의 유효 패치의 총 개수에 기초하여, 상기 M개의 뉴럴 네트워크 학습 시스템 각각에 분배될 학습용 유효 패치의 개수 P1 내지 PM을 산출하고,
    1<=m<=M인 정수 m 각각에 대하여,
    하기 [점화식 2]에 기초하여 V(|Rm|, Pm)을 산출하는 과정을 수행하면서, 하기 [점화식 2]의 V(i, j)의 값이 하기 [식 2-1]에 따른 값인 A(i, j)로 결정될 때마다 집합 Rm에 속하는 전체 슬라이드 이미지 중 i번째 전체 슬라이드 이미지를 m번째 뉴럴 네트워크 학습 시스템으로 분배하는 컴퓨팅 시스템(여기서, 집합 Rm은 상기 학습 데이터 클래스에 속하는 전체 슬라이드 이미지 중에서 상기 M개의 뉴럴 네트워크 학습 시스템 중 어느 하나로도 분배되지 않은 나머지로 구성된 집합이며, |Rm|은 집합 Rm의 크기이며, Pm은 상기 m번째 뉴럴 네트워크 학습 시스템으로 분배될 학습용 유효 패치의 개수임).
    [점화식 2]
    Figure 112022026931313-pat00053

    Figure 112022026931313-pat00054

    (상기 [점화식 2]에서, i는 1<=i<=|Rm|인 정수이며, j는 1<=j<=Pm인 정수이며, Xi는 집합 Rm에 속하는 전체 슬라이드 이미지 중 i번째 전체 슬라이드 이미지에 포함된 유효 패치의 개수임, A(i, j)는 하기 [식 2-1]에 의해 계산되는 값이며, B(i, j)는 하기 [식 2-2]에 의해 계산되는 값임)
    [식 2-1]
    Figure 112022026931313-pat00055

    [식 2-2]
    Figure 112022026931313-pat00056

  6. 제1항에 있어서,
    상기 튜닝용 이미지 분배모듈은,
    상기 튜닝 데이터 클래스에 속하는 전체 슬라이드 이미지의 유효 패치의 총 개수에 기초하여, 상기 M개의 뉴럴 네트워크 학습 시스템 각각에 분배될 튜닝용 유효 패치의 개수 Q1 내지 QM을 산출하고,
    1<=m<=M인 정수 m 각각에 대하여,
    하기 [점화식 3]에 기초하여 V(|Sm|, Qm)을 산출하는 과정을 수행하면서, 하기 [점화식 3]의 V(i, j)의 값이 하기 [식 3-1]에 따른 값인 A(i, j)로 결정될 때마다 집합 S에 속하는 전체 슬라이드 이미지 중 i번째 전체 슬라이드 이미지를 m번째 뉴럴 네트워크 학습 시스템으로 분배하는 컴퓨팅 시스템(여기서, 집합 Sm은 상기 튜닝 데이터 클래스에 속하는 전체 슬라이드 이미지 중에서 상기 M개의 뉴럴 네트워크 학습 시스템 중 어느 하나로 분배되지 않고 남은 것으로 구성된 집합이며, |Sm|은 집합 Sm의 크기이며, Qm은 상기 m번째 뉴럴 네트워크 학습 시스템으로 분배될 학습용 유효 패치의 개수임).
    [점화식 3]
    Figure 112022026931313-pat00057

    Figure 112022026931313-pat00058

    (상기 [점화식 3]에서, i는 1<=i<=|Sm|인 정수이며, j는 1<=j<=Qm인 정수이며, X(i)는 집합 Sm에 속하는 전체 슬라이드 이미지 중 i번째 전체 슬라이드 이미지에 포함된 유효 패치의 개수임, A(i, j)는 하기 [식 3-1]에 의해 계산되는 값이며, B(i, j)는 하기 [식 3-2]에 의해 계산되는 값임)
    [식 3-1]
    Figure 112022026931313-pat00059

    [식 3-2]
    Figure 112022026931313-pat00060
  7. N개(N은 2 이상의 정수)의 전체 슬라이드 이미지(Whole Slide Image)인 제1슬라이드 이미지 내지 제N슬라이드 이미지 각각에서 조직의 포함된 유효 패치를 판단하는 유효 패치 판단모듈; 및
    상기 N개의 전체 슬라이드 이미지를 M개의 뉴럴 네트워크 학습 시스템(여기서, M은 2 이상의 정수)으로 분배하는 학습용 이미지 분배모듈을 포함하되,
    상기 학습용 이미지 분배모듈은,
    상기 M개의 뉴럴 네트워크 학습 시스템 각각에 분배되는 전체 슬라이드 이미지들의 유효 패치의 총 개수의 편차가 최소화 되도록 분배하는 컴퓨팅 시스템.
  8. 제7항에 있어서,
    상기 학습용 이미지 분배모듈은,
    상기 N개의 전체 슬라이드 이미지의 유효 패치의 총 개수에 기초하여, 상기 M개의 뉴럴 네트워크 학습 시스템 각각에 분배될 학습용 유효 패치의 개수 P1 내지 PM을 산출하고,
    1<=m<=M인 정수 m 각각에 대하여,
    하기 [점화식 4]에 기초하여 V(|Rm|, Pm)을 산출하는 과정을 수행하면서, 하기 [점화식 4]의 V(i, j)의 값이 하기 [식 4-1]에 따른 값인 A(i, j)로 결정될 때마다 집합 Rm에 속하는 전체 슬라이드 이미지 중 i번째 전체 슬라이드 이미지를 m번째 뉴럴 네트워크 학습 시스템으로 분배하는 컴퓨팅 시스템(여기서, 집합 Rm은 상기 N개의 전체 슬라이드 이미지 중에서 상기 M개의 뉴럴 네트워크 학습 시스템 중 어느 하나로도 분배되지 않은 나머지로 구성된 집합이며, |Rm|은 집합 Rm의 크기이며, Pm은 상기 m번째 뉴럴 네트워크 학습 시스템으로 분배될 학습용 유효 패치의 개수임).
    [점화식 4]
    Figure 112022026931313-pat00061

    Figure 112022026931313-pat00062

    (상기 [점화식 4]에서, i는 1<=i<=|Rm|인 정수이며, j는 1<=j<=Pm인 정수이며, Xi는 집합 Rm에 속하는 전체 슬라이드 이미지 중 i번째 전체 슬라이드 이미지에 포함된 유효 패치의 개수임, A(i, j)는 하기 [식 4-1]에 의해 계산되는 값이며, B(i, j)는 하기 [식 4-2]에 의해 계산되는 값임)
    [식 4-1]
    Figure 112022026931313-pat00063

    [식 4-2]
    Figure 112022026931313-pat00064

  9. N개의 전체 슬라이드 이미지(Whole Slide Image)인 제1슬라이드 이미지 내지 제N슬라이드 이미지 각각에서 조직의 포함된 유효 패치를 판단하는 유효 패치 판단모듈-여기서, N은 2 이상의 정수이며, 상기 N개의 전체 슬라이드 이미지 각각에는 분류 기준 정보가 태깅되어 있음;
    상기 N개의 전체 슬라이드 이미지를 상기 분류 기준 정보에 따라 H개의 그룹(여기서, H는 2 이상의 정수)으로 분류하는 분류모듈;
    상기 H개의 그룹을 상호 배타적인 두 개의 클래스인 학습 데이터 클래스 및 튜닝 데이터 클래스로 분할하는 분할모듈;
    상기 학습 데이터 클래스에 속하는 각 그룹 내의 학습용 전체 슬라이드 이미지를 전체 슬라이드 이미지 단위로 M개의 뉴럴 네트워크 학습 시스템(여기서, M은 2 이상의 정수)으로 분배하는 학습용 이미지 분배모듈; 및
    상기 튜닝 데이터 클래스에 속하는 각 그룹 내의 튜닝용 전체 슬라이드 이미지를 전체 슬라이드 이미지 단위로 상기 M개의 뉴럴 네트워크 학습 시스템으로 분배하는 튜닝용 이미지 분배모듈을 포함하되,
    상기 분할모듈은,
    상기 학습 데이터 클래스에 속하는 각 그룹에 포함된 전체 슬라이드 이미지의 유효 패치의 총 개수와 상기 튜닝 데이터 클래스에 속하는 각 그룹에 포함된 전체 슬라이드 이미지의 유효 패치의 총 개수의 비율이 소정의 기준 비율을 만족하도록 상기 H개의 그룹을 상호 배타적인 두 개의 클래스로 분할하는 컴퓨팅 시스템.
  10. 제9항에 있어서,
    상기 분할모듈은,
    상기 N개의 전체 슬라이드 이미지에 포함된 유효 패치의 총 개수 및 상기 기준 비율에 기초하여, 상기 학습 데이터 클래스에 포함될 각 그룹에 속하는 전체 슬라이드 이미지의 유효 패치의 총 개수 L을 산출하고,
    하기 [점화식 5]에 기초하여 V(H, L)을 산출하는 과정을 수행하면서, 하기 [점화식 5]의 V(i, j)의 값이 하기 [식 5-1]에 따른 값인 A(i, j)로 결정될 때마다 제i그룹을 상기 학습 데이터 클래스로 결정하고,
    상기 학습 데이터 클래스로 분류되지 않은 그룹을 상기 튜닝 데이터 클래스로 분류하는 컴퓨팅 시스템.
    [점화식 5]
    Figure 112022026931313-pat00065

    Figure 112022026931313-pat00066

    (상기 [점화식 5]에서, i는 1<=i<=H인 정수이며, j는 1<=j<=L인 정수이며, Xi는 제i그룹 내의 전체 슬라이드 이미지 각각에 포함된 유효 패치의 총 개수임, A(i, j)는 하기 [식 5-1]에 의해 계산되는 값이며, B(i, j)는 하기 [식 5-2]에 의해 계산되는 값임)
    [식 5-1]
    Figure 112022026931313-pat00067

    [식 5-2]
    Figure 112022026931313-pat00068

  11. N개의 전체 슬라이드 이미지(Whole Slide Image)인 제1슬라이드 이미지 내지 제N슬라이드 이미지 각각에서 조직의 포함된 유효 패치를 판단하는 유효 패치 판단모듈-여기서, N은 2 이상의 정수이며, 상기 N개의 전체 슬라이드 이미지 각각에는 분류 기준 정보가 태깅되어 있음;
    상기 N개의 전체 슬라이드 이미지를 상기 분류 기준 정보에 따라 H개의 그룹(여기서, H는 2 이상의 정수)으로 분류하는 분류모듈; 및
    상기 H개의 그룹을 M개의 뉴럴 네트워크 학습 시스템(여기서, M은 2 이상의 정수)으로 분배하는 학습용 이미지 분배모듈을 포함하되,
    상기 학습용 이미지 분배모듈은,
    상기 M개의 뉴럴 네트워크 학습 시스템 각각에 분배되는 그룹에 포함되는 전체 슬라이드 이미지들의 유효 패치의 총 개수의 편차가 최소화 되도록 분배하는 컴퓨팅 시스템.
  12. 제11항에 있어서,
    상기 학습용 이미지 분배모듈은,
    상기 N개의 전체 슬라이드 이미지의 유효 패치의 총 개수에 기초하여, 상기 M개의 뉴럴 네트워크 학습 시스템 각각에 분배될 학습용 유효 패치의 개수 P1 내지 PM을 산출하고,
    1<=m<=M인 정수 m 각각에 대하여,
    하기 [점화식 6]에 기초하여 V(|Rm|, Pm)을 산출하는 과정을 수행하면서, 하기 [점화식 6]의 V(i, j)의 값이 하기 [식 6-1]에 따른 값인 A(i, j)로 결정될 때마다 집합 Rm에 속하는 그룹 중 i번째 그룹을 m번째 뉴럴 네트워크 학습 시스템으로 분배하는 컴퓨팅 시스템(여기서, 집합 Rm은 상기 H개의 그룹 중에서 상기 M개의 뉴럴 네트워크 학습 시스템 중 어느 하나로도 분배되지 않은 나머지로 구성된 집합이며, |Rm|은 집합 Rm의 크기이며, Pm은 상기 m번째 뉴럴 네트워크 학습 시스템으로 분배될 학습용 유효 패치의 개수임).
    [점화식 6]
    Figure 112022026931313-pat00069

    Figure 112022026931313-pat00070

    (상기 [점화식 6]에서, i는 1<=i<=|Rm|인 정수이며, j는 1<=j<=Pm인 정수이며, Xi는 집합 Rm에 속하는 그룹 중 i번째 그룹에 포함된 전체 슬라이드 이미지의 유효 패치의 개수임, A(i, j)는 하기 [식 6-1]에 의해 계산되는 값이며, B(i, j)는 하기 [식 6-2]에 의해 계산되는 값임)
    [식 6-1]
    Figure 112022026931313-pat00071

    [식 6-2]
    Figure 112022026931313-pat00072

  13. 컴퓨팅 시스템이, N개(N은 2 이상의 정수)의 전체 슬라이드 이미지(Whole Slide Image)인 제1슬라이드 이미지 내지 제N슬라이드 이미지 각각에서 조직의 포함된 유효 패치를 판단하는 유효패치 판단단계;
    상기 컴퓨팅 시스템이, 상기 N개의 전체 슬라이드 이미지를 상호 배타적인 두 개의 집단인 학습 데이터 클래스 및 튜닝 데이터 클래스로 분할하는 분할단계;
    상기 컴퓨팅 시스템이, 상기 학습 데이터 클래스에 속하는 학습용 전체 슬라이드 이미지를 전체 슬라이드 이미지 단위로 M개의 뉴럴 네트워크 학습 시스템(M은 2 이상의 정수)으로 분배하는 학습용 이미지 분배단계; 및
    상기 컴퓨팅 시스템이, 상기 튜닝 데이터 클래스에 속하는 튜닝용 전체 슬라이드 이미지를 전체 슬라이드 이미지 단위로 상기 M개의 뉴럴 네트워크 학습 시스템으로 분배하는 튜닝용 이미지 분배단계를 포함하되,
    상기 분할단계는,
    상기 학습 데이터 클래스에 속하는 전체 슬라이드 이미지의 유효 패치의 총 개수와 상기 튜닝 데이터 클래스에 속하는 전체 슬라이드 이미지의 유효 패치의 총 개수의 비율이 소정의 기준 비율을 만족하도록 상기 N개의 전체 슬라이드 이미지를 상호 배타적인 두 개의 클래스로 분할하는 단계를 포함하는 뉴럴 네트워크 학습용 전체 슬라이드 이미지 분배 방법.
  14. 제13항에 있어서,
    상기 유효패치 판단단계는, 상기 N개의 전체 슬라이드 이미지 각각에 대하여,
    상기 전체 슬라이드 이미지를 구성하는 패치 중에서 조직이 존재하는 패치의 적어도 일부를 유효 패치로 판단하는 단계를 포함하는 뉴럴 네트워크 학습용 전체 슬라이드 이미지 분배 방법.
  15. 제14항에 있어서,
    상기 전체 슬라이드 이미지를 구성하는 패치 중에서 조직 영역이 존재하는 패치의 적어도 일부를 유효 패치로 판단하는 단계는,
    일정 간격만큼 떨어진 상기 전체 슬라이드 이미지 상의 특정 위치마다,
    해당 위치에 조직이 존재하는지 판단하고, 존재한다고 판단한 경우 상기 특정 위치를 중심점으로 하는 일정 크기의 영역을 유효 패치라고 판단하는 단계를 포함하는 뉴럴 네트워크 학습용 전체 슬라이드 이미지 분배 방법.
  16. 제14항에 있어서,
    상기 전체 슬라이드 이미지를 구성하는 패치 중에서 조직 영역이 존재하는 패치의 적어도 일부를 유효 패치로 판단하는 단계는,
    상기 전체 슬라이드 이미지에 포함된 조직 영역을 판단하는 단계; 및
    일정 간격만큼 떨어진 상기 조직 영역 상의 특정 위치를 중심점으로 하는 일정 크기의 영역을 유효 패치라고 판단하는 단계를 포함하는 뉴럴 네트워크 학습용 전체 슬라이드 이미지 분배 방법.
  17. 제13항에 있어서,
    상기 학습용 이미지 분배단계는,
    상기 M개의 뉴럴 네트워크 학습 시스템 각각에 분배되는 학습용 전체 슬라이드 이미지들의 유효 패치의 총 개수의 편차가 최소화 되도록 분배하는 단계를 포함하고,
    상기 튜닝용 이미지 분배단계는,
    상기 M개의 뉴럴 네트워크 학습 시스템 각각에 분배되는 튜닝용 전체 슬라이드 이미지들의 유효 패치의 총 개수의 편차가 최소화 되도록 분배하는 단계를 포함하는 뉴럴 네트워크 학습용 전체 슬라이드 이미지 분배 방법.
  18. 제13항에 있어서,
    상기 분할단계는,
    상기 N개의 전체 슬라이드 이미지에 포함된 유효 패치의 총 개수 및 상기 기준 비율에 기초하여, 상기 학습 데이터 클래스에 포함될 유효 패치의 총 개수 L을 산출하는 단계;
    하기 [점화식 1]에 기초하여 V(N, L)을 산출하는 과정을 수행하면서, 하기 [점화식 1]의 V(i, j)의 값이 하기 [식 1-1]에 따른 값인 A(i, j)로 결정될 때마다 제i전체 슬라이드 이미지를 상기 학습 데이터 클래스로 분류하는 단계; 및
    상기 학습 데이터 클래스로 분류되지 않은 전체 슬라이드 이미지를 상기 튜닝 데이터 클래스로 분류하는 단계를 포함하는 뉴럴 네트워크 학습용 전체 슬라이드 이미지 분배 방법.
    [점화식 1]
    Figure 112022026931313-pat00073

    Figure 112022026931313-pat00074

    (상기 [점화식 1]에서, i는 1<=i<=N인 정수이며, j는 1<=j<=L인 정수이며, Xi는 제i전체 슬라이드 이미지에 포함된 유효 패치의 개수임, A(i, j)는 하기 [식 1-1]에 의해 계산되는 값이며, B(i, j)는 하기 [식 1-2]에 의해 계산되는 값임)
    [식 1-1]
    Figure 112022026931313-pat00075

    [식 1-2]
    Figure 112022026931313-pat00076

  19. 제13항에 있어서,
    상기 학습용 이미지 분배단계는,
    상기 학습 데이터 클래스에 속하는 전체 슬라이드 이미지의 유효 패치의 총 개수에 기초하여, 상기 M개의 뉴럴 네트워크 학습 시스템 각각에 분배될 학습용 유효 패치의 개수 P1 내지 PM을 산출하는 단계;
    1<=m<=M인 정수 m 각각에 대하여,
    하기 [점화식 2]에 기초하여 V(|Rm|, Pm)을 산출하는 과정을 수행하면서, 하기 [점화식 2]의 V(i, j)의 값이 하기 [식 2-1]에 따른 값인 A(i, j)로 결정될 때마다 집합 Rm에 속하는 전체 슬라이드 이미지 중 i번째 전체 슬라이드 이미지를 m번째 뉴럴 네트워크 학습 시스템으로 분배하는 단계(여기서, 집합 Rm은 상기 학습 데이터 클래스에 속하는 전체 슬라이드 이미지 중에서 상기 M개의 뉴럴 네트워크 학습 시스템 중 어느 하나로도 분배되지 않은 나머지로 구성된 집합이며, |Rm|은 집합 Rm의 크기이며, Pm은 상기 m번째 뉴럴 네트워크 학습 시스템으로 분배될 학습용 유효 패치의 개수임)를 포함하는 뉴럴 네트워크 학습용 전체 슬라이드 이미지 분배 방법.
    [점화식 2]
    Figure 112022026931313-pat00077

    Figure 112022026931313-pat00078

    (상기 [점화식 2]에서, i는 1<=i<=|Rm|인 정수이며, j는 1<=j<=Pm인 정수이며, Xi는 집합 Rm에 속하는 전체 슬라이드 이미지 중 i번째 전체 슬라이드 이미지에 포함된 유효 패치의 개수임, A(i, j)는 하기 [식 2-1]에 의해 계산되는 값이며, B(i, j)는 하기 [식 2-2]에 의해 계산되는 값임)
    [식 2-1]
    Figure 112022026931313-pat00079

    [식 2-2]
    Figure 112022026931313-pat00080

  20. 제13항에 있어서,
    상기 튜닝용 이미지 분배단계는,
    상기 튜닝 데이터 클래스에 속하는 전체 슬라이드 이미지의 유효 패치의 총 개수에 기초하여, 상기 M개의 뉴럴 네트워크 학습 시스템 각각에 분배될 튜닝용 유효 패치의 개수 Q1 내지 QM을 산출하는 단계;
    1<=m<=M인 정수 m 각각에 대하여,
    하기 [점화식 3]에 기초하여 V(|Sm|, Qm)을 산출하는 과정을 수행하면서, 하기 [점화식 3]의 V(i, j)의 값이 하기 [식 3-1]에 따른 값인 A(i, j)로 결정될 때마다 집합 S에 속하는 전체 슬라이드 이미지 중 i번째 전체 슬라이드 이미지를 m번째 뉴럴 네트워크 학습 시스템으로 분배하는 단계(여기서, 집합 Sm은 상기 튜닝 데이터 클래스에 속하는 전체 슬라이드 이미지 중에서 상기 M개의 뉴럴 네트워크 학습 시스템 중 어느 하나로 분배되지 않고 남은 것으로 구성된 집합이며, |Sm|은 집합 Sm의 크기이며, Qm은 상기 m번째 뉴럴 네트워크 학습 시스템으로 분배될 학습용 유효 패치의 개수임)를 포함하는 뉴럴 네트워크 학습용 전체 슬라이드 이미지 분배 방법.
    [점화식 3]
    Figure 112022026931313-pat00081

    Figure 112022026931313-pat00082

    (상기 [점화식 3]에서, i는 1<=i<=|Sm|인 정수이며, j는 1<=j<=Qm인 정수이며, X(i)는 집합 Sm에 속하는 전체 슬라이드 이미지 중 i번째 전체 슬라이드 이미지에 포함된 유효 패치의 개수임, A(i, j)는 하기 [식 3-1]에 의해 계산되는 값이며, B(i, j)는 하기 [식 3-2]에 의해 계산되는 값임)
    [식 3-1]
    Figure 112022026931313-pat00083

    [식 3-2]
    Figure 112022026931313-pat00084

  21. 컴퓨팅 시스템이, N개(N은 2 이상의 정수)의 전체 슬라이드 이미지(Whole Slide Image)인 제1슬라이드 이미지 내지 제N슬라이드 이미지 각각에서 조직의 포함된 유효 패치를 판단하는 유효패치 판단단계; 및
    상기 N개의 전체 슬라이드 이미지를 M개의 뉴럴 네트워크 학습 시스템(여기서, M은 2 이상의 정수)으로 분배하는 학습용 이미지 분배단계를 포함하되,
    상기 학습용 이미지 분배단계는,
    상기 M개의 뉴럴 네트워크 학습 시스템 각각에 분배되는 전체 슬라이드 이미지들의 유효 패치의 총 개수의 편차가 최소화 되도록 분배하는 단계를 포함하는 뉴럴 네트워크 학습용 전체 슬라이드 이미지 분배 방법
  22. 제21항에 있어서,
    상기 학습용 이미지 분배단계는,
    상기 N개의 전체 슬라이드 이미지의 유효 패치의 총 개수에 기초하여, 상기 M개의 뉴럴 네트워크 학습 시스템 각각에 분배될 학습용 유효 패치의 개수 P1 내지 PM을 산출하는 단계; 및
    1<=m<=M인 정수 m 각각에 대하여,
    하기 [점화식 4]에 기초하여 V(|Rm|, Pm)을 산출하는 과정을 수행하면서, 하기 [점화식 4]의 V(i, j)의 값이 하기 [식 4-1]에 따른 값인 A(i, j)로 결정될 때마다 집합 Rm에 속하는 전체 슬라이드 이미지 중 i번째 전체 슬라이드 이미지를 m번째 뉴럴 네트워크 학습 시스템으로 분배하는 단계(여기서, 집합 Rm은 상기 N개의 전체 슬라이드 이미지 중에서 상기 M개의 뉴럴 네트워크 학습 시스템 중 어느 하나로도 분배되지 않은 나머지로 구성된 집합이며, |Rm|은 집합 Rm의 크기이며, Pm은 상기 m번째 뉴럴 네트워크 학습 시스템으로 분배될 학습용 유효 패치의 개수임)를 포함하는 뉴럴 네트워크 학습용 전체 슬라이드 이미지 분배 방법.
    [점화식 4]
    Figure 112022026931313-pat00085

    Figure 112022026931313-pat00086

    (상기 [점화식 4]에서, i는 1<=i<=|Rm|인 정수이며, j는 1<=j<=Pm인 정수이며, Xi는 집합 Rm에 속하는 전체 슬라이드 이미지 중 i번째 전체 슬라이드 이미지에 포함된 유효 패치의 개수임, A(i, j)는 하기 [식 4-1]에 의해 계산되는 값이며, B(i, j)는 하기 [식 4-2]에 의해 계산되는 값임)
    [식 4-1]
    Figure 112022026931313-pat00087

    [식 4-2]
    Figure 112022026931313-pat00088

  23. 컴퓨팅 시스템이, N개의 전체 슬라이드 이미지(Whole Slide Image)인 제1슬라이드 이미지 내지 제N슬라이드 이미지 각각에서 조직의 포함된 유효 패치를 판단하는 유효패치 판단단계-여기서, N은 2 이상의 정수이며, 상기 N개의 전체 슬라이드 이미지 각각에는 분류 기준 정보가 태깅되어 있음;
    상기 컴퓨팅 시스템이, 상기 N개의 전체 슬라이드 이미지를 상기 분류 기준 정보에 따라 복수의 그룹으로 분류하는 분류단계;
    상기 컴퓨팅 시스템이, 상기 복수의 그룹을 상호 배타적인 두 개의 클래스인 학습 데이터 클래스 및 튜닝 데이터 클래스로 분할하는 분할단계;
    상기 컴퓨팅 시스템이, 상기 학습 데이터 클래스에 속하는 각 그룹 내의 학습용 전체 슬라이드 이미지를 전체 슬라이드 이미지 단위로 M개의 뉴럴 네트워크 학습 시스템(여기서, M은 2 이상의 정수)으로 분배하는 학습용 이미지 분배단계; 및
    상기 컴퓨팅 시스템이, 상기 튜닝 데이터 클래스에 속하는 각 그룹 내의 튜닝용 전체 슬라이드 이미지를 전체 슬라이드 이미지 단위로 상기 M개의 뉴럴 네트워크 학습 시스템으로 분배하는 튜닝용 이미지 분배단계를 포함하되,
    상기 분할단계는,
    상기 학습 데이터 클래스에 속하는 각 그룹에 포함된 전체 슬라이드 이미지의 유효 패치의 총 개수와 상기 튜닝 데이터 클래스에 속하는 각 그룹에 포함된 전체 슬라이드 이미지의 유효 패치의 총 개수의 비율이 소정의 기준 비율을 만족하도록 상기 복수의 그룹을 상호 배타적인 두 개의 클래스로 분할하는 단계를 포함하는 뉴럴 네트워크 학습용 전체 슬라이드 이미지 분배 방법.
  24. 제23항에 있어서,
    상기 분할단계는,
    상기 N개의 전체 슬라이드 이미지에 포함된 유효 패치의 총 개수 및 상기 기준 비율에 기초하여, 상기 학습 데이터 클래스에 포함될 유효 패치의 총 개수 L을 산출하는 단계;
    하기 [점화식 5]에 기초하여 V(H, L)을 산출하는 과정을 수행하면서(여기서, H는 상기 복수의 그룹의 개수임), 하기 [점화식 5]의 V(i, j)의 값이 하기 [식 5-1]에 따른 값인 A(i, j)로 결정될 때마다 제i그룹을 상기 학습 데이터 클래스로 분류하는 단계; 및
    상기 학습 데이터 클래스로 분류되지 않은 그룹을 상기 튜닝 데이터 클래스로 분류하는 단계를 포함하는 뉴럴 네트워크 학습용 전체 슬라이드 이미지 분배 방법.
    [점화식 5]
    Figure 112022026931313-pat00089

    Figure 112022026931313-pat00090

    (상기 [점화식 5]에서, i는 1<=i<=H인 정수이며, j는 1<=j<=L인 정수이며, Xi는 제i그룹 내의 전체 슬라이드 이미지 각각에 포함된 유효 패치의 총 개수임, A(i, j)는 하기 [식 5-1]에 의해 계산되는 값이며, B(i, j)는 하기 [식 5-2]에 의해 계산되는 값임)
    [식 5-1]
    Figure 112022026931313-pat00091

    [식 5-2]
    Figure 112022026931313-pat00092

  25. 컴퓨팅 시스템이, N개의 전체 슬라이드 이미지(Whole Slide Image)인 제1슬라이드 이미지 내지 제N슬라이드 이미지 각각에서 조직의 포함된 유효 패치를 판단하는 유효 패치 판단단계-여기서, N은 2 이상의 정수이며, 상기 N개의 전체 슬라이드 이미지 각각에는 분류 기준 정보가 태깅되어 있음;
    상기 컴퓨팅 시스템이, 상기 N개의 전체 슬라이드 이미지를 상기 분류 기준 정보에 따라 H개의 그룹(여기서, H는 2 이상의 정수)으로 분류하는 분류단계; 및
    상기 컴퓨팅 시스템이, 상기 H개의 그룹을 M개의 뉴럴 네트워크 학습 시스템(여기서, M은 2 이상의 정수)으로 분배하는 학습용 이미지 분배단계를 포함하되,
    상기 학습용 이미지 분배단계는,
    상기 M개의 뉴럴 네트워크 학습 시스템 각각에 분배되는 그룹에 포함되는 전체 슬라이드 이미지들의 유효 패치의 총 개수의 편차가 최소화 되도록 분배하는 단계를 포함하는 뉴럴 네트워크 학습용 전체 슬라이드 이미지 분배 방법.
  26. 제25항에 있어서,
    상기 학습용 이미지 분배단계는,
    상기 N개의 전체 슬라이드 이미지의 유효 패치의 총 개수에 기초하여, 상기 M개의 뉴럴 네트워크 학습 시스템 각각에 분배될 학습용 유효 패치의 개수 P1 내지 PM을 산출하는 단계; 및
    1<=m<=M인 정수 m 각각에 대하여,
    하기 [점화식 6]에 기초하여 V(|Rm|, Pm)을 산출하는 과정을 수행하면서, 하기 [점화식 6]의 V(i, j)의 값이 하기 [식 6-1]에 따른 값인 A(i, j)로 결정될 때마다 집합 Rm에 속하는 그룹 중 i번째 그룹을 m번째 뉴럴 네트워크 학습 시스템으로 분배하는 단계를 포함하는 뉴럴 네트워크 학습용 전체 슬라이드 이미지 분배 방법(여기서, 집합 Rm은 상기 H개의 그룹 중에서 상기 M개의 뉴럴 네트워크 학습 시스템 중 어느 하나로도 분배되지 않은 나머지로 구성된 집합이며, |Rm|은 집합 Rm의 크기이며, Pm은 상기 m번째 뉴럴 네트워크 학습 시스템으로 분배될 학습용 유효 패치의 개수임).
    [점화식 6]
    Figure 112022060579252-pat00093

    Figure 112022060579252-pat00094

    (상기 [점화식 6]에서, i는 1<=i<=|Rm|인 정수이며, j는 1<=j<=Pm인 정수이며, Xi는 집합 Rm에 속하는 그룹 중 i번째 그룹에 포함된 전체 슬라이드 이미지의 유효 패치의 개수임, A(i, j)는 하기 [식 6-1]에 의해 계산되는 값이며, B(i, j)는 하기 [식 6-2]에 의해 계산되는 값임)
    [식 6-1]
    Figure 112022060579252-pat00095

    [식 6-2]
    Figure 112022060579252-pat00096

  27. 제13항 내지 제26항 중 어느 한 항에 기재된 방법을 컴퓨터에서 실행시키기 위하여 컴퓨터 판독 가능한 매체에 기록된 컴퓨터 프로그램.
  28. 제13항 내지 제26항 중 어느 한 항에 기재된 방법을 컴퓨터에서 실행시키기 위한 컴퓨터 프로그램이 기록된 컴퓨터 판독 가능한 기록매체.
  29. 컴퓨팅 시스템으로서,
    프로세서 및 메모리를 포함하되,
    상기 메모리는, 상기 프로세서에 의해 수행될 경우, 상기 컴퓨팅 시스템이 제13항 내지 제26항 중 어느 한 항에 기재된 방법을 수행하도록 하는 컴퓨팅 시스템.
KR1020220031137A 2022-03-14 2022-03-14 딥러닝 모델의 분산 훈련을 위한 전체 슬라이드 이미지 분배 방법 및 이를 수행하는 컴퓨팅 시스템 KR102430796B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020220031137A KR102430796B1 (ko) 2022-03-14 2022-03-14 딥러닝 모델의 분산 훈련을 위한 전체 슬라이드 이미지 분배 방법 및 이를 수행하는 컴퓨팅 시스템
PCT/KR2023/003228 WO2023177150A1 (ko) 2022-03-14 2023-03-09 딥러닝 모델의 분산 훈련을 위한 전체 슬라이드 이미지 분배 방법 및 이를 수행하는 컴퓨팅 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220031137A KR102430796B1 (ko) 2022-03-14 2022-03-14 딥러닝 모델의 분산 훈련을 위한 전체 슬라이드 이미지 분배 방법 및 이를 수행하는 컴퓨팅 시스템

Publications (1)

Publication Number Publication Date
KR102430796B1 true KR102430796B1 (ko) 2022-08-09

Family

ID=82844433

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220031137A KR102430796B1 (ko) 2022-03-14 2022-03-14 딥러닝 모델의 분산 훈련을 위한 전체 슬라이드 이미지 분배 방법 및 이를 수행하는 컴퓨팅 시스템

Country Status (2)

Country Link
KR (1) KR102430796B1 (ko)
WO (1) WO2023177150A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023177150A1 (ko) * 2022-03-14 2023-09-21 주식회사 딥바이오 딥러닝 모델의 분산 훈련을 위한 전체 슬라이드 이미지 분배 방법 및 이를 수행하는 컴퓨팅 시스템

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180260954A1 (en) * 2015-09-24 2018-09-13 Vuno Korea, Inc. Method and apparatus for providing medical information service on basis of disease model
KR20200016658A (ko) * 2018-08-07 2020-02-17 주식회사 딥바이오 뉴럴 네트워크를 이용한 질병의 진단 시스템 및 방법
KR20200027066A (ko) * 2018-08-27 2020-03-12 주식회사 딥바이오 세그멘테이션을 수행하는 뉴럴 네트워크를 이용한 질병 진단 시스템 및 방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210073145A (ko) * 2019-12-10 2021-06-18 한국전자통신연구원 분산-병렬 딥러닝 학습의 스케줄링 기반 학습 데이터/모델 할당 방법 및 장치
KR102407730B1 (ko) * 2020-06-10 2022-06-16 한국전자통신연구원 복수개의 머신 러닝 학습 모델을 이용한 이상 상황 탐지 방법 및 이를 위한 장치
KR102430796B1 (ko) * 2022-03-14 2022-08-09 주식회사 딥바이오 딥러닝 모델의 분산 훈련을 위한 전체 슬라이드 이미지 분배 방법 및 이를 수행하는 컴퓨팅 시스템

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180260954A1 (en) * 2015-09-24 2018-09-13 Vuno Korea, Inc. Method and apparatus for providing medical information service on basis of disease model
KR20200016658A (ko) * 2018-08-07 2020-02-17 주식회사 딥바이오 뉴럴 네트워크를 이용한 질병의 진단 시스템 및 방법
KR20200027066A (ko) * 2018-08-27 2020-03-12 주식회사 딥바이오 세그멘테이션을 수행하는 뉴럴 네트워크를 이용한 질병 진단 시스템 및 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023177150A1 (ko) * 2022-03-14 2023-09-21 주식회사 딥바이오 딥러닝 모델의 분산 훈련을 위한 전체 슬라이드 이미지 분배 방법 및 이를 수행하는 컴퓨팅 시스템

Also Published As

Publication number Publication date
WO2023177150A1 (ko) 2023-09-21

Similar Documents

Publication Publication Date Title
US10846566B2 (en) Method and system for multi-scale cell image segmentation using multiple parallel convolutional neural networks
US11562585B2 (en) Systems and methods for image preprocessing
US9355067B1 (en) Distribution of parameter calculation for iterative optimization methods
US6298351B1 (en) Modifying an unreliable training set for supervised classification
US20180260531A1 (en) Training random decision trees for sensor data processing
CN114663376A (zh) 基于改进ssd模型的风机叶片缺陷检测方法及系统
US20220283820A1 (en) Data parallelism in distributed training of artificial intelligence models
US11520592B2 (en) Executing large artificial intelligence models on memory-constrained devices
US11354579B2 (en) Dynamic multi-layer execution for artificial intelligence modeling
CN112381178B (zh) 一种基于多损失特征学习的医学影像分类方法
Guan et al. A unified probabilistic model for global and local unsupervised feature selection
US20240119596A1 (en) Method and systems for predicting medical conditions and forecasting rate of infection of medical conditions via artificial intellidence models using graph stream processors
US20220108131A1 (en) Knowledge distillation for neural networks using multiple augmentation strategies
KR102430796B1 (ko) 딥러닝 모델의 분산 훈련을 위한 전체 슬라이드 이미지 분배 방법 및 이를 수행하는 컴퓨팅 시스템
WO2023236319A1 (zh) 一种面向微控制器的卷积神经网络部署和优化方法
CN113569895A (zh) 图像处理模型训练方法、处理方法、装置、设备及介质
Wang et al. A novel sparse boosting method for crater detection in the high resolution planetary image
Bhat Detection of polycystic ovary syndrome using machine learning algorithms
US20240177017A1 (en) System and method for continuous integration and deployment of service model using deep learning framework
US20220414490A1 (en) Storage medium, machine learning method, and machine learning device
JP2023106081A (ja) モデル生成方法、モデル生成装置、推論プログラム、及び推論装置
Wirayasa et al. Comparison of Convolutional Neural Networks Model Using Different Optimizers for Image Classification
Huang et al. A deep active learning framework with information guided label generation for medical image segmentation
WO2024045188A1 (en) Loop transformation in tensor compilers of deep neural networks (dnns)
Oba et al. Empirical Bayesian significance measure of neuronal spike response

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant