KR102446638B1 - 유방암 병변 영역을 판별하기 위한 인공 신경망을 학습하기 위한 학습 방법, 및 이를 수행하는 컴퓨팅 시스템 - Google Patents

유방암 병변 영역을 판별하기 위한 인공 신경망을 학습하기 위한 학습 방법, 및 이를 수행하는 컴퓨팅 시스템 Download PDF

Info

Publication number
KR102446638B1
KR102446638B1 KR1020210055207A KR20210055207A KR102446638B1 KR 102446638 B1 KR102446638 B1 KR 102446638B1 KR 1020210055207 A KR1020210055207 A KR 1020210055207A KR 20210055207 A KR20210055207 A KR 20210055207A KR 102446638 B1 KR102446638 B1 KR 102446638B1
Authority
KR
South Korea
Prior art keywords
neural network
resolution patch
artificial neural
layer
convolutional neural
Prior art date
Application number
KR1020210055207A
Other languages
English (en)
Inventor
최준영
곽태영
김선우
Original Assignee
주식회사 딥바이오
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 딥바이오 filed Critical 주식회사 딥바이오
Priority to KR1020210055207A priority Critical patent/KR102446638B1/ko
Priority to JP2023564222A priority patent/JP2024519459A/ja
Priority to PCT/KR2022/005634 priority patent/WO2022231200A1/ko
Priority to CN202280031793.6A priority patent/CN117256033A/zh
Priority to EP22796033.3A priority patent/EP4318497A1/en
Application granted granted Critical
Publication of KR102446638B1 publication Critical patent/KR102446638B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B10/00—Other methods or instruments for diagnosis, e.g. instruments for taking a cell sample, for biopsy, for vaccination diagnosis; Sex determination; Ovulation-period determination; Throat striking implements
    • A61B10/0041—Detection of breast cancer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0427—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0454—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30068—Mammography; Breast

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Oncology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Business, Economics & Management (AREA)
  • Image Analysis (AREA)
  • General Business, Economics & Management (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

생체 조직의 미시적인 특징 및 거시적인 특징을 모두 고려하여 유방암 병변 영역을 판별할 수 있는 인공 신경망을 학습하기 위한 학습 방법, 및 이를 수행하는 컴퓨팅 시스템이 개시된다. 본 발명의 일 측면에 따르면, 인공 신경망 학습 시스템이, 생체 조직 슬라이드의 슬라이드 이미지를 획득하는 단계, 상기 인공 신경망 학습 시스템이, 상기 슬라이드 이미지로부터 제1고해상도 패치 내지 제N고해상도 패치를 획득하는 단계, 상기 인공 신경망 학습 시스템이, 제i고해상도 패치(여기서, i는 1<=i<=N인 임의의 정수)에 상응하는 제i저해상도 패치를 획득하는 단계-여기서 상기 제i고해상도 패치와 그에 상응하는 제i저해상도 패치는 동일한 크기를 가지며, 상기 제i고해상도 패치의 중심점과 상기 제i저해상도 패치의 중심점은 상기 생체 조직 슬라이드 상의 동일한 위치를 가리킴- 및 상기 인공 신경망 학습 시스템이, 상기 제i고해상도 패치 및 상기 제i저해상도 패치를 입력하여 상기 인공 신경망을 학습하는 단계를 포함하는 합성곱 신경망인 인공 신경망 학습 방법이 제공된다.

Description

유방암 병변 영역을 판별하기 위한 인공 신경망을 학습하기 위한 학습 방법, 및 이를 수행하는 컴퓨팅 시스템{Method for training artificial neural network determining lesion area caused by breast cancer, and computing system performing the same}
본 발명은 유방암 병변 영역을 판별하기 위한 인공 신경망을 학습하기 위한 학습 방법, 및 이를 수행하는 컴퓨팅 시스템에 관한 것이다. 보다 상세하게는 생체 조직의 미시적인 특징 및 거시적인 특징을 모두 고려하여 유방암 병변 영역을 판별할 수 있는 인공 신경망을 학습하기 위한 학습 방법, 및 이를 수행하는 컴퓨팅 시스템에 관한 것이다.
병리학 또는 병리과에서 수행하는 주요한 업무 중 하나는 환자의 생체 조직 이미지를 판독하여 특정 질병에 대한 상태나 징후 혹은 병변을 판단하는 진단을 수행하는 일이다.
이러한 진단은 오랜 기간 숙련된 의료인의 경험과 지식에 의해 의존되는 방식이다. 최근에는 기계학습의 발달로 인해 이미지를 인식하거나 분류하는 등의 업무를 컴퓨터 시스템에 의해 자동화하고자 하는 시도가 활발히 이루어지고 있다. 특히 기계학습의 일종인 인공 신경망을 이용하여 숙련된 의료인이 수행하던 진단을 자동화하기 위한 시도가 이루어지고 있다.
많은 수의 데이터를 통해 학습된 인공 신경망을 이용하여 생체 이미지를 진단하는 방식에 기대할 수 있는 큰 장점은 종래에 숙련된 의료인의 경험과 지식을 단순히 자동화하는 것이 아니라, 스스로 학습을 통해 특징적인 요소들을 찾아내어 원하는 해답을 도출한다는 점에 있어서 오히려 숙련된 의료인이 알지 못하던 질병인자의 특징을 이미지에서 찾아낼 수도 있다는 것이다.
일반적으로 인공 신경망을 생체 이미지의 진단 분야에 적용하기 위해서는 슬라이드를 스캐닝한 디지털 이미지에 숙련된 의료인이 특정 질병의 상태(예를 들어, 암의 발현 여부, 특정 질병으로 인한 병변 영역)를 어노테이션(annotation)하여 다수의 학습 데이터를 만든 후 이를 통해 인공 신경망을 학습해야 하는데, 이때 인공 신경망의 학습에 이용되는 학습 데이터들은 통상적으로 단일 해상도로 구성된 이미지들이다.
한편, 유방암 환자의 치료를 위해 암 병변 있는 영역을 절제하는 유방 절제술이 많이 활용된다. 그런데, 유방암 환자의 수술 후 예후를 예측하거나 추가 항암 치료를 결정하기 위해서는 절제된 유방암 조직에 대한 병리적인 검토가 필요하며, 유방암 절제 조직에서 침윤암 (invasive cancer) 병변 영역과 관내상피암 (ductal carcinoma in situ; DCIS; 유관상피내암 또는 관상피내암이라고도 함) 병변 영역을 구분하여 크기, 비율 등을 확인하는 것은 주요한 병리 검토 항목에 속한다.
전통적인 광학 현미경 기반의 육안 판독 및 크기, 비율 등의 계측은 판독자인 병리 전문의의 피로도를 증가시킬 뿐만 아니라 주관적인 판독에 따른 부정확성을 발생시키게 되므로 인공 신경망 기반의 이미지 분석 딥러닝 기술 적용을 통해 병변 영역을 구분하여 검출하고 그 크기를 측정할 필요성이 크게 대두되고 있다.
합성곱 신경망(Convolutional Neural Network) 등 인공 신경망을 통해 유방암 병변 영역의 침윤암 혹은 관내상피암 여부를 판별하기 위해서는 거시적인 조직의 형태가 매우 중요하며, 그와 동시에 미시적인 세포의 형태 및 세포핵의 크기 등도 매우 중요하다. 그러나 종전의 단일 해상도 합성곱 신경망으로는 이러한 특징을 잘 잡아내어 병변 영역의 분류를 정확히 하기에 한계가 있다.
본 발명이 이루고자 하는 기술적인 과제는 생체 조직 이미지로부터 특정 질병으로 인한 병변 영역을 검출할 수 있는 인공 신경망의 구조를 제안하고 이를 을 학습하는 방법을 제공하는 것이다. 보다 상세하게는 조직 영역의 거시적인 특징인 조직 형태와 미시적인 특징인 세포의 형태나 세포핵의 크기 등을 모두 고려하여 병변 영역을 판단할 수 있는 인공 신경망의 구조를 제안하고 이를 학습하는 방법을 제공하는 것이다.
특히 유방암의 경우에는 유방암 병변 영역의 침윤암 혹은 관내상피암 여부를 판별하는데 있어서 조직의 거시적인 형태와 미시적인 특징을 모두 고려해야 할 필요가 높으므로, 유방암 절제 조직에서 거시적인 조직의 형태와 미시적인 세포의 형태 및 세포핵의 크기 등을 모두 고려하여 병변 영역을 검출하고 검출된 병변 영역을 침윤암 혹은 관내상피암으로 분류하는 생체 이미지 분석용 딥러닝 모델을 제안하는 것이다.
본 발명의 일 측면에 따르면, 인공 신경망 학습 시스템이, 생체 조직 슬라이드의 슬라이드 이미지를 획득하는 단계, 상기 인공 신경망 학습 시스템이, 상기 슬라이드 이미지로부터 제1고해상도 패치 내지 제N고해상도 패치(여기서, N은 2 이상의 정수)를 획득하는 단계, 상기 인공 신경망 학습 시스템이, 제i고해상도 패치(여기서, i는 1<=i<=N인 임의의 정수)에 상응하는 제i저해상도 패치를 획득하는 단계- 여기서 상기 제i고해상도 패치와 그에 상응하는 제i저해상도 패치는 동일한 크기를 가지며, 상기 제i고해상도 패치의 중심점과 상기 제i저해상도 패치의 중심점은 상기 생체 조직 슬라이드 상의 동일한 위치를 가리킴- 및 상기 인공 신경망 학습 시스템이, 상기 제i고해상도 패치 및 상기 제i저해상도 패치를 입력하여 상기 인공 신경망을 학습하는 단계를 포함하되, 상기 인공 신경망은, 제1인코딩 합성곱 신경망, 제2인코딩 합성곱 신경망, 및 디코딩 합성곱 신경망을 포함하고, 상기 제1 인코딩 합성곱 신경망은, 제i고해상도 패치를 입력받아 상기 제i고해상도 패치에 상응하는 제1피쳐맵을 출력하는 합성곱 신경망이며, 상기 제2인코딩 합성곱 신경망은, 상기 제i저해상도 패치를 입력받아 상기 제i저해상도 패치에 상응하는 컨텍스트 정보(context information)를 출력하는 합성곱 신경망이며, 상기 디코딩 합성곱 신경망은, 상기 제i고해상도 패치에 상응하는 제1 피쳐맵에 상기 제i저해상도 패치에 상응하는 컨텍스트 정보를 반영하고, 상기 컨텍스트 정보를 반영한 결과 값에 기초하여 상기 제i고해상도 패치 내의 병변 영역을 판단하기 위한 소정의 예측 정보를 생성하는 합성곱 신경망인 인공 신경망 학습 방법이 제공된다.
일 실시예에서, 상기 생체 조직 슬라이드는, 유방암 절제 조직 슬라이드이며, 상기 슬라이드 이미지에는 침윤암으로 인한 병변 영역인 침윤암 영역 및 관내상피암으로 인한 병변 영역인 관내상피암 영역이 어노테이션되어 있을 수 있다.
일 실시예에서, 상기 디코딩 합성곱 신경망은, 상기 제1피쳐맵에 대한 합성곱 연산을 수행하는 제1합성곱 계층 및 상기 제2 인코딩 합성곱 신경망에서 출력한 상기 컨텍스트 정보를 이용하여 정규화 파라미터를 결정하고, 결정된 상기 정규화 파라미터로 상기 제1합성곱 계층에서 출력된 결과 값에 대한 적응적 정규화(adaptive normalization)를 수행함으로써, 상기 제1 피쳐맵에 상기 컨텍스트 정보를 반영하는 제1후처리 계층을 포함할 수 있다.
일 실시예에서, 상기 디코딩 합성곱 신경망은, 상기 제1피쳐맵에 대한 합성곱 연산을 수행하는 제1합성곱 계층 및 상기 제1합성곱 계층에서 출력된 결과 값을 대상으로 상기 제2 인코딩 합성곱 신경망에서 출력한 상기 컨텍스트 정보에 기반한 어텐션 메커니즘(attention mechanism)을 수행함으로써, 상기 제1 피쳐맵에 상기 컨텍스트 정보를 반영하는 제1후처리 계층을 포함할 수 있다.
일 실시예에서, 상기 제1인코딩 합성곱 신경망은, 상기 제i고해상도 패치에 상응하는 제2피쳐맵을 더 출력하고-여기서, 상기 제2피쳐맵은 상기 제1피쳐맵 보다 저레벨의 피쳐맵임-, 상기 디코딩 합성곱 신경망은, 상기 제2피쳐맵에 대한 논-로컬 블록 연산을 수행하는 논-로컬 블록 계층, 상기 제1후처리 계층으로부터 전달된 결과 및 상기 논-로컬 블록 계층으로부터 전달된 결과를 결합(concatenation)하는 결합 계층, 상기 결합 계층으로부터 전달된 결과에 대한 합성곱 연산을 수행하는 제2합성곱 계층, 상기 제2합성곱 계층에서 출력된 결과에 상기 제i저해상도 패치에 상응하는 컨텍스트 정보를 반영하는 제2후처리 계층을 더 포함하고, 상기 제2후처리 계층에서 출력된 결과에 기초하여 상기 예측 정보를 출력할 수 있다.
본 발명의 다른 일 측면에 따르면, 상기 인공 신경망 학습 방법에 의해 학습된 인공 신경망을 통해 소정의 판단 대상 생체 조직 슬라이드에 대한 판단 결과를 제공하는 방법으로서, 컴퓨팅 시스템이, 상기 판단 대상 생체 조직 슬라이드의 판단 대상 슬라이드 이미지를 획득하는 단계, 상기 컴퓨팅 시스템이, 상기 판단 대상 슬라이드 이미지로부터 제1판단 대상 고해상도 패치 내지 제N판단 대상 고해상도 패치를 생성하는 단계, 상기 컴퓨팅 시스템이, 제j판단 대상 고해상도 패치(여기서, j는 1<=j<=N인 임의의 정수)에 상응하는 제j판단 대상 저해상도 패치를 생성하는 단계- 여기서 상기 제j판단 대상 고해상도 패치와 그에 상응하는 제j판단 대상 저해상도 패치는 동일한 크기를 가지며, 상기 제j판단 대상 고해상도 패치의 중심점과 상기 제j판단 대상 저해상도 패치의 중심점은 상기 판단 대상 생체 조직 슬라이드 상의 동일한 위치를 가리킴- 및 상기 컴퓨팅 시스템이, 상기 제j판단 대상 고해상도 패치 및 상기 제j판단 대상 저해상도 패치를 입력받은 상기 인공 신경망이 출력한 예측 결과에 기초하여 상기 제j판단 대상 고해상도 패치에 포함된 병변 영역을 판단하는 단계를 포함하는 판단 결과 제공 방법이 제공된다.
본 발명의 다른 일 측면에 따르면, 데이터 처리장치에 설치되며 상술한 방법을 수행하기 위한 매체에 기록된 컴퓨터 프로그램이 제공된다.
본 발명의 다른 일 측면에 따르면, 상술한 방법을 수행하기 위한 컴퓨터 프로그램이 기록된 컴퓨터 판독 가능한 기록매체가 제공된다.
본 발명의 다른 일 측면에 따르면, 인공 신경망 학습 시스템으로서, 프로세서 및 컴퓨터 프로그램을 저장하는 메모리를 포함하고, 상기 컴퓨터 프로그램은, 상기 프로세서에 의해 실행되는 경우, 상기 인공 신경망 학습 시스템으로 하여금 상기 인공 신경망 학습 방법을 수행하도록 하는 인공 신경망 학습 시스템이 제공된다.
본 발명의 다른 일 측면에 따르면, 소정의 판단 대상 생체 조직 슬라이드에 대한 판단 결과 제공 시스템으로서, 프로세서 및 컴퓨터 프로그램을 저장하는 메모리를 포함하고, 상기 컴퓨터 프로그램은, 상기 프로세서에 의해 실행되는 경우, 판단 결과 제공 시스템으로 하여금 상기 판단 결과를 제공 방법을 수행하도록 하는 판단 결과 제공 시스템이 제공된다.
본 발명의 기술적 사상에 의하면, 조직 영역의 거시적인 특징인 조직 형태와 미시적인 특징인 세포의 형태나 세포핵의 크기 등을 모두 고려하여 병변 영역을 판단할 수 있다. 즉, 고해상도 이미지를 통해 조직의 미시적인 특징을 고려하는 동시에 저해상도 이미지를 통해 조직의 거시적인 특징까지 고려하여 병변 영역을 판단하는 인공 신경망 및 이를 학습하는 방법이 제공될 수 있다.
특히 유방암의 경우에는 유방암 병변 영역의 침윤암 혹은 관내상피암 여부를 판별하는데 있어서 조직의 거시적인 형태와 미시적인 특징을 모두 고려해야 할 필요가 높으므로 본 발명의 기술적 사상에 따른 인공 신경망 및 이를 학습하는 방법을 유방암 절제 조직의 슬라이드 이미지에 적용하는 경우 매우 효과적으로 병변 영역을 검출하고 검출된 병변 영역을 침윤암 혹은 관내상피암으로 분류할 수 있다.
본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 간단한 설명이 제공된다.
도 1은 본 발명의 기술적 사상에 따른 인공 신경망 학습 방법 및 생체 조직 슬라이드에 대한 판단 결과 제공 방법이 수행되는 환경을 개략적으로 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 인공 신경망 학습 방법을 설명하기 위한 흐름도이다.
도 3은 침윤암 영역 및 관내상피암 영역이 어노테이션되어 있는 생체 조직 슬라이드 이미지의 일 예를 도시한 도면이다.
도 4a는 고해상도 패치를 설명하기 위한 도면이다.
도 4b는 생체 조직 슬라이드 이미지 상의 동일한 위치가 중심점인 고해상도 패치가 커버하는 영역 및 그에 상응하는 저해상도 패치가 커버하는 영역의 예를 도시한 도면이다.
도 5는 본 발명의 일 실시예에 따른 인공 신경망의 구조를 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 생체 조직 슬라이드에 대한 판단 결과 제공 방법의 일 예를 도시한 흐름도이다.
도 7은 본 발명의 일 실시예에 따른 인공 신경망 학습 시스템의 개략적인 구성을 도시한 도면이며, 도 8은 발명의 일 실시예에 따른 판단 결과 제공 시스템의 개략적인 구성을 도시한 도면이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 제1, 제2 등의 용어는 특별한 순서를 나타내는 것이 아니며, 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 명세서에 있어서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, 본 명세서에 있어서는 어느 하나의 구성요소가 다른 구성요소로 데이터를 '전송'하는 경우에는 상기 구성요소는 상기 다른 구성요소로 직접 상기 데이터를 전송할 수도 있고, 적어도 하나의 또 다른 구성요소를 통하여 상기 데이터를 상기 다른 구성요소로 전송할 수도 있는 것을 의미한다. 반대로 어느 하나의 구성요소가 다른 구성요소로 데이터를 '직접 전송'하는 경우에는 상기 구성요소에서 다른 구성요소를 통하지 않고 상기 다른 구성요소로 상기 데이터가 전송되는 것을 의미한다.
이하, 첨부된 도면들을 참조하여 본 발명의 실시예들을 중심으로 본 발명을 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.
도 1은 본 발명의 기술적 사상에 따른 인공 신경망 학습 방법 및 생체 조직 슬라이드에 대한 판단 결과 제공 방법이 수행되는 환경을 개략적으로 도시한 도면이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 인공 신경망 학습 방법은 인공 신경망 학습 시스템(100)에 의해 수행될 수 있으며, 본 발명의 일 실시예에 따른 생체 조직 슬라이드에 대한 판단 결과 제공 방법은 소정의 판단 대상 생체 조직 슬라이드에 대한 판단 결과 제공 시스템(200; 이하, '판단 결과 제공 시스템'이라고 함)에 의해 수행될 수 있다.
상기 인공 신경망 학습 시스템(100)은 인공 신경망(300)을 학습할 수 있다.
상기 인공 신경망 학습 시스템(100)은 다수의 병리 검체로부터 생성된 학습 데이터에 기반하여 상기 인공 신경망(300)을 학습할 수 있다.
병리 검체는 인체의 각종 장기에서 채취한 생검 또는 수술로 절제된 생체 조직일 수 있다. 상기 인공 신경망 학습 시스템(100)은 병리 검체의 디지털 병리 슬라이드 이미지를 이용하여 개별 학습 데이터를 생성하고, 이를 상기 인공 신경망(300)의 입력 레이어에 입력하여 상기 인공 신경망(300)을 학습할 수 있다.
일 실시예에서, 상기 인공 신경망(300)은 소정의 질병에 대해 질병의 발현여부에 대한 확률 값을 출력하도록 학습될 수 있는 인공 뉴럴 네트워크일 수 있다. 상기 인공 신경망(300)은 입력 레이어를 통해 입력된 데이터에 기초하여 대상 검체에 대한 판단 결과(예를 들어, 특정한 질병(특히, 유방암)으로 인한 병변 여부)를 나타내는 수치 값 즉, 확률 값을 출력할 수 있다.
본 명세서에서 인공 신경망은 인간의 뉴런의 동작 원리에 기초하여 인공적으로 구축한 신경망로서, 다층 퍼셉트론 모델을 포함하며, 인공 신경망을 정의하는 일련의 설계사항들을 표현하는 정보의 집합을 의미할 수 있다.
일 실시예에서, 상기 인공 신경망(300)은 합성곱 신경망(convolutional neural network) 이거나 혹은 합성곱 신경망을 포함할 수 있다.
상기 합성곱 신경망은 잘 알려진 바와 같이, 입력 레이어, 복수의 히든 레이어들, 및 출력 레이어를 포함할 수 있다. 복수의 히든 레이어들 각각은 컨볼루션 레이어 및 풀링 레이어(또는 서브 샘플링 레이어)를 포함할 수 있다. 합성곱 신경망은 이러한 각각의 레이어들을 정의하기 위한 함수, 필터, 스트라이드(stride), 웨이트 팩터 등에 의해 정의될 수 있다. 또한, 출력 레이어는 풀리 커넥티드(fully connected)된 전방향 레이어(FeedForward layer)로 정의될 수 있다. 합성곱 신경망을 구성하는 각각의 레이어별 설계 사항은 널리 알려져 있다. 예컨대, 복수의 레이어들에 포함될 레이어의 개수, 상기 복수의 레이어들을 정의하기 위한 컨볼루션 함수, 풀링 함수, 활성화 함수 각각에 대해서는 공지된 함수들이 이용될 수도 있고, 본 발명의 기술적 사상을 구현하기 위해 별도로 정의된 함수들이 이용될 수도 있다.
한편, 학습된 인공 신경망(300)은 상기 판단 결과 제공 시스템(200)에 저장될 수 있으며, 상기 판단 결과 제공 시스템(200) 학습된 인공 신경망(300)을 이용하여 소정의 진단 대상 검체 혹은 진단 대상 검체의 슬라이드 이미지에 대한 판단을 할 수 있다.
일 실시예에서 상기 인공 신경망(300)은 생체 조직 슬라이드 이미지 혹은 생체 조직 슬라이드 이미지의 일부인 패치(혹은 '타일'이라고도 함)를 입력받아 생체 조직에 대한 진단 정보, 예후 정보 및/또는 치료 방법에 대한 반응 정보를 제공하기 위한 신경망일 수 있다.
특히, 일 실시예서, 상기 인공 신경망(300)은 생체 조직 슬라이드 이미지 혹은 생체 조직 슬라이드 이미지의 일부인 패치를 입력 받을 수 있다.
슬라이드 이미지는 생체 조직 슬라이드를 스캔한 이미지일 수 있으며, 패치는 생체 조직 슬라이드 이미지를 격자 형태로 분할한 일부일 수 있다.
일 실시예에서, 생체 조직 슬라이드는 유방암 절제 조직 슬라이드일 수 있으며, 이 경우 병변 영역은 침윤암으로 인한 병변 영역인 침윤암 영역 및 관내상피암으로 인한 병변 영역인 관내상피암 영역을 포함할 수 있다.
한편, 상기 인공 신경망(300)은 입력된 이미지에 대한 영역 분할 모델(즉, 픽셀 단위의 분류 모델)일 수 있다. 즉, 상기 인공 신경망(300)의 출력값은 영역 분할 결과(즉, 픽셀 단위 분류 결과)일 수 있다. 다시 말하면, 상기 인공 신경망(300)은 해당 이미지 내의 병변 영역을 판단하기 위한 소정의 예측 정보를 출력할 수 있다. 또한 상기 인공 신경망(300)은 입력된 이미지를 각 픽셀 단위로 분류하는 픽셀 레벨 클래시피케이션 신경망일 수 있다. 예를 들어, 상기 인공 신경망(300)은 이미지를 구성하는 각 픽셀 별로 침윤암일 확률, 관내상피암일 확률 및 암이 아닐 확률을 출력하는 신경망일 수 있다.
상기 인공 신경망 학습 시스템(100)은 복수의 생체 조직 패치를 입력하여 상기 인공 신경망(300)을 학습할 수 있다. 이때 학습 데이터(즉, 생체 조직 패치)에는 침윤암으로 인한 병변 영역인 침윤암 영역 및 관내상피암으로 인한 병변 영역인 관내상피암 영역이 어노테이션(annotation)되어 있을 수 있다.
상기 판단 결과 제공 시스템(200)은 학습된 상기 인공 신경망(300)을 이용하여 대상 검체에 대한 각종 판단(예를 들어, 병변 영역에 대한 판단, 질병 발현 유무, 예후, 치료 방법에 대한 판단 등)을 할 수 있다.
상기 인공 신경망 학습 시스템(100) 및/또는 상기 판단 결과 제공 시스템(200)은 본 발명의 기술적 사상을 구현하기 위한 연산능력을 가진 데이터 처리장치인 컴퓨팅 시스템일 수 있으며, 일반적으로 네트워크를 통해 클라이언트가 접속 가능한 데이터 처리 장치인 서버뿐만 아니라 개인용 컴퓨터나 휴대 단말 등과 같은 컴퓨팅 장치를 포함할 수 있다.
상기 인공 신경망 학습 시스템(100) 및/또는 상기 판단 결과 제공 시스템(200)은 어느 하나의 물리적 장치로 구현될 수도 있으나, 필요에 따라 복수의 물리적 장치가 유기적으로 결합되어 본 발명의 기술적 사상에 따른 상기 인공 신경망 학습 시스템(100) 및/또는 상기 판단 결과 제공 시스템(200)을 구현할 수 있음을 본 발명의 기술분야의 평균적 전문가는 용이하게 추론할 수 있을 것이다.
도 1에 도시된 바와 같이, 상기 인공 신경망 학습 시스템(100) 및/또는 상기 판단 결과 제공 시스템(200)은 소정의 모(母) 시스템(10)의 서브 시스템의 형태로 구현될 수도 있다. 상기 모 시스템(10)은 서버일 수 있다. 상기 서버(10)는 본 발명의 기술적 사상을 구현하기 위한 연산능력을 가진 데이터 처리장치를 의미하며, 일반적으로 네트워크를 통해 클라이언트가 접속 가능한 데이터 처리장치뿐만 아니라 개인용 컴퓨터, 휴대 단말 등과 같이 특정 서비스를 수행할 수 있는 어떠한 장치도 서버로 정의될 수 있음을 본 발명의 기술분야의 평균적 전문가는 용이하게 추론할 수 있을 것이다.
또는 실시예에 따라, 상기 인공 신경망 학습 시스템(100) 및 상기 판단 결과 제공 시스템(200)은 서로 분리된 형태로 구현될 수도 있다.
도 2는 본 발명의 일 실시예에 따른 인공 신경망 학습 방법을 설명하기 위한 흐름도이다.
도 2를 참조하면, 상기 인공 신경망 학습 시스템(100)은 생체 조직 슬라이드 이미지를 획득할 수 있다(S100).
상기 생체 조직 슬라이드 이미지에는 병변 영역이 어노테이션되어 있을 수 있다. 일 실시예에서, 상기 생체 조직 슬라이드 이미지에는 침윤암으로 인한 병변 영역인 침윤암 영역 및 관내상피암으로 인한 병변 영역인 관내상피암 영역이 어노테이션되어 있을 수 있다.
하나의 생체 조직 슬라이드 이미지에 침윤암 및 관내상피암이 동시에 각각 존재할 수 있으며, 각 병변 영역마다 병변의 종류가 같이 어노테이션되어 있을 수 있다.
도 3은 침윤암 영역 및 관내상피암 영역이 어노테이션되어 있는 생체 조직 슬라이드 이미지의 일 예를 도시한 도면이다. 도 3에서 적색으로 표시된 영역(예를 들어, 1)이 침윤암 영역이며, 황색으로 표시된 영역(예를 들어, 2)이 관내상피암 영역이다.
다시 도 2를 참조하면, 상기 인공 신경망 학습 시스템(100)은 상기 생체 조직 슬라이드 이미지로부터 N개(여기서 N은 2 이상의 정수)의 고해상도 패치를 획득할 수 있다(S110). 여기서 고해상도라고 함은 특정 배율 혹은 특정 해상도 이상을 의미하는 것이 아니라 후술하는 저해상도 패치에 비하여 상대적으로 높은 해상도를 가진다는 의미이다.
일 실시예에서, 상기 인공 신경망 학습 시스템(100)은 상기 생체 조직 슬라이드 이미지를 일정한 크기로 분할하여 상기 N개의 고해상도 패치를 획득할 수 있다.
도 4a는 고해상도 패치를 설명하기 위한 도면이다. 도 4a를 참조하면, 상기 인공 신경망 학습 시스템(100)은 생체 조직 슬라이드 이미지(10)를 격자 형태로 분할하여 고해상도 패치(예를 들어 11)을 생성할 수 있다.
도 4a에 도시된 예와 같이, 상기 N개의 고해상도 패치를 모두 정합하면 원래의 생체 조직 슬라이드 이미지가 될 수 있다. 상기 N개의 고해상도 패치는 서로 배타적일 수도 있으나, 이에 한정되는 것은 아니며 상기 N개의 고해상도 패치 중 적어도 일부는 다른 고해상도 패치와 겹치는 영역이 있을 수도 있다.
한편 상기 인공 신경망 학습 시스템(100)은 1<=i<=N인 모든 정수에 대하여, 제i고해상도 패치에 상응하는 제i저해상도 패치를 획득할 수 있다(S120, S130).
저해상도 패치는 고해상도 패치에 비하여 상대적으로 낮은 해상도를 가지는 패치일 수 있다. 예를 들어, 고해상도 패치가 50배율 이미지라고 하면, 저해상도 패치는 12.5배율 이미지일 수 있으며, 이하에서는 이해의 편의를 위하여, 특별한 언급이 없는 한, 고해상도 패치는 50배율 이미지이고 저해상도 패치는 12.5배율 이미지라고 가정하고 설명하기로 한다.
상기 제i고해상도 패치의 중심점과 상기 제i저해상도 패치의 중심점은 상기 생체 조직 슬라이드 상의 동일한 위치를 가리킬 수 있다. 또한 상기 제i고해상도 패치와 상기 제i저해상도 패치는 동일한 크기를 가질 수 있다. 예를 들어 고해상도 패치의 크기가 256×256인 경우 저해상도 패치의 크기 역시 256×256일 수 있다. 한편, 고해상도 패치가 50배율 이미지이고, 저해상도 패치는 이에 비하여 1/4 비율인 12.5배율 이미지인 경우, 고해상도 패치가 커버하는 슬라이드 이미지 상의 영역의 면적과 그에 상응하는 저해상도 패치가 커버하는 슬라이드 이미지 상의 영역의 면적은 1:16일 수 있다.
일 실시예에서, 상기 인공 신경망 학습 시스템(100)은 고해상도 패치의 중심점을 중심으로 넓은 부분(엄밀하게는 저해상도 패치가 커버하는 부분)을 추출한 후 이를 축소하여 저해상도 패치를 획득할 수 있다. 예를 들어, 크기가 256×256이며 중심점의 좌표가 (2048, 2560)인 고해상도 패치에 상응하는 저해상도 패치를 획득하기 위하여, 상기 인공 신경망 학습 시스템(100)은 상기 생체 슬라이드 이미지에서 좌표 (2048, 2560)를 중심으로 1024×1024 크기의 영역을 추출한 후 이를 256×256의 크기로 축소함으로써 저해상도 패치를 생성할 수 있다.
도 4b는 생체 조직 슬라이드 이미지 상의 동일한 위치가 중심점인 고해상도 패치가 커버하는 영역 및 그에 상응하는 저해상도 패치가 커버하는 영역의 예를 도시한 도면이다. 도 4b를 참조하면, 고해상도 패치(11)와 그에 상응하는 저해상도 패치는 모두 그 중심점이 생체 조직 슬라이드(10) 상의 동일한 위치(13)일 수 있으며, 저해상도 패치가 커버하는 영역(12)의 면적은 고해상도 패치가 커버하는 영역(11)의 면적이 16배일 수 있다.
앞서 설명한 예와 같이 상기 생체 조직 슬라이드는 단일 배율의 이미지만을 포함할 수도 있으나, 실시예에 따라서 상기 생체 조직 슬라이드는 피라미드 형식으로 고배율에서 저배율까지의 이미지를 다수 포함할 수 있다. 예를 들어, 생체 조직 이미지는 50배율의 고해상도 슬라이드 이미지 및 12.5배율의 저해상도 슬라이드 이미지를 포함할 수 있다. 이 경우, 상기 인공 신경망 학습 시스템(100)은 고해상도 슬라이드 이미지를 분할하여 복수의 고해상도 패치를 획득하고, 각각의 고해상도 패치마다 그에 상응하는 저해상도 패치를 저해상도 슬라이드 이미지에서 추출할 수 있다. 예를 들어, 상기 인공 신경망 학습 시스템(100)은 크기가 256×256이며 중심점의 좌표가 (2048, 2560)인 고해상도 패치에 상응하는 저해상도 패치를 획득하기 위하여, 저해상도 슬라이드 이미지 중 좌표 (512, 640)을 중심으로 256×256 크기의 영역을 추출함으로써 저해상도 패치를 획득할 수 있다.
다시 도 2를 참조하면, 상기 인공 신경망 학습 시스템(100)은 제i고해상도 패치 및 그에 상응하는 제i저해상도 패치를 상기 인공 신경망(300)에 입력하여 상기 인공 신경망(300)을 학습할 수 있다(S140).
도 2는 하나의 생체 조직 슬라이드 이미지로 인공 신경망을 학습하는 과정을 도시하고 있으나 실제로는 다수의 생체 조직 슬라이드 이미지로 인공 신경망이 학습될 수 있으며, 각각의 생체 조직 슬라이드 이미지마다 도 2의 S100 단계 내지 S140 단계가 수행될 수 있다.
도 5는 본 발명의 일 실시예에 따른 인공 신경망(300)의 구조를 설명하기 위한 도면이다.
도 5를 참조하면, 상기 인공 신경망(300)은 제1인코딩 합성곱 신경망(310), 제2합성곱 신경망(320), 및 디코딩 합성곱 신경망(330)을 포함할 수 있다.
상기 제1인코딩 합성곱 신경망(310) 및 상기 제2인코딩 합성곱 신경망은 합성곱 신경망의 일종인 MNASNET으로 구현될 수 있으나 이에 한정되는 것은 아니며, RESNET 등과 같은 다른 합성곱 신경망으로 구현될 수도 있다.
상기 제1인코딩 합성곱 신경망(310)은 고해상도 패치(301)를 입력받을 수 있으며, 상기 제2인코딩 합성곱 신경망(320)은 상기 고해상도 패치(301)에 상응하는 저해상도 패치(302)를 입력받을 수 있다. 도 5의 예에서, 상기 제1인코딩 합성곱 신경망(310)은 512×512 크기의 50배율 고해상도 패치를 입력받으며, 상기 제2인코딩 합성곱 신경망(320)은 512×512 크기의 12.5배율 저해상도 패치를 입력받게 된다.
한편 상기 제1인코딩 합성곱 신경망(310)은 최종 출력물을 생성하는 과정 중에 피쳐맵을 생성할 수 있다. 즉, 피쳐맵은 상기 제1인코딩 합성곱 신경망(310)의 은닉 계층(예를 들어, 합성곱 계층)에서 생성되는 중간 생성물일 수 있다.
상기 제1인코딩 합성곱 신경망(310)은 입력된 고해상도 패치(301)에 상응하는 2 이상의 피쳐맵을 생성할 수 있으며, 도 5에서는 저레벨 피쳐맵인 제1피쳐맵(311)과 고레벨 피쳐맵인 제2피쳐맵(312)이 생성되는 예를 도시하고 있다. 제1피쳐맵(311)은 32×128×128차원(크기 128×128, 32채널)의 저레벨 피쳐맵이며, 제2피쳐맵(312)은 128×32×32차원(크기 32×32, 128채널)의 고레벨 피쳐맵일 수 있다. 본 명세서에서 피쳐맵이 저레벨이라고 함은 고레벨 피쳐맵에 비하여 상대적으로 입력 레이어로부터 가까운 히든 레이어에서 생성되거나 고레벨 피쳐맵에 비하여 상대적으로 덜 추상화되어 있으며, 보다 큰 정보량을 가짐을 의미할 수 있다. 또한 본 명세서에서 특정 신경망 혹은 계층에서 출력되는 값의 차원을 c×a×b로 표기한 경우, 해당 값은 크기가 a×b인 c채널의 값임을 나타낸다.
한편, 고레벨 피쳐맵이 저레벨 피쳐맵에 비하여 채널의 개수가 큰 이유는 통상적으로 합성곱 신경망의 중간 중간에 max pooling 등을 통해 이미지의 크기를 가로 세로 각각 절반씩 줄여나가게 되며, 이때 정보 손실을 줄이기 위해 채널의 수를 늘리게 되기 때문이다. 즉 입력에 가까운 합성곱 계층에서 출력에 가까운 합성곱 계층으로 데이터가 흘러가는 동안, 피쳐맵의 크기는 줄여서 추상화를 시도하고, 대신 추상적인 정보의 양을 늘리기 위해 채널의 수를 늘리게 되는 것이다.
한편, 상기 제2인코딩 합성곱 신경망(320)은 상기 저해상도 패치(302)를 입력받아 상기 저해상도 패치(302)에 상응하는 컨텍스트 정보(context information; 321)를 출력할 수 있다.
상기 제2인코딩 합성곱 신경망(320)이 출력하는 컨텍스트 정보(321)는 상기 제2인코딩 합성곱 신경망(320)의 최종 출력 값이 아닐 수 있으며, 상기 제2인코딩 합성곱 신경망(320)의 최종 출력을 위한 완전 연결 계층(fully connected layer) 바로 앞 계층의 출력이 컨텍스트 정보(321)일 수 있다.
도 5 는 1280 차원의 컨텍스트 정보(321)를 출력하는 예를 도시하고 있으나, 컨텍스트 정보(321)의 크기는 신경망의 구조에 따라 달라질 수 있음은 물론이다.
한편, 상기 디코딩 합성곱 신경망(330)은 상기 제1인코딩 합성곱 신경망(310)이 출력한 피쳐맵(311 및/또는 312)에 상기 저해상도 패치(302)에 상응하는 컨텍스트 정보(321)를 반영하고, 상기 컨텍스트 정보(321)를 반영한 결과 값에 기초하여 상기 고해상도 패치(301) 내의 병변 영역을 판단하기 위한 소정의 예측 정보(337)를 생성할 수 있다.
일 실시예에서, 상기 디코딩 합성곱 신경망(330)은 상기 고해상도 패치(301)를 구성하는 각 픽셀 별로 정상 영역/침윤암 병변 영역/관내상피암 병변 영역에 해당될 확률을 출력할 수 있다. 이 경우 상기 디코딩 합성곱 신경망(330)은 3×512×512 차원의 예측 정보를 출력할 수 있으나 이에 한정되는 것은 아니다. 실시예에 따라서 상기 디코딩 합성곱 신경망(330)은 상기 고해상도 패치(301)를 구성하는 각 픽셀군(예를 들어, 정사각형 형태의 4개의 픽셀로 구성된 픽셀군) 별로 정상/침윤암 병변 영역/관내상피암 병변 영역에 해당될 확률을 출력할 수 있다. 이 경우 상기 디코딩 합성곱 신경망(330)은 3×128×128 차원의 예측 정보를 출력할 수 있다.
각 픽셀 혹은 각 픽셀군이 정상일 확률, 침윤암 병변 영역일 확률 및 관내상피암 병변 영역일 확률을 합하면 1일 수 있다.
도 5를 참조하면, 상기 디코딩 합성곱 신경망(330)은 제1합성곱 계층(331) 및 제1후처리 계층(332)을 포함할 수 있다. 또한 상기 디코딩 합성곱 신경망(330)은 논-로컬 블록 계층(non-local block layer; 333), 결합 계층(concatenation layer; 334), 제2합성곱 계층(335) 및 제2후처리 계층(336)을 더 포함할 수도 있다.
실시예에 따라서, 상기 디코딩 합성곱 신경망(330)은 도 5에 도시된 계층의 일부만을 포함할 수도 있으며, 도 5에 도시된 계층외의 다른 계층을 더 포함할 수도 있다. 예를 들어 상기 디코딩 합성곱 신경망(330)은 도 5에 도시된 계층 중 제1합성곱 계층(331) 및 제1후처리 계층(332)만을 포함할 수도 있으며, 경우에 따라서는 하나 이상의 합성곱 계층 및 후처리 계층을 더 포함할 수도 있다.
상기 제1합성곱 계층(331)은 상기 제1피쳐맵(311)에 대한 합성곱 연산을 수행할 수 있다. 예를 들어 상기 제1합성곱 계층(331)은 3×3 합성곱 필터를 통한 합성곱 연산을 수행하여 32×128×128 차원의 결과물을 출력할 수 있다.
상기 제1후처리 계층(332)은 상기 제1합성곱 계층(331)이 생성한 결과물에 상기 제2 인코딩 합성곱 신경망(320)에서 출력한 상기 컨텍스트 정보(321)를 반영할 수 있다.
일 실시예에서 상기 제1후처리 계층(332)은 적응적 정규화(adaptive normalization) 기법을 통해 상기 컨텍스트 정보(321)를 반영할 수 있다. 적응적 정규화는 컨텍스트 정보를 입력으로 하여 정규화 파라미터인 평균과 표준편차(또는 분산)을 출력하는 완전 연결 계층 하나를 두고, 여기서 출력되는 평균 및 표준편차를 활용해서 정규화를 수행하는 기법을 말한다.
보다 상세하게는 상기 제1후처리 계층(332)은 상기 컨텍스트 정보(321)를 이용하여 정규화 파라미터(예를 들면, 평균 및 표준편차)를 결정하고, 결정된 상기 정규화 파라미터로 상기 제1합성곱 계층(331)에서 출력된 결과 값에 대한 적응적 정규화를 수행함으로써, 상기 제1 피쳐맵(311)에 상기 컨텍스트 정보(321)를 반영할 수 있다.
다른 일 실시예에서, 상기 제1후처리 계층(332)은 어텐션 메커니즘(attention mechanism)을 통해 상기 컨텍스트 정보(321)를 반영할 수 있다. 즉, 상기 제1후처리 계층(332)은 상기 제1합성곱 계층(331)에서 출력된 결과 값을 대상으로 상기 제2 인코딩 합성곱 신경망(320)에서 출력한 상기 컨텍스트 정보(321)에 기반한 어텐션 메커니즘을 수행함으로써, 상기 제1 피쳐맵(311)에 상기 컨텍스트 정보(321)를 반영할 수 있다.
어텐션 메커니즘에서 컨텍스트 정보는, 이를 입력으로 하여 어텐션 메커니즘 에서 사용할 수 있는 파라미터 들을 출력하는 완전 연결 계층 하나를 통과하는 방식으로 활용된다. 어텐션 메커니즘을 적용하기 위한 다양한 방법이 있을 수 있다. 예를 들어, 채널 단위의 가중치 값(채널 별로 각자 나온 가중치 값을 곱함)을 어텐션으로 보는 방법도 있고, 논-로컬 블록과 같이 self-attention으로 가는 구조에서 원래의 입력으로부터 완전 연결 계층을 통해 생성되는 쿼리(query) 부분을 컨텍스트 정보만으로 생성하거나 혹은 원래의 입력과 컨텍스트 정보를 피쳐맵 크기 조정을 통해 크기를 맞춘 후 연결(concatenation)한 후 이를 쿼리를 생성하는 완전 연결 계층에 입력하는 방식도 있을 수 있다.
도 5에는 도시되어 있지 않으나, 제1후처리 계층(332)을 비롯한 후처리 계층(예를 들어, 제2후처리 계층(336))에서 출력되는 값은 Relu나 Sigmoid와 같은 소정의 활성함수(activation function)을 거쳐 다음 계층으로 전달될 수 있다.
한편, 상기 논-로컬 블록 계층(333)은 상기 제2피쳐맵에 대한 논-로컬 블록 연산을 수행할 수 있다. 논-로컬 블록 연산은 입력된 피쳐 맵의 비국소적인 상관관계를 산출하는데 이용되는 연산을 의미하며, 이에 대한 상세한 설명은 Kaiming He 등의 논문 "Non-local Neural Networks"(https://arxiv.org/pdf/1711.07971.pdf)에 개시되어 있다.
한편, 도 5에는 도시되어 있지 않으나 상기 논-로컬 블록 계층(333)에서 출력된 값에 업스케일링(upscaling)이 수행될 수 있으며, 이를 통해 상기 제1후처리 계층(332)에서 출력되는 결과물과 동일한 크기(예를 들어, 128×128)를 가지는 결과물이 생성되어 다음 계층(즉, 상기 결합 계층(334))으로 전달될 수 있다. 한편 업스케일링 기법으로 보간법(interpolation)이나 transposed convolution이 이용될 수 있다.
상기 결합 계층(334)는 상기 제1후처리 계층(332)로부터 전달된 결과 및 상기 논-로컬 블록 계층(333)로부터 전달된 결과를 결합(concatenation)할 수 있다. 상기 결합 계층은 채널 스태킹(channel stacking)을 통해 결합 연산을 수행할 수 있다. 예를 들어, 상기 제1후처리 계층(332)으로부터 32×128×128 차원의 결과물이 전달되었고, 상기 논-로컬 블록 계층(333)로부터 128×128×128 차원의 결과물이 전달한 경우, 상기 결합 계층(334)은 채널 스태킹을 통해 160×128×128 차원의 결합 결과물을 출력할 수 있다.
상기 제2합성곱 계층(335)은 상기 결합 계층(334)에서 출력한 결과에 대한 합성곱 연산을 수행할 수 있다. 예를 들어 상기 제2합성곱 계층(334)은 3×3 합성곱 필터를 통한 합성곱 연산을 수행하여 128×128×128 차원의 결과물을 출력할 수 있다.
상기 제2후처리 계층(336)은 상기 제2합성곱 계층(335)에서 출력된 결과에 상기 저해상도 패치에 상응하는 컨텍스트 정보(321)를 반영할 수 있다. 상기 제2후처리 계층(336) 역시 상기 제1후처리 계층(335)과 마찬가지로 상기 컨텍스트 정보(321)를 적용한 적응적 정규화 기법 또는 어텐션 메커니즘을 수행할 수 있다.
한편 상기 디코딩 합성곱 신경망(330)은 상기 제2후처리 계층(336)에서 출력된 결과물에 기초하여 상기 예측 정보(340)를 출력할 수 있다.
본 발명의 일 실시예에 따르면, 제2후처리 계층(336)과 예측 정보(340)를 최종적으로 출력하는 계층 중간에 1 이상의 추가적인 합성곱 계층 및 이와 연결된 추가적인 후처리 계층이 더 포함될 수도 있다. 예를 들어, 도 5에 도시된 바와 같이, 상기 디코딩 합성곱 신경망(330)은 제3합성곱 계층(337) 및 제3후처리 계층(338)을 더 포함할 수 있다. 추가적인 합성곱 계층은 앞서 설명한 다른 합성곱 계층과 마찬가지로 이전 계층에서 출력된 결과 값에 대한 합성곱 연산을 수행하며, 추가적인 후처리 계층 역시 앞서 설명한 다른 후처리 계층과 마찬가지로 상기 컨텍스트 정보(321)를 적용한 적응적 정규화 기법 또는 어텐션 메커니즘을 수행할 수 있다.
이 외에도 실시예에 따라서, 상기 디코딩 합성곱 신경망(330)은 추가적인 계층(예를 들어 추가적인 합성곱 계층 및/또는 완전 연결 계층, 출력 계층 등)을 더 거쳐 상기 예측 정보(337)를 출력할 수 있다. 예를 들어 도 5에 도시된 바와 같이 상기 디코딩 합성곱 신경망(330)은 제4합성곱 계층(339)을 더 포함할 수 있다.상술한 바와 같이 인공 신경망(300)은 생체 조직의 넓은 영역을 포함하는 저해상도 이미지를 입력받는 인코딩 합성곱 신경망에서 출력되는 값을 고해상도 이미지를 입력으로 하는 인코딩 합성곱 신경망의 출력 값에 반영하는 구조를 가진다. 즉, 상기 인공 신경망(300)은 넓은 영역을 커버하는 저해상도 이미지에 나타나는 생체 조직의 거시적인 특징뿐만 아니라 좁은 영역을 커버하지만 조직의 세부적인 특징을 잘 나타내는 고해상도 이미지에서 추출된 미시적인 특징을 모두 반영할 수 있는 장점이 있다.
도 6은 본 발명의 일 실시예에 따른 생체 조직 슬라이드에 대한 판단 결과 제공 방법의 일 예를 도시한 흐름도이다. 도 6에 따른 생체 조직 슬라이드에 대한 판단 결과 제공 방법은 판단 결과 제공 시스템(200)에 의하여 수행될 수 있으며, 상기 판단 결과 제공 시스템(200)에는 상기 인공 신경망 학습 시스템(100)에 의해 미리 학습된 인공 신경망(300)이 저장되어 있을 수 있다.
도 6을 참조하면, 상기 판단 결과 제공 시스템(200)은 소정의 판단 대상 생체 조직 슬라이드의 슬라이드 이미지인 판단 대상 슬라이드 이미지를 획득할 수 있다(S200).
상기 판단 결과 제공 시스템(200)은 상기 판단 대상 슬라이드 이미지로부터 제1판단 대상 고해상도 패치 내지 제N판단 대상 고해상도 패치를 획득할 수 있다(S220).
또한 상기 판단 결과 제공 시스템(200)은 제1판단 대상 고해상도 패치 내지 제N고해상도 판단 대상 고해상도 패치 각각에 상응하는 저해상도 패치를 생성할 수 있다(S220, S230). 이때, 제j판단 대상 고해상도 패치와 그에 상응하는 제j판단 대상 저해상도 패치(j는 1<=j<=N인 임의의 정수)는 동일한 크기를 가지며, 상기 제j고해상도 패치의 중심점과 상기 제j저해상도 패치의 중심점은 상기 판단 대상 생체 조직 슬라이드 상의 동일한 위치를 가리킬 수 있다.
상기 판단 대상 슬라이드 이미지로부터 제1판단 대상 고해상도 패치 내지 제N판단 대상 고해상도 패치 및 이들 각각에 상응하는 저해상도 패치를 획득하는 과정은 앞서 도 4a 내지 도 4b를 참조하여 설명한 과정과 매우 유사하므로 별도의 설명은 생략하기로 한다.
한편, 상기 판단 결과 제공 시스템(200)은 상기 제j판단 대상 고해상도 패치 및 상기 제j판단 대상 저해상도 패치를 입력받은 상기 인공 신경망(300)이 출력한 예측 결과에 기초하여 상기 제j판단 대상 고해상도 패치에 포함된 병변 영역을 판단할 수 있다(S240).
도 7은 본 발명의 일 실시예에 따른 인공 신경망 학습 시스템(100)의 개략적인 구성을 도시한 도면이며, 도 8은 발명의 일 실시예에 따른 판단 결과 제공 시스템(200)의 개략적인 구성을 도시한 도면이다.
상기 인공 신경망 학습 시스템(100) 및 판단 결과 제공 시스템(200)은 본 발명의 기술적 사상을 구현하기 위해 필요한 하드웨어 리소스(resource) 및/또는 소프트웨어를 구비한 논리적인 구성을 의미할 수 있으며, 반드시 하나의 물리적인 구성요소를 의미하거나 하나의 장치를 의미하는 것은 아니다. 즉, 상기 인공 신경망 학습 시스템(100) 및 판단 결과 제공 시스템(200)은 본 발명의 기술적 사상을 구현하기 위해 구비되는 하드웨어 및/또는 소프트웨어의 논리적인 결합을 의미할 수 있으며, 필요한 경우에는 서로 이격된 장치에 설치되어 각각의 기능을 수행함으로써 본 발명의 기술적 사상을 구현하기 위한 논리적인 구성들의 집합으로 구현될 수도 있다. 또한, 상기 인공 신경망 학습 시스템(100) 및 판단 결과 제공 시스템(200)은 본 발명의 기술적 사상을 구현하기 위한 각각의 기능 또는 역할별로 별도로 구현되는 구성들의 집합을 의미할 수도 있다. 인공 신경망 학습 시스템(100) 및 판단 결과 제공 시스템(200)의 각 구성은 서로 다른 물리적 장치에 위치할 수도 있고, 동일한 물리적 장치에 위치할 수도 있다. 또한, 구현 예에 따라서는 상기 인공 신경망 학습 시스템(100) 및 판단 결과 제공 시스템(200)의 구성 요소 각각을 구성하는 소프트웨어 및/또는 하드웨어의 결합 역시 서로 다른 물리적 장치에 위치하고, 서로 다른 물리적 장치에 위치한 구성들이 서로 유기적으로 결합되어 각각의 상기 모듈들을 구현할 수도 있다.
또한, 본 명세서에서 모듈이라 함은, 본 발명의 기술적 사상을 수행하기 위한 하드웨어 및 상기 하드웨어를 구동하기 위한 소프트웨어의 기능적, 구조적 결합을 의미할 수 있다. 예컨대, 상기 모듈은 소정의 코드와 상기 소정의 코드가 수행되기 위한 하드웨어 리소스(resource)의 논리적인 단위를 의미할 수 있으며, 반드시 물리적으로 연결된 코드를 의미하거나, 한 종류의 하드웨어를 의미하는 것은 아님은 본 발명의 기술분야의 평균적 전문가에게는 용이하게 추론될 수 있다.
도 7을 참조하면, 상기 인공 신경망 학습 시스템(100)은 저장모듈(110), 획득모듈(120), 생성모듈(130) 및 학습모듈(140)을 포함할 수 있다. 본 발명의 실시예에 따라서는, 상술한 구성요소들 중 일부 구성요소는 반드시 본 발명의 구현에 필수적으로 필요한 구성요소에 해당하지 않을 수도 있으며, 또한 실시예에 따라 상기 인공 신경망 학습 시스템(100)은 이보다 더 많은 구성요소를 포함할 수도 있음은 물론이다. 예를 들어 상기 인공 신경망 학습 시스템(100)은 외부 장치와 통신하기 위한 통신모듈(미도시), 상기 인공 신경망 학습 시스템(100)의 구성요소 및 리소스를 제어하기 위한 제어모듈(미도시)을 더 포함할 수 있다.
상기 저장모듈(110)은 학습될 인공 신경망(30)를 저장할 수 있다. 또한 상기 저장모듈(110)은 상기 인공 신경망(30)의 학습에 이용될 데이터(예를 들어, 병변 영역이 어노테이션된 생체 조직 슬라이드 이미지)를 더 저장할 수 있다.
상기 획득모듈(120)은 생체 조직 슬라이드의 슬라이드 이미지를 획득할 수 있다.
상기 생성모듈(130)은 상기 슬라이드 이미지로부터 제1고해상도 패치 내지 제N고해상도 패치(여기서, N은 2 이상의 정수)를 생성할 수 있으며, 제i고해상도 패치(여기서, i는 1<=i<=N인 임의의 정수)에 상응하는 제i저해상도 패치를 획득할 수 있다. 여기서 상기 제i고해상도 패치와 그에 상응하는 제i저해상도 패치는 동일한 크기를 가지며, 상기 제i고해상도 패치의 중심점과 상기 제i저해상도 패치의 중심점은 상기 생체 조직 슬라이드 상의 동일한 위치를 가리킬 수 있다.
상기 학습모듈(140)은 상기 제i고해상도 패치 및 상기 제i저해상도 패치를 입력하여 상기 인공 신경망(300)을 학습할 수 있다.
도 8을 참조하면, 상기 판단 결과 제공 시스템(200)은 저장모듈(210), 획득모듈(220), 생성모듈(230) 및 판단모듈(240)을 포함할 수 있다. 본 발명의 실시예에 따라서는, 상술한 구성요소들 중 일부 구성요소는 반드시 본 발명의 구현에 필수적으로 필요한 구성요소에 해당하지 않을 수도 있으며, 또한 실시예에 따라 상기 판단 결과 제공 시스템(200) 은 이보다 더 많은 구성요소를 포함할 수도 있음은 물론이다. 예를 들어 상기 판단 결과 제공 시스템(200)은 외부 장치와 통신하기 위한 통신모듈(미도시), 상기 판단 결과 제공 시스템(200)의 구성요소 및 리소스를 제어하기 위한 제어모듈(미도시)을 더 포함할 수 있다.
상기 저장모듈(210)은 미리 학습된 인공 신경망(300)을 저장할 수 있다.
상기 획득모듈(220)은 소정의 판단 대상 생체 조직 슬라이드의 슬라이드 이미지인 판단 대상 슬라이드 이미지를 획득할 수 있다.
상기 생성모듈(230)은 상기 판단 대상 슬라이드 이미지로부터 제1판단 대상 고해상도 패치 내지 제N판단 대상 고해상도 패치를 생성할 수 있으며, 제j판단 대상 고해상도 패치(여기서, j는 1<=j<=N인 임의의 정수)에 상응하는 제j판단 대상 저해상도 패치를 생성할 수 있다. 여기서 상기 제j판단 대상 고해상도 패치와 그에 상응하는 제j판단 대상 저해상도 패치는 동일한 크기를 가지며, 상기 제j판단 대상 고해상도 패치의 중심점과 상기 제j판단 대상 저해상도 패치의 중심점은 상기 판단 대상 생체 조직 슬라이드 상의 동일한 위치를 가리킬 수 있다.
상기 판단모듈(240)은 상기 제j판단 대상 고해상도 패치 및 상기 제j판단 대상 저해상도 패치를 입력받은 상기 인공 신경망(300)이 출력한 예측 결과에 기초하여 상기 제j판단 대상 고해상도 패치에 포함된 병변 영역을 판단할 수 있다.
한편, 구현 예에 따라서, 상기 인공 신경망 학습 시스템(100) 및 판단 결과 제공 시스템(200)은 프로세서 및 상기 프로세서에 의해 실행되는 프로그램을 저장하는 메모리를 포함할 수 있다. 상기 프로세서는 싱글 코어 CPU혹은 멀티 코어 CPU를 포함할 수 있다. 메모리는 고속 랜덤 액세스 메모리를 포함할 수 있고 하나 이상의 자기 디스크 저장 장치, 플래시 메모리 장치, 또는 기타 비휘발성 고체상태 메모리 장치와 같은 비휘발성 메모리를 포함할 수도 있다. 프로세서 및 기타 구성 요소에 의한 메모리로의 액세스는 메모리 컨트롤러에 의해 제어될 수 있다.
한편, 본 발명의 실시예에 따른 방법은 컴퓨터가 읽을 수 있는 프로그램 명령 형태로 구현되어 컴퓨터로 읽을 수 있는 기록 매체에 저장될 수 있으며, 본 발명의 실시예에 따른 제어 프로그램 및 대상 프로그램도 컴퓨터로 판독 가능한 기록 매체에 저장될 수 있다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
기록 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 소프트웨어 분야 당업자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터로 읽을 수 있는 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 전자적으로 정보를 처리하는 장치, 예를 들어, 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타나며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (14)

  1. 인공 신경망 학습 시스템이, 생체 조직 슬라이드의 슬라이드 이미지를 획득하는 단계;
    상기 인공 신경망 학습 시스템이, 상기 슬라이드 이미지로부터 제1고해상도 패치 내지 제N고해상도 패치(여기서, N은 2 이상의 정수)를 획득하는 단계;
    상기 인공 신경망 학습 시스템이, 제i고해상도 패치(여기서, i는 1<=i<=N인 임의의 정수)에 상응하는 제i저해상도 패치를 획득하는 단계- 여기서 상기 제i고해상도 패치와 그에 상응하는 제i저해상도 패치는 동일한 크기를 가지며, 상기 제i고해상도 패치의 중심점과 상기 제i저해상도 패치의 중심점은 상기 생체 조직 슬라이드 상의 동일한 위치를 가리킴-; 및
    상기 인공 신경망 학습 시스템이, 상기 제i고해상도 패치 및 상기 제i저해상도 패치를 입력하여 상기 인공 신경망을 학습하는 단계를 포함하되,
    상기 인공 신경망은, 제1인코딩 합성곱 신경망; 제2인코딩 합성곱 신경망; 및 디코딩 합성곱 신경망을 포함하고,
    상기 제1 인코딩 합성곱 신경망은,
    제i고해상도 패치를 입력받아 상기 제i고해상도 패치에 상응하는 제1피쳐맵을 출력하는 합성곱 신경망이며,
    상기 제2인코딩 합성곱 신경망은,
    상기 제i저해상도 패치를 입력받아 상기 제i저해상도 패치에 상응하는 컨텍스트 정보(context information)를 출력하는 합성곱 신경망이며,
    상기 디코딩 합성곱 신경망은,
    상기 제i고해상도 패치에 상응하는 제1 피쳐맵에 상기 제i저해상도 패치에 상응하는 컨텍스트 정보를 반영하고, 상기 컨텍스트 정보를 반영한 결과 값에 기초하여 상기 제i고해상도 패치 내의 병변 영역을 판단하기 위한 소정의 예측 정보를 생성하는 합성곱 신경망인 인공 신경망 학습 방법.
  2. 제1항에 있어서,
    상기 생체 조직 슬라이드는, 유방암 절제 조직 슬라이드이며,
    상기 슬라이드 이미지에는 침윤암으로 인한 병변 영역인 침윤암 영역 및 관내상피암으로 인한 병변 영역인 관내상피암 영역이 어노테이션되어 있는 인공 신경망 학습 방법.
  3. 제1항에 있어서,
    상기 디코딩 합성곱 신경망은,
    상기 제1피쳐맵에 대한 합성곱 연산을 수행하는 제1합성곱 계층; 및
    상기 제2 인코딩 합성곱 신경망에서 출력한 상기 컨텍스트 정보를 이용하여 정규화 파라미터를 결정하고, 결정된 상기 정규화 파라미터로 상기 제1합성곱 계층에서 출력된 결과 값에 대한 적응적 정규화(adaptive normalization)를 수행함으로써, 상기 제1 피쳐맵에 상기 컨텍스트 정보를 반영하는 제1후처리 계층을 포함하는 인공 신경망 학습 방법.
  4. 제1항에 있어서,
    상기 디코딩 합성곱 신경망은,
    상기 제1피쳐맵에 대한 합성곱 연산을 수행하는 제1합성곱 계층; 및
    상기 제1합성곱 계층에서 출력된 결과 값을 대상으로 상기 제2 인코딩 합성곱 신경망에서 출력한 상기 컨텍스트 정보에 기반한 어텐션 메커니즘(attention mechanism)을 수행함으로써, 상기 제1 피쳐맵에 상기 컨텍스트 정보를 반영하는 제1후처리 계층을 포함하는 인공 신경망 학습 방법.
  5. 제3항 또는 제4항에 있어서,
    상기 제1인코딩 합성곱 신경망은,
    상기 제i고해상도 패치에 상응하는 제2피쳐맵을 더 출력하고-여기서, 상기 제2피쳐맵은 상기 제1피쳐맵 보다 저레벨의 피쳐맵임-,
    상기 디코딩 합성곱 신경망은,
    상기 제2피쳐맵에 대한 논-로컬 블록 연산을 수행하는 논-로컬 블록 계층;
    상기 제1후처리 계층으로부터 전달된 결과 및 상기 논-로컬 블록 계층으로부터 전달된 결과를 결합(concatenation)하는 결합 계층;
    상기 결합 계층으로부터 전달된 결과에 대한 합성곱 연산을 수행하는 제2합성곱 계층;
    상기 제2합성곱 계층에서 출력된 결과에 상기 제i저해상도 패치에 상응하는 컨텍스트 정보를 반영하는 제2후처리 계층을 더 포함하고,
    상기 제2후처리 계층에서 출력된 결과에 기초하여 상기 예측 정보를 출력하는 인공 신경망 학습 방법.
  6. 제1항에 기재된 인공 신경망 학습 방법에 의해 학습된 인공 신경망을 통해 소정의 판단 대상 생체 조직 슬라이드에 대한 판단 결과를 제공하는 방법으로서,
    컴퓨팅 시스템이, 상기 판단 대상 생체 조직 슬라이드의 판단 대상 슬라이드 이미지를 획득하는 단계;
    상기 컴퓨팅 시스템이, 상기 판단 대상 슬라이드 이미지로부터 제1판단 대상 고해상도 패치 내지 제N판단 대상 고해상도 패치를 생성하는 단계;
    상기 컴퓨팅 시스템이, 제j판단 대상 고해상도 패치(여기서, j는 1<=j<=N인 임의의 정수)에 상응하는 제j판단 대상 저해상도 패치를 생성하는 단계- 여기서 상기 제j판단 대상 고해상도 패치와 그에 상응하는 제j판단 대상 저해상도 패치는 동일한 크기를 가지며, 상기 제j판단 대상 고해상도 패치의 중심점과 상기 제j판단 대상 저해상도 패치의 중심점은 상기 판단 대상 생체 조직 슬라이드 상의 동일한 위치를 가리킴-; 및
    상기 컴퓨팅 시스템이, 상기 제j판단 대상 고해상도 패치 및 상기 제j판단 대상 저해상도 패치를 입력받은 상기 인공 신경망이 출력한 예측 결과에 기초하여 상기 제j판단 대상 고해상도 패치에 포함된 병변 영역을 판단하는 단계를 포함하는 방법.
  7. 데이터 처리장치에 설치되며 제1항 또는 제6항에 기재된 방법을 수행하기 위한 매체에 기록된 컴퓨터 프로그램.
  8. 제1항 또는 제6항에 기재된 방법을 수행하기 위한 컴퓨터 프로그램이 기록된 컴퓨터 판독 가능한 기록매체.
  9. 인공 신경망 학습 시스템으로서,
    프로세서; 및 컴퓨터 프로그램을 저장하는 메모리를 포함하고,
    상기 컴퓨터 프로그램은, 상기 프로세서에 의해 실행되는 경우, 상기 인공 신경망 학습 시스템으로 하여금 인공 신경망 학습 방법을 수행하도록 하며,
    상기 인공 신경망 학습 방법은,
    인공 신경망 학습 시스템이, 생체 조직 슬라이드의 슬라이드 이미지를 획득하는 단계;
    상기 인공 신경망 학습 시스템이, 상기 슬라이드 이미지로부터 제1고해상도 패치 내지 제N고해상도 패치(여기서, N은 2 이상의 정수)를 획득하는 단계;
    상기 인공 신경망 학습 시스템이, 제i고해상도 패치(여기서, i는 1<=i<=N인 임의의 정수)에 상응하는 제i저해상도 패치를 획득하는 단계- 여기서 상기 제i고해상도 패치와 그에 상응하는 제i저해상도 패치는 동일한 크기를 가지며, 상기 제i고해상도 패치의 중심점과 상기 제i저해상도 패치의 중심점은 상기 생체 조직 슬라이드 상의 동일한 위치를 가리킴-; 및
    상기 인공 신경망 학습 시스템이, 상기 제i고해상도 패치 및 상기 제i저해상도 패치를 입력하여 상기 인공 신경망을 학습하는 단계를 포함하되,
    상기 인공 신경망은, 제1인코딩 합성곱 신경망; 제2인코딩 합성곱 신경망; 및 디코딩 합성곱 신경망을 포함하고,
    상기 제1 인코딩 합성곱 신경망은,
    제i고해상도 패치를 입력받아 상기 제i고해상도 패치에 상응하는 제1피쳐맵을 출력하는 합성곱 신경망이며,
    상기 제2인코딩 합성곱 신경망은,
    상기 제i저해상도 패치를 입력받아 상기 제i저해상도 패치에 상응하는 컨텍스트 정보(context information)를 출력하는 합성곱 신경망이며,
    상기 디코딩 합성곱 신경망은,
    상기 제i고해상도 패치에 상응하는 제1 피쳐맵에 상기 제i저해상도 패치에 상응하는 컨텍스트 정보를 반영하고, 상기 컨텍스트 정보를 반영한 결과 값에 기초하여 상기 제i고해상도 패치 내의 병변 영역을 판단하기 위한 소정의 예측 정보를 생성하는 합성곱 신경망인 인공 신경망 학습 시스템.
  10. 제9항에 있어서,
    상기 생체 조직 슬라이드는, 유방암 절제 조직 슬라이드이며,
    상기 슬라이드 이미지에는 침윤암으로 인한 병변 영역인 침윤암 영역 및 관내상피암으로 인한 병변 영역인 관내상피암 영역이 어노테이션되어 있는 인공 신경망 학습 시스템.
  11. 제9항에 있어서,
    상기 디코딩 합성곱 신경망은,
    상기 제1피쳐맵에 대한 합성곱 연산을 수행하는 제1합성곱 계층; 및
    상기 제2 인코딩 합성곱 신경망에서 출력한 상기 컨텍스트 정보를 이용하여 정규화 파라미터를 결정하고, 결정된 상기 정규화 파라미터로 상기 제1합성곱 계층에서 출력된 결과 값에 대한 적응적 정규화(adaptive normalization)를 수행함으로써, 상기 제1 피쳐맵에 상기 컨텍스트 정보를 반영하는 제1후처리 계층을 포함하는 인공 신경망 학습 시스템.
  12. 제9항에 있어서,
    상기 디코딩 합성곱 신경망은,
    상기 제1피쳐맵에 대한 합성곱 연산을 수행하는 제1합성곱 계층; 및
    상기 제1합성곱 계층에서 출력된 결과 값을 대상으로 상기 제2 인코딩 합성곱 신경망에서 출력한 상기 컨텍스트 정보에 기반한 어텐션 메커니즘(attention mechanism)을 수행함으로써, 상기 제1 피쳐맵에 상기 컨텍스트 정보를 반영하는 제1후처리 계층을 포함하는 인공 신경망 학습 시스템.
  13. 제11항 또는 제12항에 있어서,
    상기 제1인코딩 합성곱 신경망은,
    상기 제i고해상도 패치에 상응하는 제2피쳐맵을 더 출력하고-여기서, 상기 제2피쳐맵은 상기 제1피쳐맵 보다 저레벨의 피쳐맵임-,
    상기 디코딩 합성곱 신경망은,
    상기 제2피쳐맵에 대한 논-로컬 블록 연산을 수행하는 논-로컬 블록 계층;
    상기 제1후처리 계층으로부터 전달된 결과 및 상기 논-로컬 블록 계층으로부터 전달된 결과를 결합(concatenation)하는 결합 계층;
    상기 결합 계층으로부터 전달된 결과에 대한 합성곱 연산을 수행하는 제2합성곱 계층;
    상기 제2합성곱 계층에서 출력된 결과에 상기 제i저해상도 패치에 상응하는 컨텍스트 정보를 반영하는 제2후처리 계층을 더 포함하고,
    상기 제2후처리 계층에서 출력된 결과에 기초하여 상기 예측 정보를 출력하는 인공 신경망 학습 시스템.
  14. 소정의 판단 대상 생체 조직 슬라이드에 대한 판단 결과 제공 시스템으로서,
    프로세서; 및 컴퓨터 프로그램을 저장하는 메모리를 포함하고,
    상기 컴퓨터 프로그램은, 상기 프로세서에 의해 실행되는 경우, 판단 결과 제공 시스템으로 하여금 제1항에 기재된 인공 신경망 학습 방법에 의해 학습된 인공 신경망을 통해 상기 판단 대상 생체 조직 슬라이드에 대한 판단 결과를 제공하는 방법을 수행하도록 하며,
    상기 판단 결과를 제공하는 방법은,
    상기 판단 결과 제공 시스템이, 상기 판단 대상 생체 조직 슬라이드의 판단 대상 슬라이드 이미지를 획득하는 단계;
    상기 판단 결과 제공 시스템이, 상기 판단 대상 슬라이드 이미지로부터 제1판단 대상 고해상도 패치 내지 제N판단 대상 고해상도 패치를 생성하는 단계;
    상기 판단 결과 제공 시스템이, 제j판단 대상 고해상도 패치(여기서, j는 1<=j<=N인 임의의 정수)에 상응하는 제j판단 대상 저해상도 패치를 생성하는 단계- 여기서 상기 제j판단 대상 고해상도 패치와 그에 상응하는 제j판단 대상 저해상도 패치는 동일한 크기를 가지며, 상기 제j판단 대상 고해상도 패치의 중심점과 상기 제j판단 대상 저해상도 패치의 중심점은 상기 판단 대상 생체 조직 슬라이드 상의 동일한 위치를 가리킴-; 및
    상기 판단 결과 제공 시스템이, 상기 제j판단 대상 고해상도 패치 및 상기 제j판단 대상 저해상도 패치를 입력받은 상기 인공 신경망이 출력한 예측 결과에 기초하여 상기 제j판단 대상 고해상도 패치에 포함된 병변 영역을 판단하는 단계를 포함하는 판단 결과 제공 시스템.
KR1020210055207A 2021-04-28 2021-04-28 유방암 병변 영역을 판별하기 위한 인공 신경망을 학습하기 위한 학습 방법, 및 이를 수행하는 컴퓨팅 시스템 KR102446638B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020210055207A KR102446638B1 (ko) 2021-04-28 2021-04-28 유방암 병변 영역을 판별하기 위한 인공 신경망을 학습하기 위한 학습 방법, 및 이를 수행하는 컴퓨팅 시스템
JP2023564222A JP2024519459A (ja) 2021-04-28 2022-04-20 乳がんの病変領域を判別するための人工ニューラルネットワークの学習方法、及びこれを行うコンピュータシステム
PCT/KR2022/005634 WO2022231200A1 (ko) 2021-04-28 2022-04-20 유방암 병변 영역을 판별하기 위한 인공 신경망을 학습하기 위한 학습 방법, 및 이를 수행하는 컴퓨팅 시스템
CN202280031793.6A CN117256033A (zh) 2021-04-28 2022-04-20 用于学习判断乳腺癌病变区域的人工神经网络的学习方法及执行其的计算系统
EP22796033.3A EP4318497A1 (en) 2021-04-28 2022-04-20 Training method for training artificial neural network for determining breast cancer lesion area, and computing system performing same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210055207A KR102446638B1 (ko) 2021-04-28 2021-04-28 유방암 병변 영역을 판별하기 위한 인공 신경망을 학습하기 위한 학습 방법, 및 이를 수행하는 컴퓨팅 시스템

Publications (1)

Publication Number Publication Date
KR102446638B1 true KR102446638B1 (ko) 2022-09-26

Family

ID=83452651

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210055207A KR102446638B1 (ko) 2021-04-28 2021-04-28 유방암 병변 영역을 판별하기 위한 인공 신경망을 학습하기 위한 학습 방법, 및 이를 수행하는 컴퓨팅 시스템

Country Status (5)

Country Link
EP (1) EP4318497A1 (ko)
JP (1) JP2024519459A (ko)
KR (1) KR102446638B1 (ko)
CN (1) CN117256033A (ko)
WO (1) WO2022231200A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230095805A (ko) 2021-12-22 2023-06-29 (주)제이엘케이 클러스터링 알고리즘 기반의 효율적인 어노테이션 검수 작업 방법 및 시스템

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190060606A (ko) * 2017-11-24 2019-06-03 삼성전자주식회사 의료 영상 진단 장치 및 방법
KR102097741B1 (ko) * 2019-07-25 2020-04-06 주식회사 딥노이드 인공지능 학습용 의료 영상 데이터 정제 시스템 및 그 구동방법
KR102205430B1 (ko) * 2019-08-05 2021-01-20 에스케이텔레콤 주식회사 인공 신경망을 이용한 학습 방법

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6710373B2 (ja) * 2017-03-30 2020-06-17 国立研究開発法人産業技術総合研究所 超音波画像診断支援方法、およびシステム
KR102192164B1 (ko) * 2018-08-08 2020-12-16 주식회사 딥바이오 생체 이미지 진단 시스템, 생체 이미지 진단 방법, 및 이를 수행하기 위한 단말
JP2022527264A (ja) * 2019-03-26 2022-06-01 テンプス ラブス，インコーポレイティド 病理組織スライド画像からのバイオマーカーの判定方法
US20220076411A1 (en) * 2019-05-29 2022-03-10 Leica Biosystems Imaging Inc. Neural netork based identification of areas of interest in digital pathology images
US20220383500A1 (en) * 2019-09-24 2022-12-01 Carnegie Mellon University System and method for analyzing medical images based on spatio-temporal data

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190060606A (ko) * 2017-11-24 2019-06-03 삼성전자주식회사 의료 영상 진단 장치 및 방법
KR102097741B1 (ko) * 2019-07-25 2020-04-06 주식회사 딥노이드 인공지능 학습용 의료 영상 데이터 정제 시스템 및 그 구동방법
KR102205430B1 (ko) * 2019-08-05 2021-01-20 에스케이텔레콤 주식회사 인공 신경망을 이용한 학습 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230095805A (ko) 2021-12-22 2023-06-29 (주)제이엘케이 클러스터링 알고리즘 기반의 효율적인 어노테이션 검수 작업 방법 및 시스템

Also Published As

Publication number Publication date
JP2024519459A (ja) 2024-05-14
CN117256033A (zh) 2023-12-19
WO2022231200A1 (ko) 2022-11-03
EP4318497A1 (en) 2024-02-07

Similar Documents

Publication Publication Date Title
JP2023093434A (ja) 予測タグ付けを有する画像を生成するための画像処理のためのシステム、デバイス、および方法
US20170249739A1 (en) Computer analysis of mammograms
CN112041912A (zh) 用于诊断肠胃肿瘤的系统和方法
Fenstermaker et al. Development and validation of a deep-learning model to assist with renal cell carcinoma histopathologic interpretation
US20210248745A1 (en) System and method for diagnosing disease using neural network performing segmentation
KR102236948B1 (ko) 준-지도학습을 이용하여 질병의 발병 영역에 대한 어노테이션을 수행하기 위한 방법 및 이를 수행하는 진단 시스템
Chen et al. Automatic whole slide pathology image diagnosis framework via unit stochastic selection and attention fusion
KR102329546B1 (ko) 뉴럴 네트워크 및 비국소적 블록을 이용하여 세그멘테이션을 수행하는 질병 진단 시스템 및 방법
KR102446638B1 (ko) 유방암 병변 영역을 판별하기 위한 인공 신경망을 학습하기 위한 학습 방법, 및 이를 수행하는 컴퓨팅 시스템
WO2023014789A1 (en) System and method for pathology image analysis using a trained neural network and active learning framework
Maalem et al. A deep-based compound model for lung cancer detection
CN114445356A (zh) 基于多分辨率的全视野病理切片图像肿瘤快速定位方法
Raja et al. A Novel Fuzzy-Based Modified GAN and Faster RCNN for Classification of Banana Leaf Disease
KR20220067931A (ko) 3차원 영상 영역화 방법 및 장치
Tenali et al. Oral Cancer Detection using Deep Learning Techniques
EP3819910A2 (en) Disease diagnosis system and method using multiple color models and neural network
CN115841476A (zh) 肝癌患者生存期预测方法、装置、设备及介质
Khan et al. Breast cancer histological images nuclei segmentation and optimized classification with deep learning
Khan et al. Feasible detection of breast cancer metastasis using a CNN-based deep learning model
CN116114027A (zh) 利用多相生物图像学习的利用神经网络的疾病诊断方法及执行其的疾病诊断系统
RS CoC-ResNet-classification of colorectal cancer on histopathologic images using residual networks
KR20200054555A (ko) 의료 이미지 처리 장치
EP4258206A1 (en) Methods and systems for classifying a malignancy risk of a kidney and training thereof
EMMANUEL EARLY BREAST CANCER DETECTION USING CONVOLUTIONAL NEURAL NETWORKS
Ben Taieb Analyzing cancers in digitized histopathology images

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant