KR102316525B1 - Turp 병리 이미지로부터 전립선암을 검출하기 위한 용도의 인공 뉴럴 네트워크를 학습하는 방법 및 이를 수행하는 컴퓨팅 시스템 - Google Patents

Turp 병리 이미지로부터 전립선암을 검출하기 위한 용도의 인공 뉴럴 네트워크를 학습하는 방법 및 이를 수행하는 컴퓨팅 시스템 Download PDF

Info

Publication number
KR102316525B1
KR102316525B1 KR1020210029876A KR20210029876A KR102316525B1 KR 102316525 B1 KR102316525 B1 KR 102316525B1 KR 1020210029876 A KR1020210029876 A KR 1020210029876A KR 20210029876 A KR20210029876 A KR 20210029876A KR 102316525 B1 KR102316525 B1 KR 102316525B1
Authority
KR
South Korea
Prior art keywords
neural network
turp
artificial neural
learning
pathological
Prior art date
Application number
KR1020210029876A
Other languages
English (en)
Inventor
조준영
장혜윤
곽태영
김선우
Original Assignee
주식회사 딥바이오
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 딥바이오 filed Critical 주식회사 딥바이오
Priority to KR1020210029876A priority Critical patent/KR102316525B1/ko
Application granted granted Critical
Publication of KR102316525B1 publication Critical patent/KR102316525B1/ko
Priority to JP2023551750A priority patent/JP2024509105A/ja
Priority to PCT/KR2022/003178 priority patent/WO2022191539A1/ko
Priority to US18/280,662 priority patent/US20240153073A1/en
Priority to EP22767435.5A priority patent/EP4290529A1/en
Priority to CN202280020209.7A priority patent/CN117337473A/zh

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B10/00Other methods or instruments for diagnosis, e.g. instruments for taking a cell sample, for biopsy, for vaccination diagnosis; Sex determination; Ovulation-period determination; Throat striking implements
    • A61B10/02Instruments for taking cell samples or for biopsy
    • A61B10/0233Pointed or sharp biopsy instruments
    • A61B10/0241Pointed or sharp biopsy instruments for prostate
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/43Detecting, measuring or recording for evaluating the reproductive systems
    • A61B5/4375Detecting, measuring or recording for evaluating the reproductive systems for evaluating the male reproductive system
    • A61B5/4381Prostate evaluation or disorder diagnosis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions
    • G06Q30/08Auctions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/0464Convolutional networks [CNN, ConvNet]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30081Prostate
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/41Medical

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Image Analysis (AREA)
  • Business, Economics & Management (AREA)
  • Image Processing (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Reproductive Health (AREA)

Abstract

TURP 병리 이미지에 특징적으로 나타나는 조직 형태를 고려하면서 TURP 병리 이미지 내의 전립선암 병변을 효과적으로 검출할 수 있는 인공 뉴럴 네트워크를 학습하는 방법 및 이를 수행하는 컴퓨팅 시스템이 개시된다. 본 발명의 일 측면에 따르면, 본 발명의 일 측면에 따르면, 뉴럴 네트워크 학습 시스템이, 복수의 1차 학습용 병리 이미지를 획득하는 단계-여기서, 상기 복수의 1차 학습용 병리 이미지 각각은, 전립선침생검 병리 이미지 또는 전립선절제수술 병리 이미지임-, 상기 뉴럴 네트워크 학습 시스템이, 상기 복수의 1차 학습용 병리 이미지를 이용하여, 전립선암 판단용 인공 뉴럴 네트워크를 1차 학습하는 단계-상기 전립선암 판단용 인공 뉴럴 네트워크는, 병리 이미지로부터 전립선암을 검출하기 위한 용도의 인공 뉴럴 네트워크임-, 상기 뉴럴 네트워크 학습 시스템이, 복수의 TURP 병리 이미지를 획득하는 단계 및 상기 뉴럴 네트워크 학습 시스템이, 상기 복수의 TURP 병리 이미지를 이용하여, 1차 학습된 상기 인공 뉴럴 네트워크를 2차 학습하는 단계를 포함하되, 상기 복수의 TURP 병리 이미지 각각은, 비(非)전립선 조직 영역 또는 지져진 전립선 조직 영역 중 적어도 하나를 반드시 포함하며, 전립선암 병변 영역은 전혀 포함하지 않는 것을 특징으로 하는 TURP 병리 이미지로부터 전립선암을 검출하기 위한 용도의 인공 뉴럴 네트워크를 학습하는 방법이 제공된다.

Description

TURP 병리 이미지로부터 전립선암을 검출하기 위한 용도의 인공 뉴럴 네트워크를 학습하는 방법 및 이를 수행하는 컴퓨팅 시스템{Method for training artificial neural network for detecting prostate cancer from TURP pathological image, and computing system performing the same}
본 발명은 TURP 병리 이미지로부터 전립선암을 검출하기 위한 용도의 인공 뉴럴 네트워크를 학습하는 방법 및 이를 수행하는 컴퓨팅 시스템에 관한 것이다. 보다 상세하게는 TURP 병리 이미지에 특징적으로 나타나는 조직 형태를 고려하면서 TURP 병리 이미지 내의 전립선암 병변을 효과적으로 검출할 수 있는 인공 뉴럴 네트워크를 학습하는 방법 및 이를 수행하는 컴퓨팅 시스템에 관한 것이다.
병리학 또는 병리과에서 수행하는 주요한 업무 중 하나는 환자의 생체 조직 슬라이드 이미지를 판독하여 특정 질병에 대한 상태 또는 징후를 판단하는 진단을 수행하는 일이다. 기존의 병리 진단 방법은 검체로부터 제작된 진단용 병리 슬라이드 이미지를 광학 현미경을 통해 병리 전문의가 육안으로 관찰, 판독하는 방식으로 이루어진다. 컴퓨터에 연결된 현미경 카메라를 활용하여 병리 슬라이드를 디지털 영상으로 변환한 후 모니터로 관찰하며 판독하는 방식이 디지털 병리학의 시초라고 할 수 있다. 근래에는 디지털 슬라이드 스캐너가 등장하여 병리 슬라이드 전체를 하나의 디지털 영상으로 변환하여 병리 슬라이드 이미지로 제작한 후 이를 컴퓨터 모니터를 통해 관찰하여 판독하는 방식이 널리 확산되고 있다.
최근에는 기계학습의 발달로 인해 이미지를 인식하거나 분류하는 등의 업무를 컴퓨터 시스템에 의해 자동화하고자 하는 시도가 활발히 이루어지고 있다. 특히 기계학습의 일종인 뉴럴 네트워크(예를 들어, 합성곱 신경망(Convolution Neural Network; CNN)를 이용한 딥러닝 방식)를 이용하여 숙련된 의료인이 수행하던 진단을 자동화하기 위한 시도가 이루어지고 있다. 특히 뉴럴 네트워크(예컨대, CNN)를 이용한 딥러닝을 통한 진단은 종래에 숙련된 의료인의 경험과 지식을 단순히 자동화하는 것이 아니라, 스스로 학습을 통해 특징적인 요소들을 찾아내어 원하는 해답을 도출한다는 점에 있어서 오히려 숙련된 의료인이 알지 못하던 질병인자의 특징을 이미지에서 찾아내는 경우도 있다.
일반적으로 생체이미지를 이용하는 뉴럴 네트워크를 통한 질병의 진단은 생체 이미지(예를 들면, 생체 조직 슬라이드 이미지)의 조각 즉, 패치(patch; 타일(tile)이라고도 함)을 이용한다. 즉, 해당 패치에 대해 숙련된 의료인은 특정 질병의 상태(예를 들어, 암이 발현되었는지 여부)를 어노테이션(annotation)하고, 이러한 어노테이션된 다수의 패치들을 트레이닝 데이터로 이용하여 뉴럴 네트워크를 학습하게 된다. 이때 상기 뉴럴 네트워크는 합성곱 신경망(컨볼루션 뉴렬 네트워크)가 이용될 수 있다.
한편, 전립선비대증 등의 양성 질환의 치료를 위해 전립선경요도절제술(transurethral resection of prostate; TURP)이 시술되는 경우가 많으며, TURP 시술 시 확보된 검체에 대해 전립선암 유무를 병리적으로 판별하는 것이 필요하다.
TURP 병리 영상으로부터 전립선암을 검출하는 기계 학습 모델을 훈련하기 위해 전립선암 병변 영역이 어노테이션된 TURP 병리 영상 데이터만을 사용하는 것은 매우 어려운데, 그 이유는 다음과 같다.
첫째, TURP 병리 영상의 규모가 매우 크다. 환자 별로 평균 N개(N은 2 이상의 정수)의 2cm x 3cm 유리 슬라이드가 제작되며, 이를 400배율로 스캔하여 디지털 영상으로 만들게 되면 N x 80,000 x 120,000 픽셀 크기의 영상이 제작된다. 둘째, TURP 병리 영상 내에서 전립선암 병변 영역의 크기는 매우 작다. TURP 시술 환자에서 전립선암이 발견되는 비율은 20% 미만이며, 전립선암이 발견되는 경우에도 병리 영상 한 개의 국소 영역에서만 발견되는 경우가 대부분이다. 즉, 학습 데이터의 크기와 용량은 매우 방대한 반면 전체 조직 대비 전립선암으로 표지되는 영역의 비율이 매우 작기 때문에 TURP 병리 영상 데이터만으로 민감도가 충분히 높은 기계 학습 모델을 훈련하기 위해서는 매우 많은 데이터가 필요하다는 문제가 발생할 수 있다.
또한, TURP 병리 영상으로부터 전립선암을 검출하는 기계 학습 모델을 훈련하기 위하여 전립선암 병변 영역이 어노테이션된 전립선 침생검 (prostate needle biopsy) 또는 전립선 절제 수술 (radical prostatectomy)로 확보된 검체 병리 영상 데이터를 사용하는 것은 다음과 같은 이유로 문제가 있을 수 있다. TURP의 특성상 전립선이 아닌 조직 (방광, 요로 상피 등) 또는 지져진 (cauterized) 전립선 조직이 존재하는데 이는 전립선 침생검 또는 절제 수술 검체에서는 나타나지 않게 된다. 따라서, 전립선 침생검 (prostate needle biopsy) 또는 전립선 절제 수술 (radical prostatectomy)로 확보된 검체 병리 영상 데이터를 사용하여 TURP 병리 영상으로부터 전립선암을 검출하는 기계 학습 모델을 훈련하는 경우 전립선이 아닌 조직 (방광, 요로 상피 등) 또는 지져진 (cauterized) 전립선 조직을 암으로 잘못 진단하게 되는 문제점이 발생할 수 있게 된다.
등록공보 10-1944536
웹 페이지: Everything you need to know about Neural Networks and Backpropagation ― Machine Learning Easy and Fun (https://towardsdatascience.com/everything-you-need-to-know-about-neural-networks-and-backpropagation-machine-learning-made-easy-e5285bc2be3a)
본 발명이 이루고자 하는 기술적인 과제는 위에서 언급한 문제를 해결하고 TURP 병리 영상에서 전립선암을 고성능으로 검출할 수 있는 기계 학습 모델을 훈련하는 방법을 제공하는 것이다. 보다 상세하게는 TURP 병리 영상에 특징적으로 나타나는 조직 형태를 고려하면서 TURP 병리 영상 내의 전립선암 병변을 효과적으로 검출할 수 있는 기계 학습 모델을 훈련하는 효율적인 방법을 제공하는 것이다.
본 발명의 일 측면에 따르면, 뉴럴 네트워크 학습 시스템이, 복수의 1차 학습용 병리 이미지를 획득하는 단계-여기서, 상기 복수의 1차 학습용 병리 이미지 각각은, 전립선침생검(prostate needle biopsy)을 통해 확보된 병리 검체의 슬라이드를 스캐닝한 이미지인 전립선침생검 병리 이미지 또는 전립선절제수술(radical prostatectomy)을 통해 확보된 병리 검체의 슬라이드를 스캐닝한 이미지인 전립선절제수술 병리 이미지 중 어느 하나임-, 상기 뉴럴 네트워크 학습 시스템이, 상기 복수의 1차 학습용 병리 이미지를 이용하여, 전립선암 판단용 인공 뉴럴 네트워크를 1차 학습하는 단계-상기 전립선암 판단용 인공 뉴럴 네트워크는, 병리 이미지로부터 전립선암을 검출하기 위한 용도의 인공 뉴럴 네트워크임-, 상기 뉴럴 네트워크 학습 시스템이, 경요도전립선절제술(transurethral resection of prostate; TURP)를 통해 확보된 병리 검체의 슬라이드를 스캐닝한 이미지인 복수의 TURP 병리 이미지를 획득하는 단계 및 상기 뉴럴 네트워크 학습 시스템이, 상기 복수의 TURP 병리 이미지를 이용하여, 1차 학습된 상기 인공 뉴럴 네트워크를 2차 학습하는 단계를 포함하되, 상기 복수의 TURP 병리 이미지 각각은, 비(非)전립선 조직 영역 또는 지져진(cauterized) 전립선 조직 영역 중 적어도 하나를 반드시 포함하며, 전립선암 병변 영역은 전혀 포함하지 않는 것을 특징으로 하는 TURP 병리 이미지로부터 전립선암을 검출하기 위한 용도의 인공 뉴럴 네트워크를 학습하는 방법이 제공된다.
일 실시예에서, 상기 인공 뉴럴 네트워크는, U-Net, DeepLabv3+, Mask R-CNN, DenseNet 중 어느 하나인 것을 특징으로 할 수 있다.
본 발명의 다른 일 측면에 따르면, 상기 인공 뉴럴 네트워크를 학습하는 방법에 의해 학습된 인공 뉴럴 네트워크를 통해 소정의 판단 대상 TURP 병리 이미지에 대한 판단 결과를 제공하는 방법으로서, 컴퓨팅 시스템이, 상기 판단 대상 TURP 병리 이미지를 획득하는 단계 및 상기 컴퓨팅 시스템이, 상기 인공 뉴럴 네트워크가 상기 판단 대상 TURP 병리 이미지에 기초하여 판단한 전립선암 검출 결과를 출력하는 단계를 포함하는 방법이 제공된다.
본 발명의 다른 일 측면에 따르면, 데이터 처리장치에 설치되며 상술한 방법을 수행하기 위한 매체에 기록된 컴퓨터 프로그램이 제공된다.
본 발명의 다른 일 측면에 따르면, 상술한 방법을 수행하기 위한 컴퓨터 프로그램이 기록된 컴퓨터 판독 가능한 기록매체가 제공된다.
본 발명의 다른 일 측면에 따르면, 뉴럴 네트워크 학습 시스템으로서, 프로세서 및 컴퓨터 프로그램을 저장하는 메모리를 포함하고, 상기 컴퓨터 프로그램은, 상기 프로세서에 의해 실행되는 경우, 상기 뉴럴 네트워크 학습 시스템으로 하여금 상술한 인공 뉴럴 네트워크를 학습하는 방법을 수행하도록 하는 뉴럴 네트워크 학습 시스템이 제공된다.
본 발명의 다른 일 측면에 따르면, 소정의 판단 대상 TURP 병리 이미지에 대한 판단 결과를 제공하는 컴퓨팅 시스템으로서, 프로세서 및 컴퓨터 프로그램을 저장하는 메모리를 포함하고,
상기 컴퓨터 프로그램은, 상기 프로세서에 의해 실행되는 경우, 상기 컴퓨팅 시스템으로 하여금 상술한 인공 뉴럴 네트워크 학습 방법에 의해 학습된 인공 뉴럴 네트워크를 통해 상기 판단 대상 TURP 병리 이미지에 대한 판단 결과를 제공하는 방법을 수행하도록 하는 컴퓨팅 시스템이 제공된다.
본 발명의 다른 일 측면에 따르면, 뉴럴 네트워크 학습 시스템이, 전립선침생검(prostate needle biopsy)을 통해 확보된 병리 검체의 슬라이드를 스캐닝한 이미지인 복수의 전립선침생검 병리 이미지를 획득하는 단계, 상기 뉴럴 네트워크 학습 시스템이, 전립선절제수술(radical prostatectomy)을 통해 확보된 병리 검체의 슬라이드를 스캐닝한 이미지인 복수의 전립선절제수술 병리 이미지를 획득하는 단계, 상기 뉴럴 네트워크 학습 시스템이, 상기 복수의 전립선침생검 병리 이미지 및 상기 복수의 전립선절제수술 병리 이미지를 이용하여, 전립선암 판단용 인공 뉴럴 네트워크를 1차 학습하는 단계-상기 전립선암 판단용 인공 뉴럴 네트워크는, 병리 이미지로부터 전립선암을 검출하기 위한 용도의 인공 뉴럴 네트워크임-, 상기 뉴럴 네트워크 학습 시스템이, 경요도전립선절제술(transurethral resection of prostate; TURP)를 통해 확보된 병리 검체의 슬라이드를 스캐닝한 이미지인 복수의 TURP 병리 이미지를 획득하는 단계 및 상기 뉴럴 네트워크 학습 시스템이, 상기 복수의 TURP 병리 이미지를 이용하여, 1차 학습된 상기 인공 뉴럴 네트워크를 2차 학습하는 단계를 포함하되, 상기 복수의 TURP 병리 이미지는, 비(非)전립선 조직 영역 또는 지져진(cauterized) 전립선 조직 영역 중 적어도 하나를 반드시 포함하며, 전립선암 병변 영역은 전혀 포함하지 않는 것을 특징으로 하는 TURP 병리 이미지로부터 전립선암을 검출하기 위한 용도의 인공 뉴럴 네트워크를 학습하는 방법이 제공된다.
본 발명의 기술적 사상에 의하면, TURP 병리 영상에 특징적으로 나타나는 조직 형태를 고려하면서 TURP 병리 영상 내의 전립선암 병변을 효과적으로 검출할 수 있는 기계 학습 모델을 훈련하는 효율적인 방법 및 시스템을 제공할 수 있다.
본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 간단한 설명이 제공된다.
도 1은 본 발명의 기술적 사상에 따른 인공 뉴럴 네트워크 학습 방법 및 병리 검체에 대한 판단 결과 제공 방법이 수행되는 환경을 개략적으로 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 뉴럴 네트워크 학습 방법을 설명하기 위한 흐름도이다.
도 3은 전립선 침생검 검체의 병리 이미지의 일 예이다.
도 4a는 지져진 전립선 조직 영역이 포함된 예이며, 도 4b는 지져진 전립선 조직 영역을 확대한 것이다. 도 5a는 비전립선 조직 영역이 포함된 예이며, 도 5b는 비전립선 조직 영역을 확대한 것이다.
도 6은 본 발명의 일 실시예에 따른 판단 결과 제공 방법의 일 예를 도시한 도면이다.
도 7은 본 발명의 일 실시예에 따른 인공 뉴럴 네트워크 학습 시스템의 개략적인 구성을 도시한 도면이다.
도 8은 발명의 일 실시예에 따른 판단 결과 제공 시스템의 개략적인 구성을 도시한 도면이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 제1, 제2 등의 용어는 특별한 순서를 나타내는 것이 아니며, 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 명세서에 있어서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, 본 명세서에 있어서는 어느 하나의 구성요소가 다른 구성요소로 데이터를 '전송'하는 경우에는 상기 구성요소는 상기 다른 구성요소로 직접 상기 데이터를 전송할 수도 있고, 적어도 하나의 또 다른 구성요소를 통하여 상기 데이터를 상기 다른 구성요소로 전송할 수도 있는 것을 의미한다. 반대로 어느 하나의 구성요소가 다른 구성요소로 데이터를 '직접 전송'하는 경우에는 상기 구성요소에서 다른 구성요소를 통하지 않고 상기 다른 구성요소로 상기 데이터가 전송되는 것을 의미한다.
이하, 첨부된 도면들을 참조하여 본 발명의 실시예들을 중심으로 본 발명을 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.
도 1은 본 발명의 기술적 사상에 따른 인공 뉴럴 네트워크 학습 방법 및 병리 검체에 대한 판단 결과 제공 방법이 수행되는 환경을 개략적으로 도시한 도면이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 인공 뉴럴 네트워크 학습 방법은 뉴럴 네트워크 학습 시스템(100)에 의해 수행될 수 있으며, 본 발명의 일 실시예에 따른 병리 검체에 대한 판단 결과 제공 방법은 병리 검체에 대한 판단 결과 제공 시스템(200; 이하, '판단 결과 제공 시스템'이라고 함)에 의해 수행될 수 있다.
상기 인공 뉴럴 네트워크 학습 시스템(100)은 인공 뉴럴 네트워크(300)를 학습할 수 있다. 상기 인공 뉴럴 네트워크(300)는 경요도전립선절제술 (transurethral resection of prostate; TURP)를 통해 확보된 병리 검체에 대한 진단 정보를 제공하기 위한 뉴럴 네트워크일 수 있다. 병리 검체는 인체의 각종 장기에서 채취한 생검 및 수술로 절제된 생체 조직일 수 있다.
특히, 상기 인공 뉴럴 네트워크(300)는 TURP 병리 이미지를 입력받고, 입력받은 TURP 병리 이미지로부터 전립선암을 검출하기 위한 용도의 인공 뉴럴 네트워크일 수 있다. 상기 판단 결과 제공 시스템(300)은 학습된 인공 뉴럴 네트워크(300)를 이용하여 TURP 병리 이미지로부터 전립선암에 대한 검출 여부를 판단할 수 있다. 본 명세서에서, TURP 병리 이미지는 경요도전립선절제술(TURP)를 통해 확보된 병리 검체의 슬라이드를 스캐닝한 이미지 혹은 그 일부를 의미할 수 있다. TURP 병리 이미지는 병리 슬라이드를 스캐닝한 전체 슬라이드 이미지(Whole Slide Image)를 의미할 수도 있으나, 실시예에 따라서 상기 TURP 병리 이미지 전체 슬라이드 이미지를 소정의 단위 크기로 분할한 패치 혹은 타일을 의미할 수도 있다.
일 실시예에서, 상기 뉴럴 네트워크(300)는 전립선암의 발현여부에 대한 확률 값을 출력하도록 학습된 기계학습모델일 수 있다. 상기 뉴럴 네트워크(300)는 입력 레이어를 통해 입력된 데이터에 기초하여 대상 검체에 대한 판단 결과(예를 들어, 질병의 발현여부의 가능성)를 나타내는 수치 값 즉, 확률 값을 출력할 수 있다.
일 실시예에서, 상기 인공 뉴럴 네트워크(300)는 전체 슬라이드 이미지를 입력 받아 전립선암으로 인한 병변의 유무를 판단하거나 혹은 병변 영역을 검출하는 기계학습모델일 수 있으며, 실시예에 따라서는 슬라이드 이미지의 패치를 입력받아 해당 패치에 전립선암으로 인한 병변의 유무 혹은 병변 영역를 판단하는 기계학습모델일 수도 있다.
본 명세서에서 인공 뉴럴 네트워크는 인간의 뉴런의 동작 원리에 기초하여 인공적으로 구축한 뉴럴 네트워크로서, 다층 퍼셉트론 모델을 포함하며, 인공 뉴럴 네트워크를 정의하는 일련의 설계사항들을 표현하는 정보의 집합을 의미할 수 있다.
일 실시예에서, 상기 인공 뉴럴 네트워크(300)는 영상 분석에 주로 활용되는 합성곱 뉴럴 네트워크이거나 혹은 합성곱 뉴럴 네트워크를 포함할 수 있다. 특히 영역 분할에 효과적인 것으로 알려진 U-Net (Ronneberger2015)이나 DeepLabv3+ (Chen2018), Mask R-CNN (He2017) 등이 사용될 수 있으며, 픽셀 단위의 미세한 영역 검출 기능이 필요하지 않은 경우에는 작은 크기의 패치 이미지 단위로 전립선암 유무를 판별하도록 학습된 ResNet (He2016) 이나 DenseNet (Huang2017) 등의 분류 모델이 활용될 수도 있다.
상기 뉴럴 네트워크 학습 시스템(100) 및/또는 상기 판단 결과 제공 시스템(200)은 본 발명의 기술적 사상을 구현하기 위한 연산능력을 가진 데이터 처리장치인 컴퓨팅 시스템일 수 있으며, 일반적으로 네트워크를 통해 클라이언트가 접속 가능한 데이터 처리 장치인 서버뿐만 아니라 개인용 컴퓨터나 휴대 단말 등과 같은 컴퓨팅 장치를 포함할 수 있다.
상기 뉴럴 네트워크 학습 시스템(100) 및/또는 상기 판단 결과 제공 시스템(200)은 어느 하나의 물리적 장치로 구현될 수도 있으나, 필요에 따라 복수의 물리적 장치가 유기적으로 결합되어 본 발명의 기술적 사상에 따른 상기 뉴럴 네트워크 학습 시스템(100) 및/또는 상기 판단 결과 제공 시스템(200)을 구현할 수 있음을 본 발명의 기술분야의 평균적 전문가는 용이하게 추론할 수 있을 것이다.
상기 뉴럴 네트워크 학습 시스템(100)은 다수의 병리 검체로부터 생성된 학습 데이터에 기반하여 상기 인공 뉴럴 네트워크(300)를 학습할 수 있다. 상기 뉴럴 네트워크 학습 시스템(100)은 병리 검체의 슬라이드를 스캐닝한 이미지 혹은 스캐닝한 슬라이드 이미지의 일부(즉, 패치)를 이용하여 개별 학습 데이터를 생성하고, 이를 상기 뉴럴 네트워크(300)의 입력 레이어에 입력하여 상기 뉴럴 네트워크(300)를 학습할 수 있다. 이때 병리 검체는 전립선 침생검 또는 전립선 절제 수술로 확보된 검체, 혹은 TURP 시술에 의해 확보된 검체일 수 있다.
한편, 학습된 뉴럴 네트워크(300)는 상기 판단 결과 제공 시스템(200)에 저장될 수 있으며, 상기 판단 결과 제공 시스템(200) 학습된 인공 뉴럴 네트워크를 이용하여 소정의 진단 대상 TURP 검체에 대한 판단을 할 수 있다.
도 1에 도시된 바와 같이, 상기 뉴럴 네트워크 학습 시스템(100) 및/또는 상기 판단 결과 제공 시스템(200)은 소정의 모(母) 시스템(10)의 서브 시스템의 형태로 구현될 수도 있다. 상기 모 시스템(10)은 서버일 수 있다. 상기 서버(10)는 본 발명의 기술적 사상을 구현하기 위한 연산능력을 가진 데이터 처리장치를 의미하며, 일반적으로 네트워크를 통해 클라이언트가 접속 가능한 데이터 처리장치뿐만 아니라 개인용 컴퓨터, 휴대 단말 등과 같이 특정 서비스를 수행할 수 있는 어떠한 장치도 서버로 정의될 수 있음을 본 발명의 기술분야의 평균적 전문가는 용이하게 추론할 수 있을 것이다.
또는 실시예에 따라, 상기 뉴럴 네트워크 학습 시스템(100) 및 상기 판단 결과 제공 시스템(200)은 서로 분리된 형태로 구현될 수도 있다.
도 2는 본 발명의 일 실시예에 따른 뉴럴 네트워크 학습 방법을 설명하기 위한 흐름도이다. 도 2의 학습 방법을 통해 상기 인공 뉴럴 네트워크(300)가 학습될 수 있으며, 앞서 언급한 바와 같이 상기 인공 뉴럴 네트워크(300)는 병리 이미지로부터 전립선암을 검출하기 위한 용도의 인공 뉴럴 네트워크이다.
상기 인공 뉴럴 네트워크(300)는 TURP 병리 이미지에서 전립선암에 대한 진단을 수행하는 기능을 수행하는 뉴럴 네트워크이지만, 상기 인공 뉴럴 네트워크(300)를 학습하는 과정에서는 TURP 병리 이미지뿐만 아니라 전립선 침생검 또는 전립선 절제 수술로 확보된 검체의 이미지가 이용될 수 있다.
도 2를 참조하면, 뉴럴 네트워크 학습 시스템(100)은 복수의 1차 학습용 병리 이미지를 획득할 수 있다(S100). 여기서, 상기 복수의 1차 학습용 병리 이미지 각각은, 전립선침생검(prostate needle biopsy)을 통해 확보된 병리 검체의 슬라이드를 스캐닝한 이미지인 전립선침생검 병리 이미지 또는 전립선절제수술(radical prostatectomy)을 통해 확보된 병리 검체의 슬라이드를 스캐닝한 이미지인 전립선절제수술 병리 이미지 중 어느 하나일 수 있다.
한편, 상기 복수의 1차 학습용 병리 이미지 각각에는 전립선암으로 인한 병변이 미리 어노테이션되어 있을 수 있으며, 어노테이션된 정보가 학습 데이터의 라벨로 이용될 수 있다.
전립선 침생검은 전립선의 생체 조직을 침(바늘)을 통해 채취하는 방법을 말한다. 전립선 침생검 검체의 병리 이미지의 일 예가 도 3에 도시되어 있다.
상기 뉴럴 네트워크 학습 시스템(300)은 상기 복수의 1차 학습용 병리 이미지를 이용하여, 상기 인공 뉴럴 네트워크(300)를 1차 학습할 수 있다(S110).
어노테이션된 전립선침생검 병리 이미지 혹은 어노테이션된 전립선절체수술 병리 이미지는 비교적 손쉽게 확보할 수 있으므로 상기 뉴럴 네트워크 학습 방법에서는 쉽게 확보가 가능한 어노테이션된 전립선침생검 병리 이미지 혹은 어노테이션된 전립선절체수술 병리 이미지로 상기 인공 뉴럴 네트워크(300)를 1차 학습한다. 상기 복수의 1차 학습용 병리 이미지 중 일정 비율 이상을 전립선암으로 인한 병변 영역을 포함하는 이미지로 구성할 수 있으며, 이렇게 함으로써, 상기 인공 뉴럴 네트워크(300)의 민감도를 일정 수준 이상으로 높일 수 있다.
한편, TURP 병리 이미지의 경우, TURP 시술의 특성상 전립선이 아닌 조직(방광, 요로 상피 등)의 영역 또는 지져진 전립선 조직 영역이 존재하는데 이는 전립선침생검 검체 또는 절제수술 검체에서는 나타나지 않는다. 따라서, 1차 학습된 인공 뉴럴 네트워크(300)의 TURP 병리 이미지에 대한 특이도를 높이기 위하여 다음과 같은 과정을 추가로 수행해야 한다.
다시 도 2를 참조하면, 상기 뉴럴 네트워크 학습 시스템(100)은 경요도전립선절제술(transurethral resection of prostate; TURP)를 통해 확보된 병리 검체의 슬라이드를 스캐닝한 이미지인 복수의 TURP 병리 이미지를 획득할 수 있다(S120).
이때, 2차 학습에 이용되는 상기 복수의 TURP 병리 이미지 각각은, 비(非)전립선 조직 영역 또는 지져진(cauterized) 전립선 조직 영역 중 적어도 하나를 반드시 포함하며, 전립선암 병변 영역은 전혀 포함하지 않아야 한다. 도 4a 및 도 5a는 각각 2차 학습에 이용되는 TURP 병리 이미지의 예를 도시한 도면이다. 도 4a는 지져진 전립선 조직 영역이 포함된 예이며, 도 4b는 지져진 전립선 조직 영역을 확대한 것이다. 도 5a는 비전립선 조직 영역이 포함된 예이며, 도 5b는 비전립선 조직 영역을 확대한 것이다.
일 실시예에서, 2차 학습에 이용되는 상기 복수의 TURP 병리 이미지 중 일부는 비(非)전립선 조직 영역을 포함하되 전립선암 병변 영역은 전혀 포함하지 않는 이미지이며, 나머지 일부는 지져진 전립선 조직 영역을 포함하되 전립선암 병변 영역은 전혀 포함하지 않는 이미지일 수 있다.
이와 같이, 2차 학습에 이용되는 복수의 TURP 병리 이미지는 모두 전립선암 병변 영역이 전혀 포함되지 않아야 하므로 2차 학습에 이용되는 복수의 TURP 병리 이미지는 일괄적으로 정상(benign)으로 라벨링될 수 있으며, 별도의 병변 영역에 대한 어노테이션이 필요하지 않은 학습 데이터이다.
이후 뉴럴 네트워크 학습 시스템(100)은 상기 복수의 TURP 병리 이미지를 이용하여, 1차 학습된 상기 인공 뉴럴 네트워크(300)를 2차 학습할 수 있다(S130).
도 6은 본 발명의 일 실시예에 따른 판단 결과 제공 방법의 일 예를 도시한 도면이다.
도 6을 참조하면, 상기 판단 결과 제공 시스템(200)은 소정의 판단 대상 TURP 병리 이미지를 획득할 수 있다(S200). 상기 판단 대상 TURP 병리 이미지는 경요도전립선절제술(TURP)를 통해 확보된 소정의 판단 대상 병리 검체의 슬라이드를 스캐닝한 이미지이다.
상기 판단 결과 제공 시스템(200)은 상기 인공 뉴럴 네트워크(300)에 상기 판단 대상 TURP 병리 이미지를 입력하고, 상기 인공 뉴럴 네트워크(300)가 상기 판단 대상 TURP 병리 이미지에 기초하여 판단한 전립선암 검출 결과를 출력할 수 있다(S210).
도 7은 본 발명의 일 실시예에 따른 인공 뉴럴 네트워크 학습 시스템(100)의 개략적인 구성을 도시한 도면이며, 도 8은 발명의 일 실시예에 따른 판단 결과 제공 시스템(200)의 개략적인 구성을 도시한 도면이다.
상기 인공 뉴럴 네트워크 학습 시스템(100) 및 판단 결과 제공 시스템(200)은 본 발명의 기술적 사상을 구현하기 위해 필요한 하드웨어 리소스(resource) 및/또는 소프트웨어를 구비한 논리적인 구성을 의미할 수 있으며, 반드시 하나의 물리적인 구성요소를 의미하거나 하나의 장치를 의미하는 것은 아니다. 즉, 상기 인공 뉴럴 네트워크 학습 시스템(100) 및 판단 결과 제공 시스템(200)은 본 발명의 기술적 사상을 구현하기 위해 구비되는 하드웨어 및/또는 소프트웨어의 논리적인 결합을 의미할 수 있으며, 필요한 경우에는 서로 이격된 장치에 설치되어 각각의 기능을 수행함으로써 본 발명의 기술적 사상을 구현하기 위한 논리적인 구성들의 집합으로 구현될 수도 있다. 또한, 상기 인공 뉴럴 네트워크 학습 시스템(100) 및 판단 결과 제공 시스템(200)은 본 발명의 기술적 사상을 구현하기 위한 각각의 기능 또는 역할별로 별도로 구현되는 구성들의 집합을 의미할 수도 있다. 인공 뉴럴 네트워크 학습 시스템(100) 및 판단 결과 제공 시스템(200)의 각 구성은 서로 다른 물리적 장치에 위치할 수도 있고, 동일한 물리적 장치에 위치할 수도 있다. 또한, 구현 예에 따라서는 상기 인공 뉴럴 네트워크 학습 시스템(100) 및 판단 결과 제공 시스템(200)의 구성 요소 각각을 구성하는 소프트웨어 및/또는 하드웨어의 결합 역시 서로 다른 물리적 장치에 위치하고, 서로 다른 물리적 장치에 위치한 구성들이 서로 유기적으로 결합되어 각각의 상기 모듈들을 구현할 수도 있다.
또한, 본 명세서에서 모듈이라 함은, 본 발명의 기술적 사상을 수행하기 위한 하드웨어 및 상기 하드웨어를 구동하기 위한 소프트웨어의 기능적, 구조적 결합을 의미할 수 있다. 예컨대, 상기 모듈은 소정의 코드와 상기 소정의 코드가 수행되기 위한 하드웨어 리소스(resource)의 논리적인 단위를 의미할 수 있으며, 반드시 물리적으로 연결된 코드를 의미하거나, 한 종류의 하드웨어를 의미하는 것은 아님은 본 발명의 기술분야의 평균적 전문가에게는 용이하게 추론될 수 있다.
도 7을 참조하면, 상기 인공 뉴럴 네트워크 학습 시스템(100)은 저장모듈(110), 획득모듈(120) 및 학습모듈(140)을 포함할 수 있다. 본 발명의 실시예에 따라서는, 상술한 구성요소들 중 일부 구성요소는 반드시 본 발명의 구현에 필수적으로 필요한 구성요소에 해당하지 않을 수도 있으며, 또한 실시예에 따라 상기 인공 뉴럴 네트워크 학습 시스템(100)은 이보다 더 많은 구성요소를 포함할 수도 있음은 물론이다. 예를 들어 상기 인공 뉴럴 네트워크 학습 시스템(100)은 외부 장치와 통신하기 위한 통신모듈(미도시), 상기 인공 뉴럴 네트워크 학습 시스템(100)의 구성요소 및 리소스를 제어하기 위한 제어모듈(미도시)을 더 포함할 수 있다.
상기 저장모듈(110)은 학습될 인공 뉴럴 네트워크(300)를 저장할 수 있다.
상기 획득모듈(120)은 복수의 1차 학습용 병리 이미지를 획득할 수 있으며, 상기 복수의 1차 학습용 병리 이미지 각각은, 전립선침생검을 통해 확보된 병리 검체의 슬라이드를 스캐닝한 이미지인 전립선침생검 병리 이미지 또는 전립선절제수술을 통해 확보된 병리 검체의 슬라이드를 스캐닝한 이미지인 전립선절제수술 병리 이미지 중 어느 하나일 수 있다.
또한 상기 획득모듈(120)은 경요도전립선절제술을 통해 확보된 병리 검체의 슬라이드를 스캐닝한 이미지인 복수의 TURP 병리 이미지를 획득할 수 있다. 이때, 상기 복수의 TURP 병리 이미지 각각은, 비(非)전립선 조직 영역 또는 지져진(cauterized) 전립선 조직 영역 중 적어도 하나를 반드시 포함하며, 전립선암 병변 영역은 전혀 포함하지 않을 수 있다.
상기 학습모듈(130)은 상기 복수의 1차 학습용 병리 이미지를 이용하여, 전립선암 판단용 인공 뉴럴 네트워크를 1차 학습할 수 있으며, 상기 복수의 TURP 병리 이미지를 이용하여, 1차 학습된 상기 인공 뉴럴 네트워크를 2차 학습할 수 있다.
도 8을 참조하면, 상기 판단 결과 제공 시스템(200)은 저장모듈(210), 획득모듈(220) 및 판단모듈(230)을 포함할 수 있다. 본 발명의 실시예에 따라서는, 상술한 구성요소들 중 일부 구성요소는 반드시 본 발명의 구현에 필수적으로 필요한 구성요소에 해당하지 않을 수도 있으며, 또한 실시예에 따라 상기 판단 결과 제공 시스템(200) 은 이보다 더 많은 구성요소를 포함할 수도 있음은 물론이다. 예를 들어 상기 판단 결과 제공 시스템(200)은 통신모듈(미도시), 상기 판단 결과 제공 시스템(200)의 구성요소 및 리소스를 제어하기 위한 제어모듈(미도시)을 더 포함할 수 있다.
상기 저장모듈(210)은 학습된 인공 뉴럴 네트워크(300)를 저장할 수 있다.
상기 획득모듈(220)은 소정의 판단 대상 TURP 병리 이미지를 획득할 수 있다.
상기 판단모듈(230)은 상기 판단 대상 TURP 병리 이미지를 상기 인공 뉴럴 네트워크(300)에 입력하고, 상기 인공 뉴럴 네트워크(300)가 상기 판단 대상 TURP 병리 이미지에 기초하여 판단한 전립선암 검출 결과를 출력할 수 있다.
한편, 구현 예에 따라서, 상기 인공 뉴럴 네트워크 학습 시스템(100) 및 판단 결과 제공 시스템(200)은 프로세서 및 상기 프로세서에 의해 실행되는 프로그램을 저장하는 메모리를 포함할 수 있다. 상기 프로세서는 싱글 코어 CPU혹은 멀티 코어 CPU를 포함할 수 있다. 메모리는 고속 랜덤 액세스 메모리를 포함할 수 있고 하나 이상의 자기 디스크 저장 장치, 플래시 메모리 장치, 또는 기타 비휘발성 고체상태 메모리 장치와 같은 비휘발성 메모리를 포함할 수도 있다. 프로세서 및 기타 구성 요소에 의한 메모리로의 액세스는 메모리 컨트롤러에 의해 제어될 수 있다.
한편, 본 발명의 실시예에 따른 방법은 컴퓨터가 읽을 수 있는 프로그램 명령 형태로 구현되어 컴퓨터로 읽을 수 있는 기록 매체에 저장될 수 있으며, 본 발명의 실시예에 따른 제어 프로그램 및 대상 프로그램도 컴퓨터로 판독 가능한 기록 매체에 저장될 수 있다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
기록 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 소프트웨어 분야 당업자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터로 읽을 수 있는 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 전자적으로 정보를 처리하는 장치, 예를 들어, 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타나며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (6)

  1. 뉴럴 네트워크 학습 시스템이, 복수의 1차 학습용 병리 이미지를 획득하는 단계-여기서, 상기 복수의 1차 학습용 병리 이미지 각각은, 전립선침생검(prostate needle biopsy)을 통해 확보된 병리 검체의 슬라이드를 스캐닝한 이미지인 전립선침생검 병리 이미지 또는 전립선절제수술(radical prostatectomy)을 통해 확보된 병리 검체의 슬라이드를 스캐닝한 이미지인 전립선절제수술 병리 이미지 중 어느 하나이며, 전립선암으로 인한 병변 어노테이션이 미리 라벨링되어 있음;
    상기 뉴럴 네트워크 학습 시스템이, 상기 복수의 1차 학습용 병리 이미지를 전립선암 판단용 인공 뉴럴 네트워크의 입력 레이어에 입력하여, 상기 전립선암 판단용 인공 뉴럴 네트워크를 1차 학습하는 단계-상기 전립선암 판단용 인공 뉴럴 네트워크는, 병리 이미지를 입력 레이어로 입력받아 상기 병리 이미지에 전립선암으로 인한 병변이 있을 확률을 출력하는 인공 뉴럴 네트워크임;
    상기 뉴럴 네트워크 학습 시스템이, 경요도전립선절제술(transurethral resection of prostate; TURP)를 통해 확보된 병리 검체의 슬라이드를 스캐닝한 이미지인 복수의 TURP 병리 이미지를 획득하는 단계; 및
    상기 뉴럴 네트워크 학습 시스템이, 상기 복수의 TURP 병리 이미지를 1차 학습된 상기 전립선암 판단용 인공 뉴럴 네트워크의 입력 레이어에 더 입력하여, 1차 학습된 상기 인공 뉴럴 네트워크를 2차 학습하는 단계를 포함하되,
    상기 복수의 TURP 병리 이미지 각각은,
    비(非)전립선 조직 영역 또는 지져진(cauterized) 전립선 조직 영역 중 적어도 하나를 반드시 포함하며, 전립선암 병변 영역은 전혀 포함하지 않는 것을 특징으로 하는 TURP 병리 이미지로부터 전립선암을 검출하기 위한 용도의 인공 뉴럴 네트워크를 학습하는 방법.
  2. 제1항에 기재된 인공 뉴럴 네트워크를 학습하는 방법에 의해 학습된 인공 뉴럴 네트워크를 통해 소정의 판단 대상 TURP 병리 이미지에 대한 판단 결과를 제공하는 방법으로서,
    컴퓨팅 시스템이, 상기 판단 대상 TURP 병리 이미지를 획득하는 단계; 및
    상기 컴퓨팅 시스템이, 상기 판단 대상 TURP 병리 이미지를 상기 인공 뉴럴 네트워크의 입력 레이어에 입력하고, 상기 인공 뉴럴 네트워크의 출력 레이어에서 출력된 결과를 출력하는 단계를 포함하는 방법.
  3. 데이터 처리장치에 설치되며 제1항 또는 제2항 중 어느 한 항에 기재된 방법을 수행하기 위한 매체에 기록된 컴퓨터 프로그램.
  4. 제1항 또는 제2항 중 어느 한 항에 기재된 방법을 수행하기 위한 컴퓨터 프로그램이 기록된 컴퓨터 판독 가능한 기록매체.
  5. 뉴럴 네트워크 학습 시스템으로서,
    프로세서; 및 컴퓨터 프로그램을 저장하는 메모리를 포함하고,
    상기 컴퓨터 프로그램은, 상기 프로세서에 의해 실행되는 경우, 상기 컴퓨팅 시스템으로 하여금 인공 뉴럴 네트워크를 학습하는 방법을 수행하도록 하며,
    상기 인공 뉴럴 네트워크 학습 방법은,
    복수의 1차 학습용 병리 이미지를 획득하는 단계-여기서, 상기 복수의 1차 학습용 병리 이미지 각각은, 전립선침생검(prostate needle biopsy)을 통해 확보된 병리 검체의 슬라이드를 스캐닝한 이미지인 전립선침생검 병리 이미지 또는 전립선절제수술(radical prostatectomy)을 통해 확보된 병리 검체의 슬라이드를 스캐닝한 이미지인 전립선절제수술 병리 이미지 중 어느 하나이며, 전립선암으로 인한 병변 어노테이션이 미리 라벨링되어 있음;
    상기 복수의 1차 학습용 병리 이미지를 전립선암 판단용 인공 뉴럴 네트워크의 입력 레이어에 입력하여, 상기 전립선암 판단용 인공 뉴럴 네트워크를 1차 학습하는 단계-상기 전립선암 판단용 인공 뉴럴 네트워크는, 병리 이미지를 입력 레이어로 입력받아 상기 병리 이미지에 전립선암으로 인한 병변이 있을 확률을 출력하는 인공 뉴럴 네트워크임;
    상기 뉴럴 네트워크 학습 시스템이, 경요도전립선절제술(transurethral resection of prostate; TURP)를 통해 확보된 병리 검체의 슬라이드를 스캐닝한 이미지인 복수의 TURP 병리 이미지를 획득하는 단계; 및
    상기 복수의 TURP 병리 이미지를 1차 학습된 상기 전립선암 판단용 인공 뉴럴 네트워크의 입력 레이어에 더 입력하여, 1차 학습된 상기 인공 뉴럴 네트워크를 2차 학습하는 단계를 포함하되,
    상기 복수의 TURP 병리 이미지 각각은,
    비(非)전립선 조직 영역 또는 지져진(cauterized) 전립선 조직 영역 중 적어도 하나를 반드시 포함하며, 전립선암 병변 영역은 전혀 포함하지 않는 것을 특징으로 하는 뉴럴 네트워크 학습 시스템.
  6. 소정의 판단 대상 TURP 병리 이미지에 대한 판단 결과를 제공하는 컴퓨팅 시스템으로서,
    프로세서; 및 컴퓨터 프로그램을 저장하는 메모리를 포함하고,
    상기 컴퓨터 프로그램은, 상기 프로세서에 의해 실행되는 경우, 상기 컴퓨팅 시스템으로 하여금 제1항에 기재된 인공 뉴럴 네트워크 학습 방법에 의해 학습된 인공 뉴럴 네트워크를 통해 상기 판단 대상 TURP 병리 이미지에 대한 판단 결과를 제공하는 방법을 수행하도록 하며,
    상기 판단 결과를 제공하는 방법은,
    상기 판단 대상 TURP 병리 이미지를 획득하는 단계; 및
    상기 판단 대상 TURP 병리 이미지를 상기 인공 뉴럴 네트워크의 입력 레이어에 입력하고, 상기 인공 뉴럴 네트워크의 출력 레이어에서 출력된 결과를 출력하는 단계를 포함하는 컴퓨팅 시스템.
KR1020210029876A 2021-03-08 2021-03-08 Turp 병리 이미지로부터 전립선암을 검출하기 위한 용도의 인공 뉴럴 네트워크를 학습하는 방법 및 이를 수행하는 컴퓨팅 시스템 KR102316525B1 (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
KR1020210029876A KR102316525B1 (ko) 2021-03-08 2021-03-08 Turp 병리 이미지로부터 전립선암을 검출하기 위한 용도의 인공 뉴럴 네트워크를 학습하는 방법 및 이를 수행하는 컴퓨팅 시스템
JP2023551750A JP2024509105A (ja) 2021-03-08 2022-03-07 Turpの病理画像から前立腺癌を検出するための人工ニューラルネットワークを学習する方法、及びこれを行うコンピューティングシステム
PCT/KR2022/003178 WO2022191539A1 (ko) 2021-03-08 2022-03-07 Turp 병리 이미지로부터 전립선암을 검출하기 위한 용도의 인공 뉴럴 네트워크를 학습하는 방법 및 이를 수행하는 컴퓨팅 시스템
US18/280,662 US20240153073A1 (en) 2021-03-08 2022-03-07 Method for training artificial neural network having use for detecting prostate cancer from turp pathological images, and computing system performing same
EP22767435.5A EP4290529A1 (en) 2021-03-08 2022-03-07 Method for training artificial neural network having use for detecting prostate cancer from turp pathological images, and computing system performing same
CN202280020209.7A CN117337473A (zh) 2021-03-08 2022-03-07 学习用于从turp病理图像中检测前列腺癌的人工神经网络的方法及执行该方法的计算系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210029876A KR102316525B1 (ko) 2021-03-08 2021-03-08 Turp 병리 이미지로부터 전립선암을 검출하기 위한 용도의 인공 뉴럴 네트워크를 학습하는 방법 및 이를 수행하는 컴퓨팅 시스템

Publications (1)

Publication Number Publication Date
KR102316525B1 true KR102316525B1 (ko) 2021-10-22

Family

ID=78275729

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210029876A KR102316525B1 (ko) 2021-03-08 2021-03-08 Turp 병리 이미지로부터 전립선암을 검출하기 위한 용도의 인공 뉴럴 네트워크를 학습하는 방법 및 이를 수행하는 컴퓨팅 시스템

Country Status (6)

Country Link
US (1) US20240153073A1 (ko)
EP (1) EP4290529A1 (ko)
JP (1) JP2024509105A (ko)
KR (1) KR102316525B1 (ko)
CN (1) CN117337473A (ko)
WO (1) WO2022191539A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102395664B1 (ko) 2022-01-26 2022-05-09 주식회사 몰팩바이오 Hsv 색 공간과 clahe를 이용한 병리 슬라이드 이미지 색감 표준화 방법 및 장치

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6004267A (en) * 1997-03-07 1999-12-21 University Of Florida Method for diagnosing and staging prostate cancer
KR101944536B1 (ko) 2016-12-11 2019-02-01 주식회사 딥바이오 뉴럴 네트워크를 이용한 질병의 진단 시스템 및 그 방법
JP2019148473A (ja) * 2018-02-27 2019-09-05 シスメックス株式会社 画像解析方法、画像解析装置、プログラム、学習済み深層学習アルゴリズムの製造方法および学習済み深層学習アルゴリズム
KR20190143510A (ko) * 2018-06-04 2019-12-31 주식회사 딥바이오 투 페이스 질병 진단 시스템 및 그 방법
WO2020005815A1 (en) * 2018-06-29 2020-01-02 Miraki Innovation Think Tank, Llc Miniaturized intra-body controllable medical device employing machine learning and artificial intelligence
KR102100698B1 (ko) * 2019-05-29 2020-05-18 (주)제이엘케이 앙상블 학습 알고리즘을 이용한 인공지능 기반 진단 보조 시스템
KR20200092803A (ko) * 2019-01-25 2020-08-04 주식회사 딥바이오 준-지도학습을 이용하여 질병의 발병 영역에 대한 어노테이션을 수행하기 위한 방법 및 이를 수행하는 진단 시스템

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6004267A (en) * 1997-03-07 1999-12-21 University Of Florida Method for diagnosing and staging prostate cancer
KR101944536B1 (ko) 2016-12-11 2019-02-01 주식회사 딥바이오 뉴럴 네트워크를 이용한 질병의 진단 시스템 및 그 방법
JP2019148473A (ja) * 2018-02-27 2019-09-05 シスメックス株式会社 画像解析方法、画像解析装置、プログラム、学習済み深層学習アルゴリズムの製造方法および学習済み深層学習アルゴリズム
KR20190143510A (ko) * 2018-06-04 2019-12-31 주식회사 딥바이오 투 페이스 질병 진단 시스템 및 그 방법
WO2020005815A1 (en) * 2018-06-29 2020-01-02 Miraki Innovation Think Tank, Llc Miniaturized intra-body controllable medical device employing machine learning and artificial intelligence
KR20200092803A (ko) * 2019-01-25 2020-08-04 주식회사 딥바이오 준-지도학습을 이용하여 질병의 발병 영역에 대한 어노테이션을 수행하기 위한 방법 및 이를 수행하는 진단 시스템
KR102100698B1 (ko) * 2019-05-29 2020-05-18 (주)제이엘케이 앙상블 학습 알고리즘을 이용한 인공지능 기반 진단 보조 시스템

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
웹 페이지: Everything you need to know about Neural Networks and Backpropagation ― Machine Learning Easy and Fun (https://towardsdatascience.com/everything-you-need-to-know-about-neural-networks-and-backpropagation-machine-learning-made-easy-e5285bc2be3a)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102395664B1 (ko) 2022-01-26 2022-05-09 주식회사 몰팩바이오 Hsv 색 공간과 clahe를 이용한 병리 슬라이드 이미지 색감 표준화 방법 및 장치

Also Published As

Publication number Publication date
EP4290529A1 (en) 2023-12-13
US20240153073A1 (en) 2024-05-09
JP2024509105A (ja) 2024-02-29
CN117337473A (zh) 2024-01-02
WO2022191539A1 (ko) 2022-09-15

Similar Documents

Publication Publication Date Title
US20180263568A1 (en) Systems and Methods for Clinical Image Classification
KR102289277B1 (ko) 복수의 의료 영상 판독 알고리듬들에 대한 평가 스코어를 생성하는 의료 영상 판독 지원 장치 및 방법
US20190188870A1 (en) Medical image registration guided by target lesion
EP3749956A1 (en) Systems and methods for analysis and remote interpretation of optical histologic images
KR102236948B1 (ko) 준-지도학습을 이용하여 질병의 발병 영역에 대한 어노테이션을 수행하기 위한 방법 및 이를 수행하는 진단 시스템
JP2021521553A (ja) 画像認識方法、装置、端末機器及び医療システム、並びにそのコンピュータプログラム
Guo et al. Deep learning for assessing image focus for automated cervical cancer screening
KR102531400B1 (ko) 인공 지능 기반 대장 내시경 영상 진단 보조 시스템 및 방법
JP7320856B2 (ja) 生体画像診断システム、生体画像診断方法、及びこれを行うための端末
KR20190143510A (ko) 투 페이스 질병 진단 시스템 및 그 방법
CN109460717A (zh) 消化道共聚焦激光显微内镜病变图像识别方法及装置
KR102316525B1 (ko) Turp 병리 이미지로부터 전립선암을 검출하기 위한 용도의 인공 뉴럴 네트워크를 학습하는 방법 및 이를 수행하는 컴퓨팅 시스템
KR102245219B1 (ko) 의료 영상에서 악성의심 병변을 구별하는 방법, 이를 이용한 의료 영상 판독 방법 및 컴퓨팅 장치
JP2020062355A (ja) 画像処理装置、データ生成装置及びプログラム
CN103140875A (zh) 利用实况反馈对内部组织进行多模态分割的系统和方法
CN113299372B (zh) 一种光声病理影像的处理方法、存储介质及终端设备
Bhandari et al. Augmented intelligence: a synergy between man and the machine
KR20220122312A (ko) 인공 지능 기반 위 내시경 영상 진단 보조 시스템 및 방법
EP4266247A1 (en) Method for refining tissue specimen image, and computing system performing same
KR102657599B1 (ko) 암 환자 치료에 대한 반응성을 예측하기 위한 방법 및 시스템
KR102446638B1 (ko) 유방암 병변 영역을 판별하기 위한 인공 신경망을 학습하기 위한 학습 방법, 및 이를 수행하는 컴퓨팅 시스템
WO2023042184A1 (en) Machine learning for predicting cancer genotype and treatment response using digital histopathology images
KR102360615B1 (ko) 내시경 영상에 대한 복수의 의료 영상 판독 알고리듬들을 이용하는 의료 영상 판독 지원 장치 및 방법
Hao et al. Automatic detection of breast nodule in the ultrasound images using CNN
JP2023535338A (ja) 半教師あり学習を用いて疾患の発症領域に対するアノテーションを行うための方法、およびそれを行う診断システム

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant