KR102393957B1 - 전립선암 분석 장치 및 프로그램, 이의 동작 방법 - Google Patents

전립선암 분석 장치 및 프로그램, 이의 동작 방법 Download PDF

Info

Publication number
KR102393957B1
KR102393957B1 KR1020210192094A KR20210192094A KR102393957B1 KR 102393957 B1 KR102393957 B1 KR 102393957B1 KR 1020210192094 A KR1020210192094 A KR 1020210192094A KR 20210192094 A KR20210192094 A KR 20210192094A KR 102393957 B1 KR102393957 B1 KR 102393957B1
Authority
KR
South Korea
Prior art keywords
image
tumor
prostate cancer
histological
digital
Prior art date
Application number
KR1020210192094A
Other languages
English (en)
Inventor
최진욱
이경분
강경훈
문경철
최기영
이규상
박정환
정원기
전세영
김영관
Original Assignee
서울대학교병원
고려대학교 산학협력단
서울대학교산학협력단
주식회사 플랜잇헬스케어
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울대학교병원, 고려대학교 산학협력단, 서울대학교산학협력단, 주식회사 플랜잇헬스케어 filed Critical 서울대학교병원
Priority to KR1020210192094A priority Critical patent/KR102393957B1/ko
Application granted granted Critical
Publication of KR102393957B1 publication Critical patent/KR102393957B1/ko
Priority to US17/857,328 priority patent/US11568539B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/50—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing
    • G01N33/53—Immunoassay; Biospecific binding assay; Materials therefor
    • G01N33/574—Immunoassay; Biospecific binding assay; Materials therefor for cancer
    • G01N33/57407—Specifically defined cancers
    • G01N33/57434—Specifically defined cancers of prostate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30081—Prostate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H70/00—ICT specially adapted for the handling or processing of medical references
    • G16H70/60—ICT specially adapted for the handling or processing of medical references relating to pathologies

Abstract

적어도 하나의 프로세서에 의해 동작하는 전립선암 분석 장치의 동작 방법으로서, 전립선 절제 검체의 연속 절편들로부터 제작된 디지털 슬라이드 이미지들, 그리고 상기 연속 절편들의 육안 이미지를 입력받는 단계, 상기 디지털 슬라이드 이미지들로부터 조직학적 정보를 추론하도록 학습된 인공신경망 모델을 이용하여, 입력된 각 디지털 슬라이드 이미지의 전립선암 관련 조직학적 정보를 획득하는 단계, 각 디지털 슬라이드 이미지에, 상기 인공신경망 모델에서 추론된 전립선암 관련 조직학적 정보를 표시하여, 디지털 병리 이미지들을 생성하는 단계, 그리고 각 디지털 병리 이미지에서 추출한 종양 영역을, 대응하는 절편의 육안 이미지에 매핑한 조직학적 매핑 이미지를 제공하는 단계를 포함한다.

Description

전립선암 분석 장치 및 프로그램, 이의 동작 방법{APPARATUS AND PROGRAM FOR PROSTATE CANCER ANALYSIS, AND OPERATING METHOD THEREOF}
본 개시는 전립선암 분석에 관한 것이다.
전립선암은 미국, 영국 등 OECD 국가의 남성들에게 가장 많이 발생하는 암으로 보고되고 있다. 한국에서의 전립선암 발생률은 미국에 비해 훨씬 낮지만, 노령 인구의 증가와 함께 생활양식이 점차 서구화되어 가고 있어 전립선암의 증가가 지속될 것으로 전망되고 있다.
전립선암은 조직 검사를 통해 진단할 수 있다. 바늘로 전립선을 6~12회 찔러 얻은 조직 또는 수술로 절제(resection)된 조직에 대해 조직병리학적 진단을 거치게 된다. 침생검을 통해 수술 시행 여부를 결정하고, 절제 검체에 대한 조직학적 평가를 통해 환자의 예후 예측에 중요한 진단 정보를 얻을 수 있다. 절제술 검체의 조직학적 평가에서 필수적인 보고항목은 종양 위치(상, 하, 좌, 우), 전립선 조직 중 암이 차지하는 비율인 종양 분율(tumor burden), 그리고 가장 긴 종양의 단면 크기(장경)다. 종양 분율과 예후의 관련성은 다소 논란이 있으나, 독립적 예후 인자로 치료 결정에 사용하거나, 미국 외과병리학회가 권고하는 전립선 전절제술 검체의 표준 보고서의 필수 보고 항목으로 지정되어 있다.
종양 분율은 병리전문의가 현미경을 통해 시각적으로 유리 슬라이드를 검사하여 전체 전립선 조직에서 종양이 차지하는 비율을 계산한다. 따라서, 종양 분율은 전문의의 주관성, 기관별 조직 검체 처리 방식, 유리 슬라이드 제작 방식에 따라 결과가 다를 수 있다. 이러한 종양 분율을 측정하는 환경 차이에 의해 종양 분율과 예후와의 관련성에서 차이가 발생하게 된다.
본 개시는 절제된 전립선 조직의 절편들을 기초로 전립선암 여부를 판별하는 인공지능 모델 기반 전립선암 분석 장치 및 프로그램, 이의 동작 방법에 관한 것이다.
본 개시는 전립선 종양 위치 및 종양 분율을 포함하는 분석 정보를 시각적으로 표시하는 방법 및 장치에 관한 것이다.
본 개시는 연속 절편들의 육안 이미지에 종양 영역을 조직학적 매핑(histologic mapping)하여 시각적으로 표시하는 방법 및 장치에 관한 것이다.
한 실시예에 따라 적어도 하나의 프로세서에 의해 동작하는 전립선암 분석 장치의 동작 방법으로서, 전립선 절제 검체의 연속 절편들로부터 제작된 디지털 슬라이드 이미지들, 그리고 상기 연속 절편들의 육안 이미지를 입력받는 단계, 상기 디지털 슬라이드 이미지들로부터 조직학적 정보를 추론하도록 학습된 인공신경망 모델을 이용하여, 입력된 각 디지털 슬라이드 이미지의 전립선암 관련 조직학적 정보를 획득하는 단계, 각 디지털 슬라이드 이미지에, 상기 인공신경망 모델에서 추론된 전립선암 관련 조직학적 정보를 표시하여, 디지털 병리 이미지들을 생성하는 단계, 그리고 각 디지털 병리 이미지에서 추출한 종양 영역을, 대응하는 절편의 육안 이미지에 매핑한 조직학적 매핑 이미지를 제공하는 단계를 포함한다.
상기 조직학적 매핑 이미지를 제공하는 단계는 각 디지털 병리 이미지에서 종양 영역을 추출하고, 대응하는 절편의 육안 이미지에 추출한 종양 영역을 매핑하기 위한 조직학적 매핑 정보를 생성하는 단계, 그리고 상기 조직학적 매핑 정보를 해당 육안 이미지에 적용하여 상기 조직학적 매핑 이미지를 제공하는 단계를 포함할 수 있다.
상기 동작 방법은 각 디지털 병리 이미지에서 조직 면적과 종양 면적을 계산하고, 전체 디지털 병리 이미지들의 전체 조직 면적에 대한 전체 종양 면적의 비율인 종양 분율을 계산하는 단계를 더 포함할 수 있다.
상기 종양 분율을 계산하는 단계는 각 디지털 병리 이미지에서 픽셀단위로 종양 면적 및 종양 면적을 계산할 수 있다.
상기 동작 방법은 상기 전립선 절제 검체에 대한 병리 분석 정보를 제공하는 단계를 포함하고, 상기 병리 분석 정보는 상기 종양 분율, 종양 위치, 그리고 종양 장경을 포함할 수 있다.
상기 조직학적 매핑 이미지를 제공하는 단계는 사용자 단말에 설치된 디지털 병리 이미지 뷰어를 통해 상기 조직학적 매핑 이미지를 제공할 수 있다.
상기 동작 방법은 상기 디지털 병리 이미지 뷰어를 통해, 같은 절편으로부터 생성된 디지털 병리 이미지와 조직학적 매핑 이미지를 한 화면에 제공하는 단계를 더 포함할 수 있다.
상기 동작 방법은 입력된 상기 디지털 슬라이드 이미지들을 지정된 방법으로 표준화한 후, 상기 인공신경망 모델로 입력하는 단계를 더 포함할 수 있다.
상기 동작 방법은 상기 인공신경망 모델에서 추론된 전립선암 관련 조직학적 정보는 종양 영역을 포함하고, 상기 종양 영역은 해당 디지털 슬라이드 이미지에 컨투어(contour) 및/또는 히트맵(heatmap)으로 표시될 수 있다.
상기 인공신경망 모델은 다양한 기관들의 전립선 절제 검체들로부터 제작된 디지털 슬라이드 이미지들을 이용하여 학습될 수 있다.
다른 실시예에 따라 적어도 하나의 프로세서에 의해 동작하는 전립선암 분석 장치의 동작 방법으로서, 전립선 절제 검체의 연속 절편들로부터 제작된 디지털 슬라이드 이미지들을 입력받는 단계, 상기 디지털 슬라이드 이미지들로부터 조직학적 정보를 추론하도록 학습된 인공신경망 모델을 이용하여, 입력된 각 디지털 슬라이드 이미지에서 종양 영역을 추론하는 단계, 그리고 각 디지털 슬라이드 이미지에서 추론된 종양 영역을 기초로 해당 절편의 조직 면적과 종양 면적을 계산하고, 상기 연속 절편들에서 계산된 전체 조직 면적에 대한 전체 종양 면적의 비율인 종양 분율을 계산하는 단계를 포함한다.
상기 종양 분율을 계산하는 단계는 각 디지털 슬라이드 이미지에, 상기 인공신경망 모델에서 추론된 종양 영역을 표시하여, 디지털 병리 이미지들을 생성하는 단계, 각 디지털 병리 이미지에서 조직 면적과 종양 면적을 계산하는 단계, 그리고 전체 디지털 병리 이미지들에서 계산된 전체 조직 면적과 전체 종양 면적을 기초로 상기 종양 분율을 계산하는 단계를 포함할 수 있다.
상기 조직 면적과 종양 면적을 계산하는 단계는 각 디지털 병리 이미지에서 픽셀단위로 종양 면적 및 종양 면적을 계산할 수 있다.
상기 동작 방법은 상기 전립선 절제 검체에 대한 병리 분석 정보를 제공하는 단계를 포함하고, 상기 병리 분석 정보는 상기 종양 분율, 종양 위치, 그리고 종양 장경을 포함할 수 있다.
상기 동작 방법은 각 디지털 병리 이미지에서 추출한 종양 영역을, 대응하는 절편의 육안 이미지에 매핑한 조직학적 매핑 이미지를 생성하는 단계를 더 포함할 수 있다.
상기 조직학적 매핑 이미지를 생성하는 단계는 각 디지털 슬라이드 이미지에, 상기 인공신경망 모델에서 추론된 종양 영역을 표시하여, 디지털 병리 이미지들을 생성하는 단계, 각 디지털 병리 이미지에서 종양 영역을 추출하고, 대응하는 절편의 육안 이미지에 추출한 종양 영역을 매핑하기 위한 조직학적 매핑 정보를 생성하는 단계, 그리고 상기 조직학적 매핑 정보를 해당 육안 이미지에 적용하여 상기 조직학적 매핑 이미지를 생성하는 단계를 포함할 수 있다.
상기 동작 방법은 디지털 병리 이미지 뷰어를 통해, 같은 절편으로부터 생성된 디지털 병리 이미지와 조직학적 매핑 이미지를 한 화면에 제공하는 단계를 더 포함할 수 있다.
또 다른 실시예에 따라 적어도 하나의 프로세서에 의해 동작하는 전립선암 분석 장치로서, 전립선 절제 검체의 연속 절편들로부터 제작된 디지털 슬라이드 이미지들로부터 조직학적 정보를 추론하는 인공신경망 모델, 그리고 상기 인공신경망 모델에서 추론된 전립선암 관련 조직학적 정보를 포함하는 디지털 병리 이미지들, 그리고 각 디지털 병리 이미지에서 추출한 종양 영역을 대응하는 육안 이미지에 매핑한 조직학적 매핑 이미지를 표시하는 디지털 병리 이미지 뷰어를 포함한다.
상기 디지털 병리 이미지 뷰어는 상기 인공지능 모델에서 추론된 조직학적 정보를 확인, 수정, 또는 확정할 수 있는 인터페이스 화면을 표시할 수 있다.
상기 디지털 병리 이미지 뷰어는 상기 전립선 절제 검체의 종양 분율을 표시하고, 상기 종양 분율은 상기 디지털 병리 이미지들에서 계산된 조직 면적과 종양 면적을 기초로 계산될 수 있다.
본 개시에 따르면, 생검 뿐만 아니라 절제된 전립선 전체에서 전립선암 여부를 판별할 수 있다.
본 개시에 따르면, 진료 현장에서 암 판정 시간을 단축하고, 진단 정확도를 높이며, 병리 전문의의 진단 역량을 향상시킬 수 있다.
본 개시에 따르면, 표준 방식으로 제작된 디지털 병리 이미지와 인공지능 모델을 이용하여 조직학적 정보를 얻기 때문에, 외부 환경에 영향받지 않는 객관적인 종양 분율을 제공할 수 있다.
본 개시에 따르면, 육안 이미지에 디지털 종양 영역을 매핑하여 종래의 조직학적 매핑 작업의 번거로움과 부정확성을 개선할 수 있다.
도 1은 종래의 전립선 절제 검체에 대한 병리 검사 방법을 설명하는 도면이다.
도 2는 실시예에 따른 전립선암 분석 장치를 설명하는 도면이다.
도 3은 한 실시예에 따른 조직학적 매핑을 설명하는 도면이다.
도 4는 한 실시예에 따른 전립선 절제 검체의 조직학적 매핑 결과를 설명하는 도면이다.
도 5는 한 실시예에 따른 인공지능 모델 학습을 도식적으로 설명하는 도면이다.
도 6은 한 실시예에 따른 인공지능 모델의 네트워크 구조이다.
도 7은 한 실시예에 따른 디지털 병리 이미지 뷰어를 설명하는 도면이다.
도 8과 도 9는 실시예에 따른 디지털 병리 이미지 뷰어의 인터페이스 화면 예시이다.
도 10과 도 11은 한 실시예에 따른 전립선암 분석 방법의 흐름도이다.
도 12는 한 실시예에 따른 전립선암 분석 장치의 하드웨어 구성도이다.
아래에서는 첨부한 도면을 참고로 하여 본 개시의 실시예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "…부", "…기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
도 1은 종래의 전립선 절제 검체에 대한 병리 검사 방법을 설명하는 도면이다.
도 1을 참고하면, 전립선 절제 검체(prostatectomy specimen)에 대한 병리 검사는 기관마다 다소 상이하나, 검사 기관은 일반적으로 수술로 절제한 전립선을 일정 간격(예를 들면, 3-4mm 간격)으로 위에서 아래 방향 혹은 전방에서 후방으로 연속 절편낸다(S10).
검사 기관은 절제된 전립선의 연속 절편들(serial sections)을 사진 촬영하여, 육안 이미지(gross image)를 생성해 둔다(S20).
검사 기관은 연속 절편들을 파라핀 블록으로 제작하고, 파라핀 블록을 올린 유리 슬라이드들을 제작한 후(S30), 현미경으로 각 유리 슬라이드를 검사하여 종양을 확인한다(S40). 이때, 검사 기관은 현미경으로 확인한 종양을 유리 슬라이드에 펜으로 대략의 경계를 그릴 수 있다. 전립선암은 맨눈 검색에서 종양이 확인이 되지 않는 경우가 많아, 전립선 전체를 파라핀 블록 및 유리 슬라이드로 제작하여 현미경 검사하는 방법이 사용된다. 전립선 전체에 대한 현미경 검사를 위해, 전립선 전체를 유리 슬라이드로 제작하기 때문에, 유리 슬라이드가 환자 1인당 최소 20장에서 50여장에 이른다.
검사 기관은 전립선 전체를 유리 슬라이드로 제작하는 경우, 현미경으로 확인한 종양 영역을 육안 이미지에 수기로 표시하여 조직학적 검사를 한다(S50). 검사 기관은 육안 이미지 위에, 종양 영역이 표시된 유리 슬라이드를 올린 후, 펜으로 종양 영역을 표시하여, 조직학적 매핑(histologic mapping)을 할 수 있다. 육안 이미지에 종양 영역이 표시된 이미지는 조직학적 매핑 이미지라고 부를 수 있다.
이처럼, 조직학적 매핑 이미지는 맨눈으로 확인되지 않는 종양 정보(종양의 좌우 위치, 갯수, 수직 길이, 최대 단면 등)을 시각적으로 제공하고, 종양의 위치, 종양의 크기, 가장 가까운 절연면의 거리, 침습 범위가 가장 깊은 곳의 위치 등을 추정할 수 있다. 여기서 가장 가까운 절연면의 거리는 수술로 떼어낸 전립선 조직의 표면이 종양으로부터 떨어진 가장 짧은 거리를 의미한다. 절연면의 상태가 암의 침범유무, 암에서 얼마나 떨어져 있는지를 판단하는 근거로 사용될 수 있다.
하지만, 전립선 전체에 대한 절편들을 모두 현미경 검사하고, 유리 슬라이드에 수기로 표시한 종양 영역을 육안 이미지에 옮겨야 하므로, 병리 검사 절차가 매우 불편하고, 정확성이 떨어지며, 전문의의 판단이나 숙련도에 영향을 받게 된다.
한편, 종양의 정확한 크기를 3차원으로 측정하거나, 실제 부피로 정량화 하는 것은 현실적으로 거의 불가능하다. 따라서, 전립선암의 조직 병리 검사 보고서에서 종양 분율을 필수 보고 항목으로 지정하고, 종양 분율을 정상 조직 기준으로 1-100% 사이에서 보고하도록 요구한다. 하지만, 전립선암 진단 및 예후 예측에 중요한 종양 분율임에도 불구하고, 표준화된 분율 평가 방식이 없고, 전문의의 주관적 평가에 따라 값이 매우 달라지는 문제가 있다. 이로 인하여, 다양한 연구들에서 전립선암의 종양 분율과 예후와의 관련성에서 차이가 발생하게 된다.
다음에서, 이러한 문제를 해결하기 위한, 인공지능 모델 기반 전립선암 분석 장치 및 프로그램, 이의 동작 방법에 대해 자세히 설명한다.
도 2는 실시예에 따른 전립선암 분석 장치를 설명하는 도면이다.
도 2를 참고하면, 적어도 하나의 프로세서에 의해 동작하는 전립선암 분석 장치(100)는 전립선 절편들의 디지털 슬라이드 이미지들로부터 조직학적 정보를 추론하도록 학습된 인공지능 모델(200)을 이용하여 전립선암 판단에 활용되는 조직학적 정보를 획득한다. 또한, 전립선암 분석 장치(100)는 인공지능 모델(200)로부터 추론된 종양 영역을 육안 이미지에 조직학적 매핑하고, 종양 분율을 계산할 수 있으며, 전립선암 진단 보조를 위한 각종 정보를 인터페이스 화면에 제공할 수 있다.
전립선암 분석 장치(100)는 본 개시를 수행하는 프로그램 및 이를 실행하는 하드웨어를 탑재한 컴퓨팅 장치로 구현될 수 있고, 예를 들면, 랩탑 컴퓨터, 서버 등일 수 있다. 컴퓨팅 장치는 본 개시를 수행하는 프로그램을 설치하고, 실행함으로써, 전립선암 분석 장치(100)로 동작할 수 있다. 전립선암 분석 장치(100)는 다양한 로컬 사이트들에서 개별적으로 동작할 수 있고, 필요에 따라 서버(미도시)와 연동할 수 있다. 또는, 전립선암 분석 장치(100)의 일부 기능은 서버에 구축되고, 다른 일부 기능(예를 들면, 디지털 병리 이미지 뷰어)은 적어도 하나의 로컬 클라이언트(미도시)에 구축될 있고, 서버와 클라이언트들은 네트워크를 통해 연결될 수 있다.
서버 기반 전립선암 분석 장치(100)는 로컬 클라이언트들과 네트워크를 통해 연결되고, 로컬 클라이언트들로부터 디지털 슬라이드 이미지들에 대한 분석의뢰를 수신할 수 있다. 서버 기반 전립선암 분석 장치(100)는 디지털 병리 이미지 뷰어를 통해 분석 결과를 로컬 클라이언트에 제공할 수 있다. 서버 기반 전립선암 분석 장치(100)는 다양한 종류의 스캐너가 지원하는 이미지 포맷을 지원할 수 있고, 다양한 형태로 제작된 디지털 슬라이드 이미지들을 지정된 방법으로 표준화한 후, 인공지능 모델(200)로 입력할 수 있다.
전립선암 분석 장치(100)는 전립선 절제 검체의 연속 절편들로부터 제작된 디지털 슬라이드 이미지들(10), 그리고 연속 절편들의 육안 이미지(gross image)(20)를 입력받고, 분석 결과를 제공할 수 있다. 분석 결과는 병리 분석 정보(30), 연속 절편들에 대한 디지털 병리 이미지(40), 조직학적 매핑 이미지(50)를 포함할 수 있다. 병리 분석 정보(30)는 인공지능 모델(200)로부터 추론된 조직학적 정보(종양 여부, 종양 영역 등), 이를 기초로 분석된 종양 분율(tumor burden), 종양 장경 등을 포함할 수 있다. 종양 분율은 전립선 조직 중 암이 차지하는 비율이고, 종양 장경은 가장 긴 종양의 단면 크기이다. 병리 분석 정보(30)는 종양 분율 계산에 사용된 조직 면적, 종양 면적을 더 포함할 수 있다. 병리 분석 정보(30)는 디지털 슬라이드 이미지별 세부 분석 정보를 포함하고, 이들의 종합 분석 정보를 포함할 수 있다.
전립선암 분석 장치(100)는 사용자와의 인터랙션을 제공하는 디지털 병리 이미지 뷰어를 통해, 분석 결과를 시각적으로 제공할 수 있다. 전립선암 분석 장치(100)는 진료 현장에서 암 판정 시간을 단축하고, 진단 정확도를 높이며, 병리 전문의의 진단 역량을 향상시킬 수 있다.
디지털 슬라이드 이미지들(10)은 연속 절편들의 유리 슬라이드들을 디지털 이미지로 변환한 것이다. 유리 슬라이드를 디지털 이미지로 변환하는 방법은, 유리 슬라이드 내용의 일부 또는 전부를 높은 배율로 스캐닝하여 디지털화하는 전체슬라이드이미징(whole slide imaging, WSI) 방식이 사용될 수 있다.
육안 이미지(20)는 연속 절편들을 촬영한 사진 이미지이다. 육안 이미지(20)는 절편별로 촬영될 수 있고, 또는 전체 절편들이 모두 포함되도록 촬영될 수 있다.
전립선암 분석 장치(100)는 디지털 슬라이드 이미지들(10)에 포함된 절편들과 육안 이미지(20)의 절편들이 서로 대응되도록 관리할 수 있다. 전립선암 분석 장치(100)는 대응되는 절편들이 동일한 인덱스를 가지도록 관리할 수 있다. 인덱스 부여 방법은 다양할 수 있는데, 전립선이 일정 간격으로 절편된 순서와 방향(좌우 또는 위아래)에 따라 순차적으로 부여될 수 있다.
전립선암 분석 장치(100)는 인공지능 모델(200)을 통해, 전립선 절편들로부터 제작된 디지털 슬라이드 이미지들(10)에서 추론된 조직학적 정보를 획득한다. 조직학적 정보는 각 디지털 슬라이드 이미지로부터 추론된 종양 여부, 종양 영역 등의 각종 병리 정보를 포함할 수 있다. 인공지능 모델(200)은 픽셀단위로 종양 여부를 판별할 수 있고, 종양으로 판별된 픽셀들이 종양 영역을 형성한다. 전립선암 분석 장치(100)는 입력된 디지털 슬라이드 이미지들을 지정된 방법으로 표준화한 후, 인공지능 모델(200)로 입력할 수 있다. 디지털 슬라이드 이미지들의 명암, 색, 크기 등이 표준화될 수 있다.
전립선암 분석 장치(100)는 인공지능 모델(200)에서 추론된 종양 영역 등의 각종 조직학적 정보를 기초로, 종양 위치, 종양 분율, 종양 장경 등의 병리 분석 정보(30)를 추출할 수 있다.
전립선암 분석 장치(100)는 N개의 디지털 슬라이드 이미지들에 대응하는 N개의 병리 분석 정보 파일을 생성할 수 있다. 병리 분석 정보 파일은 디지털 병리 이미지 뷰어에서, 사용자에 의해 수정될 수 있다.
전립선암 분석 장치(100)는 디지털 슬라이드 이미지에 종양 영역을 시각적으로 표시한 디지털 병리 이미지(40)를 제공할 수 있다. 예를 들면, 종양 영역은 컨투어(contour)나 히트맵(heatmap)으로 표시될 수 있다. 전립선암 분석 장치(100)는 병리 분석 정보 파일에 포함된 조직학적 정보(종양 영역)를 불러와서, 디지털 슬라이드 이미지에 표시하는 방식으로 디지털 병리 이미지(40)를 제공할 수 있다.
전립선암 분석 장치(100)는 각 디지털 병리 이미지(40)에서 조직 면적과 종양 면적을 계산하고, 전체 조직 면적에 대한 전체 종양 면적의 비율을 종양 분율로 결정할 수 있다. 각 디지털 병리 이미지(40)에서 면적을 계산하는 방법은 다양할 수 있으나, 픽셀단위로 면적을 계산할 수 있다.
전립선암 분석 장치(100)는 각 절편의 육안 이미지(20)에, 해당 절편의 종양 영역을 매핑할 수 있다. 전립선암 분석 장치(100)는 각 디지털 병리 이미지(40)에서 종양 영역을 추출하고, 종양 영역을 육안 이미지(20)에 매핑하기 위한 조직학적 매핑 정보를 생성한다. 육안 이미지에 종양 영역이 매핑된 이미지를 조직학적 매핑 이미지(50)라고 부를 수 있다. 조직학적 매핑 시, 디지털 병리 이미지(40)에 포함된 조직 영역과 육안 이미지의 조직 영역의 크기/모양이 다를 수 있다. 따라서, 전립선암 분석 장치(100)는 디지털 병리 이미지(40)의 조직 영역이 육안 이미지의 실제 조직 영역에 맞춰지도록 디지털 병리 이미지의 배율을 보정한다. 전립선암 분석 장치(100)는 디지털 병리 이미지(40)의 종양 영역을 보정 배율에 따라 크기 조정하고, 육안 이미지에 매핑된 크기 조정된 종양 영역 위치를 조직학적 매핑 정보로 저장한다. 육안 이미지에 조직학적 매핑 정보를 적용하여, 종양 영역이 표시된 조직학적 매핑 이미지(50)를 생성할 수 있다.
전립선암 분석 장치(100)는 디지털 병리 이미지 뷰어를 통해, 조직학적 정보가 디지털 슬라이드 이미지에 표시(예를 들면, 오버레이)된 디지털 병리 이미지(40)를 제공할 수 있고, 조직학적 정보가 육안 이미지에 표시(예를 들면, 오버레이)된 매핑 이미지(50)를 제공할 수 있다. 이때, 전립선암 분석 장치(100)는 상호 매칭된 디지털 병리 이미지(40)와 조직학적 매핑 이미지(50)를 한 화면에 제공함으로써, 병리전문의가 이들을 동시에 확인할 수 있도록 지원할 수 있다.
전립선암 분석 장치(100)는 디지털 슬라이드 이미지들(10)에 대한 인공지능 모델(200)의 추론 결과에 대해, 전문의로부터 확인 또는 수정을 거친 후, 병리 분석 정보를 확정할 수 있다. 즉, 병리 전문의가 인공지능 모델(200)의 추론 결과를 확인 또는 수정하여 종양 영역을 확정하면, 확정된 종양 영역이 병리 분석 정보 파일에 반영된다. 전립선암 분석 장치(100)는 병리 전문의에 의해 확정된 조직학적 정보를 기초로 디지털 병리 이미지(40)를 제공하고, 디지털 병리 이미지(40)의 종양 영역을 기초로 조직학적 매핑 이미지(50)를 제공하며, 종양 분율을 포함하는 병리 분석 정보를 제공할 수 있다.
도 3은 한 실시예에 따른 조직학적 매핑을 설명하는 도면이고, 도 4는 한 실시예에 따른 전립선 절제 검체의 조직학적 매핑 결과를 설명하는 도면이다.
도 3을 참고하면, 전립선암 분석 장치(100)는 어느 절편의 디지털 병리 이미지(40)에서 종양이 존재하면, 종양 영역 경계(41)를 추출할 수 있다. 전립선암 분석 장치(100)는 촬영된 실제 조직(21)이 표시된 육안 이미지(20)에, 종양 영역 경계(41)를 매핑할 수 있다. 예를 들면, 전립선암 분석 장치(100)는 인덱스8의 조직에서 종양이 존재하는 경우, 인덱스8의 육안 이미지에 종양 영역을 매핑할 수 있다.
전립선암 분석 장치(100)는 디지털 병리 이미지(40)에서 추출한 조직 영역 경계(42)를 육안 이미지(20)의 조직(21)에 매칭해서, 종양 영역 경계(41)를 육안 이미지(20)의 조직(21)에 오버레이할 수 있다.
한편, 조직학적 매핑 시, 디지털 병리 이미지(40)에 포함된 조직 영역과 육안 이미지의 조직 영역의 크기/모양/방향이 다를 수 있다. 따라서, 전립선암 분석 장치(100)는 디지털 병리 이미지(40)에서 조직 영역 경계(42)를 추출하고, 조직 영역 경계(42)가 육안 이미지(20)의 조직(21)에 매칭되는 디지털 병리 이미지의 보정 배율을 결정할 수 있다. 전립선암 분석 장치(100)는 촬영된 조직(21)에 디지털 종양 경계(41)가 매핑된 조직학적 매핑 이미지(50)를 생성할 수 있다.
도 4를 참고하면, 전립선 절제 검체(prostatectomy specimen)는 선단(apex)부터 기저(base)까지 일정 간격으로 연속 절편될 수 있다. 연속 절편들은 선단 절편, a절편, b절편, c절편, d절편, e절편, f절편, …, 기저 절편을 포함하고, 각 절편의 좌우에 순차적인 인덱스가 부여될 수 있다.
전립선암 분석 장치(100)는 인공지능 모델(200)을 통해, 각 절편의 디지털 병리 이미지(우측)에서 종양 영역을 판별하고, 해당 절편을 촬영한 육안 이미지에, 판별한 종양 영역을 매핑하여 조직학적 매핑 이미지(좌측)을 생성할 수 있다.
전립선암 분석 장치(100)는 상호 매칭된 디지털 병리 이미지와 조직학적 매핑 이미지를 동시에 제공할 수 있다. 따라서, 병리 전문의는 디지털 슬라이드 이미지로부터 판별된 종양 정보와, 실제 조직에서의 종양 위치, 크기 등을 확인할 수 있으므로, 정확한 진단을 할 수 있다.
도 5는 한 실시예에 따른 인공지능 모델 학습을 도식적으로 설명하는 도면이고, 도 6은 한 실시예에 따른 인공지능 모델의 네트워크 구조이다.
도 5를 참고하면, 인공지능 모델(200)은 전립선 절제 검체의 연속 절편들로 제작된 디지털 슬라이드 이미지들로부터 조직학적 정보를 추론하도록 학습된다. 인공지능 모델(200)에서 추론된 종양 여부, 종양 영역 등의 조직학적 정보를 기초로, 종양 위치, 종양 분율, 종양 장경 등의 병리 분석 정보가 추출될 수 있다.
학습 데이터는 인공지능 모델(200)의 구조, 학습 방법, 태스크 등에 따라 달라질 수 있다. 예를 들면, 인공지능 모델(200)이 입력에서 종양을 판별하도록 지도 학습하는 경우, 학습 데이터는 전립선 절제 검체의 연속 절편들로 제작된 디지털 슬라이드 이미지들(60) 그리고 디지털 슬라이드 이미지들(60)의 정답값(ground truth) 이미지들(70)을 포함할 수 있다. 정답값 이미지들(70)은 디지털 슬라이드 이미지들(60)에 종양 영역이 어노테이션된 이미지를 기초로 제작될 수 있다.
인공지능 모델(200)은 훈련 장치(미도시)에 의해 학습될 수 있다. 인공지능 모델(200)은 입력 디지털 슬라이드 이미지(60)로부터 추론된 이미지(80)와 정답값 이미지(70)의 차이(loss)를 줄이는 방향으로 네트워크 파라미터들을 조정하면서, 학습을 진행한다. 이때, 인공지능 모델(200)는 전체 디지털 슬라이드 이미지를 입력받을 수 있고, 패치로 조각난 일부 디지털 슬라이드 이미지를 입력받을 수 있다.
학습용 디지털 슬라이드 이미지들(60)은 명암, 색, 크기 등이 표준화된 이미지들일 수 있다. 인공지능 모델(200)의 학습 편향을 방지하기 위해, 다양한 기관들의 전립선 절제 검체들로부터 제작된 디지털 슬라이드 이미지들(60)이 학습에 사용될 수 있다.
한편, 정상 세포를 포함하는 패치들과 비정상 세포(암 세포)를 포함하는 패치들의 수가 균일하지 않으면, 학습 편중으로 인해 인공지능 모델(200)이 소수 패치가 속하는 클래스를 예측하기 어려워진다. 따라서, 학습 데이터는 인공지능 모델(200)의 학습이 특정 분류 클래스로 치중되지 않도록 데이터 밸런싱을 유지하도록 준비된다. 예를 들면, 정상 세포를 포함하는 패치와 비정상 세포를 포함하는 패치(암 세포 영역이 20% 이상인 패치)의 비율별 학습 결과를 토대로 가장 좋은 결과를 보여준 비율(1:1)을 찾고, 균일한 비율로 학습 데이터가 제작될 수 있다.
학습 데이터는 무작위 좌우 반전, 크로핑(cropping), 밝기 조절(color jitter) 및 정규화 등을 통해, 증대될 수 있다.
인공지능 모델(200)의 학습에 Human-in-the-loop CNN 모델 학습 기법이 사용될 수 있다. 구체적으로, 인공지능 모델은 판별 레이블(label)이 어노테이션된 제1 기관의 데이터셋을 기초로 초기 지도학습(supervised learning)하거나, 제1 기관 및 새로운 기관들의 어노테이션 없는 데이터셋을 추가하여 초기 준지도학습(semi-supervised learning)을 할 수 있다. 이후, 초기 학습된 인공지능 모델을 사용하여 기존 제1 기관의 데이터셋과 새로운 기관들의 데이터셋에 대한 추론 결과를 획득한다. 인공지능 모델로부터 획득한 추론 결과를 기초로, 기존 제1 기관의 데이터셋과 새로운 기관들의 데이터셋의 레이블이 수정된다. 이후, 인공지능 모델은 수정된 레이블이 어노테이션된 데이터셋을 모두 이용하여, 추가 학습할 수 있다. 이를 통해, 네트워크 성능을 향상시킬 수 있고, 병리학자의 어노테이션 비용을 줄일 수 있다.
도 6을 참고하면, 인공지능 모델(200)은 다양한 네트워크 구조로 구현될 수 있다. 예를 들면, 인공지능 모델(200)은 인코더(210) 및 디코더(230)를 포함할 수 있고, 인코딩된 특징을 참조하여 복원하는 U-Net 기반으로 구현될 수 있다.
인코더(210)는 입력 이미지에서 특징을 추출하는 네트워크 구조를 가진다. 인코더(210)는 전립선암 진단 보조를 위해, 픽셀 단위로 전립선암 유무를 판별할 수 있는 네트워크 구조, 예를 들면, EfficientNet으로 구현될 수 있다.
인코더(210)는 순차적인 MBConv(mobile inverted bottleneck convolution) 블록들(211)을 포함할 수 있다. 각 MBConv 블록은 깊이 단위 컨볼루션(depthwise convolution)과 SENet(squeeze-and excitation network)을 포함할 수 있다.
디코더(230)는 인코더(210)에서 추출한 입력 이미지의 특징을 복원하는 네트워크 구조를 가진다. 디코더(230)는 인코더(210)의 MBConv 블록들에서 추출된 특징들을 참조하여 복원할 수 있다.
기계학습 기반 심층 신경망(Deep Neural Network, DNN)를 사용한 기존 전립선암 병리 요소 추론은 mean Intersection over Union(mIoU)를 기준으로 77.3%~ 79.6%의 성능을 제공하는데, 인공지능 모델(200)의 전립선암 병리 요소 추론은 mIoU 기준으로 92.9% 이상의 성능을 제공할 수 있다.
도 7은 한 실시예에 따른 디지털 병리 이미지 뷰어를 설명하는 도면이고, 도 8과 도 9는 실시예에 따른 디지털 병리 이미지 뷰어의 인터페이스 화면 예시이다.
도 7을 참고하면, 전립선암 분석 장치(100)는 디지털 병리 이미지 뷰어(300)를 통해, 전립선 절제 검체에 대한 분석 결과를 시각적으로 제공할 수 있다. 디지털 병리 이미지 뷰어(300)는 사용자 단말(400)에 설치되는 프로그램으로서, 네트워크를 통해 전립선암 분석 장치(100)에 접속할 수 있다.
전립선암 분석 장치(100)는 디지털 슬라이드 이미지들, 각 디지털 슬라이드 이미지의 조직학적 정보, 육안 이미지, 조직학적 매핑 정보, 병리 분석 정보(종양 위치, 종양 분율, 종양 장경 등) 등을 환자별로 관리할 수 있다. 여기서, 디지털 슬라이드 이미지들, 육안 이미지 등의 환자 이미지는 별도의 이미지 관리 시스템에 관리될 수 있으나, 설명의 편의 상 전립선암 분석 장치(100)가 디지털 병리 이미지 뷰어(300)와 연동한다고 가정한다. 한편, 환자 데이터 관리 정책에 따라, 전립선암 분석 장치(100)에서 관리되는 적어도 일부의 환자 데이터가 사용자 단말(400)에 저장될 수 있다.
디지털 병리 이미지 뷰어(300)는 전립선암 분석 장치(100)에서 제공하는 정보를 사용자 단말(400)의 디스플레이 장치에 시각적으로 표시할 수 있고, 화면 레이아웃 및 기능은 다양하게 설계될 수 있다.
디지털 병리 이미지 뷰어(300)는 이미지 확대/축소/이동 기능, 화면 분할로 여러 이미지를 동시에 조회하는 멀티 뷰(multi-view) 기능, 이미지간 이동(navigation) 기능 등을 제공할 수 있다.
디지털 병리 이미지 뷰어(300)는 병리 전문의가 인공지능 모델(200)의 추론 결과를 확인, 수정, 또는 확정할 수 있는 인터페이스 화면을 제공할 수 있다. 디지털 병리 이미지 뷰어(300)는 사용자가 컨투어나 히트맵 등으로 표시된 종양 영역을 편집할 수 있는 인터페이스 화면을 제공하고, 사용자(병리 전문의)에 의해 수정된 종양 영역을 전립선암 분석 장치(100)으로 전달하여, 병리 분석 정보를 갱신할 수 있다. 여기서, 인공지능 모델(200)에서 추론된 분석 결과와, 사용자에 의해 갱신된 결과는 별도로 저장될 수 있다.
디지털 병리 이미지 뷰어(300)는 서로 대응하는 디지털 슬라이드 이미지와 육안 이미지를 함께 표시하거나, 디지털 병리 이미지와 조직학적 매핑 이미지를 함께 표시하는 인터페이스 화면을 제공할 수 있다.
도 8 및 도 9를 참고하면, 디지털 병리 이미지 뷰어(300)는 사용자 단말(400)의 디스플레이 장치에 인터페이스 화면(500a, 500b)을 표시할 수 있다.
인터페이스 화면(500a, 500b)은 디지털 슬라이드 이미지에 종양 영역을 컨투어나 히트맵 등으로 표시한 디지털 병리 이미지(40)를 표시할 수 있다. 컨투어나 히트맵 등으로 표시된 종양 영역은 사용자에 의해 수정될 수 있고, 수정된 종양 영역으로 병리 분석 정보 파일이 갱신될 수 있다.
인터페이스 화면(500a, 500b)은 디지털 슬라이드 이미지들/디지털 병리 이미지들/육안 아미지를 선택할 수 있는 메뉴(510)를 제공할 수 있다.
인터페이스 화면(500a, 500b)은 현재 화면에 표시되는 현재 슬라이드 분석 정보와 종합적인 분석 정보를 포함하는 병리 분석 정보(30)를 표시할 수 있다. 현재 슬라이드 분석 정보는 예를 들면, 조직 면적, 종양 면적, 종양 분율 등을 포함하고, 종합 분석 정보는 전체 디지털 슬라이드 이미지 수, 종양이 존재하는 디지털 슬라이드 정보, 전체 조직 면적, 전체 종양 면적, 종양 분율 등을 포함할 수 있다.
인터페이스 화면(500a, 500b)은 디지털 병리 이미지(40)와 조직학적 매핑 이미지(50)를 한 화면에 표시할 수 있다. 이외에도, 히트맵 이미지(90)가 더 표시될 수 있다.
도 10과 도 11은 한 실시예에 따른 전립선암 분석 방법의 흐름도이다.
도 10을 참고하면, 전립선암 분석 장치(100)는 전립선 절제 검체의 연속 절편들의 디지털 슬라이드 이미지들, 그리고 연속 절편들의 육안 이미지를 입력받는다(S110). 디지털 슬라이드 이미지들은 연속 절편들의 유리 슬라이드들을 디지털 이미지로 변환한 것이다. 전립선암 분석 장치(100)는 디지털 슬라이드 이미지들을 지정된 방식(명암, 색, 크기 등)으로 표준화한 후, 분석을 진행할 수 있다.
전립선암 분석 장치(100)는 디지털 슬라이드 이미지들로부터 조직학적 정보를 추론하도록 학습된 인공지능 모델(200)을 이용하여, 전립선암 관련 조직학적 정보를 획득한다(S120). 조직학적 정보는 종양 여부, 종양 영역 등을 포함할 수 있다. 인공지능 모델(200)은 디지털 슬라이드 이미지의 픽셀단위로 종양 여부를 판별할 수 있다.
전립선암 분석 장치(100)는 각 디지털 슬라이드 이미지에 전립선암 관련 조직학적 정보를 표시한 디지털 병리 이미지를 생성한다(S130). 전립선암 분석 장치(100)는 종양 영이 컨투어나 히트맵 등으로 표시된 디지털 병리 이미지를 생성할 수 있다. 전립선암 분석 장치(100)는 디지털 병리 이미지 뷰어를 통해, 디지털 병리 이미지를 제공하고, 사용자에 의해 수정된 종양 영역으로 병리 분석 정보 파일을 갱신할 수 있다.
전립선암 분석 장치(100)는 각 디지털 병리 이미지에서 조직 면적과 종양 면적을 계산하고, 전체 디지털 병리 이미지들의 전체 조직 면적에 대한 전체 종양 면적의 비율인 종양 분율을 계산한다(S140). 전립선암 분석 장치(100)는 각 디지털 병리 이미지에서 픽셀단위로 면적을 계산할 수 있다.
전립선암 분석 장치(100)는 각 디지털 병리 이미지에서 종양 영역을 추출하고, 대응하는 절편의 육안 이미지에 종양 영역을 매핑하기 위한 조직학적 매핑 정보를 생성한다(S150). 전립선암 분석 장치(100)는 디지털 병리 이미지의 조직 영역이 육안 이미지의 실제 조직 영역에 맞춰지도록 디지털 병리 이미지의 배율을 보정하고, 디지털 병리 이미지의 종양 영역을 보정 배율에 따라 크기 조정할 수 있다. 전립선암 분석 장치(100)는 육안 이미지에 매핑된 크기 조정된 종양 영역 위치를 조직학적 매핑 정보로 저장할 수 있다. 전립선암 분석 장치(100)는 육안 이미지에 조직학적 매핑 정보를 적용하여, 종양 영역이 표시된 조직학적 매핑 이미지를 생성할 수 있다.
전립선암 분석 장치(100)는 디지털 병리 이미지 뷰어를 통해, 디지털 병리 이미지들, 조직학적 매핑 정보를 기초로 육안 이미지에 종양 영역을 표시한 조직학적 매핑 이미지들, 그리고 종양 분율을 포함하는 병리 분석 정보를 제공한다(S160). 병리 분석 정보는 인공지능 모델(200)로부터 추론된 조직학적 정보(종양 여부, 종양 영역 등), 이를 기초로 분석된 종양 분율, 종양 장경 등을 포함할 수 있다. 병리 분석 정보는 종양 분율 계산에 사용된 조직 면적, 종양 면적을 더 포함할 수 있다. 병리 분석 정보는 디지털 슬라이드 이미지별 세부 분석 정보를 포함하고, 이들의 종합 분석 정보를 포함할 수 있다.
도 11을 참고하면, 디지털 병리 이미지 뷰어(300)는 사용자 단말(400)에 설치되고, 서버측 전립선암 분석 장치(100)와 연동하여 병리 분석 정보를 화면에 표시할 수 있다.
디지털 병리 이미지 뷰어(300)는 인공신경망 모델에서 추론된 전립선암 관련 조직학적 정보가 포함된 디지털 병리 이미지들 표시한다(S210). 디지털 병리 이미지들은 전립선 절제 검체의 연속 절편들로부터 추론된 전립선암 조직학적 정보를 시각적으로 표시한다.
디지털 병리 이미지 뷰어(300)는 디지털 병리 이미지에서 수정된 종양 영역을 서버측 전립선암 분석 장치(100)로 전달하여, 병리 분석 정보를 갱신한다(S220).
디지털 병리 이미지 뷰어(300)는 디지털 병리 이미지들, 육안 이미지에 종양 영역을 표시한 조직학적 매핑 이미지들, 그리고 종양 분율을 포함하는 병리 분석 정보를 표시한다(S230). 조직학적 매핑 이미지는 육안 이미지에 조직학적 매핑 정보를 적용하여 종양 영역을 표시한 이미지이다. 조직학적 매핑 정보는 육안 이미지에 표시되는 종양 영역 위치를 포함할 수 있다. 병리 분석 정보는 인공지능 모델(200)로부터 추론된 조직학적 정보(종양 여부, 종양 영역 등), 이를 기초로 분석된 종양 분율, 종양 장경 등을 포함할 수 있다. 병리 분석 정보는 종양 분율 계산에 사용된 조직 면적, 종양 면적을 더 포함할 수 있다. 병리 분석 정보는 디지털 슬라이드 이미지별 세부 분석 정보를 포함하고, 이들의 종합 분석 정보를 포함할 수 있다.
도 12는 한 실시예에 따른 전립선암 분석 장치의 하드웨어 구성도이다.
도 12를 참고하면, 전립선암 분석 장치(100)는 적어도 하나의 프로세서에 의해 동작하는 컴퓨팅 장치로 구현될 수 있다. 전립선암 분석 장치(100)는 하나 이상의 프로세서(110), 프로세서(110)에 의하여 수행되는 컴퓨터 프로그램을 로드하는 메모리(130), 컴퓨터 프로그램 및 각종 데이터를 저장하는 저장 장치(150), 통신 인터페이스(170), 그리고 이들을 연결하는 버스(190)를 포함할 수 있다. 이외에도, 전림선암 분석 장치(100)는 다양한 구성 요소가 더 포함될 수 있다.
프로세서(110)는 전립선암 분석 장치(100)의 동작을 제어하는 장치로서, 컴퓨터 프로그램에 포함된 명령어들을 처리하는 다양한 형태의 프로세서일 수 있고, 예를 들면, CPU(Central Processing Unit), MPU(Micro Processor Unit), MCU(Micro Controller Unit), GPU(Graphic Processing Unit) 또는 본 개시의 기술 분야에 잘 알려진 임의의 형태의 프로세서 중 적어도 하나를 포함하여 구성될 수 있다.
메모리(130)는 각종 데이터, 명령 및/또는 정보를 저장한다. 메모리(130)는 본 개시의 동작을 실행하도록 기술된 명령어들이 프로세서(110)에 의해 처리되도록 해당 컴퓨터 프로그램을 저장 장치(150)로부터 로드할 수 있다. 메모리(130)는 예를 들면, ROM(read only memory), RAM(random access memory) 등 일 수 있다.
저장 장치(150)는 컴퓨터 프로그램, 각종 데이터를 비임시적으로 저장할 수 있다. 저장 장치(150)는 ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리 등과 같은 비휘발성 메모리, 하드 디스크, 착탈형 디스크, 또는 본 개시가 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터로 읽을 수 있는 기록 매체를 포함하여 구성될 수 있다.
통신 인터페이스(170)는 유/무선 통신을 지원하는 유/무선 통신 모듈일 수 있다.
버스(190)는 전립선암 분석 장치(100)의 구성 요소 간 통신 기능을 제공한다.
컴퓨터 프로그램은, 프로세서(110)에 의해 실행되는 명령어들(instructions)을 포함하고, 비일시적-컴퓨터 판독가능 저장매체(non-transitory computer readable storage medium)에 저장되며, 명령어들은 프로세서(110)가 본 개시의 동작을 실행하도록 만든다. 컴퓨터 프로그램은 네트워크를 통해 다운로드되거나, 제품 형태로 판매될 수 있다. 인공지능 모델(200)은 프로세서(110)에 의해 실행되는 컴퓨터 프로그램으로 구현될 수 있다.
이와 같이, 본 개시에 따르면, 생검 뿐만 아니라 절제된 전립선 전체에서 전립선암 여부를 판별할 수 있다.
본 개시에 따르면, 진료 현장에서 암 판정 시간을 단축하고, 진단 정확도를 높이며, 병리 전문의의 진단 역량을 향상시킬 수 있다.
본 개시에 따르면, 표준 방식으로 제작된 디지털 병리 이미지와 인공지능 모델을 이용하여 조직학적 정보를 얻기 때문에, 외부 환경에 영향받지 않는 객관적인 종양 분율을 제공할 수 있다.
본 개시에 따르면, 육안 이미지에 디지털 종양 영역을 매핑하여 종래의 조직학적 매핑 작업의 번거로움과 부정확성을 개선할 수 있다.
이상에서 설명한 본 개시의 실시예는 장치 및 방법을 통해서만 구현이 되는 것은 아니며, 본 개시의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있다.
이상에서 본 개시의 실시예에 대하여 상세하게 설명하였지만 본 개시의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 개시의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 개시의 권리범위에 속하는 것이다.

Claims (20)

  1. 적어도 하나의 프로세서에 의해 동작하는 전립선암 분석 장치의 동작 방법으로서,
    전립선 절제 검체의 연속 절편들로부터 제작된 디지털 슬라이드 이미지들, 그리고 상기 연속 절편들의 육안 이미지를 입력받는 단계,
    상기 디지털 슬라이드 이미지들로부터 조직학적 정보를 추론하도록 학습된 인공신경망 모델을 이용하여, 입력된 각 디지털 슬라이드 이미지의 전립선암 관련 조직학적 정보를 획득하는 단계,
    각 디지털 슬라이드 이미지에, 상기 인공신경망 모델에서 추론된 전립선암 관련 조직학적 정보를 표시하여, 디지털 병리 이미지들을 생성하는 단계, 그리고
    각 디지털 병리 이미지에서 추출한 종양 영역을, 대응하는 절편의 육안 이미지에 매핑한 조직학적 매핑 이미지를 제공하는 단계
    를 포함하는 동작 방법.
  2. 제1항에서,
    상기 조직학적 매핑 이미지를 제공하는 단계는
    각 디지털 병리 이미지에서 종양 영역을 추출하고, 대응하는 절편의 육안 이미지에 추출한 종양 영역을 매핑하기 위한 조직학적 매핑 정보를 생성하는 단계, 그리고
    상기 조직학적 매핑 정보를 해당 육안 이미지에 적용하여 상기 조직학적 매핑 이미지를 제공하는 단계
    를 포함하는 동작 방법.
  3. 제1항에서,
    각 디지털 병리 이미지에서 조직 면적과 종양 면적을 계산하고, 전체 디지털 병리 이미지들의 전체 조직 면적에 대한 전체 종양 면적의 비율인 종양 분율을 계산하는 단계
    를 더 포함하는 동작 방법.
  4. 제3항에서,
    상기 종양 분율을 계산하는 단계는
    각 디지털 병리 이미지에서 픽셀단위로 종양 면적 및 종양 면적을 계산하는, 동작 방법.
  5. 제3항에서,
    상기 전립선 절제 검체에 대한 병리 분석 정보를 제공하는 단계를 포함하고,
    상기 병리 분석 정보는 상기 종양 분율, 종양 위치, 그리고 종양 장경을 포함하는, 동작 방법.
  6. 제1항에서,
    상기 조직학적 매핑 이미지를 제공하는 단계는
    사용자 단말에 설치된 디지털 병리 이미지 뷰어를 통해 상기 조직학적 매핑 이미지를 제공하는, 동작 방법.
  7. 제6항에서,
    상기 디지털 병리 이미지 뷰어를 통해, 같은 절편으로부터 생성된 디지털 병리 이미지와 조직학적 매핑 이미지를 한 화면에 제공하는 단계
    를 더 포함하는 동작 방법.
  8. 제1항에서,
    입력된 상기 디지털 슬라이드 이미지들을 지정된 방법으로 표준화한 후, 상기 인공신경망 모델로 입력하는 단계
    를 더 포함하는 동작 방법.
  9. 제1항에서,
    상기 인공신경망 모델에서 추론된 전립선암 관련 조직학적 정보는 종양 영역을 포함하고,
    상기 종양 영역은 해당 디지털 슬라이드 이미지에 컨투어(contour) 및/또는 히트맵(heatmap)으로 표시되는, 동작 방법.
  10. 제1항에서,
    상기 인공신경망 모델은
    다양한 기관들의 전립선 절제 검체들로부터 제작된 디지털 슬라이드 이미지들을 이용하여 학습되는, 동작 방법.
  11. 삭제
  12. 삭제
  13. 삭제
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
  18. 적어도 하나의 프로세서에 의해 동작하는 전립선암 분석 장치로서,
    전립선 절제 검체의 연속 절편들로부터 제작된 디지털 슬라이드 이미지들로부터 조직학적 정보를 추론하는 인공신경망 모델, 그리고
    상기 인공신경망 모델에서 추론된 전립선암 관련 조직학적 정보를 포함하는 디지털 병리 이미지들, 그리고 각 디지털 병리 이미지에서 추출한 종양 영역을 대응하는 육안 이미지에 매핑한 조직학적 매핑 이미지를 표시하는 디지털 병리 이미지 뷰어
    를 포함하는 전립선암 분석 장치.
  19. 제18항에서,
    상기 디지털 병리 이미지 뷰어는
    상기 인공신경망 모델에서 추론된 조직학적 정보를 확인, 수정, 또는 확정할 수 있는 인터페이스 화면을 표시하는, 전립선암 분석 장치.
  20. 제18항에서,
    상기 디지털 병리 이미지 뷰어는
    상기 전립선 절제 검체의 종양 분율을 표시하고,
    상기 종양 분율은
    상기 디지털 병리 이미지들에서 계산된 조직 면적과 종양 면적을 기초로 계산되는, 전립선암 분석 장치.
KR1020210192094A 2021-12-30 2021-12-30 전립선암 분석 장치 및 프로그램, 이의 동작 방법 KR102393957B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020210192094A KR102393957B1 (ko) 2021-12-30 2021-12-30 전립선암 분석 장치 및 프로그램, 이의 동작 방법
US17/857,328 US11568539B1 (en) 2021-12-30 2022-07-05 Apparatus and method for prostate cancer analysis

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210192094A KR102393957B1 (ko) 2021-12-30 2021-12-30 전립선암 분석 장치 및 프로그램, 이의 동작 방법

Publications (1)

Publication Number Publication Date
KR102393957B1 true KR102393957B1 (ko) 2022-05-03

Family

ID=81591351

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210192094A KR102393957B1 (ko) 2021-12-30 2021-12-30 전립선암 분석 장치 및 프로그램, 이의 동작 방법

Country Status (2)

Country Link
US (1) US11568539B1 (ko)
KR (1) KR102393957B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210038987A (ko) * 2018-08-30 2021-04-08 어플라이드 머티어리얼스, 인코포레이티드 자동 종양 검출 및 분류를 위한 시스템

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140233826A1 (en) 2011-09-27 2014-08-21 Board Of Regents Of The University Of Texas System Systems and methods for automated screening and prognosis of cancer from whole-slide biopsy images
WO2019105976A1 (en) 2017-11-28 2019-06-06 Cadess Medical Ab Prostate cancer tissue image classification with deep learning
KR102215269B1 (ko) 2018-08-07 2021-02-15 주식회사 딥바이오 진단 결과 생성 시스템 및 방법
US11494900B2 (en) 2019-07-26 2022-11-08 Case Western Reserve University Prognosis of prostate cancer with computerized histomorphometric features of tumor morphology from routine hematoxylin and eosin slides
US11564621B2 (en) * 2019-09-27 2023-01-31 Progenies Pharmacenticals, Inc. Systems and methods for artificial intelligence-based image analysis for cancer assessment
WO2022099309A1 (en) * 2020-11-06 2022-05-12 Verily Life Sciences Llc Artificial intelligence prediction of prostate cancer outcomes
KR102246319B1 (ko) 2021-01-07 2021-05-03 주식회사 딥바이오 병리 검체에 대한 판단 결과를 제공하는 인공 뉴럴 네트워크의 학습 방법, 및 이를 수행하는 컴퓨팅 시스템

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210038987A (ko) * 2018-08-30 2021-04-08 어플라이드 머티어리얼스, 인코포레이티드 자동 종양 검출 및 분류를 위한 시스템

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Ilaria Jansen 외, Histopathology: ditch the slides, because digital and 3D are on show, World Journal of Urology, 2018.02.02., Vol.36, pp.549-555. *
Lucas C. Cahill 외, Comparing histologic evaluation of prostate tissue using nonlinear microscopy and paraffin H&E: a pilot study, Modern Pathology, 2019.03.26., Vol.32, pp.1158-1167.* *
Mirabela Rusu 외, Registration of pre-surgical MRI and whole-mount histopathology images in prostate cancer patients with radical prostatectomy via RAPSODI, arXiv, 2019.09.21., pp.1-16. *
Wenchao Han 외, Automatic cancer detection on digital histopathology images of mid-gland radical prostatectomy specimens, Journal of Medical Imaging, 2020.07.16., Vol.7, No.4, pp.1-23.* *

Also Published As

Publication number Publication date
US11568539B1 (en) 2023-01-31

Similar Documents

Publication Publication Date Title
US11842556B2 (en) Image analysis method, apparatus, program, and learned deep learning algorithm
US20210369195A1 (en) Method and system for disease analysis and interpretation
US7639848B2 (en) Lesion marking and characterization quality assurance method and system
JP7217893B2 (ja) 光学組織像の分析及び遠隔読影のためのシステム及び方法
JP4310099B2 (ja) 肺疾患検出のための方法及びシステム
US9478022B2 (en) Method and system for integrated radiological and pathological information for diagnosis, therapy selection, and monitoring
CN114207675A (zh) 用于数字病理学的用于处理图像以针对所处理的图像制备载片的系统和方法
JP4911029B2 (ja) 異常陰影候補検出方法、異常陰影候補検出装置
JP2024038396A (ja) 画像解析方法、画像解析装置、およびプログラム
CN110853005A (zh) 一种免疫组化膜染色切片诊断方法及装置
CN114332132A (zh) 图像分割方法、装置和计算机设备
US20180322618A1 (en) Methods for color enhanced detection of bone density from ct images and methods for opportunistic screening using same
CN111656393A (zh) 组织学图像分析
KR102393957B1 (ko) 전립선암 분석 장치 및 프로그램, 이의 동작 방법
CN115564750A (zh) 术中冰冻切片图像识别方法及装置、设备、存储介质
WO2021261323A1 (ja) 情報処理装置、情報処理方法、プログラム及び情報処理システム
CN116798611B (zh) 肝硬化结节的良恶性质预测装置、方法、设备及介质
US20230274421A1 (en) Method for providing information about diagnosis of gallbladder polyp and device for providing information about diagnosis of gallbladder polyp using same
US20240161299A1 (en) System and method for quality assurance of pixel pipeline
KR102393390B1 (ko) 서로 다른 의료 영상에 기반한 상관 정보를 이용한 타겟 데이터 예측 방법
JP7431753B2 (ja) デジタルパソロジーのための感度分析
CN117529771A (zh) 用于像素管线质量保证的系统和方法
WO2023288107A1 (en) Automated digital assessment of histologic samples
US11984217B2 (en) Method and apparatus for processing histological image captured by medical imaging device
WO2023028061A1 (en) Systems and methods for predicting corneal improvement from scheimpflug imaging using machine learning

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant