KR102481191B1 - 딥러닝을 이용한 고속화된 의료 영상 분석 방법 - Google Patents
딥러닝을 이용한 고속화된 의료 영상 분석 방법 Download PDFInfo
- Publication number
- KR102481191B1 KR102481191B1 KR1020220038401A KR20220038401A KR102481191B1 KR 102481191 B1 KR102481191 B1 KR 102481191B1 KR 1020220038401 A KR1020220038401 A KR 1020220038401A KR 20220038401 A KR20220038401 A KR 20220038401A KR 102481191 B1 KR102481191 B1 KR 102481191B1
- Authority
- KR
- South Korea
- Prior art keywords
- patch
- tiles
- medical image
- image analysis
- roi
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000013135 deep learning Methods 0.000 title description 2
- 238000000605 extraction Methods 0.000 claims abstract description 31
- 238000010191 image analysis Methods 0.000 claims description 110
- 102000005962 receptors Human genes 0.000 claims description 27
- 108020003175 receptors Proteins 0.000 claims description 27
- 206010006187 Breast cancer Diseases 0.000 claims description 15
- 208000026310 Breast neoplasm Diseases 0.000 claims description 15
- 102000015694 estrogen receptors Human genes 0.000 claims description 9
- 108010038795 estrogen receptors Proteins 0.000 claims description 9
- 238000003703 image analysis method Methods 0.000 claims description 9
- 102000003998 progesterone receptors Human genes 0.000 claims description 9
- 108090000468 progesterone receptors Proteins 0.000 claims description 9
- 101001012157 Homo sapiens Receptor tyrosine-protein kinase erbB-2 Proteins 0.000 claims description 7
- 102100030086 Receptor tyrosine-protein kinase erbB-2 Human genes 0.000 claims description 7
- 101000851181 Homo sapiens Epidermal growth factor receptor Proteins 0.000 claims description 2
- 210000004881 tumor cell Anatomy 0.000 claims 3
- 201000011510 cancer Diseases 0.000 claims 1
- 238000004458 analytical method Methods 0.000 abstract description 13
- 230000015654 memory Effects 0.000 description 19
- 238000013528 artificial neural network Methods 0.000 description 18
- 238000003062 neural network model Methods 0.000 description 18
- 238000010586 diagram Methods 0.000 description 15
- 238000012549 training Methods 0.000 description 10
- 206010028980 Neoplasm Diseases 0.000 description 9
- 239000000284 extract Substances 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 238000007781 pre-processing Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000010606 normalization Methods 0.000 description 3
- 238000010186 staining Methods 0.000 description 3
- 230000002194 synthesizing effect Effects 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000013136 deep learning model Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000002055 immunohistochemical effect Effects 0.000 description 2
- 230000001575 pathological effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000004544 DNA amplification Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000002512 chemotherapy Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 108091008039 hormone receptors Proteins 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000011532 immunohistochemical staining Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 239000012128 staining reagent Substances 0.000 description 1
- 238000011272 standard treatment Methods 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/43—Detecting, measuring or recording for evaluating the reproductive systems
- A61B5/4306—Detecting, measuring or recording for evaluating the reproductive systems for evaluating the female reproductive systems, e.g. gynaecological evaluations
- A61B5/4312—Breast evaluation or disorder diagnosis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7271—Specific aspects of physiological measurement analysis
- A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30068—Mammography; Breast
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Pathology (AREA)
- Surgery (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- Veterinary Medicine (AREA)
- Animal Behavior & Ethology (AREA)
- Biophysics (AREA)
- Heart & Thoracic Surgery (AREA)
- Theoretical Computer Science (AREA)
- Psychiatry (AREA)
- Signal Processing (AREA)
- Physiology (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Reproductive Health (AREA)
- Primary Health Care (AREA)
- Databases & Information Systems (AREA)
- Epidemiology (AREA)
- Gynecology & Obstetrics (AREA)
- Fuzzy Systems (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Mathematical Physics (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
본 개시의 예시적 실시예에 따른 의료 영상을 분석하는 방법에 있어서, 상기 의료 영상의 조직 슬라이드 영상으로부터 제1 개수의 픽셀들로 구성된 대상 유효 패치를 선택하는 단계, 상기 대상 유효 패치를 제2 개수의 픽셀들로 구성된 패치 타일들로 분할하는 단계, 상기 패치 타일들 간의 위치 관계에 기초하여 상기 패치 타일들의 순서가 지정된 패치백을 생성하는 단계, 상기 패치백을 관심 영역 추출 모델에 입력함으로써 상기 대상 유효 패치에 대한 관심 영역 대응 정보를 출력하는 단계 및 상기 조직 슬라이드 영상에 포함된 복수의 유효 패치들 각각에 대한 관심 영역 대응 정보에 기초하여 피검자에 대한 의료 데이터를 획득하는 단계를 포함할 수 있다.
Description
본 개시의 기술적 사상은 의료 영상 분석 방법에 관한 것으로, 더욱 상세하게는, 조직 슬라이드 영상(WSI; Whole Slide Image)을 기반으로 패치 타일들 간의 위치 관계에 기초하여 의료 영상을 고속으로 분석하는 방법에 관한 것이다.
기존 진행되던 유방암 예측 유전자 검사들은 환자에게 수백만원의 비용적 부담을 안게 하여 경제적 격차에 따른 검사 접근성의 저하가 유발되고, 이는 의료 격차, 건강 격차로 이어질 가능성이 존재하였다. 병리 조직의 면역조직화학(IHC) 염색을 통한 유전자 증폭 분석 검사들 역시 비용적 부담과 추가적인 염색 과정의 소요로 인한 시간적 소모가 동반되었다. 이에 따라, 추가적인 인적, 물적 자원의 소모나 검체 분석을 위한 시간적인 소요가 거의 없이 유방암의 표준적인 치료 과정에서 이미 확보된 H&E 염색 조직 영상을 분석하는 방법에 대한 수요가 증가하였다.
의료 영상을 분석할 때, 종전의 딥러닝을 이용한 방법들은 입력 영상을 작은 단위의 영상들로 분할하여 한 장씩 학습 또는 검출 네트워크 모델에 입력하여 입력된 분할 영상들의 개수만큼 결과 값들을 획득하였다. 학습 모델에 분할된 영상들을 개별적으로 각각 입력하는 것은 딥러닝 모델의 결과처리 속도 및 정확도를 저하시켰다.
본 개시의 기술적 사상이 해결하려는 과제는, 복수의 패치 타일들 간의 위치 관계에 기초하여 의료 영상에서 관심 영역을 추출함으로써 정확하고 효율적인 의료 영상 분석 방법을 제공하는 데에 있다.
본 개시의 예시적 실시예에 따른 의료 영상을 분석하는 방법에 있어서, 상기 의료 영상의 조직 슬라이드 영상으로부터 제1 개수의 픽셀들로 구성된 대상 유효 패치를 선택하는 단계, 상기 대상 유효 패치를 제2 개수의 픽셀들로 구성된 패치 타일들로 분할하는 단계, 상기 패치 타일들 간의 위치 관계에 기초하여 상기 패치 타일들의 순서가 지정된 패치백을 생성하는 단계, 상기 패치백을 관심 영역 추출 모델에 입력함으로써 상기 대상 유효 패치에 대한 관심 영역 대응 정보를 출력하는 단계 및 상기 조직 슬라이드 영상에 포함된 복수의 유효 패치들 각각에 대한 관심 영역 대응 정보에 기초하여 피검자에 대한 의료 데이터를 획득하는 단계를 포함할 수 있다.
본 개시의 실시예에 따르면, 조직 슬라이드 영상을 입력받아 생성된 유효 패치들로부터 얻어진 패치타일(patch tile)들을 개별적으로 학습시키는 것이 아닌 복수의 패치타일들을 패치백(patch bag) 형태로 그룹화하여 딥러닝을 수행하기 위한 뉴럴 네트워크 모델에 입력으로 제공함으로써 딥러닝 모델의 결과처리 속도 및 정확도를 향상시킬 수 있었다.
본 개시의 실시예는, 유효 패치들에 대해 복수의 패치 타일들로 분할하고, 복수의 패치 타일들의 위치적 관계에 기초하여 관심 영역을 추출하는 방법을 제공할 수 있다. 이에 따라, 유효 패치들 전체를 분석 대상으로 설정하지 않고, 분석에 필요한 일부 영역만을 분석 대상으로 설정함으로써, 분석에 소요되는 시간을 줄일 수 있다.
아울러, 본 개시의 실시예는 복수의 패치 타일들 간의 위치 관계에 따른 관심 영역 대응 정도에 대해서도 뉴럴 네트워크 모델을 학습시키는 방법을 제공할 수 있다. 위치 관계에 따른 관심 영역 대응 정도가 학습된 뉴럴 네트워크 모델에 기초하여 관심 영역을 추출함으로써 더욱 정확하게 분석 대상 영역을 설정할 수 있다.
본 개시의 예시적 실시예들에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 아니하며, 언급되지 아니한 다른 효과들은 이하의 기재로부터 본 개시의 예시적 실시예들이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 도출되고 이해될 수 있다. 즉, 본 개시의 예시적 실시예들을 실시함에 따른 의도하지 아니한 효과들 역시 본 개시의 예시적 실시예들로부터 당해 기술분야의 통상의 지식을 가진 자에 의해 도출될 수 있다.
도 1은 본 개시의 실시예에 따른 의료 영상 분석 장치를 도시한 블록도이다.
도 2는 본 개시의 실시예에 따라 관심 영역 추출 모델을 학습시키는 방법을 도시한 흐름도이다.
도 3은 본 개시의 실시예에 따라 의료 데이터를 획득하는 방법을 도시한 흐름도이다.
도 4는 일실시예에 따라 조직 슬라이드 영상으로부터 복수의 패치 타일들을 획득하는 방법을 설명하기 위한 도면이다.
도 5는 일실시예에 따라 복수의 패치 타일들로부터 생성된 패치백을 도시한 도면이다.
도 7은 일실시예에 따라 복수의 패치 타일들에 대한 뎁스 인덱스 순서를 결정하는 방법을 도시한 도면이다.
도 8은 다른 일실시예에 따라 복수의 패치 타일들에 대한 뎁스 인덱스 순서를 결정하는 방법을 도시한 도면이다.
도 9는 일실시예에 따라 패치백을 관심 영역 추출 모델에 입력하여 중간 특징 맵 및 관심 영역 대응 정보를 출력하는 방법을 도시한 도면이다.
도 10은 일실시예에 따른 원본 조직 슬라이드 영상, 관심 영역 추출 영상, 및 관심 영역 적용 영상을 도시한 도면이다.
도 11은 일실시예에 따라 유방암 재발 위험도를 예측하는 방법을 도시한 흐름도이다.
도 2는 본 개시의 실시예에 따라 관심 영역 추출 모델을 학습시키는 방법을 도시한 흐름도이다.
도 3은 본 개시의 실시예에 따라 의료 데이터를 획득하는 방법을 도시한 흐름도이다.
도 4는 일실시예에 따라 조직 슬라이드 영상으로부터 복수의 패치 타일들을 획득하는 방법을 설명하기 위한 도면이다.
도 5는 일실시예에 따라 복수의 패치 타일들로부터 생성된 패치백을 도시한 도면이다.
도 7은 일실시예에 따라 복수의 패치 타일들에 대한 뎁스 인덱스 순서를 결정하는 방법을 도시한 도면이다.
도 8은 다른 일실시예에 따라 복수의 패치 타일들에 대한 뎁스 인덱스 순서를 결정하는 방법을 도시한 도면이다.
도 9는 일실시예에 따라 패치백을 관심 영역 추출 모델에 입력하여 중간 특징 맵 및 관심 영역 대응 정보를 출력하는 방법을 도시한 도면이다.
도 10은 일실시예에 따른 원본 조직 슬라이드 영상, 관심 영역 추출 영상, 및 관심 영역 적용 영상을 도시한 도면이다.
도 11은 일실시예에 따라 유방암 재발 위험도를 예측하는 방법을 도시한 흐름도이다.
이하, 첨부한 도면을 참조하여 본 개시의 실시 예에 대해 상세히 설명한다.
도 1은 본 개시의 실시예에 따른 의료 영상 분석 장치를 도시한 블록도이다.
도 1을 참조하면, 의료 영상 분석 장치(10)는 뉴럴 네트워크를 기초로 입력 데이터를 실시간으로 분석하여 유효한 정보를 추출하고, 추출된 정보를 기초로 피검자의 상태를 판단할 수 있다. 예를 들어, 의료 영상 분석 장치(10)는 스마트 TV, 스마트 폰, 모바일 장치, 영상 표시 장치, 계측 장치, IoT(Internet of Things) 장치 등에 적용될 수 있으며, 이외에도 다양한 종류의 전자 장치 중 하나에 탑재될 수 있다.
의료 영상 분석 장치(10)는 적어도 하나의 IP 블록 및 뉴럴 네트워크 프로세서(300)를 포함할 수 있다. 의료 영상 분석 장치(10)는 다양한 종류의 IP 블록들을 포함할 수 있으며, 예를 들어 도 1에 도시된 바와 같이, 의료 영상 분석 장치(10)는 프로세서(100), RAM(200; Random Access Memory), 입출력 장치(400) 및 메모리(500) 등의 IP 블록을 포함할 수 있다. 이 외에도, 의료 영상 분석 장치(10)는 MFC(Multi-Format Codec), 비디오 모듈(예컨대, 카메라 인터페이스, JPEG(Joint Photographic Experts Group) 프로세서, 비디오 프로세서, 또는 믹서 등), 3D 그래픽 코어, 오디오 시스템, 디스플레이 드라이버, GPU(Graphic Processing Unit), DSP(Digital signal Processor) 등과 같은 다른 범용적인 구성요소들을 더 포함할 수 있다.
의료 영상 분석 장치(10)의 구성들, 예컨대, 프로세서(100), RAM(200), 뉴럴 네트워크 프로세서(300), 입출력 장치(400) 및 메모리(500)는 시스템 버스(600)를 통해 데이터를 송수신할 수 있다. 예컨대, 시스템 버스(600)에는 표준 버스 규격으로서, ARM(Advanced RISC Machine)사의 AMBA(Advanced Microcontroller Bus Architecture) 프로토콜 등이 적용될 수 있다. 그러나, 이에 제한되는 것은 아니며, 다양한 종류의 프로토콜이 적용될 수 있다.
실시 예에 있어서, 의료 영상 분석 장치(10)의 구성요소들, 프로세서(100), RAM(200), 뉴럴 네트워크 프로세서(300), 입출력 장치(400) 및 메모리(500)는 하나의 반도체 칩으로 구현될 수 있으며, 예컨대, 의료 영상 분석 장치(10)는 시스템 온 칩(SoC)으로서 구현될 수 있다. 그러나 이에 제한되는 것은 아니며, 의료 영상 분석 장치(10)는 복수의 반도체 칩들로 구현될 수 있다. 일 실시 예에서, 의료 영상 분석 장치(10)는 모바일 장치에 탑재되는 어플리케이션 프로세서로 구현도리 수도 있다.
프로세서(100)는 의료 영상 분석 장치(10)의 전반적인 동작을 제어할 수 있으며, 일 예로서 프로세서(100)는 중앙 프로세싱 유닛(Central Processing Unit; CPU)일 수 있다. 프로세서(100)는 하나의 코어(Single Core)를 포함하거나, 복수의 코어들(Multi-Core)을 포함할 수 있다. 프로세서(100)는 RAM(200) 및 메모리(500)에 저장된 프로그램들 및/또는 데이터를 처리 또는 실행할 수 있다. 예를 들어, 프로세서(100)는 메모리(500)에 저장된 프로그램들을 실행함으로써 의료 영상 분석 장치(10)의 다양한 기능들을 제어할 수 있다.
RAM(200)은 프로그램들, 데이터, 또는 명령들(instructions)을 일시적으로 저장할 수 있다. 예컨대, 메모리(500)에 저장된 프로그램들 및/또는 데이터는 프로세서(100)의 제어 또는 부팅 코드에 따라 RAM(200)에 일시적으로 로딩될 수 있다. RAM(200)은 DRAM(Dynamic RAM) 또는 SRAM(Static RAM) 등의 메모리를 이용해 구현될 수 있다.
입출력 장치(400)는 사용자로부터 또는 외부로부터 입력 데이터를 수신하고, 의료 영상 분석 장치(10)의 데이터 처리 결과를 출력할 수 있다. 입출력 장치(400)는 터치 스크린 패널, 키보드, 다양한 종류의 센서들 중 적어도 하나를 이용해 구현될 수 있다. 실시 예에서, 입출력 장치(400)는 의료 영상 분석 장치(10) 주변의 정보를 수집할 수 있다. 예컨대 입출력 장치(400)는 촬상 장치, 이미지 센서, 라이더(LIDAR; light detection and ranging) 센서, 초음파 센서, 적외선 센서 등 다양한 종류의 센싱 장치들 중 적어도 하나를 포함하거나, 또는 상기 장치로부터 센싱 신호를 수신할 수 있다. 실시 예에서, 입출력 장치(400)는 의료 영상 분석 장치(10) 외부로부터 이미지 신호를 센싱 또는 수신할 수 있고, 센싱 또는 수신된 이미지 신호를 이미지 데이터로 변환할 수 있다. 입출력 장치(400)는 이미지 데이터를 메모리(500)에 저장하거나, 또는 뉴럴 네트워크 프로세서(300)에 제공할 수 있다.
메모리(500)는 데이터를 저장하기 위한 저장 장소로서, 예를 들어, OS(Operating System), 각종 프로그램들 및 각종 데이터를 저장할 수 있다. 메모리(500)는 DRAM일 수 있으나, 이에 한정되는 것은 아니다. 메모리(500)는 휘발성 메모리(volatile memory) 또는 비휘발성 메모리(non-volatile memory) 중 적어도 하나를 포함할 수 있다. 비휘발성 메모리는 ROM(Read Only Memory), PROM(Programmable ROM), EPROM(Electrically Programmable ROM), EEPROM(Electrically Erasable and Programmable ROM), 플래시 메모리, PRAM(Phase-change RAM), MRAM(Magnetic RAM), RRAM(Resistive RAM), FRAM(Ferroelectric RAM) 등을 포함할 수 있다. 휘발성 메모리는 DRAM(Dynamic RAM), SRAM(Static RAM), SDRAM(Synchronous DRAM) 등을 포함할 수 있다. 또한 일 실시 예에 있어서, 메모리(150)는 HDD(Hard Disk Drive), SSD(Solid-State Drive), CF(Compact Flash), SD(Secure Digital), Micro-SD(Micro Secure Digital), Mini-SD(Mini Secure Digital), xD(extreme digital) 또는 Memory Stick 등과 같은 저장 장치로 구현될 수 있다.
뉴럴 네트워크 프로세서(300)는 뉴럴 네트워크 모델을 생성하거나, 뉴럴 네트워크를 훈련(train, 또는 학습(learn))하거나, 수신되는 입력 데이터를 기초로 연산을 수행하고, 연산 결과를 기초로 정보 신호(information signal)를 생성하거나, 뉴럴 네트워크를 재훈련(retrain)할 수 있다. 뉴럴 네트워크는 CNN(Convolution Neural Network), R-CNN(Region with Convolution Neural Network), RPN(Region Proposal Network), RNN(Recurrent Neural Network), S-DNN(Stacking-based deep Neural Network), S-SDNN(State-Space Dynamic Neural Network), Deconvolution Network, DBN(Deep Belief Network), RBM(Restricted Boltzmann Machine), Fully Convolutional Network, LSTM(Long Short-Term Memory) Network, Classification Network 등 다양한 종류의 뉴럴 네트워크 모델들을 포함할 수 있으나 이에 제한되지는 않는다.
본 개시의 실시예에 따르면, 의료 영상 분석 장치(10)의 프로세서(100)는 입력된 의료 영상 중 조직 슬라이드 영상 및 대상 유효 패치를 특정하고, 조직 슬라이드 영상 및 대상 유효 패치에 대한 전처리 연산을 수행할 수 있다. 의료 영상 분석 장치(10)의 뉴럴 네트워크 프로세서(300)는 전처리 연산이 수행된 대상 유효 패치를 관심 영역 추출 모델에 입력시킬 수 있고, 대상 유효 패치 중 분석 대상이 되는 관심 영역을 출력할 수 있다.
뉴럴 네트워크 프로세서(300)는 관심 영역으로 표시된 조직 슬라이드 영상을 의료 영상 분석 모델에 입력시킬 수 있고, 관심 영역(예컨대, 종양)으로 표시된 패치들을 분석함으로써 분석 결과로 의료 데이터를 출력할 수 있다. 의료 영상 분석 모델은 예시적으로, 복수 종류의 수용체 상태를 예측하는 모델들을 포함할 수 있으며, 수용체 종류는 ER(Estrogen Receptor), PR(Progesteron Receptor), HER2(Human Epidermal growth factor Receptor type2)를 포함할 수 있다. 프로세서(100)는 예측된 각 수용체 상태에 기초하여 피검자에 대한 의료 데이터를 제공할 수 있다. 피검자에 대한 의료 데이터는 예시적으로, 유방암 재발 위험도일 수 있다.
본 개시의 일 실시예에 따르면, 의료 영상 분석 장치(10)는 입력된 조직 슬라이드 영상의 적어도 일부(예컨대, 유효 패치)에서 종양 발생을 예측할 수 있으며, 발생된 종양에 대한 영역(예컨대, 관심 영역)에 대응되는 ER, PR 및 HER2 중 적어도 하나에 대한 상태를 예측하고 제공할 수 있다.
도 1에서는 프로세서(100) 및 뉴럴 네트워크 프로세서(300)를 구별되는 구성으로 설명하였으나, 프로세서(100) 및 뉴럴 네트워크 프로세서(300)는 동일 하드웨어로 구성되고, 서로 다른 기능의 연산을 수행하는 소프트웨어 단위로 구별되는 구성일 수 있다.
이하, 본 명세서는 도 1을 참조하여 설명하도록 한다.
도 2는 본 개시의 실시예에 따라 관심 영역 추출 모델을 학습시키는 방법을 도시한 흐름도이다.
도 2를 참조하면, 본 개시의 의료 영상 분석 장치(10)는 학습 데이터 세트를 구성하기 위한 조직 슬라이드 영상을 설정할 수 있고, 학습 데이터 세트에 기초하여 관심 영역 추출 모델을 학습시킬 수 있다.
일 예로, 학습 데이터 세트는 개별 학습 패치에 대한 참값 정보(예컨대, 클래스 번호)일 수 있으며, 다른 예로, 학습 데이터 세트는 복수의 학습 패치 타일들로 구성된 대상 유효 패치와 참값 패치가 매핑된 데이터 세트일 수 있고, 참값 패치는 학습 패치 타일 별로 관심 영역에 대응되는 정도가 미리 지정된 데이터일 수 있다.
단계(S110)에서, 의료 영상 분석 장치(10)는 의료 영상 중 학습하고자할 조직 슬라이드 영상을 선정할 수 있고, 조직 슬라이드 영상으로부터 대상 유효 패치를 선택할 수 있다. 대상 유효 패치는 조직 슬라이드 영상에 대해 분할된 유효 패치들 중 어느 하나의 유효 패치일 수 있다. 대상 유효 패치는 제1 개수의 픽셀들로 구성될 수 있고, 제1 개수는 예시적으로, 1,048,576 (1,024*1,024)개일 수 있으나, 개수는 이에 국한되지 않는다. 의료 영상 분석 장치(10)는 조직 슬라이드 영상 중 일부 영역을 대상 유효 패치로 선택할 수 있고, 대상 유효 패치에 기초하여 학습이 완료된 경우, 이웃한 유효 패치를 대상 유효 패치로 선정할 수 있다.
단계(S120)에서, 의료 영상 분석 장치(10)는 대상 유효 패치를 복수의 패치 타일들로 분할할 수 있다. 패치 타일은 제2 개수의 픽셀들로 구성될 수 있고, 제2 개수는 제1 개수보다 적으며, 제1 개수는 제2 개수의 배수일 수 있다. 제1 개수가 제2 개수의 배수인 경우, 대상 유효 패치로부터 생성되는 패치 타일의 개수는 제1 개수를 제2 개수로 나눈 개수일 수 있다.
단계(S130)에서, 의료 영상 분석 장치(10)는 패치 타일들 간의 위치 관계에 기초하여 패치백을 생성할 수 있다. 패치백은 복수의 패치 타일들이 적층된 데이터일 수 있으며, 데이터 패킷 또는 패치 패킷으로 명명될 수 있다. 패치백의 구조는 도 5를 통해 상세히 후술하도록 한다. 패치 타일들 간의 위치 관계는 패치 타일들이 적층되는 순서와 연관되며, 예시적으로, 이웃한 패치 타일들은 연속되는 순서로 적층될 수 있다.
단계(S140)에서, 의료 영상 분석 장치(10)는 대상 유효 패치로부터 생성된 패치백을 관심 영역 추출 모델에 입력함으로써 관심 영역 추출 모델을 학습시킬 수 있다. 구체적으로 살펴보면, 대상 유효 패치와 패치 타일 별로 관심 영역에 대응되는 정도가 표시된 참값 데이터가 학습 데이터 세트로 구성될 수 있다. 의료 영상 분석 장치(10)는 대상 유효 패치에 대한 패치백을 관심 영역 추출 모델의 입력 데이터로 설정하고, 참값 데이터를 출력 데이터로 설정할 수 있다. 의료 영상 분석 장치(10)는 입력 데이터로부터 출력 데이터가 생성될 수 있도록 관심 영역 추출 모델의 파라미터를 업데이트할 수 있다.
본 개시의 학습 방법은 학습 데이터 세트로 구성되는 패치백이 패치 타일들 간의 위치 관계를 포함하고 있고, 이에 기초하여 학습되는 관심 영역 추출 모델은 패치 타일들 간의 위치 관계에 따른 관심 영역 대응 정도를 학습할 수 있다. 이에 따라, 의료 영상 분석 장치(10)는 패치 타일들 간의 위치 관계를 반영하여 조직 슬라이드 영상으로부터 관심 영역을 추출할 수 있다.
구체적으로 살펴보면, 이웃하는 패치 타일이 관심 영역에 대응되는 경우, 해당 패치 타일도 관심 영역에 대응될 가능성이 높을 수 있다. 즉, 이웃한 타일 순서대로 적층된 패치백 중 관심 영역에 대응된다고 표시된 부분이 무리지어 형성될 수 있다. 의료 영상 분석 장치(10)는 관심 영역에 대응된다고 표시된 부분이 무리지어 형성되는 패턴에 대해서도 학습될 수 있고, 추론(inference) 과정에서 인접한 패치 타일이 관심 영역으로 분석된 경우, 인접한 패치 타일의 관심 영역 대응 정도도 추론에 반영되어 높은 확률로 해당 패치 타일을 관심 영역으로 결정할 수 있다.
도 3은 본 개시의 실시예에 따라 의료 데이터를 획득하는 방법을 도시한 흐름도이다.
도 3을 참조하면, 본 개시의 의료 영상 분석 장치(10)는 패치 타일로 분할된 대상 유효 패치들을 도 2의 일실시예에 따라 학습된 관심 영역 추출 모델에 입력함으로써 의료 데이터를 획득할 수 있다. 예시적으로, 의료 데이터는 조직 슬라이드 영상에 관심 영역이 표시된 데이터일 수 있고, 관심 영역이 표시된 복수의 단층들로 구성된 의료 영상일 수 있다. 그러나, 본 개시의 의료 데이터는 이에 국한되지 않고, 관심 영역이 표시된 모든 종류의 데이터일 수 있다. 아울러, 의료 데이터는 관심 영역이 표시된 데이터에 기초하여 호르몬 수용체 상태가 예측된 데이터일 수 있고, 예측된 수용체 상태에 따라 유방암 재발 위험도가 예측된 데이터일 수도 있다.
도 2는 관심 영역 추출 모델을 학습하는 방법이 도시된 흐름도이고, 도 3은 학습된 관심 영역 추출 모델로부터 관심 영역을 추출하여 의료 데이터를 획득하는 방법이 도시되 흐름도로서, 도 2에서 선술된 일부 구성에 대한 상세한 설명은 생략하도록 한다.
단계(S210)에서, 의료 영상 분석 장치(10)는 조직 슬라이드 영상으로부터 대상 유효 패치를 선택할 수 있다.
먼저, 조직 슬라이드 영상은 학습 단계에서는 환자의 다양한 국적, 나이, 성별 등을 고려하여 선택될 수 있으며, 예측 단계에서는 내담자로부터 촬영한 의료 영상들 중 데이터 분석이 용이할 것으로 판단되는 다양한 포맷과 크기를 갖는 이미지 데이터일 수 있다. 사용자에 의해 선택될 수도 있지만 사용자가 확보한 여러 의료 영상들 중 선명도가 기준 값보다 높은 것으로 선택된 영상일 수 있다.
다음으로, 의료 영상 분석 장치(10)는 조직 슬라이드 영상에 포함된 배경영역(예컨대, 도 4의 410에서 일정하게 흰색으로 표시된 영역) 및/또는 지방영역(fat tissue)(예컨대, 도 4의 410에서 흰색 버블(bubble) 형태로 표현된 영역)을 제외한 나머지 영역을 기반으로 대상 유효 패치를 선택할 수 있다. 대상 유효 패치는 조직 슬라이드 영상에 대해 분할된 유효 패치들 중 어느 하나일 수 있고, 제1 개수의 픽셀들로 구성될 수 있다.
단계(S220)에서, 의료 영상 분석 장치(10)는 대상 유효 패치를 복수의 패치 타일들로 분할할 수 있다. 패치 타일은 제2 개수의 픽셀들로 구성될 수 있다.
단계(S230)에서, 의료 영상 분석 장치(10)는 패치 타일들 간의 위치 관계에 기초하여 패치백을 생성할 수 있다. 패치백은 패치 타일들이 적층된 데이터 패킷일 수 있고, 의료 영상 분석 장치(10)는 패치 타일들이 적층되는 순서를 패치 타일들 간의 위치 관계에 기초하여 결정할 수 있다. 예시적으로, 의료 영상 분석 장치(10)는 패치 타일이 적층되는 다음 순서에 이전 적층된 패치 타일의 이웃한 패치 타일이 적층되도록 설정할 수 있다.
단계(S240)에서, 의료 영상 분석 장치(10)는 패치백을 관심 영역 추출 모델에 입력함으로써 관심 영역을 추출할 수 있다. 이 때, 관심 영역 추출 모델은 학습이 완료된 뉴럴 네트워크 모델일 수 있다. 의료 영상 분석 장치(10)는 대상 유효 패치에 대한 패치백으로부터 각 패치 타일별 관심 영역 대응 정보를 출력할 수 있다. 예컨대, 관심 영역 대응 정보는 종양(tumor)의 존재 여부에 대한 데이터일 수 있으며, 관심 영역 대응 정보를 기반으로 의료 영상 분석 장치(10)는 종양 검출에 대한 학습을 수행하여 뉴럴 네트워크 모델에 포함된 가중치들을 갱신할 수 있다.
관심 영역 대응 정보는 해당 패치 타일이 관심 영역에 대응되는 정도를 표시한 정보로서, 예컨대 제1 패치 타일에 해당하는 병리 조직들이 종양 분석 대상으로 분류될 확률이 높은 경우, 제1 패치 타일에 대응되는 관심 영역 대응 정보의 값은 높을 수 있으며, 제2 패치 타일에 해당하는 병리 조직들이 종양 분석 대상으로 분류될 확률이 높은 경우 제2 패치 타일에 대응되는 관심 영역 대응 정보의 값은 상대적으로 낮을 수 있다.
관심 영역 대응 정보는 수치화된 데이터로 출력될 수 있지만, 본 개시의 실시예는 이에 국한되지 않고 사용자 및 프로세서가 관심 영역에 대응되는 정도를 식별할 수 있도록 그레이스케일(gray scale)로 시각화된 정보일 수도 있다.
의료 영상 분석 장치(10)는 조직 슬라이드 영상에 포함된 복수의 유효 패치들을 순차적으로 대상 유효 패치로 선정할 수 있고, 각 유효 패치에 대한 관심 영역 대응 정보를 획득할 수 있다. 의료 영상 분석 장치(10)는 각 유효 패치에 대한 관심 영역 대응 정보에 기초하여 조직 슬라이드 영상에 대한 관심 영역이 표시된 데이터를 추출할 수 있다.
단계(S250)에서, 의료 영상 분석 장치(10)는 관심 영역을 분석함으로써 의료 데이터를 획득할 수 있다. 이 때, 의료 데이터는 수용체 상태가 예측된 정보일 수 있고, 수용체 상태에 따라 예측된 질병 재발 가능성 정보일 수도 있다. 의료 영상 분석 장치(10)는 관심 영역 추출 모델과 구별되는 별개의 뉴럴 네트워크 모델에 기초하여 의료 데이터를 획득할 수 있다. 의료 영상 분석 장치(10)가 의료 데이터를 획득하는 방법은 도 11을 통해 상세히 후술하도록 한다.
본 개시의 의료 영상 분석 장치(10)는 패치 타일들 간의 위치 관계에 따른 관심 영역 대응 정도가 학습된 관심 영역 추출 모델에 기초하여 관심 영역을 추출할 수 있으며, 조직 슬라이드 영상 중 분석이 필요한 관심 영역은 복수의 패치 타일들로 무리지어 형성되어 있다는 점에서 더욱 정확하고 효율적으로 관심 영역을 추출할 수 있다.
아울러, 예측 단계에서, 본 개시의 의료 영상 분석 장치(10)는 대상 유효 패치로부터 3차원 구조의 패치백을 생성하고, 3차원 구조의 커널로 구성된 뉴럴 네트워크 모델로 추론함으로써 빠른 속도로 관심 영역을 추출할 수 있다. 구체적으로 살펴보면, 뉴럴 네트워크 모델에 입력되는 텐서 및 뉴럴 네트워크 모델의 커널은 3차원 구조로 구성되어, 컨볼루션 연산을 통해 중간 특징 맵을 생성할 수 있다.
종전 3차원 컨볼루션(3D Convolution) 연산을 수행하는 뉴럴 네트워크 모델은 영상 분석에서 영상 프레임들 간의 시간 정보(temporal information)을 학습시키고, 추론하기 위해 이용되었다. 즉, 3차원 구조 텐서의 뎁스는 시간 순서로 정열되어 프레임들 간의 시간 관계에 대해 학습되도록 구성되었다.
종전 3차원 컨볼루션은 프레임들 간의 시간 정보를 고속으로 학습시키고 추론하는데에 제한적으로 이용되었다. 이에 반해, 본 개시의 의료 영상 분석 장치(10)는 패치 타일들 간의 위치 관계에 기초하여 3차원 구조의 패치백을 생성함으로써, 3차원 컨볼루션을 수행하는 뉴럴 네트워크 모델을 시간 영역에서의 프레임에 대응되는 복수의 패치 타일들 간의 위치 관계를 고속으로 학습시키고 추론하는 데에 이용할 수 있다.
도 4는 일실시예에 따라 조직 슬라이드 영상으로부터 복수의 패치 타일들을 획득하는 방법을 설명하기 위한 도면이다.
도 4를 참조하면, 의료 영상 분석 장치(10)는 의료 영상으로부터 조직 슬라이드 영상(410)을 획득할 수 있다. 의료 영상은 예시적으로, 피검자에 대한 H&E 염색 조직 영상일 수 있다.
일실시예에 따르면, 의료 영상 분석 장치(10)는 조직 슬라이드 영상(410)에 대해 전처리를 수행할 수 있고, 전처리의 종류는 예시적으로, 유효 영역 검출 및 색상 정규화(color normalization) 가 포함될 수 있다.
의료 영상 분석 장치(10)는 조직 슬라이드 영상(410) 중 영상의 배경 또는 지방조직(fat tissue)가 포함되는 영역을 영상처리 알고리즘을 통해 검출하고, 해당 영역을 분석 대상 영역으로 제외함으로써 유효 영역을 검출할 수 있다. 일실시예에 따르면, 의료 영상 분석 장치(10)는 조직 슬라이드 영상(410)의 전반적인 색상을 분석하고, RGB-HSV 색상 도메인을 동시에 활용하여 비관심 패치 영역을 선별하여 유효 영역을 검출할 수 있다.
아울러, 의료 영상 분석 장치(10)는 다양한 환경에서 획득된 H&E 조직 슬라이드 영상의 색상분포를 분석하고, 이를 정규화할 수 있다. 일실시예에 따르면, 의료 영상 분석 장치(10)는 색상 분석 및 변환 영상처리 알고리즘을 구현하거나 조직 슬라이드 영상간 색 정규화를 위한 뉴럴 네트워크 모델(예시적으로, StainNet)을 활용할 수 있다. 조직 세포의 경우 염색 시약, 염색 과정 및 스캐너 사양의 다양성 등으로 인해 조직 슬라이드 영상이 일관적이지 않게 표현되므로, 의료 영상 분석 장치(10)는 정규화 작업을 통해 일관된 의료 영상을 획득할 수 있다.
전처리 작업을 완료한 의료 영상 분석 장치(10)는 전처리 수행 후의 조직 슬라이드 영상(420)을 복수의 유효 패치들(430)로 분할할 수 있고, 복수의 유효 패치들(430) 중 어느 하나를 대상 유효 패치(431)로 선정할 수 있다. 일실시예에 따르면, 의료 영상 분석 장치(10)는 대상 유효 패치(431)에 대해 관심 영역을 추출한 후, 다른 유효 패치 중 어느 하나를 새로운 대상 유효 패치로 선정할 수 있다.
의료 영상 분석 장치(10)는 대상 유효 패치(431)를 복수의 패치 타일들(440)로 분할하고, 패치 타일들(440)의 위치 관계에 기초하여 패치백(450)을 생성할 수 있다. 구체적으로 살펴보면, 의료 영상 분석 장치(10)는 분할된 패치 타일(440)을 3차원 구조의 패치백(450)으로 적층시킬 때, 패치 타일들(440) 간의 위치 관계에 기초하여 적층 순서를 결정할 수 있다.
패치 타일들(440) 간의 위치 관계에 기초하여 적층 순서를 결정하는 방법은 도 5 내지 도 8을 통해 상세히 후술하도록 한다.
도 5는 일실시예에 따라 복수의 패치 타일들로부터 생성된 패치백을 도시한 도면이다.
도 5를 참조하면, 패치백은 3차원 구조로 생성될 수 있고, 패치백의 폭, 높이, 깊이는 픽셀 단위로 구성될 수 있다. 일실시예에 따르면, 패치백의 폭 및 높이는 패치 타일의 폭 및 높이와 동일할 수 있고, 패치백의 깊이는 대상 유효 패치로부터 생성된 패치 타일의 개수에 대응될 수 있다. 즉, 본 개시의 의료 영상 분석 장치(10)는 2차원 구조의 패치 타일들을 깊이 방향으로 적층시켜 3차원 구조의 패치백을 생성할 수 있다.
본 명세서는 깊이 방향으로 패치 타일들을 적층시키는 실시예에 기초하여 설명하나, 본 개시의 패치백은 이에 국한되지 않고, 깊이 방향 또는 폭 방향으로 패치 타일들이 적층되는 구조로 형성될 수 있다.
일실시예에 따르면, 의료 영상 분석 장치(10)는 이웃한 패치 타일들을 이웃한 적층 순서로 정렬시켜 패치백을 생성할 수 있다. 예시적으로, 의료 영상 분석 장치(10)는 깊이 방향의 제1 뎁스 인덱스에 제1 패치 타일을 설정할 수 있다. 뎁스 인덱스는 적층 순서에 대응될 수 있다. 의료 영상 분석 장치(10)는 제1 뎁스 인덱스의 다음 순서인 제2 뎁스 인덱스에 제1 패치 타일과 인접한 제2 패치 타일들 중 어느 하나를 설정할 수 있다.
도 6은 일실시예에 따라 복수의 패치 타일들에 대한 뎁스 인덱스 순서를 결정하는 방법을 도시한 도면이고 도 7은 다른 실시예에 따라 복수의 패치 타일들에 대한 뎁스 인덱스 순서를 결정하는 방법을 도시한 도면이고, 도 8은 또 다른 일실시예에 따라 복수의 패치 타일들에 대한 뎁스 인덱스 순서를 결정하는 방법을 도시한 도면이다.
도 6을 참조하면, 일실시예에 따른 의료 영상 분석 장치(10)는 제1 행(RL1)의 가장 좌측 패치 타일을 시작으로, +x 방향의 순서대로 적층 순서를 결정한 뒤, 제1 행(RL1)보다 -y 방향으로 단위 패치타일만큼 떨어진 제2 행(RL2)의 가장 좌측 패치 타일을 시작으로, +x 방향의 순서대로 적층 순서를 결정하며, 제2 행(RL2)보다 -y 방향으로 단위 패치타일만큼 떨어진 제3 행(RL3)의 가장 좌측 패치 타일을 시작으로, +x 방향의 순서대로 적층 순서를 결정하며, 제3 행(RL3)보다 -y 방향으로 단위 패치타일만큼 떨어진 제4 행(RL4)의 가장 좌측 패치 타일을 시작으로, +x 방향의 순서대로 적층 순서를 결정할 수 있다.
즉, 도 6을 참조하면, 의료 영상 분석 장치(10)는 동일한 행에서는 +x 방향으로 증가하는 열들의 순서대로 패치 타일들의 순서를 부여한 뒤, -y 방향으로 단위 증가하는 행에 대하여 다시 +x 방향으로 증가하는 열들의 순서대로 패치 타일들의 순서를 부여할 수 있다.
도 7 및 도 8을 참조하면, 일실시예에 따른 의료 영상 분석 장치(10)는 연속되어 적층되는 패치 타일들이 모두 서로 이웃한 패치 타일로 구성되도록 적층 순서를 결정할 수 있다.
도 7을 참조하면, 의료 영상 분석 장치(10)는 최초 뎁스 인덱스에 말단 패치 타일을 설정할 수 있다. 말단 패치 타일은 대상 유효 패치의 모서리에 위치한 패치 타일들 중 어느 하나일 수 있고, 도 7의 실시예에 따르면, 좌상단에 위치한 패치 타일이 말단 패치 타일이 될 수 있다.
의료 영상 분석 장치(10)는 최초 뎁스 인덱스에 말단 패치 타일을 적층시킨 후, 제1 방향 순서대로 뎁스 인덱스에 대응되는 패치 타일을 설정할 수 있다. 제1 방향은 말단 패치 타일의 위치에 기초하여 결정될 수 있다. 예시적으로, 좌상단에 위치한 패치 타일이 말단 패치 타일인 경우, 제1 방향은 +x 방향 또는 -y 방향일 수 있다. 제1 방향이 +x 방향인 경우, 의료 영상 분석 장치(10)는 +x 방향에 위치한 패치 타일들을 순서대로 패치백의 깊이 방향으로 적층시킬 수 있다.
의료 영상 분석 장치(10)는 제1 방향에 적층시킬 패치 타일이 없는 경우, 다음 뎁스 인덱스에 제1 방향의 수직 방향에 위치하는 패치 타일을 설정할 수 있다. 도 7의 예시에서, 제1 방향의 수직 방향은 -y 방향일 수 있다.
의료 영상 분석 장치(10)는 다음 뎁스 인덱스에 제1 방향의 수직 방향에 위치하는 패치 타일을 설정한 후, 제1 방향의 반대 방향인 제2 방향 순서대로 뎁스 인덱스에 대응되는 패치 타일을 설정할 수 있다. 도 7의 예시에서, 제2 방향은 -x 방향일 수 있다.
마찬가지 방법으로, 의료 영상 분석 장치(10)는 계속하여 패치 타일들에 대응되는 뎁스 인덱스를 설정할 수 있고, 제1 방향 또는 제2 방향으로 패치 타일들의 순서를 결정할 때, 이후 적층시킬 패치 타일들이 존재하지 않는 경우 제1 방향 및 제2 방향의 수직 방향인 제3 방향의 패치 타일을 다음 뎁스 인덱스로 설정할 수 있다.
의료 영상 분석 장치(10)는 뎁스 인덱스 순서대로 패치 타일들을 깊이 방향으로 적층시켜 3차원 구조의 패치백을 생성할 수 있다.
도 8을 참조하면, 의료 영상 분석 장치(10)는 도 7의 실시예와 달리 최초 뎁스 인덱스에 말단 패치 타일이 아닌 중앙부 패치 타일을 설정할 수 있다. 중앙부 패치 타일은 대상 유효 패치의 정중앙 부근에 위치한 패치 타일들 중 어느 하나일 수 있다. 패치 타일의 개수가 홀수개인 경우, 정중앙에 위치한 패치 타일이 중앙부 패치 타일이 될 수 있고, 패치 타일의 개수가 짝수개인 경우, 정중앙 부근에 위치한 4개의 패치 타일들 중 어느 하나가 중앙부 패치 타일이 될 수 있다.
의료 영상 분석 장치(10)는 최초 뎁스 인덱스에 중앙부 패치 타일을 설정한 후, 나선형 순서대로 뎁스 인덱스에 대응되는 패치 타일을 설정할 수 있다.
일실시예에 따르면, 복수의 적층 순서 결정 방법을 이용하여 하나의 대상 유효 패치에 대한 복수의 패치백을 생성할 수 있다. 예시적으로, 의료 영상 분석 장치(10)는 도 7의 적층 순서로 제1 패치백을 생성할 수 있고, 도 8의 적층 순서로 제2 패치백을 생성할 수 있다. 의료 영상 분석 장치(10)는 제1 패치백을 제1 관심 영역 추출 모델에 입력하여 제1 관심 영역 대응 정보를 출력할 수 있고, 제2 패치백을 제2 관심 영역 추출 모델에 입력하여 제2 관심 영역 대응 정보를 출력할 수 있다. 이 때, 제1 관심 영역 추출 모델은 도 7의 적층 순서로 생성된 학습 데이터 세트의 패치백에 기초하여 학습된 뉴럴 네트워크 모델일 수 있고, 제2 관심 영역 추출 모델은 도 8의 적층 순서로 생성된 학습 데이터 세트의 패치백에 기초하여 학습된 뉴럴 네트워크 모델일 수 있다.
의료 영상 분석 장치(10)는 복수의 패치백으로부터 생성된 복수의 관심 영역 대응 정보들을 종합하여 관심 영역을 추출할 수 있다. 의료 영상 분석 장치(10)는 제1 관심 영역 대응 정보 및 제2 관심 영역 대응 정보를 종합하여 최종 관심 영역 대응 정보를 생성할 수 있고, 최종 관심 영역 대응 정보들 중 기준 값 이상으로 판별된 패치 타일들을 관심 영역으로 결정할 수 있다. 예시적으로, 관심 영역 대응 정보는 패치 타일 별로 관심 영역에 대응되는지 여부가 수치화된 정보일 수 있고, 의료 영상 분석 장치(10)는 수치화된 제1 관심 영역 대응 정보 및 제2 관심 영역 대응 정보를 평균하여 최종 관심 영역 대응 정보로 결정할 수 있다.
복수의 방법으로 생성된 패치백에 기초하여 관심 영역을 추출하는 경우, 다양한 접근법으로 패치 타일들 간의 위치 관계를 분석함으로써 정확하게 관심 영역을 추출할 수 있다.
다수의 학습과 예측 데이터들에 의하여 도 6, 도 7 및 도 8에 의한 패치 순서들의 할당은 다른 순서의 할당에 비하여 의료 영상 분석 장치(10)가 의료 영상을 유의미하게 고속으로 분석하는 현저한 효과를 달성할 수 있었다.
도 9는 일실시예에 따라 패치백을 관심 영역 추출 모델에 입력하여 중간 특징 맵 및 관심 영역 대응 정보를 출력하는 방법을 도시한 도면이다.
도 9를 참조하면, 의료 영상 분석 장치(10)는 패치백(810)을 수신하여 학습 단계에서는 관심 영역 대응 정보(830)를 출력할 수 있으며, 또 다른 패치백(810)을 수신함으로써 예측 단계에서는 중간 특징 맵(820)을 출력할 수 있다.
도 9를 참조하면, 의료 영상 분석 장치(10)는 3차원 텐서로 구성된 패치백(810)을 관심 영역 추출 모델에 입력함으로써 관심 영역 대응 정보(830)를 출력할 수 있다. 예컨대, 이는 학습 단계라고 부를 수 있다. 관심 영역 대응 정보(830)는 학습을 위해 입력된 조직 슬라이드 영상 전체 또는 조직 슬라이드 영상에 포함된 유효 패치에 대한 종양의 존재 여부에 대한 데이터를 포함할 수 있다. 관심 영역 대응 정보(830)에 기반하여 의료 영상 분석 장치(10)는 뉴럴 네트워크 모델을 학습시킬 수 있다.
한편, 뉴럴 네트워크 모델은 풀리-커넥티드 레이어(FC)를 포함할 수 있으며, 관심 영역 대응 정보(830)는 풀리-커넥티드 레이어(FC)의 출력 값일 수 있다.
관심 영역 추출 모델에 포함된 복수의 레이어들 중 어느 하나의 출력 결과를 중간 특징 맵(820)으로 출력할 수 있다. 예컨대, 이는 예측 단계라고 부를 수 있으며, 복수의 레이어들은 컨볼루션 레이어들 및 풀링(pooling) 레이어들을 포함할 수 있다.
의료 영상 분석 장치(10)는 중간 특징 맵(820)으로 관심 영역 대응 정도가 표시된 대상 유효 패치를 출력할 수 있다. 일 예로, 의료 영상 분석 장치(10)는 내담자의 조직 슬라이드 영상을 수신하고, 관심 영역 대응 정보(830)에 기반하여 학습된 뉴럴 네트워크 모델에 의해, 상기 내담자의 종양 존재 여부를 중간 특징 맵(820)을 통하여 예측할 수 있다.
일실시예에 따르면, 의료 영상 분석 장치(10)는 관심 영역 추출 모델의 출력 결과로 관심 영역 대응 정도가 표시된 패치백을 출력할 수 있다. 그러나, 본 개시의 의료 영상 분석 장치(10)는 이에 국한되지 않고, 복수의 패치 타일들에 대한 관심 영역 대응 정보에 기초하여 대상 유효 패치가 관심 영역을 추출할지 여부를 결정할 수 있다.
도 10는 일실시예에 따른 원본 조직 슬라이드 영상(910), 관심 영역 추출 영상(920), 및 관심 영역 적용 영상(930)을 도시한 도면이다.
도 10을 참조하면, 의료 영상 분석 장치(10)는 원본 조직 슬라이드 영상(910)을 유효 패치 별로 분할하여 관심 영역을 추출할 수 있다. 일실시예에 따르면, 관심 영역 추출 영상(920)은 관심 영역에 대응되는 정도가 시각화된 영상일 수 있고, 관심 영역에 대응되는 정도는 그레이스케일로 표시된 정보일 수 있고, 관심 영역에 대응되는 정도가 높을수록 높은 채도의 색상 정보로 출력될 수 있다. 의료 영상 분석 장치(10)는 관심 영역 추출 모델의 중간 특징 맵에 기초하여 관심 영역 추출 영상(920)을 생성할 수 있다.
의료 영상 분석 장치(10)는 원본 조직 슬라이드 영상(910)과 관심 영역 추출 영상(920)을 합성하여 관심 영역 적용 영상(930)을 생성할 수 있다. 구체적으로 살펴보면, 의료 영상 분석 장치(10)는 관심 영역 추출 영상(920)의 투명도를 올리고, 이를 원본 조직 슬라이드 영상(910)에 합성하여 관심 영역 적용 영상(930)을 생성할 수 있다. 의료 영상 분석 장치(10)는 관심 영역 적용 영상(930)을 사용자에게 제공할 수 있지만, 이에 국한되지 않고 후속되는 의료 영상 분석에도 이용할 수 있다.
도 11은 일실시예에 따라 유방암 재발 위험도를 예측하는 방법을 도시한 흐름도이다.
도 11을 참조하면, 관심 영역에 대응되는 데이터를 수용체 상태 예측 모델에 입력시켜 유방암 재발 위험도를 의료 데이터로 획득할 수 있다. 수용체 상태 예측 모델에 입력되는 데이터는 도 10의 관심 영역 적용 영상일 수 있으나, 관심 영역으로 지정된 패치 타일들일 수 있다.
일실시예에 따르면, 의료 영상 분석 장치(10)는 관심 영역 대응 정보가 기준 값 이상으로 출력된 패치 타일을 관심 영역으로 지정된 패치 타일로 결정할 수 있다. 예시적으로, 관심 영역 대응 정보가 그레이스케일로 시각화된 경우, 의료 영상 분석 장치(10)는 그레이스케일의 레벨이 기준 레벨 이상인 패치 타일을 관심 영역으로 설정할 수 있다.
단계(S251)에서, 의료 영상 분석 장치(10)는 관심 영역을 수용체 상태 예측 모델에 입력할 수 있다. 일실시예에 따르면, 수용체 상태 예측 모델은 다중 인스턴스 학습(Multi Instance Learning; MIL)을 활용하여 조직 슬라이드 영상에 최적화된 모델일 수 있다. 수용체 상태 예측 모델은 수용체의 종류별로 구분되는 예측 모델로 구성되어 있을 수 있다. 예시적으로, 수용체 상태 예측 모델은 ER 상태 예측 모델, PR 상태 예측 모델, HER2 상태 예측 모델로 구성될 수 있고, 의료 영상 분석 장치(10)는 각 모델에 관심 영역을 입력할 수 있다.
단계(S252a) 내지 단계(S252c)에서, 의료 영상 분석 장치(10)는 각 수용체 상태 예측 모델에 기초하여 ER 상태, PR 상태, HER2 상태를 예측할 수 있다. 의료 영상 분석 장치(10)는 예측 결과로 각 수용체의 상태를 수치화된 결과로 출력할 수 있다.
한편, 의료 영상 분석 장치(10)는 수치화된 결과에 기초하여 ER 등급, PR 등급, HER2 등급을 결정할 수 있다. 각 수용체 등급은 수치화된 수용체의 상태 결과가 복수의 등급 범위 중 어느 범위에 해당되는지에 따라 결정될 수 있다.
단계(S253)에서, 의료 영상 분석 장치(10)는 예측된 각 수용체들의 상태 또는 각 수용체 등급에 근거하여 유방암 재발 위험도를 예측할 수 있다.
일 예로, 의료 영상 분석 장치(10)는 각 수용체 상태에 기초하여 유방암 재발 위험도를 예측할 수 있다.
다른 예로, 의료 영상 분석 장치(10)는 각 수용체 등급(예컨대, IHC4 score)에 기초하여 유방암 재발 위험도를 예측할 수 있으며, 의료 영상 분석 장치(10)는 수용체 등급에 가중치를 적용하고, 합산함으로써 유방암 재발 위험도를 예측할 수 있다. 그러나, 본 개시의 실시예에서 복수의 수용체 등급으로부터 유방암 재발 위험도를 예측하는 방법은 이에 국한되지 않는다.
본 개시의 의료 영상 분석 장치(10)는 유방암 조직 수용체의 상태를 예측할 때, 각 수용체 별 면역조직화학 염색 없이, 하나의 H&E 염색 조직 슬라이드 영상을 활용하여 수용체의 상태를 예측할 수 있다. 이에 따라, 유방암의 재발 가능성을 수치를 통해 객관적으로 제시할 수 있고, 의료진에게는 치료 방향성을 결정함에 있어서 도움을 주며, 환자에게는 불필요한 검사 및 항암치료를 방지하여 수술 후 삶의 질 향상에 도움을 줄 수 있다.
이상에서와 같이 도면과 명세서에서 예시적인 실시예들이 개시되었다. 본 명세서에서 특정한 용어를 사용하여 실시예들을 설명되었으나, 이는 단지 본 개시의 기술적 사상을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 개시의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 개시의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.
Claims (8)
- 의료 영상 분석 장치에 의해 의료 영상을 분석하는 방법에 있어서,
상기 의료 영상의 조직 슬라이드 영상으로부터 제1 개수의 픽셀들로 구성된 대상 유효 패치를 선택하는 단계;
상기 대상 유효 패치를 제2 개수의 픽셀들로 구성된 패치 타일들로 분할하는 단계;
상기 패치 타일들 간의 위치 관계에 기초하여 상기 패치 타일들의 순서가 지정된 패치백을 생성하는 단계;
상기 패치백을 관심 영역 추출 모델에 입력함으로써 상기 대상 유효 패치에 대한 관심 영역 대응 정보를 출력하는 단계; 및
상기 조직 슬라이드 영상에 포함된 복수의 유효 패치들 각각에 대한 관심 영역 대응 정보에 기초하여 피검자에 대한 의료 데이터를 획득하는 단계
를 포함하는 의료 영상 분석 방법. - 제1항에 있어서,
상기 패치백은,
상기 패치 타일을 픽셀 폭 및 픽셀 높이에 대응되며, 상기 제2 개수에 대응되는 픽셀 깊이로 구성되는 것을 특징으로 하는 의료 영상 분석 방법. - 제1항에 있어서,
상기 패치백을 생성하는 단계는,
제1 뎁스 인덱스에 대응하여 제1 패치 타일을 설정하는 단계;
상기 대상 유효 패치 내에서 상기 제1 패치 타일과 인접한 제2 패치 타일들 중 어느 하나를 상기 제1 뎁스 인덱스의 다음 순서 인덱스인 제2 뎁스 인덱스로 설정하는 단계; 및
상기 뎁스 인덱스 순서대로 상기 패치 타일들을 적층함으로써 상기 패치백을 생성하는 단계
를 포함하는 것을 특징으로 하는 의료 영상 분석 방법. - 제1항에 있어서,
상기 패치백을 생성하는 단계는,
최초 뎁스 인덱스에 대응하여 말단 패치 타일을 설정하는 단계;
상기 말단 패치 타일로부터 제1 방향 순서대로 뎁스 인덱스에 대응되는 패치 타일을 설정하는 단계;
상기 제1 방향에 패치 타일이 없는 경우, 다음 뎁스 인덱스에 상기 제1 방향의 수직 방향에 위치하는 패치 타일을 설정하는 단계;
상기 다음 뎁스 인덱스에 대응하여 상기 제1 방향의 수직 방향에 위치하는 패치 타일을 설정한 후, 상기 제1 방향의 반대 방향인 제2 방향 순서대로 뎁스 인덱스에 대응되는 패치 타일을 설정하는 단계;
상기 뎁스 인덱스 순서대로 상기 패치 타일들을 적층함으로써 상기 패치백을 생성하는 단계
를 포함하는 것을 특징으로 하는 의료 영상 분석 방법. - 제1항에 있어서,
상기 패치 타일들로 분할하는 단계는,
상기 제1 개수는 상기 제2 개수의 배수이고, 상기 제1 개수를 상기 제2 개수로 나눈 개수만큼 상기 대상 유효 패치에 대한 상기 패치 타일을 생성하는 단계
를 포함하는 것을 특징으로 하는 의료 영상 분석 방법. - 제1항에 있어서,
상기 관심 영역 대응 정보를 출력하는 단계는,
상기 대상 유효 패치에 포함된 패치 타일들 각각이 관심 영역에 부합하는지 여부가 단계적으로 수치화된 관심 영역 대응 정도를 상기 관심 영역 추출 모델의 중간 특징 맵으로 생성하는 단계
를 포함하는 것을 특징으로 하는 의료 영상 분석 방법. - 제1항에 있어서,
상기 관심 영역 대응 정보를 출력하는 단계는,
상기 패치 타일들 각각이 양성 종양 세포 영역, 비정형 종양 세포 영역, 악성 종양 세포 영역 중 어느 하나에 대응되는지 여부를 식별하는 단계
를 포함하는 것을 특징으로 하는 의료 영상 분석 방법. - 제1항에 있어서,
상기 의료 데이터를 획득하는 단계는,
상기 관심 영역 대응 정보가 기설정값 이상인 패치 타일들을 관심 영역으로 설정하는 단계;
상기 관심 영역을 학습된 수용체 예측 모델에 입력함으로써 ER(Estrogen Receptor), PR(Progesteron Receptor), HER2(Human Epidermal growth factor Receptor type2) 각각에 대한 상태를 예측하는 단계; 및
상기 ER, 상기 PR, 상기 HER2 각각의 상태에 기초하여 유방암 재발 위험도를 판단하는 단계
를 포함하는 것을 특징으로 하는 의료 영상 분석 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220038401A KR102481191B1 (ko) | 2022-03-28 | 2022-03-28 | 딥러닝을 이용한 고속화된 의료 영상 분석 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220038401A KR102481191B1 (ko) | 2022-03-28 | 2022-03-28 | 딥러닝을 이용한 고속화된 의료 영상 분석 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102481191B1 true KR102481191B1 (ko) | 2022-12-26 |
Family
ID=84547588
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220038401A KR102481191B1 (ko) | 2022-03-28 | 2022-03-28 | 딥러닝을 이용한 고속화된 의료 영상 분석 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102481191B1 (ko) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101889722B1 (ko) * | 2017-02-10 | 2018-08-20 | 주식회사 루닛 | 악성 종양 진단 방법 및 장치 |
| KR20180106739A (ko) | 2017-03-21 | 2018-10-01 | 한국원자력의학원 | 다중 의료영상 분석 시스템 및 방법 |
| KR102043672B1 (ko) * | 2019-03-29 | 2019-11-12 | 주식회사 딥노이드 | 딥러닝 기반의 병변 판독 시스템 및 방법 |
| KR20200035129A (ko) * | 2017-09-12 | 2020-04-01 | 난토믹스, 엘엘씨 | 조직 레벨의 전체 슬라이드 이미지의 적은 수의 사진 학습 기반 이미지 인식 |
| KR20210157684A (ko) | 2020-06-22 | 2021-12-29 | 한국전자통신연구원 | 의료영상 분석 방법 및 장치 |
-
2022
- 2022-03-28 KR KR1020220038401A patent/KR102481191B1/ko active IP Right Grant
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101889722B1 (ko) * | 2017-02-10 | 2018-08-20 | 주식회사 루닛 | 악성 종양 진단 방법 및 장치 |
| KR20180106739A (ko) | 2017-03-21 | 2018-10-01 | 한국원자력의학원 | 다중 의료영상 분석 시스템 및 방법 |
| KR20200035129A (ko) * | 2017-09-12 | 2020-04-01 | 난토믹스, 엘엘씨 | 조직 레벨의 전체 슬라이드 이미지의 적은 수의 사진 학습 기반 이미지 인식 |
| KR102043672B1 (ko) * | 2019-03-29 | 2019-11-12 | 주식회사 딥노이드 | 딥러닝 기반의 병변 판독 시스템 및 방법 |
| KR20210157684A (ko) | 2020-06-22 | 2021-12-29 | 한국전자통신연구원 | 의료영상 분석 방법 및 장치 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11887311B2 (en) | Method and apparatus for segmenting a medical image, and storage medium | |
| US10650221B2 (en) | Systems and methods for comprehensive multi-assay tissue analysis | |
| CN113628157A (zh) | 利用病理图像来表征肿瘤微环境的系统和方法 | |
| US10956795B2 (en) | Predicting recurrence in early stage non-small cell lung cancer (NSCLC) using spatial arrangement of clusters of tumor infiltrating lymphocytes and cancer nuclei | |
| CN112215217B (zh) | 模拟医师阅片的数字图像识别方法及装置 | |
| CN113313680B (zh) | 一种结直肠癌病理图像预后辅助预测方法及系统 | |
| US11721023B1 (en) | Distinguishing a disease state from a non-disease state in an image | |
| CN105579847A (zh) | 疾病分析装置、控制方法和程序 | |
| JP2024509491A (ja) | 病理組織画像に基づいてがん患者の生存を直接的に予測するためのシステム及び方法 | |
| KR102471515B1 (ko) | 면역조직화학 염색 이미지를 분석하기 위한 기계학습모델을 학습하는 방법 및 이를 수행하는 컴퓨팅 시스템 | |
| Kalinli et al. | Performance comparison of machine learning methods for prognosis of hormone receptor status in breast cancer tissue samples | |
| CN115295154A (zh) | 肿瘤免疫治疗疗效预测方法、装置、电子设备及存储介质 | |
| CN117095815A (zh) | 基于磁共振图像和病理全景扫描切片预测带有同源重组缺陷的前列腺癌患者的系统 | |
| WO2023014789A1 (en) | System and method for pathology image analysis using a trained neural network and active learning framework | |
| CN111275699A (zh) | 医学图像的处理方法、装置、设备及存储介质 | |
| KR102446638B1 (ko) | 유방암 병변 영역을 판별하기 위한 인공 신경망을 학습하기 위한 학습 방법, 및 이를 수행하는 컴퓨팅 시스템 | |
| US20240087726A1 (en) | Predicting actionable mutations from digital pathology images | |
| CN112651400B (zh) | 一种立体内窥镜辅助检测方法、系统、装置及存储介质 | |
| KR102481191B1 (ko) | 딥러닝을 이용한 고속화된 의료 영상 분석 방법 | |
| Selcuk et al. | Automated HER2 Scoring in Breast Cancer Images Using Deep Learning and Pyramid Sampling | |
| CN117378015A (zh) | 从数字病理学图像预测可操作突变 | |
| KR102640426B1 (ko) | 자가 지도 학습 모델을 활용한 약한 지도 학습 기반의 병리 영상 판독 방법 | |
| CN111862003B (zh) | 医疗影像目标信息获取方法、装置、设备和存储介质 | |
| US20230290111A1 (en) | Systems and methods to process electronic images for model selection | |
| WO2022134049A1 (zh) | 胎儿颅骨的超声成像方法和超声成像系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |