KR20230095801A - 인공지능 기반의 병리영상 암 병변 맞춤형 위치 표시 방법 및 시스템 - Google Patents
인공지능 기반의 병리영상 암 병변 맞춤형 위치 표시 방법 및 시스템 Download PDFInfo
- Publication number
- KR20230095801A KR20230095801A KR1020220150199A KR20220150199A KR20230095801A KR 20230095801 A KR20230095801 A KR 20230095801A KR 1020220150199 A KR1020220150199 A KR 1020220150199A KR 20220150199 A KR20220150199 A KR 20220150199A KR 20230095801 A KR20230095801 A KR 20230095801A
- Authority
- KR
- South Korea
- Prior art keywords
- patches
- patch
- cancer
- artificial intelligence
- unit
- Prior art date
Links
- 230000007170 pathology Effects 0.000 title claims abstract description 108
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 81
- 238000000034 method Methods 0.000 title claims abstract description 61
- 206010028980 Neoplasm Diseases 0.000 claims abstract description 134
- 201000011510 cancer Diseases 0.000 claims abstract description 134
- 238000013145 classification model Methods 0.000 claims abstract description 32
- 238000007781 pre-processing Methods 0.000 claims abstract description 19
- 230000003902 lesion Effects 0.000 claims description 37
- 238000000605 extraction Methods 0.000 claims description 34
- 238000010606 normalization Methods 0.000 claims description 21
- 230000001575 pathological effect Effects 0.000 claims description 19
- 238000002372 labelling Methods 0.000 claims description 14
- 238000003384 imaging method Methods 0.000 claims description 12
- 239000000284 extract Substances 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 11
- 238000013527 convolutional neural network Methods 0.000 claims description 7
- 238000005070 sampling Methods 0.000 claims description 7
- 238000012549 training Methods 0.000 claims description 7
- 230000004807 localization Effects 0.000 claims 1
- 238000003745 diagnosis Methods 0.000 abstract description 7
- 230000011218 segmentation Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- YQGOJNYOYNNSMM-UHFFFAOYSA-N eosin Chemical compound [Na+].OC(=O)C1=CC=CC=C1C1=C2C=C(Br)C(=O)C(Br)=C2OC2=C(Br)C(O)=C(Br)C=C21 YQGOJNYOYNNSMM-UHFFFAOYSA-N 0.000 description 2
- 239000012192 staining solution Substances 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Pathology (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Image Analysis (AREA)
Abstract
본 발명은 인공지능 기반의 병리영상 암 병변 맞춤형 위치 표시 방법 및 시스템에 관한 것으로, 본 발명에 따른 인공지능 기반의 병리영상 암 병변 맞춤형 위치 표시 방법은, 제1 조직 추출부가 병리영상에서 조직 영역을 추출하는 제1 조직 추출 단계; 제1 패치 생성부가 조직 영역을 추출한 상기 병리 영상을 정사각형 조각 형태의 패치들로 분할하는 제1 패치 생성 단계; 제1 이미지 전처리부가 상기 패치들에 색상 표준화를 적용하는 제1 이미지 전처리 단계; 심각도 예측부가 색상 표준화가 적용된 상기 패치들을 패치 분류 모델에 입력하여 각 상기 패치들 별로 예측 결과로서 암의 확률을 나타내는 심각도 점수를 산출하는 심각도 예측 단계; 및 패치 선정부가 산출된 상기 심각도 점수를 이용해 심각도가 가장 높은 패치를 선정하여 가시화하는 패치 선정 단계;를 포함하여 구성된다.
Description
본 발명은 인공지능 기반의 병리영상 암 병변 맞춤형 위치 표시 방법 및 시스템에 관한 것으로, 보다 상세하게는 인공지능 기반으로 입력된 병리 이미지로부터 암 심각도 예측치가 높은 순서대로 병변 의심영역의 좌표를 제공하여 진단을 보조할 수 있도록 하는 인공지능 기반의 병리영상 암 병변 맞춤형 위치 표시 방법 및 시스템에 관한 것이다.
일반적으로 병리 영상은 크기가 매우 크기에 병리 의사가 병리 이미지 판독 시 이상 소견을 보이는 곳을 찾는 데에 많은 시간이 소요된다.
병리 분야는 의료 인공지능 연구가 가장 활발한 분야 중 하나로서, 진단을 최종적으로 확정하는 중요한 역할을 수행하고 있으며, 병리과에 의해 결정된 판단은 진료 및 연구를 수행하는 시작점에 해당되기 때문에 병리과의 판독 정확성은 매우 중요하다.
따라서, 병리 데이터의 판독 효율성, 일관성 및 정확성을 높이기 위해 병리과의 다양한 영역에서 이미지 인식 인공지능 기술이 연구되고 있다.
이와 같이, 진단 시간을 최소화하고 오진의 가능성을 줄일 수 있는 기술이 요구되고 있다.
본 발명은 전술한 문제를 해결하기 위해 안출된 것으로서, 본 발명은 인공지능을 활용하여 병리 의사에게 암 심각도 예측치가 높은 순서대로 병변 의심영역의 좌표를 제공하여 암 의심영역부터 판독을 시작하도록 함으로써, 진단 시간을 최소화하고 오진의 가능성을 줄일 수 있도록 하고자 한다.
전술한 문제를 해결하기 위한 본 발명의 일실시예에 따른 인공지능 기반의 병리영상 암 병변 맞춤형 위치 표시 방법은, 제1 조직 추출부가 병리영상에서 조직 영역을 추출하는 제1 조직 추출 단계; 제1 패치 생성부가 조직 영역을 추출한 상기 병리 영상을 정사각형 조각 형태의 패치들로 분할하는 제1 패치 생성 단계; 제1 이미지 전처리부가 상기 패치들에 색상 표준화를 적용하는 제1 이미지 전처리 단계; 심각도 예측부가 색상 표준화가 적용된 상기 패치들을 패치 분류 모델에 입력하여 각 상기 패치들 별로 예측 결과로서 암의 확률을 나타내는 심각도 점수를 산출하는 심각도 예측 단계; 및 패치 선정부가 산출된 상기 심각도 점수를 이용해 심각도가 가장 높은 패치를 선정하여 가시화하는 패치 선정 단계;를 포함하여 구성된다.
본 발명의 다른 일실시예에 따르면, 상기 제1 조직 추출 단계는 상기 제1 조직 추출부가 암 영역의 위치를 표시한 상기 병리영상의 RGB(Red, Green, Blue) 값을 HSV(Hue, Saturation, Value) 값으로 변환하여 채도 값이 기준값 이상인 부분에 해당하는 조직 영역을 추출할 수 있다.
본 발명의 다른 일실시예에 따르면, 상기 제1 패치 생성 단계는 상기 제1 패치 생성부가 조직 영역을 추출한 상기 병리 영상을 이동 슬라이딩 윈도(Sliding Window) 방식과 픽셀 해상도(pixel resolution) 정규화를 통해 다수의 일정한 크기의 정사각형 조각 형태의 패치들로 분할하고, 상기 병리 영상에 포함되는 속성값으로 저장되어 있는 배율 정보를 추출하여 분할된 상기 패치들을 미리 지정한 픽셀의 크기로 조절할 수 있다.
본 발명의 다른 일실시예에 따르면, 상기 심각도 예측 단계는 상기 심각도 예측부가 색상 표준화가 적용된 상기 패치들을 소프트맥스 함수(Softmax Function)를 이용하는 패치 분류 모델에 입력하여 각 상기 패치들 별로 예측 결과로서 암의 확률을 나타내는 심각도 점수를 산출할 수 있다.
본 발명의 다른 일실시예에 따르면, 상기 패치 선정 단계는 상기 패치 선정부가 상기 심각도 점수를 설정된 임계치 값을 통해 이진화하고, 상기 이진화된 점수를 바탕으로 암으로 판별된 패치들을 심각도 점수가 높은 순서대로 가시화하여 제공할 수 있다.
본 발명의 다른 일실시예에 따르면, 상기 심각도 예측 단계의 이전에, 어노테이션부가 학습용 병리영상에 암 영역의 위치를 표시는 어노테이션 단계; 제2 조직 추출부가 암 영역의 위치를 표시한 상기 학습용 병리영상에서 조직 영역을 추출하는 제2 조직 추출 단계; 제2 패치 생성부가 조직 영역을 추출한 상기 학습용 병리 영상을 정사각형 조각 형태의 패치들로 분할하는 제2 패치 생성 단계; 제2 이미지 전처리부가 상기 패치들에 색상 표준화를 적용하는 제2 이미지 전처리 단계; 패치 라벨링부가 색상 표준화과 적용된 상기 패치들을 상기 암 영역의 표시의 여부에 따라 암 패치 또는 정상 패치로 라벨링 하는 패치 라벨링 단계; 및 인공지능 학습부가 라벨링된 상기 암 패치 또는 상기 정상 패치를 이용해 패치 분류 모델을 학습하는 인공지능 학습 단계;를 더 포함하고, 상기 심각도 예측 단계는 상기 심각도 예측부가 색상 표준화가 적용된 상기 패치들을 학습된 상기 패치 분류 모델에 입력하여 각 상기 패치들 별로 예측 결과로서 암의 확률을 나타내는 심각도 점수를 산출할 수 있다.
본 발명의 다른 일실시예에 따르면, 상기 제2 조직 추출 단계는 상기 제2 조직 추출부가 암 영역의 위치를 표시한 상기 학습용 병리영상의 RGB(Red, Green, Blue) 값을 HSV(Hue, Saturation, Value) 값으로 변환하여 채도 값이 기준값 이상인 부분에 해당하는 조직 영역을 추출할 수 있다.
본 발명의 다른 일실시예에 따르면, 상기 제2 패치 생성 단계는 상기 제2 패치 생성부가 조직 영역을 추출한 상기 학습용 병리 영상을 이동 슬라이딩 윈도(Sliding Window) 방식과 픽셀 해상도(pixel resolution) 정규화를 통해 다수의 일정한 크기의 정사각형 조각 형태의 패치들로 분할하고, 상기 학습용 병리 영상에 포함되는 속성값으로 저장되어 있는 배율 정보를 추출하여 분할된 상기 패치들을 미리 지정한 픽셀의 크기로 조절할 수 있다.
본 발명의 다른 일실시예에 따르면, 상기 인공지능 학습 단계는 상기 인공지능 학습부가 라벨링된 상기 암 패치들 또는 상기 정상 패치들을 중에서, 상대적으로 적은 패치들의 개수만큼 상대적으로 많은 패치들에서 랜덤으로 선택하여(Under-sampling) 상기 암 패치들과 상기 정상 패치들의 균형을 맞추어 학습할 수 있다.
본 발명의 다른 일실시예에 따르면, 상기 인공지능 학습 단계는 상기 인공지능 학습부가 상기 암 패치 또는 상기 정상 패치를 이용해 상기 패치 분류 모델로서 합성 곱 신경망(Convolutional Neural Network) 기반의 인공지능 모델을 학습할 수 있다.
본 발명의 일실시예에 따른 인공지능 기반의 병리영상 암 병변 맞춤형 위치 표시 시스템은, 병리영상에서 조직 영역을 추출하는 제1 조직 추출부; 조직 영역을 추출한 상기 병리 영상을 정사각형 조각 형태의 패치들로 분할하는 제1 패치 생성부; 상기 패치들에 색상 표준화를 적용하는 제1 이미지 전처리부; 색상 표준화가 적용된 상기 패치들을 패치 분류 모델에 입력하여 각 상기 패치들 별로 예측 결과로서 암의 확률을 나타내는 심각도 점수를 산출하는 심각도 예측부; 및 산출된 상기 심각도 점수를 이용해 심각도가 가장 높은 패치를 선정하여 가시화하는 패치 선정부;를 포함하여 구성된다.
본 발명의 다른 일실시예에 따르면, 상기 제1 조직 추출부는 암 영역의 위치를 표시한 상기 병리영상의 RGB(Red, Green, Blue) 값을 HSV(Hue, Saturation, Value) 값으로 변환하여 채도 값이 기준값 이상인 부분에 해당하는 조직 영역을 추출할 수 있다.
본 발명의 다른 일실시예에 따르면, 상기 제1 패치 생성부는 조직 영역을 추출한 상기 병리 영상을 이동 슬라이딩 윈도(Sliding Window) 방식과 픽셀 해상도(pixel resolution) 정규화를 통해 다수의 일정한 크기의 정사각형 조각 형태의 패치들로 분할하고, 상기 병리 영상에 포함되는 속성값으로 저장되어 있는 배율 정보를 추출하여 분할된 상기 패치들을 미리 지정한 픽셀의 크기로 조절할 수 있다.
본 발명의 다른 일실시예에 따르면, 상기 심각도 예측부는 색상 표준화가 적용된 상기 패치들을 소프트맥스 함수(Softmax Function)를 이용하는 패치 분류 모델에 입력하여 각 상기 패치들 별로 예측 결과로서 암의 확률을 나타내는 심각도 점수를 산출할 수 있다.
본 발명의 다른 일실시예에 따르면, 상기 패치 선정부는 상기 심각도 점수를 설정된 임계치 값을 통해 이진화하고, 상기 이진화된 점수를 바탕으로 암으로 판별된 패치들을 심각도 점수가 높은 순서대로 가시화하여 제공할 수 있다.
본 발명의 다른 일실시예에 따르면, 학습용 병리영상에 암 영역의 위치를 표시하는 어노테이션부; 암 영역의 위치를 표시한 상기 학습용 병리영상에서 조직 영역을 추출하는 제2 조직 추출부; 조직 영역을 추출한 상기 학습용 병리 영상을 정사각형 조각 형태의 패치들로 분할하는 제2 패치 생성부; 상기 패치들에 색상 표준화를 적용하는 제2 이미지 전처리부; 색상 표준화과 적용된 상기 패치들을 상기 암 영역의 표시의 여부에 따라 암 패치 또는 정상 패치로 라벨링 하는 패치 라벨링부; 및 라벨링된 상기 암 패치 또는 상기 정상 패치를 이용해 패치 분류 모델을 학습하는 인공지능 학습부;를 더 포함하고, 상기 심각도 예측부는 색상 표준화가 적용된 상기 패치들을 학습된 상기 패치 분류 모델에 입력하여 각 상기 패치들 별로 예측 결과로서 암의 확률을 나타내는 심각도 점수를 산출할 수 있다.
본 발명의 다른 일실시예에 따르면, 상기 제2 조직 추출부는 암 영역의 위치를 표시한 상기 학습용 병리영상의 RGB(Red, Green, Blue) 값을 HSV(Hue, Saturation, Value) 값으로 변환하여 채도 값이 기준값 이상인 부분에 해당하는 조직 영역을 추출할 수 있다.
본 발명의 다른 일실시예에 따르면, 상기 제2 패치 생성부는 조직 영역을 추출한 상기 학습용 병리 영상을 이동 슬라이딩 윈도(Sliding Window) 방식과 픽셀 해상도(pixel resolution) 정규화를 통해 다수의 일정한 크기의 정사각형 조각 형태의 패치들로 분할하고, 상기 학습용 병리 영상에 포함되는 속성값으로 저장되어 있는 배율 정보를 추출하여 분할된 상기 패치들을 미리 지정한 픽셀의 크기로 조절할 수 있다.
본 발명의 다른 일실시예에 따르면, 상기 인공지능 학습부는 라벨링된 상기 암 패치들 또는 상기 정상 패치들을 중에서, 상대적으로 적은 패치들의 개수만큼 상대적으로 많은 패치들에서 랜덤으로 선택하여(Under-sampling) 상기 암 패치들과 상기 정상 패치들의 균형을 맞추어 학습할 수 있다.
본 발명의 다른 일실시예에 따르면, 상기 인공지능 학습부는 상기 암 패치 또는 상기 정상 패치를 이용해 상기 패치 분류 모델로서 합성 곱 신경망(Convolutional Neural Network) 기반의 인공지능 모델을 학습할 수 있다.
본 발명은 인공지능을 활용하여 병리 의사에게 암 심각도 예측치가 높은 순서대로 병변 의심영역의 좌표를 제공하여 암 의심영역부터 판독을 시작하도록 함으로써, 진단 시간을 최소화하고 오진의 가능성을 줄일 수 있다.
도 1은 본 발명의 일실시예에 따른 인공지능 기반의 병리영상 암 병변 맞춤형 위치 표시 시스템의 구성도이다.
도 2는 본 발명의 일실시예에 따른 인공지능 학습 방법을 설명하기 위한 흐름도이다.
도 3은 본 발명의 일실시예에 따른 학습된 인공지능에 의해 병리영상 암 병변 맞춤형 위치 표시 방법을 설명하기 위한 흐름도이다.
도 2는 본 발명의 일실시예에 따른 인공지능 학습 방법을 설명하기 위한 흐름도이다.
도 3은 본 발명의 일실시예에 따른 학습된 인공지능에 의해 병리영상 암 병변 맞춤형 위치 표시 방법을 설명하기 위한 흐름도이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
다만, 실시형태를 설명함에 있어서, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략한다. 또한, 도면에서의 각 구성요소들의 크기는 설명을 위하여 과장될 수 있으며, 실제로 적용되는 크기를 의미하는 것은 아니다.
또한, 명세서 전체에서, 일 구성요소가 다른 구성요소와 "연결된다" 거나 "접속된다" 등으로 언급된 때에는, 상기 일 구성요소가 상기 다른 구성요소와 직접 연결되거나 또는 직접 접속될 수도 있지만, 특별히 반대되는 기재가 존재하지 않는 이상, 중간에 또 다른 구성요소를 매개하여 연결되거나 또는 접속될 수도 있다고 이해되어야 할 것이다. 또한, 명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
도 1은 본 발명의 일실시예에 따른 인공지능 기반의 병리영상 암 병변 맞춤형 위치 표시 시스템의 구성도이다.
본 발명의 일실시예에 따른 인공지능 기반의 병리영상 암 병변 맞춤형 위치 표시 시스템은 컴퓨터 단말, 서버 또는 전용 장치로 구성되거나, 각 기능을 제공하는 구성요소가 각각 컴퓨터 단말, 서버 또는 전용 장치로 구성될 수 있다. 또는, 본 발명의 일실시예에 따른 인공지능 기반의 병리영상 암 병변 맞춤형 위치 표시 시스템은 각 기능을 제공하는 각각의 구성요소가 하드웨어 또는 소프트웨어로 구성될 수 있다.
보다 구체적으로, 본 발명의 일실시예에 따른 인공지능 기반의 병리영상 암 병변 맞춤형 위치 표시 시스템은 예측부(100) 및 학습부(200)를 포함하여 구성될 수 있다.
또한, 상기 예측부(100)는 제1 조직 추출부(110), 제1 패치 학습부(120), 제1 이미지 전처리부(130), 심각도 예측부(140) 및 패치 선정부(150)를 포함하여 구성될 수 있다.
먼저, 상기 제1 조직 추출부(110)는 병리영상에서 조직 영역을 추출한다.
이때, 상기 제1 조직 추출부(110)는 암 영역의 위치를 표시한 상기 병리영상의 RGB(Red, Green, Blue) 값을 HSV(Hue, Saturation, Value) 값으로 변환하여 채도 값이 기준값 이상인 부분에 해당하는 조직 영역을 추출할 수 있다.
또한, 상기 제1 조직 추출부(110)는 조직 영역을 추출한 상기 병리 영상을 이동 슬라이딩 윈도(Sliding Window) 방식과 픽셀 해상도(pixel resolution) 정규화를 통해 다수의 일정한 크기의 정사각형 조각 형태의 패치들로 분할하고, 상기 병리 영상에 포함되는 속성값으로 저장되어 있는 배율 정보를 추출하여 분할된 상기 패치들을 미리 지정한 픽셀의 크기로 조절할 수 있다.
보다 구체적으로, 상기 제1 조직 추출부(110)는 병리영상의 흰색 배경을 제외하고 조직 영역만 추출할 수 있으며, 입력된 병리영상의 색 공간을 RGB(Red Green Blue: 빨간색, 녹색, 파란색) 척도에서 HSV(Hue Saturation Value: 색조, 채도, 값) 척도로 변환할 수 있다. 이때, H(Hue), S(Saturation), V(Value)는 0과 255 사이의 값으로 표현할 수 있으며. S(Saturation: 채도값)는 특정한 색상의 가장 진한 상태를 100%로 하였을 때 진함의 정도를 나타내며, 채도값 0은 같은 명도의 무채색을 나타낸다. 그에 따라, 상기 제1 조직 추출부(110)는 S(Saturation) 채널에서 S 값이 4 이상인 부분만 추출하여 대략적인 조직 영역을 얻을 수 있다.
상기 제1 패치 생성부(120)는 조직 영역을 추출한 상기 병리 영상을 정사각형 조각 형태의 패치들로 분할한다.
이때, 상기 제1 패치 생성부(120)는 조직 영역을 추출한 상기 병리 영상을 이동 슬라이딩 윈도(Sliding Window) 방식과 픽셀 해상도(pixel resolution) 정규화를 통해 다수의 일정한 크기의 정사각형 조각 형태의 패치들로 분할하고, 상기 병리 영상에 포함되는 속성값으로 저장되어 있는 배율 정보를 추출하여 분할된 상기 패치들을 미리 지정한 픽셀의 크기로 조절할 수 있다.
보다 상세하게 설명하면, 상기 패치(patch)란 병리영상을 정사각형 조각 형태로 분할한 이미지를 의미하며, 상기 제1 패치 생성부(120)는 입력된 병리영상에 대하여 이동 슬라이딩 윈도(Sliding Window) 방식과 픽셀 해상도(pixel resolution) 정규화를 통해 다수의 일정한 사이즈(512×512 픽셀)의 소형 패치들을 생성할 수 있다. 이때, 픽셀 해상도(pixel resolution) 정규화란 스캐너마다 픽셀 해상도가 다르기 때문에 일정한 픽셀(pixel) 크기로 정규화시키는 작업을 말한다.
이때, 상기 제1 패치 생성부(120)는 병리영상에 속성값으로 저장되어 있는 배율 정보를 추출하여 미리 지정한 픽셀 크기로 영상 리사이즈(resize) 작업 진행할 수 있다.
또한, 상기 제1 패치 생성부(120)는 병리영상 전체 영역 중 배경에 해당하는 영역은 패치를 생성하지 않고, 상기 제1 조직 추출부(110)에서 추출된 조직 부분에 해당하는 영역의 패치만을 생성하며, 이와 같은 패치화를 통해 이후에 전체 병리 이미지가 아닌 작은 영역별(패치별) 심각도를 예측하게 된다.
상기 제1 이미지 전처리부(130)는 상기 패치들에 색상 표준화를 적용한다.
보다 상세하게 설명하면, 병리영상의 경우 H&E(Hematoxyling and Eosin) 염색 용액에 따라 영상의 색상이 달라진다. 따라서, 데이터셋이 같은 색상으로 표준화될 경우 이미지 간의 색상 차이가 감소하므로 효율적인 인공지능 모델 학습이 가능하다.
따라서, 상기 제1 이미지 전처리부(130)는 제1 패치 생성부(120)에서 생성된 패치들에 색상 표준화(stain normalization)를 실행하며, 이때 색상 표준화는 Macenko method를 사용할 수 있다.
상기 심각도 예측부(140)는 색상 표준화가 적용된 상기 패치들을 패치 분류 모델에 입력하여 각 상기 패치들 별로 예측 결과로서 암의 확률을 나타내는 심각도 점수를 산출한다.
즉, 상기 심각도 예측부(140)는 상기 학습부(200)에서 학습된 패치 분류 모델에 색상 표준화가 적용된 상기 패치들을 입력하여 심각도 점수를 산출할 수 있다.
이때, 상기 심각도 예측부(140)는 색상 표준화가 적용된 상기 패치들을 소프트맥스 함수(Softmax Function)를 이용하는 패치 분류 모델에 입력하여 각 상기 패치들 별로 예측 결과로서 암의 확률을 나타내는 심각도 점수를 산출할 수 있다.
즉, 상기 학습부(200)에서 학습한 암, 정상 패치 분류 모델에 상기 제1 이미지 전처리부(130)에서 생성된 패치들을 입력하여 패치별로 모델의 예측 결과를 산출할 수 있으며, 이때 소프트맥스 함수(Softmax Function)를 사용하여 암 클래스 패치 분류 확률을 0 부터 1까지 범위의 확률로 표현하고 이를 패치의 심각도로 정의하도록 구성될 수 있다.
그에 따라, 상기 패치 선정부(150)는 산출된 상기 심각도 점수를 이용해 심각도가 가장 높은 패치를 선정하여 가시화한다.
이때, 상기 패치 선정부(150)는 상기 심각도 점수를 설정된 임계치 값을 통해 이진화하고, 상기 이진화된 점수를 바탕으로 암으로 판별된 패치들을 심각도 점수가 높은 순서대로 가시화하여 제공할 수 있다.
보다 상세하게 설명하면, 상기 패치 선정부(150)는 심각도 점수를 사용자가 설정한 입계치(threshold) 값을 통해 이진화 하고, 이진화된 점수를 바탕으로 암으로 판별된 패치들을 가시화할 수 있다.
이때, 상기 패치 선정부(150)는 암으로 판별된 패치들을 심각도 예측치가 높은 순서대로 정렬할 수 있으며, 심각도 예측치가 동일한 패치가 2개 이상 존재할 경우, 인접한 8개의 패치의 심각도 예측치의 평균을 구하여 평균값이 높은 패치를 우선순위로 하여 정렬할 수 있다. 또한, 상기 패치 선정부(150)는 심각도가 가장 높은 패치 영역을 가시화하여 사용자(병리의사)에게 가시화할 수 있으며, 사용자가 가시화된 패치 영역의 분석을 마치고 다음 버튼을 누르면, 다음으로 심각도 예측치가 높은 패치 영역을 가시화하여 제공할 수 있다.
한편, 상기 학습부(200)는 어노테이션부(205), 제2 패치 학습부(220), 제2 이미지 전처리부(230) 및 패치 라벨링부(240) 및 인공지능 학습부(250)를 포함하여 구성될 수 있다.
상기 어노테이션부(205)는 학습용 병리영상에 암 영역의 위치를 표시한다.
또한, 상기 제2 조직 추출부(210)는 암 영역의 위치를 표시한 상기 학습용 병리영상에서 조직 영역을 추출한다.
이때, 상기 제2 조직 추출부(210)는 암 영역의 위치를 표시한 상기 학습용 병리영상의 RGB(Red, Green, Blue) 값을 HSV(Hue, Saturation, Value) 값으로 변환하여 채도 값이 기준값 이상인 부분에 해당하는 조직 영역을 추출할 수 있다.
또한, 상기 제2 조직 추출부(210)는 조직 영역을 추출한 상기 학습용 병리 영상을 이동 슬라이딩 윈도(Sliding Window) 방식과 픽셀 해상도(pixel resolution) 정규화를 통해 다수의 일정한 크기의 정사각형 조각 형태의 패치들로 분할하고, 상기 학습용 병리 영상에 포함되는 속성값으로 저장되어 있는 배율 정보를 추출하여 분할된 상기 패치들을 미리 지정한 픽셀의 크기로 조절할 수 있다.
보다 구체적으로, 상기 제2 조직 추출부(210)는 학습용 병리영상의 흰색 배경을 제외하고 조직 영역만 추출할 수 있으며, 입력된 학습용 병리영상의 색 공간을 RGB(Red Green Blue: 빨간색, 녹색, 파란색) 척도에서 HSV(Hue Saturation Value: 색조, 채도, 값) 척도로 변환할 수 있다. 이때, H(Hue), S(Saturation), V(Value)는 0과 255 사이의 값으로 표현할 수 있으며. S(Saturation: 채도값)는 특정한 색상의 가장 진한 상태를 100%로 하였을 때 진함의 정도를 나타내며, 채도값 0은 같은 명도의 무채색을 나타낸다. 그에 따라, 상기 제2 조직 추출부(210)는 S(Saturation) 채널에서 S 값이 4 이상인 부분만 추출하여 대략적인 조직 영역을 얻을 수 있다.
상기 제2 패치 생성부(220)는 조직 영역을 추출한 상기 학습용 병리 영상을 정사각형 조각 형태의 패치들로 분할한다.
이때, 상기 제2 패치 생성부(220)는 조직 영역을 추출한 상기 학습용 병리 영상을 이동 슬라이딩 윈도(Sliding Window) 방식과 픽셀 해상도(pixel resolution) 정규화를 통해 다수의 일정한 크기의 정사각형 조각 형태의 패치들로 분할하고, 상기 병리 영상에 포함되는 속성값으로 저장되어 있는 배율 정보를 추출하여 분할된 상기 패치들을 미리 지정한 픽셀의 크기로 조절할 수 있다.
보다 상세하게 설명하면, 상기 패치(patch)란 병리영상을 정사각형 조각 형태로 분할한 이미지를 의미하며, 상기 제2 패치 생성부(220)는 입력된 학습용 병리영상에 대하여 이동 슬라이딩 윈도(Sliding Window) 방식과 픽셀 해상도(pixel resolution) 정규화를 통해 다수의 일정한 사이즈(512×512 픽셀)의 소형 패치들을 생성할 수 있다. 이때, 픽셀 해상도(pixel resolution) 정규화란 스캐너마다 픽셀 해상도가 다르기 때문에 일정한 픽셀(pixel) 크기로 정규화시키는 작업을 말한다.
이때, 상기 제2 패치 생성부(220)는 학습용 병리영상에 속성값으로 저장되어 있는 배율 정보를 추출하여 미리 지정한 픽셀 크기로 영상 리사이즈(resize) 작업 진행할 수 있다.
또한, 상기 제2 패치 생성부(220)는 학습용 병리영상 전체 영역 중 배경에 해당하는 영역은 패치를 생성하지 않고, 상기 제2 조직 추출부(110)에서 추출된 조직 부분에 해당하는 영역의 패치만을 생성하며, 이와 같은 패치화를 통해 이후에 전체 학습용 병리 이미지가 아닌 작은 영역별(패치별) 심각도를 예측하게 된다.
상기 제2 이미지 전처리부(230)는 상기 패치들에 색상 표준화를 적용한다.
보다 상세하게 설명하면, 병리영상의 경우 H&E (Hematoxyling and Eosin) 염색 용액에 따라 영상의 색상이 달라진다. 따라서, 데이터셋이 같은 색상으로 표준화될 경우 이미지 간의 색상 차이가 감소하므로 효율적인 인공지능 모델 학습이 가능하다.
따라서, 상기 제2 이미지 전처리부(230)는 제2 패치 생성부(220)에서 생성된 패치들에 색상 표준화(stain normalization)를 실행하며, 이때 색상 표준화는 Macenko method를 사용할 수 있다.
상기 패치 라벨링부(240)는 색상 표준화과 적용된 상기 패치들을 상기 암 영역의 표시의 여부에 따라 암 패치 또는 정상 패치로 라벨링한다.
즉, 상기 패치 라벨링부(240)는 생성된 인공지능 학습용 패치들을 암, 정상 두 클래스로 라벨링하며, 이때 생성된 패치들에서 암 어노테이션(annotation)이 있는 패치는 암, 암 어노테이션이 없는 패치는 정상 패치로 라벨링할 수 있다.
따라서, 상기 인공지능 학습부(250)는 라벨링된 상기 암 패치 또는 상기 정상 패치를 이용해 패치 분류 모델을 학습한다.
이때, 상기 인공지능 학습부(250)는 라벨링된 상기 암 패치들 또는 상기 정상 패치들을 중에서, 상대적으로 적은 패치들의 개수만큼 상대적으로 많은 패치들에서 랜덤으로 선택하여(Under-sampling) 상기 암 패치들과 상기 정상 패치들의 균형을 맞추어 학습할 수 있다.
또한, 상기 인공지능 학습부(250)는 상기 암 패치 또는 상기 정상 패치를 이용해 상기 패치 분류 모델로서 합성 곱 신경망(Convolutional Neural Network) 기반의 인공지능 모델을 학습할 수 있다.
즉, 본 발명에 따르면 클래스 불균형(Class imbalance) 문제를 해결하기 위하여, 상기 인공지능 학습부(250)는 암 클래스와 정상 클래스 중 패치가 많은 클래스의 전체 패치들 중 패치가 적은 클래스의 패치 개수만큼 랜덤으로 선택하여(Under-sampling) 두 클래스의 균형을 맞추어 학습한다.
이때, 상기 인공지능 학습부(250)는 합성 곱 신경망(Convolutional Neural Network) 기반의 인공지능 모델을 학습할 수 있으며, 새로운 병리영상 어노테이션이 입력될 때마다, 상기의 과정을 반복하며 인공지능 모델을 재학습할 수 있다. 또한, 학습용 어노테이션의 수가 많을수록 인공지능 모델의 신뢰도가 높아진다.
이와 같이 본 발명에 따른 인공지능 기반의 병리영상 암 병변 맞춤형 위치 표시 시스템은 인공지능을 활용하여 병리 의사에게 암 심각도 예측치가 높은 순서대로 병변 의심영역의 좌표를 제공하여 암 의심영역부터 판독을 시작하도록 함으로써, 진단 시간을 최소화하고 오진의 가능성을 줄일 수 있다.
도 2 및 도 3은 본 발명의 일실시예에 따른 인공지능 기반의 병리영상 암 병변 맞춤형 위치 표시 방법을 설명하기 위한 흐름도로서, 도 2는 본 발명의 일실시예에 따른 인공지능 학습 방법을 설명하기 위한 흐름도이고, 도 3은 본 발명의 일실시예에 따른 학습된 인공지능에 의해 병리영상 암 병변 맞춤형 위치 표시 방법을 설명하기 위한 흐름도이다.
이후부터는 도 2 및 도 3을 참조하여 본 발명의 일실시예에 따른 인공지능 기반의 병리영상 암 병변 맞춤형 위치 표시 방법을 설명하기로 한다.
먼저, 어노테이션부가 학습용 병리영상에 암 영역의 위치를 표시한다(S110).
이후, 제2 조직 추출부가 암 영역의 위치를 표시한 상기 학습용 병리영상에서 조직 영역을 추출한다(S120).
이때, 상기 제2 조직 추출부가 암 영역의 위치를 표시한 상기 학습용 병리영상의 RGB(Red Green Blue) 값을 HSV(Hue Saturation Value) 값으로 변환하여 채도 값이 기준값 이상인 부분에 해당하는 조직 영역을 추출할 수 있다.
이후에는 제2 패치 생성부가 조직 영역을 추출한 상기 학습용 병리 영상을 정사각형 조각 형태의 패치들로 분할한다(S130).
보다 상세하게 설명하면, 상기 제2 패치 생성부가 조직 영역을 추출한 상기 학습용 병리 영상을 이동 슬라이딩 윈도(Sliding Window) 방식과 픽셀 해상도(pixel resolution) 정규화를 통해 다수의 일정한 크기의 정사각형 조각 형태의 패치들로 분할하고, 상기 학습용 병리 영상에 포함되는 속성값으로 저장되어 있는 배율 정보를 추출하여 분할된 상기 패치들을 미리 지정한 픽셀의 크기로 조절할 수 있다.
이후, 제2 이미지 전처리부가 상기 패치들에 색상 표준화를 적용한다(S140).
이후에는 패치 라벨링부가 색상 표준화과 적용된 상기 패치들을 상기 암 영역의 표시의 여부에 따라 암 패치 또는 정상 패치로 라벨링 한다(S150).
이후, 인공지능 학습부가 라벨링된 상기 암 패치 또는 상기 정상 패치를 이용해 패치 분류 모델을 학습한다(S160).
보다 상세하게 설명하면, 상기 인공지능 학습부가 라벨링된 상기 암 패치들 또는 상기 정상 패치들을 중에서, 상대적으로 적은 패치들의 개수만큼 상대적으로 많은 패치들에서 랜덤으로 선택하여(Under-sampling) 상기 암 패치들과 상기 정상 패치들의 균형을 맞추어 학습할 수 있으며, 이때, 상기 인공지능 학습부가 상기 암 패치 또는 상기 정상 패치를 이용해 상기 패치 분류 모델로서 합성 곱 신경망(Convolutional Neural Network) 기반의 인공지능 모델을 학습할 수 있다.
한편, 제1 조직 추출부가 병리영상에서 조직 영역을 추출한다(S210).
이때, 상기 제1 조직 추출부가 암 영역의 위치를 표시한 상기 병리영상의 RGB(Red Green Blue) 값을 HSV(Hue Saturation Value) 값으로 변환하여 채도 값이 기준값 이상인 부분에 해당하는 조직 영역을 추출할 수 있다.
이후, 제1 패치 생성부가 조직 영역을 추출한 상기 병리 영상을 정사각형 조각 형태의 패치들로 분할한다(S220).
보다 상세하게 설명하면, 상기 제1 패치 생성부가 조직 영역을 추출한 상기 병리 영상을 이동 슬라이딩 윈도(Sliding Window) 방식과 픽셀 해상도(pixel resolution) 정규화를 통해 다수의 일정한 크기의 정사각형 조각 형태의 패치들로 분할하고, 상기 병리 영상에 포함되는 속성값으로 저장되어 있는 배율 정보를 추출하여 분할된 상기 패치들을 미리 지정한 픽셀의 크기로 조절할 수 있다.
이후, 제1 이미지 전처리부가 상기 패치들에 색상 표준화를 적용한다(S230).
그에 따라, 심각도 예측부가 색상 표준화가 적용된 상기 패치들을 상기 인공지능 학습부가 학습시킨 패치 분류 모델에 입력하여, 각 상기 패치들 별로 예측 결과로서 암의 확률을 나타내는 심각도 점수를 산출한다(S240).
이때, 상기 심각도 예측부가 색상 표준화가 적용된 상기 패치들을 소프트맥스 함수(Softmax Function)를 이용하는 패치 분류 모델에 입력하여 각 상기 패치들 별로 예측 결과로서 암의 확률을 나타내는 심각도 점수를 산출할 수 있다.
이후, 패치 선정부가 산출된 상기 심각도 점수를 이용해 심각도가 가장 높은 패치를 선정하여 가시화한다(S250)
보다 상세하게 설명하면, 상기 패치 선정부가 상기 심각도 점수를 설정된 임계치 값을 통해 이진화하고, 상기 이진화된 점수를 바탕으로 암으로 판별된 패치들을 심각도 점수가 높은 순서대로 가시화하여 제공할 수 있다.
이와 같이 본 발명에 따른 인공지능 기반의 병리영상 암 병변 맞춤형 위치 표시 시스템은 인공지능을 활용하여 병리 의사에게 암 심각도 예측치가 높은 순서대로 병변 의심영역의 좌표를 제공하여 암 의심영역부터 판독을 시작하도록 함으로써, 진단 시간을 최소화하고 오진의 가능성을 줄일 수 있다.
전술한 바와 같은 본 발명의 상세한 설명에서는 구체적인 실시예에 관해 설명하였다. 그러나 본 발명의 범주에서 벗어나지 않는 한도 내에서는 여러 가지 변형이 가능하다. 본 발명의 기술적 사상은 본 발명의 전술한 실시예에 국한되어 정해져서는 안 되며, 청구범위뿐만 아니라 이 청구범위와 균등한 것들에 의해 정해져야 한다.
Claims (20)
- 제1 조직 추출부가 병리영상에서 조직 영역을 추출하는 제1 조직 추출 단계;
제1 패치 생성부가 조직 영역을 추출한 상기 병리 영상을 정사각형 조각 형태의 패치들로 분할하는 제1 패치 생성 단계;
제1 이미지 전처리부가 상기 패치들에 색상 표준화를 적용하는 제1 이미지 전처리 단계;
심각도 예측부가 색상 표준화가 적용된 상기 패치들을 패치 분류 모델에 입력하여 각 상기 패치들 별로 예측 결과로서 암의 확률을 나타내는 심각도 점수를 산출하는 심각도 예측 단계; 및
패치 선정부가 산출된 상기 심각도 점수를 이용해 심각도가 가장 높은 패치를 선정하여 가시화하는 패치 선정 단계;
를 포함하는 것을 특징으로 하는 인공지능 기반의 병리영상 암 병변 맞춤형 위치 표시 방법.
- 청구항 1에 있어서,
상기 제1 조직 추출 단계는,
상기 제1 조직 추출부가 암 영역의 위치를 표시한 상기 병리영상의 RGB(Red, Green, Blue) 값을 HSV(Hue, Saturation, Value) 값으로 변환하여 채도 값이 기준값 이상인 부분에 해당하는 조직 영역을 추출하는 것을 특징으로 하는 인공지능 기반의 병리영상 암 병변 맞춤형 위치 표시 방법.
- 청구항 1에 있어서,
상기 제1 패치 생성 단계는,
상기 제1 패치 생성부가 조직 영역을 추출한 상기 병리 영상을 이동 슬라이딩 윈도(Sliding Window) 방식과 픽셀 해상도(pixel resolution) 정규화를 통해 다수의 일정한 크기의 정사각형 조각 형태의 패치들로 분할하고,
상기 병리 영상에 포함되는 속성값으로 저장되어 있는 배율 정보를 추출하여 분할된 상기 패치들을 미리 지정한 픽셀의 크기로 조절하는 것을 특징으로 하는 인공지능 기반의 병리영상 암 병변 맞춤형 위치 표시 방법.
- 청구항 1에 있어서,
상기 심각도 예측 단계는,
상기 심각도 예측부가 색상 표준화가 적용된 상기 패치들을 소프트맥스 함수(Softmax Function)를 이용하는 패치 분류 모델에 입력하여 각 상기 패치들 별로 예측 결과로서 암의 확률을 나타내는 심각도 점수를 산출하는 것을 특징으로 하는 인공지능 기반의 병리영상 암 병변 맞춤형 위치 표시 방법.
- 청구항 1에 있어서,
상기 패치 선정 단계는,
상기 패치 선정부가 상기 심각도 점수를 설정된 임계치 값을 통해 이진화하고, 상기 이진화된 점수를 바탕으로 암으로 판별된 패치들을 심각도 점수가 높은 순서대로 가시화하여 제공하는 것을 특징으로 하는 인공지능 기반의 병리영상 암 병변 맞춤형 위치 표시 방법.
- 청구항 1에 있어서,
상기 심각도 예측 단계의 이전에,
어노테이션부가 학습용 병리영상에 암 영역의 위치를 표시는 어노테이션 단계;
제2 조직 추출부가 암 영역의 위치를 표시한 상기 학습용 병리영상에서 조직 영역을 추출하는 제2 조직 추출 단계;
제2 패치 생성부가 조직 영역을 추출한 상기 학습용 병리 영상을 정사각형 조각 형태의 패치들로 분할하는 제2 패치 생성 단계;
제2 이미지 전처리부가 상기 패치들에 색상 표준화를 적용하는 제2 이미지 전처리 단계;
패치 라벨링부가 색상 표준화과 적용된 상기 패치들을 상기 암 영역의 표시의 여부에 따라 암 패치 또는 정상 패치로 라벨링 하는 패치 라벨링 단계; 및
인공지능 학습부가 라벨링된 상기 암 패치 또는 상기 정상 패치를 이용해 패치 분류 모델을 학습하는 인공지능 학습 단계;를 더 포함하고,
상기 심각도 예측 단계는,
상기 심각도 예측부가 색상 표준화가 적용된 상기 패치들을 학습된 상기 패치 분류 모델에 입력하여 각 상기 패치들 별로 예측 결과로서 암의 확률을 나타내는 심각도 점수를 산출하는 것을 특징으로 하는 인공지능 기반의 병리영상 암 병변 맞춤형 위치 표시 방법.
- 청구항 6에 있어서,
상기 제2 조직 추출 단계는,
상기 제2 조직 추출부가 암 영역의 위치를 표시한 상기 학습용 병리영상의 RGB(Red, Green, Blue) 값을 HSV(Hue, Saturation, Value) 값으로 변환하여 채도 값이 기준값 이상인 부분에 해당하는 조직 영역을 추출하는 것을 특징으로 하는 인공지능 기반의 병리영상 암 병변 맞춤형 위치 표시 방법.
- 청구항 6에 있어서,
상기 제2 패치 생성 단계는,
상기 제2 패치 생성부가 조직 영역을 추출한 상기 학습용 병리 영상을 이동 슬라이딩 윈도(Sliding Window) 방식과 픽셀 해상도(pixel resolution) 정규화를 통해 다수의 일정한 크기의 정사각형 조각 형태의 패치들로 분할하고,
상기 학습용 병리 영상에 포함되는 속성값으로 저장되어 있는 배율 정보를 추출하여 분할된 상기 패치들을 미리 지정한 픽셀의 크기로 조절하는 것을 특징으로 하는 인공지능 기반의 병리영상 암 병변 맞춤형 위치 표시 방법.
- 청구항 6에 있어서,
상기 인공지능 학습 단계는,
상기 인공지능 학습부가 라벨링된 상기 암 패치들 또는 상기 정상 패치들을 중에서, 상대적으로 적은 패치들의 개수만큼 상대적으로 많은 패치들에서 랜덤으로 선택하여(Under-sampling) 상기 암 패치들과 상기 정상 패치들의 균형을 맞추어 학습하는 것을 특징으로 하는 인공지능 기반의 병리영상 암 병변 맞춤형 위치 표시 방법.
- 청구항 6에 있어서,
상기 인공지능 학습 단계는,
상기 인공지능 학습부가 상기 암 패치 또는 상기 정상 패치를 이용해 상기 패치 분류 모델로서 합성 곱 신경망(Convolutional Neural Network) 기반의 인공지능 모델을 학습하는 것을 특징으로 하는 인공지능 기반의 병리영상 암 병변 맞춤형 위치 표시 방법.
- 병리영상에서 조직 영역을 추출하는 제1 조직 추출부;
조직 영역을 추출한 상기 병리 영상을 정사각형 조각 형태의 패치들로 분할하는 제1 패치 생성부;
상기 패치들에 색상 표준화를 적용하는 제1 이미지 전처리부;
색상 표준화가 적용된 상기 패치들을 패치 분류 모델에 입력하여 각 상기 패치들 별로 예측 결과로서 암의 확률을 나타내는 심각도 점수를 산출하는 심각도 예측부; 및
산출된 상기 심각도 점수를 이용해 심각도가 가장 높은 패치를 선정하여 가시화하는 패치 선정부;
를 포함하는 것을 특징으로 하는 인공지능 기반의 병리영상 암 병변 맞춤형 위치 표시 시스템.
- 청구항 11에 있어서,
상기 제1 조직 추출부는,
암 영역의 위치를 표시한 상기 병리영상의 RGB(Red, Green, Blue) 값을 HSV(Hue, Saturation, Value) 값으로 변환하여 채도 값이 기준값 이상인 부분에 해당하는 조직 영역을 추출하는 인공지능 기반의 병리영상 암 병변 맞춤형 위치 표시 시스템.
- 청구항 11에 있어서,
상기 제1 패치 생성부는,
조직 영역을 추출한 상기 병리 영상을 이동 슬라이딩 윈도(Sliding Window) 방식과 픽셀 해상도(pixel resolution) 정규화를 통해 다수의 일정한 크기의 정사각형 조각 형태의 패치들로 분할하고,
상기 병리 영상에 포함되는 속성값으로 저장되어 있는 배율 정보를 추출하여 분할된 상기 패치들을 미리 지정한 픽셀의 크기로 조절하는 인공지능 기반의 병리영상 암 병변 맞춤형 위치 표시 시스템.
- 청구항 11에 있어서,
상기 심각도 예측부는,
색상 표준화가 적용된 상기 패치들을 소프트맥스 함수(Softmax Function)를 이용하는 패치 분류 모델에 입력하여 각 상기 패치들 별로 예측 결과로서 암의 확률을 나타내는 심각도 점수를 산출하는 인공지능 기반의 병리영상 암 병변 맞춤형 위치 표시 시스템.
- 청구항 11에 있어서,
상기 패치 선정부는,
상기 심각도 점수를 설정된 임계치 값을 통해 이진화하고, 상기 이진화된 점수를 바탕으로 암으로 판별된 패치들을 심각도 점수가 높은 순서대로 가시화하여 제공하는 인공지능 기반의 병리영상 암 병변 맞춤형 위치 표시 시스템.
- 청구항 11에 있어서,
학습용 병리영상에 암 영역의 위치를 표시하는 어노테이션부;
암 영역의 위치를 표시한 상기 학습용 병리영상에서 조직 영역을 추출하는 제2 조직 추출부;
조직 영역을 추출한 상기 학습용 병리 영상을 정사각형 조각 형태의 패치들로 분할하는 제2 패치 생성부;
상기 패치들에 색상 표준화를 적용하는 제2 이미지 전처리부;
색상 표준화과 적용된 상기 패치들을 상기 암 영역의 표시의 여부에 따라 암 패치 또는 정상 패치로 라벨링 하는 패치 라벨링부; 및
라벨링된 상기 암 패치 또는 상기 정상 패치를 이용해 패치 분류 모델을 학습하는 인공지능 학습부;를 더 포함하고,
상기 심각도 예측부는,
색상 표준화가 적용된 상기 패치들을 학습된 상기 패치 분류 모델에 입력하여 각 상기 패치들 별로 예측 결과로서 암의 확률을 나타내는 심각도 점수를 산출하는 것을 특징으로 하는 인공지능 기반의 병리영상 암 병변 맞춤형 위치 표시 시스템.
- 청구항 16에 있어서,
상기 제2 조직 추출부는,
암 영역의 위치를 표시한 상기 학습용 병리영상의 RGB(Red, Green, Blue) 값을 HSV(Hue, Saturation, Value) 값으로 변환하여 채도 값이 기준값 이상인 부분에 해당하는 조직 영역을 추출하는 인공지능 기반의 병리영상 암 병변 맞춤형 위치 표시 시스템.
- 청구항 16에 있어서,
상기 제2 패치 생성부는,
조직 영역을 추출한 상기 학습용 병리 영상을 이동 슬라이딩 윈도(Sliding Window) 방식과 픽셀 해상도(pixel resolution) 정규화를 통해 다수의 일정한 크기의 정사각형 조각 형태의 패치들로 분할하고,
상기 학습용 병리 영상에 포함되는 속성값으로 저장되어 있는 배율 정보를 추출하여 분할된 상기 패치들을 미리 지정한 픽셀의 크기로 조절하는 인공지능 기반의 병리영상 암 병변 맞춤형 위치 표시 시스템.
- 청구항 16에 있어서,
상기 인공지능 학습부는,
라벨링된 상기 암 패치들 또는 상기 정상 패치들을 중에서, 상대적으로 적은 패치들의 개수만큼 상대적으로 많은 패치들에서 랜덤으로 선택하여(Under-sampling) 상기 암 패치들과 상기 정상 패치들의 균형을 맞추어 학습하는 인공지능 기반의 병리영상 암 병변 맞춤형 위치 표시 시스템.
- 청구항 16에 있어서,
상기 인공지능 학습부는,
상기 암 패치 또는 상기 정상 패치를 이용해 상기 패치 분류 모델로서 합성 곱 신경망(Convolutional Neural Network) 기반의 인공지능 모델을 학습하는 인공지능 기반의 병리영상 암 병변 맞춤형 위치 표시 시스템.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210184744 | 2021-12-22 | ||
| KR20210184744 | 2021-12-22 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20230095801A true KR20230095801A (ko) | 2023-06-29 |
Family
ID=86946600
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220150199A KR20230095801A (ko) | 2021-12-22 | 2022-11-11 | 인공지능 기반의 병리영상 암 병변 맞춤형 위치 표시 방법 및 시스템 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20230095801A (ko) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102237696B1 (ko) | 2019-04-29 | 2021-04-08 | 계명대학교 산학협력단 | 자궁경부암 세포 영상 자동 분석을 위한 인공지능 컴퓨터 보조 진단 시스템 및 그 제어 방법 |
-
2022
- 2022-11-11 KR KR1020220150199A patent/KR20230095801A/ko unknown
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102237696B1 (ko) | 2019-04-29 | 2021-04-08 | 계명대학교 산학협력단 | 자궁경부암 세포 영상 자동 분석을 위한 인공지능 컴퓨터 보조 진단 시스템 및 그 제어 방법 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11681418B2 (en) | Multi-sample whole slide image processing in digital pathology via multi-resolution registration and machine learning | |
| US11842556B2 (en) | Image analysis method, apparatus, program, and learned deep learning algorithm | |
| US10456009B2 (en) | Image processing apparatus, image processing method, and computer-readable recording medium | |
| US10121245B2 (en) | Identification of inflammation in tissue images | |
| EP4181059A1 (en) | Medical image processing method, apparatus, device, storage medium, and product | |
| JP2006318474A (ja) | 画像シーケンス内のオブジェクトを追跡するための方法及び装置 | |
| EP2930683A1 (en) | Image processing device, image processing system, and program | |
| CN109740572A (zh) | 一种基于局部彩色纹理特征的人脸活体检测方法 | |
| CN113313680B (zh) | 一种结直肠癌病理图像预后辅助预测方法及系统 | |
| CN111931751A (zh) | 深度学习训练方法、目标物识别方法、系统和存储介质 | |
| CN113011450B (zh) | 青光眼识别的训练方法、训练装置、识别方法及识别系统 | |
| CN111656393A (zh) | 组织学图像分析 | |
| CN111489369A (zh) | 幽门螺杆菌的定位方法、装置和电子设备 | |
| US20230096719A1 (en) | Scalable and high precision context-guided segmentation of histological structures including ducts/glands and lumen, cluster of ducts/glands, and individual nuclei in whole slide images of tissue samples from spatial multi-parameter cellular and sub-cellular imaging platforms | |
| CN110647889B (zh) | 医学图像识别方法、医学图像识别装置、终端设备及介质 | |
| JP2016058018A (ja) | 画像処理方法、画像処理プログラムおよび画像処理装置 | |
| Gandomkar et al. | Determining image processing features describing the appearance of challenging mitotic figures and miscounted nonmitotic objects | |
| KR20230095801A (ko) | 인공지능 기반의 병리영상 암 병변 맞춤형 위치 표시 방법 및 시스템 | |
| CN113065407B (zh) | 基于注意力机制和生成对抗网络的财务票据印章擦除方法 | |
| JP6855175B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
| CN114882511A (zh) | 基于amnn和汉字结构字典的手写汉字识别方法、系统、设备和存储介质 | |
| CN113095147A (zh) | 皮肤区域检测方法、系统、图像处理终端和存储介质 | |
| CN111598144A (zh) | 图像识别模型的训练方法和装置 | |
| CN112734767B (zh) | 基于病理图像组织区域的提取方法、装置、设备及介质 | |
| JPWO2013118436A1 (ja) | 生体画像解析システム、生体画像解析方法および生体画像解析プログラム |