KR102476888B1 - 디지털 병리이미지의 인공지능 진단 데이터 처리 장치 및 그 방법 - Google Patents

디지털 병리이미지의 인공지능 진단 데이터 처리 장치 및 그 방법 Download PDF

Info

Publication number
KR102476888B1
KR102476888B1 KR1020220037038A KR20220037038A KR102476888B1 KR 102476888 B1 KR102476888 B1 KR 102476888B1 KR 1020220037038 A KR1020220037038 A KR 1020220037038A KR 20220037038 A KR20220037038 A KR 20220037038A KR 102476888 B1 KR102476888 B1 KR 102476888B1
Authority
KR
South Korea
Prior art keywords
image
polygon
converting
diagnosis
pathology
Prior art date
Application number
KR1020220037038A
Other languages
English (en)
Inventor
윤길중
김승종
Original Assignee
주식회사 몰팩바이오
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 몰팩바이오 filed Critical 주식회사 몰팩바이오
Priority to KR1020220037038A priority Critical patent/KR102476888B1/ko
Application granted granted Critical
Publication of KR102476888B1 publication Critical patent/KR102476888B1/ko
Priority to PCT/KR2023/003136 priority patent/WO2023182702A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06T5/001—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)

Abstract

본 발명은 디지털 병리이미지의 인공지능 진단 데이터 처리 장치 및 그 방법에 관한 것으로, 병리슬라이드이미지를 매트릭스데이터로 변환하는 이미지전처리부; 상기 변환된 매트릭스데이터를 기 설정된 임계값에 따라 보정하는 평활화처리부; 상기 평활화처리부를 통해 획득된 보정이미지를 폴리곤이미지로 변환하는 폴리곤생성부; 상기 변환된 폴리곤이미지에서 폴리곤 넓이를 산출하는 넓이산출부; 및 상기 산출된 폴리곤 넓이에 따라 필터링하여 추출된 추출폴리곤을 인공지능 진단을 위한 파일형식으로 변환하여 반환하는 결과출력부;를 포함함으로써, 병리이미지의 인공지능 진단 데이터의 처리를 효과적으로 이행할 수 있다.

Description

디지털 병리이미지의 인공지능 진단 데이터 처리 장치 및 그 방법{ARTIFICIAL DIAGNOSTIC DATA PROCESSING APPARATUS AND ITS METHOD IN DIGITAL PATHOLOGY IMAGES}
본 발명은 본 발명은 병리슬라이드이미지를 매트릭스데이터로 변환하고, 변환된 매트릭스데이터를 기 설정된 임계값에 따라 보정하며, 획득된 보정이미지를 폴리곤이미지로 변환하고, 변환된 폴리곤이미지에서 폴리곤 넓이를 산출한 후에, 산출된 폴리곤 넓이에 따라 필터링하여 추출된 추출폴리곤을 인공지능 진단을 위한 파일형식으로 변환하여 반환함으로써, 인공지능 학습을 위해 병리이미지를 효과적으로 처리할 수 있는 디지털 병리이미지의 인공지능 진단 데이터 처리 장치 및 그 방법에 관한 것이다.
잘 알려진 바와 같이, 인공지능(AI : artificial intelligence) 시스템은 인간 수준의 지능을 구현하는 컴퓨터 시스템으로, 기계가 스스로 학습하고 판단하며 똑똑해지는 시스템을 의미한다.
이러한 인공지능 시스템은 사용할수록 인식률이 향상되고, 사용자의 취향을 더욱 정확하게 이해할 수 있게 되기 때문에, 기존의 규칙 기반 스마트 시스템은 점차 딥러닝 기반의 인공지능 시스템으로 대체되고 있다.
상술한 바와 같은 인공지능 기술은 기계 학습 및 기계 학습을 활용한 요소 기술들로 구성되는데, 기계 학습은 입력 데이터들의 특징을 스스로 분류하여 학습하는 알고리즘을 의미하며, 요소 기술은 딥러닝 등의 기계학습 알고리즘을 활용하는 기술로서, 언어적 이해, 시각적 이해, 추론/예측, 지식 표현, 동작 제어 등의 기술 분야로 구성될 수 있다.
여기에서, 인공지능 기술이 응용되는 분야는 예를 들어 언어적 이해, 시각적 이해, 추론 및 예측, 지식 표현, 동작 제어 등을 포함할 수 있는데, 특히 시각적 이해 분야에서는 예를 들어 객체인식, 객체추적, 영상검색, 사람인식, 장면이해, 공간이해, 영상개선 등의 기술을 포함할 수 있다.
최근에는 인공지능 알고리즘 중에서 딥러닝(deep learning)이 다양한 분야에서 각광받고 있는데, 특히 객체인식(object recognition) 분야에서는 딥러닝의 일종인 CNN(convolutional neural network)이라는 기술이 각광받고 있다.
이러한 CNN은 사람이 물체를 인식할 때 물체의 기본적인 특징들을 추출한 다음 뇌 속에서 복잡한 계산을 거쳐 그 결과를 기반으로 물체를 인식한다는 가정을 기반으로 만들어진 사람의 뇌 기능을 모사한 모델로서, 일반적으로 컨볼루션(convolution) 연산을 통해 영상의 특징을 추출하기 위한 다양한 필터와 비선형적인 특성을 더하기 위한 풀링(pooling) 또는 비선형활성화(non-linear activation) 함수(예를 들면, sigmod, ReLU(rectified linear unit) 등을 포함함) 등을 사용할 수 있다.
한편, 현대의학에서 효과적인 질병의 진단 및 환자의 치료를 위해 의료영상은 매우 중요한 도구로 사용되고 있고, 영상기술발달은 더욱 정교한 의료영상 데이터를 획득할 수 있도록 하지만, 그에 대응하여 데이터의 양은 점차 방대해지고 있어 의료영상 데이터를 인간의 시각에 의존하여 분석하는 데 어려움이 많다.
상술한 바와 같은 문제점을 해결하기 위해 다양한 의료 기기(예를 들면, 초음파, CT(computed tomography), MRI(magnetic resonance imaging) 등)를 통해 방대한 병리이미지를 획득하고, 인공지능을 이용하여 방대한 병리이미지를 분석 및 학습함으로써 질병을 진단하는 다양한 기술이 연구 개발되고 있는데, 인공지능 진단 성능을 향상시키기 위한 처리 기술도 함께 연구되고 있다.
1. 한국등록특허 제10-2237696호(2021.04.02.등록)
본 발명은 병리슬라이드이미지를 매트릭스데이터로 변환하고, 변환된 매트릭스데이터를 기 설정된 임계값에 따라 보정하며, 획득된 보정이미지를 폴리곤이미지로 변환하고, 변환된 폴리곤이미지에서 폴리곤 넓이를 산출한 후에, 산출된 폴리곤 넓이에 따라 필터링하여 추출된 추출폴리곤을 인공지능 진단을 위한 파일형식으로 변환하여 반환함으로써, 병리이미지의 인공지능 진단 데이터의 처리를 효과적으로 이행할 수 있는 디지털 병리이미지의 인공지능 진단 데이터 처리 장치 및 그 방법을 제공하고자 한다.
본 발명의 실시예들의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 측면에 따르면, 병리슬라이드이미지를 매트릭스데이터로 변환하는 이미지전처리부; 상기 변환된 매트릭스데이터를 기 설정된 임계값에 따라 보정하는 평활화처리부; 상기 평활화처리부를 통해 획득된 보정이미지를 폴리곤이미지로 변환하는 폴리곤생성부; 상기 변환된 폴리곤이미지에서 폴리곤 넓이를 산출하는 넓이산출부; 및 상기 산출된 폴리곤 넓이에 따라 필터링하여 추출된 추출폴리곤을 인공지능 진단을 위한 파일형식으로 변환하여 반환하는 결과출력부;를 포함하는 디지털 병리이미지의 인공지능 진단 데이터 처리 장치가 제공될 수 있다.
또한, 본 발명의 일 측면에 따르면, 상기 이미지전처리부는, 상기 병리슬라이드이미지를 기 설정된 크기의 패치이미지로 분할한 후, 각각의 상기 패치이미지의 진단 결과에 따라 출력되는 바이너리데이터 결과값으로 하여 상기 매트릭스데이터로 변환하는 디지털 병리이미지의 인공지능 진단 데이터 처리 장치가 제공될 수 있다.
또한, 본 발명의 일 측면에 따르면, 상기 평활화처리부는, 상기 매트릭스데이터를 가우시안흐림효과(Gaussian smoothing, Gaussian blur)를 적용한 후에, 상기 기 설정된 임계값에 따라 보정하는 디지털 병리이미지의 인공지능 진단 데이터 처리 장치가 제공될 수 있다.
또한, 본 발명의 일 측면에 따르면, 상기 폴리곤생성부는, 상기 보정이미지의 좌표를 점으로 변환한 후에, 컨케이브헐알고리즘(concave hull algorithm)을 이용하여 상기 폴리곤이미지로 변환하는 디지털 병리이미지의 인공지능 진단 데이터 처리 장치가 제공될 수 있다.
또한, 본 발명의 일 측면에 따르면, 상기 결과출력부는, 상기 폴리곤이미지에서 신발끈공식(shoelace formula)을 이용하여 상기 폴리곤 넓이를 산출하는 디지털 병리이미지의 인공지능 진단 데이터 처리 장치가 제공될 수 있다.
본 발명의 다른 측면에 따르면, 병리슬라이드이미지를 매트릭스데이터로 변환하는 단계; 상기 변환된 매트릭스데이터를 기 설정된 임계값에 따라 보정하여 보정이미지를 획득하는 단계; 상기 획득된 보정이미지를 폴리곤이미지로 변환하는 단계; 상기 변환된 폴리곤이미지에서 폴리곤 넓이를 산출하는 단계; 및 상기 산출된 폴리곤 넓이에 따라 필터링하여 추출된 추출폴리곤을 인공지능 진단을 위한 파일형식으로 변환하여 반환하는 단계:를 포함하는 디지털 병리이미지의 인공지능 진단 데이터 처리 방법이 제공될 수 있다.
또한, 본 발명의 다른 측면에 따르면, 상기 매트릭스데이터로 변환하는 단계는, 상기 병리슬라이드이미지를 기 설정된 크기의 패치이미지로 분할한 후, 각각의 상기 패치이미지의 진단 결과에 따라 출력되는 바이너리데이터 결과값으로 하여 상기 매트릭스데이터로 변환하는 디지털 병리이미지의 인공지능 진단 데이터 처리 방법이 제공될 수 있다.
또한, 본 발명의 다른 측면에 따르면, 상기 보정이미지를 획득하는 단계는, 상기 매트릭스데이터를 가우시안흐림효과(Gaussian smoothing, Gaussian blur)를 적용한 후에, 상기 기 설정된 임계값에 따라 보정하는 디지털 병리이미지의 인공지능 진단 데이터 처리 방법이 제공될 수 있다.
또한, 본 발명의 다른 측면에 따르면, 상기 폴리곤이미지로 변환하는 단계는, 상기 보정이미지의 좌표를 점으로 변환한 후에, 컨케이브헐알고리즘(concave hull algorithm)을 이용하여 상기 폴리곤이미지로 변환하는 디지털 병리이미지의 인공지능 진단 데이터 처리 방법이 제공될 수 있다.
또한, 본 발명의 다른 측면에 따르면, 상기 폴리곤 넓이를 산출하는 단계는, 상기 폴리곤이미지에서 신발끈공식(shoelace formula)을 이용하여 상기 폴리곤 넓이를 산출하는 디지털 병리이미지의 인공지능 진단 데이터 처리 방법이 제공될 수 있다.
본 발명은 병리슬라이드이미지를 매트릭스데이터로 변환하고, 변환된 매트릭스데터를 기 설정된 임계값에 따라 보정하며, 획득된 보정이미지를 폴리곤이미지로 변환하고, 변환된 폴리곤이미지에서 폴리곤 넓이를 산출한 후에, 산출된 폴리곤 넓이에 따라 필터링하여 추출된 추출폴리곤을 인공지능 진단을 위한 파일형식으로 변환하여 반환함으로써, 병리이미지의 인공지능 진단 데이터의 처리를 효과적으로 이행할 수 있다.
도 1은 본 발명의 일 실시예에 따른 디지털 병리이미지의 인공지능 진단 데이터 처리 장치를 나타낸 블록구성도이고,
도 2 내지 도 10은 본 발명의 일 실시예에 따른 디지털 병리이미지의 인공지능 진단 데이터 처리 장치에서 병리이미지를 처리하는 것을 설명하기 위한 도면이며,
도 11은 본 발명의 다른 실시예에 따른 디지털 병리이미지를 인공지능 진단 데이터로 처리하는 과정을 나타낸 플로우차트이고,
도 12 내지 도 22는 본 발명의 다른 실시예에 따른 디지털 병리이미지를 인공지능 진단 데이터로 처리하는 과정을 설명하기 위한 도면이다.
본 발명의 실시예들에 대한 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 디지털 병리이미지의 인공지능 진단 데이터 처리 장치를 나타낸 블록구성도이고, 도 2 내지 도 10은 본 발명의 일 실시예에 따른 디지털 병리이미지의 인공지능 진단 데이터 처리 장치에서 병리이미지를 처리하는 것을 설명하기 위한 도면이다.
도 1 내지 도 10을 참조하면, 본 발명의 일 실시예에 따른 디지털 병리이미지의 인공지능 진단 데이터 처리 장치는 이미지전처리부(110), 평활화처리부(120), 폴리곤생성부(130), 넓이산출부(140), 결과출력부(150) 등을 포함할 수 있다.
이미지전처리부(110)는 병리슬라이드이미지를 매트릭스데이터로 변환하는 것으로, 병리슬라이드이미지를 기 설정된 크기의 패치이미지로 분할한 후, 각각의 패치이미지의 진단 결과에 따라 출력되는 바이너리데이터 결과값으로 하여 매트릭스데이터로 변환할 수 있다.
예를 들면, 도 2에 도시한 바와 같이 인공지능으로 병리슬라이드를 진단할 경우 슬라이드이미지가 수만에서 수십만 픽셀을 초과하기 때문에 기 설정된 크기에 따라 분할하여 진단해야만 한다.
이에 따라, 전체 슬라이드이미지를 기 설정된 크기(예를 들면, 256픽셀, 512픽셀 등)의 패치이미지로 분할한 후에, 분할된 패치이미지에 대해 인공지능으로 분석, 학습 및 진단할 수 있다.
이 경우 인공지능의 분석, 학습 및 진단 과정 중에 국소적인 부분에서 오진단이 발생할 수 있고, 패치이미지 단위로 각각의 부분부분 진단하기에는 진단영역의 경계부분을 명확하게 인식하기 어려운 문제가 있었기 때문에, 후술하는 과정의 이미지 처리 과정을 수행해야만 한다.
먼저, 인공지능 모델 중에서 CNN(convolution neural network)를 이용한 분류방식을 적용하되, 각 패치이미지 당 0 또는 1의 바이너리데이터가 결과로 출력되는 것으로 하여 설정하고, 전체 병리슬라이드이미지를 기 설정된 크기의 패치이미지로 분할한 후에, 각각의 패치이미지를 진단하여 바이너리데이터로 출력한 후에, 출력된 바이너리데이터로 매트릭스데이터로 변환할 수 있다.
예를 들면, 도 3에 도시한 바와 같은 병리슬라이드이미지를 분할하고, 분할된 패치이미지 당 한 픽셀의 결과로 하여 매트릭스데이터로 변환할 경우 도 4에 도시한 바와 같은 변환이미지가 획득될 수 있다.
평활화처리부(120)는 변환된 매트릭스데이터를 기 설정된 임계값에 따라 보정하는 것으로, 이미지전처리부(110)를 통해 변환된 매트릭스데이터를 가우시안흐림효과(Gaussian smoothing, Gaussian blur)를 적용한 후에, 기 설정된 임계값에 따라 보정할 수 있다.
예를 들면, 이미지전처리부(110)를 통해 변환된 매트릭스데이터는 (기존이미지해상도/패치사이즈)의 크기를 갖는데, 변환이미지의 주영역(일정 크기 이상인 영역)에서 이격되어 작은 점과 같은 형태로 나타나는 값들(노이즈)을 제거하기 위해 가우시안흐림효과를 적용한 후에, 일정 수치를 기준으로 양분화시키기 위해 기 설정된 임계값을 이용하여 메트릭스데이터의 결과값을 재조정하는 방식으로 보정할 수 있다.
여기에서, 가우시안흐림효과는 매트릭스데이터의 변환이미지의 특정 영역이나 전체를 부드럽게 하거나, 뿌옇게 만들거나, 흐릿하게 하거나, 뭉개거나, 왜곡하는 등의 방식으로 변환이미지의 주영역을 강조하거나, 주변의 배경을 흐리게 하여 도 5에 도시한 바와 같이 변환이미지의 노이즈를 일차적으로 제거할 수 있다.
이 후에, 가우시안흐림효과가 적용된 변환이미지는 기 설정된 임계값을 적용하여 도 6에 도시한 바와 같은 보정이미지가 획득될 수 있다.
폴리곤생성부(130)는 평활화처리부(120)를 통해 획득된 보정이미지를 폴리곤이미지로 변환하는 것으로, 보정이미지의 좌표를 점으로 변환한 후에, 컨케이브헐알고리즘(concave hull algorithm)을 이용하여 폴리곤이미지로 변환할 수 있다.
예를 들면, 평활화처리부(120)를 통해 획득된 보정이미지의 각 중간지점 좌표를 점으로 변환하여 도 7에 도시한 바와 같은 점변환이미지로 변환한 후에, 그 결과값 중에서 양성부분을 컨케이브헐알고리즘을 이용하여 폴리곤을 그려 도 8에 도시한 바와 같은 복수의 폴리곤이 생성된 폴리곤이미지로 변환할 수 있다.
여기에서, 컨케이브헐알고리즘은 2차원 평면상에 복수의 점이 있을 경우 그 점들 중 일부를 이용하여 볼록 다각형(폴리곤)을 만들되, 볼록 다각형(폴리곤) 내부에 모든 점을 포함시키도록 폴리곤을 생성할 수 있는데, 점변환이미지에서 Y좌표가 가장 작은 하나의 기준점을 설정하고, 설정된 기준점을 기준으로 다른 점들을 반시계방향으로 정렬시키며, 각도에 따라 순착적으로 외곽점들을 연결하여 도 8에 도시한 바와 같은 폴리곤이미지를 생성할 수 있다.
넓이산출부(140)는 변환된 폴리곤이미지에서 폴리곤 넓이를 산출하는 것으로, 폴리곤생성부(130)를 통해 생성된 폴리곤이미지에서 신발끈공식(shoelace formula)을 이용하여 폴리곤 넓이를 산출할 수 있다.
예를 들면, 폴리곤생성부(130)를 통해 생성된 폴리곤이미지에는 복수의 폴리곤이 존재할 수 있는데, 각각의 폴리곤에 대해 신발근공식을 이용하여 각 폴리곤 넓이를 각각 산출할 수 있다.
여기에서, 신발끈공식은 좌표평면 상에서 꼭지점의 좌표를 알 경우 다각형의 면적을 구하는 공식으로, 다각형의 각 꼭지점의 좌표값을 교차하여 곱하는 방식으로 폴리곤의 넓이를 산출할 수 있다.
이와 같이 각각의 폴리곤 넓이를 산출할 경우 넓이산출부(140)에서는 해당 병리슬라이드이미지에서 산출된 넓이를 이용하여 도 9에 도시한 바와 같이 각각의 폴리곤의 주요 영역을 특정할 수 있다.
결과출력부(150)는 산출된 폴리곤 넓이에 따라 필터링하여 추출된 추출폴리곤을 인공지능 진단을 위한 파일형식으로 변환하여 반환할 수 있다.
예를 들면, 복수의 폴리곤이 생성된 폴리곤이미지를 입력된 병리슬라이드이미지에 적용할 경우 도 9에 도시한 바와 같이 각 폴리곤의 주요 영역이 특정되는 원본적용이미지로 나타낼 수 있는데, 결과출력부(150)는 넓이산출부(140)를 통해 산출된 폴리곤 넓이를 기 설정된 크기조건과 비교할 수 있다. 여기에서, 기 설정된 크기조건은 가장 큰 폴리곤 크기(즉, 넓이)의 1/2를 기준으로 할 수 있다.
그 비교 결과, 기 설정된 크기조건보다 상대적으로 작은 크기인 폴리곤은 제거하고, 기 설정된 크기조건과 같거나, 상대적으로 큰 폴리곤은 잔류시킨 후에, 추출폴리곤만 남은 추출폴리곤이미지를 폴리곤으로 저장할 수 있는 기 설정된 파일포맷(예를 들면, xml, json 등)으로 변환하고, 그 변환된 추출폴리곤이미지를 인공지능 학습, 진단 데이터 가시화 등을 위해 반환할 수 있다.
여기에서, 추출폴리곤이미지는 도 10에 도시한 바와 같이 입력된 병리슬라이드이미지에 복수의 추출폴리곤이 적용된 이미지로 하여 변환할 수 있다.
따라서, 본 발명의 일 실시예는 병리슬라이드이미지를 매트릭스데이터로 변환하고, 변환된 매트릭스데이터를 기 설정된 임계값에 따라 보정하며, 획득된 보정이미지를 폴리곤이미지로 변환하고, 변환된 폴리곤이미지에서 폴리곤 넓이를 산출한 후에, 산출된 폴리곤 넓이에 따라 필터링하여 추출된 추출폴리곤을 인공지능 진단을 위한 파일형식으로 변환하여 반환함으로써, 병리이미지의 인공지능 진단 데이터의 처리를 효과적으로 이행할 수 있다.
도 11은 본 발명의 다른 실시예에 따른 디지털 병리이미지를 인공지능 진단 데이터로 처리하는 과정을 나타낸 플로우차트이고, 도 12 내지 도 22는 본 발명의 다른 실시예에 따른 디지털 병리이미지를 인공지능 진단 데이터로 처리하는 과정을 설명하기 위한 도면이다.
도 11 내지 도 22를 참조하면, 이미지전처리부(110)에서는 병리슬라이드이미지를 매트릭스데이터로 변환할 수 있다(단계1110).
상기 매트릭스데이터로 변환하는 단계(1110)에서 이미지전처리부(110)에서는, 병리슬라이드이미지를 기 설정된 크기의 패치이미지로 분할한 후, 각각의 패치이미지의 진단 결과에 따라 출력되는 바이너리데이터 결과값으로 하여 매트릭스데이터로 변환할 수 있다.
예를 들면, 인공지능 모델 중에서 CNN(convolution neural network)를 이용한 분류방식을 적용하되, 각 패치이미지 당 0 또는 1의 바이너리데이터가 결과로 출력되는 것으로 하여 설정하고, 도 12에 도시한 바와 같은 전체 병리슬라이드이미지를 특정 이미지 크기로 분할하여 패치이미지를 만들고, 도 13에서 도시한 바와 같이 인공지능이 진단을 완료한 패치이미지들을 바이너리데이터로 변환한 후에, 해당 패치이미지의 위치 정보와 진단정보를 이용하여 매트릭스데이터로 변환함으로써, 도 14에 도시한 바와 같은 변환이미지가 획득될 수 있다.
여기에서, 도 13에 도시한 바와 같은 패치이미지들에서 (label 0)이 양성, (label 1)이 음성을 나타내며, WSI에서 각 패치에서 이미지를 진단한 뒤 0 혹은 1로 진단을 내리고, 위치정보를 역추적하여 해당 위치에 0 혹은 1의 바이너리데이터로 진단정보를 출력할 수 있다.
그리고, 평활화처리부(120)에서는 이미지전처리부(110)를 통해 변환된 매트릭스데이터를 기 설정된 임계값에 따라 보정하여 보정이미지를 획득할 수 있다(단계1120).
상기 보정이미지를 획득하는 단계(1120)에서 평활화처리부(120)에서는, 매트릭스데이터를 가우시안흐림효과를 적용한 후에, 기 설정된 임계값에 따라 보정할 수 있다.
예를 들면, 이미지전처리부(110)를 통해 변환된 매트릭스데이터는 (기존이미지해상도/패치사이즈)의 크기를 갖는데, 도 14에 도시한 바와 같은 변환이미지의 주영역(일정 크기 이상인 영역)에서 이격되어 작은 점과 같은 형태로 나타나는 값들(노이즈)을 제거하기 위해 도 15에 도시한 바와 같이 가우시안흐림효과를 적용한 후에, 일정 수치를 기준으로 양분화시키기 위해 기 설정된 임계값을 이용하여 메트릭스데이터의 결과값을 재조정하는 방식으로 보정함으로써, 도 16에 도시한 바와 같은 보정이미지가 획득될 수 있다.
다음에, 폴리곤생성부(130)에서는 평활화처리부(120)를 통해 획득된 보정이미지를 폴리곤이미지로 변환할 수 있다(1130).
상기 폴리곤이미지로 변환하는 단계(1130)에서 폴리곤생성부(130)에서는, 보정이미지의 좌표를 점으로 변환한 후에, 컨케이브헐알고리즘을 이용하여 폴리곤이미지로 변환할 수 있다.
예를 들면, 도 16에 도시한 바와 같은 보정이미지는 병리슬라이드이미지에 적용할 경우 도 17에 도시한 바와 같이 나타낼 수 있는데, 평활화처리부(120)를 통해 획득된 보정이미지의 각 중간지점 좌표를 점으로 변환하여 도 18에 도시한 바와 같은 점변환이미지로 변환한 후에, 그 결과값 중에서 양성부분을 컨케이브헐알고리즘을 이용하여 폴리곤을 그려 도 19에 도시한 바와 같은 복수의 폴리곤이 생성된 폴리곤이미지로 변환할 수 있다.
그리고, 넓이산출부(140)에서는 폴리곤생성부(130)를 통해 변환된 폴리곤이미지에서 폴리곤 넓이를 산출할 수 있다(단계1140).
상기 폴리곤 넓이를 산출하는 단계(1140)에서 넓이산출부(140)에서는, 폴리곤이미지에서 신발끈공식을 이용하여 폴리곤 넓이를 산출할 수 있는데, 폴리곤생성부(130)를 통해 생성된 폴리곤이미지에는 복수의 폴리곤이 존재할 수 있으며, 각각의 폴리곤에 대해 신발근공식을 이용하여 각 폴리곤 넓이를 각각 산출할 수 있다.
이와 같이 각각의 폴리곤 넓이를 산출할 경우 넓이산출부(140)에서는 해당 병리슬라이드이미지에서 산출된 넓이를 이용하여 도 20에 도시한 바와 같이 각각의 폴리곤의 주요 영역을 특정할 수 있다.
다음에, 결과출력부(150)에서는 넓이산출부(140)를 통해 산출된 폴리곤 넓이에 따라 필터링하여 추출된 추출폴리곤을 인공지능 진단을 위한 파일형식으로 변환하여 반환할 수 있다(단계1150).
상기 인공지능 진단을 위한 파일형식으로 변환하여 반환하는 단계(1150)에서 결과출력부(150)에서는, 복수의 폴리곤이 생성된 폴리곤이미지를 입력된 병리슬라이드이미지에 적용할 경우 도 20에 도시한 바와 같이 각 폴리곤의 주요 영역이 특정되는 원본적용이미지로 나타낼 수 있는데, 넓이산출부(140)를 통해 산출된 폴리곤 넓이를 기 설정된 크기조건과 비교할 수 있다. 여기에서, 기 설정된 크기조건은 가장 큰 폴리곤 크기(즉, 넓이)의 1/2를 기준으로 할 수 있다.
그 비교 결과, 기 설정된 크기조건보다 상대적으로 작은 크기인 폴리곤은 제거하고, 기 설정된 크기조건과 같거나, 상대적으로 큰 폴리곤은 잔류시킨 후에, 도 21에 도시한 바와 같이 추출폴리곤만 남은 추출폴리곤이미지를 도 22에 도시한 바와 같이 폴리곤으로 저장할 수 있는 기 설정된 파일포맷(예를 들면, xml, json 등)으로 변환하고, 그 변환된 추출폴리곤이미지를 인공지능 학습, 진단 데이터 가시화 등을 위해 반환할 수 있다.
따라서, 본 발명의 다른 실시예는 병리슬라이드이미지를 매트릭스데이터로 변환하고, 변환된 매트릭스데이터를 기 설정된 임계값에 따라 보정하며, 획득된 보정이미지를 폴리곤이미지로 변환하고, 변환된 폴리곤이미지에서 폴리곤 넓이를 산출한 후에, 산출된 폴리곤 넓이에 따라 필터링하여 추출된 추출폴리곤을 인공지능 진단을 위한 파일형식으로 변환하여 반환함으로써, 병리이미지의 인공지능 진단 데이터의 처리를 효과적으로 이행할 수 있다.
이상의 설명에서는 본 발명의 다양한 실시예들을 제시하여 설명하였으나 본 발명이 반드시 이에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능함을 쉽게 알 수 있을 것이다.
110 : 이미지전처리부
120 : 평활화처리부
130 : 폴리곤생성부
140 : 넓이산출부
150 : 결과출력부

Claims (10)

  1. 병리슬라이드이미지를 매트릭스데이터로 변환하는 이미지전처리부;
    상기 변환된 매트릭스데이터를 기 설정된 임계값에 따라 보정하는 평활화처리부;
    상기 평활화처리부를 통해 획득된 보정이미지를 폴리곤이미지로 변환하는 폴리곤생성부;
    상기 변환된 폴리곤이미지에서 폴리곤 넓이를 산출하는 넓이산출부; 및
    상기 산출된 폴리곤 넓이에 따라 필터링하여 추출된 추출폴리곤을 인공지능 진단을 위한 파일형식으로 변환하여 반환하는 결과출력부;를 포함하며,
    상기 결과출력부는,
    복수의 폴리곤이 생성된 상기 폴리곤이미지를 입력된 상기 병리슬라이드이미지에 적용할 경우 각 폴리곤의 주요 영역이 특정되는 원본적용이미지로 나타낼 수 있는데, 상기 넓이산출부를 통해 산출된 상기 폴리곤 넓이를 기 설정된 크기조건과 비교하고, 그 비교 결과, 상기 기 설정된 크기조건보다 상대적으로 작은 크기인 폴리곤은 제거하고, 상기 기 설정된 크기조건과 같거나, 상대적으로 큰 폴리곤은 잔류시킨 후에, 상기 추출폴리곤만 남은 추출폴리곤이미지를 폴리곤으로 저장할 수 있는 기 설정된 파일포맷으로 변환하고, 변환된 상기 추출폴리곤이미지를 인공지능 학습 또는 진단 데이터 가시화를 위해 반환하는
    디지털 병리이미지의 인공지능 진단 데이터 처리 장치.
  2. 청구항 1에 있어서,
    상기 이미지전처리부는,
    상기 병리슬라이드이미지를 기 설정된 크기의 패치이미지로 분할한 후, 각각의 상기 패치이미지의 진단 결과에 따라 출력되는 바이너리데이터 결과값으로 하여 상기 매트릭스데이터로 변환하는
    디지털 병리이미지의 인공지능 진단 데이터 처리 장치.
  3. 청구항 2에 있어서,
    상기 평활화처리부는,
    상기 매트릭스데이터를 가우시안흐림효과(Gaussian smoothing, Gaussian blur)를 적용한 후에, 상기 기 설정된 임계값에 따라 보정하는
    디지털 병리이미지의 인공지능 진단 데이터 처리 장치.
  4. 청구항 3에 있어서,
    상기 폴리곤생성부는,
    상기 보정이미지의 좌표를 점으로 변환한 후에, 컨케이브헐알고리즘(concave hull algorithm)을 이용하여 상기 폴리곤이미지로 변환하는
    디지털 병리이미지의 인공지능 진단 데이터 처리 장치.
  5. 청구항 4에 있어서,
    상기 넓이산출부는,
    상기 폴리곤이미지에서 신발끈공식(shoelace formula)을 이용하여 상기 폴리곤 넓이를 산출하는
    디지털 병리이미지의 인공지능 진단 데이터 처리 장치.
  6. 병리슬라이드이미지를 매트릭스데이터로 변환하는 단계;
    상기 변환된 매트릭스데이터를 기 설정된 임계값에 따라 보정하여 보정이미지를 획득하는 단계;
    상기 획득된 보정이미지를 폴리곤이미지로 변환하는 단계;
    상기 변환된 폴리곤이미지에서 폴리곤 넓이를 산출하는 단계; 및
    상기 산출된 폴리곤 넓이에 따라 필터링하여 추출된 추출폴리곤을 인공지능 진단을 위한 파일형식으로 변환하여 반환하는 단계:를 포함하며,
    상기 인공지능 진단을 위한 파일형식으로 변환하여 반환하는 단계는,
    복수의 폴리곤이 생성된 상기 폴리곤이미지를 입력된 상기 병리슬라이드이미지에 적용할 경우 각 폴리곤의 주요 영역이 특정되는 원본적용이미지로 나타낼 수 있는데, 상기 폴리곤 넓이를 산출하는 단계를 통해 산출된 상기 폴리곤 넓이를 기 설정된 크기조건과 비교하고, 그 비교 결과, 상기 기 설정된 크기조건보다 상대적으로 작은 크기인 폴리곤은 제거하고, 상기 기 설정된 크기조건과 같거나, 상대적으로 큰 폴리곤은 잔류시킨 후에, 상기 추출폴리곤만 남은 추출폴리곤이미지를 폴리곤으로 저장할 수 있는 기 설정된 파일포맷으로 변환하고, 변환된 상기 추출폴리곤이미지를 인공지능 학습 또는 진단 데이터 가시화를 위해 반환하는
    디지털 병리이미지의 인공지능 진단 데이터 처리 방법.
  7. 청구항 6에 있어서,
    상기 매트릭스데이터로 변환하는 단계는,
    상기 병리슬라이드이미지를 기 설정된 크기의 패치이미지로 분할한 후, 각각의 상기 패치이미지의 진단 결과에 따라 출력되는 바이너리데이터 결과값으로 하여 상기 매트릭스데이터로 변환하는
    디지털 병리이미지의 인공지능 진단 데이터 처리 방법.
  8. 청구항 7에 있어서,
    상기 보정이미지를 획득하는 단계는,
    상기 매트릭스데이터를 가우시안흐림효과(Gaussian smoothing, Gaussian blur)를 적용한 후에, 상기 기 설정된 임계값에 따라 보정하는
    디지털 병리이미지의 인공지능 진단 데이터 처리 방법.
  9. 청구항 8에 있어서,
    상기 폴리곤이미지로 변환하는 단계는,
    상기 보정이미지의 좌표를 점으로 변환한 후에, 컨케이브헐알고리즘(concave hull algorithm)을 이용하여 상기 폴리곤이미지로 변환하는
    디지털 병리이미지의 인공지능 진단 데이터 처리 방법.
  10. 청구항 9에 있어서,
    상기 폴리곤 넓이를 산출하는 단계는,
    상기 폴리곤이미지에서 신발끈공식(shoelace formula)을 이용하여 상기 폴리곤 넓이를 산출하는
    디지털 병리이미지의 인공지능 진단 데이터 처리 방법.
KR1020220037038A 2022-03-25 2022-03-25 디지털 병리이미지의 인공지능 진단 데이터 처리 장치 및 그 방법 KR102476888B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020220037038A KR102476888B1 (ko) 2022-03-25 2022-03-25 디지털 병리이미지의 인공지능 진단 데이터 처리 장치 및 그 방법
PCT/KR2023/003136 WO2023182702A1 (ko) 2022-03-25 2023-03-08 디지털 병리이미지의 인공지능 진단 데이터 처리 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220037038A KR102476888B1 (ko) 2022-03-25 2022-03-25 디지털 병리이미지의 인공지능 진단 데이터 처리 장치 및 그 방법

Publications (1)

Publication Number Publication Date
KR102476888B1 true KR102476888B1 (ko) 2022-12-13

Family

ID=84439339

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220037038A KR102476888B1 (ko) 2022-03-25 2022-03-25 디지털 병리이미지의 인공지능 진단 데이터 처리 장치 및 그 방법

Country Status (2)

Country Link
KR (1) KR102476888B1 (ko)
WO (1) WO2023182702A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023182702A1 (ko) * 2022-03-25 2023-09-28 주식회사 몰팩바이오 디지털 병리이미지의 인공지능 진단 데이터 처리 장치 및 그 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102237696B1 (ko) 2019-04-29 2021-04-08 계명대학교 산학협력단 자궁경부암 세포 영상 자동 분석을 위한 인공지능 컴퓨터 보조 진단 시스템 및 그 제어 방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102476888B1 (ko) * 2022-03-25 2022-12-13 주식회사 몰팩바이오 디지털 병리이미지의 인공지능 진단 데이터 처리 장치 및 그 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102237696B1 (ko) 2019-04-29 2021-04-08 계명대학교 산학협력단 자궁경부암 세포 영상 자동 분석을 위한 인공지능 컴퓨터 보조 진단 시스템 및 그 제어 방법

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Agus Pratondo 외, Integrating machine learning with region-based active contour models in medical image segmentation, J. Vis. Commun. Image R., 2016.12.02., Vol.43, pp.1-9.* *
Babak Ehteshami Bejnordi 외, Automated Detection of DCIS in Whole-Slide H&E Stained Breast Histopathology Images, IEEE TRANSACTIONS ON MEDICAL IMAGING, Vol.35, No.9, pp.2141-2150.* *
Gaohe Li 외, Image Analysis and Processing of Skin Cell Injury Based on OpenCV, ICSP 2019, 2019.03.31., pp.1-9. *
Peter Bandi 외, Comparison of Different Methods for Tissue Segmentation in Histopathological Whole-Slide Images, arXiv, 2017.04.03., pp.1-5.* *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023182702A1 (ko) * 2022-03-25 2023-09-28 주식회사 몰팩바이오 디지털 병리이미지의 인공지능 진단 데이터 처리 장치 및 그 방법

Also Published As

Publication number Publication date
WO2023182702A1 (ko) 2023-09-28

Similar Documents

Publication Publication Date Title
AU2017292642B2 (en) System and method for automatic detection, localization, and semantic segmentation of anatomical objects
Ribeiro et al. Handling inter-annotator agreement for automated skin lesion segmentation
Bourbakis Detecting abnormal patterns in WCE images
CN114332040A (zh) 一种基于多模态的甲状腺肿瘤图像分类方法及终端设备
Kakade et al. Identification of nerve in ultrasound images using U-net architecture
KR102476888B1 (ko) 디지털 병리이미지의 인공지능 진단 데이터 처리 장치 및 그 방법
CN116758336A (zh) 一种基于人工智能的医学图像智能分析系统
Yu et al. FS-GAN: Fuzzy Self-guided structure retention generative adversarial network for medical image enhancement
CN109035137B (zh) 一种基于最优传输理论的多模态医学图像融合方法
CN113610746A (zh) 一种图像处理方法、装置、计算机设备及存储介质
Mortaheb et al. Metal artifact reduction and segmentation of dental computerized tomography images using least square support vector machine and mean shift algorithm
Cheng et al. Dental hard tissue morphological segmentation with sparse representation-based classifier
CN115761226A (zh) 一种口腔影像分割识别方法、装置、电子设备和存储介质
CN109712124B (zh) 超声图像的标记去除方法及装置
CN114283216A (zh) 图像去伪影方法、装置、设备及存储介质
CN112967295A (zh) 一种基于残差网络和注意力机制的图像处理方法及系统
Liu et al. Vessel segmentation using principal component based threshold algorithm
Morís et al. Context encoder self-supervised approaches for eye fundus analysis
Devi et al. Predicting The Stages Of Covid-19 Affected Patients Using CNN With CT Scan
CN114241407B (zh) 一种基于深度学习的近距离屏幕监控方法
CN113223104B (zh) 一种基于因果关系的心脏mr图像插补方法及系统
EP4152255A1 (en) System and method for differentiating a tissue of interest from another part of a medical scanner image
Ara et al. Novel approach of brain tumor segmentation using convolutional neural network hybridized with water cycle algorithm
KARTHIKRAM et al. LOCALIZED NETWORK MODEL FOR IMAGE DENOISING AND PREDICTION USING LEARNING APPROACHES
Chernyshev et al. Bladder semantic segmentation

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant