KR20230063147A - 다단계 특징 분석을 사용한 전립선 조직의 효율적인 경량 cnn과 앙상블 머신 러닝 분류 방법 및 시스템 - Google Patents

다단계 특징 분석을 사용한 전립선 조직의 효율적인 경량 cnn과 앙상블 머신 러닝 분류 방법 및 시스템 Download PDF

Info

Publication number
KR20230063147A
KR20230063147A KR1020210148082A KR20210148082A KR20230063147A KR 20230063147 A KR20230063147 A KR 20230063147A KR 1020210148082 A KR1020210148082 A KR 1020210148082A KR 20210148082 A KR20210148082 A KR 20210148082A KR 20230063147 A KR20230063147 A KR 20230063147A
Authority
KR
South Korea
Prior art keywords
classification
image
machine learning
cnn
prostate tissue
Prior art date
Application number
KR1020210148082A
Other languages
English (en)
Inventor
최흥국
바타차지 수브라타
Original Assignee
인제대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인제대학교 산학협력단 filed Critical 인제대학교 산학협력단
Priority to KR1020210148082A priority Critical patent/KR20230063147A/ko
Publication of KR20230063147A publication Critical patent/KR20230063147A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06V10/7747—Organisation of the process, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 다단계 특징 분석을 사용한 전립선 조직의 효율적인 경량 CNN과 앙상블 머신 러닝 분류 방법 및 시스템에 관한 것으로, 다단계 특징 분석을 사용한 전립선 조직의 효율적인 경량 CNN과 앙상블 머신 러닝 분류 방법은 데이터 수집부가 염색된 전립선 조직의 이미지 데이터를 수집하는 데이터 수집 단계; 이미지 전처리부가 크기가 조정된 상기 이미지 데이터에 멱함수 변환(power law (gamma) transformation)을 적용하여 이미지를 전처리하는 이미지 전처리 단계; 텍스처 특징 추출부가 상기 전처리된 이미지의 특징을 추출하는 텍스처 특징 추출 단계; 및 분류부가 딥러닝(DL: Deep Learning) 또는 머신러닝(ML: Machine Learning)을 이용해 상기 추출된 특징을 분류하는 분류 단계;를 포함하여 구성된다.

Description

다단계 특징 분석을 사용한 전립선 조직의 효율적인 경량 CNN과 앙상블 머신 러닝 분류 방법 및 시스템{Efficient Lightweight CNN and Ensemble Machine Learning Classification of Prostate Tissue Using Multilevel Feature Analysis Method and System}
본 발명은 다단계 특징 분석을 사용한 전립선 조직의 효율적인 경량 CNN과 앙상블 머신 러닝 분류 방법 및 시스템에 관한 것으로, 보다 상세하게는 인공 지능(AI) 기술을 사용하여 양성 및 악성 조직의 이미지와 특징을 분류할 수 있는 다단계 특징 분석을 사용한 전립선 조직의 효율적인 경량 CNN과 앙상블 머신 러닝 분류 방법 및 시스템에 관한 것이다.
이미지 분류 및 분석은 최근 몇 년 동안 특히 의료 이미지 분야에서 널리 사용되고 있다. 암 발병률의 증가와 특정 치료법의 수로 인해 이러한 프로세스가 점점 더 복잡해짐에 따라 암 진단 및 등급화는 종종 AI(Artificial Intelligent)를 사용하여 수행 및 평가되고 있다. 전립선암(PCa)의 분석 및 분류는 가장 어렵고 어려운 작업 중 하나이다. PCa는 미국과 유럽에서 남성들 사이에서 두 번째로 흔히 진단되는 암으로, 서구 세계에서 암 환자의 약 25%에 해당한다. PCa는 발견, 분석, 진단 및 치료와 관련하여 병리학자와 의료 종사자에게 항상 중요한 도전이었던 암 유형이다. 최근에 연구자들은 근치적 전립선절제술 표본의 병리학적 특징과 PCa의 생화학적 재발을 고려하여 젊은 한국 남성(50세 미만)의 PCa를 분석하였다.
미국에서는 수천 명의 사람들에게 PCa가 발병하고 있다. 2017년에는 약 161,360명의 새로운 발병 사례와 26,730명의 사망자가 발생했으며 이는 전체 신규 암 사례의 19%, 전체 암 사망의 8%에 해당한다. 따라서 생존율을 높이려면 PCa를 조기에 발견하는 것이 중요하다. 현재 PCa의 임상적 진단을 위해 병원에서 시행하는 방법으로는 전립선특이항원검사, 직장수지검사, 경직장초음파, 자기공명영상 등이 있다. 코어 바늘 생검 검사는 조직 샘플을 제거하기 위해 가늘고 속이 빈 바늘을 전립선에 삽입하여 수행하는 일반적이고 유용한 기술이다. 그러나 현미경 생검 이미지를 통한 PCa 진단은 어렵고 진단 정확도 또한 병리학자마다 다를 수 있다.
일반적으로 조직병리학 섹션에서 병리학자는 염색된 현미경 생검 이미지를 양성과 악성으로 분류하다. PCa 등급을 수행하기 위해 병리학자는 원래 가장 일반적인 소위 글리슨 패턴(GP: Gleason Pattern)에 대한 두 글리슨(Gleason) 점수의 합을 기반으로 한 글리슨(Gleason) 등급 시스템을 사용한다. 많은 연구에서 PCa 등급을 매길 때 권장되는 방법으로 확인되었다. Gleason 등급 시스템은 비정형 분비선(atypical glands)의 모양에 초점을 맞춰 GP 1(잘 분화됨)에서 GP 5(잘 분화되지 않음)까지 5개의 조직학적 패턴을 정의하고 있다. 연구들에서는 병리학자들이 암세포에 대한 현미경 검사를 통해 전립선에 영향을 줄 수 있는 종양을 찾아낸다. 세포 배양 과정에서 조직은 각각 짙은 파란색과 밝은 분홍색의 조합을 생성하는 헤마톡실린 및 에오신(H&E: Hematoxylin and Eosin) 화합물로 염색된다. 디지털 병리학에는 조직 슬라이드를 준비하고 염색하기 위해 모든 병리학자가 따르는 몇 가지 프로토콜이 있다. 그러나 획득 시스템과 염색 과정은 병리학자마다 다르다. 색상 강도 및 인공물의 변화가 있는 생성된 조직 이미지는 분석의 분류 정확도에 영향을 미칠 수 있다.
AI(Artificial Intelligence)에서 DL(Deep Learning)과 ML(Machine Learning)은 최근 의료 영상 분류에서 우수한 성능을 보여주고 있다. 이러한 기술은 컴퓨터 비전 작업(예: 분할, 객체 감지 및 이미지 분류) 및 대규모 데이터베이스에서 손으로 만든 기능을 활용하는 패턴 인식에 사용되어 기존 데이터에서 새로운 예측을 가능하게 한다. DL은 원시 입력에서 점진적으로 상위 수준 기능을 추출하기 위해 여러 레이어를 사용하는 ML 알고리즘 클래스이다. ML은 데이터에서 학습하는 애플리케이션 구축에 중점을 둔 AI의 한 분야이다. ML 알고리즘은 새로운 데이터를 기반으로 예측을 수행하기 위해 엄청난 양의 데이터에서 특징과 패턴을 학습하도록 훈련된다. DL과 ML은 모두 의료 영상 분야에서 유망한 결과를 보여주었고 병리학자와 방사선 전문의가 정확한 진단을 할 수 있도록 지원할 가능성이 있다. 이것들은 시간을 절약하고 진단 비용을 최소화할 수 있다. 이미지 분류를 위해 DL 모델은 정확한 예측을 위해 다양한 유형의 수천 개의 이미지를 훈련, 검증 및 테스트하도록 구축되었다. 이러한 모델은 CNN이 convolution, kernel initialization, pooling, activation, padding, batch normalization, stride와 같은 기능을 사용하여 이미지를 변환하는 많은 레이어로 구성된다.
영상특징 공학과 ML(Machine Learning) 분류의 결합은 의료 영상 분석 및 분류 측면에서 괄목할 만한 성능을 보였다. 대조적으로 CNN은 특정 학습 목표에 대해 높은 예측력을 갖는 특징에 초점을 맞춰 다양한 이미지 특징을 적응적으로 학습하여 이미지 변환을 수행한다. 예를 들어, 양성 및 악성 조직의 이미지는 계산 기능을 감지하고 각 이미지의 픽셀 패턴을 강조 표시하는 서로 다른 수의 필터가 있는 컨볼루션 레이어로 구성된 네트워크에 표시될 수 있다. 이러한 패턴을 기반으로 네트워크는 시그모이드(sigmoid) 및 소프트맥스(softmax) 분류기를 사용하여 추출된 특징과 중요한 특징을 각각 학습할 수 있다.
그러나, DL(Deep Learning)에서 CNN 처리의 "파이프라인"(즉, 입력에서 출력 예측까지)은 불투명하며 사용자가 프로세스 세부 정보를 완전히 알지 못하는 "블랙 박스" 터널을 통과하는 것처럼 자동으로 수행되며, CNN을 계층 단위로 별로(layer-by-layer)로 조사하는 것은 어려웠다. 따라서 각 레이어의 시각화 결과와 예측 메커니즘을 해석하기 어려운 문제점이 있었다.
특허문헌 1: 등록특허공보 제10-1996475호(2019.06.28)
본 발명은 전술한 문제를 해결하기 위해 안출된 것으로서, 본 발명에 따르면 인공 지능(AI) 기술을 사용하여 양성 및 악성 조직의 이미지와 특징을 분류하는 컴퓨터 접근 방식을 사용하며, 보다 구체적으로 이미지 및 특징 분류를 위한 두 가지 경량 CNN(Convolutional Neural Network) 아키텍처와 앙상블 기계 학습(EML) 방법을 각각 사용하고, 비교분석을 위해 사전 훈련된 모델과 수작업 특징을 이용한 분류를 수행하여 두 등급 그룹(양성 대 악성)을 분류하고, 분위수-분위수(quantile-quantile) 플롯을 사용하여 예측된 결과를 표시함으로써, 보다 정확한 전립선 조직의 양성 및 악성의 분류를 제공하고자 한다.
전술한 문제를 해결하기 위한 본 발명의 일실시예에 따른 다단계 특징 분석을 사용한 전립선 조직의 효율적인 경량 CNN과 앙상블 머신 러닝 분류 방법은 데이터 수집부가 염색된 전립선 조직의 이미지 데이터를 수집하는 데이터 수집 단계; 이미지 전처리부가 크기가 조정된 상기 이미지 데이터에 멱함수 변환(power law (gamma) transformation)을 적용하여 이미지를 전처리하는 이미지 전처리 단계; 텍스처 특징 추출부가 상기 전처리된 이미지의 특징을 추출하는 텍스처 특징 추출 단계; 및 분류부가 딥러닝(DL: Deep Learning) 또는 머신러닝(ML: Machine Learning)을 이용해 상기 추출된 특징을 분류하는 분류 단계;를 포함하여 구성된다.
본 발명의 다른 일실시예에 따르면, 상기 이미지 전처리 단계는 상기 이미지 전처리부가 크기가 조정된 상기 이미지 데이터에, ReLU 및 배치 정규화(BN) 레이어와 함께 2차원(2D) 컨볼루션 레이어(3 × 3 커널, 스트라이드 및 패딩)가 삽입되고, 3개의 최대 풀링(2 × 2) 및 3개의 드롭아웃 레이어가 이어지는, 10개의 레이어 깊이를 가진 4개의 컨볼루션 블록을 포함하는 모델 1을 적용하여 이미지를 전처리할 수 있다.
본 발명의 다른 일실시예에 따르면, 상기 이미지 전처리 단계는 상기 이미지 전처리부가 크기가 조정된 상기 이미지 데이터에, ReLU 및 배치 정규화(BN) 레이어와 함께 2차원(2D) 컨볼루션 레이어(3 × 3 커널, 스트라이드 및 패딩)가 삽입되고, 2개의 최대 풀링(2 × 2) 및 1개의 드롭아웃 레이어가 이어지는, 7개의 레이어 깊이를 가진 3개의 컨볼루션 블록을 포함하는 모델 2를 적용하여 이미지를 전처리할 수 있다.
본 발명의 다른 일실시예에 따르면, 상기 텍스처 특징 추출 단계는 상기 텍스처 특징 추출부가 상기 전처리된 이미지를 OCLBP(Opposite Color Local Binary Patterns)와 IOCLBP(Improved Opponent Color Local Binary Patterns) 기반의 및 CNN 기반으로 분석하여 특징을 추출할 수 있다.
본 발명의 다른 일실시예에 따르면, 상기 분류 단계는 상기 분류부가 상기 추출된 특징을 LWCNN(lightweight convolutional neural network) 또는 EML(Ensemble Machine Learning)을 이용해 분류할 수 있다.
본 발명의 다른 일실시예에 따르면, 상기 분류 단계는 상기 분류부가 상기 추출된 특징을 사전학습된 모델(pre-trained model)을 이용해 특징을 분류할 수 있다.
본 발명의 다른 일실시예에 따르면, 상기 분류 단계는 상기 분류부가 상기 OCLBP(Opposite Color Local Binary Patterns)와 IOCLBP(Improved Opponent Color Local Binary Patterns)를 기반으로 추출된 특징을 EML(Ensemble Machine Learning)을 이용해 분류할 수 있다.
본 발명의 일실시예에 따른 다단계 특징 분석을 사용한 전립선 조직의 효율적인 경량 CNN과 앙상블 머신 러닝 분류 시스템은 염색된 전립선 조직의 이미지 데이터를 수집하는 데이터 수집부; 크기가 조정된 상기 이미지 데이터에 멱함수 변환(power law (gamma) transformation)을 적용하여 이미지를 전처리하는 이미지 전처리부; 상기 전처리된 이미지의 특징을 추출하는 텍스처 특징 추출부; 및 딥러닝(DL: Deep Learning) 또는 머신러닝(ML: Machine Learning)을 이용해 상기 추출된 특징을 분류하는 분류부;를 포함하여 구성된다.
본 발명의 다른 일실시예에 따르면, 상기 이미지 전처리부는 크기가 조정된 상기 이미지 데이터에, ReLU 및 배치 정규화(BN) 레이어와 함께 2차원(2D) 컨볼루션 레이어(3 × 3 커널, 스트라이드 및 패딩)가 삽입되고, 3개의 최대 풀링(2 × 2) 및 3개의 드롭아웃 레이어가 이어지는, 10개의 레이어 깊이를 가진 4개의 컨볼루션 블록을 포함하는 모델 1을 적용하여 이미지를 전처리할 수 있다.
본 발명의 다른 일실시예에 따르면, 상기 이미지 전처리부는 크기가 조정된 상기 이미지 데이터에, ReLU 및 배치 정규화(BN) 레이어와 함께 2차원(2D) 컨볼루션 레이어(3 × 3 커널, 스트라이드 및 패딩)가 삽입되고, 2개의 최대 풀링(2 × 2) 및 1개의 드롭아웃 레이어가 이어지는, 7개의 레이어 깊이를 가진 3개의 컨볼루션 블록을 포함하는 모델 2를 적용하여 이미지를 전처리할 수 있다.
본 발명의 다른 일실시예에 따르면, 상기 텍스처 특징 추출부는 상기 전처리된 이미지를 OCLBP(Opposite Color Local Binary Patterns)와 IOCLBP(Improved Opponent Color Local Binary Patterns) 기반의 및 CNN 기반으로 분석하여 특징을 추출할 수 있다.
본 발명의 다른 일실시예에 따르면, 상기 분류부는 상기 추출된 특징을 LWCNN(lightweight convolutional neural network) 또는 EML(Ensemble Machine Learning)을 이용해 분류할 수 있다.
본 발명의 다른 일실시예에 따르면, 상기 분류부는 상기 추출된 특징을 사전학습된 모델(pre-trained model)을 이용해 특징을 분류할 수 있다.
본 발명의 다른 일실시예에 따르면, 상기 분류부는 상기 OCLBP(Opposite Color Local Binary Patterns)와 IOCLBP(Improved Opponent Color Local Binary Patterns)를 기반으로 추출된 특징을 EML(Ensemble Machine Learning)을 이용해 분류할 수 있다.
본 발명에 따르면 인공 지능(AI) 기술을 사용하여 양성 및 악성 조직의 이미지와 특징을 분류하는 컴퓨터 접근 방식을 사용하며, 보다 구체적으로 이미지 및 특징 분류를 위한 두 가지 경량 CNN(Convolutional Neural Network) 아키텍처와 앙상블 기계 학습(EML) 방법을 각각 사용하고, 비교분석을 위해 사전 훈련된 모델과 수작업 특징을 이용한 분류를 수행하여 두 등급 그룹(양성 대 악성)을 분류하고, 분위수-분위수(quantile-quantile) 플롯을 사용하여 예측된 결과를 표시함으로써, 보다 정확한 전립선 조직의 양성 및 악성의 분류를 제공할 수 있다.
도 1은 본 발명의 일실시예에 따른 다단계 특징 분석을 사용한 전립선 조직의 효율적인 경량 CNN과 앙상블 머신 러닝 분류 방법을 설명하기 위한 흐름도이다.
도 2는 본 발명에 따른 H&E 염색 생검 이미지를 도시한 도면이다.
도 3은 본 발명에 따른 전립선 절제술에서 샘플 조직병리학 슬라이드의 데이터 준비를 설명하기 위한 도면이다.
도 4는 본 발명에 따른 스무딩 및 감마 보정을 사용한 이미지 전처리를 설명하기 위한 도면이다.
도 5는 본 발명에 따른 데이터 증대를 보여주는 훈련 데이터 세트에서 무작위로 선택된 샘플을 도시한 도면이다.
도 6은 본 발명에 따른 두 개의 글리슨(Gleason) 등급 전립선 암 그룹 간의 암 이미지 분류를 위한 경량 합성곱 신경망의 구조를 도시한 도면이다.
도 7은 본 발명에 따른 경량 합성곱 신경망을 사용한 조직 이미지 분류를 위한 다단계 기능 맵 분석 방법을 설명하기 위한 도면이다.
도 8은 본 발명의 DL 및 ML 분류에 대한 전체 프로세스 흐름도이다.
도 9는 본 발명에 따른 예측 확률 값을 이용해 생성된 다양한 최적화 프로그램의 동작을 분석하기 위한 ROC 곡선의 그래프이다.
도 10은 본 발명에 따른 양성 종양과 악성 종양 간의 이분법 분류 결과를 보여주는 테스트 데이터 세트를 사용하여 생성된 모델 2의 융합 매트릭스(confusion matrix)를 도시한 도면이다.
도 11은 본 발명에 따른 네트워크가 중요한 영역을 감지하는 방법을 나타내는 클래스 활성화 맵(CAM: class activation map) 결과를 도시한 도면이다.
도 12는 본 발명의 모델 2의 이진 분류 결과의 예와 올바르게 예측된 이미지의 예와 그렇지 않은 이미지의 예를 도시한 도면이다.
도 13은 본 발명에 따른 다른 수의 필터를 사용하여 생성된 모델 2에서 생성된 클래스 활성화 맵의 시각화를 도시한 도면이다.
도 14는 본 발명에 따른 참 및 예측 확률 값에 대한 분위수-분위수(Q-Q: quantile-quantile)를 나타낸 그래프이다.
도 15는 본 발명에 따른 다단계 특징 분석을 사용한 전립선 조직의 효율적인 경량 CNN과 앙상블 머신 러닝 분류 시스템의 구성도이다.
이하에서는 첨부한 도면을 참조하여 바람직한 본 발명의 일실시예에 대해서 상세히 설명한다. 다만, 실시형태를 설명함에 있어서, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략한다. 또한, 도면에서의 각 구성요소들의 크기는 설명을 위하여 과장될 수 있으며, 실제로 적용되는 크기를 의미하는 것은 아니다.
전립선암(PCa)은 전립선의 세포와 땀샘이 정상에서 비정상으로 모양과 크기가 변할 때 발생하다. 일반적으로 병리학자의 목표는 염색 슬라이드를 분류하고 정상 조직과 비정상 조직을 구별하는 것이다. 본 발명에서는 인공 지능(AI) 기술을 사용하여 양성 및 악성 조직의 이미지와 특징을 분류하는 컴퓨터 접근 방식을 사용했다. 본 발명에서는 이미지 및 특징 분류를 위한 두 가지 경량 CNN(Convolutional Neural Network) 아키텍처와 앙상블 기계 학습(EML) 방법을 각각 사용한다. 또한, 본 발명에서는 비교분석을 위해 사전 훈련된 모델과 수작업 특징을 이용한 분류를 수행한다. 이진 분류를 수행하여 두 등급 그룹(양성 대 악성)을 분류하고 분위수-분위수(quantile-quantile) 플롯을 사용하여 예측된 결과를 표시했다. 본 발명에 따른 DL(Deep Learning)과 ML(Machine Learning) 분류 모델은 CNN 레이어에서 추출한 수작업이 아닌 기능(비수작업)을 기반으로 각각 94.0% 및 92.0%의 유망한 정확도를 달성했다. 따라서, 본 발명에 따른 모델은 훈련 가능한 몇 가지 매개변수 또는 CNN 레이어를 사용하여 거의 완벽하게 예측할 수 있다.
본 발명에서는 DL(Deep Learning)과 ML(Machine Learning) 기술을 사용하여 조직 이미지 분류를 위한 파이프라인을 제공하고자 한다. 본 발명에서는 전립선암(PCa)의 조직학적 섹션에서 GP의 자동 감지를 위한 두 개의 경량 CNN(LWCNN) 모델을 적용하고, 앙상블 ML(EML) 방법을 사용하여 분류하기 위해 CNN 레이어에서 비수작업으로 텍스처 특징을 추출한다. 또한, 이미지 향상을 위해 색상 전처리를 수행한다. 비교 분석을 수행하기 위해 반대 색상 로컬 바이너리 패턴(OCLBP)과 개선된 OCLBP(IOCLBP)와 같은 두 가지 유형의 특징을 추출하고 사전 훈련된 모델(VGG-16, ResNet-50, Inception-V3 및 DenseNet-121)을 각각 EML 및 DL 분류에 사용한다. 또한, 복잡성을 피하고 가벼운 DL 모델을 구축하기 위해 몇 가지 은닉 레이어와 학습 가능한 매개변수를 사용하였으므로 모델 이름을 LWCNN으로 지정한다.
DL 모델은 다른 매개변수와 필터를 사용하여 동일한 조직병리학 데이터 세트에서 여러 번 훈련된다. 각 훈련에서는 정확도와 모델 성능을 향상시키기 위해 하이퍼파라미터(hyperparameter), 최적화 함수 및 활성화 함수를 미세하게 조정한다. PCa 진단에서는 종양이 양성인지 악성인지 식별하기 위해서는 이진 분류를 하는 것이 중요하다. 또한, 본 발명에서는 예측된 이미지를 이용하여 클래스 활성화 맵(CAM)을 생성하고 LWCNN이 활성화 함수를 기반으로 픽셀 패턴(이미지 텍스처)을 인식하는 방법을 학습하여 신경망의 결정을 해석하는 방법을 시각화하기 위해 히트 맵을 생성한다.
도 1은 본 발명의 일실시예에 따른 다단계 특징 분석을 사용한 전립선 조직의 효율적인 경량 CNN과 앙상블 머신 러닝 분류 방법을 설명하기 위한 흐름도이다.
이후부터는 도 1을 참조하여 다단계 특징 분석을 사용한 전립선 조직의 효율적인 경량 CNN과 앙상블 머신 러닝 분류 방법을 설명하기로 한다.
DL(Deep Learning)과 ML(Machine Learning) 방법에 기반한 이미지 및 특징 분류는 양성 또는 악성 조직의 현미경 이미지를 분류하는 데 매우 유용하다. 도 1에 도시된 바와 같이 본 발명에 따른 조직 이미지 데이터 세트의 분석 시에는 데이터 수집 단계의 이후에, 이미지 전처리 단계(S120), 특징 추출 단계(S130), 분류 단계(S140)가 수행된다. 본 발명에서는 2개의 LWCNN 모델(모델 1 및 모델 2)을 사용하고 사전 훈련된 모델을 사용하여 2D 이미지 분류를 수행하고 모델 간 비교 분석을 수행했다. 또한 EML 분류를 수행하여 조직 이미지에서 추출한 수작업(OCLBP 및 IOCLBP) 및 비수작업(CNN 기반) 색상 질감 특징을 분류할 수 있다.
<조직 염색>
먼저, 본 발명에 따르면 암세포의 동정을 위해 전립선 조직을 4μm 두께로 절개한다. 탈파라핀화 과정(즉, 염색 전 슬라이드에서 파라핀 왁스 제거)은 조직 절편 후에 특히 중요하다. 그렇지 않으면 불량한 염색만 달성될 수 있기 때문이다.
이때 각 조직 절편을 적절한 방법으로 탈파라핀화하고 재수화하였으며, 자동 염색기(Autostainer XL, Leica)를 사용하여 H&E 염색을 수행할 수 있다.
헤마톡실린 및 에오신(H&E: Hematoxylin and Eosin)은 각각 양전하와 음전하를 띠고 있다. 핵의 핵산은 호염기성 세포의 음전하 성분이다. 헤마톡실린(hematoxylin)은 이러한 성분과 반응한다. 세포질의 단백질에 있는 아미노 그룹은 호산성 세포의 양전하를 띤 성분이다. 에오신(eosin)은 이러한 성분과 반응하다. 도 2는 본 발명에 따른 QuPath 오픈 소스 소프트웨어를 사용하여 분석한 H&E 염색 생검 이미지의 시각화를 보여준다. H&E 염색 결과는 각각의 화학식과 함께 별도로 표시되고 있다.
보다 구체적으로, 도 2의 (a)는 헤마톡실린 염색 슬라이드를 도시하고 있으며, 도 2의 (b) 에오신 염색 슬라이드. 도 2의 (c)는 (a), (b)를 결합하여 얻은 H&E 염색 슬라이드를 도시한 것으로서, 도 2의 (a), (b) 슬라이드는 질감이 매우 다르므로 분석 및 분류에 유용하다.
<데이터 수집>
본 발명에 따르면, 데이터 수집부가 염색된 전립선 조직의 이미지 데이터를 수집한다(S110).
전체 슬라이드 헤마톡실린 및 에오신(Hematoxylin and Eosin) 염색 이미지는 33,584 × 70,352 픽셀 크기의 이미지가 사용된다. 슬라이드 이미지는 현미경(Olympus BX-51)에 부착되는 디지털 카메라(Olympus C-3000)를 사용하여 0.3NA 대물렌즈로 40배 광학 배율로 스캔하여 여러 크기(256 × 256, 512 × 512 및 1024 × 1024)의 2D 패치를 생성하도록 추가 처리된다. 추출된 관심 영역(ROI)은 전립선암(PCa) 등급을 매기는데 사용된다. 도 2는 전체 슬라이드 이미지에서 잘라낸 패치의 예를 보여준다. 이때 배경 및 지방 조직을 포함하는 영역은 제외되었다. 레이블이 지정된 패치를 받은 후 6000개의 샘플이 선택되었으며 모두 크기가 256 × 256픽셀(24비트/픽셀)이다. 샘플을 암성 및 비암성이라는 두 가지 클래스로 동등하게 나누었다. 이때, 사용된 조직 샘플은 10명의 환자로부터 추출되었다. 이 샘플에는 RGB 색상 코딩 구조이다(빨간색, 녹색 및 파란색에 대해 각각 8비트).
보다 상세하게 설명하면, 도 3은 본 발명에 따른 전립선 절제술에서 샘플 조직병리학 슬라이드의 데이터 준비를 설명하기 위한 도면으로서, 도 3의 (a)는 패치 이미지를 생성하기 위해 슬라이딩 윈도우 방법이 적용된 전체 슬라이드 이미지의 예이고, 도 3의 (b)는 도 3의 (a)에서 얻은 잘린 패치는 가장 낮은 글리슨(Gleason) 패턴과 가장 높은 글리슨(Gleason) 패턴에 해당하는 것으로서, 각각 잘 분화된 것에서 잘 분화되지 않은 것을 나타낸다. PCa 분석 및 분류를 위해서 도 3의 (b)의 모든 패치 중에서 단순 기질, 양성 및 악성인 패치(이미지)가 선택되었다.
<이미지 전처리>
또한, 본 발명에 따르면, 이미지 전처리부가 크기가 조정된 상기 이미지 데이터에 멱함수 변환(power law (gamma) transformation)을 적용하여 이미지를 전처리한다(S120). 전처리가 수행되어 CNN 훈련을 위해 패치(이미지) 크기를 224 × 224 픽셀로 조정하고 이미지의 대비 수준을 조정하기 위해 크기 조정된 이미지에 멱함수 변환(power law (gamma) transformation)을 적용한다. 감마 개념은 이미지 시스템에서 휘도 값을 인코딩 및 디코딩하는 데 사용된다. 도 4는 이와 같은 적용의 전후의 이미지의 선명도를 보여준다.
도 4는 본 발명에 따른 스무딩 및 감마 보정을 사용한 이미지 전처리를 설명하기 위한 도면으로서, 도 4의 (a), (c)는 각각 양성 및 악성 조직의 원본 이미지이고, 이때 이미지는 흐릿하고 대비가 낮다. 도 4의 (b), (d)는 랜덤 노이즈 제거, 스무딩 및 감마 보정 후 이미지이다. 도 4의 (e)는 대비가 낮거나 높은 이미지의 변환 곡선을 도시하고 있다. 또한, 도 4의 (a), (c)의 이미지는 대비가 낮기 때문에 γ = 2를 적용하여 강도를 조정하여 도 4의 (b), (d)에서와 같이 선명하고 생생한 이미지를 얻었다. 이와 같이 조직 구성 요소는 변환 후 더 잘 보이며 이는 CNN 분류에 중요함을 알 수 있다.
[표 1]
Figure pat00001
또한, CNN 모델을 훈련, 검증 및 테스트하기 위해 데이터 세트 분할이 수행될 수 있다. 표 1은 본 발명의 교육, 검증 및 테스트를 위한 데이터 세트에 할당된 양성 및 악성 데이터 샘플의 수를 나타내고 있다.
데이터 샘플은 정확한 분류를 위해 0(비암성) 및 1(암성)로 라벨링 되었으며 표 1과 같이 훈련, 검증 및 테스트를 위해 세 그룹 중 하나에 무작위로 할당되었다. DL(Deep Learning)과 ML(Machine Learning) 분류에 사용된 데이터 세트 총 6000개의 샘플을 사용한다. 이 중 3600개는 교육에, 1200개는 검증에, 1200개는 테스트에 사용된다. 분류를 위해 네트워크에 샘플을 공급하기 전에 훈련 세트에 대해 데이터 증대를 수행하여 모델 성능 분석, 과적합 문제 감소 및 일반화 개선을 할 수 있다. 따라서 증강 기술을 사용하여 이미지의 일부 변환이 적용될 수 있다.
도 5는 본 발명에 따른 데이터 증대를 보여주는 훈련 데이터 세트에서 무작위로 선택된 샘플을 도시한 도면으로서, 도 5의 (a), (b)는 형질전환 전 각각 양성 및 악성 조직의 이미지를 도시한 것이고, 도 5의 (c), (d)는 데이터 증강 후 각각 도 5의 (a), (b)에서 변환된 이미지를 도시한 것이다.
이때, 도 5의 (c), (d)에 표시된 것처럼 90º 회전, 전치, 랜덤_밝기(random_brightening) 및 랜덤_대비(random_contrast), 랜덤_색조(random_hue) 및 랜덤_채도(random_saturation)가 포함된다. Keras 및 Tensorflow 함수가 데이터 증강을 실행하는 데 사용될 수 있다.
<컨볼루션 신경망(Convolution Neural Network)>
본 발명에서는 전립선암(PCa)의 이미지를 분류하기 위해 GP(genetic programming tree)의 분류를 수행하고 두 클래스를 구별하는 두 개의 경량 CNN(LWCNN) 모델을 사용한다. 모델 1과 모델 2에는 입력, 컨볼루션, ReLU(Rectified Linear Unit), 최대 풀링, 드롭아웃, 평면화, GAP 및 분류와 같은 CNN 레이어가 포함되어 있다.
모델 1은 ReLU 및 배치 정규화(BN) 레이어와 함께 2차원(2D) 컨볼루션 레이어(3 × 3 커널, 스트라이드 및 패딩)가 삽입되고, 3개의 최대 풀링(2 × 2) 및 3개의 드롭아웃 레이어가 이어지는, 10개의 레이어 깊이를 가진 4개의 컨볼루션 블록을 포함한다. 신경망을 연결하기 위해 특징 분류와 2개의 확률적 출력을 위해 평탄화 레이어와 1024, 1024 및 2개의 뉴런을 포함하는 3개의 밀집 레이어 시퀀스를 연결한다. 이진 분류기로 시그모이드 활성화 함수(sigmoid activation function)를 사용했다. 각 블록의 필터 수는 32, 64, 128 및 256이었다. 이 필터는 전체 이미지에 대한 슬라이딩 창 역할을 한다.
모델 2에는 7개의 레이어 깊이를 가진 3개의 컨볼루션 블록이 포함되어 있다. 여기서 2D 컨볼루션, ReLU 및 BN 레이어는 모델 1과 동일하지만 2개의 최대 풀링(2 × 2) 레이어와 1개의 드롭아웃 레이어로 삽입된다. 이 모델에서 컨볼루션 필터의 수는 92, 192, 384이다. GAP 레이어는 평면화 대신 사용되었으며 이 모델의 분류 섹션에도 64, 32 및 2개의 뉴런을 포함하는 3개의 조밀한 레이어가 있다. 여기서는 이진 손실을 줄이기 위해 softmax 분류기를 사용했다. 모델을 구축하는 동안 입력 형태는 224 × 224 × 3으로 설정된다.
즉, 본 발명의 일실시예에 따른 이미지 전처리 시에는 이미지 전처리부가 크기가 조정된 이미지 데이터에, ReLU 및 배치 정규화(BN) 레이어와 함께 2차원(2D) 컨볼루션 레이어(3 × 3 커널, 스트라이드 및 패딩)가 삽입되고, 3개의 최대 풀링(2 × 2) 및 3개의 드롭아웃 레이어가 이어지는, 10개의 레이어 깊이를 가진 4개의 컨볼루션 블록을 포함하는 모델 1을 적용하여 이미지 전처리할 수 있다.
또한, 다른 실시예에 따르면, 이미지 전처리부가 이미지 전처리 시에 크기가 조정된 상기 이미지 데이터에, ReLU 및 배치 정규화(BN) 레이어와 함께 2차원(2D) 컨볼루션 레이어(3 × 3 커널, 스트라이드 및 패딩)가 삽입되고, 2개의 최대 풀링(2 × 2) 및 1개의 드롭아웃 레이어가 이어지는, 7개의 레이어 깊이를 가진 3개의 컨볼루션 블록을 포함하는 모델 2를 적용하여 이미지 전처리할 수 있다.
경량 CNN(LWCNN) 모델의 세부 설계 및 사양은 각각 도 6과 표 2에 나와 있다. 모델 2는 도 7과 같이 분류 정확도를 개선하고 유효성 검사 손실을 줄이기 위해 다단계 기능 분석을 기반으로 모델 1에서 수정되었다.
[표 2]
Figure pat00002
표 2는 본 발명의 경량 합성곱 신경망(LWCNN: Convolutional Neural Networks)의 상세 정보 및 사양을 표시한 것으로서, BN은 배치 정규화(batch normalization), GAP은 전역 평균 풀링(global average pooling), ReLU는 수정된 선형 단위(rectified linear unit)을 나타낸다.
도 6은 본 발명에 따른 두 개의 글리슨(Gleason) 등급 전립선 암 그룹 간의 암 이미지 분류를 위한 경량 합성곱 신경망의 구조를 도시하고 있다. 공간 특징은 네트워크 중 하나를 통해 컨볼루션하여 이미지에서 추출된다. 합성곱 신경망(Convolutional Neural Network)에서 추출한 기능을 기반으로 필요한 응답을 찾기 위해 분류 계층(flatten, GAP, Dense-1, Dense-2 및 출력)이 사용되었다.
본 발명에서는 에지 검출 및 특징 추출에 적용된 컨볼루션 필터의 수를 기반으로 CNN이 검출한 픽셀 분포를 이해하고 패턴 분석을 위해 각 컨볼루션 블록 후에 다중 레벨 특징 맵을 추출한다. 컨볼루션 연산은 필터 또는 커널을 입력 이미지 위로 밀어서 수행된다. 이미지 행렬의 각 위치에서 요소별 행렬 곱셈을 수행하고 출력 결과를 합산하여 특징 맵을 생성한다. 최대 풀링(Max pooling)을 적용하여 입력 형태를 줄이고 시스템 기억을 방지하며 각 기능 맵에서 최대 정보를 추출한다. 블록 1(Block-1)의 기능 맵은 이미지에 있는 대부분의 정보를 담고 있다. 블록 1(Block-1)은 에지 감지기 역할을 한다. 그러나, 도 7에서와 같이 기능 맵은 네트워크로 더 깊이 발전함에 따라 추상적으로 표현되어 원본 이미지와 덜 유사하게 나타난다. 블록 3(Block-3)에서는 이미지 패턴이 다소 보였고 블록 4(Block-4)에서는 인식할 수 없게 된다. 이러한 변환은 심층 기능이 조직에 관한 2D 정보(예: 0 또는 1의 공간 값만)와 같은 고급 개념을 인코딩하는 반면 CNN은 저수준 기능 맵에서 가장자리와 모양을 감지하기 때문에 발생한다. 따라서, LWCNN의 성능을 향상시키기 위해 블록 4(Block-4) 가 인식할 수 없는 이미지를 생성한다는 관찰을 바탕으로 3개의 컨볼루션 블록(convolutional block)을 사용하여 모델 2(model 2)를 개발하고 본 발명에서 제안하는 모델로 선정한다.
모델 2(LWCNN)의 성능을 검증하기 위해 조직병리학 이미지 분류를 위해 사전 훈련된 CNN 모델(VGG-16, ResNet-50, Inceptio-V3 및 DenseNet-121)도 포함했다. 이러한 모델은 심층 CNN 기능을 추출하고 분류하는 데 매우 강력하고 효과적이다. 사전 훈련된 각 네트워크에 대해 모델 사양에 따라 밀집 또는 분류 블록을 구성한다. 이진 분류를 수행하기 위해 사전 훈련된 모든 모델에 시그모이드 활성화 함수(sigmoid activation function)를 사용한다.
아울러, 도 7은 본 발명에 따른 경량 합성곱 신경망을 사용한 조직 이미지 분류를 위한 다단계 기능 맵 분석 방법을 설명하기 위한 도면으로서, 각 블록에서 추출한 특징 맵의 픽셀 패턴을 관찰하여 시각적 분석을 수행하였다. 각 블록은 컨볼루션 신경망 분류에 유용한 서로 다른 정보를 보유한다. 블록 1-4(Block 1-4)의 기능 맵 출력 모양은 각각 56 × 56 × 92, 28 × 28 × 192, 14 × 14 × 384 및 7 × 7 × 512이다. 분석을 위해 블록당 4개의 기능 맵이 표시되며 각 블록에는 각각 92, 192, 384 및 512가 있다. 분석 결과 블록 4(Block-4)에는 이미지에 대한 최대 정보가 포함되어 있지만 결과 맵은 사람들이 시각적으로 덜 해석할 수 있는 것으로 나타났다. 네트워크로 더 깊이 발전함에 따라 기능 맵은 더 희소해지며, 이는 컨볼루션 필터가 더 적은 수의 기능을 감지함을 나타낸다. 따라서 블록 4(Block-4)는 모델 2(model 2)에서 제거되었다.
<특징 추출>
본 발명에 따르면 텍스처 특징 추출부가 상기 전처리된 이미지의 특징을 추출한다(S130).
이때, EML(Ensemble Machine Learning) 분류를 위해 수작업(handcrafted) 및 비 수작업(non-handcrafted) 기반으로 텍스처 특성 추출을 수행할 수 있다. 첫째, 제안된 LWCNN(모델 2)의 GAP 계층에서는 비 수작업(non-handcrafted) 또는 CNN 기반으로 특징을 추출한다. 각 CNN 레이어에서 다른 수의 피쳐 맵이 생성되었으며 GAP 메커니즘을 사용하여 각 피쳐 맵의 평균 값을 계산한다. 둘째, OCLBP 및 IOCLBP 기법을 사용하여 총 20개의 수작업 색상 텍스처 특성을 추출한다. 이 중 OCLBP를 사용하여 10개의 특징을 추출하고 IOCLBP를 사용하여 10개의 특징을 추출한다. EML 분류를 위해 수작업으로 설계한 특징 분석을 수행하고 수작업이 아닌 특징 분류 결과와 비교한다.
컬러 텍스처 맵을 생성한 후, OCLBP와 IOCLBP의 각 컬러 채널(Red/Green/Blue)에 LBP 기법을 별도로 적용한다. 이러한 최첨단 방법은 로컬 바이너리 패턴(LBP)의 확장이며 컬러 이미지 분석에 효과적이다. OCLBP 및 IOCLBP는 서로 다른 로컬 임계값 체계를 사용하는 채널 내 및 채널 간 디스크립터(descriptor)이다(즉, OCLBP의 주변 픽셀은 중앙 픽셀 값에서 임계값으로 지정되고 IOCLBP 임계값은 평균값을 기반으로 함). 위에서 언급한 각 최신 방법에 대해 공간 패턴과 로컬 이미지의 대비를 구별할 수 있는 일반 회전 불변 연산자(즉, 픽셀 p의 이웃 세트가 반지름 R의 원에 배치됨)를 사용하여 특징 벡터를 얻는다. 따라서, 연산자 p = 8 및 R = 2를 사용하여 H&E 염색 조직 이미지에서 색상 특징을 추출한다.
<딥러닝(DL: Deep Learning) 및 머신러닝(ML: Machine Learning) 분류>
또한, 본 발명의 일실시예에 따르면 분류부가 딥러닝(DL: Deep Learning) 또는 머신러닝(ML: Machine Learning)을 이용해 상기 추출된 특징을 분류한다(S140).
이때, 본 발명의 일실시예에 따르면 상기 분류부가 상기 추출된 특징을 LWCNN(lightweight convolutional neural network) 또는 EML(Ensemble Machine Learning)을 이용해 분류할 수 있다.
또한, LWCNN, 사전 훈련 및 EML 모델을 훈련하고 테스트하기 전에 더 나은 예측과 모델 손실을 최소화하기 위해 다양한 유형의 매개변수를 미세 조정할 수 있다. 이때, 각 컨볼루션 레이어의 기능 맵을 계산하기 위해 비선형 활성화 함수(ReLU)가 사용되었으며 다음의 수학식 1과 같이 정의할 수 있다.
[수학식 1]
Figure pat00003
여기서 Ai,j,k는 위치 (i, j)에서 n번째 피쳐 맵의 활성화 값이고, Ii,j는 입력 패치이며, wn 및 bn은 각각 n번째 필터의 가중치 벡터 및 바이어스(bias) 항이다.
BN은 또한 각 컨볼루션 레이어 다음에 사용되어 모델을 정규화하여 드롭아웃의 필요성을 줄인다. BN은 글로벌 데이터 정규화보다 더 효과적이기 때문에 본 발명의 모델에 사용된다. 후자의 정규화는 전체 데이터 세트를 변환하여 평균이 0이고 분산이 단위가 되도록 하는 반면 BN은 각 미니 배치 후 평균과 분산의 근사치를 계산한다. 따라서, BN은 모델을 포화시키지 않고 ReLU 활성화 함수를 사용할 수 있다. 일반적으로 BN은 다음의 수학식 2에 의해 수행된다.
[수학식 2]
Figure pat00004
여기서, xn은 d차원 입력이고 μmb와 σ2 mb는 각각 미니 배치의 평균과 분산이며 c는 상수이다.
네트워크 가중치를 최적화하고 LWCNN 모델의 성능을 분석하기 위해 SGD(stochastic gradient descent), Adadelta, Adam 및 RMSprop의 4가지 유형의 최적화 프로그램을 기반으로 비교 분석을 수행한다. 비교 분석의 결과는 추후에 설명하기로 한다. 분류 성능은 교차 엔트로피 손실 또는 로그 손실을 사용하여 측정되며, 출력은 0과 1 사이의 확률 값이다. 네트워크를 훈련하기 위해 이진 교차 엔트로피를 사용한다. 이진 분류에 대한 표준 손실 함수는 다음의 수학식 3과 같이 구성될 수 있다.
[수학식 3]
Figure pat00005
여기서, N은 출력 클래스의 수이고 Xi와 Yi는 각각 입력 샘플과 대상 레이블이며 Mw는 네트워크 가중치 w가 있는 모델이다.
ReduceLROnPlateau로 알려진 기능을 사용하여 최소 학습률을 0.001로 설정하면서 하이퍼파라미터(hyperparameter)를 조정하고, 인수는 0.8이고 인내값(patience)은 10으로 설정될 수 있다. 따라서, 10개의 연속 epoch 동안 유효성 검사 손실이 개선되지 않으면 학습률이 0.8배 감소한다. 모델 학습을 위해 배치 크기를 8로 설정하고 LWCNN의 컨볼루션(convolution) 및 밀집 블록에서 가중치의 25%와 50%를 각각 드롭 아웃(drop-out)하여 정규화(regularization)를 적용할 수 있다. 조밀한 계층의 확률적 출력은 시그모이드(sigmoid) 및 소프트맥스(softmax) 분류기를 사용하여 계산될 수 있다.
본 발명의 일실시예에 따르면, CNN 방법 외에도 로지스틱 회귀(LR) 및 랜덤 포레스트(RF)를 포함한 기존 ML 알고리즘이 특징 분류에 사용될 수 있다. 본 발명에서는 LR과 RF 분류기를 결합하여 EML 모델을 생성하는 앙상블 투표 방법을 사용할 수 있다.
이 앙상블 기법을 사용하여 수작업(handcraft)과 비수작업(non- handcraft)에 의해 특징을 분류하고 분류 성능을 비교할 수 있다. LWCNN, 사전 훈련 및 EML 모델은 알려지지 않았거나 보이지 않는 데이터 샘플을 사용하여 테스트하였다. 일반적으로 ML 분류의 경우 모델 일반화 가능성을 결정하기 위해 훈련 데이터를 k-겹(즉, k = 5)으로 분할하여 교차 검증을 사용했으며, 각 k 시행의 정확도를 평균하여 결과를 계산했다. ML 분류 이전에 훈련 및 테스트를 위한 특성 값은 다음의 수학식 4와 같이 표현될 수 있는 표준 정규 분포 함수를 사용하여 정규화될 수 있다.
[수학식 4]
Figure pat00006
여기서 Pi는 개별 조직 이미지의 i번째 픽셀이고 μ 및 σ는 데이터 세트의 평균 및 표준 편차이다.
DL 및 ML 모델은 Keras 및 Tensorflow 라이브러리를 사용하여 Python 3 프로그래밍 언어로 구축될 수 있다. 더 나은 정확도를 달성하기 위해 하이퍼파라미터(hyperparameter)를 미세 조정하는 데 약 36시간이 투자될 수 있다. 도 8은 본 발명의 DL 및 ML 분류에 대한 전체 프로세스 흐름도를 도시하고 있다. DL 및 ML 모델에 사용된 하이퍼파라미터는 표 3에 기재되어 있다.
[표 3]
Figure pat00007
또한, 본 발명에 따른 모델은 Intel corei7 CPU(2.93GHz), NVIDIA GeForce RTX 2080 GPU 1개 및 24GB RAM 사양의 PC에서 훈련, 검증 및 테스트되었다.
<실험 결과>
본 발명은 AI 기반 이미지 분류에 중점을 두고 있다. 조직 이미지 분류를 위한 제안된 LWCNN(모델 2)과 특징 분류를 위한 EML은 허용 가능한 속도로 요구 사항을 충족하는 신뢰할 수 있는 결과를 생성할 수 있다. DL 모델을 개발하기 위해 다중 클래스 및 이진 분류를 위해 특정 영역을 탐지하는 데 탁월한 성능이 입증된 CNN 접근 방식을 사용한다. 데이터 세트를 분할할 때 훈련 및 테스트를 위해 8:2의 비율이 설정된다. 또한, 각 epoch 이후에 모델을 검증하기 위해 훈련 세트를 더 나누어 데이터의 75%를 훈련에 할당하고 25%를 검증에 할당했다. EML 훈련 중에 5중 교차 검증이 사용되었다. 전처리, 데이터 분석 및 분류에 사용되는 알고리즘은 MATLAB R2019a 및 PyCharm 환경에서 구현되었다.
본 발명에서는 전립선 조직의 양성 및 악성 샘플을 분류하기 위해 이진 분류 접근 방식을 사용할 수 있다. DL(이미지 기반) 및 ML(특징 기반)의 두 가지 수준의 분류가 수행될 수 있다. 표 4는 각각 모델 1과 모델 2에 대한 옵티마이저들(optimizers) 간의 비교 분석을 보여주는 것으로서 조직 이미지 분류를 위한 옵티마이저들 간의 비교를 나타내고 있다. 개발된 LWCNN 모델은 훈련 중 옵티마이저들을 변경하여 두 번 훈련될 수 있다.
[표 4]
Figure pat00008
위의 비교 표에서 Adadelta가 두 아키텍처 모두에 대한 테스트 데이터에서 최고의 성능과 최고의 정확도를 제공했음을 분석할 수 있다. SGD와 Adam은 모델 2의 경우 Adadelta에 근접한 성능을 보였다. 반면에 RMSProp은 모델 1의 경우 Adadelta에 근접한 성능을 보였다. 그러나 Adadelta(Adam 및 Adagrad의 업데이트 버전)는 과거의 모든 정사각형 그라디언트(gradients)를 누적하는 대신 누적된 과거 그라디언트의 창을 일부 고정 크기 w로 제한하는 보다 강력한 최적화 도구이다. 이러한 옵티마이저를 비교한 결과 Aadelta가 더 안정적이고 더 빠르므로 SGD, RMSProp 및 Adam이 전반적으로 개선되었다. 옵티마이저의 동작과 성능은 ROC(수신기 작동 특성) 곡선을 사용하여 분석되었다. 이는 유효 임계값 표시를 포함하여 이진 분류기 시스템의 진단 능력을 나타내는 확률 곡선이다. ROC 곡선 아래 영역(AUC)은 모델이 두 클래스를 분리할 수 있는 정도로 요약된다.
도 9는 본 발명에 따른 예측 확률 값(즉, 모델의 신뢰 점수)을 이용해 생성된 다양한 최적화 프로그램의 동작을 분석하기 위한 ROC 곡선의 그래프로서, 도 9의 (a)는 시그모이드 활성화에 기반한 모델 1의 성능을 나타내고, 도 9의 (b)는 소프트맥스(softmax) 활성화 함수를 기반으로 한 모델 2의 성능을 나타낸다.
즉, 도 9의 (a), (b)는 ROC 곡선과 모델 1과 모델 2에 각각 사용된 다양한 최적화 프로그램의 효율성을 나타내는 해당 AUC를 보여준다. 모델 1의 AUC는 0.95, 0.94, 0.96, 0.93이었고, 모델 2의 경우 Adadelta, RMSProp, SGD, Adam을 사용하여 각각 0.98, 0.97, 0.98, 0.97을 얻었다.
또한 표 4의 최적 정확도를 기반으로 ML 알고리즘의 효율성을 분석하기 위해 모델 2에서 CNN에서 추출한 특징을 이용하여 EML 분류를 수행할 수 있다. 또한, 수작업(handcraft) 특징 분류를 수행하여 비수작업(non- handcraft) 특징 분류 결과와 성능을 비교할 수 있다. 또한 EML 모델은 CNN 기반 기능을 사용하여 유효한 결과를 얻었다. 모델 2는 전체 정확도, 정밀도, 재현율, F1 점수 및 MCC에서 각각 94.0%, 94.2%, 92.9%, 93.5% 및 87.0%의 값으로 모델 1을 능가하였다.
본 발명의 일실시예에 따르면 도 10에 도시된 바와 같이 최적의 결과를 산출하는 LWCNN 모델을 기반으로 혼동 매트릭스를 생성하여 악성과 양성 조직을 가장 확실하게 구별할 수 있다.
도 10은 본 발명에 따른 양성(0) 종양과 악성(1) 종양 간의 이분법 분류 결과를 보여주는 테스트 데이터 세트를 사용하여 생성된 모델 2의 융합 매트릭스(confusion matrix)를 도시한 것으로서, 왼쪽 상단과 오른쪽 하단의 파란색 상자는 각각 진양성(true positive)과 진음성(true negative)을 나타내고, 오른쪽 상단과 왼쪽 하단의 흰색 상자는 각각 위양성(false positive)과 위음성(false negative)을 나타낸다. 양성 조직은 "0"으로, 악성 조직은 "1"로 레이블을 지정하여 이 이진 분류에 대한 혼동 매트릭스를 표시했다. 각 클래스의 예상 결과와 예측 횟수를 기반으로 테스트 데이터 세트를 사용하여 값을 계산할 수 있다.
[표 5]
Figure pat00009
[표 6]
Figure pat00010
표 5와 표 6은 DL과 ML 분류에 대한 전체적인 비교분석을 보여준다. 보다 구체적으로, 표 5는 수작업이 아닌 기능을 기반으로 한 경량 CNN 모델과 사전 훈련된 CNN 모델의 비교 분석을 보여주며, 이때 메트릭(metric)은 테스트 데이터 세트를 위한 것이고, 표 6은 수작업(handcraft)과 비수작업(non- handcraft) 특징 분류의 비교 분석을 보여주는 것으로서, 이때 메트릭(metrics)은 테스트 데이터 세트를 위한 것이다.
분석 결과를 평가하는데 사용되는 성능 메트릭(performance metrics)은 정확도, 정밀도, 재현율, F1 점수 및 Matthews 상관 계수(MCC)이다.
<시각화 결과>
본 발명에 따르면 CAM(Class Activation Map) 기법은 분류 블록의 활성화 계층(softmax)에서 얻은 결과를 시각화하는 데 사용될 수 있다. CAM은 CNN이 이미지에 포함된 정확한 클래스 또는 그룹을 인식하기 위해 사용하는 이미지 영역을 추론하는 데 사용된다. 일반적으로 블랙박스 CNN 모델의 은닉층에서 얻은 결과를 시각화하는 것은 어렵다. 네트워크의 깊이가 증가함에 따라 기능 맵에서 더 많은 복잡성이 관찰된다. 따라서, 각 이미지는 점점 추상화되어 초기 레이어보다 정보를 덜 인코딩하고 더 흐릿하게 보이다.
도 11은 본 발명에 따른 네트워크가 중요한 영역을 감지하는 방법을 나타내는 클래스 활성화 맵(CAM: class activation map) 결과를 보여준다. 게다가, 네트워크는 어떤 지역이 관심을 받을 가치가 있는지 결정하기 위해 내장된 메커니즘을 배운다. 따라서, 이 결정 프로세스는 분류 네트워크에서 매우 유용하다.
즉, 도 11의 클래스 활성화 맵(CAM: class activation map)은 컨볼루션 신경망의 분류 계층 중 하나에서 추출되며, 블랙박스 모델이지만 신경망에서 이미지를 분류하고 예측하는 방법을 보여주고 있다. 행의 상단 및 하단 쌍은 각각 양성 및 악성 조직 이미지를 나타냅니다. 보다 구체적으로, 도 11의 (a)는 회색조로 시각화된 RGB 색 구성표의 입력 이미지를 도시한 것이고, 도 11의 (b)는 각 조직 이미지에서 서로 다른 영역의 감지를 보여주는 분류 블록의 활성화 맵을 도시한 것이며, 도 11의 (c)는 컨볼루션 신경망이 해당 이미지에서 특정 항목을 식별하는 데 사용한 중요한 영역을 나타내는 스팟이 있는 도 11의 (a), (b)의 이미지가 오버레이 된 것을 도시한 것이다.
CNN은 14 × 14 × 384의 출력 형태를 갖는 마지막 컨볼루션 레이어에서 GAP 레이어에서 추출한 공간 평균 정보를 통합하여 softmax 분류기를 사용하여 특정 영역을 감지한다. 도 11의 (c)에 표시된 감지 영역은 다음을 적용하여 생성되었다. 도 11의 (c)에 표시된 감지 영역은 도 11의 (b)의 CAM 이미지에 열 지도를 적용하고 도 11의 (a)의 원본 이미지에 오버레이하여 생성되었다. 히트 맵은 조직 이미지 분석에 매우 효과적이다. 즉, CNN이 암 분류에 중요한 이미지의 각 영역을 감지하는 방법을 보여주고 있다. 따라서, 이 정보를 사용하여 분류(즉, 신경망이 관련 영역을 기반으로 이미지에서 암의 존재를 예측하는 방법)를 더 잘 확인할 수 있다. 시각화 프로세스는 모델 2의 훈련된 네트워크에 제공된 테스트 데이터 세트를 사용하여 수행될 수 있다.
본 발명에서는 암(PCa) 등급을 위해 지도 분류를 수행했으며, 여기서 우리의 데이터 세트는 양성 조직과 악성 조직을 개별적으로 독립적으로 분류하기 위해 "0"과 "1"로 레이블이 지정되었다. 데이터의 확률 분포는 훈련 및 테스트 세트에서 유사했지만 테스트 데이터 세트는 훈련 데이터 세트와 독립적이었다. 따라서, 이진 레이블이 지정된 여러 암 이미지로 모델을 훈련시킨 후 이진 클래스 간의 정확한 예측을 위해 분석되지 않은 데이터 세트를 네트워크에 제공했다.
도 12는 본 발명의 모델 2의 이진 분류 결과의 예와 올바르게 예측된 이미지의 예와 그렇지 않은 이미지의 예를 보여주는 것으로서, 이진 레이블이 지정된 테스트 데이터 세트를 사용한 암 예측을 도시하고 있다. 보다 구체적으로, 도 12의 (a)는 올바르게 분류된 실제 및 예측 레이블을 표시하고 있으며, 도 12의 (b)는 잘못 분류되어 실제 및 예측 레이블을 표시하고 있다. 한편, 양성의 일부 영상은 핵 분포, 강도 변화 및 조직 질감 측면에서 악성 조직과 유사한 특징이 있다.
이와 같이, 본 발명의 목적은 다단계 특징 맵 분석을 기반으로 양성 및 악성 조직 영상 분류를 위한 LWCNN을 개발하고 모델의 효율성을 보여주는 것이다. 또한, 비수작업(모델 2의 GAP 계층에서 추출)과 수작업(OCLBP 및 IOCLBP를 사용하여 추출)의 분류를 위해 EML(Ensemble Machine Learning) 방법을 구성하여 사용한다. 일반적으로 DL(Deep Learning)에서 기능은 원시 데이터에서 자동으로 추출되고 신경망 접근 방식을 사용하여 분류를 위해 추가 처리된다. 그러나, ML(Machine Learning) 알고리즘의 경우 기능은 수학 공식을 사용하여 수동으로 추출된다. 이것들은 또한 수작업으로 만든 기능으로 간주된다. CNN은 데이터에서 흩어져 있고 미세하게 그려진 패턴의 분석과 같은 복잡한 감지 작업에 적합하다. 특히, 악성 및 양성 분류 작업에서 모델 2가 모델 1보다 더 효과적이었다. 실제로 모델 1의 성능을 개선하여 모델 2를 구성하였으며, 이와 같은 개선에는 컨볼루션 블록(convolutional block), 평탄화 레이어(flattening layer), 시그모이드 활성화 함수(sigmoid activation function), 그리고 필터 개수(filter number)와 커널 크기(kernel size)의 제거가 포함된다. 또한 GAP는 세 번째 컨볼루션 블록(convolutional block) 이후의 평탄화(flattening)를 대체하여 모델의 총 매개변수 수를 줄여 과적합을 최소화했다. 소프트맥스(softmax) 활성화 함수는 세 번째 밀집 계층에서 S자형 활성화 함수를 대체했다. 다단계 기능 맵 분석을 기반으로 한 이러한 수정은 조직 이미지 분류의 전반적인 정확도와 위치 파악 능력을 향상시켰다.
또한 본 발명에서는 제안한 CNN 모델을 VGG-16, ResNet-50, Inception-V3 및 DenseNet-121과 같은 잘 알려진 사전 훈련 모델과 비교했다. 본 발명의 목표는 가능한 최소한의 컨볼루션 레이어를 사용하여 훨씬 복잡한 구조 없이 경량 CNN을 개발하고 더 나은 분류 성능을 달성하는 것이다. 모델 2는 94%의 전체 정확도를 달성하여 이 가설을 입증했다. 한편, 사전 훈련된 모든 모델은 1000개의 클래스를 포함하는 거대한 데이터 세트(ImageNet)에서 잘 훈련되었다. 따라서, 이러한 모델의 분류가 큰 번거로움 없이 정확하게 이루어질 것임은 자명하다. 그럼에도 불구하고 제안된 LWCNN과 다른 사전 훈련된 모델 간의 계산 비용 비교를 수행하여 메모리 사용량, 훈련 가능한 매개변수 및 학습(훈련 및 테스트) 시간을 분석했으며, 이는 표 7에 기재된 바와 같다.
[표 7]
Figure pat00011
표 7은 종래 기술에 따른 사전 훈련된 모델들과 본 발명에 따른 모델 2의 성능 및 계산 비용을 비교한 것을 나타내고 있다. 먼저, 표 7의 비교에 따르면, LWCNN 모델에서 사용되는 훈련 가능한 매개변수의 수는 VGG-16, ResNet-50 및 Inception-V3에 비해 75% 이상, DenseNet-121에 비해 2% 감소했다. 둘째, 제안된 모델의 메모리 사용량이 다른 모델에 비해 현저히 적었다. 셋째, 제안된 모델을 학습하는 데 걸리는 시간도 획기적으로 단축되었다. 사전 훈련된 모델 중 VGG-16과 ResNet-50이 본 발명의 목적과 유사하다. 표 5와 표 7에서 본 발명의 LWCNN(모델 2)은 경쟁력 있고 저렴하지만 최신 모델은 계산 비용이 많이 들고 비슷한 결과를 얻었다. 따라서, 이러한 관점에서 제안한 작업의 모델 2는 단순한 아키텍처를 사용하는 것 외에도 정확도 측면에서 VGG-16 및 ResNet-50보다 우수한 성능을 보였다.
본 발명에 따르면 하이퍼파라미터(hyperparameter)의 미세 조정을 통해 검증 및 테스트 데이터 세트를 사용하여 CNN 레이어가 최적인 것으로 선택되었다. 본 발명에 따른 모델 2는 양성 및 악성 조직 이미지의 분류에 적합함을 알 수 있다. 본 발명에 따르면 조직 병리학 이미지를 감지하고 예측하기 위해 제안된 LWCNN 모델의 기능을 사용하였다. 도 13은 본 발명에 따른 다른 수의 필터를 사용하여 생성된 모델 2에서 생성된 클래스 활성화 맵의 시각화를 도시한 것으로서, 도 13의 (a)는 첫 번째 컨볼루션, 도 13의 (b)는 두 번째 컨볼루션, 도 13의 (c)는 세 번째 컨볼루션, 도 14의 (d)는 분류 블록의 출력을 도시하고 있다. 이때 각 색상은 컨볼루션 신경망에서 감지한 이러한 조직병리학 이미지의 클래스를 예측하는 데 가장 관련성이 높은 영역을 나타내고 있다. 도 13을 참조하면, 히트 맵을 사용하여 감지 결과를 시각화하기 위해 각 블록에서 단일 활성화 맵을 추출하였다. 특히, 본 발명에 따르면 수작업이 아닌 기능 및 수작업 기능 분류에 EML 방법을 사용할 수 있다. 그러나, EML 모델은 양성 및 악성 조직의 샘플을 거의 완벽하게 예측하는 최적의 LWCNN 모델을 사용하여 추출된 계산 기능을 분류하기에 충분히 강력하다. 또한 소프트(softmax) 분류기를 사용하여 분류되고 예측된 조직 샘플은 각각 도 14의 (a), (b)의 양성 및 악성 상태에 대한 예측 확률 신뢰도의 분위수-분위수(Q-Q: quantile-quantile) 플롯으로 표시된다. 이러한 Q-Q 플롯은 예측의 분석을 가능하게 한다. 참(ture) 값 및 예측된 확률 값은 각각 샘플의 진양성 및 진음성 분류에 따라 표시되었다(도 9 참조).
도 14는 본 발명에 따른 참 및 예측 확률 값에 대한 분위수-분위수 그래프로서, 도 14의 (a)는 양성으로서 진양성 예측된 샘플의 도표이고, 도 14의 (b)는 악성으로서 진음성 예측을 한 샘플의 도표이다.
QQ 플롯에서 x축에 평행한 상단의 검은색 막대는 실제 확률 값을 보여준다. 빨간색(true positive) 및 파란색(true negative) 마커는 특정 클래스의 각 샘플에 대한 예측 신뢰도를 보여준다. 각 단위의 출력을 0과 1 사이로 정규화하여 확률의 합이 항상 1이 되도록 하는 소프트(softmax) 분류기를 사용했다. 각 클래스에 사용된 샘플 수는 600이다. 올바르게 분류된 숫자는 진양성 및 진음성에 대해 각각 565 및 557이었다. 예측 확률 값 > 0.5 및 < 0.5는 각각 정확한 분류 및 오분류를 나타낸다.
영상특징 공학과 ML 분류의 결합은 의료 영상 분석 및 분류 측면에서 괄목할 만한 성능을 보였다. 대조적으로 CNN은 특정 학습 목표에 대해 매우 예측 가능한 특징에 초점을 맞춰 다양한 이미지 특징을 적응적으로 학습하여 이미지 변환을 수행한다. 예를 들어, 양성 및 악성 조직의 이미지는 계산 기능을 감지하고 각 이미지의 픽셀 패턴을 강조 표시하는 서로 다른 수의 필터가 있는 컨볼루션 레이어로 구성된 네트워크에 표시될 수 있다. 이러한 패턴을 기반으로 네트워크는 시그모이드(sigmoid) 및 소프트맥스(softmax) 분류기를 사용하여 추출된 특징과 중요한 특징을 각각 학습할 수 있다. 그러나, 종래 기술에서는 DL에서 CNN 처리의 "파이프라인"(즉, 입력에서 출력 예측까지)은 불투명하며 사용자가 프로세스 세부 정보를 완전히 알지 못하는 "블랙 박스" 터널을 통과하는 것처럼 자동으로 수행된다. CNN을 계층 단위로 별로(layer-by-layer)로 조사하는 것은 어렵다. 따라서 각 레이어의 시각화 결과와 예측 메커니즘은 해석하기 어렵다.
전반적으로 모든 모델은 조직 이미지 분류에서 우수한 성능을 보여 비슷한 결과를 얻었다. EML 방법은 CNN에서 추출한 특징과도 잘 작동하여 비슷한 결과를 얻었다. 이미지 분류의 경우 데이터 샘플을 보다 정확하게 분류함으로써 매우 깊은 레이어를 가진 모델이 잘 수행된다는 것을 알 수 있다. 본 발명에서는 이진 분류(즉, 양성 대 악성)를 기반으로 암 등급을 예측하기 위해 소수의 피쳐 맵 레이어와 하이퍼파라미터를 사용하여 LWCNN 모델을 구축하는 것을 목표로 했다. 본 발명에 따른 방법은 매개변수가 적절하게 조정되면 경량 모델이 좋은 결과를 얻을 수 있음을 입증했다. 또한, 모델 2는 조직 이미지의 조직학적 차이를 효과적으로 인식하고 거의 완벽한 정확도로 상태를 예측하였다. 조직병리학에 대한 DL의 적용은 비교적 새로운 것임에도 좋은 성능으로서 정확한 결과를 제공하다. DL 방식은 블랙박스 레이어를 통해 뛰어난 성능을 제공하다. 이러한 각 레이어의 출력은 히트 맵을 사용하여 시각화할 수 있다. 본 발명에 따른 모델은 각 조직 이미지에 존재하는 조직학적 패턴에 대한 이해를 제공했으며, 따라서 최악의 예후와 관련된 조직 영역을 분석하기 위한 실용적인 도구를 제공할 수 있다. 히트 맵 분석은 LWCNN이 핵 형태, 세포 밀도, 샘 형성, 기질 및 세포질 강도의 변화와 관련된 다양한 특징을 포함하는 조직병리학적 이미지의 시각적 패턴을 학습할 수 있음을 시사하고 있다. 피쳐 맵 분석을 기반으로 첫 번째 모델을 수정했을 때 성능이 크게 향상되었다.
본 발명에서는 조직의 악성 상태와 양성 상태를 구별하기 위해 수작업 및 비수작업 텍스처 특성을 활용하여 PCa 샘플을 사용하여 2D 이미지 분류를 수행한다. 또한, 특징 맵 분석을 사용하여 LWCNN 및 EML 기반 이미지 및 특징 분류를 사용한다. DL 모델은 몇 개의 CNN 레이어로 설계되었으며 소수의 매개변수로 훈련된다. 각 레이어의 계산된 기능 맵은 평탄화 및 GAP 레이어를 통해 이러한 완전한 CNN에 공급되어 시그모이드 및 소프트맥스 분류기를 사용하여 이진 분류를 가능하게 한다. 본 발명에서 최적의 네트워크인 모델 2는 GAP와 소프트맥스(softmax)를 사용하였다. 또한, 모델의 총 매개변수 수를 줄여 과적합을 최소화하기 위해 평면화 대신 GAP 레이어를 사용하였다. 이 레이어는 각 특징 맵의 평균값을 계산하는 반면, 병합은 2D 특징 행렬의 데이터 모양을 1차원 배열로 변경하여 최종 컨볼루션 또는 풀링 레이어에서 추출한 모든 특징 맵을 결합하여 전체 CNN 분류기로 전달된다. DL과 EML 분류 결과를 비교 분석하였으며, 모델간 계산 비용도 비교하였다. 최적의 LWCNN(즉, 모델 2) 및 EML 모델(LR 및 RF 분류기의 조합)은 훨씬 적은 수의 훈련 가능한 매개변수로 거의 완벽하게 정확한 결과를 달성했다. 본 발명에서 개발한 제안 LWCNN 모델은 전체 정확도 94%, 평균 정밀도 94.2%, 평균 재현율 92.9%, 평균 f1 점수 93.5%, MCC 87%를 달성했다. 한편, CNN 기반 특징을 사용하여 EML 모델은 전체 정확도 92%, 평균 정밀도 92.7%, 평균 재현율 91%, 평균 f1 점수 91.8%, MCC 83.5%를 달성했다.
결론적으로, 본 발명에 따르면 모델 과적합 및 손실을 제어하여 정확도를 향상시키기 위해 하이퍼파라미터를 미세 조정해야 하다. 본 발명에서 개발된 2D LWCNN(모델 2)은 잘 수행되었으므로 양성 및 악성 각각에 대해 예측된 진양성 및 진음성 샘플을 Q-Q 플롯을 사용하여 표시할 수 있다. 블록 박스 CNN 모델의 결과를 시각화하기 위해 CAM 기법이 사용될 수 있다.
도 15는 본 발명에 따른 다단계 특징 분석을 사용한 전립선 조직의 효율적인 경량 CNN과 앙상블 머신 러닝 분류 시스템의 구성도이다.
이후부터는 도 15를 참조하여 본 발명의 일실시예에 따른 다단계 특징 분석을 사용한 전립선 조직의 효율적인 경량 CNN과 앙상블 머신 러닝 분류 시스템을 설명하기로 한다.
본 발명의 일실시예에 따른 다단계 특징 분석을 사용한 전립선 조직의 효율적인 경량 CNN과 앙상블 머신 러닝 분류 시스템(100)은 다단계 특징 분석을 사용한 전립선 조직의 효율적인 경량 CNN과 앙상블 머신 러닝 분류 방법을 실행할 수 있는 컴퓨터 단말 또는 서버로 구성되거나, 별도의 전용 장치(device)로 구성될 수 있다.
도 15를 참조하면, 본 발명의 일실시예에 따른 다단계 특징 분석을 사용한 전립선 조직의 효율적인 경량 CNN과 앙상블 머신 러닝 분류 시스템(100)은 데이터 수집부(110), 이미지 전처리부(120), 텍스처 특징 추출부(130) 및 분류부(140)를 포함하여 구성된다.
상기 데이터 수집부(110)는 염색된 전립선 조직의 이미지 데이터를 수집한다.
또한, 상기 이미지 전처리부(120)는 크기가 조정된 상기 이미지 데이터에 멱함수 변환(power law (gamma) transformation)을 적용하여 이미지를 전처리한다.
보다 구체적으로 상기 이미지 전처리부(120)는 크기가 조정된 상기 이미지 데이터에, ReLU 및 배치 정규화(BN) 레이어와 함께 2차원(2D) 컨볼루션 레이어(3 × 3 커널, 스트라이드 및 패딩)가 삽입되고, 3개의 최대 풀링(2 × 2) 및 3개의 드롭아웃 레이어가 이어지는, 10개의 레이어 깊이를 가진 4개의 컨볼루션 블록을 포함하는 모델 1을 적용하여 이미지를 전처리할 수 있다.
또 달리, 상기 이미지 전처리부(120)는 크기가 조정된 상기 이미지 데이터에, ReLU 및 배치 정규화(BN) 레이어와 함께 2차원(2D) 컨볼루션 레이어(3 × 3 커널, 스트라이드 및 패딩)가 삽입되고, 3개의 최대 풀링(2 × 2) 및 3개의 드롭아웃 레이어가 이어지는, 10개의 레이어 깊이를 가진 4개의 컨볼루션 블록을 포함하는 모델 1을 적용하여 이미지를 전처리할 수 있다.
또한, 상기 텍스처 특징 추출부(130)는 상기 전처리된 이미지의 특징을 추출한다.
보다 상세하게 설명하면, 상기 텍스처 특징 추출부(130)는 상기 전처리된 이미지를 OCLBP(Opposite Color Local Binary Patterns)와 IOCLBP(Improved Opponent Color Local Binary Patterns) 기반의 및 CNN 기반으로 분석하여 특징을 추출할 수 있다.
또한, 상기 분류부(140)는 딥러닝(DL: Deep Learning) 또는 머신러닝(ML: Machine Learning)을 이용해 상기 추출된 특징을 분류한다.
상기 분류부(140)는 상기 추출된 특징을 LWCNN(lightweight convolutional neural network) 또는 EML(Ensemble Machine Learning)을 이용해 분류하거나, 상기 추출된 특징을 사전학습된 모델(pre-trained model)을 이용해 특징을 분류할 수 있다.
또 달리, 상기 분류부(140)는 상기 OCLBP(Opposite Color Local Binary Patterns)와 IOCLBP(Improved Opponent Color Local Binary Patterns)를 기반으로 추출된 특징을 EML(Ensemble Machine Learning)을 이용해 분류할 수 있다.
이와 같이, 본 발명에 따르면 인공 지능(AI) 기술을 사용하여 양성 및 악성 조직의 이미지와 특징을 분류하는 컴퓨터 접근 방식을 사용하며, 보다 구체적으로 이미지 및 특징 분류를 위한 두 가지 경량 CNN(Convolutional Neural Network) 아키텍처와 앙상블 기계 학습(EML) 방법을 각각 사용하고, 비교분석을 위해 사전 훈련된 모델과 수작업 특징을 이용한 분류를 수행하여 두 등급 그룹(양성 대 악성)을 분류하고, 분위수-분위수(quantile-quantile) 플롯을 사용하여 예측된 결과를 표시함으로써, 보다 정확한 전립선 조직의 양성 및 악성의 분류를 제공할 수 있다.
전술한 바와 같은 본 발명의 상세한 설명에서는 구체적인 실시예에 관해 설명하였다. 그러나 본 발명의 범주에서 벗어나지 않는 한도 내에서는 여러 가지 변형이 가능하다. 본 발명의 기술적 사상은 본 발명의 전술한 실시예에 국한되어 정해져서는 안 되며, 청구범위뿐만 아니라 이 청구범위와 균등한 것들에 의해 정해져야 한다.

Claims (14)

  1. 데이터 수집부가 염색된 전립선 조직의 이미지 데이터를 수집하는 데이터 수집 단계;
    이미지 전처리부가 크기가 조정된 상기 이미지 데이터에 멱함수 변환(power law (gamma) transformation)을 적용하여 이미지를 전처리하는 이미지 전처리 단계;
    텍스처 특징 추출부가 상기 전처리된 이미지의 특징을 추출하는 텍스처 특징 추출 단계; 및
    분류부가 딥러닝(DL: Deep Learning) 또는 머신러닝(ML: Machine Learning)을 이용해 상기 추출된 특징을 분류하는 분류 단계;
    를 포함하는 다단계 특징 분석을 사용한 전립선 조직의 효율적인 경량 CNN과 앙상블 머신 러닝 분류 방법.
  2. 청구항 1에 있어서,
    상기 이미지 전처리 단계는,
    상기 이미지 전처리부가 크기가 조정된 상기 이미지 데이터에, ReLU 및 배치 정규화(BN) 레이어와 함께 2차원(2D) 컨볼루션 레이어(3 × 3 커널, 스트라이드 및 패딩)가 삽입되고, 3개의 최대 풀링(2 × 2) 및 3개의 드롭아웃 레이어가 이어지는, 10개의 레이어 깊이를 가진 4개의 컨볼루션 블록을 포함하는 모델 1을 적용하여 이미지를 전처리하는 다단계 특징 분석을 사용한 전립선 조직의 효율적인 경량 CNN과 앙상블 머신 러닝 분류 방법.
  3. 청구항 1에 있어서,
    상기 이미지 전처리 단계는,
    상기 이미지 전처리부가 크기가 조정된 상기 이미지 데이터에, ReLU 및 배치 정규화(BN) 레이어와 함께 2차원(2D) 컨볼루션 레이어(3 × 3 커널, 스트라이드 및 패딩)가 삽입되고, 2개의 최대 풀링(2 × 2) 및 1개의 드롭아웃 레이어가 이어지는, 7개의 레이어 깊이를 가진 3개의 컨볼루션 블록을 포함하는 모델 2를 적용하여 이미지를 전처리하는 다단계 특징 분석을 사용한 전립선 조직의 효율적인 경량 CNN과 앙상블 머신 러닝 분류 방법.
  4. 청구항 1에 있어서,
    상기 텍스처 특징 추출 단계는,
    상기 텍스처 특징 추출부가 상기 전처리된 이미지를 OCLBP(Opposite Color Local Binary Patterns)와 IOCLBP(Improved Opponent Color Local Binary Patterns) 기반의 및 CNN 기반으로 분석하여 특징을 추출하는 다단계 특징 분석을 사용한 전립선 조직의 효율적인 경량 CNN과 앙상블 머신 러닝 분류 방법.
  5. 청구항 4에 있어서,
    상기 분류 단계는,
    상기 분류부가 상기 추출된 특징을 LWCNN(lightweight convolutional neural network) 또는 EML(Ensemble Machine Learning)을 이용해 분류하는 다단계 특징 분석을 사용한 전립선 조직의 효율적인 경량 CNN과 앙상블 머신 러닝 분류 방법.
  6. 청구항 5에 있어서,
    상기 분류 단계는,
    상기 분류부가 상기 추출된 특징을 사전학습된 모델(pre-trained model)을 이용해 특징을 분류하는 다단계 특징 분석을 사용한 전립선 조직의 효율적인 경량 CNN과 앙상블 머신 러닝 분류 방법.
  7. 청구항 6에 있어서,
    상기 분류 단계는,
    상기 분류부가 상기 OCLBP(Opposite Color Local Binary Patterns)와 IOCLBP(Improved Opponent Color Local Binary Patterns)를 기반으로 추출된 특징을 EML(Ensemble Machine Learning)을 이용해 분류하는 다단계 특징 분석을 사용한 전립선 조직의 효율적인 경량 CNN과 앙상블 머신 러닝 분류 방법.
  8. 염색된 전립선 조직의 이미지 데이터를 수집하는 데이터 수집부;
    크기가 조정된 상기 이미지 데이터에 멱함수 변환(power law (gamma) transformation)을 적용하여 이미지를 전처리하는 이미지 전처리부;
    상기 전처리된 이미지의 특징을 추출하는 텍스처 특징 추출부; 및
    딥러닝(DL: Deep Learning) 또는 머신러닝(ML: Machine Learning)을 이용해 상기 추출된 특징을 분류하는 분류부;
    를 포함하는 다단계 특징 분석을 사용한 전립선 조직의 효율적인 경량 CNN과 앙상블 머신 러닝 분류 시스템.
  9. 청구항 8에 있어서,
    상기 이미지 전처리부는,
    크기가 조정된 상기 이미지 데이터에, ReLU 및 배치 정규화(BN) 레이어와 함께 2차원(2D) 컨볼루션 레이어(3 × 3 커널, 스트라이드 및 패딩)가 삽입되고, 3개의 최대 풀링(2 × 2) 및 3개의 드롭아웃 레이어가 이어지는, 10개의 레이어 깊이를 가진 4개의 컨볼루션 블록을 포함하는 모델 1을 적용하여 이미지를 전처리하는 다단계 특징 분석을 사용한 전립선 조직의 효율적인 경량 CNN과 앙상블 머신 러닝 분류 시스템.
  10. 청구항 9에 있어서,
    상기 이미지 전처리부는,
    크기가 조정된 상기 이미지 데이터에, ReLU 및 배치 정규화(BN) 레이어와 함께 2차원(2D) 컨볼루션 레이어(3 × 3 커널, 스트라이드 및 패딩)가 삽입되고, 2개의 최대 풀링(2 × 2) 및 1개의 드롭아웃 레이어가 이어지는, 7개의 레이어 깊이를 가진 3개의 컨볼루션 블록을 포함하는 모델 2를 적용하여 이미지를 전처리하는 다단계 특징 분석을 사용한 전립선 조직의 효율적인 경량 CNN과 앙상블 머신 러닝 분류 시스템.
  11. 청구항 9에 있어서,
    상기 텍스처 특징 추출부는,
    상기 전처리된 이미지를 OCLBP(Opposite Color Local Binary Patterns)와 IOCLBP(Improved Opponent Color Local Binary Patterns) 기반의 및 CNN 기반으로 분석하여 특징을 추출하는 다단계 특징 분석을 사용한 전립선 조직의 효율적인 경량 CNN과 앙상블 머신 러닝 분류 시스템.
  12. 청구항 11에 있어서,
    상기 분류부는,
    상기 추출된 특징을 LWCNN(lightweight convolutional neural network) 또는 EML(Ensemble Machine Learning)을 이용해 분류하는 다단계 특징 분석을 사용한 전립선 조직의 효율적인 경량 CNN과 앙상블 머신 러닝 분류 시스템.
  13. 청구항 12에 있어서,
    상기 분류부는,
    상기 추출된 특징을 사전학습된 모델(pre-trained model)을 이용해 특징을 분류하는 다단계 특징 분석을 사용한 전립선 조직의 효율적인 경량 CNN과 앙상블 머신 러닝 분류 시스템.
  14. 청구항 13에 있어서,
    상기 분류부는,
    상기 OCLBP(Opposite Color Local Binary Patterns)와 IOCLBP(Improved Opponent Color Local Binary Patterns)를 기반으로 추출된 특징을 EML(Ensemble Machine Learning)을 이용해 분류하는 다단계 특징 분석을 사용한 전립선 조직의 효율적인 경량 CNN과 앙상블 머신 러닝 분류 시스템.
KR1020210148082A 2021-11-01 2021-11-01 다단계 특징 분석을 사용한 전립선 조직의 효율적인 경량 cnn과 앙상블 머신 러닝 분류 방법 및 시스템 KR20230063147A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210148082A KR20230063147A (ko) 2021-11-01 2021-11-01 다단계 특징 분석을 사용한 전립선 조직의 효율적인 경량 cnn과 앙상블 머신 러닝 분류 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210148082A KR20230063147A (ko) 2021-11-01 2021-11-01 다단계 특징 분석을 사용한 전립선 조직의 효율적인 경량 cnn과 앙상블 머신 러닝 분류 방법 및 시스템

Publications (1)

Publication Number Publication Date
KR20230063147A true KR20230063147A (ko) 2023-05-09

Family

ID=86408712

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210148082A KR20230063147A (ko) 2021-11-01 2021-11-01 다단계 특징 분석을 사용한 전립선 조직의 효율적인 경량 cnn과 앙상블 머신 러닝 분류 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR20230063147A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117392468A (zh) * 2023-12-11 2024-01-12 山东大学 基于多示例学习的癌症病理图像分类系统、介质及设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101996475B1 (ko) 2018-10-11 2019-10-01 (주)제이엘케이인스펙션 암 영역 검출의 유효성 평가 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101996475B1 (ko) 2018-10-11 2019-10-01 (주)제이엘케이인스펙션 암 영역 검출의 유효성 평가 장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117392468A (zh) * 2023-12-11 2024-01-12 山东大学 基于多示例学习的癌症病理图像分类系统、介质及设备
CN117392468B (zh) * 2023-12-11 2024-02-13 山东大学 基于多示例学习的癌症病理图像分类系统、介质及设备

Similar Documents

Publication Publication Date Title
US11657503B2 (en) Computer scoring based on primary stain and immunohistochemistry images related application data
CN113454733B (zh) 用于预后组织模式识别的多实例学习器
US11682192B2 (en) Deep-learning systems and methods for joint cell and region classification in biological images
Kowal et al. Cell nuclei segmentation in cytological images using convolutional neural network and seeded watershed algorithm
KR102108050B1 (ko) 증강 컨볼루션 네트워크를 통한 유방암 조직학 이미지 분류 방법 및 그 장치
JP2022504870A (ja) 細胞の分類のためのシステムおよび方法
WO2019110567A1 (en) Method of computing tumor spatial and inter-marker heterogeneity
EP3218843A1 (en) Classifying nuclei in histology images
US20220351379A1 (en) Non-tumor segmentation to support tumor detection and analysis
Mathew et al. Computational methods for automated mitosis detection in histopathology images: A review
CN117015796A (zh) 处理组织图像的方法和用于处理组织图像的系统
Zeid et al. Multiclass colorectal cancer histology images classification using vision transformers
Kalinli et al. Performance comparison of machine learning methods for prognosis of hormone receptor status in breast cancer tissue samples
KR20230063147A (ko) 다단계 특징 분석을 사용한 전립선 조직의 효율적인 경량 cnn과 앙상블 머신 러닝 분류 방법 및 시스템
Alisha et al. Cervical Cell Nuclei Segmentation On Pap Smear Images Using Deep Learning Technique
Johny et al. Optimization of CNN model with hyper parameter tuning for enhancing sturdiness in classification of histopathological images
Sarikoc et al. An automated prognosis system for estrogen hormone status assessment in breast cancer tissue samples
Bidart et al. Triresnet: A deep triple-stream residual network for histopathology grading
Naik et al. Hybrid Feature Set based Mitotic Detection in Breast Histopathology Images
Kanwal et al. Equipping Computational Pathology Systems with Artifact Processing Pipelines: A Showcase for Computation and Performance Trade-offs
Das et al. A texture based approach for automatic identification of benign and malignant tumor from FNAC images
Ben Taieb Analyzing cancers in digitized histopathology images
Gramacki et al. Automatic breast cancer diagnostics based on statistical analysis of shape and texture features of individual cell nuclei
Hradel et al. Interpretable diagnosis of breast cancer from histological images using Siamese neural networks
Ehteshami Bejnordi Histopathological diagnosis of breast cancer using machine learning