KR102369717B1

KR102369717B1 - 조직학 섹션에서 전립선암 종의 다중 특성 분류 방법

Info

Publication number: KR102369717B1
Application number: KR1020190171291A
Authority: KR
Inventors: 최흥국; 바타차지 수브라타; 박현균; 김초희; 프락카쉬 딕쉬타
Original assignee: 인제대학교 산학협력단
Priority date: 2019-12-19
Filing date: 2019-12-19
Publication date: 2022-03-03
Also published as: KR20210079134A

Abstract

본 발명은 조직학 섹션에서 전립선암 종의 다중 특성 분류 방법에 관한 것으로, 상기의 방법은 수집된 전립선 생검 샘플 이미지의 조직학적 섹션을 염색하여 RGB 입력 이미지를 생성하는 단계, 염색된 RGB 입력 이미지에 대하여 색상(Colour) 특성치를 추출하는 컬러 특성 추출 단계, 염색된 RGB 입력 이미지에 대하여 질감(Texture) 특성치를 추출하는 텍스쳐 특성 추출 단계, 추출된 색상 및 질감 특성치에 대한 중요 특징 식별 및 선택 단계, 및 중요 특징 식별 및 선택 단계에서 추출된 색상 및 질감 특성치의 조합을 다중계층 퍼셉트론(MLP, Multilayer Perceptron) 신경망 분류 알고리즘을 사용하여 전립선암 종의 등급을 분류하는 등급 분류 단계를 포함한다.

Description

조직학 섹션에서 전립선암 종의 다중 특성 분류 방법{MULTI-FEATURES CLASSIFICATION OF PROSTATE CARCINOMA OBSERVED IN HISTOLOGICAL SECTIONS}

본 발명은 전립선암 종의 다중 특성 분류 방법에 관한 것으로서, 더욱 상세하게는 전립선 조직의 생검 이미지를 활용하여 웨이블릿 기반 질감 및 색상 모멘트 특성과 MLP 분류를 결합하여 전립선암의 등급 분류를 수행하는 조직학 섹션에서 전립선암 종의 다중 특성 분류 방법에 관한 것이다.

현재 전 세계적으로 병원에서 엄청난 양의 의료용 이미지가 제작되고 있으며, 이 이미지 데이터베이스는 앞으로 기하급수적으로 증가할 것으로 예상된다.

이러한 의료 영상의 진단은 비교적 까다로우며, 디지털 의료 영상 분석의 목적은 질병 진단을 지원하기 위해 의미 있는 정보를 추출하는 것이다.

이에 의료 영상 분석 기술은 자기 공명 영상(MRI), 전산화 단층 촬영(CT), 초음파, 유방 조영술, 방사선 X- 레이, 생검 및 복합 양식과 같은 다양한 영상 양식을 기반으로 의료 문제를 해결하는 기술이 되고 있다.

전립선암(PCa)은 전이성 질병으로 발전 할 수 있는 악성 종양으로 60세 이상의 남성에서 가장 흔한 질병이다.

전립선암의 진단은 신체 검사, 실험실 테스트, 이미징 테스트 및 생검을 사용하여 수행될 수 있는데, 생검 추출은 실험실에서 분석할 수 있도록 신체에서 조직 조각을 제거하는 데 사용되는 기술이다.

이에 상세한 조직 구조를 연구하기 위해 병리학자는 파라핀 기술, 냉동 섹션 및 반박 섹션과 같은 다른 조직학적 방법을 사용한다.

조직학 섹션의 이미지 분석은 암 진단 및 질병 진행 모니터링에 대한 가능성을 보유하고 있으나, 미세한 생검 이미지를 기반으로 전립선암을 진단하는 것은 어려운 일이며, 정밀성과 정량적 분류 기준이 없는 것을 포함하여 전문 지식과 기타 요인에 따라 병리학자마다 정확도가 다를 수 있다.

이러한 본 발명의 배경기술로서 대한민국 공개특허공보 10-2018-0091766(2018.08.16.)호에서 전립선암 진단에 관한 정보제공방법이 공지되어 있다.

그러나 상기 종래의 기술은 경직장초음파 또는 자기공명영상을 통하여 획득된 영상을 수치화하고 이를 적용한 알고리즘을 이용하여 객관적으로 전립선암에 관한 정보를 제공하는 방법 및 이를 이용한 진단장치를 제공하는 것으로서, 본 발명에서와 같이 조직학 섹션에서 전립선암 종의 다중 특성 분류 방법에 의한 색상과 웨이블릿 텍스처 기능을 조합하여 MLP 분류를 수행하여 분류 정확도를 향상시키는 것과는 차이가 있다.

본 발명은 전술한 종래기술의 문제점을 해결하기 위해 도출된 것으로, 본 발명의 목적은, 조직학적 섹션에서 웨이블릿 텍스처 특성과 색상 특성을 추출 및 MLP 분류를 결합하여 전립선암 종의 가장 정확한 분류를 제공하고자 하는 것이다.

상기 기술적 과제를 해결하기 위한 본 발명의 일 측면에 따른 조직학 섹션에서 전립선암 종의 다중 특성 분류 방법은 수집된 전립선 생검 샘플 이미지의 조직학적 섹션을 염색하여 RGB 입력 이미지를 생성하는 단계, 상기 염색된 RGB 입력 이미지에 대하여 색상(Colour) 특성치를 추출하는 컬러 특성 추출 단계, 상기 염색된 RGB 입력 이미지에 대하여 질감(Texture) 특성치를 추출하는 텍스쳐 특성 추출 단계, 상기 추출된 색상 및 질감 특성치에 대한 중요 특징 식별 및 선택 단계 및 상기 중요 특징 식별 및 선택 단계에서 추출된 색상 및 질감 특성치의 조합을 다중계층 퍼셉트론(MLP, Multilayer Perceptron) 신경망 분류 알고리즘을 사용하여 전립선암 종의 등급을 분류하는 등급 분류 단계를 포함하여 이루어지는 것을 특징으로 할 수 있다.

또한, 본 발명의 상기 컬러 특성 추출 단계는 염색된 생검 이미지의 RGB(빨강, 초록, 파랑) 컬러를 각각 8비트/픽셀 단위의 3개 채널로 변환하여 분리하는 RGB 채널 분류 단계, 상기 분류된 RGB(빨강, 초록, 파랑) 각 채널의 픽셀 기반 색상 분포를 분석하고 상이한 유형의 색상 정보를 추출하는 색상 모멘트(colour moment) 분석 단계 및 상기 각 채널당 컬러 히스토그램을 사용하여 조직 이미지의 색상 변화를 시각화하는 컬러 히스토그램 계산 단계를 포함하여, 상기 각 채널로 부터 색상 분포를 분석하고 색상 특성치를 추출하는 특징이 있다.

또한, 본 발명의 상기 텍스쳐 특성 추출 단계는 염색된 RGB 입력 이미지를 그레이스케일로 변환하는 단계, 상기 그레이스케일로 변환된 이미지를 Haar 웨이블릿 변환 기능을 사용하여 이산 웨이블릿 변환(DWT)을 수행하는 단계 및 상기 웨이블릿 변환된 이미지로부터 그레이 레벨 동시 발생 행렬(GLCM)을 계산하는 단계를 포함하여, 질감 분석을 위한 텍스쳐 특성치를 추출하는 것을 특징으로 할 수 있다.

또한, 본 발명의 상기 중요 특징 식별 및 선택 단계는 R 프로그래밍 언어를 사용하여 F- 값과 P- 값을 기반으로 유효한 특성치를 선택하기 위해 다변량 분산 분석(MANOVA: Multivariate Analyses of Variance)의 통계학적 테스트를 수행하는 특징이 있다.

또한, 본 발명의 상기 RGB 입력 이미지를 생성하는 단계는 헤마톡실린과 에오신(H&E) 화합물을 사용하여 조직 슬라이드를 염색하기 위해 탈 파라핀화(de-paraffinization) 및 재수화(rehydration) 공정을 수행하는 특징이 있다.

전술한 조직학 섹션에서 전립선암 종의 다중 특성 분류 방법에 의하면, 본 발명은 종래의 기술들과 비교하여 전립선 암의 조직학적 부분에 대하여 다중계층 퍼셉트론(Multilayer Perceptron) 신경망 분류를 기반으로 분류 정확도를 향상시키는 효과가 있다.

또한, 본 발명은 미세한 생검 이미지를 분석하기 위해 웨이블릿 변환 기술을 사용함으로서, 시간 및 주파수 영역에서 동시 로컬라이제이션(지역화)이 가능하고, 큰 웨이블릿 이미지에서 거친 세부 사항을 식별할 수 있으며, 작은 웨이블릿 이미지에서 미세한 디테일을 분리 할 수 있고, 눈에 띄는 저하 없이 이미지의 노이즈를 제거 할 수 있는 장점이 있다.

도 1은 본 발명의 조직학 섹션에서 전립선암 종의 다중 특성 분류 방법에 대한 전체적인 흐름도이다.
도 2는 전립선 종양 진행에 따른 글리슨 점수 및 전립선암 등급 단계를 보여주는 분류도이다.
도 3은 웨이블릿 변환의 레벨 1에서 레벨 2로 이어지는 구성 프로세스를 보여주는 과정도이다.
도 4는 2차원 웨이블릿 변환의 입력 이미지에 대한 레벨 1과 레벨 2로 변환된 예시도이다.
도 5는 전립선암 종의 다단계 Haar 웨이블릿 변환 과정의 이미지이다
도 6은 Haar 웨이블릿 분석에서의 스케일링 function 및 Haar 웨이블릿function의 그래프이다.
도 7은 전립선 조직의 현미경 생검 이미지이다.
도 8은 본 발명에 따른 레벨 1 및 레벨 2의 Haar 웨이블릿 텍스처 이미지이다.
도 9는 RGB 색상 채널을 분할하여 조직 이미지 처리 및 색상 모멘트 분석과정의 모식도이다.
도 10은 입력, 숨김 및 출력 레이어가 있는 MLP 분류기 모델의 다이아그램이다.
도 11은 본 발명의 결과 분석에 따른 5개의 이진 구분에 대한 분류 정확도 그래프이다.
도 12는 본 발명의 웨이블릿 텍스처와 색상 모멘트 기능을 사용한 두 가지 분류 수준의 6가지 클래스에 대한 비교도이다.
도 13은 본 발명에 따른 조직학 섹션에서 전립선암 종의 다중 특성 분류를 위한 의료 영상 처리 시스템의 구성도이다.

본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.

따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.

본 발명은 자동화된 컴퓨터 기술을 가진 의료 영상 처리 시스템을 통하여 수행되는 것으로서, 데이터베이스(DB)와 연동하는 컴퓨터 장치로 이루어지며, 중앙처리장치(CPU)는 예를 들어 인텔(Intel) i5-4660, 메모리 장치(RAM) 24GB 또는 그 이상의 사양일 수 있고, 그래픽처리장치(GPU)는 GTX1060 3GByte의 환경이나 그 이상의 처리 환경에서 이루어진다.

또한, 본 발명의 상기 의료 영상 처리 시스템은 다변량 분산 분석(MANOVA: Multivariate Analyses of Variance)의 통계학적 테스트를 수행하기 위하여 통계 프로그램 패키지(SPSS, Statistical Package for the Social Sciences) 툴(Tool)로서 RStudio 개발 환경을 보유하며, R 프로그래밍 언어를 사용할 수 있다.

또한, 이미지 변환, 특징 추출 및 분류에 사용된 알고리즘은 MATLAB R2018a 및 WAIKATO 환경에서 구현된다.

이하 본 발명의 바람직한 실시예를 첨부된 도면을 참조하여 상세히 설명하면 아래와 같다.

도 1은 본 발명의 조직학 섹션에서 전립선암 종의 다중 특성 분류 방법에 대한 전체적인 흐름도이다.

도 1에서와 같이 본 발명의 조직학 섹션에서 전립선암 종의 다중 특성 분류 방법은 수집된 전립선 생검 샘플 이미지의 조직학적 섹션을 염색하여 RGB 입력 이미지를 생성하는 단계(S100), 상기 염색된 RGB 입력 이미지에 대하여 색상(Colour) 특성치를 추출하는 컬러 특성 추출 단계(S200), 상기 염색된 RGB 입력 이미지에 대하여 질감(Texture) 특성치를 추출하는 텍스쳐 특성 추출 단계(S300), 상기 추출된 색상 및 질감 특성치에 대한 중요 특징 식별 및 선택 단계(S400) 및 상기 중요 특징 식별 및 선택 단계(S400)에서 추출된 색상 및 질감 특성치의 조합을 다중계층 퍼셉트론(MLP, Multilayer Perceptron) 신경망 분류 알고리즘을 사용하여 전립선암 종의 등급을 분류하는 등급 분류 단계(S500)를 포함하여 이루어진다.

상기 컬러 특성 추출 단계(S200)는 염색된 생검 이미지의 RGB(빨강, 초록, 파랑) 컬러를 각각 8비트/픽셀 단위의 3개 채널로 변환하여 분리하는 RGB 채널 분류 단계(S210), 상기 분류된 RGB(빨강, 초록, 파랑) 각 채널의 픽셀 기반 색상 분포를 분석하고 상이한 유형의 색상 정보를 추출하는 색상 모멘트(colour moment) 분석 단계(S220) 및 상기 각 채널당 컬러 히스토그램을 사용하여 조직 이미지의 색상 변화를 시각화하는 컬러 히스토그램 계산 단계(S230)를 포함하여, 상기 각 채널로 부터 색상 분포를 분석하고 색상 특성치를 추출하게 된다.

또한, 상기 텍스쳐 특성 추출 단계(S300)에서는 염색된 RGB 입력 이미지를 그레이스케일로 변환하는 단계(S310), 상기 그레이스케일로 변환된 이미지를 Haar 웨이블릿 변환 기능을 사용하여 이산 웨이블릿 변환(DWT)을 수행하는 단계(S320) 및 상기 웨이블릿 변환된 이미지로부터 그레이 레벨 동시 발생 행렬(GLCM)을 계산하는 단계(S330)를 포함하여 수행되어 질감 분석을 위한 텍스쳐 특성치를 추출하게 된다.

상기와 같이 본 발명은 조직 샘플의 미세한 생검 이미지로부터 추출된 특징의 조합을 사용하여 다중계층 퍼셉트론(Multilayer Perceptron) 분류를 수행하기 위하여, 색상 특성 추출 과정 및 텍스쳐 특성 추출 과정을 수행하는 것이다.

이에 상기 컬러 특성 추출은 조직학적 조직 섹션의 현미경 생검 이미지 분석에 매우 중요하며, 텍스쳐 특성 추출은 이미지에서 반복적으로 발생하는 연결된 픽셀 세트이며, 매끄러움, 거칠기 및 규칙 성과 같은 속성을 수량화하여 표면 강도의 변화에 대한 정보를 제공하기 위한 것이라 할 수 있다.

이때 색상(Colour) 및 질감(Texture) 기능 추출 단계는 모두 RGB 색상 이미지에서 변환되는 회색조 이미지를 사용하여 분석 및 수행된다.

도 2는 전립선 종양 진행에 따른 글리슨 점수 및 전립선암 등급을 보여주는 분류도이다.

일반적으로 전립선암(PCa)의 등급 분류는 형태, 질감, 핵 클러스터, 건축 및 색상 모멘트 특징을 기반으로 수행될 수 있다.

그러나 본 발명은 염색된 생검 조직 이미지 처리를 위한 웨이블릿 변환 및 컬러 히스토그램 분석을 수행하는 것에 중점을 둔다.

이는 이미지의 특징 추출에 있어서 생검 이미지를 사용하여 암 등급 분석을 수행하는 것이 매우 중요한 요소이기 때문이다.

글리슨 등급은 PCa에서 중요한 지표로서, 전립선 생검 샘플을 사용하여 PCa를 가진 남성의 예후를 평가하는데 사용된다.

글리슨 점수가 6인 암은 잘 분화되거나 낮은 등급으로 간주되며 덜 공격적일 수 있다. 글리슨 점수가 8-10 인 암은 잘 분화되지 않았거나 등급이 높은 것으로 간주될 수 있다.

특히 서양의 환자에 비해 한국 환자는 글리슨 점수가 높고 전립선의 양이 증가하는 등의 위험 요인에 대해 높은 점수를 나타내는 경향이 있다.

도 2에 따르면 암 등급에 대한 글리슨 점수는 전체 슬라이드 H & E 염색 현미경 생검 이미지에서 1 차 및 2 차 점수를 추가하여 계산된다.

또한, 글리슨 점수 1 내지 5 등급에 사용 된 이미지는 각각 40 배 광학 배율로 스캔되었으며, 이러한 글리슨 점수는 전립선암의 공격성을 예측할 수 있다.

그러므로 조직 병리학에서의 암 검출 과정은 염색된 미세한 생검 이미지를 양성 및 악성으로 분류하는 것으로서, 생검 이미지를 사용하여 암 등급을 수행 할 때 특징 추출이 매우 중요합니다.

일반적으로 전립선 암(PCa) 등급 분류는 형태, 질감, 핵 클러스터, 건축 및 색상 모멘트 특징을 기반으로 수행된다. 그러나, 본 발명은 염색된 생검 조직 이미지 처리를 위한 웨이블릿 변환 및 컬러 히스토그램 분석에 중점을 둔다.

본 발명에서 사용된 전립선 조직 이미지의 크기는 33,584 × 70,352 픽셀로서, 상기 이미지 슬라이드를 현미경(Olympus BX-51)에 부착된 디지털 카메라(Olympus C-3000)를 사용하여, 0.3 NA 대물렌즈를 사용하여 40X 광학 배율로 컴퓨터 워크스테이션으로 스캔하고, 512 × 512 픽셀 또는 256 × 256 픽셀 크기로 잘랐다.

이에 본 발명에서 사용된 이미지 샘플 크기는 256 × 256 픽셀인 총 400 개의 샘플을 사용하였으며, 각 이미지 슬라이스의 해상도는 24 비트/픽셀이다.

상기 수집된 샘플 이미지를 양성, 등급 3, 등급 4, 등급 5의 네 그룹으로 나누고, 생검 조직을 4um로 절편화하고 절편의 파라핀을 제거하고, 재수화(rehydrate)시키고, 자동화 염색기(Leica Autostainer XL)를 사용하여 헤마톡실린 및 에오신(H & E)으로 염색하였다.

이때 상기 해마톡실린은 조직과 관련되는 것을 돕는 화합물인 "mordant"와 함께 사용되며, 상기 화합물은 또한 "헤마틴(hematin)"으로도 불리며, 이는 양으로 하전되고 핵에서 핵산과 같은 음으로 하전된 호염기성 세포 성분과 반응 할 수 있다. 상기 화합물의 염색 색은 청색이고, 화학식은 C16H24O6이다.

또한, 상기 에오신은 음전하를 띠며 세포질 내 단백질의 아미노기와 같은 양으로 하전 된 친 유성 성분과 반응할 수 있으며, 이 화합물의 얼룩 색은 분홍색이며, 화학식은 C20H6Br4Na2O5이다.

이러한 H & E 염색은 다양한 조직 유형을 식별하기 위함이며, 사용된 컬러 염료는 일반적으로 병리학자가 기질, 세포질, 핵 및 내강과 같은 조직 구성 요소를 시각화하고 분석하는 데 사용하는 것이다.

염색에 의해 보이는 얼룩(stain reveals)은 광범위한 핵, 세포질 및 세포 외 매트릭스 특징을 나타낸다.

이산 웨이블릿 변환(DWT, Discrete Wavelet Transform) 수행 단계(S320)는 영상 이미지의 데이터를 서로 다른 주파수 성분들로 분해하고, 각 스케일(scale)에 해당하는 해상도(resolution) 성분들을 알 수 있게 하는 처리하는 과정이다.

즉 웨이블릿 변환은 비정적 신호 및 기본 기능에 가장 적합하며 주파수와 공간 범위가 모두 다르다.

이러한 웨이블릿 변환은 비선형 변환으로써 선형 변환인 푸리에 변환과는 달리 이미지 특정 지점 주변의 시간과 주파수를 동시에 집중(localization)시키는 것이다.

웨이블릿 변환은 기본적으로 이미지의 평균 강도 값인 저주파 구성 요소에 우수한 주파수 해상도를 제공하고 기본적으로 이미지 가장자리인 고주파 구성 요소에 대한 높은 시간 해상도를 제공하도록 설계되어 있다.

즉 웨이블릿 변환을 통하여 특정 지점 주변으로 시간과 주파수를 집중되게 하는 것이다.

그러므로 본 발명에서의 이산 웨이블릿 변환 수행 단계(S320)는 이미지의 정보를 근사와 세부적인 하위 신호로 나누고 가장 차별적인 다중 스케일 특징을 추출하기 위한 것이다.

도 3은 웨이블릿 변환의 레벨 1에서 레벨 2로 이어지는 구성 프로세스를 보여주는 과정도이다.

도 3에서 근사 하위 신호는 픽셀 값의 일반적인 추세를 나타내고 세부 하위 신호는 수평, 수직 및 대각선 세부 사항을 보여주고 있다.

또한, 도 3은 2 차원 1 단계(Level 1) 및 2 단계(Level 2) 웨이블릿 분해를 보여주는 것으로서, 원본 이미지는 Level 1 변환(LL1, LH1, HL1, HH1)의 입력 이미지이며 근사 이미지(LL1)는 Level 2 변환을 위한 입력 이미지(LL2, LH2, HL2, HH2)로 사용된다.

즉 도 3에서 다운 샘플링에 이어 2Lo_D(행, 열) 및 2Hi_D(행, 열)의 2개의 저역 통과 및 고역 통과 필터 시퀀스는 각각 근사 및 대각선 하위 이미지를 제공하고, 저역 통과 필터와 고역 통과 필터 및 다운 샘플링의 조합은 수직 및 수평 하위 이미지를 제공한다.

또한, 도 4는 2차원 웨이블릿 변환의 입력 이미지에 대한 레벨 1과 레벨 2로 변환된 예시도이다.

즉 상기 도 4는 각각 도 3에 제시된 Level 1 및 Level 2 웨이블릿 변환의 이미지 구조를 보여주는 것으로, Level 1 수준 변환과 Level 2 수준 변환의 입력 이미지는 2씩 다운 샘플링 되어 하위 이미지의 해상도가 변경된다.

도 4의 (a)는 256 × 256 픽셀 크기의 입력 이미지를 나타내는 것이고, 도 4의 (b)는 레벨 1 웨이블릿 변환의 구조로서, 각 서브 이미지 (LL1, LH1, HL1, HH1)의 크기는 128 × 128 픽셀이다.

그리고 도 4의 (c)는 레벨 2 웨이블릿 변환의 구조로서, 각 서브 이미지 (LL2, LH2, HL2, HH2)의 크기는 64 × 64 픽셀이 된다.

이때 도 4의 2차원 웨이블릿 분해의 하위 신호는 각각 아래의 식 (1) 내지 (4)를 사용하여 계산된다.

여기서

와

는 행 M 및 열 N 픽셀 수로 입력 이미지의 행 m 및 열 n의 픽셀에서 레벨 j의 2 차원 웨이블릿 함수를 설명하는 것이고, A는 근사 방향을 나타내고 i는 웨이블릿 세부 계수의 다른 방향, 즉 수직, 수평 및 대각선을 나타내는 것이다.

이때 가장 간단한 유형의 웨이블릿 변환을 Haar 웨이블릿이라고 합니다.

Haar 변환이라는 수학적 연산과 관련이 있습니다. Haar 변환은 여러 단계 또는 레벨로 수행된다.

Haar 웨이블릿 변환은 이산 신호를 길이가 절반인 두 개의 서브 신호로 분해한다.

하나의 서브 신호(sub-signal)는 런닝 평균(running average)이고, 다른 서브 신호는 런닝 차이(running difference)이며, 세부 계수를 저장하고, 데이터를 제거하고, 결과 매트릭스가 초기 매트릭스와 유사하도록 매트릭스를 재구성한다.

저역 통과 (Lo_D) 및 고역 통과 (Hi_D) 필터는 기본적으로 Haar 웨이블릿 변환에 사용되는 주어진 Lo_D =

및 Hi_D =

로 제공된다.

도 5는 전립선암 종의 다단계 Haar 웨이블릿 변환 과정의 이미지를 보여주고 있다. 이 구현은 이미지 처리를 위해 24 비트 RGB 컬러 이미지를 8 비트로 변환 한 MATLAB R2018a에서 수행되었다.

도 5의 (a)는 RGB에서 그레이 스케일로 변환 된 원본 이미지로서, 전체 슬라이드 조직 이미지에서 잘라내고 40배 광학 배율로 스캔한 것이다.

도 5의 (b)는 레벨 1 단계에서 웨이블릿 변환된 분해도이고, (c)는 레벨 2 단계에서 웨이블릿 변환된 분해 이미지이다.

또한, 웨이블릿 분석에서는 주요한 역할을 하는 기능으로서, 스케일링 기능 φ(father wavele)과 웨이블릿 기능 ψ (mother wavelet)의 두 가지 기능(function)이 있다. Haar 웨이블릿 변환에서 스케일링 및 웨이블릿 기능은 특정 이미지 기능의 추출기로 취급된다.

도 6은 Haar 웨이블릿 분석에서의 스케일링 function 및 Haar 웨이블릿function의 그래프를 보여주는 것으로서, 도 6의 (a)는 Haar 스케일링 기능(Father Wavelet). (b)는 Haar wavelet 기능(Mother Wavelet)을 나타내고 있다.

도 6의 스케일링 및 웨이블릿 기능은 각각 단위 간격 (0 내지 1) 및 (-1 내지 1)을 기준으로 구성되어 있다.

여기서 Haar 스케일링 및 웨이블릿 기능은 다음의 식 (5)와 식 (6)에 의해서 설명될 수 있다.

전립선 조직 이미지에서 색상(Colour) 기반 특성 추출 과정에 있어서, 컬러 모멘트 분석 단계를 수행한다.

컬러 모멘트 분석은 컬러 이미지 향상 또는 정보 검색을 수행하기 위해 디지털 의료 이미지 처리에서는 필수적인 과정이다.

이에 색상 정보는 조직 이미지 분석에 매우 중요한 요소이며 그림 7과 같이 히스토그램의 각 피크는 다른 색상을 나타냅니다.

컬러 모멘트 분석 단계에서, 컬러 히스토그램은 미세한 생검 조직 이미지의 컬러 분포를 나타내는 데 사용된다.

도 7은 전립선 조직의 현미경 샘플 생검 이미지이다.

도 7의 a 내지 d는 글리슨 등급 시스템을 기반으로 한 양성, 등급 3, 등급 4, 등급 5의 전립선 조직 이미지로서, 이 이미지는 40배 광학 배율로 스캔되었다.

또한, 도 7의 e 내지 h는 RGB 색상 공간의 색상 히스토그램으로, a 내지 d의 조직 이미지에서 각각 생성된 것이고, 또한, 도 7의 e 내지 h는 각각 도 7의 a 내지 d의 전립선 조직 이미지에 존재하는 각각의 개별 채널의 색상 정보를 보여주는 것이다.

또한, 아래의 식 (7)을 사용하여 RGB 채널에서 각 개별 색상의 백분율을 계산할 수 있다.

텍스쳐 특성 추출 단계(S300)는 웨이블릿 변환된 이미지로부터 그레이 레벨 동시 발생 행렬(GLCM)을 계산하여 질감 특성을 추출하는 단계이다.

GLCM(Gray-Level Co-occurrence Matrix)은 픽셀의 공간 관계를 기반으로 텍스처를 검사하는 통계적 방법으로, 이는 이미지 텍스처를 분석하기 위해 먼저 GLCM을 만들어 특정 값과 지정된 공간 관계를 가진 픽셀 쌍이 이미지에서 얼마나 자주 발생했는지 계산한 다음 행렬에서 통계 측정값을 추출하는 것이다.

도 8은 본 발명에 따른 레벨 1 및 레벨 2의 Haar 웨이블릿 텍스처 이미지를 보여주고 있다.

특징 추출을 위한 동시 발생 매트릭스의 방향은 0°에서 [0, 1], 45°에서 [-1, 1], 90°에서 [-1, 0] 및 135°에서 [-1, -1]이다. 즉 GLCM 매트릭스의 값은 항상 [0, 1] 범위 내에 있다.

또한, 텍스쳐 분석에 사용된 GLCM 매트릭스의 크기는 각각 Level 1 단계 및 Level 2 단계의 하위 이미지에 대해 128 × 128 및 64 × 64이다.

이에 GLCM 텍스처 특징은 도 8에서와 같이 각 방향에서 레벨 1 및 레벨 2에서 웨이블릿 변환 후 별도로 추출되었으며, GLCM을 기반으로 6가지 유형의 웨이블릿 텍스처 피처를 계산한다.

상기 6가지 유형은 콘트라스트(contrast), 균질성(homogeneity), 상관관계(correlation), 에너지(energy), 엔트로피(entropy) 및 비 유사성(dissimilarity)일 수 있으며, 이는 식 (8) 내지 식 (13)의 방정식을 사용하여 계산된다.

여기서 p(i-j)는 주어진 거리만큼 분리된 이미지에서 발생하는 강도 (i, j)를 가진 두 픽셀의 조합에 대한 동시 발생 확률 매트릭스를 나타내는 것이고, N은 양자화 된 그레이 레벨을 나타내며, μx 및 μy는 GLCM 내에서 각각 행 i 및 열 j에 대한 평균이며,

및

는 표준 편차이다.

이에 따라 도 8의 a 내지 d는 각각 128 × 128 픽셀 크기의 첫 번째 레벨 1 방향 하위 이미지이고, (각각 128 × 128 픽셀). e 내지 h는 각각 64 × 64 픽셀 크기의 2 차 방향 하위 이미지이다.

레벨 1 및 레벨 2에서 (a, e), (b, f), (c, g) 및 (d, h)는 각각 근사, 수직, 수평 및 대각선을 포함하는 웨이블릿 계수를 나타내는 것이다.

또한, 색상 모멘트 분석 단계(S220)를 통한 컬러 특성 추출 단계(S200)는 PCMD(pixel-based color moment descriptor) 기술을 사용하여 전립선 조직 이미지에서 색상 기반 특징을 추출하는 것이다.

상기 PCMD 기술은 RGB 색상 이미지의 세 가지 채널 간의 색상 분포를 분석하는 데 유용하다.

이에 조직 이미지에서 유용한 색상 모멘트 기능을 추출하기 위해 도 9와 같이 RGB 색상 이미지에서 세 가지 색상 채널을 분리한다.

도 9는 RGB 색상 채널을 분리하여 조직 이미지 처리 및 색상 모멘트 분석과정의 모식도이다.

그런 다음 각 RGB 색상 개별 채널에서 개별적으로 평균, 표준 편차, 왜도, 분산 및 첨도를 계산한다.

이러한 계산은 다음의 식 (14) 내지 식 (17)의 방정식을 사용하여 계산되어진다.

여기서

는

색상 채널에서 이미지의

픽셀 값이고, *?*는 이미지의 픽셀 수이고,

는 평균값이고

는 표준 편차이며 색 분포의 분산의 제곱근을 취하여 구하며,

는 왜도 및

는 첨도이다.

이에 따라 도 9의 (a)는 H & E 컴파운드로 염색된 원본 RGB 조직 이미지이고, (b)는 24 비트/픽셀의 해상도로 원본 이미지 (a)에서 변환 된 빨강, 녹색 및 파랑 구성 요소이며, (c)는 (b)에 존재하는 R, G 및 B 이미지의 각각의 분할 채널이다.

구체적으로, 상기 (a) 내지 (c)의 이미지는 각각의 24 비트 R, G, B 이미지를 각각 8 비트 그레이 스케일 이미지로 변환함으로써 형성되는 것이다.

이때 (d)는 (c)에 존재하는 각각의 컬러 채널로부터 추출된 특징이 된다.

이후 전립선암 종의 등급 분류 단계(S500)는 다층 퍼셉트론(MLP, Multilayer Perceptron) 인공 신경망 분류 알고리즘을 사용하여 중요한 기능을 선택하고 분류하는 단계이다.

이러한 다층 퍼셉트론(MLP)은 입력 계층과 출력 계층 사이에 지시된 그래프로 연결된 여러 입력 노드의 계층(레이어, Layer)를 특징으로 하고, 신경망을 훈련하는 딥 러닝 방법 중 하나이다.

즉 다층 퍼셉트론(MLP)은 3개 이상의 노드 레이어(layer)로 구성된 감독 분류 시스템으로서, 첫 번째 레이어는 입력 레이어이고, 가운데 레이어는 숨겨진 레이어이며, 마지막 레이어는 출력 레이어이다.

이때 입력 및 출력 레이어는 각각 데이터를 공급하고 출력 결과를 얻는 데 사용된다. 그러나 모델의 복잡성을 높이기 위해 숨겨진 레이어를 수정할 수도 있다.

이는 순방향 인공신경망(feedforward Artificial Neural Network)으로서, 여기서 각 노드는 숨겨진 레이어와 출력 레이어의 뉴런이며 비선형 활성화 함수를 사용한다.

이에 전립선암(PCa)의 등급 분류를 수행하기 위해, 샘플을 다층 퍼셉트론 신경망 분류기를 사용하여 양성 대 악성, 양성 대 등급 3, 양성 대 등급 4, 양성 대 등급 5, 그리고 등급3 대 등급 4, 5.로 분류한 와이 카토 환경(WEKA)의 이진 분류를 수행한다.

이러한 다층 퍼셉트론 신경망 모델은 분류, 클러스터링, 회귀 및 기능 선택과 같은 많은 데이터 마이닝 작업을 지원한다.

다층 퍼셉트론 신경망 모델의 학습을 위해 데이터를 모델에 입력하고 데이터에 가중치를 곱한 다음 계산 된 모델 출력(포워드 패스)을 획득한다.

또한, 역 추적을 수행하여 예상 및 예측 된 출력에서 계산 된 손실을 기반으로 모델 가중치를 업데이트 한다.

이때 학습률(learning rate)은 신경망의 하이퍼 파라미터이고, 상기 학습률과 운동량(Momentum)에 따라 모델 가중치가 업데이트 될 때마다 추정 된 오류에 대한 모델 변경 방법을 제어할 수 있으며, 상기 운동량(Momentum)은 훈련 속도와 정확도를 향상시키는 요소이다.

다층 퍼셉트론 학습 훈련 과정에 사용된 활성 함수는 시그모이드 함수(sigmoid function)로, 입력 값을 취하여 0과 1 범위 내에서 예측하여 이진 분류를 수행한다.

도 10은 입력, 숨김 및 출력 레이어가 있는 다층 퍼셉트론 분류기 모델의 다이아그램이다.

도 10과 같이 하나의 입력 계층, 두 개의 숨겨진 계층 및 하나의 출력 계층으로 네트워크가 설계된다.

도시와 같이 입력 레이어에는 11개의 노드가 있고 출력 레이어에는 2개의 노드가 있고 숨겨진 레이어 1과 2에는 각각 4와 3개의 노드가 있다.

퍼셉트론은 전립선 조직 이미지에서 추출된 11개의 입력 특성(X1-X11)를 취하고 가중치 (W1-W3)는 이러한 입력과 관련이 있다.

네트워크는 가중 합산을 수행하여 출력 Y를 생성하고, 퍼셉트론 가중은 트레이닝 데이터에 기초하여 트레이닝 프로세스 동안 결정된다.

이때 아래의 식 (18) 내지 (19)의 방정식을 기반으로 모델을 학습하는 동안 가중치가 자동으로 업데이트된다.

여기서 w는 가중치이고 n는 x의 피처 수이며 z는 비선형 활성화 함수를 생성하기 위해 시그모이드 함수에 사용되는 선형 형태의 방정식이다.

상술된 바와 같이 본 발명에서는 다층 퍼셉트론 신경망 분류를 위한 웨이블릿 기반 텍스처 특성 및 색상 모멘트 특성을 추출하였다.

이미지 크기는 256 × 256 픽셀(24 비트/픽셀)이며 웨이블릿 변환 (레벨 1 및 레벨 2), 색상 모멘트 분석 및 기능 추출을 위해 8 비트/픽셀로 변환되었다.

총 400 개의 이미지가 전립산 암(PCa) 등급 분류에 사용되었으며 양성, 등급 3, 등급 4, 등급 5의 네 가지 등급으로 동일하게 나누었다. 이때 훈련 및 테스트 데이터 세트 각각에 대해 7 : 3의 비율이 고정되었다.

이에 2 차원(2D) 그레이-레벨 동시 발생 매트릭스(GLCM) 및 컬러 모멘트 기술을 사용하여 텍스처 특성 및 픽셀 기반 컬러 모멘트 특성을 각각 추출하였다.

즉 Haar wavelet 변환 이미지에서 텍스처 특성을 추출하였고, 원래 컬러 이미지에서 3 개의 채널로 분리 된 8 비트 회색조 이미지에서 컬러 특성을 추출하였다.

그리고 추출된 총 11 개의 특징을 다변량 분산 분석(MANOVA) 통계 테스트를 수행하여 중요한 특징을 식별한 것이다.

다변량 분산 분석(MANOVA) 통계 테스트는 RStudio에서 R 프로그래밍 언어를 사용하여 수행하며, 통계 테스트에서 얻은 F- 값 및 P- 값을 기반으로 가장 중요한 기능(significant features)을 선택할 수 있다.

표 1 및 2는 5개의 상이한 전립선암 종 등급에 대한 이진 다층 퍼셉트론 분류의 결과를 보여준다.

표 1은 레벨 1 웨이블릿 텍스처 특성 및 색상 모멘트 특성을 기반으로 한 다층 퍼셉트론 분류 성능을 보여주는 것이고, 표 2는 레벨 2 웨이블릿 텍스처 특성 및 색상 모멘트 특성을 기반으로 한 다층 퍼셉트론 분류 성능을 보여주고 있다.

본 발명에서 수행된 다층 퍼셉트론 분류 모델 및 딥 러닝 알고리즘의 성능을 평가하기 위해 정확도, 민감도, 특이도, F1- 점수 및 Matthew의 상관 계수(MCC, Matthew’s correlation coefficient)를 포함하여 여러 메트릭을 사용할 수 있다.

성능 메트릭을 계산하는데 사용되는 네 가지 유형의 혼동 행렬은 진 양성 (TP, true positive), 진 음성(TN, true negative), 거짓 양성(FP, false positive) 및 거짓 음성 (FN, false negative)을 적용한다.

이에 따라 다음과 같은 측정 항목이 사용될 수 있다.

모든 샘플 중 모든 결과에서 얻은 TP 및 TN 수의 통계린 정확도는 식 (20)과 같다.

샘플을 정확하게 긍정적으로 분류하는 비율인 민감도는 식 (21)과 같다.

샘플의 부정확성을 정확하게 분류하는 비율인 특이성은 식 (22)와 같다.

"정밀" 및 "리콜" 메트릭의 조합을 사용하여 계산인 F1- 스코어는 식 (23)과 같다. 이대 정밀 측정 항목은 관련이 있는 분류된 샘플 수를 나타내고 리콜 메트릭은 분류된 관련 샘플 수를 나타낸다.

또한, 성능 이진 분류 인덱스. 관측 및 예측 이진 분류 간의 상관 관계를 나타내는 MCC는 식 (24)와 같다.

도 11은 본 발명의 결과 분석에 따른 5개의 이진 구분에 대한 분류 정확도 그래프로서, 파란색과 주황색 그래프는 각각 표 1과 2 사이의 분류 성능을 보여주는 것이다.

이는 상기 표 1 및 표 2에 나열된 정확도 비율을 사용하여 선 그래프로 작성된 결과로서, 도 11에 표시된 두 분류 모드간을 비교할 수 있다.

다층 퍼셉트론(MLP) 분류 1은 레벨 1 웨이블릿 기반 텍스처 및 색상 기능을 기반으로 하는 정확도 비율을 나타내고, MLP 분류 2는 레벨 2 웨이블릿 기반 텍스처 및 색상 기능을 기반으로 하는 정확도 비율을 나타내는 것으로서, 이 결과에 따라 레벨 1의 웨이블릿 이미지 기능이 레벨 2의 웨이블릿 이미지 기능보다 더 안정적임을 알 수 있다.

MLP 이진 분류는 5개의 등급 그룹 중에서 수행되었으며, 각 그룹은 오류율을 최소화하고 분류 성능을 높이기 위해 개별적으로 독립적으로 분류되어진다.

또한, 각 그룹 분류에 대한 학습률(learning rate)과 운동량(momentum)은 훈련 및 테스트 데이터 세트의 정확성에 따라 변경된다.

MLP 분류 1 및 2에서 얻은 가중 평균 정확도 비율은 각각 92.7 % 및 90.0 %이고, MLP 분류 1의 질감과 색상 모멘트 기능의 조합은 신경망 MLP 기술을 사용하여 가장 정확한 결과를 산출된다.

MLP 신경망 분류에서 네트워크 매개 변수 "Learning Rate"및 "Momentum"이 네트워크 아키텍처를 정확하게 구성하고 테스트 데이터 세트의 정확도를 높이기 위해 여러 번 조정될 수 있다.

또한, 도 12는 웨이블릿 텍스처와 색상 모멘트 기능을 사용한 두 가지 분류 수준의 6가지 클래스에 대한 비교도이다.

조직학적 등급 분류에는 총 11 개의 특징이 사용되었다.

도 12는 양성, 등급 3, 등급 4, 등급 5, 등급 4,5 및 악성의 6가지 등급을 기반으로 하는 모든 특징에 대해 가중 평균 값을 사용한다.

이에 따라 도 12의 (a)는 분류 1에 사용된 특징들이고, (b)는 분류 2에 사용 된 특징들이고, 도시상의 위 아래 표식은 각각 최대 및 최소 평균 특징 값이며 중앙선은 중앙값(50번째 백분위 수)이고, 점들은 각 암 유형의 평균값을 나타낸다.

도 12의 (a), (b)에 도시 된 바와 같이, 상이한 등급의 박스 플롯은 평균 피쳐 값에 기초하여 크기가 다양함을 알 수 있다.

또한, 테스트 데이터 세트를 사용하여 도시에 따른 등급 간 결과를 비교할 수 있으며, 양성 등급은 다른 등급보다 높은 평균값을 가질 가능성이 높음을 알 수 있다.

따라서 등급 3, 등급 4, 등급 5 및 악성 분류는 양성 종양과 쉽게 구별 될 수 있다. 유사하게, 등급 3과 등급 4, 5에 대한 분류가 수행되었지만, 이들을 구별하기는 어렵다.

즉 GLCM 및 컬러 모멘트 피처를 기반으로 하는 웨이블릿 텍스처 피처는 조직학적 섹션의 이미지에서 6가지 클래스로 정확하게 구별될 수 있다고 결론지을 수 있다.

도 13은 본 발명에 따른 조직학 섹션에서 전립선암 종의 다중 특성 분류를 위한 의료 영상 처리 시스템의 구성도이다.

도 13에서와 같이 본 발명의 의료 영상 처리 시스템(100)은 색상 특성 추출 모듈(110), 텍스쳐 특성 추출 모듈(120) 및 MLP 분류기(130)를 포함하여 구성될 수 있다.

상기 색상 특성 추출 모듈(110)은 수집된 전립선 생검 샘플 이미지의 조직학적 섹션을 염색한 RGB 입력 이미지를 입력받아, RGB(빨강, 초록, 파랑) 컬러 이미지를 각각 8비트/픽셀 단위의 3 개 채널로 변환하여 분리하고, 각 채널의 색상 분포를 분석하고 색상 모멘트 특성을 추출하며, 각 채널당 컬러 히스토그램을 계산하고 각 채널로 부터 컬러 특성을 추출하기 위한 기능을 수행한다.

또한, 상기 텍스쳐 특성 추출 모듈(120)은 수집된 전립선 생검 샘플 이미지의 RGB를 그레이스케일로 변환한 후, 그레이 변환 이미지에서 의미 있는 질감 특성치를 추출하기 위해 Haar wavelet 변환 기능을 사용하여 각 병리 이미지에서 이산 웨이블릿 변환(DWT)을 수행하고 상기 웨이블릿 변환된 이미지로부터 그레이 레벨 동시 발생 행렬(GLCM) 계산하는 기능을 수행한다.

또한, 상기 MLP 분류기(130)는 상기 색상 특성 추출 모듈(110)과 텍스쳐 특성 추출 모듈(120)에서 추출된 특징들에서 유효한 특성치를 선택하기 위해 다변량 분산 분석(MANOVA: Multivariate Analyses of Variance)의 통계학적 테스트를 수행하고, 유효한 특징들의 조합을 사용하여 인공 신경망 (ANN) 분류 방법인 다중계층 퍼셉트론(MLP, Multilayer Perceptron) 신경망 분류 알고리즘으로 전립선암 종의 등급을 분류하는 자동화된 컴퓨터 장치라 볼 수 있다.

전술한 바와 같이 본 발명의 상세한 설명에서는 바람직한 실시예들에 관하여 설명하였지만, 본 발명의 기술분야에서 통상의 지식을 가진 사람이라면 하기의 청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음은 이해할 수 있을 것이다.

Claims

전립선암 종의 다중 특성 분류 방법에 있어서,
수집된 전립선 생검 샘플 이미지의 조직학적 섹션을 염색하여 RGB 입력 이미지를 생성하는 단계,
상기 염색된 RGB 입력 이미지에 대하여 색상(Colour) 특성치를 추출하는 컬러 특성 추출 단계,
상기 염색된 RGB 입력 이미지에 대하여 질감(Texture) 특성치를 추출하는 텍스쳐 특성 추출 단계,
상기 추출된 색상 및 질감 특성치에 대한 중요 특징 식별 및 선택 단계, 및
상기 중요 특징 식별 및 선택 단계에서 추출된 색상 및 질감 특성치의 조합을 다중계층 퍼셉트론(MLP, Multilayer Perceptron) 신경망 분류 알고리즘을 사용하여 전립선암 종의 등급을 분류하는 등급 분류 단계를 포함하고,
상기 컬러 특성 추출 단계는
염색된 생검 이미지의 RGB(빨강, 초록, 파랑) 컬러를 각각 8비트/픽셀 단위의 3개 채널로 변환하여 분리하는 RGB 채널 분류 단계,
PCMD(pixel-based color moment descriptor)를 사용하여 상기 분류된 RGB(빨강, 초록, 파랑) 각 채널의 픽셀 기반 색상 분포를 분석하고 상이한 유형의 색상 정보를 추출하는 색상 모멘트(colour moment) 분석 단계, 및
상기 각 채널당 컬러 히스토그램을 사용하여 조직 이미지의 색상 변화를 시각화하는 컬러 히스토그램 계산 단계를 포함하여,
상기 각 채널로 부터 색상 분포를 분석하고 색상 특성치를 추출하고,
상기 텍스쳐 특성 추출 단계는,
염색된 RGB 입력 이미지를 그레이스케일로 변환하는 단계,
상기 그레이스케일로 변환된 이미지를 Haar 웨이블릿 변환 기능을 사용하여 이산 웨이블릿 변환(DWT)을 수행하는 단계, 및
상기 웨이블릿 변환된 이미지로부터 그레이 레벨 동시 발생 행렬(GLCM)을 기반으로 콘트라스트(contrast), 균질성(homogeneity), 상관관계(correlation), 에너지(energy), 엔트로피(entropy) 및 비 유사성(dissimilarity)의 6가지 유형의 웨이블릿 텍스처 피처를 계산하는 단계를 포함하여,
질감 분석을 위한 텍스쳐 특성치를 추출하는 것을 특징으로 하는 조직학 섹션에서 전립선암 종의 다중 특성 분류 방법.
삭제
삭제
청구항 1에 있어서,
상기 중요 특징 식별 및 선택 단계는 R 프로그래밍 언어를 사용하여 F- 값과 P- 값을 기반으로 유효한 특성치를 선택하기 위해 다변량 분산 분석(MANOVA: Multivariate Analyses of Variance)의 통계학적 테스트를 수행하는 것을 특징으로 하는 조직학 섹션에서 전립선암 종의 다중 특성 분류 방법.
청구항 1에 있어서,
상기 RGB 입력 이미지를 생성하는 단계는
헤마톡실린과 에오신(H&E) 화합물을 사용하여 조직 슬라이드를 염색하기 위해 탈 파라핀화(de-paraffinization) 및 재수화(rehydration) 공정을 수행하는 것을 특징으로 하는 조직학 섹션에서 전립선암 종의 다중 특성 분류 방법.