KR102108308B1

KR102108308B1 - 개별 세포 식별 장치 및 제어 방법

Info

Publication number: KR102108308B1
Application number: KR1020180126982A
Authority: KR
Inventors: 박상현; 미구엘 루나; 권문기
Original assignee: 재단법인대구경북과학기술원
Priority date: 2018-10-23
Filing date: 2018-10-23
Publication date: 2020-05-11

Abstract

개별 세포 식별 장치 및 제어 방법이 개시된다. 개별 세포 식별 장치의 제어 방법은 복수의 세포를 포함하는 이미지를 입력받는 단계, 복수의 세포와 배경을 구별하는 입력받은 이미지의 각 픽셀에 대한 바이너리 맵을 생성하는 단계, 각각의 세포의 중심 영역과 경계 영역 사이에 거리에 따라 기 설정된 값을 설정한 지형구조 맵을 생성하는 단계, 각각의 세포의 중심 영역에서 최대값을 가지는 뼈대 영역을 추출한 후 마커를 설정한 마커 맵을 생성하는 단계 및 생성된 바이너리 맵, 지형구조 맵 및 마커 맵에 기초하여 각각의 세포 영역을 식별하는 단계를 포함한다.

Description

개별 세포 식별 장치 및 제어 방법{INDIVIDUAL CELL IDENTIFYING DEVICE AND COTROLLING METHOD THEREOF}

본 개시는 개별 세포 식별 장치 및 제어 방법에 관한 것으로, 더욱 상세하게는 세포를 포함하는 이미지를 학습한 합성곱 신경망을 이용하여 이미지 내에 포함된 복수의 세포를 분리하여 식별하는 개별 세포 식별 장치 및 제어 방법에 관한 것이다.

병리학은 질병의 발생원인을 규명하고 질병으로 인한 생체조직의 형태학적 변화 및 기능적 장애를 조사하여 병적 과정을 규명하는 학문이다. 병리학은 기초 의학과 임상 의학의 가교 역할을 수행한다.

광학 및 전자공학의 발전에 따라 세포를 관찰하거나 세포 단위를 촬영하는 디지털 병리 장비가 보편화되었다. 병리학자는 디지털 병리 장비를 통해 촬영된 이미지로부터 병리 진단 작업을 수행할 수 있다.

그러나, 병리 진단 작업은 병리학자에 의해 직접 수행되기 때문에 과도한 시간과 많은 비용이 필요하고 병리학자에게도 과도한 업무 부담을 초래하고 있다. 또한, 병리학자의 경험과 전문성에 따라 동일한 이미지에서도 서로 다른 병리 진단 결과가 도출되는 문제가 있다.

최근 이미지 처리, 기계 학습 등 다양한 분야의 기술을 접목시켜 세포를 자동으로 검출하는 알고리즘이 개발되고 있다. 그러나, 기존에 제안된 알고리즘은 병리학자의 개입을 필요로 하기 때문에 병리학자의 주관이 개입될 여지가 있다. 또한, 자동으로 세포를 분리하여 검출하는 기술이 개발되고 있으나 인접한 세포를 하나의 세포로 인식하는 등 개별 세포를 분리하여 검출하는 정확도가 떨어지는 문제가 있다.

따라서, 병리학자의 개입없이 인접한 복수의 세포를 개별 세포로 정확하게 식별할 수 있는 기술에 대한 필요성이 존재한다.

본 개시는 상술한 문제점을 해결하기 위한 것으로, 본 개시의 목적은 복수의 세포를 개별 세포로 분리하여 식별하는 개별 세포 식별 장치 및 제어 방법을 제공하는 것이다.

이상과 같은 목적을 달성하기 위한 본 개시의 일 실시 예에 따르면, 개별 세포 식별 장치의 제어 방법은 복수의 세포를 포함하는 이미지를 입력받는 단계, 제1 합성곱 신경망(convolutional neural network)에 기초하여 상기 복수의 세포와 배경을 구별하는 상기 입력받은 이미지의 각 픽셀에 대한 바이너리 맵을 생성하는 단계, 제2 합성곱 신경망(convolutional neural network) 및 상기 생성된 바이너리 맵에 기초하여 각각의 세포의 중심 영역과 경계 영역 사이에 거리에 따라 기 설정된 값을 설정한 지형구조 맵을 생성하는 단계, 제3 합성곱 신경망(convolutional neural network)에 기초하여 상기 각각의 세포의 중심 영역에서 최대값을 가지는 뼈대 영역을 추출한 후 마커를 설정한 마커 맵을 생성하는 단계 및 상기 생성된 바이너리 맵, 지형구조 맵 및 마커 맵에 기초하여 상기 각각의 세포 영역을 식별하는 단계를 포함한다.

그리고, 상기 바이너리 맵을 생성하는 단계는 상기 복수의 세포의 영역은 1로 설정하고, 상기 배경의 영역은 0으로 설정할 수 있다.

또한, 상기 지형구조 맵을 생성하는 단계는 상기 중심 영역의 뼈대 영역에 대응되는 픽셀은 1로 설정하고, 상기 경계 영역에 대응되는 픽셀은 0으로 설정한 후 상기 뼈대 영역과 상기 경계 영역 사이의 픽셀에 대해 상기 뼈대 영역과 경계 영역 사이의 거리에 기초하여 0과 1 사이의 값으로 설정할 수 있다.

또한, 상기 마커 맵을 생성하는 단계는 상기 추출된 뼈대 영역의 중심점을 마커로 설정할 수 있다.

그리고, 상기 세포 영역을 식별하는 단계는 상기 지형구조 맵을 반전시키고, 상기 바이너리 맵에 기초하여 상기 지형구조 맵의 가장 낮은 값을 가진 픽셀로부터 가장 높은 값을 가진 픽셀 순으로 가장 가까운 마커에 순차적으로 할당하여 상기 각각의 세포 영역을 식별할 수 있다.

한편, 상기 제1 합성곱 신경망, 상기 제2 합성곱 신경망 및 상기 제3 합성곱 신경망은 각각 별개의 합성곱 신경망일 수 있다.

이상과 같은 목적을 달성하기 위한 본 개시의 일 실시 예에 따르면, 개별 세포 식별 장치는 복수의 세포를 포함하는 이미지를 입력받는 입력부 및 제1 합성곱 신경망(convolutional neural network)에 기초하여 상기 복수의 세포와 배경을 구별하는 상기 입력받은 이미지의 각 픽셀에 대한 바이너리 맵을 생성하는 제어부를 포함하고, 상기 제어부는 제2 합성곱 신경망(convolutional neural network) 및 상기 생성된 바이너리 맵에 기초하여 각각의 세포의 중심 영역과 경계 영역 사이에 거리에 따라 기 설정된 값을 설정한 지형구조 맵을 생성하며, 제3 합성곱 신경망(convolutional neural network)에 기초하여 상기 각각의 세포의 중심 영역에서 최대값을 가지는 뼈대 영역을 추출한 후 마커를 설정한 마커 맵을 생성하고, 상기 생성된 바이너리 맵, 지형구조 맵 및 마커 맵에 기초하여 상기 각각의 세포 영역을 식별한다.

그리고, 상기 제어부는 상기 복수의 세포의 영역은 1로 설정하고, 상기 배경의 영역은 0으로 설정하여 상기 바이너리 맵을 생성할 수 있다.

또한, 상기 제어부는 상기 중심 영역의 뼈대 영역에 대응되는 픽셀은 1로 설정하고, 상기 경계 영역에 대응되는 픽셀은 0으로 설정한 후 상기 뼈대 영역과 상기 경계 영역 사이의 픽셀에 대해 상기 뼈대 영역과 경계 영역 사이의 거리에 기초하여 0과 1 사이의 값으로 설정하여 상기 지형구조 맵을 생성할 수 있다.

또한, 상기 제어부는 상기 추출된 뼈대 영역의 중심점을 마커로 설정하여 상기 마커 맵을 생성할 수 있다.

그리고, 상기 제어부는 상기 지형구조 맵을 반전시키고, 상기 바이너리 맵에 기초하여 상기 지형구조 맵의 가장 낮은 값을 가진 픽셀로부터 가장 높은 값을 가진 픽셀 순으로 가장 가까운 마커에 순차적으로 할당하여 상기 각각의 세포 영역을 식별할 수 있다.

이상 설명한 바와 같이, 개별 세포 식별 장치 및 제어 방법은 이미지 내에 포함된 복수의 세포를 개별 세포로 정확하게 식별할 수 있다.

도 1은 본 개시의 일 실시 예에 따른 개별 세포 식별 장치의 블록도이다.
도 2는 본 개시의 일 실시 예에 따른 복수의 세포를 포함하는 이미지를 나타내는 도면이다.
도 3은 본 개시의 일 실시 예에 따른 바이너리 맵을 설명하는 도면이다.
도 4는 본 개시의 일 실시 예에 따른 지형구조 맵을 설명하는 도면이다.
도 5는 본 개시의 일 실시 예에 따른 마커 맵을 설명하는 도면이다.
도 6은 본 개시의 일 실시 예에 따른 개별 세포를 식별하는 과정을 설명하는 도면이다.
도 7 및 도 8은 본 개시의 일 실시 예에 따른 개별 세포 식별 장치의 테스트 결과를 나타내는 도면이다.
도 9는 본 개시의 일 실시 예에 따른 개별 세포 식별 장치의 흐름도이다.

이하에서는 첨부된 도면을 참조하여 다양한 실시 예를 보다 상세하게 설명한다. 본 명세서에 기재된 실시 예는 다양하게 변형될 수 있다. 특정한 실시 예가 도면에서 묘사되고 상세한 설명에서 자세하게 설명될 수 있다. 그러나, 첨부된 도면에 개시된 특정한 실시 예는 다양한 실시 예를 쉽게 이해하도록 하기 위한 것일 뿐이다. 따라서, 첨부된 도면에 개시된 특정 실시 예에 의해 기술적 사상이 제한되는 것은 아니며, 발명의 사상 및 기술 범위에 포함되는 모든 균등물 또는 대체물을 포함하는 것으로 이해되어야 한다.

제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이러한 구성요소들은 상술한 용어에 의해 한정되지는 않는다. 상술한 용어는 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

본 명세서에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

한편, 본 명세서에서 사용되는 구성요소에 대한 "모듈" 또는 "부"는 적어도 하나의 기능 또는 동작을 수행한다. 그리고, "모듈" 또는 "부"는 하드웨어, 소프트웨어 또는 하드웨어와 소프트웨어의 조합에 의해 기능 또는 동작을 수행할 수 있다. 또한, 특정 하드웨어에서 수행되어야 하거나 적어도 하나의 제어부에서 수행되는 "모듈" 또는 "부"를 제외한 복수의 "모듈들" 또는 복수의 "부들"은 적어도 하나의 모듈로 통합될 수도 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.

그 밖에도, 본 발명을 설명함에 있어서, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우, 그에 대한 상세한 설명은 축약하거나 생략한다. 한편, 각 실시 예는 독립적으로 구현되거나 동작될 수도 있지만, 각 실시 예는 조합되어 구현되거나 동작될 수도 있다.

도 1은 본 개시의 일 실시 예에 따른 개별 세포 식별 장치의 블록도이다.

도 1을 참고하면, 개별 세포 식별 장치(100)는 입력부(110) 및 제어부(120)를 포함한다. 입력부(110)는 복수의 세포(또는, 핵(nuclei))를 포함하는 이미지를 입력받는다.

제어부(120)는 바이너리 맵, 지형구조 맵 및 마커 맵을 생성한다. 바이너리 맵은 이미지 내의 복수의 세포와 배경이 구분된 맵이다. 예를 들어, 바이너리 맵은 세포 영역은 1로 설정되고, 배역 영역은 0으로 설정될 수 있다. 바이너리 맵은 지형구조 맵을 생성하는데 이용될 수 있다. 지형구조 맵은 세포의 중심 영역과 경계 영역 사이에서 거리에 따라 기 설정된 값으로 설정될 수 있다. 예를 들어, 기 설정된 값은 0에서 1사이의 플로팅 값일 수 있다. 지형구조 맵에서 세포의 중심 영역 중 뼈대에 대응될 수 픽셀은 1 또는 1에 가까운 값으로 설정되고, 경계에 대응되는 픽셀은 0 또는 0에 가까운 값으로 설정될 수 있다. 지형구조 맵의 각 픽셀은 뼈대 영역에서 경계 영역으로 설정된 값이 점차 줄어드는 경향을 나타내기 때문에 지형구조 맵은 마치 지도의 등고선과 유사한 형태를 보일 수 있다. 마커 맵은 각 세포의 중심 영역에서 최대값을 가지는 뼈대를 추출한 후 추출된 뼈대의 중심을 나타내는 마커를 포함한다.

제어부(120)는 생성된 바이너리 맵, 지형구조 맵 및 마커 맵에 기초하여 이미지 내에 포함된 복수의 세포에 대해 각각의 세포 영역을 식별한다.

한편, 개별 세포 식별 장치(100)는 학습된 합성곱 신경망(convolutional neural network)을 이용하여 각각의 맵을 생성할 수 있다. 따라서, 개별 세포 식별 장치(100)는 합성곱 신경망이 맵을 생성하는 학습 과정과 학습된 합성곱 신경망을 통해 이미지로부터 맵을 생성하는 실행 과정을 수행할 수 있다.

예를 들어, 개별 세포 식별 장치(100)는 별개의 합성곱 신경망에 대해 각각의 맵을 생성하는 과정을 학습할 수 있다. 즉, 제1 합성곱 신경망은 바이너리 맵 생성 과정을 학습하고, 제2 합성곱 신경망은 지형구조 맵 생성 과정을 학습하며, 제3 합성곱 신경망은 마커 맵 생성 과정을 학습할 수 있다. 각각의 합성곱 신경망은 U-net 구조일 수 있다. U-net 구조의 합성곱 신경망은 U 형태로 데이터를 처리하는 신경망으로 복수의 컨벌루션 레이어(convolution layer), 복수의 디컨벌루션 레이어(deconvolution layer), 복수의 풀링 레이어(pooling layer), 복수의 언풀링 레이어(unpooling layer) 등을 포함할 수 있다. 컨벌루션 레이어와 풀링 레이어는 이미지의 크기를 줄여가며 낮은 차원부터 높은 차원으로 특징을 추출할 수 있다. 그리고, 언풀링 레이어 및 디컨벌루션 레이어는 크기를 늘려 각각의 맵을 생성할 수 있다. U-net 구조의 합성곱 신경망은 컨벌루션 레이어의 출력을 대응되는 디컨벌루션 레이어에서 입력으로 사용함으로써 다른 기법에 비해 이미지 복원력을 향상시킬 수 있다.

바이너리 맵 생성을 학습하는 합성곱 신경망은 복수의 세포를 포함하는 학습 이미지를 입력받아 배경 영역과 전경 영역(세포 영역)을 분리한 바이너리 맵을 예측할 수 있다. 개별 세포 식별 장치(100)에 입력되는 학습 이미지는 기 설정된 배경 영역과 전경 영역에 대한 정보를 포함할 수 있다. 바이너리 맵 생성을 위한 합성곱 신경망은 기 설정된 전경 영역의 정보를 기준으로 예측된 바이너리 맵의 전경 영역에 대한 오차를 수정하고, 기 설정된 배경 영역의 정보를 기준으로 예측된 바이너리 맵의 배경 영역에 대한 오차를 수정할 수 있다. 바이너리 맵 생성을 위한 합성곱 신경망은 수십장 또는 수백장의 학습 이미지에 대해 상술한 과정을 반복하여 바이너리 맵 생성 과정을 학습할 수 있다. 학습된 바이너리 맵 생성을 위한 합성곱 신경망은 이후 입력되는 이미지로부터 배경 영역과 전경 영역을 분리한 바이너리 맵을 생성할 수 있다.

지형구조 맵 생성을 학습하는 합성곱 신경망 및 마커 맵 생성을 학습하는 합성곱 신경망도 상술한 과정과 유사하게 학습 과정을 수행할 수 있다. 즉, 지형구조 맵 생성을 학습하는 합성곱 신경망은 입력된 이미지로부터 지형구조 맵을 예측하고 기 설정된 세포 지형구조에 대한 정보를 기준으로 예측된 지형구조 맵의 세포 지형구조에 대한 오차를 수정할 수 있다. 학습된 지형구조 맵 생성을 위한 합성곱 신경망은 이후 입력되는 이미지로부터 세포 지형구조 정보를 포함하는 지형구조 맵을 생성할 수 있다. 마커 맵 생성을 학습하는 합성곱 신경망은 입력된 이미지로부터 마커 맵을 예측하고 기 설정된 마커 정보를 기준으로 예측된 마커 맵의 마커에 대한 오차를 수정할 수 있다. 학습된 마커 맵 생성을 위한 합성곱 신경망은 이후 입력되는 이미지로부터 마커 정보를 포함하는 마커 맵을 생성할 수 있다.

한편, 개별 세포 식별 장치는 개별 세포가 식별된 이미지를 출력하기 위한 디스플레이부나 개별 세포가 식별된 이미지를 다른 장치로 전송하기 위한 통신부를 더 포함할 수도 있다.

아래에서는 각각의 맵의 생성 과정에 대해 자세히 설명한다.

도 2는 본 개시의 일 실시 예에 따른 복수의 세포를 포함하는 이미지를 나타내는 도면이다.

도 2를 참조하면, 복수의 세포(1, 2)를 포함하는 원본 이미지(11)가 도시되어 있다. 설명의 편의를 위해 도 2에서는 두 개의 세포(1, 2)를 포함하는 이미지(11)가 도시되어 있으나, 일반적인 세포 이미지에는 수십 개 또는 수백 개의 세포를 포함할 수 있다. 또한, 이미지 내에 포함된 세포도 불규칙한 모양, 모호한 윤곽 등을 가지고 있기 때문에 정확하게 세포를 분할하는 것은 어려운 작업이고, 여러 개의 세포가 가까이 인접해 있는 경우, 사람의 눈으로 경계를 구분하는 것은 매우 어렵다.

본 개시는 각각 바이너리 맵, 지형구조 맵 및 마커 맵을 생성하는 개별적인 합성곱 신경망을 학습시키고, 각각의 합성곱 신경망에서 생성된 바이너리 맵, 지형구조 맵 및 마커 맵에 기초하여 이미지 내에 포함된 복수의 세포를 개별 세포로 식별할 수 있다.

도 3은 본 개시의 일 실시 예에 따른 바이너리 맵을 설명하는 도면이다.

바이너리 맵(41)은 전경 영역(예, 세포 영역)과 배경 영역을 구분하여 표시한 맵이다. 예를 들어, 전경 영역은 1, 배경 영역은 0으로 설정될 수 있다. 개별 세포 식별 장치는 바이너리 맵에 기초하여 전경 영역과 배경 영역을 구분하여 표시할 수 있다. 일 실시 예로서, 개별 세포 식별 장치는 밝기 값이 0이 아닌 영역을 전경 영역, 밝기 값이 0인 영역을 배경 영역으로 판단할 수 있다. 또는, 개별 세포 식별 장치는 임계값 이상의 영역을 전경 영역, 임계값 미만의 영역을 배경 영역으로 판단할 수 있다. 개별 세포 식별 장치는 바이너리 맵 생성을 위한 합성곱 신경망을 학습하고, 학습된 합성곱 신경망에 기초하여 전경 영역과 배경 영역을 판단할 수 있다. 개별 세포 식별 장치는 전경 영역과 배경 영역에 일정한 값을 설정한 바이너리 맵(41)을 생성할 수 있다.

도 4는 본 개시의 일 실시 예에 따른 지형구조 맵을 설명하는 도면이다.

지형구조 맵(21)은 전경 영역의 중심 영역으로부터 경계 영역으로 일정한 플로팅 값을 설정한 맵을 의미한다. 개별 세포 식별 장치는 중심 영역 중 뼈대에 대응되는 영역에서 경계 영역까지 뼈대 영역으로부터 거리에 따라 거리 분포(distance distribution) 과정을 수행하여 각 픽셀에 일정한 값을 설정한 지형구조 맵(21)을 생성할 수 있다. 개별 세포 식별 장치는 생성된 바이너리 맵에 기초하여 중심 영역과 경계 영역을 판단하고, 중심 영역 중 핵심적인 중심 영역을 뼈대 영역으로 판단할 수 있다. 예를 들어, 개별 세포 식별 장치는 뼈대 영역에는 1을 설정하고, 경계 영역에는 0을 설정하며, 뼈대 영역과 경계 영역 간에는 거리에 따라 일정한 값을 설정할 수 있다. 도 4에서 뼈대 영역인 a 영역에는 1 또는 1에 근접한 값이 설정될 수 있고, b 영역에는 0 또는 0에 근접한 값이 설정될 수 있다. 개별 세포 식별 장치는 지형구조 맵 생성을 위한 합성곱 신경망을 학습하고, 학습된 합성곱 신경망에 기초하여 뼈대 영역으로부터 경계 영역으로 거리에 따라 일정한 값을 설정한 지형구조 맵(21)을 생성할 수 있다. 개별 세포 식별 장치는 개별 세포를 식별하기 위해 생성된 지형구조 맵(21)을 반전시킬 수 있다.

도 5는 본 개시의 일 실시 예에 따른 마커 맵을 설명하는 도면이다.

마커 맵(31)은 뼈대 영역의 중심점을 마커의 위치로 설정한 맵을 의미한다. 도 5를 참조하면, 뼈대 영역의 중심점에 마커(3)의 위치가 표시된 마커 맵(31)이 도시되어 있다. 마커(3)는 각 세포의 중심점을 의미할 수 있다. 개별 세포 식별 장치는 개별 세포를 식별할 때 마커(3)로부터 지형구조 맵 및 바이너리 맵을 참고하여 개별 세포의 영역을 식별할 수 있다. 개별 세포 식별 장치는 마커 맵 생성을 위한 합성곱 신경망을 학습하고, 학습된 합성곱 신경망에 기초하여 뼈대 영역의 중심점을 마커의 위치로 설정한 마커 맵(21)을 생성할 수 있다. 개별 세포 식별 장치는 가우시안 필터를 적용하여 마커를 부드럽게 하여 마커 맵(21)을 생성할 수 있다. 예를 들어, 개별 세포 식별 장치는 마커를 설정한 후 가우시안 마스크를 적용하여 중심점에는 1로 설정하고, 주변 영역에는 0에서 1 사이의 값 중 중심으로부터 점차 작아지는 값을 설정하여 마커 맵을 생성할 수 있다. 이 경우, 마커는 일 지점이 아닌 일정한 영역으로 표시될 수도 있다.

개별 세포 식별 장치가 세포의 중심점들만 1이고 나머지는 모두 0으로 되는 맵을 학습하는 경우, 레이블이 1인 픽셀이 너무 적기 때문에 학습이 잘 되지 않을 수 있다. 따라서, 개별 세포 식별 장치가 가우시안 필터를 적용한 확률맵으로 학습할 때 학습 성능이 향상될 수 있다. 본 개시의 방식은 지형구조 맵을 이용하여 학습하고 개별 세포를 식별하기 때문에 마커 맵의 마커가 적당히 세포의 중심 근처로 추정이 되면 좋은 결과가 나올 수 있다. 따라서, 본 개시의 방식은 명확히 중심점과 그 외 영역을 나누는 마커 맵을 이용하기보다 가우시안 마스크를 적용하여 일정 영역에 대한 확률적으로 분포하는 마커 맵을 이용하는 것이다.

개별 세포 식별 장치는 바이너리 맵, 지형구조 맵 및 마커 맵을 생성한 후 세가지 맵에 기초하여 개별 세포를 식별할 수 있다.

도 6은 본 개시의 일 실시 예에 따른 개별 세포를 식별하는 과정을 설명하는 도면이다.

도 6을 참조하면 복수의 세포를 포함하는 입력된 이미지로부터 개별 세포가 식별된 이미지가 출력되는 과정이 도시되어 있다. 상술한 바와 같이, 입력된 이미지는 개별 합성곱 신경망(121, 122, 123)에 의해 각각 지형구조 맵(21), 마커 맵(31), 바이너리 맵(41)을 생성한다. 일 실시 예로서, 개별 세포 식별 장치는 워터쉐드 알고리즘(124)에 기초하여 개별 세포를 식별할 수 있다. 지형구조 맵(21)은 워터쉐드 알고리즘(124)을 적용하기 전에 반전될 수 있다. 즉, 뼈대 영역이 0이 되고, 경계 영역이 1이 될 수 있다. 도 6에는 반전된 지형구조 맵(22)이 도시되어 있다.

마커 맵(31)은 가우시안 필터링이 적용되어 세포의 중심을 나타내는 일정 지점(또는, 일정 영역)을 포함할 수 있다. 도 6에는 가우시안 필터링이 적용된 마커 맵(31)이 도시되어 있다. 한편, 개별 세포 식별 장치는 개별 세포를 구별하기 위해 각각의 마커에 서로 다른 색상을 할당할 수 있다.

개별 세포 식별 장치는 반전된 지형구조 맵(22), 필터링된 마커 맵(31) 및 바이너리 맵(41)에 기초하여 개별 세포를 식별할 수 있다. 일 실시 예로서, 개별 세포 식별 장치는 지형구조 맵(22)의 설정된 모든 픽셀에 대한 픽셀 값을 큐(queue)에 넣고, 큐에 남아있는 픽셀이 없을 때까지 가장 작은 값을 가진 픽셀에서 가장 큰 값을 가진 픽셀까지 가장 가까운 마커에 순차적으로 할당할 수 있다. 상술한 바와 같이, 지형구조 맵은 반전되기 때문에 지형구조 맵의 각 픽셀은 뼈대 영역으로부터 경계 영역까지 0에서 1 사이의 값을 가질 수 있다. 그리고, 개별 세포 식별 장치는 마커 맵에 기초하여 각 세포의 뼈대의 중심점(또는, 중심 영역)에 위치한 마커를 식별할 수 있다. 따라서, 개별 세포 식별 장치는 가장 가까운 마커를 중심으로 가장 낮은 값을 가지는 픽셀을 하나씩 할당하면 경계 영역까지 개별 세포 영역을 확장할 수 있다. 개별 세포 식별 장치는 마커를 중심으로 픽셀을 할당할 때, 중심의 마커 색상과 동일한 색상을 각 픽셀에 할당할 수 있고, 바이너리 맵을 기초로 세포 영역의 경계 영역을 참조하여 각 픽셀을 할당할 수 있다.

즉, 개별 세포 식별 장치는 바이너리 맵, 지형구조 맵 및 마커 맵에 기초하여 상술한 과정을 통해 개별 세포 영역을 식별한 이미지(13)를 출력할 수 있다. 개별 세포 식별 장치가 출력하는 이미지는 복수의 세포를 나타내는 정수 값을 포함하는 분할 이미지일 수 있다.

도 7 및 도 8은 본 개시의 일 실시 예에 따른 개별 세포 식별 장치의 테스트 결과를 나타내는 도면이다.

본 개시에 따른 방법은 각각의 맵을 생성하는 세 개의 U-net 구조의 신경망을 포함하였다. 각 신경망은 동일한 RGB 입력 이미지를 입력받고 입력 이미지의 너비와 높이가 동일한 단일 맵을 생성하였다. 각 신경망에는 원본 디지털 병리학 이미지에서 256 × 256 픽셀의 패치를 추출하고 추출된 패치가 입력되었다. 훈련 모델 개발을 위해 15개의 학습 이미지를 무작위로 세 개의 하위 집합으로 나누고 교차 유효성 검사가 수행되었고, 실험 후에는 신경망은 15개의 교육용 이미지를 사용하여 학습되었고, 18개의 테스트 이미지로 1차 테스트되었다. 추가로 신경망은 30개의 추가 이미지를 사용하여 학습한 후 2차 테스트되었다.

도 7을 참고하면, 테스트 결과가 도시되어 있고, 도 8을 참고하면 유효성 검사 이미지의 시각적 결과가 도시되어 있다. 다이스 1은 레퍼런스 분할과 예측 간의 전반적인 오버래핑을 측정하는 전통적인 다이스 계수를 의미하고, 다이스 2는 분할 영역이 쪼개진(split) 방식에서 불일치를 포착하기 위한 앙상블 다이스(Ensemble Dice)를 의미한다. 도 7의 표에서 Upper bound는 실제 이미지의 참값을 나타내고, Train은 세 개의 하위 집단 간의 교차 유효성 검사 결과를 나타낸다. Testing은 1차 테스트 결과를 나타내고, Testing with external data는 2차 테스트 결과를 나타낸다.본 개시의 테스트 결과는 불규칙한 모양과 모호한 경계를 포함하는 복수의 세포를 실제와 거의 유사하게 개별 세포로 분할하는 결과를 보여준다.

도 8(a)는 디지털 병리학 이미지, 도 8(b)는 예측된 지형구조 맵 이미지, 도 8(c)는 예측된 마커 맵 이미지, 도 8(d)는 예측된 바이너리 맵 이미지, 도 8(e)는 본 개시에 따른 개별 세포 식별 이미지, 도 8(f)는 실제 개별 세포 분할 이미지를 나타낸다.

지금까지 개별 세포 식별 장치의 다양한 실시 예를 설명하였다. 아래에서는 개별 세포 식별 장치 제어 방법의 흐름도를 설명한다.

도 9는 본 개시의 일 실시 예에 따른 개별 세포 식별 장치의 흐름도이다.

도 9를 참조하면, 개별 세포 식별 장치는 복수의 세포를 포함하는 이미지를 입력받는다(S910). 개별 세포 식별 장치는 제1 합성곱 신경망(convolutional neural network)에 기초하여 복수의 세포와 배경을 구별하는 입력받은 이미지의 각 픽셀에 대한 바이너리 맵을 생성한다(S920). 예를 들어, 개별 세포 식별 장치는 복수의 세포 영역은 1로 설정하고, 배경 영역은 0으로 설정할 수 있다.

개별 세포 식별 장치는 제2 합성곱 신경망(convolutional neural network) 및 생성된 바이너리 맵에 기초하여 각각의 세포의 중심 영역과 경계 영역 사이에 거리에 따라 기 설정된 값을 설정한 지형구조 맵을 생성한다(S930). 예를 들어, 개별 세포 식별 장치는 중심 영역의 뼈대 영역에 대응되는 픽셀은 1로 설정하고, 경계 영역에 대응되는 픽셀은 0으로 설정한 후 뼈대 영역과 경계 영역 사이의 픽셀에 대해 뼈대 영역과 경계 영역 사이의 거리에 기초하여 0과 1 사이의 값으로 설정할 수 있다.

개별 세포 식별 장치는 제3 합성곱 신경망(convolutional neural network)에 기초하여 각각의 세포의 중심 영역에서 최대값을 가지는 뼈대 영역을 추출한 후 마커를 설정한 마커 맵을 생성한다(S940). 예를 들어, 개별 세포 식별 장치는 추출된 뼈대 영역의 중심점을 마커로 설정할 수 있다. 개별 세포 식별 장치는 마커에 대해 가우시안 필터링을 수행하여 마커를 부드럽게 생성할 수 있다.

개별 세포 식별 장치는 생성된 바이너리 맵, 지형구조 맵 및 마커 맵에 기초하여 각각의 세포 영역을 식별한다(S950). 개별 세포 식별 장치는 지형구조 맵을 반전시키고, 바이너리 맵에 기초하여 지형구조 맵의 가장 낮은 값을 가진 픽셀로부터 가장 높은 값을 가진 픽셀 순으로 가장 가까운 마커에 순차적으로 할당하여 각각의 세포 영역을 식별할 수 있다.

상술한 다양한 실시 예에 따른 개별 세포 식별 장치의 제어 방법은 컴퓨터 프로그램 제품으로 제공될 수도 있다. 컴퓨터 프로그램 제품은 S/W 프로그램 자체 또는 S/W 프로그램이 저장된 비일시적 판독 가능 매체(non-transitory computer readable medium)를 포함할 수 있다.

비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.

또한, 이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

100: 개별 세포 식별 장치
110: 입력부 120: 제어부

Claims

복수의 세포를 포함하는 이미지를 입력받는 단계;
제1 합성곱 신경망(convolutional neural network)에 기초하여 상기 복수의 세포와 배경을 구별하는 상기 입력받은 이미지의 각 픽셀에 대한 바이너리 맵을 생성하는 단계;
제2 합성곱 신경망(convolutional neural network) 및 상기 생성된 바이너리 맵에 기초하여 각각의 세포의 중심 영역과 경계 영역 사이에 거리에 따라 기 설정된 값을 설정한 지형구조 맵을 생성하는 단계;
제3 합성곱 신경망(convolutional neural network)에 기초하여 상기 각각의 세포의 중심 영역에서 최대값을 가지는 뼈대 영역을 추출한 후 마커를 설정한 마커 맵을 생성하는 단계; 및
상기 생성된 바이너리 맵, 지형구조 맵 및 마커 맵에 기초하여 상기 각각의 세포 영역을 식별하는 단계;를 포함하고,
상기 세포 영역을 식별하는 단계는,
상기 지형구조 맵을 반전시키고, 상기 바이너리 맵에 기초하여 상기 지형구조 맵의 가장 낮은 값을 가진 픽셀로부터 가장 높은 값을 가진 픽셀 순으로 가장 가까운 마커에 순차적으로 할당하여 상기 각각의 세포 영역을 식별하는 개별 세포 식별 장치의 제어 방법.
제1항에 있어서,
상기 바이너리 맵을 생성하는 단계는,
상기 복수의 세포의 영역은 1로 설정하고, 상기 배경의 영역은 0으로 설정하는 개별 세포 식별 장치의 제어 방법.
제1항에 있어서,
상기 지형구조 맵을 생성하는 단계는,
상기 중심 영역의 뼈대 영역에 대응되는 픽셀은 1로 설정하고, 상기 경계 영역에 대응되는 픽셀은 0으로 설정한 후 상기 뼈대 영역과 상기 경계 영역 사이의 픽셀에 대해 상기 뼈대 영역과 경계 영역 사이의 거리에 기초하여 0과 1 사이의 값으로 설정하는 개별 세포 식별 장치의 제어 방법.
제1항에 있어서,
상기 마커 맵을 생성하는 단계는,
상기 추출된 뼈대 영역의 중심점을 마커로 설정하는 개별 세포 식별 장치의 제어 방법.
삭제
제1항에 있어서,
상기 제1 합성곱 신경망, 상기 제2 합성곱 신경망 및 상기 제3 합성곱 신경망은 각각 별개의 합성곱 신경망인 개별 세포 식별 장치의 제어 방법.
복수의 세포를 포함하는 이미지를 입력받는 입력부; 및
제1 합성곱 신경망(convolutional neural network)에 기초하여 상기 복수의 세포와 배경을 구별하는 상기 입력받은 이미지의 각 픽셀에 대한 바이너리 맵을 생성하는 제어부;를 포함하고,
상기 제어부는,
제2 합성곱 신경망(convolutional neural network) 및 상기 생성된 바이너리 맵에 기초하여 각각의 세포의 중심 영역과 경계 영역 사이에 거리에 따라 기 설정된 값을 설정한 지형구조 맵을 생성하며, 제3 합성곱 신경망(convolutional neural network)에 기초하여 상기 각각의 세포의 중심 영역에서 최대값을 가지는 뼈대 영역을 추출한 후 마커를 설정한 마커 맵을 생성하고, 상기 생성된 바이너리 맵, 지형구조 맵 및 마커 맵에 기초하여 상기 각각의 세포 영역을 식별하며,
상기 지형구조 맵을 반전시키고, 상기 바이너리 맵에 기초하여 상기 지형구조 맵의 가장 낮은 값을 가진 픽셀로부터 가장 높은 값을 가진 픽셀 순으로 가장 가까운 마커에 순차적으로 할당하여 상기 각각의 세포 영역을 식별하는 개별 세포 식별 장치.
제7항에 있어서,
상기 제어부는,
상기 복수의 세포의 영역은 1로 설정하고, 상기 배경의 영역은 0으로 설정하여 상기 바이너리 맵을 생성하는 개별 세포 식별 장치.
제7항에 있어서,
상기 제어부는,
상기 중심 영역의 뼈대 영역에 대응되는 픽셀은 1로 설정하고, 상기 경계 영역에 대응되는 픽셀은 0으로 설정한 후 상기 뼈대 영역과 상기 경계 영역 사이의 픽셀에 대해 상기 뼈대 영역과 경계 영역 사이의 거리에 기초하여 0과 1 사이의 값으로 설정하여 상기 지형구조 맵을 생성하는 개별 세포 식별 장치.
제7항에 있어서,
상기 제어부는,
상기 추출된 뼈대 영역의 중심점을 마커로 설정하여 상기 마커 맵을 생성하는 개별 세포 식별 장치.
삭제
제7항에 있어서,
상기 제1 합성곱 신경망, 상기 제2 합성곱 신경망 및 상기 제3 합성곱 신경망은 각각 별개의 합성곱 신경망인 개별 세포 식별 장치.