KR101889725B1 - 악성 종양 진단 방법 및 장치 - Google Patents

Abstract

악성 종양 진단 도메인에서 활용될 수 있는 관심 객체 검출 방법이 제공된다. 컴퓨팅 장치에 의해 수행되는 관심 객체 검출 방법은 관심 객체에 대한 검출 결과가 주어진 트레이닝 이미지를 이용하여, 컨볼루션 신경망(Convolutional Neural Network) 기반의 기계 학습 모델을 트레이닝 하는 단계, 관심 객체에 대한 분류 결과가 주어지지 않은 타깃 이미지를 상기 기계 학습 모델에 입력하여, 관심 객체에 대한 특징 맵(feature map)을 가리키는 제1 클래스 액티베이션 맵(class activation map)을 추출하되, 상기 타깃 이미지는 상기 트레이닝 이미지보다 더 큰 넓이를 갖는 이미지인, 단계 및 상기 제1 클래스 액티베이션 맵을 이용하여, 상기 타깃 이미지에서 관심 객체를 검출하는 단계를 포함할 수 있다.

Description

악성 종양 진단 방법 및 장치{Method and Apparatus for Diagnosing Malignant Tumor}

본 발명은 악성 종양 진단 방법 및 장치에 관한 것이다. 보다 자세하게는, 디지털 병리(digital pathology) 장비에 의해 디지털 이미지로 변환된 조직 슬라이드 이미지를 이용하여 진단 대상 조직에 대한 병리 진단 결과를 예측하는 악성 종양 진단 방법 및 장치에 관한 것이다.

종양의 증식 속도는 암 환자의 예후를 예측하기 위한 중요한 예후 인자 중 하나이다. 예를 들어, 빠른 종양 증식 속도는 앞으로 암 환자의 상태가 더욱 악화될 수 있다는 것을 의미할 수 있다. 따라서, 암 환자의 치료 계획을 수립하는데 있어서, 종양의 증식 속도를 정확하게 측정하는 것은 매우 중요한 일 중 하나이다.

종양의 증식 속도를 측정하는 보편적인 방법은 H&E(hematoxylin & eosin)로 염색된 조직 슬라이드를 이용하여 유사 분열 세포(mitosis)의 개수의 카운팅 하는 것이다. 왜냐하면, 유사 분열 세포의 개수는 종양의 증식 속도와 매우 밀접하게 관련되어 있기 때문이다.

유사 분열 세포의 개수를 카운팅 하는 작업은 일반적으로 병리학자(pathologist)에 의해 수행되는 병리 진단 작업이다. 병리학자는 염색된 조직 슬라이드를 고 배율의 현미경을 통해 관찰하거나, 디지털 병리 장비에 의해 스캔 된 조직 슬라이드 이미지를 컴퓨팅 장치를 통해 관찰하는 방식으로 유사 분열 세포를 카운팅 한다.

이와 같이, 상기 병리 진단 작업은 병리학자에 의해 직접 수행되기 때문에, 많은 시간적, 경제적 비용이 소모되고, 병리학자에게도 과도한 업무 부담을 초래하고 있다. 또한, 숙련된 병리학자라고 하더라도 개인적인 지식이나 경험에 의존하는 주관적 판단을 수행하기 때문에 동일한 조직 슬라이드 이미지에서 서로 다른 병리 진단 결과가 도출되는 문제가 발생하고 있다.

상술한 문제를 해결하기 위해, 최근 이미지 처리(image processing), 기계 학습(machine learning) 등 다양한 분야의 기술을 접목시켜 유사 분열 세포를 자동으로 검출하는 알고리즘이 제안되고 있다. 그러나, 기존에 제안된 알고리즘은 진단 대상 조직이 포함된 전체 슬라이드 이미지(whole slide image)에서 유사 분열 세포를 검출하는 것이 아니라, 병리학자에 의해 미리 선택된 관심 영역에서 유사 분열 세포를 검출한다.

즉, 기존에 제안된 알고리즘은 여전히 초기 단계에서 병리학자의 개입을 필요로 하기 때문에, 완전히 자동화 된 방식으로 동작하는 것이 아니다. 또한, 병리학자에 의해 미리 선택된 관심 영역에서 유사 분열 세포를 검출하기 때문에, 진단 대상 조직 전체에 대하여 종합적인 종양 증식 속도를 예측하기 어렵고, 결과적으로 예측의 정확도가 떨어진다는 문제점이 있다. 더욱이, 상기 관심 영역이 병리학자의 주관적인 판단에 의해 결정되기 때문에, 여전히 상술한 주관성 문제를 완전하게 해결하지 못하고 있다.

따라서, 병리학자의 개입 없이, 진단 대상 조직 전체에 대한 종합적인 종양 증식 속도를 완전히 자동화 된 방식으로 측정함으로써, 악성 종양에 대한 객관적인 병리 진단 결과를 제공할 수 있는 방법 및 장치의 제공이 요구된다.

한국공개특허 제2014-0093376호

본 발명이 해결하고자 하는 기술적 과제는, 진단 대상 조직이 포함된 조직 슬라이드 이미지에서 종양 증식 점수, 악성 종양 존재 유무 등의 병리 진단 결과를 완전히 자동화 된 방식으로 예측하는 방법 및 장치를 제공하는 것이다.

본 발명이 해결하고자 하는 다른 기술적 과제는, 진단 대상 조직에 대한 종합적인 종양 증식 점수를 제공하기 위해서, 상기 전체 슬라이드 이미지 상의 조직 영역에서 중복된 영역이 최소화되도록 복수의 패치를 샘플링하고, 샘플링 된 복수의 패치 중에서 상기 진단 대상 조직의 병리 상태를 대표할 수 있는 ROI 패치를 결정하는 방법 및 장치를 제공하는 것이다.

본 발명이 해결하고자 하는 또 다른 기술적 과제는, 진단 대상 조직에 대한 종합적인 종양 증식 점수를 제공하기 위해서, ROI 패치에서 유사 분열 세포를 정확하게 검출하는 방법 및 장치를 제공하는 것이다.

본 발명이 해결하고자 하는 또 다른 기술적 과제는, 진단 대상 조직에 대한 종합적인 종양 증식 점수를 제공하기 위해서, 상기 종양 증식 점수와 밀접하게 연관된 핵심 특징을 선정하고, 상기 핵심 특징을 이용하여 상기 종양 증식 점수를 정확하게 예측하는 방법 및 장치를 제공하는 것이다

본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

상술한 기술적 과제를 해결하기 위한 본 발명의 일 실시예에 따른 악성 종양 진단 방법은, 악성 종양 진단 장치에 의해 수행되는 악성 종양 진단 방법에 있어서, 진단 대상 조직이 포함된 조직 슬라이드 이미지에서 복수의 패치(patch)를 샘플링 하고, 패치에 포함된 세포의 개수를 기준으로 상기 복수의 패치 중에서 ROI(Region of Interest) 패치를 선정하는 단계, 컨볼루션 신경망(Convolutional Neural Network) 기반의 유사 분열 세포 검출 모델을 이용하여 상기 ROI 패치 각각에 포함된 유사 분열 세포의 개수를 카운팅 하는 단계 및 ROI 패치 별 유사 분열 세포의 개수 및 ROI 패치 별 세포의 개수를 이용하여 상기 진단 대상 조직에 대한 종양 증식 점수(tumor proliferation score)를 예측하는 단계를 포함할 수 있다.

상술한 기술적 과제를 해결하기 위한 본 발명의 다른 실시예에 따른 악성 종양 진단 장치는, 하나 이상의 프로세서, 네트워크 인터페이스, 상기 프로세서에 의하여 수행되는 컴퓨터 프로그램을 로드(Load)하는 메모리 및 진단 대상 조직이 포함된 전체 슬라이드 이미지(Whole Slide Image)를 가리키는 조직 슬라이드 이미지 및 상기 컴퓨터 프로그램을 저장하는 스토리지를 포함하되, 상기 컴퓨터 프로그램은, 진단 대상 조직이 포함된 조직 슬라이드 이미지에서 복수의 패치(patch)를 샘플링 하고, 패치에 포함된 세포의 개수를 기준으로 상기 복수의 패치 중에서 ROI(Region of Interest) 패치를 선정하는 오퍼레이션, 컨볼루션 신경망(Convolutional Neural Network) 기반의 유사 분열 세포 검출 모델을 이용하여 상기 ROI 패치 각각에 포함된 유사 분열 세포의 개수를 카운팅 하는 오퍼레이션 및 ROI 패치 별 유사 분열 세포의 개수 및 ROI 패치 별 세포의 개수를 이용하여 상기 진단 대상 조직에 대한 종양 증식 점수(tumor proliferation score)를 예측하는 오퍼레이션 을 포함할 수 있다.

상술한 기술적 과제를 해결하기 위한 본 발명의 다른 실시예에 따른 컴퓨터 프로그램은, 컴퓨팅 장치와 결합되어, 진단 대상 조직이 포함된 조직 슬라이드 이미지에서 복수의 패치(patch)를 샘플링 하고, 패치에 포함된 세포의 개수를 기준으로 상기 복수의 패치 중에서 ROI(Region of Interest) 패치를 선정하는 단계, 컨볼루션 신경망(Convolutional Neural Network) 기반의 유사 분열 세포 검출 모델을 이용하여 상기 ROI 패치 각각에 포함된 유사 분열 세포의 개수를 카운팅 하는 단계 및 ROI 패치 별 유사 분열 세포의 개수 및 ROI 패치 별 세포의 개수를 이용하여 상기 진단 대상 조직에 대한 종양 증식 점수(tumor proliferation score)를 예측하는 단계를 실행시키기 위하여 기록 매체에 저장될 수 있다.

상술한 기술적 과제를 해결하기 위한 본 발명의 또 다른 실시예에 따른 패치 샘플링 방법은, 컴퓨팅 장치가 이미지에서 패치를 샘플링 하는 방법에 있어서, 원본 이미지에서 상기 패치의 샘플링이 수행될 관심 영역을 추출하는 단계, 상기 원본 이미지를 축소하여 제1 이미지로 변환하고, 상기 제1 이미지에서 상기 관심 영역에 대응되는 영역의 각 픽셀을 제1 샘플링 포인트로 지정하는 단계, 상기 제1 이미지를 확대하여 제2 이미지로 변환하는 단계, 상기 제2 이미지 상의 상기 제1 샘플링 포인트 각각에 대응되는 제2 샘플링 포인트 중에서 중심 샘플링 포인트를 선정하되, 상기 중심 샘플링 포인트는 기 추출된 샘플링 영역에 포함되지 않은 상기 제2 샘플링 포인트 중에서 선정된 것인, 단계, 상기 중심 샘플링 포인트를 기준으로 결정되는 기 설정된 크기의 샘플링 영역을 추출하는 단계 및 상기 중심 샘플링 포인트를 선정하는 단계와 상기 샘플링 영역을 추출하는 단계를 반복하여 상기 관심 영역에서 복수의 패치를 샘플링 하는 단계를 포함할 수 있다.

상술한 기술적 과제를 해결하기 위한 본 발명의 또 다른 실시예에 따른 컴퓨팅 장치는, 하나 이상의 프로세서, 네트워크 인터페이스, 상기 프로세서에 의하여 수행되는 컴퓨터 프로그램을 로드(Load)하는 메모리 및 상기 컴퓨터 프로그램을 저장하는 스토리지를 포함하되, 상기 컴퓨터 프로그램은, 원본 이미지에서 상기 패치의 샘플링이 수행될 관심 영역을 추출하는 오퍼레이션, 상기 원본 이미지를 축소하여 제1 이미지로 변환하고, 상기 제1 이미지에서 상기 관심 영역에 대응되는 영역의 각 픽셀을 제1 샘플링 포인트로 지정하는 오퍼레이션, 상기 제1 이미지를 확대하여 제2 이미지로 변환하는 오퍼레이션, 상기 제2 이미지 상의 상기 제1 샘플링 포인트 각각에 대응되는 제2 샘플링 포인트 중에서 중심 샘플링 포인트를 선정하되, 상기 중심 샘플링 포인트는 기 추출된 샘플링 영역에 포함되지 않은 상기 제2 샘플링 포인트 중에서 선정된 것인, 오퍼레이션, 상기 중심 샘플링 포인트를 기준으로 결정되는 기 설정된 크기의 샘플링 영역을 추출하는 단계 및 상기 중심 샘플링 포인트를 선정하는 오퍼레이션과 상기 샘플링 영역을 추출하는 단계를 반복하여 상기 관심 영역에서 복수의 패치를 샘플링 하는 오퍼레이션을 포함할 수 있다.

상술한 기술적 과제를 해결하기 위한 본 발명의 또 다른 실시예에 따른 컴퓨터 프로그램은, 컴퓨팅 장치와 결합하여, 원본 이미지에서 상기 패치의 샘플링이 수행될 관심 영역을 추출하는 단계, 상기 원본 이미지를 축소하여 제1 이미지로 변환하고, 상기 제1 이미지에서 상기 관심 영역에 대응되는 영역의 각 픽셀을 제1 샘플링 포인트로 지정하는 단계, 상기 제1 이미지를 확대하여 제2 이미지로 변환하는 단계, 상기 제2 이미지 상의 상기 제1 샘플링 포인트 각각에 대응되는 제2 샘플링 포인트 중에서 중심 샘플링 포인트를 선정하되, 상기 중심 샘플링 포인트는 기 추출된 샘플링 영역에 포함되지 않은 상기 제2 샘플링 포인트 중에서 선정된 것인, 단계, 상기 중심 샘플링 포인트를 기준으로 결정되는 기 설정된 크기의 샘플링 영역을 추출하는 단계 및 상기 중심 샘플링 포인트를 선정하는 단계와 상기 샘플링 영역을 추출하는 단계를 반복하여 상기 관심 영역에서 복수의 패치를 샘플링 하는 단계를 실행시키기 위해서 기록 매체에 저장될 수 있다.

상술한 기술적 과제를 해결하기 위한 본 발명의 또 다른 실시예에 따른 컨볼루션 신경망 기반의 기계 학습 모델 구축 방법은, 컴퓨팅 장치에 의해 수행되는 컨볼루션 신경망(Convolutional Neural Network) 기반의 기계 학습 모델 구축 방법에 있어서, 제1 트레이닝 데이터셋을 이용하여 컨볼루션 신경망 기반의 제1 기계 학습 모델을 트레이닝 하는 단계, 테스트 데이터셋을 이용하여 상기 제1 기계 학습 모델을 평가하는 단계, 상기 테스트 데이터셋에 포함된 이미지 데이터 중에서 평가 결과가 FP(False Positive)로 판정된 이미지 데이터를 이용하여 FP 데이터셋을 생성하는 단계 및 상기 FP 데이터셋이 포함된 제2 트레이닝 데이터셋을 이용하여, 초기화 된 컨볼루션 신경망 기반의 기계 학습 모델인 제2 기계 학습 모델을 트레이닝 하는 단계를 포함할 수 있다.

상술한 기술적 과제를 해결하기 위한 본 발명의 또 다른 실시예에 따른 컴퓨팅 장치는, 하나 이상의 프로세서, 네트워크 인터페이스, 상기 프로세서에 의하여 수행되는 컴퓨터 프로그램을 로드(Load)하는 메모리 및 상기 컴퓨터 프로그램을 저장하는 스토리지를 포함하되, 상기 컴퓨터 프로그램은, 제1 트레이닝 데이터셋을 이용하여 컨볼루션 신경망 기반의 제1 기계 학습 모델을 트레이닝 하는 오퍼레이션, 테스트 데이터셋을 이용하여 상기 제1 기계 학습 모델을 평가하는 오퍼레이션, 상기 테스트 데이터셋에 포함된 이미지 데이터 중에서 평가 결과가 FP(False Positive)로 판정된 이미지 데이터를 이용하여 FP 데이터셋을 생성하는 오퍼레이션 및 상기 FP 데이터셋이 포함된 제2 트레이닝 데이터셋을 이용하여, 초기화 된 컨볼루션 신경망 기반의 기계 학습 모델인 제2 기계 학습 모델을 트레이닝 하는 오퍼레이션을 포함할 수 있다.

상술한 기술적 과제를 해결하기 위한 본 발명의 또 다른 실시예에 따른 컴퓨터 프로그램은, 컴퓨팅 장치와 결합하여, 제1 트레이닝 데이터셋을 이용하여 컨볼루션 신경망 기반의 제1 기계 학습 모델을 트레이닝 하는 단계, 테스트 데이터셋을 이용하여 상기 제1 기계 학습 모델을 평가하는 단계, 상기 테스트 데이터셋에 포함된 이미지 데이터 중에서 평가 결과가 FP(False Positive)로 판정된 이미지 데이터를 이용하여 FP 데이터셋을 생성하는 단계 및 상기 FP 데이터셋이 포함된 제2 트레이닝 데이터셋을 이용하여, 초기화 된 컨볼루션 신경망 기반의 기계 학습 모델인 제2 기계 학습 모델을 트레이닝 하는 단계를 실행시키기 위해서 기록 매체에 저장될 수 있다.

상술한 기술적 과제를 해결하기 위한 본 발명의 또 다른 실시예에 따른 관심 객체 검출 방법은, 컴퓨팅 장치에 의해 수행되는 관심 객체 검출 방법에 있어서, 관심 객체에 대한 분류 결과가 주어진 제1 이미지를 이용하여, 컨볼루션 신경망(Convolutional Neural Network) 기반의 제1 기계 학습 모델을 트레이닝 하는 단계, 상기 제1 기계 학습 모델을 컨볼루션 연산을 수행하는 레이어로만 구성된 제2 기계 학습 모델로 전환하는 단계, 적어도 하나의 관심 객체가 포함된 제2 이미지를 상기 제2 기계 학습 모델에 입력하여, 관심 객체 별 특징 맵(feature map)을 가리키는 클래스 액티베이션 맵(class activation map)을 추출하되, 상기 제2 이미지는 상기 제1 이미지보다 더 큰 넓이를 갖는 이미지인, 단계 및 상기 클래스 액티베이션 맵에서, 액티베이션 값이 임계 값 이상인 좌표로 구성되는 각각의 영역을 상기 관심 객체에 대응되는 영역으로 검출하는 단계를 포함할 수 있다.

상술한 기술적 과제를 해결하기 위한 본 발명의 또 다른 실시예에 따른 컴퓨팅 장치는, 하나 이상의 프로세서, 네트워크 인터페이스, 상기 프로세서에 의하여 수행되는 컴퓨터 프로그램을 로드(Load)하는 메모리 및 상기 컴퓨터 프로그램을 저장하는 스토리지를 포함하되, 상기 컴퓨터 프로그램은, 관심 객체에 대한 분류 결과가 주어진 제1 이미지를 이용하여, 컨볼루션 신경망(Convolutional Neural Network) 기반의 제1 기계 학습 모델을 트레이닝 하는 오퍼레이션, 상기 제1 기계 학습 모델을 컨볼루션 연산을 수행하는 레이어로만 구성된 제2 기계 학습 모델로 전환하는 오퍼레이션, 적어도 하나의 관심 객체가 포함된 제2 이미지를 상기 제2 기계 학습 모델에 입력하여, 관심 객체 별 특징 맵(feature map)을 가리키는 클래스 액티베이션 맵(class activation map)을 추출하되, 상기 제2 이미지는 상기 제1 이미지보다 더 큰 넓이를 갖는 이미지인, 오퍼레이션 및 상기 클래스 액티베이션 맵에서, 액티베이션 값이 임계 값 이상인 좌표로 구성되는 각각의 영역을 상기 관심 객체에 대응되는 영역으로 검출하는 오퍼레이션 을 포함할 수 있다.

상술한 기술적 과제를 해결하기 위한 본 발명의 또 다른 실시예에 따른 컴퓨터 프로그램은, 컴퓨팅 장치와 결합하여, 관심 객체에 대한 분류 결과가 주어진 제1 이미지를 이용하여, 컨볼루션 신경망(Convolutional Neural Network) 기반의 제1 기계 학습 모델을 트레이닝 하는 단계, 상기 제1 기계 학습 모델을 컨볼루션 연산을 수행하는 레이어로만 구성된 제2 기계 학습 모델로 전환하는 단계, 적어도 하나의 관심 객체가 포함된 제2 이미지를 상기 제2 기계 학습 모델에 입력하여, 관심 객체 별 특징 맵(feature map)을 가리키는 클래스 액티베이션 맵(class activation map)을 추출하되, 상기 제2 이미지는 상기 제1 이미지보다 더 큰 넓이를 갖는 이미지인, 단계 및 상기 클래스 액티베이션 맵에서, 액티베이션 값이 임계 값 이상인 좌표로 구성되는 각각의 영역을 상기 관심 객체에 대응되는 영역으로 검출하는 단계를 실행시키기 위해서 기록 매체에 저장될 수 있다.

상술한 본 발명에 따르면, 진단 대상 조직이 포함된 전체 슬라이드 이미지를 가리키는 조직 슬라이드 이미지가 주어진 경우 병리학자의 개입 없이 완전히 자동화 된 방식으로 종양 증식 속도가 예측될 수 있다. 이에 따라, 병리학자의 개입에 따른 시간적, 경제적 비용이 크게 절감될 수 있다. 또한, 본 발명에 의해 제공되는 종양 증식 속도에 관한 정보는 객관적이고 정확한 정보이기 때문에, 보조적인 병리 진단 정보이자 객관적인 환자의 예후 정보로 폭넓게 활용될 수 있다.

또한, 조직 슬라이드 이미지로부터 중복된 영역이 최소화되도록 패치를 샘플링 함으로써, 진단 대상 조직에 대한 종합적인 조직 증식 속도가 정확하게 예측될 수 있다.

또한, 샘플링 된 패치 중에서 세포의 밀집도 높은 패치를 진단 대상 조직을 대표하는 ROI 패치로 결정하고, 상기 ROI 패치에 대해서만 유사 분열 세포를 검출함으로써, 종합적인 조직 증식 속도를 예측하기 위해 소요되는 시간 비용 및 컴퓨팅 비용이 크게 절감될 수 있다.

또한, 유사 분열 세포 검출 모델을 컨볼루션 연산을 수행하는 레이어로만 구성함으로써, ROI 패치를 크기가 작은 부분 패치로 분할하지 않고 상기 ROI 패치가 곧바로 유사 분열 세포 검출 모델에 입력될 수 있다. 이에 따라, 각 ROI 패치에 포함된 유사 분열 세포를 검출하는데 소요되는 시간 비용 및 컴퓨팅 비용이 크게 절감될 수 있다.

또한, 유사 분열 세포 검출 모델은 2 단계 트레이닝을 통해 FP(False Positive) 오류가 최소화되고, 제로 패딩(zero padding) 부분을 고려하여 트레이닝이 수행된다. 이에 따라, 유사 분열 세포 검출의 정확성이 더욱 향상될 수 있다.

또한, ROI 패치 별 유사 분열 세포의 개수 및 세포의 개수를 기초로 다양한 특징을 도출하고, 상기 특징 중에서 종양 증식 점수와 밀접하게 연관된 핵심 특징이 선정된다. 이에 따라, 종양 증식 점수 예측의 정확성이 향상될 수 있다. 또한, 핵심 특징 선정에 따라 특징 벡터의 차원이 감소됨으로써 종양 증식 점수 예측 모델 트레이닝에 소요되는 컴퓨팅 비용 및 시간 비용이 크게 절감되고, 학습의 효율성은 향상될 수 있다.

본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

도 1 내지 도 4는 본 발명의 일 실시예에 따른 악성 종양 진단 장치의 기능 블록도이다.
도 5는 본 발명의 다른 실시예에 따른 악성 종양 진단 장치의 하드웨어 구성도이다.
도 6은 본 발명의 또 다른 실시예에 따른 악성 종양 진단 방법의 순서도이다.
도 7 내지 도 11b는 본 발명의 몇몇 실시예에서 참조될 수 있는, ROI 패치 결정 방법을 설명하기 위한 도면이다.
도 12 내지 도 14는 본 발명의 몇몇 실시예에서 참조될 수 있는, 유사 분열 세포 검출 모델 구축방법을 설명하기 위한 도면이다.
도 15 내지 도 17은 본 발명의 몇몇 실시예에서 참조될 수 있는, 유사 분열 세포 검출 방법을 설명하기 위한 도면이다.
도 18 내지 도 21은 본 발명의 몇몇 실시예에서 참조될 수 있는, 종양 증식 점수 예측 모델 구축 방법을 설명하기 위한 도면이다.
도 22는 종양 증식 점수 예측 모델을 이용하여 진단 대상 조직에 대한 종양 증식 점수를 예측하는 방법의 순서도이다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 공통으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다. 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다.

명세서에서 사용되는 "포함한다 (comprises)" 및/또는 "포함하는 (comprising)"은 언급된 구성 요소, 오퍼레이션 및/또는 동작은 하나 이상의 다른 구성 요소, 오퍼레이션 및/또는 동작의 존재 또는 추가를 배제하지 않는다.

이하, 본 발명에 대하여 첨부된 도면에 따라 보다 상세히 설명한다.

악성 종양 진단 장치(100)

이하에서는 도 1 내지 도 5를 참조하여 본 발명의 실시예에 따른 악성 종양 진단 장치에 대하여 설명한다.

도 1은 본 발명의 일 실시예에 따른 악성 종양 진단 장치의 기능 블록도이다.

도 1을 참조하면, 악성 종양 진단 장치(100)는 진단 대상 조직이 포함된 전체 슬라이드 이미지(1, 이하 '조직 슬라이드 이미지')가 입력된 경우, 상기 진단 대상 조직에서 악성 종양과 관련된 생체 지표를 검출하고, 상기 생체 지표를 기초로 악성 종양의 존재 유무 및 위치, 유사 분열 세포(mitosis)의 개수 및 위치, 악성 종양의 증식 속도 등 다양한 병리 진단 결과(6)를 출력하는 컴퓨팅 장치이다. 예를 들어, 악성 종양 진단 장치(100)는 조직 슬라이드 이미지에서 유사 분열 세포를 검출하고, 검출된 유사 분열 세포의 개수를 이용하여 종양 증식 속도를 수치화 한 값인 종양 증식 점수(tumor proliferation score)를 예측하여 제공할 수 있다.

이외에도, 악성 종양 진단 장치(100)는 상기 유사 분열 세포의 개수 및 위치를 이용하여 악성 종양의 존재 유무 및 위치에 관한 정보를 제공할 수도 있다. 참고로, 상기 종양 증식 점수는 악성 종양과 관련된 중요한 예후 인자 중 하나이기 때문에, 환자의 예후를 예측하거나 치료 계획을 수립하는 등 다양한 방면에 활용될 수 있다.

상기 컴퓨팅 장치는, 노트북, 데스크톱(desktop), 랩탑(laptop), 등이 될 수 있으나, 이에 국한되는 것은 아니며 컴퓨팅 기능이 구비된 모든 종류의 장치를 포함할 수 있다. 단, 병리 진단 결과(6)를 도출하기 위해서, 고해상도 조직 슬라이드 이미지에 대한 이미지 처리(image processing), 유사 분열 세포 검출을 위해 선행되는 기계 학습(machine learning) 등의 컴퓨팅 처리가 수행되는 바 고성능의 서버로 구현되는 것이 바람직할 수 있다.

악성 종양 진단 장치(100)는 이미지 처리부(110), 검출부(120) 및 진단부(130)를 포함할 수 있다. 다만, 도 1에는 본 발명의 실시예와 관련 있는 구성요소들만이 도시되어 있다. 따라서, 본 발명이 속한 기술분야의 통상의 기술자라면 도 1에 도시된 구성요소들 외에 다른 범용적인 구성 요소들이 더 포함될 수 있음을 알 수 있다.

이미지 처리부(110)는 조직 슬라이드 이미지(1)에 대한 다양한 이미지 처리를 수행하여 진단 대상 조직 영역을 추출하고, 최종적으로 관심 영역을 가리키는 ROI 패치를 결정한다. 이미지 처리부(110)에 대한 자세한 설명은 도 2를 참조하여 후술하기로 한다.

검출부(120)는 ROI 패치 각각에 대하여 컨볼루션 신경망(Convolutional Neural Network; CNN) 기반의 유사 분열 세포 검출 모델을 이용하여 유사 분열 세포의 개수 및 위치 등의 생체 지표를 검출한다. 검출부(120)에 자세한 설명은 도 3을 참조하여 후술하기로 한다.

진단부(130)는 검출부(120)에 의해 검출된 생체 지표를 기초로 진단 대상 조직에 대한 다양한 병리 진단 결과를 도출한다. 예를 들어, 진단 대상 조직에 대한 종합적인 종양 증식 점수가 도출될 수 있다. 진단부(130)에 자세한 설명은 도 4를 참조하여 후술하기로 한다.

참고로, 도 1에서 이미지 처리부(110), 검출부(120) 및 진단부(130)는 동일한 장치 내에 구현된 것으로 도시되어 있으나, 실시예에 따라 각 기능 블록(110, 120, 130)은 독립된 장치로 구현될 수도 있다. 예를 들어, 각 기능 블록(110, 120, 130)은 이미지 처리 장치, 검출 장치 및 진단 장치와 같이 독립된 장치로 구현될 수 있다. 또한, 각 장치들은 네트워크를 통해 연결됨으로써 악성 종양 진단 시스템을 구성할 수 있다. 정리하면, 실시예에 따라 본 발명의 기술적 사상은 하나의 컴퓨팅 장치로 구현될 수 있고, 복수의 컴퓨팅 장치가 협력하여 수행되는 분산 시스템으로 구현될 수도 있다.

지금까지 도 1을 참조하여 본 발명의 일 실시예에 따른 악성 종양 진단 장치(100)에 대하여 설명하였다. 다음으로, 악성 종양 진단 장치(100)를 구성하는 각 기능 블록에 대하여 도 2 내지 도 4를 참조하여 보다 상세하게 설명한다.

도 2는 이미지 처리부(110)의 상세 기능 블록도이다.

도 2를 참조하면, 이미지 처리부(110)는 조직 영역 추출부(111), 패치 샘플링부(112), 관심 영역 결정부(113)를 포함할 수 있다. 다만, 도 2에는 본 발명의 실시예와 관련 있는 구성요소들만이 도시되어 있다. 따라서, 본 발명이 속한 기술분야의 통상의 기술자라면 도 2에 도시된 구성요소들 외에 다른 범용적인 구성 요소들이 더 포함될 수 있음을 알 수 있다.

각 구성 요소를 살펴보면, 조직 영역 추출부(111)는 조직 슬라이드 이미지(1)에서 진단 대상 조직이 위치한 조직 영역을 추출한다. 조직 영역 추출부(111)는 상기 진단 대상 조직이 위치한 영역을 추출하기 위해서 당해 기술 분야에서 널리 알려진 영상 처리 알고리즘을 이용할 수 있다. 이에 대한 자세한 설명은 도 6 및 도 7을 참조하여 후술하기로 한다.

패치 샘플링부(112)는 조직 슬라이드 이미지(1) 상의 조직 영역에서 적어나 하나의 패치(patch)를 샘플링(sampling) 한다. 이때, 패치가 가리키는 샘플링 영역이 중복될수록, 유사 분열 세포 또한 중복 검출될 수 있고, 샘플링 되는 패치의 개수 또한 증가될 수 있기 때문에, 진단 대상 조직에 대한 병리 진단 결과는 부정확해지고 컴퓨팅 비용은 증가되는 문제점이 야기될 수 있다. 따라서, 패치 샘플링부(112)는 중복된 영역이 최소화되도록 적어도 하나의 패치를 샘플링 한다. 이에 대한 상세한 설명은 도 10a 내지 도 10e를 참조하여 후술하기로 한다.

관심 영역 결정부(113)는 샘플링 된 패치 중에서 관심 영역(region of interest; ROI)을 가리키는 ROI 패치(2a 내지 2c)를 선정한다. 상기 ROI 패치(2a 내지 2c)는 진단 대상 조직의 병리 상태를 대표할 수 있는 패치를 의미한다. 즉, 상기 ROI 패치(2a 내지 2c) 각각에서 검출된 병리 정보를 기초로 진단 대상 조직에 대한 종합적인 병리 진단 결과가 도출된다. 상기 ROI 패치(2a 내지 2c)를 결정하기 위해 관심 영역 결정부(113)는 샘플링 된 패치 각각에 대하여 세포의 밀집도를 계산하고, 상기 밀집도를 기초로 샘플링 된 패치 중에서 ROI 패치를 선정한다. 이에 대한 상세한 설명은 도 6 및 도 7을 참조하여 후술하기로 한다.

한편, 도 2에는 도시되어 있지 않으나, 이미지 처리부(110)는 정규화부(미도시)를 더 포함할 수 있다. 정규화부는 ROI 패치(2a 내지 2c)에 대한 색상 정규화(color normalization)를 수행할 수 있다. 이에 대한 설명은 도 7을 참조하여 후술하기로 한다.

다음으로, 도 3은 검출부(120)의 상세 기능 블록도이다.

도 3을 참조하면, 검출부(120)는 유사 분열 세포 검출 모델 구축부(121) 및 유사 분열 세포 검출부(122)를 포함할 수 있다. 다만, 도 3에는 본 발명의 실시예와 관련 있는 구성요소들만이 도시되어 있다. 따라서, 본 발명이 속한 기술분야의 통상의 기술자라면 도 3에 도시된 구성요소들 외에 다른 범용적인 구성 요소들이 더 포함될 수 있음을 알 수 있다.

각 구성 요소를 살펴보면, 유사 분열 세포 검출 모델 구축부(121)는 제1 모델 구축부(121a) 및 제2 모델 구축부(121b)를 이용하여 2 단계 트레이닝을 수행할 수 있다.

1 번째 트레이닝 단계에서 제1 모델 구축부(121a)는 트레이닝 데이터셋(3)을 이용하여 컨볼루션 신경망 기반의 제1 유사 분열 세포 검출 모델을 구축한다. 또한, 제1 모델 구축부(121a)는 테스트 데이터셋(4)을 이용하여 구축된 제1 유사 분열 세포 검출 모델에 대한 검증을 수행하고, 검증 결과가 FP(False Positive)로 판정된 이미지 데이터를 수집하여 FP 데이터셋을 생성할 수 있다. 이때, FP 데이터셋의 개수를 늘리기 위해 당해 기술 분야에서 널리 알려진 데이터 확장(data augmentation) 기법이 이용될 수 있다.

2 번째 트레이닝 단계에서 제2 모델 구축부(121b)는 상기 FP 데이터셋 및 트레이닝 데이터셋(3)을 이용하여 초기화된 상태의 제2 유사 분열 세포 검출 모델을 처음부터 다시 트레이닝 한다. 이와 같은 상기 2 단계 트레이닝을 통해 FP 오류가 감소되고 정확도가 향상 된 유사 분열 세포 검출 모델이 구축될 수 있다. 유사 분열 세포 검출 모델 구축부(121)가 수행하는 기능에 대한 보다 자세한 설명은 도 12 내지 도 14를 참조하여 후술하기로 한다.

유사 분열 세포 검출부(122)는 기 구축된 컨볼루션 신경망 기반의 유사 분열 세포 검출 모델을 이용하여 ROI 패치(2a 내지 2c) 각각에 대하여 유사 분열 세포의 개수(5) 또는 위치를 검출한다. 상기 유사 분열 세포 검출 모델이 완전 연결 레이어(fully connected layer)를 포함하여 구성되는 경우, 유사 분열 세포 검출부(122)는 유사 분열 세포 검출 모델을 컨볼루션 연산을 수행하는 레이어로만 구성되도록 전환할 수 있다. 즉, 유사 분열 세포 검출부(122)는 완전한 컨볼루션 네트워크(fully convolutional network; FCN)으로 구성된 유사 분열 세포 검출 모델을 이용하여 컴퓨팅 비용 측면에서 보다 효율적으로 검출 과정을 수행할 수 있다. 이에 대한 상세한 설명은 도 15 내지 도 17을 참조하여 후술하기로 한다.

다음으로, 도 4는 진단부(130)의 상세 기능 블록도이다.

도 4를 참조하면, 진단부(130)는 특징 생성부(131), 핵심 특징 결정부(132) 및 종양 증식 속도 예측부(133)를 포함할 수 있다. 다만, 도 4에는 본 발명의 실시예와 관련 있는 구성요소들만이 도시되어 있다. 따라서, 본 발명이 속한 기술분야의 통상의 기술자라면 도 4에 도시된 구성요소들 외에 다른 범용적인 구성 요소들이 더 포함될 수 있음을 알 수 있다.

각 구성 요소를 살펴보면, 특징 생성부(131)는 ROI 패치 별 유사 분열 세포의 개수, ROI 패치 별 세포의 개수를 기초로 기 정의된 특징에 대한 특징 값을 산출한다. 상기 기 정의된 특징은 예를 들어 다양한 통계 정보에 기초한 것일 수 있다. 상기 기 정의된 특징의 예는 표 1을 참조한다.

핵심 특징 결정부(132)는 종양 증식 속도 예측 모델 트레이닝 단계에서 종양 증식 속도와 밀접하게 연관된 핵심 특징을 결정한다. 핵심 특징 결정부(132)는 이를 위해 당해 기술 분야에서 널리 알려진 적어도 하나의 특징 선택 알고리즘을 수행할 수 있다. 이에 대한 상세한 설명은 도 18 내지 도 21을 참조하여 후술하기로 한다.

종양 증식 속도 예측부(133)는 기계 학습 모델 기반의 종양 증식 속도 예측 모델을 이용하여 병리 진단 결과 중 하나인 종양 증식 점수(6a)를 예측한다. 이에 대한 상세한 설명은 도 22를 참조하여 후술하기로 한다.

지금까지 설명한 도 1 내지 도 4의 각 구성 요소는 소프트웨어(Software) 또는, FPGA(Field Programmable Gate Array)나 ASIC(Application-Specific Integrated Circuit)과 같은 하드웨어(Hardware)를 의미할 수 있다. 그렇지만, 상기 구성 요소들은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, 어드레싱(Addressing)할 수 있는 저장 매체에 있도록 구성될 수도 있고, 하나 또는 그 이상의 프로세서들을 실행시키도록 구성될 수도 있다. 상기 구성 요소들 안에서 제공되는 기능은 더 세분화된 구성 요소에 의하여 구현될 수 있으며, 복수의 구성 요소들을 합하여 특정한 기능을 수행하는 하나의 구성 요소로 구현될 수도 있다.

지금까지 도 1 내지 도 4를 참조하여 본 발명의 일 실시예에 따른 악성 종양 진단 장치(100)의 기능 블록에 대하여 설명하였다. 다음으로, 본 발명의 다른 실시예에 따른 악성 종양 진단 장치(100)의 구성 및 동작에 대하여 도 5을 참조하여 설명한다.

도 5는 본 발명의 다른 실시예에 따른 악성 종양 진단 장치(100)의 하드웨어 구성도이다.

도 5를 참조하면, 악성 종양 진단 장치(100)는 하나 이상의 프로세서(101), 버스(105), 네트워크 인터페이스(107), 프로세서(101)에 의하여 수행되는 컴퓨터 프로그램을 로드(load)하는 메모리(103)와, 악성 종양 진단 소프트웨어(109a) 및 조직 슬라이드 이미지(109b)를 저장하는 스토리지(109)를 포함할 수 있다. 다만, 도 5에는 본 발명의 실시예와 관련 있는 구성요소들만이 도시되어 있다. 따라서, 본 발명이 속한 기술분야의 통상의 기술자라면 도 5에 도시된 구성요소들 외에 다른 범용적인 구성 요소들이 더 포함될 수 있음을 알 수 있다.

프로세서(101)는 악성 종양 진단 장치(100)의 각 구성의 전반적인 동작을 제어한다. 프로세서(101)는 CPU(Central Processing Unit), MPU(Micro Processor Unit), MCU(Micro Controller Unit), GPU(Graphic Processing Unit) 또는 본 발명의 기술 분야에 잘 알려진 임의의 형태의 프로세서를 포함하여 구성될 수 있다. 또한, 프로세서(101)는 본 발명의 실시예들에 따른 방법을 실행하기 위한 적어도 하나의 애플리케이션 또는 프로그램에 대한 연산을 수행할 수 있다. 악성 종양 진단 장치(100)는 하나 이상의 프로세서를 구비할 수 있다.

메모리(103)는 각종 데이터, 명령 및/또는 정보를 저장한다. 메모리(103)는 본 발명의 실시예들에 따른 악성 종양 진단 방법을 실행하기 위하여 스토리지(109)로부터 하나 이상의 프로그램(109a)을 로드할 수 있다. 도 6에서 메모리(103)의 예시로 RAM이 도시되었다.

버스(105)는 악성 종양 진단 장치(100)의 구성 요소 간 통신 기능을 제공한다. 버스(105)는 주소 버스(Address Bus), 데이터 버스(Data Bus) 및 제어 버스(Control Bus) 등 다양한 형태의 버스로 구현될 수 있다.

네트워크 인터페이스(107)는 악성 종양 진단 장치(100)의 유무선 인터넷 통신을 지원한다. 또한, 네트워크 인터페이스(107)는 인터넷 통신 외의 다양한 통신 방식을 지원할 수도 있다. 이를 위해, 네트워크 인터페이스(107)는 본 발명의 기술 분야에 잘 알려진 통신 모듈을 포함하여 구성될 수 있다.

스토리지(109)는 조직 슬라이드 이미지(109b), 상기 하나 이상의 프로그램(109a)을 비임시적으로 저장할 수 있다. 도 5에서 상기 하나 이상의 프로그램(109a)의 예시로 악성 종양 진단 소프트웨어(109a)가 도시되었다.

스토리지(109)는 ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리 등과 같은 비휘발성 메모리, 하드 디스크, 착탈형 디스크, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터로 읽을 수 있는 기록 매체를 포함하여 구성될 수 있다.

악성 종양 진단 소프트웨어(109a)는 본 발명의 실시예에 따라 조직 슬라이드 이미지로부터 다양한 생체 지표를 검출하고, 상기 생체 지표를 기초로 진단 대상 조직 대한 병리 진단 결과를 출력할 수 있다.

구체적으로, 악성 종양 진단 소프트웨어(109a)는 진단 대상 조직이 포함된 조직 슬라이드 이미지에서 복수의 패치(patch)를 샘플링 하고, 패치에 포함된 세포의 개수를 기준으로 상기 복수의 패치 중에서 ROI(Region of Interest) 패치를 선정하는 오퍼레이션, 컨볼루션 신경망(Convolutional Neural Network) 기반의 유사 분열 세포 검출 모델을 이용하여 상기 ROI 패치 각각에 포함된 유사 분열 세포의 개수를 카운팅 하는 오퍼레이션 및 ROI 패치 별 유사 분열 세포의 개수 및 ROI 패치 별 세포의 개수를 이용하여 상기 진단 대상 조직에 대한 종양 증식 점수(tumor proliferation score)를 예측하는 오퍼레이션 을 포함할 수 있다.

지금까지, 도 5를 참조하여 본 발명의 실시예에 따른 악성 종양 진단 장치(100)의 하드웨어 구성에 대하여 설명하였다. 다음으로, 본 발명의 또 다른 실시예에 따른 악성 종양 진단 방법에 대하여 설명한다.

악성 종양 진단 방법

이하에서는, 도 6 내지 도 22를 참조하여 본 발명의 실시예에 따른 악성 종양 진단 방법에 대하여 설명하기로 한다. 지금부터 후술할 악성 종양 진단 방법은 컴퓨팅 장치에 의해 수행될 수 있다. 예를 들어, 상기 컴퓨팅 장치는 악성 종양 진단 장치(100)일 수 있다. 단, 이해의 편의를 위해 상기 악성 종양 진단 방법에 포함되는 각 동작의 주체는 생략될 수 있다. 참고로, 악성 종양 진단 방법의 각 단계는 악성 종양 진단 소프트웨어(109a)가 프로세서(101)에 의해 실행됨으로써, 악성 종양 진단 장치(100)에서 수행되는 오퍼레이션일 수 있다.

도 6은 본 발명의 실시예에 따른 악성 종양 진단 방법의 순서도이다. 단, 이는 본 발명의 목적을 달성하기 위한 바람직한 실시예일 뿐이며, 필요에 따라 일부 단계가 추가되거나 삭제될 수 있음은 물론이다.

도 6을 참조하면, 진단 대상 조직 이미지가 포함된 조직 대상 이미지가 획득된다(S100). 여기서, 상기 조직 슬라이드 이미지는 예를 들어 디지털 병리 장비에 의해 스캔 된 디지털 이미지를 의미할 수 있다. 상기 스캔 된 디지털 이미지는 수백 내지 수천 배로 확대가 가능한 고해상도 이미지이기 때문에, 일반적으로 상기 조직 슬라이드 이미지는 매우 대용량의 이미지로 구현된다.

다음으로, 조직 슬라이드 이미지 상의 조직 영역에서 적어도 하나의 패치가 샘플링 되고, 각 패치에 포함된 세포의 개수를 기준으로 상기 패치 중에서 진단 대상 조직의 병리 상태를 대표하는 적어도 하나의 ROI 패치가 결정된다(S110). ROI 패치를 결정하는 단계(S110)에 대한 상세한 설명은 도 7 내지 도 11b를 참조하여 후술하기로 한다.

다음으로, 컨볼루션 신경망 기반의 유사 분열 세포 검출 모델을 이용하여 각 ROI 패치에 포함된 유사 분열 세포가 검출된다(S120). 상기 컨볼루션 신경망은 영상 인식 분야에 특화된 딥 러닝(deep learning) 기법으로, 이는 이미 당해 기술 분야에서 널리 알려진 기술인 바 이에 대한 자세한 설명은 생략하도록 한다.

보다 자세하게는, 트레이닝 된 유사 분열 세포 검출 모델을 이용하여 각 ROI 패치 별로 유사 분열 세포의 존재 유무, 유사 분열 세포의 개수 및 위치 등의 다양한 생체 지표가 도출될 수 있다. 유사 분열 세포 검출 단계(S120)에 대한 상세한 설명은 도 12 내지 도 17을 참조하여 후술하기로 한다.

다음으로, ROI 패치 별 세포의 개수 및 ROI 패치 별 유사 분열 세포의 개수 등의 생체 지표를 이용하여 진단 대상 조직에 대한 병리 진단 결과가 예측된다(S130). 여기서, 상기 병리 진단 결과는 예를 들어 악성 종양의 존재 여부, 악성 종양의 위치, 종양 증식 점수 등을 포함할 수 있다.

일 실시예에서, ROI 패치 별 세포의 개수 및 유사 분열 세포의 개수를 기초로 특징 벡터(feature vector)가 생성되고, 상기 특징 벡터를 SVM(Support Vector Machine)과 같이 기계 학습 기반의 예측기(predictor)에 입력하여 종양 증식 점수가 예측될 수 있다. 여기서, 상기 예측기는 분류기(classifier)와 회귀기(regressor)가 포함되는 개념이다. 즉, 실시예에 따라 상기 종양 증식 점수는 분류기를 통해 이산적인 값의 형태로 출력될 수 있고, 회귀기를 통해 연속적인 값의 형태로 출력될 수도 있다. 본 실시예에 따른 종양 증식 점수 예측 방법에 대한 보다 자세한 설명은 도 18 내지 도 22를 참조하여 후술하기로 한다.

다른 실시예에서, ROI 패치 별 세포의 개수, ROI 패치 별 유사 분열 세포의 개수를 이용하여 진단 대상 조직에 악성 종양이 존재하는지 여부, 악성 종양의 위치 등의 병리 진단 결과가 예측될 수 있다. 예를 들어, 세포의 개수와 유사 분열 세포의 개수의 비율이 소정의 임계 값 이상인 적어도 하나의 ROI 패치가 존재하는 경우, 상기 적어도 하나의 ROI 패치에 대응되는 진단 대상 조직의 영역에 악성 종양이 존재한다는 병리 진단 결과가 예측될 수 있다. 단, 실시예에 따라 종양 증식 점수를 예측하는 방법과 같이 SVM 등의 분류기를 이용하여 악성 종양 존재 여부에 대한 병리 진단 결과가 예측될 수도 있다.

지금까지 도 6을 참조하여, 본 발명의 실시예에 따른 악성 종양 진단 방법에 대하여 설명하였다. 상기 악성 종양 진단 방법은 병리학자의 개입 없이 컴퓨팅 장치에 의해 완전히 자동화 된 방식으로 수행될 수 있다. 따라서, 상술한 방법에 따르면, 병리학자의 개입에 따른 시간적 비용 및 경제적 비용이 크게 절감될 수 있다. 또한, 객관적이고 정확한 종양 증식 속도가 제공될 수 있는 바, 이는 보조적인 병리 진단 정보이자 객관적인 환자의 예후 정보로 폭넓게 활용될 수 있다.

악성 종양 진단 방법 - ROI 패치 결정 단계(S110)

이하에서는, 도 7 내지 도 11b를 참조하여 ROI 패치 결정 단계(S110)에 대하여 상세하게 설명한다.

도 7은 ROI 패치 결정 단계(S110)의 상세 순서도이고, 도 8은 상기 ROI 패치 결정 단계(S110)의 예시도이다.

도 7 및 도 8을 참조하면, 영상 이진화(image binarization or image thresholding)와 같이 배경과 전경을 분리하는 영상 처리 기법을 통해 조직 슬라이드 이미지에서 진단 대상 조직이 위치한 조직 영역이 추출된다(S111). 보다 자세하게는, 영상 이진화 기법을 이용하여 배경과 전경 분리에 이용되는 임계 값이 결정되고, 조직 슬라이드 이미지에서 픽셀 값이 상기 임계 값 이상인 적어도 하나의 블롭(blob)이 추출될 수 있다. 또한, 상기 적어도 하나의 블롭을 연결하여 형성된 영역이 진단 대상 조직이 위치하는 조직 영역으로 추출될 수 있다. 참고로, 추출된 블롭 중에서 노이즈에 해당하는 일부 블롭을 제거하기 위해 모폴로지 연산(morphological operation)이 수행될 수도 있다.

일 실시예에서, 전경과 배경 분리의 기준이 되는 임계 값을 결정하기 위해 오츠 기법(Otsu's method)이 적용될 수 있다. 상기 오츠 기법은 입력 영상의 밝기 분포를 이용하여 임계 값을 구하는 영상 처리 알고리즘 중 하나이다. 상기 오츠 기법은 당해 기술 분야에서 널리 알려진 알고리즘인 바 이에 대한 자세한 설명은 생략하도록 한다.

다른 실시예에서, 오츠 기법과 같이 고정된 임계 값을 결정하는 알고리즘이 아니라, 픽셀에 따라 가변적인 임계 값을 적용하는 가변적 이진화(adaptive thresholding) 기법이 적용될 수도 있다.

또한, 이외에도 당해 기술 분야에서 널리 알려진 적어도 하나의 영상 이진화 기법 또는 영상 처리 알고리즘을 이용하여 조직 영역이 추출될 수 있다.

상술한 실시예에 따르면, 도 8에 도시된 바와 같이, 조직 슬라이드 이미지(10)에서 진단 대상 조직을 가리키는 조직 영역(11)이 추출될 수 있다.

다음으로, 조직 영역에서 적어도 하나의 패치가 샘플링 된다(S112). 예를 들어, 도 8에 도시된 바와 같이, 조직 영역(11)에서 적어도 하나의 패치(12a 내지 12c)가 샘플링 되는 것으로 이해 될 수 있다. 패치를 샘플링 하는 방법에 관한 자세한 설명은 도 10 내지 도 11e를 참조하여 보다 상세하게 설명하기로 한다.

상기 패치의 크기는 기 설정되어 있을 수 있으나, 실시예에 따라 조직 슬라이드 이미지의 크기 및 추출할 패치의 개수를 기준으로 자동으로 결정될 수도 있다.

일 실시예에서, 상기 패치의 크기는 10 HPF(High Power Field)일 수 있다. 10 HPF는 현미경의 고배율 시야로 관측되는 10 개의 관측 영역을 의미한다. 패치의 크기를 10 HPF로 설정하는 경우, 다음과 같은 장점이 있을 수 있다.

먼저, 10 HPF는 실제로 병리학자가 종양의 증식 속도를 예측하기 위해 유사 분열 세포의 개수를 관측하는 영역의 크기이기 때문에, 본 실시예에 따른 병리 진단 정보(e.g. 유사 분열 세포의 개수/10 HPF)는 병리학자에게 더욱 가치 있는 진단 보조 정보가 될 수 있다. 또한, 유사 분열 세포의 개수/10 HPF는 유방암 환자의 예후 평가를 위해 구축된 객관적인 점수 평가 체계인 B&R 점수 평가 체계(Bloom and Richardson grading system)에서 고려되는 중요한 생체 지표 중 하나이기도 하다. 따라서, 본 실시예에 따른 병리 진단 정보(e.g. 유사 분열 세포의 개수/10 HPF)는 B&R 점수 평가 체계와 연동하여 더욱 객관적이고 신뢰성 있는 병리 진단 결과(e.g. 유방암 환자의 예후)를 제공할 수 있다. 또한, 10 HPF는 상술한 바와 같이 병리 진단 분야에서 주로 다뤄지는 관측 영역의 크기이기 때문에 용이하게 양질의 트레이닝 데이터가 획득될 수 있고, 이에 따라 기계 학습을 통한 예측의 정확도가 향상될 수 있다.

다음으로, 각 패치에 포함된 세포의 개수가 산출되고, 상기 세포의 개수를 기준으로 관심 영역을 가리키는 ROI 패치가 결정된다(S115). 세포의 개수를 기준으로 ROI 패치를 결정하는 이유는 일반적으로 조직은 영역 별로 세포의 밀집도가 다르고, 세포가 밀집된 영역에 유사 분열 세포가 존재할 확률이 높기 때문이다. 이와 반대로, 세포의 밀집도가 낮은 지역에는 유사 분열 세포 또한 거의 존재하지 않게 된다. 따라서, ROI 패치에 존재하는 유사 분열 세포만을 검출하더라도 진단 대상 조직에 대한 종합적인 종양 증식 속도가 예측될 수 있는 것이다.

일 실시예에서, 패치 별 세포의 개수는 ROI 패치 결정을 위한 상대적 기준으로 이용될 수 있다. 예를 들어, 상기 패치 별 세포의 개수를 기준으로 패치를 정렬했을 때 상위 k(단, k는 1 이상의 자연수) 개의 패치가 ROI 패치로 결정될 수 있다. 이때, k는 기 설정된 값일 수 있다. 단, 실시예에 따라, 상기 k의 값은 컴퓨팅 장치의 성능을 고려하여 자동으로 결정될 수도 있다. 예를 들어, 고성능의 컴퓨팅 장치일수록 상기 k는 큰 값으로 결정될 수 있다.

다른 실시예에서, 패치 별 세포의 개수는 ROI 패치 결정을 위한 절대적 기준으로 이용될 수 있다. 예를 들어, 상기 패치 별 세포의 개수가 기 설정된 임계 값 이상인 k 개의 패치가 ROI 패치로 결정될 수 있다. 이때, 상기 임계 값은 기 설정된 값일 수 있고, 컴퓨팅 장치의 성능을 고려하여 상기 k의 상한 값은 자동으로 결정될 수도 있다.

또 다른 실시예에서, 패치 별 세포의 개수는 ROI 패치 결정을 위한 상대적 기준 및 절대적 기준으로 이용될 수 있다. 예를 들어, 상기 패치 별 세포의 개수가 기 설정된 임계 값 이상인 패치 중에서, 상위 k 개의 패치가 ROI 패치로 결정될 수 있다.

상술한 실시예에 따르면, 도 8에 도시된 바와 같이, 샘플링 된 패치(12a 내지 12c) 중에서 세포의 밀집도가 높은 패치가 ROI 패치(12b, 12c)로 결정될 수 있다.

참고로, 패치 별 세포의 개수를 구하기 위해서 CellProfiler(http://cellprofiler.org/ 참조)와 같이 당해 기술 분야에서 널리 알려진 디지털 병리 분석 툴이 이용될 수 있다. 상기 CellProfiler는 영상 처리를 통해 주어진 이미지에 포함된 세포의 개수를 도출하는 분석 툴이다. 상기 CellProfiler에 의해 도출된 세포 검출 결과는 도 9a 및 도 9b와 같이 나타날 수 있다. 상기 도 9a 및 도 9b에서 왼쪽 이미지는 샘플링 된 패치이고, 오른쪽 이미지는 CellProfiler에 의해 상기 패치에서 검출된 세포를 나타낸다. 오른쪽 이미지에서 하이라이트 된 포인트는 검출된 세포를 가리킨다. 또한, 도 9a는 세포의 밀집도가 높은 패치의 세포 검출 결과를 도시하고, 도 9b는 세포의 밀집도가 낮은 패치의 세포 검출 결과를 도시한다.

다음으로, 각 ROI 패치에 대하여 색상 정규화(color normalization)가 수행된다(S114). 왜냐하면, H&E 염색 과정 또는 조직 슬라이드 이미지 획득 과정에서 다양한 환경적 요인(e.g. H&E 염색 농도의 차, 스캔 과정에서 빛의 영향 등)으로 인해 조직 슬라이드 이미지 별 또는 ROI 패치 별로 색상 값의 차이가 매우 크게 나타날 수 있기 때문이다. ROI 패치 별로 색상 값의 차이가 클수록 학습에 따른 유사 분열 세포 검출의 정확도가 낮아질 수 있는 바, 이와 같은 문제를 해결하기 위해 상기 색상 값의 차이를 보정하는 정규화가 수행되는 것으로 이해될 수 있다. 상기 정규화는 당해 기술 분야에서 널리 알려진 어느 하나의 정규화 기법을 이용하여 수행될 수 있다. ROI 패치(12b, 12c)에 대하여 정규화가 수행된 결과(13b, 13c)는 도 8을 참조한다.

지금까지 도 7 내지 도 9b를 참조하여 ROI 패치 결정 단계(S110)에 대하여 상세하게 설명하였다. 상술한 바에 따르면, 샘플링 된 패치 중에서 세포의 밀집도 높은 패치가 진단 대상 조직을 대표하는 ROI 패치로 결정될 수 있다. 이후, 상기 ROI 패치에 대해서만 유사 분열 세포 검출 단계가 수행되는 바 종합적인 조직 증식 속도를 예측하기 위해 소요되는 시간 비용 및 컴퓨팅 비용이 크게 절감될 수 있다.

한편, 상술한 본 발명의 실시예에 따르면, ROI 패치를 결정하기 위해 조직 영역에서 패치를 샘플링 하는 단계가 선행된다. 이때, 각 패치가 가리키는 샘플링 영역이 중복되지 않도록 샘플링 될 필요가 있다. 패치가 가리키는 조직 영역이 중복되는 경우, 유사 분열 세포가 중복하여 카운팅 될 수 있고, 이에 따라 부정확한 병리 진단 결과가 도출될 수 있기 때문이다. 또한, 샘플링 되는 패치의 개수가 증가됨에 따라 ROI 패치 결정 단계에 소요되는 컴퓨팅 비용이 증가될 수도 있다. 이하에서는, 이와 같은 문제점을 해결하기 위한 패치 샘플링 방법에 대하여 도 10a 내지 도 11b를 참조하여 상세하게 설명한다.

먼저, 도 10a를 참조하면, 조직 슬라이드 이미지(10)를 가리키는 원본 슬라이드 이미지는 기 설정된 크기의 이미지로 축소되고, 축소된 슬라이드 이미지(이하, '제1 슬라이드 이미지')를 이용하여 조직 영역(11)에 대한 샘플링 포인트(sampling point)의 위치가 결정된다. 상기 샘플링 포인트는 추후 패치의 중심을 가리키는 중심 샘플링 포인트(center sampling point)를 결정하기 위해 이용된다. 도 10a에서 상기 제1 슬라이드 이미지에 표시된 포인트는 샘플링 포인트를 가리킨다.

일 실시예에서, 상기 샘플링 포인트의 위치는 제1 슬라이드 이미지 상의 조직 영역(11)에 포함된 각 픽셀의 위치로 결정될 수 있다. 예를 들어, 도 10a의 오른쪽 중간에 도시된 바와 같이 조직 영역(굵은 선으로 도시)에 포함된 픽셀(14a, 14b 등) 각각의 위치가 샘플링 포인트의 위치가 될 수 있다. 이에 따라, 조직 영역(11)에 모양에 관계 없이 적절하게 샘플링 포인트의 위치가 결정될 수 있다.

단, 다른 실시예에서, 상기 샘플링 포인트의 위치는 제1 슬라이드 이미지 상의 조직 영역(11)에 포함된 픽셀 중에서 소정의 간격만큼 떨어진 픽셀의 위치로 결정될 수 도 있다.

다음으로, 제1 슬라이드 이미지는 다시 원본 슬라이드 이미지의 크기로 확대된다. 단, 실시예에 따라 확대된 이미지(이하, '제2 슬라이드 이미지')의 크기와 원본 슬라이드 이미지의 크기와 다를 수도 있다. 도 10a에 도시된 바와 같이, 제1 슬라이드 이미지를 확대한 결과 샘플링 포인트의 간격은 서로 달라지게 된다.

도 10b는 각 샘플링 포인트를 중심 샘플링 포인트(15a, 16a)로 지정하여 패치를 샘플링 하는 경우를 도시한다.

도 10b를 참조하면, 상기 제2 슬라이드 이미지 상의 각 샘플링 포인트를 중심 샘플링 포인트(15a, 16a)로 지정하여 기 설정된 크기(e.g. 10 HPF)의 패치를 샘플링 하는 경우, 중복된 영역(빗금으로 도시)을 갖는 패치(15, 16)가 샘플링 될 수 있다. 따라서, 본 발명의 실시예에 따르면 패치가 가리키는 샘플링 영역에 포함된 샘플링 포인트를 이용하여 중심 샘플링 포인트의 위치가 조정 된다.

도 10c는 본 발명의 실시예에 따른 패치 샘플링 방법을 도시한다.

도 10c를 참조하면, 제2 슬라이드 이미지 상의 샘플링 포인트 중에서 어느 하나의 샘플링 포인트가 제1 패치(17)의 중심 샘플링 포인트(17a)로 선정된다.

여기서, 중심 샘플링 포인트는 랜덤(random)한 방식으로 선정될 수 있으나, 조직 영역의 경계에서 가깝게 위치한 샘플링 포인트보다 조직 영역의 내부에 위치한 샘플링 포인트가 우선적으로 지정되는 것이 바람직할 수 있다. 도 10d에 도시된 바와 같이, 조직 영역(11)의 경계에 가깝게 위치한 샘플링 포인트(20a)가 조직 영역(11)의 내부에 위치한 샘플링 포인트(21a)보다 먼저 중심 샘플링 포인트로 선정되는 경우, 조직 영역이 더 많이 포함된 패치(21)가 샘플링 될 확률이 작아지기 때문이다. 보다 자세하게는, 샘플링 포인트(20a)가 먼저 중심 샘플링 포인트로 선정되는 경우, 패치(20)에 포함된 샘플링 포인트(21a)는 중심 샘플링 포인트 후보에서 제외되므로, 조직 영역이 더 많이 포함된 패치(21)가 샘플링 되지 않게 된다. 따라서, 최적화된 샘플링 결과를 도출하기 위해서, 본 발명의 실시예에 따르면, 조직 영역(11)의 경계선으로부터 기 설정된 거리 이내에 위치한 샘플링 포인트에 낮은 우선 순위를 부여하고, 제2 슬라이드 이미지 상의 샘플링 포인트 중에서 부여된 우선 순위에 따라 중심 샘플링 포인트가 순서대로 선정될 수 있다.

다시 도 10c를 참조하면, 샘플링 포인트(17a)가 제1 패치의 중심 샘플링 포인트로 지정된 경우, 제1 패치의 샘플링 영역(17)이 임시적으로 결정된다. 다음으로, 제1 패치의 샘플링 영역(17)에 포함된 샘플링 포인트의 평균 좌표(18a)가 산출되고, 중심 샘플링 포인트(17a)의 위치는 평균 좌표(18a)로 조정된다. 이에 따라, 조정된 중심 샘플링 포인트(18a)를 기준으로 제1 패치의 샘플링 영역(18) 또한 조정되게 되고, 조정된 샘플링 영역(18)이 제1 패치로 추출된다.

다음으로, 제1 패치의 평균 좌표 산출에 이용된 샘플링 포인트(회색으로 도시)를 제외한 샘플링 포인트 중에서 제2 패치의 중심 샘플링 포인트(19a)가 선정된다. 단, 구현 방식에 따라 제1 패치의 샘플링 영역(18) 내의 샘플링 포인트를 제외한 샘플링 포인트 중에서 제2 패치의 중심 샘플링 포인트(19a)가 선정될 수도 있다.

다음으로, 제1 패치의 추출 방법과 동일하게, 제2 패치의 중심 샘플링 포인트(19a)의 위치가 제2 패치의 샘플링 영역(19)에 포함된 샘플링 포인트의 평균 좌표로 조정되고, 조정된 샘플링 영역이 추출된다. 이때, 실시예에 따라 제2 패치의 샘플링 영역(19)에 포함된 샘플링 포인트 중 기 샘플링 된 패치의 평균 좌표 산출에 이용된 샘플링 포인트는 상기 평균 좌표 산출의 대상 포인트에서 제외될 수 있다.

지금까지 상술한 중심 샘플링 포인트 선정, 중심 샘플링 포인트의 위치 조정, 중심 샘플링 포인트가 가리키는 샘플링 포인트 영역 추출 단계가 반복됨으로써 조직 영역에서 적어도 하나의 패치가 샘플링 되고, 샘플링 된 패치 사이에 중복된 영역이 최소화 될 수 있다.

일 실시예서, 평균 좌표를 산출하여 중심 샘플링 포인트(또는 샘플링 영역)의 위치를 조정하는 단계는 기 설정된 조건을 만족할 때까지 반복하여 수행될 수 있다. 예를 들어, 도 10e에 도시된 바와 같이, 중심 샘플링 포인트(22a)가 샘플링 영역(22)에 포함된 샘플링 포인트의 평균 좌표(23a)로 조정되면, 조정된 샘플링 영역(23)에 포함된 새로운 샘플링 포인트(23b)를 더 고려하여 평균 좌표가 다시 계산될 수 있다. 이에 따라, 패치의 샘플링 영역(23)은 다시 재조정될 수 있으며, 이와 같은 단계가 기 설정된 횟수만큼 반복하여 수행될 수 있다.

단, 샘플링 영역을 조정하는 단계가 계속해서 반복되는 경우, 패치의 샘플링 영역이 점차 조직 영역(11)의 바깥쪽으로 이동될 수 있기 때문에 최적화 된 샘플링 결과가 도출되지 않을 수 있다. 예를 들어, 도 10e에 도시된 바와 같이 패치의 샘플링 영역의 위치가 반복적으로 조정됨에 따라 최종적으로 상기 샘플링 영역(24)은 조직 영역(11)의 바깥쪽에 수렴될 수 있다. 이에 따라, 조직 영역(11)의 내부가 샘플링 된 패치의 개수가 줄어들기 때문에 최적화된 샘플링 결과가 도출되지 않을 수 있다. 따라서, 샘플링 영역 조정 단계를 기 설정된 횟수만큼 반복 수행하는 경우, 상기 기 설정된 횟수는 작은 값으로 설정되는 것이 바람직할 수 있다.

도 11a 및 도 11b는 상술한 패치 샘플링 방법에 따라 조직 슬라이드 이미지에서 10 HPF 크기의 패치가 샘플링 된 결과를 도시한다. 도 11a 및 도 11b에 도시된 조직 영역 내부의 포인트는 중심 샘플링 포인트를 가리키고, 사각형의 도형은 10 HPF 크기로 샘플링 된 패치를 가리킨다. 도 11a 및 도 11b를 참조하면, 상기 패치 샘플링 방법에 의해 샘플링 된 패치 사이에 중복된 영역이 크게 나타나지 않는 것을 볼 수 있다.

지금까지, 도 10a 내지 도 11b를 참조하여 본 발명의 실시예에 따른 패치 샘플링 방법에 대하여 상세하게 설명하였다. 상술한 바에 따르면, 조직 슬라이드 이미지의 조직 영역에서 중복된 영역이 최소화되도록 패치가 샘플링 될 수 있다. 이에 따라, 유사 분열 세포의 중복 카운팅 또한 최소화 되는 바, 진단 대상 조직에 대한 종합적인 조직 증식 속도가 정확하게 예측될 수 있다. 또한, 샘플링 된 패치의 개수가 감소될 수 있는 바 컴퓨팅 비용도 감소될 수 있다.

한편, 상술한 패치 샘플링 방법은 조직 슬라이드 이미지의 조직 영역에서 패치를 샘플링 하는 경우뿐만 아니라, 일반 이미지에서 관심 영역을 추출하고, 상기 관심 영역 내부의 이미지를 샘플링 하는 경우에 기술적 사상의 변경 없이 범용적으로 적용될 수 있음에 유의하여야 한다. 또한, 실시예에 따라, 상기 패치 샘플링 방법은 컴퓨팅 장치와 결합되어 실행되는 컴퓨터 프로그램으로 구현될 수 있고, 상기 컴퓨터 프로그램이 프로세서에 의해 실행되는 컴퓨팅 장치로 구현될 수도 있음에 유의하여야 한다.

악성 종양 진단 방법 - 유사 분열 세포 검출 단계(S120)

이하에서는, 도 12 내지 도 17을 참조하여 유사 분열 세포 검출 단계(S120)에 대하여 상세하게 설명하도록 한다.

상술한 바와 같이, 이전 단계(S110)에서 결정된 ROI 패치에서 유사 분열 세포를 검출하기 위해서 컨볼루션 신경망 기반의 유사 분열 세포 검출 모델이 이용된다. 상기 유사 분열 세포 검출 모델을 이용하여 정확하게 유사 분열 세포를 검출하기 위해서는 유사 분열 세포의 특징이 잘 추출될 수 있도록 상기 유사 분열 세포 검출 모델이 트레이닝 되는 것이 중요하다. 이하, 본 발명의 실시예에 따른 상기 유사 분열 세포 검출 모델 트레이닝 방법에 대하여 설명하도록 한다.

일 실시예에서, 유사 분열 세포 검출 모델은 1 단계의 트레이닝 과정을 통해 트레이닝 될 수 있다. 즉, 병리학자에 의해 유사 분열 세포 또는 정상 세포를 가리키는 분류 결과가 주어진 제1 트레이닝 데이터셋만을 이용하여 상기 유사 분열 세포 검출 모델이 트레이닝 된다. 여기서, 상기 유사 분열 세포 검출 모델이 트레이닝 된다는 것은 오류 역전파(error back-propagation)를 통해 유사 분열 세포의 특징이 추출될 수 있도록 컨볼루션 레이어(convolution layer)에 포함된 필터(filter)의 가중치가 갱신되는 것을 의미하고, 이는 당해 기술 분야의 종사자에게 자명한 것인 바 이에 대한 설명은 생략한다.

여기서, 상기 제1 트레이닝 데이터셋에 포함된 트레이닝 이미지는 소수의 유사 분열 세포만이 포함될 수 있는 매우 작은 크기의 이미지일 수 있다. 상기 유사 분열 세포 검출 모델은 유사 분열 세포를 가리키는 특징이 추출될 수 있도록 트레이닝 되는 것인 바, 트레이닝 단계에서 ROI 패치와 같이 다수의 유사 분열 세포가 존재할 수 있는 큰 크기의 이미지를 이용하는 것은 컴퓨팅 비용 및 학습 효율 측면에서 효율적이지 않기 때문이다.

다른 실시예에서, 유사 분열 세포 검출의 정확도를 더욱 향상시키기 위해서 상기 유사 분열 세포 검출 모델은 2 단계의 트레이닝 과정을 통해 트레이닝 될 수 있다. 이에 대하여, 도 12 내지 도 14를 참조하여 상세하게 설명하도록 한다.

도 12는 본 발명의 몇몇 실시예에서 참조될 수 있는 2 단계 트레이닝 과정을 설명하기 위한 도면이다.

도 12를 참조하면, 1 번째 트레이닝 단계에서는 제1 트레이닝 데이터셋(30)을 이용하여 컨볼루션 신경망 기반의 유사 분열 세포 검출 모델(40)이 트레이닝 된다. 즉, 제1 트레이닝 데이터셋에 포함된 분류 결과와 상기 유사 분열 세포 검출 모델을 통해 출력 된 분류 결과를 비교하고, 상기 비교에 따라 발생된 오차가 역전파 됨으로써 트레이닝이 수행된다.

다음으로, 분류 결과가 포함된 테스트 데이터셋(31)을 이용하여 트레이닝 된 유사 분열 세포 검출 모델(40)에 대한 평가가 수행된다. 또한, 평가 과정에서, 테스트 데이터셋(31) 중에서 평가 결과가 FP(False Positive)로 판정된 테스트 데이터셋(32, 이하 '제1 FP 데이터셋')이 별도로 수집된다. 여기서, 평가 결과가 FP로 판정된 경우는 유사 분열 세포 검출 모델(40)을 통해 유사 분열 세포로 예측되었으나 실제 분류 결과는 유사 분열 세포가 아닌 정상 세포로 태깅(tagging) 된 경우를 말한다.

다음으로, 당해 기술 분야에서 널리 알려진 데이터 확장(data augmentation) 기법을 이용하여 제1 FP 데이터셋(32)보다 데이터의 개수가 증가 된 데이터셋(33, 이하 '제2 FP 데이터셋')이 생성될 수 있다. 즉, 상기 제1 FP 데이터셋(32)에 포함된 이미지를 인위적으로 변형(transformation)시키고, 변형된 이미지가 더 포함된 제2 FP 데이터셋(33)이 생성될 수 있다. 참고로, 유사 분열 세포 또는 정상 세포를 가리키는 트레이닝 이미지의 개수를 증가시키기 위해서 제1 트레이닝 데이터셋(30)에 대해서도 데이터 확장 기법이 적용될 수 있음은 물론이다.

데이터 확장은 트레이닝 데이터를 인위적으로 변형하여 데이터의 개수를 늘리는 기법으로, 기계 학습 분야에서 부족한 데이터를 극복하기 위해서 이용되는 기법이다. 예를 들어, 상기 데이터 확장은 도 13에 도시된 바와 같이 이미지의 회전(rotation), 이미지의 좌우 반전(horizontal flips), 이미지의 임의 부분 추출/크기 변환(random crops/scales), 이미지의 채도 변환(color jittering) 등의 변형 과정을 통해 수행될 수 있다.

다시 도 12를 참조하면, 제2 FP 데이터셋(33)을 이용하여 유사 분열 세포 검출 모델(40)의 2 번째 트레이닝 단계가 수행된다. 상기 2 번째 트레이닝 단계는 유사 분열 세포 검출 모델(40)의 FP 오류가 감소될 수 있도록, 제2 FP 데이터셋(33)만을 이용하여 집중적으로 수행되는 트레이닝 단계로 이해될 수 있다. 따라서, 본 실시예에 따르면 1 단계로 구성된 트레이닝을 수행하는 것에 비해 유사 분열 세포를 더욱 정확하게 탐지하는 유사 분열 세포 검출 모델이 구축될 수 있다.

상술한 바와 같이 도 12에 도시된 2 단계 트레이닝 과정을 통해 유사 분열 세포 검출 모델의 FP 오류가 감소될 수 있다. 그러나, 상술한 실시예에서, 1 번째 트레이닝 단계를 통해 트레이닝 된 유사 분열 세포 검출 모델(40)에 대하여 2 번째 트레이닝 단계를 다시 수행하는 것은 FP 오류 감소에 다소 비효율적일 수 있다. 1 번째 트레이닝 단계에서 유사 분열 세포의 특징 추출을 수행하는 컨볼루션 레이어에 포함된 필터의 가중치가 거의 조정되었기 때문에, 2 번째 트레이닝 단계에서는 상기 필터의 가중치가 미세하게 조정되는 효과 밖에 없을 수 있기 때문이다. 즉, 2 번째 트레이닝 단계에서 요구되는 컴퓨팅 비용 및 시간 비용에 비해 FP 오류 감소의 효과는 크지 않을 수 있다. 따라서, 본 발명의 또 다른 실시예에 따르면, 2 번째 트레이닝 단계에서 초기화 된 상태의 새로운 유사 분열 세포 검출 모델에 대한 트레이닝이 수행될 수 있다. 이하, 도 14를 참조하여 이에 대하여 설명한다.

도 14를 참조하면, 1 번째 트레이닝 단계에서는 제1 트레이닝 데이터셋(30)을 이용하여 제1 유사 분열 세포 검출 모델에 대한 트레이닝이 수행된다. 또한, 상술한 바와 같이 테스트 데이터셋(31)을 이용한 평가 과정을 통해 제1 FP 데이터셋(32)이 수집되고, 데이터 확장 기법을 이용하여 데이터의 개수가 증가된 제2 FP 데이터셋(33)이 생성된다.

다음으로, 2 번째 트레이닝 단계에서는, 제2 FP 데이터셋(33)과 제1 트레이닝 데이터셋(30)이 포함된 제2 트레이닝 데이터셋을 이용하여 제1 유사 분열 세포 검출 모델(41)과 다른 제2 유사 분열 세포 검출 모델(42)이 처음부터 트레이닝 된다. 실험 결과에 따르면 상기 제2 트레이닝 데이터셋을 이용하여 트레이닝 된 제2 유사 분열 세포 검출 모델(42)은 제1 유사 분열 세포 검출 모델(41)에 비해 FP 오류가 현저히 줄어드는 것이 관찰되었다.

한편, 본 발명의 또 다른 실시예에 따르면, FP 데이터셋뿐만 아니라 평가 결과가 FN(False Negative)로 판정된 데이터셋(이하, 'FN 데이터셋')에 대해서도 별도의 트레이닝이 수행될 수 있다. 예를 들어, 평가 과정에서 제1 FN 데이터셋이 수집되고, 데이터 확장 기법을 통해 제2 FN 데이터셋이 생성될 수 있으며, 상기 제2 FN 데이터셋이 포함된 제3 트레이닝 데이터셋을 이용하여 3 번째 트레이닝 단계가 더 수행될 수도 있다. 또한, 상기 3번째 트레이닝 단계에서, 상기 제3 트레이닝 데이터셋을 이용하여 새로운 유사 분열 세포 검출 모델에 대한 트레이닝이 처음부터 수행될 수도 있다.

지금까지, 유사 분열 세포 검출 모델을 트레이닝 하는 방법에 대하여 설명하였다. 상술한 방법에 따르면, 2 단계 트레이닝 과정을 통해 FP 오류가 최소화되는 유사 분열 세포 검출 모델이 구축될 수 있다.

한편, 상술한 2 단계 트레이닝 방법은 유사 분열 세포 검출 모델을 구축하는 경우뿐만 아니라, 2 단계 트레이닝 과정을 통해 컨볼루션 신경망 기반의 기계 학습 모델을 트레이닝 하는 기계 학습 모델 구축 방법으로 일반화될 수 있음에 유의하여야 한다. 또한, 실시예에 따라, 상기 기계 학습 모델 구축 방법은 컴퓨팅 장치와 결합되어 실행되는 컴퓨터 프로그램으로 구현될 수 있고, 상기 컴퓨터 프로그램이 프로세서에 의해 실행되는 컴퓨팅 장치로 구현될 수도 있음에 유의하여야 한다.

다음으로, 트레이닝 된 유사 분열 세포 검출 모델을 이용하여 ROI 패치에서 유사 분열 세포를 검출하는 방법에 대하여 도 15 내지 도 17을 참조하여 상세하게 설명하도록 한다.

본 발명의 일 실시예에 따르면, ROI 패치를 복수의 부분 ROI 패치로 분할하고, 상기 복수의 부분 ROI 패치가 유사 분열 세포 검출 모델에 입력될 수 있다. 이때, 상기 부분 ROI 패치는 예를 들어 트레이닝 데이터셋에 포함된 이미지와 동일한 크기의 이미지일 수 있다. 따라서, 각 ROI 패치에 포함된 유사 분열 세포의 개수는 유사 분열 세포 검출 모델에 의해 분류 결과가 유사 분열 세포로 출력된 부분 ROI 패치의 개수로 결정될 수 있다.

그러나, 상술한 실시예에 따르면 부분 ROI 패치마다 유사 분열 세포 검출 모델에 의한 검출 과정이 반복해서 수행되어야 하기 때문에 컴퓨팅 비용 및 시간 비용 측면에서 비효율적이다. 예를 들어, ROI 패치의 크기가 6400 x 6400 이고, 부분 ROI 패치의 크기가 128 x 128인 경우 하나의 ROI 패치에 대한 유사 분열 세포의 개수를 카운팅 하기 위해서는 각 ROI 패치 별로 2,500 번의 검출 과정이 수행되어야 하는 바 비효율적이다. 이하에서는, 상술한 비효율성을 극복하기 위한 본 발명의 실시예에 대하여 도 15 내지 도 16c를 참조하여 설명한다.

먼저, 이해의 편의를 제공하기 위해 도 15를 참조하여 트레이닝 단계에서 유사 분열 세포 검출 모델의 동작에 대하여 설명한다.

도 15를 참조하면, 유사 분열 세포 검출 모델은 입력 이미지(50)로부터 특징 맵(feature map)을 추출하는 제1 컨볼루션 레이어(convolution layer)와 상기 특징 맵을 이용하여 클래스 액티베이션 맵(class activation map)을 생성하는 제2 컨볼루션 레이어가 포함된 복수의 컨볼루션 레이어와 클래스 액티베이션 맵(51a, 51b)을 이용하여 분류 결과를 출력하는 출력 레이어(output layer)를 포함할 수 있다. 여기서, 상기 클래스 액티베이션 맵은 분류 결과에 해당하는 클래스 별로 생성되는 특징 맵을 의미한다. 예를 들어, 분류 결과가 유사 분열 세포와 정상 세포인 경우, 유사 분열 세포의 특징을 나타내는 클래스 액티베이션 맵(51a)과 정상 세포의 특징을 나타내는 클래스 액티베이션 맵(51b)이 생성될 수 있다. 참고로, 상기 클래스 액티베이션 맵은 당해 기술 분야에서 특징 맵, 확률 맵, 히트 맵(heat map), 스코어 맵(score map) 등의 용어와 혼용되어 사용될 수 있음에 유의한다.

상기 출력 레이어에서는 클래스 액티베이션 맵(51a)과 클래스 액티베이션 맵(51b)을 이용하여 분류 결과가 출력된다. 예를 들어, 글로벌 풀링(global pooling)을 수행하여 분류 결과가 출력될 수 있다. 보다 자세하게는, 상기 글로벌 풀링을 통해 클래스 액티베이션 맵(51a)에 포함된 액티베이션 값을 종합하여 입력 이미지(50)에서 유사 분열 세포가 존재할 확률을 가리키는 제1 값이 산출되고, 클래스 액티베이션 맵(51b)에 포함된 액티베이션 값을 종합하여 입력 이미지(50)에서 정상 세포가 존재할 확률을 가리키는 제2 값이 산출될 수 있다. 또한, 상기 제1 값과 상기 제2 값을 비교하여 예측된 분류 결과가 출력될 수 있고, 실시예에 따라 소프트맥스(softmax) 함수가 적용된 값을 이용하여 예측된 분류 결과가 출력될 수도 있다.

참고로, 상기 글로벌 풀링은 예를 들어 LSE(Log-Sum-Exponential), 평균 풀링(average pooling), 최대 풀링(max pooling) 등 다양한 방식으로 수행될 수 있고 이는 구현 방식의 차이에 불과할 수 있다. 상기 글로벌 풀링은 당해 기술 분야에서 널리 알려진 기법인 바, 더 이상의 자세한 설명은 생략하도록 한다.

한편, 본 발명의 다른 실시예에 따르면 유사 분열 세포 검출 모델의 출력 레이어는 적어도 하나의 완전 연결 레이어(fully connected layer)로 구현될 수도 있음에 유의해야 한다. 단, 글로벌 풀링 레이어로 구현되는 경우, 완전 연결 레이어로 구현되는 것에 비해 컴퓨팅 비용이 크게 감소되고 과적합(overfitting)이 방지될 수 있다는 효과가 있다.

지금까지, 도 15를 참조하여 트레이닝 단계에서 유사 분열 세포 검출 모델의 동작에 대하여 설명하였다. 다음으로, 도 16a 내지 도 16d를 참조하여 ROI 패치(52)를 입력 이미지로 하여 유사 분열 세포를 검출하는 방법에 대하여 설명한다.

유사 분열 세포 검출 단계에서, 필요에 따라 상기 유사 분열 세포 검출 모델은 컨볼루션 연산을 수행하는 레이어만을 포함하는 완전한 컨볼루션 네트워크(fully convolutional network)로 전환될 수 있다. 예를 들어, 출력 레이어가 완전 연결 레이어를 포함하는 경우, 상기 완전 연결 레이어를 1x1 컨볼루션 연산을 수행하는 레이어로 변경함으로써 상기 유사 분열 세포 검출 모델은 완전한 컨볼루션 네트워크로 전환될 수 있다. 상술한 사항은 당해 기술 분야의 종사자라면 충분히 이해할 수 있는 내용인 바, 더 이상의 자세한 설명은 생략하도록 한다.

도 16a를 참조하면, 검출 단계에서, 유사 분열 세포 검출 모델은 완전한 컨볼루션 네트워크로 구성되는 바, ROI 패치(52)가 그대로 유사 분열 세포 검출 모델에 입력될 수 있다. 또한, 컨볼루션 레이어를 통해 출력되는 특징 맵 또는 클래스 액티베이션 맵의 크기는 입력되는 ROI 패치(52)의 크기에 대응하여 커지게 된다.

ROI 패치(52)가 입력되면 마지막 컨볼루션 레이어에서 유사 분열 세포의 특징을 나타내는 클래스 액티베이션 맵(53a, 이하 '제1 클래스 액티베이션 맵')이 출력된다. 다음으로, 출력 레이어에서 상기 제1 클래스 액티베이션 맵(53a)에 대한 풀링 연산이 수행된다. 보다 자세하게는, 트레이닝 단계와 같이 상기 제1 클래스 액티베이션 맵(53a) 전체에 대한 글로벌 풀링이 수행되는 것이 아니라, 상기 제1 클래스 액티베이션 맵(53a)에 대하여 슬라이딩 윈도우(sliding window) 방식으로 반복적으로 풀링 연산이 수행된다. 이때, 상기 윈도우의 크기는 예를 들어 트레이닝 단계에서 글로벌 풀링이 수행되는 클래스 액티베이션 맵(51a, 51b)의 크기가 될 수 있다. 또한, 상기 슬라이딩 윈도우 방식은 각 윈도우가 가리키는 풀링 영역이 중첩되지 않도록 수행될 수 있으나, 이에 국한되는 것은 아니고, 상기 풀링 영역이 중첩되도록 스트라이드(stride) 값이 설정될 수도 있다. 검출 레이어에서, 상기 제1 클래스 액티베이션 맵(53a)에 대한 풀링이 수행되면, 유사 분열 세포의 검출 결과를 가리키는 클래스 액티베이션 맵(54, 이하 제2 클래스 액티베이션 맵)이 출력된다. 참고로, 상기 풀링은 상기 글로벌 풀링과 같이 LSE, 평균 풀링, 최대 풀링 등 다양한 방식으로 수행될 수 있고 이는 구현 방식의 차이에 불과할 수 있다.

ROI 패치 상의 각 유사 분열 세포를 검출하기 위해, 상기 제2 클래스 액티베이션 맵(54)에서 액티베이션 값이 기 설정된 임계 값 이상이거나 피크(peak) 값을 갖는 좌표로 구성되는 각각의 영역이 검출된다. 여기서, 상기 검출된 영역이 유사 분열 세포가 존재할 확률이 높은 지점을 의미한다. 따라서, 상기 검출된 영역의 개수를 카운팅 하면 유사 분열 세포의 개수가 산출될 수 있다. 또한, 상기 검출된 영역의 위치가 ROI 패치(52) 상에서 유사 분열 세포가 존재하는 위치로 인식될 수 있다.

일 실시예에서, 유사 분열 세포의 위치를 보다 정확하게 검출하기 위해, 제2 클래스 액티베이션 맵(54)을 확대하고, 확대된 클래스 액티베이션 맵(55, 이하 '제3 클래스 액티베이션 맵')에서 상기 유사 분열 세포가 검출될 수 있다. 상기 제3 클래스 액티베이션 맵(55)은 입력된 ROI 패치(52)의 크기로 확대될 수 있으나, 이는 실시예에 따라 달라질 수도 있다. 확대 과정에서 액티베이션 값은 선형적으로 보간될 수 있다.

도 16b는 제3 클래스 액티베이션 맵(55)을 도시하고, 도 16c는 병리학자에 의해 검출된 유사 분열 세포를 도시한다. 도 16b에서 기 설정된 임계 값 이상이거나 피크 값을 갖는 좌표로 구성된 영역(55a 내지 55d)의 위치가 도 16c에 도시된 유사 분열 세포의 위치와 대응되는 것을 볼 수 있다. 이는, 제2 클래스 액티베이션 맵(54)을 확대한 제3 클래스 액티베이션 맵에서 유사 분열 세포를 검출하는 경우, 유사 분열 세포의 위치까지 정확하게 검출될 수 있다는 것을 보여준다.

지금까지, 도 15 내지 도 16c를 참조하여 ROI 패치에서 유사 분열 세포를 검출하는 방법에 대하여 설명하였다. 상술한 방법에 따르면, 유사 분열 세포 검출 모델을 완전한 컨볼루션 네트워크로 구성함으로써, ROI 패치가 곧바로 상기 유사 분열 세포 검출 모델에 입력될 수 있다. 이에 따라, ROI 패치에서 유사 분열 세포를 검출하는데 소요되는 컴퓨팅 비용이 크게 절감될 수 있다.

한편, 상술한 유사 분열 세포 검출 방법은 ROI 패치에서 유사 분열 세포를 검출하는 경우뿐만 아니라, 트레이닝 이미지보다 크기(e.g. 넓이, 픽셀의 수)가 큰 검출 대상 이미지를 상기 트레이닝 이미지의 크기로 분할하지 않고 관심 객체를 검출하는 관심 객체 검출 방법으로 일반화될 수 있음에 유의하여야 한다. 또한, 실시예에 따라, 상기 관심 객체 검출 방법은 컴퓨팅 장치와 결합되어 실행되는 컴퓨터 프로그램으로 구현될 수 있고, 상기 컴퓨터 프로그램이 프로세서에 의해 실행되는 컴퓨팅 장치로 구현될 수도 있음에 유의하여야 한다.

다음으로, 제로 패딩(zero padding)을 고려하여 트레이닝을 수행하는 본 발명의 실시예에 대하여 도 17을 참조하여 설명하도록 한다.

실시예에 따라, 유사 분열 세포 검출의 정확성을 보다 향상시키기 위해, 유사 분열 세포 검출 모델은 ResNet(Residual Network)과 같이 신경망의 깊이가 매우 깊은 심층 신경망(deep neural network)으로 구성될 수 있다. 도 17은 ResNet 기반으로 구성된 유사 분열 검출 모델을 도시한다. 상기 ResNet은 우회 경로를 통해 심층 신경망에서 그래디언트(gradient)의 전파가 잘 되지 않는 그래디언트 소실 문제(vanishing gradient problem)를 완화시킨 신경망 구조이다. 상기 ResNet은 당해 기술 분야에 이미 널리 알려진 신경망 구조인 바 더 이상의 설명은 생략하도록 한다.

RestNet과 같은 심층 신경망에서는 컨볼루션 및 풀링 연산이 여러 번 반복되어 특징 맵의 공간적 차원(spatial dimension)이 크게 감소되기 때문에 일반적으로 입력되는 맵의 가장 자리에 제로 패딩이 수행된다. 예를 들어, 도 17에 도시된 바와 같이, 트레이닝 이미지(60a)의 가장 자리에 기 설정된 두께의 제로 패딩(60b)이 수행되고 패딩된 트레이닝 이미지(60)가 컨볼루션 레이어에 입력됨으로써 공간적 차원의 유실 문제가 완화될 수 있다.

그러나, 본 발명의 실험 결과에 따르면, 상기 제로 패딩이 수행됨에 따라 분할 없이 상기 ROI 패치를 입력으로 유사 분열 세포를 검출한 제1 결과와 ROI 패치를 분할하고 분할된 ROI 부분 패치에서 유사 분열 세포를 검출하여 합산한 제2 결과와 달라지는 문제가 관측되었다. 이는, 제로 패딩이 반복되는 가장 자리 영역은 컨볼루션 레이어를 거치면서 유사 분열 세포의 특징이 크게 반영되지 않은 영역임에도 불구하고, 출력 레이어에서 상기 가장 자리 영역의 액티베이션 값까지 반영하여 분류 결과를 산출(e.g. 클래스 액티베이션 맵 전체에 대하여 글로벌 풀링 수행)하기 때문에 발생하는 문제이다. 즉, 가장 자리 영역이 트레이닝 되는 경우, 유사 분열 세포 검출 모델의 정확도가 다소 떨어지는 문제로 이해될 수 있다.

따라서, 본 발명의 실시예에 따르면, 유사 분열 세포 검출 모델은 클래스 액티베이션 맵(61)에서 기 설정된 내부 영역(61a)의 액티베이션 값만을 반영하여 예측된 분류 결과를 출력하고, 연산된 오차를 역전파하는 방식으로 트레이닝 될 수 있다. 예를 들어, 출력 레이어에서 기 설정된 내부 영역(61a)에 대해서만 글로벌 풀링이 수행될 수 있다. 또한, 이와 같은 기술적 사상은 출력 레이어가 완전 연결 레이어로 구현된 경우에도 동일하게 적용될 수 있다. 이에 따라, 유사 분열 세포 검출 모델에 ROI 패치가 그대로 입력되는 경우에도 정확하게 각각의 유사 분열 세포를 검출할 수 있다.

악성 종양 진단 방법 - 종양 증식 점수 예측 방법

이하에서는 도 18 내지 도 222를 참조하여 다양한 병리 진단 결과 중에서 종양 증식 점수를 예측하는 방법에 대하여 상세하게 설명하기로 한다.

상술한 바와 같이, 본 발명의 실시예에 따르면 단계(S120)에서 검출된 ROI 패치 별 유사 분열 세포의 개수와 단계(S110)에서 산출된 ROI 패치 별 세포의 개수를 이용하여 악성 종양의 중요한 예후 인자 중 하나인 종양 증식 점수가 예측된다. 상기 종양 증식 점수 예측은 기계 학습 기반의 종양 증식 점수 예측 모델에 의해 수행될 수 있는 바 먼저 상기 종양 증식 점수 예측 모델을 구축하는 단계에 대하여 도 18 내지 도 21을 참조하여 설명한다.

도 18은 종양 증식 점수 예측 모델을 구축하는 단계의 순서도이다.

도 18을 참조하면, ROI 패치 별 유사 분열 세포의 개수 및 ROI 패치 별 세포의 개수를 기초로 특징 벡터를 구성하는 적어도 하나의 특징 값이 산출된다(S210). 여기서, 상기 특징 벡터를 구성하는 개별 특징은 예를 들어 아래의 표 1과 표시된 바와 같이 상기 ROI 패치 별 유사 분열 세포의 개수 및 상기 ROI 패치 별 세포의 개수에 기반한 다양한 통계 정보를 포함할 수 있다. 상기 표 1에서, '# mts', '# cells'는 각각 유사 분열 세포의 개수와 세포의 개수를 가리킨다. 또한, 'avg.', 'min.', 'max.', 'std.'는 각각 평균, 최소 값, 최대 값, 표준 편차를 가리키고, B&R은 Bloom & Richardson 점수를 가리킨다.

순번	특징 설명	순번	특징 설명
1	avg. # mts	12	min. # mts
2	max. # mts	13	min. # cells
3	std. # mts	14	ratio of min. mts/cells
4	B&R of avg. # mts	15	std. # mts in top 10%
5	B&R of max. # mts	16	std. # cells in top 10%
6	vg. # cells	17	min. # mts in top 10%
7	max. # cells	18	min. # cells in top 10%
8	std. # cells	19	avg. # mts in 30-70%
9	ratio of avg. mts/cells	20	max. # mts in 30-70%
10	ratio of max. mts/cells	21	std. # mts in 30-70%
11	avg. # mts in top 10%

표 1은 총 21 개의특징을 표시하고 있고, 각 특징은 1 차원의 값으로 표현될 수 있으므로, 특징 벡터는 최대 21 차원의 벡터가 될 수 있다. 21 차원의 특징 벡터는 상당히 고차원의 데이터이므로, 이를 그대로 학습에 이용하는 경우 기계 학습 분야에서 널리 알려진 차원의 저주(curse of dimension) 문제가 야기될 수 있다. 또한, 상기 21 개의 특징에는 종양 증식 점수와 연관성이 떨어지는 특징 또한 포함될 수 있는 바, 학습에 따른 예측의 정확도가 저하될 수 있다. 따라서, 본 발명의 실시예에 따르면 상기 특징 중에서 핵심 특징을 선정하고(S220), 상기 핵심 특징으로 구성된 특징 벡터를 이용하여 종양 증식 점수 예측 모델이 구축될 수 있다(S230). 이하에서는, 상기 핵심 특징을 선정하는 방법에 대하여 도 19a 및 도 19b를 참조하여 상세하게 설명한다.

핵심 특징을 선정하기 위해 당해 기술 분야에서 널리 알려진 특징 선택 알고리즘(feature selection algorithm)이 이용될 수 있다. 이해의 편의를 제공하기 위해 상기 특징 선택 알고리즘에 대하여 간략하게 설명하면, 상기 특징 선택 알고리즘은 특징 평가 방법 및 시기에 따라 래퍼 방법(wrapper method), 필터 방법(filter method) 및 임베디드 방법(embedded method) 기반의 알고리즘으로 분류될 수 있다.

래퍼 방법 기반의 특징 선택 알고리즘은 후보 특징을 선택하고, 선택된 후보 특징에 대한 학습을 수행한 뒤 학습 성능(e.g. 분류의 정확도)을 기준으로 선택된 특징을 평가하는 알고리즘을 말한다. 래퍼 방법 기반의 특징 선택 알고리즘은 학습 성능 자체를 평가 기준으로 이용하기 때문에 특징 선택의 정확성은 높을 수 있으나, 모든 특징에 대하여 학습을 수행해야 하기 때문에 특징의 개수가 증가할수록 컴퓨팅 비용이 증가될 수 있다.

임베디드 방법 기반의 특징 선택 알고리즘은 학습과 동시에 특징 선택이 이루어지는 특징 선택 알고리즘을 말한다. 래퍼 방법 기반의 특징 선택 알고리즘에 비해 컴퓨팅 비용은 감소될 수 있으나, 학습 성능이 평가 기준으로 이용되므로 컴퓨팅 비용이 여전히 많이 요구될 수 있다.

필터 방법 기반의 특징 선택 알고리즘은 기계 학습 알고리즘과 독립적인 데이터 특성에 기반하여 특징의 중요성을 평가하는 알고리즘을 말한다. 예를 들어, IG(Information Gain), 카이-스퀘어(Chi-Square) 등이 평가 메트릭(evaluation metric)으로 이용될 수 있다. 필터 방법 기반의 특징 선택 알고리즘은 특징 선택을 위해 학습이 요구되지 않으므로 상대적으로 비용이 저렴하다는 장점이 있다. 특징 선택 알고리즘에 대한 보다 상세한 설명은 위키피디아(https://en.wikipedia.org/wiki/Feature_selection)를 참조하도록 한다.

본 발명의 일 실시예에서, 보다 정확하게 핵심 특징을 선정하기 위해 래퍼 방법 기반의 특징 선택 알고리즘이 수행될 수 있다. 이에 대하여 도 19a를 참조하여 설명하면, 기 정의된 적어도 하나의 특징(70a, 70b 등)을 조합하여 후보 특징 벡터(71a, 71b, 71c)가 생성된다. 후보 특징 벡터(71a, 71b, 71c)는 동일 차원으로 구성될 수 있으나, 다른 차원으로 구성되더라도 무방하다.

다음으로, 상기 각 후보 특징 벡터에 대응되는 기계 학습 모델 기반의 후보 종양 증식 점수 예측 모델(72a, 72b, 72c)이 트레이닝 된다. 도 19a의 경우 상기 후보 종양 증식 점수 예측 모델은 SVM에 기반한 것으로 예시되었다. 단, 본 발명의 다른 실시예에 따르면 상기 종양 증식 점수 예측 모델은 나이브 베이즈 분류기(naive bayes classifier), 의사 결정 트리(decision tree), 랜덤 포레스트(random forest) 등 다양한 종류의 분류기 또는 회귀기로 구현될 수 있음에 유의한다.

다음으로, 트레이닝 된 후보 종양 증식 점수 예측 모델(72a, 72b, 72c)에 대한 평가가 수행된다. 상기 평가는 예를 들어 k-접합 교차 검증 기법을 이용하여 수행될 수 있고, k의 값은 컴퓨팅 장치의 성능 등의 요소를 고려하여 적절하게 결정될 수 있다. 또한, 상기 평가 과정에서 측정되는 평가 메트릭(evaluation metric)은 정확성(accuracy), 정밀도(precision), 재현율(recall) 및 f-measure 중 적어도 하나의 메트릭이 이용될 수 있다. 단, 상기 종양 증식 점수 예측 모델이 회귀기로 구현되는 경우는 평균 오차 등 다른 종류의 평가 메트릭이 이용될 수 있다. 상기 k-접합 교차 검증 기법 및 상기 평가 메트릭은 당해 기술 분야에서 이미 널리 알려진 바 이에 대한 설명은 생략한다.

결과적으로, 측정된 평가 메트릭이 가장 높은 후보 종양 증식 점수 예측 모델(74)이 실제 종양 증식 점수 예측에 이용되는 예측 모델로 결정될 수 있다. 또한, 상기 후보 종양 증식 점수 예측 모델(74)에 대응되는 후보 특징 벡터(73)가 핵심 특징으로 선정될 수 있다.

본 발명의 다른 실시예에서는, 핵심 특징을 선정하기 위해 필터 방법 기반의 특징 선택 알고리즘이 수행될 수 있다. 이에 대하여 도 19b를 참조하여 설명하면, 기 정의된 적어도 하나의 특징(70a, 70b 등) 중에서 어느 하나의 후보 특징이 탐색되고, 탐색된 후보 특징에 대하여 특징의 중요도가 평가된다. 여기서, 상기 후보 특징 탐색을 위해 당해 기술 분야에서 널리 알려진 탐색 알고리즘(75)이 이용될 수 있고, 상기 특징의 중요도 평가를 위해 당해 기술 분야에서 널리 알려진 랭킹 알고리즘(76)이 이용될 수 있다.

예를 들어, 기 설정된 기준을 충족하는 핵심 특징이 선택될 때까지 순차적으로 후보 특징을 선택하거나(sequential search), 임의의 특징을 후보 특징으로 선택하는(random search) 방식으로 탐색을 수행될 수 있다. 또는, 모든 특징을 후보 특징으로 선택(exhaustive search)하거나, 유전자 알고리즘을 이용하여 후보 특징이 선택될 수 있고(genetic search), 다양한 종류의 그리디(greedy) 알고리즘을 이용하여 후보 특징이 선택될 수도 있다(best first search, greedy stepwise). 각 탐색 알고리즘(75)은 당해 기술 분야에서 널리 알려진 알고리즘이므로 이에 대한 자세한 설명은 생략한다.

탐색 과정을 통해 후보 특징이 선택되면, 선택된 후보 특징에 대하여 기 설정된 랭킹 알고리즘(76)의 평가 메트릭에 따라 후보 특징 각각에 대한 중요도를 가리키는 특징 별 점수가 계산된다. 여기서, 특징 별 점수는 각 후보 특징이 종양 증식의 정도를 분별하는데 미치는 영향을 정량화한 값으로 이해될 수 있다. 예를 들어, 카이-스퀘어(chi-square)를 평가 메트릭으로 특징 별 점수를 산출하는 랭킹 알고리즘(chi-square attribute evaluation), IG(Information Gain)를 평가 메트릭으로 특징 별 점수를 산출하는 랭킹 알고리즘(Information Gain attribute evaluation), RF(Relief-F)를 평가 메트릭으로 특징 별 점수를 산출하는 랭킹 알고리즘(Relief-F attribute evaluation) 등 랭킹 알고리즘(76) 중에서 적어도 하나의 랭킹 알고리즘이 이용될 수 있다. 각 랭킹 알고리즘(76) 또한 당해 기술 분야에서 널리 알려진 알고리즘이므로 이에 대한 자세한 설명도 생략하기로 한다.

후보 특징에 대하여 특징 별 점수가 계산되면, 특징 별 점수가 상대적으로 높은 후보 특징이 핵심 특징(77)으로 선택된다. 예를 들어, IG를 기준으로 특징 별 점수가 계산되고, 3 개의 핵심 특징을 선택하는 경우, IG가 높은 3 개의 특징이 핵심 특징으로 선택된다. 단, 카이-스퀘어, IG 및 RF 등 복수의 평가 메트릭이 이용되는 경우 각 평가 메트릭을 기준으로 계산된 특징 별 점수의 산술 평균 또는 가중 평균 값을 이용하여 핵심 특징이 선택될 수 있다. 실시예에 따라 특징 별 점수가 기 설정된 값 이상인 복수의 핵심 특징이 선택될 수도 있다. 도 19b의 경우 3 개의 핵심 특징이 선택되는 것을 예로 들어 도시하였다.

핵심 특징(77)이 선택되면, 상기 핵심 특징(77)을 구성 요소로 하는 특징 벡터(78)가 생성되고, 트레이닝을 통해 상기 특징 벡터(78)를 입력으로 하는 종양 증식 점수 예측 모델(79)이 구축될 수 있다.

단, 실시예에 따라, 필터 방법 기반의 특징 선택 알고리즘과 래퍼 방법 기반의 특징 선택 알고리즘이 같이 수행될 수도 있다. 예를 들어, 필터 방법 기반의 필터 선택 알고리즘을 이용하여 기 설정된 개수의 핵심 특징이 선택되고, 상기 핵심 특징에 대하여 래퍼 방법 기반의 특징 선택 알고리즘을 수행하여 최종적으로 특징 벡터가 결정될 수도 있다.

또한, 본 발명의 몇몇 실시예에서, 특징 벡터의 차원을 감소시키기 위해 당해 기술 분야에서 널리 알려진 차원 감소 알고리즘이 이용될 수 있다. 예를 들어, 표 1에 도시된 21개의 특징에 대하여 주성분 분석(Principle Component Analysis; PCA)을 수행하여 k (단, k는 21 미만의 자연수) 차원의 특징이 새롭게 추출되고, 추출된 특징에 대하여 상술한 특징 선택 알고리즘이 수행될 수도 있다. 또는, 이와 반대로, 상술한 특징 선택 알고리즘을 통해 복수의 핵심 특징을 선택하고, 핵심 특징에 대하여 주성분 분석과 같은 차원 감소 알고리즘이 수행될 수도 있다.

지금까지, 도 18 내지 도 19b를 참조하여 핵심 특징을 선택하고 종양 점수 예측 모델을 구축하는 방법에 대하여 설명하였다. 상술한 바에 따르면, ROI 패치 별 유사 분열 세포의 개수 및 전체 세포의 개수를 기초로 다양한 특징이 도출되고, 상기 특징 중에서 종양 증식 점수와 밀접하게 연관된 핵심 특징이 선정될 수 있다. 이에 따라, 종양 증식 점수에 대한 예측의 정확성이 향상될 수 있다. 또한, 핵심 특징 선정에 따라 특징 벡터의 차원이 감소됨으로써 종양 증식 점수 예측 모델 트레이닝에 소요되는 컴퓨팅 비용 및 시간 비용이 크게 절감되고, 학습의 효율성은 향상될 수 있다.

한편, 본 발명의 실시예에 따르면, 도 19a에 도시된 핵심 특징 선정 방법의 기술적 사상은 복수의 후보 종양 증식 점수 예측 모델 중에서 최적의 종양 증식 점수 예측 모델을 결정하기 위해서 이용될 수도 있다. 보다 자세하게는, 도 20에 도시된 바와 같이, 특징 벡터(79)에 대하여 복수의 후보 종양 증식 점수 예측 모델(80a 내지 80c)이 구축되고, 교차 검증 등의 성능 평가를 통해 최적의 종양 증식 점수 예측 모델(81)이 결정될 수 있다. 여기서, 상기 특징 벡터(79)는 상술한 방법에 의해 선정된 핵심 특징으로 구성될 수 있고, 각 후보 종양 증식 점수 예측 모델(80a 내지 80c)은 서로 다른 기계 학습 모델로 구현된 모델일 수 있다.

또한, 본 발명의 다른 실시예에 따르면, 도 21에 도시된 바와 같이 서로 다른 특징의 조합으로 구성된 특징 벡터(82a 내지 82c)에 대하여 각각 후보 종양 증식 점수 예측 모델(83a 내지 83c)를 구축하고, 교차 검증 등의 성능 평가를 통해 최적의 종양 증식 점수 예측 모델(84)이 결정될 수도 있다. 후보 종양 증식 점수 예측 모델(83a 내지 83c)에 이용된 기계 학습 모델이 달라지는 경우, 핵심 특징의 종류 또한 달라질 수 있기 때문이다. 여기서, 상기 특징 벡터(82a 내지 82c)는 상술한 방법에 의해 선택된 핵심 특징으로 구성될 수 있고, 각 후보 종양 증식 점수 예측 모델(83a 내지 83c)은 서로 다른 기계 학습 모델로 구현된 모델일 수 있다.

지금까지 도 18 내지 도 21을 참조하여, 종양 증식 점수 예측 모델을 구축하는 방법에 대하여 설명하였다. 다음으로, 구축된 종양 증식 점수 예측 모델을 이용하여, 종양 증식 점수를 예측하는 방법에 대하여 도 22를 참조하여 설명한다.

도 22는 종양 증식 점수를 예측하는 방법의 순서도이다. 단, 이는 본 발명의 목적을 달성하기 위한 바람직한 실시예일 뿐이며, 필요에 따라 일부 단계가 추가되거나 삭제될 수 있음은 물론이다.

도 22를 참조하면, ROI 패치 별 유사 분열 세포의 개수 및 세포의 개수를 기초로 특징 벡터가 생성된다(S131). 상기 특징 벡터를 구성하는 각 특징은 상술한 종양 증식 점수 예측 모델 구축 단계에서 선택된 핵심 특징이 된다. 각 핵심 특징의 특징 값은 상술한 바와 같이 표준 편차, 최대 값, 최소 값 등 다양한 통계 정보에 기반한 것일 수 있다.

다음으로, 상기 특징 벡터를 기 구축된 종양 증식 점수 예측 모델에 입력하여 진단 대상 조직에 대한 종양 증식 점수가 예측된다(S132). 상기 종양 증식 점수는 실시예에 따라 이산적인 값이 될 수 있고, 연속적인 값이 될 수도 있다. 이산적인 값을 갖는 경우 상기 종양 증식 점수 예측 모델은 분류기로 구현되고, 연속적인 값을 갖는 경우 상기 종양 증식 점수 예측 모델은 회귀기로 구현될 수 있다. 이에 대한 사항은 당해 기술 분야의 종사자라면 자명하게 알 수 있는 바 더 이상의 설명은 생략한다.

지금까지 도 1 내지 도 22를 참조하여 설명된 본 발명의 개념은 컴퓨터가 읽을 수 있는 매체 상에 컴퓨터가 읽을 수 있는 코드로 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록 매체는, 예를 들어 이동형 기록 매체(CD, DVD, 블루레이 디스크, USB 저장 장치, 이동식 하드 디스크)이거나, 고정식 기록 매체(ROM, RAM, 컴퓨터 구비 형 하드 디스크)일 수 있다. 상기 컴퓨터로 읽을 수 있는 기록 매체에 기록된 상기 컴퓨터 프로그램은 인터넷 등의 네트워크를 통하여 다른 컴퓨팅 장치에 전송되어 상기 다른 컴퓨팅 장치에 설치될 수 있고, 이로써 상기 다른 컴퓨팅 장치에서 사용될 수 있다.

도면에서 동작들이 특정한 순서로 도시되어 있지만, 반드시 동작들이 도시된 특정한 순서로 또는 순차적 순서로 실행되어야만 하거나 또는 모든 도시 된 동작들이 실행되어야만 원하는 결과를 얻을 수 있는 것으로 이해되어서는 안 된다. 특정 상황에서는, 멀티태스킹 및 병렬 처리가 유리할 수도 있다. 더욱이, 위에 설명한 실시예들에서 다양한 구성들의 분리는 그러한 분리가 반드시 필요한 것으로 이해되어서는 안 되고, 설명된 프로그램 컴포넌트들 및 시스템들은 일반적으로 단일 소프트웨어 제품으로 함께 통합되거나 다수의 소프트웨어 제품으로 패키지 될 수 있음을 이해하여야 한다.

이상 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였지만, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.

Claims (6)

1. 컴퓨팅 장치에 의해 수행되는 관심 객체 검출 방법에 있어서,
   관심 객체에 대한 검출 결과가 주어진 트레이닝 이미지를 이용하여, 컨볼루션 신경망(Convolutional Neural Network) 기반의 기계 학습 모델을 트레이닝 하는 단계;
   관심 객체에 대한 분류 결과가 주어지지 않은 타깃 이미지를 상기 기계 학습 모델에 입력하여, 관심 객체에 대한 특징 맵(feature map)을 가리키는 제1 클래스 액티베이션 맵(class activation map)을 추출하되, 상기 타깃 이미지는 상기 트레이닝 이미지보다 더 큰 넓이를 갖는 이미지인, 단계; 및
   상기 제1 클래스 액티베이션 맵을 이용하여, 상기 타깃 이미지에서 관심 객체를 검출하는 단계를 포함하는,
   관심 객체 검출 방법.
2. 제1 항에 있어서,
   상기 타깃 이미지에서 관심 객체를 검출하는 단계는,
   슬라이딩 윈도우 방식으로 상기 제1 클래스 액티베이션 맵에 대한 풀링(pooling) 연산을 수행하여, 제2 클래스 액티베이션 맵을 출력하는 단계;
   상기 제2 클래스 액티베이션 맵에서, 액티베이션 값이 임계 값 이상인 좌표로 구성되는 영역을 상기 관심 객체에 대응되는 영역으로 검출하는 단계; 및
   상기 관심 객체에 대응되는 영역의 수를 카운팅 하여, 상기 타깃 이미지에 포함된 관심 객체의 수를 산출하는 단계를 포함하는,
   관심 객체 검출 방법.
3. 제1 항에 있어서,
   상기 타깃 이미지에서 관심 객체를 검출하는 단계는,
   슬라이딩 윈도우 방식으로 상기 제1 클래스 액티베이션 맵에 대한 풀링 연산을 수행하여, 제2 클래스 액티베이션 맵을 출력하는 단계;
   상기 제2 클래스 액티베이션 맵을 확대하여 제3 클래스 액티베이션 맵을 출력하는 단계;
   상기 제3 클래스 액티베이션 맵에서, 액티베이션 값이 임계 값 이상인 좌표로 구성되는 영역을 상기 관심 객체에 대응되는 영역으로 검출하는 단계; 및
   상기 관심 객체에 대응되는 영역의 위치를 상기 타깃 이미지에서 상기 관심 객체가 존재하는 위치로 인식하는 단계를 더 포함하는,
   관심 객체 검출 방법.
4. 제1 항에 있어서,
   상기 기계 학습 모델은,
   입력된 이미지에서 특징 맵을 추출하는 제1 컨볼루션 레이어, 상기 특징 맵을 이용하여 클래스 액티베이션 맵을 추출하는 제2 컨볼루션 레이어 및 상기 클래스 액티베이션 맵을 이용하여 관심 객체에 대한 검출 결과를 출력하는 출력 레이어를 포함하는,
   관심 객체 검출 방법.
5. 제4 항에 있어서,
   상기 기계 학습 모델을 트레이닝 하는 단계는,
   상기 트레이닝 이미지의 가장 자리에 기 설정된 두께의 제로 패딩(zero padding)을 수행하고, 상기 제로 패딩 된 트레이닝 이미지를 상기 제1 컨볼루션 레이어에 입력하여 상기 트레이닝 이미지에 대한 특징 맵을 추출하는 단계;
   상기 추출된 특징 맵의 가장 자리에 기 설정된 두께의 제로 패딩을 수행하고, 상기 제로 패딩 된 특징 맵을 상기 제2 컨볼루션 레이어에 입력하여 상기 트레이닝 이미지에 대한 제2 클래스 액티베이션 맵을 추출하는 단계;
   상기 제2 클래스 액티베이션 맵에서 기 설정된 내부 영역을 상기 출력 레이어에 입력하여, 상기 트레이닝 이미지에 포함된 관심 객체에 대한 검출 결과를 예측하는 단계; 및
   상기 트레이닝 이미지에 주어진 관심 객체에 대한 검출 결과와 상기 예측된 검출 결과의 비교를 통해 산출된 오차를 역전파(back-propagation)하여 상기 기계 학습 모델을 갱신하는 단계를 포함하는,
   관심 객체 검출 방법.
6. 컴퓨팅 장치와 결합하여,
   제1항 내지 제5항 중 어느 한 항에 기재된 방법을 실행시키기 위하여 컴퓨터로 판독가능한 기록매체에 저장된,
   컴퓨터 프로그램.

Images