KR102448338B1

KR102448338B1 - PatchCore 기법을 응용한, 조직 병리 이상 탐지 모델의 비지도 학습 방법 및 학습 장치, 그리고 이를 이용한 테스트 방법 및 테스트 장치

Info

Publication number: KR102448338B1
Application number: KR1020220073148A
Authority: KR
Inventors: 김진; 이건혁
Original assignee: (주)시큐레이어
Priority date: 2022-06-15
Filing date: 2022-06-15
Publication date: 2022-09-29

Abstract

PatchCore 기법을 응용한, 조직 병리 이상 탐지 모델의 비지도 학습 방법이 개시된다. 즉, (a) 학습 장치가, 디지털 병리데이터 이미지에 대한 학습 데이터를 획득하는 단계; (b) 상기 학습 장치가, 기학습된 레거시 뉴럴넷의 하이레벨 레이어를 사용하여 획득된 특징화 뉴럴넷에 상기 학습 데이터 중 적어도 일부를 입력하여 비지도 학습용 특징화 데이터값을 획득하는 단계; 및 (c) 상기 학습 장치가, 상기 비지도 학습용 특징화 데이터값을 참조하여 정상 데이터의 대표 특징화 데이터값에 대응하는 적어도 하나의 이상 탐지용 코어셋을 획득함으로써 상기 비지도학습을 완료하는 단계를 포함하는 것을 특징으로 하는 방법이 개시된다.

Description

PatchCore 기법을 응용한, 조직 병리 이상 탐지 모델의 비지도 학습 방법 및 학습 장치, 그리고 이를 이용한 테스트 방법 및 테스트 장치{METHOD AND DEVICE FOR TRAINING PATHOLOGICAL ANOMALY DETECTION MODEL ON TISSUE USING IMPROVED PATCHCORE TECHNIQUE, AND METHOD AND DEVICE FOR TESTING USING THE SAME}

본 발명은 PatchCore 기법을 응용한, 조직 병리 이상 탐지 모델의 비지도 학습 방법 및 학습 장치, 그리고 이를 이용한 테스트 방법 및 테스트 장치에 관한 것이다.

디지털 병리학(Digital Pathology)은 디지털 스캐너를 사용하여 병리 슬라이드를 디지털 영상으로 변환하여 보관 및 분석하는 것과 관련된 기술 분야이다. 이와 같은 디지털 병리학과 관련된 핵심 기술들 중 하나가 Whole Slide Imaging(WSI)이다. 이는 유리 슬라이드에 담긴 조직의 전체 형상을 고해상도의 디지털 영상으로 변환하는 기술로, 이를 통해 디지털화된 영상으로 광학 현미경 검사를 시뮬레이션할 수 있다.

디지털 병리학의 주요한 목표들 중 하나는 조직병리에 있어서 AI를 통한 컴퓨터 보조 진단이 이루어질 수 있도록 하는 것인데, 그 때 이 WSI가 사용된다. 즉, AI가 WSI 데이터를 분석하여 병리적 보조 진단을 내리도록 하고자 하는 것인데, WSI 데이터의 크기가 워낙 크고 범위가 방대할 뿐만 아니라, 라벨링 데이터를 획득하기가 어려워 일반적으로 사용되는 지도 학습 기법을 적용할 수 없어 효율적인 인공지능 기법의 접근이 어려운 실정이다.

한편, 산업 영상 데이터를 사용해 이상 탐지를 수행하고자, Defard, Thomas et al.(2021), Patch Distribution Modeling Framework For Anomaly Detection and Localization 논문에 의해 비지도학습 기법을 적용한 PatchCore 모델이 제시된 바 있다. PatchCore는 정상 데이터만을 사용하여 학습을 진행하는 이상 탐지 모델이며, 사전 훈련된 BackBone 모델을 사용하여 특징 값을 추출하고, 이를 통해 테스트 데이터의 이상 여부를 판별한다. 여기서 PatchCore 모델은, BackBone 모델의 레이어들 중 하이레벨 레이어는 사용하지 않고 미드레벨 레이어만을 사용하여 특징 값을 추출하도록 설계되어 있는데, 저자는, 하이레벨 레이어는 BackBone 모델의 본래 기능에 적합하도록 구성되어 있고, Localized Nominal Information을 상실한 상태이기 때문에 미드레벨 레이어를 사용하도록 하였다고 언급하였다.

상기 설명한 PatchCore와 같은 모델을 병리 의료 영상 상의 이상 탐지 모델에 적용할 수 있다면 큰 도움이 될 것이나, 산업 영상과 병리 의료 영상의 특성이 달라, 이를 직접 적용하기는 어려운 문제가 있다.

본 발명은 상술한 문제점을 해결하는 것을 목적으로 한다.

또한 본 발명은 PatchCore 기법을 의료 영상에 맞게 응용하여 적용함으로써 조직 병리 이상 탐지 모델의 비지도 학습 방법 및 장치를 제공하는 것을 목적으로 한다.

또한 본 발명은 레거시 뉴럴넷의 레이어들 중 의료 영상 분석에 최적화된 레이어들을 선택하는 방법을 제공하는 것을 목적으로 한다.

상기한 바와 같은 본 발명의 목적을 달성하고, 후술하는 본 발명의 특징적인 효과를 실현하기 위한 본 발명의 특징적인 구성은 하기와 같다.

본 발명의 일 태양에 따르면, PatchCore 기법을 응용한, 조직 병리 이상 탐지 모델의 비지도 학습 방법에 있어서, (a) 학습 장치가, 디지털 병리데이터 이미지에 대한 학습 데이터를 획득하는 단계; (b) 상기 학습 장치가, 기학습된 레거시 뉴럴넷의 하이레벨 레이어를 사용하여 획득된 특징화 뉴럴넷에 상기 학습 데이터 중 적어도 일부를 입력하여 비지도 학습용 특징화 데이터값을 획득하는 단계; 및 (c) 상기 학습 장치가, 상기 비지도 학습용 특징화 데이터값을 참조하여, 정상 데이터의 대표 특징화 데이터값에 대응하는 적어도 하나의 이상 탐지용 코어셋을 획득함으로써 상기 비지도학습을 완료하는 단계를 포함하는 것을 특징으로 하는 방법이 개시된다.

일례로서, 상기 (b) 단계 이전에, 상기 학습 장치가, 상기 기학습된 레거시 뉴럴넷에 포함된 각각의 레이어들 중, 상기 학습 데이터에 최적화된 상기 하이레벨 레이어들을 선택함으로써 상기 특징화 뉴럴넷을 획득하는 것을 특징으로 하는 방법이 개시된다.

일례로서, 상기 (b) 단계 이전에, 상기 특징화 뉴럴넷은, 상기 기학습된 레거시 뉴럴넷의 각각의 레이어 중, 상기 학습데이터에 포함된 상기 디지털 병리데이터 이미지의 슬라이드 패치들 간의 이미지 유사도로부터 계산된 임계복잡도 이하의 복잡도를 가지는 상기 하이레벨 레이어들을 선택함으로써 획득된 것을 특징으로 하는 방법이 개시된다.

일례로서, 상기 (b) 단계 이전에, 상기 학습 장치가, 상기 슬라이드 패치들을 상기 특징화 뉴럴넷에 입력하여 최적화용 특징화 데이터값을 획득한 다음, 상기 슬라이드 패치들에 대한 상기 특징화 뉴럴넷의 최적화 후의 연산 값이 최적화 이전에 비해 유사해질 수 있도록 하는 최적화 로스를 생성하도록 하고, 상기 최적화 로스를 참조하여 상기 특징화 뉴럴넷의 파라미터들 중 적어도 일부를 학습함으로써 상기 특징화 뉴럴넷을 최적화하는 것을 특징으로 하는 방법이 개시된다.

일례로서, 상기 (b) 단계는, 상기 학습 장치가, 상기 학습 데이터 중 적어도 일부를 상기 특징화 뉴럴넷에 입력함으로써 상기 특징화 뉴럴넷에 포함된 각각의 레이어들로부터 획득된 특징 값들 중, 최후단 레이어 및 이와 인접한 기설정된 개수의 특정 레이어로부터 획득된 특정 특징 값들을 풀링함으로써 상기 비지도 학습용 특징화 데이터값을 획득하는 것을 특징으로 하는 방법이 개시된다.

일례로서, 상기 (c) 단계는, 상기 학습 장치가, 상기 비지도 학습용 특징화 데이터값에 K-Nearest Neighbor(KNN) 연산을 인가함으로써, 상기 비지도 학습용 특징화 데이터값을 대표하는 적어도 하나의 군집에 대응하는 적어도 하나의 특징 벡터인 상기 이상 탐지용 코어셋을 획득하는 것을 특징으로 하는 방법이 개시된다.

일례로서, 상기 (a) 단계는, 상기 학습 장치가, Whole Slide Image(WSI) 형태인 상기 디지털 병리데이터 이미지에 생체 세그멘테이션 및 슬라이드 분할 연산을 가하여 리사이즈된 적어도 하나의 슬라이드 패치를 포함하는 상기 학습 데이터를 획득하는 것을 특징으로 하는 방법이 개시된다.

본 발명의 다른 태양에 따르면, PatchCore 기법을 응용한, 비지도학습된 조직 병리 이상 탐지 모델의 테스트 방법에 있어서, (a) (1) 학습용 디지털 병리데이터 이미지에 대한 학습 데이터를 획득하는 프로세스; (2) 기학습된 레거시 뉴럴넷의 하이레벨 레이어를 사용하여 획득된 특징화 뉴럴넷에 상기 학습 데이터 중 적어도 일부를 입력하여 비지도 학습용 특징화 데이터값을 획득하는 프로세스; 및 (3) 상기 비지도 학습용 특징화 데이터값을 참조하여, 정상 데이터의 대표 특징화 데이터값에 대응하는 적어도 하나의 이상 탐지용 코어셋을 획득함으로써 상기 비지도학습을 완료하는 프로세스를 수행함으로써 학습이 완료된 상태에서, 테스트 장치가, 테스트용 디지털 병리데이터 이미지에 대한 테스트 데이터를 획득하는 단계; (b) 상기 테스트 장치가, 상기 특징화 뉴럴넷에 상기 테스트 데이터 중 적어도 일부를 입력하여 테스트용 특징화 데이터값을 획득하는 단계; 및 (c) 상기 테스트 장치가, 상기 테스트용 특징화 데이터값 및 상기 이상 탐지용 코어셋을 참조하여 상기 테스트용 디지털 병리데이터 이미지의 이상 여부를 판단하는 단계를 포함하는 것을 특징으로 하는 방법이 개시된다.

일례로서, 상기 (c) 단계는, 상기 테스트 장치가, 상기 테스트용 특징화 데이터값과, 상기 적어도 하나의 상기 이상 탐지용 코어셋 간의 유클리디언 거리를 계산함으로써 적어도 하나의 이상 스코어를 계산한 다음, 상기 이상 스코어와 스코어 임계치를 비교하여 상기 이상 스코어 중 상기 스코어 임계치 이상인 특정 이상 스코어를 찾은 다음, 상기 특정 이상 스코어의 개수가 개수 임계치 이상인 경우 상기 테스트용 디지털 병리데이터 이미지가 이상 데이터에 해당하는 것으로 판단하는 것을 특징으로 하는 방법이 개시된다.

일례로서, 상기 (b) 단계는, 상기 테스트 장치가, 상기 테스트 데이터 중 적어도 일부를 상기 특징화 뉴럴넷에 입력함으로써 상기 특징화 뉴럴넷에 포함된 각각의 레이어들로부터 획득된 특징 값들 중, 최후단 레이어 및 이와 인접한 기설정된 개수의 특정 레이어로부터 획득된 특정 특징 값들을 풀링함으로써 상기 테스트용 특징화 데이터값을 획득하는 것을 특징으로 하는 방법이 개시된다.

본 발명의 또다른 태양에 따르면, PatchCore 기법을 응용한, 조직 병리 이상 탐지 모델의 비지도 학습 장치에 있어서, 인스트럭션들을 저장하는 하나 이상의 메모리; 및 상기 인스트럭션들을 수행하도록 설정된 하나 이상의 프로세서를 포함하되, 상기 프로세서는, (I) 디지털 병리데이터 이미지에 대한 학습 데이터를 획득하는 프로세스; (II) 기학습된 레거시 뉴럴넷의 하이레벨 레이어를 사용하여 획득된 특징화 뉴럴넷에 상기 학습 데이터 중 적어도 일부를 입력하여 비지도 학습용 특징화 데이터값을 획득하는 프로세스; 및 (III) 상기 비지도 학습용 특징화 데이터값을 참조하여, 정상 데이터의 대표 특징화 데이터값에 대응하는 적어도 하나의 이상 탐지용 코어셋을 획득함으로써 상기 비지도학습을 완료하는 프로세스를 수행하도록 설정된 것을 특징으로 하는 장치가 개시된다.

일례로서, 상기 (II) 프로세스 이전에, 상기 프로세서가, 상기 기학습된 레거시 뉴럴넷에 포함된 각각의 레이어들 중, 상기 학습 데이터에 최적화된 상기 하이레벨 레이어들을 선택함으로써 상기 특징화 뉴럴넷을 획득하는 것을 특징으로 하는 장치가 개시된다.

일례로서, 상기 (II) 프로세스 이전에, 상기 특징화 뉴럴넷은, 상기 기학습된 레거시 뉴럴넷의 각각의 레이어 중, 상기 학습데이터에 포함된 상기 디지털 병리데이터 이미지의 슬라이드 패치들 간의 이미지 유사도로부터 계산된 임계복잡도 이하의 복잡도를 가지는 상기 하이레벨 레이어들을 선택함으로써 획득된 것을 특징으로 하는 장치가 개시된다.

일례로서, 상기 (II) 프로세스 이전에, 상기 프로세서가, 상기 슬라이드 패치들을 상기 특징화 뉴럴넷에 입력하여 최적화용 특징화 데이터값을 획득한 다음, 상기 슬라이드 패치들에 대한 상기 특징화 뉴럴넷의 최적화 후의 연산 값이 최적화 이전에 비해 유사해질 수 있도록 하는 최적화 로스를 생성하도록 하고, 상기 최적화 로스를 참조하여 상기 특징화 뉴럴넷의 파라미터들 중 적어도 일부를 학습함으로써 상기 특징화 뉴럴넷을 최적화하는 것을 특징으로 하는 장치가 개시된다.

일례로서, 상기 (II) 프로세스는, 상기 프로세서가, 상기 학습 데이터 중 적어도 일부를 상기 특징화 뉴럴넷에 입력함으로써 상기 특징화 뉴럴넷에 포함된 각각의 레이어들로부터 획득된 특징 값들 중, 최후단 레이어 및 이와 인접한 기설정된 개수의 특정 레이어로부터 획득된 특정 특징 값들을 풀링함으로써 상기 비지도 학습용 특징화 데이터값을 획득하는 것을 특징으로 하는 장치가 개시된다.

일례로서, 상기 (III) 프로세스는, 상기 프로세서가, 상기 비지도 학습용 특징화 데이터값에 K-Nearest Neighbor(KNN) 연산을 인가함으로써, 상기 비지도 학습용 특징화 데이터값을 대표하는 적어도 하나의 군집에 대응하는 적어도 하나의 특징 벡터인 상기 이상 탐지용 코어셋을 획득하는 것을 특징으로 하는 장치가 개시된다.

일례로서, 상기 프로세서가, Whole Slide Image(WSI) 형태인 상기 디지털 병리데이터 이미지에 생체 세그멘테이션 및 슬라이드 분할 연산을 가하여 리사이즈된 적어도 하나의 슬라이드 패치를 포함하는 상기 학습 데이터를 획득하는 것을 특징으로 하는 장치가 개시된다.

본 발명의 다른 태양에 따르면, PatchCore 기법을 응용한, 비지도학습된 조직 병리 이상 탐지 모델의 테스트 장치에 있어서, 인스트럭션들을 저장하는 하나 이상의 메모리; 및 상기 인스트럭션들을 수행하도록 설정된 하나 이상의 프로세서를 포함하되, 상기 프로세서는, (I) (1) 학습용 디지털 병리데이터 이미지에 대한 학습 데이터를 획득하는 프로세스; (2) 기학습된 레거시 뉴럴넷의 하이레벨 레이어를 사용하여 획득된 특징화 뉴럴넷에 상기 학습 데이터 중 적어도 일부를 입력하여 비지도 학습용 특징화 데이터값을 획득하는 프로세스; 및 (3) 상기 비지도 학습용 특징화 데이터값을 참조하여, 정상 데이터의 대표 특징화 데이터값에 대응하는 적어도 하나의 이상 탐지용 코어셋을 획득함으로써 상기 비지도학습을 완료하는 프로세스를 수행함으로써 학습이 완료된 상태에서, 테스트용 디지털 병리데이터 이미지에 대한 테스트 데이터를 획득하는 프로세스; (II) 상기 특징화 뉴럴넷에 상기 테스트 데이터 중 적어도 일부를 입력하여 테스트용 특징화 데이터값을 획득하는 프로세스; 및 (III) 상기 테스트용 특징화 데이터값 및 상기 이상 탐지용 코어셋을 참조하여 상기 테스트용 디지털 병리데이터 이미지의 이상 여부를 판단하는 프로세스를 수행하도록 설정된 것을 특징으로 하는 장치가 개시된다.

일례로서, 상기 (III) 프로세스는, 상기 프로세서가, 상기 테스트용 특징화 데이터값과, 상기 적어도 하나의 상기 이상 탐지용 코어셋 간의 유클리디언 거리를 계산함으로써 적어도 하나의 이상 스코어를 계산한 다음, 상기 이상 스코어와 스코어 임계치를 비교하여 상기 이상 스코어 중 상기 스코어 임계치 이상인 특정 이상 스코어를 찾은 다음, 상기 특정 이상 스코어의 개수가 개수 임계치 이상인 경우 상기 테스트용 병리데이터 이미지가 이상 데이터에 해당하는 것으로 판단하는 것을 특징으로 하는 장치가 개시된다.

일례로서, 상기 (II) 프로세스는, 상기 프로세서가, 상기 테스트 데이터 중 적어도 일부를 상기 특징화 뉴럴넷에 입력함으로써 상기 특징화 뉴럴넷에 포함된 각각의 레이어들로부터 획득된 특징 값들 중, 최후단 레이어 및 이와 인접한 기설정된 개수의 특정 레이어로부터 획득된 특정 특징 값들을 풀링함으로써 상기 테스트용 특징화 데이터값을 획득하는 것을 특징으로 하는 장치가 개시된다.

본 발명은 PatchCore 기법을 의료 영상에 맞게 응용하여 적용함으로써 조직 병리 이상 탐지 모델의 비지도 학습 방법 및 장치를 제공할 수 있는 효과가 있다.

또한 본 발명은 레거시 뉴럴넷의 레이어들 중 의료 영상 분석에 최적화된 레이어들을 선택하는 방법을 제공할 수 있는 효과가 있다.

도 1은 본 발명의 일 실시예에 따른, PatchCore 기법을 응용한, 조직 병리 이상 탐지 모델의 비지도 학습 방법을 수행하는 학습 장치의 구성을 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른, PatchCore 기법을 응용한, 조직 병리 이상 탐지 모델의 비지도 학습 방법을 나타낸 흐름도이다.
도 3은 본 발명의 일 실시예에 따른, PatchCore 기법을 응용한, 조직 병리 이상 탐지 모델의 비지도 학습 방법을 수행하기 위해 기학습된 레거시 뉴럴넷을 사용하여 특징화 뉴럴넷을 획득하는 과정을 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른, PatchCore 기법을 응용한, 조직 병리 이상 탐지 모델의 학습 방법 및 테스트 방법을 함께 도식화한 도면이다.

후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.

이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 바람직한 실시예들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.

도 1은 본 발명의 일 실시예에 따른, PatchCore 기법을 응용한, 조직 병리 이상 탐지 모델의 비지도 학습 방법을 수행하는 학습 장치의 구성을 나타낸 도면이다.

도 1을 참조하면, 학습 장치(100)는 특징화 뉴럴넷(130)을 포함할 수 있다. 이 때, 특징화 뉴럴넷(130)의 입출력 및 연산 과정은 각각 통신부(110) 및 프로세서(120)에 의해 이루어질 수 있다. 다만, 도 1에서는 통신부(110) 및 프로세서(120)의 구체적인 연결 관계를 생략하였다. 또한, 메모리(115)는 후술할 여러 가지 인스트럭션들을 저장한 상태일 수 있고, 프로세서(120)는 메모리에 저장된 인스트럭션들을 수행하도록 됨으로써 추후 설명할 프로세스들을 수행하여 본 발명을 수행할 수 있다. 이와 같이 학습 장치(100)가 묘사되었다고 하여, 학습 장치(100)가 본 발명을 실시하기 위한 미디엄, 프로세서 및 메모리가 통합된 형태인 통합 프로세서를 포함하는 경우를 배제하는 것은 아니다. 이상 학습 장치(100)의 구성에 대해 설명한 바, 본 발명의 일 실시예에 따른, PatchCore 기법을 응용한, 조직 병리 이상 탐지 모델의 비지도 학습 방법에 대해 구체적으로 살필 것이다. 이를 위해 도 2를 참조한다.

도 2는 본 발명의 일 실시예에 따른, PatchCore 기법을 응용한, 조직 병리 이상 탐지 모델의 비지도 학습 방법을 나타낸 흐름도이다.

도 2를 참조하면, 학습 장치가, 디지털 병리데이터 이미지에 대한 학습 데이터를 획득할 수 있다(S01). 그리고, 학습 장치(100)가, 기학습된 레거시 뉴럴넷의 하이레벨 레이어를 사용하여 획득된 특징화 뉴럴넷(130)에 학습 데이터 중 적어도 일부를 입력하여 비지도 학습용 특징화 데이터값을 획득할 수 있다. 다음으로 학습 장치(100)가, 비지도 학습용 특징화 데이터값을 참조하여, 정상 데이터의 대표 특징화 데이터값에 대응하는 적어도 하나의 이상 탐지용 코어셋을 획득함으로써 비지도학습을 완료할 수 있다(S03). 이하 각각의 단계에 대해 더욱 구체적으로 설명하도록 한다.

먼저, 학습 데이터 획득 과정에 대해 설명하도록 한다. 여기서 디지털 병리데이터 이미지는, 유리 슬라이드에 담긴 조직의 전체 형상을 디지털 영상으로 변환한 결과인 Whole Slide Image(WSI)일 수 있다. 이 때, WSI 형태의 데이터는 크기가 너무 크므로, 이들을 리사이즈하여 일정한 크기의 슬라이드 패치들로 나눌 수 있다. 여기서, 슬라이드 패치는, 디지털 병리데이터 이미지에 생체 세그멘테이션 및 슬라이드 분할 연산을 가하여 획득될 수 있다. 이에 대해 잠시 설명하면, 학습 장치(100)는, 디지털 병리데이터 이미지에 배경분리 연산을 가하여 대상 생물의 장기들이 이미지 상의 객체로 도출되도록 함으로써 생체 세그멘테이션 연산의 전반부를 수행할 수 있다. 여기서, 배경분리 연산은, 널리 알려진 WaterShed 알고리즘을 사용하여 수행될 수 있다. 이를 통해, 예를 들어, 학습 데이터가 설치류 장기의 조직 데이터에 대한 것인 경우, 폐, 비장 및 간의 조직 데이터가 배경으로부터 분리되어 객체로 획득될 수 있다.

이후, 학습 장치(100)는, 도출된 객체들 중 적어도 일부에 해당하는 영역을 슬라이드 분할함으로써 슬라이드 패치들을 학습 데이터로 획득할 수 있다. 여기서, 학습 장치(100)가, 장기들 중 일부의 영역만을 분할하여 학습 데이터로 획득하고자 할 경우, 장기들의 기획득된 위치 및 크기 관계 정보를 참조하여 객체들을 분류하고, 해당 객체들 중 선택된 일부만의 영역을 슬라이드 분할할 수 있다. 예를 들어, 간 조직 데이터를 학습 데이터로 사용하고자 하는 경우, WSI 데이터 상의 좌상단에 폐, 중앙 상단에 비장, 우측 하단에 간 2개가 위치하여 있으며, 비장이 간의 1/2 크기라는 크기 관계 정보를 참조하여, 객체들 중 간에 해당하는 것을 식별할 수 있고, 간에 해당하는 객체 영역만을 슬라이드 분할하여 학습 데이터로 획득할 수 있을 것이다.

다만, 이와 같은 과정은 디지털 병리데이터 이미지의 저해상도 데이터인 저차원 이미지 상에서 이루어진 후 고해상도 이미지 상에 적용될 수 있다. 즉, 디지털 병리데이터 이미지의 저해상도 버전 데이터에 생체 세그멘테이션 연산을 가한 후, 대략적으로 파악된 객체들의 위치를 그대로 고해상도인 디지털 병리데이터 이미지 상의 위치에 맵핑하여 객체들을 식별하고, 이들 중 적어도 일부에 해당하는 영역을 슬라이드 분할함으로써 학습 데이터를 획득할 수 있다. 이상의 방식을 통해, 처리속도를 향상시킬 수 있으며, 과도한 메모리 점유 문제를 해결할 수 있다.

다음으로, 학습 장치(100)가 특징화 뉴럴넷(130)을 획득하는 과정에 대해 설명하도록 한다. 여기서 특징화 뉴럴넷(130)을 획득하는 과정은, 상기 학습 데이터의 획득 과정 이전, 동시 또는 이후에 수행될 수 있다. 특징화 뉴럴넷(130)은 기학습된 레거시 뉴럴넷(미도시)로부터 획득될 수 있는데, 레거시 뉴럴넷은 이미지 분류 등의 다른 용도로 학습이 완료된 신경망, 예를 들어 ResNet, VGG, ImageNet 등으로, 이의 레이어 중 일부를 사용하여 특징화 뉴럴넷(130)을 획득할 수 있다. 레거시 뉴럴넷의 레이어 중 일부를 사용하여 최적화된 신경망을 획득하는 방식은 종래 기술인 PatchCore에서 제시된 바 있는데, 종래 기술은 산업 영상을 입력으로 받는 경우에 대한 것이라, 각 영상별로 유사도가 낮은 점에 착안하여 다소 복잡한 구조를 가지는 미드레벨 레이어를 사용하여 최적화된 신경망을 획득하였다. 하지만, 본 발명에서 입력되는 학습 데이터인 디지털 병리데이터 이미지의 경우, 각 영상별 유사도가 상당히 높은 편이고, 따라서 다소 단순한 구조를 가지는 하이레벨 레이어를 사용하여 최적화된 신경망을 획득할 수 있을 것이다. 이에 대해 설명하기 위해 도 3을 참조하도록 한다.

도 3은 본 발명의 일 실시예에 따른, PatchCore 기법을 응용한, 조직 병리 이상 탐지 모델의 비지도 학습 방법을 수행하기 위해 기학습된 레거시 뉴럴넷을 사용하여 특징화 뉴럴넷을 획득하는 과정을 나타낸 도면이다.

도 3을 참조하면, 학습 장치(100)가, 레거시 뉴럴넷의 출력단에 가까운 하이레벨 레이어들을 획득함으로써 특징화 뉴럴넷(130)을 구성한 것을 확인할 수 있다. 여기서 하이레벨 레이어들은, 입력들 간에 서로 유사한 구조를 가지는 상황(예를 들어, 복수 개의 입력 이미지 상에 유사한 객체들이 유사한 크기 또는 위치 관계로 포함된 상황)에서, 입력들 중 특정 입력에 이상이 있을 경우 그 특징 값을 상이하게 표현해낼 수 있도록 다소 단순한 구조를 가질 수 있다. 즉, 특징화 뉴럴넷(130)은, 기학습된 레거시 뉴럴넷의 각각의 레이어 중, 학습데이터에 포함된 디지털 병리데이터 이미지를 리사이즈한 이미지인 슬라이드 패치들 간의 이미지 유사도((i) 서로 다른 이미지 상의 객체들이 유사한지 및 (ii) 서로 다른 이미지 상의 객체들이 유사할 때, 그들 간의 크기 또는 위치 관계가 이미지별로 유사한지 등을 판단하여 계산)에 대응하는 임계복잡도 이하의 복잡도를 가지는 하이레벨 레이어들을 선택함으로써 획득될 수 있다. 여기서 임계복잡도는 사용자에 의해 기설정되거나, 전술한 이미지 유사도에 반비례하도록 설정됨으로써 이미지들이 서로 유사할수록 덜 복잡한 레이어가 선택될 수 있도록 설정될 수 있으며, 도 3에서와 같이 다소 적은 개수의 레이어가 선택되도록 설정될 수도 있고, 이보다 더 많은 레이어가 선택되도록 설정될 수도 있을 것이다.

이와 같은 특징화 뉴럴넷(130)은, 선택적으로, 추가적인 전이 학습이 이루어질 수 있다. 즉, 학습 장치(100)는, 슬라이드 패치들을 특징화 뉴럴넷(130)에 입력하여 최적화용 특징화 데이터값을 획득한 다음, 슬라이드 패치들에 대한 상기 특징화 뉴럴넷의 최적화 후의 연산 값이 최적화 이전에 비해 유사해질 수 있도록 하는 최적화 로스를 생성하도록 하고, 최적화 로스를 참조하여 상기 특징화 뉴럴넷의 파라미터들 중 적어도 일부를 학습함으로써 특징화 뉴럴넷(130)을 최적화할 수 있다. 여기서 최적화 로스는 최적화용 특징화 데이터값의 평균값 및 각각의 데이터값을 사용하여 평균제곱오차 연산을 수행함으로써 생성될 수 있다. 특징화 뉴럴넷(130)의 레이어들은 기본적으로 레거시 뉴럴넷에서 온 것이므로, 레거시 뉴럴넷의 원 목적에 맞추어진 파라미터를 가지고 있을 것인 바, 이를 튜닝하여 성능을 최적화할 수 있을 것이다. 다만 본 과정은 선택적인 것으로, 수행되지 않아도 무방하다.

이상의 과정을 거쳐 학습 데이터 및 특징화 뉴럴넷(130)이 획득되면, 학습 장치(100)는, 학습 데이터 중 적어도 일부를 특징화 뉴럴넷(130)에 입력해 비지도 학습용 특징화 데이터값을 획득할 수 있다. 여기서 학습용 특징화 데이터값을 획득하는 과정에 대해 설명하면, 학습 장치(100)는, 학습 데이터 중 적어도 일부를 특징화 뉴럴넷(130)에 입력함으로써 특징화 뉴럴넷(130)에 포함된 각각의 레이어들로부터 특징 값을 획득하고, 이들 중 최후단 레이어 및 이와 인접한 기설정된 개수의 특정 레이어로부터 획득된 특정 특징 값들을 풀링, 예를 들어 평균 풀링함으로써 비지도 학습용 특징화 데이터값을 획득할 수 있다. 이는 일부 영역만이 아닌 주변 영역의 정보와 통합된 특징이 반영된 비지도 학습용 특징화 데이터값을 획득하기 위함이다. 이와 같은 구성은 전술한 PatchCore 기법에서 제안된 것으로, 통상의 기술자가 해당 자료를 통해 쉬이 이해할 수 있을 것이므로 자세한 설명은 생략한다.

이후, 학습 장치(100)는, 비지도 학습용 특징화 데이터값을 참조하여, 정상 데이터의 대표 특징화 데이터값에 대응하는 적어도 하나의 이상 탐지용 코어셋을 획득할 수 있다. 여기서 이상 탐지용 코어셋을 획득하는 과정에 대해 설명하면, 학습 장치(100)는, 비지도 학습용 특징화 데이터값에 K-Nearest Neighbor(KNN) 연산을 인가하여, 비지도 학습용 특징화 데이터값을 대표하는 적어도 하나의 군집에 대응하는 적어도 하나의 특징 벡터인 이상 탐지용 코어셋을 획득할 수 있다. 이와 같은 이상 탐지용 코어셋은, 정상 데이터들의 핵심적인 특징을 담고 있는 벡터로, 별도의 메모리 뱅크에 저장될 수 있으며, 추후 설명하겠지만, 이상 탐지용 코어셋과의 유클리디언 거리가 짧은지 혹은 긴지를 계산함으로써 해당 데이터가 정상 데이터에 가까운지 또는 이상 데이터에 가까운지를 판단할 수 있게 된다.

이상 탐지용 코어셋이 획득됨으로써 비지도학습이 완료된 후, 이를 사용하여 테스트 방법을 수행하는 과정에 대해 설명하도록 한다. 여기서, 테스트 장치의 구성은 학습 장치의 구성과 대동소이할 것이므로 이에 대한 설명은 생략한다. 여기서 테스트 방법의 수행 과정을 도식화한 도면을 살피기 위해 도 4를 참조한다.

도 4는 본 발명의 일 실시예에 따른, PatchCore 기법을 응용한, 조직 병리 이상 탐지 모델의 학습 방법 및 테스트 방법을 함께 도식화한 도면이다.

도 4를 참조하면, 파란색 라인은 학습 방법을, 연두색 라인은 테스트 방법을 의미한 것이며, 학습 과정을 통해 획득된 코어셋이 메모리 뱅크에 저장되고, 테스트 과정을 통해 획득된 테스트용 특징화 데이터값을 사용해 메모리 뱅크에 서치를 수행한 후, 이를 통해 이상 스코어가 획득되는 일련의 과정을 확인할 수 있다.

더욱 구체적으로 설명하면, (1) 학습용 디지털 병리데이터 이미지에 대한 학습 데이터를 획득하는 프로세스; (2) 기학습된 레거시 뉴럴넷의 하이레벨 레이어를 사용하여 획득된 특징화 뉴럴넷에 학습 데이터 중 적어도 일부를 입력하여 비지도 학습용 특징화 데이터값을 획득하는 프로세스; 및 (3) 비지도 학습용 특징화 데이터값을 참조하여, 정상 데이터의 대표 특징화 데이터값에 대응하는 적어도 하나의 이상 탐지용 코어셋을 획득함으로써 비지도학습을 완료하는 프로세스를 수행함으로써 학습이 완료된 상태에서, 테스트 장치가, 테스트용 디지털 병리데이터 이미지에 대한 테스트 데이터를 획득할 수 있다. 그리고, 테스트 장치가, 특징화 뉴럴넷에 테스트 데이터 중 적어도 일부를 입력하여 테스트용 특징화 데이터값을 획득할 수 있다. 마지막으로, 테스트 장치가, 테스트용 특징화 데이터값 및 이상 탐지용 코어셋을 참조하여 테스트용 디지털 병리데이터 이미지의 이상 여부를 판단할 수 있다.

여기서, 테스트용 특징화 데이터값을 획득하는 과정까지는, 학습 방법에서 학습용 특징화 데이터값을 획득하는 과정과 유사하므로 이에 대한 설명은 생략하도록 한다. 테스트용 특징화 데이터값 및 이상 탐지용 코어셋을 참조하여 테스트용 디지털 병리데이터 이미지의 이상 여부를 판단하는 과정에 대해 설명하면, 테스트 장치는, 테스트용 특징화 데이터값과, 적어도 하나의 이상 탐지용 코어셋 간의 유클리디언 거리를 계산함으로써 적어도 하나의 이상 스코어를 계산할 수 있다. 그리고, 이상 스코어와 스코어 임계치를 비교하여 이상 스코어 중 스코어 임계치 이상인 특정 이상 스코어를 찾은 다음, 특정 이상 스코어의 개수가 개수 임계치 이상인 경우 테스트용 병리데이터 이미지가 이상 데이터에 해당하는 것으로 판단할 수 있다. 여기서 스코어 임계치 및 개수 임계치는 사용자에 의해 설정될 수 있다. 여기서, 이상 스코어는 유클리디언 거리에 비례할 수 있으며, 따라서 스코어 임계치는 해당 값이 해당 군집에 포함되지 않는다고 볼 수 있는 최소한의 거리 값일 수 있다. 개수 임계치는, 해당 값이 어떠한 군집에도 포함되지 않거나, 너무 적은 수의 군집에만 포함되어 정상 데이터에 대응하는 것이라고 보기 어렵다고 상정한 값일 수 있다. 이와 같은 과정을 통해, 테스트용 병리데이터 이미지의 이상 여부를 판단할 수 있다.

이상 설명된 본 발명에 따른 실시예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기계로부터 다양한 수정 및 변형을 꾀할 수 있다.

따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위 뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.

Claims

PatchCore 기법을 응용한, 조직 병리 이상 탐지 모델의 비지도 학습 방법에 있어서,
(a) 학습 장치가, 디지털 병리데이터 이미지에 대한 학습 데이터를 획득하는 단계;
(b) 상기 학습 장치가, 기학습된 레거시 뉴럴넷의 하이레벨 레이어를 사용하여 획득된 특징화 뉴럴넷에 상기 학습 데이터 중 적어도 일부를 입력하여 비지도 학습용 특징화 데이터값을 획득하는 단계; 및
(c) 상기 학습 장치가, 상기 비지도 학습용 특징화 데이터값을 참조하여, 정상 데이터의 대표 특징화 데이터값에 대응하는 적어도 하나의 이상 탐지용 코어셋을 획득함으로써 상기 비지도학습을 완료하는 단계
를 포함하는 것을 특징으로 하는 방법.
제1항에 있어서,
상기 (b) 단계 이전에,
상기 학습 장치가, 상기 기학습된 레거시 뉴럴넷에 포함된 각각의 레이어들 중, 상기 학습 데이터에 최적화된 상기 하이레벨 레이어들을 선택함으로써 상기 특징화 뉴럴넷을 획득하는 것을 특징으로 하는 방법.
제2항에 있어서,
상기 (b) 단계 이전에,
상기 특징화 뉴럴넷은, 상기 기학습된 레거시 뉴럴넷의 각각의 레이어 중, 상기 학습데이터에 포함된 상기 디지털 병리데이터 이미지의 슬라이드 패치들 간의 이미지 유사도로부터 계산된 임계복잡도 이하의 복잡도를 가지는 상기 하이레벨 레이어들을 선택함으로써 획득된 것을 특징으로 하는 방법.
제3항에 있어서,
상기 (b) 단계 이전에,
상기 학습 장치가, 상기 슬라이드 패치들을 상기 특징화 뉴럴넷에 입력하여 최적화용 특징화 데이터값을 획득한 다음, 상기 슬라이드 패치들에 대한 상기 특징화 뉴럴넷의 최적화 후의 연산 값이 최적화 전에 비해 유사해질 수 있도록 하는 최적화 로스를 생성하도록 하고, 상기 최적화 로스를 참조하여 상기 특징화 뉴럴넷의 파라미터들 중 적어도 일부를 학습함으로써 상기 특징화 뉴럴넷을 최적화하는 것을 특징으로 하는 방법.
제1항에 있어서,
상기 (b) 단계는,
상기 학습 장치가, 상기 학습 데이터 중 적어도 일부를 상기 특징화 뉴럴넷에 입력함으로써 상기 특징화 뉴럴넷에 포함된 각각의 레이어들로부터 획득된 특징 값들 중, 최후단 레이어 및 이와 인접한 기설정된 개수의 특정 레이어로부터 획득된 특정 특징 값들을 풀링함으로써 상기 비지도 학습용 특징화 데이터값을 획득하는 것을 특징으로 하는 방법.
제1항에 있어서,
상기 (c) 단계는,
상기 학습 장치가, 상기 비지도 학습용 특징화 데이터값에 K-Nearest Neighbor(KNN) 연산을 인가함으로써, 상기 비지도 학습용 특징화 데이터값을 대표하는 적어도 하나의 군집에 대응하는 적어도 하나의 특징 벡터인 상기 이상 탐지용 코어셋을 획득하는 것을 특징으로 하는 방법.
제1항에 있어서,
상기 (a) 단계는,
상기 학습 장치가, Whole Slide Image(WSI) 형태인 상기 디지털 병리데이터 이미지에 생체 세그멘테이션 및 슬라이드 분할 연산을 가하여 리사이즈된 적어도 하나의 슬라이드 패치를 포함하는 상기 학습 데이터를 획득하는 것을 특징으로 하는 방법.
PatchCore 기법을 응용한, 비지도학습된 조직 병리 이상 탐지 모델의 테스트 방법에 있어서,
(a) (1) 학습용 디지털 병리데이터 이미지에 대한 학습 데이터를 획득하는 프로세스; (2) 기학습된 레거시 뉴럴넷의 하이레벨 레이어를 사용하여 획득된 특징화 뉴럴넷에 상기 학습 데이터 중 적어도 일부를 입력하여 비지도 학습용 특징화 데이터값을 획득하는 프로세스; 및 (3) 상기 비지도 학습용 특징화 데이터값을 참조하여, 정상 데이터의 대표 특징화 데이터값에 대응하는 적어도 하나의 이상 탐지용 코어셋을 획득함으로써 상기 비지도학습을 완료하는 프로세스를 수행함으로써 학습이 완료된 상태에서, 테스트 장치가, 테스트용 디지털 병리데이터 이미지에 대한 테스트 데이터를 획득하는 단계;
(b) 상기 테스트 장치가, 상기 특징화 뉴럴넷에 상기 테스트 데이터 중 적어도 일부를 입력하여 테스트용 특징화 데이터값을 획득하는 단계; 및
(c) 상기 테스트 장치가, 상기 테스트용 특징화 데이터값 및 상기 이상 탐지용 코어셋을 참조하여 상기 테스트용 디지털 병리데이터 이미지의 이상 여부를 판단하는 단계
를 포함하는 것을 특징으로 하는 방법.
제8항에 있어서,
상기 (c) 단계는,
상기 테스트 장치가, 상기 테스트용 특징화 데이터값과, 상기 적어도 하나의 상기 이상 탐지용 코어셋 간의 유클리디언 거리를 계산함으로써 적어도 하나의 이상 스코어를 계산한 다음, 상기 이상 스코어와 스코어 임계치를 비교하여 상기 이상 스코어 중 상기 스코어 임계치 이상인 특정 이상 스코어를 찾은 다음, 상기 특정 이상 스코어의 개수가 개수 임계치 이상인 경우 상기 테스트용 디지털 병리데이터 이미지가 이상 데이터에 해당하는 것으로 판단하는 것을 특징으로 하는 방법.
제8항에 있어서,
상기 (b) 단계는,
상기 테스트 장치가, 상기 테스트 데이터 중 적어도 일부를 상기 특징화 뉴럴넷에 입력함으로써 상기 특징화 뉴럴넷에 포함된 각각의 레이어들로부터 획득된 특징 값들 중, 최후단 레이어 및 이와 인접한 기설정된 개수의 특정 레이어로부터 획득된 특정 특징 값들을 풀링함으로써 상기 테스트용 특징화 데이터값을 획득하는 것을 특징으로 하는 방법.
PatchCore 기법을 응용한, 조직 병리 이상 탐지 모델의 비지도 학습 장치에 있어서,
인스트럭션들을 저장하는 하나 이상의 메모리; 및
상기 인스트럭션들을 수행하도록 설정된 하나 이상의 프로세서를 포함하되, 상기 프로세서는, (I) 디지털 병리데이터 이미지에 대한 학습 데이터를 획득하는 프로세스; (II) 기학습된 레거시 뉴럴넷의 하이레벨 레이어를 사용하여 획득된 특징화 뉴럴넷에 상기 학습 데이터 중 적어도 일부를 입력하여 비지도 학습용 특징화 데이터값을 획득하는 프로세스; 및 (III) 상기 비지도 학습용 특징화 데이터값을 참조하여, 정상 데이터의 대표 특징화 데이터값에 대응하는 적어도 하나의 이상 탐지용 코어셋을 획득함으로써 상기 비지도학습을 완료하는 프로세스를 수행하도록 설정된 것을 특징으로 하는 장치.
제11항에 있어서,
상기 (II) 프로세스 이전에,
상기 프로세서가, 상기 기학습된 레거시 뉴럴넷에 포함된 각각의 레이어들 중, 상기 학습 데이터에 최적화된 상기 하이레벨 레이어들을 선택함으로써 상기 특징화 뉴럴넷을 획득하는 것을 특징으로 하는 장치.
제12항에 있어서,
상기 (II) 프로세스 이전에,
상기 특징화 뉴럴넷은, 상기 기학습된 레거시 뉴럴넷의 각각의 레이어 중, 상기 학습데이터에 포함된 상기 디지털 병리데이터 이미지의 슬라이드 패치들 간의 이미지 유사도로부터 계산된 임계복잡도 이하의 복잡도를 가지는 상기 하이레벨 레이어들을 선택함으로써 획득된 것을 특징으로 하는 장치.
제13항에 있어서,
상기 (II) 프로세스 이전에,
상기 프로세서가, 상기 슬라이드 패치들을 상기 특징화 뉴럴넷에 입력하여 최적화용 특징화 데이터값을 획득한 다음, 상기 슬라이드 패치들에 대한 상기 특징화 뉴럴넷의 최적화 후의 연산 값이 최적화 이전에 비해 유사해질 수 있도록 하는 최적화 로스를 생성하도록 하고, 상기 최적화 로스를 참조하여 상기 특징화 뉴럴넷의 파라미터들 중 적어도 일부를 학습함으로써 상기 특징화 뉴럴넷을 최적화하는 것을 특징으로 하는 장치.
제11항에 있어서,
상기 (II) 프로세스는,
상기 프로세서가, 상기 학습 데이터 중 적어도 일부를 상기 특징화 뉴럴넷에 입력함으로써 상기 특징화 뉴럴넷에 포함된 각각의 레이어들로부터 획득된 특징 값들 중, 최후단 레이어 및 이와 인접한 기설정된 개수의 특정 레이어로부터 획득된 특정 특징 값들을 풀링함으로써 상기 비지도 학습용 특징화 데이터값을 획득하는 것을 특징으로 하는 장치.
제11항에 있어서,
상기 (III) 프로세스는,
상기 프로세서가, 상기 비지도 학습용 특징화 데이터값에 K-Nearest Neighbor(KNN) 연산을 인가함으로써, 상기 비지도 학습용 특징화 데이터값을 대표하는 적어도 하나의 군집에 대응하는 적어도 하나의 특징 벡터인 상기 이상 탐지용 코어셋을 획득하는 것을 특징으로 하는 장치.
제11항에 있어서
상기 (I) 프로세스는,
상기 프로세서가, Whole Slide Image(WSI) 형태인 상기 디지털 병리데이터 이미지에 생체 세그멘테이션 및 슬라이드 분할 연산을 가하여 리사이즈된 적어도 하나의 슬라이드 패치를 포함하는 상기 학습 데이터를 획득하는 것을 특징으로 하는 장치.
PatchCore 기법을 응용한, 비지도학습된 조직 병리 이상 탐지 모델의 테스트 장치에 있어서,
인스트럭션들을 저장하는 하나 이상의 메모리; 및
상기 인스트럭션들을 수행하도록 설정된 하나 이상의 프로세서를 포함하되, 상기 프로세서는, (I) (1) 학습용 디지털 병리데이터 이미지에 대한 학습 데이터를 획득하는 프로세스; (2) 기학습된 레거시 뉴럴넷의 하이레벨 레이어를 사용하여 획득된 특징화 뉴럴넷에 상기 학습 데이터 중 적어도 일부를 입력하여 비지도 학습용 특징화 데이터값을 획득하는 프로세스; 및 (3) 상기 비지도 학습용 특징화 데이터값을 참조하여, 정상 데이터의 대표 특징화 데이터값에 대응하는 적어도 하나의 이상 탐지용 코어셋을 획득함으로써 상기 비지도학습을 완료하는 프로세스를 수행함으로써 학습이 완료된 상태에서, 테스트용 디지털 병리데이터 이미지에 대한 테스트 데이터를 획득하는 프로세스; (II) 상기 특징화 뉴럴넷에 상기 테스트 데이터 중 적어도 일부를 입력하여 테스트용 특징화 데이터값을 획득하는 프로세스; 및 (III) 상기 테스트용 특징화 데이터값 및 상기 이상 탐지용 코어셋을 참조하여 상기 테스트용 디지털 병리데이터 이미지의 이상 여부를 판단하는 프로세스를 수행하도록 설정된 것을 특징으로 하는 장치.
제18항에 있어서,
상기 (III) 프로세스는,
상기 프로세서가, 상기 테스트용 특징화 데이터값과, 상기 적어도 하나의 상기 이상 탐지용 코어셋 간의 유클리디언 거리를 계산함으로써 적어도 하나의 이상 스코어를 계산한 다음, 상기 이상 스코어와 스코어 임계치를 비교하여 상기 이상 스코어 중 상기 스코어 임계치 이상인 특정 이상 스코어를 찾은 다음, 상기 특정 이상 스코어의 개수가 개수 임계치 이상인 경우 상기 테스트용 디지털 병리데이터 이미지가 이상 데이터에 해당하는 것으로 판단하는 것을 특징으로 하는 장치.
제18항에 있어서,
상기 (II) 프로세스는,
상기 프로세서가, 상기 테스트 데이터 중 적어도 일부를 상기 특징화 뉴럴넷에 입력함으로써 상기 특징화 뉴럴넷에 포함된 각각의 레이어들로부터 획득된 특징 값들 중, 최후단 레이어 및 이와 인접한 기설정된 개수의 특정 레이어로부터 획득된 특정 특징 값들을 풀링함으로써 상기 테스트용 특징화 데이터값을 획득하는 것을 특징으로 하는 장치.