KR102640426B1 - 자가 지도 학습 모델을 활용한 약한 지도 학습 기반의 병리 영상 판독 방법 - Google Patents

자가 지도 학습 모델을 활용한 약한 지도 학습 기반의 병리 영상 판독 방법 Download PDF

Info

Publication number
KR102640426B1
KR102640426B1 KR1020230117550A KR20230117550A KR102640426B1 KR 102640426 B1 KR102640426 B1 KR 102640426B1 KR 1020230117550 A KR1020230117550 A KR 1020230117550A KR 20230117550 A KR20230117550 A KR 20230117550A KR 102640426 B1 KR102640426 B1 KR 102640426B1
Authority
KR
South Korea
Prior art keywords
feature vectors
image
pathology
instance
clusters
Prior art date
Application number
KR1020230117550A
Other languages
English (en)
Inventor
범명
이대홍
예재형
김정열
Original Assignee
주식회사 에이비스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에이비스 filed Critical 주식회사 에이비스
Application granted granted Critical
Publication of KR102640426B1 publication Critical patent/KR102640426B1/ko

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/469—Contour-based spatial representations, e.g. vector-coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695—Preprocessing, e.g. image segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Primary Health Care (AREA)
  • Evolutionary Computation (AREA)
  • Epidemiology (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Image Analysis (AREA)

Abstract

본 개시의 실시예에 따른 전체 슬라이드 이미지로 구성된 병리 영상을 판독하는 방법은 상기 전체 슬라이드 이미지를 복수의 이미지 패치들로 구분하는 단계, 자가 지도 학습 모델에 기초하여 상기 이미지 패치들로부터 특징 벡터를 추출하는 단계, 상기 특징 벡터들 각각을 복수의 클러스터들 중 어느 하나로 그룹핑하는 단계, 각각의 상기 클러스터로부터 적어도 일부 특징 벡터들을 추출하여 인스턴스 백(instance bag)을 생성하는 단계, 및 상기 전체 슬라이드 이미지에 따라 결정된 라벨링 값 및 상기 인스턴스 백에 기초하여 병리 영상 판독 모델을 트레이닝시키는 단계를 포함할 수 있다.

Description

자가 지도 학습 모델을 활용한 약한 지도 학습 기반의 병리 영상 판독 방법{Method for analyzing pathology image based on weakly supervised learning using self-supervised model}
본 개시의 기술적 사상은 병리 영상 판독 방법에 관한 것으로, 더욱 상세하게는, 자가 지도 학습 모델을 활용한 약한 지도 학습 기반으로 병리 영상을 판독하는 방법에 관한 것이다.
디지털 병리학의 빠른 발전을 고려할 때 H&E 전체 슬라이드 이미지를 사용하여 호르몬 수용체 상태(ER 및 PR)를 예측하기 위한 컴퓨터 비전 알고리즘을 개발하는 것은 상당한 잠재력을 가지고 있다. 이러한 알고리즘은 전통적인 IHC 테스트의 필요성을 제거하여 시간과 비용을 절약하고 유방암의 호르몬 수용체에 대한 일상적인 테스트를 혁신할 수 있다. 이것은 치료 의사 결정의 효율성을 향상시키고 궁극적으로 환자에게 도움이 될 수 있다.
유방암의 호르몬 수용체에 대한 전체 슬라이드 이미지(Whole Slide Image; WSI)를 포함하여 세포, 조직을 포함하는 조직의 절편을 올린 전체 슬라이드 이미지를 분석하는 것은 치료 방법을 결정하고, 예후의 예측하는 데에 있어서 결정적인 역할을 한다. 이러한 치료 방법의 결정과 진단은 주로 조직과 세포의 형태를 고려하여 이루어진다. 이러한 병리 영상 판독은 의료인들 사이에서 차이가 있을 정도로 난이도가 높은 문제 중의 하나이다. 세부적인 진단은 다양한 암종 및 클래스(class)로 나뉘는데, 샘플 간 특징의 편차가 크기 때문에 진단에 참고할 만한 대상 패치를 찾는 것은 매우 난이도가 높은 일이다.
특히, 병리 영상을 판단하는 것은 병리학자의 경험과 직감에 크게 좌우되는데, 실제 임상에서는 경험이 많은 병리학자도 혼자서 진단을 내리기 모호한 경우가 빈번하다. 이는 의사 간 진단의 불일치와 자문, 재판독 등 의료 서비스의 낭비를 발생하게 하는 주요 원인 중의 하나이다.
선행문헌 1: 공개특허공보 제10-2022-0109481호 선행문헌 2: 일본 공개특허공보 특개2023-501126호 선행문헌 3: 등록특허공보 제10-2448338호 선행문헌 4: 등록특허공보 제10-1796055호
본 개시의 기술적 사상이 해결하려는 과제는, 전체 슬라이드 이미지로부터 자가학습모델을 통해 특징 벡터를 획득하고, 획득되는 특징 벡터들의 다양한 조합에 기초하여 약한 지도 학습 기반으로 병리 영상을 분석하기 위함에 있다.
본 개시의 실시예에 따른 전체 슬라이드 이미지로 구성된 병리 영상을 판독하는 방법은 상기 전체 슬라이드 이미지를 복수의 이미지 패치들로 구분하는 단계, 자가 지도 학습 모델에 기초하여 상기 이미지 패치들로부터 특징 벡터를 추출하는 단계, 상기 특징 벡터들 각각을 복수의 클러스터들 중 어느 하나로 그룹핑하는 단계, 각각의 상기 클러스터로부터 적어도 일부 특징 벡터들을 추출하여 인스턴스 백(instance bag)을 생성하는 단계, 및 상기 전체 슬라이드 이미지에 따라 결정된 라벨링 값 및 상기 인스턴스 백에 기초하여 병리 영상 판독 모델을 트레이닝시키는 단계를 포함할 수 있다.
일실시예에 따른 상기 트레이닝시키는 단계는 상기 서로 다른 특징 벡터들의 조합으로 생성된 복수의 인스턴스 백에 기초하여 약한 지도 학습(Weakly Supervise Learning) 모델로 구성된 상기 병리 영상 판독 모델을 학습시키는 것을 특징으로 할 수 있다.
일실시예에 따른 상기 특징 벡터를 추출하는 단계는 자가 지도 학습 백본 네트워크(backbone network)로부터 상기 이미지 패치에 대한 상기 특징 벡터를 추출하는 것을 특징으로 할 수 있다.
일실시예에 따른 상기 그룹핑하는 단계는 상기 특징 벡터 간의 유사도에 기초하여 상기 특징 벡터들 각각을 복수의 클러스터들 중 어느 하나로 그룹핑하는 것을 특징으로 할 수 있다.
일실시예에 따른 상기 그룹핑하는 단계는 상기 클러스터 각각에 대응되는 벡터 포인트를 설정하는 단계 및 대상 특징 벡터로부터 가장 가까운 벡터 포인트에 대응되는 클러스터에 상기 대상 특징 벡터를 그룹핑하는 단계를 포함할 수 있다.
일실시예에 따른 상기 인스턴스 백은 상기 각각의 클러스터들로부터 동일한 개수로 추출된 특징 벡터들의 조합으로 구성되는 것을 특징으로 할 수 있다.
일실시예에 따른 상기 인스턴스 백을 생성하는 단계는 각 클러스터로부터 기 지정된 개수의 특징 벡터를 랜덤하게 추출하는 단계 및 그룹핑된 특징 벡터의 개수가 상기 기 지정된 개수보다 작은 클러스터로부터 모든 특징 벡터들을 상기 인스턴스 백에 포함시키는 단계를 포함할 수 있다.
본 개시의 실시예에 따른 병리 영상을 판독을 위해 약한 지도 학습 모델에 입력되는 학습 데이터 세트를 생성하는 방법은 전체 슬라이드 이미지를 복수의 이미지 패치들로 구분하는 단계, 자가 지도 학습 모델에 기초하여 상기 이미지 패치들로부터 특징 벡터를 추출하는 단계, 상기 특징 벡터들 각각을 복수의 클러스터들 중 어느 하나로 그룹핑하는 단계, 및 각각의 상기 클러스터로부터 적어도 일부 특징 벡터들을 추출하여 인스턴스 백(bag)을 상기 학습 데이터 세트의 일부로 생성하는 단계를 포함할 수 있다.
본 개시의 예시적인 실시예에 따른 병리 영상 판독 방법은 전체 슬라이드 이미지에서 추출된 각 이미지 패치들에 자가학습모델을 활용하여 정확한 비쥬얼 특징을 추출하고 클러스터링을 적용함으로써 전체 슬라이드 이미지의 비쥬얼 특징에 집중하여 보다 정확한 분류 결과를 산출할 수 있다. 또한 기존 병리 영상 판독 방법은 클러스터링을 위해 특징 추출에 많은 시간이 필수적으로 소요되었으나, 본 개시의 병리 영상 판독 방법은 자가학습모델을 활용하여 특징 추출을 수행하고 클러스터링 알고리즘을 적용하여 프로세스의 전반적인 효율성을 향상시킬 수 있다.
본 개시의 예시적 실시예들에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 아니하며, 언급되지 아니한 다른 효과들은 이하의 기재로부터 본 개시의 예시적 실시예들이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 도출되고 이해될 수 있다. 즉, 본 개시의 예시적 실시예들을 실시함에 따른 의도하지 아니한 효과들 역시 본 개시의 예시적 실시예들로부터 당해 기술분야의 통상의 지식을 가진 자에 의해 도출될 수 있다.
도 1은 본 개시의 실시예에 따른 병리 영상 판독 장치를 도시한 블록도이다.
도 2는 일실시예에 따른 병리 영상 판독 방법을 도시한 흐름도이다.
도 3은 일실시예에 따라 전체 슬라이드 이미지로부터 이미지 패치에 대응되는 특징 벡터를 추출하는 방법을 도시한 도면이다.
도 4는 일실시예에 따른 백본 네트워크의 아키텍쳐를 개념적으로 나타낸 도면이다.
도 5는 일실시예에 따른 특징 벡터를 복수의 클러스터로 구분하는 방법을 도시한 도면이다.
도 6은 일실시예에 따른 병리 영상 판독 방법의 성능을 도시한 실험예이다.
도 7은 일실시예에 따라 약한 지도 학습 모델에 입력되는 학습 데이터 세트를 생성하는 방법을 도시한 흐름도이다.
도 8은 일실시예에 따라 유방암 재발 위험도를 예측하는 방법을 도시한 흐름도이다.
이하, 첨부한 도면을 참조하여 본 개시의 실시 예에 대해 상세히 설명한다.
도 1은 본 개시의 실시예에 따른 병리 영상 판독 장치를 도시한 블록도이다.
도 1을 참조하면, 병리 영상 판독 장치(10)는 뉴럴 네트워크를 기초로 입력 데이터를 실시간으로 분석하여 유효한 정보를 추출하고, 추출된 정보를 기초로 피검자의 상태를 판단할 수 있다. 예를 들어, 병리 영상 판독 장치(10)는 스마트 TV, 스마트 폰, 모바일 장치, 영상 표시 장치, 계측 장치, IoT(Internet of Things) 장치 등에 적용될 수 있으며, 이외에도 다양한 종류의 전자 장치 중 하나에 탑재될 수 있다.
병리 영상 판독 장치(10)는 적어도 하나의 IP 블록 및 뉴럴 네트워크 프로세서(300)를 포함할 수 있다. 병리 영상 판독 장치(10)는 다양한 종류의 IP 블록들을 포함할 수 있으며, 예를 들어 도 1에 도시된 바와 같이, 병리 영상 판독 장치(10)는 프로세서(100), RAM(200; Random Access Memory), 입출력 장치(400) 및 메모리(500) 등의 IP 블록을 포함할 수 있다. 이 외에도, 병리 영상 판독 장치(10)는 MFC(Multi-Format Codec), 비디오 모듈(예컨대, 카메라 인터페이스, JPEG(Joint Photographic Experts Group) 프로세서, 비디오 프로세서, 또는 믹서 등), 3D 그래픽 코어, 오디오 시스템, 디스플레이 드라이버, GPU(Graphic Processing Unit), DSP(Digital signal Processor) 등과 같은 다른 범용적인 구성요소들을 더 포함할 수 있다.
병리 영상 판독 장치(10)의 구성들, 예컨대, 프로세서(100), RAM(200), 뉴럴 네트워크 프로세서(300), 입출력 장치(400) 및 메모리(500)는 시스템 버스(600)를 통해 데이터를 송수신할 수 있다. 예컨대, 시스템 버스(600)에는 표준 버스 규격으로서, ARM(Advanced RISC Machine)사의 AMBA(Advanced Microcontroller Bus Architecture) 프로토콜 등이 적용될 수 있다. 그러나, 이에 제한되는 것은 아니며, 다양한 종류의 프로토콜이 적용될 수 있다.
실시 예에 있어서, 병리 영상 판독 장치(10)의 구성요소들, 프로세서(100), RAM(200), 뉴럴 네트워크 프로세서(300), 입출력 장치(400) 및 메모리(500)는 하나의 반도체 칩으로 구현될 수 있으며, 예컨대, 병리 영상 판독 장치(10)는 시스템 온 칩(SoC)으로서 구현될 수 있다. 그러나 이에 제한되는 것은 아니며, 병리 영상 판독 장치(10)는 복수의 반도체 칩들로 구현될 수 있다. 일 실시 예에서, 병리 영상 판독 장치(10)는 모바일 장치에 탑재되는 어플리케이션 프로세서로 구현도리 수도 있다.
프로세서(100)는 병리 영상 판독 장치(10)의 전반적인 동작을 제어할 수 있으며, 일 예로서 프로세서(100)는 중앙 프로세싱 유닛(Central Processing Unit; CPU)일 수 있다. 프로세서(100)는 하나의 코어(Single Core)를 포함하거나, 복수의 코어들(Multi-Core)을 포함할 수 있다. 프로세서(100)는 RAM(200) 및 메모리(500)에 저장된 프로그램들 및/또는 데이터를 처리 또는 실행할 수 있다. 예를 들어, 프로세서(100)는 메모리(500)에 저장된 프로그램들을 실행함으로써 병리 영상 판독 장치(10)의 다양한 기능들을 제어할 수 있다.
RAM(200)은 프로그램들, 데이터, 또는 명령들(instructions)을 일시적으로 저장할 수 있다. 예컨대, 메모리(500)에 저장된 프로그램들 및/또는 데이터는 프로세서(100)의 제어 또는 부팅 코드에 따라 RAM(200)에 일시적으로 로딩될 수 있다. RAM(200)은 DRAM(Dynamic RAM) 또는 SRAM(Static RAM) 등의 메모리를 이용해 구현될 수 있다.
입출력 장치(400)는 사용자로부터 또는 외부로부터 입력 데이터를 수신하고, 병리 영상 판독 장치(10)의 데이터 처리 결과를 출력할 수 있다. 입출력 장치(400)는 터치 스크린 패널, 키보드, 다양한 종류의 센서들 중 적어도 하나를 이용해 구현될 수 있다. 실시 예에서, 입출력 장치(400)는 병리 영상 판독 장치(10) 주변의 정보를 수집할 수 있다. 예컨대 입출력 장치(400)는 촬상 장치, 이미지 센서, 라이더(LIDAR; light detection and ranging) 센서, 초음파 센서, 적외선 센서 등 다양한 종류의 센싱 장치들 중 적어도 하나를 포함하거나, 또는 상기 장치로부터 센싱 신호를 수신할 수 있다. 실시 예에서, 입출력 장치(400)는 병리 영상 판독 장치(10) 외부로부터 이미지 신호를 센싱 또는 수신할 수 있고, 센싱 또는 수신된 이미지 신호를 이미지 데이터, 즉 이미지 프레임으로 변환할 수 있다. 입출력 장치(400)는 이미지 프레임을 메모리(500)에 저장하거나, 또는 뉴럴 네트워크 프로세서(300)에 제공할 수 있다.
메모리(500)는 데이터를 저장하기 위한 저장 장소로서, 예를 들어, OS(Operating System), 각종 프로그램들 및 각종 데이터를 저장할 수 있다. 메모리(500)는 DRAM일 수 있으나, 이에 한정되는 것은 아니다. 메모리(500)는 휘발성 메모리(volatile memory) 또는 비휘발성 메모리(non-volatile memory) 중 적어도 하나를 포함할 수 있다. 비휘발성 메모리는 ROM(Read Only Memory), PROM(Programmable ROM), EPROM(Electrically Programmable ROM), EEPROM(Electrically Erasable and Programmable ROM), 플래시 메모리, PRAM(Phase-change RAM), MRAM(Magnetic RAM), RRAM(Resistive RAM), FRAM(Ferroelectric RAM) 등을 포함할 수 있다. 휘발성 메모리는 DRAM(Dynamic RAM), SRAM(Static RAM), SDRAM(Synchronous DRAM) 등을 포함할 수 있다. 또한 일 실시 예에 있어서, 메모리(150)는 HDD(Hard Disk Drive), SSD(Solid-State Drive), CF(Compact Flash), SD(Secure Digital), Micro-SD(Micro Secure Digital), Mini-SD(Mini Secure Digital), xD(extreme digital) 또는 Memory Stick 등과 같은 저장 장치로 구현될 수 있다.
뉴럴 네트워크 프로세서(300)는 뉴럴 네트워크 모델을 생성하거나, 뉴럴 네트워크를 훈련(train, 또는 학습(learn))하거나, 수신되는 입력 데이터를 기초로 연산을 수행하고, 연산 결과를 기초로 정보 신호(information signal)를 생성하거나, 뉴럴 네트워크를 재훈련(retrain)할 수 있다. 뉴럴 네트워크는 CNN(Convolution Neural Network), R-CNN(Region with Convolution Neural Network), RPN(Region Proposal Network), RNN(Recurrent Neural Network), S-DNN(Stacking-based deep Neural Network), S-SDNN(State-Space Dynamic Neural Network), Deconvolution Network, DBN(Deep Belief Network), RBM(Restricted Boltzmann Machine), Fully Convolutional Network, LSTM(Long Short-Term Memory) Network, Classification Network 등 다양한 종류의 뉴럴 네트워크 모델들을 포함할 수 있으나 이에 제한되지는 않는다.
본 개시의 실시예에 따르면, 병리 영상 판독 장치(10)의 프로세서(100)는 입력된 전체 슬라이드 이미지를 복수의 이미지 패치들로 구분할 수 있고, 각 이미지 패치에 대한 특징 벡터를 일정 기준에 따라 복수의 클러스터들 중 어느 하나로 분류할 수 있다. 이 때, 프로세서(100)는 분류된 클러스터들로부터 특징 벡터들을 추출하여 인스턴스 백을 생성할 수 있다.
뉴럴 네트워크 프로세서(300)는 미리 학습된 자가 지도 학습 백본 네트워크(backbone network)로부터 이미지 패치에 대한 특징 벡터를 추출할 수 있고, 특징 벡터들의 조합으로 구성된 인스턴스 백에 기초하여 약한 지도 학습 모델을 학습시킬 수 있다.
도 1에서는 프로세서(100) 및 뉴럴 네트워크 프로세서(300)를 구별되는 구성으로 설명하였으나, 프로세서(100) 및 뉴럴 네트워크 프로세서(300)는 동일 하드웨어로 구성되고, 서로 다른 기능의 연산을 수행하는 소프트웨어 단위로 구별되는 구성일 수 있다.
이하, 본 명세서는 도 1을 참조하여 설명하도록 한다.
도 2는 일실시예에 따른 병리 영상 판독 방법을 도시한 흐름도이다.
도 2를 참조하면, 본 개시의 병리 영상 판독 장치(10)는 전체 슬라이드 이미지로부터 복수의 특징 벡터들을 추출함으로써 인스턴스 백을 생성할 수 있다. 이 때 생성되는 인스턴스 백은 서로 다른 특징 벡터들의 조합으로 구성될 수 있다. 병리 영상 판독 장치(10)는 이미지 패치들을 자가 지도 학습 방식으로 학습된 백본 네트워크를 사용하여 특징 벡터를 추출할 수 있다. 병리 영상 판독 장치(10)는 추출된 특징 벡터를 벡터 유사도에 기초하여 클러스터들로 분류할 수 있고, 분류된 클러스터로부터 특징 벡터들을 샘플링하여 인스턴스 백을 생성할 수 있다.
단계(S110)에서, 본 개시의 병리 영상 판독 장치(10)는 전체 슬라이드 이미지를 복수의 이미지 패치들로 구분할 수 있다. 병리 영상 판독 장치(10)는 전체 슬라이드 이미지를 중복되지 않는 복수의 이미지 패치들로 구분할 수 있다. 일실시예에 따르면, 병리 영상 판독 장치(10)는 이미지 패치들로부터 특징 벡터를 생성하기 위해 1차원 패치 임베딩 벡터를 생성할 수 있다. 1차원 패치 임베딩 벡터는 특징 벡터를 생성하는 과정에서 선형적으로 투영(linearly project)될 수 있다.
단계(S120)에서, 병리 영상 판독 장치(10)는 자가 지도 학습 모델에 기초하여 이미지 패치들로부터 특징 벡터를 추출할 수 있다. 특징 벡터를 추출하는 백본 네트워크는 자가 지도 학습 모델의 일부 레이어들로 구성될 수 있다. 백본 네트워크는 비전 트랜스폼 인코더(vision transform encoder)로 지칭될 수 있다.
자가 지도 학습 모델은 입력된 이미지 패치로부터 이미지 패치의 속성을 나타내는 값이 출력되는 네트워크 모델일 수 있고, 이 때 자가 지도 학습 모델을 구성하는 일부 레이어는 입력된 이미지 패치로부터 특징 벡터를 출력하는 레이어일 수 있다. 예시적으로, 자가 지도 학습 모델은 기가 픽셀 이미지를 계층적(hierarchical) 자가 지도 학습을 통해 분석하는 비젼 트랜스포머(vision transformer)일 수 있다.
일실시예에 따른 백본 네트워크는 미리 학습(pre-training)되어 프리징(freezing)된 상태일 수 있고, 백본 네트워크를 구성하는 가중치 값은 고정된 값일 수 있다. 병리 영상 판독 장치(10)는 백본 네트워크를 프리징하기 전 미세 조정(fine-tune)할 수도 있다.
자연 이미지에 기초하여 훈련된 가중치는 자연 이미지와 전체 슬라이드 이미지 간의 상당한 차이로 인해 백본 네트워크의 성능을 제한할 수 있다. 또한, 병리 영상이라는 고유의 이질성을 감안할 때, 조직 세포에서 전체 슬라이드 이미지의 상태를 정확하게 분류할 수 있는 백본 네트워크를 필요로 할 수 있다. 이러한 이질성은 백본 네트워크의 학습 및 활용을 상당히 복잡하고 어렵게 할 수 있다. 이에 따라, 본 개시의 병리 영상 판독 장치(10)는 병리 영상에 기초하여 미리 학습된 자가 지도 학습 모델로부터 추출되고, 미세 조정된 백본 네트워크를 사용할 수 있다.
일실시예에 따르면, 병리 영상 판독 장치(10)는 백본 네트워크에 입력되는 이미지 패치의 공간 정보를 캡처하기 위한 학습 가능한 위치 임베딩을 특징 벡터에 추가할 수 있다. 이에 따라, 본 개시의 병리 영상 판독 장치(10)는 해당 특징 벡터에 대응되는 이미지 패치가 전체 슬라이드 이미지에서 존재하는 위치를 특정할 수 있다.
단계(S130)에서, 병리 영상 판독 장치(10)는 특징 벡터들 각각을 복수의 클러스터들 중 어느 하나로 그룹핑할 수 있다. 클러스터의 개수는 미리 지정되어 있을 수 있으나, 본 개시의 병리 영상 판독 장치(10)는 이에 국한되지 않고, 병리 영상 타입에 따라 서로 다른 클러스터 개수로 가변적으로 설정할 수 있다. 특징 벡터들을 그룹핑하는 실시예는 도 6을 통해 상세히 후술하도록 한다.
단계(S140)에서, 병리 영상 판독 장치(10)는 각각의 클러스터로부터 적어도 일부 특징 벡터들을 추출하여 인스턴스 백을 생성할 수 있다. 이 때, 병리 영상 판독 장치(10)는 클러스터들로부터 무작위로 특징 벡터들을 추출하여 인스턴스 백을 구성할 수 있다. 이에 따라, 병리 영상 판독 장치(10)는 서로 다른 조합들로 인스턴스 백을 생성할 수 있다.
일실시예에 따르면, 병리 영상 판독 장치(10)는 각 클러스터마다 동일한 개수의 특징 벡터들을 추출할 수 있고, 추출된 특징 벡터들로 인스턴스 백을 생성할 수 있다. 예시적으로, 이미지 패치에 대응하여 생성된 k(k=m+n+l, k는 자연수)개의 특징 벡터는 m(m은 자연수)개의 특징 벡터로 구성된 제1 클러스터, n(n은 자연수)개의 특징 벡터로 구성된 제2 클러스터, l(l은 자연수)개의 특징 벡터로 구성된 제3 클러스터로 구분될 수 있다.
병리 영상 판독 장치(10)는 제1 클러스터 내지 제3 클러스터로부터 동일한 개수인 i(i는 자연수)개의 특징 벡터를 추출하여 인스턴스 백을 생성할 수 있다. 이 때, i는 m, n, ㅣ보다 작은 경우, 병리 영상 판독 장치(10)에 의해 서로 다른 조합으로 생성될 수 있는 인스턴스 백의 개수 IB는 다음과 같을 수 있다.
[수학식 1]
IB = mCi * nCi * lCi
본 개시의 실시예에 따른 병리 영상 판독 장치(10)는 서로 다른 조합으로 생성되는 인스턴스 백에 기초하여 병리 영상 판독 모델을 트레이닝시킬 수 있다. 이에 따라, 병리 영상 판독 모델은 하나의 전체 슬라이드 이미지로부터 상당히 많은 개수의 학습 데이터 세트를 생성할 수 있어, 전체 슬라이드 이미지의 개수가 적은 상황에서도 효율적으로 학습될 수 있다.
즉, 본 개시의 병리 영상 판독 방법은 전체 슬라이드 이미지 전체에서 특징 벡터를 무작위로 추출하여 인스턴스 백을 생성하는 것이 아니라, 시각적으로 서로 유사하다고 판단될 가능성이 높은 이미지 패치들의 그룹 각각으로부터 특징 벡터를 추출함으로써 인스턴스 백을 생성할 수 있는 것이다. 이에 따라, 병리 영상 판독 방법은 어느 특정 그룹에서 특징 벡터들이 과도하게 많이 추출되어 비효율적으로 병리 영상 판독 모델을 학습시키지 않고, 각 그룹별로 치우침없이 특징 벡터를 추출할 수 있어 효율적으로 병리 영상 판독 모델을 학습시킬 수 있다.
따라서, 본 개시의 병리 영상 판독 방법은 의료인이 전체 슬라이드 이미지에서 어느 부분(예를 들어, 스토로마(stroma), 셀(cell), 백색 영역(white space))의 이미지 패치가 병리 영상 판독에 중요한 이미지 패치인지 구분하기 어려운 경우라도, 용이하게 병리 영상을 판독할 수 있게 된다.
단계(S150)에서, 병리 영상 판독 방법은 전체 슬라이드 이미지에 따라 결정된 라벨링 데이터 및 인스턴스 백에 기초하여 병리 영상 판독 모델을 트레이닝시킬 수 있다. 전체 슬라이드 이미지에 따라 결정된 라벨링 데이터는 전체 슬라이드 이미지가 양성(positive)으로 분류된 병리 영상인지, 음성(negative)으로 분류된 병리 영상인지를 나타내는 값일 수 있다. 라벨링 데이터는 ground truth value로 지칭될 수도 있다.
일실시예에 따르면, 인스턴스 백에 기초하여 학습되는 병리 영상 판독 모델은 약한 지도 학습 모델일 수 있다. 지도 학습(supervised learning)이란, 정답이 주어지는 학습 모델이다. 이는, 어떤 인풋(input)에 대한 올바른 아웃풋(output)이 무엇인지 알 수 있다는 전제로 학습되는 뉴럴 네트워크 모델일 수 있다. 따라서 지도 학습을 위해서는, 어떤 데이터 셋에 대하여 학습을 할 때, 해당 데이터 셋을 구성하는 데이터 각각에 대한 정답을 제공받아야 할 수 있다.
이에 반해, 약한 지도 학습(weakly supervised learning) 환경에서는, 주어지는 정답에 대한 정보가 제한된다. 비 지도 학습(unsupervised learning) 또는 자가 지도 학습(self-supervised learning)과 같이 아무 정보도 주어지지 않는 경우와는 다르지만, 일부에 대한 정보만 제공받아 학습하고, 그러한 학습을 통해 제공받지 않은 정보를 예측해내야 한다.
본 개시의 실시예에 따른 병리 영상 분석 방법은 전체 슬라이드 이미지에 대한 클래스 정보를 제공받았지만, 이미지 패치의 어느 부분이 병리 영상 판단에 중요한 부분인지, 이미지 패치 내 조직/세포의 형태에 따른 양성/음성 판별이 유효한지 여부를 제공받지 못하는 상황에서도 효율적으로 병리 영상을 분석하기 위해 약한 지도 학습을 활용할 수 있다. 예시적으로, 병리 영상 판독 장치(10)는 다중 인스턴스 학습(Multi Instace Learning; MIL) 모델을 약한 지도 학습 모델로서 활용할 수 있으나, 병리 영상 판독 장치(10)에서 사용되는 약한 지도 학습 모델의 종류는 이에 국한되지는 않는다.
도 3은 일실시예에 따라 전체 슬라이드 이미지로부터 이미지 패치에 대응되는 특징 벡터를 추출하는 방법을 도시한 도면이다.
도 3을 참조하면, 본 개시의 병리 영상 판독 장치(10)는 전체 슬라이드 이미지를 복수의 이미지 패치들로 구분하여 특징 벡터들을 추출할 수 있다.
병리 영상 판독 장치(10)는 이미지 패치들 각각을 백본 네트워크에 입력함으로써 각 이미지 패치에 대응되는 특징 벡터를 획득할 수 있다. 일실시예에 따르면, 병리 영상 판독 장치(10)는 이미지 패치들을 한장씩 백본 네트워크에 입력시킴으로써 특징 벡터들을 독립적으로 획득할 수도 있으나, 본 개시의 병리 영상 판독 장치(10)는 이에 국한되지 않고, 복수의 이미지 패치들로 구성된 패치 백을 백본 네트워크에 입력함으로써 복수의 특징 벡터들을 동시에 획득할 수도 있다.
도 3의 실시예를 참조하면, 전체 슬라이드 이미지가 M(M은 자연수)개의 이미지 패치들로 구성된 경우, 백본 네트워크는 M개의 특징 벡터들을 출력할 수 있다. 출력된 특징 벡터는 입력된 이미지 패치 순서로 정렬되어 있을 수 있으나, 특징 벡터의 순서는 이에 국한되지 않는다.
일실시예에 따르면, 병리 영상 판독 장치(10)는 백본 네트워크에 입력되는 이미지 패치의 공간 정보를 캡처하기 위한 학습 가능한 위치 임베딩을 특징 벡터에 추가할 수 있다. 이에 따라, 본 개시의 병리 영상 판독 장치(10)는 해당 특징 벡터에 대응되는 이미지 패치가 전체 슬라이드 이미지에서 존재하는 위치를 특정할 수 있다.
도 4는 일실시예에 따라 백본 네트워크(400)로부터 특징 벡터가 추출되는 구성을 나타낸 도면이다.
도 4를 참조하면, 본 개시의 백본 네트워크(400)는 자가 지도 학습 모델의 일부 레이어들로 구성될 수 있다. 자가 지도 학습 모델은 뉴럴 네트워크 모델의 한 종류로서, 인공 신경망을 다층으로 쌓은 형태로 설명될 수 있다. 본 개시의 백본 네트워크(400)로 사용되는 자가 지도 학습 모델은 다층의 네트워크로 이루어진 구조로서, 다량의 분석 대상 데이터에 의해 학습된 뉴럴 네트워크 모델일 수 있다. 자가 지도 학습 모델은 분석 대상 데이터의 특징, 분석 대상 데이터 간의 관계를 자동으로 학습하고, 이를 통해 목적 함수, 즉 예측 결과의 오차를 최소화시키는 방식으로 학습이 진행된 뉴럴 네트워크 모델일 수 있다.
본 개시의 백본 네트워크(400)를 구성하는 자가 지도 학습 모델은 이미 상당한 학습 데이터에 의해 자가 학습이 완료된 네트워크 모델일 수 있고, 레이어들을 연결하는 가중치들이 고정된 상태일 수 있다.
일실시예에 따른 자가 지도 학습 모델은 인코더 및 디코더로 구성될 수 있다. 인코더는 입력된 이미지 패치로부터 이미지 특징을 추출할 수 있고, 디코더는 이미지 특징으로부터 관심 영역을 추정할 수 있다. 예시적으로, 인코더는 적어도 하나의 컨볼루션 레이어, 다수의 필터 레이어와 다수의 필터 레이어 사이에 배치되는 적어도 하나의 풀링 레이어를 포함하고, 디코더는 적어도 하나의 역방향 컨볼루션 레이어(디컨볼루션 레이어), 다수의 필터 레이어와 다수의 필터 레이어 사이에 배치되는 적어도 하나의 언풀링 레이어를 포함할 수 있다. 이 때, 본 개시의 백본 네트워크(400)는 자가 지도 학습 모델 중 인코더에 대응되는 레이어들로 구성될 수 있다.
도 5는 일실시예에 따른 특징 벡터를 복수의 클러스터로 구분하는 방법을 도시한 도면이다.
도 5를 참조하면, 병리 영상 판독 장치(10)는 백본 네트워크에 기초하여 생성된 특징 벡터들을 일정 기준에 따라 그룹핑할 수 있고, 그룹핑된 특징 벡터들의 그룹은 클러스터로 지칭될 수 있다.
일실시예에 따르면, 병리 영상 판독 장치(10)는 특징 벡터들을 벡터 유사도에 따라 그룹핑할 수 있다. 예시적으로, 병리 영상 판독 장치(10)는 벡터 포인트들을 설정하고, 특징 벡터와 가장 가까운 벡터 포인트에 기초하여 특징 벡터들을 그룹핑할 수 있다. 이 때, 설정되는 벡터 포인트들의 개수는 그룹핑하고자 하는 클러스터의 개수와 동일할 수 있다.
예시적으로, 도 5(a)에 따르면, 병리 영상 판독 장치(10)가 대상 특징 벡터를 제1 클러스터, 제2 클러스터, 및 제3 클러스터 중 어느 하나의 클러스터로 분류하기 위해 각 클러스터에 대응되는 제1 벡터 포인트(510a), 제2 벡터 포인트(510b), 및 제3 벡터 포인트(510c)를 지정할 수 있다. 병리 영상 판독 장치(10)는 대상 특징 벡터가 제1 벡터 포인트(510a), 제2 벡터 포인트(510b), 및 제3 벡터 포인트(510c) 중 어느 벡터 포인트와 가장 가까운지 여부를 판단할 수 있고, 가장 가까운 벡터 포인트에 대응되는 클러스터로 대상 특징 벡터를 분류할 수 있다.
이 때, 대상 특징 벡터를 어느 하나의 클러스터로 분류할 때마다 각 클러스터에 포함된 특징 벡터들의 중심점을 계산할 수 있고, 계산된 중심점을 새로운 벡터 포인트로 업데이트할 수 있다. 병리 영상 판독 장치(10)는 기 분류된 특징 벡터들과 업데이트된 벡터 포인트의 거리를 다시 계산할 수 있고, 계산된 결과에 따라 기 분류된 특징 벡터를 다른 클러스터로 재분류할 수도 있다.
병리 영상 판독 장치(10)는 이미지 패치에 대응되어 생성된 모든 특징 벡터들에 대한 분류를 수행하면서 벡터 포인트의 업데이트와 특징 벡터의 재분류가 반복되지 않을 때까지 클러스터 분류를 수행할 수 있다.
병리 영상 판독 장치(10)는 클러스터 분류가 종료되면, 각 클러스터로부터 일정 개수의 특징 벡터를 추출함으로써 인스턴스 백을 생성할 수 있다. 도 5(b)의 실시예를 참조하면, 병리 영상 판독 장치(10)는 제1 클러스터 내지 제3 클러스터 각각으로부터 4개의 특징 벡터를 추출하여 최대 12개의 특징 벡터로 구성된 인스턴스 백을 생성할 수 있다.
이 때, 클러스터로 분류된 특징 벡터의 개수가 추출하고자 하는 특징 벡터의 개수보다 작은 경우, 병리 영상 판독 장치(10)는 해당 클러스터에 포함된 모든 특징 벡터를 추출하여 인스턴스 백을 생성할 수 있다. 예시적으로, 도 5(b)의 실시예를 참조하면, 제2 클러스터로 분류된 특징 벡터의 개수가 3개이고, 추출하고자 하는 특징 벡터의 개수가 4개인 경우, 병리 영상 판독 장치(10)는 3개의 특징 벡터들을 모두 추출하여 인스턴스 백의 구성요소로 지정할 수 있다.
즉, 어느 클러스터로 분류된 특징 벡터의 개수가 추출하고자 하는 특징 벡터의 개수보다 작은 경우, 병리 영상 판독 장치(10)가 서로 다른 조합의 인스턴스 백을 생성할 때에도 해당 클러스터에서는 동일한 특징 벡터들이 계속하여 추출될 수도 있다.
일실시예에 따르면, 병리 영상 판독 장치(10)는 서로 다른 특징 벡터들의 조합으로 복수의 인스턴스 백이 구성되더라도 동일한 전체 슬라이드 이미지로부터 생성된 경우, 복수의 인스턴스 백 모두에 동일한 라벨 값을 지정할 수 있다. 이 때, 라벨 값은 인스턴스 백에 대응되는 이미지 패치들이 양성(positive) 또는 음성(negative)을 지시하는 것인지 여부를 나타내는 ground-truth 값일 수 있다.
병리 영상 판독 장치(10)는 라벨링 값 및 인스턴스 백에 기초하여 병리 영상 판독 모델을 트레이닝시킬 수 있다. 구체적으로 살펴보면, 병리 영상 판독 장치(10)는 복수의 전체 슬라이드 이미지로부터 인스턴스 백과 라벨링 값이 매핑된 학습 데이터 세트를 획득할 수 있고, 획득된 학습 데이터 세트를 병리 영상 판독 모델에 입력함으로써 병리 영상 판독 모델을 학습시킬 수 있다.
병리 영상 판독 모델은 다중 인스턴스 학습 모델로 구성될 수 있는데, 전체 슬라이드 이미지 중 어느 이미지 패치가 병리 영상 판독에 중요한 이미지 패치인지를 알려주지 못하는 경우, 서로 다른 조합으로 이미지 패치와 관련하여 구성되는 인스턴스 백과 라벨링 값의 데이터로만 병리 영상 판독 결과를 학습시킬 수 있다. 이에 따라, 본 개시의 병리 영상 판독 장치(10)는 판독하고자 하는 전체 슬라이드 이미지만으로 판독 결과를 추론할 수 있다.
도 6은 일실시예에 따른 병리 영상 판독 방법의 성능을 도시한 실험예이다.
구체적으로, 도 6은 본 개시의 실시예에 따른 실험 결과를 복수의 비교 실시예들과 비교한 그래프로서, 도 6(a) 내지 도 6(c) 각각은 복수 타입의 수용체에 대한 병리 영상 판독 결과를 나타낸 그래프이다. 예시적으로, 도 6(a)는 ER 수용체에 대한 병리 영상 판독 결과이고, 도 6(b)는 PR 수용체에 대한 병리 영상 판독 결과이며, 도 6(c)는 HER2 수용체에 대한 병리 영상 판독 결과일 수 있다. 해당 그래프는 ROC(Receiver Operating Characteristic) 커브로 지칭될 수 있으며, 위양성 비율(False positive rate)가 x축, 진양성 비율(True positive rate)이 y축으로 구성되는 그래프일 수 있다.
ROC 커브는 위양성 비율과 무관하게 진양성 비율이 항상 높게 유지되는 것이 중요할 수 있고, 특히 위양성 비율이 0에 가깝도록 임계치(threshold)가 설정되더라도 실험 결과가 1에 가까운 진양성 비율을 가질수록 더 우수한 결과일 수 있는 것이다. 따라서, ROC 커브 아래 면적이 더 넓을수록 좋은 실험 결과라고 볼 수 있다.
도 6(a)의 결과에 따르면, 비교 실험예의 ROC 커브 면적은 전체 면적 1 중 0.79 및 0.48에 불과하나, 본 개시의 실시예에 따라 판독된 ROC 커브의 면적은 전체 면적 1 중 0.89에 해당될 수 있다. 도 6(b)의 결과에 따르면, 비교 실험예의 ROC 커브 면적은 전체 면적 1 중 0.81 및 0.60에 불과하나, 본 개시의 실시예에 따라 판독된 ROC 커브의 면적은 전체 면적 1 중 0.87에 해당될 수 있다. 도 6(c)의 결과에 따르면, 비교 실험예의 ROC 커브 면적은 전체 면적 1 중 0.72 및 0.50에 불과하나, 본 개시의 실시예에 따라 판독된 ROC 커브의 면적은 전체 면적 1 중 0.79에 해당될 수 있다.
특히, 위양성 비율이 0에 가까울수록 본 실시예에 따른 실험 결과는 비교 실시예의 실험 결과와 차이가 큰 것을 확인할 수 있다. 따라서, 선술하였던 것처럼 ROC 커브 면적의 차이에 따라 확인되는 성능 효과 이상으로 더 우수한 판독 성능의 차이를 갖는다는 것을 알 수 있다.
도 7은 일실시예에 따라 약한 지도 학습 모델에 입력되는 학습 데이터 세트를 생성하는 방법을 도시한 흐름도이다.
도 7에 따르면, 본 개시의 병리 영상 판독 장치(10)는 전체 슬라이드 이미지로부터 학습 데이터 세트를 생성할 수 있다. 이 때, 생성되는 학습 데이터 세트에는 인스턴스 백이 일부 포함될 수 있다.
단계(S210) 내지 단계(S230)은 전체 슬라이드 이미지로부터 특징 벡터들을 추출하고, 추출된 특징 벡터를 복수의 클러스터들로 분류하는 방법으로서, 선술하였으므로 이에 대한 설명은 생략하도록 한다.
단계(S240)에서, 병리 영상 판독 장치(10)는 각각의 클러스터로부터 특징 벡터들을 추출하여 인스턴스 백을 생성할 수 있고, 생성된 인스턴스 백을 병리 영상 판독 모델을 학습시키기 위한 학습 데이터 세트의 일부로 설정할 수 있다.
일실시예에 따르면, 병리 영상 판독 장치(10)는 인스턴스 백과 라벨 값을 매핑시켜 학습 데이터 세트를 완성할 수 있다.
도 7의 실시예에 따른 병리 영상 판독 장치(10)는 전체 슬라이드 이미지에 대응되어 서로 다른 특징 벡터 조합으로 구성된 인스턴스 백들을 생성하는 단계까지만 수행할 수 있고, 병리 영상 판독 장치(10)의 외부 장치에서 생성된 인스턴스 백과 라벨 값을 매핑하여 병리 영상 판독 모델을 학습시킬 수 있다. 즉, 도 7의 실시예에 따른 병리 영상 판독 장치(10)는 학습 데이터 세트 중 일부 데이터만을 생성하고, 생성된 데이터를 외부 장치로 제공할 수도 있다.
도 8은 일실시예에 따라 유방암 재발 위험도를 예측하는 방법을 도시한 흐름도이다.
도 8을 참조하면, 병리 영상 판독 장치(10)는 유방암 재발 위험도를 예측하는 수용체 상태 예측 모델을 학습시킬 수 있다. 이 때, 수용체 상태 예측 모델은 수용체의 종류에 따라 별개의 프로세스로 학습될 수 있고, 수용체의 종류는 ER/PR/HER2로 구성될 수 있다. 각 수용체 상태 예측 모델은 약한 지도 학습 모델로서, 선술한 방법으로 학습이 완료된 네트워크 모델일 수 있다.
단계(S310)에서, 병리 영상 판독 장치(10)는 분석이 필요한 전체 슬라이드 이미지를 입력 받을 수 있고, 전체 슬라이드 이미지를 수용체 상태 예측 모델에 입력할 수 있다. 수용체 상태 예측 모델은 수용체의 종류별로 구분되는 예측 모델로 구성되어 있을 수 있다. 예시적으로, 수용체 상태 예측 모델은 ER 상태 예측 모델, PR 상태 예측 모델, HER2 상태 예측 모델로 구성될 수 있고, 병리 영상 판독 장치(10)는 각 모델에 전체 슬라이드 이미지를 입력할 수 있다.
일실시예에 따르면, 병리 영상 판독 장치(10)는 전체 슬라이드 이미지로부터 복수의 이미지 패치들을 구분하고, 복수의 이미지 패치들을 타입별 수용체 상태 예측 모델에 입력시킬 수 있다.
단계(S320a) 내지 단계(S320c)에서, 병리 영상 판독 장치(10)는 각 수용체 상태 예측 모델에 기초하여 ER 상태, PR 상태, HER2 상태를 예측할 수 있다. 병리 영상 판독 장치(10)는 예측 결과로 각 수용체의 상태를 수치화된 결과로 출력할 수 있다.
단계(S330a) 내지 단계(S330c)에서, 병리 영상 판독 장치(10)는 수치화된 결과에 기초하여 ER 등급, PR 등급, HER2 등급을 결정할 수 있다. 각 수용체 등급은 수치화된 수용체의 상태 결과가 복수의 등급 범위 중 어느 범위에 해당되는지에 따라 결정될 수 있다.
단계(S340)에서, 병리 영상 판독 장치(10)는 각 수용체 등급에 기초하여 유방암 재발 위험도를 예측할 수 있다. 일실시예에 따르면, 병리 영상 판독 장치(10)는 수용체 등급에 가중치를 적용하고, 합산함으로써 유방암 재발 위험도를 예측할 수 있다. 그러나, 본 개시의 실시예에서 복수의 수용체 등급으로부터 유방암 재발 위험도를 예측하는 방법은 이에 국한되지 않는다.
본 개시의 병리 영상 판독 장치(10)는 유방암 조직 수용체의 상태를 예측할 때, 각 수용체 별 면역조직화학 염색 없이, 하나의 H&E 염색 조직 슬라이드 영상을 활용하여 수용체의 상태를 예측할 수 있다. 이에 따라, 유방암의 재발 가능성을 수치를 통해 객관적으로 제시할 수 있고, 의료진에게는 치료 방향성을 결정함에 있어서 도움을 주며, 환자에게는 불필요한 검사 및 항암치료를 방지하여 수술 후 삶의 질 향상에 도움을 줄 수 있다.
이상에서와 같이 도면과 명세서에서 예시적인 실시예들이 개시되었다. 본 명세서에서 특정한 용어를 사용하여 실시예들을 설명되었으나, 이는 단지 본 개시의 기술적 사상을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 개시의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 개시의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

Claims (8)

  1. 프로세서를 포함하는 병리 영상 판독 장치에 의해 전체 슬라이드 이미지로 구성된 병리 영상을 판독하는 방법에 있어서,
    상기 전체 슬라이드 이미지를 복수의 이미지 패치들로 구분하는 단계;
    자가 지도 학습 모델에 기초하여 상기 이미지 패치들로부터 특징 벡터를 추출하는 단계;
    상기 특징 벡터들 각각을 복수의 클러스터들 중 어느 하나로 그룹핑하는 단계;
    각각의 상기 클러스터로부터 적어도 일부 특징 벡터들을 추출하여 인스턴스 백(instance bag)을 생성하는 단계; 및
    상기 전체 슬라이드 이미지에 따라 결정된 라벨링 값 및 상기 인스턴스 백에 기초하여 병리 영상 판독 모델을 트레이닝시키는 단계
    를 포함하고,
    상기 인스턴스 백을 생성하는 단계는,
    각 클러스터로부터 기 지정된 개수의 특징 벡터를 랜덤하게 추출하는 단계; 및
    그룹핑된 특징 벡터의 개수가 상기 기 지정된 개수보다 작은 클러스터로부터 모든 특징 벡터들을 상기 인스턴스 백에 포함시키는 단계
    를 포함하는 것을 특징으로 하는 병리 영상 판독 방법.
  2. 제1항에 있어서,
    상기 인스턴스 백을 생성하는 단계는,
    서로 다른 특징 벡터들의 조합으로 복수의 인스턴스 백을 생성하는 단계
    를 포함하고,
    상기 트레이닝시키는 단계는,
    상기 서로 다른 특징 벡터들의 조합으로 생성된 복수의 인스턴스 백에 기초하여 약한 지도 학습(Weakly Supervise Learning) 모델로 구성된 상기 병리 영상 판독 모델을 학습시키는 것을 특징으로 하는 병리 영상 판독 방법.
  3. 제1항에 있어서,
    상기 특징 벡터를 추출하는 단계는,
    자가 지도 학습 백본 네트워크(backbone network)로부터 상기 이미지 패치에 대한 상기 특징 벡터를 추출하는 것을 특징으로 하는 병리 영상 판독 방법.
  4. 제1항에 있어서,
    상기 그룹핑하는 단계는,
    상기 특징 벡터 간의 유사도에 기초하여 상기 특징 벡터들 각각을 복수의 클러스터들 중 어느 하나로 그룹핑하는 것을 특징으로 하는 병리 영상 판독 방법.
  5. 제4항에 있어서,
    상기 그룹핑하는 단계는,
    상기 클러스터 각각에 대응되는 벡터 포인트를 설정하는 단계;
    대상 특징 벡터로부터 가장 가까운 벡터 포인트에 대응되는 클러스터에 상기 대상 특징 벡터를 그룹핑하는 단계
    를 특징으로 하는 병리 영상 판독 방법.
  6. 제1항에 있어서,
    상기 인스턴스 백은,
    상기 각각의 클러스터들로부터 동일한 개수로 추출된 특징 벡터들의 조합으로 구성되는 것을 특징으로 하는 병리 영상 판독 방법.
  7. 삭제
  8. 프로세서를 포함하는 병리 영상 판독 장치에 의해 병리 영상을 판독을 위해 약한 지도 학습 모델에 입력되는 학습 데이터 세트를 생성하는 방법에 있어서,
    전체 슬라이드 이미지를 복수의 이미지 패치들로 구분하는 단계;
    자가 지도 학습 모델에 기초하여 상기 이미지 패치들로부터 특징 벡터를 추출하는 단계;
    상기 특징 벡터들 각각을 복수의 클러스터들 중 어느 하나로 그룹핑하는 단계; 및
    각각의 상기 클러스터로부터 적어도 일부 특징 벡터들을 추출하여 인스턴스 백(bag)을 상기 학습 데이터 세트의 일부로 생성하는 단계
    를 포함하고,
    상기 인스턴스 백을 상기 학습 데이터 세트의 일부로 생성하는 단계는,
    각 클러스터로부터 기 지정된 개수의 특징 벡터를 랜덤하게 추출하는 단계; 및
    그룹핑된 특징 벡터의 개수가 상기 기 지정된 개수보다 작은 클러스터로부터 모든 특징 벡터들을 상기 인스턴스 백에 포함시키는 단계
    를 포함하는 것을 특징으로 하는 데이터 생성 방법.
KR1020230117550A 2023-08-07 2023-09-05 자가 지도 학습 모델을 활용한 약한 지도 학습 기반의 병리 영상 판독 방법 KR102640426B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020230103132 2023-08-07
KR20230103132 2023-08-07

Publications (1)

Publication Number Publication Date
KR102640426B1 true KR102640426B1 (ko) 2024-02-23

Family

ID=90041778

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020230117550A KR102640426B1 (ko) 2023-08-07 2023-09-05 자가 지도 학습 모델을 활용한 약한 지도 학습 기반의 병리 영상 판독 방법

Country Status (1)

Country Link
KR (1) KR102640426B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101796055B1 (ko) 2016-06-02 2017-11-10 고려대학교 산학협력단 다중 뇌 연결망 구축을 통한 뇌 상태 모니터링 방법 및 장치
KR20220109481A (ko) 2020-01-28 2022-08-04 페이지.에이아이, 인크. 계산 검출 방법들을 위해 전자 이미지들을 처리하기 위한 시스템들 및 방법들
KR102448338B1 (ko) 2022-06-15 2022-09-29 (주)시큐레이어 PatchCore 기법을 응용한, 조직 병리 이상 탐지 모델의 비지도 학습 방법 및 학습 장치, 그리고 이를 이용한 테스트 방법 및 테스트 장치
JP2023501126A (ja) * 2019-11-22 2023-01-18 エフ．ホフマン－ラ ロシュ アーゲー 組織画像分類用のマルチインスタンス学習器

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101796055B1 (ko) 2016-06-02 2017-11-10 고려대학교 산학협력단 다중 뇌 연결망 구축을 통한 뇌 상태 모니터링 방법 및 장치
JP2023501126A (ja) * 2019-11-22 2023-01-18 エフ．ホフマン－ラ ロシュ アーゲー 組織画像分類用のマルチインスタンス学習器
KR20220109481A (ko) 2020-01-28 2022-08-04 페이지.에이아이, 인크. 계산 검출 방법들을 위해 전자 이미지들을 처리하기 위한 시스템들 및 방법들
KR102448338B1 (ko) 2022-06-15 2022-09-29 (주)시큐레이어 PatchCore 기법을 응용한, 조직 병리 이상 탐지 모델의 비지도 학습 방법 및 학습 장치, 그리고 이를 이용한 테스트 방법 및 테스트 장치

Similar Documents

Publication Publication Date Title
US20230186476A1 (en) Object detection and instance segmentation of 3d point clouds based on deep learning
CN113095124B (zh) 一种人脸活体检测方法、装置以及电子设备
CN109919928B (zh) 医学影像的检测方法、装置和存储介质
CN110796199B (zh) 一种图像处理方法、装置以及电子医疗设备
WO2022213465A1 (zh) 基于神经网络的图像识别方法、装置、电子设备及介质
CN112085714B (zh) 一种肺结节检测方法、模型训练方法、装置、设备及介质
CN108681746A (zh) 一种图像识别方法、装置、电子设备和计算机可读介质
CN110738235B (zh) 肺结核判定方法、装置、计算机设备及存储介质
Lei et al. Attention-guided multi-branch convolutional neural network for mitosis detection from histopathological images
US10956795B2 (en) Predicting recurrence in early stage non-small cell lung cancer (NSCLC) using spatial arrangement of clusters of tumor infiltrating lymphocytes and cancer nuclei
US20220215548A1 (en) Method and device for identifying abnormal cell in to-be-detected sample, and storage medium
WO2009152509A1 (en) Method and system for crowd segmentation
US11816185B1 (en) Multi-view image analysis using neural networks
CN112602155A (zh) 生成针对经训练的模型的元数据
CN114821022A (zh) 融合主观逻辑和不确定性分布建模的可信目标检测方法
BenTaieb et al. Deep learning models for digital pathology
WO2024074921A1 (en) Distinguishing a disease state from a non-disease state in an image
CN111275699A (zh) 医学图像的处理方法、装置、设备及存储介质
CN114120208A (zh) 一种火焰检测方法、装置、设备和存储介质
CN113705595A (zh) 异常细胞转移程度的预测方法、装置和存储介质
KR102640426B1 (ko) 자가 지도 학습 모델을 활용한 약한 지도 학습 기반의 병리 영상 판독 방법
US20220130065A1 (en) Method for analyzing thickness of cortical region
KR102446638B1 (ko) 유방암 병변 영역을 판별하기 위한 인공 신경망을 학습하기 위한 학습 방법, 및 이를 수행하는 컴퓨팅 시스템
CN116030290A (zh) 在设备上检测数字对象并且生成对象掩膜
CA3200162A1 (en) Systems and methods for identifying cancer in pets

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant