KR102557748B1 - 자유곡선 레이블 및 멀티 스케일 대조 목적 손실함수 기반 세포 영상 분할 방법, 장치 및 기록 매체 - Google Patents

자유곡선 레이블 및 멀티 스케일 대조 목적 손실함수 기반 세포 영상 분할 방법, 장치 및 기록 매체 Download PDF

Info

Publication number
KR102557748B1
KR102557748B1 KR1020230033557A KR20230033557A KR102557748B1 KR 102557748 B1 KR102557748 B1 KR 102557748B1 KR 1020230033557 A KR1020230033557 A KR 1020230033557A KR 20230033557 A KR20230033557 A KR 20230033557A KR 102557748 B1 KR102557748 B1 KR 102557748B1
Authority
KR
South Korea
Prior art keywords
label
learning
image segmentation
feature vectors
cell
Prior art date
Application number
KR1020230033557A
Other languages
English (en)
Inventor
정원기
이강근
오현직
Original Assignee
고려대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 고려대학교 산학협력단 filed Critical 고려대학교 산학협력단
Application granted granted Critical
Publication of KR102557748B1 publication Critical patent/KR102557748B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

자유곡선 레이블 및 멀티 스케일 대조 목적 손실함수 기반 세포 영상 분할 방법은, 세포 영상과 세포 영역 및 배경 영역을 표시하는 자유곡선 레이블을 학습 데이터로 하여 영상 분할 네트워크(U-Net)를 통해 반복적으로 예비 학습하는 단계; 상기 예비 학습 과정에서 일정 주기마다 영상 분할 예측확률의 지수 이동 평균(EMA)을 계산하는 단계; 상기 영상 분할 예측확률의 지수 이동 평균(EMA)에서 미리 설정된 임계값을 넘는 세포 영역 및 배경 영역에 의사 레이블(Pseudo Label)을 지정하여 자체 학습하는 단계; 및 상기 학습 결과를 통해 획득되는 스크리블 된 손실(Lsp)과 스크리블 되지 않은 손실(Lup)을 기초로 상기 영상 분할 예측확률을 반복적으로 개선하는 단계;를 포함하고, 상기 예비 학습하는 단계는 상기 영상 분할 네트워크의 디코더 레이어에서 멀티 스케일 방식으로 상기 학습 데이터로부터 하나 이상의 특징 벡터를 추출하는 단계; 추출된 상기 특징 벡터에 대한 대조 목적 정규화를 수행하는 단계; 및 대조 목적 정규화 결과를 예비 학습하는 단계;를 포함할 수 있다.

Description

자유곡선 레이블 및 멀티 스케일 대조 목적 손실함수 기반 세포 영상 분할 방법, 장치 및 기록 매체{METHOD, APPARATUS AND RECORDING MEDIUM FOR CELL IMAGE SEGMENTATION USING SCRIBBLE LABELS AND MULTI-SCALE CONTRASTIVE LOSS FUNCTION}
본 발명은 자유곡선 레이블 및 멀티 스케일 대조 목적 손실함수 기반 세포 영상 분할 방법, 이를 수행하기 위한 기록 매체 및 장치에 관한 것으로서, 더욱 상세하게는 딥 러닝을 기반으로 자유곡선 레이블을 이용하여 자체 생성 의사 레이블(Self-Generating Pseudo-Labels)을 학습하고, 자유곡선 레이블을 포함하는 입력 영상에 대한 대조 목적 정규화를 통해 보다 일관성 있고 정교한 세포 분할 기술에 관한 것이다.
마이크로-나노 크기의 현미경 이미지는 일반적으로 세포 수준의 생물학적 이미지 분석에 사용된다. 세포 이미지 분석에서 세분화는 세포 구조의 형태를 추출하는 중요한 작업이다. 기존의 세포 분할 방법은 대부분 모델 기반 및 에너지 최소화 방법에 기반을 두고 있다. 그러나, 에너지 기반의 이미지 분할 방법은 군집되어 있는 세포에 대해 효과적인 분할이 어렵다.
매우 정확한 분할 성능을 달성하기 위한 Ground-Truth 레이블을 사용하여 심층 신경망을 학습하는 방식과, 점 주석(annotations)을 이용한 세포 분할 방법이 제안되었다.
그러나, 충분한 수의 실측 레이블을 생성하는 것은 시간과 노동력이 많이 소요되므로, 세분화 프로세스에서 주요 병목 현상의 원인이 되고, 딥러닝 기반의 이미지 분할 방법은 세포의 모든 영역이 표시되어 있는 레이블이 필요하여 데이터셋 구축의 비용이 큰 문제점이 있다.
또한, 주석을 이용한 방법은 전체 영역 마스크에 비해 생성하기가 더 용이한 점이 있는 반면, 기존 작업에는 전체 데이터 세트에 대한 포인트 주석이 필요하고, 점 주석을 통한 세포 분할 기술은 점의 위치가 분할 성능에 큰 영향을 미친다.
최근에는 자유곡선(scribble) 기반의 주석(annotations)을 이용한 약지도 학습, 즉 자유곡선 지도 학습(scribble-supervised learning)이 수동으로 학습 레이블을 생성하는 부담을 줄이기 위한 방향으로 이미지 분할에서 활발히 연구되고 있다. 자유곡선 지도 학습(scribble-supervised learning)은 표준 세분화 기술 또는 추가 모델 매개 변수를 사용하여 자유곡선 레이블 및 정규화된 네트워크를 활용한다.
그러나, 기존의 자유곡선 지도 학습을 통한 이미지 분할 방법은 Graph-Cut, DenseCRF와 같은 계산 비용이 큰 전처리 및 후처리 절차가 필요한 문제점이 있다.
한편, 딥러닝 기반의 세포 구조 분할 방법은 모델 학습을 위해 세포 구조의 모든 영역이 표시된 오류가 없는 레이블이 필요하며 데이터셋 구축의 비용이 크다. 또한 입력 영상에서 세포 구조를 추출함으로써 세포 계수, 세포 구조 분석과 같은 연구가 가능하나 기존의 자유곡선 레이블 기반 영상분할 자동화 도구로는 과적합 문제로 인해 효과적인 분할이 어렵다.
이에 대한 대책으로 최근 일반 영상 분류문제에서 대조 목적의 강인한 손실함수(Robust-loss function)가 제안되었지만 의료 영상분할에 바로 적용이 어려워 분할 문제에 적합한 개선이 필요한 실정이다.
KR 10-2084683 B1 KR 10-2010-0116404 A
Hyeonsoo Lee, Won-Ki Jeong, Scribble2Label: Scribble-Supervised Cell Segmentation via Self-Generating Pseudo-Labels with Consistency, arXiv:2006.12890, 23 Jun 2020 Tang, M., Perazzi, F., Djelouah, A., Ben Ayed, I., Schroers, C., Boykov, Y.: On egularized losses for weakly-supervised cnn segmentation. In: Proceedings of the European Conference on Computer Vision (ECCV). pp. 507-522 (2018) 2 Hyun-Jic Oh, Kanggeun Lee, Won-Ki Jeong, SCRIBBLE-SUPERVISED CELL SEGMENTATION USING MULTISCALE CONTRASTIVE REGULARIZATION, 30 March 2022
이에, 본 발명의 기술적 과제는 이러한 점에서 착안된 것으로 본 발명의 목적은 신뢰성 있는 자유곡선 레이블 및 멀티 스케일 대조 목적 손실함수 기반 세포 영상 분할 방법을 제공하는 것이다.
본 발명의 다른 목적은 상기 자유곡선 레이블 및 멀티 스케일 대조 목적 손실함수 기반 세포 영상 분할 방법을 수행하기 위한 컴퓨터 프로그램이 기록된 기록 매체를 제공하는 것이다.
본 발명의 또 다른 목적은 자유곡선 레이블 및 멀티 스케일 대조 목적 손실함수 기반 세포 영상 분할 방법을 수행하기 위한 장치를 제공하는 것이다.
상기한 본 발명의 목적을 실현하기 위한 일 실시예에 세포 영상과 세포 영역 및 배경 영역을 표시하는 자유곡선 레이블을 학습 데이터로 하여 영상 분할 네트워크(U-Net)를 통해 반복적으로 예비 학습하는 단계; 상기 예비 학습 과정에서 일정 주기마다 영상 분할 예측확률의 지수 이동 평균(EMA)을 계산하는 단계; 상기 영상 분할 예측확률의 지수 이동 평균(EMA)에서 미리 설정된 임계값을 넘는 세포 영역 및 배경 영역에 의사 레이블(Pseudo Label)을 지정하여 자체 학습하는 단계; 및 상기 학습 결과를 통해 획득되는 스크리블 된 손실(Lsp)과 스크리블 되지 않은 손실(Lup)을 기초로 상기 영상 분할 예측확률을 반복적으로 개선하는 단계;를 포함하고, 상기 예비 학습하는 단계는 상기 영상 분할 네트워크의 디코더 레이어에서 멀티 스케일 방식으로 상기 학습 데이터로부터 하나 이상의 특징 벡터를 추출하는 단계; 추출된 상기 특징 벡터에 대한 대조 목적 정규화를 수행하는 단계; 및 대조 목적 정규화 결과를 예비 학습하는 단계;를 포함한다.
본 발명의 실시예에서, 상기 특징 벡터를 추출하는 단계는 하나 이상의 상기 디코더 레이어 각각에 대응하는 해상도를 갖는 상기 특징 벡터를 추출하는 단계;를 포함할 수 있다.
본 발명의 실시예에서, 상기 대조 목적 정규화를 수행하는 단계는 상기 특징 벡터에 기초하여 픽셀 단위의 가상 레이블을 할당하는 단계; 상기 가상 레이블 상의 상기 특징 벡터 간 레이블 속성이 동일한지 여부를 결정하는 단계; 및 상기 레이블 속성의 동일 여부에 기초하여 상기 특징 벡터의 거리를 조절하는 단계;를 포함할 수 있다.
본 발명의 실시예에서, 상기 레이블 속성은 전경 레이블(Foreground Label) 또는 배경 레이블(Background Label) 중 어느 하나를 포함할 수 있다.
본 발명의 실시예에서, 상기 특징 벡터의 거리를 조절하는 단계는 상기 가상 레이블의 피쳐 스페이스 상에서, 상기 레이블 속성이 동일한 상기 특징 벡터 간의 거리를 인접하도록 조절하고, 상기 레이블 속성이 상이한 상기 특징 벡터 간 거리를 멀어지도록 조절하는 상기 대조 목적 정규화 단계;를 포함하되, 상기 특징 벡터 간 거리는 대조 목적 손실함수에 기초하여 조절될 수 있다.
본 발명의 실시예에서, 상기 대조 목적 정규화 결과를 예비 학습하는 단계는 상기 대조 목적 정규화 단계의 결과인 상기 특징 벡터 간 거리가 조절된 상기 가상 레이블을 예비 학습하는 단계;를 포함할 수 있다.
상기한 본 발명의 또 다른 목적을 실현하기 위한 일 실시예에 따른 자유곡선 레이블 및 멀티 스케일 대조 목적 손실함수 기반 세포 영상 분할 장치는, 세포 영상과 세포 영역 및 배경 영역을 표시하는 자유곡선 레이블을 학습 데이터로 하여 영상 분할 네트워크(U-Net)를 통해 반복적으로 예비 학습하는 워밍업부; 상기 예비 학습 과정에서 일정 주기마다 영상 분할 예측확률의 지수 이동 평균(EMA)을 계산하는 확률 예측부; 상기 영상 분할 예측확률의 지수 이동 평균(EMA)에서 미리 설정된 임계값을 넘는 세포 영역 및 배경 영역에 의사 레이블(Pseudo Label)을 지정하여 자체 학습하는 자체 학습부; 및 상기 학습 결과를 통해 획득되는 스크리블 된 손실(Lsp)과 스크리블 되지 않은 손실(Lup)을 기초로 상기 영상 분할 예측확률을 반복적으로 개선하는 개선부;를 포함하고, 상기 워밍업부는 상기 영상 분할 네트워크의 디코더 레이어에서 멀티 스케일 방식으로 상기 학습 데이터로부터 하나 이상의 특징 벡터를 추출하고, 추출된 상기 특징 벡터에 대한 대조 목적 정규화를 수행하고, 대조 목적 정규화 결과를 예비 학습할 수 있다.
본 발명의 실시예에서, 상기 워밍업부는 하나 이상의 상기 디코더 레이어 각각에 대응하는 해상도를 갖는 상기 특징 벡터를 추출할 수 있다.
본 발명의 실시예에서, 상기 워밍업부는 상기 특징 벡터에 기초하여 픽셀 단위의 가상 레이블을 할당하고, 상기 가상 레이블 상의 상기 특징 벡터 간 레이블 속성이 동일한지 여부를 결정하고, 상기 레이블 속성의 동일 여부에 기초하여 상기 특징 벡터의 거리를 조절할 수 있다.
본 발명의 실시예에서, 상기 레이블 속성은 전경 레이블(Foreground Label) 또는 배경 레이블(Background Label) 중 어느 하나를 포함할 수 있다.
본 발명의 실시예에서, 상기 워밍업부는 상기 가상 레이블의 피쳐 스페이스 상에서, 상기 레이블 속성이 동일한 상기 특징 벡터 간의 거리를 인접하도록 조절하고, 상기 레이블 속성이 상이한 상기 특징 벡터 간 거리를 멀어지도록 조절하는 상기 대조 목적 정규화를 수행하되, 상기 특징 벡터 간 거리는 대조 목적 손실함수에 기초하여 조절할 수 있다.
본 발명의 실시예에서, 상기 워밍업부는 상기 대조 목적 정규화 단계의 결과인 상기 특징 벡터 간 거리가 조절된 상기 가상 레이블을 예비 학습할 수 있다.
상기한 본 발명의 다른 목적을 실현하기 위한 일 실시예에 따른 컴퓨터로 판독 가능한 저장 매체에는, 상기 자유곡선 레이블 및 멀티 스케일 대조 목적 손실함수 기반 세포 영상 분할 방법을 수행하기 위한 컴퓨터 프로그램이 기록되어 있다.
이와 같은 자유곡선 레이블 및 멀티 스케일 대조 목적 손실함수 기반 세포 영상 분할 방법에 따르면, 자유곡선 레이블 및 멀티 스케일에 따른 대조 목적 손실함수를 이용하여 신뢰성 높은 세포 분할을 하는 기술을 제안함으로써 데이터셋 구축 시간 및 비용을 획기적으로 줄일 수 있다. 또한, 본 발명에서는 추가적인 영상 처리 방법을 사용하지 않아 계산 비용 역시 줄일 수 있다.
도 1은 본 발명에 따른 자유곡선 레이블 및 멀티 스케일 대조 목적 손실함수를 이용한 세포 영상 분할 장치의 블록도이다.
도 2는 본 발명에 따른 자유곡선 레이블 및 멀티 스케일 대조 목적 손실함수 기반 세포 영상 분할의 전체 개요를 보여주는 개념도이다.
도 3은 본 발명에 따른 워밍업부에서 수행되는 멀티 스케일 대조 목적 손실함수를 이용한 대조 목적 정규화의 전체 개요를 보여주는 개념도이다.
도 4는 본 발명에 따른 자체 학습 중 의사 레이블의 반복적인 개선의 예를 보여주는 도면이다.
도 5는 본 발명의 효과를 검증하기 위해 종래 기술과 정성적으로 비교한 결과를 보여주는 도면이다.
도 6은 본 발명에 따른 멀티 스케일 기반 대조 목적 정규화에 따른 손실함수가 개선되는 예를 보여주는 도면이다.
도 7은 본 발명에 따른 자유곡선 레이블 및 멀티 스케일 대조 목적 손실함수 기반 세포 영상 분할 방법의 흐름도이다.
도 8은 본 발명에 따른 멀티 스케일 기반 대조 목적 손실함수를 이용한 예비 학습 방법의 흐름도이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
이하, 도면들을 참조하여 본 발명의 바람직한 실시예들을 보다 상세하게 설명하기로 한다.
도 1은 본 발명에 따른 자유곡선 레이블 및 멀티 스케일 대조 목적 손실함수를 이용한 세포 영상 분할 장치(10)의 블록도이다.
도 1을 참조하면, 본 발명에 따른 자유곡선 레이블 및 멀티 스케일 대조 목적 손실함수를 이용한 세포 영상 분할 장치(10, 이하, 세포 영상 분할 장치)는 워밍업부(110), 확률 예측부(130), 자체 학습부(150) 및 개선부(170)를 포함할 수 있다.
본 발명의 세포 영상 분할 장치(10)는 자유곡선 레이블 및 멀티 스케일 대조 목적 손실함수를 이용한 세포 영상 분할을 수행하기 위한 소프트웨어(애플리케이션)가 설치되어 실행될 수 있으며, 워밍업부(110), 확률 예측부(130), 자체 학습부(150) 및 개선부(170)의 구성은 세포 영상 분할 장치(10)에서 실행되는 자유곡선 레이블 및 멀티 스케일 대조 목적 손실함수를 이용한 세포 영상 분할을 수행하기 위한 소프트웨어에 의해 제어될 수 있다.
세포 영상 분할 장치(10)는 별도의 단말이거나 또는 단말의 일부 모듈일 수 있다. 또한, 워밍업부(110), 확률 예측부(130), 자체 학습부(150) 및 개선부(170)의 구성은 통합 모듈로 형성되거나, 하나 이상의 모듈로 이루어 질 수 있다. 그러나, 이와 반대로 각 구성은 별도의 모듈로 이루어질 수도 있다.
세포 영상 분할 장치(10)는 이동성을 갖거나 고정될 수 있다. 세포 영상 분할 장치(10)는, 서버(server) 또는 엔진(engine) 형태일 수 있으며, 디바이스(device), 기구(apparatus), 단말(terminal), UE(user equipment), MS(mobile station), 무선기기(wireless device), 휴대기기(handheld device) 등 다른 용어로 불릴 수 있다.
세포 영상 분할 장치(10)는 운영체제(Operation System; OS), 즉 시스템을 기반으로 다양한 소프트웨어를 실행하거나 제작할 수 있다. 운영체제는 소프트웨어가 장치의 하드웨어를 사용할 수 있도록 하기 위한 시스템 프로그램으로서, 안드로이드 OS, iOS, 윈도우 모바일 OS, 바다 OS, 심비안 OS, 블랙베리 OS 등 모바일 컴퓨터 운영체제 및 윈도우 계열, 리눅스 계열, 유닉스 계열, MAC, AIX, HP-UX 등 컴퓨터 운영체제를 모두 포함할 수 있다.
다시 도 1을 참조하면, 워밍업부(110)는 세포 영상과 세포 영역 및 배경 영역을 표시하는 자유곡선 레이블을 학습 데이터로 하여 영상 분할 네트워크(U-Net)를 통해 반복적으로 예비 학습할 수 있다.
확률 예측부(130)는 예비 학습 과정에서 일정 주기마다 영상 분할 예측확률의 지수 이동 평균(EMA)을 계산할 수 있다.
자체 학습부(150)는 영상 분할 예측확률의 지수 이동 평균(EMA)에서 미리 설정된 임계값을 넘는 세포 영역 및 배경 영역에 의사 레이블(Pseudo Label)을 지정하여 자체 학습할 수 있다.
개선부(170)는 학습 결과를 통해 획득되는 스크리블 된 손실(Lsp)과 스크리블 되지 않은 손실(Lup)을 기초로 상기 영상 분할 예측확률을 반복적으로 개선할 수 있다. 여기서, 스크리블 된 손실은 자유곡선 이미지에서 자유곡선 레이블이 지정된 손실을 나타낼 수 있고, 스크리블 되지 않은 손실은 자유곡선 이미지에서 자유곡선 레이블이 지정되지 않은 손실을 나타낼 수 있다.
추가적으로, 워밍업부(110)는 영상 분할 네트워크의 디코더 레이어에서 멀티 스케일 방식으로 상기 학습 데이터로부터 하나 이상의 특징 벡터를 추출하고, 추출된 특징 벡터에 대한 대조 목적 정규화를 수행하고, 대조 목적 정규화 결과를 예비 학습할 수 있다.
구체적으로, 워밍업부(110)는 하나 이상의 디코더 레이어 각각에 대응하는 해상도를 갖는 특징 벡터를 추출할 수 있다.
또한, 워밍업부(110)는 특징 벡터에 기초하여 픽셀 단위의 가상 레이블을 할당하고, 가상 레이블 상의 특징 벡터 간 레이블 속성이 동일한지 여부를 결정하고, 레이블 속성의 동일 여부에 기초하여 특징 벡터의 거리를 조절할 수 있다.
관련하여, 워밍업부(110)는 가상 레이블의 피쳐 스페이스 상에서, 레이블 속성이 동일한 특징 벡터 간의 거리를 인접하도록 조절하고, 레이블 속성이 상이한 특징 벡터 간 거리를 멀어지도록 조절하는 대조 목적 정규화를 수행할 수 있다. 워밍업부(110)는 대조 목적 손실함수에 기초하여 특징 벡터 간 거리를 조절할 수 있다.
이후, 워밍업부(110)는 대조 목적 정규화 단계의 결과인 특징 벡터 간 거리가 조절된 가상 레이블을 예비 학습할 수 있다.
이하에서는, 도 1 및 도 2를 참조하여 전술한 구성 및 실시예들에 대해 설명하도록 한다.
도 2는 본 발명에 따른 자유곡선 레이블 및 멀티 스케일 대조 목적 손실함수 기반 세포 영상 분할의 전체 개요를 보여주는 개념도이다.
도 2를 참조하면, 본 발명은 전체 분할 레이블 없이 소수의 자유곡선 주석(scribble annotations)만 활용하는 세포 분할 프레임워크를 제안한다. 이를 위해, 의사 레이블링과 레이블 필터링을 결합하여 약지도 학습(weak supervision)으로부터 신뢰할 수 있는 레이블을 생성하고, 의사 레이블(pseudo labels)을 개선하기 위해 예측을 반복적으로 평균하여 예측의 일관성을 획득한다.
본 발명은 기존의 자유곡선 지도 학습 방법에서와 같이 자유곡선 주석을 사용하지만 몇 가지 자유곡선 주석에서 전체 학습 레이블을 점진적으로 생성하기 위해 의사 레이블링과 레이블 필터링의 조합을 제안한다. 이를 통해, 의사 레이블의 노이즈를 효과적으로 제거하고 예측 정확도를 향상시킬 수 있다.
또한, 본 발명은 학습 레이블을 생성하는 수동 작업을 크게 줄여주는 작은 양의 수동 자유곡선 세트만 사용하여 약지도를 통해 자동으로 학습 레이블을 생성하는 새로운 반복적 분할화 네트워크 학습 프로세스를 제안한다. 또한, 본 발명은 의사 레이블링과 레이블링 필터링을 결합하여 일관성을 활용한다. 이를 통해, 신뢰할 수 있는 학습 레이블을 생성함으로써 매우 정확하고 강력한 성능을 제공할 수 있다.
관련하여, 본 발명은 기존의 자유곡선 지도 분할(scribble-supervised segmentation) 방법과 달리, 학습 중에 추가 모델 매개 변수 또는 외부 세분화 방법(예: Graph-cut, DenseCRF)이 필요하지 않은 종단 간(end-to-end) 체계이다. 본 발명은 다양한 현미경 이미지의 세포 분할 문제에 적용되는 최초의 자유곡선 지도 분할 방법을 활용한 자유곡선 레이블 및 멀티 스케일 대조 목적 손실함수 기반 세포 영상 분할 방법이 사용되었다.
상기 워밍업부(110)는 세포 영상과 세포 영역 및 배경 영역을 표시하는 스크리블이 표시된 자유곡선 레이블을 학습 데이터로 하여 영상 분할 네트워크(U-Net)를 통해 반복적으로 예비 학습한다.
본 발명의 입력 소스는 자유곡선 레이블의 이미지 x와 이미지 일부의 스크리블(scribble) s다. 상기 일부의 스크리블 s는 사용자가 제공할 수 있다. 여기서, 주어진 스크리블은 자유곡선 이미지에서 레이블이 지정된 픽셀(각각 전경과 배경에 대해 파란색과 노란색으로 표시됨)이고, 나머지 픽셀은 레이블이 없는 픽셀(검은 색으로 표시됨)로 정의된다.
자유곡선 이미지에서 레이블이 지정된(스크리블 된) 픽셀의 경우 표준 교차 엔트로피 손실이 적용된다. 레이블이 지정되지 않은(스크리블 되지 않은) 픽셀의 경우 네트워크는 학습 중 예측의 지수 이동 평균을 사용하여 신뢰할 수 있는 레이블을 자동으로 생성한다.
본 발명에서 모델 학습은 두 단계로 구성된다. 첫 번째 단계는 스크리블 된 픽셀 손실(Lsp)만 사용하여 모델을 학습하여 초기화(예: 워밍업 단계)하는 것이다. 모델이 처음에 워밍업 단계를 통해 학습되면, 예측은 스크리블 된 손실(Lsp)과 스크리블 되지 않은 손실(Lup)에 의해 반복적으로 개선된다.
상기 확률 예측부(130)는 상기 예비 학습 과정에서 일정 주기마다 영상 분할 예측확률의 지수 이동 평균(EMA)을 계산한다.
본 발명에서 의사 레이블은 예측의 평균에서 생성되고, Lsp는 스크리블 주석으로 계산되고, Lup은 필터링된 의사 레이블로 계산된다. 예측 앙상블 프로세스는 γ 에포크 마다 발생하며, 여기서 γ는 앙상블 간격이다. n은 예측이 평균화되는 횟수를 나타낸다.
워밍업 단계의 처음에는 입력 학습 데이터에 대해 사용자가 작성한 작은 스크리블 세트만 있다. 처음 몇 번의 반복(워밍업 단계) 동안 주어진 스크리블만 사용하여 모델을 학습하고 다음 단계에서 사용할 수 있는 예측의 평균을 생성한다.
여기에서 주어진 스크리블은 해당 마스크 주석의 서브세트이다. 스크리블 되지 않은 픽셀을 무시함으로써, 본 발명에서 제안된 네트워크는 다음의 수학식 1과 같이 교차 엔트로피 손실로 학습된다.
여기서, x는 입력 이미지, s는 스크리블 주석, Ωs는 스크리블 된 픽셀 집합이다. f(x;
Figure 112023029175777-pat00002
i)는 반복 i에서 모델의 예측이다. 이 워밍업 단계는 워밍업 Epoch EW에 도달 할 때까지 계속된다.
또한, 학습 과정에서 예측의 지수 이동 평균(EMA)을 다음의 수학식 2와 같이 주기적으로 계산한다.
여기서, α는 EMA 가중치, y는 예측의 평균이다. y0 = f (x;
Figure 112023029175777-pat00004
1) 및 n은 예측이 평균화되는 횟수이다. 이 과정을 예측 앙상블이라고 한다. 학습에 데이터 증가를 사용하기 때문에 분할 예측은 동일한 입력 이미지에 대해 일관되지 않는다.
이러한 문제에 대한 본 발명의 해결책은 학습 과정을 학습과 앙상블 단계로 나누는 것이다. 앙상블 단계에서는 네트워크에 대한 입력에 비 증강 이미지가 사용되며 해당 예측에 EMA가 적용된다.
또한, 자유곡선 지도 설정에서는 주어진 레이블이 완전히 주석으로 처리되지 않았기 때문에 최상의 모델이 발견될 때 예측을 통합할 수 없다. 유의미한 앙상블을 달성하고 계산 비용을 줄이기 위해 예측은 γ 에포크(epoch)마다 평균화된다. 여기서, γ는 앙상블 간격이다.
상기 자체 학습부(150)는 상기 분할 예측확률의 지수 이동 평균(EMA)에서 미리 설정된 임계값을 넘는 세포 영역 및 배경 영역에 의사 레이블(Pseudo Label)을 지정하여 자체 학습한다.
상기 개선부(170)는 상기 학습 결과를 통해 획득되는 스크리블 된 손실(Lsp)과 스크리블 되지 않은 손실(Lup)을 기초로 상기 분할 예측확률을 반복적으로 개선한다.
이하에서는, 자체 생성된 의사 레이블을 사용한 상기 자체 학습부(150)의 학습과 그 결과를 이용한 상기 개선부(170)의 확률 개선에 대해 설명한다.
예측의 평균은 워밍업 단계 후에 얻을 수 있다. 이는 스크리블 되지 않은 픽셀의 신뢰할 수 있는 의사 레이블을 생성하는데 사용할 수 있다. 의사 레이블을 필터링하기 위해 평균이 사용된다.
일관되게 동일한 결과를 갖는 픽셀은 원-핫 인코딩되고, 표준 교차 엔트로피를 사용하는 스크리블 되지 않은 픽셀의 레이블로 사용된다. 신뢰할 수 있는 픽셀만 사용하고 이러한 원-핫 인코딩을 점진적으로 만들면 커리큘럼 학습 및 엔트로피 최소화를 통해 이점을 제공한다.
필터링된 의사 레이블을 사용하여 표시되지 않은 픽셀 손실은 다음의 수학식 3과 같이 정의된다.
여기서, , 생성된 레이블 픽셀 집합이고, 는 일관성에 대한 임계값이다. 공식적으로, 반복 i에서 Lup은 (x, yn)로 계산된다. 여기서, 이다. 그런 다음, 총 손실은 스크리블 된 손실 Lsp과 상대 가중치를 가진 스크리블 되지 않은 손실 Lup의 조합으로 아래의 수학식 4와 같이 정의된다.
이미 설명한 EMA 방법은 이 학습 과정에서도 적용된다.
도 3은 본 발명에 따른 워밍업부에서 수행되는 멀티 스케일 대조 목적 손실함수를 이용한 대조 목적 정규화의 전체 개요를 보여주는 개념도이다.
도 3에 도시된 멀티 스케일 대조 목적 손실함수를 이용한 대조 목적 정규화는 도 1의 영상 분할 네트워크(도 1의 Network (θi))가 소수의 스크리블 주석을 포함하는 학습 데이터를 이용하여 예비 학습을 수행하는 단계에서 추가적으로 수행되는 예비 학습 방법을 포함할 수 있다.
이하에서는 도 1의 구성 중 워밍업부(110)를 참조하여 도 3에 개시된 대조 목적 정규화 방법을 설명하도록 한다.
워밍업부(110)는 웜업 단계에서 영상 분할 네트워크의 디코더 레이어에서 멀티 스케일 방식으로 학습 데이터로부터 하나 이상의 특징 벡터들을 추출할 수 있다. 이어서, 워밍업부(110)는 추출된 특징 벡터에 대한 대조 목적 정규화를 수행하기 위해 가상의 레이블을 할당하고, 가상의 레이블 상의 특징 벡터가 갖는 레이블 특성을 판단할 수 있다. 워밍업부(110)는 가상의 레이블 상에서의 특징 벡터 중 동일한 레이블 특성을 갖는 특징 벡터는 서로 거리가 인접하도록 조절하고, 상이한 레이블 특성을 갖는 특징 벡터는 서로 거리가 멀어지도록 조절하는 대조 목적 정규화를 수행할 수 있다. 대조 목적 정규화에는 이하에서 설명하는 멀티 스케일 기반의 대조 목적 손실함수 Ltotal가 사용될 수 있다.
본 발명에 따르면, 자유곡선 레이블로부터 전체 레이블을 만들어냄과 동시에, 멀티 스케일 대조 목적 손실함수를 이용한 대조 목적 정규화를 통해 도출되는 정규화 결과를 예비 학습함으로써 자유곡선 레이블에 대한 과적합을 방지할 수 있다.
이하에서는 도 1 및 도 3을 참조하여 대조 목적 정규화에 이용되는 대조 목적 손실함수 Ltotal을 도출하는 실시예들을 설명하도록 한다. 실시예들에는 하기의 수학식 5 내지 10이 이용될 수 있다.
도 3을 참조하면, 본 발명의 워밍업 단계에서 워밍업부(110)는 영상 분할 네트워크의 디코더 레이어에서 멀티 스케일 방식으로 상기 학습 데이터로부터 하나 이상의 특징 벡터(Latent Vector Zy1, Latent Vector Zy2)를 추출하고, 추출된 상기 특징 벡터에 대한 대조 목적 정규화를 수행하고, 대조 목적 정규화 결과를 예비 학습할 수 있다.
본 발명에서는 세포 영상에서의 세포 분할 성능을 향상시키기 위해 자유곡선 지도 학습에 의해 생성된 의사 지도 학습에 기반한 멀티 스케일 기반 대조 목적 정규화를 제안한다. 본 발명의 주요 특징은 다음과 같이 요약될 수 있다. 세포 영상 이미지 분류에서 약지도 학습된 픽셀 수준 영상 분할로 대조 학습의 새로운 적응적 방식을 제공할 수 있다. 또한 다양한 이미지 해상도에 대해 지도 대비 정규화를 적용하여 약지도 학습에 적용할 수 있는 일반화된 멀티 스케일 기반 대조 목적 정규화를 제공할 수 있다. 또한, Scribble 2 Label(S2L)을 확장하고 잘 알려진 데이터 세트(예: Data Science Bowl 2018 및 MoNuSeg)에 대한 정량 및 정성 분석을 수행하여 제안된 방법의 효능을 입증할 수 있다.
먼저, 도 3의 워밍업 단계에서 이용되는 CNN은 스크리블된 픽셀 집합에서 학습하고 일관성 임계값 및 지수 이동 평균(EMA) 방법을 기반으로 한 필터링 방법을 통해 주기적으로 의사 레이블을 생성할 수 있다. 도 3의 스크리블된 손실함수(스크리블 기반 교차 엔트로피 손실함수) Ls는 아래 수학식에 기초하여 생성할 수 있다.
아래 수학식 6은 S2L의 손실함수 LS2L를 구하는 수학식이고, 수학식 7은 S2L의 손실함수를 구하기 위해 이용되는 의사 레이블의 손실함수 Lp를 구하는 수학식을 나타낸다. 수학식 6, 7에서, x는 입력 이미지이고, t = fθ(x)는 임의의 CNN fθ에 의해 생성된 벡터화된 예측값이며, si는 i∈Ω 로 인덱싱된 벡터화된 자유곡선 레이블(레이블 속성)이다. 또한, 수학식 6, 7에서 는 벡터화된 의사 레이블이고 수학식 7에서 Ωp는 의사 레이블 집합이다.
이후, 도 3의 메인 단계에서는 다음과 같은 주요 손실을 통해 의사 레이블로 함수 fθ가 재학습될 수 있다.
관련하여, 본 발명에서는 방정식의 주요 손실을 다시 공식화하고, 임의의 CNN f의 두 수렴 공간을 제한하는 멀티 스케일 대조 목적 정규화를 사용할 수 있다.
구체적으로, f
Figure 112023029175777-pat00014
(x)가 변수 의 시퀀스로 구성된다고 가정할 경우, 잠재 특징 벡터인 (여기서, )가 선택되고 와 유사한 프로젝션 헤드가 통과될 수 있다. 여기서, 프로젝션 헤드 는 컨볼루션 레이어, 배치 정규화 레이어 및 활성화 함수의 조합으로 구성될 수 있다. 이후, 아래 수학식 8과 같이 그리고 δ에 대한 의사 지도 멀티 스케일 정규화를 정의할 수 있다.
여기서 δ는 시그모이드 함수이고 ·는 내적을 나타내며
Figure 112023029175777-pat00022
기호는 각 요소별 "or" 논리 연산자를 나타낼 수 있다. 그리고, 는 멀티 스케일 대조 목적 정규화를 위한 일관성 임계값 v1 및 v2를 갖는 인자 에 의해 생성된 유사 레이블의 축소된 벡터일 수 있다.
수학식 9에서, i∈Ω- 및 i∈Ω+ 는 각각 배경 및 전경 레이블(레이블 속성)을 나타낼 수 있고, 지도 대조 학습에서 소프트맥스 함수는 앵커가 있는 단일 포지티브 샘플을 제어할 수 있다. 그러나, 상기 수학식 9에 따른 정규화는 많은 양의 픽셀로 인해 세포 영상 분할 작업에서 비효율적일 수 있다. 지도 목적 대조 정규화 연구와 달리 본 발명은 소프트맥스 함수 대신 의사 레이블의 요소별 확률을 조정하기 위해 로지스틱 함수를 사용할 수 있다. 로지스틱 함수를 사용하면 각 샘플 x에 대해 여러 양수 픽셀을 동시에 처리할 수 있다.
본 발명에 따르면, 멀티 스케일의 잠재 공간에서 대조 목적 정규화를 활용할 수 있다(즉, 인코더-디코더와 같은 모양의 모델의 중간 레이어에서 추출된 기능). 결과적으로 아래와 같이 멀티 스케일 기반 대조 목적 손실함수 Ltotal은 멀티 스케일 기반 대조 목적 정규화 및 S2L의 주 손실의 조합으로 정의할 수 있다.
여기서 α, λ1 및 λ2는 방정식의 가중치 매개변수이다. 수학식 8은 가능한 모든 δ에 대해 여러 정규화 항으로 확장할 수 있으며, 훈련 효율성과 성능 사이의 균형을 맞추기 위해 실험에서 스케일 팩터가 다른 δ1=1 그리고 δ2=4 두 개의 정규화 항을 학습에 의해 선택할 수 있다.
이하에서는 상술한 실시예 및 수학식으로부터 도출되는 대조 목적 손실함수를 이용하여 수행되는 대조 목적 정규화 방법 및 정규화 결과를 이용한 예비 학습에 대한 실시예들을 도 1 및 도 3을 참조하여 설명하기로 한다.
일 실시예에서 워밍업부(110)는 도 3에 도시된 하나 이상의 디코더 레이어 각각에 대응하는 해상도를 갖는 특징 벡터를 추출할 수 있다. 본 발명에 따르면, 멀티 스케일 방식으로 추출된 특징 벡터들은 디코더 레이어 각각의 해상도에 대응하므로, 세포 영상의 전체 영역에 대한 세포 구조부터 국소 영역에 대한 세포 구조까지 대응될 수 있다.
도 3을 참조하면, 특징 벡터들은 디코더 레이어의 중간과 말단에서 획득될 수 있다. 이 경우, 디코더 레이어의 말단에서 획득되는 특징 벡터는 전체 세포 영상 중 국소 영역에 대한 세포 구조에 대응될 수 있고, 디코더 레이어의 중간에서 획득되는 특징 벡터는 세포 영상의 전체 영역에 대한 세포 구조에 대응될 수 있다. 관련하여, 도 3에는 특징 벡터들이 디코더 레이어의 중간과 말단에서 획득되는 것으로 도시되어 있으나 이에 한정되지는 않으며, 하나 이상의 디코더 레이어 또는 모든 디코더 레이어로부터 획득될 수 있다.
이후, 워밍업부(110)는 추출된 특징 벡터에 대한 대조 목적 정규화를 수행할 수 있다.
구체적으로, 워밍업부(110)는 추출된 특징 벡터에 기초하여 픽셀 단위의 가상 레이블을 할당할 수 있다. 예를 들어 가상 레이블은 픽셀 단위의 피쳐 스페이스 상에서의 특징 벡터에 대응되도록 생성될 수 있다.
이후, 워밍업부(110)는 생성된 각각의 가상 레이블 상의 특징 벡터 간 레이블 속성이 동일한지 여부를 결정하고, 레이블 속성의 동일 여부에 기초하여 특징 벡터 간 거리를 조절할 수 있다.
여기서, 레이블 속성은 레이블 속성은 전경 레이블(Foreground Label) 또는 배경 레이블(Background Label) 중 어느 하나일 수 있고, 특징 벡터는 레이블 속성에 기초하여 가상 레이블 상에 표시될 수 있다. 특징 벡터는 레이블 속성에 따라 세포 영상에서 세포 영역 및 배경 영역이 구분될 수 있다.
워밍업부(110)는 가상 레이블의 피쳐 스페이스 상에서, 레이블 속성이 동일한 특징 벡터 간의 거리는 인접하도록 조절하고, 레이블 속성이 상이한 특징 벡터 간 거리는 멀어지도록 조절하는 대조 목적 정규화를 수행할 수 있다. 여기서, 특징 벡터 간 거리를 조절하는 대조 목적 정규화는 대조 목적 손실함수 Ltotal에 기초하여 수행될 수 있다.
이후, 워밍업부(110)는 대조 목적 정규화 단계의 결과인 특징 벡터 간 거리가 조절된 가상 레이블을 예비 학습할 수 있다.
도 4는 본 발명에 따른 자체 학습 중 의사 레이블의 반복적인 개선의 예를 보여주는 도면이다.
도 4를 참조하면, 파란색과 노란색은 각각 셀과 배경에 대한 스크리블(Ωs)을 나타내고, 빨간색은 일관성에 대한 임계값 미만의 픽셀로서, 스크리블 되지 않은 픽셀 손실(Lup)을 계산할 때 무시된다. 흰색 및 검정색은 (Ωg) 이상의 셀 또는 배경 픽셀을 나타낸다.
도 4의 (a) 내지 (c)는 반복 예측으로 인해 필터링된 의사 레이블을 나타낸다(Intersection over Union [IoU] 점수 포함). 도 4의 (a)는 7 번째 (0.5992), (b)는 20 번째 (0.8306) 및 (c)는 100 번째 (0.9230) 반복 예측에 대한 결과를 보여준다. 실험에 사용된 실제 스크리블 두께는 1 픽셀 이었지만 도 4에서는 더 나은 시각화를 위해 5 픽셀로 넓혔다.
도 5는 본 발명의 효과를 검증하기 위해 종래 기술과 정성적으로 비교한 결과를 보여주는 도면으로, 위에서 아래로 EM, DSB-BF, DSB-Fluo, DSB-Histo 및 MoNuSeg가 표시된다.
본 발명의 기준 네트워크는 ResNet-50 인코더를 사용하는 U-Net 이다. 조직 병리학 실험(MoNuSeg, DSB-Histo)에서 [Qu, H., Wu, P., Huang, Q., Yi, J., Riedlinger, G.M., De, S., Metaxas, D.N.: Weakly supervised deep nuclei segmentation using points annotation in histopathology images. In: International Conference on Medical Imaging with Deep Learning. pp.390-400 (2019)]과 비교하기 위해 인코더로 ResNet-34를 사용하였다.
네트워크는 사전 학습 된 매개 변수로 초기화되었고, RAdam [Liu, L., Jiang, H., He, P., Chen, W., Liu, X., Gao, J., Han, J.: On the variance of the adaptive learning rate and beyond. arXiv preprint arXiv:1908.03265 (2019)]은 모든 실험에 사용되었다. 네트워크를 정규화하기 위해 자르기, 뒤집기, 회전, 이동, 크기 조정, 밝기 변경 및 대비 변경과 같은 기존의 데이터 증가 방법을 사용하였다.
본 발명의 모델에 사용된 하이퍼 파라미터는 다음과 같다. 일관성 임계값 = 0.8; EMA 알파 α = 0.2; 앙상블 모멘텀 γ = 5; Lup의 가중치 = 0.5; 워밍업 epoch EW = 100. MoNuSeg 데이터 세트(다른 데이터 세트보다 훨씬 더 노이즈가 많음)의 경우 노이즈 레이블에 대처하기 위해 = 0.95 및 α = 0.1을 사용하였다.
검증을 위해, [Nishimura, K., Bise, R., et al.: Weakly Supervised Cell Instance Segmentation by Propagating from Detection Response. In: International Conference on Medical Image Computing and Computer-Assisted Intervention. pp. 649-657. Springer (2019)]에서 사용된 평균 주사위 계수(mDice)를 사용하여 IoU(Intersection Over Union)를 사용한 의미 분할 성능과 인스턴스 분할 성능을 평가하였다. 아래의 표 1은 다양한 세포 이미지 양식의 정량적 결과이고, 숫자는 IoU[mDice] 형식의 정확도를 나타낸다.
또한, 본 발명을 다른 방법과 비교하기 위하여 본 발명을 전체 분할 주석, 스크리블 주석(pCE 전용) 및 Grab-Cut의 분할 제안으로 학습된 네트워크와 비교하였다. 일관성 있는 레이블 필터링의 효능을 입증하기 위해 이를 의사 레이블링과 비교하였다.
예측 확률이 임계값 를 초과하는 픽셀은 의사 레이블로 할당되었으며, 여기서 는 본 발명에서의 설정과 동일하다. 본 발명은 또한 DenseCRF를 손실 함수에 통합하는 정규화된 손실(rLoss)과 비교하였다. rLoss의 하이퍼 파라미터는 σXY = 100 및 σRGB = 15이다.
표 1은 몇 가지 대표적인 방법과 본 발명의 정량적 비교를 보여준다. 전반적으로 본 발명은 IoU 및 mDice 품질 메트릭에서 다른 방법들을 능가하였다.
본 발명은 EM, DSB-BF 및 DSB-Histo 데이터 세트에서 전체 방법(즉, 전체 분할화 레이블을 사용하여 학습)에 비해 훨씬 더 높은 mDice 정확도를 달성하였다. 또한, MoNuSeg 데이터 세트에는 개별적으로 분리하기 어려운 작은 어수선한 셀이 많이 포함되어 있다. 그러나, 본 발명은 이 경우에도 뛰어난 인스턴스 분할 결과를 보여주었다.
Grab-Cut의 [Lin, D., Dai, J., Jia, J., He, K., Sun, J.: Scribblesup: Scribble-supervised convolutional networks for semantic segmentation. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. pp. 3159-3167 (2016)]은 분할 제안과 의사 라벨[Lee, D.H.: Pseudo-label: The simple and efficient semi-supervised learning method for deep neural networks. In: Workshop on challenges in representation learning, ICML. vol. 3, p. 2 (2013)]이 잘못되었다.
따라서, 이러한 잘못된 세분화 레이블을 사용한 학습은 방법의 성능을 저하시킨다. Qu et al.의 방법 [Qu, H., Wu, P., Huang, Q., Yi, J., Riedlinger, G.M., De, S., Metaxas, D.N.: Weakly supervised deep nuclei segmentation using points annotation in histopathology images. In: International Conference on Medical Imaging with Deep Learning. pp. 390-400 (2019)]은 MoNuSeg 데이터 세트에서 인스턴스 레벨 세분화에 대해 잘 수행되었지만 DSB-histo 데이터 세트에서는 더 나쁜 효과를 보였다. Qu et al.의 방법은 원형 셀 레이블이 있는 클러스터링 레이블을 사용했기 때문에 비 원형 셀을 분할하기가 어려웠다.
pCE를 사용한 학습 [Tang, M., Perazzi, F., Djelouah, A., Ben Ayed, I., Schroers, C., Boykov, Y.: On regularized losses for weakly-supervised cnn segmentation. In: Proceedings of the European Conference on Computer Vision (ECCV). pp. 507-522 (2018)]은 다양한 데이터 세트에서 안정적인 결과를 보여주었다. 그러나, 스크리블만으로 학습하기 때문에 본 발명과 같이 경계를 정확하게 예측하는데 실패했다.
rLoss [Tang, M., Perazzi, F., Djelouah, A., Ben Ayed, I., Schroers, C., Boykov, Y.: On regularized losses for weakly-supervised cnn segmentation. In: Proceedings of the European Conference on Computer Vision (ECCV). pp. 507-522 (2018)]은 대부분의 이전 방법보다 성능이 우수했지만, 본 발명이 일반적으로 더 나은 결과를 보여주었다.
또한, 예측을 평균화하여 일관성을 활용하는 것이 강력한 의사 레이블을 생성하는데 중요하다는 것을 관찰하였다. 본 발명인 Scribble2Label의 결과는 또한 스크리블과 함께 의사 레이블을 사용하는 것이 지상 진실 세분화 레이블(ground-truth segmentation label)에 필적하는 정확한 경계를 생성하는데 효과적임을 확인한다.
스크리블 주석의 양의 효과 즉, 다양한 수준의 스크리블 세부 사항에 대한 방법의 견고성을 입증하기 위해 Wu et al.의 유사한 방법을 사용하여 자동으로 생성된 스크리블을 사용하여 실험을 수행하였다[Wu, W., Qi, H., Rong, Z., Liu, L., Su, H.: Scribble-Supervised Segmentation of Aerial Building Footprints Using Adversarial Learning. IEEE Access 6, 58898- 58911 (2018)] (즉, 전경 및 배경 영역이 골격화되고 샘플링 됨).
대상 데이터 세트는 DSB-Fluo였으며, 전체 분할 레이블(마스크)에서 추출된 스켈레톤 픽셀의 10 %, 30 %, 50 %, 100 % 등 다양한 양의 스크리블이 자동으로 생성된다.
아래의 표 2는 다양한 수준의 스크리블 세부 사항에 대한 결과를 요약한다. 숫자는 IoU [mDice] 형식의 정확도를 나타낸다.
본 발명인 Scribble2Label은 희소 스크리블에서 풍부한 스크리블에 이르기까지 시맨틱 메트릭과 인스턴스 메트릭 모두에서 안정적인 결과를 생성하였다.
본 발명은 다양한 스크리블 양에 대해 매우 강력한 결과를 보여주었다. 본 발명은 30 %의 스켈레톤 픽셀로만 전체 분할 마스크를 사용하는 것과 비슷한 성능을 보였다.
본 발명은 의사 레이블링과 레이블 필터링을 일관성과 결합한 간단하지만 효과적인 자유곡선 지도 학습 방법을 제안한다. 기존 방법과 달리 본 발명은 추가 세분화 프로세스나 추가 모델 매개 변수 없이 다양한 데이터 세트와 다양한 수준의 스크리블 세부 사항에서 매우 정확한 분할화 성능을 보여준다. 따라서, 본 발명은 이미지 분할의 주요 병목 현상인 시간과 노동 집약적인 수동 레이블 생성을 효과적으로 완화할 수 있다.
도 6은 본 발명에 따른 멀티 스케일 기반 대조 목적 정규화에 따른 손실함수가 개선되는 예를 보여주는 도면이다.
도 6을 참조하면 입력값, 실측 자료 및 다양한 실험 설정을 통한 제안 방법의 정성적 결과를 보여준다.
DSB-BF의 경우 S2L은 비핵 영역을 핵과 비슷한 강도를 갖는 핵(도 6의 첫 번째 행의 화살표 참조)으로 잘못 예측했다. 본 실험에서 스크리블이 셀 내부에 그려지기 때문에 과대적합 때문이라고 예측하였다. 따라서 모양보다는 강도가 결정에 대한 지배적인 요소라고 볼 수 있다. 그러나 대조 목적 정규화 결과는 세포 영역을 올바르게 구별했는데, 이는 서로 다른 스케일에서 특징 유사성에 의해 서로 다른 모양이 분리될 수 있기 때문이다.
DSB-Fluo의 경우 본 발명은 S2L이 감지하지 못한 세포 영역을 감지하였다. 두 스케일(멀티 스케일) 기반 대조 목적 정규화(즉, R1Х1 및 R4Х4 결합)은 다른 접근 방식이 예측하지 못한 세포 모양과 경계 영역을 감지했다.
MoNuSeg의 경우, S2L은 인접 세포를 분리하지 못했는데, 본 발명에 따른 대조 목적 정규화를 사용하여 개선되었다.
결과적으로, 본 실험에서 본 발명은 세포 분할을 위한 스크리블 기반 약지도 학습의 멀티 스케일 기능을 갖춘 지도 대조 학습을 도입했다. 본 발명은 서로 다른 스케일의 두 개의 대조 목적 정규화 방법이 DSB-BF 및 DSB-FLUO 데이터 세트의 S2L에 비해 우수한 성능을 달성할 수 있으며, 단일 스케일 대조 목적 정규화 방법은 MonuseG 데이터 세트의 결과를 향상시킬 수 있음을 보여주었다. 본 발명은 제안된 대조 목적 정규화가 스크리블 기반의 약지도 학습의 과적 문제를 해소하는데 효과적이라고 결론 내릴 수 있다.
도 7은 본 발명에 따른 자유곡선 레이블 및 멀티 스케일 대조 목적 손실함수 기반 세포 영상 분할 방법의 흐름도이다.
본 실시예에 따른 자유곡선 레이블 및 멀티 스케일 대조 목적 손실함수 기반 세포 영상 분할 방법은, 도 1의 세포 영상 분할 장치(10)와 실질적으로 동일한 구성에서 도 2 및 도 3의 개요와 동일한 과정으로 진행될 수 있다.
따라서, 도 1의 세포 영상 분할 장치(10)와 동일한 구성요소는 동일한 도면부호를 부여하고, 반복되는 설명은 생략한다. 또한, 본 실시예에 따른 자유곡선 레이블 및 멀티 스케일 대조 목적 손실함수 기반 세포 영상 분할 방법은 자유곡선 레이블 및 멀티 스케일 대조 목적 손실함수 기반 세포 영상 분할 방법을 수행하기 위한 소프트웨어(애플리케이션)에 의해 실행될 수 있다.
본 발명은 전체 분할 레이블 없이 소수의 스크리블 주석(scribble annotations)만 활용하는 세포 분할 프레임워크를 제안한다. 이를 위해, 의사 레이블링과 레이블 필터링을 결합하여 약지도 학습(weak supervision)으로부터 신뢰할 수 있는 레이블을 생성하고, 의사 레이블(pseudo labels)을 개선하기 위해 예측을 반복적으로 평균하여 예측의 일관성을 획득한다.
본 발명은 기존의 자유곡선 지도 학습 방법에서와 같이 스크리블 주석을 사용하지만 몇 가지 스크리블 주석에서 전체 학습 레이블을 점진적으로 생성하기 위해 의사 레이블링과 레이블 필터링의 조합을 제안한다. 이를 통해, 의사 레이블의 노이즈를 효과적으로 제거하고 예측 정확도를 향상시킬 수 있다.
또한, 본 발명은 학습 레이블을 생성하는 수동 작업을 크게 줄여주는 작은 양의 수동 스크리블 세트만 사용하여 약지도를 통해 자동으로 학습 레이블을 생성하는 새로운 반복적 분할화 네트워크 학습 프로세스를 제안한다. 또한, 본 발명은 의사 레이블링과 레이블링 필터링을 결합하여 일관성을 활용한다. 이를 통해, 신뢰할 수 있는 학습 레이블을 생성함으로써 매우 정확하고 강력한 성능을 제공할 수 있다.
도 7을 참조하면, 본 실시예에 따른 자유곡선 레이블 및 멀티 스케일 대조 목적 손실함수 기반 세포 영상 분할 방법은, 세포 영상과 세포 영역 및 배경 영역을 표시하는 자유곡선 레이블을 입력받고(단계 S10) 자유곡선 레이블을 학습 데이터로 하여, 영상 분할 네트워크(U-Net)를 통해 반복적으로 예비 학습한다(단계 S20).
상기 세포 영역과 배경 영역을 표시하는 자유곡선 레이블이 표시된 픽셀은 사용자에 의해 입력될 수 있으며, 상기 세포 영상의 10% 이하의 픽셀을 포함할 수 있다.
상기 예비 학습 과정에서 일정 주기마다 영상 분할 예측확률의 지수 이동 평균(EMA)을 계산한다(단계 S30).
레이블이 지정되지 않은 픽셀에 대해서 영상 분할 예측확률의 지수 이동 평균을 사용하여 레이블을 자동으로 생성하며, 상기 스크리블 된 손실(Lsp)과 상기 스크리블 되지 않은 손실(Lup)의 예측 앙상블 프로세스의 간격인 γ 에포크 마다 평균화된다.
워밍업 단계의 처음에는 입력 학습 데이터에 대해 사용자가 작성한 작은 스크리블 세트만 있다. 처음 몇 번의 반복(워밍업 단계) 동안 주어진 스크리블만 사용하여 모델을 학습하고 다음 단계에서 사용할 수 있는 예측의 평균을 생성한다.
여기에서 주어진 스크리블은 해당 마스크 주석의 서브세트이다. 스크리블 되지 않은 픽셀을 무시함으로써, 본 발명에서 제안된 네트워크는 수학식 9와 같이 교차 엔트로피 손실로 학습된다. 또한, 학습 과정에서 예측의 지수 이동 평균(EMA)을 수학식 2와 같이 주기적으로 계산한다.
상기 예비 학습하는 단계는, 레이블이 있는 픽셀에 대해서만 표준 교차 엔트로피 손실을 적용하여 스크리블 된 손실(Lsp)을 예측하고, 미리 설정된 에포크에 도달할 때까지 반복적으로 학습한다.
상기 영상 분할 예측확률의 지수 이동 평균(EMA)에서 미리 설정된 임계값을 넘는 세포 영역 및 배경 영역에 의사 레이블(Pseudo Label)을 지정하여 자체 학습한다(단계 S40).
상기 학습 결과를 통해 획득되는 스크리블 된 손실(Lsp)과 스크리블 되지 않은 손실(Lup)을 기초로 상기 영상 분할 예측확률을 반복적으로 개선한다(단계 S50). 상기 스크리블 되지 않은 손실(Lup)에 상대 가중치를 적용할 수 있다.
단계 S40은 다른 표현으로 의사 레이블링과 레이블링 필터링을 통해 의사 레이블의 노이즈를 제거하는 필터링 과정으로 제기 스크리블 되지 않은 손실(Lup)을 주기적으로 예측할 수 있다.
예측의 평균은 워밍업 단계 후에 얻을 수 있다. 이는 스크리블 되지 않은 픽셀의 신뢰할 수 있는 의사 레이블을 생성하는데 사용할 수 있다. 의사 레이블을 필터링하기 위해 평균이 사용된다.
일관되게 동일한 결과를 갖는 픽셀은 원-핫 인코딩되고, 표준 교차 엔트로피를 사용하는 스크리블 되지 않은 픽셀의 레이블로 사용된다. 신뢰할 수 있는 픽셀만 사용하고 이러한 원-핫 인코딩을 점진적으로 만들면 커리큘럼 학습 및 엔트로피 최소화를 통해 이점을 제공한다.
필터링된 의사 레이블을 사용하여 표시되지 않은 픽셀 손실은 수학식 7과 같이 정의된다. 그런 다음, 총 손실은 스크리블 된 손실 Lsp과 상대 가중치를 가진 스크리블 되지 않은 손실 Lup의 조합으로 수학식 8과 같이 정의된다.
이를 통해, 일부 자유곡선 레이블로부터 전체 레이블을 만들어내면서 학습이 가능하다.
도 8은 본 발명에 따른 멀티 스케일 기반 대조 목적 손실함수를 이용한 예비 학습 방법의 흐름도이다.
도 8에 도시된 따른 멀티 스케일 기반 대조 목적 손실함수를 이용한 예비 학습 방법의 각 단계들(S21 내지 S23)은 도 7에 도시된 단계 S10과 병렬적으로 수행될 수 있다. 도 8의 모든 단계가 종료되면 도 7의 단계 S20이 이어서 수행될 수 있다.
본 실시예에 따른 자유곡선 레이블 및 멀티 스케일 대조 목적 손실함수 기반 세포 영상 분할 방법은, 도 1의 세포 영상 분할 장치(10)와 실질적으로 동일한 구성에서 도 2 및 도 3의 개요와 동일한 과정으로 진행될 수 있다.
따라서, 도 1의 세포 영상 분할 장치(10)와 동일한 구성요소는 동일한 도면부호를 부여하고, 반복되는 설명은 생략한다. 또한, 본 실시예에 따른 자유곡선 레이블 및 멀티 스케일 대조 목적 손실함수 기반 세포 영상 분할 방법은 자유곡선 레이블 및 멀티 스케일 대조 목적 손실함수 기반 세포 영상 분할을 수행하기 위한 소프트웨어(애플리케이션)에 의해 실행될 수 있다.
도 8을 참조하면, 본 발명의 일 실시예에 따른 멀티 스케일 기반 대조 목적 손실함수를 이용한 예비 학습 방법은, 영상 분할 네트워크의 디코더 레이어에서 멀티 스케일 방식으로 학습 데이터로부터 하나 이상의 특징 벡터를 추출하는 단계(S21), 추출된 특징 벡터에 대한 대조 목적 정규화를 수행하는 단계(S22) 및 대조 목적 정규화 결과를 예비 학습하는 단계(S23)를 포함할 수 있다.
영상 분할 네트워크의 디코더 레이어에서 멀티 스케일 방식으로 학습 데이터로부터 하나 이상의 특징 벡터를 추출하는 단계(S21)는 하나 이상의 디코더 레이어 각각에 대응하는 해상도를 갖는 특징 벡터를 추출하는 단계를 포함할 수 있다.
추출된 특징 벡터에 대한 대조 목적 정규화를 수행하는 단계(S22)는, 특징 벡터에 기초하여 픽셀 단위의 가상 레이블을 할당하는 단계, 가상 레이블 상의 특징 벡터 간 레이블 속성이 동일한지 여부를 결정하는 단계 및 레이블 속성의 동일 여부에 기초하여 특징 벡터의 거리를 조절하는 단계를 포함할 수 있다.
여기서, 레이블 속성은 전경 레이블 또는 배경 레이블 중 어느 하나를 포함할 수 있다.
또한, 추출된 특징 벡터에 대한 대조 목적 정규화를 수행하는 단계(S22)는, 가상 레이블의 피쳐 스페이스 상에서, 레이블 속성이 동일한 특징 벡터 간의 거리를 인접하도록 조절하고, 레이블 속성이 상이한 특징 벡터 간 거리를 멀어지도록 조절하는 대조 목적 정규화 단계를 포함할 수 있다. 특징 벡터 간 거리는 대조 목적 손실함수 Ltotal에 기초하여 조절될 수 있다.
대조 목적 정규화 결과를 예비 학습하는 단계(S23)는, 대조 목적 정규화 단계의 결과인 특징 벡터 간 거리가 조절된 가상 레이블을 예비 학습하는 단계를 포함할 수 있다.
이하에서는 본 발명의 성능을 검증하기 위해 수행한 실험 결과에 대해 설명한다.
먼저, 세 가지 다른 세포 이미지 데이터 세트를 사용하여 본 발명의 성능을 입증하였다. 첫 번째 세트인 MoNuSeg [Kumar, N., Verma, R., Sharma, S., Bhargava, S., Vahadane, A., Sethi, A.: A dataset and a technique for generalized nuclear segmentation for computational pathology. IEEE transactions on medical imaging 36(7), 1550-1560 (2017)]는 다양한 핵 모양을 다루는 여러 사이트에서 얻은 30 개의 1000 × 1000 조직 병리학 이미지로 구성된다.
MoNuSeg 데이터 세트에 대해 10 배 교차 검증을 수행하였다. Data Science Bowl 2018로 알려진 두 번째 데이터 세트인 BBBC038v1 [Caicedo, J.C., Goodman, A., Karhohs, K.W., Cimini, B.A., Ackerman, J., Haghighi, M., Heng, C., Becker, T., Doan, M., McQuin, C., et al.: Nucleus segmentation across imaging experiments: the 2018 Data Science Bowl. Nature methods 16(12), 1247-1253 (2019)]는 핵 2D 이미지 세트이다.
실험을 위해, 완전히 주석이 달린 1 단계 학습 데이터 세트를 사용했으며, 다양한 크기의 542 개의 형광(DSB-Fluo) 이미지, 108 개의 320x256 조직 병리학 이미지(DSB-Histo), 16 개의 밝은 필드 1000 Х 1000 (DSB-BF) 이미지를 포함하여 세 가지 주요 유형으로 더 구분하였다.
각 데이터 세트는 각각 60 %, 20 %, 20 % 비율로 학습, 검증 및 테스트 세트로 나뉜다. EM은 애벌레 제브라 피쉬의 내부적으로 수집된 직렬 섹션 전자 현미경 이미지 데이터 세트이다. 실험에서는 512 × 512 × 512 또는 512 × 512 × 256 크기의 세 개의 하위 볼륨을 사용하였다. 테스트 볼륨의 크기는 512 × 512 × 512이다.
MoNuSeg 및 DSB의 스크리블은 전체 분할 레이블을 참조하여 수동으로 그려졌다. 스크리블의 편의를 위해 1 분 내에 최대 256 × 256, 2 분 내에 512 × 512, 4 분 내에 1024 × 1024 이미지에 주석을 달았다. EM 데이터 세트의 경우, [Wu, W., Qi, H., Rong, Z., Liu, L., Su, H.: Scribble-Supervised Segmentation of Aerial Building Footprints Using Adversarial Learning. IEEE Access 6, 58898-58911 (2018)]의 스크리블 생성 알고리즘에 의해 10 % 비율로 스크리블 주석이 생성되었다.
이하에서는 멀티 스케일 기반 대조 목적 정규화의 성능을 검증하기 위해 수행한 실험 결과에 대해 설명한다.
본 발명에 따른 실험예에서, 세 가지 다른 세포 이미지 데이터 세트를 사용했다. 처음 두 세트의 핵 2D 이미지는 Data Science Bowl(DSB) 2018 데이터로 알려진 BBC038v1 에서 획득한 이미지이다[J. Caicedo, A. Goodman, K. Karhohs, B. Cimini, J. Ackerman, M. Haghighi, C. Heng, T. Becker, M. Doan, C. McQuin, M. Rohban, S. Singh, and A. Carpenter, “Nucleus segmentation across imaging experiments: the 2018 data science bowl," Nature Methods, vol. 16, pp. 1247-1253, Dec 2019.]. DSB 데이터 세트에서 본 발명은 다양한 크기의 16개의 명 시야(DSB-BF) 1000 1000 이미지와 542개의 형광(DSB-Fluo) 이미지인 완전히 주석이 달린 마스크가 있는 1단계 훈련 데이터 세트를 사용하여 4중 교차 검증을 수행했다.
이 두 데이터 세트에 대해 각 데이터 세트를 훈련 세트 60%, 검증 세트 20%, 테스트 세트 20%로 나눌 수 있다. 세 번째 데이터 세트는 MoNuSeg[N. Kumar, R. Verma, S. Sharma, S. Bhargava, A. Vahadane, and A. Sethi, "A dataset and a technique for generalized nuclear segmentation for computational pathology," IEEE Trans. Med. Imag., vol. 36, pp. 1550- 1560, March 2017.] 로 30개의 훈련 세트와 14개의 테스트 세트 1000 1000 조직병리학 이미지로 구성된다. 테스트 세트 이미지에 대해 5중 교차 검증을 수행하고 예측(추론)했다. 스크리블을 수동으로 그리기 위해 주석이 달린 마스크를 참조했다.
Label Method DSB-BF DSB-Fluo MoNuSeg
Scribble S2L 0.6980 / 0.8108 0.8235 / 0.8419 0.7098 / 0.6586
S2L+R1Х1 0.7068 / 0.8153 0.8267 / 0.8565 0.7165 / 0.6715
S2L+R4Х4 0.7078 / 0.8292 0.8234 / 0.8505 0.7205 / 0.6603
S2L+R1Х1+R4Х4 0.7199 / 0.8368 0.8268 / 0.8570 0.7128 / 0.6639
Full Supervised 0.7305 / 0.8665 0.8204 / 0.8790 0.7646 / 0.6867
표 3은 mDice / IoU 형식의 정확도를 나타내는 정량적 실험 결과로, 첫 번째 및 두 번째 최상의 결과는 각각 밑줄과 볼드로 강조 표시하였다.
본 실험에서 기준 네트워크는 실험을 위해 RESNET-34 백본을 사용하여 5 개의 디코더 레이어 블록이있는 U-NET을 사용하였다.
본 실험에서 α= 0 : 5, λ1 = 0 : 5 및 λ2 = 10의 상수 값을 사용했다. 또한, 멀티 스케일 기반 대조 목적 정규화의 검증을 위해, 본 발명은 디코더의 세 번째와 마지막 레이어(즉, γ1 및 γ2)를 선택했다.
이하에서, 는 R1Х1로, 는 R4Х4로 표기하도록 한다. 또한, 손실은 대조 손실에서 더 큰 온도 매개변수 에 대한 유사한 잠재 벡터에 더 크게 작용하기 때문에 온도 1 = 0:3 및 2 = 0:1로 설정했다. 또한, 잠재 벡터 레이블의 할당을 위해 v1 = 0 및 v2 = 1로 설정하여 보다 신뢰할 수 있는 의사 레이블을 사용한다.
대조 손실 계산의 코스트를 줄이기 위해 픽셀 샘플링에서 클래스당 최대 픽셀 수를 6000으로 설정하여 클래스당 각 스케일에서 무작위로 샘플링했다. 기존 S2L에서 수학식 10에 사용한 것과 동일한 하이퍼 매개변수를 사용했다.
성능 평가를 위해 결과를 S2L의 결과와 비교하였다. 또한, 본 실험에서는 단일 해상도에 대한 각 정규화의 세분화 성능을 설명하기위한 절제 연구를 수행했다. 또한, 단일 해상도에 대한 각 대조 목적 정규화의 세분화 성능을 설명하기 위해 절제 연구를 수행했다.
정량적 비교를 위해 IoU(intersection of union)를 사용하여 전체(의미적) 분할 정확도를 평가하고 Dice 계수(mDice)의 평균을 평가하여 인스턴스별 분할 정확도를 측정했다(표 3 참조).
DSB-BF 및 DSB-Fluo 사례에서 멀티 스케일 기반 대조 목적 정규화가 S2L 및 단일 스케일 대조 목적 정규화를 능가했다.
DSB-BF의 경우 R4Х4를 이용한 단일 스케일 대조 목적 정규화가 두 번째로 높은 성능을 보였다. R4Х4는 더 큰 시야각을 가지기 때문에 비슷한 강도를 갖지만 구조적으로 다른 영역을 분리하는 이점이 있다.
DSB-FLUO에서, R1Х1은 R4Х4를 능가하고 R1Х1 및 R4Х4의 조합과 유사한 성능을 보여 주었다. R1Х1은 최고 해상도에서 픽셀을 비교하여 미묘한 강도 차이를 구별하는 데 더 효과적이다.
Monuseg 데이터의 경우 R4Х4가 가장 잘 수행되었다.
본 발명의 자유곡선 레이블 및 멀티 스케일 대조 목적 손실함수 기반 세포 영상 분할 방법에 따르면, 자유곡선 레이블만을 이용하여 신뢰성 높은 세포 영상을 분할하고, 대조 목적 손실함수를 이용하여 신뢰성 높은 세포 영상을 분할하는 기술을 제안함으로써 데이터셋 구축 시간 및 비용을 획기적으로 줄일 수 있다. 또한, 본 발명에서는 추가적인 영상 처리 방법을 사용하지 않아 계산 비용 역시 줄일 수 있다.
이와 같은, 자유곡선 레이블 및 멀티 스케일 대조 목적 손실함수 기반 세포 영상 분할 방법은 애플리케이션으로 구현되거나 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.
상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거니와 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.
프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서는 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
본 발명은 간단한 자유곡선 레이블을 통한 현미경 영상의 세포 분할 및 분석 소프트웨어에 대한 기술로서, 세포의 특성을 보고 예후를 분석하는 바이오, 의료분야 병원 및 연구실에서 유용하게 활용 가능하다. 특히, 데이터셋 구축에 큰 비용이 발생하지 않기 때문에 소규모 병원 및 연구실에서도 활발하게 활용될 수 있을 것으로 예상된다.
10: 자유곡선 레이블 및 멀티 스케일 대조 목적 손실함수를 이용한 세포 영상 분할 장치
110: 워밍업부
130: 확률 예측부
150: 자체 학습부
170: 개선부

Claims (13)

  1. 세포 영상과 세포 영역 및 배경 영역을 표시하는 자유곡선 레이블을 학습 데이터로 하여 영상 분할 네트워크(U-Net)를 통해 반복적으로 예비 학습하는 단계;
    상기 예비 학습 과정에서 일정 주기마다 영상 분할 예측확률의 지수 이동 평균(EMA)을 계산하는 단계;
    상기 영상 분할 예측확률의 지수 이동 평균(EMA)에서 미리 설정된 임계값을 넘는 세포 영역 및 배경 영역에 의사 레이블(Pseudo Label)을 지정하여 자체 학습하는 단계; 및
    상기 학습 결과를 통해 획득되는 스크리블 된 손실(Lsp)과 스크리블 되지 않은 손실(Lup)을 기초로 상기 영상 분할 예측확률을 반복적으로 개선하는 단계;를 포함하고,
    상기 예비 학습하는 단계는
    상기 영상 분할 네트워크의 디코더 레이어에서 멀티 스케일 방식으로 상기 학습 데이터로부터 하나 이상의 특징 벡터를 추출하는 단계;
    추출된 상기 특징 벡터에 대한 대조 목적 정규화를 수행하는 단계; 및
    대조 목적 정규화 결과를 예비 학습하는 단계;를 포함하고,
    상기 특징 벡터를 추출하는 단계는
    하나 이상의 상기 디코더 레이어 각각에 대응하는 해상도를 갖는 상기 특징 벡터를 추출하는 단계;를 포함하며,
    상기 대조 목적 정규화를 수행하는 단계는
    상기 특징 벡터에 기초하여 픽셀 단위의 가상 레이블을 할당하는 단계;
    상기 가상 레이블 상의 상기 특징 벡터 간 레이블 속성이 동일한지 여부를 결정하는 단계; 및
    상기 레이블 속성의 동일 여부에 기초하여 상기 특징 벡터의 거리를 조절하는 단계;를 포함하고,
    상기 레이블 속성이 동일한지 여부를 결정하는 단계에서는,
    상기 의사 레이블의 요소별 확률을 조정하기 위해 로지스틱 함수를 사용하는, 자유곡선 레이블 및 멀티 스케일 대조 목적 손실함수 기반 세포 영상 분할 방법.
  2. 삭제
  3. 삭제
  4. 제 1 항에 있어서,
    상기 레이블 속성은 전경 레이블(Foreground Label) 또는 배경 레이블(Background Label) 중 어느 하나를 포함하는, 자유곡선 레이블 및 멀티 스케일 대조 목적 손실함수 기반 세포 영상 분할 방법.
  5. 제 4 항에 있어서,
    상기 특징 벡터의 거리를 조절하는 단계는
    상기 가상 레이블의 피쳐 스페이스 상에서,
    상기 레이블 속성이 동일한 상기 특징 벡터 간의 거리를 인접하도록 조절하고,
    상기 레이블 속성이 상이한 상기 특징 벡터 간 거리를 멀어지도록 조절하는 상기 대조 목적 정규화 단계;를 포함하되,
    상기 특징 벡터 간 거리는 대조 목적 손실함수에 기초하여 조절되는, 자유곡선 레이블 및 멀티 스케일 대조 목적 손실함수 기반 세포 영상 분할 방법.
  6. 제 5 항에 있어서,
    상기 대조 목적 정규화 결과를 예비 학습하는 단계는
    상기 대조 목적 정규화 단계의 결과인 상기 특징 벡터 간 거리가 조절된 상기 가상 레이블을 예비 학습하는 단계;를 포함하는, 자유곡선 레이블 및 멀티 스케일 대조 목적 손실함수 기반 세포 영상 분할 방법.
  7. 세포 영상과 세포 영역 및 배경 영역을 표시하는 자유곡선 레이블을 학습 데이터로 하여 영상 분할 네트워크(U-Net)를 통해 반복적으로 예비 학습하는 워밍업부;
    상기 예비 학습 과정에서 일정 주기마다 영상 분할 예측확률의 지수 이동 평균(EMA)을 계산하는 확률 예측부;
    상기 영상 분할 예측확률의 지수 이동 평균(EMA)에서 미리 설정된 임계값을 넘는 세포 영역 및 배경 영역에 의사 레이블(Pseudo Label)을 지정하여 자체 학습하는 자체 학습부; 및
    상기 학습 결과를 통해 획득되는 스크리블 된 손실(Lsp)과 스크리블 되지 않은 손실(Lup)을 기초로 상기 영상 분할 예측확률을 반복적으로 개선하는 개선부;를 포함하고,
    상기 워밍업부는
    상기 영상 분할 네트워크의 디코더 레이어에서 멀티 스케일 방식으로 상기 학습 데이터로부터 하나 이상의 특징 벡터를 추출하고,
    추출된 상기 특징 벡터에 대한 대조 목적 정규화를 수행하고,
    대조 목적 정규화 결과를 예비 학습하고,
    상기 워밍업부는
    하나 이상의 상기 디코더 레이어 각각에 대응하는 해상도를 갖는 상기 특징 벡터를 추출하며,
    상기 워밍업부는
    상기 특징 벡터에 기초하여 픽셀 단위의 가상 레이블을 할당하고,
    상기 가상 레이블 상의 상기 특징 벡터 간 레이블 속성이 동일한지 여부를 결정하고,
    상기 레이블 속성의 동일 여부에 기초하여 상기 특징 벡터의 거리를 조절하며,
    상기 의사 레이블의 요소별 확률을 조정하기 위해 로지스틱 함수를 사용하는, 자유곡선 레이블 및 멀티 스케일 대조 목적 손실함수 기반 세포 영상 분할 장치.
  8. 삭제
  9. 삭제
  10. 제 7 항에 있어서,
    상기 레이블 속성은 전경 레이블(Foreground Label) 또는 배경 레이블(Background Label) 중 어느 하나를 포함하는, 자유곡선 레이블 및 멀티 스케일 대조 목적 손실함수 기반 세포 영상 분할 장치.
  11. 제 10 항에 있어서,
    상기 워밍업부는
    상기 가상 레이블의 피쳐 스페이스 상에서,
    상기 레이블 속성이 동일한 상기 특징 벡터 간의 거리를 인접하도록 조절하고,
    상기 레이블 속성이 상이한 상기 특징 벡터 간 거리를 멀어지도록 조절하는 상기 대조 목적 정규화를 수행하되,
    상기 특징 벡터 간 거리는 대조 목적 손실함수에 기초하여 조절하는, 자유곡선 레이블 및 멀티 스케일 대조 목적 손실함수 기반 세포 영상 분할 장치.
  12. 제 11 항에 있어서,
    상기 워밍업부는
    상기 대조 목적 정규화 단계의 결과인 상기 특징 벡터 간 거리가 조절된 상기 가상 레이블을 예비 학습하는, 자유곡선 레이블 및 멀티 스케일 대조 목적 손실함수 기반 세포 영상 분할 장치.
  13. 제1항에 따른 상기 자유곡선 레이블 및 멀티 스케일 대조 목적 손실함수 기반 세포 영상 분할 방법을 수행하기 위한 컴퓨터 프로그램이 기록된 컴퓨터로 판독 가능한 저장 매체.
KR1020230033557A 2022-12-14 2023-03-14 자유곡선 레이블 및 멀티 스케일 대조 목적 손실함수 기반 세포 영상 분할 방법, 장치 및 기록 매체 KR102557748B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020220174326 2022-12-14
KR20220174326 2022-12-14

Publications (1)

Publication Number Publication Date
KR102557748B1 true KR102557748B1 (ko) 2023-07-20

Family

ID=87426128

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020230033557A KR102557748B1 (ko) 2022-12-14 2023-03-14 자유곡선 레이블 및 멀티 스케일 대조 목적 손실함수 기반 세포 영상 분할 방법, 장치 및 기록 매체

Country Status (1)

Country Link
KR (1) KR102557748B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100116404A (ko) 2009-04-22 2010-11-01 계명대학교 산학협력단 영상정보로부터 독립세포와 군집세포를 분류하는 방법 및 장치
KR102084683B1 (ko) 2019-01-07 2020-03-04 기초과학연구원 인공신경망을 이용한 세포 영상 분석 방법 및 세포 영상 처리 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100116404A (ko) 2009-04-22 2010-11-01 계명대학교 산학협력단 영상정보로부터 독립세포와 군집세포를 분류하는 방법 및 장치
KR102084683B1 (ko) 2019-01-07 2020-03-04 기초과학연구원 인공신경망을 이용한 세포 영상 분석 방법 및 세포 영상 처리 장치

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
2 Hyun-Jic Oh, Kanggeun Lee, Won-Ki Jeong, SCRIBBLE-SUPERVISED CELL SEGMENTATION USING MULTISCALE CONTRASTIVE REGULARIZATION, 30 March 2022
Duwei Dai, "Ms RED: A novel multi-scale residual encoding and decoding network for skin lesion segmentation", Medical image analysis 75 (2022.01.)* *
Hyeonsoo Lee, "Scribble2Label: Scribble-Supervised Cell Segmentation via Self-generating Pseudo-Labels with Consistency", MICCAI 2020: 23rd International Conference (2020.09.29.)* *
Hyeonsoo Lee, Won-Ki Jeong, Scribble2Label: Scribble-Supervised Cell Segmentation via Self-Generating Pseudo-Labels with Consistency, arXiv:2006.12890, 23 Jun 2020
Lingbo Huang, "Supervised Contrastive Learning-Based Classification for Hyperspectral Image", Remote Sensing 14.21 (2022.11.02.)* *
Tang, M., Perazzi, F., Djelouah, A., Ben Ayed, I., Schroers, C., Boykov, Y.: On egularized losses for weakly-supervised cnn segmentation. In: Proceedings of the European Conference on Computer Vision (ECCV). pp. 507-522 (2018)

Similar Documents

Publication Publication Date Title
US10896351B2 (en) Active machine learning for training an event classification
CN110245721B (zh) 神经网络模型的训练方法、装置和电子设备
US10846566B2 (en) Method and system for multi-scale cell image segmentation using multiple parallel convolutional neural networks
Cheng et al. Depth estimation via affinity learned with convolutional spatial propagation network
US7724256B2 (en) Fast graph cuts: a weak shape assumption provides a fast exact method for graph cuts segmentation
CN107633226B (zh) 一种人体动作跟踪特征处理方法
CN107506761A (zh) 基于显著性学习卷积神经网络的脑部图像分割方法及系统
CN112016682B (zh) 视频表征学习、预训练方法及装置、电子设备、存储介质
CN107633522A (zh) 基于局部相似性活动轮廓模型的脑部图像分割方法和系统
CN105513070A (zh) 一种基于前景背景优化的rgb-d显著物体检测方法
US11538261B2 (en) Systems and methods for automated cell segmentation and labeling in immunofluorescence microscopy
CN112990222B (zh) 一种基于图像边界知识迁移的引导语义分割方法
Ye et al. Fast computation of content-sensitive superpixels and supervoxels using Q-distances
Ji Gradient-based interpretation on convolutional neural network for classification of pathological images
Parag et al. Anisotropic EM segmentation by 3D affinity learning and agglomeration
KR102533080B1 (ko) 선 레이블을 이용한 세포 영상 분할 방법, 이를 수행하기 위한 기록 매체 및 장치
Jia et al. Fast and robust image segmentation using an superpixel based FCM algorithm
KR102557748B1 (ko) 자유곡선 레이블 및 멀티 스케일 대조 목적 손실함수 기반 세포 영상 분할 방법, 장치 및 기록 매체
Liu et al. Solar Filament Segmentation Based on Improved U-Nets
Jung et al. The network nullspace property for compressed sensing over networks
CN113889233A (zh) 基于流形回归网络的细胞定位与计数方法及应用
Kline et al. Semi-supervised segmentation of renal pathology: an alternative to manual segmentation and input to deep learning training
KC Khatri et al. Automatic extraction of cell nuclei using dilated convolutional network
Liu et al. Weakly-supervised salient object detection with label decoupling siamese network
CN117392693B (zh) 病理图像去笔迹的方法及设备

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant