KR20220132544A - 약한 감독 병변 분할 - Google Patents

약한 감독 병변 분할 Download PDF

Info

Publication number
KR20220132544A
KR20220132544A KR1020227026102A KR20227026102A KR20220132544A KR 20220132544 A KR20220132544 A KR 20220132544A KR 1020227026102 A KR1020227026102 A KR 1020227026102A KR 20227026102 A KR20227026102 A KR 20227026102A KR 20220132544 A KR20220132544 A KR 20220132544A
Authority
KR
South Korea
Prior art keywords
anomaly
image
network
biological
generator network
Prior art date
Application number
KR1020227026102A
Other languages
English (en)
Inventor
유리 아나톨리에비치 페트로프
리차드 알렌 듀레이 카라노
Original Assignee
제넨테크, 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 제넨테크, 인크. filed Critical 제넨테크, 인크.
Publication of KR20220132544A publication Critical patent/KR20220132544A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/031—Recognition of patterns in medical or anatomical images of internal organs

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Quality & Reliability (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

생성적 대립 망(GAN)이 훈련될 수 있으며, GAN은 의료 이미지를 수정하여 생물학적 이상의 묘사를 제거하도록 구성된 이상-제거 생성자 망 및 하나 이상의 판별자 망(각각의 판별자 망은 실제 이미지와 거짓 이미지를 구별하도록 구성됨)을 포함한다. 그런 다음 이상-제거 생성자 망은 특정 생물학적 이상을 묘사하는 의료 이미지(또는 이의 전처리된 버전)를 수신하고 특정 생물학적 이상의 어떠한 묘사도 없는 것으로 예측된 수정 이미지를 생성할 수 있다. 특정 생물학적 이상의 크기는 수정 이미지 및 수신된 이미지(또는 이의 전처리된 버전)에 기초하여 추정될 수 있다.

Description

약한 감독 병변 분할
관련 출원의 교차 참조
본 출원은 PCT/US2021/014611, 2020년01월24일에 출원된 미국 가특허출원 62/965,515 및 2020년01월27일에 출원된 62/966,084의 우선권의 이익을 주장한다. 이들 출원의 각각은 본 명세서에 그 전체가 모든 목적으로 참조로서 포함된다.
기술분야
일반적으로, 개시된 기법은 신경망(가령, 생성자 망)을 이용해 이상이 없는 의료 이미지의 거짓 버전을 생성하고 의료 이미지로부터 거짓 이미지를 뺌으로써 의료 이미지에 묘사된 생물학적 이상의 크기를 추정하는 것과 관련된다. 생성자 망은 생성자 망을 포함하는 생성적 대립 망(GAN)(가령, 재순환-GAN 또는 순환-GAN)을 훈련함으로써 훈련될 수 있다.
의료 이미징은 종종 생물학적 이상(가령, 병변 또는 종양)을 검출 및/또는 모니터링하는 데 사용된다. 생물학적 이상의 크기를 정량화하는 것은 종종 하나 이상의 이미지(가령, 하나 이상의 슬라이스에 대응) 상에서의 이상의 윤곽을 표시하는 주석을 수반한다. 이는 시간 집약적이며 경계 위치의 주관성으로 인해 주석들 간 편차의 결과로 인해 오류가 발생하기 쉽다.
따라서, 생물학적 이상의 크기를 검출하고 예측하기 위해 이미지를 처리하는 자동화된 기술을 식별하는 것이 바람직할 것이다.
이상-제거 생성자 망은 주어진 유형의 생물학적 이상(가령, 종양 또는 병변)을 묘사하는 실제 이미지를 처리하는 데 사용된다. 생성자 망은 하나 이상의 3차원 커널을 포함할 수 있다. 처리는 실제 이미지에 대응하지만 주어진 유형의 생물학적 이상에 대한 묘사가 없는 거짓 이미지(fake image)를 생성하는 것을 포함할 수 있다. 그런 다음 실제 및 거짓 이미지가 사용되어 생물학적 이상을 분할하여 생물학적 이상의 경계, 영역 또는 부피를 식별할 수 있다. 추가로 또는 대안으로, 실제 및 거짓 이미지가 사용되어 주어진 유형의 생물학적 이상의 크기 및/또는 위치를 추정할 수 있다. 생물학적 이상의 크기를 추정하는 것은 대응하는 실제 이미지(들)로부터 거짓 이미지(들)를 빼는 것을 포함할 수 있다. 생물학적 이상의 크기는 지정 임계값을 초과하는 강도를 갖는 픽셀 또는 복셀의 총 수에 기초하여 추정될 수 있다. 일부 예에서, 필터링 또는 그 밖의 다른 처리가 (예를 들어, 하나 이상의 임계값을 적용 및/또는 하나 이상의 공간 평활화 함수를 적용함으로써) 크기를 추정하기 전에 수행된다.
이상-제거 생성자 망(Generator network)은 더 큰 생성적 대립 망(GAN: Generative Adversarial Network)의 훈련에 응답하여 구성될 수 있다. GAN은 (특정 유형의 생물학적 이상의 어떠한 묘사도 없는 이미지를 생성하도록 구성된) 이상-제거 생성자 망에 추가로, (특정 유형의 생물학적 이상을 묘사하는 이미지를 생성하도록 구성된) 또 다른 이상-추가 생성자 망을 포함할 수 있는 순환-GAN(Cycle-GAN)을 포함할 수 있다. 순환-GAN은 다수의 판별자 망(Discriminator network)을 더 포함할 수 있다. 각각의 판별자 망은 (이상-존재 또는 이상-부재 인스턴스에 대응하는) 실제 이미지와 거짓 이미지를 모두 수신하고 각각의 이미지가 실제인지 여부를 결정하도록 구성될 수 있다. 각각의 판별자 망에 의해 생성된 결과의 정확도에 기초하여 생성된 피드백은 생성자 망 중 대응하는 생성자 망으로 피드백될 수 있다. 이상-추가 생성자 망 및/또는 이상-제거 생성자 망이 (3차원 커널의 세트를 사용하여) 3차원 이미지를 수신하고 생성하도록 순환-GAN이 구성될 수 있다. 마찬가지로 각각의 판별자 망이 3차원 이미지를 수신하도록(그리고 이미지가 실제 이미지인지 또는 거짓 이미지인지를 예측하도록) 순환-GAN이 구성될 수 있다.
GAN은 대안으로 순환-GAN의 생성자 망 및 판별자 망을 포함하고 하나 이상의 예측자 망을 더 포함하는 재순환-GAN을 포함할 수 있다. 각각의 예측자 망은, 예측자 망으로 공급되는 생성자 망에 의해 생성된 이미지에서 묘사된 관점, 이미징 방식, 위치, 줌 및/또는 슬라이스에 비교될 때, 상이한 관점, 이미징 방식, 위치, 줌, 및/또는 슬라이스에 대응하는 거짓 이미지를 생성하도록 구성 및 훈련될 수 있다. 각각의 판별자 망은 (이상-존재 또는 이상-부재 인스턴스에 대응하는) 실제 이미지와 거짓 이미지를 모두 수신하고 각각의 이미지가 실제인지 여부를 결정하도록 구성 및 훈련될 수 있다. 주어진 판별자 망에 의해 생성된 결과는 잠재적으로 파라미터 학습을 트리거하기 위해 주어진 판별자 망에 공급하는 예측자 망에 공급하는 생성자 망에 피드백될 수 있다.
제1 실시예에서, 컴퓨터로 구현되는 방법이 제공된다. 대상체에 대응하며 생물학적 이상의 일부분을 묘사하는 의료 이미지가 액세스되며, 상기 생물학적 이상은 특정 유형의 생물학적 이상이다. 의료 이미지에 기초하여 이상-제거 생성자 망을 이용해 수정 이미지가 생성된다. 특정 유형의 생물학적 이상에 대한 주석이 없는 훈련 데이터 세트를 사용하여 훈련 중에 학습된 파라미터로 이상-제거 생성자 망이 구성될 수 있다. 의료 이미지 및 수정 이미지에 기초하여 생물학적 이상의 크기가 추정된다. 생물학적 이상의 추정 크기가 출력된다.
제2 실시예에서, 방법은 제1 실시예의 방법을 포함할 수 있고, 이상-제거 생성자 망, 및 하나 이상의 판별자 망 ― 상기 하나 이상의 판별자 망의 각각은 실제 이미지와 생성자 망에 의해 생성된 이미지를 판별하도록 구성되고 훈련되며, 상기 생성자 망은 이상-제거 생성자 망 또는 이상-추가 생성자 망을 포함함 ― 을 포함하는 생성적 대립 망을 훈련함으로써 상기 이상-제거 생성자 망을 훈련하는 단계를 더 포함할 수 있다.
제3 실시예에서, 방법은 제1 실시예의 방법을 포함할 수 있으며, 이상-제거 생성자 망, 및 하나 이상의 판별자 망 ― 상기 하나 이상의 판별자 망의 각각은 실제 이미지와 생성자 망에 의해 생성되는 이미지를 판별하도록 구성되고 훈련되었으며, 상기 생성자 망은 이상-제거 생성자 망 또는 이상-추가 생성자 망을 포함함 ― 을 포함하는 생성적 대립 망을 훈련함으로써 이상-제거 생성자 망의 파라미터 세트가 정의되었다.
제4 실시예에서, 방법은 제1 실시예의 방법을 포함할 수 있으며, 이상-제거 생성자 망, 이상-추가 생성자 망, 제1 판별자 망, 및 제2 판별자 망을 포함하는 생성적 대립 망을 훈련함으로써 이상-제거 생성자 망을 훈련하는 단계를 더 포함할 수 있다. 제1 판별자 망은 특정 유형의 생물학적 이상의 생물학적 이상의 적어도 일부분을 묘사하는 것으로 라벨링된 실제 이미지와 이상-추가 생성자 망에 의해 생성된 거짓 이미지 간에 판별하도록 구성될 수 있다. 이상-추가 생성자 망은 제1 판별자 망에 의해 생성된 제1 판별 결과에 기초한 훈련 동안 피드백을 수신할 수 있다. 제2 판별자 망은 특정 유형의 생물학적 이상의 어떠한 생물학적 이상도 묘사하지 않는 것으로 라벨링된 실제 이미지와 이상-제거 생성자 망에 의해 생성된 거짓 이미지 간에 판별하도록 구성될 수 있다. 이상-제거 생성자 망은 제1 판별자 망에 의해 생성된 제1 판별 결과에 기초한 피드백을 수신할 수 있다.
제5 실시예에서, 방법은 제1 실시예의 방법을 포함할 수 있으며, 이상-제거 생성자 망, 이상-추가 생성자 망, 제1 판별자 망, 및 제2 판별자 망을 포함한 생성적 대립 망을 훈련함으로써 이상-제거 생성자 망의 세트가 정의되었다. 제1 판별자 망은 특정 유형의 생물학적 이상의 또 다른 이상의 적어도 일부분을 묘사하는 것으로 라벨링된 실제 이미지와 적어도 이상-추가 생성자 망에 의해 생성된 거짓 이미지 간에 판별하도록 구성될 수 있다. 이상-추가 생성자 망은 훈련 동안 제1 판별자 망에 의해 생성된 제1 판별 결과에 기초한 피드백을 수신했을 수 있다. 제2 판별자 망은 특정 유형의 생물학적 이상의 어떠한 생물학적 이상도 묘사하지 않는 것으로 라벨링된 실제 이미지와 이상-제거 생성자 망에 의해 생성된 거짓 이미지 간에 판별하도록 구성될 수 있다. 이상-제거 생성자 망은 훈련 동안 제1 판별자 망에서 생성된 제1 판별 결과에 기초한 피드백을 수신했을 수 있다.
제6 실시예에서, 방법은 제1 실시예의 방법을 포함할 수 있고, 이상-제거 생성자 망에 대상체의 적어도 일부분을 묘사하고 특정 유형의 생물학적 이상의 또 다른 생물학적 이상의 적어도 일부분을 묘사하는 실제 이상-존재 이미지를 입력하는 것, 적어도 이상-제거 생성자 망 및 실제 이상-존재 이미지를 이용해, 거짓 이상-부재 이미지를 생성하는 것, 생성적 대립 망(GAN)의 판별자 망을 이용해, 거짓 이상-부재 이미지가 실제 샘플의 참 이미지 또는 거짓 이미지에 대응하는지 여부를 예측하기 위한 판별을 수행하는 것, 및 판별자 망에 의해 수행된 판별에 기초하여 이상-제거 생성자 망의 하나 이상의 가중치를 조정하는 것에 의해, 생성적 대립 망(GAN)을 훈련함으로써 이상-제거 생성자 망을 훈련하는 단계를 더 포함할 수 있다. 제7 실시예에서, 방법은 제6 실시예의 방법을 포함할 수 있고 GAN의 이상-제거 생성자 망에 거짓 이상-부재 이미지를 입력하는 단계, 이상-추가 생성자 망 및 거짓 이상-부재 이미지를 이용해 순환 거짓 이상-존재 이미지를 생성하는 단계, 순환 거짓 이상-존재 이미지를 실제 이상-존재 이미지에 비교하는 단계, 순환 거짓 이상-존재 이미지의 실제 이상-존재 이미지와의 비교에 기초하여 순환 손실을 결정하는 단계를 더 포함할 수 있다.
제8 실시예에서, 방법은 제1 내지 제7 실시예 중 어느 하나의 방법을 포함할 수 있고, 의료 이미지를 전처리하여 하나 이상의 컬러 채널의 각각의 분포를 조정하는 단계 ― 상기 수정 이미지는 전처리된 의료 이미지에 기초하여 생성됨 ― 를 더 포함할 수 있다.
제9 실시예에서, 방법은 제1 내지 제8 실시예 중 어느 하나의 방법을 포함할 수 있고 특정 장기의 분할을 수행하기 위해 의료 이미지를 전처리하는 단계를 더 포함할 수 있고, 수정 이미지는 전처리된 의료 이미지에 기초하여 생성된다.
제10 실시예에서, 방법은 제1 내지 제9 실시예 중 어느 하나의 방법을 포함할 수 있고, 생물학적 이상의 크기를 추정하는 단계는 의료 이미지에서 수정 이미지를 빼는 단계를 포함한다.
제11 실시예에서, 방법은 제1 내지 제10 실시예 중 어느 하나의 방법을 포함할 수 있으며, 특정 유형의 생물학적 이상은 병변 또는 종양이다.
제12 실시예에서, 방법은 제1 내지 제11 실시예 중 어느 하나의 방법을 포함할 수 있고, 의료 이미지는 CT 이미지, x-선 이미지 또는 MRI 이미지를 포함한다.
제13 실시예에서, 방법은 제1 내지 제12 실시예 중 어느 하나의 방법을 포함할 수 있으며, 의료 이미지는 3차원 이미지를 포함한다.
제14 실시예에서, 방법은 제1 내지 제13 실시예 중 어느 하나의 방법을 포함할 수 있으며, 이상-제거 생성자 망은 콘볼루션 신경망을 포함한다.
제15 실시예에서, 방법은 제1 내지 제14 실시예 중 어느 하나의 방법을 포함할 수 있고, 훈련 데이터 세트에는 특정 유형의 생물학적 이상에 대한 어떠한 묘사된 이상의 경계, 면적 또는 부피의 어떠한 식별도 없었다.
제16 실시예에서, 방법이 제공되며, 상기 방법은 대상체에 대응하고 생물학적 이상의 일부분을 묘사하는 의료 이미지를 사용자 장치에 의해 컴퓨팅 시스템에서 사용 가능하게 하는 단계 ― 상기 생물학적 이상은 특정 유형의 생물학적 이상임 ― , 및 사용자 장치에서 컴퓨팅 시스템으로부터 생물학적 이상의 추정된 크기를 수신하는 단계 ― 상기 컴퓨팅 시스템은 의료 이미지에 기초하고 이상-제거 생성자 망을 이용해 수정 이미지를 생성하는 것 ― 상기 이상-제거 생성자 망은 특정 유형의 생물학적 이상의 주석이 없는 훈련 데이터 세트를 이용해 훈련됐음 ― , 및 상기 의료 이미지 및 상기 수정 이미지에 기초하여 생물학적 이상의 추정된 크기를 결정하는 것에 의해, 추정된 크기를 결정했음 ― 를 포함한다.
제17 실시예에서, 방법은 제16 실시예의 방법을 포함할 수 있으며 추정된 크기에 기초하여 대상체에 대한 진단 또는 치료 권장안을 선택하는 단계를 더 포함할 수 있다.
제18 실시예에서, 방법은 제17 실시예의 방법을 포함할 수 있으며 선택된 진단 또는 치료 권고를 대상체에게 전달하는 단계를 더 포함할 수 있다.
제19 실시예에서, 방법은 제16 내지 18 실시예 중 어느 하나의 방법을 포함할 수 있으며 의료 이미징 시스템을 사용하여 의료 이미지를 수집하는 단계를 더 포함할 수 있다.
제20 실시예는 대상체의 치료에서의 의료 이미지에서 묘사된 생물학적 이상의 추정된 크기의 용도를 포함하며, 추정된 크기는 컴퓨팅 장치가 동작의 세트를 수행함으로써 제공되며, 상기 동작의 세트는: 컴퓨팅 시스템에 의해, 의료 이미지에 기초하여 이상-제거 생성자 망을 이용해 수정 이미지를 생성하는 것 ― 상기 이상-제거 생성자 망은 특정 유형의 생물학적 이상의 어떠한 주석도 없는 것으로 식별된 훈련 데이터 세트를 이용해 훈련되었음 ― , 및 컴퓨팅 시스템에 의해, 상기 의료 이미지 및 수정 이미지에 기초하여 생물학적 이상의 크기를 추정하는 것을 포함한다.
제21 실시예는 하나 이상의 데이터 프로세서; 및 하나 이상의 데이터 프로세서 상에서 실행될 때 하나 이상의 데이터 프로세서로 하여금 여기에 개시된 하나 이상의 방법(예를 들어, 제1 내지 제19 실시예 중 어느 하나의 방법) 중 일부 또는 전부를 수행하게 하는 명령을 포함하는 비일시적 컴퓨터 판독형 저장 매체를 포함한다.
제22 실시예는 하나 이상의 데이터 프로세서로 하여금 본 명세서에 개시된 하나 이상의 방법(가령, 제1 내지 제19 실시예 중 어느 하나의 방법)의 일부 또는 전부를 수행하게 하도록 구성된 명령을 포함하는 비일시적 기계 판독?O 저장 매체에서 유형적으로 구현되는 컴퓨터 프로그램 프로덕트를 포함한다.
본 개시내용의 일부 실시예는 하나 이상의 데이터 프로세서를 포함하는 시스템을 포함한다. 일부 실시예에서, 시스템은 하나 이상의 데이터 프로세서 상에서 실행될 때 하나 이상의 데이터 프로세서로 하여금 여기서 개시된 하나 이상의 방법 중 일부 또는 전부 및/또는 하나 이상의 프로세서 중 일부 또는 전부를 수행하게 하는 명령을 포함하는 비일시적 컴퓨터 판독형 저장 매체를 포함한다. 본 개시내용의 일부 실시예는 하나 이상의 데이터 프로세서 상에서 실행될 때 하나 이상의 데이터 프로세서로 하여금 여기서 개시된 하나 이상의 방법 중 일부 또는 전부 및/또는 여기서 개시된 하나 이상의 프로세스의 일부 또는 전부를 수행하게 하는 명령을 포함하는 비일시적 기계 판독형 저장 매체로 유형으로 구현되는 컴퓨터-프로그램 프로덕트를 포함한다.
채용된 용어 및 표현은 한정이 아닌 설명 측면에서 사용되며, 이러한 용어 및 표현의 사용에 도시되고 기재된 특징부 또는 이의 일부분의 임의의 균등물을 배제하는 어떠한 의도도 없고, 청구된 발명의 범위 내에서 다양한 수정이 가능함이 자명하다. 따라서, 본 발명이 실시예 및 선택적 특징으로 특정하게 개시되었지만 본 명세서에 개시된 개념의 수정, 및 변형이 해당 분야의 통상의 기술자에 의해 이용될 수 있고, 이러한 수정 및 변형이 첨부된 청구항에 의해 정의된 본 발명의 범위 내에 있는 것으로 간주됨이 이해될 것이다.
본 개시내용은 첨부된 도면과 함께 설명된다:
도 1은 일부 실시예에 따른 예시적인 생물학적-이상-특성화 망을 도시한다.
도 2는 본 발명의 일부 실시예에 따른 순환-GAN(Cycle-Generative Adversarial Network)에서의 망 및 망 연결의 표현을 도시한다.
도 3은 본 발명의 일부 실시예에 따른 순환-GAN을 사용하여 거짓 이미지를 생성하고 실제 대 거짓 이미지를 구별하는 흐름을 도시한다.
도 4는 본 발명의 일부 실시예에 따른 재순환-GAN에서의 다양한 망 및 망 연결을 예시한다.
도 5는 본 발명의 일부 실시예에 따른 신경망 구성에서 다양한 거짓 이미지가 생성되고 평가될 수 있는 방법을 예시한다.
도 6a-6b는 본 발명의 일부 실시예에 따른 신경망 구성에서 다양한 유형의 손실이 어떻게 발생할 수 있는지를 도시한다.
도 7은 본 발명의 일부 실시예에 따라 실제 이미지와 거짓 이미지 간의 비교에 기초하여 생물학적 이상의 공간적 특성이 어떻게 추정될 수 있는지를 도시한다.
도 8은 생물학적 이상의 크기를 추정하기 위한 예시적인 프로세스의 흐름도를 도시한다.
도 9는 병변을 검출하기 위해 순환-GAN을 사용하여 사용 및 생성된 이미지의 예를 도시한다.
도 10은 순환-GAN 알고리즘을 사용하거나 4명의 인간 판독자에 의해 수행되는 예시적인 병변 검출을 도시한다.
도 11은 방사선전문의의 병변 검출과 비교하여 병변을 검출하는 훈련된 재순환 GAN의 예시적인 결과를 예시한다.
첨부된 도면에서, 유사한 구성요소 및/또는 특징은 동일한 참조 라벨을 가질 수 있다. 또한, 동일한 유형의 다양한 구성요소가 참조 라벨 뒤에 대시와 유사한 구성 요소를 구별하는 두 번째 라벨을 사용하여 구별할 수 있다. 명세서에서 첫 번째 참조 라벨만 사용되는 경우, 설명은 두 번째 참조 라벨과 상관없이 동일한 첫 번째 참조 라벨을 갖는 유사한 구성 요소 중 하나에 적용 가능하다.
I. 개요
본 명세서에 개시된 시스템, 방법 및 소프트웨어는 생물학적 이상, 가령, 종양의 크기를 추정하는 것을 용이하게 한다. 더 구체적으로, 이상-제거 생성자 신경망이 특정 콘텍스트(가령, 특정 대상체에 대한 특정 슬라이스 레벨 및/또는 특정 대상체에 대한 특정 생물학적 영역)와 연관된 실제 이미지를 수신하고 동일하거나 상이한 콘텍스트(가령, 특정 대상체에 대한 상이한 슬라이스 레벨, 특정 대상체에 대한 동일한 슬라이스 레벨, 또는 특정 대상체에 대한 동일한 특정 생물학적 영역)와 연관된 대응하는 거짓 이미지를 생성하도록 훈련된다. 대응하는 거짓 이미지가 일부 양태(가령, 특정 대상체)와 관련하여 실제 이미지를 미러링할 수 있지만, 대응되는 거짓 이미지에 실제 이미지에 묘사된 특정 유형의 생물학적 이상의 묘사의 일부 또는 전부가 없도록 신경망이 구성될 수 있다. 예를 들어, 실제 이미지와 거짓 이미지 모두 폐의 3차원 이미지를 포함할 수 있는 반면, 실제 이미지는 종양을 묘사할 수 있지만 거짓 이미지는 그렇지 않을 수 있다. 따라서 생물학적 이상의 크기가 실제 이미지에서 거짓 이미지를 뺌으로써 추정된다(가령, 차이 이미지에서 얼마나 많은 픽셀 또는 복셀이 임계값을 초과하는지 결정).
I.A. 이상-제거 생성적 망을 훈련하는 데 사용되는 생성적 대립 망
이상-제거 생성자 망은 생성적 대립 망(GAN: Generative Adversarial Network)을 훈련하는 동안 학습된 파라미터를 포함할 수 있다. GAN은 입력 이미지가 거짓 이미지(이상-제거 생성자 망에 의해 생성됨)인지 실제 이미지(대상체로부터 수집된 실제 이미지를 묘사함)인지 예측하도록 구성된 판별자 망을 더 포함한다. 이들 예측의 정확성에 기반한 피드백이 이상-제거 생성자 망에 제공될 수 있다.
일부 예에서, 이상-제거 생성자 망을 훈련하는 데 사용되는 GAN은 순환-GAN(Cycle-GAN)을 포함한다. 순환-GAN는 다수의 생성자 망과 다수의 판별자 망을 포함한다. 이상-제거 생성자 망외에도, 순환-GAN는 특정 유형의 생물학적 이상을 묘사하지 않는 실제 이상-부재 이미지를 수신하고 특정 유형의 생물학적 이상을 묘사하는 거짓 이상-존재 이미지를 생성하도록 구성 및 훈련된 이상-추가 생성자 망을 더 포함한다. 순환-GAN는 이미지(진실하게도 특정 유형의 생물학적 이상을 묘사하지 않는 이미지 또는 특정 유형의 생물학적 이상의 어떠한 묘사도 없도록 수정된 이미지)가 실제인지 또는 거짓인지 여부를 예측하는 제1 판별자 망을 더 포함한다. 예측의 정확성은 이상-제거 생성자 망에 피드백을 제공하는 데 사용될 수 있다. 순환-GAN는 이미지(진실하게도 특정 유형의 생물학적 이상을 묘사하는 이미지 또는 특정 유형의 생물학적 이상을 포함하도록 수정된 이미지)가 실제인지 또는 거짓인지 여부를 예측하는 제2 판별자 망을 더 포함한다. 예측의 정확성은 이상-추가 생성자 망에 피드백을 제공하는 데 사용될 수 있다.
일부 예에서, 이상-제거 생성자 망을 훈련하는 데 사용되는 GAN은 재순환-GAN(Recycle-GAN)을 포함한다. 순환-GAN과 마찬가지로 재순환-GAN는 여러 생성자 망(가령, 이상-제거 생성자 망 및 이상-추가 생성자 망)과 다수의 판별자 망(가령, 실제와 거짓 이상-부재 이미지를 구별하도록 구성된 판별자 망 및 실제와 거짓 이상-존재 이미지를 구별하도록 구성된 판별자 망)을 포함한다. 또한, 재순환-GAN은 예측자 망으로 입력된 이미지에 비해 상이한 콘텍스트와 연관된 이미지를 생성하는 하나 이상의 예측자 망(Predictor network)을 포함한다.
재순환-GAN의 제1 예측자 망은 특정 유형의 생물학적 이상(가령, 종양, 병변 또는 플라크)을 묘사하고 특정 대상체 및 하나 이상의 슬라이스 레벨과 연관된 하나 이상의 이미지를 수신할 수 있고, 제1 예측자는 특정 대상체와 연관된 예측된 상이한-콘텍스트 이미지에 대응하는 출력을 생성할 수 있다. 각각의 수정 이미지는 예측자 망에 의해 수신된 이미지(들)에 대한 관점, 이미징 방식, 위치, 줌 및/또는 슬라이스와 비교하여 상이한 관점, 이미징 방식, 위치, 줌 및/또는 슬라이스에 대응할 수 있다. 특히, 생물학적 이상을 묘사하고 제1 예측자 망에 의해 수신되는 하나 이상의 이미지는 실제 또는 거짓일 수 있다. 예를 들어, 하나 이상의 이미지는 특정 유형의 생물학적 이상의 묘사를 추가하기 위해 하나 이상의 실제 이미지(가령, 특정 유형의 생물학적 이상에 대한 어떠한 묘사도 없는 이미지)를 수정하도록 구성된 이상-추가 생성자 망에 의해 생성된 거짓 이미지일 수 있다.
반대로, 재순환-GAN 내 제2 예측자 망은 특정 유형의 생물학적 이미지의 묘사가 없는 하나 이상의 이미지(가령, 종양을 묘사하지 않는 이미지)를 수신할 수 있고 특정 유형의 생물학적 이상의 묘사가 역시 없는 예측된 상이한-콘텍스트 이미지에 대응하는 출력(가령, 상이한 관점, 이미징 방식, 위치, 줌 및/또는 슬라이스와 연관됨)을 생성할 수 있다. 특히, 생물학적 이상을 묘사하지 못하고 제2 예측자 망에 의해 수신된 하나 이상의 이미지는 실제 또는 거짓일 수 있다. 예를 들어, 하나 이상의 이미지는 하나 이상의 실제 이미지(가령, 특정 유형의 생물학적 이상에 대한 임의의 묘사를 포함하는 이미지)를 수정하여 특정 유형의 생물학적 이상의 묘사를 제거하도록 구성된 이상-제거 생성자 망에 의해 생성된 거짓 이미지일 수 있다.
I.B. 거짓 이상-부재 이미지를 이용한 이상-크기 예측
일부 예에서, 이상-제거 생성적 망은 3차원 이미지(생물학적 이상의 적어도 일부분을 묘사하는 이미지)를 수신하고 거짓 3차원 이미지(생물학적 이상의 적어도 일부분의 묘사가 없는 이미지)를 생성하도록 구성된다. 실제 이미지와 거짓 이미지 간의 차이는 생물학적 이상의 일부분으로 예측되는 복셀을 나타낼 수 있다. 따라서, 실제 이미지와 거짓 이미지 간 차이가 임계값을 초과하는 복셀의 양에 기초하여 생물학적 이상의 크기가 예측될 수 있다.
일부 예에서, 이상-제거 생성적 망은 2차원 이미지(생물학적 이상의 적어도 일부분을 묘사하는 이미지)를 수신하고 거짓 2차원 이미지(생물학적 이상의 적어도 일부분의 묘사가 없는 이미지)를 생성하도록 구성될 수 있다. 그런 다음 실제 이미지와 거짓 이미지 간 차이가 예측된 이상 영역을 나타낼 수 있다. 그러나 특정 대상체에 대해 다수의 실제 이미지(가령, 상이한 슬라이스 레벨에 대응)가 사용 가능할 수 있으며, 복수의 거짓 이미지가 생성될 수 있다. 그런 다음 슬라이스 레벨에 걸친 영역이 집합적으로 처리되어 이상의 크기 및/또는 부피를 예측할 수 있다.
I.C. 이점
GAN을 사용하는 것과 관련된 본 명세서에 개시된 기술은 수동 주석의 필요성을 감소시키고 의료 이미지 상에서 이상을 묘사하는 객관성과 정확성을 향상시키는 강력한 이점을 가진다. 예를 들어, 종양의 부피를 추정하기 위해 의료 이미지에 수동으로 주석을 추가하려면 다수의 연속 슬라이스의 각각에서 종양의 경계를 식별하는 데 엄청난 시간이 필요할 수 있다. 예를 들어, 진행된 암이 있는 대상체의 전신 CT 스캔에는 250개 이상의 종양이 포함될 수 있다. 수동 주석을 사용해 이상을 검출하는 것은 이미지당 수천 시간과 종양당 수백만 달러를 필요로 할 수 있다.
이러한 시간 약속은 훈련 세트가 상대적으로 작은 크기 및/또는 다소 작은 다양성을 갖는 결과를 초래할 수 있다. 이 수동 접근 방식은 또한 인간 주석자가 종양의 경계가 현재 슬라이드 상에서 어디에 있는지에 대한 정보를 가질 수 있는 인접한 슬라이드의 세부 정보를 기억하기 어려울 수 있으므로 오류가 발생하기 쉽다.
한편, 본 명세서에 개시된 GAN-기반 기술은 (예를 들어) 각각의 이미지가 생물학적 이상의 적어도 일부분을 묘사하는지 여부를 나타내는 하이-레벨 라벨을 갖는 데이터를 이용해(훈련 데이터가 바이너리 라벨을 포함하도록) 훈련된 머신-러닝 모델을 이용할 수 있다. 훈련 데이터는 생물학적 이상에 대한 주어진 묘사의 위치, 묘사된 생물학적 이상의 크기, 생물학적 이상의 경계, 또는 생물학적 이상에 대한 임의의 다른 공간적 특성을 나타내기 위해 라벨링될 필요가 없다. 즉, 수동 분할이 수행되지 않고 훈련 데이터 세트가 수집될 수 있다. 따라서 훈련 데이터를 얻는 것이 더 쉬울 수 있으며, 이는 더 큰 훈련 데이터 세트와 더 높은 정확도의 모델을 도출할 수 있다. 대안으로 또는 추가로, 바이너리 라벨링은 훈련 세트 수집 및/또는 생물학적 이상의 크기 예측의 시간 또는 재정적 투자를 감소시킬 수 있다.
또한, 본 명세서에 개시된 기술은 쌍을 이루는 데이터를 포함하는 훈련 데이터 세트에 의존하지 않는다. 즉, 생성자 망은 이상-부재 이미지의 세트와 이상-존재 이미지의 대응하는 "짝" 세트(가령, 동일한 대상체와 연관된 세트)를 포함하는 데이터 세트에 대해 훈련될 필요가 없다. 짝 이미지를 수집하는 것은 각각의 대상체에 대해 다수의 이미징 세션으로부터 수집된 이미지를 수집하는 것을 포함할 수 있다. 예를 들어, 제1 이미징 세션으로부터의 하나 이상의 이미지는 생물학적 이상을 묘사할 수 있는 반면, 제2 이미징 세션으로부터의 이미지에는 생물학적 이상이 없을 수 있다(또는 그 반대). 그러나, (가령, 치료에 대한 반응으로) 이상이 나타나지 않을 것인지 또는 새로운 이상이 나타날 것인지를 예측하는 것은 매우 어렵다. 따라서 짝을 이루는 이미지를 획득하는 것이 매우 어려울 수 있다. 짝을 이루는 데이터가 없으면, (가령, L1 또는 L2 정규화를 사용하는) 기존의 여러 훈련 기법을 이용해 실제 이상-존재 이미지를 기반으로 예측된 이상-부재 이미지를 생성하도록 신경망을 훈련하는 것이 불가능할 것이다. 한편, 짝을 이루는 데이터를 필요로 하지 않는 본 명세서에 개시된 기법에 의해 더 큰 훈련 데이터 세트(가령, 짝을 이루지 않는 훈련 데이터 세트)가 수집될 수 있고, 이는 생물학적 이상의 크기의 정확한 예측을 도출할 수 있다.
II. 생물학적-이상-특성화 망의 예시
도 1은 일부 실시예에 따른 예시적인 생물학적-이상-특성화 망(100)을 도시한다. 생물학적-이상-특성화 망(100)은 대상체의 신체의 일부분에 대한 하나 이상의 이미지를 수집하도록 구성된 이미지-생성 시스템(105)을 포함한다. 각각의 이미지는 하나 이상의 생물학적 구조의 적어도 일부분(가령, 하나 이상의 종양의 적어도 일부분, 하나 이상의 병변의 적어도 일부분, 하나 이상의 플라크의 적어도 일부분 및/또는 하나 이상의 장기의 적어도 일부분)을 묘사할 수 있다. 대상체는 특정 질병으로 진단되었거나 진단이 가능한 사람을 포함할 수 있다. 특정 질병은 암 또는 특정 유형의 암을 포함할 수 있다. 하나 이상의 이미지는 (예를 들어) 폐, 뇌 또는 간의 전체 또는 일부를 묘사할 수 있다.
II.A. 이미지-생성 시스템
이미지(들)는 하나 이상의 2차원 이미지 및/또는 하나 이상의 3차원 이미지를 포함한다. 2차원 이미지는 대상체의 단면 슬라이스(가령, 수평 슬라이스) 또는 대상체의 단면 슬라이스의 일부분을 묘사한다. 3차원 이미지는 대상체의 3차원 영역을 묘사한다. 3차원 이미지는 다수의 2차원 이미지(다수의 슬라이스 레벨에서 취해진 대상체의 슬라이스에 대응)를 쌓거나 결합함으로써 생성될 수 있다. 따라서, 본 명세서에서 사용될 때, 이미지에 묘사된 대상체의 "영역"은 대상체 내의 3차원 체적을 지칭하고, 이미지에 묘사된 피사체의 "슬라이스"는 대상체의 2차원 단면을 지칭한다.
이미지-생성 시스템(105)은 (예를 들어) 컴퓨터 단층촬영(CT) 스캐너, x-선 기계 또는 자기 공명 영상(MRI) 기계를 포함할 수 있다. 이미지(들)는 방사선 이미지, CT 이미지, x-선 이미지 또는 MRI 이미지를 포함할 수 있다. 이미지(들)는 대상체에게 조영제를 투여하지 않고 또는 대상에게 조영제를 투여한 후에 수집되었을 수 있다. 일부 경우에, 이미지-생성 시스템(105)은 초기에 2차원 이미지의 세트를 수집하고 2차원 이미지를 사용하여 3차원 이미지를 생성할 수 있다.
이미지-생성 시스템(105)에 의해 수집된 이미지(들)는 대상체에게 조영제를 투여하지 않고 또는 대상에게 조영제를 투여한 후에 수집되었을 수 있다. 이미징되는 대상체는 암으로 진단 받은 대상체, 암의 진단 또는 예비 진단이 가능한 대상체 및/또는 암 또는 종양과 일치하는 증상을 갖는 대상체를 포함할 수 있다.
이미지-생성 시스템(105)은 수집된 이미지를, (예를 들어) 클라우드 데이터 저장소를 포함할 수 있는 이미지 데이터 저장소(110)에 저장할 수 있다. 각각의 이미지는 하나 이상의 식별자, 가령, 대상체의 식별자 및/또는 상기 대상체와 연관된 의료 제공자의 식별자와 연관되어 저장될 수 있다. 각각의 이미지는 또한 이미지가 수집된 날짜와 연관되어 저장될 수 있다.
II.B. 이미지-라벨링 시스템
하나 이상의 이미지는 하나 이상의 이미지 각각에 대한 라벨을 식별하는 것을 용이하게 하는 이미지-라벨링 시스템(115)에 의해 이용 가능하다. 라벨은 이미지가 생물학적 이상을 묘사하는지 여부를 나타낸다. 이미지가 생물학적 이상을 묘사함을 나타내는 라벨은 이미지가 생물학적 이상의 일부분(가령, 생물학적 이상의 슬라이스)를 묘사함을 나타낼 수 있음이 이해될 것이다.
이미지-라벨링 시스템(115)은 인간 사용자에 의해 수신된 입력에 기초하여 라벨을 식별할 수 있다. 예를 들어, 이미지-라벨링 시스템(115)은 디스플레이 상에 하나 이상의 이미지 각각을 표시할 수 있고 각각의 이미지가 생물학적 이상을 묘사(가령, 종양의 적어도 일부분을 묘사)하는지 여부를 나타내는 입력(가령, 특정 버튼의 클릭, 풀다운 옵션의 선택, 텍스트 입력 등)을 수신할 수 있다.
이미지-라벨링 시스템(115)은 대안으로 자동화된 이미지 처리 기술을 사용하여 라벨을 식별할 수 있다. 예를 들어, 이미지-라벨링 시스템(115)은 적어도 임계 백분율 또는 적어도 임계 복셀 또는 픽셀 수가 지정 임계값보다 큰 강도를 가질 때 이미지가 생물학적 이상을 묘사한다고 예측할 수 있다. 임계값은 조영제를 흡수한 신체 부분(가령, 종양)과 신체의 다른 부분을 구별하기 위해 정의될 수 있다. 다른 예를 들면, 이미지-라벨링 시스템(115)은 이미지의 소스에 기초하여 라벨을 식별할 수 있다. 예를 들어, 이미지의 제1 소스가 확인된 종양 사례와 연관된 데이터베이스, 라이브러리 또는 의료 제공자 시스템을 포함할 수 있고, 이미지의 제2 소스는 건강한 대상체와 연관된 데이터베이스, 라이브러리, 또는 의료-제공자 시스템을 포함할 수 있다.
이미지-라벨링 시스템(115)은 하나 이상의 이미지 각각이 생물학적 이상에 대한 묘사를 포함하는지 여부를 나타내는 하나 이상의 라벨을 포함하도록 이미지 데이터 저장소(110)를 업데이트할 수 있다.
II.C. 이미지-처리 시스템
이미지-처리 시스템(125)(예를 들어, 원격 및/또는 클라우드 기반 컴퓨팅 시스템을 포함할 수 있음)은 주어진 유형의 하나 이상의 생물학적 이상 각각에 대해 묘사된 이상의 크기를 예측하도록 구성된다.
II.C.1. 전처리 제어기
더 구체적으로, 이미지-처리 시스템(125)은 GAN을 훈련하도록 구성될 수 있고; 후속적으로 GAN로부터의 훈련된 이상-제거 생성자 망을 사용하여 입력 이미지(특정 유형의 생물학적 이상을 묘사함)를 처리하여 수정 이미지(특정 유형의 생물학적 이상을 묘사하지 않음)를 생성하고, 입력 및 수정 이미지를 이용하여 생물학적 이상의 크기를 예측하도록 구성될 수 있다.
더 구체적으로, 이미지-처리 시스템(125)은 이미지의 전처리를 개시 및/또는 제어하는 전처리 제어기(130)를 포함한다. 전처리는 (예를 들어) 이미지를 지정 포맷으로 변환하는 것, 지정 샘플링 크기로 이미지를 리샘플링하는 것, 지정 크기로(가령, 하나 또는 그 이상, 또는 모든 치수 각각에서 특정된 픽셀 또는 복셀 수 이하로) 이미지를 리샘플링하는 것, 지정 크기로 이미지를 자르는 것(crop), 다수의 2차원 이미지에 기초하여 3차원 이미지를 생성하는 것, 상이한(가령, 목표) 관점을 갖는 하나 이상의 이미지를 생성하는 것, 강도 값을 조정하는 것(가령, 표준화 또는 정규화), 및/또는 컬러 값을 조정하는 것을 포함할 수 있다.
전처리는 하나 이상의 컬러 채널을 조정하는 변환을 포함할 수 있다. 예를 들어 그레이스케일 이미지는 하나 이상의 컬러 채널을 포함하도록 변환될 수 있다.
일부 예에서, 각각의 이미지에 대해, 전처리 제어기(130)는 특정 유형의 생물학적 장기(예를 들어, 폐)의 적어도 일부분을 묘사하는 영역을 검출함으로써 이미지를 분할한다. 분할은 (예를 들어) 감독 러닝(supervised learning)을 사용하여 훈련된 신경망(가령, 콘볼루션 신경망)을 사용하여 수행될 수 있다. 특정 유형의 생물학적 장기를 묘사하는 것으로 식별된 이미지의 일부만 포함하도록 이미지를 수정할 수 있다. 예를 들어, 다른 모든 픽셀 또는 복셀의 강도 값은 0 또는 숫자가 아닌 값으로 설정될 수 있다.
II.C.2. GAN 훈련 제어기
이미지-처리 시스템(125)은 라벨링된 이미지를 사용하여 GAN을 훈련시키는 GAN 훈련 제어기(135)를 포함한다. GAN은 (생물학적 이상의 적어도 일부분을 묘사하는 것을 포함할 수 있는) 적어도 하나의 생물학적 이상을 각각 묘사하는 제1 이미지 세트를 포함하는 훈련 세트를 이용해 훈련될 수 있으며, 적어도 하나의 생물학적 이상은 특정 유형의 이상이다. 예를 들어, 이미지는 종양 전체를 묘사하는 3차원 이미지, 종양의 전체 단면을 묘사하는 2차원 이미지, 종양의 일부분을 묘사하는 3차원 이미지, 또는 종양의 단면의 일부분을 묘사하는 2차원 이미지를 포함할 수 있다. 훈련 세트는 제2 이미지 세트를 더 포함하며, 여기서 제2 세트의 각각의 이미지는 특정 유형의 이상의 어떠한 생물학적 이상도 묘사하지 않는다. 데이터 세트의 각각의 이미지는 특정 유형의 생물학적 이상을 묘사하는지 여부를 나타내는 라벨과 연관될 수 있지만, 훈련 세트는 이미지 내에서 이상이 묘사되는 위치를 나타내는 분할 또는 주석 데이터를 포함할 필요가 없다. 훈련 세트 내의 이미지는 모두 특정 장기의 적어도 일부분(또는 전체)를 묘사할 수 있거나, 훈련 세트는 신체의 상이한 부분을 묘사하는 이미지를 포함할 수 있다.
GAN은 순환-GAN 또는 재순환-GAN을 포함할 수 있다. GAN은 특정 유형의 생물학적 이상(가령, 종양)을 묘사하는 이미지를 수신하고 특정 유형의 생물학적 이상을 묘사하지 않는 수정(거짓) 이미지를 출력하도록 훈련된 이상-제거 생성자 신경망을 포함한다. 이상-제거 생성자 망은 하나 이상의 콘볼루션 레이어, U-넷 또는 V-넷을 포함할 수 있다. 일부 경우에, 이상-제거 생성자 망은 특징-추출 인코더(하나 이상의 콘볼루션 레이어 포함), 변환자(하나 이상의 콘볼루션 레이어 포함) 및 디코더(하나 이상의 콘볼루션 레이어 포함)를 포함한다. 수정 이미지와 수신된 이미지는 다양한 콘텍스트(가령, 묘사된 영역/부피, 크기, 묘사된 장기(들) 등)를 공유할 수 있다. 판별자 망은 이상-제거 생성자 망으로부터 거짓 이미지를 수신하고 특정 유형의 생물학적 이상을 묘사하지 않는 실제 이미지도 수신한다. 판별자 망은 하나 이상의 콘볼루션 레이어과 활성화 레이어를 포함할 수 있다. 판별자 망은 각각의 이미지에 대해 이미지가 실제인지 또는 거짓인지를 예측한다. 판별자 망의 예측 정확도에 따라 피드백이 이상-제거 생성자 망으로 전송될 수 있다.
GAN을 훈련시키는 것은 하나 이상의 손실 함수를 사용하는 것을 포함할 수 있다. 훈련은 GAN의 판별자 망이 실제 이미지가 거짓 이미지라고(또는 그 반대) 잘못 예측할 때 페널티를 도입하는 것이 포함될 수 있다. 훈련은 추가로 또는 대안적으로 순환 손실(cycle loss)을 도입하는 것을 포함할 수 있다. 순환 손실은 GAN의 하나의 생성자 망에 의해 특정 유형의 이상의 묘사를 포함하는(또는 포함하지 않는) 원본 이미지를 이중 처리하여, 이러한 묘사를 제거(또는 추가)함으로써 특정 유형의 이상의 묘사가 없는 것(또는 포함하는 것)으로 예측된 수정 이미지를 생성하고, GAN의 또 다른 생성자 망에 의해 수정 이미지를 처리하여 이상의 묘사를 추가(또는 제거)하여 순환된 이미지를 생성함으로써 계산될 수 있다. 손실은 원본 이미지와 순환된 이미지 간의 차이에 따라 스케일링될 수 있다.
II.C.2.a. 순환-GAN
GAN 훈련 제어기(135)에 의해 훈련된 GAN은 다수의 생성자 망 및 다수의 판별자 망을 포함하는 순환-GAN을 포함할 수 있다. 도 2는 순환-GAN에서 네트워크 및 네트워크 연결의 표현을 보여주고 도 3은 순환-GAN을 이용하여 거짓 이미지를 생성하고 실제와 거짓 이미지를 판별하는 흐름을 나타낸다. 이 도시에서 각각의 직사각형 상자는 (실제 또는 거짓) 이미지를 나타내고 각각의 다이아몬드는 결정을 나타낸다.
X 및 Y 도메인은 서로 다른 유형의 이미지와 관련된다. 현재의 경우, Y 도메인은 특정 유형의 생물학적 이상(가령, 병변)을 묘사하는 이미지에 대응하고, X 도메인은 특정 유형의 생물학적 이상에 대한 묘사가 없는 이미지에 대응한다.
이상-제거 생성자 망을 포함하는 것외에도, 순환-GAN은 특정 유형의 생물학적 이상에 대한 묘사를 추가하기 위해 이미지를 수정하도록 구성되고 훈련된 이상-추가 생성자 망도 포함한다. 이상-추가 생성자 망은 하나 이상의 콘볼루션 레이어, U-넷 또는 V-넷을 포함할 수 있다. 일부 경우에, 이상-추가 생성자 망은 특징-추출 인코더(하나 이상의 콘볼루션 레이어를 포함), 변환자(하나 이상의 콘볼루션 레이어를 포함) 및 디코더(하나 이상의 콘볼루션 레이어를 포함)를 포함한다. 이상-추가 생성자 망의 아키텍처는 이상-제거 생성자 망의 아키텍처와 동일할 수 있다.
이상-추가 생성자 망 및/또는 이상-제거 생성자 망은 순환-일치 손실 또는 순환 손실을 사용하여 집합적으로 훈련될 수 있다. 이 경우, 원본 이미지는 하나의 생성자 망에 의해 먼저 처리된 다음 다른 생성자 망에 의해 처리되어 생성된 이미지와 비교되며, 이미지 차이가 더 극적일 경우 손실이 더 커질 수 있다. 예를 들어, 원본 이미지(305)는 대상체의 폐를 묘사하고 종양에 대한 묘사를 포함하지 않을 수 있다. 이 원본 이미지는 이상-추가 생성자 망에 의해 처리되어 거짓 종양-존재 이미지(310)를 생성할 수 있으며, 상기 거짓 종양-존재 이미지는 이상-제거 생성자 망에 의해 처리되어 거짓 종양-부재 이미지(310')를 생성할 수 있다. 손실이 원본 이미지와 거짓 종양-부재 이미지 간 차이의 정도에 따라 스케일링되도록 손실이 계산될 수 있다. 순환-일관성 손실은 모드 붕괴(생성자가 원본 이미지에 대응하지 않을 수 있는 스테레오타입 이미지를 생성하기 시작하는 경우)의 발생 또는 범위를 줄이는 데 도움이 될 수 있다. 그러나 순환-GAN에서 순환 손실을 최소화한다고 해서 한 도메인에서 다른 도메인으로 매핑된 후 이미지가 한 이미지에서 다른 이미지로 변경되는 몇 개의 픽셀만 있는 단일 '모드'에 고정되지 않는다는 보장은 없다. 예를 들어, 이상-추가 생성자 망은 입력(가령, 실제) 이상-존재 이미지와 거의 동일하게 보이는 거짓 이상-존재 이미지를 생성할 수 있다. 유사하게, 이상-제거 생성자 망은 입력(가령, 거짓) 이상-존재 이미지와 거의 동일하게 보이는 거짓 이상-부재 이미지를 생성할 수 있다. 따라서 일부 경우에 손실은 순환 손실과 비순환 손실의 조합에 기초하여 계산될 수 있다(가령, 비순환 손실은 판별자 망이 실제 이미지와 거짓 이미지를 판별할 수 있는 정도에 기초하여 결정됨).
특정 유형의 이상을 묘사하지 않는 실제 이미지와 거짓 이미지(가령, 실제 종양-부재 이미지(305) 및 거짓 종양-부재 이미지(310'))를 판별(블록(315'))하는 판별자 망을 포함하는 것에 추가로, 순환-GAN은 특정 유형의 이상을 묘사하지 않는 거짓 이미지와 실제 이미지(가령, 실제 종양-존재 이미지(305')와 거짓 종양-존재 이미지(310))를 판별(블록(315))하는 또 다른 판별자 망을 포함한다. 각각의 판별자 망과 다른 판별자 망은 하나 이상의 콘볼루션 레이어와 활성화 레이어를 포함할 수 있다. 판별자 망의 아키텍처는 다른 판별자 망의 아키텍처와 동일할 수 있다.
각각의 생성자 망(GX 및 GY)은 한 도메인로부터 이미지를 수신하고 다른 도메인(다른 도메인은 첨자로 표시됨)에서 대응하는 이미지를 생성하도록 구성된다. GY는 특정 유형의 생물학적 이상(X 도메인)의 어떠한 묘사도 포함하지 않는 실제 이미지(305)를 수신하고 특정 유형의 생물학적 이상(Y 도메인)의 묘사를 포함하는 대응하는 거짓 이미지(310)를 생성하도록 구성된다. 한편, GX는 특정 유형의 생물학적 이상(Y 도메인)의 묘사를 포함하는 실제 이미지(305')를 수신하고 특정 유형의 생물학적 이상(X 도메인)에 대한 묘사가 없는 대응하는 이미지(310')를 생성하도록 구성된다.
각각의 판별자 망은 거짓 이미지(생성자 망에 의해 생성됨)를 처리하여 이미지가 실제인지 여부를 예측할 수 있다. 각각의 판별자 망은 유사하게 실제 이미지를 처리하여 이미지가 실제인지 여부를 예측할 수 있다. 각각의 판별자 망은 도메인-특정적이다. 따라서, 예를 들어, 판별자 망 DY는 (가령, 이미지와 연관된 메타데이터를 통해) 생물학적 이상을 묘사한다고 알려진 또는 특정 유형의 생물학적 이상을 묘사하도록 (이상-추가 생성자 망 GY 또는 예측자 망 PY에 의해) 생성된 실제 또는 거짓 이미지에 대한 예측을 생성(블록(315))한다. 마찬가지로, 판별자 망 DX는 (가령, 이미지와 연관된 메타데이터를 통해) 특정 유형의 생물학적 이상의 묘사가 없는 것으로 알려진 또는 특정 유형의 생물학적 이상의 어떠한 묘사도 없도록 (이상-제거 생성자 망 GX 또는 예측자 망 PX에 의해) 생성된 실제 또는 거짓 이미지에 대한 예측을 생성(블록(315'))한다.
우연에 대응하는 판별 결과는 판별자 망이 실제 이미지와 거짓 이미지를 구별할 수 없으므로 거짓 이미지의 품질이 높을 가능성이 있음을 나타낸다. 주어진 도메인에서 작동하는 판별자 망에 의해 수행된 판별 결과는 학습 프로세스에서 대응하는 생성자 망의 파라미터를 조정하는 데 사용될 수 있다.
순환-GAN은 3차원 이미지를 처리하는 데 사용될 수 있다. 그런 다음 생성자 및 판별자 망은 3차원 콘볼루션 레이어를 포함할 수 있다. 그런 다음 망은 슬라이스에 걸쳐 뻗어 있는 특징이 이미지가 특정 유형의 생물학적 이상을 묘사하는지 여부 및 위치를 예측하는 방법을 학습하도록 구성될 수 있다. 대안으로 또는 추가로, 3차원 이미지는 1차원 벡터로 재구성되고 2차원 콘볼루션 레이어를 사용하여 처리될 수 있다.
신경망을 사용하여 3차원 이미지를 처리하는 것은 상당한 양의 메모리를 사용할 수 있다는 것을 이해할 것이다. 따라서 생물학적 관심 영역(가령, 장기)이 큰 경우, 전처리 기술이 수행되어 장기를 분할하여 크기를 줄일 수 있다. 대안로 또는 추가로, 이미지(들)는 이미지(들)의 공간 해상도를 감소시키기 위해 전처리될 수 있다. 예를 들어, 장기를 분할하고 해상도를 줄이기 위해 재샘플링하는 것은 관심 장기가 폐인 경우에 유용할 수 있다(다른 장기에 비해 폐의 크기가 상대적으로 큰 경우).
II.C.2.b. 재순환-GAN
GAN 훈련 제어기(135)에 의해 훈련된 GAN은 다수의 생성자 망, 다수의 판별자 망, 및 다수의 예측자 망을 포함하는 재순환-GAN을 포함할 수 있다. 도 4는 재순환-GAN 내 망 및 망 연결의 표현을 나타낸다. 도 2의 순환-GAN에 도시된 망에 추가하여, 도 4에 도시된 재순환-GAN은 다수의 예측자 망 PX 및 PY을 포함한다.
각각의 예측자 망은 하나 이상의 콘볼루션 레이터 및/또는 U-넷을 포함할 수 있다. 각각의 예측자 망은 예측자 망에 입력된 하나 이상의 이미지와 상이한 콘텍스트에서 획득된 이미지를 예측한다. 예를 들어, 예측자 망은 콘볼루션 신경망을 포함 및/또는 예측자 망에 의해 수신된 이미지(들)의 것에 비해 관점, 이미징 방식, 위치, 줌, 및/또는 슬라이스에 비교될 때 상이한 관점, 이미징 방식, 위치, 줌 및/또는 슬라이스에 대응하는 이미지를 생성할 수 있다. 예를 들어, 예측자 PX는 이웃 슬라이스 x t 의 이미지에 기초하여 슬라이스x t+1 의 이미지를 예측할 수 있고 PY는 이웃 슬라이스 y s 의 이미지에 기초하여 슬라이스 y s+1 의 이미지를 예측할 수 있다.
도 5는 본 발명의 일부 실시예에 따른 신경망 구성에서 다양한 거짓 이미지가 생성되고 평가될 수 있는 방법을 예시한다. 이 도시에서 각각의 직사각형 상자는 (실제 또는 거짓) 이미지를 나타내고 각각의 다이아몬드는 결정을 나타낸다.
제1 및 제2 실제 이상-부재 이미지(505) 각각이 샘플의 제1 슬라이스 및 제2 슬라이스를 (각각) 묘사하고 특정 유형의 생물학적 이상의 어떠한 묘사도 없다. GY는 제1 및 제2 실제 이상-부재 이미지(505)를 이용해 특정 유형의 생물학적 이상의 묘사를 추가함으로써 제1 슬라이스 및 제2 슬라이스의 제1 및 제2 거짓 이상-존재 이미지(510)를 생성할 수 있다. PY는 제1 슬라이스(510)의 제1 및 제2 거짓 이상-존재 이미지를 사용하여 제3 슬라이스의 제3 거짓 이상-존재 이미지(515)를 생성할 수 있다. 블록(520)에서, DY는 제3 거짓 이상-존재 이미지(515)가 실제인지 또는 거짓인지를 예측한다. DY는 다른 샘플의 다른 제1 및 제2 슬라이스의 제1 및 제2 실제 이상-존재 이미지(505')가 실제인지 또는 거짓인지를 더 예측한다. 도시되지는 않았지만, DY는 제1 및 제2 슬라이스의 제1 및 제2 거짓 이상-존재 이미지(505)가 실제인지 또는 거짓인지를 더 예측할 수 있다. (가령, 회수 통계에 기초하여) 판별로부터의 피드백이 GY로 피드백될 수 있다.
제3 슬라이스의 제3 거짓 이상-존재 이미지(515)는 GX에 공급되고, 여기서 제3 슬라이스의 순환된 거짓 이상-부재 이미지(525)를 생성한다. PX는 제1 및 제2 실제 이상-부재 이미지(505)를 사용하여 제3 슬라이드의 또 다른 거짓 이상-부재 이미지(530)를 생성할 수 있다. 블록(535)에서, 거짓 이상-부재 이미지(525 및 530)(제3 슬라이스에 대응함)는 PX의 손실을 식별하기 위해 서로 비교될 수 있다. 또한, (540)에서, 제3 슬라이드(525)의 순환된 거짓 이상-부재 이미지가 제3 슬라이스의 제3 실제 이상-부재 이미지(535)에 비교되어 순환 손실을 결정할 수 있다.
도 5는 대칭 동작을 나타낸다. 더 구체적으로, 다른 샘플의 다른 제1 및 제2 슬라이스의 제1 및 제2 실제 이상-존재 이미지(505')는 GX로 공급되며, 여기서 다른 제1 및 제2 슬라이스에 대한 제1 및 제2 거짓 이상-부재 이미지(510')를 생성한다. PX는 제1 및 제2 거짓 이상-부재 이미지(510')를 사용하여 다른 샘플(515')의 제3 슬라이스의 제3 거짓 이상-부재 이미지(515')를 생성할 수 있다. 블록(520')에서, DX는 제3 거짓 이상-부재 이미지(515')가 실제인지 또는 거짓인지를 예측한다. DX는 제1 및 제2 실제 이상 부재 이미지(505)가 실제인지 또는 거짓인지를 더 예측한다. 도시되지는 않았지만, DX는 다른 제1 및 제2 슬라이스의 제1 및 제2 거짓 이상-부재 이미지(510')가 실제인지 또는 거짓인지를 더 예측할 수 있다. (가령, 회수 통계에 기초하여) 판별로부터의 피드백이 GX로 피드백될 수 있다.
다른 제3 슬라이스의 제3 거짓 이상-부재 이미지(515')는 GY에 공급되고, 여기서 제3 슬라이스의 순환된 거짓 이상-존재 이미지(525')를 생성한다. PY는 제1 및 제2 실제 이상-존재 이미지(505')를 사용하여 다른 제3 슬라이드의 또 다른 거짓 이상-존재 이미지(530')를 생성할 수 있다. 블록(535')에서, PY의 손실을 식별하기 위해 거짓 이상-존재 이미지(525' 및 530')(다른 제3 슬라이스에 대응함)가 서로 비교될 수 있다. 또한, (540')에서, 다른 제3 슬라이드의 순환된 거짓 이상-존재 이미지(525')가 제3 슬라이스의 제3 실제 이상-존재 이미지(535')에 비교되어 순환 손실을 결정할 수 있다.
도 6a-6b는 재순환-GAN에서 다양한 유형의 손실이 어떻게 발생할 수 있는지를 보여준다. 도 6a에 도시된 바와 같이, 판별자 및 예측자 망이 전체 훈련 및 역전파에 참여하더라도, 판별 결과에 대한 응답으로 이들의 가중치가 업데이트될 필요가 없다. 오히려, 판별 결과는 대응하는 생성자 망의 가중치만 업데이트하도록 선택적으로 트리거할 수 있다. 그러나 판별자 망을 통해 흐르는 역전파 덕분에 생성자 훈련에서 가중치가 고려되며, 이는 판별자에 비해 약간의 이점을 제공한다. (도 6a.)
생성자 망이 거짓 이미지를 생성하는 데 사용되더라도, 생성자 망은 아키텍처에서 대응하는 판별자 전에 있다. 따라서 생성자 가중치는 판별자 훈련에 의해 액세스될 수 없다. (도 6b.)
재순환-GAN은 2차원 이미지의 세트를 처리하는 데 사용될 수 있다. 생성자 및 판별자 망은 2차원 콘볼루션 레이어를 포함할 수 있다. 예측자 망은 도메인(가령, 슬라이스) 간에 약한 일관성을 도입하여 망이 (가령, 다수의 슬라이스에 포함된 볼륨에 걸친) 해부학적 조직을 학습한 다음 (2D 슬라이스에 불과하기 때문에 이 해부학적 조직이 없는) 거짓 이미지를 보다 현실적으로 생성하고 (유사한 이유로) 실제 이미지와 거짓 이미지를 판별할 수 있게 하여, 이는 거짓 이미지의 생성을 더 개선하는 것을 촉진시킬 수 있다.
II.C.3. 생성자 망 제어기
GAN 훈련 제어기(135)가 전체 GAN 망을 훈련할 수 있는 동안, 생성자 망 제어기(140)는 그 후에 의료 이미지를 평가하기 위해 GAN으로부터의 단일 생성자 망을 사용할 수 있다. 더 구체적으로, 단일 생성자 망은 특정 유형의 생물학적 이상(가령, 종양 또는 병변)을 묘사하는 입력 이미지를 수신하고 특정 유형의 생물학적 이상에 대한 묘사가 없는 수정 이미지를 생성하는 것을 포함할 수 있다.
II.C.4. 크기 검출기
크기 검출기(145)는 이상-제거 생성자 망 제어기(140)에 의해 생성된 하나 이상의 수정 이미지(즉, 특정 유형의 생물학적 이상의 묘사가 없는 이미지) 및 입력 이미지(가령, 특정 유형의 생물학적 이상을 묘사하는 이미지) 각각을 수신하고 생물학적 이상의 크기를 예측하도록 구성될 수 있다. 예를 들어, 크기 검출기(145)는 입력 이미지에서 수정 이미지를 뺄 수 있다. 일부 예에서, 크기 검출기(145)는 (예를 들어, 하나 이상의 공간 필터 및/또는 임계값을 적용하기 위해) 차이 이미지를 먼저 처리할 수 있다.
예측된 크기는 (가령, 입력 이미지가 2차원 이미지일 때) 영역의 크기 또는 (가령, 입력 이미지가 3차원 이미지일 때) 상이한 이미지에서 식별된 볼륨의 크기에 대응할 수 있다. 예를 들어, 크기 검출기(145)는 픽셀 또는 복셀 각각에 대해 강도 조건(가령, 픽셀 또는 복셀의 강도가 0과 같지 않을 때 충족되도록 구성된 조건 또는 픽셀 또는 복셀의 강도가 지정 개방 또는 폐쇄 범위 내에 있을 때 충족되도록 구성된 조건)이 충족되었는지 여부를 결정할 수 있다. 예측된 크기는 조건이 만족된 픽셀 또는 복셀의 양에 기초하여 정의될 수 있다. 또는 각각의 픽셀 또는 복셀에 대해 조건이 충족되었는지 여부를 나타내는 바이너리 이미지가 생성될 수 있다. 조건이 충족된 픽셀 또는 복셀이 다른 픽셀(가령, 충분한 양 및/또는 모양을 가짐)에 인접할 때 통과되도록 저역 통과 공간 필터가 적용될 수 있다. 필터링된 이미지는 또 다른 바이너리 이미지를 포함할 수 있다. 생물학적 이상의 예측된 크기는 필터링된 이미지를 처리함으로써(예를 들어, 필터링된 이미지의 픽셀 또는 복셀에 걸쳐 임계화, 합산 또는 평균화에 의해) 결정될 수 있다.
일부 예에서, 크기 검출기(145)는 다수의 원본 및 수정된 2차원 이미지를 처리하고, 크기 검출기(145)는 다수의 이미지의 처리에 기초하여 크기를 예측한다. 하나의 예를 들면, 2차원 이미지 각각마다 생물학적-이상 영역이 추정될 수 있고, 그 영역이 종합되어 생물학적 이상의 부피를 추정할 수 있다. 또 다른 예로서, 다중 입력 이미지(가령, 특정 유형의 생물학적 이상을 묘사하는 이미지)가 처리되어 3차원 이상-포함 이미지를 생성할 수 있고 다수의 수정 이미지(가령, 특정 유형의 생물학적 이상의 묘사가 없는 이미지)가 처리되어 3차원 이상-부재 이미지를 생성할 수 있으며, 크기 검출기(145)는 3차원 이상-포함 이미지 및 3차원 이상-부재 이미지에 기초하여 생물학적 이상의 크기를 추정할 수 있다. 예를 들면, 크기 검출기(145)는 3차원 이상-존재 이미지로부터 3차원 이상-부재 이미지를 뺄 수 있다. 결과 이미지가 (가령, 임계화, 필터링 및/또는 평활화를 통해) 처리될 수 있지만 반드시 그럴 필요는 없다. 생물학적 이상의 크기(가령, 면적 또는 부피)가 예측될 수 있다. 일부 경우에, 예측된 크기는 원본 및/또는 수정 이미지의 해상도 및/또는 크기에 기초 및/또는 이에 따라 달라질 수 있다. 또 다른 예로서, 다수의 직교 차원 각각에 대해, 실제 종양-존재 이미지가 액세스될 수 있고, 거짓 종양-부재 이미지가 생성될 수 있으며, 실제 종양-존재 이미지로부터 거짓 종양-부재 이미지를 뺌으로써 예측된 종양 묘사가 생성될 수 있다. 그런 다음 크기 검출기(145)는 예측된 종양 묘사의 가장 긴 지름을 결정할 수 있고, 가장 긴 지름은 3개의 가장 긴 지름 중 최댓값으로 정의될 수 있다.
예를 들어, 도 7은 본 발명의 일부 실시예에 따라 실제 이미지와 거짓 이미지 간의 비교에 기초하여 생물학적 이상의 공간적 특성이 어떻게 추정될 수 있는지를 도시한다. 구체적으로, 왼쪽 이미지는 병변 및 주변 조직의 묘사를 포함하는 초기 이미지를 보여준다. 중간 이미지는 병변을 제거하도록 구성된 훈련된 이상-제거 생성자 망에 의해 생성된 거짓 이미지를 보여준다. 오른쪽 이미지는 대응하는 초기 이미지로부터 거짓 이미지를 뺀 결과를 보여준다. 이들 이미지는 병변을 특성화하기 위해 처리될 수 있다. 예를 들어, 지정 임계값보다 높은 임계값을 갖는 픽셀이 카운팅될 수 있다. 카운트는 이미지의 스케일 및/또는 이미지의 해상도에 기초하여 정규화되거나 스케일링될 수 있고, 정규화 또는 스케일링된 카운트는 이미징된 슬라이스에 대한 총 병변 크기를 나타낼 수 있다. 일부 경우, 이 프로세스가 상이한 슬라이스에 대응하는 이미지에 걸쳐 반복되며, 이미지 전체에 걸쳐 합계를 수행함으로써 종양 부피가 추정될 수 있다.
실제 이미지와 거짓 이미지에 기초한 생물학적 이상의 크기를 예측하는 것에 추가로 또는 그 대신에, 실제 이미지와 거짓 이미지가 실제 이미지에서 묘사된 생물학적 이상을 분할하는 데 사용될 수 있다. 분할 결과는 이미지의 어느 부분이 특정 유형의 생물학적 이상을 묘사하는지 식별할 수 있다. 예를 들어, 분할 결과는 원본 이미지의 어느 부분(들)이 특정 유형의 생물학적 이상을 묘사하는 것으로 예측되었는지를 나타내는 원본 이미지 상의 오버레이를 포함할 수 있다.
이미지-처리 시스템(125)은 크기(및/또는 분할 결과)를 사용자 장치(150)로 반환할 수 있다. 사용자 장치(150)는 생물학적 이상에 대응하는 추정 크기를 요청한 장치 또는 생물학적 이상을 묘사하는 하나 이상의 이미지를 제공한 장치를 포함할 수 있다 사용자 장치(150)는 이미징되는 대상체를 치료 및/또는 평가하는 의료 전문가 및/또는 의료 제공자와 연관될 수 있다. 일부 예에서, 이미지 처리 시스템(125)은 생물학적 이상 이미지-생성 시스템(105)의 크기 추정치를 반환할 수 있다(예를 들어, 추정된 부피를 사용자 장치에 후속적으로 전송할 수 있음). 일부 예에서, 추정 크기를 출력하는 대신 또는 이에 추가로, 이미지-처리 시스템(125)은 치료 권장안을 (예를 들어, 사용자 장치(150)에) 출력한다. 예를 들어, 이미지-처리 시스템(125)은 추정 크기(예를 들어, 잠재적으로 생물학적 이상의 하나 이상의 이전 추정 크기)에 적어도 부분적으로 기초하여 치료 권장안을 식별하기 위해 하나 이상의 규칙을 이용할 수 있다. 예를 들어, 규칙은 임계값을 포함할 수 있으며 특정 대상체에 대한 생물학적 이상의 추정 크기가 특정 대상체에 대한 생물학적 이상의 (가령, 정의된 시간 주기와 연관된) 이전 추정 크기보다 적어도 X% 작지 않은 경우, 치료 전략을 변경하는 권장안이 고려될 것이다.
일부 경우에, 생물학적-이상-특성화 망(100)이 다수의 생물학적 이상 각각의 크기를 추정하기 위해 사용될 수 있다는 것이 이해될 것이다. 예를 들어, 이상-제거 생성자 망은 입력 이미지가 다수의 이미지를 묘사하는 경우에도 뇌 병변을 묘사하지 않는 수정 이미지를 생성하도록 훈련될 수 있다. 입력 이미지와 수정 이미지 간의 차이를 사용하여 뇌 병변의 누적 크기를 추정할 수 있다.
III. 생물학적-이상-특성화 망의 예시
도 8은 생물학적 이상의 크기를 추정하기 위한 예시적인 프로세스(800)의 흐름도를 도시한다. 블록(805)에서, 이미지-처리 시스템(125)은 의료 이미지를 액세스한다. 의료 이미지는 생물학적 이상(가령, 종양 또는 병변)의 적어도 일부분을 묘사한다. 의료 이미지는 2차원 이미지 또는 3차원 이미지일 수 있다. 의료 이미지는 CT 이미지, MRI 이미지, x-선 이미지 등일 수 있다. 의료 이미지는 이미지-생성 시스템(105)에 의해 수집 및/또는 액세스될 수 있다.
블록(810)에서, 생성자 망 제어기(140)는 이상-제거 생성자 망을 사용하여 의료 이미지의 수정 이미지를 생성한다. 수정 이미지는 (이상-제거 생성자 망에 의해) 생물학적 이상의 적어도 일부분의 묘사가 없도록 생성되거나 예측될 수 있다. 이상-제거 생성자 망은 GAN을 훈련시키는 GAN 훈련 제어기(135)에 의해 훈련되었을 수 있다. 수정 이미지는 전처리된 이미지의 (생성자 망 제어기(140)에 의한) 처리에 기초하여 생성될 수 있다. GAN은 적어도 이상-제거 생성자 망 및 하나 이상의 판별자 망을 포함했을 수 있다. GAN은 또한 이상-추가 생성자 망 및/또는 하나 이상의 예측 망을 포함할 수 있다.
블록(815)에서, 생물학적 이상의 크기는 의료 이미지 및 수정 이미지에 기초하여 (예를 들어, 크기 검출기(145)에 의해) 추정된다. 예를 들어, 원본 이미지(또는 이의 전처리된 버전)는 수정 이미지로부터 빼져서 나머지 이미지를 생성할 수 있다. 그런 다음 나머지 이미지는 (예를 들어, 아마도 필터링 및/또는 임계화를 적용한 후) 나머지 이미지의 복셀 또는 픽셀을 합산하거나 평균화함으로써 처리될 수 있다.
블록(820)에서, 생물학적 이상의 추정된 크기가 (예를 들어, 이미지-처리 시스템(125)에 의해 및/또는 사용자 장치(150)로) 출력된다. 출력은 추정된 크기를 전송하는 것 및/또는 추정된 크기를 제공하는 것을 포함할 수 있다. 일부 경우에, 출력은 추정된 크기에 기초한 결과(예를 들어, 치료 권장안)를 전송하는 것 및/또는 제공하는 것을 포함한다.
V. 실시예
V.A. 실시예 1
도 9는 병변을 검출하기 위해 순환-GAN을 사용하여 사용 및 생성된 이미지의 예를 도시한다. 도 9에서의 상부 이미지는 대상체의 오른쪽 폐의 3개의 실제 직교 CT 슬라이스를 보여준다. 슬라이스의 시각화는 3차원 공간에서 교차하는 슬라이스를 보여줌으로써 슬라이스들 간 공간적 관계를 나타낼 수 있다. 각각의 실제 직교 CT 슬라이스는 병변의 묘사를 포함했다.
도 2에 나타낸 바와 같은 아키텍처를 갖는 순환-GAN 모델이 훈련 데이터를 이용해 훈련되었다. 그런 다음 훈련된 이상-제거 생성자 망 GX는 3개의 실제 CT 슬라이스 각각을 처리하여 병변의 묘사가 없는 것으로 예측되는 대응하는 거짓 CT 이미지를 생성한다. 이들 거짓 종양-부재 이미지는 도 9의 중간 이미지에서의 3차원 공간에서 흥미롭게 보여진다.
각각의 실제 이미지에 대해, 종양의 예측된 2차원 묘사를 생성하기 위해 실제 이미지로부터 대응되는 거짓 이미지가 빼졌다. 도 9의 하부 이미지는 3차원 공간에서 교차하는 종양-예측 이미지를 나타낸다. 3차원 각각에서 종양의 크기를 예측하면 종양의 가장 긴 지름을 추정하는 것이 용이해질 수 있다. 예를 들어, 종양 묘사의 가장 긴 지름은 3개의 종양-예측 이미지 각각에 대해 추정될 수 있고, 가장 긴 지름은 3개의 가장 긴 지름의 최댓값으로 정의될 수 있다.
V.B. 실시예 2
도 10은 순환-GAN 알고리즘을 사용하거나 4명의 인간 판독자에 의해 수행되는 예시적인 병변 검출을 도시한다. 도 10에 도시된 마스크 없음 이미지는 도 9의 상부 이미지에서 나타난 것과 동일한 이미지이다. 그러나 여기서, 이미지는 교차하지 않고 나란히 배열된다. 나머지 이미지는 동일한 마스크 없음 이미지를 보여주지만 예측된 병변 묘사가 오버레이된다. 알고리즘 이미지에 나타난 예측된 병변 묘사는 도 9의 하부 이미지에 나타난 것과 동일하고 마스크 없음 이미지를 (순한-GAN을 이용해 훈련된 이상-제거 생성자 망에 의해 생성된) 거짓 이상-부재 이미지에 비교함으로써 계산되었다.
나머지 이미지는 4명의 인간 판독자 각각이 만든 병변의 주석을 보여준다. 특히, 이상-제거 생성자 망을 사용하여 식별된 예측 병변 영역은 인간 판독자가 식별한 병변 영역과 유사했다.
V.C. 실시예 3
훈련 데이터 세트는 암 병변이 있는 흉부 용적의 전신 CT 이미지 1,300개 및 암이 없는 흉부 용적의 전신 CT 이미지 300개를 포함하도록 형성되었다. 이미지가 암이 있는 흉부 용적(하나 이상의 병변이 있음)에 대응하는지 여부를 나타내도록 각각의 이미지가 라벨링되었다. 데이터는 훈련 및 테스트를 위해 80:20으로 분할되었다. 도 4에 도시된 바와 같은 아키텍처를 갖는 모델이 훈련 데이터를 사용하여 훈련되었다.
도 11은 훈련된 모델에 의해 출력된 병변 검출을 숙련된 방사선 전문의의 병변 검출과 비교함으로써, 테스트 데이터를 처리한 결과를 보여준다. 특히, 묘사된 결과는 매우 일관적이다. 모델은 0.94의 ROI-레벨 민감도 및 0.89의 병변-레벨 민감도를 가졌다. 분할은 0.2 체적 일치도(Dice Similarity Coefficient)를 달성했다.
VI. 추가 고려 사항
본 개시내용의 일부 실시예는 하나 이상의 데이터 프로세서를 포함하는 시스템을 포함한다. 일부 실시예에서, 시스템은 하나 이상의 데이터 프로세서 상에서 실행될 때 하나 이상의 데이터 프로세서로 하여금 여기서 개시된 하나 이상의 방법 중 일부 또는 전부 및/또는 하나 이상의 프로세서 중 일부 또는 전부를 수행하게 하는 명령을 포함하는 비일시적 컴퓨터 판독형 저장 매체를 포함한다. 본 개시내용의 일부 실시예는 하나 이상의 데이터 프로세서 상에서 실행될 때 하나 이상의 데이터 프로세서로 하여금 여기서 개시된 하나 이상의 방법 중 일부 또는 전부 및/또는 여기서 개시된 하나 이상의 프로세스의 일부 또는 전부를 수행하게 하는 명령을 포함하는 비일시적 기계 판독형 저장 매체로 유형으로 구현되는 컴퓨터-프로그램 프로덕트를 포함한다.
채용된 용어 및 표현은 한정이 아닌 설명 측면에서 사용되며, 이러한 용어 및 표현의 사용에 도시되고 기재된 특징부 또는 이의 일부분의 임의의 균등물을 배제하는 어떠한 의도도 없고, 청구된 발명의 범위 내에서 다양한 수정이 가능함이 자명하다. 따라서, 본 발명이 실시예 및 선택적 특징으로 특정하게 개시되었지만 본 명세서에 개시된 개념의 수정, 및 변형이 해당 분야의 통상의 기술자에 의해 이용될 수 있고, 이러한 수정 및 변형이 첨부된 청구항에 의해 정의된 본 발명의 범위 내에 있는 것으로 간주됨이 이해될 것이다.
설명은 단지 바람직한 예시적인 실시 형태를 제공하며, 본 개시내용의 범위, 적용 가능성 또는 구성을 제한하도록 의도되지 않는다. 오히려, 바람직한 예시적인 실시예의 본 설명은 다양한 실시예를 구현하기 위한 가능한 설명을 통상의 기술자에게 제공할 것이다. 첨부된 특허청구범위에 기재된 정신 및 범위를 벗어나지 않고 요소의 기능 및 배열에 다양한 변경이 이루어질 수 있음을 이해해야 한다.
실시예의 완전한 이해를 제공하기 위해 본 설명에서 특정 세부사항이 제공된다. 그러나, 이러한 특정 세부사항 없이 실시예가 실시될 수 있음이 이해될 것이다. 예를 들어, 회로, 시스템, 네트워크, 프로세스 및 그 밖의 다른 구성요소는 실시예를 불필요한 세부 사항으로 모호하게 하지 않기 위해 블록도 형태의 구성요소로 표시될 수 있다. 또 다른 예에서, 잘 알려진 회로, 프로세스, 알고리즘, 구조 및 기술은 실시예를 모호하게 하는 것을 피하기 위해 불필요한 세부 사항 없이 표시될 수 있다.

Claims (22)

  1. 컴퓨터로 구현되는 방법으로서,
    대상체에 대응하고 생물학적 이상의 적어도 일부분을 묘사하는 의료 이미지를 액세스하는 단계 ― 상기 생물학적 이상은 특정 유형의 생물학적 이상임 ― ,
    상기 의료 이미지에 기초하여 수정 이미지를 생성하고 이상-제거 생성자 망을 이용하는 단계 ― 상기 이상-제거 생성자 망은 특정 유형의 생물학적 이상의 주석이 없는 훈련 데이터 세트를 이용해 훈련되었음 ― ,
    상기 의료 이미지 및 상기 수정 이미지에 기초하여 생물학적 이상의 크기를 추정하는 단계, 및
    상기 생물학적 이상의 추정 크기를 출력하는 단계를 포함하는, 컴퓨터로 구현되는 방법.
  2. 제1항에 있어서,
    이상-제거 생성자 망, 및
    하나 이상의 판별자 망 ― 상기 하나 이상의 판별자 망의 각각은 실제 이미지와 생성자 망에 의해 생성된 이미지를 판별하도록 구성되고 훈련되며, 상기 생성자 망은 이상-제거 생성자 망 또는 이상-추가 생성자 망을 포함함 ― 을 포함하는
    생성적 대립 망을 훈련함으로써 상기 이상-제거 생성자 망을 훈련하는 단계를 더 포함하는, 컴퓨터로 구현되는 방법.
  3. 제1항에 있어서,
    이상-제거 생성자 망, 및
    하나 이상의 판별자 망 ― 상기 하나 이상의 판별자 망의 각각은 실제 이미지와 생성자 망에 의해 생성되는 이미지를 판별하도록 구성되고 훈련되었으며, 상기 생성자 망은 이상-제거 생성자 망 또는 이상-추가 생성자 망을 포함함 ― 을 포함하는
    생성적 대립 망을 훈련함으로써 이상-제거 생성자 망의 파라미터 세트가 정의된, 컴퓨터로 구현되는 방법.
  4. 제1항에 있어서,
    이상-제거 생성자 망,
    이상-추가 생성자 망, 및
    특정 유형의 생물학적 이상의 생물학적 이상의 적어도 일부분을 묘사하는 것으로 라벨링된 실제 이미지와
    이상-추가 생성자 망에 의해 생성된 거짓 이미지를 판별하도록 구성된
    제1 판별자 망 ― 상기 이상-추가 생성자 망은 제1 판별자 망에 의해 생성된 제1 판별 결과에 기초한 피드백을 수신함 ― , 및
    특정 유형의 생물학적 이상의 어떠한 생물학적 이상도 묘사하지 않는 것으로 라벨링된 실제 이미지와
    이상-제거 생성자 망에 의해 생성된 거짓 이미지를 판별하도록 구성된
    제2 판별자 망 ― 상기 이상-제거 생성자 망은 제1 판별자 망에 의해 생성된 제1 판별 결과에 기초한 피드백을 수신함 ― 을 포함하는
    생성적 대립 망을 훈련함으로써 이상-제거 생성자 망을 훈련하는 단계를 더 포함하는, 컴퓨터로 구현되는 방법.
  5. 제1항에 있어서,
    이상-제거 생성자 망,
    이상-추가 생성자 망, 및
    특정 유형의 생물학적 이상의 또 다른 이상의 적어도 일부분을 묘사하는 것으로 라벨링된 실제 이미지와
    적어도 이상-추가 생성자 망에 의해 생성된 거짓 이미지를 판별하도록 구성된
    제1 판별자 망 ― 상기 이상-추가 생성자 망은 제1 판별자 망에 의해 생성된 제1 판별 결과에 기초한 피드백을 수신함 ― , 및
    특정 유형의 생물학적 이상의 어떠한 생물학적 이상도 묘사하지 않는 것으로 라벨링된 실제 이미지와
    이상-제거 생성자 망에 의해 생성된 거짓 이미지를 판별하도록 구성된
    제2 판별자 망 ― 상기 이상-제거 생성자 망은 제1 판별자 망에 의해 생성된 제1 판별 결과에 기초한 피드백을 수신함 ― 을 포함하는
    생성적 대립 망을 훈련함으로써 이상-제거 생성자 망의 파라미터 세트가 정의된, 컴퓨터로 구현되는 방법.
  6. 제1항에 있어서,
    이상-제거 생성자 망에 대상체의 적어도 일부분을 묘사하고 특정 유형의 생물학적 이상의 또 다른 생물학적 이상의 적어도 일부분을 묘사하는 실제 이상-존재 이미지를 입력하는 것,
    적어도 이상-제거 생성자 망 및 실제 이상-존재 이미지를 이용해, 거짓 이상-부재 이미지를 생성하는 것,
    생성적 대립 망(GAN)의 판별자 망을 이용해, 거짓 이상-부재 이미지가 실제 샘플의 참 이미지 또는 거짓 이미지에 대응하는지 여부를 예측하기 위한 판별을 수행하는 것, 및
    판별자 망에 의해 수행된 판별에 기초하여 이상-제거 생성자 망의 하나 이상의 가중치를 조정하는 것에 의해,
    생성적 대립 망(GAN)을 훈련함으로써 이상-제거 생성자 망을 훈련하는 단계를 더 포함하는, 컴퓨터로 구현되는 방법.
  7. 제6항에 있어서,
    GAN의 이상-제거 생성자 망에 거짓 이상-부재 이미지를 입력하는 단계,
    이상-추가 생성자 망 및 거짓 이상-부재 이미지를 이용해 순환 거짓 이상-존재 이미지를 생성하는 단계,
    순환 거짓 이상-존재 이미지를 실제 이상-존재 이미지에 비교하는 단계,
    순환 거짓 이상-존재 이미지의 실제 이상-존재 이미지와의 비교에 기초하여 순환 손실을 결정하는 단계를 더 포함하는, 컴퓨터로 구현되는 방법.
  8. 제1항 내지 제7항 중 어느 한 항에 있어서,
    의료 이미지를 전처리하여 하나 이상의 컬러 채널의 각각의 분포를 조정하는 단계 ― 상기 수정 이미지는 전처리된 의료 이미지에 기초하여 생성됨 ― 를 더 포함하는, 컴퓨터로 구현되는 방법.
  9. 제1항 내지 제7항 중 어느 한 항에 있어서,
    의료 이미지를 전처리하여 특정 기관의 분할을 수행하는 단계 ― 상기 수정 이미지는 전처리된 의료 이미지에 기초하여 생성됨 ― 를 더 포함하는, 컴퓨터로 구현되는 방법.
  10. 제1항 내지 제9항 중 어느 한 항에 있어서, 생물학적 이상의 크기를 추정하는 단계는
    상기 의료 이미지로부터 수정 이미지를 빼는 단계를 포함하는, 컴퓨터로 구현되는 방법.
  11. 제1항 내지 제10항 중 어느 한 항에 있어서, 상기 특정 유형의 생물학적 이상은 병변 또는 종양인, 컴퓨터로 구현되는 방법.
  12. 제1항 내지 제11항 중 어느 한 항에 있어서, 의료 이미지는 CT 이미지, x-선 이미지 또는 MRI 이미지를 포함하는, 컴퓨터로 구현되는 방법.
  13. 제1항 내지 제12항 중 어느 한 항에 있어서, 의료 이미지는 3차원 이미지를 포함하는, 컴퓨터로 구현되는 방법.
  14. 제1항 내지 제13항 중 어느 한 항에 있어서, 이상-제거 생성자 망은 콘볼루션 신경망을 포함하는, 컴퓨터로 구현되는 방법.
  15. 제1항 내지 제14항 중 어느 한 항에 있어서, 훈련 데이터 세트에는 특정 유형의 생물학적 이상의 어떠한 묘사된 이상의 경계, 면적 또는 부피의 어떠한 식별도 없는, 컴퓨터로 구현되는 방법.
  16. 방법으로서,
    대상체에 대응하고 생물학적 이상의 일부분을 묘사하는 의료 이미지를 사용자 장치에 의해 컴퓨팅 시스템에서 사용 가능하게 하는 단계 ― 상기 생물학적 이상은 특정 유형의 생물학적 이상임 ― , 및
    사용자 장치에서 컴퓨팅 시스템으로부터 생물학적 이상의 추정된 크기를 수신하는 단계 ― 상기 컴퓨팅 시스템은
    의료 이미지에 기초하고 이상-제거 생성자 망을 이용해 수정 이미지를 생성하는 것 ― 상기 이상-제거 생성자 망은 특정 유형의 생물학적 이상의 주석이 없는 훈련 데이터 세트를 이용해 훈련됐음 ― , 및
    상기 의료 이미지 및 상기 수정 이미지에 기초하여 생물학적 이상의 추정된 크기를 결정하는 것에 의해, 추정된 크기를 결정했음 ― 를 포함하는, 방법.
  17. 제16항에 있어서,
    추정된 크기에 기초하여 대상체에 대한 진단 또는 치료 권장안을 선택하는 단계를 더 포함하는, 방법.
  18. 제17항에 있어서,
    대상체에게 선택된 진단 또는 치료 권장안을 전달하는 단계를 더 포함하는, 방법.
  19. 제16항 내지 제18항 중 어느 한 항에 있어서,
    의료 이미징 시스템을 이용해 의료 이미지를 수집하는 단계를 더 포함하는, 방법.
  20. 대상체의 치료에서의 의료 이미지에서 묘사된 생물학적 이상의 추정된 크기의 용도로서, 추정된 크기는 컴퓨팅 장치가 동작의 세트를 수행함으로써 제공되며, 상기 동작의 세트는:
    컴퓨팅 시스템에 의해, 의료 이미지에 기초하여 이상-제거 생성자 망을 이용해 수정 이미지를 생성하는 것 ― 상기 이상-제거 생성자 망은 특정 유형의 생물학적 이상의 어떠한 주석도 없는 것으로 식별된 훈련 데이터 세트를 이용해 훈련되었음 ― , 및
    컴퓨팅 시스템에 의해, 상기 의료 이미지 및 수정 이미지에 기초하여 생물학적 이상의 크기를 추정하는 것을 포함하는, 생물학적 이상의 추정된 크기의 용도.
  21. 시스템으로서,
    하나 이상의 데이터 프로세서, 및
    하나 이상의 데이터 프로세서 상에서 실행될 때 상기 하나 이상의 데이터 프로세서로 하여금 본원에 개시된 하나 이상의 방법 중 일부 또는 전부를 수행하게 하는 명령을 포함하는 비-일시적 컴퓨터 판독형 저장 매체를 포함하는, 시스템.
  22. 하나 이상의 데이터 프로세스로 하여금 본원에 개시된 하나 이상의 방법 중 일부 또는 전부를 수행하게 하도록 구성된 명령을 포함하며, 비일시적 기계 판독형 저장 매체에서 유형적으로 구현되는 컴퓨터 프로그램 프로덕트.
KR1020227026102A 2020-01-24 2021-01-22 약한 감독 병변 분할 KR20220132544A (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US202062965515P 2020-01-24 2020-01-24
US62/965,515 2020-01-24
US202062966084P 2020-01-27 2020-01-27
US62/966,084 2020-01-27
PCT/US2021/014611 WO2021150889A1 (en) 2020-01-24 2021-01-22 Weakly supervised lesion segmentation

Publications (1)

Publication Number Publication Date
KR20220132544A true KR20220132544A (ko) 2022-09-30

Family

ID=74626229

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227026102A KR20220132544A (ko) 2020-01-24 2021-01-22 약한 감독 병변 분할

Country Status (6)

Country Link
US (1) US20220351387A1 (ko)
EP (1) EP4094223A1 (ko)
JP (1) JP2023511663A (ko)
KR (1) KR20220132544A (ko)
CN (1) CN115004225A (ko)
WO (1) WO2021150889A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115131364B (zh) * 2022-08-26 2022-11-25 中加健康工程研究院(合肥)有限公司 一种基于Transformer的医学图像分割方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10636141B2 (en) * 2017-02-09 2020-04-28 Siemens Healthcare Gmbh Adversarial and dual inverse deep learning networks for medical image analysis
US11403750B2 (en) * 2018-06-13 2022-08-02 Siemens Healthcare Gmbh Localization and classification of abnormalities in medical images

Also Published As

Publication number Publication date
US20220351387A1 (en) 2022-11-03
JP2023511663A (ja) 2023-03-22
CN115004225A (zh) 2022-09-02
WO2021150889A1 (en) 2021-07-29
EP4094223A1 (en) 2022-11-30

Similar Documents

Publication Publication Date Title
Emami et al. Generating synthetic CTs from magnetic resonance images using generative adversarial networks
EP3751516B1 (en) Autonomous multidimensional segmentation of anatomical structures on three-dimensional medical imaging
Bi et al. Synthesis of positron emission tomography (PET) images via multi-channel generative adversarial networks (GANs)
JP2023507109A (ja) 医用画像による自動化された腫瘍識別およびセグメンテーション
CN107545309A (zh) 使用深度生成机器学习模型的图像质量评分
KR101919866B1 (ko) 뼈 스캔 영상에서 암 전이 여부의 판정을 지원하는 방법 및 이를 이용한 장치
US20130121549A1 (en) Organ-specific enhancement filter for robust segmentation of medical images
EP2620909B1 (en) Method, system and computer readable medium for automatic segmentation of a medical image
US20150356733A1 (en) Medical image processing
Heydarheydari et al. Auto-segmentation of head and neck tumors in positron emission tomography images using non-local means and morphological frameworks
Largent et al. Image quality assessment of fetal brain MRI using multi‐instance deep learning methods
Veluchamy et al. Brightness preserving optimized weighted bi‐histogram equalization algorithm and its application to MR brain image segmentation
Nair et al. Multi-sensor, multi-modal medical image fusion for color images: A multi-resolution approach
Amirkolaee et al. Development of a GAN architecture based on integrating global and local information for paired and unpaired medical image translation
Lee et al. Study on Optimal Generative Network for Synthesizing Brain Tumor‐Segmented MR Images
US20220351387A1 (en) Weakly supervised lesion segmentation
Ramana Alzheimer disease detection and classification on magnetic resonance imaging (MRI) brain images using improved expectation maximization (IEM) and convolutional neural network (CNN)
Mangalagiri et al. Toward generating synthetic CT volumes using a 3D-conditional generative adversarial network
Lacerda et al. A parallel method for anatomical structure segmentation based on 3d seeded region growing
Wang et al. A Two-Stage Generative Model with CycleGAN and Joint Diffusion for MRI-based Brain Tumor Detection
Jiao et al. Anatomy-aware self-supervised fetal MRI synthesis from unpaired ultrasound images
Thamm et al. Syncct: Synthetic non-contrast images of the brain from single-energy computed tomography angiography
Bóbeda et al. Unsupervised Data Drift Detection Using Convolutional Autoencoders: A Breast Cancer Imaging Scenario
Ding et al. Medical Image Quality Assessment
Naseem Cross-modality guided Image Enhancement

Legal Events

Date Code Title Description
A201 Request for examination