KR20230059799A

KR20230059799A - 병변 검출을 위해 공동 훈련을 이용하는 연결형 머신 러닝 모델

Info

Publication number: KR20230059799A
Application number: KR1020237008150A
Authority: KR
Inventors: 주앙 송; 닐스 구스타프 토마스 벵츤; 리차드 앨런 두레이 카라노; 데이비드 비. 클레이튼; 알렉산더 스티븐 제임스 챔피온 드 크레스피그니; 로라 개타노; 아니타 프리야 크리슈난
Original assignee: 제넨테크, 인크.; 에프. 호프만-라 로슈 아게
Priority date: 2020-09-02
Filing date: 2021-08-31
Publication date: 2023-05-03
Also published as: EP4208848A1; JP2023540910A; WO2022051290A1; US20230281809A1; CN116097302A

Abstract

본 명세서에 개시된 실시예는 일반적으로 병변 검출을 위해 공동 훈련을 이용하는 연결형 머신 러닝 모델과 관련된다. 특히, 본 개시의 양태가 3차원 자기 공명 영상(MRI) 영상에 액세스하는 것 ― 3차원 MRI 영상은 대상체의 뇌의 영역을 묘사하며, 상기 뇌의 영역은 적어도 제1 유형의 병변 및 제2 유형의 병변을 포함함 ― , 3차원 MRI 영상을 제1 콘볼루션 신경망 및 제2 콘볼루션 신경망을 포함하는 머신 러닝 모델로 입력하는 것, 3차원 MRI 영상을 입력으로서 취하는 제1 콘볼루션 신경망을 이용해 제1 유형의 병변에 대한 제1 분할 마스크를 생성하는 것, 상기 3차원 MRI 영상을 입력으로서 취하는 제2 콘볼루션 신경망을 이용해 제2 유형의 병변에 대한 제2 분할 마스크를 생성하는 것, 및 상기 제1 분할 마스크 및 상기 제2 분할 마스크를 출력하는 것과 관련된다.

Description

병변 검출을 위해 공동 훈련을 이용하는 연결형 머신 러닝 모델

관련 출원의 교차 참조

이 출원은 그 전체가 모든 목적으로 참조로서 본 명세서에 포함되는 미국 가특허출원 번호 63/073,686 (출원일: 2020년09월02일)의 우선권 및 이익을 주장한다.

다발성 경화증(MS)은 중추 신경계에 영향을 미치는 질병이다. 질병의 결과로 MS를 앓는 대상체의 뇌에 병변이 형성된다. 대부분의 경우, MS는 초기에 재발-완화 MS로 나타나며, 이는 공간과 시간의 분리를 특징으로 한다. 예를 들어, 대상체는 상이한 신체 부위 및/또는 상이한 기능계에 영향을 미치는 여러 증상 에피소드를 경험할 수 있다. 또 다른 예로서, 대상체는 중추 신경계의 상이한 부분에서 병변을 경험할 수 있다. 또 다른 예로서, 대상체는 증상을 경험하고 중추 신경계에 대응하지 않는 뇌 영역 내 병변을 가질 수 있다. 시간이 지남에 따라, MS 대상체의 병변 크기와 총 수가 증가하며 질병의 악화를 반영하는 것이 종종 일어난다. 재발-완화 MS는 일반적으로 이차 진행성 MS로 진행되며, 이 동안 개별적인 증상 재발 및 회복 에피소드보다는 증상 및 뇌 건강의 점진적인 악화가 관찰된다. 원발성 진행형 MS가 유사하게 점진적인 증상 악화 및 뇌 저하를 특징으로 하지만 이 진단은 이전에 재발-완화 형태를 경험하지 않은 대상체에게만 적용된다.

자기 공명 영상(MRI: magnetic resonance imaging)이 새로운(조영-증강) 병변, 오래된 병변 및 (뇌 크기 변화를 통한) 뇌 위축의 시각화를 제공할 수 있다. 이들 메트릭은 MS 진단 지원, MS 예후 촉진, MS 치료 선택, 및 MS 치료 평가를 위한 기반이다. MRI 영상은 MRI 시퀀스를 사용하여 생성되며, 이는 특정 영상 외형을 도출하는 무선 주파수 펄스 및 구배의 특정 설정이다. 세 가지 주요 MRI 시퀀스 유형은 T1 시퀀스, T2 시퀀스 및 액체 감쇠 역전 회복(FLAIR: fluid-attenuated inversion recovery) 시퀀스를 포함한다.

T1 MRI는 비교적 빠르게 수집될 수 있으며 구조적 정보를 제공한다. 축삭 파괴와 뉴런 사망을 나타내는 플라크인 블랙홀은 T1 스캔에서 어둡게 나타난다. T2 MRI는 총 질병 부담을 보여주기 위해 자주 사용된다. 새로운 병변과 오래된 병변이 T2 스캔에서 고강도 영역으로 나타난다. FLAIR MRI는 뇌실과 뇌척수액이 FLAIR MRI에서 어두워진다는 점(T2 MRI에서는 밝음)을 제외하면 T2 MRI와 유사하다. 따라서 뇌실 근처(가령, 뇌량)에 나타나는 병변은 FLAIR MRI에서 더 잘 보인다.

어떤 경우에는, 활성 병변의 가시성을 개선하기 위해 하나 이상의 MRI 스캔이 수집되기 전에 조영제(가령, 가돌리늄)가 대상체에게 (가령, 정맥주사로) 투여된다. 혈-뇌 장벽이 온전한(intact) 경우 조영제는 중추신경계로 전달되지 않을 것이다. 혈-뇌 장벽이 파괴된 경우, 조영제가 중추신경계로 통과하여 염증 부위에 편재될 수 있다. 조영제는 T1 MRI에서 고강도로 나타날 것이다.

전통적으로, 방사선 전문의는 MRI 스캔에 수동으로 주석을 달았다. 그러나 시퀀스 유형의 차이 외에도 상이한 심도와 관점에 대해 스캔이 수집된다는 점을 감안할 때 주석을 추가할 스캔이 많다. 또한 방사선 전문의에 따라 주석에 높은 수준의 가변성이 있다. 따라서 효율성과 일관성을 향상시키기 위해, MRI 영상을 처리할 수 있는 자동화된 기술을 식별하는 것이 바람직할 것이다.

일부 실시예에서, 컴퓨터-구현 방법이 제공된다. 3차원 자기 공명 영상(MRI) 영상이 액세스된다. 3차원 MRI 영상은 적어도 제1 유형의 병변(가령, T1 비증강 병변) 및 제2 유형의 병변(T1 Gd-증강 병변)을 포함하는 대상체의 뇌의 영역을 묘사한다. 3차원 MRI 영상은 제1 콘볼루션 신경망 및 제2 콘볼루션 신경망을 포함하는 머신 러닝 모델로 입력된다. 제1 콘볼루션 신경망의 하나 이상의 층과 제2 콘볼루션 신경망의 하나 이상의 층 사이의 하나 이상의 망 교차 연결에 의해 제1 콘볼루션 신경망이 제2 콘볼루션 망에 연결된다. 제1 유형의 병변에 대한 제1 분할 마스크가 3차원 MRI 영상(들)을 입력으로서 취하는 제1 콘볼루션 신경망을 사용하여 생성된다. 제1 분할 마스크는 제1 유형의 병변의 묘사 주위의 제1 추정 분할 경계를 포함한다. 제2 유형의 병변에 대한 제2 분할 마스크는 3차원 MRI 영상(들)을 입력으로서 취하는 제2 콘볼루션 신경망을 사용하여 생성된다. 제2 분할 마스크는 제2 유형의 병변의 묘사 주위의 제2 추정 분할 경계를 포함한다. 제1 분할 마스크와 제2 분할 마스크는 병렬로 생성되고 추출된 특징의 세트는 제1 분할 마스크 및 제2 분할 마스크가 생성되는 동안 하나 이상의 망 교차 연결을 통해 공유된다. 제1 분할 마스크 및 제2 분할 마스크가 출력된다.

일부 실시예에서, 상기 제1 콘볼루션 신경망의 인코딩 블록에서 상기 제2 콘볼루션 신경망의 인코딩 블록으로의 하나 이상의 망 교차 연결에 의해, 상기 제1 콘볼루션 신경망은 제2 콘볼루션 망에 연결된다.

일부 실시예에서, 상기 제1 콘볼루션 신경망의 디코딩 블록에서 상기 제2 콘볼루션 신경망의 디코딩 블록으로의 하나 이상의 망 교차 연결에 의해, 상기 제1 콘볼루션 신경망은 제2 콘볼루션 망에 연결된다.

일부 실시예에서, 상기 망 교차 연결의 각각은 특징 변환 블록 및 압축 블록을 포함한다.

일부 실시예에서, 컴퓨터-구현 방법은 제1 분할 마스크 및 제2 분할 마스크로부터의 정보를 결합함으로써 최종 영상 마스크를 생성하는 것을 포함할 수 있다. 최종 영상 마스크는 상기 제1 유형의 병변 및 상기 제2 유형의 병변의 조합을 나타내는 병변의 새로운 세트의 묘사 주위의 추정 분할 경계를 포함한다. 최종 영상 마스크가 출력된다.

일부 실시예에서, 상기 제1 콘볼루션 신경망 및 상기 제2 콘볼루션 신경망은 트버스키 손실(Tversky loss) 및 가중 이진 교차 엔트로피 손실(weighted binary cross entropy loss)의 조합을 포함하는 손실 함수를 이용해 훈련되었다.

일부 실시예에서, 상기 제1 콘볼루션 신경망은, 상기 제1 유형의 병변 및 상기 제2 유형의 병변을 포함하는 상이한 유형의 병변의 묘사 주위의 분할 경계와 연관된 주석을 갖는 복수의 의학적 영상을 포함하는 훈련 데이터의 세트를 이용해 식별된 복수의 모델 파라미터를 포함한다. 복수의 모델 파라미터는 손실 함수를 최소화하는 것에 기초하여 훈련 데이터의 세트를 사용하여 식별된다.

일부 실시예에서, 제2 콘볼루션 신경망은 훈련 데이터의 세트를 사용하여 식별된 복수의 모델 파라미터를 포함한다. 제2 콘볼루션 신경망은 상기 제1 콘볼루션 신경망과 공동으로 훈련되어, 상기 제2 콘볼루션 신경망의 복수의 모델 파라미터가 상기 손실 함수를 최소화하는 것에 기초하여 훈련 데이터의 세트를 이용해 협력적으로 식별된다.

일부 실시예에서, 손실 함수는 상기 제1 유형의 병변과 상기 제2 유형의 병변 간 임의의 겹침 및 제1 콘볼루션 신경망 및 제2 콘볼루션 신경망으로부터의 위양성의 기여도에 대한 페널티 항을 더 포함한다.

일부 실시예에서, 제1 콘볼루션 신경망 및 제2 콘볼루션 신경망은 U-Net이다.

일부 실시예에서, 상기 제1 콘볼루션 신경망은 3개 층의 인코딩 블록 및 디코딩 블록을 포함한다.

일부 실시예에서, 상기 제2 콘볼루션 신경망은 3개 층의 인코딩 블록 및 디코딩 블록을 포함한다.

일부 실시예에서, 3차원 MRI 영상은 채널 차원을 따라 적층된 다중 연접 슬라이스를 포함한다. 슬라이스는 제1 유형의 MRI 시퀀스(가령, T1 조영 후(post-contrast))를 이용해 생성된 제1 3차원 MRI 슬라이스, 제2 유형의 MRI 시퀀스(가령, T1 조영 전(pre-constrast))를 이용해 생성된 제2 3차원 MRI 슬라이스, 및 제3 유형의 MRI 시퀀스(가령, 액체 감쇠 역전 회복((fluid-attenuated inversion recovery)))를 이용해 생성된 제3 3차원 MRI 슬라이스를 포함한다.

일부 실시예에서, 제1 3차원 MRI 슬라이스 및 제2 3차원 슬라이스는 조영 증강을 포착하기 위해 정규화된다. 정규화는 상기 제2 3차원 슬라이스의 평균 및 표준 편차를 이용하여 제1 3차원 MRI 슬라이스 체적 및 제2 3차원 슬라이스 체적 모두의 z-점수를 산출한다.

일부 실시예에서, 컴퓨터-구현 방법은 제1 분할 마스크를 이용해 상기 제1 유형의 병변의 개수의 카운트 및 상기 제2 분할 마스크를 이용해 상기 제2 유형의 병변의 개수의 카운트를 결정하는 단계를 포함할 수 있다.

일부 실시예에서, 컴퓨터-구현 방법은 상기 제1 분할 마스크를 이용해 상기 제1 유형의 병변의 개수의 카운트를 결정, 상기 제2 분할 마스크를 이용해 상기 제2 유형의 병변의 개수의 카운트를 결정, 및/또는 상기 최종 영상 마스크를 이용해 상기 병변의 새로운 세트 내 병변의 개수의 카운트를 결정하는 단계를 포함할 수 있다.

일부 실시예에서, 상기 컴퓨터-구현 방법은 제1 분할 마스크, 제2 분할 마스크, 및/또는 최종 영상 마스크를 이용해 하나 이상의 병변 크기 또는 병변 부하를 결정하는 단계를 포함할 수 있다.

일부 실시예에서, 컴퓨터-구현 방법은 이전 MRI에 대응하는 데이터를 액세스하는 단계, 상기 제1 분할 마스크, 상기 제2 분할 마스크, 및/또는 상기 최종 영상 마스크 및 상기 데이터를 이용해 하나 이상의 병변의 수량, 크기 또는 누적 크기의 변화를 결정하는 단계, 및 상기 변화를 나타내는 출력을 생성하는 단계를 포함할 수 있다.

일부 실시예에서, 컴퓨터-구현 방법은 제1 분할 마스크, 제2 분할 마스크, 및/또는 최종 영상 마스크에 기초하여 치료 전략의 변경을 추천하는 단계를 포함할 수 있다.

일부 실시예에서, 컴퓨터-구현 방법은 상기 제1 분할 마스크, 상기 제2 분할 마스크, 및/또는 상기 최종 영상 마스크에 적어도 부분적으로 기초하여 다발성 경화증의 대상체의 가능한 또는 확정된 진단에 대응하는 출력을 제공하는 단계를 포함할 수 있다.

일부 실시예에서, 컴퓨터-구현 방법은 상기 제1 분할 마스크, 상기 제2 분할 마스크, 및/또는 상기 최종 영상 마스크에 적어도 부분적으로 기초하여 대상체를 다발성 경화증으로 진단하는 단계를 포함할 수 있다.

일부 실시예에서, 컴퓨터-구현 방법은 제1 분할 마스크, 제2 분할 마스크, 및/또는 최종 영상 마스크에 적어도 부분적으로 기초하여 치료 반응을 평가 및/또는 예측하는 단계를 포함할 수 있다.

일부 실시예에서, 컴퓨터-구현 방법이 제공된다. 3차원 MRI 영상이 액세스된다. 3차원 MRI 영상은 적어도 제1 유형의 병변 및 제2 유형의 병변을 포함하는 대상체의 뇌의 영역을 묘사한다. 3차원 MRI 영상은 제2 콘볼루션 신경망에 연결된 제1 콘볼루션 신경망을 포함하는 머신 러닝 모델에 입력된다. 제1 유형의 병변에 대한 제1 분할 마스크는 3차원 MRI 영상을 입력으로서 취하는 제1 콘볼루션 신경망을 사용하여 생성된다. 제2 유형의 병변에 대한 제2 분할 마스크는 3차원 MRI 영상 상의 제1 분할 마스크를 입력으로서 취하는 제2 콘볼루션 신경망을 이용해 생성된다. 최종 영상 마스크는 제1 분할 마스크와 제2 분할 마스크로부터의 정보를 결합함으로써 생성된다. 최종 영상 마스크는 제1 유형의 병변의 묘사 주위의 제1 추정 분할 경계 및/또는 제2 유형의 병변의 묘사 주위의 제2 추정 분할 경계를 포함한다. 최종 영상 마스크가 출력된다.

본 개시내용의 일부 실시예는 하나 이상의 데이터 프로세서를 포함하는 시스템을 포함한다. 시스템은 하나 이상의 데이터 프로세서 상에서 실행될 때 하나 이상의 데이터 프로세서로 하여금 여기서 개시된 하나 이상의 방법 중 일부 또는 전부를 수행하게 하는 명령을 포함하는 비일시적 컴퓨터 판독형 저장 매체를 더 포함할 수 있다.

일부 실시예에서, 비일시적 기계 판독형 저장 매체에 유형으로 구현되는 컴퓨터 프로그램 프로덕트가 제공된다. 컴퓨터 프로그램 프로덕트는 하나 이상의 데이터 프로세서로 하여금 여기에 개시된 하나 이상의 방법의 일부 또는 전부를 수행하게 하도록 구성된 명령을 포함할 수 있다.

도 1은 다양한 실시예에 따르는 다수의 연결된 망을 갖는 모델을 사용하여 영상 내의 상이한 유형의 병변의 묘사를 분할하기 위한 예시적인 컴퓨팅 환경을 도시한다.
도 2는 다양한 실시예에 따라 비증강 병변의 묘사를 분할하는 데 사용되는 제1 수정 U-Net 및 Gd-증강 병변의 묘사를 분할하는 데 사용되는 제2 수정 U-Net을 포함하는 예시적인 모델을 보여준다.
도 3은 다양한 실시예에 따라 다수의 연결된 망을 갖는 모델을 사용하여 영상 내의 상이한 유형의 병변의 묘사를 분할하기 위한 예시적인 프로세스 환경을 도시한다.
도 4는 데이터 세트에 대한 총 T1 비증강 병변 체적 및 총 T1 가돌리늄(Gd)-증강 병변 체적의 예시적인 히스토그램을 보여준다.
도 5는 3명의 대상체에 대한 뇌의 섹션의 자기 공명 영상(MRI) 영상에 대한 그라운드 트루쓰와 비교되는 모델로부터의 예시적인 예측 병변 분할을 보여준다.
도 6a는 3개의 시점 각각에서 2개의 치료 그룹에 대한 T1 Gd-증강 병변 총 수에 대한 예시적인 결과를 보여준다.
도 6b는 실험적 접근법을 사용한 그라운드 트루쓰 마스크 및 동일한 실험적 접근법을 사용한 모델 예측 마스크로부터의 로부터의 T1 비증강 병변 총 수에 대한 예시적 결과를 보여준다.

I. 개요

본 개시내용은 의학적 영상의 자동화된 병변 분할을 위한 기술을 기술한다. 더 구체적으로는, 본 개시내용의 실시예는 딥 러닝 망들 간 연결에 의해 공동으로 훈련된 딥 러닝 망을 사용하여 의학적 영상(가령, 조영 전 및 조영 후 T1w 영상) 내에서 상이한 유형의 병변(예를 들어, 비증강 및 가돌리늄(Gd)-증강 T1 병변)의 묘사를 분할하기 위한 기술을 제공한다.

MS에서는, T2 고강도 병변의 묘사를 분할하기 위한 다양한 딥 러닝 모델이 개발되었으며 최근에는 T1 Gd-증강 병변의 묘사를 분할하기 위한 별도의 딥 러닝 모델이 개발되었다. 그러나 두 개의 독립적인 딥 러닝 모델의 사용이 특히 저 조영 증강을 갖는 병변에 대해 T1 비증강 및 Gd-증강 병변 유형의 서로소인/겹치지 않는 속성을 충분히 포착하지 않으며, 이는 위양성(FP: false positive) 병변의 수의 증가로 이어진다. 병변 출현율 및 크기의 큰 불균형으로 인해, 멀티 클래스 설정에서 두 가지 병변 모두의 묘사를 분할하기 위해 하나의 딥 러닝 모델을 이용하는 것은, 딥 러닝 모델이 출현율이 높은 병변 유형의 묘사만 분할하도록 학습하기 때문에, 까다롭다. 또한, 이들 두 가지 유형의 T1 병변은 형태 특성에 상당한 차이를 가지며 MS에서 서로 인접하게 발생하지 않을 수 있기 때문에 이들 묘사를 분할하는 데 필요한 특징의 중첩이 더 적을 수 있다.

이들 제한 및 문제를 해결하기 위해, 본 실시예의 자동화된 물체 분할을 위한 기술은 상이한 유형의 병변, 가령, 비증강 및 Gd-증강 T1 병변의 묘사를 분할하기 위해 공동으로 훈련된 다수의(가령, 둘 이상의) 딥 러닝 망을 사용한다. 예를 들어, 데이터 처리 시스템은 3차원 MRI 영상에 액세스한다. 3차원 MRI 영상은 대상체의 뇌의 영역을 묘사하고, 상기 뇌의 영역은 적어도 제1 유형의 병변(가령, 비증강 병변) 및 제2 유형의 병변(가령, Gd-증강 병변)을 포함한다. 3차원 MRI 영상이 다수의 연결형 망, 가령, 제2 콘볼루션 신경망에 연결된 제1 콘볼루션 신경망을 포함하는 머신 러닝 모델로 입력된다. 제1 콘볼루션 신경망의 하나 이상의 층과 제2 콘볼루션 신경망의 하나 이상의 층 사이의 하나 이상의 망 교차 연결에 의해 제1 콘볼루션 신경망이 제2 콘볼루션 신경망에 연결될 수 있다. 제1 콘볼루션 신경망은 3차원 MRI 영상(들)을 입력으로서 사용하여 제1 유형의 병변에 대한 제1 분할 마스크를 생성하도록 구성된다. 제1 분할 마스크는 제1 유형의 병변의 묘사 주위의 제1 추정 분할 경계를 포함한다. 제2 콘볼루션 신경망은 3차원 MRI 영상(들)을 입력으로서 사용하여 제2 유형의 병변에 대한 제2 분할 마스크를 생성하도록 구성된다. 제2 분할 마스크는 제2 유형의 병변의 묘사 주위의 제2 추정 분할 경계를 포함한다. 제1 분할 마스크와 제2 분할 마스크는 병렬로 생성되고 추출된 특징의 세트는 제1 분할 마스크 및 제2 분할 마스크가 생성되는 동안 망 교차 연결을 통해 공유된다. 제1 분할 마스크 및 제2 분할 마스크는 출력될 수 있고 다운스트림에서 추가로 분석될 수 있다(예를 들어, 제1 및 제2 분할 마스크를 사용하여 각각의 유형의 병변의 수를 결정하는 데 사용됨).

II. 의학적 영상을 분할하기 위한 기술

영상 분할은 영상을 형태, 크기, 색상 등과 같은 상이한 특징에서 유사함을 나타내는 부분들로 분리하는 절차이다. 병변의 묘사의 분할에 의해 신체(가령, 뇌)의 한 영역 내 병변의 크기와 위치가 시간화될 수 있으며, 치료 분석의 기초가 제공될 수 있다. 병변 분할의 황금 표준은 오랫동안 수동 분할이었으며, 이는 시간 소모적이고 노동 집약적이어서 대규모 연구에 적합하지 않았다. 병변 분할의 프로세스를 완전히 또는 부분적으로 자동화하기 위해 상당한 연구가 수행되었다. 예를 들어, 영상 분할 기술, 가령, 스레숄딩, 영역 성장, 퍼지 클러스터링, 워터셰드 알고리즘의 사용 등이 정상 조직, 가령, 가령, 뇌의 백질(WM), 회백질(GM) 및 뇌척수액(CSF)의 묘사로부터 비정상 조직(가령, 조직)의 묘사를 분리하기 위해 사용되었다. 그럼에도, 병변 묘사의 형태, 위치 및 크기의 다양성으로 인해 분할 프로세스가 여전히 어렵다.

병변의 묘사를 분할하고 병변 분할(가령, T1 Gd-증강 병변 분할)에 기초하여 치료 반응을 추출하기 위해 다중 3차원 콘볼루션 신경망(CNN)을 사용하는 모델을 포함하는 종단간 방법이 본 명세서에 기재된다. 개발된 모델은 계산적으로 가벼우며(가령, 평균 데스크톱 컴퓨팅 장치 상에서 실행할 수 있고 예를 들어, 몇 분 이내에 필요에 따라 예측을 반환할 수 있음) 3차원 스캔의 복잡성, 다양한 병변 유형 간의 극심한 불균형, 및 입력된 영상의 이질적 속성(가령, 가변 밀도 및 객체 크기)을 수용하도록 고안된다. 본 명세서에서 사용될 때, "스캔"은 대상체의 신체를 통한 단일 평면 상의 신호의 그래픽 표현이다. 모델은 병변 분할에 대해 수동 개입(가령, 시드의 수동 선택 또는 바운딩 박스의 수동 식별)에 의존하는 종래의 알고리즘, 가령, 스레숄딩 방법, 에지 기반 분할 방법, 또는 영역 기반 분할 방법에 비교될 만한 성능을 가지며 그라운드 트루쓰 수동 판독과 높은 상관관계를 보인다.

병변 분할에 의해 획득된 예측 또는 병변 정보는, 단독으로 또는 다른 인자와 함께 사용되어 병변의 수(가령, T1 비증강 병변 및/또는 T1 Gd-증강 병변의 수)를 결정 및/또는 하나 이상의 병변 크기 또는 병변 부하(종종 병변 부하라고도 함)를 결정할 수 있다. 상기 방법은 또한 대상체의 치료 및/또는 예후의 임상 효능을 평가하기 위해 사용될 수 있다. 상기 방법은 또한 예측 및 데이터를 사용하여 하나 이상의 병변의 양, 크기 또는 누적 크기의 변화를 결정하고 변화를 나타내는 출력을 생성하는 데 사용될 수 있다. 모델의 출력은 예측에 기초하여 치료 전략의 변경을 추천하도록 더 사용될 수 있다. 상기 방법은 또한 예를 들어 예측에 적어도 부분적으로 기초하여 다발성 경화증의 대상체의 가능한 또는 확정된 진단에 대응하는 출력을 제공하거나 예측에 적어도 부분적으로 기초하여 대상체를 다발성 경화증으로 진단하여 대상체의 진단을 제공하도록 사용될 수 있다.

II.A. 예시적 컴퓨팅 환경

도 1은 다양한 실시예에 따라 다수의 연결된 네트워크를 갖는 모델을 사용하여 영상 내의 상이한 유형의 병변의 묘사를 분할하기 위한 예시적인 컴퓨팅 환경(100)(즉, 데이터 처리 시스템)을 도시한다. 도 1에 도시된 바와 같이, 이 예에서 컴퓨팅 환경(100)에 의해 수행되는 분할은 영상 획득 단계(105), 모델 훈련 단계(110), 분할 단계(115) 및 분석 단계(120)의 여러 단계를 포함한다.

영상 획득 단계(105)는 대상체의 다양한 부분의 입력 영상(135)(가령, MRI 영상)을 얻기 위한 하나 이상의 영상 시스템(130)(가령, MRI 영상 시스템)을 포함한다. 영상 시스템(130)은 입력 영상(135)을 획득하기 위해 MRI 등과 같은 방사선 영상 기술을 사용하도록 구성된다. 영상 시스템(130)은 각각의 영상 시스템(130)과 연관된 특성(예를 들어, 밝기, 조영 및 공간 해상도)에 기초하여 대상체 내의 다양한 구조 및 기능 사이의 차이를 결정할 수 있고 일련의 2차원 영상을 생성할 수 있다. 일련의 2차원 영상이 스캐너의 컴퓨터에 의해 수집되면, 2차원 영상이 컴퓨터 분석에 의해 디지털 방식으로 "적층"되어 대상체 또는 대상체의 일부분의 3차원 영상을 재구성할 수 있다. 2차원 영상 및/또는 재구성된 3차원 입력 영상(135)에 의해 기본적인 구조(가령, 기관) 및 가능한 병변 또는 이상의 더 쉬운 식별 및 위치 파악이 가능하다. 각각의 2차원 영상 및/또는 재구성된 3차원 입력 영상(135)은 세션 시간 및 대상체에 대응하고 대상체의 내부 영역을 묘사할 수 있다. 각각의 2차원 영상 및/또는 재구성된 3차원 입력 영상(135)은 또한 표준화된 크기, 해상도 및/또는 배율을 가질 수 있다.

모델 훈련 단계(110)는 하나 이상의 모델(140a-140n)('n'은 모델의 총 수를 나타냄)(본 명세서에서 개별적으로 모델(140)로 지칭되거나 총칭하여 모델(140)로 지칭될 수 있음)을 구축하고 훈련한다. 모델(140)은 다수의 망, 가령, 콘볼루션 신경망("CNN"), 가령, 인셉션 신경망, 잔차 신경망("Resnet"), U-Net, V-Net, 단일 샷 멀티박스 검출기("SSD") 망, 또는 순환 신경망("RNN")을 포함하는 머신 러닝("ML") 모델, 가령, 장단기 메모리("LSTM") 모델 또는 게이트 순환 유닛("GRU") 모델, 또는 이들의 임의의 조합일 수 있다. 모델(140)은 또한 이미지로부터의 객체 검출 및/또는 분할에서 훈련된 그 밖의 다른 임의의 적절한 ML 모델, 가령, 3차원 CNN("3DCNN"), 동적 시간 워핑("DTW") 기술, 은닉 마르코프 모델("HMM") 또는 이러한 기술 중 하나 이상의 조합 - 가령, CNN-HMM 또는 MCNN(Multi-Scale Convolutional Neural Network)일 수 있다. 컴퓨팅 환경(100)은 상이한 유형의 병변의 묘사를 분할하기 위해 동일한 유형의 모델 또는 상이한 유형의 모델을 사용할 수 있다. 특정 경우에, 모델(140)은 조합된 비대칭 손실 함수, 예를 들어 각각의 망을 훈련하기 위한 트버스키(Tversky) 손실 및 가중 이진 교차 엔트로피(wBCE) 손실의 조합으로 구성된다. 모델(140) 내 망들의 공동 훈련을 위해, 망에 대한 손실 외에도, 병변 유형과 네트워크로부터의 위양성의 기여도 간 임의의 겹침에 대해 페널티 항이 추가될 수 있다.

이 예에서 모델(140)을 훈련하기 위해, 디지털 영상을 획득하고, 영상을 훈련을 위한 훈련 영상(145a)의 서브세트(예를 들어, 90%)와 검증을 위한 훈련 영상(145b)의 서브세트(예를 들어, 10%)로 분할하고, 훈련 영상(145a)의 서브세트 및 훈련 영상(145b)의 서브세트를 전처리하며, 훈련 영상(145a)의 서브세트를 증강시키고, 일부 경우, 훈련 영상(145a)의 서브세트에 라벨(150)로 주석처리함으로써, 훈련 영상(145)이 생성된다. 훈련 영상(145a)의 서브세트는 하나 이상의 영상 양식(예를 들어, MRI T1, T2, 양성자 밀도(PD) 또는 FLAIR)으로부터 획득된다. 일부 예에서, 훈련 영상(145a)의 서브세트는 하나 이상의 영상 양식과 연관된 데이터 저장 구조, 가령, 데이터베이스, 영상 시스템(가령, 하나 이상의 영상 시스템(130)) 등으로부터 획득된다. 각각의 영상은 하나 이상의 병변을 묘사한다.

분할이 무작위로(예를 들어, 90/10% 또는 70/30%) 수행되거나 분할은 K-폴드(K-Fold) 교차-검증, 리브-원-아웃(Leave-one-out) 교차 검증, 리브-원-그룹-아웃(Leave-one-group-out) 교차 검증, 중첩 교차 검증 등에 따라 수행되어, 샘플링 바이어스 및 과적합을 최소화할 수 있다. 전처리는 바이어스 또는 이득 필드로 알려진 MRI 영상 데이터에 존재하는 저주파수 세기 불균일성을 보정하기 위한 바이어스 필드 보정을 포함할 수 있다. 일부 예에서, 전처리는 엄격한 등록을 사용하여 MNI 템플릿 영상(가령, MNI 공간)으로의 MRI 기준 영상 변환을 식별하는 것을 포함할 수 있다. 일부 경우에, 전처리는 기준 및 두개골 스트리핑에 대한 후속 방문의 엄격한 정합을 포함할 수 있다. 일부 경우에, 전처리는 모든 특징을 동일한 척도(가령, 동일한 크기 척도 또는 동일한 색상 척도 또는 채도 척도)에 놓기 위한 표준화 또는 정규화를 더 포함할 수 있다. 일부 경우에서, 영상은 지정된 픽셀(가령, 2500 픽셀)의 최소 크기(폭 또는 높이) 또는 지정 픽셀(가령, 3000 픽셀)의 최대 크기(폭 또는 높이)로 크기가 조정되고 원본 종횡비로 유지된다.

증강은 데이터세트에서 영상의 수정된 버전을 생성함으로써 훈련 영상(145a)의 서브세트의 크기를 인위적으로 확장하는 데 사용될 수 있다. 원본 영상과 동일한 클래스에 속하는 데이터세트 내 영상의 변환된 버전을 생성함으로써 영상 데이터 증강이 수행될 수 있다. 변환은 영상 조작 분야의 다양한 동작, 가령, 이동, 뒤집기, 줌 등을 포함한다. 일부 경우에서, 동작은 모델(140)이 훈련 영상(145a)의 서브세트로부터 이용 가능한 상황 이외의 상황에서 수행할 수 있도록 보장하기 위해 랜덤 소거, 이동, 밝기, 회전, 가우시안 블러링 및/또는 탄력적 변환을 포함한다.

하나 이상의 사람(주석자, 가령, 방사선 전문의 또는 병리학자)이 훈련 영상(145a)의 서브세트의 각각의 영상에서 하나 이상의 병변의 묘사의 존재를 확인하고 하나 이상의 병변에 라벨(150)을 제공함으로써, 예를 들어, 주석처리 소프트웨어를 이용해 하나 이상의 병변의 묘사를 포함하는 것으로 인간에 의해 확인된 영역 주위에 바운딩 박스(그라운드 트루쓰) 또는 분할 경계를 그림으로써, 주석처리가 수동으로 수행될 수 있다. 어떤 경우에, 병변일 확률이 50%를 초과하는 경우에만 바운딩 상자 또는 분할 경계가 그려질 수 있다. 다수의 주석자에 의해 주석 처리된 영상의 경우, 모든 주석자로부터의 바운딩 박스 또는 분할 경계가 사용될 수 있다. 일부 경우, 주석 데이터는 병변 유형을 추가로 나타낼 수 있다. 예를 들어, 다양한 유형의 병변에 대해, 주석 데이터는 유형, 가령, T2 고강도 병변 또는 T1 저강도 병변을 나타낼 수 있다.

일부 경우, 훈련 영상(145)의 서브세트가 훈련 데이터 세트(즉, 훈련 영상(145a)의 서브세트) 내에 포함되도록 주석자 장치로 전송될 수 있다. 입력은 (예를 들어) 영상이 관심 객체(가령, 병변, 장기 등)을 묘사하는지 여부, 상기 영상 내에 묘사된 병변의 수 및 유형, 및 상기 영상 내 각각의 묘사된 병변의 둘레(바운딩 박스 또는 분할 경계)를 나타내는 (예를 들어) 마우스, 트랙 패드, 스타일러스 및/또는 키보드를 이용해 (가령, 방사선 전문의에 의해) 주석자 장치로 제공될 수 있다. 주석 장치는 각각의 영상에 대한 라벨(150)을 생성하기 위해 제공된 입력을 사용하도록 구성될 수 있다. 예를 들어, 라벨(150)은 영상 내에 묘사된 병변의 수 및/또는 유형, 각각의 묘사된 병변에 대한 유형 분류, 특정 유형의 각각의 묘사된 병변의 수, 및 영상 내의 하나 이상의 식별된 병변의 둘레 및/또는 마스크를 포함할 수 있다. 일부 경우, 라벨(150)은 의학적 영상 상으로 오버레이된 하나 이상의 식별된 병변의 둘레 및/또는 마스크를 더 포함할 수 있다.

일부 경우, 모델(140)은 뇌의 3차원(3D) 패치의 디지털 영상을 처리하도록 훈련 및 사용된다. 훈련 데이터는 각각이 하나 이상의 병변의 적어도 일부를 묘사하는 훈련 MRI 영상의 제1 서브세트 및 각각 임의의 병변의 묘사가 결여된 훈련 MRI 영상의 제2 서브세트를 포함한다. 훈련 데이터는 상이한 MRI 시퀀스 유형을 사용하여 생성된 영상을 포함할 수 있다. 예를 들어, 훈련 데이터세트는 T1 시퀀스, T2 시퀀스 및 FLAIR 시퀀스를 사용하여 생성된 3차원 MRI 영상을 포함할 수 있다. 훈련 데이터는 병변을 묘사하는 MRI 영상과 병변을 묘사하지 않는 MRI 영상에 대한 라벨을 포함할 수 있다. 라벨은 데이터베이스 또는 제공자 시스템으로부터 수신된 데이터로부터 수신, 식별 또는 파생될 수 있다. 라벨 데이터는 (예를 들어) - 단일 영상의 경우 - 영상이 병변의 적어도 일부를 묘사하는지 여부, 영상 내에 적어도 부분적으로 묘사된 병변의 양, 병변의 적어도 일부를 묘사하는 영상 내의 위치(가령, 특정 복셀), 영상 내 특정 위치에서 또는 영상 내에 적어도 부분적으로 묘사된 병변의 유형(가령, 증강 병변 또는 비증강 병변) 등에 대한 표시자를 포함할 수 있다.

모델(140)을 훈련시키는 데 사용되는 훈련 데이터는 조영제, 가령, 가돌리늄(Gd)이 대상체에 투여된 후에 수집되는 MRI 영상, 하나 이상의 조영-증강된 병변(이른바 Gd-증강 병변)의 적어도 일부분을 묘사하는 MRI 영상, 대상체에 투여된 조영제 없이 수집되는 MRI 영상, 조영제가 대상체에 투여되기 전에 수집된 MRI 영상, 및/또는 어떠한 조영-증강된 병변도 묘사하지 않는 MRI 영상을 포함할 수 있다. 예를 들어, 모델(140)은 대상체에게 최근에 조영제를 투여하지 않고 수집된 영상으로만, 대상체에게 최근에 조영제를 투여한 후 수집된 영상으로만, 또는 두 가지 유형의 영상 모두 중 일부로 훈련될 수 있다. 조영제가 투여된 후 수집된 영상은, 일부 경우에, 혈-뇌 장벽이 온전한 상황 및/또는 주어진 스캔이 조영제가 이동한 뇌 영역을 묘사하지 않을 때 어떠한 증강 병변도 묘사하지 않을 수 있음이 자명할 것이다.

특정 경우에, 모델(140)은 wBCE(weighted binary cross entropy) 손실 또는 트버스키(Tversky) 손실을 사용하여 훈련된다. 트버스키(Tversky) 손실은 예측에서 위양성을 줄일 수 있으며 wBCE는 더 작은 병변을 식별하는 데 도움이 될 수 있다. 또한, 트버스키 손실과 wBCE 손실의 조합이 사용되어 손실을 계산할 수 있다. 다음 수식(1)이 트버스키 손실에 사용될 수 있다:

, 수식(1)

상기 수식(1)에서,

는 복셀 i가 병변 클래스(가령, T1 비증강, Gd-증강)에 속할 모델 예측 확률이고

는 복셀이 병변 클래스에 속하지 않을 확률이다. 마찬가지로,

및

는 복셀이 병변 클래스에 속하거나 그라운드 트루쓰 주석에 있는지 여부를 나타낸다. β는 위양성(FP)으로부터의 기여도를 가중화하고 (1-β)는 위음성(FN)으로부터의 기여도를 가중화한다. 다음 수식(2)이 wBCE에 대해 사용될 수 있다:

수식(2)

위의 수식(2)에서, g 및 p는 각각 그라운드 트루쓰 및 모델 예측 병변 마스크를 나타낸다. 작은 병변을 검출하기 위한 감도를 개선하기 위해 wBCE 손실이 추가될 수 있다. 그러나 wBCE는 FP를 증가시킬 수 있다. 이를 설명하기 위해, 트버스키 손실 항에서 FP가 FN보다 더 가중화될 수 있다. 손실은 수식(3)을 사용하여 계산된다:

수식(3)

공동 훈련을 위해, 다수의 망에 대한 손실에 추가로, 다음의 수식(4)을 이용해, 두 가지 병변 유형의 겹침 및 망으로부터의 위양성의 기여도에 대한 항이 추가될 수 있다:

수식(4)

상기 수식(4)에서,

및

는 T1 비증강 및 Gd-증강 병변을 분할하기 위한 탑 및 바텀 모델의 손실에 대응하며,

및

는 비증강 병변에 대한 예측된 모델 및 그라운드 트루쓰(GT) 마스크에 대응하며,

및

는 Gd-증강 병변에 대한 예측된 모델 및 GT 마스크에 대응한다. Gd-증강 병변의 더 낮은 출현율을 설명하기 위해

는

보다 더 가중될 수 있다.

모델(140)에 대한 훈련 프로세스는 모델(140)에 대한 하이퍼파라미터를 선택하고 영상(145a)의 서브세트로부터의 영상을 모델(140)로 입력하는 반복 동작을 수행해 모델(140)에 대한 손실 또는 오차 함수를 최소화하는 모델 파라미터(가령, 가중치 및/또는 바이어스)의 세트를 찾는 것을 포함한다. 하이퍼파라미터는 모델(140)의 거동을 제어하기 위해 조정되거나 최적화될 수 있는 설정이다. 대부분의 모델은 모델의 상이한 양태, 가령, 실행의 메모리 또는 비용을 제어하는 하이퍼파라미터를 명시적으로 정의한다. 그러나 모델을 특정 시나리오에 맞게 조정하기 위해 추가 하이퍼파라미터가 정의될 수 있다. 예를 들어, 하이퍼파라미터는 모델의 은닉 유닛의 수, 모델의 학습률, 콘볼루션 커넬의 폭, 또는 모델에 대한 커넬의 수를 포함할 수 있다. 훈련의 각각의 반복구간은 모델 파라미터의 세트를 이용한 손실 또는 오차 함수의 값이 이전 반복구간에서의 모델 파라미터의 상이한 세트를 이용한 손실 또는 오차 함수의 값보다 작도록 (하이퍼파라미터의 정의된 세트로 구성된) 모델(140)에 대한 모델 파라미터의 세트를 찾는 것을 포함할 수 있다. 손실 또는 오차 함수는 모델(140)을 사용하여 추론된 출력과 라벨(150)을 사용하여 영상에 주석이 달린 그라운드 트루쓰 분할 경계 간 차이를 측정하도록 구성될 수 있다.

모델 파라미터의 세트가 식별되면, 모델(140)이 훈련되었고 훈련 영상(145b)의 서브세트(테스트 또는 검증 데이터 세트)를 사용하여 검증될 수 있다. 검증 프로세스는 하이퍼파라미터를 조정하고 하이퍼파라미터의 최적 세트를 궁극적으로 찾기 위해 검증 기법, 가령, K-폴드 교차 검증, 리브-원-아웃 교차 검증, 리브-원-그룹-아웃 교차 검증, 중첩 교차 검증 등을 이용해 훈련 영상(145b)의 서브세트의 영상을 모델(140)로 입력하는 반복 동작을 포함한다. 하이퍼파라미터의 최적 세트가 획득되면, 훈련 영상(145b)의 서브세트로부터 영상의 예약된 테스트 세트가 모델(140)에 입력되어 출력(이 예에서, 하나 이상의 병변의 묘사 주위의 분할 경계)을 획득할 수 있고, 상기 출력은 상관 기법, 가령, 블랜드 알트만(Bland-Altman) 방법 및 스피어맨(Spearman)의 순위 상관 계수를 이용하고 성능 메트릭, 가령, 오차, 정확도, 정밀도, 재현율, 수신자 동작 특성 곡선(ROC) 등 을 계산하여 그라운드 트루쓰 분할 경계에 대해 평가된다.

그 밖의 다른 훈련/검증 메커니즘이 고려되고 컴퓨팅 환경(100) 내에서 구현될 수 있음이 자명할 것이다. 예를 들어, 모델은 훈련될 수 있고 하이퍼파라미터가 훈련 영상(145a)의 서브세트의 영상에서 조정될 수 있고 훈련 영상(145b)의 서브세트의 영상은 모델의 성능을 테스트하고 평가하기 위해서만 사용될 수 있다. 또한, 본 명세서에 기재된 훈련 메커니즘이 새로운 모델(140)을 훈련하는 데 초점을 맞추지만, 이들 훈련 메커니즘은 다른 데이터세트로부터 훈련된 기존 모델(140)을 미세 조정하는 데에도 활용될 수 있다. 예를 들어, 일부 경우에, 모델(140)은 다른 객체 또는 생물학적 구조의 영상을 이용해 또는 다른 대상체의 또는 연구(가령, 인간 실험 또는 쥐 실험)의 섹션으로부터의 영상을 이용해 사전-훈련되었을 수 있다. 그러한 경우에, 모델(140)은 전이 러닝(transfer learning)을 위해 사용될 수 있고 입력 영상(135)을 사용하여 재훈련/검증될 수 있다.

모델 훈련 단계(110)는 다수의 망(가령, 제2 U-Net에 연결된 제1 U-Net)을 포함하는 하나 이상의 훈련된 분할 모델(165)을 포함하는 훈련된 모델을 출력한다. 하나 이상의 의학적 입력 영상(135)은 분할 단계(115) 내의 분할 제어기(170)에 의해 획득된다. 다양한 경우에, 의학적 입력 영상(135)은 3차원 MRI 영상이다. 각각의 3차원 MRI 영상은 대상체의 뇌의 동일한 영역을 묘사한다. 뇌의 영역은 적어도 제1 유형의 병변(가령, T1 비증강 병변) 및 제2 유형의 병변(가령, T1 Gd-강화 병변)을 포함한다. 각각의 3차원 MRI 영상은 전체 MRI 영상의 3차원 패치를 포함한다. 3차원 패치는 전체 3차원 MRI 영상의 복셀의 서브세트일 수 있다. 일부 예에서, 제1 3차원 MRI 영상은 제2 3차원 MRI 영상을 생성하는 데 사용되는 제2 유형의 MRI 시퀀스와 상이한 제1 유형의 MRI 시퀀스를 사용하여 생성될 수 있다. 특정 경우에, 상이한 MRI 시퀀스를 사용하여 획득된 3차원 MRI 영상은 적층되고 동시에 분할 모델(165)로의 입력으로서 사용될 수 있다. 예를 들어, 상이한 MRI 시퀀스, 가령, FLAIR, T1 조영 전, 및 T1 조영 후를 이용해 생성된 다수의(가령, 3개의) 연접한 슬라이스가 채널 차원을 따라 적층되고 동시에 분할 모델(165)로의 입력으로서 동시에 사용될 수 있다.

일부 예에서, 3차원 MRI 영상은 분할 모델(165)에 입력되기 전에 전처리된다. 예를 들어, FLAIR MRI 영상은 강도 재조정되고 z 점수가 산출될 수 있다. 추가로, T1 조영 전 영상에 비한 T1 조영 후 영상 내 병변의 강도의 증가를 포착하기 위해, 체적이 공동으로 정규화(가령, 체적들 간 강도 관계를 비율조정한 채 유지)될 수 있다. 조영 전 스캔에서 뇌의 평균 및 표준 편차를 이용해 두 체적 모두의 z-점수가 산출될 수 있다. 대안으로 시퀀스 내 상대적 조영이 주어진 출력 작업에 대해 충분한 경우, T1 조영 후 영상 및 T1 조영 전 영상이, FLAIR MRI 영상과 유사하게, 독립적으로 z-점수에 의해 정규화될 수 있다.

분할 제어기(170)는 다수의 연결된 망을 포함하는 훈련된 분할 모델(165)을 이용해 각각의 3차원 MRI 영상을 처리하기 위한 프로세스를 포함한다. 훈련된 분할 모델(165)은 스캐너에 또는 클라우드 환경 내 소프트웨어로 배포될 수 있다. 일부 경우, 다수의 연결된 망은 제1 콘볼루션 신경망의 하나 이상의 층과 제2 콘볼루션 신경망의 하나 이상의 층 사이의 하나 이상의 망 교차 연결에 의해 제2 콘볼루션 신경망에 연결된 제1 콘볼루션 신경망을 포함한다. 망 교차 연결은 제1 유형의 병변(가령, 비증강 병변)의 병변 특징을 촉진시켜 제2 유형의 병변(가령, Gd-증강 병변)을 분할하기 위한 특징의 선택에 영향을 미칠 수 있다. 예를 들어, 상이한 유형의 병변을 분할하기 위한 특징은 주로 크거나 테두리-증강 병변에 대해 느슨하게 결합되어 있으므로 망 교차 연결은 다수의 연결된 망의 확장 경로가 아니라 다수의 연결된 망의 수축 경로 상에만 추가될 수 있다. 특징 변환(가령, 3×3×3) 및 압축(가령, 1×1×1) 블록이 추가되어 제1 유형의 병변의 병변 특징을 조정하여 제2 유형의 병변을 분할하는 데 관련되도록 할 수 있다. 압축 블록은 콘볼루션 층(convolution layer), 배치 놈 층(batch norm layer), 및 활성화 층(activation layer)의 세트를 포함할 수 있다. 압축 블록의 출력은 제2 콘볼루션 신경망에 대한 제1 콘볼루션 신경망에서 유사한 레벨에서 인코딩 블록의 출력으로 연결(concatenate)될 수 있다. 그런 다음 연결된 특징은 제2 유형의 병변을 분할하기 위해 제2 콘볼루션 신경망의 다음 레벨에서 인코딩 블록에 대한 입력으로서 제공될 수 있다.

일부 실시예에서, 다수의 연결된 망은 각각의 영상을 병렬로 처리한다. 각각의 영상이 병렬로 처리되는 경우, 다수의 연결된 망은 각각의 영상을 동시에 또는 실질적으로 동시에 처리하고, 추출된 특징의 세트가 제1분할 마스크 및 제2분할 마스크를 생성하는 동안 하나 이상의 망 교차 연결을 통해 공유된다. 제1 유형의 병변(가령, T1 비증강 병변)을 분할하기 위한 제1 콘볼루션 신경망을 망 교차 연결을 사용하여 제2 유형의 병변(가령, T1 Gd-증강 병변)을 분할하기 위한 제2 콘볼루션 신경망에 연결하는 이러한 설계 구성은 그 반대나 공유 층을 사용하는 것보다 유리하다. 제2 유형의 병변의 출현율이 낮을 수 있으므로, 다른 가능한 구성에서 제2 유형의 병변이 없는 경우 유용한 정보가 거의 없을 수 있다. 처리는 3차원 MRI 영상을 입력으로서 취하는 제1 콘볼루션 신경망을 사용하여 제1 유형의 병변에 대한 제1 분할 마스크를 생성하는 것을 포함한다. 제1 분할 마스크는 제1 유형의 병변의 묘사 주위의 제1 추정 분할 경계를 포함한다. 처리는 3차원 MRI 영상을 입력으로서 취하는 제2 콘볼루션 신경망을 사용하여, 제2 유형의 병변에 대한 제2 분할 마스크를 생성하는 것을 더 포함한다. 제2 분할 마스크는 제2 유형의 병변의 묘사 주위의 제2 추정 분할 경계를 포함한다. 분할 제어기(170)는 제1 분할 마스크와 제2 분할 마스크로부터의 정보를 조합함으로써 최종 영상 마스크(175)를 생성할 수 있다. 최종 영상 마스크(175)는 상기 제1 유형의 병변 및 상기 제2 유형의 병변의 조합을 나타내는 병변의 새로운 세트의 묘사 주위의 추정 분할 경계를 포함한다. 분할 제어기(170)는 제1 분할 마스크, 제2 분할 마스크, 및/또는 최종 영상 마스크(175)를 출력하기 위한 프로세스를 더 포함한다.

다른 실시예에서, 다수의 연결된 망은 각각의 영상을 캐스케이드 형 배열로 (예를 들어, 순차적으로 또는 실질적으로 순차적으로) 처리하고 추출된 특징의 세트는 이전 망으로부터 다음 망과 공유된다. 처리는 (i) 3차원 MRI 영상을 입력으로서 취하는 제1 콘볼루션 신경망을 이용해 제1 유형의 병변에 대한 제1 분할 마스크를 생성하는 단계, (ii) 3차원 MRI 영상 상이 제1 분할 마스크를 입력으로서 취하는 제2 콘볼루션 신경망을 이용해 제2 유형의 병변에 대한 제2 분할 마스크를 생성하는 단계, 및 (iii) 제1 분할 마스크 및 제2 분할 마스크로부터의 정보를 조합함으로써 최종 영상 마스크(175)를 생성하는 단계를 포함한다. 최종 영상 마스크(175)는 제1 유형의 병변의 묘사 주위의 제1 추정 분할 경계 및/또는 제2 유형의 병변 주위의 제2 추정 분할 경계를 포함한다. 분할 제어기(170)는 최종 영상 마스크(175)를 출력하기 위한 프로세스를 더 포함한다.

제1 분할 마스크, 제2 분할 마스크, 및/또는 최종 영상 마스크(175)가 분석 단계(120) 내 분석 제어기(180)로 전송될 수 있다. 분석 제어기(180)는 제1 분할 마스크, 제2 분할 마스크, 및/또는 최종 영상 마스크(175)를 획득 또는 수신하고 제1 분할 마스크, 제2 분할 마스크, 및/또는 최종 영상 마스크(175)에 기초하여 분석 결과(185)를 결정하기 위한 프로세스를 포함한다. 분석 제어기(180)는 제1 분할 마스크를 이용해 제1 유형의 병변의 수, 제2 분할 마스크를 이용해 제2 유형의 병변의 수, 및/또는 최종 영상 마스크(175)를 이용해 병변의 새로운 세트 내 병변의 수를 결정하기 위한 프로세스를 더 포함할 수 있다. 분석 제어기(180)는 제1 분할 마스크, 제2 분할 마스크, 및/또는 최종 영상 마스크(175)를 이용해 하나 이상의 병변 크기 또는 병변 부하를 결정하기 위한 프로세스를 더 포함할 수 있다. 분석 제어기(180)는 이전 MRI에 대응하는 데이터를 액세스하고, 상기 제1 분할 마스크, 상기 제2 분할 마스크, 및/또는 상기 최종 영상 마스크(175) 및 상기 데이터를 이용해 하나 이상의 병변의 수량, 크기 또는 누적 크기의 변화를 결정하며, 상기 변화를 나타내는 출력을 생성하기 위한 프로세스를 더 포함할 수 있다. 분석 제어기(180)는 제1 분할 마스크, 제2 분할 마스크, 및/또는 최종 영상 마스크(175)에 기초하여 치료 전략의 변경을 추천하기 위한 프로세스를 더 포함할 수 있다. 분석 제어기(180)는 제1 분할 마스크, 제2 분할 마스크, 및/또는 최종 영상 마스크(175)에 적어도 부분적으로 기초하여 다발성 경화증의 대상체의 가능한 또는 확정된 진단에 대응하는 출력을 제공하기 위한 프로세스를 더 포함할 수 있다. 분석 제어기(180)는 제1 분할 마스크, 제2 분할 마스크, 및/또는 최종 영상 마스크(175)에 적어도 부분적으로 기초하여 다발성 경화증으로 대상체를 진단하기 위한 프로세스를 더 포함할 수 있다. 분석 제어기(180)는 제1 분할 마스크, 제2 분할 마스크, 및/또는 최종 영상 마스크(175)에 적어도 부분적으로 기초하여 치료 반응을 평가 및/또는 예측하기 위한 프로세스를 더 포함할 수 있다.

본 명세서에 개시된 머신 러닝 모델은 다양한 유형의 병변의 묘사를 검출하기 위해 훈련되고 사용될 수 있음을 이해할 것이다. 예를 들어, 비-증강 T2 병변이 검출될 수 있고, 증강 T1 병변이 검출될 수 있는 등이다. 일부 경우, 본 명세서에 개시된 머신 러닝 모델은 블랙 홀을 검출하기 위해 훈련되고 사용될 수 있다.

일부 실시예에서, 위양성 예측은 혈관 추적을 사용하여 감소될 수 있다. 혈관은 Gd-증강 병변에 대한 위양성의 상당 부분에 기여할 수 있다. 영역 성장은 T1 조영 후 영상에서 뇌 내 상위 3 퍼센타일(>= 97번째) 복셀의 강도를 갖는 복셀에 대해 사용될 수 있다. 가장 큰 혈관 트리가 유지될 수 있으며 뇌의 경계가 증강될 수 있다. 지정 임계값(가령, 30%) 초과의 혈관 트리와 겹치는 병변이 제거되어 위양성의 수를 줄일 수 있다.

명시적으로 도시되지는 않았지만, 컴퓨팅 환경(100)은 개발자와 연관된 개발자 장치를 더 포함할 수 있음이 이해될 것이다. 개발자 장치에서 컴퓨팅 환경(100)의 구성요소로의 통신은 어떤 유형의 입력 영상이 모델에 대해 사용될 것인지, 사용될 모델의 수와 유형, 각각의 모델의 하이퍼파라미터, 예를 들어, 학습률 및 은닉 층의 수, 데이터 요청이 포맷팅되는 방식, 어느 훈련 데이터가 사용될 것인지(가령, 그리고 훈련 데이터에의 액세스를 획득하는 방법) 및 어느 검증 기술이 사용될 것인지 및/또는 제어기 프로세스가 구성될 방식을 나타낼 수 있다.

II.B. 다수의 연결된 망을 포함하는 예시적 모델

도 2에 도시된 실시예에서, 머신 러닝 모델 내 다수의 망이 집합적으로 사용되어 3차원 MRI 영상 내에 묘사된 상이한 유형의 병변을 검출할 수 있다. 도 2는 비증강 병변을 분할하는 데 사용되는 제1 수정 U-Net(205) 및 Gd-증강 병변을 분할하는 데 사용되는 제2 수정 U-Net(210)을 포함하는 예시적인 모델(200)을 도시한다. 수정 U-Net(205; 210)은 3개의 레벨을 가지며 비교적 얕다. 수정 U-Net(205; 210)은 각각 수축 경로(215)(인코더) 및 확장 경로(220)(디코더)를 포함하며, 망에 u-형태 아키텍처를 제공한다. 수축 경로(215)의 각각의 인코딩 블록(225)은 콘볼루션(3x3x3 커넬) 층, 배치 놈 층, 및 ReLU(rectified linear unit) 활성화 층의 두 세트로 구성된다. 수정 U-Net(205; 210)은 훈련 동안 드롭아웃 층(dropout layer)을 사용하여 역전파 동안 구배의 용이한 전파를 위해 과적합 및 잔차 연결을 회피할 수 있다. 각각의 망은 각각의 척도에서 점진적으로 증가하는 수의 특징 맵으로 수축 경로(215)에서 특징을 추출한다. 특징 맵은 슬라이스 차원을 따라 제한된 커버리지를 설명하기 위해 비등방성 커넬(230)(1×3×3)과 함께 스트라이드 콘볼루션을 사용하여 다운샘플링된다. 이에 따라, 수축 경로(215)에서 특징 맵은 보간 층(235)을 사용하여 업샘플링(1×2×2)된다. 세분화된 세부사항이 있는 수축 경로(215)로부터의 건너뛰기 특징은 업샘플링된 시맨틱 특징과 연결되고 결합된 특징은 수축 경로(215)에서 사용된 것과 유사한 잔차 콘볼루션 블록(240)을 사용하여 정제된다. 최상위 레벨의 디코딩 블록 특징은 중간 레벨에서의 업샘플링된 정제된 특징과 연결되고 최종 콘볼루션 및 활성화 층을 통과하여 병변 분할 확률을 생성할 수 있다.

수정 U-Net(205; 210)은 비증강 병변을 분할하기 위한 제1 수정 U-Net(205)의 인코딩 블록으로부터 Gd-증강 병변을 분할하기 위한 제2 수정 U-Net(210)의 인코딩 블록으로 망 교차 연결(245)에 의해 연결된다. 망 교차 연결(245)은 제1 수정 U-Net(205)의 디코딩 블록을 제2 수정 U-Net(210)의 디코딩 블록에 추가로 연결할 수 있다. 이들 망 교차 연결(245)에 의해 비증강 병변 특징이 Gd-증강 병변 특징에 영향을 미칠 수 있다. 추출된 특징은 망 교차 연결(245)을 통해 공유되어 비증강 병변의 묘사에 대한 제1 분할 마스크가 Gd-증강 병변의 묘사에 대한 제2 분할 마스크와 병렬로 생성될 수 있다. 망 교차 연결(245)을 사용하여 Gd-증강 병변을 분할하기 위한 제2 수정 U-Net(210)에 비증강 병변을 분할하기 위한 제1 수정 U-Net(205)을 연결하는 이러한 설계 구성은 그 반대의 경우나 공유 층을 사용하는 것보다 유리하다. 이는 Gd-증강 병변의 출현율이 낮기 때문이며, 이는 다른 가능한 구성에서 Gd-증강 병변이 없는 경우 유용한 정보가 없을 수 있음을 의미합니다. 또한, 수정 U-Net(205; 210)은 손실 함수를 최소화함으로써 공동으로 훈련될 수 있다. 수정 U-Net(205; 210)으로부터 병변 유형들 간 임의의 겹침 및 위양성에 대해 손실 함수에 페널티 항이 포함되어, 더 작고 약하게 증강된 병변에 대한 위양성을 감소시킬 수 있다.

예를 들어, 상이한 유형의 병변을 분할하기 위한 특징은 주로 크거나 테두리-증강 병변에 대해 느슨하게 결합되어 있으므로 망 교차 연결(245)은 확장 경로(220)가 아니라 수축 경로(215) 상에만 추가될 수 있다. 특징 변환(3x3x3) 및 압축(1x1x1) 블록(250)은 Gd-증강 병변을 분할하는 것과 관련되도록 비증강 병변 특징을 적응시키기 위해 추가된다. 각각의 블록(250)은 콘볼루션 층, 배치 놈 층, 및 활성화 층의 세트를 포함한다. 압축 블록(250)의 출력은 제2 수정 U-Net(210)에 대해 제1 수정 U-Net(205)의 (225)와 유사한 레벨에서 인코딩 블록의 출력에 연결된다. 연결된 특징은 Gd-증강 병변을 분할하기 위해 수정 U-Net(210)의 다음 레벨에서 인코딩 블록에 대한 입력으로 제공된다.

II.C. 예시적인 프로세스

도 3은 다양한 실시예에 따라 다수의 연결된 망을 갖는 모델을 사용하여 영상 내의 상이한 유형의 병변의 묘사를 분할하기 위한 예시적인 프로세스 환경을 도시한다. 블록(302)에서, 대상체의 뇌를 묘사하는 3차원 MRI 영상이 액세스된다. 대상체의 뇌는 적어도 제1 유형의 병변(가령, T1 비증강 병변) 및 제2 유형의 병변(가령, T1 Gd-증강 병변)을 포함한다. 3차원 MRI 영상은 영상 시스템(가령, 영상 시스템(130))으로부터 분할 제어기(가령, 분할 제어기(170))에 의해 액세스될 수 있다.

블록(304)에서, 3차원 MRI 영상은 제1 콘볼루션 신경망(가령, 제1 수정 U-Net(205))을 포함하고 제2 콘볼루션 신경망(가령, 제2 수정 U-Net(210))을 포함하는 머신 러닝 모델로 입력된다. 제1 콘볼루션 신경망의 하나 이상의 층과 제2 콘볼루션 신경망의 하나 이상의 층 사이의 하나 이상의 망 교차 연결에 의해 제1 콘볼루션 신경망이 제2 콘볼루션 신경망에 연결된다. 망 교차 연결이 제1 콘볼루션 신경망의 인코딩 블록에서 제2 콘볼루션 신경망의 인코딩 블록으로 이뤄질 수 있다. 또한, 망 교차 연결이 제1 콘볼루션 신경망의 디코딩 블록에서 제2 콘볼루션 신경망의 디코딩 블록으로 이뤄질 수 있다. 각각의 망 교차 연결이 특징 변환 블록 및 압축 블록을 포함할 수 있다.

블록(306)에서, 제1 유형의 병변에 대한 제1 분할 마스크가 3차원 MRI 영상을 입력으로서 취하는 제1 콘볼루션 신경망을 사용하여 생성된다. 제1 분할 마스크는 제1 유형의 병변의 묘사 주위의 추정 분할 경계를 포함한다.

블록(308)에서, 제2 유형의 병변에 대한 제2 분할 마스크는 3차원 MRI 영상을 입력으로서 취하는 제2 콘볼루션 신경망을 사용하여 생성된다. 제2 분할 마스크는 제2 유형의 병변의 묘사 주위의 제2 추정 분할 경계를 포함한다. 제1 분할 마스크와 제2 분할 마스크는 병렬로 생성되고 추출된 특징의 세트는 제1 분할 마스크 및 제2 분할 마스크가 생성되는 동안 하나 이상의 교차 연결 망 연결을 통해 공유된다.

블록(310)에서, 제1 분할 마스크 및 제2 분할 마스크가 출력된다. 제1 유형의 병변의 수가 제1 분할 마스크를 이용해 결정 및/또는 제2 유형의 병변의 수가 제2 분할 마스크를 이용해 결정될 수 있다. 제1 분할 마스크 및/또는 제2 분할 마스크를 이용해 하나 이상의 병변 크기 또는 병변 부하가 결정될 수 있다. 이전 MRI에 대응하는 데이터가 액세스될 수 있고, 제1 분할 마스크 및/또는 제2 분할 마스크를 이용해 하나 이상의 병변의 수량, 크기 또는 누적 크기의 변화 및 데이터가 결정될 수 있으며, 변화를 나타내는 출력이 생성될 수 있다. 제1 분할 마스크 및/또는 제2 분할 마스크에 기초하여 치료 전략에 대한 변경이 추천될 수 있다. 추가로 또는 대안으로, 제1 분할 마스크 및/또는 제2 분할 마스크에 적어도 부분적으로 기초하여 다발성 경화증의 대상체의 가능한 또는 확정된 진단에 대응하는 출력이 제공될 수 있다. 대상체는 제1 분할 마스크 및/또는 제2 분할 마스크에 적어도 부분적으로 기초하여 다발성 경화증으로 진단될 수 있다. 일부 경우, 치료 반응이 제1 분할 마스크 및/또는 제2 분할 마스크에 적어도 부분적으로 기초하여 평가 및/또는 예측될 수 있다.

III. 예시

다양한 실시예에서 구현되는 시스템 및 방법은 다음 예를 참조함으로써 더 잘 이해될 수 있다.

III.A 예 1. - 병변 분할

딥 러닝을 통한 다발성 경화증의 임상 시험에서 T1 Gd-증강 병변 부담에 대한 치료 반응 검출.

III.A.i. 배경기술

오크렐리주맙(OCR)이 MS의 재발성 및 원발성 진행성 형태의 치료용으로 승인된 인간화 항-CD20+ 단클론 항체이다. OCR은 T1 Gd-증강 병변의 수의 감소로 나타난 바와 같이 염증의 새로운 영역의 발생을 억제한다. 딥 러닝(DL) 기반 병변 분할은 이들 수동 읽기를 자동화할 수 있는 잠재력을 가지며, 더 빠르고 더 재현 가능한 정량화를 가능하게 한다.

III.A.ii. 물질 및 방법

병변 분할 모델은 재발 완화성 다발성 경화증(RRMS) 환자에 대한 두 개의 동일한 3상, 다기관, 무작위, 이중 맹검, 이중 더미 및 병렬 그룹 시험의 MRI 데이터세트를 사용하여 개발되었다. (오페라 1: NCT01247324, n=898; 오페라 2: NCT01412333, n=905). 다양한 제조업체로부터의 1.5T(~0.8%) 및 3T(~0.2%) 스캐너에서 데이터가 수집되었다. ~1×1×3 mm3 해상도의 T1w(조영 전 및 조영 후), T2w, FLAIR 및 PD 영상을 포함한 표준화된 종래의 뇌 MRI가 기준, 24주, 48주 및 96주에 수행되었다. 축 방향 3mm T1 가중 슬라이스(3D 손상 경사 에코, 반복 시간 = 28-30 ms, 에코 시간 = 5-11 ms, 플립 각도 = 27-30)가 Gd 주입 전후(0.1 mmol/kg, 주입 후 지연 10분)에 획득되었다. 2D 고속 스핀-에코, 반복 시간 = 4000-6190 ms, 에코 시간 = 74-91 ms 및 에코 훈련 길이 = 7-11로 축방향 3mm T2-가중 슬라이스가 획득되었다. MRI 데이터의 전처리는 바이어스 필드 보정, MNI 템플릿에 대한 기준 영상의 엄격한 정합, 기준 및 두개골 스트리핑에 대한 후속 방문의 엄격한 정합을 포함했다.

시험의 일부로 수집된 수동 전문가 주석은 분할 모델을 훈련하기 위해 그라운드 트루쓰(GT: ground truth) 마스크로 사용되었다. T2 고강도 병변은 반자동 접근법을 사용하여 분할되었으며, 여기서 초기 자동 분할은 최종 T2 병변 마스크를 생성하기 위해 신경 방사선 전문의에 의해 수동으로 보정되었다. T1 저강도/비증강 병변의 초기 분할은 백질 내 대부분의 복셀보다 낮은 T1w 강도를 갖는 T2 병변 마스크 내의 영역을 포함했으며 조영 후 스캔 상에 Gd-증강을 보이지 않았다. 그런 다음 이 초기 마스크는 전문 판독자에 의해 수동으로 보정되어 최종 T1 비증강 병변 마스크를 만들었다. Gd-증강 병변이 수동으로 분할되었다. 여기서 조영 증강은 조영 후 스캔 상에서 적어도 20%만큼 강도의 증가로서 정의되고 3 복셀의 최소 크기 임계값이 비증강 및 증강 병변 모두에 대해 사용되었다. 새로운 T1 비증강 병변은 기준 및 후속 시점에서 병변 분할의 차이에 기초하여 식별되었고 그 후 전문 판독자에 의해 검토되어 분할 변동성 및 가능한 오-정합으로 인한 거짓 차이를 보정할 수 있다.

III.A.iii. 네트워크 아키텍처

모델의 네트워크 아키텍처는 도 2와 관련하여 여기에서 도시되고 설명된다. 일반적으로, 모델은 비증강 병변을 분할하는 데 사용되는 제1 수정 U-Net 및 Gd-증강 병변을 분할하는 데 사용되는 제2 수정 U-Net을 포함했다. 제1 수정 U-Net의 인코딩 블록에서 제2 수정 U-Net의 인코딩 블록으로의 다수의 망 교차 연결을 이용해 제1 수정 U-Net은 제2 수정 U-Net으로 연결된다. 각각의 망 교차 연결은 특징 변환 블록 및 압축 블록을 포함한다.

III.A.iv. 망 훈련 및 후속 추론

오페라 I 시험으로부터의 영상이 망을 공동 훈련하는 데 사용되었으며 70% - 30% 데이터 분할이 훈련 및 검증에 사용되었다. 망은 오페라 II 시험으로부터 영상으로 테스트되었다.

FLAIR 영상은 강도 재조정되고 z-점수가 산출되었다. 조영 전 영상에 대해 T1w 조영 후 영상 내 병변의 강도의 증가를 캡처하기 위해, 이들 체적은 공동으로 정규화되었고, 즉, 체적들 간 강도 관계를 조정된 채 유지되었고 조영 전 스캔 내 뇌의 평균 및 표준 편차를 이용해 두 체적의 z-점수가 산출되었다. 모델은 개별 구성의 두 망 모두에 대한 입력으로서 사용되는 채널 차원을 따라 적층된 FLAIR, T1w 조영 전 및 조영 후 영상으로부터의 세 가지 연접한 슬라이스로 훈련되었다. 공동 구성의 경우, T1 Gd-증강 병변을 분할하기 위한 제2 망이 T1w 조영 전 및 조영 후 영상만 수신하며 FLAIR 관련 정보는 주로 망 교차 연결을 따라 전달된다. 256 × 256 × 60의 주어진 입력 형태에 대해 슬라이딩 윈도 접근 방식을 사용하여 세 개의 슬라이스의 58개 스택이 생성되었다. 훈련 및 검증 세트에서 임의의 병변(비증강 또는 Gd-증강)을 포함한 스택만 훈련되었다. 망 파라미터는 애덤(Adam) 최적화기(초기 학습률 1e-4, β₁=0.9, β₂=0.999)를 사용하여 50 에포크 및 배치 크기 6에서 최적화되었다.

MS에서 병변을 분할하기 위한 조합 손실 함수로부터 얻어진 비대칭 손실 함수의 더 나은 성능과 가능한 이점 때문에, 트버스티(Tversky) 손실(수식 (1) 참조) 및 가중 이진 교차 엔트로피(wBCE) 손실(수식 (2) 참조)의 조합이 개별 망을 훈련하기 위해 만들어졌다. 하이퍼파라미터 α 및 β가 수식 (3)을 사용하여 실험에서 미세 조정되었다. 공동 훈련을 위해, 두 가지에 대한 손실에 추가로, 수식(4)을 이용해 두 개의 병변 유형의 임의의 겹침 및 두 망 모두로부터의 위양성의 기여도에 대한 패널티 항이 추가되었다.

추론을 위해, 다중 양식 입력이 훈련 동안 동일하게 취급되었으며, 3D 체적이 세 개의 슬라이스에 대한 스택으로 분할되었고 모든 스택에 대해 모델 예측이 획득되었다. 모든 슬라이스에 대해, 동일한 슬라이스가 상단, 하단 및 중간 슬라이스로서 3개의 인접 스택의 일부이기 때문에 3개의 예측이 획득되었다. 예측 확률은 0.5로 임계값이 지정되었으며 3개의 예측은 다수결 투표를 사용하여 결합되었다. 이는 오 탐지를 줄이는 데 도움이 되었으며 목표를 향한 슬라이스가 상이하게 처리되었다. 모델은 텐서플로(TensorFlow)의 케라스(Keras)를 사용하여 파이썬(Python)으로 구현되었다.

Gd-증강 병변에 대한 위양성의 상당한 부분이 혈관에서 나왔기 때문에 위양성을 줄이기 위해 혈관 추적이 수행되었다. 영역 성장은 T1 조영 후 영상에서 뇌 내 상위 3 퍼센타일(>= 97번째) 복셀의 강도를 갖는 복셀에 대해 사용되었다. 뇌의 경계를 따라 가장 큰 혈관 트리 및 증강이 유지되었다. 혈관 트리와 30% 넘게 겹치는 임의의 병변이 제거되었다.

III.A.v. 평가

모델은 복셀 레벨에서 이들의 분할 성능에 대해 그리고 병변 레벨에서 검출 성능에 대해 평가되었다. 평균 다이스 계수(DC: Mean Dice Coefficient), 양의 예측값(PPV), 감도, 절대 부피 차이(AVD) 및 예측 및 GT 체적의 피어슨(Pearson) 상관 계수가 분할 성능을 평가하기 위한 메트릭으로서 사용됐다. DC는 예측 및 그라운드 트루쓰 이진 마스크의 겹침을 측정하기 위한 메트릭이며 수식(5)에 의해 다음과 같이 정의된다:

수식(5)

TP는 모델 예측과 그라운드 트루쓰 마스크의 겹침에 해당하는 진양성이고, FP는 위양성이며, FN은 위음성이다. DC 값의 범위는 0에서 1까지이며, 0은 겹치지 않음을 나타내고 1은 완벽한 겹침을 나타낸다. 전체 평균 DC에 추가하여, 총 병변 부하가 낮은, 중간 및 높은 체적에 대한 평균 DC가 평가되었다.

PPV 또는 정밀도가 TP와 FP의 합에 대한 복셀별 TP의 비율이며 수식(6)과 같이 모델에 의해 정확하게 예측된 복셀의 비율을 측정한 것이다.

수식(6)

감도 또는 재현율은 TP와 FN의 합에 대한 TP의 비이며 수식(7)에 나타난 바와 같이, 모델에 의해 올바르게 분할된 그라운드 트루쓰 복셀의 퍼센티지이다.

수식(7)

AVD는 그라운드 트루쓰 체적에 대한 예측 체적과 그라운드 트루쓰 체적의 절대 차이의 분수값이다. 이는 수식(8)에 표시된 대로 그라운드 트루쓰 체적에 대한 모델에 의한 과다 또는 과소-분할의 척도를 제공한다:

수식(8)

개별 병변은 그라운드 트루쓰 및 예측 마스크에서 연결된 구성요소(18-연결성 커넬 포함)로 식별되었다. 검출된 병변이 진짜 병변으로 간주되기 위해서는, 최소 크기가 3개 복셀이어야 하고 그라운드 트루쓰와 적어도 10% 만큼 중첩되어야 한다. 병변 검출 성능을 평가하기 위해, 병변 PPV(LPPV), 병변 진양성률(LTPR), 병변 위양성률(LFPR), 모델에 의해 예측된 병변의 수와 그라운드 트루쓰 마스크 내 병변 수의 피어슨 상관계수가 평가 메트릭으로서 사용되었다. 모델에 의해 예측된 병변 중 FP 병변의 퍼센티지의 척도인 LFPR을 제외한 모든 검출 메트릭에 대해 높은 값이 바람직하다.

III.A.vi. 영상 종점 재현

영상 종점(imaging endpoint)을 재현하기 위한 실험을 수행하기 위해, 모델 예측 마스크와 신경 방사선 전문의 수동 판독의 비교가 오페라 2 영상에 대해서만 수행되었다(오페라 1로부터의 영상은 모델을 훈련하도록 사용되었다). R(R 버전 4.0.1, 통계 컴퓨팅을 위한 R 파운데이션)을 사용하여 통계 분석이 수행되었다.

훈련된 모델이 알려진 T1 Gd-증강 종점을 재현할 수 있는지 여부를 조사하기 위해, Gd-증강 병변의 평균 수와 치료제(오크렐리주맙)에서의 병변의 평균 수의 백분율 감소가 대조군(인터페론 β) 부문에 비교하여 24, 48 및 96주에서 추정됐다. T1 Gd-증강 종점을 결정할 때 알려진 분석 방법론과 유사하게, 치료 부문, 기준 T1 Gd-증강 병변(존재 여부), 기본 확장 장애 상태 척도(Expanded Disability Status Scale score) 점수(< 4.0 vs ≥4.0) 및 지리적 지역(미국 vs 나머지 국가)을 독립 변수로서 사용해, Gd-증강 병변의 수의 음 이항 회귀분석(negative binomial regression)이 수행되었다.

GT 직렬 병변 마스크에서 새로운 T1 비증강 병변의 수를 추정하여 신경 방사선의 판독으로부터 본래 분석에서 보고된 값을 밀접하게 근사하기 위한 형태학적 작업에 기초하여 자동화된 휴리스틱 접근법이 개발되었다. 그런 다음 이 접근법이 모델 예측 마스크에 적용되고 모든 후속 시점에 걸친 새로운 T1 비증강 병변의 평균 수 및 대조군에 비교할 때 오크렐리주맙 군의 퍼센트 감소가 추정되었다. 알려진 분석 방법론에서와 같이, 치료군, 기준 T1 저강도 병변 카운트, 기준 EDSS(< 4.0 vs ≥4.0) 및 지리적 지역(미국 vs 나머지 국가)을 독립 변수로서 사용해, 새로운 T1 비증강 병변의 수에 대해 음 이항 회귀 분석이 수행되었다.

도 4는 오페라 2 데이터 세트에 대한 ml 단위의 총 T1 비증강 병변 체적 및 ml 단위의 총 T1 Gd-증강 병변 부피를 보여준다. 대상체의 서브세트만 Gd-증강 병변을 가지고 T1 Gd-증강 병변은 일반적으로 T1 비증강 병변보다 작았다. 신경 방사선 전문의 판독으로부터의 GT 마스크에 따르면, T1 Gd-증강 병변은 기준에서 환자의 약 40%, 모든 시점(기준, 24주, 48주 및 96주)에 걸쳐 체적의 약 16-18%에 존재했다. 병변 부하는 더 작은 크기 쪽으로 크게 치우쳤다. T1 비증강 병변 부하 범위는 0.012 ml 내지 68.86 ml이고 중앙값은 1.56 ml이고 T1 Gd-증강 병변 부하 범위는 0.012 ml 내지 7.47 ml이고 중앙값은 0.213 ml이다. 체적의 71%는 최대 Gd-증강 병변 부하가 0.5 ml이고 체적의 72%는 최대 T1 비증강 병변 부하가 4 ml였다.

테스트 세트에 대한 두 병변 유형 모두에 대해 개별적으로 그리고 공동으로 훈련된 모델의 분할 성능이 표 1에 요약되어 있다. 두 가지 망 모두 평균 다이스 계수(DC)와 GT와 모델 예측 총 병변 부하 간 피어슨의 상관관계에 의해 보여지는 것처럼 GT 내 수동 주석과 모델 예측 마스크 간에 잘 일치했다. 일반적으로, 개별적으로 훈련된 모델은 공동으로 훈련된 모델보다 약간 더 나은 감도(T1 비증강 병변의 경우 0.74 vs 0.7, Gd-증강 병변의 경우 0.78 vs 0.69)를 가졌으며, 공동 훈련된 모델이 DC(0.72 vs 0.73, 0.72 vs 0.75), 양성 예측 값(PPV; 0.74 vs 0.8, 0.71 vs 0.87) 및 절대 체적 차이(AVD; 0.29 vs 0.26, 0.69 vs 0.31)를 개선했다. 최종 평균 DC는 병변의 ~23%가 크기가 ≤10 복셀인 Gd 증강 병변 분할에 대해 0.78이었다. (Gd-증강 병변 분할에 대해 각각 0.77 및 0.91의 DC를 획득한 [1] I. Coronado, R. E. Gabr 및 a. P. A. Narayana., "Deep learning segmentation of gadoliniumenhancing lesions in multiple sclerosis," Multiple Sclerosis Journal, no. May, 2020 및 [2] G. Brugnara, F. Isensee, U. Neuberger, D. Bonekamp, J. Petersen, R. Diem, B. Wildemann, S. Heiland, W. Wick, M. Bendszus, K. Maier-Hein 및 P. Kickingereder, "Automated volumetric assessment with artificial neural networks might enable a more accurate assessment of disease burden in patients with multiple sclerosis," European Radiology, vol. 30, no. 4, pp. 2356-64, 2020와 비교됨. [2]에서는 14 mm³ /복셀보다 작은 모든 병변이 제외되었으며, 이 것이 여기에서 높은 DC를 설명할 수 있다.)

표 1: 분할 성능(AVD의 경우, std. dev는 상위 1% 특이치를 제외하고 계산됨). Gd-증강 병변 성능은 GT 주석에 병변이 있는 체적의 서브세트에서 보고된다.

테스트 세트에 대한 모델의 검출 성능은 표 2에 요약되어 있다. 두 가지 모델 모두 검출 성능에서 유사한 추세를 보였는데, 개별적으로 훈련된 모델은 약간 더 나은 병변 진양성율(LTPR; 0.83 vs 0.79, 0.96 vs 0.91)을 가지며 공동 훈련된 모델은 더 나은 LPPV(0.89 vs 0.92, 0.76 vs 0.93 및 병변 위양성율(LFPR; 0.17 vs 0.13, 0.25 vs 0.06)을 가진다. 높은 Pearson 상관 계수에서 볼 수 있듯이 다양한 모델에 대한 GT의 병변 카운트와 모델 예측 마스크 간에 우수한 일치가 있었다. 공동 훈련은 Gd-증강 병변 분할에 대한 과다-분할 및 FP를 감소시키는 데 대단히 도움이 됐다. 이는 수동 GT 주석에 따라 임의의 Gd-증강 병변을 포함하지 않는 체적에서 잘못된 예측을 감소시킨 혈관 추적을 사용한 FP 감소 후에 더욱 개선되었다.

표 2: Gd-증강 병변에 대한 검출 성능. Gd-증강 병변 성능은 GT 주석에 병변이 있는 체적의 서브세트에 대해 보고된다.

도 5는 3명의 대상체에 대한 뇌의 한 섹션의 MRI 영상에 대한 GT와 비교되는 모델로부터 예측된 병변 분할을 보여준다. GT와 예측된 T1 비증강 병변 및 Gd-증강 병변의 겹침은 모델이 MRI 영상에서 병변 크기와 위치를 정확하게 예측함을 시사한다.

또한, Gd-증강 병변에 대한 다양한 병변 크기 버킷에 대한 검출 성능이 조사되었다(표 3). 결과는 GT 병변 카운트, TP 값, 감도, FP 값(괄호 안의 숫자는 GT 주석에 어떠한 Gd-증강 병변을 포함하지 않은 데이터세트의 FP 병변 수에 대응), 위발견률(FDR: false discovery rate) 및 다이스 값의 계산을 포함한다. FPR이라고도 지칭되는 위발견률(FDR: False Discovery Rate)은 0.03 ml(또는 10 복셀)보다 작은 병변에 대해 높으며 병변 크기가 증가할수록 상당히 감소된다. DC는 또한 병변 크기가 증가함에 따라 유사한 추세를 보였다. 이 분석에 기초하여, 높은 FDR과 낮은 감도 사이의 균형을 맞추기 위해 0.03 ml의 검출 임계값이 선호될 것이다. 그러나 이는 또한 병변의 23%를 제거할 것이다. (성능은, 가장 작은 병변 크기 버킷을 제외하고, [3] Z. Karimaghaloo, H. Rivaz, D. L. Arnold, D. L. Collins 및 T. Arbel, "Temporal Hierarchical Adaptive Texture CRF for Automatic Detection of Gadolinium-Enhancing Multiple Sclerosis Lesions in Brain MRI," IEEE Transactions on Medical Imaging, vol. 34, no. 6, pp. 1227-1241, 2015의 표 III에서 보고된 것에 비교될 만하다. 본 예제는 세로 정보를 사용하지 않았으며 [3]에 비해 더 큰 훈련 세트(8x)를 가진다. 병변 크기 버킷은 상이하지만 [1]의 표 2와도 비교될만하다).

표 3: 상이한 병변 크기에 대한 Gd-증강 병변 검출 성능. GT 주석에서 Gd-증강 병변이 있거나 없는(괄호 내) 체적 내 총 FP 병변 카운트가 제공된다.

다양한 병변 크기에 대한 T1 비증강 병변 분할 모델의 검출 성능은 표 4에 제공되며 Gd-증강 병변 분할에 대한 개별적으로 그리고 공동으로 훈련된 모델에 대한 검출 성능이 표 5에 제공되어 있다.

표 4: 상이한 병변 크기에 대한 T1 비증강 병변 검출 성능

표 5: 상이한 병변 크기에 대한 T1 Gd-증강 병변 검출 성능. GT 주석에서 Gd-증강 병변이 있거나 없는(괄호 내) 데이터세트 내 총 FP 병변 카운트가 제공된다.

III.B 예시 2. - 치료를 통한 병변 변화

III.B.i. 논의

병변은 주어진 치료제가 질병의 진행을 늦추기 위해 다발성 경화증 치료에 효과적인지 여부를 예측하기 위해 임상 연구 중에 자주 평가된다. 특히, 연구 종점에서 연구 기간 동안 병변 카운트 및/또는 병변 크기(가령, 누적 병변 크기)가 변하는 정도가 자주 검사된다. 연구 기간 동안 특정 치료제가 투여된 경우 관찰된 변화가 연구 기간 동안 어떠한 치료제도 투여되지 않거나 기준 치료제가 투여된 경우 관찰된 대응하는 변화에 비교될 수 있다.

이 예시의 데이터는 인터페론-베타와 비교하여 오크렐리주맙이 투여됐을 때 T1 비증강 병변 카운트의 변화를 비교한다. 조영제 투여 후 수집된 T1 비증강 영상과 T1 Gd-증강 영상을 처리하기 위해 공동으로 훈련된 모델이 사용됐다. 각각의 모델은 오페라 1 데이터 세트를 사용하여 훈련되었고 오페라 2 데이터 세트를 사용하여 테스트되었다. 각각의 대상체 및 영상 세션에 대해, 평가된 모델 예측이 T1 Gd-증강 병변의 수였다. MRI는 치료제 투여로부터 24주, 48주, 96주에 시행되었다. 각각의 치료군에 대해, 후속 시점의 병변의 수를 해당 시점의 MRI 스캔 수로 나눈 값이 계산되었다.

도 6a에 도시된 바와 같이, 임상 데이터는 T1 Gd-증강 병변 카운트가 3개의 시점 각각에서 2개의 치료군들 사이에 유의미한 차이가 있음을 보여주었다. GT 마스크의 경우, 후속 시점 감소율은 24주, 48주 및 96주에 각각 93%, 96% 및 96%였다. 모델 예측을 사용하여, 개별 후속 시점에서 감소율은 24주, 48주 및 96주에 각각 79%, 84% 및 90%였다.

도 6b는 경험적 접근법을 사용하는 GT 마스크 및 동일한 실험적 접근법을 사용하는 모델 예측된 마스크로부터의 T1 비증강 병변 카운트에 대한 결과를 보여준다. GT 마스크에 대한 실험적 접근 방식을 사용하면, 대조군에서의 4.78에서 오크렐리주맙 군의 3.73으로 22% 감소했다. 모델은 실험적 접근 방식을 사용하여 GT 마스크 내 병변보다 더 적은 병변을 예측하는 경향이 있었다. 모델 예측에 기초하여, 새로운 T1 비증강 병변의 수는 대조군에서 3.36개, 치료군에서 2.51개였다. 또한, 새로운 T1 비증강 병변의 수는 추가 기준 영상 및 임상 공변량을 이용한 음 이항 회귀 분석에서 치료군 전체에서 유의미하게 달랐다. GT 마스크로부터의 치료군과 대조군 사이에서 새로운 T1 비증강 병변의 평균 수가 약 22% 감소했다. 모델 예측을 사용할 때 퍼센트 감소율은 ~25%였으며 이는 GT 마스크로부터의 감소율에 비견될 만하다. 그러나 본래의 수동 분석은 ~60%의 퍼센트 감소율을 보였으므로 새로운 T1 비증강 병변을 식별하는 데 사용되는 실험적 접근 방식은 개선이 필요하다.

IV. 추가 고려 사항

본 개시내용의 일부 실시예는 하나 이상의 데이터 프로세서를 포함하는 시스템을 포함한다. 일부 실시예에서, 시스템은 하나 이상의 데이터 프로세서 상에서 실행될 때 하나 이상의 데이터 프로세서로 하여금 여기서 개시된 하나 이상의 방법 중 일부 또는 전부 및/또는 하나 이상의 프로세스 중 일부 또는 전부를 수행하게 하는 명령을 포함하는 비일시적 컴퓨터 판독형 저장 매체를 포함한다. 본 개시내용의 일부 실시예는 하나 이상의 데이터 프로세서 상에서 실행될 때 하나 이상의 데이터 프로세서로 하여금 여기서 개시된 하나 이상의 방법 중 일부 또는 전부 및/또는 여기서 개시된 하나 이상의 프로세스의 일부 또는 전부를 수행하게 하는 명령을 포함하는 비일시적 기계 판독형 저장 매체로 유형으로 구현되는 컴퓨터-프로그램 프로덕트를 포함한다.

채용된 용어 및 표현은 한정이 아닌 설명 측면에서 사용되며, 이러한 용어 및 표현의 사용에 도시되고 기재된 특징부 또는 이의 일부분의 임의의 균등물을 배제하는 어떠한 의도도 없고, 청구된 발명의 범위 내에서 다양한 수정이 가능함이 자명하다. 따라서, 본 발명이 실시예 및 선택적 특징으로 특정하게 개시되었지만 본 명세서에 개시된 개념의 수정, 및 변형이 해당 분야의 통상의 기술자에 의해 이용될 수 있고, 이러한 수정 및 변형이 첨부된 청구항에 의해 정의된 본 발명의 범위 내에 있는 것으로 간주됨이 이해될 것이다.

뒤 이은 설명은 단지 바람직한 예시적인 실시 형태를 제공하며, 본 개시내용의 범위, 적용 가능성 또는 구성을 제한하도록 의도되지 않는다. 오히려, 바람직한 예시적인 실시예의 뒤 이은 설명은 다양한 실시예를 구현하기 위한 가능한 설명을 통상의 기술자에게 제공할 것이다. 첨부된 특허청구범위에 기재된 정신 및 범위를 벗어나지 않고 요소의 기능 및 배열에 다양한 변경이 이루어질 수 있음을 이해해야 한다.

실시예의 완전한 이해를 제공하기 위해 다음 설명에서 특정 세부사항이 제공된다. 그러나, 이러한 특정 세부사항 없이 실시예가 실시될 수 있음이 이해될 것이다. 예를 들어, 회로, 시스템, 네트워크, 프로세스 및 그 밖의 다른 구성요소는 실시예를 불필요한 세부 사항으로 모호하게 하지 않기 위해 블록도 형태의 구성요소로 표시될 수 있다. 또 다른 예에서, 잘 알려진 회로, 프로세스, 알고리즘, 구조 및 기술은 실시예를 모호하게 하는 것을 피하기 위해 불필요한 세부 사항 없이 표시될 수 있다.

V. 실시예

이하에서 사용될 때, 일련의 예시에 대한 임의의 참조는 각각의 예에 대한 참조로 개별적으로 이해되어야 한다(가령 "예 1-4"는 "예 1, 2, 3 또는 4"로 이해되어야 함).

예시 1은 컴퓨터-구현 방법으로서, 3차원 자기 공명 영상(MRI) 영상에 액세스하는 단계 ― 상기 3차원 MRI 영상은 대상체의 뇌의 영역을 묘사하고, 상기 뇌의 영역은 적어도 제1 유형의 병변 및 제2 유형의 병변을 포함함 ― , 상기 3차원 MRI 영상을 제1 콘볼루션 신경망 및 제2 콘볼루션 신경망을 포함하는 머신 러닝 모델로 입력하는 단계 ― 상기 제1 콘볼루션 신경망의 하나 이상의 층과 상기 제2 콘볼루션 신경망의 하나 이상의 층 간 하나 이상의 망 교차 연결에 의해 상기 제1 콘볼루션 신경망은 상기 제2 콘볼루션 신경망에 연결됨 ― , 상기 3차원 MRI 영상을 입력으로서 취하는 상기 제1 콘볼루션 신경망을 이용해, 상기 제1 유형의 병변에 대해 제1 분할 마스크를 생성하는 단계 ― 상기 제1 분할 마스크는 상기 제1 유형의 병변의 묘사 주위의 제1 추정 분할 경계를 포함함 ― , 상기 3차원 MRI 영상을 입력으로서 취하는 상기 제2 콘볼루션 신경망을 이용해, 제2 유형의 병변에 대해 제2 분할 마스크를 생성하는 단계 ― 상기 제2 분할 마스크는 상기 제2 유형의 병변의 묘사 주위의 제2 추정 분할 경계를 포함하고, 상기 제1 분할 마스크와 상기 제2 분할 마스크는 병렬로 생성되며 상기 제1 분할 마스크와 제2 분할 마스크가 생성되는 동안 하나 이상의 망 교차 연결을 통해 추출된 특징의 세트가 공유됨 ― , 및 상기 제1 분할 마스크 및 상기 제2 분할 마스크를 출력하는 단계를 포함한다.

예시 2는 예시 1의 컴퓨터-구현 방법으로서, 상기 제1 콘볼루션 신경망의 인코딩 블록에서 상기 제2 콘볼루션 신경망의 인코딩 블록으로의 하나 이상의 망 교차 연결에 의해, 상기 제1 콘볼루션 신경망은 제2 콘볼루션 신경망에 연결된다.

예시 3은 예시(들) 1 또는 2의 컴퓨터-구현 방법으로서, 상기 제1 콘볼루션 신경망의 디코딩 블록에서 상기 제2 콘볼루션 신경망의 디코딩 블록으로의 하나 이상의 망 교차 연결에 의해, 상기 제1 콘볼루션 신경망은 상기 제2 콘볼루션 신경망으로 연결된다.

예시 4는 예시(들) 1-3의 컴퓨터-구현 방법으로서, 상기 망 교차 연결의 각각은 특징 변환 블록 및 압축 블록을 포함한다.

예시 5는 예시(들) 1-4의 컴퓨터-구현 방법으로서, 상기 제1 분할 마스크 및 상기 제2 분할 마스크로부터의 정보를 조합함으로써 최종 영상 마스크를 생성하는 단계 ― 상기 최종 영상 마스크는 상기 제1 유형의 병변 및 상기 제2 유형의 병변의 조합을 나타내는 병변의 새로운 세트의 묘사 주위의 추정 분할 경계를 포함함 ― , 및 상기 최종 영상 마스크를 출력하는 단계를 더 포함한다.

예시 6은 예시(들) 1-5 중 임의의 하나의 컴퓨터-구현 방법으로서, 상기 제1 유형의 병변은 T1 비증강 병변이고 상기 제2 유형의 병변은 T1 Gd-증강 병변이다.

예시 7은 예시(들) 1-6 중 임의의 하나의 컴퓨터-구현 방법으로서, 상기 제1 콘볼루션 신경망 및 상기 제2 콘볼루션 신경망은 트버스키 손실(Tversky loss) 및 가중 이진 교차 엔트로피 손실(weighted binary cross entropy loss)의 조합을 포함하는 손실 함수를 이용해 훈련된다.

예시 8은 예시(들) 1-7의 컴퓨터-구현 방법으로서, 상기 제1 콘볼루션 신경망은, 상기 제1 유형의 병변 및 상기 제2 유형의 병변을 포함하는 상이한 유형의 병변 주위의 분할 경계와 연관된 주석을 갖는 복수의 의학적 영상을 포함하는 훈련 데이터의 세트를 이용해 식별된 복수의 모델 파라미터를 포함하며, 상기 복수의 모델 파라미터는 상기 손실 함수를 최소화하는 것에 기초하여 훈련 데이터의 세트를 이용해 식별된다.

예시 9는 예시(들) 1-8의 컴퓨터-구현 방법으로서, 상기 제2 콘볼루션 신경망은, 훈련 데이터의 세트를 이용해 식별되는 복수의 모델 파라미터를 포함하며, 상기 제2 콘볼루션 신경망은 상기 제1 콘볼루션 신경망과 공동으로 훈련되어, 상기 제2 콘볼루션 신경망의 복수의 모델 파라미터가 상기 손실 함수를 최소화하는 것에 기초하여 훈련 데이터의 세트를 이용해 협력적으로 식별된다.

예시 10은 예시(들) 1-9의 컴퓨터-구현 방법으로서, 상기 손실 함수는 상기 제1 유형의 병변과 상기 제2 유형의 병변 간 겹침 및 제1 콘볼루션 신경망 및 제2 콘볼루션 신경망으로부터의 위양성의 기여도에 대한 페널티 항을 더 포함한다.

예시 11은 예시(들) 1-10 중 임의의 하나의 컴퓨터-구현 방법으로서, 제1 콘볼루션 신경망 및 제2 콘볼루션 신경망은 U-Net이다.

예시 12는 예시(들) 1-11의 컴퓨터-구현 방법으로서, 제1 콘볼루션 신경망은 3개 층의 인코딩 블록 및 디코딩 블록을 포함한다.

예시 13은 예시(들) 1-12의 컴퓨터-구현 방법으로서, 상기 제2 콘볼루션 신경망은 3개 층의 인코딩 블록 및 디코딩 블록을 포함한다.

예시 14는 예시(들) 1-13의 컴퓨터-구현 방법으로서, 상기 3차원 MRI 영상은 채널 차원을 따라 적층된 다중 연접 슬라이스를 포함하며, 상기 연접 슬라이스는 제1 유형의 MRI 시퀀스를 이용해 생성된 제1 3차원 MRI 슬라이스, 제2 유형의 MRI 시퀀스를 이용해 생성된 제2 3차원 MRI 슬라이스, 및 제3 유형의 MRI 시퀀스를 이용해 생성된 제3 3차원 MRI 슬라이스를 포함한다.

예시 15는 예시(들) 1-14의 컴퓨터-구현 방법으로서, 상기 제1 유형의 MRI 시퀀스는 T1 조영 후이며, 상기 제2 유형의 MRI 시퀀스는 T1 조영 전이고, 상기 제3 유형의 MRI 시퀀스는 액체 감쇠 역전 회복(fluid-attenuated inversion recovery)이다.

예시 16은 예시(들) 1-15의 컴퓨터-구현 방법으로서, 상기 제1 3차원 MRI 슬라이스 및 제2 3차원 MRI 슬라이스는 조영 증강을 포착하도록 정규화되고, 상기 정규화는 상기 제2 3차원 MRI 슬라이스의 평균 및 표준 편차를 이용하여 제1 3차원 MRI 슬라이스 체적 및 제2 3차원 슬라이스 체적 모두의 z-점수를 산출한다.

예시 17은 예시(들) 1-16의 컴퓨터-구현 방법으로서, 상기 제1 분할 마스크를 이용해 상기 제1 유형의 병변의 개수의 카운트를 결정하고 상기 제2 분할 마스크를 이용해 상기 제2 유형의 병변의 개수의 카운트를 결정하는 단계를 더 포함한다.

예시 18은 예시(들) 1-17의 컴퓨터-구현 방법으로서, 상기 제1 분할 마스크를 이용해 상기 제1 유형의 병변의 개수의 카운트를 결정, 상기 제2 분할 마스크를 이용해 상기 제2 유형의 병변의 개수의 카운트를 결정, 및/또는 상기 최종 영상 마스크를 이용해 상기 병변의 새로운 세트 내 병변의 개수의 카운트를 결정하는 단계를 더 포함한다.

예시 19는 예시(들) 1-18의 임의의 하나의 컴퓨터-구현 방법으로서, 상기 제1 분할 마스크, 상기 제2 분할 마스크, 및/또는 상기 최종 영상 마스크를 이용해 하나 이상의 병변 크기 또는 병변 부하를 결정하는 단계를 더 포함한다.

예시 20은 예시(들) 1-19 중 임의의 하나의 컴퓨터-구현 방법으로서, 이전 MRI에 대응하는 데이터를 액세스하는 단계, 상기 제1 분할 마스크, 상기 제2 분할 마스크, 및/또는 상기 최종 영상 마스크 및 상기 데이터를 이용해 하나 이상의 병변의 수량, 크기 또는 누적 크기의 변화를 결정하는 단계, 및 상기 변화를 나타내는 출력을 생성하는 단계를 더 포함한다.

예시 21은 예시(들) 1-20 중 임의의 하나의 컴퓨터-구현 방법으로서, 상기 제1 분할 마스크, 상기 제2 분할 마스크, 및/또는 상기 최종 영상 마스크에 기초하여 치료 전략의 변경을 추천하는 단계를 더 포함한다.

예시 22는 예시(들) 1-21 중 임의의 하나의 컴퓨터-구현 방법으로서, 상기 제1 분할 마스크, 상기 제2 분할 마스크, 및/또는 상기 최종 영상 마스크에 적어도 부분적으로 기초하여 다발성 경화증의 대상체의 가능한 또는 확정된 진단에 대응하는 출력을 제공하는 단계를 더 포함한다.

예시 23은 예시(들) 1-22 중 임의의 하나의 컴퓨터-구현 방법으로서, 상기 제1 분할 마스크, 상기 제2 분할 마스크, 및/또는 상기 최종 영상 마스크에 적어도 부분적으로 기초하여 대상체를 다발성 경화증으로 진단하는 단계를 더 포함한다.

예시 24는 예시(들) 1-23 중 임의의 하나의 컴퓨터-구현 방법으로서, 상기 제1 분할 마스크, 상기 제2 분할 마스크, 및/또는 상기 최종 영상 마스크에 적어도 부분적으로 기초하여 치료 반응을 평가 및/또는 예측하는 단계를 더 포함한다.

예시 25는 컴퓨터-구현 방법으로서, 3차원 자기 공명 영상(MRI) 영상에 액세스하는 단계 ― 상기 3차원 MRI 영상은 대상체의 뇌의 영역을 묘사하고, 상기 뇌의 영역은 적어도 제1 유형의 병변 및 제2 유형의 병변을 포함함 ― , 상기 3차원 MRI 영상을 제2 콘볼루션 신경망에 연결된 제1 콘볼루션 신경망을 포함하는 머신 러닝 모델로 입력하는 단계, 상기 3차원 MRI 영상을 입력으로서 취하는 제1 콘볼루션 신경망을 이용해, 상기 제1 유형의 병변에 대한 제1 분할 마스크를 생성하는 단계, 상기 3차원 MRI 영상 상의 제1 분할 마스크를 입력으로서 취하는 제2 콘볼루션 신경망을 이용해, 상기 제2 유형의 병변에 대한 제2 분할 마스크를 생성하는 단계, 상기 제1 분할 마스크 및 상기 제2 분할 마스크로부터의 정보를 조합함으로써 최종 영상 마스크를 생성하는 단계 ― 상기 최종 영상 마스크는 제1 유형의 병변의 묘사 주위의 제1 추정 분할 경계 및/또는 제2 유형의 병변의 묘사 주위의 제2 추정 분할 경계를 포함함 ― , 및 상기 최종 영상 마스크를 출력하는 단계를 포함한다.

예시 26은 시스템으로서, 하나 이상의 데이터 프로세서, 및 하나 이상의 데이터 프로세서 상에서 실행될 때, 상기 하나 이상의 데이터 프로세서로 하여금 여기에 개시된 하나 이상의 방법 중 일부 또는 전부를 수행하게 하는 명령을 포함하는 비일시적 컴퓨터 판독형 저장 매체를 포함한다.

예시 27은 비일시적 기계 판독형 저장 매체에 유형적으로 구현된 컴퓨터-프로그램 프로덕트로서, 하나 이상의 데이터 프로세서로 하여금 여기에 개시된 하나 이상의 방법 중 일부 또는 전부를 수행하게 하도록 구성된 명령을 포함한다.

Claims

컴퓨터-구현 방법으로서,
3차원 자기 공명 영상(MRI) 영상에 액세스하는 단계이며,
상기 3차원 MRI 영상은 대상체의 뇌의 영역을 묘사하고,
상기 뇌의 영역은 적어도 제1 유형의 병변 및 제2 유형의 병변을 포함하는 것인 단계,
상기 3차원 MRI 영상을 제1 콘볼루션 신경망 및 제2 콘볼루션 신경망을 포함하는 머신 러닝 모델로 입력하는 단계이며,
상기 제1 콘볼루션 신경망의 하나 이상의 층과 상기 제2 콘볼루션 신경망의 하나 이상의 층 간 하나 이상의 망 교차 연결에 의해 상기 제1 콘볼루션 신경망은 상기 제2 콘볼루션 신경망에 연결되는 것인 단계,
상기 3차원 MRI 영상을 입력으로서 취하는 상기 제1 콘볼루션 신경망을 이용해, 상기 제1 유형의 병변에 대해 제1 분할 마스크를 생성하는 단계이며,
상기 제1 분할 마스크는 상기 제1 유형의 병변의 묘사 주위의 제1 추정 분할 경계를 포함하는 것인 단계,
상기 3차원 MRI 영상을 입력으로서 취하는 상기 제2 콘볼루션 신경망을 이용해, 제2 유형의 병변에 대해 제2 분할 마스크를 생성하는 단계이며,
상기 제2 분할 마스크는 상기 제2 유형의 병변의 묘사 주위의 제2 추정 분할 경계를 포함하고,
상기 제1 분할 마스크와 상기 제2 분할 마스크는 병렬로 생성되며, 추출된 특징의 세트가 상기 제1 분할 마스크와 제2 분할 마스크가 생성되는 동안 하나 이상의 망 교차 연결을 통해 공유되는 것인 단계, 및
상기 제1 분할 마스크 및 상기 제2 분할 마스크를 출력하는 단계
를 포함하는 컴퓨터-구현 방법.
제1항에 있어서, 상기 제1 콘볼루션 신경망의 인코딩 블록에서 상기 제2 콘볼루션 신경망의 인코딩 블록으로의 하나 이상의 망 교차 연결에 의해, 상기 제1 콘볼루션 신경망은 제2 콘볼루션 신경망에 연결되는 것인 컴퓨터-구현 방법.
제1항 또는 제2항에 있어서, 상기 제1 콘볼루션 신경망의 디코딩 블록에서 상기 제2 콘볼루션 신경망의 디코딩 블록으로의 하나 이상의 망 교차 연결에 의해, 상기 제1 콘볼루션 신경망은 상기 제2 콘볼루션 신경망으로 연결되는 것인 컴퓨터-구현 방법.
제1항 또는 제2항 또는 제3항에 있어서, 상기 망 교차 연결의 각각은 특징 변환 블록 및 압축 블록을 포함하는 것인 컴퓨터-구현 방법.
제1항 내지 제4항 중 어느 한 항에 있어서,
상기 제1 분할 마스크 및 상기 제2 분할 마스크로부터의 정보를 조합함으로써 최종 영상 마스크를 생성하는 단계이며,
상기 최종 영상 마스크는 상기 제1 유형의 병변 및 상기 제2 유형의 병변의 조합을 나타내는 병변의 새로운 세트의 묘사 주위의 추정 분할 경계를 포함하는 것인 단계, 및
상기 최종 영상 마스크를 출력하는 단계
를 더 포함하는 컴퓨터-구현 방법.
제1항 내지 제5항 중 어느 한 항에 있어서, 상기 제1 유형의 병변은 T1 비증강 병변이고 상기 제2 유형의 병변은 T1 Gd-증강 병변인 컴퓨터-구현 방법.
제1항 내지 제6항 중 어느 한 항에 있어서, 상기 제1 콘볼루션 신경망 및 상기 제2 콘볼루션 신경망은 트버스키 손실(Tversky loss) 및 가중 이진 교차 엔트로피 손실(weighted binary cross entropy loss)의 조합을 포함하는 손실 함수를 이용해 훈련되었던 것인 컴퓨터-구현 방법.
제7항에 있어서,
상기 제1 콘볼루션 신경망은, 상기 제1 유형의 병변 및 상기 제2 유형의 병변을 포함하는 상이한 유형의 병변 주위의 분할 경계와 연관된 주석을 갖는 복수의 의학적 영상을 포함하는 훈련 데이터의 세트를 이용해 식별된 복수의 모델 파라미터를 포함하며,
상기 복수의 모델 파라미터는 상기 손실 함수를 최소화하는 것에 기초하여 훈련 데이터의 세트를 이용해 식별되는 것인 컴퓨터-구현 방법.
제8항에 있어서,
상기 제2 콘볼루션 신경망은, 훈련 데이터의 세트를 이용해 식별되는 복수의 모델 파라미터를 포함하며,
상기 제2 콘볼루션 신경망은 상기 제1 콘볼루션 신경망과 공동으로 훈련되어, 상기 제2 콘볼루션 신경망의 복수의 모델 파라미터가 상기 손실 함수를 최소화하는 것에 기초하여 훈련 데이터의 세트를 이용해 협력적으로 식별되는 것인 컴퓨터-구현 방법.
제9항에 있어서, 상기 손실 함수는 상기 제1 유형의 병변과 상기 제2 유형의 병변 간 임의의 겹침 및 상기 제1 콘볼루션 신경망 및 상기 제2 콘볼루션 신경망으로부터의 위양성의 기여도에 대한 페널티 항을 더 포함하는 것인 컴퓨터-구현 방법.
제1항 내지 제10항 중 어느 한 항에 있어서, 제1 콘볼루션 신경망 및 제2 콘볼루션 신경망은 U-Net인 컴퓨터-구현 방법.
제11항에 있어서, 상기 제1 콘볼루션 신경망은 3개 층의 인코딩 블록 및 디코딩 블록을 포함하는 것인 컴퓨터-구현 방법.
제11항 또는 제12항에 있어서, 상기 제2 콘볼루션 신경망은 3개 층의 인코딩 블록 및 디코딩 블록을 포함하는 것인 컴퓨터-구현 방법.
제1항 내지 제13항 중 어느 한 항에 있어서,
상기 3차원 MRI 영상은 채널 차원을 따라 적층된 다중 연접 슬라이스를 포함하며,
상기 연접 슬라이스는
제1 유형의 MRI 시퀀스를 이용해 생성된 제1 3차원 MRI 슬라이스,
제2 유형의 MRI 시퀀스를 이용해 생성된 제2 3차원 MRI 슬라이스, 및
제3 유형의 MRI 시퀀스를 이용해 생성된 제3 3차원 MRI 슬라이스
를 포함하는 것인 컴퓨터-구현 방법.
제14항에 있어서,
상기 제1 유형의 MRI 시퀀스는 T1 조영 후이며,
상기 제2 유형의 MRI 시퀀스는 T1 조영 전이고,
상기 제3 유형의 MRI 시퀀스는 액체 감쇠 역전 회복(fluid-attenuated inversion recovery)인 컴퓨터-구현 방법.
제14항 또는 제15항에 있어서,
상기 제1 3차원 MRI 슬라이스 및 제2 3차원 MRI 슬라이스는 조영 증강을 포착하도록 정규화되고,
상기 정규화는 상기 제2 3차원 MRI 슬라이스의 평균 및 표준 편차를 이용하여 제1 3차원 MRI 슬라이스 체적 및 제2 3차원 슬라이스 체적 모두의 z-점수를 산출하는 것인 컴퓨터-구현 방법.
제1항 내지 제16항 중 어느 한 항에 있어서,
상기 제1 분할 마스크를 이용해 상기 제1 유형의 병변의 개수의 카운트를 결정하고, 상기 제2 분할 마스크를 이용해 상기 제2 유형의 병변의 개수의 카운트를 결정하는 단계
를 더 포함하는 컴퓨터-구현 방법.
제5항에 있어서,
상기 제1 분할 마스크를 이용해 상기 제1 유형의 병변의 개수의 카운트를 결정하고/하거나, 상기 제2 분할 마스크를 이용해 상기 제2 유형의 병변의 개수의 카운트를 결정하고/하거나, 상기 최종 영상 마스크를 이용해 상기 병변의 새로운 세트 내 병변의 개수의 카운트를 결정하는 단계
를 더 포함하는 컴퓨터-구현 방법.
제1항 내지 제18항 중 어느 한 항에 있어서,
상기 제1 분할 마스크, 상기 제2 분할 마스크, 및/또는 상기 최종 영상 마스크를 이용해 하나 이상의 병변 크기 또는 병변 부하를 결정하는 단계
를 더 포함하는 컴퓨터-구현 방법.
제1항 내지 제19항 중 어느 한 항에 있어서,
이전 MRI에 대응하는 데이터를 액세스하는 단계,
상기 제1 분할 마스크, 상기 제2 분할 마스크, 및/또는 상기 최종 영상 마스크 및 상기 데이터를 이용해 하나 이상의 병변의 수량, 크기 또는 누적 크기의 변화를 결정하는 단계, 및
상기 변화를 나타내는 출력을 생성하는 단계
를 더 포함하는 컴퓨터-구현 방법.
제1항 내지 제20항 중 어느 한 항에 있어서,
상기 제1 분할 마스크, 상기 제2 분할 마스크, 및/또는 상기 최종 영상 마스크에 기초하여 치료 전략의 변경을 추천하는 단계
를 더 포함하는 컴퓨터-구현 방법.
제1항 내지 제21항 중 어느 한 항에 있어서,
상기 제1 분할 마스크, 상기 제2 분할 마스크, 및/또는 상기 최종 영상 마스크에 적어도 부분적으로 기초하여 다발성 경화증의 대상체의 가능한 또는 확정된 진단에 대응하는 출력을 제공하는 단계
를 더 포함하는 컴퓨터-구현 방법.
제1항 내지 제22항 중 어느 한 항에 있어서,
상기 제1 분할 마스크, 상기 제2 분할 마스크, 및/또는 상기 최종 영상 마스크에 적어도 부분적으로 기초하여 대상체를 다발성 경화증으로 진단하는 단계
를 더 포함하는 컴퓨터-구현 방법.
제1항 내지 제23항 중 어느 한 항에 있어서,
상기 제1 분할 마스크, 상기 제2 분할 마스크, 및/또는 상기 최종 영상 마스크에 적어도 부분적으로 기초하여 치료 반응을 평가 및/또는 예측하는 단계
를 더 포함하는 컴퓨터-구현 방법.
컴퓨터-구현 방법으로서,
3차원 자기 공명 영상(MRI) 영상에 액세스하는 단계이며,
상기 3차원 MRI 영상은 대상체의 뇌의 영역을 묘사하고,
상기 뇌의 영역은 적어도 제1 유형의 병변 및 제2 유형의 병변을 포함하는 것인 단계,
상기 3차원 MRI 영상을 제2 콘볼루션 신경망에 연결된 제1 콘볼루션 신경망을 포함하는 머신 러닝 모델로 입력하는 단계,
상기 3차원 MRI 영상을 입력으로서 취하는 제1 콘볼루션 신경망을 이용해, 상기 제1 유형의 병변에 대한 제1 분할 마스크를 생성하는 단계,
상기 3차원 MRI 영상 상의 제1 분할 마스크를 입력으로서 취하는 제2 콘볼루션 신경망을 이용해, 상기 제2 유형의 병변에 대한 제2 분할 마스크를 생성하는 단계,
상기 제1 분할 마스크 및 상기 제2 분할 마스크로부터의 정보를 조합함으로써 최종 영상 마스크를 생성하는 단계이며,
상기 최종 영상 마스크는 제1 유형의 병변의 묘사 주위의 제1 추정 분할 경계 및/또는 제2 유형의 병변의 묘사 주위의 제2 추정 분할 경계를 포함하는 것인 단계, 및
상기 최종 영상 마스크를 출력하는 단계
를 포함하는 컴퓨터-구현 방법.
하나 이상의 데이터 프로세서, 및
하나 이상의 데이터 프로세서 상에서 실행될 때, 상기 하나 이상의 데이터 프로세서로 하여금 여기에 개시된 하나 이상의 방법 중 일부 또는 전부를 수행하게 하는 명령을 포함하는 비일시적 컴퓨터 판독형 저장 매체
를 포함하는 시스템.
하나 이상의 데이터 프로세서로 하여금 여기에 개시된 하나 이상의 방법 중 일부 또는 전부를 수행하게 하도록 구성된 명령
을 포함하는, 비일시적 기계 판독형 저장 매체에 유형적으로 구현된 컴퓨터-프로그램 프로덕트.