KR20230061397A

KR20230061397A - 병변 분할에 주의를 기울이는 멀티암 머신 러닝 모델

Info

Publication number: KR20230061397A
Application number: KR1020237007701A
Authority: KR
Inventors: 주앙 송; 닐스 구스타프 토마스 벵츠손; 리차드 앨런 두레이 카라노; 데이비드 비. 클레이튼; 알렉산더 제임스 스티븐 챔피온 드 크레스피그니; 로라 가에타노; 아니타 프리야 크리슈난
Original assignee: 제넨테크, 인크.; 에프. 호프만-라 로슈 아게
Priority date: 2020-09-03
Filing date: 2021-08-26
Publication date: 2023-05-08
Also published as: US20230206438A1; JP2023540950A; EP4208847A1; WO2022051155A1; CN116034398A

Abstract

본 명세서에 개시된 실시예는 일반적으로 병변 검출을 위한 멀티암 머신 러닝 모델에 관한 것이다. 특히, 본 개시의 양태는 3차원 자기 공명 영상(MRI) 이미지에 액세스하는 것에 관한 것이다. 각각의 3차원 MRI 이미지는 대상체의 동일한 부피의 뇌를 묘사한다. 뇌의 부피는 하나 이상의 병변의 적어도 일부를 포함한다. 3차원 MRI 이미지의 각각의 3차원 MRI 이미지는 3차원 MRI 이미지의 인코딩을 생성하기 위해 머신 러닝 모델의 하나 이상의 대응하는 인코더 암을 사용하여 처리된다. 3차원 MRI 이미지의 인코딩은 연결된 표현을 생성하기 위해 연결된다. 연결된 표현은 머신 러닝 모델의 디코더 암을 사용하여 처리되어, 병변의 적어도 일부를 묘사하는 것으로 예측된 뇌 부피의 하나 이상의 부분을 식별하는 예측을 생성한다.

Description

병변 분할에 주의를 기울이는 멀티암 머신 러닝 모델

관련 출원의 상호 참조

본 출원은 미국 가특허 출원 제63/074,354(2020년 9월 3일 출원)의 이익 및 우선권을 주장하며, 그 전문이 모든 목적을 위해 참조로 여기에 포함된다.

다발성 경화증(MS)은 중앙 신경계에 영향을 미치는 질병이다. 질병의 결과로 MS 환자의 뇌에 병변이 형성된다. 대부분의 경우 MS는 초기에 재발 완화형 MS로 나타나며 시간과 공간의 분리를 특징으로 한다. 예를 들어, 환자는 서로 다른 신체 부위 및/또는 서로 다른 기능 시스템에 영향을 미치고 있는 다양한 증상 에피소드를 경험할 수 있다. 다른 예로서, 환자는 중앙 신경계의 서로 다른 부분들에서 병변을 경험할 수 있다. 또 다른 예로서, 환자는 증상을 경험할 수 있고, 중앙 신경계에 대응하지 않는 뇌 영역에서 병변을 가질 수 있다. 시간이 지남에 따라, MS 환자의 병변 크기 및 카운트가 자주 증가하여, 질병의 악화를 반영한다. 재발 완화형 MS는 통상적으로 이차 진행성 MS로 종국에 진행되며, 그 동안 별개의 증상 재발 및 회복 에피소드보다는 증상 및 뇌 건강의 점진적 악화가 관찰된다. 원발성 진행성 MS는 점진적 증상 악화 및 뇌 기능 저하를 특징으로 하지만, 이 진단은 재발 완화 형태를 앞서 경험하지 않은 환자에게 적용된다.

자기 공명 영상(MRI)은 새로운(조영 증강) 병변, 오래된 병변 및 뇌 위축(뇌 크기 변화를 통해)의 가시화를 제공할 수 있다. 이러한 메트릭은 MS 진단 지원, MS 예후 촉진, MS 치료 선택 및 MS 치료 평가를 위한 기반이다. MRI 이미지는 MRI 시퀀스를 사용하여 생성되며, 이는 특정 이미지 모양을 초래하는 무선 주파수 펄스 및 기울기의 특정 설정이다. 세 가지 주요 MRI 시퀀스 유형에는 T1 시퀀스, T2 시퀀스 및 FLAIR(fluid-attenuated inversion recover) 시퀀스가 포함된다.

T1 MRI는 비교적 빠르게 수집될 수 있으며 구조적 정보를 제공할 수 있다. 축삭 파괴와 뉴런 사멸을 나타내는 블랙홀은 T1 이미지에서 어둡게 나타난다. T2 MRI는 총 질병 부담을 보여주기 위해 자주 사용된다. 새로운 병변과 오래된 병변은 이러한 스캔에서 고강도 영역으로 나타난다. FLAIR MRI는 FLAIR MRI에서 심실이 어두워진다는 점을 제외하면 T2 MRI와 유사하다(T2 MRI에서는 밝음). 따라서 심실 근처(예: 뇌량)에 나타나는 병변은 FLAIR MRI에서 더 잘 보인다.

어떤 경우에는 활성 병변의 가시성을 개선하기 위해 하나 이상의 MRI 스캔을 수집하기 전에 조영제(예: 가돌리늄)가 대상체(예: 정맥 내)에게 투여된다. 혈액-뇌 장벽이 손상되지 않으면 조영제가 중추신경계로 전달되지 않는다. 혈뇌 장벽이 파괴되면 조영제가 중추신경계를 통과하여 염증 부위에 나타날 수 있다. 조영제는 T1 MRI에서 고강도로 나타난다.

전통적으로, 방사선 전문의는 MRI 스캔에 수동으로 주석을 달았다. 그러나 시퀀스 유형의 차이 외에도 다양한 심도와 관점에 대해 스캔이 수집된다는 점을 감안할 때 주석을 추가할 스캔이 많다. 또한 방사선 전문의에 따라 주석에 높은 레벨의 가변성이 있다. 따라서 효율성과 일관성을 향상시키기 위해 MRI 이미지를 처리할 수 있는 자동화된 기술을 식별하는 것이 유리할 것이다.

일부 실시예에서, 컴퓨터-구현 방법이 제공된다. 복수의 3차원 자기 공명 영상(MRI) 이미지에 액세스한다. 복수의 3차원 MRI 이미지 각각은 대상체의 뇌의 동일한 부피를 묘사한다. 제1 3차원 MRI 이미지는 제2 3차원 MRI 이미지를 생성하는 데 사용된 제2 유형의 MRI 시퀀스와는 다른 제1 유형의 MRI 시퀀스(예: T1, T2 또는 FLAIR(fluid-attenuated inversion recovery))를 사용하여 생성되었다. 복수의 3차원 MRI 이미지의 각각의 3차원 MRI 이미지는 머신 러닝 모델의 하나 이상의 대응하는 인코더 암을 사용하여 처리되어 3차원 MRI 이미지의 인코딩을 생성한다. 복수의 3차원 MRI 이미지의 인코딩은 연결 표현을 생성하기 위해 연결된다. 연결된 표현은 머신 러닝 모델의 디코더 암을 사용하여 처리되어 병변의 적어도 일부를 묘사하는 것으로 예측된 뇌 부피의 하나 이상의 부분을 식별하는 예측을 생성한다.

일부 실시예에서, 컴퓨터-구현 방법은 복수의 3차원 MRI 이미지의 각각의 3차원 MRI 이미지에 대해, 3차원 MRI 이미지의 인코딩 해상도보다 낮은 해상도를 갖는 다운샘플링된 인코딩을 생성하는 단계를 추가로 포함한다. 복수의 3차원 MRI 이미지의 각각의 3차원 MRI 이미지에 대한 다운샘플링된 인코딩은 하나 이상의 대응하는 인코딩 암의 하나 이상의 레이어를 사용하여 처리된다. 다운샘플링된 인코딩들은 연결되어 또 다른 연결된 표현을 생성한다. 예측은 머신 러닝 모델의 디코더 암을 사용하여 연결된 또 다른 표현의 처리를 추가로 기반으로 한다.

일부 실시예에서, 머신 러닝 모델은 U-Net 머신 러닝 모델을 포함한다.

일부 실시예에서, 머신 러닝 모델은 하나 이상의 스킵 어텐션 모듈을 포함하고, 각각의 하나 이상의 스킵 어텐션 모듈은 머신 러닝 모델의 인코딩 암의 인코딩 블록을 동일 해상도에서 디코더 암의 디코더 블록에 연결한다.

일부 실시예에서, 스킵 어텐션 모듈들의 각각의 스킵 어텐션 모듈은 3차원 MRI 이미지의 해상도에서 연결된 표현의 입력 및 다른 연결된 표현의 업샘플링된 인코딩을 수신한다. 예측은 머신 러닝 모델의 디코더 암을 사용하여 스킵 어텐션 모듈에서 스킵 특징 인코딩의 출력 처리를 추가로 기반으로 한다.

일부 실시예에서, 하나 이상의 어텐션 스킵 모듈은 관련 고차원 특징이 이용 불가능할 경우 어텐션 스킵 모듈의 건너뛰기를 용이하게 하기 위해 어텐션 스킵 모듈의 입력과 출력 사이에 잔여 연결을 포함한다.

일부 실시예에서, 머신 러닝 모델은 가중 이진 교차 엔트로피 손실 및/또는 Tversky 손실을 사용하여 훈련되었다.

일부 실시예에서, 머신 러닝 모델은 머신 러닝 모델의 다중 심도 각각에서 계산된 손실을 사용하여 훈련되었다.

일부 실시예에서, 제1 유형의 MRI 시퀀스는 T1, T2 및 FLAIR의 시퀀스 세트로부터의 시퀀스를 포함하고, 제2 유형의 MRI 시퀀스는 시퀀스 세트로부터의 다른 시퀀스를 포함한다.

일부 실시예에서, 컴퓨터-구현 방법은 예측을 사용하여 병변의 수를 결정하는 단계를 추가로 포함한다.

일부 실시예에서, 컴퓨터-구현 방법은 예측을 사용하여 하나 이상의 병변 크기 또는 병변 부하를 결정하는 단계를 추가로 포함한다.

일부 실시예에서, 컴퓨터-구현 방법은 이전 MRI에 대응하는 데이터에 액세스하는 것을 추가로 포함한다. 예측 및 데이터를 사용하여 하나 이상의 병변의 양, 크기 또는 누적 크기의 변화를 결정할 수 있다. 변경 사항을 나타내는 출력이 생성된다.

일부 실시예에서, 컴퓨터-구현 방법은 예측에 기초하여 치료 전략 변경을 추천하는 것을 추가로 포함한다.

일부 실시예에서, 컴퓨터-구현 방법은 예측에 적어도 부분적으로 기초하여 다발성 경화증 대상체의 진단 가능성 또는 확인에 대응하는 출력을 제공하는 것을 추가로 포함한다.

일부 실시예에서, 컴퓨터-구현 방법은 예측에 적어도 부분적으로 기초하여 다발성 경화증 대상체를 진단하는 단계를 추가로 포함한다.

본 발명의 일부 실시예는 하나 이상의 데이터 프로세서를 포함하는 시스템을 포함한다. 시스템은 하나 이상의 데이터 프로세서에서 실행될 때, 하나 이상의 데이터 프로세서로 하여금 본 명세서에 개시된 하나 이상의 방법의 일부 또는 전부를 수행하게 하는 명령어를 포함하는 비일시적 컴퓨터 판독 가능 저장 매체를 추가로 포함할 수 있다.

일부 실시예에서, 비일시적 머신 판독 가능 저장 매체에 유형적으로 구현되는 컴퓨터 프로그램 제품이 제공된다. 컴퓨터 프로그램 제품은 하나 이상의 데이터 프로세서가 여기에 개시된 하나 이상의 방법의 일부 또는 전부를 수행하게 하도록 구성된 명령어를 포함할 수 있다.

도 1은 다양한 실시예에 따라 멀티암을 갖는 모델을 사용하여 이미지 내의 병변의 묘사를 분할하기 위한 예시적인 컴퓨팅 환경을 도시한다.
도 2는 다양한 실시예에 따라 병변의 묘사를 분할하는데 사용되는 다수의 인코더 암을 포함하는 예시적인 모델을 도시한다.
도 3은 다양한 실시예에 따라 병변의 묘사를 분할하는데 사용되는 다수의 인코더 암을 포함하는 또 다른 예시적인 모델을 도시한다.
도 4는 다양한 실시예에 따라 다수의 인코더 암을 갖는 모델을 사용하여 이미지 내의 병변의 묘사를 분할하기 위한 예시적인 프로세스를 도시한다.
도 5a-5b는 자기 공명 영상(MRI) 이미지에서 병변의 묘사를 분할 및 검출하는 다중 머신 러닝 모델의 예시적인 결과를 보여준다.
도 6a-6b는 MRI 이미지에서 병변의 묘사를 분할 및 검출하는 다수의 머신 러닝 모델의 예시적인 결과를 보여준다.
도 7은 7개의 상이한 머신 러닝 모델을 사용하여 MRI 이미지에서 병변 묘사의 검출의 예시적인 결과를 보여준다.
도 8은 상이한 머신 러닝 모델를 이용하여 임상 치료 중 병변 카운트 예측의 예시적인 결과를 보여준다.

I. 개요

본 개시내용은 의료 이미지의 자동화된 병변 분할을 위한 기술을 설명한다. 보다 구체적으로, 본 발명의 실시예는 훈련된 멀티암 머신 러닝 네트워크를 사용하여 의료 이미지 내의 병변의 묘사를 분할하는 기술을 제공한다. 일부 실시예에서, 관심 있는 머신 러닝 모델은 3차원 자기 공명 영상(MRI) 이미지에서 병변을 분할하는 데 사용될 수 있다.

MRI 이미지는 일반적으로 MRI 이미지에 묘사된 병변을 식별하기 위해 수동 또는 반수동으로 주석을 단다. 그러나, 시퀀스 유형(T1, T2 및 유체 감쇠 반전 복구(FLAIR))의 차이 외에도 다양한 심도와 관점에 대해 스캔이 수집되는 경우, 주석을 추가할 스캔이 많은 경우가 많다. 또한 애노테이터 간 애노테이션에는 높은 레벨의 가변성이 있는 경우가 많다. 따라서 수동 또는 반수동 접근 방식은 병변 검출에 있어 최적이 아닌 효율성과 일관성을 초래할 수 있다.

이러한 제한 및 문제를 해결하기 위해, 본 발명의 일부 실시예에서 자동화된 객체 분할을 위한 기술은 병변의 묘사를 분할하기 위해 훈련된 멀티암 딥 러닝 네트워크를 활용한다. 예를 들어, 데이터 처리 시스템은 각각 대상체의 뇌의 동일한 볼륨을 묘사하는 여러 개의 3차원 MRI 이미지에 액세스한다. 뇌의 부피는 적어도 하나 이상의 병변의 일부를 포함한다. 각각의 3차원 MRI 이미지는 서로 다른 유형의 MRI 시퀀스(예: T1, T2 또는 FLAIR)를 사용하여 생성된다. 데이터 처리 시스템은 3차원 MRI 이미지의 인코딩을 생성하기 위해 머신 러닝 모델의 하나 이상의 대응하는 인코더 암을 사용하여 각각의 3차원 MRI 이미지를 처리한다. 각 인코더 암은 상이한 유형의 MRI 시퀀스를 처리하도록 훈련될 수 있다. 데이터 처리 시스템은 3차원 MRI 이미지의 인코딩을 연결하여, 연결된 표현을 생성하고 머신 러닝 모델의 디코더 암을 사용하여 연결된 표현을 처리하여, 병변의 적어도 일부를 묘사할 것으로 예측되는 뇌 부피의 하나 이상의 부분을 식별한다. 병변 예측이 출력되고 다운스트림에서 추가로 분석될 수 있다. 예를 들어, 예측된 병변 묘사는 대상이 임의의 병변을 갖는지 여부, 대상체가 임의의 강화 병변을 갖는지 여부, 대상체가 얼마나 많은 병변을 갖는지, 대상체가 얼마나 많은 강화 병변을 갖는지, 하나 이상의 병변의 각각의 위치(예를 들어, 뇌 위치), 하나 이상의 강화 병변 각각의 위치, 대상체가 가진 하나 이상의 병변 각각의 크기, 대상체에 대한 누적 강화 병변 크기, 대상체에 대한 누적 강화 병변 크기, 및/또는 대상체의 뇌 부피를 예측하는데 사용될 수 있다.

II. 의료 이미지 분할 기법

이미지 분할은 모양, 크기, 색상 등과 같은 상이한 특징들에서 유사성을 나타내는 부분으로 이미지를 분리하는 절차이다. 병변 묘사의 분할은 신체 영역(예: 뇌) 내 병변의 크기 및 위치를 시각화할 수 있고, 치료 분석의 기초를 제공할 수도 있다. 병변 분할의 황금 표준은 오랫동안 수동 분할이었으며, 이는 시간 소모적이고 노동 집약적이어서 대규모 연구에 적합하지 않다. 병변 분할 과정을 완전히 또는 부분적으로 자동화하기 위해 상당한 연구가 수행되었다. 예를 들어, 뇌의 백질(WM), 회백질(GM), 및 뇌척수액(CSF)과 같은 정상 조직의 묘사로부터 비정상 조직(예: 병변)의 묘사를 분리하기 위해 임계값, 영역 성장, 퍼지 클러스터링, 워터셰드 알고리즘 사용 등과 같은 이미지 분할 기술이 사용되었다. 그럼에도 불구하고 병변 묘사의 모양, 위치 및 크기의 다양성으로 인해 분할 과정은 여전히 쉽지 않다.

머신 러닝 모델(예를 들어, U-Net)의 멀티 인코딩 암을 사용하여 병변의 묘사를 분할하는 모델을 통합하는 종단간 방법이 본원에서 설명된다. 치료 반응은 다른 요인(예: 재발, 진행 등)과 함께 분할된 병변 묘사를 기반으로 특성화될 수 있다. 개발된 모델은 3차원 스캔의 복잡성, 다양한 병변 유형 간의 극심한 불균형, 및 입력 이미지의 이종 특성(예: 가변 밀도 및 개체 크기)을 수용하도록 고안되었다. 본 명세서에서 사용되는 바와 같이, "스캔"은 대상체의 신체를 통한 단일 평면 상의 신호의 그래픽 표현이다. 이 모델은 임계값 방법, 에지 기반 분할 방법 또는 영역 기반 분할 방법과 같은 수동 개입(예: 종자 수동 선택 또는 경계 상자 수동 식별)에 의존하는 기존 알고리즘에 대한 병변 분할에 필적하는 성능을 제공한다.

II.A. 컴퓨팅 환경의 예

도 1은 다양한 실시예에 따라 멀티 암을 갖는 모델을 사용하여 이미지 내의 병변의 묘사를 분할하기 위한 예시적인 컴퓨팅 환경(100)(즉, 데이터 처리 시스템)을 도시한다. 도 1에 도시된 바와 같이, 이 예에서 컴퓨팅 환경(100)에 의해 수행되는 분할은 이미지 획득 단계(105), 모델 훈련 단계(110), 분할 단계(115) 및 분석 단계(120)의 여러 단계를 포함한다.

이미지 획득 스테이지(105)는 대상체의 다양한 부분의 입력 이미지(135)(예를 들어, MRI 이미지)를 얻기 위한 하나 이상의 이미징 시스템(130)(예를 들어, MRI 이미징 시스템)을 포함한다. 이미징 시스템(130)은 입력 이미지(135)를 획득하기 위해 MRI 등과 같은 방사선 이미징 기술을 사용하도록 구성된다. 이미징 시스템(130)은 이미징 시스템(130) 각각과 관련된 특성(예를 들어, 밝기, 콘트라스트 및 공간 해상도)에 기초하여 대상체 내의 다양한 구조 및 기능 간의 차이를 결정할 수 있고, 일련의 2차원 또는 3차원 이미지를 생성할 수 있다. 일련의 2차원 이미지가 스캐너의 컴퓨터에 의해 수집되면, 컴퓨터 분석을 통해 2차원 이미지를 디지털 방식으로 "스택"하여, 대상체 또는 대상체의 일부에 대한 3차원 이미지를 재구성할 수 있다. 2차원 이미지 및/또는 재구성된 3차원 입력 이미지(135)는 가능한 병변 또는 이상뿐만 아니라 기본 구조(예: 기관)의 더 쉬운 식별 및 위치결정을 허용한다. 각각의 2차원 이미지 및/또는 재구성된 3차원 입력 이미지(135)는 세션 시간 및 대상체에 대응할 수 있고, 대상체의 내부 영역을 나타낼 수 있다. 각각의 2차원 이미지 및/또는 재구성된 3차원 입력 이미지(135)는 또한 표준화된 크기, 해상도 및/또는 배율을 가질 수 있다.

모델 훈련 스테이지(110)는 다른 스테이지에 의해 사용될 하나 이상의 모델(140a-140n)(본 명세서에서 개별적으로 모델(140) 또는 집합적으로 모델(140)이라고 함)을 구축 및 훈련시킨다. 모델(140)은 다중 네트워크, 예를 들어, 컨볼루션 신경망("CNN"), 가령, 시작(inception) 신경망, 잔차 신경망("Resnet"), U-Net, V-Net, 싱글 샷 멀티박스 검출기("SSD") 네트워크 또는 순환 신경망("RNN"), 예를 들어, 장단기 기억("LSTM") 모델 또는 게이트 순환 단위("GRU") 모델 또는 이들의 조합을 포함하는 머신 러닝("ML") 모델일 수 있다. 모델(140)은 또한 3차원 CNN("3DCNN"), 동적 시간 워핑("DTW") 기술, 은닉 마르코프 모델("HMM") 등 또는 이러한 기술 중 하나 이상의 조합(예: CNN-HMM 또는 MCNN(Multi-Scale Convolutional Neural Network))과 같이, 이미지로부터 개체 감지 및/또는 분할에서 훈련된 임의의 다른 적절한 ML 모델일 수 있다. 컴퓨팅 환경(100)은 상이한 유형의 병변의 묘사를 분할하기 위해 동일한 유형의 모델 또는 상이한 유형의 모델을 사용할 수 있다. 모델(140)은 병변 묘사의 분할 및 검출과 관련된 특징을 생성하기 위한 인코더 모델 세트를 갖는 인코더 암 및 병변 예측(185)을 생성하기 위한 디코더 암을 포함할 수 있다. 어떤 경우에, 모델(140)은 조합된 비대칭 손실 함수, 예를 들어, 네트워크 훈련을 위한 Tversky 손실과 wBCE(가중 이진 교차 엔트로피) 손실의 조합으로 구성된다.

이 예에서 모델(140)을 훈련시키기 위해, 훈련 이미지(145)는 디지털 이미지를 획득함으로써, 이미지들을 훈련용 훈련 이미지 서브세트(145a)(가령, 90%) 및 검증용 훈련 이미지서브세트(145b)(가령, 10%)로 분할함으로써, 훈련 이미지 서브세트(145a) 및 훈련 이미지서브세트(145b)를 전처리함으로써, 훈련 이미지 서브세트(145a)를 증강함으로써, 그리고 일부 예에서, 훈련 이미지 서브세트(145a)를 라벨(150)로 주석처리함으로써, 생성된다. 훈련 이미지 서브세트(145a)는 하나 이상의 이미징 양식(예: MRI T1, T2, 양성자 밀도(PD) 또는 FLAIR)에서 획득한다. 일부 예에서, 훈련 이미지 서브세트(145a)는 하나 이상의 이미징 양식과 관련된, 데이터베이스, 이미지 시스템(예를 들어, 하나 이상의 이미징 시스템(130)) 등과 같은, 데이터 저장 구조로부터 획득된다. 각 이미지는 하나 이상의 병변을 나타낸다.

분할은 무작위로(예를 들어, 90/10% 또는 70/30%) 수행될 수 있거나 분할은 K-Fold Cross-Validation, Leave-one-out Cross-Validation, Leave-one-group-out Cross-Validation, Nested Cross-Validation 등과 같은 보다 복잡한 검증 기술에 따라 수행되어 샘플링 편향과 과적합(overfitting)을 최소화할 수 있다. 전처리는 모든 특징을 동일한 척도(예를 들어, 동일한 크기 척도 또는 동일한 색상 척도 또는 채도 척도)에 놓기 위한 표준화 또는 정규화를 포함할 수 있다. 경우에 따라 이미지는 미리 결정된 픽셀(예: 2500픽셀)의 최소 크기(폭 또는 높이) 또는 미리 결정된 픽셀(예: 3000픽셀)의 최대 크기(폭 또는 높이)로 크기가 조정되고 원본 종횡비와 함께 유지된다.

증강은 데이터세트에서 이미지의 수정된 버전을 생성함으로써 훈련 이미지 서브세트(145a)의 크기를 인위적으로 확장하는 데 사용될 수 있다. 원본 이미지와 동일한 클래스에 속하는 데이터 세트에서 이미지의 변환된 버전을 생성하여 이미지 데이터 증강을 수행할 수 있다. 변환에는 이동, 플립(flip), 줌, 등과 같은 이미지 조작 분야의 작업 범위가 포함된다. 일부 사례에서, 동작은 모델(140)이 훈련 이미지 서브세트(145a)로부터 이용 가능한 상황 이외의 상황에서 수행할 수 있도록 보장하기 위한, 랜덤 지우기, 이동, 밝기, 회전, 가우시안 블러링 및/또는 탄성 변환을 포함한다.

하나 이상의 사람(가령, 방사선의 또는 병리학자와 같은 주석자)이 훈련 이미지 서브세트(145a)의 각각의 이미지에서 하나 이상의 병변의 묘사의 존재를 확인함으로써, 그리고, 예를 들어, 하나 이상의 병변의 묘사를 포함하도록 사람이 확인한 영역 주위에 주석 소프트웨어를 사용하여 경계 상자(실측 정보) 또는 분할 경계를 그리는, 라벨(150)을 하나 이상의 병변에 제공함으로써, 주석화가 수작업으로 수행될 수 있다. 어떤 경우에는 병변일 확률이 50% 이상인 경우에만 경계 상자 또는 분할 경계를 그릴 수 있다. 여러 주석자에 의해 주석이 달린 이미지의 경우 모든 주석자로부터의 경계 상자 또는 분할 경계가 사용될 수 있다. 경우에 따라 주석 데이터는 병변 유형을 추가로 나타낼 수 있다. 예를 들어, 다양한 유형의 병변에 대해 주석 데이터는 강화, 비-강화 또는 T2 고강성 병변과 같은 유형을 나타낼 수 있다.

일부 예에서, 훈련 이미지 서브세트(145)는 훈련 데이터 세트(즉, 훈련 이미지 서브세트(145a)) 내에 포함되도록 주석자 장치로 전송될 수 있다. 입력은 (예를 들어) 이미지가 관심 대상(예를 들어, 병변, 기관, 등)을 묘사하는지 여부; 이미지 내에 묘사되는 병변의 수 및 유형; 및 이미지 내 묘사된 각각의 병변의 둘레(경계 상자 또는 분할 경계)를 나타내는 (예를 들어) 마우스, 트랙 패드, 스타일러스 및/또는 키보드를 이용하여 주석자 장치에 (가령, 방사선의에 의해) 제공될 수 있다. 주석자 장치는 각각의 이미지에 대한 라벨(150)을 생성하기 위해 제공된 입력을 사용하도록 구성될 수 있다. 예를 들어, 라벨(150)은 이미지 내에 묘사된 병변의 수 및/또는 유형; 각각의 묘사된 병변에 대한 유형 분류; 특정 유형의 각각의 묘사된 병변의 수; 및 이미지 내의 하나 이상의 식별된 병변의 둘레 및/또는 마스크를 포함할 수 있다. 일부 예에서, 라벨(150)은 의료 이미지 위에 오버레이된 하나 이상의 식별된 병변의 주변부 및/또는 마스크를 추가로 포함할 수 있다.

일부 예에서, 모델(140)은 뇌의 3차원(3D) 패치의 디지털 이미지를 처리하기 위해 훈련되고 사용된다. 3D 패치는 96x96x32일 수 있고 하나 이상의 병변의 적어도 일부를 묘사하는 제1 부분 및 각각 임의의 병변의 묘사가 부족한 제2 부분을 포함할 수 있다. 훈련 데이터에는 다양한 MRI 시퀀스 유형을 사용하여 생성된 이미지가 포함될 수 있다. 예를 들어 훈련 데이터 세트는 T1 시퀀스, T2 시퀀스 및 FLAIR 시퀀스를 사용하여 생성된 3차원 MRI 이미지를 포함할 수 있다. 훈련 데이터는 병변을 나타내는 부분과 병변을 나타내지 않는 부분에 대한 라벨을 포함할 수 있다. 라벨은 데이터베이스 또는 제공자 시스템에서 수신한 데이터로부터 수신, 식별 또는 파생될 수 있다. 라벨 데이터에는 (예를 들어) - 단일 이미지의 경우 - 병변의 적어도 일부를 묘사하는 이미지 부분에 대한 표시, 이미지에 적어도 부분적으로 묘사된 병변의 양, 병변의 적어도 일부를 묘사하는 이미지 내의 위치(예: 특정 복셀); 이미지 내의 특정 위치에 또는 이미지 내에 적어도 부분적으로 묘사된 병변의 유형(예: 조영증강 병변 또는 조영증강하지 않은 병변) 등을 포함할 수 있다.

모델(140)의 인코더 모델 세트 각각은 특정 유형의 MRI 시퀀스를 처리하도록 훈련될 수 있다. 예를 들어, 제1 머신 러닝 모델은 T1 시퀀스의 MRI 이미지에 대해 훈련될 수 있다. 제2 머신 러닝 모델은 T2 시퀀스의 MRI 이미지에 대해 훈련될 수 있다. FLAIR 시퀀스의 MRI 이미지에 대해 제3 머신 러닝 모델을 훈련할 수 있다. 모델(140)을 훈련시키는 데 사용되는 훈련 데이터는 대상체에게 조영제가 투여된 후 수집된 MRI 이미지, 하나 이상의 조영 증강 병변의 적어도 일부를 묘사하는 MRI 이미지, 조영제가 투여되지 않고 수집된 MRI 이미지, 대상체에게 조영제를 투여하기 전에 수집한 MRI 이미지, 및/또는 조영 증강 병변을 나타내지 않는 MRI 이미지를 포함할 수 있다. 예를 들어, 모델(140)의 인코더 모델은 대상체에게 최근 조영제를 투여하지 않고 수집한 이미지로만, 또는, 최근 대상체에게 조영제를 투여한 후 수집한 이미지로만, 또는, 이미지의 두 가지 유형 중 일부로 훈련할 수도 있다. 조영제가 투여된 후 수집된 이미지는 일부 경우에 혈뇌 장벽이 온전한 상황 및/또는 주어진 스캔이 조영제가 옮겨간 뇌 영역을 묘사하지 않는 경우의 상황에서 어떠한 강화 병변도 묘사하지 않을 수 있음을 이해할 것이다.

본 명세서에 개시된 머신 러닝 모델 기술은 다양한 유형의 병변을 검출하기 위해 훈련되고 사용될 수 있음을 이해할 것이다. 예를 들어, T2 병변이 검출될 수 있고, 강화 T1 병변이 검출될 수 있고, 등등이다. 일부 예에서, 본 명세서에 개시된 머신 러닝 모델 기술은 블랙홀을 검출하기 위해 훈련되고 사용될 수 있다.

특정 경우에, 모델(140)은 가중 이진 교차 엔트로피(wBCE) 손실 또는 Tversky 손실을 사용하여 훈련된다. 손실 함수는 영역 중첩, 복셀별 정확도, 표면 불일치, 위양성(FP), 위음성(FN) 및 AUC에 대한 페널티 가능성과 같은 여러 양태를 포획할 수 있다. 손실 함수는 가중 이진 교차 엔트로피(복셀별 정확도 정량화를 위한 wBCE) 손실 또는 Tversky 손실(예: 영역 중첩)일 수 있다. Tversky 손실은 예측(185)에서 위양성을 줄일 수 있으며 wBCE는 더 작은 병변을 식별하는 데 도움이 될 수 있다. 예를 들어, 손실은 베타가 0.7인 Tversky 손실을 사용하여 계산하여, 위양성의 기여도를 0.7만큼, 그리고 위음성의 기여도를 0.3만큼 가중할 수 있다. 또한 Tversky 손실과 wBCE 손실의 조합을 사용하여 손실을 계산할 수 있다.

모델(140)에 대한 훈련 프로세스는 모델(140)에 대한 하이퍼파라미터를 선택하고, 그리고 모델(140)에 대한 손실 또는 에러 함수를 최소화시키는 모델 파라미터 세트(예를 들어, 가중치 및/또는 편향)를 찾기 위해 훈련 이미지 서브세트(145a)로부터 모델(140)로 이미지를 입력하는 반복 작업을 수행하는 것을 포함한다. 하이퍼파라미터는 모델(140)의 거동을 제어하기 위해 조정하거나 최적화할 수 있는 설정이다. 대부분의 모델은 메모리 또는 실행 비용과 같은 모델의 다양한 양태를 제어하는 하이퍼파라미터를 명시적으로 정의한다. 그러나 모델을 특정 시나리오에 맞게 조정하기 위해 추가 하이퍼파라미터를 정의할 수 있다. 예를 들어, 하이퍼파라미터는 모델의 은닉 유닛의 수, 모델의 학습률, 컨볼루션 커널 폭 또는 모델의 커널의 수를 포함할 수 있다. 훈련의 각각의 반복은, 모델 파라미터 세트를 이용한 손실 또는 오류 함수의 값이 이전 반복에서 상이한 모델 파라미터 세트를 이용한 손실 또는 오류 함수의 값보다 작도록, 모델(140)에 대한 모델 파라미터 세트의 발견을 포함할 수 있다. 손실 또는 오류 함수는 모델(140)을 사용하여 추론된 출력과, 라벨(150)을 사용하여 이미지에 주석이 달린 실측 분할 경계 사이의 차이를 측정하도록 구성될 수 있다.

일단 모델 파라미터 세트가 식별되면, 모델(140)은 훈련되었고 훈련 이미지 서브세트(145b)(테스트 또는 검증 데이터 세트)를 사용하여 검증될 수 있다. 검증 프로세스는 시간 경과에 따른 검증 세트의 최소 손실을 갖는 모델을 선택하도록 K-Fold Cross-Validation, Leave-one-out Cross-Validation, Leave-one-group-out Cross-Validation, Nested Cross-Validation, 등과 같은 검증 기술을 사용하여 훈련 이미지 서브세트(145b)로부터 모델(140)로 이미지를 입력하는 반복 작업을 포함한다. 검증 세트는 또한 하이퍼파라미터를 조정하고 궁극적으로 최적의 하이퍼파라미터 세트를 찾는 데 사용할 수 있다. 하이퍼파라미터의 최적 세트가 획득되면, 훈련 이미지 서브세트(145b)로부터 이미지의 예약된 테스트 세트가 모델(140)에 입력되어 출력(이 예에서, 하나 이상의 병변의 묘사 주위의 분할 경계)을 획득하고, 그리고 출력은 Bland-Altman 방법 및 Spearman의 순위 상관 계수와 같은 상관 기술을 사용하여, 그리고 오류, 정확도, 정밀도, 재현율, 수신기 작동 특성 곡선(ROC) 등과 같은 성능 메트릭을 계산하여, 실측 분할 경계에 대해 평가된다.

이해되어야 하는 바와 같이, 다른 훈련/검증 메커니즘이 컴퓨팅 환경(100) 내에서 고려되고 구현될 수 있다. 예를 들어, 모델이 훈련될 수 있고, 훈련 이미지 서브세트(145a)로부터의 이미지에 대해 하이퍼파라미터가 조정될 수 있으며, 훈련 이미지 서브세트(145b)로부터의 이미지는 모델의 성능 평가 및 테스트에만 사용될 수 있다. 더욱이, 본 명세서에 기술된 훈련 메커니즘이 새로운 모델(140)을 훈련하는 데 초점을 맞추지만, 이러한 훈련 메커니즘은 다른 데이터 세트로부터 훈련된 기존 모델(140)을 미세 조정하는 데에도 활용될 수 있다. 예를 들어, 어떤 경우에, 모델(140)은 다른 객체 또는 생물학적 구조의 이미지를 사용하여 또는 다른 대상체 또는 연구(예: 인간 실험 또는 쥐 실험)의 섹션으로부터 사전 훈련되었을 수 있다. 그러한 경우에, 모델(140)은 전이 학습에 사용될 수 있고 입력 이미지(135)를 사용하여 재훈련/검증될 수 있다.

모델 훈련 단계(110)는 일련의 인코더 암 및 하나의 디코더 암을 포함하는 하나 이상의 훈련된 분할 모델(165)을 포함하는 훈련된 모델을 출력한다. 하나 이상의 입력 이미지(135)는 분할 단계(115) 내의 병변 분할 컨트롤러(170)에 의해 획득된다. 다양한 예에서, 입력 이미지(135)는 3차원 MRI 이미지이다. 각각의 3차원 MRI 이미지는 대상체의 동일한 부피의 뇌를 묘사한다. 뇌의 부피는 하나 이상의 병변의 적어도 일부를 포함한다. 각각의 3차원 MRI 이미지는 전체 MRI 이미지의 3차원 패치를 포함한다. 3차원 패치는 전체 3차원 MRI 이미지의 복셀의 서브세트일 수 있다. 일부 예에서, 제1 3차원 MRI 이미지는 제2 3차원 MRI 이미지를 생성하는 데 사용되는 제2 유형의 MRI 시퀀스와는 다른 제1 유형의 MRI 시퀀스를 사용하여 생성될 수 있다. 특정 경우에, 상이한 MRI 시퀀스를 사용하여 획득된 3차원 MRI 이미지는 분할 모델(165)의 개별 인코더 암에 각각 입력될 수 있다.

일부 예에서, 3차원 MRI 이미지는 분할 모델(165)에 입력되기 전에 전처리된다. 예를 들어, FLAIR MRI 이미지는 강도 재스케일링 및 z-스코어링될 수 있다. 또한, T1 조영 전 이미지와 관련하여 T1 조영 후 이미지에서 병변의 강도 증가를 캡처하기 위해, 볼륨을 공동으로 정규화할 수 있다(예: 볼륨 간의 강도 관계를 유지하면서 크기 조정). 두 볼륨 모두 조영 전 스캔에서 뇌의 평균 및 표준편차를 사용하여 z 스코어를 매길 수 있다.

일부 예에서, 병변 분할 컨트롤러(170)는 한 세트의 인코더 암 및 하나의 디코더 암을 포함하는 훈련된 분할 모델(165)을 사용하여 3차원 MRI 이미지를 처리하기 위한 프로세스를 포함한다. 일부 예에서, 각각의 3차원 MRI 이미지는 훈련된 분할 모델(165)의 대응하는 인코더 암에 입력된다. 각각의 인코더 암은 3차원 MRI 이미지의 인코딩을 생성할 수 있다. 3차원 MRI 이미지의 인코딩 해상도보다 낮은 해상도의 다운샘플링된 인코딩도 생성될 수 있다. 다운샘플링된 인코딩은 하나 이상의 해당 인코딩 암의 하나 이상의 레이어를 사용하여 처리될 수 있다. 주어진 해상도에서 인코딩(또는 다운샘플링된 인코딩)은 각 해상도에 대해 연결된 표현을 생성하기 위해 집계(예: 연결)된다. 각각의 연결된 표현은 병변의 적어도 일부를 묘사하기 위해 예측된 뇌 용적의 하나 이상의 부분을 식별하는 예측(185)을 생성하기 위해 분할 모델(165)의 디코더 암(decoder arm)의 레이어 세트를 사용하여 처리될 수 있다. 예측(185)은 병변의 묘사를 포함하는 각각의 복셀의 우도(likelihood)를 식별할 수 있다. 일부 예에서, 병변 분할 컨트롤러(170)는 병변의 묘사 주위에 추정된 분할 경계를 갖는 3차원 MRI 이미지에 대응하는 이미지를 예측(185)에 출력할 수 있다.

일부 경우에, 분할 모델(165)은 스킵 특징을 포함할 수 있다. 스킵 특징은 디코더 암으로 전달되는 세부 정보가 포함된 인코딩 기능이다. 분할 모델(165)의 디코더 암은 스킵 어텐션 모듈의 출력으로서 스킵-특징 인코딩의 집합을 수신할 수 있고, 스킵-특징 인코딩을 사용하는 것에 기초하여 묘사된 병변의 예측(185)을 생성할 수 있다. 일부 경우에 스킵 어텐션 모듈은 주어진 해상도에서 연결된 표현과 주어진 해상도에 대한 또 다른 연결된 표현의 업샘플링된 인코딩을 수신할 수 있다. 스킵 어텐션 모듈은 스킵 특징 인코딩을 출력할 수 있다. 스킵-특징 인코딩은 집계될 수 있으며, 이는 주어진 해상도에서 분할 모델(165)의 스킵 어텐션 모듈에 의해 생성된 스킵-특징 인코딩과, 보다 낮은 해상도에서 스킵 어텐션 모듈로부터의 업샘플링 결과에 의해 생성된 업샘플링된 스킵-특징 인코딩과, 보다 높은 해상도에서 스킵 어텐션 모듈로부터의 다운샘플링 결과에 의해 생성되는 다운샘플링된 스킵 특징 인코딩들의 연결 또는 합산을 포함할 수 있다. 대안적으로, 디코더 암은 다른 해상도에서 업샘플링되거나 다운샘플링된 스킵 특징 인코딩을 집계하지 않고 각 해상도에서 스킵 어텐션 모듈로부터 스킵 특징 인코딩을 수신할 수 있다.

스킵 특징은 세부 정보를 포함하지만, 스킵 특징은 감소된 수용 필드(현재 컨볼루션 연산이 보는 입력 이미지의 로컬 영역)를 갖는 인코딩 레이어에 의해 생성되기 때문에 잡음이 있을 수 있으며, 스킵 특징은 이에 대한 복셀의 정확한 분류릉 위한 컨텍스트가 부족할 수 있어서, 위양성(FP)으로 나타난다. 예를 들어, 혈관은 스캔의 작은 부분을 보면 작은 병변처럼 보일 수 있지만 스캔의 큰 부분에서 학습된 고차원 특징을 사용하면 혈관의 길고 가는 구조를 더 쉽게 학습할 수 있다. 또한, 저차원 표현에서 구조의 가장자리 또는 경계의 불일치는 고차원 표현에서 학습된 의미론적 정보를 사용하여 수정할 수 있다. 따라서 스킵 어텐션 모듈은 해상도가 낮은 다음 레벨 특징으로부터 고차원 표현을 기반으로 스킵 레이어의 영역에 주의를 기울여 FP를 줄이려고 한다.

예측(185)은 분석 단계(120) 내의 분석 컨트롤러(175)로 전송될 수 있다. 분석 컨트롤러(175)는 하나 이상의 해상도에 대한 예측(185)을 얻거나 수신하고, 하나 이상의 예측(185)에 기초하여 분석 결과(180)를 결정하는 프로세스를 포함한다. 분석 컨트롤러(175)는 하나 이상의 예측(185)을 사용하여 병변의 수를 결정하기 위한 프로세스를 추가로 포함할 수 있다. 분석 컨트롤러(175)는 하나 이상의 예측(185)을 사용하여 하나 이상의 병변 크기 또는 병변 부하를 결정하기 위한 프로세스를 추가로 포함할 수 있다. 병변의 수, 하나 이상의 병변 크기 및/또는 병변 부하가 분석 결과(180)로서 출력될 수 있다. 분석 컨트롤러(175)는 이전 MRI에 대응하는 데이터에 접근하여, 예측 및 데이터를 이용하여 하나 이상의 병변의 양, 크기 또는 누적 크기의 변화를 결정하고, 및 변화를 나타내는 출력으로 분석 결과(180)를 생성하는 프로세스를 추가로 포함할 수 있다. 예를 들어, 의료 제공자는 대상체와 관련된 과거의 MRI 데이터에 비해 최근 MRI 데이터에서 감지된 여러 병변 묘사의 변화(출력에서 식별됨)를 기반으로 대상체가 현재 치료에서 다른 치료로 전환하도록 권장할 수 있다. 분석 컨트롤러(175)는 예측(185)에 기초하여 치료 전략 변경을 권고하는 과정을 추가로 포함할 수 있다. 분석 컨트롤러(175)는 적어도 부분적으로 예측(185)에 기초하여 다발성 경화증 대상체의 진단 가능성 또는 확인에 대응하는 출력으로 분석 결과(180)를 제공하는 과정을 추가로 포함할 수 있다. 예를 들어, 의료 제공자는 출력에서 검출 및 식별된 병변의 묘사의 양에 기초하여 진단(예를 들어, 다발성 경화증의 유형 또는 다발성 경화증 자체)을 식별할 수 있다. 분석 컨트롤러(175)는 예측(185)에 적어도 부분적으로 기초하여 다발성 경화증 대상체를 진단하기 위한 프로세스를 추가로 포함할 수 있다. 분석 컨트롤러(175)는 예측(185)에 적어도 부분적으로 기초하여 치료 반응을 평가 및/또는 예측하기 위한 프로세스를 추가로 포함할 수 있다. 예를 들어, 분석 컨트롤러(175)는 치료 반응을 평가 및/또는 예측하기 위해 예측(185)을 대상체의 오래된 MRI 데이터와 비교할 수 있다. 다발성 경화증의 진단, 평가 및/또는 치료 반응 예측은 분석 결과(180)로서 출력될 수 있다.

일부 실시예에서, 위양성 예측은 다수의 기술을 사용하여 감소될 수 있다. 예측은 백질 안팎에서 진양성(TP)과 FP의 차등 분포가 있다는 가설로 위양성을 줄이기 위해 백질 마스크로 가려질 수 있다(예: 참 T2 병변은 백질에 있고 위양성은 백질 외부에 있음). MS 병변은 뉴런의 축색 돌기 주변의 말이집을 공격하는 면역 체계에 의해 발생하므로, 백질에서 TP가 발생한다고 가정할 수 있다. 그러나 FP와 TP의 차등 분포를 관찰하는 것은 어려울 수 있다. 이러한 경우, 위양성 항을 손실 함수에 추가하여 위양성 예측을 줄일 수 있다. 또한 wBCE 대신 매끄러운 절단 손실을 구현하여 이상치(outliers)로부터 학습을 줄일 수 있다. 추가 머신 러닝 모델(예: 방사성 기반 모델)을 구현하여 예측된 병변을 진양성과 위양성으로 분류할 수도 있다.

명시적으로 도시되지는 않았지만, 컴퓨팅 환경(100)은 개발자와 연관된 개발자 장치를 추가로 포함할 수 있음을 이해할 것이다. 개발자 장치에서 컴퓨팅 환경(100)의 구성요소로의 통신은 어떤 유형의 입력 이미지가 모델에 사용될 것인지, 사용할 모델의 수와 유형, 각 모델의 하이퍼파라미터, 예를 들어 학습률 및 은닉 레이어 수, 데이터 요청 포매팅 방법, 사용할 교육 데이터(예: 교육 데이터에 액세스하는 방법), 및 사용할 검증 기술 및/또는 컨트롤러 프로세스를 수행하는 방법을 나타낼 수 있다.

II.B. 멀티 인코더 암을 포함하는 예시적인 모델

도 2는 MRI 이미지의 인코딩을 생성하는 데 사용되는 인코더 암(210) 및 인코딩을 병변 예측으로 변환하는 데 사용되는 디코더 암(220)을 포함하는 예시적인 아키텍처를 도시한다. 인코더 암(210)은 동일한 아키텍처를 갖거나 상이한 아키텍처를 갖는 일련의 모델을 포함할 수 있다. 아키텍처는 병변 예측을 결정하기 위해 병변 분할 컨트롤러(170)에 의해 사용되는 도 1의 분할 모델(165)에 대응한다.

일부 예에서, 인코더 암(210)의 하나 이상 또는 모든 인코더 모델 각각은 도 1의 입력 이미지(135)와 같은, 3차원 MRI 이미지를 입력으로서 수신하도록 구성될 수 있다. 3차원 MRI 이미지는 전체 MRI 이미지의 3차원 패치를 포함할 수 있다. 3차원 패치는 전체 3차원 MRI 이미지의 복셀의 서브세트일 수 있다. 예를 들어, 1x1x3mm³의 이방성 복셀 크기를 사용하여 96x96x32의 패치 크기를 만들 수 있다. 또는, 등방성 복셀 크기(예: 1x1x1 mm³) 및 결과 패치 크기(96x96x96)를 사용할 수 있다. 이방성 또는 등방성 복셀 크기에 해당하는 다른 패치 크기도 사용할 수 있다. 경우에 따라 패치는 리샘플링된(예: 업샘플링된) 패치이다.

일부 경우에, 인코더 암(210)의 인코더 모델 세트는 입력 이미지를 처리하고 상이한 스케일에서 특징을 추출하도록 구성된 다수의 모델을 포함한다. 예를 들어, 인코더 암(210)은 D(심도) x H(높이) x W(폭)의 치수를 갖는 입력 이미지를 처리하도록 구성된 하나 이상의 모델을 포함할 수 있다. 각 암은 여러 심도 레벨(예: 4개)을 포함할 수 있으며 각 레벨에서 특징들이 추출된다(예: D x W x H, D/2 x W/2 x H/2, D/4 x W/4 x H/ 4 및 D/8 x W/8 x H/8). 더 낮은 심도 레벨에서 추출된 특징은 전체 해상도에서 인코딩을 다운샘플링하여 생성된 다운샘플링된 인코딩일 수 있다. 다운샘플링된 인코딩의 수는 다운샘플링 작업의 수에 해당한다. 인코더 암(210)의 모델 세트는 상이한 MRI 시퀀스 데이터를 사용하여 훈련되는 인코딩에 사용될 수 있다. 예를 들어, 인코더 암(210)의 적어도 하나의 모델은 (예를 들어) T1 MRI 이미지를 이용하여 학습된 제1 모델, T2 MRI 이미지를 이용하여 학습된 제2 모델, 및 FLAIR MRI 이미지를 이용하여 학습된 제3 모델을 포함할 수 있다.

인코더 암(210)의 인코딩 블록(230)은 콘볼루션(예를 들어, 1x3x3 또는 3x3x3) 레이어, 배치 놈 레이어, 및 ReLU(Rectified Linear Unit) 활성화 레이어의 하나 이상의 세트를 포함하여, 각각 수신된 입력 이미지(예: 특정 MRI 시퀀스를 사용하여 수집된 MRI 이미지의 3차원 패치)의 인코딩을 생성할 수 있다. 각각의 인코딩 블록(230)은 입력 이미지로부터 특징을 추출하도록 구성될 수 있다. 예를 들어, 네트워크의 각 레벨에 대해 특징 배열 세트가 생성될 수 있다. 특징 배열은 스트라이드 컨볼루션(예: 2x2x2)을 사용하여 다운샘플링될 수 있다.

주어진 해상도에 대해, 인코딩은 더 높은 심도 레벨로부터 다운샘플링된 인코딩의 집합을 사용하여 생성될 수 있다. 예를 들어, 1/4 해상도에 해당하는 심도 레벨에서, 인코딩 블록(230)은 1/4 해상도로 다운샘플링된 보다 높은 심도 레벨(예를 들어, 1/2 해상도 및 전체 해상도)로부터 특징 표현의 집합을 수신할 수 있다. 집합에는 특징 배열의 합산 또는 연결이 포함될 수 있다. 예를 들어, 머신 러닝 모델의 계산 요구 사항을 최소화하기 위해 기능 표현을 합산할 수 있다. 계산 능력이 향상되면 각 심도 레벨의 특징 표현이 연결될 수 있다.

주어진 해상도에 대한 각각의 인코더 모델로부터의 특징 표현은 그 후 통합될 수 있다. 예를 들어, 주어진 해상도(예를 들어, 심도 레벨)를 갖는 모든 입력 이미지에 걸쳐 모든 인코딩 암에 대응하는 모든 특징 배열은 주어진 해상도에서 특징 모양을 유지하면서 채널 차원을 따라 연결될 수 있다. 예를 들어, 주어진 해상도에 대해 특징 배열은 여러 유형의 MRI 시퀀스(예: T1, T2, FLAIR)의 요소를 포함할 수 있다. 또한, 각각의 입력 데이터 세트(예를 들어, 특정 이미징 세션 및 특정 대상체에 대응하는)에 대해, 인코더 암(210)은 각각이 특정 해상도와 관련된 다중 연결된 특징 표현(235)을 생성한다. 이러한 연결 특징 표현(235) 각각은 그 자체로 입력 데이터에 표현된 여러 유형의 MRI 시퀀스를 나타내는 요소들을 포함할 수 있다.

각각의 해상도에서 연결된 표현(235)은 디코더 암(220)(예를 들어, U-Net 모델)을 사용하여 처리될 수 있다. 디코더 암(220)은 모델 예측과 실측 마스크 사이의 불일치 및/또는 차이를 정량화하는 손실 함수를 사용하여 훈련될 수 있다. 손실은 머신 러닝 모델이 각 레벨에서 표현을 학습하도록 각 레벨(예: 심도당 손실)에서 출력될 수 있다. 디코더 암(220)은 병변의 일부(예를 들어, 비-증강 병변의 일부, 증강 병변의 일부 또는 모든 유형의 병변의 일부)를 묘사하는 뇌의 부피의 하나 이상의 부분을 식별하는 예측(260)을 생성하도록 연결된 표현(235)을 처리할 수 있다.

일부 예에서, 디코더 암(220)은 하나 이상의 스킵 어텐션 모듈(245)을 포함할 수 있다. 스킵 어텐션 모듈(245)은 인코더 암(210)의 인코딩 블록(230)에 의해 추출된 미세 입도의 세부사항을 전달하기 위해 머신 러닝 모델의 2개의 비-인접 레이어를 연결하여, 디코더 암(220)의 업샘플링 블록으로부터 의미론적 특징부과 결합시킨다. 디코더 암(220)의 디코더 블록(250)은 스킵 어텐션 모듈(245)에 의해 생성된 스킵-특징 인코딩을 수신하여, 3차원 MRI 이미지에서 묘사된 병변의 예측(260)을 생성할 수 있다. 각각의 해상도에서, 디코더 블록(250)은 다중 해상도에서 생성된 스킵-특징 인코딩의 집합을 수신할 수 있다. 예를 들어, 전체 해상도 레벨에서, 컨볼루션(예: 1x1x1) 레이어, ReLU 활성화 레이어 및 배치 놈 레이어 세트의 하나 이상의 세트를 포함하는 스킵 어텐션 모듈(245)은 연결된 표현(235)을 처리할 수 있다. 스킵 어텐션 모듈(245)에 의해 생성된 스킵-특징 인코딩은 다른 스킵 어텐션 모듈(245)의 출력을 전체 해상도로 업샘플링함으로써 생성된 다른 스킵-특징 인코딩과 함께, 집계된다. 보다 낮은 해상도의 경우, 주어진 해상도에서 스킵 어텐션 모듈의 스킵-특징 인코딩은 주어진 해상도보다 낮은 해상도에서 스킵 어텐션 모듈(245)의 결과를 주어진 해상도로 업샘플링하여 생성된 업샘플링된 스킵-특징 인코딩과 함께 집계될 수 있다. 추가적으로, 집계는 주어진 해상도보다 더 높은 해상도에서 스킵 어텐션 모듈(245)의 결과를 다운샘플링함으로써 생성된 다운샘플링된 스킵-특징 인코딩을 포함할 수 있다. 집계를 위해, 동일한 인코더 모델의 특징 표현들이 합산될 수 있고 다른 인코더 모델의 특징 표현들이 연결될 수 있다.

머신 러닝 모델의 디코더 블록(250)은 도 1의 예측(185)의 예인 예측(260)을 출력할 수 있다. 예를 들어, 예측(260)은 병변의 적어도 일부를 묘사하기 위해 예측된 뇌 용적의 하나 이상의 부분을 식별할 수 있다. 예측(260)은 뇌의 용적에서 병변의 수, 병변 크기 또는 병변 부하를 결정하는 데 사용될 수 있다. 예측(260)은 또한 병변의 양, 크기 또는 누적 크기의 변화를 결정하기 위해 이전 MRI에 대응하는 데이터와 조합하여 사용될 수 있다. 추가적으로, 치료 전략을 변경하기 위한 추천이 예측(260)에 기초하여 결정될 수 있다. 어떤 경우에, 예측(260)은 또한 대상체를 다발성 경화증으로 진단하기 위해 사용될 수 있다.

도 3은 MRI 이미지의 인코딩을 생성하는 데 사용되는 인코더 모델 세트를 갖는 인코더 암(310) 및 인코딩을 병변 예측으로 변환하는 데 사용되는 디코더 암(320)을 포함하는 다른 예시적인 아키텍처를 도시한다. 인코더 모델 세트는 동일한 아키텍처를 갖거나 다른 아키텍처를 갖는 모델 세트를 포함할 수 있다. 아키텍처는 병변 예측을 결정하기 위해 병변 분할 컨트롤러(170)에 의해 사용되는 도 1의 분할 모델(165)에 대응한다.

일부 예에서, 인코더 암(310)의 하나 이상 또는 모든 인코더 모델 각각은 3차원 MRI 이미지(예를 들어, 도 1의 입력 이미지(135))를 입력으로서 수신하도록 구성될 수 있다. 3차원 MRI 이미지는 전체 MRI 이미지의 3차원 패치를 포함할 수 있다. 3차원 패치는 전체 3차원 MRI 이미지의 복셀의 서브세트일 수 있다. 예를 들어, 1x1x3mm³의 이방성 복셀 크기를 사용하여 96x96x32의 패치 크기를 만들 수 있다. 또는 등방성 복셀 크기(예: 1x1x1 mm³) 및 결과 패치 크기(96x96x96)를 사용할 수 있다. 이방성 또는 등방성 복셀 크기에 해당하는 다른 패치 크기도 사용할 수 있다. 경우에 따라 패치는 리샘플링된(예: 업샘플링된) 패치이다.

일부 경우에, 인코더 암(310)의 인코더 모델 세트는 입력 이미지(325)(예를 들어, 도 1의 입력 이미지(135))를 처리하도록, 그리고 상이한 스케일에서 특징을 추출하도록 구성된 다수의 모델을 포함한다. 예를 들어, 인코더 암(310)은 D(심도) x H(높이) x W(폭)의 치수를 갖는 입력 이미지(325)를 처리하도록 구성된 하나 이상의 모델을 포함할 수 있다. 각 암은 여러 심도 레벨(예: 4개)을 포함할 수 있으며, 각 레벨에서 추출된 특징(예: D x W x H, D/2 x W/2 x H/2, D/4 x W/4 x H/ 4 및 D/8 x W/8 x H/8)을 갖는다. 더 낮은 심도 레벨에서 추출된 특징은 전체 해상도에서 인코딩을 다운샘플링하여 생성된 다운샘플링된 인코딩일 수 있다. 다운샘플링된 인코딩의 수는 다운샘플링 작업의 수에 해당한다. 인코더 암(310)의 모델 세트는 상이한 MRI 시퀀스 데이터를 사용하여 훈련되는 인코딩에 사용될 수 있다. 예를 들어, 인코더 암(310)의 적어도 하나의 모델은 (예를 들어) T1 MRI 이미지를 사용하여 학습된 제1 모델, T2 MRI 이미지를 사용하여 학습된 제2 모델, 및 FLAIR MRI 이미지를 사용하여 학습된 제3 모델을 포함할 수 있다.

인코더 암(310)의 인코딩 블록(330)은 각각 수신된 입력 이미지(325)(예를 들어, 특정 MRI 시퀀스를 사용하여 수집된 MRI 이미지의 3차원 패치)의 인코딩을 생성하기 위해 컨볼루션(가령, 3x3x3) 레이어, 배치 놈 레이어, 및 ReLU 활성화 레이어의 하나 이상의 세트를 포함할 수 있다. 각각의 인코딩 블록(330)은 입력 이미지(325)로부터 특징을 추출하도록 구성될 수 있다. 예를 들어, 네트워크의 각 레벨에 대해, 특징 배열 세트가 생성될 수 있다. 특징 배열은 스트라이드 컨볼루션(예: 2x2x2)을 사용하여 다운 샘플링될 수 있다.

주어진 해상도에 대해 인코딩이 집계될 수 있다. 예를 들어, 주어진 해상도(예를 들어, 심도 레벨)를 갖는 모든 입력 이미지에 걸쳐 모든 인코딩 암에 대응하는 모든 특징 배열은 주어진 해상도에서 특징 형상을 유지하면서 채널 차원을 따라 연결(335)될 수 있다. 예를 들어, 주어진 해상도에 대해 특징 배열은 여러 유형의 MRI 시퀀스(예: T1, T2, FLAIR)의 요소를 포함할 수 있다. 또한, 각각의 입력 데이터 세트(예를 들어, 특정 이미징 세션 및 특정 대상체에 대응하는)에 대해, 인코더 암(310)은 각각이 특정 해상도와 관련된 다수의 연결된 특징 표현(340)을 생성한다. 이러한 연결 특징 표현(340) 각각은 그 자체로 입력 데이터에 표현된 여러 유형의 MRI 시퀀스를 나타내는 요소들을 포함할 수 있다.

각각의 해상도에서 연결된 표현(340)은 디코더 암(320)(예를 들어, U-Net 모델)을 사용하여 처리될 수 있다. 디코더 암(320)은 모델 예측과 실측 마스크 간의 불일치 및/또는 차이를 정량화하는 손실 함수를 사용하여 훈련될 수 있다. 손실은 머신 러닝 모델이 각 레벨에서 표현을 학습하도록 각 레벨(예: 심도당 손실)에서 출력될 수 있다. 디코더 암(320)은 병변의 일부(예를 들어, 비-증강 병변의 일부, 증강 병변의 일부, 또는 임의의 유형의 병변의 일부)를 묘사하는 뇌 용적의 하나 이상의 부분을 식별하는 예측을 생성하기 위해 연결된 표현(340)을 처리할 수 있다.

일부 예에서, 디코더 암(320)은 하나 이상의 스킵 어텐션 연결(345)을 포함할 수 있다. 스킵 어텐션 연결(345)은 인코더 암(310)의 인코딩 블록(330)에 의해 추출된 미세 입도의 세부 사항을 전달하기 위해 머신 러닝 모델의 2개의 인접하지 않은 레이어를 연결하여, 디코더 암(320)의 블록 업샘플링으로부터의 의미론적 특징과 결합된다. 스킵 특징은 보다 낮은 수용 필드(현재 컨볼루션 연산이 보는 입력 이미지의 로컬 영역)를 가지며, 스킵 특징은 복셀의 올바른 분류를 위한 컨텍스트가 부족할 수 있어서, FP가 생성된다. 예를 들어, 혈관은 작은 맥락에서 볼 때 작은 병변처럼 보일 수 있지만 더 큰 맥락에서 학습된 고차원 특징을 사용하면 혈관의 길고 가는 구조를 더 쉽게 학습할 수 있다. 또한, 저차원 표현에서 구조의 가장자리 또는 경계의 불일치는 고차원 표현에서 학습된 의미론적 정보를 사용하여 수정할 수 있다. 머신 러닝 모델은 디코더 암(320) 상의 보다 깊은 하나의 레벨과 같이, 보다 높은 레벨의 표현으로부터의 조대한 특징에 의해, 인코더 암(310)의 인코딩 블록(330)으로부터의 미세 특징을 강조 및/또는 변조하기 위해 스킵 연결(345)을 통해 특징을 전파하기 위해 연결된 표현(340)을 수신하는 스킵 어텐션 모듈(350)을 추가로 포함할 수 있다. 스킵 어텐션 모듈(350)은 스킵 특징에 의해 도입된 FP를 감소시킬 수 있고, 이는 병변 묘사의 개선된 예측을 초래할 수 있다. 스킵 어텐션 모듈(350)은 표준 역전파 기술로 학습될 수 있는 소프트 어텐션을 사용한다. 일 실시예에서, 스킵 어텐션 모듈(350)은 잔여 연결(355)을 통해 비인접 레이어 및/또는 인접 이전 레이어에 연결된 적어도 하나의 은닉 레이어를 포함한다. 은닉 레이어와 인접 이전 레이어 또는 비-이접 레이어 간의 잔류 연결(355)은 스킵 특징 및 업샘플링된 특징의 합으로부터 학습된 복셀별 어텐션과 스킵 특징을 곱하는 경로를 우회하는데 사용될 수 있다. 잔류 연결(355)은 업샘플링된 특징이 불충분한 신호를 포함하는지를 결정하는 것에 기초하여 어텐션을 우회한다. MS 병변은 작은 경향이 있으므로, 스킵 특징을 안내하는 고차원 기능에 신호가 충분하지 않을 수 있다. 따라서, 잔류 연결(355)은 필요한 경우 고차원 특징으로부터의 어텐션을 우회한다.

머신 러닝 모델은 예측(185)의 예일 수 있는 예측(360)을 출력할 수 있다. 예측(360)은 병변의 적어도 일부를 묘사하는 것으로 예측된 뇌 용적의 하나 이상의 부분을 식별할 수 있다. 예측(360)은 뇌의 부피에서 병변의 수, 병변 크기 또는 병변 부하를 결정하는 데 사용될 수 있다. 예측(360)은 또한 병변의 양, 크기 또는 누적 크기의 변화를 결정하기 위해 이전 MRI에 대응하는 데이터와 조합하여 추가로 사용될 수 있다. 추가적으로, 치료 전략을 변경하기 위한 추천이 예측(360)에 기초하여 결정될 수 있다. 어떤 경우에, 예측(360)은 또한 대상체를 다발성 경화증으로 진단하기 위해 사용될 수 있다.

II.C. 예시적인 프로세스

도 4는 다양한 실시예에 따라 다수의 인코더 암을 갖는 모델을 사용하여 이미지 내의 병변의 묘사를 분할하기 위한 예시적인 프로세스를 도시한다. 블록(402)에서, 3차원 MRI 이미지(예를 들어, 도 1의 입력 이미지(135))에 액세스한다. 3차원 MRI 이미지는 대상체의 뇌와 동일한 부피를 나타낸다. 뇌의 부피는 하나 이상의 병변의 적어도 일부를 포함한다. 또한, 3차원 MRI 이미지의 제1 3차원 MRI 이미지는 3차원 MRI 이미지의 제2 3차원 MRI 이미지를 생성하는데 사용되는 제2 유형의 MRI 시퀀스와는 다른 제1 유형의 MRI 시퀀스(예: T1, T2 또는 FLAIR)를 사용하여 생성될 수 있다. 3차원 MRI 이미지는 이미징 시스템(예를 들어, 이미징 시스템(130))으로부터 분할 컨트롤러(예를 들어, 병변 분할 컨트롤러(170))에 의해 액세스될 수 있다.

블록(404)에서, 3차원 MRI 이미지의 각각의 3차원 MRI 이미지는 머신 러닝 모델(예를 들어, 도 1의 분할 모델(165))의 하나 이상의 대응하는 인코더 암을 사용하여 처리된다. 머신 러닝 모델의 각 인코더 암은 MRI 시퀀스 유형에 해당할 수 있으므로 특정 유형의 MRI 시퀀스에 의해 생성된 3차원 MRI 이미지는 특정 유형의 MRI 시퀀스에 해당하는 인코더 암에서 처리될 수 있다. 인코더 암은 각각의 3차원 MRI 이미지의 인코딩을 생성할 수 있다.

블록(406)에서, 3차원 MRI 이미지의 인코딩들이 연결되어 연결된 표현(예를 들어, 연결된 표현(235) 또는 연결된 표현(340))을 생성한다. (예를 들어, 특정 유형의 MRI 시퀀스에 대응하는) 각각의 인코더 암으로부터의 인코딩들이 연결될 수 있다. 연결은 각 해상도에 대해 생성된 연결된 표현이 있을 수 있도록 각 해상도에서 수행될 수 있다.

블록(408)에서, 병변의 적어도 일부를 묘사하기 위해 예측된 뇌의 부피의 하나 이상의 부분을 식별하는 예측을 생성하기 위해 머신 러닝 모델의 디코더 암을 사용하여 연결된 표현이 처리된다. 그러면 예측이 출력될 수 있다. 다수의 병변, 하나 이상의 병변 크기 및/또는 병변 부하가 예측을 사용하여 결정될 수 있다. 이전 MRI에 해당하는 데이터에 접근하여, 예측과 데이터를 이용하여 하나 이상의 병변의 양, 크기 또는 누적 크기의 변화를 결정하고, 변화를 나타내는 출력을 생성할 수 있다. 예측에 기반한 치료 전략에 대한 변경이 권장될 수 있다. 추가적으로 또는 대안적으로, 예측에 적어도 부분적으로 기초하여 다발성 경화증의 대상체의 진단 가능성 또는 확인에 대응하는 출력이 제공될 수 있다. 대상체는 예측에 적어도 부분적으로 기초하여 다발성 경화증으로 진단될 수 있다.

III. 예

III.A. 예 1

모델 성능을 평가하기 위해, 데이터 세트를 Opera I(NCT01247324)에서 수집하고 Opera II(NCT01412333) 데이터 세트(기준선, 24주, 48주 및 96주)에서 테스트했다. 각 데이터 세트에는 MRI 이미지와 MRI 이미지 내의 어떤 복셀이 병변(강화, 비강화 또는 T2 고강도)을 나타내는지에 대한 표시가 포함되었다. 다양한 모델 아키텍처는 opera1 데이터 세트를 사용하여 훈련되었고 성능 결과를 생성하기 위해 독립적인 opera2 데이터 세트에서 테스트되었다.

각각의 모델 구조는 인코더 모델 세트와 함께 인코더 암(310)을 사용하였다. 인코더 암(310)은 T1 가중 이미지를 수신하도록 구성된 제1 모델, T2 가중 이미지를 수신하도록 구성된 제2 모델 및 FLAIR 이미지를 수신하도록 구성된 제3 모델을 포함한다. 각 인코더 모델 세트에는 이미지의 특징을 추출하기 위한 여러 심도 레벨이 포함되어 있다. 제1 인코더 모델 세트는 각각 여러 특징 배열을 출력하도록 구성되었다. 각 심도 레벨에 대해 모든 해당 모델에서 생성된 특징 배열들이 연결되었다. 연결된 배열은 디코더 암(320)에 공급되었다.

후속 모델에는 다음이 포함될 수 있다:

● 단일 손실 또는 심도당 손실(Stack Unet)을 사용하여 입력으로, 3개의 연속적인 T1 슬라이스(256 x 256 x 3 복셀의), 3개의 연속적인 T2 슬라이스, 및 3개의 연속적인 FLAIR 슬라이스의 연결의 단일 암(하나의 인코딩 모델에 의해)에서 생성된 인코딩을 수신하도록 구성된 스택 U-net 모델:

● 단일 손실("3D; 단일 손실")을 사용하여 입력으로, T1 패치(96 x 96 x 32 복셀의), T2 패치 및 FLAIR 패치의 연결의 단일 암(하나의 인코딩 모델에 의해)에서 생성된 인코딩을 수신하도록 구성된 U-net 모델;

● 단일 손실("3D; 3개의 암; 단일 손실")을 사용하여 훈련된 3가지 유형의 이미지(T1, T2 및 FLAIR)에 해당하는 3개의 암(3개의 인코딩 모델에 의해)에서 생성된 인코딩을 수신하도록 구성된 U-net 모델;

● 여러 심도 각각에서 계산된 손실("3D; 3개의 암; 심도 당 손실")을 사용하여 훈련된 세 가지 유형의 이미지(T1, T2 및 FLAIR)에 해당하는 3개의 암에서 생성된 인코딩을 수신하도록 구성된 U-net 모델; 그리고

● 각 다중 심도에서 계산된 손실("3D; 3개의 암; 심도 + 어텐션 당 손실")을 이용하여 훈련된 세 가지 유형의 이미지(T1, T2 및 FLAIR)에 해당하는 3개의 암에서 생성된 인코딩을 수신하도록 구성된 스킵 어텐션 연결을 구비한 U-net 모델.

각각의 모델에 대해, 이미지는 단면으로 처리되었다(예를 들어, 시간 및 세로 정보는 무시함). 모델 예측은 분할(복셀당) 및 검출(병변당) 성능에 대해 평가되었다. 후속 종단 분석에서, 휴리스틱 접근법을 사용하여 일련의 병변 마스크로부터 새롭고 확대되는 병변을 식별했다.

3D; 3개의 암; 심도 + 어텐션 당 손실 모델은 도 3에 도시된 아키텍처를 갖는다. 구체적으로, 모델은 3D T1 가중 MRI 이미지 패치, 3D T2 가중 MRI 이미지 패치 및 3D FLAIR 이미지 패치와 별도로 특징을 추출하기 위한 인코더 암(310)(예를 들어, 멀티암 인코더)을 포함했다. 인코더 암은 모든 차원에서 동일한 수용 필드를 갖도록 설계되었다. 이방성 커널은 Opera 1 및 2 데이터 세트(각각 NCT01247324 및 NCT01412333)에 대한 이방성 이미지 해상도(1x1x3mm³의 복셀 크기 사용)를 처리하는 데 사용되어, 샘플링되지 않은 1x1x1mm³ 해상도를 사용하여 모델을 교육하고 실행하는 것과 관련된 메모리 및 계산 요건을 줄였다. Opera 데이터 세트에는 패치 크기 96x96x32가 사용되었다. ISBI 데이터 세트의 경우 전처리된 이미지가 1x1x1mm³ 해상도를 갖도록 리샘플링되었기 때문에 등방성 커널이 사용되었다.

3D; 3 암; 심도 + 어텐션 당 손실 모델은 최고 레벨에서 최저 레벨(즉, 브리지 레벨)로 그리고 다시 최고 레벨로 확장되는 레벨의 U자형 분포에 걸쳐 위치한 노드를 포함하도록 구성된 U-Net 모델이었고, 각 레벨의 출력이 다음(낮은 레벨 또는 높은 레벨)으로 공급된다. 디코더 암(320)은 게이팅 신호가 한 레벨 더 깊거나 더 높은 레벨에서 제공되도록 스킵 어텐션 모듈(350)을 포함한다. 스킵 어텐션 모듈(350)은 적절한 경우 고차원 특징으로부터 어텐션을 우회하는 데 사용될 수 있는 잔류 연결(355)을 포함했다.

Tversky 손실과 가중 이진 교차 엔트로피 손실의 조합이 U-net 머신 러닝 모델을 훈련하는 데 사용되었다. 가중 이진 교차 엔트로피 손실은 복셀 단위 손실이며 더 작은 병변을 분할하는 데 사용되었다. 전경/병변 클래스와 배경 사이의 큰 불균형을 설명하기 위해, 가중 이진 교차 엔트로피는 (해당 하이퍼파라미터 설정에 대한 응답으로) 전경에 상당한 가중치를 부여한다. 가중 이진 교차 엔트로피를 추가하면 더 작은 병변을 감지하는 데 도움이 되었지만 위양성이 증가할 위험도 있었다. 위양성을 줄이기 위해 Tversky 손실도 사용되었다. 베타 변수는 0.7로 설정되어 위양성 기여도는 0.7, 위음성 기여도는 0.3이었고, 위음성으로부터 기여도는 0.3 이었다. 모든 레벨에서 손실이 있는 심층 감독을 사용하여 각 레벨에서 네트워크 학습 표현을 촉진했다.

도 5a는 3D; 3개의 암; 단일 손실 모델의 성능을, 심층 감독의 효과를 이해하기 위한 3D, 3개의 암, 심도 당 손실 모델과, 어텐션의 효과를 이해하기 위한 3D, 3개의 암, 심도 + 어텐션 당 손실 모델과 비교한 결과를 나타낸다. 분할 결과는 복셀 레벨에서 예측의 정확도를 특성화하여 계산되었다. 특히, 평균 다이스 스코어(average dice score)(진양성의 2배를 위음성, 위양성, 및 진양성 2배로 나눈 값으로 정의됨)는 어텐션 연결을 포함하는 모델의 경우 그렇지 않은 다른 모델에 비해 더 높았고, 심도당 손실을 사용한 모델의 다이스 스코어는 단일 손실 모델의 다이스 스코어보다 높았다. 이 결과는 다이스 스코어가 모든 이미지, <5ml 병변 부하, 5-15ml 병변 부하 또는 15ml 이상의 병변 부하와 관련된 이미지에서 계산되었는지 여부에 관계없이 사실로 유지되었다. 또한 관심 모델은 우수한 정밀도(진양성을 진양성과 위양성의 합으로 나눈 값으로 정의됨)와 우수한 절대 볼륨 차이(AVD, 예측 및 GT 볼륨을 GT 볼륨으로 나눈 값의 절대차로 정의됨)를 달성했다. 민감도는 ~1% 감소했지만 어텐션 모델의 정밀도와 AVD는 상당히 개선되었다.

도 5b는 세 가지 상이한 머신 러닝 모델을 사용한 검출 결과를 보여준다. 병변 레벨에서 예측 정확도를 특성화하여 검출 결과를 계산했다. 계산된 통계에는 병변 양성 예측값(PPV, 병변의 참양성 수를 진양성과 위양성의 합으로 나눈 값), 병변별 진양성률(LTPR) 및 병변별 위양성률(LFPR, 병변의 위양성 수를 예측된 진양성 및 위양성으로 나눈 값)이 포함된다. 어텐션 연결을 포함하는 모델은 평가된 다른 모델에 비해 가장 높은 PPV 및 가장 낮은 LFPR 값을 달성했다. 3D; 3개의 암; 심도 당 손실 모델은 또한 단일 손실 모델에 비해 더 높은 PPV 스코어를 달성했다. 이들 결과는 심도당 손실 및 스킵 어텐션 모듈(예를 들어, 스킵 어텐션 모듈(245) 및 스킵 어텐션 모듈(350)) 둘 모두가 병변을 분할하고 검출하는 능력을 향상시킨다는 것을 시사한다.

도 6a는 2.5D 및 3D 입력 MRI 이미지를 사용하여 세 가지 상이한 머신 러닝 모델을 사용하여 분할한 결과를 보여준다. 2차원 및 3차원 모델은 일반적으로 병변 검출에 사용된다. Stack Unet은 2D에서 약간 개선되었으며 로컬 컨텍스트를 캡처한다. 대부분의 MS 병변은 작기 때문에 스택 Unet이 최상의 감도를 갖다. Patch Unet은 단순한 이방성 3D 네트워크로, 더 많은 컨텍스트를 캡처한다. 패치 Unet과 패치 Unet의 변종은 ISBI 데이터 세트에서 가장 성능이 좋은 모델이었다. 경우에 따라 병변 정보가 입력 채널 중 하나에 존재할 수 있고 다른 채널에는 없을 수 있다는 GT 마스크의 관찰을 기반으로 멀티암 패치 모델이 사용되었다.

분할(복셀 레벨 성능)과 관련하여, Stack Unet과 멀티암 Unet은 비교 가능했으며 Stack Unet은 가장 높은 다이스 스코어와 정밀도를 달성했다. 그러나, 도 6b에 도시된 바와 같이, Stack Unet은 3-암 모델에 비해 더 많은 위양성을 가졌다. 따라서 검출(병변 레벨 성능)과 관련하여, Stack Unet은 LTPR과 관련하여 더 높은 성능을 달성했다. 3D; 팔; 심도 + 어텐션 당 손실 모델은 LPPV를 높이고 LFPR을 낮추었지만 LTPR을 희생했다.

도 7은 7개의 서로 다른 머신 러닝 모델을 사용하여 분할 및 검출한 결과를 보여준다. 모델은 ISBI 데이터 세트에서 평가되었다. 성능 메트릭에는 스코어(다른 메트릭들의 조합), 다이스 계수, PPV, LTPR, LTFR 및 AVD가 포함된다.

멀티암 Unet 모델은 최고 성능 모델에 필적하는 다이스 계수, LTPR 및 AVD를 달성했다. 이러한 결과는 도 2 및 도 3에 기술된 바와 같은 멀티 암 Unet 모델이 병변 복셀과 병변 카운트를 정확하게 검출할 수 있음을 시사한다.

III.B. 예 2

주어진 치료제가 질병의 진행을 늦추기 위해 다발성 경화증을 치료하는 데 효과적인지 여부를 예측하기 위해 임상 연구 동안 병변이 자주 평가된다. 특히, 연구 종료점은 연구 기간 동안 병변 수 및/또는 병변 크기(예: 누적 병변 크기)가 변화한 정도를 자주 검사한다. 연구 기간 동안 특정 치료가 시행되었을 때 관찰된 변화는 연구 기간 동안 치료가 없거나 기준선 치료가 시행되었을 때 관찰된 상응하는 변화와 비교될 수 있다.

본 실시예에 대한 데이터는 오크렐리주맙 400mg을 투여한 경우 신규 및 확대된 T2 병변 수의 변화를 인터페론-베타-1α 44㎍의 경우와 비교한다. 연속 MRI 스캔의 병변 마스크는 이전 시점(기준선, w24 및 w48, 각각)에 대해 24주, 48주, 96주에서 신규 및 확대된 T2 병변의 수를 식별 및 추정하기 위한 휴리스틱 접근법을 개발하기 위해 종방향 분석에서 사용되었다. 휴리스틱은 치료(Ocr) 암과 대조군(Inf) 암 사이의 신규 및 확대된 T2 병변의 평균 수 감소율과 일치하도록 GT 병변 마스크에서 조정되었다. 휴리스틱 접근법은 2개의 실측 모델(자동화 모델 및 3개의 복셀의 최소 병변 크기의 자동화 모델)과 함께 이전에 설명한 3개의 모델(Stack Unet, Patch Unet 및 멀티암 Unet)의 T2 병변 분할 마스크에 적용되었다. 치료군과 대조군 암 사이의 이 이미징 종점의 감소 백분율은 24주, 48주 및 96주에 추정되었다. 암(arms) 전체에서 이 종점에 유의미한 차이가 있는지 이해하기 위해, 새로운 그리고 확대되는 T2 병변 수의 음 이항 회귀가, 치료군 암, 기준선에서 T1 Gd 강화 병변의 존재(예 또는 아니오), 기준선 확장 장애 상태 스코어(EDSS, <4 대 >=4) 및 지리적 영역(미국 vs 기타 국가)을 독립 변수로 사용하여 수행되었다.

다음의 각각에 대해 결과를 계산하였다:

● 실측(Ground truth): 방사선 전문의에 의한 Opera 데이터 세트의 원본 분석. 두 번의 수동 방사선과 판독이 MRI 이미지에서 수행되었다. 제1 판독은 모든 시점(예: 기준선, w24, w48, w96)에서 병변 분할을 위한 것이었다. 제2 판독은 이전 분할 및 후보 신규/확대 병변이 주어졌을 때 새롭고 확대된 T2 병변을 감지하기 위한 것이었다.

● 자동화된 GT: 방사선과 전문의의 제2 판독 없이 기준선, w24, w48 및 w96에서 GT 방사선과 판독이 주어졌을 때 새로운/향상된 T2 병변 감지 자동화. 예를 들어, 기준선 및 w24에서의 병변 분할을 사용하여 w24에서 새로운 병변을 결정했다. 이 프로세스는 각 연속 쌍(예: w24 및 w48, w48 및 w96)에 대해 수행되었다.

● 자동화된 GT(GT >= 3복셀): 3복셀의 최소 병변 크기를 적용하면서 자동화된 GT 접근법을 사용하여 병변을 검출한다.

● 스택: 스택 U-net 모델은 단일 손실을 이용하여 입력으로 3개의 연속 T1 슬라이스(256 x 256 x 3 복셀), 3개의 연속 T2 슬라이스 및 연속 FLAIR 슬라이스의 연결의 단일 암(하나의 인코딩 모델에 의한)에서 생성된 인코딩을 수신하도록 구성되었다. 병변 검출은 스택 U-net 모델("2.5D; 단일 손실")에 의해 예측된 T2 병변에 적용된 새롭고 확대된 T2 병변을 식별하기 위한 자동화된 접근법을 사용한다.

● 패치: U-net 모델은 단일 소스를 이용한 입력으로 T1 패치(96 x 96 x 32 복셀), T2 패치 및 FLAIR 패치의 연결의 단일 암(하나의 인코딩 모델에 의해)에서 생성된 인코딩을 수신하도록 구성되었다. 패치 U-net 모델("3D; 단일 손실")에 의해 예측된 T2 병변에 적용된 새롭고 확대된 T2 병변을 식별하기 위한 자동화된 접근법을 사용한 병변 검출.

● 멀티암 Unet: 각 다중 심도에서 계산된 손실을 사용하여 훈련된 세 가지 유형의 이미지(T1, T2 및 FLAIR)에 해당하는 3개의 암에서 생성된 인코딩을 수신하도록 구성된 스킵 어텐션 연결이 있는 U-net 모델. 스킵 어텐션 연결("3D; 3개의 암; 심도 + 어텐션 당 손실")이 있는 멀티암 U-net 모델에 의해 예측된 T2 병변에 적용되는 새롭고 확대되는 T2 병변을 식별하기 위한 자동화된 접근법을 사용하는 병변 검출. 이것은 앞서의 예에서 논의된 도 3의 실시예다.

도 8에 도시된 바와 같이, 임상 데이터는 T2 병변 수가 세 시점 각각에서 두 치료군 간에 유의한 차이가 있음을 보여주었다. 수동 방사선의의 판독에 따르면, 24주, 48주 및 96주에 인터페론-베타-1α(Inf)를 받은 대상체 그룹은 각각 평균 ~1.8, ~1.0 및 ~2.5개의 새로운/확대 T2 병변을 가졌다. 오크렐리주맙(Ocr)을 받은 대상체 그룹은 24주, 48주 및 96주에 각각 평균 ~0.7, ~0.1 및 ~0.1의 새로운/확대 T2 병변을 가졌다. Ocr을 받은 대상체 그룹은 Inf를 받은 대상체 그룹보다 24주, 48주 및 96주에 각각 61%, 96% 및 97% 더 적은 새로운/확대 T2 병변을 가졌다. 대상체 그룹 간의 백분율 감소는 각 시점에 대해 크게 달랐다(p-값 <0.001). 자동화된 GT 접근법과 자동화된 GT(GT >= 3 복셀) 접근법은, 이 기술들이 각 시점에서 수동 병변 분할 주석에 의존하지만, 각 시점에서 중요한 차이를 성공적으로 예측했다.

3개의 완전히 자동화된 기술(스택, 패치 및 멀티암 Unet) 모두 48주 및 96주 시점에서 치료군 사이에 상당한 차이를 포착했다. 그러나, 도 2 및 도 3에 상세히 제시된 바와 같이 멀티암 Unet 기술은 MRI 이미지 처리 출력이 24주 시점에서 치료군 간의 중요한 차이를 성공적으로 캡처한, 유일한 완전 자동화 기술이었다.

또한, 멀티암 Unet 기술에 의해 생성된 평균 병변 수는 임상 데이터베이스로부터의 것에 더 가깝다. 한편, 다른 2개의 완전히 자동화 기술은 실제 평균 병변 수를 훨씬 초과하는 평균 병변 수를 도출했으며, 이는 이러한 다른 기술이 도 2 및 도 3의 멀티암 Unet 기술과 비교하여 더 많은 위양성(false positive)을 가짐을 나타낸다. 또한 세 가지 모델 모두의 감소율이 수동 평가의 감소율보다 현저히 낮았으며, 이는 새로운/확대 T2 병변을 식별하기 위한 휴리스틱 접근 방식이 부적절함을 나타낸다.

IV. 추가 고려 사항

본 발명의 일부 실시예는 하나 이상의 데이터 프로세서를 포함하는 시스템을 포함한다. 일부 실시예에서, 시스템은 하나 이상의 데이터 프로세서에서 실행될 때 하나 이상의 데이터 프로세서로 하여금 여기에 개시되는 하나 이상의 방법의 일부 또는 전부 및/또는 하나 이상의 프로세스의 일부 또는 전부를 수행하게 하는 명령어를 포함하는 비일시적 컴퓨터 판독 가능 저장 매체를 포함한다. 본 발명의 일부 실시예는 비일시적 기계 판독 가능 저장 매체에 유형적으로 구현된 컴퓨터 프로그램 제품을 포함하며, 이는 하나 이상의 데이터 프로세서가 여기에 개시되는 하나 이상의 방법의 일부 또는 전부 및/또는 하나 이상의 프로세스의 일부 또는 전부를 수행하도록 구성된 명령어를 포함한다.

사용된 용어 및 표현은 제한이 아닌 설명의 용어로 사용되었으며, 그러한 용어 및 표현의 사용에서 보여지고 설명된 특징 또는 그 일부의 등가물을 배제하려는 의도는 없다. 청구된 발명의 범위 내에서 다양한 수정이 가능하다는 것이 인정된다. 따라서, 청구된 본 발명이 실시예 및 선택적인 특징에 의해 구체적으로 개시되었지만, 본 명세서에 개시된 개념의 수정 및 변형이 당업자에 의해 이루어질 수 있고, 그러한 수정 및 변형이 첨부된 청구범위에 의해 정의된 바와 같이 본 발명의 범위 내에 있어야 한다고 고려됨을 이해해야 한다.

이어지는 설명은 단지 바람직한 예시적인 실시예를 제공하며, 본 개시의 범위, 적용가능성 또는 구성을 제한하려는 의도가 아니다. 오히려, 바람직한 예시적인 실시예의 이어지는 설명은 당업자에게 다양한 실시예를 구현하기 위한 가능한 설명을 제공할 것이다. 첨부된 특허청구범위에 기재된 정신 및 범위를 벗어나지 않고 구성요소의 기능 및 배열에 다양한 변경이 이루어질 수 있음을 이해해야 한다.

구체적인 세부사항은 실시예의 완전한 이해를 제공하기 위해 다음 설명에서 제공된다. 그러나, 실시예는 이러한 특정 세부 사항 없이 실시될 수 있음을 이해할 것이다. 예를 들어, 회로, 시스템, 네트워크, 프로세스 및 기타 구성 요소는 불필요한 세부 사항으로 실시예를 모호하게 하지 않기 위해 블록 다이어그램 형식의 구성 요소로 표시될 수 있다. 다른 경우에, 잘 알려진 회로, 프로세스, 알고리즘, 구조 및 기술은 실시예를 모호하게 하는 것을 피하기 위해 불필요한 세부 사항 없이 표시될 수 있다.

V. 예시적 실시예

하기에 사용되는 바와 같이, 일련의 예에 대한 임의의 언급은 이들 예 각각에 대한 참조로서 이해되어야 한다(예를 들어, "예 1-4"는 "예 1, 2, 3, 또는 4"로 이해되어야 한다).

예 1은 컴퓨터로 구현되는 방법으로서, 복수의 3차원 자기 공명 영상(MRI) 이미지에 액세스하는 단계 - 여기서 복수의 3차원 MRI 이미지 각각은 대상체의 뇌의 동일한 부피를 나타내고, 제1 3차원 MRI 이미지는 제2 3차원 MRI 이미지를 생성하는 데 사용된 제2 유형의 MRI 시퀀스와는 다른 제1 유형의 MRI 시퀀스를 사용하여 생성되었음; 복수의 3차원 MRI 이미지의 각각의 3차원 MRI 이미지에 대해, 머신 러닝 모델의 하나 이상의 대응하는 인코더 암을 사용하여 3차원 MRI 이미지를 처리하여, 3차원 MRI 이미지의 인코딩을 생성하는 단계; 연결된 표현을 생성하기 위해 복수의 3차원 MRI 이미지의 인코딩을 연결하는 단계; 및 병변의 적어도 일부를 묘사하기 위해 예측된 뇌 용적의 하나 이상의 부분을 식별하는 예측을 생성하기 위해 머신 러닝 모델의 디코더 암을 사용하여 연결된 표현을 처리하는 단계를 포함한다.

예 2는 예 1의 컴퓨터로 구현되는 방법으로서, 복수의 3차원 MRI 이미지의 각각의 3차원 MRI 이미지에 대해, 3차원 MRI 이미지의 인코딩의 해상도보다 낮은 해상도를 가진 다운샘플링된 인코딩을 생성하는 단계; 복수의 3차원 MRI 이미지의 각각의 3차원 MRI 이미지에 대해, 하나 이상의 대응하는 인코딩 암의 하나 이상의 레이어를 사용하여 상기 다운샘플링된 인코딩을 처리하는 단계; 및 다른 연결된 표현을 생성하기 위해 상기 다운샘플링된 인코딩을 연결하는 단계를 포함하며, 여기서 예측은 머신 러닝 모델의 디코더 암을 사용하는 다른 연결된 표현의 처리에 추가로 기반한다.

예 3은 예 1-2의 컴퓨터로 구현된 방법으로서, 머신 러닝 모델은 U-Net 머신 러닝 모델을 포함한다.

예 4는 예 1-3 중 임의의 것의 컴퓨터로 구현되는 방법으로서, 머신 러닝 모델은 하나 이상의 스킵 어텐션 모듈을 포함하고, 하나 이상의 스킵 어텐션 모듈 각각은 동일한 해상도에서 디코더 암의 디코더 블록에 대한 머신 러닝 모델의 인코딩 암의 인코딩 블록을 연결한다.

예 5는 예 1-4의 컴퓨터로 구현된 방법으로서, 스킵 어텐션 모듈의 각 스킵 어텐션 모듈은 연결된 표현의 입력, 및 3차원 MRI 이미지의 해상도에서 다른 연결된 표현의 업샘플링된 인코딩을 수신하고, 예측은 머신 러닝 모델의 디코더 암을 사용하여 스킵 어텐션 모듈로부터의 스킵-특징 인코딩의 출력 처리에 추가로 기초한다.

예 6은 예 1-5의 컴퓨터로 구현되는 방법으로서, 하나 이상의 스킵 어텐션 모듈은 관련 고차원 특징을 사용할 수 없을 경우, 스킵 어텐션 모듈의 스킵을 용이하게 하기 위해 스킵 어텐션 모듈의 입력과 출력 사이에 잔여 연결을 포함한다.

예 7은 예 1-6 중 임의의 것의 컴퓨터로 구현된 방법으로서, 머신 러닝 모델은 가중 이진 교차 엔트로피 손실 및/또는 Tversky 손실을 사용하여 훈련되었다.

예 8은 예 1-7 중 어느 하나의 컴퓨터로 구현되는 방법으로서, 머신 러닝 모델은 머신 러닝 모델의 다중 심도 각각에서 계산된 손실을 사용하여 훈련되었다.

예 9는 예 1-8 중 임의의 것의 컴퓨터로 구현되는 방법으로서, 제1 유형의 MRI 시퀀스는 T1, T2 및 FLAIR(fluid-attenuated inversion recovery)의 시퀀스 세트로부터의 시퀀스를 포함하고, MRI 시퀀스의 제2 유형은 시퀀스 세트 중 다른 시퀀스를 포함한다.

예 10은 예 1-9 중 임의의 것의 컴퓨터로 구현되는 방법으로서, 예측을 사용하여 병변의 수를 결정하는 단계를 추가로 포함한다.

예 11은 예 1-10 중 임의의 것의 컴퓨터로 구현되는 방법으로서, 예측을 사용하여 하나 이상의 병변 크기 또는 병변 부하를 결정하는 단계를 추가로 포함한다.

예 12는 예 1-11 중 임의의 것의 컴퓨터로 구현되는 방법으로서, 이전 MRI에 대응하는 데이터에 액세스하는 단계; 예측 및 데이터를 사용하여 하나 이상의 병변의 양, 크기 또는 누적 크기의 변화를 결정하는 단계; 및 변경을 나타내는 출력을 생성하는 단계를 추가로 포함한다.

예 13은 예 1-12 중 임의의 것의 컴퓨터로 구현되는 방법으로서, 예측에 기초하여 치료 전략 변경을 권고하는 단계를 추가로 포함한다.

예 14는 예 1-13 중 어느 하나의 방법으로서, 예측에 적어도 부분적으로 기초하여 다발성 경화증의 대상체의 진단 가능성 또는 확인에 대응하는 출력을 제공하는 단계를 추가로 포함한다.

예 15는 예 1-14 중 어느 하나의 방법으로서, 예측에 적어도 부분적으로 기초하여 다발성 경화증 대상체를 진단하는 단계를 추가로 포함한다.

예 16은 하나 이상의 데이터 프로세서; 및 하나 이상의 데이터 프로세서에서 실행될 때 하나 이상의 데이터 프로세서로 하여금 본 명세서에 개시된 하나 이상의 방법의 일부 또는 전부를 수행하게 하는 명령어를 포함하는 비일시적 컴퓨터 판독 가능 저장 매체를 포함하는 시스템이다.

예 17은 하나 이상의 데이터 프로세서가 본 명세서에 개시된 하나 이상의 방법의 일부 또는 전부를 수행하게 하도록 구성된 명령어를 포함하는 비일시적 머신 판독 가능 저장 매체에 유형적으로 구현된 컴퓨터 프로그램 제품이다.

Claims

복수의 3차원 자기 공명 영상(MRI) 이미지에 액세스하는 단계이며,
상기 복수의 3차원 MRI 이미지 각각은 대상체의 동일한 부피의 뇌를 묘사하고,
제1 3차원 MRI 이미지는 제2 3차원 MRI 이미지를 생성하는 데 사용된 제2 유형의 MRI 시퀀스와 다른 제1 유형의 MRI 시퀀스를 사용하여 생성되었던 것인 단계,
복수의 3차원 MRI 이미지의 각각의 3차원 MRI 이미지에 대해, 머신 러닝 모델의 하나 이상의 대응하는 인코더 암을 사용하여 3차원 MRI 이미지를 처리하여, 3차원 MRI 이미지의 인코딩을 생성하는 단계,
복수의 3차원 MRI 이미지의 인코딩을 연결하여 연결된 표현을 생성하는 단계, 및
머신 러닝 모델의 디코더 암을 사용하여 상기 연결된 표현을 처리하여, 병변의 적어도 일부를 묘사하기 위해 예측된 뇌의 부피의 하나 이상의 부분을 식별하는 예측을 생성하는 단계
를 포함하는 컴퓨터-구현 방법.
제1항에 있어서,
상기 복수의 3차원 MRI 이미지 중 각각의 3차원 MRI 이미지에 대해, 상기 3차원 MRI 이미지의 인코딩 해상도보다 낮은 해상도를 갖는 다운샘플링된 인코딩을 생성하는 단계,
상기 복수의 3차원 MRI 이미지의 각각의 3차원 MRI 이미지에 대해, 하나 이상의 대응하는 인코딩 암의 하나 이상의 레이어를 사용하여 다운샘플링된 인코딩을 처리하는 단계, 및
다운샘플링된 인코딩을 연결하여 다른 연결된 표현을 생성하는 단계이며, 상기 예측은 머신 러닝 모델의 디코더 암을 사용한, 상기 다른 연결된 표현의 처리에 더 기초하는 것인 단계
를 추가로 포함하는 컴퓨터-구현 방법.
제1항 또는 제2항에 있어서, 상기 머신 러닝 모델은 U-Net 머신 러닝 모델을 포함하는 것인 컴퓨터-구현 방법.
제1항 내지 제3항 중 어느 한 항에 있어서,
상기 머신 러닝 모델은 하나 이상의 스킵 어텐션 모듈(skip attention modules)을 포함하고,
상기 하나 이상의 스킵 어텐션 모듈 각각은 상기 머신 러닝 모델의 인코딩 암의 인코딩 블록을 동일 해상도에서 디코더 암의 디코더 블록에 연결하는 것인 컴퓨터-구현 방법.
제4항에 있어서,
상기 스킵 어텐션 모듈의 각각의 스킵 어텐션 모듈은 3차원 MRI 이미지의 해상도에서 연결된 표현의 입력 및 다른 연결된 표현의 업샘플링된 인코딩을 수신하고,
상기 예측은 머신 러닝 모델의 디코더 암을 사용하여 스킵 어텐션 모듈의 스킵-기능 인코딩의 출력 처리를 또한 기반으로 하는 것인 컴퓨터-구현 방법.
제5항에 있어서, 상기 하나 이상의 스킵 어텐션 모듈은 관련 고차원 기능을 사용할 수 없는 경우 스킵 어텐션 모듈을 건너뛰는 것을 용이하게 하기 위해 상기 스킵 어텐션 모듈의 입력과 출력 사이에 잔여 연결을 포함하는 것인 컴퓨터-구현 방법.
제1항 내지 제6항 중 어느 한 항에 있어서, 상기 머신 러닝 모델은 가중 이진 교차 엔트로피 손실 및/또는 Tversky 손실을 사용하여 훈련된 것인 컴퓨터-구현 방법.
제1항 내지 제7항 중 어느 한 항에 있어서, 상기 머신 러닝 모델은 상기 머신 러닝 모델의 다중 심도 각각에서 계산된 손실을 사용하여 훈련된 것인 컴퓨터-구현 방법.
제1항 내지 제8항 중 어느 한 항에 있어서,
제1 유형의 MRI 시퀀스는 T1, T2 및 FLAIR(fluid-attenuated inversion recovery)의 시퀀스 세트로부터의 시퀀스를 포함하고,
제2 유형의 MRI 시퀀스는 시퀀스 세트로부터의 다른 시퀀스를 포함하는 것인 컴퓨터-구현 방법.
제1항 내지 제9항 중 어느 한 항에 있어서,
예측을 사용하여 병변의 수를 결정하는 단계
를 추가로 포함하는 컴퓨터-구현 방법.
제1항 내지 제10항 중 어느 한 항에 있어서,
예측을 사용하여 하나 이상의 병변 크기 또는 병변 부하를 결정하는 단계
를 추가로 포함하는 컴퓨터-구현 방법.
제1항 내지 제11항 중 어느 한 항에 있어서,
이전 MRI에 해당하는 데이터에 액세스하는 단계,
상기 예측 및 상기 데이터를 사용하여 하나 이상의 병변의 양, 크기 또는 누적 크기의 변화를 결정하는 단계, 및
변경 사항을 나타내는 출력을 생성하는 단계
를 추가로 포함하는 컴퓨터-구현 방법.
제1항 내지 제12항 중 어느 한 항에 있어서,
상기 예측을 기반으로 치료 전략 변경을 권장하는 단계
를 추가로 포함하는 컴퓨터-구현 방법.
제1항 내지 제13항 중 어느 한 항에 있어서,
상기 예측에 적어도 부분적으로 기초하여 다발성 경화증 대상체의 가능하거나 확인된 진단에 상응하는 출력을 제공하는 단계
를 추가로 포함하는 컴퓨터-구현 방법.
제1항 내지 제14항 중 어느 한 항에 있어서,
상기 예측에 적어도 부분적으로 기초하여 다발성 경화증이 있는 대상체를 진단하는 단계
를 추가로 포함하는 컴퓨터-구현 방법.
하나 이상의 데이터 프로세서, 및
상기 하나 이상의 데이터 프로세서에서 실행될 때, 상기 하나 이상의 데이터 프로세서로 하여금 여기에 개시된 하나 이상의 방법의 일부 또는 전부를 수행하게 하는 명령어를 포함하는 비일시적 컴퓨터 판독 가능 저장 매체
를 포함하는 시스템.
하나 이상의 데이터 프로세서로 하여금 여기에 개시된 하나 이상의 방법의 일부 또는 전부를 수행하게 하도록 구성된 명령어
를 포함하는, 비일시적 기계 판독 가능 저장 매체에 유형적으로 구현된 컴퓨터 프로그램 제품.