KR20230052280A - 초음파 방법 - Google Patents

Abstract

초음파 이미지 내 기준 혈관을 자동으로 식별하는 컴퓨터 구현 방법으로서, 상기 컴퓨터 구현 방법은, 상기 이미지를 세그먼트화하여 기관를 식별하는 단계; 상기 기관에 특정한 사전에 결정된 해부학적 랜드마크를 찾아내는 단계; 상기 기관에 대한 적절한 맥관구조를 식별하는 단계; 및 상기 사전에 결정된 크기 범위 내 크기 및 상기 사전에 결정된 해부학적 랜드마크로부터 사전에 결정된 거리 범위를 지니는 위치를 지니는 기준 혈관을 상기 맥관 구조로부터 선택하는 단계; 를 포함한다.

Description

초음파 방법

본 발명은 특히 출력 도플러 초음파(power Doppler ultrasound) 기법을 사용하여 혈류(blood flow)를 측정하는 초음파 이미징 및 측정에 관한 것이다.

출력 도플러 초음파는 피험자(subject)의 조직 움직임, 특히 혈류를 결정하기 위해 방출된 신호에 대한 주파수 편이(frequency shift)의 함수로서 반사 신호들의 진폭을 사용하는 기법이다. 출력 도플러(power Doppler; PD) 초음파는 관심 영역(2D-PD) 또는 체적(3D-PD) 내 초음파 산란(ultrasound scattering)의 진폭들을 통합함으로써 정량화된다. 이는 관심 영역 내 출력 도플러 신호를 합산함으로써 이루어지며, 이러한 PD 신호는 (초음파를 산란하는) 적혈구(red blood cell)들의 국소 농도를 나타낸다. 일반적으로 출력 도플러 초음파는 측정 부위와 센서 간 반환 에코(returned echo)의 감쇠량을 알 수 없으므로 정규화 포인트적 혈류량에 대한 정보만을 제공할 수 있다. 감쇠는 측정 부위와 센서 간 거리와 아울러 중간 조직(intervening tissue)의 특성 - 예를 들어 흉터 조직(scar tissue)에 대해 반환 에코가 강하게 감쇠하게 됨 - 에 의존한다. 절대적 혈류에 대한 지식은 다양한 상태들의 진단을 향상시켜준다. 출력 도플러 신호의 표준화를 위한 알려진 기법은 정규화 포인트(normalisation point)가 결정되는 표준화 기준으로서 작용할 관심 영역의 수동 식별을 포함한다. 사용된 정규화 포인트는 상기 정규화 포인트 위에 있는 출력 도플러 강도 값들이 값 1로 할당되고 상기 정규화 포인트 아래에 있는 값들이 0 내지 1 범위로 스케일링(scaling)되는 "변곡 값(knee value)"이다[1].

절대적 혈류의 측정을 가능하게 하는 기법이 자간전증다.

본 발명에 의하면, 초음파 이미지에서 기준 혈관(reference vessel)을 자동으로 식별하는 컴퓨터 구현 방법이 제공되며, 상기 방법은,

상기 이미지를 자간전증화하여 기관(organ)을 식별하는 단계;

상기 기관에 특정한 사전에 결정된 해부학적 랜드마크를 찾아내는 단계;

상기 기관에 대한 적절한 맥관 구조(vasculature)를 식별하는 단계; 및

사전에 결정된 크기 범위 내 크기 및 상기 사전에 결정된 해부학적 랜드마크로부터 사전에 결정된 거리 범위에 있는 위치를 지니는 기준 혈관을 상기 맥관 구조로부터 선택하는 단계;

를 포함한다.

바람직하게는 상기 사전에 결정된 크기 범위가 직경 측면에서 3mm보다 크다.

바람직하게는 자간전증화는 훈련된 완전 합성곱 신경망(trained fully convolutional network)을 사용하는 것을 포함한다.

바람직하게는 찾아냄은 다중클래스 전이 학습 모델(multi-class transfer learning model)을 사용하는 것을 포함한다.

바람직하게는 상기 다중클래스 전이 학습 모델은 2개의 독립적인 경로, 다시 말하면 자간전증화 모델을 사용하여 초기화된 매개변수들을 지니는 제1 경로와 분산 스케일링을 사용하여 초기화된 매개변수들을 지니는 제2 경로를 포함한다.

바람직하게는 식별은 자동화된 다중 시드 영역 성장 기반 프로세스(automated multi-seed region growing based process)를 사용하는 것을 포함한다.

바람직하게는 식별은 상기 자동화된 다중 시드 영역 성장 기반 프로세스의 출력에 대해 3D 중심 축 기반 세선화 프로세스(3D medial axis based thinning process)를 사용하는 것을 추가로 포함한다.

바람직하게는 기관은 태반(placenta)이고 바람직하게는 해부학적 랜드마크는 자궁-태반 인터페이스이다. 이 경우에 바람직하게는 사전에 결정된 거리 범위는 약 0.5cm 내지 약 1.5cm이다.

본 발명에 의하면, 기관의 출력 도플러 이미지에서 혈류를 매핑(mapping)하는 컴퓨터 구현 방법이 제공되며, 상기 방법은,

위에서 설명한 방법을 사용하여 상기 출력 도플러 이미지에서 기준 혈관을 식별하는 단계;

상기 기준 혈관으로부터 기준 출력 도플러 값을 결정하는 단계; 및

상기 기준 출력 도플러 값에 기초하여 상기 출력 도플러 이미지에서 출력 도플러 값들을 스케일링하여 표준화된 혈류 이미지를 획득하는 단계;

를 포함한다.

바람직하게는 기준 출력 도플러 값을 결정하는 단계는 모델 혈관 프로파일을 상기 기준 혈관에 피팅(fitting)하는 단계 및 높은 전단 혈관 마진(high shear vessel margin) 내에 속하지 않는 표준화 포인트를 결정하는 단계를 포함한다.

바람직하게는 모델 혈관 프로파일을 피팅하는 단계는 국소 최대 강도 포인트를 검출하는 단계 및 영역 성장 방법(region growing method)을 사용하여 모든 내부 강도가 임계값보다 큰 초기 혈관 영역을 획득하는 단계를 포함한다.

바람직하게는 비용 함수를 최소화하기 위해 반복 경사 하강 기법(iterative gradient descent technique)이 적용된다.

본 발명에 의하면, 기관 내 분획 이동 혈액량(fractional moving blood volume)을 결정하는 컴퓨터 구현 방법이 제공되며, 상기 방법은,

상기 기관의 출력 도플러 이미지를 획득하는 단계;

상기 출력 도플러 이미지 내 혈류를 매핑하여 위에서 설명한 방법으로 표준화된 혈류 이미지를 획득하는 단계; 및

상기 표준화된 혈류 이미지를 사용하여 분획 이동 혈액량을 결정하는 단계;

를 포함한다.

본 발명에 의하면, 유해 자간전증 결과(adverse pregnancy outcomes), 예를 들어 태아 성장 제한 및/또는 자간전증(pre-eclampsia)의 위험을 계산하는 컴퓨터 구현 방법이 제공되며, 상기 방법은,

위에서 설명한 방법에 따라 피험자의 태반 내 분획 이동 혈액량을 결정하는 단계;

피험자의 태반 체적을 측정하는 단계; 및

상기 분획 이동 혈액량 및 상기 태반 체적에 적어도 부분적으로 기초하여 위험 점수(risk score)를 계산하는 단계;

를 포함한다.

그러므로 본 발명은 관심 영역을 통한 신호의 통합으로 일관된 기준선이 설정되도록 절대 신호(absolute signal)를 정규화함으로써 서로 다른 조직 감쇠를 지니는 서로 다른 환자들 간 정량적 혈류 추정치들의 완전 자동화된 비교를 가능하게 한다. 이를 위해, '100% 혈류(vascularity)'를 지니는 대혈관은 관심 영역과 유사한 조직 깊이 레벨에서 식별되고, 그러한 대혈관 내 PD 신호에 대해 레코드된 수치는 '표준화 포인트'로서 사용된다[2]. 관심 영역 전반에 걸친 PD 신호가 그러한 대혈관 내 신호로 나눠지는 경우 그러한 관심 영역 내 다른 소혈관들은 100% 혈류의 혈관과 관련하여 동일한 비례 신호 강도를 일관 되게 지니게 된다. 이러한 표준화 프로세스는 2D 및 3D 양자 모두에서 초음파로 관류(perfusion)를 정량적으로 측정하기 위한 유일하게 검증된 방법인 FMBV(Fractional Moving Blood Volume)로 알려진 측정을 초래한다.

본 발명은 선행기술의 한계를 극복하고 상기 기법의 정확도를 증가시킬 수 있는 새로운 FMBV 추정 방법을 제공한다. 예를 들어, 본 발명은 정규화 값이 관심 영역의 크기와 아울러 그 내부에 포함된 조직의 특성의 함수일 경우 분석을 위해 관심 영역의 정의로 인한 어려움을 회피한다. 또한, 본 발명의 기법은 획득된 이미지에서 신호 대 잡음비에 덜 민감하다. 많은 경우에 잡음에 대한 민감도가 매우 낮다. 또한, 본 발명은 '변곡 포인트(knee point)들'의 위치 및 후속으로 계산되는 표준화 값들에 대한 관심 영역 내의 적당한 크기의 혈관들의 영향을 받기 쉽지 않다.

본 발명은 초음파 신호의 조직 감쇠를 조정하기 위해 단일 혈관으로부터 출력 도플러 표준화 값의 자동 식별을 가능하게 할 수 있다. 본 발명의 실시 예들은 표준 3D 출력 도플러 초음파에 의해 이미징되는 복잡한 혈관 네트워크로부터 추출된 단일 혈관으로부터 출력 도플러 표준화 값을 자동으로 식별하는 강력하고 효율적인 방법을 제공한다.

본 발명은 대표적인 실시 예들 및 첨부도면들을 참조하여 이하에서 부연 설명되게 된다.

도 1은 본 발명의 실시 예에서 사용될 수 있는 완전 합성곱 신경망(fCNN)의 아키텍처를 보여주는 도면이다.
도 2는 2D B-모드 평면(좌측), 반자동 '자간전증 워커(Random-Walker)' 자간전증화(중간) 및 도 1의 fCNN을 사용한 자간전증화(우측)를 통한 태반 세분화의 대표적인 이미지들을 보여주는 도면이다.
도 3a 및 도 3b는 각각 도 1의 fCNN 및 반자동 '자간전증 워커(Random-Walker)' 기법과 상업적으로 입수 가능한 VOCAL^TM 기법에 의해 계산된 태반 체적들을 비교한 그래프들을 보여주는 도면들이다.
도 4는 양막-태반 인터페이스(amniotic-placental interface; API)와 태아-태반 인터페이스(fetal-placental interface; FPI)가 알려지게 되면 자궁-태반 인터페이스(utero-placental interface; UPI)가 식별될 수 있는 방법을 보여주는 도면이다.
도 5a 내지 도 5c는 본 발명의 실시 예에서 사용되는 모델들, 구체적으로는 (a) 태반 자간전증화(placenta segmentation; PS) 모델; (b) 하이브리드(ybrid; HB) 모델; 및 (c) 기호 설명; 의 완전 합성곱 신경망 아키텍처를 보여주는 도면들이다.
도 6a는 혈류 수상구조(vascular tree)의 골격화(skeletonisation)와 단면 프로파일을 보여주는 혈관 중심선의 일 예를 보여주는 도면이고 도 6b는 분리된 혈관 자간전증들을 구비한 혈류 수상구조를 보여주는 도면이다.
도 7a는 플래시 아티팩트(flash artefact)를 보여주는 도면이고 도 7b는 스캔 평면에 대한 평균 도플러 신호 강도를 보여주는 도면이다.
도 8a는 주기적인 잡음을 나타내는 출력 도플러 신호에 의해 중첩된 B-모드 초음파 스캔을 보여주는 도면이고, 도 8b는 측면도이며, 도 8c는 선형 커널을 보여주는 도면이다.
도 9는 주기적인 잡음을 나타내는 3D-US 데이터의 3D 고속 푸리에 변환을 보여주는 도면이다.
도 10은 본 발명에 따른 방법의 흐름도이다.
여러 도면에서, 유사한 부분은 유사한 참조로 나타나 있다.

이론: 혈관의 출력 도플러 신호 프로파일

Jannsonet과 그의 동료 명의의 문헌에서는 산란 입자들을 포함하는 팬텀 모델(phantom model)에서 도플러 출력이 전력 범위에 걸쳐 속도에 비례함을 보여주었고, 그들은 이러한 것이 다양한 기계 및 설정의 경우일 가능성이 높은 것으로 결론지었다[3]. 혈관의 타원형 단면에서 우리는 유속, 또는 강도

, 프로파일이 이하의 수학식 1

와 같은 수식을 지닐 것으로 예상하며, 상기 수학식 1에서,

및

는 혈관 단면의 장축 및 단축 반경이고,

및

는 혈관의 장축 및 단축을 정의하는 직교 좌표(cartesian coordinate)이며,

는 혈관 내 실제(무잡음) 최대 강도이고,

는 속도 프로파일을 '평탄화(flatten)'하게 하는 매개변수이며,

는 타원형 단면을 지니는 파이프의 전형적인 푸아즈이유 흐름(Poiseuille flow) 프로파일을 나타내며

>2 증가는 (특히 대동맥) 흐름의 박동성으로 인해 상기 프로파일의 평탄화를 허용한다[4].

사산(stillbirth)의 가장 큰 위험 인자(risk factor)는 일반적으로 차선적 태반 이식(sub-optimal placental implantation)에 종속하는 태아 성장 제한(FGR)이다. 공교롭게도 현재 FGR의 위험을 할당하는 데 이용 가능한 방법은 매우 불량하게 수행되며 '저-위험(low-risk)'으로 간주 되는 많은 여성은 그들이 사산할 때까지 아기가 적절하게 성장하고 있지 않음을 인식하지 못한다. '고위험' 여성으로 계층화되면 사산이 이루어지기 전에 아기를 출산할 목적으로 성장하지 않는 아기를 식별하기 위해 상기 여성은 일련의 성장 초음파 스캔을 받게 된다. 현재 위험 평가 방법은 '고위험'으로 추정되는 많은 여성이 불필요한 스트레스와 불안으로 가득 찬 자간전증후에 잘 성장해 있고 건강한 아기를 출산할 정도로 너무 불량하게 수행한다.

FGR의 위험을 평가하기 위한 강력하고 신뢰 가능한 자간전증1기 선별검사 방법이 절실히 필요하다. 이는 실제로 FGR에 종속하는 사산의 위험이 큰 여성이 이용 가능한 일련의 성장 초음파 스캔을 받을 수 있게 함을 의미한다.

자간전증1기 선별검사

자간전증1기 태반 체적(PlVol)은 만삭의 출생체중과 상관관계가 있는 것으로 오랫동안 알려져 왔으며 B-모드 초음파로 측정된 PlVol이 FGR을 선별검사하는 데 사용될 수 있는 것으로 1981년 초에 제안되었다. 그 이후로 많은 연구에서 자간전증11주 내지 13주의 낮은 PlVol이 임신 주차(gestational age)에 비해 작음(SGA - FGR의 대리 지표(surrogate marker)) 및 자간전증을 포함한 유해 임신 결과를 예측할 수 있음이 입증되었다. PlVol이 또한 임신에 연관된 혈장 단백질(plasma protein) A(PAPP-A) 및 목 투명대(nuchal translucency; NT)와 같은 다른 바이오마커(biomarker)로부터 독립해 있는 것으로 입증되었으므로 최근 체계적 검토에서는 이것이 임신 1기에 (다운 증후군(Down's Syndrome)을 포함하는) 태아의 이수성(fetal aneuploidy)을 선별검사하는 데 현재 사용되는 '병합 검사(combined test)'와 유사한 FGR에 대한 미래의 다변량 선별검사 방법에 성공적으로 통합될 수 있는 것으로 결론지었다. 초기 파일럿 데이터는 또한, PlVol가 낮지만 혈류(vascularity)가 정상인 것이 FGR 위험 증가와 관련이 있는 반면에 PlVol가 낮고 혈류가 낮은 것이 자간전증 발병 위험을 증가시킴으로써 태반 관류 추정치와 PlVol의 병합이 서로 다른 유해 임신 결과를 구별할 수 있음을 보여주었다.

그들의 가치를 뒷받침하는 견고한 배경 데이터가 있지만, PlVol 및 태반 혈류가 유용한 이미징 바이오마커들이기 위해서는 그들의 신뢰 가능하고 실시간이며 운영자 독립적인 평가 기법이 필요하다.

지금까지 PlVol을 추정하는 유일한 방법은 수동으로 (3D 체적을 구성하는 모든 2D 슬라이스에 태반 주위를 드로잉(drawing)하는 것) 또는 VOCAL™ (GE, US)와 같은 반자동 도구를 사용하여 3차원 초음파(3D-US) 내에서 태반에 주석을 다는 것이었다. VOCAL™은 운영자가 2D 슬라이스 중 전부는 아니지만 여러 부분에서 태반 주위를 '드로잉' 하여야 하며, 그 후에 회전 보간 알고리즘을 사용하여 최종 체적을 추정한다. 이러한 전략들 모두가 인구 기반 선별검사의 일부로 유용하기에는 너무 시간이 많이 소요되고 운영자에 의존하게 되어 형상이나 표면적과 같은 다른 어떤 형태학적인 지표(morphological metrics)를 제공할 수 없다. 또한 사용된 아우트라인들의 개수(the number of outlines)(보간 정도)와 관심 기관의 가변성(可變性)에 기초하여 VOCAL™에 의해 생성된 체적 결과들의 반복성과 재현성에 대해 상당한 논쟁이 남게 된다.

FMBV(Fractional Moving Blood Volume)와 같은 검증된 혈류 지표를 자동으로 측정할 수 있는 현재 입수 가능한 제품은 존재하지 않는다.

본 발명자들은 3D-US로부터 태반 체적을 자동으로 식별할 수 있는 새로운 완전 합성곱 신경망(OxNNet)[5](https ://insight. jci . org /articles/view/120178 참조)을 개발하여 검증하였다. 이하에서 부연하여 논의되겠지만, 본 발명은 완전히 자동화된 혈류 지표를 용이하게 하기 위해 관련된 해부학적 랜드마크들의 자동 식별을 가능하게 하는 진전 있는 개발을 제공한다.

OxNNet을 개발하기 위해, 최적 표준의 반자동 '랜덤 워커(Random-Walker)' 기법[6]을 사용하여 태반을 2393개의 임신 1기 3D-US 체적으로부터 자간전증화하였다. 이는 '자간전증 정보(ground-truth)' 데이터세트를 생성하기 위해 3명의 운영자에 의해 품질 제어되었다. OxNNet로 지칭되는 완전 합성곱 신경망(fCNN)은 프레임워크 TensorFlow(v1.3)와 2D U-net에서 영감을 받은 3D 아키텍처[7]를 사용하여 생성되었다(도 1 참조). 훈련 세트 크기가 모델 성능에 미치는 영향은 전반에 걸쳐 25,000회 반복 훈련된 100, 150, 300, 600, 900 및 1200개의 사례 샘플을 사용하여 조사되었다.

PlVol 자간전증를 평가하기 위해, 1097개의 태반을 100개의 검증 이미지가 있는 트레이닝 세트로 사용해 2-겹(2-fold) 교차 검증을 수행하였다. OxNNet는 8에포크(epoch) 동안 훈련되었으며 실행하는 데 26시간이 소요되었다. 그 후 1196개의 사례에 대해 검사하였다. 훈련 후 PlVol의 최종 계산은 평균 11초가 소요되었다.

각각의 예측된 자간전증는 가장 큰 영역의 체적 중 <40%의 연결되지 않은 부분을 제거하기 위해 사후처리되었다. 자간전증는 반경 3개의 복셀(voxel)의 3D 커널 및 적용된 홀 충전 필터(hole filling filter)를 사용하여 이진 팽창 및 침식되었다. 이러한 방법들은 태반의 경계를 매끄럽게 하고 태반 조직에 의해 둘러싸인 임의의 홀(hole)들을 충전하는 것이었다(낭성 병변(cystic lesions)은 정상 태반들에서 발생하며 PlVol의 임의 추정에 포함되어야 하는 것이다).

OxNNet은 '실측 정보' 데이터 세트와 비교할 때 최첨단의 완전 자동 자간전증(0.84의 중간 다이스 유사성 계수(Dice similarity coefficient; DSC): 도 2 참조)를 제공하였다. 훈련 세트 크기가 OxNNet의 성능에 미치는 영향은 대규모 데이터세트(n>1000)의 필요성을 보여주었다. 이는 지금까지 기계 학습으로 생성된 대부분의 이미징 도구가 상당히 작은 데이터세트를 사용하였으므로 중요하다. OxNNet에 의해 생성된 PlVol 추정치의 임상적 유용성은 임신 주차(gestational age)에 비해 작은(SGA) 아기들의 예측(FGR의 대리 지표(surrogate marker))을 살펴봄으로써 검사되었다. 수신자 작동 특성 곡선들은 OxNNet(AUC 0.65(95% CI; 0.61-0.69)에 의해 생성된 PlVol 추정치들 및 반자동 랜덤 워커 기법(AUC 0.65(95% CI; 0.61-0.69): 도 3a 참조)에 의해 생성된 '실측 정보'에 대한 SGA 아기들의 거의 동일한 예측 결과들을 보여주었다. OxNNet은 상업적으로 이용 가능한 유일한 도구인 VOCAL™(AUC 0.57(95% CI; 0.48-0.65: 도 3b 참조)을 능가하였다.

본 발명은 태반상(placental bed)의 혈류를 검사하기 위해 해부학적 기준점으로서 자궁-태반 인터페이스(utero-placental interface; UPI)를 식별하는 것(도 4 참조)을 제안한다. OxNNet는 전체 태반을 성공적으로 자간전증화할 수 있지만 본 발명은 2개의 서로 다른 태반 표면, 다시 말하면 UPI - 태반이 자궁 내에 이식되는 경우 - 및 양막-태반 인터페이스(amniotic-placental interface; API) - 태반이 양수(태아가 들어 있는 주머니를 채우는 양수, 도 4 참조)와 접촉하는 경우 - 를 분리할 것을 제안한다. 때때로 태아가 태반에 닿아 누워 있으므로 태아-태반 인터페이스(fetal-placental interface; FPI)도 식별되고 API에 포함되어야 한다.

본 발명의 실시 예는 기계 학습을 사용하여 B 모드 3D 초음파 스캔으로부터 태반, 태아 및 양수를 식별하여 자동 해부학적 랜드마크 식별을 용이하게 하는 강력한 다중클래스 세그먼트 기법을 개발하는 것이다.

기존의 태반 세그먼트가 있는 이용 가능한 2,393개의 3D-US 체적으로부터, 다중클래스 세그먼트를 위해 300개의 체적이 무작위로 선택되었다. 양수와 태아는 2명의 작업자에 의해 수동으로 시딩(seeding)되었고 이전의 연구로부터 수행된 태반 시딩과 병합되었다. 양수와 태아는 태반보다 경계가 뚜렷하여 초기화가 훨씬 쉬웠지만 모호한 사례들은 산과 초음파(obstetric ultrasound)에 대한 풍부한 경험을 가진 임상 전문가가 검사되었다. 그 후에 이러한 3가지 서로 다른 클래스는 최적 표준의 랜덤 워커 알고리즘을 사용하여 다중클래스 레이블 맵(multi-class label map)으로서 세그먼트화되었다.

300개의 다중클래스(multi-class; MC) 사례는 200개의 훈련 사례, 40개의 검증 사례 및 60개의 검사 사례로 세분화되었다. 4개의 MC 모델은 배치 크기(batch size)가 30인 40에포크(epoch) 동안 각각 훈련되었다. 첫째, 원래 OxNNet와 동일한 아키텍처를 지니는 fCNN을 사용하여 한 MC 모델이 훈련되었다(도 5a 참조). 그 후에, 다중클래스 전이 학습(multi-class transfer learning; MCTL) 모델은 동일한 아키텍처를 사용하지만 원래 OxNNet 훈련으로부터 취해진 가중치(weight)와 편중치(bias)를 사용하여 훈련되었다(OxNNet가 단순 MC 모델의 200개 사례에 비해 1097개 사례의 훨씬 더 큰 훈련 데이터세트로부터 '학습'한 것을 '전이(transfer')하는 것이 효과적임).

다른 2개의 타깃(태아 및 양수)에 대한 잠재적인 성능 저하를 극복하기 위해 하이브리드 모델(hybrid model; HB)과 지수 평균을 통한 하이브리드 모델(hybrid model with exponential averaging; HBAV)의 2가지 하이브리드 모델이 개발되었다. 지수 이동 평균은 훈련 과정을 통해 모델의 가중치를 평균화하고 가중치의 최신값을 선호함과 아울러 모든 가중치를 저장할 필요가 없으므로 계산 효율성을 제공함으로써 잡음을 줄인다. 양자 모두의 하이브리드 모델은 도 5b에 도시된 바와 같이 생성된 2개의 독립적인 경로로 이루어졌다. 다중클래스(MC) 및 다중클래스 전이 학습(multi-class transfer learning; MCTL) 모델의 아키텍처는 2개가 아닌 4개의 채널을 지님으로써 태반 세그먼트(placental segmentation; PS) 모델 아키텍처와 단지 다르기 때문에 여기에 도시되어 있지 않다.

하이브리드 모델(HB) 및 지수 평균를 통한 하이브리드 모델(HBAV) 양자 모두는 도 5b에 도시된 바와 같이 2개의 독립적인 경로로 이루어졌다. 상단 경로에서, HB 매개변수는 PS 모델을 사용하여 초기화되었으며 HBAV 모델에 대해 PSAV 모델을 사용하여 초기화되었다. 하단 계층에서 매개변수는 분산 스케일링(variance scaling)을 사용하여 초기화된 다음에 MC 데이터에 대해 훈련되었다. 하단 경로의 매개변수는 HB 및 HBAV 모델 양자 모두에 대해 상단 경로에서 변경 및 고정되도록 허용되었다. 아담 옵티마이저(Adam optimizer)의 매개변수는 PS 훈련에서 사용된 매개변수와 동일하였다.

,

,

및

를 복셀이 각각 배경, 태반, 양수 및 태아에 속하는 신뢰도(confindence)라고 하기로 한다. 주어진 복셀 i 에 대해 상단 경로(T)의 소프트맥스 출력(softmax output)은 합이 1인 2개의 값

및

로서만 주어졌다. 이 경우에, 태아와 양수는 배경에 포함되었다. 하단 경로(B)에서 최종 계층의 소프트맥스는 합이 1인,

,

및

의 스칼라 값들을 지니는 주어진 복셀의 구성원에 대한 신뢰도를 생성하였다.

는 복셀이 태반, 태아 또는 양수가 아니라는 신뢰도를 나타내었다. 손실 함수 L 은 두 경로의 출력들을 이하의 수학식 2

로서 병합하여 정의되었으며, 여기서 M 은 태반 실측 정보(placental ground truth) 영역 내 복셀 i 에 대해 값 m _i 가 0이고 이러한 영역 외부에서 1인 이진 마스크이며, o _i 는 하단 경로의 출력이었고, sl 은 소프트맥스 교차 엔트로피 함수이었으며, 그리고 n _i 는 1에서 상단 경로의 소프트맥스 계층으로부터의 출력을 뺀 값으로서 정의된 정규화 계수(normalisation factor)이었다.

손실 함수가 태반 영역에 걸쳐 마스킹(masking)되므로, 모델 훈련에 태반이 기여하지 않는다. HB 모델의 최종 신뢰도 벡터에는 하기 수학식 3 내지 6

에 의해 주어진 스칼라 구성요소들이 있으며, 여기서 복셀의 최종 세그먼트는 수학식 3 내지 6에서 정의된 값들 중 최대값으로 취해진다. 따라서, HB 모델의 태반 세그먼트는

> 0.5 일 경우 모든 복셀에 대해 PS 모델과 동일하게 된다. 0.25 <

< 0.5 일 경우 복셀은 HB 모델에 의해 태반으로서 분류되었지만 PS 모델에 의해 나머지 클래스들

,

및

의 값들이 각각

일 경우 배경으로서 분류되었다.

상기 옵티마이저의 매개변수들은 원래 OxNNet 훈련에서 사용된 매개변수들과 동일하였다. 4가지 모델 모두는 유용한 결과들을 제공하였지만 지수 평균을 통한 하이브리드 모델이 가장 양호하였다. 이러한 모델들을 사용하면, UPI의 부위 및 표면적과 같은 해부학적 랜드마크들에 관련된 모든 가능한 태반의 형태학적인 지표가 자동으로 식별될 수 있다. 이는 태반상(placental bed)의 혈류 매핑을 가능하게 하고 그럼으로써 자간전증과 같은 유해 임신 결과들에 대한 예측 가능성을 향상시켜 준다.

UPI(utero-placental interface)를 식별한 후에, 다음 단계는 태반 내 혈류를 평가하는 것이다.

도플러 초음파는 태반과 태아 기관 내 혈류를 평가하기 위해 임신 중에 수행되는 일차적인 비침습적 이미징 기법(primary non-invasive imaging modality)으로서 알려져 있다.

PD(Power Doppler) 초음파는 칼러 도플러(color Doppler)에 비해 초음파 노출 각도의 영향을 적게 받고 흐름의 여러 방향과 낮은 유속에 민감하므로, 조직 관류를 평가하는 데 더 유용한다. 그러나 모든 형태의 초음파와 마찬가지로, PD 초음파 신호는 통과하는 조직에 의해 감쇠된다. 감쇠를 보상하고 환자 간 직접 비교를 허용하려면, 출력 도플러 신호를 표준화하여야 한다. PD 초음파로부터 조직 관류를 추정하기 위한 유일하게 검증된 방법은 분획 이동 혈액량(fractional moving blood volume; FMBV)이다. 이는 최근 돼지 모델 마이크로스피어(porcine model microsphere)[8] 내 최적 표준의 방사성(radioactive)에 대해 3D에서 검증되었다. 3D-FMBV를 사용하여, 본 발명자들은 소규모 파일럿 연구(n=143)에서 임신 1기 태반상의 관류가 자간전증이 발생하는 임신에 대해 상당히 감소(p=0.03)했지만 정상 혈압의 임신에서는 감소하지 않아(p=0.16) 재태기간(gestational age; SGA) 아기들이 작아지게 된다[9]. 이는 나선 동맥 순응(spiral artery adaptation)이 불량한 자간전증의 전형적인 조직병리학적 소견(histopathological finding)과 일치한다.

3D-FMBV를 결정하기 위해 출력 도플러 신호를 표준화하기 위해 100% 혈류를 지니는 것으로 가정될 수 있는 관심 타깃에 가까운 큰 기준 혈관을 식별하는 것이 제안된다. 그 후에, 기준 혈관 내 PD 신호는 타깃에 기록된 PD 신호 값을 수정하고 그럼으로써 개별 신호 감쇠를 조정하고 적절한 환자 간 비교를 허용하는 표준화 값을 정의하는 데 사용된다. 본 발명은 3D-FMBV의 추정을 완전히 자동화하고 그럼으로써 본 소견의 대규모 검사를 용이하게 하며 잠재적으로 임신 1기 선별검사의 예측 능력을 개선하는 것을 목표로 한다. 본 발명은 또한 특히 다른 기관 또는 종양 상에 필요한 훈련을 최소화하기 위해 전이 학습을 사용하여 다른 기관 및/또는 종양의 혈류 측정에 적용될 수 있다.

위에서 설명한 바와 같이 자동으로 식별된 해부학적 랜드마크들을 지니는 3D-PD 초음파 스캔으로부터 자궁-태반 맥관구조(utero-placental vasculature)를 매핑 및 측정하기 위한 완전 자동화 기법이 지금부터 설명된다. 이는 연구들 간에 차이가 있을 수 있는 관심 영역들을 정의하는 것에서 벗어나서 정규화를 위해 자동으로 식별 가능한 일관된 대혈관을 식별하는 데 중점을 둔 것이다. 또한 상기 절차가 정규화를 위해 혈액 충전된 단일 혈관을 식별 및 분석하는 것이므로, 출력 도플러의 일반적인 신호 대 잡음비 범위에 걸쳐 매우 일관된 알고리즘을 제공하고 관류된 실질(perfused parenchyma) 또는 주변 관심 영역의 적당한 크기의 혈관의 존재로 인해 정규화의 가변성을 겪지 않는다.

먼저 자동화된 다중-시드 영역 성장 기반 방법(automated multi-seed region growing based method)을 사용하여 전체 자궁 맥관 구조를 추출하였다. 이러한 방법은 혈관 연결의 표현을 유지할 수 있으므로 일반적으로 사용되는 임계값보다 우수하기 때문에 선택되었다. 그 후에, 자궁근막 혈관 신경총 골격(myometrial vascular plexus skeleton)을 추출하기 위해 3D 중심 축 기반 세선화 방법(3D medial axis based thinning method)[10]을 채택하였다(도 6a 참조). 그 후에, 분기점(bifurcated point)을 제거함으로써 상기 혈관 골격을 여러 세그먼트로 더 분리하였다. 혈관 네트워크를 혈관 세그먼트로 나누는 마커들로 이러한 중앙선 세그먼트들을 사용하여 3D 유역 알고리즘(3D watershed algorithm)[11]을 적용하였다(도 6b). 혈관 세그먼트의 체적와 국소 혈관 중앙선에 수직인 평면 간 교차점인 국소 혈관 단면을 각 세그먼트에 대해 드로잉하여 혈관 직경을 찾아낸다(도 6a). 단면 내 단일 강도 피크를 보여주는 혈관 세그먼트들은 기준 혈관의 후보들로서 간주되는 개별 혈관들로서 식별된다. 선택한 기준 혈관은 관심 체적 내 위치한 가장 큰 직경 >3mm인 것이다. 대안으로, 사전에 지정된 임계값, 예컨대 3mm보다 큰 직경을 지니는 개별 혈관을 선택할 수 있다.

UPI를 포함하여 태반의 해부학적 랜드마크들을 식별할 수 있는 그레이스케일 OxNNet 도구와 이러한 혈관 식별 기법을 병합함으로써 UPI로부터 사전에 정의된 거리에 있는 태반상 내 적절한 기준 혈관을 선택할 수 있다. 사전에 정의된 거리는 약 1cm, 예컨대 0.5cm 내지 1.5cm 일 수 있다. 기준을 충족하는 혈관이 여러 개일 경우 가장 큰 혈관을 선택할 수 있다. 이러한 기준 혈관을 사용하여 전체 UPI의 3D-FMBV(관류) 또는 UPI에 관련된 관심 체적의 완전 자동화된 추정을 새로운 방법을 사용하여 계산할 수 있다.

100% 혈류를 지니는 것으로 알려진 혈관을 사용한 3D-FMBV 추정은 조직 감쇠에 영향을 받는 출력 도플러 신호의 수치를 표준화하는 방법이다. 이러한 표준화를 수행하면 타깃 기관의 깊이와 초음파를 가하는 조직 유형을 수정(예컨대, 지방량 수정)하므로 정량적인 환자 간 비교들이 가능하다.

표준화 값의 계산은 3mm 이상의 혈관 크기와 무관하며 혈관 강도 프로필 형상에 적응한다. 이는 합성 데이터와 비교함으로써 정확한 것으로 입증되었다. 수동 또는 자동으로 단일 혈관으로부터 표준화 포인트를 생성하는 기법은 현재 존재하지 않는다.

실시 예들에서, 표준화 포인트는 혈유속의 '일정한' 값을 나타내는 유체 역학 시뮬레이션 및 혈관 특징(강도 프로필 및 직경)에 기초하여 개별 혈관의 높은 전단 혈관 마진의 자동 식별에 의해 결정된다. 전단 임계값이 적용될 수 있다. 이를 통해 매번 수치 표준화 값을 정확하게 추정할 수 있다. 이에 대해서는 이하에서 구체적으로 설명한다.

혈관 경계 구하기

PD 초음파 이미지들 내 혈관 경계는 (배경 강도에 근접한) 낮은 강도를 지니고 낮은 콘트라스트를 지니는 것으로 관측된다. 쉽게 수행되는 방법으로, 임계화(thresholding)는 일반적으로 혈관들을 세그먼트화하는 데 사용된다. 그러나 낮은 콘트라스트 경계와 이미징 중에 발생하게 되는 불가피한 잡음으로 인해, 단순히 임계화만으로는 정확한 혈관 세그먼트가 제공되지 않게 된다. 극 활성 윤곽 방법(polar active contour method)은 일반적으로 볼록한 형상을 지니는 다른 형태들의 객체의 경계 검출에서 양호하게 수행되는 것으로 나타나게 되었다[12][13][14]. 본 발명은 강력하고 매우 정확한 혈관 세그먼트를 달성하기 위해 혈관 세그먼트화를 위한 유사한 방법을 사용할 것을 제안한다.

활성 윤곽들은 객체의 세그먼트를 획득하기 위해 정의된 에너지 기능을 최소화하도록 객체 경계를 변형한다.

를 도메인

에 정의된 객체 혈관을 포함하는 주어진 이미지라 하기로 하고

를 폐쇄 윤곽이라 하기로 한다.

는 부호 있는 거리 함수이다.

(후보 혈관 영역)의 내부는 이하의 수학식 7

과 같은 평활화된 헤비사이드 함수(Heaviside function)의 근사치에 의해 정의된다.

의 외부, 다시 말하면 타깃 혈관 외부 영역을

로 정의한다.

를 에너지 함수라 하기로 한다. 예상 혈관 경계는 에너지 함수를 최소화하는 윤관

이다.

극좌표계에서, 윤곽은 여러 각도에서 경계를 샘플링한다. 그 후에 극 윤곽은 방사형으로만 전개된다. 극좌표계 내 에너지를 설명하기 위해서는 이하의 수학식 8

과 같은 특성 함수를 정의하였고, 여기서 혈관의 중심을 극으로서 간주하고

및

는 2개의 포인트이며

는 극좌표계 내 한 포인트의 각좌표(angular coordinate)이다. 함수

는

가

와 동일한 방사상선(radial line)상에 있을 때만 1이다.

에너지 함수는 하기 수학식 9

와 같이 표기되며, 여기서

는

의 도함수이다.

는 각각의 윤곽 포인트에 대해 해당 포인트에서 최적의 강도 모델에 대한 (방사상의) 국소 강도 부착능(local intensity adherence)를 예측한다. 수학식 1에 의하면, 혈관 방사 강도 프로파일은 하기 수학식 10

과 같이 표기된다.

여기서 유념할 점은 크기가 작고 포물선 강도 프로파일을 지니는 것으로 관측되는 자궁 혈관들의 검출을 위해 γ이 2로 설정된다는 것이다. 혈관 윤곽 포인트

내측 방사상 강도에 수학식 10을 피팅(fittig)함으로써, 하기 수학식 11

과 같은 추정된 내부 강도를 얻었다.

외부 평균 강도는 하기 수학식 12

와 같이 계산된다.

그 후에, 에너지는 하기 수학식 13

과 같이 표기된다.

마지막으로, 국소 곡선의 분산에 페널티를 주는 정규화 항

이 윤곽을 매끄럽게 하도록 추가되고 인자

에 의해 가중된다. 최종 에너지는 하기 수학식 14

와 같이 정의된다.

이러한 방법은 초기화(initialization), 경사 하강(gradient descent) 및 정지 조건 검출(detecting the stop condition)의 3 단계로 구현될 수 있다.

초기화를 위해 국소 최대 강도 포인트가 검출되고 혈관 중심으로서 간주 된다. 모든 내부 강도가 임계값

보다 큰 초기 혈관 영역을 달성하기 위해 이러한 포인트를 시드(seed)로서 사용하여 간단한 영역 성장 방법이 적용된다. 초기 윤곽

은 초기 영역의 경계에 있는 한 세트의 포인트들로 구성된다.

반복 경사 하강 기법은 정의된 에너지

(이는 비용 함수의 일 예임)를 최소화하기 위해 평형 정지 조건이 만족될 때까지 반복 적용된다. 혈관 중심 포인트는 각각의 반복에서 혈관 영역의 중심인 것으로 업데이트된다.

대표적인 균형 정지 조건은 혈관 영역의 분산이 매우 작고 10회 반복에 대한 임계값

보다 작은 것이다.

정규화 포인트 결정

위에서 논의한 바와 같이, 산란 입자들(scattering particles)을 포함하는 팬텀 모델(phantom model)에서 도플러 전력이 0 내지 35dB의 전력 범위에 걸쳐 속도에 비례하는 것으로 나타났으며[3], 이는 기계 설정에 의존함에도 불구하고 다양한 기계 및 설정을 위한 사례일 가능성이 있는 것으로 결론지었다. 혈관의 타원형 단면에서는 유속 또는 강도,

프로파일이 하기 수학식 15

와 같은 형상을 지니는 것으로 예상할 수 있게 해주고, 여기서

및

는 혈관 단면의 장축 및 단축 반경이며,

및

는 혈관의 장축 및 단축을 정의하는 직교 좌표(cartesian coordinate)들이고,

는 혈관 내 실제(무잡음) 최대 강도이며,

는 속도 프로파일을 '평탄화(flatten)'하게 하는 매개변수이고,

는 타원형 단면을 지니는 파이프의 전형적인 푸아즈이유 흐름(Poiseuille flow) 프로파일을 나타내며

>2 증가는 (특히 대동맥) 흐름의 박동성으로 인해 상기 프로파일의 평탄화를 허용한다[5].

출력 도플러 초음파 이미징의 전형적인 누적 강도 곡선은 주어진 강도보다 작거나 같은 강도를 지니는 관심 영역의 픽셀들/복셀들의 개수를 계산한다. 혈관의 타원 단면 내 이의 수학적 등가는 주어진 값보다 작은 강도를 지니는 혈관의 면적이다. 극좌표들

및

에 대한 좌표 변경을 정의하면, 강도의 정의는 하기 수학식 16

과 같이 표기된다

그리고 (

를 지니는 타원형 링의 면적과 등가인)

를 지니는 혈관의 면적을 하기 수학식 17

로서 계산할 수 있게 된다.

혈관의 면적보다는 픽셀 강도에 관심이 있고 그래서 치환(substitution)

이 이루어질 수 있다. 그래서

를 지니는 혈관의 면적은 하기 수학식 18

과 같이 표기된다.

이러한 값을 혈관의 총 단면적

를 정규화하여 하기 수학식 19

와 같은

의 누적 강도 확률을 구할 수 있게 된다.

이산적 의미(discrete sense)에서

를 계산하는 것은 하기 수학식 20

을 사용하여 누적 도플러 전력 분포 함수를 계산하는 것과 정확히 동일하며, 여기서

는 전력 강도가

인 픽셀들의 개수이고,

는 관심 영역의 총 픽셀들의 개수이며,

는 전력 강도가 <

인 총 픽셀들의 개수이다.

이론적으로 관심 영역이 혈관 단면으로서 정의된 경우 이러한 곡선에 별개의 데이터를 피팅하여

및

양자 모두를 추정할 수 있게 된다. 여기서 유념할 점은 포물선 속도(또는 강도) 프로필의 경우

가 직선이며 혈관의 타원 단면의 종횡비와 무관하다는 것이다. 여기서 유념할 점은 자궁-태반 시스템 내 많은 혈관에서 크기 및 혈행동태(血行動態) 고려사항이

(이는 또한 출력 도플러 이미지 내 혈관 단면의 중심을 통해 강도 프로필을 플로팅(plotting)함으로써 확인됨)임을 의미한다는 것이다. 이것이 의미하는 것은 혈관 내 피크(peak) 신호를 정확하게 추정하는 데 필요한 데이터에

및

양자 모두를 피팅하면 오류가 발생하기 쉽게 된다는 것이다. 그러므로

이 있는 경우에도 혈관에 대해

및

양자 모두를 정확하고 신뢰 가능하게 피팅할 수 있게 하는 대체 '가중' 누적 곡선을 제안하게 된다.

제안된 누적 곡선은 강도가

인 혈관 단면 내 총 신호를 반영하며 이산적 의미에서 하기 수학식 21

과 같이 정의되며, 여기서

는 픽셀

에서의 도플러 전력 강도이고

은 전체 혈관 단면에 걸친 총 누적 강도이다.

적분 형태(

에 의한 정규화 없음)에서 이는 하기 수학식 22

와 같이 표기된다.

마지막으로, 하기 수학식 23

에 의해 정규화가 이루어진다.

이는 최대 전력 강도

및 '평탄도(flatness)'

의 2개의 매개변수를 피팅할 수 있게 하는 적절한 누적 곡선을 제공한다.

임의의 단면을 지니는 혈관에 대해 극좌표들의 유사한 수학식들을 도출해 낼 수 있다.

표준화 포인트는 '전단 임계값(shear threshold)'의 개념을 사용하여 높은 전단 혈관 마진(적혈구가 거의 없음)과 적혈구 밀집 혈관 자체를 분리함으로써 결정된다. 전단은 유속의 경사(gradient)와 혈관 벽에서의 그의 최대값으로서 결정된다. 전단이 그의 최대값의 X%인 강도는 수학식 15의 경사를 계산하고 강도를 '반지름'으로 대체함으로써 하기 수학식 24

와 같이 정의된다.

실제 구현을 위해 다음과 같은 단계가 수행된다.

1. 강도 가중 도플러 전력 누적 분포는 수학식 21을 사용하여 계산된다.

2. 수학식 23은

및

에 대해 가장 적합한 값을 제공하기 위해 상기 누적 분포에 피팅된다.

3. 이러한 가장 적합한 값들은 수학식 24에서

를 계산하는 것이다. X의 적절한 값은 정상화 혈관의 크기와 속도 프로필에 따라 가변적일 수 있다(신장 동맥(renal artery)은 자궁-태반 동맥보다 더 평평한 속도 프로필을 지닐 것으로 예상된다). 그러나 자궁-태반 동맥과 같은 상대적으로 작은 혈관의 경우, 흐름 프로필은 일반적으로 포물선 형상이고 그래서 X=85는 고-전단 혈관 벽으로부터 떨어진 혈관 단면을 유지하는 적절한 임계값이다.

합성 데이터에 기초한 검사에서, 위의 방법은 반경 > 1mm인 기준 혈관에 대한 이론적 이상(theoretical ideal)에 가까운 표준화 값을 신뢰성 있고 일관성 있게 예측할 수 있었다. 동일한 이미지들에 걸친 루빈(Rubin)의 방법[15]의 자동화된 구현은 방법은 상기 방법이 (ROI 크기에 상대적인) 기준 혈관 반경과 SNR 양자 모두에 민감함을 보여준다. 이는 부분적으로 루빈(Rubin)의 방법이 조직이 있는 ROI, 분포된 조직 맥관 구조 및 큰 '기준 혈관'에 적용되도록 설계된 것이기 때문에 예상치 못한 결과는 아니다. SNR이 높으면 루빈(Rubin)의 방법을 적용하려면 누적 강도 곡선에서 식별 가능한 '변곡'이 있어야 하기 때문에 상대적으로 큰 오차 막대(error bar)들이 나타난다. 누적 곡선이 비교적 직선일 때 자동 알고리즘이 변곡 포인트를 결정하기 어려워(또는 변곡 포인트가 존재하지 않아), 루빈(Rubin)의 방법은 이러한 이유로 인위적으로 높거나 낮은 표준화 포인트들을 반환(return)할 수 있다.

그러나 지금까지는, 태반상에서 볼 수 있는 것과 같은 구불구불한 혈관 네트워크 내 단일 혈관의 식별을 완전히 자동화하는 방법이 없었다. 일 실시 예는 3D 출력 도플러 초음파 스캔(3D-PD USS)으로부터 태반을 자동으로 식별할 수 있고, 위에서 설명한 바와 같이 UPI(utero-placental interface)를 포함하는 관련 해부학적 랜드마크들을 식별할 수 있다. 중첩된 3D-PD 신호를 통해 태반상의 혈관 네트워크가 자동으로 매핑되고 측정된다. 태반상의 혈관 네트워크로부터 UPI로부터 약 1cm(+/-0.5cm) 떨어진 자궁근층(myometrium)에 위치한 큰(직경 > 3mm) 혈관이 식별된다. 서로 다른 위치에서 혈관을 사용하는 것도 가능하지만 일반적으로 적절한 혈관을 해당 위치 또는 그 근처에서 찾아낼 것으로 예상된다. 이는 해부학적 위치에서 자궁근층 혈관 네트워크의 이러한 부분에서 가장 큰 혈관이므로 요골 동맥(radial artery)이어야 한다. 요골 동맥은 임신 중에 급속히 확장되며 태반이라는 용어에서 동맥에 혈액을 공급하는 자궁 동맥보다 더 큰 직경을 지니며 이는 혈관 네트워크에서 매우 드문 특징이다. 이러한 혈관이 충분히 크므로 100% 혈류를 지니고 있다고 가정할 수 있고 결과적으로는 조직 감쇠가 없거나 최소한으로 약 250의 PD 복셀 값을 지니고 있어야 한다. 이러한 단일 혈관의 복셀에 대해 기록된 실제 수치(표준화 값)는 각각의 개별 환자에서 신호가 겪은 조직 감쇠의 고유한 양을 수정하는 데 사용된다. 이를 통해 타깃 기관 - 예컨대 후방/전방 태반 - 의 깊이, 또는 서로 다른 복부 지방의 양 또는 서로 다른 유형의 조직 - 예컨대, 반흔 조직(scar tissue)의 존재 - 에도 불구하고 여성들 간의 기관 관류를 적절하게 정량적으로 비교할 수 있다.

따라서 본 발명은 완전히 자동화된 단일 혈관 3D-FMBV의 계산이 수행될 수 있게 해준다. 설명한 기법들은 유해 임신 결과에 대한 유용한 이미징 바이오마커가 될 것으로 예상되는 자궁-태반 혈관 신경총(예를 들어 요골 동맥의 길이 또는 직경)에서 다른 잠재적 혈관 마커들을 자동으로 식별하도록 확장될 수 있다. 본 발명의 실시 예들은 또한 세그먼트화될 수 있는 임의의 혈관 기관 또는 병변(lesion)을 측정하도록 적응될 수 있다. 예들로는 신장, 간(태아 포함), 태아 뇌, 성인 난소, IVF 중 자궁내막 및 초음파에 의해 검사될 수 있는 모든 연조직 종양이 있다. 랜드마크들의 세그먼트 및 식별에 사용되는 fCNN은 전이 학습을 사용하여 수동으로 레이블이 지정된 훈련 데이터의 양을 최소화하여 훈련될 수 있다.

도 10은 본 발명의 일 실시 예에 따른 프로세스를 요약한 흐름도이다. 상기 프로세스는 이하의 단계들을 포함한다:

·S1 - 예컨대 초음파 스캔을 수행함으로써 객체의 이미지 데이터를 획득하는 단계

·S2 - 초음파 데이터를 선택적으로 정리하여 잡음 및 인공물(artefact)을 제거하는 단계

·S3 - 초음파 데이터를 세그먼트화하여 관심 기관을 식별하고 이를 인접 조직과 구별하는 단계

·S4 - 사전에 결정된 해부학적 랜드마크, 예컨대 관심 기관과 인접한 특정 기관 간 인터페이스를 찾아내는 단계

·S5 - 관심 기관 내 및/또는 주변의 맥관 구조를 식별하는 단계

·S6 - 관심 기관 내 또는 근처에서 기준 혈관을 선택하는 단계

·S7 - 기준 혈관으로부터 기준 출력 도플러 값 또는 표준화 값을 결정하는 단계

·S8 - 기준 혈관의 출력 도플러 값에 기초하여 초음파 이미지의 출력 도플러 값에 스케일링 함수(예컨대, 선형)를 적용하는 단계

·S9 - 스케일링된 출력 도플러 값들로부터 분획 이동 혈액량 값들을 계산하는 단계.

불가피한 초음파 인공물의 제거

도플러(Doppler) US 이미지 품질은 여러 요인, 예컨대 매개변수 설정, 심장 주기, 및 조직 운동에 영향을 받는다. 심장 주기는 주기적인 인공물을 유발하여 혈관 세그먼트들의 단절을 초래할 수 있다. '플래시(flash)' 인공물은 움직임(종종 태아의 움직임)으로 인해 발생하며 잘못된 흐름 신호들을 생성하여 부정확한 관류 추정을 초래할 수 있다. 이러한 인공물의 검출 및 제거는 3D-FMBV를 포함한 혈류 추정의 정확도를 개선하기 위한 바람직한 사전-처리 단계들이다.

조직의 큰 움직임, 유체 또는 빠른 트랜스듀서 움직임이 있는 경우 고정된 조직에 '플래시' 인공물이 나타난다. 이는 대부분 태아의 움직임에 기인하며 몇 개의 스캔 평면에서 무작위 PD 신호의 돌발(sudden burst)로서 나타나며 인접한 평면은 영향을 받지 않다(도 7a). 이는 눈으로 쉽게 식별된다. 문헌에서 '플래시' 인공물을 보여주는 이미지는 일반적으로 저품질 이미지로 분류되며 추가 분석을 위해 데이터세트로부터 배제된다. (도 7b에서 빨간색 원으로 마킹된) 서로 다른 평면들의 평균 신호 강도들을 비교함으로써 플래시 인공물을 자동으로 검출하는 것이 제안된다. 식별된 평면들은 잠재적으로 인접한 평면들로 대체될 수 있다.

기존의 '플래시' 인공물 억제 방법들은 2D US 용으로 설계되었다. 2D 방법은 시간적 직렬 프레임들의 정보를 사용하여 신호 강도가 서로 다른 시간 프레임들 간에 일관되어야 한다는 전제에서 인공물들을 식별하고 제거한다. 인접한 평면들로부터의 정보는 그 후에 신호 강도가 인접한 스캔 평면들 간에 부드럽게 변해야 한다는 사실에 기초하여 평균 강도의 급격한 변화(도 7b)와 함께 상기 평면들에서 보이는 '플래시' 인공물을 억제하는 데 사용되게 된다. 3D-PD US 스캔의 경우 '플래시' 인공물로 대체할 새로운 평면을 생성하기 위해 가장 가까운 투명 이웃 평면들로부터 보간법을 적용하는 것이 제안된다. 이러한 인공물이 관류의 정량적 추정치에 미치는 영향을 평가하기 위해 처리 전후에 관류 추정치들이 계산될 수 있다(3D-FMBV).

주기적 잡음은 PD 신호의 어두운 줄무늬(dark streak)로서 3D 초음파 체적에 존재한다(도 8b). 심장 주기 동안 혈류 속도는 주기적으로 변한다. 스캔 평면의 스위핑 주파수와 심박수 간 불일치는 3D 혈관에 어두운 줄무늬가 나타나는 결과로 서로 다른 스캔 평면에 의해 포착된 동일한 혈관 세그먼트 내에서 신호 강도의 변화를 일으킬 수 있다.

예비 데이터(preliminary data)에 의하면 인접한 스캔 평면들 간에 선형 평활화를 수행하면 주기적인 잡음을 제거할 수 있는 유망한 결과가 나타난다. 토로이달 공간(toroidal space)에서 선형 커널이 정의되었고(도 8c) 토로이달 공간에서 3D-PD 이미지에 적용되었다. 필터링된 이미지는 그 후에 KretzConverter[17]에 의해 데카르트 공간으로 변환될 수 있다.

심장 주기로 인한 주기적인 잡음을 식별하고 제거하기 위해 3D 푸리에 변환을 사용하는 것이 제안된다. 토로이달 출력 도플러 이미지는 3D FFT(Fast Fourier Transform)에 의해 주파수 도메인으로 변환된다. 주기적인 잡음은 도 9에 도시된 바와 같이 주파수 영역에서 푸리에 스파이크를 생성하는 것으로 관측된다. 검출된 스파이크들을 제거하기 위해 노치(notch) 필터가 적용된다[18]. 그 후에 데이터는 3D 역 푸리에 변환을 통해 다시 공간 영역으로 변환된다.

결론

본 발명의 방법은 하나 이상의 컴퓨터들을 포함하는 컴퓨터 시스템에 의해 수행될 수 있다. 본 발명을 구현하는 데 사용되는 컴퓨터는 범용 CPU들, 그래픽 처리 유닛(graphical processing unit; GPU)들, 텐서 처리 유닛(tensor processing unit; TPU)들 또는 기타 특수 프로세서들을 포함하는 하나 이상의 프로세서들을 포함할 수 있다. 본 발명을 구현하는 데 사용되는 컴퓨터는 물리적이거나 가상적일 수 있다. 본 발명을 구현하는 데 사용되는 컴퓨터는 서버, 클라이언트 또는 워크스테이션일 수 있다. 본 발명을 구현하는데 사용되는 다수의 컴퓨터는 LAN(Local Area Network) 또는 WAN(Wide Area Network)과 같은 네트워크를 통해 분산 및 상호 상호연결될 수 있다. 상기 방법의 개별 단계들은 컴퓨터 시스템에 의해 수행될 수 있지만 반드시 동일한 컴퓨터 시스템에 의해 수행되지 않아도 된다. 본 발명의 방법의 결과들은 사용자에게 디스플레이될 수도 있고 임의의 적합한 저장 매체에 저장될 수도 있다. 본 발명은 본 발명의 방법을 수행하기 위한 명령어들을 저장하는 비-일시적 컴퓨터 판독가능 저장 매체로 구체화될 수 있다. 본 발명은 본 발명의 방법을 수행하기 위한 명령어들을 저장하는 메모리 또는 스토리지 및 하나 이상의 프로세서들을 포함하는 컴퓨터 시스템으로 구체화될 수 있다. 본 발명은 초음파 스캐너 또는 그러한 장치에 대한 소프트웨어 업데이트 또는 애드-온에 통합될 수 있다.

지금까지 본 발명을 설명하였지만 당업자라면 제한하려는 의도가 아닌 위에서 설명한 실시 예들에 대해 변형들이 이루어질 수 있음을 이해할 것이다. 본 발명은 지금까지 여성 인간 객체들의 스캐닝과 관련하여 설명되었다. 당업자라면 본 발명이 또한 남성 및 다른 동물에 적용될 수 있음을 이해할 것이다. 본 발명은 첨부된 청구범위 및 그 등가범위에서 정의된다.

문헌들

[1] J. Rubin et al, "Normalizing fractional moving blood volume estimate with power Doppler US: Defining a stable intravascular point within the cumulative power distribution function. Radiology," vol. 205, pp. 757-765, 1997.

[2] A. Welsh et al, "Inapplicability of fractional moving blood volume technique to standardize Virtual Organ Computer-aided AnaLysis indices for quantified three-dimensional power Doppler.," Ultrasound Obstet Gynecol , vol. 40, pp. 688-692., 2012.

[3] T. Jansson, E. Hernandez-Andrade, G. Lingman and K.

, "Estimation of fractional moving blood volume in fetal lung using power Doppler ultrasound: Methodological aspects.," Ultrasound Med Biol , vol. 29, pp. 1551-1559, 2003.

[4] N. A. Smith and P. J. Hunter, "An anatomically based model of transient coronary blood flow in the heart," SIAM Journal on Applied mathematics, vol. 62(3), pp. 990-1018, 2002.

[5] P. Looney, G. N. Stevenson, K. H. Nicholaides, W. Plasencius, S. Natsis and S. L. Collins, "Fully automated, real-time 3D ultrasound segmentation to estimate first trimester placental volume using deep learning," JCI insights 2018;3:e120178.

[6] G. N. Stevenson, S. L. Collins, J. Ding, L. Impey and J. A. Noble, "3-D Ultrasound Segmentation of the Placenta Using the Random Walker Algorithm: Reliability and Agreement," Ultrasound Med Biol, Vols. 3182-93, p. 41, 2015.

[7] O. Ronneberger, F. P and T. Brox, "U-Net: Convolutional Networks for Biomedical Image Segmentation," in International Conference on Medical Image Computing and Computer-Assisted Intervention, 2015.

[8] A. W. Welsh, J. B. Fowlkes, S. Z. Pinter and et al, "Three-dimensional US Fractional Moving Blood Volume: Validation of Renal Perfusion Quantification," Radiology, vol. 293, pp. 460-68, 2019.

[9] S. L. Collins, G. N. Stevenson, J. A. Noble and L. Impey, "Utero-placental interface vascularity in early pregnancy estimated by 3D fractional moving blood volume (3D FMBV) predicts fetal growth restriction," Ultrasound Obstet Gynecol, vol. 40, p. 119, 2012.

[10] T. C. Lee, R. L. Kashyap and C. N. Chu, "Building Skeleton Models via 3-D Medial Surface Axis Thinning Algorithms. CVGIP: Graphical Models and Image Processing," vol. 56, pp. 462-78, 1994.

[11] A. Videla, C.-L. Lin and J. D. Miller, "Watershed Functions Applied to a 3D Image Segmentation Problem for the Analysis of Packed Particle Beds," Particle & Particle Systems Characterization, vol. 23, pp. 237-45, 2006.

[12] Z. Wangmeng et al, "Combination of polar edge detection and active contour model for automated tongue segmentation," Third International Conference on Image and Graphics (ICIG'04), 2004.

[13] C. I. Collewet, "Polar snakes: A fast and robust parametric active contour mode," 2009 16th IEEE International Conference on Image Processing (ICIP), 2009.

[14] T. F. Chan and L. A. Vese, "Active contours without edges," IEEE Transactions on Image Processing, vol. 10(2):, pp. 266-277, 2001.

[15] J. M. Rubin, R. S. Adler and J. B. Fowlkes et al, "Fractional moving blood volume: estimation with power Doppler," US. Radiology, vol. 197, pp. 183-90., 1995.

[16] P.-L. Yen, H.-K. Wu and H.-S. Tseng et al, "Vascular morphologic information of three-dimensional power Doppler ultrasound is valuable in the classification of breast lesions," Clinical Imaging, vol. 36, pp. 267-71, 2012.

[17] P. Looney, G. N. Stevenson and S. L. Collins, "3D ultrasound file reading and coordinate transformations," Journal of Open Source Software, vol. 4, p. 1063, 2019.

[18] F. Sur, "An a-contrario approach to quasi-periodic noise removal," 2015 IEEE International Conference on Image Processing (ICIP), 2015.

Claims (17)

1. 초음파 이미지 내 기준 혈관을 자동으로 식별하는 컴퓨터 구현 방법으로서,
   상기 컴퓨터 구현 방법은,
   상기 이미지를 세그먼트화하여 기관를 식별하는 단계;
   상기 기관에 특정한 사전에 결정된 해부학적 랜드마크를 찾아내는 단계;
   상기 기관에 대한 적절한 맥관구조를 식별하는 단계; 및
   상기 사전에 결정된 크기 범위 내 크기 및 상기 사전에 결정된 해부학적 랜드마크로부터 사전에 결정된 거리 범위를 지니는 위치를 지니는 기준 혈관을 상기 맥관 구조로부터 선택하는 단계;
   를 포함하는, 초음파 이미지 내 기준 혈관을 자동으로 식별하는 컴퓨터 구현 방법.
2. 제1항에 있어서,
   상기 사전에 결정된 크기 범위는 직경이 3mm보다 큰 것인, 초음파 이미지 내 기준 혈관을 자동으로 식별하는 컴퓨터 구현 방법.
3. 제1항 또는 제2항에 있어서,
   세그먼트화하는 것은 훈련된 완전 합성곱 신경망(trained fully convolutional network)을 사용하는 것을 포함하는, 초음파 이미지 내 기준 혈관을 자동으로 식별하는 컴퓨터 구현 방법.
4. 제1항 내지 제3항 중 어느 한 항에 있어서,
   찾아내는 것은 다중-클래스 전이 학습 모델을 사용하는 것을 포함하는, 초음파 이미지 내 기준 혈관을 자동으로 식별하는 컴퓨터 구현 방법.
5. 제4항에 있어서,
   상기 다중-클래스 전이 학습 모델은 세그먼트 모델을 사용하여 초기화된 매개변수들을 지니는 제1 경로 및 분산 스케일링을 사용하여 초기화된 매개변수들을 지니는 제2 경로를 구비하는 2개의 독립적인 경로를 포함하는, 초음파 이미지 내 기준 혈관을 자동으로 식별하는 컴퓨터 구현 방법.
6. 제1항 내지 제5항 중 어느 한 항에 있어서,
   식별하는 것은 자동화된 다중 시드 영역 성장 기반 프로세스(automated multi-seed region growing based process)를 사용하는 것을 포함하는, 초음파 이미지 내 기준 혈관을 자동으로 식별하는 컴퓨터 구현 방법.
7. 제6항에 있어서,
   식별하는 것은 상기 자동화된 다중 시드 영역 성장 기반 프로세스의 출력에 대해 3D 중심 축 기반 세선화 프로세스(3D medial axis based thinning process)를 사용하는 것을 추가로 포함하는, 초음파 이미지 내 기준 혈관을 자동으로 식별하는 컴퓨터 구현 방법.
8. 제1항 내지 제7항 중 어느 한 항에 있어서,
   상기 기관은 태반(placenta)이고 바람직하게는 상기 해부학적 랜드마크는 자궁-태반 인터페이스인, 초음파 이미지 내 기준 혈관을 자동으로 식별하는 컴퓨터 구현 방법.
9. 제8항에 있어서,
   상기 사전에 결정된 거리 범위는 약 0.5cm 내지 약 1.5cm인 것인, 초음파 이미지 내 기준 혈관을 자동으로 식별하는 컴퓨터 구현 방법.
10. 기관의 출력 도플러 이미지 내 혈류를 매핑(mapping)하는 컴퓨터 구현 방법으로서, 상기 컴퓨터 구현 방법은,
    제1항 내지 제9항 중 어느 한 항의 방법을 사용하여 상기 출력 도플러 이미지 내 기준 혈관을 식별하는 단계;
    상기 기준 혈관으로부터 기준 출력 도플러 값을 결정하는 단계; 및
    상기 기준 출력 도플러 값에 기초하여 상기 출력 도플러 이미지 내 출력 도플러 값들을 스케일링하여 표준화된 혈류 이미지를 획득하는 단계;
    를 포함하는, 기관의 출력 도플러 이미지 내 혈류를 매핑하는 컴퓨터 구현 방법.
11. 제10항에 있어서,
    결정하는 것은 모델 혈관 프로파일을 상기 기준 혈관에 피팅(fitting)하는 것과 높은 전단 혈관 마진(high shear vessel margin) 내에 속하지 않는 표준화 포인트를 결정하는 것을 포함하는, 기관의 출력 도플러 이미지 내 혈류를 매핑하는 컴퓨터 구현 방법.
12. 제11항에 있어서,
    모델 혈관 프로파일을 피팅하는 것은 국소 최대 강도 포인트를 검출하는 것과 영역 성장 방법(region growing method)을 사용하여 모든 내부 강도가 임계값보다 큰 초기 혈관 영역을 획득하는 것을 포함하는, 기관의 출력 도플러 이미지 내 혈류를 매핑하는 컴퓨터 구현 방법.
13. 제12항에 있어서,
    상기 컴퓨터 구현 방법은,
    비용 함수를 최소화하기 위해 반복 경사 하강 기법(iterative gradient descent technique)을 적용하는 단계;
    를 더 포함하는, 기관의 출력 도플러 이미지 내 혈류를 매핑하는 컴퓨터 구현 방법.
14. 기관 내 분획 이동 혈액량(fractional moving blood volume)을 결정하는 컴퓨터 구현 방법으로서,
    상기 컴퓨터 구현 방법은,
    상기 기관의 출력 도플러 이미지를 획득하는 단계;
    상기 출력 도플러 이미지 내 혈류를 매핑하여 제10항 내지 제13항 중 어느 한 항의 방법으로 표준화된 혈류 이미지를 획득하는 단계; 및
    상기 표준화된 혈류 이미지를 사용하여 분획 이동 혈액량을 결정하는 단계;
    를 포함하는, 기관 내 분획 이동 혈액량을 결정하는 컴퓨터 구현 방법.
15. 유해 자간전증 결과(adverse pregnancy outcomes)의 위험을 계산하는 컴퓨터 구현 방법으로서,
    상기 컴퓨터 구현 방법은,
    제14항의 방법에 따라 피험자의 태반 내 분획 이동 혈액량을 결정하는 단계;
    피험자의 태반 체적을 측정하는 단계; 및
    상기 분획 이동 혈액량 및 상기 태반 체적에 적어도 부분적으로 기초하여 위험 점수(risk score)를 계산하는 단계;
    를 포함하는, 유해 자간전증 결과의 위험을 계산하는 컴퓨터 구현 방법.
16. 컴퓨터 시스템에 의해 실행될 때 상기 컴퓨터 시스템에 제1항 내지 제15항 중 어느 한 항에 따른 방법을 수행할 것을 명령하는 명령어들을 포함하는 컴퓨터 프로그램.
17. 제1항 내지 제15항 중 어느 한 항에 따른 방법을 수행하도록 구성된 컴퓨터 제어 시스템을 포함하는 초음파 스캐너.

Images