KR102483122B1 - 태아 신경계의 질환을 결정하기 위한 시스템 및 방법 - Google Patents

태아 신경계의 질환을 결정하기 위한 시스템 및 방법 Download PDF

Info

Publication number
KR102483122B1
KR102483122B1 KR1020200040550A KR20200040550A KR102483122B1 KR 102483122 B1 KR102483122 B1 KR 102483122B1 KR 1020200040550 A KR1020200040550 A KR 1020200040550A KR 20200040550 A KR20200040550 A KR 20200040550A KR 102483122 B1 KR102483122 B1 KR 102483122B1
Authority
KR
South Korea
Prior art keywords
scan plane
ttp
optimal
deep learning
plane
Prior art date
Application number
KR1020200040550A
Other languages
English (en)
Other versions
KR20200117896A (ko
Inventor
묵허지 수바딥
벤카타라마니 라훌
고그나 아누프리야
안젠그루버 스테판
Original Assignee
제너럴 일렉트릭 캄파니
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 제너럴 일렉트릭 캄파니 filed Critical 제너럴 일렉트릭 캄파니
Publication of KR20200117896A publication Critical patent/KR20200117896A/ko
Application granted granted Critical
Publication of KR102483122B1 publication Critical patent/KR102483122B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1072—Measuring physical dimensions, e.g. size of the entire body or parts thereof measuring distances on the body, e.g. measuring length, height or thickness
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1075—Measuring physical dimensions, e.g. size of the entire body or parts thereof for measuring dimensions by non-invasive methods, e.g. for determining thickness of tissue layer
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/40—Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4058—Detecting, measuring or recording for evaluating the nervous system for evaluating the central nervous system
    • A61B5/4064—Evaluating the brain
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/43—Detecting, measuring or recording for evaluating the reproductive systems
    • A61B5/4306—Detecting, measuring or recording for evaluating the reproductive systems for evaluating the female reproductive systems, e.g. gynaecological evaluations
    • A61B5/4343—Pregnancy and labour monitoring, e.g. for labour onset detection
    • A61B5/4362—Assessing foetal parameters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0808—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of the brain
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0866—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving foetal diagnosis; pre-natal or peri-natal diagnosis of the baby
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48—Diagnostic techniques
    • A61B8/483—Diagnostic techniques involving the acquisition of a 3D volume of data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/523—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for generating planar views from image data in a user selectable plane not corresponding to the acquisition plane
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G06N3/0427—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0454—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/02—Foetus
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • A61B2576/02—Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part
    • A61B2576/026—Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part for the brain
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1079—Measuring physical dimensions, e.g. size of the entire body or parts thereof using optical or photographic means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A61B5/344—Foetal cardiography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/743—Displaying an image simultaneously with additional graphical information, e.g. symbols, charts, function plots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A61B8/466—Displaying means of special interest adapted to display 3D data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Pregnancy & Childbirth (AREA)
  • Gynecology & Obstetrics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Neurology (AREA)
  • Physiology (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Reproductive Health (AREA)
  • Pediatric Medicine (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)

Abstract

신경계 질환을 결정하기 위한 방법은 가이드형 스캐닝 절차(guided scanning procedure) 동안 제1 딥 러닝 네트워크(deep learning network)를 사용하여 모체 대상체의 복수의 평면들 중 제1 스캔 평면의 추정치를 획득하는 단계를 포함한다. 본 방법은 초기 추정치에 대응하는 3차원(3D) 초음파 볼륨(ultrasound volume)을 수신하는 단계 및 제1 딥 러닝 네트워크로부터 최적의 제1 스캔 평면을 결정하는 단계를 추가로 포함한다. 본 방법은 최적의 제1 스캔 평면 및 제2 딥 러닝 네트워크를 사용하여 복수의 평면들에 대응하는 임상적 제한들 중 적어도 하나에 기초하여, 복수의 평면들 중 제2 스캔 평면, 제3 스캔 평면 및 제4 스캔 평면 중 적어도 하나를 결정하는 단계를 추가로 포함한다. 본 방법은 제3 딥 러닝 네트워크를 사용하여 복수의 평면들 중 적어도 하나에 기초한 신경계에 대응하는 생체측정 파라미터를 결정하는 단계를 포함한다.

Description

태아 신경계의 질환을 결정하기 위한 시스템 및 방법{SYSTEM AND METHOD FOR DETERMINING CONDITION OF FETAL NERVOUS SYSTEM}
본 명세서의 실시예들은 대체적으로 초음파 이미징에 관한 것이며, 더 구체적으로는, 진단 목적을 위해 효율적인 방식으로 스캐닝 데이터를 획득하고 획득된 스캐닝 데이터를 프로세싱하는 시스템들 및 방법들에 관한 것이다. 본 명세서의 실시예들은 태아 신경계의 질환을 사정(assess)하는 맥락에서 설명된다.
전형적으로, 초음파 이미징 기법은 인체 내의 결정된 부분, 예를 들어 태아(fetus), 신장 등을 향한 초음파 빔의 방출을 포함하며, 반사된 빔은 혈류 또는 연조직의 섹션과 연관된 이미지를 획득하기 위해 프로세싱된다. 초음파 시스템은 소형이고, 비싸지 않고, 실시간으로 디스플레이가능하고, 대상체가 X-선 및 다른 유해 방사선들에 노출되지 않기 때문에 안전하다는 이점들을 갖는다.
초음파 이미지 기법은 임신 동안 태아의 건강을 결정하는 데 통상 사용된다. 구체적으로, 태아에서의 염색체 이상(chromosomal abnormality)은, 대체적으로, 태아의 목 투명대(nuchal translucency, NT)의 두께와 같은 기하구조 파라미터를 측정함으로써 식별된다. 두꺼운 NT의 존재는 다운증후군, 또는 다른 염색체 이상, 예컨대 심장 기형 또는 터너증후군을 결정한다. 초음파 이미징을 사용하여 다양한 기하구조 파라미터들을 측정함으로써 동일한 염색체 이상이 또한 결정될 수 있다. 태아에서 다운증후군을 식별하는 경우, 구개(palate)와 콧등(dorsum nasi) 사이의 각도, 즉 전방 상악 안면(front maxillary facial, FMF) 각도가 측정될 수 있다. 대안으로, 다운증후군은 또한 양두정경(biparietal diameter, BPD), 머리 둘레(head circumference, HC), 복부 둘레(abdominal circumference, AC), 대퇴골 길이(femur length, FL) 등을 측정한 것에 기초하여 결정될 수 있다. 임신 나이 및 태아 체중은 측정된 기하구조 파라미터들에 기초하여 추정될 수 있다.
태아의 기하구조 파라미터들의 측정은 초음파 데이터로부터 정확한 시상면, 횡단면 및 다른 표준 스캔 평면 뷰들을 획득하는 것을 필요로 한다. 통상적으로, 스캔 평면 뷰들은 의사의 경험에 기초하여 결정된다. 결과적으로, 태아의 NT의 측정된 두께 또는 구개와 콧등 사이의 FMF 각도가 약간의 오차들을 가질 수 있고 실제 값들과는 상이할 수 있다는 것은 타당하다. 이에 의해, 정확한 진단을 행하는 데 어려움을 초래한다. 때때로, 스캔 평면들 및 대응하는 기하구조 파라미터들을 결정하는 데 있어서 반자동화된 기법들이 채용되며, 여기서 태아 건강의 사정을 완료하는 데 인간의 개입이 요구된다. 그러나, 그러한 기법들은 환자들의 해부학적 구조물(anatomy)의 가변성뿐만 아니라 조작자에 의해 도입되는 변화들에 의한 영향을 받는다.
본 명세서의 일 태양에 따르면, 방법이 개시된다. 본 방법은, 가이드형 스캐닝 절차 동안 제1 딥 러닝 네트워크를 사용하여 모계 대상체의 태아에 대응하는 제1 스캔 평면의 초기 추정치를 획득하는 단계를 포함한다. 스캔 평면은 시상경유면(trans thalamic plane, TTP), 뇌실경유면(trans-ventricular plane, TVP), 정중시상면(mid-sagittal plane, MSP) 및/또는 소뇌경유면(trans-cerebellar plane, TCP) 중 하나의 평면을 포함한다. 본 방법은, 제1 스캔 평면의 초기 추정치에 대응하는 태아의 3차원(3D) 초음파 볼륨을 수신하는 단계를 추가로 포함한다. 본 방법은, 또한, 3D 초음파 볼륨 및 제1 스캔 평면의 초기 추정치에 기초하여 제1 딥 러닝 네트워크로부터 최적의 제1 스캔 평면을 결정하는 단계를 포함한다. 본 방법은, 대응하는 제2 딥 러닝 네트워크를 사용하여 3D 초음파 볼륨, 최적의 제1 스캔 평면, 및 TTP, TVP, MSP, 및/또는 TCP에 대응하는 임상적 제한 중 적어도 하나에 기초하여 제2 스캔 평면, 제3 스캔 평면, 및/또는 제4 스캔 평면 중 적어도 하나를 결정하는 단계를 추가로 포함한다. 제2 스캔 평면, 제3 스캔 평면, 및 제4 스캔 평면 각각은 TTP, TVP, MSP, 및/또는 TCP 중 하나를 포함하고, 제1 스캔 평면과는 명백하게 상이하다. 본 방법은, 제3 딥 러닝 네트워크를 사용하여 제1 스캔 평면, 제2 스캔 평면, 제3 스캔 평면, 및/또는 제4 스캔 평면 중 적어도 하나 및 임상적 제한에 기초하여 태아의 신경계에 대응하는 생체측정 파라미터를 결정하는 단계를 포함한다. 본 방법은, 또한, 생체측정 파라미터에 기초하여 태아의 신경계 질환을 결정하는 단계를 포함한다.
본 명세서의 다른 태양에 따르면, 시스템이 개시된다. 본 시스템은, 가이드형 스캐닝 절차 동안 제1 딥 러닝 네트워크를 사용하여 모계 대상체의 태아에 대응하는 제1 스캔 평면의 초기 추정치를 획득하도록 구성된 초음파 스캐닝 프로브를 포함한다. 스캔 평면은 시상경유면(TTP), 뇌실경유면(TVP), 정중시상면(MSP) 및/또는 소뇌경유면(TCP) 중 하나의 평면을 포함한다. 본 시스템은, 초음파 프로브에 통신가능하게 커플링되고, 초음파 스캐닝 프로브에 의해 획득된 스캔 데이터를 수신하도록 구성된 데이터 획득 유닛을 추가로 포함한다. 본 시스템은, 또한, 데이터 획득 유닛에 통신가능하게 커플링되고, 데이터 획득 유닛으로부터, 제1 스캔 평면의 초기 추정치에 대응하는 태아의 3차원(3D) 초음파 볼륨을 수신하도록 구성된 학습 유닛을 포함한다. 학습 유닛은, 3D 초음파 볼륨 및 제1 스캔 평면의 초기 추정치에 기초하여 제1 딥 러닝 네트워크로부터 최적의 스캔 평면을 결정하도록 추가로 구성된다. 학습 유닛은, 또한, 대응하는 제2 딥 러닝 네트워크를 사용하여 3D 초음파 볼륨, 최적의 제1 스캔 평면, 및 TTP, TVP, MSP, 및/또는 TCP에 대응하는 임상적 제한 중 적어도 하나에 기초하여 제2 스캔 평면, 제3 스캔 평면, 및/또는 제4 스캔 평면 중 적어도 하나를 결정하도록 구성된다. 제2 스캔 평면, 제3 스캔 평면, 및/또는 제4 스캔 평면 각각은 TTP, TVP, MSP, 및/또는 TCP 중 하나를 포함하고, 제1 스캔 평면과는 명백하게 상이하다. 학습 유닛은, 또한, 제3 딥 러닝 네트워크를 사용하여 제1 스캔 평면, 제2 스캔 평면, 제3 스캔 평면, 및/또는 제4 스캔 평면 중 적어도 하나 및 임상적 제한에 기초하여 태아의 신경계에 대응하는 생체측정 파라미터를 결정하도록 구성된다. 본 시스템은, 또한, 학습 유닛에 통신가능하게 커플링되고, 생체측정 파라미터에 기초하여 태아의 신경계 질환을 결정하도록 구성된 진단 유닛을 포함한다.
비일시적 컴퓨터 판독가능 매체는 명령어들을 가지며, 명령어들은, 적어도 하나의 프로세서 유닛이, 가이드형 스캐닝 절차 동안 제1 딥 러닝 네트워크를 사용하여 모계 대상체의 태아에 대응하는 제1 스캔 평면의 초기 추정치를 획득할 수 있게 한다. 스캔 평면은 시상경유면(TTP), 뇌실경유면(TVP), 정중시상면(MSP) 및/또는 소뇌경유면(TCP) 중 하나의 평면을 포함한다. 명령어들은, 또한, 적어도 하나의 프로세서가 제1 스캔 평면의 초기 추정치에 대응하는 태아의 3차원(3D) 초음파 볼륨을 수신할 수 있게 한다. 추가로, 명령어들은, 또한, 적어도 하나의 프로세서가, 3D 초음파 볼륨 및 제1 스캔 평면의 초기 추정치에 기초하여 제1 딥 러닝 네트워크로부터 최적의 스캔 평면을 결정할 수 있게 하고, 대응하는 제2 딥 러닝 네트워크를 사용하여 3D 초음파 볼륨, 최적의 제1 스캔 평면, 및 TTP, TVP, MSP 및/또는 TCP에 대응하는 임상적 제한 중 적어도 하나에 기초하여 제2 스캔 평면, 제3 스캔 평면, 및/또는 제4 스캔 평면 중 적어도 하나를 결정할 수 있게 한다. 제2 스캔 평면, 제3 스캔 평면, 및/또는 제4 스캔 평면 각각은 TTP, TVP, MSP, 및/또는 TCP 중 하나를 포함하고, 제1 스캔 평면과는 명백하게 상이하다. 명령어들은, 추가로, 적어도 하나의 프로세서가, 제3 딥 러닝 네트워크를 사용하여 제1 스캔 평면, 제2 스캔 평면, 제3 스캔 평면, 및/또는 제4 스캔 평면 중 적어도 하나 및 임상적 제한에 기초하여 태아의 신경계에 대응하는 생체측정 파라미터를 결정할 수 있게 하고, 생체측정 파라미터에 기초하여 태아의 신경계 질환을 결정할 수 있게 한다.
본 발명의 실시예들의 이들 및 다른 특징부들 및 태양들은 첨부 도면을 참조하여 하기의 상세한 설명을 읽을 때 더 잘 이해될 것이며, 첨부 도면에서 유사한 부호들은 도면 전체에 걸쳐서 유사한 부분들을 표현한다.
도 1은 예시적인 실시예에 따른, 태아의 신경계 질환을 결정하기 위한 시스템의 개략도이다.
도 2는 예시적인 실시예에 따른, 시상경유면(TTP)의 선택을 예시한 이미지이다.
도 3a 내지 도 3c는 예시적인 실시예에 따른, 태아 뇌의 스캔 평면들의 선택을 예시한 이미지들이다.
도 4는 예시적인 실시예에 따른, 뇌실경유면(TVP)의 선택을 예시한 이미지이다.
도 5는 예시적인 실시예에 따른, 소뇌경유면(TCP)의 선택을 예시한 이미지이다.
도 6은 예시적인 실시예에 따른, 태아의 신경계의 질환을 결정하기 위한 작업흐름의 개략도이다.
도 7은 예시적인 실시예에 따른, 태아의 신경계의 질환을 결정하기 위한 방법의 흐름도이다.
이하에서 상세히 기술되는 바와 같이, 초음파 이미징을 위한 시스템들 및 방법들이 제공된다. 보다 구체적으로, 시스템들 및 방법들은 조작자가 진단 목적을 위해 효율적인 방식으로 스캐닝 데이터를 획득할 수 있게 하도록 구성된다. 본 명세서의 실시예들은 3차원(3D) 초음파 이미지 데이터세트를 사용한 태아 신경계의 사정의 맥락에서 설명된다.
용어들 "시상면(sagittal plane)", "관상면(coronal plane)" 및 "가로면(transverse plane)"은 각각 대상체의 3차원 해부학적 구조물에서 외측면, 이마면 및 축면을 지칭한다. 시상면은 신체를 좌측 부분 및 우측 부분으로 분할하고, 관상면은 신체를 전방 부분 및 후방 부분으로 분할하고, 가로면은 신체를 상부 부분 및 하부 부분으로 분할한다. 후방 부분은 "등 부분(dorsal portion)" 또는 "뒷부분(posterior portion)"으로도 지칭되고, 전방 부분은 "배 부분(ventral portion)" 또는 "앞부분(anterior portion)"으로도 지칭된다. 신체를 동등한 좌측 부분 및 우측 부분으로 분할하는 시상면은 '정중시상면'으로 지칭되고, MSP로 약칭된다. 상부 부분은 "윗부분(superior portion)" 또는 "두개 부분(cranial portion)"으로 지칭되고, 하부 부분은 "아랫부분(inferior portion)" 또는 "꼬리 부분(caudal portion)"으로도 지칭된다. 용어 "경유(trans)"는, 대체적으로, 해부학적 구조물과 연관된 평면을 참조하기 위해 관심 기관의 3D 볼륨으로 해부학적 구조물과 함께 사용된다. 예를 들어, 본 명세서에서 TVP로 약칭되는 용어 "뇌실경유면"은 측뇌실(lateral ventricle)들의 앞부분 및 뒷부분을 포함한다. 측뇌실들의 앞부분(이마뿔 또는 앞뿔)은 2개의 콤마 형상(comma-shaped) 유체 충전 구조물들로서 보이고, 명확한 측벽(well-defined lateral wall)을 가지며, 투명중격강(cavum septi pellucidi, CSP)에 의해 내측에서 분리된다. TTP로 약칭되는 용어 "시상경유면"은 시상(thalami) 및 해마 이랑(hyppocampal gyrus)을 포함한다. TCP로 약칭되는 용어 "소뇌경유면"은 소뇌 부분 및 대수조(cisterna magna)와 관련된다. 용어 "정중시상면"은 시상 봉합(sagittal suture)을 따르는 평면을 지칭한다. 용어 "방시상면(para sagittal plane)"은, 신체를 좌측 부분 및 우측 부분으로 분할하고 시상면에 평행한 평면을 지칭한다. 때때로, 용어 "방시상면"은, 또한, 시상면으로부터 비스듬하게 분리된 평면을 지칭한다. 용어 "태아 초음파검사(fetal sonography)"는 축면 및 시상면을 따라서 획득된 초음파 이미지들을 사용한 태아의 중추신경계(central nervous system, CNS)의 질환들의 평가를 지칭하는 데 사용된다.
도 1은 대상체(106)와 관련된 의학적 질환을 결정하기 위한 초음파 스캐너(100)의 개략도이다. 특정 예에서, 대상체(106)는, 예를 들어 태아 초음파검사를 통해, 태아 건강을 사정하기 위해, 태아 뇌의 발육을 모니터링하기 위해, 또는 둘 모두를 위해, 임신 기간 중 3개월(trimester pregnancy) 동안 평가되는 임신 중인 여성일 수 있다. 초음파 스캐닝은 본 명세서의 예시적인 실시예들에 따른, 태아의 중추신경계(CNS)의 질환들의 평가를 위해 사용된다. 초음파 스캐너(100)는, 대상체(106)를 검사하기 위해 그리고 대체적으로 도면 부호 102로 표현되는 초음파 스캐닝 데이터를 생성하기 위해, 조작자(104)에 의해 사용되는 초음파 스캐닝 프로브(108)를 포함한다. 초음파 스캐너(100)는, 초음파 스캐닝 프로브(108)에 통신가능하게 커플링되고 초음파 스캐닝 데이터(102)를 수신하도록 구성된 데이터 프로세싱 시스템(114)을 추가로 포함한다. 데이터 프로세싱 시스템(114)은, 초음파 스캐닝 데이터(102)에 기초하여, 대체적으로 도면 부호 110으로 표현되는 출력 데이터를 생성하도록 추가로 구성된다. 일 실시예에서, 출력 데이터(110)는 스캐닝 동작에 대한 수정들 또는 조정들을 행하여 스캐닝 동작이 더 정확하게 수행될 수 있게 하기 위한, 조작자(104)에게로의 피드백의 형태의 것일 수 있다. 다른 실시예에서, 출력 데이터(110)는 조작자(104)에게 제시가능한 이미지 데이터일 수 있다. 또 다른 실시예에서, 출력 데이터(110)는 대상체(106)의 관심 기관의 진단 상태에 대응하는 진단 정보일 수 있다. 하나의 비제한적인 예에서, 진단 상태는 태아 중추신경계의 발육부전(underdevelopment) 또는 불완전한 발육을 표현하는 형성부전(hypoplasia) 질환일 수 있다. 다른 비제한적인 예에서, 진단 상태는 태아 중추신경계의 이형 발육(anomalistic development)을 표현하는 형성장애(dysplasia) 질환일 수 있다. 초음파 스캐너(100)는, 또한, 조작자(104)에게 출력 데이터(110)를 제시하기 위한 출력 디바이스(112)를 포함한다. 출력 디바이스(112)는 모니터, 스피커, 촉각 디바이스, 또는 다른 디바이스들을 포함할 수 있다.
예시된 실시예에서, 데이터 프로세싱 시스템(114)은 통신 버스(126)를 통해 서로 커플링되는 데이터 획득 유닛(116), 학습 유닛(118), 진단 유닛(120), 메모리 유닛(122), 및 프로세서 유닛(124)을 포함한다. 일 실시예에서, 유닛들(116, 118, 120, 122, 124) 각각은 프로세서 또는 제어기와 같은 적어도 하나의 프로세싱 요소, 하나 이상의 메모리 칩들, 개개의 유닛에 의해 요구되는 입력 데이터를 수신하기 위한 적어도 하나의 입력 리드(lead), 및 개개의 유닛으로부터의 출력 데이터를 하나 이상의 다른 유닛들 또는 디바이스들에 제공하기 위한 적어도 하나의 출력 리드를 포함할 수 있다. 또한, 유닛들(116, 118, 120, 122, 124) 각각은 다른 유닛들, 초음파 스캐닝 프로브(108), 출력 디바이스(110), 및 대체적으로 도면 부호 128로 표현되는 사용자 입력 중 하나 이상과 인터페이싱하기 위한 회로부를 추가로 포함할 수 있다.
예시적인 실시예에서, 초음파 스캐닝 프로브(108)는, 가이드형 스캐닝 절차에서 모계 대상체의 태아에 대응하는 제1 스캔 평면의 초기 추정치를 획득하도록 구성된다. 학습 유닛(118)은 조작자가 초기 추정치를 획득하고 있는 동안 가이던스(guidance)를 제공하도록 구성된다. 제1 스캔 평면은 MSP, TTP, TVP 및 TCP 중 하나를 포함한다. 학습 유닛(118)은 입력으로서 평면 타입을 수신하도록, 그리고 초음파 스캐닝 프로브가 모계 대상체를 검사하는 동안 이동됨에 따라 특정된 스캔 평면의 품질을 추정하도록 구성된다. 조작자는 추정된 품질에 기초하여 또는 그의/그녀의 경험에 기초하여 또는 둘 모두에 기초하여 특정된 스캔 평면의 양호한 추정치를 제1 스캔 평면으로서 식별하는 것이 가능해진다. 또한, 초음파 스캐닝 프로브(108)는 반자동 방식으로 또는 완전히 자동 방식으로 제1 스캔 평면의 초기 추정치에 대응하는 3차원(3D) 초음파 볼륨을 획득하도록 구성된다. 획득된 3D 초음파 볼륨은 본 명세서에서 '초음파 스캐닝 데이터'로 지칭된다.
데이터 획득 유닛(116)은 초음파 스캐닝 프로브(108)에 통신가능하게 커플링되고, 초음파 스캐닝 데이터(102)를 수신하도록 구성된다. 초음파 스캐닝 데이터(102)는 모계 대상체의 태아에 대응하는 3D 초음파 볼륨을 포함한다. 데이터 획득 유닛(116)은, 초음파 스캐닝 프로브(108)와 인터페이싱하고 초음파 스캐닝 데이터(102)를 이미지 프레임들로서 해석하기 위한 필수 회로부를 포함할 수 있다. 데이터 획득 유닛(116)은, 또한, 키보드 또는 터치 디스플레이와 같은, 그러나 이로 제한되지 않는 조작자 콘솔로부터 사용자 입력(128)을 수신하도록 구성된다. 데이터 획득 유닛(116)은, 또한, 초음파 스캐닝 데이터(102)를 메모리 유닛(122)으로 전달하도록 그리고 이력 데이터를 메모리 유닛(122)으로부터 취출(retrieve)하도록 구성된다. 데이터 획득 유닛(116)은, 또한, 초음파 스캐닝 프로브(108)로부터 제1 스캔 평면의 초기 추정치를 수신하도록 구성된다.
학습 유닛(118)은 데이터 획득 유닛(116)에 통신가능하게 커플링되고, 제1 스캔 평면의 초기 추정치를 수신하도록 구성된다. 학습 유닛(118)은 하나 이상의 학습 네트워크들, 및 스캔 평면들, 스캐닝 평면들과 연관된 생체측정 파라미터들, 및 신경계 질환들을 학습 및 추정하도록 구성된 기계 학습 모듈들을 포함한다. 일 실시예에서, 학습 유닛(118)은 조작자가 제1 스캔 평면의 양호한 초기 추정치를 선택하는 것을 돕도록 구성된다. 학습 유닛(118)은 초음파 프로브(108)에 의해 획득된 스캔 평면의 품질 표시자를 제공하기 위해 제1 딥 러닝 네트워크를 채용한다. 추가로, 학습 유닛(118)은, 또한, 초기 추정치에 기초하여 제1 스캔 평면 후보들로서 제1 스캔 평면의 복수의 추정치들을 생성하도록 구성된다. 제1 스캔 평면의 초기 추정치의 평면 파라미터들은 복수의 제1 스캔 평면 후보들의 평면 파라미터들을 생성하기 위해 사전결정된 범위의 값들 내에서 변화된다. 학습 유닛(118)은 제1 딥 러닝 네트워크를 사용하여 복수의 제1 스캔 평면 후보들로부터 최적의 제1 스캔 평면 후보를 결정하도록 추가로 구성된다. 구체적으로, 제1 딥 러닝 네트워크는, 복수의 제1 스캔 평면 후보들 각각에 대응하는 품질 스코어를 결정하도록 그리고 복수의 품질 스코어들을 생성하도록 구성된다. 추가로, 복수의 품질 스코어들 중 최소 스코어가 결정될 수 있다. 일 실시예에서, 학습 유닛(118)은 최소 스코어에 대응하는 복수의 제1 스캔 평면 후보들 중 제1 스캔 평면 후보를 선택하도록 구성된다. 학습 유닛(118)은, 또한, 대응하는 제2 딥 러닝 네트워크를 사용하여 3D 초음파 볼륨 및 최적의 제1 스캔 평면에 기초하여 제2 스캔 평면, 제3 스캔 평면, 및 제4 스캔 평면 중 적어도 하나를 결정하도록 구성된다. 제2 스캔 평면, 제3 스캔 평면, 및 제4 스캔 평면 각각은 MSP, TTP, TVP 및/또는 TCP중 하나이고, 제1 스캔 평면과는 명백하게 상이하다. 본 명세서에서, 제1 스캔 평면, 제2 스캔 평면, 제3 스캔 평면 및/또는 제4 스캔 평면 각각은 MSP, TTP, TVP 및/또는 TCP에 고유하게 맵핑된다는 것에 유의할 수 있다. 제2 학습 네트워크에 의한 평면들의 결정은 실제로 사용되는 특정된 임상 가이드라인들에 기초한다. 임상 가이드라인들의 일례로서, MSP는 모계 대상체 내의 해부학적 구조물 또는 해부학적 구조물과 관련된 기하학적 속성들에 기초하여 결정된다. 임상 가이드라인들의 다른 예로서, MSP는, TTP에 직교하도록 그리고 TVP에 평행하도록 제한된다. 임상 가이드라인들의 또 다른 예로서, TCP는, MSP에 직교하도록 그리고 TTP에 평행하도록 제한된다. 유사하게, 임상 가이드라인은, 또한, TVP를 TCP에 평행하도록 제한한다는 것에 유의할 수 있다.
제1 실시예에서, 제1 스캔 평면은 TTP에 대응하고, 제2 평면은 정중시상면(MSP)에 대응하고, 제3 스캔 평면은 소뇌경유면(TCP)에 대응하고, 제4 스캔 평면은 뇌실경유면(TVP)에 대응한다. 제2 실시예에서, 제1 스캔 평면은 TVP에 대응하고, 제2 스캔 평면은 TTP에 대응하고, 제3 스캔 평면은 MSP에 대응하고, 제4 스캔 평면은 TCP에 대응한다. 제3 실시예에서, 제1 스캔 평면은 TCP에 대응하고, 제2 스캔 평면은 MSP에 대응하고, 제3 스캔 평면은 TTP에 대응하고, 제4 스캔 평면은 TVP에 대응한다. 제4 실시예에서, 제1 스캔 평면은 MSP에 대응하고, 제2 스캔 평면은 TCP에 대응하고, 제3 스캔 평면은 TTP에 대응하고, 제4 스캔 평면은 TVP에 대응한다.
구체적으로, 제1 실시예에서, 학습 유닛(118)은 최적의 TTP를 세그먼트화하여, 세그먼트화된 최적의 TTP에 기초하여 두개골(cranium)의 중간선 및 TTP의 중간점을 검출하도록 구성된다. 학습 유닛(118)은, 또한, 두개골의 중간선에 기초하여 MSP에 대응하는 평면 파라미터 벡터를 결정하도록 구성된다. 학습 유닛(118)은 결정된 평면 파라미터로부터 MSP를 생성하도록 추가로 구성된다. 추가 실시예에서, 학습 유닛(118)은 TVP의 복수의 추정치들을 TVP 후보들로서 생성하도록 구성된다. 특정 실시예에서, 복수의 TVP 후보들은, 복수의 TVP 후보들 각각이 최적의 TTP에 평행하고 MSP에 직교하도록 최적의 TTP의 평면 파라미터들 및 MSP의 평면 파라미터들을 변화시킴으로써 생성된다. 그러한 실시예에서, 학습 유닛(118)은 최적의 TVP를 결정하도록 구성된 제2 딥 러닝 네트워크를 수신하도록 추가로 구성된다. 또한, 학습 유닛(118)은 제2 딥 러닝 네트워크에 의해 복수의 TVP 후보들을 프로세싱함으로써 최적의 TVP를 추정하도록 구성된다. 제2 딥 러닝 네트워크는 복수의 TVP 후보들에 대응하는 복수의 품질 스코어들을 생성하도록 구성된다. 복수의 품질 스코어들 각각은 3D 볼륨에서 원하는 TVP로 대응하는 TVP 후보의 근접성을 나타낸다. 복수의 품질 스코어들 중 최소 스코어가 학습 유닛(118)에 의해 선택되고, 대응하는 TVP 후보가 최적의 TVP로서 식별된다.
추가로, 제1 실시예에서, 학습 유닛(118)은 TCP의 복수의 추정치들을 TCP 후보들로서 생성하도록 구성된다. 복수의 TCP 후보들은 사전결정된 범위의 값들 내에서 최적의 MSP의 평면 파라미터들 및 최적의 TTP 파라미터들을 변화시킴으로써 생성될 수 있다. 복수의 TCP 후보들은, 복수의 TCP 후보들 각각이 최적의 MSP에 직교하거나 최적의 TTP에 대한 수직선에 대해 사전특정된 각도 스팬(angular span) 내의 각도로 배향되도록 생성된다. 추가로, 학습 유닛(118)은 제2 딥 러닝 네트워크를 사용하여 복수의 TCP 후보들을 프로세싱함으로써 최적의 TCP를 추정하도록 구성된다. 그러한 경우에, 제2 학습 네트워크는 최적의 TCP를 결정하도록 추가로 구성된다. 학습 유닛(118)은, 또한, 제3 딥 러닝 네트워크를 사용하여 MSP, TCP 및 TVP 중 적어도 하나 및 기하구조 제한에 기초하여 태아의 신경계에 대응하는 생체측정 파라미터를 결정하도록 구성된다. 일 실시예에서, 학습 유닛(118)은, 최적의 TTP, MSP, TCP 및 TVP 중 하나 이상에 기초하여 머리 둘레(HC), 양두정경(BPD), 후두전두경(occipito-frontal diameter, OFD), 소뇌경유 직경(trans-cerebellar diameter, TCD), 대수조(CM), 및 후방 뇌실(posterior ventricle, Vp) 중 적어도 하나를 결정하도록 구성된다.
진단 유닛(120)은 학습 유닛(118)에 통신가능하게 커플링되고, 생체측정 파라미터에 기초하여 태아의 신경계 질환을 결정하도록 구성된다. 도 1에서, 신경계 질환은 대체적으로 도면 부호 130으로 표현된다. 추가로, 진단 유닛(120)은 제4 딥 러닝 네트워크를 사용하여 객체 세그먼트화를 결정하도록 구성된다. 제4 딥 러닝 네트워크는 복수의 주석첨부된 이미지들을 사용하여 이미지 세그먼트화를 수행하도록 트레이닝된다. 대안으로, 제4 딥 러닝 네트워크는 세그먼트화 없이 해부학적 구조물의 위치(또는 존재)를 결정하도록 트레이닝될 수 있다. 구체적으로, 제4 딥 러닝 네트워크는 하나 이상의 병리학적 이미지들로부터 건강한 이미지들을 분류하는 랜드마크 검출 네트워크 또는 분류 네트워크를 사용하도록 트레이닝될 수 있다. 추가 실시예에서, 진단 유닛(120)은, 세그먼트화된 이미지 상의 위치를 식별하도록, 그리고 캘리퍼 배치 알고리즘(caliper placement algorithm)을 사용하여 자동화된 측정을 수행하도록 구성된다. 일 실시예에서, 진단 유닛(120)은, 생체측정 파라미터를 사전결정된 임계치와 비교하도록, 그리고 비교에 기초하여 진단 옵션을 선택하도록 구성된다. 일 실시예에서, 옵션은 신경계 질환 및 신경계 질환과 연관된 카테고리를 지칭한다. 추가로, 옵션은 신경계 질환을 디스플레이하는 것 및 디스플레이 디바이스 상에 카테고리를 프린트하는 것과 같은 액션을 포함할 수 있다.
제2 실시예에서, 학습 유닛(118)은 최적의 TVP를 제1 스캔 평면으로서 결정하도록 구성된다. 추가로, 학습 유닛(118)은 최적의 TVP에 평행한 복수의 TTP 후보들을 생성하도록 구성된다. 학습 유닛(118)은, 또한, TTP에서 겸상막(falx)으로부터 중간선을 추정하도록, 그리고 중간선을 통해 MSP를 직교로 배치하도록 구성된다. 학습 유닛(118)은 MSP에 직교하는 공간 내의 복수의 TCP 후보들을 결정하도록 구성된다. 학습 유닛(118)은 TCP를 결정하기 위해 병렬 시프트로 겸상막의 중간점을 중심으로 TTP로부터 약 35도 회전되는 평면을 결정하도록 구성된다.
제3 실시예에서, 학습 유닛(118)은 최적의 TCP를 제1 스캔 평면으로서 결정하도록 구성된다. 추가로, 학습 유닛(118)은 최적의 TCP에 평행한 복수의 MSP 후보들을 생성하도록 구성된다. 학습 유닛(118)은, 또한, TCP에서 겸상막으로부터 중간선을 추정하도록, 그리고 중간선을 통해 MSP를 직교로 배치하도록 구성된다. 학습 유닛(118)은 MSP에 직교하는 공간 내의 복수의 TTP 후보들을 결정하도록 구성된다. 학습 유닛(118)은 TTP를 결정하기 위해 병렬 시프트로 겸상막의 중간점을 중심으로 TCP로부터 약 35도 회전되는 평면을 결정하도록 구성된다. 학습 유닛(118)은, 또한, TTP에 평행하도록 TVP를 결정하도록 구성된다.
제4 실시예에서, 학습 유닛(118)은 최적의 MSP를 제1 스캔 평면으로서 결정하도록 구성된다. 추가로, 학습 유닛(118)은 복수의 평면들 중 해부학 기반 기법들 및 기하구조 제한들을 사용하여 TCP를 결정하도록 구성된다. 구체적으로, 일 실시예에서, 학습 유닛(118)은 최적의 MSP에 기초하여 소뇌 및 투명중격강 중 적어도 하나의 것의 위치들을 결정하도록 구성된다. 추가로, 복수의 TCP 후보들이 학습 유닛(118)에 의해 결정된다. 소뇌 및 투명중격강 중 적어도 하나에 직교하는 복수의 TCP 후보들 중의 평면은 필요한 TCP로 간주된다. 학습 유닛(118)은, 또한, TCP에 평행하고 TCP의 겸상막의 중간점을 중심으로 회전되는 TTP를 결정하도록 구성된다. 마지막으로, 학습 유닛(118)은, 또한, TCP에 평행한 TVP를 결정하도록 구성된다.
프로세서 유닛(124)은 메모리 유닛(122)에 통신가능하게 커플링되고, 데이터 획득 유닛(116), 학습 유닛(118) 및 진단 유닛(120)에 대한 제어 동작들을 수행하도록 구성된다. 프로세서 유닛은, 또한, 메모리 유닛(120)에서의/으로부터의 데이터의 저장 및 취출을 제어하도록 구성된다. 일부 실시예들에서, 프로세서 유닛(124)은, 또한, 데이터 획득 유닛(116), 학습 유닛(118) 및 진단 유닛(120)의 기능을 수행하는 것을 돕거나 기능을 수행할 수 있다. 프로세서 유닛(124)은 그래픽 프로세싱 유닛(GPU), 하나 이상의 마이크로프로세서들, 및 마이크로제어기를 포함한다. 프로세서 유닛(124)은 필드 프로그래밍가능 게이트 어레이(field programmable gate array, FPGA), 주문형 집적 회로(application specific integrated circuit, ASIC)와 같은, 그러나 이들로 제한되지 않는 특화된 회로부 또는 하드웨어를 추가로 포함한다. 프로세서 유닛(124)이 단일 프로세서로서 예시되어 있지만, 다수의 위치들에 공동위치되거나 분포되고 협력적으로 동작하도록 구성된 복수의 컴퓨팅 요소들이 사용될 수 있다. 대안의 실시예에서, 프로세서 유닛(124)은 클라우드 서비스 또는 서비스 메커니즘으로서의 임의의 다른 컴퓨테이션(computation)일 수 있다.
메모리 유닛(122)은 데이터 획득 유닛(116)에 통신가능하게 커플링되고, 초음파 스캐닝 데이터(102)를 저장하도록 구성된다. 추가로, 메모리 유닛(122)은, 또한, 스캐닝 동안 조작자에 의해 제공되는 사용자 입력(128), 또는 스캐닝 절차의 시작 시에 설정되는 초음파 스캐닝 파라미터들을 수신하도록 구성된다. 메모리 유닛(120)은, 학습 유닛(118)에 입력들을 제공하도록, 그리고 진단 유닛(120)에 출력들을 저장하도록 추가로 구성될 수 있다. 메모리 유닛(120)은 단일 메모리 저장 유닛, 또는 협력된 방식으로 작업하도록 함께 커플링된 복수의 더 작은 메모리 저장 유닛들일 수 있다. 일 실시예에서, 메모리 유닛(120)은 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 또는 플래시 메모리일 수 있다. 메모리 유닛(122)은, 또한, 디스크, 테이프, 또는 하드웨어 구동 기반 메모리 유닛을 포함할 수 있지만, 이로 제한되지 않는다. 메모리 유닛(122)의 일부는, 또한, 하드웨어 유닛으로서 또는 컴퓨테이션 및 저장 서비스들을 제공하는 클라우드 서비스로서 원격 위치에 배치될 수 있다는 것에 유의할 수 있다. 일 실시예에서, 메모리 유닛(122)에는 딥 러닝 모델들, 라벨링된 해부학 정보의 형태의 트레이닝 데이터, 및 이력 이미지 데이터가 사전로딩될 수 있다. 일부 실시예들에서, 트레이닝 데이터는 대상체들의 연령, 지역, 성별 및 의학적 질환들과 같은, 그러나 이들로 제한되지 않는 복수의 특질들로 라벨링될 수 있다.
도 2는 제1 실시예에 따른 시상경유면(TTP)의 선택을 예시한 이미지(200)이다. 이미지(200)는 초기 TTP 추정치를 사용하여 도 1의 학습 유닛(118)과 같은 학습 유닛에 의해 생성된 복수의 TTP 후보들(204)을 포함한다. 이미지(200)는, 또한, 복수의 TTP 후보들(204)로부터 선택된 TTP 후보(206)를 포함한다. TTP 후보(206)는, TTP 후보(206)가 복수의 TTP 후보들에 대응하여 생성되는 복수의 품질 스코어들 중 최소 스코어를 갖도록 선택된다. 복수의 품질 스코어들은 제1 딥 러닝 네트워크를 사용하여 복수의 후보들(204) 각각을 프로세싱함으로써 생성될 수 있다. 제1 딥 러닝 네트워크는 복수의 품질 스코어들을 생성하기 위해 메모리 유닛(122)으로부터 취출될 수 있다. 일 실시예에서, 제1 딥 러닝 네트워크는 메모리 유닛(122)에 저장된 라벨링된 초음파 이미지들을 사용하여 신경망을 트레이닝시킴으로써 생성된다. 이러한 실시예에서의 라벨링 정보는 원하는 TTP 평면으로부터의 TTP 후보의 분리를 표현하는 수치 값을 포함한다. 더 낮은 수치 값들은 원하는 TTP 후보에 대한 근접성을 나타내고, 더 큰 수치 값들은 원하는 TTP 평면으로부터의 TTP 후보의 증가된 거리를 표현한다. 대안의 실시예에서, 최대 수치 스코어들이 원하는 TTP 후보로 TTP 후보의 근접성을 나타낼 때, 복수의 품질 스코어들 중 최대 스코어가 선택될 수 있다는 것에 또한 유의할 수 있다. 트레이닝은 초음파 스캐너의 오프라인 모드에서 수행되고, 트레이닝된 딥 러닝 네트워크는 메모리 유닛(122)에 저장된다.
도 3a 내지 도 3c는 제1 실시예에 따른, 태아 뇌의 스캔 평면들의 선택을 예시한 이미지들(300, 304, 312)이다. 이미지(300, 304)는 도 2에서 도면 부호 206으로 언급되는 것과 같은 TTP 후보들에 대응하고, 이미지(312)는 정중시상면(MSP)에 대응한다. 이미지(300)는 두개골(302), 및 인간 뇌의 뇌 반구(hemisphere)들 사이의 종열(longitudinal fissure)에서 수직으로 내려오는 경뇌막(dura mater)의 수막(meningeal) 층의 큰 낫-유사 초승달 형상 주름(320)을 예시한다. 두개골(302)은 이미지(300) 상에 적용되는 세그먼트화 기법을 이용하여, 선택된 TTP 후보(206)에 대해 결정된다. 이미지(304)는 두개골 중간선을 예시하는 TTP 후보 이미지(300)의 복제물이다. 이미지(304)에서, 선택된 TTP 후보(206)의 중간선 겸상막(308) 및 중간점(306)이 또한 이미지(304)에 예시되어 있다. 중간점(306)은, 또한, 세그먼트화된 두개골 이미지(302)를 사용하여 결정된다. MSP에 대한 법선(310)이 이미지(304)에 예시되어 있다. 또한, MSP에 대한 평면 파라미터들은 분석 방정식들을 사용하여 검출된 중간선 겸상막(308) 및 법선(310)에 기초하여 결정된다. 마지막으로, 계산된 파라미터들로부터 MSP가 생성된다. 텍스처 맵(314)을 예시하는 이미지(312)는 생성된 MSP에 대응한다. 이미지 MSP 내의 수직 라인(316)은 이미지(300)에 대응하는 TTP 평면을 예시한다.
도 4는 제1 실시예에 따른, 뇌실경유면(TVP)의 선택을 예시한 도면(400)이다. 도면(400)은 임신부의 초음파 스캐닝 동안 획득된 태아 뇌를 표현하는 이미지(402)를 포함한다. 이미지(402)는 도 2를 참조하여 설명된 바와 같이 제1 딥 러닝 네트워크를 사용하여 선택된 TTP 후보(404)를 포함한다. 이미지(402)는, 또한, 도 1의 학습 유닛(118)에 의해 생성된 복수의 TVP 후보들(406)을 포함한다. 복수의 TVP 후보들(406)은, 선택된 TVP 후보들이 선택된 TTP 후보(304)에 평행하고 MSP에 직교하도록 선택된다. 이미지(402)는, 또한, 제2 학습 네트워크를 사용하여 복수의 TVP 후보들(406)을 평가함으로써 선택된 최적의 TVP 후보(408)를 포함한다. 일 실시예에서, 복수의 TVP 후보들(406)을 평가하는 것은 제2 복수의 품질 스코어들을 생성하기 위해 제2 딥 러닝 네트워크에 의해 복수의 TVP 후보들(406) 각각을 프로세싱하는 것을 포함한다. 제2 학습 네트워크에 의해 생성된 품질 스코어들은 최적의 TVP 후보로 복수의 TVP 후보들의 근접성을 표현한다. 일 실시예에서, 더 작은 스코어들은 최적의 TVP 후보와 유사한 TVP 후보들에 대응한다. 추가로, 복수의 제2 품질 스코어들 중 최소 값이 선택된다. 최소 값에 대응하는 복수의 TVP 후보들 중 TVP 후보가 최적의 TVP 후보(408)로서 선택된다. 본 명세서에서, 대안의 실시예에서, 복수의 제2 품질 스코어들 중 최대 값이 최적의 TVP 후보(408)를 결정하기 위해 선택될 수 있다는 것에 유의할 수 있다. 일 실시예에서, 제2 딥 러닝 네트워크는 메모리 유닛(122)으로부터 취출된다. 일부 실시예들에서, 제2 딥 러닝 네트워크는 메모리 유닛에 저장된 라벨링된 초음파 이미지들을 갖는 트레이닝 데이터세트를 사용하여 학습 유닛(118)에 의해 오프라인으로 트레이닝된다.
도 5는 제1 실시예에 따른, TCP의 선택을 예시한 이미지(500)이다. TCP 평면은 MSP 평면에 직교하는 복수의 TCP 후보 평면들로부터 선택된다. 추가로, 복수의 TCP 후보들은, 또한, TCP 후보들이 사전특정된 각도 스팬 내의 각도에 의해 TTP 법선(504)에 대해 배향되도록 선택된다. 도시된 실시예에서, MSP 법선(506)이 예시되어 있다. 이미지(500)는 TTP 법선(504) 및 MSP 법선(506)의 외적(cross product)(도 5에는 도시되지 않음)을 포함한다. TCP 후보는 제3 딥 러닝 네트워크를 사용하여 복수의 TCP 후보들로부터 선택된다. 일 실시예에서, 복수의 TCP 후보들 각각은 복수의 제3 품질 스코어들을 생성하기 위해 제3 딥 러닝 네트워크를 사용하여 프로세싱된다. 제3 품질 스코어들 중 최소 값이 결정되고, 대응하는 TCP 후보가 최적의 TCP로서 선택된다. 제3 딥 러닝 네트워크는 메모리 유닛(122)으로부터 취출될 수 있다. 일 실시예에서, 제3 딥 러닝 네트워크는 메모리 유닛(122)에 저장된 트레이닝 데이터세트를 사용하여 학습 유닛(118)에 의해 오프라인으로 트레이닝될 수 있다. 트레이닝 데이터세트는, 경험이 풍부한 의료 전문가에 의해 주석첨부되고 임상 정확도에 대해 검증된 복수의 라벨링된 초음파 이미지들을 포함한다. 일부 실시예들에서, 제2 딥 러닝 네트워크는 복수의 TCP 후보들로부터 최적의 TCP 후보를 선택하기 위해 추가로 트레이닝될 수 있다는 것에 유의할 수 있다.
도 6은 제1 실시예에 따른, 태아의 신경계의 질환을 결정하기 위한 작업흐름을 예시한 개략도(600)이다. 개략도(600)는 제1 딥 러닝 네트워크(602)를 사용하여 3D 볼륨 데이터(608)의 획득을 개시하기 위해 초음파 스캐너의 조작자에게 인공 지능 가이던스를 제공하는 것을 예시한다. 구체적으로, 제1 딥 러닝 네트워크(602)는 조작자가 관심 기관 위에서 자유롭게 내비게이팅할 때 획득된 상이한 평면 위치들에 대한 신뢰 스코어를 제공한다. 인공 지능 가이던스는, 3D 볼륨 데이터(608)의 획득의 초기화를 위해 현재 스캔 평면의 수용가능성을 나타내는 신뢰 스코어를 생성하도록 구성된 딥 러닝에 기초한다. 일 실시예에서, 신뢰 스코어는 학습 유닛(118)에 의해 실시간으로 생성된다. 인공 지능 가이던스는 조작자가 최적의 TTP의 이웃 중의 초기 TTP(604)에 도달하는 것을 돕는다. 초기 TTP(604)는 제1 딥 러닝 네트워크(602)에 의해 생성된 품질 스코어들을 사전특정된 범위의 품질 스코어들과 비교함으로써 결정된다. 대안의 실시예에서, 인공 지능 가이던스는 이미지 세그먼트화 기법에 기초한다. 그러한 실시예에서, 제1 딥 러닝 네트워크(602)는 복수의 TTP 후보들 내에서의 해부학적 관심 구조물의 존재를 사정하도록 구성된 세그먼트화 네트워크이다. 초기 TTP(604)는 해부학적 관심 구조물의 최대 부분을 포함하는 복수의 TTP 후보들 중 하나의 이미지이다. 최적의 TTP의 이웃 중의 초기 TTP(604)는 스캔 평면들, 즉 TVP 및 TCP의 식별을 위해 제2(및 제3) 딥 러닝 네트워크에 의해 사용된다.
개략도(600)는 단계(606)에서 제2 딥 러닝 네트워크를 사용하여 4개의 스캔 평면들의 생성을 추가로 예시한다. 일 실시예에서, 제2 딥 러닝 네트워크는 4개의 스캔 평면들, 즉 TTP, TVP, TCP, 및 MSP 모두를 생성하도록 트레이닝된다. 다른 실시예에서, 제3 딥 러닝 네트워크가 또한 단계(606)에서 사용된다. 그러한 실시예에서, 제3 딥 러닝 네트워크가 또한 사용되는 경우, 제2 딥 러닝 네트워크는 TTP 및 MSP를 결정하도록 트레이닝될 수 있다. 대안의 실시예에서, MSP는 기하구조 계산들을 사용하여, 세그먼트화된 TTP에 기초하여 결정된다. 제3 딥 러닝 네트워크는 TVP 및 TCP 스캔 평면들을 결정하도록 트레이닝될 수 있다. 개략도(600)는 이미지(610) 내의 모든 4개의 스캔 평면들, 즉 TTP(616), MSP(618), TVP(620) 및 TCP(622)를 예시한다.
개략도(600)는, 또한, 이미지 세그먼트화, 파라미터들의 측정, 및 진단 결정 이행이 제4 딥 러닝 네트워크를 사용하여 수행되는 자동화된 측정 단계(612)를 포함한다. 일 실시예에서, 제4 딥 러닝 네트워크는 이미지 세그먼트화를 수행하기 위해 TTP, MSP, TVP, TCP 중 하나 이상을 프로세싱하도록 트레이닝된다. 다른 실시예에서, 개개의 세그먼트화된 이미지들을 생성하기 위해 TTP, MSP, TVP 및 TCP 각각을 프로세싱하도록 별개의 딥 러닝 네트워크가 트레이닝된다. 일 실시예에서, 제4 딥 러닝 네트워크는 픽셀 레벨 주석첨부된 이미지들의 배치(batch)를 사용하여 트레이닝된다. 세그먼트화 출력은 모폴로지 필터들 및 그레이스케일 필터들과 같은, 그러나 이들로 제한되지 않는 이미지 분석 기법들을 이용하여 개선된다. 세그먼트화 개선은, 또한, 혈관 필터 및 그레이스케일 모폴로지와 같은, 그러나 이들로 제한되지 않는 고전적인 비감독 이미지 프로세싱 기법들을 이용하여 수행될 수 있다. 추가로, 캘리퍼 배치 기법 및 좌표 기반 측정들을 사용하는, 그러나 이들로 제한되지 않는 하나 이상의 자동화된 측정이 하나 이상의 진단 파라미터들을 결정하는 데 사용될 수 있다. 일 실시예에서, 진단 파라미터들은 태아 뇌 질환을 결정하기 위해 적합한 임계값들과 비교된다. 일 실시예에서, 캘리퍼 배치 알고리즘은 비감독 접근법들을 이용하여 객체 배향 및 정렬을 식별하고, 임상 측정들이 행해지는 위치들을 자동으로 예측할 수 있다.
도 7은 예시적인 실시예에 따른, 태아의 신경계의 질환을 결정하기 위한 방법의 흐름도(700)이다. 본 방법은, 단계(702)에 예시된 바와 같이, 가이드형 스캐닝 절차 동안 제1 딥 러닝 네트워크를 사용하여 모계 대상체의 태아에 대응하는 제1 스캔 평면의 초기 추정치를 획득하는 단계를 포함한다. 본 명세서에서, 경험이 풍부한 조작자는 해부학적 관심 구조물 위에서 초음파 프로브를 이동시킴으로써 제1 스캔 평면의 초기 추정치를 수동으로 획득할 수 있다는 것에 유의할 수 있다. 대안으로, 경험이 없는 조작자는 해부학적 관심 구조물 위에서 초음파 프로브를 이동시키는 동안 초기 추정치를 선택하기 위해 제1 딥 러닝 네트워크로부터 가이던스를 수신할 수 있다. 본 방법은, 단계(704)에 예시된 바와 같이, 초기 추정치에 대응하는 모계 대상체의 태아의 3D 초음파 볼륨을 수신하는 단계를 추가로 포함한다. 단계(706)에서, 본 방법은, 또한, 3D 초음파 볼륨 및 제1 스캔 평면의 초기 추정치에 기초하여 제1 딥 러닝 네트워크로부터 최적의 제1 스캔 평면을 결정하는 단계를 포함한다. 일 실시예에서, 최적의 제1 스캔 평면을 결정하는 것은 초기 추정치에 기초하여 제1 스캔 평면에 대한 복수의 후보들을 생성하는 것을 포함한다.
또한, 단계(706)의 결정 동작은, 또한, 제1 딥 러닝 네트워크를 사용하여 제1 스캔 평면에 대한 복수의 후보들 각각에 대응하는 품질 스코어를 결정하여 복수의 품질 스코어들을 생성하는 것을 포함한다. 최적의 제1 스캔 평면을 결정하는 것은, 복수의 품질 스코어들 중 최소 스코어를 결정하는 것을 추가로 포함한다. 최적의 제1 스캔 평면을 결정하는 것은, 또한, 최소 스코어에 대응하는 제1 스캔 평면에 대한 복수의 후보들 중 제1 스캔 평면 후보를 선택하는 것을 포함한다. 일부 실시예들에서, 복수의 품질 스코어들 중 최대 스코어가 최적의 제1 스캔 평면을 결정하는 데 사용될 수 있다. 본 명세서에서, 제1 스캔 평면은 TTP, TCP, TVP 및 MSP 중 임의의 하나를 포함할 수 있다는 것에 유의할 수 있다.
본 방법은, 단계(708)에 예시된 바와 같이, 대응하는 제2 딥 러닝 네트워크를 사용하여 3D 초음파 볼륨, 최적의 제1 스캔 평면, 및 제2 스캔 평면, 제3 스캔 평면, 및 제4 스캔 평면에 대응하는 임상적 제한 중 적어도 하나에 기초하여 제2 스캔 평면, 제3 스캔 평면, 및/또는 제4 스캔 평면 중 적어도 하나를 결정하는 단계를 추가로 포함한다.
일 실시예에서, 제1 스캔 평면은 TTP에 대응하고, 제2 평면은 정중시상면(MSP)에 대응하고, 제3 스캔 평면은 소뇌경유면(TCP)에 대응하고, 제4 스캔 평면은 뇌실경유면(TVP)에 대응한다. 다른 실시예에서, 제1 스캔 평면은 TVP에 대응하고, 제2 스캔 평면은 TTP에 대응하고, 제3 스캔 평면은 MSP에 대응하고, 제4 스캔 평면은 TCP에 대응한다. 또 다른 실시예에서, 제1 스캔 평면은 TCP에 대응하고, 제2 스캔 평면은 MSP에 대응하고, 제3 스캔 평면은 TTP에 대응하고, 제4 스캔 평면은 TVP에 대응한다. 추가 실시예에서, 제1 스캔 평면은 MSP에 대응하고, 제2 스캔 평면은 TCP에 대응하고, 제3 스캔 평면은 TTP에 대응하고, 제4 스캔 평면은 TVP에 대응한다.
구체적으로, 일 실시예에서, MSP를 결정하는 것은, TTP를 세그먼트화하여, 세그먼트화된 TTP에 기초하여 두개골의 중간선 및 TTP 중간점을 검출하는 것, 및 중간선에 기초하여 MSP에 대응하는 평면 파라미터 벡터를 결정하는 것을 포함한다. 추가로, 본 방법은, 또한, 결정된 평면 파라미터로부터 MSP를 생성하는 단계를 포함한다. 추가로, 다른 실시예에서, TVP를 결정하는 것은 복수의 TVP 후보들을 생성하는 것을 포함하고, 여기서 복수의 TVP 후보들 각각은 최적의 TTP에 평행하고 MSP에 직교한다. TVP를 결정하는 단계는, 또한, 최적의 TVP를 결정하도록 구성된 제2 딥 러닝 네트워크를 수신하는 단계, 및 제2 딥 러닝 네트워크에 의해 복수의 TVP 후보들을 프로세싱함으로써 최적의 TVP를 추정하는 단계를 포함한다.
추가 실시예에서, TCP를 결정하는 것은 복수의 TCP 후보들을 생성하는 것을 포함한다. 복수의 TCP 후보들 각각은 최적의 MSP에 직교하고, 최적의 TTP에 대한 수직선에 대해 사전결정된 각도 스팬 내의 각도로 배향된다. TCP를 결정하는 단계는, 또한, 제2 딥 러닝 네트워크에 의해 복수의 TVP 후보들을 프로세싱함으로써 최적의 TVP를 추정하는 단계를 포함한다. 제2 학습 네트워크는 최적의 TCP를 결정하도록 추가로 구성된다. 실시예들에서, TTP 전에 TCP를 결정하는 단계가 이용가능할 때, 그 TTP를 결정하기 위해 복수의 TTP 후보들 중에서 평행한 평면에 대한 탐색이 개시된다.
추가로, 본 방법은, 단계(710)에 예시된 바와 같이, 제3 딥 러닝 네트워크를 사용하여 MSP, TCP 및 TVP 중 적어도 하나 및 기하구조 제한에 기초하여 태아의 신경계에 대응하는 생체측정 파라미터를 결정하는 단계를 포함한다. 일 실시예에서, 생체측정 파라미터를 결정하는 단계(710)는, 최적의 TTP, MSP, TCP 및 TVP 중 하나 이상에 기초하여 머리 둘레(HC), 양두정경(BPD), 후두전두경(OFD), 소뇌경유 직경(TCD), 대수조(CM), 및 후방 뇌실(Vp) 중 적어도 하나를 결정하는 단계를 포함한다.
본 방법은, 또한, 단계(712)에서와 같이, 생체측정 파라미터에 기초하여 태아의 신경계 질환을 결정하는 단계를 포함한다. 일 실시예에서, 신경계 질환을 결정하는 것은, 생체측정 파라미터를 사전결정된 임계치와 비교하는 것, 및 그 비교에 기초하여 신경계에 대응하는 옵션을 선택하는 것을 포함한다. 다른 실시예에서, 신경계 질환을 결정하는 것은 제4 딥 러닝 네트워크를 사용하여 객체 세그먼트화를 결정하는 것을 포함하며, 여기서 제4 딥 러닝 네트워크는 복수의 주석첨부된 이미지들을 사용하여 트레이닝된다. 또 다른 실시예에서, 신경계 질환을 결정하는 것은 객체 세그먼트화된 이미지 상의 위치를 식별하는 것 및 캘리퍼 배치 알고리즘을 사용하여 자동화된 측정들을 수행하는 것을 포함한다.
전술된 그러한 목적들 또는 이점들 모두가 임의의 특정 실시예에 따라 반드시 달성될 수 있는 것은 아님을 이해하여야 한다. 따라서, 예를 들어, 당업자는, 본 명세서에 기술된 시스템들 및 기법들이 본 명세서에 교시되거나 제안될 수 있는 바와 같은 다른 목적들 또는 이점들을 반드시 달성함이 없이 본 명세서에 교시된 바와 같은 하나의 이점 또는 이점들의 그룹을 달성하거나 개선하는 방식으로 구현 또는 수행될 수 있음을 인식할 것이다.
본 기술은 단지 제한된 수의 실시예들과 관련하여 상세히 기술되었지만, 본 명세서가 그러한 개시된 실시예들로 제한되지 않는다는 것이 쉽게 이해될 것이다. 오히려, 본 기술은 지금까지 기술되지 않았지만 청구범위의 사상 및 범주에 상응하는 임의의 수의 변형들, 변경들, 대체들 또는 등가의 배열들을 포함하도록 수정될 수 있다. 추가로, 본 기술의 다양한 실시예들이 기술되었지만, 본 명세서의 태양들은 기술된 실시예들 중 일부만을 포함할 수 있다는 것이 이해되어야 한다. 따라서, 본 명세서는 전술한 설명에 의해 제한되는 것처럼 보이는 것이 아니라, 첨부된 청구범위의 범주에 의해서만 제한된다.

Claims (19)

  1. 태아 신경계의 질환(condition)을 결정하기 위한 방법으로서, 상기 방법은 컴퓨팅 디바이스의 프로세서에 의해 수행되고, 상기 방법은,
    가이드형 스캐닝 절차 동안 제1 딥 러닝 네트워크를 사용하여 모계 대상체의 태아에 대응하는 제1 스캔 평면의 초기 추정치를 획득하는 단계 - 상기 제1 스캔 평면은 시상경유면(trans thalamic plane, TTP), 뇌실경유면(trans-ventricular plane, TVP), 정중시상면(mid-sagittal plane, MSP) 또는 소뇌경유면(trans-cerebellar plane, TCP) 중 하나의 평면을 포함함 -;
    상기 제1 스캔 평면의 초기 추정치에 대응하는 상기 태아의 3차원(3D) 초음파 볼륨을 수신하는 단계;
    상기 3D 초음파 볼륨 및 상기 제1 스캔 평면의 초기 추정치에 기초하여 상기 제1 딥 러닝 네트워크로부터 최적의 제1 스캔 평면을 결정하는 단계;
    대응하는 제2 딥 러닝 네트워크를 사용하여 상기 3D 초음파 볼륨, 상기 최적의 제1 스캔 평면, 및 상기 TTP, 상기 TVP, 상기 MSP, 또는 상기 TCP에 대응하는 임상적 제한 중 적어도 하나에 기초하여 제2 스캔 평면, 제3 스캔 평면, 또는 제4 스캔 평면 중 적어도 하나를 결정하는 단계 - 상기 제2 스캔 평면, 상기 제3 스캔 평면, 또는 상기 제4 스캔 평면 중 상기 적어도 하나의 스캔 평면은 상기 TTP, 상기 TVP, 상기 MSP, 또는 상기 TCP 중 하나를 포함하고, 상기 제1 스캔 평면과는 명백하게 상이함 -;
    제3 딥 러닝 네트워크를 사용하여 상기 제1 스캔 평면, 상기 제2 스캔 평면, 상기 제3 스캔 평면, 또는 상기 제4 스캔 평면 중 적어도 하나 및 상기 임상적 제한에 기초하여 상기 태아의 신경계에 대응하는 생체측정 파라미터를 결정하는 단계; 및
    상기 생체측정 파라미터에 기초하여 상기 태아의 신경계 질환을 결정하는 단계를 포함하고,
    상기 제1 딥 러닝 네트워크는 상기 제1 스캔 평면의 초기 추정치를 획득하기 위한 가이던스를 제공하기 위해 상기 모계 대상체 위에서 초음파 스캐닝 프로브를 이동시키는 동안 획득된 평면들에 대한 신뢰 스코어를 제공하는, 방법.
  2. 제1항에 있어서, 상기 최적의 제1 스캔 평면을 결정하는 단계는,
    상기 초기 추정치에 기초하여 복수의 TTP 후보들을 생성하는 단계;
    상기 제1 딥 러닝 네트워크를 사용하여 상기 복수의 TTP 후보들 각각에 대응하는 품질 스코어를 결정하여, 복수의 품질 스코어들을 생성하는 단계;
    상기 복수의 품질 스코어들 중 최소 스코어를 결정하는 단계; 및
    상기 최소 스코어에 대응하는 상기 복수의 TTP 후보들 중의 TTP 후보를 최적의 TTP로서 선택하는 단계를 포함하는, 방법.
  3. 제2항에 있어서, 상기 제2 스캔 평면을 결정하는 단계는,
    상기 최적의 TTP를 세그먼트화하여, 상기 세그먼트화된 TTP에 기초하여 중간선 겸상막(midline falx) 및 TTP 중간점을 검출하는 단계;
    상기 중간선 겸상막에 기초하여 상기 MSP에 대응하는 평면 파라미터 벡터를 결정하는 단계; 및
    상기 결정된 평면 파라미터로부터 최적의 MSP를 생성하는 단계를 포함하는, 방법.
  4. 제3항에 있어서, 상기 제3 스캔 평면을 결정하는 단계는,
    복수의 TVP 후보들을 생성하는 단계 - 상기 복수의 TVP 후보들 각각은 상기 최적의 TTP에 평행하고 상기 MSP에 직교함 -;
    상기 제2 딥 러닝 네트워크를 사용함으로써 최적의 TVP를 결정하는 단계; 및
    상기 제2 딥 러닝 네트워크에 의해 상기 복수의 TVP 후보들을 프로세싱함으로써 최적의 TVP를 추정하는 단계를 포함하는, 방법.
  5. 제4항에 있어서, 상기 제4 스캔 평면을 결정하는 단계는,
    복수의 TCP 후보들을 생성하는 단계 - 상기 복수의 TCP 후보들 각각은 상기 최적의 MSP에 직교하고, 상기 최적의 TTP에 대한 수직선에 대해 사전결정된 각도 스팬(angular span) 내의 각도로 배향됨 -; 및
    상기 제2 딥 러닝 네트워크에 의해 상기 복수의 TCP 후보들을 프로세싱함으로써 최적의 TCP를 추정하는 단계 - 상기 제2 딥 러닝 네트워크는 최적의 TCP를 결정하도록 추가로 구성됨 - 를 포함하는, 방법.
  6. 제5항에 있어서, 상기 생체측정 파라미터를 결정하는 단계는, 상기 최적의 TTP, 상기 최적의 MSP, 상기 최적의 TCP 또는 상기 최적의 TVP 중 하나 이상에 기초하여 머리 둘레(head circumference, HC), 양두정경(biparietal diameter, BPD), 후두전두경(occipito-frontal diameter, OFD), 소뇌경유 직경(trans-cerebellar diameter, TCD), 대수조(cisterna magna, CM), 반구(hemisphere, HEM) 및 목덜미 주름(nuchal fold, NF)과 관련된 치수, 전방 뇌실(anterior ventricle, Va), 투명중격강(cavum septi pellucidi, CSP) 또는 후방 뇌실(posterior ventricle, Vp) 중 적어도 하나를 결정하는 단계를 포함하는, 방법.
  7. 제1항에 있어서, 상기 신경계 질환을 결정하는 단계는, 상기 생체측정 파라미터를 사전결정된 임계치와 비교하는 단계, 및 상기 비교에 기초하여 상기 신경계에 대응하는 옵션을 선택하는 단계를 포함하는, 방법.
  8. 제7항에 있어서, 상기 신경계 질환을 결정하는 단계는, 이미지 세그먼트화를 수행하는 단계, 및 제4 딥 러닝 네트워크를 사용하여 상기 세그먼트화된 이미지 내의 객체를 결정하는 단계 - 상기 제4 딥 러닝 네트워크는 복수의 주석첨부된 이미지들을 사용하여 트레이닝됨 - 를 포함하는, 방법.
  9. 제8항에 있어서, 상기 신경계 질환을 결정하는 단계는, 상기 객체의 위치를 식별하는 단계, 및 캘리퍼 배치 알고리즘(caliper placement algorithm)을 사용하여 자동화된 측정들을 수행하는 단계를 포함하는, 방법.
  10. 태아 신경계의 질환(condition)을 결정하기 위한 시스템으로서,
    가이드형 스캐닝 절차 동안 제1 딥 러닝 네트워크를 사용하여 모계 대상체의 태아에 대응하는 제1 스캔 평면의 초기 추정치를 획득하도록 구성된 초음파 스캐닝 프로브 - 상기 제1 스캔 평면은 시상경유면(TTP), 뇌실경유면(TVP), 정중시상면(MSP) 또는 소뇌경유면(TCP) 중 하나의 평면을 포함함 -;
    상기 초음파 스캐닝 프로브에 통신가능하게 커플링되고, 상기 초음파 스캐닝 프로브에 의해 획득된 스캔 데이터를 수신하도록 구성된 데이터 획득 유닛;
    상기 데이터 획득 유닛에 통신가능하게 커플링되고,
    상기 데이터 획득 유닛으로부터, 상기 제1 스캔 평면의 초기 추정치에 대응하는 상기 태아의 3차원(3D) 초음파 볼륨을 수신하도록,
    상기 3D 초음파 볼륨 및 상기 제1 스캔 평면의 초기 추정치에 기초하여 상기 제1 딥 러닝 네트워크로부터 최적의 제1 스캔 평면을 결정하도록,
    대응하는 제2 딥 러닝 네트워크를 사용하여 상기 3D 초음파 볼륨, 상기 최적의 제1 스캔 평면, 및 상기 TTP, 상기 TVP, 상기 MSP, 또는 상기 TCP에 대응하는 임상적 제한 중 적어도 하나에 기초하여 제2 스캔 평면, 제3 스캔 평면, 또는 제4 스캔 평면 중 적어도 하나를 결정하도록 - 상기 제2 스캔 평면, 상기 제3 스캔 평면, 또는 상기 제4 스캔 평면은 상기 TTP, 상기 TVP, 상기 MSP, 또는 상기 TCP 중 하나를 포함하고, 상기 제1 스캔 평면과는 명백하게 상이함 -, 그리고
    제3 딥 러닝 네트워크를 사용하여 상기 제1 스캔 평면, 상기 제2 스캔 평면, 상기 제3 스캔 평면, 또는 상기 제4 스캔 평면 중 적어도 하나 및 상기 임상적 제한에 기초하여 상기 태아의 신경계에 대응하는 생체측정 파라미터를 결정하도록 구성된 학습 유닛; 및
    상기 학습 유닛에 통신가능하게 커플링되고, 상기 생체측정 파라미터에 기초하여 상기 태아의 신경계 질환을 결정하도록 구성된 진단 유닛을 포함하고,
    상기 제1 딥 러닝 네트워크는 상기 제1 스캔 평면의 초기 추정치를 획득하기 위한 가이던스를 제공하기 위해 상기 모계 대상체 위에서 상기 초음파 스캐닝 프로브를 이동시키는 동안 획득된 평면들에 대한 신뢰 스코어를 제공하는, 시스템.
  11. 제10항에 있어서, 상기 학습 유닛은,
    상기 초기 추정치에 기초하여 복수의 TTP 후보들을 생성하도록,
    상기 제1 딥 러닝 네트워크를 사용하여 상기 복수의 TTP 후보들 각각에 대응하는 품질 스코어를 결정하여, 복수의 품질 스코어들을 생성하도록,
    상기 복수의 품질 스코어들 중 최소 스코어를 결정하도록, 그리고
    상기 최소 스코어에 대응하는 상기 복수의 TTP 후보들 중의 TTP 후보를 최적의 TTP로서 선택하도록 구성된, 시스템.
  12. 제11항에 있어서, 상기 학습 유닛은,
    상기 최적의 TTP를 세그먼트화하여, 상기 세그먼트화된 TTP에 기초하여 두개골(cranium)의 중간선 및 TTP 중간점을 검출하도록,
    상기 중간선에 기초하여 상기 MSP에 대응하는 평면 파라미터 벡터를 결정하도록, 그리고
    상기 결정된 평면 파라미터로부터 상기 MSP를 최적의 MSP로서 생성하도록 구성된, 시스템.
  13. 제12항에 있어서, 상기 학습 유닛은,
    복수의 TVP 후보들을 생성하도록 - 상기 복수의 TVP 후보들 각각은 상기 최적의 TTP에 평행하고 상기 MSP에 직교함 -,
    최적의 TVP를 결정하기 위해 구성된 상기 제2 딥 러닝 네트워크를 수신하도록, 그리고
    상기 제2 딥 러닝 네트워크에 의해 상기 복수의 TVP 후보들을 프로세싱함으로써 최적의 TVP를 추정하도록 구성된, 시스템.
  14. 제13항에 있어서, 상기 학습 유닛은,
    복수의 TCP 후보들을 생성하도록 - 상기 복수의 TCP 후보들 각각은 상기 최적의 MSP에 직교하고, 상기 최적의 TTP에 대한 수직선에 대해 사전결정된 각도 스팬 내의 각도로 배향됨 -, 그리고
    상기 제2 딥 러닝 네트워크에 의해 상기 복수의 TVP 후보들을 프로세싱함으로써 최적의 TCP를 추정하도록 - 상기 제2 딥 러닝 네트워크는 최적의 TCP를 결정하도록 추가로 구성됨 - 구성된, 시스템.
  15. 제14항에 있어서, 상기 학습 유닛은, 상기 최적의 TTP, 상기 최적의 MSP, 상기 최적의 TCP 및 상기 최적의 TVP 중 하나 이상에 기초하여 머리 둘레(HC), 양두정경(BPD), 후두전두경(OFD), 소뇌경유 직경(TCD), 대수조(CM), 및 후방 뇌실(Vp) 중 적어도 하나를 결정하도록 구성된, 시스템.
  16. 제10항에 있어서, 상기 진단 유닛은, 상기 생체측정 파라미터를 사전결정된 임계치와 비교하도록, 그리고 상기 비교에 기초하여 상기 신경계에 대응하는 옵션을 선택하도록 구성된, 시스템.
  17. 제16항에 있어서, 상기 진단 유닛은, 이미지 세그먼트화를 수행하도록, 그리고 제4 딥 러닝 네트워크를 사용하여 상기 세그먼트화된 이미지 내의 객체를 결정하도록 - 상기 제4 딥 러닝 네트워크는 복수의 주석첨부된 이미지들을 사용하여 트레이닝됨 - 구성된, 시스템.
  18. 제17항에 있어서, 상기 진단 유닛은, 상기 객체의 위치를 식별하도록, 그리고 캘리퍼 배치 알고리즘을 사용하여 자동화된 측정들을 수행하도록 구성된, 시스템.
  19. 명령어들을 갖는 비일시적 컴퓨터 판독가능 매체로서, 상기 명령어들은, 적어도 하나의 프로세서 유닛이,
    가이드형 스캐닝 절차 동안 제1 딥 러닝 네트워크를 사용하여 모계 대상체의 태아에 대응하는 제1 스캔 평면의 초기 추정치를 획득할 수 있게 하고 - 상기 제1 스캔 평면은 시상경유면(TTP), 뇌실경유면(TVP), 정중시상면(MSP) 또는 소뇌경유면(TCP) 중 하나의 평면을 포함함 -;
    상기 제1 스캔 평면의 초기 추정치에 대응하는 상기 태아의 3차원(3D) 초음파 볼륨을 수신할 수 있게 하고;
    상기 3D 초음파 볼륨 및 상기 제1 스캔 평면의 초기 추정치에 기초하여 상기 제1 딥 러닝 네트워크로부터 최적의 제1 스캔 평면을 결정할 수 있게 하고;
    대응하는 제2 딥 러닝 네트워크를 사용하여 상기 3D 초음파 볼륨, 상기 최적의 제1 스캔 평면, 및 상기 TTP, 상기 TVP, 상기 MSP, 또는 상기 TCP에 대응하는 임상적 제한 중 적어도 하나에 기초하여 제2 스캔 평면, 제3 스캔 평면, 또는 제4 스캔 평면 중 적어도 하나를 결정할 수 있게 하고 - 상기 제2 스캔 평면, 상기 제3 스캔 평면, 또는 상기 제4 스캔 평면은 상기 TTP, 상기 TVP, 상기 MSP, 또는 상기 TCP 중 하나를 포함하고, 상기 제1 스캔 평면과는 명백하게 상이함 -;
    제3 딥 러닝 네트워크를 사용하여 상기 제1 스캔 평면, 상기 제2 스캔 평면, 상기 제3 스캔 평면, 또는 상기 제4 스캔 평면 중 적어도 하나 및 상기 임상적 제한에 기초하여 상기 태아의 신경계에 대응하는 생체측정 파라미터를 결정할 수 있게 하고;
    상기 생체측정 파라미터에 기초하여 상기 태아의 신경계 질환을 결정할 수 있게 하고,
    상기 제1 딥 러닝 네트워크는 상기 제1 스캔 평면의 초기 추정치를 획득하기 위한 가이던스를 제공하기 위해 상기 모계 대상체 위에서 초음파 스캐닝 프로브를 이동시키는 동안 획득된 평면들에 대한 신뢰 스코어를 제공하는, 비일시적 컴퓨터 판독가능 매체.
KR1020200040550A 2019-04-02 2020-04-02 태아 신경계의 질환을 결정하기 위한 시스템 및 방법 KR102483122B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/372,446 2019-04-02
US16/372,446 US20200315569A1 (en) 2019-04-02 2019-04-02 System and method for determining condition of fetal nervous system

Publications (2)

Publication Number Publication Date
KR20200117896A KR20200117896A (ko) 2020-10-14
KR102483122B1 true KR102483122B1 (ko) 2022-12-30

Family

ID=72662710

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200040550A KR102483122B1 (ko) 2019-04-02 2020-04-02 태아 신경계의 질환을 결정하기 위한 시스템 및 방법

Country Status (3)

Country Link
US (1) US20200315569A1 (ko)
KR (1) KR102483122B1 (ko)
CN (1) CN111798965A (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113393456B (zh) * 2021-07-13 2022-04-19 湖南大学 基于多任务的早孕期胎儿标准切面的自动质量控制方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007512862A (ja) 2003-11-13 2007-05-24 サントル・オスピタリエ・ドゥ・リュニヴェルシテ・ドゥ・モントリオール 自動多次元血管内超音波画像セグメンテーションの方法
US20070249935A1 (en) 2006-04-20 2007-10-25 General Electric Company System and method for automatically obtaining ultrasound image planes based on patient specific information
US20090093717A1 (en) 2007-10-04 2009-04-09 Siemens Corporate Research, Inc. Automated Fetal Measurement From Three-Dimensional Ultrasound Data
KR101121379B1 (ko) 2009-09-03 2012-03-09 삼성메디슨 주식회사 복수의 뷰에 대한 복수의 단면 영상을 제공하는 초음파 시스템 및 방법
US20130072797A1 (en) 2010-05-31 2013-03-21 Samsung Medison Co., Ltd. 3d ultrasound apparatus and method for operating the same

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120028154A (ko) * 2010-09-14 2012-03-22 울산대학교 산학협력단 죽상 경화증 진단방법 및 그 장치
KR102288308B1 (ko) * 2014-08-05 2021-08-10 삼성메디슨 주식회사 초음파 진단 장치
KR102446343B1 (ko) * 2015-06-15 2022-09-22 삼성메디슨 주식회사 초음파 장치 및 그 제어방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007512862A (ja) 2003-11-13 2007-05-24 サントル・オスピタリエ・ドゥ・リュニヴェルシテ・ドゥ・モントリオール 自動多次元血管内超音波画像セグメンテーションの方法
US20070249935A1 (en) 2006-04-20 2007-10-25 General Electric Company System and method for automatically obtaining ultrasound image planes based on patient specific information
US20090093717A1 (en) 2007-10-04 2009-04-09 Siemens Corporate Research, Inc. Automated Fetal Measurement From Three-Dimensional Ultrasound Data
KR101121379B1 (ko) 2009-09-03 2012-03-09 삼성메디슨 주식회사 복수의 뷰에 대한 복수의 단면 영상을 제공하는 초음파 시스템 및 방법
US20130072797A1 (en) 2010-05-31 2013-03-21 Samsung Medison Co., Ltd. 3d ultrasound apparatus and method for operating the same

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Sonographic examination of the fetal central nervous system: guidelines for performing the 'basic examination' and the 'fetal neurosonogram'", ULTRASOUND IN OBSTETRICS AND GYNECOLOGY(2007.01.01)
KWANG HEE LEE ET AL, Robust Mid-Sagittal Plane Extraction in 3-D Ultrasound Fetal Volume for First Trimester Screening, COMPUTER VISION ACCV 2012, p.316-329(2012.11.05)

Also Published As

Publication number Publication date
US20200315569A1 (en) 2020-10-08
KR20200117896A (ko) 2020-10-14
CN111798965A (zh) 2020-10-20

Similar Documents

Publication Publication Date Title
US20230104045A1 (en) System and method for ultrasound analysis
Fiorentino et al. A review on deep-learning algorithms for fetal ultrasound-image analysis
Namburete et al. Learning-based prediction of gestational age from ultrasound images of the fetal brain
US20190021677A1 (en) Methods and systems for classification and assessment using machine learning
ES2914873T3 (es) Sugerencia de segunda lectura
US20030038802A1 (en) Automatic delineation of heart borders and surfaces from images
US20100217123A1 (en) Methods and systems of managing ultrasonographic diagnosis
CN111368586B (zh) 超声成像方法及系统
CN112215858A (zh) 用于图像分割和识别的方法和系统
CN111275755B (zh) 基于人工智能的二尖瓣瓣口面积检测方法、系统和设备
JP7237147B2 (ja) バイオメトリック測定及び品質評価
CN115429326A (zh) 一种超声成像方法及超声成像设备
Supriyanto et al. Ultrasonic marker pattern recognition and measurement using artificial neural network
KR102483122B1 (ko) 태아 신경계의 질환을 결정하기 위한 시스템 및 방법
CN114898882A (zh) 基于超声对右心功能进行评估的方法和系统
Horgan et al. Artificial intelligence in obstetric ultrasound: A scoping review
CN115760851B (zh) 一种基于机器学习的超声图像数据处理设备、系统及计算机可读存储介质
US20240074738A1 (en) Ultrasound image-based identification of anatomical scan window, probe orientation, and/or patient position
CN111481233A (zh) 胎儿颈项透明层厚度测量方法
KR101144867B1 (ko) 인체 내 오브젝트를 스캔하는 ３차원 초음파 검사기 및 ３차원 초음파 검사기 동작 방법
CN111862014A (zh) 一种基于左右侧脑室分割的alvi自动测量方法及装置
KR102132564B1 (ko) 진단 장치 및 진단 방법
Challenge Evaluation and comparison of current fetal ultrasound image segmentation methods for biometric measurements: a grand challenge
EP4311499A1 (en) Ultrasound image acquisition
US20220198652A1 (en) Image analysis device, image analysis method, and image analysis program

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant