KR20210010321A - 초음파 이미징 데이터로부터 태아 이미지들을 프로세싱 및 디스플레이하기 위한 방법들 및 시스템들 - Google Patents
초음파 이미징 데이터로부터 태아 이미지들을 프로세싱 및 디스플레이하기 위한 방법들 및 시스템들 Download PDFInfo
- Publication number
- KR20210010321A KR20210010321A KR1020200075270A KR20200075270A KR20210010321A KR 20210010321 A KR20210010321 A KR 20210010321A KR 1020200075270 A KR1020200075270 A KR 1020200075270A KR 20200075270 A KR20200075270 A KR 20200075270A KR 20210010321 A KR20210010321 A KR 20210010321A
- Authority
- KR
- South Korea
- Prior art keywords
- orientation
- rendering
- fetus
- anatomical features
- ultrasound
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 121
- 238000012285 ultrasound imaging Methods 0.000 title claims abstract description 38
- 230000001605 fetal effect Effects 0.000 title claims abstract description 19
- 238000012545 processing Methods 0.000 title abstract description 19
- 238000009877 rendering Methods 0.000 claims abstract description 219
- 239000000523 sample Substances 0.000 claims abstract description 59
- 238000003384 imaging method Methods 0.000 claims abstract description 56
- 230000004044 response Effects 0.000 claims abstract description 23
- 238000002604 ultrasonography Methods 0.000 claims description 81
- 210000003754 fetus Anatomy 0.000 claims description 75
- 230000001815 facial effect Effects 0.000 claims description 34
- 210000005069 ears Anatomy 0.000 claims description 10
- 238000013528 artificial neural network Methods 0.000 description 32
- 210000002569 neuron Anatomy 0.000 description 19
- 238000010586 diagram Methods 0.000 description 16
- 230000008569 process Effects 0.000 description 16
- 238000001514 detection method Methods 0.000 description 7
- 238000012549 training Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 210000003128 head Anatomy 0.000 description 6
- 238000002059 diagnostic imaging Methods 0.000 description 4
- 238000002592 echocardiography Methods 0.000 description 4
- 238000001228 spectrum Methods 0.000 description 4
- 238000005266 casting Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 230000002457 bidirectional effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 210000001061 forehead Anatomy 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 239000013078 crystal Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000002091 elastography Methods 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000002603 single-photon emission computed tomography Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
- A61B8/0866—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving foetal diagnosis; pre-natal or peri-natal diagnosis of the baby
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
- A61B8/461—Displaying means of special interest
- A61B8/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
- A61B8/461—Displaying means of special interest
- A61B8/466—Displaying means of special interest adapted to display 3D data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
- A61B8/467—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
- A61B8/469—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means for selection of a region of interest
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/48—Diagnostic techniques
- A61B8/483—Diagnostic techniques involving the acquisition of a 3D volume of data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/5207—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
- A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
- A61B8/523—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for generating planar views from image data in a user selectable plane not corresponding to the acquisition plane
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
- A61B8/5238—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
- A61B8/5246—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from the same or different imaging techniques, e.g. color Doppler and B-mode
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/60—Rotation of whole images or parts thereof
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/43—Detecting, measuring or recording for evaluating the reproductive systems
- A61B5/4306—Detecting, measuring or recording for evaluating the reproductive systems for evaluating the female reproductive systems, e.g. gynaecological evaluations
- A61B5/4343—Pregnancy and labour monitoring, e.g. for labour onset detection
- A61B5/4362—Assessing foetal parameters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
- G06T2207/10136—3D ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30044—Fetus; Embryo
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Veterinary Medicine (AREA)
- Molecular Biology (AREA)
- Pathology (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Gynecology & Obstetrics (AREA)
- Pregnancy & Childbirth (AREA)
- Computer Graphics (AREA)
- Physiology (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Psychiatry (AREA)
- Signal Processing (AREA)
- Geometry (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
초음파 이미저를 통해 태아를 이미징하기 위한 다양한 방법들 및 시스템들이 제공된다. 일례에서, 방법은, 초음파 이미저의 프로브로부터 이미징 데이터를 획득하는 단계, 이미징 데이터로부터, 이미지 슬라이스 및 렌더링을 생성하는 단계, 렌더링의 배향을 결정하는 단계, 배향이 표준 배향이 아니라고 결정한 것에 응답하여, 배향을 표준 배향으로 조정하는 단계, 및 표준 배향으로의 렌더링을 제공하는 동안 변경되지 않은 이미지 슬라이스를 디스플레이하는 단계를 포함할 수 있다.
Description
본 명세서에서 개시되는 발명 요지의 실시예들은 초음파 이미징과 같은 의료 이미징에 관한 것이며, 더 구체적으로는, 초음파 이미징 데이터로부터 태아 이미지들을 프로세싱 및 디스플레이하는 것에 관한 것이다.
의료 이미징 시스템들은, 종종, 대상의 생리학적 정보를 획득하는 데 사용된다. 일부 예들에서, 의료 이미징 시스템은 태아의 외부 물리적 특징부들을 획득 및 제시하는 데 사용되는 초음파 시스템일 수 있다. 이러한 방식으로, 초음파 시스템은, 태아의 생장을 추적하고 태아의 전체적인 건강을 모니터링하기 위해 채용될 수 있다.
초음파 시스템으로 획득된 이미지들은 사용자 인터페이스에서 사용자에게 제시될 수 있다. 사용자는 전문 의료진일 수 있고, 따라서, 사용자 인터페이스는 전문 의료진에 의한 사용을 위해 구성될 수 있다(예컨대, 바이탈 사인(vital sign)들, 초음파 프로브 제어부들, 및 다양한 다른 사용자 작동가능 기능부들을 디스플레이함). 그러나, 태아를 임신하고 있는 모체와 같은 환자에게 또한 사용자 인터페이스가 제시될 수 있다.
일 실시예에서, 방법은, 초음파 이미저의 프로브로부터 이미징 데이터를 획득하는 단계, 이미징 데이터로부터, 이미지 슬라이스 및 렌더링을 생성하는 단계, 렌더링의 배향을 결정하는 단계, 배향이 표준 배향이 아니라고 결정한 것에 응답하여, 배향을 표준 배향으로 조정하는 단계, 및 표준 배향으로의 렌더링을 제공하는 동안 변경되지 않은 이미지 슬라이스를 디스플레이하는 단계를 포함할 수 있다.
상기 발명의 내용은 발명을 실시하기 위한 구체적인 내용에서 추가로 기술되는 개념들의 선택을 단순화된 형태로 도입하도록 제공된다는 것을 이해하여야 한다. 청구된 주제의 주요한 또는 본질적인 특징들을 식별하고자 하는 것이 아니며, 그 범주는 상세한 설명을 뒤따르는 청구범위에 의해 고유하게 규정된다. 게다가, 청구된 주제는 상기에 또는 본 발명의 임의의 부분에서 언급된 임의의 단점들을 해결하는 구현예들로 제한되지 않는다.
본 발명은 첨부 도면들을 참조하여 비제한적인 실시예들의 하기의 설명을 읽음으로써 더 잘 이해될 것이다.
도 1은 예시적인 실시예에 따른 예시적인 초음파 이미징 시스템을 도시한다.
도 2는 일 실시예에 따른, 태아의 3차원(3D) 렌더링의 배향을 조정하고 3D 렌더링을 디스플레이하기 위한 방법의 흐름도를 도시한다.
도 3은 일 실시예에 따른, 초음파 이미징 시스템의 프로브의 위치가 변경된 것에 응답하여 3D 렌더링의 배향을 조정하고 3D 렌더링을 디스플레이하기 위한 방법의 흐름도를 도시한다.
도 4는 일 실시예에 따른, 3D 렌더링의 배향을 업데이트하고 3D 렌더링을 디스플레이하기 위한 방법의 흐름도를 도시한다.
도 5는 일 실시예에 따른 예시적인 신경망(neural network)을 예시하는 개략도를 도시한다.
도 6은 일 실시예에 따른 신경망의 예시적인 노드를 예시하는 개략도를 도시한다.
도 7은 일 실시예에 따른 3D 렌더링의 개략도를 도시한다.
도 8a는 일 실시예에 따른, 3D 렌더링의 배향을 유지하기 위한 예시적인 프로세스의 개략도를 도시한다.
도 8b는 일 실시예에 따른, 3D 렌더링의 배향을 조정하기 위한 예시적인 프로세스의 개략도를 도시한다.
도 9는 일 실시예에 따른, 초음파 이미징 시스템의 디스플레이 디바이스의 제1 예시적인 사용자 인터페이스 디스플레이를 도시한다.
도 10은 일 실시예에 따른, 초음파 이미징 시스템의 디스플레이 디바이스의 제2 예시적인 사용자 인터페이스 디스플레이를 도시한다.
도 11은 일 실시예에 따른, 3D 렌더링에 대해 광원을 조정하기 위한 예시적인 프로세스의 개략도를 도시한다.
도 1은 예시적인 실시예에 따른 예시적인 초음파 이미징 시스템을 도시한다.
도 2는 일 실시예에 따른, 태아의 3차원(3D) 렌더링의 배향을 조정하고 3D 렌더링을 디스플레이하기 위한 방법의 흐름도를 도시한다.
도 3은 일 실시예에 따른, 초음파 이미징 시스템의 프로브의 위치가 변경된 것에 응답하여 3D 렌더링의 배향을 조정하고 3D 렌더링을 디스플레이하기 위한 방법의 흐름도를 도시한다.
도 4는 일 실시예에 따른, 3D 렌더링의 배향을 업데이트하고 3D 렌더링을 디스플레이하기 위한 방법의 흐름도를 도시한다.
도 5는 일 실시예에 따른 예시적인 신경망(neural network)을 예시하는 개략도를 도시한다.
도 6은 일 실시예에 따른 신경망의 예시적인 노드를 예시하는 개략도를 도시한다.
도 7은 일 실시예에 따른 3D 렌더링의 개략도를 도시한다.
도 8a는 일 실시예에 따른, 3D 렌더링의 배향을 유지하기 위한 예시적인 프로세스의 개략도를 도시한다.
도 8b는 일 실시예에 따른, 3D 렌더링의 배향을 조정하기 위한 예시적인 프로세스의 개략도를 도시한다.
도 9는 일 실시예에 따른, 초음파 이미징 시스템의 디스플레이 디바이스의 제1 예시적인 사용자 인터페이스 디스플레이를 도시한다.
도 10은 일 실시예에 따른, 초음파 이미징 시스템의 디스플레이 디바이스의 제2 예시적인 사용자 인터페이스 디스플레이를 도시한다.
도 11은 일 실시예에 따른, 3D 렌더링에 대해 광원을 조정하기 위한 예시적인 프로세스의 개략도를 도시한다.
하기의 설명은 태아의 3차원(3D) 렌더링의 배향을 조정하고 3D 렌더링을 디스플레이하는 다양한 실시예들에 관한 것이다. 3D 렌더링을 위한 이미징 데이터를 생성하기 위한 하나의 예시적인 초음파 이미징 시스템이 도 1에 도시되어 있다. 도 2 내지 도 4는, 3D 렌더링의 배향을 조정하고 3D 렌더링을 디스플레이하기 위한 다양한 방법들을 도시한다. 3D 렌더링에 의해 도시된 하나 이상의 해부학적 특징부들을 인식하기 위한 예시적인 신경망이 도 5 및 도 6에 의해 도시되어 있다. 3D 렌더링의 개략도가 도 7에 도시되어 있다. 3D 렌더링의 배향을 유지 및 조정하기 위한 예시적인 프로세스들의 개략도들이 도 8a 및 도 8b에 각각 도시되어 있다. 또한, 3D 렌더링에 대해 광원을 조정하기 위한 예시적인 프로세스의 개략도가 도 11에 도시되어 있다. 도 9 및 도 10은 초음파 이미징 시스템의 디스플레이 디바이스의 예시적인 사용자 인터페이스 디스플레이들을 도시하며, 여기서 2차원(2D) 이미지 슬라이스 및 3D 렌더링이 동시에 디스플레이된다.
도 1은 일 실시예에 따른 시스템(100)의 블록도를 도시한다. 예시된 실시예에서, 시스템(100)은 이미징 시스템, 더 구체적으로는, 초음파 이미징 시스템이다. 그러나, 본 명세서에 기재된 실시예들은 다른 타입들의 의료 이미징 양식(modality)들(예컨대, MR, CT, PET/CT, SPECT 등)을 사용하여 구현될 수 있음이 이해된다. 또한, 다른 실시예들은 의료 이미지들을 능동적으로 획득하지 않는다는 것이 이해된다. 대신에, 실시예들은 이미징 시스템에 의해 이전에 획득된 이미지 또는 초음파 데이터를 검색할 수 있고, 본 명세서에 기재된 바와 같은 이미지 데이터를 분석할 수 있다. 도시된 바와 같이, 시스템(100)은 다수의 컴포넌트들을 포함한다. 컴포넌트들은 서로 커플링되어 단일 구조물을 형성할 수 있거나, 별개이지만 공통 룸(room) 내에 위치될 수 있거나, 또는 서로에 대해 원격으로 위치될 수 있다. 예를 들어, 본 명세서에 기술된 모듈들 중 하나 이상은, 프로브 및 사용자 인터페이스와 같은 시스템(100)의 다른 컴포넌트들에 대해 별개의 원격 위치를 갖는 데이터 서버에서 동작할 수 있다. 선택적으로, 초음파 시스템들의 경우에, 시스템(100)은 룸으로부터 룸으로 (예컨대, 휴대가능하게) 이동될 수 있는 일원화된 시스템일 수 있다. 예를 들어, 시스템(100)은 바퀴들을 포함할 수 있거나 또는 카트 상에서 수송될 수 있다.
도시된 실시예에서, 시스템(100)은, (예컨대, 연속적 또는 펄스형) 초음파 신호들을 대상의 신체 또는 볼륨(도시되지 않음) 내로 방출하도록 진단 초음파 프로브(106)(또는 트랜스듀서) 내의 요소들(104), 예를 들어 압전 결정들의 어레이를 구동하는 송신기(102) 및 송신 빔형성기(101)를 포함한다. 요소들(104) 및 프로브(106)는 다양한 기하학적 구조들을 가질 수 있다. 초음파 신호들은 요소들(104)로 복귀하는 에코(echoe)들을 생성하기 위해 신체 내의 구조물들, 예를 들어 태아의 안면 특징부들로부터 후방-산란(back-scattering)된다. 에코들은 수신기(108)에 의해 수신된다. 수신된 에코들은, 빔형성을 수행하고 무선 주파수(radio frequency, RF) 신호를 출력하는 수신 빔형성기(110)에 제공된다. 이어서, RF 신호는 RF 신호를 프로세싱하는 RF 프로세서(112)에 제공된다. 대안으로, RF 프로세서(112)는 에코 신호들을 표현하는 I/Q 데이터 쌍들을 형성하기 위해 RF 신호를 복조하는 복합 복조기(도시되지 않음)를 포함할 수 있다. 이어서, RF 또는 I/Q 신호 데이터는 저장(예를 들어, 임시 저장)을 위한 메모리(114)에 직접 제공될 수 있다. 시스템(100)은, 또한, 단일 프로세싱 유닛(예컨대, 프로세서)의 일부일 수 있거나 다수의 프로세싱 유닛들에 걸쳐서 분배될 수 있는 시스템 제어기(116)를 포함한다. 시스템 제어기(116)는 시스템(100)의 동작을 제어하도록 구성된다.
예를 들어, 시스템 제어기(116)는, 이미지 데이터(예컨대, RF 신호 데이터 또는 I/Q 데이터 쌍들의 형태의 초음파 신호들)를 수신하고 이미지 데이터를 프로세싱하는 이미지 프로세싱 모듈을 포함할 수 있다. 예를 들어, 이미지 프로세싱 모듈은 조작자에게 디스플레이하기 위해 초음파 정보의 2D 슬라이스들 또는 프레임들(예컨대, 초음파 이미지들) 또는 초음파 파형들(예컨대, 연속 또는 펄스 파 도플러 스펙트럼 또는 파형들)을 생성하도록 초음파 신호들을 프로세싱할 수 있다. 유사하게, 이미지 프로세싱 모듈은 조작자에게 디스플레이하기 위해 초음파 정보의 3D 렌더링들(예컨대, 초음파 이미지들)을 생성하도록 초음파 신호들을 프로세싱할 수 있다. 시스템(100)이 초음파 시스템일 때, 이미지 프로세싱 모듈은 획득된 초음파 정보에 대한 복수의 선택가능한 초음파 양식들에 따라 하나 이상의 프로세싱 동작들을 수행하도록 구성될 수 있다. 단지 예로서, 초음파 양식들은 컬러 플로우(color-flow), ARFI(acoustic radiation force imaging), B-모드, A-모드, M-모드, 스펙트럼 도플러, 음향 스트리밍, 조직 도플러 모듈, C-스캔, 및 탄성영상(elastography)을 포함할 수 있다.
획득된 초음파 정보는 에코 신호들이 수신됨에 따라 이미징 세션(또는 스캐닝 세션) 동안 실시간으로 프로세싱될 수 있다. 추가로 또는 대안으로, 초음파 정보는 이미징 세션 동안 메모리(114)에 일시적으로 저장될 수 있고, 실시간에서가 아닌 라이브 또는 오프라인 동작에서 프로세싱될 수 있다. 즉시 디스플레이되도록 스케줄링되지 않은 획득된 초음파 정보의 프로세싱된 슬라이스들 또는 파형들을 저장하기 위한 이미지 메모리(120)가 포함된다. 이미지 메모리(120)는 임의의 공지된 데이터 저장 매체, 예를 들어 영구 저장 매체, 탈착식 저장 매체 등을 포함할 수 있다. 추가로, 이미지 메모리(120)는 비일시적 저장 매체일 수 있다.
동작 시에, 초음파 시스템은 다양한 기법들(예를 들어, 3D 스캐닝, 실시간 3D 이미징, 볼륨 스캐닝, 포지셔닝 센서들을 갖는 프로브들에 의한 2D 스캐닝, 복셀 상관 기법을 이용한 프리핸드(freehand) 스캐닝, 2D 또는 매트릭스 어레이 프로브들을 사용한 스캐닝 등)에 의해 데이터, 예를 들어 2D 데이터세트들, 스펙트럼 도플러 데이터세트들, 및/또는 볼륨 데이터세트들을 획득할 수 있다. 초음파 스펙트럼(예컨대, 파형들) 및/또는 이미지들은 획득된 데이터로부터 (제어기(116)에서) 생성될 수 있고, 디스플레이 디바이스(118) 상에서 조작자 또는 사용자에게 디스플레이될 수 있다.
시스템 제어기(116)는, 조작자가 시스템(100)의 동작들 중 적어도 일부를 제어할 수 있게 하는 사용자 인터페이스(122)에 동작가능하게 연결된다. 사용자 인터페이스(122)는 개인(예컨대, 조작자)이 시스템(100) 및 그의 다양한 컴포넌트들의 동작을 직접적으로 또는 간접적으로 제어할 수 있게 하는 하드웨어, 펌웨어, 소프트웨어, 또는 이들의 조합을 포함할 수 있다. 도시된 바와 같이, 사용자 인터페이스(122)는 디스플레이 영역(117)을 갖는 디스플레이 디바이스(118)를 포함한다. 일부 실시예들에서, 사용자 인터페이스(122)는, 또한, 물리적 키보드, 마우스, 및/또는 터치패드와 같은 하나 이상의 사용자 인터페이스 입력 디바이스들(115)을 포함할 수 있다. 일 실시예에서, 터치패드는 사용자가 터치패드의 면을 가로질러서 손가락/장갑/스타일러스를 이동시킬 때, 디스플레이 디바이스(118) 상의 초음파 이미지 또는 도플러 스펙트럼 맨 위의 커서가 대응하는 방식으로 이동하도록 시스템 제어기(116) 및 디스플레이 영역(117)에 대해 구성될 수 있다.
예시적인 실시예에서, 디스플레이 디바이스(118)는, 디스플레이 영역(117) 상에서 조작자로부터의 터치의 존재를 검출할 수 있고, 또한, 디스플레이 영역(117) 내의 터치의 위치를 식별할 수 있는 터치 감응형 디스플레이(예컨대, 터치스크린)이다. 터치는, 예를 들어, 개인의 손, 장갑, 스타일러스 등 중 적어도 하나에 의해 적용될 수 있다. 이와 같이, 터치 감응형 디스플레이는, 또한, 조작자로부터 입력들(예컨대, 디스플레이된 이미지의 배향을 조정하거나 업데이트하라는 요청)을 수신하도록 구성된 입력 디바이스로서 특징지어질 수 있다. 디스플레이 디바이스(118)는, 또한, 정보를 조작자에게 디스플레이함으로써 제어기(116)로부터 조작자에게 정보를 통신한다. 디스플레이 디바이스(118) 및/또는 사용자 인터페이스(122)는 또한 가청적으로 통신될 수 있다. 디스플레이 디바이스(118)는 이미징 또는 데이터 획득 세션 동안 또는 그 후에 조작자에게 정보를 제시하도록 구성된다. 제시된 정보는 초음파 이미지들(예컨대, 하나 이상의 2D 슬라이스들 및 3D 렌더링들), 그래픽 요소들, 디스플레이된 이미지들의 측정 그래픽들, 사용자 선택가능한 요소들, 사용자 설정들, 및 다른 정보(예컨대, 관리 정보, 환자의 개인 정보 등)를 포함할 수 있다.
이미지 프로세싱 모듈에 더하여, 시스템 제어기(116)는 또한 그래픽 모듈, 초기화 모듈, 추적 모듈, 및 분석 모듈 중 하나 이상을 포함할 수 있다. 이미지 프로세싱 모듈, 그래픽 모듈, 초기화 모듈, 추적 모듈, 및/또는 분석 모듈은 이미징 세션 동안 그리고/또는 그 후에 조작자에게 정보를 제시하기 위해 서로 협력할 수 있다. 예를 들어, 이미지 프로세싱 모듈은 디스플레이 디바이스(118) 상에 획득된 이미지를 디스플레이하도록 구성될 수 있고, 그래픽 모듈은, 이미지와 관련된 선택가능한 아이콘들(예컨대, 이미지 회전 아이콘들) 및 측정 파라미터들(예컨대, 데이터)과 같은 디스플레이된 이미지와 함께, 지정된 그래픽들을 디스플레이하도록 구성될 수 있다. 제어기는, 도 2, 도 5, 및 도 6을 참조하여 하기에서 추가로 기술되는 바와 같이, 3D 렌더링과 같은 생성된 초음파 이미지에 의해 묘사되는 하나 이상의 해부학적 특징부들을 자동으로 인식하기 위해 제어기의 메모리 내에 저장된 하나 이상의 신경망들(예컨대, 신경망들의 시스템) 및 알고리즘들을 포함할 수 있다. 일부 예들에서, 제어기는, 본 명세서에서 논의되는 심층 학습 및 특징부 인식을 수행하기 위한 하나 이상의 심층 신경망들 및 명령어들을 포함하는 심층 학습 모듈을 포함할 수 있다.
디스플레이 디바이스(118)의 디스플레이 영역(117)의 스크린은 프로브(106)로 획득된 데이터를 디스플레이하는 일련의 픽셀들로 구성된다. 획득된 데이터는 디스플레이의 각각의 픽셀 또는 픽셀들의 그룹(예를 들어, 동일한 파라미터 값을 할당받은 픽셀들의 그룹)에 대해 계산된 하나 이상의 이미징 파라미터들을 포함하며, 여기서 하나 이상의 계산된 이미지 파라미터들은 세기, 속도(예컨대, 혈류 속도), 컬러 플로우 속도, 텍스처, 입자성(graininess), 수축성(contractility), 변형, 및 변형률 값 중 하나 이상을 포함한다. 이어서, 일련의 픽셀들은 획득된 초음파 데이터로부터 생성된 디스플레이된 이미지 및/또는 도플러 스펙트럼을 구성한다.
시스템(100)은 스캐닝된 물체(예컨대, 태아)의 이미징 데이터를 획득하는 데 사용되는 의료용 초음파 시스템일 수 있다. 획득된 이미지 데이터는 하나 이상의 초음파 이미지들을 생성하는 데 사용될 수 있고, 초음파 이미지들은, 이어서, 사용자 인터페이스(115)의 디스플레이 디바이스(118)를 통해 디스플레이될 수 있다. 하나 이상의 생성된 초음파 이미지들은, 예를 들어, 2D 이미지 슬라이스 및 3D 렌더링을 포함할 수 있다. 예를 들어, 위에서 논의된 이미지 프로세싱 모듈은 2D 이미지 슬라이스 및 3D 렌더링을 생성하고 동시에 디스플레이하도록 프로그래밍될 수 있다.
대체적으로, 태아의 초음파 이미징 동안, 태아는 복수의 위치들 중 하나에 있을 수 있고, 이는, 추가로, 초음파 프로브(106)에 대해 복수의 배향들 중 하나로 있을 수 있다. 예를 들어, 태아는 초음파 프로브(106)에 대해 비-표준 배향, 예컨대 하향으로 배향될 수 있다(예컨대, 여기서 초음파 프로브는 제조업자에 의해 뒤집힌 상태로 지정된 위치에 유지됨). 이와 같이, 태아의 획득된 이미징 데이터는 또한 비-표준 배향으로 태아를 묘사한 초음파 이미지들을 가져올 수 있다. 일부 예들에서, 획득된 이미징 데이터의 배향은 초음파 프로브(106)의 사용자(예컨대, 전문 의료진)에 의한 수동 개입을 통해 표준 배향으로 조정될 수 있다. 제1 예로서, 초음파 프로브(106)의 위치 또는 배향은 획득된 이미징 데이터가 초음파 프로브(106)에 대한 표준 배향으로 태아를 묘사하도록 변경될 수 있다. 제2 예로서, 디스플레이 디바이스(118)에서의 초음파 이미지의 디스플레이 시에, 사용자는 디스플레이된 이미지의 배향을 조정하라는(예컨대, 반전시키라는) 요청을 제어기(116)에 송신하는 아이콘을 선택할 수 있다. 그러나, 초음파 프로브의 사용자 및 검사받고 있는 환자 둘 모두에게 디스플레이 디바이스(118)에서 초음파 이미지들이 제시되는 예들에서, 초음파 이미지들의 배향의 수동 제어는 사용자 혼동 또는 환자 오보를 초래할 수 있다.
본 명세서에 개시된 실시예들에 따르면, 전술된 문제들은 생성된 초음파 이미지(예컨대, 3D 렌더링)의 배향을 자동으로 조정함으로써 적어도 부분적으로 해결될 수 있다. 또한, 일부 예들에서, 다른 생성된 초음파 이미지(예컨대, 2D 이미지 슬라이스)가 획득된 배향(예컨대, 비-조정된 배향)으로 제시되어, 초음파 프로브에 대한 대상(예컨대, 태아)의 실제 위치에 대한 추가 정보를 사용자에게 제공할 수 있다. 이와 같이, 잘못된 사용자 입력 - 이는 또한 사용자 혼동의 결과일 수 있음 - 에 기인한 에러가 최소화될 수 있고, 그에 상응하여, 환자 및/또는 전문 의료진 오보가 감소될 수 있다.
이제 도 2를 참조하면, 획득된 이미징 데이터, 예컨대 초음파 이미징 시스템으로부터 획득된 태아 이미징 데이터로부터 2D 이미지 슬라이스 및 3D 렌더링을 생성하고, 이어서, 2D 이미지 슬라이스 및 3D 렌더링을 동시에 디스플레이하기 위한 방법(200)이 도시되며, 여기서 3D 렌더링은 원하는 배향 또는 표준 배향으로 디스플레이될 수 있다.
방법(200)은 도 1에 도시된 시스템들 및 컴포넌트들과 관련하여 하기에서 기술되지만, 방법(200)은 본 발명의 범주로부터 벗어남이 없이 다른 시스템들 및 컴포넌트들로 구현될 수 있다는 것을 이해해야 한다. 일부 실시예들에서, 방법(200)은 이미징 시스템(100), 이미징 시스템(100)에 접속된 에지 디바이스(예컨대, 외부 컴퓨팅 디바이스), 이미징 시스템과 통신하는 클라우드 등의 임의의 적절한 조합으로 실행가능 명령어들로서 구현될 수 있다. 일례로서, 방법(200)은 도 1의 이미징 시스템(100)의 제어기(예컨대, 프로세서)와 같은 컴퓨팅 디바이스의 비일시적 메모리에서 구현될 수 있다.
방법(200)은 태아 이미징 데이터가 초음파 이미저의 프로브로부터 획득될 수 있는 205에서 시작할 수 있다. 초음파 이미저는, 예를 들어, 도 1에 도시된 이미징 시스템(100)의 하나 이상의 컴포넌트들일 수 있다. 그러한 예들에서, 프로브는 초음파 프로브(106)일 수 있다. 프로브는 태아를 이미징 및 모니터링하는 데 사용될 수 있다. 태아 이미징 데이터는 초음파 이미저의 프로브의 트랜스듀서 요소들(예컨대, 도 1의 요소들(104))에 의해 송신되는 초음파 파들의 초음파 에코들을 포함할 수 있다. 일부 예들에서, 이미징 데이터는 볼륨 초음파 데이터를 포함할 수 있다. 또한, 볼륨 초음파 데이터는 초음파 프로브의 하나 이상의 위치 파라미터들, 예컨대 태아로부터의 초음파 프로브의 거리 및 태아에 대한 초음파 프로브의 배향에 기초할 수 있다. 일부 예들에서, 이미징 데이터는 생리학적 및/또는 시간적 파라미터들, 다차원 좌표들의 세트들, 및 이미지 프로세싱 모듈에서 태아 이미징 데이터를 프로세싱하는 데 유용한 다른 정보를 추가로 포함할 수 있다.
210에서, 방법(200)은 태아 이미징 데이터로부터 태아를 묘사하는 2D 이미지 슬라이스 및 3D 렌더링 각각을 생성하는 단계를 포함할 수 있다. 3D 렌더링은 광선 캐스팅 기법을 통해 생성되어, 볼륨 초음파 데이터가 초음파 프로브의 뷰로부터 태아를 묘사하는 데 활용될 수 있도록 할 수 있다. 예를 들어, 3D 렌더링은 태아의 외부의 물리적 외관에 대응하는 (예컨대, 볼륨 초음파 데이터로부터의) 볼륨을 묘사할 수 있다. 또한, 2D 이미지 슬라이스는 볼륨의 타깃화된 시상 슬라이스(예컨대, 태아의 머리의 프로파일)에 대응할 수 있다. 2D 이미지 슬라이스 및 3D 렌더링 각각은 태아에 대한 초음파 프로브의 배향에 기인한 획득된 배향 또는 디폴트 배향으로 생성될 수 있다.
3D 렌더링은 사용자에게 더 양호한 깊이 지각을 제시하기 위해 음영처리될 수 있다. 이는 다양한 실시예들에 따라 여러 개의 상이한 방식들로 수행될 수 있다. 예를 들어, 복수의 표면들이 볼륨 초음파 데이터에 기초하여 정의될 수 있고/있거나 복셀 데이터가 광선 캐스팅을 통해 음영처리될 수 있다. 일 실시예에 따르면, 그레디언트가 각각의 픽셀에서 계산될 수 있다. 제어기(116)(도 1에 도시됨)는 각각의 픽셀에 대응하는 위치들에서의 광의 양을 컴퓨팅할 수 있고, 그레디언트들 및 특정 광 방향들에 기초하여 하나 이상의 음영처리 방법들을 적용할 수 있다. 뷰 방향은 3D 렌더링 위로부터 기울어진 것과 같은 표준 뷰 방향에 대응할 수 있다. 제어기(116)는, 또한, 3D 렌더링을 생성할 때 다수의 광원들을 입력들로서 사용할 수 있다.
일례에서, 광선 캐스팅할 때, 제어기(116)는 각각의 광선을 따르는 특정 뷰 방향으로 각각의 복셀로부터 얼마나 많은 광이 반사, 산란, 또는 투과되는지를 계산할 수 있다. 이는 다수의 광원들(예컨대, 점 광원들)로부터의 기여들을 합산하는 것을 수반할 수 있다. 제어기(116)는 볼륨 내의 모든 복셀들로부터의 기여들을 계산할 수 있다. 이어서, 제어기(116)는 3D 렌더링 상의 디스플레이된 픽셀의 최종 값을 컴퓨팅하기 위해 모든 복셀들로부터의 값들 또는 이웃하는 복셀들로부터의 내삽 값들을 합성할 수 있다. 전술된 예가 복셀 값들이 광선들을 따라서 통합되는 실시예를 기술하지만, 3D 렌더링들은, 또한, 각각의 광선을 따르는 최고 값을 사용하는 것, 각각의 광선을 따르는 평균 값을 사용하는 것, 또는 임의의 다른 볼륨-렌더링 기법을 이용하는 것과 같은 다른 기법들에 따라 계산될 수 있다.
215에서, 방법(200)은 3D 렌더링에서 묘사된 태아의 하나 이상의 해부학적 특징부들을 검색하는 단계를 포함할 수 있다. 하나 이상의 해부학적 특징부들은 사지(limbs)와 같은 태아의 외부 물리적 특징부들을 포함할 수 있다. 일부 예들에서, 하나 이상의 해부학적 특징부들은 코, 입, 한쪽 눈 또는 양쪽 눈, 한쪽 귀 또는 양쪽 귀 등과 같은 하나 이상의 안면 특징부들을 포함할 수 있다. 일부 예들에서, 안면 인식 알고리즘들은, 하나 이상의 안면 특징부들을 검색하고 후속으로 그들을 자동으로 식별하기 위해 채용될 수 있다. 그러한 안면 인식 알고리즘들은 심층 신경망, 또는 심층 신경망들의 시스템, 예컨대 도 5 및 도 6을 참조하여 기술되는 예시적인 신경망을 포함할 수 있다. 일부 예들에서, 심층 신경망, 또는 심층 신경망들의 시스템은 생성된 3D 렌더링으로부터 하나 이상의 안면 특징부들을 식별하기 전에 추가 3D 렌더링들의 트레이닝 세트로 트레이닝될 수 있다.
220에서, 방법(200)은 하나 이상의 해부학적 특징부들이 식별되었는지의 여부를 자동으로 결정하는 단계를 포함할 수 있다. 하나 이상의 해부학적 특징부들이 식별되지 않은 경우, 예컨대 안면 인식 알고리즘이 하나 이상의 안면 특징부들을 인식하지 않은 경우, 방법(200)은 245로 진행하여, 2D 이미지 슬라이스 및 3D 렌더링을 동시에 디스플레이할 수 있다. 그러한 예들에서, 2D 이미지 슬라이스 및 3D 렌더링 각각은, 전술된 바와 같이, 획득된 배향들로 디스플레이될 수 있다. 이어서, 방법(200)이 종료될 수 있다.
하나 이상의 해부학적 특징부들이 식별된 경우, 예컨대 안면 인식 알고리즘이 하나 이상의 안면 특징부들에 대응하는 좌표들을 반환한 경우, 방법(200)은 225로 진행하여, 하나 이상의 해부학적 특징부들에 기초하여 수직축을 결정할 수 있다. 일부 예들에서, "수직축"은 코, 입, 턱, 이마 등을 따라 태아의 안면을 양분하는 라인에 평행한 양방향 축을 지칭할 수 있다. 일부 예들에서, 수직축은 하나 이상의 해부학적 특징부들에 기초하여 가로축을 먼저 결정함으로써 결정될 수 있다. 일부 예들에서, "가로축"은 각각의 눈 또는 각각의 귀를 양분하는 라인에 평행한 양방향 축을 지칭할 수 있다. 이와 같이, 수직축은 추가 안면 특징부(예컨대, 코 또는 입)를 양분하는 가로축에 수직인 축으로서 생성될 수 있다. 추가의 예들이 도 7을 참조하여 하기에서 기술된다.
230에서, 방법(200)은 수직축에 대한 3D 렌더링의 배향을 결정하는 단계를 포함할 수 있다. 예를 들어, 3D 렌더링의 배향은 수직축에 평행한 제1 벡터에 의해 표현될 수 있고, 입으로부터 코 내지 이마로 지향되는 것과 같은 표준 방향으로 지향될 수 있다. 이러한 방식으로, 3D 렌더링의 배향은 수직축 및 하나 이상의 식별된 해부학적 특징부들에 기초하여 자동으로 결정될 수 있다. 제2 벡터는, 추가로, 초음파 프로브에 대해 표준 방향으로 지향된 것으로 정의될 수 있다. 예를 들어, 제2 벡터의 표준 방향은 초음파 프로브에 대한 디폴트, 상향 방향일 수 있다(예컨대, 여기서 초음파 프로브는 제조자에 의해 직립으로 지정된 위치에 유지되는 것으로 가정될 수 있다).
235에서, 방법(200)은 3D 렌더링이 원하는 배향으로 있는지의 여부를 결정하는 단계를 포함할 수 있다. 예를 들어, 원하는 배향은 3D 렌더링의 표준 배향을 포함할 수 있다(예컨대, 태아의 머리가 태아의 몸통 위에 있는 것으로 묘사되는 경우 또는 태아의 코가 태아의 입 위에 있는 것으로 묘사되는 경우와 같이, 태아가 디스플레이 디바이스에 대해 직립 위치에 있는 것으로 묘사되는 경우). 제2 벡터가 원하는 배향 또는 표준 배향으로서 정의되는 예들에서, 3D 렌더링이 원하는 배향으로 있는지의 여부를 결정하는 것은 3D 렌더링의 결정된 배향(예컨대, 제1 벡터)이 제2 벡터의 임계 각도(예컨대, 30°, 20°, 또는 10° 미만) 내에 있는지의 여부를 결정하는 것을 포함할 수 있다. 3D 렌더링이 원하는 배향으로 있는지의 여부를 결정하는 프로세스의 예시적인 실시예들이 도 8a 및 도 8b를 참조하여 하기에 기술된다.
3D 렌더링이 원하는 배향으로 있는 경우(예컨대, 제1 벡터와 제2 벡터 사이의 결정된 각도가 제2 벡터의 임계 각도 내에 있는 경우), 방법(200)은 245로 진행하여, 2D 이미지 슬라이스 및 3D 렌더링을 동시에 디스플레이할 수 있으며, 여기서 3D 렌더링은 결정된 배향으로 디스플레이 및 유지될 수 있다. 그러한 예들에서, 결정된 배향은 원하는 배향 또는 표준 배향으로 간주될 수 있다. 일부 예들에서, 2D 이미지 슬라이스는 획득된 배향으로 디스플레이될 수 있다. 이어서, 방법(200)이 종료될 수 있다.
3D 렌더링이 원하는 배향으로 있지 않은 경우(예컨대, 제1 벡터와 제2 벡터 사이의 결정된 각도가 제2 벡터의 임계 각도 밖에 있는 경우), 방법(200)은 240으로 진행하여, 3D 렌더링의 결정된 배향을 원하는 배향 또는 표준 배향으로 자동으로 조정할 수 있다. 일부 예들에서, 결정된 배향을 자동으로 조정하는 것은, 제2 벡터가 제1 벡터에 평행하고 제1 벡터와 동일한 방향으로 배향될 때까지, 수직축 및 가로축에 상호 수직인 회전 축을 중심으로 3D 렌더링을 회전시키는 것을 포함할 수 있다. 즉, 그러한 예들에서, 3D 렌더링의 회전은 3D 렌더링의 배향을 결정하는 데 사용되는 수직축, 또는 수직축을 결정하는 데 사용되는 가로축을 중심으로 수행되지 않을 수 있다. 추가의 또는 대안의 예들에서, 결정된 배향을 자동으로 조정하는 것은 3D 렌더링의 결정된 배향을 자동으로 반전시키는 것(예컨대, 회전 축을 중심으로 3D 렌더링을 180° 회전시키는 것)을 포함할 수 있다. 다른 예들에서, 3D 렌더링의 결정된 배향을 자동으로 조정하는 것은, 대신에, 볼륨 데이터에 의해 표현되는 볼륨을 유사한 방식으로 회전시키는 것, 및 이어서 회전된 볼륨에 기초하여 새로운 3D 렌더링을 원하는 배향으로 생성하는 것을 포함할 수 있다.
일부 예들에서, 3D 렌더링의 결정된 배향을 자동으로 조정하는 것은, 3D 렌더링의 하나 이상의 광원들(예컨대, 점 광원들)의 위치들을 자동으로 조정 또는 유지하는 것, 및 그에 따라, 렌더링된 이미지를 상이한 배향과 비교하여 재음영처리(re-shade)하는 것을 추가로 포함할 수 있다. 예를 들어, 하나 이상의 광원들은 결정된 배향으로 3D 렌더링에 대해 초기 위치에 있을 수 있다. 초기 위치들은, 예를 들어, 3D 렌더링을 마치 위로부터인 것처럼 조명하는(예컨대, 태양광 또는 실내에서의 오버헤드 조명을 시뮬레이션하는) 디폴트 위치들일 수 있다. 3D 렌더링의 결정된 배향을 원하는 배향으로 자동 조정할 시, 하나 이상의 광원들은 초기 위치들에 고정된 상태로 유지되어, 3D 렌더링이 바람직한 방식으로 조명될 수 있게 할 수 있다. 다른 예들에서, 하나 이상의 광원들은 조정된 배향으로 3D 렌더링의 바람직한 조명을 제공하기 위해 초기 위치로부터 조정될 수 있다. 3D 렌더링에 대해 예시적인 광원을 조정하는 프로세스의 예시적인 실시예가 도 11을 참조하여 하기에서 설명된다. 본 명세서에 기술된 바와 같은 음영처리 제어가 유의한 기술적 이점들을 제공할 수 있다는 것이 이해되어야 한다. 구체적으로, 이미지가 미보정된 배향으로 렌더링되는 경우, 적절한 배향을 기대하는 음영처리와 조합하여, (도 11에 도시된 바와 같이) 이미지가 부적절한 또는 원하지 않는 배향으로 있음을 사용자가 인식하는 것이 특히 어려울 수 있다. 이는, 예를 들어, 사용자들이 전형적으로 아래가 아니라 위로부터의 음영처리를 갖는 안면 특징부들을 인식할 때, 음영처리가 익숙하지 않음에 따라, 사용자가 3D 렌더링을 인식하는 것을 훨씬 더 어렵게 만드는 방향으로 음영처리가 생겨나기 때문이다. 따라서, 3D 데이터(이는 음영처리되지 않음)로부터 적절한 배향을 식별함으로써, 시스템은 적절한 배향을 더 잘 식별할 수 있고, 더 많이 인식가능한 배향으로뿐만 아니라 (사용자에게) 더 많이 인식가능한 방향으로부터의 음영처리를 갖고서 이미지를 디스플레이할 수 있다.
이러한 방식으로, 3D 렌더링의 획득된 배향은 하나 이상의 식별된 해부학적 특징부들에 따라 원하는 배향으로 자동으로 조정될 수 있다. 방법(200)은 245로 진행하여, 2D 이미지 슬라이스 및 3D 렌더링을 동시에 디스플레이할 수 있으며, 여기서 3D 렌더링은 조정된 배향으로 디스플레이될 수 있다. 그러한 예들에서, 조정된 배향은 원하는 배향 또는 표준 배향으로 간주될 수 있다.
일부 예들에서, 2D 이미지 슬라이스는 그의 획득된 배향으로 디스플레이될 수 있다. 일부 예들에서, 2D 이미지 슬라이스의 획득된 배향은, 3D 렌더링에서 태아의 머리의 상향 배향 및 하향 배향에 각각 대응할 수 있는 좌측 배향 또는 우측 배향으로 태아의 머리의 시상 슬라이스를 묘사하는 것을 포함할 수 있다. 이와 같이, 초음파 이미징 시스템의 사용자는 3D 렌더링의 배향이 자동으로 조정되었는지의 여부를 추론할 수 있다. 예를 들어, 2D 이미지 슬라이스가 우측 배향으로 디스플레이되고 3D 렌더링이 상향 배향으로 디스플레이되는 경우, 초음파 이미징 시스템의 사용자는 3D 렌더링이 하향 배향으로부터 자동으로 조정되었음을 추론할 수 있다. 일부 예들에서, 통지 또는 경고는 3D 렌더링의 배향이 하나 이상의 식별된 해부학적 특징부들에 기초하여 자동으로 조정되었을 때 추가로 디스플레이될 수 있다. 추가의 또는 대안의 예들에서, 3D 렌더링의 배향이 자동으로 조정되었을 때, 디스플레이된 3D 렌더링의 초기 컬러 채널이 변경될 수 있다. 예를 들어, 디스플레이된 3D 렌더링은 초기에 황갈색 단색(tan monochrome)과 같은 초기 컬러 채널에서 디폴트로 디스플레이될 수 있고, 3D 렌더링의 배향이 자동으로 조정되었을 때 그레이 단색과 같은 변경된 컬러 채널에서 디스플레이될 수 있다. 그러한 디스플레이들의 2개의 예들이 도 9 및 도 10을 참조하여 하기에서 제공된다. 이러한 방식으로, 태아의 디스플레이된 이미지들이 표준 배향으로 조정되었다 하더라도, 초음파 이미징 시스템의 사용자(예컨대, 전문 의료진)에게 태아의 동등한 양의 생리학적 및 위치 기반 정보가 제공될 수 있다. 이어서, 방법(200)이 종료될 수 있다.
이제 도 3을 참조하면, 초음파 이미징 프로브의 위치가 변경되는 것에 응답하여 3D 렌더링의 배향을 조정하고, 이어서 조정된 배향으로 3D 렌더링을 디스플레이하기 위한 방법(300)이 도시되어 있다. 일부 예들에서, 3D 렌더링의 배향을 조정하는 것은 3D 렌더링의 배향을 원하는 배향 또는 표준 배향으로 조정하는 것을 포함할 수 있다. 일부 예들에서, 방법(300)은 방법(200)을 뒤이을 수 있다. 이와 같이, 일부 예들에서, 3D 렌더링은 초기에 원하는 배향 또는 표준 배향으로 디스플레이될 수 있다.
방법(300)은 도 1에 도시된 시스템들 및 컴포넌트들과 관련하여 하기에서 기술되지만, 방법(300)은 본 발명의 범주로부터 벗어남이 없이 다른 시스템들 및 컴포넌트들로 구현될 수 있다는 것을 이해해야 한다. 일부 실시예들에서, 방법(300)은 이미징 시스템(100), 이미징 시스템(100)에 접속된 에지 디바이스(예컨대, 외부 컴퓨팅 디바이스), 이미징 시스템과 통신하는 클라우드 등의 임의의 적절한 조합으로 실행가능 명령어들로서 구현될 수 있다. 일례로서, 방법(300)은 도 1의 이미징 시스템(100)의 제어기(예컨대, 프로세서)와 같은 컴퓨팅 디바이스의 비일시적 메모리에서 구현될 수 있다.
방법(300)은 305에서 시작할 수 있으며, 여기서 방법(300)은 (예컨대, 하나 이상의 초음파 이미지들의 초기 생성 및 디스플레이에 뒤이어) 초음파 프로브의 위치가 변경되었는지의 여부를 결정할 수 있다. 예를 들어, 초음파 프로브의 위치는 초음파 프로브의 사용자(예컨대, 전문 의료진)에 의해 수동으로 변경될 수 있다. 초음파 프로브의 위치가 변경되지 않은 경우, 방법(300)은 310으로 진행하여, 현재 디스플레이를 유지할 수 있다. 예를 들어, 현재 디스플레이는, 도 2를 참조하여 전술된 바와 같이, 방법(200)에 따라 생성 및 디스플레이되는 바와 같은 2D 이미지 슬라이스 및 3D 렌더링을 포함할 수 있다. 이어서, 방법(300)이 종료될 수 있다.
초음파 프로브의 위치가 변경된 경우, 방법(300)은 315로 진행하여, 초음파 프로브의 변경된 위치가 태아의 검출 범위 밖에 있는지의 여부를 결정할 수 있다. 예를 들어, 태아의 하나 이상의 해부학적 특징부들은 이전에 식별되었을 수 있고, 후속으로, (예컨대, 도 5 및 도 6의 신경망을 통해) 변경된 위치에서 초음파 프로브로부터 수신된 이미징 데이터에 더 이상 존재하지 않는 것으로 결정된다. 이와 같이, 초음파 프로브의 변경된 위치가 검출 범위 밖에 있는 경우, 방법(300)은 320으로 진행하여, 통지 또는 경고를 생성 및 디스플레이할 수 있다. 통지는 초음파 프로브가 태아의 검출 범위 밖에 있음을 초음파 이미징 시스템의 사용자에게 나타낼 수 있다. 일부 예들에서, 통지는 초음파 프로브의 변경된 위치가 태아의 검출 범위 내에서 뒤로 수동으로 조정되어야 함을 나타내는 프롬프트를 포함할 수 있다. 또한, 일부 예들에서, 2D 이미지 슬라이스 및 3D 렌더링은 계속해서 디스플레이될 수 있고, 새롭게 수신된 태아 이미징 데이터에 응답하여(예컨대, 초음파 프로브가 이동되는 것에 응답하여) 외관이 변할 수 있다. 그러나, 그러한 예들에서, 3D 렌더링의 배향은 자동으로 조정되지 않을 수 있다. 이어서, 방법(300)이 종료될 수 있다.
초음파 프로브의 변경된 위치가 검출 범위 내에 있는 경우, 방법(300)은 325로 진행하여, 3D 렌더링의 배향을 원하는 배향 또는 표준 배향으로 자동으로 조정할 수 있다. 일부 예들에서, 도 2에 기술된 바와 같은 방법(200)의 215 내지 245에서 기술된 것과 유사한 절차가 3D 렌더링의 배향을 원하는 배향으로 자동으로 조정하기 위해 채용될 수 있다. 3D 렌더링의 배향이 (예컨대, 도 2의 방법(200)을 통해) 원하는 배향으로 이전에 조정되었던 예들에서, 방법(300)은 초음파 프로브의 위치가 변경된 이후의 배향을 재조정하거나 교정하는 것으로 간주될 수 있다. 초음파 이미징 시스템의 프로세싱 전력이 더 낮거나 렌더링 요구들이 더 높은 예들에서, (예컨대, 초음파 프로브의 이동으로부터) 태아 이미징 데이터의 수신과 3D 렌더링의 생성 사이에 지연이 일어날 수 있다. 그러한 예들에서, 3D 렌더링의 배향 및 디스플레이는 지연 후에만 조정될 수 있다. 다른 예들에서, 초음파 이미징 시스템은 초음파 프로브의 이동 시에 3D 렌더링의 배향의 자동 조정을 실시간으로 가능하게 할 수 있다. 이러한 방식으로, 초음파 프로브의 위치가 변경될 때 3D 렌더링의 배향이 원하는 배향 또는 표준 배향으로 자동으로 조정될 수 있다.
330에서, 방법(300)은 3D 렌더링을 원하는 배향 또는 표준 배향으로 디스플레이하는 단계를 포함할 수 있다. 이어서, 방법(300)이 종료될 수 있다.
이제 도 4를 참조하면, 3D 렌더링의 배향을 업데이트하고, 이어서, 3D 렌더링을 업데이트된 배향으로 디스플레이하기 위한 방법(400)이 도시되어 있다. 일부 예들에서, 3D 렌더링의 배향을 업데이트하는 것은 업데이트된 배향에 대한 사용자 요청에 응답한 것일 수 있다. 일부 예들에서, 방법(400)은 방법(200)을 뒤이을 수 있다. 이와 같이, 일부 예들에서, 3D 렌더링은 초기에 원하는 배향 또는 표준 배향으로 디스플레이될 수 있다.
방법(400)은 도 1에 도시된 시스템들 및 컴포넌트들과 관련하여 하기에서 기술되지만, 방법(400)은 본 발명의 범주로부터 벗어남이 없이 다른 시스템들 및 컴포넌트들로 구현될 수 있다는 것을 이해해야 한다. 일부 실시예들에서, 방법(400)은 이미징 시스템(100), 이미징 시스템(100)에 접속된 에지 디바이스(예컨대, 외부 컴퓨팅 디바이스), 이미징 시스템과 통신하는 클라우드 등의 임의의 적절한 조합으로 실행가능 명령어들로서 구현될 수 있다. 일례로서, 방법(400)은 도 1의 이미징 시스템(100)의 제어기(예컨대, 프로세서)와 같은 컴퓨팅 디바이스의 비일시적 메모리에서 구현될 수 있다.
방법(400)은 405에서 시작할 수 있는데, 여기서 방법(400)은 3D 렌더링의 업데이트된 배향에 대한 요청(예컨대, 사용자 요청)이 수신되었는지의 여부를 결정하는 단계를 포함할 수 있다. 일부 예들에서, 업데이트된 배향은 디스플레이 디바이스(예컨대, 도 1의 디스플레이 디바이스(118))에서의 아이콘을 통해 (예컨대, 사용자에 의해) 요청될 수 있다. 예를 들어, 아이콘은 3D 렌더링의 배향을 90°, 180°, 및/또는 270°만큼 회전시키기 위한 옵션들을 제공할 수 있다. 추가의 또는 대안의 예들에서, 요청은 회전 각도에 대한 사용자 입력 값일 수 있다. 업데이트된 배향에 대한 어떠한 요청도 수신되지 않은 경우, 방법(400)은 410으로 진행하여, 현재 디스플레이를 유지할 수 있다. 예를 들어, 현재 디스플레이는, 도 2를 참조하여 전술된 바와 같이, 방법(200)에 따라 생성 및 디스플레이되는 바와 같은 2D 이미지 슬라이스 및 3D 렌더링을 포함할 수 있다. 이어서, 방법(400)이 종료될 수 있다.
업데이트된 배향에 대한 요청이 수신된 경우, 방법(400)은 420으로 진행하여, 3D 렌더링의 배향을 업데이트된 배향으로 자동으로 조정할 수 있다. 일부 예들에서, 도 2에 기술된 바와 같은 방법(200)의 215 내지 245에서 기술된 것과 유사한 절차가 3D 렌더링의 배향을 업데이트된 배향으로 자동으로 조정하기 위해 채용될 수 있다. 일부 예들에서, 업데이트된 배향은 표준 배향이 아닐 수 있다. 그러한 예들에서, 업데이트된 배향에 대한 요청은 표준 배향으로의 3D 렌더링의 배향의 자동 조정을 오버라이드(override)할 수 있다. 일부 예들에서, 3D 렌더링의 배향은 설정된 시간 동안 업데이트된 배향으로 유지될 수 있다. 추가의 또는 대안의 예들에서, 3D 렌더링의 배향은 사용자가 초음파 이미징 시스템을 사용하는 것을 끝낼 때까지(예컨대, 초음파 이미징 시스템이 차단될 때까지) 업데이트된 배향으로 유지될 수 있다. 이러한 방식으로, 3D 렌더링의 배향은 업데이트된 배향으로 자동으로 조정될 수 있고, 그에 의해, 사용자 요청을 통해 초음파 이미징 시스템의 수동 오버라이드를 허용할 수 있다.
420에서, 방법(400)은 3D 렌더링을 업데이트된 배향으로 디스플레이하는 단계를 포함할 수 있다. 이어서, 방법(400)이 종료될 수 있다.
이제 도 5 및 도 6을 참조하면, 태아와 같은 대상의 3D 렌더링 입력으로부터 하나 이상의 해부학적 특징부들을 식별하고 분류하기 위한 예시적인 신경망이 도시되어 있다. 일부 예들에서, 신경망은 3D 렌더링 입력으로부터 하나 이상의 해부학적 특징부들을 식별하기 전에 다른 태아들을 묘사하는 추가 3D 렌더링들의 트레이닝 세트로 트레이닝될 수 있다. 하나 이상의 해부학적 특징부들이 하나 이상의 안면 특징부들을 포함하는 예들에서, 신경망은 안면 인식 알고리즘으로 간주될 수 있다.
도 5는, 일부 실시예들에서 하나 이상의 층들(504, 506, 508, 510, 512, 514, 516) 내로 배치될 수 있는 하나 이상의 노드들/뉴런(neuron)들(502)을 갖는 신경망(500)의 개략도를 도시한다. 신경망(500)은 심층 신경망일 수 있다. 뉴런들에 대하여 본 명세서에서 사용되는 바와 같이, 용어 "층"은 시뮬레이션된 뉴런들의 다른 집합들과 유사한 방식으로 연결된 입력들 및/또는 출력들을 갖는 시뮬레이션된 뉴런들의 집합을 지칭한다. 따라서, 도 5에 도시된 바와 같이, 뉴런들(502)은 하나 이상의 연결부들(518)을 통해 서로 연결되어, 데이터가 입력 층(504)으로부터 하나 이상의 중간 층들(506, 508, 510, 512, 514)을 통해 출력 층(516)으로 전파될 수 있도록 할 수 있다.
도 6은 예시적인 실시예에 따른, 뉴런에 대한 입력 및 출력 연결부들을 도시한다. 도 6에 도시된 바와 같이, 개별 뉴런(502)의 연결부들(예컨대, 518)은 하나 이상의 입력 연결부들(602) 및 하나 이상의 출력 연결부들(604)을 포함할 수 있다. 뉴런(502)의 각각의 입력 연결부(602)는 선행 뉴런의 출력 연결부일 수 있고, 뉴런(502)의 각각의 출력 연결부(604)는 하나 이상의 후속 뉴런들의 입력 연결부일 수 있다. 도 6은 뉴런(502)이 단일 출력 연결부(604)를 갖는 것으로 도시하지만, 뉴런들은 동일한 값을 전송/송신/통과시키는 다수의 출력 연결부들을 가질 수 있다는 것이 이해되어야 한다. 일부 실시예들에서, 뉴런들(502)은 데이터 구성물들(예컨대, 구조물들, 인스턴스화 클래스 객체들, 매트릭스들 등)일 수 있고, 입력 연결부들(602)은 가중 수치 값들(예컨대, 부동 소수점 또는 정수 값들)로서 뉴런(502)에 의해 수신될 수 있다. 예를 들어, 도 6에 추가로 도시된 바와 같이, 입력 연결부들(X1, X2, X3)은 각각 가중치들(W1, W2, W3)에 의해 가중되고, 합산되고, 출력 연결부(Y)로서 전송/송신/통과될 수 있다. 이해되는 바와 같이, 개별 뉴런(502)의 프로세싱은 대체로 하기의 수학식에 의해 표현될 수 있다:
여기서, n은 뉴런(502)으로의 입력 연결부들(602)의 총 개수이다. 일 실시예에서, Y의 값은 WiXi의 합계가 임계치를 초과하는지의 여부에 적어도 부분적으로 기초할 수 있다. 예를 들어, 가중된 입력들의 합계가 원하는 임계치를 초과하지 못하는 경우, Y는 0의 값을 가질 수 있다.
도 5 및 도 6으로부터 추가로 이해되는 바와 같이, 입력 층(504) 내의 뉴런들(502)의 입력 연결부들(602)은 입력(501)에 맵핑될 수 있는 반면, 출력 층(516) 내의 뉴런들(502)의 출력 연결부들(604)은 출력(530)에 맵핑될 수 있다. 본 명세서에서 사용되는 바와 같이, 주어진 입력 연결부(602)를 입력(501)에 "맵핑"하는 것은 입력(501)이 상기 입력 연결부(602)의 값에 영향을 미치고/지시하게 하는 방식을 지칭한다. 유사하게, 본 명세서에서 또한 사용되는 바와 같이, 주어진 출력 연결부(604)를 출력(530)에 "맵핑"하는 것은 상기 출력 연결부(604)의 값이 출력(530)에 영향을 미치고/지시하게 하는 방식을 지칭한다.
따라서, 일부 실시예들에서, 획득된/얻어진 입력(501)은 신경망(500)의 입력 층(504)으로 전달/공급되고, 층들(504, 506, 508, 510, 512, 514, 516)을 통해 전파되어, 출력 층(516)의 맵핑된 출력 연결부들(604)이 출력(530)을 생성/그에 대응하게 한다. 도시된 바와 같이, 입력(501)은 초음파 이미징 데이터로부터 생성된, 태아와 같은 대상의 3D 렌더링을 포함할 수 있다. 3D 렌더링은 신경망(500)에 의해 식별가능한 하나 이상의 해부학적 특징부들(예컨대, 하나 이상의 안면 특징부들, 예를 들어 코, 입, 양쪽 눈, 양쪽 귀 등)을 보여주는 태아의 뷰를 묘사할 수 있다. 또한, 출력(530)은 3D 렌더링에서 묘사된 하나 이상의 식별된 해부학적 특징부들의 위치들 및 분류들을 포함할 수 있다. 예를 들어, 신경망(500)은 렌더링에 의해 묘사된 해부학적 특징부를 식별할 수 있고, 해부학적 특징부의 위치(예컨대, 중심, 주연부)를 나타내는 좌표들을 생성할 수 있고, 식별된 시각적 특성들에 기초하여 해부학적 특징부를 (예컨대, 코로서) 분류할 수 있다. 신경망(500)이 안면 인식 알고리즘인 예들에서, 출력(530)은 하나 이상의 안면 특징부들을 구체적으로 포함할 수 있다.
신경망(500)은 복수의 트레이닝 데이터세트들을 사용하여 트레이닝될 수 있다. 각각의 트레이닝 데이터세트는 추가의 태아들의 하나 이상의 해부학적 특징부들을 묘사한 추가의 3D 렌더링들을 포함할 수 있다. 따라서, 신경망(500)은 3D 렌더링에서 묘사된 하나 이상의 해부학적 특징부들의 상대 포지셔닝 및 형상들을 학습할 수 있다. 이러한 방식으로, 신경망(500)은 복수의 트레이닝 데이터세트들을 활용하여, 생성된 3D 렌더링들(예컨대, 입력들)을 하나 이상의 해부학적 특징부들(예컨대, 출력들)에 맵핑할 수 있다. (예를 들어, 해부학적 특징부들의 배치, 크기 등의 식별가능한 경향들로 인해) 그 안에서의 기계 학습, 또는 심층 학습은 가중치들(예컨대, W1, W2, 및/또는 W3)이 변화하게 할 수 있거나, 입력/출력 연결부들이 변화하게 할 수 있거나, 또는 신경망(500)에 대한 다른 조정들을 야기할 수 있다. 또한, 추가의 트레이닝 데이터세트들이 채용됨에 따라, 기계 학습은 그에 응답하여 신경망(500)의 다양한 파라미터들을 계속해서 조정할 수 있다. 이와 같이, 신경망(500)의 감도는 주기적으로 증가되어, 해부학적 특징부 식별의 더 큰 정확도를 초래할 수 있다.
이제 도 7을 참조하면, 개략도가 대상의 하나 이상의 해부학적 특징부들의 예시적인 3D 렌더링(700)을 묘사한다. 도시된 예에서, 3D 렌더링(700)은 적어도 태아의 안면(702)을 구체적으로 묘사하는데, 여기서 안면(702)은 하나 이상의 안면 특징부들을 갖는다. 하나 이상의 안면 특징부들은 도 1을 참조하여 기술된 바와 같은 시스템(100)과 같은 시스템에 의해 자동으로 식별되어, 도 5 및 도 6을 참조하여 기술된 바와 같은 신경망(500)과 같은 신경망 또는 다른 인공 지능 루틴을 구현할 수 있다. 이어서, 하나 이상의 식별된 안면 특징부들은 3D 렌더링(700)의 하나 이상의 축들을 자동으로 결정하는 데 사용될 수 있으며, 이로부터 3D 렌더링(700)의 배향이 추가로 결정될 수 있다.
예를 들어, 3D 렌더링(700)은 코(704) 및 입(706)을 묘사할 수 있다. 코(704) 및 입(706)의 자동 식별 시, 수직축(712)이 생성될 수 있다. 수직축(712)은 코(704) 및 입(706) 각각을 양분하는 것으로 정의될 수 있다. 또한, 코(704) 및 입(706)의 상대 위치들은 3D 렌더링(700)의 배향에 대한 추가 정보를 제공할 수 있다(예컨대, 이 방향으로 태아의 안면(702)이 배향됨).
코(704) 및 입(706) 중 하나만이 식별되는 다른 예로서, 양쪽 눈(708)이 추가로 식별될 수 있다. 양쪽 눈(708)의 식별 시, 가로축(714)이 생성될 수 있다. 가로축(714)은 각각의 양쪽 눈(708)을 양분하는 것으로 정의될 수 있다. 가로축(714)이 식별된 후에, 수직축(712)은 식별된 코(704) 및 입(706) 중 하나를 양분하는 것으로, 그리고 가로축(714)에 수직인 것으로 정의될 수 있다. 또한, 양쪽 눈(708)과, 코(704) 및 입(706) 중 하나의 상대 위치들은 3D 렌더링(700)의 배향에 관한 추가 정보를 제공할 수 있다.
코(704) 및 입(706) 중 하나만이 식별되는 또 다른 예로서, 양쪽 귀들(710)이 추가로 식별될 수 있다. 양쪽 귀들(710)의 식별 시, 가로축(716)이 생성될 수 있다. 가로축(716)은 각각의 양쪽 귀들(710)을 양분하는 것으로 정의될 수 있다. 가로축(716)이 식별된 후에, 수직축(712)은 식별된 코(704) 및 입(706) 중 하나를 양분하는 것으로, 그리고 가로축(716)에 수직인 것으로 정의될 수 있다. 또한, 양쪽 귀들(710)과, 코(704) 및 입(706) 중 하나의 상대 위치들은 3D 렌더링(700)의 배향에 관한 추가 정보를 제공할 수 있다.
수직축(712)을 한정하기 위한 2개의 지점들을 기하학적으로 결정하는 다수의 방법들이 있고, 본 명세서에 제시된 예들은 제한적인 실시예들로서 간주되어서는 안 된다는 것이 당업자에 의해 이해될 것이다.
이제 도 8a를 참조하면, 예시적인 3D 렌더링(802)의 배향(804)을 자동으로 유지하기 위한 예시적인 프로세스(800)의 개략도가 도시되어 있다. 일부 예들에서, 도 2를 참조하여 기술된 바와 같은 방법(200)과 같은 방법은 3D 렌더링(802)의 배향(804)을 자동으로 결정하기 위해 도 1을 참조하여 기술된 바와 같은 시스템(100)과 같은 시스템 상에서 구현될 수 있다. 또한, 임계 각도(806)는 벡터(808)를 참조하여 설정될 수 있으며, 여기서 벡터(808)는 3D 렌더링(802)의 표준 배향과 정렬된다. 예를 들어, 임계 각도(806)는 20°일 수 있으며, 이는 벡터(808)의 20° 내의 주어진 결정된 배향(예컨대, 804)이 표준 배향인 것으로 또는 대략 표준 배향인 것으로 결정될 수 있음을 나타낸다. 이와 같이, 배향(804)이 임계 각도(806) 내에 있다는 결정 시, 배향(804)은 배향(804)이 변경되지 않도록 유지될 수 있다(810). 도 8a에 도시된 바와 같이, 배향(804)은 표준 배향과 정확하게 정렬되지 않을 수 있지만(예컨대, 배향(804)은 벡터(808)와 평행하지 않을 수 있음), 여전히, 어떠한 조정 작용도 취해지지 않는 표준 배향에 충분히 가까운 것으로 간주될 수 있다.
이제 도 8b를 참조하면, 예시적인 3D 렌더링(852)의 배향(854)을 자동으로 조정하기 위한 예시적인 프로세스(850)의 개략도가 도시되어 있다. 일부 예들에서, 도 2를 참조하여 기술된 바와 같은 방법(200)과 같은 방법은 3D 렌더링(852)의 배향(854)을 자동으로 결정하기 위해 도 1을 참조하여 기술된 바와 같은 시스템(100)과 같은 시스템 상에서 구현될 수 있다. 또한, 임계 각도(856)는 벡터(858)를 참조하여 설정될 수 있으며, 여기서 벡터(858)는 3D 렌더링(852)의 표준 배향과 정렬된다. 예를 들어, 임계 각도(856)는 20°일 수 있으며, 이는 벡터(858)의 20° 내의 주어진 결정된 배향(예컨대, 854)이 표준 배향인 것으로 또는 대략 표준 배향인 것으로 결정될 수 있음을 나타낸다. 이와 같이, 배향(854)이 임계 각도(856)의 밖에 있다는 결정 시, 배향(854)은 배향(854)이 표준 배향과 정렬하게 변경되도록(예컨대, 배향(854)이 벡터(858)와 평행하도록 조정됨) 조정된 배향(862)으로 조정될 수 있다(860).
이제 도 11을 참조하면, 예시적인 광원(1104)의 위치(1102) 및 예시적인 3D 렌더링(1108)의 배향(1106) 각각을 자동으로 조정하기 위한 예시적인 프로세스(1100)의 개략도가 도시되어 있다. 도시된 예에서, 광원(1104)은 점 광원일 수 있다. 일부 예들에서, 도 2를 참조하여 기술된 바와 같은 방법(200)과 같은 방법은 3D 렌더링(1108)의 배향(1106) 및 광원(1104)의 위치(1102) 각각을 자동으로 결정하기 위해 도 1을 참조하여 기술된 바와 같은 시스템(100)과 같은 시스템 상에서 구현될 수 있다. 참고로, 포지티브 X 및 Y 방향들은 광원(1104)의 위치(1102)와 3D 렌더링(1108)의 배향(1106)을 추가로 관련짓는다.
도시된 바와 같이, 광원(1104)의 위치(1102)는 3D 렌더링(1108)에서 묘사된 태아가 태아의 안면 아래에서 일정 각도로 조명되게 할 수 있다. 그러한 조명은 사용자 예상들과는 대조적일 수 있는데, 이는 안면들이 종종 (예컨대, 태양광 또는 실내에서의 오버헤드 조명을 통해) 위로부터 조명될 수 있기 때문이다. 따라서, 묘사된 태아의 하나 이상의 안면 특징부들은, 예를 들어, 3D 렌더링(1108)의 배향(1106)이 비-표준 방향으로 있는 것으로 인해, 그리고 광원(1104)의 위치(1102) 때문에 하나 이상의 안면 특징부들이 3D 렌더링(1108)에서 비-직관적으로 음영처리된 것으로 인해, 시스템(예컨대, 100)의 사용자가 인식하기가 더 어려울 수 있다.
광원(1104)의 위치(1102) 및 3D 렌더링(1108)의 배향(1106) 각각은 광원(1104)의 조정된 위치(1112) 및 3D 렌더링(1108)의 조정된 배향(1114)으로 조정될 수 있다(1110). 조정된 위치(1112)가 위치(1102)와 동일하게 보일 수 있지만, 포지티브 X 및 Y 방향들은, 또한, 개략도(1100)에서, 조정된 위치(1112)가 실제로 3D 렌더링(1108)에 대해 변경된다는 것을 명확하게 나타내도록 조정되었다. 렌더링(1108)에서 보여주는 바와 같이, 묘사된 태아의 하나 이상의 안면 특징부들의 음영처리는 광원(1102)의 조정된 위치(1112)로 인해 변경되어, 하나 이상의 안면 특징부들이 시스템(예컨대, 100)의 사용자에게 더 많이 인식가능할 수 있게 했다. 이러한 방식으로, 태아의 하나 이상의 안면 특징부들을 묘사한 3D 렌더링의 배향 및 조명은, 하나 이상의 안면 특징부들이 초음파 이미징 시스템의 사용자에 의해 인식하기가 어려워서 3D 렌더링의 배향 및/또는 조명의 수동 조정의 용이성을 배제할 수 있을 때, 자동으로 조정될 수 있다.
이제 도 9를 참조하면, 디스플레이 디바이스(902)의 제1 예시적인 사용자 인터페이스 디스플레이(900)가 도시되어 있다. 일례에서, 디스플레이 디바이스(902)는 도 1에 도시된 디스플레이 디바이스(118)일 수 있다. 제1 예시적인 사용자 인터페이스 디스플레이(900)는 예시적인 2D 이미지 슬라이스(904) 및 예시적인 3D 렌더링(906)의 동시 디스플레이를 포함할 수 있으며, 여기서 3D 렌더링(906)의 배향은 표준 배향이다. 2D 이미지 슬라이스(904)의 배향은, 이미징 데이터로부터 2D 이미지 슬라이스(904)의 생성 이후에 설정된 바와 같이, 획득된 배향 또는 초기 배향일 수 있다. 도시된 바와 같이, 2D 이미지 슬라이스(904)의 배향은 좌측 상의 태아의 머리를 묘사하는데, 이는 일부 예들에서, 3D 렌더링(906)이 또한 획득된 배향으로 디스플레이된다는 것을 사용자에게 나타낼 수 있다. 그러한 예들에서, 3D 렌더링(906)의 획득된 배향은 디스플레이 디바이스(902)에 대한 상향 배향일 수 있다. 이와 같이, 제1 예시적인 사용자 인터페이스 디스플레이(900)는, 도 8a를 참조하여 전술된 프로세스에서와 같이, 디스플레이 디바이스(902)에서 디스플레이될 수 있고, 그 뒤에 3D 렌더링(906)의 배향이 획득된 배향으로 유지된다. 일부 예들에서, 2D 이미지 슬라이스(904) 및 3D 렌더링(906) 각각은 추가의 사용자 조작을 위해 초음파 이미징 시스템의 사용자를 통해(예컨대, 터치, 마우스, 키보드 등을 통해) 선택가능할 수 있다.
이제 도 10을 참조하면, 디스플레이 디바이스(902)의 제2 예시적인 사용자 인터페이스 디스플레이(1000)가 도시되어 있다. 제2 예시적인 사용자 인터페이스 디스플레이(1000)는 예시적인 2D 이미지 슬라이스(1004) 및 예시적인 3D 렌더링(1006)의 동시 디스플레이를 포함할 수 있으며, 여기서 3D 렌더링(1006)의 배향은 표준 배향이다. 2D 이미지 슬라이스(1004)의 배향은, 이미징 데이터로부터 2D 이미지 슬라이스(1004)의 생성 이후에 설정된 바와 같이, 획득된 배향 또는 초기 배향일 수 있다. 도시된 바와 같이, 2D 이미지 슬라이스(1004)의 배향은 우측 상의 태아의 머리를 묘사하는데, 이는 일부 예들에서, 3D 렌더링(1006)이 표준 배향으로 자동으로 조정되었다는 것을 사용자에게 나타낼 수 있다. 그러한 예들에서, 3D 렌더링(1006)의 표준 배향은 디스플레이 디바이스(902)에 대한 상향 배향일 수 있다. 이와 같이, 제2 예시적인 사용자 인터페이스 디스플레이(1000)는, 도 8b를 참조하여 전술된 프로세스에서와 같이, 디스플레이 디바이스(902)에서 디스플레이될 수 있고, 그 뒤에 3D 렌더링(1006)의 배향이 표준 배향으로 조정된다.
일부 예들에서, 3D 렌더링(1006)의 배향은 도 1에 도시된 초음파 이미징 시스템(100)의 사용자 인터페이스(115)와 같은 초음파 이미징 시스템의 사용자 인터페이스에서 사용자 요청을 수신할 시에 업데이트될 수 있다. 사용자 요청은, 예를 들어, 이미지 회전 아이콘(1008)을 통해 입력될 수 있다. 도시된 바와 같이, 이미지 회전 아이콘(1008)은 3D 렌더링의 배향을 90°, 180°, 및/또는 270°만큼 회전시키기 위한 옵션들을 제공할 수 있다. 추가의 또는 대안의 예들에서, 사용자 요청은 회전 각도에 대한 사용자 입력 값일 수 있다. 일부 예들에서, 2D 이미지 슬라이스(1004), 3D 렌더링(1006) 및 이미지 회전 아이콘(1008) 각각은 추가의 사용자 조작을 위해 초음파 이미징 시스템의 사용자를 통해(예컨대, 터치, 마우스, 키보드 등을 통해) 선택가능할 수 있다. 또한, 일부 예들에서, 통지(1010)는 3D 렌더링(1006)의 배향이 자동으로 조정되었을 때 디스플레이될 수 있다. 이러한 방식으로, 사용자는 초음파 프로브(예컨대, 106)에 대한 3D 렌더링의 배향을 추론 및 제어하기 위한 정보의 다수의 소스들을 제공받을 수 있다.
이러한 방식으로, 초음파 이미징 데이터로부터 생성된 태아의 3차원(3D) 렌더링의 배향이 태아의 하나 이상의 해부학적 특징부들의 식별에 기초하여 자동으로 조정될 수 있다. 일례에서, 하나 이상의 해부학적 특징부들은 태아의 수직축을 결정하는 데 사용되는 하나 이상의 안면 특징부들일 수 있으며, 이로부터 3D 렌더링의 배향이 결정될 수 있다. 3D 렌더링의 배향을 조정하는 데 있어서 하나 이상의 안면 특징부들을 사용하는 기술적 효과는, 안면 인식 알고리즘이 하나 이상의 안면 특징부들을 식별하기 위해 채용될 수 있다는 것인데, 이는 배향과 정렬된 수직축을 정의하는 다수의 기준점들을 제공할 수 있다. 또한, 배향이 조정된 후, 3D 렌더링은 사용자 인터페이스 디스플레이에서 태아의 변경되지 않은 2차원(2D) 이미지 슬라이스를 제공받을 수 있다. 이러한 방식으로 2D 이미지 슬라이스 및 3D 렌더링을 동시에 디스플레이하는 것의 기술적 효과는, 3D 렌더링의 배향의 자동 조정 후에도 초음파 이미징 데이터를 제공하는 초음파 이미저의 프로브의 실제 배향을 추론하기에 충분한 정보를 사용자에게 제공할 수 있다는 것이다.
일 실시예에서, 방법은, 초음파 이미저의 프로브로부터 이미징 데이터를 획득하는 단계, 이미징 데이터로부터, 이미지 슬라이스 및 렌더링을 생성하는 단계, 렌더링의 배향을 결정하는 단계, 배향이 표준 배향이 아니라고 결정한 것에 응답하여, 배향을 표준 배향으로 조정하는 단계, 및 표준 배향으로의 렌더링을 제공하는 동안 변경되지 않은 이미지 슬라이스를 디스플레이하는 단계를 포함한다. 방법의 제1 예에서, 이미징 데이터는 태아 이미징 데이터를 포함하고, 이미지 슬라이스 및 렌더링 각각은 태아의 하나 이상의 해부학적 특징부들을 묘사한다. 제1 예를 선택적으로 포함하는 방법의 제2 예에서, 하나 이상의 해부학적 특징부들은 하나 이상의 안면 특징부들을 포함하고, 표준 배향은 하나 이상의 안면 특징부들로부터 결정된 수직축에 대한 상향 배향이다. 제1 예 및 제2 예 중 하나 이상을 선택적으로 포함하는 방법의 제3 예에서, 렌더링의 배향을 결정하는 단계는 하나 이상의 해부학적 특징부들을 식별하는 단계, 및 하나 이상의 식별된 해부학적 특징부들에 기초하여 배향을 결정하는 단계를 포함한다. 제1 예 내지 제3 예 중 하나 이상을 선택적으로 포함하는 방법의 제4 예에서, 하나 이상의 해부학적 특징부들을 식별하는 단계는 심층 신경망들의 시스템을 사용하여 렌더링으로부터 하나 이상의 해부학적 특징부들을 식별하는 단계를 포함한다. 제1 예 내지 제4 예 중 하나 이상을 선택적으로 포함하는 방법의 제5 예에서, 렌더링으로부터 하나 이상의 해부학적 특징부들을 식별하기 전에, 심층 신경망들의 시스템은 추가의 태아들의 하나 이상의 해부학적 특징부들을 묘사하는 추가 렌더링들의 트레이닝 세트로 트레이닝된다. 제1 예 내지 제5 예 중 하나 이상을 선택적으로 포함하는 방법의 제6 예에서, 방법은, 초음파 이미저의 프로브의 위치가 변경된 것에 응답하여, 배향을 표준 배향으로 실시간으로 자동으로 조정하는 단계를 추가로 포함한다. 제1 예 내지 제6 예 중 하나 이상을 선택적으로 포함하는 방법의 제7 예에서, 방법은, 초음파 이미저의 프로브의 위치가 변경된 것에 응답하여, 변경된 위치가 태아의 검출 범위 밖에 있는 것에 응답하여, 통지를 생성 및 디스플레이하는 단계, 및 변경된 위치가 태아의 검출 범위 안에 있는 것에 응답하여, 배향을 표준 배향으로 조정하는 단계를 추가로 포함한다. 제1 예 내지 제7 예 중 하나 이상을 선택적으로 포함하는 방법의 제8 예에서, 방법은, 업데이트된 배향에 대한 사용자 요청을 수신하는 단계, 배향을 업데이트된 배향으로 조정하는 단계, 및 렌더링을 업데이트된 배향으로 디스플레이하는 단계를 추가로 포함한다.
다른 실시예에서, 시스템은 초음파 프로브, 시스템의 사용자로부터 입력을 수신하도록 구성된 사용자 인터페이스, 디스플레이 디바이스, 및 비일시적 메모리 내의 명령어들로 구성된 프로세서를 포함하며, 명령어들은, 실행될 때, 프로세서로 하여금, 초음파 프로브로부터 태아 이미징 데이터를 획득하게 하고, 태아 이미징 데이터로부터, 태아의 2차원(2D) 이미지 슬라이스 및 태아의 3차원(3D) 렌더링을 생성하게 하고, 태아의 하나 이상의 해부학적 특징부들에 기초하여 3D 렌더링의 배향을 결정하게 하고, 배향이 표준 배향이 아니라고 결정한 것에 응답하여, 배향을 표준 배향으로 조정하게 하고, 디스플레이 디바이스를 통해, 2D 이미지 슬라이스 및 3D 렌더링을 표준 배향으로 동시에 디스플레이하게 한다. 시스템의 제1 예에서, 태아의 하나 이상의 해부학적 특징부들에 기초하여 3D 렌더링의 배향을 결정하는 것은, 3D 렌더링에서 하나 이상의 해부학적 특징부들을 검색하는 것, 하나 이상의 해부학적 특징부들이 식별되는 것에 응답하여, 하나 이상의 해부학적 특징부들에 기초하여 태아의 수직축을 결정하는 것, 및 수직축에 대해 3D 렌더링의 배향을 결정하는 것을 포함한다. 제1 예를 선택적으로 포함하는 시스템의 제2 예에서, 하나 이상의 해부학적 특징부들은 코 및 입을 포함하고, 수직축은 코 및 입을 양분한다. 제1 예 및 제2 예 중 하나 이상을 선택적으로 포함하는 시스템의 제3 예에서, 하나 이상의 해부학적 특징부들은 코 또는 입을 포함하고, 하나 이상의 해부학적 특징부들에 기초하여 수직축을 결정하는 것은 하나 이상의 해부학적 특징부들에 기초하여 가로축을 결정하는 것, 및 가로축에 수직이고 코 또는 입을 양분하는 수직축을 생성하는 것을 포함한다. 제1 예 내지 제3 예 중 하나 이상을 선택적으로 포함하는 시스템의 제4 예에서, 하나 이상의 해부학적 특징부들은 양쪽 눈 또는 양쪽 귀를 추가로 포함하고, 가로축은 양쪽 눈 또는 양쪽 귀를 양분한다. 제1 예 내지 제4 예 중 하나 이상을 선택적으로 포함하는 시스템의 제5 예에서, 배향이 표준 배향이 아니라고 결정하는 것은 배향이 표준 배향의 임계 각도 밖에 있는 것을 포함한다. 제1 예 내지 제5 예 중 하나 이상을 선택적으로 포함하는 시스템의 제6 예에서, 임계 각도는 20°이다.
또 다른 실시예에서, 방법은, 초음파 이미징 시스템의 프로브로부터 태아의 이미징 데이터를 획득하는 단계, 이미징 데이터로부터, 태아를 묘사한 2차원(2D) 이미지 슬라이스 및 태아를 묘사한 3차원(3D) 렌더링을 생성하는 단계, 3D 렌더링에서 묘사된 태아의 하나 이상의 해부학적 특징부들을 자동으로 식별하는 단계, 하나 이상의 식별된 해부학적 특징부들에 기초하여 3D 렌더링의 배향을 자동으로 결정하는 단계, 3D 렌더링의 배향이 표준 배향에 있는 것에 응답하여, 3D 렌더링의 배향을 유지하는 단계, 3D 렌더링의 배향이 표준 배향에 있지 않은 것에 응답하여, 3D 렌더링의 배향을 자동으로 반전시키는 단계, 및 그 후에, 초음파 이미징 시스템의 디스플레이 디바이스를 통해, 2D 이미지 슬라이스 및 3D 렌더링을 동시에 디스플레이하는 단계를 포함한다. 방법의 제1 예에서, 하나 이상의 해부학적 특징부들은 하나 이상의 안면 특징부들을 포함한다. 제1 예를 선택적으로 포함하는 방법의 제2 예에서, 방법은, 2D 이미지 슬라이스 및 3D 렌더링을 동시에 디스플레이하는 단계에 이어서, 그리고 초음파 이미징 시스템의 사용자 인터페이스에서 수신된 사용자 요청에 응답하여, 3D 렌더링의 배향을 업데이트하는 단계를 추가로 포함한다. 제1 예 및 제2 예 중 하나 이상을 선택적으로 포함하는 방법의 제3 예에서, 표준 배향은 디스플레이 디바이스에 대해 상향 배향이다.
본 명세서에 사용되는 바와 같이, 단수형으로 인용되고 단어 "a" 또는 "an"으로 진행되는 요소 또는 단계는, 복수의 상기 요소들 또는 단계들의 배제가 명시적으로 언급되지 않는 한, 복수의 상기 요소들 또는 단계들을 배제하지 않는다는 것을 이해해야 한다. 게다가, 본 발명의 "일 실시예"에 대한 언급들은, 인용된 특징부들을 또한 포함하는 추가 실시예들의 존재를 배제하는 것으로 해석되도록 의도되지 않는다. 더욱이, 명시적으로 반대로 언급되지 않는 한, 특정 특성을 갖는 요소 또는 복수의 요소들을 "포함하거나"("comprising", "including"), 또는 "갖는" 실시예들은, 그러한 특성을 갖지 않는 추가의 그러한 요소들을 포함할 수 있다. 용어들 "포함하는(including)" 및 "여기서(in which)"는 각자의 용어들 "포함하는(comprising)" 및 "여기서(wherein)"의 평이한 언어 등가물들로서 사용된다. 더욱이, 용어들 "제1", "제2", 및 "제3" 등은 단지 라벨들로서 사용되고, 수치 요건들 또는 그들의 물체들 상의 특정 위치 순서를 부과하도록 의도되지 않는다.
이러한 서면 설명은, 최상의 모드를 비롯하여, 본 발명을 개시하기 위해, 그리고 또한 임의의 디바이스들 또는 시스템들을 제조하고 사용하는 것 및 임의의 포함된 방법들을 수행하는 것을 비롯하여, 당업자가 본 발명을 실시할 수 있게 하기 위해 예들을 사용한다. 본 발명의 특허가능한 범주는 청구범위에 의해 규정되고, 당업자들에게 떠오르는 다른 예들을 포함할 수 있다. 그러한 다른 예들은, 그들이 청구범위의 문자 그대로의 언어와 상이하지 않은 구조적 요소들을 갖는 경우, 또는 그들이 청구범위의 문자 그대로의 언어와는 대단찮은 차이들을 갖는 등가의 구조적 요소들을 포함하는 경우, 청구범위의 범주 내에 있는 것으로 의도된다.
Claims (10)
- 시스템으로서,
초음파 프로브;
상기 시스템의 사용자로부터 입력을 수신하도록 구성된 사용자 인터페이스;
디스플레이 디바이스; 및
비일시적 메모리 내의 명령어들로 구성된 프로세서를 포함하고, 상기 명령어들은, 실행될 때, 상기 프로세서로 하여금,
상기 초음파 프로브로부터 태아 이미징 데이터를 획득하게 하고;
상기 태아 이미징 데이터로부터, 태아의 2차원(2D) 이미지 슬라이스 및 상기 태아의 3차원(3D) 렌더링을 생성하게 하고;
상기 태아의 하나 이상의 해부학적 특징부들에 기초하여 상기 3D 렌더링의 배향을 결정하게 하고;
상기 배향이 표준 배향이 아니라고 결정한 것에 응답하여, 상기 배향을 상기 표준 배향으로 조정하게 하고;
상기 디스플레이 디바이스를 통해, 상기 2D 이미지 슬라이스 및 상기 3D 렌더링을 상기 표준 배향으로 동시에 디스플레이하게 하는, 시스템. - 제1항에 있어서, 상기 태아의 하나 이상의 해부학적 특징부들에 기초하여 상기 3D 렌더링의 배향을 결정하는 것은,
상기 3D 렌더링에서 상기 하나 이상의 해부학적 특징부들을 검색하는 것;
상기 하나 이상의 해부학적 특징부들이 식별된 것에 응답하여,
상기 하나 이상의 해부학적 특징부들에 기초하여 상기 태아의 수직축을 결정하는 것; 및
상기 수직축에 대한 상기 3D 렌더링의 배향을 결정하는 것을 포함하는, 시스템. - 제2항에 있어서,
상기 하나 이상의 해부학적 특징부들은 코 및 입을 포함하고,
상기 수직축은 상기 코 및 상기 입을 양분하는, 시스템. - 제2항에 있어서,
상기 하나 이상의 해부학적 특징부들은 코 또는 입을 포함하고,
상기 하나 이상의 해부학적 특징부들에 기초하여 상기 수직축을 결정하는 것은,
상기 하나 이상의 해부학적 특징부들에 기초하여 가로축을 결정하는 것; 및
상기 가로축에 수직이고 상기 코 또는 상기 입을 양분하는 수직축을 생성하는 것을 포함하는, 시스템. - 제4항에 있어서,
상기 하나 이상의 해부학적 특징부들은 양쪽 눈 또는 양쪽 귀를 추가로 포함하고,
상기 가로축은 상기 양쪽 눈 또는 상기 양쪽 귀를 양분하는, 시스템. - 제2항에 있어서, 상기 배향이 상기 표준 배향이 아니라고 결정하는 것은 상기 배향이 상기 표준 배향의 임계 각도 밖에 있음을 포함하는, 시스템.
- 제6항에 있어서, 상기 임계 각도는 20°인, 시스템.
- 초음파 이미징 시스템을 위한 방법으로서,
초음파 이미징 시스템의 프로브로부터 태아의 이미징 데이터를 획득하는 단계;
상기 이미징 데이터로부터, 상기 태아를 묘사한 2차원(2D) 이미지 슬라이스 및 상기 태아를 묘사한 3차원(3D) 렌더링을 생성하는 단계;
상기 3D 렌더링에서 묘사된 상기 태아의 하나 이상의 해부학적 특징부들을 자동으로 식별하는 단계;
상기 하나 이상의 식별된 해부학적 특징부들에 기초하여 상기 3D 렌더링의 배향을 자동으로 결정하는 단계;
상기 3D 렌더링의 배향이 표준 배향에 있는 것에 응답하여, 상기 3D 렌더링의 배향을 유지하는 단계;
상기 3D 렌더링의 배향이 상기 표준 배향에 있지 않은 것에 응답하여, 상기 3D 렌더링의 배향을 자동으로 반전시키는 단계; 및 그 후에,
상기 초음파 이미징 시스템의 디스플레이 디바이스를 통해, 상기 2D 이미지 슬라이스 및 상기 3D 렌더링을 동시에 디스플레이하는 단계를 포함하는, 방법. - 제8항에 있어서, 상기 하나 이상의 해부학적 특징부들은 하나 이상의 안면 특징부들을 포함하는, 방법.
- 제8항에 있어서,
상기 2D 이미지 슬라이스 및 상기 3D 렌더링을 동시에 디스플레이하는 단계에 이어서, 그리고 상기 초음파 이미징 시스템의 사용자 인터페이스에서 수신된 사용자 요청에 응답하여, 상기 3D 렌더링의 배향을 업데이트하는 단계를 추가로 포함하는, 방법.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US16/513,582 | 2019-07-16 | ||
| US16/513,582 US20210015449A1 (en) | 2019-07-16 | 2019-07-16 | Methods and systems for processing and displaying fetal images from ultrasound imaging data |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210010321A true KR20210010321A (ko) | 2021-01-27 |
| KR102419310B1 KR102419310B1 (ko) | 2022-07-12 |
Family
ID=74170448
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200075270A KR102419310B1 (ko) | 2019-07-16 | 2020-06-19 | 초음파 이미징 데이터로부터 태아 이미지들을 프로세싱 및 디스플레이하기 위한 방법들 및 시스템들 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20210015449A1 (ko) |
| KR (1) | KR102419310B1 (ko) |
| CN (1) | CN112237446A (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102588866B1 (ko) * | 2022-12-07 | 2023-10-16 | 주식회사 에어스메디컬 | 의료 시스템 제어 방법, 컴퓨터 프로그램 및 장치 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20240032563A (ko) * | 2022-09-02 | 2024-03-12 | 삼성메디슨 주식회사 | 초음파 진단 장치 및 진단 방법 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013215561A (ja) * | 2012-03-12 | 2013-10-24 | Toshiba Corp | 超音波診断装置 |
| WO2015170304A1 (en) * | 2014-05-09 | 2015-11-12 | Koninklijke Philips N.V. | Imaging systems and methods for positioning a 3d ultrasound volume in a desired orientation |
| JP2015534872A (ja) * | 2012-11-20 | 2015-12-07 | コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． | リアルタイム胎児心臓評価に対する標準面に自動配置 |
| KR20160051160A (ko) * | 2014-10-31 | 2016-05-11 | 삼성메디슨 주식회사 | 초음파 영상 장치 및 그 동작 방법 |
| KR20170098168A (ko) * | 2016-02-19 | 2017-08-29 | 제네럴 일렉트릭 컴퍼니 | 초음파 볼륨의 자동 정렬 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101386102B1 (ko) * | 2012-03-09 | 2014-04-16 | 삼성메디슨 주식회사 | 초음파 영상 제공 방법 및 그를 위한 초음파 장치 |
| US11413006B2 (en) * | 2016-04-26 | 2022-08-16 | Koninklijke Philips N.V. | 3D image compounding for ultrasound fetal imaging |
| US11521363B2 (en) * | 2017-05-12 | 2022-12-06 | Shenzhen Mindray Bio-Medical Electronics Co., Ltd. | Ultrasonic device, and method and system for transforming display of three-dimensional ultrasonic image thereof |
-
2019
- 2019-07-16 US US16/513,582 patent/US20210015449A1/en not_active Abandoned
-
2020
- 2020-06-15 CN CN202010547229.2A patent/CN112237446A/zh active Pending
- 2020-06-19 KR KR1020200075270A patent/KR102419310B1/ko active IP Right Grant
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013215561A (ja) * | 2012-03-12 | 2013-10-24 | Toshiba Corp | 超音波診断装置 |
| JP2015534872A (ja) * | 2012-11-20 | 2015-12-07 | コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． | リアルタイム胎児心臓評価に対する標準面に自動配置 |
| WO2015170304A1 (en) * | 2014-05-09 | 2015-11-12 | Koninklijke Philips N.V. | Imaging systems and methods for positioning a 3d ultrasound volume in a desired orientation |
| JP2017514633A (ja) * | 2014-05-09 | 2017-06-08 | コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． | ３ｄ超音波ボリュームを所望の方向に配置する撮像システム及び方法 |
| KR20160051160A (ko) * | 2014-10-31 | 2016-05-11 | 삼성메디슨 주식회사 | 초음파 영상 장치 및 그 동작 방법 |
| KR20170098168A (ko) * | 2016-02-19 | 2017-08-29 | 제네럴 일렉트릭 컴퍼니 | 초음파 볼륨의 자동 정렬 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102588866B1 (ko) * | 2022-12-07 | 2023-10-16 | 주식회사 에어스메디컬 | 의료 시스템 제어 방법, 컴퓨터 프로그램 및 장치 |
| WO2024122907A1 (ko) * | 2022-12-07 | 2024-06-13 | 주식회사 에어스 메디컬 | 의료 시스템 제어 방법, 컴퓨터 프로그램 및 장치 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102419310B1 (ko) | 2022-07-12 |
| CN112237446A (zh) | 2021-01-19 |
| US20210015449A1 (en) | 2021-01-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7330207B2 (ja) | 適応的超音波スキャニング | |
| JP7168664B2 (ja) | 画像アーチファクトを検出するインテリジェント超音波システム | |
| US11488298B2 (en) | System and methods for ultrasound image quality determination | |
| US20120245465A1 (en) | Method and system for displaying intersection information on a volumetric ultrasound image | |
| KR102539901B1 (ko) | 2차원 초음파 이미지를 음영화하는 방법 및 시스템 | |
| US20130150719A1 (en) | Ultrasound imaging system and method | |
| US20180344290A1 (en) | Systems and methods for displaying intersections on ultrasound images | |
| US11308609B2 (en) | System and methods for sequential scan parameter selection | |
| US20220233171A1 (en) | Systems and methods for controlling volume rate | |
| KR102063374B1 (ko) | 초음파 볼륨의 자동 정렬 | |
| US11903760B2 (en) | Systems and methods for scan plane prediction in ultrasound images | |
| KR102419310B1 (ko) | 초음파 이미징 데이터로부터 태아 이미지들을 프로세싱 및 디스플레이하기 위한 방법들 및 시스템들 | |
| US20220273267A1 (en) | Ultrasonic imaging method and ultrasonic imaging system | |
| US20210169455A1 (en) | System and methods for joint scan parameter selection | |
| CN112603361A (zh) | 用于在超声图像中跟踪解剖特征的系统和方法 | |
| CN113905670A (zh) | 引导式超声成像 | |
| US20230200778A1 (en) | Medical imaging method | |
| US20230137369A1 (en) | Aiding a user to perform a medical ultrasound examination | |
| US9842427B2 (en) | Methods and systems for visualization of flow jets | |
| CN114947939A (zh) | 用于多平面成像的超声成像系统和方法 | |
| US11974881B2 (en) | Method and system for providing an anatomic orientation indicator with a patient-specific model of an anatomical structure of interest extracted from a three-dimensional ultrasound volume | |
| US11890142B2 (en) | System and methods for automatic lesion characterization | |
| JP7336766B2 (ja) | 超音波診断装置、超音波診断方法および超音波診断プログラム | |
| WO2020133236A1 (zh) | 一种脊柱的成像方法以及超声成像系统 | |
| US20240215956A1 (en) | System for adjusting orientation of 4d ultrasound image |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |