KR20220040507A - 확률 맵 기반의 초음파 스캐닝 - Google Patents

확률 맵 기반의 초음파 스캐닝 Download PDF

Info

Publication number
KR20220040507A
KR20220040507A KR1020227008925A KR20227008925A KR20220040507A KR 20220040507 A KR20220040507 A KR 20220040507A KR 1020227008925 A KR1020227008925 A KR 1020227008925A KR 20227008925 A KR20227008925 A KR 20227008925A KR 20220040507 A KR20220040507 A KR 20220040507A
Authority
KR
South Korea
Prior art keywords
information
target
interest
processing
probability
Prior art date
Application number
KR1020227008925A
Other languages
English (en)
Other versions
KR102409090B1 (ko
Inventor
준 환 최
Original Assignee
베라톤 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 베라톤 인코포레이티드 filed Critical 베라톤 인코포레이티드
Publication of KR20220040507A publication Critical patent/KR20220040507A/ko
Application granted granted Critical
Publication of KR102409090B1 publication Critical patent/KR102409090B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0833—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
    • A61B8/085—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating body or organic structures, e.g. tumours, calculi, blood vessels, nodules
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0866—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving foetal diagnosis; pre-natal or peri-natal diagnosis of the baby
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0883—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of the heart
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0891—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of blood vessels
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/13—Tomography
    • A61B8/14—Echo-tomography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42—Details of probe positioning or probe attachment to the patient
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A61B8/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5292—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves using additional data, e.g. patient information, image labeling, acquisition parameters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/56—Details of data transmission or power supply
    • A61B8/565—Details of data transmission or power supply involving data transmission via a network
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0454—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/43—Detecting, measuring or recording for evaluating the reproductive systems
    • A61B5/4306—Detecting, measuring or recording for evaluating the reproductive systems for evaluating the female reproductive systems, e.g. gynaecological evaluations
    • A61B5/4318—Evaluation of the lower reproductive system
    • A61B5/4325—Evaluation of the lower reproductive system of the uterine cavities, e.g. uterus, fallopian tubes, ovaries
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/43—Detecting, measuring or recording for evaluating the reproductive systems
    • A61B5/4375—Detecting, measuring or recording for evaluating the reproductive systems for evaluating the male reproductive system
    • A61B5/4381—Prostate evaluation or disorder diagnosis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30084—Kidney; Renal

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Physiology (AREA)
  • Vascular Medicine (AREA)
  • Databases & Information Systems (AREA)
  • Fuzzy Systems (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Psychiatry (AREA)
  • Geometry (AREA)
  • Quality & Reliability (AREA)
  • Pregnancy & Childbirth (AREA)

Abstract

시스템은, 초음파 신호를 관심 타겟에 전송하고 전송된 초음파 신호에 연관된 에코 정보를 수신하도록 구성된 프로브를 포함할 수 있다. 시스템은, 상기 관심 타겟과 연관된 확률 정보를 생성하기 위해 수신된 에코 정보를 머신 러닝 알고리즘을 사용하여 프로세싱하도록 구성된 적어도 하나의 프로세싱 장치를 또한 포함할 수 있다. 적어도 하나의 프로세싱 장치는, 확률 정보를 분류하고 상기 분류된 확률 정보에 기초하여 상기 관심 타겟에 대응하는 이미지 정보를 추가로 출력할 수 있다.

Description

확률 맵 기반의 초음파 스캐닝{PROBABILITY MAP-BASED ULTRASOUND SCANNING}
관련출원
이 출원은 2017년 5월 11일 출원된 미국 가출원 번호 제62/504,709호에 기반하여 미국 특허법 35 U.S.C. § 119 하에 우선권을 주장하고, 출원 내용은 본원에 전체가 참조로 포함된다.
초음파 스캐너는 전형적으로 신체 내의 타겟 장기 또는 다른 구조를 식별하고/식별하거나 타겟 장기/구조와 연관된 특징부, 예컨대 장기/구조의 크기 또는 장기액의 부피를 결정하기 위해 사용된다. 예를 들어, 초음파 스캐너는 환자의 방광을 식별하고 방광액의 부피를 추정하기 위해 사용된다. 전형적인 시나리오에서, 초음파 스캐너를 환자 위에 놓고 특정 주파수에서 음파 출력을 포함하는 초음파 신호를 생성하도록 작동시킨다. 초음파 신호로부터의 에코는 스캐너에 의해 수신되고 방광액의 부피를 결정하기 위해 분석될 수 있다. 예를 들어, 타겟 장기의 경계선, 예컨대 방광 벽을 감지하기 위해 분석될 수 있는 해당 이미지를 생성하기 위해, 수신 에코를 사용할 수 있다. 그 다음 방광 부피는 감지된 경계선 정보에 기초하여 추정될 수 있다. 그러나, 전형적인 초음파 스캐너는, 환자별 관심 타겟 장기의 크기 및/또는 형상의 다양성, 타겟 장기/구조의 경계선을 정확하게 감지하기 어렵게 하는 신체 내부의 방해물 등과 같은 다수의 인자에 의해 초래되는 부정확성을 자주 겪는다.
도 1a는 예시적인 구현예와 일치되는 스캐닝 시스템의 예시적인 구성을 도시한다.
도 1b는 환자 장기를 감지하는 것에 대해 도 1a의 스캐닝 시스템의 작동을 도시한다.
도 2는 도 1a의 스캐닝 시스템에 포함되는 로직 요소의 예시적인 구성을 도시한다.
도 3은 예시적인 구현예에서 도 2의 데이터 습득 유닛의 일부를 도시한다.
도 4는 예시적인 구현예에서 도 2의 자동인코더 유닛의 일부를 도시한다.
도 5는 도 2의 하나 이상의 요소에 포함되는 구성품의 예시적인 구성을 도시한다.
도 6은 예시적인 구현예에 따라 도 2에 도시된 다양한 구성품에 의한 프로세싱을 도시한 흐름도이다.
도 7은 예시적인 구현예에서 도 2의 자동인코더에 의해 생성된 출력을 도시한다.
도 8은 도 6의 프로세싱에 따른 이진화 프로세스를 도시한다.
도 9는 도 1a의 베이스 유닛을 통한 정보를 디스플레이하는 것과 연관된 흐름도이다.
도 10은 도 9의 프로세싱에 따른 베이스 유닛에 의해 이미지 데이터 출력을 예시적으로 도시한다.
다음의 상세한 설명은 첨부 도면을 참조한다. 상이한 도면에서 동일한 참조 번호는 동일하거나 유사한 요소를 식별할 수 있다. 또한, 다음의 상세한 설명은 본 발명을 제한하지 않는다.
본원에 설명된 구현예는, 초음파 스캐너를 통해 획득된 정보에 기초하여 환자의 관심 장기 또는 구조를 식별하기 위해, 신경망 및 딥 러닝을 사용하는 것을 포함하는 머신 러닝을 사용하는 것에 관한 것이다. 예를 들어, 스캐너는 타겟 장기를 향해 다수의 초음파 신호를 전송하기 위해 사용될 수 있고, 전송된 신호와 연관된 에코 정보는 머신 러닝 기술/알고리즘을 사용하여 프로세싱될 수 있다. 머신 러닝 프로세싱은 관심 타겟을 식별하고 확률 정보를 생성하기 위해 사용될 수 있고, 확률 정보는 수신된 초음파 에코 데이터에 기초하여 생성된 이미지의 각 부분 또는 픽셀과 연관된다.
일 구현예에서, 예를 들어 초음파 에코 데이터, 예컨대 타겟 장기로 향하는 다수의 상이한 스캔 평면 상에서 전송 된 초음파 신호와 연관된 B-모드 에코 데이터는, 각각의 B-모드 이미지에 대한 확률 맵을 생성하기 위해 사용될 수 있다. 일 구현예에서, B-모드 이미지에서의 각각의 픽셀은, 특정 픽셀이 타겟 장기/구조 내에 있는지 또는 일부인지를 표시하는 확률에 맵핑될 수 있다. 픽셀별 분석 결과는 타겟 확률 맵을 생성하기 위해 사용된다. 그 다음, 타겟 장기에 대한 경계선 벽을 결정하고 경계선 정보에 기초하여 크기를 추정하려고 시도하는 종래의 스캐너와 비교하면, 이진화 프로세스 및 후-프로세싱은 노이즈를 제거하고 장기의 보다 정확한 표현을 제공하기 위해 수행될 수 있다. 일부 구현예에서, 후-프로세싱으로부터의 출력은 의료진에게 디스플레이되고, 초음파 스캔을 수행하는 동안 장기를 쉽게 위치 설정하는 것을 보조할 수 있다. 환자의 방광액 부피와 같은 타겟 장기의 부피를 추정하기 위해 추가의 후-프로세싱을 수행할 수도 있다.
도 1a는 예시적인 구현예와 일치하는 스캐닝 시스템(100)을 도시하는 흐름도이다. 도 1을 참조하면, 스캐닝 시스템(100)은 프로브(110), 베이스 유닛(120), 및 케이블(130)을 포함한다.
프로브(110)는 핸들부(112)(또는 핸들(112)로도 지칭됨), 트리거(114) 및 노즈부(116)(돔 또는 돔부(116)으로도 지칭됨)를 포함한다. 의료진은 핸들(112)을 통해 프로브를 집고 트리거(114)를 눌러서 노즈부(116)에 위치한 하나 이상의 초음파 트랜시버 및 트랜듀서를 활성화시켜 초음파 신호를 관심 타겟 장기쪽으로 전송할 수 있다. 예를 들어, 도 1b는 환자(150)의 골반 영역 상에 그리고 이 실시예에서 관심 타겟 장기인 환자의 방광(152) 위에 위치한 프로브(110)를 도시한다.
핸들(112)은 사용자가 환자(150)에 대해 프로브(110)를 이동시키도록 한다. 전술한 바와 같이, 트리거(114)는, 선택된 해부학적 부분이 스캐닝되는 경우에 돔(116)이 환자(150)의 표면 부분과 접촉하면서 선택된 해부학적 부분의 초음파 스캔을 개시한다. 돔(116)은, 전형적으로 해부학적 부분에 적절한 음향 임피던스 매칭을 제공하고/하거나 초음파 에너지가 해부학적 부분으로 투영되는 경우에 초음파 에너지가 적절히 집속되도록 하는 재료로 형성된다. 예를 들어, 돔(116)이 환자(150)의 피부에 대해 배치되는 경우에 음향 임피던스 매칭을 제공하기 위해, 도 1b의 영역(154)에 도시된 음향 겔 또는 겔 패드가 관심 부위(ROI)에 걸쳐 환자(150)의 피부에 적용될 수 있다.
돔(116)은 하나 이상의 초음파 트랜시버 요소와 하나 이상의 트랜듀서 요소를 포함한다(도 1a 또는 도 1b에서는 미도시됨). 트랜시버 요소는 돔(116)으로부터 외부를 향해 초음파 에너지를 전송하고, 해부학적 부분 내의 내부 구조/조직에 의해 생성된 음향 반사 또는 에코를 수신한다. 하나 이상의 초음파 트랜듀서 요소는, 트랜시버 요소에 의한 초음파 신호의 전송에 대해 상이한 스캔 방향을 제공하기 위해, 모터에 의해 돔(116) 내에서 이동될 수 있는 1차원 또는 2차원 압전 요소의 어레이를 포함할 수 있다. 대안적으로, 트랜스듀서 요소는 프로브(110)에 대해 고정되어, 어레이 내의 요소를 선택적으로 활성화함으로써 선택된 해부학적 부위가 스캐닝되도록 할 수 있다.
일부 구현예에서, 프로브(110)는 방향성 표시자 패널(도 1a에서는 미도시)을 포함할 수 있고, 이는 초기 타겟팅하기 위해 그리고 사용자가 ROI 내의 장기 또는 구조를 타겟팅해서 접근하도록 가이드하기 위해, 밝게 비추어질 수 있는 다수의 화살표를 포함한다. 예를 들어, 일부 구현예에서 장기 또는 구조가 환자(150)의 제1 위치에서 피부 표면에 대해 배치된 프로브(110)의 배치로부터 중심이 되면, 방향 화살표는 밝게 비추어지지 않을 수 있다. 그러나, 장기가 중심을 벗어난 경우, 화살표 또는 화살표 세트는 사용자로 하여금 환자(150)의 제2 또는 후속 피부 위치에서 프로브(110)를 재위치시키도록 지시하기 위해 밝게 비추어질 수 있다. 다른 구현예에서, 방향 표시자는 베이스 유닛(120)의 디스플레이(122) 상에 제시될 수 있다.
프로브(110) 내에 위치한 하나 이상의 트랜시버는 관성 기준 유닛을 포함하고, 이는 바람직하게는 돔(116) 안 또는 그에 인접하여 위치하는 가속도계 및/또는 자이로스코프를 포함한다. 가속도계는 바람직하게는 좌표 시스템에 대한 트랜시버의 가속을 감지하도록 작동할 수 있는 반면, 자이로스코프는 동일하거나 다른 좌표 시스템에 대한 트랜시버의 각속도를 감지하도록 작동 가능할 수 있다. 따라서, 자이로스코프는 동적 요소를 사용하는 종래의 구성일 수 있거나, 광학 링 자이로스코프와 같은 광전자 장치일 수 있다. 일 구현예에서, 가속도계 및 자이로스코프는 통상 패키지형 및/또는 고체 상태 장치를 포함할 수 있다. 다른 구현예에서, 가속도계 및/또는 자이로스코프는 통상 패키지형 미세-전자기계 시스템(MEMS) 장치를 포함할 수 있다. 각 경우에서, 가속도계와 자이로스코프는 협력하여 환자의 해부학적 관심 부위에 근접한 공지 위치에 대한 위치 변화 및/또는 각도 변화의 결정을 허용한다.
프로브(110)는 유선 연결, 예컨대 케이블(130)을 통해 베이스 유닛(120)과 통신할 수 있다. 다른 구현예에서, 프로브(110)는 무선 연결(예, 블루투스, WiFi 등)을 통해 베이스 유닛(120)과 통신할 수 있다. 각 경우에서, 베이스 유닛(120)은 사용자로 하여금 초음파 스캔으로부터 프로세싱된 결과를 보도록 하고/하거나 프로브(110)의 작동 중에 사용자에 대해 조작의 상호 작용을 허용하는 디스플레이(122)를 포함한다. 예를 들어, 디스플레이(122)는 출력 디스플레이/스크린, 예컨대 액정 디스플레이(LCD), 발광 다이오드(LED) 기반 디스플레이, 또는 텍스트 및/또는 이미지 데이터를 사용자에게 제공하는 다른 유형의 디스플레이를 포함할 수 있다. 예를 들어, 디스플레이(122)는 환자(150)의 선택된 해부학적 부분에 대해 프로브(110)를 위치시키기 위한 명령어를 제공할 수 있다. 디스플레이(122)는 또한 선택된 해부학적 부위의 2차원 또는 3차원 이미지를 디스플레이할 수 있다.
일부 구현예에서, 디스플레이(122)는 그래픽 사용자 인터페이스(GUI)를 포함할 수 있고, 이는 사용자로 하여금 초음파 스캔과 연관된 다양한 특징부를 선택하도록 할 수 있다. 예를 들어, 디스플레이(122)는 사용자로 하여금 환자(150)가 남성, 여성, 또는 아동인지를 선택하도록 할 수 있다. 남성 및 여성 환자의 다양한 해부학적 세부 사항을 수용하는 적응 시스템(100)과 같이, 이것은 시스템(100)으로 하여금 선택된 환자의 해부학 구조에 초음파 신호의 전송, 수신 및 프로세싱을 자동으로 순응하도록 한다. 예를 들어, 남성 환자가 디스플레이(122) 상의 GUI를 통해 선택되는 경우, 시스템(100)은 남성 환자에서 방광과 같은 단일 공동을 위치시키도록 구성될 수 있다. 대조적으로, 여성 환자가 GUI를 통해 선택되는 경우, 시스템(100)은 방광 및 자궁을 포함하는 신체 부위와 같이 다수의 공동을 갖는 해부학적 부분을 이미징하도록 구성될 수 있다. 유사하게, 아동 환자가 선택되는 경우, 시스템(100)은 더 작은 크기의 아동 환자에 기초하여 전송을 조정하도록 구성될 수 있다. 대안적인 구현예에서, 시스템(100)은 남성 및/또는 여성 환자와 사용될 수 있는 단일 공동 스캐닝 모드 또는 다중 공동 스캐닝 모드를 선택하도록 구성되는 공동 선택기를 포함할 수 있다. 따라서, 공동 선택기는 단일 공동 부위를 이미지화시키거나, 또는 다중 공동 부위, 예컨대 대동맥과 심장을 포함하는 부위를 이미지화시킬 수 있다. 또한, 환자 유형(예, 남성, 여성, 아동)의 선택은, 아래에 상세히 설명되는 바와 같이 타겟 장기의 정확한 표현을 제공하는 것을 보조하기 위해 이미지를 분석하는 경우에 사용될 수 있다.
환자의 선택된 해부학적 부분을 스캐닝하기 위해, 돔(116)은 스캐닝될 해부학적 부분에 근접한 환자(150)의 표면 부분(도 1b에 도시됨)에 대해 위치할 수 있다. 사용자는 트리거(114)를 눌러 트랜시버를 작동시킨다. 이에 응답하여, 트랜스듀서 요소는 트랜시버를 선택적으로 위치시키고, 트랜시버는 초음파 신호를 신체로 전송하고 해당 리턴 에코 신호를 수신하고, 리턴 에코 신호는 선택된 해부학적 부분의 초음파 이미지를 생성하기 위해 트랜시버에 의해 적어도 부분적으로 프로세싱될 수 있다. 특정 구현예에서, 시스템(100)은 대략 2 메가헤르쯔(MHz) 에서 대략 10 MHz 이상(예, 18 MHz)까지 연장되는 범위 내에서 초음파 신호를 전송한다.
일 구현예에서, 프로브(110)는 소정의 주파수 및/또는 펄스 반복 속도로 초음파 에너지를 생성하고 초음파 에너지를 트랜시버로 전송하도록 구성된 베이스 유닛(120)에 결합될 수 있다. 베이스 유닛(120)은 또한 스캐닝된 해부학적 부위의 이미지를 생성하기 위해 트랜시버에 의해 수신된 초음파 반사 에너지를 프로세싱하도록 구성된 프로세서 또는 프로세싱 로직을 하나 이상 포함한다.
또 다른 특정 구현예에서, 프로브(110)는, 프로브(110) 내에 위치한 마이크로프로세서, 및 마이크로 프로세서와 연관된 소프트웨어를 포함하는 자급식 장치일 수 있어서, 트랜시버를 작동 가능하게 제어하고 초음파 반사 에너지를 프로세싱하여 초음파 이미지를 생성한다. 따라서, 프로브(110) 상의 디스플레이는 생성된 이미지를 디스플레이하고/디스플레이하거나 트랜시버의 작동과 연관된 다른 정보를 보기 위해 사용될 수 있다. 예를 들어, 정보는 일련의 스캔을 수행하기 이전에 트랜시버의 선호 위치를 표시하는 영문 숫자 데이터를 포함할 수 있다. 다른 구현예에서, 트랜시버는 범용 컴퓨터, 예컨대 트랜시버의 작동을 적어도 부분적으로 제어하는 소프트웨어를 포함하고, 또한 트랜시버로부터 전송된 정보를 프로세싱하여 스캐닝된 해부학적 부위의 이미지를 생성하도록 하는 소프트웨어를 포함하는 랩탑 또는 데스트탑 컴퓨터와 연결될 수 있다.
도 2는 예시적인 구현예에 따라 시스템(100)에 구현된 기능 로직 구성품의 블록 다이어그램이다. 도 2를 참조하면, 시스템(100)은 데이터 습득 유닛(210), 콘볼루션 신경망(CNN) 자동인코더 유닛(220), 후-프로세싱 유닛(230), 조준 로직(240) 및 부피 추정 로직(250)을 포함한다. 예시적인 구현예에서, 프로브(110)는 데이터 습득 유닛(210)을 포함할 수 있고, 다른 기능적 유닛(예, CNN 자동인코더 유닛(20), 후-프로세싱 유닛(230), 조준 로직(240) 및 부피 추정 로직(250))은 베이스 유닛(120) 내에서 구현될 수 있다. 다른 구현예에서, 특정 유닛 및/또는 로직은 다른 장치에 의해, 예컨대 프로브(110)와 베이스 유닛(120) 둘 다에 대해 외부에 위치한(예를 들어, 인터넷에 무선 연결을 통해 또는 병원 내의 로컬 영역 네트워크에 액세스 가능한) 컴퓨터 장치 또는 서버를 통해 구현될 수 있다. 예를 들어, 프로브(110)는 에코 데이터 및/또는 이미지 데이터를 프로세싱 시스템으로, 예를 들어 프로브(110) 및 베이스 유닛(120)으로부터 원격식으로 위치한 무선 연결(예, WiFi 또는 일부 다른 무선 프로토콜/기술)을 통해 전송할 수 있다.
전술한 바와 같이, 프로브(110)는, 초음파 신호를 생성하고 전송된 신호로부터 에코를 수신하고 수신된 에코(예, 수신된 에코의 크기 또는 강도)에 기초하여 B-모드 이미지 데이터를 생성하는 트랜시버를 포함할 수 있다. 예시적인 구현예에서, 데이터 습득 유닛(210)은 환자(150)의 관심 부위에 대응하는 다수의 스캔 평면과 연관된 데이터를 획득한다. 예를 들어, 프로브(110)는 방광 크기 및/또는 부피를 결정하기 위해 2차원(2D) B-모드 이미지 데이터를 생성하기 위해 데이터 습득 유닛(210)에 의해 프로세싱되는 에코 데이터를 수신할 수 있다. 다른 구현예에서, 프로브(110)는 방광 크기 및/또는 부피를 결정하기 위해 사용될 수 있는 3차원(3D) 이미지 데이터를 생성하기 위해 프로세싱되는 에코 데이터를 수신할 수 있다.
예를 들어, 도 3은 3D 이미지 데이터를 획득하기 위해 사용되는 데이터 습득 유닛(210)을 예시적으로 도시한다. 도 3을 참조하면, 데이터 습득 유닛(210)은 트랜스듀서(310), 돔부(116)의 외부 표면(320), 및 베이스(360)를 포함한다. 도 3에 도시된 요소는 프로브(110)의 돔부(116) 내에 포함될 수 있다.
트랜스듀서(310)는 도 3에서 330으로 표시되는 프로브(110)로부터의 초음파 신호를 전송할 수 있다. 트랜스듀서(310)는 트랜스듀서(310)가 2개의 수직축에 대해 회전하도록 장착될 수 있다. 예를 들어, 트랜스듀서(310)는 베이스(360)에 대해 제1 축(340) 주위를 회전하고, 베이스(360)에 대해 제2 축(350) 주위를 회전할 수 있다. 제1 축(340)은 쎄타 축으로 본원에 지칭되고 제2 축(350)은 파이 축으로 본원에 지칭된다. 예시적인 구현예에서, 쎄타와 파이 이동 범위는 180도 미만일 수 있다. 일 구현예에서, 스캐닝은 쎄타 이동과 파이 이동에 대해 서로 엮일 수 있다. 예를 들어, 트랜스듀서(310)의 이동은 쎄타 방향 다음에 파이 방향으로 일어날 수 있다. 이는 데이터 습득 유닛(210)이 매끄럽고 연속적인 부피 스캐닝을 획득 할 뿐만 아니라 스캔 데이터가 획득되는 속도를 향상시킬 수 있다.
예시적인 구현예에서, 데이터 습득 유닛(210)은, 이미지를 CNN 자동인코더 유닛(220)으로 전송하기 이전에 B-모드 이미지의 크기를 재조정할 수 있다. 예를 들어, 데이터 습득 유닛(210)은 감소 또는 대역폭 축소를 통해 B-모드 이미지의 크기를 줄이는 로직을 포함할 수 있다. 그 다음, 감소된 크기의 B-모드 이미지는 CNN 자동인코더 유닛(220)으로 입력되고, 이는 아래에 더 상세히 설명되는 출력 확률 맵핑을 생성할 것이다. 대안적인 구현예에서, CNN 자동인코더 유닛(220)은 입력 계층에서 입력 B-모드 이미지 자체를 감소하거나 대역폭을 축소시킬 수 있다. 어느 경우든, B-모드 이미지 데이터의 크기/양을 감소시키는 것은 B-모드 이미지 데이터를 프로세싱하기 위해 CNN 자동인코더 유닛(220)에 의해 요구되는 프로세싱 시간 및 프로세싱 능력을 감소시킬 수 있다. 다른 구현예에서, B-모드 이미지 데이터를 CNN 자동인코더 유닛(220)에 입력하기 이전에 데이터 습득 유닛(210)에 의해 크기 재조정이 수행되지 않을 수 있다. 또 다른 구현예에서, 밝기 정규화, 콘트라스트 향상, 스캔 변환과 같은 이미지 향상 조작은 출력 데이터 생성에 대한 정확도를 향상시키기 위해 데이터 습득 유닛(210) 및/또는 CNN 자동인코더 유닛(220)에 의해 수행될 수 있다.
도 2를 다시 참조하면, CNN 자동인코더 유닛(220)은 데이터 습득 유닛(210)을 통해 수신된 데이터를 프로세싱하기 위한 로직을 포함할 수 있다. 예시적인 구현예에서, CNN 자동인코더 유닛(220)은 심층 신경망(DNN) 프로세싱을 수행할 수 있고, 이는 아래에 보다 상세히 설명되는 바와 같이 각 계층에 대한 다수의 커널 또는 필터 그리고 다수의 콘볼루션 계층 프로세싱을 포함한다. 본원에서 사용되는 용어 "CNN 자동인코더 유닛"또는 "자동인코더 유닛"은 신경망 및/또는 머신 러닝 시스템/유닛을 포함하는 것으로 광범위하게 해석되어야 하며, 여기서 공간 정보 없이 글로벌 라벨을 출력하는 분류기와 대조적으로, 입력 및 출력 모두는 공간 정보를 갖는다.
예를 들어, CNN 자동인코더 유닛(220)은 수신된 이미지 입력을, 가능하면 왜곡량을 최소로 갖는 출력에 맵핑하는 로직을 포함한다. CNN 프로세싱은 신경망 프로세싱의 다른 유형과 유사할 수 있으나, CNN 프로세싱은 입력이 이미지라는 명시적 가정을 사용하고, 이는 CNN 프로세싱으로 하여금 보다 더 쉽게 다양한 특성/제한을 프로세싱에 인코딩함으로써, CNN 자동인코더 유닛(220)에 의해 프로세싱되거나 인수분해되야 하는 매개변수의 양을 줄일 수 있다. 예시적인 구현예에서, CNN 자동인코더 유닛(220)은 입력 이미지와 연관된 특징부 맵을 생성하기 위해 콘볼루션 프로세싱을 수행한다. 그 다음 특징부 맵은 출력을 생성하기 위해 다수 회 샘플링될 수 있다. 예시적인 구현예에서, CNN 자동인코더 유닛(220)에 의해 사용되는 CNN의 커널 크기는, 출력을 생성하도록 적절한 속도를 제공하기 위해 17x17 이하의 크기를 가질 수 있다. 또한, 17x17 커널 크기는 CNN 자동인코더 유닛(22)으로 하여금 B-모드 이미지 데이터 내의 관심 지점 주위의 적절한 정보를 캡처하도록 할 수 있다. 또한, 예시적인 구현예에 따라, 콘볼루션 계층의 수는, 각 계층에 대해 5개 이하의 커널을 갖는 8개 이하일 수 있다. 그러나, 작은 커널 크기(예, 3x3, 7x7, 9x9, 등) 또는 큰 커널 크기(예, 17x17 초과), 계층 당 추가적인 커널(예, 5 초과), 및 추가적인 콘볼루션 계층(예, 10 이상 최대 수 백까지)을 다른 구현예에서 사용할 수 있음을 이해해야 한다.
CNN 프로세싱을 포함하는 전형적인 응용예에서, 좁은 병목 계층을 프로세싱 내에 추가함으로써 데이터 치수를 감소시켜, 오직 관심 데이터만이 좁은 계층을 통과할 수 있도록 한다. 이 데이터 치수 감소는, 신경망에 의해 프로세싱된 이미지 크기를 감소시키기 위해, 전형적으로 "풀링" 계층을 추가하거나 큰 "스트라이드"를 사용함으로써 달성된다. 그러나, 감지된 방광벽 위치의 공간 정확성이 정확한 부피 계산에 중요한 방광 감지에 대해 본원에 설명된 일부 구현예에 있어서, 풀링 및/또는 큰 스트라이드는 최소로 사용되거나 다른 공간 해상도 유지 기법, 예컨대 스킵 연결(skip connection) 또는 딜레이티드 콘볼루션(dilated convolution)과 조합된다.
예시적인 시스템(100)이 B-모드 입력 데이터를 프로세싱하기 위해 CNN 자동인코더 유닛(220)을 사용하는 것으로 설명된 반면에, 다른 구현예에서 시스템(100)은 다른 유형의 자동인코더 유닛 또는 머신 러닝 유닛을 포함할 수 있다. 예를 들어, CNN 자동인코더 유닛(220)은, 출력 계층이 입력 계층과 동일한 수의 노드를 갖는 신경망 구조를 포함할 수 있다. 다른 구현예에서, 입력 계층의 수가 출력 계층의 수와 동일하지 않는 곳에, 다른 유형의 머신 러닝 모듈 또는 유닛을 사용할 수 있다. 예를 들어, 머신 러닝 모듈은 입력 이미지보다 (계층 수 측면에서) 2배 더 크거나 더 작은 확률 맵핑 출력을 생성할 수 있다. 다른 구현예에서, 시스템(100)에 포함된 머신 러닝 유닛은, 다양한 머신 러닝 기법과 알고리즘, 예컨대 판단 트리(decision tree), 지원 벡터 머신(support vector machine), 베이지안 네트워크(Bayesian networks) 등을 사용할 수 있다. 각각의 경우, 시스템(100)은 아래에 상세히 설명되는 바와 같이 관심 타겟 장기의 부피를 추정하기 위해 그 다음 사용될 수 있는 B-모드 입력 데이터에 대해 확률 정보를 생성하기 위해 머신 러닝 알고리즘을 사용한다.
도 4는 예시적인 구현예에 일치하는 CNN 자동인코더 유닛(220)의 일부를 개략적으로 도시한다. 도 4를 참조하면, CNN 자동인코더 유닛(220)은 공간 입력(410), FFT 입력(420), 룩업(442), 특징부 맵(430), 특징부 맵(440), 룩업(442), 커널(450), 바이어스(452), 커널(460), 및 바이어스(462)를 포함할 수 있다. 공간 입력(410)은 데이터 습득 유닛(210)에 의해 제공되는 2D B-모드 이미지 데이터를 나타낸다. CNN 자동인코더(220)는 이미지 데이터를 주파수 도메인으로 변환하기 위해 FFT(Fast Fourier Transform)를 수행하고, 커널 FFT(450)를 통해 입력 FFT에 필터 또는 가중치를 적용할 수 있다. 콘볼루션 프로세싱의 출력은 공간 특징부 맵(430)을 생성하기 위해 룩업 테이블(422)로 보내진 결과와 함께 적용되는 IFFT(inverse Fast Fourier Transform) 함수와 바이어싱 값(452)을 통해 바이어스될 수 있다. CNN 자동인코더 유닛(220)은 FFT 특징부 맵(440)을 생성하기 위해 공간 특징부 맵(430)에 FFT를 적용할 수 있고, 프로세스는 추가적인 콘볼루션 및 커널에 대해 반복될 수 있다. 예를 들어, CNN 자동인코더 유닛(220)이 8개의 콘볼루션 계층을 포함하는 경우, 프로세스는 7번 더 계속될 수 있다. 또한, 각각의 후속하는 특징부 맵에 적용된 커널은, 도 4의 4개의 커널(460)에 의해 도시된 바와 같이 커널의 수에 특징부 맵의 수를 곱한 것에 대응한다. 바이어스(452 및 462)는 CNN 프로세싱의 성능을 개선하기 위해 또한 적용될 수 있다.
전술한 바와 같이, CNN 자동인코더 유닛(220)은 FFT를 사용하여 주파수 도메인에서 콘볼루션을 수행할 수 있다. 이러한 접근법은 시스템(100)으로 하여금, CNN 알고리즘을 수행하기 위해 다수의 컴퓨터를 사용할 수 있는 더 큰 시스템보다 적은 연산 능력을 사용하여 CNN 알고리즘을 구현할 수 있도록 한다. 이 방식으로 시스템(100)은 휴대용 유닛과 베이스 스테이션, 예컨대 프로브(110)와 베이스 유닛(120)을 사용하여 CNN 프로세싱을 수행할 수 있다. 다른 구현예에서, 공간-도메인 접근법을 사용할 수 있다. 시스템(100)이 다른 프로세싱 장치와, 예컨대 네트워크(예, 무선 또는 유선 네트워크)를 통해 시스템(100)에 연결된 프로세싱 장치 및/또는 클라이언트/서버 접근법(예, 시스템(100)이 클라이언트임)을 통해 시스템(100)과 작동하여 통신할 수 있는 상황에서, 공간-도메인 접근법은 추가적인 프로세싱 능력을 사용할 수 있다.
CNN 자동인코더 유닛(220)의 결과는, 프로세싱된 입력 이미지의 픽셀 또는 각 프로세싱된 부분이 관심 타겟 장기 내에 있을 확률과 연관된 확률 정보이다. 예를 들어, CNN 자동인코더 유닛(220)은, 처리된 입력 이미지 데이터와 연관된 각각의 픽셀이 0(zero)과 1 사이의 값에 대응하는 확률에 맵핑되는 확률 맵을 생성할 수 있고, 여기서, 0(zero)인 값은 픽셀이 타겟 장기 내에 있을 0(zero) % 확률을 나타내고, 1인 값은 픽셀이 타겟 장기 내에 있을 100 % 확률을 나타내며 아래에 더욱 자세히 설명된다. CNN 자동인코더 유닛(220)은, 입력 이미지와 반대로 처리된 이미지에 대한 픽셀 분석 또는 공간 위치 분석을 수행한다. 결과적으로 처리된 이미지의 픽셀별 분석은 입력 이미지와 일대일 기반으로 대응할 수 없다. 예를 들어, 확률 정보를 생성하기 위해 CNN 자동인코더 유닛(220)에 의해 분석된 하나의 처리된 픽셀 또는 공간 위치는, 입력 이미지의 크기 재조정에 기초하여 입력 이미지 내의 다수 픽셀에 대응하거나 그 반대일 수 있다. 또한, 본원에 사용된 용어 "확률"은, 타겟 또는 관심 장기 내에 이미지의 부분 또는 픽셀이 있을 가능성을 광범위하게 포함하는 것으로 해석되어야 한다. 본원에 사용된 용어 "확률 정보"는, 이산값, 예컨대 이진수로 된 값 또는 다른 값을 포함하는 것으로 광범위하게 또한 해석되어야 한다.
다른 구현예에서, CNN 자동인코더 유닛(220)은 확률 맵을 생성할 수 있고, 여기서 각각의 픽셀은, 확률 값 또는 표시자, 예컨대 -10 내지 10인 범위 값, 256 그레이 스케일 값 중 하나에 해당하는 값 등에 상관 관계를 갖을 수 있는 다양한 값에 맵핑될 수 있다. 각각의 경우에서, CNN 자동인코더 유닛(220)에 의해 생성된 값 또는 단위는, 타겟 장기 내에 이미지의 부분 또는 픽셀이 있는 확률을 결정하기 위해 사용될 수 있다. 예를 들어 256 그레이 스케일 예시에서, 1의 값은 이미지의 부분 또는 픽셀이 타겟 장기 내에 있는 0 %인 확률을 표시할 수 있고, 256의 값은 픽셀 또는 이미지가 타겟 장기 내에 있는 100 % 확률을 표시할 수 있다.
또 다른 구현예에서, CNN 자동인코더 유닛(220)은, 픽셀 또는 출력 영역이 타겟 장기 내에 있는지 여부를 표시하는 이산 출력 값, 예컨대 이진수로 된 값을 생성할 수 있다. 예를 들어 CNN 자동인코더 유닛(220)은, 픽셀이 타겟 장기 내에 있는 경우는 "1"이고, 픽셀이 타겟 장기 내에 없는 경우는 "0(zero)"과 같은 이산 값을 생성하는 이진화 또는 분류 프로세싱을 포함할 수 있다. 다른 경우에서, 생성된 값은 이진수가 아닐 수 있지만, 타겟 장기 내에 혹은 바깥에 픽셀이 있는지 여부와 상관 관계를 가질 수 있다.
일부 구현예에서, CNN 자동인코더 유닛(220)은 픽셀별 데이터를 분석하는 경우에 다양한 인자를 고려할 수 있다. 예를 들어, CNN 자동인코더 유닛(220)은 환자(150)가 남성, 여성 또는 아동인지를 표시하는 베이스 유닛(120)(도 1a)의 디스플레이(122) 상에 디스플레이된 GUI를 통해 사용자로부터 입력을 수신하고, 특정 유형의 환자에 대한 타겟 장기에 관한 유사 크기, 모양, 부피 등에 관한 저장된 정보에 기초하여 확률 값을 조정할 수 있다. 이러한 구현예에서, CNN 자동인코더 유닛(220)은 남성, 여성 및 아동 데이터로 훈련된 3개의 상이한 CNN을 포함할 수 있고, CNN 자동인코더 유닛(220)은 선택에 기반해서 적절한 CNN을 사용할 수 있다.
일부 구현예에서, CNN 자동인코더 유닛(220)은, 예를 들어 대상자와 연관된 B-모드 이미지 데이터를 사용하여 성별, 연령, 연령대, 성인 또는 아동 상태 등과 같은 대상자의 환자 인구 통계를 자동으로 식별할 수 있다. CNN 자동인코더 유닛(220)은, 예를 들어 체질량 지수(BMI), 신체 크기 및/또는 체중 등과 같은 B-모드 이미지 데이터를 사용하여 대상자의 임상 상태를 또한 자동으로 식별할 수 있다. CNN 자동인코더 유닛(220)은 또한 프로브(110)의 위치 정보, 관심 타겟에 대한 프로브(110)의 조준 품질과 같이 시스템(100)에 의해 수행된 스캔을 위한 장치 정보를 자동으로 식별할 수 있다.
다른 구현예에서, (예를 들어, 자동인코더 유닛(220) 및/또는 프로세서(520)와 유사한) 다른 처리 장치는, 예를 들어 다른 신경망 또는 다른 프로세싱 논리를 사용하여 환자 인구 통계, 임상 상태 및/또는 장치 정보의 자동 감지를 수행할 수 있고, 자동 결정의 출력은 CNN 자동인코더 유닛(220)에 대한 입력으로서 제공될 수 있다. 또한 다른 구현에서, 환자 인구 통계 정보, 임상 상태 및/또는 장치 정보, 환자 데이터 등은, 예를 들어 베이스 유닛(120)의 디스플레이(122)를 통해 또는 프로브(110) 상의 입력 선택을 통해 수동으로 입력될 수 있다. 각각의 경우에, CNN 자동인코더 유닛(220)에 의해 자동으로 식별되거나 CNN 자동인코더 유닛(220)/시스템(100)에 수동으로 입력된 정보는, 이미지 데이터의 프로세싱을 위해 적절한 CNN을 선택하는 데 사용될 수 있다.
또 다른 구현예에서, CNN 자동인코더 유닛(220)은 다른 정보를 이용해 훈련될 수 있다. 예를 들어, CNN 자동인코더 유닛(220)은 대상자와 연관된 환자 데이터로 훈련될 수 있고, 이는 환자의 병력 데이터를 사용하여 얻어진 정보뿐만 아니라 관심 타겟을 스캐닝하기 이전에 환자의 신체 검사를 통해 얻은 정보를 포함할 수 있다. 예를 들어, 환자 데이터는 환자의 의료 이력 정보, 예컨대 환자 수술 이력, 만성 질환 이력(예, 방광 질환 정보), 관심 타겟의 이전 이미지(예, 대상자의 방광 이전 이미지) 등뿐만 아니라, 환자/대상자의 신체 검사를 통해 얻어진 데이터, 예컨대 임신 상태, 흉터 조직의 존재, 수화 문제, 타겟 부위의 비정상(예, 팽만 또는 팽창된 복부)을 포함할 수 있다. 예시적인 구현예에서, 환자 데이터는 베이스 유닛(120)의 디스플레이를 통해 시스템(100)에 입력될 수 있다. 각각의 경우에, CNN 자동인코더 유닛(220) 및/또는 다른 처리 장치에 의해 자동 생성된 정보 및/또는 시스템(100)에 수동으로 입력된 정보는, 시스템(100)에 의해 수행되는 머신 러닝 프로세싱에 대한 입력으로서 제공되어, 시스템(100)에 의해 생성된 관심 타겟과 연관된 데이터의 정확성을 증가시키는 것을 보조할 수 있다.
또 다른 경우에서, 자동인코더 유닛(220)은, 디스플레이(122) 상에 제공된 GUI를 통해 장기의 유형(예, 방광, 대동맥, 전립선, 심장, 신장, 자궁, 혈관, 양수, 태아 등) 및 촬영되는 장기의 수 등에 관한 입력 정보를 수신할 수 있고, 선택된 장기에 따라 훈련된 적절한 CNN을 사용할 수 있다.
후-프로세싱 유닛(230)은 픽셀별 확률 정보를 수신하는 로직을 포함하고, "스마트" 이진화 확률 알고리즘을 적용한다. 예를 들어, 후-프로세싱 유닛(230)은, 아래에 상세히 설명되는 바와 같이 윤곽 세부 사항을 보다 명확하게 정의하기 위해 보간법을 수행할 수 있다. 또한, 후-프로세싱 유닛(230)은 대상자 유형에 기초해서 CNN 자동인코더 유닛(220)의 출력을 조정할 수 있다. 예를 들어, 프로브(110)를 사용하여 초음파 스캔을 시작하기 이전에 디스플레이(122) 상의 GUI를 통해 "아동"이 선택된 경우, 후-프로세싱 유닛(230)은 특정 깊이보다 더 깊은 위치에 해당하는 자동인코더 유닛(220)으로부터의 출력을 무시할 수 있는데 그 이유는 아동의 방광 깊이는 통상적인 아동의 조그만 크기로 인해 전형적으로 얕기 때문이다. 또 다른 예로, 후-프로세싱 유닛(230)은 장기 유형에 기초해서 단일 주 부위 또는 다중 관심 부위를 선택할지에 대해 결정할 수 있다. 예를 들어, 스캐닝되는 장기 유형이 방광인 경우, 후-프로세싱 유닛(230)은 단일 주 부위를 선택할 수 있는데, 그 이유는 신체에 방광은 오직 하나이기 때문이다. 그러나, 타겟이 치골인 경우, 후-프로세싱 유닛(230)은 치골의 두 측부에 해당하는 관심 부위를 2개까지 선택할 수 있다.
조준 로직(240)은, 초음파 스캐닝 중에 프로브(110)에 대해 타겟 장기가 적절하게 중심에 있는지를 결정하는 로직을 포함한다. 일부 구현예에서, 조준 로직(240)은 텍스트 또는 그래픽을 생성하여, 사용자가 타겟 장기의 우수한 스캐닝을 얻기 위해 프로브(110)의 위치를 조정하도록 안내할 수 있다. 예를 들어, 조준 로직(240)은 프로브(110)로부터 데이터를 분석하고 프로브(110)가 환자(150)의 좌측으로 이동할 필요가 있는지 결정할 수 있다. 이 경우에, 조준 로직(240)은 디스플레이(122)에 텍스트 및/또는 그래픽(예, 깜빡이는 화살표)을 출력하여 사용자로 하여금 프로브(110)를 적절한 방향으로 이동시키도록 지시할 수 있다.
부피 추정 로직(250)은 타겟 장기의 부피를 추정하기 위한 로직을 포함할 수 있다. 예를 들어, 부피 추정 로직(250)은 아래에 상세히 설명되는 후-프로세싱 유닛(230)에 의해 생성되는 2D 이미지에 기초한 부피를 추정할 수 있다. 3D 이미지를 제공하는 시나리오에서, 부피 추정 로직(250)은 3D 이미지를 사용하여 타겟 장기의 부피를 간단히 결정할 수 있다. 부피 추정 로직(250)은 디스플레이(122) 및 또는 프로브(110) 상의 디스플레이를 통해 추정된 부피를 출력할 수 있다.
도 2에 도시된 예시적인 구성은 간결성을 위해 제공된다. 시스템(100)은 도 2에 도시된 것보다 더 많거나 더 적은 로직 유닛/장치를 포함할 수 있음을 이해해야 한다. 예를 들어, 시스템(100)은 다수의 데이터 습득 유닛(210)과 수신된 데이터를 프로세싱하는 다수의 프로세싱 유닛을 포함할 수 있다. 또한, 시스템(100)은 추가적인 요소, 예컨대 관심 타겟 장기를 식별하도록 초음파 신호를 분석하는 데 보조하기 위해 외부 네트워크를 통해 정보를 송신하고 수신하는 통신 인터페이스(예, 라디오 주파수 트랜시버)를 포함할 수 있다.
또한, 시스템(100)의 특정 구성품에 의해 수행되는 대로 다양한 기능을 아래에 설명한다. 다른 구현예에서, 하나의 장치에 의해 수행되는 것으로 설명된 다양한 기능은, 다른 장치 또는 다수의 다른 장치에 의해 수행될 수 있고/있거나, 다수의 장치에 의해 수행되는 것으로 설명된 다양한 기능은 단일 장치에 의해 결합되어 수행될 수 있다. 예를 들어, 일 구현예에서, CNN 자동인코더 유닛(220)은 입력 이미지를 확률 정보로 변환하고 아래에 설명된 바와 같이 중간 맵핑 출력을 생성하고 또한 중간 출력을, 예를 들어 부피 정보, 길이 정보, 면적 정보 등으로 변환시킬 수 있다. 즉 단일 신경망 프로세싱 장치/유닛은 입력 이미지 데이터를 수신하고 부피 및/또는 크기 정보와 함께 프로세싱된 이미지 출력 데이터를 출력할 수 있다. 이 예시에서, 별개의 후-프로세싱 유닛(230) 및/또는 부피 추정 로직(250)은 필요하지 않을 수 있다. 또한, 이 예시에서 임의의 중간 맵핑 출력은 시스템(100)의 조작자에게 접근 가능하거나 보여질 수 있거나 그렇지 않을 수 있다(예, 중간 맵핑은 사용자에게 직접적으로 접근 가능하지 않거나 보여질 수 없는 내부 프로세싱의 일부일 수 있음). 즉, 시스템(100)에 포함된 신경망(예, CNN 자동인코더 유닛(220))은 수신된 초음파 에코 정보 및/또는 이미지를 변환하고 관심 타겟에 대한 부피 정보 또는 다른 크기 정보를 출력할 수 있지만, 시스템(100)의 사용자에 의한 추가적인 입력이 필요하지 않거나 추가 입력이 거의 없을 수 있다.
도 5는 장치(500)의 예시적인 구성을 도시한다. 장치(500)는, 예를 들어 CNN 자동인코더 유닛(220), 후-프로세싱 유닛(230), 조준 로직(240) 및 부피 추정 로직(250)의 구성품에 대응할 수 있다. 도 5를 참조하면, 장치(500)는 버스(510), 프로세서(520), 메모리(530), 입력 장치(540), 출력 장치(550) 및 통신 인터페이스(560)를 포함할 수 있다. 버스(510)는 장치(500)의 요소 사이에서 통신을 허용하는 경로를 포함할 수 있다. 예시적인 구현에서, 도 5에 도시된 구성품의 전부 또는 일부는, 메모리(530)에 저장된 소프트웨어 명령어를 실행하는 프로세서(520)에 의해 구현되고/구현되거나 제어될 수 있다.
프로세서(520)는 명령을 해석하고 실행할 수 있는 프로세서, 마이크로프로세서, 또는 프로세싱 로직을 하나 이상 포함할 수 있다. 메모리(530)는, 프로세서(520)에 의한 실행을 위해 정보 및 명령을 저장할 수 있는 랜덤 액세스 메모리(RAM) 또는 다른 유형의 동적 저장 장치를 포함할 수 있다. 메모리(530)는, 프로세서(520)에 의한 사용을 위해 정적 정보 및 명령을 저장할 수 있는 읽기 전용 메모리(ROM) 또는 다른 유형의 정적 저장 장치를 또한 포함할 수 있다. 메모리(530)는 추가적으로 고체 상태 드라이브(SDD)를 포함할 수 있다. 메모리(530)는 자기 및/또는 광학 기록 매체(예, 하드디스크) 및 이에 대응하는 드라이브를 또한 포함할 수 있다.
입력 장치(540)는, 사용자가 정보를 장치(500), 예컨대 키보드, 키패드, 마우스, 펜, 마이크로폰, 터치 스크린, 음석 인식 및/또는 생체 인식 장치 등에 정보를 입력하도록 하는 장치를 포함할 수 있다. 출력 장치(550)는 정보를 사용자에게 출력하는 장치를 포함할 수 있고, 디스플레이(예, 액정 디스플레이(LCD)), 프린터, 스피커 등을 포함한다. 일부 구현예에서, 터치 스크린 디스플레이는 입력 장치 및 출력 장치로서 동시에 기능할 수 있다.
통신 인터페이스(560)는 하나 이상의 트랜시버를 포함할 수 있고, 이를 장치(500)가 사용하여 유선, 무선 또는 광학 장치를 통해 다른 장치와 통신한다. 예를 들어, 통신 인터페이스(560)는, 라디오 주파수(RF) 송신기, 수신기 및/또는 트랜시버 및 네트워크를 통해 RF 데이터를 송수신하기 위한 하나 이상의 안테나를 포함할 수 있다. 통신 인터페이스(560)는, 네트워크의 요소와 통신하기 위한 LAN 또는 다른 장치로의 모뎀 또는 이더넷 인터페이스를 포함할 수 있다.
도 5에 도시된 예시적인 구성은 간결성을 위해 제공된다. 장치(500)는 도 5에 도시된 것보다 더 많거나 더 적은 장치를 포함할 수 있음을 이해해야 한다. 예시적인 구현예에서, 장치(500)는, 메모리(530)와 같은 컴퓨터 판독 매체에 포함된 명령어 시퀀스를 수행하는 프로세서(520)에 대응하여 작동을 수행한다. 컴퓨터 판독 매체는 물리적 또는 논리적 메모리 장치로서 정의될 수 있다. 소프트웨어 명령어는 다른 컴퓨터 판독 매체(예, 하드 디스크 드라이브(HDD), SSD 등) 또는 다른 장치로부터 통신 인터페이스(560)를 통해 메모리(530) 내로 읽혀질 수 있다. 대안적으로, 주문형 집적 회로(ASIC), 필드 프로그래머블 게이트 어레이(FPGA) 등과 같은 유선 회로는 본 명세서에 설명된 구현예와 일치하는 프로세스를 구현하기 위해 소프트웨어 명령어 대신에 또는 소프트웨어 명령어와 조합해서 사용될 수 있다. 따라서, 본원에 설명된 구현예는 하드웨어 회로와 소프트웨어의 임의 특정 조합에 제한되는 것은 아니다.
도 6은 관심 타겟을 식별하는 것뿐만 아니라 관심 타겟과 연관된 파라미터(예, 부피)를 식별하는 것과 연관된 예시적인 프로세싱을 도시하는 흐름도이다. 프로세싱은 관심 타겟 장기를 스캔하기 위해 사용자가 작동하는 프로브(110)로 시작할 수 있다. 이 예시에서는 타겟 장기가 방광이라고 가정한다. 본원에 설명된 특징부는 신체 내 다른 장기 또는 구조를 식별하기 위해 사용될 수 있음을 이해해야 한다.
예시적인 구현예에서, 사용자는 트리거(114)를 누를 수 있고 프로브(110)에 포함된 트랜시버는 초음파 신호를 전송하고 프로브(110)에 의해 수신된 에코 신호와 연관된 B-모드 데이터를 획득한다(블록(610)). 일 구현예에서, 데이터 습득 유닛(210)은 방광을 통해 12개의 상이한 평면 상에 초음파 신호를 전송하고, 12개의 상이한 평면에 대응하는 12개의 B-모드 이미지를 생성할 수 있다. 이 구현예에서, 데이터는 2D 이미지 데이터에 대응할 수 있다. 다른 구현예에서, 데이터 습득 유닛(210)은 3D 이미지 데이터를 생성할 수 있다. 예를 들어, 도 3에 대해 위에 설명한 바와 같이, 데이터 습득 유닛(210)은 3D 이미지를 생성하기 위해 인터레이스형 스캐닝을 수행할 수 있다. 각각의 경우에, 송신된 초음파 신호/스캔 평면의 수는 특정 구현예에 기반하여 변할 수 있다. 위에 설명한 바와 같이, 일부 구현예에서 데이터 습득 유닛(210)은 B-모드 데이터를 CNN 자동인코더 유닛(220)으로 전송하기 이전에 B-모드 이미지의 크기를 축소할 수 있다. 예를 들어, 데이터 습득 유닛(210)은 B-모드 이미지의 크기를 10 % 이상 축소시킬 수 있다.
각각의 경우에, CNN 자동인코더 유닛(220)은 2D B-모드 데이터를 수신하고 수신된 데이터로부터 노이즈를 제거하기 위해 데이터를 프로세싱한다고 가정한다. 예를 들어 도 7를 참조하면, CNN 자동인코더 유닛(220)은 방광에 대응하는 어두운 영역 또는 부위(712)와 함께 B-모드 이미지 데이터(710)를 수신할 수 있다. 도시된 바와 같이, B-모드 이미지 데이터는 불규칙하거나 사용자에게 불분명하거나 흐릿하게 보일 수 있는 영역을 포함한다. 예를 들어, 도 7의 부위(712)는 방광 둘레 내의 밝은 영역뿐만 아니라 뚜렷하지 않은 경계선을 포함한다. 이러한 노이즈 영역은 방광의 부피를 정확히 추정하는 것을 어렵게 할 수 있다.
이 경우에, CNN 자동인코더 유닛(220)은 타겟 확률 맵을 생성함으로써 획득된 B-모드 이미지(710)의 노이즈 제거를 수행한다. 예를 들어 위에 설명한 바와 같이, CNN 자동인코더(220)는 입력 이미지의 각 픽셀에 대해 확률 정보를 생성시키는 CNN 기법을 사용할 수 있다.
그 다음 베이스 유닛(120)은, 풀 콘 데이터(즉, 모든 스캔 평면 데이터)가 획득되었고 프로세싱되었는지 여부를 결정할 수 있다(블록(630)). 예를 들어, 베이스 유닛(120)은, 방광을 관통하는 12개의 상이한 스캔에 대응하는 모든 12개의 B-모드 이미지가 프로세싱되었는지를 결정할 수 있다. B-모드 이미지 데이터가 모두 프로세싱되지 않은 경우(블록(630)-아니요), 베이스 유닛(120)은 다음 스캔 평면 위치로의 움직임을 제어하며(블록(640)), 프로세싱은 다른 스캔 평면과 연관된 B-모드 이미지를 프로세싱하기 위해 블록(610)을 계속한다.
B-모드 이미지 데이터가 모두 프로세싱된 경우(블록(630)-예), 베이스 유닛(120)은 3D 정보를 사용하여 확률 맵을 개정할 수 있다(블록(650)). 예를 들어, CNN 자동인코더 유닛(220)은 환자가 남성, 여성, 아동 등의 여부에 기초하여 방광의 3D 형상 및 크기에 관한 저장된 가정 정보를 사용하여, CNN 자동인코더 유닛(220)에 의해 생성된 확률 정보의 일부를 수정함으로써 효과적으로 방광의 크기 및/또는 형상을 수정할 수 있다. 즉, 전술한 바와 같이 CNN 자동인코더 유닛(220)은 환자의 인구 통계 정보, 환자의 임상 상태, 시스템(100)(예, 프로브(110))과 연관된 장치 정보, 환자 데이터(예, 환자 의료 이력 정보 및 환자 검사 데이터)에 기초하여 훈련된 CNN을 사용할 수 있다. 예를 들어, CNN 자동인코더 유닛(220)은 환자(150)가 남성인 경우 남성 환자 데이터로 훈련된 CNN을 사용하고, 환자(150)가 여성인 경우 여성 환자 데이터로 훈련된 CNN을 사용하고, 환자(150)가 아동인 경우 아동 데이터로 훈련된 CNN을 사용하고, 환자의 연령대에 기초하여 훈련된 CNN을 사용하고, 환자의 의료 이력 등 훈련된 CNN을 사용한다. 3D 이미지 데이터가 베이스 유닛(120)에 의해 수신되고 프로세싱되는 경우와 같은 다른 구현예에서, 추가 프로세싱은 수행되지 않을 수 있고 블록(650)은 생략될 수 있다. 어느 경우든, 시스템(100)은 P-모드 이미지 데이터, 예컨대 도 7에 도시된 이미지(720)를 디스플레이할 수 있다(블록(660)).
어느 경우든, 베이스 유닛(120)은 이진화 프로세싱을 통해 타겟 부위를 세분화하는 확률 맵을 사용할 수 있다(블록(670)). 예를 들어, 후-프로세싱 유닛(230)은 CNN 자동인코더 유닛(220)의 출력을 수신하고 (예를 들어 보간법을 통해) 매끈하게 크기를 재조정하고/하거나 확률 맵핑을 (예를 들어, 필터링을 통해) 노이즈 제거할 수 있다. 예를 들어 일 구현예에서, 확률 맵은 더 큰 크기로 보간법을 통해 크기를 재조정할 수 있어서 더 나은 해상도를 얻고/얻거나 크기에서 감소되었던 원래의 B-모드 이미지 데이터의 공간 해상도를 적어도 부분적으로 복구할 수 있다. 일 구현예에서, 2D 란초스(Lanczos) 보간법을 수행하여 타겟 확률 맵과 연관된 이미지의 크기를 재조정할 수 있다.
또한, 베이스 유닛(120)은 분류화 또는 이진화 프로세스를 수행하여 확률 맵핑 유닛으로부터의 확률 정보를 이진수로 된 출력 데이터로 변환시킬 수 있다. 예를 들어, 후-프로세싱 유닛(230)은 확률 값을 이진수로 된 값으로 변환시킬 수 있다. 특정 픽셀에 대해 다수의 후보 확률 값이 식별되는 경우, 후-프로세싱 유닛(230)은 가장 두드러진 값을 선택할 수 있다. 이 방식으로, 후-프로세싱 유닛(230)은, 다수의 후보가 식별되는 경우 가장 가능성이 있는 값을 선택하기 위해, "스마트니스(smartness)"를 일부 적용할 수 있다.
도 8은 예시적인 스마트 이진화 프로세스를 개략적으로 도시한다. 도 8을 참조하면, 이미지(810)는, 확률 정보가 다양한 강도를 갖는 그레이 스케일 이미지로 변환되는 2D 초음파 이미지에 대응하는 픽셀 분류 또는 확률 맵으로부터의 출력을 도시한다. 도시된 바와 같이, 이미지(810)는 812로 표지된 그레이 영역과 814로 표지된 그레이 영역을 포함하고, 이는 방광의 부분에 대한 가능한 위치를 나타낸다. 후-프로세싱 유닛(230)은 이미지(820)에 도시된 십자선(822)에 의해 도시된 바와 같이, 가장 큰 강도를 갖는 이미지(810) 내의 피크 포인트 또는 포인트를 식별한다. 그 다음 이미지(830)에서 부위(832)에 의해 도시된 바와 같이, 후-프로세싱 유닛(230)은, 강도가 임계 강도보다 큰 부위에 대한 피크 포인트 주위의 부위를 채울 수 있다. 이 경우에, 임계 강도 값이 임계 강도 미만인 영역(820) 내의 부위는 채워지지 않고, 결과적으로 이미지(810)에 도시된 회색 영역(814)은 제거된다. 그 다음, 후-프로세싱 유닛(230)은, 이미지(840) 내의 부위(842)에 의해 도시된 바와 같이 배경을 채운다. 그 다음, 후-프로세싱 유닛(230)은, 이미지(850) 내의 영역(852)에 의해 도시된 바와 같이 이미지 내의 임의 구멍 또는 개방 부위를 채운다. 부위(842)의 구멍은 노이즈 부위 또는 환자(150) 내부의 일부 방해물과 연관된 부위에 대응할 수 있다. 이 방식으로, 후-프로세싱 유닛(230)은 방광에 대해 가장 확률이 높은 위치 및 크기를 식별한다. 즉, 영역(852)은 환자(150) 방광의 일부로 간주된다.
다른 구현예에서, 후-프로세싱 유닛(230)은 이미지(810) 내의 피크 강도 값 이외의 정보를 사용할 수 있다. 예를 들어, 후-프로세싱 유닛(230)은 프로세싱된 확률의 피크 값, 예컨대 평활처리된 확률 맵의 피크를 사용할 수 있고, 다수의 채워진 부위 등을 식별하기 위해 다수의 피크 값을 사용할 수 있다. 다른 예로서, 후-프로세싱 유닛(230)은 영역, 각 부위에서의 피크 확률 또는 평균 확률에 기초하여 "주" 부위를 선택할 수 있다. 또 다른 구현예에서, 후-프로세싱 유닛(230)은, 예를 들어 디스플레이(122)를 통해 작동자에 의해 수동으로 입력된 하나 이상의 씨드 포인트를 사용하고, 하나 이상의 씨드 포인트를 생성하는 알고리즘을 사용하고, 씨드 포인트 등을 사용하지 않는 다른 유형의 임계 값을 수행하여, 환자의 방광 부위를 식별할 수 있다.
이미지(810)가 이 방식으로 프로세싱된 이후, 베이스 유닛(120)은 이미지, 예컨대 도 7에 도시된 이미지(720)를 출력할 수 있다. 도 7을 참조하면, 이미지(720)는 방광에 대응하는 부위(722)를 포함한다. 도시된 바와 같이, 방광(722) 가장자리는 이미지(712) 내의 경계선보다 보다 더 뚜렷하여 방광의 보다 더 정확한 표현을 제공한다. 이 방식으로, 베이스 유닛(120)은 B-모드 이미지에서 각각의 픽셀에 대해 확률 값을 생성하고 B-모드 데이터의 노이즈를 제거하기 위해, 숨겨진 마르코프(Markov) 모델 및 신경망 알고리즘(예, CNN)과 같은 통계적 방법뿐만 아니라 각각의 픽셀에 대한 밝기 값 및 인접 픽셀에 대한 국부 경사 값을 사용할 수 있다.
그 다음 베이스 유닛(120)은 세분화 결과를 타겟 부피로 변환시킬 수 있다(블록(670)). 예를 들어, 후-프로세싱 유닛(230)은 이진화된 맵에서의 유효한 각 타겟 픽셀에 대응하는 3D 공간에서의 모든 복셀(voxel)의 부피를 합산할 수 있다. 즉, 부피 추정 로직(250)은 방광 부피를 추정하기 위해 12개로 세분화된 타겟 이미지의 복셀을 합산할 수 있다. 예를 들어, 각 복셀의 기여도 또는 부피는 미리 계산되어 베이스 유닛(120) 내의 룩업 테이블에 저장될 수 있다. 이 경우에서, 부피 추정 로직(250)은 추정된 부피를 결정하기 위해 복셀의 합을 룩업 테이블에 대한 인덱스로서 사용할 수 있다. 부피 추정 로직(250)은 또한 베이스 유닛(120)의 디스플레이(122)를 통해 부피를 표시할 수 있다. 예를 들어, 부피 추정 로직(250)은 도 7의 영역(724)에서 방광의 추정 부피(즉, 이 예시에서는 135 밀리리터(mL))를 디스플레이할 수 있고, 이는 베이스 유닛(120)의 디스플레이(122)에 출력된다. 대안적으로, 부피 추정 로직(250)은 프로브(110) 상의 디스플레이를 통해 부피 정보를 디스플레이할 수 있다. 후-프로세싱 유닛(230)은 세분화 결과를 또한 디스플레이할 수 있다(블록(690)). 즉, 후-프로세싱 유닛(230)은 베이스 유닛(120)의 디스플레이(122)를 통해 방광의 12개 세그먼트를 디스플레이할 수 있다.
일부 구현예에서, 시스템(100)은 확률 맵핑 정보에 대해 이진화 프로세스를 수행하지 않을 수 있다. 예를 들어 일부 구현예에서, CNN 자동인코더 유닛(220) 및/또는 후-프로세싱 유닛(230)은 룩업 테이블을 확률 맵핑 정보에 적용하여 관심 타겟 장기의 가장 가능성 있는 부분을 식별하고 디스플레이(122)를 통해 출력을 디스플레이할 수 있다.
다시 블록(620)을 참조하면, 일부 구현예에서 확률 맵핑 유닛(230)은 정보를 실시간으로 생성하면서 디스플레이할 수 있다. 도 9는 추가적인 디스플레이 정보를 사용자에게 제공하는 것과 연관된 프로세싱을 예시적으로 도시한다. 예를 들어, 후-프로세싱 유닛(230)은 확률 모드 정보(본원에서는 P-모드로 지칭됨)를 실시간으로 생성하면서 디스플레이(122)를 통해 디스플레이할 수 있다(도 9, 블록(910)). 후-프로세싱 유닛(230)은 또한 타겟을 세분화하고(블록(920)) B-모드 이미지와 함께 세분화 결과를 디스플레이할 수 있다(블록(930)). 예를 들어, 도 10은 3개의 B-모드 이미지(1010, 1012 및 1014) 및 이에 대응하는 P-모드 이미지(1020, 1022 및 1024)를 도시한다. 다른 구현예에서, 12개 B-모드 이미지 와 이에 대응하는 12개 P-모드 이미지 모두를 디스플레이할 수 있다. 도시된 바와 같이, P-모드 이미지(1020, 1022, 및 1024)는 B-모드 이미지(1010, 1012, 및 1014)보다 더 명확하다. 또한 일부 구현예에서, 후-프로세싱 유닛(230)은 P-모드 이미지 각각에 디스플레이된 방광의 경계선에 대한 개요선을 제공할 수 있다. 예를 들어, P-모드 이미지(1020, 1022 및 1024) 각각은 도 10에 도시된 바와 같이, 예를 들어 방광의 내부 부분과 상이한 색 또는 더 밝은 색으로 개요선을 포함할 수 있다.
본원에 설명된 구현예는, 초음파 스캐너를 통해 획득된 정보에 기초하여 환자의 관심 장기 또는 구조를 식별하기 위해, 머신 러닝을 사용한다. 머신 러닝 프로세싱은 이미지 데이터를 수신하고 이미지의 각 특정 부분(예, 픽셀)에 대한 확률 정보를 생성하여, 특정 부분이 타겟 장기 내에 있을 확률을 결정한다. 후-프로세싱 분석은 추가적인 정보, 예컨대 환자의 성별 또는 연령, 특정 타겟 장기 등을 사용하여 확률 정보를 더 개선할 수 있다. 일부 경우에, 타겟 장기의 부피는 실시간 확률 모드 이미지와 함께 사용자에게 또한 제공될 수 있다.
예시적인 구현예의 상기 설명은 예시 및 설명을 제공하지만, 구현예를 개시된 정확한 형태로 철저하게 하거나 제한하려는 것은 아니다. 상기 교시에 비추어 수정 및 변형이 가능하거나 구현예의 실시로부터 얻어질 수 있다.
예를 들어, 관심 타겟, 예컨대 환자의 방광을 식별하고 CNN 프로세싱을 사용하여 타겟(예, 방광)의 부피를 추정하는 것에 관한 특징부가 위에서 설명되었다. 다른 구현예에서, 다른 장기 또는 구조가 식별될 수 있고, 장기/구조와 연관된 다른 파라미터 또는 크기는 추정될 수 있다. 예를 들어, 본원에 설명된 프로세싱은 전립선, 신장, 자궁, 난소, 대동맥, 심장, 혈관, 양수, 태아 등뿐만 아니라 이들 타겟과 연관된 특정 특징부, 예컨대 부피 및/또는 크기 관련 측정을 식별하고 디스플레이하는 데 사용될 수 있다.
예를 들어, 본원에 설명된 프로세싱이 방광 이외의 다양한 장기 또는 타겟(예, 대동맥, 전립선, 신장, 심장, 자궁, 난소, 혈관, 양수, 태아 등)과 연관하여 사용되는 구현예에서, 추가적인 크기 관련 측정을 생성할 수 있다. 예를 들어, 관심 장기 또는 관심 부위의 길이, 높이, 폭, 깊이, 직경, 면적 등을 계산할 수 있다. 예시로서, 대동맥 스캔의 경우, 대동맥의 직경을 측정하는 것은 동맥류와 같은 비정상을 식별하려고 하는 데 중요할 수 있다. 전립선 스캔의 경우, 전립선의 폭과 높이의 측정이 필요할 수 있다. 이들 경우에, 길이, 높이, 폭, 깊이, 직경, 면적 등과 같은 측정은 전술한 머신 러닝 프로세싱을 사용하여 생성되고/추정될 수 있다. 즉, 전술한 머신 러닝은 경계선 벽 또는 다른 관심 항목을 식별하고 특정 크기 관련 관심 파라미터를 의료진에게 추정하도록 사용될 수 있다.
또한, 특징부는, 에코 데이터를 사용하여 B-모드 이미지를 생성하는 것과 머신 러닝을 B-모드 이미지에 적용하여 타겟과 연관된 부피, 길이 또는 다른 정보를 식별하는 것에 대해 주로 설명되었다. 다른 구현예에서, 다른 유형의 초음파 입력 이미지 데이터를 사용할 수 있다. 예를 들어, B-모드 이미지에 수직으로 배향된 평면에 형성된 관심 타겟(예, 방광)의 표현을 전형적으로 포함하는 C-모드 이미지 데이터를 다른 구현예에서 사용할 수 있다. 또한 다른 구현예에서, 무선 주파수(RF) 또는 위상 직교 신호(예, IQ 신호)는, 타겟과 연관된 확률 출력 맵핑을 생성하기 위해 CNN 자동인코더 유닛(220)에 대한 입력으로서 사용될 수 있다.
또한, 단일 확률 맵을 생성하는 것에 대한 특징부가 위에서 설명되었다. 다른 구현예에서, 다수의 확률 맵을 생성할 수 있다. 예를 들어, 시스템(100)은 관심 타켓 장기에 대한 하나의 확률 맵(예, 방광), 치골/치골 음영에 대한 다른 하나의 확률 맵, 및 전립선에 대한 다른 하나의 확률 맵을 생성할 수 있다. 이 방식으로, 환자(150)의 내부 장기를 보다 정확한 표현을 생성할 수 있으며, 이는 타겟 장기(예, 방광)에 대해 보다 정확한 부피 추정 결과를 가질 수 있다.
또한, 본원에 설명된 특징부는 B-모드 이미지 데이터의 픽셀별 분석을 수행하는 것에 관한 것이다. 다른 구현예에서, 픽셀별 맵핑 대신에 에지 맵이 사용될 수 있다. 이 구현예에서, 타겟의 에지는 CNN 알고리즘을 사용하여 감지될 수 있다. 추가적인 구현예에서, 다각형 좌표 접근법(polygon coordinate approach)은 방광의 개별 부분을 식별하고 나서 포인트를 연결하기 위해 사용될 수 있다. 이 구현예에서, 윤곽 가장자리 추적 알고리즘(contour edge tracking algorithm)을 사용하여 타겟 장기의 포인트를 연결할 수 있다.
또한, 환자가 남성 또는 여성, 아동 등인지를 표시하는 정보와 같은 다양한 입력이 위에서 설명되었다. 확률 맵핑 및/또는 이진화에 대해 다른 입력이 또한 사용될 수 있다. 예를 들어, 체질량 지수(BMI), 연령 또는 연령대가 베이스 유닛(120)에 입력될 수 있고, 베이스 유닛(120)은 특정 BMI, 연령 또는 연령대에 기초하여 프로세싱을 자동으로 조정할 수 있다. 확률 맵핑 및/또는 이진화 프로세스에 대한 또 다른 입력, 예컨대 각 픽셀의 깊이, 평면 배향 등은, 시스템(100)에 의해 생성된 출력 이미지 및/또는 부피 추정의 정확도를 향상시키기 위해 사용될 수 있다.
또한, 전술한 바와 같이, 다양한 유형의 환자, 남성, 여성 및 아동과 연관된 훈련 데이터가 P-모드 데이터를 생성하는 데 도움을 주기 위해 사용될 수 있다. 예를 들어, 수천 개 이상의 훈련 데이터 이미지는, 타겟 또는 관심을 식별하도록 B-모드 입력 데이터를 프로세싱하기 위해 사용되는 CNN 알고리즘을 생성하는 데 사용될 수 있다. 또한, 수천 개 이상의 이미지가 베이스 유닛(120)에 입력되고 저장되어 CNN 자동 인코더(220)의 출력을 수정하는 데 보조할 수 있다. 이는 방광 스캔에 대해 치골과 같이 예상되는 방해물이 이미지에 악영향을 미치는 시나리오에서 특히 유용할 수 있다. 이들 구현예에서, 베이스 유닛(120)은 방해물의 영향을 설명하고 최소화하는 방법에 관한 정보를 저장할 수 있다. 그 다음 CNN 자동인코더 유닛(220) 및/또는 후-프로세싱 유닛(230)은 방해물에 대해 보다 정확히 설명할 수 있다.
또한, 본원에 설명된 특징부는, B-모드 이미지 데이터를 사용하는 것을 CNN 자동인코더(220)에 대한 입력으로 지칭한다. 다른 구현예에서, 다른 데이터를 사용할 수 있다. 예를 들어, 전송된 초음파 신호와 연관된 에코 데이터는 방광과 같은 타겟 장기를 감지하는 데 사용될 수 있는 고조파 정보를 포함할 수 있다. 이 경우에서, 전송된 초음파 신호의 주파수에 대한 고차 고조파 에코 정보(예, 제2 고조파 이상)는, B-모드 이미지를 생성하지 않고 확률 맵핑 정보를 생성하는 데 사용될 수 있다. 또 다른 구현예에서, P- 모드 이미지 데이터를 향상시키기 위해 전술된 B-모드 데이터에 추가하여 고차 고조파 정보가 사용될 수 있다. 또 다른 구현예에서, 프로브(110)는 다수의 주파수에서 초음파 신호를 송신 할 수 있고, 다수의 주파수와 연관된 에코 정보는 타겟 장기를 감지하고 타겟 장기의 부피, 크기 등을 추정하기 위해 CNN 자동인코더 유닛(220) 또는 다른 머신 러닝 모듈에 대한 입력으로서 사용될 수 있다.
예를 들어, 기본 주파수에서의 다중 B-모드 이미지 및 고차 고조파 주파수(들)에서의 다중 B- 모드 이미지는 CNN 자동인코더 유닛(220)에 대한 입력으로서 사용될 수 있다. 또한, 기본 주파수 및 고조파 주파수 정보는 사전 프로세싱되고, 확률 맵을 생성하는 것을 보조하기 위해 CNN 자동인코더 유닛(220)에 대한 입력으로서 사용될 수 있다. 예를 들어, 고조파와 기본 주파수 전력 간의 비율은 확률 맵핑의 정확성을 향상시키기 위해 CNN 자동인코더 유닛(220)에 대한 입력으로서 사용될 수 있다.
또한 일부 구현예에서, 전술한 후-프로세싱은 이미지 데이터의 노이즈를 제거하고/제거하거나 이미지에 대한 개요선/가장자리 추적을 수행하기 위해 제2 머신 러닝(예, CNN) 알고리즘을 사용할 수 있다.
또한, 2차원(2D) B-모드 이미지 데이터를 얻는 데이터 습득 유닛(210)에 대한 구현예를 전술하였다. 다른 구현예에서, 고차원(예, 2.5D 또는 3D) 이미지 데이터를 CNN 자동인코더 유닛(220)에 입력할 수 있다. 2.5D 구현예를 위해, CNN 자동인코더 유닛(220)은, 정확도를 향상시키기 위한 인접 스캔 평면뿐만 아니라 여러 스캔 평면과 연관된 B-모드 이미지를 사용할 수 있다. 3D 구현예를 위해, CNN 자동인코더 유닛(220)은 12개의 스캔 평면 각각에 대해 12개의 확률 맵을 생성할 수 있고, 후-프로세싱 유닛(230)은 12개의 확률 맵에 기초하여(예, 3D 플러드-필링(3D flood-filling) 알고리즘을 통해) 3D 이미지를 생성하기 위해 12개의 확률 맵을 모두 사용할 수 있다. 그 다음 분류 및/또는 이진화 프로세스는, 예를 들어 3D 출력 이미지를 생성하기 위해 2.5D 또는 3D 이미지에 대해 수행될 수 있다.
또한, 일련의 작업이 도 6 및 도 9에 대해 설명되었지만, 작업 순서는 다른 구현예에서는 상이할 수 있다. 더욱이, 비 의존적 작업은 병렬로 구현될 수 있다.
전술한 다양한 특징부는 도면에 도시된 구현예에서 상이한 형태의 많은 소프트웨어, 펌웨어 및 하드웨어로 구현될 수 있음이 명백할 것이다. 다양한 특징부를 구현하기 위해 사용되는 실제 소프트웨어 코드 또는 특수 제어 하드웨어는 비 제한적이다. 따라서, 특징부의 작동 및 거동은 특정 소프트웨어 코드를 참조하지 않고 설명되었다 - 당업자는 본원의 설명에 기초하여 다양한 특징부를 구현하기 위해 소프트웨어 및 제어 하드웨어를 설계할 수 있음을 이해한다.
또한, 본 발명의 특정 부분은 하나 이상의 기능을 수행하는 "로직"으로 구현될 수 있다. 이 로직은 하나 이상의 프로세서, 마이크로프로세서, 애플리케이션 특정 집적 회로, 필드 프로그래머블 게이트 어레이 또는 다른 프로세싱 로직, 소프트웨어, 또는 하드웨어와 소프트웨어의 조합과 같은 하드웨어를 포함할 수 있다.
전술한 명세서에서, 다양하고 바람직한 구현예가 첨부 도면을 참조하여 설명되었다. 그러나, 다음의 청구 범위에 기술된 바와 같이, 본 발명의 더 넓은 범주를 벗어나지 않으면서 다양한 수정 및 변경이 여기에 이루어질 수 있고, 추가의 구현예가 구현될 수 있음이 명백할 것이다. 따라서, 명세서 및 도면은 제한적인 의미보다는 예시적인 의미로 간주되어야 한다.
본 출원의 설명에 사용된 어떠한 구성 요소, 작동 또는 명령도 명시적으로 기술되지 않는 한, 본 발명에 중요하거나 필수적인 것으로 해석되어서는 안 된다. 또한, 본원에 사용되는 바와 같이 "하나"는 하나 이상의 항목을 포함하는 것으로 의되된다. 또한, "에 기초하여"라는 문구는, 명시적으로 달리 언급하지 않는 한, "적어도 ~에 기초하여"라는 것을 의미한다.

Claims (13)

  1. 프로브; 및
    적어도 하나의 프로세싱 장치;를 포함하고,
    상기 프로브는
    초음파를 관심 타겟에 전송하고,
    상기 전송된 초음파와 연관된 에코 정보를 수신하도록 구성되고,
    상기 적어도 하나의 프로세싱 장치는
    상기 관심 타겟과 연관된 확률 정보를 생성하기 위해 상기 수신된 에코 정보를 머신 러닝 알고리즘을 사용하여 프로세싱하되, 상기 확률 정보는 프로세싱된 에코 정보와 연관된 이미지의 부분 또는 픽셀이 관심 타겟 내에 있는지 여부를 나타내는 가능성 또는 값을 포함하고,
    상기 관심 타겟을 식별하기 위해 상기 확률 정보를 프로세싱하되 상기 확률 정보를 프로세싱할 때 상기 적어도 하나의 프로세싱 장치는 상기 확률 정보를 이진화하거나 분류하거나 또는 상기 확률 정보에 룩업 테이블을 적용하도록 구성되고,
    상기 프로세싱된 확률 정보에 기초하여 상기 관심 타겟에 대응하는 이미지 정보를 출력하고,
    상기 처리된 확률 정보에 기초하여 관심 타겟과 연관된 부피, 길이, 높이, 폭, 깊이, 직경 및 면적 중 적어도 하나를 추정하도록 구성된, 시스템.
  2. 프로브; 및
    적어도 하나의 프로세싱 장치;를 포함하고,
    상기 프로브는
    초음파를 관심 타겟에 전송하고,
    상기 전송된 초음파와 연관된 에코 정보를 수신하도록 구성되고,
    상기 적어도 하나의 프로세싱 장치는
    상기 관심 타겟과 연관된 확률 정보를 생성하기 위해 상기 수신된 에코 정보를 머신 러닝 알고리즘을 사용하여 프로세싱하고,
    상기 관심 타겟을 식별하기 위해 상기 확률 정보를 프로세싱하되 상기 확률 정보를 프로세싱할 때 상기 적어도 하나의 프로세싱 장치는 상기 확률 정보를 이진화하거나 분류하거나 또는 상기 확률 정보에 룩업 테이블을 적용하도록 구성되고,
    상기 프로세싱된 확률 정보에 기초하여 상기 관심 타겟에 대응하는 이미지 정보를 출력하고,
    상기 관심 타겟은 방광을 포함하고,
    상기 적어도 하나의 프로세싱 장치는,
    상기 프로브를 상기 관심 타겟으로 지시하기 위한 조준 명령을 생성하도록 추가 구성되는 시스템.
  3. 프로브; 및
    적어도 하나의 프로세싱 장치;를 포함하고,
    상기 프로브는
    초음파를 관심 타겟에 전송하고,
    상기 전송된 초음파와 연관된 에코 정보를 수신하도록 구성되고,
    상기 적어도 하나의 프로세싱 장치는
    상기 관심 타겟과 연관된 확률 정보를 생성하기 위해 상기 수신된 에코 정보를 머신 러닝 알고리즘을 사용하여 프로세싱하고,
    상기 확률 정보를 프로세싱하고,
    상기 프로세싱된 확률 정보에 기초하여 상기 관심 타겟에 대응하는 이미지 정보를 출력하도록 구성되고,
    상기 적어도 하나의 프로세싱 장치는,
    대상자에 대한 성별 정보, 상기 대상자가 아동인지 표시하는 정보, 대상자의 연령 정보, 대상자의 연령대 정보, 대상자의 체질량 지수 정보, 대상자의 병력 정도 또는 대상자의 신체 검사를 통해 얻은 정보 중 적어도 하나를 포함하는 정보를 수신하고,
    상기 수신된 에코 정보를 프로세싱할 때, 상기 수신된 정보에 기초하여 상기 수신된 에코 정보를 프로세싱하도록 추가 구성되는 시스템.
  4. 프로브; 및
    적어도 하나의 프로세싱 장치;를 포함하고,
    상기 프로브는
    초음파를 관심 타겟에 전송하고,
    상기 전송된 초음파와 연관된 에코 정보를 수신하도록 구성되고,
    상기 적어도 하나의 프로세싱 장치는
    상기 관심 타겟과 연관된 확률 정보를 생성하기 위해 상기 수신된 에코 정보를 머신 러닝 알고리즘을 사용하여 프로세싱하고,
    상기 관심 타겟을 식별하기 위해 상기 확률 정보를 프로세싱하고,
    상기 프로세싱된 확률 정보에 기초하여 상기 관심 타겟에 대응하는 이미지 정보를 출력하고,
    상기 적어도 하나의 프로세싱 장치는,
    대상자의 인구 통계 정보, 상기 대상자의 임상 정보, 또는 상기 프로브와 연관된 장치 정보 중 적어도 하나를 자동으로 결정하고,
    상기 자동으로 결정된 정보에 기초하여 상기 수신된 에코 정보를 프로세싱하도록 추가 구성되는 시스템.
  5. 프로브; 및
    적어도 하나의 프로세싱 장치;를 포함하고,
    상기 프로브는
    초음파를 관심 타겟에 전송하고,
    상기 전송된 초음파와 연관된 에코 정보를 수신하도록 구성되고,
    상기 적어도 하나의 프로세싱 장치는
    상기 관심 타겟과 연관된 확률 정보를 생성하기 위해 상기 수신된 에코 정보를 머신 러닝 알고리즘을 사용하여 프로세싱하고,
    상기 관심 타겟을 식별하기 위해 상기 확률 정보를 프로세싱하고,
    상기 프로세싱된 확률 정보에 기초하여 상기 관심 타겟에 대응하는 이미지 정보를 출력하고,
    상기 수신된 에코 정보를 처리하는 경우에 상기 적어도 하나의 프로세싱 장치는,
    출력 이미지 데이터를 생성하기 위해 상기 수신된 에코 정보를 프로세싱하고,
    상기 출력 이미지 데이터와 연관된 픽셀을 프로세싱하고,
    각각의 처리된 픽셀에 대한 값을 결정하고,
    피크 값을 식별하고,
    상기 관심 타겟 부분을 식별하기 위해 상기 피크 값과 연관된 지점 주위의 영역을 채우도록 구성되는 시스템.
  6. 프로브; 및
    적어도 하나의 프로세싱 장치;를 포함하고,
    상기 프로브는
    초음파를 관심 타겟에 전송하고,
    상기 전송된 초음파와 연관된 에코 정보를 수신하도록 구성되고,
    상기 적어도 하나의 프로세싱 장치는
    상기 관심 타겟과 연관된 확률 정보를 생성하기 위해 상기 수신된 에코 정보를 머신 러닝 알고리즘을 사용하여 프로세싱하되, 상기 확률 정보는 프로세싱된 에코 정보와 연관된 이미지의 부분 또는 픽셀이 관심 타겟 내에 있는지 여부를 나타내는 가능성 또는 값을 포함하고,
    상기 관심 타겟을 식별하기 위해 상기 확률 정보를 프로세싱하되, 상기 확률 정보를 프로세싱할 때 상기 적어도 하나의 프로세싱 장치는 상기 확률 정보를 이진화하거나 분류하거나 또는 상기 확률 정보에 룩업 테이블을 적용하도록 구성되고,
    상기 프로세싱된 확률 정보에 기초하여 상기 관심 타겟에 대응하는 이미지 정보를 출력하고,
    상기 수신된 에코 정보를 처리하는 경우에 상기 적어도 하나의 프로세싱 장치는,
    상기 전송된 초음파 신호와 연관된 주파수에 대해 고차 고조파 정보를 식별하고, 상기 확률 정보를 프로세싱할 때 상기 적어도 하나의 프로세싱 장치는,
    상기 식별된 고차 고조파 정보에 기초한 확률 정보를 생성하도록 구성되는 시스템.
  7. 제1항 내지 제6항 중 어느 한 항에 있어서,
    상기 머신 러닝 알고리즘은 콘볼루션 신경망 알고리즘을 포함하고, 상기 이미지 정보를 수신하고 상기 이미지 정보를 디스플레이하도록 구성되는 디스플레이를 추가로 포함하는 시스템.
  8. 제7항에 있어서,
    상기 디스플레이는,
    상기 수신된 에코 정보에 대응하는 B-모드 이미지 데이터, 및 상기 관심 타겟에 대응하는 상기 출력 이미지 정보를 동시에 디스플레이하도록 추가 구성되는 시스템.
  9. 제1항 내지 제6항 중 어느 한 항에 있어서,
    상기 프로브는 상기 수신된 에코 정보를 무선 인터페이스를 통해 상기 적어도 하나의 프로세싱 장치로 전송하도록 구성되는 시스템.
  10. 제1항 내지 제6항 중 어느 한 항에 있어서,
    상기 관심 타겟은 방광, 대동맥, 전립선, 심장, 자궁, 신장, 난소, 혈관, 양수, 또는 태아 중 하나를 포함하는 시스템.
  11. 초음파를 초음파 스캐너를 통해 관심 타겟으로 전송하는 단계;
    상기 전송된 초음파와 연관된 에코 정보를 수신하는 단계;
    상기 관심 타겟과 연관된 확률 정보를 생성하기 위해 상기 수신된 에코 정보를 머신 러닝 알고리즘을 사용하여 프로세싱하되, 상기 확률 정보는 프로세싱된 에코 정보와 연관된 이미지의 부분 또는 픽셀이 관심 타겟 내에 있는지 여부를 나타내는 가능성 또는 값을 포함하는, 단계;
    상기 확률 정보를 프로세싱하되 상기 확률 정보를 프로세싱하는 것은 상기 확률 정보를 이진화하거나 분류하거나 또는 상기 확률 정보에 룩업 테이블을 적용하는 것을 포함하는, 단계;
    상기 프로세싱된 확률 정보에 기초하여 상기 관심 타겟에 대응하는 이미지 정보를 출력하는 단계;
    상기 처리된 확률 정보에 기초하여, 상기 관심 타겟과 연관된 부피, 길이, 높이, 폭, 깊이, 직경 또는 면적 중 적어도 하나를 추정하는 단계; 및
    상기 부피, 길이, 높이, 폭, 깊이, 직경, 또는 면적 중 적어도 하나를 디스플레이에 출력하는 단계;를 포함하는 방법.
  12. 초음파를 초음파 스캐너를 통해 관심 타겟으로 전송하는 단계;
    상기 전송된 초음파와 연관된 에코 정보를 수신하는 단계;
    상기 관심 타겟과 연관된 확률 정보를 생성하기 위해 상기 수신된 에코 정보를 머신 러닝 알고리즘을 사용하여 프로세싱하는 단계;
    상기 확률 정보를 프로세싱하는 단계; 및
    상기 프로세싱된 확률 정보에 기초하여 상기 관심 타겟에 대응하는 이미지 정보를 출력하는 단계;를 포함하고,
    대상자의 성별 정보, 대상자의 연령 정보, 대상자의 연령대 정보, 대상자의 체질량 지수 정보, 대상자의 병력 정보 또는 대상자의 신체 검사를 통해 얻은 정보 중 적어도 하나를 포함하는 정보를 수신하는 단계; 및
    상기 수신된 정보에 기초하여 상기 수신된 에코 정보를 프로세싱하는 단계;를 추가로 포함하는 방법.
  13. 제11항 또는 제12항에 있어서,
    상기 에코 정보에 대응하는 B-모드 이미지 데이터, 및 상기 관심 타겟에 대응하는 상기 출력 이미지 정보를 동시에 디스플레이하는 단계를 추가로 포함하는 방법.
KR1020227008925A 2017-05-11 2018-05-11 확률 맵 기반의 초음파 스캐닝 KR102409090B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201762504709P 2017-05-11 2017-05-11
US62/504,709 2017-05-11
PCT/US2018/032247 WO2018209193A1 (en) 2017-05-11 2018-05-11 Probability map-based ultrasound scanning
KR1020197035041A KR20200003400A (ko) 2017-05-11 2018-05-11 확률 맵 기반의 초음파 스캐닝

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020197035041A Division KR20200003400A (ko) 2017-05-11 2018-05-11 확률 맵 기반의 초음파 스캐닝

Publications (2)

Publication Number Publication Date
KR20220040507A true KR20220040507A (ko) 2022-03-30
KR102409090B1 KR102409090B1 (ko) 2022-06-15

Family

ID=62685100

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020227008925A KR102409090B1 (ko) 2017-05-11 2018-05-11 확률 맵 기반의 초음파 스캐닝
KR1020197035041A KR20200003400A (ko) 2017-05-11 2018-05-11 확률 맵 기반의 초음파 스캐닝

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020197035041A KR20200003400A (ko) 2017-05-11 2018-05-11 확률 맵 기반의 초음파 스캐닝

Country Status (7)

Country Link
US (1) US20180330518A1 (ko)
EP (1) EP3621525A1 (ko)
JP (1) JP6902625B2 (ko)
KR (2) KR102409090B1 (ko)
CN (1) CN110753517A (ko)
CA (1) CA3062330A1 (ko)
WO (1) WO2018209193A1 (ko)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112957074A (zh) 2016-03-09 2021-06-15 安科诺思公司 利用人工智能网络的超声图像识别系统和方法
KR102139856B1 (ko) * 2017-06-23 2020-07-30 울산대학교 산학협력단 초음파 영상 처리 방법
EP3420913B1 (en) * 2017-06-26 2020-11-18 Samsung Medison Co., Ltd. Ultrasound imaging apparatus and control method thereof
US11622744B2 (en) * 2017-07-07 2023-04-11 Massachusetts Institute Of Technology System and method for automated ovarian follicular monitoring
WO2019189386A1 (ja) * 2018-03-30 2019-10-03 富士フイルム株式会社 超音波診断装置および超音波診断装置の制御方法
US11391817B2 (en) 2018-05-11 2022-07-19 Qualcomm Incorporated Radio frequency (RF) object detection using radar and machine learning
US10878570B2 (en) * 2018-07-17 2020-12-29 International Business Machines Corporation Knockout autoencoder for detecting anomalies in biomedical images
US20210265042A1 (en) * 2018-07-20 2021-08-26 Koninklijke Philips N.V. Ultrasound imaging by deep learning and associated devices, systems, and methods
WO2020122606A1 (ko) 2018-12-11 2020-06-18 시너지에이아이 주식회사 인공신경망을 이용한 장기의 부피 측정 방법 및 그 장치
JP7192512B2 (ja) 2019-01-11 2022-12-20 富士通株式会社 学習プログラム、学習装置及び学習方法
JP7273518B2 (ja) * 2019-01-17 2023-05-15 キヤノンメディカルシステムズ株式会社 超音波診断装置、及び学習プログラム
US20200281570A1 (en) * 2019-01-17 2020-09-10 Canon Medical Systems Corporaion Apparatus
CN113365559B (zh) * 2019-01-17 2024-09-24 韦拉索恩股份有限公司 使用3d超声成像对腹主动脉瘤进行定量分析的系统和方法
JP7258568B2 (ja) * 2019-01-18 2023-04-17 キヤノンメディカルシステムズ株式会社 超音波診断装置、画像処理装置、及び画像処理プログラム
JP7302988B2 (ja) * 2019-03-07 2023-07-04 富士フイルムヘルスケア株式会社 医用撮像装置、医用画像処理装置、及び、医用画像処理プログラム
JP7242409B2 (ja) * 2019-04-26 2023-03-20 キヤノンメディカルシステムズ株式会社 医用画像処理装置、超音波診断装置及び学習済モデルの作成方法
KR20220019036A (ko) 2019-06-12 2022-02-15 카네기 멜론 유니버시티 초음파 데이터를 라벨링하기 위한 시스템 및 방법
JP7284337B2 (ja) * 2019-07-12 2023-05-30 ベラソン インコーポレイテッド 超音波プローブの照準合わせ中のターゲットの表現
US20210045716A1 (en) * 2019-08-13 2021-02-18 GE Precision Healthcare LLC Method and system for providing interaction with a visual artificial intelligence ultrasound image segmentation module
CN110567558B (zh) * 2019-08-28 2021-08-10 华南理工大学 一种基于深度卷积特征的超声导波检测方法
CN112568935B (zh) * 2019-09-29 2024-06-25 中慧医学成像有限公司 基于三维追踪相机的三维超声成像方法和系统
US11583244B2 (en) * 2019-10-04 2023-02-21 GE Precision Healthcare LLC System and methods for tracking anatomical features in ultrasound images
US20210183521A1 (en) * 2019-12-13 2021-06-17 Korea Advanced Institute Of Science And Technology Method and apparatus for quantitative imaging using ultrasound data
JP7093093B2 (ja) * 2020-01-08 2022-06-29 有限会社フロントエンドテクノロジー 超音波尿量測定装置、学習モデル生成方法、学習モデル
KR102246966B1 (ko) * 2020-01-29 2021-04-30 주식회사 아티큐 신체의 목적 타겟 위치 확인 방법
KR20220163445A (ko) * 2020-04-07 2022-12-09 베라톤 인코포레이티드 자동화된 전립선 분석 시스템
CN113616235B (zh) * 2020-05-07 2024-01-19 中移(成都)信息通信科技有限公司 超声检测方法、装置、系统、设备、存储介质及超声探头
CN112184683B (zh) * 2020-10-09 2024-10-15 深圳度影医疗科技有限公司 一种超声图像的识别方法、终端设备及存储介质
KR102238280B1 (ko) * 2020-12-09 2021-04-08 박지현 수중 물체 감지 시스템 및 그 방법
US20230070062A1 (en) * 2021-08-27 2023-03-09 Clarius Mobile Health Corp. Method and system, using an ai model, for identifying and predicting optimal fetal images for generating an ultrasound multimedia product
JP2023034400A (ja) * 2021-08-31 2023-03-13 ＤｅｅｐＥｙｅＶｉｓｉｏｎ株式会社 情報処理装置、情報処理方法及びプログラム
JP2023087273A (ja) 2021-12-13 2023-06-23 富士フイルム株式会社 超音波診断装置および超音波診断装置の制御方法
JP2023143418A (ja) * 2022-03-25 2023-10-06 富士フイルム株式会社 超音波診断装置とその作動方法
WO2024101255A1 (ja) * 2022-11-08 2024-05-16 富士フイルム株式会社 医療支援装置、超音波内視鏡、医療支援方法、及びプログラム
CN118071746B (zh) * 2024-04-19 2024-08-30 广州索诺星信息科技有限公司 基于人工智能的超声影像数据管理系统及方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06233761A (ja) * 1993-02-09 1994-08-23 Hitachi Medical Corp 医用画像診断装置
JP2005125080A (ja) * 2003-10-23 2005-05-19 General Electric Co <Ge> 異なる種類の画像において異常部を観察するためのシステム及び方法
JP2012512672A (ja) * 2008-12-22 2012-06-07 ザ メディパターン コーポレイション 医用画像内病変自動検出方法およびシステム
US20140052001A1 (en) * 2012-05-31 2014-02-20 Razvan Ioan Ionasec Mitral Valve Detection for Transthoracic Echocardiography
JP2015154918A (ja) * 2014-02-19 2015-08-27 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 病変検出装置及び方法
US20160350620A1 (en) * 2015-05-27 2016-12-01 Siemens Medical Solutions Usa, Inc. Knowledge-based ultrasound image enhancement
WO2016194161A1 (ja) * 2015-06-03 2016-12-08 株式会社日立製作所 超音波診断装置、及び画像処理方法
WO2017033502A1 (ja) * 2015-08-21 2017-03-02 富士フイルム株式会社 超音波診断装置および超音波診断装置の制御方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5081933A (en) * 1990-03-15 1992-01-21 Utdc Inc. Lcts chassis configuration with articulated chassis sections between vehicles
US5734739A (en) * 1994-05-31 1998-03-31 University Of Washington Method for determining the contour of an in vivo organ using multiple image frames of the organ
US5984870A (en) * 1997-07-25 1999-11-16 Arch Development Corporation Method and system for the automated analysis of lesions in ultrasound images
US6238342B1 (en) * 1998-05-26 2001-05-29 Riverside Research Institute Ultrasonic tissue-type classification and imaging methods and apparatus
AU2001261163A1 (en) * 2000-05-03 2001-11-12 University Of Washington Method for determining the contour of an in vivo organ using multiple image frames of the organ
US8167803B2 (en) 2007-05-16 2012-05-01 Verathon Inc. System and method for bladder detection using harmonic imaging
CN101848677B (zh) * 2007-09-26 2014-09-17 麦德托尼克公司 生理信号的频率选择监视
US8556814B2 (en) * 2007-10-04 2013-10-15 Siemens Medical Solutions Usa, Inc. Automated fetal measurement from three-dimensional ultrasound data
US8265390B2 (en) * 2008-11-11 2012-09-11 Siemens Medical Solutions Usa, Inc. Probabilistic segmentation in computer-aided detection
US20110257527A1 (en) * 2010-04-20 2011-10-20 Suri Jasjit S Ultrasound carotid media wall classification and imt measurement in curved vessels using recursive refinement and validation
US9710730B2 (en) * 2011-02-11 2017-07-18 Microsoft Technology Licensing, Llc Image registration
CA2866509A1 (en) * 2011-12-21 2013-06-27 Volcano Corporation Method for visualizing blood and blood-likelihood in vascular images
JP6323335B2 (ja) * 2012-11-15 2018-05-16 コニカミノルタ株式会社 画像処理装置、画像処理方法、およびプログラム
JP6200249B2 (ja) * 2013-09-11 2017-09-20 キヤノン株式会社 情報処理装置、情報処理方法
US9536054B1 (en) * 2016-01-07 2017-01-03 ClearView Diagnostics Inc. Method and means of CAD system personalization to provide a confidence level indicator for CAD system recommendations

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06233761A (ja) * 1993-02-09 1994-08-23 Hitachi Medical Corp 医用画像診断装置
JP2005125080A (ja) * 2003-10-23 2005-05-19 General Electric Co <Ge> 異なる種類の画像において異常部を観察するためのシステム及び方法
JP2012512672A (ja) * 2008-12-22 2012-06-07 ザ メディパターン コーポレイション 医用画像内病変自動検出方法およびシステム
US20140052001A1 (en) * 2012-05-31 2014-02-20 Razvan Ioan Ionasec Mitral Valve Detection for Transthoracic Echocardiography
JP2015154918A (ja) * 2014-02-19 2015-08-27 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 病変検出装置及び方法
US20160350620A1 (en) * 2015-05-27 2016-12-01 Siemens Medical Solutions Usa, Inc. Knowledge-based ultrasound image enhancement
JP2016221264A (ja) * 2015-05-27 2016-12-28 シーメンス メディカル ソリューションズ ユーエスエー インコーポレイテッドＳｉｅｍｅｎｓ Ｍｅｄｉｃａｌ Ｓｏｌｕｔｉｏｎｓ ＵＳＡ，Ｉｎｃ． 知識ベース超音波画像強調
WO2016194161A1 (ja) * 2015-06-03 2016-12-08 株式会社日立製作所 超音波診断装置、及び画像処理方法
WO2017033502A1 (ja) * 2015-08-21 2017-03-02 富士フイルム株式会社 超音波診断装置および超音波診断装置の制御方法

Also Published As

Publication number Publication date
KR102409090B1 (ko) 2022-06-15
JP6902625B2 (ja) 2021-07-14
CN110753517A (zh) 2020-02-04
EP3621525A1 (en) 2020-03-18
KR20200003400A (ko) 2020-01-09
US20180330518A1 (en) 2018-11-15
WO2018209193A1 (en) 2018-11-15
CA3062330A1 (en) 2018-11-15
JP2020519369A (ja) 2020-07-02

Similar Documents

Publication Publication Date Title
KR102409090B1 (ko) 확률 맵 기반의 초음파 스캐닝
CN112603361B (zh) 用于在超声图像中跟踪解剖特征的系统和方法
US11464490B2 (en) Real-time feedback and semantic-rich guidance on quality ultrasound image acquisition
KR102539901B1 (ko) 2차원 초음파 이미지를 음영화하는 방법 및 시스템
JP7022217B2 (ja) 超音波システムのためのエコー窓のアーチファクト分類及び視覚的インジケータ
JP7078487B2 (ja) 超音波診断装置及び超音波画像処理方法
US11278259B2 (en) Thrombus detection during scanning
US10949976B2 (en) Active contour model using two-dimensional gradient vector for organ boundary detection
US10238368B2 (en) Method and system for lesion detection in ultrasound images
CN111345847B (zh) 基于组织密度管理波束成形参数的方法和系统
US11684344B2 (en) Systems and methods for quantitative abdominal aortic aneurysm analysis using 3D ultrasound imaging
KR20150103956A (ko) 의료 영상 처리 장치, 방법, 및 컴퓨터 판독가능 기록매체
US20220061810A1 (en) Systems and methods for placing a gate and/or a color box during ultrasound imaging
CN112617898B (zh) 用于超声成像中的闪烁抑制的系统和方法
CN116258736A (zh) 用于分割图像的系统和方法
US20220296219A1 (en) System and methods for adaptive guidance for medical imaging
EP3848892A1 (en) Generating a plurality of image segmentation results for each node of an anatomical structure model to provide a segmentation confidence value for each node
US20240299002A1 (en) Anatomy-Directed Ultrasound
WO2021230230A1 (ja) 超音波診断装置、医用画像処理装置、及び、医用画像処理方法
KR20220163445A (ko) 자동화된 전립선 분석 시스템

Legal Events

Date Code Title Description
A107 Divisional application of patent
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
J204 Request for invalidation trial [patent]
J301 Trial decision

Free format text: TRIAL NUMBER: 2023100003362; TRIAL DECISION FOR INVALIDATION REQUESTED 20231018

Effective date: 20240902