KR20220062596A - 자동화된 초음파 이미지 라벨링 및 품질 등급화를 위한 시스템들 및 방법들(systems and methods for automated ultrasound image labeling and quality grading) - Google Patents

자동화된 초음파 이미지 라벨링 및 품질 등급화를 위한 시스템들 및 방법들(systems and methods for automated ultrasound image labeling and quality grading) Download PDF

Info

Publication number
KR20220062596A
KR20220062596A KR1020227011958A KR20227011958A KR20220062596A KR 20220062596 A KR20220062596 A KR 20220062596A KR 1020227011958 A KR1020227011958 A KR 1020227011958A KR 20227011958 A KR20227011958 A KR 20227011958A KR 20220062596 A KR20220062596 A KR 20220062596A
Authority
KR
South Korea
Prior art keywords
ultrasound
images
anatomical structures
image
labeling
Prior art date
Application number
KR1020227011958A
Other languages
English (en)
Inventor
알렌 루
매튜 쿡
바바지드 애인드
니콜라오스 파골라토스
라마찬드라 페일로어
Original Assignee
에코너스 인코퍼레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에코너스 인코퍼레이티드 filed Critical 에코너스 인코퍼레이티드
Publication of KR20220062596A publication Critical patent/KR20220062596A/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0883—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of the heart
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0833—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
    • A61B8/085—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating body or organic structures, e.g. tumours, calculi, blood vessels, nodules
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42—Details of probe positioning or probe attachment to the patient
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4427—Device being portable or laptop-like
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A61B8/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/467—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
    • A61B8/468—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means allowing annotation or message recording
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/56—Details of data transmission or power supply
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30048—Heart; Cardiac
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Theoretical Computer Science (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Cardiology (AREA)
  • Databases & Information Systems (AREA)
  • Vascular Medicine (AREA)
  • Physiology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Image Analysis (AREA)

Abstract

자동화된 초음파 이미지 라벨링 및 품질 등급화 시스템들 및 방법들이 제공된다. 초음파 시스템은, 환자의 초음파 이미지들을 획득하도록 구성된 초음파 이미징 디바이스를 포함한다. 해부학적 구조체 인식 및 라벨링 모듈은 초음파 이미징 디바이스로부터 획득된 초음파 이미지들을 수신하고, 수신된 초음파 이미지들 내의 해부학적 구조체들을 자동으로 인식한다. 해부학적 구조체 인식 및 라벨링 모듈은 해부학적 구조체들을 식별하는 정보를 사용하여 이미지들 내의 해부학적 구조체들을 자동으로 라벨링한다. 획득된 초음파 이미지들 및 라벨링된 해부학적 구조체들은 초음파 이미징 디바이스의 디스플레이 상에 디스플레이된다.

Description

자동화된 초음파 이미지 라벨링 및 품질 등급화를 위한 시스템들 및 방법들(SYSTEMS AND METHODS FOR AUTOMATED ULTRASOUND IMAGE LABELING AND QUALITY GRADING)
본 발명은 대체적으로, 초음파 이미징 시스템들 및 방법들에 관한 것으로, 더 구체적으로는, 초음파 이미징 및 초음파 이미지들의 평가를 위한 인공 지능 기반 네트워크들, 및 획득된 초음파 이미지들에서 해부학적 구조체들을 자동으로 인식하고 라벨링하기 위한, 그리고 획득된 초음파 이미지들의 이미지 품질을 등급화하기 위한 시스템들 및 방법들에 관한 것이다.
초음파 이미징은 전형적으로, 임상 장소에서, 트레이닝된 초음파 전문가들에 의해 수행된다. 진단 초음파 이미징의 경우, 기관 또는 다른 조직 또는 신체 특징부(예컨대, 체액, 뼈, 관절 등)의 특정 뷰들이 임상적으로 중요하다. 그러한 뷰들은, 임상 표준들에 의하면, 표적 기관, 진단 목적 등에 따라 초음파 기술자에 의해 캡처되어야 하는 뷰로서 규정될 수 있다.
획득된 초음파 이미지들의 이미지 품질은, 예를 들어 프로브의 포지셔닝, 이미징 파라미터들(예컨대, 깊이, 이득 등) 등을 포함한, 다양한 인자들에 따라 변화한다. 임상 용도(예컨대, 진단용)에 대해, 초음파 이미지는 대체적으로, 적합한 이미지 품질을 가져야 한다. 임상의들은 대체적으로, 초음파 이미지들의 진단 품질을 평가하기 위해 상당한 트레이닝을 요구한다. 그러한 이미지들은 이미지 획득 동안 실시간으로 얻어질 수 있거나, 또는 그들은 이전에 획득될 수 있다. 두 경우들 모두에서, 임상의들은 초음파 이미지들의 진단 품질의 레벨을 이해할 필요가 있다. 유사하게, 트레이닝 및 교육 장소들에서, 전문적인 초음파 사용자들은 학생들 및 초보 사용자들에 의해 획득된 이미지들의 진단 품질을 등급화하기 위해 요구되며, 이는 초음파 전문가들에 대해 매우 시간 소모적이다.
또한, 대체적으로, 임상의들이 초음파 이미지에 존재하는 해부학적 구조체들을 인식할 수 있도록 상당한 트레이닝이 요구된다. 이는, 프로브의 포지션 및 배향이 관심 기관에 대해 이동함에 따라 초음파 이미지가 실시간으로 연속적으로 변화하는 실시간 초음파 이미지 획득 동안 특히 난제이다.
종래의 초음파 이미징 시스템들이 병원 또는 유사한 임상 장소에 있는 대부분의 환자들에게 적합할 수 있지만, 그러한 시스템들은, 동작하기 위해 그리고 임상적으로 바람직한 뷰들을 적절하게 캡처하기 위해 상당한 트레이닝을 요구한다. 이는, 그러한 초음파 이미징의 전체 비용을 증가시키고, 추가로, 초음파 이미징의 이용가능성을 환자들로 제한하는데, 이는 잘 트레이닝된 전문가들만이 종래의 초음파 이미징 디바이스들을 적절하게 동작시킬 수 있기 때문이다.
본 발명은 자동화된 초음파 이미지 라벨링 및 자동화된 초음파 이미지 품질 등급화를 용이하게 하는 시스템들 및 방법들을 제공한다. 특히, 본 명세서에 제공된 시스템들 및 방법들은 획득된 초음파 이미지들 내의 해부학적 구조체들을 인식하도록, 그리고 해부학적 구조체들을 식별하는 정보를 사용하여, 인식된 해부학적 구조체들을 라벨링하도록 동작가능하다. 라벨들은 획득된 초음파 이미지와 함께 디스플레이 디바이스 상에 디스플레이될 수 있는데, 예를 들어, 라벨들은 인식된 해부학적 구조체들의 포지션들 또는 부위들에 대응하는 포지션들 또는 부위들에서 초음파 이미지 상에 중첩될 수 있다. 추가적으로, 본 명세서에 제공된 시스템들 및 방법들은 획득된 초음파 이미지들의 이미지 품질을 자동으로 등급화하도록 동작가능하고, 등급은 사용자에게 디스플레이되거나 달리 제공될 수 있고, 일부 실시예들에서, 등급은 기관 또는 다른 신체 특징부의 임상적으로 바람직한 뷰를 나타내는 초음파 이미지들과 같은 더 높은 품질의 이미지들의 획득을 향해 사용자를 가이드하는 것을 돕는 데 활용될 수 있다.
다양한 실시예들에서, 기계 학습 기법들은 초음파 이미지들의 진단 품질을 자동으로 등급화하는 데 활용되며, 이는 하기의 문제들을 해결한다: (i) 신규 및 초보 초음파 사용자들이 획득 동안 그들의 이미지들의 진단 품질을 알지 못한다는 문제; 및 (ii) 전문 지시자들이 신규/초보 사용자들에 의해 획득된 이미지들의 진단 품질을 등급화하는 데 상당한 시간을 소모해야 한다는 문제. 본 명세서에 제공된 실시예들은 초음파 이미지들의 진단 품질을 자동으로 등급화하기 위해 고급 기계 학습 접근법들을 적용하고, 등급은 임상 커뮤니티에 의해 제공되는 잘 확립된 이미지 품질 척도들 또는 기준들에 기초할 수 있다.
다양한 실시예들에서, 초음파 이미지들 내의 해부학적 구조체들을 정확하게 식별하는 문제는, 획득 동안 실시간으로 또는 획득 사후에, 또는 둘 모두에, 그러한 해부학적 구조체들의 인식 및 라벨링을 자동으로 수행하기 위해 기계 학습 알고리즘들을 적용함으로써 해결된다. 고급 기계 학습 접근법들은 다양한 실시예들에서, 이미지 내의 핵심 해부학적 구조체들을 인식하기 위해서 뿐만 아니라, 이들을 국부화하기 위해, 즉, 각각의 해부학적 구조체가 존재하는 이미지 내의 포지션을 결정하기 위해 적용된다.
적어도 하나의 실시예에서, 초음파 이미징 디바이스 및 해부학적 구조체 인식 및 라벨링 회로부를 포함하는 초음파 시스템이 제공된다. 초음파 이미징 디바이스는 환자의 초음파 이미지를 획득한다. 해부학적 구조체 인식 및 라벨링 회로부는 획득된 초음파 이미지들을 수신하고, 수신된 초음파 이미지들 내의 하나 이상의 해부학적 구조체들을 자동으로 인식하고, 하나 이상의 해부학적 구조체들을 식별하는 정보를 사용하여, 이미지들 내의 하나 이상의 해부학적 구조체들을 자동으로 라벨링한다. 초음파 이미징 디바이스들은 획득된 초음파 이미지들 및 라벨링된 하나 이상의 해부학적 구조체들을 디스플레이하는 디스플레이를 포함한다.
적어도 하나의 실시예에서, 해부학적 구조체 인식 및 라벨링 회로부에 의해, 초음파 이미징 디바이스에 의해 획득된 초음파 이미지들을 수신하는 단계; 해부학적 구조체 인식 및 라벨링 회로부에 의해, 수신된 초음파 이미지들 내의 하나 이상의 해부학적 구조체들을 자동으로 인식하는 단계; 해부학적 구조체 인식 및 라벨링 회로부에 의해, 하나 이상의 해부학적 구조체들을 식별하는 정보를 사용하여, 획득된 초음파 이미지들 내의 하나 이상의 해부학적 구조체들을 자동으로 라벨링하는 단계; 및 획득된 초음파 이미지들 및 라벨링된 하나 이상의 해부학적 구조체들을 디스플레이하는 단계를 포함하는, 방법이 제공된다.
적어도 하나의 실시예에서, 초음파 시스템은 초음파 이미징 디바이스로부터 획득된 초음파 이미지들을 수신하도록, 그리고 수신된 초음파 이미지들의 이미지 품질을 자동으로 등급화하도록 구성된 초음파 이미지 등급화 회로부를 포함한다. 획득된 초음파 이미지들 및 이미지 품질 등급의 표시를 동시에 디스플레이하도록 구성되는 디스플레이가 포함된다.
도 1은 본 발명의 하나 이상의 실시예들에 따른 자동화된 초음파 이미지 라벨링 및 품질 등급화 시스템을 예시하는 블록도이다
도 2는 본 발명의 하나 이상의 실시예들에 따른, 도 1에 도시된 시스템의 기계 학습 회로부의 트레이닝을 예시하는 블록도이다
도 3은 본 발명의 하나 이상의 실시예들에 따른, 기계 학습 회로부에 의해 구현될 수 있는 신경망을 예시하는 블록도이다
도 4는 본 발명의 하나 이상의 실시예들에 따른 초음파 이미징 디바이스의 개략도이다.
도 5는 본 발명의 하나 이상의 실시예들에 따른 자동으로 라벨링된 초음파 이미지를 예시하는 도면이다.
도 6a 및 도 6b는 하나 이상의 실시예들에 따른, 초음파 이미지들의 품질을 나타내는 등급들을 포함하는 초음파 이미지들을 예시하는 도면들이다.
본 발명은 자동 초음파 이미지 라벨링 및 품질 등급화를 위한 시스템들 및 방법들뿐만 아니라 초음파 이미지 인식을 위한 시스템들 및 방법들의 여러 실시예들을 제공한다. 본 명세서에 제공된 시스템들 및 방법들은 초보 초음파 기술자들에 의해 수행되는 초음파 이미징에, 그리고/또는 비전통적 임상 장소에 배치될 수 있는 핸드헬드 또는 모바일 초음파 이미징 디바이스를 활용하는 초음파 이미징에 특히 유용할 수 있다. 인공 지능 접근법들을 활용하여, 본 명세서에 제공된 시스템들 및 방법들은 획득된 초음파 이미지들 내의 해부학적 구조체들을 자동으로 인식하고 라벨링할 수 있다. 라벨들은 초음파 이미지와 함께 디스플레이될 수 있는데, 예컨대 이미지 내의 대응하는 해부학적 구조체들 상에 중첩될 수 있다. 인공 지능 접근법들은 또한, 획득된 초음파 이미지들에 대한 이미지 품질 등급을 자동으로 결정하기 위해 본 명세서에 제공된 시스템들 및 방법들에서 활용되고, 일부 실시예들에서, 결정된 이미지 품질 등급은 특정 임상적으로 바람직한 뷰 또는 임상 표준 뷰와 같은 특정 초음파 이미지의 획득을 향해 사용자를 가이드하는 데 활용될 수 있다.
다양한 실시예들에서, 본 명세서에 제공된 시스템들 및 방법들은 획득된 초음파 이미지들이 환자의 기관 또는 환자 내의 다른 조직, 특징부 또는 관심 부위의 원하는 뷰를 정확하게 묘사하거나 표현하는지 여부를 결정하는 데 추가로 활용될 수 있다.
본 명세서에 제공된 시스템들 및 방법들은, 예를 들어, 획득된 초음파 이미지들의 결정된 이미지 품질을 나타내기 위해서 뿐만 아니라, 환자의 기관 또는 다른 조직 또는 특징부의 원하는 뷰가 캡처되었는지 여부를 나타내기 위해서 사용자에게 피드백을 제공할 수 있다. 일부 실시예들에서, 초음파 이미지들은 초음파 이미지들 내의 인식된 해부학적 구조체들에 적용되는 라벨들과 함께 디스플레이된다.
도 1은 본 발명의 실시예들에 따른, 자동화된 초음파 이미지 라벨링 및 품질 등급화 시스템(100)(이는, 본 명세서에서 초음파 시스템(100)으로 지칭될 수 있음)의 블록도를 도시한다. 도 1에 도시된 바와 같이, 초음파 시스템(100)은 초음파 이미징 디바이스(110), 통신 네트워크(102), 기계 학습 회로부(105), 및 이미지 지식 데이터베이스(122)를 포함한다. 이들 각각은 핸드헬드 또는 휴대용 디바이스와 같은 단일 초음파 디바이스에 통합될 수 있거나, 또는 서로 동작가능하게 링크되거나 링크가능한 다수의 디바이스들을 구성할 수 있다. 본 명세서에서 더 상세히 기술되는 바와 같이, 기계 학습 회로부(105)는 초음파 이미지 인식 모듈(120), 해부학적 구조체 인식 및 라벨링 모듈(130), 및 초음파 이미지 등급화 모듈(140)을 포함할 수 있으며, 이들 각각은 본 명세서에 기술된 바와 같은 각자의 모듈들의 기능들 또는 액션들을 수행하도록 구성된 프로그래밍된 그리고/또는 하드웨어-내장된 회로부를 포함할 수 있다.
초음파 이미징 디바이스(110)는 환자의 초음파 이미지들을 획득하도록 동작가능한 임의의 초음파 디바이스이고, 적어도 일부 실시예들에서, 예를 들어, 핸드헬드 초음파 이미징 디바이스일 수 있다. 초음파 이미징 디바이스(110)는 디스플레이(112), 메모리(114), 및 하나 이상의 프로세서들(116)을 포함할 수 있다. 초음파 이미징 디바이스(110)는 초음파 프로브(118)에 동작가능하게 커플링된다.
메모리(114)는, 예를 들어 판독 전용 메모리(ROM), 랜덤 액세스 메모리(RAM), 플래시 메모리, 하드 디스크 드라이브, 광학 저장 디바이스, 자기 저장 디바이스, 전기 소거가능 프로그램가능 판독 전용 메모리(EEPROM), 유기 저장 매체 등을 포함한, 임의의 컴퓨터 판독가능 저장 매체일 수 있거나 또는 그를 포함할 수 있다.
프로세서(116)는 본 명세서에 기술된 바와 같이, 명령어들(예컨대, 메모리(114)에 저장됨)을 실행하여 초음파 이미징 디바이스(110)의 기능들을 수행하도록 동작가능한 임의의 컴퓨터 프로세서일 수 있다.
초음파 프로브(118)는, 환자의 표적 부위를 향해 신호들을 송신하도록, 그리고 송신된 신호들에 응답하여 표적 부위로부터 복귀하는 에코 신호들을 수신하도록 초음파 이미징 디바이스(110)에 의해 구동된다. 동작 시, 초음파 디바이스(110)의 사용자는 원하는 초음파 이미지를 획득하기 위해 일정 포지션 및 각도로 환자의 신체에 대해 프로브(118)를 유지할 수 있다. 프로브에 의해 수신된 신호들(즉, 에코 신호들)은 초음파 이미징 디바이스(110)로 통신되고, 환자의 표적 부위의 초음파 이미지를 형성할 수 있거나 또는 그를 형성하도록 프로세싱될 수 있다. 또한, 초음파 이미지들은 디스플레이(112)에 제공될 수 있으며, 디스플레이는 초음파 이미지들 및/또는 임의의 다른 관련 정보를 사용자에게 디스플레이할 수 있다.
초음파 이미징 디바이스(110)에 의해 이와 같이 획득된 초음파 이미지들은 통신 네트워크(102)를 통해 기계 학습 회로부(105)에 제공될 수 있다. 초음파 이미징 디바이스(110)로부터의 초음파 이미지들은 참조 번호(101)에 의해 도시된 바와 같이, 기계 학습 회로부(105)에 제공된다. 통신 네트워크(102)는 근거리 통신망, 무선 네트워크, 전용선, 인트라넷, 인터넷 등을 포함한 하나 이상의 물리적 네트워크들을 통해 통신하기 위한 하나 이상의 프로토콜들을 활용할 수 있다.
하나 이상의 실시예들에서, 기계 학습 회로부(105)(예를 들어, 초음파 이미지 인식 모듈(120), 해부학적 구조체 인식 및 라벨링 모듈(130), 및 초음파 이미지 등급화 모듈(140)을 포함함)는 초음파 이미징 디바이스(110) 내에 제공될 수 있거나, 또는 기계 학습 회로부(105)의 로컬 사본(local copy) 및/또는 이미지 지식 데이터베이스(122)에 저장된 초음파 이미지 지식이 초음파 이미징 디바이스(110) 내에 포함될 수 있으며, 이때 초음파 이미징 디바이스(110)는, 원격으로 위치된(예컨대, 하나 이상의 서버 컴퓨터들 상에, 또는 "클라우드"에 저장된) 기계 학습 회로부(105)에 대한 액세스를 갖는다.
기계 학습 회로부(105)는 본 명세서에 기술된 초음파 이미지 인식, 이미지 라벨링, 및 이미지 등급화 기법들을 수행하도록 구성된 임의의 전기 회로부일 수 있거나 또는 이를 포함할 수 있다. 일부 실시예들에서, 기계 학습 회로부(105)는 기계 학습 회로부(105)와 관련하여 본 명세서에 기술된 다양한 기능들 및 동작들을 수행하도록 구성된, 컴퓨터 프로세서, 마이크로프로세서, 마이크로제어기 등을 포함할 수 있거나 또는 이에 의해 실행될 수 있다. 예를 들어, 기계 학습 회로부(105)는 저장된 컴퓨터 프로그램에 의해 선택적으로 활성화되거나 재구성된 컴퓨터 프로세서에 의해 실행될 수 있거나, 또는 본 명세서에 기술된 특징들 및 동작들을 수행하기 위한 특별히 구성된 컴퓨팅 플랫폼일 수 있다. 일부 실시예들에서, 기계 학습 회로부(105)는, 예를 들어 판독 전용 메모리(ROM), 랜덤 액세스 메모리(RAM), 플래시 메모리, 하드 디스크 드라이브, 광학 저장 디바이스, 자기 저장 디바이스, 전기 소거가능 프로그램가능 판독 전용 메모리(EEPROM), 유기 저장 매체 등을 포함한, 임의의 컴퓨터 판독가능 저장 매체에 저장된 소프트웨어 명령어들을 실행하도록 구성될 수 있다.
기계 학습 회로부(105)는 초음파 이미징 디바이스(110)로부터 획득된 초음파 이미지들을 수신하고, 수신된 초음파 이미지들 각각에 대한 이미지 품질 등급을 자동으로 결정하고, 수신된 초음파 이미지들에서 하나 이상의 해부학적 구조체들을 자동으로 라벨링한다. 예를 들어, 일부 실시예들에서, 해부학적 구조체 인식 및 라벨링 모듈(130)(이는, 기계 학습 회로부(105)의 일부로서 포함될 수 있음)은 초음파 이미지들 내의 해부학적 구조체들을 자동으로 인식하고, 라벨들을 인식된 해부학적 구조체들과 자동으로 연관시킨다. 일부 실시예들에서, 인식된 해부학적 구조체들과 연관된 라벨들은 대응하는 해부학적 구조체들이 디스플레이되는 부위에서의 초음파 이미지 상에 중첩되거나 그 내부에 임베드된 채로 (예컨대, 디스플레이(112) 상에) 디스플레이된다.
일부 실시예들에서, 초음파 이미지 등급화 모듈(140)(이는, 기계 학습 회로부(105)의 일부로서 포함될 수 있음)은 수신된 초음파 이미지들 각각에 대한 이미지 품질 등급을 자동으로 결정한다.
일부 실시예들에서, 초음파 이미지 인식 모듈(120)(이는, 기계 학습 회로부(105)의 일부로서 포함될 수 있음)은 수신된 초음파 이미지들 중 하나 이상이 기관 또는 환자의 다른 양태, 부위 또는 특징부의 임상적으로 바람직한 뷰를 나타내는지 여부를 자동으로 결정한다.
초음파 이미지 인식 모듈(120), 해부학적 구조체 인식 및 라벨링 모듈(130), 및 초음파 이미지 등급화 모듈(140) 각각은 본 명세서에 기술된 바와 같은 이들 모듈들의 기능들(예컨대, 수신된 초음파 이미지들이 임상적으로 바람직한 뷰를 나타내는지 여부를 결정하는 것, 초음파 이미지들에서의 해부학적 구조체들을 인식하고 라벨링하는 것, 및 초음파 이미지들에 대한 이미지 품질 등급을 결정하는 것)을 수행하기 위해, 이미지 지식 데이터베이스(122)로부터 인출하는, 인공 지능을 채용하는 연산 지능형 시스템에 의해 구현될 수 있다. 본 명세서에 기술된, 초음파 이미지 인식 모듈(120), 해부학적 구조체 인식 및 라벨링 모듈(130), 및 초음파 이미지 등급화 모듈(140)의 기능들 중 일부 또는 전부는, 예를 들어 획득된 초음파 이미지들을 수신한 것에 응답하여, 초음파 이미지 인식 모듈(120), 해부학적 구조체 인식 및 라벨링 모듈(130), 및 초음파 이미지 등급화 모듈(140)에 의해 자동으로 수행될 수 있다.
"인공 지능"은 본 명세서에서, (예컨대, 트레이닝 데이터에 기초하여) 지식을 학습할 수 있고, 그러한 학습된 지식을 사용하여, 하나 이상의 문제들을 해결하기 위한 그의 접근법들을 채택할 수 있는 임의의 연산 지능형 시스템들 및 방법들을 광범위하게 설명하기 위해 사용된다. 인공 지능형 기계들은, 예를 들어, 이미지 인식, 해부학적 구조체 인식 및 라벨링, 및 이미지 품질 등급화와 같은 문제들을 해결하기 위해 신경망, 딥러닝, 콘볼루션 신경망, 및 베이지안(Bayesian) 프로그램 학습 기법들을 채용할 수 있다. 또한, 인공 지능은 하기의 연산 기법들 중 임의의 하나 또는 그들의 조합을 포함할 수 있다: 제약 프로그램, 퍼지 로직, 분류, 종래의 인공 지능, 기호 조작, 퍼지 설정 이론, 진화 연산, 인공두뇌학(cybernetics), 데이터 마이닝, 근사 추론(approximate reasoning), 도함수 비사용 최적화(derivative-free optimization), 결정 트리, 및/또는 소프트 컴퓨팅. 하나 이상의 연산 지능형 기법들을 채용하여, 기계 학습 회로부(105)(예컨대, 초음파 이미지 인식 모듈(120), 해부학적 구조체 인식 및 라벨링 모듈(130), 및 초음파 이미지 등급화 모듈(140)을 포함함)는 더 양호한 성능을 위해 알려져 있지 않은 그리고/또는 변화하는 환경에 적응하는 것을 학습할 수 있다.
이미지 지식 데이터베이스(122)는, 초음파 이미지 인식 모듈(120), 해부학적 구조체 인식 및 라벨링 모듈(130), 및 초음파 이미지 등급화 모듈(140)에 의한, 수신된 초음파 이미지들에 대한 이미지 분석을 용이하게 하는 다양한 정보를 포함할 수 있다.
일부 실시예들에서, 이미지 지식 데이터베이스(122)는 다양한 기관들의 다양한 이미지 뷰들에 관한 정보를 포함할 수 있다. 예를 들어, 이미지 지식 데이터베이스(122)는 심장의 임상 표준 뷰들 또는 임상적으로 바람직한 뷰들과 연관된 정보를 포함할 수 있다. 심장의 임상 표준 뷰들은, 예를 들어, 흉골상, 늑하, 단축 및 장축 흉골연, 2-챔버 정단, 3-챔버 정단, 4-챔버 정단 및 5-챔버 정단 뷰들을 포함할 수 있다. 추가적으로, 임상 표준 뷰들과 연관된 정보는 3차원 뷰, 2차원 단면뷰 및/또는 2차원 단면뷰들의 세트와 연관된 정보일 수 있다.
이미지 지식 데이터베이스(122)는, 예를 들어, 초음파 이미지 인식 모듈(120), 해부학적 구조체 인식 및 라벨링 모듈(130), 및 초음파 이미지 등급화 모듈(140) 중 임의의 것을 포함하는, 기계 학습 회로부(105)에 의해 액세스가능한 임의의 컴퓨터 판독가능 저장 매체에 저장될 수 있다.
도 2는 하나 이상의 실시예들에 따른, 기계 학습 회로부(105)의 트레이닝을 예시하는 블록도이다 기계 학습 회로부(105)의 트레이닝은 다양한 실시예들에서, 초음파 이미지 인식 모듈(120), 해부학적 구조체 인식 및 라벨링 모듈(130), 및 초음파 이미지 등급화 모듈(140) 각각의 별개 또는 동시 트레이닝을 포함할 수 있다. 추가적으로, 일부 실시예들에서, 초음파 이미지 인식 모듈(120), 해부학적 구조체 인식 및 라벨링 모듈(130), 및 초음파 이미지 등급화 모듈(140) 각각은 별개의 기계 학습 모델들로서 구현될 수 있고, 다른 실시예들에서, 초음파 이미지 인식 모듈(120), 해부학적 구조체 인식 및 라벨링 모듈(130), 및 초음파 이미지 등급화 모듈(140) 중 일부 또는 전부는 동일한 기계 학습 모델에서 구현될 수 있다.
기계 학습 회로부(105)는 트레이닝 이미지들(210)에 기초하여 트레이닝될 수 있다. 트레이닝 이미지들(210)은 임의의 초음파 이미지 정보를 포함할 수 있다. 예를 들어, 트레이닝 이미지들(210)은 심장과 같은 기관의 알려져 있는 뷰들과 연관된 다양한 초음파 이미지 정보와 같은, 초음파 이미지 인식 모듈(120)을 트레이닝시키는 데 사용되는 이미지 정보를 포함할 수 있다. 추가 예로서, 트레이닝 이미지들(210)은 심장의 임상적으로 바람직한 이미지들, 예컨대 심장의 흉골상 뷰들일 수 있다. 그러한 경우, 트레이닝 이미지들(210)은, 심장의 임상적으로 바람직한 흉골상 뷰를 적절하게 보여주는 것으로서 (예컨대, 의사에 의해) 미리결정된 초음파 이미지들일 수 있다. 각각의 그러한 트레이 이미지(210)는 약간 상이한 특성들을 가질 수 있지만(예컨대, 더 높은 품질의 이미지들, 더 낮은 품질의 이미지들, 흐릿한 이미지들, 약간 상이한 각도들로 촬영된 이미지들 등), 각각의 그러한 트레이닝 이미지(210)는, 그럼에도 불구하고, 심장 또는 다른 해부학적 구조체의 임상적으로 바람직한 뷰를 적절히 나타내는 것으로서 미리결정될 수 있다.
추가적으로, 트레이닝 이미지들(210)은 임상 표준 뷰들 또는 임상적으로 바람직한 뷰들과 연관된 이미지 정보를 포함할 수 있을 뿐만 아니라, 비임상 표준 뷰들 또는 임상적으로 바람직한 뷰들과 연관된 이미지 정보를 추가로 포함할 수 있다. 따라서, 초음파 이미지 인식 모듈(120)은, 예를 들어, 임의의 특정한 임상적으로 바람직한 뷰를 나타내지 않는 심장의 뷰(예컨대, 흉골상, 늑하, 단축 및 장축 흉골연, 2-챔버 정단, 3-챔버 정단, 4-챔버 정단 및 5-챔버 정단 뷰들)를 수신할 수 있다. 그러한 경우, 초음파 이미지 인식 모듈(120)은, 그럼에도 불구하고, 심장의 뷰인 것으로 이미지를 인식하도록 트레이닝될 수 있고, 추가로, 이미지를, 예를 들어, 2-챔버 정단 뷰와 3-챔버 정단 뷰 사이의 어딘가에 있는 이미지인 것으로 인식할 수 있다. 임상 표준 3-챔버 정단 뷰는 대체적으로, 예를 들어, 2-챔버 정단 뷰에 대해 반시계 방향으로 약 60°만큼 초음파 이미징 프로브를 회전시킴으로써 획득가능하다. 예를 들어, 2-챔버 정단 뷰에 대해 반시계 방향으로 5° 내지 55°의 어딘가에 있는 회전각으로 프로브를 사용하여 획득된 초음파 이미지들은 심장의 임상적으로 바람직한 뷰를 나타내지 않는 것으로 결정될 수 있다. 초음파 이미지 인식 모듈(120)은, 심장의 알려져 있지만 비임상적으로 바람직한 다양한 뷰들(예컨대, 2-챔버 정단 뷰와 3-챔버 정단 뷰 사이의 어딘가에 있는 뷰들)을 보여주는 트레이닝 이미지들(210)로 트레이닝될 수 있고, 따라서, 그러한 뷰들을 인식할 수 있다(예컨대, 초음파 이미지 인식 모듈(120)은 뷰를 2-챔버 정단 뷰에 대해 프로브(118)의 35° 반시계 방향 회전을 나타내는 것으로 인식할 수 있음). 일부 실시예들에서, 초음파 이미지를 알려져 있는 비임상적으로 바람직한 뷰를 포함하는 것으로 인식할 시, 임상적으로 바람직한 뷰의 획득을 궁극적으로 달성하는 방식으로 초음파 프로브를 이동시키기 위한 지침이 사용자에게 제공될 수 있다.
일부 실시예들에서, 트레이닝 이미지들(210)은 해부학적 구조체 인식 및 라벨링 모듈(130)을 트레이닝시키는 데 사용되는 이미지 정보를 포함할 수 있다. 예를 들어, 트레이닝 이미지들(210)은 특정 기관들(예컨대, 심장) 또는 기관들의 특정 특징부들(예컨대, 좌심실, 우심실, 좌심방, 우심방, 승모판, 삼첨판, 대동맥판 등)과 같은 알려져 있는 해부학적 구조체들과 연관된 다양한 초음파 이미지 정보를 포함할 수 있다. 또한, 트레이닝 이미지들(210)은 여러가지 상이한 뷰들로부터의 그러한 알려진 해부학적 구조체들과 연관된 이미지 정보를 포함할 수 있다. 해부학적 구조체들은 상이한 뷰들에 걸쳐 매우 상이한 것으로 보일 수 있는데, 예컨대, 좌심실은 여러가지 상이한 뷰들에서 획득된 초음파 이미지들(예컨대, 정단-LV, 흉골연 긴-LV, 흉골연 긴-LV)에서 상이하게 보일 수 있다. 따라서, 여러가지 상이한 뷰들에 알려져 있는 해부학적 구조체들(예컨대, 좌심실)을 나타내는 초음파 이미지들은 트레이닝 이미지들(210)로서 제공될 수 있는데, 이들은 해부학적 구조체뿐만 아니라 초음파 이미지에 의해 제공된 특정 뷰를 인식하도록 해부학적 구조체 인식 및 라벨링 모듈(130)을 트레이닝시키는 데 활용될 수 있다.
일부 실시예들에서, 트레이닝 이미지들(210)은 초음파 이미지 등급화 모듈(140)을 트레이닝시키는 데 사용되는 이미지 정보를 포함할 수 있다. 예를 들어, 트레이닝 이미지들(210)은 상이한 이미지 품질들의 다양한 초음파 이미지들(예컨대, 더 높은 품질의 이미지들, 더 낮은 품질의 이미지들, 흐릿한 이미지들 등)을 포함할 수 있다. 초음파 이미지 등급화 모듈(140)을 트레이닝시키는 데 사용되는 트레이닝 이미지들(210)의 품질들은, 예를 들어, 의사 또는 다른 임상의와 같은 전문가에 의해 등급화될 수 있다. 트레이닝 이미지들(210)의 품질들은 임의의 등급화 시스템에 기초하여 등급화될 수 있다. 일부 실시예들에서, 트레이닝 이미지들(210)의 품질들은 아래의 표 1에 제공된 ACEP(American College of Emergency Physicians) 등급화 주해(rubric)와 같은 표준 등급화 시스템에 기초하여 등급화될 수 있다. 트레이닝 이미지들(210) 각각에는 의사 또는 다른 임상의에 의해 특정 등급(예컨대, 1 내지 5)이 할당될 수 있으며, 이때 할당된 등급은 트레이닝 이미지(210)의 품질을 나타낸다.
Figure pct00001
다른 트레이닝 입력(220)은 트레이닝을 위해 초음파 이미지 인식 모듈(120)에 추가로 제공될 수 있다. 다른 트레이닝 입력(220)은, 예를 들어, 트레이닝 프로세스를 통해 이미지 인식 모듈(120)에서 전개된 이미지 인식 모델을 조정하거나 또는 달리 관리하기 위한 수동으로 입력된 입력을 포함할 수 있다.
트레이닝 이미지들(210)을 사용하여, 기계 학습 회로부(105)(초음파 이미지 인식 모듈(120), 해부학적 구조체 인식 및 라벨링 모듈(130), 및 초음파 이미지 등급화 모듈(140)을 포함함)는 반복 트레이닝 프로세스를 구현할 수 있다. 트레이닝은 광범위한 학습 규칙들 또는 트레이닝 알고리즘들에 기초할 수 있다. 예를 들어, 학습 규칙들은 하기 중 하나 이상을 포함할 수 있다: 역전파, 실시간 순환 학습, 패턴별 학습, 지도형 학습(supervised learning), 보간, 가중 합, 강화 학습(reinforced learning), 시간적 차이 학습, 비지도형 학습(unsupervised learning), 및/또는 기록 학습.
역전파 학습 알고리즘은, 예를 들어 도 3에 도시된 인공 신경망(300)과 함께 채용될 수 있는 인공 신경망들을 트레이닝시키는 방법의 일례이다. 역전파는 대체적으로, 2개의 단계들을 포함한다: 전파 및 가중치 업데이트. 전파 단계에서, 트레이닝 패턴의 입력은 전파의 출력 활성화물(activation)들을 생성하기 위해 신경망을 통해 순방향 전파된다. 이어서, 전파의 출력 활성화물들은 모든 출력 및 은닉 뉴런들의 델타(delta)들(즉, 입력 값과 출력 값 사이의 차이)을 생성하기 위해 트레이닝 패턴 표적을 사용하여 신경망을 통해 역방향 전파된다. 가중치 업데이트 단계에서, 각각의 가중치-시냅스에 대해, 하기의 단계들이 대체적으로 수행된다: 1. 가중치의 그래디언트를 얻기 위해 그의 출력 델타 및 입력 활성화물을 곱함; 2. 가중치로부터 그래디언트의 비(백분율)를 감산함. 전파 및 가중치 업데이트 단계들은 네트워크의 성능이 만족스러울 때까지 원하는 대로 반복된다.
트레이닝의 결과로서, 초음파 이미지 인식 모듈(120), 해부학적 구조체 인식 및 라벨링 모듈(130), 및 초음파 이미지 등급화 모듈(140)은, 트레이닝 이미지들(210)에 응답하여 그들의 거동을 수정하는 것, 및 초음파 이미지 지식(230)을 획득하거나 생성하는 것을 학습할 수 있다. 초음파 이미지 지식(230)은 임의의 정보를 나타낼 수 있고, 이에 대해 초음파 이미지 인식 모듈(120), 해부학적 구조체 인식 및 라벨링 모듈(130), 및 초음파 이미지 등급화 모듈(140)이 새로운 데이터 또는 상황들에 대한 적절한 응답을 결정할 수 있다. 예를 들어, 초음파 이미지 지식(230)은 초음파 이미지들과 기관의 하나 이상의 뷰들 사이의 관계들(예컨대, 초음파 이미지 파라미터들, 계수들, 가중화 정보, 도 3에 도시된 예시적인 신경망과 연관된 파라미터들 또는 임의의 그러한 변수에 기초하여 기관의 하나 이상의 뷰들을 설명하는 하나 이상의 기능들)을 나타낼 수 있으며, 이들은 초음파 이미지들을 인식하도록 초음파 이미지 인식 모듈(120)에 의해 활용될 수 있다. 또한, 초음파 이미지 지식(230)은 여러가지 상이한 뷰들로부터의 수신된 초음파 이미지 정보와 수신된 초음파 이미지 정보에 나타내진 인식된 해부학적 구조체들 사이의 관계들을 나타낼 수 있다. 추가적으로, 초음파 이미지 지식(230)은 수신된 초음파 이미지 정보와 수신된 초음파 이미지 정보의 이미지 품질 사이의 관계들을 나타낼 수 있다.
초음파 이미지 지식(230)은 초음파 이미지 지식 데이터베이스(122)에 저장될 수 있다.
트레이닝 이미지들(210)에 기초하여, 초음파 이미지 인식 모듈(120), 해부학적 구조체 인식 및 라벨링 모듈(130), 및 초음파 이미지 등급화 모듈(140)은 그들의 거동을 수정하는 것을 학습할 수 있으며, 이들 모듈들이, 예를 들어, 초음파 이미징 디바이스(110)로부터 수신된 초음파 이미지 정보와 같은 새로운 입력에 대해 결정을 행하는 방식을 변경하기 위해 이미지 지식 데이터베이스(122)에 포함된 지식을 적용할 수 있다.
도 3은 하나 이상의 실시예들에 따른, 기계 학습 회로부(105)에 의해 구현될 수 있는 인공 신경망(300)의 하나의 예를 예시하는 블록도이다 일부 실시예들에서, 초음파 이미지 인식 모듈(120), 해부학적 구조체 인식 및 라벨링 모듈(130), 및 초음파 이미지 등급화 모듈(140) 각각은 도 3에 도시된 신경망(300)과 같은 신경망에 의해 구현될 수 있다. 인공 신경망(artificial neural network, ANN)들은, 다수의 입력들에 의존할 수 있고 대체적으로 알려져 있지 않은 기능들을 추정하거나 근사화하는 데 사용되는 인공 지능 모델들이다. 그러한 신경망들은 대체적으로 서로 간에 정보를 교환하는 상호접속된 "뉴런들"의 시스템을 포함한다. 접속부들은 경험에 기초하여 튜닝될 수 있는 수치 가중치들을 가지며, 따라서, 신경망들은 입력들에 적응적이고 학습할 수 있다.
도 3에 도시된 인공 신경망(300)은 3개의 계층들을 포함한다: 입력 뉴런들 i1 내지 i3을 포함하는 입력 계층(310), 은닉 계층 뉴런들 h1 내지 h4를 포함하는 은닉 계층(320), 및 출력 뉴런들 f1 및 f2를 포함하는 출력 계층(330). 도 3의 신경망(300)은 3개의 계층들을 갖는 것으로 도시되어 있지만, 기계 학습 회로부(105)의 최적의 트레이닝 및 성능을 달성하기 위해 추가적인 계층들이 원하는 대로 신경망(300)에 포함될 수 있다는 것이 용이하게 인식될 것이다. 유사하게, 각각의 계층에서의 뉴런들은 예시적인 목적들을 위해 도시되어 있으며, 각각의 계층은 도 3에 도시된 것보다 더 많은, 심지어 상당히 더 많은 뉴런들을 포함할 수 있다는 것이 용이하게 이해될 것이다.
신경망(300)은 트레이닝 이미지들(210)을 입력 계층(310)에 제공함으로써 트레이닝될 수 있다. 도 2와 관련하여 기술된 바와 같이, 트레이닝 이미지들은, 예를 들어, 다양한 기관 뷰들, 여러가지 상이한 이미징 뷰들에서의 다양한 알려져 있는 해부학적 구조체들, 다양한 이미지 품질들 또는 등급들 등을 포함하는, 매우 다양한 알려져 있는 특성들을 갖는 초음파 이미지 정보를 포함할 수 있다. 트레이닝을 통해, 신경망(300)은 입력 계층(310)에서 제공된 트레이닝 이미지들(210)을 출력 계층(330)에서의 알려져 있는 출력 정보(예컨대, 심장의 특정 이미징 뷰로서의 이미지의 분류, 이미지 내의 특정 해부학적 구조체의 인식, 특정 이미지 품질을 갖는 것으로서의 이미지의 분류)에 맵핑시키는 가중 접속부들을 나타내는 은닉 계층(320)을 생성하고/하거나 수정할 수 있다. 트레이닝 프로세스를 통해 형성되고 가중 접속 관계들을 포함할 수 있는, 입력 계층(310), 은닉 계층(320) 및 출력 계층(330)의 뉴런들 사이의 관계들은 대체적으로, 본 명세서에서 "초음파 이미지 지식"으로 지칭되며, 예를 들어, 초음파 이미지 지식 데이터베이스(122)에 저장될 수 있다.
일단 신경망(300)이 충분히 트레이닝되었다면, 신경망(300)에는 입력 계층(310)에서 비-트레이닝 초음파 이미지들이 제공될 수 있다(즉, 초음파 이미징 디바이스(110)를 활용하여 환자의 초음파 이미지들이 촬영됨). 초음파 이미지 지식 데이터베이스(122)에 저장된 초음파 이미지 지식(이는, 예를 들어, 신경망(300)의 뉴런들 사이의 가중 접속 정보를 포함할 수 있음)을 활용하여, 신경망(300)은 출력 계층(330)에서 수신된 초음파 이미지 정보에 대한 결정들을 행할 수 있다. 예를 들어, 신경망(300)은 수신된 초음파 이미지들이 기관의 하나 이상의 임상적으로 바람직한 뷰들을 나타내는지 아니면 비임상적으로 바람직한 뷰들을 나타내는지를 결정할 수 있고, 수신된 초음파 이미지들 내의 하나 이상의 해부학적 구조체들을 추가로 인식할 수 있고, 이미지들 내의 인식된 해부학적 구조체들을 자동으로 라벨링할 수 있고, 또한, 추가로, 이미지 품질 등급을 자동으로 결정하고 이를 수신된 초음파 이미지들에 할당할 수 있다.
도 3의 신경망(300)은 수신된 초음파 이미지 정보에 대해 결정을 행하기 위해 인공 지능을 채용하는 기계 학습 회로부(105)의 다양한 가능한 구현예들 중에서도 단지 하나의 예로서 제공된다. 예를 들어, 기계 학습 회로부(105)(초음파 이미지 인식 모듈(120), 해부학적 구조체 인식 및 라벨링 모듈(130), 및 초음파 이미지 등급화 모듈(140) 중 하나 이상을 포함함)는 신경망, 딥러닝, 콘볼루션 신경망, 및 베이지안 프로그램 학습 기법들 중 임의의 것을 구현하여, 환자의 수신된 초음파 이미지들에 대한 결정들을 행할 수 있다.
추가적으로, 수신된 초음파 이미지 정보에 관한 다양한 결정들을 행하기 위해, 초음파 이미지 인식 모듈(120)은 다양한 트레이닝 이미지들(210) 및/또는 트레이닝 이미지들(210)의 다양한 시퀀스들을 활용하여 트레이닝될 수 있다. 예를 들어, 초음파 이미지 인식 모듈(120)은 수신된 초음파 이미지가 하나 이상의 임상 표준 뷰들 또는 임상적으로 바람직한 뷰를 나타내는지 여부를 결정하도록 트레이닝되거나 달리 구성될 수 있다. 추가로, 초음파 이미지 인식 모듈(120)은 수신된 초음파 이미지가 비임상적으로 바람직한 뷰를 나타내는지 여부를 결정할 수 있으며(그리고 특정 기관 또는 환자 내의 다른 조직의 특정 뷰 또는 각도로서 그러한 비임상적으로 바람직한 뷰를 인식할 수 있음), 수신된 초음파 이미지들의 시퀀스에 기초하여, 이미지들이 기관의 임상적으로 바람직한 뷰에 접근하고 있는지 아니면 그로부터 멀리 이동하고 있는지를 추가로 결정할 수 있다. 예를 들어, 수신된 초음파 이미지들이 (예컨대, 초음파 이미지 등급화 모듈(140)에 의해 제공되는 품질 평가들에 기초하여) 하나의 이미지로부터 다른 이미지로 품질을 개선하고 있는 경우, 초음파 이미지 인식 모듈(120)은 사용자가 기관 또는 다른 해부학적 구조체의 임상적으로 바람직한 뷰를 획득하는 쪽으로 이동하고 있다고 결정할 수 있다. 이어서, 이미지들이 기관의 임상적으로 바람직한 뷰에 접근하고 있는지 아니면 그로부터 멀리 이동하고 있는지에 대한 그것의 인식에 기초하여, 그리고/또는 캡처된 실제 이미지에 대한 그것의 인식에 기초하여, 시스템은, 예를 들어 사용자가 프로브를 이동시키기를 원할 수 있는 방향 및/또는 사용자가 프로브를 기울이기를 원할 수 있는 회전 각도 또는 배향을 나타냄으로써, 사용자가 기관의 원하는 뷰를 캡처하는 것을 돕기 위해 사용자에게 피드백을 제공하도록 구성될 수 있다.
예를 들어, 상기에 논의된 바와 같이, 초음파 이미지 인식 모듈(120)은, 심장의 알려져 있지만 비임상적으로 바람직한 다양한 뷰들(예컨대, 2-챔버 정단 뷰와 3-챔버 정단 뷰 사이의 어딘가에 있는 뷰들)을 보여주는 트레이닝 이미지들(210)로 트레이닝될 수 있고, 따라서, 그러한 뷰들을 인식할 수 있다(예컨대, 초음파 이미지 인식 모듈(120)은 뷰를 2-챔버 정단 뷰에 대해 프로브(118)의 35° 반시계 방향 회전을 나타내는 것으로 인식할 수 있음). 또한, 초음파 이미지 인식 모듈(120)은, 심장의 인식되지만 비임상 표준 뷰들 또는 비임상적으로 바람직한 뷰들의 시퀀스로 트레이닝될 수 있다. 예를 들어, 초음파 이미지 인식 모듈(120)은 2-챔버 정단 뷰에 대해 0° 내지 60°의 각각의 반시계 방향 회전 각도(즉, 2-챔버 정단 뷰와 3-챔버 정단 뷰 사이의 모든 각도)로 심장의 뷰를 보여주는 초음파 이미지들을 인식하도록 트레이닝될 수 있다. 또한, 초음파 이미지 인식 모듈(120)은 임상적으로 바람직한 뷰를 향해 그리고/또는 그로부터 멀리 그러한 비임상적으로 바람직한 뷰들의 시퀀스 또는 그들의 진행을 인식하도록 트레이닝될 수 있다(예컨대, 트레이닝 이미지들(210)은 2-챔버 정단 뷰로부터 3-챔버 정단 뷰를 향한 그리고/또는 그로부터 먼 프로브(118)의 회전을 나타내는 초음파 이미지들의 시퀀스를 포함할 수 있음). 따라서, 초음파 이미지 인식 모듈(120)은, 수신된 초음파 이미지들이, 특정한 임상적으로 바람직한 뷰를 나타내지 않지만, 임상적으로 바람직한 뷰에 연속으로 더 가까워지고 있을 수 있음(또는 그로부터 멀리 이동하고 있음)을 인식하도록 트레이닝될 수 있다.
또한, 초음파 이미지 인식 모듈(120)은, 초음파 이미지 인식 모듈(120)이, 수신된 초음파 이미지들이 기관의 복수의 임상적으로 바람직한 뷰들 중 임의의 것을 나타내는지 여부를 결정할 수 있도록 트레이닝될 수 있다. 기관의 그러한 임상적으로 바람직한 뷰들은, 예를 들어, 심장의 흉골상, 늑하, 단축 및 장축 흉골연, 2-챔버 정단, 3-챔버 정단, 4-챔버 정단 및 5-챔버 정단 뷰들을 포함할 수 있다.
다시 도 1을 참조하면, 기계 학습 회로부(105)(초음파 이미지 인식 모듈(120), 해부학적 구조체 인식 및 라벨링 모듈(130), 및 초음파 이미지 등급화 모듈(140) 중 임의의 것을 포함함)는 하기에 추가로 상세히 기술되는 바와 같이, 기계 학습 회로부(105)에 의한 수신된 초음파 이미지들의 분석에 기초하여, 초음파 이미징 디바이스(110)에 (예를 들어, 참조 번호(103)에 의해 나타내진) 피드백 신호를 제공할 수 있다.
도 4는 하나 이상의 실시예들에 따른 초음파 이미징 디바이스(110)를 개략적으로 예시한다. 초음파 이미징 디바이스(110)는 디스플레이(112), 하나 이상의 입력 요소들(412)을 포함하는 사용자 인터페이스(410), 하나 이상의 시각적 피드백 요소들(420), 가청 피드백 요소(430) 및/또는 햅틱 피드백 요소(440)를 포함할 수 있다.
사용자 인터페이스(410)는 사용자가 초음파 이미징 디바이스(110)를 제어할 수 있거나 달리 그와 통신할 수 있게 한다. 다양한 유형들의 사용자 입력이, 예를 들어, 버튼들 또는 유사한 사용자 입력 요소들일 수 있는 사용자 입력 요소들(412)을 통해 제공될 수 있다. 추가적으로 또는 대안적으로, 디스플레이(112)는 터치스크린 디스플레이일 수 있고, 사용자 입력은 디스플레이(112)를 통해 수신될 수 있다. 초음파 이미징 디바이스(110)를 사용하여, 사용자는 환자에게서 이미징되어야 하는 기관의 원하는 뷰를 (예컨대, 입력 요소들(412) 및/또는 디스플레이(112)를 통해) 선택할 수 있거나 달리 그를 입력할 수 있다. 예를 들어, 사용자는, 초음파 이미징 디바이스(110)에 저장되고 사용자에게 제시되는 복수의 임상적으로 바람직한 뷰들 중에서 하나의 뷰(예컨대, 심장의 늑하 뷰)를 선택할 수 있다. 초음파 이미징 디바이스(110)는 선택된 뷰를 초음파 이미지 인식 모듈(120)로 통신할 수 있고, 초음파 이미지 인식 모듈(120)은 이에 따라, 수신된 초음파 이미지들이 선택된 뷰를 나타내는지 여부를 결정하도록 구성될 수 있다. 즉, 초음파 이미지 인식 모듈(120)은, 수신된 초음파 이미지들이 선택된 뷰에 대응하는 지식과 비교되거나 그에 의해 프로세싱될 수 있도록, 이미지 지식 데이터베이스(122) 내의 적절한 초음파 이미지 지식(예컨대, 심장의 늑하 뷰와 연관된 지식, 규칙들, 또는 관계들)에 액세스할 수 있다. 대안적으로, 사용자는, 시스템이 전술된 바와 같이, 심장과 같은 기관의 일련의 표준 뷰들 중 하나 이상의 표준 뷰들의 캡처를 통해 사용자를 가이드하는 동작 모드를 선택할 수 있다. 그러한 모드에서, 시스템은 먼저, 이미징될 기관의 원하는 뷰를 선택하고, 이어서, 원하는 이미지가 언제 캡처되었는지를 사용자에게 확인할 수 있고/있거나 초기 이미지 캡처에 기초하여 원하는 뷰를 향해 사용자를 가이드할 수 있다. 예를 들어, 초음파 이미지 인식 모듈(120)이, 수신된 초음파 이미지가 기관의 특정 선택된 뷰를 나타낸다고 결정할 때, 시스템(100)은 선택된 뷰의 획득을 확인하는 (예컨대, 시각적, 가청, 또는 햅틱 피드백) 표시를 (예컨대, 초음파 이미징 디바이스(110)를 통해) 사용자에게 제공할 수 있다. 한편, 초음파 이미지 인식 모듈(120)이, 수신된 초음파 이미지가 기관의 특정 선택된 뷰를 나타내지 않는다고 결정하는 경우, 시스템(100)은, 예컨대 선택된 뷰를 획득하기 위해 프로브(118)의 사용자 모션의 표시를 제공함으로써, 선택된 뷰의 획득을 향해 사용자를 가이드하는 (예컨대, 시각적, 가청, 또는 햅틱 피드백) 표시를 사용자에게 제공할 수 있다. 프로브(118)의 사용자 모션의 표시는, 예를 들어, 선택된 뷰를 획득하기 위한 프로브(118)의 회전 또는 병진 모션의 특정 방향 및/또는 양의 표시를 포함할 수 있다.
이어서, 시스템(100)은 이미징될 기관의 원하는 표준 뷰들 각각에 대해 이러한 프로세스를 연속으로 반복할 수 있다. 즉, 획득되도록 요구되는 기관의 일련의 뷰들 각각에 대해, 시스템(100)은 일련의 뷰들 중에서 특정 선택된 뷰를 획득하는 것을 향해 사용자를 반복적으로 가이드할 수 있으며, 각각의 선택된 뷰가 언제 획득되었는지를 확인할 수 있다. 대안적으로, 일부 실시예들에서, 시스템(100)은 임의의 캡처된 이미지를 캡처될 이미지들 각각에 대해 비교하는 그러한 방식으로 동작하도록, 그리고 어느 뷰가 먼저 캡처되었어야 했는지를 먼저 나타내지 않고서, 원하는 표준 뷰들 중 하나 이상이 언제 캡처되었는지를 확인하도록 구성된다. 예를 들어, 일부 실시예들에서, 특정 뷰가 먼저 선택될 필요가 없다. 대신에, 시스템(100)은 특정 원하는 뷰(예컨대, 심장의 임상 표준 뷰 등)가 이미지 세션 동안 언제 획득되었는지를 자동으로 인식할 수 있다. 일단 특정 원하는 뷰가 획득되었다면, 시스템(100)은 원하는 뷰가 획득되었음을 확인하는 표시를 (예컨대, 초음파 이미징 디바이스(110)를 통해) 사용자에게 자동으로 제공할 수 있고, 사용자는 환자의 검사를 진행할 수 있다. 유사하게, 제2 원하는 뷰가 획득되었을 때, 시스템(100)은 제2 뷰가 획득되었음 등을 확인하는 표시를 사용자에게 자동으로 제공할 수 있는, 등이다. 다양한 실시예들에서, 시스템(100)은, 예를 들어 초음파 이미지 데이터베이스(115)에 초음파 이미지들을 저장함으로써, 일단 그들이 캡처되었다면, 원하는 뷰들을 나타내는 초음파 이미지들을 자동으로 저장할 수 있다.
시각적 피드백 요소들(420)은 초음파 이미징 디바이스(110)의 사용자에게 시각적 표시를 제공할 수 있는 임의의 요소일 수 있고, 예를 들어, 정적이든 이동하는 중이든, 하나 이상의 조명들, 색상들, 형상들, 아이콘들 등일 수 있다. 가청 피드백 요소(430)는 초음파 이미징 디바이스(110)의 사용자에게 가청 표시를 생성할 수 있는 임의의 요소일 수 있고, 예를 들어, 캡처된 이미지와 캡처되기를 원하는 이미지 사이의 대응성 및 대응성 결여와 연관된 다양한 톤(tone)들 또는 사운드들을 생성하기 위한 스피커일 수 있다. 유사하게, 햅틱 피드백 요소(440)는 초음파 이미징 디바이스(110)의 사용자에게 햅틱 효과를 제공할 수 있는 임의의 요소일 수 있고, 예를 들어, 진동 디바이스일 수 있다.
초음파 이미지 인식 모듈(120)에 의해 제공된 피드백 신호들(103)은 초음파 이미징 디바이스(110)로부터 수신된 초음파 이미지들에 관한, 초음파 이미지 인식 모듈(120)에 의해 행해진 다양한 결정들 중 임의의 것을 나타낼 수 있다.
예를 들어, 초음파 이미지 인식 모듈(120)은 현재 또는 가장 최근에 수신된 초음파 이미지가 기관의 임상적으로 바람직한 뷰(예컨대, 선택된 임상적으로 바람직한 뷰)를 표현함을 나타내는 피드백 신호(103)를 제공할 수 있다. 추가 예로서, 초음파 이미지 인식 모듈(120)은, 예컨대 초음파 이미징 등급화 모듈(140)에 의한 초음파 이미지들의 증가하는 또는 감소하는 품질 결정들에 기초하여, 또는 기관의 임상적으로 바람직한 뷰를 향한 또는 그로부터 멀어지는 이동을 나타내는 이미지들의 진행과 일치하는 것으로 알려져 있는 인식된 이미지들 및 구조체들의 시퀀스에 기초하여, 수신된 초음파 이미지들이 기관의 임상적으로 바람직한 뷰에 순차적으로 접근하고 있는지 아니면 그로부터 멀리 이동하고 있는지를 결정할 수 있고, 수신된 초음파 이미지들이 기관의 임상적으로 바람직한 뷰에 순차적으로 접근하고 있는지 아니면 그로부터 멀리 이동하고 있는지를 나타내는 피드백 신호(103)를 제공할 수 있다. 이러한 피드백 신호는 소정 방식으로 프로브를 이동시키거나 기울일 것을 사용자에게 명령하기 위한 시각적 또는 가청 커맨드, 또는 기관의 원하는 이미지에 더 잘 접근하기 위해 프로브에 요구되는 이동의 방향 및/또는 각도를 나타내는 직선 또는 만곡된 화살표(들)와 같은 아이콘을 포함할 수 있다.
초음파 이미징 디바이스(110)는 피드백 신호(103)를 수신하고, 이에 응답하여, 하나 이상의 피드백 요소들(즉, 시각적 피드백 요소들(420), 가청 피드백 요소(430) 및/또는 햅틱 피드백 요소(440))을 활성화시켜 초음파 이미징 디바이스(110)의 사용자에게 피드백 효과를 제공할 수 있다. 예를 들어, 피드백 신호(103)는 현재 또는 가장 최근에 수신된 초음파 이미지가 기관의 임상적으로 바람직한 뷰를 표현함을 나타낼 수 있다. 그러한 경우, 초음파 이미징 디바이스(110)에 의해 제공되는 피드백 효과는 시각적 피드백 요소(420)의 녹색 광(420a)의 번쩍임, 가청 피드백 요소(430)로부터 가청 톤 또는 비프(beep), 및/또는 햅틱 피드백 요소(440)에 의해 제공되는 진동 펄스를 포함할 수 있다. 번쩍이는 녹색 광(420a), 가청 톤 및/또는 진동 펄스는 원하는 뷰가 획득되었음을 사용자에게 나타내고, 따라서, 사용자는 (예컨대, 사용자 입력 요소들(412) 중 하나 이상을 활용하여) 원하는 뷰의 초음파 이미지를 유지할 수 있고, 이미지를 초음파 이미지 데이터베이스(115)에 저장할 수 있다.
추가적으로 또는 대안적으로, 수신된 초음파 이미지에 기관의 임상적으로 바람직한 뷰가 나타난다고 결정할 때, 초음파 이미지 인식 모듈(120)은 (예컨대, 피드백 신호(103)에 의해) 초음파 이미징 디바이스(110)가 초음파 이미지를 자동으로 유지하고 초음파 이미지 데이터베이스(115)에 저장하게 할 수 있다. 사용자가 원하는 이미지를 이미 캡처했는지 여부 또는 원하는 이미지가 이미징되고 있는 특정 환자에 대해 캡처되도록 유지되어야 하는지 여부를 나타내기 위해, 각각의 원하는 유형의 이미지 옆의 적절한 표시들과 함께 표가 또한 디스플레이될 수 있다. 일부 실시예들에서, 표는 특정 유형의 초음파 이미징 세션과 관련하여 획득될 초음파 이미지들의 세트를 포함한다. 초음파 이미지들의 세트는, 예를 들어, 하기 중 하나 이상과 같은, 특정 유형의 초음파 이미징 세션(예컨대, 심장 이미징 세션) 동안 획득될 복수의 상이한 뷰들을 포함할 수 있다: 심장의 흉골상, 늑하, 단축 및 장축 흉골연, 2-챔버 정단, 3-챔버 정단, 4-챔버 정단 및 5-챔버 정단 뷰들. 특정 병리들(예컨대, 폐 병리들, 심장 병리들 등)에 대한 세션들 또는 검사들, 특정 해부학적 구조체들(예컨대, 폐, 심장 등)에 대한 초음파 이미징 세션들 또는 검사들, 또는 임의의 다른 유형의 초음파 이미징 세션 또는 검사와 같은 여러가지 상이한 유형들의 초음파 이미징 세션들이 표 내에 포함될 수 있다. 초음파 이미징 세션들 각각은 획득되어야 하는 원하는 뷰들 또는 임상 표준 뷰들의 연관된 세트를 가질 수 있고, 각각의 그러한 뷰는 특정 초음파 이미징 세션에 대한 표 내에 포함될 수 있다. 원하는 뷰들 또는 임상 표준 뷰들의 세트 각각의 획득 시, 그러한 뷰의 획득을 나타내기 위해 입력이 표에 자동으로 이루어질 수 있다.
피드백 신호(103)가, 수신된 초음파 이미지들이 기관의 임상적으로 바람직한 뷰에 순차적으로 접근하고 있거나 그로부터 멀리 이동하고 있음을 나타내는 실시예들에서, 예를 들어, 수신된 초음파 이미지들이 임상적으로 원하는 뷰에 접근하고 있을 때(또는 그로부터 멀리 이동하고 있을 때) 증가하는(또는 감소하는) 주파수를 갖는 가청 톤, 수신된 초음파 이미지들이 임상적으로 원하는 뷰에 접근하고 있을 때(또는 그로부터 멀리 이동하고 있을 때) 증가하는(또는 감소하는) 세기를 갖는 일련의 진동 펄스들과 같은 변화하는 피드백 효과를 제공하고/하거나, 수신된 초음파 이미지가 임상적으로 바람직한 뷰에 접근하거나 그로부터 멀리 이동하고 있을 때 조명들의 상이한 색상 또는 포지션을 조명함으로써(예컨대, 수신된 초음파 이미지들이 임상적으로 바람직한 뷰에 접근할 때 적색 외부 조명들(420c), 이어서 황색 중간 조명들(420b), 이어서, 녹색 중심 광(420a)을 조명함), 초음파 이미징 디바이스(110)는 이를 사용자에게 통신할 수 있다.
일부 실시예들에서, 피드백 신호(103)는 초음파 이미지 등급화 모듈(140)로부터 파생되거나 그에 의해 제공되는 정보를 나타낼 수 있다. 예를 들어, 피드백 신호(103)는 획득된 초음파 이미지들의 예측된 또는 결정된 등급(예컨대, 1 내지 5의 등급)을 나타낼 수 있고, 등급은, 예를 들어 디스플레이된 초음파 이미지와 함께 등급을 디스플레이(112) 상에 디스플레이함으로써, 또는 가청, 시각적, 햅틱, 또는 다른 피드백 메커니즘에 의해 사용자에게 제공될 수 있다. 일부 실시예들에서, 피드백 신호(103)에 의해 나타내질 수 있는 이미지 품질 등급은, 임상적으로 바람직한 초음파 이미지의 획득을 향해 사용자를 가이드하는 데 활용될 수 있다. 예를 들어, 피드백 신호(103)는 획득된 초음파 이미지들이 불량하거나 비임상적으로 유용한 품질의 것들임을 나타낼 수 있고, 따라서, 사용자는 적합한 이미지 품질의 초음파 이미지들이 획득될 때까지 프로브(118)를 조정하거나 재포지셔닝시킬 수 있다.
일부 실시예들에서, 해부학적 구조체 또는 기관의 특정 뷰를 나타내도록 결정되거나 달리 확인되는 획득된 초음파 이미지들의 예측된 또는 결정된 등급은 특정 뷰와 자동으로 연관될 수 있고, 예를 들어, 표에 저장될 수 있다.
일부 실시예들에서, 피드백 신호(103)는 해부학적 구조체 인식 및 라벨링 모듈(130) 또는 초음파 이미지 등급화 모듈(140)에 의한 수신된 초음파 이미지들의 분석에 응답하여, 해부학적 구조체 인식 및 라벨링 모듈(130) 또는 초음파 이미지 등급화 모듈(140)에 의해 제공되는 정보를 나타낼 수 있다. 예를 들어, 해부학적 구조체 인식 및 라벨링 모듈(130)은 수신된 초음파 이미지들 내의 해부학적 구조체를 인식할 수 있고, 인식된 해부학적 구조체에 라벨을 자동으로 제공할 수 있고, 라벨은, 예를 들어, 디스플레이(112) 상에 초음파 이미지와 함께 디스플레이될 수 있다.
도 5는 해부학적 구조체 인식 및 라벨링 모듈(130)에 의해, 해부학적 구조체 인식 및 라벨링 모듈(130)에 의해 인식되는 바와 같은 해부학적 구조체들과 자동으로 연관되는 라벨들을 포함하는 초음파 이미지(500)를 예시하는 도면이다. 해부학적 구조체 인식 및 라벨링 모듈(130)은 수신된 초음파 이미지들 내의 해부학적 구조체들을 인식하도록, 그리고 인식된 구조체들을 국부화하도록, 즉, 초음파 이미지들 내의 인식된 해부학적 구조체들의 위치를 인식하거나 결정하도록 (예컨대, 트레이닝을 통해) 구성된다. 해부학적 구조체 인식 및 라벨링 모듈(130)의 트레이닝은, 예를 들어, 예컨대 초음파 이미지들의 인간 전문가 해석에 의해, 해부학적 구조체들이 이미지들에서 식별, 국부화, 및 라벨링되었던 이전에 획득된 초음파 이미지들을 사용하여, 본 명세서에 기술된 바와 같이 수행될 수 있다. 이러한 방식으로, 해부학적 구조체 인식 및 라벨링 모듈(130)은 라벨들에 대한 정확한 포지션을, 즉 초음파 이미지들 내의 인식된 해부학적 구조체들의 결정된 포지션에 대응하는 포지션에서, 결정할 수 있다. 도 5에 도시된 라벨들은 우심실(RV), 좌심실(LV), 삼첨판(TV), 승모판(MV), 우심방(RA), 및 좌심방(LA)에 대한 라벨들을 포함한다. 이들 라벨들은 라벨들이 식별하는 구조체들에 대응하는 디스플레이된 초음파 이미지의 포지션들에서 디스플레이된다. 도 5에 도시된 라벨들은 해부학적 구조체 인식 및 라벨링 모듈(130)에 의해 자동으로 인식되고 라벨링될 수 있는 구조체들의 단지 일부 예들로서 제공되지만; 본 발명의 실시예들은 이들로 제한되지 않으며, 다양한 실시예들에서, 임의의 해부학적 구조체와 연관된 라벨들은 자동으로 결정되어 초음파 이미지들 상에 디스플레이될 수 있다.
초음파 이미지들에서의 뷰가, 예를 들어, 프로브(118) 및/또는 이미징되는 환자의 움직임에 의해 변화함에 따라, 초음파 이미지(500) 내의 라벨들이 또한 변화할 수 있다. 예를 들어, 인식된 해부학적 구조체들이 디스플레이된 초음파 이미지들로부터 보이거나 사라짐에 따라, 인식된 해부학적 구조체들과 대응하는 라벨들은 유사하게 보이거나 사라진다. 다른 예로서, 디스플레이된 초음파 이미지들의 시퀀스 내의 해부학적 구조체들이 디스플레이된 이미지들 내에서 이리저리 이동하는 것으로 인식될 때, 해부학적 구조체 인식 및 라벨링 모듈(130)은 인식된 해부학적 구조체들이 이미지들 내에서 이리저리 이동함에 따라 이미지들 내에서 라벨들을 동적으로 재포지셔닝시킬 수 있다.
추가적으로, 일부 실시예들에서, 해부학적 구조체 인식 및 라벨링 모듈(130)의 출력들은 획득된 초음파 이미지 데이터의 비디오 스트림들에서 시간적으로 평활화된다. 예를 들어, 해부학적 구조체 인식 및 라벨링 모듈(130)에 의한 분석 결과들(예컨대, 해부학적 구조의 인식 및 라벨링)은 원형 버퍼에 저장될 수 있다. 일부 실시예들에서, 디스플레이되는 결과들(예컨대, 해부학적 구조체의 인식 및 라벨링)은 버퍼 내의 결과들의 기하학적 평균의 계산을 나타낸다. 이러한 방식으로, 해부학적 구조체들의 인식 및 라벨링에서 행해진 결정들(해부학적 구조체들의 존재 및/또는 포지션)에서의 이상치(outlier)들의 영향이 약화될 수 있고, 이미지들에서의 디스플레이된 라벨들의 이동이 평활화되어, 프로브(118)의 이동, 해부학적 구조체들의 이동(예컨대, 심장의 수축/확장) 등으로 인한 지터 또는 유사한 효과들을 감소시킬 수 있다.
일부 실시예들에서, 인식된 해부학적 구조체들과 연관될 수 있는 라벨들은 획득된 초음파 이미지들의 뷰에 기초하여 제한될 수 있다. 예를 들어, 일부 실시예들에서, 해부학적 구조체 인식 및 라벨링 모듈(130)은 획득된 초음파 이미지들에 나타내진 해부학적 구조체들을 인식할 수 있을 뿐만 아니라, 초음파 이미지들이 획득되는 뷰(예컨대, 정단-LV, 흉골연 긴-LV, 흉골연 긴-LV)를 추가로 인식할 수 있다. 본 명세서에서 앞서 기술된 바와 같이, 해부학적 구조체들은 여러가지 상이한 초음파 이미징 뷰들에서 매우 상이한 것으로 보일 수 있다. 여러가지 상이한 뷰들에서의 해부학적 구조체들은, 예를 들어 해부학적 구조체 인식 및 라벨링 모듈(130)에 의해, 인식을 위한 별개의 클래스들로서 취급될 수 있다. 따라서, 해부학적 구조체 인식 및 라벨링 모듈(130)에 의해 생성된 출력은 초음파 이미지들의 뷰에 따라, 인식된 해부학적 구조체들에 첨부되거나 달리 연관될 수 있는 라벨들의 관점에서 제한될 수 있다. 일부 실시예들에서, 일단 특정 해부학적 구조의 특정 뷰가 결정되었다면, 해부학적 구조체 인식 및 라벨링 모듈(130)은 인식된 해부학적 구조체와 연관시킬 라벨들을 결정할 수 있고, 결정된 라벨들은 해부학적 구조체의 특정 뷰와 연관되는 라벨들의 특정 세트 내의 라벨들로 제한될 수 있다.
도 6a 및 도 6b는 초음파 이미지 등급화 모듈(140)에 의해, 초음파 이미지들과 자동으로 연관되는 이미지 등급들을 포함하는 초음파 이미지들을 예시하는 도면들이다.
도 6a는, 일부 실시예들에서 저품질 이미지를 나타낼 수 있는 "1"의 이미지 품질로서 자동으로 등급화된 초음파 이미지(601)를 도시한다. 일부 실시예들에서, 본 명세서에서 이전에 논의된 바와 같이, 수신된 초음파 이미지들을 등급화할 시에 초음파 이미지 등급화 모듈(140)에 의해 ACEP 등급화 주해(표 1 참조)와 같은 표준 등급화 시스템이 활용되거나 구현될 수 있다. 초음파 이미지(601)에 묘사된 "1"의 이미지 품질은, 인식가능한 구조체들이 없고 목적 데이터가 수집될 수 없는 초음파 이미지를 나타낼 수 있는데, 이는 ACEP 이미지 품질 등급화 주해에서 1의 등급 또는 점수에 대한 표준과 일치한다. 일부 실시예들에서, 초음파 이미지 등급화 모듈(140)은 등급화된 초음파 이미지에 자동으로 결정된 등급을 주석첨부하도록 구성된다. 예를 들어, 도 6a에 도시된 바와 같이, 초음파 이미지(601)는 초음파 이미지 등급화 모듈(140)에 의해 결정된 바와 같이 초음파 이미지(601)의 이미지 등급을 나타내는 라벨 "1"을 포함한다. 예를 들어, 숫자들, 텍스트 설명, 색상들(예컨대, 적색 색상은 불량한 이미지 품질을 나타낼 수 있고; 녹색 색상은 양호한 이미지 품질을 나타낼 수 있음) 등을 포함하는, 임의의 적합한 식별 정보가 초음파 이미지들의 결정된 이미지 등급을 디스플레이하기 위해 활용될 수 있다.
도 6b는, 일부 실시예들에서 중간 품질 이미지를 나타낼 수 있는 "3"의 이미지 품질로서 자동으로 등급화된 초음파 이미지(602)를 도시한다. 일부 실시예들에서, 본 명세서에서 이전에 논의된 바와 같이, 수신된 초음파 이미지들을 등급화할 시에 초음파 이미지 등급화 모듈(140)에 의해 ACEP 등급화 주해(표 1 참조)와 같은 표준 등급화 시스템이 활용되거나 구현될 수 있다. 초음파 이미지(601)에 묘사된 "3"의 이미지 품질은, 진단을 위한 초음파 이미지의 적합성에 대한 최소 기준이 충족되고, 구조체들이 인식가능하지만 일부 기술적 또는 다른 결함들을 갖는 초음파 이미지를 나타낼 수 있는데, 이는 ACEP 이미지 품질 등급화 주해에서 3의 등급 또는 점수에 대한 표준과 일치한다.
일부 실시예들에서, 사용자는 디스플레이된 이미지 품질 등급들의 사용을 통해 양호한 품질의 초음파 이미지의 획득을 향해 (그리고 일부 실시예들에서는, 임상적으로 바람직한 뷰를 나타내는 이미지의 획득을 향해) 가이드될 수 있다. 예를 들어, 초음파 이미지가 "1"의 이미지 품질로서 디스플레이될 때, 사용자는 프로브를 천천히 이동시키거나 재포지셔닝시킬 수 있거나, 프로브의 이미징 파라미터들(예컨대, 깊이, 이득 등)을 조정할 수 있거나, 등을 할 수 있다. 사용자가 프로브를 조정함에 따라, 이미지들의 품질이 증가할 수 있는데, 이는 사용자가 더 높은 품질의 이미지들에 접근하고 있음을 나타내는, 사용자에게로의 피드백으로서 사용된다.
기계 학습 회로부(105)(초음파 이미지 인식 모듈(120), 해부학적 구조체 인식 및 라벨링 모듈(130), 및 초음파 이미지 등급화 모듈(140)을 포함함)가 본 명세서에서 초음파 이미징 디바이스(110)와는 별개이고 통신 네트워크(102)를 통해 액세스가능한 것으로 기술되었지만, 기계 학습 회로부(105)는 초음파 이미징 디바이스(110) 내에 포함될 수 있다는 것이 쉽게 인식될 것이다. 즉, 기계 학습 회로부(105)(초음파 이미지 인식 모듈(120), 해부학적 구조체 인식 및 라벨링 모듈(130), 및 초음파 이미지 등급화 모듈(140)을 포함함)는 초음파 이미징 디바이스(110) 내에 포함될 수 있고, 예를 들어 메모리(114)에 저장될 수 있으며, 기계 학습 회로부(105)의 특징부들 및/또는 기능은 프로세서(116)에 의해 실행되거나 달리 구현될 수 있다.
일부 실시예들에서, 초음파 이미지 인식 모듈(120), 해부학적 구조체 인식 및 라벨링 모듈(130), 및 초음파 이미지 등급화 모듈(140) 중 하나 이상은 모바일 디바이스 상에서의 실시간 성능을 위해 최적화되는 단일 신경망에 의해 구현될 수 있다. 예를 들어, 초음파 이미지 인식 모듈(120), 해부학적 구조체 인식 및 라벨링 모듈(130), 및 초음파 이미지 등급화 모듈(140) 중 하나 이상은 초음파 이미징 디바이스(110)에 의해 실행되거나 그에 저장되는 단일 신경망에 의해 구현될 수 있고, 초음파 이미징 디바이스(110)는 랩톱 또는 태블릿 컴퓨터, 스마트폰 등과 같은 모바일 디바이스일 수 있다.
일부 실시예들에서, 해부학적 구조체 인식 및 라벨링 모듈(130)은, 일정 시간 구간 내에 해부학적 구조체들이 수신된 초음파 이미지들의 각각의 수신된 초음파 이미지 내에서 인식되어, 실시간 초음파 이미징 동안 다음 초음파 이미지가 이용가능해지기(예컨대, 해부학적 구조체 인식 및 라벨링 모듈에 의한 프로세싱을 위해 수신되고 이용가능해짐) 전에 수신된 초음파 이미지의 프로세싱이 완료되도록 하는 추론 시간을 가질 수 있다. 일부 실시예들에서, 해부학적 구조체 인식 및 라벨링 모듈(130)은, 초음파 이미지 정보의 획득의 수신 후 25 밀리초 이내에, 해부학적 구조체들을 인식(예컨대, 객체 검출)할 뿐만 아니라, 특정 초음파 이미징 뷰를 인식(예컨대, 뷰 분류)하도록 구성될 수 있다. 그러나, 본 명세서에 제공된 실시예들은 이들로 제한되지 않으며, 일부 실시예들에서, 해부학적 구조체 인식 및 라벨링 모듈(130)은 25 밀리초 미만 또는 초과인 시간에 초음파 이미지들에서의 해부학적 구조체들 및 초음파 이미징 뷰를 인식하도록 구성된다.
본 출원은 2019년 9월 12일자로 출원된 미국 가출원 제62/899,554호에 대한 우선권의 이익을 주장하며, 이 출원은 이로써 전체가 참고로 포함된다.
전술된 다양한 실시예들이 추가 실시예들을 제공하도록 조합될 수 있다. 전술된 설명에 비추어 실시예들에 대해 이들 및 다른 변경들이 이루어질 수 있다. 일반적으로, 다음의 청구범위에서, 사용되는 용어들은 청구범위를 명세서 및 청구범위에 개시된 특정 실시예들로 제한하는 것으로 해석되어서는 안 되며, 그러한 청구범위의 자격이 주어지는 등가물들의 전체 범주와 함께 모든 가능한 실시예들을 포함하는 것으로 해석되어야 한다. 따라서, 청구범위는 본 발명에 의해 제한되지 않는다.

Claims (20)

  1. 초음파 시스템으로서,
    환자의 초음파 이미지들을 획득하도록 구성된 초음파 이미징 디바이스; 및
    해부학적 구조체 인식 및 라벨링 회로부;
    를 포함하고, 그리고
    상기 해부학적 구조체 인식 및 라벨링 회로부는, 상기 초음파 이미징 디바이스로부터 상기 획득된 초음파 이미지들을 수신하도록 구성되고, 상기 수신된 초음파 이미지들에서 하나 이상의 해부학적 구조체들을 자동으로 인식하도록 구성되고, 그리고 상기 하나 이상의 해부학적 구조체들을 식별하는 정보를 사용하여 상기 획득된 초음파 이미지들 내의 상기 하나 이상의 해부학적 구조체들을 자동으로 라벨링하도록 구성되고,
    상기 초음파 이미징 디바이스는, 상기 획득된 초음파 이미지들 및 상기 라벨링된 하나 이상의 해부학적 구조체들을 디스플레이하도록 구성된 디스플레이를 포함하는,
    초음파 시스템.
  2. 제1항에 있어서,
    상기 초음파 이미징 디바이스는,
    상기 하나 이상의 해부학적 구조체들의 포지션들에 대응하는 상기 디스플레이된 초음파 이미지들 내 포지션들에서의 상기 하나 이상의 해부학적 구조체들을 식별하는 상기 정보를 디스플레이하도록 구성되는,
    초음파 시스템.
  3. 제1항에 있어서,
    상기 해부학적 구조체 인식 및 라벨링 회로부는,
    상기 수신된 초음파 이미지들의 뷰를 자동으로 인식하도록 추가로 구성되고,
    상기 해부학적 구조체 인식 및 라벨링 회로부는,
    상기 인식된 뷰와 연관된 라벨들의 그룹으로부터의 라벨의 선택에 기초하여 상기 하나 이상의 해부학적 구조체들을 자동으로 라벨링하도록 구성되는,
    초음파 시스템.
  4. 제3항에 있어서,
    상기 해부학적 구조체 인식 및 라벨링 회로부는,
    상기 수신된 초음파 이미지들에서 상기 하나 이상의 해부학적 구조체들을 자동으로 인식하도록 구성되고, 그리고
    상기 초음파 이미지들 중 다음 초음파 이미지가 상기 초음파 이미징 디바이스로부터 수신되기 전에 상기 수신된 초음파 이미지들 중 각각의 수신된 초음파 이미지의 뷰를 자동으로 인식하도록 구성되는,
    초음파 시스템.
  5. 제1항에 있어서,
    상기 해부학적 구조체 인식 및 라벨링 회로부는,
    복수의 순차적으로 획득된 초음파 이미지들 각각에서 상기 하나 이상의 해부학적 구조체들에 대한 복수의 라벨들을 결정하도록 추가로 구성되고 그리고
    상기 복수의 라벨들의 결정된 특성의 평균화에 기초하여 상기 이미지들 내의 상기 하나 이상의 해부학적 구조체들을 자동으로 라벨링하도록 추가로 구성되는,
    초음파 시스템.
  6. 제1항에 있어서,
    초음파 이미지 등급화 회로부;
    를 더 포함하고, 그리고
    상기 초음파 이미지 등급화 회로부는,
    상기 초음파 이미징 디바이스로부터 상기 획득된 초음파 이미지들을 수신하도록 구성되고, 그리고
    상기 수신된 초음파 이미지들의 이미지 품질을 자동으로 등급화하도록 구성되는,
    초음파 시스템.
  7. 제6항에 있어서,
    상기 디스플레이는 상기 수신된 초음파 이미지들의 이미지 품질 등급의 표시를 디스플레이하도록 구성되는,
    초음파 시스템.
  8. 제7항에 있어서,
    상기 이미지 품질 등급의 표시는,
    상기 이미지 품질 등급을 나타내는 숫자, 상기 이미지 품질 등급을 나타내는 텍스트 설명, 또는 상기 이미지 품질 등급을 나타내는 색상 중 적어도 하나를 포함하는,
    초음파 시스템.
  9. 제7항에 있어서,
    상기 이미지 품질 등급의 표시는 1 내지 5의 정수인,
    초음파 시스템.
  10. 제6항에 있어서,
    상기 초음파 이미지 등급화 회로부는,
    상기 등급화된 이미지 품질에 기초하여 사용자에게 피드백을 제공하도록 추가로 구성되고, 그리고
    상기 피드백은, 상기 하나 이상의 해부학적 구조체들의 선택된 뷰를 획득하는 것을 향해 상기 사용자를 가이드하도록 구성되는,
    초음파 시스템.
  11. 제6항에 있어서,
    상기 초음파 이미지 등급화 회로부는,
    적어도 하나의 인공 신경망을 포함하는 기계 학습 회로부에 의해 적어도 부분적으로 구현되는,
    초음파 시스템.
  12. 제1항에 있어서,
    상기 해부학적 구조체 인식 및 라벨링 회로부는,
    적어도 하나의 인공 신경망을 포함하는 기계 학습 회로부에 의해 적어도 부분적으로 구현되는,
    초음파 시스템.
  13. 방법으로서,
    해부학적 구조체 인식 및 라벨링 회로부에 의해, 초음파 이미징 디바이스에 의해 획득된 초음파 이미지들을 수신하는 단계;
    상기 해부학적 구조체 인식 및 라벨링 회로부에 의해, 상기 수신된 초음파 이미지들 내의 하나 이상의 해부학적 구조체들을 자동으로 인식하는 단계;
    상기 해부학적 구조체 인식 및 라벨링 회로부에 의해, 상기 하나 이상의 해부학적 구조체들을 식별하는 정보를 사용하여 상기 획득된 초음파 이미지들 내의 상기 하나 이상의 해부학적 구조체들을 자동으로 라벨링하는 단계; 및
    상기 획득된 초음파 이미지들 및 상기 라벨링된 하나 이상의 해부학적 구조체들을 디스플레이하는 단계;
    를 포함하는,
    방법.
  14. 제13항에 있어서,
    상기 획득된 초음파 이미지들 및 상기 라벨링된 하나 이상의 해부학적 구조체들을 디스플레이하는 단계는,
    상기 하나 이상의 해부학적 구조체들의 포지션들에 대응하는 상기 디스플레이된 초음파 이미지들 내의 포지션들에서의 상기 하나 이상의 해부학적 구조체들을 식별하는 상기 정보를 디스플레이하는 단계;
    를 포함하는,
    방법.
  15. 제13항에 있어서,
    상기 해부학적 구조체 인식 및 라벨링 회로부에 의해, 상기 수신된 초음파 이미지들의 뷰를 자동으로 인식하는 단계;
    를 더 포함하고, 그리고
    상기 자동으로 라벨링하는 단계는,
    상기 인식된 뷰와 연관된 라벨들의 그룹으로부터의 라벨의 선택에 기초하여 상기 하나 이상의 해부학적 구조체들을 자동으로 라벨링하는 단계;
    를 포함하는,
    방법.
  16. 제13항에 있어서,
    초음파 이미지 등급화 회로부에 의해, 상기 수신된 초음파 이미지들의 이미지 품질을 자동으로 등급화하는 단계;
    를 더 포함하는,
    방법.
  17. 제16항에 있어서,
    상기 수신된 초음파 이미지들의 상기 이미지 품질 등급의 표시를 디스플레이하는 단계;
    를 더 포함하는,
    방법.
  18. 초음파 시스템으로서,
    초음파 이미지 등급화 회로부 - 상기 초음파 이미지 등급화 회로부는, 초음파 이미징 디바이스로부터 획득된 초음파 이미지들을 수신하도록 구성되고 그리고 상기 수신된 초음파 이미지들의 이미지 품질을 자동으로 등급화하도록 구성됨 -; 및
    상기 획득된 초음파 이미지들 및 상기 이미지 품질 등급의 표시를 동시에 디스플레이하도록 구성된 디스플레이;
    를 포함하는,
    초음파 시스템.
  19. 제18항에 있어서,
    상기 이미지 품질 등급의 표시는 1 내지 5의 정수인,
    초음파 시스템.
  20. 제18항에 있어서,
    상기 초음파 이미지 등급화 회로부는,
    상기 등급화된 이미지 품질에 기초하여 상기 초음파 이미징 디바이스의 사용자에게 피드백을 제공하도록 추가로 구성되고,
    상기 피드백은, 하나 이상의 해부학적 구조체들의 선택된 뷰를 획득하는 것에 대해(toward) 상기 사용자를 가이드하도록 구성되는,
    초음파 시스템.
KR1020227011958A 2019-09-12 2020-09-11 자동화된 초음파 이미지 라벨링 및 품질 등급화를 위한 시스템들 및 방법들(systems and methods for automated ultrasound image labeling and quality grading) KR20220062596A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962899554P 2019-09-12 2019-09-12
US62/899,554 2019-09-12
PCT/US2020/050536 WO2021050976A1 (en) 2019-09-12 2020-09-11 Systems and methods for automated ultrasound image labeling and quality grading

Publications (1)

Publication Number Publication Date
KR20220062596A true KR20220062596A (ko) 2022-05-17

Family

ID=74866738

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227011958A KR20220062596A (ko) 2019-09-12 2020-09-11 자동화된 초음파 이미지 라벨링 및 품질 등급화를 위한 시스템들 및 방법들(systems and methods for automated ultrasound image labeling and quality grading)

Country Status (8)

Country Link
US (1) US20210077068A1 (ko)
EP (1) EP4028992A4 (ko)
JP (1) JP2022548011A (ko)
KR (1) KR20220062596A (ko)
CN (1) CN114554963A (ko)
AU (1) AU2020346911A1 (ko)
CA (1) CA3150534A1 (ko)
WO (1) WO2021050976A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11593933B2 (en) * 2020-03-16 2023-02-28 GE Precision Healthcare LLC Systems and methods for ultrasound image quality determination
TR202106462A2 (tr) * 2021-04-12 2021-07-26 Smart Alfa Teknoloji Sanayi Ve Ticaret Anonim Sirketi Deri̇n öğrenme, maki̇ne öğrenmesi̇, yapay zeka tekni̇kleri̇ i̇le i̇şaretlenen/skorlanan ultrasonografi̇ görüntüsünün uygunluğunun skorlanmasi amaciyla kullanilan bi̇r ci̇haz ve yöntem
JP2022179368A (ja) * 2021-05-19 2022-12-02 エヌビディア コーポレーション 機械学習を用いたスーパビジョンの拡張
US20230148991A1 (en) * 2021-11-18 2023-05-18 EchoNous, Inc. Automatically detecting and quantifying anatomical structures in an ultrasound image using a customized shape prior
US20240050069A1 (en) * 2022-08-10 2024-02-15 EchoNous, Inc. Systems and methods for automated ultrasound image recording based on quality scores

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7672491B2 (en) * 2004-03-23 2010-03-02 Siemens Medical Solutions Usa, Inc. Systems and methods providing automated decision support and medical imaging
US9208567B2 (en) * 2013-06-04 2015-12-08 Apple Inc. Object landmark detection in images
US10835213B2 (en) * 2014-09-11 2020-11-17 Koninklijke Philips N.V. Quality metric for multi-beat echocardiographic acquisitions for immediate user feedback
US10667786B2 (en) * 2015-01-06 2020-06-02 Koninklijke Philips N.V. Ultrasound imaging apparatus and method for segmenting anatomical objects
US20190021699A1 (en) * 2016-01-15 2019-01-24 Koninklijke Philips N.V. Automatic probe steering to clinical views using annotations in a fused image guidance system
US20180103912A1 (en) * 2016-10-19 2018-04-19 Koninklijke Philips N.V. Ultrasound system with deep learning network providing real time image identification
US20180247227A1 (en) * 2017-02-24 2018-08-30 Xtract Technologies Inc. Machine learning systems and methods for data augmentation
JP7149286B2 (ja) * 2017-03-24 2022-10-06 パイ メディカル イメージング ビー ヴイ 機械学習に基づいて血管閉塞を評価する方法およびシステム
WO2019084411A1 (en) * 2017-10-27 2019-05-02 Butterfly Network, Inc. QUALITY INDICATORS FOR COLLECTION AND AUTOMATED MEASUREMENT ON ULTRASONIC IMAGES
US10762637B2 (en) * 2017-10-27 2020-09-01 Siemens Healthcare Gmbh Vascular segmentation using fully convolutional and recurrent neural networks
US10910099B2 (en) * 2018-02-20 2021-02-02 Siemens Healthcare Gmbh Segmentation, landmark detection and view classification using multi-task learning
US20200245976A1 (en) * 2019-01-31 2020-08-06 Bay Labs, Inc. Retrospective image saving for ultrasound diagnostics

Also Published As

Publication number Publication date
US20210077068A1 (en) 2021-03-18
WO2021050976A1 (en) 2021-03-18
AU2020346911A1 (en) 2022-03-24
CA3150534A1 (en) 2021-03-18
CN114554963A (zh) 2022-05-27
EP4028992A1 (en) 2022-07-20
EP4028992A4 (en) 2023-10-04
JP2022548011A (ja) 2022-11-16

Similar Documents

Publication Publication Date Title
US20210272679A1 (en) Ultrasound image recognition systems and methods utilizing an artificial intelligence network
KR20220062596A (ko) 자동화된 초음파 이미지 라벨링 및 품질 등급화를 위한 시스템들 및 방법들(systems and methods for automated ultrasound image labeling and quality grading)
US11354791B2 (en) Methods and system for transforming medical images into different styled images with deep neural networks
CN106456078B (zh) 用于对血流储备分数的基于机器学习的评估的方法和系统
KR101908520B1 (ko) 메디컬 이미징에서 공간 및 시간 제약들을 이용하는 랜드마크 검출
TW201800057A (zh) 用於協助使用者操作超音波裝置的自動化影像獲取
US20210330285A1 (en) Systems and methods for automated physiological parameter estimation from ultrasound image sequences
US20210059758A1 (en) System and Method for Identification, Labeling, and Tracking of a Medical Instrument
US20190388057A1 (en) System and method to guide the positioning of a physiological sensor
CN115023188A (zh) 超声引导方法和系统
US11972584B2 (en) Tissue specific time gain compensation methods and systems