KR20190021344A - 초음파 디바이스를 작동하는 사용자를 보조하기 위한 자동화된 영상 취득 - Google Patents

초음파 디바이스를 작동하는 사용자를 보조하기 위한 자동화된 영상 취득 Download PDF

Info

Publication number
KR20190021344A
KR20190021344A KR1020197001667A KR20197001667A KR20190021344A KR 20190021344 A KR20190021344 A KR 20190021344A KR 1020197001667 A KR1020197001667 A KR 1020197001667A KR 20197001667 A KR20197001667 A KR 20197001667A KR 20190021344 A KR20190021344 A KR 20190021344A
Authority
KR
South Korea
Prior art keywords
ultrasound
ultrasound image
image
operator
subject
Prior art date
Application number
KR1020197001667A
Other languages
English (en)
Inventor
알렉스 로스버그
매튜 디 종게
지미 지아
다니엘 노우리
조나단 엠. 로스버그
마이칼 소프카
Original Assignee
버터플라이 네트워크, 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 버터플라이 네트워크, 인크. filed Critical 버터플라이 네트워크, 인크.
Publication of KR20190021344A publication Critical patent/KR20190021344A/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/54—Control of the diagnostic device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/02—Measuring pulse or heart rate
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/06—Measuring blood flow
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/06—Measuring blood flow
    • A61B8/065—Measuring blood flow to determine blood output from the heart
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0833—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
    • A61B8/085—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating body or organic structures, e.g. tumours, calculi, blood vessels, nodules
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4427—Device being portable or laptop-like
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/467—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
    • A61B8/469—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means for selection of a region of interest
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5207—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/58—Testing, adjusting or calibrating the diagnostic device
    • A61B8/585—Automatic set-up of the device
    • G06K9/00912—
    • G06K9/4628—
    • G06K9/6271—
    • G06K9/66—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19173—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/192—Recognition using electronic means using simultaneous comparisons or correlations of the image signals with a plurality of references
    • G06V30/194—References adjustable by an adaptive method, e.g. learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/60—Static or dynamic means for assisting the user to position a body part for biometric acquisition
    • G06V40/67—Static or dynamic means for assisting the user to position a body part for biometric acquisition by interactive indications to the user
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/378—Surgical systems with images on a monitor during operation using ultrasound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3937—Visible markers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0833—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0883—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of the heart
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42—Details of probe positioning or probe attachment to the patient
    • A61B8/4245—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient
    • A61B8/4263—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient using sensors not mounted on the probe, e.g. mounted on an external reference frame
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A61B8/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30048—Heart; Cardiac
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Cardiology (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Hematology (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physiology (AREA)
  • Vascular Medicine (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)

Abstract

본 명세서에서 설명되는 기술의 양태는 초음파 디바이스를 이용하도록 오퍼레이터를 안내하기 위한 기술에 관한 것이다. 따라서, 초음파 디바이스를 작동한 경험이 거의 없거나 전혀 없는 오퍼레이터가 의학적으로 적절한 초음파 영상을 캡처할 수 있고 및/또는 획득된 초음파 영상의 내용을 해석할 수 있다. 예를 들어, 본 명세서에 개시된 기술들 중 일부는 : 초음파 디바이스로 촬영할 피험자의 특정한 해부학적 뷰를 식별하거나, 특정한 해부학적 뷰를 포함하는 피험자의 초음파 영상을 캡처하도록 초음파 디바이스의 오퍼레이터를 안내하거나, 및/또는 캡처된 초음파 영상을 분석하여 피험자에 대한 의학적 정보를 식별하는데 이용될 수 있다.

Description

초음파 디바이스를 작동하는 사용자를 보조하기 위한 자동화된 영상 취득
관련 출원의 상호참조
본 출원은 다음과 같은 미국 가출원들 각각의 35 U.S.C. § 119(e)하의 혜택을 주장한다 : 2016년 6월 20일 출원된, 발명의 명칭이 "AUTOMATIC ACQUISITION ASSISTANCE AND REAL-TIME MEASUREMENT FOR ULTRASOUND IMAGING USING DEEP LEARNING"인, 미국 가출원 제62/352,382호, 2016년 9월 6일 출원된, 발명의 명칭이 "METHOD AND APPARATUS TO PROVIDE AUGMENTED REALITY GUIDED ULTRASOUND DETECTION"인, 미국 가출원 제62/384,187호, 2016년 9월 6일 출원된, 발명의 명칭이 "CLINICAL DIAGNOSTIC AND THERAPEUTIC DECISION SUPPORT USING PATIENT IMAGING DATA"인, 미국 가출원 제62/384,144호, 2016년 12월 15일 출원된, 발명의 명칭이 "INTEGRATING STATISTICAL PRIOR KNOWLEDGE INTO CONVOLUTIONAL NEURAL NETWORKS"인, 미국 가출원 제62/434,980호, 2017년 1월 11일 출원된, 발명의 명칭이 "METHOD AND APPARATUS TO PROVIDE AUGMENTED REALITY GUIDED ULTRASOUND DETECTION"인, 미국 가출원 제62/445,195호, 2017년 2월 2일 출원된, 발명의 명칭이 "METHOD AND APPARATUS TO PROVIDE AUGMENTED REALITY GUIDED ULTRASOUND DETECTION"인, 미국 가출원 제62/453,696호, 및 2017년 2월 24일 출원된, 발명의 명칭이 "TECHNIQUES FOR LANDMARK LOCALIZATION"인, 미국 가출원 제62/463,094호. 각각의 및 모든 식별된 출원의 개시내용은 그 전체적으로 참조로 본 명세서에 포함한다.
분야
대체로, 본 명세서에 설명된 기술의 양태는 초음파 시스템에 관한 것이다. 일부 양태는 초음파 디바이스를 이용하도록 오퍼레이터를 안내하기 위한 기술에 관한 것이다.
종래의 초음파 시스템은, 전형적으로 (병원 등의) 대형 의료 시설에서 이용되며 초음파 기술자 등의 이들 시스템에 경험이 있는 의료 전문가에 의해 운영되는 크고 복잡하며 값비싼 시스템이다. 초음파 기술자는 전형적으로 초음파 촬영 시스템을 적절하게 이용하는 방법을 배우기 위해 수년간의 실무 교육을 받는다. 예를 들어, 초음파 기술자는 다양한 해부학적 뷰에서 초음파 영상을 캡처하도록 피험자 상에서 초음파 디바이스를 적절하게 위치시키는 방법을 배울 수 있다. 또한, 초음파 기술자는 환자에 관한 의학적 정보를 추론하기 위해 캡처된 초음파 영상을 판독하는 방법을 배울 수 있다.
초음파 검사는 종종 피험자의 특정한 해부학적 구조물(예를 들어, 장기)의 뷰(view)를 포함하는 초음파 영상의 취득을 포함한다. 이들 초음파 영상의 취득은 전형적으로 상당한 기술을 요구한다. 예를 들어, 초음파 디바이스를 작동하는 초음파 기술자는, 촬영될 해부학적 구조물이 피험자 상에 위치해 있는 곳, 및 나아가, 해부학적 구조물의 의학적으로 적절한 초음파 영상을 캡처하도록 피험자 상에서 초음파 디바이스를 적절하게 위치시키는 방법을 알 필요가 있을 수 있다. 피험자에 관해 초음파 디바이스를 수 인치 너무 높거나 너무 낮게 유지하는 것은, 의학적으로 적절한 초음파 영상을 캡처하는 것과 의학적으로 부적절한 초음파 영상을 캡처하는 것 사이의 차이를 생성할 수 있다. 그 결과, 초음파 디바이스의 비전문 오퍼레이터는 피험자의 의학적으로 적절한 초음파 영상을 캡처하는데 상당한 어려움을 겪을 수 있다. 이러한 비전문 오퍼레이터에 의한 흔한 실수로는 : 잘못된 해부학적 구조물의 초음파 영상을 캡처하는 것 및 올바른 해부학적 구조물의 축소된 영상(또는 잘린) 초음파 영상을 캡처하는 것이 포함된다.
따라서, 본 개시내용은 의학적으로 적절한 초음파 영상을 캡처하도록 초음파 디바이스의 오퍼레이터를 안내하는 기술을 제공한다. 일부 실시예에서, 이들 기술은 컴퓨팅 디바이스(예를 들어, 모바일 스마트폰, 태블릿, 랩탑, 스마트 시계, 가상 현실(VR) 헤드셋, 증강 현실(AR) 헤드셋, 스마트 착용형 디바이스 등)에 설치될 수 있는 소프트웨어 애플리케이션(이하, "앱(App)")으로 구현될 수 있다. 앱은, 의학적으로 적절한 초음파 영상을 캡처하도록 피험자 상에서 초음파 디바이스를 적절하게 위치시키는 방법에 관한 실시간 안내를 오퍼레이터에게 제공할 수 있다. 예를 들어, 오퍼레이터는 초음파 디바이스를 피험자 상에 배치하고 피험자 상에서 초음파 디바이스를 이동시키는 방법에 관해 앱으로부터 피드백을 수신할 수 있다. 피드백은, 초음파 디바이스를 이동시킬 특정한 방향(예를 들어, 상, 하, 좌, 우, 시계 방향 회전, 또는 반시계 방향 회전)을 각각 포함하는 지침 시퀀스(sequence of instructions)일 수 있다. 이에 의해, 오퍼레이터는 이들 지침에 따라 의학적으로 적절한 초음파 영상을 용이하게 캡처할 수 있다.
일부 실시예에서, 앱은 딥 러닝(deep learning) 등의 최신 머신 학습 기술을 활용할 수 있다. 이들 실시예에서, 앱은, 오퍼레이터에게 제공할 지침을 생성하도록 구성된 훈련된 신경망 등의 훈련된 모델을 채용할 수 있다. 이 예에서, 훈련된 모델은 오퍼레이터에 의해 이용되는 초음파 디바이스에 의해 캡처된 초음파 영상을 수신할 수 있고, 출력으로서 오퍼레이터에게 제공할 지침을 제공할 수 있다. 이 모델은 주석부기된 초음파 영상의 데이터베이스를 이용하여 훈련될 수 있다. 각각의 초음파 영상에 대한 주석은, 예를 들어, 초음파 영상이 의학적으로 적절한 초음파 영상(예를 들어, 타겟 해부학적 평면의 초음파 영상)인지 의학적으로 부적절한 초음파 영상(예를 들어, 부적절하게 위치설정된 초음파 디바이스에 의해 캡처된 초음파 영상)인지의 표시를 포함할 수 있다. 초음파 영상이 의학적으로 부적절하다면, 주석은, 캡처된 초음파 영상을 의학적으로 부적절하도록 야기한 초음파 디바이스의 위치설정과 연관된 에러의 표시(예를 들어, 너무 높거나, 너무 낮거나, 너무 시계 방향이거나, 너무 반시계방향이거나, 너무 좌측이거나, 너무 우측임)를 더 포함할 수 있다. 이로써, 훈련된 모델은 이들 의학적으로 부적절한 영상을 인식하고, 의학적으로 적절한 초음파 영상을 캡처하도록 오퍼레이터가 초음파 디바이스를 어떻게 재위치시켜야하는지에 관한 지침을 생성할 수 있다.
일부 실시예에서, 적어도 하나의 프로세서를 포함하는 컴퓨팅 디바이스를 포함하는 장치가 제공된다. 적어도 하나의 프로세서는 : 초음파 디바이스에 의해 캡처된 피험자의 초음파 영상을 획득하고; 자동화된 영상 처리 기술을 이용하여, 초음파 영상이 타겟 해부학적 뷰를 포함하는지를 결정하며; 초음파 영상이 타겟 해부학적 뷰를 포함하지 않는다는 결정에 응답하여, 타겟 해부학적 뷰를 포함하는 피험자의 초음파 영상을 캡처하는 것을 촉진하기 위해 초음파 디바이스를 재위치시키는 방법을 나타내는 적어도 하나의 지침을 초음파 디바이스의 오퍼레이터에게 제공하고; 초음파 영상이 타겟 해부학적 뷰를 포함한다는 결정에 응답하여, 초음파 디바이스가 적절히 위치설정되어 있다는 표시를 오퍼레이터에게 제공하도록 구성된다.
일부 실시예에서, 이 장치는, 컴퓨팅 디바이스에 결합되고 적어도 하나의 지침을 오퍼레이터에게 디스플레이하도록 구성된 디스플레이를 더 포함한다. 일부 실시예에서, 디스플레이는 컴퓨팅 디바이스와 통합된다.
일부 실시예에서, 컴퓨팅 디바이스는, 적어도 부분적으로, 딥 러닝 기술을 이용하여 초음파 영상을 분석함으로써 초음파 영상이 타겟 해부학적 뷰를 포함하는지를 결정하도록 구성된다. 일부 실시예에서, 컴퓨팅 디바이스는, 적어도 부분적으로, 다층 신경망(multi-layer neural network)에 대한 입력으로서 초음파 영상을 제공함으로써 초음파 영상이 타겟 해부학적 뷰를 포함하는지를 결정하도록 구성된다. 일부 실시예에서, 컴퓨팅 디바이스는, 적어도 부분적으로, 초음파 영상에 포함된 해부학적 뷰를 나타내는 출력을 획득하기 위해 다층 신경망을 이용함으로써 초음파 영상이 타겟 해부학적 뷰를 포함하는지를 결정하도록 구성된다. 일부 실시예에서, 컴퓨팅 디바이스는, 적어도 부분적으로, 풀링 계층(pooling layer), ReLU 계층(rectified linear unit layer), 콘볼루션 계층, 조밀 계층(dense layer), 패드 계층(pad layer), 연결 계층(concatenate layer), 및 업스케일 계층(upscale layer)으로 구성된 그룹으로부터 선택된 적어도 하나의 계층을 포함하는 다층 신경망을 이용하여 초음파 영상을 분석함으로써 초음파 영상이 타겟 해부학적 뷰를 포함하는지를 결정하도록 구성된다.
일부 실시예에서, 컴퓨팅 디바이스는, 적어도 부분적으로 : 자동화된 영상 처리 기술을 이용하여 초음파 영상에 포함된 해부학적 뷰를 식별하고; 및 초음파 영상에 포함된 해부학적 뷰가 타겟 해부학적 뷰와 정합하는지를 결정함으로써 초음파 영상이 타겟 해부학적 뷰를 포함하는지를 결정하도록 구성된다. 일부 실시예에서, 컴퓨팅 디바이스는, 초음파 영상에 포함된 해부학적 뷰가 타겟 해부학적 뷰와 정합하지 않는다는 결정에 응답하여, 초음파 영상에 포함된 해부학적 뷰를 이용하여 적어도 하나의 지침을 생성하도록 구성된다.
일부 실시예에서, 컴퓨팅 디바이스는, 적어도 부분적으로, 병진 방향 및/또는 회전 방향으로 초음파 디바이스를 이동시키라는 지침을 제공함으로써 적어도 하나의 지침을 제공하도록 구성된다. 일부 실시예에서, 컴퓨팅 디바이스는, 적어도 부분적으로, 적어도 하나의 지침을 피험자에게 제공함으로써 적어도 하나의 지침을 오퍼레이터에게 제공하도록 구성된다.
일부 실시예에서, 적어도 하나의 프로세서를 포함하는 적어도 하나의 컴퓨팅 디바이스를 이용하여 : 초음파 디바이스에 의해 캡처된 피험자의 초음파 영상을 획득하는 단계; 자동화된 영상 처리 기술을 이용하여, 초음파 영상이 타겟 해부학적 뷰를 포함하는지를 결정하는 단계; 초음파 영상이 타겟 해부학적 뷰를 포함하지 않는다는 결정에 응답하여, 타겟 해부학적 뷰를 포함하는 피험자의 초음파 영상을 캡처하는 것을 촉진하기 위해 초음파 디바이스를 재위치시키는 방법을 나타내는 적어도 하나의 지침을 초음파 디바이스의 오퍼레이터에게 제공하는 단계; 및 초음파 영상이 타겟 해부학적 뷰를 포함한다는 결정에 응답하여, 초음파 디바이스가 적절히 위치설정되어 있다는 표시를 오퍼레이터에게 제공하는 단계를 수행하는 것을 포함하는 방법이 제공된다.
일부 실시예에서, 초음파 영상이 타겟 해부학적 뷰를 포함하는지를 결정하는 단계는 딥 러닝 기술을 이용하여 초음파 영상을 분석하는 단계를 포함한다. 일부 실시예에서, 초음파 영상이 타겟 해부학적 뷰를 포함하는지를 결정하는 단계는 다층 신경망에 대한 입력으로서 초음파 영상을 제공하는 단계를 포함한다. 일부 실시예에서, 초음파 영상이 타겟 해부학적 뷰를 포함하는지를 결정하는 단계는 초음파 영상에 포함된 해부학적 뷰를 나타내는 출력을 획득하기 위해 다층 신경망을 이용하는 단계를 포함한다. 일부 실시예에서, 초음파 영상이 타겟 해부학적 뷰를 포함하는지를 결정하는 단계는, 풀링 계층, ReLU 계층, 콘볼루션 계층, 조밀 계층, 패드 계층, 연결 계층, 및 업스케일 계층으로 구성된 그룹으로부터 선택된 적어도 하나의 계층을 포함하는 다층 신경망을 이용하여 초음파 영상을 분석하는 단계를 포함한다.
일부 실시예에서, 초음파 영상이 타겟 해부학적 뷰를 포함하는지를 결정하는 단계는, 자동화된 영상 처리 기술을 이용하여 초음파 영상에 포함된 해부학적 뷰를 식별하는 단계; 및 초음파 영상에 포함된 해부학적 뷰가 타겟 해부학적 뷰와 정합하는지를 결정하는 단계를 포함한다. 일부 실시예에서, 이 방법은, 초음파 영상에 포함된 해부학적 뷰가 타겟 해부학적 뷰와 정합하지 않는다는 결정에 응답하여, 초음파 영상에 포함된 해부학적 뷰를 이용하여 적어도 하나의 지침을 생성하는 단계를 더 포함한다.
일부 실시예에서, 적어도 하나의 지침을 제공하는 단계는, 병진 방향 및/또는 회전 방향으로 초음파 디바이스를 이동시키라는 지침을 제공하는 단계를 포함한다. 일부 실시예에서, 적어도 하나의 지침을 오퍼레이터에게 제공하는 단계는, 적어도 하나의 지침을 피험자에게 제공하는 단계를 포함한다.
일부 실시예에서, 피험자의 초음파 영상을 캡처하도록 구성된 초음파 디바이스; 및 초음파 디바이스에 통신가능하게 결합된 컴퓨팅 디바이스를 포함하는 시스템이 제공된다. 컴퓨팅 디바이스는 : 초음파 디바이스에 의해 캡처된 피험자의 초음파 영상을 획득하고; 자동화된 영상 처리 기술을 이용하여, 초음파 영상이 타겟 해부학적 뷰를 포함하는지를 결정하며; 초음파 영상이 타겟 해부학적 뷰를 포함하지 않는다는 결정에 응답하여, 타겟 해부학적 뷰를 포함하는 피험자의 초음파 영상을 캡처하도록 초음파 디바이스를 재위치시키는 방법을 나타내는 적어도 하나의 지침을 초음파 디바이스의 오퍼레이터에게 제공하고; 초음파 영상이 타겟 해부학적 뷰를 포함한다는 결정에 응답하여, 초음파 디바이스가 적절히 위치설정되어 있다는 표시를 오퍼레이터에게 제공하도록 구성된다.
일부 실시예에서, 초음파 디바이스는 복수의 초음파 트랜스듀서를 포함한다. 일부 실시예에서, 복수의 초음파 트랜스듀서는, 용량식 미세가공 초음파 트랜스듀서(CMUT), CMOS 초음파 트랜스듀서(CUT), 및 압전식 미세가공 초음파 트랜스듀서(PMUT)로 구성된 그룹으로부터 선택된 초음파 트랜스듀서를 포함한다.
일부 실시예에서, 컴퓨팅 디바이스는 모바일 스마트폰 또는 태블릿이다. 일부 실시예에서, 컴퓨팅 디바이스는, 적어도 부분적으로, 딥 러닝 기술을 이용하여 초음파 영상을 분석함으로써 초음파 영상이 타겟 해부학적 뷰를 포함하는지를 결정하도록 구성된다. 일부 실시예에서, 컴퓨팅 디바이스는, 적어도 부분적으로, 다층 신경망에 대한 입력으로서 초음파 영상을 제공함으로써 초음파 영상이 타겟 해부학적 뷰를 포함하는지를 결정하도록 구성된다. 일부 실시예에서, 컴퓨팅 디바이스는, 적어도 부분적으로, 초음파 영상에 포함된 해부학적 뷰를 나타내는 출력을 획득하기 위해 다층 콘볼루션 신경망을 이용함으로써 초음파 영상이 타겟 해부학적 뷰를 포함하는지를 결정하도록 구성된다.
일부 실시예에서, 컴퓨팅 디바이스는, 적어도 부분적으로, 자동화된 영상 처리 기술을 이용하여 초음파 영상에 포함된 해부학적 뷰를 식별하고; 및 초음파 영상에 포함된 해부학적 뷰가 타겟 해부학적 뷰와 정합하는지를 결정함으로써 초음파 영상이 타겟 해부학적 뷰를 포함하는지를 결정하도록 구성된다. 일부 실시예에서, 컴퓨팅 디바이스는, 초음파 영상에 포함된 해부학적 뷰가 타겟 해부학적 뷰와 정합하지 않는다는 결정에 응답하여, 초음파 영상에 포함된 해부학적 뷰를 이용하여 적어도 하나의 지침을 생성하도록 구성된다.
일부 실시예에서, 프로세서-실행가능한 명령어들을 저장하는 적어도 하나의 비일시적인 컴퓨터-판독가능한 저장 매체가 제공된다. 프로세서-실행가능한 명령어들은, 적어도 하나의 프로세서에 의해 실행될 때, 적어도 하나의 프로세서로 하여금 : 초음파 디바이스에 의해 캡처된 피험자의 초음파 영상을 획득하게 하고; 자동화된 영상 처리 기술을 이용하여, 초음파 영상이 타겟 해부학적 뷰를 포함하는지를 결정하게 하며; 초음파 영상이 타겟 해부학적 뷰를 포함하지 않는다는 결정에 응답하여, 타겟 해부학적 뷰를 포함하는 피험자의 초음파 영상을 캡처하는 것을 촉진하기 위해 초음파 디바이스를 재위치시키는 방법을 나타내는 적어도 하나의 지침을 초음파 디바이스의 오퍼레이터에게 제공하게 하고; 초음파 영상이 타겟 해부학적 뷰를 포함한다는 결정에 응답하여, 초음파 디바이스가 적절히 위치설정되어 있다는 표시를 오퍼레이터에게 제공하게 한다.
일부 실시예에서, 적어도 하나의 프로세서를 포함하는 초음파 안내 장치가 제공된다. 적어도 하나의 프로세서는 또 다른 초음파 영상의 분석에 기초하여 피험자의 타겟 해부학적 뷰를 포함하는 초음파 영상의 캡처를 안내하도록 구성된다.
일부 실시예에서, 적어도 하나의 프로세서는, 적어도 부분적으로, 타겟 해부학적 뷰를 포함하는 초음파 영상을 캡처하도록 초음파 디바이스의 오퍼레이터를 안내하는 방법에 대한 안내 계획(guidance plan)을 생성함으로써 초음파 영상의 캡처를 안내하도록 구성된다. 일부 실시예에서, 적어도 하나의 프로세서는, 적어도 부분적으로, 생성된 안내 계획에 기초하여 적어도 하나의 지침을 오퍼레이터에게 제공함으로써 초음파 영상의 캡처를 안내하도록 구성된다. 일부 실시예에서, 이 장치는, 적어도 하나의 프로세서에 결합되고 적어도 하나의 지침을 오퍼레이터에게 디스플레이하도록 구성된 디스플레이를 더 포함한다. 일부 실시예에서, 디스플레이 및 적어도 하나의 프로세서는 컴퓨팅 디바이스에 통합된다. 일부 실시예에서, 적어도 하나의 프로세서는, 적어도 부분적으로, 딥 러닝 기술을 이용하여 다른 초음파 영상에 포함된 해부학적 뷰를 식별함으로써 초음파 영상의 캡처를 안내하도록 구성된다. 일부 실시예에서, 적어도 하나의 프로세서는, 적어도 부분적으로, 식별된 해부학적 뷰를 이용하여 초음파 디바이스를 이동시킬 방향을 식별함으로써 초음파 영상의 캡처를 안내하도록 구성된다. 일부 실시예에서, 적어도 하나의 프로세서는, 적어도 부분적으로, 다른 초음파 영상이 피험자의 타겟 영역 내의 피험자의 해부학적 뷰를 포함하는지를 결정함으로써 초음파 영상의 캡처를 안내하도록 구성된다. 일부 실시예에서, 적어도 하나의 프로세서는, 적어도 부분적으로, 다른 초음파 영상에 포함된 해부학적 뷰가 타겟 영역 밖에 있다는 결정에 응답하여, 초음파 디바이스가 피험자의 타겟 영역 내의 뷰들의 영상들을 획득할 수 있는 위치를 향하여 초음파 디바이스를 이동시키라는 지침을 오퍼레이터에게 제공함으로써 적어도 하나의 지침을 오퍼레이터에게 제공하도록 구성된다. 일부 실시예에서, 적어도 하나의 프로세서는, 적어도 부분적으로, 다른 초음파 영상에 포함된 해부학적 뷰가 타겟 영역 내에 있다는 결정에 응답하여, 초음파 디바이스가 타겟 해부학적 뷰의 영상을 획득할 수 있는 위치를 향하여 초음파 디바이스를 이동시키라는 지침을 오퍼레이터에게 제공함으로써 적어도 하나의 지침을 오퍼레이터에게 제공하도록 구성된다.
일부 실시예에서, 피험자의 초음파 영상을 캡처하도록 구성된 초음파 디바이스 및 적어도 하나의 프로세서를 포함하는 시스템이 제공된다. 적어도 하나의 프로세서는 초음파 디바이스에 의해 캡처된 초음파 영상의 분석에 기초하여 피험자의 타겟 해부학적 뷰를 포함하는 또 다른 초음파 영상의 캡처를 안내하도록 구성된다.
일부 실시예에서, 초음파 디바이스는, 용량식 미세가공 초음파 트랜스듀서(CMUT), CMOS 초음파 트랜스듀서(CUT), 및 압전식 미세가공 초음파 트랜스듀서(PMUT)로 구성된 그룹으로부터 선택된 초음파 트랜스듀서를 포함한다. 일부 실시예에서, 적어도 하나의 프로세서는 모바일 스마트폰 또는 태블릿에 통합된다.
일부 실시예에서, 적어도 하나의 프로세서는, 적어도 부분적으로 : 초음파 영상이 타겟 해부학적 뷰를 포함하는지를 결정하고; 초음파 영상이 타겟 해부학적 뷰를 포함하지 않는다는 결정에 응답하여, 초음파 영상을 이용하여, 타겟 해부학적 뷰를 포함하는 피험자의 초음파 영상을 캡처하도록 초음파 디바이스의 오퍼레이터를 안내하는 방법에 대한 안내 계획을 생성하며; 생성된 안내 계획에 기초하여 적어도 하나의 지침을 오퍼레이터에게 제공함으로써 캡처를 안내하도록 구성된다. 일부 실시예에서, 안내 계획은 초음파 디바이스를 타겟 위치로 이동시키도록 초음파 디바이스의 오퍼레이터를 안내하는 지침 시퀀스를 포함한다. 일부 실시예에서, 지침 시퀀스 내의 각각의 지침은 초음파 디바이스를 병진 또는 회전 방향으로 이동시키라는 지침이다. 일부 실시예에서, 적어도 하나의 프로세서는, 적어도 부분적으로, 초음파 영상이 피험자의 타겟 영역 내의 피험자의 해부학적 뷰를 포함하는지를 결정함으로써 안내 계획을 생성하도록 구성된다. 일부 실시예에서, 적어도 하나의 프로세서는, 적어도 부분적으로, 초음파 영상에 포함된 해부학적 뷰가 타겟 영역 내에 있지 않다는 결정에 응답하여, 초음파 디바이스가 피험자의 타겟 영역 내의 뷰들의 영상들을 획득할 수 있는 위치를 향하여 초음파 디바이스를 이동시키라는 지침을 오퍼레이터에게 제공함으로써 적어도 하나의 지침을 오퍼레이터에게 제공하도록 구성된다. 일부 실시예에서, 적어도 하나의 프로세서는, 적어도 부분적으로, 초음파 영상에 포함된 해부학적 뷰가 타겟 영역 내에 있다는 결정에 응답하여, 초음파 디바이스가 타겟 해부학적 뷰의 영상을 획득할 수 있는 위치를 향하여 초음파 디바이스를 이동시키라는 지침을 오퍼레이터에게 제공함으로써 적어도 하나의 지침을 오퍼레이터에게 제공하도록 구성된다.
일부 실시예에서, 방법이 제공된다. 이 방법은 적어도 하나의 프로세서를 포함하는 적어도 하나의 컴퓨팅 디바이스를 이용하여 : 초음파 디바이스에 의해 캡처된 피험자의 초음파 영상을 획득하는 단계; 초음파 영상이 타겟 해부학적 뷰를 포함하는지를 결정하는 단계; 초음파 영상이 타겟 해부학적 뷰를 포함하지 않는다는 결정에 응답하여 : 초음파 영상을 이용하여, 타겟 해부학적 뷰를 포함하는 피험자의 초음파 영상을 캡처하도록 초음파 디바이스의 오퍼레이터를 안내하는 방법에 대한 안내 계획을 생성하는 단계; 및 생성된 안내 계획에 기초하여 적어도 하나의 지침을 오퍼레이터에게 제공하는 단계를 수행하는 것을 포함한다.
일부 실시예에서, 안내 계획을 생성하는 단계는 자동화된 영상 처리 기술을 이용하여 초음파 영상에 포함된 해부학적 뷰를 식별하는 단계를 포함한다. 일부 실시예에서, 안내 계획을 생성하는 단계는, 식별된 해부학적 뷰를 이용하여, 초음파 디바이스를 이동시킬 방향을 식별하는 단계를 포함하고, 적어도 하나의 지침을 오퍼레이터에게 제공하는 단계는 초음파 디바이스를 식별된 방향으로 이동시키라는 지침을 오퍼레이터에게 제공하는 단계를 포함한다. 일부 실시예에서, 초음파 디바이스를 이동시킬 방향을 식별하는 단계는 초음파 디바이스를 이동시킬 병진 방향 또는 회전 방향을 식별하는 단계를 포함한다.
일부 실시예에서, 안내 계획을 생성하는 단계는 초음파 영상이 피험자의 타겟 영역 내의 피험자의 해부학적 뷰를 포함하는지를 결정하는 단계를 포함한다. 일부 실시예에서, 초음파 영상이 피험자의 타겟 영역 내의 피험자의 해부학적 뷰를 포함하는지를 결정하는 단계는 초음파 영상이 피험자의 몸통의 적어도 일부의 해부학적 뷰를 포함하는지를 결정하는 단계를 포함한다. 일부 실시예에서, 이 방법은, 초음파 영상에 포함된 해부학적 뷰가 타겟 영역 내에 있지 않다는 결정에 응답하여, 적어도 부분적으로, 초음파 디바이스가 피험자의 타겟 영역 내의 뷰들의 영상들을 획득할 수 있는 위치를 향하여 초음파 디바이스를 이동시키라는 지침을 오퍼레이터에게 제공함으로써 적어도 하나의 지침을 오퍼레이터에게 제공하는 단계를 더 포함한다. 일부 실시예에서, 위치를 향하여 초음파 디바이스를 이동시키라는 지침을 오퍼레이터에게 제공하는 단계는 타겟 영역이 위치해 있는 곳의 시각적 표시를 오퍼레이터에게 제공하는 단계를 포함한다. 일부 실시예에서, 이 방법은, 초음파 영상에 포함된 해부학적 뷰가 타겟 영역 내에 있다는 결정에 응답하여, 적어도 부분적으로, 초음파 디바이스가 타겟 해부학적 뷰의 영상을 획득할 수 있는 위치를 향하여 초음파 디바이스를 이동시키라는 지침을 오퍼레이터에게 제공함으로써 적어도 하나의 지침을 오퍼레이터에게 제공하는 단계를 더 포함한다. 일부 실시예에서, 위치를 향하여 초음파 디바이스를 이동시킬 것을 오퍼레이터에게 지시하는 지침을 오퍼레이터에게 제공하는 단계는 초음파 디바이스를 이동시킬 방향의 시각적 표시를 오퍼레이터에게 제공하는 단계를 포함한다.
일부 실시예에서, 프로세서-실행가능한 명령어들을 저장하는 적어도 하나의 비일시적인 컴퓨터-판독가능한 저장 매체가 제공된다. 프로세서-실행가능한 명령어들은, 적어도 하나의 프로세서에 의해 실행될 때, 적어도 하나의 프로세서로 하여금 : 초음파 디바이스에 의해 캡처된 피험자의 초음파 영상을 획득하게 하고; 초음파 영상이 타겟 해부학적 뷰를 포함하는지를 결정하게 하며; 초음파 영상이 타겟 해부학적 뷰를 포함하지 않는다는 결정에 응답하여, 초음파 영상을 이용하여, 타겟 해부학적 뷰를 포함하는 피험자의 초음파 영상을 캡처하도록 초음파 디바이스의 오퍼레이터를 안내하는 방법에 대한 안내 계획을 생성하게 하고; 생성된 안내 계획에 기초하여 적어도 하나의 지침을 오퍼레이터에게 제공하게 한다.
일부 실시예에서, 오퍼레이터에 의해 이용되는 초음파 디바이스의 영상을 획득하고; 초음파 디바이스의 획득된 영상을 이용하여, 타겟 해부학적 뷰를 포함하는 초음파 영상을 캡처하도록 오퍼레이터를 안내하는 증강 현실 인터페이스를 생성하도록 구성된 적어도 하나의 프로세서를 포함하는 초음파 안내 장치가 제공된다.
일부 실시예에서, 이 장치는, 적어도 하나의 프로세서에 결합되고 증강 현실 인터페이스를 오퍼레이터에게 디스플레이하도록 구성된 디스플레이를 더 포함한다. 일부 실시예에서, 디스플레이 및 적어도 하나의 프로세서는 컴퓨팅 디바이스에 통합된다.
일부 실시예에서, 적어도 하나의 프로세서는, 적어도 부분적으로, 오퍼레이터가 초음파 디바이스를 재위치시킬 방법을 나타내는 적어도 하나의 지침을 초음파 디바이스의 영상에 오버레이하여 합성 영상을 형성함으로써 증강 현실 인터페이스를 생성하도록 구성된다. 일부 실시예에서, 적어도 하나의 프로세서는, 적어도 부분적으로, 초음파 디바이스의 영상 내의 초음파 디바이스의 자세를 식별함으로써 증강 현실 인터페이스를 생성하도록 구성된다. 일부 실시예에서, 적어도 하나의 프로세서는, 적어도 부분적으로, 초음파 디바이스의 자세를 이용하여 적어도 하나의 지침을 초음파 디바이스의 영상에 오버레이함으로써 적어도 하나의 지침을 오버레이하도록 구성된다. 일부 실시예에서, 적어도 하나의 지침은 오퍼레이터가 초음파 디바이스를 이동시킬 방향을 나타내는 화살표를 포함한다.
일부 실시예에서, 적어도 하나의 프로세서는 초음파 디바이스에 의해 캡처된 초음파 영상을 획득하도록 구성된다. 일부 실시예에서, 적어도 하나의 프로세서는, 적어도 부분적으로, 초음파 디바이스의 영상 내의 초음파 디바이스의 위치를 식별함으로써 증강 현실 인터페이스를 생성하도록 구성된다. 일부 실시예에서, 적어도 하나의 프로세서는, 적어도 부분적으로, 초음파 디바이스의 위치를 이용하여 초음파 영상을 초음파 디바이스의 영상에 오버레이함으로써 증강 현실 인터페이스를 생성하도록 구성된다.
일부 실시예에서, 오퍼레이터에 의해 이용되는 초음파 디바이스의 영상 ―영상은 초음파 디바이스와는 상이한 촬영 디바이스에 의해 캡처됨―을 획득하는 단계; 적어도 부분적으로, 오퍼레이터가 초음파 디바이스를 재위치시킬 방법을 나타내는 적어도 하나의 지침을 초음파 디바이스의 영상에 오버레이함으로써 합성 영상을 생성하는 단계; 및 합성 영상을 오퍼레이터에게 프리젠팅하는 단계를 포함하는 방법이 제공된다.
일부 실시예에서, 이 방법은 초음파 디바이스의 영상 내의 초음파 디바이스의 자세를 식별하는 단계를 더 포함한다. 일부 실시예에서, 초음파 디바이스 상에는 마커가 배치되어 있고, 초음파 디바이스의 영상을 획득하는 단계는 마커의 영상을 획득하는 단계를 포함한다. 일부 실시예에서, 초음파 디바이스의 자세를 식별하는 단계는 초음파 디바이스의 영상 내의 마커의 위치를 식별하는 단계를 포함한다.
일부 실시예에서, 적어도 하나의 지침을 초음파 디바이스의 영상에 오버레이하는 단계는 초음파 디바이스의 자세를 이용하여 수행된다. 일부 실시예에서, 적어도 하나의 지침을 초음파 디바이스의 영상에 오버레이하는 단계는 초음파 디바이스의 영상 내의 초음파 디바이스의 적어도 일부 상에 화살표를 오버레이하는 단계를 포함하고, 화살표는 오퍼레이터가 초음파 디바이스를 이동시킬 방향을 나타낸다.
일부 실시예에서, 이 방법은 초음파 디바이스에 의해 캡처된 초음파 영상을 획득하는 단계를 더 포함한다. 일부 실시예에서, 합성 영상을 생성하는 단계는 초음파 디바이스에 의해 캡처된 초음파 영상을 초음파 디바이스의 영상에 오버레이하는 단계를 포함한다. 일부 실시예에서, 이 방법은 초음파 디바이스의 영상 내의 초음파 디바이스의 위치를 식별하는 단계를 더 포함한다. 일부 실시예에서, 초음파 영상을 초음파 디바이스의 영상에 오버레이하는 단계는 초음파 디바이스의 위치를 이용하여 수행된다.
일부 실시예에서, 오퍼레이터에 의해 이용되는 초음파 디바이스와는 상이한 촬영 디바이스; 디스플레이; 및 적어도 하나의 프로세서를 포함하는 시스템이 제공된다. 적어도 하나의 프로세서는 : 촬영 디바이스에 의해 캡처된 오퍼레이터에 의해 이용되는 초음파 디바이스의 영상을 획득하고; 적어도 부분적으로, 오퍼레이터가 초음파 디바이스를 재위치시킬 방법을 나타내는 적어도 하나의 지침을 초음파 디바이스의 영상에 오버레이함으로써 합성 영상을 생성하며; 디스플레이로 하여금 합성 영상을 오퍼레이터에게 프리젠팅하게 하도록 구성된다.
일부 실시예에서, 이 시스템은 디스플레이 및 적어도 하나의 프로세서를 포함하는 모바일 스마트폰 또는 태블릿을 더 포함한다. 일부 실시예에서, 촬영 디바이스는 카메라를 포함한다. 일부 실시예에서, 모바일 스마트폰 또는 태블릿은 카메라를 포함한다.
일부 실시예에서, 적어도 하나의 프로세서는 초음파 디바이스의 영상 내의 초음파 디바이스의 자세를 식별하도록 구성된다. 일부 실시예에서, 초음파 디바이스 상에는 마커가 배치되어 있고, 초음파 디바이스의 영상은 마커의 영상을 포함하며, 적어도 하나의 프로세서는 적어도 부분적으로 초음파 디바이스의 영상 내의 마커의 위치를 식별함으로써 초음파 디바이스의 자세를 식별하도록 구성된다. 일부 실시예에서, 마커는, 홀로그래픽 마커, 분산 마커, 및 ArUco 마커로 구성된 그룹으로부터 선택된다. 일부 실시예에서, 적어도 하나의 프로세서는, 적어도 부분적으로, 초음파 디바이스의 자세를 이용하여 적어도 하나의 지침을 초음파 디바이스의 영상에 오버레이함으로써 합성 영상을 생성하도록 구성된다.
일부 실시예에서, 시스템은 초음파 디바이스를 더 포함한다. 일부 실시예에서, 적어도 하나의 프로세서는, 적어도 부분적으로, 초음파 디바이스에 의해 캡처된 초음파 영상을 초음파 디바이스의 영상에 오버레이함으로써 합성 영상을 생성하도록 구성된다. 일부 실시예에서, 적어도 하나의 프로세서는 초음파 디바이스의 영상 내의 초음파 디바이스의 위치를 식별하도록 구성되고, 여기서, 적어도 하나의 프로세서는 초음파 디바이스의 위치를 이용하여 초음파 영상을 초음파 디바이스의 영상에 오버레이하도록 구성된다.
일부 실시예에서, 프로세서-실행가능한 명령어들을 저장하는 적어도 하나의 비일시적인 컴퓨터-판독가능한 저장 매체가 제공된다. 프로세서-실행가능한 명령어는, 적어도 하나의 프로세서에 의해 실행될 때, 적어도 하나의 프로세서로 하여금, 오퍼레이터에 의해 이용되는 초음파 디바이스의 영상 ―영상은 초음파 디바이스와는 상이한 촬영 디바이스에 의해 캡처됨― 을 획득하게 하고; 적어도 부분적으로, 오퍼레이터가 초음파 디바이스를 재위치시킬 방법을 나타내는 적어도 하나의 지침을 초음파 디바이스의 영상에 오버레이함으로써 합성 영상을 생성하게 하며; 디스플레이로 하여금 합성 영상을 오퍼레이터에게 프리젠팅하게 한다.
일부 실시예에서, 적어도 하나의 프로세서를 포함하는 장치가 제공된다. 적어도 하나의 프로세서는, 초음파 디바이스에 의해 캡처된 피험자의 초음파 영상을 획득하고, 자동화된 영상 처리 기술을 이용하여, 초음파 영상이 타겟 해부학적 뷰를 포함하는지를 결정하도록 구성된다.
일부 실시예에서, 적어도 하나의 프로세서는, 적어도 부분적으로, 딥 러닝 기술을 이용하여 초음파 영상을 분석함으로써 초음파 영상이 타겟 해부학적 뷰를 포함하는지를 결정하도록 구성된다. 일부 실시예에서,적어도 하나의 프로세서는, 적어도 부분적으로, 다층 신경망에 대한 입력으로서 초음파 영상을 제공함으로써 초음파 영상이 타겟 해부학적 뷰를 포함하는지를 결정하도록 구성된다. 일부 실시예에서, 적어도 하나의 프로세서는, 적어도 부분적으로, 초음파 영상에 포함된 해부학적 뷰를 나타내는 출력을 획득하기 위해 다층 신경망을 이용함으로써 초음파 영상이 타겟 해부학적 뷰를 포함하는지를 결정하도록 구성된다. 일부 실시예에서, 적어도 하나의 프로세서는, 적어도 부분적으로, 풀링 계층, ReLU 계층, 콘볼루션 계층, 조밀 계층, 패드 계층, 연결 계층, 및 업스케일 계층으로 구성된 그룹으로부터 선택된 적어도 하나의 계층을 포함하는 다층 신경망을 이용하여 초음파 영상을 분석함으로써 초음파 영상이 타겟 해부학적 뷰를 포함하는지를 결정하도록 구성된다.
일부 실시예에서, 적어도 하나의 프로세서는, 적어도 부분적으로, 자동화된 영상 처리 기술을 이용하여 초음파 영상에 포함된 해부학적 뷰를 식별하고; 및 초음파 영상에 포함된 해부학적 뷰가 타겟 해부학적 뷰와 정합하는지를 결정함으로써 초음파 영상이 타겟 해부학적 뷰를 포함하는지를 결정하도록 구성된다. 일부 실시예에서, 적어도 하나의 프로세서는, 초음파 영상에 포함된 해부학적 뷰가 타겟 해부학적 뷰와 정합하지 않는다는 결정에 응답하여, 초음파 영상에 포함된 해부학적 뷰를 이용하여 타겟 해부학적 뷰를 포함하는 피험자의 초음파 영상의 캡처를 촉진하기 위해 초음파 디바이스를 재위치시킬 방법을 나타내는 적어도 하나의 지침을 생성하도록 구성된다.
일부 실시예에서, 적어도 하나의 프로세서는 : 초음파 영상이 타겟 해부학적 뷰를 포함하지 않는다는 결정에 응답하여 타겟 해부학적 뷰를 포함하는 피험자의 초음파 영상의 캡처를 촉진하기 위해 초음파 디바이스를 재위치시킬 방법을 나타내는 적어도 하나의 지침을 초음파 디바이스의 오퍼레이터에게 제공하고; 초음파 영상이 타겟 해부학적 뷰를 포함한다는 결정에 응답하여 초음파 디바이스가 적절히 위치설정되어 있다는 표시를 오퍼레이터에게 제공하도록 구성된다. 일부 실시예에서, 이 장치는, 적어도 하나의 프로세서에 결합되고 적어도 하나의 지침을 오퍼레이터에게 디스플레이하도록 구성된 디스플레이를 더 포함한다. 일부 실시예에서, 적어도 하나의 프로세서는, 적어도 부분적으로, 병진 방향 및/또는 회전 방향으로 초음파 디바이스를 이동시키라는 지침을 제공함으로써 적어도 하나의 지침을 제공하도록 구성된다. 일부 실시예에서, 적어도 하나의 프로세서는, 적어도 부분적으로, 적어도 하나의 지침을 피험자에게 제공함으로써 적어도 하나의 지침을 오퍼레이터에게 제공하도록 구성된다.
적어도 하나의 양태에 따르면, 방법이 제공된다. 이 방법은, 적어도 하나의 프로세서를 포함하는 적어도 하나의 컴퓨팅 디바이스를 이용하여 : 초음파 디바이스에 의해 캡처된 피험자의 초음파 영상을 획득하는 단계; 자동화된 영상 처리 기술을 이용하여, 초음파 영상이 타겟 해부학적 뷰를 포함하는지를 결정하는 단계; 초음파 영상이 타겟 해부학적 뷰를 포함하지 않는다는 결정에 응답하여, 타겟 해부학적 뷰를 포함하는 피험자의 초음파 영상을 캡처하는 것을 촉진하기 위해 초음파 디바이스를 재위치시키는 방법을 나타내는 적어도 하나의 지침을 초음파 디바이스의 오퍼레이터에게 제공하는 단계; 및 초음파 영상이 타겟 해부학적 뷰를 포함한다는 결정에 응답하여, 초음파 디바이스가 적절히 위치설정되어 있다는 표시를 오퍼레이터에게 제공하는 단계를 수행하는 것을 포함한다.
일부 실시예에서, 초음파 영상이 타겟 해부학적 뷰를 포함하는지를 결정하는 단계는 딥 러닝 기술을 이용하여 초음파 영상을 분석하는 단계를 포함한다. 일부 실시예에서, 초음파 영상이 타겟 해부학적 뷰를 포함하는지를 결정하는 단계는 다층 신경망에 대한 입력으로서 초음파 영상을 제공하는 단계를 포함한다. 일부 실시예에서, 초음파 영상이 타겟 해부학적 뷰를 포함하는지를 결정하는 단계는 초음파 영상에 포함된 해부학적 뷰를 나타내는 출력을 획득하기 위해 다층 신경망을 이용하는 단계를 포함한다. 일부 실시예에서, 초음파 영상이 타겟 해부학적 뷰를 포함하는지를 결정하는 단계는, 풀링 계층, ReLU 계층, 콘볼루션 계층, 조밀 계층, 패드 계층, 연결 계층, 및 업스케일 계층으로 구성된 그룹으로부터 선택된 적어도 하나의 계층을 포함하는 다층 신경망을 이용하여 초음파 영상을 분석하는 단계를 포함한다.
일부 실시예에서, 초음파 영상이 타겟 해부학적 뷰를 포함하는지를 결정하는 단계는, 자동화된 영상 처리 기술을 이용하여 초음파 영상에 포함된 해부학적 뷰를 식별하는 단계; 및 초음파 영상에 포함된 해부학적 뷰가 타겟 해부학적 뷰와 정합하는지를 결정하는 단계를 포함한다. 일부 실시예에서, 이 방법은, 초음파 영상에 포함된 해부학적 뷰가 타겟 해부학적 뷰와 정합하지 않는다는 결정에 응답하여, 초음파 영상에 포함된 해부학적 뷰를 이용하여 적어도 하나의 지침을 생성하는 단계를 더 포함한다.
일부 실시예에서, 적어도 하나의 지침을 제공하는 단계는, 병진 방향 및/또는 회전 방향으로 초음파 디바이스를 이동시키라는 지침을 제공하는 단계를 포함한다. 일부 실시예에서, 적어도 하나의 지침을 오퍼레이터에게 제공하는 단계는, 적어도 하나의 지침을 피험자에게 제공하는 단계를 포함한다.
일부 실시예에서, 피험자의 초음파 영상을 캡처하도록 구성된 초음파 디바이스; 및 초음파 디바이스에 통신가능하게 결합된 컴퓨팅 디바이스를 포함하는 시스템이 제공된다. 컴퓨팅 디바이스는 : 초음파 디바이스에 의해 캡처된 피험자의 초음파 영상을 획득하고; 자동화된 영상 처리 기술을 이용하여, 초음파 영상이 타겟 해부학적 뷰를 포함하는지를 결정하며; 초음파 영상이 타겟 해부학적 뷰를 포함하지 않는다는 결정에 응답하여, 타겟 해부학적 뷰를 포함하는 피험자의 초음파 영상을 캡처하도록 초음파 디바이스를 재위치시키는 방법을 나타내는 적어도 하나의 지침을 초음파 디바이스의 오퍼레이터에게 제공하고; 초음파 영상이 타겟 해부학적 뷰를 포함한다는 결정에 응답하여, 초음파 디바이스가 적절히 위치설정되어 있다는 표시를 오퍼레이터에게 제공하도록 구성된다.
일부 실시예에서, 초음파 디바이스는 복수의 초음파 트랜스듀서를 포함한다. 일부 실시예에서, 복수의 초음파 트랜스듀서는, 용량식 미세가공 초음파 트랜스듀서(CMUT), CMOS 초음파 트랜스듀서(CUT), 및 압전식 미세가공 초음파 트랜스듀서(PMUT)로 구성된 그룹으로부터 선택된 초음파 트랜스듀서를 포함한다.
일부 실시예에서, 컴퓨팅 디바이스는 모바일 스마트폰 또는 태블릿이다. 일부 실시예에서, 컴퓨팅 디바이스는, 적어도 부분적으로, 딥 러닝 기술을 이용하여 초음파 영상을 분석함으로써 초음파 영상이 타겟 해부학적 뷰를 포함하는지를 결정하도록 구성된다. 일부 실시예에서, 컴퓨팅 디바이스는, 적어도 부분적으로, 다층 신경망에 대한 입력으로서 초음파 영상을 제공함으로써 초음파 영상이 타겟 해부학적 뷰를 포함하는지를 결정하도록 구성된다. 일부 실시예에서, 컴퓨팅 디바이스는, 적어도 부분적으로, 초음파 영상에 포함된 해부학적 뷰를 나타내는 출력을 획득하기 위해 다층 콘볼루션 신경망을 이용함으로써 초음파 영상이 타겟 해부학적 뷰를 포함하는지를 결정하도록 구성된다.
일부 실시예에서, 컴퓨팅 디바이스는, 적어도 부분적으로, 자동화된 영상 처리 기술을 이용하여 초음파 영상에 포함된 해부학적 뷰를 식별하고; 및 초음파 영상에 포함된 해부학적 뷰가 타겟 해부학적 뷰와 정합하는지를 결정함으로써 초음파 영상이 타겟 해부학적 뷰를 포함하는지를 결정하도록 구성된다. 일부 실시예에서, 컴퓨팅 디바이스는, 초음파 영상에 포함된 해부학적 뷰가 타겟 해부학적 뷰와 정합하지 않는다는 결정에 응답하여, 초음파 영상에 포함된 해부학적 뷰를 이용하여 적어도 하나의 지침을 생성하도록 구성된다.
일부 실시예에서, 프로세서-실행가능한 명령어들을 저장하는 적어도 하나의 비일시적인 컴퓨터-판독가능한 저장 매체가 제공된다. 프로세서-실행가능한 명령어들은, 적어도 하나의 프로세서에 의해 실행될 때, 적어도 하나의 프로세서로 하여금 : 초음파 디바이스에 의해 캡처된 피험자의 초음파 영상을 획득하게 하고; 자동화된 영상 처리 기술을 이용하여, 초음파 영상이 타겟 해부학적 뷰를 포함하는지를 결정하게 하며; 초음파 영상이 타겟 해부학적 뷰를 포함하지 않는다는 결정에 응답하여, 타겟 해부학적 뷰를 포함하는 피험자의 초음파 영상을 캡처하는 것을 촉진하기 위해 초음파 디바이스를 재위치시키는 방법을 나타내는 적어도 하나의 지침을 초음파 디바이스의 오퍼레이터에게 제공하게 하고; 초음파 영상이 타겟 해부학적 뷰를 포함한다는 결정에 응답하여, 초음파 디바이스가 적절히 위치설정되어 있다는 표시를 오퍼레이터에게 제공하게 한다.
일부 실시예에서, 적어도 하나의 프로세서를 포함하는 장치가 제공되고, 적어도 하나의 프로세서는 : 오퍼레이터에 의해 이용되는 초음파 디바이스 상의 마커의 영상을 획득하고; 마커에 기초하여 식별된 초음파 디바이스의 자세를 이용하여 오퍼레이터를 안내하도록 구성된 증강 현실 인터페이스를 생성하도록 구성된다.
일부 실시예에서, 이 장치는, 적어도 하나의 프로세서에 결합되고 증강 현실 인터페이스를 오퍼레이터에게 디스플레이하도록 구성된 디스플레이를 더 포함한다. 일부 실시예에서, 디스플레이 및 적어도 하나의 프로세서는 컴퓨팅 디바이스에 통합된다. 일부 실시예에서, 적어도 하나의 프로세서는, 적어도 부분적으로, 초음파 디바이스의 자세를 이용하여 초음파 디바이스의 오퍼레이터에 대한 지침을 영상에 오버레이시킴으로써 증강 현실 인터페이스를 생성하도록 구성된다. 일부 실시예에서, 적어도 하나의 프로세서는, 초음파 디바이스에 의해 캡처된 초음파 영상을 획득하고 초음파 영상을 이용하여 오퍼레이터에게 지침을 생성하도록 구성된다. 일부 실시예에서, 적어도 하나의 프로세서는, 적어도 부분적으로, 영상 내의 마커의 위치를 식별함으로써 영상 내의 초음파 디바이스의 자세를 식별하도록 구성된다. 일부 실시예에서, 적어도 하나의 프로세서는, 적어도 부분적으로, 영상 내의 마커의 적어도 하나의 특성을 분석함으로써 초음파 디바이스의 자세를 식별하도록 구성된다. 일부 실시예에서, 적어도 하나의 프로세서는, 적어도 부분적으로, 영상 내의 마커의 컬러를 식별함으로써 영상 내의 마커의 적어도 하나의 특성을 분석하도록 구성된다. 일부 실시예에서, 적어도 하나의 프로세서는, 적어도 부분적으로, 영상 내의 마커의 컬러를 이용하여 영상 내의 초음파 디바이스의 배향을 식별함으로써 초음파 디바이스의 자세를 식별하도록 구성된다. 일부 실시예에서, 마커는 홀로그램 또는 단색 패턴(monochrome pattern)을 포함한다.
일부 실시예에서, 적어도 하나의 프로세서를 포함하는 적어도 하나의 컴퓨팅 디바이스를 이용하여 : 오퍼레이터에 의해 이용되는 초음파 디바이스 상의 마커의 영상 ―영상은 초음파 디바이스와는 상이한 촬영 디바이스에 의해 캡처됨―을 획득하는 단계; 적어도 부분적으로, 영상 내의 마커의 적어도 하나의 특성을 분석함으로써 초음파 디바이스의 자세를 자동으로 식별하는 단계; 및 초음파 디바이스의 식별된 자세를 이용하여 초음파 디바이스의 오퍼레이터에게 지침을 제공하는 단계를 수행하는 것을 포함하는 방법이 제공된다.
일부 실시예에서, 초음파 디바이스의 자세를 식별하는 단계는 영상 내의 마커의 위치를 식별하는 단계를 포함한다. 일부 실시예에서, 초음파 디바이스의 자세를 식별하는 단계는 영상 내의 마커의 식별된 위치를 이용하여 영상 내의 초음파 디바이스의 위치를 식별하는 단계를 포함한다.
일부 실시예에서, 초음파 디바이스의 자세를 식별하는 단계는 영상 내의 마커의 컬러를 식별하는 단계를 포함한다. 일부 실시예에서, 초음파 디바이스의 자세를 식별하는 단계는 마커의 컬러를 이용하여 영상 내의 초음파 디바이스의 배향을 식별하는 단계를 포함한다.
일부 실시예에서, 마커의 영상을 획득하는 단계는 홀로그램 또는 단색 패턴의 영상을 획득하는 단계를 포함한다. 일부 실시예에서, 이 방법은, 초음파 디바이스에 의해 캡처된 초음파 영상을 획득하는 단계; 및 초음파 영상을 이용하여 지침을 생성하는 단계를 더 포함한다. 일부 실시예에서, 이 방법은 초음파 디바이스의 식별된 자세를 이용하여 초음파 영상을 영상에 오버레이하는 단계를 더 포함한다.
일부 실시예에서, 지침을 제공하는 단계는 초음파 디바이스의 자세를 이용하여 영상에 오버레이될 지침에 대한 위치를 결정하는 단계를 포함한다.
일부 실시예에서, 오퍼레이터에 의해 이용되는 초음파 디바이스와는 상이한 촬영 디바이스; 및 적어도 하나의 프로세서를 포함하는 시스템이 제공된다. 적어도 하나의 프로세서는 촬영 디바이스에 의해 캡처된 오퍼레이터에 의해 이용되는 초음파 디바이스 상의 마커의 영상을 획득하고; 적어도 부분적으로, 획득된 영상 내의 마커의 적어도 하나의 특성을 분석함으로써 초음파 디바이스의 자세를 자동으로 식별하고; 초음파 디바이스의 식별된 자세를 이용하여 초음파 디바이스의 오퍼레이터에게 지침을 제공하도록 구성된다.
일부 실시예에서, 시스템은 촬영 디바이스 및 적어도 하나의 프로세서를 포함하는 모바일 스마트폰 또는 태블릿을 더 포함한다. 일부 실시예에서, 시스템은 마커가 배치된 초음파 디바이스를 더 포함한다. 일부 실시예에서, 마커는, 홀로그래픽 마커, 분산 마커, 및 ArUco 마커로 구성된 그룹으로부터 선택된다.
일부 실시예에서, 시스템은 적어도 하나의 프로세서에 결합된 디스플레이를 더 포함한다. 일부 실시예에서, 적어도 하나의 프로세서는, 적어도 부분적으로, 디스플레이로 하여금 오퍼레이터에게 지침을 제공하게 함으로써 지침을 제공하도록 구성된다.
일부 실시예에서, 적어도 하나의 프로세서는, 적어도 부분적으로, 영상 내의 마커의 위치를 식별함으로써 초음파 디바이스의 자세를 식별하도록 구성된다. 일부 실시예에서, 적어도 하나의 프로세서는, 적어도 부분적으로, 영상 내의 마커의 식별된 위치를 이용하여 캡처된 영상 내의 초음파 디바이스의 위치를 식별함으로써 초음파 디바이스의 자세를 식별하도록 구성된다.
일부 실시예에서, 적어도 하나의 프로세서는, 적어도 부분적으로, 영상 내의 마커의 컬러를 식별함으로써 초음파 디바이스의 자세를 식별하도록 구성된다. 일부 실시예에서, 적어도 하나의 프로세서는, 적어도 부분적으로, 마커의 컬러를 이용하여 캡처된 영상 내의 초음파 디바이스의 배향을 식별함으로써 초음파 디바이스의 자세를 식별하도록 구성된다.
일부 실시예에서, 적어도 하나의 프로세서는 초음파 디바이스에 의해 캡처된 초음파 영상을 획득하고 초음파 영상을 이용하여 지침을 생성하도록 구성된다.
일부 실시예에서, 프로세서-실행가능한 명령어들을 저장하는 적어도 하나의 비일시적인 컴퓨터-판독가능한 저장 매체가 제공된다. 프로세서-실행가능한 명령어들은, 적어도 하나의 프로세서에 의해 실행될 때, 적어도 하나의 프로세서로 하여금 : 오퍼레이터에 의해 이용되는 초음파 디바이스 상의 마커의 영상 ―영상은 초음파 디바이스와는 상이한 촬영 디바이스에 의해 캡처됨―을 획득하게 하고; 적어도 부분적으로, 획득된 영상 내의 마커의 적어도 하나의 특성을 분석함으로써 초음파 디바이스의 자세를 자동으로 식별하게 하며; 초음파 디바이스의 식별된 자세를 이용하여 초음파 디바이스의 오퍼레이터에게 지침을 제공하게 한다.
일부 실시예에서, 적어도 하나의 프로세서를 포함하는 장치가 제공되고, 적어도 하나의 프로세서는 : 피험자의 초음파 영상을 획득하고, 적어도 부분적으로, 딥 러닝 기술을 이용하여 초음파 영상을 분석함으로써 피험자의 적어도 하나의 의학적 파라미터를 식별하도록 구성된다.
일부 실시예에서, 적어도 하나의 프로세서는, 적어도 부분적으로, 딥 러닝 기술을 이용하여 초음파 영상 내의 피험자의 적어도 하나의 해부학적 피처를 식별함으로써 피험자의 적어도 하나의 의학적 파라미터를 식별하도록 구성된다. 일부 실시예에서, 적어도 하나의 프로세서는, 적어도 부분적으로, 다층 신경망에 대한 입력으로서 초음파 영상을 제공함으로써 피험자의 적어도 하나의 해부학적 피처를 식별하도록 구성된다. 일부 실시예에서, 적어도 하나의 프로세서는, 적어도 부분적으로, 다층 신경망을 이용하여 초음파 영상 내의 피험자의 적어도 하나의 해부학적 피처를 나타내는 출력을 획득함으로써 피험자의 적어도 하나의 해부학적 피처를 식별하도록 구성된다. 일부 실시예에서, 적어도 하나의 프로세서는, 적어도 부분적으로, 풀링 계층, ReLU 계층, 콘볼루션 계층, 조밀 계층, 패드 계층, 연결 계층, 및 업스케일 계층으로 구성된 그룹으로부터 선택된 적어도 하나의 계층을 포함하는 다층 신경망을 이용하여 초음파 영상을 분석함으로써 피험자의 적어도 하나의 해부학적 피처를 식별하도록 구성된다. 일부 실시예에서, 적어도 하나의 해부학적 피처는, 심장 심실, 심장 판막, 심장 격막, 심장 유두근, 심장 심방, 대동맥, 및 폐로 구성된 그룹으로부터 선택된 해부학적 피처를 포함한다.
일부 실시예에서, 적어도 하나의 의학적 파라미터는 : 구축률(ejection fraction), 구획 단축률(fractional shortening), 심실 직경, 심실 체적, 심장 이완 말기 체적, 심장 수축 말기 체적, 심 박출량, 1회 박출량, 심실 중격 두께, 심실 벽 두께, 및 맥박 수로 구성된 그룹으로부터 선택된 의학적 파라미터를 포함한다. 일부 실시예에서, 적어도 하나의 프로세서는 적어도 하나의 의학적 파라미터를 피험자의 초음파 영상에 오버레이하여 합성 영상을 형성하도록 구성된다. 일부 실시예에서, 장치는, 적어도 하나의 프로세서에 결합되고 합성 영상을 오퍼레이터에게 디스플레이하도록 구성된 디스플레이를 더 포함한다. 일부 실시예에서, 디스플레이 및 적어도 하나의 프로세서는 컴퓨팅 디바이스에 통합된다.
일부 실시예에서, 적어도 하나의 프로세서를 포함하는 적어도 하나의 컴퓨팅 디바이스를 이용하여 : 초음파 디바이스에 의해 캡처된 피험자의 초음파 영상을 획득하는 단계; 자동화된 영상 처리 기술을 이용하여 초음파 영상 내의 피험자의 적어도 하나의 해부학적 피처를 식별하는 단계; 및 초음파 영상 내의 식별된 해부학적 피처를 이용하여 피험자의 적어도 하나의 의학적 파라미터를 식별하는 단계를 수행하는 것을 포함하는 방법이 제공된다.
일부 실시예에서, 피험자의 적어도 하나의 해부학적 피처를 식별하는 단계는 딥 러닝 기술을 이용하여 초음파 영상을 분석하는 단계를 포함한다. 일부 실시예에서, 피험자의 적어도 하나의 해부학적 피처를 식별하는 단계는 다층 신경망에 대한 입력으로서 초음파 영상을 제공하는 단계를 포함한다. 일부 실시예에서, 피험자의 적어도 하나의 해부학적 피처를 식별하는 단계는, 다층 신경망을 이용하여, 초음파 영상 내의 피험자의 적어도 하나의 해부학적 피처를 나타내는 출력을 획득하는 단계를 포함한다. 일부 실시예에서, 피험자의 적어도 하나의 해부학적 피처를 식별하는 단계는, 풀링 계층, ReLU 계층, 콘볼루션 계층, 조밀 계층, 패드 계층, 연결 계층, 및 업스케일 계층으로 구성된 그룹으로부터 선택된 적어도 하나의 계층을 포함하는 다층 신경망을 이용하여 초음파 영상을 분석하는 단계를 포함한다.
일부 실시예에서, 적어도 하나의 해부학적 피처를 식별하는 단계는, 심장 심실, 심장 판막, 심장 격막, 심장 유두근, 심장 심방, 대동맥, 및 폐로 구성된 그룹으로부터 선택된 해부학적 피처를 식별하는 단계를 포함한다. 일부 실시예에서, 적어도 하나의 의학적 파라미터를 식별하는 단계는 : 구축률, 구획 단축률, 심실 직경, 심실 체적, 심장 이완 말기 체적, 심장 수축 말기 체적, 심 박출량, 1회 박출량, 심실 중격 두께, 심실 벽 두께, 및 맥박 수로 구성된 그룹으로부터 선택된 의학적 파라미터를 식별하는 단계를 포함한다. 일부 실시예에서, 피험자의 초음파 영상을 획득하는 단계는 피험자의 복수의 초음파 영상을 획득하는 단계를 포함하고, 피험자의 적어도 하나의 해부학적 피처를 식별하는 단계는 다층 신경망을 이용하여 복수의 초음파 영상 중 적어도 일부의 각각에서 심실을 식별하는 단계를 포함한다. 일부 실시예에서, 적어도 하나의 의학적 파라미터를 식별하는 단계는, 복수의 영상 중 적어도 일부의 각각에서 식별된 심실의 심실 직경을 추정하여 제1 심실 직경 및 제1 심실 직경과는 상이한 제2 심실 직경을 포함하는 복수의 심실 직경을 획득하는 단계; 제1 심실 직경을 이용하여 심장 이완 말기 체적을 추정하는 단계; 및 제2 심실 직경을 이용하여 심장 수축 말기 체적을 추정하는 단계를 포함한다. 일부 실시예에서, 적어도 하나의 의학적 파라미터를 식별하는 단계는, 추정된 심장 이완 말기 체적 및 추정된 심장 수축 말기 체적을 이용하여 피험자의 구축률을 식별하는 단계를 포함한다.
일부 실시예에서, 이 방법은 적어도 하나의 의학적 파라미터를 초음파 영상에 오버레이하여 합성 영상을 형성하는 단계; 및 합성 영상을 프리젠팅하는 단계를 더 포함한다.
일부 실시예에서, 초음파 영상을 획득하는 단계는 피험자의 초음파 영상을 캡처하도록 초음파 디바이스의 오퍼레이터를 안내하는 단계를 포함한다. 일부 실시예에서, 초음파 디바이스의 오퍼레이터를 안내하는 단계는, 제1 다층 신경망에 대한 입력으로서 초음파 영상을 제공하는 단계를 포함하고, 피험자의 적어도 하나의 해부학적 피처를 식별하는 단계는 제1 다층 신경망과는 상이한 제2 다층 신경망에 대한 입력으로 초음파 영상을 제공하는 단계를 포함한다.
일부 실시예에서, 피험자의 초음파 영상을 캡처하도록 구성된 초음파 디바이스; 및 초음파 디바이스에 통신가능하게 결합된 컴퓨팅 디바이스를 포함하는 시스템이 제공된다. 컴퓨팅 디바이스는 : 초음파 디바이스에 의해 캡처된 피험자의 초음파 영상을 획득하고; 자동화된 영상 처리 기술을 이용하여 초음파 영상 내의 피험자의 적어도 하나의 해부학적 피처를 식별하며; 초음파 영상 내의 식별된 해부학적 피처를 이용하여 피험자의 적어도 하나의 의학적 파라미터를 식별하도록 구성된다.
일부 실시예에서, 초음파 디바이스는 복수의 초음파 트랜스듀서를 포함한다. 일부 실시예에서, 복수의 초음파 트랜스듀서는, 용량식 미세가공 초음파 트랜스듀서(CMUT), CMOS 초음파 트랜스듀서(CUT), 및 압전식 미세가공 초음파 트랜스듀서(PMUT)로 구성된 그룹으로부터 선택된 초음파 트랜스듀서를 포함한다.
일부 실시예에서, 컴퓨팅 디바이스는 모바일 스마트폰 또는 태블릿이다. 일부 실시예에서, 컴퓨팅 디바이스는 디스플레이를 포함하고, 여기서, 컴퓨팅 디바이스는 디스플레이를 이용하여 적어도 하나의 의학적 파라미터의 표시를 디스플레이하도록 구성된다.
일부 실시예에서, 초음파 영상은, 흉골연 장축(PLAX; parasternal long axis) 해부학적 뷰, 흉골연 단축(PSAX) 해부학적 뷰, 심첨 4-챔버(A4C; apical four-chamber) 해부학적 뷰, 및 심첨 장축(ALAX; apical long axis) 해부학적 뷰로 구성된 그룹으로부터 선택된 해부학적 뷰를 포함한다.
일부 실시예에서, 프로세서-실행가능한 명령어들을 저장하는 적어도 하나의 비일시적인 컴퓨터-판독가능한 저장 매체가 제공된다. 프로세서-실행가능한 명령어들은, 적어도 하나의 프로세서에 의해 실행될 때, 적어도 하나의 프로세서로 하여금 : 초음파 디바이스에 의해 캡처된 피험자의 초음파 영상을 획득하게 하고; 자동화된 영상 처리 기술을 이용하여 초음파 영상 내의 피험자의 적어도 하나의 해부학적 피처를 식별하게 하며; 초음파 영상 내의 식별된 해부학적 피처를 이용하여 피험자의 적어도 하나의 의학적 파라미터를 식별하게 한다.
일부 실시예에서, 적어도 하나의 프로세서를 포함하는 장치가 제공되고, 적어도 하나의 프로세서는 : 피험자의 초음파 영상을 획득하고, 적어도 부분적으로, 딥 러닝 기술을 이용하여 초음파 영상을 분석함으로써 피험자의 의학적 상태의 진단을 생성하도록 구성된다.
일부 실시예에서, 적어도 하나의 프로세서는, 적어도 부분적으로, 초음파 영상을 이용하여 피험자의 적어도 하나의 의학적 파라미터를 식별함으로써 진단을 생성하도록 구성된다. 일부 실시예에서, 피험자의 적어도 하나의 의학적 파라미터는 : 구축률, 구획 단축률, 심실 직경, 심실 체적, 심장 이완 말기 체적, 심장 수축 말기 체적, 심 박출량, 1회 박출량, 심실 중격 두께, 심실 벽 두께, 및 맥박 수로 구성된 그룹으로부터 선택된 의학적 파라미터를 포함한다.
일부 실시예에서, 적어도 하나의 프로세서는, 적어도 부분적으로, 초음파 영상을 획득하도록 초음파 디바이스의 오퍼레이터를 안내함으로써 초음파 영상을 획득하도록 구성된다. 일부 실시예에서, 적어도 하나의 프로세서는, 적어도 부분적으로, 초음파 디바이스를 재위치시키라는 적어도 하나의 지침을 오퍼레이터에게 제공함으로써 초음파 디바이스의 오퍼레이터를 안내하도록 구성된다. 일부 실시예에서, 오퍼레이터는 피험자이다.
일부 실시예에서, 적어도 하나의 프로세서는 피험자에 관한 의학적 정보를 수신하고 피험자에 관한 수신된 의학적 정보에 기초하여 촬영될 피험자의 타겟 해부학적 뷰를 식별하도록 구성된다. 일부 실시예에서, 피험자에 관한 의학적 정보는, 심박수, 혈압, 신체 표면적, 나이, 체중, 신장, 및 피험자가 복용하는 약물로 구성된 그룹으로부터 선택된 적어도 하나의 멤버를 포함한다. 일부 실시예에서, 적어도 하나의 프로세서는, 적어도 부분적으로, 피험자가 발작성 야간 호흡곤란을 경험했음을 나타내는 피험자에 관한 의학적 정보에 응답하여 피험자의 심장의 해부학적 뷰를 타겟 해부학적 뷰로서 식별함으로써 촬영될 피험자의 타겟 해부학적 뷰를 식별하도록 구성된다.
일부 실시예에서, 적어도 하나의 프로세서는 피험자의 진단된 의학적 상태를 이용하여 피험자에 대한 권장된 치료법을 초음파 디바이스의 오퍼레이터에게 제공하도록 구성된다.
일부 실시예에서, 적어도 하나의 프로세서를 포함하는 적어도 하나의 컴퓨팅 디바이스를 이용하여; 피험자에 관한 의학적 정보를 수신하는 단계; 수신된 의학적 정보에 기초하여, 초음파 디바이스에 의해 촬영될 피험자의 타겟 해부학적 뷰를 식별하는 단계; 초음파 디바이스에 의해 캡처된 타겟 해부학적 뷰를 포함하는 초음파 영상을 획득하는 단계; 및 타겟 해부학적 뷰를 포함하는 초음파 영상을 이용하여 피험자의 의학적 상태의 진단을 생성하는 단계를 수행하는 것을 포함하는 방법이 제공된다.
일부 실시예에서, 타겟 해부학적 뷰를 포함하는 초음파 영상을 획득하는 단계는 타겟 해부학적 뷰를 포함하는 초음파 영상을 획득하도록 초음파 디바이스의 오퍼레이터를 안내하는 단계를 포함한다. 일부 실시예에서, 타겟 해부학적 뷰를 포함하는 초음파 영상을 획득하도록 초음파 디바이스의 오퍼레이터를 안내하는 단계는 초음파 디바이스를 재위치시키라는 적어도 하나의 지침을 오퍼레이터에게 제공하는 단계를 포함한다. 일부 실시예에서, 오퍼레이터를 안내하는 것은 피험자를 안내하는 것을 포함한다.
일부 실시예에서, 피험자에 관한 의학적 정보를 수신하는 단계는, 심박수, 혈압, 신체 표면적, 나이, 체중, 신장, 및 피험자가 복용하는 약물로 구성된 그룹으로부터 선택된 의학적 정보를 수신하는 단계를 포함한다. 일부 실시예에서, 촬영될 피험자의 타겟 해부학적 뷰를 식별하는 단계는, 피험자가 발작성 야간 호흡곤란을 경험했음을 나타내는 피험자에 관한 의학적 정보에 응답하여 피험자의 심장의 해부학적 뷰를 타겟 해부학적 뷰로서 식별하는 단계를 포함한다. 일부 실시예에서, 피험자의 의학적 상태를 진단하는 단계는 피험자가 발작성 야간 호흡곤란을 경험했음을 나타내는 피험자에 관한 의학적 정보에 응답하여 타겟 해부학적 뷰를 포함하는 초음파 영상을 이용하여 피험자의 구축률을 식별하는 단계를 포함한다.
일부 실시예에서, 피험자의 의학적 상태의 진단을 생성하는 단계는 타겟 해부학적 뷰를 포함하는 초음파 영상을 이용하여 피험자의 적어도 하나의 의학적 파라미터를 식별하는 단계를 포함한다. 일부 실시예에서, 피험자의 적어도 하나의 의학적 파라미터를 식별하는 단계는, 구축률, 구획 단축률, 심실 직경, 심실 체적, 심장 이완 말기 체적, 심장 수축 말기 체적, 심 박출량, 1회 박출량, 심실 중격 두께, 심실 벽 두께, 및 맥박 수로 구성된 그룹으로부터 선택된 의학적 파라미터를 식별하는 단계를 포함한다.
일부 실시예에서, 이 방법은 피험자의 진단된 의학적 상태를 이용하여 피험자에 대한 권장된 치료법을 초음파 디바이스의 오퍼레이터에게 제공하는 단계를 더 포함한다.
일부 실시예에서, 이 방법은 초음파 디바이스에 배치된 바코드를 판독하는 단계; 및 바코드를 또 다른 디바이스로 전송하여 또 다른 디바이스로 하여금 피험자에 관한 의학적 정보를 적어도 하나의 컴퓨팅 디바이스에 전송하게 하는 단계를 더 포함한다. 일부 실시예에서, 이 방법은 타겟 해부학적 뷰를 포함하는 초음파 영상을 다른 디바이스에 전송하여 다른 디바이스로 하여금 타겟 해부학적 뷰를 포함하는 초음파 영상을 피험자와 연관된 의료 파일에 추가하게 하는 단계를 더 포함한다. 일부 실시예에서, 초음파 영상을 캡처하도록 구성된 초음파 디바이스; 및 초음파 디바이스에 통신가능하게 결합된 컴퓨팅 디바이스를 포함하는 시스템이 제공된다. 컴퓨팅 디바이스는 : 피험자에 관한 의학적 정보를 수신하고; 수신된 의학적 정보에 기초하여, 초음파 디바이스에 의해 촬영될 피험자의 타겟 해부학적 뷰를 식별하며; 초음파 디바이스에 의해 캡처된 타겟 해부학적 뷰를 포함하는 초음파 영상을 획득하고; 타겟 해부학적 뷰를 포함하는 초음파 영상을 이용하여 피험자의 의학적 상태의 진단을 생성하도록 구성된다.
일부 실시예에서, 초음파 디바이스는 복수의 초음파 트랜스듀서를 포함한다. 일부 실시예에서, 복수의 초음파 트랜스듀서는, 용량식 미세가공 초음파 트랜스듀서(CMUT), CMOS 초음파 트랜스듀서(CUT), 및 압전식 미세가공 초음파 트랜스듀서(PMUT)로 구성된 그룹으로부터 선택된 초음파 트랜스듀서를 포함한다.
일부 실시예에서, 컴퓨팅 디바이스는 모바일 스마트폰 또는 태블릿이다. 일부 실시예에서, 컴퓨팅 디바이스는, 적어도 부분적으로, 피험자가 발작성 야간 호흡곤란을 경험했음을 나타내는 피험자에 관한 의학적 정보에 응답하여 피험자의 심장의 해부학적 뷰를 타겟 해부학적 뷰로서 식별함으로써 타겟 해부학적 뷰를 식별하도록 구성된다. 일부 실시예에서, 컴퓨팅 디바이스는, 피험자가 발작성 야간 호흡곤란을 경험했음을 나타내는 피험자에 관한 의학적 정보에 응답하여 타겟 해부학적 뷰를 포함하는 초음파 영상을 이용하여 피험자의 구축률을 식별하도록 구성된다.
일부 실시예에서, 컴퓨팅 디바이스는, 적어도 부분적으로, 타겟 해부학적 뷰를 포함하는 초음파 영상을 이용하여 피험자의 적어도 하나의 의학적 파라미터를 식별함으로써 피험자의 의학적 상태의 진단을 생성하도록 구성된다. 일부 실시예에서, 프로세서-실행가능한 명령어들을 저장하는 적어도 하나의 비일시적인 컴퓨터-판독가능한 저장 매체가 제공된다. 프로세서-실행가능한 명령어들은, 적어도 하나의 프로세서에 의해 실행될 때, 적어도 하나의 프로세서로 하여금 : 피험자에 관한 의학적 정보를 수신하게 하고; 수신된 의학적 정보에 기초하여, 초음파 디바이스에 의해 촬영될 피험자의 타겟 해부학적 뷰를 식별하며; 초음파 디바이스에 의해 캡처된 타겟 해부학적 뷰를 포함하는 초음파 영상을 획득하고; 타겟 해부학적 뷰를 포함하는 초음파 영상을 이용하여 피험자의 의학적 상태의 진단을 생성하게 한다.
일부 실시예에서, 초음파 프로브의 위치 및 배향을 평가하기 위한 방법이 제공된다. 이 방법은, (a) 호스트 디바이스 ―호스트 디바이스는 프로세서와 메모리를 포함함―에 의해, 피험자의 원하는 피처를 촬영하도록 위치설정된 초음파 프로브에 의해 생성된 초음파 영상 데이터를 수신하는 단계; 및 (b) 원하는 피처를 캡처하기 위하여 초음파 프로브를 재위치시키라는 지침 ―지침은 적어도 원하는 피처에 기초하여 결정됨― 을 제공하는 단계를 포함한다.
일부 실시예에서, 초음파 촬영의 실시간 측정 예측을 위한 방법이 제공된다. 이 방법은, (a) 호스트 디바이스 ―호스트 디바이스는 프로세서와 메모리를 포함함―에 의해, 피험자의 원하는 피처를 촬영하도록 위치설정된 초음파 프로브에 의해 생성된 초음파 영상 데이터를 수신하는 단계; 및 (b) 수신된 초음파 영상 데이터의 랜드마크를 실시간으로 예측하기 위해 수신된 초음파 영상 데이터와 훈련된 모델 데이터를 비교하는 단계를 포함한다.
일부 실시예에서, 실시간 초음파 영상 취득 보조를 제공하는 방법이 제공된다. 이 방법은, (a) 환자의 초기 초음파 영상을 수신하는 단계; (b) 초기 초음파 영상의 속성들을 고품질 초음파 영상에 대한 기준과 비교하는 단계; 및 (c) 고품질 초음파 영상에 대한 기준에 부합하는 후속 초음파 영상을 획득하기 위해 초음파 프로브의 이동을 지시하는 단계를 포함한다.
일부 실시예에서, 실시간 초음파 영상 취득 보조를 제공하는 방법이 제공된다. 이 방법은, (a) 최종 초음파 영상에 대한 취득 의도 지시를 수신하는 단계; (b) 초음파 프로브로부터 피험자의 관점을 포함하는 제1 초음파 영상을 수신하는 단계; (c) 제1 초음파 영상과 취득 의도 지시를 비교함으로써 제1 초음파 영상의 결점을 식별하는 단계; (d) 취득 의도 지시에 기초하여 제1 초음파 영상의 결점을 치유하기 위해 초음파 프로브를 조작하는 치유 동작을 식별하는 단계; 및 (e) 최종 초음파 영상의 취득을 보조하기 위해 식별된 치유 동작을 디스플레이하는 단계를 포함한다.
일부 실시예에서, 임상 진단 및 치료 결정 지원 시스템이 제공된다. 이 시스템은 프로세서를 포함하고, 이 프로세서는 : (a) 진단될 피험자의 의료용 초음파 영상 데이터를 취득하고; (b) 적어도 의료용 초음파 영상 데이터에 기초하여 결정된 진단을 디스플레이하며; (c) 진단에 기초하여 피험자에 대한 권장된 치료법을 디스플레이하도록 구성된다.
일부 실시예에서, 임상 진단 및 치료 결정을 제공하는 방법이 제공된다. 이 방법은, (a) 진단될 피험자의 의료용 초음파 영상 데이터를 프로세서로 취득하는 단계; (b) 적어도 의료용 초음파 영상 데이터에 기초하여 결정된 진단을 디스플레이하는 단계; 및 (c) 피험자에 대한 권장된 치료법을 디스플레이하는 단계를 포함하고, 여기서, 권장된 치료법은 진단에 기초하여 결정된다.
일부 실시예에서, 통계적 사전 지식(statistical prior knowledge)을 이용하여 콘볼루션 신경망을 훈련시키기 위한 방법이 제공된다. 이 방법은, (a) 복수의 피험자의 복수의 의료 영상 및 복수의 의료 영상 각각과 연관된 훈련 주석을 포함하는 훈련 세트를 수신하는 단계; (b) 복수의 의료 영상에 대한 통계적 사전 지식 ―통계적 사전 지식은 복수의 피험자의 자연 발생 구조물로부터 발생하는 의료 영상의 가변성과 연관된 통계를 포함함― 을 수신하는 단계; 및 (c) 통계적 사전 지식을 통합함으로써, 훈련 세트를 이용하여, 콘볼루션 신경망을 훈련시키는 단계를 포함한다.
일부 실시예에서, 의료 영상의 세그먼트화를 수행하기 위한 방법이 제공된다. 이 방법은, (a) 피험자의 한 피처의 의료 영상을 제공하는 단계; 및 (b) 훈련된 콘볼루션 신경망을 이용하여 의료 영상의 영상 세그먼트화를 수행하는 단계를 포함하고, 여기서, 훈련된 콘볼루션 신경망은 통계적 사전 지식을 이용하여 훈련된다.
일부 실시예에서, 의료 영상의 랜드마크 국지화(landmark localization)를 수행하는 방법이 제공된다. 이 방법은, (a) 피험자의 한 피처의 의료 영상을 제공하는 단계; 및 (b) 훈련된 콘볼루션 신경망을 이용하여 의료 영상의 랜드마크 국지화를 수행하는 단계를 포함하고, 여기서, 훈련된 콘볼루션 신경망은 통계적 사전 지식을 이용하여 훈련된다.
일부 실시예에서, (a) 환자에 관해 위치설정된 초음파 프로브의 영상을 캡처하는 단계; (b) 환자의 신체 일부의 생체내(in vivo) 초음파 영상을 캡처하는 단계; (c) 초음파 프로브의 캡처된 영상 내의 초음파 프로브의 위치 ―이 위치는 환자의 신체에 관해 식별됨― 를 식별하는 단계; (d) 적어도 부분적으로, 생체내 초음파 영상을 초음파 프로브의 영상에 인접하게 위치시킴으로써 합성 영상을 형성하기 위해 생체내 초음파 영상을 초음파 프로브의 영상에 오버레이함으로써 합성 영상을 형성하는 단계; 및 (e) 합성 영상을 디스플레이하는 단계를 포함하는 방법이 제공된다.
일부 실시예에서, 이 방법은 실시간으로 복수의 합성 영상을 디스플레이하는 단계를 더 포함한다. 일부 실시예에서, 합성 영상은 증강 현실 디스플레이 상에 디스플레이된다. 일부 실시예에서, 이 방법은 복수의 합성 영상에 기초하여 실시간으로 지침을 제공하는 단계를 더 포함하고, 여기서, 지침은 환자의 신체 일부의 후속 초음파 영상의 취득시에 초음파 프로브의 사용자를 안내한다.
일부 실시예에서, (a) 환자에 관해 위치설정된 초음파 프로브의 영상을 캡처하는 단계; (b) 환자의 신체 일부의 생체내(in vivo) 초음파 영상을 캡처하는 단계; (c) 초음파 프로브의 캡처된 영상 내의 초음파 프로브의 위치 ―이 위치는 환자의 신체에 관해 식별됨― 를 식별하는 단계; (d) 적어도 부분적으로, 생체내 초음파 영상을 초음파 프로브의 영상에 인접하게 위치시킴으로써 합성 영상을 형성하기 위해 생체내 초음파 영상을 초음파 프로브의 영상에 오버레이함으로써 합성 영상을 형성하는 단계; 및 (e) 합성 영상을 디스플레이하는 단계를 포함하는 방법이 제공된다.
일부 실시예에서, 초음파 디바이스의 소비자-기반 이용 방법이 제공된다. 이 방법은, (a) 사용자에 의해 휴대형 초음파 디바이스를 작동하는 단계; (b) 영상 캡처 디바이스를 이용하여 휴대형 초음파 디바이스의 영상을 캡처하는 단계; (c) 처리 디바이스에 의해 제공된 피드백 ―피드백은, 적어도, 휴대형 초음파 디바이스를 이용하여 사용자에 의해 캡처된 초음파 데이터의 분석에 기초하여 처리 디바이스에 의해 생성됨― 에 응답하여 초음파 디바이스의 위치 및/또는 배향을 조정하는 단계; 및 (d) 휴대형 초음파 디바이스를 이용하여 사용자에 의해 캡처된 초음파 데이터를 저장하는 단계를 포함한다.
일부 실시예에서, 휴대형 초음파 디바이스를 작동하는 것은 사용자의 가정에서 수행된다. 일부 실시예에서, 피드백은 실시간으로 제공된다. 일부 실시예에서, 피드백은 증강 현실을 이용하여 제공된다. 일부 실시예에서, 피드백은 : (i) 사용자가 휴대형 초음파 디바이스를 배치해야 하는 곳, (ii) 사용자가 휴대형 초음파 디바이스를 어떻게 재위치설정 또는 배향시켜야 하는지, (iii) 사용자가 휴대형 초음파 디바이스를 어떻게 선형으로 병진시켜야 하는지, 및 (iv) 사용자가 초음파 데이터 캡처를 용이화하기 위해 어떻게 행동해야 하는지 중 하나 이상에 관한 지침을 포함한다. 일부 실시예에서, 이 방법은 적어도 의료 영상 데이터에 기초하여 결정된 진단을 디스플레이하는 단계를 더 포함한다. 일부 실시예에서, 이 방법은 피험자에 대한 권장된 치료법을 디스플레이하는 단계를 더 포함하고, 여기서, 권장된 치료법은 진단에 기초하여 결정된다.
일부 실시예에서, 랜드마크 국지화를 위한 콘볼루션 신경망을 훈련시키기 위한 방법이 제공된다. 이 방법은, (a) 복수의 피험자의 복수의 의료 영상 및 복수의 의료 영상의 각각과 연관된 훈련 주석을 포함하는 훈련 세트를 수신하는 단계; 및 (b) 적어도 훈련 세트에 기초하여 하나 이상의 랜드마크 위치를 회귀하기 위해 콘볼루션 신경망을 훈련하는 단계를 포함한다. 일부 실시예에서, 피험자의 의료 영상의 랜드마크 국지화를 수행하기 위한 방법이 제공된다. 이 방법은, (a) 피험자의 의료 영상을 제공하는 단계; 및 (b) 훈련된 콘볼루션 신경망을 이용하여 피험자의 의료 영상의 랜드마크 국지화를 수행하는 단계를 포함하고, 여기서, 훈련된 콘볼루션 신경망은, 복수의 피험자의 복수의 의료 영상 및 복수의 의료 영상 각각과 연관된 훈련 주석을 포함하는 훈련 세트를 이용하여 훈련된다.
다양한 양태들 및 실시예들이 이하의 예시적이고 비제한적인 도면들을 참조하여 설명될 것이다. 도면들은 축척비율대로 그려진 것은 아니라는 점을 이해해야 한다. 복수의 도면들 내에 나타나는 항목들은 이들이 나타나는 모든 도면들에서 동일하거나 유사한 참조 번호로 표시된다.
도 1은 본 개시내용의 일부 실시예에 따른 예시적인 초음파 시스템을 도시한다;
도 2는 본 개시내용의 일부 실시예에 따른 초음파 디바이스를 피험자 상의 초기 위치로부터 피험자 상의 타겟 위치로 이동시킬 예시적인 안내 경로를 도시한다;
도 3a는 본 개시내용의 일부 실시예에 따른 오퍼레이터에게 제공될 예시적인 대략적 지침을 도시한다;
도 3b는 본 개시내용의 일부 실시예에 따른 오퍼레이터에게 제공될 예시적인 정밀 지침을 도시한다;
도 3c는 본 개시내용의 일부 실시예에 따른 오퍼레이터에게 제공될 예시적인 확인을 도시한다;
도 4는 본 개시내용의 일부 실시예에 따른 초음파 영상에 오버레이된 예시적인 의학적 파라미터를 도시한다;
도 5a 및 도 5b는 본 개시내용의 일부 실시예에 따른 오퍼레이터에게 증강 현실 인터페이스를 제공하도록 구성된 예시적인 초음파 시스템을 도시한다;
도 6은 본 개시내용의 일부 실시예에 따른 예시적인 증강 현실 인터페이스를 도시한다;
도 7a 내지 도 7h는 본 개시내용의 일부 실시예에 따른 진단 애플리케이션을 위한 예시적인 사용자 인터페이스를 도시한다;
도 8a 내지 도 8d는 본 개시내용의 일부 실시예에 따른 재택 진단 애플리케이션을 위한 예시적인 사용자 인터페이스를 도시한다;
도 9는 본 개시내용의 일부 실시예에 따른 타겟 해부학적 뷰를 포함하는 초음파 영상을 캡처하도록 초음파 디바이스의 오퍼레이터를 안내하는 예시적인 방법을 도시한다;
도 10은 본 개시내용의 일부 실시예에 따른 초음파 디바이스의 오퍼레이터에게 증강 현실 인터페이스를 제공하는 예시적인 방법을 도시한다;
도 11은 본 개시내용의 일부 실시예에 따른 초음파 디바이스의 위치를 추적하는 예시적인 방법을 도시한다;
도 12는 본 개시내용의 일부 실시예에 따른 초음파 영상을 이용하여 피험자의 의학적 파라미터를 식별하는 예시적인 방법을 도시한다;
도 13은 본 개시내용의 일부 실시예에 따른 피험자의 의학적 상태의 진단을 생성하는 예시적인 방법을 도시한다;
도 14는 본 개시내용의 일부 실시예에 따른 예시적인 콘볼루션 신경망을 도시한다;
도 15a는 본 개시내용의 일부 실시예에 따른 예시적인 초음파 시스템의 블록도를 도시한다;
도 15b는 본 개시내용의 일부 실시예에 따른 또 다른 예시적인 초음파 시스템의 블록도를 도시한다;
도 16은 본 개시내용의 일부 실시예에 따른 예시적인 초음파 디바이스의 블록도를 도시한다;
도 17은 본 개시내용의 일부 실시예에 따른 도 16에 도시된 예시적인 초음파 디바이스의 상세한 블록도를 도시한다;
도 18a 및 도 18b는 본 개시내용의 일부 실시예에 따른 초음파 디바이스 및 디스플레이를 포함하는 예시적인 핸드헬드 디바이스를 도시한다;
도 18c 내지 도 18e는 본 개시내용의 일부 실시예에 따른 초음파 디바이스를 포함하는 예시적인 패치(patch)를 도시한다;
도 18f는 본 개시내용의 일부 실시예에 따른 초음파 디바이스를 포함하는 예시적인 핸드헬드 디바이스를 도시한다.
종래의 초음파 시스템은 전형적으로 상당한 재원을 갖춘 대형 의료 시설에 의해서만 구매되는 크고, 복잡하며 값비싼 시스템이다. 최근 저렴하고 덜 복잡한 초음파 촬영 디바이스가 소개되었다. 이러한 촬영 디바이스는, 단일 반도체 다이 상에 모놀리식으로 집적되어 모놀리식 초음파 디바이스를 형성하는 초음파 트랜스듀서들을 포함할 수 있다. 이러한 초음파-온-칩 디바이스의 양태는, 참조에 의해 본 명세서에 포함되는, 2017년 1월 25일 출원된(및 본 출원의 양수인에게 양도된) 발명의 명칭이 "UNIVERSAL ULTRASOUND DEVICE AND RELATED APPARATUS AND METHODS"인, 미국 특허 출원 제15/415,434호에 설명되어 있다. 이들 새로운 초음파 디바이스들의 감소된 비용 절감 및 증가된 휴대성은, 이들 디바이스들을 종래의 초음파 디바이스보다 일반 대중에게 훨씬 더 쉽게 접근가능하게 할 수 있다.
본 발명자들은, 초음파 촬영 디바이스들의 감소된 비용 및 증가된 휴대성이 이들을 일반 대중에게 더욱 쉽게 접근할 수 있게 하지만, 이러한 디바이스들을 이용할 수 있는 사람들은 이들을 이용하는 방법에 대해 거의 내지 전혀 교육을 받지 못하고 있다는 것을 인식했다. 예를 들어, 직원 중에 훈련된 초음파 기술자가 없는 작은 클리닉이 환자를 진단하는 것을 돕는 초음파 디바이스를 구입할 수도 있다. 이 예에서 소규모 클리닉의 간호사는 초음파 기술 및 인간 생리학에 익숙할 수 있지만, 환자에 관한 의학적으로 적절한 정보를 식별하기 위해 환자의 어떤 해부학적 뷰가 촬영될 필요가 있는지 모르고 초음파 디바이스를 이용하여 이러한 해부학적 뷰를 획득하는 방법도 역시 알지 못할 수도 있다. 또 다른 예에서, 초음파 디바이스는, 환자의 심장을 모니터링하도록 가정에서 이용하기 위해 의사에 의해 환자에게 발급될 수 있다. 아마도, 환자는 인간 생리학이나 초음파 디바이스로 자신의 심장을 촬영하는 방법을 이해하지 못할 것이다.
따라서, 본 발명자들은 초음파 디바이스를 적절하게 이용하도록 초음파 디바이스의 오퍼레이터를 안내하는 보조 초음파 촬영 기술을 개발하였다. 이 기술은, 초음파 디바이스를 작동한 경험이 거의 없거나 전혀 없는 오퍼레이터가 의학적으로 적절한 초음파 영상을 캡처할 수 있게 하고, 나아가, 오퍼레이터가 획득된 영상의 내용을 해석하는 것을 보조할 수 있다. 예를 들어, 본 명세서에 개시된 기술들 중 일부는 : (1) 초음파 디바이스로 촬영할 피험자의 특정한 해부학적 뷰를 식별하고; (2) 특정한 해부학적 뷰를 포함하는 피험자의 초음파 영상을 캡처하도록 초음파 디바이스의 오퍼레이터를 안내하며; (3) 캡처된 초음파 영상을 분석하여 피험자에 대한 의학적 정보를 식별하는데 이용될 수 있다. 본 명세서에서 설명된 실시예들은 임의의 다양한 방식으로 구현될 수 있다는 것을 이해해야 한다. 특정한 구현의 예가 설명의 목적으로만 이하에서 제공된다. 제공된 이들 실시예들 및 피처들/능력들은 개별적으로, 함께 또는 2개 이상의 임의의 조합으로 이용될 수 있는데, 그 이유는 본 명세서에서 설명된 기술의 양태들이 이 점에서 제한되지 않기 때문이라는 것을 이해해야 한다.
A. 초음파 디바이스의 오퍼레이터에게 디바이스를 위치시키는 방법 지시
본 개시내용은, 초음파 디바이스를 피험자에게 위치시켜 의학적으로 적절한 초음파 영상을 캡처하는 방법을 초음파 디바이스의 오퍼레이터에게 지시하기 위한 기술을 제공한다. 특정한 해부학적 뷰를 포함하는 피험자의 초음파 영상을 캡처하는 것은 초심자 초음파 디바이스 오퍼레이터에게 어려울 수 있다. 오퍼레이터(예를 들어, 간호사, 기술자 또는 일반인)는, 타겟 해부학적 뷰를 포함하는 초음파 영상을 캡처하기 위해, 초음파 디바이스를 피험자(예를 들어, 환자)에게 초기에 위치시킬 곳뿐만 아니라 피험자 상에서 디바이스 위치를 조정하는 방법도 알 필요가 있다. 피험자가 오퍼레이터이기도 한 경우, 오퍼레이터가 초음파 디바이스를 명확하게 볼 수 없기 때문에 오퍼레이터가 적절한 뷰를 식별하는 것이 더욱 어려울 수 있다. 따라서, 소정의 개시된 실시예들은 타겟 해부학적 뷰를 포함하는 초음파 영상을 캡처하도록 오퍼레이터를 안내하는 새로운 기술에 관한 것이다. 안내는, (모바일 디바이스, 스마트폰 또는 스마트 디바이스, 태블릿 등의) 오퍼레이터의 컴퓨팅 디바이스에 설치된 소프트웨어 애플리케이션(이하 "앱")을 통해 제공될 수 있다. 예를 들어, 오퍼레이터는 컴퓨팅 디바이스 상에 앱을 설치하고 컴퓨팅 디바이스를 (예를 들어, BLUETOOTH 등의 무선 접속 또는 Lightning 케이블 등의 유선 접속을 이용하여) 초음파 디바이스에 접속할 수 있다. 그 다음, 오퍼레이터는 초음파 디바이스를 피험자 상에 위치시킬 수 있고 (컴퓨팅 디바이스를 통해) 소프트웨어 애플리케이션은 오퍼레이터가 초음파 디바이스를 재위치시켜야 하는지 및 그렇게 하기 위해 어떻게 진행해야 하는지를 나타내는 피드백을 오퍼레이터에게 제공할 수 있다. 지침을 따르는 것은 초심자 오퍼레이터가 타겟 해부학적 뷰를 포함하는 의학적으로 적절한 초음파 영상을 캡처하는 것을 허용한다.
일부 실시예에서, 오퍼레이터에게 제공되는 지침은, 적어도 부분적으로, 딥 러닝 등의 최신 영상 처리 기술을 이용함으로써 생성될 수 있다. 예를 들어, 컴퓨팅 디바이스는 딥 러닝 기술을 이용하여 캡처된 초음파 영상을 분석하여 초음파 영상이 타겟 해부학적 뷰를 포함하는지를 결정할 수 있다. 초음파 영상이 타겟 해부학적 뷰를 포함한다면, 컴퓨팅 디바이스는 초음파 디바이스가 피험자 상에서 적절하게 위치설정되어 있거나 및/또는 초음파 영상을 원자적으로 기록하기 시작한다는 확인을 오퍼레이터에게 제공할 수 있다. 그렇지 않으면, 컴퓨팅 디바이스는, 타겟 해부학적 뷰를 포함하는 초음파 영상을 캡처하도록 초음파 디바이스를 재위치시키는 방법(예를 들어, "위로 움직이기", "좌측으로 움직이기", "우측으로 움직이기", "시계방향으로 회전", "반시계 방향으로 회전 "또는 "아래로 움직이기")을 오퍼레이터에게 지시할 수 있다.
본 명세서에서 설명된 딥 러닝 기술은, 하드웨어, 소프트웨어, 또는 하드웨어와 소프트웨어의 조합으로 구현될 수 있다. 한 실시예에서, 딥 러닝 기술은 오퍼레이터가 액세스할 수 있는 스마트 디바이스 상에서 실행가능한 앱에서 구현된다. 예를 들어, 앱은 스마트 디바이스에 통합된 디스플레이를 활용하여 사용자 인터페이스 스크린을 오퍼레이터에게 디스플레이할 수 있다. 또 다른 실시예에서, 앱은 클라우드 상에서 실행될 수 있고 스마트 디바이스를 통해 오퍼레이터에게 전달될 수 있다. 역시 또 다른 실시예에서, 앱은 초음파 디바이스 자체 상에서 실행될 수 있고, 지침은 초음파 디바이스 자체 또는 초음파 디바이스와 연관된 스마트 디바이스를 통해 사용자에게 전달될 수 있다. 따라서, 앱의 실행은 개시된 원리를 벗어나지 않고 로컬 디바이스 또는 원격 디바이스에서 이루어질 수 있다는 점에 유의해야 한다.
일부 실시예에서, 피험자의 타겟 해부학적 뷰를 포함하는 초음파 영상을 캡처하도록 초음파 디바이스를 재위치시키는 방법에 관한 지침을 초음파 디바이스의 오퍼레이터에게 제공하는 기술은, 예를 들어, 초음파 디바이스에 통신가능하게 결합된 컴퓨팅 디바이스에 의해 수행될 수 있다. 컴퓨팅 디바이스는, 모바일 스마트폰, 태블릿, 랩탑, 워크스테이션, 또는 기타 임의의 적절한 컴퓨팅 디바이스일 수 있다. 초음파 디바이스는 초음파 트랜스듀서를 이용하여 피험자에게 음파(acoustic wave)를 전송하고, 반사된 음파를 검출하고, 이들을 이용하여 초음파 데이터를 생성하도록 구성될 수 있다. 초음파 트랜스듀서의 예는, 용량식 미세가공 초음파 트랜스듀서(CMUT), CMOS 초음파 트랜스듀서(CUT), 및 압전식 미세가공 초음파 트랜스듀서(PMUT)를 포함한다. 초음파 트랜스듀서는, 초음파 디바이스의 반도체 기판과 모놀리식 통합될 수 있다. 초음파 디바이스는, 예를 들어, 핸드헬드 디바이스로서 또는 피험자에 부착하도록 구성된 패치로서 구현될 수 있다.
일부 실시예에서, 예시적인 방법은 초음파 디바이스를 이용하여 캡처된 피험자의 초음파 영상을 획득하는 단계를 포함할 수 있다. 예를 들어, 초음파 디바이스는 초음파 사운드 데이터를 생성하고 (유선 또는 무선 통신 링크를 통해) 컴퓨팅 디바이스에 초음파 데이터를 전송할 수 있다. 차례로, 컴퓨팅 디바이스는 수신된 초음파 데이터를 이용하여 초음파 영상을 생성할 수 있다. 이 방법은 자동화된 영상 처리 기술을 이용하여 초음파 영상이 타겟 해부학적 뷰를 포함하는지를 결정하는 단계를 더 포함할 수 있다. 예를 들어, 초음파 영상은 자동화된 영상 처리 기술을 이용하여 분석되어 초음파 영상에 포함된 해부학적 뷰를 식별할 수 있다. 식별된 해부학적 뷰는 타겟 해부학적 뷰와 비교되어, 식별된 해부학적 뷰가 타겟 해부학적 뷰와 정합하는지를 결정할 수 있다. 식별된 해부학적 뷰가 타겟 해부학적 뷰와 정합한다면, 초음파 영상이 타겟 해부학적 뷰를 포함하는지에 대한 결정이 이루어진다. 그렇지 않으면, 초음파 영상이 타겟 해부학적 뷰를 포함하지 않는다는 결정이 이루어진다.
초음파 영상이 타겟 해부학적 뷰를 포함하는지를 결정하기 위해 임의의 다양한 자동화된 영상 처리 기술이 이용될 수 있다는 것을 이해해야 한다. 자동화된 영상 처리 기술의 예는, 딥 러닝 기술 등의 머신 학습 기술을 포함한다. 일부 실시예에서, 콘볼루션 신경망이 채용되어 초음파 영상이 타겟 해부학적 뷰를 포함하는지를 결정할 수 있다. 예를 들어, 콘볼루션 신경망은, 초음파 영상에 묘사된 특정한 해부학적 뷰로 라벨링된 한 세트의 초음파 영상으로 훈련될 수 있다. 이 예에서, 초음파 영상은 훈련된 콘볼루션 신경망에 대한 입력으로서 제공될 수 있고, 입력 초음파 영상에 포함된 특정한 해부학적 뷰의 표시가 출력으로서 제공될 수 있다.
또 다른 예에서, 콘볼루션 신경망은 타겟 해부학적 뷰를 포함하는 초음파 영상을 캡처하도록 초음파 디바이스를 이동시키는 방법에 관한 하나 이상의 지침 또는 초음파 영상이 타겟 해부학적 뷰를 포함한다는 표시 중 어느 하나로 라벨링된 한 세트의 초음파 영상으로 훈련될 수 있다. 이 예에서, 초음파 영상은 훈련된 콘볼루션 신경망에 대한 입력으로서 제공될 수 있고, 초음파 영상이 타겟 해부학적 뷰를 포함한다는 표시 또는 오퍼레이터에게 제공할 지침이 출력으로서 제공될 수 있다. 콘볼루션 신경망은 임의의 적절한 조합의 복수의 계층을 이용하여 구현될 수 있다. 콘볼루션 신경망에 채용될 수 있는 예시적인 계층은, 풀링 계층, ReLU 계층, 콘볼루션 계층, 조밀 계층, 패드 계층, 연결 계층, 및/또는 업스케일 계층을 포함한다. 구체적인 신경망 아키텍처의 예는, 본 명세서에서 예시적인 딥 러닝 기술(Example Deep Learning Technique) 섹션에서 제공된다.
일부 실시예에서, 이 방법은, 초음파 영상이 타겟 해부학적 뷰를 포함하지 않는다는 결정이 이루어질 때 타겟 해부학적 뷰를 포함하는 피험자의 초음파 영상의 캡처를 촉진하기 위해 초음파 디바이스를 재위치시키는 방법을 나타내는 적어도 하나의 지침(또는 한 세트의 지침)을 초음파 디바이스의 오퍼레이터에게 제공하는 단계를 더 포함할 수 있다. 이 지침은 임의의 다양한 방식으로 오퍼레이터에게 제공될 수 있다. 예를 들어, 지침은 디스플레이(예를 들어, 오퍼레이터의 모바일 디바이스 등의 컴퓨팅 디바이스에 통합된 디스플레이)를 이용하여 오퍼레이터에게 디스플레이되거나 스피커(예를 들어, 컴퓨팅 디바이스에 통합된 스피커)를 이용하여 오퍼레이터에게 청각적으로 제공될 수 있다. 예시적인 지침은, "시계방향으로 회전", "반시계 방향으로 회전", "위로 이동", "아래로 이동", "좌측으로 이동" 및 "우측으로 이동"을 포함한다.
일부 실시예에서, 이 방법은, 초음파 영상이 타겟 해부학적 뷰를 포함한다는 결정이 이루어질 때 초음파 디바이스가 적절하게 위치설정되어 있다는 표시를 오퍼레이터에게 제공하는 단계를 더 포함할 수 있다. 초음파 디바이스가 적절하게 위치설정되어 있다는 오퍼레이터에 대한 표시는 임의의 다양한 형태를 취할 수 있다. 예를 들어, 체크마크 등의 심볼이 오퍼레이터에게 디스플레이될 수 있다. 대안으로서(또는 추가로), 메시지는 "위치설정 완료" 등의 메시지가 오퍼레이터에게 디스플레이되거나 및/또는 청각적으로 재생될 수 있다.
지침은 피험자의 신체에 관한 초음파 디바이스의 현재 위치에 기초하여 계산될 수 있다. 지침은 사전-기록될 수 있고, 타겟 초음파 영상을 생성한 초음파 디바이스의 하나 이상의 이전 위치에 대해 초음파 디바이스의 현재 위치를 비교함으로써 결정될 수 있다.
B. 의학적으로 적절한 초음파 영상을 캡처하도록 초음파 디바이스의 오퍼레이터를 안내하는 방법의 결정
본 개시내용은 피험자의 의학적으로 적절한 초음파 영상을 캡처하기 위해 초음파 디바이스의 오퍼레이터를 안내하기 위한 기술을 제공한다. 초음파 디바이스를 이용하는 방법 등의 새로운 작업을 수행하는 방법을 개인에게 가르치는 것은 어려운 일이다. 너무 복잡하거나 혼동스러운 지침이 제공되면 개인은 좌절하게 될 수 있다. 따라서, 소정의 개시된 실시예는, 타겟 해부학적 뷰를 포함하는 초음파 영상을 캡처하도록 초음파 디바이스의 오퍼레이터를 안내하는 명확하고 간결한 지침을 제공하기 위한 새로운 기술에 관한 것이다. 일부 실시예에서, 오퍼레이터는 피험자 상에 초음파 디바이스를 위치시킬 수 있고 (모바일 스마트폰 또는 태블릿 등의) 컴퓨팅 디바이스는 초음파 디바이스를 피험자 상의 초기 위치로부터 피험자 상의 타겟 위치로 이동시키도록 오퍼레이터를 안내하는 방법에 대한 안내 계획을 생성할 수 있다. 안내 계획은 오퍼레이터를 초기 위치로부터 타겟 위치로 안내하는 일련의 간단한 지침 또는 단계(예를 들어, "위로 이동", "아래로 이동", "좌측으로 이동" 또는 "우측으로 이동")를 포함할 수 있다.
안내 계획은, 선택사항으로서, 오퍼레이터에게 초음파 디바이스를 대각선으로 이동시킬 것을 지시하는 등의, 오퍼레이터를 혼란스럽게 할 수 있는 더 복잡한 지침을 이용하는 것을 피할 수 있다. 일단 안내 계획이 생성되고 나면, 오퍼레이터를 정보로 과부하시키는 것을 피하기 위해 안내 계획으로부터의 지침이 오퍼레이터에게 직렬적 방식으로 제공될 수 있다. 이로써, 오퍼레이터는 간단한 지침 시퀀스를 쉽게 따라해 타겟 해부학적 뷰를 포함하는 초음파 영상을 캡처할 수 있다.
한 실시예에서, 안내 계획은, 현재의 초음파 영상을 타겟 초음파 영상과 비교하고, 피험자에 관해 초음파 디바이스의 위치가 어떻게 변경되어야 타겟 초음파 영상에 접근하는지를 결정함으로써 고안될 수 있다.
일부 실시예에서, 타겟 해부학적 뷰를 포함하는 초음파 영상을 캡처하도록 초음파 디바이스의 오퍼레이터를 안내하는 방법을 결정하기 위한 기술은, 예를 들어, 초음파 디바이스에 통신가능하게 결합된 컴퓨팅 디바이스에 의해 수행되는 방법으로서 구현될 수 있다. 이 방법은 초음파 디바이스를 이용하여 캡처된 피험자의 초음파 영상을 획득하는 단계를 포함할 수 있다. 예를 들어, 컴퓨팅 디바이스는 초음파 디바이스와 통신하여 초음파 데이터를 생성하고 생성된 초음파 데이터를 컴퓨팅 디바이스에 전송할 수 있다. 컴퓨팅 디바이스는, 차례로, 수신된 초음파 데이터를 이용하여 초음파 영상을 생성할 수 있다.
일부 실시예에서, 이 방법은, 초음파 영상이 타겟 해부학적 뷰를 포함하지 않는다는 결정이 이루어질 때, 초음파 영상을 이용하여, 타겟 해부학적 뷰를 포함하는 피험자의 초음파 영상을 캡처하도록 오퍼레이터를 안내하는 방법에 대한 안내 계획을 생성하는 단계를 더 포함할 수 있다. 안내 계획은, 예를 들어, 피험자 상의 초음파 디바이스의 초기 위치와, 타겟 해부학적 뷰를 포함하는 초음파 영상이 캡처될 수 있는 피험자 상의 초음파 디바이스의 타겟 위치 사이에서 오퍼레이터가 안내받을 수 있는 안내 경로를 포함할 수 있다. 예를 들어, 초음파 디바이스의 초기 위치는 초음파 영상을 이용하여 식별될 수 있고, 초음파 디바이스의 타겟 위치는 타겟 해부학적 뷰를 이용하여 식별될 수 있다. 일단 초음파 디바이스의 초기 및 타겟 위치가 식별되고 나면, 안내 경로가 두 위치 사이에서 결정될 수 있다. 일부 실시예에서, 초음파 디바이스의 초기 위치와 초음파 디바이스의 타겟 위치 사이의 안내 경로는 두 위치 사이의 가장 직접적인 경로가 아닐 수 있다. 예를 들어, "L" 형상의 안내 경로가 오퍼레이터에게 전달되기에 더 용이할 수 있기 때문에 두 지점 사이의 직접적인 대각선 위에 "L"을 형성하는 더 긴 안내 경로가 선택될 수 있다. 일부 실시예에서, 안내 경로는, 유익하게, 경조직(예를 들어, 뼈)을 포함하는 피험자의 영역 위로의 초음파 디바이스의 이동을 최소화할 수 있다. 초음파 디바이스에 의해 방출된 음파는 전형적으로 경조직을 관통하지 않기 때문에 뼈의 초음파 영상을 캡처하는 것은 공백(또는 거의 공백) 초음파 영상을 생성할 수 있다. 그 결과, 피험자 상에서의 초음파 디바이스의 위치를 결정하기 위해 컴퓨팅 디바이스에 의해 이용될 수 있는 초음파 영상에 포함된 정보가 거의 또는 전혀 없을 수 있다. 이러한 경조직 위로의 이동을 최소화하는 것은, 오퍼레이터가 캡처된 초음파 영상을 분석함으로써 안내 경로를 따라 초음파 디바이스를 이동시킬 때 컴퓨팅 디바이스가 초음파 디바이스의 진행을 더욱 용이하게 추적하는 것을 허용할 수 있다.
이 방법은, 결정된 안내 계획에 기초하여 적어도 하나의 지침을 오퍼레이터에게 제공하는 단계를 더 포함할 수 있다. 예를 들어, 안내 계획에서 결정된 안내 경로를 따라 초음파 디바이스를 이동시키도록 오퍼레이터에게 지시하는 지침이 생성될 수 있다. 대안으로서(또는 추가로), 안내 계획은 디바이스를 이동시키도록 초음파 디바이스의 오퍼레이터를 안내하는 지침 시퀀스를 포함할 수 있고, 지침은 안내 계획으로부터 직접 제공될 수 있다. 지침은, 안내 계획으로부터 직렬적 방식으로(예를 들어, 한 번에 하나씩) 제공될 수 있다.
안내 계획은 오퍼레이터에 의해 실제로 취해진 동작에 기초하여 업데이트(예를 들어, 지속적으로 업데이트)될 수 있다는 것을 이해해야 한다. 일부 실시예에서, 안내 계획은, 오퍼레이터에 의해 취해진 동작이 오퍼레이터에게 제공된 지침과 정합하지 않을 때 업데이트될 수 있다. 예를 들어, 컴퓨팅 디바이스는 초음파 디바이스를 좌측으로 움직이라는 지침을 오퍼레이터에게 내릴 수 있고, 오퍼레이터는 부주의로 초음파 디바이스를 위로 이동시킬 수 있다. 이 예에서, 컴퓨팅 디바이스는, 초음파 디바이스의 현재 위치와 초음파 디바이스의 타겟 위치 사이에 새로운 안내 계획을 생성할 수 있다.
C. 초음파 디바이스의 오퍼레이터를 안내하는 증강 현실 인터페이스 생성
본 개시내용은 초음파 디바이스의 오퍼레이터를 안내하는 증강 현실 인터페이스를 생성하기 위한 기술을 제공한다. 서면 및/또는 음성 안내를 제공하는 것은 오퍼레이터가 이해하기가 어려울 수 있다. 예를 들어, 오퍼레이터에 의해 이용되는 기준점이 상이할 수 있기 때문에 특정한 방향으로 초음파 디바이스를 이동시키라는 지침(예를 들어, "좌측으로 이동")을 전달하는 것은 모호할 수 있다. 이로써, 오퍼레이터는 지침 사항을 적절히 따르고 있다고 믿으면서 잘못된 방향으로 초음파 디바이스를 이동시킬 수 있다. 따라서, 소정의 개시된 실시예는 증강 현실 인터페이스를 통해 초음파 디바이스의 오퍼레이터에게 지침을 제공하기 위한 새로운 기술에 관한 것이다. 증강 현실 인터페이스에서, 지침은 오퍼레이터의 현실 세계 환경의 뷰 상에 오버레이될 수 있다. 예를 들어, 증강 현실 인터페이스는, 피험자 상에 위치한 초음파 디바이스의 뷰 및 초음파 디바이스가 이동되어야하는 특정한 방향을 나타내는 화살표를 포함할 수 있다. 이로써, 오퍼레이터는 증강 인터페이스 내의 화살표와 일치하는 방향으로 초음파 디바이스를 피험자 상에서 이동시킴으로써 초음파 디바이스를 용이하게 재위치시킬 수 있다.
일부 실시예에서, 타겟 해부학적 뷰를 포함하는 초음파 영상을 캡처하도록 오퍼레이터를 안내하는 증강 현실 인터페이스를 제공하기 위한 기술은, 예를 들어, 광을 검출하도록 구성된 촬영 디바이스 등의 비음향 촬영 디바이스를 갖는(또는 이와 통신하는) 컴퓨팅 디바이스에 의해 수행되는 방법으로서 구현될 수 있다. 이 방법은, 비음향 촬영 디바이스를 이용하여, 초음파 디바이스의 영상을 캡처하는 단계를 포함할 수 있다. 예를 들어, 피험자 상에 위치한 초음파 디바이스의 영상이 캡처될 수 있다.
일부 실시예에서, 이 방법은, 적어도 부분적으로, 오퍼레이터가 초음파 디바이스를 재위치시킬 방법을 나타내는 적어도 하나의 지침을 초음파 디바이스의 영상에 오버레이함으로써 합성 영상을 생성하는 단계를 더 포함할 수 있다. 예를 들어, 캡처된 영상 내의 초음파 디바이스의 자세(예를 들어, 위치 및/또는 배향)는 자동화된 영상 처리 기술(예를 들어, 딥 러닝 기술)을 이용하여 식별될 수 있고, 초음파 디바이스의 자세에 관한 정보는 캡처된 영 상 내의 초음파 디바이스의 적어도 일부에 지침을 오버레이하는데 이용될 수 있다. 초음파 디바이스의 영상에 오버레이될 수 있는 예시적인 지침은 오퍼레이터가 디바이스를 이동시킬 방향을 나타내는 (화살표 등의) 심볼을 포함한다.
초음파 디바이스의 식별된 자세를 이용하여 초음파 디바이스의 영상에 추가 요소들이 오버레이될 수 있다는 것을 이해해야 한다. 예를 들어, 초음파 디바이스를 이용하여 캡처된 초음파 영상은, 초음파 영상이 초음파 디바이스로부터 피험자 내로 바깥쪽으로 연장되는 것처럼 보이게 하는 방식으로 초음파 디바이스의 영상에 오버레이될 수 있다. 이로써, 오퍼레이터는, 피험자 상의 초음파 디바이스의 현재 위치가 주어지면 촬영 중인 피험자의 특정한 영역에 대해 더 나은 인식을 얻을 수 있다.
일부 실시예에서, 이 방법은 합성 영상을 오퍼레이터에게 프리젠팅하는 단계를 더 포함할 수 있다. 예를 들어, 컴퓨팅 디바이스는 통합된 디스플레이를 포함할 수 있고 합성 영상은 이 디스플레이를 이용하여 오퍼레이터에게 디스플레이될 수 있다.
D. 초음파 디바이스 상의 마커를 이용한 초음파 디바이스의 위치 추적
본 개시내용은 초음파 디바이스 상에 배치된 마커를 이용하여 초음파 디바이스의 위치를 추적하기 위한 기술을 제공한다. 전술된 바와 같이, 증강 현실 인터페이스를 통해 초음파 디바이스의 오퍼레이터에게 지침을 제공하는 것은 지침을 더 명확하고 이해하기 쉽게 할 수 있다. 증강 현실 인터페이스는, (예를 들어, 모바일 스마트폰 상의 카메라에 의해 캡처된) 실세계 환경의 캡처된 영상 및 캡처된 영상에 오버레이된 초음파 디바이스를 이동시키는 방법에 관한 하나 이상의 지침을 포함할 수 있다. 이러한 증강 현실 인터페이스는, 캡처된 영상 내의 실세계 객체에 관해 지침이 위치설정될 때 더욱 직관적일 수 있다. 예를 들어, 캡처된 영상 내의 초음파 디바이스에 근접하게 화살표가 위치할 때, 초음파 디바이스를 좌측으로 이동시킬 것을 오퍼레이터에게 지시하는 화살표는 오퍼레이터에게 더욱 명확할 수 있다. 따라서, 본 명세서에 설명된 기술의 양태는, 증강 현실 인터페이스에서 지침이 적절히 위치할 수 있도록 캡처된 영상 내의 초음파 디바이스를 추적하기 위한 새로운 기술에 관한 것이다. 캡처된 영상 내의 초음파 디바이스의 위치를 식별하는 문제는, 캡처된 영상에서 볼 수 있는 초음파 디바이스 상에 뚜렷한 마커를 배치함으로써 용이화될 수 있다. 마커는, 예를 들어, (딥 러닝 기술 등의) 자동화된 영상 처리 기술을 이용하여 용이하게 식별될 수 있는 독특한 패턴, 컬러 및/또는 영상을 가질 수 있다. 이로써, 캡처된 영상 내의 초음파 디바이스의 위치는, 캡처된 영상에서 마커를 위치파악함으로써 식별될 수 있다. 일단 캡처된 영상 내의 초음파 디바이스의 위치가 식별되고 나면, 캡처된 영상에서 초음파 디바이스에 근접한 위치에서 지침이 오버레이되어 더 직관적인 증강 현실 인터페이스를 형성할 수 있다.
일부 실시예에서, 초음파 디바이스 상에 배치된 마커를 이용하여 캡처된 영상에서 초음파 디바이스의 위치를 추적하기 위한 기술은, 예를 들어, 초음파 디바이스에 통신가능하게 결합된 컴퓨팅 디바이스에 의해 수행되는 방법으로서 구현될 수 있다. 캡처된 영상 내의 초음파 디바이스의 위치는, 예를 들어, 증강 현실 인터페이스를 형성하도록 캡처된 영상 위 지침을 적절히 위치시키기 위해 추적될 수 있다. 예를 들어, 지침은 캡처된 영상에서 초음파 디바이스에 근접하게 위치할 수 있다. 일부 실시예에서, 이들 기술들은, 예를 들어, 광을 검출하도록 구성된 촬영 디바이스 등의 비음향 촬영 디바이스를 갖는(또는 이와 통신하는) 컴퓨팅 디바이스에 의해 수행되는 방법으로서 구현될 수 있다. 비음향 촬영 디바이스는 초음파 디바이스 상의 마커의 영상을 캡처하기 위해 채용될 수 있다. 마커는 인식될 수 있는 독특한 패턴, 컬러, 및/또는 영상을 갖도록 구성될 수 있다. 마커는 임의의 다양한 방법으로 구현될 수 있다. 예를 들어, 마커는, 단색 마커, 홀로그래픽 마커, 및/또는 분산 마커일 수 있다. 모노크롬 마커는 ArUco 마커 등의 단색 패턴을 포함할 수 있다. 홀로그래픽 마커는, 홀로그램이 관찰되는 특정한 각도에 따라 상이한 영상을 프리젠팅하는 홀로그램을 포함할 수 있다. 분산 마커는, 분산 요소가 관찰되는 특정한 각도에 따라 상이한 컬러를 프리젠팅하는 분산 요소를 포함할 수 있다.
일부 실시예에서, 이 방법은, 적어도 부분적으로, 캡처된 영상 내의 마커의 적어도 하나의 특성을 분석함으로써 초음파 디바이스의 자세를 자동으로 식별하는 단계를 더 포함할 수 있다. 예를 들어, 영상 내의 마커의 위치가 식별되어 영상 내의 초음파 디바이스의 위치를 결정할 수 있다.
추가로(또는 대안으로서), 마커의 하나 이상의 속성이 분석되어 영상 내의 초음파 디바이스의 배향을 결정할 수 있다. 예를 들어, 마커는 분산 마커일 수 있고, 마커의 컬러가 분석되어 초음파 디바이스의 배향을 결정할 수 있다. 또 다른 예에서, 마커는 홀로그래픽 마커일 수 있고, 마커에 의해 프리젠팅된 특정한 영상이 분석되어 초음파 디바이스의 배향을 결정할 수 있다.
일부 실시예에서, 이 방법은 초음파 디바이스의 식별된 자세를 이용하여 초음파 디바이스의 오퍼레이터에게 지침을 제공하는 단계를 더 포함할 수 있다. 예를 들어, 지침은 오퍼레이터에게 프리젠팅되는 캡처된 영상에 오버레이되는 심볼(예를 들어, 화살표)을 포함할 수 있다. 이 예에서, 영상 내의 초음파 디바이스의 식별된 자세는, 캡처된 영상 내의 초음파 디바이스의 적어도 일부 위에 심볼을 정확하게 위치시키기 위해 채용될 수 있다.
E. 캡처된 초음파 영상의 자동 해석
본 개시내용은 피험자의 의학적 파라미터를 식별하기 위해 캡처된 초음파 영상을 자동으로 해석하기 위한 기술을 제공한다. 초음파 디바이스의 초보 오퍼레이터는 캡처된 초음파 영상을 해석하여 피험자에 관한 의학적으로 적절한 정보를 수집하지 못할 수도 있다. 예를 들어, 초보 오퍼레이터는 캡처된 초음파 영상으로부터 (피험자의 심장의 구축률 등의) 피험자의 의학적 파라미터를 계산하는 방법을 알지 못할 수도 있다. 따라서, 소정의 개시된 실시예는 캡처된 초음파 영상을 자동으로 분석하여 피험자의 이러한 의학적 파라미터를 식별하기 위한 새로운 기술에 관한 것이다. 일부 실시예에서, 의학적 파라미터는 딥 러닝 등의 최신 영상 처리 기술을 이용하여 식별될 수 있다. 예를 들어, 딥 러닝 기술은 초음파 영상 내의 (심장 또는 폐 등의) 특정한 장기의 존재를 식별하기 위해 채용될 수 있다. 일단 초음파 영상 내의 장기가 식별되고 나면, 장기의 특성(예를 들어, 형상 및/또는 크기)이 분석되어 (피험자의 심장의 구축률 등의) 피험자의 의학적 파라미터를 결정할 수 있다.
일부 실시예에서, 캡처된 초음파 영상을 이용하여 피험자의 의학적 파라미터를 식별하기 위한 기술은, 예를 들어, 초음파 디바이스에 통신가능하게 결합된 컴퓨팅 디바이스에 의해 수행되는 방법으로서 구현될 수 있다. 이 방법은 초음파 디바이스를 이용하여 캡처된 피험자의 초음파 영상을 획득하는 단계를 포함할 수 있다. 예를 들어, 컴퓨팅 디바이스는 초음파 디바이스와 통신하여 초음파 데이터를 생성하고 생성된 초음파 데이터를 컴퓨팅 디바이스에 전송할 수 있다. 컴퓨팅 디바이스는, 차례로, 수신된 초음파 데이터를 이용하여 초음파 영상을 생성할 수 있다.
일부 실시예에서, 이 방법은 자동화된 영상 처리 기술을 이용하여 초음파 영상 내의 피험자의 해부학적 피처를 식별하는 단계를 더 포함할 수 있다. 식별될 수 있는 피험자의 해부학적 피처의 예는, 심장 심실, 심장 판막, 심장 격막, 심장 유두근, 심장 심방, 대동맥, 및 폐를 포함한다. 이들 해부학적 피처는, 딥 러닝 기술 등의 임의의 다양한 자동화된 영상 처리 기술 중 하나를 이용하여 식별될 수 있다.
일부 실시예에서, 이 방법은 초음파 영상 내의 식별된 해부학적 피처를 이용하여 피험자의 의학적 파라미터를 식별하는 단계를 더 포함할 수 있다. 예를 들어, 심장의 초음파 영상이 캡처되고 초음파 영상 내의 심실이 해부학적 피처로서 식별될 수 있다. 이 예에서, 심장 심실인 것으로 식별된 초음파 영상의 부분을 이용하여 심장 심실의 하나 이상의 치수가 계산되어 심장과 연관된 의학적 파라미터를 식별할 수 있다. 심장과 연관된 예시적인 의학적 파라미터는 : 구축률, 구획 단축률, 심실 직경, 심실 체적, 심장 이완 말기 체적, 심장 수축 말기 체적, 심 박출량, 1회 박출량, 심실 중격 두께, 심실 벽 두께, 및 맥박 수를 포함한다.
F. 의학적 상태의 진단을 자동으로 생성하기
본 개시내용은 캡처된 초음파 영상을 이용하여 피험자의 의학적 상태의 진단을 생성하기 위한 기술을 제공한다. 초음파 디바이스의 초보 오퍼레이터는, 초음파 디바이스를 이용하여 피험자의 의학적 상태를 진단하는 방법을 알지 못할 수 있다. 예를 들어, 오퍼레이터는 의학적 상태를 진단하기 위해 피험자의 어떤 해부학적 뷰를 촬영할지를 확신하지 못할 수 있다. 또한, 오퍼레이터는 의학적 상태를 진단하기 위해 캡처된 초음파 영상을 해석하는 방법을 확신하지 못할 수 있다. 따라서, 소정의 개시된 실시예들은 피험자의 의학적 상태를 진단하도록 초음파 디바이스의 오퍼레이터를 보조하기 위한 새로운 기술에 관한 것이다. 일부 실시예에서, 이들 기술들은, 건강 관리 전문가의 컴퓨팅 디바이스(예를 들어, 스마트폰) 상에 설치될 수 있는 진단 앱에서 채용될 수 있다. 진단 앱은 피험자의 의학적 상태를 진단하는 전체 프로세스를 통해 의료 전문가에게 다가 갈 수 있다. 예를 들어, 진단 앱은, 의료 전문가에게, 초음파 디바이스로 촬영할 피험자의 특정한 해부학적 뷰를 결정하는데 채용할 수 있는 피험자에 관한 의학적 정보(예를 들어, 나이, 체중, 신장, 휴식 심박수, 혈압, 신체 표면적 등)를 요청할 수 있다. 그 다음, 진단 앱은 해부학적 뷰의 초음파 영상을 캡처하도록 의료 전문가를 안내할 수 있다. 진단 앱은, 캡처된 초음파 영상(또는 초음파 영상들의 시퀀스) 및/또는 초음파 디바이스로부터의 원시 초음파 데이터를 채용할 수 있다. 피험자의 의학적 상태를 진단하기 위해 초음파 영상(들) 및/또는 원시 초음파 데이터와 조합하여 (피험자에 관한 의학적 정보 등의) 기타의 정보가 채용될 수 있다는 것을 이해해야 한다.
일부 실시예에서, 초음파 디바이스를 이용하여 피험자의 의학적 상태를 진단하기 위한 기술은, 예를 들어, 초음파 디바이스에 통신가능하게 결합된 컴퓨팅 디바이스에 의해 수행되는 방법으로서 구현될 수 있다. 이 방법은 피험자에 관한 의학적 정보를 수신하는 단계를 포함할 수 있다. 피험자에 관한 예시적인 의학적 정보는 : 심박수, 혈압, 신체 표면적, 나이, 체중, 신장, 및 피험자가 복용하는 약물을 포함한다. 의학적 정보는, 예를 들어, 하나 이상의 설문 문항을 오퍼레이터에게 제시함으로써 오퍼레이터로부터 수신될 수 있다. 대안으로서(또는 추가로), 의학적 정보는 외부 서버 등의 외부 디바이스로부터 획득될 수 있다.
일부 실시예에서, 이 방법은 수신된 의학적 정보에 기초하여 초음파 디바이스를 이용하여 캡처될 피험자의 타겟 해부학적 뷰를 식별하는 단계를 더 포함할 수 있다. 식별될 수 있는 예시적인 해부학적 뷰는 : 흉골연 장축(PLAX; parasternal long axis) 해부학적 뷰, 흉골연 단축(PSAX) 해부학적 뷰, 심첨 4-챔버(A4C; apical four-chamber) 해부학적 뷰, 및 심첨 장축(ALAX; apical long axis) 해부학적 뷰를 포함한다. 일부 실시예에서, 의학적 정보가 분석되어, 피험자가 심장 또는 폐 등의 촬영될 수 있는 특정한 장기와 연관된 임의의 건강 문제를 갖고 있는지를 결정할 수 있다. 의학적 정보가 피험자가 이러한 건강 문제를 갖고 있다는 것을 나타낸다면, 장기와 연관된 해부학적 뷰가 식별될 수 있다. 예를 들어, 의학적 정보는, (최근에 발작성 야간 호흡곤란을 경험하는 것 등의) 피험자가 울혈성 심부전의 증상을 갖고 있다는 표시를 포함할 수 있다. 이 예에서, (PLAX 해부학적 뷰 등의) 심장과 연관된 해부학적 뷰가 캡처될 적절한 뷰로서 식별될 수 있다.
일부 실시예에서, 이 방법은 피험자의 타겟 해부학적 뷰를 포함하는 초음파 영상을 획득하는 단계를 더 포함할 수 있다. 예를 들어, 초음파 영상은 피험자의 전자 건강 기록으로부터 획득될 수 있다. 추가로(또는 대안으로서), 오퍼레이터는 타겟 해부학적 뷰를 포함하는 초음파 영상을 획득하도록 안내받을 수 있다. 예를 들어, 타겟 해부학적 뷰를 캡처하도록 피험자 상에서 초음파 디바이스가 적절히 위치설정되도록 피험자 상에서 초음파 디바이스를 재위치시킬 하나 이상의 지침(예를 들어, 지침 시퀀스)이 오퍼레이터에게 제공될 수 있다.
일부 실시예에서, 이 방법은 타겟 해부학적 뷰를 포함하는 초음파 영상을 이용하여 피험자의 의학적 상태의 진단을 생성하는 단계를 더 포함할 수 있다. 예를 들어, 하나 이상의 의학적 파라미터(예를 들어, 구축률)가 초음파 영상(또는 초음파 영상들의 시퀀스)로부터 추출되어 진단을 생성하기 위해 채용될 수 있다. 타겟 해부학적 뷰를 포함하는 초음파 영상과는 별개의 추가 정보가 피험자의 의학적 상태의 진단을 식별하기 위해 채용될 수 있다는 것을 이해해야 한다. 예를 들어, 피험자에 관한 의학적 정보는 진단을 생성하기 위해 초음파 디바이스로부터 추출된 하나 이상의 의학적 파라미터와 조합하여 채용될 수 있다.
일부 실시예에서, 이 방법은 피험자에 대한 하나 이상의 권장된 치료법을 생성하는 단계를 더 포함할 수 있다. 권장된 치료법은 피험자의 진단된 건강 상태에 기초하여 생성될 수 있다. 예를 들어, 피험자는 심장 상태에서 진단을 받을 수 있고(예를 들어, 울혈성 심부전증), 권장된 치료법은 심장 상태를 치료하기 위해 채용되는 약품(예를 들어, 베타 차단제)을 포함할 수 있다.
G. 추가 설명
도 1은 피험자(101)의 타겟 해부학적 뷰의 초음파 영상을 획득하기 위해 초음파 디바이스(102)의 오퍼레이터를 안내하도록 구성된 예시적인 초음파 시스템(100)을 도시한다. 도시된 바와 같이, 초음파 시스템(100)은 통신 링크(112)에 의해 컴퓨팅 디바이스(104)에 통신가능하게 결합된 초음파 디바이스(102)를 포함한다. 컴퓨팅 디바이스(104)는, 초음파 디바이스(102)로부터 초음파 데이터를 수신하고 수신된 초음파 데이터를 이용하여 초음파 영상(110)을 생성하도록 구성될 수 있다. 컴퓨팅 디바이스(104)는, 초음파 영상(110)을 분석하여, 타겟 해부학적 뷰를 포함하는 초음파 영상을 캡처하도록 초음파 디바이스(102)를 재위치시키는 방법에 관하여 초음파 디바이스(102)의 오퍼레이터에게 안내를 제공할 수 있다. 예를 들어, 컴퓨팅 디바이스(104)는 초음파 영상(110)을 분석하여, 초음파 영상(110)이 PLAX 해부학적 뷰 등의 타겟 해부학적 뷰를 포함하는지를 결정할 수 있다. 컴퓨팅 디바이스(104)가 초음파 영상(110)이 타겟 해부학적 뷰를 포함한다고 결정한다면, 컴퓨팅 디바이스(104)는, 초음파 디바이스(102)가 적절하게 위치설정되어 있다는 표시를, 디스플레이(106)를 이용하여 오퍼레이터에게 제공할 수 있다. 그렇지 않다면, 컴퓨팅 디바이스(104)는, 초음파 디바이스(102)를 재위치시키는 방법에 관한 지침(108)을 디스플레이(106)를 이용하여 오퍼레이터에게 제공할 수 있다.
초음파 디바이스(102)는 초음파 데이터를 생성하도록 구성될 수 있다. 초음파 디바이스(102)는, 예를 들어, 피험자(101)에 음파를 방출하고 반사된 음파를 검출함으로써, 초음파 데이터를 생성하도록 구성될 수 있다. 검출된 반사된 음파는 분석되어, 조직의 밀도 등의 음파가 이동한 조직의 다양한 속성을 식별할 수 있다. 초음파 디바이스(102)는 임의의 다양한 방식으로 구현될 수 있다. 예를 들어, 초음파 디바이스(102)는, (도 1에 도시된 바와 같은) 핸드헬드 디바이스로서 또는 예를 들어 접착제를 이용하여 환자에게 결합되는 패치로서 구현될 수 있다. 예시적인 초음파 디바이스는 이하의 예시적인 초음파 디바이스(Example Ultrasound Devices) 섹션에서 상세히 설명된다.
초음파 디바이스(102)는 통신 링크(112)를 이용하여 컴퓨팅 디바이스(104)에 초음파 데이터를 전송할 수 있다. 통신 링크(112)는 유선(또는 무선) 통신 링크일 수 있다. 일부 실시예에서, 통신 링크(112)는, USB(Universal Serial Bus) 케이블 또는 Lightning 케이블 등의 케이블로서 구현될 수 있다. 이들 실시예에서, 케이블은 또한, 컴퓨팅 디바이스(104)로부터 초음파 디바이스(102)로 전력을 전달하는데 이용될 수 있다. 다른 실시예에서, 통신 링크(112)는, BLUETOOTH, WiFi, 또는 ZIGBEE 무선 통신 링크 등의, 무선 통신 링크일 수 있다.
컴퓨팅 디바이스(104)는, 예를 들어, 초음파 디바이스(102)로부터 수신된 초음파 데이터를 처리하기 위한 (프로세서 등의) 하나 이상의 처리 요소를 포함할 수 있다. 또한, 컴퓨팅 디바이스(104)는, 예를 들어, 처리 요소(들)에 의해 실행될 수 있는 명령어를 저장하거나 및/또는 초음파 디바이스(102)로부터 수신된 초음파 데이터 전부 또는 임의의 부분을 저장하기 위한 (비일시적인 컴퓨터 판독가능한 매체 등의) 하나 이상의 저장 요소를 포함할 수 있다. 컴퓨팅 디바이스(104)는 임의의 다양한 방식으로 구현될 수 있다는 것을 이해해야 한다. 예를 들어, 컴퓨팅 디바이스(104)는 도 1에 도시된 통합된 디스플레이(106)를 갖춘 모바일 디바이스(예를 들어, 모바일 스마트폰, 태블릿 또는 랩탑)로서 구현될 수 있다. 다른 예에서, 컴퓨팅 디바이스(104)는 데스크탑 컴퓨터 등의 고정 디바이스로서 구현될 수 있다. 컴퓨팅 디바이스의 추가의 예시적인 구현은 이하의 예시적인 초음파 시스템(Example Ultrasound Systems) 섹션에서 설명된다.
컴퓨팅 디바이스(104)는, 초음파 디바이스(102)로부터 수신된 초음파 데이터를 이용하여 초음파 디바이스(102)의 오퍼레이터에게 안내를 제공하도록 구성될 수 있다. 일부 실시예에서, 컴퓨팅 디바이스(104)는 수신된 초음파 데이터를 이용하여 초음파 영상(110)을 생성하고 자동화된 영상 처리 기술을 이용하여 초음파 영상(110)을 분석하여 타겟 해부학적 뷰를 포함하는 초음파 영상을 캡처하기 위해 오퍼레이터가 초음파 디바이스(102)를 재위치시켜야 하는 방법에 관한 지침(108)을 생성할 수 있다. 예를 들어, 컴퓨팅 디바이스(104)는, (딥 러닝 기술 등의) 머신 학습 기술을 이용하여 초음파 영상(110)에 포함된 해부학적 뷰를 식별하고 초음파 영상(110)에 포함된 해부학적 뷰가 타겟 해부학적 뷰와 정합하는지를 결정할 수 있다. 식별된 해부학적 뷰가 타겟 해부학적 뷰와 정합한다면, 컴퓨팅 디바이스(104)는 초음파 디바이스가 적절하게 위치설정되어 있다는 표시를 디스플레이(106)를 통해 제공할 수 있다. 그렇지 않으면, 컴퓨팅 디바이스(104)는 초음파 디바이스(102)를 재위치시키라는 오퍼레이터에게 제공될 지침을 식별하고 그 지침을 디스플레이(106)를 통해 제공할 수 있다. 또 다른 예에서, 컴퓨팅 디바이스(104)는, 초음파 영상(110)이 타겟 해부학적 뷰를 포함하는지를 결정하는 중간 단계를 수행하지 않고 지침(108)을 생성할 수 있다. 예를 들어, 컴퓨팅 디바이스(104)는 적절한 위치설정의 표시 또는 초음파 디바이스(102)를 재위치시키라는 지침(예를 들어, 지침(108)) 등의 사용자에게 제공될 출력에 초음파 영상(110)을 직접 맵핑하기 위해 (딥 러닝 기술 등의) 머신 학습 기술을 이용할 수 있다.
일부 실시예에서, 컴퓨팅 디바이스(104)는, 안내 계획을 이용하여 피험자(101) 상에 초음파 디바이스(102)를 위치시키는 방법에 관한 오퍼레이터를 위한 지침(108)을 생성하도록 구성될 수 있다. 안내 계획은, 피험자(101) 상의 초기 위치로부터 타겟 해부학적 뷰를 포함하는 초음파 영상이 캡처될 수 있는 피험자(101) 상의 타겟 위치로 초음파 디바이스(102)를 이동시키기 위해 오퍼레이터가 안내받아야 하는 방법을 나타내는 안내 경로를 포함할 수 있다. 피험자에 관한 이러한 안내 경로의 예가 도 2에 도시되어 있다. 도시된 바와 같이, 초음파 디바이스는, 초기에, (피험자(201)의 하부 몸통 상의) 초기 위치(202)에서 피험자(201) 상에 위치할 수 있고, 컴퓨팅 디바이스는 초기 위치(202)와 타겟 위치(204) 사이에서 안내 경로(208)를 생성할 수 있다. 안내 경로(208)는 오퍼레이터에게 제공할 지침들의 시퀀스를 생성하기 위해 컴퓨팅 디바이스에 의해 채용될 수 있다. 예를 들어, 컴퓨팅 디바이스는 안내 경로(208)에 대해 "우측으로 이동"하라는 제1 지침 및 "위로 이동"하라는 제2 지침을 생성할 수 있다. 생성된 지침은 또한, "우측으로 5센티미터 이동" 등의, 이동의 크기의 표시를 포함할 수 있다. 컴퓨팅 디바이스는 오퍼레이터를 정보로 과부하시키는 것을 피하기 위해 이들 지침들을 직렬로(예를 들어, 한번에 하나씩) 제공할 수 있다.
컴퓨팅 디바이스는, 자동화된 영상 처리 기술(예를 들어, 딥 러닝 기술)을 이용하여 초음파 디바이스로부터 수신된 초음파 데이터를 분석함으로써 초기 위치(202)를 식별할 수 있다. 예를 들어, 컴퓨팅 디바이스는 초음파 영상에 포함된 해부학적 뷰의 표시를 출력으로서 제공하도록 구성된(예를 들어, 훈련된) 신경망에 대한 입력으로서 (초음파 데이터를 이용하여 생성된) 초음파 영상을 제공할 수 있다. 그 다음, 컴퓨팅 디바이스는 식별된 해부학적 뷰를 피험자(201) 상의 위치에 맵핑할 수 있다. 해부학적 뷰와 피험자(201) 상의 위치 사이의 맵핑은, 예를 들어, 컴퓨팅 디바이스 상에 국지적으로 저장될 수 있다. 컴퓨팅 디바이스는 타겟 해부학적 뷰에 기초하여 타겟 위치(204)를 식별할 수 있다. 예를 들어, 컴퓨팅 디바이스는 타겟 해부학적 뷰를 피험자(201) 상의 위치에 맵핑할 수 있다. 타겟 해부학적 뷰와 피험자(201) 상의 위치 사이의 맵핑은, 예를 들어, 컴퓨팅 디바이스 상에 국지적으로 저장될 수 있다.
일단 초기 위치(202) 및 타겟 위치(204)가 식별되고 나면, 컴퓨팅 디바이스는 초기 위치(202)로부터 타겟 위치(204)로 초음파 디바이스를 이동시키기 위해 오퍼레이터가 따라야 하는 안내 경로(208)를 식별할 수 있다. 컴퓨팅 디바이스는, 예를 들어, 초기 위치(202)와 타겟 위치(204) 사이의 최단 경로(예를 들어, 대각선 경로)를 식별함으로써 안내 경로(208)를 생성할 수 있다. 대안으로서, 컴퓨팅 디바이스는 하나 이상의 제약을 충족하는 초기 위치(202)와 타겟 위치(204) 사이의 최단 경로를 식별함으로써 안내 경로(208)를 생성할 수 있다. 하나 이상의 제약 조건은, 예를 들어 안내 경로(208)를 따라 초음파 디바이스를 이동시키라는 지침을 오퍼레이터에게 용이하게 전달하도록 선택될 수 있다. 예를 들어, (대각선 방향 등의) 특정한 방향으로의 이동은 오퍼레이터에게 정확하게 전달하기에 더 어려울 수 있다. 이로써, 컴퓨팅 디바이스는, 도 2의 "L"자 형상의 안내 경로(208)에 의해 도시된 바와 같이 대각선 이동을 생략한 최단 경로를 안내 경로로서 식별할 수 있다. 추가로(또는 대안으로서), 안내 경로(208)는 피험자의 경조직(예를 들어, 뼈) 위로의 횡단을 최소화하도록 선택될 수 있다. 이러한 경조직 위로의 이동을 최소화하는 것은, 유익하게도, 컴퓨팅 디바이스가 안내 경로(208)를 따른 초음파 디바이스의 이동을 더욱 용이하게 추적하는 것을 허용할 수 있다. 예를 들어, 초음파 디바이스에 의해 방출된 음파는 전형적으로 경조직을 관통하지 않기 때문에 뼈의 초음파 영상은 공백(또는 거의 공백)일 수 있다. 컴퓨팅 디바이스는 이러한 초음파 영상들을 분석하여 이들이 어느 해부학적 뷰에 속해 있는지를 결정할 수 없고, 따라서 피험자(201) 상에서의 초음파 디바이스의 위치를 추적하지 못할 수도 있다. 이러한 경조직 위로의 이동을 최소화하는 것은, 오퍼레이터가 캡처된 초음파 영상을 분석함으로써 안내 경로(208)를 따라 초음파 디바이스를 이동시킬 때 컴퓨팅 디바이스가 초음파 디바이스의 진행을 더욱 용이하게 추적하는 것을 허용할 수 있다.
컴퓨팅 디바이스는 생성된 안내 경로(208)를 국지적으로 저장할 수 있고 안내 경로를 이용하여 오퍼레이터에게 제공할 지침 시퀀스를 생성할 수 있다. 예를 들어, 컴퓨팅 디바이스는 안내 경로(208)를 이용하여 지침 시퀀스 : (1) "옆으로 이동", (2) "위로 이동", 및 (3) "시계방향으로 비틀기"를 생성할 수 있다. 이들 지침들은, 차례로, 초기 위치(202)로부터 타겟 위치(204)로 초음파 디바이스를 이동시키도록 오퍼레이터를 안내하기 위해 직렬 방식으로 오퍼레이터에게 제공될 수 있다.
전술된 바와 같이, 초음파 디바이스의 초보 오퍼레이터는 인간 생리학에 대한 지식을 거의 또는 전혀 갖지 않을 수 있다. 따라서, 초기 위치(202)는 타겟 위치(204)로부터 멀리 떨어져 있을 수 있다. 예를 들어, 오퍼레이터는 초기에, 타겟 위치(204)가 피험자(201)의 상위 몸통 상에 있을 때 피험자(201)의 다리 상에 초음파 디바이스를 위치시킬 수 있다. 먼 초기 위치(202)로부터 타겟 위치(204)로 초음파 디바이스를 이동시키는 개개의 지침들의 시퀀스를 제공하는 것은 시간 소모적인 프로세스일 수 있다. 따라서, 컴퓨팅 디바이스는, 초기에, (예를 들어, 피험자(201)의 상위 몸통 등의) 피험자(201)의 일반적인 영역으로 초음파 디바이스를 이동시키라는 대략적 지침을 오퍼레이터에게 제공하고 후속해서 초음파 디바이스를 ("위로 이동" 등의) 특정한 방향으로 이동시키라는 하나 이상의 정밀 지침을 제공할 수 있다.
일부 실시예에서, 컴퓨팅 디바이스는, 초음파 디바이스가 피험자(201) 상의 미리결정된 영역(206) 내에서 피험자 상에 위치설정되어 있는지에 관한 결정에 기초하여 대략적 지침 또는 정밀 지침을 내릴지에 관한 결정을 할 수 있다. 미리결정된 영역(206)은 타겟 위치(204)를 포함하는 피험자(201) 상의 영역일 수 있고, 오퍼레이터가 식별하기 용이하다. 예를 들어, 타겟 위치(204)는 피험자(201)의 심장 위에 있을 수 있고, 미리결정된 영역(206)은 피험자의 상위 몸통을 포함할 수 있다. 컴퓨팅 디바이스는, 초음파 디바이스의 위치가 미리결정된 영역(206) 내에 있는 것에 응답하여 정밀 지침을 제공할 수 있고 초음파 디바이스가 미리결정된 영역(206) 외부에 있는 것에 응답하여 대략적 지침을 제공할 수 있다. 예를 들어, 오퍼레이터는 초기에, 피험자(201)의 다리 상에 초음파 디바이스를 위치시킬 수 있고, 컴퓨팅 디바이스는 초음파 디바이스를 피험자(201)의 상위 몸통(예를 들어, 미리결정된 영역(206))으로 이동시키도록 오퍼레이터에게 지시하는 대략적 지침을 제공할 수 있다. 일단 오퍼레이터가 피험자(201)의 상위 몸통 상에(따라서 미리결정된 영역(206) 내에) 초음파 디바이스를 위치시키고 나면, 컴퓨팅 디바이스는 초음파 디바이스를 타겟 위치(204)를 향해 이동시킬 특정한 방향의 표시를 포함하는 정밀 지침을 제공할 수 있다.
대략적 지침을 제공하는 것은 유익하게도 초음파 디바이스의 오퍼레이터를 안내하는 프로세스를 촉진시킬 수 있다. 예를 들어, 오퍼레이터는 인간 생리학에 익숙하지 않을 수도 있고, 오퍼레이터가 피험자(201)의 심장의 해부학적 뷰를 포함하는 초음파 영상을 캡처하려고 시도하는 동안 초기에 초음파 디바이스를 피험자(201)의 다리 상에 배치할 수도 있다. 이 예에서, (1) 허벅지로부터 하위 몸통으로 및 (2) 하위 몸통으로부터 상위 몸통으로 초음파 디바이스를 이동시키라는 오퍼레이터에 대한 한 세트의 지침을 제공하는 대신에 초음파 디바이스를 배치할 위치(예를 들어, 피험자의 상측 몸통 상)의 표시를 포함하는 대략적 지침이 오퍼레이터에게 제공될 수 있다.
도 3a는 컴퓨팅 디바이스(304) 상의 디스플레이(306)를 통해 오퍼레이터에게 제공될 수 있는 예시적인 대략적 지침(302)을 도시한다. 대략적 지침(302)은 초음파 디바이스가 피험자의 미리결정된 영역의 외부에 위치해 있을 때 제공될 수 있다. 도시된 바와 같이, 대략적 지침(302)은, 미리결정된 영역 내에 있도록 오퍼레이터가 피험자 상의 초음파 디바이스를 위치시켜야하는 곳의 표시를 포함한다. 특히, 대략적 지침(302)은 피험자(301)의 그래픽 영상에서 미리결정된 영역이 위치해 있는 곳을 나타내는 심볼(308)(예를 들어, 별)을 포함한다. 대략적 지침(302)은 또한, 피험자(301)의 그래픽 영상에서 심볼(308)이 위치해 있는 곳에 초음파 디바이스가 배치되어야 한다는 것을 오퍼레이터에게 전달하기 위해 오퍼레이터에게 "초음파 디바이스를 여기에 위치시키세요"라고 오퍼레이터에게 지시하는 메시지(310)를 심볼(308)을 가리키는 화살표와 함께 포함한다.
도 3b는 컴퓨팅 디바이스(304) 상의 디스플레이(306)를 통해 오퍼레이터에게 제공될 수 있는 예시적인 정밀 지침(312)을 도시한다. 정밀 지침(312)은 초음파 디바이스가 피험자의 미리결정된 영역 내에 위치할 때 제공될 수 있다. 도시된 바와 같이, 정밀 지침(312)은 오퍼레이터가 초음파 디바이스를 어느 방향으로 이동시켜야 하는지를 나타내는 심볼(314)을 포함한다. 심볼(314)은 일부 구현에서 애니메이트될 수 있다. 예를 들어, 심볼(314)(예를 들어, 화살표 및/또는 초음파 디바이스의 모델)은 초음파 디바이스가 이동되어야 할 방향으로 이동할 수 있다.
정밀 지침(312)은 또한, 메시지 "시계방향으로 회전" 등의 심볼(314)을 보완하는 메시지(316)를 포함할 수 있다. 심볼(314) 및/또는 메시지(316)는 배경 영상(311)에 오버레이될 수 있다. 배경 영상(311)은, 예를 들어, 초음파 디바이스로부터 수신된 초음파 데이터를 이용하여 생성된 초음파 영상일 수 있다. 도 3c는 컴퓨팅 디바이스(304) 상의 디스플레이(306)를 통해 오퍼레이터에게 제공될 수 있는 예시적인 확인(318)을 도시한다. 확인(318)은, 타겟 해부학적 뷰를 포함하는 초음파 영상을 캡처하기 위해 초음파 디바이스가 피험자 상에 적절하게 위치설정되어 있을 때 제공될 수 있다. 도시된 바와 같이, 확인(318)은 초음파 디바이스가 적절하게 위치설정되어 있다는 것을 나타내는 심볼(예를 들어, 체크마크)(320)을 포함한다. 확인(318)은 또한, 메시지 "유지(HOLD)" 등의 심볼(320)을 보완하는 메시지(322)를 포함할 수 있다. 심볼(320) 및/또는 메시지(322)는 배경 영상(311)에 오버레이될 수 있다. 배경 영상(311)은, 예를 들어, 초음파 디바이스로부터 수신된 초음파 데이터를 이용하여 생성된 초음파 영상일 수 있다. 일단 오퍼레이터가 타겟 해부학적 뷰를 포함하는 초음파 영상을 성공적으로 캡처하고 나면, 컴퓨팅 디바이스는 캡처된 초음파 영상을 분석하도록 구성될 수 있다. 예를 들어, 컴퓨팅 디바이스는 자동화된 영상 처리 기술을 이용하여 캡처된 초음파 영상을 분석하여 피험자의 의학적 파라미터를 식별할 수 있다. 초음파 영상으로부터 획득될 수 있는 피험자의 예시적인 의학적 파라미터는 : 구축률, 구획 단축률, 심실 직경, 심실 체적, 심장 이완 말기 체적, 심장 수축 말기 체적, 심 박출량, 1회 박출량, 심실 중격 두께, 심실 벽 두께, 및 맥박 수를 포함한다. 컴퓨팅 디바이스는, 예를 들어, (심장 심실, 심장 판막, 심장 중막, 심장 유두근, 심장 심방, 대동맥 및 폐 등의) 초음파 영상 내의 해부학적 피처를 식별하고 식별된 해부학적 피처를 분석함으로써 이들 의학적 파라미터들을 식별할 수 있다. 컴퓨팅 디바이스는, (딥 러닝 기술 등의) 자동화된 영상 처리 기술을 이용하여 해부학적 피처를 식별할 수 있다. 예를 들어, 컴퓨팅 디바이스는, 초음파 영상 내의 어떤 픽셀이 특정한 해부학적 피처와 연관되어 있는지에 대한 표시를 출력으로서 제공하도록 구성된(예를 들어, 훈련된) 신경망에 캡처된 초음파 영상을 제공할 수 있다. 이 신경망은 오퍼레이터를 안내하기 위해 채용되는 임의의 신경망과는 별개이며 구별될 수 있다는 것을 이해해야 한다.
생성된 의학적 파라미터는 도 4에 도시된 바와 같이 캡처된 초음파 영상에 오버레이될 수 있다. 도시된 바와 같이, 컴퓨팅 디바이스(404)는, 초음파 영상(408) 및 초음파 영상(408)에 오버레이된 한 세트의 의학적 파라미터(410)를 (통합된 디스플레이(406)를 통해) 디스플레이할 수 있다. 초음파 영상(408)은 피험자의 심장의 뷰를 포함하는 피험자의 PLAX 뷰를 포함할 수 있다. 초음파 영상(408)에서, 컴퓨팅 디바이스는 좌심실을 해부학적 피처(402)로서 식별하고 (해부학적 피처 특성(404)으로 도시된 좌심실 직경 등의) 좌심실의 특성을 분석하여 의학적 파라미터(410)를 식별할 수 있다. 도 4에 도시된 의학적 파라미터(410)는 : 38.3 밀리미터(mm)의 좌심실 직경(LVD), 38.2 밀리미터의 좌심실 수축 말기 직경(LVESD), 49.5 밀리미터의 좌심실 이완 말기 직경(LVEDD), 23%의 구획 단축률(FS), 45%의 구축률(EF)을 포함한다.
컴퓨팅 디바이스는 타겟 해부학적 뷰를 포함하는 하나보다 많은 단일 초음파 영상을 이용하여 의학적 파라미터(410)를 식별할 수 있다는 것을 이해해야 한다. 일부 실시예에서, 의학적 파라미터를 생성하기 위해 적어도 하나의 완전한 심장 박동에 걸쳐있는 심장의 초음파 영상들의 시퀀스가 캡처될 수 있다. 예를 들어, 초음파 영상이 분석되어 심장 심실의 수축의 끝에서 어떤 초음파 영상이 캡처되었는지(수축 말기 영상이라고 함), 및 어떤 초음파 영상이 심장 심실의 수축 시작 직전에 캡처되었는지(이완 말기 영상이라고 함)를 결정할 수 있다. 수축 말기 영상은, 예를 들어, 최소의 심실 체적(또는 직경)을 갖는 시퀀스 내의 초음파 영상을 식별함으로써 식별될 수 있다. 유사하게, 이완 말기 영상은, 예를 들어, 최대의 심실 체적(또는 직경)을 갖는 시퀀스 내의 초음파 영상을 식별함으로써 식별될 수 있다. 수축 말기 영상이 분석되어, 수축 말기 직경(ESD) 및/또는 수축 말기 체적(ESV) 등의 심장 수축의 끝에서 측정되는 하나 이상의 의학적 파라미터를 결정할 수 있다. 유사하게, 이완 말기 영상이 분석되어, 이완 말기 직경(EDD) 및/또는 이완 말기 체적(EDV) 등의 심장 수축의 시작 직전에 측정되는 하나 이상의 의학적 파라미터를 결정할 수 있다. 일부 의학적 파라미터는 수축 말기 영상과 이완 말기 영상 양쪽 모두의 분석을 요구할 수 있다. 예를 들어, EF의 식별은, 아래의 수학식 (1)에 나타낸 바와 같이 (1) 이완 말기 영상을 이용하여 식별된 EDV 및 (2) 수축 말기 영상을 이용하여 식별된 ESV를 요구할 수 있다 :
Figure pct00001
유사하게, FS의 식별은, 아래의 수학식 (2)에 나타낸 바와 (1) 이완 말기 영상을 이용하여 식별된 EDD 및 (2) 수축 말기 영상을 이용하여 식별된 ESD를 요구할 수 있다 :
Figure pct00002
일부 실시예에서, 컴퓨팅 디바이스는 의학적 파라미터의 값에 기초하여 디스플레이(406)에 표시된 의학적 파라미터(410)의 컬러를 변경할 수 있다. 예를 들어, 의학적 파라미터(410)는, 값들이 정상 범위 내에 있음을 나타내기 위해 제1 컬러(예를 들어, 녹색)로, 값들이 경계선 비정상 범위에 있음을 나타내기 위해 제2 컬러(예를 들어, 오렌지색)로, 값들이 비정상 범위에 있음을 나타내기 위해 제3 컬러(예를 들어, 적색)로 디스플레이될 수 있다.
예시적인 증강 현실 인터페이스
본 발명자들은, 증강 현실 인터페이스를 통해 오퍼레이터에게 지침을 제공하는 것은 유익하게도 오퍼레이터가 지침을 더 쉽게 이해할 수 있게 한다는 것을 인식하였다. 도 5a는 오퍼레이터에게 증강 현실 인터페이스를 제공하도록 구성된 예시적인 초음파 시스템을 도시한다. 도시된 바와 같이, 초음파 시스템은, 통신 링크(512)를 통해 컴퓨팅 디바이스(504)에 통신가능하게 결합된 초음파 디바이스(502)를 포함한다. 초음파 디바이스(502), 통신 링크(512), 및/또는 컴퓨팅 디바이스(504)는, 도 1을 참조하여 전술된 바와 같이, 각각, 초음파 디바이스(102), 통신 링크(112), 및/또는 컴퓨팅 디바이스(104)와 유사(또는 동일)할 수 있다. 초음파 시스템은 초음파 디바이스(502)에 배치된 마커(510)를 더 포함한다. 마커는 유익하게도 컴퓨팅 디바이스(504)가, (예를 들어, 컴퓨팅 디바이스(504)에 통합된) 촬영 디바이스(506)에 의해 캡처된 비음향 영상에서 초음파 디바이스의 위치를 더욱 용이하게 추적하는 것을 허용한다. 컴퓨팅 디바이스(504)는, 비음향 영상 내의 초음파 디바이스의 추적된 위치를 이용하여 하나 이상의 요소(예를 들어, 지침)를 비음향 영상에 오버레이하여 증강 현실 인터페이스를 형성할 수 있다. 이러한 증강 현실 인터페이스는, (예를 들어, 컴퓨팅 디바이스(502)에 통합되고 촬영 디바이스(506)에 관해 반대측에 배치된) 디스플레이(508)를 통해 디스플레이될 수 있다.
컴퓨팅 디바이스(504)는 핸드헬드 디바이스로서 구현될 필요는 없다는 것을 이해해야 한다. 일부 실시예에서, 컴퓨팅 디바이스(504)는 오퍼레이터에게 지침을 디스플레이하는 메커니즘을 갖춘 착용형 디바이스로서 구현될 수 있다. 예를 들어, 컴퓨팅 디바이스(504)는 착용형 헤드셋 및/또는 한 쌍의 스마트 안경(예를 들어, GOOGLE GLASS, APPLE AR 안경 및 MICROSOFT HOLOLENS)으로서 구현될 수 있다.
도 5b는 오퍼레이터의 관점에서의 초음파 시스템의 또 다른 도면을 도시한다. 도시된 바와 같이, 컴퓨팅 디바이스(504)의 디스플레이(508)는, (예를 들어, 촬영 디바이스(506)에 의해 캡처된) 피험자(501) 상에서 이용되고 있는 초음파 디바이스(502)의 비음향 영상(512) 및 영상(512)에 오버레이된 하나 이상의 요소를 포함하는 증강 현실 인터페이스를 디스플레이한다. 예를 들어, 오퍼레이터가 초음파 디바이스(502)를 이동시킬 방향, 타겟 해부학적 평면의 한 위치를 나타내는 심볼, 및/또는 초음파 디바이스(502)에 의해 캡처된 초음파 영상(514)을 나타내는 지침(516)이 영상(512)에 오버레이될 수 있다. 이들 요소들은, 예를 들어, (요소 아래의 영상(512)의 부분을 가리기 위한) 불투명 요소로서, (요소 아래의 영상(512)의 부분을 가리지 않기 위한) 불투명 요소로서, 의사 컬러화된 요소로서, 및/또는 절개된 요소로서 구현될 수 있다.
일부 실시예에서, 지침(516)의 적어도 일부가 영상(512) 내의 초음파 디바이스(502)에 오버레이되도록 지침(516)이 영상(512)에 오버레이될 수 있다. 컴퓨팅 디바이스(504)는, 예를 들어, 마커(510)를 이용하여 영상(512) 내의 초음파 디바이스(502)의 자세(예를 들어, 위치 및/또는 배향)를 식별하고 식별된 자세를 이용하여 지침(516)을 증강 현실 인터페이스에 위치시킬 수 있다. 마커(510)는 영상(512)에서 용이하게 인식될 수 있는 하나 이상의 독특한 특성을 갖도록 구성될 수 있다. 예시적인 마커는 : 단색 마커, 홀로그래픽 마커, 및 분산 마커를 포함한다. 모노크롬 마커는 ArUco 마커 등의 단색 패턴을 포함할 수 있다. 홀로그래픽 마커는, 홀로그램이 관찰되는 특정한 각도에 따라 상이한 영상을 프리젠팅하는 홀로그램을 포함할 수 있다. 분산 마커는, 분산 요소가 관찰되는 특정한 각도에 따라 상이한 컬러를 프리젠팅하는 분산 요소를 포함할 수 있다. 컴퓨팅 디바이스(504)는 임의의 다양한 방법으로 초음파 디바이스(502)의 자세를 식별할 수 있다. 일부 실시예에서, 컴퓨팅 디바이스는 마커(510)의 위치를 식별함으로써 영상(512) 내의 초음파 디바이스(502)의 위치를 식별할 수 있다. 마커(510)의 위치는 영상(512) 내의 마커(510)의 하나 이상의 뚜렷한 특성을 검색함으로써 식별될 수 있다. 추가로(또는 대안으로서), 컴퓨팅 디바이스는 마커(512)의 하나 이상의 특성을 분석함으로써 영상(512) 내의 초음파 디바이스(502)의 배향을 식별할 수 있다. 예를 들어, 마커(510)는 분산 마커일 수 있고 컴퓨팅 디바이스는 영상(512)에서 마커(510)의 컬러를 식별함으로써 영상(512)에서 초음파 디바이스(502)의 배향을 식별할 수 있다. 또 다른 예에서, 마커(510)는 홀로그래픽 마커일 수 있고 컴퓨팅 디바이스는 영상(512)에서 마커(510)에 의해 프리젠팅된 영상을 식별함으로써 영상(512)에서 초음파 디바이스(502)의 배향을 식별할 수 있다. 역시 또 다른 예에서, 마커(510)는 패턴화된 단색 마커일 수 있고, 컴퓨팅 디바이스는 영상(512)에서 마커(510) 상의 패턴의 배향을 식별함으로써 영상(512)에서 초음파 디바이스(502)의 배향을 식별할 수 있다.
초음파 디바이스(502)의 자세는 마커(510)없이 식별될 수 있다는 것을 이해해야 한다. 예를 들어, 초음파 디바이스(502)는 영상(512)에서 용이하게 식별될 수 있는 독특한 특성(예를 들어, 형상 및/또는 컬러)을 가질 수 있다. 따라서, 컴퓨팅 디바이스(504)는, 영상(510) 내의 초음파 디바이스(502)의 하나 이상의 특성을 분석함으로써 영상(510) 내의 초음파 디바이스(502)의 자세를 식별할 수 있다.
일부 실시예에서, 영상(512) 내의 초음파 디바이스(502)의 식별된 자세는 지침(516)과는 별개의 영상(512)에 다른 요소들을 오버레이하기 위해 채용될 수 있다. 예를 들어, 초음파 디바이스(502)의 식별된 자세는, 초음파 영상(514)이 초음파 디바이스(502)로부터 피험자(501) 내로 연장되는 것처럼 보이도록 초음파 영상(514)을 영상(512)에 오버레이하기 위해 채용될 수 있다. 이러한 구성은 유익하게도 초음파 디바이스(502)에 의해 촬영되고 있는 피험자의 특정한 부분의 표시를 오퍼레이터에게 제공할 수 있다. 컴퓨팅 디바이스(604)의 디스플레이(606) 상에 디스플레이된 이러한 증강 현실 인터페이스의 한 예가 도 6에 도시되어 있다. 증강 현실 인터페이스는, (예를 들어, 핸드헬드 디바이스 컴퓨팅 디바이스(604)의 전방을 향한 카메라로부터 캡처된) 피험자(601)를 촬영하는데 이용되는 초음파 디바이스(602)의 영상에 초음파 영상(610) 및 초음파 디바이스 심볼(608)을 오버레이한다. 도시된 바와 같이, 초음파 영상(610)은 초음파 디바이스(602)에 의해 촬영되고 있는 피험자(601)의 부분 상에 오버레이된다. 특히, 초음파 영상(610)은 초음파 디바이스(602)로부터 피험자(601) 내로 연장되도록 위치설정되고 배향되었다. 초음파 영상(610)의 이러한 위치 및 배향은 촬영되고 있는 피험자(601)의 특정한 부분을 오퍼레이터에게 표시할 수 있다. 예를 들어, 초음파 디바이스(602)는 피험자(601)의 상위 몸통 상에 위치할 수 있고, 초음파 영상(610)은 피험자(601)와 접촉하는 초음파 디바이스(602)의 단부로부터 피험자(601)의 상위 몸통 내로 연장될 수 있다. 이에 따라, 오퍼레이터는, 캡처된 영상이 피험자(601)의 상위 몸통 내의 신체 조직의 2D 단면의 영상임을 통보받을 수 있다.
추가의(또는 더 적은 수의) 요소들이 도 6의 피험자(601) 상에 이용되는 초음파 디바이스(602)의 영상에 오버레이될 수 있다는 것을 이해해야 한다. 예를 들어, 초음파 디바이스(602)에 오버레이된 초음파 디바이스 심볼(608)은 생략될 수 있다. 추가로(또는 대안으로서), 사용자 인터페이스는, 지침(예를 들어, 증강 현실 화살표)을 피험자(601) 상의 초음파 디바이스(602)의 영상에 오버레이하여 오퍼레이터에게 안내를 제공할 수 있다.
예시적인 진단 애플리케이션
본 발명자들은, 초음파 촬영 기술이 의학적 촬영에 대한 접근을 민주화하고 촬영을 일상적인 임상 실습 및/또는 환자 모니터링 속으로 가속화하는 지능적이고 적당한 제품 및 서비스의 생태계를 제공하기 위해 진단 및 치료법 추천과 유익하게 결합될 수 있다는 것을 인식하였다. 이것은, 의료 전문가 및/또는 환자가 질병의 초기 상태에서 진단 및 치료 결정을 내릴 수 있게 할 뿐만 아니라, 초보 촬영 사용자(예를 들어, 소비자)가 다양한 상태를 조기에 검출하고 치료에 대한 환자 반응을 모니터링하는 것을 보조함으로써, 종래의 임상 의사결정 지원(CDS) 애플리케이션에서의 진보를 제공할 수 있다. 본 명세서에서 설명된 기술 개선은, 특히, 초음파 시스템에 의한 상태의 집중적 진단, 조기 검출 및 치료를 가능케할 수 있다. 초음파 시스템은, 피험자의 초음파 영상을 캡처하도록 구성된 초음파 디바이스, 및 초음파 디바이스와 통신하는 컴퓨팅 디바이스를 포함할 수 있다. 컴퓨팅 디바이스는, 예를 들어, 다음과 같은 기능들 중 하나 이상을 수행하도록 구성된 진단 애플리케이션을 실행할 수 있다 : (1) 피험자에 관한 의학적 정보를 취득, (2) 피험자에 관한 취득된 의학적 정보에 기초하여 초음파 디바이스로 촬영할 피험자의 해부학적 뷰를 식별, (3) 식별된 해부학적 뷰를 포함하는 초음파 영상(들)을 캡처하도록 오퍼레이터를 안내, (4) 캡처된 초음파 영상에 기초하여 피험자의 의학적 상태의 진단(또는 사전 진단)을 제공, (5) 진단에 기초하여 하나 이상의 권장된 치료법을 제공.
도 7a 내지 도 7h는 피험자가 심부전을 겪고 있는지를 결정하는데 있어서 오퍼레이터를 보조하도록 구성된 진단 애플리케이션에 대한 예시적인 사용자 인터페이스를 도시한다. 진단 애플리케이션은, 예를 들어, 의사, 간호사 또는 의사 보조원 등의, 의료 전문가에 의해 이용되도록 설계될 수 있다. 진단 애플리케이션은 예를 들어 컴퓨팅 디바이스(704)에 의해 실행될 수 있다. 컴퓨팅 디바이스(704)는, 진단 애플리케이션의 하나 이상의 사용자 인터페이스 스크린을 디스플레이하도록 구성된 통합된 디스플레이(706)를 포함할 수 있다. 컴퓨팅 디바이스(704)는 유선 또는 무선 통신 링크를 이용하여 초음파 디바이스(미도시)에 통신가능하게 결합될 수 있다. 도 7a는 진단 애플리케이션이 론칭될 때 디스플레이될 수 있는 예시적인 홈 스크린을 도시한다. 홈 스크린 상에 프리젠팅될 수 있는 정보는, 애플리케이션 타이틀(702), 애플리케이션 설명(703), 및 스폰서 영역(708)을 포함한다. 스폰서 영역(708)은, 예를 들어, 진단 애플리케이션을 제공하는 임의의 후원업체의 명칭, 심볼, 또는 로고를 나타내는 정보를 디스플레이할 수 있다. 심부전 진단 애플리케이션의 경우, 이러한 상태를 치료하기 위한 하나 이상의 약물 또는 치료법을 제공하는 제약 회사가 이 애플리케이션을 후원할 수 있다. 홈 스크린은, 오퍼레이터가, 피험자의 후속 검사를 스케쥴하거나, 더 많은 의료 자원을 액세스하거나, 또는 새로운 진단을 시작하는 것 등의 진단 애플리케이션 내에서 다양한 기능을 수행하는 것을 허용하는 선택 영역을 더 포함할 수 있다.
컴퓨팅 디바이스(704)는, 도 7a에 도시된 홈 스크린에서 활성화되는 선택 영역(710)에서의 "새로운 진단 시작" 버튼에 응답하여 홈 스크린으로부터 도 7b에 도시된 임상 Q&A 스크린으로 천이할 수 있다. 임상 Q&A 스크린은 하나 이상의 임상 질문(712)을 오퍼레이터에게 제시할 수 있다. 심부전 진단 애플리케이션의 경우, 오퍼레이터에게 제시되는 적절한 임상 질문(712)은 : "환자가 발작성 야간 호흡곤란을 겪고 있습니까?"일 수 있다. 발작성 야간 호흡곤란은, 일반적으로 밤에 발생하는 심각한 호흡곤란 및 기침 발작일 수 있다. 이러한 발작은 울혈성 심부전의 증상일 수 있다. 진단 애플리케이션은 응답 영역(712)에서 임상 질문에 대한 답변을 수신할 수 있다. 또한 도 7b로부터 알 수 있는 바와 같이, 스폰서 영역(708)은 진단 애플리케이션에서 계속 제공될 수 있다. 스폰서 영역(708)은, 스폰서에 의해 호스팅되는 사이트로 가는, 진단 애플리케이션을 벗어나는 링크를 포함할 수 있다.
컴퓨팅 디바이스(704)는 응답 영역(714)에서 활성화되는 "예" 버튼에 응답하여 임상 Q&A 스크린으로부터 검사 스크린으로 천이할 수 있다. 검사 스크린은 하나 이상의 검사 질문(718)을 오퍼레이터에게 제시할 수 있다. 심부전 진단 애플리케이션의 경우, 검사 질문(718)은 진단될 피험자의 현재 심박수를 결정하는 것일 수 있다. 진단 애플리케이션은 응답 영역(720)을 통해 응답을 수신할 수 있다. 예를 들어, 오퍼레이터는, 응답 영역(720)에서, 피험자의 심박수가 제1 값 아래이거나(예를 들어, 분당 91회 미만의 박동(bpm)), 제1 값과 제2 값 사이의 범위 내(예를 들어, 91 내지 110 bpm)이거나, 또는 제2 값을 초과(예를 들어, 110 bpm 초과)한다는 것을 나타낼 수 있다.
일단 컴퓨팅 디바이스(704)가 검사 질문(718)에 대한 응답을 수신하고 나면, 컴퓨팅 디바이스(704)는 도 7c에 도시된 검사 스크린으로부터 도 7d에 도시된 초음파 영상 취득 스크린으로 천이할 수 있다. 초음파 영상 취득 스크린은 오퍼레이터에게 촬영 지침(722)을 프리젠팅할 수 있다. 심부전 진단 애플리케이션의 경우, 촬영 지침(722)은 피험자의 보조된 구축률(EF) 측정을 시작하도록 오퍼레이터에게 지시할 수 있다. EF는 심장 심실이 각각의 수축에서 얼마나 많은 혈액을 펌핑하는지의 측정치일 수 있다. EF는, 예를 들어, 피험자의 심장의 하나 이상의 초음파 영상을 분석함으로써 계산되어 식별될 수 있다. 컴퓨팅 디바이스(704)는, 선택 영역(724)의 "측정 시작" 버튼이 활성화되는 것에 응답하여 보조된 EF 측정 프로세스를 시작할 수 있다.
컴퓨팅 디바이스(702)는, "시작 측정" 버튼이 선택 영역(724)에서 활성화되는 것에 응답하여 초음파 디바이스와 통신하여 초음파 영상을 캡처할 수 있다. 또한, 컴퓨팅 디바이스(702)는, 도 7d에 도시된 영상 취득 스크린으로부터 도 7e에 도시된 영상 취득 보조 스크린으로 천이할 수 있다. 영상 취득 보조 스크린은 초음파 디바이스를 이용하여 캡처된 초음파 영상(726)을 디스플레이할 수 있다. 일부 실시예에서, 영상 취득 보조 스크린은 타겟 해부학적 뷰(예를 들어, PLAX 영상)를 포함하는 초음파 영상을 획득하기 위해 초음파 디바이스를 재위치시키는 방법에 관한 하나 이상의 지침을 디스플레이할 수 있다. 일단 초음파 디바이스가 적절히 위치설정되고 나면, 영상 취득 보조 스크린은 초음파 디바이스가 적절하게 위치설정되어 있다는 표시를 디스플레이할 수 있다. 적절한(임상적으로 관련된) 영상(들)이 획득되면, 오퍼레이터는 "확인" 버튼을 통해 취득을 확정할 수 있다.
컴퓨팅 디바이스(704)는, 일단 초음파 영상이 오퍼레이터에 의해 확정되고 나면, 도 7e에 도시된 영상 취득 보조 스크린으로부터 도 7f에 도시된 진단 결과 스크린으로 천이할 수 있다. 진단 결과 스크린은 캡처된 초음파 영상(730)을 분석함으로써 결정된 진단 결과(728, 732)를 디스플레이할 수 있다. 도시된 바와 같이, 진단 결과 스크린은 피험자에 대한 30%의 EF 및 연관된 NYHA(New York Heart Association; 뉴욕 심장 협회) 분류 IV를 디스플레이할 수 있다. 이 분류 시스템은, I 내지 IV까지의 심부전의 4개의 분류를 이용하며, IV가 가장 심각하다. 컴퓨팅 디바이스(704)는, "가능한 치료 보기" 버튼이 선택 영역(734)에서 활성화되는 것에 응답하여 도 7f에 도시된 진단 결과 스크린으로부터 도 7g 및 도 7h에 도시된 하나 이상의 치료 스크린으로 천이할 수 있다. 도 7g에 도시된 치료 스크린은, 피험자에게 제공되고 있는 현재의 치료에 관한 치료 질문(736) 및 예를 들어 다음 중 임의의 하나에 기초하여 결정된 제안된 치료(738)를 디스플레이할 수 있다 : (1) 치료 질문(736)에 대한 응답, (2) 진단 결과, (3) 캡처된 초음파 영상, (4) 신체 검사 질문에 대한 응답, 및/또는 (5) 임상 질문에 대한 응답. 도 7h에 도시된 치료 스크린은 도 7g의 치료 스크린의 연장일 수 있다. 예를 들어, 오퍼레이터는 도 7g에 도시된 치료 스크린으로부터 아래로 스크롤함으로써 도 7h의 치료 스크린에 액세스할 수 있다. 도 7h의 치료 스크린은, 오퍼레이터가 피험자에게 제공하기를 원하는 치료를 선택할 수 있는 치료 선택(740)을 디스플레이할 수 있다. 도시된 바와 같이, 치료 선택(740)은, 오퍼레이터가, 앤지오텐신-전환-효소 억제제(ACE 억제제), 앤지오텐신 수용체 차단제(ARB), 또는 다른 대안 등의 심부전을 치료하는 하나 이상의 약품 사이에서 선택하는 것을 허용한다. 그 다음, 진단 애플리케이션은 선택된 치료에 기초하여 하나 이상의 외부 링크(742)를 디스플레이하여 치료에 관한 더 많은 정보를 오퍼레이터에게 제공할 수 있다.
도 7a 내지 도 7h에 도시된 진단 애플리케이션은 단지 한 예시적인 구현일 뿐이고, 울혈성 심부전과는 별개의 다른 질환에 대해 다른 진단 애플리케이션이 생성될 수 있다는 것을 이해해야 한다. 또한, 진단 애플리케이션은 (의사 대신에) 재택 피험자에 의한 이용을 위해 생성될 수 있다. 예를 들어, 의사는, 초음파 디바이스를 이용하여 피험자의 상태를 모니터링하기 위한 피험자에 의한 재택 이용을 위해 구성된 초음파 디바이스를 발급할 수 있다. 진단 애플리케이션도 역시, 초음파 디바이스와 함께 이용하기 위해 피험자에게 제공될 수 있다. 이러한 진단 애플리케이션은 피험자의 개인 모바일 스마트폰 또는 태블릿에 설치될 수 있다. 진단 애플리케이션은, 피험자가 초음파 디바이스를 작동하고 의사에 의한 분석을 위해 캡처된 초음파 영상을 저장(및/또는 업로드)하는 것을 보조하도록 구성될 수 있다. 이에 의해, 의사는 피험자를 계속 입원 치료하지 않고도 피험자의 상태를 원격으로 모니터링할 수 있다.
도 8a 내지 도 8d는, 재택 환경의 피험자에 의해 이용되도록 설계된 이러한 진단 애플리케이션을 위한 예시적인 사용자 인터페이스를 도시한다. 진단 애플리케이션은, 오퍼레이터(예를 들어, 피험자)가 초음파 디바이스를 이용하여 재택 설정에서 초음파 영상을 캡처하는 것을 보조하도록 구성될 수 있다. 진단 애플리케이션은, 예를 들어, (피험자의 모바일 스마트폰 또는 타블렛 등의) 컴퓨팅 디바이스(804)에 의해 실행될 수 있다. 컴퓨팅 디바이스(804)는, 진단 애플리케이션의 하나 이상의 사용자 인터페이스 스크린을 디스플레이하도록 구성된 통합된 디스플레이(806)를 포함할 수 있다. 컴퓨팅 디바이스(804)는 유선 또는 무선 통신 링크를 이용하여 초음파 디바이스(미도시)에 통신가능하게 결합될 수 있다. 컴퓨팅 디바이스는 또한, 비음향 영상을 캡처하도록 구성된 촬영 디바이스(805)(예를 들어, 카메라)를 포함할 수 있다. 촬영 디바이스(805)는, 오퍼레이터가 디스플레이(806) 상에 디스플레이된 하나 이상의 지침을 보면서 초음파 디바이스를 쥔 채 자신의 영상을 동시에 캡처하는 것을 허용하도록 디스플레이(806)와 동일한 측 상에 배치될 수 있다.
도 8a는 진단 애플리케이션이 론칭될 때 디스플레이될 수 있는 예시적인 홈 스크린을 도시한다. 홈 스크린은, 오퍼레이터에게 초음파 디바이스와 연관된 빠른 응답(QR) 코드를 스캔하도록 지시하는 오퍼레이터에 대한 메시지(808)를 포함한다. QR 코드는, 예를 들어, 초음파 디바이스 자체 상에 배치되거나 및/또는 초음파 디바이스와 연관된 팩키징 상에 배치될 수 있다. 홈 스크린은 또한, (예를 들어, 컴퓨팅 디바이스(804)에 통합되고 디스플레이(806)의 반대 측에 배치된) 촬영 디바이스에 의해 캡처된 영상을 디스플레이할 수 있다. 홈 스크린은, QR 코드를 판독하기 위해 촬영 디바이스의 시야 내에서 사용자가 QR 코드를 배치해야 하는 위치를 나타내는 캡처된 영상 내의 스캐닝 영역(810)을 보여줄 수 있다. 일단 컴퓨팅 디바이스(804)가 QR 코드를 판독하고 나면, 컴퓨팅 디바이스(804)는 도 8a에 도시된 홈 스크린으로부터 도 8b에 도시된 피험자 정보 스크린으로 천이할 수 있다. 피험자 정보 스크린은, 스캔된 QR 코드를 이용하여 컴퓨팅 디바이스(804)에 의해 획득된 피험자 정보(810)의 디스플레이를 포함할 수 있다. 예를 들어, 컴퓨팅 디바이스(804)는 스캔된 QR 코드를 채용하여 원격 서버 내의 피험자의 의료 기록에 액세스할 수 있다. 일단 오퍼레이터가 피험자 정보(810)가 정확하다는 것을 확인하고 나면, 오퍼레이터는 선택 영역(812)에서 확인 버튼을 활성화할 수 있다.
QR 코드와는 별개의 다른 유형의 바코드가 이용될 수 있다는 것을 이해해야 한다. 다른 예시적인 바코드는 : MaxiCode 바코드, Codabar 바코드, 및 Aztec 바코드를 포함한다.
컴퓨팅 디바이스(804)는, "확인" 버튼이 선택 영역(812)에서 활성화되는 것에 응답하여 도 8b에 도시된 피험자 정보 스크린으로부터 도 8c에 도시된 영상 취득 스크린으로 천이할 수 있다. 도시된 바와 같이, 영상 취득 스크린은, 오퍼레이터가 젤을 초음파 디바이스에 도포하라는 메시지(814), 및 오퍼레이터가 초음파 영상의 취득을 시작하기 위한 버튼을 포함하는 선택 영역(816)을 포함한다.
컴퓨팅 디바이스(804)는, "시작" 버튼이 선택 영역(816)에서 활성화되는 것에 응답하여 도 8c에 도시된 영상 취득 스크린으로부터 도 8d에 도시된 영상 취득 보조 스크린으로 천이할 수 있다. 도시된 바와 같이, 영상 취득 보조 스크린은 초음파 디바이스(820)를 쥐고 있는 피험자(818)의 (예를 들어, 촬영 디바이스(805)에 의해 캡처된) 비음향 영상을 포함할 수 있다. 지침(822)은 캡처된 비음향 영상에 오버레이되어 타겟 해부학적 뷰를 포함하는 초음파 영상을 캡처하도록 오퍼레이터(예를 들어, 피험자)를 안내할 수 있다. 일단 컴퓨팅 디바이스(804)가 타겟 해부학적 뷰를 포함하는 초음파 영상을 캡처하고 나면, 컴퓨팅 디바이스(804)는 의사에 의한 나중의 회수를 위해 캡처된 초음파 영상을 국지적으로 저장하거나 및/또는 외부 서버에 영상을 업로드하여 피험자와 연관된 한 세트의 의료 기록에 추가되게 할 수 있다. 컴퓨팅 디바이스(804)는 또한, 초음파 영상이 성공적으로 캡처되었다는 확인을 오퍼레이터에게 디스플레이할 수 있다.
예시적인 프로세스
도 9는 타겟 해부학적 뷰를 포함하는 초음파 영상을 캡처하도록 초음파 디바이스의 오퍼레이터를 안내하기 위한 예시적인 프로세스(900)를 도시한다. 프로세스(900)는, 예를 들어, 초음파 시스템 내의 컴퓨팅 디바이스에 의해 수행될 수 있다. 도시된 바와 같이, 프로세스(900)는, 초음파 영상을 획득하는 동작(902), 초음파 영상이 타겟 해부학적 뷰를 포함하는지를 결정하는 동작(904), 안내 계획을 생성하는 동작(906), 초음파 디바이스를 재위치시키라는 지침을 제공하는 동작(908), 및 적절한 위치설정의 표시를 제공하는 동작(910)을 포함한다.
동작 902에서, 컴퓨팅 디바이스는 피험자의 초음파 영상을 획득할 수 있다. 컴퓨팅 디바이스는, 컴퓨팅 디바이스에 통신가능하게 결합된 초음파 디바이스와 통신함으로써 초음파 영상을 획득할 수 있다. 예를 들어, 컴퓨팅 디바이스는 초음파 데이터를 생성하고 초음파 데이터를 컴퓨팅 디바이스에 전송하라는 명령어를 초음파 디바이스에 전송할 수 있다. 컴퓨팅 디바이스는, 차례로, 수신된 초음파 데이터를 이용하여 초음파 영상을 생성할 수 있다. 추가로(또는 대안으로서), 초음파 영상은 초음파 디바이스에 의해 생성될 수 있고 컴퓨팅 디바이스는 초음파 디바이스로부터 초음파 영상을 회수할 수 있다.
동작 904에서, 컴퓨팅 디바이스는 초음파 영상이 타겟 해부학적 뷰를 포함하는지를 결정할 수 있다. 컴퓨팅 디바이스가 초음파 영상이 타겟 해부학적 뷰를 포함한다고 결정한다면, 컴퓨팅 디바이스는 동작 910으로 진행하여 적절한 위치설정의 표시를 제공할 수 있다. 그렇지 않으면, 시스템은 동작 906으로 진행하여 오퍼레이터가 초음파 디바이스를 이동시키기 위한 안내 계획을 생성할 수 있다.
일부 실시예에서, 컴퓨팅 디바이스는, 초음파 영상이 타겟 해부학적 뷰를 포함하는지를 결정하기 위해, 딥 러닝 기술 등의 자동화된 영상 처리 기술을 채용할 수 있다. 예를 들어, 초음파 영상은, 초음파 영상에 포함된 해부학적 뷰를 식별하도록 훈련된 신경망에 대한 입력으로서 제공될 수 있다. 이러한 신경망의 출력은 초음파 영상에 포함된 특정한 해부학적 뷰의 표시일 수 있다. 이 예에서, 식별된 해부학적 뷰는 타겟 해부학적 뷰와 비교되어 이들이 정합하는지를 결정할 수 있다. 식별된 해부학적 뷰와 타겟 해부학적 뷰가 정합한다면, 컴퓨팅 디바이스는, 초음파 영상이 타겟 해부학적 뷰를 포함한다고 결정할 수 있다. 그렇지 않으면, 컴퓨팅 디바이스는 초음파 영상이 해부학적 뷰를 포함하지 않는다고 결정할 수 있다. 또 다른 예에서, 신경망은, 입력된 초음파 영상에 기초하여 오퍼레이터에 대한 지침의 표시를 직접 제공하도록 구성될 수 있다. 이에 따라, 신경망은, 초음파 디바이스가 적절하게 위치설정되어 있다는 확인 또는 특정한 방향으로 초음파 디바이스를 이동시키라는 지침을 출력으로서 제공할 수 있다. 이 예에서, 컴퓨팅 디바이스는, 신경망이 출력으로서 확인을 제공하는 것에 응답하여 초음파 영상이 타겟 해부학적 뷰를 포함한다고 결정할 수 있다. 그렇지 않으면, 컴퓨팅 디바이스는 초음파 영상이 해부학적 뷰를 포함하지 않는다고 결정할 수 있다.
동작 906에서, 컴퓨팅 디바이스는 초음파 디바이스를 이동시키도록 오퍼레이터를 안내하는 방법에 관한 안내 계획을 생성할 수 있다. 일부 실시예에서, 안내 계획은, 오퍼레이터가 초기 위치로부터 타겟 해부학적 뷰를 포함하는 초음파 영상이 캡처될 수 있는 타겟 위치로 초음파 디바이스를 이동시켜야 하는 안내 경로를 포함할 수 있다. 이들 실시예에서, 컴퓨팅 디바이스는, 적어도 부분적으로 : (예를 들어, 딥 러닝 기술을 이용하여) 초음파 영상에 포함된 해부학적 뷰를 식별하고, 식별된 해부학적 뷰를 피험자 상의 한 위치에 맵핑함으로써 피험자 상의 초음파 디바이스의 초기 위치를 식별할 수 있다. 타겟 위치는, 예를 들어, 타겟 해부학적 뷰를 피험자 상의 한 위치에 맵핑함으로써 식별될 수 있다. 일단 초기 위치 및 타겟 위치가 식별되고 나면, 컴퓨팅 디바이스는 초음파 디바이스가 이동해야 하는 초기 위치와 및 타겟 위치 사이에서 안내 경로를 식별할 수 있다. 안내 경로는, 초음파 디바이스가 타겟 위치에 도달하기 위해 함께 이동할 방향들(예를 들어, 병진 방향 또는 회전 방향)의 시퀀스를 포함할 수 있다. 생성된 안내 경로는, 초음파 디바이스의 초기 위치와 초음파 디바이스의 타겟 위치 사이의 최단 경로가 아닐 수 있다. 예를 들어, 생성된 경로는 오퍼레이터에게 적절하게 전달하기가 어려울 수 있는 대각선 운동을 이용하는 것을 피할 수도 있다. 대안으로서(또는 추가로), 생성된 경로는 경조직을 포함하는 영역 등의 피험자의 특정한 영역을 피할 수 있다. 일단 초음파 디바이스의 초기 위치와 타겟 위치 사이의 안내 경로가 결정되고 나면, 컴퓨팅 디바이스는 오퍼레이터에게 안내 경로를 따라 초음파 디바이스를 이동시킬 것을 지시하는 오퍼레이터에게 제공될 하나 이상의 지침들의 시퀀스를 생성할 수 있다.
동작 908에서, 컴퓨팅 디바이스는 초음파 디바이스를 재위치시키라는 지침을 오퍼레이터에게 제공할 수 있다. 지침은, 예를 들어, 스피커를 통해 재생되는 청각적 지침, 디스플레이를 이용하여 디스플레이된 시각적 지침, 및/또는 (예를 들어, 컴퓨팅 디바이스 및/또는 초음파 디바이스에 통합된) 진동 디바이스를 이용하여 제공되는 촉각적 지침일 수 있다. 지침은, 예를 들어, 동작 906에서 생성된 안내 계획 내의 지침 시퀀스에 기초하여 제공될 수 있다. 예를 들어, 컴퓨팅 디바이스는 지침 시퀀스로부터 하나의 지침을 식별하고 식별된 지침을 제공할 수 있다. 지침은 안내 계획으로부터 나온 것일 필요는 없다는 것을 이해해야 한다. 예를 들어, 전술된 바와 같이, 신경망은, 수신된 초음파 영상에 기초하여 지침을 직접 출력하도록 구성될 수 있다. 이 예에서, 출력된 지침은 직접 제공될 수 있고 안내 계획을 생성하는 동작 906은 생략될 수 있다.
일단 컴퓨팅 디바이스가 초음파 디바이스를 재위치시키라는 지침을 제공하고 나면, 컴퓨팅 디바이스는 동작들 902, 904, 906 및/또는 908 중 하나 이상을 반복하여 오퍼레이터에게 추가적인 지침을 제공할 수 있다.
동작 910에서, 컴퓨팅 디바이스는 적절한 위치설정의 표시를 제공할 수 있다. 예를 들어, 컴퓨팅 디바이스는, 스피커를 통해 재생되는 가청 확인, 디스플레이를 이용하여 디스플레이되는 시각적 확인, 또는 진동 디바이스를 통해 제공되는 촉각적 확인을 제공할 수 있다.
도 10은 오퍼레이터에게 증강 현실 인터페이스를 제공하기 위한 예시적인 프로세스(1000)를 도시한다. 증강 현실 인터페이스는, 초음파 디바이스를 포함하는 실세계 환경의 비음향 영상 및 비음향 영상에 오버레이된 (지침 등의) 하나 이상의 요소를 포함할 수 있다. 프로세스(1000)는, 예를 들어, 초음파 시스템 내의 컴퓨팅 디바이스에 의해 수행될 수 있다. 도 10에 도시된 바와 같이, 프로세스(1000)는, 초음파 디바이스의 영상을 획득하는 동작(1002), 합성 영상을 생성하는 동작(1003), 및 합성 영상을 프리젠팅하는 동작(1008)을 포함한다. 합성 영상을 생성하는 동작(1003)은, 영상 내의 초음파 디바이스의 자세를 식별하는 동작(1004) 및 식별된 자세를 이용하여 지침을 영상에 오버레이하는 동작(1006)을 포함할 수 있다.
동작 1002에서, 컴퓨팅 디바이스는 초음파 디바이스의 영상(예를 들어, 비음향 영상)을 캡처할 수 있다. 비음향 영상은 컴퓨팅 디바이스에 통합된 촬영 디바이스(예를 들어, 카메라)에 의해 캡처될 수 있다. 예를 들어, 오퍼레이터가 피험자이기도 한 경우 (예를 들어, 디스플레이와 동일한 측 상의) 모바일 스마트폰의 전방 카메라를 이용하여 비음향 영상이 캡처될 수 있다. 또 다른 예에서, 오퍼레이터가 피험자와는 별도의 사람(또는 사람들의 그룹)인 경우, (예를 들어, 디스플레이와는 반대측 상의) 모바일 스마트폰의 후방 카메라를 이용하여 비음향 영상이 캡처될 수 있다.
동작 1003에서, 컴퓨팅은 합성 영상을 생성할 수 있다. 합성 영상은 동작 1002에서 캡처된 비음향 영상 및 비음향 영상에 오버레이된 하나 이상의 요소를 포함할 수 있다. 비음향 영상에 오버레이된 하나 이상의 요소는, 예를 들어, 타겟 해부학적 뷰를 포함하는 초음파 영상을 획득하기 위해 초음파 디바이스를 재위치시키는 방법에 관한 피드백을 오퍼레이터에게 제공하도록 설계된 하나 이상의 지침일 수 있다. 컴퓨팅 디바이스는 임의의 다양한 방식으로 합성 영상을 생성할 수 있다. 일부 실시예에서, 컴퓨팅 디바이스는, 동작 1004 및 단계 1006을 수행함으로써 합성 영상을 생성하도록 구성될 수 있다. 동작 1004에서, 컴퓨팅 디바이스는 비음향 영상 내의 초음파 디바이스의 자세(예를 들어, 위치 및/또는 배향)를 식별할 수 있다. 컴퓨팅 디바이스는 자동화된 영상 처리 기술(예를 들어, 딥 러닝 기술)을 이용하여 캡처된 영상 내의 초음파 디바이스의 자세를 식별할 수 있다. 예를 들어, 비음향 영상은, 비음향 영상 내의 어느 픽셀이 초음파 디바이스와 연관되어 있는지를 식별하도록 구성된 신경망에 대한 입력으로서 제공될 수 있다. 이 예에서, 컴퓨팅 디바이스는 식별된 픽셀들을 이용하여 비음향 영상 내의 초음파 디바이스의 위치를 결정할 수 있다. 일부 실시예에서, 초음파 디바이스 상에는, 비음향 영상 내의 초음파 디바이스의 식별을 용이화하기 위해 영상 내에서 볼 수 있는 마커가 배치될 수 있다. 마커는, 자동화된 영상 처리 기술을 이용하여 인식하기 쉬운 뚜렷한 형상, 컬러, 및/또는 영상을 가질 수 있다. 추가 정보가 또한 채용되어 비음향 영상으로부터 추출된 정보와 조합하여(또는 그 대신에) 초음파 디바이스의 자세를 식별할 수 있다. 예를 들어, 초음파 디바이스는 움직임을 검출하도록 구성된 하나 이상의 센서(예를 들어, 가속도계, 자이로스코프, 나침반, 및/또는 관성 측정 유닛)를 포함할 수 있다.
이 예에서, 초음파 디바이스 내의 이들 센서로부터의 이동 정보는 초음파 디바이스의 자세를 결정하기 위해 채용될 수 있다. 또 다른 예에서, 초음파 디바이스(예를 들어, 초음파 디바이스(502)) 및 초음파 디바이스에 접속된 컴퓨팅 디바이스(예를 들어, 컴퓨팅 디바이스(504))는 움직임을 검출하도록 구성된 센서들을 포함할 수 있다. 이 예에서, 초음파 디바이스와 컴퓨팅 디바이스 양쪽 모두로부터의 이동 정보는, 컴퓨팅 디바이스에 관한 초음파 디바이스의 자세를 식별하기 위해 함께 이용될 수 있고, 그에 따라 캡처된 비음향 영상에서 초음파 디바이스의 자세를 식별할 수 있다.
동작 1006에서, 컴퓨팅 디바이스는 식별된 자세를 이용하여 비음향 영상에 지침을 오버레이하여 증강 현실 인터페이스를 형성할 수 있다. 예를 들어, 컴퓨팅 디바이스는, 초음파 디바이스에 근접하거나 및/또는 초음파 디바이스를 부분적으로 덮도록 초음파 디바이스를 이동시키는 방법에 관한 지침(예를 들어, 방향 화살표)을 비음향 영상에 오버레이할 수 있다. 추가로(또는 대안으로서), 자세는 증강 현실 인터페이스에서 다른 요소들을 위치시키기 위해 채용될 수 있다. 예를 들어, 초음파 디바이스의 자세는 증강 현실 인터페이스에서 초음파 영상을 증강 위치시키기 위해 채용될 수 있다. 이 예에서, 초음파 영상은, 비음향 영상 내의 초음파 디바이스로부터 피험자 내로 연장되는 것처럼 보이도록 증강 현실 인터페이스에 위치할 수 있다. 이에 따라, 오퍼레이터는 초음파 디바이스로 촬영되고 있는 피험자의 특정한 부분에 대한 인식을 얻을 수 있다. 동작 1008에서, 컴퓨팅 디바이스는 합성 영상을 오퍼레이터에게 프리젠팅할 수 있다. 예를 들어, 컴퓨팅 디바이스는 컴퓨팅 디바이스에 통합된 디스플레이를 이용하여 합성 영상을 오퍼레이터에게 프리젠팅할 수 있다. 대안으로서(또는 추가로), 컴퓨팅 디바이스는 합성 영상을 (예를 들어, 다른 디바이스의 디스플레이 상에 프리젠팅되도록) 다른 디바이스에 전송할 수 있다.
도 11은 초음파 디바이스 상에 배치된 마커를 이용하여 비음향 영상 내의 초음파 디바이스의 위치를 추적하기 위한 예시적인 프로세스(1100)를 도시한다. 프로세스(1100)는, 예를 들어, 초음파 시스템 내의 컴퓨팅 디바이스에 의해 수행될 수 있다. 도시된 바와 같이, 프로세스(1100)는, 초음파 디바이스 상에 배치된 마커의 영상을 획득하는 동작(1102), 초음파 디바이스의 자세를 식별하는 동작(1103), 및 식별된 자세를 이용하여 지침을 프리젠팅하는 동작(1108)을 포함한다. 초음파 디바이스의 자세를 식별하는 동작(1103)은, 영상 내의 마커의 위치를 식별하는 동작(1104) 및 마커의 특성을 분석하는 동작(1106)을 포함할 수 있다.
동작 1102에서, 컴퓨팅 디바이스는 초음파 디바이스 상의 마커의 비음향 영상을 캡처할 수 있다. 비음향 영상은 컴퓨팅 디바이스에 통합된 촬영 디바이스(예를 들어, 카메라)에 의해 캡처될 수 있다. 예를 들어, 오퍼레이터가 피험자이기도 한 경우 (예를 들어, 디스플레이와 동일한 측 상의) 모바일 스마트폰의 전방 카메라를 이용하여 비음향 영상이 캡처될 수 있다. 또 다른 예에서, 오퍼레이터가 피험자와는 별도의 사람(또는 사람들의 그룹)인 경우, (예를 들어, 디스플레이와는 반대측 상의) 모바일 스마트폰의 후방 카메라를 이용하여 비음향 영상이 캡처될 수 있다.
동작 1103에서, 컴퓨팅 디바이스는 마커를 이용하여 캡처된 영상 내의 초음파 디바이스의 자세(예를 들어, 위치 및/또는 배향)를 식별할 수 있다. 컴퓨팅 디바이스는 임의의 다양한 방식으로 캡처된 영상 내의 초음파 디바이스의 자세를 식별할 수 있다. 일부 실시예에서, 컴퓨팅 디바이스는 동작들 1104 및 1106을 수행함으로써 비음향 영상 내의 초음파 디바이스의 자세를 식별할 수 있다.
동작 1104에서, 컴퓨팅 디바이스는 비음향 영상 내의 마커의 위치를 식별할 수 있다. 컴퓨팅 디바이스는 마커의 식별된 위치를 이용하여 마커가 배치되어 있는 초음파 디바이스의 위치를 식별할 수 있다. 마커의 위치는, 예를 들어, 자동화된 영상 처리 기술을 이용하여, 영상 내의 형상, 컬러, 및/또는 영상 등의, 마커에 특징적인 하나 이상의 피처를 위치파악으로써 결정될 수 있다.
동작 1106에서, 컴퓨팅 디바이스는 마커의 특성을 분석할 수 있다. 컴퓨팅 디바이스는 마커의 특성을 분석하여, 예를 들어, 캡처된 영상 내의 초음파 디바이스의 배향을 결정할 수 있다. 컴퓨팅 디바이스가 마커의 특성을 이용하여 배향을 결정하는 특정한 방식은, 예를 들어, 채용된 특정한 마커에 의존할 수 있다. 한 예에서, 마커는 패턴을 포함하는 단색 마커일 수 있다. 이 예에서, 패턴이 분석되어, 패턴의 배향을 결정하고 그에 의해 비음향 영상 내의 초음파 디바이스의 배향을 결정할 수 있다. 또 다른 예에서, 마커는, 관찰 각도에 따라 상이한 컬러를 프리젠팅하도록 구성된 분산 마커일 수 있다. 이 예에서, 컴퓨팅 디바이스는 비음향 영상 내의 마커의 컬러를 식별하고 식별된 컬러를 이용하여 마커의 배향 및 그에 따라 초음파 디바이스의 배향을 결정할 수 있다. 역시 또 다른 예에서, 마커는, 관찰 각도에 따라 상이한 영상을 프리젠팅하도록 구성된 홀로그래픽 마커일 수 있다. 이 예에서, 컴퓨팅 디바이스는 홀로그래픽 마커에 의해 프리젠팅되는 영상을 식별할 수 있고 식별된 영상을 이용하여 마커의 배향 및 그에 따라 초음파 디바이스의 배향을 결정할 수 있다.
동작 1108에서, 컴퓨팅 디바이스는 식별된 자세를 이용하여 지침을 프리젠팅할 수 있다. 일부 실시예에서, 컴퓨팅 디바이스는 식별된 자세를 이용하여 동작 1102에서 획득된 비음향 영상에 지침을 오버레이하여 증강 현실 인터페이스를 위한 합성 영상을 형성할 수 있다. 예를 들어, 컴퓨팅 디바이스는, 초음파 디바이스에 근접하거나 및/또는 초음파 디바이스를 부분적으로 덮도록 초음파 디바이스를 이동시키는 방법에 관한 지침(예를 들어, 방향 화살표)을 비음향 영상에 오버레이할 수 있다. 추가로(또는 대안으로서), 자세는 증강 현실 인터페이스에서 다른 요소들을 위치시키기 위해 채용될 수 있다. 예를 들어, 초음파 디바이스의 자세는 증강 현실 인터페이스에서 초음파 영상을 증강 위치시키기 위해 채용될 수 있다. 이 예에서, 초음파 영상은, 비음향 영상 내의 초음파 디바이스로부터 피험자 내로 연장되는 것처럼 보이도록 증강 현실 인터페이스에 위치할 수 있다. 이에 따라, 오퍼레이터는 초음파 디바이스로 촬영되고 있는 피험자의 특정한 부분에 대한 인식을 얻을 수 있다.
도 12는 피험자의 의학적 파라미터를 식별하기 위해 캡처된 초음파 영상을 분석하기 위한 예시적인 프로세스(1200)를 도시한다. 프로세스(1200)는, 예를 들어, 초음파 시스템 내의 컴퓨팅 디바이스에 의해 수행될 수 있다. 도시된 바와 같이, 프로세스(1200)는, 초음파 영상을 획득하는 동작(1202), 초음파 영상 내의 해부학적 피처를 식별하는 동작(1204), 및 식별된 해부학적 피처를 이용하여 의학적 파라미터를 식별하는 동작(1206)을 포함한다.
동작 1202에서, 컴퓨팅 디바이스는 피험자의 초음파 영상을 획득할 수 있다. 컴퓨팅 디바이스는, 컴퓨팅 디바이스에 통신가능하게 결합된 초음파 디바이스와 통신함으로써 초음파 영상을 획득할 수 있다. 예를 들어, 컴퓨팅 디바이스는 초음파 데이터를 생성하고 초음파 데이터를 컴퓨팅 디바이스에 전송하라는 명령어를 초음파 디바이스에 전송할 수 있다. 컴퓨팅 디바이스는, 차례로, 수신된 초음파 데이터를 이용하여 초음파 영상을 생성할 수 있다.
동작 1204에서, 컴퓨팅 디바이스는 초음파 영상 내의 해부학적 피처를 식별할 수 있다. 예를 들어, 컴퓨팅 디바이스는, 초음파 영상 내의 해부학적 피처로서, 심장 심실, 심장 판막, 심장 중격, 심장 유두근, 심장 심방, 대동맥, 및 폐를 식별할 수 있다. 컴퓨팅 디바이스는, (딥 러닝 기술 등의) 자동화된 영상 처리 기술을 이용하여 해부학적 피처를 식별할 수 있다. 예를 들어, 컴퓨팅 디바이스는, 초음파 영상 내의 어떤 픽셀이 해부학적 피처와 연관되어 있는지에 대한 표시를 출력으로서 제공하도록 구성된(예를 들어, 훈련된) 신경망에 대한 입력으로서 초음파 영상을 제공할 수 있다. 이러한 신경망은(예를 들어, 전술된 프로세스(900)에서 채용된 것 등의) 타겟 해부학적 뷰를 포함하는 초음파 영상을 획득하도록 오퍼레이터를 안내하기 위해 채용되는 임의의 신경망과는 별개이며 구별될 수 있다는 것을 이해해야 한다.
동작 1206에서, 컴퓨팅 디바이스는 식별된 해부학적 피처를 이용하여 의학적 파라미터를 식별할 수 있다. 예를 들어, 컴퓨팅 디바이스는 : 피험자의 구축률, 구획 단축률, 심실 직경, 심실 체적, 심장 이완 말기 체적, 심장 수축 말기 체적, 심 박출량, 1회 박출량, 심실 중격 두께, 심실 벽 두께, 또는 맥박 수를 결정할 수 있다. 일부 실시예에서, 컴퓨팅 디바이스는 식별된 해부학적 피처의 하나 이상의 특성을 분석함으로써 의학적 파라미터를 식별할 수 있다. 예를 들어, 컴퓨팅 디바이스는 초음파 영상 내의 심장 심실을 식별할 수 있고, 심실 체적 및/또는 심실 직경을 결정하기 위해 초음파 영상으로부터 심장 심실의 치수가 추출될 수 있다. 컴퓨팅 디바이스는 의학적 파라미터를 식별하기 위해 하나보다 많은 초음파 영상을 분석할 수 있다는 것을 이해해야 한다. 예를 들어, 컴퓨팅 디바이스는 복수의 초음파 영상 각각에서 심실 체적을 식별하고 가장 낮은 심실 체적을 심장 수축 말기 체적으로서 선택하고 가장 높은 심실 체적을 심장 이완 말기 체적으로서 선택할 수 있다. 또한, 심장 수축 말기 체적 및 심장 이완 말기 체적을 채용하여 EF 등의 또 다른 의학적 파라미터를 결정할 수 있다.
도 13은 피험자의 의학적 상태의 진단을 생성하기 위한 예시적인 프로세스(1300)를 도시한다. 프로세스(1300)는, 예를 들어, 초음파 시스템 내의 컴퓨팅 디바이스에 의해 수행될 수 있다. 도시된 바와 같이, 프로세스(1300)는, 피험자에 관한 의학적 정보를 수신하는 동작(1302), 타겟 해부학적 뷰를 식별하는 동작(1304), 타겟 해부학적 뷰를 포함하는 초음파 영상을 획득하는 동작(1306), 피험자의 의학적 상태의 진단을 생성하는 동작(1308), 및 피험자에 대한 권장된 치료법을 생성하는 동작(1310)을 포함한다.
동작 1302에서, 컴퓨팅 디바이스는 피험자에 관한 의학적 정보를 수신할 수 있다. 수신될 수 있는 피험자에 관한 의학적 정보의 예는, 심박수, 혈압, 신체 표면적, 나이, 체중, 신장, 및 피험자가 복용하는 약물을 포함한다. 컴퓨팅 디바이스는, 예를 들어, 오퍼레이터에게 하나 이상의 질문을 제시하고 응답을 수신함으로써 의학적 정보를 수신할 수 있다. 추가로(또는 대안으로서), 컴퓨팅 디바이스는 의학적 정보를 획득하기 위해 외부 시스템과 통신할 수 있다. 예를 들어, 오퍼레이터는, 컴퓨팅 디바이스를 이용하여 초음파 디바이스 상의 바코드(예를 들어, QR 코드)를 스캔할 수 있고, 컴퓨팅 디바이스는 바코드로부터 획득된 정보를 이용하여 원격 서버 상의 피험자와 연관된 의료 기록에 액세스할 수 있다.
동작 1304에서, 컴퓨팅 디바이스는 수신된 의학적 정보에 기초하여 타겟 해부학적 뷰를 식별할 수 있다. 컴퓨팅 디바이스는 수신된 의학적 정보를 분석하여 비정상적으로 기능할 수 있는 하나 이상의 장기를 식별할 수 있다. 그 다음에, 컴퓨팅 디바이스는 식별된 하나 이상의 장기를 포함하는 해부학적 뷰를 식별할 수 있다. 예를 들어, 피험자에 관한 의학적 정보는 피험자의 심장이 비정상적으로 기능하고 있다는 것을 나타낼 수 있고(예를 들어, 환자가 울혈성 심부전증의 증상을 갖고 있음), PLAX 뷰를 촬영할 해부학적 뷰로서 식별할 수 있다.
동작 1306에서, 컴퓨팅 디바이스는 타겟 해부학적 뷰를 포함하는 초음파 영상을 획득할 수 있다. 예를 들어, 컴퓨팅 디바이스는 환자의 전자 건강 기록으로부터 타겟 해부학적 뷰를 포함하는 피험자의 초음파 영상을 회수할 수 있다. 대안으로서(또는 추가로), 컴퓨팅 디바이스는 타겟 해부학적 뷰를 포함하는 초음파 영상을 획득하도록 오퍼레이터를 안내할 수 있다. 예를 들어, 컴퓨팅 디바이스는 타겟 해부학적 뷰를 포함하는 초음파 영상을 획득하기 위해 오퍼레이터가 피험자 상에 초음파 디바이스를 위치시키는 방법에 관한 하나 이상의 지침을 내릴 수 있다. 컴퓨팅 디바이스는 임의의 다양한 방식으로 이들 지침을 생성 및/또는 제공할 수 있다. 예를 들어, 컴퓨팅 디바이스는 전술된 프로세스(900)와 유사한(또는 동일한) 프로세스를 수행할 수 있다.
동작 1308에서, 컴퓨팅 디바이스는 타겟 해부학적 뷰를 포함하는 초음파 영상을 이용하여 피험자의 의학적 상태의 진단을 생성할 수 있다. 일부 실시예에서, 컴퓨팅 디바이스는 타겟 해부학적 뷰를 포함하는 초음파 영상을 분석하여 하나 이상의 의학적 파라미터(예를 들어, 피험자의 EF)를 식별하고 식별된 하나 이상의 의학적 파라미터를 (단독으로 또는 피험자의 의학적 정보 등의 다른 정보와 조합하여) 이용하여 진단을 생성할 수 있다. 이들 실시예에서, 컴퓨팅 디바이스는 프로세스(1200)에서 하나 이상의 동작을 수행하여 피험자의 의학적 파라미터를 식별할 수 있다. 예를 들어, 컴퓨팅 디바이스는 동작들 1202, 1204, 및/또는 1206을 수행함으로써 피험자의 구축률을 결정할 수 있고, 결과의 구축률 값을 임계값과 비교하여 피험자가 울혈성 심부전증을 앓고 있는지를 결정할 수 있다. 컴퓨팅 디바이스는 피험자의 의학적 상태를 진단하기 위해 의학적 파라미터에 관한 정보를 (동작 1302에서 수신된 피험자에 관한 의학적 정보 등의) 다른 정보와 결합할 수 있다. 예를 들어, 컴퓨팅 디바이스는, 피험자의 구축률이 임계값 아래이고 피험자가 (발작성 야간 호흡곤란의 경험 등의) 울혈성 심부전의 증상을 보고했다고 컴퓨팅 디바이스가 결정하는 것에 응답하여 환자를 울혈성 심부전으로 진단할 수 있다. 컴퓨팅 디바이스는 : 심장 상태(예를 들어, 울혈성 심부전, 관상 동맥 질환, 및 선천성 심장 질환), 폐 상태(예를 들어, 폐암), 신장 상태(예를 들어, 신장 결석), 및/또는 관절 상태(예를 들어, 관절염) 등의 임의의 다양한 의학적 상태를 진단하도록 구성될 수 있다는 것을 이해해야 한다.
동작 1310에서, 컴퓨팅 디바이스는 피험자에 대한 하나 이상의 권장된 치료법을 생성할 수 있다. 컴퓨팅 디바이스는 피험자의 진단에 기초하여 하나 이상의 권장된 치료법을 생성할 수 있다. 권장되는 치료법의 예는, 식습관의 변화, 운동 습관의 변화, 의약품, 생물제제(예를 들어, 백신, 유전자 치료법, 세포 치료법), 방사선 요법, 화학 요법, 및 외과 수술을 포함한다. 예를 들어, 피험자는 울혈성 심부전으로 진단될 수 있고, 컴퓨팅 디바이스는 앤지오텐신-전환-효소 억제제(ACE 억제제), 앤지오텐신 수용체 차단제(ARB), 또는 다른 대체 요법 등의 권장된 치료법을 생성한다.
컴퓨팅 디바이스는, 피험자의 의학적 정보 및/또는 초음파 영상으로부터 추출된 하나 이상의 의학적 파라미터 등의, 권장된 치료법을 생성하기 위해 진단 이외의 정보를 이용할 수 있다는 것을 이해해야 한다. 예를 들어, 피험자의 의학적 정보는 피험자가 흡연자임을 나타낼 수 있고, 컴퓨팅 디바이스는 피험자가 울혈성 심부전으로 진단된 경우 금연이라는 권장된 치료법을 포함할 수 있다. 또 다른 예에서, 피험자의 의학적 정보는 피험자의 하나 이상의 약물 알레르기를 포함할 수 있으며, 컴퓨팅 디바이스는 피험자가 알레르기 반응을 일으키는 약물의 투여를 수반하는 임의의 치료법을 추천하지 않을 수 있다. 역시 또 다른 예에서, 피험자의 의학적 정보는 피험자가 복용하는 하나 이상의 약물을 포함할 수 있고, 컴퓨팅 디바이스는 피험자가 이미 복용하는 하나 이상의 약물과 불리하게 상호작용할 임의의 치료법을 추천하지 않을 수 있다.
다양한 발명적 개념들은 하나 이상의 프로세스로서 구현될 수 있고, 그 예들이 제공되었다. 각각의 프로세스의 일부로서 수행되는 동작들은 임의의 적절한 방식으로 정렬될 수 있다. 따라서, 예시적 실시예에서는 순차적 동작들로서 도시되어 있더라도, 소정 동작들을 동시에 수행하는 것을 포함한, 예시된 것과는 상이한 순서로 동작들이 수행되는 실시예들이 구성될 수 있다. 또한, 프로세스들 중 하나 이상이 결합될 수 있다. 예를 들어, 피험자에 관한 의학적 정보에 기초하여 영상에 대한 해부학적 뷰를 식별하는 프로세스(1300)는 피험자의 의학적 파라미터를 식별하기 위해 캡처된 초음파 영상을 분석하기 위한 프로세스(1200)와 결합될 수 있다. 그에 따라, 컴퓨팅 디바이스는, (1) 영상에 대한 해부학적 뷰를 식별하고,(2) 해부학적 뷰를 포함하는 초음파 영상을 캡처하도록 오퍼레이터를 안내하고, (3) 피험자의 의학적 파라미터를 식별하기 위해 캡처된 초음파 영상을 분석할 수 있다. 이 예에서, 초음파 디바이스는 식별된 의학적 파라미터 및/또는 피험자에 관한 의학적 정보에 기초하여 하나 이상의 치료법 권장을 추가적으로 생성할 수 있다.
예시적인 딥 러닝 기술
본 명세서에서 설명된 기술의 양태는, 초음파 영상 및 비음향 영상 등의, 영상을 분석하기 위한 자동화된 영상 처리 기술의 적용에 관한 것이다. 일부 실시예에서, 자동화된 영상 처리 기술은 딥 러닝 기술 등의 머신 학습 기술을 포함할 수 있다. 머신 학습 기술은 한 세트의 데이터 포인트들에서 패턴을 식별하고 식별된 패턴을 이용하여 새로운 데이터 포인트에 대해 예측하는 기술을 포함할 수 있다. 이들 머신 학습 기술은 이러한 예측을 하기 위해 훈련 데이터 세트를 이용하여 모델을 훈련(및/또는 구축)하는 것을 포함할 수 있다. 훈련된 모델은, 예를 들어, 입력으로서 데이터 포인트를 수신하고 데이터 포인트가 속할 가능성이 높은 클래스의 표시를 출력으로 제공하도록 구성된 분류기로서 이용될 수 있다.
딥 러닝 기술은 신경망을 채용하여 예측을 하는 이들 머신 학습 기술들을 포함할 수 있다. 신경망은 전형적으로, 하나 이상의 입력을 수신하고 입력의 함수인 출력을 제공하도록 각각 구성될 수 있는 (뉴런이라고 하는) 신경 유닛의 집합을 포함한다. 예를 들어, 뉴런은 입력을 합산하고 합산된 입력에 전달 함수(때때로 "활성화 함수"라고 함)를 적용하여 출력을 생성할 수 있다. 뉴런은 각각의 입력에 가중치를 적용할 수 있다, 예를 들어, 일부 입력을 다른 입력보다 높게 가중시킬 수 있다. 채용될 수 있는 예시적인 전달 함수는, 계단 함수, 부분별 선형 함수, 및 시그모이드 함수(sigmoid function)를 포함한다. 이들 뉴런들은, 각각이 하나 이상의 뉴런을 포함하는 복수의 순차적 계층으로 조직될 수 있다. 복수의 순차적 계층은, 신경망에 대한 입력 데이터를 수신하는 입력 계층, 신경망에 대한 출력 데이터를 제공하는 출력 계층, 및 입력 계층과 출력 계층 사이에 접속된 하나 이상의 은닉된 계층을 포함할 수 있다. 은닉된 계층 내의 각각의 뉴런은, (입력 계층 등의) 이전 계층 내의 하나 이상의 뉴런으로부터 입력을 수신하고 (출력 계층 등의) 후속 계층 내의 하나 이상의 뉴런에 출력을 제공할 수 있다.
신경망은, 예를 들어, 라벨링된 훈련 데이터를 이용하여 훈련될 수 있다. 라벨링된 훈련 데이터는, 한 세트의 예시적인 입력 및 각각의 입력과 연관된 답변을 포함할 수 있다. 예를 들어, 훈련 데이터는 각각의 초음파 영상에 포함된 해부학적 뷰로 각각 라벨링된 복수의 초음파 영상을 포함할 수 있다. 이 예에서, 초음파 영상은 신경망에 제공되어 각각의 초음파 영상과 연관된 라벨과 비교될 수 있는 출력을 획득할 수 있다. (상이한 계층들 내의 (엣지라고 하는) 뉴런들 사이의 상호접속 및/또는 엣지와 연관된 가중치 등의) 신경망의 하나 이상의 특성들은 신경망이 대부분의(또는 모든) 입력 영상을 정확히 분류할 때까지 조정될 수 있다.
일부 실시예에서, 라벨링된 훈련 데이터는, 모두가 해부학적 구조물의 "표준" 또는 "양호한" 영상일 필요는 없는 샘플 환자 영상들을 포함할 수 있다. 예를 들어, 하나 이상의 샘플 환자 영상은 훈련 목적에 대해 "비-이상적"일 수 있다. 이들 샘플 환자 영상들 각각은 훈련된 임상의에 의해 평가될 수 있다. 훈련된 임상의는 각각의 샘플 환자 영상에 질적 라벨(qualitative label)을 추가할 수 있다. PLAX 영상의 특정한 예에서, 임상의는 주어진 영상이 "정상"(즉, 분석 목적을 위해 구조물의 양호한 뷰를 묘사함)이라고 결정할 수 있다. 대안에서, 영상이 이상적이지 않은 경우, 임상의는 문제를 기술하는 특정한 라벨을 영상에 제공할 수 있다. 예를 들어, 그 영상은, 초음파 디바이스가 환자 상에서 "너무 반시계 방향"으로 또는 아마도 "너무 시계방향"으로 배향되어 찍힌 영상이라는 것을 나타낼 수 있다. 임의의 수의 특정한 오류가 주어진 샘플 영상에 할당될 수 있다.
일단 훈련 데이터가 생성되고 나면, 훈련 데이터는 데이터베이스(예를 들어, 영상 데이터베이스)에 로딩되어 딥 러닝 기술을 이용하여 신경망을 훈련하는데 이용될 수 있다. 일단 신경망이 훈련되고 나면, 훈련된 신경망은 하나 이상의 컴퓨팅 디바이스에 배치될 수 있다. 신경망은 임의의 수의 샘플 환자 영상으로 훈련될 수 있다는 것을 이해해야 한다. 예를 들어, 이용된 샘플 영상이 많을수록 훈련된 모델 데이터가 더 확실할 수 있다는 것을 이해할 수 있지만, 신경망은 7개 정도의 소수의 샘플 환자 영상으로 훈련될 수 있다.
콘볼루션 신경망
일부 앱에서, 신경망은 하나 이상의 콘볼루션 계층을 이용하여 구현되어 콘볼루션 신경망을 형성할 수 있다. 영상(1402)을 분석하도록 구성된 예시적인 콘볼루션 신경망이 도 14에 도시되어 있다. 도시된 바와 같이, 콘볼루션 신경망은, 영상(1402)을 수신하는 입력 계층(1404), 출력을 제공하는 출력 계층(1408), 및 입력 계층(1404)과 출력 계층(1408) 사이에 접속된 복수의 은닉된 계층(1406)을 포함한다. 복수의 은닉된 계층(1406)은, 콘볼루션 및 풀링 계층(1410) 및 조밀 계층(1412)을 포함한다.
입력 계층(1404)은 콘볼루션 신경망에 대한 입력을 수신할 수 있다. 도 14에 도시된 바와 같이, 콘볼루션 신경망에 대한 입력은 영상(1402)일 수 있다. 영상(1402)은, 예를 들어, 초음파 영상 또는 비음향 영상일 수 있다. 입력 계층(1404)에 후속하여, 하나 이상의 콘볼루션 및 풀링 계층(1410)이 뒤따를 수 있다. 콘볼루션 계층은, 콘볼루션 계층에 대한 입력(예를 들어, 영상(1402))보다 공간적으로 더 작은(예를 들어, 더 작은 폭 및/또는 높이를 갖는) 한 세트의 필터들을 포함할 수 있다. 필터들 각각은 콘볼루션 계층에 대한 입력과 콘볼루션되어 모든 공간적 위치에서 그 필터의 응답을 나타내는 활성화 맵(예를 들어, 2차원 활성화 맵)을 생성할 수 있다. 콘볼루션 계층에 후속하여, 콘볼루션 계층의 출력을 다운샘플링하여 그 크기를 감소시키는 풀링 계층이 뒤따를 수 있다. 풀링 계층은, 최대 풀링 및/또는 전역적 평균 풀링 등의, 임의의 다양한 풀링 기술을 이용할 수 있다. 일부 실시예에서, 다운샘플링은 스트라이딩(striding)을 이용하는 콘볼루션 계층 자체(예를 들어, 풀링 계층 없이)에 의해 수행될 수 있다.
콘볼루션 및 풀링 계층(1410)에 후속하여, 조밀 계층(1412)이 뒤따를 수 있다. 조밀 계층(1412)은, 이전 계층(예를 들어, 콘볼루션 또는 풀링 계층)으로부터 입력을 수신하고 후속 계층(예를 들어, 출력 계층(1408))에 출력을 제공하는 하나 이상의 뉴런을 각각 갖는 하나 이상의 계층을 포함할 수 있다. 조밀 계층(1412)은, 주어진 계층 내의 뉴런들 각각이 이전 계층 내의 각각의 뉴런으로부터 입력을 수신하고 후속 계층 내의 각각의 뉴런에 출력을 제공할 수 있기 때문에 "조밀"이라고 기술될 수 있다. 조밀 계층(1412)에 후속하여, 콘볼루션 신경망의 출력을 제공하는 출력 계층(1408)이 뒤따를 수 있다. 출력은, 예를 들어, 영상(1402)(또는 영상(1402)의 임의의 부분)이 한 세트의 클래스 중 어느 클래스에 속하는지의 표시일 수 있다.
도 14에 도시된 콘볼루션 신경망은 단지 하나의 예시적인 구현일 뿐이며, 다른 구현 예들이 채용될 수 있다는 것을 이해해야 한다. 예를 들어, 도 14에 도시된 콘볼루션 신경망에 하나 이상의 계층이 추가되거나 이로부터 제거될 수 있다. 콘볼루션 신경망에 추가될 수 있는 추가의 예시적인 계층은, ReLU 계층, 패드 계층, 연결 계층, 및 업스케일 계층을 포함한다. 업스케일 계층은 계층에 대한 입력을 업샘플링하도록 구성될 수 있다. ReLU 계층은 (때때로는 램프 함수라고 하는) 정류기를 전달 함수로서 입력에 적용하도록 구성할 수 있다. 패드 계층은, 입력의 하나 이상의 치수를 패딩함으로써 계층에 대한 입력의 크기를 변경하도록 구성될 수 있다. 연결 계층은, 복수의 입력을 단일 출력으로 결합(예를 들어, 복수의 계층으로부터의 입력을 결합)하도록 구성될 수 있다.
콘볼루션 신경망은 본 명세서에서 설명된 임의의 다양한 기능을 수행하기 위해 채용될 수 있다. 예를 들어, 콘볼루션 신경망은 : (1) 초음파 영상에 포함된 해부학적 뷰를 식별하거나, (2) 오퍼레이터에 제공할 지침을 식별하거나, (3) 초음파 영상 내의 해부학적 피처를 식별하거나, 또는 (4) 비음향 영상에서 초음파 디바이스의 자세를 식별하기 위해 채용될 수 있다. 하나보다 많은 콘볼루션 신경망이 이들 기능들 중 하나 이상을 수행하기 위해 채용될 수 있다는 것을 이해해야 한다. 예를 들어, 제1 콘볼루션 신경망은, 입력된 초음파 영상에 기초하여 오퍼레이터에게 제공할 지침을 식별하기 위해 채용될 수 있고, 제2의 상이한 콘볼루션 신경망은 초음파 영상 내의 해부학적 피처를 식별하기 위해 채용될 수 있다. 제1 및 제2 신경망은 상이한 배열의 계층들을 포함하거나 및/또는 상이한 훈련 데이터를 이용하여 훈련될 수 있다.
콘볼루션 망의 예시적인 구현이 하기 표 1에 도시되어 있다. 표 1에 도시된 콘볼루션 신경망은 입력 영상(예를 들어, 초음파 영상)을 분류하기 위해 채용될 수 있다. 예를 들어, 표 1에 도시된 콘볼루션 망은, 입력 초음파 영상을 수신하고, 한 세트의 지침들 중 어느 지침이 오퍼레이터에게 제공되어야 하는지를 나타내는 출력을 제공하여 초음파 디바이스를 적절하게 위치시키도록 구성될 수 있다. 한 세트의 지침은 : (1) 초음파 디바이스를 하부내측으로(inferomedially) 기울이고 (2) 초음파 디바이스를 반시계 방향으로 회전시키고, (3) 초음파 디바이스를 시계 방향으로 회전시키고, (4) 초음파 디바이스를 하나의 늑간격으로 아래로 이동시키고, (5) 초음파 디바이스를 하나의 늑간격으로 위로 이동시키고, 및 (6) 초음파 디바이스를 내측으로(medially) 슬라이드하는 것을 포함할 수 있다. 표 1에서, 계층의 순서는 "계층 번호" 열에 의해 표시되고, 계층의 유형은 "계층 유형" 열에 의해 표시되며, 계층에 대한 입력은 "계층에 대한 입력" 열에 의해 표시된다.
Figure pct00003
표 1: 콘볼루션 신경망을 위한 예시적인 계층 구성
콘볼루션 신경망의 또 다른 예시적인 구현이 하기 표 2에 도시되어 있다. 표 2의 콘볼루션 신경망은, 초음파 영상 내의 좌심실의 기저 세그먼트들 상의 2개의 지점을 식별하기 위해 채용될 수 있다. 표 2에서, 계층의 순서는 "계층 번호" 열에 의해 표시되고, 계층의 유형은 "계층 유형" 열에 의해 표시되며, 계층에 대한 입력은 "계층에 대한 입력" 열에 의해 표시된다.
Figure pct00004
표 2: 콘볼루션 신경망을 위한 예시적인 계층 구성
콘볼루션 신경망의 역시 또 다른 예시적인 구현이 하기 표 3에 도시되어 있다. 표 3에 도시된 콘볼루션 신경망은, 초음파 영상을 수신하고 입력 영상 내의 각각의 픽셀을 전경(해부학적 구조물, 예를 들어, 좌심실)에 속하거나 또는 배경에 속하는 것으로 분류하도록 구성될 수 있다. 표 1 및 표 2에 도시된 콘볼루션 신경망과 관련하여, 업샘플링 계층이 분류 출력의 해상도를 증가시키기 위해 도입되었다. 업샘플링된 계층의 출력은 다른 계층들의 출력과 결합되어 개개의 픽셀의 정확한 분류를 제공한다. 표 3에서, 계층의 순서는 "계층 번호" 열에 의해 표시되고, 계층의 유형은 "계층 유형" 열에 의해 표시되며, 계층에 대한 입력은 "계층에 대한 입력" 열에 의해 표시된다.
Figure pct00005
표 3 : 콘볼루션 신경망을 위한 예시적인 계층 구성
통계적 지식을 콘볼루션 신경망 내에 통합하기
일부 실시예에서, 통계적 사전 지식은 콘볼루션 신경망에 통합될 수 있다. 예를 들어, 주성분 분석(PCA)을 통해 획득된 사전 통계 지식은, 손상되거나 노이즈가 있는 데이터를 다루는 경우에도 확실한 예측을 획득하기 위해 콘볼루션 신경망에 통합될 수 있다. 이들 실시예에서, 망 아키텍처는 종단간(end-to-end) 훈련될 수 있고, PCA를 통해 발견된 데이터세트 변동 모드를 통합하고 이들을 선형적으로 결합함으로써 예측을 생성하는 특별히 설계된 계층을 포함할 수 있다. 또한, 정교화된 예측을 획득하기 위해 입력 영상의 특정한 관심 영역에 콘볼루션 신경망의 주의를 집중시키는 메커니즘이 포함될 수 있다.
노이즈, 아티팩트, 시각적 혼탁, 및 불량 정의된 영상 영역의 존재와 함께 해부학적 구조물의 복잡성은 종종 영상 분석에서 모호성 및 오류를 야기한다. 의료 영역에서, 이들 오류들 중 많은 것은 통계적 사전 지식에 의존하여 해결할 수 있다. 예를 들어, 세그먼트화에서, 세그먼트화 윤곽선에 관한 사전 지식을 통합하는 것이 유용하다. 랜드마크 국지화 작업은 상이한 랜드마크들 사이의 의미론적 관계 및 그들의 위치들이 서로에 관하여 변하는 것이 어떻게 허용되어 있는지로부터 혜택을 받을 수 있다. 마지막으로, 선택된 영역의 모습을 캡처하는 통계적 모델은 많은 경우에 결과를 향상시키는 것으로 나타났다.
머신 학습에 기초한 세그먼트화 알고리즘을 제한하기 위해 형상 모델도 역시 이용되어 왔다. 이것은, PCA 계수들의 사후 분포를 학습하고 실측 자료 윤곽(ground truth contour)의 부분들을 보이지 않는 예에 재투영함으로써 이루어졌다. 이들 모델들은, 얕은 아키텍처, 정규화 또는 사후 처리 단계의 일부로서 부과되는 수동으로 고안되거나 학습된 피처 및 형상 제약에 의존한다.
특히, 딥 러닝 접근법 및 콘볼루션 신경망은, 특히, 원시 데이터로부터 직접 피처들의 계층구조를 학습하는 놀라운 능력을 보여주었다. 딥 러닝 모델은 복수의 계층으로 조직화되고, 여기서, 피처들은 캐스캐이드 방식으로 추출된다. 망의 깊이가 증가함에 따라, 추출된 피처는 더 큰 영상 영역을 참조하므로 이전 계층들에서 추출된 피처들과 비교하여 더 높은 레벨의 개념을 인식한다.
불행히도, 의료 영상 분석에서의 딥 러닝 접근법의 적용가능성은 종종 대량의 주석부기된 데이터세트로 훈련할 요건에 의해 제한된다. 학습 프로세스 동안에 더 많은 주석부기된 데이터를 공급하는 것은, 상당한 양의 어렵고 실제적인 상황이 캡처되는 것을 허용하므로, 사전 통계 지식을 학습 과정에 통합하는 어려움을 부분적으로 극복한다. 의료 영역에서, 데이터 이용 및 유통에 관한 제한과 주석부기 프로세스의 지루함으로 인해 대량의 주석부기된 데이터세트를 획득하는 것은 종종 어렵다. 또한, 의료 영상은 전형적으로 상이한 스캔들에 걸쳐 구조물의 품질과 외관에서 큰 변동성을 보이므로, 머신 비전 알고리즘의 성능을 더욱 저해한다. 초음파 영상은, 특히, 노이즈, 그림자, 신호 드롭 영역, 및 인간 관찰자에게도 해석을 어렵게 만드는 기타의 아티팩트에 의해 종종 손상된다. 추가로, 초음파 스캔은, 전문가에 의해 스캔될 때에도, 높은 오퍼레이터내 및 오퍼레이터간 취득 변동성을 보인다.
일부 실시예에서, PCA가 채용되어 유익하게도 훈련 데이터의 주요 변동 모드를 발견할 수 있다. 이러한 발견된 주된 변동 모드는 콘볼루션 신경망에 통합될 수 있다. 결과의 확실성은, 훈련 데이터를 통계적으로 분석함으로써 추출된 사전 지식을 이용하여 망 예측을 제한함으로써 증가된다. 이 접근법은, 관심대상 해부학 조직이 부분적으로만 나타나거나, 그 모양이 분명하지 않거나, 관찰된 훈련 사례와는 시각적으로 상이한 경우를 처리할 수 있게 한다.
데이터세트 변동 모드들을 통합하고 모드들의 선형 조합으로서 예측을 생성하는 새로운 PCA 계층을 포함하는 콘볼루션 망 아키텍처가 채용될 수 있다. 이 프로세스는, 정교화된 예측을 획득하기 위해 후속 콘볼루션 신경망 계층의 주의를 특정한 관심대상 영역에 집중시키는 절차에서 이용된다. 중요하게도, 형상이 PCA 계층에서 인코딩되고 포인트들의 최종 위치에 손실이 부과되면서 망이 종단간 훈련된다. 종단간 훈련은, 망 파라미터들의 무작위 구성으로부터 시작하여 추정 작업 및 훈련 데이터에 따라 최적 세트의 필터들 및 바이어스들을 발견하는 것을 가능케 한다. 이 방법은, 예를 들어, 흉골연 장축 뷰로부터 취득된 2D 심장초음파 영상에서의 랜드마크 국지화 및 심첨 4 챔버 뷰로부터 취득된 스캔에서 심장의 좌심실 세그먼트화에 적용될 수 있다.
PCA를 통해 획득된 통계적 사전 지식을 콘볼루션 신경망에 통합하는 것은, 유익하게도, 강한 형상 선행물(strong shape prior)이 없는 이전의 딥 러닝 접근법의 한계 및 고급 패턴 인식 능력이 없는 활성 형상 모델의 한계를 극복할 수 있다. 이 접근법은 완전히 자동적일 수 있으므로 인간 상호작용을 요구하는 ASM에 기초한 대부분의 이전 방법들과는 상이하다. 신경망은 어떠한 최적화 루프도 요구하지 않고 단일의 단계에서 예측을 출력한다.
일부 실시예에서, N개의 영상을 포함하는 훈련 세트 및 랜드마크들의 위치를 기술하는 P개의 키-포인트를 참조하는 좌표들로 구성된 연관된 실측 자료 주석부기가 채용될 수 있다. 훈련 세트는, 먼저 Y에서 좌표의 주요 변동 모드를 획득한 다음 이를 활용하는 콘볼루션 신경망을 훈련시키는데 이용될 수 있다. 우리의 예측을 공식화하는데 이용되는 정보는, 복수의 콘볼루션 및 풀링 동작 이후에 획득되므로 세밀한 고해상도의 상세정보가 계층들을 통해 손실될 수 있다. 이러한 이유로, 예측을 정교화하기 위해 영상의 일부를 잘라냄으로써 망의 주의를 전체-해상도 상세사항에 집중시키는 메커니즘이 채용될 수 있다. 아키텍처는 종단간 훈련될 수 있고, 망의 모든 파라미터는 매 반복마다 업데이트될 수 있다.
신체의 장기 및 해부학적 상세사항 등의 자연 발생 구조물의 가변성의 대부분은 임의적이지 않다. 예를 들어, 모집단을 대표하는 형상들의 데이터세트에 대한 간단한 관찰에 의해, 상이한 형상 부분들 사이의 대칭성 및 상관성의 존재를 주목할 수 있다. 동일한 방식으로, 신체의 상이한 랜드마크들의 위치에서 상관성을 관찰하는 것은, 이들이 서로 밀접하게 얽혀있기 때문에 종종 가능하다. PCA는 당면한 데이터세트의 주요 변동 모드를 발견하는데 이용될 수 있다. 형상들이 전체 데이터세트에 걸쳐 정렬된 포인트 세트로서 기술되는 경우, PCA는 상이한 포인트들 사이에 어떤 상관성이 존재하는지를 보여주고, 주요 변동 모드들이 축들에 대응하는 새로운 좌표 프레임을 정의한다. 각각의 관찰 yi가 그 열들 중 하나를 구성하는 데이터세트를 포함하는 행렬 Y를 가짐으로써, 그 주요 성분들은, 먼저 수학식 (3)을 통해 Y를 의미를 제거하고 :
Figure pct00006
그 다음, 공분산 행렬
Figure pct00007
의 고유벡터들을 계산함으로써 획득될 수 있다. 이것은 수학식 (4)의 U에 대응한다 :
Figure pct00008
이 수학식 (4)는 특이값 분해(SVD; singular value decomposition)를 통해 획득된다. 행렬
Figure pct00009
은 대각선이고 공분산 행렬의 고유값들을 포함하며 고유베이스(eigenbase)의 각각의 주요 성분과 연관된 분산을 나타낸다.
데이터세트 내의 임의의 예는 수학식 (5)에 나타낸 주요 성분들의 선형 조합으로서 합성될 수 있다 :
Figure pct00010
선형 조합의 각각의 계수는, 하나의 위치뿐만 아니라, 당면한 형상을 기술할 수 있는 복수의 상관된 포인트들을 지배한다. 각각의 주요 성분의 효과를 가중하는 계수들에 제약 조건을 부과하거나, 보유된 분산의 백분율과 주요 성분의 개수 사이의 정확한 균형에 도달할 때까지 그들의 개수를 감소시킴으로써, 이전에 도입된 "법적 형상(legal shape)"의 개념을 존중하는 형상을 합성할 수 있다.
콘볼루션 신경망은 수학식 (5)에서 가중치 w에 관해 회귀를 수행하도록 훈련되지 않을 수 있다. 대신에, 망이 PCA 고유베이스를 직접 이용하여 영상으로부터 키-포인트 위치의 형태로 된 예측을 수행하는 종단간 아키텍처가 이용될 수 있다. 이것은 훈련 프로세서에 직접적인 영향을 미친다. 망은, 손실을 최소화함으로써, 결과에 미치는 영향을 "인식"하면서 계수를 조정하는 것을 학습한다. 가중치들 각각은 복수의 상관된 키포인트들의 위치를 동시에 제어한다. 예측들은 주요 성분들의 선형 조합으로서 획득되기 때문에, 이들은 "법적 형상"의 개념을 따르므로 데이터 분실, 노이즈 및 아티팩트에 대해 더욱 견고하다.
망은 2개의 브랜치를 포함할 수 있다. 제1 브랜치는 콘볼루션, 풀링, 및 조밀 계층들을 채용하고, PCA를 통해 키-포인트 위치들의 대략적 추정을 생성한다. 제2 브랜치는, 대략적 키-포인트 위치들 주변의 입력 영상으로부터 잘라낸 전체 해상도 패치에 관해 동작한다. 제2 망의 출력은 더욱 세밀한 시각적 정보를 이용함으로써 제1 브랜치에 의해 이루어진 예측을 개선한다. 양쪽 브랜치들은 동시에 훈련되고 완전히 구별가능하다. 콘볼루션들은 모두 패딩없이 적용되고 이들은 제1 콘볼루션 신경망 브랜치에서는 3x3 크기의 커널을 이용하고 제2의 더 얕은 브랜치에서는 5x5 크기의 커널을 이용한다. 망 전체를 통해 이용되는 비선형성은 정류된 선형 함수이다. PCA 계층의 모든 입력은 비선형성을 통해 처리되지 않는다.
PCA 계층은 수학식 (5)의 약간 수정된 합성 방정식을 구현한다. 망의 조밀 계층에 의해 공급되는 가중치 w에 추가하여, 모든 예측된 포인트들에 적용되는 전역적 시프트 s가 역시 공급된다. 2차원 벡터를 통해, 관심대상 해부학적 구조의 변환이 처리될 수 있다. 표기법을 약간 남용하여, 수학식 (5)는 수학식 (6)에 도시된 바와 같이 다시 쓸 수 있다 :
Figure pct00011
잘라내기(cropping)를 수행하는 계층은 구별가능성을 보장하는 공간 변환기에 영향을 주는 구현을 따른다. 정규 샘플링 패턴은 대략적 키-포인트 위치들로 변환되고 주변 영역의 강도 값들은 바이리니어 보간(bilinear interpolation)을 이용하여 샘플링된다. P개의 키-포인트들을 가짐으로써, 미니-배치(mini-batch)의 K개 영상들 각각에 대해 P개의 패치가 획득될 수 있다. 결과적인 KP개의 패치들은 패딩없이 적용된 8개의 필터를 이용하는 3-계층 딥 콘볼루션 신경망을 통해 처리되어, 총 12개의 픽셀만큼 그들의 크기를 감소시킨다. 콘볼루션 계층 후에, 패치들은 P × 8개 채널들을 갖는 K개 요소들의 배치(batch)로 다시 배열되고, 궁극적으로, 동일한 차원수 w를 갖는 wA를 계산하는 3개의 조밀 계층을 통해 추가로 처리된다. 더 정확한 키-포인트 예측을 획득하기 위해 PCA 계층에서 채용되는 정교한 가중치들 wF가, wF = wA + w로서 획득된다.
이 접근법은, 2개의 상이한 작업을 양호한 결과로 해결하기 위한 목적으로 인간의 심장을 묘사하는 2개의 상이한 초음파 데이터세트에서 테스트되었다. 제1 작업은 심첨 뷰로부터 취득된 심장 형태 스캔의 좌심실(LV) 세그먼트화인 반면, 제2 작업은 흉골연 장축 뷰로부터 취득된 영상에서 14개의 관심 포인트를 국지화하는 것을 목표로 하는 랜드마크 국지화 문제이다. 제1 경우에, 모델은 관심대상 구조물의 형상에 관련된 사전 통계 지식을 활용하는 반면, 제2 경우에서는, 모델은 상이한 환자들의 심장 주기들에 걸쳐 랜드마크들 사이의 시공간 관계를 캡처한다. 세그먼트화 작업을 위해, 총 1100개의 주석부기된 영상, 훈련을 위한 953개의 영상, 테스트를 위한 147개의 영상이 채용되었다.
콘볼루션 신경망을 이용한 랜드마크 국지화를 위한 기술
본 발명자들은, 노이즈, 그림자, 해부학적 차이, 및 스캔 평면 변동에 기인하여 초음파 비디오 시퀀스에서의 정확한 랜드마크 국지화가 어렵다는 것을 이해하였다. 따라서, 본 발명자들은 이러한 해결과제를 해결할 수 있는 랜드마크 위치를 회귀하도록 훈련된 완전 콘볼루션 신경망을 구상하고 개발하였다. 이 콘볼루션 신경망에서, 일련의 콘볼루션 및 풀링 계층에 후속하여, 선행 계층들로부터의 피처 포워딩과 함께, 업샘플링 및 콘볼루션 계층들의 집합이 뒤따른다. 최종 위치 추정치는 마지막 계층에서 회귀 맵의 질량 중심을 계산함으로써 생성된다. 또한, 추정치의 불확실성은 예측치들의 표준 편차로서 계산된다. 추정치들의 시간적 일관성은, 현재 프레임에서의 추정치를 개선하기 위하여 수 개의 이전 프레임들을 처리하는 Long Short-Term 메모리 셀에 의해 달성된다. 흉골연 장축 뷰에서의 좌심실의 자동화된 측정 결과와 후속 구축률 계산은 사용자간 변동성과 동등한 정확도를 보여준다.
회귀 모델링은, 독립 변수와 하나 이상의 종속 변수 사이의 관계를 기술하기 위한 접근법이다. 머신 학습에서, 이 관계는 그 파라미터들이 훈련 예들로부터 학습되는 함수에 의해 기술된다. 딥 러닝 모델에서, 이 함수는, 로지스틱(시그모이드), 쌍곡선 탄젠트, 또는 망의 각각의 계층에서의 더 최근에 정류된 선형 함수의 조성이다. 많은 응용에서, 이 함수는 입력 영상 패치와 연속 예측 변수 사이의 맵핑을 학습한다.
회귀 모델링은, 영상 내의 장기 또는 랜드마크 위치들을 검출하고, 객체들 및 피처들을 시각적으로 추적하고, 신체 자세를 추정하는데 이용되어 왔다. 딥 러닝 접근법은, 특히 대량의 주석부기된 훈련 데이터 세트가 이용가능할 때 이전 기술들을 능가했다. 제안된 아키텍처는, 회귀분석기, 정교화 국지화 스테이지, 랜드마크를 국지화하기 위해 복수의 랜드마크로부터의 결합 단서들을 이용했다. 의료 영상에서, 랜드마크는 진단을 돕는 측정 포인트로서 이용되므로 정확한 국지화에 관한 요구조건이 높다. 비디오 시퀀스에서 측정치를 추적할 때, 각각의 프레임에서 포인트들이 정확히 검출되어야 하면서 검출의 시간적 일관성을 보장해야 한다.
비디오 시퀀스 내의 해부학적 랜드마크 포인트들의 정확한 국지화를 위한 완전 콘볼루션 망 아키텍처가 고안되었다. 완전 콘볼루션 망의 이점은, 입력 영상을 커버하는 복수의 윈도우로부터의 응답들이 단일 단계에서 계산할 수 있다는 것이다. 망은 종단간 훈련되고 랜드마크의 위치를 출력한다. 마지막 콘볼루션 계층에서의 회귀된 위치의 집결은, 예측들의 평균 위치를 계산하는 새로운 질량-중심 계층에 의해 보장된다. 이 계층은, 예측된 후보들의 분산에 기초하여 새로운 정규화 기술을 이용하고 랜드마크들의 상대적 위치에 기초하여 새로운 손실을 정의할 수 있게 한다. 평가는 고속이어서 프레임 레이트 속도 근처에서 비디오 시퀀스의 각각의 프레임을 처리한다. 측정치의 시간적 일관성은 수 개의 이전 프레임들로부터의 피처 맵을 처리하고 현재 프레임에 대한 업데이트된 피처를 생성하여 추정지를 정교화하는 CLSTM(Convolutional Long Short-Term Memory) 셀에 의해 향상된다.
폭 w 및 높이 h의 입력 영상을 I(독립 변수)로 나타내고, 열별로 적층된 k개의 랜드마크의 위치를 p(종속 변수)로 나타낸다. 회귀의 목표는 θ로 파라미터화된 함수 f(I; θ)= p를 학습하는 것이다. f는 콘볼루션 신경망에 의해 근사화될 수 있고, 영상들의 데이터베이스 및 그들의 대응하는 주석들을 이용하여 파라미터들 params를 훈련할 수 있다. 전형적으로, Euclidean 손실이 채용되어 각각의 주석부기된 영상을 이용해 f를 훈련시킨다.
이전에, 회귀 추정은, 이전 계층에 완전히 접속된, 망의 마지막 계층으로부터 직접 획득되었다. 이것은 고도로 비선형적인 맵핑이고, 여기서, 추정치는 콘볼루션 블록 이후에 완전히 접속된 계층들로부터 계산된다. 완전히 접속된 망 대신에, 우리는 FCNN(fully convolutional architecture)을 이용하여 랜드마크 위치를 회귀하는 것을 제안한다. 그들의 이점은, 추정치들이 단일의 평가 단계에서 계산될 수 있다는 것이다. 제안된 아키텍처에서, 랜드마크 좌표 추정치는 각각의 영상 위치에서 획득될 수 있다.
집결된 랜드마크 좌표 추정치들은 새로운 질량 중심 계층에서 각각의 예측 위치
Figure pct00012
에서의 입력으로부터 계산된다 :
Figure pct00013
반복적인 신경망(RNN; Recurrent neural network)은 매 시간 단계 t에서 입력 xt를 수락하고 은닉된 벡터 ht를 업데이트함으로써 순차적인 컨텍스트 의존성을 학습할 수 있다. RNN 망은 LSTM(Long-Short Term Memory) 유닛들로 구성될 수 있고, 각각은, 0 내지 1의 범위에 있는 3가지 유형의 업데이트 it, ft, ot를 갖는 게이팅 메커니즘에 의해 제어된다. 값 it는 각각의 메모리 셀의 업데이트를 제어하고, ft는 각각의 메모리 셀의 망각을 제어하며, ot는 메모리 상태가 은닉된 벡터에 미치는 영향을 제어한다. 콘볼루션 LSTM(CLSTM)에서, 입력 가중치와 은닉된 벡터 가중치는 모델 공간 제약에 곱해지는 것 대신에 콘볼루션된다. 이 함수는 tanh이도록 선택될 수 있는 비선형성을 도입한다. 수학식 (8) 내지 (10)에 대해 콘볼루션 연산자를 *로 표기하면, 게이트에서의 값은 다음과 같이 계산된다 :
Figure pct00014
Figure pct00015
Figure pct00016
파라미터들 가중치 W 및 바이어스 b는 훈련 시퀀스로부터 학습된다. 게이트 값 외에도, 각각의 CLSTM 유닛은 상태 후보 값을 계산한다 :
Figure pct00017
여기서 gt는 -1 내지 1의 범위이고 메모리 내용에 영향을 준다. 메모리 셀은 다음에 의해 업데이트된다
Figure pct00018
이것은, 각각의 메모리 셀을 첨가적으로(additively) 수정한다. 업데이트 프로세스로 인해 그라디언트(gradient)가 역전파 동안에 분산된다. 심볼
Figure pct00019
는 Hadamard 곱을 나타낸다. 마지막으로, 은닉된 상태는 다음과 같이 업데이트된다 :
Figure pct00020
영상 시퀀스의 순차적 처리에서, LSTM으로의 입력은 콘볼루션 신경망으로부터 계산된 피처 맵들로 구성된다. 이 작업에서, 2개의 아키텍처가 피처 맵을 계산하도록 제안된다. 제1 아키텍처는 콘볼루션 및 풀링 계층을 갖는 신경망이다. CLSTM에서 피처 맵을 순차적으로 처리한 후, 출력은 완전히 접속된 계층들 내로 공급되어 랜드마크 위치 추정치를 계산한다. 제2 아키텍처에서, CLSTM 입력은, 완전 콘볼루션 아키텍처(FCN)의 콘볼루션 경로의 최종 계층이다. 랜드마크 위치 추정치는 FCN 망의 트랜스포즈된 콘볼루션 부분(transposed convolutional part)을 통해 처리된 CLSTM 출력으로부터 계산된다.
예시적인 초음파 시스템
도 15a는 본 명세서에서 설명된 기술의 다양한 양태들이 실시될 수 있는 예시적인 초음파 시스템(1500A)의 양태를 나타내는 개략적인 블록도이다. 예를 들어, 초음파 시스템(1500A)의 하나 이상의 컴포넌트는 본 명세서에 설명된 임의의 프로세스를 수행할 수 있다. 도시된 바와 같이, 초음파 시스템(1500A)은, 처리 회로(1501), 입력/출력 디바이스(1503), 초음파 회로(1505) 및 메모리 회로(1507)를 포함한다.
초음파 회로(1505)는 초음파 영상을 생성하기 위해 채용될 수 있는 초음파 데이터를 생성하도록 구성될 수 있다. 초음파 회로(1505)는 단일 반도체 다이 상에 모놀리식으로 집적된 하나 이상의 초음파 트랜스듀서를 포함할 수 있다. 초음파 트랜스듀서는, 예를 들어, 하나 이상의 용량식 미세가공 초음파 트랜스듀서(CMUT), 하나 이상의 CMOS 초음파 트랜스듀서(CUT), 하나 이상의 압전식 미세가공 초음파 트랜스듀서(PMUT), 및/또는 하나 이상의 다른 적절한 초음파 트랜스듀서 셀들을 포함할 수 있다. 일부 실시예에서, 초음파 트랜스듀서는, 모놀리식 초음파 디바이스를 형성하기 위해 초음파 회로(1505) 내의 다른 전자 컴포넌트(예를 들어, 전송 회로, 수신 회로, 제어 회로, 전력 관리 회로, 및 처리 회로)와 동일한 칩 상에 형성될 수 있다.
처리 회로(1501)는 본 명세서에 설명된 기능 중 임의의 것을 수행하도록 구성될 수 있다. 처리 회로(1501)는 하나 이상의 프로세서(예를 들어, 컴퓨터 하드웨어 프로세서)를 포함할 수 있다. 하나 이상의 기능을 수행하기 위해, 처리 회로(1501)는 메모리 회로(1507)에 저장된 하나 이상의 프로세서-실행가능한 명령어를 실행할 수 있다. 메모리 회로(1507)는 초음파 시스템(1500B)의 동작 동안 프로그램 및 데이터를 저장하는데 이용될 수 있다. 메모리 회로(1507)는 비일시적인 컴퓨터-판독가능한 저장 매체 등의 하나 이상의 저장 디바이스를 포함할 수 있다. 처리 회로(1501)는 임의의 적절한 방식으로 메모리 회로(1507)에 데이터를 기입하고 메모리 회로(1507)로부터 데이터를 판독하는 것을 제어할 수 있다.
일부 실시예에서, 처리 회로(1501)는 주문형 집적 회로(ASIC) 등의 특별하게-프로그램된 및/또는 특별-목적 하드웨어를 포함할 수 있다. 예를 들어, 처리 회로(1501)는 하나 이상의 텐서 처리 유닛(TPU; tensor processing unit)을 포함할 수 있다. TPU는 머신 학습(예를 들어, 딥 러닝)을 위해 특별히 설계된 ASIC일 수 있다. TPU는 예를 들어 신경망의 추론 단계를 가속화하기 위해 채용될 수 있다.
입력/출력(I/O) 디바이스(1503)는 다른 시스템 및/또는 오퍼레이터와의 통신을 용이화하도록 구성될 수 있다. 오퍼레이터와의 통신을 용이화할 수 있는 예시적인 I/O 디바이스는 : 키보드, 마우스, 트랙볼, 마이크로폰, 터치 스크린, 인쇄 디바이스, 디스플레이 스크린, 스피커, 및 진동 디바이스를 포함한다. 다른 시스템과의 통신을 용이화할 수 있는 예시적인 I/O 디바이스는, BLUETOOTH, ZIGBEE, WiFi, 및/또는 USB 통신 회로 등의 유선 및/또는 무선 통신 회로를 포함한다.
초음파 시스템(1500A)은 임의의 수의 디바이스를 이용하여 구현될 수 있다는 것을 이해해야 한다. 예를 들어, 초음파 시스템(1500A)의 컴포넌트들은 단일 디바이스 내에 통합될 수 있다. 또 다른 예에서, 초음파 회로(1505)는, 처리 회로(1501), 입력/출력 디바이스(1503), 및 메모리 회로(1507)를 포함하는 컴퓨팅 디바이스와 통신가능하게 결합된 초음파 디바이스 내에 통합될 수 있다.
도 15b는, 본 명세서에서 설명된 기술의 다양한 양태들이 실시될 수 있는 또 다른 예시적인 초음파 시스템(1500B)의 양태를 예시하는 개략적인 블록도이다. 예를 들어, 초음파 시스템(1500B)의 하나 이상의 컴포넌트는 본 명세서에 설명된 임의의 프로세스를 수행할 수 있다. 도시된 바와 같이, 초음파 시스템(1500B)은 컴퓨팅 디바이스(1502)와 유선 및/또는 무선 통신하는 초음파 디바이스(1514)를 포함한다. 컴퓨팅 디바이스(1502)는, 오디오 출력 디바이스(1504), 촬영 디바이스(1506), 디스플레이 스크린(1508), 프로세서(1510), 메모리(1512), 및 진동 디바이스(1509)를 포함한다. 컴퓨팅 디바이스(1502)는 네트워크(1516)를 통해 하나 이상의 외부 디바이스와 통신할 수 있다. 예를 들어, 컴퓨팅 디바이스(1502)는, 하나 이상의 워크스테이션(1520), 서버(1518), 및/또는 데이터베이스(1522)와 통신할 수 있다. 초음파 디바이스(1514)는 초음파 영상을 생성하기 위해 채용될 수 있는 초음파 데이터를 생성하도록 구성될 수 있다. 초음파 디바이스(1514)는 임의의 다양한 방식으로 구성될 수 있다. 일부 실시예에서, 초음파 디바이스(1514)는 신호를 전송 빔형성기에 전송하는 전송기를 포함하고, 이어서, 전송 빔형성기는 트랜스듀서 어레이 내의 트랜스듀서 요소들을 구동하여 펄스화된 초음파 신호를 환자 등의 구조물 내로 방출한다. 펄스화된 초음파 신호는, 혈액 세포 또는 근육 조직 등의 신체의 구조물로부터 역산란되어 트랜스듀서 요소로 되돌아오는 에코를 생성할 수 있다. 그 다음, 이들 에코는 트랜스듀서 요소에 의해 전기 신호 또는 초음파 데이터로 변환될 수 있고, 전기 신호는 수신기에 의해 수신된다. 수신된 에코를 나타내는 전기 신호는 초음파 데이터를 출력하는 수신 빔형성기에 전송된다.
컴퓨팅 디바이스(1502)는, 초음파 디바이스(1514)로부터의 초음파 데이터를 처리하여 디스플레이 스크린(1508) 상에서의 디스플레이를 위한 초음파 영상을 생성하도록 구성될 수 있다. 처리는 예를 들어 프로세서(1510)에 의해 수행될 수 있다. 프로세서(1510)는 또한, 초음파 디바이스(1514)를 이용한 초음파 데이터의 취득을 제어하도록 적합화될 수 있다. 초음파 데이터는 에코 신호가 수신됨에 따라 스캐닝 세션 동안 실시간으로 처리될 수 있다. 일부 실시예에서, 디스플레이된 초음파 영상은, 적어도 5Hz, 적어도 10Hz, 적어도 20Hz, 5Hz 내지 60Hz의 속도로, 20Hz보다 큰 속도로 업데이트될 수 있다. 예를 들어, 이전에 취득된 데이터에 기초하여 영상이 생성되고 있고 라이브 초음파 영상이 디스플레이되고 있는 동안에도 초음파 데이터가 취득될 수 있다. 추가 초음파 데이터가 취득됨에 따라, 더 최근에 취득된 초음파 데이터로부터 생성된 추가적인 프레임들 또는 영상들은 순차적으로 디스플레이된다. 추가로, 또는 대안으로서, 초음파 데이터는 스캐닝 세션 동안 버퍼에 일시적으로 저장될 수 있고, 비실시간으로 처리될 수 있다. 추가로(또는 대안으로서), 컴퓨팅 디바이스(1502)는, (예를 들어, 프로세서(1510)를 이용하여) 본 명세서에서 설명된 임의의 프로세스를 수행하거나 및/또는 (예를 들어, 디스플레이 스크린(1508)을 이용하여) 본 명세서에서 설명된 임의의 사용자 인터페이스를 디스플레이하도록 구성될 수 있다. 예를 들어, 컴퓨팅 디바이스(1502)는, 오퍼레이터가 촬영할 피험자의 타겟 해부학적 뷰를 선택하는 것을 보조하고 타겟 해부학적 뷰를 포함하는 초음파 영상을 캡처하도록 오퍼레이터를 안내하는 지침을 초음파 디바이스(1514)의 오퍼레이터에게 제공하도록 구성될 수 있다. 도시된 바와 같이, 컴퓨팅 디바이스(1502)는 이러한 프로세스의 수행 동안에 이용될 수 있는 하나 이상의 요소를 포함할 수 있다. 예를 들어, 컴퓨팅 디바이스(1502)는, 하나 이상의 프로세서(1510)(예를 들어, 컴퓨터 하드웨어 프로세서), 및 메모리(1512) 등의 비일시적인 컴퓨터-판독가능한 저장 매체를 포함하는 하나 이상의 제품을 포함할 수 있다. 프로세서(1510)는 임의의 적절한 방식으로 메모리(1512)에 데이터를 기입하고 메모리(1512)로부터 데이터를 판독하는 것을 제어할 수 있다. 본 명세서에서 설명된 임의의 기능을 수행하기 위해, 프로세서(1510)는, 프로세서(1510)에 의한 실행을 위한 프로세서-실행가능한 명령어들을 저장하고 있는 비일시적인 컴퓨터-판독가능한 저장 매체로서 역할할 수 있는 하나 이상의 비일시적인 컴퓨터-판독가능한 저장 매체(예를 들어, 메모리(1512))에 저장된 하나 이상의 프로세서-실행가능한 명령어를 실행할 수 있다.
일부 실시예에서, 컴퓨팅 디바이스(1502)는, 오디오 출력 디바이스(1504), 촬영 디바이스(1506), 디스플레이 스크린(1508), 및 진동 디바이스(1509) 등의 하나 이상의 입력 및/또는 출력 디바이스를 포함할 수 있다. 오디오 출력 디바이스(1504)는 스피커 등의 가청 사운드를 방출하도록 구성된 디바이스일 수 있다. 촬영 디바이스(1506)는 카메라 등의 영상을 형성하기 위해 광(예를 들어, 가시광)을 검출하도록 구성될 수 있다. 디스플레이 스크린(1508)은, 액정 디스플레이(LCD), 플라즈마 디스플레이, 및/또는 유기 발광 다이오드(OLED) 디스플레이 등의, 영상 및/또는 비디오를 디스플레이하도록 구성될 수 있다. 진동 디바이스(1509)는 촉각 피드백을 제공하기 위해 컴퓨팅 디바이스(1502)의 하나 이상의 컴포넌트를 진동 시키도록 구성될 수 있다. 이들 입력 및/또는 출력 디바이스는 프로세서(1510)에 통신가능하게 결합되거나 및/또는 프로세서(1510)의 제어하에 있을 수 있다. 프로세서(1510)는 (도 9 내지 도 13에 도시된 임의의 프로세스 등의) 프로세서(1510)에 의해 실행되는 프로세스에 따라 이들 디바이스들을 제어할 수 있다. 예를 들어, 프로세서(1510)는, 전술된 사용자 인터페이스, 지침, 및/또는 초음파 영상 중 임의의 것을 디스플레이하도록 디스플레이 스크린(1508)을 제어할 수 있다. 유사하게, 프로세서(1510)는 오디오 출력 디바이스(1504)를 제어하여 가청 지침을 내리거나 및/또는 진동 디바이스(1509)를 제어하여 촉각 피드백(예를 들어, 진동)의 강도를 변경해 촉각 지침을 내릴 수 있다. 추가로(또는 대안으로서), 프로세서(1510)는 촬영 디바이스(1506)를 제어하여 피험자 상에서 이용되는 초음파 디바이스(1514)의 비음향 영상을 캡처해 초음파 디바이스(1514)의 오퍼레이터에게 (예를 들어 도 5b 및 도 6에 도시된 바와 같은) 증강 현실 인터페이스를 제공할 수 있다.
컴퓨팅 디바이스(1502)는 임의의 다양한 방식으로 구현될 수 있다는 것을 이해해야 한다. 예를 들어, 컴퓨팅 디바이스(1502)는 모바일 스마트폰 또는 태블릿 등의 핸드헬드 디바이스로서 구현될 수 있다. 따라서, 초음파 디바이스(1514)의 오퍼레이터는 한 손으로 초음파 디바이스(1514)를 작동시키고 또 다른 손으로 컴퓨팅 디바이스(1502)를 쥘 수 있다. 다른 예에서, 컴퓨팅 디바이스(1502)는 랩탑 등의 핸드헬드 디바이스가 아닌 휴대형 디바이스로서 구현될 수 있다. 역시 다른 예에서, 컴퓨팅 디바이스(1502)는 데스크탑 컴퓨터 등의 고정 디바이스로서 구현될 수 있다.
일부 실시예에서, 컴퓨팅 디바이스(1502)는 네트워크(1516)를 통해 하나 이상의 외부 디바이스와 통신할 수 있다. 컴퓨팅 디바이스(1502)는, 유선 접속을 통해(예를 들어, 이더넷 케이블을 통해) 및/또는 무선 접속을 통해(예를 들어, WiFi 네트워크를 통해) 네트워크(1516)에 접속될 수 있다. 도 15b에 도시된 바와 같이, 이들 외부 디바이스는, 서버(1518), 워크스테이션(1520), 및/또는 데이터베이스(1522)를 포함할 수 있다. 컴퓨팅 디바이스(1502)는, 예를 들어 계산 집약적인 작업을 오프로드하기 위해 이들 디바이스들과 통신할 수 있다. 예를 들어, 컴퓨팅 디바이스(1502)는 분석을 위해 (예를 들어, 초음파 영상 내의 해부학적 피처를 식별하거나 및/또는 오퍼레이터에게 제공할 지침을 식별하기 위해) 네트워크(1516)를 통해 초음파 영상을 서버(1518)에 전송하고 서버(1518)로부터 분석의 결과를 수신할 수 있다. 추가로(또는 대안으로서), 컴퓨팅 디바이스(1502)는 이들 디바이스와 통신하여 국지적으로 이용가능하지 않은 정보에 액세스하거나 및/또는 중앙 정보 저장소를 업데이트할 수 있다. 예를 들어, 컴퓨팅 디바이스(1502)는 데이터베이스(1522)에 저장된 파일로부터 초음파 디바이스(1514)로 촬영된 피험자의 의료 기록에 액세스할 수 있다. 이 예에서, 컴퓨팅 디바이스(1502)는 또한, 피험자의 하나 이상의 캡처된 초음파 영상을 데이터베이스(1522)에 제공하여 피험자의 의료 기록에 추가할 수 있다.
용어 "프로그램", "애플리케이션", 또는 "소프트웨어"는, 본 명세서에서, 전술된 실시예들의 다양한 양태를 구현하도록 컴퓨터 또는 기타의 프로세서를 프로그램하기 위해 채용될 수 있는 임의의 유형의 컴퓨터 코드 또는 프로세서-실행가능한 명령어 세트를 지칭하는 일반적 의미로 사용된다. 추가적으로, 한 양태에 따르면, 실행될 때 본 명세서에서 제공된 본 개시내용의 방법들을 수행하는 하나 이상의 컴퓨터 프로그램은 단일의 컴퓨터 또는 프로세서 상에 존재할 필요는 없고, 본 명세서에서 제공된 본 개시내용의 다양한 양태를 구현하기 위해 다수의 상이한 컴퓨터 또는 프로세서들 사이에서 모듈식으로 분산될 수도 있다.
프로세서-실행가능한 명령어는, 하나 이상의 컴퓨터 또는 기타의 디바이스에 의해 실행되는 프로그램 모듈 등의, 많은 형태로 존재할 수 있다. 일반적으로, 프로그램 모듈은, 특정 작업들을 수행하거나 특정 추상 데이터 유형들을 구현하는 루틴, 프로그램, 객체, 컴포넌트, 데이터 구조 등을 포함한다. 전형적으로, 프로그램 모듈의 기능은 결합되거나 분산될 수도 있다.
또한, 데이터 구조는 임의의 적절한 형태의 하나 이상의 비일시적인 컴퓨터-판독가능한 저장 매체에 저장될 수 있다. 예시의 간소화를 위해, 데이터 구조는 데이터 구조 내의 위치를 통해 관련된 필드들을 갖는 것으로 도시될 수 있다. 이러한 관계는 마찬가지로, 필드들 사이의 관계를 전달하는 비일시적인 컴퓨터-판독가능한 매체 내의 위치들을 갖는 필드들에 대해 저장장소를 할당함으로써 달성될 수 있다. 그러나, 데이터 구조의 필드들 내의 정보간의 관계를 설정하기 위해, 포인터, 태그 또는 데이터 요소들 사이의 관계를 설정하는 다른 메커니즘의 이용을 포함한, 임의의 적절한 메커니즘이 이용될 수 있다.
예시적인 초음파 디바이스들
도 16은 초음파 디바이스들(102, 502, 602 및 1514) 등의 임의의 초음파 디바이스 또는 초음파 회로(1505) 등의 본 명세서에서 설명된 임의의 초음파 회로로서 채용될 수 있는 모놀리식 초음파 디바이스(1600)의 예시적인 예를 도시한다. 도시된 바와 같이, 초음파 디바이스(1600)는, 하나 이상의 트랜스듀서 배열(예를 들어, 어레이)(1602), 전송(TX) 회로(1604), 수신(RX) 회로(1606), 타이밍 및 제어 회로(1608), 신호 조정/처리 회로(1610), 전력 관리 회로(1618), 및/또는 고밀도 포커싱된 초음파(HIFU) 제어기(1620)를 포함할 수 있다. 도시된 실시예에서, 예시된 요소들 모두는 단일의 반도체 다이(1612) 상에 형성된다. 그러나, 대안적 실시예에서, 예시된 요소들 중 하나 이상은 그 대신에 오프-칩 위치될 수 있다는 점을 이해해야 한다. 또한, 도시된 예가 TX 회로(1604) 및 RX 회로(1606) 양쪽 모두를 도시하지만, 대안적인 실시예에서는 TX 회로만이 또는 RX 회로만이 채용될 수도 있다.
예를 들어, 이러한 실시예들은, 음향 신호를 전송하기 위해 하나 이상의 전송-전용 디바이스(1600)가 이용되고 초음파 촬영중인 피험자로부터 반사되거나 이를 통해 투과된 음향 신호를 수신하기 위해 하나 이상의 수신-전용 디바이스(1600)가 이용되는 환경에서 채용될 수 있다.
예시된 컴포넌트들 중 하나 이상 사이의 통신은 수 많은 방식들 중 임의의 방식으로 수행될 수 있다는 것을 이해해야 한다. 일부 실시예에서, 예를 들어, 단일화된 Northbridge에 의해 채용되는 등의, 하나 이상의 고속 버스(미도시)가 고속의 칩내 통신 또는 하나 이상의 오프칩 컴포넌트들과의 통신을 허용하는데 이용될 수 있다.
하나 이상의 트랜스듀스 어레이(1602)는 임의의 다양한 형태를 취할 수 있고, 본 기술의 양태는 임의의 특정한 유형 또는 배열의 트랜스듀스 셀 또는 트랜스듀스 요소들의 이용을 반드시 요구하지는 않는다. 사실상, "어레이"라는 용어가 본 설명에서 사용되었지만, 일부 실시예에서는 트랜스듀서 요소들이 어레이로 조직되지 않고 대신에 어떤 비어레이 방식으로 배열될 수 있다는 것을 이해해야 한다. 다양한 실시예에서, 어레이(1602) 내의 트랜스듀서 요소들 각각은, 예를 들어, 하나 이상의 용량식 미세가공 초음파 트랜스듀서(CMUT), 하나 이상의 CMOS 초음파 트랜스듀서(CUT), 하나 이상의 압전식 미세가공 초음파 트랜스듀서(PMUT), 및/또는 하나 이상의 다른 적절한 초음파 트랜스듀서 셀들을 포함할 수 있다. 일부 실시예에서, 트랜스듀서 어레이(102)의 트랜스듀서 요소들은, TX 회로(1604) 및/또는 RX 회로(1606)의 전자회로와 동일한 칩 상에 형성될 수 있다. 트랜스듀서 요소(1602), TX 회로(1604), 및 RX 회로(1606)는, 일부 실시예에서, 단일 초음파 디바이스에 통합될 수 있다. 일부 실시예에서, 단일 초음파 디바이스는 핸드헬드 디바이스일 수 있다. 다른 실시예에서, 단일 초음파 디바이스는 환자에게 결합될 수 있는 패치로 구현될 수 있다. 패치는, 패치에 의해 수집된 데이터를 추가 처리를 위해 하나 이상의 외부 디바이스에 무선으로 전송하도록 구성될 수 있다.
CUT는, 예를 들어, CMOS 웨이퍼에 형성된 캐버티를 포함할 수 있고, 박막이 캐버티 위에 놓이며, 일부 실시예에서는, 캐버티를 밀봉한다. 전극이 제공되어 덮인 캐버티 구조물로부터 트랜스듀서 셀을 생성할 수 있다. CMOS 웨이퍼는 트랜스듀서 셀이 접속될 수 있는 통합된 회로를 포함할 수 있다. 트랜스듀서 셀과 CMOS 웨이퍼는 모놀리식으로 통합되므로, 단일 기판(CMOS 웨이퍼) 상에 집적된 초음파 트랜스듀서 셀과 집적 회로를 형성할 수 있다.
TX 회로(1604)(포함되는 경우)는, 예를 들어, 촬영을 위해 이용될 음향 신호를 생성하도록 트랜스듀서 어레이(들)(1602) 내의 개개의 요소 또는 하나 이상의 그룹의 요소들을 구동하는 펄스를 생성할 수 있다. 다른 한편, RX 회로(1606)는, 음향 신호가 이러한 요소에 충돌할 때 트랜스듀서 어레이(들)(102)의 개개의 요소에 의해 생성된 전자 신호를 수신 및 처리할 수 있다.
일부 실시예에서, 타이밍 및 제어 회로(1608)는, 예를 들어, 디바이스(1600) 내의 다른 요소들의 동작을 동기화하고 조율하는데 이용되는 모든 타이밍 및 제어 신호들을 생성하는 책임을 질 수 있다. 도시된 예에서, 타이밍 및 제어 회로(1608)는 입력 포트(1616)에 공급되는 단일 클록 신호 CLK에 의해 구동된다. 클록 신호 CLK는, 예를 들어, 온칩 회로 컴포넌트들 중 하나 이상을 구동하는데 이용되는 고주파 클록일 수 있다. 일부 실시예에서, 클록 신호 CLK는, 예를 들어, 신호 조정/처리 회로(1610)에서의 (도 16에는 도시되지 않은) 고속 직렬 출력 디바이스를 구동하는데 이용되는 1.5625GHz 또는 2.5GHz 클록이거나, 반도체 다이(1612) 상의 다른 디지털 컴포넌트들을 구동하는데 이용되는 20 MHz 또는 40 MHz 클록이고, 타이밍 및 제어 회로(1608)는, 다이(1612) 상의 다른 컴포넌트들을 구동하기 위해, 필요하다면, 클록 CLK를 분할하거나 증배할 수 있다. 다른 실시예에서, (앞서 언급된 것들 등의) 상이한 주파수들 중 2개 이상의 클록이 오프칩 소스로부터 타이밍 및 제어 회로(1608)에 별도로 공급될 수 있다.
전력 관리 회로(1618)는, 예를 들어, 오프칩 소스로부터의 하나 이상의 입력 전압(VIN)을 칩의 동작을 실행하는데 필요한 전압으로 변환시키고, 디바이스(1600) 내의 전력 소비를 기타의 방식으로 관리하는 책임을 질 수 있다. 일부 실시예에서, 예를 들어, 단일 전압(예를 들어, 12V, 80V, 100V, 120V 등)이 칩에 공급될 수 있고, 전력 관리 회로(1618)는, 필요에 따라, 펌프 회로를 이용하여 또는 어떤 다른 DC-대-DC 전압 변환 메커니즘을 통해 전압을 스텝업 또는 스텝다운할 수 있다. 다른 실시예에서, 복수의 상이한 전압들이 처리 및/또는 다른 온칩 컴포넌트들로의 분배를 위해 전력 관리 회로(1618)에 별도로 공급될 수 있다.
도 16에 도시된 바와 같이, 일부 실시예에서, HIFU 제어기(1620)는 반도체 다이(1612) 상에 통합되어 트랜스듀서 어레이(들)(1602)의 하나 이상의 요소를 통한 HIFU 신호의 생성을 가능케할 수 있다. 다른 실시예에서, 트랜스듀서 어레이(들)(1602)를 구동하기 위한 HIFU 제어기는 오프칩 위치하거나, 심지어 디바이스(1600)와는 별개의 디바이스 내에 위치할 수 있다. 즉, 본 개시내용의 양태는, 초음파 촬영 능력을 갖추거나 갖추지 않은, 초음파-온-칩 HIFU 시스템의 제공에 관한 것이다. 그러나, 일부 실시예는 어떠한 HIFU 능력도 갖지 않을 수 있고 따라서 HIFU 제어기(1620)를 포함하지 않을 수 있다는 것을 이해해야 한다.
게다가, HIFU 제어기(1620)는 HIFU 기능을 제공하는 이들 실시예에서 별개의 회로를 나타내지 않을 수도 있다는 것을 이해해야 한다. 예를 들어, 일부 실시예에서, (HIFU 제어기(1620) 이외의) 도 16의 나머지 회로는 초음파 촬영 기능 및/또는 HIFU를 제공하는데 적합할 수 있다, 즉, 일부 실시예에서는 동일한 공유된 회로가 촬영 시스템으로서 및/또는 HIFU를 위해 작동될 수 있다. 촬영 또는 HIFU 기능이 나타나는지의 여부는 시스템에 제공되는 전력에 의존할 수 있다. HIFU는 전형적으로 초음파 촬영보다 높은 출력에서 작동한다. 따라서, 촬영 응용에 적절한 제1 전력 레벨(또는 전압 레벨)을 제공하는 것은 시스템으로 하여금 촬영 시스템으로서 동작하게 할 수 있는 반면, 더 높은 전력 레벨(또는 전압 레벨)을 제공하는 것은 시스템으로 하여금 HIFU를 위해 동작하게 할 수 있다. 이러한 전력 관리는 일부 실시예에서 오프칩 제어 회로에 의해 제공될 수 있다.
상이한 전력 레벨을 이용하는 것 외에도, 촬영 및 HIFU 응용은 상이한 파형들을 이용할 수 있다. 따라서, 파형 생성 회로는, 시스템을 촬영 시스템 또는 HIFU 시스템 중 하나로서 동작시키기 위한 적절한 파형을 제공하는데 이용될 수 있다.
일부 실시예에서, 시스템은 촬영 시스템 및 (예를 들어, 영상 안내형 HIFU를 제공할 수 있는) HIFU 시스템 양쪽 모두로서 동작할 수 있다. 이러한 일부 실시예에서, 동일한 온-칩 회로가 양쪽 기능들을 제공하는데 이용될 수 있고, 이 경우 양쪽 양태들 사이의 동작을 제어하기 위해 적절한 타이밍 시퀀스가 이용될 수 있다.
도시된 예에서, 하나 이상의 출력 포트(1614)는 신호 조정/처리 회로(1610)의 하나 이상의 컴포넌트들에 의해 생성된 고속 직렬 데이터 스트림을 출력할 수 있다. 이러한 데이터 스트림은, 예를 들어, 반도체 다이(1612) 상에 통합된 하나 이상의 USB 3.0 모듈, 및/또는 하나 이상의 10GB, 40GB, 또는 100GB 이더넷 모듈에 의해 생성될 수 있다. 일부 실시예에서, 출력 포트(1614) 상에서 생성된 신호 스트림은, 2차원, 3차원, 및/또는 단층촬영 영상의 생성 및/또는 디스플레이를 위해 컴퓨터, 태블릿 또는 스마트폰에 공급될 수 있다. 영상 형성 능력이 신호 조정/처리 회로(1610)에 포함되는 실시예에서, 애플리케이션 실행에 대해 이용가능한 제한된 양의 처리 능력과 메모리만을 갖는 스마트폰이나 태블릿 등의 비교적 저전력 디바이스들조차도 출력 포트(1614)로부터의 직렬 데이터 스트림만을 이용하여 영상을 디스플레이할 수 있다. 전술된 바와 같이, 디지털 데이터 스트림을 오프로드하기 위한 온-칩 아날로그-디지털 변환 및 고속 직렬 데이터 링크의 이용은, 본 명세서에서 설명된 기술의 일부 실시예에 따른 "칩 상의 초음파" 솔루션을 용이화를 돕는 피처들 중 하나이다.
도 16에 도시된 것 등의 디바이스(1600)는, 다수의 촬영 및/또는 처리(예를 들어, HIFU) 응용 중 임의의 응용에서 이용될 수 있고, 본 명세서에서 논의된 특정한 예는 제한적인 것으로 간주되어서는 안된다. 하나의 예시적인 구현에서, 예를 들어 N × M개의 평면형 또는 실질적으로 평면형 CMUT 요소들의 어레이를 포함하는 촬영 디바이스가, 하나 이상의 전송 단계 동안 어레이(들)(1602) 내의 요소들의 일부 또는 전부를 (함께 또는 개별적으로) 통전하고 하나 이상의 수신 단계 동안 어레이(들)(1602) 내의 요소들의 일부 또는 전부에 의해 생성된 신호를 수신 및 처리하여 각각의 수신 단계 동안 CMUT 요소가 피험자에 의해 반사된 음향 신호를 감지하게 함으로써, 그 자체로, 피험자, 예를 들어 사람의 복부의 초음파 영상을 획득하는데 이용될 수 있다. 다른 구현들에서, 어레이(들)(1602) 내의 요소들 중 일부는 음향 신호를 전송하는데에만 이용될 수 있고, 동일한 어레이(들)(1602) 내의 다른 요소들은 음향 신호를 수신하는데에만 동시에 이용될 수 있다. 또한, 일부 구현 예에서, 단일 촬영 디바이스는 개개의 디바이스들의 P × Q 어레이, 또는 CMUT 요소들의 개개의 N × M 평면형 어레이들의 P × Q 어레이를 포함할 수 있고, 그 컴포넌트들은, 병렬로, 순차적으로, 어떤 다른 타이밍 방식에 따라 동작되어 단일 디바이스(1600)에서 또는 단일 다이(1612) 상에서 구현될 수 있는 것보다 많은 수의 CMUT 요소들로부터 데이터가 누적되는 것을 허용할 수 있다.
역시 다른 구현 예에서, 한 쌍의 촬영 디바이스가 피험자 양측에 걸치도록 배치될 수 있어서, 피험자의 한 측 상의 촬영 디바이스의 디바이스(들)(1600) 내의 하나 이상의 CMUT 요소들이 피험자의 다른 측 상의 촬영 디바이스의 디바이스(들)(1600) 내의 하나 이상의 CMUT 요소들에 의해 생성된 음향 신호들을, 이러한 펄스들이 피험자에 의해 상당히 감쇠되지 않는 정도까지 감지할 수 있게 한다. 또한, 일부 구현 예에서, 자체 CMUT 요소들 중 하나 이상으로부터의 음향 신호의 산란뿐만 아니라 피험자의 반대측 상의 촬영 디바이스에 배치된 CMUT 요소들 중 하나 이상으로부터의 음향 신호의 전송 양쪽 모두를 측정하기 위해 동일한 디바이스(1600)가 이용될 수 있다.
도 17은, 일부 실시예에서, 주어진 트랜스듀서 요소(1702)에 대한 TX 회로(1604) 및 RX 회로(1606)가, 트랜스듀서 요소(1702)를 통전시켜 초음파 펄스를 방출하거나 감지된 초음파 펄스를 나타내는 트랜스듀서 요소(1702)로부터의 신호를 수신 및 처리하기 위해 어떻게 이용될 수 있는지를 나타내는 블록도이다. 일부 구현에서, TX 회로(1604)는 "전송" 단계 동안에 이용될 수 있고, RX 회로는 전송 단계와 중첩되지 않는 "수신" 단계 동안에 이용될 수 있다. 다른 구현에서는, 한 쌍의 초음파 유닛이 투과 촬영의 경우에만 이용되는 때와 같이, 주어진 디바이스(1600)에서 TX 회로(1604)와 RX 회로(1606) 중 하나가 단순히 이용되지 않을 수도 있다. 앞서 언급된 바와 같이, 일부 실시예에서, 초음파 디바이스(1600)는 대안으로서 TX 회로(1604)만을 채용하거나 RX 회로(1606)만을 채용할 수 있고, 본 기술의 양태는 이러한 타입의 회로들 양쪽 모두의 존재를 반드시 요구하는 것은 아니다. 다양한 실시예에서, TX 회로(1604) 및/또는 RX 회로(1606)는, 단일의 트랜스듀서 셀(예를 들어, CUT 또는 CMUT), 단일 트랜스듀서 요소(1702) 내의 한 그룹의 2개 이상의 트랜스듀서 셀, 한 그룹의 트랜스듀서 셀을 포함하는 단일 트랜스듀서 요소(1702), 어레이(1602) 내의 한 그룹의 2개 이상의 트랜스듀서 요소(1702), 또는 트랜스듀서 요소(1702)의 전체 어레이(1602)와 연관된 TX 회로 및/또는 RX 회로를 포함할 수 있다.
도 17에 도시된 예에서, TX 회로(1604)/RX 회로(1606)는 어레이(들)(1602) 내의 각각의 트랜스듀서 요소(1702)에 대해 별개의 TX 회로와 별개의 RX 회로를 포함하지만, 타이밍 & 제어 회로(1608)와 신호 조정/처리 회로(1610) 각각에 대해서는 단 하나의 사례만이 있다. 따라서, 이러한 구현에서, 타이밍 & 제어 회로(1608)는 다이(1612) 상의 모든 TX 회로(1604)/RX 회로(1606)의 동작을 동기화하고 조율하는 책임을 질 수 있고, 신호 조정/처리 회로(1610)는 다이(1612) 상의 RX 회로(1606) 모두로부터의 입력을 취급하는 책임을 질 수 있다. 다른 실시예에서, 타이밍 및 제어 회로(1608)는 각각의 트랜스듀서 요소(1702)에 대해 또는 한 그룹의 트랜스듀서 요소(1702)에 대해 복제될 수 있다.
도 17에 도시된 바와 같이, 디바이스(1600) 내의 다양한 디지털 컴포넌트를 구동하는 클록 신호를 생성 및/또는 분배하는 것 외에도, 타이밍 & 제어 회로(1608)는 "TX 인에이블" 신호를 출력하여 TX 회로(1604)의 각각의 TX 회로의 동작을 인에이블하거나 "RX 인에이블" 신호를 출력하여 RX 회로(1606)의 각각의 RX 회로의 동작을 인에이블할 수 있다. 도시된 예에서, RX 회로(1606) 내의 스위치(1716)는, TX 회로(1604)의 출력이 RX 회로(1606)를 구동하지 못하도록, TX 회로(1604)가 인에이블되기 전에 항상 개방될 수 있다. 스위치(1716)는, RX 회로(1606)가 트랜스듀서 요소(1702)에 의해 생성된 신호를 수신 및 처리하는 것을 허용하도록, RX 회로(1606)의 동작이 인에이블될 때 닫힐 수 있다.
도시된 바와 같이, 각각의 트랜스듀서 요소(1702)에 대한 TX 회로(1604)는 파형 생성기(1714)와 펄서(1712) 양쪽 모두를 포함할 수 있다. 파형 생성기(1714)는, 예를 들어, 펄서(1712)에 적용될 파형을 생성하여, 펄서(1712)로 하여금 생성된 파형에 대응하는 구동 신호를 트랜스듀서 요소(1702)에 출력하게 하는 책임을 질 수 있다.
도 17에 도시된 예에서, 각각의 트랜스듀서 요소(1702)에 대한 RX 회로(1606)는, 아날로그 처리 블록(1718), 아날로그-대-디지털 변환기(ADC)(1720), 및 디지털 처리 블록(1722)을 포함한다. ADC(1720)는, 예를 들어, 10-비트, 12-비트, 20Msps, 25 Msps, 40Msps, 50Msps, 또는 80Msps ADC를 포함할 수 있다. 디지털 처리 블록(1722)에서 처리를 겪은 후에, 반도체 다이(1612) 상의 RX 회로 모두의 출력(이 개수는, 이 예에서는, 칩 상의 트랜스듀서 요소(1702)의 개수와 같음)은 신호 조정/처리 회로(1610) 내의 멀티플렉서(MUX)(1724)에 공급된다. 다른 실시예에서, 트랜스듀서 요소의 수는 RX 회로의 수보다 크며, 수 개의 트랜스듀서 요소들이 단일 RX 회로에 신호를 제공한다. MUX(1724)는 RX 회로로부터의 디지털 데이터를 멀티플렉싱하고, MUX(1724)의 출력은, 예를 들어, 하나 이상의 고속 직렬 출력 포트(1614)를 통해, 데이터가 반도체 다이(1612)로부터 출력되기 이전의 최종 처리를 위해, 신호 조정/처리 회로(1610) 내의 멀티플렉싱된 디지털 처리 블록(1726)에 공급된다. MUX(1724)는 선택사항이며, 일부 실시예에서는 병렬 신호 처리가 수행된다. 블록들 사이의 또는 블록들 내의 임의의 인터페이스, 칩들 사이의 임의의 인터페이스, 및/또는 호스트에 대한 임의의 인터페이스에 고속 직렬 데이터 포트가 제공될 수 있다. 아날로그 처리 블록(1718) 및/또는 디지털 처리 블록(1722) 내의 다양한 컴포넌트들은 고속 직렬 데이터 링크 또는 기타의 방식을 통해 반도체 다이(1612)로부터 출력될 필요가 있는 데이터의 양을 감소시킬 수 있다. 일부 실시예에서, 예를 들어, 아날로그 처리 블록(1718) 및/또는 디지털 처리 블록(1722) 내의 하나 이상의 컴포넌트는 그에 따라 RX 회로(1606)가 투과된 및/또는 산란된 초음파 압력파를 개선된 신호-대-잡음비(SNR)로 및 다양한 파형들과 호환되는 방식으로 수신하는 것을 허용하는 역할을 할 수 있다. 따라서 이러한 요소들의 포함은 일부 실시예에서 "칩 상의 초음파(ultrasound-on-a-chip)" 해결책을 용이화하거나 및/또는 향상시킬 수 있다.
본 명세서에 설명된 초음파 디바이스는, (획득된 영상을 디스플레이하는 스크린을 포함할 수 있는) 핸드헬드 디바이스의 일부로서 또는 피험자에 부착되도록 구성된 패치의 일부로서 포함하는 임의의 다양한 물리적 구성으로 구현될 수 있다.
일부 실시예에서, 초음파 디바이스는 도 18a 및 도 18b에 도시된 핸드헬드 디바이스(1802)로 구현될 수 있다. 핸드헬드 디바이스(1802)는 피험자(1800)에 맞대어(또는 그 근처에) 유지되어 피험자를 촬영하는데 이용될 수 있다. 핸드헬드 디바이스(1802)는 일부 실시예에서 터치스크린일 수 있는 초음파 디바이스 및 디스플레이(1804)를 포함할 수 있다. 디스플레이(1804)는, 디바이스(1802) 내의 초음파 디바이스에 의해 수집된 초음파 데이터를 이용하여 핸드헬드 디바이스(1802) 내에서 생성된 피험자의 영상(예를 들어, 초음파 영상)을 디스플레이하도록 구성될 수 있다.
일부 실시예에서, 핸드헬드 디바이스(1802)는 청진기와 유사한 방식으로 이용될 수 있다. 의료 전문가는 핸드헬드 디바이스(1802)를 환자의 신체를 따라 다양한 위치에 배치할 수 있다. 핸드헬드 디바이스(1802) 내의 초음파 디바이스는 환자를 촬영할 수 있다. 초음파 디바이스에 의해 획득된 데이터는 처리되어 환자의 영상(들)을 생성하는데 이용될 수 있고, 그 영상(들)은 디스플레이(1804)를 통해 의료 전문가에게 디스플레이될 수 있다. 따라서, 의료 전문가는, 부담스럽고 비실용적으로 복수의 종래 디바이스를 휴대하는 것이 아니라 핸드헬드 디바이스(1802)를 (예를 들어, 목 주위에서 또는 주머니에) 휴대할 수 있다.
일부 실시예에서, 초음파 디바이스는 환자에게 결합될 수 있는 패치로 구현될 수 있다. 예를 들어, 도 18c 및 도 18d는 환자(1812)에 결합된 패치(1810)를 도시한다. 패치(1810)는, 패치(1810)에 의해 수집된 데이터를 추가 처리를 위해 하나 이상의 외부 디바이스에 무선으로 전송하도록 구성될 수 있다. 도 18e는 패치(1810)의 분해도를 도시한다.
일부 실시예에서, 초음파 디바이스는 도 18f에 도시된 핸드헬드 디바이스(1820)에서 구현될 수 있다. 핸드헬드 디바이스(1820)는, 디바이스(1820)에 의해 수집된 데이터를 추가 처리를 위해 하나 이상의 외부 디바이스에 무선으로 전송하도록 구성될 수 있다. 다른 실시예에서, 본 명세서에서 설명된 기술의 양태들이 이 점에서 제한되지 않으므로, 핸드헬드 디바이스(1820)는, 디바이스(1820)에 의해 수집된 데이터를 하나 이상의 유선 접속을 이용하여 하나 이상의 외부 디바이스에 전송하도록 구성될 수 있다.
본 개시내용의 다양한 양태들은, 단독으로, 조합하여, 또는 상기에서 설명된 실시예에서 구체적으로 논의되지 않은 다양한 방식으로 이용될 수 있으므로, 그 적용성은 상기 설명에서 개시되거나 도면에 도시된 컴포넌트들의 상세사항이나 배열로 제한되지 않는다. 예를 들어, 한 실시예에서 설명된 양태들은 다른 실시예들에서 설명된 양태들과 임의의 방식으로 조합될 수 있다.
또한, 일부 동작들은 "오퍼레이터" 또는 "피험자"에 의해 취해지는 것으로 설명되었다. "오퍼레이터" 또는 "피험자"는 단일의 개인일 필요는 없고, 일부 실시예에서 "오퍼레이터" 또는 "피험자"에 기인하는 동작들은 개인 및/또는 개인들의 팀에 의해 및/또는 컴퓨터 보조된 도구 또는 기타의 메커니즘과 조합하여 개인에 의해 수행될 수 있다는 것을 이해해야 한다. 또한, 어떤 경우에는 "피험자"는 "오퍼레이터"와 동일한 사람일 수도 있다는 것을 이해해야 한다. 예를 들어, 개인은 초음파 디바이스로 스스로를 촬영할 수 있으며, 따라서 촬영되는 "피험자"와 초음파 디바이스의 "오퍼레이터" 양쪽 모두로서 행동할 수 있다.
청구항들에서 청구항 요소를 변경하기 위해 제1", "제2", "제3" 등의 서수 용어의 사용은, 그 자체로, 하나의 청구항 요소의 또 다른 청구항 요소에 대한 임의의 우선권, 우선순위, 또는 순서를 함축하거나, 방법의 동작들이 수행되는 시간적 순서를 함축하는 것은 아니며, 소정의 명칭을 갖는 하나의 청구항 요소를 (서수적 용어의 사용을 제외한) 동일한 명칭을 갖는 또 다른 청구항 요소와 구별하여 청구항 요소들을 구별하기 위한 라벨로서 이용될 뿐이다.
"대략" 및 "약"이라는 용어는, 일부 실시예에서는 타겟 값의 ±20% 이내, 일부 실시예에서는 타겟 값의 ±10% 이내, 일부 실시예에서는 타겟 값의 ±5% 이내, 일부 실시예에서, 타겟 값의 ±2% 이내를 의미하기 위해 사용될 수 있다. "대략" 및 "약"이라는 용어는 타겟 값을 포함할 수 있다. 또한, 여기서 사용되는 어법과 용어는 설명을 위한 것이며 제한적인 것으로 간주되어서는 안 된다. 여기서, "내포하는(including)", "포함하는(comprising)", 또는 "갖는(having)", "담고 있는(containing)", "수반하는(involving)" 및 그 파생어들의 사용은, 이후에 열거되는 항목들과 그 균등물 뿐만 아니라 추가 항목들을 포괄하는 것을 의미한다.
적어도 한 실시예의 수 개의 양태들을 위에서 설명하였지만, 본 기술분야의 통상의 기술자라면 다양한 변형, 수정, 및 개선이 용이하게 이루어질 수 있다는 것을 이해할 것이다. 이러한 변경, 수정, 및 개선은 본 개시내용의 목적인 것으로 의도된다. 따라서, 전술된 설명과 도면은 단지 예시일 뿐이다.

Claims (30)

  1. 초음파 안내 장치로서,
    피험자의 타겟 해부학적 뷰(target anatomical view)를 포함하는 초음파 영상의 캡처를 또 다른 초음파 영상의 분석에 기초하여 안내하도록 구성된 적어도 하나의 프로세서
    를 포함하는 장치.
  2. 제1항에 있어서, 상기 적어도 하나의 프로세서는, 적어도 부분적으로, 상기 타겟 해부학적 뷰를 포함하는 초음파 영상을 캡처하도록 초음파 디바이스의 오퍼레이터를 안내하는 방법에 대한 안내 계획(guidance plan)을 생성함으로써 상기 초음파 영상의 캡처를 안내하도록 구성된, 장치.
  3. 제2항에 있어서, 상기 적어도 하나의 프로세서는, 적어도 부분적으로, 상기 생성된 안내 계획에 기초하여 적어도 하나의 지침을 상기 오퍼레이터에게 제공함으로써 상기 초음파 영상의 캡처를 안내하도록 구성된, 장치.
  4. 제3항에 있어서, 상기 적어도 하나의 프로세서에 결합되고 상기 적어도 하나의 지침을 상기 오퍼레이터에게 디스플레이하도록 구성된 디스플레이를 더 포함하는 장치.
  5. 제4항에 있어서, 상기 디스플레이 및 상기 적어도 하나의 프로세서는 컴퓨팅 디바이스 내에 통합되는, 장치.
  6. 제3항에 있어서, 상기 적어도 하나의 프로세서는, 적어도 부분적으로, 딥 러닝 기술(deep learning technique)을 이용하여 상기 다른 초음파 영상에 포함된 해부학적 뷰를 식별함으로써 상기 초음파 영상의 캡처를 안내하도록 구성된, 장치.
  7. 제6항에 있어서, 상기 적어도 하나의 프로세서는, 적어도 부분적으로, 상기 식별된 해부학적 뷰를 이용하여 상기 초음파 디바이스를 이동시킬 방향을 식별함으로써 상기 초음파 영상의 캡처를 안내하도록 구성된, 장치.
  8. 제3항에 있어서, 상기 적어도 하나의 프로세서는, 적어도 부분적으로, 상기 다른 초음파 영상이 상기 피험자의 타겟 영역 내의 상기 피험자의 해부학적 뷰를 포함하는지를 결정함으로써 상기 초음파 영상의 캡처를 안내하도록 구성된, 장치.
  9. 제8항에 있어서, 상기 적어도 하나의 프로세서는, 적어도 부분적으로, 상기 다른 초음파 영상에 포함된 해부학적 뷰가 상기 타겟 영역 밖에 있다는 결정에 응답하여, 상기 초음파 디바이스가 상기 피험자의 상기 타겟 영역 내의 뷰들의 영상들을 획득할 수 있는 위치를 향하여 상기 초음파 디바이스를 이동시키라는 지침을 상기 오퍼레이터에게 제공함으로써 상기 적어도 하나의 지침을 상기 오퍼레이터에게 제공하도록 구성된, 장치.
  10. 제8항에 있어서, 상기 적어도 하나의 프로세서는, 적어도 부분적으로, 상기 다른 초음파 영상에 포함된 해부학적 뷰가 상기 타겟 영역 내에 있다는 결정에 응답하여, 상기 초음파 디바이스가 상기 타겟 해부학적 뷰의 영상을 획득할 수 있는 위치를 향하여 상기 초음파 디바이스를 이동시키라는 지침을 상기 오퍼레이터에게 제공함으로써 상기 적어도 하나의 지침을 상기 오퍼레이터에게 제공하도록 구성된, 장치.
  11. 시스템으로서,
    피험자의 초음파 영상을 캡처하도록 구성된 초음파 디바이스; 및
    상기 초음파 디바이스에 의해 캡처된 상기 초음파 영상의 분석에 기초하여 피험자의 타겟 해부학적 뷰를 포함하는 또 다른 초음파 영상의 캡처를 안내하도록 구성된 적어도 하나의 프로세서
    를 포함하는 시스템.
  12. 제11항에 있어서, 상기 초음파 디바이스는, 용량식 미세가공 초음파 트랜스듀서(CMUT; capacitive micromachined ultrasonic transducer), CMOS 초음파 트랜스듀서(CUT; CMOS ultrasonic transducer), 및 압전식 미세가공 초음파 트랜스듀서(PMUT; piezoelectric micromachined ultrasonic transducer)로 구성된 그룹으로부터 선택된 초음파 트랜스듀서를 포함하는, 시스템.
  13. 제11항에 있어서, 상기 적어도 하나의 프로세서는 모바일 스마트폰 또는 태블릿 내에 통합되는, 시스템.
  14. 제11항에 있어서, 상기 적어도 하나의 프로세서는, 적어도 부분적으로 :
    상기 초음파 영상이 타겟 해부학적 뷰를 포함하는지를 결정하고;
    상기 초음파 영상이 상기 타겟 해부학적 뷰를 포함하지 않는다고 결정한 것에 응답하여,
    상기 초음파 영상을 이용하여, 상기 타겟 해부학적 뷰를 포함하는 상기 피험자의 초음파 영상을 캡처하도록 상기 초음파 디바이스의 오퍼레이터를 안내하는 방법에 대한 안내 계획을 생성하고;
    상기 생성된 안내 계획에 기초하여 적어도 하나의 지침을 상기 오퍼레이터에게 제공함으로써
    캡처를 안내하도록 구성된, 시스템.
  15. 제14항에 있어서, 상기 안내 계획은 상기 초음파 디바이스를 타겟 위치로 이동시키도록 상기 초음파 디바이스의 상기 오퍼레이터를 안내하는 지침 시퀀스를 포함하는, 시스템.
  16. 제15항에 있어서, 상기 지침 시퀀스 내의 각각의 지침은 상기 초음파 디바이스를 병진 또는 회전 방향으로 이동시키라는 지침인, 시스템.
  17. 제14항에 있어서, 상기 적어도 하나의 프로세서는, 적어도 부분적으로, 상기 초음파 영상이 상기 피험자의 타겟 영역 내의 상기 피험자의 해부학적 뷰를 포함하는지를 결정함으로써 상기 안내 계획을 생성하도록 구성된, 시스템.
  18. 제17항에 있어서, 상기 적어도 하나의 프로세서는, 적어도 부분적으로, 상기 초음파 영상에 포함된 해부학적 뷰가 상기 타겟 영역 내에 있지 않다는 결정에 응답하여, 상기 초음파 디바이스가 상기 피험자의 상기 타겟 영역 내의 뷰들의 영상들을 획득할 수 있는 위치를 향하여 상기 초음파 디바이스를 이동시키라는 지침을 상기 오퍼레이터에게 제공함으로써 상기 적어도 하나의 지침을 상기 오퍼레이터에게 제공하도록 구성된, 시스템.
  19. 제17항에 있어서, 상기 적어도 하나의 프로세서는, 적어도 부분적으로, 상기 초음파 영상에 포함된 해부학적 뷰가 상기 타겟 영역 내에 있다는 결정에 응답하여, 상기 초음파 디바이스가 상기 타겟 해부학적 뷰의 영상을 획득할 수 있는 위치를 향하여 상기 초음파 디바이스를 이동시키라는 지침을 상기 오퍼레이터에게 제공함으로써 상기 적어도 하나의 지침을 상기 오퍼레이터에게 제공하도록 구성된, 시스템.
  20. 방법으로서,
    적어도 하나의 프로세서를 포함하는 적어도 하나의 컴퓨팅 디바이스를 이용하여 :
    초음파 디바이스에 의해 캡처된 피험자의 초음파 영상을 획득하는 단계;
    상기 초음파 영상이 타겟 해부학적 뷰를 포함하는지를 결정하는 단계;
    상기 초음파 영상이 상기 타겟 해부학적 뷰를 포함하지 않는다고 결정한 것에 응답하여 :
    상기 초음파 영상을 이용하여, 상기 타겟 해부학적 뷰를 포함하는 상기 피험자의 초음파 영상을 캡처하도록 상기 초음파 디바이스의 오퍼레이터를 안내하는 방법에 대한 안내 계획을 생성하는 단계; 및
    상기 생성된 안내 계획에 기초하여 적어도 하나의 지침을 상기 오퍼레이터에게 제공하는 단계
    를 수행하는 것을 포함하는 방법.
  21. 제20항에 있어서, 상기 안내 계획을 생성하는 단계는, 자동화된 영상 처리 기술을 이용하여 상기 초음파 영상에 포함된 해부학적 뷰를 식별하는 단계를 포함하는, 방법.
  22. 제21항에 있어서, 상기 안내 계획을 생성하는 단계는, 상기 식별된 해부학적 뷰를 이용하여, 상기 초음파 디바이스를 이동시킬 방향을 식별하는 단계를 포함하고, 상기 오퍼레이터에게 상기 적어도 하나의 지침을 제공하는 단계는 상기 초음파 디바이스를 상기 식별된 방향으로 이동시키라는 지침을 상기 오퍼레이터에게 제공하는 단계를 포함하는, 방법.
  23. 제22항에 있어서, 상기 초음파 디바이스를 이동시킬 방향을 식별하는 단계는 상기 초음파 디바이스를 이동시킬 병진 방향 또는 회전 방향을 식별하는 단계를 포함하는, 방법.
  24. 제20항에 있어서, 상기 안내 계획을 생성하는 단계는 상기 초음파 영상이 상기 피험자의 타겟 영역 내의 상기 피험자의 해부학적 뷰를 포함하는지를 결정하는 단계를 포함하는, 방법.
  25. 제24항에 있어서, 상기 초음파 영상이 상기 피험자의 타겟 영역 내의 상기 피험자의 해부학적 뷰를 포함하는지를 결정하는 단계는 상기 초음파 영상이 피험자의 몸통의 적어도 일부의 해부학적 뷰를 포함하는지를 결정하는 단계를 포함하는, 방법.
  26. 제24항에 있어서,
    상기 초음파 영상에 포함된 해부학적 뷰가 상기 타겟 영역 내에 있지 않다는 결정에 응답하여, 적어도 부분적으로, 상기 초음파 디바이스가 상기 피험자의 타겟 영역 내의 뷰들의 영상들을 획득할 수 있는 위치를 향하여 상기 초음파 디바이스를 이동시키라는 지침을 상기 오퍼레이터에게 제공함으로써 상기 적어도 하나의 지침을 상기 오퍼레이터에게 제공하는 단계를 더 포함하는 방법.
  27. 제26항에 있어서, 상기 위치를 향하여 상기 초음파 디바이스를 이동시키라는 지침을 상기 오퍼레이터에게 제공하는 단계는 상기 타겟 영역이 위치해 있는 곳의 시각적 표시를 상기 오퍼레이터에게 제공하는 단계를 포함하는, 방법.
  28. 제24항에 있어서,
    상기 초음파 영상에 포함된 해부학적 뷰가 상기 타겟 영역 내에 있다는 결정에 응답하여, 적어도 부분적으로, 상기 초음파 디바이스가 상기 타겟 해부학적 뷰의 영상을 획득할 수 있는 위치를 향하여 상기 초음파 디바이스를 이동시키라는 지침을 상기 오퍼레이터에게 제공함으로써 상기 적어도 하나의 지침을 상기 오퍼레이터에게 제공하는 단계를 더 포함하는 방법.
  29. 제28항에 있어서, 상기 위치를 향하여 상기 초음파 디바이스를 이동시킬 것을 상기 오퍼레이터에게 지시하는 지침을 상기 오퍼레이터에게 제공하는 단계는 상기 초음파 디바이스를 이동시킬 방향의 시각적 표시를 상기 오퍼레이터에게 제공하는 단계를 포함하는, 방법.
  30. 프로세서-실행가능한 명령어들을 저장한 적어도 하나의 비일시적인 컴퓨터-판독가능한 저장 매체로서, 상기 프로세서-실행가능한 명령어들은, 적어도 하나의 프로세서에 의해 실행될 때, 상기 적어도 하나의 프로세서로 하여금 :
    초음파 디바이스에 의해 캡처된 피험자의 초음파 영상을 획득하게 하고;
    상기 초음파 영상이 타겟 해부학적 뷰를 포함하는지를 결정하게 하며;
    상기 초음파 영상이 상기 타겟 해부학적 뷰를 포함하지 않는다는 결정에 응답하여 :
    상기 초음파 영상을 이용하여, 상기 타겟 해부학적 뷰를 포함하는 상기 피험자의 초음파 영상을 캡처하도록 상기 초음파 디바이스의 오퍼레이터를 안내하는 방법에 대한 안내 계획을 생성하게 하고;
    상기 생성된 안내 계획에 기초하여 적어도 하나의 지침을 상기 오퍼레이터에게 제공하게 하는, 적어도 하나의 비일시적인 컴퓨터-판독가능한 저장 매체.
KR1020197001667A 2016-06-20 2017-06-19 초음파 디바이스를 작동하는 사용자를 보조하기 위한 자동화된 영상 취득 KR20190021344A (ko)

Applications Claiming Priority (15)

Application Number Priority Date Filing Date Title
US201662352382P 2016-06-20 2016-06-20
US62/352,382 2016-06-20
US201662384187P 2016-09-06 2016-09-06
US201662384144P 2016-09-06 2016-09-06
US62/384,187 2016-09-06
US62/384,144 2016-09-06
US201662434980P 2016-12-15 2016-12-15
US62/434,980 2016-12-15
US201762445195P 2017-01-11 2017-01-11
US62/445,195 2017-01-11
US201762453696P 2017-02-02 2017-02-02
US62/453,696 2017-02-02
US201762463094P 2017-02-24 2017-02-24
US62/463,094 2017-02-24
PCT/US2017/038106 WO2017222970A1 (en) 2016-06-20 2017-06-19 Automated image acquisition for assisting a user to operate an ultrasound device

Publications (1)

Publication Number Publication Date
KR20190021344A true KR20190021344A (ko) 2019-03-05

Family

ID=60661018

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197001667A KR20190021344A (ko) 2016-06-20 2017-06-19 초음파 디바이스를 작동하는 사용자를 보조하기 위한 자동화된 영상 취득

Country Status (9)

Country Link
US (12) US10702242B2 (ko)
EP (2) EP4201340A1 (ko)
JP (2) JP7361470B2 (ko)
KR (1) KR20190021344A (ko)
CN (2) CN113876353A (ko)
AU (2) AU2017281281B2 (ko)
CA (1) CA3026162A1 (ko)
TW (1) TWI765895B (ko)
WO (1) WO2017222970A1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021145584A1 (ko) * 2020-01-16 2021-07-22 성균관대학교산학협력단 증강현실 안경을 활용한 인공지능형 초음파 자가 진단을 위한 초음파 스캐너 자세 교정 장치 및 이를 이용한 원격 의료 진단 방법
WO2021222426A1 (en) * 2020-04-28 2021-11-04 EchoNous, Inc. Systems and methods for automated physiological parameter estimation from ultrasound image sequences
WO2023007338A1 (es) * 2021-07-30 2023-02-02 Anne Marie Lariviere Estación de entrenamiento para procedimientos quirúrgicos
WO2024079593A1 (en) * 2022-10-10 2024-04-18 Fujifilm Sonosite, Inc. Ultrasound scanner with display interface

Families Citing this family (185)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8187260B1 (en) * 2006-12-29 2012-05-29 Endocare, Inc. Variable cryosurgical probe planning system
US9877699B2 (en) 2012-03-26 2018-01-30 Teratech Corporation Tablet ultrasound system
US10667790B2 (en) 2012-03-26 2020-06-02 Teratech Corporation Tablet ultrasound system
US11129591B2 (en) 2016-04-21 2021-09-28 The University Of British Columbia Echocardiographic image analysis
US10702242B2 (en) 2016-06-20 2020-07-07 Butterfly Network, Inc. Augmented reality interface for assisting a user to operate an ultrasound device
WO2018081613A1 (en) 2016-10-28 2018-05-03 Ppg Industries Ohio, Inc. Coatings for increasing near-infrared detection distances
EP3541293A1 (en) * 2016-11-16 2019-09-25 Teratech Corporation Portable ultrasound system
WO2018098141A1 (en) 2016-11-22 2018-05-31 Hyperfine Research, Inc. Systems and methods for automated detection in magnetic resonance images
US10627464B2 (en) 2016-11-22 2020-04-21 Hyperfine Research, Inc. Low-field magnetic resonance imaging methods and apparatus
US20190328243A1 (en) * 2016-12-21 2019-10-31 Emory University Methods and Systems for Determining Abnormal Cardiac Activity
US10636323B2 (en) 2017-01-24 2020-04-28 Tienovix, Llc System and method for three-dimensional augmented reality guidance for use of medical equipment
US20210327304A1 (en) * 2017-01-24 2021-10-21 Tienovix, Llc System and method for augmented reality guidance for use of equpment systems
US20210327303A1 (en) * 2017-01-24 2021-10-21 Tienovix, Llc System and method for augmented reality guidance for use of equipment systems
US20210295048A1 (en) * 2017-01-24 2021-09-23 Tienovix, Llc System and method for augmented reality guidance for use of equipment systems
EP3590116A1 (en) * 2017-03-01 2020-01-08 Koninklijke Philips N.V. Echocardiogram context measurement tool
CN106919310A (zh) * 2017-03-07 2017-07-04 肖璐瑶 增强现实实现方法
JP7194691B2 (ja) * 2017-03-28 2022-12-22 コーニンクレッカ フィリップス エヌ ヴェ 超音波臨床特徴検出及び関連する装置、システム、及び方法
CN116228728A (zh) * 2017-04-26 2023-06-06 深圳迈瑞生物医疗电子股份有限公司 一种图像数据调节方法及设备
MX2019014311A (es) 2017-06-06 2020-02-03 Avent Inc Sistema y metodo para la identificacion y navegacion de objetos anatomicos utilizando redes de aprendizaje profundo.
US20190012432A1 (en) * 2017-07-05 2019-01-10 General Electric Company Methods and systems for reviewing ultrasound images
US10740607B2 (en) * 2017-08-18 2020-08-11 Autel Robotics Co., Ltd. Method for determining target through intelligent following of unmanned aerial vehicle, unmanned aerial vehicle and remote control
WO2019046521A1 (en) * 2017-08-31 2019-03-07 Butterfly Network, Inc. METHODS AND DEVICE FOR COLLECTING ULTRASONIC DATA
US10671918B2 (en) * 2017-10-24 2020-06-02 International Business Machines Corporation Attention based sequential image processing
JP6943138B2 (ja) * 2017-10-26 2021-09-29 コニカミノルタ株式会社 医用画像処理装置
TW201923776A (zh) 2017-10-27 2019-06-16 美商蝴蝶網路公司 超音波影像上的自動化測量及用於自動化測量的收集的品質指示器
USD876636S1 (en) 2017-10-27 2020-02-25 Butterfly Networks, Inc. Ultrasound probe housing
USD846749S1 (en) 2017-10-27 2019-04-23 Butterfly Network, Inc. Ultrasound probe
EP3703572A1 (en) * 2017-11-02 2020-09-09 Koninklijke Philips N.V. Intelligent ultrasound system for detecting image artefacts
JP7065592B2 (ja) * 2017-11-17 2022-05-12 日本光電工業株式会社 超音波プローブ、超音波測定システム
US11048334B2 (en) 2017-12-22 2021-06-29 Butterfly Network, Inc. Methods and apparatuses for identifying gestures based on ultrasound data
CN108226404A (zh) * 2017-12-27 2018-06-29 广州安食通信息科技有限公司 一种智能食品检测系统及其实现方法
CN109996023B (zh) * 2017-12-29 2021-06-29 华为技术有限公司 图像处理方法和装置
USD846128S1 (en) 2018-01-12 2019-04-16 Butterfly Network, Inc Ultrasound probe housing
JP7081163B2 (ja) * 2018-01-16 2022-06-07 コニカミノルタ株式会社 超音波診断装置
EP3742979B1 (en) * 2018-01-24 2022-10-19 Koninklijke Philips N.V. Guided-transcranial ultrasound imaging using neural networks and associated devices, systems, and methods
US10595727B2 (en) * 2018-01-25 2020-03-24 Siemens Healthcare Gmbh Machine learning-based segmentation for cardiac medical imaging
CN117379103A (zh) * 2018-01-31 2024-01-12 富士胶片株式会社 超声波诊断装置及其控制方法、超声波诊断装置用处理器
CN108324320B (zh) * 2018-02-02 2021-02-09 青岛市妇女儿童医院（青岛市妇幼保健院、青岛市残疾儿童医疗康复中心、青岛市新生儿疾病筛查中心） 一种超声探头连接系统及其方法
US11164003B2 (en) * 2018-02-06 2021-11-02 Mitsubishi Electric Research Laboratories, Inc. System and method for detecting objects in video sequences
KR102160828B1 (ko) * 2018-02-06 2020-09-29 (주) 레지에나 초음파를 이용한 피부 시술을 지원하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
WO2019168832A1 (en) * 2018-02-27 2019-09-06 Butterfly Network, Inc. Methods and apparatus for tele-medicine
US11382601B2 (en) * 2018-03-01 2022-07-12 Fujifilm Sonosite, Inc. Method and apparatus for annotating ultrasound examinations
EP3764909A1 (en) * 2018-03-12 2021-01-20 Koninklijke Philips N.V. Ultrasound imaging plane alignment guidance for neural networks and associated devices, systems, and methods
EP3764913A1 (en) * 2018-03-12 2021-01-20 Koninklijke Philips N.V. Ultrasound imaging plane alignment using neural networks and associated devices, systems, and methods
US20210038321A1 (en) * 2018-03-12 2021-02-11 Koninklijke Philips N.V. Ultrasound imaging dataset acquisition for neural network training and associated devices, systems, and methods
US11950961B2 (en) 2018-03-14 2024-04-09 The Regents Of The University Of California Automated cardiac function assessment by echocardiography
US20190296933A1 (en) * 2018-03-20 2019-09-26 Microsoft Technology Licensing, Llc Controlling Devices Based on Sequence Prediction
TWI682169B (zh) * 2018-03-29 2020-01-11 佳世達科技股份有限公司 超音波成像方法
US11948345B2 (en) 2018-04-09 2024-04-02 Koninklijke Philips N.V. Ultrasound system with artificial neural network for retrieval of imaging parameter settings for recurring patient
WO2019201726A1 (en) * 2018-04-20 2019-10-24 Koninklijke Philips N.V. Adaptive ultrasound scanning
US10861603B2 (en) * 2018-05-07 2020-12-08 Medtronic Minimed, Inc. Proactive image-based infusion device delivery adjustments
US11553900B2 (en) * 2018-05-08 2023-01-17 Fujifilm Sonosite, Inc. Ultrasound system with automated wall tracing
TWI834668B (zh) * 2018-05-17 2024-03-11 美商德拉工業公司 可移動超音波系統
WO2019232742A1 (zh) * 2018-06-07 2019-12-12 深圳迈瑞生物医疗电子股份有限公司 基于超声影像设备的图像分析方法及超声影像设备
CN108830211A (zh) * 2018-06-11 2018-11-16 厦门中控智慧信息技术有限公司 基于深度学习的人脸识别方法及相关产品
US20190388060A1 (en) * 2018-06-22 2019-12-26 General Electric Company Imaging system and method with live examination completeness monitor
US11373372B2 (en) * 2018-06-26 2022-06-28 Fanuc America Corporation Automatic dynamic diagnosis guide with augmented reality
CN108846840B (zh) * 2018-06-26 2021-11-09 张茂 肺部超声图像分析方法、装置、电子设备及可读存储介质
EP3818943A4 (en) * 2018-07-02 2021-08-25 FUJIFILM Corporation ACOUSTIC WAVE DIAGNOSIS DEVICE AND PROCESS FOR CONTROLLING THE ACOUSTIC WAVE DIAGNOSIS DEVICE
US10284432B1 (en) * 2018-07-03 2019-05-07 Kabushiki Kaisha Ubitus Method for enhancing quality of media transmitted via network
EP3590436A1 (en) 2018-07-06 2020-01-08 Koninklijke Philips N.V. Identifying an optimal image from a number of ultrasound images
JP7467407B2 (ja) * 2018-07-18 2024-04-15 コーニンクレッカ フィリップス エヌ ヴェ 手持ち式医療スキャニングデバイスにおける獲得ワークフロー及びステータスインジケーター
WO2020016449A1 (en) * 2018-07-20 2020-01-23 Koninklijke Philips N.V. Ultrasound imaging by deep learning and associated devices, systems, and methods
EP3826525A4 (en) * 2018-07-25 2022-04-20 The Trustees of The University of Pennsylvania METHODS, SYSTEMS AND COMPUTER-READABLE MEDIUM FOR GENERATION AND DELIVERY OF ARTIFICIAL INTELLIGENCE SUPPORTED SURGICAL GUIDANCE
CN112469340A (zh) * 2018-07-26 2021-03-09 皇家飞利浦有限公司 具有用于引导式肝成像的人工神经网络的超声系统
US11200811B2 (en) 2018-08-03 2021-12-14 International Business Machines Corporation Intelligent recommendation of guidance instructions
WO2020028738A1 (en) 2018-08-03 2020-02-06 Butterfly Network, Inc. Methods and apparatuses for guiding collection of ultrasound data using motion and/or orientation data
WO2020028746A1 (en) * 2018-08-03 2020-02-06 Butterfly Network, Inc. Methods and apparatuses for guiding collection of ultrasound data using motion and/or orientation data
US11559279B2 (en) 2018-08-03 2023-01-24 Bfly Operations, Inc. Methods and apparatuses for guiding collection of ultrasound data using motion and/or orientation data
WO2020033376A1 (en) 2018-08-07 2020-02-13 Butterfly Network, Inc. Methods and apparatuses for ultrasound imaging of lungs
WO2020033380A1 (en) * 2018-08-07 2020-02-13 Butterfly Network, Inc. Methods and apparatuses for determining and displaying locations on images of body portions based on ultrasound data
AU2019326372A1 (en) * 2018-08-20 2021-03-11 Butterfly Network, Inc. Methods and apparatuses for guiding collection of ultrasound data
US11911208B2 (en) * 2018-08-21 2024-02-27 The Government Of The United States, As Represented By The Secretary Of The Army Systems and methods for the detection of fluid build-up resulting from an injury using ultrasound imaging
US20210177374A1 (en) * 2018-08-23 2021-06-17 Koninklijke Philips N.V. Biometric measurement and quality assessment
WO2020047038A1 (en) 2018-08-29 2020-03-05 Butterfly Network, Inc. Methods and apparatuses for collection of ultrasound data
US20200069285A1 (en) * 2018-08-31 2020-03-05 General Electric Company System and method for ultrasound navigation
US10751029B2 (en) 2018-08-31 2020-08-25 The University Of British Columbia Ultrasonic image analysis
WO2020051175A1 (en) * 2018-09-04 2020-03-12 University Of South Carolina Combining pulmonary function test data with other clinical data
US10282864B1 (en) * 2018-09-17 2019-05-07 StradVision, Inc. Method and device for encoding image and testing method and testing device using the same
TWI691930B (zh) * 2018-09-19 2020-04-21 財團法人工業技術研究院 基於神經網路的分類方法及其分類裝置
EP3864629A4 (en) 2018-10-08 2022-07-27 McGinley Education Innovations, LLC AUGMENTED REALITY BASED PLAYBACK OF ULTRASONOGRAPHIC IMAGES FOR SURGICAL ASSISTANT
CN112888370A (zh) * 2018-10-16 2021-06-01 皇家飞利浦有限公司 基于深度学习的超声成像引导和关联的设备、系统和方法
US20200113542A1 (en) * 2018-10-16 2020-04-16 General Electric Company Methods and system for detecting medical imaging scan planes using probe position feedback
US11638572B2 (en) 2018-10-25 2023-05-02 BFLY Operations, Inc Methods and apparatus for performing measurements on an ultrasound image
US11730387B2 (en) * 2018-11-02 2023-08-22 University Of Central Florida Research Foundation, Inc. Method for detection and diagnosis of lung and pancreatic cancers from imaging scans
CN113569798B (zh) * 2018-11-16 2024-05-24 北京市商汤科技开发有限公司 关键点检测方法及装置、电子设备和存储介质
CN109330626B (zh) * 2018-11-16 2022-04-12 中聚科技股份有限公司 一种自适应调节超声探头位置的装置及方法
TW202022713A (zh) * 2018-12-05 2020-06-16 宏碁股份有限公司 心臟狀態評估方法與系統、電子裝置及超音波掃描裝置
WO2020122606A1 (ko) * 2018-12-11 2020-06-18 시너지에이아이 주식회사 인공신경망을 이용한 장기의 부피 측정 방법 및 그 장치
EP3669787A1 (en) * 2018-12-19 2020-06-24 Koninklijke Philips N.V. Ultrasound transducer unit with friction guiding function
US20220051781A1 (en) * 2018-12-21 2022-02-17 Varian Medical Systems International Ag Methods and systems for radiotherapy treatment planning based on deep transfer learning
CN111374710A (zh) * 2018-12-28 2020-07-07 宏碁股份有限公司 心脏状态评估方法与系统、电子装置及超声波扫描装置
CN109464757B (zh) * 2018-12-29 2021-07-20 上海联影医疗科技股份有限公司 一种确定目标对象位置的方法、系统、装置及存储介质
TWI691310B (zh) * 2019-01-04 2020-04-21 宏碁股份有限公司 超音波掃描方法與超音波掃描裝置
US20200214679A1 (en) * 2019-01-04 2020-07-09 Butterfly Network, Inc. Methods and apparatuses for receiving feedback from users regarding automatic calculations performed on ultrasound data
US11751848B2 (en) 2019-01-07 2023-09-12 Bfly Operations, Inc. Methods and apparatuses for ultrasound data collection
WO2020146232A1 (en) * 2019-01-07 2020-07-16 Butterfly Network, Inc. Methods and apparatuses for collection of ultrasound data
WO2020146249A1 (en) * 2019-01-07 2020-07-16 Butterfly Network, Inc. Methods and apparatuses for tele-medicine
US11561329B2 (en) 2019-01-07 2023-01-24 Ppg Industries Ohio, Inc. Near infrared control coating, articles formed therefrom, and methods of making the same
JP7192512B2 (ja) 2019-01-11 2022-12-20 富士通株式会社 学習プログラム、学習装置及び学習方法
JP7180393B2 (ja) * 2019-01-11 2022-11-30 富士通株式会社 学習プログラム、学習装置及び学習方法
CN109646047B (zh) * 2019-01-23 2023-12-26 上海浅葱网络技术有限公司 一种超声设备操作引导的显示方法
CN111466948B (zh) * 2019-01-23 2023-04-07 宏碁股份有限公司 超声波扫描方法与超声波扫描装置
WO2020154921A1 (zh) * 2019-01-29 2020-08-06 昆山华大智造云影医疗科技有限公司 超声扫描控制方法及系统、超声扫描设备及存储介质
JP7262232B2 (ja) * 2019-01-29 2023-04-21 東京エレクトロン株式会社 画像認識システムおよび画像認識方法
WO2020167938A1 (en) * 2019-02-13 2020-08-20 Butterfly Network, Inc. Methods and apparatuses for collecting ultrasound images depicting needles
KR102246408B1 (ko) * 2019-02-14 2021-05-18 엔에이치엔 주식회사 딥러닝 기반 유사상품 제공방법
CN113423344A (zh) * 2019-02-15 2021-09-21 富士胶片株式会社 超声波诊断装置及超声波诊断装置的控制方法
WO2020172156A1 (en) 2019-02-18 2020-08-27 Butterfly Network, Inc. Methods and apparatuses enabling a user to manually modify input to a calculation relative to an ultrasound image
JP7204106B2 (ja) * 2019-03-03 2023-01-16 株式会社レキオパワー 超音波プローブ用ナビゲートシステム、および、そのナビゲート表示装置
US11707255B2 (en) * 2019-04-02 2023-07-25 Siemens Medical Solutions Usa, Inc. Image-based probe positioning
EP3946069A4 (en) 2019-04-03 2022-12-28 BFLY Operations, Inc. METHODS AND APPARATUS FOR COLLECTING AND VISUALIZING ULTRASOUND DATA
WO2020206069A1 (en) * 2019-04-03 2020-10-08 Butterfly Network, Inc. Methods and apparatuses for guiding collection of ultrasound images
US20220211267A1 (en) 2019-04-16 2022-07-07 Spect Inc. Device navigation and capture of media data
US11715211B2 (en) 2019-05-22 2023-08-01 Bfly Operations, Inc. Methods and apparatuses for analyzing imaging data
CN113950295A (zh) 2019-06-14 2022-01-18 布弗莱运营公司 用于沿不同厚度导引角收集超声数据的方法和装置
US11536818B2 (en) 2019-06-25 2022-12-27 Bfly Operations, Inc. Methods and apparatuses for processing ultrasound signals
CN114072062A (zh) 2019-06-25 2022-02-18 布弗莱运营公司 用于处理超声信号的方法和装置
JPWO2021002217A1 (ko) * 2019-07-03 2021-01-07
JP7272149B2 (ja) * 2019-07-08 2023-05-12 コニカミノルタ株式会社 選択支援システム及びプログラム
CN110313941B (zh) * 2019-08-01 2021-02-19 无锡海斯凯尔医学技术有限公司 数据处理方法、装置、设备及存储介质
WO2021026459A1 (en) 2019-08-08 2021-02-11 Butterfly Network, Inc. Methods and apparatuses for collection of ultrasound images
EP4014889A4 (en) * 2019-08-15 2022-10-05 FUJIFILM Corporation ULTRASONIC SYSTEM AND METHOD OF CONTROLLING AN ULTRASONIC SYSTEM
US11844654B2 (en) 2019-08-19 2023-12-19 Caption Health, Inc. Mid-procedure view change for ultrasound diagnostics
US20210052251A1 (en) * 2019-08-23 2021-02-25 Butterfly Network, Inc. Methods and apparatuses for guiding a user to collect ultrasound data
CN110503622B (zh) * 2019-08-23 2022-07-01 上海圭目机器人有限公司 基于定位数据的图像全局定位优化拼接方法
JP7362354B2 (ja) * 2019-08-26 2023-10-17 キヤノン株式会社 情報処理装置、検査システム及び情報処理方法
JP7321836B2 (ja) * 2019-08-26 2023-08-07 キヤノン株式会社 情報処理装置、検査システム及び情報処理方法
US11602331B2 (en) * 2019-09-11 2023-03-14 GE Precision Healthcare LLC Delivery of therapeutic neuromodulation
WO2021058288A1 (en) * 2019-09-26 2021-04-01 Koninklijke Philips N.V. Automatic closed-loop ultrasound plane steering for target localization in ultrasound imaging and associated devices, systems, and methods
US11640665B2 (en) 2019-09-27 2023-05-02 Bfly Operations, Inc. Methods and apparatuses for detecting degraded ultrasound imaging frame rates
US20210096243A1 (en) * 2019-09-27 2021-04-01 Butterfly Network, Inc. Methods and apparatus for configuring an ultrasound system with imaging parameter values
US20220344034A1 (en) * 2019-09-30 2022-10-27 Koninklijke Philips N.V. Recording ultrasound images
KR102097390B1 (ko) * 2019-10-10 2020-04-06 주식회사 메디씽큐 시선 검출 기반의 스마트 안경 표시 장치
CN112773402A (zh) * 2019-11-09 2021-05-11 无锡祥生医疗科技股份有限公司 智能辅助引导方法、超声诊断设备及存储介质
WO2021099278A1 (en) * 2019-11-21 2021-05-27 Koninklijke Philips N.V. Point-of-care ultrasound (pocus) scan assistance and associated devices, systems, and methods
JP7379120B2 (ja) * 2019-11-28 2023-11-14 キヤノン株式会社 超音波診断装置、医用画像撮影装置、学習装置、超音波画像表示方法及びプログラム
WO2021110576A1 (en) * 2019-12-02 2021-06-10 Koninklijke Philips N.V. Providing information for assisting in the treatment of a ventilated and sedated patient
US11182909B2 (en) * 2019-12-10 2021-11-23 Google Llc Scalable real-time hand tracking
US11488700B2 (en) * 2019-12-13 2022-11-01 Medtronic Minimed, Inc. Medical device configuration procedure guidance responsive to detected gestures
SG10201912715RA (en) * 2019-12-20 2021-07-29 Ultron Techniques Pte Ltd System and method for housekeeping monitoring
CN112215843B (zh) * 2019-12-31 2021-06-11 无锡祥生医疗科技股份有限公司 超声智能成像导航方法、装置、超声设备及存储介质
CN113116386B (zh) * 2019-12-31 2023-08-04 无锡祥生医疗科技股份有限公司 超声成像引导方法、超声设备及存储介质
CN113116378A (zh) * 2019-12-31 2021-07-16 无锡祥生医疗科技股份有限公司 多模态融合成像方法、超声设备及存储介质
EP3868303A1 (en) * 2020-02-18 2021-08-25 Koninklijke Philips N.V. Ultrasound guidance method and system
TWI768288B (zh) * 2020-02-10 2022-06-21 中國醫藥大學 腎臟功能評估方法、腎臟功能評估系統及腎臟照護裝置
EP4114273B1 (en) * 2020-03-05 2024-06-12 Koninklijke Philips N.V. Ultrasound imaging guidance and associated devices, systems, and methods
US11246569B2 (en) * 2020-03-09 2022-02-15 Verdure Imaging, Inc. Apparatus and method for automatic ultrasound segmentation for visualization and measurement
WO2021200001A1 (ja) * 2020-03-30 2021-10-07 富士フイルム株式会社 撮影支援装置、その作動方法、及び作動プログラム
US12023201B2 (en) 2020-04-22 2024-07-02 Bfly Operations, Inc. Methods and apparatuses for beamforming in ultrasound systems using unbuffered data samples
CN111477318B (zh) * 2020-04-25 2022-12-16 华南理工大学 一种用于远程操纵的虚拟超声探头跟踪方法
WO2021222103A1 (en) * 2020-04-27 2021-11-04 Bfly Operations, Inc. Methods and apparatuses for enhancing ultrasound data
CN111553467B (zh) * 2020-04-30 2021-06-08 陈永聪 一种实现通用人工智能的方法
IL274382A (en) * 2020-05-01 2021-12-01 Pulsenmore Ltd A system and method for assisting an unskilled patient in performing ultrasound scans himself
US11523801B2 (en) * 2020-05-11 2022-12-13 EchoNous, Inc. Automatically identifying anatomical structures in medical images in a manner that is sensitive to the particular view in which each image is captured
US11532084B2 (en) 2020-05-11 2022-12-20 EchoNous, Inc. Gating machine learning predictions on medical ultrasound images via risk and uncertainty quantification
US11478124B2 (en) 2020-06-09 2022-10-25 DOCBOT, Inc. System and methods for enhanced automated endoscopy procedure workflow
TWI746001B (zh) * 2020-06-10 2021-11-11 宏碁股份有限公司 頭戴式裝置及其立體音效控制方法
JP2022006717A (ja) * 2020-06-24 2022-01-13 キヤノン株式会社 医用画像診断装置およびマーカー
CN111915568B (zh) * 2020-07-08 2023-07-25 深圳大学 图像篡改定位模型的生成方法、图像篡改定位方法及设备
US20220087644A1 (en) * 2020-09-24 2022-03-24 GE Precision Healthcare LLC Systems and methods for an adaptive interface for an ultrasound imaging system
WO2022080228A1 (ja) * 2020-10-16 2022-04-21 富士フイルム株式会社 超音波診断装置および超音波診断装置の表示方法
EP4231954A1 (en) * 2020-10-22 2023-08-30 Stryker Corporation Systems and methods for capturing, displaying, and manipulating medical images and videos
US11636593B2 (en) * 2020-11-06 2023-04-25 EchoNous, Inc. Robust segmentation through high-level image understanding
US11941503B2 (en) * 2020-11-11 2024-03-26 EchoNous, Inc. Performing inference using an adaptive, hybrid local/remote technique
US11806192B2 (en) 2020-12-09 2023-11-07 Industrial Technology Research Institute Guiding system and guiding method for ultrasound scanning operation
CN114694442B (zh) * 2020-12-31 2024-07-02 无锡触典科技有限公司 基于虚拟现实的超声培训方法、装置、存储介质及超声设备
US20220233167A1 (en) * 2021-01-22 2022-07-28 Echo Mind AI Corp Detecting pathologies using an ultrasound probe
US11501502B2 (en) * 2021-03-19 2022-11-15 International Business Machines Corporation Augmented reality guided inspection
US20220301240A1 (en) * 2021-03-22 2022-09-22 GE Precision Healthcare LLC Automatic Model-Based Navigation System And Method For Ultrasound Images
WO2022217360A1 (en) * 2021-04-13 2022-10-20 Machine.Healthcare Ltd Automated detection of indicators of health through analysis of digital images captured by consumer computing devices and stratification of patients based on the same
US20220338836A1 (en) * 2021-04-21 2022-10-27 Ultrasight Ltd System and method for guiding positioning and orienting of an ultrasound probe
US11922621B2 (en) 2021-04-26 2024-03-05 Biosense Webster (Israel) Ltd. Automatic frame selection for 3D model construction
US20220401080A1 (en) * 2021-06-16 2022-12-22 Pouya SAMANGOUEI Methods and apparatuses for guiding a user to collect ultrasound images
US11278260B1 (en) 2021-07-09 2022-03-22 Qure.Ai Technologies Private Limited Acquiring ultrasound image
TWI792581B (zh) * 2021-07-20 2023-02-11 明俐科技有限公司 具快速顯示及系統失效備援機制的顯示設備及顯示方法
RU2761518C1 (ru) * 2021-07-30 2021-12-09 ОБЩЕСТВО С ОГРАНИЧЕННОЙ ОТВЕТСТВЕННОСТЬЮ "СберМедИИ" Цифровая платформа для постановки медицинских диагнозов на основе искусственного интеллекта с возможностью верификации врачом
US11944501B2 (en) * 2022-02-16 2024-04-02 GE Precision Healthcare LLC Systems and methods for automatic measurements of medical images
WO2023191950A1 (en) * 2022-03-31 2023-10-05 Bfly Operations, Inc. Methods and systems for acquisition of patient information for ultrasound scans via barcode extraction
TWI823416B (zh) * 2022-06-08 2023-11-21 鴻海精密工業股份有限公司 深度估計網路之訓練方法、裝置、電子設備及存儲介質
WO2023244413A1 (en) 2022-06-16 2023-12-21 Bfly Operations, Inc. Method and system for managing ultrasound operations using machine learning and/or non-gui interactions
WO2024059184A1 (en) * 2022-09-16 2024-03-21 The Johns Hopkins University Machine learning systems and related aspects for the detection of disease states
WO2024090190A1 (ja) * 2022-10-26 2024-05-02 ソニーグループ株式会社 超音波検査装置、検査方法、およびプログラム
EP4368114A1 (en) * 2022-11-08 2024-05-15 BFLY Operations, Inc. Systems and methods for transforming ultrasound images
CN117017355B (zh) * 2023-10-08 2024-01-12 合肥合滨智能机器人有限公司 一种基于多模态生成式对话的甲状腺自主扫查系统

Family Cites Families (64)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6358208B1 (en) * 1998-11-21 2002-03-19 Philipp Lang Assessment of cardiovascular performance using ultrasound methods and devices that interrogate interstitial fluid
JP4088104B2 (ja) * 2002-06-12 2008-05-21 株式会社東芝 超音波診断装置
GB0221169D0 (en) * 2002-09-12 2002-10-23 Univ Bath Crystal
US20040122707A1 (en) 2002-12-18 2004-06-24 Sabol John M. Patient-driven medical data processing system and method
EP1680024A2 (en) 2003-10-21 2006-07-19 The Board Of Trustees Of The Leland Stanford Junior University Systems and methods for intraoperative targetting
US20060074315A1 (en) * 2004-10-04 2006-04-06 Jianming Liang Medical diagnostic ultrasound characterization of cardiac motion
US20060176242A1 (en) * 2005-02-08 2006-08-10 Blue Belt Technologies, Inc. Augmented reality device and method
WO2006138643A2 (en) 2005-06-16 2006-12-28 Nomos Corporation System, tracker, and program product to facilitate and verify proper target alignment for radiation delivery, and related methods
US7648460B2 (en) * 2005-08-31 2010-01-19 Siemens Medical Solutions Usa, Inc. Medical diagnostic imaging optimization based on anatomy recognition
US20080009733A1 (en) * 2006-06-27 2008-01-10 Ep Medsystems, Inc. Method for Evaluating Regional Ventricular Function and Incoordinate Ventricular Contraction
US20080119731A1 (en) * 2006-11-20 2008-05-22 North American Medical Corporation Portable ultrasound with touch screen interface
WO2009094646A2 (en) * 2008-01-24 2009-07-30 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for image guided ablation
WO2009117419A2 (en) 2008-03-17 2009-09-24 Worcester Polytechnic Institute Virtual interactive system for ultrasound training
WO2009135255A1 (en) 2008-05-07 2009-11-12 Signostics Pty Ltd Docking system for medical diagnostic scanning using a handheld device
US8194952B2 (en) 2008-06-04 2012-06-05 Raytheon Company Image processing system and methods for aligning skin features for early skin cancer detection systems
US8090443B2 (en) 2008-09-15 2012-01-03 Xiaoyi Min Monitoring HF exacerbation and cardiac resynchronization therapy performance
US9002427B2 (en) 2009-03-30 2015-04-07 Lifewave Biomedical, Inc. Apparatus and method for continuous noninvasive measurement of respiratory function and events
CN102573865B (zh) * 2009-06-12 2016-08-24 基因雷克斯制药有限公司 用于预防和治疗红细胞聚集的组合物
US8343053B2 (en) * 2009-07-21 2013-01-01 Siemens Medical Solutions Usa, Inc. Detection of structure in ultrasound M-mode imaging
JP5643549B2 (ja) * 2010-06-11 2014-12-17 任天堂株式会社 画像処理システム、画像処理プログラム、画像処理装置および画像処理方法
KR101656775B1 (ko) * 2010-12-24 2016-09-12 삼성전자주식회사 진단영상을 표시하는 방법, 이를 수행하는 영상처리장치 및 의료영상시스템
WO2012090208A2 (en) 2010-12-29 2012-07-05 Diacardio Ltd. Automatic left ventricular function evaluation
EP2675345B1 (en) 2011-02-17 2019-03-27 Tyto Care Ltd. System and method for performing an automatic and self-guided medical examination
US20140011173A1 (en) 2011-03-17 2014-01-09 Mor Research Applications Ltd. Training, skill assessment and monitoring users in ultrasound guided procedures
US9687204B2 (en) * 2011-05-20 2017-06-27 Siemens Healthcare Gmbh Method and system for registration of ultrasound and physiological models to X-ray fluoroscopic images
EP2754396A4 (en) * 2011-09-08 2015-06-03 Hitachi Medical Corp ULTRASONIC DIAGNOSTIC DEVICE AND ULTRASONIC IMAGE DISPLAY METHOD
WO2013077977A1 (en) 2011-11-23 2013-05-30 Remedev, Inc. Remotely-executed medical diagnosis and therapy including emergency automation
CN104053404A (zh) * 2011-12-01 2014-09-17 尼奥绰德有限公司 用于修复心脏瓣膜小叶的外科手术导航
CA3228582A1 (en) 2012-03-07 2013-09-12 Ziteo, Inc. Methods and systems for tracking and guiding sensors and instruments
JP5832938B2 (ja) 2012-03-15 2015-12-16 富士フイルム株式会社 画像処理装置、方法及びプログラム
JP6041350B2 (ja) 2012-03-30 2016-12-07 東芝メディカルシステムズ株式会社 超音波診断装置、画像処理装置及び画像処理方法
US20150056591A1 (en) * 2012-04-01 2015-02-26 Ronnie Tepper Device for training users of an ultrasound imaging device
DE102012206350A1 (de) * 2012-04-18 2013-10-24 Deutsches Zentrum für Luft- und Raumfahrt e.V. Verfahren zum Betreiben eines Roboters
JP6160487B2 (ja) * 2012-04-23 2017-07-12 コニカミノルタ株式会社 超音波診断装置およびその制御方法
US8777856B2 (en) * 2012-06-26 2014-07-15 General Electric Company Diagnostic system and method for obtaining an ultrasound image frame
US10568586B2 (en) * 2012-10-05 2020-02-25 Volcano Corporation Systems for indicating parameters in an imaging data set and methods of use
CN102999902B (zh) * 2012-11-13 2016-12-21 上海交通大学医学院附属瑞金医院 基于ct配准结果的光学导航定位导航方法
US20150124051A1 (en) 2013-11-05 2015-05-07 Robert Schinker Methods and Apparatus for Enhanced Reality Messaging
BR112015014308B1 (pt) 2012-12-21 2022-10-11 Koninklijke Philips N.V Aparelho e método para guiar um usuário que manuseia uma sonda de imageamento
KR20140095164A (ko) 2013-01-23 2014-08-01 삼성전자주식회사 초음파 프로브 및 이를 채용한 초음파 의료 시스템
CN204017181U (zh) * 2013-03-08 2014-12-17 奥赛拉公司 美学成像与处理系统、多焦点处理系统和执行美容过程的系统
JP5410629B1 (ja) * 2013-05-14 2014-02-05 健司 三木 超音波診断システム、画像処理装置およびその制御方法と制御プログラム
EP3013242B1 (en) 2013-06-28 2018-11-07 Koninklijke Philips N.V. Ultrasound acquisition feedback guidance to a target view
WO2015039302A1 (en) * 2013-09-18 2015-03-26 Shenzhen Mindray Bio-Medical Electronics Co., Ltd Method and system for guided ultrasound image acquisition
US9700219B2 (en) 2013-10-17 2017-07-11 Siemens Healthcare Gmbh Method and system for machine learning based assessment of fractional flow reserve
WO2015073927A2 (en) * 2013-11-15 2015-05-21 The Regents Of The University Of California Compositions, devices and methods for diagnosing heart failure and for patient-specific modeling to predict outcomes of cardiac resynchronization therapy
CN105813573B (zh) * 2013-12-09 2019-06-04 皇家飞利浦有限公司 使用基于模型的分割的成像视图操纵
WO2015103388A1 (en) * 2014-01-02 2015-07-09 Metritrack, Inc. System and method for tracking completeness of co-registered medical image data
MX2016012612A (es) * 2014-03-31 2016-12-14 Koninklijke Philips Nv Retroalimentacion haptica para adquisicion de imagen de ultrasonido.
US20150272553A1 (en) 2014-04-01 2015-10-01 General Electric Company Ultrasound probe for automated management of data entry for a patient
US20150327841A1 (en) 2014-05-13 2015-11-19 Kabushiki Kaisha Toshiba Tracking in ultrasound for imaging and user interface
KR101705120B1 (ko) 2014-08-28 2017-02-09 삼성전자 주식회사 자가 진단 및 원격 진단을 위한 초음파 진단 장치 및 초음파 진단 장치의 동작 방법
WO2016036173A1 (en) * 2014-09-04 2016-03-10 Samsung Electronics Co., Ltd. Ultrasound probe and operating method thereof
KR20160046670A (ko) 2014-10-21 2016-04-29 삼성전자주식회사 영상 진단 보조 장치 및 방법
KR102328269B1 (ko) * 2014-10-23 2021-11-19 삼성전자주식회사 초음파 영상 장치 및 그 제어 방법
JP2016097079A (ja) * 2014-11-21 2016-05-30 株式会社東芝 超音波診断装置
EP3136392A1 (en) 2015-08-25 2017-03-01 Thomson Licensing Method and system for embedding and retrieving information through marker transformation
US10646199B2 (en) * 2015-10-19 2020-05-12 Clarius Mobile Health Corp. Systems and methods for remote graphical feedback of ultrasound scanning technique
JP7163195B2 (ja) * 2016-03-09 2022-10-31 エコーノース インコーポレーテッド 人工知能ネットワークを活用した超音波画像認識システムと方法
JP6648587B2 (ja) 2016-03-23 2020-02-14 コニカミノルタ株式会社 超音波診断装置
CN109073751B (zh) * 2016-04-19 2023-10-13 皇家飞利浦有限公司 用于声学配准的探头、系统和方法
US11129591B2 (en) * 2016-04-21 2021-09-28 The University Of British Columbia Echocardiographic image analysis
US10702242B2 (en) 2016-06-20 2020-07-07 Butterfly Network, Inc. Augmented reality interface for assisting a user to operate an ultrasound device
US10856840B2 (en) 2016-06-20 2020-12-08 Butterfly Network, Inc. Universal ultrasound device and related apparatus and methods

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021145584A1 (ko) * 2020-01-16 2021-07-22 성균관대학교산학협력단 증강현실 안경을 활용한 인공지능형 초음파 자가 진단을 위한 초음파 스캐너 자세 교정 장치 및 이를 이용한 원격 의료 진단 방법
WO2021222426A1 (en) * 2020-04-28 2021-11-04 EchoNous, Inc. Systems and methods for automated physiological parameter estimation from ultrasound image sequences
WO2023007338A1 (es) * 2021-07-30 2023-02-02 Anne Marie Lariviere Estación de entrenamiento para procedimientos quirúrgicos
WO2024079593A1 (en) * 2022-10-10 2024-04-18 Fujifilm Sonosite, Inc. Ultrasound scanner with display interface

Also Published As

Publication number Publication date
US20230117915A1 (en) 2023-04-20
US20210052249A1 (en) 2021-02-25
EP3471623B1 (en) 2023-01-25
US11540808B2 (en) 2023-01-03
US10959702B2 (en) 2021-03-30
JP2019521745A (ja) 2019-08-08
US20240161491A1 (en) 2024-05-16
US20220167945A1 (en) 2022-06-02
CN109310396A (zh) 2019-02-05
US20170360412A1 (en) 2017-12-21
US20200289094A1 (en) 2020-09-17
US11861887B2 (en) 2024-01-02
JP2022123076A (ja) 2022-08-23
US11185307B2 (en) 2021-11-30
EP3471623A4 (en) 2020-01-15
US20170360401A1 (en) 2017-12-21
US20170360402A1 (en) 2017-12-21
CA3026162A1 (en) 2017-12-28
US11928859B2 (en) 2024-03-12
AU2017281281B2 (en) 2022-03-10
AU2017281281A1 (en) 2018-12-06
TWI765895B (zh) 2022-06-01
US20170360404A1 (en) 2017-12-21
EP4201340A1 (en) 2023-06-28
US10702242B2 (en) 2020-07-07
EP3471623A1 (en) 2019-04-24
CN113876353A (zh) 2022-01-04
AU2022203420A1 (en) 2022-06-09
US10993697B2 (en) 2021-05-04
US20170360403A1 (en) 2017-12-21
TW201800057A (zh) 2018-01-01
JP7361470B2 (ja) 2023-10-16
WO2017222970A1 (en) 2017-12-28
US20170360411A1 (en) 2017-12-21
US20210275145A1 (en) 2021-09-09
US10856848B2 (en) 2020-12-08
US11670077B2 (en) 2023-06-06
US11564657B2 (en) 2023-01-31
CN109310396B (zh) 2021-11-09

Similar Documents

Publication Publication Date Title
US11861887B2 (en) Augmented reality interface for assisting a user to operate an ultrasound device
US20220386990A1 (en) Methods and apparatus for collection of ultrasound data
US20200037986A1 (en) Methods and apparatuses for guiding collection of ultrasound data using motion and/or orientation data
CN113260313A (zh) 用于超声数据收集的方法和装置

Legal Events

Date Code Title Description
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X601 Decision of rejection after re-examination