KR20090029673A - 3 차원 심초음파 검사 데이터로부터 평면들의 자동 검출 - Google Patents

3 차원 심초음파 검사 데이터로부터 평면들의 자동 검출 Download PDF

Info

Publication number
KR20090029673A
KR20090029673A KR1020080091621A KR20080091621A KR20090029673A KR 20090029673 A KR20090029673 A KR 20090029673A KR 1020080091621 A KR1020080091621 A KR 1020080091621A KR 20080091621 A KR20080091621 A KR 20080091621A KR 20090029673 A KR20090029673 A KR 20090029673A
Authority
KR
South Korea
Prior art keywords
features
plane
planes
data
classifiers
Prior art date
Application number
KR1020080091621A
Other languages
English (en)
Other versions
KR101565311B1 (ko
Inventor
시아오구앙 루
보그단 조지스쿠
예펭 쳉
요아네 오트스키
도린 코마니시우
Original Assignee
지멘스 메디컬 솔루션즈 유에스에이, 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 지멘스 메디컬 솔루션즈 유에스에이, 인크. filed Critical 지멘스 메디컬 솔루션즈 유에스에이, 인크.
Publication of KR20090029673A publication Critical patent/KR20090029673A/ko
Application granted granted Critical
Publication of KR101565311B1 publication Critical patent/KR101565311B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/06—Measuring blood flow
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/06—Measuring blood flow
    • A61B8/065—Measuring blood flow to determine blood output from the heart
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/13—Tomography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/13—Tomography
    • A61B8/14—Echo-tomography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A61B8/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48—Diagnostic techniques
    • A61B8/483—Diagnostic techniques involving the acquisition of a 3D volume of data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/523—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for generating planar views from image data in a user selectable plane not corresponding to the acquisition plane
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/422—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation for representing the structure of the pattern or shape of an object therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0883—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of the heart
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0891—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of blood vessels
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48—Diagnostic techniques
    • A61B8/488—Diagnostic techniques involving Doppler signals
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Hematology (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Cardiology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Image Processing (AREA)

Abstract

표준 뷰에 대한 평면 위치는 3 차원 심초음파 검사 데이터로부터 검출된다(36). 체적내의 평면 위치는 병진, 방향(회전), 및/또는 스케일에 의해 정의된다. 가능한 위치들은 검출되고(36) 다른 가능한 위치들은 제외된다. 가능한 위치들의 분류는 순차적으로 병진(26), 방향(28), 및 스케일(30)에 의해 발생한다. 순차적 프로세스는 목표된 뷰에 대한 평면 위치를 식별하기 위하여 요구된 계산들을 제한할 수 있다.

Description

3 차원 심초음파 검사 데이터로부터 평면들의 자동 검출{AUTOMATED DETECTION OF PLANES FROM THREE-DIMENSIONAL ECHOCARDIOGRAPHIC DATA}
본 특허 서류는 여기에 참조로써 통합된 2007년 9월 18일에 출원된 예비 미국특허 출원 번호 60/973,217, 및 2007년 9월 25일 출원된 60/974,935의 35 U.S.C.§119(e) 하에서 출원일의 장점을 주장한다.
본 실시예들은 의학 진단 초음파 이미지화에 관한 것이다. 특히, 목표된 평면들의 뷰들은 체적을 나타내는 심초음파 검사 데이터로부터 추출된다.
3차원(3D) 초음파 이미지화 시스템들은 3D 심초음파 검사에 사용된다. 3D 심초음파 검사는 형태학 및 병리학 모두를 평가하게 한다. 연구들은 3D 분석이 2 차원(2D) 뷰들의 통상적인 분석보다 심장의 병리 생리학에 관한 보다 정확한 정보를 제공하고 특히 체적 및 방출 분수(EF) 계산에 도움을 준다는 것을 나타냈다. 그러나, 3D 체적 데이터의 해석 및 양적 분석은 통상적인 2 차원(2D) 심초음파 검사보다 복잡하고 시간 소비적이다. 3D 체적 데이터에서 해부학적 구조들의 검출은 보다 우수한 분석을 허용하지만, 복잡성으로 인해 진단에 덜 사용될 수 있다.
표준 뷰들은 심장 구조들을 가시화하기 위하여 사용되고 많은 심초음파 검사 시험들의 시작 포인트이다. 예를들어, 모두 4개의 챔버들, 즉 좌측 및 우측 심실(ventricle)들, 및 좌측 및 우측 심방(atria)은 정상의 4개의 챔버(A4C) 뷰로 표현된다. 정상의 3개의 챔버(A3C) 뷰에서, 좌측 심실, 좌측 심방, 및 대동맥(aorta)은 제공된다. 3D 체적에서, 상기 뷰들은 다중평면 재포맷/재구성(MPR) 평면들로서 재구성될 수 있다. 3D 체적에서 표준 2D 평면들을 발견하는 것은 사용자들 사이에서 일관성을 개선시킬 수 있고 보다 우수한 이미지 품질을 위한 획득 파라미터들을 조절하기 위하여 사용될 수 있다.
비록 3D 심초음파 검사 체적들이 2D 심초음파 검사 이미지들보다 심장에 관한 보다 많은 정보를 제공하지만, 심장은 각각의 체적 내에서 다양한 방향들을 가진 다른 위치들에 배치될 수 있다. 이것은 사용자들이 타켓 구조를 검색하기 위하여 3D 체적을 통하여 네비게이트하게 하도록 시간 소비적이다. 루틴 진료 실무에서 심장 기능의 양적 분석을 위한 3D 심초음파 검사를 사용하는데 주요 장벽은 자동 분석을 위하여 필요한 정확하고 강건한 검출 방법들이 없다는 것이다. 초음파 오퍼레이터의 능력 외에, 트랜스듀서 선택, 기구 세팅들, 환자의 안락한 위치 결정, 스캔 구성, 및 환자의 호흡 패턴을 포함하는 다른 요소들은 분석을 위한 초음파 이미지들의 양 또는 데이터에 영향을 미칠 수 있다. 이것은 큰 외관 변형들 및 일치하지 않는 이미지 품질들을 유도하여, 자동 검출 임무를 보다 어렵게 한다.
도입부에 의해, 하기된 바람직한 실시예들은 3 차원 심초음파 검사 데이터로부터 평면을 검출하기 위한 방법들, 컴퓨터 판독 가능 매체 및 시스템들을 포함한다. 체적내의 평면 위치는 병진, 방향(회전), 및/또는 스케일(scale)에 의해 정의된다. 목표된 뷰에 대한 가능한 위치들은 검출되고 다른 가능한 위치들은 제외된다. 가능한 위치들의 분류는 순차적으로 병진, 방향, 및 스케일에 의해 발생한다. 순차적 프로세스는 목표된 뷰에 대한 평면 위치를 식별하기 위하여 요구된 계산들을 제한할 수 있다. 분류를 위하여, 피쳐들(features)은 체적내의 평면을 표현하는 데이터로부터 계산된다. 이들 평면 또는 다른 피쳐들은 하나 또는 그 이상의 목표된 뷰들의 위치를 검출하기 위하여 머신 학습 분류기들에 의해 사용된다.
제 1 측면에서, 3차원 심초음파 검사 데이터로부터 평면을 검출하는 방법이 제공된다. 머신 훈련 분류기들의 시퀀스는 3 차원 심초음파 데이터에 제공된다. 제 1 분류기들은 3 차원 심초음파 데이터에 의해 표현된 체적내의 평면의 병진을 위한 것이다. 제 2 분류기들은 체적내의 평면의 회전을 위한 것이다. 제 3 분류기들은 체적내의 평면의 스케일에 관한 것이다. 평면의 위치는 제 1, 제 2 및 제 3 분류기들의 출력의 함수로서 검출된다. 이미지는 평면의 위치의 함수로서 생성된다.
제 2 측면에서, 컴퓨터 판독 가능 저장 매체는 3 차원 심초음파 검사 데이터에 의해 표현된 체적내의 표준 뷰 평면들을 검출하기 위한 프로그램된 처리기에 의해 실행할 수 있는 명령들을 표현하는 그 내부에 저장된 데이터를 가진다. 저장 매체는 체적내의 다수의 가능한 평면 위치들 각각에 대한 피쳐들, 즉 체적내의 가능한 평면 위치를 표현하는 데이터로만 계산된 적어도 하나의 피쳐들을 계산하고, 피쳐들의 함수로서 각각의 분류기들을 사용하여 표준 뷰 평면들을 검출하고, 및 표준 뷰 평면들에 대한 데이터로부터 이미지들을 생성하기 위한 명령들을 포함한다.
제 3 측면에서, 심장 체적의 다중평면 재구성 표준 평면들을 위한 평면 위치들을 검출하기 위한 시스템이 제공된다. 메모리는 심장 체적을 표현하는 초음파 데이터를 저장하기 위하여 동작한다. 처리기는 다수의 병진 평면 위치들 각각에 대한 제 1 평면 피쳐들을 계산하기 위해 동작하는데, 병진 분류기를 사용하고 제 1 평면 피쳐들의 함수로서 병진 평면 위치들에 해당하는 가설(hypotheses)을 제외하고, 제 1 나머지 가설들을 남기고, 제 1 나머지 가설과 연관된 다수의 회전 평면 각각에 대한 제 2 평면 피쳐들을 계산하는데, 방향 분류기를 사용하고 제 2 평면 피쳐들의 함수로서 회전 평면 위치들에 대응하는 가설을 제외하고, 제 2 나머지 가설을 남기고, 제 2 나머지 가설과 연관된 다수의 스케일 평면들 각각에 대한 제 3 평면 피쳐들을 계산하는데, 스케일 분류기를 사용하고 제 3 평면 피쳐들의 함수로서 스케일 평면들에 대응하는 가설들을 제외하고, 적어도 하나의 제 3 나머지 가설을 남기고, 적어도 하나의 나머지 가설의 함수로서 표준 평면들 중 하나의 평면 위치를 결정하기 위하여 동작한다. 디스플레이는 평면 위치의 함수로서 표준 평면들 중 하나의 이미지를 디스플레이하기 위하여 동작한다.
본 발명은 다음 청구항들에 의해 정의되고, 이 섹션에서 청구항들에 대한 제한으로서 전혀 취해지지 않는다. 본 발명의 추가 측면들 및 장점들은 바람직한 실 시예들과 관련하여 하기에 논의되고 추후 독립적으로 또는 결합하여 청구될 수 있다.
상기 구성요소들 및 도면들은 필수적으로 축적에 따르지 않고, 대신 강조는 본 발명의 원리들을 도시하기 위해 배치된다. 게다가, 도면들에서, 유사한 번호들은 다른 뷰들을 통하여 대응 부분들을 나타낸다.
자동 관리 학습 방법은 빠르고, 정확하고, 일관된 MPR 검출을 달성하기 위하여 3D 심초음파 검사 체적으로부터 표준 또는 다른 다중평면 재포맷 평면들(MPR)을 검출한다. 예를들어, 컴퓨터는 6개의 주 또는 표준 MPR 평면들을 검출한다: A4C-정상 4-챔버 평면; A2C-정상 두 개의 챔버 평면; A3C-정상 3개의 챔버 평면; SAXB-단축 기본 평면; SAXM-단축 중간 평면; 및 SAXA-단축 정상 평면. 자동 검출은 진료 작업흐름을 자동화하게 하고 심장 내벽 움직임 분석 같은 추후 처리 임무들을 용이하게 할 수 있다.
도 1은 목표된 뷰의 평면 위치를 검출하기 위한 의학 진단 이미지화 시스템(10)을 도시한다. 평면 검출은 초음파 체적 데이터로부터 다중 평면 재구성을 제공할 수 있다. 시스템(10)은 의학 진단 초음파 이미지화 시스템이지만, 컴퓨터, 워크스테이션, 데이터베이스, 서버, 또는 다른 시스템일 수 있다.
시스템(10)은 처리기(12), 메모리(14), 디스플레이(16) 및 트랜스듀서(18)를 포함한다. 부가적인, 다른, 또는 보다 적은 구성요소들은 제공될 수 있다. 예를들어, 시스템(10)은 전송 빔형성기, 수신 빔형성기, B 모드 검출기, 도플러 검출 기, 고조파 응답 검출기, 콘트래스트 에이전트 검출기, 스캔 컨버터, 필터, 이들의 결합, 또는 다른 지금 공지되거나 추후 개발되는 의학 진단 초음파 시스템 구성요소들을 포함한다. 다른 실시예로서, 트랜스듀서(18)는 시스템(10)이 오프라인용 워크스테이션이거나 체적내의 하나 또는 그 이상의 목표된 2D 뷰들의 추후 검출을 위한 워크스테이션인 경우 제공되지 않는다.
트랜스듀서(18)는 음향 및 전기 에너지 사이에서 컨버트하도록 동작하는 압전기 또는 용량성 장치이다. 트랜스듀서(18)는 다중 차원 또는 2 차원 어레이 같은 엘리먼트들의 어레이다. 선택적으로, 트랜스듀서(18)는 1 차원에서의 기계적 스캐닝 및 다른 차원에서의 전기적 스캐닝을 위한 워블러(wobbler)이다.
시스템(10)은 체적을 스캔하기 위하여 트랜스듀서(18)를 사용한다. 전기 및/또는 기계적 조종은 체적의 다른 스캔 라인들을 따른 전송 및 수신을 허용한다. 임의의 스캔 패턴은 사용될 수 있다. 일 실시예에서, 전송 빔은 다수의 스캔 라인들을 따라 수신하기에 충분히 넓다. 다른 실시예에서, 평면, 시준 또는 편향 전송 파형은 다수, 큰 수, 또는 모든 스캔 라인들을 따라 수신하기 위하여 제공된다.
체적을 표현하는 초음파 데이터는 스캐닝에 응답하여 제공된다. 초음파 데이터는 빔형성되고, 검출되고, 및/또는 스캔 컨버트된다. 초음파 데이터는 극 좌표, 데카르트 좌표, 3차원 그리드, 평면들 사이에서 이격하는 극 좌표를 가진 데카르트 좌표의 2차원 평면들, 또는 다른 포맷 같은 임의의 포맷일 수 있다.
메모리(14)는 버퍼, 캐시, RAM, 탈착 가능한 매체, 하드 드라이브, 자기, 광학, 데이터베이스, 또는 다른 지금 공지되거나 추후 개발되는 메모리이다. 메모 리(14)는 단일 장치, 또는 둘 또는 그 이상의 장치들의 그룹이다. 메모리(14)는 시스템(10) 내에 도시되지만, 시스템(10)의 다른 구성요소들로부터 외측이거나 멀리 떨어질 수 있다.
메모리(14)는 심장 체적을 표현하는 초음파 데이터 같은 초음파 데이터를 저장한다. 심장 체적은 심장의 적어도 하나의 부분을 포함하는 체적이다. 메모리(14)는 흐름(예를들어, 속도, 에너지 또는 둘 모두) 및/또는 B-모드 초음파 데이터를 저장한다. 선택적으로, 의학 이미지 데이터는 다른 장치로부터 처리기(12)로 전달된다. 의학 이미지 데이터는 3 차원 데이터 세트이거나, 상기 세트들의 시퀀스이다. 데이터는 3 차원 영역을 표현한다. 3 차원 그리드에 보간된 화소들 또는 평행하거나 비평행한 평면들을 표현하는 데이터 같은 임의의 포맷은 사용될 수 있다.
실시간 이미지화를 위하여, 초음파 데이터는 메모리(14)에 일시적으로 저장되거나, 메모리(14)로부터 로딩된다. 실시간 이미지화는 데이터의 획득 및 이미지화 사이에서 초 단위, 또는 심지어 초 정도의 지연을 허용할 수 있다. 예를들어, 실시간 이미지화는 스캐닝에 의해 데이터의 획득과 실질적으로 동시에 이미지들을 생성함으로써 제공된다. 데이터의 다음 또는 이후 세트를 획득하기 위한 스캐닝 동안, 이미지들은 데이터의 이전 세트에 대해 생성된다. 이미지화는 데이터를 획득하기 위하여 사용된 동일한 이미지화 세션 동안 발생한다. 추후 이미지화를 위하여 작은 지연을 가진 다중 평면 재구성 평면들을 처음에 배치하기 위하여 보다 큰 지연 같은 실시간 동작 동안 획득 및 이미지화 사이의 지연 양은 가변할 수 있 다. 다른 실시예들에서, 초음파 데이터는 이전 이미지화 세션으로부터 메모리(14)에 저장되고 동시 획득 없이 다중 평면 재구성을 생성하기 위하여 사용된다.
메모리(14)는 부가적으로 또는 선택적으로 처리 명령들을 가진 컴퓨터 판독 가능 저장 매체이다. 메모리(14)는 3 차원 심초음파 검사 데이터 및/또는 초음파 체적 데이터를 위한 다중 평면 재구성에 의해 표현된 체적의 표준 뷰 평면을 검출하기 위하여 프로그램된 처리기(12)에 의해 실행할 수 있는 명령들을 표현하는 데이터를 저장한다. 여기에 논의된 처리들, 방법들 및/또는 기술들을 실행하기 위한 명령들은 캐시, 버퍼, RAM, 탈착 가능 매체, 하드 드라이브 또는 다른 컴퓨터 판독 가능 저장 매체 같은 컴퓨터 판독 가능 저장 매체 또는 메모리들상에 제공된다. 컴퓨터 판독 가능 저장 매체는 다양한 형태의 휘발성 및 비휘발성 저장 매체를 포함한다. 도면들에 도시되거나 여기에 기술된 기능, 작용들 또는 임무들은 컴퓨터 판독 가능 저장 매체내 또는 상기 매체상에 저장된 하나 또는 그 이상의 명령들의 세트에 응답하여 실행된다. 상기 기능들, 작용들 또는 임무들은 특정 타입의 명령 세트, 저장 매체, 처리기 또는 처리 전략에 무관하고 홀로 동작하거나 결합하여 동작하는 소프트웨어, 하드웨어, 집적 회로들, 펌웨어, 마이크로 코드 및 등등에 의해 수행될 수 있다. 이와 같이, 처리 전략들은 다중처리, 다중임무수행, 병렬 처리 및 등등을 포함할 수 있다. 일 실시예에서, 상기 명령들은 로컬 또는 원격 시스템들에 의한 판독을 위해 탈착 가능한 매체 장치에 저장된다. 다른 실시예들에서, 상기 명령들은 컴퓨터 네트워크 또는 전화선들을 통하여 전달하기 위하여 원격 위치에 저장된다. 다른 실시예들에서, 명령들은 주어진 컴퓨터, CPU, GPU, 또는 시스템내에 저장된다.
처리기(12)는 범용 처리기, 디지털 신호 처리기, 3 차원 데이터 처리기, 그래픽 처리 유니트, 애플리케이션 지정 집적 회로, 필드 프로그램 가능 게이트 어레이, 디지털 회로, 아날로그 회로, 이들의 결합, 또는 다른 지금 공지되거나 추후 개발되는 의학 이미지 데이터를 처리하기 위한 장치이다. 처리기(12)는 단일 장치, 다수의 장치들, 또는 네트워크이다. 하나 이상의 장치를 위하여, 병렬 또는 순차적 처리 분할은 사용될 수 있다. 처리기(12)를 형성하는 다른 장치들은 독립적으로 동작하는 스캐닝 제어기 및 이미지 생성기 같은 다른 기능들을 수행할 수 있다. 일 실시예에서, 처리기(12)는 의학 진단 초음파 이미지화 시스템 처리기 같은 의학 진단 이미지화 시스템의 제어 처리기 또는 다른 처리기이다. 처리기(12)는 데이터 획득, 표준 뷰들 검출, 및/또는 이미지화 제어 같은 여기에 기술된 다양한 작용들을 수행하기 위해 저장된 명령들에 따라 동작한다.
일 실시예에서, 처리기(12)는 스캐닝 동안 또는 스캐닝 이후 획득된 초음파 데이터를 수신하고 데이터에 의해 표현된 체적과 관련하여 하나 또는 그 이상의 평면들의 위치들을 결정한다. 처리기(12)는 여기에 기술된 방법들을 수행하기 위하여 다른 구성요소들을 수행하거나 제어한다.
처리기(12)는 머신 학습을 수행하고 및/또는 머신 학습 알고리듬을 제공한다. 애플리케이션을 위해, 처리기(12)는 순차적 분류를 위해 피쳐들을 계산한다. 처리기(12)에 의해 실행되는 검출 알고리듬은 다중 가설을 통하여 높은 가능성들을 가진 것들을 식별하기 위하여 검색한다. 다중 가설들은 알고리듬 스테이지들 사이 에 유지된다. 병진 스테이지, 방향 스테이지, 및 스케일 스테이지 같은 각각의 스테이지는 임의의 이전 스테이지들로부터 나머지 잘못된 가설들을 빠르게 제거한다. 수정된 또는 나머지 가설들은 최종 스테이지로 전파한다. 단지 하나의 가설은 최종 검출 결과로서 선택되거나 평면 위치는 가설들의 결합(예를들어 최종 스테이지 이후 나머지 가설들의 평균)을 위해 정보로부터 검출된다.
동일하거나 다른 피쳐들은 각각의 스테이지에서 분류를 위하여 사용된다. 예를들어 병진 스테이지에서, 피쳐들은 다수의 병진된 평면 위치들 각각에 대해 계산된다. 머신 훈력 병진 분류기를 사용하여, 피쳐들은 병진된 평면 위치들에 대응하는 가설을 제거하기 위하여 사용되고, 나머지 가설들의 서브세트를 남긴다.
상기 피쳐들은 3 차원 피쳐들이다. 평면을 둘러싸는 3D 데이터, 즉 서브 체적은 피쳐들을 계산하기 위하여 사용된다. 선택적으로, 체적 데이터는 하나의 평면에 보간될 수 있고, 평면을 표현하는 결과적인 데이터는 피쳐를 계산하기 위하여 다른 데이터 없이 사용된다.
임의의 피쳐들은 사용될 수 있다. 다른 형태의 피쳐들은 동일한 분류기를 위하여 사용되거나, 모든 피쳐들은 주어진 분류기에 대해 동일한 형태이다. 일 실시예에서, 아르 웨이브릿(Haar wavelet)형 피쳐들은 계산된다. 하르 웨이브릿형 피쳐들은 영역의 다른 부분들 사이의 차를 표현한다. 십, 백, 또는 천들 같은 임의의 수의 피쳐들은 사용될 수 있다. 머신 학습 처리는 주어진 분류 임무에 사용될 목표된 서브세트 또는 피쳐들의 세트를 결정하기 위하여 동작할 수 있다.
피쳐 값들은 각각의 가설에 대해 계산된다. 병진 분류를 위하여, 피쳐들은 가능한 병진 평면 위치들 각각에 대해 계산된다. 동일한 하르 함수들 같은 동일한 피쳐들은 가능한 병진 평면 위치들의 각각에 대해 계산된다. 병진 분류기는 피쳐 값들을 바탕으로 올바르거나 목표된 뷰인 주어진 가능한 평면 위치 가능성을 출력한다. 만약 가능성이 임계값보다 크면, 연관된 가설은 유지된다. 만약 가능성이 임계값 아래이면, 연관된 가설은 제외되고 가설들의 풀(pool)로부터 버려진다.
하나 또는 그 이상의 가설들을 제외함으로써, 회전과 연관된 가능한 평면 위치들의 수는 제한될 수 있다. 예를들어, 하나의 가설을 제외하고 두 개의 가설을 남기는 것은 방향 분류기가 3 대신 두 개의 다른 병진들에 관련하여 다른 회전들에 대한 피쳐들을 계산하게 한다.
처리기(12)는 나머지 가설과 연관된 다수의 회전 평면 위치들 각각에 대한 동일하거나 다른 평면 및/또는 다른 피쳐들을 계산한다. 회전 평면 위치들에 대응하는 가설들은 방향 분류기 및 평면 또는 다른 피쳐들의 함수로서 제외된다. 스케일 분류기는 피쳐들의 함수로서 스케일된 평면들에 대응하는 가설들을 제외한다. 아무런 가설도 제외하지 않거나, 하나 또는 그 이상의 가설들을 제외한 후, 가설들의 나머지 세트는 검출된 평면을 위해 남아있는다.
일 실시예에서, 방향 및 스케일 분류기들에 사용된 피쳐들의 형태는 기울기 피쳐들이다. 예를들어, Zheng 등에 의한 "Fast Automatic Heart Chamber Segmentation from 3D CT Data Using Marginal Space Learnig and Steerable Features", Proc. Int'l conf. on Computer Vision, pp. 1-8, 2007에 기술된 "조정 가능한" 피쳐들은 사용된다. 다른 형태의 피쳐들은 선택적으로 또는 부가적으로 사용될 수 있다. 상기 피쳐들은 부피 측정용이다.
모델 바탕 분류기 또는 학습 분류기(예를들어 머신 학습 바탕 분류기) 같은 임의의 분류기는 제공될 수 있다. 학습된 분류기들을 위해, 베이스 또는 신경 회로망 같은 이진 또는 다중 등급 분류기들은 사용될 수 있다. 일 실시예에서, 트리 및 직렬 구조를 가진 이진 부스팅 분류기는 사용된다. 분류기는 의학 이미지 정보 사이를 구별하기 위한 명령들, 매트릭스, 학습 코드, 또는 다른 소프트웨어 및/또는 하드웨어이다. 병진, 방향, 및 스케일 분류기들은 동일하거나 다른 형태의 분류기들일 수 있다.
일 실시예에서, 병진 분류기, 방향 분류기, 및 스케일 분류기는 머신 훈련 가능성 부스팅 트리이다. 각각의 분류기는 트리 구조로서 구성된다. 다른 실시예에서, 병진, 방향 및 스케일을 위한 독립적인 분류기 또는 스케일을 포함하는 모든 가능한 위치들을 바탕으로 분류하기 위한 단일 분류기 같은 비 순차적 처리는 제공된다.
머신 훈련 가능성 부스팅 트리는 표준 평면들 중 하나를 위하여 훈련된다. 처리기(12)는 표준 평면들 중 다른 하나를 위한 다른 머신 훈련 가능성 부스팅 트리 분류기들을 실행하기 위하여 동작한다.
처리기(12)는 나머지 가설들의 함수로서 표준 또는 다른 평면들 중 하나의 평면 위치를 결정한다. 결정된 뷰는 공통 또는 표준 뷰(예를들어, 정상 4개의 챔버, 정상 두 개의 챔버, 좌측 부흉골, 또는 서브 코스탈(coastal) 이지만, 다른 뷰들은 인식될 수 있다. 가능성 부스팅 트리 같은 분류기의 출력은 평면 위치를 결 정하기 위하여 사용된다. 가장 높은 가능성과 연관된 평면 위치는 선택된다. 다른 실시예에서, 가설들로서 남아있는 하나 이상의 평면 위치들은 선택되고 결합된다. 예를들어, 나머지 가설들의 평균 병진, 방향, 및 스케일은 계산된다. 상기 평균은 목표된 뷰를 위한 평면 위치이다.
디스플레이(16)는 이미지를 도시하기 위한 CRT, LCD, 플라즈마, 프로젝터, 프린터, 또는 다른 출력 장치이다. 디스플레이(16)는 검출된 표준 평면(예를들어, A4C)의 이미지 같은 검출된 평면의 이미지를 디스플레이한다. 체적을 표현하는 데이터는 이미지를 생성하기 위하여 사용된다. 검출된 평면에 인접하거나 교차되는 체적 데이터세트로부터의 데이터는 단면 또는 다중평면 재구성 이미지를 생성하기 위하여 사용된다.
도 2는 3 차원 심초음파 검사 데이터로부터 표준 다중 평면 재구성 평면 같은 평면을 검출하는 방법을 도시한다. 상기 방법은 이미지 처리 의학 초음파 데이터를 위한 의학 진단 이미지화 시스템, 검토 스테이션, 워크스테이션, 컴퓨터, PACS 스테이션, 서버, 이들의 결합, 또는 다른 장치에 의해 실행된다. 예를들어, 도 1에 도시된 시스템 또는 컴퓨터 판독 가능 매체는 상기 방법을 실행하지만, 다른 시스템들은 사용될 수 있다.
상기 방법은 도시된 순서 또는 다른 순서로 실행된다. 부가적인, 다른, 또는 보다 적은 작용들은 수행될 수 있다. 예를들어, 작용들(34 및/또는 38)은 선택적이다. 다른 실시예로서, 순차적 분류는 제공되지 않으므로, 순차적 또는 심지어 독립된 작용들(24,26 및 28)의 수행은 제공되지 않는다.
상기 작용들은 스캐닝 동안 같이 실시간으로 수행된다. 사용자는 체적을 표현하는 다른 데이터세트를 획득하기 위한 스캐닝 동안 작용(38)의 이미지들을 볼 수 있다. 이미지들은 동일한 이미지화 세션이지만, 다른 체적 데이터를 가진 작용들(22-38)의 이전 수행과 연관된다. 예를들어, 작용들(22-38)은 동일한 이미지화 세션 동안 처음 스캔 및 추후 스캔들을 위하여 수행된다. 다중평면 재구성 이미지들은 2 또는 보다 작은 초들 같은 초 단위로 제공될 수 있다.
하나 또는 그 이상의 데이터 세트들은 얻어진다. 초음파 데이터는 정규 3D 그리드에 보간된 데이터 세트, 디스플레이 이미지들(예를들어, 검출 및 스캔 컨버트된 초음파 데이터), 빔형성 데이터, 검출된 데이터, 및/또는 스캔 컨버트된 데이터에 대응한다. 초음파 데이터는 환자의 체적 또는 3D 영역을 표현한다. 상기 영역은 조직, 유동체 또는 다른 구조들을 포함한다. 다른 구조들 또는 형태의 구조들은 음향 에너지에 다르게 반응한다. 예를들어, 심장 근육 조직은 움직이지만, 유체에 비해 느리게 움직인다. 일시적 관자놀이 반응은 다른 속도 또는 흐름 데이터를 유발할 수 있다. 구조의 모양 또는 공간 측면은 B 모드 데이터에 반영될 수 있다. 심장, 기관, 혈관, 유체 챔버, 클롯(clot), 손상부, 근육, 및/또는 조직 같은 하나 또는 그 이상의 물체들은 체적 영역내에 있다. 데이터는 상기 영역을 표현한다.
작용(22)에서, 머신 훈련 분류기들의 시퀀스는 3차원 심초음파 검사 데이터에 학습되고 및/또는 제공된다. 표준 MPR 평면들 같은 각각의 목표된 평면은 이론적인 2D 도메인뿐 아니라 3D 체적 샘플에서 고려된다. 평면 검출은 목표된 각각의 평면에 대한 포즈(pose) 파라미터들(즉, 위치)을 평가한다. 3D 강건한 바디의 포즈 파라미터들은 9개의 성분들을 포함할 수 있다: 3 병진들(x;y;z), 3 방향들(예를들어, 각각의 축에 대한 오일러 각들 w.r.t.), 및 3 스케일들(각각의 축에 대해 하나). 하나 또는 그 이상의 파라미터들은 스케일을 제공하지 않는 것과 같이 사용되지 않을 수 있거나 하나의 축을 따라서만 스케일을 제공하는 것과 같이 사용될 수 있다.
고해상도 3D 체적의 검사는 온라인 애플리케이션들 또는 빠른 결정을 위해 금지된다. 예를들어, 100x100x100 화소들의 체적은 병진을 위해 106 가설들을 가진다. 만약 방향 및 스케일을 결합하면, 조합 가설 검색 공간은 크게 확장된다. 제한된 가설들의 세트는 다른 평면들의 상대적 예상 위치들 같이 임의의 목표된 기준을 바탕으로 사용될 수 있다. 다수의 순차적 스테이지들에서 평면 또는 포즈 파라미터들을 평가하는 일련의 검출들을 훈련함으로써, 계산들의 수는 감소될 수 있다. 스테이지들은 파라미터 자유도가 증가할 때(예를들어, 병진, 그 다음 방향, 및 그 다음 스케일) 복잡도 순서로 제공되지만, 다른 순서들은 사용될 수 있다. 예를들어, 스케일은 병진 및 방향이 주어지면 두 개의 축들을 따라서만 조절될 수 있다. 다른 실시예들에서, 계층적 검색을 가지거나 가지지 않는 다른 학습은 사용된다.
임의의 분류기 또는 분류기들은 사용될 수 있다. 분류기는 이미지화 처리, 필터링, 또는 다른 기술들을 사용하는 모델 또는 검출기일 수 있다. 단일 등급 또는 이진 분류기, 다른 분류기들의 수집물, 직렬 연결 분류기들, 계층적 분류기, 다 중 등급 분류기, 모델 바탕 분류기, 머신 학습 바탕 분류기, 또는 이들의 결합들은 사용될 수 있다. 다중 등급 분류기들은 CART, K 가장 가까운 이웃들, 신경망(예를들어, 다중층 퍼셉트론(perceptron), 혼합 모델들, 또는 다른 것들을 포함한다. 가능성 부스팅 트리는 사용될 수 있다. 에러 수정 출력 코드(ECOC)는 사용될 수 있다.
분류기는 컴퓨터를 사용하여 훈련 데이터로부터 훈련된다. 일 실시예에서, 분류기는 계층적 검색을 사용하여 학습하는 최저 공간 같은 지식 바탕 가능성 모델이다. 공지된 경우들의 데이터베이스는 머신 학습을 위하여 수집되어, 데이터베이스 구동 지식 바탕 방법을 제공한다. 데이터를 훈련하기 위하여, 트리 차원 환경 정보는 보존되고 검출 처리를 유도한다. 지식은 임상 전문가가 수동으로 표준 MPR 평면들을 가리키는 큰 주석달린 데이터 저장소들에 삽입된다. 공지된 경우들은 식별된 A4C 뷰에 좌표 시스템을 할당하는 것과 같이 공간적으로 정렬되거나 등록된다. 검출기들은 다수의 주석달린 3D 심초음파 검사 체적들에서 훈련된다.
선택적인 피라미드 데이터 구조에 대해, 훈련 세트들은 검출 임무의 복잡도에 따라 다른 레벨들의 검출들을 위하여 선택된다. 거시 레벨에서, 네가티브의 평면 위치들은 포지티브의 평면 위치들로부터 멀리 떨어지고 포지티브로부터 비교적 큰 갭(예를들어, 임의의 경험적 결정 간격)을 유지하면서 합리적인 평면 구성들을 가로질러 임의적으로 샘플링된다. 미세 레벨에서, 네가티브들은 거시 레벨과 비교할 때 사이의 갭을 감소시키는 동안 검색 전략에 따라 포지티브들의 경험적 결정 이웃 내에서만 선택된다.
도 3 및 4는 평면들(44)을 가진 예시적인 체적들을 도시한다. 학습 알고리듬은 가설 공간에서 타켓들(MPR 평면들)을 검색하기 위하여 학습 모델을 사용한다. 분류기는 목표된 평면 및 검출되지 않은 평면들 사이를 구별하기 위하여 다양한 피쳐 벡터들을 학습한다. 다른 실시예들에서, 분류기는 상호 프로그램된다.
학습 바탕 방법들에 대해, 분류기는 피쳐들을 바탕으로 구별하기 위하여 가르침을 받는다. 예를들어, 가능성 모델 알고리듬은 빠른 계산이 전체 이미지의 사용에 의해 인에이블되는 하르형 로컬 직사각형 필터들을 바탕으로 약한 학습자들의 강한 위원에 피쳐들을 선택적으로 결합한다. MPR들에 관련된 피쳐들은 전문가의 주석들을 바탕으로 머신 알고리듬으로 추출 및 학습되어, MPR들에 대한 가능성 모델을 생성한다. 피쳐들의 큰 풀은 추출될 수 있다. 상기 훈련은 주어진 분류를 위하여 가장 결정적인 피쳐들을 결정하고 비결정적인 피쳐들을 버린다.
체적 측정 또는 평면 피쳐들은 3D 심초음파 검사 데이터에 사용될 수 있다. 일 실시예에서, 평면 피쳐들은 제공된다. 피쳐들은 평면을 표현하는 데이터로부터 계산된다. 동일한 피쳐들은 주어진 평면의 각각의 가능한 위치에 대해 계산된다. 피쳐들의 다른 결합들은 다른 평면들 및/또는 평면 파라미터들을 검출하기 위하여 사용될 수 있다. 예를들어, 다른 순차적 분류 스테이지들은 3D 체적 데이터로부터 계산된 다른 피쳐들을 사용한다. 각각의 분류기는 네가티브들로부터 포지티브 타켓을 구별하기 위하여 사용된 한 세트의 결정적인 피쳐들을 선택한다. 피쳐들은 큰 풀의 피쳐들로부터 선택된다. 큰 풀은 프로그래머에 의해 결정되거나 시스템적으로 결정된 피쳐들을 포함할 수 있다.
병진 스테이지에서의 분류기들에 대해, 하르 웨이브릿형 피쳐들은 사용되지만, 다른 피쳐들은 제공될 수 있다. 하르 웨이브릿형 피쳐들은 전체 이미지 바탕 기술들을 사용하여 효과적으로 계산된다. 회전 및 스케일 스테이지들에서의 분류기들을 위하여, 기울기 또는 조정 가능 피쳐들은 사용되지만, 다른 피쳐들은 제공될 수 있다. 조종 가능 피쳐들은 융통성 있는 프레임 워크를 구성하고, 여기서 몇몇 포인트들은 특정 패턴(예를들어, 규칙적인 그리드) 하에서 체적으로부터 샘플링된다. 몇몇 로컬 피쳐들은 화소 명암도 및 기울기 같이 각각의 샘플링 포인트를 위하여 추출된다. 특정 방향 하에서 조종 가능한 피쳐들을 평가하기 위하여, 샘플링 패턴은 제어되고, 계산적으로 비싼 체적 회전은 포함되지 않는다. 조종 가능한 피쳐들의 계산은 계산적으로 비싼 회전 및 리스케일링을 요구하지 않는다.
트리 구조는 학습될 수 있고 훈련 및 애플리케이션 모두에 효과적으로 제공할 수 있다. 종종, 다중 등급 분류기를 부스팅하는 중간에, 하나의 등급(또는 몇몇 등급들)은 남아있는 등급들로부터 완전히 분리되고 추후 부스팅은 분류 정확도 측면에서 부가적인 개선을 형성하지 않는다. 효율적인 훈련을 위하여, 트리 구조는 훈련된다. 이런 사실의 장점을 얻기 위하여, 트리 구조는 훈련 효율성을 개선하기 위하여 남아있는 등급들에 집중하여 훈련된다. 다음 가능성 또는 공지된 분배들은 이전 가능성을 함께 상관시킴으로써 계산될 수 있다.
많은 실시예들을 가진 배경 등급들을 다루기 위하여, 직렬 훈련 과정은 사용될 수 있다. 부스트된 이진 등급 강한 분류기들의 직렬 접속은 발생할 수 있다. 분류기들의 직렬 접속은 배경 등급들을 거절하면서 다중 물체들을 검출 및 분류할 수 있는 단일화된 알고리듬을 제공한다. 직렬접속 구조는 변질된 결정 트리에 대응한다. 상기 시나리오는 데이터 샘플들의 불균형 성질을 제공한다. 배경 등급은 물체 등급들에 속하지 않는 모든 데이터 포인트들이 배경 등급에 속하기 때문에 체적 측정 샘플들을 가진다. 선택적으로, 분류기들은 직렬접속 없이 순차적으로 훈련된다.
하나의 처리로 분류, 인식 및 클러스터링하는 것을 단일화하는 가능성 부스팅 트리(PBT)는 사용될 수 있다. 예를들어, 병진, 방향, 및 스케일 분류기들은 가능성 부스팅 트리로서 훈련된다. 가능성 부스팅 트리는 각각의 관심 평면을 위하여 학습된다. 분류기는 관심있는 평면의 존재의 이후 가능성들이 주어진 데이터로부터 계산되는 구조를 바탕으로 하는 트리이다. 각각의 평면 검출기는 주어진 샘플에 대한 이진 결정을 제공할뿐 아니라, 상기 결정과 관련된 신뢰 값을 제공한다. 트리에서 노드들은 Tu에 의한 "Probabilistic Boosting-Tree:Learning Discriminative Models for Classification, Recognition, and Clustering", Proc. Int'l Conf. on Computer Vision, pp 1589-1596, 2005에 의해 개시된 바와 같은 부스팅 기술들을 사용하여 간단한 분류기들의 결합에 의해 구성된다.
임의의 가능성 트리 구조는 사용될 수 있다. 일 실시예에서, 작용(26)에 적용된 병진 스테이지는 하르 웨이브릿 피쳐들을 사용하는 이진 트리이다. 3개의 레벨들은 각각의 노드가 20개의 약한 분류기들을 포함하는 경우 제공된다. 각각의 분류기는 하나의 피쳐를 바탕으로 한다. 작용(28)에 적용된 방향 스테이지는 기울기 또는 조종 가능한 피쳐들을 사용하는 이진 트리이다. 6개의 레벨들은 각각의 노드가 40개의 약한 분류기들을 포함하는 경우 제공된다. 작용(30)에 제공된 스케일 스테이지는 기울기 또는 조종 가능한 피쳐들을 사용하는 이진 트리이다. 7개의 레벨들은 각각의 노드가 40개의 약한 분류기들을 포함하는 경우 제공된다. 최종 가능성 부스팅 트리 가능성은 주어진 샘플이 횡단되는 리프(leaf) 노드들로부터 모든 가능성들의 웨이팅 합으로서 계산된다. 부가적인 또는 다른 피쳐들, 분류기들, 레벨들, 피쳐들 타입들, 가능성들의 결합, 또는 트리들의 타입들은 사용될 수 있다. 예를들어, 스케일 분류기는 제공되거나 적용되지 않는다.
분류기를 제공하기 위하여, 피쳐들은 작용(32)에서 계산된다. 피쳐들은 가능한 평면 위치들 각각에 대해 계산된다. 다른 피쳐들은 서브 체적에 대한 피쳐가 가능한 평면 위치에 대한 평면 피쳐들과 결합하여 결정될 수 있는 경우와 같이 가능한 평면 위치와 무관하게 계산될 수 있다.
각각의 가능한 평면 위치에 대해, 주어진 분류를 위한 피쳐들은 계산된다. 병진 스테이지에 대해, 가능한 평면 위치들은 3개의 축들을 따라 병진되는 다른 위치들에 관련된다. 예를들어, 하르 피쳐들은 주어진 병진 가능한 평면 위치가 목표된 평면일 수 있는지를 분류하기 위하여 계산된다. 회전 스테이지에서, 가능한 평면 위치들은 남아있는 병진 위치들에서 3개의 축들을 중심을 회전하기 위하여 회전한다. 스케일 스테이지에서, 가능한 평면 위치들은 나머지 회전 및 병진 위치들에서 다른 크기 영역들에 관련된다. 다른 피쳐들은 다른 스테이지들을 위하여 계산될 수 있다. 다른 피쳐들은 다른 뷰들이 검출되도록 계산될 수 있다.
피쳐들은 체적을 표현하는 심초음파 검사 데이터로부터 계산된다. 일 실시 예에서, 피쳐들은 다른 해상도들에서의 데이터로부터 계산된다. 체적 피라미드는 제공되어, 데이터 세트는 다른 해상도들로 다운 샘플된다. 예를들어, 한 세트의 데이터는 스캔 해상도 같은 미세 해상도를 가지며, 다른 세트의 데이터는 각각의 차원에서 1/4에 의해 데시메이트(decimate)된 미세 세트(즉, 4의 인자만큼 다운 샘플링됨) 거시 해상도를 가진다. 상기 세트들은 동일한 체적에서 동일한 물체를 표현한다. 임의의 수(하나, 둘, 또는 그 이상)의 세트들은 사용될 수 있다. 피쳐들은 거시 세트로부터 계산되고 그 다음 체적 피라미드의 미세 세트에서 계산된다. 머신 학습은 결정 피쳐들을 결정할 수 있다. 각각의 결정 피쳐에 대해, 대응하는 해상도에서의 데이터 세트는 제공된다.
상기 세트들은 데카르트 도는 극 좌표 같은 임의의 포맷이다. 일 실시예에서, 초음파 데이터는 음향(예를들어, 극) 좌표 포맷으로 획득되고, 데카르트 또는 디스플레이 공간은 가시적 표면들 또는 선택된 평면들에 실시간으로 거주된다. 스캔 컨버터, 처리기, 또는 그래픽 처리 유니트를 사용하는 다른 실시예에서, 음향 공간으로부터 데카르트 또는 디스플레이 공간으로 실시간 컨버션은 제공된다. 초음파 데이터는 다중 평면 재구성을 적응시키기 위하여 데카르트 공간(에를들어, 3D 그리드)에서 처리된다.
작용(34)에서, 적어도 하나의 피쳐들은 표준화된다. 실제 애플리케이션들에서 초음파의 일관되지 않은 이미지화 조건들로 인해, 각각의 샘플내의 피쳐들은 표준화될 수 있다. 임의의 표준화 함수는 주어진 평면 위치에 대해 예를들어 데이터베이스의 평균에 의한 표준화 같이 사용될 수 있다. 일 실시예에서, 피쳐들은 피 쳐를 계산하기 위하여 사용된 데이터에 의해 표준화된다. 예를들어, 하르 피쳐는 전체 평면을 표현하는 데이터로부터 계산된다. 평면 또는 영역의 데이터는 평균화된다. 평균은 하르 피쳐 값으로부터 감산되고 그 결과는 평면 또는 영역으로부터 데이터의 표준 편차에 의해 나누어진다. 다른 또는 비 표준화는 사용될 수 있다. 예를들어, 방향 및 스케일 스테이지들에 대한 조종 가능한 또는 기울기 피쳐들은 표준화되지 않는다.
작용(36)에서, 평면의 위치는 검출된다. 목표된 뷰와 연관된 위치는 검출된다. 예를들어, 하나 또는 그 이상의 표준 뷰 평면들은 분류기들의 출력의 함수로서 검출된다. 피쳐들은 뷰에 대한 평면의 가장 가능한 위치를 결정하기 위하여 사용된다. 평면 검출기들은 3D 심초음파 검사 체적들에서 훈련된 결정적인 분류기들이다. 평면 검출기는 주어진 서브체적 샘플(가능한 평면 위치에 대한 데이터)이 포지티브이거나 네가티브인지를 결정한다. 포지티브 및 네가티브 샘플들은 각각 올바른 및 올바르지 않은 평면 파라미터들(위치들)에 대응한다.
복잡성을 제한하거나 효율성을 증가시키기 위한 순차적 검출을 위하여, 하나의 뷰에 대한 평면 위치는 순차적 병진, 방향 및 스케일 검출에 의해 검출된다. 분류기는 병진된 가능한 평면 위치들, 회전된 가능한 평면 위치들, 및 스케일된 가능한 평면 위치들에 대한 피쳐들을 순차적으로 계산함으로써 가능한 평면 위치들을 제외한다. 각각의 스테이지는 가설 리스트로부터 가능한 평면 위치들을 제거한다.
첫째, 피쳐들은 다른 가능한 평면 위치들에 대해 계산된다. 다른 가능한 평면 위치들은 다른 축들을 따른 병진에 대응한다. 거시 검색에서처럼 가능하게 식 별된 위치들에서 미세 검색을 가진 거시 검색 같은 임의의 스텝 크기 또는 검색 전략은 사용될 수 있다. 검출기는 각각의 가능한 위치에 대한 가능성을 제공한다. 충분한 가능성과 연관된 가능한 위치들은 가설 풀에 유지된다. 충분한 가능성은 임계값, 상부 X(여기서 X는 하나 또는 그 이상) 가능성들, 또는 다른 검사에 의해 결정된다.
방향 검출기에서, 회전될 평면들의 위치들은 병진 분류기의 애플리케이션 후 유지되는 가능한 평면 위치들이다. 각각의 충분한 병진 위치에서, 다른 회전들은 검사된다. 임의의 아날로그 단계 크기 및/또는 검색 전략은 사용될 수 있다. 방향 검출기는 다른 회전들과 연관된 충분한 평면 위치들을 식별한다. 만약 주어진 병진 위치에 대한 회전 위치가 충분하지 않으면, 병진 위치는 가설 풀로부터 버려진다.
스케일 검출기는 병진 및 방향 검출 후 나머지 가능한 평면 위치들에 대해 다른 스케일 인자들을 제공한다. 임의의 스텝 크기 및/또는 검색 전략은 스케일링을 위하여 사용될 수 있다. 만약 주어진 평면 위치에 대한 스케일이 충분하지 않으면, 평면 위치는 가설 풀로부터 버려진다. 나머지 평면 위치들 및 대응 스케일들은 병진, 방향, 및 스케일 분류기들에 따라 충분하다.
검출된 뷰는 스케일 분류기에 의하여 가장 높은 가능성 출력을 가진 가능한 평면 위치이다. 선택적으로, 검출된 뷰는 병진, 방향, 및 스케일 검출기들로부터 가장 높은 평균 가능성을 가진 가능한 평면 위치이다. 다른 실시예들에서, 나머지 충분히 가능한 평면 위치들의 평균 위치는 결정된다. 평균 위치는 검출된 뷰이다. 상부 Y 가장 가능한 평면 위치들의 위치를 평균화하는 것과 같은 다른 제한들은 사용될 수 있다.
하나 또는 그 이상의 평면들은 검출된다. 예를들어, 표준 심초음파 검사 뷰들에 대한 평면들의 위치들은 결정된다. 정상 두 개의 챔버 뷰, 정상 4개의 챔버 뷰, 정상 3개의 챔버 뷰, 부흉골 긴 축 뷰, 및/또는 부흉골 단축 뷰는 결정된다. 예를들어, 도 3 및 4는 적어도 부분적으로 영역(40)내에서 물체(42)를 가진 체적 영역(40)을 도시한다. 물체(42)는 체적 영역(40)내의 임의의 방향을 가질 수 있다. 체적과 관련하여 평면들(44)의 위치는 다중 평면 재구성을 위하여 결정된다. 다른 표준 또는 비표준 뷰들은 결정될 수 있다. 표준 뷰들은 의학 위원회에 대한 표준 또는 협회에 대한 표준일 수 있다. 미리 결정된 뷰들은 진료 검사를 위하여 미리 정의된 뷰 같은 비표준 뷰들을 포함한다.
다른 분류기들은 다른 표준 뷰들에 대해 훈련된 머신이다. 분류기들의 임의의 결합은 사용될 수 있다. 각각의 분류기는 다른 분류기들의 출력과 무관한 대응하는 평면 위치를 결정하기 위하여 제공된다. 선택적으로, 하나의 분류기의 출력은 다른 평면의 검출을 위하여 사용된다. 둘 또는 그 이상(예를들어, 6 표준) 평면들을 검출하기 위한 일 실시예에서, 거시 대 미세 전략은 다중 스케일 계층을 통하여 제공된다. 정상 4개의 챔버 뷰의 위치는 데이터의 다운 샘플된 세트(예를들어, 1/4 해상도)로 검출된다. 타켓 MPR 평면들이 서로 및 좌측 심실(LV)과 관련하여 해부학적 규칙성들을 가지기 때문에, 다른 뷰들에 대한 가능한 평면 위치들의 초기 위치는 A4C 평면 위치를 바탕으로 설정된다. A4C 검출기는 학습되고 저해상 도 체적에서 거시 레벨로 제공된다. 다른 뷰들은 본래 또는 베이스 위치를 위하여 검출될 수 있다.
A4C 뷰에 대한 평면 위치는 미세 또는 거시 평면 파라미터 평가를 위한 검색 영역을 제한하기 위하여 사용된다. 표준 뷰 평면들의 다른 초기 위치는 A4C 뷰의 위치의 함수로서 결정된다. A4C 뷰에 관련하여 다른 뷰들(예를들어, A2C,A3C,SAXB,SAXM 및 SAXA)에 대한 초기 평면 파라미터들(위치, 방향, 및 스케일)은 경험적 통계량을 바탕으로 한다. 예를들어, 훈련 데이터 세트로부터 평균 상대적 위치는 사용된다. 초기 위치는 검색 영역을 설정한다. 가능한 평면 위치들은 초기 위치에 관련하여 병진, 회전, 및/또는 스케일로 제한될 수 있다.
다른 표준 뷰 평면들은 초기 위치에 의해 제한된 체적 데이터 및 검색 공간을 사용하여 검출된다. 초기 위치가 검색 공간을 제한하기 때문에, 보다 높은 해상도 데이터는 사용될 수 있다. 보다 높은 해상도들에서, 각각의 평면을 위하여 훈련된 보다 정확한 파라미터 평가를 위한 평면 검출기는 초기 검출 결과들 주위 작은 이웃에서만 가장 우수한 후보를 검색하도록 제공된다. 다른 또는 동일한 A4C 검출기는 A4C 위치를 정련하기 위하여 미세 데이터세트에 제공될 수 있다.
작용(38)에서, 이미지는 검출된 평면 위치의 함수로서 생성된다. 이미지들은 결정된 뷰들 각각에 대해 생성된다. 평면의 위치에 대응하는 데이터는 체적으로부터 추출된다. 데이터는 뷰를 위한 이미지를 생성하기 위하여 사용된다. 예를들어, 다중 평면 재구성 이미지들은 초음파 데이터로부터 생성된다. 평면들은 이미지화를 위하여 사용될 데이터를 정의한다. 각각의 평면을 교차하거나 각각의 평 면에 인접한 위치들과 연관된 데이터는 2 차원 이미지를 생성하기 위하여 사용된다. 데이터는 평면에 공간 정렬을 제공하기 위하여 보간될 수 있거나, 가장 가까운 이웃 선택은 사용될 수 있다. 결과적인 이미지는 다중 평면 재구성 방향의 함수로서 생성되고 목표된 뷰들을 제공한다. 이미지는 체적 영역(40)을 통하여 다른 평면들(44)을 표현한다.
일 실시예에서, 특정 뷰들은 생성된다. 특정 뷰들의 모든 또는 서브 세트는 생성된다. 뷰들에 대응하는 평면들이 식별되는 경우, 뷰들은 제공될 수 있다. 예를들어, 하나의 영역을 표현하는 초음파 데이터에서 모든 이용할 수 있는 표준 또는 미리 결정된 뷰들은 제공된다. 각각의 뷰에 대한 이미지들은 라벨이 달리고(예를들어, A4C) 및/또는 주석이 달릴 수 있다(예를들어, 하이라이트된 밸브). 3개 이하의 뷰들을 디스플레이하고 뷰들의 우선 순위 리스트를 가지는 것 같은 모든 이용할 수 있는 뷰들보다 작은 뷰들이 제공될 수 있다.
하나의 예시적인 실시예에서, 326 심초음파 검사 체적 시퀀스들은 수집된다. 각각의 시퀀스에서, 최종 심이완(ED) 프레임(3D 체적)은 추출되고 경험적 데이터베이스에 부가된다. 전체적으로, 데이터베이스에 326 3D 심초음파 체적들이 있다. 각각의 체적에 대해, 6개의 표준 평면들(A4C,A2C,A3C,SAXB,SAXM 및 SAXA)는 진료 전문가들에 의해 수동으로 주석이 달리고 평가를 위한 기본 진실표로서 사용된다.
두 개의 평면들 사이의 차이를 측정하기 위하여, 두 개의 에러 측정기준들은 제공된다, 즉 각도 및 거리가 제공된다. 두 개의 평면들 사이의 각도는 직각의 두 개의 평면 사이의 각도로서 정의된다. 두 개의 평면들 사이의 거리는 다른 평면에 대한 하나의 평면상 앵커(anchor)의 거리로서 측정되고, 앵커는 LV 중심(A4C,A3C,A2C, 및 SAXM) 또는 LV 장축 및 MPR(SAXB 및 SAXA) 사이의 교점이다. 기본 진실 주석들을 바탕으로, LV 장축은 A4C-A2C 및 A4C-A3C의 두 개의 교점들의 평균으로서 계산되고, LV 중앙은 LV 장축 및 SAXM 사이의 교점으로서 계산된다.
4 폴드(fold) 크로스확인 방법은 평가를 위해 제공된다. 326 체적들의 전체 데이터세트는 4개의 쿼터들로 임의로 분할된다. 각각의 실험에 대해, 3개의 쿼터들(244 체적들)은 훈련을 위하여 결합되었고 남은 하나의 쿼터(82 체적들)은 검사를 위하여 보이지 않는 데이터로서 사용되었다.
전체적으로, 각각의 체적이 검사를 위하여 일단 사용되도록 4 개의 실험들이 있다. 자동 MPR 성능은 모두 4 폴드들을 바탕으로 요약되고 하기 테이블 1에 제공된다. 3D 심초음파 검사 데이터의 MPR들은 데이터 양으로 인한 모호성들을 제공하고, 정확한 식별을 위한 어려움들을 유도한다. 사전 사용자 내부 변화 분석은 약 8.2도의 평균 각도 에러 및 약 3.2mm의 평균 거리 에러를 형성한다.
(a) 전체 성능
평균 각도 에러 평균 거리 에러
평균 11.3 3.7
std 8.0 2.1
메디안 9.3 3.3
(b) 성능 하락(정상 평면들)
A4C A2C A3C
각도 거리 각도 거리 각도 거리
평균 13.2 3.5 15.2 2.9 14.5 3.4
std 12.5 3.4 13.0 2.8 13.2 3.9
메디안 10.4 2.7 11.6 2.2 10.9 2.3
(c) 성능 하락(단축 평면들)
SAXB SAXM SAXA
각도 거리 각도 거리 각도 거리
평균 8.2 3.6 8.2 4.3 8.2 4.5
std 6.2 3.1 6.2 3.5 6.2 3.5
메디안 6.8 2.9 6.8 3.7 6.9 3.7
이런 자동 시스템은 다른 체적들의 큰 변화를 가로질러 인간 심초음파 검사자들에 대한 해부학적 구조들을 검색하는 부담을 크게 줄일 수 있다. 검출된 표준 MPR들로 인해, 진보된 양적 분석은 주입 부분 분석처럼 자동으로 진행할 수 있다.
다른 실시예에서, 앵커 바탕 방법들 및 시스템들은 3D 심초음파 검사 데이터로부터 자동 평면 검출을 위하여 제공된다. 해부학적 구조들의 정확하고 강건한 검출은 3D 심초음파 검사의 루틴 진료 실무에서 심장 기능의 자동 양적 분석을 위해 허용할 수 있다. 표준 평면들은 많은 진료 검사들의 시작 포인트이다. 앵커 바탕 방법에서, 표준 다중평면 재포맷/재구성(MPR) 평면들은 3D 심초음파 체적으로부터 검사되고, 평면 방향은 큰 방향 공간을 검색하지 않고 앵커들로부터 추론된다.
방향 공간을 검색하는 대신, 3개의 비동일선상 포인트들이 3차원 공간의 평면을 결정하기 위하여 충분하기 때문에, 검출된 앵커들은 타켓 평면 방향을 추론하기 위하여 사용된다. 동일한 전략은 관심있는 해부학적 구조들의 스케일을 평가하기 위하여 제공될 수 있다.
하나의 평면의 평면상 포인트(p) 및 평면(n)의 수직부로서 표현된다. 평면상에 3개의 검출된 앵커들(p1,p2 및 p3)이 제공되면, 평면 파라미터들(p,n)은 다음과 같이 계산될 수 있다:
n = (p3-p1) x (p2-p1),
p = (p1 + p2 + p3)/3, (또는 평면상 임의의 포인트)
여기서 x는 외적을 나타낸다.
앵커들은 데이터베이스 구동 지식 바탕 방법을 사용하여 3D 체적들로부터 검출된다. 지식은 값비싼 체적 데이터 훈련 저장소들을 통하여 학습되고, 여기서 임상 전문가는 해부학적 의미들을 가지는 앵커들을 따라 지식 바탕 방법들을 통하여 표준 MPR 평면들에 신뢰성 있게 주석을 단다. MPR 평면들은 공통 피쳐들을 공유한다. 3개의 주 정상 MPR 평면들(즉, A4C,A2C 및 A3C)을 위하여, 임상 전문가는 전체적으로 7개의 앵커들의 주석을 단다, 즉 정상, 기초 인페로셉탈(inferoseptal) 포인트, 기초 전증(anteroseptal) 포인트, 기초 하위(inferior) 포인트, 기초 정면(anterior) 포인트, 기초 하외측(inferolateral) 포인트, 및 기초 전증 포인트. 예를들어, A4C 평면은 정상, 기초 인페로셉탈 포인트, 및 기초 하외측 포인트에 의해 결정될 수 있다. 비록 3개의 비 동일선상 앵커들이 평면을 결정하기 위하여 최소 요구조건이지만, 평면 설치 알고리듬 및/또는 앵커 선택 방법들과 함께 보다 많은 앵커들은 노이즈 및 외좌층들에 대해 추론 강건성을 향상시키기 위하여 제공될 수 있다.
모델/검출기는 각각의 앵커를 위하여 학습된다. 앵커 검출기는 주어진 서브 체적 샘플이 포지티브인지 네가티브인지를 결정하기 위하여 사용되는 등록된 3D 심초음파 검사 체적들의 큰 세트에서 훈련된다. 포지티브 샘플들은 타켓 앵커들에 중심을 가진 서브 체적이고, 네가티브들은 병진 공간의 미리 정의된 마진을 가지고 포지티브 샘플들로부터 멀리 떨어진 서브 체적들을 추출함으로써 선택된다.
가능성 부스팅 트리(PBT) 또는 다른 알고리듬은 각각의 앵커 검출기를 구성하기 위하여 사용된다. 다른 알고리듬들은 다른 앵커들에 사용될 수 있다. 일 실시예에서, 분류기는 앵커 존재의 이후 가능성이 주어진 데이터로부터 계산되는 트리 바탕 구조이다. 각각의 앵커 검출기는 주어진 샘플에 대한 이진 결정을 제공할 뿐 아니라, 결정과 연관된 신뢰성 값을 제공한다. 트리에서 노드들은 부스팅 기술들을 사용하여 간단한 분류기들의 비선형 결합에 의해 구성된다.
각각의 앵커 검출기는 큰 풀의 피쳐들로부터 네가티브들로부터의 타켓 앵커를 구별하기 위하여 사용되는 한 세트의 결정 피쳐들을 선택한다. 과도하게 완성된 피쳐 풀을 구성하고 내부 이미지 바탕 기술들을 사용하여 효과적으로 계산되는 하르 웨이브릿형 피쳐들은 사용되지만, 다른 피쳐들은 사용될 수 있다. 실제 애플리케이션들에서 초음파의 일관된 이미지화 조건들로 인해, 각각의 샘플 내의 피쳐들은 평균을 감산하고 표준 편차에 의해 나눔으로써 표준화될 수 있다.
온라인 검출 알고리듬은 앵커들을 검출하기 위하여 모델들을 제공하고 타켓 MPR 평면들을 추론하기 위하여 검출된 앵커들을 사용한다. 각각의 앵커에 대해, 유일한 병진 파라미터들은 MPR 평면들을 추론하기 위하여 평가될 필요가 있고, 파라미터 검색 공간(방향이 아님)을 크게 감소시킨다.
본 발명이 다양한 실시예들을 참조하여 상기되었지만, 많은 변화들 및 변형들이 본 발명의 범위에서 벗어나지 않고 이루어질 수 있다는 것은 이해되어야 한다. 그러므로 상기 상세한 설명이 제한보다 오히려 도시를 위한 것으로 고려되고, 본 발명의 사상 및 범위를 정의하기 위하여 의도된 것이 모든 등가물들을 포함하는 다음 청구항들이라는 것이 이해되어야 한다.
도 1은 의학 초음파 이미지화 시스템의 일 실시예의 블록도이다.
도 2는 3 차원 심초음파 검사 데이터로부터 평면의 검출 방법의 실시예들의 흐름도이다.
도 3은 일 실시예에서 다중 평면 재구성 체적 영역, 물체, 및 연관된 평면들의 그래프 도면이다.
도 4는 표준 심초음파검사 뷰들의 예시적인 의학 이미지들 및 뷰들에 대한 상대적 평면 위치들을 도시한다.

Claims (20)

  1. 3차원 심초음파 검사 데이터로부터 하나의 평면을 검출하기 위한 방법으로서,
    3차원 심초음파 검사 데이터에 머신 훈련 분류기들의 시퀀스를 제공하는 단계(22) - 제 1 분류기들은 3차원 심초음파 데이터에 의해 표현된 체적내의 평면의 병진을 위한 것이고, 제 2 분류기들은 체적내의 평면의 회전을 위한 것이고, 제 3 분류기들은 체적내의 평면의 스케일을 위한 것임 -;
    제 1, 제 2, 및 제 3 분류기들의 출력의 함수로서 평면의 위치를 검출하는 단계(36); 및
    평면 위치의 함수로서 이미지를 생성하는 단계(38)를 포함하는,
    평면 검출 방법.
  2. 제 1 항에 있어서, 상기 제 1, 제 2, 및 제 3 분류기들은 가능성 부스팅 트리를 포함하는,
    평면 검출 방법.
  3. 제 1 항에 있어서, 상기 제 1, 제 2 및 제 3 분류기들은 3차원 심초음파 검사 데이터로부터 계산된(32) 피쳐들의 입력들을 수신하고 각각은 가설 리스트로부터 가능한 평면 위치들을 제거하고, 상기 위치는 제 1,제 2, 및 제 3 분류기들의 제공 후 남아있는 적어도 하나의 가능한 평면 위치의 함수인,
    평면 검출 방법.
  4. 제 1 항에 있어서, 상기 제 1 분류기는 제 1 다수의 가능한 위치들을 식별하고(26), 제 2 분류기는 제 1 다수의 가능한 위치들의 함수로서 제 2 다수의 가능한 위치들을 식별하고(28), 및 제 3 분류기는 제 2 다수의 가능한 위치들의 함수로서 제 3 다수의 가능한 위치들을 식별하고(30), 상기 평면의 위치는 제 3 다수의 가능한 위치들의 함수인,
    평면 검출 방법.
  5. 제 4 항에 있어서, 상기 평면의 위치는 제 3 다수의 가능한 위치들의 평균인,
    평면 검출 방법.
  6. 제 1 항에 있어서, 상기 제 1, 제 2, 및 제 3 분류기들은 피쳐들로 동작하고, 상기 피쳐들은 평면의 가능한 위치들에 대한 체적 측정 피쳐들인,
    평면 검출 방법.
  7. 제 1 항에 있어서, 상기 제 1 분류기는 하르 웨이브릿(Harr wavelet) 피쳐들로 동작하는,
    평면 검출 방법.
  8. 제 1 항에 있어서, 상기 제 2 및 제 3 분류기들은 기울기 피쳐들로 동작하는,
    평면 검출 방법.
  9. 제 1 항에 있어서, 상기 적어도 제 1 분류기의 피쳐들을 표준화하는(34) 단계를 더 포함하는,
    평면 검출 방법.
  10. 제 1 항에 있어서, 상기 평면의 위치는 정상 두 개의 챔버 뷰, 정상 4개의 챔버 뷰, 정상 3개의 챔버 뷰, 부흉골 장축 뷰, 및 부흉골 단축 뷰의 그룹으로부터 표준 심초음파 검사 뷰를 포함하고;
    다른 머신 훈련 분류기들을 사용하여 다른 표준 심초음파 검사 평면들의 위치들을 결정하는 단계(36)를 더 포함하는,
    평면 검출 방법.
  11. 제 1 항에 있어서, 상기 제공 단계(22)는 체적 피라미드의 제 1 거시 세트 및 제 2 미세 세트에서의 데이터로부터 다수의 피쳐들을 식별하는 단계를 포함하는,
    평면 검출 방법.
  12. 3차원 심초음파 검사 데이터에 의해 표현된 체적에서 표준 뷰 평면들을 검출(36)하기 위한 프로그램된 처리기(12)에 의해 실행할 수 있는 명령들을 표현하는 그 내부에 저장된 데이터를 가진 컴퓨터 판독 가능 저장 매체(14)로서, 상기 저장 매체(14)는,
    체적내의 다수의 가능한 평면 위치들 각각에 대한 피쳐들을 계산(32)하고 - 상기 피쳐들 중 적어도 하나는 체적내의 가능한 평면 위치를 표현하는 데이터로만 계산됨 -;
    피쳐들의 함수로서 각각의 분류기들을 사용하여 표준 뷰 평면들을 검출하고(36); 및
    표준 뷰 평면들에 대한 데이터로부터 이미지들을 생성(38)하기 위한 명령들을 포함하는,
    컴퓨터 판독 가능 저장 매체.
  13. 제 12 항에 있어서, 피쳐들을 계산하는 것(32)은 다른 표준 뷰들에 대한 다른 피쳐들을 계산하는 것(32)을 포함하고 상기 각각의 분류기들은 다른 표준 뷰들에 대해 머신 훈련된 분류기들을 포함하는,
    컴퓨터 판독 가능 저장 매체.
  14. 제 12 항에 있어서, 제 1 표준 뷰 평면에 대해, 각각의 분류기는 병진된 가능한 평면 위치들, 회전된 가능한 평면 위치들, 및 스케일된 가능한 평면 위치들에 대한 피쳐들을 순차적으로 계산(32)함으로써 가능한 평면 위치들을 제외하는,
    컴퓨터 판독 가능 저장 매체.
  15. 제 12 항에 있어서, 상기 계산(32)은 기울기 피쳐들을 계산하는 것(32)을 포함하는,
    컴퓨터 판독 가능 저장 매체.
  16. 제 12 항에 있어서, 피쳐를 계산하기 위하여 사용된 데이터의 함수로서 피쳐들 중 적어도 하나를 표준화(34)하기 위한 명령들을 더 포함하는,
    컴퓨터 판독 가능 저장 매체.
  17. 제 12 항에 있어서, 정상 4개의 챔버 뷰의 위치는 데이터의 다운 샘플된 세트로 검출되고, 다른 표준 뷰 평면들의 초기 위치는 상기 위치의 함수로서 결정되고, 검출(36)은 초기 위치에 의해 제한된 데이터 및 검색 공간으로 다른 표준 뷰 평면들을 검출(36)하는 것을 포함하는,
    컴퓨터 판독 가능 저장 매체.
  18. 심장 체적의 다중평면 재구성 중 표준 평면들에 대한 평면 위치들을 검 출(36)하기 위한 시스템으로서,
    심장 체적을 표현하는 초음파 데이터를 저장하기 위하여 동작하는 메모리(14);
    다수의 병진된 평면 위치들 각각에 대한 제 1 피쳐들을 계산하고, 병진 분류기 및 제 1 피쳐들의 함수로서 병진된 평면 위치들에 대응하는 가설을 제외하고, 제 1 나머지 가설들을 남기고; 제 2 나머지 가설들과 연관된 다수의 회전 평면 위치들 각각에 대한 제 2 피쳐들을 계산하고, 방향 분류기 및 제 2 피쳐들의 함수로서 회전된 평면 위치들에 대응하는 가설들을 제외하고, 제 2 나머지 가설들을 남기고; 제 2 나머지 가설들과 연관된 다수의 스케일된 평면들 각각에 대한 제 3 피쳐들을 계산하고, 스케일 분류기 및 제 3 피쳐들의 함수로서 스케일된 평면들에 대응하는 가설들을 제외하고, 적어도 하나의 제 3 나머지 가설을 남기고; 및 적어도 하나의 제 3 나머지 가설의 함수로서 표준 평면 중 하나의 평면 위치를 결정하기 위하여 동작하는 처리기(12); 및
    평면 위치의 함수로서 표준 평면들 중 하나의 이미지를 디스플레이하기 위하여 동작하는 디스플레이(16)를 포함하는,
    평면 위치들 검출 시스템.
  19. 제 18 항에 있어서, 상기 병진 분류기, 방향 분류기 및 스케일 분류기는 표준 평면들 중 하나에 대한 머신 훈련 가능성 부스팅 트리를 포함하고 상기 처리기(12)는 표준 평면들 중 다른 하나들에 대해 다른 머신 훈련 가능성 부스팅 트리 분류기들을 실행하기 위하여 동작하는,
    평면 위치들 검출 시스템.
  20. 제 18 항에 있어서, 상기 제 1 피쳐들은 병진된 평면 위치들에 대응하는 평면들을 표현하는 데이터로부터 계산된 하르 피쳐들을 포함하고, 상기 제 2 및 제 3 피쳐들은 조종 가능한 피쳐들을 포함하는,
    평면 위치들 검출 시스템.
KR1020080091621A 2007-09-18 2008-09-18 3 차원 심초음파 검사 데이터로부터 평면들의 자동 검출 KR101565311B1 (ko)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US97321707P 2007-09-18 2007-09-18
US60/973,217 2007-09-18
US97493507P 2007-09-25 2007-09-25
US60/974,935 2007-09-25
US12/186,815 2008-08-06
US12/186,815 US8073215B2 (en) 2007-09-18 2008-08-06 Automated detection of planes from three-dimensional echocardiographic data

Publications (2)

Publication Number Publication Date
KR20090029673A true KR20090029673A (ko) 2009-03-23
KR101565311B1 KR101565311B1 (ko) 2015-11-04

Family

ID=40454502

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080091621A KR101565311B1 (ko) 2007-09-18 2008-09-18 3 차원 심초음파 검사 데이터로부터 평면들의 자동 검출

Country Status (5)

Country Link
US (1) US8073215B2 (ko)
JP (1) JP2009072593A (ko)
KR (1) KR101565311B1 (ko)
CN (1) CN101390759B (ko)
DE (1) DE102008046861B4 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150111697A (ko) * 2014-03-26 2015-10-06 삼성전자주식회사 초음파 장치 및 초음파 장치의 영상 인식 방법
US9305348B2 (en) 2012-06-28 2016-04-05 Samsung Medison Co., Ltd. Rotating 3D volume of data based on virtual line relation to datum plane
KR20180130511A (ko) * 2016-03-09 2018-12-07 에코너스 인코퍼레이티드 인공지능 네트워크를 이용한 초음파 이미지 인식 시스템 및 방법
WO2023204610A3 (ko) * 2022-04-19 2023-12-14 주식회사 온택트헬스 심장 초음파에 대한 가이드 방법 및 이를 이용한 심장 초음파에 대한 가이드용 디바이스
WO2024028849A1 (ko) * 2022-08-01 2024-02-08 주식회사 온택트헬스 도플러 초음파 영상에 대한 정보 제공 방법 및 이를 이용한 도플러 초음파 영상에 대한 정보 제공용 디바이스

Families Citing this family (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5508765B2 (ja) 2009-06-03 2014-06-04 株式会社東芝 ３次元超音波診断装置
US8594398B2 (en) * 2009-06-26 2013-11-26 International Business Machines Corporation Systems and methods for cardiac view recognition and disease recognition
KR101117916B1 (ko) * 2009-07-30 2012-02-24 삼성메디슨 주식회사 새지털 뷰를 검출하는 초음파 시스템 및 방법
KR101202533B1 (ko) * 2009-07-30 2012-11-16 삼성메디슨 주식회사 복수의 슬라이스 단면 영상을 제공하는 제어 장치, 초음파 시스템, 방법 및 컴퓨터 판독가능 기록매체
JP5508801B2 (ja) 2009-09-30 2014-06-04 株式会社東芝 超音波診断装置及び超音波診断装置制御プログラム
JP5586203B2 (ja) * 2009-10-08 2014-09-10 株式会社東芝 超音波診断装置、超音波画像処理装置及び超音波画像処理プログラム
US9002078B2 (en) * 2009-10-22 2015-04-07 Siemens Aktiengesellschaft Method and system for shape-constrained aortic valve landmark detection
JP5619584B2 (ja) * 2010-01-13 2014-11-05 株式会社東芝 超音波診断装置、超音波画像処理装置及び超音波画像処理プログラム
US8660365B2 (en) * 2010-07-29 2014-02-25 Honeywell International Inc. Systems and methods for processing extracted plane features
US8860715B2 (en) 2010-09-22 2014-10-14 Siemens Corporation Method and system for evaluation using probabilistic boosting trees
US10321892B2 (en) * 2010-09-27 2019-06-18 Siemens Medical Solutions Usa, Inc. Computerized characterization of cardiac motion in medical diagnostic ultrasound
KR101194292B1 (ko) * 2010-09-28 2012-10-29 삼성메디슨 주식회사 객체에 대한 슬라이스 표시 초음파 검사기 및 그 방법
KR101233843B1 (ko) * 2011-06-29 2013-02-15 포항공과대학교 산학협력단 부피 특징 벡터와 3차원 하르-유사 필터를 이용한 물체 검출 방법 및 장치
US8891881B2 (en) 2012-01-25 2014-11-18 General Electric Company System and method for identifying an optimal image frame for ultrasound imaging
WO2014037868A1 (en) * 2012-09-06 2014-03-13 Koninklijke Philips N.V. Magnetic resonance imaging system with navigator-based motion detection
CN104797199B (zh) * 2012-11-20 2018-02-23 皇家飞利浦有限公司 用于实时胎儿心脏评估的标准平面的自动定位
RU2653836C2 (ru) 2012-12-17 2018-05-14 Конинклейке Филипс Н.В. Управляемый микроманипулятором локальный вид с неподвижным общим видом
CN103932708B (zh) * 2013-01-23 2017-12-22 上海联影医疗科技有限公司 一种心脏多平面的重构方法
US9460538B2 (en) * 2013-08-07 2016-10-04 Siemens Medical Solutions Usa, Inc. Animation for conveying spatial relationships in multi-planar reconstruction
US20160317118A1 (en) * 2013-12-20 2016-11-03 Koninklijke Philips N.V. Automatic ultrasound beam steering and needle artifact suppression
WO2015110436A1 (en) 2014-01-27 2015-07-30 Koninklijke Philips N.V. An ultrasound imaging system and an ultrasound imaging method
EP3066596B1 (de) * 2014-02-20 2022-05-11 Siemens Healthcare GmbH System zur anzeige und bearbeitung von daten einer medizinischen einrichtung
KR102156297B1 (ko) 2014-04-17 2020-09-15 삼성메디슨 주식회사 의료 영상 장치 및 그 동작방법
KR101619802B1 (ko) * 2014-06-18 2016-05-11 기초과학연구원 심장 좌심실의 3차원 영상 생성 방법 및 그 장치
US10835210B2 (en) 2015-03-30 2020-11-17 Siemens Medical Solutions Usa, Inc. Three-dimensional volume of interest in ultrasound imaging
JP6449457B2 (ja) * 2015-06-05 2019-01-09 株式会社日立製作所 画像処理方法、及び装置
US9971940B1 (en) * 2015-08-10 2018-05-15 Google Llc Automatic learning of a video matching system
US20180333141A1 (en) * 2015-11-19 2018-11-22 Utsav PARDASANI Neurosurgical mri-guided ultrasound via multi-modal image registration and multi-sensor fusion
US10398411B2 (en) * 2016-02-19 2019-09-03 General Electric Company Automatic alignment of ultrasound volumes
EP3445250B1 (en) * 2016-04-21 2021-09-15 The University of British Columbia Echocardiographic image analysis
JP7080590B2 (ja) * 2016-07-19 2022-06-06 キヤノンメディカルシステムズ株式会社 医用処理装置、超音波診断装置、および医用処理プログラム
CN109788944A (zh) * 2016-09-26 2019-05-21 富士胶片株式会社 超声波诊断装置及超声波诊断装置的控制方法
GB2554641A (en) 2016-09-29 2018-04-11 King S College London Image processing
JP2018068494A (ja) * 2016-10-26 2018-05-10 株式会社日立製作所 超音波画像処理装置及びプログラム
KR102698916B1 (ko) * 2017-01-19 2024-08-26 뉴욕 유니버시티 초음파 분석을 위한 시스템, 방법 및 컴퓨터-접근가능 매체
EP3420913B1 (en) * 2017-06-26 2020-11-18 Samsung Medison Co., Ltd. Ultrasound imaging apparatus and control method thereof
US10751029B2 (en) 2018-08-31 2020-08-25 The University Of British Columbia Ultrasonic image analysis
WO2020144077A1 (en) * 2019-01-09 2020-07-16 Koninklijke Philips N.V. Ultrasound system and method for shear wave characterization of anisotropic tissue
DE102020101060B4 (de) 2019-02-09 2023-04-27 Elmos Semiconductor Se Selbstlernendes Ultraschallmesssystem im Fahrzeug zur Erkennung und Klassifizierung von Objekten im Umfeld des Fahrzeugs mit einem Multiplanar-Reformatierer
CA3152545A1 (en) 2019-09-20 2021-03-25 Bard Access Systems, Inc. Automatic vessel detection tools and methods
EP3838163A1 (en) 2019-12-17 2021-06-23 Koninklijke Philips N.V. Method and system for improved ultrasound plane acquisition
WO2022055887A1 (en) 2020-09-08 2022-03-17 Bard Access Systems, Inc. Dynamically adjusting ultrasound-imaging systems and methods thereof
EP4247267A1 (en) * 2020-11-24 2023-09-27 Bard Access Systems, Inc. Ultrasound system with target and medical instrument awareness
US12048491B2 (en) 2020-12-01 2024-07-30 Bard Access Systems, Inc. Ultrasound probe with target tracking capability
US20220280133A1 (en) * 2021-03-04 2022-09-08 GE Precision Healthcare LLC Method and system for automatically detecting an ultrasound image view and focus to provide measurement suitability feedback
JP2024070359A (ja) * 2022-11-11 2024-05-23 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
CN116687452B (zh) * 2023-07-28 2023-11-03 首都医科大学附属北京妇产医院 一种早孕期胎儿超声自主扫查方法、系统及设备

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3974946B2 (ja) * 1994-04-08 2007-09-12 オリンパス株式会社 画像分類装置
US5806521A (en) * 1996-03-26 1998-09-15 Sandia Corporation Composite ultrasound imaging apparatus and method
CN1073394C (zh) * 1997-12-05 2001-10-24 李强 二维体表超声测量右心室容积和功能的方法及其装置
US6238342B1 (en) * 1998-05-26 2001-05-29 Riverside Research Institute Ultrasonic tissue-type classification and imaging methods and apparatus
JP2005161032A (ja) * 2003-11-10 2005-06-23 Toshiba Corp 画像処理装置
US20060034513A1 (en) 2004-07-23 2006-02-16 Siemens Medical Solutions Usa, Inc. View assistance in three-dimensional ultrasound imaging
WO2006034366A1 (en) 2004-09-21 2006-03-30 Siemens Medical Solutions Usa, Inc. Hierarchical medical image view determination
US7558413B2 (en) * 2004-10-12 2009-07-07 Siemens Medical Solutions USA, Inc, Method for detecting polyps in a three dimensional image volume
JP2006163614A (ja) * 2004-12-03 2006-06-22 Matsushita Electric Ind Co Ltd 画像処理装置、および画像処理方法
US20070053563A1 (en) * 2005-03-09 2007-03-08 Zhuowen Tu Probabilistic boosting tree framework for learning discriminative models
US20060239527A1 (en) 2005-04-25 2006-10-26 Sriram Krishnan Three-dimensional cardiac border delineation in medical imaging
US20070071295A1 (en) 2005-09-27 2007-03-29 Siemens Medical Solutions Usa, Inc. Orientation-based assessment of cardiac synchrony in medical imaging
WO2007049207A1 (en) 2005-10-27 2007-05-03 Koninklijke Philips Electronics N.V. System and method for generating for display two-dimensional echocardiography views from a three-dimensional image
US20080009722A1 (en) 2006-05-11 2008-01-10 Constantine Simopoulos Multi-planar reconstruction for ultrasound volume data
US7916919B2 (en) * 2006-09-28 2011-03-29 Siemens Medical Solutions Usa, Inc. System and method for segmenting chambers of a heart in a three dimensional image
JP4934143B2 (ja) * 2006-10-10 2012-05-16 株式会社日立メディコ 医用画像診断装置、医用画像計測方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9305348B2 (en) 2012-06-28 2016-04-05 Samsung Medison Co., Ltd. Rotating 3D volume of data based on virtual line relation to datum plane
KR20150111697A (ko) * 2014-03-26 2015-10-06 삼성전자주식회사 초음파 장치 및 초음파 장치의 영상 인식 방법
US11033250B2 (en) 2014-03-26 2021-06-15 Samsung Electronics Co., Ltd. Ultrasound apparatus and ultrasound medical imaging method for identifying view plane of ultrasound image based on classifiers
KR20180130511A (ko) * 2016-03-09 2018-12-07 에코너스 인코퍼레이티드 인공지능 네트워크를 이용한 초음파 이미지 인식 시스템 및 방법
WO2023204610A3 (ko) * 2022-04-19 2023-12-14 주식회사 온택트헬스 심장 초음파에 대한 가이드 방법 및 이를 이용한 심장 초음파에 대한 가이드용 디바이스
WO2024028849A1 (ko) * 2022-08-01 2024-02-08 주식회사 온택트헬스 도플러 초음파 영상에 대한 정보 제공 방법 및 이를 이용한 도플러 초음파 영상에 대한 정보 제공용 디바이스

Also Published As

Publication number Publication date
CN101390759B (zh) 2013-03-06
CN101390759A (zh) 2009-03-25
DE102008046861A1 (de) 2009-05-14
JP2009072593A (ja) 2009-04-09
KR101565311B1 (ko) 2015-11-04
DE102008046861B4 (de) 2011-06-01
US20090074280A1 (en) 2009-03-19
US8073215B2 (en) 2011-12-06

Similar Documents

Publication Publication Date Title
KR101565311B1 (ko) 3 차원 심초음파 검사 데이터로부터 평면들의 자동 검출
EP3826544B1 (en) Ultrasound system with an artificial neural network for guided liver imaging
US11837354B2 (en) Contrast-agent-free medical diagnostic imaging
US11950961B2 (en) Automated cardiac function assessment by echocardiography
EP3776353B1 (en) Ultrasound system with artificial neural network for retrieval of imaging parameter settings for recurring patient
US8218849B2 (en) Method and system for automatic landmark detection using discriminative joint context
US8343053B2 (en) Detection of structure in ultrasound M-mode imaging
Nurmaini et al. Accurate detection of septal defects with fetal ultrasonography images using deep learning-based multiclass instance segmentation
US20080009722A1 (en) Multi-planar reconstruction for ultrasound volume data
CN112955934B (zh) 识别医学图像中的介入设备
CN101036162A (zh) 在显示的图像数据中保持一致的解剖视图的方法和系统
WO2019191059A1 (en) Method for objective, noninvasive staging of diffuse liver disease from ultrasound shear-wave elastography
JP6987131B2 (ja) 画像ベース診断システム
EP3704707B1 (en) A method and apparatus for analysing echocardiograms
EP4125606B1 (en) Systems and methods for imaging and measuring epicardial adipose tissue
WO2024126468A1 (en) Echocardiogram classification with machine learning
JP2023552330A (ja) 個人が１つ又は複数の病害を有する可能性を予測すること
EP4311499A1 (en) Ultrasound image acquisition
Randive REVIEW OF AUTOMATIC QUALITY ASSESSMENT OF ECHOCARDIOGRAPHY IN APICAL FOUR CHAMBERS USING CONVOLUTIONAL NEURAL NETWORK

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180911

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190904

Year of fee payment: 5