KR102444968B1 - 의료 영상 처리 장치 및 방법 - Google Patents

의료 영상 처리 장치 및 방법 Download PDF

Info

Publication number
KR102444968B1
KR102444968B1 KR1020177001017A KR20177001017A KR102444968B1 KR 102444968 B1 KR102444968 B1 KR 102444968B1 KR 1020177001017 A KR1020177001017 A KR 1020177001017A KR 20177001017 A KR20177001017 A KR 20177001017A KR 102444968 B1 KR102444968 B1 KR 102444968B1
Authority
KR
South Korea
Prior art keywords
medical image
image
segmentation
medical
interest
Prior art date
Application number
KR1020177001017A
Other languages
English (en)
Other versions
KR20170016004A (ko
Inventor
크리스티안 뷔르거
이라나 베히터스텔레
프랑크 미하일 베버
Original Assignee
코닌클리케 필립스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코닌클리케 필립스 엔.브이. filed Critical 코닌클리케 필립스 엔.브이.
Publication of KR20170016004A publication Critical patent/KR20170016004A/ko
Application granted granted Critical
Publication of KR102444968B1 publication Critical patent/KR102444968B1/ko

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0883Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of the heart
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A61B8/5246Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from the same or different imaging techniques, e.g. color Doppler and B-mode
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/149Segmentation; Edge detection involving deformable models, e.g. active contour models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/174Segmentation; Edge detection involving the use of two or more images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10132Ultrasound image
    • G06T2207/101363D ultrasound image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20048Transform domain processing
    • G06T2207/20061Hough transform
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20112Image segmentation details
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20112Image segmentation details
    • G06T2207/20124Active shape model [ASM]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30048Heart; Cardiac
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection

Abstract

본 발명은 의료 영상 처리 장치(10)에 관한 것이며, 상기 의료 영상 처리 장치는: - 관심의 해부학적 대상(84)의 제 1 및 제 2 의료 영상(72, 74)을 수신하기 위한 수신 유닛(60)으로서, 상기 제 1 및 제 2 의료 영상들(72, 74) 각각은 상기 관심의 해부학적 대상(84)의 상이한 뷰 필드(field of view)를 포함하고, 상기 제 1 의료 영상 및 상기 제 2 의료 영상(72, 74)은 관심의 해부학적 대상(84)의 동일하거나 유사한 해부학적 상태를 나타내는, 상기 수신 유닛(60); - 상기 제 2 의료 영상(74)의 영상 공간으로부터 상기 제 1 의료 영상(72)의 영상 공간으로의 변환을 결정하도록 구성된 등록 유닛(64); - 변환된 제 2 의료 영상(74')을 수신하기 위해 상기 변환에 기초하여 상기 제 2 의료 영상(74)을 상기 제 1 의료 영상(72)의 영상 공간으로 변환하도록 구성된 변환 유닛(66); 및 - 상기 제 1 의료 영상(72) 및 상기 변환된 제 2 의료 영상(74') 모두를 개별적으로 사용하는 전체 세그먼테이션을 수행하도록 구성된 세그먼테이션 유닛(68)으로서, 하나의 동일한 세그먼테이션 모델(92)이 상기 제 1 의료 영상(72) 내의 관심의 해부학적 대상(84)의 제 1 세트의 특징 지점들(80)을 식별하고, 상기 변환된 제 2 의료 영상(74') 내의 관심의 해부학적 대상(84)의 제 2 세트의 특징 지점들(82)을 식별하고, 상기 제 1 세트 및 상기 제 2 세트의 특징 지점들(80, 82) 모두에 대해 상기 세그먼테이션 모델(92)을 적응시킴으로써 상기 제 1 의료 영상(72) 및 상기 변환된 제 2 의료 영상(74') 모두에 동시에 적응되는, 상기 세그먼테이션 유닛(68)을 포함한다.

Description

의료 영상 처리 장치 및 방법{MEDICAL IMAGE PROCESSING DEVICE AND METHOD}
본 발명은 일반적으로 의료 영상화(medical imaging)의 분야에 관한 것이다. 특히, 본 발명은 2 차원 및/또는 3 차원 의료 영상을 처리하기 위한 의료 영상 처리 장치에 관한 것이다. 또한, 본 발명은 대응하는 의료 영상 처리 방법에 관한 것이다. 또한, 본 발명은 컴퓨터로 하여금 상기 방법의 단계들을 수행하게 하는 프로그램 코드 수단을 포함하는 컴퓨터 프로그램에 관한 것이다. 본 발명의 예시적인 기술적 응용은 3D 초음파 영상화의 분야이다. 그러나, 본 발명은 또한 예를 들면 CT, MR 또는 MRI와 같은 초음파 영상화 이외의 의료 영상화 방식에도 사용될 수 있음에 유의해야한다.
예를 들면 2D 및 3D 초음파 영상화 시스템과 같은 의료 영상 시스템은 잘 알려져 있다. 특히 3D 의료 영상화는 의료 진단 실행에 필수적이다. 방사선 전문의 및 내과 전문의에게 간결하고 관련있는 정보를 제공함으로써 3D 의료 영상화는 임상 생산성을 향상시킨다. 초음파 영상화가 방사선 전문의 및 내과 전문의에게 복수의 이점을 제공하지만, 초음파 영상화의 분야에서 공통적인 문제점은 초음파 영상화 장치의 제한된 뷰 필드(field of view)에 있다.
초음파의 제한된 뷰 필드는 종종 소노그래퍼(sonographer)가 관심의 완전한 해부학적 대상을 영상화하는 것을 허용하지 않는다. 예를 들면, 심장 박동이 2 차원 또는 3 차원 형태로 영상화되는 경흉부 심장 초음파 검사(TTE) 영상 응용 및 경식도 초음파 검사(TEE) 영상에서, 초음파 장치의 제한된 뷰 필드는 불리할 수 있다. 이 경우 심장의 하위 구조만이 좋은 영상 품질을 갖는 하나의 영상 프레임으로 영상화 될 수 있지만 심장의 다른 구조들은 적절하게 영상화될 수 없다. 심장의 왼쪽 측면의 초음파 영상은 일반적으로 심장의 완전한 오른쪽을 나타내지 않으며 그 반대의 경우도 마찬가지다.
완전한 심장을 정량화하기 위해서는 따라서 심장의 다른 특정 하위 구조를 각각 영상화하고 정량화하는 다수의 획득이 필요하다. 영상 세그먼테이션은 이들의 하위 구조들을 커버할 수 있을 뿐이며, 누락된 구조들은 적어도 부분적으로 추정되어야 한다. 실례로, 좌심실 중심 영상들에서 좌심실 부피는 계산될 수 있지만 우심실은 부분적으로 상기 뷰 필드 밖에 있게 된다. 이와 대조적으로, 우심실 중심 영상에서 우심실 부피가 계산될 수 있지만 좌심실은 부분적으로 상기 뷰 필드 밖에 있게 된다. 결과적으로, 전체 심장의 정량화(quantification)에 오류가 발생하기 쉽다.
태아가 너무 커서 한 뷰 필드에 들어갈 수 없을 때도 3D 태아 초음파 응용에서 유사한 문제가 발생한다.
따라서, 해당이 되는 완전한 해부학적 대상의 단일 세그먼테이션은 보다 강력하고 일관된 세그먼테이션 결과를 제공하는 데 바람직할 것이다.
Rajpoot, K. 등은 전체 심장을 포함하는 융합된 영상을 수신하기 위해 다수의 3D 심장 초음파 영상을 융합하는 방법을 제시한다(Rajpoot, K. et al.: "영상 중심의 세그먼테이션(segmentation) 및 트래킹을 이용한 단일 뷰 및 다중 뷰 융합 3D 초음파 심장 검사의 평가", Medical Image Analysis 15(2011), 514-528 페이지). 이 기술은 다수의 단일 뷰 영상들을 획득하고 이후에 유사성 측정으로서 정규화된 상호 상관으로 표준 멀티 분해능 강체 등록 알고리즘(standard multi-resolution rigid registration algorithm)을 사용하여 이들 영상들을 정렬하는 것을 제안한다. 애플리케이션 위치 근처에서 취득된 첫 번째 전체 볼륨은 등록을 위한 기준 볼륨(reference volume)으로 사용된다. 일단 영상 대응(image correspondence)이 확립되면, 정렬된 영상들이 함께 결합된다. 웨이블릿 분석 기술이 각각의 단일 뷰 영상을 저주파 성분 및 고주파 성분으로 분해하는데 사용된다. 그 후 상기 융합은 저주파 및 고주파 웨이브렛 계수들을 다르게 처리하면서 웨이블릿 도메인에서 수행된다. 이 후 융합된 영상이 심장의 전체 세그먼테이션을 위해 사용될 수 있다.
상술한 기술은 초음파 콘 빔(ultrasound cone beam)의 단일 뷰 필드에 완전하게 맞지 않는 심장과 같은 관심의 해부학적 대상의 단일 세그먼테이션을 수행할 가능성을 제공하지만, 이 기술은 여전히 몇 가지 단점을 수반한다. 이러한 단점을 초래하는 한 가지 이유는 세그먼테이션이 융합된 영상에서 수행된다는 것이다. Rajpoot, K. 등에 의해 제시된 공통 좌표계에서 영상들을 결합할 때 스티칭 보더에서 스무딩 인공물(smoothing artefacts)과 및 인위적인 에지들이 도입되어 중요한 정보가 손실될 수 있다. 이러한 인공물들은 영상의 신호대 잡음비를 증가시키는데 도움을 줄 수 있지만, 예를 들면, 혈액 풀에서 심근으로의 조직 전이가 스무딩되기(smoothed out) 때문에, 또한 등록 기반의 영상 정렬의 불완전성으로 인해 이들 역시 문제를 일으키게 된다. 더욱이, 영상들의 융합은 세기의 불일치를 발생시키고 상기 세그먼테이션을 왜곡할 수 있는 인공적인 벽/에지들을 일으킬 수 있다. 더욱이, 영상 융합은 원치 않는 스무딩 효과를 초래한다.
따라서 여전히 개선의 여지가 있다.
본 발명의 목적은 전술한 결점들을 실질적으로 경감하거나 극복하는 개선된 의료 영상 처리 장치 및 대응하는 방법을 제공하는 것이다. 특히 본 발명의 목적은, 각각의 획득된 영상들의 세트가 제한된 뷰 필드로 인해 해부학적인 관심 대상물의 부분 또는 하위 구조만을 보여준다고 하더라도 단일의 세그먼테이션에서 심장 또는 태아와 같은 전체의 관심의 해부학적 대상을 세그먼테이션하는 것을 가능하게 하는 의료 영상 처리 장치 및 대응하는 방법을 제공하는 것이다.
본 발명의 제 1 양태에 따르면, 의료 영상 처리 장치가 제공되며, 상기 의료 영상 처리 장치는 :
- 관심의 해부학적 대상의 제 1 및 제 2 의료 영상을 수신하기 위한 수신 유닛으로서, 상기 제 1 및 제 2 의료 영상들 각각은 상기 관심의 해부학적 대상의 상이한 뷰 필드(field of view)를 포함하고, 상기 제 1 의료 영상 및 상기 제 2 의료 영상은 관심의 해부학적 대상의 동일하거나 유사한 해부학적 상태를 나타내는, 상기 수신 유닛;
- 상기 제 2 의료 영상의 영상 공간으로부터 상기 제 1 의료 영상의 영상 공간으로의 변환을 결정하도록 구성된 등록 유닛;
- 변환된 제 2 의료 영상을 수신하기 위해 상기 변환에 기초하여 상기 제 2 의료 영상을 상기 제 1 의료 영상의 영상 공간으로 변환하도록 구성된 변환 유닛; 및
-(상기 제 1 의료 영상 및 상기 변환된 제 2 의료 영상을 융합하지 않고서) 상기 제 1 의료 영상 및 상기 변환된 제 2 의료 영상 양쪽 모두를 개별적으로 사용하는 전체적인 세그먼테이션(overall segmentation)을 수행하도록 구성된 세그먼테이션 유닛으로서, 하나의 동일한 세그먼테이션 모델은 상기 제 1 의료 영상 내의 관심의 해부학적 대상의 제 1 세트의 특징 지점들을 식별하고, 상기 변환된 제 2 의료 영상 내의 관심의 해부학적 대상의 제 2 세트의 특징 지점들을 식별하고, 상기 제 1 세트 및 상기 제 2 세트의 특징 지점들 양쪽 모두에 대해 상기 세그먼테이션 모델을 적응시킴으로써 상기 제 1 의료 영상 및 상기 변환된 제 2 의료 영상 양쪽 모두에 동시에 적응되는, 상기 세그먼테이션 유닛을 포함한다.
본 발명의 제 2 양태에 따르면, 의료 영상 처리 방법이 제시되며, 상기 방법은:
- 관심의 해부학적 대상의 제 1 의료 영상 및 제 2 의료 영상을 수신하는 단계로서, 상기 제 1 및 제 2 의료 영상들 각각은 상기 관심의 해부학적 대상의 상이한 뷰 필드를 포함하고, 상기 제 1 의료 영상 및 상기 제 2 의료 영상은 관심의 해부학적 대상의 동일하거나 유사한 해부학적 상태를 나타내는, 상기 수신 단계;
- 상기 제 2 의료 영상의 영상 공간으로부터 상기 제 1 의료 영상의 영상 공간으로의 변환을 결정하는 단계;
- 변환된 제 2 의료 영상을 수신하기 위해 상기 변환에 기초하여 상기 제 2 의료 영상을 상기 제 1 의료 영상의 영상 공간으로 변환하는 단계; 및
-(상기 제 1 의료 영상 및 상기 변환된 제 2 의료 영상을 융합하지 않고서) 상기 제 1 의료 영상 및 상기 변환된 제 2 의료 영상 양쪽 모두를 개별적으로 사용하는 전체적인 세그먼테이션을 수행하는 단계로서, 하나의 동일한 세그먼테이션 모델은 상기 제 1 의료 영상 내의 관심의 해부학적 대상의 제 1 세트의 특징 지점들을 식별하고, 상기 변환된 제 2 의료 영상 내의 관심의 해부학적 대상의 제 2 세트의 특징 지점들을 식별하고, 상기 제 1 세트 및 상기 제 2 세트의 특징 지점들 양쪽 모두에 대해 상기 세그먼테이션 모델을 적응시킴으로써 상기 제 1 의료 영상 및 상기 변환된 제 2 의료 영상 양쪽 모두에 동시에 적응되는, 상기 수행 단계를 포함한다.
본 발명의 또 다른 양태에 따르면, 상기 컴퓨터 프로그램이 컴퓨터 상에서 수행될 때 상기 컴퓨터로 하여금 상기 방법의 단계들을 실행하게 하는 프로그램 코드 수단을 포함하는 컴퓨터 프로그램이 제공된다.
본 발명의 바람직한 실시예들은 종속 청구항들에 정의된다. 청구된 방법 및 청구된 컴퓨터 프로그램은 상기 청구된 의료 영상 처리 장치와 상기 종속 청구항들에 규정된 바와 유사하고 및/또는 일치하는 바람직한 실시예들을 갖는 것으로 이해될 것이다.
본 발명은 오프-라인 및 라이브 영상 처리 모두에 적용된다는 것을 유의해야 한다. 따라서, 수신 유닛은 오프 라인 모드에서 임의의 유형의 내부 또는 외부 저장 유닛으로부터 의료 영상들을 수신할 수 있거나, 또는 라이브 영상 처리 모드에서 영상 획득 유닛, 예를 들면, 초음파 영상화 장치로부터 의료 영상들을 직접 수신할 수 있다.
용어 "의료 영상"은 초음파 영상화, CT 영상화, MR 영상화 또는 MRI 영상화와 같은 임의의 방식의 의료 영상 장치에 의해 생성되는 환자의 신체 부위의 영상(영상 시퀀스의 프레임)을 지칭한다.
용어 "관심의 해부학적 대상"은 심장, 어떠한 다른 기관과 같은 환자의 어떠한 해부학적 대상 또는 또는 태아를 지칭한다.
의료 영상 처리 장치에 의해 처리된 의료 영상들은 2D 또는 3D 영상일 수 있다. 바람직한 실시예에 따르면, 의료 영상들은 3D TTE 영상, 3D TEE 영상, 또는 3D 태아 초음파 영상을 포함한다.
또한, 본 발명은 제 1 및 제 2 의료 영상을 처리함으로써 기술된다는 것을 유의해야 한다. 용어 "제 1" 및 "제 2"는 시간 기반 또는 유형 기반의 한계를 의미하지 않으며 오히려 본 명세서에서는 2개의 예시적인 의료 영상들을 구별하기 위해 사용된다. 실제로,(비록 이러한 것이 물론 가능하다 하더라도) 제 1 및 제 2 의료 영상뿐만 아니라, 제시된 장치에 의해 몇몇 의료 영상들이 처리될 수 있다는 것은 명백하다.
제 1 의료 영상 및 제 2 의료 영상이 관심의 해부학적 대상의 "동일하거나 유사한 해부학적 상태"를 나타낸다는 정의는 두 영상 모두 동일하거나 유사한 시간적, 해부학적 또는 운동 상태에서 관심의 해부학적 대상을 나타낸다는 것을 의미한다. 관심의 해부학적 대상이 심장인 경우, 두 영상 모두 심장, 예를 들면 심장의 상이한 하위 구조들을 공통 심장 위상(common cardiac phase) 또는 공통 운동 상태에서 예를 들면 확장말기 또는 수축말기 위상(end-diastolic or end-systolic phase)에서 나타낸다. 하지만, 제 1 및 제 2 영상은 동일한 심장 주기에 속할 필요는 없지만, 이들이 동일한 심장 위상 또는 움직임 상태에 있는 심장을 나타내는 한 다른 심장 주기들로부터 또한 유도될 수도 있음을 주목해야한다.
본 발명은 적어도 2개의 상보적인 영상들, 바람직하게는 관심의 해부학적 대상의 상이한 뷰 필드를 포함하는 다수의 상보적인 영상들로부터 관심의 전체 해부학적 대상의 단일 세그먼테이션을 발생시키는 아이디어에 기초한다. 제시된 장치 및 방법은 말하자면 적어도 2개, 바람직하게는 다수의 서브-세그먼테이션들의 조합으로서 관심의 전체 해부학적 대상의 단일 세그먼테이션을 생성한다.
2개의 의료 영상들(제 1 및 제 2 의료 영상)의 경우, 그에 대한 등록 유닛은 제 1 단계에서 제 2 의료 영상의 영상 공간으로부터 제 1 의료 영상의 영상 공간으로의 변환을 결정한다. 제 1 의료 영상의 영상 공간은 말하자면 기준 영상 공간(reference image space)으로 간주될 수 있다. 이러한 변환은 바람직하게는 제 2 의료 영상을 제 1 의료 영상의 영상 공간으로 병진 및/또는 회전시키는 강체 변환(rigid transformation)으로서 실현된다.
상기 변환은 바람직하게는 포인트-투-포인트(point-to-point) 및/또는 메시-투-메시 등록(mesh-to-mesh registration)에 의해 결정되는데, 이는 이하에서 더 상세히 설명될 것이다. 그러나, 상기 변환은, 본 경우에 바람직하지 않다고 하더라도, 일반적으로 영상 기반의 등록을 적용함으로써 또한 결정될 수 있다. 상기 등록의 결과는 제 2 의료 영상의 영상 공간이 어떻게 제 1 의료 영상의 영상 공간으로 변환 될 수 있는지를 파라메트릭하게 설명하는 변환 매트릭스가 될 것이다.
이러한 변환은 제 2 의료 영상을 제 1 의료 영상의 영상 공간으로 변환하기 위해 변환 유닛 내에서 사용된다. 즉, 상기 변환 유닛은 동일한 기준 영상 공간에서 2개의 정렬된 영상들을 수신하기 위해 제 2 의료 영상을 제 1 의료 영상의 영상 공간으로 병진 및/또는 회전시킨다. 제 2 의료 영상의 변환의 결과는 본 명세서에서 변환된 제 2 의료 영상으로서 표시된다.
최종 단계에서, 세그먼테이션 유닛은 관심의 완전한 해부학적 대상의 전체 세그먼테이션을 위해 변환된 제 2 의료 영상뿐만 아니라 제 1 의료 영상을 모두 사용한다. 상기 세그먼테이션 유닛은 모델-기반의 세그먼테이션을 적용한다.
본 발명의 중요 아이디어들 중 하나는 이러한 전체의 세그먼테이션에 대해 하나의 동일한 세그먼테이션 모델이 제 1 의료 영상뿐만 아니라 변환된 제 2 의료 영상 모두에 동시에 적응된다는 것이다. 제 1 의료 영상 및 변환된 제 2 의료 영상은 함께 융합되지 않는다는(이들은 독립적으로 처리된다) 점은 중요한 사항이다. 상기 제 1 및 상기 변환된 제 2 의료 영상은 의료 영상 처리 장치의 메모리 내에서 여전히 분리되어있다. 제 1 및 변환된 제 2 의료 영상은 말하자면 두 개의 다른 층에 여전히 개별적으로 저장되어있다. 그러나, 세그먼테이션 유닛은 제 1 의료 영상 및 변환된 제 2 의료 영상 모두에 동시에 적용되는 단일 세그먼테이션 모델을 사용한다. 이것은 본 명세서의 서두에 설명되어 있는 Rajpoot, K. 등에 의해 제안된 접근법에 대한 중요한 차이점들 중 하나다. Rajpoot, K.등은 융합된 영상을 생성하기 위해 상기 영상들을 융합시키는 것을 제안하며, 이러한 융합된 영상이 이후에 세그먼트화된다.
제시된 장치는 두 영상들을 융합하지 않지만 그럼에도 하나의 동일한 세그먼테이션 모델을 사용하여 두 영상들에 대한 세그먼테이션을 기반으로 하기 때문에, 영상 융합의 단점(예를 들면, 인공물 및 인공적인 벽, 강도 불일치 및 영상 스무딩을 포함하는 것)이 방지될 수 있으며, 그럼에도 관심의 전체의 해부학적 대상의 단일 세그먼테이션을 생성하는 것이 여전히 가능하다. 따라서, 제시된 장치 및 방법은 관심의 해부학적 대상의 정량화에 사용될 수 있는 보다 강력하고 보다 일관된 세그먼테이션 결과를 유도한다.
제시된 장치 및 방법은 말하자면 의료 영상들을 융합하지 않고 최상의 각각의 의료 영상을 사용한다. 관심의 전체 해부학적 대상의 단일 세그먼테이션은 상이한 뷰 필드를 보여주는 상이한 영상들로부터 계산되어, 각각의 하위 구조가 가시적인 이들 영상들로부터 세그먼트화된다.
세그먼테이션 유닛은 바람직하게:
- 제 1 의료 영상 내에 관심의 해부학적 대상의 제 1 세트의 특징 지점들을 식별하고,
- 변환된 제 2 의료 영상 내에 관심의 해부학적 대상의 제 2 세트의 특징 지점들을 식별하고,
- 세그먼테이션 모델을 상기 제 1 및 제 2 세트의 특징 지점들에 동시에 적응시킴으로써, 전체의 세그먼테이션을 수행한다.
세그먼테이션 메시-모델은 따라서 두 영상들에서 식별된 특징 지점들과 일치하도록 변환된다. Rajpoot, K. 등에 의해 제안된 바와 같이 융합된 영상을 세그먼트화 하는 경우, 세그먼테이션 메시-모델은 단지 단일의 융합된 영상에서 식별된 한 세트의 특징 지점들과 일치하도록 변환될 것이며, 반면에 본 발명에 따르면 세그먼테이션 메시-모델은 적어도 두 개의 세트들의 특징 지점들(2개의 영상의 경우)과 일치하도록 변환된다. 이렇게 하면 더 강력하고 일관된 세그먼테이션 결과를 얻을 수 있다.
관심의 해부학적 대상의 제 1 및 제 2 세트의 특징 지점들은 제 1 의료 영상 및 변환된 제 2 의료 영상 각각 내에서 제 1 의료 영상 및 변환된 제 2 의료 영상 각각 내의 가장 높은 밝기 그라디언트(highest brightness gradients)를 갖는 영상 지점들을 각각 식별함으로써 식별되는 것이 바람직하다. 그러나, 밝기 그라디언트는 상기 특징 지점들의 식별을 위한 유일한 지시자이거나 또는 유일한 지시자일 필요는 없다는 것을 유의해야 할 것이다. 또한, 상기 식별은 픽셀 밝기의 절대값 또는 세그먼테이션 메시 내의 픽셀의 밝기를 세그먼테이션 메시 외부의 픽셀의 밝기와 비교하는 알고리즘과 같은 다른 기준에 기초할 수 있다. 그러나, 상기 세그먼테이션에 대해 영상 밝기 그라디언트를 사용하는 것은 상당히 용이한 방식으로 실현될 수 있다. 따라서 세그먼테이션은 영상에서 조직 가장자리들의 방향, 즉 관심의 해부학적 대상의 해부학적 특징의 경계들을 통상 나타내는 밝은 부분 대 어두운 부분의 에지들(또는 어두운 부분 대 밝은 부분의 에지들)을 상기 영상에서 볼 수 있다.
이미 상술한 바와 같이, 본 발명은 물론 상술한 방식으로 2개의 의료 영상들만을 처리하는 것으로 제한되지 않는다. 바람직하게는, 다수의 의료 영상들이 상술한 전체의 세그먼테이션에 대해 사용된다. 그러나 원칙은 동일하게 유지된다. 복수의 영상들이 먼저 기준 공간, 예를 들면 상기 영상들 중 하나의 영상 공간에 등록된다. 따라서 공통의 기준 공간에 대한 모든 뷰 필드의 기하학적 변환을 기술하기 위해 모든 영상들에 대해 뷰 필드 간(inter-field-of-view) 변환들이 계산된다. 그러면 모든 영상들은 각각의 뷰 필드 간 변환을 통해 변환되어 모든 영상들이 서로 간에 정렬된다. 그러면 세그먼테이션 유닛은 이전에 설명된 바와 같이, 기준 공간으로 변환된 모든 영상들을 사용하고 기준 공간에서 모든 영상들에 동시에 적응되는 단지 하나의 세그먼테이션 모델을 적용함으로써 전체의 세그먼테이션을 수행할 것이다.
또 다른 실시예에 따르면, 세그먼테이션 유닛은 전체의 세그먼테이션 이전에 제 1 세그먼테이션 메시를 수신하기 위해 제 1 의료 영상의 개별 세그먼테이션을 수행하고 제 2 세그먼테이션 메시를 수신하기 위해 제 2 의료 영상의 개별 세그먼테이션을 수행하도록 구성된다. 이 경우에, 제 1 세그먼테이션 메시 상에 제 2 세그먼테이션 메시의 지점-기반의 등록을 적용함으로써 등록 유닛이 제 2 영상의 영상 공간으로부터 제 1 영상의 영상 공간으로의 변환을 결정하도록 구성된다.
제 1 및 제 2 의료 영상의 상술한 개별적인 세그먼테이션들은 제 1 의료 영상 및 변환된 제 2 의료 영상 모두에 동시에 적응되는 전체 세그먼테이션에 연결되지 않는다는 점을 유의해야한다는 것이 중요하다. 제 1 및 제 2 의료 영상의 개별 세그먼테이션은 전체 세그먼테이션과는 다른 기술적 목적을 위해 행해진다. 각각의 영상이 기준 공간에 등록되기 전에 모든 의료 영상들의 개별 세그먼테이션들이 적용된다. 이러한 세그먼테이션들은 뷰 필드 변환, 예를 들면 상기 제 2 의료 영상의 영상 공간으로부터 상기 제 1 의료 영상의 영상 공간으로의 변환에 대한 결정을 용이하게 한다. 즉, 각 영상의 개별 세그먼테이션을 통해 엄격한 지점 기반의 메시-투-메시 등록(rigid point-based mesh-to-mesh registration)을 사용하여 각 영상의 변환을 결정할 수 있다. 이러한 메시-투-메시 등록은 각 영상의 개별 세그먼테이션들 없이 수행되어야하는 영상 기반의 등록보다 빠르고 더 정확하다.
세그먼테이션 유닛은 바람직하게는 제 1 의료 영상 및 제 2 의료 영상의 개별 세그먼테이션에 대해 동일한 세그먼테이션 모델을 적용하도록 구성된다. 전체 세그먼테이션은 세그먼트화하는 각 영상에 대해 한 세트가 되는 트레이닝된 영상 특징들의 (하나보다는) 두 세트를 사용하는 약간 다른 세그먼테이션 모델을 사용한다. 뷰 필드만이 변경되는 이러한 애플리케이션에서 상기 두 세트는 동일하고 단일의 영상 세그먼테이션 모델 중 하나와 동일하다는 점에 유의해야 한다.
추가 실시예에 따르면, 수신 유닛은 제 1 의료 영상을 포함하는 제 1 의료 영상 시퀀스 및 제 2 의료 영상을 포함하는 제 2 의료 영상 시퀀스를 수신하도록 구성되며, 의료 영상 처리 장치는 또한 관심의 해부학적 대상의 동일하거나 유사한 해부학적 상태의 상응하는 영상들을 식별하기 위해 제 1 및 제 2 의료 영상을 선택하는 선택 유닛을 포함할 수 있다.
이미 위에서 설명된 바와 같이, 의료 영상 처리 장치는 실제로 종종 초음파 장치와 같은 의료 영상 장치에 직접 연결된다. 이 경우, 수신 유닛은 관심의 해부학적 대상의 동일하거나 유사한 해부학적 상태를 나타내는 제 1 및 대응하는 제 2 의료 영상을 직접적으로 수신하지 않고 오히려 수 개의 영상 시퀀스들을 수신한다. 예를 들면, 소노그래퍼(sonographer)는 좌심실의 박동과 같이 박동하는 심장의 하위 구조의 제 1 뷰 필드로 첫 번째 의료 영상 시퀀스를 획득하기 시작한다. 다음으로, 소노그래퍼는 우심실의 박동과 같이 박동하는 심장의 또 다른 하위 구조를 나타내는 제 2 뷰 필드로 제 2 의료 영상 시퀀스를 획득한다. 이 과정은 관심의 모든 구조가 영상화될 때까지 반복된다. 따라서, 동일한 심장 위상, 예를 들면 확장말기 또는 수축말기 위상의 대응하는 영상들을 식별하는 것이 중요하다. 이러한 것은 상기 언급한 선택 유닛에 의해 행해질 수 있다. 상기 선택 유닛은 수작업으로 또는 자동적인 접근에 의해 대응하는 영상들(즉, 제 1 및 제 2 의료 영상)을 선택할 수 있게 한다.
상기 자동적인 접근은 다음과 같이 구현될 수 있다: 세그먼테이션 유닛은 제 1 및 제 2 의료 영상 시퀀스의 모든 영상을 개별적으로 세그먼트화 하도록 구성될 수 있으며, 상기 선택 유닛은 상기 제 1 및 제 2 의료 영상 시퀀스의 모든 영상들의 세그먼테이션에 기초하여 제 1 및 제 2 의료 영상을 자동으로 선택하도록 구성된다. 상기 선택 유닛은, 예를 들면, 대응하는 영상 시퀀스 내의 모든 영상의 세그먼테이션으로부터 각각의 영상 시퀀스에 대한 볼륨 곡선을 도출하도록 구성될 수 있다. 이러한 볼륨 곡선들을 비교하면 특정의 심장 위상에서 심장을 나타내는 각 영상 시퀀스의 영상을 자동으로 추출할 수 있다.
또 다른 실시 예에 따르면, 상기 의료 영상 처리 장치는, 상기 제 1 의료 영상과 상기 변환된 제 2 의료 영상을 융합시킴으로써 융합된 영상을 재구성하도록 구성된 영상 구성 유닛을 더 포함할 수 있다. 이는 Rajpoot, K. 등이 제안한 것과 유사하게 관심의 전체 해부학적 대상의 영상을 시각화할 수 있게 한다. 이러한 융합된 영상은 제시된 의료 영상 처리 장치에 의해 부가 기능으로서만 제공될 수 있다. 이러한 경우에, 관심의 해부학적 대상의 정량화에 사용될 수 있는 전체 세그먼테이션은 여전히 융합된 영상에 기초하지 않고 위에서 설명한 접근법에 따라 생성된다는 점에 유의해야한다.
본 발명의 이러한 양태 및 다른 양태는 이하에 설명되는 실시예를 참조하여 명백하게 설명될 것이다.
도 1은 환자의 몸의 일부를 스캔하는데 사용되는 초음파 영상화 시스템의 개략도.
도 2는 초음파 영상화 시스템의 실시예의 개략적인 블록도.
도 3은 본 발명에 따른 의료 영상 처리 장치의 실시예의 개략적인 블록도.
도 4는 본 발명에 따른 대응하는 의료 영상 처리 방법의 실시예의 개략적인 블록도.
도 5a 및 도 5b는 본 발명에 따른 의료 영상 처리 장치에 의해 처리될 수 있는 제 1 및 제 2 의료 영상의 예를 도시한 도면.
도 6a 및 도 6b는 제 1 및 제 2 의료 영상의 개별 세그먼테이션의 중간 결과를 개략적으로 도시한 도면.
도 7a 및 도 7b는 제 1 및 제 2 의료 영상의 개별 세그먼테이션의 최종 결과를 개략적으로 도시한 도면.
도 8a 및 도 8b는 영상 등록 및 변환 이후에 세그먼트화된 제 1 및 (변환된) 제 2 의료 영상을 도시한 도면.
도 9는 제 1 의료 영상 및 변환된 제 2 의료 영상 모두를 사용하는 전체 세그먼테이션을 개략적으로 도시한 도면.
도 10은 제 1 의료 영상과 변환된 제 2 의료 영상의 융합된 영상을 도시한 도면.
본 발명에 따른 의료 영상 처리 장치(10)를 참조하기 전에, 도 1 및 도 2를 참조하여 초음파 시스템(100)의 기본 원리를 설명한다. 비록 초음파 영상화의 분야가 본 명세서에서 제시된 의료 영상 처리 장치(10)의 바람직한 응용일지라도, 제시된 의료 영상 처리 장치(10)는 초음파 영상의 분야에 제한되지 않는다. 본 명세서에 제시된 장치(10)는 또한 예를 들면 CT, MR, MRI 등과 같은 다른 의료 영상화 방식에도 사용될 수 있다.
도 1은 초음파 시스템(100), 특히 의료용 3 차원(3D) 초음파 영상화 시스템의 개략도이다. 초음파 영상 시스템(100)은 해부학적 부위, 예를 들면 환자(12)의 심장의 체적을 검사하기 위해 적용된다. 초음파 시스템(100)은 초음파를 송신 및/또는 수신하기 위한 다수의 트랜스듀서 소자들을 갖는 적어도 하나의 트랜스듀서 어레이를 갖는 초음파 프로브(14)를 포함한다. 한 예에서, 트랜스듀서 소자들 각각은 특정 펄스 지속 기간의 적어도 하나의 송신 임펄스, 특히 복수의 후속 송신 펄스들의 형태로 초음파들을 송신할 수 있다. 트랜스듀서 소자들은 특히 멀티-평면(multi-planar) 또는 3 차원 영상을 제공하기 위해 2 차원 어레이로 배치되는 것이 바람직하다.
본 발명에 적용될 수 있는 3 차원 초음파 시스템의 특정 예는, 특히 본 출원인의 X6-1 또는 X7-2t TTE 트랜스듀서 또는 본 출원인의 xMatrix 기술을 사용하는 다른 트랜스듀서와 함께, 본 출원인이 판매하는 CX40 Compact Xtreme 초음파 시스템이다. 일반적으로, 필립스 iE33 시스템에서 발견되는 매트릭스 트랜스듀서 시스템 또는 예를 들면 필립스 iU22 및 HD15 시스템에서 발견되는 메카니컬 3D/4D 트랜스듀서 기술이 본 발명에 대해 적용될 수 있다.
3 차원 초음파 스캔은 일반적으로 타겟 볼륨으로서 지정될 수 있는 신체 내의 특정 볼륨을 조사하는 초음파를 방출하는 것을 수반한다. 이러한 것은 여러 다른 각도에서 초음파를 방출하여 달성될 수 있다. 그런 다음 반사된 파장들(waves)을 수신하고 처리함으로써 볼륨 데이터의 세트가 얻어진다. 볼륨 데이터의 세트는 시간 경과에 따른 신체 내의 타겟 볼륨의 표현이다. 일반적으로 시간이 제 4 차원으로 표시되기 때문에, 시간 경과에 따라 3D 영상 시퀀스를 전달하는 초음파 시스템(100)은 때로는 4D 초음파 영상화 시스템이라고도 한다.
초음파 탐침(14)은 (도 1에 도시된 바와 같이) 비-외과적인 방식으로 또는 외과적인 방식(이러한 것은 TTE에서 통상 사용됨(명시적으로 도시되지 않았음))으로 사용될 수 있다는 것을 이해해야한다. 초음파 탐침(14)은 시스템의 사용자에 의해 휴대될 수 있다. 초음파 프로브(14)는 환자(12)의 몸에 적용되어, 관심의 해부학적 대상의 영상이 제공된다.
또한, 초음파 시스템(100)은 초음파 시스템(100)을 통한 3D 영상 시퀀스의 제공을 제어하는 영상 재구성 유닛(16)을 포함할 수 있다. 이하에서 더 상세히 설명되는 바와 같이, 영상 재구성 유닛(16)은 초음파 프로브(14)의 트랜스듀서 어레이를 통한 데이터 획득을 제어할 뿐만 아니라 초음파 프로브(14)의 트랜스듀서 어레이에 의해 수신된 초음파 빔의 에코들 중에서 3D 영상 시퀀스를 형성하는 신호 및 영상 프로세싱을 제어한다.
초음파 시스템(100)은 3D 영상 시퀀스를 사용자에게 디스플레이하기 위한 디스플레이(18)를 더 포함할 수 있다. 또한, 키 또는 키보드(22) 및 추가의 입력 장치, 예를 들면 트랙볼(24)을 포함할 수 있는 입력 장치(20)가 제공될 수 있다. 입력 장치(20)는 디스플레이(18)에 연결될 수 있거나 또는 영상 재구성 유닛(16)에 직접 연결될 수 있다.
도 2는 초음파 시스템(100)의 개략적인 블록도를 도시한다. 예를 들면, 초음파 프로브(14)는 CMUT 트랜스듀서 어레이(26)를 포함할 수 있다. 트랜스듀서 어레이(26)는 대안적으로 PZT 또는 PVDF와 같은 재료로 형성된 압전 트랜스듀서 소자들을 포함할 수 있다. 트랜스듀서 어레이(26)는 3D 영상화를 위해 3 차원으로 스캐닝할 수 있는 트랜스듀서 소자들의 1 차원 또는 2 차원 어레이이다. 트랜스듀서 어레이(26)는 CMUT 어레이 셀 또는 압전 소자에 의한 신호의 송신 및 수신을 제어하는 프로브 내의 마이크로 빔 형성기(microbeamformer)(28)에 결합된다. 마이크로 빔 형성기는 미국 특허 제 5,997,479 호(사보드 등), 제 6,013,032 호(사보드), 및 제 6,623,432 호(파워스 등)에 기재된 바와 같이 트랜스듀서 소자의 그룹 또는 "패치(patches)"에 의해 수신된 신호의 적어도 부분적인 빔 형성이 가능하다. 마이크로 빔 형성기(28)는, 프로브 케이블에 의해, 송신과 수신 사이를 스위칭하고 마이크로 빔 형성기(28)가 사용되지 않고 트랜스듀서 어레이(26)가 메인 빔 형성기(34)에 의해 직접 작동될 때 고 에너지 송신 신호로부터 상기 메인 빔 형성기(34)를 보호하는 송신/수신(T/R) 스위치(30)에 결합될 수 있다. 마이크로 빔 형성기(28)의 제어 하에서의 트랜스듀서 어레이(26)로부터의 초음파 빔의 송신은 트랜스듀서 제어기(32)에 의해서 T/R 스위치(30) 및 사용자 인터페이스 또는 제어 패널(22)의 사용자 조작으로부터 입력을 수신하는 메인 시스템 빔 형성기(34)에 의해 마이크로 빔 형성기(28)에 직접적으로 결합된다. 트랜스듀서 제어기(32)에 의해 제어되는 기능들 중 하나는 빔들이 조향되고 초점이 맞도록 하는 지시가 된다. 빔들은 트랜스듀서 어레이(26)(에 직교)로부터 앞으로 곧장 또는 넓은 뷰 필드에 대해 상이한 각도로 조향될 수 있다. 트랜스듀서 제어기(32)는 CMUT 어레이에 대한 DC 바이어스 제어(58)를 제어하도록 결합될 수 있다. DC 바이어스 제어(58)는 CMUT 셀에 인가되는 DC 바이어스 전압(들)을 설정한다.
수신시 마이크로 빔 형성기(26)에 의해 생성된 부분적으로 빔 형성된 신호는 메인 빔 형성기(34)에 연결되고, 여기서 트랜스듀서 소자의 개별 패치들(patches)로부터의 부분적으로 빔 형성된 신호들은 완전한 빔 형성된 신호로 결합된다. 예를 들면, 메인 빔 형성기(34)는 128 개의 채널을 가질 수 있고, 이들 각각은 수십 또는 수백의 CMUT 트랜스듀서 셀들 또는 압전 소자들의 패치로부터 부분적으로 빔 형성된 신호를 수신한다. 이러한 방식으로, 트랜스듀서 어레이(26)의 수천 개의 트랜스듀서 소자들에 의해 수신된 신호들이 단일 빔 형성된 신호에 효율적으로 기여할 수 있다.
빔 형성된 신호는 신호 프로세서(36)에 연결된다. 신호 프로세서(36)는 대역 통과 필터링, 데시메이션, I 및 Q 성분 분리, 및 선형 및 비선형 신호들을 분리하도록 동작하는 고조파 신호 분리와 같은 다양한 방식으로 수신된 에코 신호를 처리하여, 환자(12)의 신체에 사전에 투여된 조영제(contrast agent)에 함유된 마이크로버블들 또는 조직으로부터 돌아온 비선형(기본 주파수의 고조파) 에코 신호들의 식별을 가능하게 한다. 신호 프로세서(36)는 또한 스펙클 감소(speckle reduction), 신호 컴파운딩(signal compounding), 및 노이즈 제거와 같은 추가적인 신호 강화를 수행할 수 있다. 신호 프로세서(36)의 대역 통과 필터는 트래킹 필터일 수 있으며, 그 통과 대역은 에코 신호가 증가하는 깊이로부터 수신될 때 더 높은 주파수 대역에서 더 낮은 주파수 대역으로 슬라이딩하여 더 깊은 곳으로부터의 더 높은 주파수에서 노이즈를 거부하는데, 이들 주파수들은 해부학적 정보가 없다.
처리된 신호들은 B 모드 프로세서(38) 및 도플러 프로세서(40)로 전달될 수있다. B 모드 프로세서(38)는 신체 내의 혈관들 및 장기들의 조직과 같은 신체 내의 구조들의 영상화를 위해 수신된 초음파 신호의 진폭의 검출을 이용한다. 신체의 구조의 B 모드 영상들은 미국 특허 제 6,283,919 호(라운드힐 등) 및 미국 특허 제 6,458,083(자고 등)에 기재된 바와 같이 고조파 영상 모드 또는 기본 영상 모드 또는 양자의 조합으로 형성될 수 있다. 도플러 프로세서(40)는 영상 필드 내의 혈액 세포의 흐름과 같이 물질의 움직임을 검출하기 위해 조직 이동 및 혈류로부터 시간적으로 구별되는 신호를 처리할 수 있다. 도플러 프로세서(40)는 전형적으로 신체 내의 선택된 유형의 물질로부터 되돌아 오는 에코를 통과 및/또는 거부하도록 설정될 수 있는 파라미터를 갖는 벽 필터(wall filter)를 포함한다. 예를 들면, 벽 필터는 저속 또는 제로 속도 물질로부터의 비교적 강한 신호를 거부하면서 고속 물질로부터 비교적 낮은 진폭의 신호를 통과시키는 통과 대역 특성을 갖도록 설정될 수 있다. 이러한 통과 대역 특성은 흐르는 혈액으로부터의 신호를 통과하는 한편, 심장의 벽과 같은 인근의 움직이지 않거나 느리게 움직이는 대상으로부터의 신호를 거부한다. 역의 특성은 심장의 움직이는 조직으로부터의 신호를 통과하면서 조직 도플러 영상화라고 하는 것에 대한 혈류 신호들을 거부하여 조직의 움직임을 검출하고 표현한다. 도플러 프로세서(40)는 영상 필드 내의 상이한 지점으로부터의 시간적으로 분리된 에코 신호들의 시퀀스를 수신하고 처리할 수 있으며, 앙상블이라고 하는 특정 지점으로부터의 에코들의 시퀀스를 수신하고 처리할 수 있다. 상대적으로 짧은 간격으로 빠른 연속으로 수신된 에코들의 앙상블은 흐르는 혈액의 도플러 이동 주파수(Doppler shift frequency)를 추정하는 데 사용될 수 있으며, 속도에 대한 도플러 주파수의 대응은 혈류 속도를 나타낸다. 오랜 시간 동안 수신된 에코들의 앙상블은 천천히 흐르는 혈액이나 천천히 움직이는 조직의 속도를 추정하는 데 사용된다.
B 모드 및 도플러 프로세서들(38, 40)에 의해 생성된 구조 및 움직임 신호들은 그 후 스캔 컨버터(44) 및 멀티평면 리포맷터(multiplanar reformatter)(54)로 전달될 수 있다. 스캔 컨버터(44)는 에코 신호들을 이들이 원하는 영상 포맷으로 수신된 공간 관계로 배열할 수 있다. 실례로, 스캔 컨버터(44)는 에코 신호를 2 차원(2D) 섹터-형태의 포맷 또는 피라미드 3 차원(3D) 영상으로 배열할 수 있다. 스캔 컨버터(44)는 영상 필드에 혈류 및 조직의 움직임을 표현하는 컬러 도플러 영상을 영상을 생성하도록 도플러-추정된 속도들을 갖는 영상 필드 내의 지점들에서의 움직임에 대응하는 컬러들로 B 모드 구조 영상을 오버레이할 수 있다. 멀티평면 리포맷터(54)는 미국 특허 제 6,443,896 호(뎃머)에 기술된 바와 같이 신체의 볼륨 측정 영역의 공통 면 내의 지점들로부터 수신된 에코들을 그 평면의 초음파 영상으로 변환할 것이다. 볼륨 렌더러(volume renderer)(52)는 미국 특허 제 6,530,885 호(엔트레킨 등)에 기술된 바와 같이 3D 데이터 세트의 에코 신호를, 주어진 기준 지점으로부터 볼 때 시간에 따라 투영된 3D 영상 시퀀스(56)로 변환한다. 3D 영상 시퀀스(56)는 디스플레이(18) 상에 디스플레이하기 위한 추가의 강화, 버퍼링 및 임시 저장을 위해 스캔 컨버터(44), 멀티평면 리포맷터(54) 및 볼륨 렌더러(52)로부터 영상 프로세서(42)로 전달된다. 도플러 프로세서(40)에 의해 생성된 혈류 값들 및 B 모드 프로세서(38)에 의해 생성된 조직 구조 정보는 영상화에 사용되는 것 외에도 정량화 프로세서(quantification processor)(46)로 전달될 수 있다. 이러한 정량화 프로세서(46)는 또한 혈류의 용적량과 같은 상이한 유동 조건과 장기의 크기 및 수태 기간과 같은 구조적 측정의 측정치를 생성할 수 있다. 상기 정량화 프로세서(46)는 측정이 이루어질 영상의 해부학적 구조 내의 지점과 같은 입력을 사용자 제어 패널(22)로부터 수신할 수 있다. 정량화 프로세서(46)로부터의 출력 데이터는 디스플레이(18) 상의 영상으로 측정 그래픽 및 값을 재생하기 위해 그래픽 프로세서(50)로 전달될 수 있다. 그래픽 프로세서(50)는 또한 초음파 영상으로 디스플레이하기 위한 그래픽 오버레이를 생성할 수 있다. 이러한 그래픽 오버레이는 환자 이름, 영상의 날짜 및 시간, 영상화 파라미터 등과 같은 표준 식별 정보를 포함할 수 있다. 이러한 목적을 위해, 그래픽 프로세서(50)는 환자 이름과 같은 입력을 사용자 인터페이스(22)로부터 입력을 수신할 수 있다. 사용자 인터페이스(22)는 트랜스듀서 어레이(26)로부터의 초음파 신호의 발생을 제어하고 따라서 트랜스듀서 어레이 및 초음파 시스템에 의해 생성된 영상을 제어하기 위해 송신 컨트롤러(32)에 연결될 수 있다. 사용자 인터페이스(22)는 또한 MPR 영상들의 영상 필드에서 정량화된 측정들을 수행하는데 사용될 수 있는 다수의 멀티평면 리포맷된 (MPR) 영상들의 평면들을 선택 및 제어하기 위해 멀티평면 리포맷터(54)에 연결될 수 있다.
또한, 전술한 초음파 시스템(100)은 제시된 의료 영상 처리 장치의 응용에 대한 하나의 가능한 예로서만 설명되었다는 것을 유의해야한다. 전술한 초음파 시스템(100)은 이전에 설명된 모든 성분들을 포함할 필요는 없다는 것을 유의해야한다. 한편, 초음파 시스템(100)은 필요하다면 추가 구성 요소들을 포함할 수도 있다. 또한, 전술한 복수의 구성 요소들은 반드시 하드웨어로서 실현될 필요는 없지만, 소프트웨어 구성 요소들로서도 실현될 수 있다. 복수의 전술한 구성 요소들은 또한 공통 엔티티에 포함되거나 심지어 하나의 단일 엔티티에 포함될 수 있으며, 도 2에 개략적으로 도시된 바와 같이, 모두 별도의 엔티티로서 실현될 필요는 없다.
도 3은 본 발명에 따른 의료 영상 처리 장치(10)의 실시예의 개략적인 블록도를 도시한다. 도 4는 본 발명에 따른 대응하는 의료 영상 처리 방법을 개략적으로 도시한 블록도이다. 제시된 장치(10) 및 대응하는 방법의 기술적 원리는 박동하는 심장의 TTE 영상에 대한 응용을 통해 다음에서 설명될 것이다. 그러나, 제시된 장치(10) 및 대응하는 방법은 예를 들면 태아 초음파 애플리케이션과 같은 의료 영상화 분야의 다른 애플리케이션에 유사하게 사용될 수 있다는 것을 유의해야한다.
본 발명의 주된 아이디어는 상이한 뷰 필드를 포함하는 다수의 의료 영상을 사용하여 관심의 해부학적 대상의 상이한 하부-구조들을 나타냄으로써 관심의 해부학적 대상, 예를 들면 심장의 완전한 구조를 세그먼트화하고 정량화하는 것을 가능하게 하는 장치(10) 및 대응하는 방법을 제공하는 것이다. 이러한 것은, 각각의 개별적인 영상이 초음파 응용들에 일반적인 제한된 뷰 필드로 인하여 관심의 해부학적 대상의 특정 부위만을 나타내더라도, 관심의 해부학적 대상의 완전한 구조를 정량화하는데 도움을 줄 것이다.
도 3에 도시된 실시예에 따르면, 제시된 의료 영상 처리 장치(10)는 수신 유닛(60), 저장 유닛(62), 등록 유닛(64), 변환 유닛(66), 세그먼테이션 유닛(68) 및 선택 유닛(70)을 포함한다. 전술한 유닛들(60-70)은 하드웨어 및/또는 소프트웨어로서 구현될 수 있다. 이들 모든 유닛(60-70)은 개별적인 별개의 유닛으로서 제공될 수 있지만, 하나의 동일한 유닛, 예를 들면 하나의 프로세서 또는 마이크로프로세서에서 실행될 수 있다.
의료 영상 처리 장치(10)는 상기 언급한 초음파 시스템(100)과는 별개의 엔티티로서 실현될 수 있다. 또한, 상기 의료 영상 처리 장치(10)는 상기 언급한 초음파 시스템(100)의 일부로 실행될 수 있으며, 영상 처리부(42)에 통합될 수 있다.
본 명세서에서 제시된 방법의 제 1 단계(201)에서, 복수의 3 차원 초음파 영상 시퀀스(56)가 수신 유닛(60)에 의해 수신된다. 이러한 영상 시퀀스(56)는 초음파 시스템(100)으로부터 실시간으로 수신되거나, 오프-라인 모드에서 미리 획득된 영상 시퀀스(56)가 미리 저장되어 있는 임의의 유형의 데이터베이스로부터 수신될 수 있다. 복수의 영상 시퀀스(56) 각각은 복수의 프레임(여기서는 영상이라고 함)을 포함한다. 이들 적시의 연속적인 영상들은 시간 경과에 따라 관심의 해부학적 대상을 보여주는, 예를 들면, 하나 이상의 심장 주기들에 걸쳐 움직이는 심장을 보여주는 영상 시퀀스를 형성한다. 이들 각각의 영상 시퀀스(56)는 관심의 해부학적 대상의 상이한 뷰 필드를 포함하며, 예를 들면 하나의 영상 시퀀스는 좌심실을 포함하는 심장의 좌측 부분을 보여주고, 다른 영상 시퀀스는 우심실을 포함하는 심장의 우측 부분을 보여준다.
수신된 영상 시퀀스들(56)은 저장 유닛(62)에 저장될 수 있다. 이러한 저장 유닛(62)은 일시적인 저장 장치일 수 있다.
다음 단계(202)에서, 수신된 영상 시퀀스는 동일하거나 유사한 해부학적 상태에서 관심의 해부학적 대상을 보여주는 대응하는 영상들을 식별하기 위해 분석되어야한다. 이것은 모든 상이한 영상 시퀀스로부터 특정 영상 프레임이 선택되어야 한다는 것을 의미하며, 각각의 특정 영상 프레임은 동일하거나 유사한 해부학적 상태에서 관심의 해부학적 대상을 보여준다. 주어진 TTE 영상의 예에서, 각각의 영상 시퀀스(56)는 확장말기 위상 또는 수축말기 위상과 같은 특정 심장 위상에서의 심장을 보여주는 영상 프레임을 찾기 위해 스캐닝되어야 한다. 이러한 선택 단계(202)의 결과는 다수의 영상의 식별이며, 각각의 영상은 동일한 심장 위상에서의 심장을 보여주고, 각각의 영상은 심장의 상이한 뷰 필드를 보여주는 상이한 영상 시퀀스로부터 취해진다.
이러한 영상 선택은 사용자에 의해 수동으로 행해지거나 또는 선택 유닛(70)에 의해 자동으로 도출될 수 있다. 수동 선택의 경우, 사용자는 각각의 수신된 영상 시퀀스(56)로부터 하나의 영상을 수동으로 선택해야한다. 대안적으로, 선택 유닛(70)은 특정의 공통 심장 위상에서의 심장을 보여주는 영상을 각각의 영상 시퀀스(56)로부터 자동으로 선택할 수 있다. 이러한 것은 모든 영상 시퀀스(56)의 모든 영상을 개별적으로 세그먼트화하고, 각각의 영상 시퀀스(56)에 대해 대응하는 영상 시퀀스(56)의 영상들의 개별 세그먼테이션들로부터 도출된 볼륨 곡선을 유도함으로써 행해질 수 있다. 상기 볼륨 곡선은 예를 들면 세그먼테이션 메시에 의해 둘러싸인 영역이 심장의 심장 주기에 걸쳐 어떻게 변하는지를 보여줄 수 있다. 이는 특정의 심장 위상에서의 심장을 보여주는 각각의 영상 시퀀스(56)로부터 영상을 식별하는 것을 돕는다.
도 5a 및 도 5b는 2개의 예시적인 영상들을 나타내며, 도 5a에는 제 1 영상(72)을 도시하고 도 5b에는 제 2 영상(74)을 도시하며, 여기서, 두 영상들은 동일한 심장 위상에서의 심장을 나타낸다. 도 5a 및 도 5b를 서로 비교함으로써, 두 영상들(72, 74)이 상이한 뷰 필드를 포함한다는 것을 관찰할 수 있다. 제 1 영상은 전체의 좌심실(76)을 포함하지만 우심실(78)의 일부만을 포함한다. 우심실(78)의 일부분은 제 1 영상(72)에서 누락된다(도시되지 않음). 다른 한편으로, 제 2 영상(74)은 완전한 우심실(78)을 보여주지만 좌심실(76)의 일부만을 나타내고, 여기서 좌심실(76)의 다른 부분은 뷰 필드의 바깥에 있다.
선택된 영상들(72, 74)은 이들이 선택 단계(202)에서 아직 세그먼트화되지 않은 경우, 다음 단계(203)에서 세그먼테이션 유닛(68)에 의해 세그멘트화된다. 그에 대한 세그먼테이션 유닛(68)은 모델 기반의 세그먼테이션을 적용한다. 이러한 세그먼테이션의 제 1 하위-단계에서, 세그먼테이션 유닛(68)은 심장(84)의 윤곽 상에 대략적으로 배치된 제 1 영상(72) 내의 제 1 세트의 특징 지점들(80)을 식별한다. 제 2 세트의 특징 지점들(82)을 식별하기 위해 제 2 영상(74)에서 동일한 사항이 행해진다. 이들 특징 지점들(80, 82)을 식별하는 한 가지 가능성은 제 1 영상(72) 및 제 2 영상(74) 각각 내에서 가장 높은 밝기 그라디언트(highest brightness gradients)를 갖는 영상 지점들을 각각 식별하는 것이다. 물론, 각각의 픽셀 및 이웃하는 픽셀들의 절대 밝기 값들과 같은 다른 특징들이 또한 특징 지점들(80, 82)의 세트를 식별하는데 고려될 수 있다.
세그먼테이션(203)의 다음 하위 단계에서, 이들 특징 지점들(80, 82)은 세그먼테이션 메시-모델(mesh-model)을 특징 지점들(80, 82)의 세트들 각각에 적응시키기 위해 사용된다. 세그먼테이션(203)의 이들 하위 단계들은 일반적으로 하나의 동일한 단계에서 행해진다는 것을 유의해야한다. 여기에서, 특징 지점들(80, 82)은 단지 설명의 목적으로 시각화된다. 제 1 및 제 2 영상(72, 74)의 두 개의 개별 세그먼테이션의 결과는 도 7a 및 도 7b에 도시된다.
도 7a는 제 1 영상(72) 위에 오버레이된 제 1 세그먼테이션 메시(86)를 도시한다. 도 7b는 제 2 영상(74) 위에 오버레이된 제 2 세그먼테이션 메시(88)를 도시한다. 두 세그먼테이션 메시(86, 88)는 상이한 서브-메시들을 포함할 수 있으며, 각각의 서브-메시는 예를 들면 하나의 서브-메시는 좌심실에 대해서, 다른 서브-메시는 우심실에 대해서와 같이 심장의 특정 하부 구조에 적응된다. 하지만, 세그먼테이션 유닛(68)은 제 1 영상(72) 및 제 2 영상(74)을 세그먼트화하기 위해 동일한 세그먼테이션 모델(86, 88)을 사용하는 것이 바람직하다. 그럼에도, 두 영상들(72, 74)은 상기 단계(203)에서 개별적으로 세그먼트화된다. 세그먼테이션 메시(86, 88)는 3 차원 영상(72, 74)의 경우에 3 차원 표면 메시인 것이 또한 주목되어야한다.
세그먼테이션은 Ecabert, O. 등의 "CT 영상에서 심장의 자동적 모델-기반의 세그먼테이션"으로 의료 영상화에 관한 IEEE 트랜잭션, vol. 27(9), 페이지 1189-1291, 2008에서 CT 영상의 모델-기반 세그먼테이션에 대해 이러한 것이 기술된 것과 유사한 방식으로 실현될 수 있으며, 이는 본 명세서에서 참조로 포함되어있다. 이러한 모델-기반의 세그먼테이션은 관심의 해부학적 대상의 기하학적 메시 모델을 이용하고, 관심의 해부학적 대상의 각각의 해부학적 특징을 나타내는 각각의 세그먼트를 포함할 수 있다. 이러한 모델-기반의 세그먼테이션은 일반적으로 영상 내에서 관심의 해부학적인 대상의 위치와 방향을 식별하는 것으로 시작된다. 예를 들면, 이러한 것은 일반화된 허프 변환(Generalized Hough Transform)을 사용하여 행해질 수 있다. 포즈 정렬 오류(pose misalignment)는 글로벌 유사성 변환을 사용하여 기하학적 메시 모델을 영상과 일치시킴으로써 정정될 수 있다. 세그먼테이션은 관심의 해부학적 대상의 해부학적 특징들의 형태를 대략적으로 나타내는 초기 모델을 포함한다. 상기 모델은 삼각형 메시들을 갖는 멀티-구획 메시 모델이 될 수 있다. 상기 초기 모델은 변환에 의해 변형될 것이다. 이러한 변환은 상이한 종류의 두 개의 변환으로 분해된다: 필요한 경우 기하학적 모델의 초기 모양을 바꾸고(translate), 회전(rotate) 또는 리스케일(rescale)할 수 있는 글로벌 변환, 및 더 정확히 관심의 해부학적 대상과 일치하도록 기하학적 모델을 실제로 변형시키는 로컬 변환이 그것이다. 이러한 것은 일반적으로 기하학적 모델의 표면의 법선 벡터를 영상 그라디언트와 일치하도록 정의함으로써 행해진다: 다시 말하면, 세그먼테이션은 영상에서 조직의 가장자리들, 즉 관심의 해부학적 대상의 경계들을 통상 나타내는 밝은 부분-대-어두운 부분의 에지(또는 어두운 부분-대-밝은 부분의 에지)을 영상에서 보게 될 것이다.
전술한 개별 세그먼테이션은 실제로 2개의 영상(72, 74)에만 적용될 뿐만 아니라 복수의 영상에 적용된다는 것은 명백하다. 하지만, 제시된 장치(10) 및 제시된 방법의 원리는 본 명세서에서 단순함을 위해 2개의 영상(72, 74)에 의해서만 설명될 것이다. 복수의 영상의 경우, 본 발명의 원리는 동일하게 유지된다.
세그먼트화된 영상(72, 74)이 이제는 화살표(90)로 도 3에 도시된 바와 같이 등록 유닛(64)으로 전달될 것이다. 단계(204)에서, 등록 유닛(64)은 제 2 의료 영상(74)의 영상 공간으로부터 제 1 의료 영상(72)의 영상 공간으로의 변환을 결정한다. 즉, 등록 유닛(64)은 각각의 선택된 영상으로부터 기준 공간/공통 좌표계로의 뷰 필드 간 변환(inter-field-of-view transformations)을 결정한다. 도시된 예에서, 제 1 영상(72)의 영상 공간은 기준 공간으로 사용된다. 제 2 의료 영상(74)의 영상 공간으로부터 제 1 의료 영상(72)의 영상 공간으로의 변환은 제 1 세그먼테이션 메시(86) 상에 제 2 세그먼테이션 메시(88)의 지점-기반의 등록을 적용함으로써 결정된다. 따라서, 이전 단계(203)에서 적용된 개별 세그먼테이션은 각각의 영상에 대해 뷰 필드 간 변환을 추정하는데 사용되는 지점-방식의 메시-기반 등록에 의해 이제 각각의 영상을 기준 공간으로 등록하는데 사용될 수 있다. 이러한 변환은 초음파 트랜스듀서 프로브의 병진(translation) 및/또는 회전(rotation)을 모델링하는 강체 변환(rigid transformation)이다. 결정된 뷰 필드 간 변환을 사용하여, 변환 유닛(66)에 의해 단계(205)에서 제 2 영상(74)은 제 1 의료 영상의 영상 공간으로 변환될 수 있다. 제 1 영상(72)의 영상 공간이 기준 영상 공간으로서 사용되기 때문에, 제 1 영상(72)은 본 예시적인 경우에는 변환되지 않지만, 제 2 영상(74)의 변환은 변환된 제 2 영상(74')으로 귀결된다. 이러한 변환의 결과는 도 8a 및 도 8b에 예시적으로 도시된다. 따라서, 선택된 모든 영상들이 이제 등록되어 동일한 기준 공간으로 변환된다. 이후, 상기 (변환된) 영상들은 세그먼테이션 유닛(68)으로 다시 전달된다.
세그먼테이션 유닛(68)은 최종적으로 단계(206)에서 기준 공간으로 변환된 모든 영상들을 사용하는 전체 세그먼테이션을 수행한다. 예시적으로 도시된 예에서, 세그먼테이션 유닛(68)은 제 1 의료 영상(72) 및 변환된 제 2 의료 영상(74')을 사용하는 전체 세그먼테이션을 수행한다. 하지만, 영상(72, 74')은 본 경우에는 (단계 203에서와 같이) 개별적으로 세그먼트화되지 않지만 단일의 전체 세그먼테이션에서 함께 세그먼트화된다는 것을 유의해야한다는 점이 중요하다. 이에 대한 세그먼테이션 유닛(68)은 제 1 의료 영상(72) 및 변환된 제 2 의료 영상(74') 모두에 대해 하나의 동일한 세그먼테이션 메시-모델을 동시에 적응시킨다. 이러한 단계는 도 9에 개략적으로 설명되어 있다.
따라서, 전체 세그먼테이션 메시-모델(92)은 제 1 의료 영상(72) 내의 제 1 세트의 특징 지점들(80)뿐만 아니라 변환된 제 2 의료 영상(74') 내의 제 2 세트의 특징 지점들(82) 모두에 적응될 것이다. 이 단계에서 사용되는 전체 세그먼테이션 메시-모델(92)은 단계(203)의 개별 세그먼테이션에 대해 사용된 것과 유사한 메시-모델이 될 수 있다. 하지만, 그 차이점은, 전체 세그먼테이션 메시-모델(92)이 제 1 및 변환된 제 2 영상(72, 74')의 중첩 영역에서 상기 영역의 모든 특징 지점들(80, 82)에 적응되지만, 비-중첩 영상 영역에서는 제 1 의료 영상(72)의 특징 지점들(80)에 적응되거나 또는 변환된 제 2 의료 영상(74')의 특징 지점들(82)에 적응된다는 것이다. 결과적으로, 관심의 전체 해부학적 대상(여기서는 심장(84))의 단일 세그먼테이션은 상이한 뷰 필드를 보여주는 몇몇 상이한 영상들의 집합으로부터 계산되어, 심장(84)의 각각의 하위 구조가 가시적인 이들 영상들로부터 세그먼트화된다. 최종적으로 전체 심장(84)의 단일의 일관된 전체 세그먼테이션이 얻어져 심장(84)의 전체 정량화가 가능해진다.
상세한 설명의 도입 부분에서 이미 언급한 바와 같이, 상기 전체 세그먼테이션 모델(92)은 Rajpoot, K. 등이 제안한 접근법과 대조적으로, 융합된 영상에 적응되지 않는다는 것을 유의해야하는 점이 중요하다. 단계(206)에서의 전체 세그먼테이션 동안, 상이한 의료 영상(72, 74')은 이들을 융합시키지 않고서 저장 유닛(62)에 여전히 개별적으로 저장된다. 전체의 메시-모델(92)만이 모든 영상(72, 74')으로부터의 검출된 영상 지점들(80, 82)을 일치시키도록 변형된다. 이러한 것은 전체 심장(84)의 매우 견고하고 정확한 세그먼테이션을 유도한다.
그렇기는 하지만, 제 1 및 제 2 변환된 의료 영상(72, 74')은 선택적 단계로 융합될 수도 있다. 그러한 융합된 예시적인 영상(94)이 도 10에 도시된다. 이러한 융합된 영상(94)은 시각화 목적으로 추가로서 제공될 수 있다. 하지만, 융합된 영상(94)은 실제로 단계(206)로부터 초래된 전체 세그먼테이션 메시-모델(92)과 관련성이 없다.
본 발명은 도면들과 전술한 상세한 설명에서 상세히 도시되고 기술되었지만, 그러한 실례 및 설명은 실례이거나 또는 예시적인 것으로 고려되어야하며 제한적인 것은 아니다; 본 발명은 개시된 실시예들에 한정되지 않는다. 개시된 실시예들에 대한 다른 변형들은 도면들, 개시 내용, 및 첨부된 청구범위의 학습을 통해 본 발명을 실행하는 데 있어 당업자에게 이해될 수 있으며 얻어질 수 있다.
청구 범위에서, 용어 "포함한다"는 다른 요소들 또는 단계들을 배제하지 않으며, 부정 관사 "a"또는 "an"의 번역내용은 복수를 배제하지 않는다. 단일 소자 또는 다른 유닛이 청구 범위에 언급된 여러 항목들의 기능을 수행할 수 있다. 특정 측정치들이 서로 다른 종속항들에서 인용된다는 단순한 사실만으로 이 측정치들의 조합이 유익하게 활용될 수 없다는 것을 나타내지 않는다.
컴퓨터 프로그램은 다른 하드웨어의 일부로서 또는 그와 함께 제공되는 광학 저장 매체 또는 고체 상태 매체와 같은 적절한 매체 상에 저장/배포될 수 있지만, 인터넷 또는 다른 유선/무선 원격통신 시스템들 통해서와 같이 다른 형태로 배포될 수 있다.
청구 범위 내의 어떠한 참조 부호도 그 범위를 제한하는 것으로 해석되어서는 안 된다.

Claims (11)

  1. 의료 영상 처리 장치(10)에 있어서:
    - 관심의 해부학적 대상(84)의 제 1 및 제 2 의료 영상(72, 74)을 수신하기 위한 수신 유닛(60)으로서, 상기 제 1 및 제 2 의료 영상들(72, 74) 각각은 상기 관심의 해부학적 대상(84)의 상이한 뷰 필드(field of view)를 포함하고, 상기 제 1 의료 영상 및 상기 제 2 의료 영상(72, 74)은 관심의 해부학적 대상(84)의 동일하거나 유사한 해부학적 상태를 나타내는, 상기 수신 유닛;
    - 상기 제 2 의료 영상(74)의 영상 공간으로부터 상기 제 1 의료 영상(72)의 영상 공간으로의 변환을 결정하도록 구성된 등록 유닛(64);
    - 변환된 제 2 의료 영상(74')을 수신하기 위해 상기 변환에 기초하여 상기 제 2 의료 영상(74)을 상기 제 1 의료 영상(72)의 영상 공간으로 변환하도록 구성된 변환 유닛(66); 및
    - 상기 제 1 의료 영상(72) 내의 관심의 해부학적 대상(84)의 제 1 세트의 특징 지점들(80)을 식별하고, 상기 변환된 제 2 의료 영상(74') 내의 관심의 해부학적 대상(84)의 제 2 세트의 특징 지점들(82)을 식별함으로써, 상기 제 1 의료 영상(72) 및 상기 변환된 제 2 의료 영상(74') 양쪽 모두를 개별적으로 사용하는 관심의 해부학적 대상의 전체 세그먼테이션(overall segmentation)을 수행하도록 구성된 세그먼테이션 유닛(68)을 포함하고,
    상기 제 1 세트 및 상기 제 2 세트의 특징 지점들(80, 82) 양쪽 모두에 대해 동시에 세그먼테이션 모델(92)을 적응시킴으로써 하나의 동일한 세그먼테이션 모델(92)이 상기 제 1 의료 영상(72) 및 상기 변환된 제 2 의료 영상(74') 양쪽 모두에 동시에 적응되는, 의료 영상 처리 장치.
  2. 제 1 항에 있어서,
    상기 세그먼테이션 유닛(68)은 상기 제 1 의료 영상(72) 및 상기 변환된 제 2 의료 영상(74') 각각 내에서 상기 제 1 의료 영상(72) 및 상기 변환된 제 2 의료 영상(74') 각각 내의 가장 높은 밝기 그라디언트(highest brightness gradients)를 갖는 영상 지점들을 각각 식별함으로써 상기 관심의 해부학적 대상(84)의 제 1 및 제 2 세트의 특징 지점들(80, 82)을 식별하도록 구성되는, 의료 영상 처리 장치.
  3. 제 1 항에 있어서,
    상기 세그먼테이션 유닛(68)은 상기 전체 세그먼테이션 이전에 제 1 세그먼테이션 메시(mesh)(86)를 수신하기 위해 상기 제 1 의료 영상(72)의 개별 세그먼테이션을 수행하고 제 2 세그먼테이션 메시(88)를 수신하기 위해 제 2 의료 영상(74)의 개별 세그먼테이션을 수행하도록 구성되고, 상기 등록 유닛(64)은 상기 제 1 세그먼테이션 메시(86) 상에 상기 제 2 세그먼테이션 메시(88)의 지점-기반의 등록을 적용함으로써 상기 변환을 결정하도록 구성되는, 의료 영상 처리 장치.
  4. 제 3 항에 있어서,
    상기 세그먼테이션 유닛(68)은 상기 제 1 의료 영상(72) 및 상기 제 2 의료 영상(74)의 개별 세그먼테이션에 대해 동일한 세그먼테이션 모델을 적용하도록 구성되는, 의료 영상 처리 장치.
  5. 제 1 항에 있어서,
    상기 수신 유닛(60)은 상기 제 1 의료 영상(72)을 포함하는 제 1 의료 영상 시퀀스(56) 및 상기 제 2 의료 영상(74)을 포함하는 제 2 의료 영상 시퀀스(56)를 수신하도록 구성되며, 상기 의료 영상 처리 장치(10)는 상기 관심의 해부학적 대상(84)의 동일하거나 유사한 해부학적 상태의 대응하는 영상들을 식별하기 위해 상기 제 1 및 제 2 의료 영상(72, 74)을 선택하기 위한 선택 유닛(70)을 더 포함하는, 의료 영상 처리 장치.
  6. 제 5 항에 있어서,
    상기 세그먼테이션 유닛(68)은 상기 제 1 및 상기 제 2 의료 영상 시퀀스(56)의 모든 영상들을 개별적으로 세그먼트화하도록 구성되고, 상기 선택 유닛(70)은 상기 제 1 및 상기 제 2 의료 영상 시퀀스(56)의 모든 영상들의 세그먼테이션에 기초하여 상기 제 1 및 상기 제 2 의료 영상(72, 74)을 자동으로 선택하도록 구성되는, 의료 영상 처리 장치.
  7. 제 1 항에 있어서,
    상기 제 1 의료 영상(72) 및 상기 변환된 제 2 의료 영상(74')을 융합시킴으로써 융합된 영상(94)을 재구성하도록 구성된 영상 재구성 유닛을 더 포함하는, 의료 영상 처리 장치.
  8. 제 1 항에 있어서,
    상기 제 1 의료 영상(72) 및 상기 제 2 의료 영상(74)은 3차원 경흉부 심장 초음파 검사(TTE: transthoracic echocardiographic) 영상, 3D 경식도 초음파 검사(TEE: transesophageal echocardiographic) 영상, 또는 3차원 태아 초음파 영상인, 의료 영상 처리 장치.
  9. 초음파 시스템(100)에 있어서,
    초음파들(ultrasound waves)을 관심의 해부학적 대상(84)으로 및 관심의 해부학적 대상(84)으로부터 전송 및 수신하기 위한 초음파 트랜스듀서(14);
    상기 관심의 해부학적 대상(84)으로부터 수신된 초음파들로부터 제 1 의료 영상(72) 및 제 2 의료 영상(74)을 재구성하기 위한 초음파 영상 재구성 유닛(16); 및
    제 1 항에 청구된 의료 영상 처리 장치(10)를 포함하는, 초음파 시스템.
  10. 의료 영상 처리 방법에 있어서:
    - 관심의 해부학적 대상(84)의 제 1 의료 영상(72) 및 제 2 의료 영상(74)을 수신하는 단계로서, 상기 제 1 및 제 2 의료 영상들(72, 74) 각각은 상기 관심의 해부학적 대상(84)의 상이한 뷰 필드를 포함하고, 상기 제 1 의료 영상(72) 및 상기 제 2 의료 영상(74)은 상기 관심의 해부학적 대상(84)의 동일하거나 유사한 해부학적 상태를 나타내는, 상기 수신 단계;
    - 상기 제 2 의료 영상(74)의 영상 공간으로부터 상기 제 1 의료 영상(72)의 영상 공간으로의 변환을 결정하는 단계;
    - 변환된 제 2 의료 영상(74')을 수신하기 위해 상기 변환에 기초하여 상기 제 2 의료 영상(74)을 상기 제 1 의료 영상(72)의 영상 공간으로 변환하는 단계; 및
    - 상기 제 1 의료 영상(72) 내의 관심의 해부학적 대상(84)의 제 1 세트의 특징 지점들(80)을 식별하고, 상기 변환된 제 2 의료 영상(74') 내의 관심의 해부학적 대상(84)의 제 2 세트의 특징 지점들(82)을 식별함으로써, 상기 제 1 의료 영상(72) 및 상기 변환된 제 2 의료 영상(74') 양쪽 모두를 개별적으로 사용하는 관심의 해부학적 대상의 전체 세그먼테이션을 수행하는 단계를 포함하며,
    상기 제 1 세트 및 상기 제 2 세트의 특징 지점들(80, 82) 양쪽 모두에 대해 동시에 세그먼테이션 모델(92)을 적응시킴으로써 하나의 동일한 세그먼테이션 모델(92)이 상기 제 1 의료 영상(72) 및 상기 변환된 제 2 의료 영상(74') 양쪽 모두에 동시에 적응되는, 의료 영상 처리 방법.
  11. 프로그램 코드 수단을 포함하는 컴퓨터 프로그램을 저장한 컴퓨터 판독가능한 기록 매체로서,
    상기 프로그램 코드 수단은 상기 컴퓨터 프로그램이 컴퓨터 상에서 실행될 때 컴퓨터로 하여금 제 10 항에 청구된 방법의 단계들을 실행하게 하기 위한 것인, 컴퓨터 판독가능한 기록 매체.
KR1020177001017A 2014-06-12 2015-06-09 의료 영상 처리 장치 및 방법 KR102444968B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP14172051.6 2014-06-12
EP14172051 2014-06-12
PCT/EP2015/062752 WO2015189160A1 (en) 2014-06-12 2015-06-09 Medical image processing device and method

Publications (2)

Publication Number Publication Date
KR20170016004A KR20170016004A (ko) 2017-02-10
KR102444968B1 true KR102444968B1 (ko) 2022-09-21

Family

ID=51059257

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177001017A KR102444968B1 (ko) 2014-06-12 2015-06-09 의료 영상 처리 장치 및 방법

Country Status (6)

Country Link
US (1) US10993700B2 (ko)
EP (1) EP3155590B1 (ko)
JP (1) JP6581605B2 (ko)
KR (1) KR102444968B1 (ko)
CN (1) CN106456128B (ko)
WO (1) WO2015189160A1 (ko)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10588605B2 (en) * 2015-10-27 2020-03-17 General Electric Company Methods and systems for segmenting a structure in medical images
US11413006B2 (en) * 2016-04-26 2022-08-16 Koninklijke Philips N.V. 3D image compounding for ultrasound fetal imaging
EP3300021B1 (en) * 2016-09-22 2018-12-05 RaySearch Laboratories AB Image processing system and method for interactive contouring of three-dimensional medical data
EP3384850A1 (en) * 2017-04-05 2018-10-10 Koninklijke Philips N.V. Method and apparatus for physiological functional parameter determination
EP3420914A1 (en) * 2017-06-30 2019-01-02 Koninklijke Philips N.V. Ultrasound system and method
EP3412214A1 (en) * 2017-06-08 2018-12-12 Koninklijke Philips N.V. Ultrasound imaging method
EP3456267A1 (en) * 2017-09-14 2019-03-20 Koninklijke Philips N.V. Ultrasound image processing
CN107977936B (zh) * 2017-11-21 2021-06-22 上海联影医疗科技股份有限公司 序列图像的离线校正方法、装置及设备
JP7058585B2 (ja) * 2017-12-25 2022-04-22 キヤノン株式会社 画像処理装置およびその制御方法
WO2019130827A1 (ja) * 2017-12-25 2019-07-04 キヤノン株式会社 画像処理装置およびその制御方法
EP3847473A1 (en) * 2018-09-07 2021-07-14 Koninklijke Philips N.V. 3d ultrasound imaging with broadly focused transmit beams at a high frame rate of display
US11222210B2 (en) * 2018-11-13 2022-01-11 Nec Corporation Attention and warping based domain adaptation for videos
US10832392B2 (en) * 2018-12-19 2020-11-10 Siemens Healthcare Gmbh Method, learning apparatus, and medical imaging apparatus for registration of images
CN109978838B (zh) * 2019-03-08 2021-11-30 腾讯科技(深圳)有限公司 图像区域定位方法、装置和医学图像处理设备
EP3711673A1 (en) * 2019-03-18 2020-09-23 Koninklijke Philips N.V. Methods and systems for adjusting the field of view of an ultrasound probe
EP4014883A1 (en) 2020-12-18 2022-06-22 Koninklijke Philips N.V. Boundary detection in ultrasound data
US20240032892A1 (en) 2020-12-18 2024-02-01 Koninklijke Philips N.V. Boundary detection in ultrasound data
KR102313661B1 (ko) * 2020-12-30 2021-10-19 뉴로핏 주식회사 특성 정보를 고려한 의료 영상 분석 방법, 의료 영상 분석 장치 및 의료 영상 분석 시스템
CN117455935B (zh) * 2023-12-22 2024-03-19 中国人民解放军总医院第一医学中心 基于腹部ct医学图像融合及器官分割方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080249414A1 (en) 2002-06-07 2008-10-09 Fuxing Yang System and method to measure cardiac ejection fraction
US20090156933A1 (en) 2005-09-07 2009-06-18 Koninklijke Philips Electronics, N.V. Ultrasound system for reliable 3d assessment of right ventricle of the heart and method of doing the same
JP2010179098A (ja) 2009-02-04 2010-08-19 General Electric Co <Ge> 3dデータセット中の画像ビューを自動的に特定する方法および装置
JP2012228520A (ja) 2000-09-26 2012-11-22 Vital Images Inc 画像データに基づく医療画像の選択
US20130035596A1 (en) 2011-07-14 2013-02-07 Siemens Corporation Model-based positioning for intracardiac echocardiography volume stitching
WO2014033584A1 (en) 2012-08-30 2014-03-06 Koninklijke Philips N.V. Coupled segmentation in 3d conventional ultrasound and contrast-enhanced ultrasound images

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009019617A2 (en) * 2007-05-28 2009-02-12 The University Of Western Ontario 3d tissue model formation from non-parallel 2d images
CN101925924B (zh) 2008-01-24 2014-11-19 皇家飞利浦电子股份有限公司 交互式图像分割
US9547902B2 (en) * 2008-09-18 2017-01-17 Siemens Healthcare Gmbh Method and system for physiological image registration and fusion
EP2415019A1 (en) 2009-04-03 2012-02-08 Koninklijke Philips Electronics N.V. Interactive iterative closest point algorithm for organ segmentation
CN105025803B (zh) * 2013-02-28 2018-02-23 皇家飞利浦有限公司 从多个三维视图对大对象的分割

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012228520A (ja) 2000-09-26 2012-11-22 Vital Images Inc 画像データに基づく医療画像の選択
US20080249414A1 (en) 2002-06-07 2008-10-09 Fuxing Yang System and method to measure cardiac ejection fraction
US20090156933A1 (en) 2005-09-07 2009-06-18 Koninklijke Philips Electronics, N.V. Ultrasound system for reliable 3d assessment of right ventricle of the heart and method of doing the same
JP2010179098A (ja) 2009-02-04 2010-08-19 General Electric Co <Ge> 3dデータセット中の画像ビューを自動的に特定する方法および装置
US20130035596A1 (en) 2011-07-14 2013-02-07 Siemens Corporation Model-based positioning for intracardiac echocardiography volume stitching
WO2014033584A1 (en) 2012-08-30 2014-03-06 Koninklijke Philips N.V. Coupled segmentation in 3d conventional ultrasound and contrast-enhanced ultrasound images

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MEDICAL IMAGE ANALYSIS, OXFORD UNIVERSITY PRESS, vol. 15, no. 4, p. 514 - 528(20110227)

Also Published As

Publication number Publication date
WO2015189160A1 (en) 2015-12-17
JP6581605B2 (ja) 2019-09-25
CN106456128B (zh) 2020-10-23
US20180235577A1 (en) 2018-08-23
JP2017517329A (ja) 2017-06-29
EP3155590A1 (en) 2017-04-19
EP3155590B1 (en) 2019-12-04
US10993700B2 (en) 2021-05-04
KR20170016004A (ko) 2017-02-10
CN106456128A (zh) 2017-02-22

Similar Documents

Publication Publication Date Title
KR102444968B1 (ko) 의료 영상 처리 장치 및 방법
JP7232199B2 (ja) 超音波撮像方法
JP7150800B2 (ja) 医用4dイメージングにおける動き適応型可視化
EP3923817B1 (en) Methods and systems for valve regurgitation value calculation
JP2023133452A (ja) 超音波撮像方法及びシステム
EP3813673B1 (en) Methods and systems for performing transvalvular pressure quantification
US20240032892A1 (en) Boundary detection in ultrasound data
EP4014883A1 (en) Boundary detection in ultrasound data
Efrimescu et al. Perioperative 3D transoesophageal echocardiography. Part 1: fundamental principles

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right