KR102267060B1 - 초음파 영상 장치 및 그 제어 방법 - Google Patents

초음파 영상 장치 및 그 제어 방법 Download PDF

Info

Publication number
KR102267060B1
KR102267060B1 KR1020140107732A KR20140107732A KR102267060B1 KR 102267060 B1 KR102267060 B1 KR 102267060B1 KR 1020140107732 A KR1020140107732 A KR 1020140107732A KR 20140107732 A KR20140107732 A KR 20140107732A KR 102267060 B1 KR102267060 B1 KR 102267060B1
Authority
KR
South Korea
Prior art keywords
motion vector
surface area
ultrasound imaging
imaging apparatus
image
Prior art date
Application number
KR1020140107732A
Other languages
English (en)
Other versions
KR20160022085A (ko
Inventor
박성찬
김윤태
고영인
김규홍
김배형
김정호
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020140107732A priority Critical patent/KR102267060B1/ko
Priority to US14/824,252 priority patent/US9589364B2/en
Publication of KR20160022085A publication Critical patent/KR20160022085A/ko
Application granted granted Critical
Publication of KR102267060B1 publication Critical patent/KR102267060B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0866—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving foetal diagnosis; pre-natal or peri-natal diagnosis of the baby
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0883—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of the heart
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A61B8/466—Displaying means of special interest adapted to display 3D data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48—Diagnostic techniques
    • A61B8/483—Diagnostic techniques involving the acquisition of a 3D volume of data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A61B8/5246—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from the same or different imaging techniques, e.g. color Doppler and B-mode
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5269—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving detection or reduction of artifacts
    • A61B8/5276—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving detection or reduction of artifacts due to motion
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging
    • G01S15/8906—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques
    • G01S15/8977—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques using special techniques for image reconstruction, e.g. FFT, geometrical transformations, spatial deconvolution, time deconvolution
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging
    • G01S15/8906—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques
    • G01S15/8993—Three dimensional imaging systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4007—Interpolation-based scaling, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0808—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of the brain
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4405—Device being mounted on a trolley
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48—Diagnostic techniques
    • A61B8/488—Diagnostic techniques involving Doppler signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G06T2207/10136—3D ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30044—Fetus; Embryo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30048—Heart; Cardiac
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular
    • G06T2207/30104—Vascular flow; Blood flow; Perfusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00—Image generation
    • G06T2211/40—Computed tomography

Abstract

본 발명은 초음파 영상 장치 및 그 제어 방법에 관한 것으로, 3D 초음파 볼륨 데이터에서 대상체의 표면 영역(surface region)을 추출하고, 표면 영역에서의 움직임 벡터(motion vector)를 계산하여 대상체의 표면 영역에서 프레임 보간(frame interpolation)을 수행함으로써 2D영상에서의 폐색(occlusion)영역 발생의 문제점을 해결하고, 3D 볼륨 데이터에 대한 표면 영역(surface region)에 대해서 움직임 벡터를 계산하여 계산량을 줄일 수 있는 초음파 프로브 및 그 제어 방법에 관한 것이다.
일 실시예에 따른 초음파 영상 장치는, 대상체에 대한 볼륨 데이터를 획득하는 볼륨 데이터 생성부, 획득한 볼륨 데이터를 기초로 대상체의 표면 영역(surface region)을 추출하는 표면 영역 추출부, 추출된 대상체의 표면 영역에서의 프레임 보간(frame interpolation)을 수행하는 프레임 보간부를 포함한다.

Description

초음파 영상 장치 및 그 제어 방법{Ultrasound imaging apparatus and control method for the same}
본 발명은 초음파 영상의 프레임 보간(frame interpolation)을 하는 초음파 영상 장치 및 그 제어 방법에 대한 발명으로, 보다 상세하게 3D 초음파 영상의 표면 영역(surface region)을 추출하여 표면 영역에 대해서만 프레임 보간을 수행하는 기술이다.
초음파 진단장치는 프로브(probe)의 트랜스듀서(transducer)로부터 생성 되는 초음파 신호를 대상체의 체표로부터 체내의 타겟 부위를 향하여 조사하고, 반사된 초음파 신호(초음파 에코신호)의 정보를 수신하여 대상체 내부의 부위에 대한 연부조직의 단층이나 혈류에 관한 이미지를 무침습으로 얻어서, 대상체 내 부의 관찰, 이물질 검출, 및 상해 측정 등 의학적 목적으로 사용된다.
이러한 초음파 진단장치는 X선 진단장치, X선 CT스캐너(Computerized Tomography Scanner), MRI(Magnetic Resonance Image), 핵의학 진단장치 등 의 다른 영상진단장치와 비교할 때, 소형이고 저렴하며, 실시간으로 표시 가능하 고, 방사선 등의 피폭이 없어 안전성이 높은 장점이 있으므로 다른 화상 진단 장치와 함께 널리 이용된다.
최근 초음파 시스템의 사용 영역이 확대되면서, 초음파 시스템이 제공하는 초음파 영상에 대한 다양한 요구가 계속되고 있다. 특히, 검진, 생체검사, 수술 등의 시술을 위해서는 환자의 병변이나 조직을 보다 정밀하게 보아야 하기 때문에 초음파 시스템은 다초점의 초음파 영상의 획득이 필요하다.
하지만, 다초점 초음파 영상의 획득 시 초음파 시스템이 제공하는 초음파 영상의 프레임률이 현저하게 떨어질 수 있으며, 이로 인해, 초음파 시스템은 실시간으로 초음파 영상을 보며 시술해야 하는 경우, 자연스러운 초음파 영상을 제공하지 못하게 되어 문제이다.
또한, 태아의 초음파 볼륨과 같은 영상은 프레임 레이트(frame rate)가 낮아서 자연스러운 영상을 얻기가 어렵다.
따라서, 프레임 보간(frame interpolation)기술을 이용하여 프레임 개수를 늘이고 프레임 레이트를 높이는 기술을 사용한다. 이때, 종래 기술에 따라 2D 영상에서 움직임 벡터(motion vector)를 이용하여 프레임 보간을 하는 경우에, 태아의 동작 이나 움직임 등에 의하여 가려지는 폐색(occlusion)영역이 발생하고, 3D 볼륨으로부터 움직임 벡터(motion vector)를 이용하여 볼륨 보간(volume interpolation)을 하는 경우에는, 3D영상을 통하여 모든 조직을 확인할 수 있으며, 폐색영역이 발생하는 문제는 없으나, N*N*N의 볼륨에서 V*V*V의 움직임 벡터를 계산해야 하므로 계산 량이 많아지는 문제점이 있었다.
그러므로, 계산 량을 줄이는 프레임 보간을 하는 경우, 폐색(occlusion)영역 발생의 문제 없이 움직임 벡터를 계산하여 프레임 보간을 하는 기술이 필요하게 되었다.
본 발명은 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, 초음파 영상 장치 및 그 제어 방법의 일 측면에 의하면, 3D초음파 볼륨 데이터에서 대상체의 표면 영역(surface region)을 추출하고, 표면 영역에서의 움직임 벡터(motion vector)를 계산하여 대상체의 표면 영역에서 프레임 보간(frame interpolation)을 수행함으로써 2D영상에서의 폐색(occlusion)영역 발생의 문제점을 해결하고, 3D 볼륨 데이터에 대한 표면 영역(surface region)에 대해서 움직임 벡터를 계산하여 계산량을 줄일 수 있는 초음파 영상 장치 및 그 제어 방법을 제공 한다.
상술한 목적을 달성하기 위한 일 실시 예에 따른 초음파 영상 장치는,
대상체에 대한 볼륨 데이터를 획득하는 볼륨 데이터 생성부, 획득한 볼륨 데이터를 기초로 대상체의 표면 영역(surface region)을 추출하는 표면 영역 추출부, 계산된 움직임 벡터를 기초로 대상체의 표면 영역에서의 프레임 보간(frame interpolation)을 수행하는 프레임 보간부를 포함한다.
또한, 추출된 대상체의 표면 영역에서의 움직임 벡터(motion vector)를 계산하는 움직임 벡터 연산부를 포함할 수 있다.
또한, 움직임 벡터 연산부는, 폐색(occlusion)영역의 움직임 벡터를 계산하는 폐색 영역 움직임 벡터 연산부를 포함할 수 있다.
또한, 폐색 영역은, 대상체의 표면 영역에서 이전 시간과 다음 시간의 차에 해당하는 영역인 것을 포함할 수 있다.
또한, 폐색 영역은, 프레임 보간을 수행하는 경우에 나타나는 영역인 것을 포함할 수 있다.
또한, 움직임 벡터 연산부는, 이전 시간과 다음 시간의 볼륨 데이터를 비교하여 움직임 벡터를 계산하는 것을 포함할 수 있다.
또한, 폐색 영역 움직임 벡터 연산부는, 대상체의 표면 영역에서의 움직임 벡터를 계산하는 것과 동시에 수행되는 것을 포함할 수 있다.
또한, 움직임 벡터 연산부는, 다음 프레임의 표면 영역 및 움직임 벡터를 추적(tracking)하는 표면 영역 및 움직임 벡터 추적부를 포함할 수 있다.
또한, 표면 영역 및 움직임 벡터 추적부는, 이미 추출된 표면 영역 및 이미 계산된 움직임 벡터의 데이터를 기초로 다음 프레임의 표면 영역 및 움직임 벡터를 추적하는 것을 포함할 수 있다.
또한, 움직임 벡터 연산부는, 프레임의 전체 영역이 아닌 특정 영역에 대하여 움직임 벡터를 계산하는 것을 포함할 수 있다.
또한, 표면 영역 추출부는, 태아의 윤곽 또는 심장과 같은 장기에 대한 표면 영역을 추출하는 것을 포함할 수 있다.
또한 상술한 목적을 달성하기 위한 일 실시 예에 따른 초음파 영상 장치 제어 방법은,
대상체에 대한 볼륨 데이터를 획득하고, 획득한 볼륨 데이터를 기초로 대상체의 표면 영역을 추출하고, 추출된 대상체의 표면 영역에서의 프레임 보간을 수행하는 것을 포함한다.
또한, 추출된 대상체의 표면 영역에서의 움직임 벡터를 계산하는 것을 포함할 수 있다.
또한, 대상체의 표면 영역에서의 움직임 벡터를 계산하는 것은, 폐색 영역의 움직임 벡터를 계산하는 것을 포함할 수 있다.
또한, 폐색 영역은, 대상체의 표면 영역에서 이전 시간과 다음 시간의 차에 해당하는 영역인 것을 포함할 수 있다.
또한, 폐색 영역은, 프레임 보간을 수행하는 경우에 나타나는 영역인 것을 포함할 수 있다.
또한, 대상체의 표면 영역에서의 움직임 벡터를 계산하는 것은, 이전 시간과 다음 시간의 볼륨 데이터를 비교하여 움직임 벡터를 계산하는 것을 포함할 수 있다.
또한, 폐색 영역의 움직임 벡터를 계산하는 것은, 대상체의 표면 영역에서의 움직임 벡터를 계산하는 것과 동시에 수행되는 것을 포함할 수 있다.
또한, 대상체의 표면 영역에서의 움직임 벡터를 계산하는 것은, 다음 프레임의 표면 영역 및 움직임 벡터를 추적하는 것을 포함할 수 있다.
또한, 다음 프레임의 표면 영역 및 움직임 벡터를 추적하는 것은, 이미 추출된 표면 영역 및 이미 계산된 움직임 벡터의 데이터를 기초로 다음 프레임의 표면 영역 및 움직임 벡터를 추적하는 것을 포함할 수 있다.
또한, 대상체는 태아이고, 표면 영역을 추출하는 것은, 태아의 윤곽 또는 심장과 같은 장기에 대한 표면 영역을 추출하는 것을 포함할 수 있다.
또한, 대상체의 표면 영역에서의 움직임 벡터를 계산하는 것은, 프레임의 전체 영역이 아닌 특정 영역에 대하여 움직임 벡터를 계산하는 것을 포함할 수 있다.
상기한 초음파 영상 장치 및 그 제어 방법에 의하면, 프레임 보간 시에 2D영상에서의 폐색(occlusion)영역 발생의 문제점을 해결하고, 3D 볼륨 데이터에 대한 움직임 벡터 계산 시 계산 량을 줄일 수 있다.
도 1은 초음파 영상 장치의 일 실시예를 도시한 사시도이다.
도 2는 초음파 영상 장치의 일 실시예에 따른 제어 블록도이다.
도 3a는 복수의 2차원 단면 영상들을 예시한 도면이다.
도 3b는 볼륨 데이터를 예시한 도면이다.
도 4는 초음파 영상 장치 내 제어부의 일 실시예에 따른 블럭도이다.
도 5는 2D영상에서 동작(motion)에 의해 가려지는 폐색(occlusion) 영역을 설명하기 위한 그림이다.
도 6은 일 실시예에 따라 다음 프레임의 표면 영역 및 움직임 벡터를 추적하지 않는 초음파 영상 장치 제어 방법을 도시한 순서도이다.
도 7은 일 실시예에 따라 다음 프레임의 표면 영역 및 움직임 벡터를 추적하는 초음파 영상 장치 제어 방법을 도시한 순서도이다.
도 8은 일 실시예에 따라 대상체의 표면 영역을 추출하기 위한 표면 영역을 나타내는 초음파 영상 사진이다.
도 9는 폐색 영역(occlusion)이 포함된 대상체의 표면 영역에서의 움직임 벡터 계산을 설명하기 위한 그림이다.
도 10a는 프레임 보간(frame interpolation)기법을 이용하여 생성되는 가상 이미지를 설명하기 위한 도면이다.
도 10b는 프레임 보간(frame interpolation)기법을 이용하여 생성되는 가상 이미지의 예를 나타내는 도면이다.
도 11은 일 실시예에 따른 특정 시간에서의 프레임 보간(frame interpolation)을 나타내는 초음파 이미지 영상이다.
도 12는 일 실시예에 따른 연속하는 시간에서의 프레임 보간(frame interpolation)을 나타내는 초음파 이미지 영상이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도 면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다.
본 명세서에 기재된 실시 예와 도면에 도시된 구성은 개시된 발명의 바람 직한 예에 불과할 뿐이며, 본 출원의 출원시점에 있어서 본 명세서의 실시 예와 도면을 대체할 수 있는 다양한 변형 예들이 있음을 이해하여야 한다.
이하 첨부된 도면을 참조하여 초음파 영상 장치 및 그 제어 방법을 후술된 실시예들에 따라 상세하게 설명하도록 한다. 도면에서 동일한 도면 부호는 동일한 구성요소를 나타낸다.
본 발명에 의한 의료 영상 생성 장치는 엑스선촬영장치, 엑스선투시촬영장치, CT스캐너, 자기공명영상장치, 양전자방출단층촬영장치, 및 초음파 진단 장치 중 하나를 의미할 수 있다. 이하의 설명에서는 설명의 편의를 위하여, 의료 영상 생성 장치가 초음파 영상 장치인 경우를 예로 들어 설명하기로 한다. 이하에서 사용되는 '초음파 영상'이란 초음파를 이용하여 획득된 대상체에 대한 영상을 의미한다. 또한 '대상체'는 사람, 태아, 동물, 금속, 비금속, 또는 그 일부를 의미할 수 있다. 예를 들어, 대상체가 간, 심장, 자궁, 뇌, 유방, 복부 등의 장기, 또는 혈관을 포함할 수 있다. 또한 대상체는 팬텀(Phantom)을 포함할 수도 있으며, 팬텀은 생물의 밀도와 실효 원자 번호에 아주 근사한 부피를 갖는 물질을 의미할 수 있다.
또한, 이하에서 사용되는 '사용자'는 의료 전문가로서 의사, 간호사, 임상병리사, 의료 영상 전문가, 초음파검사자 등이 될 수 있으며, 의료 장치를 수리하는 기술자가 될 수 있으나, 이에 한정되지는 않는다.
도 1은 초음파 영상 장치의 일 실시예를 도시한 사시도이다. 도 1에 도 시 된 바와 같이 초음파 영상 장치는 본체(100), 초음파 프로브(110), 입력부(1 50), 디스플레이(160)를 포함할 수 있다.
본체(100)의 일측에는 하나 이상의 암 커넥터(female connector; 145)가 구비될 수 있다. 암 커넥터(145)에는 케이블(130)과 연결된 수 커넥터(male cone ctor; 140)가 물리적으로 결합될 수 있다.
한편, 본체(100)의 하부에는 초음파 영상 장치의 이동성을 위한 복수개의 캐스터(미도시)가 구비될 수 있다. 복수개의 캐스터는 초음파 영상 장치를 특정 장소에 고정시키거나, 특정 방향으로 이동시킬 수 있다. 이와 같은 초음파 영상 장치를 카트형 초음파 영상 장치라고 한다.
또는, 도 1 과 달리, 초음파 영상 장치는 원거리 이동 시에 휴대할 수 있 는 휴대형 초음파 영상 장치일 수도 있다. 이 때, 휴대형 초음파 영상 장치는 캐 스터가 구비되지 않을 수 있다. 휴대형 초음파 영상 장치의 예로는 팩스 뷰어(PA CS Viewer), 스마트 폰(Smart Phone), 랩탑 컴퓨터, PDA, 태블릿 PC 등이 있을 수 있으나, 이에 제한되지 않는다.
초음파 프로브(110)는 대상체의 체표에 접촉하는 부분으로, 초음파를 송 수신할 수 있다.구체적으로, 초음파 프로브(110)는 본체(100)로부터 제공받은 송 신 신호에 따라, 초음파를 대상체의 내부로 송신하고, 대상체 내부의 특정 부위 로부터 반사된 에코 초음파를 수신하여 본체(100)로 전달하는 역할을 한다.
이러한 초음파 프로브(110)에는 케이블(130)의 일 단이 연결되며, 케이블 (130)의 타 단에는 수 커넥터(140)가 연결될 수 있다. 케이블(130)의 타 단에 연 결된 수 커넥터(140)는 본체(100)의 암 커넥터(145)와 물리적으로 결합할 수 있 다.
또는, 도 1 과 달리, 초음파 프로브(110)는 본체와 무선으로 연결될 수 있다. 이 경우, 초음파 프로브(110)는 대상체로부터 수신한 에코 초음파를 본체 로 무선 전송할 수 있다. 뿐만 아니라, 하나의 본체에 복수 개의 초음파 프로브 가 연결될 수도 있다.
한편, 본체의 내부에는 초음파 프로브(110)가 수신한 에코 초음파를 초 음파 영상으로 변환하는 영상 처리부(350)가 마련될 수 있다. 영상 처리부(350) 는 마이크로 프로세서(Microprocessor)와 같은 하드웨어의 형태로 구현될 수 있 고, 이와는 달리 하드웨어 상에서 수행될 수 있는 소프트웨어의 형태로 구현될 수도 있다.
영상 처리부는 에코 초음파에 대한 주사 변환(Scan conversion) 과정을 통해 초음파 영상을 생성할 수 있다. 여기서 초음파 영상은 A 모드(amplitude mo de), B 모드(brightness mode) 및 M 모드(motion mode)에서 대상체를 스캔하여 획득된 그레이 스케일(gray scale)의 영상뿐만 아니라, 도플러 효과(doppler effect)를 이용하여 움직이는 대상체를 표현하는 도플러 영상을 포함할 수도 있다. 도플러 영상은, 혈액의 흐름을 나타내는 혈류 도플러 영상 (또는, 컬러 도플러 영상으로도 불림), 조직의 움직임을 나타내는 티슈 도플러 영상, 및 대상체의 이 동 속도를 파형으로 표시하는 스펙트럼 도플러 영상을 포함할 수 있다.
영상 처리부는 B 모드 영상을 생성하기 위해, 초음파 프로브(110)가 수신 한 에코 초음파로부터 B 모드 성분을 추출할 수 있다. 영상 처리부는 B 모드 성 분에 기초하여 에코 초음파의 강도가 휘도록 표현되는 초음파 영상을 생성할 수 있다.
마찬가지로, 영상 처리부는 에코 초음파로부터 도플러 성분을 추출하고, 추출된 도플러 성분에 기초하여 대상체의 움직임을 컬러 또는 파형으로 표현하는 도플러 영상을 생성할 수 있다.
뿐만 아니라, 영상 처리부는 에코 초음파를 통해 획득한 볼륨 데이터를 볼륨 렌더링하여 3차원 초음파 영상을 생성할 수도 있고, 압력에 따른 대상체의 변형 정도를 영상화한 탄성 영상을 생성할 수도 있다. 아울러, 영상 처리부는 초음파 영상 상에 여러 가지 부가 정보를 텍스트, 그래픽으로 표현할 수도 있다.
한편, 생성된 초음파 영상은 본체 내부 또는 외부의 메모리에 저장될 수 있다. 이와는 달리, 초음파 영상은 웹 상에서 저장기능을 수행하는 웹 스토리지 (Web Storage) 또는 클라우드 서버에 저장될 수도 있다.
입력부(150)는 초음파 영상 장치의 동작과 관련된 명령을 입력받을 수 있 는 부분이다. 예를 들면, A 모드, B 모드, M 모드, 또는 도플러 영상 등의 모드 선택 명령을 입력받을 수 있다. 나아가, 초음파 진단 시작 명령을 입력받을 수도 있다.
입력부(150)를 통해 입력된 명령은 유선 통신 또는 무선 통신을 통해 본체(100)로 전송될 수 있다.
입력부(150)는 예를 들어, 키보드, 풋 스위치(foot switch) 및 풋 페달(f oot pedal) 중 적어도 하나를 포함할 수 있다. 키보드는 하드웨어적으로 구현되 어, 본체(100)의 상부에 위치할 수 있다. 이러한 키보드는 스위치, 키, 조이스틱 및 트랙볼 중 적어도 하나를 포함할 수 있다. 다른 예로 키보드는 그래픽 유저 인터페이스와 같이 소프트웨어적으로 구현될 수도 있다. 이 경우, 키보드는 서브 디스플레이(161)나 메인 디스플레이(162)를 통해 디스플레이될 수 있다. 풋 스위 치나 풋 페달은 본체(100)의 하부에 마련될 수 있으며, 사용자는 풋 페달을 이용 하여 초음파 영상 장치의 동작을 제어할 수 있다.
디스플레이(160)는 메인 디스플레이(161)와 서브 디스플레이(162)를 포함 할 수 있다.
서브 디스플레이(162)는 본체(100)에 마련될 수 있다. 도 1은 서브 디스 플레이(162)가 입력부(150)의 상부에 마련된 경우를 보여주고 있다. 서브 디스플 레이(162)는 초음파 영상 장치의 동작과 관련된 어플리케이션을 디스플레이할 수 있다. 예를 들면, 서브 디스플레이(162)는 초음파 진단에 필요한 메뉴나 안내 사 항 등을 디스플레이할 수 있다. 이러한 서브 디스플레이(162)는 예를 들어, 브라 운관(Cathod Ray Tube: CRT), 액정표시장치(Liquid Crystal Display: LCD) 등으 로 구현될 수 있다.
메인 디스플레이(161)는 본체(100)에 마련될 수 있다. 도 1은 메인 디스 플레이(161)가 서브 디스플레이(162)의 상부에 마련된 경우를 보여주고 있다. 메인 디스플레이(161)는 초음파 진단 과정에서 얻어진 초음파 영상을 입력부에 인가된 입력에 따라 디스플레이할 수 있다. 이러한 메인 디스플레이(161)는 서브 디스플레이(162)와 마찬가지로 브라운관 또는 액정표시장치로 구현될 수 있다. 도 1은 메인 디스플레이(161)가 본체(100)에 결합되어 있는 경우를 도시하고 있 지만, 메인 디스플레이(161)는 본체(100)와 분리 가능하도록 구현될 수도 있다.
도 1은 초음파 장치에 메인 디스플레이(161)와 서브 디스플레이(162)가 모두 구비된 경우를 보여주고 있으나, 경우에 따라 서브 디스플레이(162)는 생략 될 수도 있다. 이 경우, 서브 디스플레이(162)를 통해 디스플레이되는 어플리케 이션이나 메뉴 등은 메인 디스플레이(161)를 통해 디스플레이될 수 있다.
한편, 초음파 영상 장치는 통신부를 더 포함할 수 있다. 통신부는, 유선 또는 무선으로 네트워크와 연결되어 외부 디바이스나 서버와 통신한다. 통신부는 의료 영상 정보 시스템(PACS; Picture Archiving and Communication System)을 통해 연결된 병원 서버나 병원 내의 다른 의료 장치와 데이터를 주고 받을 수 있 다. 또한, 통신부는 의료용 디지털 영상 및 통신(DICOM; Digital Imaging and Co mmunications in Medicine) 표준에 따라 데이터 통신할 수 있다.
통신부는 네트워크를 통해 대상체의 초음파 영상, 에코 초음파, 도플러 데이터 등 대상체의 진단과 관련된 데이터를 송수신할 수 있으며, CT, MRI, X-ray 등 다른 의료 장치에서 촬영한 의료 영상 또한 송수신할 수 있다. 나아가, 통신부는 서버로부터 환자의 진단 이력이나 치료 일정 등에 관한 정보를 수신하 여 대상체의 진단에 활용할 수도 있다. 나아가, 통신부는 병원 내의 서버나 의료 장치뿐만 아니라, 의사나 환자의 휴대용 단말과 데이터 통신을 수행할 수도 있다.
통신부는 유선 또는 무선으로 네트워크와 연결되어 서버, 의료 장치, 또 는 휴대용 단말과 데이터를 주고 받을 수 있다. 통신부는 외부 디바이스와 통신 을 가능하게 하는 하나 이상의 구성 요소를 포함할 수 있으며, 예를 들어 근거리 통신 모듈, 유선 통신 모듈, 및 이동 통신 모듈을 포함할 수 있다.
근거리 통신 모듈은 소정 거리 이내의 근거리 통신을 위한 모듈을 의미한 다. 본 발명의 일 실시 예에 따른 근거리 통신 기술에는 무선 랜(Wireless LAN), 와이파이(Wi-Fi), 블루투스, 지그비(Zigbee), WFD(Wi-Fi Direct), UWB(Ultra wid eband), 적외선 통신(IrDA; Infrared Data Association), BLE (Bluetooth Low En ergy), NFC(Near Field Communication) 등이 있을 수 있으나, 이에 한정되는 것 은 아니다.
유선 통신 모듈은 전기적 신호 또는 광 신호를 이용한 통신을 위한 모듈 을 의미하며, 일 실시 예에 의한 유선 통신 기술에는 페어 케이블(Pair Cable), 동축 케이블, 광섬유 케이블, 이더넷(Ethernet) 케이블 등이 포함될 수 있다.
이동 통신 모듈은, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적 어도 하나와 무선 신호를 송수신한다. 여기에서, 무선 신호는, 음성 호 신호, 화 상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데 이터를 포함할 수 있다.
도 2는 초음파 영상 장치의 일 실시예에 따른 제어 블록도이다.
초음파 프로브(110)는 복수의 변환소자(transducer elements)를 포함하여 전기 신호와 초음파 신호를 상호 변환시키며, 초음파 신호를 대상체로 송신하고, 대상체로부터 반사된 에코(echo) 신호를 수신할 수 있다. 초음파는 매질에 따라 반사되는 정도가 다르므로, 초음파 프로브(110)는 에코 초음파를 수집함으로써 대상체 내부의 정보를 획득할 수 있다.
초음파 프로브(110)는 대상체의 볼륨 데이터를 획득하는 기술적 사상 안에서 다양하게 구현될 수 있다. 예를 들어 초음파 프로브(110)의 엘리먼트가 1차원 배열을 가지는 경우, 초음파 프로브(110)는 프리핸드(Freehand)방식에 따라 볼륨 데이터를 획득할 수 있다. 또는, 사용자의 조작 없이 초음파 프로브(110)는 기계적(Mechanical)방식에 따라 볼륨 데이터를 획득할 수 있다. 이와는 달리, 초음파 프로브(110)의 엘리먼트가 2차원 배열을 가지는 경우, 초음파 프로브(110)는 엘리먼트를 제어함으로써 볼륨 데이터를 획득할 수 있다.
구체적으로, 외부 전원 또는 내부 전원(예를 들면, 배터리)으로부터 프로브(110)가 전류을 공급받으면, 복수의 변환소자가 진동함으로써 초음파 신호가 생성되어 외부의 대상체로 조사되고, 대상체로부터 반사되어 돌아오는 에코 신호를 다시 복수의 변환소자가 수신하여, 수신된 에코 신호에 따라 복수의 변환소자가 진동하면서 진동 주파수에 대응하는 주파수의 전류를 생성한다.
도 2를 참조하면, 본체(300)는 송신 신호 생성부(210), 빔포밍부(200), 볼륨 데이터 생성부(310), 탄성 데이터 생성부(320), 제어부(330), 저장부(340), 영상 처리부(350)를 포함할 수 있다.
송신 신호 생성부(210)는 제어부(330)의 제어 명령에 따라 송신 신호를 생성하고, 생성된 송신 신호를 초음파 프로브(110)로 전송할 수 있다. 여기서, 송신 신호는 초음파 프로브(110)의 복수의 변환소자를 진동시키기 위한 고압의 전기적 신호를 말한다.
빔 포밍부(200)는 아날로그 신호와 디지털 신호를 상호 변환할 수 있어, 송신 신호 생성부(210)로부터 생성된 송신 신호(디지털 신호)를 아날로그 신호로 변환 또는 초음파 프로브(110)로부터 전달 받는 에코 신호(아날로그 신호)를 디지털 신호로 변환하여 초음파 프로브(110)와 본체(300)가 소통할 수 있도록 해 준다.
또한, 빔 포밍부(200)는 초음파가 초점에 도달하는 시간 차이 또는 초점으로부터 도달하는 시간 차이를 극복하기 위해, 진동자의 위치 및 초점을 고려하여 디지털 신호에 시간 지연을 가하는 역할을 하기도 한다.
즉, 복수의 변환소자가 초음파 신호를 발사하는데 이 모든 초음파 신호가 초점(focus point)에 모이도록 하는 과정을 집속(focusing)이라 하면, 각 변환소자에서 발생된 초음파 신호가 초점에 도달하는 시간 차이를 극복하기 위해 적절한 순서를 정하여 발사하도록 하는 송신 집속(transmit focusing)과, 에코 신호가 각 변환소자에 도달하는 시간 차이를 극복하기 위해 적절한 시간 차이를 두어 동일한 시간에 정렬되도록 하는 수신 집속(receive focusing)의 역할을 할 수 있다.
이러한 빔 포밍부(200)는 도 2에 도시된 바와 같이 본체(300) 내에 포함될 수도 있으나, 초음파 프로브(110) 자체에 구비되어 그 역할을 수행하는 것도 가능하다.
볼륨 데이터 생성부(310)는 대상체에 외부의 스트레스(stress)가 가해지기 전 또는 외부의 스트레스가 가해지는 동안, 초음파 프로브(110)가 복수회의 초음파 신호를 송신함에 따라 수신하는 복수의 에코 신호에 대응하여 복수의 볼륨 데이터를 생성할 수 있다. 여기서 에코 신호는 신호 처리부(332)에서 여러 처리 과정을 거친 신호를 의미한다.
예를 들면, 대상체에 외부의 스트레스가 가해지기 전에 초음파 프로브(110)가 대상체로 초음파 신호를 송신함에 따라 수신하는 에코 신호를 제 1 에코 신호라 하고, 외부의 스트레스가 가해지는 동안에 초음파 프로브(110)가 대상체로 초음파 신호를 송신함에 따라 수신하는 에코 신호를 제 2 에코 신호라 할 때, 볼륨 데이터 생성부(310)는 제 1 에코 신호에 대응하는 제 1 볼륨 데이터 및 제 2 에코 신호에 대응하는 제 2 볼륨 데이터를 생성할 수 있다.
여기서 외부에서 스트레스를 가하는 방법은, 초음파의 진행방향으로 스트레스를 가하는 방법으로써, 검사자의 손이나 초음파 프로브(110) 등을 이용하여 정적인 압력을 가하는 방법, 강한 압력을 가지는 초음파 펄스를 인가하는 방법, 기계적인 진동을 가하는 방법 등이 이용될 수 있고, 초음파의 진행방향과 수직방향으로 스트레스를 가하는 방법으로써, 횡파를 이용하는 쉐어웨이브(shearwave)방법 등이 이용될 수도 있으나 이에 한정되지는 않는다.
또한, 여기서 볼륨 데이터란, 대상체를 3차원적으로 가시화하기 위하여 초음파 프로브(110)가 수신하는 에코 신호에 대응하여 대상체에 대한 2차원의 단면 영상들을 얻어내고, 이러한 2차원 단면 영상들을 위치에 맞게 순서대로 쌓아서 이산적인 3차원 배열의 집합을 만들어내는 선행 과정을 거치는데, 이때 만들어진 3 차원 배열의 집합을 의미한다.
도 3a과 도 3b를 참조하여, 그 예를 설명하기로 한다. 도 3a은 복수의 2차원 단면 영상들을 예시한 도면이고, 도 3b는 볼륨 데이터를 예시한 도면이다.
도 3a에 도시된 바와 같이, 초음파 프로브(110)가 수신하는 에코 신호에 대응하여 대상체에 대한 복수의 2차원 단면 영상들 F1, F2, F3, ??, F10 을 획득한다. 획득된 2차원 영상들 F1, F2, F3, ??, F10 을 위치에 맞게 3차원으로 나열한 후, 단면 영상 사이의 값을 데이터 보간(data interpolation)하면, 도 3b에 도시된 바와 같은 형태의 대상체에 대한 3차원 볼륨 데이터를 생성할 수 있다.
볼륨 데이터는 복셀(voxel)이라고 부르는 원소들로 구성된다. 복셀은 볼륨(volume)과 픽셀(pixel)의 합성어로, 픽셀이 2차원 평면에서의 한 점을 정의한다면, 복셀은 3차원 공간에서의 한 점을 정의한다. 따라서, 픽셀은 x 좌표와 y 좌표를 포함하는데 비하여, 복셀은 x, y, z 좌표를 포함한다.
그러므로, 볼륨 데이터를 복셀들의 집합 V 라하고, 복셀이 위치한 3차원 공간 좌표를 (x,y,z) 라 하면, 그 복셀은 Vxyz 로써 표현될 수 있다.
예를 들어, 도 3b에서와 같이, (0,0,0)의 공간 좌표를 갖는 복셀은 V000, (1,0,0)의 공간 좌표를 갖는 복셀은 V100, (0,1,0)의 공간 좌표를 갖는 복셀은 V010 으로 표현될 수 있다.
또한, 복셀 Vxyz 에 대응되는 복셀 값 va 는 V(x,y,z) = va 로써 표현될 수 있다. 이 때, 복셀 값 va 는 스칼라 값 또는 벡터 값을 가질 수 있으며, 그 형태에 따라 볼륨 데이터를 구분할 수 있다.
예를 들어, 복셀 값이 0 또는 1의 이진 표현만으로 구성되는 경우 이진 볼륨 데이터라고 하며, 복셀 값이 밀도, 온도와 같이 측정 가능한 값으로 표현되는 경우 다중-량 볼륨 데이터라고 한다. 또한, 복셀 값이 속도와 RGB 색과 같이 벡터의 형태로 표현되는 경우 벡터 볼륨 데이터라고 한다.
복셀 값을 이용하여 불투명도(opacity) 값 및 칼라(color) 값과 같은 복셀의 광학 요소의 값들을 구할 수 있는데, 불투명도(opacity) 값은 복셀 값과 불투명도 값의 관계를 정의하는 불투명도 전이함수(opacity transfer function)에 의해, 칼라 값은 복셀 값과 칼라 값의 관계를 정의하는 칼라 전이함수(color transfer function)의해 각각 계산될 수 있다.
위에서 상술한 바에 따라 볼륨 데이터 생성부(310)로부터 생성된 복수의 볼륨 데이터 또는 복셀 값들은, 저장부(340)에 저장되어질 수 있다. 본 발명에서 초음파 프로브(110)는 뇌 부분의 볼륨 데이터를 획득할 수 있고, 이 볼륨 데이터는 저장부(340)에 저장되어질 수 있다.
도 2에 개시된 바와 같이, 저장부(340)는 초음파 영상 장치의 조작을 위한 데이터나 알고리즘을 저장할 수 있다.
데이터 저장의 한 예로, 저장부(340)는 볼륨 데이터 생성부(310)로부터 생성된 복수의 볼륨 데이터를 저장할 수 있다. 즉, 복셀의 공간 좌표, 그에 대응하는 복셀 값들을 저장할 수 있다.
데이터 저장의 다른 예로, 저장부(340)는 파라미터 조정부(334)에 의해 조정되기 전의 복셀 값, 불투명도 값 및 칼라 값과, 조정된 후의 복셀 값, 불투명도 값 및 칼라 값들을 저장할 수 있다.
데이터 저장의 또 다른 예로, 저장부(340)는 후술할 영상 처리부(350)로부터 생성된 결과 영상의 영상 데이터를 저장할 수도 있다.
알고리즘 저장의 예들로, 저장부(340)는 복수의 2차원 단면 영상에 기초하여 볼륨 데이터를 생성하기 위한 알고리즘, 복수의 볼륨 데이터 간의 변위로부터 탄성 데이터를 생성하기 위한 알고리즘, 복수의 볼륨 데이터 및 탄성 데이터의 기하학적 위치를 맞추기 위한 알고리즘, 불투명도 값 또는 복셀 값을 조정하기 위한 알고리즘, 칼라 값을 조정하기 위한 알고리즘, 볼륨 데이터에 기초하여 볼륨 렌더링을 수행하기 위한 알고리즘 등을 저장 할 수 있다.
또한 저장부(340)는 본 발명의 일 실시예에 따라 대상체의 표면 영역(surface region)을 추출한 정보 및 계산된 움직임 벡터(motion vector)에 관한 데이터를 저장 할 수 있는데, 자세한 내용은 후술한다.
이러한 저장부(340)는 롬(Read Only Memory: ROM), 피롬(Programmable Read Only Memory: PROM), 이피롬(Erasable Programmable Read Only Memory: EPROM), 플레시 메모리와 같은 비휘발성 메모리 소자, 또는 램(Random Access Memory: RAM)과 같은 휘발성 메모리 소자, 또는 하드 디스크, 광 디스크와 같은 저장 장치로 구현될 수 있다. 다만, 이에 한정되는 것은 아니며, 당업계에 알려져 있는 임의의 다른 형태로 구현될 수도 있다.
디스플레이부(160)는 영상 처리부(350)에서 생성한 초음파 영상을 표시할 수 있다. 구체적으로 디스플레이부(160)는 영상 처리부(350)에서 생성한 대상체 단면 영상 또는 대상체의 3D영상을 각각 표시할 수 있고, 또는 함께 표시할 수 도 있다.
이 때, 디스플레이부(160)는 추출된 타겟의 위치를 함께 표시할 수 있다. 예를 들어, 디스플레이부(160)는 표시되는 초음파 영상 내에 타겟이 포함되는 경 우, 초음파 영상 내의 타겟이 표시되는 위치를 강조하여 표시할 수 있다. 구체적으로, 디스플레이부(160)는 타겟이 표시되는 영역의 색 또는 음역을 다르 게 표시하거나, 타겟이 표시되는 영역의 경계 선의 색 또는 음영을 다르게 표시 할 수 있다. 또는, 디스플레이부(160)는 타겟이 표시되는 영역의 위치를 사용자 에게 알리는 마커를 표시할 수도 있다.
디스플레이부(160)가 초음파 영상을 표시하는 구체적인 방법은 후술할 제어부(330)와 함께 설명하도록 한다.
또한 디스플레이부(160)는 본 발명의 일 실시예에 따라 프레임 보간(frame interpolation)을 수행하여 형성된 초음파 영상을 표시할 수도 있는 바, 관련 내용은 후술한다.
제어부(330)는 영상처리부(350)에서 생성한 복수의 대상체 단면영상을 연 속적으로 표시하도록 디스플레이부(160)를 제어할 수 있다.
구체적으로 제어부(330)는 미리 정해진 경로 상에 위치하는 대상체의 복 수의 단면을 미리 정해진 프레임 레이트(Frame Rate)에 따라 연속적으로 표시하 도록 디스플레이부(160)를 제어할 수 있다.
이 때, 미리 정해진 경로란 직선 경로 뿐만 아니라, 곡선 경로 또는 원형 경로를 포함할 수 있다. 이는 사용자의 입력 또는 초음파 영상 장치 내부 연산에 의해 결정될 수 있다.
또한, 대상체의 복수의 단면 간의 거리 및 미리 정해진 프레임 레이트도 사용자의 입력 또는 초음파 영상 장치 내부 연산에 의해 결정될 수 있다.
제어부(330)가 대상체의 복수의 단면을 연속적으로 표시하도록 디스플레 이부(160)를 제어하면, 디스플레이부(160)는 대상체의 단면상에 타겟의 위치를 함께 표시할 수 있다.
또한, 제어부(330)는 본 발명의 구현을 위하여, 표면 영역(surface region)추출부(400), 움직임 벡터(motion vector) 연산부(410), 폐색(occlusion) 영역 움직임 벡터 연산부(410), 표면 영역 및 움직임 벡터 추적(tracking)부(420), 프레임 보간(frame interpolation)부(430) 를 통제할 수 있는데, 구체적인 내용은 후술한다.
영상 처리부(350)는 대상체의 볼륨 데이터를 이용하여 대상체의 초음파 영상을 생성할 수 있다. 이 때, 영상 처리부(350)는 대상체의 단면에 대한 2D 초 음파 영상을 생성할 수 있을 뿐만 아니라, 3D 초음파 영상을 생성하는 것도 가능 하다.
3D 초음파 영상을 생성하기 위해, 영상 처리부(350)는 볼륨 데이터를 이 용하여 볼륨 렌더링을 수행할 수 있다. 영상 처리부(350)는 기존에 공지된 볼륨 렌더링 방식 중 하나를 사용하여 볼륨 데이터를 볼륨 렌더링할 수 있다.
또한, 영상 처리부(350)는 볼륨 데이터를 기초로 타겟(Target)을 추출할 수 있다.
영상 처리부(350)는 볼륨 데이터를 기초로 대상체 내부의 타겟을 추출하 는 기술적 사상 안에서 다양하게 구현될 수 있다. 예를 들어, 영상 처리부(350) 는 미리 정해진 범위 내의 밝기 값을 가지는 볼륨 데이터 영역을 타겟으로 추출 할 수 있다. 또한 미리 정해진 밝기 값을 가지는 볼륨 데이터 영역의 크기가 미 리 정해진 범위 내에 속하는지 판단하여 타겟을 추출할 수도 있다.
또한, 영상 처리부(350)는 렌더링부(351), 영상 보정부(352)를 포함할 수 있다.
렌더링부(351)는 파라미터 조정부(333)에 의해 조정된 3차원 볼륨 데이터에 기초하여 볼륨 렌더링을 수행하고, 대상체에 대한 투영 영상(projection image)을 생성할 수 있다. 구체적으로, 대상체에 외부의 스트레스가 가해지기 전에 생성된 볼륨 데이터에서, 볼륨 데이터를 구성하는 복셀들의 복셀 값, 불투명도 값, 및 칼라 값에 기초하되, 파라미터 조정부(334)에 의해 조정되는 값이 있다면, 조정된 후의 값을 적용하여 볼륨 렌더링을 수행한다.
렌더링부(351)가 볼륨 렌더링을 수행하는 방법에는 제한이 없으나, 그 방법의 한 예로써, 영상의 각 필셀에 대응하여 제 1 볼륨 데이터(V)에서 샘플점들을 정하고, 샘플점들의 색상과 투명도 값을 인접한 복셀들의 보간으로부터 계산한 후, 샘플점들의 색상과 투명도 값을 누적함으로써 해당 픽셀의 색상과 투명도 값을 계산하는 광선 투사법(ray-casting)이 이용될 수 있다.
영상 보정부(352)는 렌더링부(351)로부터 생성된 투영 영상의 휘도 레벨, 콘트라스트, 색상, 또는 크기나 방향 등을 보정할 수 있다.
영상 보정부(352)는 보정된 결과 영상을 본체(300)와 유무선 통신망을 통해 연결된 디스플레이부(160)로 전달할 수 있다. 이에 따라 검사자는 대상체에 대한 보정된 결과 영상을 확인할 수 있게 된다.
도 4는 초음파 영상 장치 내 제어부(330)의 일 실시예에 따른 블록도이다.
제어부(330)는 표면 영역(surface region)추출부(400), 움직임 벡터(motion vector) 연산부(410), 폐색(occlusion) 영역 움직임 벡터 연산부(410), 표면 영역 및 움직임 벡터 추적(tracking)부(420), 프레임 보간(frame interpolation)부(430) 를 포함하고, 통제할 수 있는데, 본 발명의 실시예와 관련된 구체적인 동작은 도 6 및 도 7과 더불어 설명하도록 한다.
도 5는 2D영상에서 동작(motion)에 의해 가려지는 폐색(occlusion) 영역을 설명하기 위한 그림이다. 도 5는 태아의 초음파 영상에서의 태아의 형상을 설명의 편의를 위하여, 현실적인 그림으로 나타낸 것이다.
도 5에 도시된 바와 같이, 본 발명에서 설명하는 대상체가 태아인 경우에, 태아의 모습을 나타내는 2D초음파 영상에서 태아의 동작에 따른 폐색(occlusion) 영역이 발생함을 알 수 있다. 도 5에서 태아의 팔 부분은 빗금으로 표시되어 있는데, 그 부분이 폐색을 나타내는 부분으로, 태아의 팔의 동작에 의하여 태아 몸체가 팔 부분의 영역만큼 가려지게 된다. 따라서, 2D 초음파 영상을 통해서는 태아의 팔에 의해 가려진 몸체 부분을 영상으로 확인할 수가 없고, 즉 프레임 보간(frame interpolation)을 위해서 움직임 벡터(motion vector)를 계산할 때, 폐색에 의한 몸체 부분의 움직임 벡터 부분은 계산이 힘들게 된다.
도 6은 일 실시예에 따라 다음 프레임의 표면 영역 및 움직임 벡터를 추적하지 않는 초음파 영상 장치 제어 방법을 도시한 순서도이고, 도 7은 일 실시예에 따라 다음 프레임의 표면 영역 및 움직임 벡터를 추적하는 초음파 영상 장치 제어 방법을 도시한 순서도이다. 이하 도 4, 도 8 내지 도 12와 함께 본 발명의 일 실시예에 따른 초음파 영상 장치 및 그 제어 방법에 대하여 설명한다.
먼저, 도 6에 개시된 것과 같이 볼륨 데이터로부터 3D 영상의 표면 영역(surface region)을 추출 한다(S100).
도 8은 일 실시예에 따라 대상체의 표면 영역을 추출하기 위한 표면 영역을 나타내는 초음파 영상 사진이다.
도 8에 도시된 바와 같이, 대상체가 태아인 경우를 예로 들어 설명하면, 태아에 대한 3D 초음파 영상에서 붉은 선으로 표시된 부분을 태아의 전면 표면 영역(surface region)으로 볼 수 있다. 즉, 태아의 전면 외형 윤곽에 대하여 3D 볼륨 데이터로부터 표면 영역을 설정 하는 것으로, 즉 3D 영상의 껍데기 영역이 표면 영역에 해당하는 것으로 쉽게 이해할 수 있다.
표면 영역은 도 8에 도시된 것처럼 태아의 전면 부분에 대한 영역일 수도 있고, 후면(노란색 선 부분)이나 측면 등 표면을 설정할 수 있는 영역이면 어느 부분이든 선택될 수 있다.
도 4에 도시된 바와 같이, 제어부(330) 내의 표면 영역 추출부(400)가 대상체의 표면 영역을 추출한다. 표면 영역 추출부(400)는 대상체에 대하여 영상을 디스플레이 하기 위해 필요한 표면 영역을 추출하는데, 즉 관심 영역인 ROI(Region Of Interest)를 선택하여 표면 영역을 추출한다. 표면 영역을 추출하는 기본적인 방식은 가상 카메라를 이용하여 볼륨 데이터로부터 보고 싶은 표면 영역 부분을 추출하여 화면에 표시하는 것이다. 즉, 3D 볼륨으로부터 보여지는 2D영상은 임의의 위치에서 보여지는 영상이다. 또한, 태아의 표면을 추출할 수 있는 방법에는 SVM(support vector machine)기반 질감 분류를 이용한 초음파 영상의 태아 표면 추출 방법의 경우도 일 실시예로 들 수 있다. 상기 언급한 태아 표면 추출 방법에 따르면, 3차원 태아 영상에 일반적으로 상당량의 복벽(abdominal wall) 또는 양수 내에 태아와 함께 있는 부유물이 태아와 함께 나타나기 때문에 데이터의 크기를 감소시키면서 이물질에 의해 가려지지 않은 태아의 영상을 얻기 위하여 3차원 초음파 영상에서 태아 영역을 분리해 낸다. 일반적으로, 3차원 초음파 영상에서 태아영역과 그 주변영역을 분리하는 방법은, 관심영역(region of interest, ROI)선택, 표면 추출 및 원하지 않는 영역을 제거하기 위한 영역 분할을 포함 한다. 따라서, 상기 추출방법은 SVM에 기반한 질감(texture) 분류를 이용하여 태아의 3차원 초음파 볼륨 데이터로부터 자동적으로 태아의 전면 부분(frontal surface)을 추출하는 것이다.
표면 영역 추출부(400)는 본 발명의 실시예에 따라 상술한 바와 같이 대상체의 표면 영역을 추출하는데, 그 관심대상 부분(ROI)의 추출 방법은 특정 기술에 구속되지 않고 다양한 실시예로 구현될 수 있다.
도 4에 도시된 바와 같이, 제어부(330)의 통제에 따라, 제어부(330) 내의 움직임 벡터(motion vector) 연산부(410)는 추출된 대상체의 표면 영역에서의 움직임 벡터를 계산한다(S110).
움직임 벡터는 움직이는 관심 객체의 속도 및 방향을 포함하는 벡터를 의미하는 것으로, 본 발명의 일 실시예에 따른 움직임 벡터 계산은, 상술한 3D볼륨 데이터 표면 영역을 추출하여 움직임 벡터를 계산하는 것이다. 3D볼륨 데이터를 사용하면, 대상체의 각 조직에 대하여 각각의 움직임 벡터를 계산할 수 있고 이 때, 대상체의 각 조직은 선형으로 움직인다고 가정하고 계산한다.
앞선 시간을 "t"라고 하고, 다음 시간을 "t+1"이라고 했을때, 대상체가 t시간에서부터 t+1시간에 이를 때 까지 얼마나 이동 하였는지, 즉 t시간과 t+1시간의 볼륨 데이터가 얼마나 이동을 해야 겹쳐지는지를 벡터로 나타내는 것이 움직임 벡터(motion vector)이다.
움직임 벡터 연산부(410)는 대상체의 표면 영역으로부터 이전 시간(앞선 시간, t)과 다음 시간(t+1)의 볼륨 데이터를 비교하여 움직임 벡터를 계산하는데, 관련 수학식을 예로 들어 설명 한다.
Figure 112014078365031-pat00001
상기 수학식 1에서, S는 움직임 벡터를 구하고자 하는 대상체의 표면 영역(Surface Region)을 나타내고, w는 볼륨 데이터의 표면 영역 중에서 특정 영역(window)을 지칭하며, I는 초음파 볼륨 데이터의 영상 이미지를 나타낸다. 또한, t는 상술한 바와 같이 이전 시간(앞선 시간) 이고, t+1은 다음 시간 이며, x, y, z은 3D 볼륨 데이터의 각 축의 좌표에 해당하고, Vx, Vy, Vz 는 t부터 t+1까지의 시간 동안에 발생한 대상체의 움직임의 이동량을 나타내고, Vx', Vy', Vz'는 움직임 벡터(motion vector)를 의미한다.
도 11을 참고하여 구체적으로 살펴보면, 도 11은 일 실시예에 따른 특정 시간에서의 프레임 보간(frame interpolation)을 나타내는 초음파 이미지 영상이다.
도 11에 도시된 바와 같이, ①영상을 t시간 에서의 초음파 영상 이미지라 하고 ⑥영상을 t+1시간 에서의 초음파 영상 이미지라 하면, ①영상과 ⑥영상 사이의 움직임 벡터를 계산하여, 대상체의 움직임을 예측한 뒤 프레임 보간을 수행하는 것이다.
수학식 1에서, 움직임 벡터는 영상 이미지의 해당 프레임 표면 영역(S)의 전체 영역이 아닌 특정 영역(w)에서 계산 되는데, t시간으로부터 t+1시간 까지 움직임이 Vx, Vy, Vz만큼 변한 경우에 처음의 좌표 위치 x, y, z에서 Vx, Vy,Vz만큼 증가한 위치가 t+1시간의 영상 이미지가 된다. 따라서, t+1시간에서의 영상 이미지와 t시간에서의 영상 이미지의 위치의 차이를 벡터의 차이로 구하여 합산하면, 움직임의 변화량에 해당하는 움직임 벡터(motion vector) Vx', Vy', Vz'를 찾을 수 있다. 움직임의 변화량은 미세하므로 t부터 t+1까지의 시간 동안에 발생한 대상체의 움직임의 이동량 Vx, Vy, Vz는 최소화 되는 방향으로 계산 된다.
상술한 방법으로 계산된 움직임 벡터를 이용하여 t와 t+1 사이의 영상을 형성하여 프레임 보간을 수행하는 것으로 구체적인 방법은 후술한다.
움직임 벡터를 계산하는 단계에서, 폐색(occlusion)영역의 움직임 벡터도 동시에 계산된다. 앞서 도 5에서 설명한 바와 같이 대상체의 표면 영역을 추출하는 경우 2D로 디스플레이 되는 것에 따라 대상체의 동작이나 움직임의 변화 등에 따른 폐색 영역이 발생하는데, 이러한 폐색 영역의 움직임 벡터도 반영하여 프레임 보간을 하기 위하여, 폐색 영역의 움직임 벡터 계산이 수반 된다.
도 4에 도시된 바와 같이, 움직임 벡터 연산부(410) 내의 폐색영역 움직임 벡터 연산부(410)가 제어부(330)의 통제를 받아서, 폐색 영역의 움직임 벡터를 계산하는데(S115), 이하 도 9를 참고하여 설명한다.
도 9에 도시된 바와 같이, (a)는 도 5에서 설명한 것과 같은 t시간에서 발생한 폐색 영역이 표시된 초음파 영상을 그림으로 나타낸 것이고, (b)는 t+1에서 대상체의 움직임이 변화한 경우의 초음파 영상을 그림으로 나타낸 것이다. 이러한 폐색 영역은 t시간일때의 데이터와 t+1일때의 데이터의 차이로부터 추출할 수 있는데, 도 9에서 (a)는 태아가 팔을 몸체 쪽에 붙이고 있어서 팔에 가린 몸체 부위의 폐색이 발생하고 (b)는 태아가 팔을 편 경우이므로, 두 영상간의 차이를 이용하여 폐색 영역인 몸체 쪽의 움직임 벡터를 계산할 수 있다.
이하 폐색 영역을 나타내는 내용을 수학식2를 통하여 설명한다.
Figure 112014078365031-pat00002
상기 수식에서 S는 대상체의 표면 영역을 의미하는 것이고, S'은 폐색 영역(occlusion)을 의미하는 것이다. ①식은 t시간 에서 대상체의 표면 영역에서의 초음파 볼륨 데이터의 영상 이미지에 관한 식이고, ②식은 t+1시간에서 대상체의 표면 영역에서의 초음파 볼륨 데이터의 영상 이미지에 관한 식이다. ③식은 ①식 및 ②식을 통하여 표면 영역에서의 폐색 영역을 구하는 식으로, St와 St+1 의 XoR(Exclusive OR) 영역이 폐색 영역에 해당 한다. ④식은 t시간일 때 폐색 영역이 포함된 표면 영역에서의 움직임 벡터를 나타내기 위한 식으로 표면 영역 St와 폐색 영역 S'의 합집합 부분에 해당하고, ⑤식은 t+1시간일 때 폐색 영역이 포함된 표면 영역에서의 움직임 벡터를 나타내기 위한 식으로 표면 영역 St+1과 폐색 영역 S'의 합집합 부분에 해당 한다. 따라서, ④식 및 ⑤식을 통하여 앞서 움직임 벡터 계산에서 설명한 바와 같이 폐색 영역의 움직임 벡터를 계산 한다.
상술한 바와 같이, 대상체의 추출된 표면 영역으로부터, 움직임 벡터 연산부(410)와 폐색 영역 움직임 벡터 연산부(410)가 대상체의 초음파 영상에 대한 폐색 영역의 움직임 벡터를 포함한 움직임 벡터를 계산하고, 이렇게 계산된 움직임 벡터에 관한 데이터는 후술할 바와 같이 저장부(340)에 저장될 수 있다.
도 4에 도시된 바와 같이, 제어부(330)의 프레임 보간(frame interpolation)부(430)는 제어부(330)의 통제에 의하여, 대상체의 표면 영역에서 계산된 움직임 벡터를 이용하여 표면 영역에서의 프레임 보간을 수행한다(S120).
도 11은 일 실시예에 따른 특정 시간에서의 프레임 보간을 나타내는 초음파 이미지 영상이다.
도 11에 도시된 바와 같이, 태아의 초음파 영상에 있어서 t시간과 t+1 시간 사이의 움직임 벡터를 계산하여 그로부터 t시간과 t+1시간 사이의 프레임 보간을 수행하는 것으로, ①번 영상을 t시간일때의 영상, ②번 영상을 t+1시간일때의 영상이라 하면 그 사이에 있는 영상들은 계산된 움직임 벡터에 기초하여 프레임 보간이 된 영상들에 해당 한다. 도 11의 예는 설명의 편의를 위하여 적은 숫자의 보간 영상을 나타낸 것에 불과하며, 실제로는 더 많은 수의 영상이 보간 되고, 영상들간의 시간 간격도 짧아서 자연스러운 영상을 얻을 수 있도록 프레임 보간이 수행 된다.
프레임 보간(frame interpolation)의 일 실시예들은 보간 프레임을 삽입하여 프레임률(frame rate)을 변화시킴으로써, 시각적으로 보다 자연스러운 실시간 다초점 영상을 제공하는 초음파 영상의 프레임 보간 방법을 제공 한다.
프레임 보간 방법으로는, 특정 시간의 이미지 사이에 추가적으로 가상 이미지를 삽입함으로써 최종적으로 디스플레이되는 이미지의 프레임률(frame rate)을 증가시킴으로써 자연스러운 이미지, 즉 동영상을 제공할 수 있다.
도 10a는 프레임 보간(frame interpolation)기법을 이용하여 생성되는 가상 이미지를 설명하기 위한 도면이다.
도 10a는 즉, 영상 이미지의 n개 프레임 중 n번째 프레임 및 (n+1)번째 프레임과 이들 프레임들 사이에 삽입되는, 인터폴레이션 기법을 사용하여 생성한 m개의 가상 이미지들을 나타내는 도면이고, 도 10b는 도 10a에서 설명한 바와 같이 프레임 보간(frame interpolation)기법을 이용하여 생성되는 가상 이미지의 예를 나타내는 도면으로써, n번째 프레임과 n+1번째 프레임 사이에 생성된 가상 이미지들이 삽입됨으로써 태아의 움직임이 자연스럽게 디스플레이됨을 알 수 있다.
먼저, 도 10a를 참조하면 선형(linear) 보간 기법을 사용하는 경우, n번째 프레임에서 이미지의 디스플레이 시간 및 이미지 내의 어느 한 화소(pixel) 좌표 를 (tn, yn), n+1번째 프레임에서 이미지의 디스플레이 시간 및 이미지 내의 어느 한 화소(pixel) 좌표를 (tn+1, yn+1)라고 하면, n번째 프레임과 n+1번째 프레임 사이에 삽입되는 m개의 가상 이미지 중 j번째 가상 이미지의 디스플레이 시간 및 j번째 가상 이미지 내의 어느 한 화소(pixel) 좌표를 (taj, yaj)라고 정의할 수 있다. n번째 프레임과 n+1번째 프레임 사이에 삽입되는 m개의 가상 이미지들 각각의 모든 화소들에 대하여 가상 이미지 삽입에 관한 수식을 적용함으로써 m개의 가상 이미지에 관한 데이터를 모두 생성할 수 있다. 관련 수식은 종래기술에 해당 하므로 구체적인 수식은 생략한다.
도 10b에 도시된 바와 같이 n번째 프레임과 n+1번째 프레임 사이에 가상 이미지를 삽입하여, 보다 자연스러운 태아의 초음파 영상을 생성하는 것으로, 본 발명의 일 실시예에 따라, 대상체의 표면 영역에서 계산된 움직임 벡터를 이용하여 프레임 보간을 수행하는 것이다.
이하 프레임 보간에 대한 수학식을 설명한다.
Figure 112014078365031-pat00003
Figure 112014078365031-pat00004
It를 t시간에서의 초음파 볼륨 데이터의 영상 이미지, It+1을 t+1시간에서의 초음파 볼륨 데이터의 영상 이미지라 하는 경우, 선형(linear) 보간(interpolation) 식은 상기 수학식 3과 같이 나타낼 수 있다.
수학식 3에서 N은 interpolation step의 개수(t시간과 t+1시간 사이에서 몇 개의 영상 보간을 할 것인지, 즉, 생성하는 영상 개수)를 의미하고, k는 보간 되는 영상 중에서 몇번째 영상에 해당하는지를 나타내며, a는 t시간에서 t+1시간으로의 영상 보간이고, b는 t+1에서 t시간으로의 영상 보간을 의미한다.
시간에 따른 대상체의 움직임의 변화량에 대한 움직임 벡터를 표현하면 t시간일때의 변화량은 (0, 0, 0), t+0.5시간일때의 변화량은 (Vx/2, Vy/2, Vz/2), t+1시간일때의 변화량은 (Vx, Vy, Vz)로 표현할 수 있다. 따라서, 시간에 따른 초음파 볼륨 볼륨 데이터의 영상 이미지에 대한 보간 영상은, t시간일 때 It(x, y, z), t+0.5시간일 때 It(x+ Vx/2, y+Vy/2, z+ Vz/2), t+1시간일 때 It(x+ Vx, y+Vy, z+ Vz)이 된다.
프레임 보간을 하는 시간 간격 Δt = k / N 이고, 이때 Δt는 수십 msec 에서 수백 msec에 해당하는 짧은 시간이다.
Δt의 시간이 경과했을 때의 보간 영상의 일반 식은 수학식 4의 ① 및 ②와 같이 표현될 수 있고, ①은 t시간에서 t+1시간으로의 영상 보간을 의미하는 a로 표현되며, ②는 t+1에서 t시간으로의 영상 보간을 의미하는 b로 표현된다.
따라서, a 및 b의 식을 상기 수학식 3에 대입하여 Δt의 시간이 경과했을 때의 보간 영상에 관한 식을 도출할 수 있으며, 이는 선형 보간에 있어서 a와 b의 평균을 낸 값으로 이해할 수 있다.
프레임 보간부(430)는 제어부(330)의 통제에 따라 상술한 영상 보간 방법을 이용하여 대상체의 표면 영역 영상의 프레임 보간을 수행할 수 있으나, 다만 영상 보간 방법에 대하여는 설명한 실시 예에 구속되지 않고 다양한 방법이 있을 수 있다.
이하, 본 발명의 일 실시예에 따라 이미 계산된 표면 영역에 움직임 벡터의 데이터를 이용하여 다음 프레임에서의 표면 영역의 움직임 벡터를 추적(tracking)하여 다음 프레임에서의 표면 영역을 결정할 수 있는 내용에 대하여 설명한다.
도 7은 일 실시예에 따라 다음 프레임의 표면 영역 및 움직임 벡터를 추적하는 초음파 영상 장치 제어 방법을 도시한 순서도이다.
다음 프레임의 표면 영역 및 움직임 벡터를 추적하는 이유는, 매번 각각의 프레임마다 볼륨 데이터로부터 표면 영역을 추출하고 움직임 벡터를 계산하려면 계산량이 증가하는 문제점이 있으므로, 저장부(340)에 저장된 데이터를 기반으로 다음 프레임의 표면 영역 및 움직임 벡터를 추적하고(S130), 일정 범위 내에서 움직임 벡터를 계산하여 계산량을 감소시키는 것이다. 즉, 이전의 움직임 벡터의 범위 내에서 다음 움직임 벡터가 어느 영역에 있을 것인지 추정하는 것이다.
도 7에 도시된 바와 같이, 제어부(330) 내의 표면 영역 및 움직임 벡터 추적부(420)는 제어부(330)의 통제에 따라, 대상체의 볼륨 데이터의 표면 영역에서의 프레임 보간 영상에 대해, 다음 프레임의 표면 영역과 움직임 벡터가 미리 정해진(저장된) 표면 영역 및 움직임 벡터의 범위 이내에 있는지를 판단하여(S150) 범위 내에 있는 경우에는 그 범위 내에서 움직임 벡터를 계산한다(S140). 즉, 이전의 표면 영역에서의 움직임 벡터의 벡터량의 범위 내에서 움직임의 변화량을 모션 벡터로 계산한다. 다만, 미리 정해진 표면 영역 및 움직임 벡터의 범위 이내에 있지 않은 경우에는 도 6의 제어흐름에 따라 범위의 고려 없이 전체 범위에서 움직임 벡터를 계산한다(S145).
상술한 바와 같이 다름 프레임의 표면 영역 및 움직임 벡터를 추적(tracking)하는 것은 실시예에 해당하고, 본 발명의 실시에 선택적으로 반영되는 부분이다.
설명한 바와 같이, 도 6 및 도 7의 제어 흐름에 따라 표면 영역을 추출하고, 움직임 벡터를 계산하고, 계산된 움직임 벡터를 이용하여 프레임 보간을 수행 하며, 움직임 벡터 계산시에 폐색 영역의 움직임 벡터도 동시에 계산하고 또한, 표면 영역 및 움직임 벡터를 추적하는 단계가 포함될 수 있다.
도 12는 일 실시예에 따른 연속하는 시간에서의 프레임 보간(frame interpolation)을 나타내는 초음파 이미지 영상이다.
도 12는 프레임 간의 시간을 1초(1sec)로 설정하여 설명하기 위한 도면이며, 도 12에 도시된 바와 같이 1sec일 때, 2sec일 때, 3sec일 때의 프레임들로 구분 될 수 있다.
처음 1sec일 때 앞서 설명한 바와 같이 ① 영상과 ⑥ 영상 사이에 본 발명의 일 실시예에 따라 프레임 보간을 수행하고, 다음 2sec프레임 에서 1sec일 때의 ⑥ 영상이 처음 시작 영상으로 되고, ② 영상 과의 사이에서 프레임 보간이 수행 된다. 3sec일 때에는 2sec일 때의 ② 영상이 처음 시작 영상이 되고 ⑤ 영상과의 사이에서 프레임 보간이 수행된다. 따라서, 대상체의 표면 영역에서의 프레임 보간을 통하여, 자연스러운 영상의 형성이 가능하다.
도 6 및 도 7에 도시된 바와 같이, 프레임 보간이 수행된 후 영상처리부(350)내의 렌더링부(351)에서 볼륨 렌더링이 수행되고, 형성된 초음파 영상을 디스플레이부(160)에서 디스플레이 한다(S160).
이상과 같이 예시된 도면을 참조로 하여, 본 발명인 대상체의 볼륨 데이터로부터 표면 영역을 추출하고, 추출된 대상체의 표면 영역에서의 프레임 보간을 수행하여 대상체의 표면 영역에서의 움직임 벡터를 계산하는 초음파 영상 장치 및 그 제어 방법에 대해 설명 하였다. 초음파 영상 장치 및 그 제어 방법의 예가 이에 한정되는 것은 아니며 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이다. 그러므로 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다.
310 : 볼륨 데이터 생성부
330 : 제어부
340 : 저장부
350 : 영상 처리부
351 : 렌더링부
400 : 표면 영역(surface region)추출부
410 : 움직임 벡터(motion vector)연산부
415 : 폐색(occlusion)영역 움직임 벡터 연산부
420 : 표면 영역 및 움직임 벡터 추적(tracking)부
430 : 프레임 보간(frame interpolation)부

Claims (22)

  1. 대상체에 대한 볼륨 데이터를 획득하는 볼륨 데이터 생성부;
    상기 획득한 볼륨 데이터를 기초로 상기 대상체의 표면 영역(surface region)을 추출하는 표면 영역 추출부;
    상기 추출된 대상체의 표면 영역에서의 움직임 벡터(motion vector)를 계산하는 움직임 벡터 연산부; 및
    상기 추출된 대상체의 표면 영역에서의 프레임 보간(frame interpolation)을 수행하는 프레임 보간부;를 포함하는 초음파 영상 장치.
  2. 삭제
  3. 제1항에 있어서,
    상기 움직임 벡터 연산부는,
    폐색(occlusion)영역의 움직임 벡터를 계산하는 폐색 영역 움직임 벡터 연산부;를 포함하는 초음파 영상 장치.
  4. 제 3항에 있어서,
    상기 폐색 영역은,
    상기 대상체의 표면 영역에서 이전 시간과 다음 시간의 차에 해당하는 영역인 초음파 영상 장치.
  5. 제 3항에 있어서,
    상기 폐색 영역은,
    상기 프레임 보간을 수행하는 경우에 나타나는 영역인 초음파 영상 장치.
  6. 제1항에 있어서,
    상기 움직임 벡터 연산부는,
    이전 시간과 다음 시간의 볼륨 데이터를 비교하여 움직임 벡터를 계산하는 초음파 영상 장치.
  7. 제 3항에 있어서,
    상기 폐색 영역 움직임 벡터 연산부는,
    상기 대상체의 표면 영역에서의 움직임 벡터를 계산하는 것과 동시에 수행되는 것인 초음파 영상 장치.
  8. 제1항에 있어서,
    상기 움직임 벡터 연산부는,
    다음 프레임의 표면 영역 및 움직임 벡터를 추적(tracking)하는 표면 영역 및 움직임 벡터 추적부;를 포함하는 초음파 영상 장치.
  9. 제 8항에 있어서,
    상기 표면 영역 및 움직임 벡터 추적부는,
    이미 추출된 표면 영역 및 이미 계산된 움직임 벡터의 데이터를 기초로 다음 프레임의 표면 영역 및 움직임 벡터를 추적하는 초음파 영상 장치.
  10. 제1항에 있어서,
    상기 움직임 벡터 연산부는,
    프레임의 전체 영역이 아닌 특정 영역에 대하여 움직임 벡터를 계산하는 초음파 영상 장치.
  11. 제 1항에 있어서,
    상기 표면 영역 추출부는,
    태아의 윤곽 또는 심장과 같은 장기에 대한 표면 영역을 추출하는 초음파 영상 장치.
  12. 대상체에 대한 볼륨 데이터를 획득하고;
    상기 획득한 볼륨 데이터를 기초로 상기 대상체의 표면 영역을 추출하고;
    상기 추출된 대상체의 표면 영역에서의 움직임 벡터를 계산하고;
    상기 추출된 대상체의 표면 영역에서의 프레임 보간을 수행하는 것;을 포함하는 초음파 영상 장치 제어 방법.
  13. 삭제
  14. 제12항에 있어서,
    상기 대상체의 표면 영역에서의 움직임 벡터를 계산하는 것은,
    폐색 영역의 움직임 벡터를 계산하는 것;을 포함하는 초음파 영상 장치 제어 방법.
  15. 제 14항에 있어서,
    상기 폐색 영역은,
    상기 대상체의 표면 영역에서 이전 시간과 다음 시간의 차에 해당하는 영역인 초음파 영상 장치 제어 방법.
  16. 제 14항에 있어서,
    상기 폐색 영역은,
    상기 프레임 보간을 수행하는 경우에 나타나는 영역인 초음파 영상 장치 제어 방법.
  17. 제12항에 있어서,
    상기 대상체의 표면 영역에서의 움직임 벡터를 계산하는 것은,
    이전 시간과 다음 시간의 볼륨 데이터를 비교하여 움직임 벡터를 계산하는 것인 초음파 영상 장치 제어 방법.
  18. 제 14항에 있어서,
    상기 폐색 영역의 움직임 벡터를 계산하는 것은,
    상기 대상체의 표면 영역에서의 움직임 벡터를 계산하는 것과 동시에 수행되는 것인 초음파 영상 장치 제어 방법.
  19. 제12항에 있어서,
    상기 대상체의 표면 영역에서의 움직임 벡터를 계산하는 것은,
    다음 프레임의 표면 영역 및 움직임 벡터를 추적하는 것;을 포함하는 초음파 영상 장치 제어 방법.
  20. 제 19항에 있어서,
    상기 다음 프레임의 표면 영역 및 움직임 벡터를 추적하는 것은,
    이미 추출된 표면 영역 및 이미 계산된 움직임 벡터의 데이터를 기초로 다음 프레임의 표면 영역 및 움직임 벡터를 추적하는 것인 초음파 영상 장치 제어 방법.
  21. 제 12항에 있어서,
    상기 대상체는 태아이고,
    상기 표면 영역을 추출하는 것은,
    태아의 윤곽 또는 심장과 같은 장기에 대한 표면 영역을 추출하는 것인 초음파 영상 장치 제어 방법.
  22. 제12항에 있어서,
    상기 대상체의 표면 영역에서의 움직임 벡터를 계산하는 것은,
    프레임의 전체 영역이 아닌 특정 영역에 대하여 움직임 벡터를 계산하는 것인 초음파 영상 장치 제어 방법.
KR1020140107732A 2014-08-19 2014-08-19 초음파 영상 장치 및 그 제어 방법 KR102267060B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020140107732A KR102267060B1 (ko) 2014-08-19 2014-08-19 초음파 영상 장치 및 그 제어 방법
US14/824,252 US9589364B2 (en) 2014-08-19 2015-08-12 Ultrasound imaging apparatus and method of controlling the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140107732A KR102267060B1 (ko) 2014-08-19 2014-08-19 초음파 영상 장치 및 그 제어 방법

Publications (2)

Publication Number Publication Date
KR20160022085A KR20160022085A (ko) 2016-02-29
KR102267060B1 true KR102267060B1 (ko) 2021-06-21

Family

ID=55348718

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140107732A KR102267060B1 (ko) 2014-08-19 2014-08-19 초음파 영상 장치 및 그 제어 방법

Country Status (2)

Country Link
US (1) US9589364B2 (ko)
KR (1) KR102267060B1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160007972A1 (en) * 2013-03-25 2016-01-14 Hitachi Aloka Medical, Ltd. Ultrasonic imaging apparatus and ultrasound image display method
KR102385990B1 (ko) 2016-05-12 2022-04-12 후지필름 소노사이트, 인크. 의료 이미지에서 구조의 치수를 결정하는 시스템 및 방법
US10212410B2 (en) * 2016-12-21 2019-02-19 Mitsubishi Electric Research Laboratories, Inc. Systems and methods of fusing multi-angle view HD images based on epipolar geometry and matrix completion
JP2019097591A (ja) * 2017-11-28 2019-06-24 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
WO2020114806A1 (en) * 2018-12-06 2020-06-11 Koninklijke Philips N.V. 3-d virtual endoscopy rendering
US11594001B2 (en) * 2020-01-20 2023-02-28 Rapiscan Systems, Inc. Methods and systems for generating three-dimensional images that enable improved visualization and interaction with objects in the three-dimensional images

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007152109A (ja) 2005-12-01 2007-06-21 Medison Co Ltd 超音波映像システム及び方法
US20080226128A1 (en) 2007-03-12 2008-09-18 Conversion Works, Inc. System and method for using feature tracking techniques for the generation of masks in the conversion of two-dimensional images to three-dimensional images
US20110075885A1 (en) 2009-09-29 2011-03-31 Yuan Xiaoru Volumetric image data processing
US20120075638A1 (en) 2010-08-02 2012-03-29 Case Western Reserve University Segmentation and quantification for intravascular optical coherence tomography images
US20140185923A1 (en) 2012-12-27 2014-07-03 Nuctech Company Limited Methods for extracting shape feature, inspection methods and apparatuses

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101495082B1 (ko) * 2011-06-29 2015-02-24 삼성메디슨 주식회사 광학 흐름과 글로벌 변형 제한 기법을 결합한 변분 프레임워크를 이용하여 비강체 심장의 움직임 추적 방법 및 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007152109A (ja) 2005-12-01 2007-06-21 Medison Co Ltd 超音波映像システム及び方法
US20080226128A1 (en) 2007-03-12 2008-09-18 Conversion Works, Inc. System and method for using feature tracking techniques for the generation of masks in the conversion of two-dimensional images to three-dimensional images
US20110075885A1 (en) 2009-09-29 2011-03-31 Yuan Xiaoru Volumetric image data processing
US20120075638A1 (en) 2010-08-02 2012-03-29 Case Western Reserve University Segmentation and quantification for intravascular optical coherence tomography images
US20140185923A1 (en) 2012-12-27 2014-07-03 Nuctech Company Limited Methods for extracting shape feature, inspection methods and apparatuses

Also Published As

Publication number Publication date
KR20160022085A (ko) 2016-02-29
US9589364B2 (en) 2017-03-07
US20160055650A1 (en) 2016-02-25

Similar Documents

Publication Publication Date Title
KR102267060B1 (ko) 초음파 영상 장치 및 그 제어 방법
CN106236133B (zh) 用于显示超声图像的方法和设备
Mohamed et al. A survey on 3D ultrasound reconstruction techniques
US10278674B2 (en) Ultrasound apparatus and method of displaying ultrasound images
CN105769240B (zh) 显示医学图像的设备和方法
KR102297346B1 (ko) 의료 영상 장치 및 그에 따른 의료 영상을 디스플레이 하는 방법
KR102329680B1 (ko) 의료 영상 표시 방법 및 의료 영상 표시 장치
US9721355B2 (en) Methods and systems for defining a VOI in an ultrasound imaging space
CN106562803B (zh) 用于显示示出对象的图像的方法和设备
JP6125380B2 (ja) 超音波診断装置、医用画像処理装置及び画像処理プログラム
KR20170032775A (ko) 조영 영상으로부터 정보를 획득하는 방법 및 이를 위한 초음파 장치
KR20160049385A (ko) 초음파 장치 및 초음파 장치의 정보 입력 방법
KR20140131808A (ko) 초음파 영상 장치 및 그 제어 방법
EP3040031B1 (en) Ultrasound diagnosis apparatus and method of operating the same
US11083434B2 (en) Ultrasonic imaging apparatus and control method thereof
KR102364490B1 (ko) 초음파 진단장치, 그에 따른 초음파 진단 방법 및 그에 따른 컴퓨터 판독 가능한 저장매체
KR102270718B1 (ko) 초음파 진단장치, 그에 따른 초음파 진단 장치의 동작 방법 및 그에 따른 컴퓨터 판독 가능한 저장매체
KR102270721B1 (ko) 초음파 영상 장치 및 초음파 영상 생성 방법
JP2013135974A (ja) 超音波診断装置
JP2019146875A (ja) 超音波診断装置、医用画像処理装置、及び計測キャリパ設定プログラム
KR20160050395A (ko) 의료 영상 표시 방법 및 장치

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant