KR20140100648A - 일 호흡 주기에 따른 장기의 형상 및 위치의 변화를 나타내는 모델을 생성하는 방법, 장치 및 시스템. - Google Patents

일 호흡 주기에 따른 장기의 형상 및 위치의 변화를 나타내는 모델을 생성하는 방법, 장치 및 시스템. Download PDF

Info

Publication number
KR20140100648A
KR20140100648A KR1020130013493A KR20130013493A KR20140100648A KR 20140100648 A KR20140100648 A KR 20140100648A KR 1020130013493 A KR1020130013493 A KR 1020130013493A KR 20130013493 A KR20130013493 A KR 20130013493A KR 20140100648 A KR20140100648 A KR 20140100648A
Authority
KR
South Korea
Prior art keywords
model
images
generating
shape
shape information
Prior art date
Application number
KR1020130013493A
Other languages
English (en)
Other versions
KR102106535B1 (ko
Inventor
황영규
강나협
김도균
김정배
오영택
이형욱
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020130013493A priority Critical patent/KR102106535B1/ko
Priority to US14/093,866 priority patent/US9262685B2/en
Publication of KR20140100648A publication Critical patent/KR20140100648A/ko
Application granted granted Critical
Publication of KR102106535B1 publication Critical patent/KR102106535B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/02—Devices for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computerised tomographs
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48—Diagnostic techniques
    • A61B8/483—Diagnostic techniques involving the acquisition of a 3D volume of data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/113—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb occurring during breathing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N7/00—Ultrasound therapy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/149—Segmentation; Edge detection involving deformable models, e.g. active contour models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/754—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries involving a deformation of the sample pattern or of the reference pattern; Elastic matching
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G06T2207/10136—3D ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20124—Active shape model [ASM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Physiology (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Optics & Photonics (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Computer Graphics (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

피검체의 일 호흡 주기에 따른 체내 관심 영역의 형상 및 위치의 변화를 나타내는 모델을 생성하는 방법에 있어서, 상기 관심 영역을 나타내는 CT 영상들 또는 MR 영상들을 이용하여 상기 관심 영역에 대한 제 1 모델을 생성하고, 상기 관심 영역을 나타내는 3차원 초음파 영상과 상기 제 1 모델의 정합을 통하여 결정된 상기 3차원 초음파 영상 상의 특징점을 이용하여 상기 제 1 모델이 갱신된 제 2 모델을 생성한다.

Description

일 호흡 주기에 따른 장기의 형상 및 위치의 변화를 나타내는 모델을 생성하는 방법, 장치 및 시스템.{Method, apparatus and system for generating model representing deformation of shape and location of organ in respiration cycle}
일 호흡 주기에 따른 장기의 형상 및 위치의 변화를 나타내는 모델을 생성하는 방법, 장치 및 시스템에 관한다.
HIFU 치료는 고강도의 집적 초음파(high-intensity focused ultrasound, 이하 'HIFU'라고 함)를 치료하고자 하는 종양 부위(초점)에 조사하여 종양 조직의 국소적 파괴(focal destruction) 또는 괴사(necrosis)를 야기시켜 종양을 제거 및 치료하는 수술법이다.
HIFU를 이용하여 병변을 제거하는 방법은 인체를 직접적으로 절개하지 않고 치료할 수 있는 장점이 있어 널리 이용되고 있는 치료 방법 중 하나이다. 인체의 외부에서 고강도 집적 초음파를 병변에 조사할 때, 인체의 활동에 의해 병변의 위치가 변경된다. 예를 들어, 시술을 하는 동안 환자가 호흡을 하는 경우, 호흡에 따라 병변의 위치가 변경된다. 따라서, HIFU를 조사하는 위치(초점)도 변경되어야 한다. 이렇게 인체의 활동에 의해 변경되는 병변을 추적하여 HIFU를 조사하는 방법이 연구되고 있다.
호흡에 따라 장기의 위치는 변화하고, 그에 따라 장기의 형상도 변화한다. 즉, 호흡에 따른 장기의 위치 변화 및 형상 변화는 밀접한 관계가 있다. 또한, 호흡은 주기적으로 변화하므로, 시술 전 환자의 호흡에 따른 장기 및 병변의 위치를 미리 알고 있다면, 시술 중에 환자의 호흡 신호를 사용하여 장기 및 병변의 현재 위치를 추정할 수 있다.
다만, 환자의 호흡 변화에 따른 장기의 위치 및 형상 변화를 알기 위하여 MR(magnetic resonance) 또는 CT(computed tomography) 영상을 환자의 최대 날숨과 최대 들숨에서 촬영하는데, 환자가 호흡을 참지 못하거나, 조영제가 혈관에 체류하는 적절한 시간을 계산하지 못하여 원하는 MR 또는 CT 영상을 획득하지 못하는 경우가 발생한다.
일 호흡 주기에 따른 장기의 형상 및 위치의 변화를 나타내는 모델을 생성하는 방법, 장치 및 시스템을 제공하는 데에 있다. 또한, 상기 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는 데 있다. 해결하고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
본 발명의 일 측면에 따른 피검체의 일 호흡 주기에 따른 체내 관심 영역의 형상 및 위치의 변화를 나타내는 모델을 생성하는 방법은, 상기 일 호흡 주기 중 두 시점들에서 획득된 상기 관심 영역을 나타내는 MR 영상들 또는 CT 영상들을 이용하여 상기 일 호흡 주기 동안 상기 관심 영역의 위치 또는 형상의 변화를 나타내는 제 1 모델을 생성하는 단계; 상기 일 호흡 주기 중 하나의 시점에서 획득된 상기 관심 영역을 나타내는 3차원 초음파 영상을 이용하여 상기 관심 영역에 포함된 하나 이상의 조직들의 형상 정보들을 추출하는 단계; 상기 제 1 모델과 상기 추출된 형상 정보들의 정합을 통하여 상기 제 1 모델의 특징점에 대응되는 상기 3차원 초음파 영상 상의 특징점을 결정하는 단계; 및 상기 결정된 특징점을 이용하여 상기 제 1 모델이 갱신된 제 2 모델을 생성하는 단계;를 포함한다.
상기 기술적 과제를 해결하기 위한 피검체의 일 호흡 주기에 따른 체내 관심 영역의 형상 및 위치의 변화를 나타내는 모델을 생성하는 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
본 발명의 다른 측면에 따른 피검체의 일 호흡 주기에 따른 체내 관심 영역의 형상 및 위치의 변화를 나타내는 모델을 생성하는 장치는, 상기 일 호흡 주기 중 두 시점들에서 획득된 상기 관심 영역을 나타내는 MR 영상들 또는 CT 영상들을 이용하여 상기 일 호흡 주기 동안 상기 관심 영역의 위치 또는 형상의 변화를 나타내는 제 1 모델을 생성하는 제 1 모델 생성부; 상기 일 호흡 주기 중 하나의 시점에서 획득된 상기 관심 영역을 나타내는 3차원 초음파 영상을 이용하여 상기 관심 영역에 포함된 하나 이상의 조직들의 형상 정보들을 추출하는 형상 정보 추출부; 상기 제 1 모델과 상기 추출된 형상 정보들의 정합을 통하여 상기 제 1 모델의 특징점에 대응되는 상기 3차원 초음파 영상 상의 특징점을 결정하는 특징점 결정부; 및 상기 결정된 특징점을 이용하여 상기 제 1 모델이 갱신된 제 2 모델을 생성하는 제 2 모델 생성부;를 포함한다.
볼 발명의 또 다른 측면에 따른 피검체의 일 호흡 주기에 따른 체내 관심 영역의 형상 및 위치의 변화를 나타내는 모델을 생성하는 시스템은, 상기 일 호흡 주기 중 하나의 시점에서 상기 관심 영역을 나타내는 3차원 초음파 영상을 획득하는 초음파 프로브(probe); 및 상기 일 호흡 주기 중 하나 이상의 시점에서 획득된 CT 영상들 또는 MR 영상들을 이용하여 상기 관심 영역에 대한 제 1 모델을 생성하고, 상기 제 1 모델과 상기 3차원 초음파 영상의 정합을 통하여 결정된 상기 3차원 초음파 영상 상의 특징점을 이용하여 상기 제 1 모델이 갱신된 제 2 모델을 생성하는 영상 처리 장치;를 포함한다.
상기된 바에 따르면, 환자의 호흡 주기 동안 변화하는 체내 장기의 형상 및 위치를 정확하게 반영한 모델을 생성할 수 있다. 또한, 초음파 영상에서 뚜렷하게 식별할 수 있는 특징들만을 사용하여 장기의 변화를 추적하므로, 노이즈(noise)에 강인한 추적이 가능하다. 또한, 호흡에 따른 환자의 체내 장기의 변화를 정확하게 추적함으로써 HIFU, radiation therapy 등에 적용할 경우 시술의 정확도를 향상시킬 수 있고, 시술 시간을 단축시킬 수 있다.
도 1은 본 발명의 일 실시예에 따른 영상 처리 장치의 일 예를 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 제 1 모델 생성부가 동작하는 일 예를 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 형상 정보 추출부가 편평도 테스트를 수행하는 일 예를 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 형상 정보 추출부가 베셀니스 테스트의 과정으로 수행하는 헤시안 매트릭스 분석의 개념도를 도시한 도면이다.
도 5는 본 발명의 일 실시예에 따른 특징점 결정부가 수행하는 강체 정합 및 비 강체 정합의 개념을 나타내는 모식도이다.
도 6은 본 발명의 일 실시예에 따른 모델 생성 시스템의 사용 환경의 다른 예를 도시한 도면이다.
도 7은 본 발명의 일 실시예에 따른 체내 관심 영역의 형상 및 위치 변화를 나타내는 모델을 생성하는 방법을 나타내는 흐름도이다.
이하에서는 도면을 참조하여 본 발명의 실시예들을 상세히 설명한다. 본 발명의 하기 실시예는 본 발명을 구체화하기 위한 것일 뿐 본 발명의 권리 범위를 제한하거나 한정하지 않는다. 또한, 본 발명의 상세한 설명 및 실시예로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 유추할 수 있는 것은 본 발명의 권리범위에 속하는 것으로 해석된다.
도 1은 본 발명의 일 실시예에 따른 영상 처리 장치(20)의 일 예를 도시한 도면이다.
도 1을 참조하면, 영상 처리 장치(20)는 제 1 모델 생성부(210), 형상 정보 추출부(220), 특징점 결정부(230), 제 2 모델 생성부(240) 및 저장부(250)를 포함한다. 도 1에 도시된 영상 처리 장치(20)에는 본 실시예와 관련된 구성요소들만이 도시되어 있다. 따라서, 도 1에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 더 포함될 수 있음을 본 실시예와 관련된 기술분야에서 통상의 지식을 가진 자라면 이해할 수 있다.
또한, 도 1에 도시된 영상 처리 장치(20)의 제 1 모델 생성부(210), 형상 정보 추출부(220), 특징점 결정부(230), 제 2 모델 생성부(240) 및 저장부(250)는 하나 또는 복수 개의 프로세서에 해당할 수 있다. 프로세서는 다수의 논리 게이트들의 어레이로 구현될 수도 있고, 범용적인 마이크로 프로세서와 이 마이크로 프로세서에서 실행될 수 있는 프로그램이 저장된 메모리의 조합으로 구현될 수도 있다. 또한, 다른 형태의 하드웨어로 구현될 수도 있음을 본 실시예가 속하는 기술분야에서 통상의 지식을 가진 자라면 이해할 수 있다.
제 1 모델 생성부(210)는, 피검체의 일 호흡 주기 중 두 시점들에서 획득된 관심 영역(도 6의 30)을 나타내는 MR 영상들 또는 CT 영상들을 이용하여, 일 호흡 주기 동안 관심 영역(도 6의 30)의 위치 또는 형상의 변화를 나타내는 제 1 모델을 생성한다. 여기에서 피검체의 일 호흡 주기 중 두 시점들은 호흡 주기 중 최대 들숨인 시점 및 최대 날숨인 시점을 의미한다.
예를 들어, 제 1 모델 생성부(210)는 호흡 주기 중 최대 들숨인 시점에서 획득된 MR 또는 CT 영상 또는 최대 날숨인 시점에서 획득된 MR 또는 CT 영상 각각에 나타난 조직들의 표면 정보들을 분리(segmentation)한다. 여기에서 MR 또는 CT 영상은 관심 영역(도 6의 30)을 구성하는 조직들의 해부학적 정보가 포함된 영상을 의미하고, 조직에는 병변(lesion) 조직이 포함될 수 있다. 그리고 제 1 모델 생성부(210)는 분리된 표면 정보들을 이용하여 보간(interpolation)을 수행하여 모델들을 생성한다.
여기에서 모델은 피검체의 일 호흡 주기 동안 관심 영역(도 6의 30)의 위치 또는 형상의 변화를 나타내는 영상들의 집합을 의미한다.
제 1 모델 생성부(210)는 MR 또는 CT 영상(이하, 외부 영상(도 6의 40))이라고 함)을 외부의 촬영 장치로부터 직접 또는 저장부(250)로부터 입력받을 수 있다.
도 2는 본 발명의 일 실시예에 따른 제 1 모델 생성부(도 1의 210)가 동작하는 일 예를 도시한 도면이다.
제 1 모델 생성부(도 1의 210)는 피검체의 호흡 주기(2010) 중 최대 들숨인 시점(Mk)에서 획득된 외부 영상(도 6의 40)에 나타난 관심 영역(도 6의 30)에 포함된 조직들의 표면 정보들을 분리한다. 예를 들어, 외부 영상(도 6의 40)에 나타난 관심 영역(도 6의 30)이 피검체의 간(liver)(2020)이라고 가정하면, 제 1 모델 생성부(도 1의 210)는 간(2020)의 표면 및 간에 분포한 혈관(2030)의 표면을 분리한다. 또한, 피검체의 간(2020)에 병변(2040)이 존재한다면, 제 1 모델 생성부(도 1의 210)는 병변(2040)의 표면도 분리한다. 여기에서 표면은 조직의 외곽선을 의미할 수 있다.
또한, 제 1 모델 생성부(도 1의 210)는, 상술한 바와 동일한 방법으로, 피검체의 호흡 주기 중 최대 날숨인 시점(M0)에서 획득된 외부 영상(도 6의 40)에 나타난 관심 영역(도 6의 30)에 포함된 조직들의 표면 정보들을 분리한다.
여기에서 제 1 모델 생성부(도 1의 210)가 외부 영상(도 6의 40)에 나타난 조직들의 표면 정보들을 분리하는 구체적인 방법은 당해 기술 분야에서 통상의 지식을 가진 자에게 자명하므로, 이하 생략한다.
그 후, 제 1 모델 생성부(도 1의 210)는 분리된 표면 정보들을 이용하여 보간을 수행한다. 예를 들어, 제 1 모델 생성부(도 1의 210)는 베지어 곡선 보간(Bezier curve interpolation)을 이용하여 보간을 수행할 수 있다.
구체적으로, 제 1 모델 생성부(도 1의 210)는 서로 대응되는 형상에서 분리된 표면 정보들 간에 보간을 수행한다. 예를 들어, 제 1 모델 생성부(도 1의 210)는 최대 들숨인 시점(Mk)에서의 영상으로부터 분리한 혈관(2030)의 표면에 대한 정보와 최대 날숨인 시점(M0)에서의 영상으로부터 분리한 동일한 혈관(2030)의 표면에 대한 정보들을 이용하여 보간을 수행한다.
제 1 모델 생성부(도 1의 210)가 이와 동일한 방법으로 상기 두 영상들에서 서로 대응되는 영역들에 대한 보간을 수행함으로써, 한 호흡 주기(2010) 동안 관심 영역에 포함된 장기 또는 병변의 위치 및 형상의 변화를 나타내는 모델을 생성할 수 있다. 여기에서 제 1 모델 생성부(도 1의 210)가 보간(예를 들어, 베지어 곡선 보간)을 수행하는 구체적인 방법은 당해 기술 분야에서 통상의 지식을 가진 자에게 자명하므로, 이하 생략한다.
다시 도 1을 참조하면, 제 1 모델 생성부(210)는 생성된 모델을 저장부(250)로 전송한다. 여기에서 생성된 모델은 관심 영역(도 6의 30)에 포함된 조직들의 표면 정보가 나타난 메쉬(mesh) 형태의 영상이 될 수 있다.
한편, 제 1 모델 생성부(210)가 생성한 모델의 정확도는 외부 영상(도 6의 40)의 정밀도에 따라 좌우된다. 구체적으로, 외부 영상(도 6의 40)은 피검체의 최대 날숨과 최대 들숨인 시점에 획득되는데, 피검체(예를 들어, 환자)가 호흡을 참지 못하여 최대 날숨 또는 최대 들숨인 시점에서 정밀한 외부 영상(도 6의 40)을 획득하지 못할 수도 있다. 또한, 조영제(contrast media)가 피검체의 체내 혈관에 체류하는 적절한 시기를 계산하지 못하여 정밀한 외부 영상(도 6의 40)을 획득하지 못할 수도 있다. 이 경우, 제 1 모델 생성부(210)가 정밀하지 못한 외부 영상(도 6의 40)을 이용하여 생성한 제 1 모델은 피검체의 일 호흡 주기에 따른 관심 영역의 형상 및 위치의 변화를 정확하게 나타내지 못한다.
따라서 본 발명의 일 실시예에서는 영상 처리 장치(20)가 외부 영상(도 6의 40)이 정밀하게 획득되지 못한 시점에서 획득된 3차원 초음파 영상을 이용하여 제 1 모델이 갱신된 제 2 모델을 생성함으로써, 피검체의 일 호흡 주기에 따른 관심 영역(도 6의 30)을 구성하는 조직들의 형상 및 위치의 변화를 나타내는 모델을 정확하게 생성할 수 있다.
형상 정보 추출부(220)는 일 호흡 주기 중 하나의 시점에서 획득된 관심 영역(도 6의 30)을 나타내는 3차원 초음파 영상을 이용하여 관심 영역(도 6의 30)에 포함된 하나 이상의 조직들의 형상 정보들을 추출한다. 여기에서 조직은 횡격막(diaphragm) 또는 혈관(vessel)을 의미한다. 또한, 형상 정보는 조직의 굵기, 길이, 모양 등에 대한 정보를 포함할 수 있다. 또한, 일 호흡 주기 중 하나의 시점은 외부 영상(40)0)이 정밀하게 획득되지 못한 시점을 의미한다.
예를 들어, 형상 정보 추출부(220)는 진단용 초음파 프로브(도 6의 10)를 이용하여 생성된 3차원 초음파 영상에서 관심 영역(도 6의 30)에 포함된 하나 이상의 조직들의 형상 정보들을 추출할 수 있다. 여기에서 3차원 초음파 영상은 진단용 초음파 프로브(도 6의 10)가 직접 생성한 영상일 수도 있고, 영상 처리 장치(20) 내에 구비된 영상 생성부(미도시)가 진단용 초음파 프로브(도 6의 10)로부터 전송받은 전기적 펄스 신호들을 이용하여 관심 영역(도 6의 30)에 대한 3차원 초음파 영상을 생성할 수도 있다.
3차원 초음파 영상을 생성하는 구체적인 과정은 당해 기술 분야에서 통상의 지식을 가진 자에게 자명하므로, 구체적인 설명은 생략한다.
형상 정보 추출부(220)는 조직이 편평한지 여부를 판단하는 편평도 테스트(flatness test) 또는 조직이 튜브(tube) 형상인지 여부를 판단하는 베셀니스 테스트(vesselness test)를 수행하여 3차원 초음파 영상 상에서 조직들의 형상 정보들을 추출한다.
3차원 초음파 영상 상에서 횡격막은 전체적으로 접시(plate) 모양의 표면(surface)으로 이루어져 있다. 또한, 3차원 초음파 영상(구체적으로, 3차원 B-mode 영상)에서 횡격막은 상당히 넓은 영역에 걸쳐 존재하며, 횡격막을 구성하는 복셀(voxel)의 수도 많다. 따라서, 형상 정보 추출부(220)는 편평도 테스트를 수행하여 3차원 초음파 영상에서 횡격막에 대한 정보를 추출할 수 있다. 예를 들어, 형상 정보 추출부(220)는 3차원 초음파 영상에서 횡격막을 제외한 나머지 부분을 제거할 수 있다.
형상 정보 추출부(220)는 헤시안 분석(Hessian analysis)를 통해서 3차원 초음파 영상을 구성하는 각각의 복셀 포인트에서의 편평도 u(v)를 계산한다. 여기에서 u(v)는
Figure pat00001
의 조건을 갖는다.
구체적으로, 형상 정보 추출부(220)는 아래의 수학식 1을 통하여 헤시안 매트릭스(Hessian matrix)
Figure pat00002
를 계산한다.
Figure pat00003
위의 수학식 1에서, x, y, 및 z는 3차원 초음파 영상에서 임의의 원점을 기준으로 한 좌표축을 의미한다. 매트릭스를 구성하는 각 엘리먼트는 아래의 수학식 2 및 3으로 정의된다.
Figure pat00004
위의 수학식 2에서,
Figure pat00005
는 3차원 초음파 영상을 구성하는 복셀을 의미한다.
Figure pat00006
위의 수학식 2 및 3에서
Figure pat00007
는 표준 편차를 의미한다.
그 후, 형상 정보 추출부(220)는 계산된 헤시안 매트릭스
Figure pat00008
를 이용하여, 고유 분해(eigen decomposition)를 통해 헤시안 매트릭스
Figure pat00009
의 고유 벡터(eigen vector)의 각 방향 성분에 해당하는 고유치(eigen value)들
Figure pat00010
를 계산한다.
도 3은 본 발명의 일 실시예에 따른 형상 정보 추출부(도 1의 220)가 편평도 테스트의 과정으로 수행하는 헤시안 매트릭스 분석(analysis)의 개념도를 도시한 도면이다.
만약, 3차원 초음파 영상(310) 상에서 편평한 이미지로 간주되는 임의의 복셀 포인트(320) v가 있다면, 그 포인트(320)에서의 고유치 들의 크기는 법선(normal) 방향의 변화량을 의미하는
Figure pat00011
가 가장 크게 되고, 나머지 수평(horizontal) 방향의 변화량을 의미하는
Figure pat00012
과
Figure pat00013
는 거의 0에 가까운 값을 가지게 된다. 따라서, 형상 정보 추출부(도 1의 220)가 계산하는 편평도 u(v)는 아래의 수학식 4와 같다.
Figure pat00014
위의 수학식 4에서
Figure pat00015
,
Figure pat00016
및
Figure pat00017
는 각각 아래의 수학식 5 내지 7로 정의된다.
Figure pat00018
Figure pat00019
Figure pat00020
다시 도 1을 참조하면, 형상 정보 추출부(220)는 상술한 헤시안 매트릭스 분석을 통해 계산한 편평도 u(v)를 이용하여 3차원 초음파 영상을 구성하는 각 복셀 포인트에서 일정한 역치(threshold) 값 보다 큰 값을 가지는 복셀 포인트들을 횡격막을 나타내는 복셀 포인트들로 간주할 수 있다. 즉, 형상 정보 추출부(220)는 3차원 초음파 영상을 구성하는 각 복셀 포인트에서 일정한 역치(threshold) 값 보다 작은 값을 가지는 복셀 포인트들을 편평도 테스트를 통해서 제거할 수 있다.
또한, 3차원 초음파 영상 상에서 혈관은 전체적으로 직선 형상으로, 튜브(tube) 모양의 표면(surface)으로 이루어져 있다. 또한, 3차원 초음파 영상(구체적으로, 3차원 B-mode 영상)에서 혈관은 상당히 넓은 영역에 걸쳐 존재하며, 혈관을 구성하는 복셀(voxel)의 수도 많다. 따라서, 형상 정보 추출부(220)는 베셀니스 테스트를 수행하여 3차원 초음파 영상에서 혈관에 대한 정보를 추출할 수 있다. 예를 들어, 형상 정보 추출부(220)는 3차원 초음파 영상에서 혈관을 제외한 나머지 부분을 제거할 수 있다.
도 4는 본 발명의 일 실시예에 따른 형상 정보 추출부(도 1의 220)가 베셀니스 테스트의 과정으로 수행하는 헤시안 매트릭스 분석(analysis)의 개념도를 도시한 도면이다.
형상 정보 추출부(도 1의 220)가 3차원 초음파 영상을 구성하는 복셀들에 대하여 베셀니스 테스트를 수행하는 방법은 상술한 편평도 테스트를 수행하는 방법과 유사하다. 구체적으로, 형상 정보 추출부(도 1의 220)는 상술한 헤시안 매트릭스의 고유 값들
Figure pat00021
을 계산하여 베셀니스 테스트를 수행한다.
만약, 3차원 초음파 영상(410) 상에서 직선 형상을 갖는 이미지로 간주되는 임의의 복셀 포인트(420) n이 있다면, 그 포인트(420)에서의 고유치들의 크기는 직선의 진행 방향의 변화량을 의미하는
Figure pat00022
가 가장 작게 되고, 나머지 방향의 변화량을 의미하는
Figure pat00023
과
Figure pat00024
는
Figure pat00025
에 비하여 매우 큰 값을 가지게 된다.
따라서, 특정 복셀 포인트(420) n에서 가장 작은 고유 값
Figure pat00026
의 크기가 미리 정해진 역치(threshold) 보다 작다면 한쪽으로 방향성을 갖는 것으로 판단하여, 형상 정보 추출부(도 1의 220)는 그 복셀 포인트(420)가 혈관에 속한 것으로 간주할 수 있다. 즉, 형상 정보 추출부(도 1의 220)는 3차원 초음파 영상을 구성하는 각 복셀 포인트에서 일정한 역치(threshold) 값 보다 큰 값을 가지는 복셀 포인트들을 베셀니스 테스트를 통해서 제거할 수 있다.
다시 도 1을 참조하면, 형상 정보 추출부(220)는 추출된 형상 정보들을 특징점 결정부(230)로 전송한다. 또한, 형상 정보 추출부(220)는 추출된 형상 정보들을 저장부(250)로 전송할 수도 있다. 여기에서 추출된 형상 정보들은 3차원 초음파 영상에서 추출된 조직의 형상을 나타내는 부분을 제외한 나머지 부분을 제거한 영상을 의미한다.
특징점 결정부(230)는 제 1 모델과 추출된 형상 정보들의 정합을 통하여 제 1 모델의 특징점에 대응되는 3차원 초음파 영상 상의 특징점을 결정한다. 예를 들어, 특징점 결정부(230)는 저장부(250)로부터 전송받은 제 1 모델과 형상 정보 추출부(220)로부터 전송받은 형상 정보들을 정합하여 제 1 모델의 특징점에 대응되는 3차원 초음파 영상 상의 특징점을 결정한다. 구체적으로, 특징점 결정부(230)는 3차원 초음파 영상 상에서 제 1 모델의 특징점에 대응되는 특징점이 존재하는 위치에 대한 정보를 획득할 수 있다.
특징점 결정부(230)는 제 1 모델과 형상 정보들의 강체 정합(rigid registration)을 수행하고, 강체 정합된 결과를 이용하여 비 강체 정합(non-rigid registration)을 수행하여, 3차원 초음파 영상 상의 특징점을 결정한다.
도 5는 본 발명의 일 실시예에 따른 특징점 결정부(도 1의 230)가 수행하는 강체 정합 및 비 강체 정합의 개념을 나타내는 모식도이다.
도 5의 (a) 내지 (c)를 참조하면, 식별번호 510, 530 및 550은 제 1 모델에서 소정 부분의 형상의 일 예를 나타내고, 식별번호 520, 540 및 560은 3차원 초음파 영상에서 추출된 상기 제 1 모델의 소정의 부분과 대응되는 조직의 형상의 일 예를 나타낸다. 즉, 도 5의 (a) 내지 (c)에 도시된 그림들은 특징점 결정부(230)가 수행하는 동작을 설명하기 위한 예시일 뿐, 그 자체로서 제 1 모델 또는 3차원 초음파 영상에서 추출된 형상 정보를 의미하지 않는다. 또한, 도 5의 식별번호 510 내지 560은 제 1 모델 또는 3차원 초음파 영상에서 추출된 형상 정보를 선으로 구성된 도형으로 표현되었으나, 메쉬 형태인 점(point)들의 집합이 될 수도 있다.
먼저, 도 5의 (a) 및 (b)를 참조하면, 특징점 결정부(도 1의 230)는 제 1 모델과 형상 정보의 강체 정합(rigid registration)을 수행한다. 구체적으로 특징점 결정부(도 1의 230)는 형상 정보(520)의 회전, 스케일 조정, 평행 이동을 통해 형상 정보(520)를 제 1 모델(510)의 위치와 대략적으로 일치시킨다. 예를 들어, 특징점 결정부(도 1의 230)는 ICP(iterative closest point) 알고리즘을 이용하여 형상 정보(520)를 제 1 모델(510)의 위치와 대략적으로 일치시킬 수 있다. 여기에서, ICP(iterative closest point) 알고리즘이란 복수개의 영상 내의 대상체를 정렬시키기 위해서 하나의 영상을 기준으로 나머지 영상을 회전, 평행이동, 스케일 조정을 시키는 알고리즘이다. ICP(iterative closest point) 알고리즘은 "Iterative point matching for registration of free-form curves and surfaces" (Zhengyou Zhang 저)에 자세한 설명이 나와있다.
도 5의 (b)를 참조하면, 특징점 결정부(도 1의 230)가 강체 정합만을 수행한다면, 제 1 모델(530)과 형상 정보(540)는 정확하게 정합되지 않을 수 있다. 따라서, 특징점 결정부(도 1의 230)는 강체 정합된 결과를 이용하여 비 강체 정합(non-rigid registration)을 수행함으로써 제 1 모델(530)과 형상 정보(540)는 정확하게 정합할 수 있다.
구체적으로, 특징점 결정부(도 1의 230)는 형상 정보(540)를 구성하는 특징점들을 제 1 모델(530)를 구성하는 특징점들에 맞게 변형하여 비 강체 정합을 수행한다.
예를 들어, 특징점 결정부(도 1의 230)는 아래의 수학식 8 및 9를 이용하여 비 강체 정합을 수행할 수 있다.
Figure pat00027
위의 수학식 8에서,
Figure pat00028
는
Figure pat00029
의 관계식을 갖는다. 여기에서, A는
Figure pat00030
를 의미하며,
Figure pat00031
는 변형시켜서 정합하려는 점들의 집합(S) 중에서 한 점을 의미한다. 예를 들어, x는 도 5의 (b)에 도시한 형상 정보(540)를 구성하는 점들의 집합 중에서 임의의 한 점을 의미한다.
또한,
Figure pat00032
는 x를 기준으로 모델을 구성하는 점들의 집합(T) 중에서 가장 가까운 점의 좌표를 의미한다. 예를 들어, cl(x, T)는 도 5의 (b)에 도시한 제 1 모델(530)을 구성하는 점들의 집합 중에서 x와 가장 가까운 점을 의미한다.
위의 수학식 8에서,
Figure pat00033
는 아래의 수학식 9에 의하여 정의된다.
Figure pat00034
도 5의 (c)를 참조하면, 특징점 결정부(도 1의 230)는 제 1 모델(550)과 형상 정보(560)의 정합된 결과(구체적으로, 강체 정합 및 비 강체 정합된 결과)를 이용하여 제 1 모델의 특징점에 대응되는 3차원 초음파 영상 상의 특징점에 대한 정보를 획득할 수 있다. 여기에서 특징점에 대한 정보는 3차원 초음파 영상 상에서 특징점이 존재하는 위치에 대한 정보를 의미한다.
다시 도 1을 참조하면, 특징점 결정부(230)는 획득된 특징점에 대한 정보를 제 2 모델 생성부(240)로 전송한다. 또한, 특징점 결정부(230)는 결정된 특징점에 대한 정보를 저장부(250)로 전송할 수도 있다.
제 2 모델 생성부(240)는 결정된 특징점을 이용하여 상기 제 1 모델이 갱신된 제 2 모델을 생성한다. 예를 들어, 제 2 모델 생성부(240)는 특징점 결정부(230)로부터 전송받은 특징점에 대한 정보를 이용하여 제 1 모델을 갱신한 제 2 모델을 생성할 수 있다.
먼저, 제 2 모델 생성부(240)는 외부 영상(도 6의 40)들을 이용하여 관심 영역(도 6의 30)에 포함된 조직의 물리적 특성을 계산한다. 구체적으로, 제 2 모델 생성부(240)는 저장부(250)로부터 외부 영상(도 6의 40)들을 전송받아, 제 1 모델의 변형을 위한 물리적 특성을 계산한다. 여기에서 물리적 특성은 외부 영상에 나타난 특정 조직에 가해진 힘이 주변 조직들에 미치는 영향을 의미하며, 예를 들어 조직의 탄성(elasticity)이 해당 될 수 있다.
그 후, 제 2 모델 생성부(240)는 특징점과 제 1 모델 상의 정점을 매칭한다. 여기에서 특징점은 특징점 결정부(230)가 획득한 3차원 초음파 영상 상의 특징점을 의미한다. 예를 들어, 제 2 모델 생성부(240)는 비 강체 정합된 결과를 이용하여 특징점이 제 1 모델을 구성하는 점들 중에서 어느 점에 대응되는지를 찾을 수 있다.
그 후, 제 2 모델 생성부(240)는 매칭된 결과를 이용하여 제 2 모델을 생성한다. 예를 들어, 제 2 모델 생성부(240)는 매칭 결과에 물리적 특성을 반영하여, 제 1 모델이 갱신된 제 2 모델을 생성할 수 있다.
구체적으로, 제 2 모델 생성부(240)가 관심 영역(도 6의 30)에 포함된 조직의 물리적 특성을 계산함으로써, 관심 영역(도 6의 30) 내의 임의의 한 점(예를 들어, 특징점)이 움직일 때 이에 대응하여 관심 영역(도 6의 30) 내의 다른 점들이 어떻게 변형되는지(예를 들어, 특징점을 제외한 다른 점들이 어디로 이동하는지) 알 수 있다. 따라서, 제 2 모델 생성부(240)는 제 1 모델을 기초로 3차원 초음파 영상 상에 나타난 관심 영역(도 6의 30)에 관한 정보를 반영한 제 2 모델을 생성할 수 있다. 여기에서 관심 영역(도 6의 30)에 관한 정보는 관심 영역의 형상 및 위치의 변화를 의미한다.
도 6은 본 발명의 일 실시예에 따른 모델 생성 시스템(1)의 사용 환경의 다른 예를 도시한 도면이다.
본 실시예에 따른 모델 생성 시스템(1)은 진단용 초음파 프로브(10), 영상 처리 장치(20)로 구성된다. 그리고 모델 생성 시스템(1)은 영상 표시 장치(50) 또는 치료용 초음파 프로브(60)를 더 포함할 수 있다.
도 6에 도시된 모델 생성 시스템(1)은 본 실시예와 관련된 구성요소들만이 도시되어 있다. 따라서, 도 6에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 더 포함될 수 있음을 본 실시예와 관련된 기술분야에서 통상의 지식을 가진 자라면 이해할 수 있다.
또한, 도 6에 도시된 모델 생성 시스템(1)은 도 1에 도시된 영상 처리 장치(20)의 일 실시예에 해당한다. 이에 따라, 도 1과 관련하여 기재된 내용은 도 6에 도시된 모델 생성 시스템(1)에도 적용 가능하기 때문에 중복되는 설명은 생략한다.
치료용 초음파 프로브(60)은 피검체의 관심 영역(30) 내에 존재하는 병변에 HIFU(high intensity focused ultrasound) 등의 치료용 초음파를 조사한다. 구체적으로, 영상 처리 장치(20)는 생성된 제 2 모델을 이용하여 병변에 조사할 치료용 초음파를 생성하는 치료용 초음파 생성부(미도시)를 더 포함할 수도 있다. 치료용 초음파 프로브(60)는 치료용 초음파 생성부(미도시)로부터 전송받은 신호를 이용하여 병변에 치료용 초음파를 조사할 수 있다.
영상 표시 장치(50)는 영상 처리 장치(20)에서 생성된 제 1 모델 영상, 3차원 초음파 영상 또는 제 2 모델 영상을 표시한다. 예를 들어, 영상 표시 장치(50)는 모델 생성 시스템(1)에 마련된 디스플레이 패널, LCD 화면, 모니터 등의 출력 장치를 모두 포함한다. 영상 처리 장치(20)에서 획득된 관심 영역에 대한 정보는 영상 표시 장치(40)를 통하여 사용자에게 제공되어 조직의 상태나 조직의 위치 또는 형태의 변화를 파악하는데 활용될 수 있다.
도 7은 본 발명의 일 실시예에 따른 체내 관심 영역의 형상 및 위치 변화를 나타내는 모델을 생성하는 방법을 나타내는 흐름도이다.
도 7을 참조하면, 장기의 변화를 추적하는 방법은 도 1 또는 도 6에 도시된 영상 처리 장치(도 1의 20) 또는 모델 생성 시스템(도 6의 1)에서 시계열적으로 처리되는 단계들로 구성된다. 따라서, 이하에서 생략된 내용이라 하더라도 도 1 또는 도 6에 도시된 영상 처리 장치(도 1의 20) 또는 모델 생성 시스템(도 6의 1)에 관하여 이상에서 기술된 내용은 도 7의 모델을 생성하는 방법에도 적용됨을 알 수 있다.
710 단계에서, 제 1 모델 생성부(도 1의 210)는, 피검체의 일 호흡 주기 중 두 시점들에서 획득된 관심 영역(도 6의 30)을 나타내는 MR 영상들 또는 CT 영상들을 이용하여, 일 호흡 주기 동안 관심 영역(도 6의 30)의 위치 또는 형상의 변화를 나타내는 제 1 모델을 생성한다. 여기에서 피검체의 일 호흡 주기 중 두 시점들은 호흡 주기 중 최대 들숨인 시점 및 최대 날숨인 시점을 의미한다.
720 단계에서, 형상 정보 추출부(도 1의 220)는 일 호흡 주기 중 하나의 시점에서 획득된 관심 영역(도 6의 30)을 나타내는 3차원 초음파 영상을 이용하여 관심 영역(도 6의 30)에 포함된 하나 이상의 조직들의 형상 정보들을 추출한다. 여기에서 조직은 횡격막(diaphragm) 또는 혈관(vessel)을 의미한다. 또한, 형상 정보는 조직의 굵기, 길이, 모양 등에 대한 정보를 포함할 수 있다. 또한, 일 호흡 주기 중 하나의 시점은 외부 영상(도 6의 40)이 정밀하게 획득되지 못한 시점을 의미한다.
730 단계에서, 특징점 결정부(도 1의 230)는 제 1 모델과 추출된 형상 정보들의 정합을 통하여 제 1 모델의 특징점에 대응되는 3차원 초음파 영상 상의 특징점을 결정한다. 구체적으로, 특징점 결정부(도 1의 230)는 제 1 모델과 형상 정보들의 강체 정합(rigid registration)을 수행하고, 강체 정합된 결과를 이용하여 비 강체 정합(non-rigid registration)을 수행한다. 그리고 특징점 결정부(도 1의 230)는 비 강체 정합된 결과를 이용하여 3차원 초음파 영상 상의 특징점을 결정한다.
740 단계에서, 제 2 모델 생성부(도 1의 240)는 결정된 특징점을 이용하여 상기 제 1 모델이 갱신된 제 2 모델을 생성한다.
상기된 바에 따르면, 영상 처리 장치(도 1의 20)는 환자의 호흡 주기 동안 변화하는 체내 장기의 형상 및 위치를 정확하게 반영한 모델을 생성할 수 있다. 또한, 영상 처리 장치(도 1의 20)는 3차원 초음파 영상에서 뚜렷하게 식별할 수 있는 특징들만을 사용하여 장기의 변화를 추적하므로, 노이즈(noise)에 강인한 추적이 가능하다. 또한, 영상 처리 장치(도 1의 20)가 호흡에 따른 환자의 체내 장기의 변화를 정확하게 추적함으로써 HIFU, radiation therapy 등에 적용할 경우 시술의 정확도를 향상시킬 수 있고, 시술 시간을 단축시킬 수 있다.
또한, 상술한 방법에서 사용된 데이터의 구조는 컴퓨터로 읽을 수 있는 기록매체에 여러 수단을 통하여 기록될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 램, USB, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등), PC 인터페이스(PC Interface)(예를 들면, PCI, PCI-express, Wifi 등)와 같은 저장매체를 포함한다.
본 실시예와 관련된 기술 분야에서 통상의 지식을 가진 자는 상기된 기재의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 방법들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
20: 영상 처리 장치
50: 외부 영상
210: 제 1 모델 생성부
220: 형상 정보 추출부
230: 특징점 결정부
240: 제 2 모델 생성부
250: 저장부

Claims (16)

  1. 피검체의 일 호흡 주기에 따른 체내 관심 영역의 형상 및 위치의 변화를 나타내는 모델을 생성하는 방법에 있어서,
    상기 일 호흡 주기 중 두 시점들에서 획득된 상기 관심 영역을 나타내는 MR 영상들 또는 CT 영상들을 이용하여 상기 일 호흡 주기 동안 상기 관심 영역의 위치 또는 형상의 변화를 나타내는 제 1 모델을 생성하는 단계;
    상기 일 호흡 주기 중 하나의 시점에서 획득된 상기 관심 영역을 나타내는 3차원 초음파 영상을 이용하여 상기 관심 영역에 포함된 하나 이상의 조직들의 형상 정보들을 추출하는 단계;
    상기 제 1 모델과 상기 추출된 형상 정보들의 정합을 통하여 상기 제 1 모델의 특징점에 대응되는 상기 3차원 초음파 영상 상의 특징점을 결정하는 단계; 및
    상기 결정된 특징점을 이용하여 상기 제 1 모델이 갱신된 제 2 모델을 생성하는 단계;를 포함하는 방법.
  2. 제 1 항에 있어서,
    상기 추출하는 단계는 상기 조직이 편평한지 여부를 판단하는 편평도 테스트(flatness test) 또는 상기 조직이 튜브(tube) 형상인지 여부를 판단하는 베셀니스 테스트(vesselness test)를 수행하여 상기 3차원 초음파 영상 상에서 상기 조직들의 형상 정보들을 추출하는 단계인 방법.
  3. 제 1 항에 있어서,
    상기 조직은 횡격막(diaphragm) 또는 혈관(vessel)을 포함하는 방법.
  4. 제 1 항에 있어서,
    상기 결정하는 단계는
    상기 제 1 모델과 상기 추출된 형상 정보들의 강체 정합(rigid registration)을 수행하는 단계; 및
    상기 강체 정합된 결과를 이용하여 비 강체 정합(non-rigid registration)을 수행하는 단계;를 포함하는 방법.
  5. 제 1 항에 있어서,
    상기 제 2 모델을 생성하는 단계는
    상기 CT 영상들 또는 MR 영상들을 이용하여 상기 관심 영역에 포함된 조직의 물리적 특성을 계산하는 단계;
    상기 물리적 특성을 이용하여 상기 특징점과 상기 제 1 모델 상의 정점을 매칭하는 단계; 및
    상기 매칭된 결과를 이용하여 상기 제 2 모델을 생성하는 단계;를 포함하는 방법.
  6. 제 1 항에 있어서,
    상기 제 1 모델을 생성하는 단계는
    상기 CT 영상들 또는 MR 영상들 각각에 나타난 조직들의 표면 정보들을 분리(segmentation)하는 단계; 및
    상기 분리된 표면 정보들을 이용하여 보간(interpolation)을 수행하는 단계;를 포함하는 방법.
  7. 제 6 항에 있어서,
    상기 조직은 병변(lesion) 조직을 포함하는 방법.
  8. 제 1 항 내지 제 7 항 중에 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램으로 기록한 컴퓨터로 읽을 수 있는 기록매체.
  9. 피검체의 일 호흡 주기에 따른 체내 관심 영역의 형상 및 위치의 변화를 나타내는 모델을 생성하는 장치에 있어서,
    상기 일 호흡 주기 중 두 시점들에서 획득된 상기 관심 영역을 나타내는 MR 영상들 또는 CT 영상들을 이용하여 상기 일 호흡 주기 동안 상기 관심 영역의 위치 또는 형상의 변화를 나타내는 제 1 모델을 생성하는 제 1 모델 생성부;
    상기 일 호흡 주기 중 하나의 시점에서 획득된 상기 관심 영역을 나타내는 3차원 초음파 영상을 이용하여 상기 관심 영역에 포함된 하나 이상의 조직들의 형상 정보들을 추출하는 형상 정보 추출부;
    상기 제 1 모델과 상기 추출된 형상 정보들의 정합을 통하여 상기 제 1 모델의 특징점에 대응되는 상기 3차원 초음파 영상 상의 특징점을 결정하는 특징점 결정부; 및
    상기 결정된 특징점을 이용하여 상기 제 1 모델이 갱신된 제 2 모델을 생성하는 제 2 모델 생성부;를 포함하는 장치.
  10. 제 9 항에 있어서,
    상기 형상 정보 추출부는 상기 조직이 편평한지 여부를 판단하는 편평도 테스트(flatness test) 또는 상기 조직이 튜브(tube) 형상인지 여부를 판단하는 베셀니스 테스트(vesselness test)를 수행하여 상기 3차원 초음파 영상 상에서 상기 조직들의 형상 정보들을 추출하는 장치.
  11. 제 9 항에 있어서,
    상기 조직은 횡격막(diaphragm) 또는 혈관(vessel)을 포함하는 장치.
  12. 제 9 항에 있어서,
    상기 특징점 결정부는 상기 제 1 모델과 상기 추출된 형상 정보들의 강체 정합(rigid registration)과 비 강체 정합(non-rigid registration)을 수행하여 상기 특징점을 결정하는 장치.
  13. 제 9 항에 있어서,
    상기 제 2 모델 생성부는 상기 CT 영상들 또는 MR 영상들을 이용하여 상기 관심 영역에 포함된 조직의 물리적 특성을 계산하고, 상기 계산된 물리적 특성을 이용하여 상기 특징점과 상기 제 1 모델 상의 정점을 매칭하고, 상기 매칭된 결과를 이용하여 상기 제 2 모델을 생성하는 장치.
  14. 제 9 항에 있어서,
    제 1 모델 생성부는 상기 CT 영상들 또는 MR 영상들 각각에 나타난 조직들의 표면 정보들을 분리(segmentation)하고, 상기 분리된 표면 정보들을 이용하여 보간(interpolation)을 수행하는 장치.
  15. 제 14 항에 있어서,
    상기 조직은 병변(lesion) 조직을 포함하는 장치.
  16. 피검체의 일 호흡 주기에 따른 체내 관심 영역의 형상 및 위치의 변화를 나타내는 모델을 생성하는 시스템에 있어서,
    상기 일 호흡 주기 중 하나의 시점에서 상기 관심 영역을 나타내는 3차원 초음파 영상을 획득하는 초음파 프로브(probe); 및
    상기 일 호흡 주기 중 하나 이상의 시점에서 획득된 CT 영상들 또는 MR 영상들을 이용하여 상기 관심 영역에 대한 제 1 모델을 생성하고, 상기 제 1 모델과 상기 3차원 초음파 영상의 정합을 통하여 결정된 상기 3차원 초음파 영상 상의 특징점을 이용하여 상기 제 1 모델이 갱신된 제 2 모델을 생성하는 영상 처리 장치;를 포함하는 시스템.
KR1020130013493A 2013-02-06 2013-02-06 일 호흡 주기에 따른 장기의 형상 및 위치의 변화를 나타내는 모델을 생성하는 방법, 장치 및 시스템. KR102106535B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020130013493A KR102106535B1 (ko) 2013-02-06 2013-02-06 일 호흡 주기에 따른 장기의 형상 및 위치의 변화를 나타내는 모델을 생성하는 방법, 장치 및 시스템.
US14/093,866 US9262685B2 (en) 2013-02-06 2013-12-02 Method and apparatus for representing changes in shape and location of organ in respiration cycle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130013493A KR102106535B1 (ko) 2013-02-06 2013-02-06 일 호흡 주기에 따른 장기의 형상 및 위치의 변화를 나타내는 모델을 생성하는 방법, 장치 및 시스템.

Publications (2)

Publication Number Publication Date
KR20140100648A true KR20140100648A (ko) 2014-08-18
KR102106535B1 KR102106535B1 (ko) 2020-05-06

Family

ID=51258848

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130013493A KR102106535B1 (ko) 2013-02-06 2013-02-06 일 호흡 주기에 따른 장기의 형상 및 위치의 변화를 나타내는 모델을 생성하는 방법, 장치 및 시스템.

Country Status (2)

Country Link
US (1) US9262685B2 (ko)
KR (1) KR102106535B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160076868A (ko) * 2014-12-23 2016-07-01 삼성전자주식회사 의료영상 장치, 영상 처리 장치 및 영상 융합 방법
WO2016208799A1 (ko) * 2015-06-23 2016-12-29 연세대학교 산학협력단 혈관 검출 장치 및 이의 혈관 검출 방법
WO2017099375A1 (ko) * 2015-12-11 2017-06-15 삼성전자 주식회사 영상처리장치 및 그의 영상처리방법
WO2019164093A1 (ko) * 2018-02-23 2019-08-29 서울대학교산학협력단 Ct 데이터와 광학 데이터의 정합성능 향상 방법 및 그 장치
KR20220043558A (ko) * 2020-09-29 2022-04-05 박표원 호흡 운동 추적 기반 폐 ct 영상을 이용한 3차원 애니메이션 동영상 제공 방법 및 이를 기록한 기록매체

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9058692B1 (en) 2014-04-16 2015-06-16 Heartflow, Inc. Systems and methods for image-based object modeling using multiple image acquisitions or reconstructions
JP6689666B2 (ja) * 2016-05-12 2020-04-28 株式会社日立製作所 超音波撮像装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101017610B1 (ko) * 2008-06-04 2011-02-28 한국과학기술원 초음파 영상과 ｃｔ 영상의 정합 시스템 및 방법
US8027430B2 (en) * 2007-07-30 2011-09-27 Varian Medical Systems International Ag Systems and methods for adapting a movement model based on an image
US20120109608A1 (en) * 2010-10-29 2012-05-03 Core Matthew A Method and apparatus for selecting a tracking method to use in image guided treatment
US8751200B2 (en) * 2008-11-21 2014-06-10 Tohoku University Signal processing for predicting an input time series signal and application thereof to predict position of an affected area during radiotherapy

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3878456B2 (ja) 2001-11-14 2007-02-07 ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー 画像診断支援システム
EP2131212A3 (en) 2008-06-05 2011-10-05 Medison Co., Ltd. Non-Rigid Registration Between CT Images and Ultrasound Images
KR101028798B1 (ko) 2008-08-27 2011-04-12 울산대학교 산학협력단 다중 페이즈 간 ｃｔ영상들의 정합을 이용한 간세포암 검출방법
KR101144579B1 (ko) 2009-08-18 2012-05-09 서울여자대학교 산학협력단 호기 및 흡기 컴퓨터 단층촬영 영상의 비강체 폐 영상 정합 장치 및 방법
US8478012B2 (en) * 2009-09-14 2013-07-02 General Electric Company Methods, apparatus and articles of manufacture to process cardiac images to detect heart motion abnormalities

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8027430B2 (en) * 2007-07-30 2011-09-27 Varian Medical Systems International Ag Systems and methods for adapting a movement model based on an image
KR101017610B1 (ko) * 2008-06-04 2011-02-28 한국과학기술원 초음파 영상과 ｃｔ 영상의 정합 시스템 및 방법
US8751200B2 (en) * 2008-11-21 2014-06-10 Tohoku University Signal processing for predicting an input time series signal and application thereof to predict position of an affected area during radiotherapy
US20120109608A1 (en) * 2010-10-29 2012-05-03 Core Matthew A Method and apparatus for selecting a tracking method to use in image guided treatment

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160076868A (ko) * 2014-12-23 2016-07-01 삼성전자주식회사 의료영상 장치, 영상 처리 장치 및 영상 융합 방법
WO2016208799A1 (ko) * 2015-06-23 2016-12-29 연세대학교 산학협력단 혈관 검출 장치 및 이의 혈관 검출 방법
WO2017099375A1 (ko) * 2015-12-11 2017-06-15 삼성전자 주식회사 영상처리장치 및 그의 영상처리방법
US10719935B2 (en) 2015-12-11 2020-07-21 Samsung Electronics Co., Ltd. Image processing apparatus and image processing method thereof
WO2019164093A1 (ko) * 2018-02-23 2019-08-29 서울대학교산학협력단 Ct 데이터와 광학 데이터의 정합성능 향상 방법 및 그 장치
KR20190101694A (ko) * 2018-02-23 2019-09-02 서울대학교산학협력단 Ct 데이터와 광학 데이터의 정합성능 향상 방법 및 그 장치
KR20220043558A (ko) * 2020-09-29 2022-04-05 박표원 호흡 운동 추적 기반 폐 ct 영상을 이용한 3차원 애니메이션 동영상 제공 방법 및 이를 기록한 기록매체

Also Published As

Publication number Publication date
KR102106535B1 (ko) 2020-05-06
US20140218359A1 (en) 2014-08-07
US9262685B2 (en) 2016-02-16

Similar Documents

Publication Publication Date Title
KR102106535B1 (ko) 일 호흡 주기에 따른 장기의 형상 및 위치의 변화를 나타내는 모델을 생성하는 방법, 장치 및 시스템.
KR102114415B1 (ko) 의료 영상 정합 방법 및 장치
US11645768B2 (en) Multi image fusion based positioning verification
KR102094502B1 (ko) 의료 영상들의 정합 방법 및 장치
KR20140126815A (ko) 호흡 주기 동안 체내 장기의 변화를 추적하는 방법, 장치 및 시스템.
JP6533991B2 (ja) 医用画像処理装置、方法、プログラム及び放射線治療装置
US9968333B2 (en) Method and apparatus for analyzing elastography of tissue using ultrasound waves
KR102070427B1 (ko) 종양의 위치를 추적하는 방법 및 장치
JP2010246883A (ja) 患者位置決めシステム
KR20150118484A (ko) 의료 영상 정합 방법 및 장치
EP3468668B1 (en) Soft tissue tracking using physiologic volume rendering
CN106456253B (zh) 免于重建的自动多模态超声配准
JP5495886B2 (ja) 患者位置決めシステム
KR20120096265A (ko) 초음파 치료를 위한 종양 추적 장치 및 방법, 초음파 치료 시스템
JP7397909B2 (ja) 肺癌放射線のためのガイダンス
KR20130143434A (ko) 고강도 집속 초음파의 초점을 결정하는 방법 및 장치
Fei et al. A molecular image-directed, 3D ultrasound-guided biopsy system for the prostate
Waine et al. Three-dimensional needle shape estimation in trus-guided prostate brachytherapy using 2-d ultrasound images
Qiu et al. Phase grouping-based needle segmentation in 3-D trans-rectal ultrasound-guided prostate trans-perineal therapy
Moradi et al. Seed localization in ultrasound and registration to C-arm fluoroscopy using matched needle tracks for prostate brachytherapy
EP3790626B1 (en) Computation of a breathing curve for medical applications
JP6692817B2 (ja) 対象物体の変位を計算する方法及びシステム
JP2015529529A (ja) 乳房ｍｒ画像及び放射性マーカーに基づく乳房外科誘導
US11266857B2 (en) Long-exposure-time-imaging for determination of periodically moving structures
JP6703470B2 (ja) データ処理装置及びデータ処理方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right