KR20150129506A - 의료 영상 정합 방법 및 그 장치 - Google Patents

의료 영상 정합 방법 및 그 장치 Download PDF

Info

Publication number
KR20150129506A
KR20150129506A KR1020140056573A KR20140056573A KR20150129506A KR 20150129506 A KR20150129506 A KR 20150129506A KR 1020140056573 A KR1020140056573 A KR 1020140056573A KR 20140056573 A KR20140056573 A KR 20140056573A KR 20150129506 A KR20150129506 A KR 20150129506A
Authority
KR
South Korea
Prior art keywords
medical image
entity
image
axis
medical
Prior art date
Application number
KR1020140056573A
Other languages
English (en)
Other versions
KR102233966B1 (ko
Inventor
김정배
오영택
황영규
서준호
방원철
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020140056573A priority Critical patent/KR102233966B1/ko
Priority to CN201510027082.3A priority patent/CN105096306B/zh
Priority to US14/707,099 priority patent/US10548556B2/en
Priority to EP15167374.6A priority patent/EP2944258B1/en
Publication of KR20150129506A publication Critical patent/KR20150129506A/ko
Application granted granted Critical
Publication of KR102233966B1 publication Critical patent/KR102233966B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5247—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from an ionising-radiation diagnostic technique and a non-ionising radiation diagnostic technique, e.g. X-ray and ultrasound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/0035—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for acquisition of images from more than one imaging mode, e.g. combining MRI and optical tomography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46—Arrangements for interfacing with the operator or the patient
    • A61B6/461—Displaying means of special interest
    • A61B6/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42—Details of probe positioning or probe attachment to the patient
    • A61B8/4245—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42—Details of probe positioning or probe attachment to the patient
    • A61B8/4245—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient
    • A61B8/4254—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient using sensors mounted on the probe
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A61B8/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A61B8/5261—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from different diagnostic modalities, e.g. ultrasound and X-ray
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0062—Arrangements for scanning
    • A61B5/0066—Optical coherence imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/037—Emission tomography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5223—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data generating planar views from image data, e.g. extracting a coronal view from a 3D image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/13—Tomography
    • A61B8/14—Echo-tomography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10101—Optical tomography; Optical coherence tomography [OCT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10104—Positron emission tomography [PET]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10108—Single photon emission computed tomography [SPECT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30172—Centreline of tubular or elongated structure

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Pulmonology (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

의료 영상 정합 방법 및 그 장치를 제공한다. 본 의료 영상 정합 방법은, 대상체의 축과 평행하게 배치된 프로브의 축을 기준축으로 설정하고, 프로브를 통해 획득된 제1 의료 영상으로부터 제1 개체를 추출하며, 제1 의료 영상과 모달리티가 다른 제2 의료 영상으로부터 제2 개체를 추출하고, 기준축을 이용하여 상기 제1 개체와 상기 제2 개체를 정렬시킴으로써, 상기 제1 의료 영상과 상기 제2 의료 영상을 정합한다.

Description

의료 영상 정합 방법 및 그 장치{Method and Appartus for registering medical images}
본 개시는 모달리티(modality)가 상이한 의료 영상들을 정합하는 방법 및 장치에 관한 것이다.
최근 의료기술의 발달로 인해 높은 해상도의 의료 영상을 얻을 수 있다. 그리고, 의료 기구의 미세한 조작이 가능해 짐에 따라서, 시술 부위를 노출시키기 위한 절개를 하지 않고도 피부에 작은 구멍을 만든 뒤 혈관 혹은 기타 원하는 신체 부위에 직접 카테터나 의료용 바늘을 넣고 의학 영상 장비로 몸 속을 관찰하면서 치료하는 방법이 개발되고 있다. 이를 "영상을 이용하는 시술법", "인터벤션(Interventional) 영상 시술법" 또는 "중재적 영상 시술법"이라고 부른다.
시술자는 장기나 병변의 위치를 영상을 통해 파악한다. 게다가 시술을 하는 동안 환자는 호흡을 하거나 움직이게 되는데 이에 따른 변화를 파악해야 한다. 따라서 시술자는 실시간 영상을 토대로 호흡이나 움직임을 정확하고 빠르게 파악하여 시술을 시행해야 하는데, 이 때 실시간으로 획득할 수 있는 초음파 영상에서 장기와 병변의 형상을 육안으로 파악하기 쉽지 않다.
초음파 영상과 대조적으로, MR(Magnetic Resonance) 또는 CT 영상은 장기와 병변을 명확히 식별할 수 있다. 하지만, MR 또는 CT 영상은 의료 시술 중 실시간으로 영상이 획득될 수 없기 때문에, 의료 시술 중 발생되는 환자의 호흡과 움직임이 반영되지 않는 단점이 있다.
그리하여, 실시간으로 촬영된 영상과 모달리티가 다른 영상을 정합할 필요성이 대두되고 있다. 모달리티가 다른 복수 개의 영상을 정합할 때, 영상에서 특징점을 추출하여 정합하는 경우가 있으나, 영상의 화질에 따라 정합이 어려울 수 있는 문제점이 있다.
본 개시는 센서를 이용하여 모달리티가 다른 복수 개의 의료 영상을 정합하는 방법 및 그 장치를 제공한다.
일 유형에 따르는 의료 영상 정합 방법은, 대상체의 축과 평행하게 배치된 프로브의 축을 기준축으로 설정하는 단계; 상기 프로브를 통해 획득된 제1 의료 영상으로부터 제1 개체를 추출하는 단계; 제1 의료 영상과 모달리티가 다른 제2 의료 영상으로부터 제2 개체를 추출하는 단계; 및 상기 기준축을 이용하여 상기 제1 개체와 상기 제2 개체를 정렬시킴으로써, 상기 제1 의료 영상과 상기 제2 의료 영상을 정합하는 단계;를 포함한다.
그리고, 상기 대상체의 축은 상기 제2 의료 영상의 좌표축과 평행할 수 있다.
또한, 상기 정합하는 단계는, 상기 제1 및 제2 개체의 정렬을 통해 상기 제1 의료 영상의 좌표계와 상기 제2 의료 영상의 좌표계간의 변환 관계를 산출하는 단계;를 포함할 수 있다.
그리고, 상기 변환 관계는, 상기 제1 의료 영상의 좌표축을 회전시켜 상기 기준축에 평행하도록 배치시키고, 상기 회전된 제1 의료 영상의 좌표축을 이동시켜 상기 제1 개체와 제2 개체를 정렬시킴으로써 산출될 수 있다.
또한, 상기 변환 관계를 이용하여, 상기 제1 의료 영상의 단면에 대응하는 상기 제2 의료 영상의 단면을 상기 제2 의료 영상으로부터 추출하는 단계;를 더 포함할 수 있다.
그리고, 상기 추출하는 단계는, 상기 변환 관계를 이용하여, 상기 제1 의료 영상의 단면에 대한 좌표 정보를 상기 제2 의료 영상에서의 좌표 정보를 변환하는 단계; 및 상기 변환된 좌표 정보를 갖는 상기 제2 의료 영상의 단면을 상기 제2 의료 영상으로부터 추출하는 단계;를 포함할 수 있다.
또한, 상기 제1 의료 영상의 단면에 대한 좌표 정보는 상기 프로브의 좌표 정보와 일대일 대응될 수 있다.
그리고, 상기 제1 의료 영상의 단면과 상기 제2 의료 영상의 단면을 함께 표시하는 단계;를 더 포함할 수 있다.
또한, 상기 제1 의료 영상의 단면과 상기 제2 의료 영상의 단면은, 상기 대상체에 대한 동일한 뷰일 수 있다.
그리고, 상기 정렬은, 상기 제1 개체와 상기 제2 개체가 동일한 경우, 상기 제1 개체와 상기 제2 개체를 일치시킬 수 있다.
또한, 상기 정렬은 상기 제1 개체와 상기 제2 개체가 다른 경우, 상기 제1 개체와 상기 제2 개체간의 기하학적 배치 구조를 기저장된 기하학적 배치 구조와 일치시킬 수 있다.
그리고, 상기 제1 의료 영상은 실시간으로 촬영된 영상이고, 상기 제2 의료 영상은 기촬영된 영상일 수 있다.
또한, 상기 제1 의료 영상은 초음파 영상 및 OCT 영상 중 어느 하나이고, 상기 제2 의료 영상은 MR, CT, PET, SPECT, 및 X-ray 영상 중 어느 하나일 수 있다.
한편, 일 실시예에 따른 의료 영상 장치는, 대상체에 대한 제1 의료 영상을 획득하는 프로브; 상기 프로브의 위치 및 방향 중 적어도 하나를 검출하는 센서; 및 상기 대상체의 대상체의 축과 평행하게 배치된 프로브의 축을 기준축으로 설정하고, 상기 제1 의료 영상으로부터 제1 개체를 추출하고, 상기 제1 의료 영상과 모달리티가 다른 제2 의료 영상으로부터 제2 개체를 추출하며, 상기 기준축을 이용하여 상기 제1 개체와 상기 제2 개체를 정렬시킴으로써, 상기 제1 의료 영상과 상기 제2 의료 영상을 정합하는 영상 처리부;를 포함한다.
그리고, 상기 대상체의 축은 상기 제2 의료 영상의 좌표축과 평행할 수 있다.
또한, 상기 영상 처리부는, 상기 제1 및 제2 개체의 정렬을 통해 상기 제1 의료 영상의 좌표계와 상기 제2 의료 영상의 좌표계간의 변환 관계를 산출할 수 있다.
그리고, 상기 변환 관계는, 상기 제1 의료 영상의 좌표축을 회전시켜 상기 기준축에 평행하도록 배치시키고, 상기 회전된 제1 의료 영상의 좌표축을 이동시켜 상기 제1 개체와 제2 개체를 정렬시킴으로써 산출될 수 있다.
또한, 상기 영상 처리부는, 상기 변환 관계를 이용하여, 상기 제1 의료 영상의 단면에 대응하는 상기 제2 의료 영상의 단면을 상기 제2 의료 영상으로부터 추출할 수 있다.
그리고, 상기 영상 처리부는, 상기 변환 관계를 이용하여 상기 제1 의료 영상의 단면에 대한 좌표 정보를 상기 제2 의료 영상에서의 좌표 정보를 변환하고, 상기 변환된 좌표 정보를 갖는 상기 제2 의료 영상의 단면을 상기 제2 의료 영상으로부터 추출할 수 있다.
또한, 상기 제1 의료 영상의 단면에 대한 좌표 정보는 상기 프로브의 위치 및 방향 중 적어도 하나를 나타내는 상기 프로브의 좌표 정보와 일대일 대응될 수 있다.
일 실시예에 따른 의료 영상 정합 방법 및 그 장치는 영상 정합 처리가 간소화될 수 있다.
일 실시예에 따른 의료 영상 정합 방법 및 그 장치는 영상 정합에 있어서 오류를 줄일 수 있다.
도 1은 본 발명의 일 실시예에 따른 의료 영상 시스템을 도시한다.
도 2는 일 실시예에 따른 프로브의 초기화를 설명하는 참조도면이다.
도 3은 도 1에 도시된 정합 장치를 나타내는 블록도이다.
도 4는 일 실시예에 따른 의료 영상을 정합하는 방법을 설명하는 흐름도이다.
도 5는 일 실시예에 따른 제1 의료 영상의 좌표계와 제2 의료 영상의 좌표계간의 변환 관계를 산출하는 방법을 설명하는 흐름도이다.
도 6은 일 실시예에 따른 제1 및 제2 개체를 정렬시키는 방법을 설명하는 흐름도이다.
도 7은 일 실시예에 따른 제1 의료 영상에 대응하는 제2 의료 영상의 단면을 추출하는 방법을 흐름도이다.
이하, 본 발명에 따른 바람직한 실시예를 첨부도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
본 명세서에서 "대상체"는 사람 또는 동물, 또는 사람 또는 동물의 일부를 포함할 수 있다. 예를 들어, 대상체는 간, 심장, 자궁, 뇌, 유방, 복부 등의 장기, 또는 혈관을 포함할 수 있다. 또한, 본 명세서에서 "사용자"는 의료 전문가로서 의사, 간호사, 임상 병리사, 의료 영상 전문가 등이 될 수 있으며, 의료 장치를 수리하는 기술자가 될 수 있으나, 이에 한정되지 않는다.
도 1은 본 발명의 일 실시예에 따른 의료 영상 시스템(100)을 도시한다. 도 1을 참조하면 시스템(100)은 제1 의료 장치(110), 제2 의료 장치(120), 검출 장치(130), 정합 장치(140) 및 표시 장치(150)를 포함한다.
제1 의료 장치(110)와 제2 의료 장치(120)는 각각 제1 의료 영상과 제2 의료 영상을 생성하여 정합 장치(140)에 제공한다. 제1 의료 영상과 제2 의료 영상은 상이한 모달리티(modality)를 갖는다. 즉, 제1 의료 영상과 제2 의료 영상은 생성 방식 및 원리가 상이할 수 있다. 정합 장치(140)는 제1 의료 영상과 제2 의료 영상을 각각 획득하고, 상이한 모달리티를 갖는 제1 의료 영상과 제2 의료 영상을 정합한다. 정합 장치(140)가 정합한 영상은 표시 장치(150)를 통해 표시될 수 있다.
제1 의료 장치(110)는 대상체의 관심 볼륨에 대하여 실시간으로 제1 의료 영상을 제공한다. 예를 들어, 대상체의 신체 활동에 따른 장기의 변형과 변위가 발생되면, 실시간으로 제1 의료 영상에 변화가 나타난다. 다만, 제1 의료 영상은 모든 장기와 병변이 명확히 관찰될 수 없는 경우가 있고, 장기의 변형과 변위를 제1 의료 영상만으로 파악하는데 어려움이 있다.
일 실시예에 따르면, 제1 의료 장치(110)는 환자에 대한 중재적 의료 시술 과정에서 실시간으로 영상을 생성하는 초음파 영상장치(ultrasonography machine)일 수 있다. 다만, 제1 의료 장치(110)는 실시간으로 영상을 제공하는 OCT(optical coherence tomography) 등의 다른 의료 장치일 수도 있으며, 초음파 영상장치에 한정되는 것은 아니다.
제1 의료 장치(110)가 초음파 영상 장치인 경우, 제1 의료 장치(110)는 프로브(111)(probe)(121)를 이용하여 초음파를 대상체에 조사하고, 반사되는 초음파를 검출함으로써 초음파 영상을 생성한다. 프로브(111)는 일반적으로 압전 변환기(piezoelectric transducer)를 포함할 수 있다. 그러나, 이에 한정되지 않는다. 프로브(111)는 정전 용량의 변화로 초음파와 전기적 신호를 상호 변환시키는 정전 용량형 초음파 변환기(capacitive micromachined ultrasonic transducer, cMUT), 자기장의 변화로 초음파와 전기적 신호를 상호 변환시키는 자기형 초음파 변환기(magnetic micromachined ultrasonic transducer, mMUT), 광학적 특성의 변화로 초음파와 전기적 신호를 상호 변환시키는 광학형 초음파 검출기(Optical ultrasonic detection) 등을 포함할 수도 있다.
프로브(111)로부터 수 내지 수백 MHz 범위의 초음파가 환자 신체 내부의 특정 부위에 전달되면, 이 초음파는 여러 다른 조직들(tissues) 사이의 계층들로부터 부분적으로 반사된다. 초음파는 신체 내부에서의 밀도 변화가 있는 개체들, 예를 들어, 혈장(blood plasma) 내의 혈구들(blood cells), 장기들(organs) 내의 작은 조직들(structures) 등에서 반사된다.
이와 같이 반사된 초음파들은 프로브(111)의 변환기를 진동시키고, 변환기는 이 진동들에 따른 전기적 펄스들(electrical pulses)을 출력한다. 이와 같은 전기적 펄스들이 영상으로 변환된다. 개체들이 서로 상이한 초음파 반사 특성을 갖는 경우, B 모드의 초음파 영상에서는 각 개체들이 서로 상이한 밝기 값으로 나타날 수 있다.
제2 의료 장치(120)는 비실시간으로 대상체의 관심 볼륨(VOI: Volume of Interest)에 대한 제2 의료 영상을 생성한다. 제2 의료 장치(120)의 비실시간 특성을 고려할 때, 제2 의료 영상은 의료 시술 이전에 미리 촬영되는 것일 수 있다.
예컨대, 제2 의료 장치(120)는 CT(computed tomography) 영상 장치, MR(magnetic resonance)영상 장치, 엑스선(X-ray) 영상 장치, SPECT(single photon emission computed tomography) 영상장치, PET(positron emission tomography) 영상장치 중 어느 하나로 일 수 있다. 이하의 실시예에서는 설명의 편의를 위하여 제2 의료 영상이 MR 또는 CT 영상인 것을 가정하나, 이에 한정되지 않는다.
제2 의료 장치(120)에서 생성한 CT 영상 또는 MR 영상의 경우 장기의 위치나 병변의 위치가 명확하게 구별이 되는 장점이 있다. 하지만 CT(computed tomography)영상이나 MR(magnetic resonance)영상은 시술하는 동안 환자가 호흡을 하거나 뒤척일 때 장기가 변형되거나 위치가 변할 수 있는데, 이러한 환자의 움직임에 따른 장기의 변형과 변위를 영상에 실시간으로 반영할 수 없다는 문제점이 있다.
제2 의료 장치(120)가 실시간으로 영상을 출력할 수 없는 각각의 이유는 CT(computed tomography)영상의 경우 방사선을 이용한 촬영방법이기 때문에 환자와 시술자가 장시간 방사능에 노출될 우려가 있어 짧은 시간의 촬영이 권장되며, MR(magnetic resonance)영상의 경우 한번 촬영하는데 시간이 오래 걸리기 때문이다. 일반적으로 CT 영상은 환자의 호흡이 일시적으로 정지된 상태, 예컨대 최대 들숨 상태에서 촬영된다.
제1 의료 장치(110) 또는 제2 의료 장치(120)가 촬영하는 의료 영상들은 2차원의 단면들을 축척하여 생성된 3차원 영상일 수 있다. 예컨대, 제1 의료 장치(110)는 2차원 단면을 생성할 수도 있고, 프로브(111)를 핸드 스윕(Hand Sweep)하거나 와블링(Wabbling)함으로써, 또는 2D 어레이 방식의 프로브(111)를 통해서 3차원 영상을 생성할 수도 있다. 그리고, 제2 의료 장치(120)는 단면의 위치(location) 또는 방향(orientation)을 변화시키면서, 다수의 단면들을 촬영한다. 이와 같은 단면들이 축적되면 환자 신체의 특정 부위를 3차원적으로 나타내는 3차원 볼륨(volume)의 영상 데이터가 생성될 수 있다. 이와 같이 단면들을 축적하여 3차원 볼륨의 영상 데이터를 생성하는 방식을 MPR(Multiplanar reconstruction) 방식이라고 한다. 제2 의료 영상은 환자의 관심 장기의 밝기를 향상시키기 위하여, 조영 증강된 영상일 수 있다. 이하에서는 설명의 편의를 도모하기 위해 제1 의료 영상 및 제2 의료 영상은 3차원 영상을 지칭한다.
검출 장치(130)는 프로브(111)의 위치 및 방향 중 적어도 하나를 검출하여 프로브(111)의 움직임을 검출할 수 있다. 검출 장치(130)는 자기장 발생기(131)와 자기장의 변화를 감지하는 센서(132)를 포함할 수 있다. 자기장 발생기(131)는 제1 의료 장치(110)의 특정 위치에 고정될 수 있고, 센서(132)는 프로브(111)에 배치될 수 있다. 그리하여, 검출 장치(130)는 센서(132)에 대한 자기장 발생기(131)의 상대적인 위치 관계로부터 프로브(111)의 위치 및 방향 중 적어도 하나를 검출할 수 있다. 이외에도 검출 장치(130)는 프로브(111)의 위치 및 방향 중 적어도 하나를 검출하기 위한 광 센서, 가속도계 센서, 자이로 센서 등을 포함할 수 있다. 검출 장치(130)는 프로브(111)의 위치 및 방향 중 적어도 하나를 검출 장치(130)가 사용하는 좌표계에서의 좌표 정보로 산출할 수 있다.
정합 장치(140)는 제1 의료 장치(110)로부터 획득한 제1 의료 영상과 제2 의료 장치(120)로부터 획득한 제2 의료 영상을 정합(registration)한다. 의료 영상들의 정합은 제1 의료 영상에서 사용되는 좌표계와 제2 의료 영상에서 사용되는 좌표계를 서로 대응시키는 과정을 포함할 수 있다. 프로브(111)의 움직임과 제1 의료 영상의 단면은 일대일 대응된다. 그리고, 사용자는 제1 의료 영상을 제어하는 것보다 프로브(111)의 움직임을 제어하는 것이 용이하다. 그리하여 일 실시예에 따른 의료 영상의 정합은 프로브(111)의 방향 정보와 제1 및 제2 의료 영상에 포함된 개체의 위치 정보를 이용하여 수행될 수 있다. 이는 프로브(111)의 움직임 즉, 검출 장치만을 기반으로 하는 영상 정합보다 대상체에 대한 해부학적 지식이 과도하게 요구되지 않는 장점이 있다. 또한, 영상 내 개체를 기반으로 하는 영상 정합보다 정합 오류가 발생될 확률을 줄일 수 있는 장점이 있다.
일 실시예에서, 정합된 영상은 제1 의료 영상과 제2 의료 영상이 융합된 영상(fusion image)일 수 있다. 다른 실시예에서 정합된 영상은 같은 관측시점에서의 제1 의료 영상과 제2 의료 영상을 나란하게 배열되는 영상일 수도 있다. 정합된 영상은 표시 장치(150)에 의해 디스플레이 된다.
도 1에 도시된 실시예에서는 제1 의료 장치(110), 검출 장치(130), 정합 장치(140) 및 디스플레이 장치(140)가 각각 독립된 장치를 구성하고 있으나, 이는 설명의 편의를 도모하기 위할 뿐이며, 제1 의료 장치(110), 검출 장치(130), 정합 장치(140) 및 디스플레이 장치는 단일의 장치로 구현될 수 있음은 물론이다. 단일의 장치로 구현된 경우, 검출 장치(130)는 검출부, 정합 장치(140)는 영상 처리부(340), 디스플레이 장치는 디스플레이부라고 칭할 수 있다.
한편, 의료 영상들을 용이하게 정합하기 위해 프로브(111)의 방향을 초기화시킬 수 있다. 프로브(111)의 축은 프로브(111)을 중심으로 서로 직교하는 적어도 두 개의 축으로 구분될 수 있으며, 프로브(111)를 통해 획득된 단면의 좌표축과 동일할 수 있다. 예를 들어, 프로브(111)의 두 개의 축은 초음파의 진행 방향인 제1 축 및 상기한 제1 축과 직교하는 제2 축일 수 있다. 또한, 대상체의 축은 대상체를 중심으로 서로 직교하는 적어도 두 개의 축으로 구분될 수 있으며, 제2 의료 영상의 좌표축과 동일할 수 있다. 대상체의 두 개의 축을 포함하는 평면은 시상면(sagittal plane), 관상면(coronal plane) 및 횡단면(transverse plnae)으로 구분될 수 있으며, 상기한 세 개의 면을 대상체의 기준면이 될 수 있다.
도 2는 일 실시예에 따른 프로브(111)의 초기화를 설명하는 참조도면이다. 도 2에 도시된 바와 같이, 사용자는 프로브(111)의 축(210)을 대상체(10)의 축(220)에 평행하게 배치시킬 수 있다. 예를 들어, 프로브(111)의 두 개의 축이 대상체(10)의 횡단면(230)에 평행하게 배치될 때, 프로브(111)의 방향은 초기화되었다 또는 프로브(111)의 축(210)이 기준축에 배치되었다고 할 수 있다. 프로브(111)의 축(210)이 대상체(10)의 축(220)과 평행하게 배치되어 있을 때, 검출 장치(130)는 상기한 프로브(111)의 축(210)을 검출 장치(130)가 사용하는 좌표축으로 설정할 수 있다. 또는, 정합 장치(140)는 대상체(10)의 축(220)과 평행하게 배치되었을 때 프로브(111)를 통해 획득된 제1 의료 영상의 단면에 대한 좌표축을 제1 의료 영상의 좌표축으로 저장할 수 있다.
도 3은 도 1에 도시된 정합 장치(140)를 나타내는 블록도이다. 도 3을 참조하면, 정합 장치(140)는 통신부(310), 저장부(320), 사용자 인터페이스(330), 영상 처리부(340) 및 제어부(350)를 포함할 수 있다. 다만, 도시된 구성요소들이 모두 필수 구성요소들은 아니며, 도시된 구성요소들 이외에 다른 범용적인 구성요소들이 더 포함될 수도 있다.
통신부(310)는 제1 의료 장치(110) 및 제2 의료 장치(120)로부터 각각 제1 의료 영상과 제2 의료 영상을 수신하고, 검출 장치(130)로부터 프로브(111)의 위치 및 방향 정보 중 적어도 하나를 수신할 수 있다. 통신부(310)는 제1 의료 장치(110) 및 제2 의료 장치(120)로부터 제1 의료 영상 및 제2 의료 영상을 획득하기 위한 인터페이스들(311, 312)을 포함한다. 제1 인터페이스(311) 및 제2 인터페이스(312)는 제1 의료 장치(110) 및 제2 의료 장치(120)와 직접 또는 간접으로 연결되기 위한 인터페이스를 의미한다.
제1 인터페이스(311)는 제1 의료 장치(110)가 촬영하는 제1 의료 영상을 실시간 획득할 수 있다. 제2 인터페이스(312)는 제2 의료 장치(120)가 의료시술 이전에 미리 촬영한 제2 의료 영상을 획득하기 위하여, 제2 의료 장치(120)와 직접 연결될 수 있다. 또는, 제2 인터페이스(312)는 다른 외부 저장매체(USB, CD, DVD 등) 또는 네트워크를 통해 제2 의료 영상을 획득할 수 있다. 통신부(310)는 획득한 제2 의료 영상을 저장부(320)에 저장할 수 있다. 제3 인터페이스(313)는 검출 장치(130)로부터 프로브(111)의 방향 정보를 수신할 수 있다. 제1 의료 영상과 프로브(111)의 방향 정보가 서로 다른 인터페이스를 통해 수신된다고 하였으나, 이에 한정되지 않는다. 하나의 인터페이스를 통해 제1 의료 영상과 프로브(111)의 방향 정보가 수신될 수도 있다.
사용자 인터페이스(330)는 사용자로부터 정합 장치(140)을 조작하기 위한 입력을 수신하고, 정합 장치(140)가 획득한 제1 의료 영상, 제2 의료 영상 또는 정합된 의료 영상을 출력한다. 사용자 인터페이스(330)는 사용자가 직접 정합 장치(140)를 조작하기 위한 버튼, 키 패드, 스위치, 다이얼 또는 터치 인터페이스를 포함할 수 있다. 사용자 인터페이스(330)는 영상을 디스플레이하기 위한 디스플레이부를 포함할 수 있으며, 터치스크린으로 구현될 수 있다. 또 다른 실시예에서, 사용자 인터페이스(330)는 HID(Human Interface Device) 들을 연결하기 위한 I/O 포트를 구비할 수 있다. 사용자 인터페이스(330)는 영상의 입/출력을 위한 I/O 포트를 구비할 수 있다.
영상 처리부(340)는 제1 의료 영상과 그에 대응하는 제2 의료 영상을 정합하여 정합된 영상을 사용자 인터페이스(330)로 출력할 수 있다. 영상 처리부(340)는 제1 의료 영상으로부터 정합을 위한 제1 개체를 추출하는 제1 개체 추출부(341), 제2 의료 영상으로부터 정합을 위한 제2 개체를 추출하는 제2 개체 추출부(342), 제1 개체와 제2 개체를 정렬시킴으로써, 제1 의료 영상과 제2 의료 영상간의 변환 관계를 산출하는 산출부(343) 및 제1 의료 영상의 단면에 대응하는 제2 의료 영상의 단면을 제2 의료 영상으로부터 추출하는 영상 추출부(344)를 포함할 수 있다. 제1 개체와 제2 개체는 동일할 수도 있고, 다를 수 도 있다. 제1 및 제2 개체가 동일한지 여부에 따라 변환 관계의 산출 방식이 다소 상이할 수 있다.
제1 개체 추출부(341)는 제1 의료 영상으로부터 제1 개체를 추출할 수 있다. 상기한 제1 개체는 제1 의료 영상에서 뚜렷하게 나타나는 개체일 수 있다. 예를 들어, 제1 의료 영상이 간을 포함하는 초음파 영상인 경우, 제1 개체는 간 이외에도 간과 인접하게 배치된 하대 정맥 또는 횡경막일 수 있다. 이외에도, 간에 인접한 신장, 담낭, Portal vein, Hepatic vein, IVC 중 적어도 하나 이상이 제1 개체가 될 수 있다. 또는 관심장기가 신장인 경우, 신장에 인접한 IVC, 간, 담낭, Spleen, Renal veins 중 적어도 하나 이상이 제1 개체가 될 수 있다. 관심장기가 갑상샘인 경우 갑상샘에 인접한 경동맥, 경정맥 중 적어도 하나가 제1 개체로 이용될 수 있으며, 관심장기가 췌장인 경우 췌장에 인접한 IVC, Splenic vein, Splenic artery, Spleen 중 적어도 하나가 제1 개체로 이용될 수 있다.
제2 개체 추출부(342)는 제2 의료 영상으로부터 제2 개체를 추출할 수 있다. 제2 개체는 제1 개체와 동일하거나 다를 수 있다. 관심 장기가 간인 경우, 일반적으로 횡경막, 하대정맥 등은 초음파 영상인 제1 의료 영상과 MR 영상인 제2 의료 영상에 모두 뚜렷하게 나타날 수 잇다. 그리하여, 제1 및 제2 개체 추출부(341, 342) 각각은 횡경막 또는 하대 정맥을 제1 및 제2 개체로 추출할 수 있다. 그러나, 이에 한정되지 않는다. 제2 개체 추출부(342)는 제1 개체와 다르면서 제1 개체와 인접하게 배치된 제2 개체를 추출할 수 있다. 예를 들어, 제1 개체가 횡경막일 때, 제2 개체는 간일 수 있다. 이때, 간과 횡격막은 동일한 개체는 아니지만, 간의 경계면과 횡격막이 접하므로 횡격막을 간의 경계면으로 간주하면, 횡격막과 간을 정렬시킴으로써 의료 영상들을 정합할 수 있기 때문이다.
산출부(343)는 제1 개체와 제2 개체를 정렬시킴으로써, 제1 의료 영상과 제2 의료 영상간의 변환 관계를 산출할 수 있다. 제1 개체와 제1 개체가 동일한 경우, 산출부(343)는 제1 개체와 제2 개체를 일치시킴으로써 제1 의료 영상과 제2 의료 영상간의 변환 관계를 산출할 수 있다. 그러나, 제1 개체와 제2 개체가 다른 경우, 산출부(343)는 제1 개체와 제2 개체간의 기하학적 배치 구조가 기저장된 기하학적 배치 구조와 일치시킴으로써 제1 의료 영상과 제2 의료 영상간의 변환 관계를 산출할 수 있다. 제1 개체와 제2 개체간의 기하학적 배치 구조가 기저장되어 있을 수 있다.
예를 들어, 산출부(343)는 기준축과 평행하도록 제1 의료 영상의 좌표축을 회전시키고, 제1 개체와 제2 개체가 정렬되도록 변환된 제1 의료 영상의 좌표축을 이동시킴으로써 제1 의료 영상의 좌표계와 제2 의료 영상의 좌표계간의 변환 관계를 산출할 수 있다. 상기한 이동은 회전 및 직선 이동 중 어느 하나를 포함할 수 있다. 상기와 같이, 기준축을 이용하여 제1 의료 영상의 좌표계와 제2 의료 영상의 좌표계간의 변환 관계를 산출하면 임의의 지점을 기준으로 좌표계간의 변환 관계를 산출하는 것보다 산출이 간소화될 수 있다.
그리고, 영상 추출부(344)는 제1 의료 장치(110)로부터 수신된 제1 의료 영상의 단면에 대응하는 제2 의료 영상의 단면을 제2 의료 영상으로부터 추출할 수 있다. 예를 들어, 영상 추출부(344)는 변환 관계를 이용하여 제1 의료 영상의 단면에 대한 좌표 정보를 제2 의료 영상에서의 좌표 정보로 변환시키고, 변환된 좌표 정보를 갖는 제2 의료 영상의 단면을 제2 의료 영상으로부터 추출할 수 있다. 제1 의료 영상의 단면에 대한 좌표 정보는 방향 및 위치 정보를 포함할 수 있으며, 프로브(111)의 좌표 정보와 동일할 수 있다.
정합장치(130)의 보다 상세한 동작에 대해서는, 후술하는 의료영상 정합 방법을 참조하여 설명을 계속한다. 이하에서, 의료영상 정합장치(130)의 어느 구성요소가 각 프로세스를 수행하는지를 구체적으로 특정하지 않더라도, 당업자라면 전술한 설명으로부터 이를 파악할 수 있다.
도 4는 일 실시예에 따른 의료 영상을 정합하는 방법을 설명하는 흐름도이다. 도 4를 참조하면, 제어부(350)는 프로브(111)의 축이 대상체의 축과 평행하게 배치되었는지 여부를 판단한다(S410). 사용자는 프로브(111)를 대상체 위에 놓은 상태에서 프로브(111)의 축을 대상체의 축과 평행하게 배치시킬 수 있다. 그리고, 프로브(111)의 축이 대상체의 축과 평행하게 배치되면, 사용자는 프로브(111)의 축이 대상체의 축과 평행하게 배치되었음을 알리는 사용자 명령을 입력할 수 있다. 그러면, 제어부(350)는 프로브(111)의 축이 대상체의 축과 평행하게 배치되었다고 판단하고, 상기한 프로브(111)의 축을 기준축으로 설정할 수 있다. 뿐만 아니라, 검출 장치(130)는 상기한 프로브(111)의 축을 검출 장치(130)가 사용하는 좌표계의 좌표축으로 설정할 수도 있다. 한편, 대상체의 축은 제2 의료 영상에서 사용되는 좌표축과 평행할 수 있다.
프로브(111)의 축이 대상체의 축과 평행하게 배치되면(S410-Y), 제1 개체 추출부(341)는 제1 의료 영상으로부터 제1 개체를 추출할 수 있다(S420). 제1 의료 장치(110)는 실시간으로 프로브(111)를 통해 제1 의료 영상의 단면을 획득할 수 있고, 제1 의료 영상의 단면을 재구성하여 3차원의 제1 의료 영상을 생성할 수 있다. 그리고, 제1 의료 장치(110)는 3차원의 제1 의료 영상을 정합 장치(140)에 인가하고, 정합 장치(140)의 제1 개체 추출부(341)는 제1 의료 영상으로부터 제1 개체를 추출할 수 있다.
제1 개체를 추출함에 있어서, 제1 개체 추출부(341)는 밝기 값을 이용할 수 있다. 예를 들어, 정합장치(130)에는 IVC의 초음파 반사 특성에 따른 B-모드 영상에서의 밝기 값 범위, IVC의 형상, IVC의 직경 및 길이에 대한 정보가 이미 저장되어 있을 수 있다. 제1 개체 추출부(341)는 기저장된 정보를 통해 제1 의료 영상을 이진화하기 위한 임계 밝기값을 결정할 수 있다. 여기서, 임계 밝기 값은 제1 의료 영상을 이진화하는데 기준이 되는 밝기 값으로서, 추출하고자 하는 개체의 초음파 반사 특성에 따라 결정될 수 있다. 그리고, 제1 개체 추출부(341)는 형상, 직경 및 길이에 대한 정보를 이용하여 이진화된 제1 의료 영상으로부터 IVC에 해당하는 영역을 추출할 수 있다. 제1 개체 추출부(341)는 상기한 추출 방법 이외에 다른 방법으로도 추출할 수 있음은 물론이다.
뿐만 아니라, 제2 개체 추출부(342)도 제2 의료 영상으로부터 제2 개체를 추출할 수 있다(S430). 제2 개체는 제1 개체와 동일할 수도 있고, 제1 개체와 다를 수도 있다. 제2 개체의 추출 방법도 제1 개체의 추출 방법과 동일할 수 있다. 제2 개체 추출부(342)는 제2 의료 영상으로부터 사전에 제2 개체를 추출하여 저장해 놓을 수 있다. 그리하여, 제2 개체 추출부(342)는 기저장된 제2 개체를 로딩할 수도 있다.
정합 장치(140)는 제1 및 제2 개체를 정렬시킴으로써 제1 및 제2 의료 영상을 정합시킬 수 있다(S440). 정합 장치(140)는 제1 및 제2 개체를 정렬하는 과정을 통해 제1 의료 영상의 좌표계와 제2 의료 영상의 좌표계간의 변환 관계를 산출할 수 있다.
도 5는 일 실시예에 따른 제1 의료 영상의 좌표계와 제2 의료 영상의 좌표계간의 변환 관계를 산출하는 방법을 설명하는 흐름도이다. 도 5를 참조하면, 먼저 산출부(343)는 제1 의료 영상의 좌표축을 회전시켜 기준축과 평행하게 배치시킨다(S510). 프로브(111)의 스윕 운동 등으로 제1 의료 장치(110)는 3차원의 제1 의료 영상을 획득할 수 있다. 제1 의료 영상의 좌표축은 기준축과 평행할 수도 있고 평행하지 않을 수도 있기 때문에 산출부(343)는 제1 의료 영상의 좌표축을 회전시켜 기준축에 평행하도록 한다.
그리고, 산출부(343)는 회전된 제1 의료 영상의 좌표축을 이동시켜 제1 개체와 제2 개체가 정렬시킨다(S520). 제1 개체와 제2 개체간의 정렬은 제1 및 제2 개체가 동일한 개체인지 여부에 따라 다를 수 있다.
도 6은 일 실시예에 따른 제1 및 제2 개체를 정렬시키는 방법을 설명하는 흐름도이다. 먼저, 산출부(343)는 제1 개체와 제2 개체가 동일한지 여부를 판단한다(S610). 산출부는 제1 및 제2 개체의 크기, 반경 등을 고려하여 제1 및 제2 개체가 동일한지 여부를 판단할 수 있다. 또는 제2 개체는 미리 추출되어 저장되어 있을 수 있기 때문에 제1 개체 추출부(341)는 상기한 제2 개체에 대한 정보를 로딩하고, 로딩된 정보로 제2 개체와 동일한 제1 개체를 추출할 수 있다. 이와 같은 경우, 산출부(343)는 제1 및 제2 개체가 동일하다고 판단할 수 있다. 또한, 제1 의료 영상과 제2 의료 영상은 서로 다른 개체가 선명하게 표시될 수 있기 때문에 정합 장치(140)에는 추출하고자 하는 제1 및 제2 개체에 대한 정보가 각각 저장되어 있을 수도 있다. 제1 및 제2 개체가 서로 다른 경우, 정합 장치(140)에는 제1 및 제2 개체에 대한 기하학적 배치 구조에 대한 정보가 기저장되어 있을 수 있다.
제1 및 제2 개체가 동일하면(S610-Y), 산출부(343)는 회전된 제1 의료 영상의 좌표축을 이동시켜 제1 개체와 제2 개체를 일치시킴으로써 제1 개체와 제2 개체를 정렬시킬 수 있다(S620). 또는 제1 및 제2 개체가 다르면(S610-N), 산출부(343)는 회전된 제1 의료 영상의 좌표축을 이동시켜 제1 및 제2 개체의 기하학적 배치 구조가 기저장된 기하학적 배치 구조와 일치되도록 제1 개체와 제2 개체를 정렬시킬 수 있다(S630). 여기서, 좌표축의 이동은 회전 이동 및 직선 이동 중 적어도 하나를 포함할 수 있다. 제1 의료 영상의 좌표축을 기준축에 평행하도록 회전시키기 때문에 제1 개체와 제2 개체의 정렬을 위한 회전된 제1 의료 영상의 좌표축의 회전 범위는 작다. 그리하여, 임의의 방향에 있는 제1 의료 영상의 좌표축을 변환시키는 것보다 오류 발생을 줄일 수 있다.
그리하여, 산출부(343)는 제1 의료 영상의 좌표축을 회전 및 이동함으로써 제1 의료 영상의 좌표계와 제2 의료 영상의 좌표계간의 변환 관계를 하기 수학식 1과 같이 산출할 수 있다.
[수학식 1]
Figure pat00001
여기서,
Figure pat00002
는 제1 의료 영상의 좌표계에서 제1 개체의 좌표 정보이고,
Figure pat00003
는 제2 의료 영상의 좌표계에서 제2 개체의 좌표 정보이다. 상기한 변환 관계를 이용하여 정합 장치(140)는 제1 의료 영상의 좌표계에서의 제1 의료 영상의 단면에 대한 좌표 정보를 제2 의료 영상에서의 좌표 정보로 변환시킬 수 있다. 제1 의료 영상에서 사용되는 좌표계와 검찰 장치에서 사용되는 좌표계는 동일할 수 있다.
도 7은 일 실시예에 따른 제1 의료 영상의 단면에 대응하는 제2 의료 영상의 단면을 추출하는 방법을 설명하는 흐름도이다. 도 7를 참조하면, 제1 의료 장치(110)는 프로브(111)를 통해 제1 의료 영상의 단면을 실시간으로 획득할 수 있다(S710). 제1 의료 장치(110)가 초음파 영상 장치인 경우, 제1 의료 장치(110)는 프로브(111)(probe)를 이용하여 초음파를 대상체에 조사하고, 반사되는 초음파를 검출함으로써 초음파 영상을 생성할 수 있다. 그리고, 획득된 제1 의료 영상은 정합 장치(140)에 인가된다.
한편, 검출 장치(130)는 프로브(111)의 움직임을 검출할 수 있다(S720). 프로브(111)가 움직임으로써 대상체에 조사되는 초음파의 위치 및 방향이 달라질 수 있고, 제1 의료 영상의 뷰도 달라질 수 있다. 프로브(111)의 위치 및 방향를 나타내는 좌표 정보와 제1 의료 영상의 뷰는 일대일 대응되기 때문에 프로브(111)의 움직임을 검출하면 제1 의료 영상의 뷰도 예측할 수 있다. 제1 의료 영상의 획득과 프로브(111)의 움직임 검출은 동시에 수행될 수 있으나, 설명의 편의를 도모하기 위해 제1 의료 영상의 획득을 먼저 설명하였을 뿐이다.
정합 장치(140)는 프로브(111)의 움직임에 대응하는 제2 의료 영상의 단면을 제2 의료 영상으로부터 추출할 수 있다(S730). 제2 의료 영상은 기촬영된 영상일 수 있다. 그리고, 제2 의료 영상은 제1 의료 영상에 비해 장기와 병변의 형상이 선명할 수 있다. 제2 의료 영상은 제2 의료 장치(120)로부터 수신할 수도 있고, 저장된 영상일 수도 있다. 예를 들어, 제2 의료 영상은 CT 영상 또는 MR 영상일 수 있다. 구체적으로, 프로브(111)의 이동 및 회전 중 적어도 하나에 따라 프로브(111)의 위치 및 방향 중 적어도 하나가 변경되면 검출 장치(130)는 프로브(111)를 재검출하고, 재검출된 프로브(111)의 좌표 정보를 정합 장치(140)에 인가할 수 있다. 프로브(111)의 좌표 정보가 제1 의료 영상의 단면에 대한 좌표 정보이기 때문에, 산출부(343)는 변환 관계(T)를 이용하여 하기 수학식 2와 같이, 재검출된 제1 의료 영상의 단면에 대한 좌표 정보(
Figure pat00004
)를 제2 의료 영상 좌표계에서의 좌표 정보(
Figure pat00005
)로 변환시킬 수 있다.
[수학식 2]
Figure pat00006
그리고, 영상 추출부(344)는 제2 의료 영상으로부터 변환된 좌표 정보를 갖는 단면을 추출할 수 있다. 상기한 제1 의료 영상의 단면과 그에 대응하는 제2 의료 영상의 단면은 대상체에 대한 동일한 뷰일 수 있다. 제1 의료 영상의 단면과 그에 대응하는 제2 의료 영상의 단면은 사용자 인터페이스(330) 또는 표시 장치(150)를 통해 외부로 함께 표시될 수 있다. 제1 의료 영상의 단면과 그에 대응하는 제2 의료 영상의 단면은 하나의 화면에 영역을 달리하여 표시될 수도 있고, 하나의 영역에 중첩되어 표시될 수도 있다.
상기와 같이 기준축을 설정한 후, 상기한 기준축을 이용하여 제1 의료 영상의 좌표계와 제2 의료 영상의 좌표계간의 변환 관계를 산출하기 때문에 임의의 초기 방향 및 초기 위치에서 모달리티가 다른 복수 개의 영상을 정합하는 것보다 정합 처리가 간소화될 수 있고, 영상 정합의 오류를 줄일 수 있다.
한편, 상술한 의료 영상들의 정합 방법은 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 또한, 상술한 본 발명의 실시예에서 사용된 데이터의 구조는 컴퓨터로 읽을 수 있는 기록매체에 여러 수단을 통하여 기록될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등)와 같은 저장매체를 포함한다.
이제까지 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
100: 의료 영상 시스템 110: 제1 의료 장치
111: 프로브 120: 제2 의료 장치
130: 검출 장치 140: 정합 장치
150: 표시 장치 310: 통신부
320: 저장부 330: 사용자 인터페이스
340: 영상 처리부 341: 제1 개체 추출부
342: 제2 개체 추출부 343: 산출부
344: 영상 추출부

Claims (20)

  1. 대상체의 축과 평행하게 배치된 프로브의 축을 기준축으로 설정하는 단계;
    상기 프로브를 통해 획득된 제1 의료 영상으로부터 제1 개체를 추출하는 단계;
    상기 제1 의료 영상과 모달리티가 다른 제2 의료 영상으로부터 제2 개체를 추출하는 단계; 및
    상기 기준축을 이용하여 상기 제1 개체와 상기 제2 개체를 정렬시킴으로써, 상기 제1 의료 영상과 상기 제2 의료 영상을 정합하는 단계;를 포함하는 의료 영상 정합 방법.
  2. 제 1항에 있어서,
    상기 대상체의 축은 상기 제2 의료 영상의 좌표축과 평행한 의료 영상 정합 방법.
  3. 제 1항에 있어서,
    상기 정합하는 단계는,
    상기 제1 및 제2 개체의 정렬을 통해 상기 제1 의료 영상의 좌표계와 상기 제2 의료 영상의 좌표계간의 변환 관계를 산출하는 단계;를 포함하는 의료 영상 정합 방법.
  4. 제 3항에 있어서,
    상기 변환 관계는
    상기 제1 의료 영상의 좌표축을 회전시켜 상기 기준축에 평행하도록 배치시키고, 상기 회전된 제1 의료 영상의 좌표축을 이동시켜 상기 제1 개체와 제2 개체를 정렬시킴으로써 산출되는 의료 영상 정합 방법.
  5. 제 3항에 있어서,
    상기 변환 관계를 이용하여, 상기 제1 의료 영상의 단면에 대응하는 상기 제2 의료 영상의 단면을 상기 제2 의료 영상으로부터 추출하는 단계;를 더 포함하는 의료 영상 정합 방법.
  6. 제 5항에 있어서,
    상기 추출하는 단계는,
    상기 변환 관계를 이용하여, 상기 제1 의료 영상의 단면에 대한 좌표 정보를 상기 제2 의료 영상에서의 좌표 정보를 변환하는 단계; 및
    상기 변환된 좌표 정보를 갖는 상기 제2 의료 영상의 단면을 상기 제2 의료 영상으로부터 추출하는 단계;를 포함하는 의료 영상 정합 방법.
  7. 제 6항에 있어서,
    상기 제1 의료 영상의 단면에 대한 좌표 정보는 상기 프로브의 좌표 정보와 일대일 대응되는 의료 영상 정합 방법.
  8. 제 5항에 있어서,
    상기 제1 의료 영상의 단면과 상기 제2 의료 영상의 단면을 함께 표시하는 단계;를 더 포함하는 의료 영상 정합 방법.
  9. 제 5항에 있어서,
    상기 제1 의료 영상의 단면과 상기 제2 의료 영상의 단면은,
    상기 대상체에 대한 동일한 뷰인 의료 영상 정합 방법.
  10. 제 1항에 있어서,
    상기 정렬은,
    상기 제1 개체와 상기 제2 개체가 동일한 경우, 상기 제1 개체와 상기 제2 개체를 일치시키는 의료 영상 정합 방법.
  11. 제 1항에 있어서,
    상기 정렬은
    상기 제1 개체와 상기 제2 개체가 다른 경우, 상기 제1 개체와 상기 제2 개체간의 기하학적 배치 구조를 기저장된 기하학적 배치 구조와 일치시키는 의료 영상 정합 방법.
  12. 제 1항에 있어서,
    상기 제1 의료 영상은 실시간으로 촬영된 영상이고,
    상기 제2 의료 영상은 기촬영된 영상인 의료 영상 정합 방법.
  13. 제 1항에 있어서,
    상기 제1 의료 영상은 초음파 영상 및 OCT 영상 중 어느 하나이고,
    상기 제2 의료 영상은 MR, CT, PET, SPECT, 및 X-ray 영상 중 어느 하나인 의료 영상 정합 방법.
  14. 대상체에 대한 제1 의료 영상을 획득하는 프로브;
    상기 프로브의 위치 및 방향 중 적어도 하나를 검출하는 센서; 및
    상기 대상체의 대상체의 축과 평행하게 배치된 프로브의 축을 기준축으로 설정하고, 상기 제1 의료 영상으로부터 제1 개체를 추출하고, 상기 제1 의료 영상과 모달리티가 다른 제2 의료 영상으로부터 제2 개체를 추출하며, 상기 기준축을 이용하여 상기 제1 개체와 상기 제2 개체를 정렬시킴으로써, 상기 제1 의료 영상과 상기 제2 의료 영상을 정합하는 영상 처리부;를 포함하는 의료 영상 장치.
  15. 제 14항에 있어서,
    상기 대상체의 축은 상기 제2 의료 영상의 좌표축과 평행한 의료 영상 장치.
  16. 제 14항에 있어서,
    상기 영상 처리부는,
    상기 제1 및 제2 개체의 정렬을 통해 상기 제1 의료 영상의 좌표계와 상기 제2 의료 영상의 좌표계간의 변환 관계를 산출하는 의료 영상 장치.
  17. 제 16항에 있어서,
    상기 변환 관계는
    상기 제1 의료 영상의 좌표축을 회전시켜 상기 기준축에 평행하도록 배치시키고, 상기 회전된 제1 의료 영상의 좌표축을 이동시켜 상기 제1 개체와 제2 개체를 정렬시킴으로써 산출되는 의료 영상 장치.
  18. 제 16항에 있어서,
    상기 영상 처리부는,
    상기 변환 관계를 이용하여, 상기 제1 의료 영상의 단면에 대응하는 상기 제2 의료 영상의 단면을 상기 제2 의료 영상으로부터 추출하는 의료 영상 장치.
  19. 제 18항에 있어서,
    상기 영상 처리부는,
    상기 변환 관계를 이용하여 상기 제1 의료 영상의 단면에 대한 좌표 정보를 상기 제2 의료 영상에서의 좌표 정보를 변환하고, 상기 변환된 좌표 정보를 갖는 상기 제2 의료 영상의 단면을 상기 제2 의료 영상으로부터 추출하는 의료 영상 장치.
  20. 제 19항에 있어서,
    상기 제1 의료 영상의 단면에 대한 좌표 정보는 상기 프로브의 위치 및 방향 중 적어도 하나를 나타내는 상기 프로브의 좌표 정보와 일대일 대응되는 의료 영상 장치.
KR1020140056573A 2014-05-12 2014-05-12 의료 영상 정합 방법 및 그 장치 KR102233966B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020140056573A KR102233966B1 (ko) 2014-05-12 2014-05-12 의료 영상 정합 방법 및 그 장치
CN201510027082.3A CN105096306B (zh) 2014-05-12 2015-01-20 用于对医学图像进行配准的方法和设备
US14/707,099 US10548556B2 (en) 2014-05-12 2015-05-08 Method for registering medical images
EP15167374.6A EP2944258B1 (en) 2014-05-12 2015-05-12 Method and apparatus for registering medical images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140056573A KR102233966B1 (ko) 2014-05-12 2014-05-12 의료 영상 정합 방법 및 그 장치

Publications (2)

Publication Number Publication Date
KR20150129506A true KR20150129506A (ko) 2015-11-20
KR102233966B1 KR102233966B1 (ko) 2021-03-31

Family

ID=53491256

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140056573A KR102233966B1 (ko) 2014-05-12 2014-05-12 의료 영상 정합 방법 및 그 장치

Country Status (4)

Country Link
US (1) US10548556B2 (ko)
EP (1) EP2944258B1 (ko)
KR (1) KR102233966B1 (ko)
CN (1) CN105096306B (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102114417B1 (ko) * 2013-06-11 2020-05-22 삼성메디슨 주식회사 영상 정합 방법 및 장치
US11109843B2 (en) * 2015-02-26 2021-09-07 Hitachi, Ltd. Ultrasonic image pickup device and image processing device
JP6632361B2 (ja) * 2015-12-15 2020-01-22 キヤノン株式会社 画像処理装置、画像処理システム、画像処理方法、及びプログラム。
CN106846380B (zh) * 2016-12-26 2019-09-03 北京理工大学 一种医学图像配准方法及设备
CN110752029B (zh) * 2019-10-21 2020-08-28 北京推想科技有限公司 一种病灶的定位方法及装置
EP3828816A1 (en) * 2019-11-28 2021-06-02 Siemens Healthcare GmbH Patient follow-up analysis

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007244575A (ja) * 2006-03-15 2007-09-27 Hitachi Medical Corp 超音波診断装置
WO2012117381A1 (en) * 2011-03-03 2012-09-07 Koninklijke Philips Electronics N.V. System and method for automated initialization and registration of navigation system
JP2012526623A (ja) * 2009-05-11 2012-11-01 シーメンス コーポレーション 画像ガイド下前立腺癌針生検のためのシステムおよび方法
US20130053679A1 (en) * 2011-08-31 2013-02-28 Analogic Corporation Multi-modality image acquisition
JP2014045943A (ja) * 2012-08-31 2014-03-17 Toshiba Corp 超音波診断装置及び画像データの補正方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8355775B2 (en) 2004-06-03 2013-01-15 Hitachi Medical Corporation Image diagnosing support method and image diagnosing support apparatus
KR20070110965A (ko) 2006-05-16 2007-11-21 주식회사 메디슨 초음파 영상과 외부 의료영상의 합성 영상을디스플레이하기 위한 초음파 시스템
US8340374B2 (en) 2007-01-11 2012-12-25 Kabushiki Kaisha Toshiba 3-dimensional diagnostic imaging system
KR101121286B1 (ko) 2009-07-31 2012-03-23 한국과학기술원 센서의 교정을 수행하는 초음파 시스템 및 방법
KR101121353B1 (ko) 2009-08-03 2012-03-09 한국과학기술원 2차원 초음파 영상에 대응하는 2차원 ｃｔ 영상을 제공하는 시스템 및 방법
EP2516001A4 (en) * 2009-12-24 2013-07-17 Imris Inc MRI AND ULTRASOUND GUIDED TREATMENT APPARATUS
CN102169578B (zh) * 2011-03-16 2013-02-13 内蒙古科技大学 一种基于有限元模型的非刚性医学图像配准方法
CN102663803B (zh) * 2012-04-13 2014-11-26 北京工业大学 一种基于RayCasting改进算法的仿真投影DRR生成方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007244575A (ja) * 2006-03-15 2007-09-27 Hitachi Medical Corp 超音波診断装置
JP2012526623A (ja) * 2009-05-11 2012-11-01 シーメンス コーポレーション 画像ガイド下前立腺癌針生検のためのシステムおよび方法
WO2012117381A1 (en) * 2011-03-03 2012-09-07 Koninklijke Philips Electronics N.V. System and method for automated initialization and registration of navigation system
US20130053679A1 (en) * 2011-08-31 2013-02-28 Analogic Corporation Multi-modality image acquisition
JP2014045943A (ja) * 2012-08-31 2014-03-17 Toshiba Corp 超音波診断装置及び画像データの補正方法

Also Published As

Publication number Publication date
US10548556B2 (en) 2020-02-04
CN105096306B (zh) 2020-05-19
US20150320400A1 (en) 2015-11-12
CN105096306A (zh) 2015-11-25
EP2944258A1 (en) 2015-11-18
KR102233966B1 (ko) 2021-03-31
EP2944258B1 (en) 2019-03-20

Similar Documents

Publication Publication Date Title
US10362941B2 (en) Method and apparatus for performing registration of medical images
KR102001219B1 (ko) 의료 영상들의 정합 방법 및 장치
KR102273020B1 (ko) 의료 영상 정합 방법 및 그 장치
KR102205898B1 (ko) 의료영상들을 정합하는 방법 및 장치
KR102233966B1 (ko) 의료 영상 정합 방법 및 그 장치
KR20140096919A (ko) 의료 영상 정합 방법 및 장치
JP6873647B2 (ja) 超音波診断装置および超音波診断支援プログラム
JP6182045B2 (ja) 画像処理装置およびその方法
KR20140032810A (ko) 의료 영상들의 정합 방법 및 장치
JP6833533B2 (ja) 超音波診断装置および超音波診断支援プログラム
KR20140127635A (ko) 영상 정합 방법 및 장치
US9990725B2 (en) Medical image processing apparatus and medical image registration method using virtual reference point for registering images
US9521980B2 (en) Method for registering medical images, apparatus performing the method, and computer readable media including the method
Zhong et al. “virtual touch”: An efficient registration method for catheter navigation in left atrium
US10076311B2 (en) Method and apparatus for registering medical images
KR102530170B1 (ko) 영상 처리 장치, 영상 처리 장치 제어 방법 및 의료 영상 장치
KR20150026354A (ko) 의료영상들을 정합하는 방법 및 장치
KR102336446B1 (ko) 의료 영상 정합 방법 및 그 장치
JP2017221684A (ja) 画像処理装置およびその方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant