KR101117026B1 - 서로 다른 영상간에 영상 정합을 수행하는 영상 정합 시스템 및 방법 - Google Patents

서로 다른 영상간에 영상 정합을 수행하는 영상 정합 시스템 및 방법 Download PDF

Info

Publication number
KR101117026B1
KR101117026B1 KR1020090124998A KR20090124998A KR101117026B1 KR 101117026 B1 KR101117026 B1 KR 101117026B1 KR 1020090124998 A KR1020090124998 A KR 1020090124998A KR 20090124998 A KR20090124998 A KR 20090124998A KR 101117026 B1 KR101117026 B1 KR 101117026B1
Authority
KR
South Korea
Prior art keywords
image
interest
information
frames
image information
Prior art date
Application number
KR1020090124998A
Other languages
English (en)
Other versions
KR20110068153A (ko
Inventor
이광희
Original Assignee
삼성메디슨 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성메디슨 주식회사 filed Critical 삼성메디슨 주식회사
Priority to KR1020090124998A priority Critical patent/KR101117026B1/ko
Publication of KR20110068153A publication Critical patent/KR20110068153A/ko
Application granted granted Critical
Publication of KR101117026B1 publication Critical patent/KR101117026B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging
    • G01S15/8906—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques
    • G01S15/8995—Combining images from different aspect angles, e.g. spatial compounding

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Acoustics & Sound (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

서로 다른 영상간에 영상 정합을 수행하는 영상 정합 시스템 및 방법이 개시된다. 본 발명에 따른 영상 정합 시스템은, 대상체내의 제1 관심객체에 삽입되어 제1 관심객체를 순차적으로 촬상하여 제1 관심객체에 해당하는 복수의 제1 프레임 각각의 제1 영상신호를 형성하고, 사전 설정된 기준 좌표점을 기준으로 복수의 제1 프레임 각각의 3차원 위치에 해당하는 제1 위치 정보를 형성하며, 복수의 제1 영상신호 및 복수의 제1 위치 정보를 포함하는 제1 영상정보를 획득하도록 동작하는 제1 영상정보 획득부; 대상체내의 제2 관심객체에 해당하는 복수의 제2 프레임 각각의 제2 영상신호를 형성하고, 복수의 제2 프레임 각각의 3차원 위치에 해당하는 제2 위치 정보를 형성하며, 복수의 제2 영상신호 및 복수의 제2 위치 정보를 포함하는 제2 영상정보를 획득하도록 동작하는 제2 영상정보 획득부; 및 1 영상정보 및 제2 영상정보를 이용하여, 제1 관심객체에 해당하는 제1 영상 및 제2 관심객체에 해당하는 제2 영상을 형성하며, 제1 영상 및 제2 영상 간에 영상 정합을 수행하도록 동작하는 본체를 포함한다.
영상 정합, 내시경, 초음파, CT, MRI

Description

서로 다른 영상간에 영상 정합을 수행하는 영상 정합 시스템 및 방법{IMAGE REGISTRATION SYSTEM FOR PERFORMING IMAGE REGISTRATION BETWEEN DIFFERENT IMAGES}
본 발명은 영상 정합 시스템에 관한 것으로, 특히 서로 다른 영상간에 영상 정합(image registration)을 수행하는 영상 정합 시스템 및 방법에 관한 것이다.
최근, 대상체내에 삽입되어 대상체내를 촬상하는 캡슐형 내시경이 각광받고 있다. 캡슐형 내시경은 캡슐에 초소형 카메라가 장착되어, 대상체내의 소화기관을 따라 이동하면서 내시경 검사를 수행하도록 동작하는 의료 장비이다. 또한, 360°회전 가능한 카메라가 장착된 캡슐형 내시경도 개발되고 있으며 다양한 형태의 캡슐형 내시경이 개발되고 있는 추세이다.
캡슐형 내시경은 크기가 작을 뿐만 아니라 무선으로 동작하므로, 유선 내시경과 달리 대상체에 고통을 주지 않으면서 대상체 내부를 검사할 수 있다. 특히, 길이가 6 내지 7m이며 통로가 좁은 소장의 경우, 유선 내시경은 진입하기 어렵지만, 캡슐형 내시경은 진입할 수 있어, 최적의 진단법으로 부각되고 있다.
이러한 캡슐형 내시경은 대상체내의 소화기관을 따라 이동하면서 소화기관을 촬상할 수 있지만, 소화기관 이외의 장기를 촬상할 수 없다. 캡슐형 내시경으로 촬상할 수 없는 장기는 초음파 진단장치, CT(computed tomograhy) 진단장치, MRI(magnetic resonance imaging) 진단장치 등을 이용하여 장기에 해당하는 의료영상이 획득될 수 있다.
그러나, 초음파 진단장치, CT(computed tomograhy) 진단장치 및 MRI(magnetic resonance imaging) 진단장치는 폐 또는 위에 공기가 차 있는 경우, 폐 또는 위의 의료영상만으로 병변을 진단하는데 어려움이 있다. 따라서, 대상체내의 관심객체에 삽입되는 촬상 장치로부터 제공되는 의료영상과, 초음파 진단장치, CT(computed tomograhy) 진단장치 또는 MRI(magnetic resonance imaging) 진단장치로부터 제공되는 의료영상 간에 영상 정합을 수행하는 영상 정합 시스템이 요구되고 있다.
본 발명은 대상체내의 서로 다른 관심객체에 대해 서로 다른 영상을 획득하여 영상 정합을 수행하는 영상 정합 시스템 및 방법을 제공한다.
본 발명에 따른 영상 정합 시스템은, 대상체내의 제1 관심객체에 삽입되어 상기 제1 관심객체를 순차적으로 촬상하여 상기 제1 관심객체에 해당하는 복수의 제1 프레임 각각의 제1 영상신호를 형성하고, 사전 설정된 기준 좌표점을 기준으로 상기 복수의 제1 프레임 각각의 3차원 위치에 해당하는 제1 위치 정보를 형성하며, 상기 복수의 제1 영상신호 및 상기 복수의 제1 위치 정보를 포함하는 제1 영상정보를 획득하도록 동작하는 제1 영상정보 획득부; 상기 대상체내의 제2 관심객체에 해당하는 복수의 제2 프레임 각각의 제2 영상신호를 형성하고, 상기 복수의 제2 프레임 각각의 3차원 위치에 해당하는 제2 위치 정보를 형성하며, 상기 복수의 제2 영상신호 및 상기 복수의 제2 위치 정보를 포함하는 제2 영상정보를 획득하도록 동작하는 제2 영상정보 획득부; 및 상기 1 영상정보 및 상기 제2 영상정보를 이용하여, 상기 제1 관심객체에 해당하는 제1 영상 및 상기 제2 관심객체에 해당하는 제2 영상을 형성하며, 상기 제1 영상 및 상기 제2 영상 간에 영상 정합을 수행하도록 동작하는 본체를 포함한다.
또한 본 발명에 따른 영상 정합 방법은, a) 대상체내의 제1 관심객체에 삽입되어 상기 제1 관심객체를 순차적으로 촬상하여 상기 제1 관심객체에 해당하는 복수의 제1 프레임 각각의 제1 영상신호를 형성하는 단계; b) 사전 설정된 기준 좌표점을 기준으로 상기 복수의 제1 프레임 각각의 3차원 위치에 해당하는 제1 위치 정보를 형성하는 단계; c) 상기 복수의 제1 영상신호 및 상기 복수의 제1 위치 정보를 포함하는 제1 영상정보를 획득하는 단계; d) 상기 대상체내의 제2 관심객체에 해당하는 복수의 제2 프레임 각각의 제2 영상신호를 형성하는 단계; e) 상기 복수의 제2 프레임 각각의 3차원 위치에 해당하는 제2 위치 정보를 형성하는 단계; f) 상기 복수의 제2 영상신호 및 상기 복수의 제2 위치 정보를 포함하는 제2 영상정보를 획득하는 단계; 및 g) 상기 1 영상정보 및 상기 제2 영상정보를 이용하여, 상기 제1 관심객체에 해당하는 제1 영상 및 상기 제2 관심객체에 해당하는 제2 영상을 형성하여 상기 제1 영상 및 상기 제2 영상 간에 영상 정합을 수행하는 단계를 포함한다.
또한 본 발명에 따른, 서로 다른 영상 간의 영상 정합 방법을 수행하기 위한 프로그램을 저장하는 컴퓨터 판독가능 기록매체로서, 상기 방법은, a) 대상체내의 제1 관심객체에 삽입되어 상기 제1 관심객체를 순차적으로 촬상하여 상기 제1 관심객체에 해당하는 복수의 제1 프레임 각각의 제1 영상신호를 형성하는 단계; b) 사전 설정된 기준 좌표점을 기준으로 상기 복수의 제1 프레임 각각의 3차원 위치에 해당하는 제1 위치 정보를 형성하는 단계; c) 상기 복수의 제1 영상신호 및 상기 복수의 제1 위치 정보를 포함하는 제1 영상정보를 획득하는 단계; d) 상기 대상체내의 제2 관심객체에 해당하는 복수의 제2 프레임 각각의 제2 영상신호를 형성하는 단계; e) 상기 복수의 제2 프레임 각각의 3차원 위치에 해당하는 제2 위치 정보를 형성하는 단계; f) 상기 복수의 제2 영상신호 및 상기 복수의 제2 위치 정보를 포함하는 제2 영상정보를 획득하는 단계; 및 g) 상기 1 영상정보 및 상기 제2 영상정보를 이용하여, 상기 제1 관심객체에 해당하는 제1 영상 및 상기 제2 관심객체에 해당하는 제2 영상을 형성하여 상기 제1 영상 및 상기 제2 영상 간에 영상 정합을 수행하는 단계를 포함한다.
본 발명에 의하면, 대상체내에 존재하는 서로 다른 관심객체의 위치 정보를 이용하여 서로 다른 3차원 영상 간에 영상 정합을 수행할 수 있어, 사용자는 영상 정합된 3차원 영상들을 이용하여 대상체내의 관심객체들을 종합적으로 진단할 수 있다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 설명한다.
도 1은 본 발명의 실시예에 따른 영상 정합 시스템의 구성을 보이는 블록도이다. 영상 정합 시스템(100)은 제1 영상정보 획득부(110), 제2 영상정보 획득부(120), 본체(130) 및 디스플레이부(140)를 포함한다.
제1 영상정보 획득부(110)는 대상체내의 제1 관심객체에 해당하는 제1 영상정보를 획득한다. 본 실시예에서 제1 관심객체는 제1 영상정보 획득부(110)가 삽입될 수 있는 관심객체를 나타낸다. 일례로서, 제1 관심객체는 식도, 소화기관, 배설기관, 허파 등을 포함할 수 있다. 또한, 제1 영상정보는 제1 관심객체에 해당하는 영상신호(이하, 제1 영상신호라 함) 및 제1 영상정보 획득부(110)의 3차원 위치 정보(이하, 제1 위치 정보라 함)를 포함한다.
본 발명의 일실시예에 따라, 제1 영상정보 획득부(110)는 무선 촬상(wireless imaging)부(도시하지 않음)를 포함할 수 있다. 도 2는 본 발명의 일실시예에 따른 제1 영상정보 획득부의 구성을 보이는 블록도이다. 도 2를 참조하면, 제1 영상정보 획득부(110)는 촬상부(111a), 제1 센서부(112a), 제1 영상정보 형성부(113a) 및 제1 통신모듈(114a)을 포함한다.
촬상부(111a)는 대상체내의 제1 관심객체를 촬상하여 제1 관심객체에 해당하는 제1 영상신호를 형성한다. 본 실시예에서 촬상부(111a)는 카메라(도시하지 않음)를 포함할 수 있다. 일례로서, 촬상부(111a)는 1개의 카메라를 이용하여 제1 관 심객체를 순차적으로 촬상하여 복수의 제1 프레임 각각에 해당하는 제1 영상신호를 형성한다.
제1 센서부(112a)는 사전 설정된 기준 좌표점을 기준으로 제1 영상정보 획득부(110)의 3차원 위치를 검출하여 복수의 제1 프레임 각각에 대응하는 제1 위치정보를 형성한다. 기준 좌표점은 제1 영상정보 획득부(110) 및 제2 영상정보 형성부(120)의 상대적인 3차원 위치를 검출하기 위한 기준 좌표점으로서, 사용자에 의해 수동적으로 또는 영상 정합 시스템(100)에 의해 자동적으로 설정될 수 있다. 일례로서, 기준 좌표점은 대상체의 특정 부위(예를 들어, 머리, 눈, 코, 입 등)일 수 있다. 다른 예로서, 기준 좌표점은 대상체가 위치한 침대의 일측 부위일 수 있다. 제1 센서부(112a)는 3차원 위치를 감지할 수 있는 장치라면 어떤 장치라도 무방하다.
제1 영상정보 형성부(113a)는 촬상부(111a)로부터 제공되는 제1 영상신호 및 제1 센서부(112a)로부터 제공되는 제1 위치정보를 이용하여 제1 영상정보 - 제1 영상정보는 제1 영상신호 및 제1 위치정보를 포함함 - 를 형성한다.
제1 통신모듈(114a)는 제1 영상정보 형성부(113a)로부터 제1 영상정보가 제공되면, 제1 영상정보를 무선으로 송신한다. 제1 통신모듈(114a)는 정보를 무선으로 송수신할 수 있는 장치라면 어떤 장치라도 무방하다.
본 발명의 다른 실시예에 따라, 제1 영상정보 획득부(110)는 내시경(도시하지 않음)을 포함할 수 있다. 도 3은 본 발명의 다른 실시예에 따른 제1 영상정보 획득부의 구성을 보이는 블록도이다. 도 3을 참조하면, 제1 영상 획득부(110)는 촬 상부(111b), 위치 산출부(112b) 및 제1 영상정보 형성부(113b)를 포함할 수 있다.
촬상부(111b)는 내시경 관(210, 도 4 참조)의 일측에 장착되어, 대상체내의 제1 관심객체를 촬상하여 제1 관심객체에 해당하는 제1 영상신호를 형성한다. 본 실시예에서 촬상부(111b)는 카메라(도시하지 않음)를 포함할 수 있다. 일례로서, 촬상부(111b)는 1개의 카메라를 이용하여 제1 관심객체를 순차적으로 촬상하여 복수의 제1 프레임 각각에 해당하는 제1 영상신호를 형성한다.
위치 산출부(112b)는 촬상부(111b)의 위치를 산출한다. 일례로서, 도 4에 도시된 바와 같이 내시경 관(210)의 전체 길이가 4n(n은 정수)이고, 관절(211) 간의 길이가 n이고, 각 관절(211)은 모터에 의해 돌아간 각도를 알 수 있으며, 사전 설정된 기준 좌표점(즉, 도 4에서 원점)을 기준으로 촬상부(111b)의 좌표가 (4n, 0)인 경우, 위치 산출부(112b)는 도 5에 도시된 바와 같이 삼각함수를 이용하여 촬상부(111b)의 3차원 위치를 산출하여 제1 위치정보를 형성한다.
제1 영상정보 형성부(113b)는 촬상부(111b)로부터 제공되는 제1 영상신호 및 위치 산출부(112b)로부터 제공되는 제1 위치정보를 이용하여 제1 영상정보 - 제1 영상정보는 제1 영상신호 및 제1 위치정보를 포함함 - 를 형성한다.
다시 도 1을 참조하면, 제2 영상정보 획득부(120)는 대상체내의 제2 관심객체에 해당하는 제2 영상정보를 획득한다. 본 실시예에서, 제2 관심객체는 제1 영상정보 획득부(110)를 삽입할 수 없는 관심객체를 포함한다. 일례로서, 제2 관심객체는 간, 심장, 신장 등을 포함할 수 있다. 또한, 제2 영상정보는 제2 관심객체에 해당하는 제2 영상신호 및 제2 영상정보 획득부(120)의 3차원 위치 정보(이하, 제2 위치 정보라 함)를 포함한다. 제2 영상정보 획득부(120)는 초음파 진단장치, CT(computed tomograhy) 진단장치 및 MRI(magnetic resonance imaging) 진단장치중 어느 하나를 포함한다. 이하, 설명의 편의를 위해 제2 영상정보 획득부(120)는 초음파 진단장치인 것으로 설명한다.
도 6은 본 발명의 실시예에 따른 제2 영상정보 획득부의 구성을 보이는 블록도이다. 도 6을 참조하면, 제2 영상정보 획득부(120)는 송신신호 형성부(121), 복수의 변환소자(transducer element)(도시하지 않음)를 포함하는 초음파 프로브(122), 빔 포머(123), 영상신호 형성부(124), 제2 센서부(125) 및 제2 영상정보 형성부(126)를 포함한다.
송신신호 형성부(121)는 변환소자의 위치 및 집속점을 고려하여 송신신호를 형성한다. 송신신호 형성부(121)는 송신신호의 형성을 순차적 및 반복적으로 수행하여 도 7에 도시된 바와 같이 제2 프레임(Pi(1≤i≤N)) 각각에 해당하는 송신신호를 형성한다.
초음파 프로브(122)는 송신신호 형성부(121)로부터 송신신호가 제공되면, 송신신호를 초음파 신호로 변환하여 대상체에 송신하고 대상체로부터 반사되는 초음파 신호(즉, 초음파 에코신호)를 수신하여 수신신호를 형성한다. 수신신호는 아날로그 신호이다. 초음파 프로브(122)는 송신신호 형성부(121)로부터 순차적으로 제공되는 송신신호에 따라 초음파 신호의 송수신을 순차적 및 반복적으로 수행하여 복수의 수신신호를 형성한다.
빔 포머(123)는 초음파 프로브(122)로부터 수신신호가 제공되면, 수신신호를 아날로그 디지털 변환하여 디지털 신호를 형성한다. 또한, 빔 포머(123)는 변환소자의 위치 및 집속점을 고려하여 디지털 신호를 수신집속시켜 수신집속신호를 형성한다. 빔 포머(123)는 초음파 프로브(122)로부터 순차적으로 제공되는 수신신호에 따라 아날로그 디지털 변환 및 수신집속을 순차적 및 반복적으로 수행하여 복수의 수신집속신호를 형성한다.
영상신호 형성부(124)는 빔 포머(123)로부터 수신집속신호가 제공되면, 수신집속신호를 이용하여 제2 관심객체의 복수의 프레임 각각에 해당하는 영상신호(이하, 제2 영상신호라 함)를 형성한다.
제2 센서부(125)는 초음파 프로브(122)의 일측에 장착되어, 기준 좌표점을 기준으로 초음파 프로브(122)의 3차원 위치를 검출하여 복수의 제2 프레임 각각에 대응하는 3차원 위치 정보(이하, 제2 위치 정보라 함)를 형성한다. 제2 센서부(125)는 3차원 위치를 검출할 수 있는 장치라면 어떤 장치라도 무방하다.
제2 영상정보 형성부(126)는 영상신호 형성부(124)로부터 제공되는 제2 영상신호 및 제2 센서부(125)로부터 제공되는 제2 위치 정보를 포함하는 제2 영상정보를 형성한다.
다시 도 1을 참조하면, 본체(130)는 제1 영상정보 획득부(110) 및 제2 영상정보 획득부(120)와 연결된다. 본체(130)는 적어도 하나의 프로세서(도시하지 않음)를 포함하여, 제1 영상정보 획득부(110)로부터 제공되는 제1 영상정보를 이용하여 제1 영상을 형성하고, 제2 영상정보 획득부(120)로부터 제공되는 제2 영상정보 를 이용하여 제2 영상을 형성하며, 제1 영상과 제2 영상간에 영상 정합을 수행한다. 본체(130)에 대해서는 도 8을 참조하여 보다 구체적으로 설명한다.
도 8은 본 발명의 실시예에 따른 본체의 구성을 보이는 블록도이다. 본체(130)는 제1 영상 형성부(131), 제2 영상 형성부(132), 위치 산출부(133) 및 영상 정합부(134)를 포함한다. 또한, 본체(130)는 제2 통신모듈(135)를 더 포함한다.
제1 영상 형성부(131)는 제1 영상정보 획득부(110)로부터 제공되는 제1 영상정보에서 복수의 제1 영상신호를 이용하여 제1 관심객체에 해당하는 제1 영상을 형성한다. 본 실시예에서 제1 영상은 제1 관심객체의 3차원 내시경 영상을 포함한다. 일례로서, 제1 영상 형성부(131)는 복수의 제1 영상신호를 이용하여 복수의 프레임 각각에 해당하는 2차원 영상(즉, 2차원 내시경 영상)을 형성한다. 제1 영상 형성부(132)는 복수의 2차원 영상 각각에서 극상선(epipolar line)을 검출한다. 극상선은 N(N은 1 이상의 정수)번째 2차원 영상과 (N+1)번째 2차원 영상의 센터를 연결하는 선(base line)을 포함하는 극상면(epipolar plane)과 2차원 영상이 만나는 선을 의미한다. 제1 영상 형성부(131)는 극상선을 따라 N번째 2차원 영상의 각 픽셀에 대해 (N+1)번째 2차원 영상에서 대응하는 픽셀을 검출한다. 제1 영상 형성부(131)는 N번째 2차원 영상의 각 픽셀의 좌표와 이에 대응하는 (N+1)번째 2차원 영상에서의 픽셀의 좌표로부터 삼각법(triangulation method)를 적용하여 제1 영상, 즉 3차원 내시경 영상을 형성한다.
제2 영상 형성부(132)는 제2 영상정보 획득부(120)로부터 제공되는 제2 영상정보를 이용하여 제2 관심객체에 해당하는 제2 영상을 형성한다. 일례로서, 제2 영 상 형성부(132)는 복수의 프레임 각각에 해당하는 제2 영상신호를 이용하여 제2 관심객체에 해당하는 3차원 초음파 영상을 형성한다.
위치 산출부(133)는 제1 영상정보 획득부(110)로부터 제공되는 제1 영상정보에서 제1 위치 정보를 이용하여, 기준 좌표점을 기준으로 제1 영상에 대해 제1 관심객체의 3차원 위치를 산출한다. 또한, 위치 산출부(133)는 제2 영상정보 획득부(120)로부터 제공되는 제2 영상정보에서 제2 위치 정보를 이용하여, 기준 좌표점을 기준으로 제2 영상에 대해 제2 관심객체의 3차원 위치를 산출한다.
영상 정합부(134)는 위치 산출부(133)로부터 제공되는 상대 위치 정보를 이용하여 제1 영상과 제2 영상 간에 영상 정합을 수행한다. 위치 정보를 이용한 영상 정합은 공지된 다양한 방법을 통해 수행될 수 있으므로 본 실시예에서 상세하게 설명하지 않는다.
제2 통신모듈(135)은 제1 영상정보 획득부(110)의 제1 통신모듈(114a)로부터 무선으로 제공되는 제1 영상정보를 수신한다. 제2 통신모듈(135)은 정보를 무선으로 송수신할 수 있는 장치라면 어떤 장치라도 무방하다.
다시 도 1을 참조하면, 디스플레이부(140)는 본체(130)에서 영상 정합된 제1 영상 및 제2 영상을 디스플레이한다. 아울러, 디스플레이부(140)는 본체(130)에서 형성된 제1 영상 및 제2 영상을 디스플레이할 수 있다.
본 발명이 바람직한 실시예를 통해 설명되고 예시되었으나, 당업자라면 첨부된 특허청구범위의 사항 및 범주를 벗어나지 않고 여러 가지 변경 및 변형이 이루어질 수 있음을 알 수 있을 것이다.
도 1은 본 발명의 실시예에 따른 영상 정합 시스템의 구성을 보이는 블록도.
도 2는 본 발명의 일실시예에 따른 제1 영상정보 획득부의 구성을 보이는 블록도.
도 3은 본 발명의 다른 실시예에 따른 제1 영상정보 획득부의 구성을 보이는 블록도.
도 4 및 도 5는 본 발명의 다른 실시예에 따라 촬상부의 3차원 위치를 산출하는 예를 보이는 예시도.
도 6은 본 발명의 실시예에 따른 2 영상정보 획득부의 구성을 보이는 블록도.
도 7은 프레임의 스캔 방향을 보이는 예시도.
도 8은 본 발명의 실시예에 따른 본체의 구성을 보이는 블록도.

Claims (13)

  1. 영상 정합 시스템으로서,
    대상체내의 제1 관심객체에 삽입되어 상기 제1 관심객체를 순차적으로 촬상하여 상기 제1 관심객체에 해당하는 복수의 제1 프레임 각각의 제1 영상신호를 형성하고, 사전 설정된 기준 좌표점을 기준으로 상기 복수의 제1 프레임 각각의 3차원 위치에 해당하는 제1 위치 정보를 형성하며, 상기 복수의 제1 영상신호 및 상기 복수의 제1 위치 정보를 포함하는 제1 영상정보를 획득하도록 동작하는 제1 영상정보 획득부;
    상기 대상체내의 제2 관심객체에 해당하는 복수의 제2 프레임 각각의 제2 영상신호를 형성하고, 상기 복수의 제2 프레임 각각의 3차원 위치에 해당하는 제2 위치 정보를 형성하며, 상기 복수의 제2 영상신호 및 상기 복수의 제2 위치 정보를 포함하는 제2 영상정보를 획득하도록 동작하는 제2 영상정보 획득부; 및
    상기 1 영상정보 및 상기 제2 영상정보를 이용하여, 상기 제1 관심객체에 해당하는 제1 영상 및 상기 제2 관심객체에 해당하는 제2 영상을 형성하며, 상기 제1 영상 및 상기 제2 영상 간에 영상 정합을 수행하도록 동작하는 본체
    를 포함하는 영상 정합 시스템.
  2. 제1항에 있어서, 상기 제1 영상정보 획득부는 무선 촬상부를 포함하는 영상 정합 시스템.
  3. 제2항에 있어서, 상기 제1 영상정보 획득부는,
    카메라를 포함하고, 상기 제1 관심객체를 순차적으로 촬상하여 상기 복수의 제1 영상신호를 형성하도록 동작하는 촬상부;
    상기 기준 좌표점을 기준으로 상기 복수의 제1 프레임 각각의 3차원 위치를 검출하여 상기 복수의 제1 프레임 각각에 해당하는 제1 위치 정보를 형성하도록 동작하는 제1 센서부;
    상기 복수의 제1 영상신호 및 상기 복수의 제1 위치 정보를 포함하는 상기 제1 영상정보를 형성하도록 동작하는 제1 영상정보 형성부; 및
    상기 제1 영상정보를 무선으로 송신하도록 동작하는 통신 모듈
    을 포함하는 영상 정합 시스템.
  4. 제1항에 있어서, 상기 제1 영상정보 획득부는 내시경을 포함하는 영상 정합 시스템.
  5. 제4항에 있어서, 상기 제1 영상정보 획득부는,
    카메라를 포함하고, 상기 제1 관심객체를 순차적으로 촬상하여 상기 복수의 제1 영상신호를 형성하도록 동작하는 촬상부;
    상기 기준 좌표점을 기준으로 상기 촬상부의 3차원 위치를 검출하여 상기 복수의 제1 프레임 각각에 해당하는 제1 위치정보를 형성하도록 동작하는 위치 산출 부; 및
    상기 복수의 제1 영상신호 및 상기 복수의 제1 위치 정보를 포함하는 상기 제1 영상정보를 형성하도록 동작하는 제1 영상정보 형성부
    를 포함하는 영상 정합 시스템.
  6. 제1항 내지 제5항중 어느 한 항에 있어서, 상기 제1 영상은 3차원 내시경 영상을 포함하는 영상 정합 시스템.
  7. 제1항에 있어서, 상기 제2 영상정보 획득부는, 초음파 진단부, CT(computed tomograhy) 진단부 및 MRI(magnetic resonance imaging) 진단부중 어느 하나를 포함하는 영상 정합 시스템.
  8. 제1항에 있어서, 본체는,
    상기 제1 영상정보에서 상기 복수의 제1 영상신호를 이용하여 상기 제1 영상을 형성하도록 동작하는 제1 영상 형성부;
    상기 제2 영상정보에서 상기 복수의 제2 영상신호를 이용하여 상기 제2 영상을 형성하도록 동작하는 제2 영상 형성부;
    상기 제1 영상정보에서 상기 복수의 제1 위치 정보를 이용하여, 상기 제1 영상에 대해 상기 기준 좌표점을 기준으로 상기 제1 관심객체의 3차원 위치를 산출하고, 상기 제2 영상정보에서 상기 복수의 제2 위치 정보를 이용하여, 상기 제2 영상 에 대해 상기 기준 좌표점을 기준으로 상기 제2 관심객체의 3차원 위치를 산출하도록 동작하는 위치 산출부; 및
    상기 산출된 3차원 위치에 기초하여 상기 제1 영상과 상기 제2 영상 간에 영상 정합을 수행하도록 동작하는 영상 정합부
    를 포함하는 영상 정합 시스템.
  9. 서로 다른 영상 간의 영상 정합 방법으로서,
    a) 대상체내의 제1 관심객체에 삽입되어 상기 제1 관심객체를 순차적으로 촬상하여 상기 제1 관심객체에 해당하는 복수의 제1 프레임 각각의 제1 영상신호를 형성하는 단계;
    b) 사전 설정된 기준 좌표점을 기준으로 상기 복수의 제1 프레임 각각의 3차원 위치에 해당하는 제1 위치 정보를 형성하는 단계;
    c) 상기 복수의 제1 영상신호 및 상기 복수의 제1 위치 정보를 포함하는 제1 영상정보를 획득하는 단계;
    d) 상기 대상체내의 제2 관심객체에 해당하는 복수의 제2 프레임 각각의 제2 영상신호를 형성하는 단계;
    e) 상기 복수의 제2 프레임 각각의 3차원 위치에 해당하는 제2 위치 정보를 형성하는 단계;
    f) 상기 복수의 제2 영상신호 및 상기 복수의 제2 위치 정보를 포함하는 제2 영상정보를 획득하는 단계; 및
    g) 상기 1 영상정보 및 상기 제2 영상정보를 이용하여, 상기 제1 관심객체에 해당하는 제1 영상 및 상기 제2 관심객체에 해당하는 제2 영상을 형성하여 상기 제1 영상 및 상기 제2 영상 간에 영상 정합을 수행하는 단계
    를 포함하는 영상 정합 방법.
  10. 제9항에 있어서, 상기 제1 영상은 3차원 내시경 영상을 포함하는 영상 정합 방법.
  11. 제9항에 있어서, 상기 제2 영상은 3차원 초음파 영상, CT 영상 및 MRI 영상중 어느 하나를 포함하는 영상 정합 방법.
  12. 제9항에 있어서, 상기 단계 g)는
    g1) 상기 제1 영상정보에서 상기 복수의 제1 영상신호를 이용하여 상기 제1 영상을 형성하는 단계;
    g2) 상기 제2 영상정보에서 상기 복수의 제2 영상신호를 이용하여 상기 제2 영상을 형성하는 단계;
    g3) 상기 제1 영상정보에서 상기 복수의 제1 위치 정보를 이용하여, 상기 제1 영상에 대해 상기 기준 좌표점을 기준으로 상기 제1 관심객체의 3차원 위치를 산출하는 단계;
    g4) 상기 제2 영상정보에서 상기 복수의 제2 위치 정보를 이용하여, 상기 제 2 영상에 대해 상기 기준 좌표점을 기준으로 상기 제2 관심객체의 3차원 위치를 산출하는 단계; 및
    g5) 상기 단계 g3) 및 상기 단계 g4)에서 산출된 3차원 위치에 기초하여 상기 제1 영상과 상기 제2 영상 간에 영상 정합을 수행하는 단계
    를 포함하는 영상 정합 방법.
  13. 서로 다른 영상 간의 영상 정합 방법을 수행하기 위한 프로그램을 저장하는 컴퓨터 판독가능 기록매체로서, 상기 방법은,
    a) 대상체내의 제1 관심객체에 삽입되어 상기 제1 관심객체를 순차적으로 촬상하여 상기 제1 관심객체에 해당하는 복수의 제1 프레임 각각의 제1 영상신호를 형성하는 단계;
    b) 사전 설정된 기준 좌표점을 기준으로 상기 복수의 제1 프레임 각각의 3차원 위치에 해당하는 제1 위치 정보를 형성하는 단계;
    c) 상기 복수의 제1 영상신호 및 상기 복수의 제1 위치 정보를 포함하는 제1 영상정보를 획득하는 단계;
    d) 상기 대상체내의 제2 관심객체에 해당하는 복수의 제2 프레임 각각의 제2 영상신호를 형성하는 단계;
    e) 상기 복수의 제2 프레임 각각의 3차원 위치에 해당하는 제2 위치 정보를 형성하는 단계;
    f) 상기 복수의 제2 영상신호 및 상기 복수의 제2 위치 정보를 포함하는 제2 영상정보를 획득하는 단계; 및
    g) 상기 1 영상정보 및 상기 제2 영상정보를 이용하여, 상기 제1 관심객체에 해당하는 제1 영상 및 상기 제2 관심객체에 해당하는 제2 영상을 형성하여 상기 제1 영상 및 상기 제2 영상 간에 영상 정합을 수행하는 단계
    를 포함하는 방법을 수행하기 위한 프로그램을 저장하는 컴퓨터 판독가능 기록매체.
KR1020090124998A 2009-12-15 2009-12-15 서로 다른 영상간에 영상 정합을 수행하는 영상 정합 시스템 및 방법 KR101117026B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090124998A KR101117026B1 (ko) 2009-12-15 2009-12-15 서로 다른 영상간에 영상 정합을 수행하는 영상 정합 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090124998A KR101117026B1 (ko) 2009-12-15 2009-12-15 서로 다른 영상간에 영상 정합을 수행하는 영상 정합 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20110068153A KR20110068153A (ko) 2011-06-22
KR101117026B1 true KR101117026B1 (ko) 2012-03-16

Family

ID=44400455

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090124998A KR101117026B1 (ko) 2009-12-15 2009-12-15 서로 다른 영상간에 영상 정합을 수행하는 영상 정합 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR101117026B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9495725B2 (en) 2013-01-29 2016-11-15 Samsung Electronics Co., Ltd. Method and apparatus for medical image registration
US10542955B2 (en) 2012-11-26 2020-01-28 Samsung Electronics Co., Ltd. Method and apparatus for medical image registration

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102149274B1 (ko) 2013-11-29 2020-08-28 한화테크윈 주식회사 특징점 매칭을 이용한 영상매칭 방법
KR102294734B1 (ko) * 2014-09-30 2021-08-30 삼성전자주식회사 영상 정합 장치, 영상 정합 방법 및 영상 정합 장치가 마련된 초음파 진단 장치
KR102532287B1 (ko) * 2015-10-08 2023-05-15 삼성메디슨 주식회사 초음파 장치 및 그 제어방법
KR102215068B1 (ko) * 2019-02-18 2021-02-10 부산대학교 산학협력단 임플란트 진단용 영상 정합을 위한 장치 및 방법
KR102382614B1 (ko) * 2019-04-05 2022-04-04 고려대학교 산학협력단 초음파 검사위치 안내 기능이 탑재된 초음파 촬영 장치
KR102399304B1 (ko) * 2022-03-08 2022-05-19 주식회사 삼마아이씨티 스마트 미러를 통한 3 차원 영상 기반 보행 및 운동 촬영 검사시스템

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080022980A (ko) * 2006-09-08 2008-03-12 주식회사 메디슨 영상 처리 시스템 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080022980A (ko) * 2006-09-08 2008-03-12 주식회사 메디슨 영상 처리 시스템 및 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10542955B2 (en) 2012-11-26 2020-01-28 Samsung Electronics Co., Ltd. Method and apparatus for medical image registration
US9495725B2 (en) 2013-01-29 2016-11-15 Samsung Electronics Co., Ltd. Method and apparatus for medical image registration

Also Published As

Publication number Publication date
KR20110068153A (ko) 2011-06-22

Similar Documents

Publication Publication Date Title
KR101117026B1 (ko) 서로 다른 영상간에 영상 정합을 수행하는 영상 정합 시스템 및 방법
JP4631057B2 (ja) 内視鏡システム
US8767057B2 (en) Image processing device, image processing method, and program
JP4414682B2 (ja) 超音波内視鏡装置
US9659345B2 (en) System and method of providing real-time dynamic imagery of a medical procedure site using multiple modalities
CN109069119B (zh) 用于超声胎儿成像的3d图像合成
JP6160487B2 (ja) 超音波診断装置およびその制御方法
US8376951B2 (en) Ultrasonic diagnostic apparatus and method for displaying probe operation guide
JP4733243B2 (ja) 生検支援システム
US20050096526A1 (en) Endoscopy device comprising an endoscopy capsule or an endoscopy head with an image recording device, and imaging method for such an endoscopy device
WO2000057767A2 (en) Apparatus and methods for medical diagnostic and for medical guided interventions and therapy
JP2010172701A (ja) 映像指示子を提供する超音波システムおよび方法
US20150320391A1 (en) Ultrasonic diagnostic device and medical image processing device
JP6141559B1 (ja) 医療装置、医療画像生成方法及び医療画像生成プログラム
JP2005296436A (ja) 超音波診断装置
JP3707830B2 (ja) 術式支援用画像表示装置
JP2008220802A (ja) 医用画像診断装置
WO2017205386A1 (en) Synchronized surface and internal tumor detection
JP2017522072A (ja) 信頼度マッチング付き生体内マルチカメラカプセルからの画像の再構築
JP6833533B2 (ja) 超音波診断装置および超音波診断支援プログラム
JP2013255658A (ja) 超音波診断装置
JP2012170747A (ja) 超音波診断装置、及び超音波診断プログラム
JP2022504878A (ja) 深層学習に基づく超音波撮像ガイダンス並びに関連するデバイス、システム、及び方法
JP2001157677A (ja) 超音波診断装置
KR100875620B1 (ko) 초음파 영상 시스템 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150127

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160203

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170206

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20180205

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20190201

Year of fee payment: 8