KR101784063B1 - 펜타입의 의료용 형광 이미지 장치 및 이를 이용한 다중 형광 영상의 정합 시스템 - Google Patents
펜타입의 의료용 형광 이미지 장치 및 이를 이용한 다중 형광 영상의 정합 시스템 Download PDFInfo
- Publication number
- KR101784063B1 KR101784063B1 KR1020150109516A KR20150109516A KR101784063B1 KR 101784063 B1 KR101784063 B1 KR 101784063B1 KR 1020150109516 A KR1020150109516 A KR 1020150109516A KR 20150109516 A KR20150109516 A KR 20150109516A KR 101784063 B1 KR101784063 B1 KR 101784063B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- fluorescence image
- unit
- fluorescence
- blood vessel
- Prior art date
Links
- 238000002073 fluorescence micrograph Methods 0.000 title claims description 144
- 210000004204 blood vessel Anatomy 0.000 claims abstract description 97
- 239000000463 material Substances 0.000 claims abstract description 37
- 206010018338 Glioma Diseases 0.000 claims abstract description 30
- 208000032612 Glial tumor Diseases 0.000 claims abstract description 24
- 239000000523 sample Substances 0.000 claims abstract description 21
- 238000000799 fluorescence microscopy Methods 0.000 claims description 26
- ZGXJTSGNIOSYLO-UHFFFAOYSA-N 88755TAZ87 Chemical compound NCC(=O)CCC(O)=O ZGXJTSGNIOSYLO-UHFFFAOYSA-N 0.000 claims description 21
- 238000000034 method Methods 0.000 claims description 17
- 238000012545 processing Methods 0.000 claims description 9
- 238000006243 chemical reaction Methods 0.000 claims description 7
- 241000208340 Araliaceae Species 0.000 claims description 5
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims description 5
- 235000003140 Panax quinquefolius Nutrition 0.000 claims description 5
- 235000008434 ginseng Nutrition 0.000 claims description 5
- 230000002792 vascular Effects 0.000 claims description 5
- 210000004602 germ cell Anatomy 0.000 claims description 4
- 238000004891 communication Methods 0.000 claims description 3
- 230000004313 glare Effects 0.000 claims description 2
- MOFVSTNWEDAEEK-UHFFFAOYSA-M indocyanine green Chemical compound [Na+].[O-]S(=O)(=O)CCCCN1C2=CC=C3C=CC=CC3=C2C(C)(C)C1=CC=CC=CC=CC1=[N+](CCCCS([O-])(=O)=O)C2=CC=C(C=CC=C3)C3=C2C1(C)C MOFVSTNWEDAEEK-UHFFFAOYSA-M 0.000 description 23
- 229960004657 indocyanine green Drugs 0.000 description 23
- 229960002749 aminolevulinic acid Drugs 0.000 description 19
- 238000003384 imaging method Methods 0.000 description 10
- 206010028980 Neoplasm Diseases 0.000 description 8
- 210000002149 gonad Anatomy 0.000 description 5
- 102000004506 Blood Proteins Human genes 0.000 description 4
- 108010017384 Blood Proteins Proteins 0.000 description 4
- 230000005284 excitation Effects 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 208000029824 high grade glioma Diseases 0.000 description 4
- 201000011614 malignant glioma Diseases 0.000 description 4
- 210000001519 tissue Anatomy 0.000 description 4
- 201000011510 cancer Diseases 0.000 description 3
- 210000004027 cell Anatomy 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000012632 fluorescent imaging Methods 0.000 description 3
- 230000001678 irradiating effect Effects 0.000 description 3
- 210000001165 lymph node Anatomy 0.000 description 3
- 238000002595 magnetic resonance imaging Methods 0.000 description 3
- 238000002271 resection Methods 0.000 description 3
- 239000000126 substance Substances 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- KSFOVUSSGSKXFI-GAQDCDSVSA-N CC1=C/2NC(\C=C3/N=C(/C=C4\N\C(=C/C5=N/C(=C\2)/C(C=C)=C5C)C(C=C)=C4C)C(C)=C3CCC(O)=O)=C1CCC(O)=O Chemical compound CC1=C/2NC(\C=C3/N=C(/C=C4\N\C(=C/C5=N/C(=C\2)/C(C=C)=C5C)C(C=C)=C4C)C(C)=C3CCC(O)=O)=C1CCC(O)=O KSFOVUSSGSKXFI-GAQDCDSVSA-N 0.000 description 2
- 239000004698 Polyethylene Substances 0.000 description 2
- 239000004743 Polypropylene Substances 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 229910052602 gypsum Inorganic materials 0.000 description 2
- 239000010440 gypsum Substances 0.000 description 2
- 230000003834 intracellular effect Effects 0.000 description 2
- 230000004060 metabolic process Effects 0.000 description 2
- 229920000573 polyethylene Polymers 0.000 description 2
- -1 polypropylene Polymers 0.000 description 2
- 229920001155 polypropylene Polymers 0.000 description 2
- 229950003776 protoporphyrin Drugs 0.000 description 2
- 238000001356 surgical procedure Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 208000010412 Glaucoma Diseases 0.000 description 1
- 238000012307 MRI technique Methods 0.000 description 1
- 239000004677 Nylon Substances 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000003269 fluorescent indicator Substances 0.000 description 1
- 210000004907 gland Anatomy 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 125000004435 hydrogen atom Chemical group [H]* 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000010253 intravenous injection Methods 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000004020 luminiscence type Methods 0.000 description 1
- 230000003211 malignant effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000009206 nuclear medicine Methods 0.000 description 1
- 229920001778 nylon Polymers 0.000 description 1
- 150000004032 porphyrins Chemical class 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
- 229920003002 synthetic resin Polymers 0.000 description 1
- 239000000057 synthetic resin Substances 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/043—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/37—Determination of transform parameters for the alignment of images, i.e. image registration using transform domain methods
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00064—Constructional details of the endoscope body
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/313—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
- A61B1/3137—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes for examination of the interior of blood vessels
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0071—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by measuring fluorescence emission
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
- A61B5/7425—Displaying combinations of multiple images regardless of image source, e.g. displaying a reference anatomical image with a live image
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61K—PREPARATIONS FOR MEDICAL, DENTAL OR TOILETRY PURPOSES
- A61K49/00—Preparations for testing in vivo
- A61K49/001—Preparation for luminescence or biological staining
- A61K49/0013—Luminescence
- A61K49/0017—Fluorescence in vivo
- A61K49/0019—Fluorescence in vivo characterised by the fluorescent group, e.g. oligomeric, polymeric or dendritic molecules
- A61K49/0021—Fluorescence in vivo characterised by the fluorescent group, e.g. oligomeric, polymeric or dendritic molecules the fluorescent group being a small organic molecule
- A61K49/0032—Methine dyes, e.g. cyanine dyes
- A61K49/0034—Indocyanine green, i.e. ICG, cardiogreen
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/174—Segmentation; Edge detection involving the use of two or more images
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2560/00—Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
- A61B2560/04—Constructional details of apparatus
- A61B2560/0406—Constructional details of apparatus specially shaped apparatus housings
- A61B2560/0418—Pen-shaped housings
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
- A61B2562/02—Details of sensors specially adapted for in-vivo measurements
- A61B2562/0233—Special features of optical sensors or probes classified in A61B5/00
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10064—Fluorescence image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
Abstract
본 발명은 길이방향으로 확장되어, 일단에 촬영부를 포함하는 프로브; 상기 촬영부를 둘러싸도록 배열된 복수개의 광원부; 상기 광원부를 제어하는 제어부; 를 포함하며, 상기 광원부는 제1형광 물질에 의하여 혈관이 표시되도록 제1파장영역의 빛을 조사하는 제1광원, 제2형광 물질에 의하여 교종이 표시되도록 제2파장영역의 빛을 조사하는 제2광원으로 이루어져, 상기 제어부에 의해서, 상기 제1광원 및 제2광원이 선택적으로 제어되는 것을 특징으로 하는 펜타입의 의료용 형광 이미지 장치에 관한 것이다.
Description
본 발명은 펜타입의 의료용 형광 이미지 장치 및 이를 이용한 다중 형광 영상의 정합 장치에 관한 것이다.
일반적으로 생물학 및 의료현장에서 생체 이미지화된 정보를 얻기 위하여 다양한 종류의 영상장비가 활용되고 있다. 그 중에서도 광(light)을 이용한 생체영상 방법은 다른 영상기법에 비해 관찰자나 외과수술의사에게 실시간 정보를 주는 편리성 때문에, 광범위하게 사용되고 있다.
이에 더하여, 최근 들어 분자영상 기술의 빠른 발전으로 질병의 진단 및 병변의 검출이 가능해지고 있으며, 특히 핵의학 영상과 자기공명영상 기술은 질환의 진단에 매우 유용한 검사 시스템으로 주목받고 있다. 상기 자기공명영상(MRI, Magnetic Resonance Imaging)기술은 자기장 안에서 수소 원자의 스핀이 이완되는 현상을 이용해 신체의 해부학적, 생리학적, 생화학적 정보 영상을 얻는 방법으로, 인간이나 동물의 신체기관을 비침습적이며, 실시간 영상화할 수 있는 뛰어난 영상 진단 장비중의 하나이다.
그러나, 상기와 같은 자기공명영상은 침윤성이 강한 악성신경교종 진단시에는 악성교종과 정상조직 간의 경계선을 구분하기 어려운 문제점이 있다.
종양의 시술시에는 환자의 안정성을 위해 종양 이외에도 뇌혈관의 위치 및 연결 상태를 확인하여야 하며, 특히, 환자의 생존율을 높이고 병의 재발방지를 위하여 악성종양 또는 종양의 완전절제와 절제부위를 최소화함으로써 정상조직의 손상을 최소화하는 것이 매우 중요하다.
이와 관련하여, 종양 및 혈관을 표시하기 위한 형광 발광물질인 5-ALA(5-Aminolevulinic Acid; 5-아미노레블린산)는 인체 내에 투여된 후 몸속의 신진대사에 의한 물질 변환과정에서 파생된 프로토포르피린 IX(protoporphyrin IX; PpIX) 물질의 생성에 의하여 형광발현을 나타내게 된다. 상기 5-ALA 는 이러한 반응 과정으로 암세포만을 타겟으로 하는 타겟 형광 표시자로서의 역할을 수행하게 된다.
또한, 혈관을 표시하기 위한 형광 발광(發光, luminescence) 물질인 ICG(Indocyanine green; 인도시아닌그린)의 경우 혈관 및 림프절을 돌면서 혈관 및 림프절을 표시하게 된다.
즉, 암세포의 형광 발현을 위해서는 5-ALA 를 이용하고, 혈관의 형광 발현을 위해서는 ICG 를 사용하고 있다.
그러나, 종래의 수술 현미경용 형광 영상 장비는 한 종류의 형광 발광 물질로 인한 한 종류의 형광 발현 영상만을 표시할 수 있어 ICG 에 의한 형광 영상만을 표시하였으며, 형광 영상 장비는 매우 커서 수술하는데만 사용할 수 있는 불편함이 있었다.
따라서, 시술시 환자의 안전과 수술의 용이성을 위하여 교종의 위치와 혈관의 위치를 동시에 정확하게 진단하고 표시해 줄 수 있는 장치가 요구되는 실정이다.
본 발명은 시술시 환자의 안전과 수술의 용이성을 위하여 혈관의 위치와 교종의 위치를 동시에 진단하고 표시해 줄 수 있는 형광 이미지 장치를 제공하고자 한다.
본 발명은 다중 형광 물질에 의하여 혈관의 위치 및 교종의 경계면이 발광 표시되는 다중 형광 영상을 획득하여 실시간으로 정합하여 디스플레이함으로써 시술자가 종양 및 혈관의 위치 및 연결 상태를 정확하고 용이하게 확인할 수 있는 다중 형광 영상의 정합 시스템을 제공하고자 한다.
본 발명은 길이방향으로 확장되어, 일단에 촬영부를 포함하는 프로브; 상기 촬영부를 둘러싸도록 배열된 복수개의 광원부; 상기 광원부를 제어하는 제어부; 를 포함하며, 상기 광원부는 제1형광 물질에 의하여 혈관이 표시되도록 제1파장영역의 빛을 조사하는 제1광원, 제2형광 물질에 의하여 교종이 표시되도록 제2파장영역의 빛을 조사하는 제2광원으로 이루어져, 상기 제어부에 의해서, 상기 제1광원 및 제2광원이 선택적으로 제어되는 것을 특징으로 하는 펜타입의 의료용 형광 이미지 장치를 제공한다.
본 발명은 상기 펜타입의 의료용 형광 이미지 장치; 표적 부위에 대한 실사 영상, 상기 제1형광 물질에 의하여 혈관이 표시되는 혈관 형광 영상 및 제2형광 물질에 의하여 교종이 표시되는 교종 형광 영상을 획득하는 다중 형광 영상 획득부; 상기 획득된 혈관 형광 영상으로부터 혈관 형상을 추출하는 혈관 추출부; 상기 획득된 교종 형광 영상으로부터 교종의 경계면이 명확해지도록 영상처리하는 교종 영상처리부; 상기 추출된 혈관 형광 영상 및 상기 교종 형광 영상을 실시간으로 정합하는 다중 형광 영상 정합부; 및 상기 혈관 형상 영상 및 교종 형광 영상이 정합된 다중 형광 영상을 디스플레이하는 형광 영상 디스플레이부를 포함하는 다중 형광 영상의 정합 시스템을 제공한다.
본 발명의 펜타입의 의료용 형광 이미지 장치는 교종과 혈관의 위치를 모두 표시해줄 수 있는 제1광원 및 제2광원을 모두 포함하여, 선택적으로 혈관과 교종의 위치를 파악할 수 있다.
본 발명의 펜타입의 의료용 형광 이미지 장치는 프로브 형태로 소형화함으로써, 시술자가 파지하기 용이하고, 휴대가 가능한 장점이 있으며, 광원부와 촬영부를 프로브의 앞단에 설치함으로써 빛과 영상의 손실을 줄일 수 있다.
본 발명의 다중 형광 영상의 정합 시스템은 표적 부위에 대하여 서로 다른 특성을 갖는 다중 형광 물질에 의하여 혈관의 위치 및 교종의 경계면이 발광 표시되는 다중 형광 영상을 획득하여 실시간으로 정합하여 디스플레이함으로써 시술자가 종양 및 혈관의 위치 및 연결상태를 정확하고 용이하게 확인할 수 있는 효과가 있다.
도 1은 본 발명에 따른 펜타입의 의료용 형광 이미지 장치의 사시도이다.
도 2는 본 발명에 따른 펜타입의 의료용 형광 이미지 장치의 정면도이다.
도 3은 본 발명에 따른 다중 형광 영상의 정합 시스템의 전반적인 동작을 이해하기 용이하도록 나타낸 개념도이다.
도 4는 본 발명에 따른 다중 형광 영상의 정합 시스템의 블럭 구성도이다.
도 2는 본 발명에 따른 펜타입의 의료용 형광 이미지 장치의 정면도이다.
도 3은 본 발명에 따른 다중 형광 영상의 정합 시스템의 전반적인 동작을 이해하기 용이하도록 나타낸 개념도이다.
도 4는 본 발명에 따른 다중 형광 영상의 정합 시스템의 블럭 구성도이다.
본 발명은 시술시 환자의 안전과 수술의 용이성을 위하여 혈관의 위치와 교종의 위치를 동시에 진단하고 표시해 줄 수 있는 펜타입의 의료용 형광 이미지 장치에 관한 것이다.
여기서, 펜타입이라 함은 필기구인 펜(pen)처럼 손으로 편리하고 자유롭게 사용할 수 있는 소형의 펜(pen) 모양을 의미하며, 본 발명은 프로브(110)가 펜 모양으로 형성될 수 있다.
본 발명의 펜타입의 의료용 형광 이미지 장치는 길이방향으로 확장되어, 일단에 촬영부를 포함하는 프로브; 상기 촬영부를 둘러싸도록 배열된 복수개의 광원부; 상기 광원부를 제어하는 제어부; 를 포함하며, 상기 광원부는 제1형광 물질에 의하여 혈관이 표시되도록 제1파장영역의 빛을 조사하는 제1광원, 제2형광 물질에 의하여 교종이 표시되도록 제2파장영역의 빛을 조사하는 제2광원으로 이루어져, 상기 제어부에 의해서, 상기 제1광원 및 제2광원이 선택적으로 제어되는 것을 특징으로 한다.
한편, 상기 광원부는 필터부를 포함하며, 상기 제1광원은 제1필터를 포함하고, 상기 제2광원은 제2필터를 포함할 수 있다.
여기서, 상기 제1형광 물질은 ICG 를 포함하고, 상기 제2형광 물질은 5-ALA 및 5-ALA 로부터 변환된 PpIX 중 하나를 포함할 수 있으며, 상기 광원부는 백색광을 조사하는 제3광원을 포함할 수 있다.
또한, 상기 제1파장영역은 750 내지 800nm이며, 제2파장영역은 350 내지 450nm 일 수 있으며, 상기 프로브는 플렉시블한 재질로 이루어진 것을 특징으로 한다.
또한, 본 발명은 다중 형광 영상의 정합 시스템에 관한 것으로, 상기 펜타입의 의료용 형광 이미지 장치; 표적 부위에 대한 실사 영상, 상기 제1형광 물질에 의하여 혈관이 표시되는 혈관 형광 영상 및 제2형광 물질에 의하여 교종이 표시되는 교종 형광 영상을 획득하는 다중 형광 영상 획득부; 상기 획득된 혈관 형광 영상으로부터 혈관 형상을 추출하는 혈관 추출부; 상기 획득된 교종 형광 영상으로부터 교종의 경계면이 명확해지도록 영상처리하는 교종 영상처리부; 상기 추출된 혈관 형광 영상 및 상기 교종 형광 영상을 실시간으로 정합하는 다중 형광 영상 정합부; 및 상기 혈관 형상 영상 및 교종 형광 영상이 정합된 다중 형광 영상을 디스플레이하는 형광 영상 디스플레이부를 포함한다.
이때, 상기 다중 형광 영상 획득부는 상기 제1형광 물질에 의하여 혈관의 위치가 표시되는 혈관 형광 영상을 획득하는 혈관 형상 영상 획득부; 상기 제2형광 물질에 의하여 교종의 위치가 표시되는 교종 형광 영상을 획득하는 교종 형광 영상 획득부를 포함한다.
이에 더하여, 상기 다중 형광 영상 획득부는 상기 실사 영상을 기준으로 이동 이미지의 화소값 기반의 유사도를 측정하여 최대 유사도를 보인 때의 변환 파라미터들을 획득하고 획득된 변환 파라미터들을 기반으로 2D 유사도 정합을 수행하여 상기 실사 영상과 상기 이동 이미지 간 좌표상 오차를 최소화하여 상기 실사 영상에 상기 이동 이미지를 영상 매칭하며, 상기 이동 이미지는 상기 혈관 형광 영상 및 상기 교종 형광 영상 중 하나일 수 있다.
또한, 상기 형광 영상 디스플레이부는 상기 실사 영상, 상기 혈관 형광 영상, 상기 교종 형광 영상 및 상기 정합된 다중 형광 영상 중 하나 이상의 영상을 시술자나 사용자의 선택에 따라 디스플레이할 수 있으며, 상기 디스플레이부는 상기 실사 영상, 상기 혈관 형광 영상, 상기 교종 형광 영상 및 상기 정합된 다중 형광 영상의 불투명도를 각각 설정하여 복수 개의 영상을 동시에 겹쳐서 표시하며, 각 영상의 불투명도값을 조절하여 필요에 따라 특정 영상만을 표시하는 것을 특징으로 한다.
또한, 상기 펜타입의 의료용 형광 이미지 장치는 상기 촬영부로 촬영한 상기 실사 영상, 혈관 형광 영상 및 교종 형광 영상을 다중 형광 영상 획득부로 무선 통신을 통해 전송할 수 있는 전송부를 포함할 수 있다.
이하 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하도록 한다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.
따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.
도 1은 본 발명에 따른 펜타입의 의료용 형광 이미지 장치의 사시도, 도 2는 본 발명에 따른 펜타입의 의료용 형광 이미지 장치의 정면도, 도 3은 본 발명에 따른 다중 형광 영상의 정합 시스템의 전반적인 동작을 이해하기 용이하도록 나타낸 개념도, 도 4는 본 발명에 따른 다중 형광 영상의 정합 시스템의 블럭 구성도이다. 이하, 도 1 내지 도 4와 실시예를 통해 본 발명인 펜타입의 의료용 형광 이미지 장치와 다중 형광 영상의 정합 시스템을 상세히 설명한다.
본 발명은 시술시 환자의 안전과 수술의 용이성을 위하여 혈관의 위치와 교종의 위치를 동시에 진단하고 표시해 줄 수 있는 펜타입의 의료용 형광 이미지 장치(100)를 제공하고자 한다.
도 1과 도 2에 도시된 바에 따르면, 본 발명의 의료용 형광 이미지 장치(100)는 펜타입으로 형성되며, 길이방향으로 확장된 프로브(110)와 상기 프로브(110) 일단에 촬영부(120) 및 광원부(130)를 포함하여 구성된다.
여기서, 펜타입이라 함은 필기구인 펜(pen)처럼 손으로 편리하고 자유롭게 사용할 수 있는 소형의 펜(pen) 모양을 의미하며, 본 발명은 프로브(110)가 펜 모양으로 형성될 수 있다.
상기 프로브(110)는 일단에 촬영부(120)와 광원부(130)를 포함하고, 상기 광원부(130)는 상기 촬영부(120)를 둘러싸도록 복수개를 포함할 수 있다. 이때, 상기 광원부(130)는 제1광원(131)과 제2광원(132)을 포함할 수 있으며, 상기 제1광원(131)은 제1형광 물질에 의하여 혈관이 표시되도록 제1파장영역의 빛을 조사하는 광원일 수 있으며, 제2광원(132)은 제2형광 물질에 의하여 교종이 표시되도록 제2파장영역의 빛을 조사하는 광원일 수 있다. 참고로, 상기 광원부(120)는 LED램프, 바람직하게는 근적외선 LED 램프일 수 있으며, 표적부위의 크기 및 형태에 따라 발광되는 LED 램프의 개수를 조절할 수 있다.
이에 더하여, 본 발명의 촬영부(120)는 표적부위의 영상을 촬영하는 것으로, 표적부위의 실사 영상, 제1형광 물질에 의하여 혈관이 표시되는 혈관 형광 영상 및 제2형광 물질에 의하여 교종이 표시되는 교종 형광 영상을 촬영하기 위한 통상적인 카메라일 수 있다.
특히, 상기 촬영부(120)는 영상을 촬영하여 실시간으로 출력하거나 저장할 수 있는 디지털 카메라 또는 근적외선 카메라(Near infrared ray camara)를 사용할 수 있으며, 일 예로 CCD(Charge Coupled Device) 또는 CMOS(Complementary Metal-Oxide Semiconductor) 카메라를 사용하는 것이 좋고, 메가 픽셀(Mega Pixel)급 이상의 해상도를 갖는 CCD 또는 CMOS 카메라를 사용할 수 있다. 이러한 메가 픽셀급 이상의 카메라를 사용하여 혈관 및/또는 교종의 영상을 고해상도로 취득할 수 있으며, 실시간(초당 30프레임이상의 영상취득이 가능)으로 혈관을 관찰할 수 있어 의사 및 환자로 하여금 편의성이 증대되며, 환자의 진료 및 수술에도 빠르고 쉽게 혈관 및/또는 교종을 관찰할 수 있다.
특히, 본 발명은 광원부(130)와 촬영부(120)를 프로브(110)의 앞단에 설치함으로써, 빛과 영상의 손실을 줄일 수 있는 효과가 있다.
이에 더하여, 본 발명의 형광 이미지 장치(100)는 상기 광원부(130)를 제어하는 제어부(140)를 포함할 수 있으며, 상기 제어부(140)에 의해서, 상기 제1광원(131)과 제2광원(132)이 선택적으로 제어되어 빛을 조사할 수 있다. 상기 제어부(141)는 통상적인 스위치일 수 있으며, 전원공급부로부터 전류를 공급받아 상기 광원부(130)를 on/off 할 수 있다. 한편, 제1광원(131)과 제2광원(132)을 제어하는 제어부는 제1스위치(141) 및 제2스위치(142)일 수 있다.
이에 더하여, 본 발명에서는 형광 물질로서 근적외선 형광물질인 ICG(인도시아닌그린; indocyanine green), 5-ALA(5-aminolevulinic acid) 등이 사용될 수 있으며, 제1형광 물질은 ICG일 수 있고, 제2형광 물질은 5-ALA 일 수 있다.
특히, 환자의 혈관 및 림프절의 위치를 파악하는 데 효율적인 ICG 는 1957년부터 사용된 부작용이 적은 형광물질이다. 환자에 투여 시 ICG 는 혈장단백질(plasma protein) 과 결합하며 750 내지 800nm 대역의 빛을 투과하면 845nm 에서 형광 피크값을 갖는 형광 빛을 방사한다.
또한, 교종의 위치를 파악하는 데 효율적인 5-ALA 는 세포 내에서 변환된 PpIX(protoporphyrin IX)에 약 400nm 의 빛을 투과하면(405nm 전후의 조사광을 이용할 수도 있음) 635nm 에서 형광 피크값을 갖고, 형광 빛을 방사한다. 따라서 이러한 성질을 이용하면 정상 조직과 악성교종을 구분할 수 있다. 5-ALA의 사용은 완전 절제 성공률을 약 1.4배 증가시키며 절제되지 못한 악성교종의 크기를 1/16으로 줄여 악성교종의 재발 방지에 효과적이다.
한편, 본 발명의 의료용 형광 이미지 장치(100)는 광원부(130)를 통하여 다양한 파장의 빛을 발산하며 광원으로서 레이저, LED 등이 사용될 수 있다. 또한, 상기 광원부(130)는 필터부(150)를 포함할 수 있으며, 이러한 필터부(150)는 인체 등의 대상물 체내에 분포하고 있는 다중 형광 물질을 여기시키는 여기 파장대역 및 여기된 다중 형광 물질로부터 발광되는 발광 파장대역을 필터링하는 것으로 필터부(150)를 구비하여 서로 다른 여기 파장대역 및 발광 파장대역을 필터링할 수 있다.
보다 구체적으로, 제1광원(131)은 제1필터를 포함할 수 있으며, 제2광원(132)은 제2필터를 포함할 수 있다.
특히, 환자에게 ICG 를 정맥 주사를 통해 투여하고, 5-ALA 를 복용을 통해 투여한 후, 환자의 시술 부위에 대하여 본 발명의 의료용 형광 이미지 장치(100)의 제1광원(131)을 통해 750 내지 800nm 대역의 빛을 투과하면, 대상물의 체내에서 혈장 단백질과 결합된 ICG 는 845nm 에서 피크값을 갖는 형광 빛을 방사할 수 있다.
또한, 5-ALA가 세포 내에서 신진대사를 통해 변환된 PpIX 를 포함하는 시술 부위에 제2광원(132)이 400nm 의 빛을 투과하면, 교종에 분포된 PpIX 에 의하여 635nm 에서 피크값을 갖는 형광 빛을 방사할 수 있다.
즉, 상기 제1파장영역은 750 내지 800nm일 수 있으며, 제2파장영역은 350 내지 450nm 일 수 있다.
이에 더하여, 본 발명의 의료용 형광 이미지 장치(100)는 백색광을 조사할 수 있는 제3광원(133)을 포함할 수 있다. 상기 제3광원(133)의 제어를 위한 제어부(140)는 제3스위치(143)일 수 있다.
보다 구체적으로, 상기 제3광원(133)은 의사들이 환자를 진료하는데 사용할 수 있는 것으로, 의료진들은 의료용 펜 라이트 대용으로도 사용할 수 있다.
여기서, 펜 라이트라 함은 의사들이 환자를 진료하는데 사용하는 것으로 펜 형상으로 이루어진 라이트로서 사용자가 간편하게 소지하면서 어두운 곳에서 점등하여 사물을 식별할 수 있도록 해준다.
또한, 본 발명의 의료용 형광 이미지 장치(100)는 프로브(110) 내측에 교체 가능하게 설치되는 전원공급용 배터리를 포함할 수 있으며, 추가로, 본 발명의 의료용 형광 이미지 장치(100)를 의사 가운에 고정하기 위한 클립(미도시)을 포함하여 이루어질 수 있다.
이러한 구성으로 이루어진 제3광원(133)을 포함하는 의료용 형광 이미지 장치(100)는 진료실이나 병동 등에서 자연광이나 일반 조명등의 빛이 도달하지 못하는 환자의 입, 코, 귀 등의 어두운 부분에 빛을 조사하여 환부를 검진하거나 안구에 빛을 조사하여 동공반사를 확인하는 용도로 활용할 수 있다.
한편, 본 발명의 프로브(110)는 플렉시블한 재질로 이루어질 수 있으며, 이에 따르면, 사용자가 필요에 따라 광원부(130)가 조사되는 전단면의 위치를 변경하는 것이 가능해지고, 진단하고자 하는 부위에 용이하게 광원을 조사하고 촬영할 수 있으므로 작업의 편의성과 정확성이 향상되는 효과가 있다. 이러한 프로브(110)는 금속 또는 PP( Polypropylene)나 PE(Poly Ethylene) 또는 나일론 (nylon) 등의 합성수지로 형성될 수 있으며, 특정 양태로는 주름관이 형성될 수 있다.
여기서, 상기 프로브는 이러한 목적을 갖는 플렉서블한 재질이라면 어떠한 것을 사용하여도 무방하다.
본 발명은 다중 형광 물질에 의하여 혈관의 위치 및 교종의 경계면이 발광 표시되는 다중 형광 영상을 획득하여 실시간으로 정합하여 디스플레이함으로써 시술자가 종양 및 혈관의 위치 및 연결 상태를 정확하고 용이하게 확인할 수 있는 다중 형광 영상의 정합 시스템에 관한 것이다.
보다 구체적으로, 도 3과 도 4를 참조하면, 본 발명의 다중 형광 영상의 정합 시스템은 상기 펜타입의 의료용 형광 이미지 장치(100), 표적 부위에 대한 실사 영상, 상기 제1형광 물질에 의하여 혈관이 표시되는 혈관 형광 영상(310) 및 제2형광 물질에 의하여 교종이 표시되는 교종 형광 영상(410)을 획득하는 다중 형광 영상 획득부(200), 상기 획득된 혈관 형광 영상(310)으로부터 혈관 형광을 추출하는 혈관 추출부(500), 상기 획득된 교종 형광 영상(410)으로부터 교종의 경계면이 명확해지도록 영상 처리하는 교종 영상처리부(600), 상기 혈관 추출부로부터 혈관의 형상을 추출한 혈관 추출 영상(510) 및 상기 교종 처리 영상(610)을 실시간으로 정합하는 다중 형광 영상 정합부(700) 및 상기 혈관 추출 영상(510) 및 교종 처리 영상(610)이 정합된 다중 형광 영상을 디스플레이하는 형광 영상 디스플레이부(800)를 포함하여 구성된다.
이때, 상기 다중 형광 영상 획득부(200)는 상기 제1형광 물질에 의하여 혈관의 위치가 표시되는 혈관 형광 영상(310)을 획득하는 혈관 형광 영상 획득부(300)와 상기 제2형광 물질에 의하여 교종의 위치가 표시되는 교종 형광 영상(410)을 획득하는 교종 형광 영상 획득부(400)를 포함한다.
한편, 의료용 형광 이미지 장치(100)는 상기 촬영부(120)로 촬영한 실사 영상, 혈관 영상 및 교종 영상을 다중영상을 상기 의료용 형광 이미지 장치(120)로부터 다중 형광 영상 획득부(200)로 무선 통신을 통해 전송할 수 있는 전송부를 추가로 포함한다.
상기 전송부는 다중 형광 영상 획득부(200)외에도 상기 촬영부(120)로 촬영한 영상들을 모니터링할 수 있는 컴퓨터와 스마트폰 등의 장치로 전송시킬 수 있으며, 상황에 따라, 의사들은 소지하고 있는 스마트폰으로 실시간으로 촬영된 영상을 확인할 수 있다. 이러한 경우 무선 인터넷 또는 블루투스 등으로 영상을 전송할 수 있다.
상기 다중 형광 영상 정합부(700)는 고정 이미지를 기준으로 이동 이미지의 화소값 기반의 유사도를 측정하여 최대 유사도를 보인 때의 변환 파라미터를 획득하여 2D 유사도 정합을 수행하고 정규 상호 상관성을 이용하여 영상 매칭을 수행하여 고정 이미지에 이동 이미지를 영상 매칭한다.
상기 고정 이미지는 상기 실사 영상을 의미하며, 상기 이동 이미지는 상기 획득된 혈관 형광 영상(310) 및 상기 획득된 교종 형광 영상(410)을 의미한다.
한편, 본 발명은 촬영부(120)로 촬영한 상기 실사 영상, 혈관 형광 영상(310), 교종 형광 영상(410) 및 정합된 다중 형광 영상(810) 중 하나 이상의 영상을 시술자나 사용자의 선택에 따라 디스플레이할 수 있으며, 상기 디스플레이부(800)는 상기 실사 영상, 혈관 형광 영상(310), 교종 형광 영상(410) 및 정합된 다중 형광 영상(810)의 불투명도를 각각 설정하여 복수 개의 영상을 동시에 겹쳐서 표시하며, 각 영상의 불투명도값을 조절하여 필요에 따라 특정 영상만을 표시할 수 있다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 펜타입의 의료용 형광 이미지 장치(100)를 포함한 다중 형광 영상의 정합 시스템을 이용하여, 다중 형광 영상의 정합 방법을 상세히 설명하도록 한다.
먼저, 환자에게 ICG를 정맥 주사를 통해 투여하고, 5-ALA를 복용을 통해 투여한다. 5-ALA 투여로부터 PpIX 를 여기시키기 위해 여기광을 조사하기까지의 시간으로서는, 종양 조직에 충분한 PpIX 가 축적되어 있는 시간대가 바람직하고, 구체적으로는 4시간에서 8시간 소요될 수 있다.
그 다음, 환자의 시술 부위에 대하여 의료용 형광 이미지 장치(100)의 제1광원(131)을 통해 750~800nm 대역의 빛을 투과하면, 대상물의 체내에서 혈장 단백질과 결합된 ICG 는 845nm 에서 피크값을 갖는 형광 빛을 방사한다. 혈관 형광 영상 획득부(300)는 혈장 단백질과 결합된 ICG 에 의하여 845nm 의 형광 빛을 방사하는 상태의 혈관 형광 영상(310)을 획득할 수 있다.
또한, 5-ALA 가 세포 내에서 신진대사를 통해 변환된 PpIX 를 포함하는 시술 부위에 대하여 제2광원(132)이 약 400nm 의 빛을 투과하면, 교종에 분포된 PpIX 에 의하여 635nm 에서 피크값을 갖는 형광 빛을 방사하는 교종 형광 영상(410)을 획득할 수 있다.
그러면, 혈관 형광 영상(310)은 도 3에 혈관 형광 영상(310)과 같이 ICG 에 의하여 혈관 위치가 형광으로 표시되며, 또한 5-ALA를 통해 변환된 PpIX에 의하여 교종의 위치가 교종 형광 영상(410)과 같이 형광으로 표시된다.
이때, 혈관 추출부(500)는 혈관 형광 영상(310)으로부터 혈관 형상을 추출하고, 상기 혈관 형상 추출은 ICG 혈관 형광 영상(310)으로부터 히스토그램 평활화와 히스토그램을 이용한 자동 이진화 기술인 오츠 이진화(Otsu thresholding) 기법을 응용하여 추출할 수 있다.
교종 영상처리부(600)는 교종 형광 영상(410)으로부터 교종의 위치 및 경계면이 더욱 명확해지도록 영상 처리할 수 있다.
참고로, 혈관 추출 영상(510)은 형광 부분으로 나타나는 혈관을 제외한 나머지 부분을 그레이 칼라(Grey color)로 변환한 후 특징점들(에지 또는 선부분 등)을 이용하여 영상 정합에 활용할 수 있으며, 교종 처리 영상(610) 역시도 교종을 제외한 나머지 부분을 그레이 칼라로 변환하여 영상 정합할 수 있다.
다중 형광 영상 정합부(700)는 실사 영상의 칼라값과 약간의 모양(morphology)이 다르게 나타나는 형광 영상의 경우에도 영상 매칭할 수 있고 이러한 영상이 2~3개 영상 정합되어 형광 영상에서 각 파장대별로 다른 특성이 있는 기능적인 영상을 정합하여 매칭할 수 있다. 따라서, 시술자에게 교종과 혈관의 위치가 명확한 형광 영상을 표시해 주는 것이 가능해지는 것이다.
다중 형광 영상 정합부(700)는 실사 영상과 IR 영상(혈관 추출 영상(510) 또는 교종 처리 영상(610)) 간에 발생되는 좌표 상의 오차를 최소화하기 위해 2D 유사도 정합 (2D centered similarity registration)을 수행한다. 다중 형광 영상 정합부(700)는 도 3에 나타난 바와 같이, 고정 이미지(실사 영상)를 기준으로 이동 이미지(혈관 형상 영상 또는 교종 형광 영상)의 화소값 기반의 유사도를 측정하고 최대 유사도를 보인 때의 변환 파라미터들을 획득하여 2D 유사도 정합을 수행하고 정규 상호 상관성을 이용하여 영상 매칭을 수행하여 고정 이미지에 이동 이미지를 영상 매칭한다.
다중 형광 영상 정합부(700)는 실사 영상을 기준으로 혈관 형광 영상(310)과의 화소값 기반의 유사도를 측정하여 사전에 설정된 조건이 충족될 때까지 혈관 형광 영상(310)을 변환시켜 나간다. 최대 보간(interpolation) 횟수에 다다를 때까지 설정된 조건을 충족하지 못한다면 최대 유사도를 보였던 때의 변환 파라미터를 획득한다.
유사도 정합을 통해 획득할 수 있는 파라미터는 총 6개로서, 스케일 팩터(scale factor), 라디언(radian) 기반의 각도, 변환 후 이동 이미지의 중앙 위치 x,y값(center position(x,y)) 및 변형(translation) 된 x,y값(translation(x',y')) 이다.
유사도 정합을 통해 획득된 6개의 변환 파라미터들을 이용하여 [수학식 1]을 거쳐 혈관 영상을 실사 영상에 일치되도록 변환시키게 된다. 즉, 칼라 영상인 실사 영상을 기준으로 ICG 영상(혈관 형광 영상(310))에서의 rotation, translation, uniform scaling 에 대한 유사도 변환 파라미터들을 계산하고 계산된 파라미터들을 기반으로 ICG 영상에 적용하여 리샘플링한 후 영상 매칭부는 실사 영상에 ICG 영상을 매칭하게 된다.
[수학식 1]에서 λ는 스케일 팩터이고, θ는 로테이션 각도(rotation angle) 이고, (Cx, Cy)는 로테이션 중앙 위치값이며, (Tx, Ty)는 변형(translation)된 요소의 값을 나타낸다.
유사도 계산은 미분영상을 생성한 후 [수학식 2]와 같은 정규 상호 상관성(Nomalized Cross Correlation; NCC) 기법을 이용하여 수행된다. 영상은 색상이 다르기 때문에 화소값 기반의 영상이 생성되는 것이 아니라 영상의 미분값을 이용한 후에 정규화된 상관값을 이용하여 영상 매칭이 수행된다.
[수학식 2]에서 R(x,y)는 계산된 유사도 값을 나타내고, T는 타겟 이미징을 나타내며, I 는 오리지널 이미징을 나타낸다.
혈관 형광 영상(310) 및 교종 형광 영상(410)은 다중 형광 영상 정합부(700)를 통해 상호 좌표상 위치가 일치되도록 정합되는 것이다.
형광 영상 디스플레이부(800)는 다중 형광 영상 정합부(700)에 의하여 정합된 혈관의 위치 및 교종의 경계면이 동시에 명확시 표시되는 영상을 시술자에게 디스플레이한다. 형광 영상 디스플레이부(800)는 시술 부위에 대한 실사 영상, ICG에 의하여 혈관이 형광 발광 표시되는 혈관 형광 영상(310), 5-ALA 를 기반으로 교종의 경계면이 형광 발광 표시되는 교종 형광 영상(410), 그리고 혈관 형광 영상(310) 및 교종 형광 영상(410)이 정합된 다중 형광 영상 중 하나 이상의 영상을 시술자나 사용자에 선택에 따라 디스플레이한다.
또한, 형광 영상 디스플레이부(800)는 각 영상의 불투명도를 설정하여 복수 개의 영상을 동시에 겹쳐서 표시하는 것이 가능하며, 각 영상의 불투명도값을 조절하여 필요에 따라 특정 영상만을 표시할 수도 있다.
이와 같은 동작으로, ICG 에 의해 혈관의 위치가 표시되는 혈관 형광 영상(310)과 5-ALA 를 기반으로 교종의 경계면이 표시되는 교종 형광 영상(410)을 하나의 영상으로서 정합하여 혈관의 위치 및 교종의 경계면이 더욱 명확히 동시에 표시되는 영상을 시술자에게 제공할 수 있는 것이다.
100: 형광 이미지 장치
110: 프로브 120: 촬영부
130: 광원부 131: 제1광원
132: 제2광원 133: 제3광원
140: 제어부 141: 제1스위치
142: 제2스위치 143: 제3스위치
150: 필터부 200: 다중 형광 영상 획득부
300: 혈관 형광 영상 획득부 310: 혈관 형광 영상
400: 교종 형광 영상 획득부 410: 교종 형광 영상
500: 혈관 추출부 510: 혈관 추출 영상
600: 교종 영상처리부 610: 교종 처리 영상
700: 다중 형광 영상 정합부 800: 형광 영상 디스플레이부
110: 프로브 120: 촬영부
130: 광원부 131: 제1광원
132: 제2광원 133: 제3광원
140: 제어부 141: 제1스위치
142: 제2스위치 143: 제3스위치
150: 필터부 200: 다중 형광 영상 획득부
300: 혈관 형광 영상 획득부 310: 혈관 형광 영상
400: 교종 형광 영상 획득부 410: 교종 형광 영상
500: 혈관 추출부 510: 혈관 추출 영상
600: 교종 영상처리부 610: 교종 처리 영상
700: 다중 형광 영상 정합부 800: 형광 영상 디스플레이부
Claims (17)
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 길이방향으로 확장되어, 일단에 촬영부를 포함하는 프로브, 상기 촬영부를 둘러싸도록 배열된 복수개의 광원부, 상기 광원부를 제어하는 제어부를 포함하며, 상기 광원부는 제1형광 물질에 의하여 혈관이 표시되도록 제1파장영역의 빛을 조사하는 제1광원, 제2형광 물질에 의하여 교종이 표시되도록 제2파장영역의 빛을 조사하는 제2광원으로 이루어져, 상기 제어부에 의해서, 상기 제1광원 및 제2광원이 선택적으로 제어되는 것을 특징으로 하는 펜타입의 의료용 형광 이미지 장치;
표적 부위에 대한 실사 영상, 상기 제1형광 물질에 의하여 혈관이 표시되는 혈관 형광 영상 및 제2형광 물질에 의하여 교종이 표시되는 교종 형광 영상을 획득하는 다중 형광 영상 획득부;
상기 획득된 혈관 형광 영상으로부터 혈관 형상을 추출하는 혈관 추출부;
상기 획득된 교종 형광 영상으로부터 교종의 경계면이 명확해지도록 영상처리하는 교종 영상처리부;
상기 추출된 혈관 형광 영상 및 상기 교종 형광 영상을 실시간으로 정합하는 다중 형광 영상 정합부; 및
상기 혈관 형상 영상 및 교종 형광 영상이 정합된 다중 형광 영상을 디스플레이하는 형광 영상 디스플레이부;를 포함하며,
상기 다중 형광 영상 획득부는
상기 실사 영상을 기준으로 이동 이미지의 화소값 기반의 유사도를 측정하여 최대 유사도를 보인 때의 변환 파라미터들을 획득하고 획득된 변환 파라미터들을 기반으로 2D 유사도 정합을 수행하여 상기 실사 영상과 상기 이동 이미지 간 좌표상 오차를 최소화하여 상기 실사 영상에 상기 이동 이미지를 영상 매칭하며, 상기 이동 이미지는 상기 혈관 형광 영상 및 상기 교종 형광 영상 중 하나인 것을 특징으로 하는 다중 형광 영상의 정합 시스템.
- 제7항에 있어서,
상기 다중 형광 영상 획득부는
상기 제1형광 물질에 의하여 혈관의 위치가 표시되는 혈관 형광 영상을 획득하는 혈관 형상 영상 획득부;
상기 제2형광 물질에 의하여 교종의 위치가 표시되는 교종 형광 영상을 획득하는 교종 형광 영상 획득부를 포함하는 다중 형광 영상의 정합 시스템.
- 삭제
- 제7항에 있어서,
상기 형광 영상 디스플레이부는
상기 실사 영상, 상기 혈관 형광 영상, 상기 교종 형광 영상 및 상기 정합된 다중 형광 영상 중 하나 이상의 영상을 시술자나 사용자의 선택에 따라 디스플레이하는 다중 형광 영상의 정합 시스템.
- 제10항에 있어서,
상기 디스플레이부는
상기 실사 영상, 상기 혈관 형광 영상, 상기 교종 형광 영상 및 상기 정합된 다중 형광 영상의 불투명도를 각각 설정하여 복수 개의 영상을 동시에 겹쳐서 표시하며, 각 영상의 불투명도값을 조절하여 필요에 따라 특정 영상만을 표시하는 다중 형광 영상의 정합 시스템.
- 제7항에 있어서,
상기 펜타입의 의료용 형광 이미지 장치는
상기 촬영부로 촬영한 상기 실사 영상, 혈관 형광 영상 및 교종 형광 영상을 다중 형광 영상 획득부로 무선 통신을 통해 전송할 수 있는 전송부를 포함하는 것을 특징으로 하는 다중 형광 영상의 정합 시스템. - 제7항에 있어서,
상기 광원부는 필터부를 포함하며,
상기 제1광원은 제1필터를 포함하고, 상기 제2광원은 제2필터를 포함하는 것을 특징으로 하는 다중 형광 영상의 정합 시스템.
- 제7항에 있어서,
상기 제1형광 물질은 ICG 를 포함하고,
상기 제2형광 물질은 5-ALA 및 5-ALA 로부터 변환된 PpIX 중 하나를 포함하는 다중 형광 영상의 정합 시스템.
- 제7항에 있어서,
상기 광원부는
백색광을 조사하는 제3광원을 포함하는 것을 특징으로 하는 다중 형광 영상의 정합 시스템.
- 제7항에 있어서,
상기 제1파장영역은 750 내지 800nm이며, 제2파장영역은 350 내지 450nm 인 것을 특징으로 하는 다중 형광 영상의 정합 시스템.
- 제7항에 있어서,
상기 프로브는 플렉시블한 재질로 이루어진 것을 특징으로 하는 다중 형광 영상의 정합 시스템.
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020150109516A KR101784063B1 (ko) | 2015-08-03 | 2015-08-03 | 펜타입의 의료용 형광 이미지 장치 및 이를 이용한 다중 형광 영상의 정합 시스템 |
| PCT/IB2016/055318 WO2017021942A1 (ko) | 2015-08-03 | 2016-09-06 | 펜타입의 의료용 형광 이미지 장치 및 이를 이용한 다중 형광 영상의 정합 시스템 |
| EP16832412.7A EP3332689B1 (en) | 2015-08-03 | 2016-09-06 | System for aligning multiple fluorescent images comprising a pen-shaped imaging device with a plurality of light sources |
| US15/749,871 US20180218508A1 (en) | 2015-08-03 | 2016-09-06 | Pen-type medical fluorescent imaging device and system for aligning multiple fluorescent images using the same |
| US17/666,372 US20220230334A1 (en) | 2015-08-03 | 2022-02-07 | Pen-type medical fluorescent imaging device and system for aligning multiple fluorescent images using the same |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020150109516A KR101784063B1 (ko) | 2015-08-03 | 2015-08-03 | 펜타입의 의료용 형광 이미지 장치 및 이를 이용한 다중 형광 영상의 정합 시스템 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20170016128A KR20170016128A (ko) | 2017-02-13 |
| KR101784063B1 true KR101784063B1 (ko) | 2017-10-11 |
Family
ID=57944021
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020150109516A KR101784063B1 (ko) | 2015-08-03 | 2015-08-03 | 펜타입의 의료용 형광 이미지 장치 및 이를 이용한 다중 형광 영상의 정합 시스템 |
Country Status (4)
| Country | Link |
|---|---|
| US (2) | US20180218508A1 (ko) |
| EP (1) | EP3332689B1 (ko) |
| KR (1) | KR101784063B1 (ko) |
| WO (1) | WO2017021942A1 (ko) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190095901A (ko) | 2018-02-07 | 2019-08-16 | 울산과학기술원 | 기계학습 알고리즘을 이용한 이미지 변환 방법 및 장치 |
| US10524666B2 (en) | 2018-05-09 | 2020-01-07 | Inner Ray, Inc. | White excitation light generating device and white excitation light generating method |
| KR20200126846A (ko) * | 2019-04-30 | 2020-11-09 | 을지대학교 산학협력단 | 손잡이형 수술용 프로브 |
| WO2021261641A1 (ko) * | 2020-06-23 | 2021-12-30 | 주식회사 아모스팜 | 암치료에서 국소표적용 광역동 치료장치 및 그 제어방법 |
| KR20220042919A (ko) | 2020-09-28 | 2022-04-05 | 조선대학교산학협력단 | 프로브 자체 회전 또는 광의 회전 없이 측면 전방향 영상 촬영이 가능한 내시경 광 프로브 |
| US11442254B2 (en) | 2019-04-05 | 2022-09-13 | Inner Ray, Inc. | Augmented reality projection device |
| US11806548B2 (en) | 2020-06-23 | 2023-11-07 | Amos Pharm Co., Ltd. | Photodynamic therapy apparatus for local targeting in cancer treatment and control method therefor |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2563240B (en) * | 2017-06-07 | 2019-12-18 | Egyptian Commerce Company Eco | Laparoscopic camera |
| US11515031B2 (en) * | 2018-04-16 | 2022-11-29 | Canon Medical Systems Corporation | Image processing apparatus, X-ray diagnostic apparatus, and image processing method |
| USD908881S1 (en) | 2019-01-17 | 2021-01-26 | Sbi Alapharma Canada, Inc. | Handheld endoscopic imaging device |
| AU2020209518A1 (en) * | 2019-01-17 | 2021-08-26 | Sbi Alapharma Canada, Inc. | Modular endoscopic system for visualization of disease |
| US20210052161A1 (en) * | 2019-08-23 | 2021-02-25 | Rebound Therapeutics Corporation | Fluorescence imaging system |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101255146B1 (ko) * | 2012-08-16 | 2013-04-23 | 한국광기술원 | 비가시광 형광신호의 실시간 가시화를 위한 형광영상의 획득투사장치 |
Family Cites Families (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6744933B2 (en) * | 2001-01-18 | 2004-06-01 | Siemens Corporate Research, Inc. | Method for image alignment under non-uniform illumination variations |
| KR100411631B1 (ko) | 2001-10-18 | 2003-12-18 | 주식회사 메디미르 | 형광 내시경 장치 및 그 장치를 이용한 진단부위 조상 방법 |
| US8014625B2 (en) * | 2004-11-10 | 2011-09-06 | Agfa Healthcare | Method of performing measurements on digital images |
| DE202005003411U1 (de) * | 2005-02-24 | 2006-07-06 | Karl Storz Gmbh & Co. Kg | Multifunktionales Fluoreszenzdiagnosesystem |
| US8019142B2 (en) * | 2005-11-21 | 2011-09-13 | Agency For Science, Technology And Research | Superimposing brain atlas images and brain images with delineation of infarct and penumbra for stroke diagnosis |
| DE102006047723A1 (de) * | 2006-08-25 | 2008-02-28 | Carl Zeiss Surgical Gmbh | Operationsmikroskop mit Beleuchtungseinrichtung |
| JPWO2009028136A1 (ja) * | 2007-08-29 | 2010-11-25 | パナソニック株式会社 | 蛍光観察装置 |
| WO2009135151A1 (en) * | 2008-05-02 | 2009-11-05 | Eyeic, Inc. | System for using image alignment to map objects across disparate images |
| US8934684B2 (en) * | 2009-07-31 | 2015-01-13 | Siemens Aktiengesellschaft | Method and system for facilitating an image guided medical procedure |
| US20120249764A1 (en) * | 2009-08-07 | 2012-10-04 | Ruben Kuon | Cervical, fetal-membrane, and amniotic examination and assessment device and method |
| JP5460506B2 (ja) * | 2009-09-24 | 2014-04-02 | 富士フイルム株式会社 | 内視鏡装置の作動方法及び内視鏡装置 |
| US8706184B2 (en) * | 2009-10-07 | 2014-04-22 | Intuitive Surgical Operations, Inc. | Methods and apparatus for displaying enhanced imaging data on a clinical image |
| WO2011087801A1 (en) * | 2009-12-22 | 2011-07-21 | Integrated Endoscopy, Inc. | Endoscope with different color light sources |
| JP2012016545A (ja) * | 2010-07-09 | 2012-01-26 | Fujifilm Corp | 内視鏡装置 |
| JP5438635B2 (ja) * | 2010-08-31 | 2014-03-12 | 富士フイルム株式会社 | 電子内視鏡システム |
-
2015
- 2015-08-03 KR KR1020150109516A patent/KR101784063B1/ko active IP Right Grant
-
2016
- 2016-09-06 US US15/749,871 patent/US20180218508A1/en not_active Abandoned
- 2016-09-06 WO PCT/IB2016/055318 patent/WO2017021942A1/ko active Application Filing
- 2016-09-06 EP EP16832412.7A patent/EP3332689B1/en active Active
-
2022
- 2022-02-07 US US17/666,372 patent/US20220230334A1/en not_active Abandoned
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101255146B1 (ko) * | 2012-08-16 | 2013-04-23 | 한국광기술원 | 비가시광 형광신호의 실시간 가시화를 위한 형광영상의 획득투사장치 |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190095901A (ko) | 2018-02-07 | 2019-08-16 | 울산과학기술원 | 기계학습 알고리즘을 이용한 이미지 변환 방법 및 장치 |
| US10524666B2 (en) | 2018-05-09 | 2020-01-07 | Inner Ray, Inc. | White excitation light generating device and white excitation light generating method |
| US11442254B2 (en) | 2019-04-05 | 2022-09-13 | Inner Ray, Inc. | Augmented reality projection device |
| KR20200126846A (ko) * | 2019-04-30 | 2020-11-09 | 을지대학교 산학협력단 | 손잡이형 수술용 프로브 |
| KR102282179B1 (ko) * | 2019-04-30 | 2021-07-27 | 을지대학교 산학협력단 | 손잡이형 수술용 프로브 |
| WO2021261641A1 (ko) * | 2020-06-23 | 2021-12-30 | 주식회사 아모스팜 | 암치료에서 국소표적용 광역동 치료장치 및 그 제어방법 |
| US11806548B2 (en) | 2020-06-23 | 2023-11-07 | Amos Pharm Co., Ltd. | Photodynamic therapy apparatus for local targeting in cancer treatment and control method therefor |
| KR20220042919A (ko) | 2020-09-28 | 2022-04-05 | 조선대학교산학협력단 | 프로브 자체 회전 또는 광의 회전 없이 측면 전방향 영상 촬영이 가능한 내시경 광 프로브 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20170016128A (ko) | 2017-02-13 |
| US20180218508A1 (en) | 2018-08-02 |
| WO2017021942A1 (ko) | 2017-02-09 |
| EP3332689B1 (en) | 2020-12-09 |
| EP3332689A1 (en) | 2018-06-13 |
| EP3332689A4 (en) | 2019-05-08 |
| US20220230334A1 (en) | 2022-07-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101784063B1 (ko) | 펜타입의 의료용 형광 이미지 장치 및 이를 이용한 다중 형광 영상의 정합 시스템 | |
| CN108430306B (zh) | 用于使用激光散斑对比度成像快速检查脉管系统和微粒流的系统和方法 | |
| KR101647022B1 (ko) | 의료 영상 획득 장치 및 방법 | |
| Brouwer et al. | Image navigation as a means to expand the boundaries of fluorescence-guided surgery | |
| CN108882896A (zh) | 用于评定组织的治愈的方法和系统 | |
| CN108024695A (zh) | 完全集成的一次性组织可视化装置 | |
| WO2009037464A1 (en) | Imaging apparatus and method | |
| EP3165153A1 (en) | System for fluorescence aided surgery | |
| CN101972133A (zh) | 多功能荧光诊断及光动力治疗内窥镜诊疗系统 | |
| EP3136945A1 (en) | Instrument for early diagnosis of larynx cancer | |
| CN110720985A (zh) | 一种多模式引导的手术导航方法和系统 | |
| CN111295135A (zh) | 在内窥镜设计中使用用于血流和灌注成像以及量化的激光成像方法和系统的多光谱生理可视化（mspv） | |
| CN113288014A (zh) | 一种胶囊内窥镜系统 | |
| TW202000122A (zh) | 靜脈感測裝置 | |
| KR101630539B1 (ko) | 수술현미경용 다중 형광 영상의 실시간 정합 장치 및 방법 | |
| CN211325679U (zh) | 一种基于增强现实的近红外荧光成像系统 | |
| TW201347721A (zh) | 即時影像處理之內視鏡裝置 | |
| US20120238863A1 (en) | Digital Image Storage System and Human Body Data Matching Algorithm for Medical Aesthetic Application | |
| CN201977764U (zh) | 荧光诊断及光动力治疗肿瘤的喉镜 | |
| US10537225B2 (en) | Marking method and resecting method | |
| KR102208577B1 (ko) | 수술용 네비게이터를 위한 의료 영상 처리 장치 및 의료 영상 처리 방법 | |
| CN201840459U (zh) | 多功能荧光诊断及光动力治疗内窥镜诊疗系统 | |
| KR102348430B1 (ko) | 모듈형 의료영상 획득 장치 및 방법 | |
| CA3185419A1 (en) | Advanced nervous tissue imaging system | |
| WO2022010519A1 (en) | Tissue imaging system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |