KR102624004B1 - Multiple fluorescence imaging device for fluorescence image and color image acquisition and control method thereof - Google Patents
Multiple fluorescence imaging device for fluorescence image and color image acquisition and control method thereof Download PDFInfo
- Publication number
- KR102624004B1 KR102624004B1 KR1020210157705A KR20210157705A KR102624004B1 KR 102624004 B1 KR102624004 B1 KR 102624004B1 KR 1020210157705 A KR1020210157705 A KR 1020210157705A KR 20210157705 A KR20210157705 A KR 20210157705A KR 102624004 B1 KR102624004 B1 KR 102624004B1
- Authority
- KR
- South Korea
- Prior art keywords
- light source
- fluorescence
- excitation light
- fluorescence excitation
- image
- Prior art date
Links
- 238000002073 fluorescence micrograph Methods 0.000 title claims abstract description 47
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000000799 fluorescence microscopy Methods 0.000 title claims abstract description 32
- 230000005284 excitation Effects 0.000 claims abstract description 185
- 239000002872 contrast media Substances 0.000 claims abstract description 39
- RBTBFTRPCNLSDE-UHFFFAOYSA-N 3,7-bis(dimethylamino)phenothiazin-5-ium Chemical compound C1=CC(N(C)C)=CC2=[S+]C3=CC(N(C)C)=CC=C3N=C21 RBTBFTRPCNLSDE-UHFFFAOYSA-N 0.000 claims description 29
- MOFVSTNWEDAEEK-UHFFFAOYSA-M indocyanine green Chemical compound [Na+].[O-]S(=O)(=O)CCCCN1C2=CC=C3C=CC=CC3=C2C(C)(C)C1=CC=CC=CC=CC1=[N+](CCCCS([O-])(=O)=O)C2=CC=C(C=CC=C3)C3=C2C1(C)C MOFVSTNWEDAEEK-UHFFFAOYSA-M 0.000 claims description 29
- 229960004657 indocyanine green Drugs 0.000 claims description 29
- 229960000907 methylthioninium chloride Drugs 0.000 claims description 29
- 239000013307 optical fiber Substances 0.000 claims description 8
- 230000003287 optical effect Effects 0.000 claims description 6
- 101000583145 Homo sapiens Membrane-associated phosphatidylinositol transfer protein 1 Proteins 0.000 claims description 4
- 102100030353 Membrane-associated phosphatidylinositol transfer protein 1 Human genes 0.000 claims description 4
- AUQMGYLQQPSCNH-UHFFFAOYSA-L NIR-2 dye Chemical compound [K+].[K+].C1=CC2=C(S([O-])(=O)=O)C=C(S([O-])(=O)=O)C=C2C(C2(C)C)=C1[N+](CC)=C2C=CC=CC=C1C(C)(C)C2=CC(C(O)=O)=CC=C2N1CCCCS([O-])(=O)=O AUQMGYLQQPSCNH-UHFFFAOYSA-L 0.000 claims description 4
- 230000001960 triggered effect Effects 0.000 claims description 4
- 238000011835 investigation Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 23
- 239000000126 substance Substances 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 5
- 238000001356 surgical procedure Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000004020 luminiscence type Methods 0.000 description 3
- 210000003491 skin Anatomy 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 210000004204 blood vessel Anatomy 0.000 description 2
- 210000002615 epidermis Anatomy 0.000 description 2
- 229910052736 halogen Inorganic materials 0.000 description 2
- 150000002367 halogens Chemical class 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- 206010006187 Breast cancer Diseases 0.000 description 1
- 208000026310 Breast neoplasm Diseases 0.000 description 1
- PEDCQBHIVMGVHV-UHFFFAOYSA-N Glycerine Chemical compound OCC(O)CO PEDCQBHIVMGVHV-UHFFFAOYSA-N 0.000 description 1
- 101000583150 Homo sapiens Membrane-associated phosphatidylinositol transfer protein 3 Proteins 0.000 description 1
- 102100030351 Membrane-associated phosphatidylinositol transfer protein 3 Human genes 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- DZSYJVXGONVNKA-UHFFFAOYSA-L NIR-1 dye Chemical compound [K+].[K+].C1=CC2=C(S([O-])(=O)=O)C=C(S([O-])(=O)=O)C=C2C(C2(C)C)=C1[N+](CC)=C2C=CC=CC=CC=C1C(C)(C)C2=CC(C(O)=O)=CC=C2N1CCCCS([O-])(=O)=O DZSYJVXGONVNKA-UHFFFAOYSA-L 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 208000000453 Skin Neoplasms Diseases 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003153 chemical reaction reagent Substances 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000007850 fluorescent dye Substances 0.000 description 1
- 238000012632 fluorescent imaging Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 239000007943 implant Substances 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 210000001365 lymphatic vessel Anatomy 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 239000003504 photosensitizing agent Substances 0.000 description 1
- 102000004169 proteins and genes Human genes 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 201000000849 skin cancer Diseases 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
- G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
- G01N21/314—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry with comparison of measurements at specific and non-specific wavelengths
- G01N21/3151—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry with comparison of measurements at specific and non-specific wavelengths using two sources of radiation of different wavelengths
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
- G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
- G01N21/35—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
- G01N21/359—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light using near infrared light
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/6428—Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes"
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/645—Specially adapted constructive features of fluorimeters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
- G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
- G01N21/314—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry with comparison of measurements at specific and non-specific wavelengths
- G01N2021/3155—Measuring in two spectral ranges, e.g. UV and visible
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N2201/00—Features of devices classified in G01N21/00
- G01N2201/08—Optical fibres; light guides
- G01N2201/0806—Light rod
Landscapes
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Chemical & Material Sciences (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Immunology (AREA)
- Biochemistry (AREA)
- Life Sciences & Earth Sciences (AREA)
- Analytical Chemistry (AREA)
- General Health & Medical Sciences (AREA)
- Pathology (AREA)
- Engineering & Computer Science (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Optics & Photonics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Chemical Kinetics & Catalysis (AREA)
- Toxicology (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
- Endoscopes (AREA)
- Color Image Communication Systems (AREA)
Abstract
본 발명의 일 실시 예에 따른 복수의 형광영상 및 컬러영상 획득을 위한 다중 형광영상장치는, 피검체에 적어도 하나 이상의 조영제에 대응하는 제1, 제 2 형광여기광원 및 백색광원을 선택적으로 방출하는 광원조사부; 상기 광원조사부에서 방출된 제1, 제 2 형광여기광원에 의해 상기 피검체로부터 발현된 형광을 획득하고, 상기 백색 광원에 의해 상기 피검체로부터 컬러 영상을 획득하는 영상획득부; 상기 광원조사부에서 방출하는 제1, 제 2형광여기광원의 파장영역 및 백색광원의 출력을 제어하고, 상기 영상획득부에서 획득한 형광 영상 및 컬러 영상을 정합하여 처리하는 영상 처리부; 및 상기 영상 처리부에서 정합 처리된 영상을 표시하는 영상 표시부를 포함하는 점에 그 특징이 있다.A multiple fluorescence imaging device for acquiring a plurality of fluorescence images and color images according to an embodiment of the present invention selectively emits first and second fluorescence excitation light sources and white light sources corresponding to at least one contrast agent to the subject. Light Source Investigation Department; an image acquisition unit that acquires fluorescence expressed from the subject by the first and second fluorescence excitation light sources emitted from the light source irradiation unit and acquires a color image from the subject by the white light source; an image processing unit that controls the wavelength range of the first and second fluorescence excitation light sources and the output of the white light source emitted from the light source irradiation unit, and matches and processes the fluorescence image and color image obtained by the image acquisition unit; It is characterized in that it includes an image display unit that displays the image registered by the image processing unit.
Description
본 발명은 형광영상 및 컬러영상 획득을 위한 다중 형광영상장치 및 그 제어방법에 관한 것으로, 특히 수술용 형광조영제에 따라 최적의 근적외선 대역의 형광여기광원에 의한 형광영상과 가시광선 대역의 컬러 영상을 동시에 촬영할 수 있는 형광영상 및 컬러영상 획득을 위한 다중 형광영상장치 및 그 제어방법에 관한 것이다. The present invention relates to a multiple fluorescence imaging device and a control method thereof for acquiring fluorescence images and color images. In particular, the present invention relates to a fluorescence image and a color image in the visible light band by a fluorescence excitation light source in the optimal near-infrared band according to the fluorescent contrast agent for surgery. It relates to a multi-fluorescence imaging device and its control method for acquiring fluorescence images and color images that can be captured simultaneously.
최근 기술의 발전에 따라 생물 내의 다양한 기관이나 분자 단위의 미세 조직에서 나타나는 현상이나 상태를 시각화하고자 하는 연구가 활발해지고 있다. 이러한 추세에 따라 광학 영상 기기를 이용하여 동물이나 식물의 내부를 촬영하는 영상 기기와 검출 장치들이 다각도에서 제시되고 있다. With recent advances in technology, research to visualize phenomena or conditions occurring in various organs or molecular microstructures within living organisms is becoming more active. Following this trend, imaging devices and detection devices that image the inside of animals or plants using optical imaging devices are being presented from various angles.
이러한 기술들 중의 하나로서, 생체 내부에서 발광하는 매우 약한 세기의 빛을 검출하여 이를 광학적으로 영상화하는 발광(luminescence) 영상 촬영 기술이 부각되고 있다. 촬영 기술은 기질(substrate)을 주입하여야 하고, 상대적으로 고비용이 발생하며, 피검체의 상태 및 특성에 따라 획득된 영상 신호가 흔들릴 우려가 존재할 뿐만 아니라, 영상을 획득하는데 다소 많은 시간이 소요되는 문제점이 지적되고 있다. 발광 영상과 비교되는 개념으로 형광(fluorescence) 영상이 있으며, 형광 영상은 형광 물질(시약 또는 단백질 등을 활용할 수 있다.)을 피검체에 주입하여 획득한 광학적인 영상을 말한다. 앞서 기술한 발광 영상과는 달리 형광 영상은 기질을 가질 필요가 없고, 피검체를 마취하지 않고도 피검체의 상태 및 특성에 따른 영상 신호의 흔들림이 없으며, 빠른 이미지 획득이 가능할 뿐만 아니라, 수술 장면과 같은 동영상 촬영에 유리하다는 특징을 갖는다. 이때, 형광 영상을 획득하기 위해 피검체에 주입되는 형광물질 중 FDA에 승인을 받아 수술시 또는 의료현장에서 사용될 수 있는 형광물질 조영제는 인도시안그린(Indocyanine Green, ICG) 광 메틸린 블루(Methylene blue, MB)이 유일하며, 수술 가이딩 영상용으로 가장 많이사용되어지고 있다. As one of these technologies, luminescence imaging technology, which detects very weak intensity light emitted from inside a living body and optically images it, is emerging. Imaging technology requires the injection of a substrate, is relatively expensive, and there is a risk that the acquired image signal may be shaken depending on the condition and characteristics of the subject, as well as taking a rather long time to acquire the image. This is being pointed out. There is a fluorescence image as a concept compared to the luminescence image, and the fluorescence image refers to an optical image obtained by injecting a fluorescent substance (reagent or protein, etc.) into the subject. Unlike the previously described luminescence images, fluorescence images do not need to have a substrate, there is no shaking of the image signal depending on the condition and characteristics of the subject without anesthetizing the subject, and not only is it possible to acquire images quickly, but it is also possible to compare the surgical scene and It has the advantage of being advantageous for shooting video. At this time, among the fluorescent substances injected into the subject to obtain fluorescent images, the fluorescent contrast agent approved by the FDA and used during surgery or in medical settings is Indocyanine Green (ICG) and Methylene blue. , MB) is the only one and is most commonly used for surgical guiding images.
ICG는 약 775 ~ 785nm 파장 영역의 광을 흡수하고 약 810 ~ 850nm 파장 영역의 형광 광월 방출함으로써, 카메라를 통해 약 810 ~ 850nm 파장 영역의 광을 필터링하여 획득해 영상으로 표시하는 형광영상장치가 이용된다. ICG absorbs light in the wavelength range of approximately 775 ~ 785 nm and emits a fluorescent light moon in the wavelength range of approximately 810 ~ 850 nm, and is used as a fluorescence imaging device that filters and acquires light in the wavelength range of approximately 810 ~ 850 nm through a camera and displays it as an image. do.
뿐만 아니라 MB는 약 660~680nm의 광을 흡수하여 대략 700~730nm의 형광을 방출하고 카메라로 700~730nm 형광을 필터링하여 형광영상장치로 표시한다. 형광영상장치는 체내에 주입된 조영제가 혈관 또는 특정 이상병변에 착상되고 특정 파장 영역의 광을 흡수하고 형광으로 발현 특징을 이용함으로써, 사용자에게 시각적 정보를 준다. 유방암, 피부암 등의 각종 암 또는 혈관, 림프관 등을 실시간으로 모니터링하여 수술시 정확한 이상병변의 위치를 찾고 진단하는 영상장비로 사용된다. In addition, MB absorbs light of approximately 660 to 680 nm and emits fluorescence of approximately 700 to 730 nm, and the 700 to 730 nm fluorescence is filtered by a camera and displayed with a fluorescence imaging device. Fluorescent imaging devices provide visual information to users by allowing a contrast agent injected into the body to implant into blood vessels or specific abnormal lesions, absorbing light in a specific wavelength range, and using fluorescence expression characteristics. It is used as an imaging device to monitor various cancers such as breast cancer, skin cancer, blood vessels, and lymphatic vessels in real time to find and diagnose the exact location of abnormal lesions during surgery.
이러한 형광 영상은 생물 내의 분자 단위 현상을 시각화할 수 있다. FDA 승인을 받은 수술용 형광 물질은 ICG와 메틸렌 블루가 유일하다. These fluorescence images can visualize molecular-level phenomena within living organisms. ICG and methylene blue are the only surgical fluorescent substances approved by the FDA.
형광 물질은 그 특성이 서로 달라 각 형광 물질에 적합한 영상 획득 장치가 필요하다.Fluorescent substances have different characteristics, so an image acquisition device suitable for each fluorescent substance is needed.
따라서, ICG, MB 이외에 다양한 파장에서의 형광제제(Fluorescent agent) 및 광감작제(Photosensitizer)등이 개발되고 있으며, ICG와 MB의 경우 회사마다 조금씩 다른 형광 파장을 가지고 있어 형광 효율을 향상시키기 위해서는 정확한 형광여기 광원 선택과 그에 따른 파장을 측정해야 하며, 또한 그 형광파장만 통과시켜 형광 영상 효율을 높일 필요가 있다.Therefore, in addition to ICG and MB, fluorescent agents and photosensitizers at various wavelengths are being developed. In the case of ICG and MB, each company has slightly different fluorescence wavelengths, so in order to improve fluorescence efficiency, accurate It is necessary to select a fluorescence excitation light source and measure the corresponding wavelength, and also to increase fluorescence imaging efficiency by passing only that fluorescence wavelength.
그러나, 형광조영제에 따라 다른 형광 파장이 이용되어 별도의 형광영상장치가 필요하고 피검체의 특성에 맞게 이용할 때마다 번거로움이 발생되는 문제점이 있다. However, since different fluorescence wavelengths are used depending on the fluorescent contrast agent, a separate fluorescence imaging device is required, and there is a problem that inconvenience occurs each time it is used according to the characteristics of the subject.
본 발명은 상기와 같은 문제점을 해결하기 위해 수술용 형광조영제에 따라 최적의 근적외선 대역의 형광여기광원에 의한 형광영상과 가시광선 대역의 컬러 영상을 동시에 촬영할 수 있는 형광영상 및 컬러영상 획득을 위한 다중 형광영상장치 및 그 제어방법을 제공하는 것을 목적으로 한다. In order to solve the above problems, the present invention provides a multi-layered method for acquiring fluorescence images and color images that can simultaneously capture fluorescence images by a fluorescence excitation light source in the optimal near-infrared band and color images in the visible light band depending on the fluorescent contrast agent for surgery. The purpose is to provide a fluorescence imaging device and its control method.
다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.However, the technical challenge that this embodiment aims to achieve is not limited to the technical challenges described above, and other technical challenges may exist.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 일 실시 예에 따른 형광영상 및 컬러영상 획득을 위한 다중 형광영상장치는, 대상체에 적어도 하나 이상의 조영제에 대응하는 제1, 제2 형광여기광원 및 백색광원을 선택적으로 방출하는 광원조사부; 상기 광원조사부에서 방출된 제1, 제2 형광여기광원에 의해 상기 대상체로부터 발현된 형광을 획득하고, 상기 백색 광원에 의해 상기 대상체로부터 컬러 영상을 획득하는 영상획득부; 상기 광원조사부에서 방출하는 제1, 제2형광여기광원의 파장영역 및 백색광원의 출력을 제어하고, 상기 영상획득부에서 획득한 형광 영상 및 컬러 영상을 정합하여 처리하는 영상 처리부; 및 상기 영상 처리부에서 정합 처리된 영상을 표시하는 영상 표시부를 포함하는 점에 그 특징이 있다.As a technical means for achieving the above-described technical problem, a multiple fluorescence imaging device for acquiring fluorescence images and color images according to an embodiment of the present invention includes first and second fluorescence excitation corresponding to at least one contrast agent in the object. A light source irradiation unit that selectively emits a light source and a white light source; an image acquisition unit that acquires fluorescence expressed from the object by first and second fluorescence excitation light sources emitted from the light source irradiation unit and acquires a color image from the object by the white light source; an image processing unit that controls the wavelength range of the first and second fluorescence excitation light sources and the output of the white light source emitted from the light source irradiation unit, and matches and processes the fluorescence image and color image obtained by the image acquisition unit; It is characterized in that it includes an image display unit that displays the image registered by the image processing unit.
여기서, 특히 상기 광원조사부는, 컬러 영상을 획득하기 위해 백색광을 방출하는 백색광원; 제1 및 제2 형광조영제를 형광여기하기 위한 각 파장영역의 광을 방출하는 제1, 제 2 형광여기광원(NIR 1, NIR2); 상기 제1, 제2 형광여기광원에서 방출된 형광 광원을 광섬유로 가이딩하여 결합하여 전달하는 광섬유 커플러; 및 상기 광섬유 커플러에서 전달된 형광광원의 수광 및 파장을 분리하는 조사 렌즈부;를 포함하되, 상기 백색 광원 및 제1, 제2 형광여기광원은 광원소스홀더의 홀을 중심으로 상기 백색 광원 및 제1, 제2 형광여기광원이 번갈아가며 방사형으로 배치되는 점에 그 특징이 있다.Here, in particular, the light source irradiation unit includes a white light source that emits white light to obtain a color image; First and second fluorescence excitation light sources (NIR 1, NIR2) that emit light in each wavelength range for fluorescence excitation of the first and second fluorescent contrast agents; an optical fiber coupler that guides the fluorescent light sources emitted from the first and second fluorescent excitation light sources to optical fibers, couples them, and transmits them; and an irradiation lens unit that separates the light receiving and wavelength of the fluorescent light source transmitted from the optical fiber coupler, wherein the white light source and the first and second fluorescent excitation light sources are centered around the hole of the light source source holder. Its characteristic feature is that the first and second fluorescence excitation light sources are alternately arranged radially.
여기서, 특히 상기 영상획득부는 상기 대상체에서 발현되는 형광을 수집하기 위한 렌즈; 상기 렌즈에서 수집된 형광여기광을 통과하는 필터; 및 상기 필터에서 통과된 형광여기광에 의한 영상 정보를 검출하는 카메라를 포함하는 점에 그 특징이 있다.Here, in particular, the image acquisition unit includes a lens for collecting fluorescence expressed in the object; A filter that passes the fluorescence excitation light collected by the lens; And it is characterized in that it includes a camera that detects image information by fluorescence excitation light passed through the filter.
여기서, 특히 상기 영상 처리부는, 상기 광원조사부의 백색광원 및 제1, 제2 형광여기광원의 동작 타이밍을 조절하는 동작 타이밍 펄스 신호를 발생하고, 상기 영상획득부의 동작을 제어하기 위한 동작 타이밍 펄스 신호를 발생하는 타이밍 신호발생부; 상기 타이밍 신호발생부에서 발생된 동작 타이밍 펄스 신호에 대응하여 상기 광원조사부의 백색광원 및 제1, 제2 형광여기광원을 온오프 제어하고, 백색광원 및 제1, 제2형광여기광원의 동작 타이밍 펄스 신호에 트리거링되게 영상획득부를 동작하도록 제어하는 제어부를 포함하는 점에 그 특징이 있다.Here, in particular, the image processing unit generates an operation timing pulse signal for controlling the operation timing of the white light source and the first and second fluorescence excitation light sources of the light source irradiation unit, and an operation timing pulse signal for controlling the operation of the image acquisition unit. A timing signal generator that generates a; The white light source and the first and second fluorescent excitation light sources of the light source irradiation unit are controlled on and off in response to the operation timing pulse signal generated from the timing signal generator, and the operation timing of the white light source and the first and second fluorescent excitation light sources is controlled. Its characteristic feature is that it includes a control unit that controls the image acquisition unit to operate by being triggered by a pulse signal.
여기서, 특히 상기 제어부는 형광조영제의 선택에 따라 제1 또는 제2 형광여기광원의 파장을 시프팅하고, 선택된 제1 또는 제 2 형광여기광원의 온도 제어를 통해 파장을 튜닝하고, 형광여기신호를 측정하여 최적의 출력 여기파장신호를 검출하여 제1 또는 제 2 형광여기광원을 출력하는 점에 그 특징이 있다.Here, in particular, the control unit shifts the wavelength of the first or second fluorescence excitation light source according to the selection of the fluorescent contrast agent, tunes the wavelength through temperature control of the selected first or second fluorescence excitation light source, and generates a fluorescence excitation signal. Its characteristic feature is that it measures and detects the optimal output excitation wavelength signal and outputs the first or second fluorescence excitation light source.
여기서, 특히 상기 제어부는 상기 제1, 제 2 형광여기광원이 동시에 선택된 경우, 상기 백색광원, 상기 제 1 형광여기광원 및 상기 제 2 형광여기광원을 순차적으로 조사하도록 동작 타이밍 펄스 신호에 대응하여 광원출력을 제어하는 점에 그 특징이 있다.Here, in particular, when the first and second fluorescence excitation light sources are selected at the same time, the control unit controls the light source in response to an operation timing pulse signal to sequentially irradiate the white light source, the first fluorescence excitation light source, and the second fluorescence excitation light source. Its characteristic lies in controlling the output.
여기서, 특히 상기 제어부는 상기 제1 형광여기광원이 선택된 경우, 상기 백색광원 및 상기 제 1 형광여기광원이 순차적으로 조사하도록 동작 타이밍 펄스 신호에 대응하여 광원출력을 제어하고, 상기 제 2 형광여기광원은 오프시키는 점에 그 특징이 있다.Here, in particular, when the first fluorescence excitation light source is selected, the control unit controls the light source output in response to the operation timing pulse signal so that the white light source and the first fluorescence excitation light source are sequentially irradiated, and the second fluorescence excitation light source Its characteristic is that it is turned off.
여기서, 특히 상기 제어부는 상기 제 2 형광여기광원이 선택된 경우, 상기 백색광원 및 상기 제 2 형광여기광원을 순차적으로 조사하도록 동작 타이밍 펄스 신호에 대응하여 광원출력을 제어하고, 상기 제 1 형광여기광원은 오프시키는 점에 그 특징이 있다.Here, in particular, when the second fluorescence excitation light source is selected, the control unit controls the light source output in response to the operation timing pulse signal to sequentially irradiate the white light source and the second fluorescence excitation light source, and the first fluorescence excitation light source Its characteristic is that it is turned off.
또한, 상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 일 실시 예에 따른 형광영상 및 컬러영상 획득을 위한 다중 형광영상장치의 제어방법은, 대상체에 백색광원 및 적어도 하나 이상의 조영제에 대응하는 제1, 제 2 형광여기광원을 선택적으로 방출하는 단계; 상기 방출된 상기 백색 광원에 의해 상기 대상체로부터 컬러 영상을 획득하고, 상기 제1, 제2 형광여기광원에 의해 상기 대상체로부터 발현된 형광 영상을 획득하는 단계; 상기 획득한 형광 영상 및 컬러 영상을 정합하여 처리하는 단계; 및 상기 정합 처리된 영상을 표시하는 단계를 포함하는 점에 그 특징이 있다.In addition, as a technical means for achieving the above-mentioned technical problem, a method of controlling a multiple fluorescence imaging device for acquiring fluorescent images and color images according to an embodiment of the present invention corresponds to a white light source and at least one contrast medium to the object. Selectively emitting first and second fluorescence excitation light sources; Obtaining a color image from the object by the emitted white light source and acquiring a fluorescence image expressed from the object by the first and second fluorescence excitation light sources; Processing the obtained fluorescence image and color image by matching them; It is characterized in that it includes the step of displaying the registered image.
여기서, 특히 상기 백색광원 및 제1, 제2 형광여기광원을 방출하는 단계는, Here, in particular, the step of emitting the white light source and the first and second fluorescent excitation light sources,
타이밍 신호발생부에서 발생된 동작 타이밍 펄스 신호에 대응하여 백색광원 및 제1, 제 2 형광여기광원을 온오프 제어하고, 형광조영제의 선택에 따라 제1 또는 제 2 형광여기광원의 파장을 시프팅하고, 선택된 제1 또는 제 2 형광여기광원의 온도 제어를 통해 파장을 튜닝하고, 형광여기신호를 측정하여 최적의 출력 여기파장신호를 검출하여 제1 또는 제 2 형광여기광원을 출력하는 점에 그 특징이 있다.Controls the white light source and the first and second fluorescence excitation light sources on and off in response to the operation timing pulse signal generated from the timing signal generator, and shifts the wavelength of the first or second fluorescence excitation light source depending on the selection of the fluorescent contrast agent. Tuning the wavelength through temperature control of the selected first or second fluorescence excitation light source, measuring the fluorescence excitation signal, detecting the optimal output excitation wavelength signal, and outputting the first or second fluorescence excitation light source. There is a characteristic.
여기서, 특히 상기 제1, 제2 형광여기광원을 선택적으로 방출하는 단계에서,Here, especially in the step of selectively emitting the first and second fluorescence excitation light sources,
상기 제1, 제 2 형광여기광원이 동시에 선택된 경우, 상기 백색광원, 상기 제 1 형광여기광원 및 상기 제 2 형광여기광원을 순차적으로 조사하도록 동작 타이밍 펄스 신호에 대응하여 광원출력을 제어하는 점에 그 특징이 있다.When the first and second fluorescence excitation light sources are selected simultaneously, the light source output is controlled in response to the operation timing pulse signal to sequentially illuminate the white light source, the first fluorescence excitation light source, and the second fluorescence excitation light source. It has that characteristic.
여기서, 특히 상기 제1, 제2 형광여기광원을 선택적으로 방출하는 단계에서,Here, especially in the step of selectively emitting the first and second fluorescence excitation light sources,
상기 제1 형광여기광원이 선택된 경우, 상기 백색광원 및 상기 제1 형광여기광원이 순차적으로 조사하도록 동작 타이밍 펄스 신호에 대응하여 광원출력을 제어하고, 상기 제2 형광여기광원은 오프시키는 점에 그 특징이 있다.When the first fluorescence excitation light source is selected, the light source output is controlled in response to the operation timing pulse signal so that the white light source and the first fluorescence excitation light source are sequentially irradiated, and the second fluorescence excitation light source is turned off. There is a characteristic.
여기서, 특히 상기 제1, 제2 형광여기광원을 선택적으로 방출하는 단계에서,Here, especially in the step of selectively emitting the first and second fluorescence excitation light sources,
상기 제2 형광여기광원이 선택된 경우, 상기 백색광원 및 상기 제2 형광여기광원을 순차적으로 조사하도록 동작 타이밍 펄스 신호에 대응하여 광원출력을 제어하고, 상기 제1 형광여기광원은 오프시키는 점에 그 특징이 있다.When the second fluorescence excitation light source is selected, the light source output is controlled in response to the operation timing pulse signal to sequentially illuminate the white light source and the second fluorescence excitation light source, and the first fluorescence excitation light source is turned off. There is a characteristic.
여기서, 특히 상기 조영제는 인도시안그린(Indocyanine Green, ICG) 및 광 메틸린 블루(Methylene blue, MB)을 포함하고, ICG는 775 ~ 785nm 파장 영역의 광을 흡수하여 810 ~ 850nm 파장 영역의 형광 광원을 방출하고, MB는 약 650~680nm의 광을 흡수하여 700~730nm의 형광 광원을 방출하는 점에 그 특징이 있다.Here, in particular, the contrast agent includes Indocyanine Green (ICG) and optical methylene blue (MB), and ICG absorbs light in the 775 to 785 nm wavelength range and becomes a fluorescent light source in the 810 to 850 nm wavelength range. MB is characterized by absorbing light of about 650 to 680 nm and emitting a fluorescent light source of 700 to 730 nm.
전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 수술용 형광조영제에 따라 최적의 근적외선 대역의 형광여기광원에 의한 형광영상과 가시광선 대역의 컬러 영상을 동시에 촬영할 수 있다.According to any one of the means for solving the problems of the present invention described above, it is possible to simultaneously capture a fluorescence image by a fluorescence excitation light source in the optimal near-infrared band and a color image in the visible light band according to the fluorescent contrast agent for surgery.
또한, 형광조영제에 따라 선택적으로 형광여기광원을 제어하여 형광영상을 선택적으로 획득할 수 있다. In addition, fluorescence images can be selectively acquired by selectively controlling the fluorescence excitation light source according to the fluorescent contrast agent.
도 1은 본 발명의 일 실시예에 따른 형광영상 및 컬러영상 획득을 위한 다중 형광영상장치의 구성을 개략적으로 도시한 도면이다.
도 2는 본 발명에 따른 형광영상 및 컬러영상 획득을 위한 다중 형광영상장치의 피검체에 적용되는 일 예를 개략적으로 도시한 도면이다.
도 3은 상기 도 1의 광원조사부의 구조를 개략적으로 도시한 도면이다.
도 4는 본 발명의 형광영상 및 컬러영상 획득을 위한 다중 형광영상장치의 제어방법에 대한 순서도이다.
도 5는 본 발명의 형광여기광원의 선택 과정을 개략적으로 도시한 도면이다.
도 6은 본 발명의 제1, 제2 형광영상 및 컬러영상 동시 획득이 선택된 경우의 영상획득 과정의 순서를 개략적으로 도시한 도면이다.
도 7은 상기 도 6의 광원조사 및 영상획득을 위한 타이밍 펄스 신호를 보여주는 도면이다.
도 8은 본 발명의 제1 형광영상 및 컬러영상 획득이 선택된 경우의 영상획득 과정의 순서를 개략적으로 도시한 도면이다.
도 9는 상기 도 8의 광원조사 및 영상획득을 위한 타이밍 펄스 신호를 보여주는 도면이다.
도 10은 본 발명의 제2 형광영상 및 컬러영상 획득이 선택된 경우의 영상획득 과정의 순서를 개략적으로 도시한 도면이다.
도 11은 상기 도 10의 광원조사 및 영상획득을 위한 타이밍 펄스 신호를 보여주는 도면이다.Figure 1 is a diagram schematically showing the configuration of a multiple fluorescence imaging device for acquiring fluorescence images and color images according to an embodiment of the present invention.
Figure 2 is a diagram schematically showing an example of the multiple fluorescence imaging device for acquiring fluorescence images and color images according to the present invention being applied to a subject.
Figure 3 is a diagram schematically showing the structure of the light source irradiation unit of Figure 1.
Figure 4 is a flowchart of a control method of a multiple fluorescence imaging device for acquiring fluorescence images and color images of the present invention.
Figure 5 is a diagram schematically showing the selection process of the fluorescence excitation light source of the present invention.
Figure 6 is a diagram schematically showing the sequence of the image acquisition process when simultaneous acquisition of the first and second fluorescent images and color images of the present invention is selected.
FIG. 7 is a diagram showing timing pulse signals for light source irradiation and image acquisition of FIG. 6.
Figure 8 is a diagram schematically showing the sequence of the image acquisition process when acquisition of the first fluorescent image and color image of the present invention is selected.
FIG. 9 is a diagram showing timing pulse signals for light source irradiation and image acquisition of FIG. 8.
Figure 10 is a diagram schematically showing the sequence of the image acquisition process when acquisition of the second fluorescent image and color image of the present invention is selected.
FIG. 11 is a diagram showing timing pulse signals for light source irradiation and image acquisition of FIG. 10.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 본 발명을 명확하게 설명하기 위해 도면에서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다. 또한, 도면을 참고하여 설명하면서, 같은 명칭으로 나타낸 구성일지라도 도면에 따라 도면 번호가 달라질 수 있고, 도면 번호는 설명의 편의를 위해 기재된 것에 불과하고 해당 도면 번호에 의해 각 구성의 개념, 특징, 기능 또는 효과가 제한 해석되는 것은 아니다.Below, with reference to the attached drawings, embodiments of the present invention will be described in detail so that those skilled in the art can easily implement the present invention. However, the present invention may be implemented in many different forms and is not limited to the embodiments described herein. In order to clearly explain the present invention, parts unrelated to the description have been omitted from the drawings, and similar parts have been assigned similar reference numerals throughout the specification. In addition, while explaining with reference to the drawings, even if the configuration is shown with the same name, the drawing number may vary depending on the drawing, and the drawing number is merely written for convenience of explanation, and the concept, feature, and function of each component are determined by the drawing number. Alternatively, the effect is not interpreted as limited.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.Throughout the specification, when a part is said to be “connected” to another part, this includes not only cases where it is “directly connected,” but also cases where it is “electrically connected” with another element in between. . In addition, when a part is said to "include" a certain component, this does not mean excluding other components unless specifically stated to the contrary, but may further include other components, and means that it may further include one or more other components. It should be understood that this does not exclude in advance the possibility of the presence or addition of features, numbers, steps, operations, components, parts, or combinations thereof.
본 명세서에 있어서 '부(部)' 또는 '모듈'이란, 하드웨어 또는 소프트웨어에 의해 실현되는 유닛(unit), 양방을 이용하여 실현되는 유닛을 포함하며, 하나의 유닛이 둘 이상의 하드웨어를 이용하여 실현되어도 되고, 둘 이상의 유닛이 하나의 하드웨어에 의해 실현되어도 된다. In this specification, 'part' or 'module' includes a unit realized by hardware or software, and a unit realized using both, and one unit is realized using two or more hardware. This may be possible, or two or more units may be realized by one hardware.
도 1은 본 발명의 일 실시예에 따른 형광영상 및 컬러영상 획득을 위한 다중 형광영상장치의 구성을 개략적으로 도시한 도면이고, 도 2는 본 발명에 따른 형광영상 및 컬러영상 획득을 위한 다중 형광영상장치의 피검체에 적용되는 일 예를 개략적으로 도시한 도면이고, 도 3은 상기 도 1의 광원조사부의 구조를 개략적으로 도시한 도면이다. Figure 1 is a diagram schematically showing the configuration of a multiple fluorescence imaging device for acquiring fluorescence images and color images according to an embodiment of the present invention, and Figure 2 is a diagram schematically showing the configuration of a multiple fluorescence imaging device for acquiring fluorescence images and color images according to an embodiment of the present invention. This is a diagram schematically showing an example of an imaging device being applied to a subject, and FIG. 3 is a diagram schematically showing the structure of the light source irradiation unit of FIG. 1.
도 1및 도 2에 도시된 바와 같이, 본 발명의 형광영상 및 컬러영상 획득을 위한 다중 형광영상장치(100)는, 광원조사부(110), 영상획득부(120), 영상처리부(130) 및 영상표시부(140)를 포함하여 구성될 수 있다. As shown in Figures 1 and 2, the multiple fluorescence imaging device 100 for acquiring fluorescence images and color images of the present invention includes a light source irradiation unit 110, an image acquisition unit 120, an image processing unit 130, and It may be configured to include an image display unit 140.
상기 광원조사부(110)는 대상체에 적어도 하나 이상의 조영제에 대응하는 제1, 제2 형광여기광원(112a,112b) 및 백색광원(111)을 선택적으로 방출하도록 한다.The light source irradiation unit 110 selectively emits first and second fluorescence excitation light sources 112a and 112b and white light source 111 corresponding to at least one contrast agent to the object.
여기서, 상기 조영제는 인도시안그린(Indocyanine Green, ICG) 및 광 메틸린 블루(Methylene blue, MB)을 포함하고, ICG는 775 ~ 785nm 파장 영역의 광을 흡수하여 810 ~ 850nm 파장 영역의 형광 광원을 방출하고, MB는 약 660~680nm의 광을 흡수하여 700~730nm의 형광 광원을 방출하게 된다. Here, the contrast agent includes Indocyanine Green (ICG) and optical methylene blue (MB), and ICG absorbs light in the 775 to 785 nm wavelength range and produces a fluorescent light source in the 810 to 850 nm wavelength range. MB absorbs light of approximately 660 to 680 nm and emits a fluorescent light source of 700 to 730 nm.
보다 구체적으로, 도 3에 도시된 바와 같이, 상기 광원조사부(110)는 컬러 영상을 획득하기 위해 백색광을 방출하는 백색광원(111)(백색광원소스;113), 제1 및 제2 형광조영제를 형광여기하기 위한 각 파장영역의 광을 방출하는 제1, 제2 형광여기광원(NIR1,NIR2)(112a,112b)(형광광원소스;114), 상기 제1, 제2 형광여기광원(112a,112b)까지 형광 광원을 광섬유로 가이딩하여 결합하여 전달하는 광섬유 커플러(115) 및 형광광원의 수광 및 파장을 분리하는 조사 렌즈부(116)를 포함하여 구성될 수 있다. More specifically, as shown in FIG. 3, the light source irradiation unit 110 uses a white light source 111 (white light source source 113) that emits white light to obtain a color image, and the first and second fluorescent contrast agents are used to fluoresce. First and second fluorescence excitation light sources (NIR1, NIR2) (112a, 112b) (fluorescence light source source; 114) that emit light in each wavelength range for excitation, the first and second fluorescence excitation light sources (112a, 112b) ) may be configured to include an optical fiber coupler 115 that guides the fluorescent light source with an optical fiber, couples it, and transmits it, and an irradiation lens unit 116 that separates the light reception and wavelength of the fluorescent light source.
상기 백색광원(111)은 가시광 영상을 위한 광원으로 피검체의 외피에 대해 백색광원(111)에 의한 가시광을 조사하여 가시광 컬러 영상을 획득할 수 있다. 여기서, 상기 백색광원(111)는 발광다이오드, 반도체레이저, 할로겐램프, 백열등 중 어느 하나 또는 조합으로 이루어질 수 있다.The white light source 111 is a light source for visible light images, and a visible color image can be obtained by irradiating visible light from the white light source 111 to the outer skin of the subject. Here, the white light source 111 may be made of any one or a combination of a light emitting diode, a semiconductor laser, a halogen lamp, and an incandescent lamp.
또한, 제1, 제2 형광여기광원(112a,112b)는 ICG 및 MB 조영제를 형광 여기하기 위한 파장영역의 광을 방출하기 위한 것으로, 피검체 내부에 대해서는 형광여기광원(112a,112b)에 의한 비가시광 형광영상을 획득할 수 있는 것이다. 이러한 상기 형광여기광원부(112a,112b)는, 발광다이오드, 반도체레이저, 할로겐램프, 백열등 중 어느 하나 또는 조합으로 이루어질 수 있으며, 근적외선 레이저 광원으로 이루어질 수 있다. In addition, the first and second fluorescence excitation light sources 112a and 112b are for emitting light in a wavelength range for fluorescence excitation of the ICG and MB contrast agents, and the inside of the subject is generated by the fluorescence excitation light sources 112a and 112b. Invisible light fluorescence images can be obtained. The fluorescence excitation light source units 112a and 112b may be made of any one or a combination of a light emitting diode, a semiconductor laser, a halogen lamp, and an incandescent lamp, and may be made of a near-infrared laser light source.
한편, 도 3에서와 같이, 상기 백색 광원(111) 및 제1, 제2 형광여기광원(112a,112b)은 광원소스홀더(116)의 홀을 중심으로 상기 백색 광원(111) 및 제1, 제2 형광여기광원(112a,112b)이 번갈아가며 방사형으로 배치될 수 있으며, 광원소스홀더(116)의 홀은 중앙에 여기되는 형광을 측정하기 위해 형성되어 있고, 상기 홀은 형광영상 획득 렌즈를 고정 및 영상획득 초점거리를 조절할 수 있는 홀더가 포함된다. 즉, 하나의 광원조사부를 통해 컬러 영상 및 제1, 제 2 형광여기 영상을 획득할 수 있게 된다. Meanwhile, as shown in FIG. 3, the white light source 111 and the first and second fluorescence excitation light sources 112a and 112b are centered around the hole of the light source source holder 116. The second fluorescence excitation light sources 112a and 112b may be arranged radially alternately, and a hole in the light source source holder 116 is formed at the center to measure the excited fluorescence, and the hole is used to use a fluorescence image acquisition lens. A holder that can adjust the fixation and image acquisition focal length is included. That is, it is possible to obtain a color image and first and second fluorescence excitation images through one light source irradiation unit.
상기 영상획득부(120)는 상기 광원조사부(110)에서 방출된 제1, 제2 형광여기광원(NIR 1, NIR2)(112a,112b)에 의해 피검체로부터 발현된 형광을 획득하고, 상기 백색 광원(111)에 의해 상기 피검체로부터 컬러 영상을 획득하게 된다. The image acquisition unit 120 acquires fluorescence expressed from the subject by the first and second fluorescence excitation light sources (NIR 1, NIR2) (112a, 112b) emitted from the light source irradiation unit 110, and the white A color image is obtained from the subject by the light source 111.
보다 구체적으로, 상기 영상획득부(120)는 상기 피검체에서 발현되는 형광을 수집하기 위한 렌즈(121), 상기 렌즈(121)에서 수집된 형광여기광을 선택적으로 통과하는 필터(122), 상기 필터에서 선택적으로 통과된 광의 경로를 구성하는 튜브렌즈(123) 및 상기 필터(122)에서 통과된 형광여기광에 의한 영상 정보를 검출하는 카메라(124)를 포함하여 구성될 수 있다. 즉, 피검체 내부에 위치된 형광물질에 대한 아날로그 비가시광 형광영상을 아날로그카메라에 의해 촬영하게 된다. More specifically, the image acquisition unit 120 includes a lens 121 for collecting fluorescence expressed in the subject, a filter 122 that selectively passes the fluorescence excitation light collected by the lens 121, and It may be configured to include a tube lens 123 that constitutes a path of light selectively passed through the filter and a camera 124 that detects image information by fluorescence excitation light passed through the filter 122. That is, analog invisible light fluorescence images of fluorescent substances located inside the subject are captured by an analog camera.
상기 영상처리부(130)는 광원조사부(110)에서 방출하는 제1, 제2형광여기광원(112a,112b)의 파장영역 및 백색광원의 출력을 제어하고, 상기 영상획득부에서 획득한 형광 영상 및 컬러 영상을 정합하여 처리하게 된다.The image processing unit 130 controls the wavelength range of the first and second fluorescence excitation light sources 112a and 112b and the output of the white light source emitted from the light source irradiation unit 110, and controls the fluorescence image and the output of the white light source obtained from the image acquisition unit. Color images are registered and processed.
보다 구체적으로, 상기 영상 처리부(130)는 상기 광원조사부(110)의 백색광원(111) 및 제1, 제2 형광여기광원(112a,112b)의 동작 타이밍을 조절하는 동작 타이밍 펄스 신호를 발생하고, 상기 영상획득부의 동작을 제어하기 위한 동작 타이밍 펄스 신호를 발생하는 타이밍 신호발생부(131); 상기 타이밍 신호발생부(131)에서 발생된 동작 타이밍 펄스 신호에 대응하여 상기 광원조사부의 백색광원(111) 및 제1, 제2 형광여기광원(112a,112b)을 온오프 제어하고, 백색광원 및 제1, 제2형광여기광원의 동작 타이밍 펄스 신호에 트리거링되게 영상획득부를 동작하도록 제어하는 제어부(132)를 포함할 수 있다.More specifically, the image processing unit 130 generates an operation timing pulse signal that adjusts the operation timing of the white light source 111 and the first and second fluorescence excitation light sources 112a and 112b of the light source irradiation unit 110, and , a timing signal generator 131 that generates an operation timing pulse signal for controlling the operation of the image acquisition unit; In response to the operation timing pulse signal generated by the timing signal generator 131, the white light source 111 and the first and second fluorescence excitation light sources 112a and 112b of the light source irradiation unit are controlled to turn on and off, and the white light source and It may include a control unit 132 that controls the image acquisition unit to operate in such a way that it is triggered by operation timing pulse signals of the first and second fluorescent excitation light sources.
상기 제어부(132)는 형광조영제의 선택에 따라 제1 또는 제2 형광여기광원의 파장을 시프팅하고, 선택된 제1 또는 제2 형광여기광원의 온도 제어를 통해 파장을 튜닝하고, 형광여기신호를 측정하여 최적의 출력 여기파장신호를 검출하여 제1 또는 제 2 형광여기광원을 출력하도록 제어한다. The control unit 132 shifts the wavelength of the first or second fluorescence excitation light source according to the selection of the fluorescent contrast agent, tunes the wavelength through temperature control of the selected first or second fluorescence excitation light source, and generates a fluorescence excitation signal. By measuring, the optimal output excitation wavelength signal is detected and controlled to output the first or second fluorescence excitation light source.
다시 말해, 조영제가 선택이 되면 여기 광원 파장이 선택이 되고, 온도 제어를 통한 파장 시프팅(가변)을 시작하게 된다. 그리고 여기 광원 파장을 시프팅 하면서 형광신호를 측정하고 최대 형광 신호가 출력되는지 측정하고 각각의 파장에 따른 신호를 측정 비교하여 최대 형광신호에 따른 파장을 선택하여 최적의 형광 여기 조건으로 설정하게 된다. In other words, when the contrast agent is selected, the excitation light source wavelength is selected, and wavelength shifting (variation) through temperature control begins. Then, the fluorescence signal is measured while shifting the excitation light source wavelength, and the maximum fluorescence signal is output. The signals according to each wavelength are measured and compared, and the wavelength according to the maximum fluorescence signal is selected to set the optimal fluorescence excitation conditions.
또한, 상기 제어부(132)는 상기 제1, 제 2 형광여기광원이 동시에 선택된 경우, 상기 백색광원, 상기 제 1 형광여기광원 및 상기 제 2 형광여기광원을 순차적으로 조사하도록 동작 타이밍 펄스 신호에 대응하여 광원출력을 제어하게 된다.In addition, when the first and second fluorescence excitation light sources are selected at the same time, the control unit 132 responds to an operation timing pulse signal to sequentially irradiate the white light source, the first fluorescence excitation light source, and the second fluorescence excitation light source. This controls the light source output.
또한, 상기 제어부(132)는 상기 제1 형광여기광원이 선택된 경우, 상기 백색광원 및 상기 제 1 형광여기광원이 순차적으로 조사하도록 동작 타이밍 펄스 신호에 대응하여 광원출력을 제어하고, 상기 제 2 형광여기광원은 오프시키도록 제어한다. In addition, when the first fluorescence excitation light source is selected, the control unit 132 controls the light source output in response to the operation timing pulse signal so that the white light source and the first fluorescence excitation light source are sequentially irradiated, and the second fluorescence excitation light source is selected. The excitation light source is controlled to be turned off.
또한, 상기 제어부(132)는 상기 제 2 형광여기광원이 선택된 경우, 상기 백색광원 및 상기 제 2 형광여기광원을 순차적으로 조사하도록 동작 타이밍 펄스 신호에 대응하여 광원출력을 제어하고, 상기 제 1 형광여기광원은 오프시키도록 제어한다.In addition, when the second fluorescence excitation light source is selected, the control unit 132 controls the light source output in response to the operation timing pulse signal to sequentially irradiate the white light source and the second fluorescence excitation light source, and the first fluorescence excitation light source. The excitation light source is controlled to be turned off.
상기 영상표시부(140)는 영상 처리부(130)에서 컬러 영상 및 형광여기영상이 정합 처리된 영상을 표시하게 된다. 즉, 피검체에 대해 외피 부분을 컬러영상으로 표시하고, 피검체 내부에 대해 비가시광형광영상으로 표시하여 이를 정합하여 하나의 피검체 부위 영상을 영상표시부를 통해 볼 수 있다.The image display unit 140 displays an image obtained by matching the color image and the fluorescence excitation image in the image processing unit 130. In other words, the outer skin of the subject is displayed as a color image, and the inside of the subject is displayed as an invisible fluorescent image, and by matching them, one image of the subject area can be viewed through the image display unit.
또한, 도 4는 본 발명의 형광영상 및 컬러영상 획득을 위한 다중 형광영상장치의 제어방법에 대한 순서도이고, 도 5는 본 발명의 형광여기광원의 선택 과정을 개략적으로 도시한 도면이고, 도 6은 본 발명의 제1, 제2 형광영상 및 컬러영상 동시 획득이 선택된 경우의 영상획득 과정의 순서를 개략적으로 도시한 도면이고, 도 7은 상기 도 6의 광원조사 및 영상획득을 위한 타이밍 펄스 신호를 보여주는 도면이고, 도 8은 본 발명의 제1 형광영상 및 컬러영상 획득이 선택된 경우의 영상획득 과정의 순서를 개략적으로 도시한 도면이고, 도 9는 상기 도 8의 광원조사 및 영상획득을 위한 타이밍 펄스 신호를 보여주는 도면이고, 도 10은 본 발명의 제2 형광영상 및 컬러영상 획득이 선택된 경우의 영상획득 과정의 순서를 개략적으로 도시한 도면이고, 도 11은 상기 도 10의 광원조사 및 영상획득을 위한 타이밍 펄스 신호를 보여주는 도면이다.In addition, Figure 4 is a flowchart of the control method of a multiple fluorescence imaging device for acquiring fluorescence images and color images of the present invention, Figure 5 is a diagram schematically showing the selection process of the fluorescence excitation light source of the present invention, and Figure 6 is a diagram schematically showing the sequence of the image acquisition process when simultaneous acquisition of the first and second fluorescent images and color images of the present invention is selected, and FIG. 7 is a timing pulse signal for light source irradiation and image acquisition of FIG. 6. is a diagram showing, and Figure 8 is a diagram schematically showing the sequence of the image acquisition process when acquisition of the first fluorescent image and color image of the present invention is selected, and Figure 9 is a diagram showing the process for light source irradiation and image acquisition of Figure 8. It is a diagram showing a timing pulse signal, and Figure 10 is a diagram schematically showing the sequence of the image acquisition process when acquisition of the second fluorescent image and color image of the present invention is selected, and Figure 11 is a diagram showing the light source irradiation and image acquisition of Figure 10. This diagram shows the timing pulse signal for acquisition.
먼저, 도 4에 도시된 바와 같이, 본 발명의 일 실시 예에 따른 형광영상 및 컬러영상 획득을 위한 다중 형광영상장치의 제어방법은, 먼저 피검체에 백색광원 및 적어도 하나 이상의 조영제에 대응하는 제1, 제 2 형광여기광원을 선택적으로 방출하는 단계가 수행된다(S410). 여기서, 상기 조영제는 인도시안그린(Indocyanine Green, ICG) 및 광 메틸린 블루(Methylene blue, MB)을 포함하고, ICG는 775 ~ 785nm 파장 영역의 광을 흡수하여 810 ~ 850nm 파장 영역의 형광 광원을 방출하고, MB는 약 660~680nm의 광을 흡수하여 700~730nm의 형광 광원을 방출하는 것이 바람직하다.First, as shown in FIG. 4, the control method of a multiple fluorescence imaging device for acquiring fluorescence images and color images according to an embodiment of the present invention first applies a white light source and an agent corresponding to at least one contrast agent to the subject. 1, The step of selectively emitting the second fluorescence excitation light source is performed (S410). Here, the contrast agent includes Indocyanine Green (ICG) and optical methylene blue (MB), and ICG absorbs light in the 775 to 785 nm wavelength range and produces a fluorescent light source in the 810 to 850 nm wavelength range. It is preferable that MB absorbs light of about 660 to 680 nm and emits a fluorescent light source of 700 to 730 nm.
보다 구체적으로, 도 5에 도시된 바와 같이, 상기 백색광원 및 제1, 제2 형광여기광원을 방출하는 단계에서는 타이밍 신호발생부에서 발생된 동작 타이밍 펄스 신호에 대응하여 백색광원 및 제1, 제 2 형광여기광원을 온오프 제어하고, 형광조영제의 선택에 따라 제1 또는 제 2 형광여기광원의 파장을 시프팅하고, 선택된 제1 또는 제 2 형광여기광원의 온도 제어를 통해 파장을 튜닝하고, 형광여기신호를 측정하여 최적의 출력 여기파장신호를 검출하여 제1 또는 제 2 형광여기광원을 출력하게 된다.More specifically, as shown in FIG. 5, in the step of emitting the white light source and the first and second fluorescent excitation light sources, the white light source and the first and second fluorescent excitation light sources are emitted in response to the operation timing pulse signal generated from the timing signal generator. 2. Control the fluorescence excitation light source on and off, shift the wavelength of the first or second fluorescence excitation light source according to the selection of the fluorescent contrast agent, and tune the wavelength by controlling the temperature of the selected first or second fluorescence excitation light source, By measuring the fluorescence excitation signal, the optimal output excitation wavelength signal is detected and the first or second fluorescence excitation light source is output.
다시 말해, 조영제가 선택이 되면 여기 광원 파장이 선택이 되고, 온도 제어를 통한 파장 시프팅(가변)을 시작하게 된다. 그리고 여기 광원 파장을 시프팅 하면서 형광신호를 측정하고 최대 형광 신호가 출력되는지 측정하고 각각의 파장에 따른 신호를 측정 비교하여 최대 형광신호에 따른 파장을 선택하여 최적의 형광 여기 조건으로 설정하게 된다. In other words, when the contrast agent is selected, the excitation light source wavelength is selected, and wavelength shifting (variation) through temperature control begins. Then, the fluorescence signal is measured while shifting the excitation light source wavelength, and the maximum fluorescence signal is output. The signals according to each wavelength are measured and compared, and the wavelength according to the maximum fluorescence signal is selected to set the optimal fluorescence excitation conditions.
이때, 도 6 및 도 7에 도시된 바와 같이, 상기 제1, 제 2 형광여기광원을 선택적으로 방출하는 단계에서 상기 제1, 제 2 형광여기광원이 동시에 선택된 경우, 상기 백색광원, 상기 제 1 형광여기광원 및 상기 제 2 형광여기광원을 순차적으로 조사하도록 동작 타이밍 펄스 신호에 대응하여 광원출력을 제어하게 된다. At this time, as shown in Figures 6 and 7, when the first and second fluorescence excitation light sources are selected simultaneously in the step of selectively emitting the first and second fluorescence excitation light sources, the white light source and the first The light source output is controlled in response to the operation timing pulse signal to sequentially irradiate the fluorescence excitation light source and the second fluorescence excitation light source.
보다 구체적으로, 각각 영상 구현 방법은 타이밍 펄스(time pulse)의 발생의 시간 차이를 통해 여기광원을 시간차를 두어 동작시켜 각 여기 광원의 동작 펄스에 트리거링되게 카메라 획득 타이밍을 설정하여 여기광원에 일치되는 형광 영상신호를 카메라로 측정하게 된다. More specifically, each image implementation method operates the excitation light source at a time difference through the time difference in the generation of the timing pulse, sets the camera acquisition timing to be triggered by the operation pulse of each excitation light source, and matches the excitation light source. Fluorescent image signals are measured with a camera.
즉, 도 7에서 첫번째 펄스 열은 카메라 획득 펄스 및 기준 펄스를 나타내며, 2번째 펄스신호는 백색광(가시광) 컬러 영상을 얻는 펄스 신호, 세번째 펄스신호는 NIR 1 광원 및 ICG 형광 영상 얻는 펄스, 마지막 펄스 신호는 NIR 2 광원 및 MB 형광 영상 얻는 펄스신호를 나타낸다. That is, in FIG. 7, the first pulse train represents the camera acquisition pulse and the reference pulse, the second pulse signal is a pulse signal for obtaining a white light (visible light) color image, the third pulse signal is a pulse for obtaining a NIR 1 light source and an ICG fluorescence image, and the last pulse is The signal represents the pulse signal obtained from the NIR 2 light source and MB fluorescence imaging.
이때, ICG + MB 형광 조영제를 동시에 사용하여 두개의 다중영상을 얻는 방법으로, 각각의 펄스 열에 따라 백색광원이 조사되어 컬러 영상을 획득하고, 제1 형광여기광원의 적외선이 조사되어 제 1 적외광 영상을 획득하고, 제 2 형광여기광원의 적외선이 조사되어 제 2 적외광 영상을 획득하게 된다. At this time, this is a method of obtaining two multiple images using ICG + MB fluorescent contrast agent simultaneously. A white light source is irradiated according to each pulse train to obtain a color image, and infrared light from the first fluorescence excitation light source is irradiated to produce first infrared light. An image is acquired, and infrared light from a second fluorescence excitation light source is irradiated to obtain a second infrared light image.
또한, 도 8 및 도 9에 도시된 바와 같이, 상기 제1, 제2 형광여기광원을 선택적으로 방출하는 단계에서, 상기 제1 형광여기광원이 선택된 경우, 상기 백색광원 및 상기 제1 형광여기광원이 순차적으로 조사하도록 동작 타이밍 펄스 신호에 대응하여 광원출력을 제어하고, 상기 제 2 형광여기광원은 오프시키게 된다. 예컨대, ICG 조영제를 사용하여 ICG 형광 단독 영상을 얻는 방법으로, ICG 형광 여기광원 및 획득 신호 펄스를 발생하게 된다.In addition, as shown in FIGS. 8 and 9, in the step of selectively emitting the first and second fluorescence excitation light sources, when the first fluorescence excitation light source is selected, the white light source and the first fluorescence excitation light source The light source output is controlled in response to the operation timing pulse signal to irradiate sequentially, and the second fluorescence excitation light source is turned off. For example, this is a method of obtaining an ICG fluorescence-only image using an ICG contrast agent, which generates an ICG fluorescence excitation light source and an acquisition signal pulse.
즉, 도 9에서와 같이, 각각의 펄스 열에 따라 백색광원이 조사되어 컬러 영상을 획득하고, 제 1 형광여기광원의 적외선이 조사되어 제 1 적외광 영상을 획득하고, 제 2 형광여기광원에 대한 타이밍 펄스는 입력되지 않아 오프 상태로 되어 컬러 영상 및 제 1 형광여기영상을 획득하여 표시하게 된다. That is, as shown in FIG. 9, a white light source is irradiated according to each pulse train to obtain a color image, infrared light from the first fluorescence excitation light source is irradiated to obtain a first infrared light image, and Since the timing pulse is not input, it is turned off and a color image and a first fluorescence excitation image are acquired and displayed.
또한, 도 10 및 도 11에 도시된 바와 같이, 상기 제1, 제2 형광여기광원을 선택적으로 방출하는 단계에서, 상기 제2 형광여기광원이 선택된 경우, 상기 백색광원 및 상기 제2 형광여기광원을 순차적으로 조사하도록 동작 타이밍 펄스 신호에 대응하여 광원출력을 제어하고, 상기 제1 형광여기광원은 오프시키게 된다. 예컨대, MB 조영제를 사용하여 MB 형광 단독 영상을 얻는 방법으로 MB 형광 여기광원 및 획득 신호 펄스를 발생하게 된다.In addition, as shown in Figures 10 and 11, in the step of selectively emitting the first and second fluorescence excitation light sources, when the second fluorescence excitation light source is selected, the white light source and the second fluorescence excitation light source The light source output is controlled in response to the operation timing pulse signal to sequentially irradiate, and the first fluorescence excitation light source is turned off. For example, a method of obtaining a MB fluorescence-only image using a MB contrast agent generates a MB fluorescence excitation light source and an acquisition signal pulse.
즉, 도 11에서와 같이, 각각의 펄스 열에 따라 백색광원이 조사되어 컬러 영상을 획득하고, 제1 형광여기광원에 대한 타이밍 펄스는 입력되지 않아 오프 상태로 유지되고, 제2 형광여기광원의 적외선이 조사되어 제 2적외광 영상을 획득하게 된다. 그리고, 상기 컬러 영상 및 제2 형광여기영상을 정합하여 표시하게 된다.That is, as shown in FIG. 11, a white light source is irradiated according to each pulse train to obtain a color image, the timing pulse for the first fluorescence excitation light source is not input and is maintained in the off state, and the infrared light source of the second fluorescence excitation light source is not input. This is irradiated to obtain a second infrared light image. Then, the color image and the second fluorescence excitation image are matched and displayed.
그 다음, 상기 방출된 상기 백색 광원에 의해 상기 피검체로부터 컬러 영상을 획득하고, 상기 제1, 제2 형광여기광원에 의해 상기 피검체로부터 발현된 형광 영상을 획득하는 단계가 수행된다(S420). 즉, 상기 도 6 내지 도 11에서의 과정에 의해 선택적으로 형광여기영상을 얻을 수 있다.Next, a step of acquiring a color image from the subject by the emitted white light source and acquiring a fluorescence image expressed by the subject by the first and second fluorescence excitation light sources is performed (S420) . That is, a fluorescence excitation image can be selectively obtained through the processes shown in FIGS. 6 to 11 above.
그리고, 상기 획득한 형광 영상 및 컬러 영상을 정합하여 처리하는 단계가 수행된다(S430). Then, a step of matching and processing the obtained fluorescence image and color image is performed (S430).
보다 구체적으로, 영상 정합의 방법은 상기 컬러 영상의 가시광성 영상과 형광여기영상인 ICG 영상, MB 영상를 단순하게 덧셈하는 머지 방법과 각 영상의 최대값을 이용한 노멀라이제이션(normalization) 값의 영상을 계산 후 덧셈하는 방법, 각각의 영상을 구별하기 위해 ICG 영상과 MB 영상을 그린(green) 또는 블루(blue) 영상으로 변경하여 머지(merge)하여 각각 영상의 시인성을 좋게 할 수 있게 영상 처리할 수 있다. More specifically, the image registration method includes a merge method that simply adds the visible light image of the color image, the ICG image, which is a fluorescence excitation image, and the MB image, and the image of the normalization value using the maximum value of each image. A method of adding after calculation. In order to distinguish each image, the ICG image and MB image can be changed to a green or blue image and merged to process the image to improve the visibility of each image. there is.
또한, 영상을 선택적으로 볼 수 있는 화면 분할이 가능하고, 각 형광 영상에서 일정 임계값(threshold)을 이용하여 바운더리(boundary) 영상 제공이 가능하다. In addition, screen division is possible to selectively view images, and boundary images can be provided by using a certain threshold in each fluorescence image.
마지막으로, 상기 정합 처리된 영상을 표시하는 단계가 수행된다(S440). 즉, 피검체에 대해 외피 부분을 컬러영상으로 표시하고, 피검체 내부에 대해 비가시광형광영상으로 표시하여 이를 정합하여 하나의 피검체 부위 영상을 영상표시부를 통해 볼 수 있다.Finally, a step of displaying the registered image is performed (S440). In other words, the outer skin of the subject is displayed as a color image, and the inside of the subject is displayed as an invisible fluorescent image, and by matching them, one image of the subject area can be viewed through the image display unit.
상술한 본 발명에 의한 장치에 의해 피검체의 동일 부위에 대해 표피의 가시광영상과, 표피 내부의 두 가지의 비가시광 형광영상을 함께 획득하여 영상분석을 할 수 있고 이들 영상을 육안으로 직접 살피거나 나아가 각각의 영상표시부(display)에 표시된 각각의 영상을 직접 보면서 다룰 수 있다. By using the device according to the present invention described above, a visible light image of the epidermis and two invisible light fluorescent images of the inside of the epidermis can be acquired together for the same part of the subject for image analysis, and these images can be directly inspected with the naked eye. Furthermore, you can directly view and manipulate each image displayed on each image display.
따라서, 조영제가 다른 경우에도 이를 선택적으로 최적의 여기파장을 제어하여 형광여기영상을 획득함으로써 보다 정확하게 직접적인 시술을 수행할 수 있다. Therefore, even when the contrast agent is different, a direct procedure can be performed more accurately by selectively controlling the optimal excitation wavelength to obtain a fluorescence excitation image.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.The description of the present invention described above is for illustrative purposes, and those skilled in the art will understand that the present invention can be easily modified into other specific forms without changing the technical idea or essential features of the present invention. will be. Therefore, the embodiments described above should be understood in all respects as illustrative and not restrictive. For example, each component described as unitary may be implemented in a distributed manner, and similarly, components described as distributed may also be implemented in a combined form.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.The scope of the present invention is indicated by the claims described below rather than the detailed description above, and all changes or modified forms derived from the meaning and scope of the claims and their equivalent concepts should be construed as being included in the scope of the present invention. do.
100: 형광영상장치
110: 광원조사부
111: 백색광원
112a, 112b: 제1, 제2 형광여기광원
115: 광섬유 커플러
116: 조사 렌즈부
120: 영상획득부
130: 영상처리부
131: 타이밍 신호 발생부
132: 제어부
140: 영상표시부100: Fluorescence imaging device
110: Light source irradiation department
111: White light source
112a, 112b: first and second fluorescent excitation light sources
115: Fiber optic coupler
116: Irradiation lens unit
120: Video acquisition department
130: Image processing unit
131: Timing signal generator
132: Control unit
140: Video display unit
Claims (14)
상기 광원조사부에서 방출된 제1, 제 2 형광여기광원에 의해 상기 피검체로부터 발현된 형광을 획득하고, 상기 백색 광원에 의해 상기 피검체로부터 컬러 영상을 획득하는 영상획득부;
상기 광원조사부에서 방출하는 제1, 제 2형광여기광원의 파장영역 및 백색광원의 출력을 제어하고, 상기 영상획득부에서 획득한 형광 영상 및 컬러 영상을 정합하여 처리하는 영상 처리부; 및
상기 영상 처리부에서 정합 처리된 영상을 표시하는 영상 표시부를 포함하고,
상기 조영제는 인도시안그린(Indocyanine Green, ICG) 및 광 메틸린 블루(Methylene blue, MB)을 포함하고, 제1 형광조영제의 ICG는 775 ~ 785nm 파장 영역의 광을 흡수하여 810 ~ 850nm 파장 영역의 형광 광원을 방출하고, 제2 형광조영제의 MB는 660~680nm의 광을 흡수하여 700~730nm의 형광 광원을 방출하고,
상기 영상 처리부는 상기 제1, 제2 형광조영제의 선택에 따라 제1 또는 제 2 형광여기광원의 파장을 시프팅하고, 선택된 제1 또는 제 2 형광여기광원의 온도 제어를 통해 파장을 튜닝하고, 형광여기신호를 측정하여 최적의 출력 여기파장신호를 검출하여 제1 또는 제 2 형광여기광원을 출력하는 형광영상 및 컬러영상 획득을 위한 다중 형광영상장치.
a light source irradiation unit that selectively emits first and second fluorescence excitation light sources and a white light source corresponding to at least one contrast agent to the subject;
an image acquisition unit that acquires fluorescence expressed from the subject by the first and second fluorescence excitation light sources emitted from the light source irradiation unit and acquires a color image from the subject by the white light source;
an image processing unit that controls the wavelength range of the first and second fluorescence excitation light sources and the output of the white light source emitted from the light source irradiation unit, and matches and processes the fluorescence image and color image obtained by the image acquisition unit; and
An image display unit that displays the image matched by the image processor,
The contrast agent includes Indocyanine Green (ICG) and optical methylene blue (MB), and ICG of the first fluorescent contrast agent absorbs light in the 775 to 785 nm wavelength range and emits light in the 810 to 850 nm wavelength range. emits a fluorescent light source, and the MB of the second fluorescent contrast agent absorbs light of 660 to 680 nm and emits a fluorescent light source of 700 to 730 nm,
The image processing unit shifts the wavelength of the first or second fluorescence excitation light source according to the selection of the first or second fluorescent contrast agent, and tunes the wavelength by controlling the temperature of the selected first or second fluorescence excitation light source, A multiple fluorescence imaging device for acquiring fluorescence images and color images that measures fluorescence excitation signals, detects the optimal output excitation wavelength signal, and outputs a first or second fluorescence excitation light source.
상기 광원조사부는,
컬러 영상을 획득하기 위해 백색광을 방출하는 백색광원;
제1 및 제2 형광조영제를 형광여기하기 위한 각 파장영역의 광을 방출하는 제1, 제 2 형광여기광원(NIR 1, NIR2);
상기 제1, 제2 형광여기광원에서 방출된 형광 광원을 광섬유로 가이딩하여 결합하여 전달하는 광섬유 커플러; 및
상기 광섬유 커플러에서 전달된 형광광원의 수광 및 파장을 분리하는 조사 렌즈부;를 포함하되;
상기 백색 광원 및 제1, 제2 형광여기광원은 광원소스홀더의 홀을 중심으로 상기 백색 광원 및 제1, 제2 형광여기광원이 번갈아가며 방사형으로 배치되는 것을 특징으로 하는 형광영상 및 컬러영상 획득을 위한 다중 형광영상장치.
According to paragraph 1,
The light source irradiation unit,
A white light source that emits white light to obtain a color image;
First and second fluorescence excitation light sources (NIR 1, NIR2) that emit light in each wavelength range for fluorescence excitation of the first and second fluorescent contrast agents;
an optical fiber coupler that guides the fluorescent light sources emitted from the first and second fluorescent excitation light sources to optical fibers, couples them, and transmits them; and
It includes an irradiation lens unit that separates the light receiving and wavelength of the fluorescent light source transmitted from the optical fiber coupler;
Obtaining fluorescence images and color images, wherein the white light source and the first and second fluorescence excitation light sources are alternately arranged radially around the hole of the light source source holder. Multiple fluorescence imaging device for.
상기 영상획득부는
상기 피검체에서 발현되는 형광을 수집하기 위한 렌즈;
상기 렌즈에서 수집된 형광여기광을 통과하는 필터; 및
상기 필터에서 통과된 형광여기광에 의한 영상 정보를 검출하는 카메라를 포함하는 것을 특징으로 하는 형광영상 및 컬러영상 획득을 위한 다중 형광영상장치.
According to paragraph 1,
The video acquisition department
A lens for collecting fluorescence expressed in the subject;
A filter that passes the fluorescence excitation light collected by the lens; and
A multi-fluorescence imaging device for acquiring fluorescence images and color images, comprising a camera that detects image information by fluorescence excitation light passed through the filter.
상기 영상 처리부는,
상기 광원조사부의 백색광원 및 제1, 제2 형광여기광원의 동작 타이밍을 조절하는 동작 타이밍 펄스 신호를 발생하고, 상기 영상획득부의 동작을 제어하기 위한 동작 타이밍 펄스 신호를 발생하는 타이밍 신호발생부; 및
상기 타이밍 신호발생부에서 발생된 동작 타이밍 펄스 신호에 대응하여 상기 광원조사부의 백색광원 및 제1, 제 2 형광여기광원을 온오프 제어하고, 백색광원 및 제1, 제 2형광여기광원의 동작 타이밍 펄스 신호에 트리거링되게 영상획득부를 동작하도록 제어하는 제어부를 포함하는 것을 특징으로 하는 형광영상 및 컬러영상 획득을 위한 다중 형광영상장치.
According to paragraph 1,
The image processing unit,
a timing signal generator that generates an operation timing pulse signal for controlling the operation timing of the white light source and the first and second fluorescence excitation light sources of the light source irradiation unit, and generates an operation timing pulse signal for controlling the operation of the image acquisition unit; and
The white light source and the first and second fluorescent excitation light sources of the light source irradiation unit are controlled to be turned on and off in response to the operation timing pulse signal generated from the timing signal generator, and the operation timing of the white light source and the first and second fluorescent excitation light sources are controlled. A multiple fluorescence imaging device for acquiring fluorescence images and color images, comprising a control unit that controls the image acquisition unit to operate in a manner triggered by a pulse signal.
상기 제어부는 상기 제1, 제 2 형광여기광원이 동시에 선택된 경우, 상기 백색광원, 상기 제 1 형광여기광원 및 상기 제 2 형광여기광원을 순차적으로 조사하도록 동작 타이밍 펄스 신호에 대응하여 광원출력을 제어하는 것을 특징으로 하는 형광영상 및 컬러영상 획득을 위한 다중 형광영상장치.
According to paragraph 4,
When the first and second fluorescence excitation light sources are selected at the same time, the control unit controls the light source output in response to the operation timing pulse signal to sequentially irradiate the white light source, the first fluorescence excitation light source, and the second fluorescence excitation light source. A multiple fluorescence imaging device for acquiring fluorescence images and color images.
상기 제어부는 상기 제1 형광여기광원이 선택된 경우, 상기 백색광원 및 상기 제1 형광여기광원이 순차적으로 조사하도록 동작 타이밍 펄스 신호에 대응하여 광원출력을 제어하고, 상기 제 2 형광여기광원은 오프시키는 것을 특징으로 하는 형광영상 및 컬러영상 획득을 위한 다중 형광영상장치.
According to paragraph 4,
When the first fluorescence excitation light source is selected, the control unit controls the light source output in response to an operation timing pulse signal so that the white light source and the first fluorescence excitation light source sequentially illuminate, and turns off the second fluorescence excitation light source. A multiple fluorescence imaging device for acquiring fluorescence images and color images.
상기 제어부는 상기 제 2 형광여기광원이 선택된 경우, 상기 백색광원 및 상기 제 2 형광여기광원을 순차적으로 조사하도록 동작 타이밍 펄스 신호에 대응하여 광원출력을 제어하고, 상기 제 1 형광여기광원은 오프시키는 것을 특징으로 하는 형광영상 및 컬러영상 획득을 위한 다중 형광영상장치.
According to paragraph 4,
When the second fluorescence excitation light source is selected, the control unit controls the light source output in response to an operation timing pulse signal to sequentially illuminate the white light source and the second fluorescence excitation light source, and turns off the first fluorescence excitation light source. A multiple fluorescence imaging device for acquiring fluorescence images and color images.
상기 방출된 상기 백색 광원에 의해 상기 피검체로부터 컬러 영상을 획득하고, 상기 제1, 제2 형광여기광원에 의해 상기 피검체로부터 발현된 형광 영상을 획득하는 단계;
상기 획득한 형광 영상 및 컬러 영상을 정합하여 처리하는 단계; 및
상기 정합 처리된 영상을 표시하는 단계를 포함하고,
상기 조영제는 인도시안그린(Indocyanine Green, ICG) 및 광 메틸린 블루(Methylene blue, MB)을 포함하고, 제1 형광조영제의 ICG는 775 ~ 785nm 파장 영역의 광을 흡수하여 810 ~ 850nm 파장 영역의 형광 광원을 방출하고, 제2 형광조영제의 MB는 660~680nm의 광을 흡수하여 700~730nm의 형광 광원을 방출하고,
상기 백색광원 및 제1, 제2 형광여기광원을 방출하는 단계는,
타이밍 신호발생부에서 발생된 동작 타이밍 펄스 신호에 대응하여 백색광원 및 제1, 제 2 형광여기광원을 온오프 제어하고, 형광조영제의 선택에 따라 제1 또는 제 2 형광여기광원의 파장을 시프팅하고, 선택된 제1 또는 제 2 형광여기광원의 온도 제어를 통해 파장을 튜닝하고, 형광여기신호를 측정하여 최적의 출력 여기파장신호를 검출하여 제1 또는 제 2 형광여기광원을 출력하는 형광영상 및 컬러영상 획득을 위한 다중 형광영상장치의 제어방법.
Selectively emitting a white light source and first and second fluorescence excitation light sources corresponding to at least one contrast agent to the subject;
Obtaining a color image from the subject by the emitted white light source and acquiring a fluorescence image expressed by the subject by the first and second fluorescence excitation light sources;
Processing the obtained fluorescence image and color image by matching them; and
Comprising the step of displaying the registered image,
The contrast agent includes Indocyanine Green (ICG) and optical methylene blue (MB), and ICG of the first fluorescent contrast agent absorbs light in the 775 to 785 nm wavelength range and emits light in the 810 to 850 nm wavelength range. emits a fluorescent light source, and the MB of the second fluorescent contrast agent absorbs light of 660 to 680 nm and emits a fluorescent light source of 700 to 730 nm,
The step of emitting the white light source and the first and second fluorescent excitation light sources,
Controls the white light source and the first and second fluorescence excitation light sources on and off in response to the operation timing pulse signal generated from the timing signal generator, and shifts the wavelength of the first or second fluorescence excitation light source depending on the selection of the fluorescent contrast agent. and tuning the wavelength by controlling the temperature of the selected first or second fluorescence excitation light source, measuring the fluorescence excitation signal, detecting the optimal output excitation wavelength signal, and outputting the first or second fluorescence excitation light source. Control method of multiple fluorescence imaging devices for color image acquisition.
상기 제1, 제 2 형광여기광원을 선택적으로 방출하는 단계에서,
상기 제1, 제 2 형광여기광원이 동시에 선택된 경우, 상기 백색광원, 상기 제 1 형광여기광원 및 상기 제 2 형광여기광원을 순차적으로 조사하도록 동작 타이밍 펄스 신호에 대응하여 광원출력을 제어하는 것을 특징으로 하는 형광영상 및 컬러영상 획득을 위한 다중 형광영상장치의 제어방법.
According to clause 9,
In the step of selectively emitting the first and second fluorescence excitation light sources,
When the first and second fluorescence excitation light sources are selected simultaneously, the light source output is controlled in response to the operation timing pulse signal to sequentially illuminate the white light source, the first fluorescence excitation light source, and the second fluorescence excitation light source. A control method of multiple fluorescence imaging devices for acquiring fluorescence images and color images.
상기 제1, 제2 형광여기광원을 선택적으로 방출하는 단계에서,
상기 제1 형광여기광원이 선택된 경우, 상기 백색광원 및 상기 제1 형광여기광원이 순차적으로 조사하도록 동작 타이밍 펄스 신호에 대응하여 광원출력을 제어하고, 상기 제2 형광여기광원은 오프시키는 것을 특징으로 하는 형광영상 및 컬러영상 획득을 위한 다중 형광영상장치의 제어방법.
According to clause 9,
In the step of selectively emitting the first and second fluorescence excitation light sources,
When the first fluorescence excitation light source is selected, the light source output is controlled in response to an operation timing pulse signal so that the white light source and the first fluorescence excitation light source are sequentially illuminated, and the second fluorescence excitation light source is turned off. Control method of multiple fluorescence imaging devices for acquiring fluorescence images and color images.
상기 제1, 제 2 형광여기광원을 선택적으로 방출하는 단계에서,
상기 제 2 형광여기광원이 선택된 경우, 상기 백색광원 및 상기 제 2 형광여기광원을 순차적으로 조사하도록 동작 타이밍 펄스 신호에 대응하여 광원출력을 제어하고, 상기 제 1 형광여기광원은 오프시키는 것을 특징으로 하는 형광영상 및 컬러영상 획득을 위한 다중 형광영상장치의 제어방법.
According to clause 9,
In the step of selectively emitting the first and second fluorescence excitation light sources,
When the second fluorescence excitation light source is selected, the light source output is controlled in response to an operation timing pulse signal to sequentially irradiate the white light source and the second fluorescence excitation light source, and the first fluorescence excitation light source is turned off. Control method of multiple fluorescence imaging devices for acquiring fluorescence images and color images.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210157705A KR102624004B1 (en) | 2021-11-16 | 2021-11-16 | Multiple fluorescence imaging device for fluorescence image and color image acquisition and control method thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210157705A KR102624004B1 (en) | 2021-11-16 | 2021-11-16 | Multiple fluorescence imaging device for fluorescence image and color image acquisition and control method thereof |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20230071469A KR20230071469A (en) | 2023-05-23 |
| KR102624004B1 true KR102624004B1 (en) | 2024-01-11 |
Family
ID=86544437
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210157705A KR102624004B1 (en) | 2021-11-16 | 2021-11-16 | Multiple fluorescence imaging device for fluorescence image and color image acquisition and control method thereof |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102624004B1 (en) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4988023B2 (en) * | 2001-08-28 | 2012-08-01 | ベイラー カレッジ オブ メディスン | Pulsed multiline excitation method for color blind fluorescence |
| JP2012524904A (en) | 2009-04-21 | 2012-10-18 | ユニバーシティ オブ ユタ リサーチ ファウンデーション | Luminescent die for intraoperative imaging or sentinel lymph node biopsy |
| JP6696912B2 (en) | 2014-06-05 | 2020-05-20 | ウニベルジテート ハイデルベルク | Methods and means for multispectral imaging |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101594523B1 (en) | 2013-09-02 | 2016-02-16 | 한국광기술원 | Image acquisition and projection apparatus which enable simultaneous implementation of visible optical image and invisible fluorescence image |
-
2021
- 2021-11-16 KR KR1020210157705A patent/KR102624004B1/en active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4988023B2 (en) * | 2001-08-28 | 2012-08-01 | ベイラー カレッジ オブ メディスン | Pulsed multiline excitation method for color blind fluorescence |
| JP2012524904A (en) | 2009-04-21 | 2012-10-18 | ユニバーシティ オブ ユタ リサーチ ファウンデーション | Luminescent die for intraoperative imaging or sentinel lymph node biopsy |
| JP6696912B2 (en) | 2014-06-05 | 2020-05-20 | ウニベルジテート ハイデルベルク | Methods and means for multispectral imaging |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20230071469A (en) | 2023-05-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11439307B2 (en) | Method for detecting fluorescence and ablating cancer cells of a target surgical area | |
| US11206987B2 (en) | Method and apparatus for concurrent imaging at visible and infrared wavelengths | |
| JP6905274B2 (en) | Devices, systems, and methods for mapping tissue oxygenation | |
| US10314490B2 (en) | Method and device for multi-spectral photonic imaging | |
| US20180020965A1 (en) | Apparatus and method for detecting nir fluorescence at sentinel lymph node | |
| CN109310296A (en) | Endoscopic imaging device and method | |
| US20060247537A1 (en) | Endoscope apparatus | |
| US20070213593A1 (en) | Endoscope system | |
| JP6710151B2 (en) | Endoscope device and operating method of endoscope device | |
| US10602918B2 (en) | Switching between white light imaging and excitation light imaging leaving last video frame displayed | |
| JP2006526767A (en) | Fluorescence imaging method and apparatus using multiple excitation-emission pairs and a simultaneous multi-channel image detector | |
| JPS6053918A (en) | Endoscope device | |
| JPH0654792A (en) | Image pickup device | |
| US20150182106A1 (en) | Switching Between White Light Imaging And Excitation Light Imaging Leaving Last Video Frame Displayed | |
| US20190394371A1 (en) | Dual path endoscope | |
| CN109549614B (en) | Endoscope system | |
| KR102624004B1 (en) | Multiple fluorescence imaging device for fluorescence image and color image acquisition and control method thereof | |
| US10448817B2 (en) | Endoscopic device incorporating diode laser for PDD, PDT, and AF applications | |
| KR101756909B1 (en) | Portable device and method for multi-channel fluorescence image acquisition | |
| JP2004538485A (en) | Fluorescence diagnostic system | |
| US20060264761A1 (en) | Portable fluorescence scanner for molecular signatures | |
| JP2001128925A (en) | Method and device for fluorescent character display | |
| JP2017192501A (en) | Biological observation apparatus | |
| RU131184U1 (en) | SYSTEM FOR OPTICAL DIAGNOSTICS OF TUMOR TISSUE | |
| RU203175U1 (en) | VIDEO FLUORESCENCE DEVICE FOR ANALYSIS OF THE INTRATUAL DISTRIBUTION OF PHOTOSENSIBILIZERS OF THE FAR RED AND NEXT INFRARED RANGE OF MALIGNANT NAVIGATIONS OF THE HEAD AND NECK |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |