WO2018074833A1 - 다중 파장 내시경 시스템 및 이를 이용한 영상 처리 방법 - Google Patents

다중 파장 내시경 시스템 및 이를 이용한 영상 처리 방법 Download PDF

Info

Publication number
WO2018074833A1
WO2018074833A1 PCT/KR2017/011522 KR2017011522W WO2018074833A1 WO 2018074833 A1 WO2018074833 A1 WO 2018074833A1 KR 2017011522 W KR2017011522 W KR 2017011522W WO 2018074833 A1 WO2018074833 A1 WO 2018074833A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
light
wavelength
fluorescent materials
fluorescent
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2017/011522
Other languages
English (en)
French (fr)
Inventor
명승재
김상엽
배상문
도은주
배동준
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Asan Foundation
Original Assignee
Asan Foundation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Asan Foundation filed Critical Asan Foundation
Priority to AU2017346249A priority Critical patent/AU2017346249B2/en
Priority to US16/342,900 priority patent/US10610088B2/en
Priority to RU2019112728A priority patent/RU2716680C1/ru
Priority to CA3040851A priority patent/CA3040851A1/en
Priority to SG11201902989YA priority patent/SG11201902989YA/en
Publication of WO2018074833A1 publication Critical patent/WO2018074833A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00186—Optical arrangements with imaging filters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/042—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by a proximal camera, e.g. a CCD camera
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/31—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the rectum, e.g. proctoscopes, sigmoidoscopes, colonoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus, e.g. for MRI, optical tomography or impedance tomography apparatus; Arrangements of imaging apparatus in a room
    • A61B5/0036—Features or image-related aspects of imaging apparatus, e.g. for MRI, optical tomography or impedance tomography apparatus; Arrangements of imaging apparatus in a room including treatment, e.g., using an implantable medical device, ablating, ventilating
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0071—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by measuring fluorescence emission
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0075—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0084—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/645—Specially adapted constructive features of fluorimeters
    • G01N21/6456—Spatial resolved fluorescence measurements; Imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N2021/6417—Spectrofluorimetric devices
    • G01N2021/6421—Measuring at two or more wavelengths

Definitions

  • the present invention relates to a multi-wavelength endoscope system and an image processing method using the same.
  • the probability of detection is further lowered.
  • the Goetz group has developed a probe that can identify the Epidermal Growth Factor Receptor (EGFR), and attempts to image it using a special endoscope called Confocal Endomicroscopy.
  • EGFR Epidermal Growth Factor Receptor
  • An object of the present invention is to provide a multi-wavelength endoscope system and an image processing method using the same, which can provide image diagnosis by processing image data photographing a labeled observation site using a plurality of probes for a complex target. will be.
  • a multi-wavelength endoscope system for photographing an observation part labeled with a plurality of fluorescent materials having different colors may include incident light reflected from the observation part in a first direction and a second perpendicular to the first direction.
  • a polarization direction a photographing unit for dividing the spectral regions polarized in the first direction and the second direction into a plurality of spectral channels, and measuring image intensity of each of the plurality of spectral channels to obtain image data;
  • the photographing unit is a beam splitter that polarizes the incident light in the first direction and the second direction perpendicular to the first direction, and is positioned in a path of light separated in the first direction and passes a light having a predetermined range.
  • the computing unit may store the unprocessed fluorescence spectrum extracted from the unprocessed image data obtained by photographing the observation portion that does not process the fluorescence material.
  • the computing unit may perform a correction to remove the self-fluorescence component included in the image data photographed by the photographing unit by using the unprocessed fluorescence spectrum.
  • a multi-wavelength endoscope system for photographing an observation site labeled with a plurality of fluorescent materials having different colors according to an embodiment of the present invention, wherein the incident light reflected from the observation site is perpendicular to the first direction and the first direction.
  • a beam splitter for polarizing in two directions, a first region filter positioned in a path of light separated in the first direction, a first region filter passing a light in a set range, and a light in a set range located in a path of light separated in the second direction
  • a second region filter for passing the light, a first region camera for measuring the intensity of light passing through the first region filter, a second region camera for measuring the intensity of light passing through the second region filter, and the first Image data obtained by using the intensity of light passing through an area filter and the intensity of light passing through the second area filter is obtained by fluorescence of one of the plurality of fluorescent materials. It includes a computing unit for separating and outputting so that only the material is displayed.
  • the computing unit stores a single fluorescence spectrum extracted from sample image data photographing an observation portion in which the plurality of fluorescent materials are individually processed, and stores the plurality of image data photographed by the imaging unit using the single fluorescence spectrum. Only one fluorescent material of the fluorescent material can be separated so that each is displayed.
  • the computing unit may store the unprocessed fluorescence spectrum extracted from the unprocessed image data obtained by photographing the observation portion that does not process the fluorescence material.
  • a method for processing an image by a multi-wavelength endoscope system comprising: irradiating a light source to an observation site labeled with a plurality of fluorescent materials having different colors, and transmitting light reflected from the observation site Receiving image data, separating the image data such that only one fluorescent material of the plurality of fluorescent materials is displayed, and outputting the image data separated according to the wavelength band.
  • the image processing method may further include extracting a single fluorescence spectrum from image data obtained by photographing an observation part of each of the plurality of fluorescent materials.
  • the image processing method may further include extracting an unprocessed fluorescence spectrum from unprocessed image data obtained by photographing an observation portion that does not process the fluorescent material.
  • the image processing method may further include performing correction to remove an autofluorescence component included in the image data by using the unprocessed fluorescence spectrum.
  • Multi-wavelength endoscope system by using a plurality of probes to output the labeled observation site according to a predetermined wavelength band, it is possible to accurately identify the disease occurrence site.
  • the multi-wavelength endoscope system can reduce false positive errors by reducing the self-fluorescence component included in the image data photographing the observation site, thereby reducing the possibility of misdiagnosis.
  • FIG. 1 is a block diagram of a multi-wavelength automatic analysis system according to an embodiment of the present invention.
  • FIG. 2 is a diagram illustrating a structure of a photographing unit according to an exemplary embodiment of the present invention.
  • FIG. 3 is a diagram illustrating a photographing unit according to an embodiment of the present invention.
  • FIG. 4 is a diagram illustrating driving results of a variable liquid crystal filter according to an exemplary embodiment of the present invention.
  • FIG. 5 is a diagram illustrating a flow of an image processing method using a multi-wavelength automatic analysis endoscope system according to an exemplary embodiment of the present invention.
  • 6A to 6D are graphs showing a simulation apparatus and simulation results therefor for evaluating the performance of a multi-wavelength autoanalysis endoscope system according to an embodiment of the present invention.
  • FIG. 7 illustrates image results obtained from an untreated tissue sample and a single fluorescence treated tissue sample by the multi-wavelength autoanalysis endoscope system according to an exemplary embodiment of the present invention.
  • FIG. 8 is a diagram illustrating an endoscopic imaging image of a tissue sample treated with a plurality of fluorescent materials using a multi-wavelength autoanalysis endoscope system according to an exemplary embodiment of the present invention.
  • FIG. 9 is a diagram illustrating an endoscopic imaging image of a living colorectal cancer model mouse using a multi-wavelength automatic analysis endoscope system according to an exemplary embodiment of the present invention.
  • FIG. 10 is a diagram illustrating an endoscope photographing image of a living colorectal cancer model pig using a multi-wavelength automatic analysis endoscope system according to an exemplary embodiment of the present invention.
  • FIG. 1 is a block diagram of a multi-wavelength automatic analysis system according to an embodiment of the present invention
  • Figure 2 is a view showing the structure of a photographing unit according to an embodiment of the present invention
  • Figure 3 is a view of the present invention Exemplary drawing showing a photographing unit according to an embodiment.
  • the multi-wavelength endoscope system 100 is a system using a camera that allows a human to observe a target and a filter that enables multiple fluorescence imaging. Obtain the hyperspectral radiant luminance of the channel.
  • the channel is a unit band for measuring the wavelength, it is possible to obtain a spectral image of each channel by adjusting the filter.
  • the endoscope refers to a machine that observes the inside of the body, and includes a bronchoscope, a gastroscope, a laparoscope, and an anal palate.
  • the multi-wavelength endoscope system 100 includes a photographing unit 200 and a computing unit 300.
  • the photographing unit 200 includes the objective lens 210, the relay lens 220, the beam splitter 230, the first area lens 240, the first area filter 242, the first area camera 244, and the second area.
  • An area lens 250, a second area filter 252, and a second area camera 254 are included.
  • the light source 400 shown in FIG. 2 positioned outside the multi-wavelength endoscope system 100 emits light to excite the photographed portion.
  • the light source 400 may include two or more light sources having different wavelengths in order to photograph an observation target labeled with fluorescent samples having different wavelengths.
  • the object to be observed is a marker expressed in cancer, and in this example, the marker may be prepared by using a probe having various wavelength regions and labeled using different fluorescent dyes.
  • the objective lens 210 is a lens to which incident light enters.
  • the objective lens 210 may provide a focused image regardless of the wavelength in the spectral region of the multi-wavelength endoscope system 100.
  • the relay lens 220 is a lens for advancing incident light along the optical axis and outputs light in parallel.
  • the relay lens 220 may be a triplet lens having a predetermined focal length.
  • the relay lens 220 may be connected to a light source 400 that irradiates light for exciting the photographed portion.
  • the relay lens 220 may be positioned inside the endoscope inserted into the body in order to photograph the subject.
  • the beam splitter 230 splits parallel light in two directions.
  • the beam splitter 230 is a polarization-based beam splitter that processes incident light in the broadband spectrum.
  • the beam splitter 230 may cover the spectrum within the visible light region.
  • p-polarized light means that it is parallel to the slit direction of the polarizing plate
  • s-polarized light means that it is perpendicular to the slit direction of the polarizing plate.
  • the first area lens 240 and the second area lens 250 are positioned in the path of the light split from the beam splitter 230, respectively. At this time, in order to adjust the light split from the beam splitter 230 at a predetermined magnification, the first area lens 240 and the second area lens 250 are disposed perpendicular to each other and separated from the beam splitter 230. Can be obtained.
  • the first area lens 240 and the second area lens 250 adjust the light split from the beam splitter 230 at an appropriate magnification, and adjust the adjusted light to the first area filter 242 and the second area filter 252. ) Can be delivered.
  • the first region filter 242 and the second region filter 252 may pass light in a specified spectral region among the light passing through the first region lens 240 and the second region lens 250, respectively.
  • the first region filter 242 and the second region filter 252 may be, for example, a Liquid Crystal Tunable Filter (LCTF), which is a local band pass filter that passes light in a specified spectral region.
  • LCTF Liquid Crystal Tunable Filter
  • variable liquid crystal filter that passes a channel having a specific wavelength band in the spectral region (for example, 440 nm to 720 nm), it may be controlled to pass light at 10 nm intervals, for example. .
  • variable liquid crystal filter is electronically convertible in wavelength, allowing fast wavelength selection.
  • variable liquid crystal filter (www.perkinelmer.co.kr) may be controlled to pass light at predetermined intervals, and thus has an effect of putting dozens or hundreds of filters into one filter. This enables multi-wavelength imaging in vivid and diverse colors.
  • the first region camera 244 and the second region camera 254 are respectively disposed at the end of the optical path, and pass through the first region filter 242 and the second region filter 252. Measure the light intensity.
  • the first area camera 244 and the second area camera 254 may be monochrome cameras. In this case, the first area camera 244 and the second area camera 254 may obtain the intensity of the focused image through a positive triple lens having a predetermined focal length, respectively.
  • the computing unit 300 may align the spectral images of each channel acquired by the photographing unit 200 and output radiant luminance according to the wavelength.
  • the multispectral image may be composed of a combination of spectroscopic images taken for a plurality of channels.
  • the computing unit 300 separates and outputs the multispectral image photographed by the photographing unit 200 according to the wavelength band.
  • the site to be photographed may be labeled by fluorescent materials having different wavelengths.
  • the spectral image of the capturing region labeled by the capturing unit 200 with the fluorescent material having different wavelengths may display a fluorescent signal having different wavelength ranges.
  • a material other than a label labeled with a fluorescent material on the photographing site may receive excitation light emitted from the light source 400 to emit unique light.
  • collagen, elastin, keratin, NADH, flavin, porphyrin, etc. contained in biological tissues, which are observed at the site of observation, may cause autofluorescence to reflect light by excitation light. May occur.
  • the computing unit 300 of the multi-wavelength endoscope system predetermined the photographing result obtained by the photographing unit 200 so that the user can make an accurate diagnosis using the multispectral image that is the photographing result.
  • Each of the fluorescent material is configured to be separated according to the wavelength band of the output.
  • the computing unit 300 may extract an autofluorescence spectrum result indicating light intensity according to a wavelength band from a self-fluorescence image of a tissue sample that has not been treated with a fluorescent material (non-treat) in advance.
  • the computing unit 300 may extract a single fluorescence spectrum result indicating the intensity of light according to the wavelength band from a plurality of single processed image images of tissue samples each having a single treated treated fluorescent material.
  • the computing unit 300 extracts an image spectrum result indicating the light intensity according to the wavelength band from the image data photographed by the photographing unit 200, and the light intensity according to each wavelength band according to the spectrum of the self-fluorescence image.
  • the correction is performed by attenuating by as much as possible and deleting the autofluorescence portion.
  • the computing unit 300 may calculate a normalization value indicating the intensity of light according to the wavelength band from the single fluorescence spectrum.
  • the intensity of light according to the wavelength band may be set to 100, and the ratio of the intensity of light according to each wavelength band may be calculated.
  • the computing unit 300 unmixes the observation site labeled with a plurality of fluorescent materials by unmixing the light intensity according to each wavelength band according to a normalization value calculated from a single fluorescence spectrum in the image spectrum result of the image data.
  • the photographed video image may be divided into a plurality of video images and displayed to display only the fluorescent material.
  • the computing unit 300 performs correction to remove the autofluorescence component from the multispectral image in order to reduce the probability of misdiagnosis when diagnosing a disease according to the photographing result. Only labeled markers can be displayed.
  • FIG. 5 is a flowchart illustrating an image processing method using a multi-wavelength automatic analysis endoscope system according to an exemplary embodiment of the present invention.
  • a portion to be photographed is labeled with fluorescent materials of various wavelength regions (S110).
  • the site to be photographed in the present experimental example may be internal tissues for cancer screening, and the markers expressed in the cancer may be labeled by using a probe labeled with fluorescent materials of various wavelengths in the present embodiment. .
  • Table 1 shows the probes of various zones for multiple wavelength detection.
  • Probe Name Marker Labeling substance Wavelength range (nm) HMRG g-Glutamyl transpeptidase Rhodamine 501/524 Cetuximab EGFR receptor Flamma553 553/570 Herceptin Her-2 receptor Flamma675 675/700
  • the probe may be an antibody probe.
  • the antibody probe may be Cetuximab and Herceptin, which are target antibodies to EGFR and HER2, which are highly expressed in tumor and colorectal cancer cells.
  • Cetuximab and Herceptin were labeled with the fluorescent materials Flamma-553 and Flamma-675, respectively.
  • the probe may be an active probe.
  • the active probe may be gGlu-HMRG that exhibits fluorescence activity by meeting GGT ( ⁇ -glutamyltranspeptidase), which shows much expression in tumor cells and colon cancer cells.
  • GGT ⁇ -glutamyltranspeptidase
  • the HMRG may be labeled with Rhodamine.
  • the antibody probe may be administered intravenously to the tail of the mouse 48 hours before the multiwavelength detection endoscope image acquisition, and the active probe may be applied and administered to the large intestine 10 minutes before the multiwavelength detection endoscope is performed.
  • the excitation light source is irradiated to the photographing part, and the reflected light is received to obtain a photographed image (S120).
  • the light source entered through the endoscope end excites the observation object, and the light reflected from the observation object is transmitted to the first area camera 244 and the second area camera 254 through the relay lens 220. .
  • the light source 400 may include two or more light sources having different wavelengths in order to photograph an observation target labeled with fluorescent samples having different wavelengths.
  • the first area camera 244 and the second area camera 254 each comprise a first area filter 242 and a second area filter 252, which are variable bandpass filters for passing light in a specified spectral region. It may be implemented as a liquid crystal filter.
  • the self-fluorescence part included in the next photographed image is removed and separated according to a predetermined wavelength band and output (S130).
  • the fluorescence spectral data obtained through the endoscope outputs a result obtained by dividing the wavelength band through the dividing operation of the computing unit 300, and the self-fluorescence part is removed to finally obtain an image of the wavelength region to be obtained from the observation target. Can be.
  • the multi-wavelength endoscope system 100 may store autofluorescence spectra and single fluorescence spectral results indicating the intensity of light according to the wavelength band of a previously stored untreated tissue sample image and a tissue sample image in which a single fluorescent substance is processed.
  • a normalization value representing the intensity of light according to the wavelength band calculated from the autofluorescence spectrum and the single fluorescence spectrum may be further stored.
  • the multi-wavelength endoscope system 100 corrects the autofluorescence part by attenuating the autofluorescence spectral normalization value in the spectrum of the image data of the observation region labeled with the plurality of fluorescent substances.
  • the multi-wavelength endoscope system 100 unmixes the light intensity according to each wavelength band according to a normalization value calculated from a single fluorescence spectrum in the image spectrum result of the image data, and observes the images labeled with a plurality of fluorescent materials.
  • the image image of the site may be divided and displayed as a plurality of image images so that only each fluorescent substance appears.
  • the disease regions are labeled by using a complex probe labeled with fluorescent materials having different wavelengths. Other probes can be supplemented to accurately image disease sites.
  • the computing unit 300 is corrected to remove the autofluorescence component from the multispectral image in order to reduce the probability of misdiagnosis when diagnosing a disease according to the imaging result, and labeled with a fluorescent material Only one marker can be displayed.
  • 6A to 6C are graphs illustrating a simulation apparatus for evaluating the performance of the multi-wavelength autoanalytical endoscope system and the simulation results thereof according to an embodiment of the present invention.
  • a polyethylene tube (0.28 mm inner diameter, PE-10) of about 15 mm length was prepared to evaluate the performance of a multi-wavelength autoanalytical endoscope system according to an embodiment of the present invention. Fluorescent dye was injected.
  • the fluorescent dye used used a plurality of dyes having different colors in the visible light range and includes wavelength ranges close to each other.
  • the set wavelength range read by the multi-wavelength endoscope system 100 according to the present embodiment may be 420 nm to 620 nm.
  • the computing unit 300 obtains a completed image image file through a decomposition process according to a single fluorescence spectrum result.
  • FIG. 7 illustrates image results obtained from an untreated tissue sample and a single fluorescence treated tissue sample by a multi-wavelength autoanalysis endoscope system according to an exemplary embodiment of the present invention
  • FIG. 8 illustrates an embodiment of the present invention.
  • the multi-wavelength automatic analysis endoscope system according to the endoscope imaging image results of taking a tissue sample treated with a plurality of fluorescent materials.
  • the active probe (HMRG) is injected through topical application, antibody probes (Cetuximab-Flamma553, Herceptin-Flamma675) are injected by intravenous injection, and then colonic tissues are extracted using a multi-wavelength autoanalytical endoscopy system. Images for each wavelength were obtained.
  • a single probe-treated tissue sample was taken at the observation site, and a single fluorescence spectral result representing light intensity according to the wavelength band was extracted from the captured image data.
  • a composite probe labeled with fluorescent materials having different wavelengths is used, and each fluorescent material is labeled according to a single fluorescence spectrum result from image data of a tissue sample labeled with the composite probe.
  • FIG. 9 is a diagram illustrating an endoscopic imaging image of a living colorectal cancer model mouse using a multi-wavelength automatic analysis endoscope system according to an exemplary embodiment of the present invention.
  • HMRG active probe
  • FIG. 10 is a diagram illustrating an endoscopic imaging image of a living colorectal cancer model pig using a multi-wavelength automatic analysis endoscope system according to an exemplary embodiment of the present invention.
  • the human-like pigs were injected with an active probe (HMRG) and an antibody probe (Cetuximab-Flamma553, Herceptin-Flamma675), and a multi-wavelength autoanalytical endoscope system was obtained for each wavelength through colonoscopy.
  • HMRG active probe
  • antibody probe Cetuximab-Flamma553, Herceptin-Flamma675
  • the embodiments of the present invention described above are not only implemented through the apparatus and the method, but may be implemented through a program for realizing a function corresponding to the configuration of the embodiments of the present invention or a recording medium on which the program is recorded.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Endoscopes (AREA)

Abstract

본 발명은 서로 다른 색을 갖는 복수 개의 형광 물질로 표지한 관찰 부위를 촬영하는 다중 파장 내시경 시스템으로서, 관찰 부위에서 반사된 입사광을 제 1 방향과 상기 제 1 방향에 수직인 제 2 방향으로 편광시키고, 상기 제 1 방향과 상기 제 2 방향으로 편광된 상기 입사광의 스펙트럼 영역을 복수의 스펙트럼 채널로 구분하고, 상기 복수의 스펙트럼 채널 각각의 빛의 세기를 측정하여 영상 데이터를 획득하는 촬영부와, 상기 관찰 부위를 각각의 상기 형광 물질로 단일 처리하여 촬영한 샘플 영상 데이터로부터 추출된 단일 형광 스펙트럼을 저장하고, 상기 단일 형광 스펙트럼을 이용하여 상기 촬영부에서 촬영된 영상 데이터를 상기 복수 개의 형광 물질 중 하나의 형광 물질 만이 각각 표시되도록 분리하여 출력하는 컴퓨팅부를 포함한다.

Description

다중 파장 내시경 시스템 및 이를 이용한 영상 처리 방법
본 발명은 다중 파장 내시경 시스템 및 이를 이용한 영상 처리 방법에 관한 것이다.
여전히 암 발생률은 높은 비율로 지속되고 있으며, 내시경을 통해 진단이 이루어지는 경우 육안으로 종양을 검출해야 하기 때문에 오진의 가능성이 있다.
특히, 용종의 모양이 혹 모양이 아니라 평평한 모양이면, 검출될 확률이 더욱 낮아진다.
최근 분자 영상 기술이 발전하면서, 이 기술을 이용하여 소화기암을 진단하거나, 암의 분자적 특성을 이미징하려는 연구가 지속되고 있다. Cathepsin B를 표적으로 하는 분자 영상을 내시경에 응용할 수 있다고 소개한 것이 첫 번째 시도라고 할 수 있지만, 그 당시의 영상은 매우 단순하고, 임상에 응용할 만한 수준에 미치지 못했다.
다양한 기관에서 관련 연구를 지속하고 있으며 최근까지 특정 종양 조직에 펩타이드(peptide)를 프로브로 이용하여 영상화하는 기술, 고속 3차원 내시경 촬영이 가능한 초소형 영상 기술, 소형 현미경 기술이 개발되고 있으며, 초민감 분자 영상이 가능한 라만 증폭 프로브, 압타머 바탕 소형 형광 프로브 개발을 통해 좀 더 진보한 표지자 물질이 개발되고 있다.
독일의 Mainz 대학의 Dr. Goetz group에서는 표피성장인자수용체(Epidermal Growth Factor Receptor, EGFR)를 확인할 수 있는 프로브를 개발하여, 이를 공초점 현미경 내시경(Confocal Endomicroscopy)이라는 특수 내시경을 이용하여 이미징을 시도하고 있다.
다만, 최근까지 분자 영상을 이용하여 내시경을 가능하게 하기 위한 연구가 지속되고 있으나, 실제 내시경에 응용 가능한 수준의 영상을 얻은 연구는 드문 상태이며, 분자 영상에서 매우 중요한 프로브의 경우에도 단일 표적에 대한 프로브를 확인하여 검증하는 수준의 기술을 보여주고 있을 뿐이다.
본 발명이 해결하고자 하는 과제는 복합 표적에 대한 다수의 프로브를 이용하여 표지한 관찰 부위를 촬영한 영상 데이터를 가공하여 질병 진단에 제공할 수 있는 다중 파장 내시경 시스템 및 이를 이용한 영상 처리 방법을 제공하는 것이다.
본 발명의 한 실시예에 따른 서로 다른 색을 갖는 복수 개의 형광 물질로 표지한 관찰 부위를 촬영하는 다중 파장 내시경 시스템은 관찰 부위에서 반사된 입사광을 제 1 방향과 상기 제 1 방향에 수직인 제 2 방향으로 편광 시키고, 상기 제 1 방향과 상기 제 2 방향으로 편광된 스펙트럼 영역을 복수의 스펙트럼 채널로 구분하고, 상기 복수의 스펙트럼 채널 각각의 빛의 세기를 측정하여 영상 데이터를 획득하는 촬영부, 그리고 상기 복수 개의 형광 물질을 각각 단일 처리한 관찰 부위를 촬영한 샘플 영상 데이터로부터 추출된 단일 형광 스펙트럼을 저장하고, 상기 단일 형광 스펙트럼을 이용하여 상기 촬영부에서 촬영된 영상 데이터를 상기 복수 개의 형광 물질 중 하나의 형광 물질만이 각각 표시되도록 분리하여 출력하는 컴퓨팅부를 포함한다.
상기 촬영부는 상기 입사광을 상기 제 1 방향과 상기 제 1 방향에 수직인 상기 제 2 방향으로 편광시키는 빔 스플리터, 상기 제 1 방향으로 분리된 빛의 경로에 위치하고, 설정된 범위의 빛을 통과시키는 제 1 영역 필터, 상기 제 2 방향으로 분리된 빛의 경로에 위치하고, 설정된 범위의 빛을 통과시키는 제 2 영역 필터, 상기 제 1 영역 필터를 통과한 빛의 세기를 측정하는 제 1 영역 카메라, 그리고 상기 제 2 영역 필터를 통과한 빛의 세기를 측정하는 제 2 영역 카메라를 포함할 수 있다.
상기 컴퓨팅부는 상기 형광 물질을 처리하지 않은 관찰 부위를 촬영한 미처리 영상 데이터로부터 추출된 미처리 형광 스펙트럼을 저장할 수 있다.
상기 컴퓨팅부는 상기 미처리 형광 스펙트럼을 이용하여 상기 촬영부에서 촬영된 영상 데이터에 포함된 자가 형광 성분을 제거하는 보정을 수행할 수 있다.
본 발명의 한 실시예에 따른 서로 다른 색을 갖는 복수 개의 형광 물질로 표지한 관찰 부위를 촬영하는 다중 파장 내시경 시스템으로서, 관찰 부위에서 반사된 입사광을 제 1 방향과 상기 제 1 방향에 수직인 제 2 방향으로 편광시키는 빔 스플리터, 상기 제 1 방향으로 분리된 빛의 경로에 위치하고, 설정된 범위의 빛을 통과 시키는 제 1 영역 필터, 상기 제 2 방향으로 분리된 빛의 경로에 위치하고, 설정된 범위의 빛을 통과시키는 제 2 영역 필터, 상기 제 1 영역 필터를 통과한 빛의 세기를 측정하는 제 1 영역 카메라, 상기 제 2 영역 필터를 통과한 빛의 세기를 측정하는 제 2 영역 카메라, 그리고 상기 제 1 영역 필터를 통과한 빛의 세기와 상기 제 2 영역 필터를 통과한 빛의 세기를 이용하여 획득한 영상 데이터를 상기 복수 개의 형광 물질 중 하나의 형광 물질만이 표시되도록 분리하여 출력하는 컴퓨팅부를 포함한다.
상기 컴퓨팅부는 상기 복수 개의 형광 물질을 각각 단일 처리한 관찰 부위를 촬영한 샘플 영상 데이터로부터 추출된 단일 형광 스펙트럼을 저장하고, 상기 단일 형광 스펙트럼을 이용하여 상기 촬영부에서 촬영된 영상 데이터를 상기 복수 개의 형광 물질 중 하나의 형광 물질만이 각각 표시되도록 분리할 수 있다.
상기 컴퓨팅부는 상기 형광 물질을 처리하지 않은 관찰 부위를 촬영한 미처리 영상 데이터로부터 추출된 미처리 형광 스펙트럼을 저장할 수 있다.
본 발명의 한 실시예에 따른 다중 파장 내시경 시스템이 영상을 처리하는 방법으로써, 서로 다른 색을 갖는 복수 개의 형광 물질로 표지한 관찰 부위에 광원을 조사하는 단계, 상기 관찰 부위로부터 반사한 빛을 전달받아 영상 데이터를 획득하는 단계, 상기 영상 데이터를 상기 복수 개의 형광 물질 중 하나의 형광 물질만이 표시되도록 분리하는 단계, 그리고 상기 파장 대역에 따라 분리된 상기 영상 데이터를 출력하는 단계를 포함한다.
상기 영상 처리 방법은 상기 복수 개의 형광 물질을 각각 단일 처리한 관찰 부위를 촬영한 영상 데이터로부터 단일 형광 스펙트럼을 추출하는 단계를 더 포함할 수 있다.
상기 영상 데이터를 상기 복수 개의 형광 물질 중 하나의 형광 물질만이 표시되도록 분리하는 단계는 상기 단일 형광 스펙트럼을 이용하여 상기 영상 데이터를 상기 복수 개의 형광 물질 중 하나의 형광 물질만이 각각 표시되도록 분리할 수 있다.
상기 영상 처리 방법은 상기 형광 물질을 처리하지 않은 관찰 부위를 촬영한 미처리 영상 데이터로부터 미처리 형광 스펙트럼을 추출하는 단계를 더 포함할 수 있다.
상기 영상 처리 방법은 상기 미처리 형광 스펙트럼을 이용하여 상기 영상 데이터에 포함된 자가 형광 성분을 제거하는 보정을 수행하는 단계를 더 포함할 수 있다.
본 발명의 실시예에 따른 다중 파장 내시경 시스템은 복수의 프로브를 이용하여 표지한 관찰 부위를 소정의 파장 대역에 따라 분리하여 출력함으로써, 질병 발생 부위를 정확하게 파악할 수 있도록 한다.
본 발명의 실시예에 따른 다중 파장 내시경 시스템은 관찰 부위를 촬영한 영상 데이터에 포함된 자가 형광 성분을 제거하여 출력함으로써, 거짓 양성 오류를 줄일 수 있어 오진의 가능성을 낮출 수 있다.
도 1은 본 발명의 일 실시예에 따른 다중 파장 자동 분석 시스템의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 촬영부의 구조를 예시적으로 나타내는 도면이다.
도 3은 본 발명의 일 실시예에 따른 촬영부를 예시적으로 보여주는 도면이다.
도 4는 본 발명의 일 실시예에 따른 가변적 액정 필터의 구동 결과를 나타내는 도면이다.
도 5는 본 발명의 일 실시예에 따른 다중 파장 자동 분석 내시경 시스템을 이용한 영상 처리 방법의 흐름을 나타내는 도면이다.
도 6a 내지 도 6d는 본 발명의 일 실시예에 따른 다중 파장 자동 분석 내시경 시스템의 성능을 평가하기 위한 시뮬레이션 장치 및 그에 의한 시뮬레이션 결과를 나타내는 그래프이다.
도 7은 본 발명의 일 실시예에 따른 다중 파장 자동 분석 내시경 시스템이 미처리된 조직 샘플 및 단일 형광 처리된 조직 샘플로부터 획득한 영상 결과를 도시한 도면이다.
도 8은 본 발명의 일 실시예에 따른 다중 파장 자동 분석 내시경 시스템을 이용하여 복수의 형광 물질로 처리된 조직 샘플을 촬영한 내시경 촬영 영상 결과를 도시한 도면이다.
도 9는 본 발명의 일 실시예에 따른 다중 파장 자동 분석 내시경 시스템을 이용하여 살아 있는 대장암 모델 마우스를 촬영한 내시경 촬영 영상 결과를 도시한 도면이다.
도 10은 본 발명의 일 실시예에 따른 다중 파장 자동 분석 내시경 시스템을 이용하여 살아 있는 대장암 모델 돼지를 촬영한 내시경 촬영 영상 결과를 도시한 도면이다.
아래에서는, 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 여기에서 설명하는 실시예에 한정되지 않는다. 그리고, 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "…부", "…기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
이하, 본 발명의 실시예에 따른 다중 파장 자동 분석 시스템에 대하여 도면을 참고로 하여 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 다중 파장 자동 분석 시스템의 구성도이고, 도 2는 본 발명의 일 실시예에 따른 촬영부의 구조를 예시적으로 나타내는 도면이며, 도 3은 본 발명의 일 실시예에 따른 촬영부를 예시적으로 보여주는 도면이다.
도 1을 참고하면, 다중 파장 내시경 시스템(100)은 탐지 대상을 육안으로 관찰 가능하도록 하는 카메라와 다중 형광 이미징이 가능하도록 하는 필터를 적용한 카메라를 이용한 시스템으로서, 가시광선 영역을 연속적으로 촬영하여 각 채널의 초분광 복사 휘도를 획득한다.
여기서, 채널은 파장을 측정하는 단위 대역으로서, 필터를 조정하여 각 채널의 분광 이미지를 획득할 수 있다.
본 명세서에 있어서, 내시경은 신체 내부를 관찰하는 기계를 통틀어 이르는 말로서, 기관지경, 위내시경, 복강경 및 항문보개 등을 포함한다.
다중 파장 내시경 시스템(100)은 촬영부(200)와 컴퓨팅부(300)를 포함한다.
촬영부(200)는 대물렌즈(210), 중계렌즈(220), 빔 스플리터(230), 제 1 영역 렌즈(240), 제 1 영역 필터(242), 제 1 영역 카메라(244), 제 2 영역 렌즈(250), 제 2 영역 필터(252)와, 제 2 영역 카메라(254)를 포함한다.
다중 파장 내시경 시스템(100) 외부에 위치하는 도 2에 도시된 광원(400)은 촬영 부위를 여기(excitation)하도록 빛을 조사한다. 광원(400)은 서로 다른 파장을 가지는 형광 시료로 표지한 관찰 대상을 촬영하기 위하여 서로 다른 파장을 가지는 두 개 이상의 광원을 포함할 수 있다.
본 실시예에서 관찰 대상은 암에 발현되어 있는 표지자로써, 본 실시예에서 표지자를 다양한 파장 영역의 프로브로 제작하여 서로 다른 형광 염료를 이용하여 표지할 수 있다.
대물렌즈(210)는 입사광이 들어오는 렌즈이다. 대물렌즈(210)는 다중 파장 내시경 시스템(100)의 스펙트럼 영역에서 파장에 관계없이 초점이 맞춰진 이미지를 제공할 수 있다.
중계렌즈(220)는 광 축을 따라 입사광을 진행시키기 위한 렌즈로서, 빛을 평행하게 출력한다. 중계렌즈(220)는 소정의 초점 거리를 갖는 트리플렛(triplet) 렌즈일 수 있다.
도 2를 참고하면, 본 실시예에 따른 중계렌즈(220)는 촬영 부위를 여기하기 위한 빛을 조사하는 광원(400)과 연결될 수 있다. 그리고, 중계렌즈(220)는 진찰 대상을 촬영하기 위하여 신체 내부에 삽입되는 내시경의 내부에 위치할 수 있다.
빔 스플리터(230)는 평행광을 두 방향으로 분리한다. 빔 스플리터(230)는 광대역 스펙트럼의 입사광을 처리하는 편광 기반의 빔 스플리터이다. 빔 스플리터(230)는 가시광선 영역 이내의 스펙트럼을 커버할 수 있다.
다양한 방향의 전기장으로 이루어져 있는 빛은 p-편광(p-polarization)과 s-편광(s-polarization)이라 불리는 두 방향으로 편광된다. 여기서, p-편광은 편광판의 슬릿 방향에 평행한 것을 의미하고, s-편광은 편광판의 슬릿 방향에 수직인 것을 의미한다.
제 1 영역 렌즈(240)와 제 2 영역 렌즈(250)는 빔 스플리터(230)로부터 분할된 빛의 경로에 각각 위치한다. 이때, 빔 스플리터(230)로부터 분할된 빛을 소정의 배율로 조절하기 위하여, 제 1 영역 렌즈(240)와 제 2 영역 렌즈(250)는 서로 수직하게 배치되어 빔 스플리터(230)로부터 분리된 빛을 획득할 수 있다.
제 1 영역 렌즈(240)와 제 2 영역 렌즈(250)는 빔 스플리터(230)로부터 분할된 빛을 적절한 배율로 조절하고, 조절된 빛을 제 1 영역 필터(242)와 제 2 영역 필터(252)로 전달할 수 있다.
제 1 영역 필터(242)와 제 2 영역 필터(252)는 각각 제 1 영역 렌즈(240)와 제 2 영역 렌즈(250)를 통과한 빛 중에서 지정된 스펙트럼 영역의 빛을 통과시킬 수 있다.
제 1 영역 필터(242)와 제 2 영역 필터(252)는, 예를 들어, 지정된 스펙트럼 영역의 빛을 통과시키는 국소 대역 통과 필터인 가변적 액정 필터(Liquid Crystal Tunable Filter, LCTF)일 수 있다.
본 시스템의 필터로서, 스펙트럼 영역(예를 들면, 440nm-720nm)에서 특정 파장 대역인 채널을 통과시키는 가변적 액정 필터를 사용하는 경우, 예를 들면, 10nm 간격으로 빛을 통과시키도록 제어될 수 있다.
가변적 액정 필터는 전자적으로 파장 변환이 가능하기 때문에 빠른 속도로 파장 선택이 가능하다.
도 4를 참고하면, 가변적 액정 필터(www.perkinelmer.co.kr)는 소정의 간격마다 빛을 통과시키도록 제어될 수 있어, 수십-수백 개의 필터를 하나의 필터에 넣은 효과를 가지며, , 이로 인하여 선명하고 다양한 컬러로 다중 파장 이미징을 구현할 수 있다.
다시, 도 1을 참고하면, 제 1 영역 카메라(244)와 제 2 영역 카메라(254)는 각각 광 경로의 끝에 배치되고, 제 1 영역 필터(242)와 제 2 영역 필터(252)를 통과한 빛의 세기를 측정한다.
제 1 영역 카메라(244)와 제 2 영역 카메라(254)는 흑백 카메라(monochrome camera)일 수 있다. 이때, 제 1 영역 카메라(244)와 제 2 영역 카메라(254)는 각각 소정의 초점 거리를 갖는 양(positive)의 삼중 렌즈를 통해 초점이 맞춰진 이미지의 세기를 획득할 수 있다.
컴퓨팅부(300)는 촬영부(200)에서 획득한 각 채널의 분광 이미지를 정렬하고, 파장에 따른 복사 휘도를 출력할 수 있다. 다분광 이미지는 복수의 채널별로 촬영된 분광 이미지들의 조합으로 구성될 수 있다.
컴퓨팅부(300)는 촬영부(200)에서 촬영된 다분광 이미지를 파장 대역에 따라 분리하여 출력한다.
본 실시예에서 질병을 정확하게 진단하기 위하여 촬영될 부위에 질병과 관련되는 다양한 표지자를 정확히 검출하기 위하여, 촬영될 부위를 서로 다른 파장의 형광 물질에 의해 표지할 수 있다.
하나의 표지자를 하나의 형광 물질로 표지하는 경우는 질병 부위를 정확하게 판단하기 어렵기 때문에, 본 실시예에서는 서로 다른 파장의 형광 물질로 복합 프로브를 표지함으로써, 서로 다른 프로브를 보완하여 질병 부위를 정확하게 영상화할 수 있다.
촬영부(200)가 서로 다른 파장을 가지는 형광 물질로 표지한 촬영 부위를 촬영한 분광 이미지는 서로 다른 파장 영역을 갖는 형광 신호가 표시될 수 있다.
서로 다른 파장의 형광 물질로 표지한 복수의 표지자를 이용하여 관찰 부위를 촬영하는 경우, 영상 이미지에 복수의 형광 물질이 간섭을 발생시켜 각각의 형광 물질을 구분하기 어려울 수 있다.
또한, 촬영 부위에 형광 물질로 표지한 표지자 이외의 물질이 광원(400)에서 조사된 여기광을 받아 고유의 빛을 발할 수 있다.
예를 들어, 관찰 부위인 생물 조직에 포함된 콜라겐, 엘라스틴, 케라틴(Keratin), NADH, 플라빈(Flavin), 포르피린(porphyrin) 등이 여기광에 의해 빛을 반사하는 자가 형광(autofluorescence) 현상이 발생할 수 있다.
이러한 자가 형광 현상으로 인하여 검출하고자 하는 표지 물질이 아닌 일반적으로 신체 내부에 분포되어 있는 자가 형광 물질이 표지자로 오인된 촬영 결과를 이용하여 질병을 진단할 때, 오진의 가능성이 있다.
따라서, 본 발명의 한 실시예에 따른 다중 파장 내시경 시스템의 컴퓨팅부(300)는 사용자가 촬영 결과인 다분광 이미지를 이용하여 정확한 진단을 할 수 있도록 촬영부(200)에서 획득한 촬영 결과를 소정의 각 형광 물질의 파장 대역에 따라 분리하여 출력할 수 있도록 구성된다.
이때 컴퓨팅부(300)는 미리 형광 물질을 처리하지 않은(non-treat) 조직 샘플을 촬영한 자가 형광 영상 이미지로부터 파장 대역에 따른 빛의 세기를 나타내는 자가 형광 스펙트럼 결과를 추출할 수 있다.
또한, 컴퓨팅부(300)는 형광 물질을 각각 단일 처리한(Single Treated) 조직 샘플을 촬영한 복수의 단일 처리 영상 이미지로부터 파장 대역에 따른 빛의 세기를 나타내는 단일 형광 스펙트럼 결과를 추출할 수 있다.
먼저, 컴퓨팅부(300)는 촬영부(200)에서 촬영한 영상 데이터에서 파장 대역에 따른 빛의 세기를 나타내는 영상 스펙트럼 결과를 추출하고, 자가 형광 이미지의 스펙트럼에 따라 각 파장 대역에 따른 빛의 세기만큼 감쇄시켜 자가 형광 부분을 삭제하는 보정을 행한다.
그리고, 컴퓨팅부(300)는 단일 형광 스펙트럼으로부터 파장 대역에 따른 빛의 세기를 나타내는 정규화 수치를 계산할 수 있다. 예를 들어, 전파장 대역에 따른 빛의 세기를 100으로 두고, 각 파장 대역에 따른 빛의 세기의 비율을 계산할 수 있다.
그 다음, 컴퓨팅부(300)는 영상 데이터의 영상 스펙트럼 결과에서 단일 형광 스펙트럼으로부터 계산한 정규화 수치에 따라 각 파장 대역에 따른 빛의 세기만큼 분리(Unmixing)함으로써 복수 개의 형광 물질로 표지한 관찰 부위를 촬영한 영상 이미지를 각각의 형광 물질만이 나타나도록 복수 개의 영상 이미지로 분리하여 표시할 수 있다.
이에 따라 본 발명의 한 실시예에 따른 컴퓨팅부(300)는 촬영 결과에 따라 질병 여부를 진단할 때 오진의 확률을 줄이기 위해 다분광 이미지에서 자가 형광 성분을 제거하는 보정을 수행하여, 형광 물질로 표지한 표지자 만이 표시되도록 할 수 있다.
또한, 복수의 표지자로 표지한 관찰 부위를 촬영한 영상 이미지를 각각의 표지자 만이 표시되도록 분리함으로써, 서로 다른 표지자를 보완하여 암의 구획을 정확하게 진단할 수 있도록 할 수 있다.
도 5는 본 발명의 한 실시예에 따른 다중 파장 자동 분석 내시경 시스템을 이용한 영상 처리 방법을 나타내는 흐름도이다.
도 5를 참고하면, 먼저 촬영될 부위를 다양한 파장 영역의 형광 물질로 표지한다(S110). 본 실험예에서 촬영될 부위는 암 검진을 위한 신체 내부 조직들일 수 있으며, 암에 발현되어 있는 표지자로써, 본 실시예에서 표지자를 다양한 파장 영역의 형광 물질로 표지한 프로브를 이용하여 표지할 수 있다.
표 1은 다중 파장 검출을 위한 다양한 영역 대의 프로브를 나타낸다.
프로브 명칭 표지자 표지물질 파장 영역 (nm)
HMRG g-Glutamyl transpeptidase Rhodamine 501/524
Cetuximab EGFR receptor Flamma553 553/570
Herceptin Her-2 receptor Flamma675 675/700
프로브는 항체 프로브 일 수 있다. 본 실시예에서 항체 프로브는 종양 및 대장암 세포에서 많은 발현을 보이고 있는 EGFR과 HER2에 대한 표적 항체인 Cetuximab과 Herceptin일 수 있다. 본 실시예에서 Cetuximab과 Herceptin에 각각 Flamma-553와 Flamma-675의 형광 물질로 표지를 하였다.
또한, 프로브는 활성형 프로브 일 수 있다. 본 실시예에서 활성형 프로브는 종양 세포, 그리고 대장암 세포에서 많은 발현을 보이고 있는 GGT (γ-glutamyltranspeptidase)와 만나서 형광 활성을 나타내는 gGlu-HMRG일 수 있다. 본 실시예에서 HMRG에 로다민(Rhodamine)으로 표지할 수 있다.
항체 프로브는 다중 파장 검출 내시경 영상 획득을 하기 48시간 전에 마우스(mouse)의 꼬리에 정맥 투여하고, 활성형 프로브는 다중 파장 검출 내시경을 실행하기 10분 전에 대장에 도포 투여할 수 있다.
그리고, 촬영 부위로 여기 광원을 조사하고, 반사된 빛을 전달받아 촬영 영상을 획득한다(S120).
이때, 내시경 선단부를 통해 들어간 광원이 관찰 대상을 여기(excitation)하고, 관찰 대상에서 반사된 빛은 중계렌즈(220)를 통해 제 1 영역 카메라(244) 및 제 2 영역 카메라(254)로 전달된다.
광원(400)은 서로 다른 파장을 가지는 형광 시료로 표지한 관찰 대상을 촬영하기 위하여 서로 다른 파장을 가지는 두 개 이상의 광원을 포함할 수 있다.
제 1 영역 카메라(244) 및 제 2 영역 카메라(254)는 각각 제 1 영역 필터(242)와 제 2 영역 필터(252)를 포함하고, 지정된 스펙트럼 영역의 빛을 통과시키는 국소 대역 통과 필터인 가변적 액정 필터로 구현될 수 있다.
다음 촬영 영상에 포함된 자가 형광 부분을 제거하고, 소정의 파장 대역에 따라 분리하여 출력한다(S130).
내시경을 통해 획득된 형광 스펙트럼 데이터는 컴퓨팅부(300)의 분할 작업을 통하여 파장 대역 별로 분할된 결과를 출력하고, 자가 형광 부분이 제거되어 최종적으로 관찰 대상에서 얻고자 하는 파장 영역의 영상을 획득할 수 있다.
다중 파장 내시경 시스템(100)은 미리 저장된 미처리 조직 샘플 영상 및 형광 물질을 단일 처리한 조직 샘플 영상의 파장 대역에 따른 빛의 세기를 나타내는 자가 형광 스펙트럼과 단일 형광 스펙트럼 결과를 저장할 수 있다.
이때 자가 형광 스펙트럼 및 단일 형광 스펙트럼으로부터 계산된 파장 대역에 따른 빛의 세기를 나타내는 정규화 수치를 더 저장할 수 있다.
그 다음 다중 파장 내시경 시스템(100)은 복수의 형광 물질로 표지된 관찰 부위를 촬영한 영상 데이터의 스펙트럼에서 자가 형광 스펙트럼 정규화 수치만큼 감쇄함으로써 자가 형광 부분을 제거하는 보정을 한다.
그리고, 다중 파장 내시경 시스템(100)은 영상 데이터의 영상 스펙트럼 결과에서 단일 형광 스펙트럼으로부터 계산한 정규화 수치에 따라 각 파장 대역에 따른 빛의 세기만큼 분리(Unmixing)하고, 복수 개의 형광 물질로 표지한 관찰 부위의 영상 이미지를 각각의 형광 물질만이 나타나도록 복수 개의 영상 이미지로 분리하여 표시할 수 있다.
즉, 하나의 표지자를 하나의 형광 물질로 표지하는 경우는 질병 부위를 정확하게 판단하기 어렵기 때문에, 본 실시예에서는 서로 다른 파장의 형광 물질로 표지한 복합 프로브를 이용하여 질병 부위를 표지함으로써, 서로 다른 프로브를 보완하여 질병 부위를 정확하게 영상화할 수 있다.
또한, 본 발명의 한 실시예에 따른 컴퓨팅부(300)는 촬영 결과에 따라 질병 여부를 진단할 때 오진의 확률을 줄이기 위해 다분광 이미지에서 자가 형광 성분을 제거하는 보정을 하여, 형광 물질로 표지한 표지자 만이 표시되도록 할 수 있다.
도 6a 내지 도 6c는 본 발명의 한 실시예에 따른 다중 파장 자동 분석 내시경 시스템의 성능을 평가하기 위한 시뮬레이션 장치 및 그에 의한 시뮬레이션 결과를 나타내는 그래프이다.
도 6a을 참고하면, 본 발명의 한 실시예에 따른 다중 파장 자동 분석 내시경 시스템의 성능을 평가하기 위해 약 15mm 길이의 폴리에틸렌 튜브 (0.28 mm inner diameter, PE-10)를 준비하여 각각에 여러 색상의 형광 염료를 주입하였다.
튜브의 한 쪽 끝은 원형의 금속링에 부착하고 다른 쪽 끝은 내시경 관찰이 이루어지는 중앙으로 향하여 모이게 하였다. 사용된 형광 염료는 가시광선 영역 대의 서로 다른 색을 갖는 복수의 염료를 이용하였고, 서로 가까운 파장 영역을 포함하고 있다.
도 6b를 참고하면, 형광 염료를 주입한 튜브를 각각 촬영하여 영상 데이터를 확보하고, 도 6c와 같이 각각의 영상 데이터 결과로부터 파장 대역에 따른 빛의 세기를 나타내는 스펙트럼을 획득하였다. 이를 통해, 각 염료가 가진 파장 별로 분리된 영역을 확인할 수 있다.
이때 본 실시예에 따른 다중 파장 내시경 시스템(100)에서 읽어 들이는 설정 파장 범위는 420nm 내지 620nm 일 수 있다.
도 6d를 참고하면 컴퓨팅부(300)를 통해 단일 형광 스펙트럼 결과에 따라 분해 과정을 거쳐 완성된 영상 이미지 파일을 획득한다.
도 7은 본 발명의 한 실시예에 따른 다중 파장 자동 분석 내시경 시스템이 미처리된 조직 샘플 및 단일 형광 처리된 조직 샘플로부터 획득한 영상 결과를 도시한 도면이고, 도 8은 본 발명의 한 실시예에 따른 다중 파장 자동 분석 내시경 시스템을 이용하여 복수의 형광 물질로 처리된 조직 샘플을 촬영한 내시경 촬영 영상 결과를 도시한 도면이다.
이때, 활성형 프로브(HMRG)를 국소 도포를 통해 주입하고, 항체 프로브(Cetuximab-Flamma553, Herceptin-Flamma675)를 정맥 주사를 통해 주입한 다음, 대장 조직을 적출하여 다중 파장 자동 분석 내시경 시스템을 이용하여 각 파장 별 이미지를 획득하였다.
도 7을 참고하면, 대조 실험을 위해 프로브를 처리하지 않은 동물군(Non-treat)의 대장 조직에서는 자가 형광에 의한 형광 이미지를 관찰할 수 있다.
단일 프로브 처리한 조직 샘플을 관찰 부위로 촬영하고, 촬영한 영상 데이터로부터 파장 대역에 따른 빛의 세기를 나타내는 단일 형광 스펙트럼 결과를 추출하였다.
도 8을 참고하면 본 실시예에서는 서로 다른 파장의 형광 물질로 표지한 복합 프로브를 이용하고, 복합 프로브로 표지한 조직 샘플을 촬영한 영상 데이터에서 단일 형광 스펙트럼 결과에 따라 각 형광 물질만이 표지되도록 영상을 분리하여 출력함으로써, 서로 다른 프로브를 보완하여 질병 부위를 정확하게 진단할 수 있도록 영상화 한 것을 확인할 수 있다.
도 9는 본 발명의 한 실시예에 따른 다중 파장 자동 분석 내시경 시스템을 이용하여 살아 있는 대장암 모델 마우스를 촬영한 내시경 촬영 영상 결과를 도시한 도면이다.
활성형 프로브(HMRG)를 국소 도포를 통해 대장암 모델 마우스에 주입하고, 항체 프로브(Cetuximab-Flamma553, Herceptin-Flamma675)를 정맥 주사를 통해 주입한 다음, 살아 있는 상태에서 다중 파장 자동 분석 내시경 시스템을 이용하여 대장 내시경을 통해 각 형광 물질별 이미지를 획득하였다.
각각의 단일 프로브로는 암의 구획을 서로 다른 부위로 영상화하여 정확히 판단하기 어렵지만, 복합 프로브는 서로 다른 프로브를 보완하며 암의 구획을 영상화하는 것을 관찰하였다.
도 10은 본 발명의 한 실시예에 따른 다중 파장 자동 분석 내시경 시스템을 이용하여 살아 있는 대장암 모델 돼지를 촬영한 내시경 촬영 영상 결과를 도시한 도면이다.
인체와 유사한 돼지에 활성형 프로브(HMRG)와 항체 프로브(Cetuximab-Flamma553, Herceptin-Flamma675)를 주입한 다음, 다중 파장 자동 분석 내시경 시스템을 대장 내시경을 통해 각 파장 별 이미지를 획득하였다.
대조 실험을 위해 프로브를 처리하지 않았을 때에는 형광 이미지가 획득되지 않았다.
각각의 형광 프로브를 단독 처리 (Single treated)했을 때 각 프로브가 표지하고 있는 형광의 스펙트럼 파장에서만 신호가 검출되었고, 이에 따른 단일 형광 스펙트럼 결과를 이용하여 세 가지 프로브를 동시에 처리 (Triple Treated)한 영상 데이터로부터 각 형광 물질만이 표지되도록 영상 데이터 분리하였다.
이에 따라 서로 다른 프로브를 보완함으로써, 거짓 양성 오류를 줄이고 암의 구획을 보다 정확하게 영상화한 것을 확인할 수 있다.
이상에서 설명한 본 발명의 실시예는 장치 및 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims (13)

  1. 서로 다른 색을 갖는 복수 개의 형광 물질로 표지한 관찰 부위를 촬영하는 다중 파장 내시경 시스템으로서,
    상기 관찰 부위에서 반사된 입사광을 제 1 방향과 상기 제 1 방향에 수직인 제 2 방향으로 편광시키고, 상기 제 1 방향과 상기 제 2 방향으로 편광된 상기 입사광의 스펙트럼 영역을 복수의 스펙트럼 채널로 구분하고, 상기 복수의 스펙트럼 채널 각각의 빛의 세기를 측정하여 영상 데이터를 획득하는 촬영부와,
    상기 관찰 부위를 각각의 상기 형광 물질로 단일 처리하여 촬영한 샘플 영상 데이터로부터 추출된 단일 형광 스펙트럼을 저장하고,
    상기 단일 형광 스펙트럼을 이용하여 상기 촬영부에서 촬영된 상기 영상 데이터를 상기 복수 개의 형광 물질 중 하나의 형광 물질만이 각각 표시되도록 분리하여 출력하는 컴퓨팅부를 포함하는 다중 파장 내시경 시스템.
  2. 제 1 항에서,
    상기 촬영부는
    상기 입사광을 상기 제 1 방향과 상기 제 1 방향에 수직인 상기 제 2 방향으로 편광시키는 빔 스플리터와,
    상기 제 1 방향으로 분리된 빛의 경로에 위치하고, 설정된 범위의 빛을 통과 시키는 제 1 영역 필터와,
    상기 제 2 방향으로 분리된 빛의 경로에 위치하고, 설정된 범위의 빛을 통과 시키는 제 2 영역 필터와,
    상기 제 1 영역 필터를 통과한 빛의 세기를 측정하는 제 1 영역 카메라와,
    상기 제 2 영역 필터를 통과한 빛의 세기를 측정하는 제 2 영역 카메라를 포함하는 다중 파장 내시경 시스템.
  3. 제 2 항에서,
    상기 컴퓨팅부는
    상기 형광 물질을 처리하지 않은 상기 관찰 부위를 촬영한 미처리 영상 데이터로부터 추출된 미처리 형광 스펙트럼을 저장하는 다중 파장 내시경 시스템.
  4. 제 3 항에서,
    상기 컴퓨팅부는
    상기 미처리 형광 스펙트럼을 이용하여 상기 촬영부에서 촬영된 상기 영상 데이터에 포함된 자가 형광 성분을 제거하는 보정을 수행하는 다중 파장 내시경 시스템.
  5. 서로 다른 색을 갖는 복수 개의 형광 물질로 표지한 관찰 부위를 촬영하는 다중 파장 내시경 시스템으로서,
    상기 관찰 부위에서 반사된 입사광을 제 1 방향과 상기 제 1 방향에 수직인 제 2 방향으로 편광시키는 빔 스플리터와,
    상기 제 1 방향으로 분리된 빛의 경로에 위치하고, 설정된 범위의 빛을 통과 시키는 제 1 영역 필터와,
    상기 제 2 방향으로 분리된 빛의 경로에 위치하고, 설정된 범위의 빛을 통과 시키는 제 2 영역 필터와,
    상기 제 1 영역 필터를 통과한 빛의 세기를 측정하는 제 1 영역 카메라와,
    상기 제 2 영역 필터를 통과한 빛의 세기를 측정하는 제 2 영역 카메라와,
    상기 제 1 영역 필터를 통과한 빛의 세기와 상기 제 2 영역 필터를 통과한 빛의 세기를 이용하여 획득한 영상 데이터를 상기 복수 개의 형광 물질 중 하나의 형광 물질만이 표시되도록 분리하여 출력하는 컴퓨팅부를 포함하는 다중 파장 내시경 시스템.
  6. 제 5 항에서,
    상기 컴퓨팅부는
    상기 관찰 부위를 각각의 상기 형광 물질로 단일 처리하여 촬영한 샘플 영상 데이터로부터 추출된 단일 형광 스펙트럼을 저장하고,
    상기 단일 형광 스펙트럼을 이용하여 상기 영상 데이터를 상기 복수 개의 형광 물질 중 하나의 형광 물질만이 각각 표시되도록 분리하는 다중 파장 내시경 시스템.
  7. 제 6 항에서,
    상기 컴퓨팅부는
    상기 형광 물질을 처리하지 않은 상기 관찰 부위를 촬영한 미처리 영상 데이터로부터 추출된 미처리 형광 스펙트럼을 저장하는 다중 파장 내시경 시스템.
  8. 제 7 항에서,
    상기 컴퓨팅부는
    상기 미처리 형광 스펙트럼을 이용하여 상기 영상 데이터에 포함된 자가 형광 성분을 제거하는 보정을 수행하는 다중 파장 내시경 시스템.
  9. 다중 파장 내시경 시스템이 영상을 처리하는 방법으로서,
    서로 다른 색을 갖는 복수 개의 형광 물질로 표지한 관찰 부위에 광원을 조사하는 단계와,
    상기 관찰 부위로부터 반사한 빛을 전달받아 영상 데이터를 획득하는 단계와,
    상기 영상 데이터를 상기 복수 개의 형광 물질 중 하나의 형광 물질만이 표시되도록 분리하는 단계와,
    상기 파장 대역에 따라 분리된 상기 영상 데이터를 출력하는 단계를 포함하는 영상 처리 방법.
  10. 제 9 항에서,
    상기 관찰 부위를 각각의 상기 형광 물질로 단일 처리하여 촬영한 샘플 영상 데이터로부터 단일 형광 스펙트럼을 추출하는 단계를 더 포함하는 영상 처리 방법.
  11. 제 10 항에서,
    상기 영상 데이터를 상기 복수 개의 형광 물질 중 하나의 형광 물질만이 표시되도록 분리하는 상기 단계는
    상기 단일 형광 스펙트럼을 이용하여 상기 영상 데이터를 상기 복수 개의 형광 물질 중 하나의 형광 물질만이 각각 표시되도록 분리하는 영상 처리 방법.
  12. 제 9 항에서,
    상기 형광 물질을 처리하지 않은 관찰 부위를 촬영한 미처리 영상 데이터로부터 미처리 형광 스펙트럼을 추출하는 단계를 더 포함하는 영상 처리 방법.
  13. 제 12 항에서,
    상기 미처리 형광 스펙트럼을 이용하여 상기 영상 데이터에 포함된 자가 형광 성분을 제거하는 보정을 수행하는 단계를 더 포함하는 영상 처리 방법.
PCT/KR2017/011522 2015-11-02 2017-10-18 다중 파장 내시경 시스템 및 이를 이용한 영상 처리 방법 Ceased WO2018074833A1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
AU2017346249A AU2017346249B2 (en) 2015-11-02 2017-10-18 Multi-wavelength endoscopic system and image processing method using same
US16/342,900 US10610088B2 (en) 2016-10-18 2017-10-18 Multi-wavelength endoscopic system and image processing method using same
RU2019112728A RU2716680C1 (ru) 2016-10-18 2017-10-18 Многоволновая эндоскопическая система и способ обработки изображений с её использованием
CA3040851A CA3040851A1 (en) 2015-11-02 2017-10-18 Multi-wavelength endoscopic system and image processing method using same
SG11201902989YA SG11201902989YA (en) 2015-11-02 2017-10-18 Multi-wavelength endoscopic system and image processing method using same

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR20150153144 2015-11-02
KR10-2016-0135305 2016-10-18
KR1020160135305A KR101978838B1 (ko) 2015-11-02 2016-10-18 다중 파장 내시경 시스템 및 이를 이용한 영상 처리 방법

Publications (1)

Publication Number Publication Date
WO2018074833A1 true WO2018074833A1 (ko) 2018-04-26

Family

ID=66674216

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2017/011522 Ceased WO2018074833A1 (ko) 2015-11-02 2017-10-18 다중 파장 내시경 시스템 및 이를 이용한 영상 처리 방법

Country Status (5)

Country Link
KR (1) KR101978838B1 (ko)
AU (1) AU2017346249B2 (ko)
CA (1) CA3040851A1 (ko)
SG (1) SG11201902989YA (ko)
WO (1) WO2018074833A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210153808A1 (en) * 2018-06-22 2021-05-27 Ai Medical Service Inc. Diagnostic assistance method, diagnostic assistance system, diagnostic assistance program, and computer-readable recording medium storing therein diagnostic assistance program for disease based on endoscopic image of digestive organ

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12292564B2 (en) 2019-04-08 2025-05-06 Activ Surgical, Inc. Systems and methods for medical imaging
KR102282179B1 (ko) * 2019-04-30 2021-07-27 을지대학교 산학협력단 손잡이형 수술용 프로브
CN114599263A (zh) 2019-08-21 2022-06-07 艾科缇弗外科公司 用于医疗成像的系统和方法
CN115389254A (zh) * 2022-07-13 2022-11-25 北京市轨道交通学会 一种用于城市轨道交通隧道结构的微创探查方法及装置
DE102023135636A1 (de) * 2023-12-18 2025-06-18 Karl Storz Se & Co. Kg Bildgebungsvorrichtung, insbesondere endoskopische, exoskopische und/oder mikroskopische Bildgebungsvorrichtung

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003339623A (ja) * 2002-05-27 2003-12-02 Fuji Photo Film Co Ltd 蛍光診断情報生成方法および装置
KR20070054761A (ko) * 2003-10-28 2007-05-29 베라라이트, 인코오포레이티드 조직 형광을 이용한, 당화 최종산물 또는 질병 상태 측정의판정방법
JP4954699B2 (ja) * 2006-12-28 2012-06-20 オリンパス株式会社 蛍光内視鏡システム
KR101243183B1 (ko) * 2011-04-08 2013-03-14 한국전기연구원 최종당화산물의 자가형광 측정 장치
KR20160117440A (ko) * 2013-12-31 2016-10-10 메모리얼 슬로안-케터링 캔서 센터 실시간 형광 소스들의 다채널 이미징을 위한 시스템들, 방법들 및 장치

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100411631B1 (ko) * 2001-10-18 2003-12-18 주식회사 메디미르 형광 내시경 장치 및 그 장치를 이용한 진단부위 조상 방법
US20090131800A1 (en) * 2007-11-15 2009-05-21 Carestream Health, Inc. Multimodal imaging system for tissue imaging
JP5506472B2 (ja) * 2010-03-12 2014-05-28 オリンパス株式会社 蛍光内視鏡装置
KR102028199B1 (ko) * 2012-08-28 2019-10-04 한국전자통신연구원 의료 진단장치 및 그 조작방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003339623A (ja) * 2002-05-27 2003-12-02 Fuji Photo Film Co Ltd 蛍光診断情報生成方法および装置
KR20070054761A (ko) * 2003-10-28 2007-05-29 베라라이트, 인코오포레이티드 조직 형광을 이용한, 당화 최종산물 또는 질병 상태 측정의판정방법
JP4954699B2 (ja) * 2006-12-28 2012-06-20 オリンパス株式会社 蛍光内視鏡システム
KR101243183B1 (ko) * 2011-04-08 2013-03-14 한국전기연구원 최종당화산물의 자가형광 측정 장치
KR20160117440A (ko) * 2013-12-31 2016-10-10 메모리얼 슬로안-케터링 캔서 센터 실시간 형광 소스들의 다채널 이미징을 위한 시스템들, 방법들 및 장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210153808A1 (en) * 2018-06-22 2021-05-27 Ai Medical Service Inc. Diagnostic assistance method, diagnostic assistance system, diagnostic assistance program, and computer-readable recording medium storing therein diagnostic assistance program for disease based on endoscopic image of digestive organ
US12048413B2 (en) * 2018-06-22 2024-07-30 Ai Medical Service Inc. Diagnostic assistance method, diagnostic assistance system, diagnostic assistance program, and computer-readable recording medium storing therein diagnostic assistance program for disease based on endoscopic image of digestive organ

Also Published As

Publication number Publication date
SG11201902989YA (en) 2019-05-30
KR20170051264A (ko) 2017-05-11
CA3040851A1 (en) 2018-04-26
AU2017346249A1 (en) 2019-04-18
KR101978838B1 (ko) 2019-05-16
AU2017346249B2 (en) 2019-11-21

Similar Documents

Publication Publication Date Title
WO2018074833A1 (ko) 다중 파장 내시경 시스템 및 이를 이용한 영상 처리 방법
CN1802560B (zh) 使用多激发-发射对和同时多信道图像检测进行荧光成像的方法和装置
US8285015B2 (en) Simultaneous acquisition of differing image types
US5833617A (en) Fluorescence detecting apparatus
JP2001017379A (ja) 蛍光診断装置
JPH11326050A (ja) 画像分析装置
JPH10325798A (ja) 顕微鏡装置
JP2006296635A (ja) 内視鏡装置
Yoon et al. First experience in clinical application of hyperspectral endoscopy for evaluation of colonic polyps
WO2019100450A1 (zh) 一种多功能内窥镜系统
JPH0970384A (ja) 蛍光診断用電子内視鏡装置
JP6404687B2 (ja) 蛍光イメージング装置及び蛍光イメージング方法
WO2023013860A1 (ko) 멀티스펙트럼 내시경 및 이를 포함하는 내시경 시스템
JP2007528505A (ja) マルチチャンネル光学画像法
US10610088B2 (en) Multi-wavelength endoscopic system and image processing method using same
CN114947696A (zh) 一种白光-窄带-荧光一体化内窥镜及其使用方法
JP4495513B2 (ja) 蛍光内視鏡装置
KR20180066645A (ko) 형광 내시경 시스템
SE1351503A1 (sv) System och metod för fluorescensmikroskopi med detektering av ljusemission från multipla fluorokromer
JP2007313171A (ja) 内視鏡システム
Andersson-Engels et al. Multicolor fluorescence imaging system for tissue diagnostics
JPS63252134A (ja) 螢光検出を利用したがん診断装置
Papayan et al. Video-endoscopy system for photodynamic theranostics of central lung cancer
JP3810337B2 (ja) 撮像装置
WO2021033787A1 (ko) 단일 컬러 카메라를 이용하고 가시광선 및 근적외선 영상 동시 획득이 가능한 가시광선 및 근적외선 영상 제공 시스템 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17862272

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 3040851

Country of ref document: CA

ENP Entry into the national phase

Ref document number: 2017346249

Country of ref document: AU

Date of ref document: 20171018

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17862272

Country of ref document: EP

Kind code of ref document: A1