WO2013051431A1 - 蛍光観察装置 - Google Patents

蛍光観察装置 Download PDF

Info

Publication number
WO2013051431A1
WO2013051431A1 PCT/JP2012/074560 JP2012074560W WO2013051431A1 WO 2013051431 A1 WO2013051431 A1 WO 2013051431A1 JP 2012074560 W JP2012074560 W JP 2012074560W WO 2013051431 A1 WO2013051431 A1 WO 2013051431A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
bleeding
corrected
pixel
pixels
Prior art date
Application number
PCT/JP2012/074560
Other languages
English (en)
French (fr)
Inventor
俊明 渡邉
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to JP2013537472A priority Critical patent/JP6042817B2/ja
Priority to CN201280048230.4A priority patent/CN103841876B/zh
Publication of WO2013051431A1 publication Critical patent/WO2013051431A1/ja
Priority to US14/242,111 priority patent/US9687158B2/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/02042—Determining blood loss or bleeding, e.g. during a surgical procedure

Definitions

  • the present invention relates to a fluorescence observation apparatus.
  • Patent Document 1 describes an endoscope apparatus or an endoscope observation system used for such an endoscopic surgical operation.
  • the present invention has been made in view of such circumstances, and grasps a region of a desired tissue such as a lesion or blood vessel in an acquired image even when bleeding occurs during an operation.
  • An object of the present invention is to provide a fluorescence observation apparatus that can perform the above-described process.
  • One aspect of the present invention includes a light source that irradiates a subject with excitation light and reference light, and a fluorescence image generation unit that captures fluorescence generated in the subject by irradiation of the excitation light from the light source and generates a fluorescence image.
  • a reference image generation unit that captures the return light that is returned from the subject by irradiation of the reference light from the light source and generates a reference image, and of the reference images, the luminance of the fluorescent image is not less than a first threshold value.
  • a corrected image generating unit that generates a corrected image corrected so as to emphasize a pixel corresponding to the pixel, an image display unit that displays the reference image or the corrected image, and a bleeding region of the subject based on the reference image
  • a bleeding state determination unit that detects whether or not the bleeding region exceeds a predetermined range, and the reference image when the bleeding state determination unit determines that the bleeding region does not exceed the predetermined range
  • the Provided is a fluorescence observation apparatus comprising: a display image switching unit that displays on the image display unit and switches the correction image to be displayed on the image display unit when it is determined that the bleeding region exceeds a predetermined range To do.
  • the fluorescence image generation unit when the subject is irradiated with the excitation light emitted from the light source, the fluorescence image generation unit generates a fluorescence image based on the fluorescence generated in the subject, and the reference light emitted from the light source is received by the subject.
  • a reference image based on the return light is generated by the reference image generation unit.
  • the corrected image generator generates a pixel having a luminance higher than or equal to the first threshold value in the fluorescent image, that is, a pixel having a high luminance due to strong fluorescence emitted from a lesioned part of the subject with respect to the reference image.
  • a corrected image in which the pixels of the corresponding reference image are emphasized is generated.
  • the bleeding state determination unit determines whether or not the bleeding region of the subject exceeds a predetermined range based on the reference image. As a result, when it is determined that the bleeding region does not exceed the predetermined range, the reference image is displayed on the image display unit, and when it is determined that the bleeding region exceeds the predetermined range, a correction image is displayed. Is done.
  • an observer such as a doctor performs treatment while observing the reference image displayed on the image display unit when the bleeding region does not exceed the predetermined range, and bleeding occurs in the course of the treatment.
  • the corrected image displayed on the image display unit is observed instead of the reference image.
  • a corrected image in which a pixel having a luminance equal to or higher than the first threshold in the fluorescent image, that is, a lesion where the fluorescent substance is specifically accumulated is emphasized is displayed on the image display unit. Even when a tissue such as a lesioned part or a blood vessel is covered with blood, it is possible to grasp the region of the lesioned part or the like.
  • the correction image generation unit is a bleeding region detected by the bleeding state determination unit in the reference image, and a pixel having a luminance value equal to or higher than a first threshold in the fluorescent image. It is preferable to generate a corrected image corrected so as to emphasize the corresponding pixel.
  • the bleeding detected by the bleeding state determination unit in the reference image By generating a corrected image in which a pixel corresponding to a pixel having a luminance value equal to or higher than the first threshold value in the fluorescent image is emphasized, a lesioned part is reduced while reducing the time and amount of calculation required for processing or calculation. And a desired tissue region such as a blood vessel can be grasped.
  • the corrected image generation unit is configured to output a first threshold value in the fluorescent image with respect to a predetermined color signal of a pixel corresponding to a pixel having a luminance equal to or higher than the first threshold value in the fluorescent image. It is preferable to generate a corrected image by adding signal values based on the luminance of the pixels having the above luminance.
  • the corrected image generation unit generates a corrected image by performing color conversion processing on a pixel corresponding to a pixel having a luminance value equal to or higher than a first threshold in the fluorescent image in the reference image. It is preferable.
  • the corrected image generation unit generates a divided image obtained by dividing the fluorescent image by the R signal of the reference image, and among the reference images, a pixel having a luminance equal to or higher than a second threshold value in the divided image; It is preferable to generate a corrected image corrected so as to emphasize the corresponding pixel.
  • a divided image is generated that takes into account that the bleeding region is red and reduces the change in fluorescent intensity depending on the observation distance and the observation angle.
  • a corrected image is generated by emphasizing a pixel corresponding to a pixel having a luminance equal to or higher than the second threshold in the divided image with respect to the reference image, so that a region of a desired tissue such as a lesion or blood vessel can be grasped more accurately. can do.
  • the correction image generation unit corresponds to a pixel having a luminance value that is a bleeding region detected by the bleeding state determination unit in the reference image and is equal to or higher than a second threshold value in the divided image. It is preferable to generate a corrected image that is corrected so as to emphasize the pixels to be corrected.
  • the bleeding detected by the bleeding state determination unit in the reference image By generating a corrected image in which a pixel corresponding to a pixel having a luminance value equal to or greater than the second threshold in the divided image is emphasized, the time and amount of calculation required for processing or calculation can be reduced. And a desired tissue region such as a blood vessel can be grasped.
  • the corrected image generation unit performs the second threshold value in the divided image with respect to a predetermined color signal of a pixel corresponding to a pixel having a luminance equal to or higher than the second threshold value in the divided image in the reference image. It is preferable to generate a corrected image by adding signal values based on the luminance of the pixels having the above luminance.
  • the corrected image generation unit generates a corrected image by performing color conversion processing on a pixel corresponding to a pixel having a luminance value equal to or higher than a second threshold in the divided image in the reference image. It is preferable.
  • the bleeding region determination unit determines that the bleeding region does not exceed the predetermined range It is preferable to irradiate the excitation light.
  • the bleeding region is determined to exceed the predetermined range, it is possible to prevent fading of the fluorescent dye by irradiating the excitation light. That is, in order to obtain a fluorescence image, it is necessary to administer a fluorescent agent to a subject in advance. However, if the excitation light is continuously irradiated during a long operation, the fluorescence from the fluorescent agent is faded. Therefore, by irradiating the excitation light as necessary, the fading of the fluorescent dye is prevented, and a high-quality fluorescent image is obtained. Understand the area of the organization.
  • the bleeding state determination unit detects a bleeding region in a predetermined region including the vicinity of the center portion of the reference image, and determines whether or not the bleeding region exceeds a predetermined range.
  • the surgeon acquires the reference image so that the treatment target site such as a lesioned part becomes the center of the display unit. Even when bleeding occurs, for example, the bleeding region may be irrelevant to the treatment and may be the end of the reference image. Therefore, by detecting a bleeding region in a predetermined region including the vicinity of the center of the reference image and determining whether or not the bleeding region exceeds a predetermined range, it is possible to reduce the time or amount of calculation required for processing or calculation. it can.
  • the bleeding state determination unit detects a bleeding region by comparing the signal intensity with respect to the R signal of each pixel of the reference image and at least one of the G signal or the B signal of each pixel. Also good. By doing so, red, which is the color of blood, is effectively detected, so that the bleeding region can be accurately detected.
  • a desired tissue region such as a lesion or blood vessel can be grasped in an acquired image even when bleeding occurs during an operation.
  • FIG. 1 is a schematic configuration diagram of an endoscope apparatus according to a first embodiment of the present invention. It is explanatory drawing of the white light image and correction
  • an endoscope apparatus 100 as a fluorescence observation apparatus includes an elongated scope 2 that is inserted into a body cavity and a light source 10 that emits illumination light emitted from the distal end 2a of the scope 2.
  • An illumination unit 20 provided, an imaging unit 30 that acquires image information of a treatment target region X that is a subject disposed in the scope 2, an image processing unit 40 that processes image information acquired by the imaging unit 30, and an image A monitor (image display unit) 50 that displays an image processed by the processing unit 40, image information, and the like is provided.
  • the light source 10 includes a xenon lamp (Xe lamp) 11 that emits illumination light, an excitation light filter 13 that extracts white light including excitation light from the illumination light emitted from the xenon lamp 11, and the excitation that is extracted by the excitation light filter 13. And a coupling lens 15 that collects white light including light.
  • the excitation light filter 13 cuts out white light including excitation light having a wavelength band of 400 to 740 nm, for example.
  • the illumination unit 20 includes a light guide fiber 21 disposed over substantially the entire length of the scope 2 in the longitudinal direction, and a diffusion lens 23 disposed at the distal end 2 a of the scope 2.
  • the light guide fiber 21 guides white light including excitation light collected by the coupling lens 15 to the distal end 2 a of the scope 2.
  • the diffusion lens 23 diffuses white light including excitation light guided by the light guide fiber 21 to irradiate the treatment target site X.
  • the imaging unit 30 collects return light returning from the treatment target site X irradiated with white light including excitation light by the illumination unit 20, and the return light collected by the objective lens 31 for each wavelength.
  • the objective lens 31 is disposed in parallel with the diffusion lens 23 at the distal end 2 a of the scope 2.
  • the beam splitter 33 reflects light (excitation light and fluorescence) of the return light that is longer than the excitation wavelength, and transmits white light (return light) having a wavelength shorter than the excitation wavelength.
  • the imaging unit 30 includes an excitation light cut filter 35 that blocks excitation light and transmits only fluorescence (for example, near infrared fluorescence) out of excitation light and fluorescence reflected by the beam splitter 33, and excitation.
  • a condensing lens 37A that condenses the fluorescence that has passed through the light cut filter 35
  • a condensing lens 37B that condenses the white light that has passed through the beam splitter 33
  • a fluorescent photographing that photographs the fluorescence that has been condensed by the condensing lens 37A.
  • a white light photographing unit 39 that photographs white light collected by the unit 38 and the condenser lens 37B.
  • the excitation light cut filter 35 transmits only fluorescence having a wavelength band of 765 to 850 nm, for example.
  • the fluorescence imaging unit 38 is, for example, a fluorescent high-sensitivity monochrome CCD, and the fluorescence imaging unit 38 acquires fluorescence image information by imaging fluorescence.
  • the white light photographing unit 39 is a color CCD for white light, for example, and includes a mosaic filter (not shown). The white light photographing unit 39 obtains white light image information by photographing white light.
  • the image processing unit 40 is generated by a fluorescent image generation unit 41 that generates a fluorescent image, a white light image generation unit (reference image generation unit) 42 that generates a white light image (reference image), and a white light image generation unit 42.
  • a corrected image generation unit 43 that corrects the white light image thus generated to generate a corrected image
  • a bleeding state determination unit 44 that determines the bleeding state of the treatment target site X based on the white light image
  • a bleeding state determination unit 44 A display image switching unit 45 that switches an image to be displayed on the monitor 50 based on the determination result.
  • the fluorescence image generation unit 41 generates a two-dimensional fluorescence image from the fluorescence image information acquired by the fluorescence imaging unit 38, and outputs the generated fluorescence image to the correction image generation unit 43.
  • the white light image generation unit 42 generates a two-dimensional white light image from the white light image information acquired by the white light photographing unit 39, and the generated white light image is used as a correction image generation unit 43 and a bleeding state determination unit 44. And output to the display image switching unit 45.
  • 2A shows an example of a white light image of the treatment target site X
  • FIG. 2B shows an example of a white light image when the treatment target site X bleeds.
  • the corrected image generating unit 43 generates a corrected image that is corrected so as to emphasize pixels corresponding to pixels having a luminance equal to or higher than the first threshold in the fluorescent image in the white light image. That is, a corrected image is generated in which the pixels of the white light image corresponding to the pixels having high luminance due to strong fluorescence emitted from the lesioned part or the like in the treatment target site X are generated.
  • An example of a corrected image is shown in FIG.
  • the generation of the corrected image by the corrected image generation unit 43 is performed as follows.
  • the corrected image generation unit 43 extracts a pixel having a luminance that is equal to or higher than the first threshold value from the fluorescent image compared to a first threshold value that is determined in advance for each pixel.
  • An area made up of pixels corresponding to these pixels is defined as a correction target area.
  • the signal value of each corresponding pixel in the fluorescent image (for example, a constant multiple of the luminance value) is added to the G channel of each pixel in the correction target region of the white light image, as in the following equation. .
  • Og (i) Wg (i) + ⁇ F (i)
  • ⁇ is a predetermined constant
  • Or (i), Og (i), and Ob (i) are the signal intensities of the R, G, and B channels in the i-th pixel of the corrected image
  • Wr (i), Wg (i), and Wb (i) are the signal intensities of the R, G, and B channels in the i-th pixel of the white light image
  • F (i) is the signal in the i-th pixel of the fluorescent image. It is strength.
  • the pixel is emphasized by adding a signal value based on the luminance of each corresponding pixel in the fluorescence image to a specific color signal (for example, G channel) of each pixel in the correction target region, that is, Then, a corrected image in which the correction target area is emphasized is generated.
  • a specific color signal for example, G channel
  • the bleeding state determination unit 44 detects a bleeding region of the treatment target site X based on the white light image input from the white light image generation unit 42, determines whether or not the bleeding region exceeds a predetermined range, and determines The result is output to the display image switching unit 45. Specifically, the bleeding state determination unit 44 extracts pixels in which the R channel signal value of each pixel exceeds a predetermined threshold A from all the pixels included in the white light image, and further extracts each pixel extracted. A pixel having a G channel signal value lower than the threshold value B with respect to the R channel signal value is determined as a bleeding pixel, and a region including the bleeding pixel is detected as a bleeding region.
  • the detected bleeding region exceeds a predetermined range, that is, when the total number of bleeding pixels is larger than a predetermined threshold C, it is determined that the bleeding state is present because the bleeding region is large. Further, when it is determined that the bleeding region does not exceed the predetermined range, that is, when the total number of bleeding pixels is smaller than the threshold C, it is determined that the bleeding region is not in a bleeding state because the bleeding region is small.
  • the display image switching unit 45 monitors the white light image when it is determined that the bleeding region does not exceed the predetermined range based on the determination result of the bleeding state determination unit 44, that is, when it is determined that the bleeding state is not a bleeding state. 50, and when it is determined that the bleeding region exceeds the predetermined range, that is, when it is determined that the bleeding state is a bleeding state, the correction image is switched to be displayed on the monitor 50.
  • the treatment target site X bleeds when performing a desired treatment (surgery) on the treatment target site X in the body cavity using the endoscope apparatus 100 according to the present embodiment configured as described above.
  • the flow of the determination of the bleeding state by the bleeding state determination unit 44 will be described with reference to the flowchart of FIG.
  • the R channel signal value (hereinafter referred to as R signal) is compared with a predetermined threshold A in order from the first pixel, and if it is determined that the R signal is below the predetermined threshold A, If the pixel is not bleeding, the process proceeds to step S114, and the process proceeds to the determination of whether the pixel is a bleeding pixel for the next pixel. This is because since the blood is red, when the value of the R signal is small, it can be determined that the pixel is not bleeding because red is not detected. On the other hand, if it is determined that the R signal has exceeded the predetermined threshold A, the process proceeds to the next step S115 because there is a possibility that the pixel is bleeding.
  • R signal the R channel signal value
  • the value of the G channel signal value (hereinafter referred to as the G signal) with respect to the R signal of the pixel, that is, the G signal / R signal is compared with a predetermined threshold B, and the G signal / R signal is compared. If the threshold value B is exceeded, it is determined that the pixel is not bleeding, and the process proceeds to step S114, and the process proceeds to determination of whether or not the pixel is a bleeding pixel for the next pixel. On the other hand, when the G signal / R signal falls below the threshold value B, it is determined that the pixel is bleeding and the process proceeds to the next step S116.
  • the G signal / R signal falls below the threshold value B, it is determined that the pixel is bleeding and the process proceeds to the next step S116.
  • step S116 the pixels determined as bleeding pixels in step S115 are counted as the total number of bleeding pixels.
  • step S117 whether or not it is a bleeding pixel has been determined for all the pixels of the white light image by comparing the total number of pixels of the white light image with the number of pixels for which the bleeding pixel has been determined. Judging. As a result of the determination, if it is determined that the bleeding pixel has not been determined for all the pixels, the process proceeds to step S114, and the process proceeds to determination of whether or not it is a bleeding pixel for the next pixel.
  • step S118 the bleeding state in the treatment target region is determined by comparing the bleeding region in the treatment target region detected by calculating the total number of bleeding pixels in step S112 to step S117 with a predetermined threshold C. . That is, in step S118, the bleeding state determination unit 44 compares the total number of bleeding pixels (Cnt) counted so far with a predetermined threshold C, and if the total number of bleeding pixels exceeds the threshold C, the bleeding region is determined. Since it is larger, the process proceeds to step S119 and is determined to be in a bleeding state.
  • step S120 If the total number of bleeding pixels is less than the threshold value C, the bleeding area is small, so the process proceeds to step S120 and it is determined that the bleeding state is not present.
  • step S ⁇ b> 121 the determination result of either a bleeding state or no bleeding state is output to the display image switching unit 45.
  • the flow in the case where a desired treatment (surgery) is performed on the treatment target site X in the body cavity using the endoscope apparatus 100 according to the present embodiment configured as described above is a flowchart of FIG. It explains according to.
  • the fluorescent agent that specifically accumulates in a lesion such as a cancer cell is attached or absorbed to the treatment target site X
  • image information of the treatment target site X is acquired (step S211). That is, by irradiating the treatment target site X with excitation light in a state where the fluorescent drug is attached or absorbed to the treatment target site X, the fluorescent drug is excited to generate fluorescence from the treatment target site X.
  • the scope 2 is inserted into the body cavity with the fluorescent agent attached or absorbed to the treatment target site X, and the tip 2a is opposed to the treatment target site X.
  • white light including excitation light emitted from the xenon lamp 11 by operating the light source 10 and cut out by the excitation light filter 13 is condensed by the coupling lens 15 and is collected by the light guide fiber 21 in the scope 2.
  • Light is guided to the tip 2a. Then, the white light is diffused by the diffusion lens 23 and irradiated to the treatment target site X.
  • the fluorescent substance contained therein is excited by excitation light to emit fluorescence, and white light and a part of the excitation light are reflected on the surface.
  • the fluorescence, white light, and excitation light are collected by the objective lens 31, and light having an excitation wavelength or longer, that is, excitation light and fluorescence are reflected by the beam splitter 33, and white light having a wavelength shorter than the excitation wavelength is transmitted. .
  • the excitation light and fluorescence reflected by the beam splitter 33 are removed by the excitation light cut filter 35, and only the fluorescence is collected by the condenser lens 37A and photographed by the fluorescence photographing unit 38. Thereby, fluorescence image information of the treatment target site X is acquired in the fluorescence imaging unit 38. Further, the white light transmitted through the beam splitter 33 is condensed by the condenser lens 37 ⁇ / b> B and photographed by the white light photographing unit 39. Thereby, the white light imaging unit 39 acquires the white light image information of the treatment target site X. Note that either the fluorescence image information or the white light image information may be acquired first or at the same time.
  • the fluorescence image information acquired by the fluorescence imaging unit 38 and the white light image information acquired by the white light imaging unit 39 are converted into the fluorescence image generation unit 41 and the white light image generation unit of the image processing unit 40, respectively. 42.
  • the fluorescence image generation unit 41 generates a two-dimensional fluorescence image based on the fluorescence image information, and the generated fluorescence image is output to the correction image generation unit 43.
  • the white light image generation unit 42 generates a two-dimensional white light image based on the white light image information, and the generated white light image is converted into a corrected image generation unit 43, a bleeding state determination unit 44, and a display image switching. Is output to the unit 45.
  • the corrected image generating unit 43 generates a corrected image.
  • the corrected image generation unit 43 extracts a pixel having a luminance that is equal to or higher than the first threshold value from the fluorescent image compared to a first threshold value that is predetermined for each pixel, and among the white light image, the corrected image generation unit 43 equals or exceeds the first threshold value in the fluorescent image.
  • a corrected image is generated by adding a constant multiple of the luminance value of each corresponding pixel in the fluorescence image to the G channel of the pixel corresponding to the pixel of the luminance of the display image, and the display image switching unit 45 generates the corrected image generated. Output to.
  • step S214 the bleeding state determination unit 44 determines the bleeding state of the treatment target site X as described above, and outputs the determination result to the display image switching unit 45.
  • step S215 the display image switching unit 45 switches the display image according to the determination result from the bleeding state determination unit 44. That is, in step S215, it is determined what the determination result of the bleeding state input to the display image switching unit 45 is. If the determination result that the bleeding state is not input is input, the process proceeds to step S217, and the bleeding state If the determination result is input, the process proceeds to step S216.
  • step S217 since it is not a bleeding state, a white light image is displayed on the monitor 50, and the process returns to step S211 to acquire the next image information.
  • step S216 since it is a bleeding state, a correction image is displayed on the monitor 50.
  • the endoscope apparatus 100 when the bleeding region is detected and the bleeding region exceeds a predetermined range, it is determined that the treatment target site is in a bleeding state, By emphasizing pixels having a luminance equal to or higher than the first threshold in the white light image, a correction image highlighting a lesioned part or a tissue such as a blood vessel covered by bleeding is displayed on the monitor. Even if it occurs and a tissue such as a lesioned part or a blood vessel is covered with blood, a region of a desired tissue such as the lesioned part or a blood vessel can be grasped.
  • excitation light and fluorescence it is desirable to select light having a wavelength that is difficult to be absorbed by blood (for example, near infrared light 700 nm to 1000 nm). Thereby, even when the tissue is covered with blood, most of the excitation light reaches the tissue containing the fluorescent agent, and much fluorescence generated in the tissue can reach the endoscope.
  • a wavelength that is difficult to be absorbed by blood for example, near infrared light 700 nm to 1000 nm.
  • the corrected image generation unit 43 uses the G signal of each pixel in the correction target area of the white light image as the signal value constant of each corresponding pixel in the fluorescent image.
  • the present invention is not limited to such a configuration.
  • the correction image generation unit 43 has a luminance that is equal to or higher than the first threshold value in the fluorescent image in the white light image.
  • the corrected image may be generated by performing color conversion processing on the pixel corresponding to the value pixel.
  • the corrected image generation unit 43 extracts a pixel having a luminance equal to or higher than the first threshold value from the fluorescent image in comparison with a first threshold value determined in advance for each pixel.
  • An area composed of pixels corresponding to a pixel having a luminance of one threshold or more is defined as a correction target area. Then, for example, by multiplying the correction target region of the white light image by a color conversion matrix as described below, the correction target region that has turned red with blood is converted to green.
  • Or (i), Og (i), and Ob (i) are the signal intensities of the R, G, and B channels in the i-th pixel of the corrected image
  • Wr (i), Wg (i), Wb ( i) is the signal intensity of the R, G, and B channels in the i-th pixel of the white light image.
  • the red color of the correction target area can be converted into another color, and the correction target area, that is, a lesioned part or blood vessel covered by bleeding, etc.
  • the tissue can be easily grasped by displaying it in a color different from the color of bleeding.
  • the correction target area is multiplied by the color conversion matrix, information regarding the brightness of the pixels included in the correction target area is maintained, and only the color can be changed.
  • red in the correction target region is converted into green has been shown, but the present invention is not limited to this, and may be converted into, for example, blue.
  • the corrected image generation unit 43 corrects the white light image so as to emphasize pixels corresponding to pixels having a luminance equal to or higher than the first threshold in the fluorescent image.
  • the pixel corresponding to the pixel having the luminance equal to or higher than the second threshold in the divided image obtained by dividing the fluorescent image by the R signal of the white light image is emphasized.
  • a corrected image corrected as described above is generated.
  • the endoscope apparatus 200 includes a division image generation unit 46 that generates a division image in which the correction image generation unit 43 divides the fluorescence image by the white light image. Yes.
  • the division image generation unit 46 generates a division image by dividing the fluorescence image input from the fluorescence image generation unit 41 by the R signal of the white light image input from the white light image generation unit 42.
  • the corrected image generation unit 43 extracts a pixel having a luminance that is equal to or higher than the second threshold value from the divided image in comparison with a second threshold value that is predetermined for each pixel, and out of the white light image, the second threshold value or higher in the divided image.
  • An area made up of pixels corresponding to the pixels having the brightness of is determined as a correction target area.
  • the corrected image generation unit 43 uses the fluorescence image for the G channel of each pixel in the correction target area extracted based on the divided image.
  • a corrected image is generated by adding the signal value of each corresponding pixel (for example, a constant multiple of the luminance value) or multiplying the correction target area by a color conversion matrix.
  • a divided image is generated that takes into account that the bleeding region is red and reduces the change in fluorescence intensity depending on the observation distance and the observation angle.
  • a corrected image is generated by emphasizing a pixel corresponding to a pixel having a luminance equal to or higher than the second threshold value in the divided image with respect to the white light image, a region of a desired tissue such as the lesion or blood vessel can be more accurately identified. I can grasp it.
  • the bleeding state is determined over the entire treatment target site X, that is, the entire white light image.
  • the bleeding state determination unit 44 determines the bleeding state for a predetermined region including the vicinity of the center portion of the white light image.
  • the predetermined area for example, a central area excluding 1 ⁇ 4 from the top, bottom, left, and right of the display image is illustrated.
  • FIG. 6 shows a flow when the bleeding state determination unit 44 determines the bleeding state for a predetermined region including the vicinity of the center portion of the white light image.
  • the bleeding state determination unit 44 receives an input of the white light image generated by the white light image generation unit 42, and detects a predetermined bleeding determination region including the vicinity of the center in the next step S312. At the same time, edge detection in the bleeding determination area is performed. Forceps or the like as a treatment tool exist at a site to be treated such as a lesion, but the color or luminance in the white light image of the forceps is significantly different from that of a living tissue.
  • step S312 edge detection is performed to divide the bleeding determination area into a biological tissue area and a non-biological tissue area.
  • step S313 the average signal strength Rmv of the R signal of all the pixels in the living tissue region is calculated, and in the next step S314, the average signal strength Gmv of the G signal of all the pixels in the living tissue is calculated.
  • step S315 the average signal strength Rmv (Gmv / Rmv) with respect to the average signal strength Gmv is compared with a predetermined threshold value Bmv. If Gmv / Rmv exceeds the threshold value Bmv, the pixel is not bleeding. In step S317, if Gmv / Rmv falls below the threshold value Bmv, it is determined that the pixel is bleeding, and the flow advances to next step S316.
  • step S ⁇ b> 318 the determination result of either the bleeding state or the non-bleeding state is output to the display image switching unit 45.
  • the calculation cost in image calculation can be reduced, and the delay of image display can be reduced.
  • the light source control unit 52 receives a bleeding state determination result from the bleeding state determination unit 44, and outputs a command signal for irradiating the light source 10 with excitation light when the received determination result is a bleeding state. To do. In this way, it is possible to prevent fading of the fluorescent dye by irradiating the excitation light as necessary, so there is no possibility that the quality of the fluorescent image is deteriorated due to the fading and the lesion is accurately detected in the corrected image. A region of a desired tissue such as a part or a blood vessel can be grasped.
  • an example of generating a corrected image in which all pixels corresponding to pixels having a predetermined luminance or higher in the fluorescent image of the white light image are emphasized when it is determined that the bleeding state is present is not limited to this.
  • the image correction unit 43 is included in the region determined to be bleeding by the bleeding state determination unit 44, and It is also possible to generate a corrected image in which only a pixel corresponding to a lesion area, that is, a pixel having a predetermined luminance or higher in the fluorescent image of the white light image is emphasized.
  • the endoscope apparatus has been described as an example.
  • the present invention is not limited to this and may be applied to any other fluorescence observation apparatus.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Cardiology (AREA)
  • Physiology (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)

Abstract

手術中に出血が生じた場合であっても、取得される画像における病変部や血管等の所望の組織の領域を把握する。光源１０と励起光の照射による被検体の蛍光画像を生成する蛍光画像生成部４１と、参照光の照射による被検体の参照画像を生成する参照画像生成部４２と、参照画像のうち蛍光画像における第１閾値以上の輝度の画素と対応する画素を強調するように補正した補正画像を生成する補正画像生成部４３と、参照画像又は補正画像を表示する画像表示部５０と、参照画像に基づいて検出した被検体の出血領域が所定の範囲を超えるか否かを判定する出血状態判定部４４と、出血状態判定部によって出血領域が所定の範囲を超えていないと判定された場合に参照画像を画像表示部に表示し、出血領域が所定の範囲を超えたと判定された場合に、補正画像を画像表示部に表示するように切り替える表示画像切替部４５とを備える蛍光観察装置１００を提供する。

Description

蛍光観察装置
　本発明は、蛍光観察装置に関するものである。
　近年、内視鏡装置によって得られた病変部の画像をモニタで観察しながら、所定の処置具を用いて病変部を処置する所謂内視鏡下外科手術が広く行われている。特許文献１には、このような内視鏡下外科手術に用いられる内視鏡装置或いは内視鏡観察システムが記載されている。
特開２００１－１７３８７号公報
　しかしながら、従来の内視鏡装置を用いた内視鏡下外科手術において、出血が生じて病変部及び病変部周辺が血液で覆われてしまった場合には、モニタに表示される画像においても病変部及び病変部周辺が血液で覆われた赤色領域の多い画像となる。このため、いったん出血が生じてしまうと、処置対象である病変部や血管、神経等の注意すべき生体組織の位置の把握が難しくなる可能性がある。
　本発明は、このような事情に鑑みてなされたものであって、手術中に出血が生じた場合であっても、取得される画像において病変部や血管等の所望の組織の領域を把握することができる蛍光観察装置を提供することを目的とする。
　上記課題を解決するために、本発明は以下の手段を採用する。
　本発明の一態様は、被検体に励起光及び参照光を照射する光源と、該光源からの前記励起光の照射により前記被検体において発生した蛍光を撮影し蛍光画像を生成する蛍光画像生成部と、前記光源からの前記参照光の照射により前記被検体から戻る戻り光を撮影し参照画像を生成する参照画像生成部と、前記参照画像のうち、前記蛍光画像における第１閾値以上の輝度の画素と対応する画素を強調するように補正した補正画像を生成する補正画像生成部と、前記参照画像又は前記補正画像を表示する画像表示部と、前記参照画像に基づいて前記被検体の出血領域を検出し、該出血領域が所定の範囲を超えるか否かを判定する出血状態判定部と、該出状態判定部によって出血領域が所定の範囲を超えていないと判定された場合に前記参照画像を前記画像表示部に表示し、出血領域が所定の範囲を超えたと判定された場合に、前記補正画像を前記画像表示部に表示するように切り替える表示画像切替部と、を備える蛍光観察装置を提供する。
　本態様によれば、光源から発せられた励起光が被検体に照射されると、蛍光画像生成部により被検体において発生した蛍光に基づく蛍光画像が生成され、光源から発せられた参照光が被検体に照射されると、参照画像生成部によりその戻り光に基づく参照画像が生成される。そして、補正画像生成部により、参照画像に対して、蛍光画像における第１閾値以上の輝度の画素、すなわち、被検体の病変部などから発せられた強い蛍光に起因して高輝度となる画素と対応する参照画像の画素を強調した補正画像が生成される。また、出血状態判定部により、参照画像に基づいて被検体の出血領域が所定の範囲を超えるか否かが判定される。その結果、出血領域が所定の範囲を超えていないと判定された場合に前記参照画像が前記画像表示部に表示され、出血領域が所定の範囲を超えたと判定された場合には補正画像が表示される。
　すなわち、医師等の観察者は、出血領域が所定の範囲を超えていない場合には、画像表示部に表示されている参照画像を観察しながら処置を行い、処置の過程において、出血が発生することにより出血領域が所定の範囲を超えた場合には、参照画像に代えて画像表示部に表示される補正画像を観察することになる。これにより、蛍光画像における第１閾値以上の輝度の画素、つまり、蛍光物質が特異的に集積する病変部等を強調した補正画像が画像表示部に表示されるので、処置中に出血が生じて病変部や血管等の組織が血液により覆われてしまった場合であっても、当該病変部等の領域を把握することができる。
　上記した態様においては、前記補正画像生成部が、前記参照画像のうち、前記出血状態判定部により検出された出血領域であって、かつ、前記蛍光画像における第１閾値以上の輝度値の画素と対応する画素を強調するように補正した補正画像を生成することが好ましい。
　このように、手術中に出血が生じた場合であっても、必ずしも病変部や血管等が全て血液で覆われるとは限らないことから、参照画像のうち、出血状態判定部により検出された出血領域に含まれ、かつ、蛍光画像における第１閾値以上の輝度値の画素と対応する画素を強調した補正画像を生成することで、処理ないしは演算に要する時間や演算量を削減しつつ、病変部や血管等の所望の組織の領域を把握することができる。
　上記した態様において、前記補正画像生成部が、前記参照画像のうち、前記蛍光画像における第１閾値以上の輝度の画素と対応する画素の所定の色信号に対して、前記蛍光画像における第１閾値以上の輝度の画素の当該輝度に基づく信号値を加算することにより補正画像を生成することが好ましい。
　このようにすることで、被検体から強く蛍光が発せられた病変部等に対応する画素の信号強度を高くすることができる。その結果、当該画素を強調することができ、補正画像において正確に当該病変部や血管等の所望の組織の領域を把握することができる。
　上記した態様において、前記補正画像生成部は、前記参照画像のうち、前記蛍光画像における第１閾値以上の輝度値の画素と対応する画素に対して色変換処理を行うことにより補正画像を生成することが好ましい。
　このようにすることで、被検体から強く蛍光が発せられた病変部等を強調することができ、補正画像において正確に当該病変部等の領域を把握することができる。
　上記した態様において、前記補正画像生成部が、前記蛍光画像を前記参照画像のＲ信号で除算した除算画像を生成し、前記参照画像のうち、前記除算画像における第２閾値以上の輝度の画素と対応する画素を強調するように補正した補正画像を生成することが好ましい。
　このように蛍光画像を参照画像のＲ信号で除算することにより、出血領域が赤色であることを考慮し、且つ、観察距離や観察角度に依存する蛍光強度変化を軽減した除算画像が生成される。そして、参照画像に対して、除算画像おける第２閾値以上の輝度の画素と対応する画素を強調した補正画像を生成するので、より正確に当該病変部や血管等の所望の組織の領域を把握することができる。
　上記した態様において、前記補正画像生成部が、前記参照画像のうち、前記出血状態判定部により検出された出血領域であって、かつ、前記除算画像における第２閾値以上の輝度値の画素と対応する画素を強調するように補正した補正画像を生成することが好ましい。
　このように、手術中に出血が生じた場合であっても、必ずしも病変部や血管等が全て血液で覆われるとは限らないことから、参照画像のうち、出血状態判定部により検出された出血領域に含まれ、かつ、除算画像における第２閾値以上の輝度値の画素と対応する画素を強調した補正画像を生成することで、処理ないしは演算に要する時間や演算量を削減しつつ、病変部や血管等の所望の組織の領域を把握することができる。
　上記した態様において、前記補正画像生成部が、前記参照画像のうち、前記除算画像における第２閾値以上の輝度の画素と対応する画素の所定の色信号に対して、前記除算画像における第２閾値以上の輝度の画素の当該輝度に基づく信号値を加算することにより補正画像を生成することが好ましい。
　このようにすることで、被検体から強く蛍光が発せられた病変部等を強調することができるので、補正画像において正確に当該病変部や血管等の所望の組織の領域を把握することができる。
　上記した態様において、前記補正画像生成部は、前記参照画像のうち、前記除算画像における第２閾値以上の輝度値の画素と対応する画素に対して色変換処理を行うことにより補正画像を生成することが好ましい。
　このようにすることで、被検体から強く蛍光が発せられた病変部等を強調することができるので、補正画像において正確に当該病変部や血管等の所望の組織の領域を把握することができる。
　上記した態様において、前記出血状態判定部によって出血領域が所定の範囲を超えていないと判定された場合に前記励起光を照射せずに、出血領域が所定の範囲を超えたと判定された場合に前記励起光を照射することが好ましい。
　このように、出血領域が所定の範囲を超えたと判定された場合に励起光を照射することで、蛍光色素の褪色を防止することができる。すなわち、蛍光画像を得るには、被検体に予め蛍光薬剤を投与しておく必要があるところ、長時間に及ぶ手術中に励起光を照射し続けると蛍光薬剤による蛍光が褪色する。そこで、必要に応じて励起光を照射することで、蛍光色素の褪色を防止し、高品質な蛍光画像を取得することにより、延いては、補正画像において正確に病変部や血管等の所望の組織の領域を把握することができる。
　上記した態様において、前記出血状態判定部が、前記参照画像の中心部近傍を含む所定領域における出血領域を検出し、該出血領域が所定の範囲を超えるか否かを判定することが好ましい。
　このようにすることで、処理ないしは演算に要する時間や演算量を削減しつつ、病変部や血管等の所望の組織の領域を把握することができる。すなわち、一般に、術者は、手術中において、病変部など処置対象部位を表示部の中心となるように参照画像を取得する。また、出血が生じた場合であっても、例えば、出血領域が処置に無関係であって、参照画像の端部である場合もある。そこで、参照画像の中心部近傍を含む所定領域における出血領域を検出すると共に出血領域が所定の範囲を超えるか否かを判定することにより、処理ないしは演算に要する時間や演算量を削減することができる。
　上記した態様において、前記出血状態判定部が、前記参照画像の各画素のＲ信号に対する信号強度と、該各画素のＧ信号又はＢ信号の少なくとも一方とを比較することにより出血領域を検出してもよい。
　このようにすることで、血液の色である赤色を効果的に検出するので、正確に出血領域を検出することができる。
　本発明によれば、手術中に出血が生じた場合であっても、取得される画像において病変部や血管等の所望の組織の領域を把握することができるという効果を奏する。
本発明の第１の実施形態に係る内視鏡装置の概略構成図である。 本発明の第１の実施形態に係る内視鏡装置において生成される白色光画像及び補正画像の説明図である。 本発明の第１の実施形態に係る内視鏡装置において出血状態を判定する場合のフローチャートである。 本発明の第１の実施形態の変形例に係る内視鏡装置の作用を示すフローチャートである。 本発明の第３の実施形態の変形例に係る内視鏡装置の概略構成図である。 本発明の第４の実施形態の変形例に係る内視鏡装置において出血状態を判定する場合のフローチャートである。 本発明の第５の実施形態に係る内視鏡装置の概略構成図である。
（第１の実施形態）
　以下、本発明の第１の実施形態について、図面を参照して説明する。
　本実施形態に係る蛍光観察装置としての内視鏡装置１００は、図１に示すように、体腔内に挿入される細長いスコープ２と、スコープ２の先端２ａから射出させる照明光を発する光源１０を備える照明ユニット２０と、スコープ２内に配置され被検体である処置対象部位Ｘの画像情報を取得する撮影ユニット３０と、撮影ユニット３０により取得された画像情報を処理する画像処理部４０と、画像処理部４０により処理された画像及び画像情報等を表示するモニタ（画像表示部）５０とを備えている。
　光源１０は、照明光を発するキセノンランプ（Ｘｅランプ）１１と、キセノンランプ１１から発せられた照明光から励起光を含む白色光を切り出す励起光フィルタ１３と、励起光フィルタ１３により切り出された励起光を含む白色光を集光するカップリングレンズ１５とを備えている。励起光フィルタ１３は、例えば、波長帯域が４００～７４０ｎｍの励起光を含む白色光を切り出すようになっている。
　また、照明ユニット２０には、スコープ２の長手方向の略全長にわたって配置されたライトガイドファイバ２１と、スコープ２の先端２ａに配置された拡散レンズ２３とが備えられている。
　ライトガイドファイバ２１は、カップリングレンズ１５によって集光された励起光を含む白色光をスコープ２の先端２ａまで導光するものである。拡散レンズ２３は、ライトガイドファイバ２１により導光された励起光を含む白色光を拡散させて処置対象部位Ｘに照射するようになっている。
　撮影ユニット３０は、照明ユニット２０により励起光を含む白色光が照射された処置対象部位Ｘから戻る戻り光を集光する対物レンズ３１と、対物レンズ３１により集光された戻り光を波長ごとに分岐するビームスプリッタ３３とを備えている。
　対物レンズ３１は、スコープ２の先端２ａに拡散レンズ２３と並列して配置されている。ビームスプリッタ３３は、戻り光のうち、励起波長以上の光（励起光及び蛍光）を反射し、励起波長より波長が短い白色光（戻り光）を透過するようになっている。
　また、この撮影ユニット３０には、ビームスプリッタ３３により反射された励起光及び蛍光のうち、励起光を遮断して蛍光（例えば、近赤外蛍光）のみを透過させる励起光カットフィルタ３５と、励起光カットフィルタ３５を透過した蛍光を集光する集光レンズ３７Ａ及びビームスプリッタ３３を透過した白色光を集光する集光レンズ３７Ｂと、集光レンズ３７Ａにより集光された蛍光を撮影する蛍光撮影部３８及び集光レンズ３７Ｂにより集光された白色光を撮影する白色光撮影部３９とを備えている。
　励起光カットフィルタ３５は、例えば、波長帯域が７６５～８５０ｎｍの蛍光のみを透過させる。蛍光撮影部３８は、例えば、蛍光用の高感度モノクロＣＣＤであり、この蛍光撮影部３８は、蛍光を撮影することにより蛍光画像情報を取得するようになっている。白色光撮影部３９は、例えば、白色光用のカラーＣＣＤであり、モザイクフィルタ（図示略）を備えている。この白色光撮影部３９は、白色光を撮影することにより白色光画像情報を取得するようになっている。
　画像処理部４０は、蛍光画像を生成する蛍光画像生成部４１と、白色光画像（参照画像）を生成する白色光画像生成部（参照画像生成部）４２と、白色光画像生成部４２により生成された白色光画像を補正して補正画像を生成する補正画像生成部４３と、白色光画像に基づいて処置対象部位Ｘの出血状態を判定する出血状態判定部４４と、出血状態判定部４４の判定結果に基づいてモニタ５０に表示する画像を切り替える表示画像切替部４５と、を備えている。
　蛍光画像生成部４１は、蛍光撮影部３８により取得された蛍光画像情報から２次元的な蛍光画像を生成し、生成した蛍光画像を補正画像生成部４３に出力する。
　白色光画像生成部４２は、白色光撮影部３９により取得された白色光画像情報から２次元的な白色光画像を生成し、生成した白色光画像を補正画像生成部４３、出血状態判定部４４及び表示画像切替部４５に出力する。なお、図２（Ａ）に処置対象部位Ｘの白色光画像の例を示し、図２（Ｂ）に、処置対象部位Ｘに出血した場合の白色光画像の例を示した。
　補正画像生成部４３は、白色光画像のうち、蛍光画像における第１閾値以上の輝度の画素と対応する画素を強調するように補正した補正画像を生成する。すなわち、処置対象部位Ｘにおける病変部などから発せられた強い蛍光に起因して高輝度となる画素と対応する白色光画像の画素を強調した補正画像を生成する。なお、図２（Ｃ）に補正画像の例を示した。
　具体的には、補正画像生成部４３による補正画像の生成は以下のように行われる。補正画像生成部４３は、蛍光画像から画素毎に予め定めた第１閾値と比較して第１閾値以上の輝度の画素を抽出し、白色光画像のうち、蛍光画像における第１閾値以上の輝度の画素と対応する画素からなる領域を補正対象領域と定める。
　そして、例えば、以下の数式のように、白色光画像の補正対象領域の各画素のＧチャンネルに対して、蛍光画像における対応する各画素の信号値（例えば、輝度値の定数倍）を加算する。
　　　Ｏｇ（ｉ）＝Ｗｇ（ｉ）+αＦ（ｉ）
　　　Ｏｒ（ｉ）＝Ｗｒ（ｉ）
　　　Ｏｂ（ｉ）＝Ｗｂ（ｉ）
　ここで、αは、予め定められた定数であって、Ｏｒ（ｉ），Ｏｇ（ｉ），Ｏｂ（ｉ）は補正画像のｉ番目の画素におけるＲ，Ｇ，Ｂチャンネルの信号強度であり、Ｗｒ（ｉ），Ｗｇ（ｉ），Ｗｂ（ｉ）は白色光画像のｉ番目の画素におけるＲ，Ｇ，Ｂチャンネルの信号強度であり、Ｆ（ｉ）は蛍光画像のｉ番目の画素における信号強度である。
　このように、補正対象領域の各画素の特定の色信号（例えば、Ｇチャンネル）に対して、蛍光画像における対応する各画素の輝度に基づく信号値を加算することにより当該画素を強調した、すなわち、補正対象領域を強調した補正画像を生成する。
　出血状態判定部４４は、白色光画像生成部４２から入力された白色光画像に基づいて処置対象部位Ｘの出血領域を検出し、出血領域が所定の範囲を超えるか否かを判定し、判定結果を表示画像切替部４５に出力する。具体的には、出血状態判定部４４は、白色光画像に含まれる全画素から、各画素のＲチャンネルの信号値が所定の閾値Ａを超える画素を抽出し、さらに、抽出された各画素のＲチャンネルの信号値に対するＧチャンネルの信号値が閾値Ｂよりも低い画素を出血画素とし、この出血画素からなる領域を出血領域として検出する。
　そして、検出された出血領域が所定の範囲を超えた場合、すなわち出血画素の総数が所定の閾値Ｃよりも大きい場合は、出血領域が大きいため出血状態と判定する。また、出血領域が所定の範囲を超えていないと判定された場合、すなわち、出血画素の総数が閾値Ｃよりも小さい場合には、出血領域が小さいため出血状態でないと判定する。
　表示画像切替部４５は、出血状態判定部４４の判定結果に基づいて、出血領域が所定の範囲を超えていないと判定された場合、すなわち出血状態でないと判定された場合に白色光画像をモニタ５０に表示し、出血領域が所定の範囲を超えたと判定された場合、すなわち出血状態であると判定された場合に、補正画像をモニタ５０に表示するように切り替える。
　このように構成された本実施形態に係る内視鏡装置１００を用いて体腔内における処置対象部位Ｘに対して所望の処置（手術）を行う際に、処置対象部位Ｘが出血したか否かの流れ、すなわち、出血状態判定部４４による出血状態の判定の流れについて図３のフローチャートに従って説明する。
　出血状態判定部４４は、ステップＳ１１１で、白色光画像生成部４２にて生成された白色光画像の入力を受け付け、次のステップＳ１１２で白色光画像中の出血画素数のカウントを開始する。すなわち、ステップＳ１１２で、出血状態判定部４４は、白色光画像中の全画素に対して画素毎に出血画素であるか否かを判定し、出血画素の総数の計算を開始する。この計算の開始時において、出血画素の総数Ｃｎｔ＝０であり、白色光画像中の予め定めた１番目の画素（ｉ＝１）から順に白色光画像中の全画素に対して出血画素であるか否かの判定を行う。出血状態判定部４４は、ステップＳ１１２からステップＳ１１７において、出血画素の総数を計算することにより処置対象領域中の出血領域を検出する。
　次のステップＳ１１３で、まず１番目の画素から順にＲチャンネルの信号値（以下、Ｒ信号という）と所定の閾値Ａとを比較し、Ｒ信号が所定の閾値Ａを下回った判定された場合は、当該画素が出血していないとしてステップＳ１１４に進み、次の画素に対する出血画素であるか否かの判定に進む。これは、血液が赤色であることから、Ｒ信号の値が小さい場合には赤色が検出されていないとして当該画素が出血していないと判断できるためである。一方、Ｒ信号が所定の閾値Ａを超えたと判定された場合には、当該画素が出血している可能性があるとして次のステップＳ１１５に進む。
　次のステップＳ１１５では、当該画素のＲ信号に対するＧチャンネルの信号値（以下、Ｇ信号という）の値、すなわち、Ｇ信号／Ｒ信号と所定の閾値Ｂとを比較し、Ｇ信号／Ｒ信号が閾値Ｂを超えた場合には、当該画素が出血していないとしてステップＳ１１４に進み、次の画素に対する出血画素であるか否かの判定に進む。一方、Ｇ信号／Ｒ信号が閾値Ｂを下回った場合には、当該画素が出血しているとして次のステップＳ１１６に進む。これは、当該画素が出血している場合には、Ｒ信号が高く、Ｇ信号ないしはＢ信号が吸収されてしまい、Ｇ信号ないしはＢ信号の値が小さくなるのでＧ信号／Ｒ信号の値も小さくなる。従って、Ｇ信号／Ｒ信号が閾値Ｂより小さい場合は、当該画素が出血していると判断できるためである。
　次のステップＳ１１６では、ステップＳ１１５において出血画素と判定された画素を出血画素の総数に計上する。ステップＳ１１７では、白色光画像の全画素数と出血画素の判定を行った画素数とを比較することにより、出血画素であるか否かの判定が白色光画像の全画素に対して行われたかを判断する。判断の結果、全画素に対して出血画素の判定が行われていないと判定された場合には、ステップＳ１１４に進み、次の画素に対する出血画素であるか否かの判定に進む。
　判断の結果、全画素に対して出血画素の判定が行われたと判定された場合には、ステップＳ１１８に進む。ステップＳ１１８では、ステップＳ１１２からステップＳ１１７において、出血画素の総数を計算することにより検出された処置対象領域中の出血領域を所定の閾値Ｃと比較することにより、処置対象領域の出血状態を判定する。すなわち、出血状態判定部４４は、ステップＳ１１８において、それまでに計上された出血画素の総数（Ｃｎｔ）を所定の閾値Ｃと比較し、出血画素の総数が閾値Ｃを上回る場合には出血領域が大きいため、ステップＳ１１９に進み出血状態と判定する。出血画素の総数が閾値Ｃを下回る場合には出血領域が小さいため、ステップＳ１２０に進み出血状態でないと判定する。ステップＳ１２１では、出血状態又は出血状態でない、の何れかの判定結果を表示画像切替部４５に出力する。
　続いて、上述のように構成された本実施形態に係る内視鏡装置１００を用いて体腔内における処置対象部位Ｘに対して所望の処置（手術）を行う場合の流れについて、図４のフローチャートに従って説明する。
　まず、内視鏡装置１００を用いて生体の体腔内の処置対象部位Ｘを手術する際に、癌細胞等の病変部に特異的に集積する蛍光薬剤を処置対象部位Ｘに付着または吸収させ、その後、処置対象部位Ｘの画像情報を取得する（ステップＳ２１１）。すなわち、蛍光薬剤を処置対象部位Ｘに付着または吸収させた状態で、処置対象部位Ｘに励起光を照射することにより、蛍光薬剤を励起し処置対象部位Ｘから蛍光を生じさせる。
　より具体的には、本実施形態においては、蛍光薬剤を処置対象部位Ｘに付着または吸収させた状態で、体腔内にスコープ２を挿入して先端２ａを処置対象部位Ｘに対向させる。この状態で、光源１０を作動させることによりキセノンランプ１１から発せられて励起光フィルタ１３によって切り出される励起光を含む白色光が、カップリングレンズ１５により集光され、ライトガイドファイバ２１によりスコープ２の先端２ａへと導光される。そして、この白色光が拡散レンズ２３により拡散され、処置対象部位Ｘに照射される。
　処置対象部位Ｘにおいては、内部に含まれている蛍光物質が励起光によって励起されることにより蛍光が発せられるとともに、表面において白色光及び励起光の一部が反射させられる。これら蛍光、白色光及び励起光は、対物レンズ３１により集光され、ビームスプリッタ３３により励起波長以上の光、すなわち、励起光及び蛍光が反射され、励起波長より波長が短い白色光は透過させられる。
　ビームスプリッタ３３により反射された励起光及び蛍光は、励起光カットフィルタ３５により励起光が除去され、蛍光のみが集光レンズ３７Ａにより集光されて蛍光撮影部３８により撮影される。これにより、蛍光撮影部３８において処置対象部位Ｘの蛍光画像情報が取得される。また、ビームスプリッタ３３を透過した白色光は、集光レンズ３７Ｂによって集光され、白色光撮影部３９により撮影される。これにより、白色光撮影部３９において、処置対象部位Ｘの白色光画像情報が取得される。なお、蛍光画像情報と白色光画像情報は、どちらを先に取得してもよいし同時に取得してもよい。
　次のステップＳ２１２では、蛍光撮影部３８により取得された蛍光画像情報及び白色光撮影部３９により取得された白色光画像情報が、それぞれ画像処理部４０の蛍光画像生成部４１及び白色光画像生成部４２に入力される。蛍光画像生成部４１では、蛍光画像情報に基づいて２次元的な蛍光画像を生成し、生成された蛍光画像は、補正画像生成部４３に出力される。また、白色光画像生成部４２では、白色光画像情報に基づいて２次元的な白色光画像を生成し、生成された白色光画像は補正画像生成部４３、出血状態判定部４４及び表示画像切替部４５に出力される。
　次のステップＳ２１３では、補正画像生成部４３において、補正画像を生成する。すなわち、補正画像生成部４３は、蛍光画像から画素毎に予め定めた第１閾値と比較して第１閾値以上の輝度の画素を抽出し、白色光画像のうち、蛍光画像における第１閾値以上の輝度の画素と対応する画素のＧチャンネルに対して、蛍光画像における対応する各画素の輝度値の定数倍を加算することにより補正画像を生成し、生成された補正画像を表示画像切替部４５に出力する。
　次のステップＳ２１４では、上述のように出血状態判定部４４により処置対象部位Ｘの出血状態を判定し、判定結果を表示画像切替部４５に出力する。ステップＳ２１５では、表示画像切替部４５によって出血状態判定部４４からの判定結果に応じて表示画像を切り替える。すなわち、ステップＳ２１５では、表示画像切替部４５に入力された出血状態の判定結果が如何なるものであったかを判断し、出血状態でないとの判定結果が入力された場合にはステップＳ２１７に進み、出血状態であるとの判定結果が入力された場合にはステップＳ２１６に進む。
　ステップＳ２１７では、出血状態でないことからモニタ５０に白色光画像を表示し、次の画像情報の取得のため、ステップＳ２１１に戻る。また、ステップＳ２１６では、出血状態であるためモニタ５０に補正画像を表示する。
　以上説明したように、本実施形態に係る内視鏡装置１００によれば、出血領域を検出すると共に出血領域が所定の範囲を超えた場合に処置対象部位が出血状態にあることを判定し、白色光画像中の第１閾値以上の輝度の画素を強調することにより、出血によって覆われてしまった病変部や血管等の組織を強調した補正画像をモニタに表示するので、手術中に出血が生じて病変部や血管等の組織が血液により覆われてしまった場合であっても、当該病変部や血管等の所望の組織の領域を把握することができる。
　励起光及び蛍光は、血液に吸収されにくい波長の光（例えば近赤外光７００ｎｍ－１０００ｎｍ）を選択することが望ましい。
　これにより、組織が血で覆われている場合においても、励起光の多くが蛍光薬剤を含む組織に到達し、組織で発生した蛍光も多く内視鏡に到達することができる。
（第２の実施形態）
　次に、本発明の第２の実施形態について説明する。
　上記した第１の実施形態に係る内視鏡装置１００では、補正画像生成部４３は、白色光画像の補正対象領域の各画素のＧ信号に、蛍光画像における対応する各画素の信号値の定数倍を加算して補正画像を生成することとしたが、このような構成に限られるものではなく、例えば、補正画像生成部４３が、白色光画像のうち、蛍光画像における第１閾値以上の輝度値の画素と対応する画素に対して色変換処理を行うことにより補正画像を生成してもよい。
　具体的には、補正画像生成部４３は、蛍光画像から画素毎に予め定めた第１閾値と比較して第１閾値以上の輝度の画素を抽出し、白色光画像のうち、蛍光画像における第１閾値以上の輝度の画素と対応する画素からなる領域を補正対象領域と定める。
　そして、白色光画像の補正対象領域に対して、例えば以下のような色変換マトリクスを乗じることにより、血液で赤くなった補正対象領域を緑色に変換する。
Figure JPOXMLDOC01-appb-M000001
  
　ここで、Ｏｒ（ｉ），Ｏｇ（ｉ），Ｏｂ（ｉ）は補正画像のｉ番目の画素におけるＲ，Ｇ，Ｂチャンネルの信号強度であり、Ｗｒ（ｉ），Ｗｇ（ｉ），Ｗｂ（ｉ）は白色光画像のｉ番目の画素におけるＲ，Ｇ，Ｂチャンネルの信号強度である。
　このように、補正対象領域に色変換マトリクスを乗じることで、補正対象領域の赤色を他の色に変換することができ、補正対象領域、すなわち出血によって覆われてしまった病変部や血管等の組織を、出血の色とは異なる色に変えて表示することで容易に把握することができる。なお、補正対象領域に色変換マトリクスを乗じた場合、補正対象領域に含まれる画素の明暗に関する情報は維持され色のみを変更することができる。上記した数式１においては、補正対象領域の赤色を緑色に変換する例を示したが、これに限られず、例えば青色等に変換してもよい。
（第３の実施形態）
　次に、本発明の第３の実施形態について説明する。
　上記した第１の実施形態に係る内視鏡装置１００では、補正画像生成部４３は、白色光画像のうち、蛍光画像における第１閾値以上の輝度の画素と対応する画素を強調するように補正した補正画像を生成したが、本実施形態においては、白色光画像のうち、蛍光画像を白色光画像のＲ信号により除算した除算画像における第２閾値以上の輝度の画素と対応する画素を強調するように補正した補正画像を生成する。
　このため、図５に示すように、本変形例にかかる内視鏡装置２００は、補正画像生成部４３が蛍光画像を白色光画像により除算した除算画像を生成する除算画像生成部４６を備えている。
　除算画像生成部４６では、蛍光画像生成部４１から入力された蛍光画像を白色光画像生成部４２から入力された白色光画像のＲ信号で除算することにより除算画像を生成する。そして、補正画像生成部４３では、除算画像から画素毎に予め定めた第２閾値と比較して第２閾値以上の輝度の画素を抽出し、白色光画像のうち、除算画像における第２閾値以上の輝度の画素と対応する画素からなる領域を補正対象領域と定める。
　そして、補正画像生成部４３は、上述した第１の実施形態又は第２の実施形態のように、除算画像に基づいて抽出された補正対象領域の各画素のＧチャンネルに対して、蛍光画像における対応する各画素の信号値（例えば、輝度値の定数倍）を加算したり、補正対象領域に色変換マトリクスを乗じることにより補正画像を生成する。
　このように、蛍光画像を参照画像のＲ信号で除算することにより、出血領域が赤色であることを考慮し、且つ、観察距離や観察角度に依存する蛍光強度変化を軽減した除算画像が生成される。そして、白色光画像に対して、除算画像おける第２閾値以上の輝度の画素と対応する画素を強調した補正画像を生成するので、より正確に当該病変部や血管等の所望の組織の領域を把握することができる。
（第４の実施形態）
　次に、本発明の第４の実施形態について説明する。
　上述した第１の実施形態乃至第３の実施形態においては、出血状態の判定を処置対象部位Ｘ全体、すなわち、白色光画像全体に亘って行っていた。しかし、通常は処置対象部位Ｘのうち、特に病変部等の処置すべき箇所をモニタの中心に表示して処置を進めることが一般的である。そこで、本実施形態においては、出血状態判定部４４が、白色光画像の中心部近傍を含む所定領域対して出血状態を判定する例について図６のフローチャートを参照して説明する。所定領域としては、例えば、表示画像の上下左右から１／４を除いた中心領域を例示する。
　図６は、出血状態判定部４４が、白色光画像の中心部近傍を含む所定領域対して出血状態を判定する場合の流れを示している。出血状態判定部４４は、ステップＳ３１１において、白色光画像生成部４２にて生成された白色光画像の入力を受け付け、次のステップＳ３１２で中心部近傍を含む予め定められた出血判定領域を検出すると共に、出血判定領域中のエッジ検出を行う。病変部等の処置すべき個所には、処置具としての鉗子等が存在するが、鉗子の白色光画像における色乃至輝度は生体組織のそれと大きく異なる。従って、ステップＳ３１２で、エッジ検出を行うことにより出血判定領域を生体組織の領域と生体組織以外の領域とに領域分けを行う。そして、次のステップＳ３１３で、生体組織領域中の全画素のＲ信号の平均信号強度Ｒｍｖを算出し、さらに次のステップＳ３１４で生体組織中の全画素のＧ信号の平均信号強度Ｇｍｖを算出する。
　次のステップＳ３１５では、平均信号強度Ｇｍｖに対する平均信号強度Ｒｍｖ（Ｇｍｖ／Ｒｍｖ）と所定の閾値Ｂｍｖとを比較し、Ｇｍｖ／Ｒｍｖが閾値Ｂｍｖを超えた場合には、当該画素が出血していないとしてステップＳ３１７に進み、Ｇｍｖ／Ｒｍｖが閾値Ｂｍｖを下回った場合には、当該画素が出血しているとして次のステップＳ３１６に進む。
　これは、出血判定領域が出血している場合にはＲｍｖが高くなるのでＧｍｖ／Ｒｍｖの値も高くなり、出血判定領域が出血していない場合にはＲｍｖが小さくなるのでＧｍｖ／Ｒｍｖの値も小さくなる。従って、Ｇｍｖ／Ｒｍｖが閾値Ｂｍｖより大きい場合には、出血判定領域が出血状態であると判定でき、Ｇｍｖ／ＲｍｖがＢｍｖより小さい場合は、出血判定領域が出血状態でないと判断できるためである。ステップＳ３１８では、出血状態又は出血状態でない、の何れかの判定結果を表示画像切替部４５に出力する。
　画像演算における計算コストを少なくすることができ、画像表示の遅延を小さくすることができる。
（第５の実施形態）
　続いて、本発明の第５の実施形態について説明する。
　蛍光画像を得るには、処置に先立って、癌細胞等の病変部に特異的に集積する蛍光薬剤を処置対象部位Ｘに付着または吸収させておく必要がある。しかし、処置や手術が長時間に及ぶような場合に、励起光を照射し続けると蛍光薬剤による蛍光が褪色する。このため、本実施形態では、図７に示すように、光源１０を制御する光源制御部５２を設けた内視鏡装置３００を示した。
　光源制御部５２は、出血状態判定部４４から出血状態の判定結果を受信し、受信した判定結果が出血状態であった場合に、光源１０に対して励起光を照射するための指令信号を出力する。このように、必要に応じて励起光を照射することで、蛍光色素の褪色を防止することができるので、褪色に起因して蛍光画像の品質が低下する虞がなく、補正画像において正確に病変部や血管等の所望の組織の領域を把握することができる。
　なお、上述した実施形態においては、出血状態であると判定された場合には、白色光画像の蛍光画像の所定の輝度以上の画素と対応する画素の全てを強調した補正画像を生成する例を示したが、これに限られるものではない。例えば、出血状態判定部４４から出血状態に係る情報を画像補正部に出力することにより、画像補正部４３において、出血状態判定部４４により出血していると判定された領域に含まれ、且つ、病変部すなわち白色光画像の蛍光画像の所定の輝度以上の画素と対応する画素のみを強調した補正画像を生成することもできる。このようにすることで、補正画像作成の処理ないしは演算に要する時間や演算量を削減しつつ、病変部や血管等の所望の組織の領域を把握することができる。
　また、本実施形態においては、内視鏡装置を例示して説明したが、これに限定されるものではなく、他の任意の蛍光観察装置に適用することにしてもよい。
１０　　光源
４１　　蛍光画像生成部
４２　　白色光画像生成部（参照画像生成部）
４３　　補正画像生成部
４４　　出血状態判定部
４５　　表示画像切替部
４６　　除算画像生成部
５０　　モニタ（画像表示部）
５２　　光源制御部
１００　内視鏡装置（蛍光観察装置）
２００　内視鏡装置（蛍光観察装置）
３００　内視鏡装置（蛍光観察装置）

Claims (11)

  1. 　被検体に励起光及び参照光を照射する光源と、
    　該光源からの前記励起光の照射により前記被検体において発生した蛍光を撮影し蛍光画像を生成する蛍光画像生成部と、
    　前記光源からの前記参照光の照射により前記被検体から戻る戻り光を撮影し参照画像を生成する参照画像生成部と、
    　前記参照画像のうち、前記蛍光画像における第１閾値以上の輝度の画素と対応する画素を強調するように補正した補正画像を生成する補正画像生成部と、
    　前記参照画像又は前記補正画像を表示する画像表示部と、
    　前記参照画像に基づいて前記被検体の出血領域を検出し、該出血領域が所定の範囲を超えるか否かを判定する出血状態判定部と、
    　該出状態判定部によって前記出血領域が所定の範囲を超えていないと判定された場合に前記参照画像を前記画像表示部に表示し、出血領域が所定の範囲を超えたと判定された場合に、前記補正画像を前記画像表示部に表示するように切り替える表示画像切替部と、
    を備える蛍光観察装置。
  2. 　前記補正画像生成部が、前記参照画像のうち、前記出血状態判定部により検出された前記出血領域であって、かつ、前記蛍光画像における第１閾値以上の輝度値の画素と対応する画素を強調するように補正した前記補正画像を生成する請求項１に記載の蛍光観察装置。
  3. 　前記補正画像生成部が、前記参照画像のうち、前記蛍光画像における第１閾値以上の輝度の画素と対応する画素の所定の色信号に対して、前記蛍光画像における第１閾値以上の輝度の画素の当該輝度に基づく信号値を加算することにより前記補正画像を生成する請求項１又は請求項２に記載の蛍光観察装置。
  4. 　前記補正画像生成部が、前記参照画像のうち、前記蛍光画像における第１閾値以上の輝度値の画素と対応する画素に対して色変換処理を行うことにより前記補正画像を生成する請求項１乃至請求項３の何れか１項に記載の蛍光観察装置。
  5. 　前記補正画像生成部が、前記蛍光画像を前記参照画像のＲ信号で除算した除算画像を生成し、前記参照画像のうち、前記除算画像における第２閾値以上の輝度の画素と対応する画素を強調するように補正した前記補正画像を生成する請求項１に記載の蛍光観察装置。
  6. 　前記補正画像生成部が、前記参照画像のうち、前記出血状態判定部により検出された前記出血領域であって、かつ、前記除算画像における第２閾値以上の輝度値の画素と対応する画素を強調するように補正した前記補正画像を生成する請求項５に記載の蛍光観察装置。
  7. 　前記補正画像生成部が、前記参照画像のうち、前記除算画像における第２閾値以上の輝度の画素と対応する画素の所定の色信号に対して、前記除算画像における第２閾値以上の輝度の画素の当該輝度に基づく信号値を加算することにより前記補正画像を生成する請求項５又は請求項６に記載の蛍光観察装置。
  8. 　前記補正画像生成部が、前記参照画像のうち、前記除算画像における第２閾値以上の輝度値の画素と対応する画素に対して色変換処理を行うことにより前記補正画像を生成する請求項５乃至請求項７の何れか１項に記載の蛍光観察装置。
  9. 　前記光源は、前記出血状態判定部によって前記出血領域が所定の範囲を超えていないと判定された場合に前記励起光を照射せずに、前記出血領域が所定の範囲を超えたと判定された場合に前記励起光を照射する請求項１乃至請求項８の何れか１項に記載の蛍光観察装置。
  10. 　前記出血状態判定部が、前記参照画像の中心部近傍を含む所定領域における前記出血領域を検出し、前記出血領域が所定の範囲を超えるか否かを判定する請求項１乃至請求項９の何れか１項に記載の蛍光観察装置。
  11. 　前記出血状態判定部が、前記参照画像の各画素のＲ信号に対する信号強度と、該各画素のＧ信号又はＢ信号の少なくとも一方とを比較することにより前記出血領域を検出する請求項１乃至請求項１０の何れか１項に記載の蛍光観察装置。
PCT/JP2012/074560 2011-10-06 2012-09-25 蛍光観察装置 WO2013051431A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2013537472A JP6042817B2 (ja) 2011-10-06 2012-09-25 蛍光観察装置
CN201280048230.4A CN103841876B (zh) 2011-10-06 2012-09-25 荧光观察装置
US14/242,111 US9687158B2 (en) 2011-10-06 2014-04-01 Fluorescence observation apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-222153 2011-10-06
JP2011222153 2011-10-06

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/242,111 Continuation US9687158B2 (en) 2011-10-06 2014-04-01 Fluorescence observation apparatus

Publications (1)

Publication Number Publication Date
WO2013051431A1 true WO2013051431A1 (ja) 2013-04-11

Family

ID=48043593

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/074560 WO2013051431A1 (ja) 2011-10-06 2012-09-25 蛍光観察装置

Country Status (4)

Country Link
US (1) US9687158B2 (ja)
JP (1) JP6042817B2 (ja)
CN (1) CN103841876B (ja)
WO (1) WO2013051431A1 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016203572A1 (ja) * 2015-06-17 2016-12-22 オリンパス株式会社 撮像装置
WO2017199509A1 (ja) * 2016-05-19 2017-11-23 オリンパス株式会社 生体観察システム
JP2017221486A (ja) * 2016-06-16 2017-12-21 ソニー株式会社 情報処理装置、情報処理方法、プログラム及び医療用観察システム
WO2018083888A1 (ja) * 2016-11-01 2018-05-11 オリンパス株式会社 画像処理装置
WO2018198255A1 (ja) * 2017-04-26 2018-11-01 オリンパス株式会社 画像処理装置、画像処理装置の作動方法およびプログラム
WO2019116947A1 (ja) * 2017-12-15 2019-06-20 Hoya株式会社 電子内視鏡システム
JP2021090782A (ja) * 2021-02-04 2021-06-17 ソニーグループ株式会社 情報処理システム、情報処理方法及びプログラム
WO2023276158A1 (ja) * 2021-07-02 2023-01-05 オリンパスメディカルシステムズ株式会社 内視鏡プロセッサ、内視鏡装置及び診断用画像表示方法

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2724657B1 (en) * 2011-06-21 2015-08-05 Olympus Corporation Fluorescence observation system, and method fluorescence image processing
JP5926909B2 (ja) 2011-09-07 2016-05-25 オリンパス株式会社 蛍光観察装置
KR101916855B1 (ko) * 2011-10-17 2019-01-25 삼성전자주식회사 병변 수정 장치 및 방법
US9633276B2 (en) * 2014-07-14 2017-04-25 Sony Corporation Blood detection system with real-time capability and method of operation thereof
JP7059353B2 (ja) * 2018-03-05 2022-04-25 オリンパス株式会社 内視鏡システム
JP7281308B2 (ja) * 2019-03-07 2023-05-25 ソニー・オリンパスメディカルソリューションズ株式会社 医療用画像処理装置及び医療用観察システム
US20230076477A1 (en) * 2021-09-05 2023-03-09 Shimadzu Corporation Imaging device and imaging method

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006095166A (ja) * 2004-09-30 2006-04-13 Pentax Corp 電子内視鏡用プロセッサ
JP2008086605A (ja) * 2006-10-03 2008-04-17 Pentax Corp 内視鏡プロセッサ、自家蛍光画像表示プログラム、及び内視鏡システム
WO2011080996A1 (ja) * 2009-12-28 2011-07-07 オリンパス株式会社 画像処理装置、電子機器、プログラム及び画像処理方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001017387A (ja) 1999-07-08 2001-01-23 Olympus Optical Co Ltd 内視鏡像観察システム
US20020138008A1 (en) * 2000-01-13 2002-09-26 Kazuhiro Tsujita Method and apparatus for displaying fluorescence images and method and apparatus for acquiring endoscope images
CN101305906B (zh) * 2001-03-14 2012-02-08 吉温成象有限公司 检测活体内色度异常的系统
US20050059894A1 (en) * 2003-09-16 2005-03-17 Haishan Zeng Automated endoscopy device, diagnostic method, and uses
US20050065436A1 (en) * 2003-09-23 2005-03-24 Ho Winston Zonh Rapid and non-invasive optical detection of internal bleeding
US9220917B2 (en) * 2006-04-12 2015-12-29 The Invention Science Fund I, Llc Systems for autofluorescent imaging and target ablation
JP5385138B2 (ja) * 2007-07-12 2014-01-08 オリンパスメディカルシステムズ株式会社 画像処理装置、該動作方法及び該プログラム
JP4732548B2 (ja) * 2008-10-17 2011-07-27 オリンパスメディカルシステムズ株式会社 内視鏡システムおよび内視鏡画像処理装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006095166A (ja) * 2004-09-30 2006-04-13 Pentax Corp 電子内視鏡用プロセッサ
JP2008086605A (ja) * 2006-10-03 2008-04-17 Pentax Corp 内視鏡プロセッサ、自家蛍光画像表示プログラム、及び内視鏡システム
WO2011080996A1 (ja) * 2009-12-28 2011-07-07 オリンパス株式会社 画像処理装置、電子機器、プログラム及び画像処理方法

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016203572A1 (ja) * 2015-06-17 2016-12-22 オリンパス株式会社 撮像装置
WO2017199509A1 (ja) * 2016-05-19 2017-11-23 オリンパス株式会社 生体観察システム
JPWO2017199509A1 (ja) * 2016-05-19 2018-06-07 オリンパス株式会社 生体観察システム
JP2017221486A (ja) * 2016-06-16 2017-12-21 ソニー株式会社 情報処理装置、情報処理方法、プログラム及び医療用観察システム
US11107571B2 (en) 2016-06-16 2021-08-31 Sony Corporation Information processing apparatus, information processing method, program, and medical observation system
US10893810B2 (en) 2016-11-01 2021-01-19 Olympus Corporation Image processing apparatus that identifiably displays bleeding point region
WO2018083888A1 (ja) * 2016-11-01 2018-05-11 オリンパス株式会社 画像処理装置
JP6342598B1 (ja) * 2016-11-01 2018-06-13 オリンパス株式会社 画像処理装置
WO2018198255A1 (ja) * 2017-04-26 2018-11-01 オリンパス株式会社 画像処理装置、画像処理装置の作動方法およびプログラム
US11564560B2 (en) 2017-04-26 2023-01-31 Olympus Corporation Image processing apparatus, operating method of image processing apparatus, and computer-readable recording medium
WO2019116947A1 (ja) * 2017-12-15 2019-06-20 Hoya株式会社 電子内視鏡システム
JP2021090782A (ja) * 2021-02-04 2021-06-17 ソニーグループ株式会社 情報処理システム、情報処理方法及びプログラム
JP7147890B2 (ja) 2021-02-04 2022-10-05 ソニーグループ株式会社 情報処理システム、情報処理方法及びプログラム
WO2023276158A1 (ja) * 2021-07-02 2023-01-05 オリンパスメディカルシステムズ株式会社 内視鏡プロセッサ、内視鏡装置及び診断用画像表示方法

Also Published As

Publication number Publication date
JP6042817B2 (ja) 2016-12-14
CN103841876B (zh) 2016-03-09
CN103841876A (zh) 2014-06-04
US9687158B2 (en) 2017-06-27
US20140213871A1 (en) 2014-07-31
JPWO2013051431A1 (ja) 2015-03-30

Similar Documents

Publication Publication Date Title
JP6042817B2 (ja) 蛍光観察装置
JP6184571B2 (ja) 蛍光観察内視鏡システム
US9547165B2 (en) Endoscope system with single camera for concurrent imaging at visible and infrared wavelengths
JP6492187B2 (ja) 内視鏡装置
JP6596502B2 (ja) 内視鏡装置
US9532719B2 (en) Fluorescence endoscope apparatus
US9629527B2 (en) Endoscope system, processor device of endoscope system, and image processing method
JP5492030B2 (ja) 画像撮像表示装置およびその作動方法
US20150257635A1 (en) Observation apparatus
JP5762344B2 (ja) 画像処理装置及び内視鏡システム
JP5555002B2 (ja) 蛍光内視鏡装置
EP2620092B1 (en) Fluorescence observation device
WO2011135992A1 (ja) 画像処理装置および蛍光観察装置
US20130026390A1 (en) Fluoroscopy apparatus and fluorescence image processing method
JP2016174976A (ja) 内視鏡システム
JP7059353B2 (ja) 内視鏡システム
JP2012100733A (ja) 内視鏡診断装置
JP6454755B2 (ja) 内視鏡システム
JP5965028B2 (ja) 内視鏡システム
CN117084618A (zh) 内窥镜光源的控制方法、装置及内窥镜摄像系统
JP2022009755A (ja) 内視鏡システム

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201280048230.4

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12837865

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2013537472

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12837865

Country of ref document: EP

Kind code of ref document: A1