WO2012147820A1 - 蛍光観察装置とその画像表示方法 - Google Patents

蛍光観察装置とその画像表示方法 Download PDF

Info

Publication number
WO2012147820A1
WO2012147820A1 PCT/JP2012/061145 JP2012061145W WO2012147820A1 WO 2012147820 A1 WO2012147820 A1 WO 2012147820A1 JP 2012061145 W JP2012061145 W JP 2012061145W WO 2012147820 A1 WO2012147820 A1 WO 2012147820A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
unit
fluorescence
return light
region
Prior art date
Application number
PCT/JP2012/061145
Other languages
English (en)
French (fr)
Inventor
康成 石原
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to JP2013512417A priority Critical patent/JP6053673B2/ja
Priority to CN201280020080.6A priority patent/CN103491850B/zh
Publication of WO2012147820A1 publication Critical patent/WO2012147820A1/ja
Priority to US14/058,907 priority patent/US9513219B2/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00064—Constructional details of the endoscope body
    • A61B1/00071—Insertion part of the endoscope body
    • A61B1/0008—Insertion part of the endoscope body characterised by distal tip features
    • A61B1/00096—Optical elements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence

Definitions

  • the present invention relates to a fluorescence observation apparatus and an image display method thereof.
  • an endoscope apparatus that acquires a reflected light image and a fluorescence image to be observed and displays one image on a main window on a monitor and the other image on a sub window is known (for example, Patent Documents). 1).
  • An endoscope apparatus that displays a reflected light image and a fluorescent image in a superimposed manner is also known (see, for example, Patent Document 2).
  • An observer such as a doctor mainly performs the insertion operation using the reflected light image in the process of inserting the insertion part of the endoscope into the patient's body, and mainly observes the fluorescence in the process of observing the vicinity of the lesion part. Observe the image.
  • the present invention has been made in view of the above-described circumstances, and performs observation while reducing an observer's burden, without overlooking an attention area, and grasping an accurate observation place of a subject. It is an object of the present invention to provide a fluorescence observation apparatus and an image display method thereof.
  • an illumination unit that irradiates a subject with excitation light and illumination light, and fluorescence that captures fluorescence generated in the subject by irradiation of excitation light from the illumination unit and acquires a fluorescence image
  • An imaging unit a return light imaging unit that captures a return light that is returned from the subject by irradiation of illumination light from the illumination unit, and obtains a return light image, and the fluorescence image acquired by the fluorescence imaging unit and / or the A display unit that displays the return light image acquired by the return light imaging unit; an extraction unit that extracts a region having a gradation value exceeding a predetermined gradation value threshold value from the fluorescent image as a region of interest; and the extraction unit When the region of interest is not extracted, only the return light image is displayed on the display unit, and when the region of interest is extracted, the return light image and the fluorescence image are displayed in parallel.
  • the fluorescence generated by the excitation of the fluorescent substance contained in the subject is captured by the fluorescence imaging unit, and the fluorescence is captured. An image is acquired. Further, when illumination light emitted from the illumination unit is irradiated on the subject, return light returning from the subject is captured by the return light imaging unit, and a return light image is acquired. Then, an area having a gradation value exceeding the gradation value threshold is extracted from the acquired fluorescent image as an attention area by the extraction unit.
  • the image switching unit displays only the return light image on the display unit, so that the observer can observe by observing only the return light image.
  • the image switching section displays the return light image and the fluorescence image in parallel on the display section, so that the observer can recognize the presence of the attention area and the return light image and Observation can be performed while confirming both fluorescent images.
  • the extraction unit may extract a region having a gradation value exceeding the gradation value threshold and an area exceeding a predetermined area threshold as the attention region. By doing so, it is possible to prevent a region having a high gradation value but a small area from being extracted as a region of interest, and to extract a region of interest efficiently while suppressing erroneous extraction due to noise. It is possible to reduce the burden on the observer due to the region that should not be noticed being extracted as the region of interest and the display being switched.
  • the observer further includes an input unit for inputting, and the image switching unit uses the extracted information on the attention region when the extraction region is extracted by the extraction unit.
  • the display unit is displayed so as to be superimposed on the image, and the display unit is switched so as to perform display for prompting the observer to input whether or not to observe the region of interest corresponding to the displayed information. May be switched so that the return light image and the fluorescent image are displayed on the display unit when an input indicating that observation is necessary is performed.
  • the information on the attention area may be a position of the attention area on the return light image.
  • the information on the attention area may be the position of the attention area on the return light image and an average gradation value.
  • region may be the outline of the said attention area on the said return light image.
  • the image switching unit may enlarge and display the return light image and the fluorescence image when the region of interest is extracted by the extraction unit. By doing in this way, an attention area can be observed in detail by the enlarged return light image and fluorescence image.
  • the said fluorescence imaging part and the said return light imaging part were each equipped with the zoom mechanism which changes the magnification of the image to acquire, and the input to the effect that observation was required was performed from the said input part
  • each zooming mechanism is operated to cause the fluorescence imaging unit and the return light imaging unit to acquire a high-magnification fluorescence image and a return light image
  • the image switching unit acquires the acquired high-magnification fluorescence.
  • An image and the return light image may be displayed.
  • the said image switching part may switch to the display of only the said return light image.
  • the attention area that can be determined to be unnecessary to be observed from the information on the attention area displayed superimposed on the return light image is not bothered to the observer as not switching to parallel display. Can be eliminated.
  • the said attention area extracted by the said return light image currently displayed on the said display part at the time of input and the said extraction part, and input content are matched.
  • the storage unit for storing the image, and the image switching unit, when the region of interest is extracted by the extraction unit, the extracted region of interest and the return light image corresponding to the region of interest, and the storage unit If the past attention area and the past return light image stored in are compared and matched, a different display is performed according to the input content stored in association with the storage unit. Also good.
  • the present invention also provides an illumination unit that irradiates the subject with excitation light and illumination light, and a fluorescence imaging unit that captures fluorescence generated in the subject by irradiation of excitation light from the illumination unit and acquires a fluorescence image;
  • a return light imaging unit that captures a return light that is returned from the subject by irradiation of illumination light from the illumination unit and obtains a return light image; and the fluorescent image and / or the return light imaging acquired by the fluorescence imaging unit.
  • An extraction unit that extracts a region where an index value multiplied by a value exceeding a predetermined index threshold is a region of interest, and when the region of interest is not extracted by the extraction unit, only the return light image is displayed on the display unit Displayed, when the region of interest is extracted, to provide a fluorescence observation apparatus and an image switching unit for switching the return light image and the fluorescence image so as to display on the display unit.
  • the region of interest can be extracted in consideration of the condition that the feature value is large in addition to the large gradation value of the fluorescent image. It is possible to more accurately detect a region of interest that the observer wants to observe in detail, thereby reducing the burden on the observer.
  • the intensity of red in the area of the return light image corresponding to the area having the gradation value exceeding the gradation value threshold can be cited.
  • the fluorescence intensity is strong, and among the areas suspected of being a lesion, red is strong and angiogenesis covers the tumor. It can be accurately detected as a region where there is a high risk of such a situation.
  • the burden on the observer is reduced as compared with the case of simply observing a region with high fluorescence intensity in detail one by one.
  • an input unit for an observer to input is provided, and the image switching unit outputs information on the extracted attention area when the attention area is extracted by the extraction section.
  • the display unit switches the display so as to prompt the observer to input the necessity of observation of the region of interest corresponding to the displayed information, and the observation from the input unit. May be switched to display the return light image and the fluorescent image on the display unit.
  • the attachment / detachment component which memorize
  • the identification information reading part which reads the identification information memorize
  • a threshold storage unit that stores the threshold value in association with each other, and the extraction unit uses the gradation value threshold stored in the threshold storage unit in correspondence with the identification information of the attached / detached component.
  • the attention area may be extracted.
  • the attention area is determined by the gradation value threshold suitable for the detachable part. It can be extracted with high accuracy.
  • the information input unit for inputting information on the fluorescent agent to be used is provided, and the extraction unit adjusts the gradation value threshold based on the information on the fluorescent agent input from the information input unit.
  • a region exceeding the adjusted gradation value threshold may be extracted as the region of interest.
  • the second aspect of the present invention irradiates the subject with excitation light and illumination light, captures the fluorescence generated in the subject by irradiation of the excitation light, acquires a fluorescence image, and irradiates the illumination light.
  • An image display method of a fluorescence observation apparatus that captures return light returning from the subject and obtains a return light image by extracting an area having a gradation value exceeding a predetermined gradation value threshold as an attention area from the fluorescence image
  • the fluorescence generated by exciting the fluorescent substance contained in the subject is photographed by the excitation light irradiation, the fluorescent image is acquired, and the subject is illuminated by the illumination light.
  • the fluorescence observation apparatus in which the return light that is returned from is captured and the return light image is acquired, a region having a gradation value that exceeds the gradation value threshold is extracted as the attention region from the acquired fluorescence image.
  • the attention area In the state where the attention area is not extracted, only the return light image is displayed. When the attention area is extracted, the return light image and the fluorescence image are displayed in parallel. As a result, in a state where only the return light image is displayed, the observer can observe by gazing only at the return light image. On the other hand, when the fluorescence image is displayed in parallel with the return light image, the observer can recognize the presence of the attention area, and can perform observation while confirming both the return light image and the fluorescence image.
  • the present invention it is possible to perform observation while reducing the burden on the observer, not overlooking the region of interest, and grasping the exact observation location of the subject.
  • FIG. 1 is an overall configuration diagram showing a fluorescence observation apparatus according to a first embodiment of the present invention. It is a flowchart explaining the image display method by the fluorescence observation apparatus of FIG. It is a figure which shows the example of a display image in the normal mode produced
  • FIG. 9 is a diagram showing another example of the display image in FIG. 7 and a display image example in the inquiry mode.
  • FIG. 10 is a view showing another modification of the display image example in FIG. 7 and showing a display image example in the scrutinization mode.
  • It is a whole block diagram which shows the modification of the fluorescence observation apparatus of FIG. It is a whole block diagram which shows the fluorescence observation apparatus which concerns on the 3rd Embodiment of this invention. It is a whole block diagram which shows the fluorescence observation apparatus which concerns on the 4th Embodiment of this invention. It is a whole block diagram which shows the fluorescence observation apparatus which concerns on the 5th Embodiment of this invention. It is a whole block diagram which shows the modification of the fluorescence observation apparatus of FIG.
  • the fluorescence observation apparatus 1 is an endoscope, and as shown in FIG. 1, an elongated insertion portion 2 inserted into the body, a light source (illumination portion) 3, and excitation from the light source 3
  • An illumination unit (illumination unit) 4 that irradiates light and illumination light from the distal end of the insertion unit 2 toward the subject A, and an imaging unit that is provided at the distal end of the insertion unit 2 and acquires image information of a living tissue that is the subject A 5
  • an image processing unit 6 that is disposed on the proximal end side of the insertion unit 2 and processes image information acquired by the imaging unit 5
  • a monitor 7 that displays an image processed by the image processing unit 6.
  • the light source 3 includes a xenon lamp 8, a filter 9 that extracts excitation light and illumination light (for example, a wavelength band of 400 to 740 nm) from light emitted from the xenon lamp 8, and excitation light that is extracted by the filter 9 and A coupling lens 10 for condensing illumination light is provided.
  • the illumination unit 4 is disposed over substantially the entire length in the longitudinal direction of the insertion portion 2, and is provided at the distal end of the insertion portion 2 and a light guide fiber 11 that guides the excitation light and the illumination light collected by the coupling lens 10.
  • an illumination optical system 12 that diffuses excitation light and illumination light guided by the light guide fiber 11 and irradiates the subject A facing the distal end surface 2a of the insertion portion 2.
  • the imaging unit 5 reflects the light (excitation light and fluorescence) having an excitation wavelength or more out of the light collected by the objective lens 13 and the light collected by the objective lens 13.
  • the dichroic mirror 14 that transmits white light (return light) having a wavelength shorter than the excitation wavelength, and the two condensing lenses that condense the fluorescent light reflected by the dichroic mirror 14 and the white light transmitted through the dichroic mirror 14, respectively.
  • 15 and 16 and two image sensors 17 and 18 such as a CCD for photographing white light and fluorescence collected by the condenser lenses 15 and 16.
  • an excitation light cut filter 19 that blocks excitation light out of the light reflected by the dichroic mirror 14 (eg, transmits only light in the wavelength band of 760 to 850 nm).
  • the image processor 6 generates a white light image G1 from the white light image information C1 acquired by the image sensor 18 and a fluorescent image G2 from the fluorescence image information C2 acquired by the image sensor 17.
  • a display image generation unit 23 that generates a display image G to be displayed on the screen, an extraction unit 24 that extracts a region of interest R from the corrected fluorescent image G2 ′ generated by the corrected fluorescent image generation unit 22, and an extraction unit 24 And an image switching unit 25 that switches the display image G generated by the display image generation unit 23 according to the attention area R.
  • FIG. 2 shows a flowchart of the processing order of the image processing unit 6.
  • the corrected fluorescence image generation unit 22 divides the generated fluorescence image G2 by the white light image G1.
  • a corrected fluorescence image G2 ′ is generated (step S1).
  • the extraction unit 24 selects a pixel having a gradation value equal to or higher than a preset first threshold value (gradation value threshold value) from among the gradation values of each pixel of the corrected fluorescence image G2 ′, so that a plurality of pixels are obtained.
  • a preset first threshold value (gradation value threshold value)
  • One or more regions including the target region R are extracted as the attention region R (step S2).
  • the image switching unit 25 receives the gradation value of each pixel included in the attention region R extracted by the extraction unit 24 for each attention region R, and adds the gradation value of the pixel included in the attention region R.
  • An average gradation value is calculated by averaging (step S3), and it is determined whether the average gradation value exceeds a second threshold value (step S4).
  • the image switching unit 25 instructs “normal mode” when the average gradation value is smaller than the second threshold value, and “scrutinize mode” when the average gradation value is equal to or larger than the second threshold value.
  • the instruction signal C3 is output to the display image generator 23 (steps S5 and S6).
  • the normal mode is selected, the average gradation value is calculated and determined for the other attention area R (step S7).
  • the display image generation unit 23 receives the white light image G1 from the white light image generation unit 20, the fluorescent image G2 from the fluorescent image generation unit 21, and the instruction signal C3 from the image switching unit 25. .
  • the display image generation unit 23 When the instruction signal C3 instructing the “normal mode” is input from the image switching unit 25, the display image generation unit 23 generates a display image G that includes only a white light image as shown in FIG. 3A. And output to the monitor 7. Further, when the instruction signal C3 instructing the “scrutiny mode” is input, the display image generation unit synthesizes the white light image G1 and the fluorescence image G2 in parallel as shown in FIG. 3B as the display image G. A product is generated and output to the monitor 7 (step S8).
  • the insertion portion 2 is inserted into the body, and the distal end surface 2a of the insertion portion 2 is set to the subject A. Make them face each other.
  • the light source 3 is operated to generate excitation light and illumination light, which are incident on the light guide fiber 11 by the coupling lens 10. Excitation light and illumination light guided through the light guide fiber 11 and reaching the distal end of the insertion portion 2 are diffused by the illumination optical system 12 at the distal end of the insertion portion 2 and irradiated onto the subject A.
  • the fluorescent substance contained therein is excited by the excitation light to emit fluorescence, and white light is reflected on the surface of the subject A.
  • the reflected light (white light) of the fluorescence and the illumination light returns from the partial observation range of the subject A to the distal end surface 2 a of the insertion portion 2 and is collected by the objective lens 13.
  • Fluorescent light and white light collected by the objective lens 13 are branched for each wavelength by the dichroic mirror 14, and light transmitted through the dichroic mirror 14, for example, white light in a wavelength band of 400 to 700 nm, is collected by the condensing lens 16. And is acquired as white light image information C1 by the image sensor 18.
  • the light reflected by the dichroic mirror 14 for example, the fluorescence containing excitation light in the wavelength band of 700 to 850 nm, is excited by the excitation light cut filter 19. After the light (for example, light of 740 nm or less) is removed, the light is condensed by the condenser lens 15 and acquired as the fluorescence image information C2 by the imaging device 17.
  • Image information C1 and C2 acquired by the image sensors 17 and 18 are sent to the image processing unit 6.
  • the white light image information C1 is input to the white light image generation unit 20, and a white light image G1 is generated.
  • the fluorescence image information C2 is input to the fluorescence image generation unit 21 to generate the fluorescence image G2.
  • the generated white light image G1 and fluorescent image G2 are sent to the corrected fluorescent image generation unit 22, and the fluorescent image G2 is divided by the white light image G1. As a result, a normalized corrected fluorescence image G2 ′ is generated.
  • the corrected fluorescence image G2 ′ generated by the corrected fluorescence image generation unit 22 is sent to the extraction unit 24, where an attention area R having a gradation value equal to or higher than the first threshold is extracted, and the information is the image switching unit. 25.
  • the average gradation value is calculated for each attention region R using the information on the attention region R sent from the extraction unit 24, and the calculated average gradation value is the first value. Compared to a threshold of 2.
  • an instruction signal C3 instructing “normal mode” is sent to the display image generation unit 23, and only the white light image G1 is received.
  • a display image G including the image is generated and displayed on the monitor 7.
  • the image switching unit 25 when there is a region of interest R in which the average gradation value of the region of interest R sent from the extraction unit 24 is equal to or greater than the second threshold, an instruction to instruct the “scrutinize mode”
  • the signal C3 is sent to the display image generation unit 23, and a display image G obtained by combining the white light image G1 and the fluorescence image G2 in parallel is generated and displayed on the monitor 7.
  • the fluorescence observation apparatus 1 and the image display method thereof when an observer such as a doctor operates the insertion unit 2 and inserts it into the patient's body, the insertion unit 2 In the state until the tip reaches the observation site such as a lesioned part, there is no region having a high concentration of the fluorescent substance in the acquired fluorescent image G2, and the image switching unit 25 is noticed from the extracting unit 24. Area R information is not sent. Therefore, the image switching unit 25 sends an instruction signal C3 instructing “normal mode” to the display image generating unit 23, and the display image G consisting only of the white light image G1 is displayed on the monitor 7.
  • the observer need only gaze at the white light image G1 displayed on the monitor 7.
  • the insertion portion 2 can be operated while accurately confirming the observation location.
  • the extraction unit 24 sets a gradation value equal to or higher than the first threshold value from the fluorescent image G2.
  • the attention area R that the user has is extracted.
  • the extraction unit 24 sends the information, the position of each pixel constituting the attention region R, and the gradation value to the image switching unit 25.
  • the image switching unit 25 calculates an average gradation value for each attention area R, and compares the calculated average gradation value with the second threshold value.
  • the image switching unit 25 sends an instruction signal C3 for instructing “normal mode” to the display image generating unit 23, so that the monitor 7
  • the display of the display image G including only the optical image G1 is maintained. That is, even if the attention area R exists in the fluorescent image G2, if the average gradation value is small, the fluorescent image G2 is not displayed. Accordingly, even in this case, the observer is not bothered by the fluorescent image G2 that does not include necessary information, and performs the insertion work while observing the morphological characteristics of the living body tissue in the body using the white light image G1. There is an advantage that attention can be poured.
  • the instruction signal C3 instructing the “scrutinize mode” is sent to the display image generation unit 23. Then, a display image G in which the white light image G1 and the fluorescence image G2 are arranged in parallel is generated, and the display on the monitor 7 is switched. That is, when the display format of the display image G on the monitor 7 is switched and the fluorescent image G2 is displayed, the observer recognizes that there is a region of interest R including necessary information and adds to the white light image G1. Attention can also be paid to the fluorescent image G2.
  • the observer can recognize the presence of an observation site such as a lesioned part even during the insertion operation, and can more reliably prevent the occurrence of inconvenience that the insertion operation proceeds while overlooking the observation site. There is an advantage that you can.
  • the display on the monitor 7 is switched to the scrutiny mode when the average gradation value of the attention area R extracted by the extraction unit 24 is equal to or larger than the second threshold value. Then, as shown in FIG. 4, the number of pixels of the attention area R extracted as an area having a gradation value equal to or higher than the first threshold is calculated for each attention area R (step S3 ′). When there is a region of interest R in which the number of pixels is equal to or greater than the third threshold (area threshold), the display on the monitor 7 may be switched to the scrutiny mode (step S4 ′).
  • the fluorescent image G2 is not displayed depending on the area having a small area even if the gradation value is high.
  • the occurrence of inconvenience that the fluorescent image G2 is frequently displayed due to noise can be suppressed, and the burden on the observer can be greatly reduced.
  • the attention area R having a high gradation value but a small area is also displayed as an area that requires observation. Oversight of R can be reduced.
  • the mode when there is an attention area having an average gradation value equal to or greater than the second threshold value among attention areas having a gradation value equal to or greater than the first threshold value, the mode is shifted to the scrutiny mode.
  • the scrutinization mode when the attention area having the gradation value equal to or higher than the first threshold is extracted.
  • the fluorescence observation apparatus 30 has the input unit 31 for the observer to input, and the operation of the image switching unit 25 and the display image generation unit 23 is the first. This is different from the fluorescence observation apparatus 1 according to the embodiment.
  • the input unit 31 is an arbitrary input device such as a push button, a foot switch, or a keyboard or a mouse, and is connected to the display image generation unit 23.
  • the image switching section 25 Upon receiving the gradation value of the attention area R extracted from the extraction section 24, the image switching section 25 calculates an average gradation value for all the attention areas R, and whether the average gradation value is equal to or greater than the second threshold value. Determine whether or not.
  • the image switching unit 25 generates attention area information C4 for the attention area R whose average gradation value is equal to or larger than the second threshold (step S4).
  • S10) is sent to the display image generating unit 23 together with the instruction C5 for switching to the “inquiry mode” (step S11).
  • the attention area information C4 can include the position and outline of each attention area R, the center position of each attention area R, and the maximum gradation value.
  • the display image generating unit 23 superimposes the attention area information C4 sent at the same time on the white light image G1.
  • G is generated (step S12), and is output to the monitor 7 together with a display prompting the observer to input whether or not observation is necessary (for example, “Is detailed observation necessary (Y / N)?”). Yes.
  • FIG. 7 shows an example of the display image G in the inquiry mode when the position and outline of the attention area R are sent as the attention area information C4.
  • FIG. 8 is an example of the display image G in the inquiry mode when the center position and the maximum gradation value of the attention area R are sent as the attention area information C4.
  • the display image generation unit 23 When an observer who has confirmed these display images G performs an input (Y input) that detailed observation is necessary using the input unit 31 (step S13), the process proceeds to a scrutiny mode S6.
  • the display image generation unit 23 generates a display image G in which the white light image G1 and the fluorescence image G2 are arranged in parallel as shown in FIG. 3B (step S8), and sends the display image G to the monitor 7.
  • the display image generation unit 23 generates the display image G including only the white light image G1 as shown in FIG. 3A and sends the display image G to the monitor 7.
  • the fluorescence observation apparatus 30 when the average gradation value exceeds the second threshold value, instead of shifting to the scrutiny mode uniformly, the observer determines that it is necessary. Therefore, there is an advantage that the burden on the observer can be further reduced.
  • the display image G in which the white light image G1 and the fluorescence image G2 are arranged in parallel is generated.
  • a display image G in which the enlarged white light image G1 (corresponding to the chain line portion in FIG. 9A) and the fluorescence image G2 are arranged in parallel may be generated.
  • the enlarged white light image G1 and the fluorescent image G2 may be generated by image processing, or as shown in FIG. 10, a magnification changing mechanism 32 that optically changes the magnification is provided.
  • a magnification changing mechanism 32 that optically changes the magnification is provided.
  • an enlarged image may be acquired.
  • the zoom mechanism 32 is a slide mechanism that moves the image sensors 17 and 18 in the direction of the optical axis, and when the observer performs Y input via the input unit 31, the zoom mechanism 32 is zoomed.
  • the mechanism 32 includes a control unit 33 that moves the image sensors 17 and 18 away from the condenser lenses 15 and 16.
  • the fluorescence observation apparatus 40 displays the white light image G ⁇ b> 1 and the position and outline of the attention area R that are displayed when an input is performed from the input unit 31 by the observer.
  • a storage unit 41 is provided that stores lines and input results in association with each other.
  • the image switching unit 25 receives the white light image G ⁇ b> 1 from the white light image generation unit 20 in addition to the information on the attention area R from the extraction unit 24.
  • the image switching unit 25 stores the image corresponding to the white light image G ⁇ b> 1 input at that time in the storage unit 41 when the position and contour of the attention area R are sent from the extraction unit 24.
  • the past white light image G1 is searched. Further, the image switching unit 25 determines whether or not the attention region R stored in association with the searched past white light image G1 matches the attention region R sent from the extraction unit 24. It is like that.
  • an instruction signal C4 for instructing to shift to the “inquiry mode” is output to the display image generation unit 23.
  • the display image generation unit 23 sets the outline of the attention area R in the case where the attention area R has been Y-input in the past in accordance with the instruction signal C4 sent from the image switching section 25, for example.
  • the contour of the region of interest R is displayed in blue. If the region of interest R is not extracted in the past, the region of interest R is displayed in yellow.
  • a display image G to be generated is generated.
  • the observer only sees the color of the region of interest R displayed superimposed on the white light image G1 on the monitor 7, and whether or not the region has been determined once in the past. It is possible to confirm what the determination result was. Therefore, the observer can extract the attention region R (red and blue) that has been extracted even once in the past by performing N inputs from the input unit 31 so that duplicate observation is not performed. Only the attention area R (yellow) that has not been observed can be efficiently observed.
  • the observer inputs Y input in order to perform re-observation.
  • the attention area R blue
  • determination such as performing N input in order to avoid overlapping observation.
  • the outline of the attention area R is displayed as the display in the inquiry mode. Instead, the position of the attention area R is indicated by an arrow or the attention area R is indicated.
  • the fluorescent image G2 itself may be translucent and superimposed on the white light image G1.
  • the past input results and the like are distinguished by changing the color of the outline of the attention area R, but instead of this, the distinction may be made by characters or other methods.
  • the display in the normal mode may be continued without shifting to the inquiry mode.
  • the fluorescence observation device 50 according to the present embodiment is an average floor in which the attention area R extracted by the extraction unit 24 in the fluorescence observation device 1 according to the first embodiment is greater than or equal to a second threshold.
  • the difference is that the display is switched when the key value is present, whereas the display is switched when the index value is equal to or greater than the fourth threshold value (index threshold value).
  • the index value INDEX for example, the average gradation value MF of the attention area R extracted by the extraction unit 24, and the average value MR of the red intensity in the corresponding area in the white light image G1 corresponding to the attention area R, The value calculated by multiplying is adopted.
  • INDEX M F ⁇ M R
  • the white light image G1 generated in the white light image generation unit 20 is input to the image switching unit 25.
  • the image switching unit 25 when the attention region R is extracted by the extraction unit 24, the corresponding region corresponding to the attention region R is extracted from the white light image G1 sent at that time, and the corresponding correspondence is extracted. An average value MR of the red intensity in the region is calculated.
  • the image switching unit 25 calculates the index value INDEX according to the above formula, and when the image switching unit 25 exceeds the preset fourth threshold value, the display image generation unit 23 displays the instruction signal C3 instructing the “scrutinize mode”. To send to.
  • the fluorescence observation device 50 in addition to the case where the gradation value is equal to or higher than the first threshold value, there is a region where the red intensity is equal to or higher than the fourth threshold value. The display on the monitor 7 is switched to the examination mode.
  • a high fluorescence intensity in the fluorescence image G2 indicates that there are many fluorescent substances that are likely to accumulate in the lesion, and the red intensity in the white light image G1.
  • a high value indicates that the density of blood vessels in the region is high. In a tumor part such as cancer, angiogenesis is often observed, and thus the density of blood vessels is often increased.
  • the index value is obtained by multiplying the average gradation value MF of the attention area R by the average value MR of the red intensity in the corresponding area in the white light image G1 corresponding to the attention area R.
  • the present invention is not limited to multiplication, and a value obtained by adding these values or a value obtained by multiplying by weighting coefficients may be used.
  • an insertion part (detachable part) that is detachable with respect to the light source 3 and the image processing part 6 so that it can be exchanged according to the observation target part. 2 is provided.
  • the insertion unit 2 is provided with an IC chip 61 that stores identification information of the insertion unit 2.
  • a reading device 62 that reads identification information in the IC chip 61 is provided on the light source 3 side to which the insertion unit 2 is attached.
  • the image processing unit 6 includes a threshold value storage unit 63 that stores the identification information and the threshold value in association with each other, and is connected to the extraction unit 24.
  • the identification information in the IC chip 61 provided in the insertion unit 2 is read by the reading device 62 and sent to the image processing unit 6.
  • a threshold corresponding to the transmitted identification information is read from the threshold storage unit 63 and the second threshold or the second threshold for switching the display based on the attention area R extracted by the extraction unit 24. 3 is used as a threshold value.
  • a different second threshold value is used depending on whether the insertion portion 2 attached to and detached from the light source 3 has a small diameter or a large diameter. It has become.
  • the threshold value storage unit 63 is set so that the small-diameter insertion portion 2 has a second threshold value smaller than the large-diameter insertion portion 2.
  • the threshold value storage unit 63 is set so that a third threshold value smaller than that in the case of the insertion unit 2 for the esophagus is set.
  • a threshold value suitable for the replaced insertion unit 2 is read from the threshold storage unit 63 and set. Regardless of the type, appropriate display switching can be automatically performed.
  • an appropriate threshold value is selected according to the type of the detachable component such as the insertion portion 2, but instead, an appropriate threshold value is selected according to the type of fluorescent agent to be used. May be selected.
  • a drug information input unit 64 for inputting the type of the fluorescent drug is connected to the image switching unit 25 and stores the type of the fluorescent drug and the threshold value in association with each other.
  • the threshold storage unit 65 only needs to be connected to the image switching unit 25.
  • a large second threshold value is set, and in the case of a fluorescent agent having a low fluorescence intensity, the type of fluorescent agent is set so that a small second threshold value is set.
  • the threshold value may be stored in association with each other.
  • the image switching unit 25 searches the threshold storage unit 65 using the input type of drug fluorescence, By calling the corresponding threshold value, it is possible to appropriately determine whether the “scrutinizing mode” or the “normal mode” regardless of the type of the fluorescent agent.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Optics & Photonics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Radiology & Medical Imaging (AREA)
  • Signal Processing (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Endoscopes (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)

Abstract

　観察者の負担を軽減しつつ、注目領域を見逃すことなく、かつ、被写体の正確な観察場所を把握しながら観察を行う。被写体（Ａ）に対し、励起光および照明光を照射する照明部（３，４）と、励起光の照射により被写体（Ａにおいて発生した蛍光から蛍光画像（Ｇ２）を取得する蛍光撮像部（２１）と、照明光の照射により被写体（Ａ）から戻る戻り光から戻り光画像（Ｇ１）を取得する戻り光撮像部（２０）と、取得された蛍光画像（Ｇ２）および／または戻り光画像（Ｇ１）を表示する表示部（７）と、蛍光画像から注目領域Ｒを抽出する抽出部と、注目領域Ｒが抽出されていないときには戻り光画像（Ｇ１）のみを表示部（７）に表示し、注目領域（Ｒ）が抽出されたときには、戻り光画像（Ｇ１）および蛍光画像（Ｇ２）を並列して表示部（７）に表示するように切り替える画像切替部（２５）とを備える蛍光観察装置（１）を提供する。

Description

蛍光観察装置とその画像表示方法
　本発明は、蛍光観察装置とその画像表示方法に関するものである。
　従来、観察対象の反射光画像と蛍光画像とを取得し、一方の画像をモニタ上のメインウインドウに、他方の画像をサブウインドウに表示する内視鏡装置が知られている（例えば、特許文献１参照。）。また、反射光画像と蛍光画像とを重畳させて表示する内視鏡装置も知られている（例えば、特許文献２参照。）。
　医師等の観察者は、内視鏡の挿入部を患者の体内に挿入していく過程においては、主として反射光画像を用いて挿入作業を行い、病変部近傍を観察する過程においては、主として蛍光画像を観察する。
特開２００２－３４５７３９号公報 特開２００７－０７５１９８号公報
　しかしながら、特許文献１の内視鏡装置では、反射光画像と蛍光画像とが同一のモニタ上に常時表示されるので、観察者は、常に２つの画像を見ながら挿入部の挿入作業と病変部の探索とを行わなければならず、負担が大きいと言う不都合がある。すなわち、反射光画像を注視していると、蛍光画像に現れた病変部の画像を見落としてしまう虞があり、蛍光画像を注視していると、反射光画像による観察がおろそかになるという虞がある。
　また、特許文献２の内視鏡装置では、重畳された反射光画像と蛍光画像とを同じウインドウにおいて同時に確認できるが、重畳された一方の画像によって他方の画像の鮮明度が失われたり、隠れてしまったりする不都合がある。
　本発明は、上述した事情に鑑みてなされたものであって、観察者の負担を軽減しつつ、注目領域を見逃すことなく、かつ、被写体の正確な観察場所を把握しながら、観察を行うことができる蛍光観察装置とその画像表示方法を提供することを目的としている。
　上記目的を達成するために、本発明は以下の手段を提供する。
　本発明の第１の態様は、被写体に対し、励起光および照明光を照射する照明部と、該照明部からの励起光の照射により前記被写体において発生した蛍光を撮影し蛍光画像を取得する蛍光撮像部と、前記照明部からの照明光の照射により前記被写体から戻る戻り光を撮影し戻り光画像を取得する戻り光撮像部と、前記蛍光撮像部により取得された前記蛍光画像および／または前記戻り光撮像部により取得された前記戻り光画像を表示する表示部と、前記蛍光画像から所定の階調値閾値を超える階調値を有する領域を注目領域として抽出する抽出部と、該抽出部により前記注目領域が抽出されていないときには前記戻り光画像のみを前記表示部に表示し、前記注目領域が抽出されたときには、前記戻り光画像および前記蛍光画像を並列して前記表示部に表示するように切り替える画像切替部とを備える蛍光観察装置を提供する。
　本発明の第１の態様によれば、照明部から発せられた励起光が被写体に照射されると、被写体内に含まれる蛍光物質が励起されて発生した蛍光が蛍光撮像部によって撮影され、蛍光画像が取得される。また、照明部から発せられた照明光が被写体に照射されると、被写体から戻る戻り光が戻り光撮像部によって撮影され、戻り光画像が取得される。そして、取得された蛍光画像から、階調値閾値を超える階調値を有する領域が抽出部により注目領域として抽出される。
　抽出部により注目領域が抽出されていない状態では、画像切替部は戻り光画像のみを表示部に表示するので、観察者は戻り光画像のみを注視して観察を行うことができる。一方、抽出部により注目領域が抽出されたときには、画像切替部は戻り光画像と蛍光画像とを表示部に並列表示するので、観察者は注目領域の存在を認識することができ戻り光画像および蛍光画像の両方を確認しながら観察を行うことができる。
　その結果、蛍光画像に注目すべき領域が存在しない段階において、観察者が戻り光画像および蛍光画像の両方に注意を払う必要がなく、観察者は戻り光画像のみに注視しながら観察を行うことができ、観察者にかかる負担を軽減することができる。また、注目領域が抽出されたときには、蛍光画像が並列表示されることにより、観察者に注目領域の存在を報知することができ、注目領域の見落としをより確実に防止することができる。
　上記発明においては、前記抽出部が、前記階調値閾値を越える階調値を有し、かつ、所定の面積閾値を越える面積を有する領域を前記注目領域として抽出してもよい。
　このようにすることで、階調値は高いが面積は小さい領域が、注目領域として抽出されてしまうことを防止し、ノイズによる誤抽出を抑制して効率よく注目領域を抽出することができる。本来注目すべきではない領域が注目領域として抽出され、表示が切り替えられてしまうことによる観察者への負担を軽減することができる。
　また、上記発明においては、観察者が入力を行う入力部を備え、前記画像切替部は、前記抽出部により前記注目領域が抽出されたときに、抽出された前記注目領域の情報を前記戻り光画像上に重畳して表示するとともに、表示された前記情報に対応する前記注目領域の観察の要否について観察者に入力を促す表示を行うように前記表示部による表示を切り替えるとともに、前記入力部から観察が必要である旨の入力が行われた場合に、前記戻り光画像および前記蛍光画像を前記表示部に表示するように切り替えてもよい。
　このようにすることで、抽出部により注目領域が抽出されると、注目領域の情報が戻り光画像上に重畳される。そして、表示された情報に対応する注目領域の観察の要否について観察者に入力を促す表示が行われる。観察者は、戻り光画像を注視しながら、蛍光画像が並列表示されてしまった場合よりも少ない負担で、戻り光画像上に重畳された情報を確認することができる。
　また、上記発明においては、前記注目領域の情報が、前記戻り光画像上における前記注目領域の位置であってもよい。
　また、上記発明においては、前記注目領域の情報が、前記戻り光画像上における前記注目領域の位置および平均階調値であってもよい。
　また、上記発明においては、前記注目領域の情報が、前記戻り光画像上における前記注目領域の輪郭線であってもよい。
　このようにすることで、戻り光画像上に重畳された注目領域の情報により、戻り光画像との関係で、注目領域の詳細な観察の要否を簡易に確認することができ、観察者に負担をかけることなく、戻り光画像による観察と、蛍光画像による観察とを行うことができる。
　また、上記発明においては、前記画像切替部が、前記抽出部により前記注目領域が抽出されたときには、前記戻り光画像および前記蛍光画像を拡大して表示してもよい。
　このようにすることで、拡大された戻り光画像および蛍光画像によって、注目領域をより詳細に観察することができる。
　また、上記発明においては、前記蛍光撮像部および前記戻り光撮像部が、取得する画像の倍率を変更する変倍機構をそれぞれ備え、前記入力部から観察が必要である旨の入力が行われた場合に、各前記変倍機構を作動させて前記蛍光撮像部および前記戻り光撮像部により高倍率の蛍光画像および戻り光画像を取得させ、前記画像切替部が、取得された高倍率の前記蛍光画像および前記戻り光画像を表示してもよい。
　このようにすることで、変倍機構により拡大された戻り光画像および蛍光画像によって、注目領域をより鮮明に観察することができる。
　また、上記発明においては、前記画像切替部が、前記入力部から観察が不要である旨の入力が行われた場合に、前記戻り光画像のみの表示に切り替えてもよい。
　このようにすることで、戻り光画像に重畳して表示された注目領域の情報から観察が不要であると判断できる注目領域については、並列表示に切り替えないこととして、観察者に与えられる煩わしさを解消することができる。
　また、上記発明においては、前記入力部から入力が行われた場合に、入力時に前記表示部に表示されている前記戻り光画像および前記抽出部により抽出された前記注目領域と入力内容とを対応づけて記憶する記憶部を備え、前記画像切替部は、前記抽出部により前記注目領域が抽出されたときに、抽出された前記注目領域および該注目領域に対応する戻り光画像と、前記記憶部に記憶されている過去の前記注目領域および過去の戻り光画像とを対比し、一致している場合には、前記記憶部に対応づけて記憶されている入力内容に応じて異なる表示を行ってもよい。
　このようにすることで、過去に観察した注目領域を観察者に認識させることができ、再度の観察が不要な場合には、並列表示しないことを選択可能として、詳細観察が重複して行われてしまうことを防止して観察の効率を向上することができる。
　また、本発明は、被写体に対し、励起光および照明光を照射する照明部と、該照明部からの励起光の照射により前記被写体において発生した蛍光を撮影し蛍光画像を取得する蛍光撮像部と、前記照明部からの照明光の照射により前記被写体から戻る戻り光を撮影し戻り光画像を取得する戻り光撮像部と、前記蛍光撮像部により取得された前記蛍光画像および／または前記戻り光撮像部により取得された前記戻り光画像を表示する表示部と、前記蛍光画像から所定の階調値閾値を超える階調値を有し、かつ、該階調値と該階調値以外の特徴量とを乗算したインデックス値が、所定のインデックス閾値を超える領域を注目領域として抽出する抽出部と、該抽出部により前記注目領域が抽出されていないときには前記戻り光画像のみを前記表示部に表示し、前記注目領域が抽出されたときには、前記戻り光画像および前記蛍光画像を前記表示部に表示するように切り替える画像切替部とを備える蛍光観察装置を提供する。
　本発明によれば、インデックス値を用いて注目領域を抽出することにより、蛍光画像の階調値が大きいことに加え、他の特徴量が大きいという条件も加味して注目領域を抽出することができ、観察者が、詳細に観察したいと考える注目領域をより精度よく検出して、観察者の負担を軽減することができる。
　階調値以外の特徴量としては、例えば、階調値閾値を超える階調値を有する領域に対応する戻り光画像の領域における赤色の強度を挙げることができる。このようにすることで、例えば、被写体として病変部を有する組織を観察している場合に、蛍光の強度が強く、病変部の疑いがある領域の内、赤色が強く血管新生が覆い領域を腫瘍等の虞が高い領域として精度よく検出することができる。単に蛍光強度が高い領域を逐一詳細に観察する場合よりも観察者にかかる負担は軽減される。
　上記発明においては、観察者が入力を行う入力部とを備え、前記画像切替部は、前記抽出部により前記注目領域が抽出されたときに、抽出された前記注目領域の情報を前記戻り光画像と対応づけて表示するとともに、表示された前記情報に対応する前記注目領域の観察の要否について観察者に入力を促す表示を行うように前記表示部による表示を切り替えるとともに、前記入力部から観察が必要である旨の入力が行われた場合に、前記戻り光画像および前記蛍光画像を前記表示部に表示するように切り替えてもよい。
　また、上記発明においては、観察条件を変更するために着脱される、識別情報を記憶した着脱部品と、該着脱部品に記憶された識別情報を読み取る識別情報読取部と、前記識別情報と前記階調値閾値とを対応づけて記憶する閾値記憶部とを備え、前記抽出部が、取り付けた着脱部品の識別情報に対応して前記閾値記憶部に記憶されている前記階調値閾値を用いて前記注目領域を抽出してもよい。
　このようにすることで、観察条件を変更するために着脱部品を着脱すると、着脱部品の光学性能や個体差により、感度が変化しても、着脱部品に適した階調値閾値によって注目領域を精度よく抽出することができる。
　また、上記発明においては、使用する蛍光薬剤の情報を入力する情報入力部を備え、前記抽出部が、前記情報入力部から入力された蛍光薬剤の情報に基づいて前記階調値閾値を調節し、調節された前記階調値閾値を超える領域を前記注目領域として抽出してもよい。
　このようにすることで、使用する蛍光薬剤が変化することにより、蛍光画像のコントラストが変化しても、蛍光薬剤の情報に基づいて調節された階調値閾値により、注目領域を精度よく抽出することができる。
　また、本発明の第２の態様は、被写体に対して励起光および照明光を照射し、励起光の照射により前記被写体において発生した蛍光を撮影して蛍光画像を取得するとともに、照明光の照射により前記被写体から戻る戻り光を撮影し戻り光画像を取得する蛍光観察装置の画像表示方法であって、前記蛍光画像から所定の階調値閾値を超える階調値を有する領域を注目領域として抽出し、前記注目領域が抽出されていないときに、前記戻り光画像のみを表示し、前記注目領域が抽出されたときに、前記戻り光画像および前記蛍光画像を並列して表示する画像表示方法を提供する。
　本発明の第２の態様によれば、励起光の照射により、被写体内に含まれる蛍光物質が励起されて発生した蛍光が撮影され、蛍光画像が取得されるとともに、照明光の照射により、被写体から戻る戻り光が撮影され、戻り光画像が取得される蛍光観察装置において、取得された蛍光画像から、階調値閾値を超える階調値を有する領域が注目領域として抽出される。
　そして、注目領域が抽出されていない状態では、戻り光画像のみが表示され、注目領域が抽出されたときには、戻り光画像と蛍光画像とが並列表示される。これにより、戻り光画像のみが表示されている状態では、観察者は戻り光画像のみを注視して観察を行うことができる。一方、戻り光画像に加えて蛍光画像が並列表示されたときには、観察者は注目領域の存在を認識することができ、戻り光画像および蛍光画像の両方を確認しながら観察を行うことができる。
　その結果、蛍光画像に注目すべき領域が存在しない段階において、観察者が戻り光画像および蛍光画像の両方に注意を払う必要がなく、観察者は戻り光画像のみに注視しながら観察を行うことができ、観察者にかかる負担を軽減することができる。また、注目領域が抽出されたときには、蛍光画像が並列表示されることにより、観察者に注目領域の存在を報知することができ、注目領域の見落としをより確実に防止することができる。
　本発明によれば、観察者の負担を軽減しつつ、注目領域を見逃すことなく、かつ、被写体の正確な観察場所を把握しながら、観察を行うことができるという効果を奏する。
本発明の第１の実施形態に係る蛍光観察装置を示す全体構成図である。 図１の蛍光観察装置による画像表示方法を説明するフローチャートである。 図１の蛍光観察装置により生成された通常モードにおける表示画像例を示す図である。 図１の蛍光観察装置により生成された精査モードにおける表示画像例を示す図である。 図２の画像表示方法の変形例を示すフローチャートである。 本発明の第２の実施形態に係る蛍光観察装置を示す全体構成図である。 図５の蛍光観察装置により画像表示方法を説明するフローチャートである。 図５の蛍光観察層により生成された問い合わせモードの表示画像例を示す図である。 図７の表示画像例の変形例を示す図である。 図７の表示画像例の他の変形例であって問い合わせモードにおける表示画像例を示す図である。 図７の表示画像例の他の変形例であって精査モードにおける表示画像例を示す図である。 図４の蛍光観察装置の変形例を示す全体構成図である。 本発明の第３の実施形態に係る蛍光観察装置を示す全体構成図である。 本発明の第４の実施形態に係る蛍光観察装置を示す全体構成図である。 本発明の第５の実施形態に係る蛍光観察装置を示す全体構成図である。 図１３の蛍光観察装置の変形例を示す全体構成図である。
　本発明の第１の実施形態に係る蛍光観察装置１について、図面を参照して以下に説明する。
　本実施形態に係る蛍光観察装置は、内視鏡であって、図１に示されるように、体内に挿入される細長い挿入部２と、光源（照明部）３と、該光源３からの励起光および照明光を挿入部２の先端から被写体Ａに向けて照射する照明ユニット（照明部）４と、挿入部２の先端に設けられ、被写体Ａである生体組織の画像情報を取得する撮像ユニット５と、挿入部２の基端側に配置され、撮像ユニット５により取得された画像情報を処理する画像処理部６と、該画像処理部６により処理された画像を表示するモニタ７とを備えている。
　光源３は、キセノンランプ８と、該キセノンランプ８から発せられた光から、励起光および照明光（例えば、波長帯域４００～７４０ｎｍ）を切り出すフィルタ９と、該フィルタ９により切り出された励起光および照明光を集光するカップリングレンズ１０を備えている。
　照明ユニット４は、挿入部２の長手方向のほぼ全長にわたって配置され、カップリングレンズ１０によって集光された励起光および照明光を導光するライトガイドファイバ１１と、挿入部２の先端に設けられ、ライトガイドファイバ１１によって導光されてきた励起光および照明光を拡散させて、挿入部２の先端面２ａに対向する被写体Ａに照射する照明光学系１２とを備えている。
　撮像ユニット５は、被写体Ａの所定の観察範囲から戻る光を集光する対物レンズ１３と、該対物レンズ１３によって集光された光のうち、励起波長以上の光（励起光および蛍光）を反射し、励起波長より短い波長の白色光（戻り光）を透過するダイクロイックミラー１４と、該ダイクロイックミラー１４により反射された蛍光およびダイクロイックミラー１４を透過した白色光をそれぞれ集光する２つの集光レンズ１５，１６と、該集光レンズ１５，１６によって集光された白色光および蛍光を撮影するＣＣＤのような２個の撮像素子１７，１８とを備えている。図中、ダイクロイックミラー１４によって反射された光のうち励起光を遮断する（例えば、波長帯域７６０～８５０ｎｍの光だけを透過する）励起光カットフィルタ１９である。
　画像処理部６は、撮像素子１８により取得された白色光画像情報Ｃ１から白色光画像Ｇ１を生成する白色光画像生成部２０と、撮像素子１７により取得された蛍光画像情報Ｃ２から蛍光画像Ｇ２を生成する蛍光画像生成部２１と、蛍光画像Ｇ２を白色光画像Ｇ１により規格化した補正蛍光画像Ｇ２’を生成する補正蛍光画像生成部２２と、白色光画像Ｇ１および／または蛍光画像Ｇ２からモニタ７に表示する表示画像Ｇを生成する表示画像生成部２３と、補正蛍光画像生成部２２により生成された補正蛍光画像Ｇ２’から注目領域Ｒを抽出する抽出部２４と、該抽出部２４により抽出された注目領域Ｒに応じて、前記表示画像生成部２３により生成する表示画像Ｇを切り替える画像切替部２５とを備えている。
　図２に画像処理部６の処理順序のフローチャートを示す。
　白色光画像生成部２０および蛍光画像生成部２１により白色光画像Ｇ１および蛍光画像Ｇ２が生成されると、補正蛍光画像生成部２２は、生成された蛍光画像Ｇ２を白色光画像Ｇ１によって除算することにより、補正蛍光画像Ｇ２’を生成するようになっている（ステップＳ１）。
　抽出部２４は、補正蛍光画像Ｇ２’の各画素の階調値の内、予め設定された第１の閾値（階調値閾値）以上の階調値を有する画素を選択することにより、複数画素を含む１以上の領域を注目領域Ｒとして抽出するようになっている（ステップＳ２）。
　画像切替部２５は、抽出部２４により抽出された注目領域Ｒ内に含まれる各画素の階調値を注目領域Ｒ毎に受け取って、当該注目領域Ｒ内に含まれる画素の階調値を加算平均して平均階調値を算出し（ステップＳ３）、該平均階調値が、第２の閾値を超えているか否かを判定するようになっている（ステップＳ４）。
　そして、画像切替部２５は、平均階調値が第２の閾値より小さい場合には、「通常モード」、平均階調値が第２の閾値以上の場合には、「精査モード」を指示する指示信号Ｃ３を表示画像生成部２３に出力するようになっている（ステップＳ５，Ｓ６）。通常モードが選択された場合には、他の注目領域Ｒについても平均階調値の算出と判定とが行われるようになっている（ステップＳ７）。
　表示画像生成部２３には、白色光画像生成部２０からの白色光画像Ｇ１、蛍光画像生成部２１からの蛍光画像Ｇ２および画像切替部２５からの指示信号Ｃ３が入力されるようになっている。表示画像生成部２３は、画像切替部２５からの「通常モード」を指示する指示信号Ｃ３が入力されたときには、表示画像Ｇとして図３Ａに示されるように白色光画像のみからなるものを生成してモニタ７に出力するようになっている。また、表示画像生成部は、「精査モード」を指示する指示信号Ｃ３が入力されたときには、表示画像Ｇとして図３Ｂに示されるように白色光画像Ｇ１と蛍光画像Ｇ２とを並列して合成したものを生成してモニタ７に出力するようになっている（ステップＳ８）。
　このように構成された本実施形態に係る蛍光観察装置１の作用について以下に説明する。
　本実施形態に係る蛍光観察装置１を用いて被写体Ａである患者の体内の生体組織の観察を行うには、体内に挿入部２を挿入して、挿入部２の先端面２ａを被写体Ａに対向させる。そして、光源３を作動させて、励起光および照明光を発生させ、カップリングレンズ１０によってライトガイドファイバ１１に入射させる。ライトガイドファイバ１１内を導光されて挿入部２の先端に達した励起光および照明光は、挿入部２先端の照明光学系１２によって拡散されて被写体Ａに照射される。
　被写体Ａにおいては、内部に含まれている蛍光物質が励起光によって励起されることにより蛍光が発せられるとともに、被写体Ａの表面において白色光が反射させられる。蛍光および照明光の反射光（白色光）は、被写体Ａの一部の観察範囲から挿入部２の先端面２ａに戻り、対物レンズ１３によって集光される。
　対物レンズ１３によって集光された蛍光および白色光はダイクロイックミラー１４によって波長毎に分岐され、ダイクロイックミラー１４を透過した光、例えば、４００～７００ｎｍの波長帯域の白色光は、集光レンズ１６によって集光され、撮像素子１８により白色光画像情報Ｃ１として取得される。
　また、対物レンズ１３によって集光された蛍光および白色光の内、ダイクロイックミラー１４において反射された光、例えば、７００～８５０ｎｍの波長帯域の励起光を含む蛍光は、励起光カットフィルタ１９によって励起光（例えば７４０ｎｍ以下の光）が除去された後に、集光レンズ１５によって集光されて撮像素子１７によって蛍光画像情報Ｃ２として取得される。
　以下に、本実施形態に係る蛍光観察装置１の画像表示方法について説明する。
　各撮像素子１７，１８によって取得された画像情報Ｃ１，Ｃ２は、画像処理部６に送られる。画像処理部６においては、白色光画像情報Ｃ１が白色光画像生成部２０に入力されて白色光画像Ｇ１が生成される。一方、蛍光画像情報Ｃ２が蛍光画像生成部２１に入力されて蛍光画像Ｇ２が生成される。
　生成された白色光画像Ｇ１および蛍光画像Ｇ２は、補正蛍光画像生成部２２に送られて、蛍光画像Ｇ２が白色光画像Ｇ１によって除算される。これにより、規格化された補正蛍光画像Ｇ２’が生成される。
　補正蛍光画像生成部２２において生成された補正蛍光画像Ｇ２’は、抽出部２４に送られ、そこで、第１の閾値以上の階調値を有する注目領域Ｒが抽出され、その情報が画像切替部２５に送られる。
　画像切替部２５においては、抽出部２４から送られてきた注目領域Ｒの情報を用いて、注目領域Ｒ毎に、その平均階調値が算出されるとともに、算出された平均階調値が第２の閾値と比較される。そして、平均階調値が第２の閾値以上となる注目領域Ｒが存在しない場合には「通常モード」を指示する指示信号Ｃ３が表示画像生成部２３に送られて、白色光画像Ｇ１のみを含む表示画像Ｇが生成され、モニタ７に表示される。
　一方、画像切替部２５において、抽出部２４から送られてきた注目領域Ｒの平均階調値が、第２の閾値以上となる注目領域Ｒが存在する場合には「精査モード」を指示する指示信号Ｃ３が表示画像生成部２３に送られて、白色光画像Ｇ１と蛍光画像Ｇ２とを並列に合成した表示画像Ｇが生成されて、モニタ７に表示される。
　このように、本実施形態に係る蛍光観察装置１とその画像表示方法によれば、医師等の観察者が挿入部２を操作して患者の体内に挿入していく際に、挿入部２の先端が病変部等の観察部位に到達するまでの状態では、取得される蛍光画像Ｇ２内には、蛍光物質の濃度の高い領域が存在せず、画像切替部２５には、抽出部２４から注目領域Ｒの情報が送られない。したがって、画像切替部２５は、「通常モード」を指示する指示信号Ｃ３を表示画像生成部２３に送り、モニタ７上には、白色光画像Ｇ１のみからなる表示画像Ｇが表示される。
　したがって、挿入部２を体内に挿入していく挿入操作の際に、観察者はモニタ７に表示された白色光画像Ｇ１のみを注視すればよい。その結果、必要な情報の含まれていない蛍光画像Ｇ２によって煩わされることなく、白色光画像Ｇ１によって体内の生体組織の形態的特徴を観察しながら挿入作業を行うことに注意力を注ぐことができ、観察場所を正確に確認しながら挿入部２の操作を行うことができる。
　一方、挿入部２の挿入作業が進行して、挿入部２の先端が病変部等の観察部位近傍に到達したときには、抽出部２４が蛍光画像Ｇ２内から第１の閾値以上の階調値を有する注目領域Ｒを抽出するようになる。注目領域Ｒが抽出されると、抽出部２４はその情報、注目領域Ｒを構成する各画素の位置および階調値を画像切替部２５に送る。画像切替部２５は、注目領域Ｒの情報が送られてくると、平均階調値を注目領域Ｒ毎に算出し、算出された平均階調値と第２の閾値とを比較する。
　画像切替部２５は、比較の結果、平均階調値が第２の閾値より小さい場合には、「通常モード」を指示する指示信号Ｃ３を表示画像生成部２３に送るので、モニタ７には白色光画像Ｇ１のみの表示画像Ｇの表示が維持される。すなわち、蛍光画像Ｇ２内に注目領域Ｒが存在しても、その平均階調値が小さい場合には、蛍光画像Ｇ２が表示されない。したがって、この場合においても、観察者は必要な情報の含まれていない蛍光画像Ｇ２によって煩わされることなく、白色光画像Ｇ１によって体内の生体組織の形態的特徴を観察しながら挿入作業を行うことに注意力を注ぐことができるという利点がある。
　そして、画像切替部２５における比較の結果、平均階調値が第２の閾値以上となる注目領域Ｒが存在する場合には、「精査モード」を指示する指示信号Ｃ３が表示画像生成部２３に送られて、白色光画像Ｇ１と蛍光画像Ｇ２とを並列させた表示画像Ｇが生成され、モニタ７の表示が切り替わる。
　すなわち、モニタ７上の表示画像Ｇの表示形式が切り替わって蛍光画像Ｇ２が表示されると、観察者は、必要な情報を含む注目領域Ｒが存在することを認識し、白色光画像Ｇ１に加えて蛍光画像Ｇ２にも注意力を注ぐことができる。
　その結果、観察者は、挿入作業の途中においても病変部等の観察部位の存在を認識でき、観察部位を見落としたまま挿入作業が進行されてしまう不都合の発生を、より確実に防止することができるという利点がある。
　なお、本実施形態においては、抽出部２４において抽出された注目領域Ｒの平均階調値が第２の閾値以上の場合に、モニタ７の表示を精査モードに切り替えることとしたが、これに代えて、図４に示されるように、第１の閾値以上の階調値を有する領域であるとして抽出された注目領域Ｒの画素数を注目領域Ｒ毎に算出し（ステップＳ３’）、算出された画素数が第３の閾値（面積閾値）以上の注目領域Ｒが存在する場合に、モニタ７の表示を精査モードに切り替えることにしてもよい（ステップＳ４’）。
　このようにすることで、一定の面積以上の注目領域Ｒのみによって画面切替の要否を判定することにより、階調値が高くても面積が小さい領域によっては、蛍光画像Ｇ２が表示されないので、ノイズにより頻繁に蛍光画像Ｇ２が表示されてしまう不都合の発生を抑制して、観察者の負担を大幅に軽減することができる。
　一方、平均階調値のみによって、画面切替の要否を判定する場合には、階調値は高いが面積が小さい注目領域Ｒも観察を要する領域として蛍光画像Ｇ２が表示されるため、注目領域Ｒの見落としを少なくすることができる。
　また、本実施形態においては、第１の閾値以上の階調値を有する注目領域の内、平均階調値が第２の閾値以上の注目領域が存在する場合に精査モードに移行することとしたが、第１の閾値以上の階調値を有する注目領域が抽出されたことにより精査モードに移行することにしてもよい。
　次に、本発明の第２の実施形態に係る蛍光観察装置３０について、図面を参照して以下に説明する。
　本実施形態の説明において、上述した第１の実施形態に係る蛍光観察装置１と構成を共通とする箇所には同一符号を付して説明を省略する。
　本実施形態に係る蛍光観察装置３０は、図５に示されるように、観察者が入力するための入力部３１を有する点、および、画像切替部２５および表示画像生成部２３の動作において第１の実施形態に係る蛍光観察装置１と相違している。
　入力部３１は、例えば、押しボタンやフットスイッチ、あるいはキーボードやマウス等の任意の入力装置であって、表示画像生成部２３に接続されている。
　画像切替部２５は、抽出部２４から抽出された注目領域Ｒの階調値を受け取ると、全ての注目領域Ｒについて平均階調値を算出し、該平均階調値が第２の閾値以上か否かを判定する。
　さらに、本実施形態においては画像切替部２５は、図６に示されるように、平均階調値が第２の閾値以上となった注目領域Ｒについては、注目領域情報Ｃ４を生成して（ステップＳ１０）、「問い合わせモード」への切替指示Ｃ５とともに表示画像生成部２３に送るようになっている（ステップＳ１１）。
　注目領域情報Ｃ４としては、各注目領域Ｒの位置および輪郭線や各注目領域Ｒの中心位置および最大階調値を挙げることができる。
　表示画像生成部２３は、画像切替部２５から「問い合わせモード」への切替指示Ｃ５が送られてくると、同時に送られてきた注目領域情報Ｃ４を白色光画像Ｇ１に重畳した問い合わせ用の表示画像Ｇを生成し（ステップＳ１２）、観察の要否について観察者に入力を促す表示（例えば、「詳細な観察が必要か（Ｙ／Ｎ）？」等）とともにモニタ７に出力するようになっている。
　図７は、注目領域情報Ｃ４として、注目領域Ｒの位置および輪郭線が送られてきた場合の問い合わせモードにおける表示画像Ｇの例である。また、図８は、注目領域情報Ｃ４として、注目領域Ｒの中心位置および最大階調値が送られてきた場合の問い合わせモードにおける表示画像Ｇの例である。
　これらの表示画像Ｇを確認した観察者が、入力部３１を用いて詳細な観察が必要であるとする入力（Ｙ入力）を行った場合には（ステップＳ１３）、精査モードＳ６に移行して、表示画像生成部２３は、図３Ｂに示されるような白色光画像Ｇ１と蛍光画像Ｇ２とを並列配置した表示画像Ｇを生成し（ステップＳ８）、モニタ７に送るようになっている。
　また、観察者が、入力部３１を用いて、詳細な観察は不要であるとする入力（Ｎ入力）を行った場合、あるいは、入力が行われないまま、所定時間が経過した場合（ステップＳ１４）には、通常モードＳ１５に移行して、表示画像生成部２３は、図３Ａに示されるような白色光画像Ｇ１のみからなる表示画像Ｇを生成し、モニタ７に送るようになっている。
　このように本実施形態に係る蛍光観察装置３０によれば、平均階調値が第２の閾値を超えた場合に、一律に精査モードに移行するのではなく、観察者が必要と判断した場合にのみ精査モードに移行するので、観察者の負担をさらに軽減することができるという利点がある。
　なお、本実施形態においては、精査モードでは、白色光画像Ｇ１と蛍光画像Ｇ２とを並列配置した表示画像Ｇを生成したが、これに代えて、図９Ａに示される問い合わせモードでの表示から、図９Ｂに示される精査モードでの表示に移行する際に、拡大した白色光画像Ｇ１（図９Ａの鎖線部分に対応。）および蛍光画像Ｇ２を並列配置した表示画像Ｇを生成してもよい。
　また、この場合に、拡大された白色光画像Ｇ１および蛍光画像Ｇ２は、画像処理により生成してもよいし、図１０に示されるように、光学的に倍率を変更する変倍機構３２を設けて、拡大画像を取得することにしてもよい。図１０に示す例では、変倍機構３２は、各撮像素子１７，１８を光軸方向に移動させるスライド機構であり、入力部３１を介して観察者がＹ入力を行ったときに、変倍機構３２により、撮像素子１７，１８を集光レンズ１５，１６から離れる方向に移動させる制御部３３を備えている。これにより、鮮明な拡大画像を得ることができ、精査モードにおいて精密な観察を行うことができるという利点がある。
　次に、本発明の第３の実施形態に係る蛍光観察装置４０について図面を参照して以下に説明する。
　本実施形態の説明において、上述した第２の実施形態に係る蛍光観察装置３０と構成を共通とする箇所には同一符号を付して説明を省略する。
　本実施形態に係る蛍光観察装置４０は、図１１に示されるように、入力部３１から観察者により入力が行われたときに、表示している白色光画像Ｇ１、注目領域Ｒの位置と輪郭線、および入力結果を対応づけて記憶する記憶部４１を備えている。
　また、画像切替部２５は、抽出部２４からの注目領域Ｒの情報に加えて白色光画像生成部２０から白色光画像Ｇ１を受け取るようになっている。
　そして、画像切替部２５は、抽出部２４から注目領域Ｒの位置および輪郭線が送られてきたときに、その時点で入力されている白色光画像Ｇ１に対応する画像を記憶部４１に記憶されている過去の白色光画像Ｇ１から検索するようになっている。さらに、画像切替部２５は、検索された過去の白色光画像Ｇ１に対応づけて記憶されている注目領域Ｒと抽出部２４から送られてきた注目領域Ｒとが一致するか否かを判定するようになっている。
　判定の結果、一致する過去の注目領域Ｒが存在する場合には、当該過去の注目領域Ｒに対応づけて記憶されている入力結果とともに、一致する過去の注目領域Ｒが存在しない場合には、その旨とともに「問い合わせモード」に移行することを指示する指示信号Ｃ４を表示画像生成部２３に出力するようになっている。
　表示画像生成部２３は、例えば、画像切替部２５から送られてきた指示信号Ｃ４に応じて、例えば、過去にＹ入力がされていた注目領域Ｒである場合には、注目領域Ｒの輪郭を赤色で、Ｎ入力がされていた注目領域Ｒである場合には、注目領域Ｒの輪郭を青色で、過去に抽出された注目領域Ｒではない場合には、注目領域Ｒの輪郭を黄色で表示する表示画像Ｇを生成するようになっている。
　このようにすることで、観察者は、モニタ７に白色光画像Ｇ１に重ね合わせて表示された注目領域Ｒの色を見るだけで、過去に一度判定した領域であるか否か、そのときの判定結果は何であったのかを確認することができる。したがって、観察者は、過去に一度でも抽出されたことがある注目領域Ｒ（赤色および青色）については、入力部３１からＮ入力を行うことで、重複した観察を行わずに済み、一度も抽出されていなかった注目領域Ｒ（黄色）についてのみ効率的に観察を行うことができる。
　また、観察者は、過去に抽出されたことがある注目領域Ｒであって、そのときの入力結果がＹ入力であった注目領域Ｒ（赤色）については、再観察を行うためにＹ入力を行い、そのときの入力結果がＮ入力であって注目領域Ｒ（青色）については、重複した観察を回避するために、Ｎ入力を行うというような判断を簡易に行うことができる。
　なお、本実施形態においては、問い合わせモードにおける表示として、注目領域Ｒの輪郭を表示する例を示したが、これに代えて、注目領域Ｒの位置を矢印で表示したり、注目領域Ｒを示す蛍光画像Ｇ２自体を半透明にして白色光画像Ｇ１に重畳してもよい。また、注目領域Ｒの輪郭の色を異ならせることで、過去の入力結果等を区別することとしたが、これに代えて、文字その他の方法によって区別することとしてもよい。また、過去に抽出された注目領域Ｒであって、一度Ｎ入力がなされたものについては、問い合わせモードに移行することなく通常モードでの表示を継続することとしてもよい。
　次に、本発明の第４の実施形態に係る蛍光観察装置５０について図面を参照して以下に説明する。
　本実施形態の説明において、上述した第１の実施形態に係る蛍光観察装置１と構成を共通とする箇所には同一符号を付して説明を省略する。
　本実施形態に係る蛍光観察装置５０は、図１２に示されるように、第１の実施形態に係る蛍光観察装置１において、抽出部２４が抽出した注目領域Ｒが第２の閾値以上の平均階調値を有する場合に表示を切り替えることとしたのに対し、インデックス値が第４の閾値（インデックス閾値）以上となる場合に表示を切り替えることとしている点において相違している。
　インデックス値ＩＮＤＥＸとしては、例えば、抽出部２４により抽出された注目領域Ｒの平均階調値ＭＦと、当該注目領域Ｒに対応する白色光画像Ｇ１内の対応領域における赤色の強度の平均値ＭＲとを乗算することにより算出したものを採用する。
　ＩＮＤＥＸ＝ＭＦ×ＭＲ
　このため、画像切替部２５には、白色光画像生成部２０において生成された白色光画像Ｇ１が入力されている。画像切替部２５においては、抽出部２４によって注目領域Ｒが抽出されてきたときに、その時点で送られてきている白色光画像Ｇ１において注目領域Ｒに対応する対応領域を抽出するとともに、その対応領域内における赤色の強度の平均値ＭＲを算出するようになっている。
　さらに、画像切替部２５は、上記式によりインデックス値ＩＮＤＥＸを算出し、予め設定されている第４の閾値以上となった場合に、「精査モード」を指示する指示信号Ｃ３を表示画像生成部２３に送るようになっている。
　このように、本実施形態に係る蛍光観察装置５０によれば、階調値が第１の閾値以上であることに加えて、赤色の強度が第４の閾値以上である領域が存在する場合に、モニタ７の表示が精査モードに切り替えられる。
　蛍光観察装置５０が内視鏡である場合に、蛍光画像Ｇ２における蛍光強度が高いことは、病変部に集積しやすい蛍光物質が多く存在していることを示し、白色光画像Ｇ１における赤色の強度が高いことは、当該領域における血管の密度が大きいことを示している。癌等の腫瘍部においては血管新生が多く見られることから血管の密度が大きくなっている場合が多い。
　したがって、インデックス値ＩＮＤＥＸにより表示の切替を判断することにより、蛍光の階調値のみによって判断する場合と比較して、より精密に病変部、特に、腫瘍部を検出して、観察者に注意を促すことができるという利点がある。
　なお、本実施形態においては、注目領域Ｒの平均階調値ＭＦと当該注目領域Ｒに対応する白色光画像Ｇ１内の対応領域における赤色の強度の平均値ＭＲとを乗算することにより、インデックス値を算出しているが、乗算に限らずこれらを加算したものや重み付け係数を乗算した後に加算した値を用いることにしてもよい。
　次に、本発明の第５の実施形態に係る蛍光観察装置６０について図面を参照して以下に説明する。
　本実施形態の説明において、上述した第１の実施形態に係る蛍光観察装置１と構成を共通とする箇所には同一符号を付して説明を省略する。
　本実施形態に係る蛍光観察装置６０においては、図１３に示されるように、観察対象部位に応じて交換できるように、光源３および画像処理部６に対して着脱可能な挿入部（着脱部品）２を備えている。挿入部２には、該挿入部２の識別情報を記憶するＩＣチップ６１が設けられている。
　また、挿入部２が取り付けられる光源３側にＩＣチップ６１内の識別情報を読み取る読取装置６２が備えられている。
　さらに、画像処理部６には、識別情報と閾値とを対応づけて記憶する閾値記憶部６３が備えられ、抽出部２４に接続されている。
　挿入部２が取り付けられると、該挿入部２に設けれられているＩＣチップ６１内の識別情報が読取装置６２によって読み取られ、画像処理部６に送られるようになっている。
　画像処理部６においては、送られてきた識別情報に対応する閾値が閾値記憶部６３から読み出され、抽出部２４により抽出された注目領域Ｒに基づく表示を切り替えるための第２の閾値または第３の閾値として使用されるようになっている。例えば、蛍光観察装置６０が内視鏡である場合に、光源３に対して着脱される挿入部２が細径であるか太径であるかに応じて、異なる第２の閾値を使用するようになっている。
　すなわち、細径の挿入部２においては、一般的に太径の挿入部２よりも照明光量が相対的に低くなるため、取得される蛍光の強度も低くなる。したがって、細径の挿入部２の方が太径の挿入部２よりも小さい第２の閾値となるように、閾値記憶部６３に設定されている。
　また、大腸の病変（ポリープ）等は、食道の病変（扁平上皮癌）等と比較して相対的に大きい。したがって、大腸用の挿入部２の場合には、食道用の挿入部２の場合と比較して小さい第３の閾値が設定されるように、閾値記憶部６３に設定されている。
　本実施形態に係る蛍光観察装置６０によれば、挿入部２を交換すると、交換された挿入部２に適した閾値が閾値記憶部６３から読み出されて設定されるので、取り付けた挿入部２の種類に拘わらず、適正な表示の切替を自動的に行うことができる。
　なお、本実施形態においては、挿入部２のような着脱部品の種類に応じて適正な閾値が選択されるようにしたが、これに代えて、使用する蛍光薬剤の種類に応じて適切な閾値が選択されるようにしてもよい。この場合には、図１４に示されるように、蛍光薬剤の種類を入力する薬剤情報入力部６４が画像切替部２５に接続されているとともに、蛍光薬剤の種類と閾値とを対応づけて記憶する閾値記憶部６５が画像切替部２５に接続されていればよい。
　例えば、蛍光強度が高い蛍光薬剤の場合には、大きな第２の閾値が設定され、蛍光強度が低い蛍光薬剤の場合には、小さいな第２の閾値が設定されるように、蛍光薬剤の種類と閾値とが対応づけて記憶されていればよい。
　このようにすることで、薬剤情報入力部６４を介して薬剤蛍光の種類が入力されると、画像切替部２５は、入力された薬剤蛍光の種類を用いて閾値記憶部６５内を検索し、対応する閾値を呼び出して、蛍光薬剤の種類に拘わらず、「精査モード」か「通常モード」かの判断を適正に行うことができる。
　Ａ　被写体
　Ｇ１　白色光画像（戻り光画像）
　Ｇ２　蛍光画像
　Ｒ　注目領域
　Ｓ２　注目領域抽出ステップ
　Ｓ５　通常モードへの切替ステップ
　Ｓ６　精査モードへの切替ステップ
　１，３０，４０，５０，６０　蛍光観察装置
　２　挿入部（着脱部品）
　３　光源（照明部）
　４　照明ユニット（照明部）
　７　モニタ（表示部）
　２０　白色光画像生成部（戻り光撮像部）
　２１　蛍光画像生成部（蛍光撮像部）
　２４　抽出部
　２５　画像切替部
　３１　入力部
　３２　変倍機構
　４１　記憶部
　６１　ＩＣチップ（識別情報）
　６２　読取装置（識別情報読取部）
　６３　閾値記憶部
　６４　薬剤情報入力部（情報入力部）

Claims (15)

  1. 　被写体に対し、励起光および照明光を照射する照明部と、
    　該照明部からの励起光の照射により前記被写体において発生した蛍光を撮影し蛍光画像を取得する蛍光撮像部と、
    　前記照明部からの照明光の照射により前記被写体から戻る戻り光を撮影し戻り光画像を取得する戻り光撮像部と、
    　前記蛍光撮像部により取得された前記蛍光画像および／または前記戻り光撮像部により取得された前記戻り光画像を表示する表示部と、
    　前記蛍光画像から所定の階調値閾値を超える階調値を有する領域を注目領域として抽出する抽出部と、
    　該抽出部により前記注目領域が抽出されていないときには前記戻り光画像のみを前記表示部に表示し、前記注目領域が抽出されたときには、前記戻り光画像および前記蛍光画像を並列して前記表示部に表示するように切り替える画像切替部とを備える蛍光観察装置。
  2. 　前記抽出部が、前記階調値閾値を越える階調値を有し、かつ、所定の面積閾値を越える面積を有する領域を前記注目領域として抽出する請求項１に記載の蛍光観察装置。
  3. 　観察者が入力を行う入力部を備え、
    　前記画像切替部は、前記抽出部により前記注目領域が抽出されたときに、抽出された前記注目領域の情報を前記戻り光画像上に重畳して表示するとともに、表示された前記情報に対応する前記注目領域の観察の要否について観察者に入力を促す表示を行うように前記表示部による表示を切り替えるとともに、前記入力部から観察が必要である旨の入力が行われた場合に、前記戻り光画像および前記蛍光画像を前記表示部に表示するように切り替える請求項１または請求項２に記載の蛍光観察装置。
  4. 　前記注目領域の情報が、前記戻り光画像上における前記注目領域の位置である請求項３に記載の蛍光観察装置。
  5. 　前記注目領域の情報が、前記戻り光画像上における前記注目領域の位置および平均階調値である請求項３に記載の蛍光観察装置。
  6. 　前記注目領域の情報が、前記戻り光画像上における前記注目領域の輪郭線である請求項３に記載の蛍光観察装置。
  7. 　前記画像切替部が、前記抽出部により前記注目領域が抽出されたときには、前記戻り光画像および前記蛍光画像を拡大して表示する請求項３に記載の蛍光観察装置。
  8. 　前記蛍光撮像部および前記戻り光撮像部が、取得する画像の倍率を変更する変倍機構をそれぞれ備え、
    　前記入力部から観察が必要である旨の入力が行われた場合に、
    　各前記変倍機構を作動させて前記蛍光撮像部および前記戻り光撮像部により高倍率の蛍光画像および戻り光画像を取得させ、
    　前記画像切替部が、取得された高倍率の前記蛍光画像および前記戻り光画像を表示する請求項３に記載の蛍光観察装置。
  9. 　前記画像切替部が、前記入力部から観察が不要である旨の入力が行われた場合に、前記戻り光画像のみの表示に切り替える請求項３に記載の蛍光観察装置。
  10. 　前記入力部から入力が行われた場合に、入力時に前記表示部に表示されている前記戻り光画像および前記抽出部により抽出された前記注目領域と入力内容とを対応づけて記憶する記憶部を備え、
    　前記画像切替部は、前記抽出部により前記注目領域が抽出されたときに、抽出された前記注目領域および該注目領域に対応する戻り光画像と、前記記憶部に記憶されている過去の前記注目領域および過去の戻り光画像とを対比し、一致している場合には、前記記憶部に対応づけて記憶されている入力内容に応じて異なる表示を行う請求項３から請求項９のいずれかに記載の蛍光観察装置。
  11. 　被写体に対し、励起光および照明光を照射する照明部と、
    　該照明部からの励起光の照射により前記被写体において発生した蛍光を撮影し蛍光画像を取得する蛍光撮像部と、
    　前記照明部からの照明光の照射により前記被写体から戻る戻り光を撮影し戻り光画像を取得する戻り光撮像部と、
    　前記蛍光撮像部により取得された前記蛍光画像および／または前記戻り光撮像部により取得された前記戻り光画像を表示する表示部と、
    　前記蛍光画像から所定の階調値閾値を超える階調値を有し、かつ、該階調値と該階調値以外の特徴量とを乗算したインデックス値が、所定のインデックス閾値を超える領域を注目領域として抽出する抽出部と、
    　該抽出部により前記注目領域が抽出されていないときには前記戻り光画像のみを前記表示部に表示し、前記注目領域が抽出されたときには、前記戻り光画像および前記蛍光画像を前記表示部に表示するように切り替える画像切替部とを備える蛍光観察装置。
  12. 　観察者が入力を行う入力部とを備え、
    　前記画像切替部は、前記抽出部により前記注目領域が抽出されたときに、抽出された前記注目領域の情報を前記戻り光画像と対応づけて表示するとともに、表示された前記情報に対応する前記注目領域の観察の要否について観察者に入力を促す表示を行うように前記表示部による表示を切り替えるとともに、前記入力部から観察が必要である旨の入力が行われた場合に、前記戻り光画像および前記蛍光画像を前記表示部に表示するように切り替える請求項１１に記載の蛍光観察装置。
  13. 　観察条件を変更するために着脱される、識別情報を記憶した着脱部品と、
    　該着脱部品に記憶された識別情報を読み取る識別情報読取部と、
    　前記識別情報と前記階調値閾値とを対応づけて記憶する閾値記憶部とを備え、
    　前記抽出部が、取り付けた着脱部品の識別情報に対応して前記閾値記憶部に記憶されている前記階調値閾値を用いて前記注目領域を抽出する請求項１に記載の蛍光観察装置。
  14. 　使用する蛍光薬剤の情報を入力する情報入力部を備え、
    　前記抽出部が、前記情報入力部から入力された蛍光薬剤の情報に基づいて前記階調値閾値を調節し、調節された前記階調値閾値を超える領域を前記注目領域として抽出する請求項１に記載の蛍光観察装置。
  15. 　被写体の蛍光画像と戻り光画像を表示する蛍光観察装置の画像表示方法であって、
    　前記蛍光画像から所定の階調値閾値を超える階調値を有する領域を注目領域として抽出し、
    　前記注目領域が抽出されていないときに、前記戻り光画像のみを表示し、
    　前記注目領域が抽出されたときに、前記戻り光画像および前記蛍光画像を並列して表示する画像表示方法。
PCT/JP2012/061145 2011-04-28 2012-04-25 蛍光観察装置とその画像表示方法 WO2012147820A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2013512417A JP6053673B2 (ja) 2011-04-28 2012-04-25 蛍光観察装置とその画像表示方法
CN201280020080.6A CN103491850B (zh) 2011-04-28 2012-04-25 荧光观察装置及其图像显示方法
US14/058,907 US9513219B2 (en) 2011-04-28 2013-10-21 Fluoroscopy apparatus and image display method therefor

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-101965 2011-04-28
JP2011101965 2011-04-28

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/058,907 Continuation US9513219B2 (en) 2011-04-28 2013-10-21 Fluoroscopy apparatus and image display method therefor

Publications (1)

Publication Number Publication Date
WO2012147820A1 true WO2012147820A1 (ja) 2012-11-01

Family

ID=47072336

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/061145 WO2012147820A1 (ja) 2011-04-28 2012-04-25 蛍光観察装置とその画像表示方法

Country Status (4)

Country Link
US (1) US9513219B2 (ja)
JP (1) JP6053673B2 (ja)
CN (1) CN103491850B (ja)
WO (1) WO2012147820A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104736036A (zh) * 2012-11-30 2015-06-24 奥林巴斯株式会社 观察装置
JP2015221161A (ja) * 2014-05-23 2015-12-10 オリンパス株式会社 内視鏡装置
JP2017534321A (ja) * 2014-09-15 2017-11-24 シナプティヴ メディカル （バルバドス） インコーポレイテッドＳｙｎａｐｔｉｖｅ Ｍｅｄｉｃａｌ （Ｂａｒｂａｄｏｓ） Ｉｎｃ． 複合光プローブを用いたシステム及び方法
WO2017216922A1 (ja) * 2016-06-16 2017-12-21 オリンパス株式会社 画像処理装置及び画像処理方法
WO2019123827A1 (ja) * 2017-12-19 2019-06-27 オリンパス株式会社 内視鏡システム及び内視鏡プロセッサ
WO2021024314A1 (ja) * 2019-08-02 2021-02-11 株式会社島津製作所 治療支援装置および治療支援方法
WO2021140601A1 (ja) * 2020-01-09 2021-07-15 オリンパス株式会社 画像処理システム、内視鏡システム及び画像処理方法

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014198144A (ja) * 2013-03-29 2014-10-23 ソニー株式会社 画像処理装置、画像処理方法、情報処理プログラム、蛍光観察システム、および蛍光ナビゲーション・サージェリー・システム
CN105992568B (zh) * 2014-02-12 2018-06-08 皇家飞利浦有限公司 手术仪器可见性的机器人控制
EP3110305B1 (en) 2014-02-27 2021-09-01 University Surgical Associates, Inc. Interactive display for surgery
EP4345527A2 (en) * 2014-07-21 2024-04-03 EndoChoice, Inc. Multi-focal, multi-camera endoscope systems
CN107923851A (zh) * 2015-06-02 2018-04-17 国立大学法人旭川医科大学 观察辅助装置、信息处理方法以及程序
DE112015006531T5 (de) * 2015-06-11 2018-02-15 Olympus Corporation Endoskopvorrichtung und Verfahren zum Bedienen der Endoskopvorrichtung
WO2018198161A1 (ja) * 2017-04-24 2018-11-01 オリンパス株式会社 内視鏡画像処理装置及び内視鏡画像処理方法
JP7042045B2 (ja) * 2017-08-10 2022-03-25 シスメックス株式会社 試料分析装置
CN108209842A (zh) * 2018-01-12 2018-06-29 广东欧谱曼迪科技有限公司 一种高精度近红外荧光导航内窥镜系统及其画面配准方法
CN108577791B (zh) * 2018-05-16 2020-05-12 广东欧谱曼迪科技有限公司 一种荧光导航内窥镜系统及其增强荧光成像灵敏度的方法
WO2019244255A1 (ja) * 2018-06-19 2019-12-26 オリンパス株式会社 内視鏡画像処理装置および内視鏡画像処理方法
JP7281308B2 (ja) * 2019-03-07 2023-05-25 ソニー・オリンパスメディカルソリューションズ株式会社 医療用画像処理装置及び医療用観察システム
JP7470776B2 (ja) * 2020-03-11 2024-04-18 富士フイルム株式会社 内視鏡システム、制御方法、及び制御プログラム
CN115115755B (zh) * 2022-08-30 2022-11-08 南京诺源医疗器械有限公司 基于数据处理的荧光三维成像方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63240826A (ja) * 1987-03-30 1988-10-06 株式会社東芝 電子内視鏡装置
JP2002345739A (ja) * 2001-05-25 2002-12-03 Fuji Photo Film Co Ltd 画像表示装置
JP2006020788A (ja) * 2004-07-07 2006-01-26 Pentax Corp 自家蛍光観察可能な電子内視鏡装置およびシステム
JP2006095166A (ja) * 2004-09-30 2006-04-13 Pentax Corp 電子内視鏡用プロセッサ
JP2009045148A (ja) * 2007-08-16 2009-03-05 Yamaguchi Univ 膀胱癌検査装置および膀胱癌検査装置の制御方法
JP2009226072A (ja) * 2008-03-24 2009-10-08 Fujifilm Corp 手術支援方法及び装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5749830A (en) * 1993-12-03 1998-05-12 Olympus Optical Co., Ltd. Fluorescent endoscope apparatus
JP2002119463A (ja) * 2000-10-13 2002-04-23 Fuji Photo Film Co Ltd 蛍光画像保存装置
JP4602825B2 (ja) * 2005-04-18 2010-12-22 オリンパスメディカルシステムズ株式会社 画像表示装置
JP4694311B2 (ja) * 2005-08-22 2011-06-08 Ｈｏｙａ株式会社 内視鏡プロセッサ、画像切替えプログラム、および蛍光内視鏡システム
JP5114024B2 (ja) * 2005-08-31 2013-01-09 オリンパス株式会社 光イメージング装置
JP4761899B2 (ja) 2005-09-12 2011-08-31 Ｈｏｙａ株式会社 電子内視鏡システム
JP5019866B2 (ja) * 2006-12-25 2012-09-05 オリンパス株式会社 蛍光内視鏡及び蛍光内視鏡の作動方法
JP5074044B2 (ja) * 2007-01-18 2012-11-14 オリンパス株式会社 蛍光観察装置および蛍光観察装置の作動方法
JP5393216B2 (ja) * 2009-03-24 2014-01-22 オリンパス株式会社 蛍光観察システムおよび蛍光観察システムの作動方法
WO2010110138A1 (ja) * 2009-03-24 2010-09-30 オリンパス株式会社 蛍光観察装置、蛍光観察システムおよび蛍光画像処理方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63240826A (ja) * 1987-03-30 1988-10-06 株式会社東芝 電子内視鏡装置
JP2002345739A (ja) * 2001-05-25 2002-12-03 Fuji Photo Film Co Ltd 画像表示装置
JP2006020788A (ja) * 2004-07-07 2006-01-26 Pentax Corp 自家蛍光観察可能な電子内視鏡装置およびシステム
JP2006095166A (ja) * 2004-09-30 2006-04-13 Pentax Corp 電子内視鏡用プロセッサ
JP2009045148A (ja) * 2007-08-16 2009-03-05 Yamaguchi Univ 膀胱癌検査装置および膀胱癌検査装置の制御方法
JP2009226072A (ja) * 2008-03-24 2009-10-08 Fujifilm Corp 手術支援方法及び装置

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104736036A (zh) * 2012-11-30 2015-06-24 奥林巴斯株式会社 观察装置
EP2926713A4 (en) * 2012-11-30 2016-07-20 Olympus Corp OBSERVATION DEVICE
JPWO2014084134A1 (ja) * 2012-11-30 2017-01-05 オリンパス株式会社 観察装置
JP2015221161A (ja) * 2014-05-23 2015-12-10 オリンパス株式会社 内視鏡装置
JP2017534321A (ja) * 2014-09-15 2017-11-24 シナプティヴ メディカル （バルバドス） インコーポレイテッドＳｙｎａｐｔｉｖｅ Ｍｅｄｉｃａｌ （Ｂａｒｂａｄｏｓ） Ｉｎｃ． 複合光プローブを用いたシステム及び方法
JPWO2017216922A1 (ja) * 2016-06-16 2019-04-11 オリンパス株式会社 画像処理装置及び画像処理方法
WO2017216922A1 (ja) * 2016-06-16 2017-12-21 オリンパス株式会社 画像処理装置及び画像処理方法
WO2019123827A1 (ja) * 2017-12-19 2019-06-27 オリンパス株式会社 内視鏡システム及び内視鏡プロセッサ
JPWO2019123827A1 (ja) * 2017-12-19 2020-07-09 オリンパス株式会社 内視鏡システム及び内視鏡プロセッサ
US10951800B2 (en) 2017-12-19 2021-03-16 Olympus Corporation Endoscope system and endoscope processor
WO2021024314A1 (ja) * 2019-08-02 2021-02-11 株式会社島津製作所 治療支援装置および治療支援方法
JPWO2021024314A1 (ja) * 2019-08-02 2021-02-11
JP7306461B2 (ja) 2019-08-02 2023-07-11 株式会社島津製作所 治療支援装置および治療支援方法
WO2021140601A1 (ja) * 2020-01-09 2021-07-15 オリンパス株式会社 画像処理システム、内視鏡システム及び画像処理方法

Also Published As

Publication number Publication date
US20140049626A1 (en) 2014-02-20
JP6053673B2 (ja) 2016-12-27
US9513219B2 (en) 2016-12-06
CN103491850B (zh) 2016-08-17
CN103491850A (zh) 2014-01-01
JPWO2012147820A1 (ja) 2014-07-28

Similar Documents

Publication Publication Date Title
JP6053673B2 (ja) 蛍光観察装置とその画像表示方法
JP6006199B2 (ja) 蛍光観察装置
CN110325100B (zh) 内窥镜系统及其操作方法
JP5802440B2 (ja) 蛍光観察装置
JP5562683B2 (ja) 蛍光観察装置
US9417188B2 (en) Fluorescence observation device
EP2926713A1 (en) Observation device
US11510558B2 (en) Endoscope observation method and endoscope apparatus
US9392942B2 (en) Fluoroscopy apparatus and fluoroscopy system
JP5669416B2 (ja) 蛍光観察装置
US9313388B2 (en) Fluorescence observation device
US10805512B2 (en) Dual path endoscope
US20130116508A1 (en) Fluoroscopy apparatus
CN112566537A (zh) 内窥镜系统
JP2023014380A (ja) 内視鏡システム
JP2004024656A (ja) 蛍光内視鏡装置
JP2006340796A (ja) センチネルリンパ節検出システム
JP2003126017A (ja) 手術用顕微鏡システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12776285

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2013512417

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12776285

Country of ref document: EP

Kind code of ref document: A1