WO2018216276A1 - 観察システム、および光源制御装置 - Google Patents

観察システム、および光源制御装置 Download PDF

Info

Publication number
WO2018216276A1
WO2018216276A1 PCT/JP2018/005475 JP2018005475W WO2018216276A1 WO 2018216276 A1 WO2018216276 A1 WO 2018216276A1 JP 2018005475 W JP2018005475 W JP 2018005475W WO 2018216276 A1 WO2018216276 A1 WO 2018216276A1
Authority
WO
WIPO (PCT)
Prior art keywords
light
observation
light source
special
amount
Prior art date
Application number
PCT/JP2018/005475
Other languages
English (en)
French (fr)
Inventor
村松　広隆
山口　恭司
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US16/613,811 priority Critical patent/US11076106B2/en
Priority to JP2019519466A priority patent/JP7107308B2/ja
Priority to EP18806828.2A priority patent/EP3632291A4/en
Publication of WO2018216276A1 publication Critical patent/WO2018216276A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only

Definitions

  • the present disclosure relates to an observation system and a light source control device.
  • observation systems such as endoscopes or microscopes that include a light source and an imaging device and observe a living body are widely used.
  • an observation image similar to observation with the naked eye is captured by irradiating the observation target with white light (also referred to as normal observation), and a fluorescent substance that easily accumulates in a specific tissue Is administered to an observation target, and a specific tissue is emphasized and observed with fluorescence of the fluorescent substance (also referred to as special observation).
  • Patent Document 1 modulates the wavelength of light emitted from a white lamp light source to an observation target by using a rotary filter including a plurality of optical filters that transmit only different specific wavelength bands.
  • a biological observation system is disclosed. In the living body observation system, a red image, a green image, and a blue image corresponding to RGB signals are respectively acquired by rotating the rotation filter in accordance with the imaging timing.
  • a new and improved observation system capable of more efficiently generating observation light used for special observation different from normal observation and performing the special observation more efficiently, and light source control Propose the device.
  • an optical system that irradiates the observation target with the first light, an imaging device that captures a captured image of the observation target irradiated with the first light, and pixels corresponding to a predetermined wavelength band of the captured image
  • An observation system includes a light source control unit that controls the amount of the first light based on luminance.
  • the light source control unit that controls the light amount of the first light irradiated to the observation target based on the luminance of the pixel corresponding to the predetermined wavelength band of the captured image of the observation target,
  • the first light is composed of light emitted from some light sources among a plurality of light sources that emit light of different wavelength bands, which can generate white light by being combined.
  • light in a specific wavelength band used for special observation is generated using light emitted from a part of a plurality of light sources that can generate white light by multiplexing. be able to. Further, by controlling the amount of light in a specific wavelength band based on the luminance of the pixels of the captured image at the time of special observation, it is possible to obtain a captured image with little luminance fluctuation in the special observation.
  • FIG. 1 is an explanatory diagram illustrating a configuration example of an observation system 1 according to an embodiment of the present disclosure.
  • the observation system 1 includes, for example, an illumination device 1100 and an imaging device 1200.
  • the observation object 1500 irradiated with the observation light output from the illumination device 1100 is also illustrated.
  • the observation system 1 according to the present embodiment can be applied to an imaging system for medical use, for example, an endoscope system and a microscope system.
  • observation system 1 it is possible to generate white light for normal observation and special light for special observation, and an observation object 1500 irradiated with either white light or special light. Can be acquired as an observation image.
  • Normal observation is an observation method of observing the observation object 1500 with a color close to that of the naked eye under natural light by irradiating the observation object 1500 with white light. For example, normal observation is performed by irradiating the observation object 1500 with white light obtained by combining light of different wavelength bands emitted from a plurality of light sources, and observing the reflected light from the observation object 1500 of the white light. obtain.
  • special observation refers to observing the structure of a specific biological tissue more clearly by irradiating the observation object 1500 with light of a specific wavelength band, or identifying a specific biological tissue from other biological tissues. It is an observation method that makes it possible to do. For example, in special observation, after a fluorescent substance or the like that selectively acts on a specific biological tissue is administered to the observation target 1500, the observation target 1500 is irradiated with excitation light of the fluorescent substance, and the fluorescence emitted by the fluorescent substance is observed. Can be done. That is, the special light for special observation is light having a wavelength band narrower than that of white light, including the excitation wavelength of the fluorescent substance administered to the observation object 1500. Such special light for special observation can be composed of, for example, light emitted from some of the plurality of light sources that generate white light.
  • the illumination device 1100 includes a plurality of light sources (red light source 220R, green light source 220G, and blue light source 220B) that emit light in different wavelength bands, and a drive circuit (red light source drive circuit 221R, green light source) that drives the plurality of light sources.
  • a driving circuit 221G and a blue light source driving circuit 221B) an optical system 200 for combining lights emitted from the plurality of light sources, and a control unit 1120.
  • the red light source 220R, the green light source 220G, and the blue light source 220B are collectively referred to as a light source 220, and the red light source driving circuit 221R, the green light source driving circuit 221G, and the blue light source driving circuit 221B are also collectively referred to as a driving circuit 221.
  • the light source 220 is a plurality of light sources that emit light in different wavelength bands. Each wavelength band of the light source 220 is selected so that white light is generated by combining the light emitted from the light source 220.
  • the light source 220 may be, for example, a red light source 220R, a green light source 220G, and a blue light source 220B.
  • Each of the light sources 220 may be constituted by a laser light source. Unlike a lamp light source such as a xenon lamp or a halogen lamp, a laser light source can control the amount of emitted light by controlling an applied drive current or drive voltage. When each of the light sources 220 is configured by a laser light source, the illumination device 1100 can control the light amount of the light source 220 and the like more quickly and accurately.
  • the red light source 220R may be a red laser light source that emits laser light in a red band (for example, the center wavelength is about 638 nm). More specifically, the red light source 220R may be a semiconductor laser such as a GaInP quantum well laser diode that emits light in a wavelength band of 630 nm to 645 nm.
  • the green light source 220G may be a green laser light source that emits laser light in a green band (for example, the center wavelength is about 532 nm).
  • the green light source 220G may be a semiconductor laser wavelength-converted by a wavelength conversion element such as a phosphor and a nonlinear optical element so as to emit light in a wavelength band of 510 nm to 540 nm.
  • the blue light source 220B may be a blue laser light source that emits laser light in a blue band (for example, the center wavelength is about 450 nm). More specifically, the blue light source 220B may be a semiconductor laser such as a GaInN quantum well laser diode that emits light in a wavelength band of 435 nm to 465 nm.
  • each wavelength band of the light source 220 may not be a combination of the above-described red band, green band, and blue band as long as white light can be generated by multiplexing.
  • each wavelength band of the light source 220 may be a combination of a yellow band and a blue band, or may be a combination of a red band, a green band, a blue band, and a yellow band.
  • the driving circuit 221 drives each of the corresponding light sources 220 based on the driving instruction generated by the control unit 1120.
  • the drive circuit 221 includes a circuit that can adjust the drive current to each of the corresponding light sources 220.
  • the drive circuit 221 may be, for example, a red light source drive circuit 221R, a green light source drive circuit 221G, and a blue light source drive circuit 221B.
  • the red light source driving circuit 221R drives the red light source 220R based on the driving instruction generated by the control unit 1120
  • the green light source driving circuit 221G drives the green light source 220G based on the driving instruction generated by the control unit 1120.
  • the blue light source drive circuit 221B drives the blue light source 220B based on the drive instruction generated by the control unit 1120.
  • the optical system 200 generates white light 300 for normal observation by combining the red light, the green light, and the blue light emitted from the red light source 220R, the green light source 220G, and the blue light source 220B, respectively. Further, the optical system 200 generates special light for special observation by combining light emitted from some of the red light source 220R, the green light source 220G, and the blue light source 220B.
  • the special light for special observation may be any of red light, green light, or blue light emitted from the red light source 220R, the green light source 220G, or the blue light source 220B.
  • emitted from the light source of a part by arbitrary light quantity ratios may be sufficient.
  • the special light for special observation is composed of a part of the red light source 220R, the green light source 220G, and the blue light source 220B, and thus has a narrower wavelength band than the white light 300.
  • the optical system 200 includes, for example, a mirror 201 and dichroic mirrors 203 and 205.
  • the red light emitted from the red light source 220R is reflected by the mirror 201 and enters the dichroic mirror 203.
  • the mirror 201 may be a dichroic mirror that reflects red light and transmits light having a wavelength other than the wavelength band of red light.
  • the dichroic mirror 203 reflects green light and transmits light having a wavelength other than the wavelength band of green light.
  • the green light emitted from the green light source 220 ⁇ / b> G is incident on the dichroic mirror 205 by being reflected by the dichroic mirror 203.
  • the red light passes through the dichroic mirror 203, it is combined with the green light reflected by the dichroic mirror 203 and enters the dichroic mirror 205.
  • the dichroic mirror 205 is a mirror that reflects blue light and transmits light having a wavelength other than the wavelength band of blue light. Blue light emitted from the blue light source 220 ⁇ / b> B is reflected by the dichroic mirror 205. On the other hand, since the red light and the green light are transmitted through the dichroic mirror 205, they are combined with the blue light reflected by the dichroic mirror 205 to become white light 300. As a result, the optical system 200 can combine the light emitted from each of the light sources 220 to generate the white light 300.
  • the combined white light 300 is guided by, for example, a light guide member such as an optical fiber, and is irradiated on the observation target 1500.
  • the control unit 1120 is an arithmetic processing unit that controls driving of each of the light sources 220 (red light source 220R, green light source 220G, and blue light source 220B). Specifically, the control unit 1120 calculates a drive current to be applied to each of the light sources 220 based on the target light amount, and issues a drive instruction based on the calculated drive current to each of the drive circuits 221 (red light source drive circuit 221R, green To the light source driving circuit 221G and the blue light source driving circuit 221B).
  • the control unit 1120 stores in advance a correlation between each drive current of the light source 220 and the amount of light emitted from each of the light sources 220 with the drive current, and realizes a target light amount based on the correlation.
  • a drive current may be calculated.
  • the optical system 200 may be provided with a photodetector that demultiplexes the light emitted from each of the light sources 220 and detects the demultiplexed light. Since the control unit 1120 can determine the light amount of light actually emitted from each of the light sources 220 from the light amount detected by the photodetector, the control unit 1120 determines the light amount of each light of the light source 220 as the target light amount. It is possible to output a drive instruction to the drive circuit.
  • the fluorescent substance administered to the observation target 1500 is diffused and photobleached over time (photochemistry of the fluorescent substance).
  • the intensity of the emitted fluorescence may be reduced.
  • the luminance of the pixel corresponding to the fluorescence emitted by the fluorescent material gradually decreases with time, so the visibility of the captured image decreases.
  • the control unit 1120 controls the light amount of the special light based on the luminance of the captured image of the observation target 1500 irradiated with the special light so that the luminance of the captured image becomes substantially constant. Specifically, in the captured image of the observation target 1500 irradiated with the special light, the control unit 1120 determines the luminance of the pixel based on the luminance of the pixel corresponding to the fluorescence emitted by the fluorescent material excited by the special light. The amount of special light is controlled so as to be within a predetermined range.
  • the control unit 1120 can excite the fluorescein compound.
  • a drive instruction for generating special light composed of blue light is output to the drive circuit 221. Thereafter, the control unit 1120 has the luminance of the green pixel within a predetermined range based on the luminance of the green pixel corresponding to the maximum fluorescence wavelength of the fluorescein compound in the captured image of the observation target 1500 irradiated with the special light.
  • a drive instruction for controlling the amount of the special light is output to the drive circuit 221 so as to be substantially constant.
  • the control unit 1120 displays the special light composed of blue light when the maximum value or the average value of the entire luminance image of the green pixel falls below a predetermined range.
  • a drive instruction for increasing the amount of light by a predetermined amount may be output to the blue light source drive circuit 221B.
  • control unit 1120 keeps the light amount with little damage to the fluorescent material, the observation target, or the light source 220 even when the light amount of the special light is increased.
  • the observation system 1 captures an image by performing image processing on, for example, the S / N ratio, brightness, contrast, or sharpness of the captured image. You may increase the brightness
  • the control unit 1120 causes the maximum value or average value of the luminances of all the pixels of the captured image of the observation object 1500 irradiated with the special light to be within a predetermined range (that is, substantially constant).
  • a drive instruction for controlling the amount of special light may be output to the drive circuit 221.
  • the user can specially observe the observation object 1500 to which the fluorescent material is administered without worrying about the possibility that the intensity of the fluorescence emitted from the fluorescent material decreases with time. Can do. Therefore, the observation system 1 can improve user convenience in special observation.
  • the imaging apparatus 1200 images the observation target 1500 irradiated with white light or special light, and acquires a captured image of the observation target 1500.
  • the imaging apparatus 1200 includes an imaging element, and acquires a captured image of the observation target 1500 by photoelectrically converting light from the observation target 1500.
  • the imaging device included in the imaging device 1200 may be, for example, a known imaging device capable of color imaging, such as a charge coupled device (CCD) image sensor or a complementary metal-oxide-semiconductor (CMOS) image sensor. It may be.
  • the imaging apparatus 1200 may acquire a captured image for normal observation by photoelectrically converting reflected light reflected from the observation object 1500 irradiated with white light for normal observation.
  • the imaging apparatus 1200 may acquire a captured image for special observation by photoelectrically converting fluorescence emitted from the observation target 1500 irradiated with special light for special observation.
  • the imaging apparatus 1200 may acquire a moving image indicating a temporal change of the observation target 1500 by continuously acquiring captured images of the observation target 1500 at a short interval (for example, 1/30 second interval). .
  • the observation system 1 irradiates the observation target 1500 with white light for normal observation and special light for special observation in a time-sharing manner, and each captured image of normal observation and special observation is obtained. May be obtained.
  • the observation system 1 can simultaneously present the captured images of normal observation and special observation to the user.
  • FIG. 2 is a graph showing irradiation of white light for normal observation and special light for special observation in a time-sharing manner.
  • the observation system 1 generates white light generated by combining the red light 300R, the green light 300G, and the blue light 300B emitted from each of the red light source 220R, the green light source 220G, and the blue light source 220B.
  • 300 and special light 400 for example, blue light 300B emitted from the blue light source 220B
  • the observation object 1500 can be irradiated with the white light 300 and the special light 400 in a time-sharing manner.
  • the light quantity ratio of each of the red light 300R, the green light 300G, and the blue light 300B in the white light 300 can be appropriately controlled so that the color temperature is close to that of natural light and the color rendering is higher.
  • the amount of light and the irradiation time of each of the white light 300 and the special light 400 are appropriately controlled according to observation conditions and the like, and thus do not have to be the same.
  • the observation system 1 switches the observation target 1500 irradiated with white light or special light, for example, by switching light applied to the observation target 1500 to either white light or special light at each imaging timing of the imaging device 1200. You may image 1500 respectively.
  • the observation system 1 captures an image of the observation target 1500 irradiated with white light or special light by, for example, switching the light irradiated on the observation target 1500 alternately to either white light or special light in units of several seconds. Also good.
  • the observation system 1 takes an image of the observation target 1500 irradiated with white light or special light, for example, by switching the light irradiated on the observation target 1500 to either white light or special light based on an input from the user. May be.
  • the control unit 1120 alternately emits light that irradiates the observation target 1500 for each imaging frame or every plurality of imaging frames. You may switch to either special light.
  • the time of one imaging frame in the moving image is, for example, 1/30 seconds or 1/60 seconds. Therefore, the observation system 1 can be switched to either white light or special light by irradiating the observation target 1500 with the imaging frame as a unit, so that the observation system 1 does not recognize the captured image for the normal observation and the special light. It is possible to capture both images for observation.
  • each of the light sources 220 is appropriately turned on or off depending on whether white light or special light is generated.
  • the laser light source can perform output control, lighting and extinction more quickly and accurately than the lamp light source, when each of the light sources 220 is a laser light source, in the observation system 1, The influence on the amount of light and the like due to the turning on and off of each can be reduced. In such a case, the observation system 1 can control the amounts of white light and special light independently of each other even when white light and special light are alternately generated.
  • FIG. 3 is a flowchart for explaining an example of the operation in the observation system 1 according to the present embodiment.
  • the lighting device 1100 generates special light using light emitted from some of the light sources 220 and irradiates the observation target 1500 with the generated special light ( S101).
  • the imaging device 1200 images the observation object 1500 irradiated with the special light (S103).
  • the control unit 1120 calculates the luminance of the pixel corresponding to the predetermined wavelength band in the captured image that has been captured (S105). Note that the control unit 1120 may calculate the average value of the entire captured image with the luminance of the pixel, or may calculate the maximum value of the entire captured image with the luminance of the pixel.
  • the predetermined wavelength band is a wavelength band of fluorescence emitted from the fluorescent substance administered to the observation object 1500.
  • the control unit 1120 may select a blue pixel as a pixel corresponding to the predetermined wavelength band, and calculate the luminance of the blue pixel from the captured image.
  • the control unit 1120 may select a green pixel as a pixel corresponding to the predetermined wavelength band, and calculate the luminance of the green pixel from the captured image.
  • control unit 1120 may select a red pixel as a pixel corresponding to the predetermined wavelength band, and calculate the luminance of the red pixel from the captured image.
  • the control unit 1120 determines whether or not the calculated luminance of the pixel is included within a predetermined luminance range (S107).
  • the range of the predetermined luminance is a luminance range with a small burden on the vision of the user who performs special observation.
  • the observation system 1 returns to S101, irradiates the observation target 1500 with special light (S101), and then the observation target 1500 images are captured (S103).
  • the control unit 1120 determines the light amount of the light source 220 in which the luminance of the pixel is within the predetermined luminance range in the captured image. (S109). Specifically, when the luminance of the pixel of the captured image falls below a predetermined luminance range, the control unit 1120 outputs a drive instruction for driving the light source 220 so as to increase the amount of special light. Or when the brightness
  • the drive circuit 221 controls the output of the light source 220 that generates the special light based on the drive instruction output from the control unit 1120 (S111). Thereafter, the observation system 1 returns to S101, irradiates the observation object 1500 with special light (S101), and then images the observation object 1500 (S103).
  • the observation system 1 uses the amount of special light emitted to the observation target 1500 so that the fluorescence emitted from the observation target 1500 falls within a predetermined range in the special observation. It is possible to control. Therefore, the observation system 1 can make the intensity of the fluorescence emitted from the observation object 1500 and fluctuate with the passage of time substantially constant, so that it is possible to improve user convenience in special observation.
  • FIGS. 4 to 7 are graphs showing examples of observation light control patterns in the observation system 1 according to the present embodiment.
  • the white light for normal observation and the special light for special observation can be switched at an arbitrary timing. Therefore, hereinafter, the first to fourth control patterns will be exemplified to describe switching between white light and special light and the light amount control pattern in the observation system 1 according to the present embodiment.
  • the observation system 1 can take an image for normal observation and an image for special observation alternately.
  • the white light and the special light may be switched every frame, or may be switched every few frames. Good.
  • the irradiation time of white light and special light may be 1/30 second or 1/60 second, respectively.
  • the intensity of the special light emitted to the observation target 1500 is substantially constant based on the luminance of the pixel of the captured image obtained by immediately capturing the observation target irradiated with the special light. It may be controlled as follows.
  • the amount of the special light 400-2 may be controlled based on the luminance of the pixel of the captured image of the observation target 1500 irradiated with the special light 400-1.
  • the light amount of the special light 400-3 may be controlled based on the luminance of the pixel of the captured image of the observation target 1500 irradiated with the special light 400-2.
  • the luminance of the pixel of the captured image of the observation object 1500 irradiated with the special light gradually decreases due to diffusion of a fluorescent substance, light fading, or the like.
  • the observation system 1 controls the amount of special light as appropriate so that the luminance of the pixels of the captured image of the observation object 1500 remains substantially constant even when the fluorescence intensity emitted from the fluorescent substance administered to the observation object 1500 varies. It is possible to maintain.
  • the amount of white light applied to the observation object 1500 may be constant in the white light 300-1, 300-2, 300-3.
  • the captured image of the observation object 1500 irradiated with white light is considered to have less variation in pixel luminance than the captured image of the observation object 1500 irradiated with special light. Therefore, the amount of white light 300-1, 300-2, 300-3 does not have to be variably controlled like the amount of special light 400-1, 400-2, 400-3.
  • the user can observe the captured image for normal observation and the captured image for special observation at the same time.
  • special observation special light (410-1, 410-2, 410-3%) With a constant light amount and special observation special light (400) with a variable light amount. ⁇ 1, 400-2, 400-3%) May be alternately irradiated on the observation object 1500 in a pulse shape.
  • the observation system 1 can alternately capture a special observation image reflecting the fluorescence intensity variation with time and a special observation image in which the luminance of the pixels is maintained substantially constant. .
  • the observation system 1 includes special lights 410-1, 410-2, and 410-3 in which the amount of light to be irradiated is maintained at a constant amount L, and special light 400 in which the amount of light to be irradiated is controlled based on the luminance of the pixels of the captured image.
  • -1, 400-2, 400-3 may be alternately irradiated on the observation object 1500.
  • the special light for special observation with constant light amount and the special light for special observation with variable light amount are one frame. It may be switched every few frames or may be switched every several frames.
  • the irradiation time of each special light may be 1/30 second or 1/60 second, respectively.
  • the observation system 1 makes the amount of special light irradiated to the observation target 1500 constant so that the luminance of the pixel of the captured image becomes a luminance reflecting the fluorescence intensity emitted from the observation target 1500. Is preferred.
  • the observation system 1 irradiates the observation target 1500 based on the luminance of the pixel of the captured image obtained by imaging the observation target irradiated with the special light so that the luminance of the pixel of the captured image becomes substantially constant.
  • the amount of special light that is generated may be controlled.
  • the amount of the special light 400-2 may be controlled based on the luminance of the pixel of the captured image of the observation target 1500 irradiated with the special light 400-1.
  • the light amount of the special light 400-3 may be controlled based on the luminance of the pixel of the captured image of the observation target 1500 irradiated with the special light 400-2.
  • the light amount of the special light is controlled based on the luminance of the pixel of the captured image of the observation target 1500 irradiated with the special light other than the special light 400-1, 400-2, 400-3 that is controlled to be variable in light amount. It goes without saying.
  • the light amount of the special light 400-2 may be controlled based on the luminance of the pixel of the captured image of the observation object 1500 irradiated with the special light 410-2, which is a captured image captured immediately before.
  • the observation system 1 allows the user to refer later to which observation image the intensity of the special light irradiated is controlled based on the luminance of the observation image.
  • the observation system 1 may store the image of the observation target 1500 in association with the state in which the amount of special light emitted to the observation target 1500 when the image is captured. More specifically, the observation system 1 stores, as embedded information, in the image of the observation target 1500, how the amount of special light irradiated to the observation target 1500 when the image is captured is controlled. Also good.
  • the second control pattern it is possible for the user to simultaneously observe observation images captured by irradiating different amounts of special light for different observation purposes.
  • the third control pattern As shown in FIG. 6, in the third control pattern, as in the second control pattern, special observation-specific light (410-1, 410-2, 410-3%) With a constant light amount and variable light amount The special observation light (400-1, 400-2, 400-3%) And the observation target 1500 may be alternately irradiated in a pulse shape.
  • the third control pattern so that the light amount of the special light does not exceed the threshold value L th, that the upper limit of the amount of the special light is set different from the second control pattern.
  • an excessive load is applied to the observation target 1500, the fluorescent substance administered to the observation target 1500, the light source 220, and the like by irradiating the observation target 1500 with an excessive amount of special light. Can be prevented.
  • the observation system 1 includes special lights 410-1, 410-2, and 410-3 in which the amount of light to be irradiated is maintained at a constant amount L, and special light 400 in which the amount of light to be irradiated is controlled based on the luminance of the pixels of the captured image. -1, 400-2, 400-3 may be alternately irradiated on the observation object 1500.
  • the special light 400-3 if the light amount calculated based on the luminance of the pixels of the captured image exceeds the threshold value L th, observation system 1, the special light 400-3 for illuminating the observation target 1500 suppress the amount of light in the following light amount threshold L th. Therefore, the observation object 1500, special light 400A, which is suppressed in the following light amount threshold L th is irradiated.
  • the observation system 1 may process the captured observation image to maintain the luminance of the pixels of the observation image substantially constant.
  • the observation system 1 may control the S / N ratio, brightness, contrast, sharpness, or the like of the captured image so that the luminance of the pixels of the observation image is maintained substantially constant.
  • the user can perform special observation without imposing an excessive load on the observation object 1500, the fluorescent substance administered to the observation object 1500, the light source 220, and the like.
  • the observation system 1 can sequentially capture images of the observation object 1500 irradiated with light whose wavelength spectrum and light amount are changed.
  • the observation system 1 includes white light 300-1, 300-2, 300-3 for normal observation, and special lights 410-1, 410-2, 410-3 in which the amount of light to be irradiated is maintained at a constant amount L.
  • the observation object 1500 may be irradiated in order with special lights 400-1, 400-2, and 400-3 in which the amount of light to be irradiated is controlled based on the luminance of the pixels of the captured image.
  • the observation system 1 When the observation system 1 captures an image of the observation object 1500 in a continuous frame as a real-time moving image, white light for normal observation, special light for special observation with a constant light amount, and special observation for variable light amount
  • the special light may be switched every frame or every several frames. In such a case, the irradiation time of each light may be 1/30 second or 1/60 second, respectively.
  • the observation system 1 In the case where the light source 220 is a laser light source, the observation system 1 according to the present embodiment quickly turns on and off each light source 220 and controls the light amount without considering the temporal variation of the light amount and the like due to state transition. be able to. Therefore, the observation system 1 can irradiate the observation object 1500 with various lights having different wavelength spectra, light amounts, and the like.
  • the amount of the special light 400-2 may be controlled based on the luminance of the pixel of the captured image of the observation target 1500 irradiated with the special light 400-1.
  • the light amount of the special light 400-3 may be controlled based on the luminance of the pixel of the captured image of the observation target 1500 irradiated with the special light 400-2.
  • the light amount of the special light is that of the observation object 1500 irradiated with the special light other than the special light 400-1, 400-2, 400-3 controlled to be variable in light amount. Control may be performed based on the luminance of the pixels of the captured image.
  • the light amount of the special light 400-2 may be controlled based on the luminance of the pixel of the captured image of the observation object 1500 irradiated with the special light 410-2, which is a captured image captured immediately before.
  • the user can simultaneously observe an image of the observation object 1500 irradiated with light having different wavelength spectra and light amounts.
  • FIG. 8 is a schematic diagram illustrating a specific configuration example of the observation system 1 according to the present embodiment.
  • the observation system 1 includes an illumination device 1100, an imaging device 1200, an information processing device 1300, and a display device 1400.
  • the observation object 1500 irradiated with the observation light output from the illumination device 1100 is also illustrated.
  • the illumination device 1100 includes a first light source 101, a first collimating optical system 103, a first half mirror 1107, a first photodetector 1109, a control unit 1120, a second light source 120, Second collimating optical system 119, second half mirror 1103, second photodetector 1105, diffusing member 111, third collimating optical system 113, dichroic mirror 115, and condenser optical system 117 Is provided.
  • the second light source 120 corresponds to, for example, the light source 220 shown in FIG. 1
  • the control unit 1120 corresponds to the control unit 1120 shown in FIG.
  • the light emitted from the first light source 101 passes through the first collimating optical system 103 and enters the dichroic mirror 115 as substantially parallel light. Further, a part of the light emitted from the first light source 101 is demultiplexed by the first half mirror 1107 and enters the first photodetector 1109. On the other hand, the light emitted from the second light source 120 passes through the second collimating optical system 109, the diffusing member 111, and the third collimating optical system 113 in this order, so that it becomes substantially parallel light and becomes a dichroic mirror 115. Is incident on.
  • a part of the light emitted from the second light source 120 is demultiplexed by the second half mirror 1103, and enters the second photodetector 1105.
  • the dichroic mirror 115 multiplexes the light emitted from the first light source 101 and the second light source 120.
  • the combined light enters the light guide 130 through the condenser optical system 117 as observation light.
  • the first light source 101 is composed of, for example, a white light source and emits white light.
  • the type of the white light source constituting the first light source 101 is not particularly limited, but the first light source 101 is, for example, a white LED (Light Emitting Diode), a laser excited phosphor, a xenon lamp, or a halogen. It may be composed of a lamp or the like.
  • the first light source 101 may be configured by a so-called phosphor type white LED using a phosphor excited by a blue LED.
  • the first light source 101 has an arbitrary configuration, and may not be provided in the observation system 1 in some cases.
  • the observation system 1 can generate white light for normal observation using light emitted from the white light source, and thus white for normal observation.
  • the color rendering property of light can be improved.
  • the observation system 1 having such a first light source 101 can make the color of the captured image to be observed during normal observation closer to the color in the case of naked-eye observation under natural light.
  • the observation system 1 may further include a light source that emits light other than the visible light band as the third light source.
  • the observation system 1 may include a light source that emits light in the near infrared band, a light source that emits light in the ultraviolet band, or the like as the third light source.
  • the observation system 1 can increase the types of fluorescent substances that can be used.
  • the observation system 1 may use indocyanine green (ICG) having an excitation wavelength in the near infrared band or 5-aminolevulinic acid (5-ALA) having an excitation wavelength in the ultraviolet band as a fluorescent substance. It becomes possible.
  • ICG indocyanine green
  • 5-ALA 5-aminolevulinic acid
  • the first collimating optical system 103 converts the white light emitted from the first light source 101 into a parallel light beam, and has a direction different from that of the light that has passed through the third collimating optical system 113 (for example, the optical axes of each other are The light is incident on the dichroic mirror 115 from a substantially orthogonal direction.
  • the light that has passed through the first collimating optical system 103 does not have to be a completely parallel light beam, but may be a diverging light in a state close to the parallel light beam.
  • the first half mirror 1107 is provided between the first light source 101 and the dichroic mirror 115, for example, and demultiplexes a part of the light emitted from the first light source 101.
  • the demultiplexed light enters the first photodetector 1109.
  • the first half mirror 1107 is an example of a demultiplexing member, and another demultiplexing member may be used instead of the first half mirror 1107.
  • the first light detector 1109 detects the amount of light emitted from the first light source 101 and outputs the detected amount of light to the first light source drive controller 1121. Thereby, the 1st light source drive control part 1121 can control the light quantity of the light radiate
  • the first photodetector 1109 may be a known photodetector such as a photodiode or a color sensor, for example.
  • the second light source 120 includes a plurality of light sources that emit light of different wavelength bands.
  • the wavelength bands of the plurality of light sources provided in the second light source 120 are selected so that white light is generated by multiplexing.
  • the second light source 120 may be composed of a plurality of laser light sources that emit light of different wavelength bands. Unlike a lamp light source such as a xenon lamp or a halogen lamp, a laser light source can control the amount of emitted light by controlling an applied drive current or drive voltage. By being configured with a laser light source, the second light source 120 can control the amount of light more quickly and accurately.
  • a lamp light source such as a xenon lamp or a halogen lamp
  • a laser light source can control the amount of emitted light by controlling an applied drive current or drive voltage.
  • the second light source 120 may be composed of other types of light sources other than the laser light source as long as the amount of light can be electrically controlled.
  • the second light detector 1105 described later detects the light amount of the second light source 120. Can be performed more easily.
  • the second collimating optical system 109 is light emitted from the second light source 120 (that is, white light obtained by combining the lights of the laser light sources constituting the second light source 120, or one of the second light sources 120. Special light composed of the light from the laser light source of the laser beam is converted into a parallel light beam.
  • the second collimating optical system 109 facilitates control of the light diffusion state in the diffusing member 111 by converting the light incident on the diffusing member 111 provided in the subsequent stage into a parallel light beam.
  • the light that has passed through the second collimating optical system 109 does not have to be a completely parallel light beam, but may be a divergent light in a state close to the parallel light beam.
  • the second half mirror 1103 is provided, for example, between the second collimating optical system 109 and the diffusing member 111, and demultiplexes a part of the light emitted from the second light source 120.
  • the light demultiplexed by the second half mirror 1103 enters the second photodetector 1105.
  • the second half mirror 1103 is an example of a demultiplexing member, and another demultiplexing member may be used instead of the second half mirror 1103.
  • the second photodetector 1105 detects the amount of light emitted from the second light source 120 and outputs the detected amount of light to the second light source drive control unit 1123. Thereby, the 2nd light source drive control part 1123 can control the light quantity of the light radiate
  • the second photodetector 1105 may be a known photodetector such as a photodiode or a color sensor, for example.
  • the diffusing member 111 is provided in the vicinity of the focal position of the second collimating optical system 109 (for example, a range of about 10% of the focal length before and after the focal position), and is emitted from the second collimating optical system 109. Diffuse light. Thereby, the light emission end of the diffusing member 111 can be regarded as a secondary light source. Since the light combined from the light emitted from the plurality of light sources may vary in the light divergence angle for each of the plurality of light sources, the combined light is converted into the secondary light source through the diffusion member 111. The divergence angle may be unified.
  • the size of the secondary light source generated by the diffusing member 111 can be controlled by the focal length of the second collimating optical system 109. Further, the NA (numerical aperture) of the emitted light of the secondary light source generated by the diffusing member 111 can be controlled by the diffusion angle of the diffusing member 111. Therefore, the diffusing member 111 can independently control both the size of the focused spot when coupled to the light guide 130 and the incident NA.
  • the type of the diffusing member 111 is not particularly limited, and various known diffusing elements can be used.
  • the diffusing member 111 may be a frosted frosted glass, an opal diffusing plate in which a light diffusing substance is dispersed in the glass, or a holographic diffusing plate.
  • the holographic diffusion plate can arbitrarily set the diffusion angle of the emitted light by the holographic pattern formed on the substrate.
  • the third collimating optical system 113 converts the light from the diffusing member 111 (that is, the light from the secondary light source) into a parallel light beam and makes it incident on the dichroic mirror 115. Note that the light that has passed through the third collimating optical system 113 does not have to be a completely parallel light beam, but may be a diverging light in a state close to the parallel light beam.
  • the dichroic mirror 115 multiplexes the light emitted from the first light source 101 and the light emitted from the second light source 120 incident from directions in which the optical axes are substantially orthogonal to each other.
  • the dichroic mirror 115 is designed to transmit only light in a wavelength band corresponding to light emitted from the second light source 120 and reflect light in other wavelength bands. .
  • the light emitted from the second light source 120 passes through the dichroic mirror 115 and enters the condenser optical system 117.
  • only the light in the band other than the wavelength band corresponding to the light from the second light source 120 is reflected by the dichroic mirror 115 and enters the condenser optical system 117.
  • the dichroic mirror 115 can multiplex the light emitted from the first light source 101 and the light emitted from the second light source 120.
  • the dichroic mirror 115 is an example of an optical member that multiplexes the light emitted from the first light source 101 and the second light source 120, and other optical members may be used.
  • an optical member a dichroic prism capable of combining a plurality of lights having different wavelengths, a polarization beam splitter capable of combining a plurality of lights having different polarizations, or a plurality having different amplitudes It is also possible to use a beam splitter that can multiplex the lights.
  • the condenser optical system 117 focuses the light combined by the dichroic mirror 115 on the light guide 130 at a predetermined paraxial lateral magnification.
  • the condenser optical system 117 may be configured by, for example, a condenser lens.
  • the light guide 130 guides the light emitted from the illumination device 1100 to the lens barrel 1210 of the imaging device 1200.
  • the light guide 130 may be configured by an optical fiber, for example.
  • the type of optical fiber constituting the light guide 130 is not particularly limited, and a known multimode optical fiber (for example, a step index type multimode fiber) can be used.
  • the core diameter of the optical fiber is not particularly limited, and may be about 1 mm, for example.
  • the imaging magnification of the third collimating optical system 113 and the condenser optical system 117 is (focal length of the condenser optical system 117) / (focal length of the third collimating optical system 113). ).
  • the imaging magnification by the third collimating optical system 113 and the condenser optical system 117 is set so that the size and divergence angle of the secondary light source match the core diameter and incident NA of the light guide 130.
  • the imaging magnification of the first collimating optical system 103 and the condenser optical system 117 can be set by (focal length of the condenser optical system 117) / (focal length of the first collimating optical system 103).
  • the imaging magnification by the first collimating optical system 103 and the condenser optical system 117 is such that the light from the first light source 101 matches the core diameter and incident NA of the light guide 130, and the light guide 130 is highly efficient. Set to be combined.
  • the control unit 1120 is a control circuit that controls each component of the lighting device 1100. Specifically, the control unit 1120 includes a first light source drive control unit 1121 that controls the first light source 101 and a second light source drive control unit 1123 that controls the second light source 120.
  • the control unit 1120 includes, for example, a processor such as a CPU (Central Processing Unit), an MPU (Micro Processing Unit), or a DSP (Digital Signal Processor), and these processors execute arithmetic processing according to a predetermined program. Realize various functions.
  • the first light source drive control unit 1121 controls the output light amount of the first light source 101.
  • the first light source drive control unit 1121 may control the output light amount of the first light source 101 by controlling the drive current of the first light source 101.
  • the second light source drive control unit 1123 controls the output light amount of the second light source 120.
  • the second light source drive control unit 1123 may control the output light amount of the second light source 120 by controlling the drive current of each laser light source provided in the second light source 120.
  • the imaging device 1200 includes a lens barrel 1210 and an imaging unit 1220.
  • the lens barrel 1210 is configured in, for example, a hard substantially cylindrical shape or a flexible tube shape.
  • a light guide 130 extended from the illumination device 1100 is introduced into the lens barrel 1210 to guide observation light emitted from the illumination device 1100 to the observation object 1500.
  • the lens barrel 1210 acquires the light reflected by the observation target 1500 and guides it to the imaging unit 1220.
  • the imaging unit 1220 includes an imaging element 1221 and photoelectrically converts light from the observation target 1500.
  • the image sensor 1221 is an image sensor that can perform color imaging, for example.
  • a known image sensor such as a CCD image sensor or a CMOS image sensor can be used.
  • the imaging unit 1220 outputs the image signal photoelectrically converted by the imaging element 1221 to the information processing apparatus 1300.
  • the imaging unit 1220 may output an image signal to a special observation image generation unit 1301 and a normal observation image generation unit 1303 described later.
  • the imaging unit 1220 may include an optical filter that transmits only light in a predetermined wavelength band.
  • the optical filter may be a band-pass filter that is formed of a dielectric multilayer film and transmits only light in a predetermined wavelength band including fluorescence emitted from a fluorescent substance administered to the observation target 1500.
  • the image sensor 1221 can selectively photoelectrically convert the fluorescence emitted from the fluorescent substance administered to the observation target 1500.
  • the information processing device 1300 generates an observation image of the observation target 1500 based on the image signal input from the imaging device 1200. In addition, the information processing device 1300 outputs a feedback signal used for controlling the light amount of the lighting device 1100 to the lighting device 1100 based on the generated observation image.
  • the information processing apparatus 1300 includes a special observation image generation unit 1301, a normal observation image generation unit 1303, an observation image generation unit 1305, and an input unit 1307.
  • the information processing apparatus 1300 includes a processor such as a CPU, MPU, or DSP, or a microcomputer in which these processors are mounted, and the processor executes arithmetic processing in accordance with a predetermined program, whereby the information processing apparatus Each function of 1300 is realized.
  • the special observation image generation unit 1301 generates an image for special observation of the observation target 1500 based on the image signal output from the image sensor 1221. Specifically, the special observation image generation unit 1301 may generate an image for special observation based on the output signal of the pixel of the color corresponding to the fluorescence emitted from the fluorescent substance administered to the observation target 1500.
  • the maximum wavelength of fluorescence emitted from a fluorescein compound which is a fluorescent substance is 521 nm. Therefore, when the image sensor 1221 generates a color image signal with three colors of red, green, and blue, the image sensor 1221 photoelectrically converts the fluorescence emitted by the fluorescein compound at a pixel that photoelectrically converts green light. Is possible. In such a case, the special observation image generation unit 1301 generates an image for special observation by generating a captured image based on an image signal corresponding to green among the image signals output from the image sensor 1221. be able to.
  • the imaging unit 1220 includes a bandpass filter that selectively transmits fluorescence emitted from the observation target 1500
  • the color image signal output from the imaging element 1221 indicates the intensity of the fluorescence emitted from the observation target 1500. It will be reflected.
  • the special observation image generation unit 1301 can generate an image for special observation by generating a captured image based on the image signal output from the image sensor 1221.
  • the normal observation image generation unit 1303 generates an image for normal observation of the observation object 1500 based on the output signal from the image sensor 1221. Specifically, the normal observation image generation unit 1303 generates a color image based on an image signal including three colors of red, green, and blue output from the image sensor 1221, thereby causing an image for normal observation. Can be generated.
  • the observation image generation unit 1305 generates an observation image including at least one of the special observation image generated by the special observation image generation unit 1301 and the normal observation image generated by the normal observation image generation unit 1303. .
  • the observation image generated by the observation image generation unit 1305 can be visually recognized by the user by being output to the display device 1400, for example.
  • the observation image generated by the observation image generation unit 1305 may include either one of the above-described special observation image or normal observation image, and includes both the special observation image and the normal observation image. May be included.
  • the details of the observation image generated by the observation image generation unit 1305 may be determined by an input from the user via the input unit 1307, for example.
  • the input unit 1307 is an input interface that accepts user operation input.
  • the input unit 1307 is configured by an input device operated by the user, such as a mouse, a keyboard, a touch panel, a button, a switch, and a lever.
  • the user can input various information or instructions to the observation system 1 by operating the input unit 1307.
  • the input unit 1307 may input a signal indicating whether to perform normal observation, special observation, or both normal observation and special observation, to the observation system 1.
  • the user instructs the observation system 1 to select one of the normal observation mode, the special observation mode, and the normal / special observation mode (a mode in which normal observation and special observation are performed simultaneously). Can be entered.
  • Information selected by the user is input to the observation image generation unit 1305 and the first light source drive control unit 1121 and the second light source drive control unit 1123 of the illumination device 1100. Accordingly, the first light source drive control unit 1121 and the second light source drive control unit 1123 drive the first light source 101 and the second light source 120 based on the selected observation mode. Further, the observation image generation unit 1305 generates an observation image based on the selected observation mode.
  • the display device 1400 displays the image generated by the observation image generation unit 1305 of the information processing device 1300.
  • the display device 1400 may be a known display device such as a CRT display device, a liquid crystal display device, a plasma display device, and an EL display device.
  • the user can diagnose or treat the observation target 1500 by viewing the image displayed on the display device 1400.
  • the observation system 1 having the above configuration can be used as, for example, an endoscope apparatus or a microscope apparatus.
  • a plurality of light sources capable of generating white light by combining and emitting light of different wavelength bands;
  • An imaging device that captures a captured image of the observation target irradiated with the first light;
  • a light source control unit that controls the amount of the first light based on the luminance of a pixel corresponding to a predetermined wavelength band of the captured image;
  • An observation system An observation system.
  • the optical system generates second light that is white light by combining light emitted from the plurality of light sources, and irradiates the observation target with the second light.
  • the observation system described in. (4) The observation system according to (3), wherein the light source control unit switches the light applied to the observation target to the first light or the second light in a time division manner.
  • the imaging device continuously captures captured images of the observation target,
  • the said light source control part is an observation system as described in said (4) which switches the light irradiated to the said observation object for every captured image captured.
  • the light source control unit is configured to control the light amount of the first light irradiated to the observation target in a time division manner based on a constant light amount or a luminance of a pixel corresponding to a predetermined wavelength band of the captured image.
  • the observation system according to any one of (2) to (5), wherein the observation amount is switched to a light amount.
  • the observation system according to (6), wherein the captured image is associated with a light amount of the first light that has been irradiated on the observation target when the captured image is captured.
  • the light source control unit controls the light amount of the first light to the threshold value when the light amount of the first light having a luminance value of the pixel in a predetermined range exceeds a threshold value.
  • the observation system according to any one of 7).
  • a light source control unit that controls the amount of first light irradiated to the observation target based on the luminance of a pixel corresponding to a predetermined wavelength band of the captured image of the observation target;
  • the first light is composed of light emitted from a part of a plurality of light sources that emit light of different wavelength bands that can generate white light by being combined. apparatus.

Abstract

【課題】通常観察とは異なる特殊観察に用いる観察光をより効率的に生成し、該特殊観察をより効率的に行うことが可能な観察システム、および光源制御装置を提供する。 【解決手段】合波することで白色光を生成可能な、異なる波長帯域の光を出射する複数の光源と、前記複数の光源のうちの一部の光源から出射された光にて構成される第１の光を観察対象に照射する光学系と、前記第１の光が照射された観察対象の撮像画像を撮像する撮像装置と、前記撮像画像の所定の波長帯域に対応する画素の輝度に基づいて、前記第１の光の光量を制御する光源制御部と、を備える、観察システム。

Description

観察システム、および光源制御装置
　本開示は、観察システム、および光源制御装置に関する。
　近年、医療分野等において、光源および撮像装置を備え、生体を観察する内視鏡または顕微鏡等の観察システムが広く普及している。
　このような観察システムでは、例えば、白色光を観察対象に照射することで、肉眼による観察と同様の観察画像を撮像すること（通常観察とも称される）、および特定組織に蓄積しやすい蛍光物質を観察対象に投与することで、該蛍光物質の蛍光にて特定組織を強調して観察すること（特殊観察とも称される）が行われている。
　例えば、下記の特許文献１には、それぞれ異なる特定の波長帯域のみを透過させる複数の光学フィルタを備える回転フィルタを用いることで、白色のランプ光源から観察対象に出射される光の波長を変調させる生体観測システムが開示されている。該生体観測システムでは、回転フィルタを撮像タイミングと合わせて回転させることで、ＲＧＢ信号に対応する赤色画像、緑色画像、および青色画像をそれぞれ取得している。
特許第５３０８８１５号公報
　しかし、上記の特許文献１に開示された生体観測システムでは、広帯域の白色光から一部の波長帯域を取り出して使用するため、観察光を生成する際のエネルギー効率が低かった。また、該生体観測システムでは、各種光学フィルタを備える回転フィルタ、および該回転フィルタの回転制御機構が複雑化しやすいため、生体観測システムが大型化しやすかった。
　そこで、本開示では、通常観察とは異なる特殊観察に用いる観察光をより効率的に生成し、該特殊観察をより効率的に行うことが可能な、新規かつ改良された観察システム、および光源制御装置を提案する。
　本開示によれば、合波することで白色光を生成可能な、異なる波長帯域の光を出射する複数の光源と、前記複数の光源のうちの一部の光源から出射された光にて構成される第１の光を観察対象に照射する光学系と、前記第１の光が照射された観察対象の撮像画像を撮像する撮像装置と、前記撮像画像の所定の波長帯域に対応する画素の輝度に基づいて、前記第１の光の光量を制御する光源制御部と、を備える、観察システムが提供される。
　また、本開示によれば、観察対象の撮像画像の所定の波長帯域に対応する画素の輝度に基づいて、前記観察対象に照射する第１の光の光量を制御する光源制御部を備え、前記第１の光は、合波することで白色光を生成可能な、異なる波長帯域の光を出射する複数の光源のうちの一部の光源から出射された光にて構成される、光源制御装置が提供される。
　本開示によれば、合波することで白色光を生成可能な複数の光源のうちの一部の光源から出射された光を用いて、特殊観察に用いられる特定の波長帯域の光を生成することができる。また、特殊観察時の撮像画像の画素の輝度に基づいて特定の波長帯域の光の光量を制御することで、特殊観察において輝度変動の少ない撮像画像を得ることが可能である。
　以上説明したように本開示によれば、通常観察とは異なる特殊観察に用いる観察光をより効率的に生成し、該特殊観察をより効率的に行うことが可能である。
　なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態に係る観察システムの構成例を示す説明図である。 通常観察用の白色光と、特殊観察用の特殊光とを時分割で照射することを示すグラフ図である。 同実施形態に係る観察システムにおける動作の一例を説明するフローチャート図である。 同実施形態に係る観察システムにおける観察光の制御パターンの一例を示すグラフ図である。 同実施形態に係る観察システムにおける観察光の制御パターンの一例を示すグラフ図である。 同実施形態に係る観察システムにおける観察光の制御パターンの一例を示すグラフ図である。 同実施形態に係る観察システムにおける観察光の制御パターンの一例を示すグラフ図である。 同実施形態に係る観察システムの具体的な構成例を示す模式図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　なお、説明は以下の順序で行うものとする。
　１．観察システムの構成例
　２．観察システムの動作例
　３．観察光の制御パターン
　　３．１．第１の制御パターン
　　３．２．第２の制御パターン
　　３．３．第３の制御パターン
　　３．４．第４の制御パターン
　４．観察システムの具体例
　５．付記
　＜１．観察システムの構成例＞
　まず、図１を参照して、本開示の一実施形態に係る観察システムの構成例について説明する。図１は、本開示の一実施形態に係る観察システム１の構成例を示す説明図である。
　図１に示すように、観察システム１は、例えば、照明装置１１００と、撮像装置１２００と、を備える。図１では、照明装置１１００から出力される観察光が照射される観察対象１５００を併せて図示した。本実施形態に係る観察システム１は、医療用途の撮像システムに適用されることができ、例えば、内視鏡システムおよび顕微鏡システムに適用され得る。
　本実施形態に係る観察システム１では、通常観察用の白色光、および特殊観察用の特殊光の各々を生成することが可能であり、白色光または特殊光のいずれかが照射された観察対象１５００の撮像画像を観察画像として取得することができる。
　通常観察とは、白色光を観察対象１５００に照射することで、自然光の下の肉眼での観察に近い色味にて観察対象１５００を観察する観察方法である。例えば、通常観察は、複数の光源から出射される異なる波長帯域の光を合波した白色光を観察対象１５００に照射し、該白色光の観察対象１５００からの反射光を観察することで行われ得る。
　一方、特殊観察とは、特定の波長帯域の光を観察対象１５００に照射することで、特定の生体組織の構造をより明瞭に観察したり、特定の生体組織を他の生体組織と識別したりすることを可能にする観察方法である。例えば、特殊観察は、特定の生体組織に選択的に作用する蛍光物質等を観察対象１５００に投与した後、該蛍光物質の励起光を観察対象１５００に照射し、該蛍光物質が発する蛍光を観察することで行われ得る。すなわち、特殊観察用の特殊光は、観察対象１５００に投与した蛍光物質の励起波長を含み、白色光よりも狭い波長帯域の光である。このような特殊観察用の特殊光は、例えば、白色光を生成する複数の光源のうちの一部の光源から出射される光にて構成することができる。
　照明装置１１００は、異なる波長帯域の光を出射する複数の光源（赤色光源２２０Ｒ、緑色光源２２０Ｇ、および青色光源２２０Ｂ）と、該複数の光源を駆動させる駆動回路（赤色光源駆動回路２２１Ｒ、緑色光源駆動回路２２１Ｇ、および青色光源駆動回路２２１Ｂ）と、該複数の光源から出射された光を合波する光学系２００と、制御部１１２０と、を備える。
　以下では、赤色光源２２０Ｒ、緑色光源２２０Ｇ、および青色光源２２０Ｂをまとめて光源２２０とも称し、赤色光源駆動回路２２１Ｒ、緑色光源駆動回路２２１Ｇ、および青色光源駆動回路２２１Ｂをまとめて駆動回路２２１とも称する。
　光源２２０は、互いに異なる波長帯域の光を出射する複数の光源である。光源２２０の各々の波長帯域は、該光源２２０から出射された光を合波することで白色光が生成されるように選択される。光源２２０は、例えば、赤色光源２２０Ｒ、緑色光源２２０Ｇ、および青色光源２２０Ｂであってもよい。
　光源２２０の各々は、レーザ光源にて構成されてもよい。レーザ光源は、キセノンランプまたはハロゲンランプ等のランプ光源とは異なり、印加される駆動電流または駆動電圧を制御することで、出射される光の光量を制御することが可能である。光源２２０の各々がレーザ光源にて構成される場合、照明装置１１００は、光源２２０の光量等をより迅速かつ精密に制御することが可能となる。
　例えば、赤色光源２２０Ｒは、赤色帯域（例えば、中心波長が約６３８ｎｍ）のレーザ光を出射する赤色レーザ光源であってもよい。より具体的には、赤色光源２２０Ｒは、６３０ｎｍ～６４５ｎｍの波長帯域の光を発するＧａＩｎＰ量子井戸構造レーザダイオード等の半導体レーザであってもよい。緑色光源２２０Ｇは、緑色帯域（例えば、中心波長が約５３２ｎｍ）のレーザ光を出射する緑色レーザ光源であってもよい。より具体的には、緑色光源２２０Ｇは、５１０ｎｍ～５４０ｎｍの波長帯域の光を発するように、蛍光体および非線形光学素子などの波長変換素子によって波長変換された半導体レーザであってもよい。青色光源２２０Ｂは、青色帯域（例えば、中心波長が約４５０ｎｍ）のレーザ光を出射する青色レーザ光源であってもよい。より具体的には、青色光源２２０Ｂは、４３５ｎｍ～４６５ｎｍの波長帯域の光を発するＧａＩｎＮ量子井戸構造レーザダイオード等の半導体レーザであってもよい。
　なお、光源２２０の各々の波長帯域は、合波することで白色光を生成することができれば、上述した赤色帯域、緑色帯域、および青色帯域の組み合わせでなくともよい。例えば、光源２２０の各々の波長帯域は、黄色帯域および青色帯域の組み合わせであってもよく、赤色帯域、緑色帯域青色帯域、および黄色帯域の組み合わせであってもよい。
　駆動回路２２１は、制御部１１２０が生成する駆動指示に基づいて、対応する光源２２０の各々を駆動させる。具体的には、駆動回路２２１は、対応する光源２２０の各々への駆動電流を調整可能な回路をそれぞれ含んで構成される。駆動回路２２１は、例えば、赤色光源駆動回路２２１Ｒ、緑色光源駆動回路２２１Ｇ、および青色光源駆動回路２２１Ｂであってもよい。例えば、赤色光源駆動回路２２１Ｒは、制御部１１２０が生成する駆動指示に基づいて赤色光源２２０Ｒを駆動させ、緑色光源駆動回路２２１Ｇは、制御部１１２０が生成する駆動指示に基づいて緑色光源２２０Ｇを駆動させ、青色光源駆動回路２２１Ｂは、制御部１１２０が生成する駆動指示に基づいて青色光源２２０Ｂを駆動させる。
　光学系２００は、赤色光源２２０Ｒ、緑色光源２２０Ｇ、および青色光源２２０Ｂからそれぞれ出射された赤色光、緑色光、および青色光を合波することで、通常観察用の白色光３００を生成する。また、光学系２００は、赤色光源２２０Ｒ、緑色光源２２０Ｇ、および青色光源２２０Ｂのうちの一部の光源から出射される光を合波することで、特殊観察用の特殊光を生成する。
　例えば、特殊観察用の特殊光は、赤色光源２２０Ｒ、緑色光源２２０Ｇ、または青色光源２２０Ｂから出射される赤色光、緑色光、または青色光のいずれかであってもよく、光源２２０のうちの一部の光源から出射される光を任意の光量比で合波した光であってもよい。特殊観察用の特殊光は、赤色光源２２０Ｒ、緑色光源２２０Ｇ、および青色光源２２０Ｂのうちの一部の光源にて構成されるため、白色光３００よりも狭い波長帯域の光となる。
　光学系２００は、例えば、ミラー２０１、およびダイクロイックミラー２０３、２０５を備える。
　例えば、赤色光源２２０Ｒから出射された赤色光は、ミラー２０１によって反射されることでダイクロイックミラー２０３に入射する。なお、ミラー２０１は、赤色光を反射し、赤色光の波長帯域以外の波長の光を透過させるダイクロイックミラーであってもよい。
　ダイクロイックミラー２０３は、緑色光を反射し、緑色光の波長帯域以外の波長の光を透過させる。緑色光源２２０Ｇから出射された緑色光は、ダイクロイックミラー２０３によって反射されることでダイクロイックミラー２０５に入射する。一方、赤色光は、ダイクロイックミラー２０３を透過するため、ダイクロイックミラー２０３によって反射された緑色光と合波されて、ダイクロイックミラー２０５に入射することになる。
　ダイクロイックミラー２０５は、青色光を反射し、青色光の波長帯域以外の波長の光を透過させるミラーである。青色光源２２０Ｂから出射された青色光は、ダイクロイックミラー２０５によって反射される。一方、赤色光および緑色光は、ダイクロイックミラー２０５を透過するため、ダイクロイックミラー２０５によって反射された青色光と合波されて、白色光３００となる。これにより、光学系２００では、光源２２０の各々から出射される光を合波し、白色光３００を生成することができる。合波された白色光３００は、例えば、光ファイバ等の導光部材によって導かれ、観察対象１５００に照射される。
　制御部１１２０は、光源２２０の各々（赤色光源２２０Ｒ、緑色光源２２０Ｇ、および青色光源２２０Ｂ）の駆動を制御する演算処理部である。具体的には、制御部１１２０は、目標光量に基づいて光源２２０の各々に印加する駆動電流を算出し、算出した駆動電流に基づく駆動指示を駆動回路２２１の各々（赤色光源駆動回路２２１Ｒ、緑色光源駆動回路２２１Ｇ、および青色光源駆動回路２２１Ｂ）に出力する。
　例えば、制御部１１２０は、光源２２０の各々の駆動電流と、該駆動電流にて光源２２０の各々から出射される光量との相関関係をあらかじめ記憶し、該相関関係に基づいて目標光量を実現する駆動電流を算出してもよい。また、光学系２００には、光源２２０の各々から出射された光を分波し、分波された光を検出する光検出器が設けられてもよい。制御部１１２０は、光検出器にて検出された光量から、光源２２０の各々にて実際に出射されている光の光量を判断することができるため、光源２２０の各々の光の光量を目標光量とする駆動指示を駆動回路に出力することが可能となる。
　ここで、蛍光物質の蛍光にて強調された生体組織を撮像装置１２００で観察する特殊観察では、観察対象１５００に投与された蛍光物質は、時間経過に伴い、拡散および光退色（蛍光物質の光化学的な破壊）し、発せられる蛍光の強度が低下することがある。このような場合、撮像された撮像画像では、時間経過に伴って、蛍光物質が発する蛍光に対応する画素の輝度が徐々に低下してしまうため、撮像画像の視認性が低下してしまう。
　本実施形態では、制御部１１２０は、特殊光が照射された観察対象１５００の撮像画像の輝度に基づいて、該撮像画像の輝度がほぼ一定になるように特殊光の光量を制御する。具体的には、制御部１１２０は、特殊光が照射された観察対象１５００の撮像画像において、特殊光によって励起された蛍光物質が発する蛍光に対応する画素の輝度に基づいて、該画素の輝度が所定範囲に収まるように特殊光の光量を制御する。
　例えば、観察対象１５００に投与された蛍光物質が、４９０ｎｍ近傍に最大励起波長を有し、５２０ｎｍ近傍に最大蛍光波長を有するフルオレセイン系化合物である場合、制御部１１２０は、フルオレセイン系化合物を励起可能な青色光からなる特殊光を生成させる駆動指示を駆動回路２２１に出力する。その後、制御部１１２０は、特殊光が照射された観察対象１５００の撮像画像のうち、フルオレセイン系化合物の蛍光最大波長に対応する緑色画素の輝度に基づいて、緑色画素の輝度が所定範囲内となる（すなわち、ほぼ一定になる）ように、特殊光の光量を制御する駆動指示を駆動回路２２１に出力する。
　例えば、制御部１１２０は、特殊光が照射された観察対象１５００の撮像画像において、緑色画素の輝度の画像全体での最高値または平均値が所定範囲を下回った場合、青色光からなる特殊光の光量を所定量ずつ増加させる駆動指示を青色光源駆動回路２２１Ｂに出力してもよい。
　ただし、より強い特殊光（励起光）は、蛍光物質の光退色をさらに加速させることがあり得る。また、より強い特殊光は、観察対象１５００に熱によるダメージを与えてしまう可能性があり得る。さらに、より強い特殊光を出射する光源２２０では、経時劣化が加速してしまう可能性があり得る。したがって、制御部１１２０は、特殊光の光量を増加させる場合でも、蛍光物質、観察対象、または光源２２０等へのダメージが少ない光量に留めることが望ましい。
　上述した理由などによって光源２２０から出射される光量を増加させられない場合、観察システム１は、例えば、撮像画像のＳ／Ｎ比、明るさ、コントラスト、またはシャープネスなどを画像処理することによって、撮像画像の画素の輝度を増加させてもよい。
　なお、撮像装置１２００において、バンドパスフィルタによって、フルオレセイン系化合物の蛍光に対応する波長帯域の光のみが光電変換されている場合、撮像画像のすべての画素の輝度は、フルオレセイン系化合物の蛍光の強度を反映したものとなる。このような場合、制御部１１２０は、特殊光が照射された観察対象１５００の撮像画像のすべての画素の輝度の最高値または平均値が所定範囲内となる（すなわち、ほぼ一定になる）ように、特殊光の光量を制御する駆動指示を駆動回路２２１に出力してもよい。
　これによれば、ユーザは、特殊観察において、時間経過に伴って、蛍光物質から発せられる蛍光の強度が低下する可能性を気にせずに、蛍光物質を投与した観察対象１５００を特殊観察することができる。したがって、観察システム１は、特殊観察におけるユーザの利便性を向上させることができる。
　撮像装置１２００は、白色光または特殊光が照射された観察対象１５００を撮像し、観察対象１５００の撮像画像を取得する。具体的には、撮像装置１２００は、撮像素子を備え、観察対象１５００からの光を光電変換することで、観察対象１５００の撮像画像を取得する。撮像装置１２００が備える撮像素子は、例えば、カラー撮像が可能な公知の撮像素子であってもよく、例えば、ＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）イメージセンサ、またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ－Ｏｘｉｄｅ－Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサなどであってもよい。
　例えば、撮像装置１２００は、通常観察用の白色光が照射された観察対象１５００から反射する反射光を光電変換することで、通常観察用の撮像画像を取得してもよい。撮像装置１２００は、特殊観察用の特殊光が照射された観察対象１５００にて発せられる蛍光を光電変換することで、特殊観察用の撮像画像を取得してよい。また、撮像装置１２００は、観察対象１５００の撮像画像を短い間隔（例えば、１／３０秒間隔など）で連続して取得することで、観察対象１５００の時間変化を示す動画を取得してもよい。
　ここで、本実施形態に係る観察システム１は、通常観察用の白色光と、特殊観察用の特殊光とを時分割にて観察対象１５００に照射し、通常観察および特殊観察の各々の撮像画像を取得してもよい。このような場合、観察システム１は、通常観察および特殊観察の各々の撮像画像を同時にユーザに提示することが可能である。
　例えば、図２に示すように、白色光と特殊光とを時分割で生成し、観察対象１５００に照射することが可能である。図２は、通常観察用の白色光と、特殊観察用の特殊光とを時分割で照射することを示すグラフ図である。
　具体的には、観察システム１は、赤色光源２２０Ｒ、緑色光源２２０Ｇ、および青色光源２２０Ｂの各々から出射される赤色光３００Ｒ、緑色光３００Ｇ、および青色光３００Ｂを合波して生成される白色光３００と、赤色光源２２０Ｒ、緑色光源２２０Ｇ、および青色光源２２０Ｂの一部の光源から出射された特殊光４００（例えば、青色光源２２０Ｂから出射される青色光３００Ｂ）と、をパルス状に一定時間のみ照射することで、白色光３００と、特殊光４００とを時分割にて観察対象１５００に照射することができる。
　なお、白色光３００における赤色光３００Ｒ、緑色光３００Ｇ、および青色光３００Ｂの各々の光量比は、自然光に近い色温度となり、かつ演色性がより高くなるように、適宜制御され得る。なお、白色光３００および特殊光４００の各々の光量および照射時間は、観察条件等に応じて適宜制御されるため、同じにならなくともよい。
　また、観察システム１は、例えば、撮像装置１２００の撮像タイミングごとに、観察対象１５００に照射する光を白色光または特殊光のいずれかに切り替えることで、白色光または特殊光が照射された観察対象１５００をそれぞれ撮像してもよい。観察システム１は、例えば、数秒単位で、交互に観察対象１５００に照射する光を白色光または特殊光のいずれかに切り替えることで、白色光または特殊光が照射された観察対象１５００を撮像してもよい。観察システム１は、例えば、ユーザからの入力に基づいて観察対象１５００に照射する光を白色光または特殊光のいずれかに切り替えることで、白色光または特殊光が照射された観察対象１５００を撮像してもよい。
　さらに、撮像装置１２００が連続した動画として観察対象１５００を撮像している場合、制御部１１２０は、撮像フレーム毎または複数の撮像フレーム毎に、交互に、観察対象１５００に照射する光を白色光または特殊光のいずれかに切り替えてもよい。動画における１つの撮像フレームの時間は、例えば、１／３０秒または１／６０秒などである。したがって、撮像フレームを単位として観察対象１５００に照射する光を白色光または特殊光のいずれかに切り替えることで、観察システム１は、ユーザに認識されることなく、通常観察用の撮像画像、および特殊観察用の撮像画像の両方を撮像することが可能である。
　本実施形態に係る観察システム１では、光源２２０の各々から出射された光のいずれを用いるのかを制御することで、波長スペクトルが互いに異なる通常観察用の白色光と、特殊観察用の特殊光とが出射される。したがって、光源２２０の各々は、白色光または特殊光のいずれかを生成するのかによって、適宜、点灯または消灯されることになる。ここで、レーザ光源は、ランプ光源と比較して、出力制御、点灯および消灯を機敏かつ精密に行うことができるため、光源２２０の各々がレーザ光源である場合、観察システム１では、光源２２０の各々の点灯および消灯による光量等への影響を小さくすることができる。このような場合、観察システム１は、白色光と特殊光とを交互に生成した場合でも、互いに独立して、白色光および特殊光の光量を制御することが可能である。
　＜２．観察システムの動作例＞
　次に、図３を参照して、本実施形態に係る観察システム１の動作例について説明する。具体的には、本実施形態に係る観察システム１において、撮像画像の画素の輝度に基づいて特殊光の光量を制御する構成に係る動作について説明する。図３は、本実施形態に係る観察システム１における該動作の一例を説明するフローチャート図である。
　図３に示すように、まず、照明装置１１００は、複数の光源２２０のうちの一部の光源から出射された光にて特殊光を生成し、生成した特殊光を観察対象１５００に照射する（Ｓ１０１）。次に、撮像装置１２００は、特殊光が照射された観察対象１５００を撮像する（Ｓ１０３）。続いて、制御部１１２０は、撮像された撮像画像にて、所定の波長帯域に対応する画素の輝度を算出する（Ｓ１０５）。なお、制御部１１２０は、該画素の輝度の撮像画像全体の平均値を算出してもよく、該画素の輝度の撮像画像全体の最高値を算出してもよい。
　ここで、所定の波長帯域とは、観察対象１５００に投与された蛍光物質から発せられる蛍光の波長帯域である。例えば、所定の波長帯域が３８０ｎｍ～４９５ｎｍに含まれる場合、制御部１１２０は、該所定の波長帯域に対応する画素として青色画素を選択し、撮像画像から青色画素の輝度を算出してもよい。または、所定の波長帯域が４９５ｎｍ～５９０ｎｍに含まれる場合、制御部１１２０は、該所定の波長帯域に対応する画素として緑色画素を選択し、撮像画像から緑色画素の輝度を算出してもよい。または、所定の波長帯域が５９０ｎｍ～７５０ｎｍに含まれる場合、制御部１１２０は、該所定の波長帯域に対応する画素として赤色画素を選択し、撮像画像から赤色画素の輝度を算出してもよい。
　次に、制御部１１２０は、算出した画素の輝度が所定輝度の範囲内に含まれているか否かを判断する（Ｓ１０７）。ここで、所定輝度の範囲とは、特殊観察を行うユーザの視覚にとって負担が少ない輝度の範囲である。算出した画素の輝度が所定輝度の範囲内に含まれる場合（Ｓ１０７／Ｙｅｓ）、観察システム１は、Ｓ１０１に戻って、観察対象１５００への特殊光の照射を行った後（Ｓ１０１）、観察対象１５００の撮像を行う（Ｓ１０３）。
　一方、算出した画素の輝度が所定輝度の範囲内に含まれない場合（Ｓ１０７／Ｎｏ）、制御部１１２０は、撮像画像において、画素の輝度が所定輝度の範囲内になる光源２２０の光量を判断する（Ｓ１０９）。具体的には、撮像画像の画素の輝度が所定輝度の範囲を下回った場合、制御部１１２０は、特殊光の光量を増加させるように光源２２０を駆動させる駆動指示を出力する。または、撮像画像の画素の輝度が所定輝度の範囲を上回った場合、制御部１１２０は、特殊光の光量を減少させるように光源２２０を駆動させる駆動指示を出力する。続いて、駆動回路２２１は、制御部１１２０から出力された駆動指示に基づいて、特殊光を生成する光源２２０の出力を制御する（Ｓ１１１）。その後、観察システム１は、Ｓ１０１に戻って、観察対象１５００への特殊光の照射を行った後（Ｓ１０１）、観察対象１５００の撮像を行う（Ｓ１０３）。
　以上の動作例によれば、本実施形態に係る観察システム１は、特殊観察において、観察対象１５００から発せられる蛍光が所定範囲内となるように、観察対象１５００に照射される特殊光の光量を制御することが可能である。したがって、観察システム１は、観察対象１５００から発せられ、時間経過に伴って変動し得る蛍光の強度を略一定にすることができるため、特殊観察におけるユーザの利便性を向上させることができる。
　＜３．観察光の制御パターン＞
　続いて、図４～図７を参照して、本実施形態に係る観察システム１における観察光の制御パターンについて説明する。図４～図７は、本実施形態に係る観察システム１における観察光の制御パターンの一例を示すグラフ図である。
　上述したように、本実施形態に係る観察システム１では、通常観察用の白色光と、特殊観察用の特殊光とを任意のタイミングで切り替えることが可能である。そこで、以下では、第１～第４の制御パターンを例示して、本実施形態に係る観察システム１における白色光と特殊光との切り替え、および光量の制御パターンについて説明する。
　（３．１．第１の制御パターン）
　まず、図４を参照して、観察システム１の第１の制御パターンについて説明する。
　図４に示すように、第１の制御パターンでは、通常観察用の白色光（白色光３００－１、３００－２、３００－３…）と、特殊観察用の特殊光（特殊光４００－１、４００－２、４００－３…）とをパルス状に交互に観察対象１５００に照射する。これによれば、観察システム１は、通常観察用の画像と、特殊観察用の画像とを交互に撮像することができる。
　観察システム１が観察対象１５００の画像を連続したフレームにて、リアルタイム動画として撮像している場合、白色光および特殊光は、１フレームごとに切り替えられてもよく、数フレームごとに切り替えられてもよい。このような場合、白色光および特殊光の照射時間は、それぞれ１／３０秒または１／６０秒などであってもよい。
　ここで、観察対象１５００に照射される特殊光の光量は、特殊光が照射された観察対象を直前に撮像した撮像画像の画素の輝度に基づいて、撮像画像の画素の輝度が略一定となるように制御されてもよい。例えば、特殊光４００－２の光量は、特殊光４００－１を照射した観察対象１５００の撮像画像の画素の輝度に基づいて制御されてもよい。同様に、特殊光４００－３の光量は、特殊光４００－２を照射した観察対象１５００の撮像画像の画素の輝度に基づいて制御されてもよい。
　特殊光を照射した観察対象１５００の撮像画像の画素の輝度は、蛍光物質の拡散、または光退色等によって徐々に低下することが考えられる。観察システム１は、特殊光の光量を適宜制御することで、観察対象１５００に投与された蛍光物質から発せられる蛍光強度が変動した場合でも、観察対象１５００の撮像画像の画素の輝度を略一定に維持することが可能である。
　一方、観察対象１５００に照射される白色光の光量は、白色光３００－１、３００－２、３００－３にて一定であってもよい。白色光を照射した観察対象１５００の撮像画像は、特殊光を照射した観察対象１５００の撮像画像と比較して、画素の輝度の変動が少ないと考えられる。したがって、白色光３００－１、３００－２、３００－３の光量は、特殊光４００－１、４００－２、４００－３の光量のように可変に制御されなくともよい。
　したがって、第１の制御パターンによれば、ユーザは、通常観察用の撮像画像と、特殊観察用の撮像画像とを同時に観察することができる。
　（３．２．第２の制御パターン）
　次に、図５を参照して、観察システム１の第２の制御パターンについて説明する。
　図５に示すように、第２の制御パターンでは、光量一定の特殊観察用の特殊光（４１０－１、４１０－２、４１０－３…）と、光量可変の特殊観察用の特殊光（４００－１、４００－２、４００－３…）とをパルス状に交互に観察対象１５００に照射してもよい。これによれば、観察システム１は、時間経過による蛍光の強度変動を反映した特殊観察用の画像と、画素の輝度を略一定に維持した特殊観察用の画像とを交互に撮像することができる。
　例えば、観察システム１は、照射する光量を一定量Ｌに維持した特殊光４１０－１、４１０－２、４１０－３と、照射する光量を撮像画像の画素の輝度に基づいて制御した特殊光４００－１、４００－２、４００－３と、を交互に観察対象１５００に照射してもよい。観察システム１が観察対象１５００の画像を連続したフレームにて、リアルタイム動画として撮像している場合、光量一定の特殊観察用の特殊光と、光量可変の特殊観察用の特殊光とは、１フレームごとに切り替えられてもよく、数フレームごとに切り替えられてもよい。なお、各々の特殊光の照射時間は、それぞれ１／３０秒または１／６０秒などであってもよい。
　これは、観察の目的または条件等によっては、観察対象１５００から発せられる蛍光強度の時間変化を観察することがあり得るためである。このような場合、観察システム１は、撮像画像の画素の輝度が観察対象１５００から発せられる蛍光強度を反映した輝度となるように、観察対象１５００に照射される特殊光の光量を一定にすることが好ましい。
　一方で、観察対象１５００にて蛍光が発せられる箇所を観察する目的では、撮像画像の画素の輝度は、略一定となることが好ましい。このような場合、観察システム１は、撮像画像の画素の輝度が略一定となるように、特殊光が照射された観察対象を撮像した撮像画像の画素の輝度に基づいて、観察対象１５００に照射される特殊光の光量を制御してもよい。
　例えば、特殊光４００－２の光量は、特殊光４００－１を照射した観察対象１５００の撮像画像の画素の輝度に基づいて制御されてもよい。同様に、特殊光４００－３の光量は、特殊光４００－２が照射された観察対象１５００の撮像画像の画素の輝度に基づいて制御されてもよい。
　なお、特殊光の光量は、光量可変に制御された特殊光４００－１、４００－２、４００－３以外の特殊光を照射した観察対象１５００の撮像画像の画素の輝度に基づいて制御されてもよいことはいうまでもない。例えば、特殊光４００－２の光量は、直前に撮像された撮像画像である、特殊光４１０－２を照射した観察対象１５００の撮像画像の画素の輝度に基づいて制御されてもよい。
　このような場合、観察システム１は、いずれの観察画像の輝度に基づいて照射される特殊光の光量が制御されたのかを、後ほどユーザが参照することができるようにすることが好ましい。例えば、観察システム１は、観察対象１５００の画像と、該画像を撮像した際に観察対象１５００に照射された特殊光の光量を制御した様態とを対応付けて記憶させてもよい。より具体的には、観察システム１は、画像を撮像した際に観察対象１５００に照射された特殊光の光量がどのように制御されたのかを、観察対象１５００の画像に埋め込み情報として記憶させてもよい。
　したがって、第２の制御パターンによれば、ユーザは、異なる観察目的のために、異なる光量の特殊光を照射して撮像した観察画像を同時に観察することが可能である。
　（３．３．第３の制御パターン）
　続いて、図６を参照して、観察システム１の第３の制御パターンについて説明する。
　図６に示すように、第３の制御パターンでは、第２の制御パターンと同様に、光量一定の特殊観察用の特殊光（４１０－１、４１０－２、４１０－３…）と、光量可変の特殊観察用の特殊光（４００－１、４００－２、４００－３…）と、をパルス状に交互に観察対象１５００に照射してもよい。ただし、第３の制御パターンでは、特殊光の光量が閾値Ｌｔｈを超えないように、特殊光の光量の上限が設定されていることが第２の制御パターンと異なる。これによれば、観察システム１は、過剰な光量の特殊光が観察対象１５００に照射されることで、観察対象１５００、観察対象１５００に投与した蛍光物質、および光源２２０等に過大な負荷がかかってしまうことを防止することができる。
　例えば、観察システム１は、照射する光量を一定量Ｌに維持した特殊光４１０－１、４１０－２、４１０－３と、照射する光量を撮像画像の画素の輝度に基づいて制御した特殊光４００－１、４００－２、４００－３と、を交互に観察対象１５００に照射してもよい。ここで、特殊光４００－３において、撮像画像の画素の輝度に基づいて算出された光量が閾値Ｌｔｈを超えてしまう場合、観察システム１は、観察対象１５００に照射する特殊光４００－３の光量を閾値Ｌｔｈ以下の光量に抑制する。したがって、観察対象１５００には、閾値Ｌｔｈ以下の光量に抑制された特殊光４００Ａが照射される。
　このような場合、観察システム１は、撮像された観察画像を画像処理することで、観察画像の画素の輝度が略一定に維持されるようにしてもよい。例えば、観察システム１は、撮像画像のＳ／Ｎ比、明るさ、コントラスト、またはシャープネスなどを制御することで、観察画像の画素の輝度が略一定に維持されるようにしてもよい。
　したがって、第３の制御パターンによれば、ユーザは、観察対象１５００、観察対象１５００に投与した蛍光物質、および光源２２０等に過大な負荷をかけることなく、特殊観察を行うことが可能である。
　（３．４．第４の制御パターン）
　次に、図７を参照して、観察システム１の第４の制御パターンについて説明する。
　図７に示すように、第４の制御パターンでは、通常観察用の白色光（白色光３００－１、３００－２、３００－３…）と、光量一定の特殊観察用の特殊光（４１０－１、４１０－２、４１０－３…）と、光量可変の特殊観察用の特殊光（４００－１、４００－２、４００－３…）と、をパルス状に順番に観察対象１５００に照射してもよい。これによれば、観察システム１は、波長スペクトルおよび光量等を変化させた光を照射した観察対象１５００の画像を順番に撮像することができる。
　例えば、観察システム１は、通常観察用の白色光３００－１、３００－２、３００－３と、照射する光量を一定量Ｌに維持した特殊光４１０－１、４１０－２、４１０－３と、照射する光量を撮像画像の画素の輝度に基づいて制御した特殊光４００－１、４００－２、４００－３と、を順番に観察対象１５００に照射してもよい。
　観察システム１が観察対象１５００の画像を連続したフレームにて、リアルタイム動画として撮像している場合、通常観察用の白色光と、光量一定の特殊観察用の特殊光と、光量可変の特殊観察用の特殊光とは、１フレームごとに切り替えられてもよく、数フレームごとに切り替えられてもよい。このような場合、各々の光の照射時間は、それぞれ１／３０秒または１／６０秒などであってもよい。
　光源２２０がレーザ光源である場合、本実施形態に係る観察システム１では、状態遷移による光量等の経時変動を考慮することなく、光源２２０の各々の点灯、消灯、および光量の制御を迅速に行うことができる。したがって、観察システム１は、波長スペクトルおよび光量等を変化させた様々な光を観察対象１５００に照射することが可能である。
　なお、特殊光４００－２の光量は、特殊光４００－１を照射した観察対象１５００の撮像画像の画素の輝度に基づいて制御されてもよい。同様に、特殊光４００－３の光量は、特殊光４００－２を照射した観察対象１５００の撮像画像の画素の輝度に基づいて制御されてもよい。または、第３の制御パターンにて説明したように、特殊光の光量は、光量可変に制御された特殊光４００－１、４００－２、４００－３以外の特殊光を照射した観察対象１５００の撮像画像の画素の輝度に基づいて制御されてもよい。例えば、特殊光４００－２の光量は、直前に撮像された撮像画像である、特殊光４１０－２を照射した観察対象１５００の撮像画像の画素の輝度に基づいて制御されてもよい。
　したがって、第４の制御パターンによれば、ユーザは、波長スペクトルおよび光量等が異なる光を照射した観察対象１５００の画像を同時に観察することが可能である。
　＜４．観察システムの具体例＞
　続いて、図８を参照して、本開示の一実施形態に係る観察システム１のより具体的な構成例について説明する。図８は、本実施形態に係る観察システム１の具体的な構成例を示す模式図である。
　図８に示すように、観察システム１は、照明装置１１００と、撮像装置１２００と、情報処理装置１３００と、表示装置１４００と、を備える。なお、図８では、照明装置１１００から出力される観察光が照射される観察対象１５００を併せて図示した。
　（照明装置１１００）
　照明装置１１００は、第１の光源１０１と、第１のコリメート光学系１０３と、第１のハーフミラー１１０７と、第１の光検出器１１０９と、制御部１１２０と、第２の光源１２０と、第２のコリメート光学系１１９と、第２のハーフミラー１１０３と、第２の光検出器１１０５と、拡散部材１１１と、第３のコリメート光学系１１３と、ダイクロイックミラー１１５と、コンデンサ光学系１１７とを備える。第２の光源１２０は、例えば、図１で示した光源２２０に対応し、制御部１１２０は、図１で示した制御部１１２０に対応する。
　第１の光源１０１から出射された光は、第１のコリメート光学系１０３を通過することで、略平行光となってダイクロイックミラー１１５に入射する。また、第１の光源１０１から出射された光は、第１のハーフミラー１１０７にて一部が分波されて、第１の光検出器１１０９に入射する。一方、第２の光源１２０から出射された光は、第２のコリメート光学系１０９、拡散部材１１１、および第３のコリメート光学系１１３を順に通過することで、略平行光となってダイクロイックミラー１１５に入射する。また、第２の光源１２０から出射された光は、第２のハーフミラー１１０３にて一部が分波されて、第２の光検出器１１０５に入射する。ダイクロイックミラー１１５は、第１の光源１０１および第２の光源１２０から出射された光を合波する。合波された光は、観察光として、コンデンサ光学系１１７を介してライトガイド１３０に入射する。
　第１の光源１０１は、例えば、白色光源で構成され、白色光を出射する。第１の光源１０１を構成する白色光源の種類は、特に限定されるものではないが、第１の光源１０１は、例えば、白色ＬＥＤ（Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）、レーザ励起蛍光体、キセノンランプ、またはハロゲンランプなどで構成されてもよい。具体的には、第１の光源１０１は、青色ＬＥＤによって励起される蛍光体を用いた、いわゆる蛍光体方式の白色ＬＥＤで構成されてもよい。
　本実施形態に係る観察システム１では、第１の光源１０１は、任意の構成であり、場合によっては観察システム１に備えられていなくともよい。ただし、観察システム１に第１の光源１０１が備えられる場合、観察システム１は、白色光源から出射される光を用いて通常観察用の白色光を生成することができるため、通常観察用の白色光の演色性を向上させることができる。このような第１の光源１０１を備える観察システム１は、通常観察時の観察対象の撮像画像の色味を、自然光下の肉眼観察の場合の色味により近づけることが可能となる。
　なお、本実施形態に係る観察システム１は、第３の光源として、可視光帯域以外の光を出射する光源をさらに備えていてもよい。具体的には、観察システム１は、第３の光源として、近赤外帯域の光を出射する光源、または紫外帯域の光を出射する光源等を備えていてもよい。このような第３の光源を備えることにより、観察システム１は、使用可能な蛍光物質の種類を増加させることができる。例えば、観察システム１は、蛍光物質として、近赤外帯域に励起波長を有するインドシアニングリーン（ＩＣＧ）、または紫外帯域に励起波長を有する５－アミノレブリン酸（５－ＡＬＡ）などを使用することが可能となる。
　第１のコリメート光学系１０３は、第１の光源１０１から出射された白色光を平行光束に変換し、第３のコリメート光学系１１３を通過した光とは異なる方向（例えば、互いの光軸が略直交する方向）からダイクロイックミラー１１５に入射させる。第１のコリメート光学系１０３を通過した光は、完全な平行光線である必要はなく、平行光線に近い状態の発散光であればよい。
　第１のハーフミラー１１０７は、例えば、第１の光源１０１と、ダイクロイックミラー１１５との間に設けられ、第１の光源１０１から出射された光の一部を分波する。分波された光は、第１の光検出器１１０９に入射する。第１のハーフミラー１１０７は、分波部材の一例であり第１のハーフミラー１１０７の替わりに、他の分波部材が用いられてもよい。
　第１の光検出器１１０９は、第１の光源１０１から出射された光の光量を検出し、検出した光の光量を第１光源駆動制御部１１２１に出力する。これにより、第１光源駆動制御部１１２１は、例えば、検出された光の光量に基づいて第１の光源１０１から出射される光の光量を制御することができる。第１の光検出器１１０９は、例えば、フォトダイオードまたはカラーセンサなどの公知の光検出器で構成されてもよい。
　第２の光源１２０は、異なる波長帯域の光を出射する複数の光源にて構成される。第２の光源１２０に備えられる複数の光源の波長帯域は、合波することで白色光が生成されるように選択される。
　具体的には、第２の光源１２０は、異なる波長帯域の光を出射する複数のレーザ光源にて構成されてもよい。レーザ光源は、キセノンランプまたはハロゲンランプ等のランプ光源とは異なり、印加される駆動電流または駆動電圧を制御することで、出射される光の光量を制御することが可能である。レーザ光源で構成されることにより、第２の光源１２０は、光量等をより迅速かつ精密に制御することが可能となる。
　ただし、第２の光源１２０は、光量等を電気的に制御可能であれば、レーザ光源以外の他の種類の光源で構成されてもよい。ただし、レーザ光源は、射出光の拡散が小さいため、第２の光源１２０が複数のレーザ光源で構成される場合、後述する第２の光検出器１１０５において、第２の光源１２０の光量の検出をより容易に行うことが可能となる。
　第２のコリメート光学系１０９は、第２の光源１２０から出射された光（すなわち、第２の光源１２０を構成する各レーザ光源の光を合波した白色光、または第２の光源１２０の一部のレーザ光源の光にて構成される特殊光）を平行光束へと変換する。第２のコリメート光学系１０９は、後段に設けられた拡散部材１１１に入射する光を平行光束に変換することで、拡散部材１１１での光の拡散状態の制御を容易にする。第２のコリメート光学系１０９を通過した光は、完全な平行光線である必要はなく、平行光線に近い状態の発散光であればよい。
　第２のハーフミラー１１０３は、例えば、第２のコリメート光学系１０９と、拡散部材１１１との間に設けられ、第２の光源１２０から出射された光の一部を分波する。第２のハーフミラー１１０３によって分波された光は、第２の光検出器１１０５に入射する。第２のハーフミラー１１０３は、分波部材の一例であり、第２のハーフミラー１１０３の替わりに他の分波部材が用いられてもよい。
　第２の光検出器１１０５は、第２の光源１２０から出射された光の光量を検出し、検出した光の光量を第２光源駆動制御部１１２３に出力する。これにより、第２光源駆動制御部１１２３は、例えば、検出された光の光量に基づいて第２の光源１２０から出射される光の光量を制御することができる。第２の光検出器１１０５は、例えば、フォトダイオードまたはカラーセンサなどの公知の光検出器で構成されてもよい。
　拡散部材１１１は、第２のコリメート光学系１０９の焦点位置の近傍範囲（例えば、焦点位置から前後に焦点距離の１０％程度の範囲）に設けられ、第２のコリメート光学系１０９から出射された光を拡散させる。これにより、拡散部材１１１における光の出射端は、２次光源と見なせるようになる。複数の光源から出射された光を合波した光は、複数の光源ごとに光の発散角にばらつきが存在し得るため、拡散部材１１１を通して２次光源に変換することで、合波された光の発散角を統一してもよい。
　拡散部材１１１により生成される２次光源の大きさは、第２のコリメート光学系１０９の焦点距離によって制御することが可能である。また、拡散部材１１１により生成される２次光源の出射光のＮＡ（開口数）は、拡散部材１１１の拡散角度によって制御することが可能である。したがって、拡散部材１１１は、ライトガイド１３０に結合する際の集光スポットのサイズ、および入射ＮＡの両方を独立に制御することが可能である。
　拡散部材１１１の種類は特に限定されるものではなく、公知の各種拡散素子を用いることが可能である。例えば、拡散部材１１１は、フロスト型のすりガラス、ガラス内に光拡散物質を分散させたオパール型の拡散板、またはホログラフィック拡散板などであってもよい。特に、ホログラフィック拡散板は、基板上に施されたホログラフィックパターンによって、出射光の拡散角度を任意に設定することも可能である。
　第３のコリメート光学系１１３は、拡散部材１１１からの光（すなわち、２次光源からの光）を平行光束に変換し、ダイクロイックミラー１１５に入射させる。なお、第３のコリメート光学系１１３を通過した光は、完全な平行光線である必要はなく、平行光線に近い状態の発散光であればよい。
　ダイクロイックミラー１１５は、互いに光軸が略直交する方向から入射する第１の光源１０１から出射された光と、第２の光源１２０から出射された光とを合波する。
　図８に示す構成例では、ダイクロイックミラー１１５は、第２の光源１２０から出射される光に対応する波長帯域の光のみを透過させ、それ以外の波長帯域の光を反射するように設計される。このような場合、第２の光源１２０から出射された光は、ダイクロイックミラー１１５を透過してコンデンサ光学系１１７に入射する。また、第１の光源１０１から出射された光は、第２の光源１２０からの光に対応する波長帯域以外の帯域の光のみがダイクロイックミラー１１５にて反射されてコンデンサ光学系１１７に入射する。これにより、ダイクロイックミラー１１５は、第１の光源１０１から出射された光と、第２の光源１２０から出射された光とを合波することができる。
　なお、ダイクロイックミラー１１５は、第１の光源１０１、および第２の光源１２０からそれぞれ出射された光を合波する光学部材の一例であり、他の光学部材を用いることも可能である。例えば、光学部材として、異なる波長を有する複数の光を合波することが可能なダイクロイックプリズム、異なる偏光を有する複数の光を合波することが可能な偏光ビームスプリッタ、または、異なる振幅を有する複数の光を合波することが可能なビームスプリッタを用いることも可能である。
　コンデンサ光学系１１７は、ダイクロイックミラー１１５によって合波された光を所定の近軸横倍率でライトガイド１３０に結像させる。コンデンサ光学系１１７は、例えば、集光レンズによって構成されてもよい。
　ライトガイド１３０は、照明装置１１００から出射された光を撮像装置１２００の鏡筒１２１０に導く。ライトガイド１３０は、例えば、光ファイバにて構成されてもよい。ライトガイド１３０を構成する光ファイバの種類は特に限定されるものではなく、公知のマルチモード光ファイバ（例えば、ステップインデックス型マルチモードファイバなど）を用いることが可能である。光ファイバのコア径も特に限定されるものではなく、例えば、１ｍｍ程度であればよい。
　なお、上記の照明装置１１００において、第３のコリメート光学系１１３と、コンデンサ光学系１１７とによる結像倍率は、（コンデンサ光学系１１７の焦点距離）／（第３のコリメート光学系１１３の焦点距離）によって設定され得る。例えば、第３のコリメート光学系１１３と、コンデンサ光学系１１７とによる結像倍率は、２次光源の大きさおよび発散角がライトガイド１３０のコア径および入射ＮＡにマッチングするように設定される。
　第１のコリメート光学系１０３と、コンデンサ光学系１１７とによる結像倍率は、（コンデンサ光学系１１７の焦点距離）／（第１のコリメート光学系１０３の焦点距離）によって設定され得る。例えば、第１のコリメート光学系１０３と、コンデンサ光学系１１７とによる結像倍率は、第１の光源１０１からの光がライトガイド１３０のコア径および入射ＮＡにマッチングし、高効率でライトガイド１３０に結合されるように設定される。
　制御部１１２０は、照明装置１１００の各構成を制御する制御回路である。具体的には、制御部１１２０は、第１の光源１０１を制御する第１光源駆動制御部１１２１、および第２の光源１２０を制御する第２光源駆動制御部１１２３を含む。制御部１１２０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＭＰＵ（Ｍｉｃｒｏ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、またはＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｏｃｅｓｓｏｒ）等のプロセッサによって構成され、これらのプロセッサが所定のプログラムに従って演算処理を実行することで、各種機能を実現する。
　具体的には、第１光源駆動制御部１１２１は、第１の光源１０１の出力光量を制御する。例えば、第１光源駆動制御部１１２１は、第１の光源１０１の駆動電流を制御することにより、第１の光源１０１の出力光量を制御してもよい。第２光源駆動制御部１１２３は、第２の光源１２０の出力光量を制御する。例えば、第２光源駆動制御部１１２３は、第２の光源１２０に備えられる各レーザ光源の駆動電流を制御することにより、第２の光源１２０の出力光量を制御してもよい。
　（撮像装置１２００）
　撮像装置１２００は、鏡筒１２１０と、撮像ユニット１２２０と、を備える。
　鏡筒１２１０は、例えば、硬性の略円筒形状、または可撓性を有するチューブ状にて構成される。鏡筒１２１０には、内部に照明装置１１００から延伸されたライトガイド１３０が導入され、照明装置１１００から出射された観察光を観察対象１５００まで導く。また、鏡筒１２１０は、観察対象１５００にて反射された光を取得し、撮像ユニット１２２０まで導く。
　撮像ユニット１２２０は、撮像素子１２２１を備え、観察対象１５００からの光を光電変換する。撮像素子１２２１は、例えば、カラー撮像が可能な撮像素子である。撮像素子１２２１は、ＣＣＤイメージセンサ、またはＣＭＯＳイメージセンサなどの公知の撮像素子を用いることが可能である。撮像ユニット１２２０は、撮像素子１２２１にて光電変換した画像信号を情報処理装置１３００に出力する。例えば、撮像ユニット１２２０は、後述する特殊観察画像生成部１３０１、および通常観察画像生成部１３０３に画像信号を出力してもよい。
　なお、撮像ユニット１２２０は、所定の波長帯域の光のみを透過させる光学フィルタを備えていてもよい。例えば、光学フィルタは、誘電体多層膜にて構成され、観察対象１５００に投与した蛍光物質が発する蛍光を含む所定の波長帯域の光のみを透過させるバンドパスフィルタであってもよい。このような光学フィルタを用いることによって、撮像素子１２２１は、観察対象１５００に投与した蛍光物質が発する蛍光を選択的に光電変換することが可能となる。
　（情報処理装置１３００）
　情報処理装置１３００は、撮像装置１２００から入力された画像信号に基づいて、観察対象１５００の観察像を生成する。また、情報処理装置１３００は、生成した観察像に基づいて、照明装置１１００の光量の制御に用いられるフィードバック信号を照明装置１１００に出力する。
　具体的には、情報処理装置１３００は、特殊観察画像生成部１３０１と、通常観察画像生成部１３０３と、観察像生成部１３０５と、入力部１３０７と、を備える。例えば、情報処理装置１３００は、ＣＰＵ、ＭＰＵもしくはＤＳＰ等のプロセッサ、またはこれらのプロセッサが搭載されたマイコン等を備え、該プロセッサが所定のプログラムに従った演算処理を実行することで、情報処理装置１３００の各機能が実現される。
　特殊観察画像生成部１３０１は、撮像素子１２２１から出力された画像信号に基づいて観察対象１５００の特殊観察用の画像を生成する。具体的には、特殊観察画像生成部１３０１は、観察対象１５００に投与された蛍光物質が発する蛍光に対応する色の画素の出力信号に基づいて、特殊観察用の画像を生成してもよい。
　例えば、蛍光物質であるフルオレセイン系化合物が発する蛍光の極大波長は、５２１ｎｍである。したがって、撮像素子１２２１が赤色、緑色、および青色の三色にてカラー画像信号を生成する場合、撮像素子１２２１は、緑色光を光電変換する画素にてフルオレセイン系化合物が発する蛍光を光電変換することが可能である。このような場合、特殊観察画像生成部１３０１は、撮像素子１２２１から出力される画像信号のうち、緑色に対応する画像信号に基づいて撮像画像を生成することで、特殊観察用の画像を生成することができる。
　なお、撮像ユニット１２２０に、観察対象１５００から発せられる蛍光を選択的に透過させるバンドパスフィルタが備えられる場合、撮像素子１２２１から出力されるカラー画像信号は、観察対象１５００から発せられる蛍光の強度を反映したものとなる。このような場合、特殊観察画像生成部１３０１は、撮像素子１２２１から出力される画像信号に基づいて撮像画像を生成することで、特殊観察用の画像を生成することができる。
　通常観察画像生成部１３０３は、撮像素子１２２１からの出力信号に基づいて、観察対象１５００の通常観察用の画像を生成する。具体的には、通常観察画像生成部１３０３は、撮像素子１２２１から出力された赤色、緑色、および青色の三色を含む画像信号に基づいて、カラー画像を生成することで、通常観察用の画像を生成することができる。
　観察像生成部１３０５は、特殊観察画像生成部１３０１によって生成された特殊観察用の画像、および通常観察画像生成部１３０３によって生成された通常観察用の画像の少なくともいずれかを含む観察像を生成する。観察像生成部１３０５によって生成された観察像は、例えば、表示装置１４００に出力されることで、ユーザによって視認され得る。観察像生成部１３０５によって生成された観察像は、上述した特殊観察用の画像または通常観察用の画像のいずれかを一方を含んでもよく、特殊観察用の画像および通常観察用の画像の両方を含んでもよい。観察像生成部１３０５によって生成される観察画像の詳細は、例えば、入力部１３０７を介したユーザからの入力によって決定されてもよい。
　入力部１３０７は、ユーザの操作入力を受け付ける入力インターフェースである。入力部１３０７は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ及びレバー等、ユーザによって操作される入力装置によって構成される。ユーザは、入力部１３０７を操作することによって、各種の情報または指示を観察システム１に入力することができる。
　入力部１３０７は、通常観察、特殊観察、または通常観察および特殊観察の両方のうちのいずれかを行うかを指示する信号を観察システム１に対して入力してもよい。これによれば、ユーザは、通常観察モード、特殊観察モード、通常／特殊観察モード（通常観察および特殊観察を同時に実行するモード）のうちのいずれかを選択する旨の指示を観察システム１に対して入力することができる。ユーザによって選択された情報は、観察像生成部１３０５、ならびに照明装置１１００の第１光源駆動制御部１１２１および第２光源駆動制御部１１２３に入力される。これにより、第１光源駆動制御部１１２１および第２光源駆動制御部１１２３は、選択された観察モードに基づいて、第１の光源１０１および第２の光源１２０を駆動させる。また、観察像生成部１３０５は、選択された観察モードに基づいて、観察像を生成する。
　（表示装置１４００）
　表示装置１４００は、情報処理装置１３００の観察像生成部１３０５によって生成された画像を表示する。表示装置１４００は、例えば、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、およびＥＬディスプレイ装置等の公知の表示装置であってよい。ユーザは、表示装置１４００に表示された画像を視認することにより、観察対象１５００の診断または治療等を行うことができる。
　以上の構成を備える観察システム１は、例えば、内視鏡装置、または顕微鏡装置として用いることが可能である。
　＜５．付記＞
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　合波することで白色光を生成可能な、異なる波長帯域の光を出射する複数の光源と、
　前記複数の光源のうちの一部の光源から出射された光にて構成される第１の光を観察対象に照射する光学系と、
　前記第１の光が照射された観察対象の撮像画像を撮像する撮像装置と、
　前記撮像画像の所定の波長帯域に対応する画素の輝度に基づいて、前記第１の光の光量を制御する光源制御部と、
を備える、観察システム。
（２）
　前記光源制御部は、前記画素の輝度が所定範囲の値となるように、前記第１の光の光量を制御する、前記（１）に記載の観察システム。
（３）
　前記光学系は、前記複数の光源から出射された光を合波することで、白色光である第２の光を生成し、前記第２の光を前記観察対象に照射する、前記（２）に記載の観察システム。
（４）
　前記光源制御部は、前記観察対象に照射する光を時分割で、前記第１の光または前記第２の光に切り換える、前記（３）に記載の観察システム。
（５）
　前記撮像装置は、前記観察対象の撮像画像を連続して撮像し、
　前記光源制御部は、撮像された撮像画像ごとに、前記観察対象に照射する光を切り換える、前記（４）に記載の観察システム。
（６）
　前記光源制御部は、前記観察対象に照射される前記第１の光の光量を時分割で、一定の光量、または前記撮像画像の所定の波長帯域に対応する画素の輝度に基づいて制御された光量に切り換える、前記（２）～（５）のいずれか一項に記載の観察システム。
（７）
　前記撮像画像は、前記撮像画像が撮像された時に前記観察対象に照射されていた前記第１の光の光量と対応付けられる、前記（６）に記載の観察システム。
（８）
　前記光源制御部は、前記画素の輝度を所定範囲の値とする前記第１の光の光量が閾値を超える場合、前記第１の光の光量を前記閾値に制御する、前記（２）～（７）のいずれか一項に記載の観察システム。
（９）
　前記複数の光源は、レーザ光源である、前記（１）～（８）のいずれか一項に記載の観察システム。
（１０）
　前記複数の光源は、赤色光源、緑色光源、および青色光源である、前記（９）に記載の観察システム。
（１１）
　白色光を出射する白色光源をさらに備える、前記（１）～（１０）のいずれか一項に記載の観察システム。
（１２）
　前記複数の光源のいずれとも異なる波長帯域の光を出射する特殊光源をさらに備える、前記（１）～（１１）のいずれか一項に記載の観察システム。
（１３）
　観察対象の撮像画像の所定の波長帯域に対応する画素の輝度に基づいて、前記観察対象に照射する第１の光の光量を制御する光源制御部を備え、
　前記第１の光は、合波することで白色光を生成可能な、異なる波長帯域の光を出射する複数の光源のうちの一部の光源から出射された光にて構成される、光源制御装置。
　１　　　　　観察システム
　２００　　　光学系
　２０１　　　ミラー
　２０３　　　ダイクロイックミラー
　２０５　　　ダイクロイックミラー
　２２０Ｂ　　青色光源
　２２０Ｇ　　緑色光源
　２２０Ｒ　　赤色光源
　２２１Ｂ　　青色光源駆動回路
　２２１Ｇ　　緑色光源駆動回路
　２２１Ｒ　　赤色光源駆動回路
　３００　　　白色光
　４００　　　特殊光
　１１００　　照明装置
　１１２０　　制御部
　１２００　　撮像装置
　１５００　　観察対象

Claims (13)

  1. 　合波することで白色光を生成可能な、異なる波長帯域の光を出射する複数の光源と、
    　前記複数の光源のうちの一部の光源から出射された光にて構成される第１の光を観察対象に照射する光学系と、
    　前記第１の光が照射された観察対象の撮像画像を撮像する撮像装置と、
    　前記撮像画像の所定の波長帯域に対応する画素の輝度に基づいて、前記第１の光の光量を制御する光源制御部と、
    を備える、観察システム。
  2. 　前記光源制御部は、前記画素の輝度が所定範囲の値となるように、前記第１の光の光量を制御する、請求項１に記載の観察システム。
  3. 　前記光学系は、前記複数の光源から出射された光を合波することで、白色光である第２の光を生成し、前記第２の光を前記観察対象に照射する、請求項２に記載の観察システム。
  4. 　前記光源制御部は、前記観察対象に照射する光を時分割で、前記第１の光または前記第２の光に切り換える、請求項３に記載の観察システム。
  5. 　前記撮像装置は、前記観察対象の撮像画像を連続して撮像し、
    　前記光源制御部は、撮像された撮像画像ごとに、前記観察対象に照射する光を切り換える、請求項４に記載の観察システム。
  6. 　前記光源制御部は、前記観察対象に照射される前記第１の光の光量を時分割で、一定の光量、または前記撮像画像の所定の波長帯域に対応する画素の輝度に基づいて制御された光量に切り換える、請求項２に記載の観察システム。
  7. 　前記撮像画像は、前記撮像画像が撮像された時に前記観察対象に照射されていた前記第１の光の光量と対応付けられる、請求項６に記載の観察システム。
  8. 　前記光源制御部は、前記画素の輝度を所定範囲の値とする前記第１の光の光量が閾値を超える場合、前記第１の光の光量を前記閾値に制御する、請求項２に記載の観察システム。
  9. 　前記複数の光源は、レーザ光源である、請求項１に記載の観察システム。
  10. 　前記複数の光源は、赤色光源、緑色光源、および青色光源である、請求項９に記載の観察システム。
  11. 　白色光を出射する白色光源をさらに備える、請求項１に記載の観察システム。
  12. 　前記複数の光源のいずれとも異なる波長帯域の光を出射する特殊光源をさらに備える、請求項１に記載の観察システム。
  13. 　観察対象の撮像画像の所定の波長帯域に対応する画素の輝度に基づいて、前記観察対象に照射する第１の光の光量を制御する光源制御部を備え、
    　前記第１の光は、合波することで白色光を生成可能な、異なる波長帯域の光を出射する複数の光源のうちの一部の光源から出射された光にて構成される、光源制御装置。
PCT/JP2018/005475 2017-05-22 2018-02-16 観察システム、および光源制御装置 WO2018216276A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US16/613,811 US11076106B2 (en) 2017-05-22 2018-02-16 Observation system and light source control apparatus
JP2019519466A JP7107308B2 (ja) 2017-05-22 2018-02-16 観察システム、および光源制御装置
EP18806828.2A EP3632291A4 (en) 2017-05-22 2018-02-16 LIGHT SOURCE MONITORING SYSTEM AND APPARATUS

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-100738 2017-05-22
JP2017100738 2017-05-22

Publications (1)

Publication Number Publication Date
WO2018216276A1 true WO2018216276A1 (ja) 2018-11-29

Family

ID=64395578

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/005475 WO2018216276A1 (ja) 2017-05-22 2018-02-16 観察システム、および光源制御装置

Country Status (4)

Country Link
US (1) US11076106B2 (ja)
EP (1) EP3632291A4 (ja)
JP (1) JP7107308B2 (ja)
WO (1) WO2018216276A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020116146A (ja) * 2019-01-24 2020-08-06 富士フイルム株式会社 内視鏡システム
WO2020203034A1 (ja) * 2019-04-03 2020-10-08 オリンパス株式会社 内視鏡システム
WO2021176890A1 (ja) * 2020-03-06 2021-09-10 富士フイルム株式会社 内視鏡システム、制御方法、及び制御プログラム
WO2021199566A1 (ja) * 2020-03-31 2021-10-07 富士フイルム株式会社 内視鏡システム、制御方法、及び制御プログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6916768B2 (ja) * 2018-09-05 2021-08-11 富士フイルム株式会社 内視鏡システム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS538815B1 (ja) 1968-08-06 1978-04-01
JP2007117583A (ja) * 2005-10-31 2007-05-17 Pentax Corp 内視鏡システム
JP2012152460A (ja) * 2011-01-27 2012-08-16 Fujifilm Corp 医療システム、医療システムのプロセッサ装置、及び画像生成方法
JP2013000176A (ja) * 2011-06-13 2013-01-07 Fujifilm Corp 内視鏡システム、内視鏡システムの光源装置、及び光量制御方法
JP2015025965A (ja) * 2013-07-26 2015-02-05 オリンパス株式会社 内視鏡画像処理装置及び内視鏡装置
JP2016041388A (ja) * 2016-01-07 2016-03-31 富士フイルム株式会社 内視鏡システム及びプロセッサ装置並びに内視鏡システムの作動方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007123028A1 (ja) 2006-04-20 2007-11-01 Olympus Medical Systems Corp. 生体観測システム
CN102036599B (zh) * 2008-03-18 2013-06-19 诺瓦达克技术公司 用于组合的全色反射和近红外成像的成像系统
JP5460506B2 (ja) * 2009-09-24 2014-04-02 富士フイルム株式会社 内視鏡装置の作動方法及び内視鏡装置
JP6304953B2 (ja) * 2013-06-27 2018-04-04 オリンパス株式会社 観察装置
WO2015145814A1 (ja) * 2014-03-28 2015-10-01 オリンパス株式会社 生体観察システム
JP6039606B2 (ja) * 2014-06-24 2016-12-07 富士フイルム株式会社 内視鏡システム、光源装置、内視鏡システムの作動方法、及び光源装置の作動方法
US9547165B2 (en) * 2014-08-29 2017-01-17 Reinroth Gmbh Endoscope system with single camera for concurrent imaging at visible and infrared wavelengths

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS538815B1 (ja) 1968-08-06 1978-04-01
JP2007117583A (ja) * 2005-10-31 2007-05-17 Pentax Corp 内視鏡システム
JP2012152460A (ja) * 2011-01-27 2012-08-16 Fujifilm Corp 医療システム、医療システムのプロセッサ装置、及び画像生成方法
JP2013000176A (ja) * 2011-06-13 2013-01-07 Fujifilm Corp 内視鏡システム、内視鏡システムの光源装置、及び光量制御方法
JP2015025965A (ja) * 2013-07-26 2015-02-05 オリンパス株式会社 内視鏡画像処理装置及び内視鏡装置
JP2016041388A (ja) * 2016-01-07 2016-03-31 富士フイルム株式会社 内視鏡システム及びプロセッサ装置並びに内視鏡システムの作動方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3632291A4

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020116146A (ja) * 2019-01-24 2020-08-06 富士フイルム株式会社 内視鏡システム
JP7112970B2 (ja) 2019-01-24 2022-08-04 富士フイルム株式会社 内視鏡システム
WO2020203034A1 (ja) * 2019-04-03 2020-10-08 オリンパス株式会社 内視鏡システム
WO2021176890A1 (ja) * 2020-03-06 2021-09-10 富士フイルム株式会社 内視鏡システム、制御方法、及び制御プログラム
WO2021199566A1 (ja) * 2020-03-31 2021-10-07 富士フイルム株式会社 内視鏡システム、制御方法、及び制御プログラム

Also Published As

Publication number Publication date
EP3632291A4 (en) 2020-06-10
JPWO2018216276A1 (ja) 2020-03-26
US11076106B2 (en) 2021-07-27
US20200154028A1 (en) 2020-05-14
JP7107308B2 (ja) 2022-07-27
EP3632291A1 (en) 2020-04-08

Similar Documents

Publication Publication Date Title
WO2018216276A1 (ja) 観察システム、および光源制御装置
US9547165B2 (en) Endoscope system with single camera for concurrent imaging at visible and infrared wavelengths
EP2754379B1 (en) Endoscope system and image display method
JP5858752B2 (ja) 内視鏡用光源装置
US10908430B2 (en) Medical imaging system, illumination device, and method
CN107529978B (zh) 光源装置、光源驱动方法与观察装置
US20170035280A1 (en) Stereoscopic endoscope system with concurrent imaging at visible and infrared wavelengths
JP2006087764A (ja) Ｌｅｄファイバ光源装置及びそれを用いた内視鏡
JP2009297290A (ja) 内視鏡装置およびその画像処理方法
JP2007029555A (ja) 生体観測装置
JPWO2018198507A1 (ja) 光源システム
JP6438062B2 (ja) 内視鏡システム
JP2020018914A (ja) 内視鏡システム
WO2018003263A1 (ja) 観察装置、および観察装置の制御方法
US20200405135A1 (en) Medical observation system
JP6732029B2 (ja) 電子スコープ及び電子内視鏡システム
US20200383558A1 (en) Light source and system for and method of fluorescence diagnosis
JP6115967B2 (ja) 内視鏡システム
JP6438830B2 (ja) 位置調整方法
JP2019030743A (ja) 内視鏡用光源装置、内視鏡システム、及び位置調整方法
WO2017141416A1 (ja) 内視鏡用光源装置
WO2021095517A1 (ja) 光源装置及び被検体観察システム
JP2016123577A (ja) 蛍光観察装置
JP6138386B1 (ja) 内視鏡装置及び内視鏡システム
JP2019204756A (ja) 照明装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18806828

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019519466

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2018806828

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2018806828

Country of ref document: EP

Effective date: 20200102