WO2021251133A1 - 観察装置及び観察方法 - Google Patents

観察装置及び観察方法 Download PDF

Info

Publication number
WO2021251133A1
WO2021251133A1 PCT/JP2021/019846 JP2021019846W WO2021251133A1 WO 2021251133 A1 WO2021251133 A1 WO 2021251133A1 JP 2021019846 W JP2021019846 W JP 2021019846W WO 2021251133 A1 WO2021251133 A1 WO 2021251133A1
Authority
WO
WIPO (PCT)
Prior art keywords
light
detection
image
demodulation
detection light
Prior art date
Application number
PCT/JP2021/019846
Other languages
English (en)
French (fr)
Inventor
貴文 樋口
正典 小林
Original Assignee
浜松ホトニクス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 浜松ホトニクス株式会社 filed Critical 浜松ホトニクス株式会社
Publication of WO2021251133A1 publication Critical patent/WO2021251133A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/06—Means for illuminating specimens
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements

Definitions

  • This disclosure relates to an observation device and an observation method.
  • an observation device for observing fluorescence of an observation object for example, the microscope device described in Patent Document 1 is known.
  • a sample multiple-stained with a plurality of fluorescent substances is simultaneously irradiated with a plurality of excitation lights having wavelengths for exciting the plurality of fluorescent substances and modulated by different modulation frequencies. ..
  • a plurality of fluorescences corresponding to these excitation lights are generated from the sample.
  • these fluorescences are detected at the same time, and the signal indicating each fluorescence is frequency-separated based on the modulation frequency, so that an image of each fluorescence is generated for each fluorescence.
  • This disclosure is made for solving the above-mentioned problems, and provides an observation device and an observation method capable of obtaining an accurate image of an observation object.
  • the observation device includes an irradiation unit that has different wavelengths from each other and simultaneously irradiates an observation object with a plurality of excitation lights modulated by a plurality of modulation patterns under different modulation conditions.
  • the detection unit that detects multiple detection lights from the observation target due to the irradiation of the excitation light of It includes an image processing unit that generates an image for each detection light.
  • Each modulation pattern is a modulation pattern that modulates the excitation light so as to switch ON / OFF of the irradiation of the excitation light, and is set so as to satisfy the orthogonality with each other at each demodulation timing.
  • the plurality of demodulation timings include a first demodulation timing and a second demodulation timing prior to the first demodulation timing.
  • the image processing unit When the image processing unit generates an image of the first detection light among the plurality of detection lights at the first demodulation timing, the image of the first detection light generated at the first demodulation timing and the second detection light.
  • the difference value between the image of the first detection light generated at the demodulation timing of is calculated.
  • the image processing unit sets the irradiation of the excitation light corresponding to the first detection light to OFF after the first demodulation timing.
  • the image of the first detection light generated at the first demodulation timing and the image of the first detection light generated at the second demodulation timing are generated.
  • the difference value between the image of the first detection light and the image becomes smaller than a predetermined threshold value
  • the irradiation of the excitation light corresponding to the first detection light is set to OFF after the first demodulation timing. Will be done.
  • the shot noise of the first detection light is added to the images of the other detection lights generated after the first demodulation timing. It is possible to suppress the appearance of ingredients.
  • the difference value between the image of the first detection light generated at the first demodulation timing and the image of the first detection light generated at the second demodulation timing is smaller than a predetermined threshold value. If so, it can be determined that the change in these images is small. Therefore, even if the irradiation of the excitation light corresponding to the first detection light is set to OFF after the first demodulation timing, the influence of the generated first detection light on the image accuracy is small. Further, since each modulation pattern is set so as to satisfy the orthogonality condition with each other at each demodulation timing, the detection signal indicating each detection light corresponding to each modulation pattern can be accurately demodulated.
  • the irradiation unit may have a storage unit that stores a plurality of modulation patterns. In this case, since it is not necessary to perform the process of generating each modulation pattern, the processing load can be reduced as compared with the case of generating each modulation pattern.
  • the irradiation unit may have a generation unit that generates a plurality of modulation patterns. In this case, each desired modulation pattern can be easily obtained.
  • Each modulation pattern may be a rectangular wave-shaped modulation pattern that modulates the excitation light so as to switch ON / OFF of the irradiation of the excitation light.
  • each modulation pattern that satisfies the orthogonality condition with each other at the demodulation timing can be preferably set.
  • Each modulation pattern may be a sinusoidal modulation pattern that modulates the excitation light so as to switch ON / OFF of the irradiation of the excitation light.
  • each modulation pattern that satisfies the orthogonality condition with each other at the demodulation timing can be preferably set.
  • the plurality of detection lights may include a second detection light having a light amount smaller than that of the first detection light.
  • the shot noise component tends to appear in the image of the detected light having a large amount of light to the detected light having a small amount of light.
  • the shot noise component of the first detection light having a large amount of light can be suppressed from appearing in the image of the second detection light having a small amount of light, so that the above-mentioned effect is preferable. Play.
  • the first detection light may have the largest amount of light among the plurality of detection lights.
  • the shot noise component tends to appear in the image of the detected light having a large amount of light to the detected light having a small amount of light, and becomes larger as the difference in the amount of light of the detected light becomes larger.
  • the shot noise component of the first detection light having the largest amount of light can be suppressed from appearing in the image of the second detection light having a small amount of light, so that the above-mentioned effect can be further improved. Plays well.
  • the image processing unit uses the data included in the detection signal detected after the first demodulation timing when the irradiation of the excitation light corresponding to the first detection light is set to OFF after the first demodulation timing. Then, an image of the second detection light may be generated.
  • the data included in the detection signal detected after the first demodulation timing Does not include the first detection light, or contains a first detection light with a very small amount of light. Therefore, if the second detection light is generated using this data, it is possible to effectively suppress the situation where the shot noise component of the first detection light appears in the image of the second detection light.
  • the excitation light corresponding to the first detection light is set before the first demodulation timing.
  • the image of the second detection light may be generated by using the data included in the detection signal detected during the period other than the period during which the irradiation of the light is turned on.
  • the detection signal data detected in a period other than the period in which the irradiation of the excitation light corresponding to the first detection light is turned on before the first demodulation timing includes the first detection light. It contains a first detection light that is absent or has a very small amount of light. Therefore, if the second detection light is generated using this data, it is possible to effectively suppress the situation where the shot noise component of the first detection light appears in the image of the second detection light.
  • the second demodulation timing may be the demodulation timing immediately before the first demodulation timing. In this case, whether or not the change in the image between the image of the first detection light generated at the first demodulation timing and the image of the first detection light generated at the second demodulation timing is small. Can be easily determined.
  • the observation method includes a step of simultaneously irradiating an observation object with a plurality of excitation lights having different wavelengths and being modulated by a plurality of modulation patterns under different modulation conditions.
  • a step of simultaneously irradiating an observation object with a plurality of excitation lights having different wavelengths and being modulated by a plurality of modulation patterns under different modulation conditions By demodulating the detection signals at multiple demodulation timings that are different from each other, in the step of detecting multiple detection lights from the observation target due to irradiation of the excitation light as detection signals, images of multiple detection lights can be obtained at each demodulation timing. It includes a step to generate for each detection light.
  • Each modulation pattern is a modulation pattern that modulates the excitation light so as to switch ON / OFF of the irradiation of the excitation light, and is set so as to satisfy the orthogonality with each other at each demodulation timing.
  • the plurality of demodulation timings include a first demodulation timing and a second demodulation timing prior to the first demodulation timing.
  • the step of generating an image of a plurality of detection lights for each detection light when the image of the first detection light among the plurality of detection lights is generated at the first demodulation timing, the image is generated at the first demodulation timing.
  • the difference value between the image of the first detection light and the image of the first detection light generated at the second demodulation timing is calculated. Then, when the difference value becomes smaller than a predetermined threshold value, the irradiation of the excitation light corresponding to the first detection light is set to OFF after the first demodulation timing.
  • the image of the first detection light generated at the first demodulation timing and the second detected light generated at the second demodulation timing when the first detection light is generated at the first demodulation timing, the image of the first detection light generated at the first demodulation timing and the second detected light generated at the second demodulation timing.
  • the difference value between the detection light of 1 and the image becomes smaller than a predetermined threshold value
  • the irradiation of the excitation light corresponding to the first detection light is set to OFF after the first demodulation timing.
  • the shot noise of the first detection light is added to the images of the other detection lights generated after the first demodulation timing. It is possible to suppress the appearance of ingredients.
  • the difference value between the image of the first detection light generated at the first demodulation timing and the image of the first detection light generated at the second demodulation timing is smaller than a predetermined threshold value. If so, it can be determined that the change in these images is small. Therefore, even if the irradiation of the excitation light corresponding to the first detection light is set to OFF after the first demodulation timing, the influence of the generated first detection light on the image accuracy is small. Further, since each modulation pattern is set so as to satisfy the orthogonality condition with each other at each demodulation timing, the detection signal indicating each detection light corresponding to each modulation pattern can be accurately demodulated. Therefore, according to the above observation method, the image of each detected light can be accurately demodulated while suppressing the situation where the shot noise component of the first detected light appears in the image of the other detected light. That is, an accurate image of each detected light can be obtained.
  • an accurate image of the observation object can be obtained.
  • FIG. 1 is a schematic configuration diagram showing an embodiment of an observation device.
  • FIG. 2 is a diagram showing each modulated signal shown in FIG.
  • FIG. 3 is a diagram for explaining the orthogonality condition satisfied by each modulated signal shown in FIG.
  • FIG. 4 is a graph for explaining the determination of the image change by the image generation unit.
  • FIG. 5 is a flowchart showing an embodiment of the observation method.
  • FIG. 6 is a flowchart showing the details of the image processing step shown in FIG.
  • FIG. 7 is a diagram for explaining simulation conditions of Examples and Comparative Examples.
  • FIG. 8 is a diagram showing simulation conditions of a comparative example.
  • FIG. 9 is a diagram showing a simulation result of a comparative example.
  • FIG. 10 is a diagram showing the simulation results of the examples.
  • FIG. 1 is a schematic configuration diagram showing an embodiment of an observation device.
  • FIG. 2 is a diagram showing each modulated signal shown in FIG.
  • FIG. 3 is a diagram for explaining the orthogon
  • FIG. 11 is a diagram showing a modified example of the image generation process by the image generation unit.
  • FIG. 12 is an enlarged view of a part of FIG. 11.
  • FIG. 13 is a diagram showing simulation results of the modified example shown in FIG.
  • FIG. 14 is a diagram showing a further modified example of the modified example shown in FIG.
  • FIG. 15 is an enlarged view of a part of FIG. 14.
  • FIG. 16 is a diagram showing simulation results of the modified example shown in FIG.
  • FIG. 17 is a schematic configuration diagram showing a modified example of the observation device.
  • FIG. 18 is a schematic configuration diagram showing another modification of the observation device.
  • FIG. 19 is a diagram showing a modified example of each modulated signal.
  • FIG. 1 is a schematic configuration diagram showing an observation device 1 according to the present embodiment.
  • the observation device 1 observes the fluorescence of the sample T, which is an observation target.
  • the sample T is, for example, a sample of a biological tissue or the like containing a plurality of types of fluorescent substances different from each other.
  • each fluorescent substance When each fluorescent substance is irradiated with excitation light in a predetermined wavelength range, it generates detection light such as fluorescence having a wavelength corresponding to the wavelength of the excitation light.
  • the fluorescent substance include fluorescent dyes such as indocyanine green, methylene blue, fluorescein, and 5-aminolevulinic acid.
  • the observation device 1 simultaneously irradiates the sample T with a plurality of excitation lights L1, L2, and L3 that excite the plurality of fluorescent substances of the sample T, respectively, and the plurality of detection lights L11, L12, generated from the sample T accordingly. And L13 are imaged at the same time.
  • the observation device 1 includes, for example, an irradiation unit 10, a detection unit 40, and an image processing unit 70.
  • the irradiation unit 10 simultaneously feeds the sample T with a plurality of excitation lights L1, L2, and L3 having different wavelengths ⁇ 1, ⁇ 2, and ⁇ 3 and modulated by different modulation conditions M1, M2, and M3, respectively. Irradiate.
  • the irradiation unit 10 includes a plurality of light sources 11, 12, and 13, a modulation unit 15, and a light guide optical system 20.
  • the light sources 11, 12, and 13 output the excitation lights L1, L2, and L3, respectively.
  • the modulation unit 15 controls the light sources 11, 12, and 13 so that the excitation lights L1, L2, and L3 are modulated by different modulation conditions M1, M2, and M3, respectively.
  • the light guide optical system 20 guides the excitation lights L1, L2, and L3 output from the light sources 11, 12, and 13, respectively, to the sample T.
  • Each of the light sources 11, 12, and 13 is a coherent light source or an incoherent light source capable of generating light including a wavelength that excites the fluorescent substance of the sample T.
  • the light source 11 can generate the excitation light L1 having the wavelength ⁇ 1.
  • the light source 12 can generate the excitation light L2 having the wavelength ⁇ 2.
  • the light source 13 can generate the excitation light L3 having the wavelength ⁇ 3.
  • the coherent light source include a laser light source such as a laser diode (LD).
  • Examples of the incoherent light source include a light emitting diode (LED), a superluminescent diode (SLD), a lamp-based light source, and the like.
  • the modulation unit 15 is electrically connected to each of the light sources 11, 12, and 13.
  • the modulation unit 15 modulates the plurality of excitation lights L1, L2, and L3, respectively, by using the plurality of modulation signals S1, S2, and S3 having different modulation conditions M1, M2, and M3, respectively.
  • the modulation unit 15 includes a modulation signal generation unit 16 (generation unit) that generates modulation signals S1, S2, and S3, and a modulation condition setting unit 17 that sets modulation conditions M1, M2, and M3.
  • the modulation condition setting unit 17 sets different modulation conditions (for example, phase or frequency) for each of the modulation signals S1, S2, and S3.
  • the modulation condition setting unit 17 sets, for example, the modulation condition M3 to the highest fastest modulation frequency, the modulation condition M2 to a modulation frequency lower than the modulation condition M3, and the modulation condition M1 to the lowest modulation. Set to frequency.
  • the modulation condition setting unit 17 sets the modulation condition M3 to a modulation frequency four times that of the modulation condition M1 and the modulation condition M2 to a modulation frequency twice the modulation condition M1.
  • the modulation condition setting unit 17 may set different phases for each of the modulation signals S1, S2, and S3.
  • the modulation conditions M1, M2, and M3 may be values stored in the modulation condition setting unit 17 in advance, or may be values input from the outside via an input / output device or the like.
  • the modulation signal generation unit 16 generates modulation signals S1, S2, and S3 having modulation conditions M1, M2, and M3 set by the modulation condition setting unit 17, respectively.
  • the modulation signal S1 is a modulation pattern for temporally modulating the excitation light L1 output from the light source 11.
  • the modulation signal S1 is a rectangular wavy pulse signal that modulates the excitation light L1 under the modulation condition M1 so that the irradiation of the excitation light L1 can be switched ON / OFF alternately.
  • the modulation signal S2 is a modulation pattern for temporally modulating the excitation light L2 output from the light source 12.
  • the modulation signal S2 is a rectangular wavy pulse signal that modulates the excitation light L2 under the modulation condition M2 so that the irradiation of the excitation light L2 can be switched ON / OFF alternately.
  • the modulation signal S3 is a modulation pattern for temporally modulating the excitation light L3 output from the light source 13.
  • the modulation signal S3 is a rectangular wavy pulse signal that modulates the excitation light L3 under the modulation condition M3 so that the irradiation of the excitation light L3 can be switched ON / OFF alternately.
  • the modulation signal generation unit 16 outputs the generated modulation signals S1, S2, and S3 to the light sources 11, 12, and 13, respectively.
  • the excitation light L1 output from the light source 11 is modulated according to the modulation signal S1.
  • the excitation light L1 modulated under the modulation condition M1 is output from the light source 11.
  • the excitation light L2 output from the light source 12 is modulated according to the modulation signal S2.
  • the excitation light L2 modulated under the modulation condition M2 is output from the light source 12.
  • the excitation light L3 output from the light source 13 is modulated according to the modulation signal S3.
  • the excitation light L3 modulated under the modulation condition M3 is output from the light source 13.
  • the light guide optical system 20 includes collimator lenses 21, 22, and 23, dichroic mirrors 24, 25, and 29, filters 26 and 27, a relay lens 28, and an objective lens 31.
  • the collimator lens 21 parallelizes the excitation light L1 output from the light source 11.
  • the collimator lens 22 parallelizes the excitation light L2 output from the light source 12.
  • the collimator lens 23 parallelizes the excitation light L3 output from the light source 13.
  • the dichroic mirror 24 is arranged at a position where the optical axis of the light source 13 and the optical axis of the light source 12 intersect.
  • the excitation light L2 passing through the collimator lens 22 and the excitation light L3 passing through the collimator lens 23 reach the dichroic mirror 24.
  • the dichroic mirror 24 reflects the excitation light L2 having a wavelength ⁇ 2 and transmits the excitation light L3 having a wavelength ⁇ 3.
  • the excitation lights L2 and L3 that have passed through the dichroic mirror 24 and the excitation light L1 that has passed through the collimator lens 21 reach the dichroic mirror 25.
  • the dichroic mirror 25 is arranged at a position where the optical axis of the light source 12 and the optical axis of the light source 11 intersect.
  • the dichroic mirror 25 reflects the excitation light L2 having a wavelength ⁇ 2 and the excitation light L3 having a wavelength ⁇ 3, and transmits the excitation light L1 having a wavelength ⁇ 1.
  • the excitation lights L1, L2, and L3 that have passed through the dichroic mirror 25 travel toward the objective lens 31.
  • the filters 26 and 27 are arranged side by side on the optical path between the dichroic mirror 25 and the objective lens 31.
  • the filters 26 and 27 are bandpass filters that selectively transmit only the excitation light L1 having a wavelength ⁇ 1, the excitation light L2 having a wavelength ⁇ 2, and the excitation light L3 having a wavelength ⁇ 3, and block light having other wavelengths. Therefore, the excitation lights L1, L2, and L3 that have passed through the dichroic mirror 25 pass through the filters 26 and 27.
  • the relay lens 28 is arranged on the optical path between the filters 26 and 27. The relay lens 28 has a role of efficiently guiding the excitation lights L1, L2, and L3 to the objective lens 31.
  • the dichroic mirror 29 is arranged on the optical path between the filter 27 and the objective lens 31.
  • the excitation lights L1, L2, and L3 that have passed through the filter 27 reach the dichroic mirror 29.
  • the dichroic mirror 29 reflects the excitation light L1 having a wavelength ⁇ 1, the excitation light L2 having a wavelength ⁇ 2, and the excitation light L3 having a wavelength ⁇ 3, and passes through the detection lights L11, L12, and L13 having a fluorescence wavelength.
  • the excitation lights L1, L2, and L3 that have passed through the dichroic mirror 29 reach the objective lens 31.
  • the objective lens 31 concentrates the excitation lights L1, L2, and L3, and simultaneously irradiates the sample T with the condensed excitation lights L1, L2, and L3. Further, the objective lens 31 guides the detection lights L11, L12, and L13 generated from the sample T by the irradiation of the excitation lights L1, L2, and L3.
  • the objective lens 31 is configured to be movable along the optical axis of the objective lens 31 by, for example, a driving element such as a piezo actuator or a stepping motor. As a result, the focusing position of the excitation lights L1, L2, and L3 and the focal position for detecting the detection lights L11, L12, and L13 can be adjusted.
  • the detection lights L11, L12, and L13 are fluorescence generated from the sample T by irradiation with the excitation lights L1, L2, and L3, respectively.
  • the detection light L13 among the detection lights L11, L12, and L13 is the detection light (first detection light) having the largest amount of light.
  • Each of the detection lights L11 and L12 is a detection light (second detection light) having a light amount smaller than that of the detection light L13.
  • the amount of light of the detection light L11 is smaller than the amount of light of the detection light L12, and is the smallest among the detection lights L11, L12, and L13.
  • the detection light L13 having the largest amount of light is the light generated by the irradiation of the excitation light L3 having the highest modulation frequency.
  • the amount of light of each of the detected lights L11, L12, and L13 can be measured by irradiating the excitation lights L1, L2, and L3 once. Therefore, the light amounts of the detected lights L11, L12, and L13 may be stored in advance in the observation device 1. Then, the modulation conditions of the excitation lights L1, L2, and L3 may be determined in consideration of the difference in the amount of light of the detection lights L11, L12, and L13. For example, the modulation condition of the excitation light L3 corresponding to the detection light L13 having the largest amount of light may be preset so as to be the fastest modulation frequency.
  • the detection unit 40 detects the detection lights L11, L12, and L13 generated from the sample T.
  • the detection unit 40 includes a light guide optical system 30 that guides the detection lights L11, L12, and L13, and a sensor 35 that detects the detection lights L11, L12, and L13 guided by the light guide optical system 30.
  • the light guide optical system 30 includes an objective lens 31, a dichroic mirror 29, a filter 32, and an imaging lens 33.
  • the objective lens 31 guides the detection lights L11, L12, and L13 toward the imaging lens 33.
  • the dichroic mirror 29 and the filter 32 are arranged on the optical path between the objective lens 31 and the imaging lens 33.
  • the filter 32 is a bandpass filter that selectively transmits only the detection lights L11, L12, and L13 of the fluorescence wavelength and blocks the light of other wavelengths. Therefore, the detection lights L11, L12, and L13 that have passed through the objective lens 31 pass through the dichroic mirror 29 and the filter 32 and reach the imaging lens 33.
  • the imaging lens 33 forms an image of the detection lights L11, L12, and L13 on the sensor 35.
  • the sensor 35 has a light receiving surface composed of a plurality of pixels arranged two-dimensionally.
  • the sensor 35 is an area image sensor such as a CCD image sensor or a CMOS image sensor, for example.
  • an image sensor for example, a monochrome sensor, a color sensor, a multispectral sensor, a hyperspectral sensor, or the like can be used.
  • the sensor 35 captures an image of the detection light L11, L12, and L13 guided by the light guide optical system 30, and as image data including the light images of the detection light L11, L12, and L13, respectively.
  • the detection signal S is output.
  • the sensor 35 is set to take an image at a predetermined frame rate (for example, 100 fps) and repeatedly output the detection signal S corresponding to each frame.
  • the sensor 35 is configured so that the exposure time can be variably set within a range of, for example, a frame period (reciprocal of the frame rate) or less.
  • the sensor 35 is configured to be communicable with the modulation signal generation unit 16, and the imaging by the sensor 35 and the modulation of the excitation lights L1, L2, and L3 based on the modulation signals S1, S2, and S3 are synchronized with each other. It is set to do.
  • the image processing unit 70 is, for example, a computer, and is physically a memory such as RAM and ROM, a processor (arithmetic circuit) such as a CPU, a communication interface, a storage unit such as a hard disk, and a display unit such as a display. It is configured with.
  • Examples of the computer include a personal computer, a cloud server, or a smart device (for example, a smartphone or a tablet terminal).
  • the computer may function as an image processing unit 70, as a controller for controlling each configuration, or as a modulation unit 15 by executing a program stored in the memory of the computer on the CPU of the computer system. It may work.
  • the image processing unit 70 is electrically connected to the sensor 35 and processes the detection signal S output from the sensor 35.
  • the image processing unit 70 includes a signal demodulation unit 71 and an image generation unit 72.
  • the signal demodulation unit 71 demodulates the detection signal S based on the modulation conditions M1, M2, and M3, so that the demodulation signals S11, S12 are image data corresponding to the optical images of the detection lights L11, L12, and L13, respectively.
  • And S13 are output.
  • the image generation unit 72 generates an image showing an optical image of each of the detection lights L11, L12, and L13 based on the demodulation signals S11, S12, and S13.
  • the signal demodulation unit 71 demodulates the detection signal S output at a predetermined frame rate at the demodulation timings TM1, TM2, ... (See FIG. 2 to be described later).
  • the demodulation timings TM1, TM2, ... Are set to be an integral multiple of the modulation period of the other modulation signals S2 and S3. Therefore, the signal demodulation unit 71 demodulates the detection signal S based on the modulation signals S1, S2, and S3 for each demodulation timing TM1, TM2, ..., And generates demodulation signals S11, S12, and S13.
  • the demodulation in the signal demodulation unit 71 may be performed a plurality of times (for example, N times (N indicates a positive integer)).
  • the signal demodulation unit 71 generates the demodulation signals S11, S12, and S13 N times. Then, the image generation unit 72 performs averaging processing or addition processing on the generated N demodulated signals S11, N demodulated signals S12, and N demodulated signals S13, respectively. As a result, the image generation unit 72 generates an image corresponding to each of the detection light L11, L12, and L13.
  • the signal demodulation unit 71 When demodulating the demodulated signals S11, S12, and S13 from the detection signal S, the signal demodulation unit 71 performs demodulation processing based on the modulation conditions M1, M2, and M3 of the modulation signals S1, S2, and S3.
  • Each of the detection lights L11, L12, and L13 included in the detection signal S is light generated in response to irradiation of the respective excitation lights L1, L2, and L3. Therefore, the demodulated signals S11, S12, and S13 indicating the detected lights L11, L12, and L13 are also modulated by the modulation conditions M1, M2, and M3 of the modulation signals S1, S2, and S3.
  • the signal demodulation unit 71 performs demodulation processing of the detection signal S by the modulation conditions M1, M2, and M3 at the demodulation timings TM1, TM2, ..., To obtain the demodulation signals S11, S12, and S13 from the detection signal S. Demodulate.
  • the signal demodulation unit 71 corresponds to the ON period of the modulation signal S1 (that is, the period during which the irradiation of the excitation light L1 to the sample T is ON) in the detection signal S output from the sensor 35.
  • the detection signal S is multiplied by a coefficient (for example, “1”), and the detection signal S corresponding to the OFF period (that is, the period during which the irradiation of the excitation light L1 to the sample T is turned OFF) is multiplied by another coefficient (for example, “ ⁇ ”).
  • the demodulated signal S11 is obtained by multiplying 1 ”) and performing averaging processing or addition processing on these.
  • the signal demodulation unit 71 has a coefficient associated with the detection signal S corresponding to the ON period of the modulation signal S2 (that is, the period during which the irradiation of the excitation light L2 to the sample T is ON) among the detection signals S output from the sensor 35. (For example, "1") is multiplied, and the detection signal S corresponding to the OFF period (that is, the period during which the irradiation of the excitation light L2 to the sample T is turned OFF) is multiplied by another coefficient (for example, "-1"). , The demodulated signal S12 is obtained by performing averaging processing or addition processing on these.
  • the signal demodulation unit 71 has a coefficient associated with the detection signal S corresponding to the ON period of the modulation signal S3 (that is, the period during which the irradiation of the excitation light L3 to the sample T is ON) among the detection signals S output from the sensor 35. (For example, "1") is multiplied, and the detection signal S corresponding to the OFF period (that is, the period during which the irradiation of the excitation light L3 to the sample T is turned OFF) is multiplied by another coefficient (for example, "-1"). , The demodulated signal S13 is obtained by performing averaging processing or addition processing on these.
  • the coefficient to be multiplied by the detection signal S may correspond to the amplitudes of the modulation signals S1, S2, and S3.
  • the signal demodulation unit 71 generates demodulation signals S11, S12, and S13 for each demodulation timing TM1, TM2, ..., And outputs these demodulation signals S11, S12, and S13 to the image generation unit 72.
  • the image generation unit 72 generates an image corresponding to each of the detection lights L11, L12, and L13 based on the demodulation signals S11, S12, and S13 output from the signal demodulation unit 71.
  • the signal demodulation unit 71 When a plurality of demodulation timings TM1, TM2, ... Are set as in the present embodiment, the signal demodulation unit 71 generates demodulation signals S11, S12, and S13 for each demodulation timing TM1, TM2, ...
  • the demodulated signals S11, S12, and S13 are output to the image generation unit 72. Therefore, a plurality of demodulation signals S11 generated for each demodulation timing TM1, TM2, ... Are input to the image generation unit 72.
  • the image generation unit 72 generates an image of the detection light L11 by averaging or adding a plurality of demodulated signals S11. Similarly, a plurality of demodulation signals S12 generated for each demodulation timing TM1, TM2, ... Are input to the image generation unit 72. The image generation unit 72 generates an image of the detection light L12 by averaging or adding a plurality of demodulated signals S12. Similarly, a plurality of demodulation signals S13 generated for each demodulation timing TM1, TM2, ... Are input to the image generation unit 72. The image generation unit 72 generates an image of the detection light L13 by averaging or adding a plurality of demodulated signals S13.
  • the image generation unit 72 may update and display the respective images of the detection lights L11, L12, and L13 each time the images of the detection lights L11, L12, and L13 are generated. That is, the image generation unit 72 may update the images of the detection lights L11, L12, and L13 each time the demodulation timings TM1, TM2, ...
  • the image generation unit 72 may display the images of the detection lights L11, L12, and L13 side by side, or may display the images of the detection lights L11, L12, and L13 on top of each other. Further, the image generation unit 72 compares the images of the detected lights L11, L12, and L13 before and after the update, and controls the irradiation of the excitation lights L1, L2, and L3 based on the comparison result. The details of this process will be described later.
  • FIG. 2A shows a modulation signal S1 having a modulation condition M1.
  • FIG. 2B shows a modulation signal S2 having a modulation condition M2.
  • FIG. 2C shows a modulation signal S3 having a modulation condition M3.
  • the horizontal axis represents time and the vertical axis represents the output of the modulation signals S1, S2, and S3.
  • FIGS. 2 (a), 2 (b), and 2 (c) the range of the frame used to generate the images of the detected lights L11, L12, and L13 is the hatching of the dot pattern.
  • images of the detection lights L11, L12, and L13 are generated using all the frames of the demodulation signals S11, S12, and S13. That is, for the generation of the images of the detected lights L11, L12, and L13, the frame for the entire period from the start of the image generation to the end of the image generation is used.
  • Each plot in FIG. 2A corresponds to a frame included in the demodulated signal S11 (that is, image data showing an optical image of the detection light L11).
  • Each plot in FIG. 2B corresponds to a frame included in the demodulated signal S12 (that is, image data showing an optical image of the detection light L12).
  • 2C corresponds to a frame included in the demodulated signal S13 (that is, image data showing an optical image of the detection light L13).
  • the frames of the demodulated signals S11, S12, and S13 are included in the detection signal S output from the sensor 35 at a predetermined frame rate, and are used to generate images of the detection lights L11, L12, and L13.
  • the modulation signal S1 shown in FIG. 2A includes, for example, a period in which the irradiation of the excitation light L1 on the sample T is turned on and a period in which the irradiation of the excitation light L1 on the sample T is turned off.
  • the excitation light L1 is modulated so as to be alternately repeated at the modulation frequency of the modulation condition M1 as one cycle T1.
  • the modulation signal S2 shown in FIG. 2B includes, for example, a period in which the irradiation of the excitation light L2 on the sample T is turned on and a period in which the irradiation of the excitation light L2 on the sample T is turned off.
  • the excitation light L2 is modulated so as to be alternately repeated at the modulation frequency of the modulation condition M2 as one cycle T2.
  • the modulation condition M2 of the modulation signal S2 is set to a modulation frequency twice that of the modulation condition M1 of the modulation signal S1, so that one of the modulation signals S2 is included in one cycle T1 of the modulation signal S1. Two cycles T2 are included.
  • the modulation signal S3 shown in FIG. 2C includes, for example, a period in which the irradiation of the excitation light L3 on the sample T is turned on and a period in which the irradiation of the excitation light L3 on the sample T is turned off.
  • the excitation light L3 is modulated so as to be alternately repeated at the modulation frequency of the modulation condition M3 as one cycle T3.
  • the modulation condition M3 of the modulation signal S3 is set to a modulation frequency four times that of the modulation condition M1 of the modulation signal S1, so that one of the modulation signals S3 is included in one cycle T1 of the modulation signal S1. Four cycles T3 are included.
  • each excitation light L1, L2, and L3 is switched ON / OFF by each modulation signal S1, S2, and S3.
  • the light emission / non-emission of the detection lights L11, L12, and L13 is switched. That is, when the irradiation of the excitation lights L1, L2, and L3 is ON, the detection lights L11, L12, and L13 emit light, while when the irradiation of the excitation lights L1, L2, and L3 is OFF, the detection lights L11, L12, and L13 emit light.
  • the detection lights L11, L12, and L13 do not emit light, or the detection lights L11, L12, and L13 with an extremely small amount of light emit light.
  • the demodulated signals S11, S12, and S13 indicating the detected lights L11, L12, and L13 are signals that change according to the modulated signals S1, S2, and S3.
  • 2 (a), 2 (b), and 2 (c) show demodulation timings TM1, TM2, ..., Where the demodulation signals S11, S12, and S13 are demodulated.
  • the demodulation timings TM1, TM2, ... coincide with the timing at which one cycle T1 of the modulation signal S1 elapses.
  • the demodulation signals S11, S12, and S13 In the demodulation timings TM1, TM2, ..., the demodulation signals S11, S12, and S13 to be accurately demodulated from the detection signal S, the demodulation signals S11, S12, corresponding to the demodulation signals S11, S12, and S13, respectively, And S13 need to satisfy the orthogonality condition with each other. "Satisfying the orthogonality condition" means that the inner product between the modulation signals S1, S2, and S3 becomes zero at the demodulation timings TM1, TM2, .... This orthogonal condition will be described in more detail with reference to FIG.
  • FIG. 3 is a diagram for explaining the orthogonality condition satisfied by the modulation signals S1 and S2.
  • the output of the modulation signals S1 and S2 when the irradiation of the excitation lights L1 and L2 is turned on is set to +1 and the irradiation of the excitation lights L1 and L2 is performed.
  • the output of the modulation signals S1 and S2 when it is turned off is set to -1.
  • each of the modulation signals S1 and S2 is divided into time domains R1, R2, R3 and R4 at the timing when the output is switched.
  • the modulation signal S2 Since the modulation signal S2 has more output switching between the modulation signal S1 and the modulation signal S2, the modulation signal S2 is divided into time domains R1, R2, R3, and R4 at the timing when the output of the modulation signal S2 is switched.
  • the time domains R1 and R3 correspond to the period during which the irradiation of the excitation light L2 corresponding to the modulation signal S2 is turned on
  • the time domains R2 and R4 correspond to the period during which the irradiation of the excitation light L2 is turned off. It will be.
  • the product of the output of the modulation signal S1 and the output of the modulation signal S2 is calculated.
  • the output of the modulation signal S1 is +1 and the output of the modulation signal S2 is also +1. Therefore, the product of these is +1.
  • the output of the modulation signal S1 is +1 and the output of the modulation signal S2 is -1, so the product of these is -1.
  • the product of the modulated signals S1 and S2 is -1
  • the product of the modulated signals S1 and S2 is +1.
  • the demodulation timing TM1 that is, the timing at which one cycle T1 of the modulation signal S1 elapses
  • the modulation signals S1 and S2 satisfy the orthogonality condition with each other.
  • the modulation signals S1, S2, and S3 satisfy the orthogonality condition with each other at the demodulation timings TM1, TM2, ....
  • the demodulation timings TM1, TM2, ... coincide with the timing at which one cycle T1 of the modulation signal S1 having the lowest modulation frequency among the modulation signals S1, S2, and S3 elapses.
  • all of the modulation signals S1, S2, and S3 always satisfy the orthogonality condition with each other.
  • the rectangular wavy modulation signal for example, when the specified number of frames of the sensor 35 is 16, there are a maximum of 16 patterns of modulation signal combinations satisfying the orthogonality condition. That is, the detection light can be detected at the same time for a specified number of frames.
  • the demodulation signals S11, S12, and S13 are accurately demodulated, and the detection light L11, L12, and each are detected based on the demodulation signals S11, S12, and S13.
  • the image of L13 is generated.
  • the image generation unit 72 updates and displays the generated images.
  • the image generation unit 72 controls the irradiation of the excitation lights L1, L2, and L3 based on the comparison results of the images before and after the update.
  • the image generation unit 72 compares the image at the time of update with the image before the update for the images of the detection lights L11, L12, and L13 for each demodulation timing TM2, TM3 ....
  • the time of update means any demodulation timing TM2, TM3 ... In which the images of the detected lights L11, L12, and L13 are generated.
  • "Before update” means any demodulation timing TM1, TM2, ... Before the demodulation timing at the time of update.
  • the demodulation timing before the update may be the demodulation timing immediately before the demodulation timing at the time of update, the demodulation timing two before the demodulation timing at the time of update, or the comparison of the images before and after the update.
  • the demodulation timing TM2 It may be fixed to the demodulation timing TM2 performed first.
  • the demodulation timing TM1 since the image before the update to be compared does not exist, the images before and after the update are not compared. Therefore, in the demodulation timing TM2, the comparison of the images before and after the update is performed first.
  • the image generation unit 72 compares the image generated at the demodulation timing at the time of update with the image generated at the demodulation timing immediately before the demodulation timing at the time of update.
  • the term "image” simply means an image of the detection light L11, an image of the detection light L12, and an image of the detection light L13.
  • the image before the update to be compared is an image of the same type of detection light as the detection light in the image at the time of update.
  • the "image" is intended to be the image of the detection light L11
  • the image of the detection light L11 at the time of update and the image of the detection light L11 before the update are compared.
  • the image generation unit 72 calculates the difference value between the image at the time of update and the image before the update.
  • the “difference value” indicates the magnitude of the change between the image at the time of update and the image before the update. Therefore, when the "difference value" is large, it can be determined that the change in the image before and after the update is large, and when the "difference value" is small, it can be determined that the change in the image before and after the update is small.
  • the “difference value” may be any index as long as the magnitude of the change in the image before and after the update can be determined.
  • the image generation unit 72 calculates the root mean square error between the contrast of the image at the time of updating and the contrast of the image before updating as a “difference value”.
  • the “difference value” is not limited to the mean square error between the contrast of the image at the time of update and the contrast of the image before the update, but the mean absolute error between the contrast of the image at the time of update and the contrast of the image before the update. It may be (MAE: Mean Absolute Error), mean absolute error rate (MAPE: Mean Absolute Percentage Error), or mean squared error rate (RMSPE: Root Mean Squared Error).
  • the image generation unit 72 determines the average square error between the contrast of the image generated at the demodulation timing at the time of update and the contrast of the image generated at the demodulation timing immediately before the demodulation timing. , Calculated for each demodulation timing TM2, TM3, ... As a difference value. Then, the image generation unit 72 determines whether or not the calculated difference value is smaller than a predetermined threshold value for each demodulation timing TM2, TM3, .... When the image generation unit 72 determines that the difference value is smaller than the predetermined threshold value, the image generation unit 72 determines that the change in the image before and after the update is small.
  • the image generation unit 72 determines that the difference value is larger than the predetermined threshold value, the image generation unit 72 determines that the change in the image before and after the update is large. The determination of the image change by the image generation unit 72 will be described more specifically with reference to FIG.
  • FIG. 4 is a graph for explaining the determination of the image change by the image generation unit 72.
  • FIG. 4 shows a case where the image change of the detection light L12 is determined.
  • the graph G1 shown in FIG. 4 shows the change of the difference value calculated for each demodulation timing TM2, TM3, ....
  • the "difference value" here is the contrast between the image of the detection light L12 generated at a certain demodulation timing and the contrast of the image of the detection light L12 generated at the demodulation timing immediately before the certain demodulation timing.
  • the vertical axis represents the root mean square error
  • the horizontal axis represents time.
  • FIG. 4 shows the demodulation timings TM2, TM3, ... From which the difference value is calculated.
  • the image generation unit 72 includes an image of the detection light L12 generated by the demodulation timing TM2 and an image of the detection light L12 generated by the demodulation timing TM1 immediately before the demodulation timing TM2.
  • the difference value is calculated first. Then, the image generation unit 72 determines whether or not the calculated difference value is smaller than the predetermined threshold value Et.
  • the threshold value Et is a reference value for determining whether or not the change in the image before and after the update of the detection light L12 is sufficiently small. In the example shown in FIG. 4, the threshold value Et is set to 2.
  • the image generation unit 72 determines that the difference value is equal to or higher than the threshold value Et. In this case, it is considered that there is a lot of room for improving the accuracy of the image of the detection light L12 if the image of the detection light L12 is repeatedly updated. Therefore, when the image generation unit 72 determines that the difference value is equal to or higher than the threshold value Et, the image generation unit 72 does not control the irradiation of the excitation light L2, and similarly calculates the difference value in the next demodulation timing TM3, and described above. Repeat the determination of image change.
  • the calculated difference value gradually decreases as the demodulation timings TM2, TM3, ... Elapse. That is, the change in the image before and after the update of the detection light L12 is gradually reduced. Then, at the demodulation timing TM7, the difference value is smaller than the threshold value Et. Therefore, in the demodulation timing TM7, the image generation unit 72 uses the image of the detection light L12 generated at the demodulation timing TM7 (first demodulation timing) and the demodulation timing TM6 (second demodulation timing) immediately before the demodulation timing TM7. It is determined that the difference value of the detection light L12 generated in 1 from the image is smaller than the threshold Et.
  • the image generation unit 72 determines that the change in the image before and after the update of the detection light L12 is sufficiently small. If the change in the image before and after the update of the detection light L12 is sufficiently small, it is considered that there is little room for improving the accuracy of the image of the detection light L12 even if the image of the detection light L12 is repeatedly updated.
  • the image generation unit 72 sets the irradiation of the excitation light L2 corresponding to the detection light L12 to OFF after the demodulation timing TM7 that determines that the difference value is smaller than the threshold value Et, and ends the generation of the image of the detection light L12. do.
  • the image generation unit 72 sets the irradiation of the excitation light L2 after the demodulation timing TM7 to OFF by, for example, adjusting the modulation signal S2 for switching ON / OFF of the excitation light L2. That is, as shown in FIG. 2B, the image generation unit 72 adjusts the modulation signal S2 so that the irradiation of the excitation light L2 is all set to OFF in the period after the demodulation timing TM7. As a result, after the demodulation timing TM7, all the irradiation of the excitation light L2 is turned off.
  • the determination of the image change by the image generation unit 72 has been described above by focusing on the image of the detection light L12, but the same applies to the images of the other detection lights L11 and L13.
  • the image generation unit 72 sets the demodulation timing TM2 (first demodulation timing) in the demodulation timing TM2 in which the determination of the difference value between the images before and after the update is first performed. It is determined that the difference value between the generated image of the detection light L13 and the image of the detection light L13 generated at the demodulation timing TM1 (second demodulation timing) immediately before the demodulation timing TM2 is smaller than the threshold Et.
  • the image generation unit 72 sets the irradiation of the excitation light L3 corresponding to the detection light L13 to OFF after the demodulation timing TM2. Therefore, as shown in FIG. 2C, the modulation signal S3 corresponding to the excitation light L3 is set so that the irradiation of the excitation light L3 is completely turned off in the period after the demodulation timing TM2.
  • the demodulation timing TM2 in which the excitation light L3 is set to OFF is before the demodulation timing TM7 in which the excitation light L2 is set to OFF.
  • the amount of light of the detection light L13 is larger than the amount of light of the detection light L12. That is, since the image of the detection light L13 having a large amount of light has a high S / N ratio, the change in the image becomes small at a relatively early timing. Therefore, the image generation unit 72 is set so that the irradiation of the excitation light L3 is turned off after the demodulation timing TM2, and the generation of the image of the detection light L13 is completed.
  • the amount of light of the detection light L11 is smaller than the amount of light of the detection light L12, the timing at which the change in the image becomes small is relatively delayed. Therefore, as shown in FIG. 2A, the image of the detection light L11 is later than the demodulation timing TM7 in which the excitation light L2 is set to OFF.
  • the irradiation of the excitation light L1 may be set to OFF at the demodulation timing after the demodulation timing TM7, or the irradiation of the excitation light L1 may be set to OFF until the specified number of frames is reached. It may not be done.
  • the demodulation timing TM2 at which the generation of the image of the detection light L13 is completed arrives earliest.
  • the demodulation timing TM7 at which the generation of the image of the detection light L12 is completed arrives.
  • the image generation unit 72 generates images of the detection lights L11 and L12 during the period from the demodulation timing TM2 at which the generation of the image of the detection light L13 ends to the demodulation timing TM7 at which the generation of the image of the detection light L12 ends. continue. Then, the image generation unit 72 continues only the generation of the image of the detection light L11 in the period after the demodulation timing TM7 at which the generation of the image of the detection light L12 ends.
  • the image generation unit 72 When the image generation unit 72 generates an image of the detection light L11 in the period after the demodulation timing TM2, the image data included in the detection signal S detected in the period after the demodulation timing TM2 (that is, the demodulation timing TM2 or later). An image of the detection light L11 is generated using the frame obtained during the period).
  • the image generation unit 72 When the image generation unit 72 generates an image of the detection light L12 in the period after the demodulation timing TM2, the image data included in the detection signal S detected in the period from the demodulation timing TM2 to the demodulation timing TM7 (that is, the demodulation timing). An image of the detection light L12 is generated using the frame obtained during the period from TM2 to the demodulation timing TM7.
  • FIG. 5 is a flowchart showing an observation method according to the present embodiment.
  • FIG. 6 is a flowchart showing the details of the image processing step shown in FIG.
  • the irradiation unit 10 simultaneously applies the excitation lights L1, L2, and L3 having different wavelengths ⁇ 1, ⁇ 2, and ⁇ 3 and modulated by different modulation conditions M1, M2, and M3 to the sample T at the same time. Irradiate (irradiation step P1).
  • the modulation signal generation unit 16 generates the modulation signals S1, S2, and S3 that modulate the excitation lights L1, L2, and L3, and uses the modulation signals S1, S2, and S3 as the light sources 11, 12 respectively. , And output to 13.
  • the excitation light L1 modulated under the modulation condition M1 is output from the light source 11
  • the excitation light L2 modulated under the modulation condition M2 is output from the light source 12
  • the excitation light L3 modulated under the modulation condition M3 is output from the light source 13. Is output from.
  • These excitation lights L1, L2, and L3 are simultaneously irradiated to the sample T by the light guide optical system 20.
  • the detection unit 40 simultaneously detects the detection lights L11, L12, and L13 generated from the sample T due to the irradiation of the excitation lights L1, L2, and L3 (detection step P2). Specifically, the detection lights L11, L12, and L13 generated from the sample T are guided to the sensor 35 by the light guide optical system 30. Then, the sensor 35 outputs a detection signal S indicating an optical image of the detection lights L11, L12, and L13.
  • the image processing unit 70 generates images of the detection lights L11, L12, and L13 based on the detection signal S (image processing step P3). Specifically, the signal demodulation unit 71 demodulates the demodulation signals S11, S12, and S13 from the detection signal S at each demodulation timing TM1, TM2, ..., Based on the modulation signals S1, S2, and S3. Then, the image generation unit 72 generates images of the detection lights L11, L12, and L13 based on the demodulation signals S11, S12, and S13. When a plurality of demodulation timings TM1, TM2, ...
  • the image of the detection light L11 is generated by averaging or adding a plurality of demodulation signals S11 generated for each demodulation timing TM1, TM2, ... It may be generated at each demodulation timing TM1, TM2, ....
  • the image of the detection light L12 may be generated by averaging or adding a plurality of demodulation signals S12 generated for each demodulation timing TM1, TM2, ..., And demodulation timings TM1, TM2, ... It may be generated every time.
  • the image of the detection light L13 may be generated by averaging or adding a plurality of demodulation signals S13 generated for each demodulation timing TM1, TM2, ..., And demodulation timings TM1, TM2, ... It may be generated every time.
  • the image generation unit 72 When the images of the detection lights L11, L12, and L13 are generated for each demodulation timing TM1, TM2, ..., First, as shown in FIG. 6, the image generation unit 72 first receives the detection lights L11, L12 at the demodulation timing TM2. , And the image of L13 is updated (step P31). Next, the image generation unit 72 calculates the difference value between the images before and after the update for the images of the detected lights L11, L12, and L13 in the demodulation timing TM2 (step P32). Specifically, the image generation unit 72 sets the mean square error between the contrast of the image generated at the demodulation timing TM2 and the contrast of the image generated at the demodulation timing TM1 immediately before the demodulation timing TM2 as a difference value. Calculated as.
  • the image generation unit 72 determines in the demodulation timing TM2 whether or not the calculated difference value is smaller than the predetermined threshold value Et (step P33).
  • the image generation unit 72 determines that the difference value is smaller than the threshold value Et (Yes in step P33)
  • the image generation unit 72 sets the irradiation of the excitation light corresponding to the detected light in the determined image to OFF after the demodulation timing TM2.
  • the generation of the image of the detected light is finished (step P34).
  • the image generation unit 72 determines that the difference value is equal to or greater than the threshold value Et (No in step P33)
  • the image generation unit 72 does not control the irradiation of the excitation light.
  • the image generation unit 72 determines in the demodulation timing TM2 that the difference value for the image of the detection light L13 is smaller than the threshold value Et, and ends the generation of the image of the detection light L13.
  • the image generation unit 72 determines that the difference value is equal to or higher than the threshold value Et for the images of the other detection lights L11 and L12, and continues to generate the images of the detection lights L11 and L12.
  • the image generation unit 72 determines whether or not all the frames have been processed (step P35). When it is determined that all the frames have been processed (Yes in step P35), the image generation unit 72 ends the generation of all the images.
  • steps P31 to P35 are repeated at the next demodulation timing TM3.
  • final images of the detected lights L11, L12, and L13 are obtained.
  • FIG. 7 is a diagram for explaining simulation conditions of Examples and Comparative Examples.
  • the detection lights L11, L12, and L13 generated from the sample T due to the irradiation of the excitation lights L1, L2, and L3 are arranged side by side in order. Similar to the present embodiment, the light amount of the detection light L13 is the largest, the light amount of the detection light L12 is smaller than the light amount of the detection light L13, and the light amount of the detection light L11 is the smallest.
  • the light intensity of the detection light L13 is set to 200 [photons / frame]
  • the light intensity of the detection light L12 is set to 10 [photons / frame]
  • the light intensity of the detection light L11 is set to 2 [photons / frame]. ..
  • FIG. 8 is a diagram showing simulation conditions of a comparative example.
  • FIG. 8A shows a modulation signal S101 corresponding to the modulation signal S1.
  • FIG. 8B shows the modulation signal S102 corresponding to the modulation signal S2.
  • FIG. 8C shows the modulation signal S103 corresponding to the modulation signal S3.
  • the image change is not determined by the image generation unit 72 described above. Therefore, unlike the modulation signals S1, S2, and S3, the modulation signals S101, S102, and S103 are provided with a period during which the irradiation of the excitation light is all set to OFF after a certain demodulation timing. No.
  • FIG. 9 is a diagram showing the simulation results of the comparative example.
  • FIG. 9A shows an image of the detection light L11 corresponding to the modulation signal S101.
  • FIG. 9B shows an image of the detection light L12 corresponding to the modulation signal S102.
  • FIG. 9C shows an image of the detection light L13 corresponding to the modulation signal S103.
  • a large shot noise component N113 appears in the images of the detection lights L11 and L12, respectively. This is because the shot noise component N113 of the detection light L13 is superimposed on the demodulation signal used for generating the images of the detection lights L11 and L12, respectively, when the images of the detection lights L11 and L12 are generated.
  • the shot noise component N113 of the detection light L13 having a large amount of light determines the detection light L11 and the detection light L11 with a small amount of light. It tends to appear in the image of the light L12, respectively (see (a) in FIG. 9 and (b) in FIG. 9). Further, when there is a difference between the amount of light of the detection light L12 and the amount of light of the detection light L11 as in this simulation, the shot noise component N112 of the detection light L12 having a large amount of light is an image of the detection light L11 having a small amount of light. (See (a) in FIG. 9).
  • FIG. 10 is a diagram showing the simulation results of the examples.
  • the same modulation signals S1, S2, and S3 as in the present embodiment are used, and the image change is determined by the image generation unit 72 described above. Therefore, as in the modulation signal S2 shown in FIG. 2B, the irradiation of the excitation light L2 is set to be OFF after the demodulation timing TM7. Further, as in the modulation signal S3 shown in FIG. 2C, the irradiation of the excitation light L3 is set to be OFF after the demodulation timing TM2. Other conditions are the same as in the comparative example.
  • FIG. 10A shows an image of the detection light L11 corresponding to the modulation signal S1.
  • FIG. 10B shows an image of the detection light L12 corresponding to the modulation signal S2.
  • FIG. 10C shows an image of the detection light L13 corresponding to the modulation signal S3.
  • the shot noise component N13 of the detection light L13 appearing in the images of the detection lights L11 and L12, respectively, is the simulation result of the comparative example (that is, (that is,) of FIG. It can be seen that the shot noise component N113) shown in a) and FIG. 9 (b) is significantly reduced.
  • the shot noise component N12 of the detection light L12 appearing in the image of the detection light L11 is the simulation result of the comparative example (that is, the shot noise component shown in FIG. 9A). It can be seen that the reduction is significantly higher than that of N112).
  • the shot noise component N13 of the detection light L13 increases according to the amount of light of the detection light L13.
  • the detection light L13 emits light during the period when the excitation light L3 corresponding to the detection light L13 is turned on, while the detection light L13 does not emit light during the period when the excitation light L3 is turned off, or the amount of light is extremely small.
  • the detection light L13 of is emitted. Therefore, during the period when the excitation light L3 is turned on, the amount of light of the detection light L13 becomes relatively large, and the shot noise component N13 of the detection light L13 also increases accordingly.
  • the observation device 1 and the observation method according to the present embodiment when the image of the detection light L13 is generated in the demodulation timing TM2, the image of the detection light L13 generated in the demodulation timing TM2 and the demodulation
  • the irradiation of the excitation light L3 corresponding to the detection light L13 is turned off after the demodulation timing TM2. Is set to.
  • the shot noise component N13 of the detection light L13 detected after the demodulation timing TM2 can be reduced.
  • the shot noise component N13 of the detection light L13 appears in the images of the other detection lights L11 and L12 generated after the demodulation timing TM2. The situation can be suppressed.
  • the image of the detection light L12 when the image of the detection light L12 is generated at the demodulation timing TM7, the image of the detection light L12 generated at the demodulation timing TM7 and the detection light L12 generated at the demodulation timing TM6.
  • the irradiation of the excitation light L2 corresponding to the detection light L12 is set to OFF after the demodulation timing TM7.
  • the shot noise component N12 of the detection light L12 detected after the demodulation timing TM7 can be reduced.
  • FIG. 10A it is possible to suppress the situation where the shot noise component N12 of the detection light L12 appears in the image of the detection light L11 generated after the demodulation timing TM7.
  • the difference value between the image of the detection light L13 generated in the demodulation timing TM2 and the image of the detection light L13 generated in the demodulation timing TM1 is smaller than the predetermined threshold value Et, these It can be judged that the change in the image is small. Therefore, even if the irradiation of the excitation light L3 corresponding to the detection light L13 is set to OFF after the demodulation timing TM2, the influence on the image accuracy of the generated detection light L13 is small. Similarly, for the image of the detection light L12, the difference value between the image of the detection light L12 generated in the demodulation timing TM7 and the image of the detection light L12 generated in the demodulation timing TM6 is larger than the predetermined threshold Et.
  • each detection light L11 is suppressed from the situation where the shot noise component N13 of the detection light L13 appears in the images of the other detection lights L11, L12, and L13.
  • L12, and L13 images can be accurately demodulated. That is, an accurate image of each detection light L11, L12, and L13 can be obtained.
  • the irradiation unit 10 has a modulation signal generation unit 16 that generates modulation signals S1, S2, and S3.
  • the desired modulation signals S1, S2, and S3 can be easily obtained.
  • the modulation signals S1, S2, and S3 have a rectangular wave shape that modulates the excitation lights L1, L2, and L3 so as to switch ON / OFF of the irradiation of the excitation lights L1, L2, and L3. It is a modulation pattern.
  • the modulation signals S1, S2, and S3 that satisfy the orthogonality conditions with each other at the demodulation timings TM1, TM2, ... Can be suitably set.
  • the detection lights L11 and L12 have a light amount smaller than that of the detection light L13.
  • the shot noise component tends to appear in the image of the detected light having a large amount of light to the detected light having a small amount of light.
  • the shot noise component N13 of the detection light L13 having a large amount of light can suppress the situation of appearing in the images of the detection lights L11 and L12 having a small amount of light, so that the above-mentioned effect is suitably exhibited.
  • the detection light L13 has the largest amount of light among the plurality of detection lights L11, L12, and L13.
  • the shot noise component tends to appear in the image of the detected light having a large amount of light to the detected light having a small amount of light, and becomes larger as the difference in the amount of light of the detected light becomes larger.
  • the shot noise component N13 of the detection light L13 having the largest amount of light can suppress the situation of appearing in the images of the detection lights L11 and L12 having a small amount of light, so that the above-mentioned effect is more preferably exhibited.
  • the image processing unit 70 sets the irradiation of the excitation light L3 corresponding to the detection light L13 to OFF in the demodulation timing TM2 or later, and the image included in the detection signal S detected after the demodulation timing TM2. Images of the detection lights L11 and L12 are generated using the data. As described above, in the demodulation timing TM2 and later, the irradiation of the excitation light L3 corresponding to the detection light L13 is set to OFF, so that the image data included in the detection signal S detected after the demodulation timing TM2 includes the image data. , The detection light L13 is not included, or the detection light L13 with an extremely small amount of light is included. Therefore, if the detection lights L11 and L12 are generated using this image data, it is possible to effectively suppress the situation where the shot noise component N13 of the detection light L13 appears in the images of the detection lights L11 and L12, respectively.
  • the image processing unit 70 sets the irradiation of the excitation light L2 corresponding to the detection light L12 to OFF in the demodulation timing TM7 or later, and the image included in the detection signal S detected after the demodulation timing TM7.
  • the image of the detection light L11 is generated using the data.
  • the irradiation of the excitation light L2 corresponding to the detection light L12 is set to OFF, so that the image data included in the detection signal S detected after the demodulation timing TM7 includes the image data.
  • the detection light L12 is not included, or the detection light L12 with an extremely small amount of light is included. Therefore, if an image of the detection light L11 is generated using this image data, it is possible to effectively suppress the situation where the shot noise component N12 of the detection light L12 appears in the image of the detection light L11.
  • the demodulation timing TM1 in which the image of the detection light L13 to be compared is generated is the demodulation timing TM2 in which the image of the detection light L13 at the time of update is generated. It is the demodulation timing immediately before. This makes it easy to determine whether or not the change in the image between the image of the detection light L13 generated by the demodulation timing TM2 and the image of the detection light L13 generated by the demodulation timing TM1 is small. can.
  • the demodulation timing TM6 at which the image of the detection light L12 to be compared is generated is immediately before the demodulation timing TM7 at which the image of the detection light L12 at the time of update is generated. Demodulation timing. This makes it easy to determine whether or not the change in the image between the image of the detection light L12 generated by the demodulation timing TM7 and the image of the detection light L12 generated by the demodulation timing TM6 is small. can.
  • FIG. 11 is a diagram showing a modified example of the image generation process by the image generation unit 72.
  • 11 (a), 11 (b), and 11 (c) show the modulated signals S1, S2, and S3, respectively.
  • 11 (a), 11 (b), and 11 (c) are used to generate images of the detection lights L11, L12, and L13 corresponding to the modulation signals S1, S2, and S3.
  • the range of frames used is also indicated by polka dot hatching.
  • the images of the detection lights L11, L12, and L13 are generated, all the frames of the demodulation signals S11, S12, and S13 corresponding to the detection lights L11, L12, and L13 are used.
  • this modification when the images of the detected lights L11, L12, and L13 are generated, only a part of the frames of the demodulated signals S11, S12, and S13 are used.
  • the detection light L13 is generated after the image of the detection light L13 is generated, as in the above embodiment. All frames in the period T3A until the demodulation timing TM2 at which the image generation ends are used. In the period T3B after the demodulation timing TM2, the generation of the image of the detection light L13 is completed.
  • the image of the detection light L12 is generated from the demodulation timing TM2 at which the generation of the image of the detection light L13 ends. All frames are used for the period T2B until the demodulation timing TM7 at which the generation of is completed. On the other hand, only a part of the frames is used for the period T2A from the generation of the image of the detection light L12 to the demodulation timing TM2 at which the generation of the image of the detection light L13 ends.
  • the partial frame is a frame obtained in the time domain R11 shown in FIG. 11B, and is used for generating an image of the detection light L12. In the period T2C after the demodulation timing TM7, the generation of the image of the detection light L12 is completed.
  • the period T1B after the demodulation timing TM2 at which the generation of the image of the detection light L13 ends is all.
  • Frame is used.
  • only a part of the frames is used for the period T1A from the generation of the image of the detection light L11 to the demodulation timing TM2 at which the generation of the image of the detection light L13 ends.
  • the partial frame is a frame obtained in the time domain R11 shown in FIG. 11A, and is used for generating an image of the detection light L11.
  • the time domain R11 shown in FIG. 11A coincides with the time domain R11 shown in FIG. 11B.
  • FIG. 12 is an enlarged view of a part of FIG. 11.
  • the modulation signal S1 shown in FIG. 12A and the modulation signal S3 shown in FIG. 12B are shown, and the modulation signal S2 is omitted.
  • the time domain R11 corresponds to the period TA in the modulation signal S3.
  • the period TA is a period in which the irradiation of the excitation light L3 corresponding to the modulation signal S3 is set to OFF.
  • the image of the detection light L11 when the image of the detection light L11 is generated, only the frame in the time domain R11 in which the irradiation of the excitation light L3 is set to OFF is used in the period T1A, and the irradiation of the excitation light L3 is not set to OFF. Frames in the time domain (time domain other than the time domain R11 in the period T1A) are not used.
  • the image of the detection light L11 using no frame in the time domain other than the time domain R11 in the period T1A can be generated by, for example, the following method.
  • the signal demodulation unit 71 demodulates the detection signal S, for example, among the detection signals S output from the sensor 35, the detection signal S corresponding to a time region other than the time region R11 in the period T1A in the modulation signal S1 is used. , Always multiply by the same coefficient (eg, "0"). Thereby, regardless of whether the modulation signal S1 is ON or OFF in the time domain, the demodulation signal S11 can be generated without considering the frame in the time domain. Therefore, if the image of the detection light L11 is generated based on the demodulation signal S11, the image of the detection light L11 can be generated without using the frame in the time domain other than the time domain R11 in the period T1A.
  • the time domain R11 shown in FIG. 12A is similarly set when the detection light L12 corresponding to the modulation signal S2 shown in FIG. 11B is generated. Therefore, when the image of the detection light L12 is generated, only the frame in the time domain R11 in which the irradiation of the excitation light L3 is turned off is used, and the time domain in which the irradiation of the excitation light L3 is not turned off (time in the period T2A). Frames in the time domain other than the domain R11) are not used. Since the irradiation of the excitation light L3 is turned off in the time domain R11, the frame obtained in the time domain R11 does not include the detection light L13 or contains the detection light L13 having an extremely small amount of light. ..
  • the image of the detection light L12 that does not use the frame in the time domain other than the time domain R11 in the period T2A is generated by the above-mentioned method (that is, the frame in the time domain other than the time domain R11 in the period T1A is used. It can be performed in the same manner as the method for generating an image of the detection light L11 without the need for the detection light L11.
  • FIG. 13 is a diagram showing the simulation results of this modified example. Also in this simulation, the same conditions as in the simulation shown in FIG. 7 are set.
  • FIG. 13A shows an image of the detection light L11 corresponding to the modulation signal S1.
  • FIG. 13B shows an image of the detection light L12 corresponding to the modulation signal S2.
  • FIG. 13C shows an image of the detection light L13 corresponding to the modulation signal S3.
  • the shot noise component N13 of the detection light L13 is further reduced as compared with the simulation results shown in FIGS. 10A and 10B. You can see that it has been done.
  • the shot noise component N13 of the detection light L13 can be greatly reduced.
  • FIG. 14 is a diagram showing a further modified example of the modified example shown in FIG.
  • the generation of the image of the detection light L13 is completed when the images of the detection lights L11 and L12 are generated, as in the modification shown in FIG.
  • the frame obtained in a part of the time domain R1 is used.
  • the frame obtained in a part of the time region R12 is used.
  • the period T1D after the demodulation timing TM7 at which the generation of the image of the detection light L12 ends all the frames are used as in the modification shown in FIG.
  • FIG. 15 is an enlarged view of a part of FIG. 14.
  • the same time as the modification shown in FIG. 11 Areas R11 are set respectively.
  • the period T1C from the demodulation timing TM2 at which the generation of the image of the detection light L13 ends to the demodulation timing TM7 at which the generation of the image of the detection light L12 ends.
  • the time domain R12 is set in.
  • the time domain R12 indicates the period of the period T1C in which the frame for generating the image of the detection light L11 is used.
  • the time domain R12 corresponds to the period TB shown in FIG. 15 (b).
  • the period TB is a period in which the irradiation of the excitation light L2 corresponding to the modulation signal S2 is set to OFF.
  • the frame in the time domain R12 in which the irradiation of the excitation light L2 is turned off is used in the period T1C, and the irradiation of the excitation light L2 is turned off. Frames in the non-existing time domain (time domain other than the time domain R12 in the period T1C) are not used. Since the modulation frequency of the modulation signal S2 is lower than the modulation frequency of the modulation signal S3, the period TB in which the excitation light L2 corresponding to the modulation signal S2 is turned off is the period in which the excitation light L3 corresponding to the modulation signal S3 is turned off. It will be longer than TA.
  • the time domain R12 corresponding to the period TB is longer than the time domain R11 corresponding to the period TA.
  • the generation of the image of the detection light L11 using no frame in the time domain other than the time domain R12 in the period T1C is the above-mentioned method in the modification shown in FIG. 11 (that is, other than the time domain R11 in the period T1A). It can be performed in the same manner as the method for generating an image of the detection light L11 without using a frame in the time domain).
  • the excitation light L3 is irradiated after the demodulation timing TM2 at which the generation of the image of the detection light L13 ends. Since the frame obtained in the time region R11 where is turned off is used, it is possible to effectively suppress the situation where the shot noise component N13 of the detection light L13 appears in the images of the detection lights L11 and L12. Further, according to this modification, when the image of the detection light L11 is generated, the demodulation timing TM2 at which the generation of the image of the detection light L13 ends to the demodulation timing TM7 at which the generation of the image of the detection light L12 ends.
  • FIG. 16 is a diagram showing a simulation result of this modified example. Also in this simulation, the same conditions as in the simulation shown in FIG. 7 are set.
  • FIG. 16A shows an image of the detection light L11 corresponding to the modulation signal S1.
  • FIG. 16B shows an image of the detection light L12 corresponding to the modulation signal S2.
  • FIG. 16C shows an image of the detection light L13 corresponding to the modulation signal S3.
  • the shot noise component N13 of the detection light L13 is further reduced as compared with the simulation results shown in FIGS. 10A and 10B. You can see that it has been done. Further, as shown in FIG.
  • the shot noise component N12 of the detection light L12 is further reduced as compared with the simulation result shown in FIG. 13A.
  • the shot noise component N13 of the detection light L13 can be significantly reduced, and the shot noise component N12 of the detection light L12 can also be significantly reduced.
  • FIG. 17 is a schematic configuration diagram showing a modified example of the observation device 1.
  • the configuration of the modulation unit 15A of the irradiation unit 10A is different from that of the observation device 1 according to the above embodiment. That is, the modulation unit 15A has a modulation signal storage unit 16A (storage unit) in place of the modulation signal generation unit 16 and the modulation condition setting unit 17.
  • the modulation signal storage unit 16A stores the modulation signals S1, S2, and S3 having the modulation conditions M1, M2, and M3 in advance, and stores the modulation signals S1, S2, and S3 in the light sources 11, 12, respectively. And 13 are configured to be outputable. Even with the observation device 1A shown in FIG.
  • the same effect as that of the observation device 1 according to the above-described embodiment can be obtained. Further, according to the observation device 1A, it is not necessary to perform the processing for generating the modulation signals S1, S2, and S3, so that the processing load is reduced as compared with the case where the modulation signals S1, S2, and S3 are generated. can.
  • FIG. 18 is a schematic configuration diagram showing another modification of the observation device 1.
  • the observation device 1B shown in FIG. 18 is different from the observation device 1 according to the above embodiment in that the irradiation unit 10B has different light sources 18 and 19 in addition to the light sources 11, 12, and 13.
  • the light source 18 is a light source for dark field illumination, and is configured to be capable of outputting dark field illumination L8 having a wavelength ⁇ 8.
  • the light source 19 is a light source for bright-field illumination, and is configured to be capable of outputting bright-field illumination L9 having a wavelength ⁇ 9.
  • the light source 19 is arranged at a position facing the objective lens 31 with the sample T interposed therebetween, and outputs the bright field illumination L9 from the back surface of the sample T.
  • the light source 18 is arranged on the objective lens 31 side with respect to the sample T, and outputs the dark field illumination L8 from a direction inclined with respect to the optical axis of the objective lens 31.
  • Each of the dark field illumination L8 and the bright field illumination L9 may be light having a specific wavelength band or light having a broad wavelength band.
  • the light sources 18 and 19 are electrically connected to the modulation unit 15 like the light sources 11, 12, and 13.
  • the modulation signal generation unit 16 of the modulation unit 15 generates a modulation signal S8 having a modulation condition M8 and a modulation signal S9 having a modulation condition M9 in addition to the modulation signals S1, S2, and S3.
  • the modulation signal S8 is a modulation pattern for temporally modulating the dark field illumination L8 output from the light source 18. For example, it is a rectangular wavy pulse signal that modulates the dark field illumination L8 under the modulation condition M8 so as to alternately switch the irradiation of the dark field illumination L8 ON / OFF.
  • the modulation signal S9 is a modulation pattern for temporally modulating the bright field illumination L9 output from the light source 19. For example, it is a rectangular wavy pulse signal that modulates the bright field illumination L9 under the modulation condition M9 so as to alternately switch the irradiation of the bright field illumination L9 ON / OFF.
  • the dark field illumination L8 and the bright field illumination L9 output from the light sources 18 and 19, respectively, are guided by the light guide optical system 20, and are simultaneously irradiated to the sample T together with the excitation lights L1, L2, and L3.
  • the bright field illumination L9 irradiates the sample T the transmitted light of the bright field illumination L9 transmitted through the sample T is detected by the detection unit 40 as the detection light L19.
  • the dark-field illumination L8 irradiates the sample T the scattered light of the dark-field illumination L8 generated in the sample T is detected by the detection unit 40 as the detection light L18.
  • the sensor 35 of the detection unit 40 simultaneously detects the detection lights L11, L12, L13, L18, and L19, and outputs the detection signal SB.
  • the image processing unit 70 simultaneously demodulates the detection signal SB based on the modulation conditions M1, M2, M3, M8, and M9 to simultaneously demodulate the images of the detection lights L11, L12, L13, L18, and L19. Generate. Even in such a form, the same effect as that of the above-described embodiment can be obtained.
  • FIG. 19 is a diagram showing a modified example of each modulation signal S1, S2, and S3.
  • FIG. 19A shows a modulation signal S1A corresponding to the modulation signal S1.
  • FIG. 19B shows the modulation signal S2A corresponding to the modulation signal S2.
  • FIG. 19B shows the modulation signal S3A corresponding to the modulation signal S3.
  • the modulation signals S1A, S2A, and S3A shown in FIGS. 19A, 19B, and 19C have ON / OFF of irradiation of the excitation lights L1, L2, and L3. It is a sinusoidal modulation pattern that modulates each excitation light L1, L2, and L3 so that they can be switched alternately.
  • the modulation signals S1A, S2A, and S3A that satisfy the orthogonality conditions with each other at the demodulation timings TM1, TM2, ... can be suitably set. Even in such a form, the same effect as that of the above embodiment can be obtained.
  • the modulation condition M1 of the excitation light L1 corresponding to the detection light L11 having a smaller amount of light than the detection light L13 may be set to the fastest modulation frequency, or the modulation condition M2 of the excitation light L2 corresponding to the detection light L12 may be set to the fastest. It may be set to the modulation frequency.
  • the sample T is irradiated with the three excitation lights L1, L2, and L3 to detect the three detection lights L11, L12, and L13 has been described.
  • the number of excitation lights and the number of detection lights can be changed as appropriate.
  • the number of excitation lights and the number of detection lights may be two or four or more, respectively.
  • the setting of the modulation condition of the modulation signal for modulating the excitation light is not limited to the above-described embodiment and each modification, and can be appropriately changed.
  • each modulation signal S1, S2, and S3 is a periodic modulation pattern
  • each modulation signal may be an aperiodic modulation pattern.
  • an image of each detection light corresponding to each modulation signal is generated at the demodulation timing in which each modulation signal satisfies the orthogonality condition.
  • the modulation signals S1 and S2 are in the periods T1A and T2A until the demodulation timing TM2 at which the generation of the image of the detection light L13 ends.
  • And S3 are not always orthogonal to each other.
  • the images of the detection lights L11 and L12 are generated by using only the frames of the period T1B and T2B after the demodulation timing TM2 without using the frames before the demodulation timing TM2. It may be generated.
  • the demodulation timing TM2 at which the generation of the image of the detection light L13 ends is the demodulation timing at which the generation of the image of the detection light L12 ends.
  • the modulation signals S1 and S2 are not always orthogonal to each other. Therefore, when generating the image of the detection light L11, the image of the detection light L11 may be generated by using only the frame of the period T1D after the demodulation timing TM7 without using the frame before the demodulation timing TM7.
  • the light sources 11, 12, and 13 are directly installed in the light guide optical system 20 .
  • the light sources 11, 12, and 13 may be arranged outside the device and optically connected to the light guide optical system 20 via an optical fiber or the like.
  • the irradiation unit 10 may have one light source capable of outputting multi-wavelength excitation light instead of the light sources 11, 12, and 13.
  • the one light source simultaneously outputs excitation lights L1, L2, and L3 having different wavelengths from each other.
  • the modulation unit 15 modulates the excitation lights L1, L2, and L3 by controlling the light sources 11, 12, and 13 using the modulation signals S1, S2, and S3 has been described. ..
  • the method of modulating the excitation light by the modulation unit is not limited to the above-mentioned example.
  • the modulation unit may be an optical chopper that mechanically modulates the excitation light.
  • each optical chopper may be installed corresponding to each light source, and each excitation light may be temporally modulated by repeated passage or blocking of each excitation light by each optical chopper.
  • the modulation pattern of the excitation light by the optical chopper is set to correspond to the above-mentioned modulation signal.
  • the optical chopper modulates the excitation light so that the irradiation of the excitation light can be switched ON / OFF according to the modulation pattern.
  • the modulation unit may be an optical modulation device such as a DMD (Digital Micromirror Device) or a spatial light modulator (SLM).
  • each optical modulation device is installed corresponding to each light source, and each modulation pattern is displayed on each optical modulation device.
  • each excitation light from each light source is time-modulated.
  • Each modulation pattern is set to correspond to the above-mentioned modulation signal.
  • the optical modulation device modulates the excitation light so that the irradiation of the excitation light can be switched ON / OFF according to the modulation pattern.
  • 1,1A, 1B ... Observation device 10,10A, 10B ... Irradiation unit, 16 ... Modulation signal generation unit (generation unit), 16A ... Modulation signal storage unit (storage unit), 40 ... Detection unit, 70 ... Image processing unit , Et ... threshold, L1, L2, L3 ... excitation light, L11, L12 ... detection light (second detection light), L13 ... detection light (first detection light), L18, L19 ... detection light, S, SB ... Detection signal, S1, S1A, S2, S2A, S3, S3A, S8, S9 ... Modulation signal (modulation pattern), T ... Sample (observation object), TA, TB ... Period, TM1, TM6 ... Demodulation timing (No. 1) 2 demodulation timing), TM2, TM7 ... demodulation timing (first demodulation timing), TM3, TM4, TM5, TM8 ... demodulation timing.

Landscapes

  • Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

観察装置は、複数の変調パターンでそれぞれ変調された複数の励起光を観察対象物に同時に照射する照射部と、観察対象物からの複数の検出光を検出信号として検出する検出部と、複数の復調タイミングで検出信号を復調することにより、各復調タイミングにおいて複数の検出光の画像を検出光毎に生成する画像処理部と、を備える。各変調パターンは、各復調タイミングにおいて互いに直交条件を満たすように設定されている。画像処理部は、第１の復調タイミングにおいて複数の検出光のうちの第１の検出光の画像を生成する際、第１の復調タイミングで生成された第１の検出光の画像と、第２の復調タイミングで生成された第１の検出光の画像との間の差分値を算出し、差分値が所定の閾値よりも小さくなった場合に、第１の復調タイミング以降において、第１の検出光に対応する励起光の照射をＯＦＦに設定する。

Description

観察装置及び観察方法
　本開示は、観察装置及び観察方法に関する。
　従来、観察対象物の蛍光観察を行う観察装置として、例えば特許文献１に記載された顕微鏡装置が知られている。この顕微鏡装置では、複数の蛍光物質により多重染色された試料に対して、複数の蛍光物質をそれぞれ励起する波長を有し且つ互いに異なる変調周波数で変調された複数の励起光が、同時に照射される。複数の励起光の照射に伴って、これら励起光に対応する複数の蛍光が試料から発生する。この顕微鏡装置では、これら蛍光が同時に検出され、各蛍光を示す信号が変調周波数に基づいて周波数分離されることによって、各蛍光の画像が蛍光毎に生成される。
特開２００５－０９１８９５号公報
　上述した顕微鏡装置では、各蛍光の画像が生成される際、或る蛍光のショットノイズ成分が他の蛍光の画像に偽信号として現れることがある。このような現象は、当該或る蛍光の光量が当該他の蛍光に比して大きい場合に、特に顕著に現れる。このような現象が生じると、各蛍光の正確な画像を生成することが困難となり得る。
　本開示は、上記課題の解決のためになされたものであり、観察対象物の正確な画像を得ることができる観察装置及び観察方法を提供する。
　本開示の一側面に係る観察装置は、互いに異なる波長を有すると共に、互いに異なる変調条件による複数の変調パターンでそれぞれ変調された複数の励起光を、観察対象物に同時に照射する照射部と、複数の励起光の照射に伴う観察対象物からの複数の検出光を検出信号として検出する検出部と、互いに異なる複数の復調タイミングで検出信号を復調することにより、各復調タイミングにおいて複数の検出光の画像を検出光毎に生成する画像処理部と、を備える。各変調パターンは、励起光の照射のＯＮ／ＯＦＦを切り替えるように励起光を変調させる変調パターンであり、各復調タイミングにおいて互いに直交条件を満たすように設定される。複数の復調タイミングは、第１の復調タイミングと、第１の復調タイミングよりも前の第２の復調タイミングと、を含む。画像処理部は、第１の復調タイミングにおいて複数の検出光のうちの第１の検出光の画像を生成する際、第１の復調タイミングで生成された第１の検出光の画像と、第２の復調タイミングで生成された第１の検出光の画像との間の差分値を算出する。画像処理部は、差分値が所定の閾値よりも小さくなった場合に、第１の復調タイミング以降において、第１の検出光に対応する励起光の照射をＯＦＦに設定する。
　上記の観察装置では、第１の復調タイミングで第１の検出光が生成される際、第１の復調タイミングで生成された第１の検出光の画像と、第２の復調タイミングで生成された第１の検出光の画像との間の差分値が、所定の閾値よりも小さくなった場合に、第１の復調タイミング以降において、第１の検出光に対応する励起光の照射がＯＦＦに設定される。このように第１の検出光に対応する励起光の照射がＯＦＦに設定されることによって、第１の復調タイミング以降に生成される他の検出光の画像に、第１の検出光のショットノイズ成分が現れる事態を抑制できる。更に、第１の復調タイミングで生成された第１の検出光の画像と、第２の復調タイミングで生成された第１の検出光の画像との間の差分値が、所定の閾値よりも小さくなっていれば、これらの画像の変化が小さいと判断できる。したがって、第１の復調タイミング以降において第１の検出光に対応する励起光の照射がＯＦＦに設定されても、生成された第１の検出光の画像の精度に与える影響は小さい。更に、各変調パターンは、各復調タイミングにおいて互いに直交条件を満たすように設定されているので、各変調パターンに対応する各検出光を示す検出信号を正確に復調できる。したがって、上記の観察装置によれば、第１の検出光のショットノイズ成分が他の検出光の画像に現れる事態を抑制しつつ、各検出光の画像を正確に復調できる。すなわち、各検出光の正確な画像を得ることができる。
　照射部は、複数の変調パターンを記憶する記憶部を有してもよい。この場合、各変調パターンを生成する処理を行う必要がないので、各変調パターンを生成する場合と比べて、処理負担を軽減できる。
　照射部は、複数の変調パターンを生成する生成部を有してもよい。この場合、所望の各変調パターンを容易に得ることができる。
　各変調パターンは、励起光の照射のＯＮ／ＯＦＦを切り替えるように励起光を変調させる矩形波状の変調パターンであってもよい。この場合、復調タイミングにおいて互いに直交条件を満たす各変調パターンを好適に設定できる。
　各変調パターンは、励起光の照射のＯＮ／ＯＦＦを切り替えるように励起光を変調させる正弦波状の変調パターンであってもよい。この場合、復調タイミングにおいて互いに直交条件を満たす各変調パターンを好適に設定できる。
　複数の検出光は、第１の検出光よりも小さい光量を有する第２の検出光を含んでもよい。ショットノイズ成分は、光量の大きい検出光から光量の小さい検出光の画像に現れやすい。これに対し、上記の観察装置によれば、光量の大きい第１の検出光のショットノイズ成分が、光量の小さい第２の検出光の画像に現れる事態を抑制できるので、上述した効果を好適に奏する。
　第１の検出光は、複数の検出光の中で最も大きい光量を有してもよい。ショットノイズ成分は、光量の大きい検出光から光量の小さい検出光の画像に現れやすく、それらの検出光の光量差が大きくなるほど大きくなる。これに対し、上記の観察装置によれば、光量の最も大きい第１の検出光のショットノイズ成分が、光量の小さい第２の検出光の画像に現れる事態を抑制できるので、上述した効果をより好適に奏する。
　画像処理部は、第１の復調タイミング以降において第１の検出光に対応する励起光の照射をＯＦＦに設定した場合に、第１の復調タイミング以降に検出された検出信号に含まれるデータを用いて、第２の検出光の画像を生成してもよい。この場合、第１の復調タイミング以降においては、第１の検出光に対応する励起光の照射がＯＦＦに設定されているので、第１の復調タイミング以降に検出された検出信号に含まれるデータには、第１の検出光が含まれないか、或いは、極めて小さい光量の第１の検出光が含まれる。したがって、このデータを用いて第２の検出光を生成すれば、第１の検出光のショットノイズ成分が第２の検出光の画像に現れる事態を効果的に抑制できる。
　画像処理部は、第１の復調タイミング以降において第１の検出光に対応する励起光の照射をＯＦＦに設定した場合に、第１の復調タイミング以前において、第１の検出光に対応する励起光の照射がＯＮになる期間以外の期間に検出された検出信号に含まれるデータを用いて、第２の検出光の画像を生成してもよい。この場合、第１の復調タイミング以前において、第１の検出光に対応する励起光の照射がＯＮになる期間以外の期間に検出された検出信号のデータには、第１の検出光が含まれないか、或いは、極めて小さい光量の第１の検出光が含まれる。したがって、このデータを用いて第２の検出光を生成すれば、第１の検出光のショットノイズ成分が第２の検出光の画像に現れる事態を効果的に抑制できる。
　第２の復調タイミングは、第１の復調タイミングの直前の復調タイミングであってもよい。この場合、第１の復調タイミングで生成された第１の検出光の画像と、第２の復調タイミングで生成された第１の検出光の画像と、の間の画像の変化が小さいか否かの判断を容易に行うことができる。
　本開示の一側面に係る観察方法は、互いに異なる波長を有すると共に、互いに異なる変調条件による複数の変調パターンでそれぞれ変調された複数の励起光を、観察対象物に同時に照射するステップと、複数の励起光の照射に伴う観察対象物からの複数の検出光を検出信号として検出するステップと、互いに異なる複数の復調タイミングで検出信号を復調することにより、各復調タイミングにおいて複数の検出光の画像を検出光毎に生成するステップと、を備える。各変調パターンは、励起光の照射のＯＮ／ＯＦＦを切り替えるように励起光を変調させる変調パターンであり、各復調タイミングにおいて互いに直交条件を満たすように設定されている。複数の復調タイミングは、第１の復調タイミングと、第１の復調タイミングよりも前の第２の復調タイミングと、を含む。複数の検出光の画像を検出光毎に生成するステップでは、第１の復調タイミングにおいて複数の検出光のうちの第１の検出光の画像を生成する際、第１の復調タイミングで生成された第１の検出光の画像と、第２の復調タイミングで生成された第１の検出光の画像との間の差分値を算出する。そして、差分値が所定の閾値よりも小さくなった場合に、第１の復調タイミング以降において、第１の検出光に対応する励起光の照射をＯＦＦに設定する。
　この観察方法では、第１の復調タイミングで第１の検出光が生成される際、第１の復調タイミングで生成された第１の検出光の画像と、第２の復調タイミングで生成された第１の検出光の画像との間の差分値が、所定の閾値よりも小さくなった場合に、第１の復調タイミング以降において、第１の検出光に対応する励起光の照射がＯＦＦに設定される。このように第１の検出光に対応する励起光の照射がＯＦＦに設定されることによって、第１の復調タイミング以降に生成される他の検出光の画像に、第１の検出光のショットノイズ成分が現れる事態を抑制できる。更に、第１の復調タイミングで生成された第１の検出光の画像と、第２の復調タイミングで生成された第１の検出光の画像との間の差分値が、所定の閾値よりも小さくなっていれば、これらの画像の変化が小さいと判断できる。したがって、第１の復調タイミング以降において第１の検出光に対応する励起光の照射がＯＦＦに設定されても、生成された第１の検出光の画像の精度に与える影響は小さい。更に、各変調パターンは、各復調タイミングにおいて互いに直交条件を満たすように設定されているので、各変調パターンに対応する各検出光を示す検出信号を正確に復調できる。したがって、上記の観察方法によれば、第１の検出光のショットノイズ成分が他の検出光の画像に現れる事態を抑制しつつ、各検出光の画像を正確に復調できる。すなわち、各検出光の正確な画像を得ることができる。
　本開示によれば、観察対象物の正確な画像を得ることができる。
図１は、観察装置の一実施形態を示す概略構成図である。 図２は、図１に示す各変調信号を示す図である。 図３は、図１に示す各変調信号が満たす直交条件を説明するための図である。 図４は、画像生成部による画像変化の判定を説明するためのグラフである。 図５は、観察方法の一実施形態を示すフローチャートである。 図６は、図５に示す画像処理ステップの詳細を示すフローチャートである。 図７は、実施例及び比較例のシミュレーション条件を説明するための図である。 図８は、比較例のシミュレーション条件を示す図である。 図９は、比較例のシミュレーション結果を示す図である。 図１０は、実施例のシミュレーション結果を示す図である。 図１１は、画像生成部による画像生成処理の変形例を示す図である。 図１２は、図１１の一部を拡大した拡大図である。 図１３は、図１１に示す変形例のシミュレーション結果を示す図である。 図１４は、図１１に示す変形例の更なる変形例を示す図である。 図１５は、図１４の一部を拡大した拡大図である。 図１６は、図１４に示す変形例のシミュレーション結果を示す図である。 図１７は、観察装置の変形例を示す概略構成図である。 図１８は、観察装置の別の変形例を示す概略構成図である。 図１９は、各変調信号の変形例を示す図である。
　以下、本開示の一実施形態について、図面を参照しつつ詳細に説明する。以下の説明において、同一又は相当要素には同一符号を用い、重複する説明を適宜省略する。
　以下、本開示の一実施形態について、図面を参照しつつ詳細に説明する。以下の説明において、同一又は相当要素には同一符号を用い、重複する説明を適宜省略する。
　図１は、本実施形態に係る観察装置１を示す概略構成図である。観察装置１は、観察対象物である試料Ｔの蛍光観察を行う。試料Ｔは、例えば、互いに異なる複数種類の蛍光物質を含む生体組織等のサンプルである。各蛍光物質は、所定の波長域の励起光が照射された場合に、励起光の波長に応じた波長を有する蛍光等の検出光を発生する。蛍光物質としては、例えば、インドシアニングリーン、メチレンブルー、フルオレセイン、及び５－アミノレブリン酸等の蛍光色素が挙げられる。観察装置１は、試料Ｔの複数の蛍光物質をそれぞれ励起する複数の励起光Ｌ１、Ｌ２、及びＬ３を試料Ｔに同時に照射し、それに伴って試料Ｔから発生する複数の検出光Ｌ１１、Ｌ１２、及びＬ１３を同時に撮像する。
　図１に示すように、観察装置１は、例えば、照射部１０と、検出部４０と、画像処理部７０と、を備える。照射部１０は、互いに異なる波長λ１、λ２、及びλ３を有し、且つ互いに異なる変調条件Ｍ１、Ｍ２、及びＭ３でそれぞれ変調された複数の励起光Ｌ１、Ｌ２、及びＬ３を、試料Ｔに同時に照射する。照射部１０は、複数の光源１１、１２、及び１３と、変調部１５と、導光光学系２０と、を有する。光源１１、１２、及び１３は、励起光Ｌ１、Ｌ２、及びＬ３をそれぞれ出力する。変調部１５は、励起光Ｌ１、Ｌ２、及びＬ３が互いに異なる変調条件Ｍ１、Ｍ２、及びＭ３でそれぞれ変調されるように光源１１、１２、及び１３を制御する。導光光学系２０は、光源１１、１２、及び１３からそれぞれ出力された励起光Ｌ１、Ｌ２、及びＬ３を試料Ｔに導光する。
　各光源１１、１２、及び１３は、試料Ｔの蛍光物質を励起させる波長を含む光を生成可能なコヒーレント光源又はインコヒーレント光源である。光源１１は、波長λ１を有する励起光Ｌ１を生成可能である。光源１２は、波長λ２を有する励起光Ｌ２を生成可能である。光源１３は、波長λ３を有する励起光Ｌ３を生成可能である。コヒーレント光源としては、例えば、レーザダイオード（ＬＤ）といったレーザ光源等が挙げられる。インコヒーレント光源としては、例えば、発光ダイオード（ＬＥＤ）、スーパールミネッセントダイオード（ＳＬＤ）又はランプ系光源等が挙げられる。
　変調部１５は、各光源１１、１２、及び１３と電気的に接続されている。変調部１５は、互いに異なる変調条件Ｍ１、Ｍ２、及びＭ３をそれぞれ有する複数の変調信号Ｓ１、Ｓ２、及びＳ３を用いて、複数の励起光Ｌ１、Ｌ２、及びＬ３をそれぞれ変調させる。変調部１５は、変調信号Ｓ１、Ｓ２、及びＳ３を生成する変調信号生成部１６（生成部）と、変調条件Ｍ１、Ｍ２、及びＭ３を設定する変調条件設定部１７と、を有する。
　変調条件設定部１７は、変調信号Ｓ１、Ｓ２、及びＳ３毎に、互いに異なる変調条件（例えば、位相又は周波数）を設定する。本実施形態では、変調条件設定部１７は、例えば、変調条件Ｍ３を最も高い最速変調周波数に設定し、変調条件Ｍ２を変調条件Ｍ３よりも低い変調周波数に設定し、変調条件Ｍ１を最も低い変調周波数に設定する。例えば、変調条件設定部１７は、変調条件Ｍ３を変調条件Ｍ１の４倍の変調周波数に設定し、変調条件Ｍ２を変調条件Ｍ１の２倍の変調周波数に設定する。変調条件設定部１７は、変調信号Ｓ１、Ｓ２、及びＳ３毎に互いに異なる位相を設定してもよい。変調条件Ｍ１、Ｍ２、及びＭ３は、予め変調条件設定部１７に記憶された値であってもよいし、入出力デバイス等を介して外部から入力された値であってもよい。
　変調信号生成部１６は、変調条件設定部１７によって設定された変調条件Ｍ１、Ｍ２、及びＭ３をそれぞれ有する変調信号Ｓ１、Ｓ２、及びＳ３を生成する。変調信号Ｓ１は、光源１１から出力される励起光Ｌ１を時間的に変調させるための変調パターンである。例えば、変調信号Ｓ１は、励起光Ｌ１の照射のＯＮ／ＯＦＦが交互に切り替えられるように、励起光Ｌ１を変調条件Ｍ１で変調させる矩形波状のパルス信号である。変調信号Ｓ２は、光源１２から出力される励起光Ｌ２を時間的に変調させるための変調パターンである。例えば、変調信号Ｓ２は、励起光Ｌ２の照射のＯＮ／ＯＦＦが交互に切り替えられるように、励起光Ｌ２を変調条件Ｍ２で変調させる矩形波状のパルス信号である。変調信号Ｓ３は、光源１３から出力される励起光Ｌ３を時間的に変調させるための変調パターンである。例えば、変調信号Ｓ３は、励起光Ｌ３の照射のＯＮ／ＯＦＦが交互に切り替えられるように、励起光Ｌ３を変調条件Ｍ３で変調させる矩形波状のパルス信号である。各変調信号Ｓ１、Ｓ２、及びＳ３のより詳細な説明については、後述する。
　変調信号生成部１６は、生成した変調信号Ｓ１、Ｓ２、及びＳ３を光源１１、１２、及び１３にそれぞれ出力する。変調信号Ｓ１に従って、光源１１から出力される励起光Ｌ１が変調される。その結果、変調条件Ｍ１で変調された励起光Ｌ１が光源１１から出力される。変調信号Ｓ２に従って、光源１２から出力される励起光Ｌ２が変調される。その結果、変調条件Ｍ２で変調された励起光Ｌ２が光源１２から出力される。変調信号Ｓ３に従って、光源１３から出力される励起光Ｌ３が変調される。その結果、変調条件Ｍ３で変調された励起光Ｌ３が光源１３から出力される。
　導光光学系２０は、コリメータレンズ２１、２２、及び２３と、ダイクロイックミラー２４、２５、及び２９と、フィルタ２６及び２７と、リレーレンズ２８と、対物レンズ３１と、を含む。コリメータレンズ２１は、光源１１から出力された励起光Ｌ１を平行化する。コリメータレンズ２２は、光源１２から出力された励起光Ｌ２を平行化する。コリメータレンズ２３は、光源１３から出力された励起光Ｌ３を平行化する。ダイクロイックミラー２４は、光源１３の光軸と光源１２の光軸とが交差する位置に配置されている。コリメータレンズ２２を経た励起光Ｌ２と、コリメータレンズ２３を経た励起光Ｌ３とは、ダイクロイックミラー２４に到達する。
　ダイクロイックミラー２４は、波長λ２の励起光Ｌ２を反射し、波長λ３の励起光Ｌ３を透過する。ダイクロイックミラー２４を経た励起光Ｌ２及びＬ３と、コリメータレンズ２１を経た励起光Ｌ１とは、ダイクロイックミラー２５に到達する。ダイクロイックミラー２５は、光源１２の光軸と光源１１の光軸とが交差する位置に配置されている。ダイクロイックミラー２５は、波長λ２の励起光Ｌ２、及び波長λ３の励起光Ｌ３を反射し、波長λ１の励起光Ｌ１を透過する。ダイクロイックミラー２５を経た励起光Ｌ１、Ｌ２、及びＬ３は、対物レンズ３１に向かって進行する。
　フィルタ２６及び２７は、ダイクロイックミラー２５と対物レンズ３１との間の光路上に並んで配置されている。フィルタ２６及び２７は、波長λ１の励起光Ｌ１、波長λ２の励起光Ｌ２、及び波長λ３の励起光Ｌ３のみを選択的に透過し、他の波長の光を遮断するバンドパスフィルタである。したがって、ダイクロイックミラー２５を経た励起光Ｌ１、Ｌ２、及びＬ３は、フィルタ２６及び２７を透過する。リレーレンズ２８は、フィルタ２６及び２７の間の光路上に配置されている。リレーレンズ２８は、励起光Ｌ１、Ｌ２、及びＬ３を対物レンズ３１まで効率よく導く役割を有する。
　ダイクロイックミラー２９は、フィルタ２７と対物レンズ３１との間の光路上に配置されている。フィルタ２７を経た励起光Ｌ１、Ｌ２、及びＬ３は、ダイクロイックミラー２９に到達する。ダイクロイックミラー２９は、波長λ１の励起光Ｌ１、波長λ２の励起光Ｌ２、及び波長λ３の励起光Ｌ３を反射し、蛍光波長の検出光Ｌ１１、Ｌ１２、及びＬ１３を透過する。ダイクロイックミラー２９を経た励起光Ｌ１、Ｌ２、及びＬ３は、対物レンズ３１に到達する。
　対物レンズ３１は、励起光Ｌ１、Ｌ２、及びＬ３を集光し、集光した励起光Ｌ１、Ｌ２、及びＬ３を試料Ｔに同時に照射する。更に、対物レンズ３１は、励起光Ｌ１、Ｌ２、及びＬ３の照射に伴って試料Ｔから発生した検出光Ｌ１１、Ｌ１２、及びＬ１３を導光する。対物レンズ３１は、例えば、ピエゾアクチュエータ又はステッピングモータ等の駆動素子により、対物レンズ３１の光軸に沿って移動可能に構成されている。これにより、励起光Ｌ１、Ｌ２、及びＬ３の集光位置と、検出光Ｌ１１、Ｌ１２、及びＬ１３の検出のための焦点位置と、が調整可能となっている。
　検出光Ｌ１１、Ｌ１２、及びＬ１３は、励起光Ｌ１、Ｌ２、及びＬ３の照射に伴って試料Ｔからそれぞれ発生する蛍光である。本実施形態では、検出光Ｌ１１、Ｌ１２、及びＬ１３のうちの検出光Ｌ１３が最も大きい光量を有する検出光（第１の検出光）である。検出光Ｌ１１及びＬ１２のそれぞれは、検出光Ｌ１３よりも小さい光量を有する検出光（第２の検出光）である。検出光Ｌ１１の光量は、検出光Ｌ１２の光量よりも小さく、検出光Ｌ１１、Ｌ１２、及びＬ１３の中で最も小さい。最も大きい光量を有する検出光Ｌ１３は、最も高い変調周波数を有する励起光Ｌ３の照射に伴って発生した光である。
　各検出光Ｌ１１、Ｌ１２、及びＬ１３の光量は、励起光Ｌ１、Ｌ２、及びＬ３の照射を一度行えば測定できる。したがって、各検出光Ｌ１１、Ｌ１２、及びＬ１３の光量は、観察装置１に予め記憶されていてもよい。そして、各検出光Ｌ１１、Ｌ１２、及びＬ１３の光量の違いを考慮して、各励起光Ｌ１、Ｌ２、及びＬ３の変調条件が決定されてもよい。例えば、最も大きい光量を有する検出光Ｌ１３に対応する励起光Ｌ３の変調条件が最速変調周波数となるように、予め設定されていてもよい。
　検出部４０は、試料Ｔから発生した検出光Ｌ１１、Ｌ１２、及びＬ１３を検出する。検出部４０は、検出光Ｌ１１、Ｌ１２、及びＬ１３を導光する導光光学系３０と、導光光学系３０によって導光された検出光Ｌ１１、Ｌ１２、及びＬ１３を検出するセンサ３５と、を有する。導光光学系３０は、対物レンズ３１と、ダイクロイックミラー２９と、フィルタ３２と、結像レンズ３３と、を有する。対物レンズ３１は、検出光Ｌ１１、Ｌ１２、及びＬ１３を結像レンズ３３に向けて導光する。ダイクロイックミラー２９及びフィルタ３２は、対物レンズ３１と結像レンズ３３との間の光路上に配置されている。フィルタ３２は、蛍光波長の検出光Ｌ１１、Ｌ１２、及びＬ１３のみを選択的に透過し、他の波長の光を遮断するバンドパスフィルタである。したがって、対物レンズ３１を経た検出光Ｌ１１、Ｌ１２、及びＬ１３は、ダイクロイックミラー２９及びフィルタ３２を透過し、結像レンズ３３に到達する。結像レンズ３３は、検出光Ｌ１１、Ｌ１２、及びＬ１３をセンサ３５に結像する。
　センサ３５は、２次元的に配列された複数の画素によって構成された受光面を有している。センサ３５は、例えば、ＣＣＤイメージセンサ又はＣＭＯＳイメージセンサ等のエリアイメージセンサである。このようなイメージセンサとして、例えば、モノクロセンサ、カラーセンサ、マルチスペクトルセンサ、又はハイパースペクトルセンサ等を用いることができる。センサ３５は、導光光学系３０により導光された検出光Ｌ１１、Ｌ１２、及びＬ１３による光像を撮像し、検出光Ｌ１１、Ｌ１２、及びＬ１３のぞれぞれの光像を含む画像データとして検出信号Ｓを出力する。
　センサ３５は、所定のフレームレート（例えば、１００ｆｐｓ）で撮像し、各フレームに対応する検出信号Ｓを繰り返し出力するように設定されている。センサ３５は、例えば、フレーム周期（フレームレートの逆数）以下の範囲で露光時間を可変に設定可能に構成されている。センサ３５は、変調信号生成部１６と通信可能に構成されており、センサ３５による撮像と、各変調信号Ｓ１、Ｓ２、及びＳ３に基づく各励起光Ｌ１、Ｌ２、及びＬ３の変調と、が同期するように設定されている。
　画像処理部７０は、例えば、コンピュータであり、物理的には、ＲＡＭ及びＲＯＭ等のメモリ、ＣＰＵ等のプロセッサ（演算回路）、通信インターフェイス、ハードディスク等の格納部、並びに、ディスプレイ等の表示部、を備えて構成されている。コンピュータとしては、例えばパーソナルコンピュータ、クラウドサーバ、又はスマートデバイス（例えば、スマートフォン或いはタブレット端末など）などが挙げられる。コンピュータは、コンピュータのメモリに格納されるプログラムをコンピュータシステムのＣＰＵで実行することにより、画像処理部７０としての機能の他、各構成を制御するコントローラとして機能してもよいし、変調部１５として機能してもよい。
　画像処理部７０は、センサ３５と電気的に接続されており、センサ３５から出力された検出信号Ｓの処理を行う。画像処理部７０は、信号復調部７１と、画像生成部７２と、を有する。信号復調部７１は、変調条件Ｍ１、Ｍ２、及びＭ３に基づいて検出信号Ｓを復調することにより、検出光Ｌ１１、Ｌ１２、及びＬ１３それぞれの光像に対応する画像データである復調信号Ｓ１１、Ｓ１２、及びＳ１３を出力する。画像生成部７２は、復調信号Ｓ１１、Ｓ１２、及びＳ１３に基づいて、検出光Ｌ１１、Ｌ１２、及びＬ１３それぞれの光像を示す画像を生成する。信号復調部７１は、所定のフレームレートで出力される検出信号Ｓを復調タイミングＴＭ１、ＴＭ２、…（後述する図２参照）で復調する。復調タイミングＴＭ１、ＴＭ２、…は、他の変調信号Ｓ２及びＳ３の変調周期の整数倍になるように設定されている。したがって、信号復調部７１は、復調タイミングＴＭ１、ＴＭ２、…毎に、変調信号Ｓ１、Ｓ２、及びＳ３に基づいて検出信号Ｓを復調し、復調信号Ｓ１１、Ｓ１２、及びＳ１３を生成する。信号復調部７１における復調は、複数回（例えば、Ｎ回（Ｎは正の整数を示す））行われてもよい。この場合、信号復調部７１は、復調信号Ｓ１１、Ｓ１２、及びＳ１３の生成をＮ回行う。そして、画像生成部７２は、生成されたＮ個の復調信号Ｓ１１、Ｎ個の復調信号Ｓ１２、及びＮ個の復調信号Ｓ１３に対して、それぞれ平均処理もしくは加算処理等を行う。これにより、画像生成部７２は、検出光Ｌ１１、Ｌ１２、及びＬ１３それぞれの光像に対応する画像を生成する。
　信号復調部７１は、検出信号Ｓから復調信号Ｓ１１、Ｓ１２、及びＳ１３を復調する際、変調信号Ｓ１、Ｓ２、及びＳ３の変調条件Ｍ１、Ｍ２、及びＭ３に基づいて復調処理を行う。検出信号Ｓに含まれる各検出光Ｌ１１、Ｌ１２、及びＬ１３は、各励起光Ｌ１、Ｌ２、及びＬ３の照射に応じて発生する光である。そのため、各検出光Ｌ１１、Ｌ１２、及びＬ１３を示す各復調信号Ｓ１１、Ｓ１２、及びＳ１３についても、各変調信号Ｓ１、Ｓ２、及びＳ３の各変調条件Ｍ１、Ｍ２、及びＭ３で変調されている。そこで、信号復調部７１は、復調タイミングＴＭ１、ＴＭ２、…において、変調条件Ｍ１、Ｍ２、及びＭ３による検出信号Ｓの復調処理を行うことにより、検出信号Ｓから復調信号Ｓ１１、Ｓ１２、及びＳ１３を復調する。
　具体的には、信号復調部７１は、センサ３５から出力される検出信号Ｓのうち、変調信号Ｓ１のＯＮ期間（すなわち、試料Ｔへの励起光Ｌ１の照射がＯＮになる期間）に対応する検出信号Ｓに係数（例えば、“１”）を乗じ、ＯＦＦ期間（すなわち、試料Ｔへの励起光Ｌ１の照射がＯＦＦになる期間）に対応する検出信号Ｓに別の係数（例えば、“－１”）を乗じ、これらに対し平均処理もしくは加算処理を行うことで、復調信号Ｓ１１を得る。信号復調部７１は、センサ３５から出力される検出信号Ｓのうち、変調信号Ｓ２のＯＮ期間（すなわち、試料Ｔへの励起光Ｌ２の照射がＯＮになる期間）に対応する検出信号Ｓに係数（例えば、“１”）を乗じ、ＯＦＦ期間（すなわち、試料Ｔへの励起光Ｌ２の照射がＯＦＦになる期間）に対応する検出信号Ｓに別の係数（例えば、“－１”）を乗じ、これらに対し平均処理もしくは加算処理を行うことで、復調信号Ｓ１２を得る。信号復調部７１は、センサ３５から出力される検出信号Ｓのうち、変調信号Ｓ３のＯＮ期間（すなわち、試料Ｔへの励起光Ｌ３の照射がＯＮになる期間）に対応する検出信号Ｓに係数（例えば、“１”）を乗じ、ＯＦＦ期間（すなわち、試料Ｔへの励起光Ｌ３の照射がＯＦＦになる期間）に対応する検出信号Ｓに別の係数（例えば、“－１”）を乗じ、これらに対し平均処理もしくは加算処理を行うことで、復調信号Ｓ１３を得る。検出信号Ｓに乗じる係数は、変調信号Ｓ１、Ｓ２、及びＳ３の振幅に対応させてもよい。信号復調部７１は、復調タイミングＴＭ１、ＴＭ２、…毎に復調信号Ｓ１１，Ｓ１２、及びＳ１３を生成し、これら復調信号Ｓ１１、Ｓ１２、及びＳ１３を画像生成部７２に出力する。
　画像生成部７２は、信号復調部７１から出力された復調信号Ｓ１１、Ｓ１２、及びＳ１３に基づいて、検出光Ｌ１１、Ｌ１２、及びＬ１３それぞれに対応する画像を生成する。本実施形態のように複数の復調タイミングＴＭ１、ＴＭ２、…が設定されている場合、信号復調部７１は、復調タイミングＴＭ１、ＴＭ２、…毎に復調信号Ｓ１１、Ｓ１２、及びＳ１３を生成し、これら復調信号Ｓ１１、Ｓ１２、及びＳ１３を画像生成部７２に出力する。そのため、画像生成部７２には、復調タイミングＴＭ１、ＴＭ２、…毎に生成された複数の復調信号Ｓ１１が入力される。画像生成部７２は、複数の復調信号Ｓ１１を平均処理もしくは加算処理することにより、検出光Ｌ１１の画像を生成する。同様に、画像生成部７２には、復調タイミングＴＭ１、ＴＭ２、…毎に生成された複数の復調信号Ｓ１２が入力される。画像生成部７２は、複数の復調信号Ｓ１２を平均処理もしくは加算処理することにより、検出光Ｌ１２の画像を生成する。同様に、画像生成部７２には、復調タイミングＴＭ１、ＴＭ２、…毎に生成された複数の復調信号Ｓ１３が入力される。画像生成部７２は、複数の復調信号Ｓ１３を平均処理もしくは加算処理することにより、検出光Ｌ１３の画像を生成する。
　復調信号Ｓ１１、Ｓ１２、及びＳ１３は復調タイミングＴＭ１、ＴＭ２、…毎に復調されるため、復調信号Ｓ１１、Ｓ１２、及びＳ１３に基づいて生成される検出光Ｌ１１、Ｌ１２、及びＬ１３の画像も、復調タイミングＴＭ１、ＴＭ２、…毎に生成されてもよい。この場合、画像生成部７２は、検出光Ｌ１１、Ｌ１２、及びＬ１３の画像が生成される度に、検出光Ｌ１１、Ｌ１２、及びＬ１３のそれぞれの画像を更新して表示してもよい。つまり、画像生成部７２は、復調タイミングＴＭ１、ＴＭ２、…が到来する度に、各検出光Ｌ１１、Ｌ１２、及びＬ１３の画像を更新してもよい。画像生成部７２は、検出光Ｌ１１、Ｌ１２、及びＬ１３の画像をそれぞれ並べて表示してもよいし、検出光Ｌ１１、Ｌ１２、及びＬ１３の画像を互いに重ね合わせて表示してもよい。更に、画像生成部７２は、各検出光Ｌ１１、Ｌ１２、及びＬ１３の画像について更新前後の画像を比較し、その比較結果に基づいて励起光Ｌ１、Ｌ２、及びＬ３の照射の制御を行う。この処理の詳細については後述する。
　ここで、図２及び図３を参照して、上述した変調信号Ｓ１、Ｓ２、及びＳ３について詳細に説明する。図２の（ａ）は、変調条件Ｍ１を有する変調信号Ｓ１を示している。図２の（ｂ）は、変調条件Ｍ２を有する変調信号Ｓ２を示している。図２の（ｃ）は、変調条件Ｍ３を有する変調信号Ｓ３を示している。図２の（ａ）、図２の（ｂ）、及び図２の（ｃ）において、横軸は時間を示しており、縦軸は変調信号Ｓ１、Ｓ２、及びＳ３の出力を示している。図２の（ａ）、図２の（ｂ）、及び図２の（ｃ）には、各検出光Ｌ１１、Ｌ１２、及びＬ１３の画像の生成に用いられるフレームの範囲が、ドット柄のハッチングで併せて示されている。本実施形態では、各復調信号Ｓ１１、Ｓ１２、及びＳ１３の全フレームを用いて各検出光Ｌ１１、Ｌ１２、及びＬ１３の画像が生成される。すなわち、各検出光Ｌ１１、Ｌ１２、及びＬ１３の画像の生成には、画像の生成が開始されてから画像の生成が終了するまでの全期間のフレームが用いられる。図２の（ａ）における各プロットは、復調信号Ｓ１１に含まれるフレーム（すなわち、検出光Ｌ１１の光像を示す画像データ）に対応している。図２の（ｂ）における各プロットは、復調信号Ｓ１２に含まれるフレーム（すなわち、検出光Ｌ１２の光像を示す画像データ）に対応している。図２の（ｃ）における各プロットは、復調信号Ｓ１３に含まれるフレーム（すなわち、検出光Ｌ１３の光像を示す画像データ）に対応している。各復調信号Ｓ１１、Ｓ１２、及びＳ１３のフレームは、センサ３５から所定のフレームレートで出力される検出信号Ｓに含まれており、各検出光Ｌ１１、Ｌ１２、及びＬ１３の画像の生成に用いられる。
　図２の（ａ）に示す変調信号Ｓ１は、例えば、試料Ｔへの励起光Ｌ１の照射がＯＮになる期間と、試料Ｔへの励起光Ｌ１の照射がＯＦＦになる期間とを含む期間を一周期Ｔ１として、変調条件Ｍ１の変調周波数で交互に繰り返すように励起光Ｌ１を変調させる。図２の（ｂ）に示す変調信号Ｓ２は、例えば、試料Ｔへの励起光Ｌ２の照射がＯＮになる期間と、試料Ｔへの励起光Ｌ２の照射がＯＦＦになる期間とを含む期間を一周期Ｔ２として、変調条件Ｍ２の変調周波数で交互に繰り返すように励起光Ｌ２を変調させる。本実施形態では、変調信号Ｓ２の変調条件Ｍ２は、変調信号Ｓ１の変調条件Ｍ１の２倍の変調周波数に設定されているので、変調信号Ｓ１の一周期Ｔ１の中に、変調信号Ｓ２の一周期Ｔ２が２つ含まれている。
　図２の（ｃ）に示す変調信号Ｓ３は、例えば、試料Ｔへの励起光Ｌ３の照射がＯＮになる期間と、試料Ｔへの励起光Ｌ３の照射がＯＦＦになる期間とを含む期間を一周期Ｔ３として、変調条件Ｍ３の変調周波数で交互に繰り返すように励起光Ｌ３を変調させる。本実施形態では、変調信号Ｓ３の変調条件Ｍ３は、変調信号Ｓ１の変調条件Ｍ１の４倍の変調周波数に設定されているので、変調信号Ｓ１の一周期Ｔ１の中に、変調信号Ｓ３の一周期Ｔ３が４つ含まれている。
　各変調信号Ｓ１、Ｓ２、及びＳ３によって各励起光Ｌ１、Ｌ２、及びＬ３の照射のＯＮ／ＯＦＦが切り替えられる。これに応じて、各検出光Ｌ１１、Ｌ１２、及びＬ１３の発光／非発光が切り替えられる。つまり、各励起光Ｌ１、Ｌ２、及びＬ３の照射がＯＮのときは、各検出光Ｌ１１、Ｌ１２、及びＬ１３が発光する一方、各励起光Ｌ１、Ｌ２、及びＬ３の照射がＯＦＦのときは、各検出光Ｌ１１、Ｌ１２、及びＬ１３が発光しないか、極めて小さい光量の各検出光Ｌ１１、Ｌ１２、及びＬ１３が発光する。したがって、各検出光Ｌ１１、Ｌ１２、及びＬ１３を示す各復調信号Ｓ１１、Ｓ１２、及びＳ１３は、各変調信号Ｓ１、Ｓ２、及びＳ３に応じて変化する信号となる。図２の（ａ）、図２の（ｂ）、及び図２の（ｃ）には、復調信号Ｓ１１、Ｓ１２、及びＳ１３が復調される復調タイミングＴＭ１、ＴＭ２、…が示されている。復調タイミングＴＭ１、ＴＭ２、…は、変調信号Ｓ１の一周期Ｔ１が経過するタイミングに一致している。
　復調タイミングＴＭ１、ＴＭ２、…において、検出信号Ｓから復調信号Ｓ１１、Ｓ１２、及びＳ１３が正確に復調されるためには、各復調信号Ｓ１１、Ｓ１２、及びＳ１３に対応する各復調信号Ｓ１１、Ｓ１２、及びＳ１３が互いに直交条件を満たす必要がある。「直交条件を満たす」とは、復調タイミングＴＭ１、ＴＭ２、…において変調信号Ｓ１、Ｓ２、及びＳ３の間の内積がゼロになることをいう。この直交条件について、図３を用いてより詳細に説明する。
　図３は、変調信号Ｓ１及びＳ２が満たす直交条件を説明するための図である。図３に示す例では、変調信号Ｓ１及びＳ２の関係に着目し、励起光Ｌ１及びＬ２の照射がＯＮになるときの変調信号Ｓ１及びＳ２の出力を＋１とし、励起光Ｌ１及びＬ２の照射がＯＦＦになるときの変調信号Ｓ１及びＳ２の出力を－１とする。そして、各変調信号Ｓ１及びＳ２について、出力が切り替わるタイミングで時間領域Ｒ１、Ｒ２、Ｒ３及びＲ４に分割する。変調信号Ｓ１と変調信号Ｓ２とでは、変調信号Ｓ２の方が出力の切り替えが多いので、変調信号Ｓ２の出力が切り替わるタイミングで時間領域Ｒ１、Ｒ２、Ｒ３及びＲ４に分割する。その結果、時間領域Ｒ１及びＲ３は、変調信号Ｓ２に対応する励起光Ｌ２の照射がＯＮになる期間に相当し、時間領域Ｒ２及びＲ４は、励起光Ｌ２の照射がＯＦＦになる期間に相当することとなる。
　そして、各時間領域Ｒ１、Ｒ２、Ｒ３及びＲ４について、変調信号Ｓ１の出力と変調信号Ｓ２の出力との積を計算する。時間領域Ｒ１においては、変調信号Ｓ１の出力が＋１であり、変調信号Ｓ２の出力も＋１であるので、これらの積は＋１である。一方、時間領域Ｒ２においては、変調信号Ｓ１の出力が＋１であり、変調信号Ｓ２の出力は－１であるので、これらの積は－１である。同様に計算すると、時間領域Ｒ３においては、変調信号Ｓ１及びＳ２の積は－１となり、時間領域Ｒ４においては、変調信号Ｓ１及びＳ２の積は＋１となる。そして、これら時間領域Ｒ１、Ｒ２、Ｒ３、及びＲ４における上記積の合計はゼロになる。これは、変調信号Ｓ１及びＳ２の間の内積がゼロになることを意味する。したがって、時間領域Ｒ４が経過したタイミングである復調タイミングＴＭ１（すなわち、変調信号Ｓ１の一周期Ｔ１が経過するタイミング）において、変調信号Ｓ１及びＳ２が互いに直交条件を満たすこととなる。
　上記の変調信号Ｓ１及びＳ２の関係は、変調信号Ｓ１、Ｓ２、及びＳ３のいずれの２つの変調信号の間においても成り立つ。したがって、各変調信号Ｓ１、Ｓ２、及びＳ３は、復調タイミングＴＭ１、ＴＭ２、…において互いに直交条件を満たす。復調タイミングＴＭ１、ＴＭ２、…は、上述したように、変調信号Ｓ１、Ｓ２、及びＳ３のうち、最も低い変調周波数を有する変調信号Ｓ１の一周期Ｔ１が経過するタイミングに一致する。このタイミングでは、変調信号Ｓ１、Ｓ２、及びＳ３の全てが常に互いに直交条件を満たす。直交条件を満たす変調信号の組み合わせのパターンは、センサ３５の規定フレーム数だけ存在する。本実施形態のように矩形波状の変調信号が用いられる例では、例えば、センサ３５の規定フレーム数が１６である場合、直交条件を満たす変調信号の組み合わせは最大で１６パターン存在する。つまり、規定フレーム数分だけ検出光を同時に検出できる。
　再び、図２を参照する。上述したように、復調タイミングＴＭ１、ＴＭ２、…においては、各復調信号Ｓ１１、Ｓ１２、及びＳ１３が正確に復調され、各復調信号Ｓ１１、Ｓ１２、及びＳ１３に基づいて各検出光Ｌ１１、Ｌ１２、及びＬ１３の画像が生成される。各検出光Ｌ１１、Ｌ１２、及びＬ１３の画像が生成されると、画像生成部７２（図１参照）は、生成した画像を更新して表示する。このとき、画像生成部７２は、更新前後の画像の比較結果に基づいて、励起光Ｌ１、Ｌ２、及びＬ３の照射の制御を行う。
　具体的には、画像生成部７２は、復調タイミングＴＭ２、ＴＭ３…毎に、各検出光Ｌ１１、Ｌ１２、及びＬ１３の画像について更新時の画像と更新前の画像とを比較する。更新時とは、各検出光Ｌ１１、Ｌ１２、及びＬ１３の画像が生成されるいずれかの復調タイミングＴＭ２、ＴＭ３…を意味する。更新前とは、更新時の復調タイミングよりも前のいずれかの復調タイミングＴＭ１、ＴＭ２、…を意味する。更新前の復調タイミングは、更新時の復調タイミングの直前の復調タイミングであってもよいし、更新時の復調タイミングの２つ前の復調タイミングであってもよいし、更新前後の画像の比較が最初に行われる復調タイミングＴＭ２に固定されてもよい。復調タイミングＴＭ１においては、比較対象となる更新前の画像が存在しないため、更新前後の画像の比較は行われない。したがって、復調タイミングＴＭ２において、更新前後の画像の比較が最初に行われる。
　本実施形態では、画像生成部７２は、更新時の復調タイミングに生成された画像と、更新時の復調タイミングの直前の復調タイミングに生成された画像とを比較する。本実施形態において、単に「画像」という場合、検出光Ｌ１１の画像、検出光Ｌ１２の画像、及び検出光Ｌ１３の画像のいずれかの画像を意味する。そして、比較対象となる更新前の画像は、更新時の画像中の検出光と同種の検出光の画像とする。例えば、「画像」が検出光Ｌ１１の画像を意図する場合、更新時の検出光Ｌ１１の画像と、更新前の検出光Ｌ１１の画像とが比較される。検出光Ｌ１２及びＬ１３についても同様である。
　画像生成部７２は、更新前後の画像を比較する際、更新時の画像と更新前の画像との差分値を算出する。「差分値」は、更新時の画像と更新前の画像との間の変化の大きさを示す。したがって、「差分値」が大きい場合、更新前後の画像の変化が大きいと判断でき、「差分値」が小さい場合、更新前後の画像の変化が小さいと判断できる。「差分値」は、更新前後の画像の変化の大きさが判断可能な指標であれば、いかなる指標であってもよい。本実施形態では、画像生成部７２は、更新時の画像のコントラストと、更新前の画像のコントラストとの間の平均二乗誤差を「差分値」として算出する。「差分値」は、更新時の画像のコントラストと更新前の画像のコントラストとの間の平均二乗誤差に限らず、更新時の画像のコントラストと更新前の画像のコントラストとの間の平均絶対誤差（ＭＡＥ：Mean Absolute Error）、平均絶対誤差率（ＭＡＰＥ：Mean Absolute Percentage Error）又は平均平方二乗誤差率（ＲＭＳＰＥ：Root Mean Squared Error）であってもよい。
　したがって、本実施形態では、画像生成部７２は、更新時の復調タイミングに生成された画像のコントラストと、当該復調タイミングの直前の復調タイミングに生成された画像のコントラストとの間の平均二乗誤差を、差分値として復調タイミングＴＭ２、ＴＭ３、…毎に算出する。そして、画像生成部７２は、算出した差分値が所定の閾値よりも小さいか否かを復調タイミングＴＭ２、ＴＭ３、…毎に判定する。画像生成部７２は、差分値が所定の閾値よりも小さいと判定した場合には、更新前後の画像の変化が小さいと判断する。一方、画像生成部７２は、差分値が所定の閾値よりも大きいと判定した場合には、更新前後の画像の変化が大きいと判断する。この画像生成部７２による画像変化の判定について、図４を用いてより具体的に説明する。
　図４は、画像生成部７２による画像変化の判定を説明するためのグラフである。図４は、検出光Ｌ１２の画像変化の判定が行われる場合を示している。図４に示すグラフＧ１は、復調タイミングＴＭ２、ＴＭ３、…毎に算出される差分値の変化を示している。ここでの「差分値」は、或る復調タイミングで生成された検出光Ｌ１２の画像のコントラストと、当該或る復調タイミングの直前の復調タイミングで生成された検出光Ｌ１２の画像のコントラストと、の間の平均二乗誤差である。図４において、縦軸は二乗平均誤差を示しており、横軸は時間を示している。図４には、差分値が算出される各復調タイミングＴＭ２、ＴＭ３、…が示されている。
　図４に示す復調タイミングＴＭ２においては、画像生成部７２は、復調タイミングＴＭ２に生成された検出光Ｌ１２の画像と、復調タイミングＴＭ２の直前の復調タイミングＴＭ１に生成された検出光Ｌ１２の画像との差分値を最初に算出する。そして、画像生成部７２は、算出した差分値が所定の閾値Ｅｔよりも小さいか否かを判定する。閾値Ｅｔは、検出光Ｌ１２の更新前後の画像の変化が十分に小さいか否かを判定するための基準値である。図４に示す例では、閾値Ｅｔは２に設定されている。
　復調タイミングＴＭ２では、画像生成部７２は、差分値は閾値Ｅｔ以上であると判定する。この場合、検出光Ｌ１２の画像について更新を繰り返せば、検出光Ｌ１２の画像の精度が向上する余地が大きいと考えられる。したがって、画像生成部７２は、差分値は閾値Ｅｔ以上であると判定した場合には、励起光Ｌ２の照射の制御を行わず、次の復調タイミングＴＭ３において同様に差分値を算出し、上述した画像変化の判定を繰り返す。
　図４に示すように、算出された差分値は、復調タイミングＴＭ２、ＴＭ３、…が経過する度に徐々に小さくなっていることが分かる。つまり、検出光Ｌ１２の更新前後の画像の変化が徐々に小さくなっている。そして、復調タイミングＴＭ７において、差分値が閾値Ｅｔよりも小さくなっている。したがって、復調タイミングＴＭ７では、画像生成部７２は、復調タイミングＴＭ７（第１の復調タイミング）に生成された検出光Ｌ１２の画像と、復調タイミングＴＭ７の直前の復調タイミングＴＭ６（第２の復調タイミング）に生成された検出光Ｌ１２の画像との差分値が閾値Ｅｔよりも小さいと判定する。この場合、画像生成部７２は、検出光Ｌ１２の更新前後の画像の変化が十分に小さくなったと判断する。検出光Ｌ１２の更新前後の画像の変化が十分に小さくなれば、検出光Ｌ１２の画像について更新を繰り返しても、検出光Ｌ１２の画像の精度が向上する余地は小さいと考えられる。
　そこで、画像生成部７２は、差分値が閾値Ｅｔよりも小さいと判定した復調タイミングＴＭ７以降、検出光Ｌ１２に対応する励起光Ｌ２の照射をＯＦＦに設定し、検出光Ｌ１２の画像の生成を終了する。画像生成部７２は、例えば、励起光Ｌ２のＯＮ／ＯＦＦを切り替える変調信号Ｓ２を調整することによって、復調タイミングＴＭ７以降における励起光Ｌ２の照射をＯＦＦに設定する。すなわち、図２の（ｂ）に示すように、画像生成部７２は、復調タイミングＴＭ７以降の期間において励起光Ｌ２の照射が全てＯＦＦに設定されるように、変調信号Ｓ２を調整する。これにより、復調タイミングＴＭ７以降、励起光Ｌ２の照射が全てＯＦＦになる。
　以上、画像生成部７２による画像変化の判定について、検出光Ｌ１２の画像に着目して説明したが、他の検出光Ｌ１１及びＬ１３の画像についても同様に行われる。画像生成部７２は、検出光Ｌ１３の画像について画像変化の判定を行う場合、更新前後の画像の差分値の判定が最初に行われる復調タイミングＴＭ２において、復調タイミングＴＭ２（第１の復調タイミング）に生成された検出光Ｌ１３の画像と、復調タイミングＴＭ２の直前の復調タイミングＴＭ１（第２の復調タイミング）に生成された検出光Ｌ１３の画像との差分値が閾値Ｅｔよりも小さいと判定する。このため、画像生成部７２は、復調タイミングＴＭ２以降、検出光Ｌ１３に対応する励起光Ｌ３の照射をＯＦＦに設定する。したがって、図２の（ｃ）に示すように、励起光Ｌ３に対応する変調信号Ｓ３が、復調タイミングＴＭ２以降の期間において励起光Ｌ３の照射が全てＯＦＦになるように設定されている。
　図２の（ｂ）及び図２の（ｃ）に示すように、励起光Ｌ３がＯＦＦに設定される復調タイミングＴＭ２は、励起光Ｌ２がＯＦＦに設定される復調タイミングＴＭ７よりも前である。これは、検出光Ｌ１３の光量が検出光Ｌ１２の光量よりも大きいことに起因する。つまり、大きな光量を有する検出光Ｌ１３の画像は、Ｓ／Ｎ比が高いので、比較的早いタイミングで画像の変化が小さくなる。このため、画像生成部７２は、復調タイミングＴＭ２以降、励起光Ｌ３の照射がＯＦＦになるように設定し、検出光Ｌ１３の画像の生成を終了する。
　一方、検出光Ｌ１１の光量は、検出光Ｌ１２の光量よりも小さいため、画像の変化が小さくなるタイミングが比較的遅くなる。したがって、検出光Ｌ１１の画像については、図２の（ａ）に示すように、励起光Ｌ２がＯＦＦに設定される復調タイミングＴＭ７よりも後になる。検出光Ｌ１１の画像については、復調タイミングＴＭ７よりも後の復調タイミングで、励起光Ｌ１の照射がＯＦＦに設定されることもあるし、規定フレーム数に達するまで励起光Ｌ１の照射がＯＦＦに設定されないこともある。
　したがって、検出光Ｌ１１の画像、検出光Ｌ１２の画像、及び検出光Ｌ１３の画像のうち、検出光Ｌ１３の画像の生成が終了する復調タイミングＴＭ２が最も早く到来する。そして、検出光Ｌ１３の画像の生成が終了した後に、検出光Ｌ１２の画像の生成が終了する復調タイミングＴＭ７が到来する。画像生成部７２は、検出光Ｌ１３の画像の生成が終了する復調タイミングＴＭ２から、検出光Ｌ１２の画像の生成が終了する復調タイミングＴＭ７までの期間においては、検出光Ｌ１１及びＬ１２の画像の生成を継続する。そして、画像生成部７２は、検出光Ｌ１２の画像の生成が終了する復調タイミングＴＭ７以降の期間においては、検出光Ｌ１１の画像の生成のみを継続する。
　画像生成部７２は、復調タイミングＴＭ２以降の期間に検出光Ｌ１１の画像を生成する際、復調タイミングＴＭ２以降の期間に検出された検出信号Ｓに含まれる画像データ（すなわ、復調タイミングＴＭ２以降の期間に得られるフレーム）を用いて、検出光Ｌ１１の画像を生成する。画像生成部７２は、復調タイミングＴＭ２以降の期間に検出光Ｌ１２の画像を生成する際、復調タイミングＴＭ２から復調タイミングＴＭ７までの期間に検出された検出信号Ｓに含まれる画像データ（すなわち、復調タイミングＴＭ２から復調タイミングＴＭ７までの期間に得られるフレーム）を用いて、検出光Ｌ１２の画像を生成する。
　続いて、上述した観察装置１を用いて実施される観察方法について説明する。図５は、本実施形態に係る観察方法を示すフローチャートである。図６は、図５に示す画像処理ステップの詳細を示すフローチャートである。
　まず、照射部１０は、互いに異なる波長λ１、λ２、及びλ３を有し、且つ互いに異なる変調条件Ｍ１、Ｍ２、及びＭ３でそれぞれ変調された励起光Ｌ１、Ｌ２、及びＬ３を、試料Ｔに同時に照射する（照射ステップＰ１）。このとき、変調信号生成部１６は、各励起光Ｌ１、Ｌ２、及びＬ３を変調させる各変調信号Ｓ１、Ｓ２、及びＳ３を生成し、各変調信号Ｓ１、Ｓ２、及びＳ３を各光源１１、１２、及び１３に出力する。その結果、変調条件Ｍ１で変調された励起光Ｌ１が光源１１から出力され、変調条件Ｍ２で変調された励起光Ｌ２が光源１２から出力され、変調条件Ｍ３で変調された励起光Ｌ３が光源１３から出力される。これら励起光Ｌ１、Ｌ２、及びＬ３は、導光光学系２０によって試料Ｔに同時に照射される。
　次に、検出部４０は、励起光Ｌ１、Ｌ２、及びＬ３の照射に伴って試料Ｔから発生した検出光Ｌ１１、Ｌ１２、及びＬ１３を同時に検出する（検出ステップＰ２）。具体的には、試料Ｔから発生した検出光Ｌ１１、Ｌ１２、及びＬ１３が、導光光学系３０によってセンサ３５に導光される。そして、センサ３５は、検出光Ｌ１１、Ｌ１２、及びＬ１３の光像を示す検出信号Ｓを出力する。
　次に、画像処理部７０は、検出信号Ｓに基づいて検出光Ｌ１１、Ｌ１２、及びＬ１３の画像をそれぞれ生成する（画像処理ステップＰ３）。具体的には、信号復調部７１が、変調信号Ｓ１、Ｓ２、及びＳ３に基づいて、検出信号Ｓから復調信号Ｓ１１、Ｓ１２、及びＳ１３を復調タイミングＴＭ１、ＴＭ２、…毎に復調する。そして、画像生成部７２が、各復調信号Ｓ１１、Ｓ１２、及びＳ１３に基づいて、各検出光Ｌ１１、Ｌ１２、及びＬ１３の画像を生成する。複数の復調タイミングＴＭ１、ＴＭ２、…が設定されている場合、検出光Ｌ１１の画像は、復調タイミングＴＭ１、ＴＭ２、…毎に生成される複数の復調信号Ｓ１１を平均処理もしくは加算処理することにより生成されてもよいし、復調タイミングＴＭ１、ＴＭ２、…毎に生成されてもよい。同様に、検出光Ｌ１２の画像は、復調タイミングＴＭ１、ＴＭ２、…毎に生成される複数の復調信号Ｓ１２を平均処理もしくは加算処理することにより生成されてもよいし、復調タイミングＴＭ１、ＴＭ２、…毎に生成されてもよい。同様に、検出光Ｌ１３の画像は、復調タイミングＴＭ１、ＴＭ２、…毎に生成される複数の復調信号Ｓ１３を平均処理もしくは加算処理することにより生成されてもよいし、復調タイミングＴＭ１、ＴＭ２、…毎に生成されてもよい。
　検出光Ｌ１１、Ｌ１２、及びＬ１３の画像が復調タイミングＴＭ１、ＴＭ２、…毎に生成される場合、図６に示すように、まず、画像生成部７２は、復調タイミングＴＭ２において各検出光Ｌ１１、Ｌ１２、及びＬ１３の画像を更新する（ステップＰ３１）。次に、画像生成部７２は、各検出光Ｌ１１、Ｌ１２、及びＬ１３の画像について、更新前後の画像の差分値を復調タイミングＴＭ２に算出する（ステップＰ３２）。具体的には、画像生成部７２は、復調タイミングＴＭ２に生成された画像のコントラストと、復調タイミングＴＭ２の直前の復調タイミングＴＭ１に生成された画像のコントラストと、の間の平均二乗誤差を差分値として算出する。
　次に、画像生成部７２は、復調タイミングＴＭ２において、算出した差分値が所定の閾値Ｅｔよりも小さいか否かを判定する（ステップＰ３３）。画像生成部７２は、差分値が閾値Ｅｔよりも小さいと判定した場合（ステップＰ３３においてＹｅｓ）、復調タイミングＴＭ２以降、判定した画像中の検出光に対応する励起光の照射をＯＦＦに設定し、その検出光の画像の生成を終了する（ステップＰ３４）。一方、画像生成部７２は、差分値が閾値Ｅｔ以上であると判定した場合（ステップＰ３３においてＮｏ）には、励起光の照射の制御は行わない。
　本実施形態では、画像生成部７２は、復調タイミングＴＭ２において、検出光Ｌ１３の画像についての差分値が閾値Ｅｔよりも小さいと判定し、検出光Ｌ１３の画像の生成を終了する。一方、画像生成部７２は、他の検出光Ｌ１１及びＬ１２の画像については、差分値が閾値Ｅｔ以上であると判定し、検出光Ｌ１１及びＬ１２の画像の生成を継続する。その後、画像生成部７２は、全てのフレームが処理されたか否かを判定する（ステップＰ３５）。画像生成部７２は、全てのフレームが処理されたと判定した場合（ステップＰ３５においてＹｅｓ）には、全ての画像の生成を終了する。一方、画像生成部７２は、全てのフレームが処理されていないと判定した場合（ステップＰ３５においてＮｏ）には、次の復調タイミングＴＭ３においてステップＰ３１～ステップＰ３５が繰り返される。以上の過程を経て、最終的な各検出光Ｌ１１、Ｌ１２、及びＬ１３の画像が得られる。
　続いて、図７、図８、図９、及び図１０に示すシミュレーションを参照しながら、上述した観察装置１及び観察方法の作用効果について説明する。図７は、実施例及び比較例のシミュレーション条件を説明するための図である。
　図７に示すように、励起光Ｌ１、Ｌ２、及びＬ３の照射に伴って試料Ｔから発生する検出光Ｌ１１、Ｌ１２、及びＬ１３が順に左右に並んで配置されている。本実施形態と同様、検出光Ｌ１３の光量が最も大きく、検出光Ｌ１２の光量が検出光Ｌ１３の光量よりも小さく、検出光Ｌ１１の光量が最も小さくなっている。例えば、検出光Ｌ１３の光量が２００［光子/フレーム］に設定され、検出光Ｌ１２の光量が１０［光子/フレーム］に設定され、検出光Ｌ１１の光量が２［光子/フレーム］に設定される。
　図８は、比較例のシミュレーション条件を示す図である。図８の（ａ）は、変調信号Ｓ１に対応する変調信号Ｓ１０１を示している。図８の（ｂ）は、変調信号Ｓ２に対応する変調信号Ｓ１０２を示している。図８の（ｃ）は、変調信号Ｓ３に対応する変調信号Ｓ１０３を示している。比較例では、上述した画像生成部７２による画像変化の判定が行われない。したがって、各変調信号Ｓ１０１、Ｓ１０２、及びＳ１０３には、各変調信号Ｓ１、Ｓ２、及びＳ３とは異なり、或る復調タイミング以降に励起光の照射が全てＯＦＦに設定される期間、が設けられていない。
　図９は、比較例のシミュレーション結果を示す図である。図９の（ａ）は、変調信号Ｓ１０１に対応する検出光Ｌ１１の画像を示している。図９の（ｂ）は、変調信号Ｓ１０２に対応する検出光Ｌ１２の画像を示している。図９の（ｃ）は、変調信号Ｓ１０３に対応する検出光Ｌ１３の画像を示している。図９の（ａ）及び図９の（ｂ）に示すように、検出光Ｌ１１及びＬ１２の画像には、大きなショットノイズ成分Ｎ１１３がそれぞれ現れていることが分かる。これは、検出光Ｌ１１及びＬ１２の画像を生成する際に、検出光Ｌ１３のショットノイズ成分Ｎ１１３が、検出光Ｌ１１及びＬ１２の画像の生成に用いられる復調信号にそれぞれ重畳したことに起因する。
　本シミュレーションのように、検出光Ｌ１３の光量と、検出光Ｌ１１及びＬ１２の光量との間に差がある場合、光量の大きい検出光Ｌ１３のショットノイズ成分Ｎ１１３が、光量の小さい検出光Ｌ１１及び検出光Ｌ１２の画像にそれぞれ現れる傾向がある（図９の（ａ）及び図９の（ｂ）参照）。更に、本シミュレーションのように、検出光Ｌ１２の光量と、検出光Ｌ１１の光量との間に差がある場合、光量の大きい検出光Ｌ１２のショットノイズ成分Ｎ１１２が、光量の小さい検出光Ｌ１１の画像に現れる傾向がある（図９の（ａ）参照）。
　一方、図１０は、実施例のシミュレーション結果を示す図である。実施例では、本実施形態と同じ変調信号Ｓ１、Ｓ２、及びＳ３（図２参照）が用いられ、上述した画像生成部７２による画像変化の判定が行われる。したがって、図２の（ｂ）に示す変調信号Ｓ２のように、復調タイミングＴＭ７以降、励起光Ｌ２の照射がＯＦＦになるように設定されている。更に、図２の（ｃ）に示す変調信号Ｓ３のように、復調タイミングＴＭ２以降、励起光Ｌ３の照射がＯＦＦになるように設定されている。その他の条件は比較例と同じである。図１０の（ａ）は、変調信号Ｓ１に対応する検出光Ｌ１１の画像を示している。図１０の（ｂ）は、変調信号Ｓ２に対応する検出光Ｌ１２の画像を示している。図１０の（ｃ）は、変調信号Ｓ３に対応する検出光Ｌ１３の画像を示している。
　図１０の（ａ）及び図１０の（ｂ）に示すように、検出光Ｌ１１及びＬ１２の画像にそれぞれ現れる検出光Ｌ１３のショットノイズ成分Ｎ１３が、比較例のシミュレーション結果（すなわち、図９の（ａ）及び図９の（ｂ）に示すショットノイズ成分Ｎ１１３）と比べて、大きく低減されていることが分かる。同様に、図１０の（ａ）に示すように、検出光Ｌ１１の画像に現れる検出光Ｌ１２のショットノイズ成分Ｎ１２が、比較例のシミュレーション結果（すなわち、図９の（ａ）に示すショットノイズ成分Ｎ１１２）と比べて、大きく低減されていることが分かる。
　検出光Ｌ１３のショットノイズ成分Ｎ１３は、検出光Ｌ１３の光量に応じて大きくなる。上述したように、検出光Ｌ１３に対応する励起光Ｌ３がＯＮになる期間では、検出光Ｌ１３が発光する一方、励起光Ｌ３がＯＦＦになる期間では、検出光Ｌ１３が発光しないか、極めて小さい光量の検出光Ｌ１３が発光する。したがって、励起光Ｌ３がＯＮになる期間では、検出光Ｌ１３の光量が比較的大きくなり、これに応じて、検出光Ｌ１３のショットノイズ成分Ｎ１３も大きくなる。一方、励起光Ｌ３がＯＦＦになる期間では、検出光Ｌ１３の光量が極めて小さいため、これに応じて、検出光Ｌ１３のショットノイズ成分Ｎ１３も小さくなる。検出光Ｌ１２のショットノイズ成分Ｎ１２についても、同様である。
　そこで、本実施形態に係る観察装置１及び観察方法では、上述したように、復調タイミングＴＭ２において検出光Ｌ１３の画像が生成される際、復調タイミングＴＭ２で生成された検出光Ｌ１３の画像と、復調タイミングＴＭ１で生成された検出光Ｌ１３の画像との間の差分値が、所定の閾値Ｅｔよりも小さくなったときに、復調タイミングＴＭ２以降において、検出光Ｌ１３に対応する励起光Ｌ３の照射がＯＦＦに設定される。このように励起光Ｌ３の照射がＯＦＦに設定されることによって、復調タイミングＴＭ２以降に検出される検出光Ｌ１３のショットノイズ成分Ｎ１３を低減できる。これにより、図１０の（ａ）及び図１０の（ｂ）に示すように、復調タイミングＴＭ２以降に生成される他の検出光Ｌ１１及びＬ１２の画像に、検出光Ｌ１３のショットノイズ成分Ｎ１３が現れる事態を抑制できる。
　検出光Ｌ１２の画像についても同様に、復調タイミングＴＭ７において検出光Ｌ１２の画像が生成される際、復調タイミングＴＭ７で生成された検出光Ｌ１２の画像と、復調タイミングＴＭ６で生成された検出光Ｌ１２の画像と、の間の差分値が所定の閾値Ｅｔよりも小さくなったときに、復調タイミングＴＭ７以降において、検出光Ｌ１２に対応する励起光Ｌ２の照射がＯＦＦに設定される。このように励起光Ｌ２の照射がＯＦＦに設定されることによって、復調タイミングＴＭ７以降に検出される検出光Ｌ１２のショットノイズ成分Ｎ１２を低減できる。これにより、図１０の（ａ）に示すように、復調タイミングＴＭ７以降に生成される検出光Ｌ１１の画像に、検出光Ｌ１２のショットノイズ成分Ｎ１２が現れる事態を抑制できる。
　更に、復調タイミングＴＭ２において生成された検出光Ｌ１３の画像と、復調タイミングＴＭ１において生成された検出光Ｌ１３の画像との間の差分値が、所定の閾値Ｅｔよりも小さくなっていれば、これらの画像の変化が小さいと判断できる。したがって、復調タイミングＴＭ２以降において検出光Ｌ１３に対応する励起光Ｌ３の照射がＯＦＦに設定されても、生成された検出光Ｌ１３の画像の精度に与える影響は小さい。検出光Ｌ１２の画像についても同様に、復調タイミングＴＭ７において生成された検出光Ｌ１２の画像と、復調タイミングＴＭ６において生成された検出光Ｌ１２の画像との間の差分値が、所定の閾値Ｅｔよりも小さくなっていれば、これらの画像の変化が小さいと判断できるので、復調タイミングＴＭ７以降において検出光Ｌ１２に対応する励起光Ｌ２の照射がＯＦＦに設定されても、生成された検出光Ｌ１２の画像の精度に与える影響は小さい。
　更に、各変調信号Ｓ１、Ｓ２、及びＳ３は、復調タイミングＴＭ１、ＴＭ２、…において互いに直交条件を満たすように設定されているので、各変調信号Ｓ１、Ｓ２、及びＳ３に対応する各復調信号Ｓ１１、Ｓ１２、及びＳ１３を検出信号Ｓから正確に復調できる。したがって、本実施形態に係る観察装置１及び観察方法によれば、検出光Ｌ１３のショットノイズ成分Ｎ１３が他の検出光Ｌ１１、Ｌ１２、及びＬ１３の画像に現れる事態を抑制しつつ、各検出光Ｌ１１、Ｌ１２、及びＬ１３の画像を正確に復調できる。すなわち、各検出光Ｌ１１、Ｌ１２、及びＬ１３の正確な画像を得ることができる。
　本実施形態では、照射部１０は、変調信号Ｓ１、Ｓ２、及びＳ３を生成する変調信号生成部１６を有している。この構成では、所望の各変調信号Ｓ１、Ｓ２、及びＳ３を容易に得ることができる。
　本実施形態では、各変調信号Ｓ１、Ｓ２、及びＳ３は、各励起光Ｌ１、Ｌ２、及びＬ３の照射のＯＮ／ＯＦＦを切り替えるように各励起光Ｌ１、Ｌ２、及びＬ３を変調させる矩形波状の変調パターンである。この構成では、復調タイミングＴＭ１、ＴＭ２、…において互いに直交条件を満たす各変調信号Ｓ１、Ｓ２、及びＳ３を好適に設定できる。
　本実施形態では、検出光Ｌ１１及びＬ１２は、検出光Ｌ１３よりも小さい光量を有する。ショットノイズ成分は、光量の大きい検出光から光量の小さい検出光の画像に現れやすい。これに対し、本実施形態では、光量の大きい検出光Ｌ１３のショットノイズ成分Ｎ１３が、光量の小さい検出光Ｌ１１及びＬ１２の画像に現れる事態を抑制できるので、上述した効果を好適に奏する。
　本実施形態では、検出光Ｌ１３は、複数の検出光Ｌ１１、Ｌ１２、及びＬ１３の中で最も大きい光量を有している。ショットノイズ成分は、光量の大きい検出光から光量の小さい検出光の画像に現れやすく、それらの検出光の光量差が大きくなるほど大きくなる。これに対し、本実施形態では、光量の最も大きい検出光Ｌ１３のショットノイズ成分Ｎ１３が、光量の小さい検出光Ｌ１１及びＬ１２の画像に現れる事態を抑制できるので、上述した効果をより好適に奏する。
　本実施形態では、画像処理部７０は、復調タイミングＴＭ２以降において検出光Ｌ１３に対応する励起光Ｌ３の照射をＯＦＦに設定した場合に、復調タイミングＴＭ２以降に検出された検出信号Ｓに含まれる画像データを用いて、検出光Ｌ１１及びＬ１２の画像を生成している。上述したように、復調タイミングＴＭ２以降においては、検出光Ｌ１３に対応する励起光Ｌ３の照射がＯＦＦに設定されているので、復調タイミングＴＭ２以降に検出された検出信号Ｓに含まれる画像データには、検出光Ｌ１３が含まれないか、或いは、極めて小さい光量の検出光Ｌ１３が含まれる。したがって、この画像データを用いて検出光Ｌ１１及びＬ１２を生成すれば、検出光Ｌ１３のショットノイズ成分Ｎ１３が検出光Ｌ１１及びＬ１２の画像にそれぞれ現れる事態を効果的に抑制できる。
　本実施形態では、画像処理部７０は、復調タイミングＴＭ７以降において検出光Ｌ１２に対応する励起光Ｌ２の照射をＯＦＦに設定した場合に、復調タイミングＴＭ７以降に検出された検出信号Ｓに含まれる画像データを用いて、検出光Ｌ１１の画像を生成している。上述したように、復調タイミングＴＭ７以降においては、検出光Ｌ１２に対応する励起光Ｌ２の照射がＯＦＦに設定されているので、復調タイミングＴＭ７以降に検出された検出信号Ｓに含まれる画像データには、検出光Ｌ１２が含まれないか、或いは、極めて小さい光量の検出光Ｌ１２が含まれる。したがって、この画像データを用いて検出光Ｌ１１の画像を生成すれば、検出光Ｌ１２のショットノイズ成分Ｎ１２が検出光Ｌ１１の画像に現れる事態を効果的に抑制できる。
　本実施形態では、検出光Ｌ１３の画像変化の判定が行われる際、比較対象の検出光Ｌ１３の画像が生成される復調タイミングＴＭ１は、更新時の検出光Ｌ１３の画像が生成される復調タイミングＴＭ２の直前の復調タイミングである。これにより、復調タイミングＴＭ２で生成された検出光Ｌ１３の画像と、復調タイミングＴＭ１で生成された検出光Ｌ１３の画像と、の間の画像の変化が小さいか否かの判断を容易に行うことができる。同様に、検出光Ｌ１２の画像変化の判定が行われる際、比較対象の検出光Ｌ１２の画像が生成される復調タイミングＴＭ６は、更新時の検出光Ｌ１２の画像が生成される復調タイミングＴＭ７の直前の復調タイミングである。これにより、復調タイミングＴＭ７で生成された検出光Ｌ１２の画像と、復調タイミングＴＭ６で生成された検出光Ｌ１２の画像と、の間の画像の変化が小さいか否かの判断を容易に行うことができる。
　以上、本開示の一実施形態について説明したが、本開示は上記実施形態に限定されず、種々の変更を行うことができる。
　図１１は、画像生成部７２による画像生成処理の変形例を示す図である。図１１の（ａ）、図１１の（ｂ）、及び図１１の（ｃ）は、変調信号Ｓ１、Ｓ２、及びＳ３をそれぞれ示している。図１１の（ａ）、図１１の（ｂ）、及び図１１の（ｃ）には、各変調信号Ｓ１、Ｓ２、及びＳ３に対応する各検出光Ｌ１１、Ｌ１２、及びＬ１３の画像の生成に用いられるフレームの範囲が、ドット柄のハッチングで併せて示されている。上述した実施形態では、各検出光Ｌ１１、Ｌ１２、及びＬ１３の画像が生成される際、各検出光Ｌ１１、Ｌ１２、及びＬ１３に対応する各復調信号Ｓ１１、Ｓ１２、及びＳ１３の全フレームが用いられる場合を説明した。一方、本変形例では、各検出光Ｌ１１、Ｌ１２、及びＬ１３の画像が生成される際、各復調信号Ｓ１１、Ｓ１２、及びＳ１３の一部のフレームのみが用いられる。
　図１１の（ｃ）に示すように、変調信号Ｓ３に対応する検出光Ｌ１３の画像が生成される際には、上記実施形態と同様、検出光Ｌ１３の画像が生成されてから検出光Ｌ１３の画像の生成が終了する復調タイミングＴＭ２までの期間Ｔ３Ａ内の全てのフレームが用いられる。復調タイミングＴＭ２以降の期間Ｔ３Ｂにおいては、検出光Ｌ１３の画像の生成が終了している。
　図１１の（ｂ）に示すように、変調信号Ｓ２に対応する検出光Ｌ１２の画像が生成される際には、検出光Ｌ１３の画像の生成が終了する復調タイミングＴＭ２から、検出光Ｌ１２の画像の生成が終了する復調タイミングＴＭ７までの期間Ｔ２Ｂについては全てのフレームが用いられる。一方、検出光Ｌ１２の画像が生成されてから、検出光Ｌ１３の画像の生成が終了する復調タイミングＴＭ２までの期間Ｔ２Ａについては一部のフレームのみが用いられる。当該一部のフレームは、図１１の（ｂ）に示す時間領域Ｒ１１内に得られたフレームであり、検出光Ｌ１２の画像の生成に用いられる。復調タイミングＴＭ７以降の期間Ｔ２Ｃでは、検出光Ｌ１２の画像の生成が終了している。
　図１１の（ａ）に示すように、変調信号Ｓ１に対応する検出光Ｌ１１の画像が生成される際には、検出光Ｌ１３の画像の生成が終了する復調タイミングＴＭ２以降の期間Ｔ１Ｂについては全てのフレームが用いられる。一方、検出光Ｌ１１の画像が生成されてから、検出光Ｌ１３の画像の生成が終了する復調タイミングＴＭ２までの期間Ｔ１Ａについては一部のフレームのみが用いられる。当該一部のフレームは、図１１の（ａ）に示す時間領域Ｒ１１内に得られたフレームであり、検出光Ｌ１１の画像の生成に用いられる。図１１の（ａ）に示す時間領域Ｒ１１は、図１１の（ｂ）に示す時間領域Ｒ１１と一致する。
　図１２は、図１１の一部を拡大した拡大図である。図１２では、図１２の（ａ）に示す変調信号Ｓ１と、図１２の（ｂ）に示す変調信号Ｓ３とが示され、変調信号Ｓ２は省略して示されている。図１２の（ａ）及び図１２の（ｂ）に示すように、時間領域Ｒ１１は、変調信号Ｓ３における期間ＴＡに一致している。期間ＴＡは、変調信号Ｓ３に対応する励起光Ｌ３の照射がＯＦＦに設定される期間である。したがって、検出光Ｌ１１の画像が生成される際、期間Ｔ１Ａにおいては、励起光Ｌ３の照射がＯＦＦに設定される時間領域Ｒ１１内のフレームのみが用いられ、励起光Ｌ３の照射がＯＦＦに設定されない時間領域（期間Ｔ１Ａのうち時間領域Ｒ１１以外の時間領域）内のフレームは用いられない。期間Ｔ１Ａのうちの時間領域Ｒ１１以外の時間領域内のフレームを用いない検出光Ｌ１１の画像の生成は、例えば、以下の手法によって行うことができる。信号復調部７１は、検出信号Ｓを復調する際、例えば、センサ３５から出力される検出信号Ｓのうち、変調信号Ｓ１における期間Ｔ１Ａ内の時間領域Ｒ１１以外の時間領域に対応する検出信号Ｓに、常に同一の係数（例えば、“０”）を乗じる。これにより、当該時間領域において変調信号Ｓ１がＯＮ／ＯＦＦのいずれであるかに関わらず、当該時間領域内のフレームを考慮せずに復調信号Ｓ１１を生成できる。従って、この復調信号Ｓ１１に基づいて検出光Ｌ１１の画像の生成を行えば、期間Ｔ１Ａのうちの時間領域Ｒ１１以外の時間領域内のフレームを用いずに検出光Ｌ１１の画像を生成できる。
　図１２の（ａ）に示す時間領域Ｒ１１は、図１１の（ｂ）に示す変調信号Ｓ２に対応する検出光Ｌ１２を生成する際にも同様に設定される。したがって、検出光Ｌ１２の画像が生成される際、励起光Ｌ３の照射がＯＦＦになる時間領域Ｒ１１内のフレームのみが用いられ、励起光Ｌ３の照射がＯＦＦにならない時間領域（期間Ｔ２Ａのうち時間領域Ｒ１１以外の時間領域）のフレームは用いられない。時間領域Ｒ１１では、励起光Ｌ３の照射がＯＦＦになっているので、時間領域Ｒ１１に得られたフレームには、検出光Ｌ１３が含まれないか、或いは、極めて小さい光量の検出光Ｌ１３が含まれる。したがって、このフレームを用いて検出光Ｌ１１及びＬ１２の画像を生成すれば、検出光Ｌ１３のショットノイズ成分Ｎ１３が検出光Ｌ１１及びＬ１２の画像に現れる事態を効果的に抑制できる。期間Ｔ２Ａのうちの時間領域Ｒ１１以外の時間領域内のフレームを用いない検出光Ｌ１２の画像の生成は、上述した手法（すなわち、期間Ｔ１Ａのうちの時間領域Ｒ１１以外の時間領域内のフレームを用いずに検出光Ｌ１１の画像を生成する手法）と同様に行うことができる。
　図１３は、本変形例のシミュレーション結果を示す図である。このシミュレーションにおいても、図７に示すシミュレーションと同様の条件を設定する。図１３の（ａ）は、変調信号Ｓ１に対応する検出光Ｌ１１の画像を示している。図１３の（ｂ）は、変調信号Ｓ２に対応する検出光Ｌ１２の画像を示している。図１３の（ｃ）は、変調信号Ｓ３に対応する検出光Ｌ１３の画像を示している。図１３の（ａ）及び図１３の（ｂ）に示すように、検出光Ｌ１３のショットノイズ成分Ｎ１３は、図１０の（ａ）及び図１０の（ｂ）に示すシミュレーション結果よりも、更に低減されていることが分かる。このように、本変形例によれば、検出光Ｌ１３のショットノイズ成分Ｎ１３を大きく低減できる。
　図１４は、図１１に示す変形例の更なる変形例を示す図である。図１４の（ａ）及び図１４の（ｂ）に示す変形例では、図１１に示す変形例と同様、検出光Ｌ１１及びＬ１２の画像が生成される際、検出光Ｌ１３の画像の生成が終了する復調タイミングＴＭ２以前の期間Ｔ１Ａ及びＴ２Ａにおいて、一部の時間領域Ｒ１に得られたフレームが用いられる。更に、図１４に示す変形例では、検出光Ｌ１１の画像が生成される際、検出光Ｌ１３の画像の生成が終了する復調タイミングＴＭ２から検出光Ｌ１２の画像の生成が終了する復調タイミングＴＭ７までの期間Ｔ１Ｃにおいても、一部の時間領域Ｒ１２に得られたフレームが用いられる。検出光Ｌ１２の画像の生成が終了する復調タイミングＴＭ７以降の期間Ｔ１Ｄにおいては、図１１に示す変形例と同様、全てのフレームが用いられる。
　図１５は、図１４の一部を拡大した拡大図である。図１５の（ａ）及び図１５の（ｂ）に示すように、検出光Ｌ１３の画像の生成が終了する復調タイミングＴＭ２以前の期間Ｔ１Ａ及びＴ２Ａにおいては、図１１に示す変形例と同一の時間領域Ｒ１１がそれぞれ設定されている。更に、本変形例では、図１５の（ａ）に示すように、検出光Ｌ１３の画像の生成が終了する復調タイミングＴＭ２から、検出光Ｌ１２の画像の生成が終了する復調タイミングＴＭ７までの期間Ｔ１Ｃに、時間領域Ｒ１２が設定されている。時間領域Ｒ１２は、期間Ｔ１Ｃのうち、検出光Ｌ１１の画像を生成するためのフレームが用いられる期間を示している。時間領域Ｒ１２は、図１５の（ｂ）に示す期間ＴＢに一致する。期間ＴＢは、変調信号Ｓ２に対応する励起光Ｌ２の照射がＯＦＦに設定される期間である。
　したがって、本変形例では、検出光Ｌ１１の画像が生成される際、期間Ｔ１Ｃにおいては、励起光Ｌ２の照射がＯＦＦになる時間領域Ｒ１２内のフレームが用いられ、励起光Ｌ２の照射がＯＦＦにならない時間領域（期間Ｔ１Ｃのうち時間領域Ｒ１２以外の時間領域）のフレームは用いられない。変調信号Ｓ２の変調周波数は、変調信号Ｓ３の変調周波数よりも低いため、変調信号Ｓ２に対応する励起光Ｌ２がＯＦＦになる期間ＴＢは、変調信号Ｓ３に対応する励起光Ｌ３がＯＦＦになる期間ＴＡよりも長くなる。このため、期間ＴＢに対応する時間領域Ｒ１２は、期間ＴＡに対応する時間領域Ｒ１１よりも長くなっている。期間Ｔ１Ｃのうちの時間領域Ｒ１２以外の時間領域内のフレームを用いない検出光Ｌ１１の画像の生成は、図１１に示す変形例における上述した手法（すなわち、期間Ｔ１Ａのうちの時間領域Ｒ１１以外の時間領域内のフレームを用いずに検出光Ｌ１１の画像を生成する手法）と同様に行うことができる。
　本変形例によれば、図１１に示す変形例と同様、検出光Ｌ１１及びＬ１２の画像が生成される際、検出光Ｌ１３の画像の生成が終了する復調タイミングＴＭ２以降において、励起光Ｌ３の照射がＯＦＦになる時間領域Ｒ１１に得られたフレームが用いられるので、検出光Ｌ１３のショットノイズ成分Ｎ１３が検出光Ｌ１１及びＬ１２の画像に現れる事態を効果的に抑制できる。更に、本変形例によれば、検出光Ｌ１１の画像が生成される際、検出光Ｌ１３の画像の生成が終了する復調タイミングＴＭ２から、検出光Ｌ１２の画像の生成が終了する復調タイミングＴＭ７までの期間Ｔ１Ｃにおいて、励起光Ｌ２の照射がＯＦＦになる時間領域Ｒ１１に得られたフレームが用いられるので、検出光Ｌ１２のショットノイズ成分Ｎ１２が検出光Ｌ１１の画像に現れる事態を効果的に抑制できる。
　図１６は、本変形例のシミュレーション結果を示す図である。このシミュレーションにおいても、図７に示すシミュレーションと同様の条件を設定する。図１６の（ａ）は、変調信号Ｓ１に対応する検出光Ｌ１１の画像を示している。図１６の（ｂ）は、変調信号Ｓ２に対応する検出光Ｌ１２の画像を示している。図１６の（ｃ）は、変調信号Ｓ３に対応する検出光Ｌ１３の画像を示している。図１６の（ａ）及び図１６の（ｂ）に示すように、検出光Ｌ１３のショットノイズ成分Ｎ１３は、図１０の（ａ）及び図１０の（ｂ）に示すシミュレーション結果よりも、更に低減されていることが分かる。更に、図１６の（ａ）に示すように、検出光Ｌ１２のショットノイズ成分Ｎ１２は、図１３の（ａ）に示すシミュレーション結果よりも、更に低減されている。このように、本変形例によれば、検出光Ｌ１３のショットノイズ成分Ｎ１３を大きく低減でき、更に検出光Ｌ１２のショットノイズ成分Ｎ１２についても大きく低減できる。
　図１７は、観察装置１の変形例を示す概略構成図である。図１７に示す観察装置１Ａでは、照射部１０Ａの変調部１５Ａの構成が、上記実施形態に係る観察装置１とは異なる。すなわち、変調部１５Ａは、変調信号生成部１６及び変調条件設定部１７に代えて、変調信号記憶部１６Ａ（記憶部）を有している。変調信号記憶部１６Ａは、各変調条件Ｍ１、Ｍ２、及びＭ３を有する各変調信号Ｓ１、Ｓ２、及びＳ３を予め記憶しており、各変調信号Ｓ１、Ｓ２、及びＳ３を各光源１１、１２、及び１３に出力可能に構成されている。図１２に示す観察装置１Ａであっても、上述した実施形態に係る観察装置１と同様の効果が得られる。更に、観察装置１Ａによれば、各変調信号Ｓ１、Ｓ２、及びＳ３を生成する処理を行う必要がないので、各変調信号Ｓ１、Ｓ２、及びＳ３を生成する場合と比べて、処理負担を軽減できる。
　図１８は、観察装置１の別の変形例を示す概略構成図である。図１８に示す観察装置１Ｂは、照射部１０Ｂが光源１１、１２、及び１３に加えて、別の光源１８及び１９を有する点で、上記実施形態に係る観察装置１とは異なる。光源１８は、暗視野照明用の光源であり、波長λ８を有する暗視野照明Ｌ８を出力可能に構成されている。光源１９は、明視野照明用の光源であり、波長λ９を有する明視野照明Ｌ９を出力可能に構成されている。光源１８及び１９として、光源１１、１２、及び１３と同種の光源が用いられてもよい。光源１９は、試料Ｔを挟んで対物レンズ３１と対向する位置に配置されており、試料Ｔの背面から明視野照明Ｌ９を出力する。光源１８は、試料Ｔに対して対物レンズ３１側に配置され、対物レンズ３１の光軸に対して傾斜する方向から暗視野照明Ｌ８を出力する。暗視野照明Ｌ８及び明視野照明Ｌ９のそれぞれは、特定の波長帯域を有する光であってもよいし、ブロードな波長帯域を有する光であってもよい。
　光源１８及び１９は、光源１１、１２、及び１３と同様、変調部１５と電気的に接続されている。変調部１５の変調信号生成部１６は、変調信号Ｓ１、Ｓ２、及びＳ３に加えて、変調条件Ｍ８を有する変調信号Ｓ８と、変調条件Ｍ９を有する変調信号Ｓ９と、を生成する。変調信号Ｓ８は、光源１８から出力される暗視野照明Ｌ８を時間的に変調させるための変調パターンである。例えば、暗視野照明Ｌ８の照射のＯＮ／ＯＦＦを交互に切り替えるように、暗視野照明Ｌ８を変調条件Ｍ８で変調させる矩形波状のパルス信号である。変調信号Ｓ９は、光源１９から出力される明視野照明Ｌ９を時間的に変調させるための変調パターンである。例えば、明視野照明Ｌ９の照射のＯＮ／ＯＦＦを交互に切り替えるように、明視野照明Ｌ９を変調条件Ｍ９で変調させる矩形波状のパルス信号である。
　光源１８及び１９からそれぞれ出力された暗視野照明Ｌ８及び明視野照明Ｌ９は、導光光学系２０によって導光され、励起光Ｌ１、Ｌ２、及びＬ３と共に、試料Ｔに同時に照射される。明視野照明Ｌ９が試料Ｔに照射されると、試料Ｔを透過した明視野照明Ｌ９の透過光が検出光Ｌ１９として検出部４０に検出される。暗視野照明Ｌ８が試料Ｔに照射されると、試料Ｔにおいて生じる暗視野照明Ｌ８の散乱光が検出光Ｌ１８として検出部４０に検出される。検出部４０のセンサ３５は、各検出光Ｌ１１、Ｌ１２、Ｌ１３、Ｌ１８、及びＬ１９を同時に検出し、検出信号ＳＢを出力する。そして、画像処理部７０は、変調条件Ｍ１、Ｍ２、Ｍ３、Ｍ８、及びＭ９に基づいて検出信号ＳＢを同時に復調することにより、各検出光Ｌ１１、Ｌ１２、Ｌ１３、Ｌ１８、及びＬ１９の画像を同時に生成する。このような形態であっても、上述した実施形態と同様の効果が得られる。
　図１９は、各変調信号Ｓ１、Ｓ２、及びＳ３の変形例を示す図である。図１９の（ａ）は、変調信号Ｓ１に対応する変調信号Ｓ１Ａを示している。図１９の（ｂ）は、変調信号Ｓ２に対応する変調信号Ｓ２Ａを示している。図１９の（ｂ）は、変調信号Ｓ３に対応する変調信号Ｓ３Ａを示している。図１９の（ａ）、図１９の（ｂ）、及び図１９の（ｃ）に示す各変調信号Ｓ１Ａ、Ｓ２Ａ、及びＳ３Ａは、各励起光Ｌ１、Ｌ２、及びＬ３の照射のＯＮ／ＯＦＦが交互に切り替えられるように各励起光Ｌ１、Ｌ２、及びＬ３を変調させる正弦波状の変調パターンとなっている。この場合、復調タイミングＴＭ１、ＴＭ２、…において互いに直交条件を満たす各変調信号Ｓ１Ａ、Ｓ２Ａ、及びＳ３Ａを好適に設定できる。このような形態であっても、上記実施形態と同様の効果が得られる。
　本開示は、他に様々な変形が可能である。例えば、上述した実施形態及び各変形例を、必要な目的及び効果に応じて互いに組み合わせてもよい。上述した実施形態では、検出光Ｌ１２の光量が検出光Ｌ１１の光量よりも大きくなっている場合を説明した。しかし、検出光Ｌ１１及びＬ１２の光量は、互いに同一であってもよい。或いは、全ての検出光Ｌ１１、Ｌ１２、及びＬ１３の光量が互いに同一であってもよい。上述した実施形態では、最も光量の大きい検出光Ｌ１３に対応する励起光Ｌ３の変調条件Ｍ３を最速変調周波数に設定する場合を説明した。しかし、検出光Ｌ１３よりも光量の小さい検出光Ｌ１１に対応する励起光Ｌ１の変調条件Ｍ１を最速変調周波数に設定してもよいし、検出光Ｌ１２に対応する励起光Ｌ２の変調条件Ｍ２を最速変調周波数に設定してもよい。
　上述した実施形態では、３つの励起光Ｌ１、Ｌ２、及びＬ３を試料Ｔに照射し、３つの検出光Ｌ１１、Ｌ１２、及びＬ１３を検出する場合を説明した。しかし、励起光の数、及び検出光の数は、適宜変更可能である。励起光の数、及び検出光の数はそれぞれ、２つであってもよいし、４つ以上であってもよい。励起光を変調させる変調信号の変調条件の設定は、上述した実施形態及び各変形例に限られず、適宜変更可能である。
　上述した実施形態では、各変調信号Ｓ１、Ｓ２、及びＳ３が周期的な変調パターンである場合を説明したが、各変調信号が非周期的な変調パターンであってもよい。この場合においても、各変調信号が直交条件を満たす復調タイミングにおいて、各変調信号に対応する各検出光の画像が生成される。非周期的な変調パターンの各変調信号を、図１１に示す変形例に適用する場合、検出光Ｌ１３の画像の生成が終了する復調タイミングＴＭ２までの期間Ｔ１Ａ及びＴ２Ａにおいて、各変調信号Ｓ１、Ｓ２、及びＳ３が必ずしも互いに直交するとは限らない。このため、検出光Ｌ１１及びＬ１２の画像を生成する際、復調タイミングＴＭ２以前のフレームは用いずに、復調タイミングＴＭ２以降の期間Ｔ１Ｂ及びＴ２Ｂのフレームのみを用いて、検出光Ｌ１１及びＬ１２の画像を生成してもよい。
　非周期的な変調パターンの各変調信号を、図１４に示す変形例に適用する場合、検出光Ｌ１３の画像の生成が終了する復調タイミングＴＭ２から、検出光Ｌ１２の画像の生成が終了する復調タイミングＴＭ７までの期間Ｔ１Ｃ及びＴ２Ｂにおいても、変調信号Ｓ１及びＳ２が必ずしも互いに直交するとは限らない。このため、検出光Ｌ１１の画像を生成する際、復調タイミングＴＭ７以前のフレームは用いずに、復調タイミングＴＭ７以降の期間Ｔ１Ｄのフレームのみを用いて、検出光Ｌ１１の画像を生成してもよい。
　上述した実施形態では、光源１１、１２、及び１３が導光光学系２０に直接設置される場合を説明した。しかし、光源１１、１２、及び１３は、装置外部に配置され、光ファイバ等を介して導光光学系２０に光学的に接続される構成であってもよい。照射部１０は、光源１１、１２、及び１３に代えて、多波長の励起光を出力可能な１つの光源を有してもよい。この場合、当該１つの光源は、互いに異なる波長を有する励起光Ｌ１、Ｌ２、及びＬ３を同時に出力する。
　上述した実施形態では、変調部１５が、変調信号Ｓ１、Ｓ２、及びＳ３を用いて光源１１、１２、及び１３を制御することによって、励起光Ｌ１、Ｌ２、及びＬ３を変調する場合を説明した。しかし、変調部による励起光の変調方法は上述した例に限られない。例えば、変調部は、励起光を機械的に変調させるオプティカルチョッパーであってもよい。この場合、各光源に対応して各オプティカルチョッパーが設置され、各オプティカルチョッパーによる各励起光の通過又は遮断の繰り返しによって各励起光が時間的に変調されてもよい。オプティカルチョッパーによる励起光の変調パターンは、上述した変調信号に応じたものとなるように設定される。この場合、オプティカルチョッパーは、その変調パターンに従って励起光の照射のＯＮ／ＯＦＦが切り替えられるように、励起光を変調する。
　変調部は、ＤＭＤ（Digital Micro mirror Device）又は空間光変調器（ＳＬＭ：Spatial light modulator）等の光学的変調デバイスであってもよい。この場合、各光源に対応して各光学的変調デバイスが設置され、各光学的変調デバイスに各変調パターンが表示される。これにより、各光源からの各励起光が時間的に変調される。各変調パターンは、上述した変調信号に応じたものとなるように設定される。この場合、光学的変調デバイスは、その変調パターンに従って励起光の照射のＯＮ／ＯＦＦが切り替えられるように、励起光を変調する。
　１，１Ａ，１Ｂ…観察装置、１０，１０Ａ，１０Ｂ…照射部、１６…変調信号生成部（生成部）、１６Ａ…変調信号記憶部（記憶部）、４０…検出部、７０…画像処理部、Ｅｔ…閾値、Ｌ１，Ｌ２，Ｌ３…励起光、Ｌ１１，Ｌ１２…検出光（第２の検出光）、Ｌ１３…検出光（第１の検出光）、Ｌ１８，Ｌ１９…検出光、Ｓ，ＳＢ…検出信号、Ｓ１，Ｓ１Ａ，Ｓ２，Ｓ２Ａ，Ｓ３，Ｓ３Ａ，Ｓ８，Ｓ９…変調信号（変調パターン）、Ｔ…試料（観察対象物）、ＴＡ，ＴＢ…期間、ＴＭ１、ＴＭ６…復調タイミング（第２の復調タイミング）、ＴＭ２、ＴＭ７…復調タイミング（第１の復調タイミング）、ＴＭ３，ＴＭ４，ＴＭ５，ＴＭ８…復調タイミング。

Claims (11)

  1. 　互いに異なる波長を有すると共に、互いに異なる変調条件による複数の変調パターンでそれぞれ変調された複数の励起光を、観察対象物に同時に照射する照射部と、
    　前記複数の励起光の照射に伴う前記観察対象物からの複数の検出光を検出信号として検出する検出部と、
    　互いに異なる複数の復調タイミングで前記検出信号を復調することにより、各前記復調タイミングにおいて前記複数の検出光の画像を前記検出光毎に生成する画像処理部と、を備え、
    　各前記変調パターンは、前記励起光の照射のＯＮ／ＯＦＦを切り替えるように前記励起光を変調させる変調パターンであり、各前記復調タイミングにおいて互いに直交条件を満たすように設定され、
    　前記複数の復調タイミングは、第１の復調タイミングと、前記第１の復調タイミングよりも前の第２の復調タイミングと、を含み、
    　前記画像処理部は、前記第１の復調タイミングにおいて前記複数の検出光のうちの第１の検出光の画像を生成する際、前記第１の復調タイミングで生成された前記第１の検出光の画像と、前記第２の復調タイミングで生成された前記第１の検出光の画像との間の差分値を算出し、前記差分値が所定の閾値よりも小さくなった場合に、前記第１の復調タイミング以降において、前記第１の検出光に対応する前記励起光の照射をＯＦＦに設定する、観察装置。
  2. 　前記照射部は、前記複数の変調パターンを記憶する記憶部を有する、請求項１に記載の観察装置。
  3. 　前記照射部は、前記複数の変調パターンを生成する生成部を有する、請求項１に記載の観察装置。
  4. 　各前記変調パターンは、前記励起光の照射のＯＮ／ＯＦＦを切り替えるように前記励起光を変調させる矩形波状の変調パターンである、請求項１～３のいずれか一項に記載の観察装置。
  5. 　各前記変調パターンは、前記励起光の照射のＯＮ／ＯＦＦを切り替えるように前記励起光を変調させる正弦波状の変調パターンである、請求項１～３のいずれか一項に記載の観察装置。
  6. 　前記複数の検出光は、前記第１の検出光よりも小さい光量を有する第２の検出光を含む、請求項１～５のいずれか一項に記載の観察装置。
  7. 　前記第１の検出光は、前記複数の検出光の中で最も大きい光量を有する、請求項６に記載の観察装置。
  8. 　前記画像処理部は、前記第１の復調タイミング以降において前記第１の検出光に対応する前記励起光の照射をＯＦＦに設定した場合に、前記第１の復調タイミング以降に検出された前記検出信号に含まれるデータを用いて、前記第２の検出光の画像を生成する、請求項６又は７に記載の観察装置。
  9. 　前記画像処理部は、前記第１の復調タイミング以降において前記第１の検出光に対応する前記励起光の照射をＯＦＦに設定した場合に、前記第１の復調タイミング以前において、前記第１の検出光に対応する前記励起光の照射がＯＮになる期間以外の期間に検出された検出信号に含まれるデータを用いて、前記第２の検出光の画像を生成する、請求項６～８のいずれか一項に記載の観察装置。
  10. 　前記第２の復調タイミングは、前記第１の復調タイミングの直前の前記復調タイミングである、請求項１～８のいずれか一項に記載の観察装置。
  11. 　互いに異なる波長を有すると共に、互いに異なる変調条件による複数の変調パターンでそれぞれ変調された複数の励起光を、観察対象物に同時に照射するステップと、
    　前記複数の励起光の照射に伴う前記観察対象物からの複数の検出光を検出信号として検出するステップと、
    　互いに異なる複数の復調タイミングで前記検出信号を復調することにより、各前記復調タイミングにおいて前記複数の検出光の画像を前記検出光毎に生成するステップと、を備え、
    　各前記変調パターンは、前記励起光の照射のＯＮ／ＯＦＦを切り替えるように前記励起光を変調させる変調パターンであり、各前記復調タイミングにおいて互いに直交条件を満たすように設定され、
    　前記複数の復調タイミングは、第１の復調タイミングと、前記第１の復調タイミングよりも前の第２の復調タイミングと、を含み、
    　前記複数の検出光の画像を前記検出光毎に生成するステップでは、
    　前記第１の復調タイミングにおいて前記複数の検出光のうちの第１の検出光の画像を生成する際、前記第１の復調タイミングで生成された前記第１の検出光の画像と、前記第２の復調タイミングで生成された前記第１の検出光の画像との間の差分値を算出し、前記差分値が所定の閾値よりも小さくなった場合に、前記第１の復調タイミング以降において、前記第１の検出光に対応する前記励起光の照射をＯＦＦに設定する、観察方法。
PCT/JP2021/019846 2020-06-10 2021-05-25 観察装置及び観察方法 WO2021251133A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-100970 2020-06-10
JP2020100970A JP2023106642A (ja) 2020-06-10 2020-06-10 観察装置及び観察方法

Publications (1)

Publication Number Publication Date
WO2021251133A1 true WO2021251133A1 (ja) 2021-12-16

Family

ID=78846016

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/019846 WO2021251133A1 (ja) 2020-06-10 2021-05-25 観察装置及び観察方法

Country Status (2)

Country Link
JP (1) JP2023106642A (ja)
WO (1) WO2021251133A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005091895A (ja) * 2003-09-18 2005-04-07 Institute Of Physical & Chemical Research 走査型共焦点顕微鏡装置
WO2016208322A1 (ja) * 2015-06-23 2016-12-29 オリンパス株式会社 画像取得装置および画像取得方法
JP2018112611A (ja) * 2017-01-10 2018-07-19 国立大学法人 東京大学 レーザ顕微鏡装置およびフローサイトメーター
US10677730B1 (en) * 2019-02-01 2020-06-09 Apllikate Technologies Llc Fast multiphoton microscope

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005091895A (ja) * 2003-09-18 2005-04-07 Institute Of Physical & Chemical Research 走査型共焦点顕微鏡装置
WO2016208322A1 (ja) * 2015-06-23 2016-12-29 オリンパス株式会社 画像取得装置および画像取得方法
JP2018112611A (ja) * 2017-01-10 2018-07-19 国立大学法人 東京大学 レーザ顕微鏡装置およびフローサイトメーター
US10677730B1 (en) * 2019-02-01 2020-06-09 Apllikate Technologies Llc Fast multiphoton microscope

Also Published As

Publication number Publication date
JP2023106642A (ja) 2023-08-02

Similar Documents

Publication Publication Date Title
JP5392406B2 (ja) 顕微鏡装置、観察方法
CN107250716B (zh) 动态高速高灵敏度成像装置及成像方法
JP5623278B2 (ja) 顕微鏡および顕微鏡の操作方法
JP5485289B2 (ja) 分解能増進顕微鏡法
JP2019521316A (ja) 画像解像度が改良された蛍光イメージングフローサイトメトリー
US9279973B2 (en) Image processing apparatus, fluorescence microscope apparatus, and image processing program
CN109900671B (zh) 基于dmd计算全息扫描的全自动化tcspc-flim系统和时间检测方法
JP6450832B2 (ja) 蛍光画像生成装置及び蛍光画像生成方法
WO2010109707A1 (ja) 蛍光観察装置
RU2747129C1 (ru) Способ и устройство для реконструкции изображения, а также устройство для формирования изображения в микроскопе
WO2015115151A1 (ja) 蛍光観察装置
US11086115B2 (en) Microscope device, viewing method, and control program
JPWO2017073302A1 (ja) 撮像システム
WO2021251133A1 (ja) 観察装置及び観察方法
US11841324B2 (en) Method and device for estimating a STED resolution
US11215806B2 (en) Method for imaging a sample by means of a microscope and microscope
CN111189807A (zh) 基于波动的荧光显微术
JP6246555B2 (ja) 顕微鏡撮像装置、顕微鏡撮像方法および顕微鏡撮像プログラム
WO2021251130A1 (ja) 観察装置及び観察方法
US20180017773A1 (en) Microscope device, observation method, and storage medium
WO2021251132A1 (ja) 観察装置及び観察方法
JP6826972B2 (ja) 撮像装置
JP2016123576A (ja) 蛍光観察装置
JP2006058105A (ja) レシオイメージング装置
JP2006171028A (ja) レーザ走査顕微鏡および光検出器の感度設定方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21822695

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21822695

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP