WO2021251132A1 - 観察装置及び観察方法 - Google Patents

観察装置及び観察方法 Download PDF

Info

Publication number
WO2021251132A1
WO2021251132A1 PCT/JP2021/019845 JP2021019845W WO2021251132A1 WO 2021251132 A1 WO2021251132 A1 WO 2021251132A1 JP 2021019845 W JP2021019845 W JP 2021019845W WO 2021251132 A1 WO2021251132 A1 WO 2021251132A1
Authority
WO
WIPO (PCT)
Prior art keywords
light
detection
modulation
lights
period
Prior art date
Application number
PCT/JP2021/019845
Other languages
English (en)
French (fr)
Inventor
貴文 樋口
正典 小林
Original Assignee
浜松ホトニクス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 浜松ホトニクス株式会社 filed Critical 浜松ホトニクス株式会社
Publication of WO2021251132A1 publication Critical patent/WO2021251132A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/06—Means for illuminating specimens
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements

Definitions

  • This disclosure relates to an observation device and an observation method.
  • an observation device for observing fluorescence of an observation object for example, the microscope device described in Patent Document 1 is known.
  • a sample multiple-stained with a plurality of fluorescent substances is simultaneously irradiated with a plurality of excitation lights having wavelengths for exciting the plurality of fluorescent substances and modulated by different modulation frequencies. ..
  • a plurality of fluorescences corresponding to these excitation lights are generated from the sample.
  • these fluorescences are detected at the same time, and the signal indicating each fluorescence is frequency-separated based on the modulation frequency, so that an image of each fluorescence is generated for each fluorescence.
  • This disclosure is made for solving the above-mentioned problems, and provides an observation device and an observation method capable of obtaining an accurate image of an observation object.
  • the observation device includes an irradiation unit that has different wavelengths from each other and simultaneously irradiates an observation object with a plurality of excitation lights modulated by a plurality of modulation patterns having different modulation frequencies.
  • a detection unit that detects a plurality of detection lights from an observation target due to irradiation of the excitation light of the above, and an image processing unit that generates an image of a plurality of detection lights for each detection light by demodulating the detection signals. And prepare.
  • Each modulation pattern is a rectangular wavy modulation that modulates the excitation light so as to repeat at the modulation frequency, with a period including an ON period in which the irradiation of the excitation light is turned on and an OFF period in which the irradiation of the excitation light is turned off as one cycle. It is a pattern.
  • Each modulation pattern is set so as to satisfy the orthogonality condition with each other at the demodulation timing at which the detection signal is demodulated.
  • the duty ratio of the modulation pattern having the fastest modulation frequency which is the highest modulation frequency among the plurality of modulation patterns, is higher than the duty ratio of the other modulation patterns. It is set low.
  • the shot noise component of one detection light may appear as a false signal in the image of another detection light.
  • a shot noise component becomes larger as the integrated value of the amount of light of the certain detected light in a certain period becomes larger. This integrated value increases as the ON period during which the irradiation of the excitation light corresponding to the certain detection light is turned ON becomes longer. Therefore, in order to reduce the shot noise component, the duty ratio of the modulation pattern that modulates the excitation light corresponding to the certain detection light may be set low.
  • each modulation pattern corresponding to each detection light satisfies the orthogonality condition with each other at the timing when the detection signal is demodulated.
  • the present inventors have obtained other modulation patterns having the fastest modulation frequency before and after the duty ratio change, even if the duty ratio is changed. It was found that the modulation pattern and the orthogonality condition of were still satisfied. Therefore, in the above observation device, the duty ratio of the modulation pattern having the fastest modulation frequency is set to be lower than the duty ratio of the other modulation patterns.
  • the duty ratio of the modulation pattern having the fastest modulation frequency is set to be lower than the duty ratio of the other modulation patterns.
  • the irradiation unit may have a storage unit that stores a plurality of modulation patterns. In this case, since it is not necessary to perform the process of generating each modulation pattern, the processing load can be reduced as compared with the case of generating each modulation pattern.
  • the irradiation unit may have a generation unit that generates a plurality of modulation patterns. In this case, each desired modulation pattern can be easily obtained.
  • the plurality of detection lights may include a first detection light and a second detection light having a light amount smaller than that of the first detection light.
  • the shot noise component tends to appear in the image of the detected light when there is a difference in the amount of light between the detected lights in this way. Therefore, in such a case, it is possible to suitably suppress the situation where a shot noise component appears in the image of the detected light.
  • the modulation frequency of the excitation light corresponding to the first detection light may be set to the fastest modulation frequency.
  • the shot noise component tends to appear in the image of the detected light having a large amount of light to the detected light having a small amount of light.
  • the modulation frequency of the excitation light corresponding to the first detection light having a large amount of light to the fastest modulation frequency, the shot noise component of the first detection light can be effectively reduced. As a result, it is possible to effectively suppress the situation where the shot noise component of the first detection light appears in the image of the second detection light.
  • the first detection light may have the largest amount of light among the plurality of detection lights.
  • the shot noise component tends to appear in the image of the detected light having a large amount of light to the detected light having a small amount of light, and becomes larger as the difference in the amount of light of the detected light becomes larger.
  • the modulation frequency of the excitation light corresponding to the first detection light having the largest amount of light to the fastest modulation frequency, the shot noise component of the first detection light can be reduced more effectively. As a result, it is possible to more effectively suppress the situation where the shot noise component of the first detection light appears in the image of the second detection light.
  • the duty ratio of the modulation pattern having the fastest modulation frequency may be set based on the difference in the amount of light between the first detection light and the second detection light.
  • the shot noise component of the first detection light that appears in the image of the second detection light varies due to the difference in the amount of light between the first detection light and the second detection light.
  • the duty ratio of the modulation pattern having the fastest modulation frequency is set based on the difference in the amount of light between the first detection light and the second detection light, so that the duty ratio corresponding to the fastest modulation frequency is set.
  • the shot noise component of the detected light of 1 can be reduced more effectively. As a result, it is possible to more effectively suppress the situation where the shot noise component of the first detection light appears in the image of the second detection light.
  • the duty ratio of the modulation pattern having the fastest modulation frequency may be set according to the absolute value of the difference between the light amount of the first detection light and the light amount of the second detection light.
  • the shot noise component of the first detection light appearing in the image of the second detection light increases according to the absolute value of the difference between the light amount of the first detection light and the light amount of the second detection light.
  • the duty ratio of the modulation pattern having the fastest modulation frequency according to the absolute value, the shot noise component of the first detection light corresponding to the fastest modulation frequency can be more effectively reduced. As a result, it is possible to more effectively suppress the situation where the shot noise component of the first detection light appears in the image of the second detection light.
  • the irradiation of the excitation light other than the excitation light corresponding to the fastest modulation frequency may be OFF.
  • the detection signal detected during the ON period when the irradiation of the excitation light corresponding to the fastest modulation frequency is turned ON does not include the detection light other than the detection light corresponding to the fastest modulation frequency, or the amount of light is extremely small.
  • the other detection light of the above is included. Therefore, if an image of the detection light corresponding to the fastest modulation frequency is generated using the data included in this detection signal, the shot noise component of the other detection light appears in the image of the detection light corresponding to the fastest modulation frequency. The situation can be suppressed.
  • the image processing unit uses the data included in the detection signal detected during the period other than the ON period when the irradiation of the excitation light corresponding to the fastest modulation frequency is turned on, and the image processing unit uses data other than the detection light corresponding to the fastest modulation frequency. An image of the detection light may be generated.
  • the data included in the detection signal detected during the period other than the ON period when the irradiation of the excitation light corresponding to the fastest modulation frequency is ON does not include the detection light corresponding to the fastest modulation frequency, or is extremely small.
  • the detection light of the amount of light is included.
  • this data is used to generate an image of the detection light other than the detection light corresponding to the fastest modulation frequency, the shot noise component of the detection light corresponding to the fastest modulation frequency appears in the image of the other detection light. The situation can be suppressed more effectively.
  • the observation method includes a step of simultaneously irradiating an observation object with a plurality of excitation lights having different wavelengths and being modulated by a plurality of modulation patterns having different modulation frequencies. It includes a step of detecting a plurality of detection lights from an observation object accompanying irradiation of the excitation light as a detection signal, and a step of generating an image of a plurality of detection lights for each detection light by demodulating the detection signals. ..
  • Each modulation pattern is a rectangular wavy modulation that modulates the excitation light so as to repeat at the modulation frequency, with a period including an ON period in which the irradiation of the excitation light is turned on and an OFF period in which the irradiation of the excitation light is turned off as one cycle. It is a pattern.
  • Each modulation pattern is set so as to satisfy the orthogonality condition with each other at the demodulation timing at which the detection signal is demodulated.
  • the duty ratio of the modulation pattern having the fastest modulation frequency which is the highest modulation frequency among the plurality of modulation patterns, is higher than the duty ratio of the other modulation patterns. It is set low.
  • the shot noise component of one detection light may appear as a false signal in the image of another detection light.
  • a shot noise component becomes larger as the integrated value of the amount of light of the certain detected light in a certain period becomes larger. This integrated value increases as the ON period during which the irradiation of the excitation light corresponding to the certain detection light is turned ON becomes longer. Therefore, in order to reduce the shot noise component, the duty ratio of the modulation pattern that modulates the excitation light corresponding to the certain detection light may be set low.
  • each modulation pattern corresponding to each detection light satisfies the orthogonality condition with each other at the timing when the detection signal is demodulated.
  • the present inventors have obtained other modulation patterns having the fastest modulation frequency before and after the duty ratio change, even if the duty ratio is changed. It was found that the modulation pattern and the orthogonality condition of were still satisfied. Therefore, in the above observation method, the duty ratio of the modulation pattern having the fastest modulation frequency is set to be lower than the duty ratio of the other modulation patterns.
  • the duty ratio of the modulation pattern having the fastest modulation frequency is set to be lower than the duty ratio of the other modulation patterns.
  • an accurate image of the observation object can be obtained.
  • FIG. 1 is a schematic configuration diagram showing an embodiment of an observation device.
  • FIG. 2 is a diagram showing each modulated signal shown in FIG.
  • FIG. 3 is a diagram for explaining the orthogonality condition satisfied by each modulated signal shown in FIG.
  • FIG. 4 is a flowchart showing an embodiment of the observation method.
  • FIG. 5 is a diagram for explaining simulation conditions of Examples and Comparative Examples.
  • FIG. 6 is a diagram showing simulation conditions of a comparative example.
  • FIG. 7 is a diagram showing a simulation result of a comparative example.
  • FIG. 8 is a diagram showing the simulation results of the examples.
  • FIG. 9 is a diagram showing a modified example of each modulated signal.
  • FIG. 10 is a diagram showing simulation results of the modified example shown in FIG.
  • FIG. 11 is a diagram showing a further modified example of the modified example shown in FIG.
  • FIG. 12 is a schematic configuration diagram showing a modified example of the observation device.
  • FIG. 13 is a schematic configuration diagram showing another
  • FIG. 1 is a schematic configuration diagram showing an observation device 1 according to the present embodiment.
  • the observation device 1 observes the fluorescence of the sample T, which is an observation target.
  • the sample T is, for example, a sample of a biological tissue or the like containing a plurality of types of fluorescent substances different from each other.
  • each fluorescent substance When each fluorescent substance is irradiated with excitation light in a predetermined wavelength range, it generates detection light such as fluorescence having a wavelength corresponding to the wavelength of the excitation light.
  • the fluorescent substance include fluorescent dyes such as indocyanine green, methylene blue, fluorescein, and 5-aminolevulinic acid.
  • the observation device 1 simultaneously irradiates the sample T with a plurality of excitation lights L1, L2, and L3 that excite the plurality of fluorescent substances of the sample T, respectively, and the plurality of detection lights L11, L12, generated from the sample T accordingly. And L13 are imaged at the same time.
  • the observation device 1 includes, for example, an irradiation unit 10, a detection unit 40, and an image processing unit 70.
  • the irradiation unit 10 simultaneously feeds the sample T with a plurality of excitation lights L1, L2, and L3 having different wavelengths ⁇ 1, ⁇ 2, and ⁇ 3 and modulated by different modulation frequencies f1, f2, and f3, respectively. Irradiate.
  • the irradiation unit 10 includes a plurality of light sources 11, 12, and 13, a modulation unit 15, and a light guide optical system 20.
  • the light sources 11, 12, and 13 output the excitation lights L1, L2, and L3, respectively.
  • the modulation unit 15 controls the light sources 11, 12, and 13 so that the excitation lights L1, L2, and L3 are modulated at different modulation frequencies f1, f2, and f3, respectively.
  • the light guide optical system 20 guides the excitation lights L1, L2, and L3 output from the light sources 11, 12, and 13, respectively, to the sample T.
  • Each of the light sources 11, 12, and 13 is a coherent light source or an incoherent light source capable of generating light including a wavelength that excites the fluorescent substance of the sample T.
  • the light source 11 can generate the excitation light L1 having the wavelength ⁇ 1.
  • the light source 12 can generate the excitation light L2 having the wavelength ⁇ 2.
  • the light source 13 can generate the excitation light L3 having the wavelength ⁇ 3.
  • the coherent light source include a laser light source such as a laser diode (LD).
  • Examples of the incoherent light source include a light emitting diode (LED), a superluminescent diode (SLD), a lamp-based light source, and the like.
  • the modulation unit 15 is electrically connected to each of the light sources 11, 12, and 13.
  • the modulation unit 15 modulates the plurality of excitation lights L1, L2, and L3, respectively, by using the plurality of modulation signals S1, S2, and S3 having different modulation frequencies f1, f2, and f3, respectively.
  • the modulation unit 15 includes a modulation signal generation unit 16 (generation unit) that generates modulation signals S1, S2, and S3, and a modulation frequency setting unit 17 that sets modulation frequencies f1, f2, and f3.
  • the modulation frequency setting unit 17 sets, for example, the modulation frequency f3 to the highest fastest modulation frequency among the modulation frequencies f1, f2, and f3, and sets the modulation frequency f1 to the lowest modulation frequency.
  • the modulation frequency setting unit 17 sets the modulation frequency f3 to be four times the modulation frequency f1 and the modulation frequency f2 to be twice the modulation frequency f1.
  • the modulation frequencies f1, f2, and f3 may be values stored in advance in the modulation frequency setting unit 17, or may be values input from the outside via an input / output device or the like.
  • the modulation signal generation unit 16 generates modulation signals S1, S2, and S3 having modulation frequencies f1, f2, and f3 set by the modulation frequency setting unit 17, respectively.
  • the modulation signal S1 is a modulation pattern for temporally modulating the excitation light L1 output from the light source 11.
  • the modulation signal S1 is a rectangular wavy pulse signal that modulates the excitation light L1 at the modulation frequency f1 so that the irradiation of the excitation light L1 can be switched ON / OFF alternately.
  • the modulation signal S2 is a modulation pattern for temporally modulating the excitation light L2 output from the light source 12.
  • the modulation signal S2 is a rectangular wavy pulse signal that modulates the excitation light L2 at the modulation frequency f2 so that the irradiation of the excitation light L2 can be switched ON / OFF alternately.
  • the modulation signal S3 is a modulation pattern for temporally modulating the excitation light L3 output from the light source 13.
  • the modulation signal S3 is a rectangular wavy pulse signal that modulates the excitation light L3 at the modulation frequency f3 so that the irradiation of the excitation light L3 can be switched ON / OFF alternately.
  • the modulation signal generation unit 16 outputs the generated modulation signals S1, S2, and S3 to the light sources 11, 12, and 13, respectively.
  • the excitation light L1 output from the light source 11 is modulated according to the modulation signal S1.
  • the excitation light L1 modulated at the modulation frequency f1 is output from the light source 11.
  • the excitation light L2 output from the light source 12 is modulated according to the modulation signal S2.
  • the excitation light L2 modulated at the modulation frequency f2 is output from the light source 12.
  • the excitation light L3 output from the light source 13 is modulated according to the modulation signal S3.
  • the excitation light L3 modulated at the modulation frequency f3 is output from the light source 13.
  • the light guide optical system 20 includes collimator lenses 21, 22, and 23, dichroic mirrors 24, 25, and 29, filters 26 and 27, a relay lens 28, and an objective lens 31.
  • the collimator lens 21 parallelizes the excitation light L1 output from the light source 11.
  • the collimator lens 22 parallelizes the excitation light L2 output from the light source 12.
  • the collimator lens 23 parallelizes the excitation light L3 output from the light source 13.
  • the dichroic mirror 24 is arranged at a position where the optical axis of the light source 13 and the optical axis of the light source 12 intersect.
  • the excitation light L2 passing through the collimator lens 22 and the excitation light L3 passing through the collimator lens 23 reach the dichroic mirror 24.
  • the dichroic mirror 24 reflects the excitation light L2 having a wavelength ⁇ 2 and transmits the excitation light L3 having a wavelength ⁇ 3.
  • the excitation lights L2 and L3 that have passed through the dichroic mirror 24 and the excitation light L1 that has passed through the collimator lens 21 reach the dichroic mirror 25.
  • the dichroic mirror 25 is arranged at a position where the optical axis of the light source 12 and the optical axis of the light source 11 intersect.
  • the dichroic mirror 25 reflects the excitation light L2 having a wavelength ⁇ 2 and the excitation light L3 having a wavelength ⁇ 3, and transmits the excitation light L1 having a wavelength ⁇ 1.
  • the excitation lights L1, L2, and L3 that have passed through the dichroic mirror 25 travel toward the objective lens 31.
  • the filters 26 and 27 are arranged side by side on the optical path between the dichroic mirror 25 and the objective lens 31.
  • the filters 26 and 27 are bandpass filters that selectively transmit only the excitation light L1 having a wavelength ⁇ 1, the excitation light L2 having a wavelength ⁇ 2, and the excitation light L3 having a wavelength ⁇ 3, and block light having other wavelengths. Therefore, the excitation lights L1, L2, and L3 that have passed through the dichroic mirror 25 pass through the filters 26 and 27.
  • the relay lens 28 is arranged on the optical path between the filters 26 and 27. The relay lens 28 has a role of efficiently guiding the excitation lights L1, L2, and L3 to the objective lens 31.
  • the dichroic mirror 29 is arranged on the optical path between the filter 27 and the objective lens 31.
  • the excitation lights L1, L2, and L3 that have passed through the filter 27 reach the dichroic mirror 29.
  • the dichroic mirror 29 reflects the excitation light L1 having a wavelength ⁇ 1, the excitation light L2 having a wavelength ⁇ 2, and the excitation light L3 having a wavelength ⁇ 3, and passes through the detection lights L11, L12, and L13 having a fluorescence wavelength.
  • the excitation lights L1, L2, and L3 that have passed through the dichroic mirror 29 reach the objective lens 31.
  • the objective lens 31 concentrates the excitation lights L1, L2, and L3, and simultaneously irradiates the sample T with the condensed excitation lights L1, L2, and L3. Further, the objective lens 31 guides the detection lights L11, L12, and L13 generated from the sample T by the irradiation of the excitation lights L1, L2, and L3.
  • the objective lens 31 is configured to be movable along the optical axis of the objective lens 31 by, for example, a driving element such as a piezo actuator or a stepping motor. As a result, the focusing position of the excitation lights L1, L2, and L3 and the focal position for detecting the detection lights L11, L12, and L13 can be adjusted.
  • the detection lights L11, L12, and L13 are fluorescence generated from the sample T by irradiation with the excitation lights L1, L2, and L3, respectively.
  • the detection light L13 among the detection lights L11, L12, and L13 is the detection light (first detection light) having the largest amount of light.
  • Each of the detection lights L11 and L12 is a detection light (second detection light) having the same amount of light as each other and having a light amount smaller than that of the detection light L13.
  • the detection light L13 having the largest amount of light is light generated by irradiation with the excitation light L3 having the highest modulation frequency f3.
  • the amount of light of each of the detected lights L11, L12, and L13 can be measured by irradiating the excitation lights L1, L2, and L3 once. Therefore, the light amounts of the detected lights L11, L12, and L13 may be stored in advance in the observation device 1. Then, the modulation frequency of the excitation light L3 corresponding to the detection light L13 having the largest amount of light may be set in advance so as to be the fastest modulation frequency. That is, the excitation light to be modulated at the fastest modulation frequency may be determined in consideration of the difference in the amount of light of each of the detected lights L11, L12, and L13.
  • the detection unit 40 detects the detection lights L11, L12, and L13 generated from the sample T.
  • the detection unit 40 includes a light guide optical system 30 that guides the detection lights L11, L12, and L13, and a sensor 35 that detects the detection lights L11, L12, and L13 guided by the light guide optical system 30.
  • the light guide optical system 30 includes an objective lens 31, a dichroic mirror 29, a filter 32, and an imaging lens 33.
  • the objective lens 31 guides the detection lights L11, L12, and L13 toward the imaging lens 33.
  • the dichroic mirror 29 and the filter 32 are arranged on the optical path between the objective lens 31 and the imaging lens 33.
  • the filter 32 is a bandpass filter that selectively transmits only the detection lights L11, L12, and L13 of the fluorescence wavelength and blocks the light of other wavelengths. Therefore, the detection lights L11, L12, and L13 that have passed through the objective lens 31 pass through the dichroic mirror 29 and the filter 32 and reach the imaging lens 33.
  • the imaging lens 33 forms an image of the detection lights L11, L12, and L13 on the sensor 35.
  • the sensor 35 has a light receiving surface composed of a plurality of pixels arranged two-dimensionally.
  • the sensor 35 is an area image sensor such as a CCD image sensor or a CMOS image sensor, for example.
  • a monochrome sensor, a color sensor, a multispectral sensor, a hyperspectral sensor, or the like can be used.
  • the sensor 35 captures an image of the detection light L11, L12, and L13 guided by the light guide optical system 30, and detects the detection signal S as image data including the respective light images of the detection light L11, L12, and L13. Is output.
  • the sensor 35 takes an image at a predetermined frame rate (for example, 100 fps) and outputs a detection signal S corresponding to each frame.
  • the sensor 35 is configured so that the exposure time can be variably set within a range of, for example, a frame period (reciprocal of the frame rate) or less.
  • the sensor 35 is configured to be communicable with the modulation signal generation unit 16, and the imaging by the sensor 35 and the modulation of the excitation lights L1, L2, and L3 based on the modulation signals S1, S2, and S3 are synchronized with each other. It is set to do.
  • the image processing unit 70 is, for example, a computer, and physically includes a memory such as RAM and ROM, a processor (arithmetic circuit) such as a CPU, a communication interface, a storage unit such as a hard disk, and a display unit such as a display. It is configured in preparation.
  • Examples of the computer include a personal computer, a cloud server, a smart device (for example, a smartphone or a tablet terminal, etc.) and the like.
  • the computer may function as an image processing unit 70, as a controller for controlling each configuration, or as a modulation unit 15 by executing a program stored in the memory of the computer on the CPU of the computer system. It may work.
  • the image processing unit 70 is electrically connected to the sensor 35 and processes the detection signal S output from the sensor 35.
  • the image processing unit 70 includes a signal demodulation unit 71 and an image generation unit 72.
  • the signal demodulation unit 71 demodulates the detection signal S based on the modulation frequencies f1, f2, and f3, so that the demodulation signals S11, S12 are image data corresponding to the optical images of the detection lights L11, L12, and L13, respectively.
  • And S13 are output.
  • the image generation unit 72 generates an image showing an optical image of each of the detection lights L11, L12, and L13 based on the demodulation signals S11, S12, and S13.
  • the signal demodulation unit 71 demodulates the detection signal S output at a predetermined frame rate at the demodulation timing TM (see FIG. 2 described later).
  • the demodulation timing TM is the timing at which one cycle T1 of the modulation signal S1 having the lowest modulation frequency f1 elapses, as shown in FIG. 2 (a) described later.
  • the demodulation timing TM is set to be an integral multiple of the modulation period of the other modulation signals S2 and S3. Therefore, the signal demodulation unit 71 demodulates the detection signal S based on the modulation signals S1, S2, and S3 for each demodulation timing TM, and generates demodulation signals S11, S12, and S13.
  • the demodulation in the signal demodulation unit 71 may be performed a plurality of times (for example, N times (N indicates a positive integer)).
  • the signal demodulation unit 71 generates the demodulation signals S11, S12, and S13 N times.
  • the image generation unit 72 performs averaging processing or addition processing on the generated N demodulated signals S11, N demodulated signals S12, and N demodulated signals S13, respectively.
  • the image generation unit 72 generates an image corresponding to each of the detection light L11, L12, and L13.
  • the signal demodulation unit 71 When the signal demodulation unit 71 generates the demodulation signals S11, S12, and S13 from the detection signal S, the signal demodulation unit 71 performs demodulation processing based on the modulation frequencies f1, f2, and f3 of the modulation signals S1, S2, and S3.
  • Each of the detection lights L11, L12, and L13 is light generated in response to the irradiation of the respective excitation lights L1, L2, and L3. Therefore, the demodulated signals S11, S12, and S13 indicating the detected lights L11, L12, and L13 are also modulated by the modulation frequencies f1, f2, and f3 of the modulation signals S1, S2, and S3.
  • the signal demodulation unit 71 demodulates the demodulation signals S11, S12, and S13 from the detection signal S by performing demodulation processing of the detection signal S at the modulation frequencies f1, f2, and f3 in the demodulation timing TM.
  • the signal demodulation unit 71 multiplies the detection signal S corresponding to the ON period T1A of the modulation signal S1 by a coefficient (for example, “1”) among the detection signals S output from the sensor 35, and has an OFF period.
  • a demodulated signal S11 is obtained by multiplying the detection signal S corresponding to T1B by another coefficient (for example, "-1") and performing averaging processing or addition processing on these.
  • the signal demodulation unit 71 multiplies the detection signal S corresponding to the ON period T2A of the modulation signal S2 by a coefficient (for example, “1”) among the detection signals S output from the sensor 35, and detects the detection signal S corresponding to the OFF period T2B.
  • the demodulated signal S12 is obtained by multiplying the signal S by another coefficient (for example, “-1”) and performing averaging processing or addition processing on these.
  • the signal demodulation unit 71 multiplies the detection signal S corresponding to the ON period T3A of the modulation signal S3 by a coefficient (for example, “1”) among the detection signals S output from the sensor 35, and detects the detection signal S corresponding to the OFF period T3B.
  • the demodulated signal S13 is obtained by multiplying the signal S by another coefficient (for example, “-1”) and performing averaging processing or addition processing on these.
  • the coefficient to be multiplied by the detection signal S may correspond to the amplitudes of the modulation signals S1, S2, and S3.
  • the signal demodulation unit 71 generates demodulation signals S11, S12, and S13 for each demodulation timing TM, and outputs these demodulation signals S11, S12, and S13 to the image generation unit 72.
  • the image generation unit 72 generates an image corresponding to each of the detection lights L11, L12, and L13 based on the demodulation signals S11, S12, and S13 output from the signal demodulation unit 71.
  • the signal demodulation unit 71 When a plurality of demodulation timing TMs are set, the signal demodulation unit 71 generates demodulation signals S11, S12, and S13 for each demodulation timing TM, and outputs these demodulation signals S11, S12, and S13 to the image generation unit 72. do.
  • a plurality of demodulation signals S11 generated for each demodulation timing TM are input to the image generation unit 72.
  • the image generation unit 72 generates an image of the detection light L11 by averaging or adding a plurality of demodulated signals S11. Similarly, a plurality of demodulation signals S12 generated for each demodulation timing TM are input to the image generation unit 72. The image generation unit 72 generates an image of the detection light L12 by averaging or adding a plurality of demodulated signals S12. Similarly, a plurality of demodulation signals S13 generated for each demodulation timing TM are input to the image generation unit 72. The image generation unit 72 generates an image of the detection light L13 by averaging or adding a plurality of demodulated signals S13.
  • the image generation unit 72 may update and display the respective images of the detection lights L11, L12, and L13 each time the images of the detection lights L11, L12, and L13 are generated. That is, the image generation unit 72 may update the images of the detection lights L11, L12, and L13 each time the demodulation timing TM arrives.
  • the image generation unit 72 may display the images of the detection lights L11, L12, and L13 side by side, or may display the images of the detection lights L11, L12, and L13 on top of each other.
  • FIG. 2A shows a modulation signal S1 having a modulation frequency f1.
  • FIG. 2B shows a modulation signal S2 having a modulation frequency f2.
  • FIG. 2C shows a modulation signal S3 having a modulation frequency f3.
  • the horizontal axis represents time and the vertical axis represents the output of the modulation signals S1, S2, and S3.
  • the modulation signal S1 shown in FIG. 2A has an ON period T1A in which the irradiation of the excitation light L1 on the sample T is turned on and an OFF period T1B in which the irradiation of the excitation light L1 on the sample T is turned off.
  • the excitation light L1 is modulated so as to be alternately repeated at the modulation frequency f1.
  • the ON period T1A and the OFF period T1B are set to be equal to each other.
  • the duty ratio D1 is set to 50%.
  • the sensor 35 is set to take images for n frames (n is a positive integer, for example, 16 frames) until the demodulation timing TM arrives.
  • n is a positive integer, for example, 16 frames
  • the detection signal S obtained in the ON period T1A is for n / 2 frames
  • the detection signal S obtained in the OFF period T1B is for n / 2 frames.
  • the duty ratio D1 is not limited to 50% and can be changed as appropriate.
  • the modulation signal S2 shown in FIG. 2B has an ON period T2A in which the irradiation of the excitation light L2 on the sample T is turned on and an OFF period T2B in which the irradiation of the excitation light L2 on the sample T is turned off.
  • the excitation light L2 is modulated so as to be alternately repeated at the modulation frequency f2.
  • the modulation frequency f2 of the modulation signal S2 is set to twice the modulation frequency f1 of the modulation signal S1, so that one cycle T2 of the modulation signal S2 is included in the one cycle T1 of the modulation signal S1. Two are included. In the example shown in FIG.
  • the ON period T2A and the OFF period T2B are set to be equal to each other, similarly to the ON period T1A and the OFF period T1B.
  • the duty ratio D2 is set to 50%.
  • the detection signal S obtained during the total period of the two ON periods T2A is for n / 2 frames.
  • the detection signal S obtained in the total period of the two OFF periods T2B is n / 2 frames.
  • the duty ratio D2 is not limited to 50% and can be changed as appropriate.
  • the modulation signal S3 shown in FIG. 2 (c) includes an ON period T3A in which the irradiation of the excitation light L3 on the sample T is turned on and an OFF period T3B in which the irradiation of the excitation light L3 on the sample T is turned off.
  • the excitation light L3 is modulated so that the period is one cycle T3 and the excitation light L3 is alternately repeated at the modulation frequency f3.
  • the modulation frequency f3 of the modulation signal S3 is set to four times the modulation frequency f1 of the modulation signal S1, so that one cycle T3 of the modulation signal S3 is included in one cycle T1 of the modulation signal S1. Four are included.
  • the ON period T3A and the OFF period T3B are set so as to be different from each other. Specifically, in one cycle T3, the ON period T3A is set to be shorter than the OFF period T3B. That is, when the ratio of the ON period T3A in one cycle T3 is expressed by the duty ratio D3, the duty ratio D3 is set to be lower than 50%. As a result, the duty ratio D3 is lower than the duty ratios D1 and D2 of the modulation signals S1 and S2. In one example, the duty ratio D3 is set to 12.5%.
  • the detection signal S obtained during the total period of the four ON periods T3A is for n / 8 frames.
  • the detection signal S obtained in the total period of the four OFF periods T3B is 7 ⁇ n / 8 frames.
  • the duty ratio D3 is not limited to 12.5% and can be appropriately changed as long as it is lower than the duty ratios D1 and D2.
  • the duty ratio D3 is set to be lower than, for example, the lower of the duty ratios D1 and D2.
  • the duty ratio D3 of the modulation signal S3 having the highest modulation frequency f3 among the modulation signals S1, S2, and S3 is set lower than the duty ratios D1 and D2 of the other modulation signals S2 and S3.
  • the detection lights L11, L12, and L13 are modulated by the modulation frequencies f1, f2, and f3 of the modulation signals S1, S2, and S3. Therefore, the emission / non-emission of the detection lights L11, L12, and L13 is switched according to the ON / OFF switching of the irradiation of the excitation lights L1, L2, and L3 by the modulation signals S1, S2, and S3. .
  • the detection lights L11, L12, and L13 emit light
  • the detection lights L11, L12, and L13 emit light
  • the detection lights L11, L12, and L13 emit light
  • the detection lights L11, L12, and L13 do not emit light.
  • the duty ratio D3 of the modulation signal S3 when the duty ratio D3 of the modulation signal S3 is set low, the ON period T3A at which the irradiation of the excitation light L3 is turned on becomes short, and the light emission period of the detection light L13 becomes short accordingly. If the emission period of the detection light L13 is shortened, it is effective in reducing the shot noise component of the detection light L13 appearing in the images of the detection lights L11 and L12, as will be described later. On the other hand, as the duty ratio D3 becomes lower, the integrated value of the light amount of the image of the detection light L13 becomes smaller, so that there is a concern that the accuracy of the image of the detection light L13 decreases.
  • the duty ratio D3 is set within a range in which the shot noise component of the detection light L13 can be sufficiently reduced while suppressing the deterioration of the accuracy of the image of the detection light L13.
  • the detection light L13 is the light having the largest amount of light, even if the duty ratio D3 is set low, the amount of light of the detection light L13 can be sufficiently secured. Therefore, in the present embodiment, it is suppressed that the accuracy of the image of the detection light L13 is significantly reduced.
  • the shot noise component of the detection light L13 appearing in the image of the detection light L11 fluctuates according to the difference between the amount of light of the detection light L13 and the amount of light of the detection light L11. That is, the larger the absolute value of the difference between the amount of light of the detection light L13 and the amount of light of the detection light L11, the larger the shot noise component of the detection light L13 appearing in the image of the detection light L11.
  • the shot noise component of the detection light L13 appearing in the image of the detection light L12 fluctuates according to the difference between the amount of light of the detection light L13 and the amount of light of the detection light L12.
  • the duty ratio D3 is set based on the difference in the amount of light of the detected lights L11, L12, and L13. That is, the duty ratio D3 is set to decrease as the absolute value of the difference between the amount of light of the detected light L13 and the amount of light of the detected light L11 or L12 increases.
  • the duty ratio D3 is set so that the smaller the absolute value of the difference between the amount of light of the detected light L13 and the amount of light of the detected light L11 or L12, the higher the duty ratio D3.
  • the duty ratio D3 may be set according to the ratio of the detected light L13 to the amount of light of the detected light L11 or L12. In this case, the larger the ratio, the lower the duty ratio D3 may be set, and the smaller the ratio, the higher the duty ratio D3 may be set.
  • the modulation signals S1, S2, and S3 are set so as to satisfy the orthogonality conditions with each other in the demodulation timing TM.
  • the demodulation signals S11, S12, and S13 corresponding to the modulation signals S1, S2, and S3 are detected in the demodulation timing TM.
  • "Satisfying the orthogonality condition” means that the inner product between the modulation signals S1, S2, and S3 becomes zero in the demodulation timing TM. This orthogonal condition will be described in more detail with reference to FIG.
  • FIG. 3 is a diagram for explaining the orthogonality condition satisfied by the modulation signals S1 and S2.
  • the output of the modulation signals S1 and S2 when the irradiation of the excitation lights L1 and L2 is turned on is set to +1 and the irradiation of the excitation lights L1 and L2 is performed.
  • the output of the modulation signals S1 and S2 when it is turned off is set to -1.
  • each of the modulation signals S1 and S2 is divided into time domains R1, R2, R3 and R4 at the timing when the output is switched.
  • the modulation signal S2 Since the modulation signal S2 has more output switching between the modulation signal S1 and the modulation signal S2, the modulation signal S2 is divided into time domains R1, R2, R3, and R4 at the timing when the output of the modulation signal S2 is switched.
  • the time domains R1 and R3 correspond to the ON period T2A of the modulation signal S2
  • the time domains R2 and R4 correspond to the OFF period T2B of the modulation signal S2.
  • the product of the output of the modulation signal S1 and the output of the modulation signal S2 is calculated.
  • the output of the modulation signal S1 is +1 and the output of the modulation signal S2 is also +1. Therefore, the product of these is +1.
  • the output of the modulation signal S1 is +1 and the output of the modulation signal S2 is -1, so the product of these is -1.
  • the product of the modulated signals S1 and S2 is -1
  • the product of the modulated signals S1 and S2 is +1.
  • the demodulation timing TM that is, the timing at which one cycle T1 of the modulation signal S1 elapses
  • the modulation signals S1 and S2 satisfy the orthogonality condition with each other.
  • the modulation signals S1, S2, and S3 satisfy the orthogonality condition with each other in the demodulation timing TM.
  • the demodulation timing TM coincides with the timing at which one cycle T1 of the modulation signal S1 having the lowest modulation frequency f1 among the modulation signals S1, S2, and S3 elapses.
  • all of the modulation signals S1, S2, and S3 always satisfy the orthogonality condition with each other.
  • the rectangular wavy modulation signal for example, when the specified number of frames of the sensor 35 is 16, there are a maximum of 16 patterns of modulation signal combinations satisfying the orthogonality condition. That is, the detection light can be detected at the same time for a specified number of frames.
  • FIG. 4 is a flowchart showing an observation method according to the present embodiment.
  • the irradiation unit 10 simultaneously feeds the sample T the excitation lights L1, L2, and L3 having different wavelengths ⁇ 1, ⁇ 2, and ⁇ 3 and modulated by different modulation frequencies f1, f2, and f3, respectively.
  • Irradiate irradiation step P1.
  • the modulation signal generation unit 16 generates the modulation signals S1, S2, and S3 that modulate the excitation lights L1, L2, and L3.
  • the modulation signal generation unit 16 sets the duty ratio D3 of the modulation signal S3 modulated at the highest modulation frequency f3 to be lower than the duty ratios D1 and D2 of the other modulation signals S1 and S2.
  • the modulation signal generation unit 16 outputs the modulation signals S1, S2, and S3 to the light sources 11, 12, and 13.
  • the excitation light L1 modulated at the modulation frequency f1 is output from the light source 11
  • the excitation light L2 modulated at the modulation frequency f2 is output from the light source 12
  • the excitation light L3 modulated at the modulation frequency f3 is output from the light source 13. Is output from.
  • These excitation lights L1, L2, and L3 are simultaneously irradiated to the sample T by the light guide optical system 20.
  • the detection unit 40 simultaneously detects the detection lights L11, L12, and L13 generated from the sample T due to the irradiation of the excitation lights L1, L2, and L3 (detection step P2). Specifically, the detection lights L11, L12, and L13 generated from the sample T are guided to the sensor 35 by the light guide optical system 30. Then, the sensor 35 outputs a detection signal S indicating an optical image of the detection lights L11, L12, and L13.
  • the image processing unit 70 generates images of the detection lights L11, L12, and L13 based on the detection signal S (image processing step P3). Specifically, the signal demodulation unit 71 demodulates the demodulation signals S11, S12, and S13 from the detection signal S for each demodulation timing TM based on the modulation signals S1, S2, and S3. Then, the image generation unit 72 generates images of the detection lights L11, L12, and L13 based on the demodulation signals S11, S12, and S13.
  • the image of the detection light L11 may be generated by averaging or adding the plurality of demodulation signals S11 generated for each demodulation timing TM, or the demodulation timing. It may be generated for each TM.
  • the image of the detection light L12 may be generated by averaging or adding a plurality of demodulation signals S12 generated for each demodulation timing TM, or may be generated for each demodulation timing TM.
  • the image of the detection light L13 may be generated by averaging or adding a plurality of demodulation signals S13 generated for each demodulation timing TM, or may be generated for each demodulation timing TM.
  • FIG. 5 is a diagram for explaining simulation conditions of Examples and Comparative Examples.
  • the detection lights L11, L12, and L13 generated from the sample T due to the irradiation of the excitation lights L1, L2, and L3 are arranged side by side in order. Similar to the present embodiment, the amount of light of the detection light L13 is the largest, and the amount of light of the detection lights L11 and L12 is smaller than the amount of light of the detection light L13. For example, the amount of light of the detection light L13 is set to 500 [photons / frame], and the amount of light of the detection lights L11 and L12 is set to 5 [photons / frame]. The detection light L13 having the largest amount of light corresponds to the excitation light L3 modulated at the highest modulation frequency f3.
  • FIG. 6 is a diagram showing simulation conditions of a comparative example, and shows modulation signals S101, S102, and S103 used for modulation of excitation lights L1, L2, and L3.
  • the modulation signals S101 and S102 shown in FIGS. 6A and 6B are the same as the modulation signals S1 and S2 of the present embodiment, respectively.
  • the modulation signal S103 shown in FIG. 6C is different from the modulation signal S3 of the present embodiment.
  • the modulation signal S103 has the highest modulation frequency like the modulation signal S3.
  • the modulation signal S103 is set so that the ON period T3C and the OFF period T3D are the same as each other. That is, the duty ratio of the modulation signal S103 is set to 50%, which is the same as the duty ratio of the modulation signals S101 and S102.
  • FIG. 7 is a diagram showing the simulation results of the comparative example.
  • FIG. 7A shows an image of the detection light L11 corresponding to the modulation signal S101.
  • FIG. 7B shows an image of the detection light L12 corresponding to the modulation signal S102.
  • FIG. 7C shows an image of the detection light L13 corresponding to the modulation signal S103.
  • a large shot noise component N113 appears in the images of the detected lights L11 and L12, respectively. This is because the shot noise component N113 of the detection light L13 is superimposed on the demodulation signal used for generating the images of the detection lights L11 and L12, respectively, when the images of the detection lights L11 and L12 are generated.
  • FIG. 8 is a diagram showing the simulation results of the examples.
  • the same modulated signals S1, S2, and S3 (see FIG. 2) as in the present embodiment are used. Therefore, the duty ratio D3 of the modulation signal S3 is set to 12.5%, which is smaller than the duty ratios D1 and D2 of the modulation signals S1 and S2.
  • FIG. 8A shows an image of the detection light L11 corresponding to the modulation signal S1.
  • FIG. 8B shows an image of the detection light L12 corresponding to the modulation signal S2.
  • FIG. 8C shows an image of the detection light L13 corresponding to the modulation signal S3. As shown in FIGS.
  • the shot noise component N13 of the detected light L13 becomes larger as the integrated value of the light amount of the detected light L13 in a certain period becomes larger.
  • This integrated value increases as the ON period T3A (see (c) in FIG. 2) in which the irradiation of the excitation light L3 corresponding to the detection light L13 is turned on becomes longer.
  • the ON period T3A the longer the emission period of the detected light L13. Therefore, if the duty ratio D3 of the modulation signal S3 corresponding to the detection light L13 is set low as in the embodiment, the emission period of the detection light L13 can be shortened, so that the shot noise component N13 of the detection light L13 can be reduced.
  • the demodulation timing TM in which the detection signals S are demodulated, the detection lights L11, L12, and L13 are used. It is necessary that the modulation signals S1, S2, and S3 corresponding to the above satisfy the orthogonality condition with each other. That is, in the demodulation timing TM, the modulation signal S3 after the duty ratio D3 is set low needs to satisfy the orthogonality condition with the other modulation signals S1 and S2.
  • the present inventors have conducted diligent studies on the modulated signals having the highest modulation frequency, even when the duty ratio is changed, before and after the change in the duty ratio. It was found in the above that the orthogonality condition with other modulated signals remains satisfied. That is, in the demodulation timing TM, only the modulation signal S3 having the highest modulation frequency f3 maintains the orthogonality of the modulation signals S1, S2, and S3 even if the duty ratio D3 is changed.
  • the duty ratio D3 of the modulation signal S3 having the highest modulation frequency f3 is lower than the duty ratios D1 and D2 of the other modulation signals S1 and S2. It is set.
  • the duty ratio D3 of the modulation signal S3 having the highest modulation frequency f3 low in this way, the modulation signal S3 is supported while satisfying the orthogonal conditions of the modulation signals S1, S2, and S3 in the demodulation timing TM.
  • the shot noise component N13 of the detection light L13 (see (a) of FIG. 8 and (b) of FIG. 8) can be reduced.
  • the observation device 1 and the observation method according to the present embodiment can be used only by controlling the light sources 11, 12, and 13, the observation device 1 and the observation method according to the present embodiment can be used as an existing device. It is easy to install and cost-effective at the time of introduction.
  • the irradiation unit 10 has a modulation signal generation unit 16 that generates modulation signals S1, S2, and S3. According to this configuration, the desired modulation signals S1, S2, and S3 can be easily obtained.
  • the detection lights L11 and L12 have a light amount smaller than that of the detection light L13.
  • the shot noise component N13 of the detection light L13 is the image of the detection light L11 and L12. It is easy to appear in each. Therefore, in such a case, the above-mentioned effect can be preferably obtained.
  • the modulation frequency f3 of the excitation light L3 corresponding to the detection light L13 is set to the fastest modulation frequency.
  • the shot noise component N13 tends to appear in the images of the detection light L13 having a large amount of light and the detection lights L11 and L12 having a small amount of light, respectively.
  • the shot noise component N13 of the detection light L13 can be effectively reduced. As a result, it is possible to effectively suppress the situation where the shot noise component N13 of the detection light L13 appears in the images of the detection lights L11 and L12, respectively.
  • the detection light L13 has the largest amount of light among the plurality of detection lights L11, L12, and L13.
  • the shot noise component N13 tends to appear in the images of the detection light L13 having a large amount of light and the detection light L11 and L12 having a small amount of light, respectively, and the difference in the amount of light between the detection light L13 and the detection light L11 and the difference between the detection light L13 and the detection light L12. The larger the difference in the amount of light, the larger the difference.
  • the modulation frequency f3 of the excitation light L3 corresponding to the detection light L13 having the largest amount of light to the fastest modulation frequency, the shot noise component N13 of the detection light L13 can be reduced more effectively. As a result, it is possible to more effectively suppress the situation where the shot noise component N13 of the detection light L13 appears in the images of the detection lights L11 and L12, respectively.
  • the duty ratio D3 of the modulation signal S3 having the modulation frequency f3, which is the fastest modulation frequency, is set based on the difference in the amount of light between the detection light L13 and the detection light L11 or L12.
  • the shot noise component N13 of the detection light L13 fluctuates due to the difference in the amount of light between the detection light L13 and the detection light L11 or L12.
  • the shot noise of the detection light L13 is set by setting the duty ratio D3 of the modulation signal S3 having the modulation frequency f3 based on the difference in the amount of light between the detection light L13 and the detection light L11 or L12.
  • the component N13 can be reduced more effectively. As a result, it is possible to more effectively suppress the situation where the shot noise component N13 of the detection light L13 appears in the images of the detection lights L11 and L12, respectively.
  • the duty ratio D3 of the modulation signal S3 having the modulation frequency f3, which is the fastest modulation frequency is set according to the absolute value of the difference between the light amount of the detection light L13 and the light amount of the detection light L11 or L12.
  • the shot noise component N13 of the detection light L13 appearing in the images of the detection light L11 and L12 increases according to the absolute value of the difference between the light amount of the detection light L13 and the light amount of the detection light L11 or L12.
  • the duty ratio D3 of the modulation signal S3 having the modulation frequency f3 according to the absolute value, the shot noise component N13 of the detection light L13 can be reduced more effectively. As a result, it is possible to more effectively suppress the situation where the shot noise component N13 of the detection light L13 appears in the images of the detection lights L11 and L12, respectively.
  • FIG. 9 is a diagram showing a modification of the modulation signals S1, S2, and S3.
  • FIG. 9A shows the modulation signal S1A corresponding to the modulation signal S1.
  • FIG. 9B shows the modulation signal S2A corresponding to the modulation signal S2.
  • FIG. 9C shows the same modulated signal S3 as in the above embodiment.
  • all frames of the demodulated signals S11, S12, and S13 corresponding to the modulated signals S1, S2, and S3, respectively, are used to generate images of the detected lights L11, L12, and L13. I explained the case of doing.
  • the image generation unit 72 generates images of the detection lights L11 and L12 by using only the frames obtained in the TB during the period when the irradiation of the excitation light L3 corresponding to the modulation signal S3 is turned off.
  • the frame obtained during the period TB does not include the detection light L13 or contains a very small amount of detection light L13. Therefore, if the images of the detection lights L11 and L12 are generated using only the frames obtained during the period TB, the situation where the shot noise component of the detection light L13 appears in the images of the detection lights L11 and L12 can be more effectively suppressed. ..
  • the modulation signals S1A and S2A are obtained.
  • the irradiation of the respective excitation lights L1 and L2 corresponding to the above is set to be always OFF. Therefore, the frame obtained in the period TA does not include the detection lights L11 and L12 corresponding to the excitation lights L1 and L2, or includes the detection lights L11 and L12 having an extremely small amount of light. Therefore, if the image of the detection light L13 is generated using the frame obtained in the period TA, it is possible to suppress the situation where the shot noise components of the detection lights L11 and L12 appear in the image of the detection light L13.
  • FIG. 10 is a diagram showing simulation results of the modified example shown in FIG. Also in this simulation, the same conditions as in the simulation shown in FIG. 5 are set.
  • FIG. 10A shows an image of the detection light L11 corresponding to the modulation signal S1A.
  • FIG. 10B shows an image of the detection light L12 corresponding to the modulation signal S2A.
  • FIG. 10C shows an image of the detection light L13 corresponding to the modulation signal S3.
  • the shot noise component N13 of the detection light L13 is further reduced as compared with the simulation results shown in FIGS. 8A and 8B. You can see that it has been done.
  • the shot noise component N13 of the detection light L13 can be significantly reduced. As a result, it is possible to more effectively suppress the situation where the shot noise component N13 appears in the images of the detected lights L11 and L12, respectively.
  • the images of the detected lights L11 and L12 using only the frames within the period TB can also be generated by the following method.
  • the signal demodulation unit 71 when demodulating the detection signal S, the signal demodulation unit 71 always has the same coefficient (for example, for example) as the detection signal S corresponding to the period TA of the modulation signals S1A and S2A among the detection signals S output from the sensor 35. You may multiply by "0").
  • the demodulated signal can be generated without considering the frame in the period TA, so that the detection light L11 is based on the demodulated signal.
  • the image of L12 can be generated without using the frame in the period TA.
  • the modulation signals S1A and S2A which are always set to OFF in the period TA are used as in the modification shown in FIG. 9, it is not necessary to use such a method, and the OFF period (period) is the same as in the above-described embodiment.
  • the detection signal S corresponding to (including TA) By always multiplying the detection signal S corresponding to (including TA) by the same coefficient (for example, “0”), images of the detection lights L11 and L12 can be generated without using the frame within the period TA.
  • FIG. 11 is a diagram showing a further modified example of the modified example shown in FIG.
  • the example shown in FIG. 11 is common to the modified example shown in FIG. 9 in that images of the detection lights L11 and L12 are generated using only the frames obtained during the period TB.
  • the example shown in FIG. 11 is different from the modified example shown in FIG. 9 in that the irradiation of the excitation lights L1 and L2 in the period TA is not always set to OFF.
  • the same modulation signals S1, S2, and S3 as in the above embodiment are used.
  • 11A shows the modulation signal S1
  • FIG. 11B shows the modulation signal S2
  • FIG. 11C shows the modulation signal S3.
  • the irradiation of the excitation lights L1 and L2 is not always set to OFF in the period TA. Even in such a form, the same effect as that of the modified example shown in FIG. 9 can be obtained.
  • FIG. 12 is a schematic configuration diagram showing a modified example of the observation device 1.
  • the configuration of the modulation unit 15A of the irradiation unit 10A is different from that of the observation device 1 according to the above embodiment. That is, the modulation unit 15A has a modulation signal storage unit 16A instead of the modulation signal generation unit 16 and the modulation frequency setting unit 17.
  • the modulation signal storage unit 16A stores the modulation signals S1, S2, and S3 having the modulation frequencies f1, f2, and f3 in advance.
  • the modulation signal storage unit 16A is configured to be able to output the modulation signals S1, S2, and S3 to the light sources 11, 12, and 13. Even with the observation device 1A shown in FIG.
  • the same effect as that of the observation device 1 according to the above-described embodiment can be obtained. Further, according to the observation device 1A, it is not necessary to perform the processing for generating the modulation signals S1, S2, and S3, so that the processing load is reduced as compared with the case where the modulation signals S1, S2, and S3 are generated. can.
  • FIG. 13 is a schematic configuration diagram showing another modification of the observation device 1.
  • the observation device 1B shown in FIG. 13 is different from the observation device 1 according to the above embodiment in that the irradiation unit 10B has different light sources 18 and 19 in addition to the light sources 11, 12, and 13.
  • the light source 18 is a light source for dark field illumination, and is configured to be capable of outputting dark field illumination L8 having a wavelength ⁇ 8.
  • the light source 19 is a light source for bright-field illumination, and is configured to be capable of outputting bright-field illumination L9 having a wavelength ⁇ 9.
  • As the light sources 18 and 19, light sources of the same type as the light sources 11, 12, and 13 may be used.
  • the light source 19 is arranged at a position facing the objective lens 31 with the sample T interposed therebetween, and outputs the bright field illumination L9 from the back surface of the sample T.
  • the light source 18 is arranged on the objective lens 31 side with respect to the sample T, and outputs the dark field illumination L8 from a direction inclined with respect to the optical axis of the objective lens 31.
  • Each of the dark field illumination L8 and the bright field illumination L9 may be light having a specific wavelength band or light having a broad wavelength band.
  • the light sources 18 and 19 are electrically connected to the modulation unit 15 like the light sources 11, 12, and 13.
  • the modulation signal generation unit 16 of the modulation unit 15 generates a modulation signal S8 having a modulation frequency f8 and a modulation signal S9 having a modulation frequency f9 in addition to the modulation signals S1, S2, and S3.
  • the modulation signal S8 is a modulation pattern for temporally modulating the dark field illumination L8 output from the light source 18. For example, it is a rectangular wavy pulse signal that modulates the dark field illumination L8 at the modulation frequency f8 so as to alternately switch the irradiation of the dark field illumination L8 ON / OFF.
  • the modulation signal S9 is a modulation pattern for temporally modulating the bright field illumination L9 output from the light source 19. For example, it is a rectangular wavy pulse signal that modulates the bright field illumination L9 at the modulation frequency f9 so as to alternately switch the irradiation of the bright field illumination L9 ON / OFF.
  • the modulation frequencies f8 and f9 are set lower than the modulation frequency f3 of the modulation signal S3.
  • the dark field illumination L8 and the bright field illumination L9 output from the light sources 18 and 19, respectively, are guided by the light guide optical system 20, and are simultaneously irradiated to the sample T together with the excitation lights L1, L2, and L3.
  • the bright field illumination L9 irradiates the sample T the transmitted light of the bright field illumination L9 transmitted through the sample T is detected by the detection unit 40 as the detection light L19.
  • the dark-field illumination L8 irradiates the sample T the scattered light of the dark-field illumination L8 generated in the sample T is detected by the detection unit 40 as the detection light L18.
  • the sensor 35 of the detection unit 40 simultaneously detects the detection lights L11, L12, L13, L18, and L19, and outputs the detection signal SB.
  • the image processing unit 70 simultaneously demodulates the detection signal SB based on the modulation frequencies f1, f2, f3, f8, and f9 to generate images of the detection lights L11, L12, L13, L18, and L19. do. Even in such a form, the same effect as that of the above-described embodiment can be obtained.
  • the above-described embodiments and modifications may be combined with each other according to the required purpose and effect.
  • the light amounts of the detected lights L11 and L12 may be different from each other.
  • the shot noise component of the detection light L12 may appear in the image of the detection light L11, so that the modulation frequency of the modulation signal corresponding to the detection light L12 is set.
  • the fastest modulation frequency may be set, and the duty ratio of the modulation signal may be set lower than the duty ratio of the modulation signal corresponding to the detection light L11. In this case, it is possible to suppress the situation where the shot noise component of the detection light L12 appears in the image of the detection light L11.
  • the sample T is irradiated with the three excitation lights L1, L2, and L3 to detect the three detection lights L11, L12, and L13 has been described.
  • the number of excitation lights and the number of detection lights can be changed as appropriate.
  • the number of excitation lights and the number of detection lights may be two or four or more, respectively.
  • the setting of the modulation frequency of the modulation signal that modulates the excitation light is not limited to the above-described embodiment and each modification, and can be appropriately changed.
  • the light sources 11, 12, and 13 are directly installed in the light guide optical system 20 .
  • the light sources 11, 12, and 13 may be arranged outside the device and optically connected to the light guide optical system 20 via an optical fiber or the like.
  • the irradiation unit 10 may have one light source capable of outputting multi-wavelength excitation light instead of the light sources 11, 12, and 13.
  • the one light source simultaneously outputs excitation lights L1, L2, and L3 having different wavelengths from each other.
  • the modulation unit 15 modulates the excitation lights L1, L2, and L3 by controlling the light sources 11, 12, and 13 using the modulation signals S1, S2, and S3 has been described. ..
  • the method of modulating the excitation light by the modulation unit is not limited to the above-mentioned example.
  • the modulation unit may be an optical chopper that mechanically modulates the excitation light.
  • each optical chopper may be installed corresponding to each light source, and each excitation light may be temporally modulated by repeated passage or blocking of each excitation light by each optical chopper.
  • the modulation pattern of the excitation light by the optical chopper is set to correspond to the above-mentioned modulation signal.
  • the optical chopper modulates the excitation light so that the irradiation of the excitation light can be switched ON / OFF according to the modulation pattern.
  • the modulation unit may be an optical modulation device such as a DMD (Digital Micromirror Device) or a spatial light modulator (SLM).
  • each optical modulation device is installed corresponding to each light source, and each modulation pattern is displayed on each optical modulation device.
  • each excitation light from each light source is time-modulated.
  • Each modulation pattern is set to correspond to the above-mentioned modulation signal.
  • the optical modulation device modulates the excitation light so that the irradiation of the excitation light can be switched ON / OFF according to the modulation pattern.
  • 1,1A, 1B ... Observation device 10,10A, 10B ... Irradiation unit, 16 ... Modulation signal generation unit (generation unit), 16A ... Modulation signal storage unit (storage unit), 40 ... Detection unit, 70 ... Image processing unit , L1, L2, L3 ... Excitation light, L11, L12 ... Detection light (second detection light), L13 ... Detection light (first detection light), L18, L19 ... Detection light, S, SB ... Detection signal, S1, S1A, S2, S2A, S3, S8, S9 ... Modulation signal (modulation pattern), T ... Sample (observation object), T1, T2, T3 ... One cycle, T1A, T2A, T3A ... ON period, T1B, T2B, T3B ... OFF period, TM ... Demodulation timing.

Landscapes

  • Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Multimedia (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

観察装置は、互いに異なる波長を有すると共に、互いに異なる変調周波数による複数の変調パターンでそれぞれ変調された複数の励起光を、観察対象物に同時に照射する照射部と、観察対象物からの複数の検出光を検出信号として検出する検出部と、検出信号を復調することにより、複数の検出光の画像を検出光毎に生成する画像処理部と、を備える。各変調パターンは、検出信号が復調される復調タイミングにおいて互いに直交条件を満たすように設定されている。一周期におけるＯＮ期間の割合をデューティー比で表した場合に、複数の変調パターンのうち、最も高い変調周波数である最速変調周波数を有する変調パターンのデューティー比は、他の変調パターンのデューティー比よりも低く設定されている。

Description

観察装置及び観察方法
　本開示は、観察装置及び観察方法に関する。
　従来、観察対象物の蛍光観察を行う観察装置として、例えば特許文献１に記載された顕微鏡装置が知られている。この顕微鏡装置では、複数の蛍光物質により多重染色された試料に対して、複数の蛍光物質をそれぞれ励起する波長を有し且つ互いに異なる変調周波数で変調された複数の励起光が、同時に照射される。複数の励起光の照射に伴って、これら励起光に対応する複数の蛍光が試料から発生する。この顕微鏡装置では、これら蛍光が同時に検出され、各蛍光を示す信号が変調周波数に基づいて周波数分離されることによって、各蛍光の画像が蛍光毎に生成される。
特開２００５－０９１８９５号公報
　上述した顕微鏡装置では、各蛍光の画像が生成される際、或る蛍光のショットノイズ成分が他の蛍光の画像に偽信号として現れることがある。このような現象は、当該或る蛍光の光量が当該他の蛍光に比して大きい場合に、特に顕著に現れる。このような現象が生じると、各蛍光の正確な画像を生成することが困難となり得る。
　本開示は、上記課題の解決のためになされたものであり、観察対象物の正確な画像を得ることができる観察装置及び観察方法を提供する。
　本開示の一側面に係る観察装置は、互いに異なる波長を有すると共に、互いに異なる変調周波数による複数の変調パターンでそれぞれ変調された複数の励起光を、観察対象物に同時に照射する照射部と、複数の励起光の照射に伴う観察対象物からの複数の検出光を検出信号として検出する検出部と、検出信号を復調することにより、複数の検出光の画像を検出光毎に生成する画像処理部と、を備える。各変調パターンは、励起光の照射がＯＮになるＯＮ期間と励起光の照射がＯＦＦになるＯＦＦ期間とを含む期間を一周期として、変調周波数で繰り返すように励起光を変調させる矩形波状の変調パターンである。各変調パターンは、検出信号が復調される復調タイミングにおいて互いに直交条件を満たすように設定されている。一周期におけるＯＮ期間の割合をデューティー比で表した場合に、複数の変調パターンのうち、最も高い変調周波数である最速変調周波数を有する変調パターンのデューティー比は、他の変調パターンのデューティー比よりも低く設定されている。
　各検出光の画像が生成される際、或る検出光のショットノイズ成分が他の検出光の画像に偽信号として現れることがある。このようなショットノイズ成分は、当該或る検出光の一定期間における光量の積算値が大きくなるほど大きくなる。この積算値は、当該或る検出光に対応する励起光の照射がＯＮになるＯＮ期間が長くなるほど大きくなる。したがって、ショットノイズ成分を低減するためには、当該或る検出光に対応する励起光を変調させる変調パターンのデューティー比を低く設定すればよい。ここで、各検出光を示す検出信号を正確に復調するためには、検出信号が復調されるタイミングにおいて、各検出光に対応する各変調パターンが互いに直交条件を満たす必要がある。本発明者らは、互いに直交条件を満たす各変調パターンについて鋭意検討を重ねた結果、最速変調周波数を有する変調パターンについては、デューティー比を変更した場合であっても、デューティー比の変更前後において他の変調パターンと直交条件が満たされたままであることを見出した。そこで、上記の観察装置では、最速変調周波数を有する変調パターンのデューティー比が、他の変調パターンのデューティー比よりも低くなるように設定されている。このように最速変調周波数を有する変調パターンのデューティー比が低く設定されることにより、各変調パターンの直交条件を満たしつつ、最速変調周波数に対応する検出光のショットノイズ成分を低減できる。これにより、検出光の画像にショットノイズ成分が現れる事態を抑制できる。その結果、各検出光の正確な画像を得ることができる。
　照射部は、複数の変調パターンを記憶する記憶部を有してもよい。この場合、各変調パターンを生成する処理を行う必要がないので、各変調パターンを生成する場合と比べて、処理負担を軽減できる。
　照射部は、複数の変調パターンを生成する生成部を有してもよい。この場合、所望の各変調パターンを容易に得ることができる。
　複数の検出光は、第１の検出光と、第１の検出光よりも小さい光量を有する第２の検出光と、を含んでもよい。ショットノイズ成分は、このように各検出光の間に光量差がある場合に、検出光の画像に現れやすい。したがって、このような場合に、検出光の画像にショットノイズ成分が現れる事態を好適に抑制できる。
　第１の検出光に対応する励起光の変調周波数が、最速変調周波数に設定されていてもよい。ショットノイズ成分は、光量の大きい検出光から光量の小さい検出光の画像に現れやすい。これに対し、光量の大きい第１の検出光に対応する励起光の変調周波数が最速変調周波数に設定されることで、第１の検出光のショットノイズ成分を効果的に低減できる。その結果、第１の検出光のショットノイズ成分が第２の検出光の画像に現れる事態を効果的に抑制できる。
　第１の検出光は、複数の検出光の中で最も大きい光量を有してもよい。ショットノイズ成分は、光量の大きい検出光から光量の小さい検出光の画像に現れやすく、それらの検出光の光量差が大きくなるほど大きくなる。これに対し、光量の最も大きい第１の検出光に対応する励起光の変調周波数が最速変調周波数に設定されることで、第１の検出光のショットノイズ成分をより効果的に低減できる。その結果、第１の検出光のショットノイズ成分が第２の検出光の画像に現れる事態をより効果的に抑制できる。
　第１の検出光と第２の検出光との間の光量の違いに基づいて、最速変調周波数を有する変調パターンのデューティー比が設定されていてもよい。第２の検出光の画像に現れる第１の検出光のショットノイズ成分は、第１の検出光と第２の検出光との間の光量の違いに起因して変動する。これに対し、第１の検出光と第２の検出光との間の光量の違いに基づいて、最速変調周波数を有する変調パターンのデューティー比が設定されることで、最速変調周波数に対応する第１の検出光のショットノイズ成分をより効果的に低減できる。その結果、第１の検出光のショットノイズ成分が第２の検出光の画像に現れる事態をより効果的に抑制できる。
　第１の検出光の光量と第２の検出光の光量との差の絶対値に応じて、最速変調周波数を有する変調パターンのデューティー比が設定されていてもよい。第２の検出光の画像に現れる第１の検出光のショットノイズ成分は、第１の検出光の光量と第２の検出光の光量との差の絶対値に応じて大きくなる。これに対し、その絶対値に応じて最速変調周波数を有する変調パターンのデューティー比が設定されることにより、最速変調周波数に対応する第１の検出光のショットノイズ成分をより効果的に低減できる。その結果、第１の検出光のショットノイズ成分が第２の検出光の画像に現れる事態をより効果的に抑制できる。
　最速変調周波数に対応する励起光の照射がＯＮになるＯＮ期間では、最速変調周波数に対応する励起光以外の励起光の照射がＯＦＦになっていてもよい。最速変調周波数に対応する励起光の照射がＯＮになるＯＮ期間に検出された検出信号には、最速変調周波数に対応する検出光以外の他の検出光が含まれないか、或いは、極めて小さい光量の当該他の検出光が含まれる。したがって、この検出信号に含まれるデータを用いて最速変調周波数に対応する検出光の画像を生成すれば、当該他の検出光のショットノイズ成分が、最速変調周波数に対応する検出光の画像に現れる事態を抑制できる。
　画像処理部は、最速変調周波数に対応する励起光の照射がＯＮになるＯＮ期間以外の期間に検出された検出信号に含まれるデータを用いて、最速変調周波数に対応する検出光以外の他の検出光の画像を生成してもよい。最速変調周波数に対応する励起光の照射がＯＮになるＯＮ期間以外の期間に検出された検出信号に含まれるデータには、最速変調周波数に対応する検出光が含まれないか、或いは、極めて小さい光量の当該検出光が含まれる。したがって、このデータを用いて最速変調周波数に対応する検出光以外の他の検出光の画像を生成すれば、最速変調周波数に対応する検出光のショットノイズ成分が当該他の検出光の画像に現れる事態をより効果的に抑制できる。
　本開示の一側面に係る観察方法は、互いに異なる波長を有すると共に、互いに異なる変調周波数による複数の変調パターンでそれぞれ変調された複数の励起光を、観察対象物に同時に照射するステップと、複数の励起光の照射に伴う観察対象物からの複数の検出光を検出信号として検出するステップと、検出信号を復調することにより、複数の検出光の画像を検出光毎に生成するステップと、を備える。各変調パターンは、励起光の照射がＯＮになるＯＮ期間と励起光の照射がＯＦＦになるＯＦＦ期間とを含む期間を一周期として、変調周波数で繰り返すように励起光を変調させる矩形波状の変調パターンである。各変調パターンは、検出信号が復調される復調タイミングにおいて互いに直交条件を満たすように設定されている。一周期におけるＯＮ期間の割合をデューティー比で表した場合に、複数の変調パターンのうち、最も高い変調周波数である最速変調周波数を有する変調パターンのデューティー比は、他の変調パターンのデューティー比よりも低く設定されている。
　各検出光の画像が生成される際、或る検出光のショットノイズ成分が他の検出光の画像に偽信号として現れることがある。このようなショットノイズ成分は、当該或る検出光の一定期間における光量の積算値が大きくなるほど大きくなる。この積算値は、当該或る検出光に対応する励起光の照射がＯＮになるＯＮ期間が長くなるほど大きくなる。したがって、ショットノイズ成分を低減するためには、当該或る検出光に対応する励起光を変調させる変調パターンのデューティー比を低く設定すればよい。ここで、各検出光を示す検出信号を正確に復調するためには、検出信号が復調されるタイミングにおいて、各検出光に対応する各変調パターンが互いに直交条件を満たす必要がある。本発明者らは、互いに直交条件を満たす各変調パターンについて鋭意検討を重ねた結果、最速変調周波数を有する変調パターンについては、デューティー比を変更した場合であっても、デューティー比の変更前後において他の変調パターンと直交条件が満たされたままであることを見出した。そこで、上記の観察方法では、最速変調周波数を有する変調パターンのデューティー比が、他の変調パターンのデューティー比よりも低くなるように設定されている。このように最速変調周波数を有する変調パターンのデューティー比が低く設定されることにより、各変調パターンの直交条件を満たしつつ、最速変調周波数に対応する検出光のショットノイズ成分を低減できる。これにより、検出光の画像にショットノイズ成分が現れる事態を抑制できる。その結果、各検出光の正確な画像を得ることができる。
　本開示によれば、観察対象物の正確な画像を得ることができる。
図１は、観察装置の一実施形態を示す概略構成図である。 図２は、図１に示す各変調信号を示す図である。 図３は、図１に示す各変調信号が満たす直交条件を説明するための図である。 図４は、観察方法の一実施形態を示すフローチャートである。 図５は、実施例及び比較例のシミュレーション条件を説明するための図である。 図６は、比較例のシミュレーション条件を示す図である。 図７は、比較例のシミュレーション結果を示す図である。 図８は、実施例のシミュレーション結果を示す図である。 図９は、各変調信号の変形例を示す図である。 図１０は、図９に示す変形例のシミュレーション結果を示す図である。 図１１は、図９に示す変形例の更なる変形例を示す図である。 図１２は、観察装置の変形例を示す概略構成図である。 図１３は、観察装置の別の変形例を示す概略構成図である。
　以下、本開示の一実施形態について、図面を参照しつつ詳細に説明する。以下の説明において、同一又は相当要素には同一符号を用い、重複する説明を適宜省略する。
　図１は、本実施形態に係る観察装置１を示す概略構成図である。観察装置１は、観察対象物である試料Ｔの蛍光観察を行う。試料Ｔは、例えば、互いに異なる複数種類の蛍光物質を含む生体組織等のサンプルである。各蛍光物質は、所定の波長域の励起光が照射された場合に、励起光の波長に応じた波長を有する蛍光等の検出光を発生する。蛍光物質としては、例えば、インドシアニングリーン、メチレンブルー、フルオレセイン、及び５－アミノレブリン酸等の蛍光色素が挙げられる。観察装置１は、試料Ｔの複数の蛍光物質をそれぞれ励起する複数の励起光Ｌ１、Ｌ２、及びＬ３を試料Ｔに同時に照射し、それに伴って試料Ｔから発生する複数の検出光Ｌ１１、Ｌ１２、及びＬ１３を同時に撮像する。
　図１に示すように、観察装置１は、例えば、照射部１０と、検出部４０と、画像処理部７０と、を備える。照射部１０は、互いに異なる波長λ１、λ２、及びλ３を有し、且つ互いに異なる変調周波数ｆ１、ｆ２、及びｆ３でそれぞれ変調された複数の励起光Ｌ１、Ｌ２、及びＬ３を、試料Ｔに同時に照射する。照射部１０は、複数の光源１１、１２、及び１３と、変調部１５と、導光光学系２０と、を有する。光源１１、１２、及び１３は、励起光Ｌ１、Ｌ２、及びＬ３をそれぞれ出力する。変調部１５は、励起光Ｌ１、Ｌ２、及びＬ３が互いに異なる変調周波数ｆ１、ｆ２、及びｆ３でそれぞれ変調されるように、光源１１、１２、及び１３を制御する。導光光学系２０は、光源１１、１２、及び１３からそれぞれ出力された励起光Ｌ１、Ｌ２、及びＬ３を試料Ｔに導光する。
　各光源１１、１２、及び１３は、試料Ｔの蛍光物質を励起させる波長を含む光を生成可能なコヒーレント光源又はインコヒーレント光源である。光源１１は、波長λ１を有する励起光Ｌ１を生成可能である。光源１２は、波長λ２を有する励起光Ｌ２を生成可能である。光源１３は、波長λ３を有する励起光Ｌ３を生成可能である。コヒーレント光源としては、例えば、レーザダイオード（ＬＤ）といったレーザ光源等が挙げられる。インコヒーレント光源としては、例えば、発光ダイオード（ＬＥＤ）、スーパールミネッセントダイオード（ＳＬＤ）又はランプ系光源等が挙げられる。
　変調部１５は、各光源１１、１２、及び１３と電気的に接続されている。変調部１５は、互いに異なる変調周波数ｆ１、ｆ２、及びｆ３をそれぞれ有する複数の変調信号Ｓ１、Ｓ２、及びＳ３を用いて、複数の励起光Ｌ１、Ｌ２、及びＬ３をそれぞれ変調させる。変調部１５は、変調信号Ｓ１、Ｓ２、及びＳ３を生成する変調信号生成部１６（生成部）と、変調周波数ｆ１、ｆ２、及びｆ３を設定する変調周波数設定部１７と、を有する。
　変調周波数設定部１７は、例えば、変調周波数ｆ１、ｆ２、及びｆ３の中で、変調周波数ｆ３を最も高い最速変調周波数に設定し、変調周波数ｆ１を最も低い変調周波数に設定する。本実施形態では、変調周波数設定部１７は、変調周波数ｆ３を変調周波数ｆ１の４倍に設定し、変調周波数ｆ２を変調周波数ｆ１の２倍に設定する。変調周波数ｆ１、ｆ２、及びｆ３は、予め変調周波数設定部１７に記憶された値であってもよいし、入出力デバイス等を介して外部から入力された値であってもよい。
　変調信号生成部１６は、変調周波数設定部１７によって設定された変調周波数ｆ１、ｆ２、及びｆ３をそれぞれ有する変調信号Ｓ１、Ｓ２、及びＳ３を生成する。変調信号Ｓ１は、光源１１から出力される励起光Ｌ１を時間的に変調させるための変調パターンである。例えば、変調信号Ｓ１は、励起光Ｌ１の照射のＯＮ／ＯＦＦが交互に切り替えられるように、励起光Ｌ１を変調周波数ｆ１で変調させる矩形波状のパルス信号である。変調信号Ｓ２は、光源１２から出力される励起光Ｌ２を時間的に変調させるための変調パターンである。例えば、変調信号Ｓ２は、励起光Ｌ２の照射のＯＮ／ＯＦＦが交互に切り替えられるように、励起光Ｌ２を変調周波数ｆ２で変調させる矩形波状のパルス信号である。変調信号Ｓ３は、光源１３から出力される励起光Ｌ３を時間的に変調させるための変調パターンである。例えば、変調信号Ｓ３は、励起光Ｌ３の照射のＯＮ／ＯＦＦが交互に切り替えられるように、励起光Ｌ３を変調周波数ｆ３で変調させる矩形波状のパルス信号である。各変調信号Ｓ１、Ｓ２、及びＳ３のより詳細な説明については、後述する。
　変調信号生成部１６は、生成した変調信号Ｓ１、Ｓ２、及びＳ３を光源１１、１２、及び１３にそれぞれ出力する。変調信号Ｓ１に従って、光源１１から出力される励起光Ｌ１が変調される。その結果、変調周波数ｆ１で変調された励起光Ｌ１が光源１１から出力される。変調信号Ｓ２に従って、光源１２から出力される励起光Ｌ２が変調される。その結果、変調周波数ｆ２で変調された励起光Ｌ２が光源１２から出力される。変調信号Ｓ３に従って、光源１３から出力される励起光Ｌ３が変調される。その結果、変調周波数ｆ３で変調された励起光Ｌ３が光源１３から出力される。
　導光光学系２０は、コリメータレンズ２１、２２、及び２３と、ダイクロイックミラー２４、２５、及び２９と、フィルタ２６及び２７と、リレーレンズ２８と、対物レンズ３１と、を含む。コリメータレンズ２１は、光源１１から出力された励起光Ｌ１を平行化する。コリメータレンズ２２は、光源１２から出力された励起光Ｌ２を平行化する。コリメータレンズ２３は、光源１３から出力された励起光Ｌ３を平行化する。ダイクロイックミラー２４は、光源１３の光軸と光源１２の光軸とが交差する位置に配置されている。コリメータレンズ２２を経た励起光Ｌ２と、コリメータレンズ２３を経た励起光Ｌ３とは、ダイクロイックミラー２４に到達する。
　ダイクロイックミラー２４は、波長λ２の励起光Ｌ２を反射し、波長λ３の励起光Ｌ３を透過する。ダイクロイックミラー２４を経た励起光Ｌ２及びＬ３と、コリメータレンズ２１を経た励起光Ｌ１とは、ダイクロイックミラー２５に到達する。ダイクロイックミラー２５は、光源１２の光軸と光源１１の光軸とが交差する位置に配置されている。ダイクロイックミラー２５は、波長λ２の励起光Ｌ２、及び波長λ３の励起光Ｌ３を反射し、波長λ１の励起光Ｌ１を透過する。ダイクロイックミラー２５を経た励起光Ｌ１、Ｌ２、及びＬ３は、対物レンズ３１に向かって進行する。
　フィルタ２６及び２７は、ダイクロイックミラー２５と対物レンズ３１との間の光路上に並んで配置されている。フィルタ２６及び２７は、波長λ１の励起光Ｌ１、波長λ２の励起光Ｌ２、及び波長λ３の励起光Ｌ３のみを選択的に透過し、他の波長の光を遮断するバンドパスフィルタである。したがって、ダイクロイックミラー２５を経た励起光Ｌ１、Ｌ２、及びＬ３は、フィルタ２６及び２７を透過する。リレーレンズ２８は、フィルタ２６及び２７の間の光路上に配置されている。リレーレンズ２８は、励起光Ｌ１、Ｌ２、及びＬ３を対物レンズ３１まで効率よく導く役割を有する。
　ダイクロイックミラー２９は、フィルタ２７と対物レンズ３１との間の光路上に配置されている。フィルタ２７を経た励起光Ｌ１、Ｌ２、及びＬ３は、ダイクロイックミラー２９に到達する。ダイクロイックミラー２９は、波長λ１の励起光Ｌ１、波長λ２の励起光Ｌ２、及び波長λ３の励起光Ｌ３を反射し、蛍光波長の検出光Ｌ１１、Ｌ１２、及びＬ１３を透過する。ダイクロイックミラー２９を経た励起光Ｌ１、Ｌ２、及びＬ３は、対物レンズ３１に到達する。
　対物レンズ３１は、励起光Ｌ１、Ｌ２、及びＬ３を集光し、集光した励起光Ｌ１、Ｌ２、及びＬ３を試料Ｔに同時に照射する。更に、対物レンズ３１は、励起光Ｌ１、Ｌ２、及びＬ３の照射に伴って試料Ｔから発生した検出光Ｌ１１、Ｌ１２、及びＬ１３を導光する。対物レンズ３１は、例えば、ピエゾアクチュエータ又はステッピングモータ等の駆動素子により、対物レンズ３１の光軸に沿って移動可能に構成されている。これにより、励起光Ｌ１、Ｌ２、及びＬ３の集光位置と、検出光Ｌ１１、Ｌ１２、及びＬ１３の検出のための焦点位置と、が調整可能となっている。
　検出光Ｌ１１、Ｌ１２、及びＬ１３は、励起光Ｌ１、Ｌ２、及びＬ３の照射に伴って試料Ｔからそれぞれ発生する蛍光である。本実施形態では、検出光Ｌ１１、Ｌ１２、及びＬ１３のうちの検出光Ｌ１３が最も大きい光量を有する検出光（第１の検出光）である。検出光Ｌ１１及びＬ１２のそれぞれは、互いに同じ光量であって検出光Ｌ１３よりも小さい光量を有する検出光（第２の検出光）である。最も大きい光量を有する検出光Ｌ１３は、最も高い変調周波数ｆ３を有する励起光Ｌ３の照射に伴って発生した光である。
　各検出光Ｌ１１、Ｌ１２、及びＬ１３の光量は、励起光Ｌ１、Ｌ２、及びＬ３の照射を一度行えば測定できる。したがって、各検出光Ｌ１１、Ｌ１２、及びＬ１３の光量は、観察装置１に予め記憶されていてもよい。そして、最も大きい光量を有する検出光Ｌ１３に対応する励起光Ｌ３の変調周波数が最速変調周波数となるように、予め設定されていてもよい。つまり、各検出光Ｌ１１、Ｌ１２、及びＬ１３の光量の違いを考慮して、最速変調周波数で変調すべき励起光が決定されてもよい。
　検出部４０は、試料Ｔから発生した検出光Ｌ１１、Ｌ１２、及びＬ１３を検出する。検出部４０は、検出光Ｌ１１、Ｌ１２、及びＬ１３を導光する導光光学系３０と、導光光学系３０によって導光された検出光Ｌ１１、Ｌ１２、及びＬ１３を検出するセンサ３５と、を有する。導光光学系３０は、対物レンズ３１と、ダイクロイックミラー２９と、フィルタ３２と、結像レンズ３３と、を有する。対物レンズ３１は、検出光Ｌ１１、Ｌ１２、及びＬ１３を結像レンズ３３に向けて導光する。ダイクロイックミラー２９及びフィルタ３２は、対物レンズ３１と結像レンズ３３との間の光路上に配置されている。フィルタ３２は、蛍光波長の検出光Ｌ１１、Ｌ１２、及びＬ１３のみを選択的に透過し、他の波長の光を遮断するバンドパスフィルタである。したがって、対物レンズ３１を経た検出光Ｌ１１、Ｌ１２、及びＬ１３は、ダイクロイックミラー２９及びフィルタ３２を透過し、結像レンズ３３に到達する。結像レンズ３３は、検出光Ｌ１１、Ｌ１２、及びＬ１３をセンサ３５に結像する。
　センサ３５は、２次元的に配列された複数の画素によって構成された受光面を有している。センサ３５は、例えば、ＣＣＤイメージセンサ又はＣＭＯＳイメージセンサ等のエリアイメージセンサである。このようなイメージセンサとして、例えば、モノクロセンサ、カラーセンサ、マルチスペクトルセンサ、又はハイパースペクトルセンサ等を用いることができる。センサ３５は、導光光学系３０により導光された検出光Ｌ１１、Ｌ１２、及びＬ１３による光像を撮像し、検出光Ｌ１１、Ｌ１２、及びＬ１３のそれぞれの光像を含む画像データとして検出信号Ｓを出力する。
　センサ３５は、所定のフレームレート（例えば、１００ｆｐｓ）で撮像し、各フレームに対応する検出信号Ｓを出力する。センサ３５は、例えば、フレーム周期（フレームレートの逆数）以下の範囲で露光時間を可変に設定可能に構成されている。センサ３５は、変調信号生成部１６と通信可能に構成されており、センサ３５による撮像と、各変調信号Ｓ１、Ｓ２、及びＳ３に基づく各励起光Ｌ１、Ｌ２、及びＬ３の変調と、が同期するように設定されている。
　画像処理部７０は、例えばコンピュータであり、物理的には、ＲＡＭ及びＲＯＭ等のメモリ、ＣＰＵ等のプロセッサ（演算回路）、通信インターフェイス、ハードディスク等の格納部、並びに、ディスプレイ等の表示部、を備えて構成されている。コンピュータとしては、例えばパーソナルコンピュータ、クラウドサーバ、又はスマートデバイス（例えば、スマートフォン或いはタブレット端末等）等が挙げられる。コンピュータは、コンピュータのメモリに格納されるプログラムをコンピュータシステムのＣＰＵで実行することにより、画像処理部７０としての機能の他、各構成を制御するコントローラとして機能してもよいし、変調部１５として機能してもよい。
　画像処理部７０は、センサ３５と電気的に接続されており、センサ３５から出力された検出信号Ｓの処理を行う。画像処理部７０は、信号復調部７１と、画像生成部７２と、を有する。信号復調部７１は、変調周波数ｆ１、ｆ２、及びｆ３に基づいて検出信号Ｓを復調することにより、検出光Ｌ１１、Ｌ１２、及びＬ１３それぞれの光像に対応する画像データである復調信号Ｓ１１、Ｓ１２、及びＳ１３を出力する。画像生成部７２は、復調信号Ｓ１１、Ｓ１２、及びＳ１３に基づいて、検出光Ｌ１１、Ｌ１２、及びＬ１３それぞれの光像を示す画像を生成する。信号復調部７１は、所定のフレームレートで出力される検出信号Ｓを復調タイミングＴＭ（後述する図２参照）で復調する。復調タイミングＴＭは、後述する図２の（ａ）に示すように、最も低い変調周波数ｆ１を有する変調信号Ｓ１の一周期Ｔ１が経過するタイミングである。復調タイミングＴＭは、他の変調信号Ｓ２及びＳ３の変調周期の整数倍になるように設定されている。したがって、信号復調部７１は、復調タイミングＴＭ毎に、変調信号Ｓ１、Ｓ２、及びＳ３に基づいて検出信号Ｓを復調し、復調信号Ｓ１１、Ｓ１２、及びＳ１３を生成する。信号復調部７１における復調は、複数回（例えば、Ｎ回（Ｎは正の整数を示す））行われてもよい。この場合、信号復調部７１は、復調信号Ｓ１１、Ｓ１２、及びＳ１３の生成をＮ回行う。そして、画像生成部７２は、生成されたＮ個の復調信号Ｓ１１、Ｎ個の復調信号Ｓ１２、及びＮ個の復調信号Ｓ１３に対して、それぞれ平均処理もしくは加算処理等を行う。これにより、画像生成部７２は、検出光Ｌ１１、Ｌ１２、及びＬ１３それぞれの光像に対応する画像を生成する。
　信号復調部７１は、検出信号Ｓから復調信号Ｓ１１、Ｓ１２、及びＳ１３を生成する際、変調信号Ｓ１、Ｓ２、及びＳ３の変調周波数ｆ１、ｆ２、及びｆ３に基づいて復調処理を行う。各検出光Ｌ１１、Ｌ１２、及びＬ１３は、各励起光Ｌ１、Ｌ２、及びＬ３の照射に応じて発生する光である。そのため、各検出光Ｌ１１、Ｌ１２、及びＬ１３を示す各復調信号Ｓ１１、Ｓ１２、及びＳ１３についても、各変調信号Ｓ１、Ｓ２、及びＳ３の各変調周波数ｆ１、ｆ２、及びｆ３で変調されている。そこで、信号復調部７１は、復調タイミングＴＭにおいて、変調周波数ｆ１、ｆ２、及びｆ３による検出信号Ｓの復調処理を行うことにより、検出信号Ｓから復調信号Ｓ１１、Ｓ１２、及びＳ１３を復調する。
　具体的には、信号復調部７１は、センサ３５から出力される検出信号Ｓのうち、変調信号Ｓ１のＯＮ期間Ｔ１Ａに対応する検出信号Ｓに係数（例えば、“１”）を乗じ、ＯＦＦ期間Ｔ１Ｂに対応する検出信号Ｓに別の係数（例えば、“－１”）を乗じ、これらに対し平均処理もしくは加算処理を行うことで、復調信号Ｓ１１を得る。信号復調部７１は、センサ３５から出力される検出信号Ｓのうち、変調信号Ｓ２のＯＮ期間Ｔ２Ａに対応する検出信号Ｓに係数（例えば、“１”）を乗じ、ＯＦＦ期間Ｔ２Ｂに対応する検出信号Ｓに別の係数（例えば、“－１”）を乗じ、これらに対し平均処理もしくは加算処理を行うことで、復調信号Ｓ１２を得る。信号復調部７１は、センサ３５から出力される検出信号Ｓのうち、変調信号Ｓ３のＯＮ期間Ｔ３Ａに対応する検出信号Ｓに係数（例えば、“１”）を乗じ、ＯＦＦ期間Ｔ３Ｂに対応する検出信号Ｓに別の係数（例えば、“－１”）を乗じ、これらに対し平均処理もしくは加算処理を行うことで、復調信号Ｓ１３を得る。検出信号Ｓに乗じる係数は、変調信号Ｓ１、Ｓ２、及びＳ３の振幅に対応させてもよい。信号復調部７１は、復調タイミングＴＭ毎に復調信号Ｓ１１，Ｓ１２、及びＳ１３を生成し、これら復調信号Ｓ１１、Ｓ１２、及びＳ１３を画像生成部７２に出力する。
　画像生成部７２は、信号復調部７１から出力された復調信号Ｓ１１、Ｓ１２、及びＳ１３に基づいて、検出光Ｌ１１、Ｌ１２、及びＬ１３それぞれに対応する画像を生成する。復調タイミングＴＭが複数設定されている場合、信号復調部７１は、復調タイミングＴＭ毎に復調信号Ｓ１１、Ｓ１２、及びＳ１３を生成し、これら復調信号Ｓ１１、Ｓ１２、及びＳ１３を画像生成部７２に出力する。その結果、画像生成部７２には、復調タイミングＴＭ毎に生成された複数の復調信号Ｓ１１が入力される。画像生成部７２は、複数の復調信号Ｓ１１を平均処理もしくは加算処理することにより、検出光Ｌ１１の画像を生成する。同様に、画像生成部７２には、復調タイミングＴＭ毎に生成された複数の復調信号Ｓ１２が入力される。画像生成部７２は、複数の復調信号Ｓ１２を平均処理もしくは加算処理することにより、検出光Ｌ１２の画像を生成する。同様に、画像生成部７２には、復調タイミングＴＭ毎に生成された複数の復調信号Ｓ１３が入力される。画像生成部７２は、複数の復調信号Ｓ１３を平均処理もしくは加算処理することにより、検出光Ｌ１３の画像を生成する。
　復調信号Ｓ１１、Ｓ１２、及びＳ１３は復調タイミングＴＭ毎に復調されるため、復調信号Ｓ１１、Ｓ１２、及びＳ１３に基づいて生成される検出光Ｌ１１、Ｌ１２、及びＬ１３の画像も、復調タイミングＴＭ毎に生成されてもよい。この場合、画像生成部７２は、検出光Ｌ１１、Ｌ１２、及びＬ１３の画像が生成される度に、検出光Ｌ１１、Ｌ１２、及びＬ１３のそれぞれの画像を更新して表示してもよい。つまり、画像生成部７２は、復調タイミングＴＭが到来する度に、各検出光Ｌ１１、Ｌ１２、及びＬ１３の画像を更新してもよい。画像生成部７２は、検出光Ｌ１１、Ｌ１２、及びＬ１３の画像をそれぞれ並べて表示してもよいし、検出光Ｌ１１、Ｌ１２、及びＬ１３の画像を互いに重ね合わせて表示してもよい。
　ここで、図２及び図３を参照して、上述した変調信号Ｓ１、Ｓ２、及びＳ３について詳細に説明する。図２の（ａ）は、変調周波数ｆ１を有する変調信号Ｓ１を示している。図２の（ｂ）は、変調周波数ｆ２を有する変調信号Ｓ２を示している。図２の（ｃ）は、変調周波数ｆ３を有する変調信号Ｓ３を示している。図２の（ａ）、図２の（ｂ）、及び図２の（ｃ）において、横軸は時間を示しており、縦軸は変調信号Ｓ１、Ｓ２、及びＳ３の出力を示している。
　図２の（ａ）に示す変調信号Ｓ１は、試料Ｔへの励起光Ｌ１の照射がＯＮになるＯＮ期間Ｔ１Ａと、試料Ｔへの励起光Ｌ１の照射がＯＦＦになるＯＦＦ期間Ｔ１Ｂとを一周期Ｔ１として、変調周波数ｆ１で交互に繰り返すように励起光Ｌ１を変調させる。図２の（ａ）に示す例では、ＯＮ期間Ｔ１Ａ及びＯＦＦ期間Ｔ１Ｂは、互いに等しくなるように設定されている。言い換えると、一周期Ｔ１におけるＯＮ期間Ｔ１Ａの割合をデューティー比Ｄ１で表した場合に、このデューティー比Ｄ１が、５０％に設定されている。センサ３５は、復調タイミングＴＭが到来するまでの間にｎフレーム（ｎは正の整数であり、例えば１６フレーム）分撮像するように設定されている。この場合、ＯＮ期間Ｔ１Ａに得られる検出信号Ｓはｎ/２フレーム分であり、ＯＦＦ期間Ｔ１Ｂに得られる検出信号Ｓはｎ/２フレーム分である。デューティー比Ｄ１は、５０％に限られず、適宜変更可能である。
　図２の（ｂ）に示す変調信号Ｓ２は、試料Ｔへの励起光Ｌ２の照射がＯＮになるＯＮ期間Ｔ２Ａと、試料Ｔへの励起光Ｌ２の照射がＯＦＦになるＯＦＦ期間Ｔ２Ｂとを一周期Ｔ２として、変調周波数ｆ２で交互に繰り返すように励起光Ｌ２を変調させる。本実施形態では、変調信号Ｓ２の変調周波数ｆ２は、変調信号Ｓ１の変調周波数ｆ１の２倍に設定されているので、変調信号Ｓ１の一周期Ｔ１の中に、変調信号Ｓ２の一周期Ｔ２が２つ含まれている。図２の（ｂ）に示す例では、ＯＮ期間Ｔ２Ａ及びＯＦＦ期間Ｔ２Ｂは、ＯＮ期間Ｔ１Ａ及びＯＦＦ期間Ｔ１Ｂと同様、互いに等しくなるように設定されている。言い換えると、一周期Ｔ２におけるＯＮ期間Ｔ２Ａの割合をデューティー比Ｄ２で表した場合に、このデューティー比Ｄ２が、５０％に設定されている。この場合、センサ３５は、復調タイミングＴＭが到来するまでの間にｎフレーム分撮像するように設定されているので、２つのＯＮ期間Ｔ２Ａの合計期間に得られる検出信号Ｓはｎ/２フレーム分であり、２つのＯＦＦ期間Ｔ２Ｂの合計期間に得られる検出信号Ｓはｎ/２フレーム分である。デューティー比Ｄ２は、５０％に限られず、適宜変更可能である。
　図２の（ｃ）に示す変調信号Ｓ３は、試料Ｔへの励起光Ｌ３の照射がＯＮになるＯＮ期間Ｔ３Ａと、試料Ｔへの励起光Ｌ３の照射がＯＦＦになるＯＦＦ期間Ｔ３Ｂとを含む期間を一周期Ｔ３として、変調周波数ｆ３で交互に繰り返すように励起光Ｌ３を変調させる。本実施形態では、変調信号Ｓ３の変調周波数ｆ３は、変調信号Ｓ１の変調周波数ｆ１の４倍に設定されているので、変調信号Ｓ１の一周期Ｔ１の中に、変調信号Ｓ３の一周期Ｔ３が４つ含まれている。
　図２の（ｃ）に示す変調信号Ｓ３では、ＯＮ期間Ｔ３Ａ及びＯＦＦ期間Ｔ３Ｂが互いに異なるように設定されている。具体的には、一周期Ｔ３において、ＯＮ期間Ｔ３Ａは、ＯＦＦ期間Ｔ３Ｂよりも短くなるように設定されている。すなわち、一周期Ｔ３におけるＯＮ期間Ｔ３Ａの割合をデューティー比Ｄ３で表した場合に、このデューティー比Ｄ３は、５０％よりも低く設定されている。その結果、デューティー比Ｄ３は、変調信号Ｓ１及びＳ２のデューティー比Ｄ１及びＤ２よりも低くなる。一例では、デューティー比Ｄ３は、１２．５％に設定される。この場合、センサ３５は、復調タイミングＴＭが到来するまでの間にｎフレーム分撮像するように設定されているので、４つのＯＮ期間Ｔ３Ａの合計期間に得られる検出信号Ｓはｎ/８フレーム分であり、４つのＯＦＦ期間Ｔ３Ｂの合計期間に得られる検出信号Ｓは７×ｎ/８フレーム分である。デューティー比Ｄ３は、デューティー比Ｄ１及びＤ２よりも低ければ、１２．５％に限られず適宜変更可能である。デューティー比Ｄ１及びＤ２が互いに異なる場合には、デューティー比Ｄ３は、例えば、デューティー比Ｄ１及びＤ２のうちの低い方よりも更に低くなるように設定される。
　このように、変調信号Ｓ１、Ｓ２、及びＳ３のうち、最も高い変調周波数ｆ３を有する変調信号Ｓ３のデューティー比Ｄ３が、他の変調信号Ｓ２及びＳ３のデューティー比Ｄ１及びＤ２よりも低く設定されている。上述したように、各検出光Ｌ１１、Ｌ１２、及びＬ１３は、各変調信号Ｓ１、Ｓ２、及びＳ３の各変調周波数ｆ１、ｆ２、及びｆ３で変調されている。したがって、各変調信号Ｓ１、Ｓ２、及びＳ３による各励起光Ｌ１、Ｌ２、及びＬ３の照射のＯＮ／ＯＦＦの切り替えに応じて、各検出光Ｌ１１、Ｌ１２、及びＬ１３の発光／非発光が切り替えられる。つまり、各励起光Ｌ１、Ｌ２、及びＬ３の照射がＯＮのときは、各検出光Ｌ１１、Ｌ１２、及びＬ１３が発光する一方、各励起光Ｌ１、Ｌ２、及びＬ３の照射がＯＦＦのときは、各検出光Ｌ１１、Ｌ１２、及びＬ１３が発光しない。
　したがって、変調信号Ｓ３のデューティー比Ｄ３が低く設定されると、励起光Ｌ３の照射がＯＮになるＯＮ期間Ｔ３Ａが短くなり、それに応じて検出光Ｌ１３の発光期間が短くなる。検出光Ｌ１３の発光期間が短くなれば、後述するように、検出光Ｌ１１及びＬ１２の画像に現れる検出光Ｌ１３のショットノイズ成分を低減する上で有効となる。一方、デューティー比Ｄ３が低くなるほど、検出光Ｌ１３の画像の光量の積算値が小さくなるので、検出光Ｌ１３の画像の精度が低下することが懸念される。このため、デューティー比Ｄ３は、検出光Ｌ１３の画像の精度の低下を抑えつつ、検出光Ｌ１３のショットノイズ成分を十分に低減可能な範囲内に設定される。本実施形態においては、検出光Ｌ１３は最も大きい光量を有する光であるので、デューティー比Ｄ３が低く設定されても、検出光Ｌ１３の光量を十分に確保できる。このため、本実施形態では、検出光Ｌ１３の画像の精度が大きく低下することが抑制されている。
　検出光Ｌ１１の画像に現れる検出光Ｌ１３のショットノイズ成分は、検出光Ｌ１３の光量と検出光Ｌ１１の光量との差に応じて変動する。つまり、検出光Ｌ１３の光量と検出光Ｌ１１の光量との差の絶対値が大きいほど、検出光Ｌ１１の画像に現れる検出光Ｌ１３のショットノイズ成分が大きくなる。検出光Ｌ１２の画像に現れる検出光Ｌ１３のショットノイズ成分は、検出光Ｌ１３の光量と検出光Ｌ１２の光量との差に応じて変動する。つまり、検出光Ｌ１３の光量と検出光Ｌ１２の光量との差の絶対値が大きいほど、検出光Ｌ１２の画像に現れる検出光Ｌ１３のショットノイズ成分が大きくなる。したがって、検出光Ｌ１３の光量と、検出光Ｌ１１又はＬ１２の光量との差の絶対値が大きい場合には、デューティー比Ｄ３がより低く設定されることにより、検出光Ｌ１３のショットノイズ成分の低減効果をより効果的に得ることができる。一方、検出光Ｌ１３の光量と、検出光Ｌ１１又はＬ１２の光量との差の絶対値が小さい場合には、デューティー比Ｄ３が比較的高く設定されても、検出光Ｌ１３のショットノイズ成分の低減効果を十分に得ることができる。この場合には、検出光Ｌ１３の光量をより多く確保できるので、検出光Ｌ１３の画像の精度の低下が抑えられる。
　このように、デューティー比Ｄ３は、検出光Ｌ１１、Ｌ１２、及びＬ１３の光量の違いに基づいて設定される。つまり、検出光Ｌ１３の光量と、検出光Ｌ１１又はＬ１２の光量との差の絶対値が大きくなるほど、デューティー比Ｄ３が低くなるように設定される。そして、検出光Ｌ１３の光量と、検出光Ｌ１１又はＬ１２の光量との差の絶対値が小さくなるほど、デューティー比Ｄ３が高くなるように設定される。デューティー比Ｄ３は、検出光Ｌ１１又はＬ１２の光量に対する検出光Ｌ１３の比率に応じて設定されてもよい。この場合、当該比率が大きいほど、デューティー比Ｄ３が低くなるように設定されてもよく、当該比率が小さいほど、デューティー比Ｄ３が高くなるように設定されてもよい。
　各変調信号Ｓ１、Ｓ２、及びＳ３は、復調タイミングＴＭにおいて互いに直交条件を満たすように設定されている。このように各変調信号Ｓ１、Ｓ２、及びＳ３が互いに直交条件を満たす場合、復調タイミングＴＭにおいて、各変調信号Ｓ１、Ｓ２、及びＳ３に対応する各復調信号Ｓ１１、Ｓ１２、及びＳ１３を検出信号Ｓから正確に復調できる。「直交条件を満たす」とは、復調タイミングＴＭにおいて変調信号Ｓ１、Ｓ２、及びＳ３の間の内積がゼロになることをいう。この直交条件について、図３を用いてより詳細に説明する。
　図３は、変調信号Ｓ１及びＳ２が満たす直交条件を説明するための図である。図３に示す例では、変調信号Ｓ１及びＳ２の関係に着目し、励起光Ｌ１及びＬ２の照射がＯＮになるときの変調信号Ｓ１及びＳ２の出力を＋１とし、励起光Ｌ１及びＬ２の照射がＯＦＦになるときの変調信号Ｓ１及びＳ２の出力を－１とする。そして、各変調信号Ｓ１及びＳ２について、出力が切り替わるタイミングで時間領域Ｒ１、Ｒ２、Ｒ３及びＲ４に分割する。変調信号Ｓ１と変調信号Ｓ２とでは、変調信号Ｓ２の方が出力の切り替えが多いので、変調信号Ｓ２の出力が切り替わるタイミングで時間領域Ｒ１、Ｒ２、Ｒ３及びＲ４に分割する。その結果、時間領域Ｒ１及びＲ３は、変調信号Ｓ２のＯＮ期間Ｔ２Ａに相当し、時間領域Ｒ２及びＲ４は、変調信号Ｓ２のＯＦＦ期間Ｔ２Ｂに相当することとなる。
　そして、各時間領域Ｒ１、Ｒ２、Ｒ３及びＲ４について、変調信号Ｓ１の出力と変調信号Ｓ２の出力との積を計算する。時間領域Ｒ１においては、変調信号Ｓ１の出力が＋１であり、変調信号Ｓ２の出力も＋１であるので、これらの積は＋１である。一方、時間領域Ｒ２においては、変調信号Ｓ１の出力が＋１であり、変調信号Ｓ２の出力は－１であるので、これらの積は－１である。同様に計算すると、時間領域Ｒ３においては、変調信号Ｓ１及びＳ２の積は－１となり、時間領域Ｒ４においては、変調信号Ｓ１及びＳ２の積は＋１となる。そして、これら時間領域Ｒ１、Ｒ２、Ｒ３、及びＲ４における上記積の合計はゼロになる。これは、変調信号Ｓ１及びＳ２の間の内積がゼロになることを意味する。したがって、時間領域Ｒ４が経過したタイミングである復調タイミングＴＭ（すなわち、変調信号Ｓ１の一周期Ｔ１が経過するタイミング）において、変調信号Ｓ１及びＳ２が互いに直交条件を満たすこととなる。
　上記の変調信号Ｓ１及びＳ２の関係は、変調信号Ｓ１、Ｓ２、及びＳ３のいずれの２つの変調信号の間においても成り立つ。したがって、各変調信号Ｓ１、Ｓ２、及びＳ３は、復調タイミングＴＭにおいて互いに直交条件を満たす。復調タイミングＴＭは、上述したように、変調信号Ｓ１、Ｓ２、及びＳ３のうち、最も低い変調周波数ｆ１を有する変調信号Ｓ１の一周期Ｔ１が経過するタイミングに一致する。このタイミングでは、変調信号Ｓ１、Ｓ２、及びＳ３の全てが常に互いに直交条件を満たす。直交条件を満たす変調信号の組み合わせのパターンは、センサ３５の規定フレーム数だけ存在する。本実施形態のように矩形波状の変調信号が用いられる例では、例えば、センサ３５の規定フレーム数が１６である場合、直交条件を満たす変調信号の組み合わせは最大で１６パターン存在する。つまり、規定フレーム数分だけ検出光を同時に検出できる。
　続いて、上述した観察装置１を用いて実施される観察方法について説明する。図４は、本実施形態に係る観察方法を示すフローチャートである。
　まず、照射部１０は、互いに異なる波長λ１、λ２、及びλ３を有し、且つ互いに異なる変調周波数ｆ１、ｆ２、及びｆ３でそれぞれ変調された励起光Ｌ１、Ｌ２、及びＬ３を、試料Ｔに同時に照射する（照射ステップＰ１）。照射ステップＰ１では、変調信号生成部１６は、各励起光Ｌ１、Ｌ２、及びＬ３を変調させる各変調信号Ｓ１、Ｓ２、及びＳ３を生成する。このとき、変調信号生成部１６は、最も高い変調周波数ｆ３で変調される変調信号Ｓ３のデューティー比Ｄ３を、他の変調信号Ｓ１及びＳ２のデューティー比Ｄ１及びＤ２よりも低く設定する。
　その後、変調信号生成部１６は、各変調信号Ｓ１、Ｓ２、及びＳ３を各光源１１、１２、及び１３に出力する。その結果、変調周波数ｆ１で変調された励起光Ｌ１が光源１１から出力され、変調周波数ｆ２で変調された励起光Ｌ２が光源１２から出力され、変調周波数ｆ３で変調された励起光Ｌ３が光源１３から出力される。これら励起光Ｌ１、Ｌ２、及びＬ３は、導光光学系２０によって試料Ｔに同時に照射される。
　次に、検出部４０は、励起光Ｌ１、Ｌ２、及びＬ３の照射に伴って試料Ｔから発生した検出光Ｌ１１、Ｌ１２、及びＬ１３を同時に検出する（検出ステップＰ２）。具体的には、試料Ｔから発生した検出光Ｌ１１、Ｌ１２、及びＬ１３が、導光光学系３０によってセンサ３５に導光される。そして、センサ３５は、検出光Ｌ１１、Ｌ１２、及びＬ１３の光像を示す検出信号Ｓを出力する。
　次に、画像処理部７０は、検出信号Ｓに基づいて検出光Ｌ１１、Ｌ１２、及びＬ１３の画像をそれぞれ生成する（画像処理ステップＰ３）。具体的には、信号復調部７１が、変調信号Ｓ１、Ｓ２、及びＳ３に基づいて、検出信号Ｓから復調信号Ｓ１１、Ｓ１２、及びＳ１３を復調タイミングＴＭ毎に復調する。そして、画像生成部７２が、各復調信号Ｓ１１、Ｓ１２、及びＳ１３に基づいて、各検出光Ｌ１１、Ｌ１２、及びＬ１３の画像を生成する。複数の復調タイミングＴＭが設定されている場合、検出光Ｌ１１の画像は、復調タイミングＴＭ毎に生成される複数の復調信号Ｓ１１を平均処理もしくは加算処理することにより生成されてもよいし、復調タイミングＴＭ毎に生成されてもよい。同様に、検出光Ｌ１２の画像は、復調タイミングＴＭ毎に生成される複数の復調信号Ｓ１２を平均処理もしくは加算処理することにより生成されてもよいし、復調タイミングＴＭ毎に生成されてもよい。同様に、検出光Ｌ１３の画像は、復調タイミングＴＭ毎に生成される複数の復調信号Ｓ１３を平均処理もしくは加算処理することにより生成されてもよいし、復調タイミングＴＭ毎に生成されてもよい。
　続いて、図５、図６、図７、及び図８に示すシミュレーションを参照しながら、上述した観察装置１及び観察方法の作用効果について説明する。図５は、実施例及び比較例のシミュレーション条件を説明するための図である。
　図５に示すように、励起光Ｌ１、Ｌ２、及びＬ３の照射に伴って試料Ｔから発生する検出光Ｌ１１、Ｌ１２、及びＬ１３が順に左右に並んで配置されている。本実施形態と同様、検出光Ｌ１３の光量が最も大きく、検出光Ｌ１１及びＬ１２の光量が検出光Ｌ１３の光量よりも小さくなっている。例えば、検出光Ｌ１３の光量は、５００［光子/フレーム］に設定され、検出光Ｌ１１及びＬ１２の光量はいずれも、５［光子/フレーム］に設定される。最も大きい光量を有する検出光Ｌ１３は、最も高い変調周波数ｆ３で変調された励起光Ｌ３に対応している。
　図６は、比較例のシミュレーション条件を示す図であり、励起光Ｌ１、Ｌ２、及びＬ３の変調に用いられる変調信号Ｓ１０１、Ｓ１０２、及びＳ１０３を示している。図６の（ａ）及び図６の（ｂ）に示す変調信号Ｓ１０１及びＳ１０２は、本実施形態の変調信号Ｓ１及びＳ２とそれぞれ同一である。一方、図６の（ｃ）に示す変調信号Ｓ１０３は、本実施形態の変調信号Ｓ３とは異なっている。変調信号Ｓ１０３は、変調信号Ｓ３と同様、最も高い変調周波数を有している。しかし、変調信号Ｓ１０３は、変調信号Ｓ３とは異なり、ＯＮ期間Ｔ３Ｃ及びＯＦＦ期間Ｔ３Ｄが互いに同一になるように設定されている。つまり、変調信号Ｓ１０３のデューティー比は、変調信号Ｓ１０１及びＳ１０２のデューティー比と同じ５０％に設定されている。
　図７は、比較例のシミュレーション結果を示す図である。図７の（ａ）は、変調信号Ｓ１０１に対応する検出光Ｌ１１の画像を示している。図７の（ｂ）は、変調信号Ｓ１０２に対応する検出光Ｌ１２の画像を示している。図７の（ｃ）は、変調信号Ｓ１０３に対応する検出光Ｌ１３の画像を示している。図７の（ａ）及び図７の（ｂ）に示すように、検出光Ｌ１１及びＬ１２の画像には、大きなショットノイズ成分Ｎ１１３がそれぞれ現れていることが分かる。これは、検出光Ｌ１１及びＬ１２の画像を生成する際に、検出光Ｌ１３のショットノイズ成分Ｎ１１３が、検出光Ｌ１１及びＬ１２の画像の生成に用いられる復調信号にそれぞれ重畳したことに起因する。本シミュレーションのように、検出光Ｌ１３の光量と検出光Ｌ１１の光量との間、及び検出光Ｌ１３の光量と検出光Ｌ１２の光量との間に差がある場合、光量の大きい検出光Ｌ１３のショットノイズ成分Ｎ１１３が、光量の小さい検出光Ｌ１１及び検出光Ｌ１２の画像にそれぞれ現れる傾向がある。
　一方、図８は、実施例のシミュレーション結果を示す図である。実施例では、本実施形態と同じ変調信号Ｓ１、Ｓ２、及びＳ３（図２参照）が用いられる。したがって、変調信号Ｓ３のデューティー比Ｄ３は、変調信号Ｓ１及びＳ２のデューティー比Ｄ１及びＤ２よりも小さい１２．５％に設定される。その他の条件は比較例と同じである。図８の（ａ）は、変調信号Ｓ１に対応する検出光Ｌ１１の画像を示している。図８の（ｂ）は、変調信号Ｓ２に対応する検出光Ｌ１２の画像を示している。図８の（ｃ）は、変調信号Ｓ３に対応する検出光Ｌ１３の画像を示している。図８の（ａ）及び図８の（ｂ）に示すように、比較例のシミュレーション結果（すなわち、図７の（ａ）及び図７の（ｂ）に示すショットノイズ成分Ｎ１１３）と比べて、検出光Ｌ１１及びＬ１２の画像にそれぞれ現れる検出光Ｌ１３のショットノイズ成分Ｎ１３が大きく低減されていることが分かる。これは、変調信号Ｓ３のデューティー比Ｄ３が、比較例の場合よりも低く設定されたことに起因する。
　検出光Ｌ１３のショットノイズ成分Ｎ１３は、一定期間における検出光Ｌ１３の光量の積算値が大きくなるほど大きくなる。この積算値は、検出光Ｌ１３に対応する励起光Ｌ３の照射がＯＮになるＯＮ期間Ｔ３Ａ（図２の（ｃ）参照）が長くなるほど大きくなる。ＯＮ期間Ｔ３Ａが長くなるほど、検出光Ｌ１３の発光期間が長くなるからである。そこで、実施例のように、検出光Ｌ１３に対応する変調信号Ｓ３のデューティー比Ｄ３を低く設定すれば、検出光Ｌ１３の発光期間を短くできるので、検出光Ｌ１３のショットノイズ成分Ｎ１３を低減できる。但し、検出光Ｌ１１、Ｌ１２、及びＬ１３を示す検出信号Ｓを正確に復調するためには、上述したように、検出信号Ｓが復調される復調タイミングＴＭにおいて、各検出光Ｌ１１、Ｌ１２、及びＬ１３に対応する各変調信号Ｓ１、Ｓ２、及びＳ３が互いに直交条件を満たす必要がある。つまり、復調タイミングＴＭにおいて、デューティー比Ｄ３を低く設定した後の変調信号Ｓ３が他の変調信号Ｓ１及びＳ２と直交条件を満たす必要がある。
　本発明者らは、互いに直交条件を満たす変調信号のパターンについて鋭意検討を重ねた結果、最も高い変調周波数を有する変調信号については、デューティー比を変更した場合であっても、デューティー比の変更前後において他の変調信号と直交条件が満たされたままであることを見出した。つまり、復調タイミングＴＭにおいて、最も高い変調周波数ｆ３を有する変調信号Ｓ３に限っては、デューティー比Ｄ３が変更されても、各変調信号Ｓ１、Ｓ２、及びＳ３の直交性が保たれる。
　そこで、本実施形態に係る観察装置１及び観察方法では、最も高い変調周波数ｆ３を有する変調信号Ｓ３のデューティー比Ｄ３が、他の変調信号Ｓ１及びＳ２のデューティー比Ｄ１及びＤ２よりも低くなるように設定されている。このように最も高い変調周波数ｆ３を有する変調信号Ｓ３のデューティー比Ｄ３が低く設定されることにより、復調タイミングＴＭにおいて変調信号Ｓ１、Ｓ２、及びＳ３の直交条件を満たしつつ、変調信号Ｓ３に対応する検出光Ｌ１３のショットノイズ成分Ｎ１３（図８の（ａ）及び図８の（ｂ）参照）を低減できる。これにより、検出光Ｌ１１及びＬ１２の画像にショットノイズ成分Ｎ１３がそれぞれ現れる事態を抑制できる。その結果、各検出光Ｌ１１、Ｌ１２、及びＬ１３の正確な画像を得ることができる。更に、本実施形態に係る観察装置１及び観察方法は、光源１１、１２、及び１３の制御を行うだけで利用可能であるので、本実施形態に係る観察装置１及び観察方法を既存の装置に容易に導入でき、この導入時の費用対効果も高い。
　本実施形態では、照射部１０は、変調信号Ｓ１、Ｓ２、及びＳ３を生成する変調信号生成部１６を有している。この構成によれば、所望の各変調信号Ｓ１、Ｓ２、及びＳ３を容易に得ることができる。
　本実施形態では、検出光Ｌ１１及びＬ１２は、検出光Ｌ１３よりも小さい光量を有する。このように検出光Ｌ１３と検出光Ｌ１１との間、及び検出光Ｌ１３と検出光Ｌ１２との間に光量差がある場合に、検出光Ｌ１３のショットノイズ成分Ｎ１３が、検出光Ｌ１１及びＬ１２の画像にそれぞれ現れやすい。したがって、このような場合に、上述した効果を好適に得ることができる。
　本実施形態では、検出光Ｌ１３に対応する励起光Ｌ３の変調周波数ｆ３が、最速変調周波数に設定されている。ショットノイズ成分Ｎ１３は、光量の大きい検出光Ｌ１３から光量の小さい検出光Ｌ１１及びＬ１２の画像にそれぞれ現れやすい。これに対し、光量の大きい検出光Ｌ１３に対応する励起光Ｌ３の変調周波数ｆ３が最速変調周波数に設定されることで、検出光Ｌ１３のショットノイズ成分Ｎ１３を効果的に低減できる。その結果、検出光Ｌ１３のショットノイズ成分Ｎ１３が検出光Ｌ１１及びＬ１２の画像にそれぞれ現れる事態を効果的に抑制できる。
　本実施形態では、検出光Ｌ１３は、複数の検出光Ｌ１１、Ｌ１２、及びＬ１３の中で最も大きい光量を有している。ショットノイズ成分Ｎ１３は、光量の大きい検出光Ｌ１３から光量の小さい検出光Ｌ１１及びＬ１２の画像にそれぞれ現れやすく、検出光Ｌ１３と検出光Ｌ１１との光量差、及び検出光Ｌ１３と検出光Ｌ１２との光量差が大きくなるほど大きくなる。これに対し、光量の最も大きい検出光Ｌ１３に対応する励起光Ｌ３の変調周波数ｆ３が最速変調周波数に設定されることで、検出光Ｌ１３のショットノイズ成分Ｎ１３をより効果的に低減できる。その結果、検出光Ｌ１３のショットノイズ成分Ｎ１３が検出光Ｌ１１及びＬ１２の画像にそれぞれ現れる事態をより効果的に抑制できる。
　本実施形態では、検出光Ｌ１３と、検出光Ｌ１１又はＬ１２との間の光量の違いに基づいて、最速変調周波数である変調周波数ｆ３を有する変調信号Ｓ３のデューティー比Ｄ３が設定されている。検出光Ｌ１３のショットノイズ成分Ｎ１３は、検出光Ｌ１３と検出光Ｌ１１又はＬ１２との間の光量の違いに起因して変動する。これに対し、検出光Ｌ１３と、検出光Ｌ１１又はＬ１２との間の光量の違いに基づいて、変調周波数ｆ３を有する変調信号Ｓ３のデューティー比Ｄ３が設定されることで、検出光Ｌ１３のショットノイズ成分Ｎ１３をより効果的に低減できる。その結果、検出光Ｌ１３のショットノイズ成分Ｎ１３が検出光Ｌ１１及びＬ１２の画像にそれぞれ現れる事態をより効果的に抑制できる。
　本実施形態では、検出光Ｌ１３の光量と、検出光Ｌ１１又はＬ１２の光量との差の絶対値に応じて、最速変調周波数である変調周波数ｆ３を有する変調信号Ｓ３のデューティー比Ｄ３が設定されている。検出光Ｌ１１及びＬ１２の画像に現れる検出光Ｌ１３のショットノイズ成分Ｎ１３は、検出光Ｌ１３の光量と、検出光Ｌ１１又はＬ１２の光量との差の絶対値に応じて大きくなる。これに対し、その絶対値に応じて変調周波数ｆ３を有する変調信号Ｓ３のデューティー比Ｄ３が設定されることにより、検出光Ｌ１３のショットノイズ成分Ｎ１３をより効果的に低減できる。その結果、検出光Ｌ１３のショットノイズ成分Ｎ１３が検出光Ｌ１１及びＬ１２の画像にそれぞれ現れる事態をより効果的に抑制できる。
　以上、本開示の一実施形態について説明したが、本開示は上記実施形態に限定されず、種々の変更を行うことができる。
　図９は、変調信号Ｓ１、Ｓ２、及びＳ３の変形例を示す図である。図９の（ａ）は、変調信号Ｓ１に対応する変調信号Ｓ１Ａを示している。図９の（ｂ）は、変調信号Ｓ２に対応する変調信号Ｓ２Ａを示している。図９の（ｃ）は、上記実施形態と同一の変調信号Ｓ３を示している。上述した実施形態では、各変調信号Ｓ１、Ｓ２、及びＳ３にそれぞれ対応する各復調信号Ｓ１１、Ｓ１２、及びＳ１３の全フレームを用いて、各検出光Ｌ１１、Ｌ１２、及びＬ１３の画像の生成を生成する場合を説明した。これに対し、本変形例では、各変調信号Ｓ１Ａ及びＳ２Ａに対応する各復調信号については、一部のフレームのみを用いて各検出光Ｌ１１及びＬ１２の画像を生成する。各図９の（ａ）、図９の（ｂ）、及び図９の（ｃ）には、画像の生成に用いられる復調信号のフレームの範囲が、ドット柄のハッチングで示されている。
　図９の（ｃ）に示すように、変調信号Ｓ３に対応する復調信号については、上記実施形態と同様、全フレームが検出光Ｌ１３の画像の生成に用いられる。一方、図９の（ａ）及び図９の（ｂ）に示すように、各変調信号Ｓ１Ａ及びＳ２Ａに対応する各復調信号については、期間ＴＢ内のフレームのみが各検出光Ｌ１１及びＬ１２の画像の生成に用いられ、期間ＴＡ内のフレームは各検出光Ｌ１１及びＬ１２の画像の生成に用いられない。期間ＴＢは、変調信号Ｓ３におけるＯＦＦ期間Ｔ３Ｂに相当する。期間ＴＡは、変調信号Ｓ３におけるＯＮ期間Ｔ３Ａに相当する。したがって、画像生成部７２は、変調信号Ｓ３に対応する励起光Ｌ３の照射がＯＦＦになる期間ＴＢに得られたフレームのみを用いて、各検出光Ｌ１１及びＬ１２の画像を生成する。期間ＴＢに得られたフレームには、検出光Ｌ１３が含まれないか、或いは、極めて小さい光量の検出光Ｌ１３が含まれる。したがって、期間ＴＢに得られたフレームのみを用いて検出光Ｌ１１及びＬ１２の画像を生成すれば、検出光Ｌ１３のショットノイズ成分が検出光Ｌ１１及びＬ１２の画像に現れる事態をより効果的に抑制できる。
　更に、本変形例では、図９の（ａ）及び図９の（ｂ）に示すように、変調信号Ｓ３に対応する励起光Ｌ３の照射がＯＮになる期間ＴＡでは、各変調信号Ｓ１Ａ及びＳ２Ａに対応する各励起光Ｌ１及びＬ２の照射が常にＯＦＦになるように設定されている。このため、期間ＴＡに得られたフレームには、各励起光Ｌ１及びＬ２に対応する各検出光Ｌ１１及びＬ１２が含まれないか、或いは、極めて小さい光量の各検出光Ｌ１１及びＬ１２が含まれる。したがって、期間ＴＡに得られたフレームを用いて検出光Ｌ１３の画像を生成すれば、検出光Ｌ１１及びＬ１２のショットノイズ成分が、検出光Ｌ１３の画像に現れる事態を抑制できる。
　図１０は、図９に示す変形例のシミュレーション結果を示す図である。このシミュレーションにおいても、図５に示すシミュレーションと同様の条件を設定する。図１０の（ａ）は、変調信号Ｓ１Ａに対応する検出光Ｌ１１の画像を示している。図１０の（ｂ）は、変調信号Ｓ２Ａに対応する検出光Ｌ１２の画像を示している。図１０の（ｃ）は、変調信号Ｓ３に対応する検出光Ｌ１３の画像を示している。図１０の（ａ）及び図１０の（ｂ）に示すように、検出光Ｌ１３のショットノイズ成分Ｎ１３は、図８の（ａ）及び図８の（ｂ）に示すシミュレーション結果よりも、更に低減されていることが分かる。このように、図９に示す変形例によれば、検出光Ｌ１３のショットノイズ成分Ｎ１３を大きく低減できる。これにより、検出光Ｌ１１及びＬ１２の画像にショットノイズ成分Ｎ１３がそれぞれ現れる事態をより効果的に抑制できる。
　図９に示す変形例において、期間ＴＢ内のフレームのみを用いた各検出光Ｌ１１及びＬ１２の画像の生成は、以下の手法によっても行うことができる。例えば、検出信号Ｓを復調する際、信号復調部７１は、センサ３５から出力される検出信号Ｓのうち、変調信号Ｓ１Ａ及びＳ２Ａの期間ＴＡに対応する検出信号Ｓに常に同一の係数（例えば、“０”）を乗じてもよい。この場合、期間ＴＡにおいて変調信号Ｓ１Ａ及びＳ２ＡがＯＮ／ＯＦＦのいずれであるかに関わらず、期間ＴＡ内のフレームを考慮せずに復調信号を生成できるので、当該復調信号に基づいて検出光Ｌ１１及びＬ１２の画像の生成を行えば、期間ＴＡ内のフレームを用いずに検出光Ｌ１１及びＬ１２の画像を生成できる。図９に示す変形例のように期間ＴＡにおいて常にＯＦＦに設定された変調信号Ｓ１Ａ及びＳ２Ａを用いる場合は、このような手法を用いる必要はなく、上述した実施形態と同様に、ＯＦＦ期間（期間ＴＡを含む）に対応する検出信号Ｓに常に同一の係数（例えば、“０”）を乗じるようにすれば、期間ＴＡ内のフレームを用いずに検出光Ｌ１１及びＬ１２の画像を生成できる。
　図１１は、図９に示す変形例の更なる変形例を示す図である。図１１に示す例は、期間ＴＢに得られたフレームのみを用いて検出光Ｌ１１及びＬ１２の画像を生成する点で、図９に示す変形例と共通する。しかし、図１１に示す例は、期間ＴＡにおける励起光Ｌ１及びＬ２の照射が常にＯＦＦに設定されていない点で、図９に示す変形例とは異なる。図１１に示す例では、上記実施形態と同一の変調信号Ｓ１、Ｓ２、及びＳ３が用いられる。図１１の（ａ）は、変調信号Ｓ１を示しており、図１１の（ｂ）は、変調信号Ｓ２を示しており、図１１の（ｃ）は、変調信号Ｓ３を示している。図１１の（ａ）及び図１１の（ｂ）に示すように、期間ＴＡにおいては、励起光Ｌ１及びＬ２の照射が常にＯＦＦに設定されていない。このような形態であっても、図９に示す変形例と同様の効果が得られる。
　図１２は、観察装置１の変形例を示す概略構成図である。図１２に示す観察装置１Ａでは、照射部１０Ａの変調部１５Ａの構成が、上記実施形態に係る観察装置１とは異なる。すなわち、変調部１５Ａは、変調信号生成部１６及び変調周波数設定部１７に代えて、変調信号記憶部１６Ａを有している。変調信号記憶部１６Ａは、各変調周波数ｆ１、ｆ２、及びｆ３を有する各変調信号Ｓ１、Ｓ２、及びＳ３を予め記憶している。変調信号記憶部１６Ａは、各変調信号Ｓ１、Ｓ２、及びＳ３を各光源１１、１２、及び１３に出力可能に構成されている。図１２に示す観察装置１Ａであっても、上述した実施形態に係る観察装置１と同様の効果が得られる。更に、観察装置１Ａによれば、各変調信号Ｓ１、Ｓ２、及びＳ３を生成する処理を行う必要がないので、各変調信号Ｓ１、Ｓ２、及びＳ３を生成する場合と比べて、処理負担を軽減できる。
　図１３は、観察装置１の別の変形例を示す概略構成図である。図１３に示す観察装置１Ｂは、照射部１０Ｂが光源１１、１２、及び１３に加えて、別の光源１８及び１９を有する点で、上記実施形態に係る観察装置１とは異なる。光源１８は、暗視野照明用の光源であり、波長λ８を有する暗視野照明Ｌ８を出力可能に構成されている。光源１９は、明視野照明用の光源であり、波長λ９を有する明視野照明Ｌ９を出力可能に構成されている。光源１８及び１９として、光源１１、１２、及び１３と同種の光源が用いられてもよい。光源１９は、試料Ｔを挟んで対物レンズ３１と対向する位置に配置されており、試料Ｔの背面から明視野照明Ｌ９を出力する。光源１８は、試料Ｔに対して対物レンズ３１側に配置され、対物レンズ３１の光軸に対して傾斜する方向から暗視野照明Ｌ８を出力する。暗視野照明Ｌ８及び明視野照明Ｌ９のそれぞれは、特定の波長帯域を有する光であってもよいし、ブロードな波長帯域を有する光であってもよい。
　光源１８及び１９は、光源１１、１２、及び１３と同様、変調部１５と電気的に接続されている。変調部１５の変調信号生成部１６は、変調信号Ｓ１、Ｓ２、及びＳ３に加えて、変調周波数ｆ８を有する変調信号Ｓ８と、変調周波数ｆ９を有する変調信号Ｓ９とを生成する。変調信号Ｓ８は、光源１８から出力される暗視野照明Ｌ８を時間的に変調させるための変調パターンである。例えば、暗視野照明Ｌ８の照射のＯＮ／ＯＦＦを交互に切り替えるように、暗視野照明Ｌ８を変調周波数ｆ８で変調させる矩形波状のパルス信号である。変調信号Ｓ９は、光源１９から出力される明視野照明Ｌ９を時間的に変調させるための変調パターンである。例えば、明視野照明Ｌ９の照射のＯＮ／ＯＦＦを交互に切り替えるように、明視野照明Ｌ９を変調周波数ｆ９で変調させる矩形波状のパルス信号である。変調周波数ｆ８及びｆ９は、変調信号Ｓ３の変調周波数ｆ３より低く設定される。
　光源１８及び１９からそれぞれ出力された暗視野照明Ｌ８及び明視野照明Ｌ９は、導光光学系２０によって導光され、励起光Ｌ１、Ｌ２、及びＬ３と共に、試料Ｔに同時に照射される。明視野照明Ｌ９が試料Ｔに照射されると、試料Ｔを透過した明視野照明Ｌ９の透過光が検出光Ｌ１９として検出部４０に検出される。暗視野照明Ｌ８が試料Ｔに照射されると、試料Ｔにおいて生じる暗視野照明Ｌ８の散乱光が検出光Ｌ１８として検出部４０に検出される。検出部４０のセンサ３５は、各検出光Ｌ１１、Ｌ１２、Ｌ１３、Ｌ１８、及びＬ１９を同時に検出し、検出信号ＳＢを出力する。そして、画像処理部７０は、変調周波数ｆ１、ｆ２、ｆ３、ｆ８、及びｆ９に基づいて検出信号ＳＢを同時に復調することにより、各検出光Ｌ１１、Ｌ１２、Ｌ１３、Ｌ１８、及びＬ１９の画像を生成する。このような形態であっても、上述した実施形態と同様の効果が得られる。
　本開示は、他に様々な変形が可能である。例えば、上述した実施形態及び各変形例を、必要な目的及び効果に応じて互いに組み合わせてもよい。上述した実施形態及び各変形例では、検出光Ｌ１３よりも光量の小さい検出光Ｌ１１及びＬ１２の光量が互いに同じである場合を説明した。しかし、検出光Ｌ１１及びＬ１２の光量は、互いに異なってもよい。例えば、検出光Ｌ１２の光量が検出光Ｌ１１の光量よりも大きい場合、検出光Ｌ１２のショットノイズ成分が検出光Ｌ１１の画像に現れることがあるので、検出光Ｌ１２に対応する変調信号の変調周波数が最速変調周波数に設定されてもよく、その変調信号のデューティー比が、検出光Ｌ１１に対応する変調信号のデューティー比よりも低く設定されてもよい。この場合、検出光Ｌ１２のショットノイズ成分が検出光Ｌ１１の画像に現れる事態を抑制できる。
　上述した実施形態では、３つの励起光Ｌ１、Ｌ２、及びＬ３を試料Ｔに照射し、３つの検出光Ｌ１１、Ｌ１２、及びＬ１３を検出する場合を説明した。しかし、励起光の数、及び検出光の数は、適宜変更可能である。励起光の数、及び検出光の数はそれぞれ、２つであってもよいし、４つ以上であってもよい。励起光を変調させる変調信号の変調周波数の設定は、上述した実施形態及び各変形例に限られず、適宜変更可能である。
　上述した実施形態では、光源１１、１２、及び１３が導光光学系２０に直接設置される場合を説明した。しかし、光源１１、１２、及び１３は、装置外部に配置され、光ファイバ等を介して導光光学系２０に光学的に接続される構成であってもよい。照射部１０は、光源１１、１２、及び１３に代えて、多波長の励起光を出力可能な１つの光源を有してもよい。この場合、当該１つの光源は、互いに異なる波長を有する励起光Ｌ１、Ｌ２、及びＬ３を同時に出力する。
　上述した実施形態では、変調部１５が、変調信号Ｓ１、Ｓ２、及びＳ３を用いて光源１１、１２、及び１３を制御することによって、励起光Ｌ１、Ｌ２、及びＬ３を変調する場合を説明した。しかし、変調部による励起光の変調方法は上述した例に限られない。例えば、変調部は、励起光を機械的に変調させるオプティカルチョッパーであってもよい。この場合、各光源に対応して各オプティカルチョッパーが設置され、各オプティカルチョッパーによる各励起光の通過又は遮断の繰り返しによって各励起光が時間的に変調されてもよい。オプティカルチョッパーによる励起光の変調パターンは、上述した変調信号に応じたものとなるように設定される。この場合、オプティカルチョッパーは、その変調パターンに従って励起光の照射のＯＮ／ＯＦＦが切り替えられるように、励起光を変調する。
　変調部は、ＤＭＤ（Digital Micro mirror Device）又は空間光変調器（ＳＬＭ：Spatial light modulator）等の光学的変調デバイスであってもよい。この場合、各光源に対応して各光学的変調デバイスが設置され、各光学的変調デバイスに各変調パターンが表示される。これにより、各光源からの各励起光が時間的に変調される。各変調パターンは、上述した変調信号に応じたものとなるように設定される。この場合、光学的変調デバイスは、その変調パターンに従って励起光の照射のＯＮ／ＯＦＦが切り替えられるように、励起光を変調する。
　１，１Ａ，１Ｂ…観察装置、１０，１０Ａ，１０Ｂ…照射部、１６…変調信号生成部（生成部）、１６Ａ…変調信号記憶部（記憶部）、４０…検出部、７０…画像処理部、Ｌ１，Ｌ２，Ｌ３…励起光、Ｌ１１，Ｌ１２…検出光（第２の検出光）、Ｌ１３…検出光（第１の検出光）、Ｌ１８，Ｌ１９…検出光、Ｓ、ＳＢ…検出信号、Ｓ１，Ｓ１Ａ，Ｓ２，Ｓ２Ａ，Ｓ３，Ｓ８，Ｓ９…変調信号（変調パターン）、Ｔ…試料（観察対象物）、Ｔ１，Ｔ２，Ｔ３…一周期、Ｔ１Ａ，Ｔ２Ａ，Ｔ３Ａ…ＯＮ期間、Ｔ１Ｂ，Ｔ２Ｂ，Ｔ３Ｂ…ＯＦＦ期間、ＴＭ…復調タイミング。

Claims (11)

  1. 　互いに異なる波長を有すると共に、互いに異なる変調周波数による複数の変調パターンでそれぞれ変調された複数の励起光を、観察対象物に同時に照射する照射部と、
    　前記複数の励起光の照射に伴う前記観察対象物からの複数の検出光を検出信号として検出する検出部と、
    　前記検出信号を復調することにより、前記複数の検出光の画像を前記検出光毎に生成する画像処理部と、を備え、
    　各前記変調パターンは、前記励起光の照射がＯＮになるＯＮ期間と前記励起光の照射がＯＦＦになるＯＦＦ期間とを含む期間を一周期として、前記変調周波数で繰り返すように前記励起光を変調させる矩形波状の変調パターンであり、前記検出信号が復調される復調タイミングにおいて互いに直交条件を満たすように設定されており、
    　前記一周期における前記ＯＮ期間の割合をデューティー比で表した場合に、前記複数の変調パターンのうち、最も高い前記変調周波数である最速変調周波数を有する変調パターンの前記デューティー比は、他の変調パターンの前記デューティー比よりも低く設定されている、観察装置。
  2. 　前記照射部は、前記複数の変調パターンを記憶する記憶部を有する、請求項１に記載の観察装置。
  3. 　前記照射部は、前記複数の変調パターンを生成する生成部を有する、請求項１に記載の観察装置。
  4. 　前記複数の検出光は、第１の検出光と、前記第１の検出光よりも小さい光量を有する第２の検出光と、を含む、請求項１～３のいずれか一項に記載の観察装置。
  5. 　前記第１の検出光に対応する前記励起光の前記変調周波数が、前記最速変調周波数に設定されている、請求項４に記載の観察装置。
  6. 　前記第１の検出光は、前記複数の検出光の中で最も大きい光量を有する、請求項５に記載の観察装置。
  7. 　前記第１の検出光と前記第２の検出光との間の光量の違いに基づいて、前記最速変調周波数を有する前記変調パターンの前記デューティー比が設定されている、請求項５又は６に記載の観察装置。
  8. 　前記第１の検出光の光量と前記第２の検出光の光量との差の絶対値に応じて、前記最速変調周波数を有する前記変調パターンの前記デューティー比が設定されている、請求項７に記載の観察装置。
  9. 　前記最速変調周波数に対応する前記励起光の照射がＯＮになる前記ＯＮ期間では、前記最速変調周波数に対応する前記励起光以外の前記励起光の照射がＯＦＦになっている、請求項１～８のいずれか一項に記載の観察装置。
  10. 　前記画像処理部は、前記最速変調周波数に対応する前記励起光の照射がＯＮになる前記ＯＮ期間以外の期間に検出された前記検出信号に含まれるデータを用いて、前記最速変調周波数に対応する前記検出光以外の前記検出光の画像を生成する、請求項１～９のいずれか一項に記載の観察装置。
  11. 　互いに異なる波長を有すると共に、互いに異なる変調周波数による複数の変調パターンでそれぞれ変調された複数の励起光を、観察対象物に同時に照射するステップと、
    　前記複数の励起光の照射に伴う前記観察対象物からの複数の検出光を検出信号として検出するステップと、
    　前記検出信号を復調することにより、前記複数の検出光の画像を前記検出光毎に生成するステップと、を備え、
    　各前記変調パターンは、前記励起光の照射がＯＮになるＯＮ期間と前記励起光の照射がＯＦＦになるＯＦＦ期間とを含む期間を一周期として、前記変調周波数で繰り返すように前記励起光を変調させる矩形波状の変調パターンであり、前記検出信号が復調される復調タイミングにおいて互いに直交条件を満たすように設定されており、
    　前記一周期における前記ＯＮ期間の割合をデューティー比で表した場合に、前記複数の変調パターンのうち、最も高い前記変調周波数である最速変調周波数を有する変調パターンの前記デューティー比は、他の変調パターンの前記デューティー比よりも低く設定されている、観察方法。
PCT/JP2021/019845 2020-06-10 2021-05-25 観察装置及び観察方法 WO2021251132A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-100969 2020-06-10
JP2020100969A JP2023106641A (ja) 2020-06-10 2020-06-10 観察装置及び観察方法

Publications (1)

Publication Number Publication Date
WO2021251132A1 true WO2021251132A1 (ja) 2021-12-16

Family

ID=78846023

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/019845 WO2021251132A1 (ja) 2020-06-10 2021-05-25 観察装置及び観察方法

Country Status (2)

Country Link
JP (1) JP2023106641A (ja)
WO (1) WO2021251132A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005091895A (ja) * 2003-09-18 2005-04-07 Institute Of Physical & Chemical Research 走査型共焦点顕微鏡装置
JP2005173487A (ja) * 2003-12-15 2005-06-30 Olympus Corp 蛍光顕微鏡およびコンピュータプログラム
WO2007038260A2 (en) * 2005-09-23 2007-04-05 Massachusetts Institute Of Technology Systems and methods for force-fluorescence microscopy
WO2019118433A1 (en) * 2017-12-12 2019-06-20 Allen Institute Systems, apparatuses, and methods for simultaneous multi-plane imaging

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005091895A (ja) * 2003-09-18 2005-04-07 Institute Of Physical & Chemical Research 走査型共焦点顕微鏡装置
JP2005173487A (ja) * 2003-12-15 2005-06-30 Olympus Corp 蛍光顕微鏡およびコンピュータプログラム
WO2007038260A2 (en) * 2005-09-23 2007-04-05 Massachusetts Institute Of Technology Systems and methods for force-fluorescence microscopy
WO2019118433A1 (en) * 2017-12-12 2019-06-20 Allen Institute Systems, apparatuses, and methods for simultaneous multi-plane imaging

Also Published As

Publication number Publication date
JP2023106641A (ja) 2023-08-02

Similar Documents

Publication Publication Date Title
JP6771490B2 (ja) 共焦点レーザ走査顕微鏡を使用した蛍光走査顕微鏡法の信号の評価
JP5623278B2 (ja) 顕微鏡および顕微鏡の操作方法
JP2006187598A5 (ja)
JP2007093370A (ja) 蛍光分光分析装置
US20130083816A1 (en) Laser source apparatus and laser microscope
JP2019066706A (ja) 蛍光顕微鏡装置及び蛍光顕微鏡システム
US10429630B2 (en) Microscope for transmitted-light and fluorescence microscopy
KR20120024436A (ko) 멀티 형광영상 관측용 형광현미경, 이를 이용한 형광영상의 관찰방법 및 멀티 형광영상 관측 시스템
JP2000500881A (ja) 作像システム
JP2017078724A (ja) 多色蛍光画像分析装置
JP6088823B2 (ja) 蛍光顕微鏡の適切な評価パラメータを設定する方法
US11086115B2 (en) Microscope device, viewing method, and control program
JP2013156455A (ja) 蛍光観察装置
JPWO2015053144A1 (ja) 核酸配列決定装置及び核酸配列決定方法
JP7380569B2 (ja) 光学顕微鏡装置及び光学顕微鏡システム
CN111189807A (zh) 基于波动的荧光显微术
WO2021251132A1 (ja) 観察装置及び観察方法
US20160054551A1 (en) Method for imaging a sample by means of a microscope and microscope
JP2002350732A (ja) 蛍光観察装置
JP2005091895A (ja) 走査型共焦点顕微鏡装置
WO2021251130A1 (ja) 観察装置及び観察方法
JP6257156B2 (ja) 顕微鏡装置
JP6720165B2 (ja) 画像取得装置および画像取得方法
WO2021251133A1 (ja) 観察装置及び観察方法
JP2004093721A (ja) 共焦点スキャナ顕微鏡

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21820939

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21820939

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP