WO2021251130A1 - 観察装置及び観察方法 - Google Patents

観察装置及び観察方法 Download PDF

Info

Publication number
WO2021251130A1
WO2021251130A1 PCT/JP2021/019820 JP2021019820W WO2021251130A1 WO 2021251130 A1 WO2021251130 A1 WO 2021251130A1 JP 2021019820 W JP2021019820 W JP 2021019820W WO 2021251130 A1 WO2021251130 A1 WO 2021251130A1
Authority
WO
WIPO (PCT)
Prior art keywords
light
detection
modulation
detection light
period
Prior art date
Application number
PCT/JP2021/019820
Other languages
English (en)
French (fr)
Inventor
貴文 樋口
正典 小林
Original Assignee
浜松ホトニクス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 浜松ホトニクス株式会社 filed Critical 浜松ホトニクス株式会社
Publication of WO2021251130A1 publication Critical patent/WO2021251130A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/06Means for illuminating specimens
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements

Definitions

  • This disclosure relates to an observation device and an observation method.
  • an observation device for observing fluorescence of an observation object for example, the microscope device described in Patent Document 1 is known.
  • a sample multiple-stained with a plurality of fluorescent substances is simultaneously irradiated with a plurality of excitation lights having wavelengths for exciting the plurality of fluorescent substances and modulated by different modulation frequencies. ..
  • a plurality of fluorescences corresponding to these excitation lights are generated from the sample.
  • these fluorescences are detected at the same time, and the signal indicating each fluorescence is frequency-separated based on the modulation frequency, so that an image of each fluorescence is generated for each fluorescence.
  • This disclosure is made for solving the above-mentioned problems, and provides an observation device and an observation method capable of obtaining an accurate image of an observation object.
  • the observation device includes an irradiation unit that has different wavelengths from each other and simultaneously irradiates an observation object with a plurality of excitation lights modulated by a plurality of modulation patterns under different modulation conditions.
  • a detection unit that detects a plurality of detection lights from an observation object due to irradiation of the excitation light, and an image processing unit that generates an image of a plurality of detection lights for each detection light by demodulating the detection signals.
  • the plurality of detection lights include a first detection light and a second detection light having a light amount smaller than that of the first detection light.
  • Each modulation pattern is a modulation pattern that modulates the excitation light so that the ON period in which the irradiation of the excitation light is turned on and the OFF period in which the irradiation of the excitation light is turned off are switched, and is a modulation pattern in which the detection signal is demodulated at the demodulation timing. It is set so as to satisfy the orthogonality conditions with each other.
  • the ratio of the ON period to the OFF period is expressed as the ON / OFF ratio
  • the ON / OFF ratio of the modulation pattern corresponding to the first detection light is the ON / OFF ratio of the modulation pattern corresponding to the second detection light. Is set lower than.
  • the shot noise component of the first detected light having a large amount of light may appear as a false signal in the image of the second detected light having a small amount of light.
  • Such a shot noise component becomes larger as the integrated value of the amount of the first detected light in a certain period becomes larger. This integrated value increases as the ON period during which the irradiation of the excitation light corresponding to the first detection light is turned ON becomes longer.
  • the ON / OFF ratio of the modulation pattern corresponding to the first detection light is set lower than the ON / OFF ratio of the modulation pattern corresponding to the second detection light.
  • the ON / OFF ratio of the modulation pattern corresponding to the first detection light By setting the ON / OFF ratio of the modulation pattern corresponding to the first detection light low in this way, the ON period during which the excitation light irradiation is turned ON can be shortened, so that the shot noise component of the first detection light is reduced. can. As a result, it is possible to suppress the situation where the shot noise component of the first detection light appears in the image of the second detection light. Further, since the modulation patterns are set so as to satisfy the orthogonality condition with each other at the demodulation timing, the detection signal indicating each detection light corresponding to each modulation pattern can be accurately demodulated. Therefore, according to the above observation device, it is possible to obtain an accurate image of each detected light.
  • the irradiation unit may have a storage unit that stores a plurality of modulation patterns. In this case, since it is not necessary to perform the process of generating each modulation pattern, the processing load can be reduced as compared with the case of generating each modulation pattern.
  • the irradiation unit may have a generation unit that generates a plurality of modulation patterns. In this case, each desired modulation pattern can be easily obtained.
  • the first detection light may have the largest amount of light among the plurality of detection lights.
  • the shot noise component tends to appear in the image of the detected light having a large amount of light to the detected light having a small amount of light, and becomes larger as the difference in the amount of light of the detected light becomes larger.
  • the situation where the shot noise component of the first detection light having the largest amount of light appears in the image of the second detection light having a small amount of light can be suppressed, so that the above-mentioned effect is preferable. Play to.
  • the ON / OFF ratio of the modulation pattern corresponding to the first detected light may be set based on the difference in the amount of light between the first detected light and the second detected light.
  • the shot noise component of the first detection light that appears in the image of the second detection light varies due to the difference in the amount of light between the first detection light and the second detection light. Therefore, by setting the ON / OFF ratio of the modulation pattern corresponding to the first detected light based on these differences in the amount of light, the shot noise component of the first detected light can be effectively reduced. As a result, it is possible to effectively suppress the situation where the shot noise component of the first detection light appears in the image of the second detection light.
  • the ON / OFF ratio of the modulation pattern corresponding to the first detection light may be set according to the absolute value of the difference between the light amount of the first detection light and the light amount of the second detection light.
  • the shot noise component of the first detection light appearing in the image of the second detection light increases according to the absolute value of the difference between the light amount of the first detection light and the light amount of the second detection light. Therefore, by setting the ON / OFF ratio of the modulation pattern corresponding to the first detection light according to this absolute value, the shot noise component of the first detection light can be more effectively reduced. As a result, it is possible to more effectively suppress the situation where the shot noise component of the first detection light appears in the image of the second detection light.
  • the observation method includes a step of simultaneously irradiating an observation object with a plurality of excitation lights having different wavelengths and being modulated by a plurality of modulation patterns under different modulation conditions. It includes a step of detecting a plurality of detection lights from an observation object accompanying irradiation of the excitation light as a detection signal, and a step of generating an image of a plurality of detection lights for each detection light by demodulating the detection signals. ..
  • the plurality of detection lights include a first detection light and a second detection light having a light amount smaller than that of the first detection light.
  • Each modulation pattern is a modulation pattern that modulates the excitation light so that the ON period in which the irradiation of the excitation light is turned on and the OFF period in which the irradiation of the excitation light is turned off are switched, and is a modulation pattern in which the detection signal is demodulated at the demodulation timing. It is set so as to satisfy the orthogonality conditions with each other.
  • the ratio of the ON period to the OFF period is expressed as the ON / OFF ratio
  • the ON / OFF ratio of the modulation pattern corresponding to the first detection light is the ON / OFF ratio of the modulation pattern corresponding to the second detection light. Is set lower than.
  • the shot noise component of the first detected light having a large amount of light may appear as a false signal in the image of the second detected light having a small amount of light.
  • Such a shot noise component becomes larger as the integrated value of the amount of the first detected light in a certain period becomes larger. This integrated value increases as the ON period during which the irradiation of the excitation light corresponding to the first detection light is turned ON becomes longer.
  • the ON / OFF ratio of the modulation pattern corresponding to the first detection light is set lower than the ON / OFF ratio of the modulation pattern corresponding to the second detection light.
  • the ON / OFF ratio of the modulation pattern corresponding to the first detection light By setting the ON / OFF ratio of the modulation pattern corresponding to the first detection light low in this way, the ON period during which the excitation light irradiation is turned ON can be shortened, so that the shot noise component of the first detection light is reduced. can. As a result, it is possible to suppress the situation where the shot noise component of the first detection light appears in the image of the second detection light. Further, since the modulation patterns are set so as to satisfy the orthogonality condition with each other at the demodulation timing, the detection signal indicating each detection light corresponding to each modulation pattern can be accurately demodulated. Therefore, according to the above observation method, it is possible to obtain an accurate image of each detected light.
  • an accurate image of the observation object can be obtained.
  • FIG. 1 is a schematic configuration diagram showing an embodiment of an observation device.
  • FIG. 2 is a diagram showing each modulated signal shown in FIG.
  • FIG. 3 is a diagram for explaining a procedure for generating each modulated signal.
  • FIG. 4 is a diagram for explaining the orthogonality condition satisfied by each modulated signal.
  • FIG. 5 is a diagram for explaining a procedure for generating each modulated signal.
  • FIG. 6 is a flowchart showing an embodiment of the observation method.
  • FIG. 7 is a diagram for explaining simulation conditions of Examples and Comparative Examples.
  • FIG. 8 is a diagram showing simulation conditions of a comparative example.
  • FIG. 9 is a diagram showing a simulation result of a comparative example.
  • FIG. 10 is a diagram showing the simulation results of the examples.
  • FIG. 1 is a schematic configuration diagram showing an embodiment of an observation device.
  • FIG. 2 is a diagram showing each modulated signal shown in FIG.
  • FIG. 3 is a diagram for explaining a procedure for generating each modul
  • FIG. 11 is a diagram showing a first modification example of each modulated signal.
  • FIG. 12 is a diagram showing a second modification of each modulated signal.
  • FIG. 13 is a diagram showing a third modification example of each modulated signal.
  • FIG. 14 is a schematic configuration diagram showing a modified example of the observation device.
  • FIG. 15 is a schematic configuration diagram showing another modification of the observation device.
  • FIG. 1 is a schematic configuration diagram showing an observation device 1 according to the present embodiment.
  • the observation device 1 observes the fluorescence of the sample T, which is an observation target.
  • the sample T is, for example, a sample of a biological tissue or the like containing a plurality of types of fluorescent substances different from each other.
  • each fluorescent substance When each fluorescent substance is irradiated with excitation light in a predetermined wavelength range, it generates detection light such as fluorescence having a wavelength corresponding to the wavelength of the excitation light.
  • the fluorescent substance include fluorescent dyes such as indocyanine green, methylene blue, fluorescein, and 5-aminolevulinic acid.
  • the observation device 1 simultaneously irradiates the sample T with a plurality of excitation lights L1, L2, and L3 that excite the plurality of fluorescent substances of the sample T, respectively, and the plurality of detection lights L11, L12, generated from the sample T accordingly. And L13 are imaged at the same time.
  • the observation device 1 includes, for example, an irradiation unit 10, a detection unit 40, and an image processing unit 70.
  • the irradiation unit 10 simultaneously feeds the sample T with a plurality of excitation lights L1, L2, and L3 having different wavelengths ⁇ 1, ⁇ 2, and ⁇ 3 and modulated by different modulation conditions M1, M2, and M3, respectively. Irradiate.
  • the irradiation unit 10 includes a plurality of light sources 11, 12, and 13, a modulation unit 15, and a light guide optical system 20.
  • the light sources 11, 12, and 13 output the excitation lights L1, L2, and L3, respectively.
  • the modulation unit 15 controls the light sources 11, 12, and 13 so that the excitation lights L1, L2, and L3 are modulated by different modulation conditions M1, M2, and M3, respectively.
  • the light guide optical system 20 guides the excitation lights L1, L2, and L3 output from the light sources 11, 12, and 13, respectively, to the sample T.
  • Each of the light sources 11, 12, and 13 is a coherent light source or an incoherent light source capable of generating light including a wavelength that excites the fluorescent substance of the sample T.
  • the light source 11 can generate the excitation light L1 having the wavelength ⁇ 1.
  • the light source 12 can generate the excitation light L2 having the wavelength ⁇ 2.
  • the light source 13 can generate the excitation light L3 having the wavelength ⁇ 3.
  • the coherent light source include a laser light source such as a laser diode (LD).
  • Examples of the incoherent light source include a light emitting diode (LED), a superluminescent diode (SLD), a lamp-based light source, and the like.
  • the modulation unit 15 is electrically connected to each of the light sources 11, 12, and 13.
  • the modulation unit 15 modulates the plurality of excitation lights L1, L2, and L3, respectively, by using the plurality of modulation signals S1, S2, and S3 having different modulation conditions M1, M2, and M3, respectively.
  • the modulation unit 15 includes a modulation signal generation unit 16 (generation unit) that generates modulation signals S1, S2, and S3, and a modulation condition setting unit 17 that sets modulation conditions M1, M2, and M3.
  • the modulation condition setting unit 17 sets different modulation conditions (for example, phase or frequency) for each of the modulation signals S1, S2, and S3.
  • the modulation condition setting unit 17 sets the phases of the modulation signals S1 and S2 so as to be different from each other, and sets the frequencies of the modulation signals S1 and S2 to be the same as each other ((a) and FIG. 2A described later). (B) in FIG. 2).
  • the modulation condition setting unit 17 sets the frequency of the modulation signal S3 higher than the frequencies of the modulation signals S1 and S2 (see (c) of FIG. 2 to be described later). In the example shown in FIG.
  • the frequency of the modulated signal S3 is set to twice the frequency of the modulated signals S1 and S2.
  • the modulation condition setting unit 17 may set different frequencies for each of the modulation signals S1, S2, and S3, or may set different phases for each of the modulation signals S1, S2, and S3.
  • the modulation conditions M1, M2, and M3 may be values stored in the modulation condition setting unit 17 in advance, or may be values input from the outside via an input / output device or the like.
  • the modulation signal generation unit 16 generates modulation signals S1, S2, and S3 having modulation conditions M1, M2, and M3 set by the modulation condition setting unit 17, respectively.
  • the modulation signal S1 is a modulation pattern for temporally modulating the excitation light L1 output from the light source 11.
  • the modulation signal S1 is a rectangular wavy pulse signal that modulates the excitation light L1 under the modulation condition M1 so that the irradiation of the excitation light L1 can be switched ON / OFF alternately.
  • the modulation signal S2 is a modulation pattern for temporally modulating the excitation light L2 output from the light source 12.
  • the modulation signal S2 is a rectangular wavy pulse signal that modulates the excitation light L2 under the modulation condition M2 so that the irradiation of the excitation light L2 can be switched ON / OFF alternately.
  • the modulation signal S3 is a modulation pattern for temporally modulating the excitation light L3 output from the light source 13.
  • the modulation signal S3 is a rectangular wavy pulse signal that modulates the excitation light L3 under the modulation condition M3 so that the irradiation of the excitation light L3 can be switched ON / OFF alternately.
  • the modulation signal generation unit 16 outputs the generated modulation signals S1, S2, and S3 to the light sources 11, 12, and 13, respectively.
  • the excitation light L1 output from the light source 11 is modulated according to the modulation signal S1.
  • the excitation light L1 modulated under the modulation condition M1 is output from the light source 11.
  • the excitation light L2 output from the light source 12 is modulated according to the modulation signal S2.
  • the excitation light L2 modulated under the modulation condition M2 is output from the light source 12.
  • the excitation light L3 output from the light source 13 is modulated according to the modulation signal S3.
  • the excitation light L3 modulated under the modulation condition M3 is output from the light source 13.
  • the light guide optical system 20 includes collimator lenses 21, 22, and 23, dichroic mirrors 24, 25, and 29, filters 26 and 27, a relay lens 28, and an objective lens 31.
  • the collimator lens 21 parallelizes the excitation light L1 output from the light source 11.
  • the collimator lens 22 parallelizes the excitation light L2 output from the light source 12.
  • the collimator lens 23 parallelizes the excitation light L3 output from the light source 13.
  • the dichroic mirror 24 is arranged at a position where the optical axis of the light source 13 and the optical axis of the light source 12 intersect.
  • the excitation light L2 passing through the collimator lens 22 and the excitation light L3 passing through the collimator lens 23 reach the dichroic mirror 24.
  • the dichroic mirror 24 reflects the excitation light L2 having a wavelength ⁇ 2 and transmits the excitation light L3 having a wavelength ⁇ 3.
  • the excitation lights L2 and L3 that have passed through the dichroic mirror 24 and the excitation light L1 that has passed through the collimator lens 21 reach the dichroic mirror 25.
  • the dichroic mirror 25 is arranged at a position where the optical axis of the light source 12 and the optical axis of the light source 11 intersect.
  • the dichroic mirror 25 reflects the excitation light L2 having a wavelength ⁇ 2 and the excitation light L3 having a wavelength ⁇ 3, and transmits the excitation light L1 having a wavelength ⁇ 1.
  • the excitation lights L1, L2, and L3 that have passed through the dichroic mirror 25 travel toward the objective lens 31.
  • the filters 26 and 27 are arranged side by side on the optical path between the dichroic mirror 25 and the objective lens 31.
  • the filters 26 and 27 are bandpass filters that selectively transmit only the excitation light L1 having a wavelength ⁇ 1, the excitation light L2 having a wavelength ⁇ 2, and the excitation light L3 having a wavelength ⁇ 3, and block light having other wavelengths. Therefore, the excitation lights L1, L2, and L3 that have passed through the dichroic mirror 25 pass through the filters 26 and 27.
  • the relay lens 28 is arranged on the optical path between the filters 26 and 27. The relay lens 28 has a role of efficiently guiding the excitation lights L1, L2, and L3 to the objective lens 31.
  • the dichroic mirror 29 is arranged on the optical path between the filter 27 and the objective lens 31.
  • the excitation lights L1, L2, and L3 that have passed through the filter 27 reach the dichroic mirror 29.
  • the dichroic mirror 29 reflects the excitation light L1 having a wavelength ⁇ 1, the excitation light L2 having a wavelength ⁇ 2, and the excitation light L3 having a wavelength ⁇ 3, and passes through the detection lights L11, L12, and L13 having a fluorescence wavelength.
  • the excitation lights L1, L2, and L3 that have passed through the dichroic mirror 29 reach the objective lens 31.
  • the objective lens 31 concentrates the excitation lights L1, L2, and L3, and simultaneously irradiates the sample T with the condensed excitation lights L1, L2, and L3. Further, the objective lens 31 guides the detection lights L11, L12, and L13 generated from the sample T by the irradiation of the excitation lights L1, L2, and L3.
  • the objective lens 31 is configured to be movable along the optical axis of the objective lens 31 by, for example, a driving element such as a piezo actuator or a stepping motor. As a result, the focusing position of the excitation lights L1, L2, and L3 and the focal position for detecting the detection lights L11, L12, and L13 can be adjusted.
  • the detection lights L11, L12, and L13 are fluorescence generated from the sample T by irradiation with the excitation lights L1, L2, and L3, respectively.
  • the detection light L13 among the detection lights L11, L12, and L13 has the largest amount of light, and each of the detection lights L11 and L12 has a smaller amount of light than the detection light L13. ..
  • the amount of light of the detection light L11 is smaller than the amount of light of the detection light L12, and is the smallest among the detection lights L11, L12, and L13. Therefore, when the "first detection light” in the present embodiment is captured as the detection light L13, the "second detection light” in the present embodiment can be captured as the detection lights L11 and L12.
  • the “second detection light” in the present embodiment can be captured as the detection light L11.
  • the amount of light of the detection lights L11, L12, and L13 can be measured by irradiating the excitation lights L1, L2, and L3 once. Therefore, the light amounts of the detected lights L11, L12, and L13 may be stored in advance in the observation device 1.
  • the detection unit 40 detects the detection lights L11, L12, and L13 generated from the sample T.
  • the detection unit 40 includes a light guide optical system 30 that guides the detection lights L11, L12, and L13, and a sensor 35 that detects the detection lights L11, L12, and L13 guided by the light guide optical system 30.
  • the light guide optical system 30 includes an objective lens 31, a dichroic mirror 29, a filter 32, and an imaging lens 33.
  • the objective lens 31 guides the detection lights L11, L12, and L13 toward the imaging lens 33.
  • the dichroic mirror 29 and the filter 32 are arranged on the optical path between the objective lens 31 and the imaging lens 33.
  • the filter 32 is a bandpass filter that selectively transmits only the detection light L11, L12, and L13 of the fluorescence wavelength and blocks the light of other wavelengths. Therefore, the detection lights L11, L12, and L13 that have passed through the objective lens 31 pass through the dichroic mirror 29 and the filter 32 and reach the imaging lens 33.
  • the imaging lens 33 forms an image of the detection lights L11, L12, and L13 on the sensor 35.
  • the sensor 35 has a light receiving surface composed of a plurality of pixels arranged two-dimensionally.
  • the sensor 35 is an area image sensor such as a CCD image sensor or a CMOS image sensor, for example.
  • a monochrome sensor, a color sensor, a multispectral sensor, a hyperspectral sensor, or the like can be used.
  • the sensor 35 captures an image of the detection light L11, L12, and L13 guided by the light guide optical system 30, and detects the detection signal S as image data including the respective light images of the detection light L11, L12, and L13. Is output.
  • the sensor 35 takes an image at a predetermined frame rate (for example, 100 fps) and outputs a detection signal S corresponding to each frame.
  • the sensor 35 is configured so that the exposure time can be variably set within a range of, for example, a frame period (reciprocal of the frame rate) or less.
  • the sensor 35 is configured to be communicable with the modulation signal generation unit 16.
  • the sensor 35 is set so that the image captured by the sensor 35 and the modulation of the excitation lights L1, L2, and L3 based on the modulation signals S1, S2, and S3 are synchronized with each other.
  • the image processing unit 70 is, for example, a computer, and is physically a memory such as RAM and ROM, a processor (arithmetic circuit) such as a CPU, a communication interface, a storage unit such as a hard disk, and a display unit such as a display. It is configured with.
  • Examples of the computer include a personal computer, a cloud server, or a smart device (for example, a smartphone or a tablet terminal).
  • the computer may function as an image processing unit 70, as a controller for controlling each configuration, or as a modulation unit 15 by executing a program stored in the memory of the computer on the CPU of the computer system. It may work.
  • the image processing unit 70 is electrically connected to the sensor 35 and processes the detection signal S output from the sensor 35.
  • the image processing unit 70 includes a signal demodulation unit 71 and an image generation unit 72.
  • the signal demodulation unit 71 demodulates the detection signal S based on the modulation conditions M1, M2, and M3, so that the demodulation signals S11, S12 are image data corresponding to the optical images of the detection lights L11, L12, and L13, respectively.
  • And S13 are output.
  • the image generation unit 72 generates an image showing an optical image of each of the detected lights L11, L12, and L13 based on the demodulated signals S11, S12, and S13.
  • the signal demodulation unit 71 demodulates the detection signal S output at a predetermined frame rate at the demodulation timing. Therefore, the signal demodulation unit 71 demodulates the detection signal S based on the modulation signals S1, S2, and S3 at each demodulation timing, and generates demodulation signals S11, S12, and S13.
  • the demodulation in the signal demodulation unit 71 may be performed a plurality of times (for example, N times (N indicates a positive integer)). In this case, the signal demodulation unit 71 generates the demodulation signals S11, S12, and S13 N times.
  • the image generation unit 72 performs averaging processing or addition processing on the generated N demodulated signals S11, N demodulated signals S12, and N demodulated signals S13, respectively. As a result, the image generation unit 72 generates an image corresponding to each of the detection light L11, L12, and L13.
  • Each of the detection lights L11, L12, and L13 is light generated in response to the irradiation of the respective excitation lights L1, L2, and L3. Therefore, the demodulated signals S11, S12, and S13 indicating the detected lights L11, L12, and L13 are also modulated under the modulation conditions M1, M2, and M3. Therefore, the signal demodulation unit 71 demodulates the demodulation signals S11, S12, and S13 from the detection signal S based on the modulation conditions M1, M2, and M3.
  • the signal demodulation unit 71 corresponds to the ON period of the modulation signal S1 (that is, the period during which the irradiation of the excitation light L1 to the sample T is ON) in the detection signal S output from the sensor 35.
  • the detection signal S is multiplied by a coefficient (for example, “1”), and the detection signal S corresponding to the OFF period (that is, the period during which the irradiation of the excitation light L1 to the sample T is turned OFF) is multiplied by another coefficient (for example, “ ⁇ ”).
  • the demodulated signal S11 is obtained by multiplying 1 ”) and performing averaging processing or addition processing on these.
  • the signal demodulation unit 71 has a coefficient associated with the detection signal S corresponding to the ON period of the modulation signal S2 (that is, the period during which the irradiation of the excitation light L2 to the sample T is ON) among the detection signals S output from the sensor 35. (For example, "1") is multiplied, and the detection signal S corresponding to the OFF period (that is, the period during which the irradiation of the excitation light L2 to the sample T is turned OFF) is multiplied by another coefficient (for example, "-1"). , The demodulated signal S12 is obtained by performing averaging processing or addition processing on these.
  • the signal demodulation unit 71 has a coefficient associated with the detection signal S corresponding to the ON period of the modulation signal S3 (that is, the period during which the irradiation of the excitation light L3 to the sample T is ON) among the detection signals S output from the sensor 35. (For example, "1") is multiplied, and the detection signal S corresponding to the OFF period (that is, the period during which the irradiation of the excitation light L3 to the sample T is turned OFF) is multiplied by another coefficient (for example, "-1"). , The demodulated signal S13 is obtained by performing averaging processing or addition processing on these.
  • the coefficient to be multiplied by the detection signal S may correspond to the amplitudes of the modulation signals S1, S2, and S3.
  • the signal demodulation unit 71 generates demodulation signals S11, S12, and S13 at each demodulation timing, and outputs these demodulation signals S11, S12, and S13 to the image generation unit 72.
  • the image generation unit 72 generates an image corresponding to each of the detection lights L11, L12, and L13 based on the demodulation signals S11, S12, and S13 output from the signal demodulation unit 71.
  • the signal demodulation unit 71 When a plurality of demodulation timings are set, the signal demodulation unit 71 generates demodulation signals S11, S12, and S13 for each demodulation timing, and outputs these demodulation signals S11, S12, and S13 to the image generation unit 72. Therefore, a plurality of demodulation signals S11 generated for each demodulation timing are input to the image generation unit 72.
  • the image generation unit 72 generates an image of the detection light L11 by averaging or adding a plurality of demodulated signals S11.
  • a plurality of demodulation signals S12 generated for each demodulation timing are input to the image generation unit 72.
  • the image generation unit 72 generates an image of the detection light L12 by averaging or adding a plurality of demodulated signals S12.
  • a plurality of demodulation signals S13 generated for each demodulation timing are input to the image generation unit 72.
  • the image generation unit 72 generates an image of the detection light L13 by averaging or adding a plurality of demodulated signals S13.
  • the image generation unit 72 may update and display the respective images of the detection lights L11, L12, and L13 each time the images of the detection lights L11, L12, and L13 are generated. That is, the image generation unit 72 may update the images of the detection lights L11, L12, and L13 each time the demodulation timing arrives.
  • the image generation unit 72 may display the images of the detection lights L11, L12, and L13 side by side, or may display the images of the detection lights L11, L12, and L13 on top of each other.
  • FIG. 2A shows a modulation signal S1 having a modulation condition M1.
  • FIG. 2B shows a modulation signal S2 having a modulation condition M2.
  • FIG. 2C shows a modulation signal S3 having a modulation condition M3.
  • the horizontal axis represents time and the vertical axis represents the output of the modulation signals S1, S2, and S3.
  • the ON period in which the irradiation of the excitation light L1 to the sample T is turned on and the OFF period in which the irradiation of the excitation light L1 to the sample T is turned off are alternately repeated.
  • the excitation light L1 is modulated so as to be.
  • the rectangular plot P11 shows the output of the modulated signal S1 in the ON period
  • the triangular plot P12 shows the output of the modulated signal S1 in the OFF period.
  • the plots P11 and P12 show frames included in the demodulated signal S11 (that is, image data showing an optical image of the detection light L11). This frame is included in the detection signal S output from the sensor 35 at a predetermined frame rate, and is used to generate an image of the detection light L11.
  • the image generation unit 72 uses the frames included in the demodulation signal S11 within the period TF1 (that is, the period indicated by the hatching of the dot pattern in FIG. 2A) to capture the image of the detection light L11.
  • the period TF1 is set to the entire period from the start of the generation of the image of the detection light L11 to the end of the generation of the image of the detection light L11. Therefore, the image generation unit 72 generates an image of the detection light L11 using all the frames in the period TF1.
  • the timing at which the generation of the image of the detection light L11 ends is the timing at which the frames included in the demodulation signal S11 reach the specified number of frames (for example, 40 frames).
  • the plot P11 corresponds to the frame obtained during the ON period when the irradiation of the excitation light L1 is ON.
  • the plot P12 corresponds to a frame obtained during the OFF period when the irradiation of the excitation light L1 is OFF. Therefore, the larger the total number of plots P11, the longer the ON period, and the larger the total number of plots P12, the longer the OFF period. That is, in the modulation signal S1, the length of the ON period can be indicated by the total number of plots P11, and the length of the OFF period can be indicated by the total number of plots P12.
  • the total number of plots P11 means the total number of frames obtained during the ON period among the specified number of frames, that is, the total number of plots P11 within the period TF1.
  • the total number of plots P12 means the total number of frames obtained during the OFF period among the specified number of frames, that is, the total number of plots P12 within the period TF1.
  • the ON / OFF ratio RT1 when the ratio of the ON period to the OFF period is expressed by the ON / OFF ratio RT1, the ON / OFF ratio RT1 can be expressed by the ratio of the total number of plots P11 to the total number of plots P12.
  • the ON / OFF ratio RT1 can be expressed as, for example, an ON period / OFF period obtained by dividing the ON period by the OFF period.
  • the ON / OFF ratio RT1 can be expressed as the total number of plots P11 / the total number of plots P12 obtained by dividing the total number of plots P11 by the total number of plots P12.
  • the total number of plots P11 and the total number of plots P12 are both 20, so the ON / OFF ratio RT1 is expressed as 20/20.
  • the ON / OFF ratio RT1 may be expressed as an ON period / [ON period + OFF period] obtained by dividing the ON period by the ON period + OFF period.
  • the ON / OFF ratio RT1 may be expressed as the total number of plots P11 divided by the total number of plots P11 + the total number of plots P12 / [total number of plots P11 + total number of plots P12]. good.
  • the ON period in which the irradiation of the excitation light L2 to the sample T is turned on and the OFF period in which the irradiation of the excitation light L2 to the sample T is turned off are alternately repeated.
  • the excitation light L2 is modulated so as to be.
  • the rectangular plot P21 shows the output of the modulated signal S2 in the ON period
  • the triangular plot P22 shows the output of the modulated signal S2 in the OFF period.
  • Plots P21 and P22 show frames included in the demodulated signal S12 (that is, image data showing an optical image of the detection light L12). This frame is included in the detection signal S output from the sensor 35 at a predetermined frame rate, and is used to generate an image of the detection light L12.
  • the image generation unit 72 uses the frames included in the demodulation signal S12 within the period TF2 (that is, the period indicated by the hatching of the dot pattern in FIG. 2B) to capture the image of the detection light L12. To generate.
  • the period TF2 is a part of the period from the start of the generation of the image of the detection light L12 to the timing TM of the end of the generation of the image of the detection light L12 (specifically, FIG. In 2 (b), the period up to the timing TM, excluding the time domain RA) is set.
  • the image generation unit 72 generates an image of the detection light L12 using only the frames within the period TF2.
  • the timing TM is before the timing when the frames included in the demodulation signal S12 reach the specified number of frames (that is, the timing when the period TF1 shown in FIG. 2A has elapsed).
  • the irradiation of the excitation light L2 after the timing TM is set to be all OFF.
  • the plot P21 corresponds to the frame obtained during the ON period when the irradiation of the excitation light L2 is ON.
  • the plot P22 corresponds to a frame obtained during the OFF period when the irradiation of the excitation light L2 is OFF. Therefore, in the modulation signal S2, the length of the ON period can be indicated by the total number of plots P21, and the length of the OFF period can be indicated by the total number of plots P22.
  • the total number of plots P21 means the total number of plots P21 within the period until the specified number of frames is reached (that is, the period corresponding to the period TF1 shown in FIG. 2A).
  • the total number of plots P22 means the total number of plots P22 within the period until the specified number of frames is reached.
  • the ON / OFF ratio RT2 can be expressed by the ratio of the total number of plots P21 to the total number of plots P22.
  • the ON / OFF ratio RT2 can be expressed as, for example, an ON period / OFF period obtained by dividing the ON period by the OFF period.
  • the ON / OFF ratio RT2 can be expressed as the total number of plots P21 / the total number of plots P22 obtained by dividing the total number of plots P21 by the total number of plots P22.
  • the total number of plots P21 is 10, and the total number of plots P22 is 30, so the ON / OFF ratio RT2 is expressed as 10/30.
  • the ON / OFF ratio RT2 may be expressed as an ON period / [ON period + OFF period] obtained by dividing the ON period by the ON period + OFF period.
  • the ON / OFF ratio RT2 may be expressed as the total number of plots P21 / [total number of plots P21 + total number of plots P22] obtained by dividing the total number of plots P21 by the total number of plots P21 + the total number of plots P22. good.
  • the ON period in which the irradiation of the excitation light L3 on the sample T is turned on and the OFF period in which the irradiation of the excitation light L3 on the sample T is turned off are alternately repeated.
  • the excitation light L3 is modulated so as to be.
  • the rectangular plot P31 shows the output of the modulated signal S3 in the ON period
  • the triangular plot P32 shows the output of the modulated signal S3 in the OFF period.
  • Plots P31 and P32 show frames included in the demodulated signal S13 (that is, image data showing an optical image of the detection light L13). This frame is included in the detection signal S output from the sensor 35 at a predetermined frame rate, and is used to generate an image of the detection light L13.
  • the image generation unit 72 uses the frames included in the demodulation signal S13 within the period TF3 (that is, the period indicated by the hatching of the dot pattern in FIG. 2C) to capture the image of the detection light L13.
  • the period TF3 is set to a part of the period from the start of the generation of the image of the detection light L13 to the timing TM of the end of the generation of the image of the detection light L13.
  • the partial period is set to a period up to the timing TM that includes the time domain RB and does not include the time domain RA.
  • the image generation unit 72 generates an image of the detection light L13 using only the frames within the period TF3.
  • the timing TM coincides with the timing TM shown in FIG. 2 (b).
  • the irradiation of the excitation light L3 after the timing TM is set to be all OFF.
  • the plot P31 corresponds to the frame obtained during the ON period when the irradiation of the excitation light L3 is ON
  • the plot P32 corresponds to the frame obtained during the OFF period when the irradiation of the excitation light L3 is OFF. Therefore, in the modulation signal S3, the length of the ON period can be indicated by the total number of plots P31, and the length of the OFF period can be indicated by the total number of plots P32.
  • the total number of plots P31 means the total number of plots P31 within the period until the specified number of frames is reached (that is, the period corresponding to the period TF1 shown in FIG. 2A).
  • the total number of plots P32 means the total number of plots P32 within the period until the specified number of frames is reached.
  • the ON / OFF ratio RT3 can be expressed by the ratio of the total number of plots P31 to the total number of plots P32.
  • the ON / OFF ratio RT3 can be expressed as, for example, an ON period / OFF period obtained by dividing the ON period by the OFF period.
  • the ON / OFF ratio RT3 can be expressed as the total number of plots P31 / the total number of plots P32 obtained by dividing the total number of plots P31 by the total number of plots P32.
  • the total number of plots P31 is 2, and the total number of plots P32 is 38, so the ON / OFF ratio RT3 is expressed as 2/38.
  • the ON / OFF ratio RT3 may be expressed as an ON period / [ON period + OFF period] obtained by dividing the ON period by the ON period + OFF period.
  • the ON / OFF ratio RT3 may be expressed as the total number of plots P31 / [total number of plots P31 + total number of plots P32] obtained by dividing the total number of plots P31 by the total number of plots P31 + the total number of plots P32. good.
  • the ON / OFF ratio RT3 of the modulation signal S2 is set lower than the ON / OFF ratio RT1 of the modulation signal S1, and the ON / OFF ratio RT3 of the modulation signal S3 is the ON / OFF of the modulation signal S2.
  • the ratio is set even lower than RT3. That is, among the modulation signals S1, S2, and S3, the ON / OFF ratio RT1 of the modulation signal S1 is set to be the highest, and the ON / OFF ratio RT3 of the modulation signal S3 is set to the lowest.
  • the modulation signal S3 having the lowest ON / OFF ratio RT3 corresponds to the detection light L13 having the largest amount of light.
  • the modulation signal S2 having an ON / OFF ratio RT2 corresponds to the detection light L12 having a light amount smaller than that of the detection light L13.
  • the modulation signal S1 having the lowest ON / OFF ratio RT1 corresponds to the detection light L11 having the smallest amount of light.
  • each of the detection lights L11, L12, and L13 is modulated by the modulation conditions M1, M2, and M3 of the modulation signals S1, S2, and S3. Therefore, the emission / non-emission of the detection lights L11, L12, and L13 is switched according to the ON / OFF switching of the irradiation of the excitation lights L1, L2, and L3 by the modulation signals S1, S2, and S3. .. That is, when the irradiation of the excitation lights L1, L2, and L3 is ON, the detection lights L11, L12, and L13 emit light, while when the irradiation of the excitation lights L1, L2, and L3 is OFF, the detection lights L11, L12, and L13 emit light. The detection lights L11, L12, and L13 do not emit light.
  • the ON period during which the irradiation of the excitation light L3 corresponding to the modulation signal S3 is turned on becomes shorter, and the emission period of the detection light L13 corresponds accordingly. Becomes shorter.
  • the emission period of the detection light L13 is shortened, as will be described later, it is effective in suppressing the situation where the shot noise component of the detection light L13 having a large amount of light appears in the images of the detection lights L11 and L12 having a small amount of light.
  • the ON / OFF ratio RT3 is set within a range in which the shot noise component of the detection light L13 can be sufficiently reduced while suppressing the deterioration of the accuracy of the image of the detection light L13.
  • the ON / OFF ratio RT2 of the modulation signal S2 is set lower than the ON / OFF ratio RT1 of the modulation signal S1, the shot noise component of the detection light L12 having a large amount of light is an image of the detection light L11 having a small amount of light. The situation that appears in is suppressed.
  • the ON / OFF ratio RT2 is set within a range in which the shot noise component of the detection light L12 can be sufficiently reduced while suppressing a decrease in the accuracy of the image of the detection light L12.
  • the amount of light of the detection lights L12 and L13 is larger than that of the detection light L11, so that the amount of light of the detection lights L12 and L13 can be sufficiently secured even if the ON / OFF ratios RT2 and RT3 are set low. Is. As a result, the situation where the accuracy of the images of the detection lights L12 and L13 is significantly reduced is suppressed.
  • the ON / OFF ratios RT2 and RT3 are set based on the difference in the amount of light of each of the detected lights L11, L12, and L13.
  • the shot noise component of the detection light L12 appearing in the image of the detection light L11 fluctuates according to the difference between the amount of light of the detection light L11 and the amount of light of the detection light L12. Specifically, the larger the absolute value of the difference between the amount of light of the detection light L11 and the amount of light of the detection light L12, the larger the shot noise component of the detection light L12 appearing in the image of the detection light L11.
  • the ON / OFF ratio RT2 may be set according to the ratio of the light amount of the detected light L12 to the light amount of the detected light L11. In this case, the larger the ratio of the light amount of the detected light L12 to the light amount of the detected light L11, the lower the ON / OFF ratio RT2 is set.
  • the ON / OFF ratio RT2 may be set to be high.
  • the shot noise component of the detection light L13 appearing in the images of the detection light L11 and L12 fluctuates according to the difference between the light amount of the detection light L11 and L12 and the light amount of the detection light L13. Specifically, the larger the absolute value of the difference between the amount of light of the detection light L11 and the amount of light of the detection light L13, the larger the shot noise component of the detection light L13 appearing in the image of the detection light L11. Similarly, the larger the absolute value of the difference between the amount of light of the detection light L12 and the amount of light of the detection light L13, the larger the shot noise component of the detection light L13 appearing in the image of the detection light L12.
  • the larger the absolute value of the difference between the amount of light of the detection light L11 and the amount of light of the detection light L13 the lower the ON / OFF ratio RT3 is set.
  • the absolute value of the difference between the amount of light of the detection light L11 and the amount of light of the detection light L13 is larger than the absolute value of the difference between the amount of light of the detection light L11 and the amount of light of the detection light L12, and therefore the ON / OFF ratio.
  • RT3 is set to be even lower than the ON / OFF ratio RT2 of the modulation signal S2.
  • the ON / OFF ratio RT3 may be set according to the ratio of the light amount of the detected light L13 to the light amount of the detected light L11. In this case, the larger the ratio of the light amount of the detected light L13 to the light amount of the detected light L11, the lower the ON / OFF ratio RT3 is set, and the smaller the ratio of the light amount of the detected light L13 to the light amount of the detected light L11, the more.
  • the ON / OFF ratio RT3 may be set to be high.
  • the ON / OFF ratio RT3 may be set to be lower as the absolute value of the difference between the light amount of the detection light L12 and the light amount of the detection light L13 is larger, and the light amount of the detection light L12 and the light amount of the detection light L13 may be set.
  • the smaller the absolute value of the difference the higher the ON / OFF ratio RT3 may be set.
  • the larger the ratio of the light amount of the detected light L13 to the light amount of the detected light L12 the lower the ON / OFF ratio RT3 is set, and the smaller the ratio, the higher the ON / OFF ratio RT3. May be set to.
  • FIG. 3 is a diagram for explaining a procedure for generating the modulation signals S1, S2, and S3.
  • the modulation signals S21, S22, and S23 corresponding to the modulation signals S1, S2, and S3 are prepared.
  • the modulation signal S21 shown in FIG. 3A repeats the excitation light L1 so that the period including the period in which the irradiation of the excitation light L1 is turned on and the period in which the irradiation of the excitation light L1 is turned off is repeated as one cycle T1. Is a pulse signal that periodically modulates.
  • the period including the frame used for generating the image of the detection light L11 is the entire period from the start of the generation of the image of the detection light L11 to the end of the generation of the image of the detection light L11 (that is,). , The period indicated by the hatching of the dot pattern in (a) of FIG. 3).
  • the modulation signal S22 shown in FIG. 3B repeats the period including the period in which the irradiation of the excitation light L2 is turned on and the period in which the irradiation of the excitation light L2 is turned off as one cycle T2.
  • the irradiation of the excitation light L2 after the demodulation timing TM5 is set to be all OFF.
  • the period including the frame used for generating the image of the detection light L12 is the entire period from the start of the generation of the image of the detection light L12 to the demodulation timing TM5 (that is, (that is,) in FIG. It is set to the period) indicated by the hatching of the dot pattern in b).
  • the modulation signal S23 shown in FIG. 3 (c) repeats the period including the period in which the irradiation of the excitation light L3 is turned on and the period in which the irradiation of the excitation light L3 is turned off as one cycle T3.
  • the irradiation of the excitation light L3 after the demodulation timing TM1 is set to be all OFF.
  • the period including the frame used for generating the image of the detection light L13 is the entire period from the start of the generation of the image of the detection light L13 to the demodulation timing TM1 (that is, (that is,) in FIG. It is set to the period) indicated by the hatching of the dot pattern in c).
  • the modulation signals S21, S22, and S23 are set so as to satisfy the orthogonality conditions with each other at the demodulation timings TM1, TM2, ... In which the demodulation signals S11, S12, and S13 are demodulated.
  • the modulation signals S21, S22, and S23 satisfy each other's orthogonality conditions in this way, the demodulation signals S11, S12, and S13 corresponding to the modulation signals S21, S22, and S23 at the demodulation timings TM1, TM2, ... Can be accurately demodulated from the detection signal S.
  • “Satisfying the orthogonality condition” means that the inner product between the modulation signals S21, S22, and S23 becomes zero at the demodulation timings TM1, TM2, .... This orthogonal condition will be described in more detail with reference to FIG.
  • FIG. 4 is a diagram for explaining the orthogonality condition satisfied by each of the modulation signals S21, S22, and S23.
  • the output of the modulation signal S21 that is, the plot P11
  • the output of the modulation signal S21 that is, when the irradiation of the excitation light L1 is turned off
  • the plot P12 is set to -1.
  • the output of the modulation signal S23 when the irradiation of the excitation light L3 is turned on (that is, the plot P31) is set to +1 and the output of the modulation signal S23 when the irradiation of the excitation light L3 is turned off (that is, the plot P32) is set to +1. ) Is -1.
  • the time domain is divided into R1, R2, R3 and R4.
  • the time domain R1 includes a plot P11 of the modulation signal S21 and a plot P31 of the modulation signal S23.
  • the time domain R2 includes a plot P11 of the modulation signal S21 and a plot P32 of the modulation signal S23.
  • the time domain R3 includes a plot P12 of the modulation signal S21 and a plot P31 of the modulation signal S23.
  • the time domain R4 includes a plot P12 of the modulation signal S21 and a plot P32 of the modulation signal S23.
  • the product of the output of the modulation signal S21 and the output of the modulation signal S23 is calculated.
  • the output of the modulation signal S21 is +1 and the output of the modulation signal S23 is also +1. Therefore, the product of these is +1.
  • the output of the modulation signal S21 is +1 and the output of the modulation signal S23 is -1, so the product of these is -1.
  • the product of the outputs of the modulated signals S21 and S23 is -1
  • the product of the outputs of the modulated signals S21 and S23 is +1.
  • the demodulation timing TM1 which is the timing when the time domain R4 has elapsed, the modulation signals S21 and S23 satisfy the orthogonality condition with each other.
  • each of the modulation signals S21, S22, and S23 satisfies the orthogonality condition with each other at the demodulation timings TM1, TM2, ....
  • the demodulation timings TM1, TM2, ... Are the timings at which one cycle T1 of the modulation signal S21 having the lowest frequency among the modulation signals S21, S22, and S23 elapses (that is, one cycle T2 of the modulation signal S22 elapses). Timing) matches.
  • all of the modulation signals S21, S22, and S23 always satisfy the orthogonality condition with each other.
  • the specified number of frames of the sensor 35 is 16, there are a maximum of 16 patterns of combinations of modulation signals satisfying the orthogonality condition. That is, the detection light can be detected at the same time for a specified number of frames.
  • the irradiation of the excitation light L2 is set to be all OFF after the demodulation timing TM5, and the modulation signal shown in FIG. 3C is set.
  • the irradiation of the excitation light L3 is set to be all OFF after the demodulation timing TM1.
  • the timing at which the irradiation of the excitation lights L2 and L3 are all set to OFF is determined based on the difference in the amount of light of the detection lights L11, L12, and L13.
  • the demodulation timing TM5 or later before the timing when the image generation of the detection light L11 ends (that is, the timing when the specified number of frames is reached)
  • the irradiation of the excitation light L2 is all set to OFF.
  • the excitation light L3 is irradiated after the demodulation timing TM1 before the demodulation timing TM5 in which the irradiation of the excitation light L2 is all set to OFF. Are all set to OFF.
  • the timing at which the irradiation of the excitation light is turned off is set so that the larger the amount of the detection light corresponding to the excitation light, the sooner the irradiation arrives.
  • the amount of light of the detection light is large, the S / N ratio of the image of the detection light becomes high, so that the change in the image of the detection light becomes small at a relatively early timing. If the change in the image becomes small in this way, it is considered that there is little room for improving the accuracy of the image even if the image is repeatedly updated. Therefore, it is sufficient even if the irradiation of the excitation light is set to OFF at an early timing. An accurate image is obtained.
  • the irradiation of the excitation light L1 is set to be all OFF after the earliest demodulation timing TM1.
  • the irradiation of the excitation light L2 is set to be all OFF after the demodulation timing TM5 after the demodulation timing TM1.
  • the judgment as to whether or not the change in the image is small is obtained in the image obtained at a certain demodulation timing and the demodulation timing before the certain demodulation timing. It is done by comparing with the image. For example, when determining whether or not the change in the image of the detection light L12 is small, the image of the detection light L12 obtained at the demodulation timing TM5 and the detection light L12 obtained at the demodulation timing TM4 immediately before the demodulation timing TM5. When the difference value from the image (for example, the squared average error of the contrast) is smaller than a predetermined threshold value, it may be determined that the change in the image of the detection light L12 is sufficiently small.
  • the difference value from the image for example, the squared average error of the contrast
  • the modulation signals S1, S2, and S3 shown in FIG. 2 are obtained.
  • the plot included in the time domain RA and the plot included in the time domain RB are exchanged.
  • the time domain RA indicates a common period in the modulated signals S21, S22, and S23.
  • the time domain RB indicates a common period different from that of the time domain RA in the modulation signals S21, S22, and S23.
  • the plot P22 included in the time domain RA and the plot P22 included in the time domain RB are interchanged.
  • the time domain RA belongs to the period including the frame used for generating the image of the detection light L12, so that the plot P22 (frame) included in the time domain RA is the detection light L12. It is used to generate the image of.
  • the plot P22 (frame) included in the time domain RB is used for generating the image of the detection light L12. I can't.
  • the plot P22 included in the time domain RB is set to be used for generating an image of the detection light L12
  • the plot P22 included in the time domain RA is the detection light L12. It is set not to be used for image generation (see (b) in FIG. 2). That is, in the modulation signal S2 shown in FIG. 2B, the period TF2 including the frame used for generating the image of the detection light L12 is set to the period including the time domain RB and not including the time domain RA. ..
  • the plot P31 included in the time domain RA and the plot P32 included in the time domain RB are interchanged.
  • a modulated signal S3 is obtained in which the plot P32 is included in the time domain RA and the plot P31 is included in the time domain RB.
  • the plot P31 (frame) included in the time domain RA is used to generate an image of the detection light L13
  • the plot P32 included in the time domain RB is not used to generate an image of the detection light L13.
  • the plot P31 included in the time domain RB is set to be used for generating an image of the detection light L13
  • the plot P32 included in the time domain RA is the detection light L13. It is set not to be used for image generation (see (c) in FIG. 2). That is, in the modulation signal S3 shown in FIG. 2C, the period TF3 including the frame used for generating the image of the detection light L13 is set to the period including the time domain RB and not including the time domain RA. ..
  • the modulated signals S1, S2, and S3 shown in FIG. 2 are obtained.
  • the modulation signals S1, S2, and S3 become aperiodic pulse signals as a result of the above replacement.
  • the orthogonality is maintained in each of the modulation signals S1, S2, and S3 after the exchange.
  • the demodulation timing at which the modulation signals S1, S2, and S3 after the replacement satisfy the orthogonality condition may deviate from the demodulation timings TM1, TM2, ... In the modulation signals S1, S2, and S3 before the replacement.
  • the demodulation timing at which the exchanged modulation signals S1, S2, and S3 satisfy the orthogonality condition may be the timing TM shown in FIG. 2B and FIG. 2C, and may be set to another timing. It may become. In this way, even when the replaced modulation signals S1, S2, and S3 are used, the detection signal S is demodulated at the demodulation timing at which the orthogonal conditions of the modulation signals S1, S2, and S3 are satisfied. If this is done, the detection signal S can be accurately demodulated.
  • FIG. 6 is a flowchart showing an observation method according to the present embodiment.
  • the irradiation unit 10 simultaneously feeds the sample T with the excitation lights L1, L2, and L3 having different wavelengths ⁇ 1, ⁇ 2, and ⁇ 3 and modulated by different modulation conditions M1, M2, and M3, respectively.
  • Irradiate irradiation step P1.
  • the modulation signal generation unit 16 generates the modulation signals S1, S2, and S3 that modulate the excitation lights L1, L2, and L3.
  • the modulation signal generation unit 16 acquires data indicating the amount of light of the detection lights L11, L12, and L13 measured in advance.
  • the ON / OFF ratio RT2 of the modulation signal S2 corresponding to the detection light L12 having a light amount larger than that of the detection light L11 is higher than the ON / OFF ratio RT1 of the modulation signal S1 corresponding to the detection light L11. Is set to be low.
  • the ON / OFF ratio RT3 of the modulation signal S3 corresponding to the detection light L13 having a light amount larger than that of the detection light L12 is further higher than the ON / OFF ratio RT2 of the modulation signal S2 corresponding to the detection light L12. Set it to be low.
  • the modulation signal generation unit 16 outputs the modulation signals S1, S2, and S3 to the light sources 11, 12, and 13.
  • the excitation light L1 modulated under the modulation condition M1 is output from the light source 11
  • the excitation light L2 modulated under the modulation condition M2 is output from the light source 12
  • the excitation light L3 modulated under the modulation condition M3 is output from the light source 13. Is output from.
  • These excitation lights L1, L2, and L3 are simultaneously irradiated to the sample T by the light guide optical system 20.
  • the detection unit 40 simultaneously detects the detection lights L11, L12, and L13 generated from the sample T due to the irradiation of the excitation lights L1, L2, and L3 (detection step P2). Specifically, the detection lights L11, L12, and L13 generated from the sample T are guided to the sensor 35 by the light guide optical system 30. Then, the sensor 35 outputs a detection signal S indicating an optical image of the detection lights L11, L12, and L13.
  • the image processing unit 70 generates images of the detection lights L11, L12, and L13 based on the detection signal S (image processing step P3).
  • the signal demodulation unit 71 demodulates the demodulation signals S11, S12, and S13 from the detection signal S at each demodulation timing based on the modulation conditions M1, M2, and M3.
  • the image generation unit 72 generates images of the detection lights L11, L12, and L13 based on the demodulation signals S11, S12, and S13.
  • the image of the detection light L11 may be generated by averaging or adding the plurality of demodulation signals S11 generated at each demodulation timing, or at each demodulation timing.
  • the image of the detection light L12 may be generated by averaging or adding a plurality of demodulation signals S12 generated at each demodulation timing, or may be generated at each demodulation timing.
  • the image of the detection light L13 may be generated by averaging or adding a plurality of demodulation signals S13 generated at each demodulation timing, or may be generated at each demodulation timing.
  • FIG. 7 is a diagram for explaining simulation conditions of Examples and Comparative Examples.
  • the detection lights L11, L12, and L13 generated from the sample T due to the irradiation of the excitation lights L1, L2, and L3 are arranged side by side in order. Similar to the present embodiment, the light amount of the detection light L13 is the largest, the light amount of the detection light L12 is smaller than the light amount of the detection light L13, and the light amount of the detection light L11 is the smallest.
  • the light intensity of the detection light L13 is set to 200 [photons / frame]
  • the light intensity of the detection light L12 is set to 10 [photons / frame]
  • the light intensity of the detection light L11 is set to 2 [photons / frame]. ..
  • FIG. 8 is a diagram showing simulation conditions of a comparative example.
  • FIG. 8A shows a modulation signal S101 corresponding to the modulation signal S1.
  • FIG. 8B shows the modulation signal S102 corresponding to the modulation signal S2.
  • FIG. 8C shows the modulation signal S103 corresponding to the modulation signal S3.
  • the modulation signal S101 shown in FIG. 8A is the same as the modulation signal S21 corresponding to the modulation signal S1 (see FIG. 5A). Therefore, in the modulation signal S101, the total number of plots P111 in which the irradiation of the excitation light L1 is turned on and the total number of plots P112 in which the irradiation of the excitation light L1 is turned off are both 20. Therefore, the ON / OFF ratio of the modulation signal S101 is the same as the ON / OFF ratio RT1 of the modulation signal S1.
  • the modulation signal S102 shown in FIG. 8B is a pulse signal that fluctuates periodically over the entire period, unlike the modulation signal S2.
  • the total number of plots P121 in which the irradiation of the excitation light L2 is turned on and the total number of plots P122 in which the irradiation of the excitation light L2 is turned off are both 20. Therefore, the ON / OFF ratio of the modulation signal S102 is the same as the ON / OFF ratio of the modulation signal S101.
  • the modulation signal S103 shown in FIG. 8C is a pulse signal that fluctuates periodically over the entire period.
  • the total number of plots P131 in which the irradiation of the excitation light L3 is turned on is 20, and the total number of plots P132 in which the irradiation of the excitation light L3 is turned off is 19. Therefore, the ON / OFF ratio of the modulation signal S102 is substantially the same as the ON / OFF ratio of the modulation signal S101 and the ON / OFF ratio of the modulation signal S102.
  • the ON / OFF ratios of the modulation signals S101, S102, and S103 are set to be substantially the same as each other.
  • FIG. 9 is a diagram showing the simulation results of the comparative example.
  • FIG. 9A shows an image of the detection light L11 corresponding to the modulation signal S101.
  • FIG. 9B shows an image of the detection light L12 corresponding to the modulation signal S102.
  • FIG. 9C shows an image of the detection light L13 corresponding to the modulation signal S103.
  • a large shot noise component N113 appears in the images of the detection lights L11 and L12, respectively. This is because the shot noise component N113 of the detection light L13 is superimposed on the demodulation signals S11 and S12 used for generating the images of the detection lights L11 and L12, respectively, when the images of the detection lights L11 and L12 are generated. do.
  • the shot noise component N112 of the detection light L12 having a large amount of light is an image of the detection light L11 having a small amount of light. (See (a) in FIG. 9).
  • FIG. 10 is a diagram showing the simulation results of the examples.
  • the same modulation signals S1, S2, and S3 as in the present embodiment are used. Therefore, the ON / OFF ratio RT2 of the modulation signal S2 is set lower than the ON / OFF ratio RT1 of the modulation signal S1, and the ON / OFF ratio RT3 of the modulation signal S3 is higher than the ON / OFF ratio RT2 of the modulation signal S2. Is set even lower. Other conditions are the same as in the comparative example.
  • FIG. 10A shows an image of the detection light L11 corresponding to the modulation signal S1.
  • FIG. 10B shows an image of the detection light L12 corresponding to the modulation signal S2.
  • FIG. 10C shows an image of the detection light L13 corresponding to the modulation signal S3.
  • the shot noise component N13 of the detection light L13 appears in the images of the detection lights L11 and L12, respectively, as in the comparative example.
  • the shot noise component N13 of the detection light L13 is significantly reduced as compared with the simulation result of the comparative example (that is, the shot noise component N113 shown in FIGS. 9A and 9B). You can see that it has been done. This is because the ON / OFF ratio RT3 of the modulation signal S3 is set lower than in the case of the comparative example. As shown in FIG.
  • the shot noise component N12 of the detection light L12 is significantly reduced as compared with the simulation result of the comparative example (that is, the shot noise component N112 shown in FIG. 9A). You can see that there is. This is because the ON / OFF ratio RT2 of the modulation signal S2 is set lower than in the case of the comparative example.
  • the shot noise component N13 of the detected light L13 becomes larger as the integrated value of the light amount of the detected light L13 in a certain period becomes larger.
  • This integrated value increases as the ON period during which the irradiation of the excitation light L3 corresponding to the detection light L13 is turned ON becomes longer. This is because the longer the ON period, the longer the light emission period of the detection light L13. Therefore, in order to reduce the shot noise component N13 of the detection light L13, the ON period of the excitation light L3 may be set to be short.
  • the shot noise component N12 of the detection light L12 also increases as the integrated value of the light amount of the detection light L12 in a certain period increases, and this integrated value turns on the irradiation of the excitation light L2 corresponding to the detection light L12.
  • the ON period of the excitation light L2 may be set to be short.
  • the ON / OFF ratio RT3 of the modulation signal S3 corresponding to the detection light L13 is the ON / OFF ratio RT1 of the modulation signal S1 corresponding to the detection light L11, and
  • the ON / OFF ratio of the modulation signal S2 corresponding to the detection light L12 is set lower than each of the RT2.
  • the ON / OFF ratio RT2 of the modulation signal S2 corresponding to the detection light L12 is set lower than the ON / OFF ratio RT1 of the modulation signal S1 corresponding to the detection light L11.
  • the ON period during which the irradiation of the excitation light L2 is turned on can be shortened. Therefore, the shot noise component N12 of the detection light L12 (see (a) in FIG. 10). ) Can be reduced.
  • the observation device 1 and the observation method according to the present embodiment since the modulation signals S1, S2, and S3 are set to satisfy the orthogonality conditions with each other at the demodulation timing, the detection lights L11, L12, and L13 are set.
  • the detection signal S indicating the above can be accurately demodulated.
  • accurate images of the detected lights L11, L12, and L13 can be obtained.
  • the observation device 1 and the observation method according to the present embodiment can be used only by controlling the light sources 11, 12, and 13, the observation device 1 and the observation method according to the present embodiment can be used as an existing device. It is easy to install and cost-effective at the time of introduction.
  • the irradiation unit 10 has a modulation signal generation unit 16 that generates modulation signals S1, S2, and S3. According to this configuration, the desired modulation signals S1, S2, and S3 can be easily obtained.
  • the detection light L13 has the largest amount of light among the plurality of detection lights L11, L12, and L13.
  • the shot noise component tends to appear in the image of the detected light having a large amount of light to the detected light having a small amount of light, and becomes larger as the difference in the amount of light of the detected light becomes larger.
  • the shot noise component of the detection light L13 having the largest amount of light can be suppressed from appearing in the images of the detection lights L11 and L12 having a small amount of light. The above-mentioned effects are preferably achieved.
  • the ON / OFF ratio RT3 of the modulation signal S3 corresponding to the detection light L13 is set based on the difference in the amount of light between the detection light L13, the detection light L11, and the detection light L12.
  • the shot noise component N13 of the detection light L13 appearing in the images of the detection light L11 and L12 has a difference in the amount of light between the detection light L13 and the detection light L11 and a difference in the amount of light between the detection light L13 and the detection light L12. It fluctuates due to. Therefore, by setting the ON / OFF ratio RT3 of the modulation signal S3 based on these differences in the amount of light, the shot noise component N13 of the detection light L13 can be effectively reduced.
  • the ON / OFF ratio RT2 of the modulation signal S2 corresponding to the detection light L12 is set based on the difference in the amount of light between the detection light L12 and the detection light L11.
  • the detection light L13 is supported according to the absolute value of the difference between the light amount of the detection light L13 and the light amount of the detection light L11, and the absolute value of the difference between the light amount of the detection light L13 and the light amount of the detection light L12.
  • the ON / OFF ratio RT3 of the modulation signal S3 to be used is set.
  • the shot noise component N13 of the detection light L13 appearing in the images of the detection light L11 and L12 is the absolute value of the difference between the amount of light of the detection light L13 and the detection light L11, and the absolute value of the difference between the amount of light of the detection light L13 and the detection light L12. It increases with the value.
  • the ON / OFF ratio RT3 of the modulation signal S3 is set according to the absolute value of the difference between the light amount of the detection light L12 and the light amount of the detection light L11.
  • the ON / OFF ratio RT3 of the modulation signal S3 is set to be low.
  • RT3 is set to be high.
  • the ON / OFF ratio RT3 of the modulation signal S3 By setting the light intensity to be high, the amount of light of the detection light L13 can be secured more, so that the deterioration of the accuracy of the image of the detection light L12 can be suppressed.
  • the larger the absolute value of the difference between the amount of light of the detection light L12 and the amount of light of the detection light L11 the lower the ON / OFF ratio RT2 of the modulation signal S2 corresponding to the detection light L12. ..
  • FIG. 11 is a diagram showing a first modification example of each modulation signal S1, S2, and S3.
  • FIG. 12 is a diagram showing a second modification of each of the modulation signals S1, S2, and S3.
  • FIG. 13 is a diagram showing a third modification example of each of the modulation signals S1, S2, and S3.
  • the modulation signal S1A shown in FIG. 11A, the modulation signal S1B shown in FIG. 12A, and the modulation signal S1C shown in FIG. 13A are the modulation signals S1 shown in FIG. 2A. It corresponds.
  • the modulation signal S2A shown in FIG. 11B, the modulation signal S2B shown in FIG. 12B, and the modulation signal S2C shown in FIG. 13B are the modulation signals S2 shown in FIG.
  • the modulation signal S3A shown in FIG. 11C, the modulation signal S3B shown in FIG. 12C, and the modulation signal S3C shown in FIG. 13C are the modulation signals S3 shown in FIG. 2C. It corresponds.
  • the modulation signals shown in FIGS. 11, 12, and 13 have a common period in the modulation signals S21, S22, and S23 shown in FIG. 3, similar to the modulation signals S1, S2, and S3 according to the above-described embodiment. It is obtained by swapping the plot (frame) contained in one time domain and the plot (frame) contained in another time domain. By performing such replacement, various patterns of modulated signals can be obtained as shown in FIGS. 11, 12, and 13.
  • the patterns of the modulated signals after the replacement are not limited to the examples shown in FIGS. 11, 12, and 13, and there are many patterns. Since the ON / OFF ratio does not change between the modulated signals shown in FIGS.
  • FIGS. 11 and 12 The ON / OFF ratio of the modulated signal shown in FIG. 13 is the same as the ON / OFF ratio of the modulated signals S1, S2, and S3 according to the above-described embodiment.
  • orthogonality is maintained as in the above-described embodiment. Therefore, even in such a form, the same effect as that of the above embodiment can be obtained.
  • FIG. 14 is a schematic configuration diagram showing a modified example of the observation device 1.
  • the configuration of the modulation unit 15A of the irradiation unit 10A is different from that of the observation device 1 according to the above embodiment. That is, the modulation unit 15A has a modulation signal storage unit 16A instead of the modulation signal generation unit 16 and the modulation condition setting unit 17.
  • the modulation signal storage unit 16A stores the modulation signals S1, S2, and S3 having the modulation conditions M1, M2, and M3 in advance, and stores the modulation signals S1, S2, and S3 in the light sources 11, 12, respectively. And 13 are configured to be outputable. Even with the observation device 1A shown in FIG.
  • the same effect as that of the observation device 1 according to the above-described embodiment can be obtained. Further, according to the observation device 1A, it is not necessary to perform the processing for generating the modulation signals S1, S2, and S3, so that the processing load is reduced as compared with the case where the modulation signals S1, S2, and S3 are generated. can.
  • FIG. 15 is a schematic configuration diagram showing another modification of the observation device 1.
  • the observation device 1B shown in FIG. 15 is different from the observation device 1 according to the above embodiment in that the irradiation unit 10B has different light sources 18 and 19 in addition to the light sources 11, 12, and 13.
  • the light source 18 is a light source for dark field illumination, and is configured to be capable of outputting dark field illumination L8 having a wavelength ⁇ 8.
  • the light source 19 is a light source for bright-field illumination, and is configured to be capable of outputting bright-field illumination L9 having a wavelength ⁇ 9.
  • the light source 19 is arranged at a position facing the objective lens 31 with the sample T interposed therebetween, and outputs the bright field illumination L9 from the back surface of the sample T.
  • the light source 18 is arranged on the objective lens 31 side with respect to the sample T, and outputs the dark field illumination L8 from a direction inclined with respect to the optical axis of the objective lens 31.
  • Each of the dark field illumination L8 and the bright field illumination L9 may be light having a specific wavelength band or light having a broad wavelength band.
  • the light sources 18 and 19 are electrically connected to the modulation unit 15 like the light sources 11, 12, and 13.
  • the modulation signal generation unit 16 of the modulation unit 15 generates a modulation signal S8 having a modulation condition M8 and a modulation signal S9 having a modulation condition M9 in addition to the modulation signals S1, S2, and S3.
  • the modulation signal S8 is a modulation pattern for temporally modulating the dark field illumination L8 output from the light source 18. For example, it is a rectangular wavy pulse signal that modulates the dark field illumination L8 under the modulation condition M8 so as to alternately switch the irradiation of the dark field illumination L8 ON / OFF.
  • the modulation signal S9 is a modulation pattern for temporally modulating the bright field illumination L9 output from the light source 19. For example, it is a rectangular wavy pulse signal that modulates the bright field illumination L9 under the modulation condition M9 so as to alternately switch the irradiation of the bright field illumination L9 ON / OFF.
  • the dark field illumination L8 and the bright field illumination L9 output from the light sources 18 and 19, respectively, are guided by the light guide optical system 20, and are simultaneously irradiated to the sample T together with the excitation lights L1, L2, and L3.
  • the bright-field illumination L9 irradiates the sample T
  • the transmitted light of the bright-field illumination L9 transmitted through the sample T is detected by the detection unit 40 as the detection light L19.
  • the dark-field illumination L8 irradiates the sample T the scattered light of the dark-field illumination L8 generated in the sample T is detected by the detection unit 40 as the detection light L18.
  • the sensor 35 of the detection unit 40 simultaneously detects the detection lights L11, L12, L13, L18, and L19, and outputs the detection signal SB.
  • the image processing unit 70 simultaneously demodulates the detection signal SB based on the modulation conditions M1, M2, M3, M8, and M9 to generate images of the detection lights L11, L12, L13, L18, and L19. do. Even in such a form, the same effect as that of the above-described embodiment can be obtained.
  • the sample T is irradiated with the three excitation lights L1, L2, and L3 to detect the three detection lights L11, L12, and L13 has been described.
  • the number of excitation lights and the number of detection lights can be changed as appropriate.
  • the number of excitation lights and the number of detection lights may be two or four or more, respectively.
  • the setting of the modulation condition of the modulation signal for modulating the excitation light is not limited to the above-described embodiment and each modification, and can be appropriately changed.
  • the light sources 11, 12, and 13 are directly installed in the light guide optical system 20 .
  • the light sources 11, 12, and 13 may be arranged outside the device and optically connected to the light guide optical system 20 via an optical fiber or the like.
  • the irradiation unit 10 may have one light source capable of outputting multi-wavelength excitation light instead of the light sources 11, 12, and 13.
  • the one light source simultaneously outputs excitation lights L1, L2, and L3 having different wavelengths from each other.
  • the modulation unit 15 modulates the excitation lights L1, L2, and L3 by controlling the light sources 11, 12, and 13 using the modulation signals S1, S2, and S3 has been described. ..
  • the method of modulating the excitation light by the modulation unit is not limited to the above-mentioned example.
  • the modulation unit may be an optical chopper that mechanically modulates the excitation light.
  • each optical chopper may be installed corresponding to each light source, and each excitation light may be temporally modulated by repeated passage or blocking of each excitation light by each optical chopper.
  • the modulation pattern of the excitation light by the optical chopper is set to correspond to the above-mentioned modulation signal.
  • the optical chopper modulates the excitation light so that the irradiation of the excitation light can be switched ON / OFF according to the modulation pattern.
  • the modulation unit may be an optical modulation device such as a DMD (Digital Micromirror Device) or a spatial light modulator (SLM).
  • each optical modulation device is installed corresponding to each light source, and each modulation pattern is displayed on each optical modulation device.
  • each excitation light from each light source is time-modulated.
  • Each modulation pattern is set to correspond to the above-mentioned modulation signal.
  • the optical modulation device modulates the excitation light so that the irradiation of the excitation light can be switched ON / OFF according to the modulation pattern.
  • 1,1A, 1B ... Observation device 10,10A, 10B ... Irradiation unit, 16 ... Modulation signal generation unit (generation unit), 16A ... Modulation signal storage unit (storage unit), 40 ... Detection unit, 70 ... Image processing unit , L1, L2, L3 ... Excitation light, L11, L12, L13 ... Detection light, L18, L19 ... Detection light, S, SB ... Detection signal, S1, S1A, S1B, S1C, S2, S2A, S2B, S2C, S3 , S3A, S3B, S3C, S8, S9 ... Modulation signal (modulation pattern), T ... Sample (observation object).

Landscapes

  • Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Multimedia (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

観察装置は、複数の変調パターンでそれぞれ変調された複数の励起光を、観察対象物に同時に照射する照射部と、観察対象物からの複数の検出光を検出信号として検出する検出部と、検出信号を復調することにより、複数の検出光の画像を検出光毎に生成する画像処理部と、を備える。複数の検出光は、第1の検出光と、第1の検出光よりも小さい光量を有する第2の検出光と、を含む。各変調パターンは、励起光の照射がONになるON期間と励起光の照射がOFFになるOFF期間とが切り替わるように励起光を変調させる変調パターンであり、検出信号が復調される復調タイミングにおいて互いに直交条件を満たすように設定されている。OFF期間に対するON期間の比をON/OFF比として表した場合に、第1の検出光に対応する変調パターンのON/OFF比は、第2の検出光に対応する変調パターンのON/OFF比よりも低く設定されている。

Description

観察装置及び観察方法
 本開示は、観察装置及び観察方法に関する。
 従来、観察対象物の蛍光観察を行う観察装置として、例えば特許文献1に記載された顕微鏡装置が知られている。この顕微鏡装置では、複数の蛍光物質により多重染色された試料に対して、複数の蛍光物質をそれぞれ励起する波長を有し且つ互いに異なる変調周波数で変調された複数の励起光が、同時に照射される。複数の励起光の照射に伴って、これら励起光に対応する複数の蛍光が試料から発生する。この顕微鏡装置では、これら蛍光が同時に検出され、各蛍光を示す信号が変調周波数に基づいて周波数分離されることによって、各蛍光の画像が蛍光毎に生成される。
特開2005-091895号公報
 上述した顕微鏡装置では、各蛍光の画像が生成される際、或る蛍光のショットノイズ成分が他の蛍光の画像に偽信号として現れることがある。このような現象は、当該或る蛍光の光量が当該他の蛍光に比して大きい場合に、特に顕著に現れる。このような現象が生じると、各蛍光の正確な画像を生成することが困難となり得る。
 本開示は、上記課題の解決のためになされたものであり、観察対象物の正確な画像を得ることができる観察装置及び観察方法を提供する。
 本開示の一側面に係る観察装置は、互いに異なる波長を有すると共に、互いに異なる変調条件による複数の変調パターンでそれぞれ変調された複数の励起光を、観察対象物に同時に照射する照射部と、複数の励起光の照射に伴う観察対象物からの複数の検出光を検出信号として検出する検出部と、検出信号を復調することにより、複数の検出光の画像を検出光毎に生成する画像処理部と、を備える。複数の検出光は、第1の検出光と、第1の検出光よりも小さい光量を有する第2の検出光と、を含む。各変調パターンは、励起光の照射がONになるON期間と励起光の照射がOFFになるOFF期間とが切り替わるように励起光を変調させる変調パターンであり、検出信号が復調される復調タイミングにおいて互いに直交条件を満たすように設定されている。OFF期間に対するON期間の比をON/OFF比として表した場合に、第1の検出光に対応する変調パターンのON/OFF比は、第2の検出光に対応する変調パターンのON/OFF比よりも低く設定されている。
 各検出光の画像が生成される際、光量の大きい第1の検出光のショットノイズ成分が、光量の小さい第2の検出光の画像に偽信号として現れることがある。このようなショットノイズ成分は、一定期間における第1の検出光の光量の積算値が大きくなるほど大きくなる。この積算値は、第1の検出光に対応する励起光の照射がONになるON期間が長くなるほど大きくなる。これに対し、上記の観察装置では、第1の検出光に対応する変調パターンのON/OFF比は、第2の検出光に対応する変調パターンのON/OFF比よりも低く設定されている。このように第1の検出光に対応する変調パターンのON/OFF比を低く設定すれば、励起光の照射がONになるON期間を短くできるので、第1の検出光のショットノイズ成分を低減できる。これにより、第1の検出光のショットノイズ成分が第2の検出光の画像に現れる事態を抑制できる。更に、復調タイミングにおいて各変調パターンが互いに直交条件を満たすように設定されているので、各変調パターンに対応する各検出光を示す検出信号を正確に復調できる。したがって、上記の観察装置によれば、各検出光の正確な画像を得ることが可能となる。
 照射部は、複数の変調パターンを記憶する記憶部を有してもよい。この場合、各変調パターンを生成する処理を行う必要がないので、各変調パターンを生成する場合と比べて、処理負担を軽減できる。
 照射部は、複数の変調パターンを生成する生成部を有してもよい。この場合、所望の各変調パターンを容易に得ることができる。
 第1の検出光は、複数の検出光の中で最も大きい光量を有してもよい。ショットノイズ成分は、光量の大きい検出光から光量の小さい検出光の画像に現れやすく、それらの検出光の光量差が大きくなるほど大きくなる。これに対し、上記の観察装置によれば、光量の最も大きい第1の検出光のショットノイズ成分が、光量の小さい第2の検出光の画像に現れる事態を抑制できるので、上述した効果を好適に奏する。
 第1の検出光と第2の検出光との間の光量の違いに基づいて、第1の検出光に対応する変調パターンのON/OFF比が設定されていてもよい。第2の検出光の画像に現れる第1の検出光のショットノイズ成分は、第1の検出光と第2の検出光との間の光量の違いに起因して変動する。そこで、これらの光量の違いに基づいて、第1の検出光に対応する変調パターンのON/OFF比が設定されることで、第1の検出光のショットノイズ成分を効果的に低減できる。これにより、第1の検出光のショットノイズ成分が第2の検出光の画像に現れる事態を効果的に抑制できる。
 第1の検出光の光量と第2の検出光の光量との差の絶対値に応じて、第1の検出光に対応する変調パターンのON/OFF比が設定されていてもよい。第2の検出光の画像に現れる第1の検出光のショットノイズ成分は、第1の検出光の光量と第2の検出光の光量との差の絶対値に応じて大きくなる。そこで、この絶対値に応じて、第1の検出光に対応する変調パターンのON/OFF比が設定されることで、第1の検出光のショットノイズ成分をより効果的に低減できる。これにより、第1の検出光のショットノイズ成分が第2の検出光の画像に現れる事態をより効果的に抑制できる。
 本開示の一側面に係る観察方法は、互いに異なる波長を有すると共に、互いに異なる変調条件による複数の変調パターンでそれぞれ変調された複数の励起光を、観察対象物に同時に照射するステップと、複数の励起光の照射に伴う観察対象物からの複数の検出光を検出信号として検出するステップと、検出信号を復調することにより、複数の検出光の画像を検出光毎に生成するステップと、を備える。複数の検出光は、第1の検出光と、第1の検出光よりも小さい光量を有する第2の検出光と、を含む。各変調パターンは、励起光の照射がONになるON期間と励起光の照射がOFFになるOFF期間とが切り替わるように励起光を変調させる変調パターンであり、検出信号が復調される復調タイミングにおいて互いに直交条件を満たすように設定されている。OFF期間に対するON期間の比をON/OFF比として表した場合に、第1の検出光に対応する変調パターンのON/OFF比は、第2の検出光に対応する変調パターンのON/OFF比よりも低く設定されている。
 各検出光の画像が生成される際、光量の大きい第1の検出光のショットノイズ成分が、光量の小さい第2の検出光の画像に偽信号として現れることがある。このようなショットノイズ成分は、一定期間における第1の検出光の光量の積算値が大きくなるほど大きくなる。この積算値は、第1の検出光に対応する励起光の照射がONになるON期間が長くなるほど大きくなる。これに対し、上記の観察方法では、第1の検出光に対応する変調パターンのON/OFF比は、第2の検出光に対応する変調パターンのON/OFF比よりも低く設定されている。このように第1の検出光に対応する変調パターンのON/OFF比を低く設定すれば、励起光の照射がONになるON期間を短くできるので、第1の検出光のショットノイズ成分を低減できる。これにより、第1の検出光のショットノイズ成分が第2の検出光の画像に現れる事態を抑制できる。更に、復調タイミングにおいて各変調パターンが互いに直交条件を満たすように設定されているので、各変調パターンに対応する各検出光を示す検出信号を正確に復調できる。したがって、上記の観察方法によれば、各検出光の正確な画像を得ることが可能となる。
 本開示によれば、観察対象物の正確な画像を得ることができる。
図1は、観察装置の一実施形態を示す概略構成図である。 図2は、図1に示す各変調信号を示す図である。 図3は、各変調信号の生成手順を説明するための図である。 図4は、各変調信号が満たす直交条件を説明するための図である。 図5は、各変調信号の生成手順を説明するための図である。 図6は、観察方法の一実施形態を示すフローチャートである。 図7は、実施例及び比較例のシミュレーション条件を説明するための図である。 図8は、比較例のシミュレーション条件を示す図である。 図9は、比較例のシミュレーション結果を示す図である。 図10は、実施例のシミュレーション結果を示す図である。 図11は、各変調信号の第1の変形例を示す図である。 図12は、各変調信号の第2の変形例を示す図である。 図13は、各変調信号の第3の変形例を示す図である。 図14は、観察装置の変形例を示す概略構成図である。 図15は、観察装置の別の変形例を示す概略構成図である。
 以下、本開示の一実施形態について、図面を参照しつつ詳細に説明する。以下の説明において、同一又は相当要素には同一符号を用い、重複する説明を適宜省略する。
 以下、本開示の一実施形態について、図面を参照しつつ詳細に説明する。以下の説明において、同一又は相当要素には同一符号を用い、重複する説明を適宜省略する。
 図1は、本実施形態に係る観察装置1を示す概略構成図である。観察装置1は、観察対象物である試料Tの蛍光観察を行う。試料Tは、例えば、互いに異なる複数種類の蛍光物質を含む生体組織等のサンプルである。各蛍光物質は、所定の波長域の励起光が照射された場合に、励起光の波長に応じた波長を有する蛍光等の検出光を発生する。蛍光物質としては、例えば、インドシアニングリーン、メチレンブルー、フルオレセイン、及び5-アミノレブリン酸等の蛍光色素が挙げられる。観察装置1は、試料Tの複数の蛍光物質をそれぞれ励起する複数の励起光L1、L2、及びL3を試料Tに同時に照射し、それに伴って試料Tから発生する複数の検出光L11、L12、及びL13を同時に撮像する。
 図1に示すように、観察装置1は、例えば、照射部10と、検出部40と、画像処理部70と、を備える。照射部10は、互いに異なる波長λ1、λ2、及びλ3を有し、且つ互いに異なる変調条件M1、M2、及びM3でそれぞれ変調された複数の励起光L1、L2、及びL3を、試料Tに同時に照射する。照射部10は、複数の光源11、12、及び13と、変調部15と、導光光学系20と、を有する。光源11、12、及び13は、励起光L1、L2、及びL3をそれぞれ出力する。変調部15は、励起光L1、L2、及びL3が互いに異なる変調条件M1、M2、及びM3でそれぞれ変調されるように光源11、12、及び13を制御する。導光光学系20は、光源11、12、及び13からそれぞれ出力された励起光L1、L2、及びL3を試料Tに導光する。
 各光源11、12、及び13は、試料Tの蛍光物質を励起させる波長を含む光を生成可能なコヒーレント光源又はインコヒーレント光源である。光源11は、波長λ1を有する励起光L1を生成可能である。光源12は、波長λ2を有する励起光L2を生成可能である。光源13は、波長λ3を有する励起光L3を生成可能である。コヒーレント光源としては、例えば、レーザダイオード(LD)といったレーザ光源等が挙げられる。インコヒーレント光源としては、例えば、発光ダイオード(LED)、スーパールミネッセントダイオード(SLD)又はランプ系光源等が挙げられる。
 変調部15は、各光源11、12、及び13と電気的に接続されている。変調部15は、互いに異なる変調条件M1、M2、及びM3をそれぞれ有する複数の変調信号S1、S2、及びS3を用いて、複数の励起光L1、L2、及びL3をそれぞれ変調させる。変調部15は、変調信号S1、S2、及びS3を生成する変調信号生成部16(生成部)と、変調条件M1、M2、及びM3を設定する変調条件設定部17と、を有する。
 変調条件設定部17は、変調信号S1、S2、及びS3毎に、互いに異なる変調条件(例えば、位相又は周波数)を設定する。本実施形態では、変調条件設定部17は、変調信号S1及びS2の位相を互いに異なるように設定し、変調信号S1及びS2の周波数を互いに同一に設定する(後述する図2の(a)及び図2の(b)参照)。そして、変調条件設定部17は、変調信号S3の周波数を変調信号S1及びS2の周波数よりも高く設定する(後述する図2の(c)参照)。図2の(c)に示す例では、変調信号S3の周波数は、変調信号S1及びS2の周波数の2倍に設定される。変調条件設定部17は、変調信号S1、S2、及びS3毎に互いに異なる周波数を設定してもよいし、変調信号S1、S2、及びS3毎に互いに異なる位相を設定してもよい。変調条件M1、M2、及びM3は、予め変調条件設定部17に記憶された値であってもよいし、入出力デバイス等を介して外部から入力された値であってもよい。
 変調信号生成部16は、変調条件設定部17によって設定された変調条件M1、M2、及びM3をそれぞれ有する変調信号S1、S2、及びS3を生成する。変調信号S1は、光源11から出力される励起光L1を時間的に変調させるための変調パターンである。例えば、変調信号S1は、励起光L1の照射のON/OFFが交互に切り替えられるように、励起光L1を変調条件M1で変調させる矩形波状のパルス信号である。変調信号S2は、光源12から出力される励起光L2を時間的に変調させるための変調パターンである。例えば、変調信号S2は、励起光L2の照射のON/OFFが交互に切り替えられるように、励起光L2を変調条件M2で変調させる矩形波状のパルス信号である。変調信号S3は、光源13から出力される励起光L3を時間的に変調させるための変調パターンである。例えば、変調信号S3は、励起光L3の照射のON/OFFが交互に切り替えられるように、励起光L3を変調条件M3で変調させる矩形波状のパルス信号である。各変調信号S1、S2、及びS3のより詳細な説明については、後述する。
 変調信号生成部16は、生成した変調信号S1、S2、及びS3を光源11、12、及び13にそれぞれ出力する。変調信号S1に従って、光源11から出力される励起光L1が変調される。その結果、変調条件M1で変調された励起光L1が光源11から出力される。変調信号S2に従って、光源12から出力される励起光L2が変調される。その結果、変調条件M2で変調された励起光L2が光源12から出力される。変調信号S3に従って、光源13から出力される励起光L3が変調される。その結果、変調条件M3で変調された励起光L3が光源13から出力される。
 導光光学系20は、コリメータレンズ21、22、及び23と、ダイクロイックミラー24、25、及び29と、フィルタ26及び27と、リレーレンズ28と、対物レンズ31と、を含む。コリメータレンズ21は、光源11から出力された励起光L1を平行化する。コリメータレンズ22は、光源12から出力された励起光L2を平行化する。コリメータレンズ23は、光源13から出力された励起光L3を平行化する。ダイクロイックミラー24は、光源13の光軸と光源12の光軸とが交差する位置に配置されている。コリメータレンズ22を経た励起光L2と、コリメータレンズ23を経た励起光L3とは、ダイクロイックミラー24に到達する。
 ダイクロイックミラー24は、波長λ2の励起光L2を反射し、波長λ3の励起光L3を透過する。ダイクロイックミラー24を経た励起光L2及びL3と、コリメータレンズ21を経た励起光L1とは、ダイクロイックミラー25に到達する。ダイクロイックミラー25は、光源12の光軸と光源11の光軸とが交差する位置に配置されている。ダイクロイックミラー25は、波長λ2の励起光L2、及び波長λ3の励起光L3を反射し、波長λ1の励起光L1を透過する。ダイクロイックミラー25を経た励起光L1、L2、及びL3は、対物レンズ31に向かって進行する。
 フィルタ26及び27は、ダイクロイックミラー25と対物レンズ31との間の光路上に並んで配置されている。フィルタ26及び27は、波長λ1の励起光L1、波長λ2の励起光L2、及び波長λ3の励起光L3のみを選択的に透過し、他の波長の光を遮断するバンドパスフィルタである。したがって、ダイクロイックミラー25を経た励起光L1、L2、及びL3は、フィルタ26及び27を透過する。リレーレンズ28は、フィルタ26及び27の間の光路上に配置されている。リレーレンズ28は、励起光L1、L2、及びL3を対物レンズ31まで効率よく導く役割を有する。
 ダイクロイックミラー29は、フィルタ27と対物レンズ31との間の光路上に配置されている。フィルタ27を経た励起光L1、L2、及びL3は、ダイクロイックミラー29に到達する。ダイクロイックミラー29は、波長λ1の励起光L1、波長λ2の励起光L2、及び波長λ3の励起光L3を反射し、蛍光波長の検出光L11、L12、及びL13を透過する。ダイクロイックミラー29を経た励起光L1、L2、及びL3は、対物レンズ31に到達する。
 対物レンズ31は、励起光L1、L2、及びL3を集光し、集光した励起光L1、L2、及びL3を試料Tに同時に照射する。更に、対物レンズ31は、励起光L1、L2、及びL3の照射に伴って試料Tから発生した検出光L11、L12、及びL13を導光する。対物レンズ31は、例えば、ピエゾアクチュエータ又はステッピングモータ等の駆動素子により、対物レンズ31の光軸に沿って移動可能に構成されている。これにより、励起光L1、L2、及びL3の集光位置と、検出光L11、L12、及びL13の検出のための焦点位置と、が調整可能となっている。
 検出光L11、L12、及びL13は、励起光L1、L2、及びL3の照射に伴って試料Tからそれぞれ発生する蛍光である。本実施形態では、検出光L11、L12、及びL13のうちの検出光L13が最も大きい光量を有しており、検出光L11及びL12のそれぞれは、検出光L13よりも小さい光量を有している。検出光L11の光量は、検出光L12の光量よりも小さく、検出光L11、L12、及びL13の中で最も小さくなっている。したがって、本実施形態における「第1の検出光」を検出光L13として捉えた場合には、本実施形態における「第2の検出光」を検出光L11及びL12として捉えることができる。本実施形態における「第1の検出光」を検出光L12として捉えた場合には、本実施形態における「第2の検出光」を検出光L11として捉えることができる。検出光L11、L12、及びL13の光量は、励起光L1、L2、及びL3の照射を一度行えば測定できる。したがって、各検出光L11、L12、及びL13の光量は、観察装置1に予め記憶されていてもよい。
 検出部40は、試料Tから発生した検出光L11、L12、及びL13を検出する。検出部40は、検出光L11、L12、及びL13を導光する導光光学系30と、導光光学系30によって導光された検出光L11、L12、及びL13を検出するセンサ35と、を有する。導光光学系30は、対物レンズ31と、ダイクロイックミラー29と、フィルタ32と、結像レンズ33と、を有する。対物レンズ31は、検出光L11、L12、及びL13を結像レンズ33に向けて導光する。ダイクロイックミラー29及びフィルタ32は、対物レンズ31と結像レンズ33との間の光路上に配置されている。フィルタ32は、蛍光波長の検出光L11、L12、及びL13のみを選択的に透過し、他の波長の光を遮断するバンドパスフィルタである。したがって、対物レンズ31を経た検出光L11、L12、及びL13は、ダイクロイックミラー29及びフィルタ32を透過し、結像レンズ33に到達する。結像レンズ33は、検出光L11、L12、及びL13をセンサ35に結像する。
 センサ35は、2次元的に配列された複数の画素によって構成された受光面を有している。センサ35は、例えば、CCDイメージセンサ又はCMOSイメージセンサ等のエリアイメージセンサである。このようなイメージセンサとして、例えば、モノクロセンサ、カラーセンサ、マルチスペクトルセンサ、又はハイパースペクトルセンサ等を用いることができる。センサ35は、導光光学系30により導光された検出光L11、L12、及びL13による光像を撮像し、検出光L11、L12、及びL13のそれぞれの光像を含む画像データとして検出信号Sを出力する。
 センサ35は、所定のフレームレート(例えば、100fps)で撮像し、各フレームに対応する検出信号Sを出力する。センサ35は、例えば、フレーム周期(フレームレートの逆数)以下の範囲で露光時間を可変に設定可能に構成されている。センサ35は、変調信号生成部16と通信可能に構成されている。センサ35は、センサ35による撮像と、各変調信号S1、S2、及びS3に基づく各励起光L1、L2、及びL3の変調と、が同期するように設定されている。
 画像処理部70は、例えば、コンピュータであり、物理的には、RAM及びROM等のメモリ、CPU等のプロセッサ(演算回路)、通信インターフェイス、ハードディスク等の格納部、並びに、ディスプレイ等の表示部、を備えて構成されている。コンピュータとしては、例えばパーソナルコンピュータ、クラウドサーバ、又はスマートデバイス(例えば、スマートフォン或いはタブレット端末など)などが挙げられる。コンピュータは、コンピュータのメモリに格納されるプログラムをコンピュータシステムのCPUで実行することにより、画像処理部70としての機能の他、各構成を制御するコントローラとして機能してもよいし、変調部15として機能してもよい。
 画像処理部70は、センサ35と電気的に接続されており、センサ35から出力された検出信号Sの処理を行う。画像処理部70は、信号復調部71と、画像生成部72と、を有する。信号復調部71は、変調条件M1、M2、及びM3に基づいて検出信号Sを復調することにより、検出光L11、L12、及びL13それぞれの光像に対応する画像データである復調信号S11、S12、及びS13を出力する。画像生成部72は、復調信号S11、S12、及びS13に基づいて検出光L11、L12、及びL13それぞれの光像を示す画像を生成する。信号復調部71は、所定のフレームレートで出力される検出信号Sを復調タイミングで復調する。したがって、信号復調部71は、復調タイミング毎に、各変調信号S1、S2、及びS3に基づいて検出信号Sを復調し、復調信号S11、S12、及びS13を生成する。信号復調部71における復調は、複数回(例えば、N回(Nは正の整数を示す))行われてもよい。この場合、信号復調部71は、復調信号S11、S12、及びS13の生成をN回行う。そして、画像生成部72は、生成されたN個の復調信号S11、N個の復調信号S12、及びN個の復調信号S13に対して、それぞれ平均処理もしくは加算処理等を行う。これにより、画像生成部72は、検出光L11、L12、及びL13それぞれの光像に対応する画像を生成する。
 各検出光L11、L12、及びL13は、各励起光L1、L2、及びL3の照射に応じて発生する光である。そのため、各検出光L11、L12、及びL13を示す各復調信号S11、S12、及びS13についても、各変調条件M1、M2、及びM3で変調されている。そこで、信号復調部71は、変調条件M1、M2、及びM3に基づいて、検出信号Sから復調信号S11、S12、及びS13を復調する。
 具体的には、信号復調部71は、センサ35から出力される検出信号Sのうち、変調信号S1のON期間(すなわち、試料Tへの励起光L1の照射がONになる期間)に対応する検出信号Sに係数(例えば、“1”)を乗じ、OFF期間(すなわち、試料Tへの励起光L1の照射がOFFになる期間)に対応する検出信号Sに別の係数(例えば、“-1”)を乗じ、これらに対し平均処理もしくは加算処理を行うことで、復調信号S11を得る。信号復調部71は、センサ35から出力される検出信号Sのうち、変調信号S2のON期間(すなわち、試料Tへの励起光L2の照射がONになる期間)に対応する検出信号Sに係数(例えば、“1”)を乗じ、OFF期間(すなわち、試料Tへの励起光L2の照射がOFFになる期間)に対応する検出信号Sに別の係数(例えば、“-1”)を乗じ、これらに対し平均処理もしくは加算処理を行うことで、復調信号S12を得る。信号復調部71は、センサ35から出力される検出信号Sのうち、変調信号S3のON期間(すなわち、試料Tへの励起光L3の照射がONになる期間)に対応する検出信号Sに係数(例えば、“1”)を乗じ、OFF期間(すなわち、試料Tへの励起光L3の照射がOFFになる期間)に対応する検出信号Sに別の係数(例えば、“-1”)を乗じ、これらに対し平均処理もしくは加算処理を行うことで、復調信号S13を得る。検出信号Sに乗じる係数は、変調信号S1、S2、及びS3の振幅に対応させてもよい。信号復調部71は、復調タイミング毎に復調信号S11,S12、及びS13を生成し、これら復調信号S11、S12、及びS13を画像生成部72に出力する。
 画像生成部72は、信号復調部71から出力された復調信号S11、S12、及びS13に基づいて、検出光L11、L12、及びL13それぞれに対応する画像を生成する。復調タイミングが複数設定されている場合、信号復調部71は、復調タイミング毎に復調信号S11、S12、及びS13を生成し、これら復調信号S11、S12、及びS13を画像生成部72に出力する。そのため、画像生成部72には、復調タイミング毎に生成された複数の復調信号S11が入力される。画像生成部72は、複数の復調信号S11を平均処理もしくは加算処理することにより、検出光L11の画像を生成する。同様に、画像生成部72には、復調タイミング毎に生成された複数の復調信号S12が入力される。画像生成部72は、複数の復調信号S12を平均処理もしくは加算処理することにより、検出光L12の画像を生成する。同様に、画像生成部72には、復調タイミング毎に生成された複数の復調信号S13が入力される。画像生成部72は、複数の復調信号S13を平均処理もしくは加算処理することにより、検出光L13の画像を生成する。
 復調信号S11、S12、及びS13は復調タイミング毎に復調されるため、復調信号S11、S12、及びS13に基づいて生成される検出光L11、L12、及びL13の画像も、復調タイミング毎に生成されてもよい。この場合、画像生成部72は、検出光L11、L12、及びL13の画像が生成される度に、検出光L11、L12、及びL13のそれぞれの画像を更新して表示してもよい。つまり、画像生成部72は、復調タイミングが到来する度に、各検出光L11、L12、及びL13の画像を更新してもよい。画像生成部72は、検出光L11、L12、及びL13の画像をそれぞれ並べて表示してもよいし、検出光L11、L12、及びL13の画像を互いに重ね合わせて表示してもよい。
 ここで、図2、図3、図4、及び図5を参照して、上述した変調信号S1、S2、及びS3について詳細に説明する。図2の(a)は、変調条件M1を有する変調信号S1を示している。図2の(b)は、変調条件M2を有する変調信号S2を示している。図2の(c)は、変調条件M3を有する変調信号S3を示している。図2の(a)、図2の(b)、及び図2の(c)において、横軸は時間を示しており、縦軸は変調信号S1、S2、及びS3の出力を示している。
 図2の(a)に示す変調信号S1は、試料Tへの励起光L1の照射がONになるON期間と、試料Tへの励起光L1の照射がOFFになるOFF期間とが交互に繰り返されるように、励起光L1を変調させる。図2の(a)において、四角形のプロットP11は、ON期間における変調信号S1の出力を示しており、三角形のプロットP12は、OFF期間における変調信号S1の出力を示している。プロットP11及びP12は、復調信号S11に含まれるフレーム(すなわち、検出光L11の光像を示す画像データ)を示している。このフレームは、センサ35から所定のフレームレートで出力される検出信号Sに含まれており、検出光L11の画像の生成に用いられる。
 画像生成部72は、復調信号S11に含まれるフレームのうち、期間TF1(すなわち、図2の(a)においてドット柄のハッチングで示された期間)内のフレームを用いて、検出光L11の画像を生成する。本実施形態では、期間TF1は、検出光L11の画像の生成が開始されてから検出光L11の画像の生成が終了するタイミングまでの全期間に設定されている。したがって、画像生成部72は、期間TF1内の全フレームを用いて検出光L11の画像を生成する。本実施形態では、検出光L11の画像の生成が終了するタイミングは、復調信号S11に含まれるフレームが規定フレーム数(例えば40フレーム)に達したタイミングである。
 プロットP11は、励起光L1の照射がONになるON期間に得られるフレームに対応している。プロットP12は、励起光L1の照射がOFFになるOFF期間に得られるフレームに対応している。このため、プロットP11の総数が多いほどON期間が長くなり、プロットP12の総数が多いほどOFF期間が長くなる。つまり、変調信号S1において、ON期間の長さは、プロットP11の総数によって示すことができ、OFF期間の長さは、プロットP12の総数によって示すことができる。プロットP11の総数とは、規定フレーム数のうちのON期間に得られるフレームの総数、すなわち、期間TF1内におけるプロットP11の総数を意味する。プロットP12の総数とは、規定フレーム数のうちのOFF期間に得られるフレームの総数、すなわち、期間TF1内におけるプロットP12の総数を意味する。
 したがって、変調信号S1において、OFF期間に対するON期間の比をON/OFF比RT1で表した場合、ON/OFF比RT1は、プロットP12の総数に対するプロットP11の総数の比によって表すことができる。ON/OFF比RT1は、例えば、ON期間をOFF期間で除した、ON期間/OFF期間として表すことができる。この場合、ON/OFF比RT1は、プロットP11の総数をプロットP12の総数で除した、プロットP11の総数/プロットP12の総数として表すことができる。
 図2の(a)に示す例では、プロットP11の総数及びプロットP12の総数は共に20であるので、ON/OFF比RT1は、20/20と表される。ON/OFF比RT1は、ON期間をON期間+OFF期間で除した、ON期間/[ON期間+OFF期間]として表されていてもよい。この場合、ON/OFF比RT1は、プロットP11の総数をプロットP11の総数+プロットP12の総数で除した、プロットP11の総数/[プロットP11の総数+プロットP12の総数]として表されていてもよい。
 図2の(b)に示す変調信号S2は、試料Tへの励起光L2の照射がONになるON期間と、試料Tへの励起光L2の照射がOFFになるOFF期間とが交互に繰り返されるように、励起光L2を変調させる。図2の(b)において、四角形のプロットP21は、ON期間における変調信号S2の出力を示しており、三角形のプロットP22は、OFF期間における変調信号S2の出力を示している。プロットP21及びP22は、復調信号S12に含まれるフレーム(すなわち、検出光L12の光像を示す画像データ)を示している。このフレームは、センサ35から所定のフレームレートで出力される検出信号Sに含まれており、検出光L12の画像の生成に用いられる。
 画像生成部72は、復調信号S12に含まれるフレームのうち、期間TF2(すなわち、図2の(b)においてドット柄のハッチングで示された期間)内のフレームを用いて、検出光L12の画像を生成する。本実施形態では、期間TF2は、検出光L12の画像の生成が開始されてから検出光L12の画像の生成が終了するタイミングTMまでの期間のうちの一部の期間(具体的には、図2の(b)において、タイミングTMまでの期間のうち時間領域RAを除く期間)に設定されている。画像生成部72は、期間TF2内のフレームのみを用いて検出光L12の画像を生成する。タイミングTMは、復調信号S12に含まれるフレームが規定フレーム数に達したタイミング(すなわち、図2の(a)に示す期間TF1が経過したタイミング)よりも前である。変調信号S2において、タイミングTM以降の励起光L2の照射が全てOFFになるように設定されている。
 プロットP21は、励起光L2の照射がONになるON期間に得られるフレームに対応している。プロットP22は、励起光L2の照射がOFFになるOFF期間に得られるフレームに対応している。このため、変調信号S2において、ON期間の長さは、プロットP21の総数によって示すことができ、OFF期間の長さは、プロットP22の総数によって示すことができる。プロットP21の総数とは、規定フレーム数に達するまでの期間(すなわち、図2の(a)に示す期間TF1に相当する期間)内におけるプロットP21の総数を意味する。プロットP22の総数とは、規定フレーム数に達するまでの期間内におけるプロットP22の総数を意味する。
 したがって、変調信号S2において、OFF期間に対するON期間の比をON/OFF比RT2で表した場合、ON/OFF比RT2は、プロットP22の総数に対するプロットP21の総数の比によって表すことができる。ON/OFF比RT2は、例えば、ON期間をOFF期間で除した、ON期間/OFF期間として表すことができる。この場合、ON/OFF比RT2は、プロットP21の総数をプロットP22の総数で除した、プロットP21の総数/プロットP22の総数として表すことができる。
 図2の(b)に示す例では、プロットP21の総数が10であり、プロットP22の総数が30であるので、ON/OFF比RT2は、10/30と表される。ON/OFF比RT2は、ON期間をON期間+OFF期間で除した、ON期間/[ON期間+OFF期間]として表されていてもよい。この場合、ON/OFF比RT2は、プロットP21の総数をプロットP21の総数+プロットP22の総数で除した、プロットP21の総数/[プロットP21の総数+プロットP22の総数]として表されていてもよい。
 図2の(c)に示す変調信号S3は、試料Tへの励起光L3の照射がONになるON期間と、試料Tへの励起光L3の照射がOFFになるOFF期間とが交互に繰り返されるように、励起光L3を変調させる。図2の(c)において、四角形のプロットP31は、ON期間における変調信号S3の出力を示しており、三角形のプロットP32は、OFF期間における変調信号S3の出力を示している。プロットP31及びP32は、復調信号S13に含まれるフレーム(すなわち、検出光L13の光像を示す画像データ)を示している。このフレームは、センサ35から所定のフレームレートで出力される検出信号Sに含まれており、検出光L13の画像の生成に用いられる。
 画像生成部72は、復調信号S13に含まれるフレームのうち、期間TF3(すなわち、図2の(c)においてドット柄のハッチングで示された期間)内のフレームを用いて、検出光L13の画像を生成する。本実施形態では、期間TF3は、検出光L13の画像の生成が開始されてから検出光L13の画像の生成が終了するタイミングTMまでの期間のうちの一部の期間に設定されている。当該一部の期間は、タイミングTMまでの期間のうち、時間領域RBを含み且つ時間領域RAを含まない期間に設定されている。画像生成部72は、期間TF3内のフレームのみを用いて検出光L13の画像を生成する。タイミングTMは、図2の(b)に示すタイミングTMと一致する。変調信号S3において、タイミングTM以降の励起光L3の照射が全てOFFになるように設定されている。
 プロットP31は、励起光L3の照射がONになるON期間に得られるフレームに対応しており、プロットP32は、励起光L3の照射がOFFになるOFF期間に得られるフレームに対応している。このため、変調信号S3において、ON期間の長さは、プロットP31の総数によって示すことができ、OFF期間の長さは、プロットP32の総数によって示すことができる。プロットP31の総数とは、規定フレーム数に達するまでの期間(すなわち、図2の(a)に示す期間TF1に相当する期間)内におけるプロットP31の総数を意味する。プロットP32の総数とは、規定フレーム数に達するまでの期間内におけるプロットP32の総数を意味する。
 したがって、変調信号S3において、OFF期間に対するON期間の比をON/OFF比RT2で表した場合、ON/OFF比RT3は、プロットP32の総数に対するプロットP31の総数の比によって表すことができる。ON/OFF比RT3は、例えば、ON期間をOFF期間で除した、ON期間/OFF期間として表すことができる。この場合、ON/OFF比RT3は、プロットP31の総数をプロットP32の総数で除した、プロットP31の総数/プロットP32の総数として表すことができる。
 図2の(c)に示す例では、プロットP31の総数が2であり、プロットP32の総数が38であるので、ON/OFF比RT3は、2/38と表される。ON/OFF比RT3は、ON期間をON期間+OFF期間で除した、ON期間/[ON期間+OFF期間]として表されていてもよい。この場合、ON/OFF比RT3は、プロットP31の総数をプロットP31の総数+プロットP32の総数で除した、プロットP31の総数/[プロットP31の総数+プロットP32の総数]として表されていてもよい。
 このように、変調信号S2のON/OFF比RT3は、変調信号S1のON/OFF比RT1よりも低く設定されており、変調信号S3のON/OFF比RT3は、変調信号S2のON/OFF比RT3よりも更に低く設定されている。つまり、変調信号S1、S2、及びS3のうち、変調信号S1のON/OFF比RT1が最も高く設定されており、変調信号S3のON/OFF比RT3が最も低く設定されている。最も低いON/OFF比RT3を有する変調信号S3は、最も大きい光量を有する検出光L13に対応している。ON/OFF比RT2を有する変調信号S2は、検出光L13よりも小さい光量を有する検出光L12に対応している。最も低いON/OFF比RT1を有する変調信号S1は、最も小さい光量を有する検出光L11に対応している。
 上述したように、各検出光L11、L12、及びL13は、各変調信号S1、S2、及びS3の各変調条件M1、M2、及びM3で変調されている。したがって、各変調信号S1、S2、及びS3による各励起光L1、L2、及びL3の照射のON/OFFの切り替えに応じて、各検出光L11、L12、及びL13の発光/非発光が切り替えられる。つまり、各励起光L1、L2、及びL3の照射がONのときは、各検出光L11、L12、及びL13が発光する一方、各励起光L1、L2、及びL3の照射がOFFのときは、各検出光L11、L12、及びL13が発光しない。
 変調信号S3のON/OFF比RT3が上述したように低く設定されると、変調信号S3に対応する励起光L3の照射がONになるON期間が短くなり、それに応じて検出光L13の発光期間が短くなる。検出光L13の発光期間が短くなれば、後述するように、光量の大きい検出光L13のショットノイズ成分が、光量の小さい検出光L11及びL12の画像に現れる事態を抑制する上で有効となる。一方、ON/OFF比RT3が低くなるほど、検出光L13の画像の光量の積算値が小さくなるので、検出光L13の画像の精度が低下することが懸念される。そこで、ON/OFF比RT3は、検出光L13の画像の精度の低下を抑えつつ、検出光L13のショットノイズ成分を十分に低減可能な範囲内に設定される。
 変調信号S2のON/OFF比RT2については、変調信号S1のON/OFF比RT1よりも低く設定されているので、光量の大きい検出光L12のショットノイズ成分が、光量の小さい検出光L11の画像に現れる事態が抑制される。ON/OFF比RT2は、ON/OFF比RT3と同様、検出光L12の画像の精度の低下を抑えつつ、検出光L12のショットノイズ成分を十分に低減可能な範囲内に設定される。本実施形態においては、検出光L12及びL13の光量は、検出光L11と比べて大きいので、ON/OFF比RT2及びRT3が低く設定されても、検出光L12及びL13の光量を十分に確保可能である。その結果、検出光L12及びL13の画像の精度が大きく低下する事態が抑制されている。
 ON/OFF比RT2及びRT3は、各検出光L11、L12、及びL13の光量の違いに基づいて設定されている。検出光L11の画像に現れる検出光L12のショットノイズ成分は、検出光L11の光量と検出光L12の光量との差に応じて変動する。具体的には、検出光L11の光量と検出光L12の光量との差の絶対値が大きくなるほど、検出光L11の画像に現れる検出光L12のショットノイズ成分が大きくなる。
 そこで、例えば、検出光L11の光量と検出光L12の光量との差の絶対値が大きいほど、ON/OFF比RT2が低くなるように設定され、検出光L11の光量と検出光L12の光量との差の絶対値が小さいほど、ON/OFF比RT2が高くなるように設定される。ON/OFF比RT2は、検出光L11の光量に対する検出光L12の光量の比に応じて設定されてもよい。この場合、検出光L11の光量に対する検出光L12の光量の比が大きいほど、ON/OFF比RT2が低くなるように設定され、検出光L11の光量に対する検出光L12の光量の比が小さいほど、ON/OFF比RT2が高くなるように設定されてもよい。
 検出光L11及びL12の画像に現れる検出光L13のショットノイズ成分は、検出光L11及びL12の光量と検出光L13の光量との差に応じて変動する。具体的には、検出光L11の光量と検出光L13の光量との差の絶対値が大きいほど、検出光L11の画像に現れる検出光L13のショットノイズ成分が大きくなる。同様に、検出光L12の光量と検出光L13の光量との差の絶対値が大きいほど、検出光L12の画像に現れる検出光L13のショットノイズ成分が大きくなる。
 そこで、例えば、検出光L11の光量と検出光L13の光量との差の絶対値が大きいほど、ON/OFF比RT3が低くなるように設定され、検出光L11の光量と検出光L13の光量との差の絶対値が小さいほど、ON/OFF比RT3が高くなるように設定される。本実施形態では、検出光L11の光量と検出光L13の光量との差の絶対値は、検出光L11の光量と検出光L12の光量との差の絶対値よりも大きいので、ON/OFF比RT3は、変調信号S2のON/OFF比RT2よりも更に低く設定される。ON/OFF比RT3は、検出光L11の光量に対する検出光L13の光量の比に応じて設定されてもよい。この場合、検出光L11の光量に対する検出光L13の光量の比が大きいほど、ON/OFF比RT3が低くなるように設定され、検出光L11の光量に対する検出光L13の光量の比が小さいほど、ON/OFF比RT3が高くなるように設定されてもよい。
 検出光L12の光量と検出光L13の光量との差の絶対値が大きいほど、ON/OFF比RT3が低くなるように設定されてもよく、検出光L12の光量と検出光L13の光量との差の絶対値が小さいほど、ON/OFF比RT3が高くなるように設定されてもよい。この場合においても、検出光L12の光量に対する検出光L13の光量の比が大きいほど、ON/OFF比RT3が低くなるように設定され、当該比が小さいほど、ON/OFF比RT3が高くなるように設定されてもよい。
 図2に示す各変調信号S1、S2、及びS3の生成は、以下の手順によって行われる。図3は、各変調信号S1、S2、及びS3の生成手順を説明するための図である。まず、図3に示すように、各変調信号S1、S2、及びS3に対応する各変調信号S21、S22、及びS23を準備する。図3の(a)に示す変調信号S21は、励起光L1の照射がONになる期間と、励起光L1の照射がOFFになる期間とを含む期間を一周期T1として繰り返すように励起光L1を周期的に変調させるパルス信号である。変調信号S21において、検出光L11の画像の生成に用いられるフレームが含まれる期間は、検出光L11の画像の生成が開始されてから検出光L11の画像の生成が終了するまでの全期間(すなわち、図3の(a)においてドット柄のハッチングで示された期間)に設定されている。
 図3の(b)に示す変調信号S22は、励起光L2の照射がONになる期間と、励起光L2の照射がOFFになる期間とを含む期間を一周期T2として繰り返すように励起光L2を周期的に変調させるパルス信号である。変調信号S22の周波数は、変調信号S21の周波数と同一に設定されるので、変調信号S22の一周期T2は、変調信号S21の一周期T1と同一となる。変調信号S22において、復調タイミングTM5以降の励起光L2の照射が全てOFFになるように設定されている。変調信号S22において、検出光L12の画像の生成に用いられるフレームが含まれる期間は、検出光L12の画像の生成が開始されてから復調タイミングTM5に至るまでの全期間(すなわち、図3の(b)においてドット柄のハッチングで示された期間)に設定されている。
 図3の(c)に示す変調信号S23は、励起光L3の照射がONになる期間と、励起光L3の照射がOFFになる期間とを含む期間を一周期T3として繰り返すように励起光L3を周期的に変調させるパルス信号である。変調信号S23の周波数は、例えば、変調信号S21及びS22の周波数の2倍に設定されるので、変調信号S23の一周期T3は、一周期T1の半分(すなわち、一周期T2の半分)となる。変調信号S23において、復調タイミングTM1以降の励起光L3の照射が全てOFFになるように設定されている。変調信号S23において、検出光L13の画像の生成に用いられるフレームが含まれる期間は、検出光L13の画像の生成が開始されてから復調タイミングTM1に至るまでの全期間(すなわち、図3の(c)においてドット柄のハッチングで示された期間)に設定されている。
 各変調信号S21、S22、及びS23は、各復調信号S11、S12、及びS13が復調される復調タイミングTM1、TM2、…において、互いに直交条件を満たすように設定されている。このように各変調信号S21、S22、及びS23が互いに直交条件を満たす場合、復調タイミングTM1、TM2、…において、各変調信号S21、S22、及びS23に対応する各復調信号S11、S12、及びS13を検出信号Sから正確に復調できる。「直交条件を満たす」とは、復調タイミングTM1、TM2、…において変調信号S21、S22、及びS23の間の内積がゼロになることをいう。この直交条件について、図4を用いてより詳細に説明する。
 図4は、各変調信号S21、S22、及びS23が満たす直交条件を説明するための図である。図4に示す例では、変調信号S21及びS23の関係に着目する。図4に示すように、励起光L1の照射がONになるときの変調信号S21の出力(すなわち、プロットP11)を+1とし、励起光L1の照射がOFFになるときの変調信号S21の出力(すなわち、プロットP12)を-1とする。同様に、励起光L3の照射がONになるときの変調信号S23の出力(すなわち、プロットP31)を+1とし、励起光L3の照射がOFFになるときの変調信号S23の出力(すなわち、プロットP32)を-1とする。そして、各変調信号S23の出力が切り替わるタイミングで、時間領域R1、R2、R3及びR4に分割する。
 図4に示すように、時間領域R1には、変調信号S21のプロットP11と、変調信号S23のプロットP31とが含まれている。時間領域R2には、変調信号S21のプロットP11と、変調信号S23のプロットP32とが含まれている。時間領域R3には、変調信号S21のプロットP12と、変調信号S23のプロットP31とが含まれている。時間領域R4には、変調信号S21のプロットP12と、変調信号S23のプロットP32とが含まれている。
 そして、各時間領域R1、R2、R3及びR4について、変調信号S21の出力と変調信号S23の出力との積を計算する。時間領域R1においては、変調信号S21の出力が+1であり、変調信号S23の出力も+1であるので、これらの積は+1である。一方、時間領域R2においては、変調信号S21の出力が+1であり、変調信号S23の出力が-1であるので、これらの積は-1である。同様に計算すると、時間領域R3においては、変調信号S21及びS23の出力の積は-1となり、時間領域R4においては、変調信号S21及びS23の出力の積は+1となる。そして、これら時間領域R1、R2、R3、及びR4における上記積の合計はゼロになる。これは、変調信号S21及びS23の間の内積がゼロになることを意味する。したがって、時間領域R4が経過したタイミングである復調タイミングTM1において、変調信号S21及びS23が互いに直交条件を満たすこととなる。
 上述した変調信号S21及びS23の関係は、変調信号S21、S22、及びS23のいずれの2つの変調信号の間においても成り立つ。したがって、各変調信号S21、S22、及びS23は、復調タイミングTM1、TM2、…において互いに直交条件を満たす。復調タイミングTM1、TM2、…は、変調信号S21、S22、及びS23の中で、最も低い周波数を有する変調信号S21の一周期T1が経過するタイミング(すなわち、変調信号S22の一周期T2が経過するタイミング)に一致する。このタイミングでは、変調信号S21、S22、及びS23の全てが常に互いに直交条件を満たす。直交条件を満たす変調信号の組み合わせのパターンは、センサ35の規定フレーム数だけ存在する。本実施形態において、例えば、センサ35の規定フレーム数が16である場合、直交条件を満たす変調信号の組み合わせは最大で16パターン存在する。つまり、規定フレーム数分だけ検出光を同時に検出できる。
 再び、図3を参照する。上述したように、図3の(b)に示す変調信号S22では、復調タイミングTM5以降において励起光L2の照射が全てOFFになるように設定されており、図3の(c)に示す変調信号S23では、復調タイミングTM1以降において励起光L3の照射が全てOFFになるように設定されている。各変調信号S22及びS23において、各励起光L2及びL3の照射が全てOFFに設定されるタイミングは、各検出光L11、L12、及びL13の光量の違いに基づいて決定されている。
 検出光L11よりも大きい光量を有する検出光L12に対応する変調信号S22では、検出光L11の画像の生成が終了するタイミング(すなわち、規定フレーム数に達するタイミング)よりも前の復調タイミングTM5以降に、励起光L2の照射が全てOFFに設定されている。検出光L12よりも大きい光量を有する検出光L13に対応する変調信号S23では、励起光L2の照射が全てOFFに設定される復調タイミングTM5よりも前の復調タイミングTM1以降に、励起光L3の照射が全てOFFに設定されている。
 つまり、変調信号S21、S22、及びS23において、励起光の照射がOFFになるタイミングは、当該励起光に対応する検出光の光量が大きいほど、早く到来するように設定されている。検出光の光量が大きいと、当該検出光の画像のS/N比が高くなるので、比較的早いタイミングで当該検出光の画像の変化が小さくなる。このように画像の変化が小さくなれば、画像の更新を繰り返しても、画像の精度が向上する余地は小さいと考えられるので、早いタイミングで励起光の照射がOFFに設定されても、十分な精度の画像が得られる。このため、最も光量の大きい検出光L13に対応する変調信号S3では、最も早い復調タイミングTM1以降、励起光L1の照射が全てOFFになるように設定されている。検出光L13よりも光量の小さい検出光L12に対応する変調信号S2では、復調タイミングTM1よりも後の復調タイミングTM5以降、励起光L2の照射が全てOFFになるように設定されている。
 各検出光L11、L12、及びL13の画像について、画像の変化が小さいか否かの判断は、或る復調タイミングに得られた画像と、当該或る復調タイミングよりも前の復調タイミングに得られた画像とを比較することによって行われる。例えば、検出光L12の画像の変化が小さいか否かを判断する際、復調タイミングTM5に得られた検出光L12の画像と、復調タイミングTM5の直前の復調タイミングTM4に得られた検出光L12の画像との差分値(例えば、コントラストの二乗平均誤差)が所定の閾値よりも小さい場合に、検出光L12の画像の変化が十分に小さいと判断してもよい。図3の(b)に示す例では、復調タイミングTM5に得られた検出光L12の画像と、復調タイミングTM4に得られた検出光L12の画像との変化が小さいと判断され、復調タイミングTM5以降の励起光L2の照射が全てOFFに設定されている。検出光L13の画像についても同様に判断され、図3の(c)に示すように、復調タイミングTM1以降の励起光3の照射が全てOFFに設定されている。
 次に、上述した変調信号S21、S22、及びS23の一部を変更することにより、図2に示す変調信号S1、S2、及びS3を得る。具体的には、図5に示すように、各変調信号S21、S22、及びS23において、時間領域RAに含まれるプロットと、時間領域RBに含まれるプロットとを入れ替える変更を行う。時間領域RAは、変調信号S21、S22、及びS23における共通の期間を示している。時間領域RBは、変調信号S21、S22、及びS23において、時間領域RAとは異なる共通の期間を示している。図5の(a)に示すように、変調信号S21において、時間領域RAに含まれるプロットP12と、時間領域RBに含まれるプロットP11とを入れ替える。その結果、図2の(a)に示すように、時間領域RAにプロットP11が含まれ、且つ時間領域RBにプロットP12が含まれる変調信号S1が得られる。
 図5の(b)に示すように、変調信号S22では、時間領域RAに含まれるプロットP22と、時間領域RBに含まれるプロットP22とが入れ替えられる。ここで、変調信号S22において、時間領域RAは、検出光L12の画像の生成に用いられるフレームが含まれる期間に属しているので、時間領域RAに含まれるプロットP22(フレーム)は、検出光L12の画像の生成に用いられる。一方、時間領域RBは、検出光L12の画像の生成に用いられるフレームが含まれる期間に属していないので、時間領域RBに含まれるプロットP22(フレーム)は、検出光L12の画像の生成に用いられない。このため、入れ替え後の変調信号S2において、時間領域RBに含まれるプロットP22が、検出光L12の画像の生成に用いられるように設定され、時間領域RAに含まれるプロットP22が、検出光L12の画像の生成に用いられないように設定される(図2の(b)参照)。つまり、図2の(b)に示す変調信号S2において、検出光L12の画像の生成に用いられるフレームが含まれる期間TF2が、時間領域RBを含み且つ時間領域RAを含まない期間に設定される。
 図5の(c)に示すように、変調信号S23では、時間領域RAに含まれるプロットP31と、時間領域RBに含まれるプロットP32とが入れ替えられる。その結果、図2の(c)に示すように、時間領域RAにプロットP32が含まれ、且つ時間領域RBにプロットP31が含まれる変調信号S3が得られる。ここで、図5の(c)に示す変調信号S23において、時間領域RAに含まれるプロットP31(フレーム)は、検出光L13の画像の生成に用いられる一方、時間領域RBに含まれるプロットP32(フレーム)は、検出光L13の画像の生成に用いられない。このため、入れ替え後の変調信号S3において、時間領域RBに含まれるプロットP31が、検出光L13の画像の生成に用いられるように設定され、時間領域RAに含まれるプロットP32が、検出光L13の画像の生成に用いられないように設定される(図2の(c)参照)。つまり、図2の(c)に示す変調信号S3において、検出光L13の画像の生成に用いられるフレームが含まれる期間TF3が、時間領域RBを含み且つ時間領域RAを含まない期間に設定される。
 以上の過程を経て、図2に示す変調信号S1、S2、及びS3が得られる。変調信号S1、S2、及びS3は、上記入れ替えの結果、非周期的なパルス信号となる。変調信号S21、S22、及びS23の時間領域の一部を入れ替える変更を行った場合であっても、入れ替え後の各変調信号S1、S2、及びS3において直交性は維持される。この場合、入れ替え後の変調信号S1、S2、及びS3が直交条件を満たす復調タイミングは、入れ替え前の変調信号S1、S2、及びS3における復調タイミングTM1、TM2、…からずれることがある。例えば、入れ替え後の変調信号S1、S2、及びS3が直交条件を満たす復調タイミングは、図2の(b)及び図2の(c)に示すタイミングTMになることがあるし、別のタイミングになることもある。このように、入れ替え後の各変調信号S1、S2、及びS3を用いた場合であっても、各変調信号S1、S2、及びS3の直交条件が満たされる復調タイミングで検出信号Sの復調処理を行えば、検出信号Sを正確に復調できる。入れ替え前の変調信号S21、S22、及びS23と、入れ替え後の変調信号S1、S2、及びS3とで、励起光の照射がONになるプロットの総数、及び励起光の照射がOFFになるプロットの総数は変化しないので、ON/OFF比も変化しない。
 続いて、上述した観察装置1を用いて実施される観察方法について説明する。図6は、本実施形態に係る観察方法を示すフローチャートである。
 まず、照射部10は、互いに異なる波長λ1、λ2、及びλ3を有し、且つ互いに異なる変調条件M1、M2、及びM3でそれぞれ変調された励起光L1、L2、及びL3を、試料Tに同時に照射する(照射ステップP1)。照射ステップP1では、変調信号生成部16は、各励起光L1、L2、及びL3を変調させる各変調信号S1、S2、及びS3を生成する。このとき、変調信号生成部16は、予め測定した検出光L11、L12、及びL13の光量を示すデータを取得する。そして、変調信号生成部16は、検出光L11よりも大きい光量の検出光L12に対応する変調信号S2のON/OFF比RT2が、検出光L11に対応する変調信号S1のON/OFF比RT1よりも低くなるように設定する。変調信号生成部16は、検出光L12よりも大きい光量の検出光L13に対応する変調信号S3のON/OFF比RT3が、検出光L12に対応する変調信号S2のON/OFF比RT2よりも更に低くなるように設定する。
 その後、変調信号生成部16は、各変調信号S1、S2、及びS3を各光源11、12、及び13に出力する。その結果、変調条件M1で変調された励起光L1が光源11から出力され、変調条件M2で変調された励起光L2が光源12から出力され、変調条件M3で変調された励起光L3が光源13から出力される。これら励起光L1、L2、及びL3は、導光光学系20によって試料Tに同時に照射される。
 次に、検出部40は、励起光L1、L2、及びL3の照射に伴って試料Tから発生した検出光L11、L12、及びL13を同時に検出する(検出ステップP2)。具体的には、試料Tから発生した検出光L11、L12、及びL13が、導光光学系30によってセンサ35に導光される。そして、センサ35は、検出光L11、L12、及びL13の光像を示す検出信号Sを出力する。
 次に、画像処理部70は、検出信号Sに基づいて検出光L11、L12、及びL13の画像をそれぞれ生成する(画像処理ステップP3)。具体的には、信号復調部71が、変調条件M1、M2、及びM3に基づいて、検出信号Sから復調信号S11、S12、及びS13を復調タイミング毎に復調する。そして、画像生成部72が、各復調信号S11、S12、及びS13に基づいて、各検出光L11、L12、及びL13の画像を生成する。複数の復調タイミングが設定されている場合、検出光L11の画像は、復調タイミング毎に生成される複数の復調信号S11を平均処理もしくは加算処理することにより生成されてもよいし、復調タイミング毎に生成されてもよい。同様に、検出光L12の画像は、復調タイミング毎に生成される複数の復調信号S12を平均処理もしくは加算処理することにより生成されてもよいし、復調タイミング毎に生成されてもよい。同様に、検出光L13の画像は、復調タイミング毎に生成される複数の復調信号S13を平均処理もしくは加算処理することにより生成されてもよいし、復調タイミング毎に生成されてもよい。
 続いて、図7、図8、図9、及び図10に示すシミュレーションを参照しながら、上述した観察装置1及び観察方法の作用効果について説明する。図7は、実施例及び比較例のシミュレーション条件を説明するための図である。
 図7に示すように、励起光L1、L2、及びL3の照射に伴って試料Tから発生する検出光L11、L12、及びL13が順に左右に並んで配置されている。本実施形態と同様、検出光L13の光量が最も大きく、検出光L12の光量が検出光L13の光量よりも小さく、検出光L11の光量が最も小さくなっている。例えば、検出光L13の光量が200[光子/フレーム]に設定され、検出光L12の光量が10[光子/フレーム]に設定され、検出光L11の光量が2[光子/フレーム]に設定される。
 図8は、比較例のシミュレーション条件を示す図である。図8の(a)は、変調信号S1に対応する変調信号S101を示している。図8の(b)は、変調信号S2に対応する変調信号S102を示している。図8の(c)は、変調信号S3に対応する変調信号S103を示している。図8の(a)に示す変調信号S101は、変調信号S1に対応する変調信号S21(図5の(a)参照)と同一である。したがって、変調信号S101において、励起光L1の照射がONになるプロットP111の総数、及び励起光L1の照射がOFFになるプロットP112の総数は共に、20である。したがって、変調信号S101のON/OFF比は、変調信号S1のON/OFF比RT1と同一となっている。
 図8の(b)に示す変調信号S102は、変調信号S2とは異なり、全期間において周期的に変動するパルス信号となっている。変調信号S102において、励起光L2の照射がONになるプロットP121の総数、及び励起光L2の照射がOFFになるプロットP122の総数は共に、20である。したがって、変調信号S102のON/OFF比は、変調信号S101のON/OFF比と同一となっている。
 図8の(c)に示す変調信号S103は、変調信号S3とは異なり、全期間において周期的に変動するパルス信号となっている。変調信号S103において、励起光L3の照射がONになるプロットP131の総数は20であり、励起光L3の照射がOFFになるプロットP132の総数は19である。したがって、変調信号S102のON/OFF比は、変調信号S101のON/OFF比、及び変調信号S102のON/OFF比とそれぞれ略同一となっている。このように、比較例では、変調信号S101、S102、及びS103のON/OFF比は互いに略同一に設定されている。
 図9は、比較例のシミュレーション結果を示す図である。図9の(a)は、変調信号S101に対応する検出光L11の画像を示している。図9の(b)は、変調信号S102に対応する検出光L12の画像を示している。図9の(c)は、変調信号S103に対応する検出光L13の画像を示している。図9の(a)及び図9の(b)に示すように、検出光L11及びL12の画像には、大きなショットノイズ成分N113がそれぞれ現れていることが分かる。これは、検出光L11及びL12の画像を生成する際に、検出光L13のショットノイズ成分N113が、検出光L11及びL12の画像の生成に用いられる復調信号S11及びS12にそれぞれ重畳したことに起因する。
 本シミュレーションのように、検出光L13の光量と検出光L11の光量との間、及び検出光L13の光量と検出光L12の光量との間に差がある場合、光量の大きい検出光L13のショットノイズ成分N113が、光量の小さい検出光L11及び検出光L12の画像にそれぞれ現れる傾向がある(図9の(a)及び図9の(b)参照)。更に、本シミュレーションのように、検出光L12の光量と、検出光L11の光量との間に差がある場合、光量の大きい検出光L12のショットノイズ成分N112が、光量の小さい検出光L11の画像に現れる傾向がある(図9の(a)参照)。
 一方、図10は、実施例のシミュレーション結果を示す図である。実施例では、本実施形態と同じ変調信号S1、S2、及びS3が用いられる。このため、変調信号S2のON/OFF比RT2は、変調信号S1のON/OFF比RT1よりも低く設定され、変調信号S3のON/OFF比RT3は、変調信号S2のON/OFF比RT2よりも更に低く設定される。その他の条件は比較例と同じである。図10の(a)は、変調信号S1に対応する検出光L11の画像を示している。図10の(b)は、変調信号S2に対応する検出光L12の画像を示している。図10の(c)は、変調信号S3に対応する検出光L13の画像を示している。
 図10の(a)及び図10の(b)に示すように、比較例と同様、検出光L13のショットノイズ成分N13が検出光L11及びL12の画像にそれぞれ現れている。しかし、実施例では、検出光L13のショットノイズ成分N13が、比較例のシミュレーション結果(すなわち、図9の(a)及び図9の(b)に示すショットノイズ成分N113)と比べて、大きく低減されていることが分かる。これは、変調信号S3のON/OFF比RT3が、比較例の場合よりも低く設定されたことに起因する。図10の(a)に示すように、検出光L12のショットノイズ成分N12が、比較例のシミュレーション結果(すなわち、図9の(a)に示すショットノイズ成分N112)と比べて、大きく低減されていることが分かる。これは、変調信号S2のON/OFF比RT2が、比較例の場合よりも低く設定されたことに起因する。
 検出光L13のショットノイズ成分N13は、一定期間における検出光L13の光量の積算値が大きくなるほど大きくなる。この積算値は、検出光L13に対応する励起光L3の照射がONになるON期間が長くなるほど大きくなる。なぜなら、ON期間が長くなるほど、検出光L13の発光期間が長くなるからである。したがって、検出光L13のショットノイズ成分N13を低減するためには、励起光L3のON期間が短くなるように設定すればよい。検出光L12のショットノイズ成分N12についても同様に、一定期間における検出光L12の光量の積算値が大きくなるほど大きくなり、この積算値は、検出光L12に対応する励起光L2の照射がONになるON期間が長くなるほど大きくなる。したがって、検出光L12のショットノイズ成分N12を低減するためには、励起光L2のON期間が短くなるように設定すればよい。
 そこで、本実施形態に係る観察装置1及び観察方法では、検出光L13に対応する変調信号S3のON/OFF比RT3が、検出光L11に対応する変調信号S1のON/OFF比RT1、及び、検出光L12に対応する変調信号S2のON/OFF比RT2のそれぞれよりも、低く設定されている。このように変調信号S3のON/OFF比RT3を低く設定すれば、励起光L3の照射がONになるON期間を短くできるので、検出光L13のショットノイズ成分N13(図10の(a)及び図10の(b)参照)を低減できる。更に、検出光L12に対応する変調信号S2のON/OFF比RT2が、検出光L11に対応する変調信号S1のON/OFF比RT1よりも低く設定されている。このように変調信号S2のON/OFF比RT2を低く設定すれば、励起光L2の照射がONになるON期間を短くできるので、検出光L12のショットノイズ成分N12(図10の(a)参照)を低減できる。
 更に、本実施形態に係る観察装置1及び観察方法では、復調タイミングにおいて各変調信号S1、S2、及びS3が互いに直交条件を満たすように設定されているので、各検出光L11、L12、及びL13を示す検出信号Sを正確に復調できる。その結果、各検出光L11、L12、及びL13の正確な画像を得ることができる。更に、本実施形態に係る観察装置1及び観察方法は、光源11、12、及び13の制御を行うだけで利用可能であるので、本実施形態に係る観察装置1及び観察方法を既存の装置に容易に導入でき、この導入時の費用対効果も高い。
 本実施形態では、照射部10は、変調信号S1、S2、及びS3を生成する変調信号生成部16を有している。この構成によれば、所望の各変調信号S1、S2、及びS3を容易に得ることができる。
 本実施形態では、検出光L13は、複数の検出光L11、L12、及びL13の中で最も大きい光量を有している。ショットノイズ成分は、光量の大きい検出光から光量の小さい検出光の画像に現れやすく、それらの検出光の光量差が大きくなるほど大きくなる。これに対し、本実施形態に係る観察装置1及び観察方法によれば、光量の最も大きい検出光L13のショットノイズ成分が、光量の小さい検出光L11及びL12の画像に現れる事態を抑制できるので、上述した効果を好適に奏する。
 本実施形態では、検出光L13と検出光L11と検出光L12との間の光量の違いに基づいて、検出光L13に対応する変調信号S3のON/OFF比RT3が設定されている。検出光L11及びL12の画像に現れる検出光L13のショットノイズ成分N13は、検出光L13と検出光L11との間の光量の違い、及び検出光L13と検出光L12との間の光量の違いに起因して変動する。そこで、これらの光量の違いに基づいて、変調信号S3のON/OFF比RT3が設定されることで、検出光L13のショットノイズ成分N13を効果的に低減できる。これにより、検出光L13のショットノイズ成分N13が検出光L11及びL12の画像にそれぞれ現れる事態を効果的に抑制できる。本実施形態では、検出光L12と検出光L11との間の光量の違いに基づいて、検出光L12に対応する変調信号S2のON/OFF比RT2が設定されている。これにより、上述した検出光L13の場合と同様に、検出光L12のショットノイズ成分N12が検出光L11の画像に現れる事態を効果的に抑制できる。
 本実施形態では、検出光L13の光量と検出光L11の光量との差の絶対値、及び検出光L13の光量と検出光L12の光量との差の絶対値に応じて、検出光L13に対応する変調信号S3のON/OFF比RT3が設定されている。検出光L11及びL12の画像に現れる検出光L13のショットノイズ成分N13は、検出光L13の光量と検出光L11との差の絶対値、及び検出光L13の光量と検出光L12との差の絶対値に応じて大きくなる。そこで、これら絶対値に応じて、変調信号S3のON/OFF比RT3が設定されることで、検出光L13のショットノイズ成分N13をより効果的に低減できる。これにより、検出光L13のショットノイズ成分N13が検出光L11及びL12の画像にそれぞれ現れる事態をより効果的に抑制できる。本実施形態では、検出光L12の光量と検出光L11の光量との差の絶対値に応じて、検出光L12に対応する変調信号S2のON/OFF比RT2が設定されている。これにより、上述したように、検出光L12のショットノイズ成分N12が検出光L11の画像に現れる事態をより効果的に抑制できる。
 本実施形態では、検出光L13の光量と検出光L11の光量との差の絶対値、及び検出光L13の光量と検出光L12の光量との差の絶対値が大きいほど、検出光L13に対応する変調信号S3のON/OFF比RT3が低くなるように設定されている。そして、検出光L13の光量と検出光L11の光量との差の絶対値、及び検出光L13の光量と検出光L12の光量との差の絶対値が小さいほど、変調信号S3のON/OFF比RT3が高くなるように設定されている。検出光L13の光量と検出光L11の光量との差の絶対値、及び検出光L13の光量と検出光L12の光量との差の絶対値が大きい場合に、変調信号S3のON/OFF比RT3が低くなるように設定されることにより、検出光L13のショットノイズ成分N13の低減効果をより効果的に得ることができる。検出光L13の光量と検出光L11の光量との差の絶対値、及び検出光L13の光量と検出光L12の光量との差の絶対値が小さい場合に、変調信号S3のON/OFF比RT3が高くなるように設定されることにより、検出光L13の光量をより多く確保できるので、検出光L12の画像の精度の低下が抑えられる。本実施形態では、検出光L12の光量と検出光L11の光量との差の絶対値が大きいほど、検出光L12に対応する変調信号S2のON/OFF比RT2が低くなるように設定されている。そして、検出光L12の光量と検出光L11の光量との差の絶対値が小さいほど、変調信号S2のON/OFF比RT2が高くなるように設定されている。これにより、上述した検出光L13の場合と同様に、検出光L12のショットノイズ成分N13の低減効果をより効果的に得つつ、検出光L12の画像の精度の低下を抑えることができる。
 以上、本開示の一実施形態について説明したが、本開示は上記実施形態に限定されず、種々の変更を行うことができる。
 図11は、各変調信号S1、S2、及びS3の第1の変形例を示す図である。図12は、各変調信号S1、S2、及びS3の第2の変形例を示す図である。図13は、各変調信号S1、S2、及びS3の第3の変形例を示す図である。図11の(a)に示す変調信号S1A、図12の(a)に示す変調信号S1B、及び図13の(a)に示す変調信号S1Cは、図2の(a)に示す変調信号S1に対応している。図11の(b)に示す変調信号S2A、図12の(b)に示す変調信号S2B、及び図13の(b)に示す変調信号S2Cは、図2の(b)に示す変調信号S2に対応している。図11の(c)に示す変調信号S3A、図12の(c)に示す変調信号S3B、及び図13の(c)に示す変調信号S3Cは、図2の(c)に示す変調信号S3に対応している。
 図11、図12、及び図13に示す変調信号は、上述した実施形態に係る変調信号S1、S2、及びS3と同様、図3に示す変調信号S21、S22、及びS23において、共通した期間を示す或る時間領域に含まれるプロット(フレーム)と、別の時間領域に含まれるプロット(フレーム)とを入れ替えることによって得られる。このような入れ替えを行うことによって、図11、図12、及び図13のように、様々なパターンの変調信号を得ることができる。入れ替え後の変調信号のパターンは、図11、図12、及び図13に示す例に限られず、多数存在する。入れ替え後の図11、図12、及び図13に示す変調信号と、入れ替え前の変調信号S21、S22、及びS23とで、上述したようにON/OFF比は変化しないので、図11、図12、及び図13に示す変調信号のON/OFF比は、上述した実施形態に係る変調信号S1、S2、及びS3のON/OFF比と同一となる。図11、図12、及び図13のいずれの各変調信号においても、上述した実施形態と同様、直交性が保たれている。したがって、このような形態であっても、上記実施形態と同様の効果が得られる。
 図14は、観察装置1の変形例を示す概略構成図である。図14に示す観察装置1Aでは、照射部10Aの変調部15Aの構成が、上記実施形態に係る観察装置1とは異なる。すなわち、変調部15Aは、変調信号生成部16及び変調条件設定部17に代えて、変調信号記憶部16Aを有している。変調信号記憶部16Aは、各変調条件M1、M2、及びM3を有する各変調信号S1、S2、及びS3を予め記憶しており、各変調信号S1、S2、及びS3を各光源11、12、及び13に出力可能に構成されている。図14に示す観察装置1Aであっても、上述した実施形態に係る観察装置1と同様の効果が得られる。更に、観察装置1Aによれば、各変調信号S1、S2、及びS3を生成する処理を行う必要がないので、各変調信号S1、S2、及びS3を生成する場合と比べて、処理負担を軽減できる。
 図15は、観察装置1の別の変形例を示す概略構成図である。図15に示す観察装置1Bは、照射部10Bが光源11、12、及び13に加えて、別の光源18及び19を有する点で、上記実施形態に係る観察装置1とは異なる。光源18は、暗視野照明用の光源であり、波長λ8を有する暗視野照明L8を出力可能に構成されている。光源19は、明視野照明用の光源であり、波長λ9を有する明視野照明L9を出力可能に構成されている。光源18及び19として、光源11、12、及び13と同種の光源が用いられてもよい。光源19は、試料Tを挟んで対物レンズ31と対向する位置に配置されており、試料Tの背面から明視野照明L9を出力する。光源18は、試料Tに対して対物レンズ31側に配置され、対物レンズ31の光軸に対して傾斜する方向から暗視野照明L8を出力する。暗視野照明L8及び明視野照明L9のそれぞれは、特定の波長帯域を有する光であってもよいし、ブロードな波長帯域を有する光であってもよい。
 光源18及び19は、光源11、12、及び13と同様、変調部15と電気的に接続されている。変調部15の変調信号生成部16は、変調信号S1、S2、及びS3に加えて、変調条件M8を有する変調信号S8と、変調条件M9を有する変調信号S9とを生成する。変調信号S8は、光源18から出力される暗視野照明L8を時間的に変調させるための変調パターンである。例えば、暗視野照明L8の照射のON/OFFを交互に切り替えるように、暗視野照明L8を変調条件M8で変調させる矩形波状のパルス信号である。変調信号S9は、光源19から出力される明視野照明L9を時間的に変調させるための変調パターンである。例えば、明視野照明L9の照射のON/OFFを交互に切り替えるように、明視野照明L9を変調条件M9で変調させる矩形波状のパルス信号である。
 光源18及び19からそれぞれ出力された暗視野照明L8及び明視野照明L9は、導光光学系20によって導光され、励起光L1、L2、及びL3と共に、試料Tに同時に照射される。明視野照明L9が試料Tに照射されると、試料Tを透過した明視野照明L9の透過光が検出光L19として検出部40に検出される。暗視野照明L8が試料Tに照射されると、試料Tにおいて生じる暗視野照明L8の散乱光が検出光L18として検出部40に検出される。検出部40のセンサ35は、各検出光L11、L12、L13、L18、及びL19を同時に検出し、検出信号SBを出力する。そして、画像処理部70は、変調条件M1、M2、M3、M8、及びM9に基づいて検出信号SBを同時に復調することにより、各検出光L11、L12、L13、L18、及びL19の画像を生成する。このような形態であっても、上述した実施形態と同様の効果が得られる。
 本開示は、他に様々な変形が可能である。例えば、上述した実施形態及び各変形例を、必要な目的及び効果に応じて互いに組み合わせてもよい。上述した実施形態では、検出光L12の光量が検出光L11の光量よりも大きくなっている場合を説明した。しかし、検出光L11及びL12の光量は互いに同一であってもよい。上述した実施形態では、各変調信号S1、S2、及びS3が非周期的なパルス信号である例を説明した。しかし、各変調信号S1、S2、及びS3は、周期的なパルス信号であってもよい。
 上述した実施形態では、3つの励起光L1、L2、及びL3を試料Tに照射し、3つの検出光L11、L12、及びL13を検出する場合を説明した。しかし、励起光の数、及び検出光の数は、適宜変更可能である。励起光の数、及び検出光の数はそれぞれ、2つであってもよいし、4つ以上であってもよい。励起光を変調させる変調信号の変調条件の設定は、上述した実施形態及び各変形例に限られず、適宜変更可能である。
 上述した実施形態では、光源11、12、及び13が導光光学系20に直接設置される場合を説明した。しかし、光源11、12、及び13は、装置外部に配置され、光ファイバ等を介して導光光学系20に光学的に接続される構成であってもよい。照射部10は、光源11、12、及び13に代えて、多波長の励起光を出力可能な1つの光源を有してもよい。この場合は、当該1つの光源は、互いに異なる波長を有する励起光L1、L2、及びL3を同時に出力する。
 上述した実施形態では、変調部15が、変調信号S1、S2、及びS3を用いて光源11、12、及び13を制御することによって、励起光L1、L2、及びL3を変調する場合を説明した。しかし、変調部による励起光の変調方法は上述した例に限られない。例えば、変調部は、励起光を機械的に変調させるオプティカルチョッパーであってもよい。この場合、各光源に対応して各オプティカルチョッパーが設置され、各オプティカルチョッパーによる各励起光の通過又は遮断の繰り返しによって各励起光が時間的に変調されてもよい。オプティカルチョッパーによる励起光の変調パターンは、上述した変調信号に応じたものとなるように設定される。この場合、オプティカルチョッパーは、その変調パターンに従って励起光の照射のON/OFFが切り替えられるように、励起光を変調する。
 変調部は、DMD(Digital Micro mirror Device)又は空間光変調器(SLM:Spatial light modulator)等の光学的変調デバイスであってもよい。この場合、各光源に対応して各光学的変調デバイスが設置され、各光学的変調デバイスに各変調パターンが表示される。これにより、各光源からの各励起光が時間的に変調される。各変調パターンは、上述した変調信号に応じたものとなるように設定される。この場合、光学的変調デバイスは、その変調パターンに従って励起光の照射のON/OFFが切り替えられるように、励起光を変調する。
 1,1A,1B…観察装置、10,10A,10B…照射部、16…変調信号生成部(生成部)、16A…変調信号記憶部(記憶部)、40…検出部、70…画像処理部、L1,L2,L3…励起光、L11,L12、L13…検出光、L18,L19…検出光、S、SB…検出信号、S1,S1A,S1B,S1C,S2,S2A,S2B,S2C,S3,S3A,S3B,S3C,S8,S9…変調信号(変調パターン)、T…試料(観察対象物)。

Claims (7)

  1.  互いに異なる波長を有すると共に、互いに異なる変調条件による複数の変調パターンでそれぞれ変調された複数の励起光を、観察対象物に同時に照射する照射部と、
     前記複数の励起光の照射に伴う前記観察対象物からの複数の検出光を検出信号として検出する検出部と、
     前記検出信号を復調することにより、前記複数の検出光の画像を前記検出光毎に生成する画像処理部と、を備え、
     前記複数の検出光は、第1の検出光と、前記第1の検出光よりも小さい光量を有する第2の検出光と、を含み、
     各前記変調パターンは、前記励起光の照射がONになるON期間と前記励起光の照射がOFFになるOFF期間とが切り替わるように前記励起光を変調させる変調パターンであり、前記検出信号が復調される復調タイミングにおいて互いに直交条件を満たすように設定されており、
     前記OFF期間に対する前記ON期間の比をON/OFF比として表した場合に、前記第1の検出光に対応する前記変調パターンの前記ON/OFF比は、前記第2の検出光に対応する前記変調パターンの前記ON/OFF比よりも低く設定されている、観察装置。
  2.  前記照射部は、前記複数の変調パターンを記憶する記憶部を有する、請求項1に記載の観察装置。
  3.  前記照射部は、前記複数の変調パターンを生成する生成部を有する、請求項1に記載の観察装置。
  4.  前記第1の検出光は、前記複数の検出光の中で最も大きい光量を有する、請求項1~3のいずれか一項に記載の観察装置。
  5.  前記第1の検出光と前記第2の検出光との間の光量の違いに基づいて、前記第1の検出光に対応する前記変調パターンの前記ON/OFF比が設定されている、請求項1~4のいずれか一項に記載の観察装置。
  6.  前記第1の検出光の光量と前記第2の検出光の光量との差の絶対値に応じて、前記第1の検出光に対応する前記変調パターンの前記ON/OFF比が設定されている、請求項5に記載の観察装置。
  7.  互いに異なる波長を有すると共に、互いに異なる変調条件による複数の変調パターンでそれぞれ変調された複数の励起光を、観察対象物に同時に照射するステップと、
     前記複数の励起光の照射に伴う前記観察対象物からの複数の検出光を検出信号として検出するステップと、
     前記検出信号を復調することにより、前記複数の検出光の画像を前記検出光毎に生成するステップと、を備え、
     前記複数の検出光は、第1の検出光と、前記第1の検出光よりも小さい光量を有する第2の検出光と、を含み、
     各前記変調パターンは、前記励起光の照射がONになるON期間と前記励起光の照射がOFFになるOFF期間とが切り替わるように前記励起光を変調させる変調パターンであり、前記検出信号が復調される復調タイミングにおいて互いに直交条件を満たすように設定されており、
     前記OFF期間に対する前記ON期間の比をON/OFF比として表した場合に、前記第1の検出光に対応する前記変調パターンの前記ON/OFF比は、前記第2の検出光に対応する前記変調パターンの前記ON/OFF比よりも低く設定されている、観察方法。
PCT/JP2021/019820 2020-06-10 2021-05-25 観察装置及び観察方法 WO2021251130A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020100975A JP2023106643A (ja) 2020-06-10 2020-06-10 観察装置及び観察方法
JP2020-100975 2020-06-10

Publications (1)

Publication Number Publication Date
WO2021251130A1 true WO2021251130A1 (ja) 2021-12-16

Family

ID=78845992

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/019820 WO2021251130A1 (ja) 2020-06-10 2021-05-25 観察装置及び観察方法

Country Status (2)

Country Link
JP (1) JP2023106643A (ja)
WO (1) WO2021251130A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11281893A (ja) * 1998-03-26 1999-10-15 Nikon Corp レーザ走査型顕微鏡
JP2005091895A (ja) * 2003-09-18 2005-04-07 Institute Of Physical & Chemical Research 走査型共焦点顕微鏡装置
JP2009300356A (ja) * 2008-06-17 2009-12-24 Shimadzu Corp 蛍光測定装置
JP2010152367A (ja) * 2010-01-18 2010-07-08 Olympus Corp 顕微鏡画像処理装置
WO2018084271A1 (ja) * 2016-11-02 2018-05-11 株式会社ニコン 蛍光観察装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11281893A (ja) * 1998-03-26 1999-10-15 Nikon Corp レーザ走査型顕微鏡
JP2005091895A (ja) * 2003-09-18 2005-04-07 Institute Of Physical & Chemical Research 走査型共焦点顕微鏡装置
JP2009300356A (ja) * 2008-06-17 2009-12-24 Shimadzu Corp 蛍光測定装置
JP2010152367A (ja) * 2010-01-18 2010-07-08 Olympus Corp 顕微鏡画像処理装置
WO2018084271A1 (ja) * 2016-11-02 2018-05-11 株式会社ニコン 蛍光観察装置

Also Published As

Publication number Publication date
JP2023106643A (ja) 2023-08-02

Similar Documents

Publication Publication Date Title
JP5623278B2 (ja) 顕微鏡および顕微鏡の操作方法
US9279973B2 (en) Image processing apparatus, fluorescence microscope apparatus, and image processing program
CN109900671B (zh) 基于dmd计算全息扫描的全自动化tcspc-flim系统和时间检测方法
US9356413B2 (en) Laser source apparatus and laser microscope
JP6000554B2 (ja) 顕微鏡システム
JP6544789B2 (ja) パターン投影装置、パターン投影方法、及び、位相変調量設定方法
JP2007093370A (ja) 蛍光分光分析装置
RU2747129C1 (ru) Способ и устройство для реконструкции изображения, а также устройство для формирования изображения в микроскопе
JP2000500881A (ja) 作像システム
US11086115B2 (en) Microscope device, viewing method, and control program
WO2021251130A1 (ja) 観察装置及び観察方法
US11215806B2 (en) Method for imaging a sample by means of a microscope and microscope
US11841324B2 (en) Method and device for estimating a STED resolution
CN111189807A (zh) 基于波动的荧光显微术
WO2021251132A1 (ja) 観察装置及び観察方法
WO2021251133A1 (ja) 観察装置及び観察方法
WO2016208322A1 (ja) 画像取得装置および画像取得方法
JPWO2017195794A1 (ja) 細胞観察装置及びプログラム
JP6826972B2 (ja) 撮像装置
JP2019204002A (ja) 顕微鏡、画像解析装置、観察方法、解析プログラム
JP2009282103A (ja) 共焦点スキャナ顕微鏡
JP2016202411A (ja) 蛍光観察装置
JP2016024027A (ja) 測定装置および蛍光測定方法
JP5019116B2 (ja) 蛍光分光分析装置
JP6355961B2 (ja) 標本観察装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21822466

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21822466

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP