WO2016151666A1 - 構造化照明顕微鏡、観察方法、及び画像処理プログラム - Google Patents

構造化照明顕微鏡、観察方法、及び画像処理プログラム Download PDF

Info

Publication number
WO2016151666A1
WO2016151666A1 PCT/JP2015/058420 JP2015058420W WO2016151666A1 WO 2016151666 A1 WO2016151666 A1 WO 2016151666A1 JP 2015058420 W JP2015058420 W JP 2015058420W WO 2016151666 A1 WO2016151666 A1 WO 2016151666A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
noise reduction
processing unit
reduction processing
interference fringes
Prior art date
Application number
PCT/JP2015/058420
Other languages
English (en)
French (fr)
Inventor
三村　正文
吉田　隆彦
勇輝 照井
Original Assignee
株式会社ニコン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ニコン filed Critical 株式会社ニコン
Priority to PCT/JP2015/058420 priority Critical patent/WO2016151666A1/ja
Publication of WO2016151666A1 publication Critical patent/WO2016151666A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/06—Means for illuminating specimens

Definitions

  • the present invention relates to a structured illumination microscope, an observation method, and an image processing program.
  • a super-resolution microscope that enables observation beyond the resolution of the optical system in a microscope apparatus.
  • a structured illumination microscope (SIM) that generates a super-resolution image of a sample by illuminating the sample with structured illumination to obtain a modulated image and demodulating the modulated image.
  • Structured Illumination Microscopy
  • the sample is illuminated by irradiating the sample with interference fringes formed by branching the light beam emitted from the light source into a plurality of light beams by a diffraction grating or the like and causing these light beams to interfere with each other in the vicinity of the sample.
  • the modulated image is acquired.
  • the present invention has been made in view of the above-described circumstances, and an object thereof is to provide a structured illumination microscope, an observation method, and an image processing program capable of reducing noise while ensuring the contrast of interference fringes. To do.
  • an illumination optical system that irradiates a sample with excitation fringes for exciting a fluorescent substance contained in the sample with interference fringes, and a control unit that controls the direction and phase of the interference fringes;
  • An imaging optical system that forms an image of a sample irradiated with interference fringes, an imaging device that captures an image formed by the imaging optical system and generates a captured image, and an image that is demodulated using the captured image
  • a structured illumination microscope comprising: a processing unit, wherein the image processing unit includes: a filter processing unit that performs a filter process in a frequency domain of a captured image or an image generated from the captured image; and a filter-processed image.
  • a structured illumination microscope comprising: a noise reduction processing unit that performs noise reduction processing; and a demodulation unit that performs demodulation processing using an image on which noise reduction processing has been performed.
  • the excitation light for exciting the fluorescent substance contained in the sample is irradiated to the sample with the interference fringes, the direction and phase of the interference fringes are controlled, and the interference fringes Forming an image of a sample irradiated with light, generating a captured image by capturing the image, and performing demodulation processing using the captured image.
  • an observation method characterized by including the above.
  • the sample is irradiated with the excitation light for exciting the fluorescent substance contained in the sample with the interference fringe, the direction and phase of the interference fringe are controlled, and the interference fringe is irradiated with the sample.
  • the computer uses the captured image generated by capturing the image of the image, the computer performs filtering in the frequency domain of the captured image or the image generated from the captured image, and noise is applied to the filtered image.
  • An image processing program is provided that performs a reduction process and a demodulation process using an image on which a noise reduction process has been performed.
  • the present invention it is possible to provide a structured illumination microscope, an observation method, and a control program capable of reducing noise while ensuring the contrast of interference fringes.
  • FIG. 1 is a diagram illustrating a structured illumination microscope 1 according to the embodiment.
  • the structured illumination microscope 1 includes a structured illumination device 2, an imaging device 3, a control device 4, a display device 5, and a storage device 6.
  • the structured illumination microscope 1 is, for example, a fluorescence microscope, and is used for observing a sample X including cells that have been fluorescently stained in advance.
  • the sample X is held on a stage (not shown), for example.
  • Schematic illumination microscope 1 generally operates as follows.
  • the structured illumination device 2 forms interference fringes and illuminates the sample X with the interference fringes.
  • the imaging device 3 captures a fluorescent image of the sample X illuminated by the interference fringes. This fluorescent image is a moire image modulated by interference fringes.
  • the control device 4 controls each part of the structured illumination microscope 1.
  • the control device 4 controls the structured illumination device 2 to switch the interference fringes to a plurality of states.
  • the control device 4 controls the imaging device 3 to capture an image of the sample X in each of the plurality of states of the interference fringes, and acquires a plurality of images.
  • the control device 4 can form a super-resolution image exceeding the resolution limit of the optical system of the imaging device 3 by performing demodulation processing using a plurality of images.
  • the control device 4 displays the formed super-resolution image on the display device 5.
  • the control device 4 causes the storage device 6 to store data of the formed super-resolution image (demodulated image), for example.
  • the structured illumination microscope 1 includes a 2D-SIM mode for forming a two-dimensional super-resolution image of a surface to be observed (hereinafter referred to as a sample surface) of the sample X and information in a direction perpendicular to the sample surface.
  • 3D-SIM mode for forming a three-dimensional three-dimensional super-resolution image.
  • the 2D-SIM mode will be mainly described, and then the 3D-SIM mode will be described.
  • the structured illumination device 2 includes a light source unit 10 and an illumination optical system 11.
  • the light source unit 10 includes, for example, a laser diode, and emits coherent light such as laser light.
  • the light emitted from the light source unit 10 is referred to as illumination light.
  • the wavelength of the illumination light is set to a wavelength band that includes the excitation wavelength of the fluorescent substance contained in the sample X.
  • the light source unit 10 may not be included in the structured illumination device 2.
  • the light source unit 10 is unitized and may be provided in the structured lighting device 2 so as to be replaceable (attachable or removable).
  • the light source unit 10 may be attached to the structured illumination device 2 during observation with the structured illumination microscope 1.
  • the illumination optical system 11 irradiates the sample with interference fringes with excitation light (illumination light) for exciting the fluorescent substance contained in the sample X.
  • the illumination optical system 11 includes a condenser lens 12, a light guide member 13, a collimator 14, and a branching unit 15 in order from the light source unit 10 toward the sample X.
  • the light guide member 13 includes, for example, an optical fiber.
  • the condensing lens 12 condenses the illumination light from the light source unit 10 on the end surface of the light guide member on the light incident side.
  • the light guide member 13 guides the illumination light from the condenser lens 12 to the collimator 14.
  • the collimator 14 converts the illumination light from the light guide member 13 into parallel light.
  • the illumination optical system 11 branches the illumination light into a plurality of diffracted lights by the branching unit 15 and illuminates the sample X with interference fringes formed by interference of the plurality of diffracted lights.
  • FIG. 1 shows 0th-order diffracted light (shown by a solid line), + 1st-order diffracted light (shown by a broken line), and -1st-order diffracted light (shown by a two-dot chain line) among a plurality of light beams.
  • the + 1st order diffracted light and the ⁇ 1st order diffracted light among the diffracted lights they are simply expressed as 1st order diffracted light.
  • the direction in which the first-order diffracted light is deflected with respect to the zero-order diffracted light (Z direction in FIG. 1) is referred to as a branch direction.
  • the illumination optical system 11 illuminates the sample with interference fringes formed by interference between the + 1st order diffracted light and the ⁇ 1st order diffracted light among the plurality of diffracted lights in the 2D-SIM mode.
  • the illumination optical system 11 forms interference fringes of + 1st order diffracted light and ⁇ 1st order diffracted light, and does not use 0th order diffracted light and second order or higher order diffracted light for forming interference fringes.
  • the illumination optical system 11 includes a rotationally symmetric lens member such as a spherical lens or an aspheric lens.
  • a rotationally symmetric lens member such as a spherical lens or an aspheric lens.
  • the symmetry axis of the lens member is referred to as the optical axis 11a of the illumination optical system 11.
  • the illumination optical system 11 may include a free-form surface lens.
  • the branching unit 15 branches the illumination light into a plurality of diffracted lights.
  • the branching unit 15 includes, for example, a diffraction grating 16 and a driving unit 17.
  • the diffraction grating 16 has, for example, a one-dimensional periodic structure in a plane intersecting the optical axis 11a of the illumination optical system 11. The direction in which the unit structures are arranged in this periodic structure corresponds to the aforementioned branching direction.
  • This periodic structure may be a structure in which the density (transmittance) changes periodically or a structure in which the step (phase difference) changes periodically.
  • the branching unit 15 may be configured to branch the illumination light into a plurality of light beams by a spatial light modulation element using ferroelectric liquid crystal instead of the diffraction grating 16, for example.
  • the driving unit 17 moves the diffraction grating 16 in a direction intersecting the optical axis 11a of the illumination optical system 11. As a result, the phase of the interference fringes formed by the illumination light changes.
  • the control device 4 controls the phase of the interference fringes by controlling the drive unit 17.
  • the drive unit 17 rotates (rotates) the diffraction grating 16 around an axis parallel to the optical axis 11 a of the illumination optical system 11. Thereby, the direction of the interference fringes formed by the illumination light changes.
  • the control device 4 controls the direction of the interference fringes by controlling the drive unit 17.
  • the structured illumination microscope 1 changes the direction of the interference fringes into three ways, changes the phase of the interference fringes into three ways for each direction of the interference fringes, and each of nine kinds of combinations of the directions and phases of the interference fringes are different.
  • the sample X is imaged in the state.
  • the illumination optical system 11 includes a lens 20, a half-wave plate 21, a mask 22, a lens 23, a field stop 24, a lens 25, a filter 26, a dichroic mirror 27, and an objective lens 28 in order from the branching unit 15 toward the sample X. including.
  • Diffracted light generated at the branching portion 15 enters the lens 20.
  • the lens 20 is disposed so that its focal point substantially coincides with the branching portion 15.
  • the lens 20 places diffracted light of the same order among the plurality of light beams branched by the branching unit 15 at the same position on a so-called pupil conjugate plane P1, which is a position conjugate with the rear focal plane (pupil plane) of the objective lens 28. Condensate.
  • the lens 20 condenses the 0th-order diffracted light generated at the branching portion 15 on the optical axis 11a of the illumination optical system 11 at the pupil conjugate plane P1.
  • the lens 20 condenses the + 1st order diffracted light generated in the branching portion 15 at a position away from the optical axis 11a.
  • the lens 20 condenses the ⁇ 1st order diffracted light generated at the branching portion 15 at a position symmetrical to the + 1st order diffracted light with respect to the optical axis 11a on the pupil conjugate plane P1.
  • the half-wave plate 21 is disposed in the optical path between the lens 20 and the lens 23, for example, and adjusts the polarization state of the illumination light so that the polarization state of the illumination light when entering the sample X is S-polarized light.
  • the incident surface of the first-order diffracted light with respect to the sample X is an XZ plane
  • the half-wave plate 21 is a linearly polarized light whose illumination state emitted from the illumination optical system 11 is in the Y direction.
  • the polarization state of the illumination light is adjusted so that When the diffraction direction is changed in the branching section 15, the incident surface of the first-order diffracted light with respect to the sample X rotates around the Z direction. Therefore, the half-wave plate 21 adjusts the polarization state of the illumination light according to the diffraction direction.
  • the half-wave plate 21 may be disposed at any position on the optical path between the branching portion 15 and the sample X.
  • the mask 22 transmits diffracted light used for forming interference fringes and blocks diffracted light not used for forming interference fringes.
  • the mask 22 passes the first-order diffracted light and blocks the 0th-order diffracted light and the second-order or higher-order diffracted light.
  • the mask 22 is disposed at a position where the optical path of the first-order diffracted light is separated from the optical path of the zero-order diffracted light, for example, at the pupil conjugate plane P1.
  • the mask 22 is, for example, an aperture stop, and defines the angle of light rays incident on the sample X.
  • the portion of the mask 22 where the 0th-order diffracted light is incident serves as a light shielding portion
  • the portion where the first-order diffracted light is incident serves as an opening (transmission portion).
  • the illumination light that has passed through the mask 22 enters the lens 23.
  • the lens 23 forms an intermediate image surface 23 a that is optically conjugate with the branch portion 15.
  • the field stop 24 is disposed, for example, on the intermediate image plane 23a.
  • the field stop 24 defines a range (illumination field, illumination area) in which illumination light is irradiated from the illumination optical system 11 to the sample X in a plane perpendicular to the optical axis 11a of the illumination optical system 11.
  • the illumination light that has passed through the field stop 24 enters the lens 25.
  • the lens 25 is, for example, a second objective lens.
  • the lens 25 condenses the + 1st order diffracted light from each point on the branching portion 15 on the rear focal plane (pupil plane P0) of the objective lens.
  • the lens 25 condenses the ⁇ 1st order diffracted light from each point on the branching portion 15 at another position on the rear focal plane (pupil plane P0) of the objective lens. That is, the lens 25 condenses the ⁇ 1st order diffracted light from each point of the branching portion 15 at a position symmetrical to the + 1st order diffracted light with respect to the optical axis of the illumination optical system 11.
  • the illumination light that has passed through the lens 25 enters the filter 26.
  • the filter 26 is an excitation filter, for example, and has a characteristic that light in a wavelength band including the excitation wavelength of the fluorescent material contained in the sample X selectively passes.
  • the filter 26 blocks at least a part of the illumination light other than the excitation wavelength, stray light, external light, and the like.
  • the light that has passed through the filter 26 enters the dichroic mirror 27.
  • the dichroic mirror 27 has a characteristic that light in a wavelength band including the excitation wavelength of the fluorescent substance contained in the sample X is reflected and light in a predetermined wavelength band (for example, fluorescence) out of the light from the sample X passes.
  • the light from the filter 26 is reflected by the dichroic mirror 27 and enters the objective lens 28.
  • the objective lens 28 forms a surface optically conjugate with the intermediate image surface 23a, that is, a surface optically conjugate with the branching portion 15, on the sample X. That is, the objective lens 28 forms structured illumination on the sample X.
  • the + 1st order diffracted light forms a spot on the pupil plane P0 of the objective lens 28 away from the optical axis 11a.
  • the ⁇ 1st order diffracted light forms a spot on the pupil plane P0 at a position symmetrical to the + 1st order diffracted light with respect to the optical axis 11a.
  • the spots formed by the first-order diffracted light are arranged, for example, on the outer periphery of the pupil plane P0.
  • the first-order diffracted light is incident on the focal plane at an angle corresponding to the numerical aperture (NA) of the objective lens 28.
  • interference fringes formed on the sample X have a periodic distribution of light intensity in a direction (in the XY plane) perpendicular to the optical axis 11a of the illumination optical system 11, for example.
  • This interference fringe is a pattern in which line-shaped bright portions and dark portions are periodically arranged in a direction corresponding to the periodic direction of the branching portion 15.
  • a direction parallel to the bright part and the dark part is referred to as a line direction
  • a direction in which the bright part and the dark part are arranged is referred to as a periodic direction.
  • the direction of the interference fringes is defined by, for example, at least one of the line direction and the periodic direction.
  • the portion of the sample X arranged in the bright part of the interference fringe emits fluorescence when the fluorescent material is excited.
  • the distribution of the structure of the sample X eg, fluorescent substance
  • the fluorescent image of the sample X is a moire image of the interference fringes formed by the illumination optical system 11 and the fluorescent density distribution of the sample X.
  • the imaging device 3 acquires this moire image.
  • the imaging device 3 includes an imaging optical system 31 and an imaging element 32.
  • the imaging optical system 31 includes an objective lens 28, a dichroic mirror 27, a filter 33, and a lens 34.
  • the imaging optical system 31 shares the objective lens 28 and the dichroic mirror 27 with the illumination optical system 11.
  • Light from the sample X (hereinafter referred to as observation light) enters the objective lens 28 to be collimated, and enters the filter 33 through the dichroic mirror 27.
  • the filter 33 is, for example, a fluorescent filter.
  • the filter 33 has a characteristic that light in a predetermined wavelength band (eg, fluorescence) of observation light from the sample X selectively passes.
  • the filter 33 blocks, for example, illumination light, external light, stray light, etc. reflected by the sample X.
  • the light that has passed through the filter 33 enters the lens 34.
  • the lens 34 forms a plane (image plane) optically conjugate with the focal plane (object plane) of the objective lens 28. An image (moire image) by fluorescence from the sample X is formed on this image plane.
  • the image sensor 32 includes a two-dimensional image sensor such as a CCD image sensor or a CMOS image sensor.
  • the imaging element 32 has, for example, a structure having a plurality of pixels arranged two-dimensionally and a photoelectric conversion element such as a photodiode disposed in each pixel.
  • the imaging element 32 reads out the electric charge generated by the irradiation of the observation light to the photoelectric conversion element by the reading circuit.
  • the image sensor 32 converts the read charges into digital data (for example, 8-bit gradation value), and outputs digital image data in which pixel positions and gradation values are associated with each other.
  • the structured illumination microscope 1 includes an image processing unit 40 that performs image processing using a captured image acquired by the imaging device 3.
  • the image processing unit 40 is provided in the control device 4, but may be provided separately from the control device 4.
  • the image processing unit 40 performs noise reduction processing on the captured image captured by the imaging element 32, and generates a demodulated image using the image after the noise reduction processing.
  • FIG. 2 is a block diagram showing a functional configuration of the control device 4.
  • the control device 4 includes a control unit 41, an image processing unit 40, and a storage unit 42.
  • the control device 4 includes, for example, a computer system including a CPU and a RAM, and the storage unit 42 is a work memory such as a RAM.
  • the control unit 41 acquires captured image data from the image sensor 32 and causes the storage device 6 to store captured image data.
  • the image processing unit 40 acquires captured image data from the storage device 6 and performs image processing.
  • the image processing unit 40 includes a filter processing unit 43, a noise reduction processing unit 44, and a demodulation unit 45.
  • FIG. 3 is a diagram showing input / output data in each unit of the image processing unit 40.
  • the filter processing unit 43 acquires captured image data.
  • the filter processing unit 43 performs filter processing in the frequency domain. For example, the filter processing unit 43 generates an image obtained by extracting a region having a predetermined frequency including the frequency of interference fringes from the captured image.
  • the filter processing unit 43 outputs the data of the filtered image.
  • the noise reduction processing unit 44 acquires captured image data and filtered image data.
  • the noise reduction processing unit 44 performs noise reduction processing on the captured image that is the target of noise reduction processing using the filtered image, and generates an image with reduced noise.
  • the noise reduction processing unit 44 outputs image data with reduced noise.
  • the demodulator 45 acquires data of the image with reduced noise generated by the noise reduction processor 44, and generates (constructs) a demodulated image using the image with reduced noise.
  • the demodulator 45 outputs demodulated image data.
  • the control unit 41 stores the data of the demodulated image in the storage device 6.
  • the control unit 41 supplies demodulated image data to the display device 5 (see FIG. 1), and causes the display device 5 to display the demodulated image.
  • the image processing unit 40 may include an intermediate image generation unit 46 as shown in FIGS. 3B and 3C.
  • the intermediate image generation unit 46 performs preprocessing for generating a demodulated image to generate an intermediate image.
  • the intermediate image generation unit 46 acquires image data with reduced noise generated by the noise reduction processing unit 44, and uses the image with reduced noise as an intermediate image. Is generated.
  • the intermediate image generation unit 46 outputs intermediate image data.
  • the demodulator 45 acquires the intermediate image data generated by the intermediate image generator 46 and generates (constructs) a demodulated image using the intermediate image.
  • the demodulator 45 outputs demodulated image data.
  • the noise reduction processing unit 44 may perform noise reduction processing on the intermediate image.
  • the intermediate image generation unit 46 acquires captured image data, and generates an intermediate image using the captured image.
  • the intermediate image generation unit 46 outputs intermediate image data.
  • the filter processing unit 43 acquires intermediate image data.
  • the filter processing unit 43 generates an image (filtered image) obtained by extracting a region having a predetermined frequency including the frequency of interference fringes from the intermediate image.
  • the filter processing unit 43 outputs the data of the filtered image.
  • the noise reduction processing unit 44 acquires intermediate image data and filtered image data.
  • the noise reduction processing unit 44 performs noise reduction processing on the intermediate image using the filtered image to generate an image with reduced noise.
  • the noise reduction processing unit 44 outputs image data with reduced noise.
  • the demodulator 45 acquires image data with reduced noise, and generates a demodulated image using the image with reduced noise.
  • the demodulator 45 outputs demodulated image data.
  • the filter processing unit 43 changes the contrast of the interference fringes from the captured image or the image generated from the captured image. For example, the filter processing unit 43 generates an image in which interference fringes are enhanced (hereinafter referred to as an enhanced image) as the filtered image.
  • an enhanced image an image in which interference fringes are enhanced
  • FIG. 4 is a conceptual diagram showing a captured image 50 and a first emphasized image 60 that are subject to noise reduction processing.
  • the captured image 50 includes, for example, a sample portion 51 corresponding to the distribution (fluorescence density distribution) of the structure (eg, fluorescent substance) of the sample X, and a stripe portion 52 corresponding to an interference fringe.
  • the stripe part 52 has a bright part 52a and a dark part 52b, and is a pattern in which the bright part 52a and the dark part 52b are alternately arranged periodically.
  • the bright part 52a and the dark part 52b are each linear (band-like).
  • a direction parallel to the bright part 52a and the dark part 52b is referred to as a line direction
  • a direction in which the bright part 52a and the dark part 52b are arranged is referred to as a periodic direction.
  • the periodic direction is a direction orthogonal to the line direction.
  • the first emphasized image 60 is an image in which the contrast between the bright part 52a and the dark part 52b is higher than the captured image 50 that is the target of the noise reduction process.
  • FIG. 5 is an explanatory diagram illustrating an example of a process for generating the first emphasized image 60.
  • the filter processing unit 43 acquires data of the captured image 50, and generates power spectrum PS data by performing two-dimensional Fourier transform on the captured image 50.
  • the power spectrum PS has a peak 55 corresponding to the period of interference fringes.
  • the peak 55 appears symmetrically with respect to the origin. Further, in the region on the lower frequency side than the peak 55, there is a distribution including information on the sample portion 51, and the peak 56 appears.
  • the filter processing unit 43 uses the bandpass filter 57 to extract a region of a predetermined frequency including the frequency of interference fringes (peak 55 frequency).
  • the horizontal axis is the direction corresponding to the horizontal scanning direction of the image
  • the vertical axis is the direction corresponding to the vertical scanning direction of the image
  • the symbol Dm is the period of the interference fringes.
  • the direction corresponding to the direction is indicated.
  • the band pass filter 57 is set to have a relatively higher gain in a predetermined frequency region including the frequency of the peak 55 (hereinafter referred to as a pass region 58) than in other regions.
  • the passband 58 includes a passband 58a and a passband 58b that are set symmetrically with respect to the origin so as to correspond to the peak 55.
  • the pass band 58a is an area having a bandwidth W centered on the frequency (u, v) of the peak 55, and the pass band 58b is centered on the frequency (-u, -v) of another peak 55. This is a region of the bandwidth W to be used.
  • the symbol PSa is a profile (cross-sectional view) in the direction Dm of the power spectrum PS
  • the symbol 57a is a gain distribution in the direction Dm of the bandpass filter 57
  • the symbol PSb is a filter process. It is the profile in the direction Dm of a later power spectrum.
  • the gain distribution 57a is, for example, binary, and is set to a high level (eg, 1) in the pass band 58a and the pass band 58b, and is set to a low level (eg, 0) in the other areas.
  • the filter processing unit 43 obtains a peak position (peak frequency) by detecting a power peak in a power spectrum PS obtained by, for example, Fourier transforming the captured image 50 to be subjected to noise reduction processing. For example, the filter processing unit 43 acquires a set value of the interference fringe frequency, and detects a peak by searching for a power spectrum around the set value frequency.
  • the setting value of the interference fringe frequency is stored in the storage device 6 (see FIGS. 1 and 2) as interference fringe setting information, for example.
  • the filter processing unit 43 can acquire interference fringe setting information from the storage device 6.
  • the filter processing unit 43 may detect a peak without using the set value of the interference fringe frequency.
  • the filter processing unit 43 may acquire the peak position by calculating the peak position from the set value of the interference fringe frequency without detecting the peak, for example.
  • the filter processing unit 43 generates the bandpass filter 57 by setting a region of the bandwidth W around the acquired peak position as the passband 58.
  • a pass band 58 is extracted.
  • the power before the filtering process is held in the pass band 58a and the pass band 58b, and the power is 0 in other areas.
  • the first enhanced image is generated, for example, by performing Fourier inverse transform on the power spectrum after the filter processing.
  • FIG. 6 is a diagram illustrating another example of the band-pass filter 57.
  • the band pass filter 57 in FIG. 6A has an offset component, and the low level is set to a value larger than zero.
  • the bandpass filter 57 in FIG. 6B changes in gain within the passband 58.
  • the gain is represented by a Gaussian distribution centered on the frequency of the peak 55.
  • the band pass filter 57 in FIG. 6C is obtained by adding an offset component to the band pass filter 57 in FIG. 6B.
  • the 6 (D) includes a pass band 58c in a frequency region lower than the frequency of the interference fringes.
  • the passband 58c is, for example, a region centered on the origin (frequency is 0), and the gain changes stepwise as compared with the surrounding area.
  • the gain in the pass band 58c is set to the same value as that of the pass band 58a and the pass band 58b, for example.
  • the passband 58c may be set to have a larger gain or may be set to be smaller than the passband 58a and the passband 58b.
  • the gain in the passband 58c is represented by a Gaussian distribution centered on the origin.
  • the gain peak in the passband 58c is set to the same value as the gain peak in the passband 58b and the passband 58c, for example.
  • the passband 58c may have a larger gain than the passband 58a and the passband 58b.
  • the passband 58c may be set to have a smaller gain than the passband 58a and the passband 58b.
  • the band pass filter 57 may have an offset component as shown in FIGS. 6A and 6C.
  • FIG. 7 is an explanatory diagram showing filter processing and noise reduction processing.
  • the filter processing unit 43 performs the filter process on the captured image 50 that is the target of the noise reduction process to generate the first emphasized image 60.
  • the noise reduction processing unit 44 performs noise reduction processing by replacing the luminance value of the target region P that is the target of noise reduction with the value calculated using the luminance values of the plurality of reference regions Q in the captured image 50. Do.
  • the noise reduction processing unit 44 calculates the luminance value of the target region P by weighting the luminance values of the plurality of reference regions Q.
  • the noise reduction processing unit 44 uses the first enhanced image 60 for calculating the weighting coefficient.
  • the noise reduction processing unit 44 uses the similarity between the target patch region Np including the target region P in the first emphasized image 60 and the reference patch region Nq including the reference region Q in the first emphasized image 60 as a weighting coefficient.
  • each of the plurality of reference regions Q is represented by reference numerals Q1 to Q4.
  • the noise reduction processing unit 44 sets the target patch area Np for the target area P on the first emphasized image 60. Further, the noise reduction processing unit 44 sets the reference patch areas Nq1 to Nq4 for the reference areas Q1 to Q4 on the first emphasized image 60.
  • the noise reduction processing unit 44 calculates similarities w1 to w4 between the target patch area Np on the first emphasized image 60 and the reference patch areas Nq1 to Nq4 on the first emphasized image 60.
  • the noise reduction processing unit 44 performs noise reduction processing by weighting the luminance values of the reference regions Q1 to Q4 in the captured image 50 that is the target of noise reduction processing using the similarities w1 to w4.
  • FIG. 8 is a diagram illustrating an example of noise reduction processing using the first emphasized image 60.
  • the noise reduction processing unit 44 sequentially selects a target region P that is a target for noise reduction from the first emphasized image 60.
  • the target region P is, for example, a one-pixel region on the first emphasized image 60, but may be a region including a plurality of pixels. Further, the target region P may be a part of one pixel on the first emphasized image 60, and may be, for example, one point (attention point, target point) on the first emphasized image 60.
  • the noise reduction processing unit 44 calculates the brightness value of the target area P using the brightness values of the plurality of reference areas Q.
  • the reference area Q is, for example, an area having the same area as the target area P, and is assumed to be one pixel of the first emphasized image 60 here.
  • the position of the pixel belonging to the target area P is represented by P (x, y), and the position of the pixel belonging to the reference area Q is represented by Q ( ⁇ , ⁇ ).
  • x and ⁇ are the coordinates of the pixel based on the position of the end pixel in the horizontal scanning direction.
  • y and ⁇ are the coordinates of the pixel based on the position of the end pixel in the vertical scanning direction.
  • x and ⁇ are integers from 0 to 1919
  • y and ⁇ are integers from 0 to 1079.
  • the noise reduction processing unit 44 performs noise reduction processing based on light intensity information (eg, luminance value, pixel value, pixel intensity, gradation value) of a plurality of reference regions Q.
  • the noise reduction processing unit 44 uses the luminance values of the plurality of reference regions Q for calculating the luminance value of the target region P.
  • the luminance value of the target region P in the image after the noise reduction processing is appropriately referred to as a corrected luminance value.
  • the luminance value of the target area P is represented by, for example, a pixel value at P (x, y)
  • the luminance value of the reference area Q is represented by, for example, a pixel value at Q ( ⁇ , ⁇ ).
  • the noise reduction processing unit 44 sets a predetermined area including the target area P as the target patch area Np, and sets a predetermined area including the reference area Q as the reference patch area Nq.
  • the noise reduction processing unit 44 calculates the similarity between the target patch area Np and the reference patch area Nq.
  • the noise reduction processing unit 44 corrects a value obtained by weighting the luminance value of the reference region Q in the captured image 50 to be subjected to noise reduction processing with the similarity of the reference patch region Nq on the first emphasized image 60. This is used to calculate the luminance value of P.
  • the target patch area Np is, for example, a rectangular area centered on the target area P, and one side thereof is parallel to the horizontal scanning direction.
  • the shape of the target patch region Np may be a polygon, or may be a shape including a curve in the outline such as a circle, an ellipse, or an ellipse. Further, the center of the target patch area Np may be shifted from the target area P.
  • the size of the target patch area Np is set so as to include at least one period of interference fringes.
  • a portion having a predetermined phase arbitrarily selected from one period of the interference fringes is referred to as a feature portion 53.
  • the feature portion 53 may be, for example, the center line of the bright portion of the interference fringe (the portion where the luminance value is maximized) or the center line of the dark portion of the interference fringe (the portion where the luminance value is minimized). Alternatively, it may be an intermediate portion between the center line of the bright portion and the dark portion of the interference fringe.
  • the length of one period of the interference fringes in the period direction is represented by ⁇ .
  • ⁇ is, for example, the distance (pitch) between the center line of the bright part 52a and the center line of the adjacent bright part 52a.
  • px ⁇ / sin ⁇ .
  • the noise reduction processing unit 44 sets the target patch area Np by calculating the coordinates of the target patch area Np using, for example, the setting information of the position of the target area P and the target patch area Np.
  • the setting information of the target patch area Np includes, for example, size information, shape information, and positional relationship information with respect to the target area P, and is stored in the storage device 6.
  • the noise reduction processing unit 44 acquires setting information from the storage device 6 and sets the target patch region Np.
  • the size of the target patch area Np may be a fixed value or a variable value.
  • a recommended value or the like is set as a default value, and may be changeable by a user's designation.
  • the size of the target patch region Np may be set according to the sample X. The user may determine the size of the target patch region Np by trial and error according to the result of the noise reduction processing.
  • the reference region Q is arbitrarily selected from, for example, the first enhanced image 60 corresponding to the captured image 50 that is the target of noise reduction processing.
  • the noise reduction processing unit 44 sets a region including the target region as the peripheral range Ap, and selects the reference region Q from the peripheral range Ap.
  • the peripheral range Ap is, for example, a circular region centered on the target region P, but may be a polygonal region or a region whose center is shifted from the target region P (an eccentric region). Good.
  • the radius r of the peripheral range Ap is set such that the target patch area Np is within the peripheral range Ap, and is set to several times, several tens of times, or several hundred times the representative dimension of the target patch area Np, for example.
  • the representative dimensions are, for example, the length of one side and the length of a diagonal line when the shape of the target patch region Np is a rectangle (eg, square), and the shape of the target patch region Np is an ellipse (eg, a perfect circle).
  • the noise reduction processing unit 44 selects pixels in order from a plurality of pixels included in the peripheral range Ap, for example, as the reference region Q.
  • the noise reduction processing unit 44 may sequentially select all the pixels included in the peripheral range Ap as the reference region Q, or may not select some of the pixels included in the peripheral range Ap. Further, the noise reduction processing unit 44 may randomly select a pixel from among a plurality of pixels included in the peripheral range Ap as the reference region Q.
  • the noise reduction processing unit 44 sets a reference patch area Nq for the reference area Q.
  • the reference patch area Nq is, for example, a rectangular area centered on the reference area Q, and one side thereof is parallel to the horizontal scanning direction.
  • the noise reduction processing unit 44 sets the reference patch region Nq by calculating the coordinates of the reference patch region Nq using the position of the reference region Q and the setting information.
  • the setting information of the reference patch area Nq includes, for example, size information, shape information, and positional relationship information with respect to the reference area Q, and is stored in the storage unit 42.
  • the size and shape of the reference patch region Nq and the positional relationship with respect to the reference region Q are the same as the size and shape of the target patch region Np and the positional relationship with respect to the target region P, respectively.
  • the noise reduction processing unit 44 acquires the setting information of the reference patch area Nq from the storage unit 42 and sets the reference patch area Nq.
  • the noise reduction processing unit 44 calculates the similarity w according to the equation (1) in FIG.
  • the similarity w is a function (w (Np; Nq)) having the target patch area Np and the reference patch area Nq as arguments.
  • ⁇ h 2 and ⁇ a 2 in equation (1) are parameters set to, for example, default values or user-specified values.
  • f1 (x, y) represents the luminance value at the position of the point (x, y) of the first emphasized image 60.
  • i and j are temporary variables that change so that the point (x + i, y + j) satisfies the condition belonging to the target patch area Np.
  • the target patch area Np is an area of 5 pixels in the horizontal scanning direction and 5 pixels in the vertical scanning direction with (x, y) as the center.
  • i and j take values of ⁇ 2, ⁇ 1, 0, +1, and +2, respectively.
  • f1 (x + i, y + j) ⁇ f1 ( ⁇ + i, ⁇ + j) indicates a difference in luminance value between overlapping pixels when the centers of the target patch area Np and the reference patch area Nq are matched.
  • f1 (x ⁇ 2, y ⁇ 2) represents the luminance value of the upper left end pixel of the target patch area Np
  • f1 ( ⁇ 2, ⁇ -2) indicates the luminance value of the upper leftmost pixel of the reference patch area Nq.
  • the noise reduction processing unit 44 integrates the square of the difference in luminance value between pixels in the target patch region Np and the reference patch region Nq that have the same position in each region in the target patch region Np. Then, the similarity w is calculated.
  • the algorithm used for calculating the similarity w can be arbitrarily selected, for example, an algorithm that uses the absolute value of the luminance value between corresponding pixels in the target patch region Np and the reference patch region Nq. Also good.
  • the noise reduction processing unit 44 changes the position ( ⁇ , ⁇ ) of the reference region Q so that the point ( ⁇ , ⁇ ) satisfies the condition belonging to the peripheral range Ap, and is set for each reference region Q.
  • the similarity w between the patch area Nq and the target patch area Np is calculated.
  • the noise reduction processing unit 44 weights the luminance value of the reference region Q in the captured image 50 that is the target of the noise reduction processing, for example, according to Expression (2) in FIG.
  • Expression (2) c ⁇ 1 (x, y) is a normalization coefficient.
  • f2 (x, y) is the luminance value of the point (x, y) in the captured image 50 that is the target of the noise reduction process
  • g (x, y) is the corrected luminance value in the target region P, that is, It is a luminance value of the point (x, y) in the image after the noise reduction processing.
  • the noise reduction processing unit 44 calculates the luminance value g (x, y) using the similarity w as a weighting coefficient.
  • the noise reduction processing unit 44 generates image data after the noise reduction processing by replacing f (x, y) with g (x, y).
  • the image processing unit 40 calculates the similarity w using the first enhanced image 60 in which the interference fringes are enhanced, it is possible to generate an image with reduced noise while ensuring the contrast of the interference fringes.
  • the light intensity information may be the same value as the pixel value, or may be a value calculated using the pixel value.
  • the image processing unit 40 does not have to calculate the corrected luminance value for a partial region of the image (for example, the captured image 50) that is the target of the noise reduction process. For example, the image processing unit 40 may calculate a corrected luminance value for a part of the area specified by the user in the captured image 50 (cut out a part of the captured image 50). The image processing unit 40 may generate an image after noise reduction processing except for a region where the corrected luminance value is not calculated.
  • the light intensity information of the target region P and the reference region Q is a value calculated by various interpolation methods using luminance values (pixel values) when at least one of x, y, ⁇ , and ⁇ is not an integer, for example. It may be.
  • various interpolation methods include nearest neighbor interpolation (Nearest ⁇ neighbor), bilinear interpolation (Bilinear), and bicubic interpolation (Bicubic).
  • the size of the reference patch area Nq may be different from the size of the target patch area Np.
  • the shape of the reference patch region Nq may be different from the shape of the target patch region Np.
  • At least one of the size and the shape is different between the target patch area Np and the reference patch area Nq, for example, in a state where the reference patch area Nq is shifted so that the reference area Q and the target area P coincide with each other, What is necessary is just to calculate a similarity degree about the area
  • At least one of the size and shape of the reference patch area Nq may be a fixed value or a variable value that can be changed by a user's designation.
  • the structured illumination microscope 1 changes the direction of the interference fringes, for example, in three ways from the first direction to the third direction.
  • the first direction is a direction arbitrarily selected within a plane orthogonal to the optical axis 11a of the illumination optical system 11, and the second direction and the third direction are 120 ° and 240 ° with the first direction, respectively. It is the direction which makes the angle of.
  • the structured illumination microscope 1 changes the phase of the interference fringes, for example, to three phases of the first to third phases in a state where the directions of the interference fringes are set in the first to third directions. .
  • the first phase is a phase that is arbitrarily set in a plane orthogonal to the optical axis 11a of the illumination optical system 11, and the second phase and the third phase are 2 ⁇ / 3, 4 ⁇ from the first phase, respectively.
  • / 3 is a phase shifted.
  • the structured illumination microscope 1 changes the state of interference fringes (combination of direction and phase), for example, in nine ways, and acquires a captured image of the sample X illuminated by the interference fringes in each state.
  • FIG. 9 is a flowchart showing the observation method according to the present embodiment.
  • the structured illumination microscope 1 sets the direction of interference fringes.
  • the control unit 41 controls the driving unit 17 to place the diffraction grating 16 at the first rotation position, and sets the direction of the interference fringes to the first direction.
  • the structured illumination microscope 1 sets the phase of interference fringes.
  • the control unit 41 controls the drive unit 17 to place the diffraction grating 16 at a predetermined position, and sets the phase of the interference fringes to the first phase.
  • the structured illumination microscope 1 acquires an image of the sample X illuminated by the interference fringes.
  • the control unit 41 controls the image sensor 32 to image the sample X, and acquires captured image data from the image sensor 32.
  • step S4 the structured illumination microscope 1 (eg, the control unit 41) determines whether or not imaging has been completed for all phases (first to third phases) that are scheduled as phases of interference fringes. . If the control unit 41 determines that there is a phase for which imaging has not ended (step S4; No), the control unit 41 returns to step S2 and moves the diffraction grating 16 by the drive unit 17 to change the phase of the interference fringes to the next. Set to phase. For example, the control unit 41 repeats the processing from step S2 to step S4, thereby acquiring three captured images having different interference fringe phases in a state where the interference fringe direction is set to the first direction.
  • step S4 determines that all phases have been completed (step S4; Yes)
  • step S5 all directions (first first) that are planned as interference fringe directions.
  • the control unit 41 determines that there is a direction in which imaging has not ended (step S5; No)
  • the control unit 41 returns to step S1 and rotates the diffraction grating 16 by the drive unit 17, thereby changing the direction of the interference fringes to the next. Set the direction.
  • the controller 41 obtains nine captured images with different interference fringe states by repeating the processing from step S1 to step S5.
  • step S6 the structured illumination microscope 1 performs noise reduction processing on the captured image obtained in step S3 or an image generated from the captured image.
  • the control unit 41 causes the image processing unit 40 to perform noise reduction processing.
  • the image processing unit 40 performs noise reduction processing on the captured image 50 by the method described with reference to FIG. 7.
  • FIG. 10 is a flowchart showing noise reduction processing according to the present embodiment.
  • the image processing unit 40 acquires, for example, one piece of image data of nine captured images as the data of the target image for the noise reduction process.
  • the filter processing unit 43 generates a first enhanced image in which interference fringes are enhanced (see FIGS. 4 and 5). The flow of processing for generating the first emphasized image will be described later with reference to FIG.
  • step S12 the noise reduction processing unit 44 selects the target region P from the first emphasized image 60 (see FIG. 8). For example, the noise reduction processing unit 44 selects the point (x, y) on the first emphasized image 60 as the target region P. In step S ⁇ b> 13, the noise reduction processing unit 44 sets the target patch area Np for the target area P.
  • step S ⁇ b> 14 the noise reduction processing unit 44 selects the reference region Q from the first emphasized image 60. For example, the noise reduction processing unit 44 sets a predetermined area including the target area P as the peripheral area Ap, and selects the reference area Q from the peripheral area Ap. In step S15, the noise reduction processing unit 44 sets a predetermined area including the reference area Q as the reference patch area Nq.
  • step S16 the noise reduction processing unit 44 calculates the similarity w between the target patch area Np and the reference patch area Nq (see equation (1) in FIG. 8).
  • step S ⁇ b> 17 the noise reduction processing unit 44 determines whether or not the calculation of the similarity w has been completed for all scheduled reference regions Q. If the noise reduction processing unit 44 determines that there is a reference region Q for which the calculation of the similarity w has not been completed (step S17; No), the noise reduction processing unit 44 returns to step S14 and selects the next reference region Q from the peripheral range Ap. The processes in steps S15 to S17 are repeated.
  • step S18 the noise reduction processing unit 44 captures the target of the noise reduction processing.
  • the luminance value g (x, y) after correction is obtained by weighting the luminance value of the reference region Q in the image 50 with the similarity w and integrating it in the peripheral range Ap (see equation (2) in FIG. 8). Is calculated.
  • the noise reduction processing unit 44 replaces the luminance value f2 (x, y) of the target area P with the luminance value g (x, y).
  • step S19 the noise reduction processing unit 44 determines whether or not the corrected luminance value g (x, y) has been calculated for all scheduled target areas P. If the noise reduction processing unit 44 determines that there is an unfinished target region P (step S19; No), the noise reduction processing unit 44 returns to step S12 and selects the next target region P from the first emphasized image 60. For example, the noise reduction processing unit 44 increments x, sequentially sets pixels in one row to the target region P, finishes processing for the pixels in one row, and then increments y to perform pixels in the next row. Are set in the target area P in order.
  • the noise reduction processing unit 44 corrects the luminance value before correction (for example, f2 (x, y)) in the entire area or a part of the captured image 50 that is the target of the noise reduction processing. By replacing (eg, (g (x, y))), the image data after the noise reduction processing is generated.
  • the image processing unit 40 sequentially sets, for example, nine captured images used for generating a demodulated image as a captured image 50 to be subjected to noise reduction processing, and performs noise reduction processing on the captured image 50.
  • FIG. 11 is a flowchart showing a process for generating the first emphasized image 60.
  • the filter processing unit 43 determines whether to detect interference fringes on the target image for noise reduction processing.
  • the control unit 41 causes the display device 5 to display an image asking the user whether or not to detect interference fringes, and indicates the content of the instruction when there is an instruction from the user.
  • the instruction information is supplied to the filter processing unit 43.
  • the filter processing unit 43 performs the determination process in step S20 based on the instruction information.
  • the filter processing unit 43 may perform the determination process in step S20 based on setting information indicating whether or not to detect interference fringes. This setting information may be stored in the storage device 6 and changeable by the user, for example.
  • the filter processing unit 43 When it is determined that the interference fringes are detected (step S20; Yes), the filter processing unit 43 generates power spectrum data by performing two-dimensional Fourier transform on the captured image 50 that is the target of the noise reduction processing in step S21. In step S22, the filter processing unit 43 detects the peak position in the power spectrum (frequency domain) using the power spectrum data. In step S23, the filter processing unit 43 determines whether or not the interference fringe has been successfully detected. For example, when the absolute value of the difference between the detected peak position and the peak position calculated from the set value of the interference fringe frequency is equal to or smaller than the threshold value, the filter processing unit 43 determines that the interference fringe detection has succeeded. To do. Further, for example, the filter processing unit 43 determines that the interference fringe detection has failed when the absolute value of the difference between the detected peak position and the peak position calculated from the set value of the interference fringe frequency exceeds a threshold value. judge.
  • step S23 determines whether the detection of the interference fringes has failed (step S23; No), or when it is determined that the interference fringes are not detected in step S20 (step S20; No), the filter processing unit 43 determines the interference fringes in step S24. Get the setting value.
  • step S25 the filter processing unit 43 calculates the peak position in the power spectrum (frequency domain) using the set value of the interference fringes. That is, in step S25, the filter processing unit 43 calculates the peak position in the power spectrum (frequency domain) without using the power spectrum data.
  • step S25 After the process of step S25 is completed or when it is determined that the interference fringe has been successfully detected in step S23 (step S23; Yes), the filter processing unit 43 performs a bandpass filter corresponding to the peak position in step S26. Generate. In step S ⁇ b> 27, for example, the filter processing unit 43 generates a first enhanced image 60 by applying a band-pass filter to the captured image 50 subjected to noise reduction processing after Fourier transform and then performing inverse Fourier transform.
  • the filter process part 43 may output the determination result. For example, the filter processing unit 43 may supply the determination result of step S23 to the control unit 41, and the control unit 41 may notify the user of the failure in detecting the interference fringes. Moreover, the filter process part 43 does not need to perform the process of step S24 and step S25, when detecting an interference fringe. In this case, if the filter processing unit 43 determines in step S23 that the detection of interference fringes has failed (step S23; No), the noise reduction process may be interrupted or terminated. Further, the filter processing unit 43 does not have to perform the determination process (step S20) as to whether or not to detect the interference fringes, and in this case, the processes in steps S20 to S23 can be omitted.
  • the 3D-SIM mode In the 3D-SIM mode, the illumination optical system 11 interferes with interference fringes between + 1st order diffracted light and ⁇ 1st order diffracted light, interference fringes between 0th order diffracted light and ⁇ 1st order diffracted light, and interference between 0th order diffracted light and + 1st order diffracted light.
  • the sample X is illuminated by a synthetic interference fringe synthesized with the fringes.
  • the mask 22 passes the 0th-order diffracted light and the 1st-order diffracted light, and blocks the second-order and higher-order diffracted light. Note that the portion of the mask 22 where the 0th-order diffracted light is incident may be a shutter unit that can switch between the passage and blocking of the 0th-order diffracted light.
  • the structured illumination microscope 1 changes the direction of the interference fringes, for example, in three ways from the first direction to the third direction. Further, the structured illumination microscope 1 changes the phase of the interference fringes, for example, to five phases of the first to fifth phases in a state where the directions of the interference fringes are set in the first to third directions.
  • the first phase is a phase that is arbitrarily set in a plane orthogonal to the optical axis 11a of the illumination optical system 11, and the second to fifth phases are 2 ⁇ / 5, 4 ⁇ / from the first phase, respectively. The phase is shifted by 5, 6 ⁇ / 5, 8 ⁇ / 5.
  • the structured illumination microscope 1 changes the state of interference fringes (combination of direction and phase), for example, in 15 ways, and acquires a captured image of the sample X illuminated by the interference fringes in each state. For example, 15 images are used to generate one demodulated image in the 3D-SIM mode.
  • the image processing unit 40 can perform noise reduction processing in the 3D-SIM mode as in the 2D-SIM mode.
  • the demodulation processing may be, for example, processing using a method disclosed in US Pat. No. 8,115,806, or “Super-Resolution Video Microscopy of Live Cells by Structured Illumination”, Peter Kner , Bryant B. Chhun, Eric R. Griffis, Lukman Winoto, and Mats G. L. Gustafsson, NATURE METHODS Vol.6 NO.5, pp.339-342, May be.
  • the method used for the demodulation process is not limited to these methods.
  • the reference patch region Nq is selected from the first emphasized image 60 generated from the captured image 50 that is the target of the noise reduction process, but the captured image is different from the captured image 50 that is the target of the noise reduction process.
  • the reference patch region Nq can also be selected from an enhanced image generated from the image (hereinafter referred to as a second enhanced image).
  • a second enhanced image an enhanced image generated from the image
  • FIG. 12 is an explanatory diagram showing another example of the filter processing and noise reduction processing.
  • the filter processing unit 43 performs the filter process on the captured image 50 that is the target of the noise reduction process to generate the first emphasized image 60.
  • the filter processing unit 43 performs a filter process on the captured image 61 different from the captured image 50 (see FIG. 12A) to generate the second enhanced image 62. Generate.
  • the captured image 61 differs from the captured image 50 in the phase of the interference fringes.
  • the noise reduction processing unit 44 sets the target patch area Np for the target area P on the first emphasized image 60.
  • the noise reduction processing unit 44 sets reference patch areas Nq1 to Nq4 for the reference areas Q1 to Q4 on the second emphasized image 62.
  • the noise reduction processing unit 44 calculates similarities w1 to w4 between the target patch region Np on the first emphasized image 60 and the reference patch regions Nq1 to Nq4 on the second emphasized image 62, respectively.
  • the noise reduction processing unit 44 performs noise reduction processing by weighting the luminance values of the reference regions Q1 to Q4 in the captured image 61 by using the similarities w1 to w4.
  • FIG. 13 is an explanatory diagram showing another example of the filter processing and noise reduction processing.
  • the filter processing unit 43 performs the filter process on the captured image 50 that is the target of the noise reduction process to generate the first emphasized image 60.
  • the filter processing unit 43 performs a filter process on the captured image 63 different from the captured image 50 (see FIG. 12A) to generate the second enhanced image 64.
  • the captured image 63 differs from the captured image 50 in the direction of interference fringes.
  • the direction of the interference fringes in the captured image 63 is a direction rotated 120 ° with respect to the direction of the interference fringes in the captured image 50 with the clockwise direction being positive.
  • the noise reduction processing unit 44 sets the target patch area Np for the target area P on the first emphasized image 60. Further, the noise reduction processing unit 44 sets reference patch areas Nq1 to Nq4 for the reference areas Q1 to Q4 on the second emphasized image 64. The noise reduction processing unit 44 makes the direction of the reference patch areas Nq1 to Nq4 on the second emphasized image 64 and the interference fringes the same as the direction of the target patch area Np and the interference fringes on the first emphasized image 60. In addition, reference patch areas Nq1 to Nq4 are set.
  • the noise reduction processing unit 44 makes the direction of the interference fringes parallel in the target patch region Np and the reference patch region Nq1.
  • the noise reduction processing unit 44 applies the reference patch region Nq1 to the target patch region Nq1.
  • the patch area Np is set to have a positional relationship rotated by 120 °.
  • the noise reduction processing unit 44 calculates similarities w1 to w4 between the target patch area Np on the first emphasized image 60 and the reference patch areas Nq1 to Nq4 on the second emphasized image 64, respectively. For example, as illustrated in FIG. 13D, the noise reduction processing unit 44 rotates the reference patch area Nq1 so that the outer periphery coincides with the target patch area Np, and the rotated reference patch area Nq1 and the target patch area. The degree of similarity w1 with Np1 is calculated. The noise reduction processing unit 44 calculates the similarities w2 to w4 in the same manner as the similarity w1. As shown in FIG. 13E, the noise reduction processing unit 44 performs noise reduction processing by weighting the luminance values of the reference regions Q1 to Q4 in the captured image 61 using the similarities w1 to w4.
  • FIG. 14 is a diagram illustrating another example of the process of calculating the similarities w1 to w4.
  • the noise reduction processing unit 44 rotates at least a part of the second enhanced image 64 so that the direction of the interference fringes is parallel to the first enhanced image 60.
  • the noise reduction processing unit 44 sets the reference patch areas Nq1 to Nq4 on the second emphasized image 64 after rotation so as to be in a positional relationship parallel to the target patch area Np.
  • the noise reduction processing unit 44 calculates similarities w1 to w4 between the target patch area Np and each of the reference patch areas Nq1 to Nq4.
  • the same components as those in the above-described embodiment are denoted by the same reference numerals, and the description thereof is omitted or simplified.
  • the image processing unit 40 selects a reference region based on the interference fringe information.
  • the information on the interference fringes includes, for example, the direction of the interference fringes.
  • FIG. 15 is a diagram for explaining the noise reduction processing according to the present embodiment.
  • the noise reduction processing unit 44 selects a target region P that is a target for noise reduction from the first emphasized image 60.
  • the noise reduction processing unit 44 sets a region passing through the target region P and parallel to the line direction of the interference fringes as a candidate region Rp (search region).
  • interference fringe setting information indicating the direction of interference fringes (eg, line direction, periodic direction) is stored in the storage device 6 shown in FIG. 2 as interference fringe setting information, for example, and the noise reduction processing unit 44 is stored in the storage device 6.
  • the interference fringe setting information is acquired from the reference area Q, and the reference area Q is selected from the candidate areas Rp set based on the setting information.
  • the image processing unit 40 acquires information on the direction of interference fringes by analyzing at least one of the captured image 50 and the first enhanced image 60 that are the target of noise reduction processing, for example, and the noise reduction processing unit 44 performs analysis.
  • the candidate region Rp may be determined based on the interference fringe direction information obtained by the above.
  • the noise reduction processing unit 44 sequentially selects the reference region Q from the candidate region Rp.
  • the noise reduction processing unit 44 substitutes x + 1 for ⁇ in the above formula, and calculates ⁇ for this ⁇ .
  • sin ⁇ and tan ⁇ in the above formula are irrational numbers, and the calculated ⁇ is an irrational number.
  • the noise reduction processing unit 44 may convert the calculated ⁇ into an integer by, for example, rounding off the decimal point, rounding off, rounding up, etc. Further, the noise reduction processing unit 44 may select the reference region Q in which ⁇ and ⁇ are integers by nearest neighbor interpolation (Nearestighneighbor) or the like.
  • the noise reduction processing unit 44 may use all the pixels belonging to the candidate region Rp as the reference region Q, or may not use some pixels belonging to the candidate region Rp as the reference region Q. For example, the noise reduction processing unit 44 may use only the pixels whose distance to the target region P is equal to or less than a threshold among the pixels belonging to the candidate region Rp as the reference region Q. Further, the noise reduction processing unit 44 may use, for the reference region Q, pixels that are randomly selected from all the pixels belonging to the candidate region Rp.
  • the noise reduction processing unit 44 performs noise reduction processing based on the light intensity information of the plurality of reference regions Q. For example, the noise reduction processing unit 44 weights the luminance value of the reference region Q (calculates a weighted average of the luminance values), and sets the result as the corrected luminance value in the target region P. For example, as described with reference to FIG. 8, the noise reduction processing unit 44 determines a weighting coefficient based on the similarity between the target patch area Np and the reference patch area Nq.
  • the weighting coefficient may be determined based on a parameter other than the similarity, for example, a distance between the target region P and the reference region Q (eg, proportional to the reciprocal of the distance). Further, the noise reduction processing unit 44 may calculate the corrected luminance value in the target region P using a method other than the weighted average, for example, calculate an arithmetic average of the luminance values of the plurality of reference regions Q. Then, the result may be the corrected luminance value of the target area P.
  • a parameter other than the similarity for example, a distance between the target region P and the reference region Q (eg, proportional to the reciprocal of the distance).
  • the noise reduction processing unit 44 may calculate the corrected luminance value in the target region P using a method other than the weighted average, for example, calculate an arithmetic average of the luminance values of the plurality of reference regions Q. Then, the result may be the corrected luminance value of the target area P.
  • the image processing unit 40 performs noise reduction processing based on the interference fringe information. Therefore, for example, the positional relationship between the plurality of reference regions Q and the interference fringes is the same as the positional relationship between the target region P and the interference fringes, and noise can be reduced while ensuring the contrast of the interference fringes.
  • the image processing unit 40 selects a reference region based on the interference fringe information.
  • the information on the interference fringes includes, for example, information on the direction of the interference fringes and the period of the interference fringes.
  • the information regarding the period of the interference fringes includes, for example, at least one of the period of the interference fringes and the spatial frequency of the interference fringes.
  • FIG. 16 is a diagram for explaining the noise reduction processing according to the present embodiment.
  • the noise reduction processing unit 44 selects a target region P that is a target for noise reduction from the first enhanced image 60.
  • the noise reduction processing unit 44 passes through the target region P and is parallel to the line direction of the interference fringes, and the second candidate region Rpa is parallel to the first candidate region Rpa.
  • a region including the candidate region Rpb is set as a candidate region Rp (search region).
  • the second candidate region Rpb is a band-like region that is periodically arranged at intervals of ⁇ with respect to the first candidate region Rpa.
  • the noise reduction processing unit 44 sequentially selects the reference region Q from the candidate region Rp.
  • the coordinate of the reference region Q is Q ( ⁇ , ⁇ )
  • n is a number corresponding to a band-like region (eg, first candidate region Rpa) included in the candidate region Rp.
  • n corresponding to the first candidate region Rpa is set to 0.
  • n corresponding to the second candidate region Rpb is set to +1, +2, +3,...
  • the noise reduction processing unit 44 calculates the light intensity information of the target area P based on the light intensity information of the plurality of reference areas Q.
  • white noise random noise
  • Information regarding the period of interference fringes (eg, ⁇ , spatial frequency) is stored in the storage device 6 shown in FIG. 2 as interference fringe setting information, for example, and the noise reduction processing unit 44 receives interference from the storage device 6.
  • Stripe setting information is acquired and a candidate region Rp is set.
  • the image processing unit 40 acquires information on the period of the interference fringes by analyzing at least one of the captured image 50 and the first emphasized image 60 that are subject to noise reduction processing, and the noise reduction processing unit 44 analyzes
  • the reference region Q may be selected from the candidate regions Rp set based on the interference fringe period information obtained by the above.
  • the noise reduction processing unit 44 weights the luminance value of the reference region Q (calculates a weighted average of the luminance values), for example, and sets the result as the corrected luminance value in the target region P. For example, as described with reference to FIG. 8, the noise reduction processing unit 44 determines a weighting coefficient based on the similarity between the target patch area Np and the reference patch area Nq.
  • the noise reduction processing unit 44 may use all the pixels belonging to the candidate region Rp as the reference region Q, or may not use some pixels belonging to the candidate region Rp as the reference region Q. For example, the noise reduction processing unit 44 may not select the reference region Q from the first candidate region Rpa. Further, the noise reduction processing unit 44 may not select the reference region Q from one or more regions among the plurality of strip-shaped regions included in the second candidate region Rpb.
  • the noise reduction processing unit 44 selects the reference region Q from the image including the target region P in the above-described embodiment. Region Q is selected. That is, the reference region Q is selected from a reference image in which the phase of interference fringes is different from an image to be subjected to noise reduction processing or an image generated from this image.
  • the noise reduction processing unit 44 performs noise reduction processing based on, for example, information on the direction of interference fringes, information on the period, and information on the phase.
  • FIG. 17 is a conceptual diagram showing a first enhanced image 60 generated from an image targeted for noise reduction processing and a second enhanced image 65 generated from a reference image.
  • the second enhanced image 65 is different from the first enhanced image 60 in the phase of the interference fringes.
  • the positional relationship between the interference fringes is expressed using a characteristic portion 53 (for example, the center line of the bright portion).
  • the second enhanced image 65 includes one of the interference fringe feature portions 53 (indicated by reference numeral 53x) in the first enhanced image 60 and a candidate region Rpx when a reference region is selected from the first enhanced image 60. Is shown for comparison.
  • the second enhanced image 65 has the same interference fringe direction (for example, line direction) as the first enhanced image 60, and the position of the interference fringe is ⁇ d (2 ⁇ dsin ⁇ / ⁇ in phase) with the first enhanced image 60 in the horizontal scanning direction. Is equivalent).
  • the noise reduction processing unit 44 sets the candidate area Rp in the second emphasized image 65 at a position shifted by ⁇ d in the horizontal scanning direction with respect to the candidate area Rpx when the reference area is set in the first emphasized image 60. .
  • the reference area Q is selected from such candidate areas Rp, the distance between the reference area Q and the characteristic portion 53 in the horizontal scanning direction is dx.
  • the candidate region Rp is, for example, a linear (band-like) region, and the angle with the horizontal scanning direction is ⁇ .
  • the noise reduction processing unit 44 sets a reference patch region Nq for the selected reference region Q, and the similarity between the target patch region Np on the first emphasized image 60 and the reference patch region Nq on the second emphasized image 65 Calculate w.
  • the noise reduction processing unit 44 performs noise reduction processing by weighting the luminance value of the reference region Q on the second emphasized image 65 by the similarity w. Since the positional relationship between the reference region Q and the interference fringes is equivalent to the positional relationship between the target region P and the interference fringes, noise can be reduced while ensuring the contrast of the interference fringes.
  • FIG. 18 is a flowchart showing the noise reduction processing according to the present embodiment.
  • the image processing unit 40 acquires data of an image to be subjected to noise reduction processing, and generates a first enhanced image in which interference fringes of the image to be subjected to noise reduction processing are emphasized in step S41.
  • the image processing unit 40 acquires the direction and phase of the interference fringes on the target image for noise reduction processing or the first enhanced image.
  • the image processing unit 40 acquires reference image data in step S43, and generates a second enhanced image in which the interference fringes of the reference image are enhanced in step S44.
  • step S45 the image processing unit 40 acquires the direction and phase of interference fringes on the reference image or the second enhanced image.
  • the image processing unit 40 uses the information acquired in step S42 and the information acquired in step S45 to calculate the amount of change in the phase of the interference fringes in step S46.
  • the image processing unit 40 is at least one of step S42 and step S45.
  • the phase difference information may be acquired in step S46, and the process of step S46 may not be performed.
  • the image processing unit 40 acquires information regarding the interference fringe period in at least one of step S42 and step S45. May be.
  • the image processing unit 40 selects the target area P from the first emphasized image in step S47, and sets the target patch area Np for the target area P in step S48 (see FIG. 17A).
  • the image processing unit 40 sets the candidate region Rp in the second enhanced image based on the amount of change in the interference fringe phase calculated in step S46 (see FIG. 17B).
  • the image processing unit 40 selects the reference region Q from the candidate region Rp in the second emphasized image.
  • the image processing unit 40 sets a reference patch area Nq for the reference area Q in the second emphasized image.
  • step S52 the image processing unit 40 calculates the similarity w between the target patch area Np in the first emphasized image and the reference patch area Nq in the second emphasized image.
  • step S53 the image processing unit 40 determines whether or not the calculation of the similarity w for all the reference regions Q scheduled among the candidate regions Rp set in step S49 has been completed. If the image processing unit 40 determines that there is a reference region Q for which the calculation of the similarity score w has not been completed (step S53; No), the image processing unit 40 returns to step S50 and selects the next reference region Q. The image processing unit 40 repeats the processes in steps S50 to S53, thereby calculating the similarity w for all scheduled reference areas Q (eg, all pixels in the candidate area Rp) in the candidate area Rp. To do.
  • step S53 the luminance value of the reference region Q in the reference image is determined as the similarity in step S54. Weight with.
  • step S55 the image processing unit 40 determines whether or not the processing has been completed for all the target regions P that are scheduled. If the image processing unit 40 determines that there is a target region P that has not been processed (step S55; No), the image processing unit 40 returns to step S47 and selects the next target region P on the first emphasized image 60. The image processing unit 40 performs processing for all scheduled target areas P (for example, all pixels) by repeating the processing of steps S47 to S55.
  • step S55 when the image processing unit 40 determines that the processing of all scheduled target areas P has been completed (step S55; Yes), whether or not the processing of all scheduled reference images has been completed in step S56. Determine whether. If it is determined that there is a reference image that has not been processed (step S56; No), the image processing unit 40 returns to step S43 and acquires the next reference image.
  • the image processing unit 40 performs noise reduction processing using all scheduled reference images by repeating the processing of steps S43 to S56.
  • step S54 the noise reduction processing unit 44 adjusts the weighting coefficient according to the number of reference images, and integrates the weighted luminance values with the plurality of reference images.
  • the luminance value of the target area P is calculated.
  • the noise reduction processing unit 44 sets the weighting coefficient to 1/3 of the similarity, and in the process of step S54 for the first reference image, the noise reduction processing unit 44 A temporary luminance value is calculated.
  • the noise reduction processing unit 44 weights the luminance value of the reference area Q in each of the second and third reference images in the process of step S54 for the second and third reference images.
  • the provisional luminance value is updated by adding to the provisional luminance value.
  • the noise reduction process part 44 may perform the process of step S54 after the process of step S56.
  • step S56 If the image processing unit 40 determines that all scheduled reference images have been processed (step S56; Yes), the series of processing ends.
  • the image processing unit 40 sequentially performs the processing of steps S40 to S56 on the plurality of scheduled images, thereby performing all the planned processing. Noise reduction processing is performed on each image.
  • the noise reduction processing unit 44 selects the reference region Q from the reference image in which the phase of the interference fringes is different from the image including the target region P in the above-described embodiment.
  • a reference region Q is selected from reference images having different stripe directions.
  • the noise reduction processing unit 44 performs noise reduction processing based on information on information on the direction of interference fringes.
  • FIG. 19A is a conceptual diagram showing a second emphasized image 70 having a different interference fringe direction from the first emphasized image 60 (see FIG. 17), and FIG. 19B shows the target patch area Np and the reference patch. It is a conceptual diagram which shows the process which calculates the similarity degree with the area
  • the positional relationship between the interference fringes is expressed using a characteristic portion 53 (for example, the center line of the bright portion).
  • the second emphasized image 70 one of the interference fringe feature portions (indicated by reference numeral 53x) in the first emphasized image 60 is shown for comparison.
  • the direction of the interference fringe (eg, the line direction of the feature 53) is an angle ⁇ (eg, clockwise) from the interference fringe (eg, the line direction of the feature 53x) of the first emphasized image 60. 120 degrees).
  • the line direction of the characteristic portion 53 forms an angle of ( ⁇ + ⁇ ) with the horizontal scanning direction.
  • the noise reduction processing unit 44 sets, as the reference region Q, a region where the distance from the feature unit 53 is dx in the direction D1 rotated by an angle ⁇ from the horizontal scanning direction.
  • the noise reduction processing unit 44 sets, as the candidate region Rp, a region that is parallel to the feature portion 53 and has a distance dx from the feature portion 53 in the direction D1 in the peripheral range Ap, and from the candidate region Rp to the reference region. Select Q in turn.
  • the candidate region Rp is, for example, a linear (band-like) region, and an angle with the horizontal scanning direction is ( ⁇ + ⁇ ).
  • the noise reduction processing unit 44 rotates the reference patch area Nq counterclockwise by an angle ⁇ , and the degree of similarity between the rotated reference patch area Nq and the target patch area Np. Is calculated. Further, the noise reduction processing unit 44 performs noise reduction processing by weighting the luminance value of the reference region Q of the target image of the noise reduction processing with the similarity w.
  • the positional relationship between the reference region Q and the interference fringes is equivalent to the positional relationship between the target region P and the interference fringes, and noise can be reduced while ensuring the contrast of the interference fringes.
  • FIG. 20 is a conceptual diagram illustrating another example of processing for setting the reference region Q and the reference patch region Nq in the second emphasized image 70.
  • the noise reduction processing unit 44 rotates at least a part (for example, the peripheral range Ap) of the second enhanced image 70 counterclockwise by an angle ⁇ , and sets the direction of the interference fringes in the rotated peripheral range Ap to the first The direction of the interference fringes in the first weighted image 60 is matched.
  • the noise reduction processing unit 44 sets, as a candidate region Rp, a belt-like region that passes through a position corresponding to the target region P and forms an angle ⁇ with respect to the horizontal scanning direction in the rotated peripheral range Ap.
  • the noise reduction processing unit 44 sequentially selects the reference region Q from the candidate region Rp, and sets the reference patch region Nq for the reference region Q. Also by such processing, the positional relationship between the reference region Q and the interference fringes can be made equal to the positional relationship between the target region P and the interference fringes.
  • the reference image may be an image in which the phase of the interference fringes is out of phase with that of the noise reduction target image and the direction of the interference fringes is out of alignment.
  • the reference region Q may be set so that the distance between the reference region Q and the interference fringe is equal to the distance between the target region P and the interference fringe in a state where the directions of the interference fringes are aligned.
  • FIG. 21 is a flowchart showing noise reduction processing according to the present embodiment.
  • the noise reduction process shown in FIG. 21 differs from the noise reduction process shown in FIG. 18 in the process of step S60 following step S41 and the process of steps S61 to S63 following step S44.
  • step S60 the noise reduction processing unit 44 acquires the direction of interference fringes in at least one of the image to be subjected to noise reduction processing and the first enhanced image.
  • step S61 the noise reduction processing unit 44 acquires the direction of interference fringes in at least one of the reference image and the second enhanced image.
  • the noise reduction processing unit 44 calculates the amount of change (eg, angle) in the direction of the interference fringes.
  • the noise reduction processing unit 44 sets the candidate region Rp in the second emphasized image 70 in step S63 based on the amount of change in the interference fringe direction calculated in step S63 (see FIG. 17). Hereinafter, the noise reduction processing unit 44 performs the noise reduction processing in the same manner as the processing shown in FIG.
  • the noise reduction processing unit 44 at least one of step S60 and step S61.
  • the information of the interference fringe angle between the noise reduction target image and the reference image is acquired, and the process of step S62 may not be performed.
  • the image processing unit 40 acquires information about the period of interference fringes in at least one of step S60 and step S61. May be.
  • the image processing unit 40 sets one image among a plurality of images that are the basis of the demodulated image as an image to be subjected to noise reduction processing, and uses at least one image other than the image to be subjected to noise reduction processing as a reference image.
  • a noise reduction process For example, as in the first embodiment, an image targeted for noise reduction processing can be used for noise reduction processing.
  • the image in which the reference region Q is set among the nine images may be only one image that is the target of the noise reduction process, There may be two or more images including the noise reduction target image and at least one of the eight reference images, and at least one of the eight reference images not including the noise reduction target image.
  • the structured illumination microscope 1 acquires a plurality of captured images having the same direction and phase of interference fringes, and the image processing unit 40 performs noise reduction processing using the plurality of captured images having the same direction and phases of interference fringes. You may go.
  • the image processing unit 40 selects, for example, images to be subjected to noise reduction processing in order from a plurality of images (for example, nine captured images) from which a demodulated image is based, and for two or more of the plurality of images Perform noise reduction processing. For example, when nine images are acquired in the 2D-SIM mode, the image processing unit 40 performs noise reduction processing on each of the nine images.
  • FIG. 22A is a diagram illustrating a modification of the candidate region Rp
  • FIG. 22B is a conceptual diagram illustrating a process of calculating the similarity w.
  • the number of candidate regions Rp set during one cycle of the interference fringes is one in the above-described embodiment (see FIGS. 15 and 16), but is two in the present modification.
  • Candidate region Rp includes candidate region Rpc and candidate region Rpd similar to those in the above-described embodiment.
  • the candidate area Rpd is an area parallel to the candidate area Rpc, and the position in the horizontal scanning direction is different from that of the candidate area Rpc.
  • Candidate region Rpc is arranged, for example, at a position away from feature 53 by a distance dx in the positive direction of the horizontal scanning direction.
  • Candidate region Rpd is arranged, for example, at a position away from feature 53 by distance dx in the negative direction of the horizontal scanning direction.
  • the noise reduction processing unit 44 sets the candidate region Rp based on, for example, information on the direction of the interference fringes, information on the period of the interference fringes, and information on the phase of the interference fringes.
  • the noise reduction processing unit 44 performs a reference patch region Nq (hereinafter referred to as a reference patch) set for a reference region Q (hereinafter referred to as a reference region Qa) selected from the candidate regions Rpc.
  • a reference patch region Nq hereinafter referred to as a reference patch
  • Qb a reference region selected from the candidate region Rpd by 180 °.
  • the rotated reference patch region Nqb has the same positional relationship with the interference fringes (for example, the characteristic portion 53) as the reference patch region Nqa.
  • the noise reduction processing unit 44 calculates the similarity between the target patch area Np and the rotated reference patch area Nqb, and weights the luminance value of the reference area Qb with the similarity.
  • the image processing unit 40 uses, for example, an image captured by the image sensor 32 as an image to be subjected to noise reduction processing as illustrated in FIG. 3, but an image generated using the captured image is an image. It is good also as an image of the object of noise reduction processing.
  • the image processing unit 40 calculates the similarity for all the reference regions Q in the candidate region Rp, and then weights the luminance value by the similarity. Note that the image processing unit 40 accumulates the luminance values weighted by the similarity w every time the similarity w is calculated in step S16, and weights after calculating the similarity w for all the reference regions Q.
  • the integrated value of luminance values may be normalized.
  • control device 4 reads a control program stored in the storage device 6, for example, and executes various processes according to the control program.
  • This control program for example, irradiates a computer with excitation light for exciting a fluorescent substance contained in the sample with interference fringes, controls the direction and phase of the interference fringes, Forming an image of the irradiated sample, capturing an image to generate a captured image, performing a filter process in a frequency domain of the captured image or an image generated from the captured image, and a filter process Control of processing including performing noise reduction processing on the performed image and performing demodulation processing using the image on which noise reduction processing has been performed is executed.
  • the image processing unit 40 may read an image processing program stored in the storage device 6, for example, and execute various image processing according to the image processing program.
  • this image processing program irradiates a sample with excitation light for exciting a fluorescent substance contained in the sample with interference fringes, controls the direction and phase of the interference fringes, and creates an image of the sample irradiated with the interference fringes.
  • the computer uses the captured image generated by imaging, the computer performs filtering processing in the frequency domain of the captured image or the image generated from the captured image, and performs noise reduction processing on the filtered image. Do what you do.
  • the image processing program may cause the computer to generate a demodulated image using the image after the noise reduction processing. This image processing program may be a part of the control program.
  • SYMBOLS 1 Structured illumination microscope, 11 ... Illumination optical system, 15 ... Branch part, 31 ... Imaging optical system, 32 ... Image sensor, 40 ... Image processing unit, 41 ... control unit, 50 ... captured image, Np ... target patch area, Nq: reference patch area, P: target area, Q: reference area, Rp ... search area, X ... sample, w ... similarity

Abstract

【課題】干渉縞のコントラストを確保しつつノイズを低減することが可能な構造化照明顕微鏡を提供する。 【解決手段】構造化照明顕微鏡（１）は、試料（Ｘ）に含まれる蛍光物質を励起するための励起光を、干渉縞で試料に照射する照明光学系（１１）と、干渉縞の方向および位相を制御する制御部（４１）と、干渉縞が照射された試料の像を形成する結像光学系（３１）と、結像光学系が形成した像を撮像して撮像画像を生成する撮像素子（３２）と、撮像画像を用いて復調処理を行う画像処理部（４０）と、を備える構造化照明顕微鏡であって、画像処理部は、撮像画像または撮像画像から生成された画像の周波数領域においてフィルタ処理を行うフィルタ処理部と、フィルタ処理が行われた画像に対してノイズ低減処理を行うノイズ低減処理部と、ノイズ低減処理が行われた画像を用いて復調処理を行う復調部と、を備える。

Description

構造化照明顕微鏡、観察方法、及び画像処理プログラム
　本発明は、構造化照明顕微鏡、観察方法、及び画像処理プログラムに関する。
　顕微鏡装置において、光学系の分解能を越えた観察を可能とする超解像顕微鏡がある。この超解像顕微鏡の一形態として、構造化照明により試料を照明して変調画像を取得し、その変調画像を復調することにより、試料の超解像画像を生成する構造化照明顕微鏡（ＳＩＭ：Structured Illumination Microscopy）が知られている（例えば、特許文献１を参照）。この手法においては、光源から射出された光束を回折格子等により複数の光束に分岐し、それらの光束を試料の近傍で互いに干渉させることで形成された干渉縞で試料を照明することにより、試料の変調画像を取得している。
米国再発行特許発明第３８３０７号明細書
　ところで、変調画像、あるいは変調画像から生成される画像にノイズ低減処理を行う場合に、例えば平滑化フィルタを用いると干渉縞のコントラストが低下し、復調処理により得られる画像の品質が低下することがある。本発明は、上述の事情に鑑みなされたものであり、干渉縞のコントラストを確保しつつノイズを低減することが可能な構造化照明顕微鏡、観察方法、及び画像処理プログラムを提供することを目的とする。
　本発明の第１の態様に従えば、試料に含まれる蛍光物質を励起するための励起光を、干渉縞で試料に照射する照明光学系と、干渉縞の方向および位相を制御する制御部と、干渉縞が照射された試料の像を形成する結像光学系と、結像光学系が形成した像を撮像して撮像画像を生成する撮像素子と、撮像画像を用いて復調処理を行う画像処理部と、を備える構造化照明顕微鏡であって、画像処理部は、撮像画像または撮像画像から生成された画像の周波数領域においてフィルタ処理を行うフィルタ処理部と、フィルタ処理が行われた画像に対してノイズ低減処理を行うノイズ低減処理部と、ノイズ低減処理が行われた画像を用いて復調処理を行う復調部と、を備えることを特徴とする構造化照明顕微鏡が提供される。
　本発明の第２の態様に従えば、試料に含まれる蛍光物質を励起するための励起光を、干渉縞で試料に照射することと、干渉縞の方向および位相を制御することと、干渉縞が照射された試料の像を形成することと、像を撮像して撮像画像を生成することと、撮像画像を用いて復調処理を行うことと、を含む観察方法であって、撮像画像または撮像画像から生成された画像の周波数領域においてフィルタ処理を行うことと、フィルタ処理が行われた画像に対してノイズ低減処理を行うことと、ノイズ低減処理が行われた画像を用いて復調処理を行うことと、を含むことを特徴とする観察方法が提供される。
　本発明の第３の態様に従えば、試料に含まれる蛍光物質を励起するための励起光を干渉縞で試料に照射し、干渉縞の方向および位相を制御し、干渉縞が照射された試料の像を撮像して生成される撮像画像を用いて、コンピュータに、撮像画像または撮像画像から生成された画像の周波数領域においてフィルタ処理を行うことと、フィルタ処理が行われた画像に対してノイズ低減処理を行うことと、ノイズ低減処理が行われた画像を用いて復調処理を行うことと、を実行させることを特徴とする画像処理プログラムが提供される。
　本発明によれば、干渉縞のコントラストを確保しつつノイズを低減することが可能な構造化照明顕微鏡、観察方法、及び制御プログラムを提供することができる。
実施形態に係る構造化照明顕微鏡を示す図である。 制御装置の機能構成を示すブロック図である。 画像処理部の各部における入出力データを示す図である。 ノイズ低減処理の対象の画像および第１強調画像を示す概念図である。 第１強調画像を生成する処理の一例を示す説明図である。 バンドパスフィルタの他の例を示す図である。 フィルタ処理およびノイズ低減処理を示す説明図である。 第１強調画像を用いたノイズ低減処理の一例を示す説明図である。 実施形態に係る観察方法を示すフローチャートである。 第１実施形態に係るノイズ低減処理を示すフローチャートである。 第１強調画像を生成する処理を示すフローチャートである。 フィルタ処理およびノイズ低減処理の他の例を示す説明図である。 フィルタ処理およびノイズ低減処理の他の例を示す説明図である 類似度を算出する処理の他の例を示す説明図である。 第２実施形態に係るノイズ低減処理を説明するための図である。 第３実施形態に係るノイズ低減処理を説明するための図である。 第４実施形態に係るノイズ低減処理を説明するための図である。 第４実施形態に係るノイズ低減処理を示すフローチャートである。 第５実施形態に係るノイズ低減処理を説明するための図である。 参照領域、参照パッチ領域を設定する処理の他の例を示す概念図である。 第５実施形態に係るノイズ低減処理を示すフローチャートである。 候補領域Ｒｐ、類似度を算出する処理の変形例を示す概念図である。
［第１実施形態］
　次に、図面を参照しながら実施形態について説明する。図１は、実施形態に係る構造化照明顕微鏡１を示す図である。構造化照明顕微鏡１は、構造化照明装置２と、撮像装置３と、制御装置４と、表示装置５と、記憶装置６とを備える。構造化照明顕微鏡１は、例えば蛍光顕微鏡であり、予め蛍光染色された細胞などを含む試料Ｘの観察などに利用される。試料Ｘは、例えば、ステージ（図示せず）に保持される。
　構造化照明顕微鏡１は、概略すると以下のように動作する。構造化照明装置２は、干渉縞を形成し、干渉縞で試料Ｘを照明する。撮像装置３は、干渉縞により照明されている試料Ｘの蛍光像を撮像する。この蛍光像は、干渉縞により変調されたモアレ像である。制御装置４は、構造化照明顕微鏡１の各部を制御する。制御装置４は、構造化照明装置２を制御して、干渉縞を複数の状態に切り替える。制御装置４は、撮像装置３を制御して、干渉縞の複数の状態のそれぞれにおいて試料Ｘの像を撮像させ、複数の画像を取得する。制御装置４は、複数の画像を用いて復調処理を行うことにより、撮像装置３の光学系の解像限界を超えた超解像画像を形成することができる。制御装置４は、例えば、形成した超解像画像を表示装置５に表示させる。また、制御装置４は、例えば、形成した超解像画像（復調画像）のデータを記憶装置６に記憶させる。
　構造化照明顕微鏡１は、試料Ｘのうち観察対象の面（以下、試料面という）の２次元的な超解像画像を形成する２Ｄ－ＳＩＭモードと、試料面に垂直な方向の情報を含む３次元的な３次元超解像画像を形成する３Ｄ－ＳＩＭモードとを有する。以下、２Ｄ－ＳＩＭモードを中心に説明した後、３Ｄ－ＳＩＭモードについて説明する。
　構造化照明装置２は、光源部１０と、照明光学系１１とを備える。光源部１０は、例えばレーザダイオードを含み、レーザ光などの可干渉光を発する。以下の説明において、光源部１０から発せられた光を照明光という。構造化照明顕微鏡１により蛍光観察を行う場合、照明光の波長は、試料Ｘに含まれる蛍光物質の励起波長を含む波長帯に設定される。
　なお、光源部１０の少なくとも一部は、構造化照明装置２に含まれていなくてもよい。例えば、光源部１０は、ユニット化されており、構造化照明装置２に交換可能（取り付け可能、取り外し可能）に設けられていてもよい。例えば、光源部１０は、構造化照明顕微鏡１による観察時などに、構造化照明装置２に取り付けられてもよい。
　照明光学系１１は、試料Ｘに含まれる蛍光物質を励起するための励起光（照明光）を、干渉縞で試料に照射する。照明光学系１１は、光源部１０から試料Ｘに向かう順に、集光レンズ１２、導光部材１３、及びコリメータ１４、及び分岐部１５を備える。導光部材１３は、例えば光ファイバーを含む。集光レンズ１２は、光源部１０からの照明光を、導光部材の光入射側の端面に集光する。導光部材１３は、集光レンズ１２からの照明光をコリメータ１４へ導く。コリメータ１４は、導光部材１３からの照明光を平行光に変換する。
　照明光学系１１は、分岐部１５によって照明光を複数の回折光に分岐し、複数の回折光の干渉により形成される干渉縞で試料Ｘを照明する。図１には、複数の光束のうち、０次回折光（実線で示す）、＋１次回折光（破線で示す）、及び－１次回折光（２点鎖線で示す）を示した。以下の説明において、回折光のうち＋１次回折光と－１次回折光の一方または双方を指す場合に、単に１次回折光と表記する。また、１次回折光が０次回折光に対して偏向する方向（図１ではＺ方向）を、分岐方向という。
　照明光学系１１は、２Ｄ－ＳＩＭモードにおいて、複数の回折光のうち＋１次回折光と－１次回折光との干渉により形成される干渉縞によって試料を照明する。２Ｄ－ＳＩＭモードにおいて、照明光学系１１は、例えば、＋１次回折光と－１次回折光との干渉縞を形成し、０次回折光および２次以上の回折光を干渉縞の形成に用いない。
　照明光学系１１は、例えば、球面レンズ、非球面レンズなどの回転対称な形状のレンズ部材を含む。以下、このレンズ部材の対称軸を、照明光学系１１の光軸１１ａという。なお、照明光学系１１は、自由曲面レンズを含んでいてもよい。
　分岐部１５は、照明光を複数の回折光に分岐する。分岐部１５は、例えば、回折格子１６および駆動部１７を備える。回折格子１６は、照明光学系１１の光軸１１ａに交差する面内に、例えば１次元の周期構造を有する。この周期構造において単位構造が並ぶ方向は、上述の分岐方向に相当する。この周期構造は、濃度（透過率）が周期的に変化する構造であってもよいし、段差（位相差）が周期的に変化する構造であってもよい。回折格子１６が位相型である場合、±１次回折光の回折効率が高く、干渉縞の形成に±１次回折光を用いる場合に光量のロスを低減することができる。なお、分岐部１５は、例えば、回折格子１６の代わりに強誘電性液晶を用いた空間光変調素子によって、照明光を複数の光束に分岐する構成でもよい。
　駆動部１７は、回折格子１６を照明光学系１１の光軸１１ａに交差する方向に移動させる。これにより、照明光によって形成される干渉縞の位相が変化する。制御装置４（制御部４１）は、駆動部１７を制御することにより、干渉縞の位相を制御する。また、駆動部１７は、回折格子１６を照明光学系１１の光軸１１ａと平行な軸周りに回転（回動）させる。これにより、照明光によって形成される干渉縞の方向が変化する。制御装置４（制御部４１）は、駆動部１７を制御することにより、干渉縞の方向を制御する。
　２Ｄ－ＳＩＭにおいて１枚の復調画像の生成には、例えば、９枚の画像が用いられる。構造化照明顕微鏡１は、干渉縞の方向を３通りに変更し、干渉縞の各方向について干渉縞の位相を３通りに変更し、干渉縞の方向と位相との組み合わせが異なる９通りの各状態で試料Ｘを撮像する。
　照明光学系１１は、分岐部１５から試料Ｘに向かう順に、レンズ２０、１／２波長板２１、マスク２２、レンズ２３、視野絞り２４、レンズ２５、フィルタ２６、ダイクロイックミラー２７、及び対物レンズ２８を含む。
　分岐部１５で発生した回折光は、レンズ２０に入射する。レンズ２０は、例えば、その焦点が分岐部１５とほぼ一致するように、配置される。レンズ２０は、対物レンズ２８の後側焦点面（瞳面）と共役な位置である、いわゆる瞳共役面Ｐ１において、分岐部１５で分岐した複数の光束のうち同じ次数の回折光を同じ位置に集光する。例えば、レンズ２０は、分岐部１５で発生した０次回折光を、瞳共役面Ｐ１において照明光学系１１の光軸１１ａ上に集光する。レンズ２０は、分岐部１５で発生した＋１次回折光を、光軸１１ａから離れた位置に集光する。レンズ２０は、分岐部１５で発生した－１次回折光を、瞳共役面Ｐ１において光軸１１ａに関して＋１次回折光と対称的な位置に集光する。
　１／２波長板２１は、例えばレンズ２０とレンズ２３との間の光路に配置され、試料Ｘに入射する際の照明光の偏光状態がＳ偏光になるように、照明光の偏光状態を調整する。例えば、図１の状態において、試料Ｘに対する１次回折光の入射面はＸＺ平面であり、１／２波長板２１は、照明光学系１１から射出される照明光の偏光状態がＹ方向の直線偏光になるように、照明光の偏光状態を調整する。分岐部１５において回折方向が変更されると試料Ｘに対する１次回折光の入射面がＺ方向の周りで回転するため、１／２波長板２１は、回折方向に応じて照明光の偏光状態を調整する。なお、１／２波長板２１は、分岐部１５と試料Ｘとの間の光路のいずれの位置に配置されていてもよい。
　マスク２２は、干渉縞の形成に使われる回折光を通し、干渉縞の形成に使われない回折光を遮断する。マスク２２は、２Ｄ－ＳＩＭモードにおいて、１次回折光を通し、０次回折光および２次以上の回折光を遮断する。マスク２２は、１次回折光の光路が０次回折光の光路から分離する位置、例えば瞳共役面Ｐ１に配置される。マスク２２は、例えば開口絞りであり、試料Ｘに入射する光線の角度を規定する。２Ｄ－ＳＩＭモードにおいて、マスク２２は、０次回折光が入射する部分が遮光部になり、１次回折光が入射する分が開口部（透過部）になる。
　マスク２２を通った照明光は、レンズ２３に入射する。レンズ２３は、分岐部１５と光学的に共役な中間像面２３ａを形成する。視野絞り２４は、例えば中間像面２３ａに配置される。視野絞り２４は、照明光学系１１の光軸１１ａに垂直な面内において、照明光学系１１から試料Ｘに照明光が照射される範囲（照野、照明領域）を規定する。
　視野絞り２４を通った照明光は、レンズ２５に入射する。レンズ２５は、例えば第２対物レンズである。レンズ２５は、分岐部１５上の各点からの＋１次回折光を、対物レンズ２８の後側焦点面（瞳面Ｐ０）に集光する。また、レンズ２５は、分岐部１５上の各点からの－１次回折光を、対物レンズ２８の後側焦点面（瞳面Ｐ０）の他の位置に集光する。つまり、レンズ２５は、分岐部１５の各点からの－１次回折光を、照明光学系１１の光軸に関して＋１次回折光と対称的な位置に集光する。
　レンズ２５を通った照明光は、フィルタ２６に入射する。フィルタ２６は、例えば励起フィルタであり、試料Ｘに含まれる蛍光物質の励起波長を含む波長帯の光が選択的に通る特性を有する。フィルタ２６は、例えば、照明光のうち励起波長以外の波長の少なくとも一部、迷光、外光などを遮断する。フィルタ２６を通った光は、ダイクロイックミラー２７に入射する。ダイクロイックミラー２７は、試料Ｘに含まれる蛍光物質の励起波長を含む波長帯の光が反射し、試料Ｘからの光のうち所定の波長帯の光（例、蛍光）が通る特性を有する。フィルタ２６からの光は、ダイクロイックミラー２７で反射し、対物レンズ２８に入射する。
　対物レンズ２８は、中間像面２３ａと光学的に共役な面、すなわち分岐部１５と光学的に共役な面を試料Ｘ上に形成する。つまり、対物レンズ２８は、試料Ｘ上に、構造化照明を形成する。＋１次回折光は、対物レンズ２８の瞳面Ｐ０上で光軸１１ａから離れたスポットを形成する。－１次回折光は、瞳面Ｐ０において、光軸１１ａに関して＋１次回折光と対称的な位置にスポットを形成する。１次回折光が形成するスポットは、例えば、瞳面Ｐ０の外周部に配置される。１次回折光は、対物レンズ２８の開口数（ＮＡ）に応じた角度で焦点面に入射する。
　試料Ｘは、観察時に、その観察対象の部分が対物レンズ２８の焦点面に配置される。２ＤＳＩＭモードにおいて、試料Ｘに形成される干渉縞は、例えば、照明光学系１１の光軸１１ａに垂直な方向（ＸＹ面内）に光強度の周期的な分布を有する。この干渉縞は、分岐部１５の周期方向に応じた方向に、ライン状の明部と暗部とが周期的に並ぶパターンである。ここでは、干渉縞において、明部および暗部に平行な方向をライン方向と称し、明部と暗部とが並ぶ方向を周期方向と称する。干渉縞の方向は、例えば、ライン方向と周期方向の少なくとも一方により規定される。
　試料Ｘのうち干渉縞の明部に配置されている部分は、蛍光物質が励起されて、蛍光を発する。以下、試料Ｘの構造（例、蛍光物質）の分布を蛍光密度分布という。試料Ｘの蛍光像は、照明光学系１１が形成する干渉縞と、試料Ｘの蛍光密度分布とのモアレ像である。撮像装置３は、このモアレ像の画像を取得する。
　撮像装置３は、結像光学系３１および撮像素子３２を備える。結像光学系３１は、対物レンズ２８、ダイクロイックミラー２７、フィルタ３３、及びレンズ３４を備える。結像光学系３１は、対物レンズ２８およびダイクロイックミラー２７を照明光学系１１と共用している。試料Ｘからの光（以下、観察光という）は、対物レンズ２８に入射して平行化され、ダイクロイックミラー２７を通ってフィルタ３３に入射する。
　フィルタ３３は、例えば蛍光フィルタである。フィルタ３３は、試料Ｘからの観察光のうち所定の波長帯の光（例、蛍光）が選択的に通る特性を有する。フィルタ３３は、例えば、試料Ｘで反射した照明光、外光、迷光などを遮断する。フィルタ３３を通った光は、レンズ３４に入射する。レンズ３４は、対物レンズ２８の焦点面（物体面）と光学的に共役な面（像面）を形成する。試料Ｘからの蛍光による像（モアレ像）は、この像面に形成される。
　撮像素子３２は、例えばＣＣＤイメージセンサやＣＭＯＳイメージセンサなどの二次元イメージセンサを含む。撮像素子３２は、例えば、二次元的に配列された複数の画素を有し、各画素にフォトダイオードなどの光電変換素子が配置された構造である。撮像素子３２は、例えば、光電変換素子への観察光の照射によって生じた電荷を、読出回路によって読み出す。撮像素子３２は、読み出された電荷をデジタルデータ（例、８ビットの階調値）に変換し、画素の位置と階調値とを関連付けたデジタル形式の画像データを出力する。
　構造化照明顕微鏡１は、撮像装置３が取得した撮像画像を使って画像処理を行う画像処理部４０を備える。画像処理部４０は、例えば、制御装置４に設けられるが、制御装置４と別に設けられていてもよい。画像処理部４０は、撮像素子３２が撮像した撮像画像に対してノイズ低減処理を行い、ノイズ低減処理後の画像を用いて復調画像を生成する。
　図２は、制御装置４の機能構成を示すブロック図である。制御装置４は、制御部４１、画像処理部４０、及び記憶部４２を備える。制御装置４は、例えば、ＣＰＵおよびＲＡＭを備えるコンピュータシステムを含み、記憶部４２はＲＡＭなどのワークメモリである。制御部４１は、撮像素子３２から撮像画像のデータを取得し、撮像画像のデータを記憶装置６に記憶させる。画像処理部４０は、撮像画像のデータを記憶装置６から取得し、画像処理を行う。画像処理部４０は、フィルタ処理部４３、ノイズ低減処理部４４、及び復調部４５を備える。
　図３は、画像処理部４０の各部における入出力データを示す図である。フィルタ処理部４３は、撮像画像のデータを取得する。フィルタ処理部４３は、周波数領域においてフィルタ処理を行う。例えば、フィルタ処理部４３は、撮像画像から干渉縞の周波数を含む所定周波数の領域を抽出した画像を生成する。フィルタ処理部４３は、フィルタ処理された画像のデータを出力する。ノイズ低減処理部４４は、撮像画像のデータおよびフィルタ処理された画像のデータを取得する。ノイズ低減処理部４４は、ノイズ低減処理の対象の撮像画像に対して、フィルタ処理された画像を用いてノイズ低減処理を行い、ノイズが低減された画像を生成する。ノイズ低減処理部４４は、ノイズが低減された画像のデータを出力する。復調部４５は、ノイズ低減処理部４４により生成されたノイズが低減された画像のデータを取得し、ノイズが低減された画像を用いて復調画像を生成（構築）する。復調部４５は、復調画像のデータを出力する。制御部４１は、例えば、復調画像のデータを記憶装置６に記憶させる。制御部４１は、例えば、復調画像のデータを表示装置５（図１参照）に供給し、表示装置５に復調画像を表示させる。
　なお、画像処理部４０は、図３（Ｂ）および図３（Ｃ）に示すように、中間画像生成部４６を備えていてもよい。中間画像生成部４６は、例えば、復調画像を生成する処理の前処理を行って、中間画像を生成する。例えば、中間画像生成部４６は、図３（Ｂ）に示すように、ノイズ低減処理部４４が生成したノイズが低減された画像のデータを取得し、ノイズが低減された画像を用いて中間画像を生成する。中間画像生成部４６は、中間画像のデータを出力する。復調部４５は、中間画像生成部４６が生成した中間画像のデータを取得し、中間画像を用いて復調画像を生成（構築）する。復調部４５は、復調画像のデータを出力する。
　なお、ノイズ低減処理部４４は、中間画像に対してノイズ低減処理を行ってもよい。例えば、図３（Ｃ）に示すように、中間画像生成部４６は、撮像画像のデータを取得し、撮像画像を用いて中間画像を生成する。中間画像生成部４６は、中間画像のデータを出力する。フィルタ処理部４３は、中間画像のデータを取得する。フィルタ処理部４３は、中間画像から干渉縞の周波数を含む所定周波数の領域を抽出した画像（フィルタ処理された画像）を生成する。フィルタ処理部４３は、フィルタ処理された画像のデータを出力する。ノイズ低減処理部４４は、中間画像のデータおよびフィルタ処理された画像のデータを取得する。ノイズ低減処理部４４は、フィルタ処理された画像を用いて、中間画像に対してノイズ低減処理を行って、ノイズが低減された画像を生成する。ノイズ低減処理部４４は、ノイズが低減された画像のデータを出力する。復調部４５は、ノイズが低減された画像のデータを取得し、ノイズが低減された画像を用いて復調画像を生成する。復調部４５は、復調画像のデータを出力する。
　以下、画像処理部４０が実行する画像処理について、より詳しく説明する。フィルタ処理部４３は、撮像画像または撮像画像から生成された画像から、干渉縞のコントラストを変化させる。例えば、フィルタ処理部４３は、フィルタ処理された画像として、干渉縞を強調した画像（以下、強調画像という）を生成する。
　図４は、ノイズ低減処理の対象の撮像画像５０および第１強調画像６０を示す概念図である。撮像画像５０は、例えば、試料Ｘの構造（例、蛍光物質）の分布（蛍光密度分布）に相当する試料部５１、及び干渉縞に相当する縞部５２を含む。縞部５２は、明部５２ａおよび暗部５２ｂを有し、明部５２ａと暗部５２ｂとが交互に周期的に並ぶパターンである。明部５２ａおよび暗部５２ｂは、それぞれ線状（帯状）である。以下、明部５２ａと暗部５２ｂとに平行な方向をライン方向と称し、明部５２ａおよび暗部５２ｂが並ぶ方向を周期方向と称す。周期方向は、ライン方向と直交する方向である。第１強調画像６０は、明部５２ａと暗部５２ｂとのコントラストがノイズ低減処理の対象の撮像画像５０よりも高い画像である。
　図５は、第１強調画像６０を生成する処理の一例を示す説明図である。図５（Ａ）に示すように、フィルタ処理部４３は、撮像画像５０のデータを取得し、撮像画像５０を２次元フーリエ変換することにより、パワースペクトルＰＳのデータを生成する。パワースペクトルＰＳは、干渉縞の周期に応じたピーク５５を有する。ピーク５５は、原点に対して対称的にあらわれる。また、ピーク５５よりも低周波側の領域には、試料部５１の情報を含んだ分布があり、ピーク５６があらわれる。フィルタ処理部４３は、バンドパスフィルタ５７を用いて、干渉縞の周波数（ピーク５５の周波数）を含む所定周波数の領域を抽出する。パワースペクトルＰＳの図およびバンドパスフィルタ５７の図において、横軸は、画像の水平走査方向に対応する方向、縦軸は、画像の垂直走査方向に対応する方向、符号Ｄｍは、干渉縞の周期方向に対応する方向を示す。このバンドパスフィルタ５７は、ピーク５５の周波数を含む所定周波数の領域（以下、通過域５８という）において他の領域よりも、ゲインが相対的に高く設定される。通過域５８は、ピーク５５に対応するように、原点に対して対称的に設定された通過域５８ａおよび通過域５８ｂを含む。例えば、通過域５８ａは、ピーク５５の周波数（ｕ，ｖ）を中心とするバンド幅Ｗの領域であり、通過域５８ｂは、もう１つのピーク５５の周波数（－ｕ，－ｖ）を中心とするバンド幅Ｗの領域である。
　図５（Ｂ）において、符号ＰＳａは、パワースペクトルＰＳの方向Ｄｍにおけるプロファイル（断面図）であり、符号５７ａは、バンドパスフィルタ５７の方向Ｄｍにおけるゲインの分布であり、符号ＰＳｂは、フィルタ処理後のパワースペクトルの方向Ｄｍにおけるプロファイルである。ゲインの分布５７ａは、例えば二値的であり、通過域５８ａおよび通過域５８ｂでハイレベル（例、１）に設定され、その他の領域でローレベル（例、０）に設定される。
　フィルタ処理部４３は、例えば、ノイズ低減処理の対象の撮像画像５０をフーリエ変換して得られるパワースペクトルＰＳにおいて、パワーのピークを検出することにより、ピーク位置（ピークの周波数）を取得する。例えば、フィルタ処理部４３は、干渉縞の周波数の設定値を取得し、設定値の周波数を中心にパワースペクトルを探索することによって、ピークを検出する。干渉縞の周波数の設定値は、例えば、干渉縞の設定情報として記憶装置６（図１、図２参照）に記憶されている。フィルタ処理部４３は、例えば、記憶装置６から干渉縞の設定情報を取得可能である。
　なお、フィルタ処理部４３は、干渉縞の周波数の設定値を使わずに、ピークを検出してもよい。また、フィルタ処理部４３は、例えばピークの検出を行わないで、干渉縞の周波数の設定値からピーク位置を算出することにより、ピーク位置を取得してもよい。フィルタ処理部４３は、例えば、取得したピーク位置を中心としてバンド幅Ｗの領域を通過域５８に設定することにより、バンドパスフィルタ５７を生成する。
　フィルタ処理後のプロファイルＰＳｂに示すように、バンドパスフィルタ５７を掛けると、通過域５８が抽出される。例えば、通過域５８ａおよび通過域５８ｂではフィルタ処理前のパワーが保持され、その他の領域ではパワーが０になる。第１強調画像は、例えば、フィルタ処理後のパワースペクトルをフーリエ逆変換することにより生成される。
　図６は、バンドパスフィルタ５７の他の例を示す図である。図６（Ａ）のバンドパスフィルタ５７は、オフセット成分を有しており、ローレベルが０よりも大きい値に設定されている。また、図６（Ｂ）のバンドパスフィルタ５７は、通過域５８内でゲインが変化する。例えば、通過域５８ａおよび通過域５８ｂのそれぞれにおいて、ゲインは、ピーク５５の周波数を中心とするガウス分布などで表される。また、図６（Ｃ）のバンドパスフィルタ５７は、図６（Ｂ）のバンドパスフィルタ５７にオフセット成分を加えたものである。
　図６（Ｄ）のバンドパスフィルタ５７は、干渉縞の周波数よりも低周波数の領域に、通過域５８ｃを含む。通過域５８ｃは、例えば原点（周波数が０）を中心とする領域であり、その周囲と比較してゲインがステップ的に変化している。通過域５８ｃにおけるゲインは、例えば、通過域５８ａおよび通過域５８ｂと同じ値に設定される。通過域５８ｃは、通過域５８ａおよび通過域５８ｂと比較して、ゲインが大きく設定されてもよいし、ゲインが小さくに設定されてもよい。
　図６（Ｅ）のバンドパスフィルタ５７は、通過域５８ｃにおいてゲインが変化している。例えば、通過域５８ｃにおけるゲインは、原点を中心とするガウス分布などで表される。通過域５８ｃにおけるゲインのピークは、例えば、通過域５８ｂおよび通過域５８ｃにおけるゲインのピークと同じ値に設定される。なお、図６（Ｆ）のバンドパスフィルタ５７のように、通過域５８ｃは、通過域５８ａおよび通過域５８ｂと比較して、ゲインが大きく設定されていてもよい。また、通過域５８ｃは、通過域５８ａおよび通過域５８ｂと比較して、ゲインが小さく設定されていてもよい。また、図６（Ｄ）～図６（Ｆ）において、バンドパスフィルタ５７は、図６（Ａ）および図６（Ｃ）のようにオフセット成分を有していてもよい。
　図７は、フィルタ処理およびノイズ低減処理を示す説明図である。フィルタ処理部４３は、ノイズ低減処理の対象の撮像画像５０に対してフィルタ処理を行って第１強調画像６０を生成する。ノイズ低減処理部４４は、撮像画像５０において、ノイズ低減の対象となる対象領域Ｐの輝度値を、複数の参照領域Ｑの輝度値を用いて算出された値に置き換えることにより、ノイズ低減処理を行う。例えば、ノイズ低減処理部４４は、複数の参照領域Ｑの輝度値を重み付けすることにより、対象領域Ｐの輝度値を算出する。例えば、ノイズ低減処理部４４は、第１強調画像６０を重み付け係数の算出に用いる。ノイズ低減処理部４４は、第１強調画像６０における対象領域Ｐを含む対象パッチ領域Ｎｐと、第１強調画像６０における参照領域Ｑを含む参照パッチ領域Ｎｑとの類似度を、重み付け係数に用いる。
　図７には、複数の参照領域Ｑのそれぞれを符号Ｑ１～Ｑ４で表した。ノイズ低減処理部４４は、対象領域Ｐに対する対象パッチ領域Ｎｐを、第１強調画像６０上に設定する。また、ノイズ低減処理部４４は、参照領域Ｑ１～Ｑ４に対する参照パッチ領域Ｎｑ１～Ｎｑ４を、第１強調画像６０上に設定する。ノイズ低減処理部４４は、第１強調画像６０上の対象パッチ領域Ｎｐと、第１強調画像６０上の参照パッチ領域Ｎｑ１～Ｎｑ４のそれぞれとの類似度ｗ１～ｗ４を算出する。ノイズ低減処理部４４は、ノイズ低減処理の対象の撮像画像５０における参照領域Ｑ１～Ｑ４の輝度値を、類似度ｗ１～ｗ４を用いて重み付けすることにより、ノイズ低減処理を行う。
　図８は、第１強調画像６０を用いたノイズ低減処理の一例を示す図である。ノイズ低減処理部４４は、図８（Ａ）に示すように、第１強調画像６０から、ノイズ低減の対象となる対象領域Ｐを順に選択する。対象領域Ｐは、例えば第１強調画像６０上の１画素の領域であるが、複数の画素を含む領域であってもよい。また、対象領域Ｐは、第１強調画像６０上の１画素の一部であってもよく、例えば、第１強調画像６０上の１点（注目点、対象点）であってもよい。ノイズ低減処理部４４は、複数の参照領域Ｑの輝度値を用いて、対象領域Ｐの輝度値を算出する。参照領域Ｑは、例えば、対象領域Ｐと同じ広さの領域であり、ここでは第１強調画像６０の１画素であるものとする。
　以下、対象領域Ｐに属する画素の位置をＰ（ｘ，ｙ）で表し、参照領域Ｑに属する画素の位置をＱ（ξ，η）で表す。ｘ、ξは、それぞれ、水平走査方向において端の画素の位置を基準とする画素の座標である。ｙ、ηは、それぞれ、垂直走査方向において端の画素の位置を基準とする画素の座標である。例えば、１９２０列１０８０行の画素配列を有する画像である場合、ｘ、ξは０以上１９１９以下の整数であり、ｙ、ηは０以上１０７９以下の整数である。
　ノイズ低減処理部４４は、複数の参照領域Ｑの光強度情報（例、輝度値、画素値、画素強度、階調値）に基づいて、ノイズ低減処理を行う。例えば、ノイズ低減処理部４４は、複数の参照領域Ｑの輝度値を、対象領域Ｐの輝度値の算出に利用する。以下、ノイズ低減処理後の画像における対象領域Ｐの輝度値を、適宜、補正後の輝度値という。対象領域Ｐの輝度値は、例えば、Ｐ（ｘ、ｙ）における画素値で表され、参照領域Ｑの輝度値は、例えば、Ｑ（ξ、η）における画素値で表される。
　ノイズ低減処理部４４は、対象領域Ｐを含む所定の領域を対象パッチ領域Ｎｐに設定し、参照領域Ｑを含む所定の領域を参照パッチ領域Ｎｑに設定する。ノイズ低減処理部４４は、対象パッチ領域Ｎｐと参照パッチ領域Ｎｑとの類似度を算出する。ノイズ低減処理部４４は、ノイズ低減処理の対象の撮像画像５０における参照領域Ｑの輝度値を、第１強調画像６０上の参照パッチ領域Ｎｑの類似度で重み付けした値を、補正後の対象領域Ｐの輝度値の算出に利用する。
　対象パッチ領域Ｎｐは、例えば、対象領域Ｐを中心とする矩形の領域であり、その一辺が水平走査方向と平行である。なお、対象パッチ領域Ｎｐの形状は、多角形であってもよいし、円形、楕円、長円などのように輪郭に曲線を含む形状であってもよい。また、対象パッチ領域Ｎｐは、その中心と対象領域Ｐとがずれていてもよい。
　対象パッチ領域Ｎｐのサイズは、干渉縞の少なくとも１周期分を含むように、設定される。ここでは説明の便宜上、干渉縞の１周期のうち任意に選択される所定位相の部分を特徴部５３という。特徴部５３は、例えば、干渉縞の明部の中心線（輝度値が極大になる部分）であってもよいし、干渉縞の暗部の中心線（輝度値が極小になる部分）であってもよく、干渉縞の明部の中心線と暗部の中心線の中間の部分であってもよい。以下、周期方向における干渉縞の１周期分の長さをλで表す。λは、例えば、明部５２ａの中心線と隣の明部５２ａの中心線との距離（ピッチ）である。
　水平走査方向における干渉縞の１周期の長さｐｘは、ｐｘ＝λ／ｓｉｎθで表される。対象パッチ領域Ｎｐが矩形である場合、その一辺の長さをｐｘ以上にすると、対象パッチ領域Ｎｐ内に干渉縞の少なくとも１周期分が通ることになる。また、対象パッチ領域Ｎｐが円形である場合、その直径をｐｘ以上にすると、対象パッチ領域Ｎｐ内に干渉縞の少なくとも１周期分が通ることになる。
　ノイズ低減処理部４４は、例えば、対象領域Ｐの位置および対象パッチ領域Ｎｐの設定情報を使って、対象パッチ領域Ｎｐの座標を算出することで、対象パッチ領域Ｎｐを設定する。対象パッチ領域Ｎｐの設定情報は、例えば、サイズの情報、形状の情報、及び対象領域Ｐに対する位置関係の情報を含み、記憶装置６に記憶されている。ノイズ低減処理部４４は、例えば、記憶装置６から設定情報を取得し、対象パッチ領域Ｎｐを設定する。
　なお、対象パッチ領域Ｎｐの形状、及び対象領域Ｐと対象パッチ領域Ｎｐとの位置関係の少なくとも一方は、ユーザの指定などにより変更可能であってもよい。また、対象パッチ領域Ｎｐのサイズは、固定値であってもよいし、可変値であってもよい。対象パッチ領域Ｎｐのサイズは、例えば、推奨値などがデフォルトの値として設定されており、ユーザの指定などにより変更可能であってもよい。また、対象パッチ領域Ｎｐのサイズは、試料Ｘ内に応じて設定されてもよい。ユーザは、ノイズ低減処理の結果に応じて、対象パッチ領域Ｎｐのサイズを試行錯誤して決定してもよい。
　参照領域Ｑは、例えば、ノイズ低減処理の対象の撮像画像５０に対応する第１強調画像６０から任意に選択される。例えば、ノイズ低減処理部４４は、対象領域を含む領域を周辺範囲Ａｐに設定し、周辺範囲Ａｐから参照領域Ｑを選択する。周辺範囲Ａｐは、例えば、対象領域Ｐを中心とする円形の領域であるが、多角形の領域であってもよいし、中心が対象領域Ｐとずれた領域（偏心した領域）であってもよい。周辺範囲Ａｐの半径ｒは、周辺範囲Ａｐに対象パッチ領域Ｎｐが収まるように設定され、例えば、対象パッチ領域Ｎｐの代表寸法の数倍、数十倍、あるいは数百倍に設定される。代表寸法は、例えば、対象パッチ領域Ｎｐの形状が矩形（例、正方形）である場合に一辺の長さ、対角線の長さなどであり、対象パッチ領域Ｎｐの形状が楕円（例、真円）である場合に、長軸の長さ、短軸の長さ、直径、半径などである。
　ノイズ低減処理部４４は、例えば、参照領域Ｑとして、周辺範囲Ａｐに含まれる複数の画素から順に画素を選択する。ノイズ低減処理部４４は、参照領域Ｑとして、周辺範囲Ａｐに含まれる全部の画素を順に選択してもよいし、周辺範囲Ａｐに含まれる一部の画素を選択しなくてもよい。また、ノイズ低減処理部４４は、参照領域Ｑとして、周辺範囲Ａｐに含まれる複数の画素からランダムに画素を選択してもよい。
　ノイズ低減処理部４４は、参照領域Ｑに対して参照パッチ領域Ｎｑを設定する。参照パッチ領域Ｎｑは、例えば、参照領域Ｑを中心とする矩形の領域であり、その一辺が水平走査方向と平行である。ノイズ低減処理部４４は、参照領域Ｑの位置および設定情報を使って、参照パッチ領域Ｎｑの座標を算出することで、参照パッチ領域Ｎｑを設定する。参照パッチ領域Ｎｑの設定情報は、例えば、サイズの情報、形状の情報、及び参照領域Ｑに対する位置関係の情報を含み、記憶部４２に記憶されている。例えば、参照パッチ領域Ｎｑのサイズ、形状、及び参照領域Ｑに対する位置関係は、それぞれ、対象パッチ領域Ｎｐのサイズ、形状、及び対象領域Ｐに対する位置関係と同じである。ノイズ低減処理部４４は、例えば、記憶部４２から参照パッチ領域Ｎｑの設定情報を取得し、参照パッチ領域Ｎｑを設定する。
　ノイズ低減処理部４４は、例えば、図８（Ｂ）の式（１）に従って類似度ｗを算出する。類似度ｗは、対象パッチ領域Ｎｐと参照パッチ領域Ｎｑとを引数とする関数（ｗ（Ｎｐ；Ｎｑ））である。また、式（１）におけるσｈ ２およびσａ ２は、例えばデフォルト値あるいはユーザの指定値などに設定されるパラメータである。式（１）において、ｆ１（ｘ，ｙ）は、第１強調画像６０の点（ｘ，ｙ）の位置における輝度値を表す。ｉ、ｊは、それぞれ、点（ｘ＋ｉ，ｙ＋ｊ）が対象パッチ領域Ｎｐに属する条件を満たすように、変化する仮変数である。
　ここで、対象パッチ領域Ｎｐが（ｘ、ｙ）を中心として水平走査方向に５画素、垂直走査方向に５画素の領域であるとする。この場合、ｉおよびｊは、それぞれ、－２、－１、０、＋１、＋２の値をとる。ｆ１（ｘ＋ｉ，ｙ＋ｊ）－ｆ１（ξ＋ｉ，η＋ｊ）は、対象パッチ領域Ｎｐと参照パッチ領域Ｎｑとで中心を一致させた際に重なる画素間の輝度値の差を示す。例えば、ｉ＝－２、ｊ＝－２である場合、ｆ１（ｘ－２，ｙ－２）は、対象パッチ領域Ｎｐの左上の端の画素の輝度値を示し、ｆ１（ξ－２，η－２）は、参照パッチ領域Ｎｑの左上の端の画素の輝度値を示す。
　このように、ノイズ低減処理部４４は、対象パッチ領域Ｎｐと参照パッチ領域Ｎｑとで各領域内の位置が同じ関係になる画素間の輝度値の差分の二乗を、対象パッチ領域Ｎｐ内で積算して、類似度ｗを算出する。なお、類似度ｗの算出に用いられるアルゴリズムは、任意に選択可能であり、例えば、対象パッチ領域Ｎｐと参照パッチ領域Ｎｑとで対応する画素間の輝度値の絶対値を用いるアルゴリズムなどであってもよい。
　ノイズ低減処理部４４は、点（ξ，η）が周辺範囲Ａｐに属する条件を満たすように参照領域Ｑの位置（ξ，η）を変化させ、それぞれの参照領域Ｑに対して設定される参照パッチ領域Ｎｑと対象パッチ領域Ｎｐとの類似度ｗを算出する。また、ノイズ低減処理部４４は、例えば、図８の式（２）に従って、ノイズ低減処理の対象の撮像画像５０における参照領域Ｑの輝度値を重み付けする。式（２）において、ｃ－１（ｘ，ｙ）は正規化係数である。また、ｆ２（ｘ，ｙ）はノイズ低減処理の対象の撮像画像５０における点（ｘ，ｙ）の輝度値であり、ｇ（ｘ，ｙ）は、対象領域Ｐにおける補正後の輝度値、すなわちノイズ低減処理後の画像における点（ｘ，ｙ）の輝度値である。ノイズ低減処理部４４は、類似度ｗを重み付けの係数に用いて、輝度値ｇ（ｘ，ｙ）を算出する。ノイズ低減処理部４４は、ｆ（ｘ，ｙ）をｇ（ｘ，ｙ）に置き換えることで、ノイズ低減処理後の画像のデータを生成する。
　ノイズ低減処理部４４は、例えば、第１強調画像６０の全画素のそれぞれを対象領域Ｐに選択し、補正後の輝度値を算出することによって、ノイズ低減処理後の画像を生成する。例えば、ノイズ低減処理部４４は、第１強調画像６０の範囲内でｙ＝０に対してｘを０、１、・・・というようにインクリメントし、水平走査方向の一行の画素群に含まれる画素を順に対象領域Ｐに設定し、各画素について補正後の輝度値を算出する。また、ノイズ低減処理部４４は、ｙをインクリメントし、次の行の画素群に含まれる画素についても同様に補正後の輝度値を算出する。
　画像処理部４０は、干渉縞を強調した第１強調画像６０を用いて類似度ｗを算出するので、干渉縞のコントラストを確保しつつノイズが低減された画像を生成することができる。
　なお、光強度情報は、画素値と同じ値であってもよいし、画素値を用いて算出される値であってもよい。また、画像処理部４０は、ノイズ低減処理の対象の画像（例、撮像画像５０）の一部の領域について、補正後の輝度値を算出しなくてもよい。例えば、画像処理部４０は、撮像画像５０のうちユーザが指定する一部の領域について（撮像画像５０の一部の領域を切り出して）、補正後の輝度値を算出してもよい。画像処理部４０は、補正後の輝度値を算出しない領域を除いてノイズ低減処理後の画像を生成してもよい。また、対象領域Ｐ、参照領域Ｑの光強度情報は、例えば、ｘ、ｙ、ξ、ηの少なくとも一つが整数でない場合、輝度値（画素値）を用いて各種の補間法によって算出される値であってもよい。各種の補間法としては、例えば、最近傍補間（Nearest neighbor）、双一次補間（Bilinear）、双三次補間（Bicubic）などが挙げられる。
　なお、参照パッチ領域Ｎｑのサイズは、対象パッチ領域Ｎｐのサイズと異なっていてもよい。また、参照パッチ領域Ｎｑの形状は、対象パッチ領域Ｎｐの形状と異なっていてもよい。対象パッチ領域Ｎｐと参照パッチ領域Ｎｑとで、サイズと形状の少なくとも一方が異なる場合、例えば、参照領域Ｑと対象領域Ｐとが一致するように、参照パッチ領域Ｎｑをシフトした状態において、対象パッチ領域Ｎｐと参照パッチ領域Ｎｑとで重複する領域について類似度を算出すればよい。参照パッチ領域Ｎｑのサイズと形状の少なくとも一方は、固定値であってもよいし、ユーザの指定などにより変更可能な可変値であってもよい。
　次に、上述のような構造化照明顕微鏡１の動作に基づき、本実施形態に係る観察方法について説明する。２Ｄ－ＳＩＭモードにおいて、構造化照明顕微鏡１は、例えば、干渉縞の方向を第１方向～第３方向の３通りに変更する。例えば、第１方向は、照明光学系１１の光軸１１ａに直交する面内で任意に選択される方向であり、第２方向、第３方向は、それぞれ、第１方向と１２０°、２４０°の角度をなす方向である。また、構造化照明顕微鏡１は、干渉縞の方向が第１～第３方向の各方向に設定されている状態で、例えば、干渉縞の位相を第１～第３位相の３通りに変更する。例えば、第１位相は、照明光学系１１の光軸１１ａに直交する面内で任意に設定される位相であり、第２位相、第３位相は、それぞれ、第１位相から２π／３、４π／３ずれた位相である。このように、構造化照明顕微鏡１は、干渉縞の状態（方向と位相との組み合わせ）を例えば９通りに変更し、各状態の干渉縞によって照明されている試料Ｘの撮像画像を取得する。
　図９は、本実施形態に係る観察方法を示すフローチャートである。ステップＳ１において、構造化照明顕微鏡１は、干渉縞の方向を設定する。例えば、制御部４１は、駆動部１７を制御して回折格子１６を第１回転位置に配置させ、干渉縞の方向を第１方向に設定する。ステップＳ２において、構造化照明顕微鏡１は、干渉縞の位相を設定する。例えば、制御部４１は、駆動部１７を制御して回折格子１６を所定の位置に配置させ、干渉縞の位相を第１位相に設定する。ステップＳ３において、構造化照明顕微鏡１は、干渉縞によって照明されている試料Ｘの画像を取得する。例えば、制御部４１は、撮像素子３２を制御して試料Ｘを撮像させ、撮像素子３２から撮像画像のデータを取得する。
　ステップＳ４において、構造化照明顕微鏡１（例、制御部４１）は、干渉縞の位相として予定されている全ての位相（第１～第３位相）について、撮像が終了したか否かを判定する。制御部４１は、撮影が終了していない位相があると判定した場合（ステップＳ４；Ｎｏ）、ステップＳ２に戻り、駆動部１７により回折格子１６を移動させることによって、干渉縞の位相を次の位相に設定する。例えば、制御部４１は、ステップＳ２からステップＳ４の処理を繰り返すことによって、干渉縞の方向が第１方向に設定された状態において、干渉縞の位相が異なる３枚の撮像画像を取得する。
　構造化照明顕微鏡１（例、制御部４１）は、全ての位相が終了したと判定した場合（ステップＳ４；Ｙｅｓ）、ステップＳ５において、干渉縞の方向として予定されている全ての方向（第１～第３方向）について、撮像が終了したか否かを判定する。制御部４１は、撮像が終了していない方向があると判定した場合（ステップＳ５；Ｎｏ）、ステップＳ１に戻り、駆動部１７により回折格子１６を回転させることによって、干渉縞の方向を次の方向に設定する。制御部４１は、ステップＳ１からステップＳ５の処理を繰り返すことによって、干渉縞の状態が異なる９枚の撮像画像を取得する。
　　ステップＳ６において、構造化照明顕微鏡１は、ステップＳ３で得られた撮像画像、または撮像画像から生成された画像に対してノイズ低減処理を行う。例えば、制御部４１は、画像処理部４０にノイズ低減処理を実行させる。画像処理部４０は、例えば図７を参照して説明した手法により、撮像画像５０に対してノイズ低減処理を行う。
　図１０は、本実施形態に係るノイズ低減処理を示すフローチャートである。ステップＳ１０において、画像処理部４０は、ノイズ低減処理の対象の画像のデータとして、例えば９枚の撮像画像のうちの１枚の画像データを取得する。ステップＳ１１において、フィルタ処理部４３は、干渉縞の強調した第１強調画像を生成する（図４、図５参照）。第１強調画像を生成する処理のフローについては、後に図１１を参照しながら説明する。
　ステップＳ１２において、ノイズ低減処理部４４は、第１強調画像６０から対象領域Ｐを選択する（図８参照）。例えば、ノイズ低減処理部４４は、第１強調画像６０上の点（ｘ，ｙ）を対象領域Ｐに選択する。ステップＳ１３において、ノイズ低減処理部４４は、対象領域Ｐに対して対象パッチ領域Ｎｐを設定する。
　ステップＳ１４において、ノイズ低減処理部４４は、第１強調画像６０から参照領域Ｑを選択する。例えば、ノイズ低減処理部４４は、対象領域Ｐを含む所定の領域を周辺範囲Ａｐに設定し、周辺範囲Ａｐから参照領域Ｑを選択する。ステップＳ１５において、ノイズ低減処理部４４は、参照領域Ｑを含む所定の領域を参照パッチ領域Ｎｑに設定する。
　ステップＳ１６において、ノイズ低減処理部４４は、対象パッチ領域Ｎｐと参照パッチ領域Ｎｑの類似度ｗを算出する（図８の式（１）参照）。ステップＳ１７において、ノイズ低減処理部４４は、予定された全ての参照領域Ｑに関して類似度ｗの算出が終了したか否かを判定する。ノイズ低減処理部４４は、類似度ｗの算出が終了していない参照領域Ｑがあると判定した場合（ステップＳ１７；Ｎｏ）、ステップＳ１４に戻り、周辺範囲Ａｐから次の参照領域Ｑを選択し、ステップＳ１５～Ｓ１７の処理を繰り返す。
　ノイズ低減処理部４４は、全ての参照領域Ｑに関して類似度ｗの算出が終了したと判定した場合（ステップＳ１７；Ｙｅｓ）、ステップＳ１８において、ノイズ低減処理部４４は、ノイズ低減処理の対象の撮像画像５０における参照領域Ｑの輝度値を類似度ｗで重み付けして、周辺範囲Ａｐ内で積算すること等により、補正後の輝度値ｇ（ｘ，ｙ）（図８の式（２）参照）を算出する。ノイズ低減処理部４４は、対象領域Ｐの輝度値ｆ２（ｘ，ｙ）を輝度値ｇ（ｘ，ｙ）で置き換える。
　ステップＳ１９において、ノイズ低減処理部４４は、予定された全ての対象領域Ｐに関して、補正後の輝度値ｇ（ｘ，ｙ）を算出したか否かを判定する。ノイズ低減処理部４４は、終了していない対象領域Ｐがあると判定した場合（ステップＳ１９；Ｎｏ）、ステップＳ１２に戻り、第１強調画像６０から次の対象領域Ｐを選択する。例えば、ノイズ低減処理部４４は、ｘをインクリメントして、１行の画素を順に対象領域Ｐに設定して１行の画素に対する処理が終了した後、ｙをインクリメントして、次の行の画素を順に対象領域Ｐに対象領域Ｐに設定する。
　このように、ノイズ低減処理部４４は、ノイズ低減処理の対象の撮像画像５０の全域または一部の領域において、補正前の輝度値（例、ｆ２（ｘ、ｙ））を補正後の輝度値（例、（ｇ（ｘ，ｙ）））に置き換えることで、ノイズ低減処理後の画像のデータを生成する。画像処理部４０は、復調画像の生成に使われる例えば９枚の撮像画像を順にノイズ低減処理の対象の撮像画像５０とし、撮像画像５０に対してノイズ低減処理を行う。
　図１１は、第１強調画像６０を生成する処理を示すフローチャートである。ステップＳ２０において、フィルタ処理部４３は、ノイズ低減処理の対象の画像上の干渉縞を検出するか否かを判定する。例えば、制御部４１（図１参照）は、干渉縞を検出するか否かの指示をユーザに求める画像を表示装置５に表示させ、ユーザからの指示があった場合に、指示の内容を示す指示情報をフィルタ処理部４３に供給する。フィルタ処理部４３は、指示情報に基づいて、ステップＳ２０の判定処理を行う。なお、フィルタ処理部４３は、干渉縞を検出するか否かを示す設定情報に基づいて、ステップＳ２０の判定処理を行ってもよい。この設定情報は、例えば、記憶装置６に記憶され、ユーザにより変更可能であってもよい。
　フィルタ処理部４３は、干渉縞を検出すると判定した場合（ステップＳ２０；Ｙｅｓ）、ステップＳ２１においてノイズ低減処理の対象の撮像画像５０を２次元フーリエ変換することにより、パワースペクトルのデータを生成する。ステップＳ２２において、フィルタ処理部４３は、パワースペクトルのデータを用いて、パワースペクトル（周波数領域）におけるピーク位置を検出する。ステップＳ２３において、フィルタ処理部４３は、干渉縞の検出が成功したか否かを判定する。例えば、フィルタ処理部４３は、検出したピーク位置と、干渉縞の周波数の設定値から算出されるピーク位置との差の絶対値が閾値以下である場合に、干渉縞の検出が成功したと判定する。また、例えば、フィルタ処理部４３は、検出したピーク位置と、干渉縞の周波数の設定値から算出されるピーク位置との差の絶対値が閾値を超える場合に、干渉縞の検出が失敗したと判定する。
　フィルタ処理部４３は、干渉縞の検出が失敗したと判定した場合（ステップＳ２３；Ｎｏ）、またはステップＳ２０において干渉縞を検出しないと判定した場合（ステップＳ２０；Ｎｏ）、ステップＳ２４において干渉縞の設定値を取得する。ステップＳ２５において、フィルタ処理部４３は、干渉縞の設定値を用いて、パワースペクトル（周波数領域）におけるピーク位置を算出する。つまり、ステップＳ２５においては、フィルタ処理部４３は、パワースペクトルのデータを用いることなく、パワースペクトル（周波数領域）におけるピーク位置を算出する。
　フィルタ処理部４３は、ステップＳ２５の処理が終了した後、又はステップＳ２３において干渉縞の検出に成功したと判定した場合（ステップＳ２３；Ｙｅｓ）、ステップＳ２６において、ピーク位置に応じたバンドパスフィルタを生成する。ステップＳ２７において、フィルタ処理部４３は、例えば、フーリエ変換したノイズ低減処理の対象の撮像画像５０にバンドパスフィルタを掛けた後、逆フーリエ変換することによって第１強調画像６０を生成する。
　なお、フィルタ処理部４３は、ステップＳ２３において、干渉縞の検出が失敗したと判定した場合（ステップＳ２３；Ｎｏ）、その判定結果を出力してもよい。例えば、フィルタ処理部４３は、ステップＳ２３の判定結果を制御部４１に供給し、制御部４１は、干渉縞の検出の失敗をユーザに報知してもよい。また、フィルタ処理部４３は、干渉縞の検出を行う場合、ステップＳ２４およびステップＳ２５の処理を行わなくてもよい。この場合、フィルタ処理部４３は、ステップＳ２３において、干渉縞の検出が失敗したと判定した場合（ステップＳ２３；Ｎｏ）、ノイズ低減処理を中断または終了してもよい。また、フィルタ処理部４３は、干渉縞を検出するか否かの判定処理（ステップＳ２０）を行わなくてもよく、この場合、ステップＳ２０～ステップＳ２３の処理を省略可能である。
　次に、３Ｄ－ＳＩＭモードについて説明する。照明光学系１１は、３Ｄ－ＳＩＭモードにおいて、＋１次回折光と－１次回折光との干渉縞と、０次回折光と－１次回折光との干渉縞と、０次回折光と＋１次回折光との干渉縞とが合成された合成干渉縞によって、試料Ｘを照明する。マスク２２は、３Ｄ－ＳＩＭモードにおいて、０次回折光および１次回折光を通し、２次以上の回折光を遮断する。なお、マスク２２において０次回折光が入射する部分は、０次回折光の通過と遮断とを切り替え可能なシャッタ部になっていてもよい。
　３Ｄ－ＳＩＭモードにおいて、構造化照明顕微鏡１は、例えば、干渉縞の方向を第１方向～第３方向の３通りに変更する。また、構造化照明顕微鏡１は、干渉縞の方向が第１～第３方向の各方向に設定されている状態で、例えば、干渉縞の位相を第１～第５位相の５通りに変更する。例えば、第１位相は、照明光学系１１の光軸１１ａに直交する面内で任意に設定される位相であり、第２～第５位相は、それぞれ、第１位相から２π／５、４π／５、６π／５、８π／５ずれる位相である。構造化照明顕微鏡１は、干渉縞の状態（方向と位相との組み合わせ）を例えば１５通りに変更し、各状態の干渉縞によって照明されている試料Ｘの撮像画像を取得する。３Ｄ－ＳＩＭモードにおいて１枚の復調画像の生成には、例えば、１５枚の画像が用いられる。画像処理部４０は、３Ｄ－ＳＩＭモードにおいて２Ｄ－ＳＩＭモードと同様に、ノイズ低減処理を行うことができる。
　３Ｄ－ＳＩＭモードにおいて、復調処理は、例えば、米国特許第８１１５８０６号明細書に開示された方法を用いる処理であってもよいし、"Super-Resolution Video Microscopy of Live Cells by Structured Illumination", Peter Kner, Bryant B. Chhun, Eric R. Griffis, Lukman Winoto, and Mats G. L. Gustafsson, NATURE METHODS Vol.6 NO.5, pp.339-342, (2009)に記載された方法を用いる処理であってもよい。復調処理に用いられる方法は、これらの方法に限られない。
　なお、図７および図８では、ノイズ低減処理の対象の撮像画像５０から生成される第１強調画像６０から参照パッチ領域Ｎｑを選択するが、ノイズ低減処理の対象の撮像画像５０と別の撮像画像から生成される強調画像（以下、第２強調画像という）から参照パッチ領域Ｎｑを選択することもできる。ここで、第２強調画像を用いたノイズ低減処理について説明する。
　図１２は、フィルタ処理およびノイズ低減処理の他の例を示す説明図である。図１２（Ａ）に示すように、フィルタ処理部４３は、ノイズ低減処理の対象の撮像画像５０に対してフィルタ処理を行って第１強調画像６０を生成する。また、図１２（Ｂ）に示すように、フィルタ処理部４３は、撮像画像５０（図１２（Ａ）参照）と別の撮像画像６１に対してフィルタ処理を行って、第２強調画像６２を生成する。撮像画像６１は、撮像画像５０と干渉縞の位相が異なる。ノイズ低減処理部４４は、対象領域Ｐに対する対象パッチ領域Ｎｐを、第１強調画像６０上に設定する。また、ノイズ低減処理部４４は、参照領域Ｑ１～Ｑ４に対する参照パッチ領域Ｎｑ１～Ｎｑ４を、第２強調画像６２上に設定する。ノイズ低減処理部４４は、第１強調画像６０上の対象パッチ領域Ｎｐと、第２強調画像６２上の参照パッチ領域Ｎｑ１～Ｎｑ４のそれぞれとの類似度ｗ１～ｗ４を算出する。ノイズ低減処理部４４は、撮像画像６１における参照領域Ｑ１～Ｑ４の輝度値を、類似度ｗ１～ｗ４を用いて重み付けすることにより、ノイズ低減処理を行う。
　図１３は、フィルタ処理およびノイズ低減処理の他の例を示す説明図である。図１３（Ａ）に示すように、フィルタ処理部４３は、ノイズ低減処理の対象の撮像画像５０に対してフィルタ処理を行って第１強調画像６０を生成する。また、図１３（Ｂ）に示すように、フィルタ処理部４３は、撮像画像５０（図１２（Ａ）参照）と別の撮像画像６３に対してフィルタ処理を行って、第２強調画像６４を生成する。撮像画像６３は、撮像画像５０と干渉縞の方向が異なる。例えば、撮像画像６３における干渉縞の方向は、撮像画像５０における干渉縞の方向に対して、時計回りを正として１２０°回転した方向である。
　図１３（Ｃ）に示すように、ノイズ低減処理部４４は、対象領域Ｐに対する対象パッチ領域Ｎｐを、第１強調画像６０上に設定する。また、ノイズ低減処理部４４は、参照領域Ｑ１～Ｑ４に対する参照パッチ領域Ｎｑ１～Ｎｑ４を、第２強調画像６４上に設定する。ノイズ低減処理部４４は、第２強調画像６４上の参照パッチ領域Ｎｑ１～Ｎｑ４と干渉縞との方向が、第１強調画像６０上の対象パッチ領域Ｎｐと干渉縞との方向と同じになるように、参照パッチ領域Ｎｑ１～Ｎｑ４を設定する。例えば、ノイズ低減処理部４４は、対象パッチ領域Ｎｐと参照パッチ領域Ｎｑ１とを外周が一致するように重ねた場合、対象パッチ領域Ｎｐと参照パッチ領域Ｎｑ１とで干渉縞の方向が平行になるように、参照パッチ領域Ｎｑ１を設定する。例えば、時計回りを正として、第２強調画像６４の干渉縞が第１強調画像６０の干渉縞を１２０°回転した位置関係である場合、ノイズ低減処理部４４は、参照パッチ領域Ｎｑ１を、対象パッチ領域Ｎｐを１２０°回転した位置関係となるように設定する。ノイズ低減処理部４４は、第１強調画像６０上の対象パッチ領域Ｎｐと、第２強調画像６４上の参照パッチ領域Ｎｑ１～Ｎｑ４のそれぞれとの類似度ｗ１～ｗ４を算出する。例えば、図１３（Ｄ）に示すように、ノイズ低減処理部４４は、参照パッチ領域Ｎｑ１を、対象パッチ領域Ｎｐと外周が一致するように回転させ、回転後の参照パッチ領域Ｎｑ１と対象パッチ領域Ｎｐ１との類似度ｗ１を算出する。ノイズ低減処理部４４は、類似度ｗ１と同様にして、類似度ｗ２～ｗ４を算出する。図１３（Ｅ）に示すように、ノイズ低減処理部４４は、撮像画像６１における参照領域Ｑ１～Ｑ４の輝度値を、類似度ｗ１～ｗ４を用いて重み付けすることにより、ノイズ低減処理を行う。
　次に、第１強調画像６０と第２強調画像６４とで干渉縞の方向が異なる場合について、類似度ｗ１～ｗ４を算出する処理の他の例を説明する。図１４は、類似度ｗ１～ｗ４を算出する処理の他の例を示す図である。ノイズ低減処理部４４は、第２強調画像６４の少なくとも一部を、干渉縞の方向が第１強調画像６０と平行になるように、回転する。ノイズ低減処理部４４は、回転後の第２強調画像６４上に、参照パッチ領域Ｎｑ１～Ｎｑ４を、対象パッチ領域Ｎｐと平行な位置関係となるように設定する。ノイズ低減処理部４４は、対象パッチ領域Ｎｐと、参照パッチ領域Ｎｑ１～Ｎｑ４のそれぞれとの類似度ｗ１～ｗ４を算出する。
［第２実施形態］
　第２実施形態について説明する。本実施形態において、上述の実施形態と同様の構成については、同じ符号を付してその説明を省略あるいは簡略化する。以下の実施形態では、干渉縞の情報を使って参照領域を選択する例を説明する。本実施形態において、画像処理部４０は、干渉縞の情報に基づいて参照領域を選択する。干渉縞の情報は、例えば、干渉縞の方向を含む。
　図１５は、本実施形態に係るノイズ低減処理を説明するための図である。ノイズ低減処理部４４は、図１５（Ａ）に示すように、第１強調画像６０から、ノイズ低減の対象となる対象領域Ｐを選択する。次に、ノイズ低減処理部４４は、図１５（Ｂ）に示すように、対象領域Ｐを通り干渉縞のライン方向に平行な領域を候補領域Ｒｐ（サーチ領域）とする。
　干渉縞の方向（例、ライン方向、周期方向）を示す情報は、例えば、干渉縞の設定情報として図２に示した記憶装置６に記憶されており、ノイズ低減処理部４４は、記憶装置６から干渉縞の設定情報を取得し、設定情報に基づいて設定される候補領域Ｒｐから参照領域Ｑを選択する。なお、画像処理部４０は、例えばノイズ低減処理の対象の撮像画像５０と第１強調画像６０の少なくとも一方を解析することにより干渉縞の方向に関する情報を取得し、ノイズ低減処理部４４は、解析により得られた干渉縞の方向の情報に基づいて、候補領域Ｒｐを決定してもよい。
　次に、ノイズ低減処理部４４は、図１５（Ｃ）に示すように、候補領域Ｒｐから参照領域Ｑを順に選択する。対象領域Ｐに属する画素の位置をＰ（ｘ，ｙ）とし、参照領域Ｑに属する画素の位置をＱ（ξ，η）とすると、ξおよびηは、幾何的な観点で、η＝（ξ－ｘ）ｔａｎθ＋ｙを満たす。ノイズ低減処理部４４は、例えば、上記の式のξにｘ＋１を代入し、このξに対するηを算出する。ここで、上記の式のｓｉｎθ、ｔａｎθは無理数であり、算出されたηは無理数となる。ノイズ低減処理部４４は、例えば、小数点以下の四捨五入、切り捨て、切り上げなどの丸めなどにより、算出されるηを整数に変換してもよい。また、ノイズ低減処理部４４は、最近傍補間（Nearest neighbor）などにより、ξおよびηが整数となる参照領域Ｑを選択してもよい。
　なお、ノイズ低減処理部４４は、候補領域Ｒｐに属する全画素のそれぞれを参照領域Ｑとしてもよいし、候補領域Ｒｐに属する一部の画素を参照領域Ｑに用いなくてもよい。例えば、ノイズ低減処理部４４は、候補領域Ｒｐに属する画素のうち、対象領域Ｐまでの距離が閾値以下となる画素のみを参照領域Ｑに用いてもよい。また、ノイズ低減処理部４４は、候補領域Ｒｐに属する全画素からランダムに選択される画素を、参照領域Ｑに用いてもよい。
　ノイズ低減処理部４４は、複数の参照領域Ｑの光強度情報に基づいて、ノイズ低減処理を行う。例えば、ノイズ低減処理部４４は、参照領域Ｑの輝度値を重み付けし（輝度値の加重平均を算出し）、その結果を対象領域Ｐにおける補正後の輝度値とする。例えば、ノイズ低減処理部４４は、図８で説明したように、対象パッチ領域Ｎｐと参照パッチ領域Ｎｑとの類似度に基づいて、重み付け係数を決定する。
　なお、重み付け係数は、類似度以外のパラメータ、例えば対象領域Ｐと参照領域Ｑとの距離に基づいて（例、距離の逆数に比例）、決定されてもよい。また、ノイズ低減処理部４４は、加重平均以外の手法を用いて、対象領域Ｐにおける補正後の輝度値を算出してもよく、例えば、複数の参照領域Ｑの輝度値の相加平均を算出し、その結果を対象領域Ｐの補正後の輝度値としてもよい。
　上述のように、画像処理部４０は、干渉縞の情報に基づいてノイズ低減処理を行う。そのため、例えば、複数の参照領域Ｑと干渉縞との位置関係が、対象領域Ｐと干渉縞と位置関係と同様になり、干渉縞のコントラストを確保しつつノイズを低減することができる。
［第３実施形態］
　第３実施形態について説明する。本実施形態において、上述の実施形態と同様の構成については、同じ符号を付してその説明を省略あるいは簡略化する。本実施形態において、画像処理部４０は、干渉縞の情報に基づいて参照領域を選択する。干渉縞の情報は、例えば、干渉縞の方向および干渉縞の周期に関する情報を含む。干渉縞の周期に関する情報は、例えば、干渉縞の周期と干渉縞の空間周波数の少なくとも一方を含む。
　図１６は、本実施形態に係るノイズ低減処理を説明するための図である。ノイズ低減処理部４４は、図１６（Ａ）に示すように、第１強調画像６０から、ノイズ低減の対象となる対象領域Ｐを選択する。次に、ノイズ低減処理部４４は、図１６（Ｂ）に示すように、対象領域Ｐを通り干渉縞のライン方向に平行な第１候補領域Ｒｐａ、及び第１候補領域Ｒｐａに平行な第２候補領域Ｒｐｂを含む領域を候補領域Ｒｐ（サーチ領域）とする。第２候補領域Ｒｐｂは、第１候補領域Ｒｐａに対してλの間隔で周期的に並ぶ帯状の領域である。
　次に、ノイズ低減処理部４４は、図１６（Ｃ）に示すように、候補領域Ｒｐから参照領域Ｑを順に選択する。参照領域Ｑの座標をＱ（ξ，η）としたときに、ξとηは、幾何学的に、η＝（ξ＋ｎλ／ｓｉｎθ－ｘ）ｔａｎθ＋ｙを満たす。この式においてｎは、候補領域Ｒｐに含まれる帯状の領域（例、第１候補領域Ｒｐａなど）に対応する番号である。ここでは、第１候補領域Ｒｐａに対応するｎを０とした。また、第２候補領域Ｒｐｂに対応するｎを、第１候補領域Ｒｐａに対して水平走査方向の正方向に向かう順に、＋１、＋２、＋３、・・・とし、第１候補領域Ｒｐａに対して水平走査方向の負方向に向かう順に、－１、－２、－３、・・・、とした。ノイズ低減処理部４４は、複数の参照領域Ｑの光強度情報に基づいて、対象領域Ｐの光強度情報を算出する。本実施形態においては、候補領域Ｒｐに含まれる画素数が第２実施形態（図１５参照）よりも多くなるので、例えば白色ノイズ（ランダムノイズ）を効果的に低減することができる。
　干渉縞の周期に関する情報（例、λ、空間周波数）は、例えば、干渉縞の設定情報として図２に示した記憶装置６に記憶されており、ノイズ低減処理部４４は、記憶装置６から干渉縞の設定情報を取得し、候補領域Ｒｐを設定する。なお、画像処理部４０は、例えばノイズ低減処理の対象の撮像画像５０と第１強調画像６０の少なくとも一方を解析することにより干渉縞の周期に関する情報を取得し、ノイズ低減処理部４４は、解析により得られた干渉縞の周期の情報に基づいて設定される候補領域Ｒｐから、参照領域Ｑを選択してもよい。
　ノイズ低減処理部４４は、例えば、参照領域Ｑの輝度値を重み付けし（輝度値の加重平均を算出し）、その結果を対象領域Ｐにおける補正後の輝度値とする。例えば、ノイズ低減処理部４４は、図８で説明したように、対象パッチ領域Ｎｐと参照パッチ領域Ｎｑとの類似度に基づいて、重み付け係数を決定する。
　なお、ノイズ低減処理部４４は、候補領域Ｒｐに属する全画素のそれぞれを参照領域Ｑとしてもよいし、候補領域Ｒｐに属する一部の画素を参照領域Ｑに用いなくてもよい。例えば、ノイズ低減処理部４４は、第１候補領域Ｒｐａから参照領域Ｑを選択しなくてもよい。また、ノイズ低減処理部４４は、第２候補領域Ｒｐｂに含まれる複数の帯状の領域のうち１以上の領域から参照領域Ｑを選択しなくてもよい。
［第４実施形態］
　次に、第４実施形態について説明する。本実施形態において、上述の実施形態と同様の構成については、適宜、同じ符号を付してその説明を省略あるいは簡略化する。ノイズ低減処理部４４は、上述の実施形態において、対象領域Ｐを含む画像から参照領域Ｑを選択したが、本実施形態において、対象領域Ｐを含む画像と干渉縞の位相が異なる参照画像から参照領域Ｑを選択する。つまり、ノイズ低減処理の対象の画像またはこの画像から生成された画像と、干渉縞の位相が異なる参照画像から参照領域Ｑを選択する。ノイズ低減処理部４４は、例えば、干渉縞の方向の情報、周期の情報、及び位相の情報に基づいて、ノイズ低減処理を行う。
　図１７は、ノイズ低減処理の対象の画像から生成された第１強調画像６０と参照画像から生成された第２強調画像６５とを示す概念図である。第２強調画像６５は、干渉縞の位相が第１強調画像６０と異なる。ここでは説明の便宜上、干渉縞の位置関係を、特徴部５３（例、明部の中心線）を用いて表す。なお、第２強調画像６５には、第１強調画像６０における干渉縞の特徴部５３の１つ（符号５３ｘで示す）と、第１強調画像６０から参照領域を選択する場合の候補領域Ｒｐｘとを比較用に図示した。第２強調画像６５は、干渉縞の方向（例、ライン方向）が第１強調画像６０と同じであり、干渉縞の位置が水平走査方向において第１強調画像６０とΔｄ（位相で２πΔｄｓｉｎθ／λに相当）ずれている。
　ノイズ低減処理部４４は、第２強調画像６５において、第１強調画像６０に参照領域を設定する場合の候補領域Ｒｐｘに対して、水平走査方向にΔｄだけずれた位置に候補領域Ｒｐを設定する。このような候補領域Ｒｐから参照領域Ｑを選択すると、水平走査方向における参照領域Ｑと特徴部５３との距離がｄｘとなる。候補領域Ｒｐは、例えば、線状（帯状）の領域であり、水平走査方向との角度がθである。ノイズ低減処理部４４は、選択した参照領域Ｑに対して参照パッチ領域Ｎｑを設定し、第１強調画像６０上の対象パッチ領域Ｎｐと第２強調画像６５上の参照パッチ領域Ｎｑとの類似度ｗを算出する。また、ノイズ低減処理部４４は、第２強調画像６５上の参照領域Ｑの輝度値を類似度ｗで重み付けすることにより、ノイズ低減処理を行う。参照領域Ｑと干渉縞との位置関係は、対象領域Ｐと干渉縞との位置関係と同等であるので、干渉縞のコントラストを確保しながらノイズを減らすことができる。
　図１８は、本実施形態に係るノイズ低減処理を示すフローチャートである。画像処理部４０は、ステップＳ４０においてノイズ低減処理の対象の画像のデータを取得し、ステップＳ４１において、ノイズ低減処理の対象の画像の干渉縞を強調した第１強調画像を生成する。画像処理部４０は、ステップＳ４２においてノイズ低減処理の対象の画像上または第１強調画像上の干渉縞の方向および位相を取得する。画像処理部４０は、ステップＳ４３において参照画像のデータを取得し、ステップＳ４４において、参照画像の干渉縞を強調した第２強調画像を生成する。画像処理部４０は、ステップＳ４５において参照画像上または第２強調画像上の干渉縞の方向および位相を取得する。画像処理部４０は、ステップＳ４２で取得した情報およびステップＳ４５で取得した情報を用い、ステップＳ４６において、干渉縞の位相の変化量を算出する。
　なお、干渉縞の位相に関する情報として、例えば、ノイズ低減処理の対象の画像と参照画像との干渉縞の位相差の情報が与えられる場合、画像処理部４０は、ステップＳ４２とステップＳ４５の少なくとも一方において位相差の情報を取得し、ステップＳ４６の処理を行わなくてもよい。また、図１６に示したように干渉縞の周期に関する情報を使ってノイズ低減処理を行う場合、画像処理部４０は、ステップＳ４２とステップＳ４５の少なくとも一方において、干渉縞の周期に関する情報を取得してもよい。
　また、画像処理部４０は、ステップＳ４７において第１強調画像から対象領域Ｐを選択し、ステップＳ４８において対象領域Ｐに対して対象パッチ領域Ｎｐを設定する（図１７（Ａ）参照）。画像処理部４０は、ステップＳ４９において、ステップＳ４６で算出した干渉縞の位相の変化量に基づいて、第２強調画像に候補領域Ｒｐを設定する（図１７（Ｂ）参照）。画像処理部４０は、ステップＳ５０において、第２強調画像内の候補領域Ｒｐから参照領域Ｑを選択する。画像処理部４０は、ステップＳ５１において、第２強調画像内に、参照領域Ｑに対して参照パッチ領域Ｎｑを設定する。
　画像処理部４０は、ステップＳ５２において、第１強調画像内の対象パッチ領域Ｎｐと、第２強調画像内の参照パッチ領域Ｎｑとの類似度ｗを算出する。画像処理部４０は、ステップＳ５３において、ステップＳ４９で設定した候補領域Ｒｐのうち、予定された全ての参照領域Ｑに対する類似度ｗの算出が終了したか否かを判定する。画像処理部４０は、類似度ｗの算出が終了していない参照領域Ｑがあると判定した場合（ステップＳ５３；Ｎｏ）、ステップＳ５０に戻り、次の参照領域Ｑを選択する。画像処理部４０は、ステップＳ５０～Ｓ５３の処理を繰り返すことによって、候補領域Ｒｐのうち、予定された全ての参照領域Ｑ（例、候補領域Ｒｐ内の全ての画素）について、類似度ｗを算出する。
　画像処理部４０は、候補領域内で予定された全ての参照領域Ｑの処理が終了したと判定した場合（ステップＳ５３；Ｙｅｓ）、ステップＳ５４において、参照画像における参照領域Ｑの輝度値を類似度で重み付けする。画像処理部４０は、ステップＳ５５において、予定された全ての対象領域Ｐについて処理が終了したか否かを判定する。画像処理部４０は、処理が終了していない対象領域Ｐがあると判定した場合（ステップＳ５５；Ｎｏ）、ステップＳ４７に戻り、第１強調画像６０上の次の対象領域Ｐを選択する。画像処理部４０は、ステップＳ４７～Ｓ５５の処理を繰り返すことによって、予定された全ての対象領域Ｐ（例、全ての画素）について処理を行う。
　また、画像処理部４０は、予定された全ての対象領域Ｐの処理が終了したと判定した場合（ステップＳ５５；Ｙｅｓ）、ステップＳ５６において、予定された全ての参照画像の処理が終了したか否かを判定する。画像処理部４０は、処理が終了していない参照画像があると判定した場合（ステップＳ５６；Ｎｏ）、ステップＳ４３に戻り、次の参照画像を取得する。画像処理部４０は、ステップＳ４３～Ｓ５６の処理を繰り返すことによって、予定された全ての参照画像を用いてノイズ低減処理を行う。
　なお、複数の参照画像を用いる場合、ステップＳ５４において、ノイズ低減処理部４４は、例えば、重み付けの係数を参照画像の枚数に応じて調整し、重み付けされた輝度値を複数の参照画像で積算することによって、対象領域Ｐの輝度値を算出する。例えば、参照画像の枚数が３枚である場合、ノイズ低減処理部４４は、重み付け係数を類似度の１／３に設定し、１枚目の参照画像に対するステップＳ５４の処理において、対象領域Ｐの仮の輝度値を算出する。また、ノイズ低減処理部４４は、２枚目、３枚目の参照画像に対するステップＳ５４の処理において、２枚目、３枚目のそれぞれの参照画像における参照領域Ｑの輝度値を重み付けした値を仮の輝度値に加算して、仮の輝度値を更新する。なお、ノイズ低減処理部４４は、ステップＳ５４の処理を、ステップＳ５６の処理の後に行ってもよい。
　画像処理部４０は、予定された全ての参照画像の処理が終了したと判定した場合（ステップＳ５６；Ｙｅｓ）、一連の処理を終了する。なお、２枚以上の画像にそれぞれノイズ低減処理を行う場合、画像処理部４０は、予定された複数の画像に対して、順に、ステップＳ４０～Ｓ５６の処理を行うことによって、予定された全ての画像に対してそれぞれノイズ低減処理を行う。
［第５実施形態］
　次に、第５実施形態について説明する。本実施形態において、上述の実施形態と同様の構成については、適宜、同じ符号を付してその説明を省略あるいは簡略化する。ノイズ低減処理部４４は、上述の実施形態において、対象領域Ｐを含む画像と干渉縞の位相が異なる参照画像から参照領域Ｑを選択したが、本実施形態において、対象領域Ｐを含む画像と干渉縞の方向が異なる参照画像から参照領域Ｑを選択する。ノイズ低減処理部４４は、例えば、干渉縞の方向の情報の情報に基づいて、ノイズ低減処理を行う。
　図１９（Ａ）は、第１強調画像６０（図１７参照）と干渉縞の方向が異なる第２強調画像７０を示す概念図であり、図１９（Ｂ）は、対象パッチ領域Ｎｐと参照パッチ領域Ｎｑとの類似度を算出する処理を示す概念図である。ここでは説明の便宜上、干渉縞の位置関係を、特徴部５３（例、明部の中心線）を用いて表す。なお、第２強調画像７０には、第１強調画像６０における干渉縞の特徴部の１つ（符号５３ｘで示す）を比較用に図示した。
　第２強調画像７０において、干渉縞の方向（例、特徴部５３のライン方向）は、第１強調画像６０の干渉縞（例、特徴部５３ｘのライン方向）から時計回りに角度ψ（例、１２０°）だけ回転した方向である。特徴部５３のライン方向は、水平走査方向と（θ＋Δφ）の角度をなしている。ノイズ低減処理部４４は、例えば、水平走査方向から角度ψだけ回転した方向Ｄ１において、特徴部５３との距離がｄｘになる領域を参照領域Ｑに設定する。例えば、ノイズ低減処理部４４は、周辺範囲Ａｐのうち、特徴部５３と平行かつ、方向Ｄ１における特徴部５３からの距離がｄｘとなる領域を候補領域Ｒｐに設定し、候補領域Ｒｐから参照領域Ｑを順に選択する。候補領域Ｒｐは、例えば、線状（帯状）の領域であり、水平走査方向との角度が（θ＋Δφ）である。
　図１９（Ｂ）に示すように、ノイズ低減処理部４４は、例えば、参照パッチ領域Ｎｑを反時計回りに角度ψだけ回転させ、回転後の参照パッチ領域Ｎｑと対象パッチ領域Ｎｐとの類似度を算出する。また、ノイズ低減処理部４４は、ノイズ低減処理の対象の画像の参照領域Ｑの輝度値を類似度ｗで重み付けすることにより、ノイズ低減処理を行う。参照領域Ｑと干渉縞との位置関係は、対象領域Ｐと干渉縞との位置関係と同等であり、干渉縞のコントラストを確保しながらノイズを減らすことができる。
　図２０は、第２強調画像７０に参照領域Ｑおよび参照パッチ領域Ｎｑを設定する処理の他の例を示す概念図である。ノイズ低減処理部４４は、例えば、第２強調画像７０の少なくとも一部（例、周辺範囲Ａｐ）を反時計回りに角度ψだけ回転させ、回転後の周辺範囲Ａｐにおける干渉縞の方向を、第１強調画像６０における干渉縞の方向と一致させる。ノイズ低減処理部４４は、回転後の周辺範囲Ａｐのうち、対象領域Ｐに相当する位置を通り水平走査方向に対してθの角度をなす帯状の領域を、候補領域Ｒｐに設定する。ノイズ低減処理部４４は、候補領域Ｒｐから参照領域Ｑを順に選択し、参照領域Ｑに対して参照パッチ領域Ｎｑを設定する。このような処理によっても、参照領域Ｑと干渉縞との位置関係を対象領域Ｐと干渉縞との位置関係と同等にすることができる。
　なお、参照画像は、ノイズ低減処理の対象の画像と干渉縞の位相がずれており、かつ干渉縞の方向がずれている画像でもよい。この場合、例えば、干渉縞の方向を揃えた状態で、参照領域Ｑと干渉縞との距離が、対象領域Ｐと干渉縞との距離と同等になるように、参照領域Ｑを設定すればよい。
　図２１は、本実施形態に係るノイズ低減処理を示すフローチャートである。図２１に示すノイズ低減処理は、図１８に示したノイズ低減処理と比較して、ステップＳ４１に続くステップＳ６０の処理、及びステップＳ４４に続くステップＳ６１～ステップＳ６３の処理が異なる。ノイズ低減処理部４４は、ステップＳ６０において、ノイズ低減処理の対象の画像と第１強調画像の少なくとも一方における干渉縞の方向を取得する。ノイズ低減処理部４４は、ステップＳ６１において、参照画像と第２強調画像の少なくとも一方における干渉縞の方向を取得する。ノイズ低減処理部４４は、ステップＳ６３において、干渉縞の方向の変化量（例、角度）を算出する。また、ノイズ低減処理部４４は、ステップＳ６３で算出した干渉縞の方向の変化量に基づいて、ステップＳ６３において、第２強調画像７０に候補領域Ｒｐを設定する（図１７参照）。以下、ノイズ低減処理部４４は、図１６に示した処理と同様にして、ノイズ低減処理を行う。
　なお、干渉縞の方向に関する情報として、例えば、ノイズ低減処理の対象の画像と参照画像との干渉縞の角度の情報が与えられる場合、ノイズ低減処理部４４は、ステップＳ６０とステップＳ６１の少なくとも一方において、ノイズ低減処理の対象の画像と参照画像との干渉縞の角度の情報を取得し、ステップＳ６２の処理を行わなくてもよい。また、図１６に示したように干渉縞の周期に関する情報を使ってノイズ低減処理を行う場合、画像処理部４０は、ステップＳ６０とステップＳ６１の少なくとも一方において、干渉縞の周期に関する情報を取得してもよい。
　画像処理部４０は、例えば、復調画像の元になる複数の画像のうち１枚をノイズ低減処理の対象の画像とし、ノイズ低減処理の対象の画像以外の画像の少なくとも１枚の画像を参照画像としてノイズ低減処理を行う。また、例えば第１実施形態のように、ノイズ低減処理の対象の画像をノイズ低減処理に使うこともできる。例えば、２Ｄ－ＳＩＭモードにおいて９枚の画像を取得する場合、９枚の画像のうち参照領域Ｑが設定される画像は、ノイズ低減処理の対象の画像のみの１枚であってもよいし、ノイズ低減処理の対象の画像と、８枚の参照画像の少なくとも１枚とを含む２枚以上であってもよく、ノイズ低減処理の対象の画像を含まず８枚の参照画像の少なくとも１枚を含む１枚以上であってもよい。また、構造化照明顕微鏡１は、干渉縞の方向および位相が同じ複数の撮像画像を取得し、画像処理部４０は、干渉縞の方向および位相が同じ複数の撮像画像を用いてノイズ低減処理を行ってもよい。
　画像処理部４０は、例えば、復調画像の元になる複数の画像（例、９枚の撮像画像）から順にノイズ低減処理の対象の画像を選択し、複数の画像のうち２枚以上に対してノイズ低減処理を行う。例えば、２Ｄ－ＳＩＭモードにおいて９枚の画像を取得する場合、画像処理部４０は、９枚の画像のそれぞれに対してノイズ低減処理を行う。
　次に、候補領域Ｒｐの変形例について説明する。図２２（Ａ）は、候補領域Ｒｐの変形例を示す図であり、図２２（Ｂ）は、類似度ｗを算出する処理を示す概念図である。干渉縞の１周期の間に設定される候補領域Ｒｐの数は、上述の実施形態において１つ（図１５、図１６参照）であるが、本変形例においては２つである。候補領域Ｒｐは、上述の実施形態と同様の候補領域Ｒｐｃと、候補領域Ｒｐｄとを含む。候補領域Ｒｐｄは、候補領域Ｒｐｃと平行な領域であり、水平走査方向の位置が候補領域Ｒｐｃと異なる。候補領域Ｒｐｃは、例えば特徴部５３から水平走査方向の正方向に距離ｄｘだけ離れた位置に配置される。候補領域Ｒｐｄは、例えば特徴部５３から水平走査方向の負方向に距離ｄｘだけ離れた位置に配置される。ノイズ低減処理部４４は、例えば、干渉縞の方向の情報、干渉縞の周期の情報、及び干渉縞の位相の情報に基づいて、候補領域Ｒｐを設定する。
　ノイズ低減処理部４４は、図２２（Ｂ）に示すように、候補領域Ｒｐｃから選択される参照領域Ｑ（以下、参照領域Ｑａという）に対して設定された参照パッチ領域Ｎｑ（以下、参照パッチ領域Ｎｑａという）については、上述の実施形態と同様にして、対象領域Ｐとの類似度ｗを算出する。ノイズ低減処理部４４は、候補領域Ｒｐｄから選択される参照領域Ｑ（以下、参照領域Ｑｂ）に対して設定される参照パッチ領域Ｎｑ（以下、参照パッチ領域Ｎｑｂという）を１８０°回転させる。これにより、回転後の参照パッチ領域Ｎｑｂは、干渉縞（例、特徴部５３）との位置関係が参照パッチ領域Ｎｑａと同じになる。ノイズ低減処理部４４は、対象パッチ領域Ｎｐと、回転後の参照パッチ領域Ｎｑｂとの類似度を算出し、参照領域Ｑｂの輝度値を類似度で重み付けする。
　なお、上述の実施形態において、画像処理部４０は、例えば図３に示したように撮像素子３２による撮像画像をノイズ低減処理の対象の画像としているが、撮像画像を用いて生成される画像をノイズ低減処理の対象の画像としてもよい。
　上述の実施形態において、画像処理部４０は、例えば図９に示したように、候補領域Ｒｐ内の全ての参照領域Ｑについて類似度を算出した後に、類似度により輝度値を重み付けする。なお、画像処理部４０は、ステップＳ１６において類似度ｗを算出するたびに、類似度ｗにより重み付けした輝度値を積算し、全ての参照領域Ｑについて類似度ｗの算出が終了した後に、重み付けした輝度値の積算値を正規化してもよい。
　上述の実施形態において、制御装置４は、例えば記憶装置６に記憶されている制御プログラムを読み出し、この制御プログラムに従って各種の処理を実行する。この制御プログラムは、例えば、コンピュータに、試料に含まれる蛍光物質を励起するための励起光を、干渉縞で試料に照射することと、干渉縞の方向および位相を制御することと、干渉縞が照射された前記試料の像を形成することと、像を撮像して撮像画像を生成することと、撮像画像または撮像画像から生成された画像の周波数領域においてフィルタ処理を行うことと、フィルタ処理が行われた画像に対してノイズ低減処理を行うことと、ノイズ低減処理が行われた画像を用いて復調処理を行うことと、を含む処理の制御を実行させる。
　なお、画像処理部４０は、例えば記憶装置６に記憶されている画像処理プログラムを読み出し、この画像処理プログラムに従って各種の画像処理を実行する態様でもよい。例えば、この画像処理プログラムは、試料に含まれる蛍光物質を励起するための励起光を干渉縞で試料に照射し、干渉縞の方向および位相を制御し、干渉縞が照射された試料の像を撮像して生成される撮像画像を用いて、コンピュータに、撮像画像または撮像画像から生成された画像の周波数領域においてフィルタ処理を行うことと、フィルタ処理が行われた画像に対してノイズ低減処理を行うことを実行させる。この画像処理プログラムは、コンピュータに、ノイズ低減処理後の画像を用いて、復調画像を生成することを実行させてもよい。この画像処理プログラムは、上記の制御プログラムの一部であってもよい。
　なお、本発明の技術範囲は、上述の実施形態などで説明した態様に限定されるものではない。上述の実施形態などで説明した要件の１つ以上は、省略されることがある。また、上述の実施形態などで説明した要件は、適宜組み合わせることができる。また、法令で許容される限りにおいて、上述の実施形態などで引用した全ての文献の開示を援用して本文の記載の一部とする。
１・・・構造化照明顕微鏡、１１・・・照明光学系、１５・・・分岐部、
３１・・・結像光学系、３２・・・撮像素子、４０・・・画像処理部、
４１・・・制御部、５０・・・撮像画像、Ｎｐ・・・対象パッチ領域、
Ｎｑ・・・参照パッチ領域、Ｐ・・・対象領域、Ｑ・・・参照領域、
Ｒｐ・・・サーチ領域、Ｘ・・・試料、ｗ・・・類似度
 

Claims (20)

  1. 　試料に含まれる蛍光物質を励起するための励起光を、干渉縞で前記試料に照射する照明光学系と、
    　前記干渉縞の方向および位相を制御する制御部と、
    　前記干渉縞が照射された前記試料の像を形成する結像光学系と、
    　前記結像光学系が形成した前記像を撮像して撮像画像を生成する撮像素子と、
    　前記撮像画像を用いて復調処理を行う画像処理部と、を備える構造化照明顕微鏡であって、
    　前記画像処理部は、
    　前記撮像画像または前記撮像画像から生成された画像の周波数領域においてフィルタ処理を行うフィルタ処理部と、
    　前記フィルタ処理が行われた画像を用いて、前記撮像画像または前記撮像画像から生成された画像に対してノイズ低減処理を行うノイズ低減処理部と、
    　前記ノイズ低減処理が行われた画像を用いて復調処理を行う復調部と、を備える
    　ことを特徴とする構造化照明顕微鏡。
  2. 　前記フィルタ処理部は、
    　前記撮像画像または前記撮像画像から生成された画像から、前記干渉縞の周波数を考慮して、所定の周波数領域を抽出する
    　ことを特徴とする請求項１に記載の構造化照明顕微鏡。
  3. 　前記所定の周波数領域は、前記干渉縞の周波数を含む
    　ことを特徴とする請求項２に記載の構造化照明顕微鏡。
  4. 　前記フィルタ処理部は、予め設定された前記干渉縞の周波数を用いて、前記所定の周波数領域を抽出する
    　ことを特徴とする請求項２または３に記載の構造化照明顕微鏡。
  5. 　前記フィルタ処理部は、前記撮像画像または前記撮像画像から生成された画像から前記干渉縞の周波数を抽出する
    　ことを特徴とする請求項２～４のいずれか１項に記載の構造化照明顕微鏡。
  6. 　前記所定の周波数領域は、前記干渉縞の周波数よりも低周波数を含む
    　ことを特徴とする請求項２～５のいずれか一項に記載の構造化照明顕微鏡。
  7. 　前記所定の周波数領域は、０を含む
    　ことを特徴とする請求項２～６のいずれか１項に記載の構造化照明顕微鏡。
  8. 　前記フィルタ処理部は、前記撮像画像または前記撮像画像から生成された画像から、前記干渉縞のコントラストを変化させる
    　ことを特徴とする請求項１～７のいずれか１項に記載の構造化照明顕微鏡。
  9. 　前記ノイズ低減処理部は、前記ノイズ低減処理の対象となる画像における対象領域と、当該画像または当該画像と異なる画像における複数の参照領域とに基づいて、前記ノイズ低減処理を行う
    　ことを特徴とする請求項１～８のいずれか一項に記載の構造化照明顕微鏡。
  10. 　前記ノイズ低減処理部は、前記対象領域の光強度情報および前記複数の参照領域の光強度情報に基づいて、ノイズ低減処理を行う
    　ことを特徴とする請求項９に記載の構造化照明顕微鏡。
  11. 　前記ノイズ低減処理部は、前記フィルタ処理が行われた画像における対象領域を含む対象パッチ領域と、前記フィルタ処理が行われた画像における参照領域を含む参照パッチ領域との類似度を算出し、
    　前記ノイズ低減処理部は、前記算出した類似度を用いて、前記ノイズ低減処理を行う
    　ことを特徴とする請求項１～８のいずれか１項に記載の構造化照明顕微鏡。
  12. 　前記ノイズ低減処理部は、前記前記算出した類似度を用いて、前記ノイズ低減処理の対象となる画像または当該画像と異なる画像における複数の参照領域の光強度情報に重み付けを行い、前記ノイズ低減処理の対象となる画像における対象領域の光強度情報を算出することを特徴とする請求項１１に記載の構造化照明顕微鏡。
  13. 　前記ノイズ低減処理部は、前記干渉縞の情報を考慮して前記参照領域を選択する
    　ことを特徴とする請求項９～１２のいずれか一項に記載の構造化照明顕微鏡。
  14. 　前記ノイズ低減処理部は、前記対象領域の位置と、前記干渉縞の情報とを考慮して定められた候補領域から、前記参照領域を選択する
    　ことを特徴とする請求項９～１３に記載の構造化照明装置。
  15. 　前記干渉縞の情報は、前記干渉縞の方向を含む
    　ことを特徴とする請求項１３又は１４に記載の構造化照明顕微鏡。
  16. 　前記ノイズ低減処理部は、
    　前記対象領域を含む画像における前記干渉縞の方向と、前記参照領域を含む画像における前記干渉縞の方向とに基づいて、前記参照領域を選択する
    　ことを特徴とする請求項１５に記載の構造化照明顕微鏡。
  17. 　前記干渉縞の情報は、前記干渉縞の周期に関する情報を含む
    　ことを特徴とする請求項１５または１６に記載の構造化照明顕微鏡。
  18. 　前記干渉縞の情報は、前記干渉縞の位相を含む
    　請求項１５～１７のいずれか一項に記載の構造化照明顕微鏡。
  19. 　試料に含まれる蛍光物質を励起するための励起光を、干渉縞で前記試料に照射することと、
    　前記干渉縞の方向および位相を制御することと、
    　前記干渉縞が照射された前記試料の像を形成することと、
    　前記像を撮像して撮像画像を生成することと、
    　前記撮像画像を用いて復調処理を行うことと、を含む観察方法であって、
    　前記撮像画像または前記撮像画像から生成された画像の周波数領域においてフィルタ処理を行うことと、
    　前記フィルタ処理が行われた画像に対してノイズ低減処理を行うことと、
    　前記ノイズ低減処理が行われた画像を用いて前記復調処理を行うことと、を含む
    　ことを特徴とする観察方法。
  20. 　試料に含まれる蛍光物質を励起するための励起光を干渉縞で前記試料に照射し、前記干渉縞の方向および位相を制御し、前記干渉縞が照射された前記試料の像を撮像して生成される撮像画像を用いて、コンピュータに、
    　前記撮像画像または前記撮像画像から生成された画像の周波数領域においてフィルタ処理を行うことと、
    　前記フィルタ処理が行われた画像に対してノイズ低減処理を行うことと、
    　前記ノイズ低減処理が行われた画像を用いて復調処理を行うことと、を実行させる
    　ことを特徴とする画像処理プログラム。
PCT/JP2015/058420 2015-03-20 2015-03-20 構造化照明顕微鏡、観察方法、及び画像処理プログラム WO2016151666A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/058420 WO2016151666A1 (ja) 2015-03-20 2015-03-20 構造化照明顕微鏡、観察方法、及び画像処理プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/058420 WO2016151666A1 (ja) 2015-03-20 2015-03-20 構造化照明顕微鏡、観察方法、及び画像処理プログラム

Publications (1)

Publication Number Publication Date
WO2016151666A1 true WO2016151666A1 (ja) 2016-09-29

Family

ID=56977885

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/058420 WO2016151666A1 (ja) 2015-03-20 2015-03-20 構造化照明顕微鏡、観察方法、及び画像処理プログラム

Country Status (1)

Country Link
WO (1) WO2016151666A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106706577A (zh) * 2016-11-16 2017-05-24 深圳大学 一种光成像系统及方法
WO2018150471A1 (ja) * 2017-02-14 2018-08-23 株式会社ニコン 構造化照明顕微鏡、観察方法、及びプログラム
DE102018108657A1 (de) 2018-04-12 2019-10-17 Jenoptik Optical Systems Gmbh Mikroskop mit strukturierter Beleuchtung
CN117368174A (zh) * 2023-12-07 2024-01-09 深圳赛陆医疗科技有限公司 成像系统及成像方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013076867A (ja) * 2011-09-30 2013-04-25 Olympus Corp 超解像観察装置
JP2014240870A (ja) * 2013-06-11 2014-12-25 オリンパス株式会社 共焦点画像生成装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013076867A (ja) * 2011-09-30 2013-04-25 Olympus Corp 超解像観察装置
JP2014240870A (ja) * 2013-06-11 2014-12-25 オリンパス株式会社 共焦点画像生成装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106706577A (zh) * 2016-11-16 2017-05-24 深圳大学 一种光成像系统及方法
CN106706577B (zh) * 2016-11-16 2019-08-16 深圳大学 一种光成像系统及方法
WO2018150471A1 (ja) * 2017-02-14 2018-08-23 株式会社ニコン 構造化照明顕微鏡、観察方法、及びプログラム
JPWO2018150471A1 (ja) * 2017-02-14 2019-12-19 株式会社ニコン 構造化照明顕微鏡、観察方法、及びプログラム
DE102018108657A1 (de) 2018-04-12 2019-10-17 Jenoptik Optical Systems Gmbh Mikroskop mit strukturierter Beleuchtung
DE102018108657B4 (de) 2018-04-12 2024-03-28 Jenoptik Optical Systems Gmbh Vorrichtung zur Aufnahme wenigstens eines mikroskopischen Bildes und Verfahren zur Aufnahme eines mikroskopischen Bildes
CN117368174A (zh) * 2023-12-07 2024-01-09 深圳赛陆医疗科技有限公司 成像系统及成像方法

Similar Documents

Publication Publication Date Title
EP2437095B1 (en) Sample observation device for generating super resolution image
US8019136B2 (en) Optical sectioning microscopy
JP6635052B2 (ja) 構造化照明顕微鏡、及び観察方法
JP4123305B2 (ja) 画像作成方法および顕微鏡装置
WO2016151666A1 (ja) 構造化照明顕微鏡、観察方法、及び画像処理プログラム
JP5888416B2 (ja) 構造化照明顕微鏡装置
CN108027320A (zh) 基于辅助电磁场的引入的一阶散射测量叠对的新方法
JP7027446B2 (ja) 角度可変照明による材料試験
JP6627871B2 (ja) 構造化照明顕微鏡システム、方法及びプログラム
WO2007043314A1 (ja) 顕微鏡装置
WO2007043313A1 (ja) 顕微鏡装置及び観察方法
JP6513507B2 (ja) 位相差顕微鏡および撮像方法
US11287625B2 (en) Microscope and observation method
CN111433559A (zh) 增强计量目标信息内容
US20210389577A1 (en) Microscope
US9729800B2 (en) Image generation system
US9995923B2 (en) Control apparatus and control method for spatial light modulator
WO2016151665A1 (ja) 構造化照明顕微鏡、観察方法、及び画像処理プログラム
WO2017094184A1 (ja) 走査型顕微鏡および顕微鏡画像取得方法
US9507137B2 (en) Microscope with structured illumination using displaceable grid structures
JP6621350B2 (ja) 空間光変調器の制御装置及び制御方法
EP3583459A1 (en) Structured illumination scanning microscopy
CN113711014A (zh) 使用结构化照明显微镜增强样品成像
WO2018150471A1 (ja) 構造化照明顕微鏡、観察方法、及びプログラム
Dzyuba et al. Phase apodization of the imaging system through separate color channels to increase the depth of field

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15886223

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

NENP Non-entry into the national phase

Ref country code: JP

122 Ep: pct application non-entry in european phase

Ref document number: 15886223

Country of ref document: EP

Kind code of ref document: A1