WO2012144515A1 - 顕微鏡装置、及び画像処理方法 - Google Patents

顕微鏡装置、及び画像処理方法 Download PDF

Info

Publication number
WO2012144515A1
WO2012144515A1 PCT/JP2012/060431 JP2012060431W WO2012144515A1 WO 2012144515 A1 WO2012144515 A1 WO 2012144515A1 JP 2012060431 W JP2012060431 W JP 2012060431W WO 2012144515 A1 WO2012144515 A1 WO 2012144515A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
sample
fluorescence
fluorescent
shape
Prior art date
Application number
PCT/JP2012/060431
Other languages
English (en)
French (fr)
Inventor
泰俊 金子
Original Assignee
株式会社ニコン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ニコン filed Critical 株式会社ニコン
Publication of WO2012144515A1 publication Critical patent/WO2012144515A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/16—Microscopes adapted for ultraviolet illumination ; Fluorescence microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/645—Specially adapted constructive features of fluorimeters
    • G01N21/6456—Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458—Fluorescence microscopy

Definitions

  • STORM Stochastic Optical Reconstruction Microscopy
  • STORM Stochastic Optical Reconstruction Microscopy
  • an observation sample a fluorescent substance having the property of being activated when irradiated with an activation light having a predetermined wavelength and subsequently inactivating and emitting fluorescence when irradiated with an excitation light having a wavelength different from that of the activation light, or this fluorescence
  • a substance to which a substance is attached is used.
  • the fluorescent material is activated at a low density, and thereafter, excitation light is irradiated to cause the fluorescent material to emit light, thereby obtaining a fluorescent image.
  • the fluorescent luminescent spots are arranged at low density and are separated individually, so that the position of the center of gravity of each image can be obtained.
  • a high-resolution sample image can be obtained by repeating such a step of obtaining a fluorescent image a plurality of times, for example, several hundred times to several tens of thousands times or more, and performing image processing for synthesizing the obtained plurality of fluorescent images. .
  • the conventional observation method has a problem in that a high-resolution image cannot be obtained because the autofluorescent component generated in the observation sample is observed even in a region where no fluorescent substance is attached.
  • An object of an aspect of the present invention is to provide a microscope apparatus and an image processing method capable of obtaining a high-resolution image by removing noise.
  • an imaging optical system for observing a sample, a light source for irradiating the sample with excitation light, and a fluorescence image of the observation region of the sample imaged by the imaging optical system
  • a first fluorescence image generation unit that generates a fluorescence image of the observation region as a low resolution fluorescence image
  • a second that generates the fluorescence image of the observation region as a high resolution fluorescence image.
  • a microscope apparatus comprising a fluorescence image generation unit and a noise removal unit that removes noise of the high resolution fluorescence image based on the low resolution fluorescence image.
  • the first fluorescent image generation unit generates the low resolution fluorescent image based on the high resolution fluorescent image.
  • the microscope apparatus further includes an image recording unit that records a plurality of fluorescent images obtained by repeatedly irradiating the observation region with excitation light, and the first fluorescent image generation unit includes the first fluorescent image generation unit, Based on the first fluorescence image among the plurality of fluorescence images recorded in the image recording unit, the image generation unit is configured to create the low-resolution fluorescence image, and the second fluorescence image generation unit includes the image It is preferable that the plurality of fluorescent images recorded in the recording unit are combined to generate a high-resolution fluorescent image capable of observing the sample at a molecular level.
  • the image creation device performs binarization processing of the fluorescence image to create a mask image indicating the internal shape of the sample
  • the noise removal unit is configured to have an internal shape of the sample. It is preferable to remove the high-resolution fluorescent image deviating from the mask image region indicating as noise.
  • the noise removing unit may combine the high-resolution fluorescent image combined with the predetermined number of fluorescent images and the image every time the combined image generation apparatus acquires the predetermined number of fluorescent images. It is preferable to synthesize the low-resolution fluorescent image generated by the creation device and remove the noise component.
  • an imaging optical system for observing a sample, a light source for irradiating the sample with activation light or excitation light, and observation of the sample imaged by the imaging optical system
  • a microscope apparatus having an observation unit for observing a fluorescent image of a region
  • the internal shape of the sample is irradiated with the excitation light to the observation region where a sample containing a fluorescent substance that emits fluorescence when irradiated with excitation light.
  • a shape image creating apparatus for creating a shape image indicating the above, an operation for irradiating the observation region where the sample is arranged with the activation light, and irradiating the observation region with the excitation light.
  • a sample image generation device that acquires a plurality of the fluorescence images by alternately repeating the operation of acquiring the fluorescence images a plurality of times and generates a sample image from the plurality of the fluorescence images, and the fluorescence image creation device created Using the shape image
  • the noise removing device synthesizes the shape image generated by the shape image generation device and the sample image generated by the sample image generation device, and the shape of the sample image is the shape. It is preferable to remove a portion that does not overlap the outer shape of the sample defined by the image as a noise component.
  • the noise removing device is configured to generate the predetermined number of fluorescent images and the shape image generated by the shape image generating device every time the sample image generating device acquires the predetermined number of fluorescent images. And a portion of the fluorescent image that does not overlap the outer shape of the sample defined by the shape image is preferably removed as a noise component.
  • an imaging optical system for observing the sample a light source for irradiating the sample with excitation light, and a fluorescence image of the observation region of the sample imaged by the imaging optical system
  • the image processing method of the microscope apparatus having an observation unit for observing the image, a first fluorescence image generation step for generating a fluorescence image of the observation region as a low resolution fluorescence image, and a fluorescence image of the observation region as a high resolution fluorescence image
  • an image processing method comprising a second fluorescent image generation step to be generated and a noise removal step of removing noise of the high resolution fluorescent image based on the low resolution fluorescent image.
  • an imaging optical system for observing a sample, a light source for irradiating the sample with activation light or excitation light, and observation of the sample imaged by the imaging optical system
  • the excitation light is irradiated to the observation region where a sample containing a fluorescent substance that emits fluorescence when irradiated with excitation light
  • a shape image creating step for creating a shape image indicating the shape of the sample; an operation for irradiating the observation region where the sample is arranged; and the excitation light on the observation region after the activation light irradiation.
  • a sample image generation step of acquiring a plurality of the fluorescence images by alternately repeating the operation of acquiring a fluorescence image by irradiating a plurality of times, and generating a sample image from the plurality of the fluorescence images, and the fluorescence image creation device Created by Serial shape image using the image processing method characterized by and a noise removal step of removing the noise component of the sample images the sample image generator has generated is provided.
  • the noise removal step is executed after the sample image generation step is completed, and the shape image generated in the shape image generation step and the sample generated in the sample image generation step. It is preferable to synthesize an image and remove a portion of the sample image that does not overlap the outer shape of the sample defined by the shape image as a noise component.
  • the noise removal step is performed every time a predetermined number of the fluorescent images are acquired in the sample image generation step, and the predetermined number of the fluorescent images are acquired in the sample image generation step.
  • the predetermined number of fluorescent images and the shape image generated in the shape image creation step are combined, and a portion of the fluorescent image that does not overlap with the outer shape of the sample defined by the shape image is noised. It is preferable to remove as a component.
  • FIG. 1 is a schematic view showing a microscope apparatus according to this embodiment.
  • the microscope apparatus 10 includes a light source 12 and a control unit 14 (observation unit, first fluorescence image generation unit, second fluorescence image generation unit, noise removal unit, noise removal device, image creation device, composite image generation device, and shape image creation.
  • Apparatus, sample image generation apparatus a microscope main body 15, a storage unit 16 (image recording unit), and a display unit 17 (observation unit).
  • the microscope apparatus 10 is a microscope apparatus using super-resolution microscope technology (Stochastic Optical Reconstruction Microscopy; STORM).
  • the microscope apparatus 10 uses a sample provided with a fluorescent substance that emits fluorescence and deactivates when irradiated with excitation light L1 in an activated state.
  • This fluorescent substance has a characteristic that it becomes inactivated again when it is irradiated with activation light L2 having a wavelength different from that of the excitation light L1 after it is inactivated by emitting fluorescence when irradiated with the excitation light L1. is doing.
  • the light source 12 includes an excitation illumination system 11 and an activation illumination system 13.
  • the excitation illumination system 11 includes a laser light source 21, a shutter 22, and a total reflection mirror 32, and the excitation illumination system 11 and the microscope main body 15 are connected via the total reflection mirror 32.
  • the laser light source 21 is a light source that supplies excitation light L1 for causing the fluorescent material applied to the sample to emit light to the microscope body 15.
  • the laser light source 21 may be anything that emits excitation light L1 having a wavelength suitable for the fluorescent material included in the sample. For example, a green laser (wavelength 532 nm), a red laser (wavelength 633 nm) depending on the type of the fluorescent material. , 657 nm), a violet laser (wavelength 405 nm), a blue laser (wavelength 457 nm), or the like.
  • the shutter 22 is a device that switches between supply and stop of the excitation light L1 to the microscope main body 15.
  • a light shielding member that shields the excitation light L1 emitted from the laser light source 21, and an optical path of the excitation light L1 through the light shielding member. It can be set as the structure provided with the drive device made to advance / retreat with respect to.
  • an AOTF Acoustic-Optic Tunable Filter
  • the total reflection mirror 32 is for totally reflecting the excitation light L1 emitted from the laser light source 21 toward the stage 31 of the microscope main body 15 to be described later. Based on such a configuration, the excitation illumination system 11 irradiates the entire area of the observation visual field (observation region) on the stage 31 with the excitation light L1.
  • the activation illumination system 13 includes a laser light source 42, a scanner 43, and a dichroic mirror 33, and the dichroic mirror 33 is inserted into the optical path of the excitation light L1, thereby enabling the activation illumination system 13 and The microscope main body 15 is connected.
  • the dichroic mirror 33 is for reflecting the activation light L ⁇ b> 2 emitted from the laser light source 42 toward the stage 31 and transmitting the excitation light L ⁇ b> 1 toward the stage 31.
  • the laser light source 42 irradiates the microscope main body 15 with the activation light L2 for activating the fluorescent material.
  • the laser light source 42 only needs to emit the activation light L2 having a wavelength suitable for the fluorescent material included in the sample.
  • a green laser wavelength 532 nm
  • a red laser wavelength depending on the type of the fluorescent material.
  • 633 nm, 657 nm a violet laser (wavelength 405 nm), a blue laser (wavelength 457 nm), or the like can be used.
  • the scanner 43 scans the activation light L2 on the stage 31 of the microscope main body 15.
  • a biaxial galvano scanner can be used.
  • the activation illumination system 13 can irradiate the observation light field (observation region) on the stage 31 while scanning the activation light L ⁇ b> 2 by the scanner 43.
  • a laser light source device that includes the laser light source 21 and the laser light source 42 in one housing and is configured to emit a plurality of types of laser light may be employed.
  • an illumination system including the shutter 22 and the scanner 43 is configured together with the laser light source device, so that both the excitation light L1 and the activation light L2 are transmitted to the microscope body 15 by one illumination system. Supply is possible.
  • the microscope body 15 is composed of an inverted microscope, for example.
  • the microscope main body 15 includes a stage 31 on which a sample to be observed is placed.
  • a camera 34 observation unit that captures a fluorescent image of the sample placed on the stage 31 is connected to the microscope body 15.
  • the camera 34 for example, a CCD camera having a plurality of pixels is used.
  • the microscope main body 15 is supplied with an objective lens that irradiates the stage 31 with the excitation light L1 and the activation light L2, and fluorescence (observation light) emitted from a fluorescent substance in the sample.
  • An imaging lens to be coupled to the light receiving surface is provided.
  • the objective lens and the imaging lens constitute the imaging optical system of the present invention that observes the sample placed on the stage 31.
  • the stage 31 is configured to be capable of total reflection illumination that totally reflects the excitation light L1 and the activation light L2 at the interface between the cover glass attached to the sample and the sample.
  • the sample can be illuminated with evanescent light that oozes out from the cover glass toward the sample side when the illumination light (excitation light L1 and activation light L2) is totally reflected. Since the range where evanescent light reaches is limited to the range of about 100 to 150 nm from the interface, only the fluorescent material located near the cover glass surface can emit light, and the fluorescence of the background is remarkably reduced, resulting in high S / N ratio can be realized.
  • microscope main body 15 of the present embodiment is configured to be usable by switching between the total reflection illumination and the normal epi-illumination.
  • the control unit 14 is a computer that comprehensively controls the microscope apparatus 10, and includes a storage unit 16, a display unit 17, and a camera controller 19 (observation unit, first fluorescent image generation unit, second fluorescent image generation unit). And connected to.
  • the control unit 14 has acquired at least a control signal generation function that generates a control signal for controlling these devices, and a fluorescence image acquisition function that acquires a fluorescence image via the camera controller 19. It has an image analysis function for analyzing a fluorescent image, a noise removal function for removing noise from an image acquired by STORM, as will be described later, and an image forming function for generating a sample image from a plurality of fluorescent images.
  • the storage unit 16 includes, for example, a semiconductor memory or a hard disk, and stores a program used in the control unit 14 and data (fluorescence image or the like) supplied from the control unit 14 in a state that can be read from the control unit 14.
  • the display unit 17 is, for example, a monitor (display device) or a printer (printing device), and provides a function of displaying and printing video based on image data output from the control unit 14.
  • a monitor is used as the display unit 17.
  • the camera controller 19 drives and controls the camera 34 connected to the microscope body 15.
  • the camera controller 19 operates the camera 34 based on the control signal input from the control unit 14, acquires an image of fluorescence emitted from the sample, and outputs the acquired fluorescence image to the control unit 14.
  • the microscope apparatus 10 realizes various operations necessary for carrying out an image processing method to be described later by executing a combination of the functions provided in the control unit 14. Accordingly, the microscope apparatus 10 includes a shape image creating apparatus that creates a shape image indicating the shape of the sample, a sample image generating apparatus that generates a sample image by STORM imaging processing and image processing, and noise from the sample image based on the shape image. It also has the function of a noise removing device that removes components.
  • the microscope apparatus 10 performs image processing for removing noise on an image captured using the super-resolution microscope technique.
  • FIG. 2 is a flowchart showing the image processing method of the present embodiment.
  • the image processing method according to the present embodiment will be described in the description of the image observation method in the microscope apparatus 10.
  • the image processing method includes a shape image creation step S101, a sample image generation step S102, and a noise removal step S103.
  • Shape image creation step S101 includes step S11 of acquiring a first fluorescence image (shape image) indicating the internal shape of the sample corresponding to the observation field in the microscope apparatus 10.
  • the sample image generation step S102 includes a step S12 of irradiating the observation light with the activation light L2, and a step S13 of acquiring the second fluorescence image by irradiating the observation light after the irradiation with the activation light L2 with the excitation light L1.
  • step S14 for storing the second fluorescence image, step S15 for determining the end of imaging, and step S16 for generating a sample image from the plurality of second fluorescence images.
  • the first fluorescent image may be referred to as a conventional image
  • the sample image may be referred to as a STORM image.
  • the noise removing step S103 includes a step S17 of removing the noise component of the STORM image using the conventional image.
  • the outline of the image observation procedure by the microscope apparatus 10 is as follows. First, in shape image creation step S101, a conventional image is acquired to grasp the shape of the sample. Thereafter, in the sample image generation step S102, the operation of irradiating the sample with the activation light L2 and the operation of irradiating the excitation light L1 to obtain the second fluorescent image are repeated hundreds to tens of thousands of times (STORM imaging). processing). Then, a high-resolution STORM image is obtained by synthesizing a large number of captured second fluorescent images (STORM image processing).
  • FIG. 3A and 3B are diagrams comparing the conventional image acquired in the shape image creation step S101 and the STORM image acquired in the sample image generation step S102.
  • FIG. 3A illustrates an example of a conventional image
  • FIG. 3B illustrates an example of a STORM image.
  • the conventional image acquired in the shape image creation step S101 cannot be imaged in detail from the optical resolution limit, and constitutes the low-resolution fluorescent image of the present invention.
  • the STORM image obtained by the STORM image processing is a higher resolution image than the conventional image, and constitutes the high resolution fluorescent image of the present invention.
  • the fluorescent substance is detected at a single molecule level as will be described later, not only the fluorescent substance attached to the sample but also the fluorescent substance scattered without attaching to the sample is at the same level of fluorescence. As a result, the image is formed. Therefore, in the STORM image, the fluorescence caused by the scattered fluorescent material is included as noise.
  • the noise removal step S103 it is possible to obtain a higher resolution image by removing the noise component of the STORM image based on the conventional image. I have to.
  • a sample provided with a fluorescent substance as a label is set on the stage 31 of the microscope apparatus 10.
  • the sample to be observed is, for example, a cell immersed in a culture solution.
  • a fluorescent substance that emits fluorescence and is inactivated when irradiated with excitation light L1 having a wavelength different from that of the activation light L2 in the activated state is used.
  • the fluorescent substance emits fluorescence by being irradiated with the excitation light L1, is deactivated, and is then activated again when the activation light L2 is irradiated again.
  • those described in US Patent Publication No. 2008/0032414 can be used, for example, a dye pair in which two kinds of cyanine dyes are combined (Cy3-Cy5 dye pair, Cy2-Cy5 dye). Pair etc.) can be used.
  • one dye forms a light emitting portion that emits light by excitation light
  • the other dye changes the first dye in response to light irradiation.
  • An activation portion is formed that functions as a switch that activates or switches the state of the first dye.
  • Cy5 is a light emitting moiety
  • Cy3 is an activating moiety capable of activating Cy5. Therefore, when a fluorescent material containing a Cy3-Cy5 dye pair is irradiated with a green laser (532 nm) corresponding to the absorption wavelength of Cy3, Cy5 which is a light emitting portion is activated, and Cy5 shifts to a fluorescent state.
  • Cy5 when a red laser (633 nm) corresponding to the absorption wavelength of Cy5 is irradiated to a fluorescent material in which Cy5 is in a fluorescent state, Cy5 emits light and returns to an inactive state (dark state).
  • STORM by controlling the switching operation between the fluorescent state and the dark state in the fluorescent material, only a small part of the fluorescent material applied to the sample is selectively emitted, and the fluorescent material can be detected at the level of one molecule. Yes.
  • shape image creation step If the setting of the sample to the stage 31 is completed, the control part 14 will start shape image creation step S101.
  • step S101 first, step S11 for acquiring a conventional image showing the shape of the sample corresponding to the entire observation visual field is executed.
  • the fluorescent material imparted to the sample is initially activated.
  • the fluorescent substance has a Cy3-Cy5 dye pair
  • Cy5 which is a light emitting portion has shifted to a fluorescent state and is in a state capable of emitting light.
  • the fluorescent substance in the activated state emits fluorescence for a predetermined time, and after that, it stops producing fluorescence and shifts to an inactive state.
  • step S11 the camera 34 is operated via the camera controller 19 to take a fluorescent image emitted by the fluorescent material.
  • the captured conventional image is transmitted from the camera controller 19 to the control unit 14, and the control unit 14 acquires a conventional image based on the fluorescent image captured by the camera 34 and stores it in the storage unit 16.
  • the control unit 14 performs binarization processing on the fluorescence image acquired by each pixel of the camera 34 (CCD camera). Specifically, the control unit 14 acquires only pixel data obtained by imaging light higher than a predetermined luminance, and removes image data obtained by imaging light lower than the predetermined luminance as a noise component. Since image data related to fluorescence having a luminance lower than the predetermined value is considered to have arisen from the optical resolution limit of the conventional image, it is desirable to exclude such image data from the conventional image. is there. In this manner, the control unit 14 performs binarization processing on the captured fluorescent image for all the pixels of the camera 34.
  • the conventional image that has been subjected to the binarization process is a fluorescence image in which the noise component is suppressed because the fluctuation component of the luminance value near the threshold is removed.
  • any of a p-tile method, a mode method, and a discriminant analysis method can be used as a threshold setting method during binarization processing.
  • control unit 14 may remove the noise component based on the shape or area of the fluorescent image captured by the camera 34 instead of or in addition to the binarization process.
  • the control unit 14 can analyze the shape of the fluorescent image captured by the camera 34, separate the main part of the fluorescent image into an island shape, and remove a portion located in a place separated by a predetermined distance or more as noise.
  • the control part 14 can analyze the area of the fluorescence image which the camera 34 imaged, and can remove a part smaller than a predetermined area as noise.
  • FIG. 4 is a schematic diagram conceptually showing the conventional image G1 formed in step S11.
  • the conventional image G ⁇ b> 1 can be configured by adding together the image data of each pixel of the camera 34 that captures the fluorescence emitted by the fluorescent material attached to the sample.
  • fluorescence stops and it transfers to an inactive state.
  • sample image generation step When the shape image creation step S101 is completed, the control unit 14 starts the sample image generation step S102.
  • a STORM imaging process steps S12 to S15
  • a STORM image process step S16 for generating a STORM image from the second fluorescence image are executed.
  • step S12 the activation light L2 emitted from the activation illumination system 13 is supplied to the microscope body 15, and the activation light L2 is irradiated to the sample on the stage 31.
  • the excitation light L1 is blocked by closing the shutter 22 of the excitation illumination system 11, and only the activation light L2 enters the microscope body 15.
  • the activation light L ⁇ b> 2 is position-controlled by the scanner 43, enters the dichroic mirror 33, is reflected by the dichroic mirror 33, and is irradiated to a predetermined position in the observation field on the stage 31. That is, the activation light L2 is scanned over the entire observation visual field by the scanner 43, and the activation light L2 having a uniform intensity is irradiated onto the sample in the entire visual field. Thereby, the fluorescent substance contained in the sample is activated again over the entire visual field.
  • the activation light L2 may be applied to the sample in any form of total reflection illumination or epi-illumination.
  • FIG. 5 is an explanatory diagram showing a case where the sample S is irradiated with the activation light L2 (or excitation light L1) by total reflection illumination.
  • the sample S is disposed on the cover glass 31a of the stage 31, and the activation light L2 is incident on the surface of the cover glass 31a obliquely from below the cover glass 31a. Then, the activation light L2 is totally reflected at the interface between the cover glass 31a and the sample S, and the evanescent light EV that oozes out from the interface toward the sample S is irradiated on the interface side surface layer of the sample S.
  • the activation light L2 is incident in the normal direction of the cover glass 31a and the sample S is irradiated with the activation light L2 transmitted through the cover glass 31a. In this case, the activation light L2 is irradiated to the entire thickness direction of the sample S.
  • the activation light L2 is applied to the sample S as the evanescent light EV, and the fluorescence located in the very surface layer portion of the sample S. Only the substance is selectively activated.
  • the activated illumination system 13 is in a state where it does not emit the activation light L2, and the shutter 22 of the excitation illumination system 11 is opened, and the excitation light emitted from the laser light source 21.
  • L1 is supplied to the microscope main body 15 via the total reflection mirror 32. Thereby, the excitation light L1 is irradiated to the entire observation visual field, and only the fluorescent substance activated by the activation light L2 selectively emits light.
  • the fluorescent substance emitting fluorescence shifts to an inactive state.
  • the fluorescence emitted by the fluorescent material can be photographed by operating the camera 34 via the camera controller 19, and a second fluorescent image can be acquired.
  • the captured second fluorescent image is transmitted from the camera controller 19 to the control unit 14.
  • FIG. 6 is a schematic diagram schematically showing the STORM image G2 generated in the sample image generation step S102.
  • the bright spots of the captured fluorescence are indicated by + marks.
  • the STORM image G2 shows the shape of the display sample with high resolution with the same brightness of each bright spot (+).
  • step S14 the control unit 14 causes the storage unit 16 to store the received second fluorescent image. If the second fluorescent image is stored in the storage unit 16, it is determined in step S15 whether or not the STORM imaging process has been completed. That is, it is determined whether or not the acquisition of a preset number of second fluorescent images has been completed. If the number of second fluorescent images has not reached the predetermined number, the process returns to step S12, and the above-described steps S12 to S14 are repeatedly executed.
  • FIG. 7 is a diagram showing a configuration of the image display window 23 displayed on the monitor as the display unit 17 when the second fluorescent image is acquired during the STORM image processing.
  • FIG. 7 shows an image display window 23 in the case of performing STORM image processing on a sample containing one type of fluorescent material.
  • the image display window 23 has a main screen 23a and a sub screen 23b. As shown in FIG. 7, the main screen 23a has a display area 24 indicating the number of bright spots (see FIG. 6) in the second fluorescent image captured by the camera 34 during the STORM image processing.
  • the sample is irradiated with the activation light L2 once, and then the sample is irradiated with the excitation light L1 three times. Then, every time the excitation light L1 is irradiated, the camera 34 captures a second fluorescent image emitted by the fluorescent material attached to the sample.
  • a period during which the excitation light L1 is irradiated once and the camera 34 captures the second fluorescent image is referred to as “one frame”.
  • the sample is irradiated with the activation light L2 every three frames, and the irradiation period of the activation light L2 on the sample and the period of three frames are collectively referred to as “one period”. .
  • a bar graph indicating the number of bright spots of the second fluorescent image corresponding to three periods is displayed in the display area 24. That is, a total of nine bar graphs are simultaneously displayed in the display area 24, three per period.
  • the bar graph for one period is sequentially updated by moving to the left side of the display area 24 as time passes.
  • the height of the bar graph changes according to the number of bright spots for each second fluorescent image of each period. Accordingly, the user can use the intensity of the activation light L2 and the excitation light L1 used for the STORM image processing based on the size of the bar graph in the display area 34, and the intensity of the laser light sources 21 and 42 can be set to a predetermined value. The value can be adjusted. This is because the number of bright spots of the second fluorescent image changes according to the intensity of the activation light L2 and the excitation light L1.
  • the main screen 23a is provided with a sampling interval input box 25 in which a sampling interval for adjusting an interval for displaying a bar graph for one frame in the display area 24 can be input.
  • a sampling interval input box 25 By inputting a desired numerical value in the sampling interval input box 25, it is possible to thin out the bar graph for one frame displayed in the display area 24. Thereby, the visibility of the bar graph displayed in the display area 24 is improved.
  • the main screen 23a is provided with an icon portion 26 that can select display or non-display of the sub screen 23b. The user can switch the sub screen 23b to display or non-display state by clicking the icon part 26 as necessary.
  • the sub-screen 23b is provided with a first input box 27a, a second input box 27b, and a third input box 27c.
  • the first input box 27 a is for inputting the lower limit value of the number of bright spots of the second fluorescent image corresponding to the vertical axis of the display area 24, and the second input box 27 b is the vertical axis of the display area 24.
  • the upper limit value of the number of bright spots of the second fluorescent image corresponding to is input.
  • the third input box 27c is for inputting the scale width of the vertical axis of the display area 24. In this embodiment, the user selects one of 5, 10, and 15, for example. is doing.
  • each bar graph displays the maximum value of the number of bright spots in the second fluorescent image captured in the past lightly, and shows the value of the number of bright spots in the second fluorescent image currently captured. It is designed to display darkly. Further, each bar graph displays only a numerical value when the value of the number of bright spots in the second fluorescent image falls below the lower limit value input in the first input box 27a. Thereby, even if it is a case where the number of luminescent spots is less than a lower limit, the user can confirm the number of luminescent spots visually.
  • the microscope apparatus 10 may use a sample containing two types of fluorescent substances instead of the sample containing one type of fluorescent substance as shown in FIG. 7 during the STORM image processing.
  • the excitation illumination system 11 includes another laser light source that irradiates light having a wavelength different from that of the laser light source 21. This is because the two types of fluorescent materials have different wavelengths of excitation light L1 that are compatible with each other.
  • FIG. 8 is a diagram showing the configuration of the image display window 23 when the STORM image processing is performed on a sample containing two kinds of fluorescent substances.
  • two display areas 24a and 24b are displayed on the main screen 23a.
  • One display area 24a (upper side) displays a bar graph indicating the number of bright spots in the second fluorescent image emitted by one fluorescent material included in the sample
  • the other display area 24b (lower stage side) The bar graph indicating the number of bright spots in the second fluorescent image emitted from the other fluorescent substance contained in the sample is displayed.
  • the bar graph for one period in the upper display area 24a and the bar graph for one period in the lower display area 24b are shifted by a half pitch. That is, when using a sample containing two types of fluorescent substances, the interval of irradiating the activation light L2 is halved compared to using a sample containing one type of fluorescent substance. Further, when performing STORM image processing by capturing the same number of second fluorescent images using two types of fluorescent materials, the period during which each fluorescent material emits light compared to the case of using one type of fluorescent material. Can be halved, so that the lifetime of the fluorescent material can be extended. Note that STORM image processing may be performed on a sample containing three or more types of fluorescent substances.
  • a fourth input box 27d is provided above the first input box 27a in the sub-screen 23b.
  • the fourth input box 27d is selected by the user, the input values of the first input box 27a, the second input box 27b, and the third input box 27c in the upper display area 24a are displayed on the lower side.
  • the display area 24b can be reflected in the input values of the first input box 27a, the second input box 27b, and the third input box 27c.
  • step S13 since the fluorescent material emitted in step S13 is inactivated at the same time as the light emission, the sample returns to step S12 from step S15 and the irradiation with the activation light L2 is performed again.
  • the fluorescent substance contained in S is in an inactive state. Therefore, every time step S14 is re-executed, the activated fluorescent substance is stochastically different, and the second fluorescent image acquired in the subsequent step S13 is the second fluorescent image acquired in the previous cycle. It shows a bright spot pattern different from the fluorescent image. In this way, by repeatedly executing steps S12 to S14, hundreds to tens of thousands of second fluorescent images having different bright spot positions can be acquired.
  • the second fluorescent image can be acquired several hundred to several tens of thousands of times because the fluorescent material applied to the sample S returns to an inactive state when it emits light. Therefore, it is possible to shorten the light emission time for each photographing, to increase the period until fading, and only a part of the fluorescent material activated by the activation light L2 Yes, because there are relatively few fluorescent materials that emit light in one shooting.
  • step S15 if the shooting of the predetermined number of second fluorescent images has been completed, it is determined in step S15 that the process has ended, and the process proceeds to step S16.
  • step S16 the STORM image G2 is generated by superimposing hundreds to tens of thousands of second fluorescent images accumulated in the storage unit 16. Thus, the sample image generation step S102 is completed.
  • the fluorescent substance can be detected at the single molecule level in the STORM imaging process, an autofluorescent component generated in other cells included in the sample is included as noise.
  • the bright spot (+) indicated by the symbol Nz in FIG. 6 is a noise component due to the autofluorescent component.
  • the STORM image G2 can acquire a high-resolution fluorescent image, the STORM image G2 includes the autofluorescent component as the noise component Nz, and therefore the resolution is degraded.
  • the control unit 14 starts the noise removal step S103 after the sample image generation step S102 is completed.
  • a noise removal process step S17 for removing the noise component of the STORM image using the conventional image is executed.
  • step S17 the conventional image G1 acquired in the shape image creation step S101 and the STORM image G2 acquired in the sample image generation step S102 are synthesized, and the portion of the STORM image G2 that does not overlap with the external shape of the sample by the conventional image G1. Is removed as a noise component. That is, in the noise removal step S103, the conventional image G1 acquired in the shape image creation step S101 is used as a mask image, and the STORM image G1 outside the mask image region is removed as noise.
  • FIG. 9 is a diagram for explaining the concept of step S17.
  • the control unit 14 synthesizes and overlays the conventional image G1 and the STORM image G2. And the control part 14 removes the bright spot (+ mark) which does not overlap with the external shape of the conventional image G1 among the STORM images G2 as the noise component Nz.
  • the noise component Nz is caused by autofluorescence of a substance other than the observation target in the sample, it is considered that the noise component Nz is arranged at a position different from the sample that is the measurement target. That is, the bright spot (+) at a position that does not overlap the outer shape of the conventional image G1 is not the fluorescence emitted by the fluorescent material attached to the sample but the autofluorescent component generated in other cells contained in the sample. It can be regarded as a thing.
  • step S17 the control unit 14 removes the bright spot (+) that is out of the conventional image G1 by thinning out the fluorescent bright spot that can be regarded as the noise component Nz from the STORM image G2, and removes the noise component Nz.
  • G2 is stored in the storage unit 16 as a main image. Thereby, noise removal step S103 is completed.
  • the microscope apparatus 10 of the present embodiment acquires a conventional image G1 of the sample, and performs image processing for removing the noise component of the STORM image G2 using the conventional image G1.
  • the conventional image G1 and the STORM image G2 are synthesized, and a portion of the STORM image G2 that does not overlap with the conventional image G1 is removed as a noise component. Therefore, since the noise component Nz can be removed from the STORM image G2, a high-resolution image with less noise can be obtained.
  • the pixel data of the fluorescence image captured by the camera 34 is binarized to obtain a conventional image G1 whose boundary portion of the outer shape is clearly defined. Therefore, the conventional image G1 is obtained.
  • the bright spots of the STORM image G2 overlaid on the bright spots located near the boundary of the conventional image G1 can be prevented from being removed as the noise component Nz. Therefore, noise removal from the STORM image G2 can be performed with high accuracy.
  • dSTORM direct Stochastic Optical Reconstruction Microscopy
  • dSTORM direct Stochastic Optical Reconstruction Microscopy
  • dSTORM it is possible to acquire images of only a small number of fluorescent substances based on spontaneous blinking of fluorescent substances without irradiating an activation laser as in the conventional STORM.
  • the microscope apparatus of the second embodiment has a configuration to which this dSTORM is applied.
  • a configuration in which the activation illumination system 13 is omitted from the microscope apparatus 10 shown in FIG. 1 can be adopted.
  • a sample containing a fluorescent material that spontaneously blinks when irradiated with excitation light of a predetermined wavelength by the excitation illumination system 11 is arranged in the observation region on the stage 31 of the microscope body 15, and this observation region
  • the fluorescent material is blinked by irradiating excitation light from the excitation illumination system 11, and the fluorescent image is acquired by capturing the light emitted from the fluorescent material with the camera 34.
  • the control unit 14 acquires a conventional image G1 of the observation region based on a signal from the camera controller 19. Then, the control unit 14 alternately performs the operation of irradiating the observation region with the excitation light having the irradiation intensity set for each part and the operation of acquiring the fluorescence image excited with the excitation light of the observation region alternately a plurality of times. By repeating, a plurality of fluorescence images are acquired, and a sample image is generated from the plurality of fluorescence images.
  • the procedure of the observation method according to the second embodiment is similar to the observation method according to the first embodiment shown in FIG. 2, in the shape image creation step (first fluorescence image generation step) S101 and the sample image generation step. (Second fluorescence image generation step) S102 and noise removal step S103.
  • the excitation illumination system 11 is used instead of the activation illumination system 13 in the shape image creation step S101.
  • the excitation illumination system 11 irradiates the observation region with the excitation light L1 having a uniform intensity distribution to generate fluorescence from the fluorescent substance in the sample.
  • the camera 34 captures the fluorescence emitted from the fluorescent substance in the sample irradiated with the excitation light L1.
  • the fluorescent image captured by the camera 34 is sent to the control unit 14.
  • the control unit 14 performs binarization processing on the fluorescence image acquired by each pixel of the camera 34, and acquires a conventional image (low-resolution fluorescence image) G1 as a mask image used in the noise removal step S103. That is, the control unit 14 according to the present embodiment constitutes a first fluorescence image generation unit that generates a fluorescence image in the observation visual field as a low resolution fluorescence image in the shape image creation step S101.
  • the sample is irradiated with excitation light L1 having an intensity distribution different from that of the excitation light L1 used in the shape image generation step S101.
  • the sample is irradiated with excitation light L1 having such an intensity that only a part of the fluorescent substance in the sample generates fluorescence.
  • the concentration of the culture medium of the sample is appropriately adjusted so as to change the fluorescence emission characteristic of the excitation light L1.
  • the sample image generation step S102 repeats the operation of irradiating the excitation light L1 and the operation of capturing the fluorescence image of the fluorescence emitted from the sample by the irradiation of the excitation light L1 with the camera 34 a plurality of times, for example, several hundreds. Tens of thousands of second fluorescent images are acquired from the above, and the second fluorescent image is synthesized to generate the STORM image G2. That is, the control unit 14 according to the present embodiment constitutes a second fluorescence image generation unit that generates a fluorescence image in the observation field as a high resolution fluorescence image in the sample image generation step S102.
  • the noise removal step S103 the STORM image G2 created in the sample image generation step S102 and the conventional image G1 (mask image) are synthesized, and the noise component is removed based on the same method as in the first embodiment.
  • a high-resolution image can be obtained by removing noise components from the STORM image, as in the first embodiment.
  • the illumination system can be simplified.
  • this invention is not limited to the said embodiment, In the range which does not deviate from the meaning of invention, it can change suitably.
  • the noise removal step S103 is performed after the sample image generation step S102 is described as an example, but a method of performing the noise removal step S103 in the middle of the sample image generation step S102 may be adopted. I do not care. That is, the sample image generation step S102 and the noise removal step S103 may be executed simultaneously.
  • the acquired second fluorescent image and the conventional image G1 are synthesized, and the brightness that does not overlap with the conventional image G1. You may make it remove a point (+ mark) from a 2nd fluorescence image as a noise component. Then, the STORM image from which the noise component is removed may be acquired by superimposing the second fluorescent image from which the noise component has been removed.
  • the same imaging optical system (camera 34) is optically the same as the low-resolution fluorescent image (corresponding to the conventional image G1) and the high-resolution fluorescent image (corresponding to the STORM image G2).
  • the case where the captured image acquired by the above is used has been described as an example.
  • the present invention is not limited to this, and optically different imaging optical systems (an optical system corresponding to a low resolution and an optical system corresponding to a high resolution) are used, and a conventional image G1 and a STORM image G2 are individually obtained.
  • the noise removal step may be performed by the same method as in the above-described embodiment.
  • the present invention acquires a low-resolution fluorescent image (corresponding to the conventional image G1) based on the high-resolution fluorescent image (corresponding to the STORM image G2) shown in FIG.
  • the noise removal step may be performed using a fluorescent image as a mask image.
  • image processing for reducing the resolution of the fluorescent image by thinning out the fluorescent image data captured by each pixel of the camera 34 constituting the STORM image, or the camera 34 It is possible to employ image processing such as binning processing that lowers the resolution of the fluorescent image by grouping a plurality of adjacent pixels together and increasing the light receiving area.
  • the gradation brightness level is different in a dense area and a sparse area in the STORM image G2, and therefore, the binary is based on the gradation brightness level.
  • the low resolution image from which the noise area is removed can be generated by performing the conversion process. Noise removal processing can be performed by superimposing the low-resolution image as a mask image on the STORM image G2.
  • noise removal of the STORM image G2 is performed by performing mask processing using the conventional image G1.
  • the present invention is not limited to this, and noise removal may be performed by performing image processing that extracts only a necessary image from the STORM image G2 instead of the mask processing. By excluding a region considered to be noise from the entire STORM image G2, only a region corresponding to an image of a desired cell in the sample can be extracted.
  • SIM Structured Illumination Microscopy
  • noise components are removed from the STORM image using the conventional image acquired by the SIM. It is also applicable to cases.
  • STORM and dSTORM are taken as examples of the fluorescence microscope apparatus for acquiring a super-resolution image, and the case of removing a noise component from an image acquired by these methods is exemplified.
  • the present invention can also be applied to a case where noise components are removed from an image (sample image) picked up by PALM (Photoactivation Localization Microscopy) disclosed in US Pat. No. 7,626,695.
  • Dronpa is adopted as a fluorescent material.
  • Dronpa When Dronpa is irradiated with light of a predetermined intensity, it can absorb the excitation wavelength, and has a characteristic that does not emit fluorescence even when receiving excitation light in a non-activated state. Therefore, the low-resolution fluorescent image can be used as a mask image by acquiring the low-resolution fluorescent image and the high-resolution fluorescent image by adjusting the intensity of light applied to the sample as appropriate, as in the above-described STORM. Thus, image processing for removing noise from the high-resolution fluorescent image can be performed.
  • STED Stimulated emission
  • excitation excitation laser light stimulated emission short pulse laser light
  • present invention can also be applied to a case where a noise component is removed from an image (sample image) captured by depletion.
  • image sample image
  • the image according to the above-described embodiment or the image acquired by the above-described SIM can be used.

Abstract

　顕微鏡装置は、試料を観察する結像光学系と、試料に励起光を照射する光源と、結像光学系で結像された試料の観察領域の蛍光像を観察する観察部とを有する。また、顕微鏡装置は、観察領域の蛍光像を低解像度蛍光画像として生成する第一蛍光画像生成部と、観察領域の蛍光像を高解像度蛍光画像として生成する第二蛍光画像生成部と、低解像度蛍光画像に基づき高解像度蛍光画像のノイズを除去するノイズ除去部とを備える。

Description

顕微鏡装置、及び画像処理方法
　本発明の態様は、顕微鏡装置、及び画像処理方法に関する。
　本願は、２０１１年４月２１日に出願された日本国特願２０１１－０９４９６０号に基づき優先権を主張し、その内容をここに援用する。
　従来から、超解像顕微鏡として、ＳＴＯＲＭ（Stochastic Optical Reconstruction Microscopy）が知られている（例えば特許文献１参照）。この顕微鏡では、観察試料として、所定波長の活性化光を照射すると活性化し、後に活性化光とは異なる波長の励起光を照射すると蛍光を発して不活性化する特性を有する蛍光物質又はこの蛍光物質を付着させたものが用いられる。このような観察試料に対して微弱な活性化光を照射することで低密度に蛍光物質を活性化させ、その後に励起光を照射して蛍光物質を発光させることで蛍光画像を取得する。このようにして取得した蛍光画像では、蛍光輝点（蛍光物質の像）が低密度に配置され、個々に分離されたものとなるため、個々の像の重心位置を求めることができる。このような蛍光画像を得るステップを複数回、例えば数百回～数万回以上繰り返し、得られた複数の蛍光画像を合成する画像処理を行うことにより、高分解能の試料画像を得ることができる。
米国特許出願公開第２００８／００３２４１４号明細書
　しかしながら、従来の観察方法では、観察試料において生じる自家蛍光成分が、蛍光物質が付着していない領域においても観察されてしまうことで高解像度の画像を得ることができないといった問題が生じていた。
　本発明の態様は、ノイズを除去することで高解像度の画像をえることができる顕微鏡装置及び画像処理方法を提供することを目的とする。
　本発明の第１の態様に従えば、試料を観察する結像光学系と、前記試料に励起光を照射する光源と、前記結像光学系で結像された前記試料の観察領域の蛍光像を観察する観察部とを有する顕微鏡装置において、前記観察領域の蛍光像を低解像度蛍光画像として生成する第一蛍光画像生成部と、前記観察領域の蛍光像を高解像度蛍光画像として生成する第二蛍光画像生成部と、前記低解像度蛍光画像に基づき前記高解像度蛍光画像のノイズを除去するノイズ除去部とを備えたことを特徴とする顕微鏡装置が提供される。
　また、上記顕微鏡装置においては、前記第一蛍光画像生成部は、前記高解像度蛍光画像に基づき、前記低解像度蛍光画像を生成することが好ましい。
　また、上記顕微鏡装置においては、前記観察領域に複数回繰り返して励起光を照射して得られた複数の蛍光画像を記録する画像記録部を更に有し、前記第一蛍光画像生成部は、前記画像記録部に記録された前記複数の蛍光画像のうち第一枚目の蛍光画像に基づき、前記低解像度蛍光画像を作成する画像作成装置から構成され、前記第二蛍光画像生成部は、前記画像記録部に記録された前記複数の蛍光画像を合成して前記試料を分子レベルで観察可能な高解像度蛍光画像を生成する合成画像生成装置から構成されたことが好ましい。
　また、上記顕微鏡装置においては、前記画像作成装置は、前記蛍光画像の２値化処理を実施し、前記試料の内部形状を示すマスク画像を作成し、前記ノイズ除去部は、前記試料の内部形状を示すマスク画像の領域から外れた前記高解像度蛍光画像をノイズとして除去することが好ましい。
　また、上記顕微鏡装置においては、前記ノイズ除去部は、前記合成画像生成装置が所定枚数の前記蛍光画像を取得するごとに、前記所定枚数の蛍光画像で合成された前記高解像度蛍光画像と前記画像作成装置が生成した前記低解像度蛍光画像とを合成し、ノイズ成分を除去することが好ましい。
　本発明の第２の態様に従えば、試料を観察する結像光学系と、前記試料に活性化光あるいは励起光を照射する光源と、前記結像光学系で結像された前記試料の観察領域の蛍光像を観察する観察部とを有する顕微鏡装置において、励起光を照射されると蛍光を発する蛍光物質を含む試料が配置された観察領域に前記励起光を照射して前記試料の内部形状を示す形状画像を作成する形状画像作成装置と、前記試料が配置された前記観察領域に前記活性化光を照射する動作と、前記活性化光照射後の前記観察領域に前記励起光を照射して蛍光画像を取得する動作とを交互に複数回繰り返すことで複数の前記蛍光画像を取得し、複数の前記蛍光画像から試料画像を生成する試料画像生成装置と、前記蛍光画像作成装置が作成した前記形状画像を用いて、前記試料画像生成装置が生成した前記試料画像のノイズ成分を除去するノイズ除去装置と、を備えることを特徴とする顕微鏡装置が提供される。
　また、上記顕微鏡装置においては、前記ノイズ除去装置は、前記形状画像作成装置が生成した前記形状画像と、前記試料画像生成装置が生成した前記試料画像とを合成し、前記試料画像のうち前記形状画像で規定される前記試料の外形と重ならない部分をノイズ成分として除去することが好ましい。
　また、上記顕微鏡装置においては、前記ノイズ除去装置は、前記試料画像生成装置が所定枚数の前記蛍光画像を取得するごとに、前記所定枚数の蛍光画像と前記形状画像作成装置が生成した前記形状画像とを合成し、前記蛍光画像のうち前記形状画像で規定される前記試料の外形と重ならない部分をノイズ成分として除去することが好ましい。
　本発明の第３の態様に従えば、試料を観察する結像光学系と、前記試料に励起光を照射する光源と、前記結像光学系で結像された前記試料の観察領域の蛍光像を観察する観察部とを有する顕微鏡装置の画像処理方法において、前記観察領域の蛍光像を低解像度蛍光画像として生成する第一蛍光画像生成ステップと、前記観察領域の蛍光像を高解像度蛍光画像として生成する第二蛍光画像生成ステップと、前記低解像度蛍光画像に基づき前記高解像度蛍光画像のノイズを除去するノイズ除去ステップとを備えたことを特徴とする画像処理方法が提供される。
　本発明の第４の態様に従えば、試料を観察する結像光学系と、前記試料に活性化光あるいは励起光を照射する光源と、前記結像光学系で結像された前記試料の観察領域の蛍光像を観察する観察部とを有する顕微鏡装置の画像処理方法において、励起光を照射されると蛍光を発する蛍光物質を含む試料が配置された観察領域に前記励起光を照射して前記試料の形状を示す形状画像を作成する形状画像作成ステップと、前記試料が配置された前記観察領域に前記活性化光を照射する動作と、前記活性化光照射後の前記観察領域に前記励起光を照射して蛍光画像を取得する動作とを交互に複数回繰り返すことで複数の前記蛍光画像を取得し、複数の前記蛍光画像から試料画像を生成する試料画像生成ステップと、前記蛍光画像作成装置が作成した前記形状画像を用いて、前記試料画像生成装置が生成した前記試料画像のノイズ成分を除去するノイズ除去ステップと、を備えることを特徴とする画像処理方法が提供される。
　また、上記画像処理方法においては、前記ノイズ除去ステップは、前記試料画像生成ステップの終了後、実行され、前記形状画像作成ステップで作成した前記形状画像と、前記試料画像生成ステップで生成した前記試料画像とを合成し、前記試料画像のうち前記形状画像で規定される前記試料の外形と重ならない部分をノイズ成分として除去することが好ましい。
　また、上記画像処理方法においては、前記ノイズ除去ステップは、前記試料画像生成ステップにおいて前記蛍光画像が所定枚数だけ取得されるごとに実行され、前記試料画像生成ステップで前記所定枚数の前記蛍光画像を取得するごとに、前記所定枚数の蛍光画像と前記形状画像作成ステップで生成した前記形状画像とを合成し、前記蛍光画像のうち前記形状画像で規定される前記試料の外形と重ならない部分をノイズ成分として除去することが好ましい。
　本発明の態様によれば、ノイズを除去することで高解像度の画像を得ることができる。
顕微鏡装置の第１実施形態を示す構成図である。 第１実施形態に係る観察方法を示すフローチャート図である。 コンベンショナル画像を示した図である。 ＳＴＯＲＭ画像を示した図である。 コンベンショナル画像を概念的に示す模式図である。 全反射照明の模式図である。 ＳＴＯＲＭ画像を概略的に示す模式図である。 表示部に表示される画像表示ウインドウの構成を示す図である。 ２種類の蛍光物質を含む試料を用いた際の画像表示ウインドウの構成図である。 ステップＳ１７の概念を説明する図である。
　以下、図面を参照して顕微鏡装置および画像処理方法の一実施形態について説明する。なお、本実施形態は、発明の趣旨をより良く理解させるために具体的に説明するものであり、特に指定のない限り、本発明を限定するものではない。また、以下の説明で用いる図面は、特徴をわかりやすくするために、便宜上、要部となる部分を拡大して示している場合があり、各構成要素の寸法比率などが実際と同じであるとは限らない。
　（第１実施形態）
　図１は本実施形態に係る顕微鏡装置を示す概略図である。
　顕微鏡装置１０は、光源１２と、制御部１４（観察部、第一蛍光画像生成部、第二蛍光画像生成部、ノイズ除去部、ノイズ除去装置、画像作成装置、合成画像生成装置、形状画像作成装置、試料画像生成装置）と、顕微鏡本体１５と、記憶部１６（画像記録部）と、表示部１７（観察部）とを備えている。
　本実施形態の顕微鏡装置１０は超解像顕微鏡技術（Stochastic Optical Reconstruction Microscopy；ＳＴＯＲＭ）を用いた顕微鏡装置である。顕微鏡装置１０では、活性化状態で励起光Ｌ１が照射されると蛍光を発して不活性化する蛍光物質を標識として付与された試料を用いる。この蛍光物質は、励起光Ｌ１が照射されることで蛍光を発して不活性化した後、励起光Ｌ１とは異なる波長の活性化光Ｌ２が照射されると再度活性化状態となる特性を有している。そして、励起光Ｌ１と活性化光Ｌ２とを用いて試料中の一部の蛍光物質のみを発光させることで離散的に分布した蛍光を観察する動作を繰り返し、これにより取得した多数の蛍光画像を用いて試料画像として微小管の蛍光像を形成する。
　本実施形態に係る光源１２は、励起照明系１１と、活性化照明系１３と、を含む。
　励起照明系１１は、レーザ光源２１と、シャッタ２２と、全反射ミラー３２とを備えており、全反射ミラー３２を介して励起照明系１１と顕微鏡本体１５とが接続されている。
　レーザ光源２１は、試料に付与した蛍光物質を発光させるための励起光Ｌ１を顕微鏡本体１５に供給する光源である。レーザ光源２１は、試料に含まれる蛍光物質に適合する波長の励起光Ｌ１を射出するものであればよく、例えば、蛍光物質の種類に応じて、緑色レーザ（波長５３２ｎｍ）、赤色レーザ（波長６３３ｎｍ、６５７ｎｍ）、紫色レーザ（波長４０５ｎｍ）、青色レーザ（波長４５７ｎｍ）などを用いることができる。
　シャッタ２２は、顕微鏡本体１５への励起光Ｌ１の供給、停止を切り替える装置であり、例えば、レーザ光源２１から射出される励起光Ｌ１を遮蔽する遮光部材と、この遮光部材を励起光Ｌ１の光路に対して進退させる駆動装置とを備えた構成とすることができる。あるいはシャッタ２２として、ＡＯＴＦ（Acousto-Optic Tunable Filter；音響光学フィルタ）を用いても良い。全反射ミラー３２は、レーザ光源２１から照射される励起光Ｌ１を後述する顕微鏡本体１５のステージ３１に向けて全反射させるためのものである。
　このような構成に基づき、励起照明系１１は、ステージ３１上の観察視野（観察領域）の全域に対して励起光Ｌ１を照射するようになっている。
　一方、活性化照明系１３は、レーザ光源４２と、スキャナ４３と、ダイクロイックミラー３３とを備えており、ダイクロイックミラー３３が励起光Ｌ１の光路上に挿入されることで、活性化照明系１３と顕微鏡本体１５とが接続されている。ダイクロイックミラー３３は、レーザ光源４２から照射される活性化光Ｌ２をステージ３１に向けて反射させるとともに励起光Ｌ１をステージ３１に向けて透過させるためのものである。
　レーザ光源４２は、蛍光物質を活性化するための活性化光Ｌ２を顕微鏡本体１５に向けて照射する。レーザ光源４２は、試料に含まれる蛍光物質に適合する波長の活性化光Ｌ２を射出するものであればよく、例えば、蛍光物質の種類に応じて、緑色レーザ（波長５３２ｎｍ）、赤色レーザ（波長６３３ｎｍ、６５７ｎｍ）、紫色レーザ（波長４０５ｎｍ）、青色レーザ（波長４５７ｎｍ）などを用いることができる。
　スキャナ４３は、活性化光Ｌ２を顕微鏡本体１５のステージ３１上で走査する。スキャナ４３としては、例えば、二軸のガルバノスキャナを用いることができる。
　このような構成に基づき、活性化照明系１３は、ステージ３１上の観察視野（観察領域）に対して、活性化光Ｌ２をスキャナ４３により走査しながら照射可能になっている。
　なお、光源１２として、レーザ光源２１とレーザ光源４２とを１つの筐体内に備え、複数種のレーザ光を射出可能に構成されたレーザ光源装置を採用してもよい。このようなレーザ光源装置を備える場合、レーザ光源装置とともにシャッタ２２やスキャナ４３を備えた照明系を構成することで、１つの照明系により励起光Ｌ１と活性化光Ｌ２の両方を顕微鏡本体１５に供給可能となる。
　上記顕微鏡本体１５は、例えば、倒立顕微鏡から構成されるものである。顕微鏡本体１５は、観察対象である試料を載置するステージ３１を備えている。また、顕微鏡本体１５には、ステージ３１に載置された試料の蛍光画像を撮像するカメラ３４（観察部）が接続されている。カメラ３４としては、例えば複数の画素を有したＣＣＤカメラを用いている。
　また図示は省略しているが、顕微鏡本体１５には、ステージ３１に励起光Ｌ１及び活性化光Ｌ２を照射する対物レンズや、試料内の蛍光物質から放射された蛍光（観察光）をカメラ３４の受光面に結合させる結像レンズなどが設けられている。上記対物レンズ及び結像レンズは、ステージ３１に載置される試料を観察する本発明の結像光学系と構成している。
　ステージ３１は、試料に貼り付けられたカバーガラスと試料との界面で励起光Ｌ１及び活性化光Ｌ２を全反射させる全反射照明が可能に構成されている。全反射照明によれば、照明光（励起光Ｌ１、活性化光Ｌ２）が全反射する際にカバーガラスから試料側へにじみ出るエバネッセント光により試料を照明することができる。エバネッセント光が届く範囲は界面から１００～１５０ｎｍ程度の範囲に限られるため、カバーガラス表面近傍に位置する蛍光物質のみを発光させることができ、バックグランウドの蛍光を著しく低減することで高いＳ／Ｎ比で実現することができる。
　なお、本実施形態の顕微鏡本体１５は、上記の全反射照明と、通常の落射照明とを切り替えて使用可能に構成されている。
　上記制御部１４は、顕微鏡装置１０を総合的に制御するコンピュータであり、記憶部１６と、表示部１７と、カメラコントローラ１９（観察部、第一蛍光画像生成部、第二蛍光画像生成部）とに接続されている。本実施形態において、制御部１４は、少なくとも、これらの装置を制御するための制御信号を生成する制御信号生成機能と、カメラコントローラ１９を介して蛍光画像を取得する蛍光画像取得機能と、取得した蛍光画像を解析する画像解析機能と、後述のようにＳＴＯＲＭにより取得した画像からノイズを除去するノイズ除去機能と、複数の蛍光画像から試料画像を生成する画像形成機能と、を有する。
　記憶部１６は、例えば半導体メモリやハードディスクなどからなり、制御部１４において使用されるプログラムや制御部１４から供給されるデータ（蛍光画像など）を、制御部１４から読出可能な状態で記憶する。
　表示部１７は、例えばモニタ（表示装置）やプリンタ（印刷装置）であり、制御部１４から出力される画像データに基づく映像を表示、印刷する機能を提供する。本実施形態では、表示部１７としてモニタを用いている。
　カメラコントローラ１９は、顕微鏡本体１５に接続されたカメラ３４を駆動制御する。カメラコントローラ１９は、制御部１４から入力される制御信号に基づいてカメラ３４を動作させ、試料から放射された蛍光の画像を取得し、取得した蛍光画像を制御部１４に出力する。
　顕微鏡装置１０は、制御部１４に備えられた上記の機能を組み合わせて実行することにより、後述する画像処理方法の実施に必要な各種の動作を実現する。したがって、顕微鏡装置１０は、試料の形状を示す形状画像を作成する形状画像作成装置、ＳＴＯＲＭ撮影処理及び画像処理により試料画像を生成する試料画像生成装置、及び、形状画像に基づいて試料画像からノイズ成分を除去するノイズ除去装置の機能を兼ね備えたものである。
　次に、顕微鏡装置１０の動作の説明に基づき、本発明の画像処理方法の一例についても説明する。顕微鏡装置１０は超解像顕微鏡技術を用いて撮像した画像に対してノイズを除去する画像処理を行うようになっている。
　図２は、本実施形態の画像処理方法を示すフローチャートである。以下、顕微鏡装置１０における画像観察方法について説明する中で本実施形態に係る画像処理方法についても述べる。
　画像処理方法は、形状画像作成ステップＳ１０１と、試料画像生成ステップＳ１０２と、ノイズ除去ステップＳ１０３と、からなる。
　形状画像作成ステップＳ１０１は、顕微鏡装置１０において観察視野に対応した試料の内部形状を示す第１の蛍光画像（形状画像）を取得するステップＳ１１を含む。また、試料画像生成ステップＳ１０２は、活性化光Ｌ２を観察視野に照射するステップＳ１２と、活性化光Ｌ２照射後の観察視野に励起光Ｌ１を照射して第２の蛍光画像を取得するステップＳ１３と、第２の蛍光画像を保存するステップＳ１４と、撮影終了を判定するステップＳ１５と、複数の第２の蛍光画像から試料画像を生成するステップＳ１６と、を含む。
　なお、以下の説明では、便宜上、第１の蛍光画像をコンベンショナル画像と称し、試料画像をＳＴＯＲＭ画像と呼ぶことがある。ノイズ除去ステップＳ１０３は、上記のコンベンショナル画像を用いて上記のＳＴＯＲＭ画像のノイズ成分を除去するステップＳ１７を含む。
　顕微鏡装置１０による画像観察手順の概略は以下の通りである。
　まず、形状画像作成ステップＳ１０１において、コンベンショナル画像を取得して試料の形状を把握する。その後、試料画像生成ステップＳ１０２において、活性化光Ｌ２を試料に照射する動作と、励起光Ｌ１を照射して第２の蛍光画像を得る動作とを、数百回から数万回繰り返す（ＳＴＯＲＭ撮影処理）。そして、撮影した多数の第２の蛍光画像を合成することで、高解像度のＳＴＯＲＭ画像を得る（ＳＴＯＲＭ画像処理）。
　図３Ａ及び図３Ｂとは、形状画像作成ステップＳ１０１で取得されるコンベンショナル画像と試料画像生成ステップＳ１０２で取得されるＳＴＯＲＭ画像とを比較した図である。図３Ａはコンベンショナル画像の一例を示し、図３ＢはＳＴＯＲＭ画像の一例を示す図である。図３Ａに示されるように、形状画像作成ステップＳ１０１で取得されるコンベンショナル画像は光学的な解像限界から細部まで画像化することができず、本発明の低解像度蛍光画像を構成するものである。一方、図３Ｂに示されるように、ＳＴＯＲＭ画像処理で取得されるＳＴＯＲＭ画像は、コンベンショナル画像に比べて高解像な画像であり、本発明の高解像度蛍光画像を構成するものである。
　しかしながら、ＳＴＯＲＭ撮像処理では、後述のように蛍光物質を１分子レベルで検出することから、試料に付着した蛍光物質のみならず試料に付着せずに飛散した蛍光物質のいずれについても同じレベルの蛍光として撮像されることで画像化されてしまう。従って、ＳＴＯＲＭ画像においては、飛散した蛍光物質に起因した蛍光をノイズとして含んでしまっていた。
　本実施形態に係る顕微鏡装置１０では、上記試料画像生成ステップＳ１０２の後、ノイズ除去ステップＳ１０３において、コンベンショナル画像に基づいてＳＴＯＲＭ画像のノイズ成分を除去することでより高解像の画像を得られるようにしている。
　以下、各段階の手順について詳細に説明する。
　まず、顕微鏡装置１０のステージ３１上に、標識として蛍光物質を付与された試料がセットされる。観察対象となる試料は、例えば培養液に浸漬された細胞などである。蛍光物質としては、活性化状態で活性化光Ｌ２とは異なる波長の励起光Ｌ１を照射されると蛍光を発して不活性化する蛍光物質が用いられる。また、この蛍光物質は、励起光Ｌ１が照射されることで蛍光を発して不活性化した後、再度活性化光Ｌ２が照射されると再び活性化状態となる。具体的には、米国特許公開第２００８／００３２４１４号明細書に記載されたものを用いることができ、例えば、２種類のシアニン染料を結合させた染料対（Ｃｙ３－Ｃｙ５染料対、Ｃｙ２－Ｃｙ５染料対など）を用いることができる。
　上記の染料対において、一方の染料（第１の染料）が励起光により発光する光放射部分を形成し、他方の染料（第２の染料）が、光照射に応答して第１の染料を活性化するか、あるいは第１の染料の状態を切り替えるスイッチとして機能する活性化部分を形成する。例えば、Ｃｙ３－Ｃｙ５染料対では、Ｃｙ５が光放射部分であり、Ｃｙ３はＣｙ５を活性化可能な活性化部分である。したがって、Ｃｙ３－Ｃｙ５染料対を含む蛍光物質に、Ｃｙ３の吸収波長に対応する緑色レーザ（５３２ｎｍ）を照射すると、光放射部分であるＣｙ５が活性化され、Ｃｙ５が蛍光状態に移行する。そして、Ｃｙ５が蛍光状態にある蛍光物質に対してＣｙ５の吸収波長に対応する赤色レーザ（６３３ｎｍ）を照射すると、Ｃｙ５が発光するとともに、非活性状態（暗状態）に戻る。
　ＳＴＯＲＭでは、蛍光物質における蛍光状態と暗状態とのスイッチング動作を制御することで、試料に付与された蛍光物質のごく一部のみを選択的に発光させ、蛍光物質を１分子レベルで検出可能としている。
　（形状画像作成ステップ）
　ステージ３１への試料のセットが完了したならば、制御部１４は、形状画像作成ステップＳ１０１を開始する。形状画像作成ステップＳ１０１では、まず、観察視野全域に対応した試料の形状を示すコンベンショナル画像を取得するステップＳ１１が実行される。
　ここで、上記試料に付与された蛍光物質は、最初に活性化状態になっている。例えば、蛍光物質がＣｙ３－Ｃｙ５染料対を有する場合には、光放射部分であるＣｙ５が蛍光状態に移行しており発光可能な状態となっている。活性化状態にある蛍光物質は所定時間の間蛍光を発し、その後、蛍光を生じなくなるとともに不活性状態へと移行する。
　ステップＳ１１では、カメラコントローラ１９を介してカメラ３４を動作させ、この蛍光物質が発する蛍光画像を撮影する。撮影されたコンベンショナル画像はカメラコントローラ１９から制御部１４に送信され、制御部１４はカメラ３４が撮影した蛍光画像に基づいてコンベンショナル画像を取得し、記憶部１６に記憶させる。
　ここで、コンベンショナル画像を取得する画像処理方法について詳述する。
　制御部１４は、カメラ３４（ＣＣＤカメラ）の各画素が取得した蛍光画像の２値化処理を行う。具体的に、制御部１４は、所定の輝度よりも高い光を撮像した画素データのみを取得し、所定の輝度よりも低い光を撮像した画像データについてはノイズ成分として除去する。このような所定値よりも低い輝度の蛍光に関する画像データはコンベンショナル画像の光学的な解像限界から生じたものとみなされるため、このような画像データについてはコンベンショナル画像から除外するのが望ましいからである。このように制御部１４は、カメラ３４の全ての画素に対して、撮像した蛍光画像の２値化処理を行う。２値化処理が行われたコンベンショナル画像は、閾値付近の輝度値の変動成分が除去されたものとなっているので、ノイズ成分が抑えられた蛍光画像となる。なお、２値化処理時における閾値の設定方法としては、ｐ－タイル法、モード法、或いは判別分析法のいずれを用いることができる。
　また、制御部１４は、２値化処理に代えて或いは２値化処理に加えて、カメラ３４が撮像した蛍光画像の形状又は面積に基づいてノイズ成分を除去するようにしても構わない。制御部１４は、例えばカメラ３４が撮像した蛍光画像の形状を分析し、蛍光画像の主要部から島状に分離し、所定距離以上離間した場所に位置する部分をノイズとして除去することができる。また、制御部１４は、カメラ３４が撮像した蛍光画像の面積を分析し、所定面積よりも小さい部分をノイズとして除去することができる。
　このようにして取得されたコンベンショナル画像はノイズ成分の少なく、試料の内部形状の境界が明確に定まったものとなるので、後述のノイズ除去工程を高精度で行うことができる。以上のようにして、形状画像作成ステップＳ１０１が終了する。図４はステップＳ１１により形成されたコンベンショナル画像Ｇ１を概念的に示す模式図である。図４に示すようにコンベンショナル画像Ｇ１は、試料に付着した蛍光物質が発した蛍光を撮像したカメラ３４の各画素の画像データを合算することで構成することができる。なお、蛍光物質は蛍光を発した後、上述のように蛍光が生じなくなるとともに不活性状態へと移行する。
　（試料画像生成ステップ）
　形状画像作成ステップＳ１０１が終了したならば、制御部１４は、試料画像生成ステップＳ１０２を開始する。試料画像生成ステップＳ１０２では、ＳＴＯＲＭ撮影処理（ステップＳ１２～Ｓ１５）と、第２の蛍光画像からＳＴＯＲＭ画像を生成するＳＴＯＲＭ画像処理（ステップＳ１６）とが実行される。
　まず、ステップＳ１２では、活性化照明系１３から射出される活性化光Ｌ２が顕微鏡本体１５に供給され、ステージ３１上の試料に対して活性化光Ｌ２が照射される。このとき、励起照明系１１のシャッタ２２が閉状態とされることで励起光Ｌ１が遮断され、顕微鏡本体１５には活性化光Ｌ２のみが入射する。
　活性化照明系１３では、活性化光Ｌ２がスキャナ４３により位置制御されてダイクロイックミラー３３に入射し、ダイクロイックミラー３３で反射されてステージ３１上の観察視野の所定位置に照射される。すなわち、スキャナ４３により活性化光Ｌ２が観察視野全域に対して走査され、視野全域の試料に対して均一な強度の活性化光Ｌ２が照射される。これにより、視野全域にわたって試料に含まれる蛍光物質が再度活性化される。
　なお、活性化光Ｌ２は全反射照明、落射照明のいずれの形態で試料に照射してもよい。
　図５は、全反射照明により活性化光Ｌ２（あるいは励起光Ｌ１）を試料Ｓに照射する場合を示す説明図である。図５に示すように、ステージ３１のカバーガラス３１ａ上に試料Ｓが配置されており、活性化光Ｌ２はカバーガラス３１ａの下方からカバーガラス３１ａの表面に対して斜めに入射する。そして、活性化光Ｌ２はカバーガラス３１ａと試料Ｓとの界面で全反射され、上記界面から試料Ｓ側へにじみ出すエバネッセント光ＥＶが試料Ｓの界面側表層に照射される。これにより、試料Ｓのごく表層部分に位置する蛍光物質のみが選択的に活性化される。なお、落射照明の場合には、カバーガラス３１ａの法線方向に活性化光Ｌ２を入射させ、カバーガラス３１ａを透過させた活性化光Ｌ２を試料Ｓに照射する。この場合、試料Ｓの厚さ方向の全体に活性化光Ｌ２が照射される。
　ここで、顕微鏡装置１０が全反射照明モードにある場合には、図５に示したように、活性化光Ｌ２はエバネッセント光ＥＶとして試料Ｓに照射され、試料Ｓのごく表層部分に位置する蛍光物質のみが選択的に活性化される。
　次に、ステップＳ１３に移行すると、活性化照明系１３が活性化光Ｌ２を射出しない状態とされるとともに、励起照明系１１のシャッタ２２が開状態とされ、レーザ光源２１から射出される励起光Ｌ１が全反射ミラー３２を介して顕微鏡本体１５に供給される。これにより、励起光Ｌ１が観察視野全域に照射され、活性化光Ｌ２で活性化されている蛍光物質のみが選択的に発光する。蛍光を発した蛍光物質は不活性状態に移行する。この蛍光物質が発する蛍光を、カメラコントローラ１９を介してカメラ３４を動作させることで撮影し、第２の蛍光画像を取得することができる。撮影された第２の蛍光画像はカメラコントローラ１９から制御部１４に送信される。
　ここで図６は、試料画像生成ステップＳ１０２で生成したＳＴＯＲＭ画像Ｇ２を概略的に示す模式図である。図６に示すＳＴＯＲＭ画像Ｇ２では、撮影された蛍光の輝点を＋印で示している。ＳＴＯＲＭ画像Ｇ２は各輝点（＋印）が同一の輝度で表示試料の形状を高解像で示している。
　そして、ステップＳ１４において、制御部１４は受信した第２の蛍光画像を記憶部１６に記憶させる。第２の蛍光画像が記憶部１６に保存されたならば、ステップＳ１５において、ＳＴＯＲＭ撮影処理が終了したか否かが判定される。すなわち、予め設定された枚数の第２の蛍光画像の取得が終了したか否かが判定される。第２の蛍光画像の枚数が予定数に達していない場合には、ステップＳ１２に戻り、上述したステップＳ１２～Ｓ１４が繰り返し実行される。
　図７はＳＴＯＲＭ画像処理中に第２の蛍光画像を取得する際に表示部１７としてのモニタに表示される画像表示ウインドウ２３の構成を示す図である。なお、図７は１種類の蛍光物質を含んだ試料についてＳＴＯＲＭ画像処理を行う場合の画像表示ウインドウ２３を示している。
　本実施形態に係る画像表示ウインドウ２３は、メイン画面２３ａとサブ画面２３ｂとを有している。メイン画面２３ａは、図７に示されるように、ＳＴＯＲＭ画像処理中にカメラ３４が撮像した第２の蛍光画像における輝点（図６参照）の数を示す表示領域２４を有するものである。ＳＴＯＲＭ撮影処理では、試料に対して活性化光Ｌ２を１回照射した後、励起光Ｌ１を試料に３回照射する動作を行っている。そして、励起光Ｌ１を照射するごとに試料に付着した蛍光物質が発した第２の蛍光画像をカメラ３４で撮像するようにしている。ここで、励起光Ｌ１を１回照射するとともにカメラ３４が第２の蛍光画像を撮像する期間を「１フレーム」と称す。この場合、ＳＴＯＲＭ撮影処理では３フレームごとに試料に対して活性化光Ｌ２を照射しており、試料に対する活性化光Ｌ２の照射期間と３フレーム分の期間とを合わせて「１ピリオド」と称す。
　この場合において、表示領域２４には、図７に示されるように３ピリオド分の第２の蛍光画像の輝点数を示す棒グラフが表示されている。すなわち、表示領域２４には、１ピリオドあたり３本、合計９本の棒グラフが同時に表示されている。ここで、１ピリオド分の棒グラフは時間の経過に伴って表示領域２４の左側に順次移動することで順次更新されていく。
　そして、各ピリオドの各第２の蛍光画像ごとの輝点数に応じて棒グラフの高さが変化するようになっている。これにより、ユーザは表示領域３４の棒グラフの大きさに基づいてＳＴＯＲＭ画像処理に使用する活性化光Ｌ２及び励起光Ｌ１の強度の目安とすることができ、レーザ光源２１、４２の強度を所定の値に調整することが可能となっている。これは、活性化光Ｌ２及び励起光Ｌ１の強度に応じて第２の蛍光画像の輝点数が変化するためである。
　また、メイン画面２３ａには、１フレーム分の棒グラフを表示領域２４に表示する間隔を調整するサンプリング間隔を入力可能なサンプリング間隔入力ボックス２５が設けられている。サンプリング間隔入力ボックス２５に所望の数値を入力することで表示領域２４に表示される１フレーム分の棒グラフを間引くことが可能となっている。これにより、表示領域２４に表示される棒グラフの視認性を向上させるようにしている。
　また、メイン画面２３ａには、サブ画面２３ｂの表示或いは非表示を選択可能なアイコン部２６が設けられている。ユーザは必要に応じてアイコン部２６をクリックすることでサブ画面２３ｂを表示或いは非表示状態に切り替えることができるようになっている。
　サブ画面２３ｂには、第１の入力ボックス２７ａ、第２の入力ボックス２７ｂ、及び第３の入力ボックス２７ｃが設けられている。第１の入力ボックス２７ａは、表示領域２４の縦軸に相当する第２の蛍光画像の輝点数の下限値を入力するためのものであり、第２の入力ボックス２７ｂは表示領域２４の縦軸に相当する第２の蛍光画像の輝点数の上限値を入力するためのものである。また、第３の入力ボックス２７ｃは表示領域２４の縦軸の目盛幅を入力するためのものであり、本実施形態ではユーザが例えば５，１０，１５のいずれか一つを選択する方式を採用している。
　また、図７に示すように、各棒グラフは過去に撮像した第２の蛍光画像における輝点数の値の最高値を薄く表示するとともに、現在撮像中の第２の蛍光画像における輝点数の値を濃く表示するようになっている。さらに、各棒グラフは第２の蛍光画像における輝点数の値が第１の入力ボックス２７ａに入力された下限値を下回った際、数値のみを表示するようになっている。これにより、ユーザは輝点数が下限値を下回った場合であっても、輝点数を目視により確認することができるようになっている。
　本実施形態に係る顕微鏡装置１０は、ＳＴＯＲＭ画像処理時に図７に示したように１種類の蛍光物質を含んだ試料に代えて、２種類の蛍光物質を含んだ試料を用いてもよい。このような２種類の蛍光物質を含む試料を用いる場合、励起照明系１１がレーザ光源２１とは別に異なる波長の光を照射するレーザ光源をもう１つ備えた構成が必要となる。これは、２種類の蛍光物質はそれぞれ適合する励起光Ｌ１の波長が異なるためである。
　図８は２種類の蛍光物質を含んだ試料についてＳＴＯＲＭ画像処理を行う場合における画像表示ウインドウ２３の構成を示す図である。図８に示すように、２種類の蛍光物質を含んだ試料を用いる場合、メイン画面２３ａには２つの表示領域２４ａ，２４ｂが表示される。一方の表示領域２４ａ（上段側）は、試料に含まれる一方の蛍光物質が発した第２の蛍光画像における輝点数を示す棒グラフを表示するものであり、他方の表示領域２４ｂ（下段側）は、試料に含まれる他方の蛍光物質が発した第２の蛍光画像における輝点数を示す棒グラフを表示するものである。
　上段の表示領域２４ａ内における１ピリオド分の棒グラフと、下段の表示領域２４ｂ内における１ピリオド分の棒グラフとは、半ピッチ分だけずれている。すなわち、２種類の蛍光物質を含んだ試料を用いる場合、１種類の蛍光物質を含んだ試料を用いる場合に比べ、活性化光Ｌ２を照射する間隔が半分となっている。また、２種類の蛍光物質を用いて同一枚数の第２の蛍光画像を撮像することでＳＴＯＲＭ画像処理を行う場合、１種類の蛍光物質を用いる場合に比べ、各蛍光物質が発光している期間を半分にすることができるので、蛍光物質の寿命を延ばすことができる。なお、３種類以上の蛍光物質を含む試料についてＳＴＯＲＭ画像処理を行うようにしてもよい。
　また、サブ画面２３ｂにおける第１の入力ボックス２７ａの上部には、第４の入力ボックス２７ｄが設けられている。第４の入力ボックス２７ｄは、ユーザにより選択されると、上段側の表示領域２４ａにおける第１の入力ボックス２７ａ、第２の入力ボックス２７ｂ、及び第３の入力ボックス２７ｃの入力値が、下段側の表示領域２４ｂにおける第１の入力ボックス２７ａ、第２の入力ボックス２７ｂ、及び第３の入力ボックス２７ｃの入力値に反映できるようにしている。
　なお、本実施形態の場合、ステップＳ１３において発光した蛍光物質は、発光と同時に不活性化されるため、ステップＳ１５からステップＳ１２に戻って活性化光Ｌ２の照射が再度行われる場合には、試料Ｓに含まれる蛍光物質は不活性状態である。そのため、ステップＳ１４を再実行する毎に、活性化される蛍光物質は確率的に異なるものとなり、その後のステップＳ１３で取得される第２の蛍光画像は、前のサイクルで取得された第２の蛍光画像と異なる輝点パターンを示すものとなる。
　このようにして、ステップＳ１２～Ｓ１４を繰り返し実行することで、輝点の位置が異なる第２の蛍光画像を数百枚～数万枚取得することができる。
　なお、このような数百から数万回の第２の蛍光画像の取得が可能となるのは、試料Ｓに付与された蛍光物質が、発光させたときに不活性状態に戻る性質を有していることから、１回の撮影毎の発光時間を短くすることができ、退色までの期間を長くすることができること、及び、活性化光Ｌ２によって活性化する蛍光物質が全体のごく一部であり、１回の撮影で発光させる蛍光物質が比較的少ないことによる。
　一方、予定数の第２の蛍光画像の撮影が完了している場合には、ステップＳ１５において終了と判定され、ステップＳ１６に移行する。ステップＳ１６では、記憶部１６に蓄積された数百～数万枚の第２の蛍光画像を重ね合わせることで、ＳＴＯＲＭ画像Ｇ２を生成する。以上により、試料画像生成ステップＳ１０２が終了する。
　ところで、ＳＴＯＲＭ撮像処理では蛍光物質を１分子レベルで検出することができるため、試料に含まれる他の細胞で生じている自家蛍光成分がノイズとして含まれてしまう。例えば、図６中の符号Ｎｚで示される輝点（＋印）が自家蛍光成分に起因したノイズ成分である。このようにＳＴＯＲＭ画像Ｇ２は、高解像度の蛍光画像を取得できる一方、自家蛍光成分をノイズ成分Ｎｚとして含むので、解像が低下したものとなってしてしまう。
　（ノイズ除去ステップ）
　そこで、制御部１４は、試料画像生成ステップＳ１０２が終了した後、ノイズ除去ステップＳ１０３を開始する。ノイズ除去ステップＳ１０３では、コンベンショナル画像を用いて上記のＳＴＯＲＭ画像のノイズ成分を除去するノイズ除去処理（ステップＳ１７）が実行される。
　ステップＳ１７では、形状画像作成ステップＳ１０１で取得したコンベンショナル画像Ｇ１と上記試料画像生成ステップＳ１０２で取得したＳＴＯＲＭ画像Ｇ２とを合成し、ＳＴＯＲＭ画像Ｇ２のうち、コンベンショナル画像Ｇ１による試料の外形と重ならない部分をノイズ成分として除去する。すなわち、ノイズ除去ステップＳ１０３では、形状画像作成ステップＳ１０１で取得したコンベンショナル画像Ｇ１をマスク画像として用い、前記マスク画像の領域から外れたＳＴＯＲＭ画像Ｇ１をノイズとして除去するようにしている。
　図９はステップＳ１７の概念を説明する図である。図９に示すように、制御部１４はコンベンショナル画像Ｇ１とＳＴＯＲＭ画像Ｇ２とを合成して重ね合わせる。そして、制御部１４は、ＳＴＯＲＭ画像Ｇ２のうち、コンベンショナル画像Ｇ１の外形に重ならない輝点（＋印）をノイズ成分Ｎｚとして除去する。
　ここで、ノイズ成分Ｎｚは試料内の観察対象以外の物質の自家蛍光に起因したものであることから測定対象物である試料とは異なる位置に配置されているものと考えられる。すなわち、上記コンベンショナル画像Ｇ１の外形と重ならない位置にある輝点（＋印）は試料に付着した蛍光物質が発した蛍光ではなく、試料に含まれる他の細胞で発生した自家蛍光成分に起因したものであるとみなすことができる。
　したがって、ステップＳ１７では、制御部１４はコンベンショナル画像Ｇ１から外れた輝点（＋印）をＳＴＯＲＭ画像Ｇ２からノイズ成分Ｎｚとみなせる蛍光輝点を間引くことで除去し、ノイズ成分Ｎｚを除去したＳＴＯＲＭ画像Ｇ２を本画像として記憶部１６に記憶する。これにより、ノイズ除去ステップＳ１０３が終了する。
　以上に説明した本実施形態の観察方法によれば、以下にかかる作用効果を奏することができる。
　従来の顕微鏡装置でＳＴＯＲＭ画像を取得する場合、図３に示したようにコンベンショナル画像に比べて高解像な画像を取得できるものの、ＳＴＯＲＭ画像は蛍光物質を１分子レベルで検出することで形成されるため、試料に含まれる他の細胞で生じている自家蛍光成分などがノイズとして含まれてしまうといった問題が生じていた。これに対し、本実施形態の顕微鏡装置１０は、試料のコンベンショナル画像Ｇ１を取得しておき、前記コンベンショナル画像Ｇ１を用いてＳＴＯＲＭ画像Ｇ２のノイズ成分を除去する画像処理を行うこととした。すなわち、コンベンショナル画像Ｇ１とＳＴＯＲＭ画像Ｇ２とを合成し、ＳＴＯＲＭ画像Ｇ２のうち、コンベンショナル画像Ｇ１と重ならない部分をノイズ成分として除去することとした。よって、ＳＴＯＲＭ画像Ｇ２からノイズ成分Ｎｚを除去できるので、ノイズの少ない高解像度の画像を得ることができる。
　また、本実施形態ではカメラ３４で撮像した蛍光画像の画素データを２値化処理することでコンベンショナル画像Ｇ１として外形の境界部分が明確に規定されたものを取得しているので、前記コンベンショナル画像Ｇ１に重ねあわされたＳＴＯＲＭ画像Ｇ２の輝点のうち、コンベンショナル画像Ｇ１の境界近傍に位置する輝点がノイズ成分Ｎｚとして除去されてしまうのを防止することができる。従って、ＳＴＯＲＭ画像Ｇ２におけるノイズ除去を高精度で行うことができる。
　（第２実施形態）
　上記実施形態では、活性化用と励起用に波長の異なる２つのレーザを用いる顕微鏡装置について説明してきた。一方、１つの短波長レーザのみを用いる超解像顕微鏡技術として、ｄＳＴＯＲＭ（direct Stochastic Optical Reconstruction Microscopy）が知られている（例えば、論文：Applied Physics B(2008)93: 725-731, Photoswitching microscopy with standard fluorophores、 S.van de Linde・R.Kasper・ M.Heilemann・ M.Sauer）。ｄＳＴＯＲＭによれば、従来のＳＴＯＲＭのように活性化用のレーザを照射することなく、蛍光物質の自発的な明滅を元に、少数の蛍光物質のみの画像を取得することができる。
　第２の実施形態の顕微鏡装置は、このｄＳＴＯＲＭを適用した構成である。
　第２の実施形態の顕微鏡装置としては、図１に示した顕微鏡装置１０から活性化照明系１３を省略した構成を採用することができる。かかる構成の顕微鏡装置では、励起照明系１１によって所定波長の励起光を照射されると自発的に明滅する蛍光物質を含む試料を顕微鏡本体１５のステージ３１上の観察領域に配置し、この観察領域に対して、励起照明系１１から励起光を照射することで蛍光物質を明滅させ、蛍光物質から放射される光をカメラ３４により撮像することで蛍光画像を取得する。
　第２実施形態に係る顕微鏡装置において、制御部１４は、カメラコントローラ１９からの信号に基づき観察領域のコンベンショナル画像Ｇ１を取得する。そして、制御部１４は、観察領域に対して部分毎に設定された照射強度の励起光を照射する動作と、観察領域の励起光で励起された蛍光画像を取得する動作とを交互に複数回繰り返すことで複数の蛍光画像を取得し、複数の蛍光画像から試料画像を生成する。
　したがって、第２実施形態に係る観察方法の手順は、図２に示した第１実施形態に係る観察方法と同様に、形状画像作成ステップ（第一蛍光画像生成ステップ）Ｓ１０１と、試料画像生成ステップ（第二蛍光画像生成ステップ）Ｓ１０２と、ノイズ除去ステップＳ１０３と、を有する。ただし本実施形態の場合、形状画像作成ステップＳ１０１において、活性化照明系１３ではなく、励起照明系１１が用いられる。
　本実施形態では、形状画像作成ステップＳ１０１において、励起照明系１１から観察領域に対して一様な強度分布の励起光Ｌ１を照射し、試料内の蛍光物質から蛍光を生じさせる。そして、励起光Ｌ１を照射された試料内の蛍光物質から発せられた蛍光をカメラ３４によって撮影する。カメラ３４で撮像された蛍光画像は制御部１４へと送られる。制御部１４はカメラ３４の各画素が取得した蛍光画像について２値化処理を行い、ノイズ除去ステップＳ１０３に用いるマスク画像としてのコンベンショナル画像（低解像度蛍光画像）Ｇ１を取得する。すなわち、本実施形態に係る制御部１４は、形状画像作成ステップＳ１０１において観察視野内の蛍光画像を低解像度蛍光画像として生成する第一蛍光画像生成部を構成している。
　その後、試料画像生成ステップＳ１０２では、形状画像作成ステップＳ１０１で使用した励起光Ｌ１とは異なる強度分布を有する励起光Ｌ１を試料に照射する。具体的に試料画像生成ステップＳ１０２においては、試料内における蛍光物質の一部のみが蛍光を生じるような強度の励起光Ｌ１を試料に照射するようにしている。なお、本実施形態では、形状画像作成ステップＳ１０１及び試料画像生成ステップＳ１０２においては、励起光Ｌ１による蛍光の発光特性を変化させるように試料の培養液の濃度を適宜調整するようにしている。
　試料画像生成ステップＳ１０２は、励起光Ｌ１を照射する動作と、前記励起光Ｌ１の照射によって試料が発した蛍光による蛍光画像をカメラ３４で撮像する動作と、を複数回繰り返すことで、例えば数百から数万枚の第２の蛍光画像を取得し、第２の蛍光画像を合成することでＳＴＯＲＭ画像Ｇ２を生成する。すなわち、本実施形態に係る制御部１４は、試料画像生成ステップＳ１０２において観察視野内の蛍光画像を高解像度蛍光画像として生成する第二蛍光画像生成部を構成している。
　また、ノイズ除去ステップＳ１０３では、試料画像生成ステップＳ１０２において作成されたＳＴＯＲＭ画像Ｇ２とコンベンショナル画像Ｇ１（マスク画像）とを合成し、第１実施形態と同様の方法に基づいてノイズ成分を除去する。
　以上に説明した第２実施形態によれば、第１実施形態と同様に、ＳＴＯＲＭ画像からノイズ成分を除去することで高解像の画像を得ることができる。また励起光の照射により自発的に明滅する蛍光物質を用いるので、照明系を簡素化することができる。
　なお、本発明は上記実施形態に限定されることは無く、発明の趣旨を逸脱しない範囲内において適宜変更可能である。例えば、上記実施形態では試料画像生成ステップＳ１０２が終了した後、ノイズ除去ステップＳ１０３を行う場合を例に説明したが、試料画像生成ステップＳ１０２の途中にノイズ除去ステップＳ１０３を行う方法を採用しても構わない。すなわち、試料画像生成ステップＳ１０２とノイズ除去ステップＳ１０３とを同時に実行しても構わない。
　具体的には、試料画像生成ステップＳ１０２におけるステップＳ１３で第２の蛍光画像を所定枚数取得するごとに、取得した第２の蛍光画像とコンベンショナル画像Ｇ１とを合成し、コンベンショナル画像Ｇ１と重ならない輝点（＋印）をノイズ成分として第２の蛍光画像から除去するようにしてもよい。そして、ノイズ成分を除去した第２の蛍光画像を重ね合わせることでノイズ成分を除去したＳＴＯＲＭ画像を取得するようにしてもよい。
　なお、上記実施形態では、低解像度の蛍光画像（上記コンベンショナル画像Ｇ１に相当）および高解像度の蛍光画像（上記ＳＴＯＲＭ画像Ｇ２に相当）として、光学的には同一の結像光学系（カメラ３４）によって取得した撮像画像を使用する場合を例に挙げて説明した。しかしながら、本発明はこれに限定されず、光学的に異なる結像光学系（低解像度に対応する光学系及び高解像度に対応する光学系）を用い、コンベンショナル画像Ｇ１及びＳＴＯＲＭ画像Ｇ２をそれぞれ個別に取得した上で、上述した実施形態と同様の手法によりノイズ除去ステップを実施しても構わない。
　また、本発明は、図３Ｂに示した高解像度の蛍光画像（上記ＳＴＯＲＭ画像Ｇ２に相当）に基づいて低解像度の蛍光画像（上記コンベンショナル画像Ｇ１に相当）を取得し、取得した前記低解像度の蛍光画像をマスク画像として用い、上記ノイズ除去ステップを行うようにしても構わない。
　ＳＴＯＲＭ画像Ｇ２から低解像度の蛍光画像を取得するためには、例えばＳＴＯＲＭ画像を構成するカメラ３４の各画素で撮像した蛍光画像のデータを間引くことで蛍光画像の解像度を下げる画像処理や、カメラ３４において隣り合う複数個の画素をひとまとめにし、受光面積を大きくすることで蛍光画像の解像度を下げるビニング処理等の画像処理を採用することができる。
　このように低解像度処理をされたマスク画像では、例えばＳＴＯＲＭ画像Ｇ２において輝点が密集している場所及び疎の場所において諧調の明るさレベルが異なるので、諧調の明るさレベルを基準として２値化処理することでノイズ領域を除去した低解像度画像を生成できる。この低解像度画像をマスク画像として、ＳＴＯＲＭ画像Ｇ２に重ね合わせることでノイズ除去処理を実施することができる。
　また、本件実施形態では、コンベンショナル画像Ｇ１を用いたマスク処理をすることでＳＴＯＲＭ画像Ｇ２のノイズ除去を実施している。しかし、本発明はこれに限られず、マスク処理に代えて、ＳＴＯＲＭ画像Ｇ２から必要な画像のみを抽出する画像処理を行うことでノイズ除去を行うようにしても構わない。ＳＴＯＲＭ画像Ｇ２の全体からノイズと考えられる領域を除外することで試料内における所望の細胞の画像に対応する領域のみ抽出できる。
　また、本発明においてコンベンショナル画像を取得する方法としては、ＳＩＭ（Structured Illumination Microscopy；構造化照明法）を採用しても良く、ＳＩＭにより取得したコンベンショナル画像を用いて、ＳＴＯＲＭ画像からノイズ成分を除去する場合にも適用可能である。
　また、上記実施形態では超解像の画像を取得する蛍光顕微鏡装置としてＳＴＯＲＭ、及びｄＳＴＯＲＭを例に挙げ、これらの方法で取得した画像からノイズ成分を除去する場合を例示した。しかし、米国特許第７，６２６，６９５号などに開示されるＰＡＬＭ（Photoactivation Localization Microscopy）で撮像した画像（試料画像）からノイズ成分を除去する場合についても適用可能である。
　ＰＡＬＭでは、例えば蛍光物質としてＤｏｒｎｐａが採用される。Ｄｒｏｎｐａは所定強度の光が照射されると、励起波長を吸収可能になり、非活性化状態では励起光を受けても、蛍光発色しない特性を有する。従って、試料に照射する光の強度を適宜調整することで、上述したＳＴＯＲＭと同様、低解像蛍光画像及び高解像蛍光画像を取得することで、低解像蛍光画像をマスク画像として用いることで高解像蛍光画像からノイズ除去をする画像処理を行うことができる。
　あるいは、ガルバノミラー方式の共焦点顕微鏡の光学系に観察用励起光のレーザ光と誘導放出用の短パルスレーザ光の２種類のレーザ光をほぼ同時に照射することで画像観察を行うＳＴＥＤ（Stimulated emission depletion）で撮像した画像（試料画像）からノイズ成分を除去する場合についても適用可能である。なお、この場合においても、コンベンショナル画像としては、上記実施形態に係るものや、上述のＳＩＭにより取得したものを用いることができる。
１０　顕微鏡装置、１１　励起照明系、１３　活性化照明系、１４　制御部（観察部、第一蛍光画像生成部、第二蛍光画像生成部、ノイズ除去部、ノイズ除去装置、画像作成装置、合成画像生成装置、形状画像作成装置、試料画像生成装置）、１５　顕微鏡本体、１６　記憶部（画像記録部）、１７　表示部（観察部）、１９　カメラコントローラ（観察部、第一蛍光画像生成部、第二蛍光画像生成部）、２１，４２　レーザ光源、２２　シャッタ、３１　ステージ、３２　全反射ミラー、３３　ダイクロイックミラー、３４　カメラ（観察部）、４３　スキャナ、Ｌ１　励起光、Ｌ２　活性化光、Ｓ１０１　形状画像作成ステップ、Ｓ１０２　試料画像生成ステップ、Ｓ１０３　ノイズ除去ステップ、Ｇ１　コンベンショナル画像、Ｇ２　ＳＴＯＲＭ画像、Ｎｚ　ノイズ成分

Claims (12)

  1. 　試料を観察する結像光学系と、前記試料に励起光を照射する光源と、前記結像光学系で結像された前記試料の観察領域の蛍光像を観察する観察部とを有する顕微鏡装置において、
    　前記観察領域の蛍光像を低解像度蛍光画像として生成する第一蛍光画像生成部と、
    　前記観察領域の蛍光像を高解像度蛍光画像として生成する第二蛍光画像生成部と、前記低解像度蛍光画像に基づき前記高解像度蛍光画像のノイズを除去するノイズ除去部とを備えたことを特徴とする顕微鏡装置。
  2. 　前記第一蛍光画像生成部は、前記高解像度蛍光画像に基づき、前記低解像度蛍光画像を生成することを特徴とする請求項１に記載の顕微鏡装置。
  3. 　前記観察領域に複数回繰り返して励起光を照射して得られた複数の蛍光画像を記録する画像記録部を更に有し、
    　前記第一蛍光画像生成部は、前記画像記録部に記録された前記複数の蛍光画像のうち第一枚目の蛍光画像に基づき、前記低解像度蛍光画像を作成する画像作成装置から構成され、前記第二蛍光画像生成部は、前記画像記録部に記録された前記複数の蛍光画像を合成して前記試料を分子レベルで観察可能な高解像度蛍光画像を生成する合成画像生成装置から構成された、
    　ことを特徴とする請求項１に記載の顕微鏡装置。
  4. 　前記画像作成装置は、前記蛍光画像の２値化処理を実施し、前記試料の内部形状を示すマスク画像を作成し、
    　前記ノイズ除去部は、前記試料の内部形状を示すマスク画像の領域から外れた前記高解像度蛍光画像をノイズとして除去することを特徴とする請求項３に記載の顕微鏡装置。
  5. 　前記ノイズ除去部は、前記合成画像生成装置が所定枚数の前記蛍光画像を取得するごとに、前記所定枚数の蛍光画像で合成された前記高解像度蛍光画像と前記画像作成装置が生成した前記低解像度蛍光画像とを合成し、ノイズ成分を除去することを特徴とする請求項３に記載の顕微鏡装置。
  6. 　試料を観察する結像光学系と、前記試料に活性化光あるいは励起光を照射する光源と、前記結像光学系で結像された前記試料の観察領域の蛍光像を観察する観察部とを有する顕微鏡装置において、
    　励起光を照射されると蛍光を発する蛍光物質を含む試料が配置された観察領域に前記励起光を照射して前記試料の内部形状を示す形状画像を作成する形状画像作成装置と、
    　前記試料が配置された前記観察領域に前記活性化光を照射する動作と、前記活性化光照射後の前記観察領域に前記励起光を照射して蛍光画像を取得する動作とを交互に複数回繰り返すことで複数の前記蛍光画像を取得し、複数の前記蛍光画像から試料画像を生成する試料画像生成装置と、
    　前記蛍光画像作成装置が作成した前記形状画像を用いて、前記試料画像生成装置が生成した前記試料画像のノイズ成分を除去するノイズ除去装置と、
    　を備えることを特徴とする顕微鏡装置。
  7. 　前記ノイズ除去装置は、前記形状画像作成装置が生成した前記形状画像と、前記試料画像生成装置が生成した前記試料画像とを合成し、前記試料画像のうち前記形状画像で規定される前記試料の外形と重ならない部分をノイズ成分として除去することを特徴とする請求項６に記載の顕微鏡装置。
  8. 　前記ノイズ除去装置は、前記試料画像生成装置が所定枚数の前記蛍光画像を取得するごとに、前記所定枚数の蛍光画像と前記形状画像作成装置が生成した前記形状画像とを合成し、前記蛍光画像のうち前記形状画像で規定される前記試料の外形と重ならない部分をノイズ成分として除去することを特徴とする請求項７に記載の顕微鏡装置。
  9. 　試料を観察する結像光学系と、前記試料に励起光を照射する光源と、前記結像光学系で結像された前記試料の観察領域の蛍光像を観察する観察部とを有する顕微鏡装置の画像処理方法において、
    　前記観察領域の蛍光像を低解像度蛍光画像として生成する第一蛍光画像生成ステップと、
    　前記観察領域の蛍光像を高解像度蛍光画像として生成する第二蛍光画像生成ステップと、前記低解像度蛍光画像に基づき前記高解像度蛍光画像のノイズを除去するノイズ除去ステップとを備えたことを特徴とする画像処理方法。
  10. 　試料を観察する結像光学系と、前記試料に活性化光あるいは励起光を照射する光源と、前記結像光学系で結像された前記試料の観察領域の蛍光像を観察する観察部とを有する顕微鏡装置の画像処理方法において、
    　励起光を照射されると蛍光を発する蛍光物質を含む試料が配置された観察領域に前記励起光を照射して前記試料の内部形状を示す形状画像を作成する形状画像作成ステップと、
    　前記試料が配置された前記観察領域に前記活性化光を照射する動作と、前記活性化光照射後の前記観察領域に前記励起光を照射して蛍光画像を取得する動作とを交互に複数回繰り返すことで複数の前記蛍光画像を取得し、複数の前記蛍光画像から試料画像を生成する試料画像生成ステップと、
    　前記蛍光画像作成装置が作成した前記形状画像を用いて、前記試料画像生成装置が生成した前記試料画像のノイズ成分を除去するノイズ除去ステップと、
    　を備えることを特徴とする画像処理方法。
  11. 　前記ノイズ除去ステップは、前記試料画像生成ステップの終了後、実行され、
    　前記形状画像作成ステップで作成した前記形状画像と、前記試料画像生成ステップで生成した前記試料画像とを合成し、前記試料画像のうち前記形状画像で規定される前記試料の外形と重ならない部分をノイズ成分として除去することを特徴とする請求項９又は１０に記載の画像処理方法。
  12. 　前記ノイズ除去ステップは、前記試料画像生成ステップにおいて前記蛍光画像が所定枚数だけ取得されるごとに実行され、
    　前記試料画像生成ステップで前記所定枚数の前記蛍光画像を取得するごとに、前記所定枚数の蛍光画像と前記形状画像作成ステップで生成した前記形状画像とを合成し、前記蛍光画像のうち前記形状画像で規定される前記試料の外形と重ならない部分をノイズ成分として除去することを特徴とする請求項９又は１０に記載の画像処理方法。
PCT/JP2012/060431 2011-04-21 2012-04-18 顕微鏡装置、及び画像処理方法 WO2012144515A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011094960 2011-04-21
JP2011-094960 2011-04-21

Publications (1)

Publication Number Publication Date
WO2012144515A1 true WO2012144515A1 (ja) 2012-10-26

Family

ID=47041621

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/060431 WO2012144515A1 (ja) 2011-04-21 2012-04-18 顕微鏡装置、及び画像処理方法

Country Status (1)

Country Link
WO (1) WO2012144515A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016080187A1 (ja) * 2014-11-18 2016-05-26 コニカミノルタ株式会社 画像処理方法、画像処理装置及びプログラム
CN110967820A (zh) * 2018-09-28 2020-04-07 希森美康株式会社 显微镜系统的控制方法、显微镜系统、记录介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006194711A (ja) * 2005-01-13 2006-07-27 Matsushita Electric Ind Co Ltd 蛍光発光色素の性能評価方法および性能評価装置
JP2009270931A (ja) * 2008-05-07 2009-11-19 Hitachi High-Technologies Corp 単一核酸分子観察装置
JP2010019656A (ja) * 2008-07-10 2010-01-28 Univ Of Tokushima 蛍光集団の評価装置、コンピュータ実行可能な蛍光集団の評価プログラム、及び蛍光集団の評価システム
JP2010102332A (ja) * 2008-09-29 2010-05-06 Nikon Corp 光活性化限局顕微鏡及び光活性化限局観察方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006194711A (ja) * 2005-01-13 2006-07-27 Matsushita Electric Ind Co Ltd 蛍光発光色素の性能評価方法および性能評価装置
JP2009270931A (ja) * 2008-05-07 2009-11-19 Hitachi High-Technologies Corp 単一核酸分子観察装置
JP2010019656A (ja) * 2008-07-10 2010-01-28 Univ Of Tokushima 蛍光集団の評価装置、コンピュータ実行可能な蛍光集団の評価プログラム、及び蛍光集団の評価システム
JP2010102332A (ja) * 2008-09-29 2010-05-06 Nikon Corp 光活性化限局顕微鏡及び光活性化限局観察方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016080187A1 (ja) * 2014-11-18 2016-05-26 コニカミノルタ株式会社 画像処理方法、画像処理装置及びプログラム
JPWO2016080187A1 (ja) * 2014-11-18 2017-08-24 コニカミノルタ株式会社 画像処理方法、画像処理装置及びプログラム
JP2019153341A (ja) * 2014-11-18 2019-09-12 コニカミノルタ株式会社 画像処理方法、画像生成方法、画像処理装置及びプログラム
CN110967820A (zh) * 2018-09-28 2020-04-07 希森美康株式会社 显微镜系统的控制方法、显微镜系统、记录介质
CN110967820B (zh) * 2018-09-28 2022-11-15 希森美康株式会社 显微镜系统的控制方法、显微镜系统、记录介质

Similar Documents

Publication Publication Date Title
JP5392406B2 (ja) 顕微鏡装置、観察方法
US10768402B2 (en) Microscopy of a tissue sample using structured illumination
JP6587004B2 (ja) 装置、システム、方法、及びプログラム
JP5776992B2 (ja) 自然放出蛍光をパルス励起、連続脱励起、およびゲート記録するｓｔｅｄ顕微鏡法、ｓｔｅｄ蛍光相関分光法、およびｓｔｅｄ蛍光顕微鏡
US9804376B2 (en) Scanner with increased dynamic range
US8704196B2 (en) Combination microscopy
JP6329896B2 (ja) 高分解能ルミネッセンス顕微鏡法
US8822956B2 (en) High-resolution fluorescence microscopy
US10753871B2 (en) Information processing device, image acquisition system, information processing method, and image information acquisition method
WO2012144515A1 (ja) 顕微鏡装置、及び画像処理方法
WO2013005765A1 (ja) 顕微鏡装置
JP6617774B2 (ja) 顕微鏡装置
JP6550673B2 (ja) フォトルミネセンス寿命測定装置及び測定方法
EP4321917A1 (en) Sample observation device and sample observation method
JP5562582B2 (ja) 蛍光観察装置
JP2020042283A (ja) 顕微鏡装置
JP4468642B2 (ja) 共焦点レーザ走査型顕微鏡装置及び試料情報記録方法
WO2023161375A1 (en) Device for measuring intrinsic autofluorescence of a biological sample and method using thereof
JP2004212204A (ja) 蛍光顕微鏡及び蛍光寿命の測定方法、並びに蛍光寿命の測定用プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12774890

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12774890

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP