WO2018131173A1 - 画像処理装置、顕微鏡システム、画像処理方法、及びプログラム - Google Patents

画像処理装置、顕微鏡システム、画像処理方法、及びプログラム Download PDF

Info

Publication number
WO2018131173A1
WO2018131173A1 PCT/JP2017/001290 JP2017001290W WO2018131173A1 WO 2018131173 A1 WO2018131173 A1 WO 2018131173A1 JP 2017001290 W JP2017001290 W JP 2017001290W WO 2018131173 A1 WO2018131173 A1 WO 2018131173A1
Authority
WO
WIPO (PCT)
Prior art keywords
microscope
image data
image
processed
sample
Prior art date
Application number
PCT/JP2017/001290
Other languages
English (en)
French (fr)
Inventor
一郎 佐瀬
佐々木　豊
岡本　高明
勇輝 照井
功記 小西
星野　哲朗
Original Assignee
株式会社ニコン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ニコン filed Critical 株式会社ニコン
Priority to JP2018561783A priority Critical patent/JPWO2018131173A1/ja
Priority to PCT/JP2017/001290 priority patent/WO2018131173A1/ja
Publication of WO2018131173A1 publication Critical patent/WO2018131173A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing

Definitions

  • the present invention relates to an image processing apparatus, a microscope system, an image processing method, and a program.
  • Patent Document 1 Japanese Translation of PCT International Publication No. 2012-507756
  • the first microscope image data obtained by the first microscope is processed based on the second microscope image data obtained by the second microscope having a different microscope method from the first microscope.
  • An image processing apparatus includes an image generation unit that generates processed image data, and an image output unit that outputs at least one of the processed image data and the second microscope image data.
  • a microscope system including a first microscope, a second microscope, and the image processing apparatus of the first aspect is provided.
  • the first microscope image data obtained by the first microscope is processed based on the second microscope image data obtained by the second microscope having a different microscope method from the first microscope.
  • An image processing method for generating processed image data and outputting at least one of processed image data and first microscope image data is provided.
  • the first microscope image data obtained by the first microscope is processed based on the second microscope image data obtained by the second microscope having a different microscope method from the first microscope.
  • a program for causing a computer to execute a procedure for generating processed image data and a procedure for outputting image data of at least one of the processed image data and the first microscope image data is provided.
  • FIG. 1 shows a functional configuration of a microscope system according to the present embodiment.
  • the flow of microscopic observation and image processing is shown.
  • the imaging state by a 1st microscope apparatus is shown.
  • the imaging state by a 2nd microscope apparatus is shown.
  • An example of correspondence between images included in the first and second microscope image data is shown.
  • generated by deconvolution calculation of 1st microscope image data is shown.
  • An example of a display screen is shown.
  • generated by convolution calculation of 2nd microscope image data is shown.
  • 2 shows an exemplary configuration of a computer according to the present embodiment.
  • the microscope system 100 is a system that images a sample by using different types of microscopy using a plurality of types of microscope apparatuses, and includes a main body 99, a control unit 50, and an image processing unit 60.
  • the main body 99 includes a first microscope apparatus 30 that observes the sample 9 under the first observation condition, and a second microscope apparatus 40 that observes the sample 9 under the second observation condition.
  • the first and second observation conditions include, for example, microscopy, illumination conditions, imaging conditions, and the like.
  • the first microscope method that is the microscope method of the first microscope device 30 is a confocal microscope
  • the second microscope method that is the microscope method of the second microscope device 40 is STORM (probabilistic optical reconstruction). Law).
  • the illumination conditions include the brightness of the illumination light that illuminates the sample 9, the wavelength of the illumination light, whether or not polarized light is used for the illumination light, and the direction of polarized light, the size of the diaphragm, etc. when used with polarized light.
  • the imaging conditions include the numerical aperture of the objective lens 21a, a range in the XY plane for imaging the sample 9 (referred to as an XY scanning range), a position on the Z axis (referred to as Z position), and the like.
  • the Z position where the sample 9 is imaged is specified by, for example, the reference position of the sample 9 in the Z-axis direction, the step amount along the Z-axis, and the number of images to be captured.
  • the first microscope apparatus 30 and the second microscope apparatus 40 share the stage system 10.
  • the stage system 10 is a system that supports the sample 9 and drives it, and includes a stage 11, a sensor 12, and a driving device 13.
  • the sample 9 is, for example, a cell into which a fluorescent dye is introduced, and is used while being held on a holding member 8 such as a translucent glass plate.
  • two colors of fluorescent dyes that is, a fluorescent dye used in the first microscope apparatus 30 and a fluorescent dye used in the second microscope apparatus 40 are introduced.
  • Stage 11 is a device that supports the sample 9.
  • the stage 11 is formed with an opening 11 a through which the optical axis L of the optical system 20 passes.
  • the sample 9 is positioned on the opening 11 a by supporting the holding member 8 holding the sample 9 on the stage 11.
  • the stage 11 is configured to be movable in a direction along the optical axis L of the optical system 20 (determining the Z axis parallel to the optical axis L). As described above, the stage 11 is common to the first microscope apparatus 30 and the second microscope apparatus 40.
  • the sensor 12 measures the position or displacement of the stage 11 in the Z-axis direction.
  • a linear encoder can be employed as the sensor 12 for example.
  • the measurement result is transmitted to the control unit 50.
  • the driving device 13 drives the stage 11 in the Z-axis direction.
  • a motor or the like can be employed as the driving device 13.
  • the driving device 13 is controlled by the control unit 50 to drive the stage 11 to the target position. As a result, the sample 9 on the stage 11 moves in the direction along the optical axis L of the optical system 20.
  • the first microscope device 30 and the second microscope device 40 share the optical system 20.
  • the optical system 20 is a system that irradiates the sample 9 with illumination light and collects light emitted from the sample 9, and includes a plurality of objective lenses 21a and 21b, a cylindrical lens 25, an imaging optical system 26, a revolver 22, and a scanner. 23 and a filter 24.
  • the plurality of objective lenses 21a and 21b are optical elements that connect an intermediate image of the sample 9 on the stage 11, and are arranged directly below the stage 11 as an example in the present embodiment.
  • FIG. 1 shows a state in which the objective lens 21a is disposed on the optical axis L of the optical system 20, and further, the focal point of the optical system 20 when the objective lens 21a is on the optical axis L. Also shown is a focal plane 20a parallel to the XY plane.
  • the plurality of objective lenses 21a and 21b are two as an example in the present embodiment, and have small and large magnifications and deep (wide) and shallow (narrow) focal depths, respectively.
  • the magnification and the depth of focus of the first and second microscope apparatuses 30 and 40 are switched.
  • the objective lens 21 a is used in the first microscope apparatus 30, and the objective lens 21 b is used in the second microscope apparatus 40.
  • the cylindrical lens 25 is a semi-cylindrical lens element that collects light in only one direction within a plane orthogonal to the optical axis L, and is used when observing a sample by STORM.
  • the light detected through the cylindrical lens 25 changes in image size according to the amount of deviation from the focal plane, and the image shape changes depending on which direction it deviates from the focal plane. Therefore, it is possible to specify the three-dimensional coordinates of the position where the fluorescence is emitted from the size and shape of the detected image.
  • the imaging optical system 26 is one or a plurality of optical elements that condense light passing through the cylindrical lens 25 toward the second microscope apparatus 40, and is used when observing a sample with STORM.
  • the cylindrical lens 25 and the imaging optical system 26 can move back and forth on the optical axis L independently of the rotation of the revolver 22.
  • the revolver 22 is a rotation mechanism that supports and rotates the plurality of objective lenses 21 a and 21 b to place one of them on the optical axis L of the optical system 20.
  • the revolver 22 is rotated by a driving device such as a rotary motor or manually.
  • the rotation position or rotation amount of the revolver 22 is measured by a sensor, and the measurement result is transmitted to the control unit 50.
  • the drive device rotates the revolver 22 to the target position according to an instruction from the control unit 50. Thereby, the plurality of objective lenses 21a and 21b are switched.
  • the scanner 23 is a mechanism that swings illumination light in a plane orthogonal to the optical axis L of the optical system 20, that is, in the XY directions in the figure, and a pair of galvanometer mirrors can be used as an example.
  • the scanner 23 is used when observing a sample by confocal microscopy.
  • One galvanometer mirror rotates about the X axis, and the other galvanometer mirror rotates about the Y axis.
  • Illumination light incident on the scanner 23 is reflected by the pair of galvanometer mirrors to be swung in the X-axis and Y-axis directions with respect to the optical axis L, whereby the sample 9 is scanned in the XY directions.
  • the scanner 23 can be advanced or retracted from the optical axis L by a driving device (not shown), and is retracted from the optical axis L when observing the sample by STORM.
  • the filter 24 is disposed on the optical axis L of the optical system 20 to reflect light having specific wavelengths ( ⁇ 1 , ⁇ 1 ′) and to transmit light having other wavelengths ( ⁇ 2 , ⁇ 2 ′). It is an optical element that transmits. As the filter 24, for example, a dichroic mirror can be used.
  • the filter 24 reflects the illumination light (wavelength ⁇ 1 ) emitted from the first illumination / imaging unit 31, sends it to the sample 9 via the scanner 23 and the objective lenses 21 a and 21 b, and returns light (wavelength ⁇ ) from the sample 9.
  • the illumination light (wavelength ⁇ 2 ) emitted from the second illumination / imaging unit 41 is reflected to pass through the scanner 23 and the objective lenses 21a and 21b. Then, the light returning from the sample 9 (wavelength ⁇ 2 ′) is transmitted to the second illumination / imaging unit 41.
  • the first microscope apparatus 30 includes a first illumination / imaging unit 31, an optical system 20, and a stage system 10, and images the sample 9 by the first microscope method.
  • confocal microscopy is adopted as the first microscopy as described above.
  • the sample is scanned in the XY direction on the focal plane 20a by illumination light from a laser light source (not shown) of the first illumination / imaging unit 31, and a cross section of the sample positioned on the focal plane 20a is first.
  • a two-dimensional image is generated by imaging with an imaging element (not shown) of the illumination / imaging unit 31.
  • the specimen 9 is displaced in the Z-axis direction relative to the focal plane 20a, and the specimen 9 is scanned on the focal plane 20a at each relative position, thereby imaging cross sections at a plurality of depths in the specimen 9.
  • a three-dimensional image is generated.
  • Such a three-dimensional image is also called a Z stack image.
  • the first microscope apparatus 30 can observe the sample 9 at a high speed but with a relatively low resolution.
  • the first illumination / imaging unit 31 illuminates the sample 9 and detects light from the sample 9.
  • the first illumination / imaging unit 31 generates illumination light, for example, illumination light having a wavelength ⁇ 1 (for example, 488 nm) in accordance with illumination conditions relating to luminance, wavelength, polarization, diaphragm, etc., and a filter (non-illustrated) such as a dichroic mirror (not shown). It is emitted toward the optical system 20 (filter 24) via the figure.
  • the illumination light illuminates the observation position 9a in the sample 9 located on the focal plane 20a via the optical system 20.
  • the first illumination / imaging unit 31 images the sample 9 by separating and detecting light incident from the sample 9 from light that becomes noise such as illumination light by the filter (not shown).
  • the obtained imaging data is transmitted to the image processing unit 60 as first microscope image data.
  • the second microscope apparatus 40 includes a second illumination / imaging unit 41, the optical system 20, and the stage system 10, and images the sample 9 by the second microscope method.
  • a localization method is used as the second microscope method.
  • the fluorescent dye introduced into the sample 9 is activated at a low density and irradiated with excitation light, so that only the activated fluorescent dye (only some of the fluorescent dyes) emits light.
  • the images of the fluorescent dyes that emit light at a low density are individually separated, so that the positions of the individual fluorescent dyes can be specified.
  • the localization method includes STORM (probabilistic optical reconstruction method), PALM (photo activated localization method), and the like.
  • STORM probabilistic optical reconstruction method
  • PALM photo activated localization method
  • a three-dimensional STORM is adopted as an example, and a fluorescence image generated by the STORM is also called a STORM image.
  • the second illumination / imaging unit 41 illuminates the sample 9 and detects light emitted from the sample.
  • the second illumination / imaging unit 41 generates illumination light, for example, illumination light having a wavelength ⁇ 2 (eg, 561 nm) from a laser light source (not shown) according to the illumination conditions, and a filter (not shown) such as a dichroic mirror is used as excitation light.
  • illumination light for example, illumination light having a wavelength ⁇ 2 (eg, 561 nm) from a laser light source (not shown) according to the illumination conditions, and a filter (not shown) such as a dichroic mirror is used as excitation light.
  • ⁇ 2 e.g, 561 nm
  • a filter such as a dichroic mirror
  • the second illumination / imaging unit 41 images the sample 9 by separating light incident from the sample 9 from light that becomes noise such as illumination light by a filter (not shown) and detecting it with an imaging element (not shown).
  • the obtained imaging data is transmitted to the image processing unit 60 as second microscope image data.
  • the control unit 50 includes an input unit 51, and controls each component of the main body 99, that is, the stage system 10, the optical system 20, the first microscope device 30, and the second microscope device 40 in accordance with instructions input from now on. To do.
  • the control unit 50 expresses each functional unit by causing an information processing device including a computer, a microcontroller, etc. to execute a control program stored in a storage device such as a nonvolatile memory or a recording medium such as a CD-ROM. And function as a control device.
  • control unit 50 drives the stage 11 in the optical axis direction so that the focal plane 20a comes to a predetermined depth position in the sample 9 in response to an instruction to change the depth of the sample 9 to be observed. Further, the control unit 50 controls the optical system 20 in accordance with an instruction to change the magnification, and switches to the objective lenses 21a and 21b corresponding to the changed magnification. Further, the control unit 50 controls the first and second illumination / imaging units 31 and 41 to image the sample 9.
  • the input unit 51 includes a mouse, a keyboard, a touch panel, and the like.
  • the user instructs the control unit 50 to perform observation with a microscope (also simply referred to as microscope observation), that is, imaging of the sample 9 with the first and second microscope apparatuses 30 and 40 via the input unit 51. Can do.
  • the user sets an observation condition (also referred to simply as an observation condition) via the input unit 51 and gives an instruction to generate new image data by processing the microscope image data obtained by the microscope observation. can do.
  • the image processing unit 60 processes the microscope image data obtained by the first and second microscope apparatuses 30 and 40, or generates new image data.
  • the image processing unit 60 includes an image generation unit 61 and an image output unit 62.
  • the image processing unit 60 causes each functional unit to execute an image processing program stored in a storage device such as a nonvolatile memory or a recording medium such as a CD-ROM on an information processing device including a computer and a microcontroller. It expresses and functions as an image processing device.
  • the image processing unit 60 handles captured images captured by the first and second microscope apparatuses 30 and 40 as data. Therefore, the image processing unit 60 is hereinafter also referred to as microscope image data or simply image data. Since they are images, the same reference numbers may be used and illustrated as images. In addition, a plurality of captured images may be indicated by different data, or may be indicated as one data.
  • the image generation unit 61 generates new image data based on the microscope image data obtained by the first and second microscope apparatuses 30 and 40.
  • the image generation unit 61 is based on the second microscope image data obtained by the second microscope device 40 and the first microscope device 30 obtained by the first microscope device 30 having a microscope method different from that of the second microscope device 40.
  • Microscope image data is processed to generate processed image data.
  • the image generation unit 61 stores the microscope image data received from the first and second microscope apparatuses 30 and 40 and the generated processed image data. The generation of processed image data by the image generation unit 61 will be described later.
  • the image output unit 62 processes the microscope image data obtained by the first and second microscope apparatuses 30 and 40 and / or the processed image data generated by the image generation unit 61 and outputs the processed image data to the display unit 63. Thereby, at least one of the processed image data generated by processing the first microscope image data and the second microscope image data is output to the display unit 63.
  • the display unit 63 includes display devices such as a CRT, a liquid crystal display, a plasma display, an organic EL display, and a projector.
  • the display unit 63 displays on the screen at least one of a processed image based on the processed image data generated by processing the first microscope image data and a second microscope image based on the second microscope image data.
  • the display unit 63 converts the processed image based on the processed image data generated by the image generating unit 61 into a microscopic image (that is, a captured image) based on the microscopic image data obtained by the first and second microscope apparatuses 30 and 40. ) And display it on the display unit 63.
  • the image output unit 62 distinguishes from the captured image by, for example, thickening, blinking, or changing the coloring of the outer frame surrounding the image. Thereby, the generated image and the captured image can be distinguished.
  • FIG. 3 shows a flow of microscope observation and image processing by the microscope system 100 according to the present embodiment.
  • a relatively low resolution confocal microscope and a high resolution STORM are employed as the first and second microscopes, respectively, and a Z stack image and a STORM image of the sample 9 are respectively captured.
  • the first and second observation conditions are set by the user.
  • the first microscope method and the second microscope method are already set out of the first and second observation conditions.
  • the imaging condition of the first observation condition the objective lens 21a is used, the range in the XY plane to be imaged, the reference position Z 1 on the Z axis in imaging, the step amount ⁇ Z 1 along the Z axis, number of images N 1 to are set.
  • the objective lens 21b different from the first observation condition is used, the range in the XY plane to be imaged, the reference position Z 2 on the Z axis in the imaging, and along the Z axis
  • the step amount ⁇ Z 2 and the number N 2 of images to be captured are set.
  • the user inputs observation conditions via the input unit 51, and the input conditions are transmitted to the control unit 50.
  • step 120 the sample 9 is imaged independently by the first and second microscope apparatuses 30 and 40, respectively.
  • FIG. 4 shows an imaging state by the first microscope device 30.
  • the control unit 50 operates the stage system 10, the optical system 20, and the first microscope apparatus 30 according to the first observation condition.
  • the control unit 50 controls the optical system 20 to retract the objective lens 21b, the cylindrical lens 25, and the imaging optical system 26 from the optical axis L, and arranges the objective lens 21a and the scanner 23 on the optical axis L.
  • the control unit 50 sets illumination conditions for the first illumination / imaging unit 31 of the first microscope apparatus 30.
  • Control unit 50 Z position Z 1 of the sample 9 drives the stage system 10 to be positioned in the focal plane 20a of the optical system 20 including the objective lens 21a, for imaging a sectional image of the sample 9.
  • the first microscope apparatus 30 emits illumination light having a wavelength ⁇ 1 from the first illumination / imaging unit 31 and illuminates the sample 9 on the stage 11 through the optical system 20. By illuminating the observation position 9a of the sample 9 located on the focal point, the fluorescent dye contained in the sample 9 emits fluorescence of wavelength ⁇ 1 ′. The fluorescent light is collected through the optical system 20 and captured by the first illumination / imaging unit 31.
  • control unit 50 controls the scanner 23 and swings the illumination light in the XY direction, so that it is within the XY scanning range on the focal plane 20a.
  • the sample 9 is scanned.
  • the cross section of the sample 9 located on the focal plane 20a is imaged by the first microscope apparatus 30.
  • the imaging result is sent to the image processing unit 60 and stored in the image generation unit 61 as first microscope image data.
  • the sample 9 is imaged by being positioned on the surface 20a.
  • the first microscope apparatus 30 generates Z stack image data from a series of imaging results and sends the data to the image processing unit 60.
  • the image processing unit 60 stores the Z stack image data in the image generation unit 61 as first microscope image data.
  • control unit 50 starts imaging the sample 9 by the second microscope apparatus 40.
  • FIG. 5 shows an imaging state by the second microscope apparatus 40.
  • the control unit 50 operates the stage system 10, the optical system 20, and the second microscope apparatus 40 according to the second observation condition.
  • the control unit 50 controls the optical system 20 to retract the objective lens 21a and the scanner 23 from the optical axis L, and arranges the objective lens 21b, the cylindrical lens 25, and the imaging optical system 26 on the optical axis L. .
  • the control unit 50 sets illumination conditions for the second illumination / imaging unit 41 of the second microscope apparatus 40.
  • Control unit 50 a stage system 10 to Z position Z 2 of the sample 9 come drives the focal plane 20b of the optical system 20, imaging the sample 9.
  • the second microscope apparatus 40 emits illumination light from the second illumination / imaging unit 41 and illuminates the sample 9 on the stage 11 via the optical system 20.
  • the second microscope apparatus 40 irradiates the fluorescent dye contained in the observation position 9b of the sample 9 located on the focal plane 20b with illumination light (wavelength ⁇ 2 ) as excitation light to activate it.
  • illumination light wavelength ⁇ 2
  • the second microscope apparatus 40 specifies the position of each fluorescent dye.
  • a STORM image is generated by repeating the above steps a plurality of times and assigning specific brightness values to the specified positions of the plurality of fluorescent dyes.
  • the STORM image is stored in the image generation unit 61 as second microscope image data.
  • the second microscope apparatus 40 When driven, the second microscope apparatus 40 generates the STORM image based on the imaging and the imaging.
  • FIG. 6 shows an example of correspondence between images included in the first and second microscope image data obtained by the first and second microscope apparatuses 30 and 40, respectively.
  • the first microscopic image data (Z stack images) is data of a plurality of images 601-603 which are respectively obtained with respect to the Z position of the sample 9 to be spaced at equal intervals in the step amount [Delta] Z 1 is there.
  • the images 601 to 603 have blur corresponding to the distance from the focal plane.
  • the second microscope image data is data of the STORM images 621 and 622. Since the STORM images 621 and 622 are reconstructed at points where specific luminance values are assigned, blurring does not appear. Further, in the STORM images 621 and 622, the specific luminance value is assigned to a predetermined three-dimensional space range.
  • an image to be compared (that is, a processed image) is selected from the first and second microscope image data obtained by the first and second microscope apparatuses 30 and 40, respectively.
  • the image processing unit 60 processes the first and second microscope image data obtained by the first and second microscope apparatuses 30 and 40, respectively, and displays a list of captured images included in each on the screen of the display unit 63. indicate.
  • the user via the input unit 51, for example, any Z-position in the first microscope image data obtained by the first microscope 30, selects the image 603 at the position Z 0 as an example.
  • step 140 the image generation unit 61 performs deconvolution operation (deconvolution) on the first microscope image data based on the STORM image data as the second microscope image data to generate processed image data.
  • deconvolution deconvolution
  • the image 611 at the Z position Z 0 is generated from the first microscope image data 603 using the information obtained from the second microscope device 40.
  • the image 611 obtained by the deconvolution operation is generated by minimizing the objective function L.
  • the objective function L is given in the following general form:
  • the first term on the right side is an error function related to noise statistics
  • the second term is a regularization term.
  • the regularization term is given by multiplying the regularization parameter ⁇ i .
  • Each term is given using first microscope image data g and image data f representing an image to be estimated (image 611).
  • Each image data is given as a set of luminance values at each pixel (represented by using an index j) arranged in the three-dimensional space (X, Y, Z).
  • the matrix H is constructed by using, for example, the point spread function PSF of the first microscope apparatus 30 as the optical condition.
  • the point spread function PSF of the first microscope apparatus 30 include a PSF of the optical system 20, a PSF of an illumination optical system that expresses an illumination pattern, a PSF of a pinhole, and a product thereof.
  • the error function E is given as follows using a constant c.
  • the error function E can be approximated to a weighted Gaussian distribution [formula (3)] or can be approximated using Anscombe transform.
  • the regularization term includes a first term relating to the luminance value of the pixel of the STORM image.
  • s j is the luminance value of the pixel j based on the second microscope image data, that is, the STORM image
  • the set S of s j specifies the positions of a plurality of fluorescent dyes that emit light by STORM and assigns specific luminance values. Therefore, there is no blur corresponding to the distance from the focal plane. Therefore, by adopting the first term [Expression (4)], it is possible to generate image data f with improved deconvolution effect.
  • the regularization term includes a second term relating to the positive value constraint.
  • ⁇ is a small positive constant
  • ⁇ 0 is a sufficiently large positive constant.
  • the regularization term may include a regularization term based on information on the fluorescence distribution. This regularization term needs to be determined depending on the sample 9. For example, in the case of a distribution in which the boundary is clear and changes stepwise, a total variation or the like can be applied.
  • the image data f is obtained by minimizing the objective function L.
  • the Richardson-Lucy algorithm is adopted as an example.
  • the image data f k + 1 at the (k + 1) th step can be calculated from the image data f k at the kth step as follows.
  • 1 is a vector in which all elements are 1
  • ⁇ f is functional differentiation
  • the functional derivative of the regularization term is given as follows.
  • the image generation unit 61 assumes the zeroth step image data f0 and supplies it to the equation (6) together with the first microscope image data g to update the image data fk sequentially.
  • the image data f is generated by updating until the image data f k sufficiently converges.
  • the generated image data f is transmitted to the image output unit 62 as processed image data.
  • step 150 the image output unit 62 integrates the processed image data in step 140 with the first microscope image data previously obtained in step 120 and edits it into a series of image data.
  • step 160 the display unit 63 displays the image edited in step 150 and the image captured in step 120 on the screen.
  • an image integrated into a series of image data by the image output unit 62 that is, a processed image based on the processed image data generated in step 160 and a microscopic image based on the first microscopic image data generated in step 120, Is output on the screen together with the microscope image based on the second microscope image data generated in step 120.
  • FIG. 7 shows an example of a processed image generated by deconvolution calculation of the first microscope image data.
  • the image 701 is an example of a first microscope image
  • the image 702 shows an example of a processed image generated by deconvolution from the first microscope image data.
  • the black and gray circles in the images 701 and 702 are images of fluorescence, and gray indicates that the image is darker than black.
  • the image 701 an image that is substantially in focus (black circle in the figure) and an image that is out of focus (blur circle in the figure) are mixed.
  • the image 702 uses the information of the STORM image data that does not have the blur component that is the second microscope image data and performs the deconvolution operation, so that the blur component is reduced and the S / N of the image is reduced.
  • the ratio (signal to noise ratio) is improved. Thereby, for example, what was seen as one image in the image 701 is divided into a plurality of images in the image 702, and a fine structure that was not seen in the first microscope image can be observed. It can also be said that processed image data with higher resolution than the first microscope image is generated in that a fine structure that was not visible in the first microscope image appears.
  • FIG. 8 shows an example of a display screen 63a of the display unit 63 that displays the Z stack image and the STORM image obtained by the first and second microscope apparatuses 30 and 40, respectively.
  • the display unit 63 includes first and second microscope apparatuses and their microscopy methods in the upper part of the display screen 63a, and one image 63c and 63d for each corresponding Z position included in the first and second microscope image data in the middle part.
  • Information on the Z stack image and the STORM image (XY position, Z position, depth of focus, etc.) at the bottom, imaging conditions (reference positions Z 1 , Z 2 , step amounts ⁇ Z 1 , ⁇ Z 2 , number of images N 1 ) in each microscope observation , N 2 etc.).
  • the display unit 63 displays the image 63c generated by the calculation by the image generation unit 61 visually distinguishing it from the captured image or the like.
  • the outer frame surrounding the image 63c is displayed thick, and the character “calculation” meaning that it is calculated in the vicinity of the image 63c is displayed.
  • the captured image based on the first microscope image data using confocal microscopy includes a blurred image, whereas the STORM image of the second microscope image data specifies the position of the fluorescent dye and determines the luminance value. Since there is no blur of the image by assigning, it is difficult to compare as it is.
  • processed image data with reduced blur components and improved S / N is generated by deconvolution from the first microscope image data. To do. By bringing the degree of blur of the first microscope image data closer to that of the second microscope image data, it is possible to easily compare the observation results obtained by different microscope methods.
  • the matrix H is constructed using the point spread function PSF of the first microscope apparatus 30 and the image data f is generated.
  • the matrix H may be constructed using the point spread function PSF of the second microscope apparatus 40 to generate the image data f.
  • the aberration information regarding the second microscope apparatus 40 may be further used as described below.
  • the aberration information related to the second microscope apparatus 40 is calculated using an image captured by the second microscope apparatus 40 and a three-dimensional fluorescence image reconstructed based on the image.
  • the image generation unit 61 reproduces the detection result of the position of the fluorescent dye obtained by the second microscope device 40 using the point spread function (PSF) of the second microscope device 40.
  • the PSF of the first microscope apparatus 30 is specifically a PSF based on an optical member included in the first microscope apparatus 30 and, for example, the PSF of the optical system 20 and an illumination optical system that represents an illumination pattern. PSF, pinhole PSF, product thereof, and the like.
  • the aberration expressing the point spread function includes, for example, an index mismatch aberration generated according to the Z position of the fluorescent dye in the sample 9, astigmatism due to the cylindrical lens 25, a residual aberration at the interface of the holding member 8, and the like.
  • the index mismatch aberration can be reproduced with high accuracy when the refractive index of the sample 9 is known.
  • astigmatism is known from the optical characteristics of the cylindrical lens 25. Therefore, by taking these aberrations into a point spread function and using them to reproduce the aberration of the bright spot so as to minimize the error due to noise, the position of the bright spot is determined and the residual aberration is calculated.
  • the Aberration information is constructed from the index mismatch aberration reproduced in this way and the calculated residual aberration.
  • the calculated aberration information is taken into the deconvolution calculation of the first microscope image data in the aforementioned step 140.
  • the point spread function used to calculate the aberration information from the second microscope image data is used as the point spread function PSF for constructing the matrix H for deriving the image data r.
  • Incorporated residual aberration is captured. Assuming the zero-step image data f 0 , this is given together with the first microscope image data g to equation (6) and updated until the image data f k is sufficiently converged.
  • the aberration information of the second microscope apparatus 40 is taken into the deconvolution calculation of the first microscope image data, and the image data f in which the blur and distortion of the image due to the aberration is reduced is generated from the first microscope image data. Can do.
  • the confocal microscope image based on the first microscope image data is accompanied by blurring and distortion of the image
  • the STORM image based on the second microscope image data identifies the position of the fluorescent dye and assigns a luminance value to the image. Since blur and distortion do not appear, it is difficult to compare as it is.
  • processed image data in which both blur and distortion of the image are reduced is generated from the first microscope image data, so that the degree of blur and distortion is made closer to the second microscope image data. The results of observation by different microscope methods can be easily compared.
  • the first microscope image data is deconvolved to generate image data.
  • the first and second microscopes that are paired with each other are generated.
  • the dictionaries D g and D s are determined by minimizing the next objective function L using the constant ⁇ . Further, even when the first and second microscope image data g and s include noise, in order to accurately determine the dictionaries D g and D s , the objective function L is set to N pairs of first and second as follows.
  • Equation (12) The vector ⁇ determined to minimize the objective function L satisfies the following two expressions.
  • argmin ⁇ [L] is an operator that determines the vector ⁇ so as to minimize the function L.
  • Equation (12) the first term in the right parenthesis is an error term, the second term is a sparse regularization term, and ⁇ is a constant.
  • the dictionary D s can be determined by minimizing the objective function L (ie, from the following equation) by quadratic programming. For example by applying a stochastic gradient descent by calculating the equation (13) the right-hand side, it is possible to determine a dictionary D g.
  • the dictionary D g (k + 1 ) from the k-th step dictionary D g (k) to the k + 1-th step dictionary D g (k + 1) is updated as follows using the learning rate ⁇ .
  • the second term on the right side is calculated using the following equation.
  • the dictionary Dg can also be determined by the same method.
  • the image generation unit 61 assumes the dictionaries D g (0) and D s (0) (and the vector ⁇ ) in the zeroth step, and uses them together with the first and second microscope image data g and s, such as formula (14) and the like. And sequentially update the dictionaries D g (k) and D s (k) . Dictionary D g (k), by updating to D s (k) is sufficiently converged, the dictionary D g, D s is determined.
  • the image generation unit 61 can generate target image data D s D g ⁇ 1 g by applying the determined dictionaries D g and D s to the first microscope image data g.
  • the information contained in the STORM image which is the second microscope image data, can be used without first assuming a function that appropriately expresses noise.
  • Processed image data with reduced image blur and distortion can be generated from the microscope image. Therefore, by comparing the degree of blur and distortion of the first microscope image data with the STORM image by a simple method, it is possible to easily compare the imaging results obtained by different microscope methods.
  • step 130 the user, for example, from the second microscope image data 622 obtained by the second microscope device 40, the selected Z position (position Z 0 ) and, for example, the imaging of the first microscope device 30. It is selected to generate an image 631 corresponding to the focal depth of the objective lens 21a used at the time.
  • the image generation unit 61 superimposes a point assigned with a high luminance value within the range of the focal depth of the objective lens 21a from the second microscope image data in the Z-axis direction, or projects the corresponding image on the XY plane. Generate data. In such a case, the processed image data may be generated using different colors depending on the Z position.
  • FIG. 9 shows an example of the generated processed image.
  • the image 901 is a processed image obtained by superimposing, in the Z-axis direction, points assigned with high luminance values that are within the range of the focal depth of the objective lens 21a in the second microscope image data. Since the second microscope image data is STORM image data, an arbitrary Z position and an arbitrary range along the Z axis centering on the Z position can be cut out. Therefore, a processed image corresponding to the depth of focus of the first microscope image data using the confocal microscopy can be easily generated, and the comparison can be facilitated.
  • step 260 instead of generating the corresponding image data by superimposing, in the Z-axis direction, points assigned with high luminance values within the range of the focal depth of the objective lens 21a from the second microscope image data.
  • the second microscope image data (STORM image) may be convolved (convolved) to generate image data.
  • the image 631 (represented using the function I) can be calculated as follows using the second microscope image data O and the point spread function PSF.
  • the second microscope image data O is obtained as a distribution of points to which specific luminance values are assigned in a preset three-dimensional space (X, Y, Z).
  • the second microscope image data O is a set of luminance values related to discrete X, Y, and Z coordinates, but is represented here as a function related to the coordinates X, Y, and Z for convenience.
  • the point spread function PSF can be approximated by a function that does not depend on the position
  • Expression (16) can be rewritten as follows.
  • the PSF of the first microscope apparatus 30 is used as the point spread function PSF, and the second microscope image data O is convolved with respect to the depth range corresponding to the focal depth of the objective lens 21a.
  • the PSF of the first microscope apparatus 30 include a PSF of the optical system 20, a PSF of an illumination optical system that expresses an illumination pattern, a PSF of a pinhole, and a product thereof.
  • the right side of Equation (17) can be calculated using discrete Fourier transform.
  • the image generation unit 61 performs discrete Fourier transform on the second microscope image data O and the point spread function PSF, respectively, and calculates the right side by performing inverse discrete Fourier transform on the product of each Fourier transform.
  • an image 902 shows an example of the processed image calculated by Expression (17).
  • the blur component included in the first microscope image data is captured by performing a convolution operation on the second microscope image data using Equation (6) using the point spread function PSF, and the S / The N ratio is close to the first microscope image data. Since the STORM image by the second microscope data has a high S / N ratio, it is difficult to compare with the image of the confocal microscope method by the first microscope image data having a relatively low S / N ratio due to a blur component or the like.
  • the S / N ratio of the image quality of the STORM image is brought close to the S / N ratio of the image of the confocal microscope method, so that the image data obtained by different microscope methods can be easily compared. be able to.
  • the image output unit 62 transmits the image data of the image 631 to the display unit 63, and the display unit 63 generates the generated image 631 in step 120.
  • the image is output on the screen together with the microscope image based on the first microscope image data.
  • the second microscope image data is calculated by applying the optical conditions related to the first microscope apparatus 30, that is, the point spread function of the first microscope apparatus 30.
  • the optical conditions relating to the second microscope apparatus 40 that is, the point spread function of the second microscope apparatus 40 may be applied to perform the convolution calculation of the second microscope image data.
  • the aberration information for example, residual aberration
  • the aberration information (if known) of the first microscope device 30 is taken into the point spread function, and the optical system 20 (objective lens) is used.
  • the second microscope image data may be convolved with respect to the Z range corresponding to the depth of focus.
  • an image distortion component due to aberration is added to the second microscope image data, and the S / N ratio of the image quality of the STORM image based on the second microscope image data is further confocal with the first microscope image data. Since it is close to the S / N ratio of the microscope image, the image data can be compared with each other more easily.
  • a plurality of Z positions of the sample 9 are imaged by the first microscope apparatus 30 in step 120 to generate Z stack images (for example, images 601 to 603). Only one Z position of the sample 9 may be imaged.
  • the second microscope apparatus 40 images a plurality of Z positions of the sample to generate STORM images (images 621 and 622). However, only one Z position of the sample 9 is imaged and the STORM image is captured. It may be generated.
  • the user selects an image to be compared in step 130, but instead of or together with this, the image processing unit 60 (the image generation unit 61). ) May automatically select an image.
  • an image is taken from the imaging conditions, in particular the focal depths of the objective lenses 21a and 21b used in the first and second observation conditions, the reference position of the Z axis, the step amount in the Z axis direction, the number of images to be captured, and the like. You can choose.
  • the sample 9 is individually imaged by the first and second microscope apparatuses 30 and 40.
  • each of the first and second microscope apparatuses 30 and 40 is separate.
  • a stage and an optical system may be dedicated, and the same sample may be imaged separately.
  • a marker is provided close to the sample on the holding member 8 that holds the sample, and the position of the sample is determined with reference to the marker when observing the sample with each microscope apparatus, so that the same range can be obtained.
  • the sample can be imaged.
  • the image processing unit 60 is not limited to the microscope image data obtained by the first and second microscope apparatuses 30 and 40, and is obtained by a microscope apparatus separate from the microscope system 100. Image data may be processed. Further, the image output unit 62 processes the microscope image data obtained by the microscope system 100, and obtains a microscope image captured by a microscope apparatus separate from the microscope system 100 and a microscope image captured by the microscope system 100. They may be displayed side by side or superimposed on the screen of the display unit 63.
  • the image sensors of the first and second illumination / imaging units 31 and 41 may be charge coupled devices (CCD), CMOS, or the like, and instead of the image sensors. It may be a light receiving element such as a photomultiplier tube (PMT). Further, an appropriate element may be adopted according to the wavelength of light to be received.
  • CCD charge coupled devices
  • CMOS complementary metal-oxide-semiconductor
  • PMT photomultiplier tube
  • confocal microscopy and STORM are employed as the microscopy of the first and second microscope apparatuses 30 and 40, but the present invention is not limited thereto.
  • PET positron tomography
  • MRI magnetic resonance imaging
  • CT computer tomography
  • stereofluorescence epifluorescence
  • SIM structured illumination microscopy
  • PALM photo-activated localization
  • STED Arbitrary microscopy methods such as (stimulated emission control method), electron microscopy, and atomic force microscopy may be employed.
  • the microscope system 100 includes two microscope apparatuses that employ two microscope methods, but is not limited to this, and three or more microscope apparatuses that employ three or more microscope methods, respectively. May be provided. Moreover, you may provide the at least 2 microscope apparatus which employ
  • the sample 9 is moved with respect to the focal points of the objective lenses 21a and 21b by driving the stage 11 supporting the sample 9 in the Z-axis direction.
  • the revolver 22 that supports the objective lenses 21a and 21b is driven in the Z-axis direction, or an optical element having refractive power is disposed on the optical axis L of the optical system 20, and the direction parallel to the optical axis L.
  • a configuration in which the sample 9 is moved with respect to the focal points of the objective lenses 21a and 21b may be adopted.
  • the first and second microscope apparatuses 30 and 40 are operated or stopped by emitting or stopping illumination light from the first and second illumination / imaging units 31 and 41.
  • a filter such as a dichroic mirror
  • the first and second microscope apparatuses 30 and 40 can be used. It is good also as operating or stopping.
  • an inverted microscope system in which the objective lenses 21a and 21b are arranged below the stage 11 supporting the sample 9 and the sample 9 is observed from below is adopted.
  • an upright microscope system in which the objective lenses 21a and 21b are arranged above the stage 11 and the sample 9 is observed from above may be employed. Further, either an inverted type or an upright type may be adopted for each microscope apparatus.
  • two colors of fluorescent dyes that is, a fluorescent dye used in the first microscope apparatus 30 and a fluorescent dye used in the second microscope apparatus 40 are introduced, but the first microscope apparatus 30 and the second microscope apparatus 40
  • the same fluorescent dye may be used, or three or more fluorescent dyes may be used.
  • One or both of the first microscope apparatus 30 and the second microscope apparatus 40 may image the sample 9 by autofluorescence or epi-illumination without using a fluorescent dye.
  • the first microscope image or the processed image and the second microscope image are displayed side by side on the display unit 63.
  • the display method is not limited to this, and the processed image may be displayed alone. Since the processed image that has been subjected to the deconvolution operation in step S140 shows a fine structure that was not visible in the original microscope image, it is possible to provide detailed information of the sample 9 by displaying the processed image. In addition, since the blurred image is added to the processed image subjected to the convolution calculation in step 260, it is possible to provide a perspective image by displaying the processed image. Note that any combination of the first microscope image, the processed image, and the second microscope image may be displayed.
  • a block is either (1) a stage in a process in which the operation is performed or (2) an apparatus responsible for performing the operation. May represent a section of Certain stages and sections are implemented by dedicated circuitry, programmable circuitry supplied with computer readable instructions stored on a computer readable medium, and / or processor supplied with computer readable instructions stored on a computer readable medium. It's okay.
  • Dedicated circuitry may include digital and / or analog hardware circuitry and may include integrated circuits (ICs) and / or discrete circuits.
  • Programmable circuits include memory elements such as logical AND, logical OR, logical XOR, logical NAND, logical NOR, and other logical operations, flip-flops, registers, field programmable gate arrays (FPGA), programmable logic arrays (PLA), etc. Reconfigurable hardware circuitry, including and the like.
  • Computer readable media may include any tangible device capable of storing instructions to be executed by a suitable device, such that a computer readable medium having instructions stored thereon is specified in a flowchart or block diagram. A product including instructions that can be executed to create a means for performing the operation. Examples of computer readable media may include electronic storage media, magnetic storage media, optical storage media, electromagnetic storage media, semiconductor storage media, and the like.
  • Computer readable media include floppy disks, diskettes, hard disks, random access memory (RAM), read only memory (ROM), erasable programmable read only memory (EPROM or flash memory), Electrically erasable programmable read only memory (EEPROM), static random access memory (SRAM), compact disc read only memory (CD-ROM), digital versatile disc (DVD), Blu-ray (RTM) disc, memory stick, integrated A circuit card or the like may be included.
  • RAM random access memory
  • ROM read only memory
  • EPROM or flash memory erasable programmable read only memory
  • EEPROM Electrically erasable programmable read only memory
  • SRAM static random access memory
  • CD-ROM compact disc read only memory
  • DVD digital versatile disc
  • RTM Blu-ray
  • Computer readable instructions can be assembler instructions, instruction set architecture (ISA) instructions, machine instructions, machine dependent instructions, microcode, firmware instructions, state setting data, or object oriented programming such as Smalltalk, JAVA, C ++, etc. Including any source code or object code written in any combination of one or more programming languages, including languages and conventional procedural programming languages such as "C" programming language or similar programming languages Good.
  • Computer readable instructions may be directed to a general purpose computer, special purpose computer, or other programmable data processing device processor or programmable circuit locally or in a wide area network (WAN) such as a local area network (LAN), the Internet, etc.
  • the computer-readable instructions may be executed to create a means for performing the operations provided via and specified in the flowchart or block diagram.
  • processors include computer processors, processing units, microprocessors, digital signal processors, controllers, microcontrollers, and the like.
  • FIG. 10 illustrates an example of a computer 2200 in which aspects of the present invention may be embodied in whole or in part.
  • the program installed in the computer 2200 can cause the computer 2200 to function as an operation associated with the apparatus according to the embodiment of the present invention or one or more sections of the apparatus, or to perform the operation or the one or more sections.
  • the section can be executed and / or the computer 2200 can execute a process according to an embodiment of the present invention or a stage of the process.
  • Such a program may be executed by CPU 2212 to cause computer 2200 to perform certain operations associated with some or all of the blocks in the flowcharts and block diagrams described herein.
  • the computer 2200 includes a CPU 2212, a RAM 2214, a graphic controller 2216, and a display device 2218, which are connected to each other by a host controller 2210.
  • the computer 2200 also includes input / output units such as a communication interface 2222, a hard disk drive 2224, a DVD-ROM drive 2226, and an IC card drive, which are connected to the host controller 2210 via the input / output controller 2220.
  • the computer also includes legacy input / output units, such as ROM 2230 and keyboard 2242, which are connected to input / output controller 2220 via input / output chip 2240.
  • the CPU 2212 operates according to the programs stored in the ROM 2230 and the RAM 2214, thereby controlling each unit.
  • the graphic controller 2216 obtains the image data generated by the CPU 2212 in a frame buffer or the like provided in the RAM 2214 or itself so that the image data is displayed on the display device 2218.
  • the communication interface 2222 communicates with other electronic devices via a network.
  • the hard disk drive 2224 stores programs and data used by the CPU 2212 in the computer 2200.
  • the DVD-ROM drive 2226 reads a program or data from the DVD-ROM 2201 and provides the program or data to the hard disk drive 2224 via the RAM 2214.
  • the IC card drive reads programs and data from the IC card and / or writes programs and data to the IC card.
  • the ROM 2230 stores therein a boot program executed by the computer 2200 at the time of activation and / or a program depending on the hardware of the computer 2200.
  • the input / output chip 2240 may also connect various input / output units to the input / output controller 2220 via parallel ports, serial ports, keyboard ports, mouse ports, and the like.
  • the program is provided by a computer readable medium such as a DVD-ROM 2201 or an IC card.
  • the program is read from a computer-readable medium, installed in the hard disk drive 2224, the RAM 2214, or the ROM 2230, which are also examples of the computer-readable medium, and executed by the CPU 2212.
  • Information processing described in these programs is read by the computer 2200 to bring about cooperation between the programs and the various types of hardware resources.
  • An apparatus or method may be configured by implementing information manipulation or processing in accordance with the use of computer 2200.
  • the CPU 2212 executes a communication program loaded in the RAM 2214 and performs communication processing on the communication interface 2222 based on processing described in the communication program. You may order.
  • the communication interface 2222 reads transmission data stored in a transmission buffer processing area provided in a recording medium such as the RAM 2214, the hard disk drive 2224, the DVD-ROM 2201, or an IC card under the control of the CPU 2212, and the read transmission. Data is transmitted to the network, or received data received from the network is written in a reception buffer processing area provided on the recording medium.
  • the CPU 2212 allows the RAM 2214 to read all or a necessary part of a file or database stored in an external recording medium such as a hard disk drive 2224, a DVD-ROM drive 2226 (DVD-ROM 2201), an IC card, etc. Various types of processing may be performed on the data on the RAM 2214. Next, the CPU 2212 writes back the processed data to the external recording medium.
  • an external recording medium such as a hard disk drive 2224, a DVD-ROM drive 2226 (DVD-ROM 2201), an IC card, etc.
  • Various types of processing may be performed on the data on the RAM 2214.
  • the CPU 2212 writes back the processed data to the external recording medium.
  • the CPU 2212 describes various types of operations, information processing, conditional judgment, conditional branching, unconditional branching, information retrieval, which are described in various places in the present disclosure and specified by the instruction sequence of the program with respect to the data read from the RAM 2214. Various types of processing may be performed, including / replacement etc., and the result is written back to the RAM 2214. Further, the CPU 2212 may search for information in files, databases, etc. in the recording medium.
  • the CPU 2212 specifies the attribute value of the first attribute.
  • the entry that matches the condition is searched from the plurality of entries, the attribute value of the second attribute stored in the entry is read, and thereby the first attribute that satisfies the predetermined condition is associated.
  • the attribute value of the obtained second attribute may be acquired.
  • the program or software module described above may be stored in a computer-readable medium on the computer 2200 or in the vicinity of the computer 2200.
  • a recording medium such as a hard disk or a RAM provided in a server system connected to a dedicated communication network or the Internet can be used as a computer-readable medium, thereby providing a program to the computer 2200 via the network. To do.
  • DESCRIPTION OF SYMBOLS 8 ... Holding member, 9 ... Sample, 9a ... Observation position, 10 ... Stage system, 11 ... Stage, 11a ... Opening, 12 ... Sensor, 13 ... Driving device, 20 ... Optical system, 20a, 20b ... Focal plane, 21a, 21b ... objective lens, 22 ... revolver, 23 ... scanner, 24 ... filter, 25 ... cylindrical lens, 26 ... imaging optical system, 30 ... first microscope apparatus, 31 ... first illumination / imaging unit, 40 ... second microscope Device: 41 second illumination / imaging unit 50 ... control unit 51 ... input unit 60 ... image processing unit 61 ... image generation unit 62 ... image output unit 63a ... display screen 63 ...
  • ROM Read Only Memory
  • 2210 Host controller, 2212 ... CPU, 2214 ... RAM, 2216 ... Graphic controller, 2218 ... Display device, 2220 ... Output controller, 2222 ... Communication interface, 2224 ... Hard disk drive, 2226 ... ROM drive, 2230 ... ROM, 2240 ... output chip, 2242 ... keyboard.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Microscoopes, Condenser (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Image Processing (AREA)

Abstract

画像処理装置であって、第１顕微鏡で得られた第１顕微鏡画像データを、第１顕微鏡とは顕微鏡法の異なる第２顕微鏡で得られた第２顕微鏡画像データに基づいて処理し、処理画像データを生成する画像生成部と、処理画像データと第２顕微鏡画像データとの少なくとも一方の画像データを出力する画像出力部と、を含む。第２顕微鏡画像データに基づく第２顕微鏡画像は、第１顕微鏡画像データに基づく第１顕微鏡画像よりも分解能が高いものであってよい。

Description

画像処理装置、顕微鏡システム、画像処理方法、及びプログラム
　本発明は、画像処理装置、顕微鏡システム、画像処理方法、及びプログラムに関する。
　互いに異なる顕微鏡法によりそれぞれ試料を撮像する複数種類の顕微鏡装置（単に顕微鏡、或いはモダリティとも呼ぶ）を搭載した顕微鏡システムが知られている（例えば、特許文献１参照）。
　特許文献１　特表２０１２－５０７７５６号公報
　本発明の第１の態様においては、第１顕微鏡で得られた第１顕微鏡画像データを、第１顕微鏡とは顕微鏡法の異なる第２顕微鏡で得られた第２顕微鏡画像データに基づいて処理し、処理画像データを生成する画像生成部と、処理画像データと第２顕微鏡画像データとの少なくとも一方の画像データを出力する画像出力部と、を含む画像処理装置が提供される。
　本発明の第２の態様においては、第１顕微鏡と、第２顕微鏡と、第１の態様の画像処理装置と、を備える顕微鏡システムが提供される。
　本発明の第３の態様においては、第１顕微鏡で得られた第１顕微鏡画像データを、第１顕微鏡とは顕微鏡法の異なる第２顕微鏡で得られた第２顕微鏡画像データに基づいて処理し、処理画像データを生成し、処理画像データと第１顕微鏡画像データとの少なくとも一方の画像データを出力する、画像処理方法が提供される。
　本発明の第４の態様においては、第１顕微鏡で得られた第１顕微鏡画像データを、第１顕微鏡とは顕微鏡法の異なる第２顕微鏡で得られた第２顕微鏡画像データに基づいて処理し、処理画像データを生成する手順と、処理画像データと第１顕微鏡画像データとの少なくとも一方の画像データを出力する手順と、をコンピュータに実行させるプログラムが提供される。
　なお、上記の発明の概要は、本発明の特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
本実施形態に係る顕微鏡システムに含まれる本体部の構成を示す。 本実施形態に係る顕微鏡システムの機能構成を示す。 顕微鏡観察及び画像処理のフローを示す。 第１顕微鏡装置による撮像状態を示す。 第２顕微鏡装置による撮像状態を示す。 第１及び第２顕微鏡画像データに含まれる画像の対応の一例を示す。 第１顕微鏡画像データを逆畳み込み計算して生成された画像の一例を示す。 表示画面の一例を示す。 第２顕微鏡画像データを畳み込み計算して生成された画像の一例を示す。 本実施形態に係るコンピュータの構成の一例を示す。
　以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
　図１及び図２に、それぞれ、本実施形態に係る顕微鏡システム１００に含まれる本体部９９の構成及び顕微鏡システム１００の機能構成を示す。顕微鏡システム１００は、複数種類の顕微鏡装置を用いてそれぞれ異なる顕微鏡法により試料を撮像するシステムであり、本体部９９、制御部５０、及び画像処理部６０を備える。
　本体部９９は、第１観察条件で試料９を観察する第１顕微鏡装置３０、及び、第２観察条件で試料９を観察する第２顕微鏡装置４０を含む。第１及び第２観察条件は、例えば、顕微鏡法、照明条件、撮像条件等を含む。本実施形態において、第１顕微鏡装置３０の顕微鏡法である第１顕微鏡法は共焦点顕微鏡であり、第２の顕微鏡装置４０の顕微鏡法である第２顕微鏡法はＳＴＯＲＭ（確率論的光学再構成法）である。
　また、照明条件は、試料９を照明する照明光の輝度、照明光の波長、照明光に偏光を用いるか否かおよび偏光と用いる場合には偏光の向き、絞りの大きさ等を含む。撮像条件は、対物レンズ２１ａの開口数、試料９を撮像するＸＹ面内の範囲（ＸＹ走査範囲と呼ぶ）及びＺ軸上の位置（Ｚ位置という）等を含む。試料９を撮像するＺ位置は、例えば、試料９のＺ軸方向の基準位置、Ｚ軸に沿ったステップ量、撮像する画像数により特定される。
　第１顕微鏡装置３０および第２顕微鏡装置４０はステージ系１０を共有している。ステージ系１０は、試料９を支持してこれを駆動するシステムであり、ステージ１１、センサ１２、及び駆動装置１３を有する。ここで、試料９は、例えば、蛍光色素が導入された細胞等であり、透光性のガラス板等の保持部材８上に保持して使用される。本実施形態では、第１顕微鏡装置３０で用いる蛍光色素と第２顕微鏡装置４０で用いる蛍光色素との２色の蛍光色素が導入されている。
　ステージ１１は、試料９を支持する装置である。ステージ１１は、光学系２０の光軸Ｌが通る開口１１ａが形成され、試料９は、これを保持する保持部材８をステージ１１上に支持することで開口１１ａ上に位置決めされる。ステージ１１は、光学系２０の光軸Ｌ（これに平行にＺ軸を定める）に沿った方向に移動可能に構成される。上記の通りステージ１１は第１顕微鏡装置３０と第２顕微鏡装置４０とで共通のものが用いられる。
　センサ１２は、ステージ１１のＺ軸方向の位置或いは変位を測定する。センサ１２として、例えば、リニアエンコーダを採用することができる。その測定結果は、制御部５０に送信される。
　駆動装置１３は、ステージ１１をＺ軸方向に駆動する。駆動装置１３として、例えばモータ等を採用することができる。駆動装置１３は、制御部５０により制御されてステージ１１を目標位置に駆動する。それにより、ステージ１１上の試料９が光学系２０の光軸Ｌに沿った方向に移動する。
　第１顕微鏡装置３０および第２顕微鏡装置４０は光学系２０を共有している。光学系２０は、試料９に照明光を照射するとともに試料９から射出する光を集光する系であり、複数の対物レンズ２１ａ，２１ｂ、シリンドリカルレンズ２５、結像光学系２６、レボルバ２２、スキャナ２３、及びフィルタ２４を有する。
　複数の対物レンズ２１ａ，２１ｂは、ステージ１１上の試料９の中間像を結ぶ光学素子であり、本実施形態では一例としてステージ１１の直下に配されている。ただし、図１においては、光学系２０の光軸Ｌ上に対物レンズ２１ａが配置されている状態が示されており、さらに、対物レンズ２１ａが光軸Ｌ上にあるときの光学系２０の焦点を含むＸＹ面に平行な焦点面２０ａが併せて示されている。複数の対物レンズ２１ａ，２１ｂは、本実施形態では一例として２つであり、それぞれ小さい及び大きい倍率並びにそれぞれ深い（広い）及び浅い（狭い）焦点深度を有する。複数の対物レンズ２１ａ，２１ｂを切り替えることにより、第１及び第２顕微鏡装置３０，４０の倍率及び焦点深度が切り替えられる。本実施形態では第１顕微鏡装置３０で対物レンズ２１ａを用い、第２顕微鏡装置４０で対物レンズ２１ｂを用いる。
　シリンドリカルレンズ２５は、光軸Ｌに直交する面内において一方向のみについて光を集光する半円筒状のレンズ素子であり、ＳＴＯＲＭにより試料を観察する際に使用される。シリンドリカルレンズ２５を介して検出される光は、焦点面からのずれの大きさに応じて像の大きさが変わるともに、焦点面からいずれの方向にずれているかで像の形が変わる。よって、検出される像の大きさと形から蛍光が発光した位置の三次元座標を特定することができる。
　結像光学系２６は、シリンドリカルレンズ２５を介した光を第２顕微鏡装置４０に向けて集光する１又は複数の光学素子であり、ＳＴＯＲＭにより試料を観察する際に使用される。なお、シリンドリカルレンズ２５および結像光学系２６はレボルバ２２の回転とは独立して光軸Ｌ上に進退可能である。
　レボルバ２２は、複数の対物レンズ２１ａ，２１ｂを支持して回転することで、それらのいずれかを光学系２０の光軸Ｌ上に配置する回転機構である。レボルバ２２は、例えば回転モータ等の駆動装置又は手動により回転する。レボルバ２２の回転位置又は回転量はセンサにより測定され、その測定結果は制御部５０に送信される。駆動装置は、制御部５０からの指示によりレボルバ２２を目標位置に回転する。それにより、複数の対物レンズ２１ａ，２１ｂが切り替えられる。
　スキャナ２３は、照明光を光学系２０の光軸Ｌに直交する面内、すなわち図中のＸＹ方向に振る機構であり、一例として一対のガルバノミラーを使用することができる。スキャナ２３は、共焦点顕微鏡法により試料を観察する際に使用される。一方のガルバノミラーはＸ軸周りに回動し、他方のガルバノミラーはＹ軸周りに回動する。スキャナ２３に入射する照明光は、一対のガルバノミラーにより反射されることで光軸Ｌに対してＸ軸及びＹ軸方向のそれぞれに振られ、それにより試料９がＸＹ方向に走査される。スキャナ２３は不図示の駆動装置により、光軸Ｌ上に進出したり、光軸Ｌから退避したりすることができ、ＳＴＯＲＭにより試料を観察する際には光軸Ｌから退避している。
　フィルタ２４は、光学系２０の光軸Ｌ上に配されて、特定の波長（λ１，λ１'）を有する光を反射し、その他の波長（λ２，λ２'）を有する光を透過する光学素子である。フィルタ２４として、例えば、ダイクロイックミラーを使用することができる。フィルタ２４は、第１照明・撮像部３１から射出される照明光（波長λ１）を反射してスキャナ２３及び対物レンズ２１ａ，２１ｂを介して試料９に送り、試料９から戻る光（波長λ１'）を反射して第１照明・撮像部３１に送るとともに、第２照明・撮像部４１から射出される照明光（波長λ２）を反射してスキャナ２３及び対物レンズ２１ａ，２１ｂを介して試料９に送り、試料９から戻る光（波長λ２'）を透過して第２照明・撮像部４１に送る。
　第１顕微鏡装置３０は、第１照明・撮像部３１、光学系２０およびステージ系１０を有し、第１顕微鏡法により試料９を撮像する。本実施形態では、上記のとおり第１顕微鏡法として共焦点顕微鏡法を採用する。共焦点顕微鏡法において、第１照明・撮像部３１の不図示のレーザ光源からの照明光により試料を焦点面２０ａ上でＸＹ方向に走査し、焦点面２０ａ上に位置する試料の断面を第１照明・撮像部３１の不図示の撮像素子で撮像して二次元画像を生成する。さらに試料９を焦点面２０ａに対してＺ軸方向に相対的に変位させ、それぞれの相対位置での焦点面２０ａ上で試料９を走査することで試料９内の複数の深さにおける断面を撮像して三次元画像を生成する。そのような三次元画像をＺスタック画像とも呼ぶ。第１顕微鏡装置３０は、試料９を高速で、ただし比較的低い分解能で観察することができる。
　第１照明・撮像部３１は、試料９を照明し、試料９からの光を検出する。第１照明・撮像部３１は、輝度、波長、偏光、絞り等に関する照明条件に従って照明光、例えば波長λ１（例えば、４８８ｎｍ）の照明光を生成し、不図示のダイクロイックミラー等のフィルタ（不図示）を介して光学系２０（フィルタ２４）に向けて射出する。照明光は光学系２０を介して、焦点面２０ａ上に位置する試料９内の観察位置９ａを照明する。照明光により試料９内の蛍光色素が発する波長λ１'（例えば、５２５ｎｍ）の蛍光等の光が光学系２０を介して第１照明・撮像部３１に入射する。第１照明・撮像部３１は、試料９から入射する光を上記不図示のフィルタにより照明光などのノイズとなる光から分離して検出することで試料９を撮像する。得られた撮像データは、第１顕微鏡画像データとして画像処理部６０に送信される。
　第２顕微鏡装置４０は、第２照明・撮像部４１、光学系２０およびステージ系１０を有し、第２顕微鏡法により試料９を撮像する。本実施形態では、第２顕微鏡法として、ローカリゼーション法を用いる。ローカリゼーション法において、試料９内に導入された蛍光色素を低密度で活性化させておいて励起光を照射することにより、活性化状態の蛍光色素のみ（一部の蛍光色素のみ）を発光させて蛍光画像を取得する。蛍光画像においては、低密度で発光する蛍光色素の像が個々に分離されたものとなるので、個々の蛍光色素の位置を特定することができる。上記活性化、励起、蛍光画像の取得および位置の特定を複数繰り返し、特定された複数の蛍光色素の位置に特定の輝度値を割り当てることにより点描された画像を生成することにより、光学的な回折限界を超えた高分解能の画像が生成される。この点でローカリゼーション法による顕微鏡画像は共焦点顕微鏡法による顕微鏡画像よりも分解能が高いともいえる。なお、ローカリゼーション法は、ＳＴＯＲＭ（確率論的光学再構成法）、ＰＡＬＭ（光活性化局在法）等を含む。本実施形態では一例として三次元のＳＴＯＲＭを採用し、ＳＴＯＲＭにより生成される蛍光画像をＳＴＯＲＭ画像とも呼ぶこととする。
　第２照明・撮像部４１は、試料９を照明し、試料から射出する光を検出する。第２照明・撮像部４１は、不図示のレーザ光源から照明条件に従って照明光、例えば波長λ２（例えば、５６１ｎｍ）の照明光を生成し、励起光としてダイクロイックミラー等のフィルタ（不図示）を介して光学系２０（フィルタ２４）に向けて射出する。照明光は光学系２０を介して試料９に送られ、焦点面２０ｂ上に位置する試料９内の観察位置９ｂが照明される（図５参照）。それにより、例えば試料９内の蛍光色素が発する波長λ２'（例えば、６００ｎｍ）の蛍光等の光が光学系２０を介して第２照明・撮像部４１に入射する。第２照明・撮像部４１は、試料９から入射する光をフィルタ（不図示）により照明光などのノイズとなる光から分離して不図示の撮像素子で検出することで試料９を撮像する。得られた撮像データは、第２顕微鏡画像データとして画像処理部６０に送信される。
　制御部５０は、入力部５１を有し、これから入力される指示に応じて本体部９９の構成各部、すなわちステージ系１０、光学系２０、第１顕微鏡装置３０、及び第２顕微鏡装置４０を制御する。制御部５０は、コンピュータ、マイクロコントローラ等を含む情報処理装置に、例えば不揮発性メモリ等の記憶装置或いはＣＤ－ＲＯＭ等の記録媒体に記憶された制御用プログラムを実行させることによって各機能部を発現し、制御装置として機能する。
　例えば、制御部５０は、観察する試料９の深さの変更の指示に応じて、試料９内の所定の深さ位置に焦点面２０ａが来るようにステージ１１を光軸方向に駆動する。また、制御部５０は、倍率変更の指示に応じて光学系２０を制御して、変更倍率に対応する対物レンズ２１ａ，２１ｂに切り替える。また、制御部５０は、第１及び第２照明・撮像部３１，４１を制御して、試料９を撮像する。
　入力部５１は、マウス、キーボード、タッチパネル等を有する。ユーザは、入力部５１を介して、例えば、顕微鏡による観察（単に、顕微鏡観察とも呼ぶ）、すなわち第１及び第２顕微鏡装置３０，４０による試料９の撮像を制御部５０に対して指示することができる。さらにユーザは入力部５１を介して、顕微鏡観察の条件（単に、観察条件とも呼ぶ）を設定すること、および、顕微鏡観察により得られる顕微鏡画像データを処理して新たな画像データを生成する指示をすることができる。
　画像処理部６０は、第１及び第２顕微鏡装置３０，４０により得られる顕微鏡画像データを処理する、或いは新たな画像データを生成する。画像処理部６０は、画像生成部６１及び画像出力部６２を含む。画像処理部６０は、コンピュータ、マイクロコントローラ等を含む情報処理装置に、例えば不揮発性メモリ等の記憶装置或いはＣＤ－ＲＯＭ等の記録媒体に記憶された画像処理プログラムを実行させることによって各機能部を発現し、画像処理装置として機能する。
　なお、画像処理部６０は、第１及び第２顕微鏡装置３０，４０により撮像された撮像画像をデータとして取り扱うので、以下において顕微鏡画像データ或いは単に画像データとも呼ぶが、顕微鏡画像データが示す情報は画像であるので、同じ参照番号を用いるとともに画像として図示する場合がある。また、複数の撮像画像がそれぞれ異なるデータにより示されることもあれば、１つのデータとして示されることもある。
　画像生成部６１は、第１及び第２顕微鏡装置３０，４０により得られた顕微鏡画像データに基づいて新たな画像データを生成する。この場合に、画像生成部６１は、第２顕微鏡装置４０で得られた第２顕微鏡画像データに基づいて、第２顕微鏡装置４０とは顕微鏡法の異なる第１顕微鏡装置３０で得られた第１顕微鏡画像データを処理して処理画像データを生成する。画像生成部６１は、第１及び第２顕微鏡装置３０，４０から受信した顕微鏡画像データ及び生成した処理画像データを記憶する。画像生成部６１による処理画像データの生成については後述する。
　画像出力部６２は、第１及び第２顕微鏡装置３０，４０により得られた顕微鏡画像データ及び／又は画像生成部６１により生成された処理画像データを処理して、表示部６３に出力する。それにより、少なくとも、第１顕微鏡画像データを処理して生成される処理画像データと第２顕微鏡画像データとの少なくとも一方の画像データが表示部６３へ出力される。
　表示部６３は、例えば、ＣＲＴ、液晶ディスプレイ、プラズマディスプレイ、有機ＥＬディスプレイ、及びプロジェクタ等の表示装置を有する。表示部６３は、第１顕微鏡画像データを処理して生成される処理画像データに基づく処理画像と、第２顕微鏡画像データに基づく第２顕微鏡画像との少なくとも一方の画像を画面上に表示する。
　また、表示部６３は、画像生成部６１により生成された処理画像データに基づく処理画像を、第１及び第２顕微鏡装置３０，４０により得られた顕微鏡画像データに基づく顕微鏡画像（すなわち、撮像画像）と区別して表示部６３に表示させる。ここで、画像出力部６２は、例えば、画像を囲む外枠を太くする、点滅する、彩色を変更するなどにより撮像画像と区別する。それにより、生成された画像と撮像された画像とを区別することができる。
　図３に、本実施形態に係る顕微鏡システム１００による顕微鏡観察及び画像処理のフローを示す。本例では、第１及び第２顕微鏡法としてそれぞれ相対的に低分解能な共焦点顕微鏡法及び高分解能なＳＴＯＲＭを採用して、試料９のＺスタック画像及びＳＴＯＲＭ画像をそれぞれ撮像する。
　ステップ１１０では、ユーザにより、第１及び第２観察条件が設定される。上記の通り本実施形態において第１及び第２観察条件のうち第１顕微鏡法および第２顕微鏡法はすでに設定されている。さらに、第１観察条件の撮像条件の一例として、対物レンズ２１ａを用いること、撮像するＸＹ面内の範囲、撮像におけるＺ軸上の基準位置Ｚ１、Ｚ軸に沿ったステップ量ΔＺ１、撮像する画像数Ｎ１が設定される。また、第２観察条件の撮像条件の一例として、第１観察条件とは異なる対物レンズ２１ｂを用いること、撮像するＸＹ面内の範囲、撮像におけるＺ軸上の基準位置Ｚ２、Ｚ軸に沿ったステップ量ΔＺ２、撮像する画像数Ｎ２が設定される。ユーザは観察条件を入力部５１を介して入力し、入力された条件は制御部５０に送信される。
　ユーザにより、ステージ１１上に試料９が支持され、入力部５１を介して顕微鏡観察の開始が指示されると、次のステップ１２０に進む。
　ステップ１２０では、第１及び第２顕微鏡装置３０，４０により試料９がそれぞれ独立に撮像される。
　図４に、第１顕微鏡装置３０による撮像状態を示す。制御部５０は、第１観察条件に従って、ステージ系１０、光学系２０、及び第１顕微鏡装置３０を操作する。制御部５０は、光学系２０を制御して、対物レンズ２１ｂ、シリンドリカルレンズ２５、結像光学系２６を光軸Ｌから退避するとともに、対物レンズ２１ａ及びスキャナ２３を光軸Ｌ上に配置する。また、制御部５０は、第１顕微鏡装置３０の第１照明・撮像部３１に対する照明条件を設定する。
　制御部５０は、試料９のＺ位置Ｚ１が対物レンズ２１ａを含む光学系２０の焦点面２０ａに位置するようにステージ系１０を駆動し、試料９の断面像を撮像する。
　第１顕微鏡装置３０は、第１照明・撮像部３１より波長λ１の照明光を出射し、光学系２０を介してステージ１１上の試料９を照明する。焦点上に位置する試料９の観察位置９ａが照明されることにより、試料９に含まれる蛍光色素が波長λ１'の蛍光を発する。蛍光は、光学系２０を介して集光され、第１照明・撮像部３１により撮像される。
　第１顕微鏡装置３０による試料９の照明及び蛍光の撮像と並行して、制御部５０は、スキャナ２３を制御して照明光をＸＹ方向に振ることにより、焦点面２０ａ上のＸＹ走査範囲内で試料９を走査する。それにより、第１顕微鏡装置３０で焦点面２０ａ上に位置する試料９の断面が撮像される。撮像結果は画像処理部６０に送られ、第１顕微鏡画像データとして画像生成部６１に記憶される。
　制御部５０は、Ｚ位置Ｚ１での試料９の撮像が終了すると、ステージ１１をＺ軸方向に駆動して、順次、Ｚ位置Ｚ１＋ｉΔＺ１（ｉ＝１～Ｎ１－１）を焦点面２０ａに位置させて、試料９を撮像する。第１顕微鏡装置３０は一連の撮像結果からＺスタック画像のデータを生成して画像処理部６０に送る。画像処理部６０はＺスタック画像のデータを第１顕微鏡画像データとして画像生成部６１に記憶する。
　第１顕微鏡装置３０により撮像が終了すると、制御部５０は、第２顕微鏡装置４０による試料９の撮像を開始する。
　図５に、第２顕微鏡装置４０による撮像状態を示す。制御部５０は、第２観察条件に従って、ステージ系１０、光学系２０、及び第２顕微鏡装置４０を操作する。制御部５０は、光学系２０を制御して、対物レンズ２１ａ及びスキャナ２３を光軸Ｌから退避するとともに、対物レンズ２１ｂ、シリンドリカルレンズ２５、及び結像光学系２６を光軸Ｌ上に配置する。また、制御部５０は、第２顕微鏡装置４０の第２照明・撮像部４１に対する照明条件を設定する。
　制御部５０は、光学系２０の焦点面２０ｂに試料９のＺ位置Ｚ２が来るようステージ系１０を駆動し、試料９を撮像する。
　ＳＴＯＲＭにおいて、第２顕微鏡装置４０は、第２照明・撮像部４１より照明光を発し、光学系２０を介してステージ１１上の試料９を照明する。ここで、第２顕微鏡装置４０は、焦点面２０ｂ上に位置する試料９の観察位置９ｂ内に含まれる蛍光色素に対して、励起光としての照明光（波長λ２）を照射して、活性化状態の蛍光色素のみの蛍光（波長λ２'）を発光させて、対物レンズ２１ｂ、シリンドリカルレンズ２５、及び結像光学系２６を介して検出し、蛍光画像を取得する。第２顕微鏡装置４０は、個々の蛍光色素の位置を特定する。上記ステップを複数繰り返し、特定された複数の蛍光色素の位置に特定の輝度値を割り当てることによりＳＴＯＲＭ画像を生成する。ＳＴＯＲＭ画像は、第２顕微鏡画像データとして画像生成部６１に記憶される。
　制御部５０は、試料９のＺ位置Ｚ２での撮像が終了すると、試料９の位置Ｚ２＋ｉΔＺ２（ｉ＝１～Ｎ２－１）を焦点面２０ｂに位置させるようにステージ１１をステップ駆動して、第２顕微鏡装置４０は、上記撮像および当該撮像に基づくＳＴＯＲＭ画像の生成を行う。
　図６に、第１及び第２顕微鏡装置３０，４０によりそれぞれ得られた第１及び第２顕微鏡画像データに含まれる画像の対応の一例を示す。図６に示す例において、第１顕微鏡画像データ（Ｚスタック画像）は、ステップ量ΔＺ１に等しい間隔で離間する試料９のＺ位置に対してそれぞれ得られた複数の画像６０１～６０３のデータである。画像６０１～６０３は焦点面からの距離に応じたボケを有している。第２顕微鏡画像データは、ＳＴＯＲＭ画像６２１，６２２のデータである。ＳＴＯＲＭ画像６２１，６２２は特定の輝度値が割り当てられた点で画像が再構築されているから、ボケは表れていない。また、ＳＴＯＲＭ画像６２１、６２２において、予め定められた三次元空間の範囲に当該特定の輝度値が割り当てられている。
　ステップ１３０では、第１及び第２顕微鏡装置３０，４０によりそれぞれ得られた第１及び第２顕微鏡画像データのうち、比較の対象となる画像（すなわち、処理画像）が選択される。画像処理部６０は、第１及び第２顕微鏡装置３０，４０によりそれぞれ得られた第１及び第２顕微鏡画像データを処理して、それぞれに含まれる撮像画像の一覧を表示部６３の画面上に表示する。ユーザは、入力部５１を介して、例えば、第１顕微鏡装置３０により得られた第１顕微鏡画像データにおける任意のＺ位置、一例として位置Ｚ０における画像６０３を選択する。
　ステップ１４０では、画像生成部６１により、第２顕微鏡画像データとしてのＳＴＯＲＭ画像のデータに基づいて、第１顕微鏡画像データを逆畳み込み演算（デコンボリューション）して処理画像データが生成される。ここでは、ステップ１３０において選択されたように、第１顕微鏡画像データ６０３から、第２顕微鏡装置４０より得られた情報を用いてＺ位置Ｚ０における画像６１１が生成される。
　逆畳み込み演算による画像６１１は、目的関数Ｌを最小化することで生成される。目的関数Ｌは、次の一般形において与えられる。
Figure JPOXMLDOC01-appb-M000001
 　ここで、右辺第１項はノイズ統計に関する誤差関数であり、第２項は正則化項である。正則化項は、正則化パラメータλｉを乗じて与えられる。各項は、第１顕微鏡画像データｇ、推定する画像（画像６１１）を表す画像データｆを用いて与えられる。なお、各画像データは、三次元空間（Ｘ，Ｙ，Ｚ）内に配列される各ピクセル（インデックスｊを用いて表す）での輝度値の集合として与えられている。
　誤差関数Ｅは、次のように与えることができる。第１顕微鏡装置３０の光学条件によって歪やボケを伴う像が観察される。よって、逆に、第１顕微鏡画像データｇは、推定する画像（画像データｆ）に第１顕微鏡装置３０の光学条件を適用した画像データｒ＝Ｈｆを導出することで再現することができることになる。ここで、光学条件として例えば第１顕微鏡装置３０の点拡がり関数ＰＳＦを使用して、行列Ｈを構築することとする。第１顕微鏡装置３０の点拡がり関数ＰＳＦは、例えば、光学系２０のＰＳＦ、照明パターンを表現する照明光学系のＰＳＦ、ピンホールのＰＳＦ、それらの積などが挙げられる。
　誤差関数Ｅは、第１顕微鏡画像データｇにおける主なノイズがポアソンノイズＰであると仮定すると、定数ｃを用いて次のように与えられる。
Figure JPOXMLDOC01-appb-M000002
 　なお、誤差関数Ｅは、重み付きガウス分布の形［式（３）］に近似する又はアンスコム変換を用いて近似することもできる。
Figure JPOXMLDOC01-appb-M000003
　正則化項は、ＳＴＯＲＭ画像の画素の輝度値に関する第１の項を含む。
Figure JPOXMLDOC01-appb-M000004
 　ここで、ｓｊは第２顕微鏡画像データすなわちＳＴＯＲＭ画像に基づく画素ｊの輝度値であり、ｓｊの集合ＳはＳＴＯＲＭで発光した複数の蛍光色素の位置を特定して特定の輝度値を割り当てることにより再構成されたものであるから、焦点面からの距離に応じたボケを有しない。従って、第１の項［式（４）］を採用することにより、デコンボリューションの効果を向上させた画像データｆを生成することができる。
　また、正則化項は、正値制約に関する第２の項を含む。
Figure JPOXMLDOC01-appb-M000005
 　ここで、εは小さい正の定数、β０は十分大きい正の定数である。
　さらに、正則化項は、蛍光分布の情報による正則化項等を含んでもよい。この正則化項は、試料９に依存して定める必要があり、例えば、境界が明確で階段状に変化する分布の場合、トータルバリエーション等を適用することができる。
　画像データｆは、目的関数Ｌを最小化することにより得られる。ここでは、一例として、Ｒｉｃｈａｒｄｓｏｎ－Ｌｕｃｙアルゴリズムを採用する。このアルゴリズムにおいて、第ｋ＋１ステップの画像データｆｋ＋１は、第ｋステップの画像データｆｋから次のように算出することができる。
Figure JPOXMLDOC01-appb-M000006
 　ここで、１はすべての要素が１のベクトルであり、∂ｆは汎関数微分であり、ベクトルの除算は対応する要素の除算を要素とするベクトル（例えば、ベクトルａ及びｂの除算ａ／ｂ＝（ａ１／ｂ２，ａ２／ｂ２，…，ａｊ／ｂｊ，…）を意味する。正則化項の汎関数微分は、次のように与えられる。
Figure JPOXMLDOC01-appb-M000007
Figure JPOXMLDOC01-appb-M000008
　画像生成部６１は、第零ステップの画像データｆ０を仮定し、これを第１顕微鏡画像データｇとともに式（６）に与えて順次、画像データｆｋを更新する。画像データｆｋが十分に収束するまで更新することで、画像データｆが生成される。生成された画像データｆは、処理画像データとして画像出力部６２に送信される。
　ステップ１５０では、画像出力部６２により、ステップ１４０にて処理画像データを、先にステップ１２０にて得られた第１顕微鏡画像データに統合して、一連の画像データに編集する。
　ステップ１６０では、表示部６３により、ステップ１５０にて編集された画像及びステップ１２０にて撮像された画像を画面上に表示する。それにより、画像出力部６２により一連の画像データに統合された画像、すなわちステップ１６０において生成された処理画像データに基づく処理画像とステップ１２０にて生成された第１顕微鏡画像データに基づく顕微鏡画像との少なくとも一方が、ステップ１２０にて生成された第２顕微鏡画像データに基づく顕微鏡画像とともに画面上に出力される。
　図７に、第１顕微鏡画像データを逆畳み込み計算して生成された処理画像の一例を示す。ここで、画像７０１は、第１顕微鏡画像の一例であり、画像７０２は、第１顕微鏡画像データから逆畳み込み演算により生成された処理画像の一例を示す。なお、説明の都合上、画像７０１、７０２において黒およびグレーの円はいずれも蛍光を撮像したものであって、黒よりもグレーの方が暗い像であることを示している。
　画像７０１では、ほぼ焦点が合っている像（図中の黒の円）と焦点から外れてボケている像（図中のグレーの円）とが混在している。これに対し、画像７０２では第２顕微鏡画像データであるボケの成分を有しないＳＴＯＲＭ画像データの情報を用いていて逆畳み込み演算をしているので、ボケの成分が低減して画像のＳ／Ｎ比（信号対雑音比）が向上している。これにより、例えば、画像７０１では一つの像に見えていたものが画像７０２では複数の像に分かれており、第１顕微鏡画像で見えていなかった微細な構造を観察することができる。第１顕微鏡画像で見えていなかった微細な構造が表れるという点で、第１顕微鏡画像より高解像の処理画像のデータが生成されたということもできる。
　図８に、第１及び第２顕微鏡装置３０，４０によりそれぞれ得られたＺスタック画像及びＳＴＯＲＭ画像を表示する表示部６３の表示画面６３ａの一例を示す。表示部６３は、表示画面６３ａの上段に第１及び第２顕微鏡装置並びにそれらの顕微鏡法、中段に第１及び第２顕微鏡画像データに含まれる対応するＺ位置に対する各１つの画像６３ｃ及び６３ｄ、下段にＺスタック画像及びＳＴＯＲＭ画像に関する情報（ＸＹ位置、Ｚ位置、焦点深度等）、それぞれの顕微鏡観察における撮像条件（基準位置Ｚ１，Ｚ２、ステップ量ΔＺ１，ΔＺ２、画像数Ｎ１，Ｎ２等）を表示する。ここで、表示部６３は、画像生成部６１により演算により生成された画像６３ｃを、撮像された画像等と視覚的に区別して表示する。本例では、画像６３ｃを囲む外枠が太く表示され、また画像６３ｃの近傍に計算されたことを意味する文字「演算」が表示されている。
　共焦点顕微鏡法を用いた第１顕微鏡画像データに基づく撮像画像にはボケている像が含まれているのに対し、第２顕微鏡画像データのＳＴＯＲＭ画像は蛍光色素の位置を特定して輝度値を割り当てることで像のボケがないので、そのままでは対比がしにくい。これに対し、本実施形態によれば、第２顕微鏡画像データに基づいて、第１顕微鏡画像データから逆畳み込み演算により、ボケの成分を低減し、Ｓ／Ｎを向上させた処理画像データを生成する。第１顕微鏡画像データのボケの程度を第２顕微鏡画像データに近づけることによって、異なる顕微鏡法による観察の結果を容易に対比することができる。
　なお、本実施形態に係る顕微鏡システム１００による顕微鏡観察では、ステップ１４０において、第１顕微鏡装置３０の点拡がり関数ＰＳＦを使用して行列Ｈを構築し、画像データｆを生成したが、これに代えて、第２顕微鏡装置４０の点拡がり関数ＰＳＦを使用して行列Ｈを構築し、画像データｆを生成してもよい。
　また、ステップ１４０において式（１）から式（８）を用いて処理画像データを生成する場合に、下記の通り、第２顕微鏡装置４０に関する収差情報をさらに用いてもよい。
　第２顕微鏡装置４０に関する収差情報は、第２顕微鏡装置４０で撮像される画像と、それに基づいて再構成される三次元蛍光画像を用いて算出される。ここで、蛍光は光学系２０を介して受光されるので、デフォーカスによるボケと収差による歪みを伴っている。そこで、画像生成部６１は、第２顕微鏡装置４０により得られる蛍光色素の位置の検出結果を、第２顕微鏡装置４０の点拡がり関数（ＰＳＦ）を用いて再現する。ここで、第１顕微鏡装置３０のＰＳＦは、具体的には、第１顕微鏡装置３０に含まれる光学部材に基づくＰＳＦであって、例えば、光学系２０のＰＳＦ、照明パターンを表現する照明光学系のＰＳＦ、ピンホールのＰＳＦ、それらの積などが挙げられる。
　点拡がり関数を表現する収差は、例えば、試料９での蛍光色素のＺ位置に応じて生じるインデックミスマッチ収差、シリンドリカルレンズ２５による非点収差、保持部材８の界面における残存収差等を含む。ここで、インデックミスマッチ収差は、試料９の屈折率が既知の場合、高精度に再現することができる。また、非点収差は、シリンドリカルレンズ２５の光学特性により既知である。そこで、これらの収差を点拡がり関数に取り込み、これを用いてノイズにともなう誤差を最小にするように輝点の収差を再現することで、輝点の位置が決定されるともに残存収差が算出される。このように再現されたインデックスミスマッチ収差及び算出された残存収差より、収差情報が構築される。
　算出された収差情報は、先述のステップ１４０において、第１顕微鏡画像データの逆畳み込み演算に取り込まれる。具体的には、画像データｒを導出するための行列Ｈを構築する点拡がり関数ＰＳＦとして、第２顕微鏡画像データから収差情報を算出する際に使用した点拡がり関数を使用し、この関数に算出された残存収差を取り込む。第零ステップの画像データｆ０を仮定し、これを第１顕微鏡画像データｇとともに式（６）に与えて画像データｆｋを十分に収束するまで更新する。それにより、第２顕微鏡装置４０の収差情報が第１顕微鏡画像データの逆畳み込み演算に取り込まれて、第１顕微鏡画像データから収差による像のボケと歪みが低減された画像データｆを生成することができる。第１顕微鏡画像データによる共焦点顕微鏡画像は像のボケと歪みを伴っているのに対して、第２顕微鏡画像データによるＳＴＯＲＭ画像は蛍光色素の位置を特定して輝度値を割り当てることで像のボケと歪が表れないので、そのままでは対比がしにくい。これに対し、本実施形態によれば、第１顕微鏡画像データから像のボケと歪みの両方を低減した処理画像データを生成するので、ボケと歪みの程度を第２顕微鏡画像データに近づけることによって、異なる顕微鏡法による観察の結果を容易に対比することができる。
　なお、本実施形態に係る顕微鏡システム１００による顕微鏡観察では、ステップ１４０において、第１顕微鏡画像データを逆畳み込み演算することにより画像データを生成することとしたが、ペアになる第１及び第２顕微鏡画像データが存在する場合、次の学習法により第１顕微鏡画像データから画像データを生成することとしてもよい。すなわち、与えられた第１及び第２顕微鏡画像データｇ，ｓをそれぞれ第１及び第２顕微鏡画像に対応する辞書Ｄｇ，Ｄｓを用いてベクトルαから再現するように、すなわち、ｇ＝Ｄｇα及びｓ＝Ｄｓαを満たすように辞書Ｄｇ，Ｄｓ及びベクトルαを決定することで、第１顕微鏡画像データｇから画像データＤｓＤｇ －１ｇを生成することができる。
　辞書Ｄｇ、Ｄｓは、定数γを用いて、次の目的関数Ｌを最小化することで決定される。
Figure JPOXMLDOC01-appb-M000009
 　また、第１及び第２顕微鏡画像データｇ，ｓがノイズを含む場合においても辞書Ｄｇ、Ｄｓを正確に決定するために、次のように目的関数ＬをＮ対の第１及び第２顕微鏡画像データｇｊ，ｓｊ（ｊ＝１～Ｎ）を用いて与えてもよい。
Figure JPOXMLDOC01-appb-M000010
　目的関数Ｌを最小化するように決定されたベクトルαは、次の２つの式を満たす。
Figure JPOXMLDOC01-appb-M000011
Figure JPOXMLDOC01-appb-M000012
 　ここで、ａｒｇｍｉｎα［Ｌ］は関数Ｌを最小にするようにベクトルαを決定する演算子である。式（１２）の右辺括弧内の第１項は誤差項、第２項はスパース正則化項、及びλは定数である。
　辞書Ｄｓは、２次計画法により、目的関数Ｌを最小化することにより（すなわち、次式より）決定することができる。
Figure JPOXMLDOC01-appb-M000013
 　例えば確率的勾配効果法を適用して式（１３）右辺を算出することで、辞書Ｄｇを決定することができる。確率的勾配効果法において、第ｋステップの辞書Ｄｇ （ｋ）から第ｋ＋１ステップの辞書Ｄｇ （ｋ＋１）は、学習率ηを用いて、次のように更新される。
Figure JPOXMLDOC01-appb-M000014
 　右辺第２項は、次式を用いて算出される。
Figure JPOXMLDOC01-appb-M000015
　辞書Ｄｇも、同様の手法により決定することができる。
　画像生成部６１は、第零ステップにおける辞書Ｄｇ （０），Ｄｓ （０）（及びベクトルα）を仮定し、これを第１及び第２顕微鏡画像データｇ，ｓとともに式（１４）等に与えて順次、辞書Ｄｇ （ｋ），Ｄｓ （ｋ）を更新する。辞書Ｄｇ （ｋ），Ｄｓ （ｋ）が十分に収束するまで更新することで、辞書Ｄｇ，Ｄｓが決定される。画像生成部６１は、決定された辞書Ｄｇ，Ｄｓを第１顕微鏡画像データｇに適用することで、目的の画像データＤｓＤｇ －１ｇを生成することができる。
　式（９）から式（１５）を用いた方法によれば、ノイズを適切に表現する関数を仮定しなくても、第２顕微鏡画像データであるＳＴＯＲＭ画像に含まれる情報を用いて、第１顕微鏡画像から像のボケや歪を低減させた処理画像データを生成することができる。よって、簡便な方法で第１顕微鏡画像データのボケや歪の程度をＳＴＯＲＭ画像に近づけることにより、異なる顕微鏡法による撮像結果の対比を容易にすることができる。
　なお、本実施形態に係る顕微鏡システム１００による顕微鏡観察では、低分解能な第１顕微鏡装置３０により得られた顕微鏡画像データから、高分解能な第２顕微鏡装置４０より得られた顕微鏡画像データの情報を用いて画像データを生成したが、これに代えて又はこれとともに、高分解能な第２顕微鏡装置４０より得られた顕微鏡画像データから低分解能な第１顕微鏡装置３０により得られた顕微鏡画像データの情報を用いた画像データを生成してもよい。斯かる場合、ステップ１３０において、ユーザは、例えば、第２顕微鏡装置４０により得られた第２顕微鏡画像データ６２２から、選択されたＺ位置（位置Ｚ０）及び例えば第１顕微鏡装置３０による撮像の際に使用された対物レンズ２１ａの焦点深度に対応する画像６３１を生成することを選択する。
　画像生成部６１は、第２顕微鏡画像データから、対物レンズ２１ａの焦点深度の範囲内にある、高い輝度値が割り当てられた点をＺ軸方向に重ねる、或いはＸＹ平面に投影することで対応画像データを生成する。斯かる場合に、Ｚ位置に応じて異なる色彩を用いて処理画像データを生成してもよい。
　図９に、生成された処理画像の一例を示す。ここで、画像９０１は、第２顕微鏡画像データにおける対物レンズ２１ａの焦点深度の範囲内にある、高い輝度値が割り当てられた点をＺ軸方向に重ねることで求められた処理画像である。第２顕微鏡画像データがＳＴＯＲＭ画像データなので、任意のＺ位置と、当該Ｚ位置を中心とするＺ軸に沿った任意の範囲を切り出すことができる。よって、共焦点顕微鏡法を用いた第１顕微鏡画像データの焦点深度に対応した処理画像を容易に生成することができ、対比を容易にすることができる。
　なお、ステップ２６０において、第２顕微鏡画像データから、対物レンズ２１ａの焦点深度の範囲内にある高い輝度値が割り当てられた点をＺ軸方向に重ねて対応画像データを生成することに代えて、下記の通り、第１顕微鏡装置３０に関する光学条件に基づいて、第２顕微鏡画像データ（ＳＴＯＲＭ画像）を畳み込み演算（コンボリューション）して画像データを生成してもよい。画像６３１（関数Ｉを用いて表す）は、第２顕微鏡画像データＯ及び点拡がり関数ＰＳＦを用いて、次のように算出することができる。
Figure JPOXMLDOC01-appb-M000016
 　ただし、第２顕微鏡画像データＯは、図６より分かるように、予め設定された三次元空間（Ｘ，Ｙ，Ｚ）において特定の輝度値が割り当てられた点の分布として得られている。なお、第２顕微鏡画像データＯは、離散的なＸ，Ｙ，Ｚ座標に関する輝度値の集合であるが、ここでは便宜上、座標Ｘ，Ｙ，Ｚに関する関数として表している。
　ここで、点拡がり関数ＰＳＦは位置に依存しない関数により近似できるとすると、式（１６）は次のように書き換えることができる。
Figure JPOXMLDOC01-appb-M000017
 　ただし、点拡がり関数ＰＳＦとして第１顕微鏡装置３０のＰＳＦを用い、かつ、対物レンズ２１ａの焦点深度に対応する深さ範囲について第２顕微鏡画像データＯを畳み込み演算する。第１顕微鏡装置３０のＰＳＦは例えば、光学系２０のＰＳＦ、照明パターンを表現する照明光学系のＰＳＦ、ピンホールのＰＳＦ、それらの積などが挙げられる。
　式（１７）の右辺は、離散フーリエ変換を用いて演算することができる。画像生成部６１は、第２顕微鏡画像データＯ及び点拡がり関数ＰＳＦをそれぞれ離散フーリエ変換し、それぞれのフーリエ変換の積を逆離散フーリエ変換することで右辺を演算する。
　図９に、画像９０２は、式（１７）で算出された処理画像の一例を示す。画像９０２では、第２顕微鏡画像データを点拡がり関数ＰＳＦを用いた式（６）により畳み込み演算することで、第１顕微鏡画像データに含まれているボケの成分が取り込まれて、画像のＳ／Ｎ比が第１顕微鏡画像データに近いものとなっている。第２顕微鏡データによるＳＴＯＲＭ画像はＳ／Ｎ比が高いので、ボケの成分等によりＳ／Ｎ比が相対的に低い第１顕微鏡画像データによる共焦点顕微鏡法の画像とは比較がしにくい。これに対し、本実施形態によれば、ＳＴＯＲＭ画像の画質のＳ／Ｎ比を共焦点顕微鏡法の画像のＳ／Ｎ比に近づけるので、異なる顕微鏡法で得られた画像データを容易に対比することができる。
　上述のとおり画像生成部６１により画像６３１が生成されると、画像出力部６２により画像６３１の画像データが表示部６３に送信され、表示部６３により、生成された画像６３１がステップ１２０にて生成された第１顕微鏡画像データに基づく顕微鏡画像とともに画面上に出力される。
　なお、上述の畳み込み演算（コンボリューション）による画像データの生成では、第１顕微鏡装置３０に関する光学条件、すなわち第１顕微鏡装置３０の点拡がり関数を適用して第２顕微鏡画像データを畳み込み演算することとしたが、これに代えて、第２顕微鏡装置４０に関する光学条件、すなわち第２顕微鏡装置４０の点拡がり関数を適用して第２顕微鏡画像データを畳み込み演算してもよい。さらに、点拡がり関数に、第２顕微鏡装置４０に関する収差情報（例えば、残存収差等）或いは第１顕微鏡装置３０の収差情報（ただし、既知の場合）を取り込んで、光学系２０（対物レンズ）の焦点深度に対応するＺ範囲について第２顕微鏡画像データを畳み込み演算することとしてもよい。収差情報を取り込むことで、収差による像の歪みの成分を第２顕微鏡画像データに加えて、第２顕微鏡画像データに基づくＳＴＯＲＭ画像の画質のＳ／Ｎ比をさらに第１顕微鏡画像データの共焦点顕微鏡法の画像のＳ／Ｎ比に近づけるので、互いの画像データをより容易に対比することができる。
　なお、本実施形態に係る顕微鏡システム１００による顕微鏡観察では、ステップ１２０において第１顕微鏡装置３０により試料９の複数のＺ位置を撮像してＺスタック画像（例えば、画像６０１～６０３）を生成したが、試料９の１つのＺ位置のみを撮像してもよい。同様に、ステップ１２０において第２顕微鏡装置４０により試料の複数のＺ位置を撮像してＳＴＯＲＭ画像（画像６２１，６２２）を生成したが、試料９の１つのＺ位置のみを撮像してＳＴＯＲＭ画像を生成してもよい。
　なお、本実施形態に係る顕微鏡システム１００による顕微鏡観察では、ステップ１３０においてユーザが比較の対象となる画像を選択することとしたが、これに代えて或いはこれとともに画像処理部６０（画像生成部６１）が画像を自動的に選択することとしてもよい。斯かる場合、撮像条件、特に第１及び第２観察条件に含まれる使用する対物レンズ２１ａ，２１ｂの焦点深度、Ｚ軸の基準位置、Ｚ軸方向のステップ量、撮像する画像数等から画像を選択することができる。
　なお、本実施形態に係る顕微鏡システム１００では、第１及び第２顕微鏡装置３０，４０により個別に試料９を撮像することとしたが、第１及び第２顕微鏡装置３０，４０のそれぞれが別個のステージおよび光学系を専用で有していて、同一の試料を個別に撮像してもよい。斯かる場合、試料を保持する保持部材８上に試料に近接してマーカを設け、それぞれの顕微鏡装置により試料を観察する際にマーカを基準に試料の位置を決定することで、互いに等しい範囲について試料を撮像することができる。
　なお、本実施形態に係る顕微鏡システム１００において、画像処理部６０は、第１及び第２顕微鏡装置３０，４０で得られる顕微鏡画像データに限らず、顕微鏡システム１００とは別個の顕微鏡装置により得られる画像データを処理してもよい。また、画像出力部６２により、顕微鏡システム１００により得られた顕微鏡画像データを処理して、顕微鏡システム１００とは別個の顕微鏡装置により撮像された顕微鏡画像と顕微鏡システム１００により撮像された顕微鏡画像とを表示部６３の画面上に並べて又は重ねて表示してもよい。
　なお、本実施形態に係る顕微鏡システム１００において、第１及び第２照明・撮像部３１，４１の撮像素子は、電荷結合素子（ＣＣＤ）、ＣＭＯＳ等であってよく、また、撮像素子に代えて光電子増倍管（ＰＭＴ）等の受光素子であってよい。また、受光する光の波長に応じて適当な素子を採用してよい。
　なお、本実施形態に係る顕微鏡システム１００では、第１及び第２顕微鏡装置３０，４０の顕微鏡法として共焦点顕微鏡法及びＳＴＯＲＭ（確率論的光学再構成法）を採用したが、これに限らず、ＰＥＴ（陽電子断層法）、ＭＲＩ（磁気共鳴画像法）、ＣＴ（コンピュータ断層撮影法）、実体蛍光、落射蛍光、ＳＩＭ（構造化照明顕微鏡法）、ＰＡＬＭ（光活性化局在法）、ＳＴＥＤ（誘導放出制御法）、電子顕微鏡法、原子間力顕微鏡法等のうちの任意の顕微鏡法をそれぞれ採用してもよい。また、本実施形態に係る顕微鏡システム１００は、２つの顕微鏡法をそれぞれ採用する２つの顕微鏡装置を備えることとしたが、これに限らず、３以上の顕微鏡法をそれぞれ採用する３以上の顕微鏡装置を備えてもよい。また、同じ顕微鏡法をそれぞれ採用する少なくとも２つの顕微鏡装置を備えてもよい。
　なお、本実施形態に係る顕微鏡システム１００では、試料９を支持するステージ１１をＺ軸方向に駆動することで、対物レンズ２１ａ，２１ｂの焦点に対して試料９を移動する構成を採用したが、これに代えて、対物レンズ２１ａ，２１ｂを支持するレボルバ２２をＺ軸方向に駆動する、或いは光学系２０の光軸Ｌ上に屈折力を有する光学素子を配置し、光軸Ｌに平行な方向に移動することで、対物レンズ２１ａ，２１ｂの焦点に対して試料９を移動する構成を採用してもよい。
　なお、本実施形態に係る顕微鏡システム１００では、第１及び第２照明・撮像部３１，４１から照明光を射出する又は止めることで第１及び第２顕微鏡装置３０，４０を稼働又は停止することとしたが、光学系２０の光軸Ｌ上に例えばダイクロイックミラー等のフィルタを配置又は退避し、照明光を光学系２０に送る又は送らないことで、第１及び第２顕微鏡装置３０，４０を稼働又は停止することとしてもよい。
　なお、本実施形態に係る顕微鏡システム１００では、対物レンズ２１ａ，２１ｂが試料９を支持するステージ１１の下方に配置され、試料９を下側から観察する倒立型の顕微鏡システムを採用したが、これに代えて、対物レンズ２１ａ，２１ｂがステージ１１の上方に配置され、試料９を上側から観察する正立型の顕微鏡システムを採用してもよい。また、顕微鏡装置毎に、倒立型及び正立型のいずれを採用してもよい。
　本実施形態では、第１顕微鏡装置３０で用いる蛍光色素と第２顕微鏡装置４０で用いる蛍光色素との２色の蛍光色素が導入されているが、第１顕微鏡装置３０と第２顕微鏡装置４０とで同じ蛍光色素を用いてもよいし、３色以上の蛍光色素を用いてもよい。また、第１顕微鏡装置３０と第２顕微鏡装置４０の一方または両方が、蛍光色素を用いず、自家蛍光や落射照明により試料９を撮像してもよい。
　なお、本実施形態では図８に示すように、第１顕顕微鏡画像または処理画像と、第２顕微鏡画像とが並べて表示部６３に表示される。表示の方法はこれに限られず、処理画像が単独で表示されてもよい。ステップＳ１４０で逆畳み込み演算された処理画像は、もとの顕微鏡画像では見えていなかった微細な構造が表れるので、処理画像を表示することより、試料９の詳細な情報を提供することができる。また、ステップ２６０で畳み込み演算された処理画像にはボケが付加されるので、処理画像を表示することにより遠近感のある画像を提供することができる。なお、第１顕顕微鏡画像、処理画像、第２顕微鏡画像の任意の組み合わせが表示されてもよい。
　本発明の様々な実施形態は、フローチャートおよびブロック図を参照して記載されてよく、ここにおいてブロックは、（１）操作が実行されるプロセスの段階または（２）操作を実行する役割を持つ装置のセクションを表わしてよい。特定の段階およびセクションが、専用回路、コンピュータ可読媒体上に格納されるコンピュータ可読命令と共に供給されるプログラマブル回路、および／またはコンピュータ可読媒体上に格納されるコンピュータ可読命令と共に供給されるプロセッサによって実装されてよい。専用回路は、デジタルおよび／またはアナログハードウェア回路を含んでよく、集積回路（ＩＣ）および／またはディスクリート回路を含んでよい。プログラマブル回路は、論理ＡＮＤ、論理ＯＲ、論理ＸＯＲ、論理ＮＡＮＤ、論理ＮＯＲ、および他の論理操作、フリップフロップ、レジスタ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、プログラマブルロジックアレイ（ＰＬＡ）等のようなメモリ要素等を含む、再構成可能なハードウェア回路を含んでよい。
　コンピュータ可読媒体は、適切なデバイスによって実行される命令を格納可能な任意の有形なデバイスを含んでよく、その結果、そこに格納される命令を有するコンピュータ可読媒体は、フローチャートまたはブロック図で指定された操作を実行するための手段を作成すべく実行され得る命令を含む、製品を備えることになる。コンピュータ可読媒体の例としては、電子記憶媒体、磁気記憶媒体、光記憶媒体、電磁記憶媒体、半導体記憶媒体等が含まれてよい。コンピュータ可読媒体のより具体的な例としては、フロッピー（登録商標）ディスク、ディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリメモリ（ＥＰＲＯＭまたはフラッシュメモリ）、電気的消去可能プログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、コンパクトディスクリードオンリメモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、ブルーレイ（ＲＴＭ）ディスク、メモリスティック、集積回路カード等が含まれてよい。
　コンピュータ可読命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、またはＳｍａｌｌｔａｌｋ、ＪＡＶＡ（登録商標）、Ｃ＋＋等のようなオブジェクト指向プログラミング言語、および「Ｃ」プログラミング言語または同様のプログラミング言語のような従来の手続型プログラミング言語を含む、１または複数のプログラミング言語の任意の組み合わせで記述されたソースコードまたはオブジェクトコードのいずれかを含んでよい。
　コンピュータ可読命令は、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサまたはプログラマブル回路に対し、ローカルにまたはローカルエリアネットワーク（ＬＡＮ）、インターネット等のようなワイドエリアネットワーク（ＷＡＮ）を介して提供され、フローチャートまたはブロック図で指定された操作を実行するための手段を作成すべく、コンピュータ可読命令を実行してよい。プロセッサの例としては、コンピュータプロセッサ、処理ユニット、マイクロプロセッサ、デジタル信号プロセッサ、コントローラ、マイクロコントローラ等を含む。
　図１０は、本発明の複数の態様が全体的または部分的に具現化されてよいコンピュータ２２００の例を示す。コンピュータ２２００にインストールされたプログラムは、コンピュータ２２００に、本発明の実施形態に係る装置に関連付けられる操作または当該装置の１または複数のセクションとして機能させることができ、または当該操作または当該１または複数のセクションを実行させることができ、および／またはコンピュータ２２００に、本発明の実施形態に係るプロセスまたは当該プロセスの段階を実行させることができる。そのようなプログラムは、コンピュータ２２００に、本明細書に記載のフローチャートおよびブロック図のブロックのうちのいくつかまたはすべてに関連付けられた特定の操作を実行させるべく、ＣＰＵ２２１２によって実行されてよい。
　本実施形態によるコンピュータ２２００は、ＣＰＵ２２１２、ＲＡＭ２２１４、グラフィックコントローラ２２１６、およびディスプレイデバイス２２１８を含み、それらはホストコントローラ２２１０によって相互に接続されている。コンピュータ２２００はまた、通信インタフェース２２２２、ハードディスクドライブ２２２４、ＤＶＤ－ＲＯＭドライブ２２２６、およびＩＣカードドライブのような入／出力ユニットを含み、それらは入／出力コントローラ２２２０を介してホストコントローラ２２１０に接続されている。コンピュータはまた、ＲＯＭ２２３０およびキーボード２２４２のようなレガシの入／出力ユニットを含み、それらは入／出力チップ２２４０を介して入／出力コントローラ２２２０に接続されている。
　ＣＰＵ２２１２は、ＲＯＭ２２３０およびＲＡＭ２２１４内に格納されたプログラムに従い動作し、それにより各ユニットを制御する。グラフィックコントローラ２２１６は、ＲＡＭ２２１４内に提供されるフレームバッファ等またはそれ自体の中にＣＰＵ２２１２によって生成されたイメージデータを取得し、イメージデータがディスプレイデバイス２２１８上に表示されるようにする。
　通信インタフェース２２２２は、ネットワークを介して他の電子デバイスと通信する。ハードディスクドライブ２２２４は、コンピュータ２２００内のＣＰＵ２２１２によって使用されるプログラムおよびデータを格納する。ＤＶＤ－ＲＯＭドライブ２２２６は、プログラムまたはデータをＤＶＤ－ＲＯＭ２２０１から読み取り、ハードディスクドライブ２２２４にＲＡＭ２２１４を介してプログラムまたはデータを提供する。ＩＣカードドライブは、プログラムおよびデータをＩＣカードから読み取り、および／またはプログラムおよびデータをＩＣカードに書き込む。
　ＲＯＭ２２３０はその中に、アクティブ化時にコンピュータ２２００によって実行されるブートプログラム等、および／またはコンピュータ２２００のハードウェアに依存するプログラムを格納する。入／出力チップ２２４０はまた、様々な入／出力ユニットをパラレルポート、シリアルポート、キーボードポート、マウスポート等を介して、入／出力コントローラ２２２０に接続してよい。
　プログラムが、ＤＶＤ－ＲＯＭ２２０１またはＩＣカードのようなコンピュータ可読媒体によって提供される。プログラムは、コンピュータ可読媒体から読み取られ、コンピュータ可読媒体の例でもあるハードディスクドライブ２２２４、ＲＡＭ２２１４、またはＲＯＭ２２３０にインストールされ、ＣＰＵ２２１２によって実行される。これらのプログラム内に記述される情報処理は、コンピュータ２２００に読み取られ、プログラムと、上記様々なタイプのハードウェアリソースとの間の連携をもたらす。装置または方法が、コンピュータ２２００の使用に従い情報の操作または処理を実現することによって構成されてよい。
　例えば、通信がコンピュータ２２００および外部デバイス間で実行される場合、ＣＰＵ２２１２は、ＲＡＭ２２１４にロードされた通信プログラムを実行し、通信プログラムに記述された処理に基づいて、通信インタフェース２２２２に対し、通信処理を命令してよい。通信インタフェース２２２２は、ＣＰＵ２２１２の制御下、ＲＡＭ２２１４、ハードディスクドライブ２２２４、ＤＶＤ－ＲＯＭ２２０１、またはＩＣカードのような記録媒体内に提供される送信バッファ処理領域に格納された送信データを読み取り、読み取られた送信データをネットワークに送信し、またはネットワークから受信された受信データを記録媒体上に提供される受信バッファ処理領域等に書き込む。
　また、ＣＰＵ２２１２は、ハードディスクドライブ２２２４、ＤＶＤ－ＲＯＭドライブ２２２６（ＤＶＤ－ＲＯＭ２２０１）、ＩＣカード等のような外部記録媒体に格納されたファイルまたはデータベースの全部または必要な部分がＲＡＭ２２１４に読み取られるようにし、ＲＡＭ２２１４上のデータに対し様々なタイプの処理を実行してよい。ＣＰＵ２２１２は次に、処理されたデータを外部記録媒体にライトバックする。
　様々なタイプのプログラム、データ、テーブル、およびデータベースのような様々なタイプの情報が記録媒体に格納され、情報処理を受けてよい。ＣＰＵ２２１２は、ＲＡＭ２２１４から読み取られたデータに対し、本開示の随所に記載され、プログラムの命令シーケンスによって指定される様々なタイプの操作、情報処理、条件判断、条件分岐、無条件分岐、情報の検索／置換等を含む、様々なタイプの処理を実行してよく、結果をＲＡＭ２２１４に対しライトバックする。また、ＣＰＵ２２１２は、記録媒体内のファイル、データベース等における情報を検索してよい。例えば、各々が第２の属性の属性値に関連付けられた第１の属性の属性値を有する複数のエントリが記録媒体内に格納される場合、ＣＰＵ２２１２は、第１の属性の属性値が指定される、条件に一致するエントリを当該複数のエントリの中から検索し、当該エントリ内に格納された第２の属性の属性値を読み取り、それにより予め定められた条件を満たす第１の属性に関連付けられた第２の属性の属性値を取得してよい。
　上で説明したプログラムまたはソフトウェアモジュールは、コンピュータ２２００上またはコンピュータ２２００近傍のコンピュータ可読媒体に格納されてよい。また、専用通信ネットワークまたはインターネットに接続されたサーバーシステム内に提供されるハードディスクまたはＲＡＭのような記録媒体が、コンピュータ可読媒体として使用可能であり、それによりプログラムを、ネットワークを介してコンピュータ２２００に提供する。
　以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、請求の範囲の記載から明らかである。
　請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
　８…保持部材、９…試料、９ａ…観察位置、１０…ステージ系、１１…ステージ、１１ａ…開口、１２…センサ、１３…駆動装置、２０…光学系、２０ａ，２０ｂ…焦点面、２１ａ，２１ｂ…対物レンズ、２２…レボルバ、２３…スキャナ、２４…フィルタ、２５…シリンドリカルレンズ、２６…結像光学系、３０…第１顕微鏡装置、３１…第１照明・撮像部、４０…第２顕微鏡装置、４１…第２照明・撮像部、５０…制御部、５１…入力部、６０…画像処理部、６１…画像生成部、６２…画像出力部、６３ａ…表示画面、６３…表示部、６３ｃ，６３ｄ…画像、９９…本体部、１００…顕微鏡システム、６０１～６０３，６１１…画像、６２１，６２２，６３１…画像、７０１，７０２…画像、９０１，９０２…画像、２２００…コンピュータ、２２０１…ＲＯＭ、２２１０…ホストコントローラ、２２１２…ＣＰＵ、２２１４…ＲＡＭ、２２１６…グラフィックコントローラ、２２１８…ディスプレイデバイス、２２２０…出力コントローラ、２２２２…通信インタフェース、２２２４…ハードディスクドライブ、２２２６…ＲＯＭドライブ、２２３０…ＲＯＭ、２２４０…出力チップ、２２４２…キーボード。

Claims (20)

  1. 　第１顕微鏡で得られた第１顕微鏡画像データを、前記第１顕微鏡とは顕微鏡法の異なる第２顕微鏡で得られた第２顕微鏡画像データに基づいて処理し、処理画像データを生成する画像生成部と、
    　前記処理画像データと前記第２顕微鏡画像データとの少なくとも一方の画像データを出力する画像出力部と、
    を含む画像処理装置。
  2. 　前記第２顕微鏡画像データに基づく第２顕微鏡画像は、前記第１顕微鏡画像データに基づく第１顕微鏡画像よりも分解能が高い、請求項１に記載の画像処理装置。
  3. 　前記画像生成部は、前記第２顕微鏡画像データに基づいて、前記第１顕微鏡画像データを逆畳み込み演算して前記処理画像データを生成する、請求項１又は２に記載の画像処理装置。
  4. 　前記画像生成部は、前記第２顕微鏡に関する収差情報と前記第２顕微鏡画像データとに基づいて、前記第１顕微鏡画像データを逆畳み込み演算して前記処理画像データを生成する、請求項３に記載の画像処理装置。
  5. 　前記画像生成部は、前記第１顕微鏡に関する光学条件に基づいて、前記第２顕微鏡画像データを畳み込み演算して別の処理画像データを生成し、
    　前記画像出力部は、前記別の処理画像データと前記第１顕微鏡画像データとの少なくとも一方のデータを出力する、
    請求項１から４のいずれか一項に記載の画像処理装置。
  6. 　前記画像生成部は、前記第２顕微鏡に関する収差情報と、前記第１顕微鏡に関する光学条件に基づいて、前記第２顕微鏡画像データを畳み込み演算して前記別の処理画像データを生成する、請求項５に記載の画像処理装置。
  7. 　前記処理画像データに基づく処理画像と、前記第２顕微鏡画像データに基づく第２顕微鏡画像との少なくとも一方の画像を表示する表示部をさらに含む、請求項１から５のいずれか一項に記載の画像処理装置。
  8. 　前記別の処理画像データに基づく別の処理画像と、前記第１顕微鏡画像データに基づく第１顕微鏡画像と、前記処理画像データに基づく処理画像と、前記第２顕微鏡画像データに基づく第２顕微鏡画像との少なくとも１つの画像を表示する表示部をさらに含む、請求項６に記載の画像処理装置。
  9. 　前記第２顕微鏡はローカリゼーション顕微鏡を含む、請求項１から８のいずれか一項に記載の画像処理装置。
  10. 　第１顕微鏡と、
    　第２顕微鏡と、
    　請求項１から９のいずれか一項に記載の画像処理装置と、
    を備える顕微鏡システム。
  11. 　第１顕微鏡で得られた第１顕微鏡画像データを、前記第１顕微鏡とは顕微鏡法の異なる第２顕微鏡で得られた第２顕微鏡画像データに基づいて処理し、処理画像データを生成し、
    　前記処理画像データと前記第２顕微鏡画像データとの少なくとも一方の画像データを出力する、
    画像処理方法。
  12. 　前記第２顕微鏡画像データに基づく第２顕微鏡画像は、前記第１顕微鏡画像データに基づく第１顕微鏡画像よりも分解能が高い、請求項１１に記載の画像処理方法。
  13. 　前記生成において、前記第２顕微鏡画像データに基づいて、前記第１顕微鏡画像データを逆畳み込み演算して前記処理画像データを生成する、請求項１１又は１２に記載の画像処理方法。
  14. 　前記生成において、前記第２顕微鏡に関する収差情報と前記第２顕微鏡画像データとに基づいて、前記第１顕微鏡画像データを逆畳み込み演算して前記処理画像データを生成する、請求項１３に記載の画像処理方法。
  15. 　前記生成において、前記第１顕微鏡に関する光学条件に基づいて、前記第２顕微鏡画像データを畳み込み演算して別の処理画像データを生成し、
    　前記出力において、前記別の処理画像データと前記第１顕微鏡画像データとの少なくとも一方のデータを出力する、
    請求項１１から１４のいずれか一項に記載の画像処理方法。
  16. 　前記生成において、前記第２顕微鏡に関する収差情報と、前記第１顕微鏡に関する光学条件に基づいて、前記第２顕微鏡画像データを畳み込み演算して前記別の処理画像データを生成する、請求項１５に記載の画像処理方法。
  17. 　前記処理画像データに基づく処理画像と、前記第２顕微鏡画像データに基づく第２顕微鏡画像との少なくとも一方の画像を表示する段階をさらに含む、請求項１１から１５のいずれか一項に記載の画像処理方法。
  18. 　さらに、前記別の処理画像データに基づく別の処理画像と、前記第１顕微鏡画像データに基づく第１顕微鏡画像と、前記処理画像データに基づく処理画像と、前記第２顕微鏡画像データに基づく第２顕微鏡画像との少なくとも１つの画像を表示する、請求項１６に記載の画像処理方法。
  19. 　前記第２顕微鏡はローカリゼーション顕微鏡を含む、請求項１１から１８のいずれか一項に記載の画像処理方法。
  20. 　第１顕微鏡で得られた第１顕微鏡画像データを、前記第１顕微鏡とは顕微鏡法の異なる第２顕微鏡で得られた第２顕微鏡画像データに基づいて処理し、処理画像データを生成する手順と、
    　前記処理画像データと前記第２顕微鏡画像データとの少なくとも一方の画像データを出力する手順と、
    をコンピュータに実行させるプログラム。
PCT/JP2017/001290 2017-01-16 2017-01-16 画像処理装置、顕微鏡システム、画像処理方法、及びプログラム WO2018131173A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018561783A JPWO2018131173A1 (ja) 2017-01-16 2017-01-16 画像処理装置、顕微鏡システム、画像処理方法、及びプログラム
PCT/JP2017/001290 WO2018131173A1 (ja) 2017-01-16 2017-01-16 画像処理装置、顕微鏡システム、画像処理方法、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/001290 WO2018131173A1 (ja) 2017-01-16 2017-01-16 画像処理装置、顕微鏡システム、画像処理方法、及びプログラム

Publications (1)

Publication Number Publication Date
WO2018131173A1 true WO2018131173A1 (ja) 2018-07-19

Family

ID=62839921

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/001290 WO2018131173A1 (ja) 2017-01-16 2017-01-16 画像処理装置、顕微鏡システム、画像処理方法、及びプログラム

Country Status (2)

Country Link
JP (1) JPWO2018131173A1 (ja)
WO (1) WO2018131173A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002536696A (ja) * 1999-02-14 2002-10-29 アーロン・ルイス 走査プローブデータを用いた遠視野像の逆畳み込み演算
JP2014089311A (ja) * 2012-10-30 2014-05-15 Nikon Corp 顕微鏡装置及び画像形成方法
JP2015125177A (ja) * 2013-12-25 2015-07-06 ソニー株式会社 顕微鏡システムおよびその画像データ転送方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002536696A (ja) * 1999-02-14 2002-10-29 アーロン・ルイス 走査プローブデータを用いた遠視野像の逆畳み込み演算
JP2014089311A (ja) * 2012-10-30 2014-05-15 Nikon Corp 顕微鏡装置及び画像形成方法
JP2015125177A (ja) * 2013-12-25 2015-07-06 ソニー株式会社 顕微鏡システムおよびその画像データ転送方法

Also Published As

Publication number Publication date
JPWO2018131173A1 (ja) 2019-12-12

Similar Documents

Publication Publication Date Title
Peng et al. Virtual finger boosts three-dimensional imaging and microsurgery as well as terabyte volume image visualization and analysis
JP6947841B2 (ja) 病理学用の拡張現実顕微鏡
CN110214290B (zh) 显微光谱测量方法和系统
JP5185151B2 (ja) 顕微鏡観察システム
JP5996334B2 (ja) 顕微鏡システム、標本画像生成方法及びプログラム
JP5747690B2 (ja) 顕微鏡装置及び画像形成方法
US9229213B2 (en) Coincident focus microscope having superior resolution and contrast in three dimensions
Eberle et al. Mission (im) possible–mapping the brain becomes a reality
Antonello et al. Optimization-based wavefront sensorless adaptive optics for multiphoton microscopy
JP2024019639A (ja) 顕微鏡システム、プログラム、及び、投影画像生成方法
US10551609B2 (en) Microscope and method for generating 3D images of a collection of samples
EP3988988A1 (en) Microscope system, projection unit, and image projection method
McGregor et al. Post-processing strategies in image scanning microscopy
JP6131568B2 (ja) 顕微鏡装置及び画像形成方法
Zhao et al. Faster super-resolution imaging with auto-correlation two-step deconvolution
Albrecht et al. Spatially modulated illumination microscopy: online visualization of intensity distribution and prediction of nanometer precision of axial distance measurements by computer simulations
WO2018131173A1 (ja) 画像処理装置、顕微鏡システム、画像処理方法、及びプログラム
JP2021184264A (ja) 画像処理装置、顕微鏡システム、画像処理方法、及びプログラム
EP4014198B1 (en) Sample imaging via two-pass light-field reconstruction
Matula et al. Acquiarium: free software for the acquisition and analysis of 3D images of cells in fluorescence microscopy
Ovesný Computational methods in single molecule localization microscopy
Backová Bioinformatical analysis of the complex multidimensional microscopy datasets
US20240004179A1 (en) Sample manipulation device and method
Gahm Multi-Parametric Fluorescence Computational Microscopy
Yemc The Effects of Super-Resolution Microscopy on Colocalization Conclusions Previously Made with Diffraction-Limited Systems in the Biomedical Sciences

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17891138

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018561783

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17891138

Country of ref document: EP

Kind code of ref document: A1