WO2021256429A1 - 試料観察装置及び試料観察方法 - Google Patents

試料観察装置及び試料観察方法 Download PDF

Info

Publication number
WO2021256429A1
WO2021256429A1 PCT/JP2021/022547 JP2021022547W WO2021256429A1 WO 2021256429 A1 WO2021256429 A1 WO 2021256429A1 JP 2021022547 W JP2021022547 W JP 2021022547W WO 2021256429 A1 WO2021256429 A1 WO 2021256429A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
sample
brightness
image
axis direction
Prior art date
Application number
PCT/JP2021/022547
Other languages
English (en)
French (fr)
Inventor
諭 山本
正典 松原
Original Assignee
浜松ホトニクス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 浜松ホトニクス株式会社 filed Critical 浜松ホトニクス株式会社
Priority to US17/928,992 priority Critical patent/US20230222753A1/en
Priority to EP21825062.9A priority patent/EP4123354A4/en
Priority to JP2022531809A priority patent/JPWO2021256429A1/ja
Publication of WO2021256429A1 publication Critical patent/WO2021256429A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/645—Specially adapted constructive features of fluorimeters
    • G01N21/6452—Individual samples arranged in a regular 2D-array, e.g. multiwell plates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/251—Colorimeters; Construction thereof
    • G01N21/253—Colorimeters; Construction thereof for batch operation, i.e. multisample apparatus
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/47—Scattering, i.e. diffuse reflection
    • G01N21/49—Scattering, i.e. diffuse reflection within a body or fluid
    • G01N21/51—Scattering, i.e. diffuse reflection within a body or fluid inside a container, e.g. in an ampoule
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/645—Specially adapted constructive features of fluorimeters
    • G01N21/6456—Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458—Fluorescence microscopy
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052—Optical details of the image generation
    • G02B21/0076—Optical details of the image generation arrangements using fluorescence or luminescence
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/24—Base structure
    • G02B21/26—Stages; Adjusting means therefor
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/645—Specially adapted constructive features of fluorimeters
    • G01N2021/6463—Optics
    • G01N2021/6478—Special lenses
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/47—Scattering, i.e. diffuse reflection
    • G01N21/49—Scattering, i.e. diffuse reflection within a body or fluid
    • G01N21/53—Scattering, i.e. diffuse reflection within a body or fluid within a flowing fluid, e.g. smoke
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00—Features of devices classified in G01N21/00
    • G01N2201/10—Scanning
    • G01N2201/103—Scanning by mechanical motion of stage
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/16—Microscopes adapted for ultraviolet illumination ; Fluorescence microscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination

Definitions

  • This disclosure relates to a sample observation device and a sample observation method.
  • SPIM Selective Plane Illumination Microscopy
  • a technique related to such a technique for example, there is a sample observation device described in Patent Document 1.
  • the sample observation device of Patent Document 1 has an irradiation optical system that irradiates a sample with planar light on the XZ surface, a scanning unit that scans the sample in the Y-axis direction with respect to the irradiation surface of the planar light, and an irradiation surface.
  • It has an observation axis that is tilted with respect to it, and is equipped with an imaging optical system that forms an image of the observation light generated in the sample by irradiation with planar light.
  • this sample observation device a plurality of XZ image data of the sample are acquired in the Y-axis direction, and the X image data generated by integrating the brightness values of the analysis region in the XZ image data in the Z direction are combined in the Y-axis direction to form a sample.
  • XY image data is generated.
  • the sample observation device As described above, it is possible to acquire three-dimensional information of the sample in a state where the influence of the variation in the brightness value of the background light is sufficiently reduced. Although various feature quantities of the sample can be analyzed from the three-dimensional information, it is desirable that the sample observation device obtains the analysis result of the sample almost at the same time as the end of the measurement operation. Therefore, it is required to speed up the processing required from the acquisition of the XZ image data of the sample to the analysis of the sample based on the data.
  • the present disclosure has been made to solve the above problems, and an object of the present disclosure is to provide a sample observation device and a sample observation method capable of speeding up the processing required for sample analysis.
  • the sample observation device includes an irradiation optical system that irradiates the sample with planar light on the XZ surface, and a scanning unit that scans the sample in the Y-axis direction so as to pass through the irradiation surface of the planar light.
  • An imaging optical system that has an observation axis tilted with respect to the irradiation surface and forms an image of the observation light generated in the sample by irradiation with planar light, and an optical image of the observation light coupled by the imaging optical system.
  • An image acquisition unit that acquires a plurality of corresponding XZ image data, an image generation unit that generates observation image data of a sample based on a plurality of XZ image data acquired by the image acquisition unit, and a sample based on the observation image data. It includes an analysis unit that extracts information and executes analysis on the sample, the image acquisition unit acquires a plurality of XZ image data in the Y-axis direction, and the image generation unit acquires a plurality of XZ image data based on the plurality of XZ image data.
  • the brightness values of each of the plurality of XZ image data are binarized to generate multiple binarized XZ image data, and the sample is based on the plurality of binarized XZ image data.
  • This sample observation device irradiates the XZ surface with planar light while scanning the sample on the Y axis, and acquires a plurality of XZ image data corresponding to the optical image of the observation light generated in the sample. Then, the observation image data is generated based on the plurality of XZ image data, the information about the sample is extracted based on the observation image data, and the analysis about the sample is executed.
  • the observation image data when the observation image data is generated, the brightness image data relating to the brightness of the sample is generated based on the plurality of XZ image data, and the brightness values of the plurality of XZ image data are binarized.
  • a plurality of binarized XZ image data are generated, and a region image data relating to an existing region of a sample is generated based on the plurality of binarized XZ image data.
  • a region image data relating to an existing region of a sample is generated based on the plurality of binarized XZ image data.
  • the analysis unit integrates the values of each of the plurality of binarized XZ image data constituting the region image data in the Z-axis direction to generate the thickness X image data, and combines the thickness X image data in the Y-axis direction. Then, the thickness XY image data regarding the thickness of the sample may be generated. In this case, information on the thickness of the sample can be efficiently acquired and analyzed.
  • the analysis unit extracts the top pixel position in the Z-axis direction from each of the plurality of binarized XZ image data constituting the area image data to generate the top position X image data, and generates the top position X image data in the Y-axis direction. May generate top position XY image data with respect to the top position of the sample.
  • the analysis unit may generate top luminance XY image data indicating the luminance value at the top position of the sample based on the top position XY image data and the luminance image data. This makes it possible to efficiently acquire and analyze information regarding the top position of the sample.
  • the analysis unit extracts the bottom pixel position in the Z-axis direction from each of the plurality of binarized XZ image data constituting the area image data to generate the bottom position X image data, and generates the bottom position X image data in the Y-axis direction.
  • the bottom position XY image data regarding the bottom position of the sample may be generated by binding to.
  • the analysis unit may generate bottom luminance XY image data indicating the luminance value at the bottom position of the sample based on the bottom position XY image data and the luminance image data. This makes it possible to efficiently acquire and analyze information regarding the bottom position of the sample.
  • the analysis unit extracts a specific pixel position in the Z-axis direction from each of a plurality of binarized XZ image data constituting the area image data to generate a specific position X image data, and converts the specific position X image data into the Y axis.
  • Specific position XY image data relating to a specific position of the sample may be generated by combining in the direction.
  • the analysis unit may generate specific luminance XY image data indicating the luminance value at the specific position of the sample based on the specific position XY image data and the luminance image data. This makes it possible to efficiently acquire and analyze information regarding a specific position of the sample.
  • the analysis unit integrates the brightness values of each of the plurality of XZ image data constituting the brightness image data in the Z-axis direction to generate the integrated brightness X image data, and combines the integrated brightness X image data in the Y-axis direction.
  • the integrated brightness XY image data relating to the integrated brightness of the sample may be generated.
  • the Z-axis direction component of the background light contained in one pixel can be constant, the influence of the variation in the luminance value of the background light can be reduced. Therefore, it is possible to sufficiently reduce the influence of the background light even in the integrated luminance XY image data obtained by combining the integrated luminance X image data in the Y-axis direction.
  • the analysis unit extracts the maximum brightness value in the Z-axis direction from each of the plurality of XZ image data constituting the brightness image data to generate the maximum brightness X image data, and combines the maximum brightness X image data in the Y-axis direction.
  • the maximum brightness XY image data regarding the maximum brightness value of the sample may be generated. In this case, it is possible to efficiently acquire and analyze information regarding the distribution of the maximum luminance value of the sample in the Z-axis direction.
  • the analysis unit extracts the minimum brightness value in the Z-axis direction from each of the plurality of XZ image data constituting the brightness image data to generate the minimum brightness X image data, and combines the minimum brightness X image data in the Y-axis direction.
  • the minimum brightness XY image data regarding the minimum brightness value of the sample may be generated. In this case, it is possible to efficiently acquire and analyze information regarding the distribution of the minimum luminance value of the sample in the Z-axis direction.
  • the image acquisition unit acquires a plurality of XZ image data corresponding to the optical images of the observation light having a plurality of wavelengths
  • the image generation unit acquires a plurality of XZ image data corresponding to the optical images of the observation light having one of the plurality of wavelengths.
  • the brightness value of each of the plurality of XZ image data corresponding to the optical image of the observation light of the other wavelengths of the plurality of wavelengths is binary.
  • a region image data relating to an existing region of a sample may be generated based on the plurality of binarized XZ image data.
  • the observation light having a wavelength at which it is difficult to obtain an optical image is used by generating the region image data using the observation light having a wavelength that makes it easy to obtain an optical image and generating the region image data regarding the region where the sample exists. It is possible to apply the information obtained from the region image data to the analysis of.
  • the image acquisition unit acquires a plurality of XZ image data corresponding to the optical images of the observation light having a plurality of wavelengths
  • the image generation unit acquires a plurality of XZ image data corresponding to the optical images of the observation light having one of the plurality of wavelengths.
  • the plurality of second binarized XZ image data obtained by binarizing the respective brightness values of the plurality of XZ image data with respect to the optical image of the observation light of another wavelength among the plurality of wavelengths.
  • Region image data relating to the region of existence of the sample may be generated and generated based on the plurality of second binarized XZ image data.
  • the observation light having a wavelength at which it is difficult to obtain an optical image is used by generating the region image data using the observation light having a wavelength that makes it easy to obtain an optical image and generating the region image data regarding the region where the sample exists. It is possible to apply the information obtained from the region image data to the analysis of.
  • the sample observation method includes an irradiation step of irradiating the sample with planar light on the XZ surface, a scanning step of scanning the sample in the Y-axis direction so as to pass through the illuminated surface of the planar light, and a scanning step.
  • An imaging step that forms an image of the observation light generated in the sample by irradiation with planar light using an imaging optical system that has an observation axis that is inclined with respect to the irradiation surface, and an observation light imaged by the imaging optical system.
  • a plurality of XZ image data are acquired in the Y-axis direction, and in the image generation step, the brightness of the sample is related to the brightness of the sample based on the plurality of XZ image data.
  • the brightness values of each of the plurality of XZ image data are binarized to generate a plurality of binarized XZ image data, and the existence region of the sample is related based on the plurality of binarized XZ image data.
  • Generate area image data the brightness values of each of the plurality of XZ image data are binarized to generate a plurality of binarized XZ image data, and the existence region of the sample is related based on the plurality of binarized XZ image data.
  • this sample observation method while scanning the sample on the Y axis, planar light is irradiated on the XZ surface, and a plurality of XZ image data corresponding to the optical image of the observation light generated in the sample are acquired. Then, the observation image data is generated based on the plurality of XZ image data, the information about the sample is extracted based on the observation image data, and the analysis about the sample is executed.
  • the observation image data when the observation image data is generated, the brightness image data relating to the brightness of the sample is generated based on the plurality of XZ image data, and the brightness values of the plurality of XZ image data are binarized.
  • a plurality of binarized XZ image data are generated, and a region image data relating to an existing region of a sample is generated based on the plurality of binarized XZ image data.
  • a region image data relating to an existing region of a sample is generated based on the plurality of binarized XZ image data.
  • the values of each of the plurality of binarized XZ image data constituting the region image data are integrated in the Z-axis direction to generate the thickness X image data, and the thickness X image data is combined in the Y-axis direction. Then, the thickness XY image data regarding the thickness of the sample may be generated. In this case, information on the thickness of the sample can be efficiently acquired and analyzed.
  • the top pixel position in the Z-axis direction is extracted from each of the plurality of binarized XZ image data constituting the area image data to generate the top position X image data, and the top position X image data is used in the Y-axis direction. May generate top position XY image data with respect to the top position of the sample.
  • the top luminance XY image data indicating the luminance value at the top position of the sample may be generated based on the top position XY image data and the luminance image data. This makes it possible to efficiently acquire and analyze information regarding the top position of the sample.
  • the bottom pixel position in the Z-axis direction is extracted from each of the plurality of binarized XZ image data constituting the area image data to generate the bottom position X image data, and the bottom position X image data is used in the Y-axis direction.
  • the bottom position XY image data regarding the bottom position of the sample may be generated by binding to.
  • the bottom luminance XY image data indicating the luminance value at the bottom position of the sample may be generated based on the bottom position XY image data and the luminance image data. This makes it possible to efficiently acquire and analyze information regarding the bottom position of the sample.
  • a specific pixel position in the Z-axis direction is extracted from each of a plurality of binarized XZ image data constituting the region image data to generate a specific position X image data, and the specific position X image data is used as the Y axis.
  • Specific position XY image data relating to a specific position of the sample may be generated by combining in the direction.
  • the specific luminance XY image data indicating the luminance value at the specific position of the sample may be generated based on the specific position XY image data and the luminance image data. This makes it possible to efficiently acquire and analyze information regarding a specific position of the sample.
  • the brightness values of each of the plurality of XZ image data constituting the brightness image data are integrated in the Z-axis direction to generate the integrated brightness X image data, and the integrated brightness X image data is combined in the Y-axis direction.
  • the integrated brightness XY image data relating to the integrated brightness of the sample may be generated.
  • the integrated luminance X image data since the Z-axis direction component of the background light contained in one pixel can be constant, the influence of the variation in the luminance value of the background light can be reduced. Therefore, it is possible to sufficiently reduce the influence of the background light even in the integrated luminance XY image data obtained by combining the integrated luminance X image data in the Y-axis direction.
  • the maximum brightness value in the Z-axis direction is extracted from each of the plurality of XZ image data constituting the brightness image data to generate the maximum brightness X image data, and the maximum brightness X image data is combined in the Y-axis direction.
  • the maximum brightness XY image data regarding the maximum brightness value of the sample may be generated. In this case, it is possible to efficiently acquire and analyze information regarding the distribution of the maximum luminance value of the sample in the Z-axis direction.
  • the minimum brightness value in the Z-axis direction is extracted from each of the plurality of XZ image data constituting the brightness image data to generate the minimum brightness X image data, and the minimum brightness X image data is combined in the Y-axis direction.
  • the minimum brightness XY image data regarding the minimum brightness value of the sample may be generated. In this case, it is possible to efficiently acquire and analyze information regarding the distribution of the minimum luminance value of the sample in the Z-axis direction.
  • the image acquisition step a plurality of XZ image data corresponding to the optical images of the observation light having a plurality of wavelengths are acquired, and in the image generation step, the optical image of the observation light having one of the plurality of wavelengths is supported.
  • the brightness value of each of the plurality of XZ image data corresponding to the optical image of the observation light of another wavelength among the plurality of wavelengths is set to two.
  • a plurality of binarized XZ image data may be digitized to generate a plurality of binarized XZ image data, and a region image data relating to an existing region of the sample may be generated based on the plurality of binarized XZ image data.
  • a region image data relating to an existing region of the sample may be generated based on the plurality of binarized XZ image data.
  • the observation light having a wavelength at which it is difficult to obtain an optical image is used by generating the region image data using the observation light having a wavelength that makes it easy to obtain an optical image and generating the region image data regarding the region where the sample exists. It is possible to apply the information obtained from the region image data to the analysis of.
  • a plurality of XZ image data corresponding to the optical images of the observation lights of a plurality of wavelengths are acquired
  • a plurality of XZ image data corresponding to the optical images of the observation light of one of the plurality of wavelengths are acquired.
  • Region image data relating to the region of existence of the sample may be generated and generated based on the plurality of second binarized XZ image data.
  • the observation light having a wavelength at which it is difficult to obtain an optical image is used by generating the region image data using the observation light having a wavelength that makes it easy to obtain an optical image and generating the region image data regarding the region where the sample exists. It is possible to apply the information obtained from the region image data to the analysis of.
  • FIG. 1 is a schematic configuration diagram showing an embodiment of a sample observation device.
  • This sample observation device 1 irradiates the sample S with the planar light L2, forms an image of the observation light (for example, fluorescence or scattered light) generated inside the sample S on the image forming surface, and observes the inside of the sample S.
  • It is a device that acquires data.
  • a slide scanner that acquires and displays an image of sample S held on a slide glass, or a plate that acquires image data of sample S held on a microplate and analyzes the image data. There are readers and so on.
  • the sample observation device 1 includes a light source 2, an irradiation optical system 3, a scanning unit 4, an imaging optical system 5, an image acquisition unit 6, and a computer 7. There is.
  • sample S to be observed examples include human or animal cells, tissues, organs, animals or plants themselves, plant cells, tissues, and the like. These samples S are stained with a fluorescent material such as fluorescein-dextran (excitation wavelength: 494 nm / fluorescence wavelength: 521 nm) and tetramethylrhodamine (excitation wavelength: 555 nm / fluorescence wavelength: 580 nm).
  • the sample S may be stained with a plurality of fluorescent substances. Further, the sample S may be contained in a solution, a gel, or a substance having a refractive index different from that of the sample S.
  • the light source 2 is a light source that outputs the light L1 that is applied to the sample S.
  • Examples of the light source 2 include a laser light source such as a laser diode and a solid-state laser light source. Further, the light source 2 may be a light emitting diode, a super luminescent diode, or a lamp-based light source.
  • the light L1 output from the light source 2 is guided to the irradiation optical system 3.
  • the irradiation optical system 3 is an optical system in which the light L1 output from the light source 2 is shaped into a planar light L2, and the shaped planar light L2 is irradiated to the sample S along the optical axis P1.
  • the optical axis P1 of the irradiation optical system 3 may be referred to as the optical axis of the planar light L2.
  • the irradiation optical system 3 includes an optical shaping element such as a cylindrical lens, an axicon lens, or a spatial light modulator, and is optically coupled to the light source 2.
  • the irradiation optical system 3 may be configured to include an objective lens.
  • the planar light L2 formed by the irradiation optical system 3 irradiates the sample S.
  • the observation light L3 is generated on the irradiation surface R of the planar light L2.
  • the observation light L3 is, for example, fluorescence excited by the planar light L2, scattered light of the planar light L2, or diffusely reflected light of the planar light L2.
  • the planar light L2 is preferably a thin planar light having a thickness of 2 mm or less in consideration of resolution. Further, when the thickness of the sample S is very small, that is, when observing the sample S having a thickness equal to or lower than the Z-direction resolution described later, the thickness of the planar light L2 does not affect the resolution. Therefore, planar light L2 having a thickness of more than 2 mm may be used.
  • the scanning unit 4 is a mechanism for scanning the sample S with respect to the irradiation surface R of the planar light L2.
  • the scanning unit 4 is configured by a moving stage 12 for moving the sample container 11 holding the sample S.
  • the sample container 11 is, for example, a microplate, a slide glass, a petri dish, or the like, and has transparency to the planar light L2 and the observation light L3.
  • a microplate is exemplified.
  • the sample container 11 has a plate-shaped main body portion 14 in which a plurality of wells 13 in which the sample S is arranged are arranged in a straight line (or a matrix shape), and wells on one surface side of the main body portion 14. It has a plate-shaped transparent member 15 provided so as to close one end side of the 13.
  • the transparent member 15 has an input surface 15a of the planar light L2 for the sample S arranged in the well 13.
  • the material of the transparent member 15 is not particularly limited as long as it is a member having transparency to the planar light L2, but is, for example, glass, quartz, or synthetic resin.
  • the sample container 11 is arranged with respect to the moving stage 12 so that the input surface 15a is orthogonal to the optical axis P1 of the planar light L2.
  • the other end of the well 13 is open to the outside.
  • the sample container 11 may be fixed to the moving stage 12.
  • the moving stage 12 scans the sample container 11 in a preset direction according to a control signal from the computer 7.
  • the moving stage 12 scans the sample container 11 in one direction in a plane orthogonal to the optical axis P1 of the planar light L2.
  • the optical axis P1 direction of the planar light L2 is the Z axis
  • the scanning direction of the sample container 11 by the moving stage 12 is the Y axis
  • the scanning direction of the planar light L2 is orthogonal to the Y axis in a plane orthogonal to the optical axis P1 of the planar light L2.
  • the direction of the X-axis is referred to as the X-axis.
  • the irradiation surface R of the planar light L2 with respect to the sample S is a surface in the XZ plane.
  • the imaging optical system 5 is an optical system that forms an image of the observation light L3 generated in the sample S by irradiation with the planar light L2. As shown in FIG. 2, the imaging optical system 5 includes, for example, an objective lens 16.
  • the optical axis of the imaging optical system 5 is the observation axis P2 of the observation light L3.
  • the observation axis P2 of the imaging optical system 5 is inclined with an inclination angle ⁇ with respect to the irradiation surface R of the planar light L2 in the sample S.
  • the inclination angle ⁇ also coincides with the angle formed by the optical axis P1 and the observation axis P2 of the planar light L2 toward the sample S.
  • the inclination angle ⁇ is, for example, 10 ° to 80 °.
  • the inclination angle ⁇ is preferably 20 ° to 70 °. Further, from the viewpoint of improving the resolution of the observed image and the stability of the visual field, the inclination angle ⁇ is more preferably 30 ° to 65 °.
  • the image acquisition unit 6 is a portion that acquires a plurality of XZ image data corresponding to an optical image by the observation light L3 imaged by the imaging optical system 5.
  • the image acquisition unit 6 includes, for example, an image pickup device that captures an optical image by the observation light L3.
  • Examples of the image pickup apparatus include area image sensors such as CMOS image sensors and CCD image sensors. These area image sensors are arranged on the imaging surface of the imaging optical system 5, and image an optical image by, for example, a global shutter or a rolling shutter.
  • the area image sensor acquires a plurality of XZ image data 21 (see FIG. 3), which is the data of the two-dimensional image of the sample S, in the Y-axis direction and outputs the data to the computer 7.
  • the computer 7 is physically configured to include a memory such as a RAM and a ROM, a processor (arithmetic circuit) such as a CPU, a communication interface, a storage unit such as a hard disk, and a display unit such as a display. Examples of such a computer 7 include a personal computer, a cloud server, a smart device (smartphone, tablet terminal, etc.) and the like.
  • the computer 7 has a controller that controls the operation of the light source 2 and the moving stage 12 by executing a program stored in the memory on the CPU of the computer system, an image generation unit 8 that generates observation image data of the sample S, and an observation. It functions as an analysis unit 10 that analyzes the sample S based on the image data.
  • the computer 7 as a controller receives an input of a measurement start operation by a user, and drives the light source 2, the moving stage 12, and the image acquisition unit 6 in synchronization with each other.
  • the computer 7 may control the light source 2 so that the light source 2 continuously outputs the light L1 while the sample S is being moved by the moving stage 12, and the light source 2 may be matched with the image pickup by the image acquisition unit 6.
  • the ON / OFF of the output of the optical L1 may be controlled by the light source.
  • the computer 7 may turn on / off the irradiation of the planar light L2 to the sample S by controlling the optical shutter.
  • the computer 7 as the image generation unit 8 generates the observation image data of the sample S based on the plurality of XZ image data 21 generated by the image acquisition unit 6. Specifically, when the image generation unit 8 receives the plurality of XZ image data 21 output from the image acquisition unit 6, the brightness image data 31 and the area image data 32 are based on the plurality of XZ image data 21. Two types of data are generated as the observation image data 23 of the sample S.
  • the image generation unit 8 In generating the luminance image data 31, the image generation unit 8 generates the luminance image data 31 with a plurality of XZ image data 21 as a set, as shown in FIG.
  • the luminance image data 31 has luminance distribution information on the three dimensions of the sample S.
  • the image generation unit 8 outputs the generated luminance image data 31 to the analysis unit 10.
  • the image generation unit 8 may execute a process of removing the luminance value of the background light (here, the luminance value caused by the solution in the well 13 in which the sample S is arranged). .. In this case, the image generation unit 8 specifies a luminance region corresponding to the sample S in each of the XZ image data 21, and sets the value of the pixel constituting the region other than the specified luminance region to 0 to obtain the luminance of the background light. Remove the value. Further, the image generation unit 8 may execute a process of subtracting the luminance value of the background light when generating the luminance image data 31.
  • the luminance value of the background light is subtracted from the values of the pixels constituting the region other than the luminance region in each of the XZ image data 21.
  • the observation light L3 from the sample S can be measured with high reproducibility.
  • the image generation unit 8 binarizes the luminance values of the plurality of XZ image data 21 and generates the plurality of binarized XZ image data 25, as shown in FIG. ..
  • the image generation unit 8 holds a threshold value of the brightness value in advance for each type of the sample S, sets the pixel value of the pixel having a pixel value equal to or higher than the threshold value to 1, and sets the pixel value to 1 and pixels below the threshold value.
  • the binarized XZ image data 25 is generated.
  • the binarized XZ image data 25 indicates that the sample S exists in the region where the pixel value of the pixel is 1, and the sample S is located in the region where the pixel value of the pixel is 0. It is data indicating that it does not exist.
  • the image generation unit 8 generates the area image data 32 by using these plurality of binarized XZ image data 25 as a set. This region image data 32 has information about the existence region on the three dimensions of the sample S.
  • the image generation unit 8 outputs the generated area image data 32 to the analysis unit 10.
  • the luminance values of the plurality of XZ image data 21 may be multi-valued to generate the plurality of binarized XZ image data 25.
  • the computer 7 as the analysis unit 10 executes the analysis of the sample S based on the observation image data 23 generated by the image generation unit 8 and generates the analysis result. Specifically, the analysis unit 10 extracts the area information and the luminance information of the sample S based on the luminance image data 31 and / or the luminance image data 32 received from the image generation unit 8. Here, when extracting the area information and the brightness information, the analysis unit 10 determines the thickness of the sample S in the Z-axis direction, the brightness of the top position / top position in the Z-axis direction, and the brightness of the bottom position / bottom position in the Z-axis direction.
  • Information including at least one of the specific position / brightness at the specific position in the Z-axis direction and the integrated brightness / maximum brightness / minimum brightness in the Z-axis direction is extracted based on the luminance image data 31 and / or the area image data 32.
  • each pixel of the thickness X image data 41 is generated by integrating in the direction.
  • each pixel of the thickness X image data 41 includes an integrated value of pixel values in the Z-axis direction.
  • each pixel of the thickness X image data 41 has an integrated value, such that the pixel value in the center in the X-axis direction is 10, the pixel values on both sides thereof are 9, and so on.
  • the integrated value of each pixel in the thickness X image data 41 indicates the region where the sample S exists in the Z-axis direction in the coordinates of the pixel in the X-axis direction (that is, the thickness of the sample S in the Z-axis direction). It will be. Once the actual thickness information per pixel is obtained, the thickness of the sample S in the Z-axis direction can be obtained by multiplying the integrated value of each pixel by the thickness per pixel.
  • the Z-axis The thickness of the sample S in the direction is represented as a contour line.
  • the analysis unit 10 When the analysis unit 10 extracts information on the top position of the sample S in the Z-axis direction, first, as shown in FIG. 6A, the analysis unit 10 refers to a plurality of binarized XZ image data 25, and the pixel value is 1. Of the pixels, the coordinate value (top pixel position) of the pixel having the largest coordinate value in the Z-axis direction is extracted as the top position in the Z-axis direction of the sample S.
  • the binarized XZ image data 25 has 1024 pixels in the Z-axis direction, and coordinate values from 1 to 1024 are given in order from the lower pixel.
  • the analysis unit 10 detects the pixel value in the Z-axis direction at each coordinate in the X-axis direction of the binarized XZ image data 25. Then, the coordinate value of the pixel having the largest coordinate value among the pixels having the pixel value of 1 or more is extracted to generate the top position X image data 43.
  • pixels having a pixel value of 1 or more among the plurality of binarized XZ image data 25 are selected.
  • the pixel in which the sample S is present is shown. Therefore, among the pixels having one or more pixel values, the coordinate value (top pixel position) of the pixel having the largest coordinate value in the Z-axis direction may be extracted as the top position in the Z-axis direction of the sample S.
  • each pixel of the top position X image data 43 includes the coordinate value of the pixel having the largest coordinate value among the pixels having a pixel value of 1 or more.
  • each pixel of the top position X image data 43 has a coordinate value, such that the central pixel value in the X-axis direction is 858, the pixel values on both sides thereof are 857, and so on.
  • the analysis unit 10 generates top position X image data 43 for each of the binarized XZ image data 25, and by combining these in the Y-axis direction, the top position XY image is shown in FIG. 6A.
  • Generate data 44 is shown in FIG. 6A.
  • the analysis unit 10 is based on the top position XY image data 44 and the luminance image data 31 (see FIG. 3), and as shown in FIG. 6 (c), the analysis unit 10 shows the luminance value at the top position of the sample S. 44A may be generated.
  • the analysis unit 10 extracts the luminance value corresponding to the pixel value (coordinate value) of the top position XY image data 44 from the luminance value included in each pixel of the luminance image data 31, and obtains the top luminance XY image data 44A. Generate.
  • the analysis unit 10 In generating the top brightness XY image data 44A, the analysis unit 10 first obtains a brightness value corresponding to the pixel value (coordinate value) of the top position X image data 43 from the brightness value included in each pixel of the brightness image data 31. May be extracted to generate top brightness X image data 43A (see FIG. 6 (c)). In this case, the top luminance XY image data 44A can be generated by combining the top luminance X image data 43A in the Y-axis direction. The analysis unit 10 analyzes the top position XY image data 44 or the top brightness XY image data 44A to extract the brightness of the top position / top position in the Z-axis direction in the sample S.
  • the analysis unit 10 When the analysis unit 10 extracts information on the bottom position of the sample S in the Z-axis direction, first, as shown in FIG. 7A, the analysis unit 10 refers to a plurality of binarized XZ image data 25, and the pixel value is 1. Of the pixels, the coordinate value (bottom pixel position) of the pixel having the smallest coordinate value in the Z-axis direction is extracted as the bottom position in the Z-axis direction of the sample S.
  • the binarized XZ image data 25 has 1024 pixels in the Z-axis direction, and the coordinate values from 1 to 1024 are sequentially from the lower pixel. Is given.
  • the analysis unit 10 detects the pixel value in the Z-axis direction at each coordinate in the X-axis direction of the binarized XZ image data 25. Then, the coordinate value of the pixel having the smallest coordinate value among the pixels having the pixel value of 1 or more is extracted to generate the bottom position X image data 45.
  • pixels having a pixel value of 1 or more among the plurality of binarized XZ image data 25 are selected.
  • the pixel in which the sample S is present is shown. Therefore, among the pixels having one or more pixel values, the coordinate value (bottom pixel position) of the pixel having the smallest coordinate value in the Z-axis direction may be extracted as the bottom position in the Z-axis direction of the sample S.
  • each pixel of the bottom position X image data 45 includes the coordinate value of the pixel having the smallest coordinate value among the pixels having a pixel value of 1 or more.
  • each pixel of the bottom position X image data 45 has a coordinate value, such that the central pixel value in the X-axis direction is 252, the pixel values on both sides thereof are 253, and so on.
  • the analysis unit 10 generates bottom position X image data 45 for each of the binarized XZ image data 25, and by combining these in the Y-axis direction, the bottom position XY image is shown in FIG. 7 (a).
  • Generate data 46 is shown in FIG. 7 (a).
  • the analysis unit 10 is based on the bottom position XY image data 46 and the luminance image data 31 (see FIG. 3), and as shown in FIG. 7 (c), the analysis unit 10 shows the bottom luminance XY image data indicating the luminance value at the bottom position of the sample S. 46A may be generated.
  • the analysis unit 10 extracts the luminance value corresponding to the pixel value (coordinate value) of the bottom position XY image data 46 from the luminance value included in each pixel of the luminance image data 31, and obtains the bottom luminance XY image data 46A. Generate.
  • the analysis unit 10 In generating the bottom brightness XY image data 46A, the analysis unit 10 first obtains a brightness value corresponding to the pixel value (coordinate value) of the bottom position X image data 45 from the brightness value included in each pixel of the brightness image data 31. May be extracted to generate bottom brightness X image data 45A (see FIG. 7 (c)). In this case, the bottom luminance XY image data 46A can be generated by combining the bottom luminance X image data 45A in the Y-axis direction. The analysis unit 10 analyzes the bottom position XY image data 46 or the bottom brightness XY image data 46A to extract the brightness of the bottom position / bottom position in the Z-axis direction in the sample S.
  • the analysis unit 10 When extracting information regarding a specific position in the Z-axis direction of the sample S, the analysis unit 10 first refers to a plurality of binarized XZ image data 25 as shown in FIG. 8A, and refers to the plurality of binarized XZ image data 25 in the Z-axis direction.
  • the coordinate value (pixel position) of a specific pixel is extracted as a specific position in the Z-axis direction of the sample S.
  • the position that is the 200th pixel from the bottom position to the top position is set as a specific position.
  • the analysis unit 10 detects the pixel value in the Z-axis direction at each coordinate in the X-axis direction of the binarized XZ image data 25.
  • the coordinate value of the pixel that is the 200th pixel from the bottom position is extracted to generate the specific position X image data 47.
  • each pixel of the specific position X image data 47 includes the coordinate value of the pixel that is the 200th pixel from the bottom position to the top position.
  • each pixel of the specific position X image data 47 has a coordinate value, such that the central pixel value in the X-axis direction is 452, the pixel values on both sides thereof are 453, and so on.
  • the analysis unit 10 generates specific position X image data 47 for each of the binarized XZ image data 25, and by combining these in the Y-axis direction, the specific position XY image as shown in FIG. 8A. Generate data 48.
  • the analysis unit 10 is based on the specific position XY image data 48 and the luminance image data 31 (see FIG. 3), and as shown in FIG. 8 (c), the analysis unit 10 shows the specific luminance XY image data indicating the luminance value at the specific position of the sample S. 48A may be generated.
  • the analysis unit 10 extracts the luminance value corresponding to the pixel value (coordinate value) of the specific position XY image data 48 from the luminance value included in each pixel of the luminance image data 31, and obtains the specific luminance XY image data 48A. Generate.
  • the analysis unit 10 In generating the specific brightness XY image data 48A, the analysis unit 10 first obtains a brightness value corresponding to the pixel value (coordinate value) of the specific position X image data 47 from the brightness value included in each pixel of the brightness image data 31. May be extracted to generate specific brightness X image data 47A (see FIG. 8C). In this case, the specific luminance XY image data 48A can be generated by combining the specific luminance X image data 47A in the Y-axis direction. The analysis unit 10 analyzes the specific position XY image data 48 or the specific brightness XY image data 48A to extract the brightness of the specific position / specific position in the Z axis direction in the sample S.
  • the setting of the specific position is not particularly limited, and is not limited to the setting based on the bottom position described above, and the setting based on the top position and the position (thickness center) at the center of the top position and the bottom position can be set.
  • You may adopt the setting as a reference.
  • the same coordinates in the Z-axis direction may be set as a specific position.
  • the positions of the pixels separated in the Z-axis direction by the number of pixels corresponding to a predetermined ratio of the thickness from the reference such as the top position, the bottom position, or the center of the thickness may be set as the specific position.
  • image data obtained under other measurement conditions for example, measurement with excitation light of another excitation wavelength
  • the analysis unit 10 When extracting information on the integrated luminance of the sample S in the Z-axis direction, the analysis unit 10 first integrates and integrates the luminance values of each of the plurality of XZ image data 21 in the Z-axis direction, as shown in FIG. Luminance X image data 49 is generated. Next, the integrated luminance XY image data 50 is generated by combining the generated integrated luminance X image data 49 in the Y-axis direction. The analysis unit 10 extracts the integrated luminance in the Z-axis direction of the sample S by analyzing the integrated luminance XY image data 50.
  • the analysis unit 10 When extracting the information regarding the maximum luminance in the Z-axis direction of the sample S, the analysis unit 10 detects the luminance value in the Z-axis direction at each coordinate in the X-axis direction of the plurality of XZ image data 21 as shown in FIG. Then, the luminance value (maximum luminance value) of the pixel having the largest luminance value in the Z-axis direction is extracted to generate the maximum luminance X image data 51. Next, the maximum luminance XY image data 52 is generated by combining the generated maximum luminance X image data 51 in the Y-axis direction. The analysis unit 10 extracts the maximum luminance in the Z-axis direction of the sample S by analyzing the maximum luminance XY image data 52.
  • the analysis unit 10 When extracting the information regarding the minimum luminance in the Z-axis direction of the sample S, the analysis unit 10 detects the luminance value in the Z-axis direction at each coordinate in the X-axis direction of the plurality of XZ image data 21 as shown in FIG. Then, the luminance value (minimum luminance value) of the pixel having the smallest luminance value in the Z-axis direction is extracted to generate the minimum luminance X image data 53. Next, the minimum luminance XY image data 54 is generated by combining the generated minimum luminance X image data 53 in the Y-axis direction. The analysis unit 10 extracts the minimum luminance in the Z-axis direction of the sample S by analyzing the minimum luminance XY image data 54.
  • the analysis unit 10 specifies the thickness of the sample S extracted as described above in the Z-axis direction, the brightness of the top position / top position in the Z-axis direction, the brightness of the bottom position / bottom position in the Z-axis direction, and the Z-axis direction.
  • the feature amount for each sample S is analyzed based on at least one of the position / specific position brightness and the integrated brightness / maximum brightness / minimum brightness in the Z-axis direction, and the analysis result is stored and displayed on a monitor or the like. ..
  • the various image data generated by the analysis unit 10 do not necessarily have to be displayed on a monitor or the like, and only the analysis result of the feature amount for each sample S in the analysis unit 10 is displayed on the monitor or the like. May be good.
  • FIG. 12 is a flowchart showing an example of the sample observation method.
  • this sample observation method includes an irradiation step (step S01), a scanning step (step S02), an imaging step (step S03), an image acquisition step (step S04), and an image generation step (step S05). , And an analysis step (step S06).
  • the sample S is irradiated with the planar light L2.
  • the light source 2 is driven based on the control signal from the computer 7, and the light L1 is output from the light source 2.
  • the light L1 output from the light source 2 is shaped by the irradiation optical system 3 to become planar light L2, and is applied to the sample S.
  • the sample S is scanned against the irradiation surface R of the planar light L2.
  • the moving stage 12 is driven in synchronization with the drive of the light source 2 based on the control signal from the computer 7.
  • the sample container 11 is linearly driven in the Y-axis direction at a constant speed, and the sample S in the well 13 is scanned with respect to the irradiation surface R of the planar light L2.
  • the imaging optical system 5 having the observation axis P2 inclined with respect to the irradiation surface R is used, and the observation light L3 generated in the sample S by the irradiation of the planar light L2 is imaged by the image acquisition unit 6.
  • An image is formed on a surface.
  • a plurality of XZ image data 21 corresponding to the optical image formed by the observation light L3 imaged by the imaging optical system 5 are acquired in the Y-axis direction.
  • the plurality of XZ image data 21 are sequentially output from the image acquisition unit 6 to the image generation unit 8.
  • the observation image data of the sample S is generated based on the plurality of XZ image data.
  • two types of data are generated as the observation image data of the sample S.
  • the luminance image data 31 generates a plurality of XZ image data 21 as a set (see FIG. 3).
  • the area image data 32 binarizes the brightness values of the plurality of XZ image data 21 to generate a plurality of binarized XZ image data 25, and these binarized XZ image data 25 are used as a set.
  • Generate see FIG. 4
  • the generated luminance image data 31 and area image data 32 are output from the image generation unit 8 to the analysis unit 10.
  • the analysis image generation step S06a and the analysis information extraction step S06b are executed.
  • various XY image data are generated based on the luminance image data 31 and the area image data 32 generated in the image generation step S05.
  • the integrated luminance XY image data 50, the maximum luminance XY image data 52, and the minimum luminance XY image data 54 are generated based on the luminance image data 31.
  • the binarized XZ image data 25 is generated based on the area image data 32, and the top position XY image data 44, the bottom position XY image data 46, and the specific position XY image are generated based on the binarized XZ image data 25.
  • Data 48 is generated. Further, the top brightness XY image data 44A, the bottom brightness XY image data 46A, and the specific brightness XY image data 48A are generated based on the brightness image data 31 and the area image data 32.
  • various XY image data generated in the analysis image generation step S06a are analyzed.
  • region information including at least one of a top position in the Z-axis direction, a bottom position in the Z-axis direction, and a specific position in the Z-axis direction is extracted.
  • the feature amount for each sample S is analyzed based on the extracted area information and the luminance information, and the analysis result is stored, displayed on a monitor, or the like.
  • Various generated XY image data may be stored, displayed on a monitor, or the like.
  • the planar light L2 is irradiated on the XZ surface while scanning the sample S on the Y axis, and the XZ image data corresponding to the optical image of the observation light L3 generated in the sample S. Acquire a plurality of 21.
  • the observation image data 23 is generated based on the plurality of XZ image data 21, information about the sample S is extracted based on the observation image data 23, and the analysis regarding the sample S is executed.
  • the observation image data 23 when the observation image data 23 is generated, the brightness image data 31 relating to the brightness of the sample S is generated based on the plurality of XZ image data 21, and each of the plurality of XZ image data 21 is generated.
  • a plurality of binarized XZ image data 25 is generated by binarizing the brightness value, and a region image data 32 relating to an existing region of the sample S is generated based on the plurality of binarized XZ image data 25.
  • the region image data 32 is generated using the fluorescence that makes it easy to obtain the optical image of the observation light L3, and the region information of the sample S is extracted, so that the fluorescence that makes it difficult to obtain the optical image of the observation light L3 is used.
  • the region information can be applied to the analysis of the sample S in the case.
  • the planar light L2 is irradiated on the XZ surface while scanning the sample S on the Y axis, and the wavelength ⁇ a (for example, a wavelength at which an optical image can be easily obtained) generated in the sample S is one.
  • a plurality of XZ image data 21 are acquired based on the observation light L3 and the observation light L3 having another wavelength ⁇ b (for example, a wavelength at which it is difficult to obtain an optical image) generated in the sample S.
  • the observation image data 23A is generated based on the plurality of XZ image data 21 corresponding to the observation light L3 having one wavelength ⁇ a, and the information regarding the sample S (region information and brightness information) is generated based on the observation image data 23A.
  • the observation image data 23B is generated based on the plurality of XZ image data 21 corresponding to the observation light L3 having another wavelength ⁇ b, and the previously extracted information X is used to obtain the sample S based on the observation image data 23B. Perform the analysis.
  • the sample observation device 1 acquires a plurality of XZ image data 21a of the observation light L3a of one wavelength ⁇ a generated in the sample S, and the observation light L3b of another wavelength ⁇ b generated in the sample S. Acquire a plurality of XZ image data 21b of.
  • each XZ image data 21b of the observation light L3b having another wavelength ⁇ b is binarized to generate a plurality of binarized XZ image data 25b.
  • the region image data 32b relating to the existence region of the sample S is generated.
  • FIG. 14 the sample observation device 1 acquires a plurality of XZ image data 21a of the observation light L3a of one wavelength ⁇ a generated in the sample S, and the observation light L3b of another wavelength ⁇ b generated in the sample S.
  • the entire binarized XZ image data 25b is referred to as the area image data 32b.
  • the pixels corresponding to the region image data 32b are extracted from each XZ image data 21a of the observation light L3a having one wavelength ⁇ a, and the observation image data 23A is generated.
  • each binarized XZ image data 25b obtained from the XZ image data 21b of the observation light L3b of the other wavelength ⁇ b generated in the sample S is selectively used as the region image data 32b. .. Pixels corresponding to the bottom region are extracted from each XZ image data 21a corresponding to the observation light L3a having one wavelength ⁇ a, and the observation image data 23A is generated.
  • an arbitrary region here, a center region
  • the area image data 32b is used. Pixels corresponding to an arbitrary region are extracted from each XZ image data 21a corresponding to the observation light L3a having one wavelength ⁇ a, and the observation image data 23A is generated.
  • the sample observation device 1 acquires a plurality of XZ image data 21a of the observation light L3a of one wavelength ⁇ a generated in the sample S, and the observation light L3b of another wavelength ⁇ b generated in the sample S. Acquire a plurality of XZ image data 21b of.
  • each XZ image data 21a of the observation light L3a having one wavelength ⁇ a is binarized to generate a plurality of first binarized XZ image data 25a as luminance image data.
  • each XZ image data 21b of the observation light L3b having another wavelength ⁇ b is binarized to generate a plurality of second binarized XZ image data 25b.
  • the region image data 32b relating to the existence region of the sample S is generated.
  • an arbitrary region here, a center region
  • the pixels corresponding to the region image data 32b are extracted from each of the first binarized XZ image data 25a corresponding to the observation light L3a having one wavelength ⁇ a, and the observation image data 23A is generated.
  • the values of the plurality of binarized XZ image data 25 constituting the region image data 32 are integrated in the Z-axis direction to generate the thickness X image data 41, and the thickness X image is generated.
  • the data 41 is combined in the Y-axis direction to generate the thickness XY image data 42 relating to the thickness of the sample. This makes it possible to efficiently acquire and analyze information regarding the thickness of the sample S.
  • the top pixel position in the Z-axis direction is extracted from each of the plurality of binarized XZ image data 25 constituting the region image data 32 to generate the top position X image data 43, and the top position is generated.
  • the X image data 43 is combined in the Y-axis direction to generate the top position XY image data 44 with respect to the top position of the sample S.
  • the top luminance XY image data 44A indicating the luminance value at the top position of the sample S is generated. This makes it possible to efficiently acquire and analyze information regarding the top position of the sample S.
  • the bottom pixel position in the Z-axis direction is extracted from each of the plurality of binarized XZ image data 25 constituting the region image data 32 to generate the bottom position X image data 45, and the bottom position is generated.
  • the X image data 45 is combined in the Y-axis direction to generate the bottom position XY image data 46 with respect to the bottom position of the sample S.
  • bottom luminance XY image data 46A indicating the luminance value at the bottom position of the sample S is generated. This makes it possible to efficiently acquire and analyze information regarding the bottom position of the sample S.
  • a specific pixel position in the Z-axis direction is extracted from each of the plurality of binarized XZ image data 25 constituting the region image data 32 to generate a specific position X image data 47, and the specific position X image data 47 is specified.
  • the position X image data 47 is combined in the Y-axis direction to generate the specific position XY image data 48 relating to the specific position of the sample S.
  • the specific luminance XY image data 48A indicating the luminance value at the specific position of the sample S is generated. This makes it possible to efficiently acquire and analyze information regarding the specific position of the sample S.
  • the luminance values of the plurality of XZ image data 21 constituting the luminance image data 31 are integrated in the Z-axis direction to generate the integrated luminance X image data 49, and the integrated luminance X image data 49 is generated. Is combined in the Y-axis direction to generate the integrated luminance XY image data 50 relating to the integrated luminance of the sample S.
  • the integrated luminance X image data 49 since the Z-axis direction component of the background light contained in one pixel can be made constant, the influence of the variation in the luminance value of the background light can be reduced. Therefore, even in the integrated luminance XY image data 50 obtained by combining the integrated luminance X image data 49 in the Y-axis direction, the influence of the background light can be sufficiently reduced.
  • the maximum luminance value in the Z-axis direction is extracted from each of the plurality of XZ image data 21 constituting the luminance image data 31 to generate the maximum luminance X image data 51, and the maximum luminance X image data is obtained.
  • the 51 is coupled in the Y-axis direction to generate the maximum luminance XY image data 52 relating to the maximum luminance value of the sample S. This makes it possible to efficiently acquire and analyze information regarding the distribution of the maximum luminance value of the sample S in the Z-axis direction.
  • the minimum brightness value in the Z-axis direction is extracted from each of the plurality of XZ image data 21 constituting the brightness image data 31 to generate the minimum brightness X image data 53, and the minimum brightness X image data 53 is generated. Is combined in the Y-axis direction to generate the minimum brightness XY image data 54 relating to the minimum brightness value of the sample S. This makes it possible to efficiently acquire and analyze information regarding the distribution of the minimum luminance value of the sample S in the Z-axis direction.
  • the fluorescence brightness from the sample S is higher than the background brightness by injecting a solution containing a fluorescent dye having a large fluorescence brightness into the well 13. May be low.
  • a solution containing a fluorescent dye having a large fluorescence brightness into the well 13. May be low.
  • the present disclosure is not limited to the above embodiment.
  • the brightness image data 31 and the region image data 32 are generated as the observation image data 23 of the sample S, but only the region image data 32 may be generated as the observation image data.
  • the optical axis P1 of the planar light L2 and the input surface 15a of the sample container 11 do not necessarily have to be orthogonal to each other, and the optical axis P1 of the planar light L2 and the sample by the scanning unit 4 are used. It does not necessarily have to be orthogonal to the scanning direction of S.
  • the transparent member 15 is provided in the sample container 11 so as to close one end side of the well 13, and the planar light L2 is input from the input surface 15a of the transparent member 15.
  • the planar light L2 may be input from the other end side of the 13.
  • the number of interfaces of the media having different refractive indexes is reduced, and the number of refractions of the observation light L3 can be reduced.
  • the sample container 11 instead of the sample container 11, the sample S may be held in a solid substance such as a gel, and a fluid such as water may be flowed through the transparent container to move the sample S like a flow cytometer. May be good.
  • a plurality of pairs of the imaging optical system 5 and the image acquisition unit 6 may be arranged.
  • the observation range can be expanded, and a plurality of observation lights L3 having different wavelengths can be observed.
  • a plurality of image acquisition units 6 may be arranged with respect to the imaging optical system 5, or an image acquisition unit 6 may be arranged with respect to the plurality of imaging optical systems 5.
  • the plurality of image acquisition units 6 may be combined with different types of photodetectors or image pickup devices.
  • the light source 2 may be composed of a plurality of light sources that output light having different wavelengths. In this case, the sample S can be irradiated with excitation light having a different wavelength.
  • a prism may be arranged in the imaging optical system 5.
  • a prism may be arranged on the rear side of the objective lens 16 (between the objective lens 16 and the image acquisition unit 6).
  • the image pickup surface of the image pickup apparatus in the image acquisition unit 6 may be tilted with respect to the observation axis P2.
  • a dichroic mirror or a prism may be arranged between the imaging optical system 5 and the image acquisition unit 6 to perform wavelength separation of the observation light L3.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biochemistry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Software Systems (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Microscoopes, Condenser (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

試料観察装置１では、画像取得部６が試料ＳのＸＺ画像データ２１をＹ軸方向について複数取得し、画像生成部８が複数のＸＺ画像データ２１に基づいて試料Ｓの輝度に関する輝度画像データ３１を生成すると共に、複数のＸＺ画像データ２１のそれぞれの輝度値を二値化して複数の二値化ＸＺ画像データ２５を生成し、複数の二値化ＸＺ画像データ２５に基づいて試料Ｓの存在領域に関する領域画像データ３２を生成する。

Description

試料観察装置及び試料観察方法
　本開示は、試料観察装置及び試料観察方法に関する。
　細胞などの３次元立体構造を持つ試料の内部を観察する手法の一つとして、ＳＰＩＭ（Selective Plane Illumination Microscopy）が知られている。かかる手法に関する技術として、例えば特許文献１に記載の試料観察装置がある。この特許文献１の試料観察装置は、試料にＸＺ面で面状光を照射する照射光学系と、面状光の照射面に対して試料をＹ軸方向に走査する走査部と、照射面に対して傾斜する観察軸を有し、面状光の照射によって試料で発生した観察光を結像する結像光学系を備えている。この試料観察装置では、試料のＸＺ画像データをＹ軸方向について複数取得し、ＸＺ画像データにおける解析領域の輝度値をＺ方向に積算して生成したＸ画像データをＹ軸方向に結合して試料のＸＹ画像データを生成する。
特開２０１９－１８４４０１号公報
　上述のような試料観察装置では、背景光の輝度値のばらつきの影響を十分に低減した状態で試料の三次元情報の取得が可能となる。三次元情報からは、試料の種々の特徴量を解析することができるが、試料観察装置としては、測定動作の終了とほぼ同時に試料の解析結果が得られることが望ましい。そのため、試料のＸＺ画像データの取得から当該データに基づく試料の解析までに要する処理の高速化が求められている。
　本開示は、上記課題の解決のためになされたものであり、試料の解析までに要する処理の高速化が可能な試料観察装置及び試料観察方法を提供することを目的とする。
　本開示の一側面に係る試料観察装置は、試料に面状光をＸＺ面で照射する照射光学系と、面状光の照射面を通過するように試料をＹ軸方向に走査する走査部と、照射面に対して傾斜する観察軸を有し、面状光の照射によって試料で発生した観察光を結像する結像光学系と、結像光学系によって結合された観察光の光像に対応するＸＺ画像データを複数取得する画像取得部と、画像取得部によって取得された複数のＸＺ画像データに基づいて試料の観察画像データを生成する画像生成部と、観察画像データに基づいて試料に関する情報を抽出し、試料に関する解析を実行する解析部と、を備え、画像取得部は、ＸＺ画像データをＹ軸方向について複数取得し、画像生成部は、複数のＸＺ画像データに基づいて試料の輝度に関する輝度画像データを生成すると共に、複数のＸＺ画像データのそれぞれの輝度値を二値化して複数の二値化ＸＺ画像データを生成し、複数の二値化ＸＺ画像データに基づいて試料の存在領域に関する領域画像データを生成する。
　この試料観察装置では、試料をＹ軸に走査しながら面状光をＸＺ面で照射し、試料で発生した観察光の光像に対応するＸＺ画像データを複数取得する。そして、複数のＸＺ画像データに基づいて観察画像データを生成し、観察画像データに基づいて試料に関する情報を抽出し、試料に関する解析を実行する。ここで、この試料観察装置では、観察画像データを生成する際、複数のＸＺ画像データに基づいて試料の輝度に関する輝度画像データを生成すると共に、複数のＸＺ画像データのそれぞれの輝度値を二値化して複数の二値化ＸＺ画像データを生成し、複数の二値化ＸＺ画像データに基づいて試料の存在領域に関する領域画像データを生成する。このように、生成した輝度画像データ及び領域画像データのうち必要な画像データを用いて解析を行うことで、処理するデータ量の大幅な削減が可能となり、試料のＸＺ画像データの取得から試料の解析までに要する処理の高速化が図られる。
　解析部は、領域画像データを構成する複数の二値化ＸＺ画像データのそれぞれの値をＺ軸方向に積算して厚さＸ画像データを生成し、厚さＸ画像データをＹ軸方向に結合して試料の厚さに関する厚さＸＹ画像データを生成してもよい。この場合、試料の厚さに関する情報を効率的に取得・解析することができる。
　解析部は、領域画像データを構成する複数の二値化ＸＺ画像データのそれぞれからＺ軸方向におけるトップ画素位置を抽出してトップ位置Ｘ画像データを生成し、トップ位置Ｘ画像データをＹ軸方向に結合して試料のトップ位置に関するトップ位置ＸＹ画像データを生成してもよい。この場合、解析部は、トップ位置ＸＹ画像データ及び輝度画像データに基づいて、試料のトップ位置における輝度値を示すトップ輝度ＸＹ画像データを生成してもよい。これにより、試料のトップ位置に関する情報を効率的に取得・解析することができる。
　解析部は、領域画像データを構成する複数の二値化ＸＺ画像データのそれぞれからＺ軸方向におけるボトム画素位置を抽出してボトム位置Ｘ画像データを生成し、ボトム位置Ｘ画像データをＹ軸方向に結合して試料のボトム位置に関するボトム位置ＸＹ画像データを生成してもよい。この場合、解析部は、ボトム位置ＸＹ画像データ及び輝度画像データに基づいて、試料のボトム位置における輝度値を示すボトム輝度ＸＹ画像データを生成してもよい。これにより、試料のボトム位置に関する情報を効率的に取得・解析することができる。
　解析部は、領域画像データを構成する複数の二値化ＸＺ画像データのそれぞれからＺ軸方向における特定の画素位置を抽出して特定位置Ｘ画像データを生成し、特定位置Ｘ画像データをＹ軸方向に結合して試料の特定位置に関する特定位置ＸＹ画像データを生成してもよい。この場合、解析部は、特定位置ＸＹ画像データ及び輝度画像データに基づいて、試料の特定位置における輝度値を示す特定輝度ＸＹ画像データを生成してもよい。これにより、試料の特定位置に関する情報を効率的に取得・解析することができる。
　解析部は、輝度画像データを構成する複数のＸＺ画像データのそれぞれの輝度値をＺ軸方向に積算して積算輝度Ｘ画像データを生成し、積算輝度Ｘ画像データをＹ軸方向に結合して試料の積算輝度に関する積算輝度ＸＹ画像データを生成してもよい。この場合、積算輝度Ｘ画像データでは、１画素に含まれる背景光のＺ軸方向成分を一定とすることができるため、背景光の輝度値のばらつきの影響を低減できる。したがって、積算輝度Ｘ画像データをＹ軸方向に結合して得られる積算輝度ＸＹ画像データにおいても、背景光の影響を十分に低減することが可能となる。
　解析部は、輝度画像データを構成する複数のＸＺ画像データのそれぞれからＺ軸方向における最大輝度値を抽出して最大輝度Ｘ画像データを生成し、最大輝度Ｘ画像データをＹ軸方向に結合して試料の最大輝度値に関する最大輝度ＸＹ画像データを生成してもよい。この場合、Ｚ軸方向における試料の最大輝度値の分布に関する情報を効率的に取得・解析することができる。
　解析部は、輝度画像データを構成する複数のＸＺ画像データのそれぞれからＺ軸方向における最小輝度値を抽出して最小輝度Ｘ画像データを生成し、最小輝度Ｘ画像データをＹ軸方向に結合して試料の最小輝度値に関する最小輝度ＸＹ画像データを生成してもよい。この場合、Ｚ軸方向における試料の最小輝度値の分布に関する情報を効率的に取得・解析することができる。
　画像取得部は、複数の波長の観察光の光像に対応するＸＺ画像データをそれぞれ複数取得し、画像生成部は、複数の波長のうちの一の波長の観察光の光像に対応する複数のＸＺ画像データに基づいて試料の輝度に関する輝度画像データを生成すると共に、複数の波長のうちの他の波長の観察光の光像に対応する複数のＸＺ画像データのそれぞれの輝度値を二値化して複数の二値化ＸＺ画像データを生成し、複数の二値化ＸＺ画像データに基づいて試料の存在領域に関する領域画像データを生成してもよい。この場合、例えば光像を得やすい波長の観察光を用いて領域画像データを生成し、試料の存在領域に関する領域画像データを生成することで、光像を得にくい波長の観察光を用いた場合の解析に、当該領域画像データから得られる情報を適用することが可能となる。
　画像取得部は、複数の波長の観察光の光像に対応するＸＺ画像データをそれぞれ複数取得し、画像生成部は、複数の波長のうちの一の波長の観察光の光像に対応する複数のＸＺ画像データのそれぞれの輝度値を二値化して得られる複数の第１の二値化ＸＺ画像データを生成し、第１の二値化ＸＺ画像データに基づいて試料の輝度に関する輝度画像データを生成すると共に、複数の波長のうちの別の波長の観察光の光像に対する複数のＸＺ画像データのそれぞれの輝度値を二値化して得られる複数の第２の二値化ＸＺ画像データを生成し、複数の第２の二値化ＸＺ画像データに基づいて試料の存在領域に関する領域画像データを生成してもよい。この場合、例えば光像を得やすい波長の観察光を用いて領域画像データを生成し、試料の存在領域に関する領域画像データを生成することで、光像を得にくい波長の観察光を用いた場合の解析に、当該領域画像データから得られる情報を適用することが可能となる。
　本開示の一側面に係る試料観察方法は、試料に面状光をＸＺ面で照射する照射ステップと、面状光の照射面を通過するように試料をＹ軸方向に走査する走査ステップと、照射面に対して傾斜する観察軸を有する結像光学系を用い、面状光の照射によって試料で発生した観察光を結像する結像ステップと、結像光学系によって結像された観察光の光像に対応するＸＺ画像データを複数取得する画像取得ステップと、複数のＸＺ画像データに基づいて試料の観察画像データを生成する画像生成ステップと、観察画像データに基づいて試料に関する情報を抽出し、試料に関する解析を実行する解析ステップと、を備え、画像取得ステップでは、ＸＺ画像データをＹ軸方向について複数取得し、画像生成ステップでは、複数のＸＺ画像データに基づいて試料の輝度に関する輝度画像データを生成すると共に、複数のＸＺ画像データのそれぞれの輝度値を二値化して複数の二値化ＸＺ画像データを生成し、複数の二値化ＸＺ画像データに基づいて試料の存在領域に関する領域画像データを生成する。
　この試料観察方法では、試料をＹ軸に走査しながら面状光をＸＺ面で照射し、試料で発生した観察光の光像に対応するＸＺ画像データを複数取得する。そして、複数のＸＺ画像データに基づいて観察画像データを生成し、観察画像データに基づいて試料に関する情報を抽出し、試料に関する解析を実行する。ここで、この試料観察方法では、観察画像データを生成する際、複数のＸＺ画像データに基づいて試料の輝度に関する輝度画像データを生成すると共に、複数のＸＺ画像データのそれぞれの輝度値を二値化して複数の二値化ＸＺ画像データを生成し、複数の二値化ＸＺ画像データに基づいて試料の存在領域に関する領域画像データを生成する。このように、生成した輝度画像データ及び領域画像データのうち必要な画像データを用いて解析を行うことで、処理するデータ量の大幅な削減が可能となり、試料のＸＺ画像データの取得から試料の解析までに要する処理の高速化が図られる。
　解析ステップでは、領域画像データを構成する複数の二値化ＸＺ画像データのそれぞれの値をＺ軸方向に積算して厚さＸ画像データを生成し、厚さＸ画像データをＹ軸方向に結合して試料の厚さに関する厚さＸＹ画像データを生成してもよい。この場合、試料の厚さに関する情報を効率的に取得・解析することができる。
　解析ステップでは、領域画像データを構成する複数の二値化ＸＺ画像データのそれぞれからＺ軸方向におけるトップ画素位置を抽出してトップ位置Ｘ画像データを生成し、トップ位置Ｘ画像データをＹ軸方向に結合して試料のトップ位置に関するトップ位置ＸＹ画像データを生成してもよい。この場合、解析ステップでは、トップ位置ＸＹ画像データ及び輝度画像データに基づいて、試料のトップ位置における輝度値を示すトップ輝度ＸＹ画像データを生成してもよい。これにより、試料のトップ位置に関する情報を効率的に取得・解析することができる。
　解析ステップは、領域画像データを構成する複数の二値化ＸＺ画像データのそれぞれからＺ軸方向におけるボトム画素位置を抽出してボトム位置Ｘ画像データを生成し、ボトム位置Ｘ画像データをＹ軸方向に結合して試料のボトム位置に関するボトム位置ＸＹ画像データを生成してもよい。この場合、解析ステップでは、ボトム位置ＸＹ画像データ及び輝度画像データに基づいて、試料のボトム位置における輝度値を示すボトム輝度ＸＹ画像データを生成してもよい。これにより、試料のボトム位置に関する情報を効率的に取得・解析することができる。
　解析ステップでは、領域画像データを構成する複数の二値化ＸＺ画像データのそれぞれからＺ軸方向における特定の画素位置を抽出して特定位置Ｘ画像データを生成し、特定位置Ｘ画像データをＹ軸方向に結合して試料の特定位置に関する特定位置ＸＹ画像データを生成してもよい。この場合、解析ステップでは、特定位置ＸＹ画像データ及び輝度画像データに基づいて、試料の特定位置における輝度値を示す特定輝度ＸＹ画像データを生成してもよい。これにより、試料の特定位置に関する情報を効率的に取得・解析することができる。
　解析部ステップでは、輝度画像データを構成する複数のＸＺ画像データのそれぞれの輝度値をＺ軸方向に積算して積算輝度Ｘ画像データを生成し、積算輝度Ｘ画像データをＹ軸方向に結合して試料の積算輝度に関する積算輝度ＸＹ画像データを生成してもよい。この場合、積算輝度Ｘ画像データでは、１画素に含まれる背景光のＺ軸方向成分を一定とすることができるため、背景光の輝度値のばらつきの影響を低減できる。したがって、積算輝度Ｘ画像データをＹ軸方向に結合して得られる積算輝度ＸＹ画像データにおいても、背景光の影響を十分に低減することが可能となる。
　解析ステップでは、輝度画像データを構成する複数のＸＺ画像データのそれぞれからＺ軸方向における最大輝度値を抽出して最大輝度Ｘ画像データを生成し、最大輝度Ｘ画像データをＹ軸方向に結合して試料の最大輝度値に関する最大輝度ＸＹ画像データを生成してもよい。この場合、Ｚ軸方向における試料の最大輝度値の分布に関する情報を効率的に取得・解析することができる。
　解析ステップでは、輝度画像データを構成する複数のＸＺ画像データのそれぞれからＺ軸方向における最小輝度値を抽出して最小輝度Ｘ画像データを生成し、最小輝度Ｘ画像データをＹ軸方向に結合して試料の最小輝度値に関する最小輝度ＸＹ画像データを生成してもよい。この場合、Ｚ軸方向における試料の最小輝度値の分布に関する情報を効率的に取得・解析することができる。
　画像取得ステップでは、複数の波長の前記観察光の光像に対応するＸＺ画像データをそれぞれ複数取得し、画像生成ステップでは、複数の波長のうちの一の波長の観察光の光像に対応する複数のＸＺ画像データに基づいて試料の輝度に関する輝度画像データを生成すると共に、複数の波長のうちの他の波長の観察光の光像に対応する複数のＸＺ画像データのそれぞれの輝度値を二値化して複数の二値化ＸＺ画像データを生成し、複数の二値化ＸＺ画像データに基づいて試料の存在領域に関する領域画像データを生成してもよい。この場合、例えば光像を得やすい波長の観察光を用いて領域画像データを生成し、試料の存在領域に関する領域画像データを生成することで、光像を得にくい波長の観察光を用いた場合の解析に、当該領域画像データから得られる情報を適用することが可能となる。
　画像取得ステップでは、複数の波長の観察光の光像に対応するＸＺ画像データをそれぞれ複数取得し、画像生成ステップでは、複数の波長のうちの一の波長の観察光の光像に対応する複数のＸＺ画像データのそれぞれの輝度値を二値化して得られる複数の第１の二値化ＸＺ画像データを生成し、第１の二値化ＸＺ画像データに基づいて試料の輝度に関する輝度画像データを生成すると共に、複数の波長のうちの他の波長の観察光の光像に対する複数のＸＺ画像データのそれぞれの輝度値を二値化して得られる複数の第２の二値化ＸＺ画像データを生成し、複数の第２の二値化ＸＺ画像データに基づいて試料の存在領域に関する領域画像データを生成してもよい。この場合、例えば光像を得やすい波長の観察光を用いて領域画像データを生成し、試料の存在領域に関する領域画像データを生成することで、光像を得にくい波長の観察光を用いた場合の解析に、当該領域画像データから得られる情報を適用することが可能となる。
　本開示によれば、試料の解析までに要する処理の高速化が可能となる。
試料観察装置の一実施形態を示す概略構成図である。 試料の近傍を示す要部拡大図である。 輝度画像データの生成の様子を示す概略図である。 領域画像データの生成の様子を示す概略図である。 厚さＸＹ画像データの生成の様子を示す概略図である。 トップ位置ＸＹ画像データ及びトップ輝度ＸＹ画像データの生成の様子を示す概略図である。 ボトム位置ＸＹ画像データ及びボトム輝度ＸＹ画像データの生成の様子を示す概略図である。 特定位置ＸＹ画像データ及び特定輝度ＸＹ画像データの生成の様子を示す概略図である。 積算輝度ＸＹ画像データの生成の様子を示す概略図である。 最大輝度ＸＹ画像データの生成の様子を示す概略図である。 最小輝度ＸＹ画像データの生成の様子を示す概略図である。 試料観察方法の一例を示すフローチャートである。 解析ステップの詳細を示す図である。 ＸＺ画像データに基づく観察画像データの生成の一例を示す概略図である。 ＸＺ画像データに基づく観察画像データの生成の別例を示す概略図である。 ＸＺ画像データに基づく観察画像データの生成の更なる別例を示す概略図である。 ＸＺ画像データに基づく観察画像データの生成の更なる別例を示す概略図である。
　以下、図面を参照しながら、本開示の一側面に係る試料観察装置及び試料観察方法の好適な実施形態について詳細に説明する。
　図１は、試料観察装置の一実施形態を示す概略構成図である。この試料観察装置１は、面状光Ｌ２を試料Ｓに照射し、試料Ｓの内部で発生した観察光（例えば蛍光又は散乱光など）を結像面に結像させて試料Ｓ内部の観察画像データを取得する装置である。この種の試料観察装置１としては、スライドガラスに保持される試料Ｓの画像を取得し表示するスライドスキャナ、あるいはマイクロプレートに保持される試料Ｓの画像データを取得し、画像データを解析するプレートリーダなどがある。試料観察装置１は、図１に示すように、光源２と、照射光学系３と、走査部４と、結像光学系５と、画像取得部６と、コンピュータ７とを備えて構成されている。
　観察対象となる試料Ｓとしては、例えばヒト或いは動物の細胞、組織、臓器、動物或いは植物自体、植物の細胞、組織などが挙げられる。これらの試料Ｓは、例えばフルオレセインーデキストラン（励起波長：４９４ｎｍ／蛍光波長：５２１ｎｍ）、テトラメチルローダミン（励起波長：５５５ｎｍ／蛍光波長：５８０ｎｍ）などの蛍光材料によって染色されている。なお、試料Ｓは、複数の蛍光物質によって染色されてもよい。また、試料Ｓは、溶液、ゲル、或いは試料Ｓとは屈折率の異なる物質に含まれていてもよい。
　光源２は、試料Ｓに照射される光Ｌ１を出力する光源である。光源２としては、例えばレーザダイオード、固体レーザ光源といったレーザ光源が挙げられる。また、光源２は、発光ダイオード、スーパールミネッセントダイオード、ランプ系光源であってもよい。光源２から出力された光Ｌ１は、照射光学系３に導光される。
　照射光学系３は、光源２から出力された光Ｌ１を面状光Ｌ２に整形し、整形された面状光Ｌ２を光軸Ｐ１に沿って試料Ｓに照射する光学系である。以下の説明では、照射光学系３の光軸Ｐ１を面状光Ｌ２の光軸という場合もある。照射光学系３は、例えばシリンドリカルレンズ、アキシコンレンズ、或いは空間光変調器などの光整形素子を含んで構成され、光源２に対して光学的に結合されている。照射光学系３は、対物レンズを含んで構成されていてもよい。照射光学系３によって形成された面状光Ｌ２は、試料Ｓに照射される。面状光Ｌ２が照射された試料Ｓでは、面状光Ｌ２の照射面Ｒにおいて観察光Ｌ３が発生する。観察光Ｌ３は、例えば面状光Ｌ２によって励起された蛍光、面状光Ｌ２の散乱光、或いは面状光Ｌ２の拡散反射光である。
　試料Ｓの厚さ方向に観察を行う場合、分解能を考慮して、面状光Ｌ２は、厚さ２ｍｍ以下の薄い面状光であることが好ましい。また、試料Ｓの厚さが非常に小さい場合、すなわち、後述するＺ方向解像度以下の厚さの試料Ｓを観察する場合には、面状光Ｌ２の厚さは分解能に影響しない。したがって、厚さ２ｍｍを超える面状光Ｌ２を用いてもよい。
　走査部４は、面状光Ｌ２の照射面Ｒに対して試料Ｓを走査する機構である。本実施形態では、走査部４は、試料Ｓを保持する試料容器１１を移動させる移動ステージ１２によって構成されている。試料容器１１は、例えばマイクロプレート、スライドガラス、シャーレ等であり、面状光Ｌ２及び観察光Ｌ３に対して透明性を有している。本実施形態では、マイクロプレートを例示する。試料容器１１は、図２に示すように、試料Ｓが配置される複数のウェル１３が一直線状（或いはマトリクス状）に配列された板状の本体部１４と、本体部１４の一面側においてウェル１３の一端側を塞ぐように設けられた板状の透明部材１５とを有している。
　ウェル１３内への試料Ｓの配置にあたり、ウェル１３内には、試料Ｓと共に培養液、蛍光指示薬、バッファ等の溶液が充填されている。溶液からは、自家蛍光が発せられる。透明部材１５は、ウェル１３内に配置された試料Ｓに対する面状光Ｌ２の入力面１５ａを有している。透明部材１５の材質は、面状光Ｌ２に対する透明性を有する部材であれば特に限定はされないが、例えばガラス、石英、或いは合成樹脂である。試料容器１１は、入力面１５ａが面状光Ｌ２の光軸Ｐ１と直交するように移動ステージ１２に対して配置されている。なお、ウェル１３の他端側は、外部に開放された状態となっている。試料容器１１は、移動ステージ１２に対して固定されていてもよい。
　移動ステージ１２は、図１に示すように、コンピュータ７からの制御信号に従い、予め設定された方向に試料容器１１を走査する。本実施形態では、移動ステージ１２は、面状光Ｌ２の光軸Ｐ１と直交する平面内の一方向に試料容器１１を走査する。以下の説明では、面状光Ｌ２の光軸Ｐ１方向をＺ軸、移動ステージ１２による試料容器１１の走査方向をＹ軸、面状光Ｌ２の光軸Ｐ１と直交する平面内においてＹ軸に直交する方向をＸ軸と称する。試料Ｓに対する面状光Ｌ２の照射面Ｒは、ＸＺ平面内の面となる。
　結像光学系５は、面状光Ｌ２の照射によって試料Ｓで発生した観察光Ｌ３を結像する光学系である。結像光学系５は、図２に示すように、例えば対物レンズ１６を含んで構成されている。結像光学系５の光軸は、観察光Ｌ３の観察軸Ｐ２となっている。この結像光学系５の観察軸Ｐ２は、試料Ｓにおける面状光Ｌ２の照射面Ｒに対して傾斜角度θをもって傾斜している。傾斜角度θは、試料Ｓに向かう面状光Ｌ２の光軸Ｐ１と観察軸Ｐ２とがなす角とも一致する。傾斜角度θは、例えば１０°～８０°となっている。観察画像の解像度を向上させる観点から、傾斜角度θは、２０°～７０°であることが好ましい。また、観察画像の解像度の向上及び視野の安定性の観点から、傾斜角度θは、３０°～６５°であることが更に好ましい。
　画像取得部６は、図１に示すように、結像光学系５によって結像された観察光Ｌ３による光像に対応するＸＺ画像データを複数取得する部分である。画像取得部６は、例えば観察光Ｌ３による光像を撮像する撮像装置を含んで構成されている。撮像装置としては、例えばＣＭＯＳイメージセンサ、ＣＣＤイメージセンサといったエリアイメージセンサが挙げられる。これらのエリアイメージセンサは、結像光学系５による結像面に配置され、例えばグローバルシャッタ或いはローリングシャッタによって光像を撮像する。エリアイメージセンサは、試料Ｓの二次元画像のデータであるＸＺ画像データ２１（図３参照）をＹ軸方向について複数取得し、コンピュータ７に出力する。
　コンピュータ７は、物理的には、ＲＡＭ、ＲＯＭ等のメモリ、及びＣＰＵ等のプロセッサ（演算回路）、通信インターフェイス、ハードディスク等の格納部、ディスプレイ等の表示部を備えて構成されている。かかるコンピュータ７としては、例えばパーソナルコンピュータ、クラウドサーバ、スマートデバイス（スマートフォン、タブレット端末など）などが挙げられる。コンピュータ７は、メモリに格納されるプログラムをコンピュータシステムのＣＰＵで実行することにより、光源２及び移動ステージ１２の動作を制御するコントローラ、試料Ｓの観察画像データを生成する画像生成部８、及び観察画像データに基づいて試料Ｓの解析を行う解析部１０として機能する。
　コントローラとしてのコンピュータ７は、ユーザによる測定開始の操作の入力を受け、光源２、移動ステージ１２、及び画像取得部６を同期させて駆動する。この場合、コンピュータ７は、移動ステージ１２による試料Ｓの移動中、光源２が光Ｌ１を連続的に出力するように光源２を制御してもよく、画像取得部６による撮像に合わせて光源２による光Ｌ１の出力のＯＮ／ＯＦＦを制御してもよい。また、照射光学系３が光シャッタ（不図示）を備えている場合、コンピュータ７は、当該光シャッタの制御によって試料Ｓへの面状光Ｌ２の照射をＯＮ／ＯＦＦさせてもよい。
　また、画像生成部８としてのコンピュータ７は、画像取得部６によって生成された複数のＸＺ画像データ２１に基づいて、試料Ｓの観察画像データを生成する。具体的には、画像生成部８は、画像取得部６から出力された複数のＸＺ画像データ２１を受け取ると、これらの複数のＸＺ画像データ２１に基づいて、輝度画像データ３１及び領域画像データ３２の２種類のデータを試料Ｓの観察画像データ２３として生成する。
　輝度画像データ３１の生成にあたっては、画像生成部８は、図３に示すように、複数のＸＺ画像データ２１を一組として輝度画像データ３１を生成する。この輝度画像データ３１は、試料Ｓの３次元上の輝度分布情報を有する。画像生成部８は、生成した輝度画像データ３１を解析部１０に出力する。
　画像生成部８は、輝度画像データ３１の生成にあたって、背景光の輝度値（ここでは、試料Ｓが配置されるウェル１３内の溶液に起因する輝度値）を除去する処理を実行してもよい。この場合、画像生成部８は、ＸＺ画像データ２１のそれぞれにおいて試料Ｓに相当する輝度領域を特定し、特定した輝度領域以外の領域を構成する画素の値を０にすることによって背景光の輝度値を除去する。また、画像生成部８は、輝度画像データ３１の生成にあたって、背景光の輝度値を減算する処理を実行してもよい。この場合、ＸＺ画像データ２１のそれぞれにおいて輝度領域以外の領域を構成する画素の値から背景光の輝度値を減算する。背景光の影響を除去又は減算する処理を実行する場合、試料Ｓからの観察光Ｌ３を高い再現性で測定することが可能となる。
　領域画像データ３２の生成にあたっては、画像生成部８は、図４に示すように、複数のＸＺ画像データ２１のそれぞれの輝度値を二値化し、複数の二値化ＸＺ画像データ２５を生成する。輝度値の二値化では、画像生成部８は、例えば試料Ｓの種類毎に予め輝度値の閾値を保有し、当該閾値以上の画素値を有する画素の画素値を１とし、閾値未満の画素値を有する画素の画素値を０とすることで、二値化ＸＺ画像データ２５を生成する。かかる輝度値の二値化により、二値化ＸＺ画像データ２５は、ピクセルの画素値が１である領域に試料Ｓが存在することを示し、ピクセルの画素値が０である領域に試料Ｓが存在しないことを示すデータとなる。画像生成部８は、これらの複数の二値化ＸＺ画像データ２５を一組として領域画像データ３２を生成する。この領域画像データ３２は、試料Ｓの３次元上の存在領域に関する情報を有する。画像生成部８は、生成した領域画像データ３２を解析部１０に出力する。なお、領域画像データ３２の生成にあたっては、複数のＸＺ画像データ２１のそれぞれの輝度値を多値化して複数の二値化ＸＺ画像データ２５を生成してもよい。
　解析部１０としてのコンピュータ７は、画像生成部８によって生成された観察画像データ２３に基づいて試料Ｓの解析を実行し、解析結果を生成する。具体的には、解析部１０は、画像生成部８から受け取った輝度画像データ３１及び／又は領域画像データ３２に基づいて試料Ｓの領域情報及び輝度情報を抽出する。ここでは、解析部１０は、領域情報及び輝度情報の抽出にあたり、試料ＳのＺ軸方向の厚さ、Ｚ軸方向のトップ位置／トップ位置の輝度、Ｚ軸方向のボトム位置／ボトム位置の輝度、Ｚ軸方向の特定位置／特定位置の輝度、Ｚ軸方向の積算輝度／最大輝度／最小輝度の少なくとも一つを含む情報を輝度画像データ３１及び／又は領域画像データ３２に基づいて抽出する。
　解析部１０は、試料ＳのＺ軸方向の厚さに関する情報を抽出する場合、まず、図５（ａ）に示すように、複数の二値化ＸＺ画像データ２５のそれぞれの画素値をＺ軸方向に積算して厚さＸ画像データ４１を生成する。この厚さＸ画像データ４１の各画素には、図５（ｂ）に示すように、Ｚ軸方向の画素値の積算値が含まれる。図５の例では、Ｘ軸方向の中央の画素値が１０、その両隣の画素値が９…といった具合に厚さＸ画像データ４１の各画素が積算値を有している。
　二値化ＸＺ画像データ２５では、試料Ｓが存在する位置の画素の値が１、試料Ｓが存在しない位置の画素の値が０となっている。このため、厚さＸ画像データ４１における各画素の積算値は、その画素のＸ軸方向の座標におけるＺ軸方向の試料Ｓの存在領域（すなわち、Ｚ軸方向の試料Ｓの厚さ）を示すこととなる。一画素当たりの実際の厚さ情報が得られれば、各画素の積算値に一画素当たりの厚さを乗じることで、Ｚ軸方向についての試料Ｓの厚さを求めることができる。これらの厚さＸ画像データ４１をＹ軸方向に結合することにより得られた厚さＸＹ画像データ４２では、各ＸＹ平面における試料Ｓの厚さに関する情報が画素値となっているため、Ｚ軸方向の試料Ｓの厚さが等高線のように表されることとなる。
　解析部１０は、試料ＳのＺ軸方向のトップ位置に関する情報を抽出する場合、まず、図６（ａ）に示すように、複数の二値化ＸＺ画像データ２５を参照し、画素値が１である画素のうち、最もＺ軸方向の座標値の大きい画素の座標値（トップ画素位置）を試料ＳのＺ軸方向のトップ位置として抽出する。図６（ａ）の例では、二値化ＸＺ画像データ２５は、Ｚ軸方向に１０２４の画素を有し、下側の画素から順に１から１０２４までの座標値が付与されている。解析部１０は、二値化ＸＺ画像データ２５のＸ軸方向の各座標において画素値をＺ軸方向に検出する。そして、画素値が１以上の画素のうちで最も座標値が大きい画素の座標値を抽出してトップ位置Ｘ画像データ４３を生成する。
　複数のＸＺ画像データ２１のそれぞれの輝度値を多値化して複数の二値化ＸＺ画像データ２５を得る場合、複数の二値化ＸＺ画像データ２５のうち、画素値が１以上の画素は、試料Ｓが存在する画素を示す。したがって、画素値が１以上の画素のうち、最もＺ軸方向の座標値の大きい画素の座標値（トップ画素位置）を試料ＳのＺ軸方向のトップ位置として抽出してもよい。
　このトップ位置Ｘ画像データ４３の各画素には、図６（ｂ）に示すように、画素値が１以上の画素のうちで最も座標値が大きい画素の座標値が含まれる。図６（ｂ）の例では、Ｘ軸方向の中央の画素値が８５８、その両隣の画素値が８５７…といった具合にトップ位置Ｘ画像データ４３の各画素が座標値を有している。解析部１０は、二値化ＸＺ画像データ２５のそれぞれについてトップ位置Ｘ画像データ４３を生成し、これらをＹ軸方向に結合することにより、図６（ａ）に示すように、トップ位置ＸＹ画像データ４４を生成する。
　解析部１０は、トップ位置ＸＹ画像データ４４及び輝度画像データ３１（図３参照）に基づいて、図６（ｃ）に示すように、試料Ｓのトップ位置における輝度値を示すトップ輝度ＸＹ画像データ４４Ａを生成してもよい。この場合、解析部１０は、輝度画像データ３１の各画素に含まれる輝度値からトップ位置ＸＹ画像データ４４の画素値（座標値）に対応する輝度値を抽出し、トップ輝度ＸＹ画像データ４４Ａを生成する。なお、解析部１０は、トップ輝度ＸＹ画像データ４４Ａの生成にあたって、まず、輝度画像データ３１の各画素に含まれる輝度値からトップ位置Ｘ画像データ４３の画素値（座標値）に対応する輝度値を抽出し、トップ輝度Ｘ画像データ４３Ａ（図６（ｃ）参照）を生成してもよい。この場合、トップ輝度Ｘ画像データ４３ＡをＹ軸方向に結合することにより、トップ輝度ＸＹ画像データ４４Ａを生成することができる。解析部１０は、トップ位置ＸＹ画像データ４４或いはトップ輝度ＸＹ画像データ４４Ａを解析することにより、試料ＳにおけるＺ軸方向のトップ位置／トップ位置の輝度を抽出する。
　解析部１０は、試料ＳのＺ軸方向のボトム位置に関する情報を抽出する場合、まず、図７（ａ）に示すように、複数の二値化ＸＺ画像データ２５を参照し、画素値が１である画素のうち、最もＺ軸方向の座標値の小さい画素の座標値（ボトム画素位置）を試料ＳのＺ軸方向のボトム位置として抽出する。図７（ａ）の例では、図６（ａ）と同様、二値化ＸＺ画像データ２５は、Ｚ軸方向に１０２４の画素を有し、下側の画素から順に１から１０２４までの座標値が付与されている。解析部１０は、二値化ＸＺ画像データ２５のＸ軸方向の各座標において画素値をＺ軸方向に検出する。そして、画素値が１以上の画素のうちで最も座標値が小さい画素の座標値を抽出してボトム位置Ｘ画像データ４５を生成する。
　複数のＸＺ画像データ２１のそれぞれの輝度値を多値化して複数の二値化ＸＺ画像データ２５を得る場合、複数の二値化ＸＺ画像データ２５のうち、画素値が１以上の画素は、試料Ｓが存在する画素を示す。したがって、画素値が１以上の画素のうち、最もＺ軸方向の座標値の小さい画素の座標値（ボトム画素位置）を試料ＳのＺ軸方向のボトム位置として抽出してもよい。
　このボトム位置Ｘ画像データ４５の各画素には、図７（ｂ）に示すように、画素値が１以上の画素のうちで最も座標値が小さい画素の座標値が含まれる。図７（ｂ）の例では、Ｘ軸方向の中央の画素値が２５２、その両隣の画素値が２５３…といった具合にボトム位置Ｘ画像データ４５の各画素が座標値を有している。解析部１０は、二値化ＸＺ画像データ２５のそれぞれについてボトム位置Ｘ画像データ４５を生成し、これらをＹ軸方向に結合することにより、図７（ａ）に示すように、ボトム位置ＸＹ画像データ４６を生成する。
　解析部１０は、ボトム位置ＸＹ画像データ４６及び輝度画像データ３１（図３参照）に基づいて、図７（ｃ）に示すように、試料Ｓのボトム位置における輝度値を示すボトム輝度ＸＹ画像データ４６Ａを生成してもよい。この場合、解析部１０は、輝度画像データ３１の各画素に含まれる輝度値からボトム位置ＸＹ画像データ４６の画素値（座標値）に対応する輝度値を抽出し、ボトム輝度ＸＹ画像データ４６Ａを生成する。なお、解析部１０は、ボトム輝度ＸＹ画像データ４６Ａの生成にあたって、まず、輝度画像データ３１の各画素に含まれる輝度値からボトム位置Ｘ画像データ４５の画素値（座標値）に対応する輝度値を抽出し、ボトム輝度Ｘ画像データ４５Ａ（図７（ｃ）参照）を生成してもよい。この場合、ボトム輝度Ｘ画像データ４５ＡをＹ軸方向に結合することにより、ボトム輝度ＸＹ画像データ４６Ａを生成することができる。解析部１０は、ボトム位置ＸＹ画像データ４６或いはボトム輝度ＸＹ画像データ４６Ａを解析することにより、試料ＳにおけるＺ軸方向のボトム位置／ボトム位置の輝度を抽出する。
　解析部１０は、試料ＳのＺ軸方向の特定位置に関する情報を抽出する場合、まず、図８（ａ）に示すように、複数の二値化ＸＺ画像データ２５を参照し、Ｚ軸方向の特定の画素の座標値（画素位置）を試料ＳのＺ軸方向の特定位置として抽出する。ここでは、ボトム位置からトップ位置に向かって２００画素目となる位置が特定位置として設定されている。解析部１０は、二値化ＸＺ画像データ２５のＸ軸方向の各座標において画素値をＺ軸方向に検出する。そして、ボトム位置から２００画素目となる画素の座標値を抽出して特定位置Ｘ画像データ４７を生成する。
　この特定位置Ｘ画像データ４７の各画素には、図８（ｂ）に示すように、ボトム位置からトップ位置に向かって２００画素目となる画素の座標値が含まれる。図８（ｂ）の例では、Ｘ軸方向の中央の画素値が４５２、その両隣の画素値が４５３…といった具合に特定位置Ｘ画像データ４７の各画素が座標値を有している。解析部１０は、二値化ＸＺ画像データ２５のそれぞれについて特定位置Ｘ画像データ４７を生成し、これらをＹ軸方向に結合することにより、図８（ａ）に示すように、特定位置ＸＹ画像データ４８を生成する。
　解析部１０は、特定位置ＸＹ画像データ４８及び輝度画像データ３１（図３参照）に基づいて、図８（ｃ）に示すように、試料Ｓの特定位置における輝度値を示す特定輝度ＸＹ画像データ４８Ａを生成してもよい。この場合、解析部１０は、輝度画像データ３１の各画素に含まれる輝度値から特定位置ＸＹ画像データ４８の画素値（座標値）に対応する輝度値を抽出し、特定輝度ＸＹ画像データ４８Ａを生成する。なお、解析部１０は、特定輝度ＸＹ画像データ４８Ａの生成にあたって、まず、輝度画像データ３１の各画素に含まれる輝度値から特定位置Ｘ画像データ４７の画素値（座標値）に対応する輝度値を抽出し、特定輝度Ｘ画像データ４７Ａ（図８（ｃ）参照）を生成してもよい。この場合、特定輝度Ｘ画像データ４７ＡをＹ軸方向に結合することにより、特定輝度ＸＹ画像データ４８Ａを生成することができる。解析部１０は、特定位置ＸＹ画像データ４８或いは特定輝度ＸＹ画像データ４８Ａを解析することにより、試料ＳにおけるＺ軸方向のＺ軸方向の特定位置／特定位置の輝度を抽出する。
　なお、特定位置の設定に特に制限はなく、上述したボトム位置を基準とした設定に限られず、トップ位置を基準とした設定や、トップ位置とボトム位置との中央となる位置（厚み中心）を基準とした設定などを採用してもよい。また、Ｚ軸方向の同一の座標を特定位置として設定してもよい。さらに、トップ位置、ボトム位置、或いは厚み中心などの基準から厚みの所定の割合に相当する画素数分だけＺ軸方向に離間した画素の位置を特定位置としてもよい。特定位置を設定する際、他の測定条件（例えば別の励起波長の励起光での測定）により得られた画像データを参考にしてもよい。
　解析部１０は、試料ＳのＺ軸方向の積算輝度に関する情報を抽出する場合、図９に示すように、まず、複数のＸＺ画像データ２１のそれぞれの輝度値をＺ軸方向に積算して積算輝度Ｘ画像データ４９を生成する。次に、生成された積算輝度Ｘ画像データ４９をＹ軸方向に結合することにより、積算輝度ＸＹ画像データ５０を生成する。解析部１０は、積算輝度ＸＹ画像データ５０を解析することにより、試料ＳのＺ軸方向の積算輝度を抽出する。
　解析部１０は、試料ＳのＺ軸方向の最大輝度に関する情報を抽出する場合、図１０に示すように、複数のＸＺ画像データ２１のＸ軸方向の各座標において輝度値をＺ軸方向に検出し、Ｚ軸方向で最も輝度値が大きい画素の輝度値（最大輝度値）を抽出して最大輝度Ｘ画像データ５１を生成する。次に、生成された最大輝度Ｘ画像データ５１をＹ軸方向に結合することにより、最大輝度ＸＹ画像データ５２を生成する。解析部１０は、最大輝度ＸＹ画像データ５２を解析することにより、試料ＳのＺ軸方向の最大輝度を抽出する。
　解析部１０は、試料ＳのＺ軸方向の最小輝度に関する情報を抽出する場合、図１１に示すように、複数のＸＺ画像データ２１のＸ軸方向の各座標において輝度値をＺ軸方向に検出し、Ｚ軸方向で最も輝度値の小さい画素の輝度値（最小輝度値）を抽出して最小輝度Ｘ画像データ５３を生成する。次に、生成された最小輝度Ｘ画像データ５３をＹ軸方向に結合することにより、最小輝度ＸＹ画像データ５４を生成する。解析部１０は、最小輝度ＸＹ画像データ５４を解析することにより、試料ＳのＺ軸方向の最小輝度を抽出する。
　解析部１０は、以上のように抽出した試料ＳのＺ軸方向の厚さ、Ｚ軸方向のトップ位置／トップ位置の輝度、Ｚ軸方向のボトム位置／ボトム位置の輝度、Ｚ軸方向の特定位置／特定位置の輝度、Ｚ軸方向の積算輝度／最大輝度／最小輝度の少なくとも一つに基づいて試料Ｓ毎の特徴量を解析し、解析結果の格納、モニタ等への表示等を実行する。なお、解析部１０によって生成された各種の画像データは、必ずしもモニタ等への表示を行う必要はなく、解析部１０での試料Ｓ毎の特徴量についての解析結果のみをモニタ等に表示してもよい。
　次に、上述した試料観察装置１を用いた試料観察方法について説明する。図１２は、試料観察方法の一例を示すフローチャートである。同図に示すように、この試料観察方法は、照射ステップ（ステップＳ０１）、走査ステップ（ステップＳ０２）、結像ステップ（ステップＳ０３）、画像取得ステップ（ステップＳ０４）、画像生成ステップ（ステップＳ０５）、及び解析ステップ（ステップＳ０６）を備えている。
　照射ステップＳ０１では、試料Ｓに面状光Ｌ２を照射する。ユーザによって測定開始の操作が入力されると、コンピュータ７からの制御信号に基づいて光源２が駆動し、光源２から光Ｌ１が出力される。光源２から出力された光Ｌ１は、照射光学系３によって整形されて面状光Ｌ２となり、試料Ｓに照射される。
　走査ステップＳ０２では、面状光Ｌ２の照射面Ｒに対して試料Ｓを走査する。ユーザによって測定開始の操作が入力されると、コンピュータ７からの制御信号に基づいて、光源２の駆動と同期して移動ステージ１２が駆動する。これにより、試料容器１１がＹ軸方向に一定の速度で直線的に駆動し、面状光Ｌ２の照射面Ｒに対してウェル１３内の試料Ｓが走査される。
　結像ステップＳ０３では、照射面Ｒに対して傾斜する観察軸Ｐ２を有する結像光学系５を用い、面状光Ｌ２の照射によって試料Ｓで発生した観察光Ｌ３を画像取得部６の結像面に対して結像する。画像取得ステップＳ０４では、結像光学系５によって結像された観察光Ｌ３による光像に対応するＸＺ画像データ２１をＹ軸方向について複数取得する。複数のＸＺ画像データ２１は、画像取得部６から画像生成部８に順次出力される。
　画像生成ステップＳ０５では、複数のＸＺ画像データに基づいて試料Ｓの観察画像データを生成する。ここでは、画像取得ステップＳ０４で得られた複数のＸＺ画像データ２１に基づいて、輝度画像データ３１及び領域画像データ３２の２種類のデータを試料Ｓの観察画像データとして生成する。輝度画像データ３１は、複数のＸＺ画像データ２１を一組として生成する（図３参照）。また、領域画像データ３２は、複数のＸＺ画像データ２１のそれぞれの輝度値を二値化して複数の二値化ＸＺ画像データ２５を生成し、これらの二値化ＸＺ画像データ２５を一組として生成する（図４参照）。生成された輝度画像データ３１及び領域画像データ３２は、画像生成部８から解析部１０に出力される。
　解析ステップＳ０６では、より具体的には、図１３に示すように、解析画像生成ステップＳ０６ａと、解析情報抽出ステップＳ０６ｂとを実行する。解析画像生成ステップＳ０６ａでは、画像生成ステップＳ０５で生成された輝度画像データ３１及び領域画像データ３２に基づいて、各種のＸＹ画像データを生成する。ここでは、輝度画像データ３１に基づいて積算輝度ＸＹ画像データ５０、最大輝度ＸＹ画像データ５２、及び最小輝度ＸＹ画像データ５４が生成される。また、領域画像データ３２に基づいて二値化ＸＺ画像データ２５が生成され、当該二値化ＸＺ画像データ２５に基づいてトップ位置ＸＹ画像データ４４、ボトム位置ＸＹ画像データ４６、及び特定位置ＸＹ画像データ４８が生成される。さらに、輝度画像データ３１及び領域画像データ３２に基づいてトップ輝度ＸＹ画像データ４４Ａ、ボトム輝度ＸＹ画像データ４６Ａ、及び特定輝度ＸＹ画像データ４８Ａが生成される。
　解析情報抽出ステップＳ０６ｂでは、解析画像生成ステップＳ０６ａで生成した各種のＸＹ画像データを解析する。解析情報抽出ステップＳ０６ｂでは、Ｚ軸方向のトップ位置、Ｚ軸方向のボトム位置、及びＺ軸方向の特定位置の少なくとも一つを含む領域情報を抽出する。また、解析情報抽出ステップＳ０６ｂでは、Ｚ軸方向の積算輝度、最大輝度、最小輝度、Ｚ軸方向のトップ位置の輝度、Ｚ軸方向のボトム位置の輝度、Ｚ軸方向の特定位置の輝度の少なくとも一つを含む輝度情報を抽出する。そして、抽出した領域情報及び輝度情報に基づいて試料Ｓ毎の特徴量を解析し、解析結果の格納、モニタ等への表示等を実行する。生成した各種のＸＹ画像データの格納、モニタ等へ表示等を実行してもよい。
　以上説明したように、この試料観察装置１では、試料ＳをＹ軸に走査しながら面状光Ｌ２をＸＺ面で照射し、試料Ｓで発生した観察光Ｌ３の光像に対応するＸＺ画像データ２１を複数取得する。そして、複数のＸＺ画像データ２１に基づいて観察画像データ２３を生成し、観察画像データ２３に基づいて試料Ｓに関する情報を抽出し、試料Ｓに関する解析を実行する。ここで、この試料観察装置では、観察画像データ２３を生成する際、複数のＸＺ画像データ２１に基づいて試料Ｓの輝度に関する輝度画像データ３１を生成すると共に、複数のＸＺ画像データ２１のそれぞれの輝度値を二値化して複数の二値化ＸＺ画像データ２５を生成し、複数の二値化ＸＺ画像データ２５に基づいて試料Ｓの存在領域に関する領域画像データ３２を生成する。このように、生成した輝度画像データ３１及び領域画像データ３２のうち必要な画像データを用いて解析を行うことで、処理するデータ量の大幅な削減が可能となり、試料のＸＺ画像データ２１の取得から試料の解析までに要する処理の高速化が図られる。
　例えば試料Ｓについて複数の蛍光を観察する場合、蛍光物質の種類によって観察光Ｌ３の光像を得やすいものと得にくい場合ものとが存在することが想定される。このような場合、観察光Ｌ３の光像を得やすい蛍光を用いて領域画像データ３２を生成し、試料Ｓの領域情報を抽出することで、観察光Ｌ３の光像を得にくい蛍光を用いた場合の試料Ｓの解析に当該領域情報を適用することが可能となる。
　具体的には、試料観察装置１では、試料ＳをＹ軸に走査しながら面状光Ｌ２をＸＺ面で照射し、試料Ｓで発生した一の波長λａ（例えば光像を得やすい波長）の観察光Ｌ３、及び試料Ｓで発生した別の波長λｂ（例えば光像を得にくい波長）の観察光Ｌ３に基づいて、ＸＺ画像データ２１をそれぞれ複数取得する。次に、一の波長λａの観察光Ｌ３に対応する複数のＸＺ画像データ２１に基づいて観察画像データ２３Ａを生成し、当該観察画像データ２３Ａに基づいて試料Ｓに関する情報（領域情報及び輝度情報）Ｘを抽出する。そして、別の波長λｂの観察光Ｌ３に対応する複数のＸＺ画像データ２１に基づいて観察画像データ２３Ｂを生成し、先に抽出した情報Ｘを用いることにより、観察画像データ２３Ｂに基づく試料Ｓの解析を実行する。
　図１４の例では、試料観察装置１は、試料Ｓで発生した一の波長λａの観察光Ｌ３ａの複数のＸＺ画像データ２１ａを取得すると共に、試料Ｓで発生した他の波長λｂの観察光Ｌ３ｂの複数のＸＺ画像データ２１ｂを取得する。次に、他の波長λｂの観察光Ｌ３ｂの各ＸＺ画像データ２１ｂを二値化し、複数の二値化ＸＺ画像データ２５ｂを生成する。そして、この複数の二値化ＸＺ画像データ２５ｂに基づいて、試料Ｓの存在領域に関する領域画像データ３２ｂを生成する。図１４の例では、各二値化ＸＺ画像データ２５ｂの全体を領域画像データ３２ｂとしている。一の波長λａの観察光Ｌ３ａの各ＸＺ画像データ２１ａから領域画像データ３２ｂに対応する画素を抽出し、観察画像データ２３Ａを生成している。
　図１５の例では、試料Ｓで発生した他の波長λｂの観察光Ｌ３ｂのＸＺ画像データ２１ｂから得られた各二値化ＸＺ画像データ２５ｂのボトム領域のみを選択的に領域画像データ３２ｂとしている。一の波長λａの観察光Ｌ３ａに対応する各ＸＺ画像データ２１ａからボトム領域に対応する画素を抽出し、観察画像データ２３Ａを生成している。図１６の例では、試料Ｓで発生した他の波長λｂの観察光Ｌ３ｂのＸＺ画像データ２１ｂから得られた各二値化ＸＺ画像データ２５ｂに基づく任意領域（ここではセンター領域）を選択的に領域画像データ３２ｂとしている。一の波長λａの観察光Ｌ３ａに対応する各ＸＺ画像データ２１ａから任意領域に対応する画素を抽出し、観察画像データ２３Ａを生成している。
　図１７の例では、試料観察装置１は、試料Ｓで発生した一の波長λａの観察光Ｌ３ａの複数のＸＺ画像データ２１ａを取得すると共に、試料Ｓで発生した他の波長λｂの観察光Ｌ３ｂの複数のＸＺ画像データ２１ｂを取得する。次に、一の波長λａの観察光Ｌ３ａの各ＸＺ画像データ２１ａを二値化し、輝度画像データとしての複数の第１の二値化ＸＺ画像データ２５ａを生成する。また、他の波長λｂの観察光Ｌ３ｂの各ＸＺ画像データ２１ｂを二値化し、複数の第２の二値化ＸＺ画像データ２５ｂを生成する。そして、この複数の第２の二値化ＸＺ画像データ２５ｂに基づいて、試料Ｓの存在領域に関する領域画像データ３２ｂを生成する。図１７の例では、各第２の二値化ＸＺ画像データ２５ｂに基づく任意領域（ここではセンター領域）を選択的に領域画像データ３２ｂとしている。そして、一の波長λａの観察光Ｌ３ａに対応する各第１の二値化ＸＺ画像データ２５ａから領域画像データ３２ｂに対応する画素を抽出し、観察画像データ２３Ａを生成している。
　また、試料観察装置１では、領域画像データ３２を構成する複数の二値化ＸＺ画像データ２５のそれぞれの値をＺ軸方向に積算して厚さＸ画像データ４１を生成し、厚さＸ画像データ４１をＹ軸方向に結合して試料の厚さに関する厚さＸＹ画像データ４２を生成する。これにより、試料Ｓの厚さに関する情報を効率的に取得・解析することができる。
　また、試料観察装置１では、領域画像データ３２を構成する複数の二値化ＸＺ画像データ２５のそれぞれからＺ軸方向におけるトップ画素位置を抽出してトップ位置Ｘ画像データ４３を生成し、トップ位置Ｘ画像データ４３をＹ軸方向に結合して試料Ｓのトップ位置に関するトップ位置ＸＹ画像データ４４を生成する。また、トップ位置ＸＹ画像データ４４及び輝度画像データ３１に基づいて、試料Ｓのトップ位置における輝度値を示すトップ輝度ＸＹ画像データ４４Ａを生成する。これにより、試料Ｓのトップ位置に関する情報を効率的に取得・解析することができる。
　また、試料観察装置１では、領域画像データ３２を構成する複数の二値化ＸＺ画像データ２５のそれぞれからＺ軸方向におけるボトム画素位置を抽出してボトム位置Ｘ画像データ４５を生成し、ボトム位置Ｘ画像データ４５をＹ軸方向に結合して試料Ｓのボトム位置に関するボトム位置ＸＹ画像データ４６を生成する。また、ボトム位置ＸＹ画像データ４６及び輝度画像データ３１に基づいて、試料Ｓのボトム位置における輝度値を示すボトム輝度ＸＹ画像データ４６Ａを生成する。これにより、試料Ｓのボトム位置に関する情報を効率的に取得・解析することができる。
　また、試料観察装置１では、領域画像データ３２を構成する複数の二値化ＸＺ画像データ２５のそれぞれからＺ軸方向における特定の画素位置を抽出して特定位置Ｘ画像データ４７を生成し、特定位置Ｘ画像データ４７をＹ軸方向に結合して試料Ｓの特定位置に関する特定位置ＸＹ画像データ４８を生成する。また、特定位置ＸＹ画像データ４８及び輝度画像データ３１に基づいて、試料Ｓの特定位置における輝度値を示す特定輝度ＸＹ画像データ４８Ａを生成する。これにより、試料Ｓの特定位置に関する情報を効率的に取得・解析することができる。
　また、試料観察装置１では、輝度画像データ３１を構成する複数のＸＺ画像データ２１のそれぞれの輝度値をＺ軸方向に積算して積算輝度Ｘ画像データ４９を生成し、積算輝度Ｘ画像データ４９をＹ軸方向に結合して試料Ｓの積算輝度に関する積算輝度ＸＹ画像データ５０を生成する。積算輝度Ｘ画像データ４９では、１画素に含まれる背景光のＺ軸方向成分を一定とすることができるため、背景光の輝度値のばらつきの影響を低減できる。したがって、積算輝度Ｘ画像データ４９をＹ軸方向に結合して得られる積算輝度ＸＹ画像データ５０においても、背景光の影響を十分に低減することが可能となる。
　また、試料観察装置１では、輝度画像データ３１を構成する複数のＸＺ画像データ２１のそれぞれからＺ軸方向における最大輝度値を抽出して最大輝度Ｘ画像データ５１を生成し、最大輝度Ｘ画像データ５１をＹ軸方向に結合して試料Ｓの最大輝度値に関する最大輝度ＸＹ画像データ５２を生成する。これにより、Ｚ軸方向における試料Ｓの最大輝度値の分布に関する情報を効率的に取得・解析することができる。
　さらに、本実施形態では、輝度画像データ３１を構成する複数のＸＺ画像データ２１のそれぞれからＺ軸方向における最小輝度値を抽出して最小輝度Ｘ画像データ５３を生成し、最小輝度Ｘ画像データ５３をＹ軸方向に結合して試料Ｓの最小輝度値に関する最小輝度ＸＹ画像データ５４を生成する。これにより、Ｚ軸方向における試料Ｓの最小輝度値の分布に関する情報を効率的に取得・解析することができる。
　例えば蛍光輝度が低い試料Ｓ又は蛍光を発しない試料Ｓを観察する場合、蛍光輝度が大きい蛍光色素を含有させた溶液をウェル１３に注入することで、試料Ｓからの蛍光輝度が背景輝度よりも低くなることがある。このような場合、最小輝度ＸＹ画像データ５４を生成することで、蛍光輝度が低い試料Ｓ又は蛍光を発しない試料Ｓの観察を行うことが可能となる。
　本開示は、上記実施形態に限られるものではない。例えば上記実施形態では、試料Ｓの観察画像データ２３として輝度画像データ３１及び領域画像データ３２を生成しているが、領域画像データ３２のみを観察画像データとして生成してもよい。また、装置の構成に関し、例えば面状光Ｌ２の光軸Ｐ１と試料容器１１の入力面１５ａとは、必ずしも直交していなくてもよく、面状光Ｌ２の光軸Ｐ１と走査部４による試料Ｓの走査方向とは、必ずしも直交していなくてもよい。
　また、例えば上記実施形態では、試料容器１１においてウェル１３の一端側を塞ぐように透明部材１５が設けられており、透明部材１５の入力面１５ａから面状光Ｌ２を入力させているが、ウェル１３の他端側から面状光Ｌ２を入力させる構成としてもよい。この場合、屈折率が異なる媒質の界面の数が少なくなり、観察光Ｌ３の屈折回数を減らすことが可能となる。さらに、試料容器１１に代えて、ゲル等の固形物に試料Ｓを保持してもよく、フローサイトメーターのように、透明容器内に水等の流体を流して試料Ｓを移動させるようにしてもよい。
　また、結像光学系５及び画像取得部６を複数対配置してもよい。この場合、観察範囲を拡大できるほか、複数の異なる波長の観察光Ｌ３を観察することが可能となる。また、結像光学系５に対して複数の画像取得部６を配置してもよく、複数の結像光学系５に対して画像取得部６を配置してもよい。複数の画像取得部６は、異なる種類の光検出器あるいは撮像装置を組み合わせてもよい。光源２は、波長の異なる光を出力する複数の光源によって構成されてもよい。この場合、波長の異なる励起光を試料Ｓに照射することができる。
　また、非点収差の緩和のため、結像光学系５にプリズムを配置してもよい。この場合、例えば対物レンズ１６の後段側（対物レンズ１６と画像取得部６との間）にプリズムを配置してもよい。デフォーカス対策のため、観察軸Ｐ２に対して画像取得部６における撮像装置の撮像面を傾斜させてもよい。この他、例えば結像光学系５と画像取得部６との間にダイクロイックミラー或いはプリズムを配置して観察光Ｌ３の波長分離を行う構成としてもよい。
　１…試料観察装置、３…照射光学系、４…走査部、５…結像光学系、６…画像取得部、８…画像生成部、１０…解析部、２１…ＸＺ画像データ、２３…観察画像データ、２５…二値化ＸＺ画像データ、２５ａ…第１の二値化ＸＺ画像データ、２５ｂ…第２の二値化ＸＺ画像データ、３１…輝度画像データ、３２…領域画像データ、４１…厚さＸ画像データ、４２…厚さＸＹ画像データ、４３…トップ位置Ｘ画像データ、４４…トップ位置ＸＹ画像データ、４４Ａ…トップ輝度ＸＹ画像データ、４５…ボトム位置Ｘ画像データ、４６…ボトム位置ＸＹ画像データ、４６Ａ…ボトム輝度ＸＹ画像データ、４７…特定位置Ｘ画像データ、４８…特定位置ＸＹ画像データ、４８Ａ…特定輝度ＸＹ画像データ、４９…積算輝度Ｘ画像データ、５０…積算輝度ＸＹ画像データ、５１…最大輝度Ｘ画像データ、５２…最大輝度ＸＹ画像データ、５３…最小輝度Ｘ画像データ、５４…最小輝度ＸＹ画像データ、Ｌ２…面状光、Ｌ３…観察光、Ｐ２…観察軸、Ｒ…照射面、Ｓ…試料。

Claims (26)

  1. 　試料に面状光をＸＺ面で照射する照射光学系と、
    　前記面状光の照射面を通過するように前記試料をＹ軸方向に走査する走査部と、
    　前記照射面に対して傾斜する観察軸を有し、前記面状光の照射によって前記試料で発生した観察光を結像する結像光学系と、
    　前記結像光学系によって結合された前記観察光の光像に対応するＸＺ画像データを複数取得する画像取得部と、
    　前記画像取得部によって取得された前記複数のＸＺ画像データに基づいて前記試料の観察画像データを生成する画像生成部と、
    　前記観察画像データに基づいて前記試料に関する情報を抽出し、前記試料に関する解析を実行する解析部と、を備え、
    　前記画像取得部は、前記ＸＺ画像データを前記Ｙ軸方向について複数取得し、
    　前記画像生成部は、前記複数のＸＺ画像データに基づいて前記試料の輝度に関する輝度画像データを生成すると共に、前記複数のＸＺ画像データのそれぞれの輝度値を二値化して複数の二値化ＸＺ画像データを生成し、前記複数の二値化ＸＺ画像データに基づいて前記試料の存在領域に関する領域画像データを生成する試料観察装置。
  2. 　前記解析部は、前記領域画像データを構成する前記複数の二値化ＸＺ画像データのそれぞれの値をＺ軸方向に積算して厚さＸ画像データを生成し、前記厚さＸ画像データを前記Ｙ軸方向に結合して前記試料の厚さに関する厚さＸＹ画像データを生成する請求項１記載の試料観察装置。
  3. 　前記解析部は、前記領域画像データを構成する前記複数の二値化ＸＺ画像データのそれぞれからＺ軸方向におけるトップ画素位置を抽出してトップ位置Ｘ画像データを生成し、前記トップ位置Ｘ画像データを前記Ｙ軸方向に結合して前記試料のトップ位置に関するトップ位置ＸＹ画像データを生成する請求項１又は２記載の試料観察装置。
  4. 　前記解析部は、前記トップ位置ＸＹ画像データ及び前記輝度画像データに基づいて、前記試料のトップ位置における輝度値を示すトップ輝度ＸＹ画像データを生成する請求項３記載の試料観察装置。
  5. 　前記解析部は、前記領域画像データを構成する前記複数の二値化ＸＺ画像データのそれぞれからＺ軸方向におけるボトム画素位置を抽出してボトム位置Ｘ画像データを生成し、前記ボトム位置Ｘ画像データを前記Ｙ軸方向に結合して前記試料のボトム位置に関するボトム位置ＸＹ画像データを生成する請求項１～４のいずれか一項記載の試料観察装置。
  6. 　前記解析部は、前記ボトム位置ＸＹ画像データ及び前記輝度画像データに基づいて、前記試料のボトム位置における輝度値を示すボトム輝度ＸＹ画像データを生成する請求項５記載の試料観察装置。
  7. 　前記解析部は、前記領域画像データを構成する前記複数の二値化ＸＺ画像データのそれぞれからＺ軸方向における特定の画素位置を抽出して特定位置Ｘ画像データを生成し、前記特定位置Ｘ画像データを前記Ｙ軸方向に結合して前記試料の特定位置に関する特定位置ＸＹ画像データを生成する請求項１～６のいずれか一項記載の試料観察装置。
  8. 　前記解析部は、前記特定位置ＸＹ画像データ及び前記輝度画像データに基づいて、前記試料の特定位置における輝度値を示す特定輝度ＸＹ画像データを生成する請求項７記載の試料観察装置。
  9. 　前記解析部は、前記輝度画像データを構成する前記複数のＸＺ画像データのそれぞれの輝度値をＺ軸方向に積算して積算輝度Ｘ画像データを生成し、前記積算輝度Ｘ画像データを前記Ｙ軸方向に結合して前記試料の積算輝度に関する積算輝度ＸＹ画像データを生成する請求項１～８のいずれか一項記載の試料観察装置。
  10. 　前記解析部は、前記輝度画像データを構成する前記複数のＸＺ画像データのそれぞれからＺ軸方向における最大輝度値を抽出して最大輝度Ｘ画像データを生成し、前記最大輝度Ｘ画像データを前記Ｙ軸方向に結合して前記試料の最大輝度値に関する最大輝度ＸＹ画像データを生成する請求項１～９のいずれか一項記載の試料観察装置。
  11. 　前記解析部は、前記輝度画像データを構成する前記複数のＸＺ画像データのそれぞれからＺ軸方向における最小輝度値を抽出して最小輝度Ｘ画像データを生成し、前記最小輝度Ｘ画像データを前記Ｙ軸方向に結合して前記試料の最小輝度値に関する最小輝度ＸＹ画像データを生成する請求項１～１０のいずれか一項記載の試料観察装置。
  12. 　前記画像取得部は、複数の波長の前記観察光の光像に対応する前記ＸＺ画像データをそれぞれ複数取得し、
    　前記画像生成部は、前記複数の波長のうちの一の波長の前記観察光の光像に対応する前記複数のＸＺ画像データに基づいて前記試料の輝度に関する輝度画像データを生成すると共に、前記複数の波長のうちの他の波長の前記観察光の光像に対する前記複数のＸＺ画像データのそれぞれの輝度値を二値化して得られる複数の二値化ＸＺ画像データを生成し、前記複数の二値化ＸＺ画像データに基づいて前記試料の存在領域に関する領域画像データを生成する請求項１～１１のいずれか一項記載の試料観察装置。
  13. 　前記画像取得部は、複数の波長の前記観察光の光像に対応する前記ＸＺ画像データをそれぞれ複数取得し、
    　前記画像生成部は、前記複数の波長のうちの一の波長の前記観察光の光像に対応する前記複数のＸＺ画像データのそれぞれの輝度値を二値化して得られる複数の第１の二値化ＸＺ画像データを生成し、前記第１の二値化ＸＺ画像データに基づいて前記試料の輝度に関する輝度画像データを生成すると共に、前記複数の波長のうちの別の波長の前記観察光の光像に対する前記複数のＸＺ画像データのそれぞれの輝度値を二値化して得られる複数の第２の二値化ＸＺ画像データを生成し、前記複数の第２の二値化ＸＺ画像データに基づいて前記試料の存在領域に関する領域画像データを生成する請求項１～１１のいずれか一項記載の試料観察装置。
  14. 　試料に面状光をＸＺ面で照射する照射ステップと、
    　前記面状光の照射面を通過するように前記試料をＹ軸方向に走査する走査ステップと、
    　前記照射面に対して傾斜する観察軸を有する結像光学系を用い、前記面状光の照射によって前記試料で発生した観察光を結像する結像ステップと、
    　前記結像光学系によって結像された前記観察光の光像に対応するＸＺ画像データを複数取得する画像取得ステップと、
    　前記複数のＸＺ画像データに基づいて前記試料の観察画像データを生成する画像生成ステップと、
    　前記観察画像データに基づいて前記試料に関する情報を抽出し、前記試料に関する解析を実行する解析ステップと、を備え、
    　前記画像取得ステップでは、前記ＸＺ画像データを前記Ｙ軸方向について複数取得し、
    　前記画像生成ステップでは、前記複数のＸＺ画像データに基づいて前記試料の輝度に関する輝度画像データを生成すると共に、前記複数のＸＺ画像データのそれぞれの輝度値を二値化して複数の二値化ＸＺ画像データを生成し、前記複数の二値化ＸＺ画像データに基づいて前記試料の存在領域に関する領域画像データを生成する試料観察方法。
  15. 　前記解析ステップでは、前記領域画像データを構成する前記複数の二値化ＸＺ画像データのそれぞれの値をＺ軸方向に積算して厚さＸ画像データを生成し、前記厚さＸ画像データを前記Ｙ軸方向に結合して前記試料の厚さに関する厚さＸＹ画像データを生成する請求項１４記載の試料観察方法。
  16. 　前記解析ステップでは、前記領域画像データを構成する前記複数の二値化ＸＺ画像データのそれぞれからＺ軸方向におけるトップ画素位置を抽出してトップ位置Ｘ画像データを生成し、前記トップ位置Ｘ画像データを前記Ｙ軸方向に結合して前記試料のトップ位置に関するトップ位置ＸＹ画像データを生成する請求項１４又は１５記載の試料観察方法。
  17. 　前記解析ステップでは、前記トップ位置ＸＹ画像データ及び前記輝度画像データに基づいて、前記試料のトップ位置における輝度値を示すトップ輝度ＸＹ画像データを生成する請求項１６記載の試料観察方法。
  18. 　前記解析ステップは、前記領域画像データを構成する前記複数の二値化ＸＺ画像データのそれぞれからＺ軸方向におけるボトム画素位置を抽出してボトム位置Ｘ画像データを生成し、前記ボトム位置Ｘ画像データを前記Ｙ軸方向に結合して前記試料のボトム位置に関するボトム位置ＸＹ画像データを生成する請求項１４～１７のいずれか一項記載の試料観察方法。
  19. 　前記解析ステップでは、前記ボトム位置ＸＹ画像データ及び前記輝度画像データに基づいて、前記試料のボトム位置における輝度値を示すボトム輝度ＸＹ画像データを生成する請求項１８記載の試料観察方法。
  20. 　前記解析ステップでは、前記領域画像データを構成する前記複数の二値化ＸＺ画像データのそれぞれからＺ軸方向における特定の画素位置を抽出して特定位置Ｘ画像データを生成し、前記特定位置Ｘ画像データを前記Ｙ軸方向に結合して前記試料の特定位置に関する特定位置ＸＹ画像データを生成する請求項１４～１９のいずれか一項記載の試料観察方法。
  21. 　前記解析ステップでは、前記特定位置ＸＹ画像データ及び前記輝度画像データに基づいて、前記試料の特定位置における輝度値を示す特定輝度ＸＹ画像データを生成する請求項２０記載の試料観察方法。
  22. 　前記解析ステップでは、前記輝度画像データを構成する前記複数のＸＺ画像データのそれぞれの輝度値をＺ軸方向に積算して積算輝度Ｘ画像データを生成し、前記積算輝度Ｘ画像データを前記Ｙ軸方向に結合して前記試料の積算輝度に関する積算輝度ＸＹ画像データを生成する請求項１４～２１のいずれか一項記載の試料観察方法。
  23. 　前記解析ステップでは、前記輝度画像データを構成する前記複数のＸＺ画像データのそれぞれからＺ軸方向における最大輝度値を抽出して最大輝度Ｘ画像データを生成し、前記最大輝度Ｘ画像データを前記Ｙ軸方向に結合して前記試料の最大輝度値に関する最大輝度ＸＹ画像データを生成する請求項１４～２２のいずれか一項記載の試料観察方法。
  24. 　前記解析ステップでは、前記輝度画像データを構成する前記複数のＸＺ画像データのそれぞれからＺ軸方向における最小輝度値を抽出して最小輝度Ｘ画像データを生成し、前記最小輝度Ｘ画像データを前記Ｙ軸方向に結合して前記試料の最小輝度値に関する最小輝度ＸＹ画像データを生成する請求項１４～２３のいずれか一項記載の試料観察方法。
  25. 　前記画像取得ステップでは、複数の波長の前記観察光の光像に対応する前記ＸＺ画像データをそれぞれ複数取得し、
    　前記画像生成ステップでは、前記複数の波長のうちの一の波長の前記観察光の光像に対応する前記複数のＸＺ画像データに基づいて前記試料の輝度に関する輝度画像データを生成すると共に、前記複数の波長のうちの他の波長の前記観察光の光像に対応する前記複数のＸＺ画像データのそれぞれの輝度値を二値化して複数の二値化ＸＺ画像データを生成し、前記複数の二値化ＸＺ画像データに基づいて前記試料の存在領域に関する領域画像データを生成する請求項１４～２４のいずれか一項記載の試料観察方法。
  26. 　前記画像取得ステップでは、複数の波長の前記観察光の光像に対応する前記ＸＺ画像データをそれぞれ複数取得し、
    　前記画像生成ステップでは、前記複数の波長のうちの一の波長の前記観察光の光像に対応する前記複数のＸＺ画像データのそれぞれの輝度値を二値化して得られる複数の第１の二値化ＸＺ画像データを生成し、前記第１の二値化ＸＺ画像データに基づいて前記試料の輝度に関する輝度画像データを生成すると共に、前記複数の波長のうちの別の波長の前記観察光の光像に対する前記複数のＸＺ画像データのそれぞれの輝度値を二値化して得られる複数の第２の二値化ＸＺ画像データを生成し、前記複数の第２の二値化ＸＺ画像データに基づいて前記試料の存在領域に関する領域画像データを生成する請求項１４～２４のいずれか一項記載の試料観察方法。
     
PCT/JP2021/022547 2020-06-16 2021-06-14 試料観察装置及び試料観察方法 WO2021256429A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US17/928,992 US20230222753A1 (en) 2020-06-16 2021-06-14 Sample observation device and sample observation method
EP21825062.9A EP4123354A4 (en) 2020-06-16 2021-06-14 SAMPLE OBSERVATION DEVICE AND SAMPLE OBSERVATION METHOD
JP2022531809A JPWO2021256429A1 (ja) 2020-06-16 2021-06-14

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020103934 2020-06-16
JP2020-103934 2020-06-16

Publications (1)

Publication Number Publication Date
WO2021256429A1 true WO2021256429A1 (ja) 2021-12-23

Family

ID=79268038

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/022547 WO2021256429A1 (ja) 2020-06-16 2021-06-14 試料観察装置及び試料観察方法

Country Status (4)

Country Link
US (1) US20230222753A1 (ja)
EP (1) EP4123354A4 (ja)
JP (1) JPWO2021256429A1 (ja)
WO (1) WO2021256429A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016117614A1 (ja) * 2015-01-20 2016-07-28 国立研究開発法人理化学研究所 生物材料用透明化試薬、システム及びその利用
WO2017098587A1 (ja) * 2015-12-08 2017-06-15 オリンパス株式会社 顕微鏡観察システム、顕微鏡観察方法、及び顕微鏡観察プログラム
JP2019159092A (ja) * 2018-03-13 2019-09-19 株式会社キーエンス 顕微鏡システム、画像解析装置および画像解析方法
JP2019184401A (ja) 2018-04-09 2019-10-24 浜松ホトニクス株式会社 試料観察装置及び試料観察方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016042963A1 (ja) * 2014-09-19 2016-03-24 コニカミノルタ株式会社 画像処理装置、画像処理方法、及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016117614A1 (ja) * 2015-01-20 2016-07-28 国立研究開発法人理化学研究所 生物材料用透明化試薬、システム及びその利用
WO2017098587A1 (ja) * 2015-12-08 2017-06-15 オリンパス株式会社 顕微鏡観察システム、顕微鏡観察方法、及び顕微鏡観察プログラム
JP2019159092A (ja) * 2018-03-13 2019-09-19 株式会社キーエンス 顕微鏡システム、画像解析装置および画像解析方法
JP2019184401A (ja) 2018-04-09 2019-10-24 浜松ホトニクス株式会社 試料観察装置及び試料観察方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4123354A4

Also Published As

Publication number Publication date
EP4123354A1 (en) 2023-01-25
EP4123354A4 (en) 2024-04-17
JPWO2021256429A1 (ja) 2021-12-23
US20230222753A1 (en) 2023-07-13

Similar Documents

Publication Publication Date Title
US11822066B2 (en) Sample observation device and sample observation method
US20230314782A1 (en) Sample observation device and sample observation method
JP7329086B2 (ja) 試料観察装置及び試料観察方法
WO2021256429A1 (ja) 試料観察装置及び試料観察方法
EP3779411B1 (en) Sample observation device and sample observation method
JP6978562B2 (ja) 試料観察装置及び試料観察方法
EP4137864A1 (en) Sample observation device and sample observation method
JP6754408B2 (ja) 試料観察装置及び試料観察方法
JP7125936B2 (ja) 試料観察装置及び試料観察方法
EP4321917A1 (en) Sample observation device and sample observation method

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21825062

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022531809

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2021825062

Country of ref document: EP

Effective date: 20221019

NENP Non-entry into the national phase

Ref country code: DE