WO2019198309A1 - 試料観察装置及び試料観察方法 - Google Patents

試料観察装置及び試料観察方法 Download PDF

Info

Publication number
WO2019198309A1
WO2019198309A1 PCT/JP2019/003233 JP2019003233W WO2019198309A1 WO 2019198309 A1 WO2019198309 A1 WO 2019198309A1 JP 2019003233 W JP2019003233 W JP 2019003233W WO 2019198309 A1 WO2019198309 A1 WO 2019198309A1
Authority
WO
WIPO (PCT)
Prior art keywords
sample
observation
image
scanning
optical system
Prior art date
Application number
PCT/JP2019/003233
Other languages
English (en)
French (fr)
Inventor
山本　諭
Original Assignee
浜松ホトニクス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 浜松ホトニクス株式会社 filed Critical 浜松ホトニクス株式会社
Priority to US16/981,564 priority Critical patent/US11391935B2/en
Priority to CN201980021112.6A priority patent/CN111902711B/zh
Priority to EP19785613.1A priority patent/EP3779411B1/en
Publication of WO2019198309A1 publication Critical patent/WO2019198309A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/008—Details of detection or image processing, including general computer control
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0032—Optical details of illumination, e.g. light-sources, pinholes, beam splitters, slits, fibers
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052—Optical details of the image generation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052—Optical details of the image generation
    • G02B21/0072—Optical details of the image generation details concerning resolution or correction, including general design of CSOM objectives
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052—Optical details of the image generation
    • G02B21/0076—Optical details of the image generation arrangements using fluorescence or luminescence
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/645—Specially adapted constructive features of fluorimeters
    • G01N21/6456—Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458—Fluorescence microscopy

Definitions

  • the present disclosure relates to a sample observation apparatus and a sample observation method.
  • SPIM Selective Plane Illumination Microscopy
  • the tomographic image observation apparatus described in Patent Document 1 discloses the basic principle of SPIM.
  • planar light is irradiated onto a sample, and fluorescence or scattered light generated inside the sample is imaged on an imaging surface to obtain observation image data inside the sample.
  • a SPIM microscope described in Patent Document 2 can be cited.
  • the observation light from the sample is irradiated by the observation optical system that irradiates the planar light with a certain inclination angle with respect to the arrangement surface of the sample and has an observation axis orthogonal to the irradiation surface of the planar light. Image.
  • the present disclosure has been made to solve the above-described problems, and an object thereof is to provide a sample observation apparatus and a sample observation method that can easily convert obtained image data into three-dimensional data in real space. .
  • a sample observation apparatus includes an irradiation optical system that irradiates a sample with planar light, and a scanning unit that scans the sample in one direction within the scanning plane so as to pass through the irradiation surface of the planar light.
  • An optical image of the observation light imaged by the imaging optical system which has a plurality of pixels arranged in two dimensions, and an imaging optical system for imaging the observation light generated on the sample by the irradiation of the planar light
  • An image acquisition unit that acquires a plurality of image data corresponding to the image data, and an image generation unit that generates observation image data of the sample based on the plurality of image data acquired by the image acquisition unit.
  • ⁇ 1 and ⁇ 2 are 80 ° or less, where ⁇ 1 is an angle formed by the normal line of the scanning plane and ⁇ 1 and ⁇ 2 is an angle formed by the optical axis of the imaging optical system and the normal line of the scanning plane, And the sum of ⁇ 1 and ⁇ 2 is 100 ° or more, and an image of the nth pixel is obtained in the image acquisition unit.
  • the (n + 1) -th pixel image acquisition area is shifted in the sample scanning direction with respect to the acquisition area in accordance with the scanning amount of the sample in one frame exposure time.
  • the optical axis of the imaging optical system is inclined with respect to the scanning surface of the sample.
  • the image acquisition unit can sequentially acquire the image data of the tomographic plane in the optical axis direction of the planar light, and can acquire the image data with high throughput.
  • the image acquisition area in the adjacent pixels is shifted according to the scanning amount of the sample in the exposure time of one frame. Therefore, the correction of the positional relationship of each image data becomes simple, and it becomes possible to easily convert each image data into three-dimensional data in the real space when constructing the observation image data.
  • both ⁇ 1 and ⁇ 2 may be 70 ° or less, and the sum of ⁇ 1 and ⁇ 2 may be 110 ° or more. In this range, the influence of defocus can be reduced more suitably.
  • the sample observation apparatus may further include a sample container having a scanning light plane that is an input surface for planar light and an output surface for observation light. By using such a sample container, it is possible to stably scan a plurality of samples.
  • the sample observation apparatus may further include an analysis unit that analyzes the observation image data and generates an analysis result.
  • the analysis unit analyzes the observation image data generated by the image generation unit, the analysis throughput can also be improved.
  • a sample observation method includes an irradiation step of irradiating a sample with planar light using an irradiation optical system, and a sample within a scanning plane so as to pass through the irradiation surface of the planar light.
  • the angle formed by the optical axis of the irradiation optical system and the normal line of the scanning surface is ⁇ 1
  • the angle formed by the optical axis of the imaging optical system and the normal line of the scanning surface is ⁇ 2
  • ⁇ 1 and ⁇ 2 Is 80 ° or less
  • the (n + 1) -th pixel image acquisition area is compared with the n-th pixel image acquisition area in accordance with the scanning amount of the sample in one frame exposure time. Shift to
  • the optical axis of the imaging optical system is inclined with respect to the scanning surface of the sample. For this reason, in the image acquisition step, the image data of the tomographic plane in the optical axis direction of the planar light can be sequentially acquired, and the image data can be acquired with high throughput. Further, in the image acquisition step, the image acquisition area in the adjacent pixel is shifted according to the scanning amount of the sample in the exposure time of one frame. Therefore, the correction of the positional relationship of each image data becomes simple, and it becomes possible to easily convert each image data into three-dimensional data in the real space when constructing the observation image data.
  • the obtained image data can be easily converted into three-dimensional data in real space.
  • FIG. 1 is a schematic configuration diagram showing an embodiment of a sample observation apparatus.
  • the sample observation apparatus 1 irradiates the sample S with the planar light L2, and forms an observation image (for example, fluorescence or scattered light) generated inside the sample S on the imaging surface to form an observation image inside the sample S.
  • It is a device that acquires data.
  • a slide scanner that acquires and displays an image of the sample S held on a slide glass, or a plate that acquires image data of the sample S held on a microplate and analyzes the image data
  • the sample observation device 1 includes a light source 2, an irradiation optical system 3, a scanning unit 4, an imaging optical system 5, an image acquisition unit 6, and a computer 7. Yes.
  • sample S to be observed examples include human or animal cells, tissues, organs, animals or plants themselves, plant cells, tissues, and the like.
  • the sample S may be contained in a solution, a gel, or a substance having a refractive index different from that of the sample S.
  • the light source 2 is a light source that outputs the light L1 irradiated to the sample S.
  • Examples of the light source 2 include laser light sources such as laser diodes and solid-state laser light sources.
  • the light source 2 may be a light emitting diode, a super luminescent diode, or a lamp light source.
  • the light L1 output from the light source 2 is guided to the irradiation optical system 3.
  • the irradiation optical system 3 is an optical system that shapes the light L1 output from the light source 2 into a planar light L2 and irradiates the sample S with the shaped planar light L2 along the optical axis P1.
  • the optical axis P1 of the irradiation optical system 3 coincides with the optical axis of the planar light L2.
  • the irradiation optical system 3 includes a light shaping element such as a cylindrical lens, an axicon lens, or a spatial light modulator, and is optically coupled to the light source 2.
  • the irradiation optical system 3 may include an objective lens.
  • the surface light L2 formed by the irradiation optical system 3 is irradiated to the sample S.
  • the irradiation optical system 3 may include an optical element such as a prism.
  • the observation light L3 is generated on the irradiation surface R of the planar light L2.
  • the observation light L3 is, for example, fluorescence excited by the planar light L2, scattered light of the planar light L2, or diffuse reflected light of the planar light L2.
  • the planar light L2 is preferably thin planar light having a thickness of 2 mm or less in consideration of resolution. Further, when the thickness of the sample S is very small, that is, when the sample S having a thickness equal to or less than the resolution in the Z-axis direction described later is observed, the thickness of the planar light L2 does not affect the resolution. Therefore, in this case, the planar light L2 having a thickness exceeding 2 mm may be used.
  • the scanning unit 4 is a mechanism that scans the sample S with respect to the irradiation surface R of the planar light L2.
  • the scanning unit 4 includes a moving stage 12 that moves the sample container 11 that holds the sample S.
  • the sample container 11 is, for example, a microplate, a slide glass, a petri dish or the like, and has transparency with respect to the planar light L2 and the observation light L3.
  • a microplate is illustrated.
  • the sample container 11 includes a plate-like main body 14 in which a plurality of wells 13 in which the sample S is arranged are arranged in a straight line (or a matrix), and a well on one surface side of the main body 14. 13 and a plate-like transparent member 15 provided so as to close one end side.
  • the transparent member 15 has an input surface of the planar light L2 with respect to the sample S arranged in the well 13 and a bottom surface 15a serving as an output surface of the observation light L3 generated in the sample S by irradiation of the planar light L2. Yes.
  • the bottom surface 15 a constitutes a scanning surface K when the sample S is scanned by the scanning unit 4.
  • the optical axis P1 of the irradiation optical system 3 is inclined with an angle ⁇ 1 with respect to the normal line P3 of the scanning plane K.
  • the material of the transparent member 15 is not particularly limited as long as it is a member having transparency with respect to the planar light L2, but is, for example, glass, quartz, or synthetic resin.
  • the other end side of the well 13 is open to the outside.
  • the sample container 11 may be fixed with respect to the moving stage 12.
  • the moving stage 12 scans the sample container 11 in a preset direction in accordance with a control signal from the computer 7.
  • the moving stage 12 scans the sample container 11 in one direction within a plane that intersects the optical axis P ⁇ b> 1 of the irradiation optical system 3.
  • the scanning direction of the sample S by the moving stage 12 is called the Y axis
  • the width direction of the sample S on the transparent member 15 is called the X axis
  • the depth direction of the sample S on the transparent member 15 is called the Z axis.
  • a direction along the optical axis P1 of the irradiation optical system 3 is referred to as a Z ′ axis.
  • the X axis is an axis orthogonal to the Y axis in a plane orthogonal to the optical axis P 1 of the irradiation optical system 3.
  • the Z axis is an axis that coincides with the normal P3 direction of the scanning plane K.
  • the irradiation surface R of the planar light L2 on the sample S is a surface in the XZ ′ plane.
  • the imaging optical system 5 is an optical system that images the observation light L3 generated on the sample S by irradiation with the planar light L2. As shown in FIG. 2, the imaging optical system 5 includes, for example, an objective lens 16 and an imaging lens.
  • the optical axis P2 of the imaging optical system 5 is the observation axis of the observation light L3. In the present embodiment, the optical axis P2 of the imaging optical system 5 is inclined with an angle ⁇ 2 with respect to the normal line P3 of the scanning plane K.
  • the image acquisition unit 6 acquires a plurality of image data corresponding to the optical image by the observation light L3 imaged by the imaging optical system 5.
  • the image acquisition unit 6 is configured to include an imaging device that captures an optical image by the observation light L3, for example.
  • the imaging device include area image sensors such as a CMOS image sensor and a CCD image sensor. These area image sensors are arranged on the image forming plane by the image forming optical system 5, take an optical image with, for example, a global shutter or a rolling shutter, and output two-dimensional image data to the computer 7.
  • the computer 7 is physically configured to include a memory such as a RAM and a ROM, a processor (arithmetic circuit) such as a CPU, a communication interface, a storage unit such as a hard disk, and a display unit such as a display.
  • Examples of the computer 7 include a personal computer, a cloud server, and a smart device (smart phone, tablet terminal, etc.).
  • the computer 7 executes a program stored in the memory by a CPU of the computer system, thereby controlling the operations of the light source 2 and the moving stage 12, an image generation unit 8 that generates observation image data of the sample S, and an observation. It functions as an analysis unit 10 that analyzes image data.
  • the computer 7 as a controller receives the input of the measurement start operation by the user, and drives the light source 2, the moving stage 12, and the image acquisition unit 6 in synchronization.
  • the computer 7 may control the light source 2 so that the light source 2 continuously outputs the light L ⁇ b> 1 during the movement of the sample S by the moving stage 12, and the light source 2 in accordance with the imaging by the image acquisition unit 6.
  • the ON / OFF of the output of the light L1 may be controlled.
  • the computer 7 may turn on / off the irradiation of the planar light L2 on the sample S by controlling the optical shutter.
  • the computer 7 as the image generation unit 8 generates observation image data of the sample S based on the plurality of image data generated by the image acquisition unit 6.
  • the image generation unit 8 configures three-dimensional data of the sample S based on a plurality of image data output from the image acquisition unit 6, for example, and generates observation image data.
  • the image generation unit 8 stores the generated observation image data, displays it on a monitor, and the like according to a predetermined operation by the user.
  • the irradiation surface R of the planar light on the sample S is a surface in the XZ ′ plane, and the irradiation surface R is scanned with respect to the sample S in the Y-axis direction. Therefore, as shown in FIG. 3A, the image generation unit 8 obtains a plurality of pieces of image data 31 corresponding to the XZ ′ cross section of the sample S in the Y-axis direction, so that the three-dimensional information of the sample S is obtained. Accumulated. In the image generator 8, data is reconstructed using these image data 31, and for example, as shown in FIG. 3B, XY having an arbitrary thickness at an arbitrary position in the Z-axis direction on the sample S. A cross-sectional image is generated as observation image data 32 with reduced background. Note that the image generation unit 8 may generate XYZ three-dimensional image data as observation image data 32 when reconstructing data using the image data 31.
  • the computer 7 serving as the analysis unit 10 performs analysis based on the observation image data 32 generated by the image generation unit 8 and generates an analysis result.
  • the analysis unit 10 stores the generated analysis result, displays it on a monitor, and the like according to a predetermined operation by the user. Note that the observation image data 32 generated by the image generation unit 8 may not be displayed on the monitor or the like, and only the analysis result generated by the analysis unit 10 may be displayed on the monitor or the like.
  • FIG. 4 is a flowchart showing an example of a sample observation method using the sample observation apparatus 1.
  • this sample observation method includes an irradiation step (step S01), a scanning step (step S02), an imaging step (step S03), an image acquisition step (step S04), and an image generation step (step S05). And an analysis step (step S06).
  • the sample S is irradiated with the planar light L2.
  • the light source 2 is driven based on a control signal from the computer 7, and the light L 1 is output from the light source 2.
  • the light L1 output from the light source 2 is shaped by the irradiation optical system 3 to become planar light L2, and is irradiated onto the sample S.
  • the sample S is scanned with respect to the irradiation surface R of the planar light L2.
  • the moving stage 12 is driven in synchronization with the driving of the light source 2 based on a control signal from the computer 7.
  • the sample container 11 is linearly driven at a constant speed in the Y-axis direction, and the sample S in the well 13 is scanned with respect to the irradiation surface R of the planar light L2.
  • the imaging optical system 5 having the observation axis P2 inclined with respect to the irradiation surface R is used, and the observation light L3 generated on the sample S by the irradiation of the planar light L2 is imaged by the image acquisition unit 6.
  • the image is formed on the surface.
  • the image acquisition step S04 a plurality of image data corresponding to the optical image by the observation light L3 imaged by the imaging optical system 5 is acquired.
  • the image data is sequentially output from the image acquisition unit 6 to the image generation unit 8.
  • observation image data of the sample S is generated based on a plurality of image data.
  • the optical axis of the irradiation optical system 3 is inclined by the angle ⁇ 1 with respect to the normal line of the scanning surface K, and the irradiation surface R is relative to the sample S. Scanned in the Y-axis direction. Therefore, as shown in FIG. 3A, the image generation unit 8 accumulates three-dimensional information of the sample S by acquiring a plurality of image data 31 in the Y-axis direction.
  • data is reconstructed using a plurality of image data 31, and for example, as shown in FIG. 3B, XY having an arbitrary thickness at an arbitrary position in the Z-axis direction on the sample S.
  • Image data or XYZ three-dimensional image data is generated as observation image data 32 of the sample S.
  • analysis step S06 the analysis unit 10 analyzes the observation image data 32 and generates an analysis result.
  • the sample S and reagent are placed in the sample container 11 and the observation image data 32 is acquired.
  • the analysis part 10 evaluates a reagent based on the observation image data 32, and produces
  • the optical axis P1 of the irradiation optical system 3 is inclined at an angle ⁇ 1 with respect to the normal line P3 of the scanning plane K, and the optical axis P2 of the imaging optical system 5 Is inclined at an angle ⁇ 2.
  • both ⁇ 1 and ⁇ 2 are 80 ° or less, and the sum of ⁇ 1 and ⁇ 2 is 100 ° or more.
  • Both ⁇ 1 and ⁇ 2 may be 70 ° or less, and the sum of ⁇ 1 and ⁇ 2 may be 110 ° or more.
  • a range satisfying 1) and 2) is shown in FIG. In the figure, a range satisfying 1) is indicated by a region A, and a range satisfying 2) is indicated by a region B.
  • the upper limit values of ⁇ 1 and ⁇ 2 are determined based on, for example, the transmittance of the planar light L2 and the observation light L3 with respect to the transparent member 15 of the sample container 11.
  • FIG. 6 is a diagram illustrating the relationship between the tilt angle and the transmittance. In the figure, the horizontal axis is the inclination angle ⁇ , and the vertical axis is the transmittance.
  • the refractive index n1 of the medium A is 1 (air)
  • the refractive index n2 of the medium B is 1.53 (glass)
  • the medium C The refractive index n3 is 1.33 (water).
  • the transmittance values of the planar light L2 and the observation light L3 with respect to the transparent member 15 of the sample container 11 are calculated by the product of the transmittances of the interfaces of the media B and C and the interfaces of the media A and B.
  • FIG. 6 plots the P wave transmittance, the S wave transmittance, and the angular dependence of these average values.
  • the transmittance of the planar light L2 and the observation light L3 in the sample container 11 can be changed by changing the inclination angle ⁇ . It can be seen that a transmittance of at least 50% or more can be obtained when the inclination angle ⁇ is in the range of 80 ° or less. It can also be seen that a transmittance of at least 60% or more can be obtained when the tilt angle ⁇ is in the range of 70 ° or less. Therefore, it is suitable that the upper limit values of ⁇ 1 and ⁇ 2 are 80 ° or less, preferably 70 ° or less.
  • FIG. 7 is a schematic diagram showing how the image acquisition unit 6 acquires an image.
  • the three pixels of the nth pixel, the (n + 1) th pixel, and the (n + 2) pixel in the image acquisition unit 6 are the three pixels of the mth frame, the (m + 1) th frame, and the (m + 2) th frame. It shows a state of imaging over a period.
  • Each pixel sequentially captures a light image of a part of the XZ ′ cross section of the sample S scanned in the Y-axis direction by the scanning unit 4 in each frame.
  • the image acquisition region F n + 1, m of the (n + 1) th pixel is different from the image acquisition region F n, m of the n-th pixel.
  • the sample S is shifted in the scanning direction (Y-axis direction) in accordance with the scanning amount V of the sample S in the exposure time of one frame.
  • the image acquisition region F n + 1, m of the (n + 1) -th pixel is compared with the scanning amount V of the sample S in the exposure time of one frame for the image acquisition region F n + 2, m of the (n + 2) -th pixel.
  • the sample S is displaced in the scanning direction (Y-axis direction).
  • the angle ⁇ 1 formed by the optical axis P1 of the irradiation optical system 3 and the normal line P3 of the scanning plane K and the optical axis P2 of the imaging optical system 5 and the normal line P3 of the scanning plane K are determined.
  • the scanning amount V of the sample S during one frame exposure time may be set in accordance with the angle ⁇ 2 formed by. Further, at least one of the angle ⁇ 1 and the angle ⁇ 2 may be set according to the scanning amount V of the sample S in one frame exposure time.
  • the image acquisition region F n, m + 2 at the (n + 2) th pixel in the mth frame and the image at the (n + 1) th pixel in the (m + 1) th frame The acquisition area F n + 1, m + 1 and the image acquisition area F n, m + 2 at the nth pixel of the (m + 2) th frame are adjacent to each other in the Z-axis direction. Therefore, when the observation image data 32 is generated without reconstructing the data in the image generation unit 8, each image data 31 becomes XYZ ′ image data in the real space, as shown in FIG. Difficult image data is generated.
  • each image generation unit 8 reconstructs data using the image data 31 of each pixel, as shown in FIG. Also in the Y-axis direction, correction is executed as image data 31 that is n pixels away. Thereby, each image data 31 becomes XYZ image data in real space, and each image data 31 can be easily converted into three-dimensional data in real space.
  • FIG. 9 is a diagram illustrating the relationship between the image acquisition region of one pixel and the visual field. As shown in FIG. 9, the resolution Z reso in the Z-axis direction of one pixel is expressed by the following formula (1). Between V ′ in equation (1) and the scanning amount V, the relationship of equation (2) is established.
  • FIG. 10 is a diagram showing the relationship between the inclination angle of the planar light and the observation light and the visual field.
  • the imaging optical system 5 is located in the medium A having the refractive index n1
  • the irradiation surface R of the planar light L2 is located in the medium B having the refractive index n2.
  • the visual field V of the imaging optical system 5 is made to coincide with the scanning amount V of the sample S during the exposure time of one frame described above.
  • the field of view V of the imaging optical system 5 is determined by the pixel size and the imaging magnification.
  • the visual field V can be made to coincide with the scanning amount V of the sample S in the exposure time of one frame.
  • the distance at the interface between the medium A and the medium B in the field of view V is L, the following expressions (3) to (8) are satisfied.
  • the optical axis P2 of the imaging optical system 5 is inclined with respect to the scanning plane K of the sample S.
  • the image acquisition unit 6 can sequentially acquire the tomographic image data 31 in the direction of the optical axis P1 of the planar light L2, and the image data 31 can be obtained with high throughput.
  • the image acquisition region F in adjacent pixels is shifted according to the scanning amount V of the sample S in the exposure time of one frame. Therefore, the correction of the positional relationship between the image data 31 is simplified, and the image data 31 can be easily converted into three-dimensional data in the real space when the observation image data 32 is configured.
  • the influence of defocus is reduced by tilting the optical axis P1 of the irradiation optical system 3 with respect to the scanning plane K within the range satisfying the conditions of ⁇ 1 and ⁇ 2, and the observation image data 32 is obtained.
  • the resolution in the depth direction can be sufficiently improved.
  • both ⁇ 1 and ⁇ 2 are 70 ° or less and the sum of ⁇ 1 and ⁇ 2 is 110 ° or more, the influence of defocusing can be further reduced.
  • the sample observation apparatus 1 includes a sample container 11 having a scanning surface K that serves as an input surface for the planar light L2 and an output surface for the observation light L3.
  • a sample container 11 having a scanning surface K that serves as an input surface for the planar light L2 and an output surface for the observation light L3.
  • the sample observation apparatus 1 includes an analysis unit 10 that analyzes the observation image data 32 and generates an analysis result.
  • the analysis throughput can also be improved.
  • the present disclosure is not limited to the above embodiment.
  • the transparent member 15 is provided so as to close one end of the well 13 in the sample container 11, but the sample S may be held in a solid material such as a gel instead of the sample container 11. . Further, like the flow cytometer, the sample S may be moved by flowing a fluid such as water in the transparent container.
  • a plurality of pairs of the imaging optical system 5 and the image acquisition unit 6 may be arranged.
  • the observation range can be expanded, and observation light L3 having a plurality of different wavelengths can be observed.
  • a plurality of image acquisition units 6 may be arranged for the imaging optical system 5, and the image acquisition units 6 may be arranged for the plurality of imaging optical systems 5.
  • the plurality of image acquisition units 6 may combine different types of photodetectors or imaging devices.
  • the light source 2 may be composed of a plurality of light sources that output light having different wavelengths. In this case, the sample S can be irradiated with excitation light having different wavelengths.
  • a prism may be arranged in the imaging optical system 5 to reduce astigmatism.
  • a prism may be arranged on the rear side of the objective lens 16 (between the objective lens 16 and the image acquisition unit 6).
  • the imaging surface of the imaging device in the image acquisition unit 6 may be inclined with respect to the optical axis P2 of the imaging optical system 5.
  • a dichroic mirror or a prism may be disposed between the imaging optical system 5 and the image acquisition unit 6 to perform wavelength separation of the observation light L3.
  • SYMBOLS 1 DESCRIPTION OF SYMBOLS 1 ... Sample observation apparatus, 3 ... Irradiation optical system, 5 ... Imaging optical system, 6 ... Image acquisition part, 8 ... Image generation part, 10 ... Analysis part, 11 ... Sample container, 31 ... Image data, 32 ... Observation image Data, F ... Image acquisition region, K ... Scanning plane, L2 ... Planar light, L3 ... Observation light, R ... Irradiation surface, P1 ... Optical axis of irradiation optical system, P2 ... Optical axis of imaging optical system, P3 ... Scanning surface normal, S ... sample, V ... scanning amount.

Landscapes

  • Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • General Engineering & Computer Science (AREA)
  • Microscoopes, Condenser (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

試料観察装置１では、照射光学系３の光軸Ｐ１と走査面Ｋの法線Ｐ３とがなす角度をθ１とし、結像光学系５の光軸Ｐ２と走査面Ｋの法線Ｐ３とがなす角度をθ２とした場合に、θ１及びθ２がいずれも８０°以下であり、かつθ１＋θ２が１００°以上であり、画像取得部６において、第ｎ画素の第ｍフレームでの画像取得領域Ｆｎ，ｍに対し、第（ｎ＋１）画素の第（ｍ＋１）フレームでの画像取得領域Ｆｎ＋１，ｍ＋１が１フレームの露光時間における試料Ｓの走査量Ｖに応じて試料Ｓの走査方向にずれている。

Description

試料観察装置及び試料観察方法
　本開示は、試料観察装置及び試料観察方法に関する。
　細胞などの３次元立体構造を持つ試料の内部を観察する手法の一つとして、ＳＰＩＭ（Selective Plane Illumination Microscopy）が知られている。例えば特許文献１に記載の断層像観察装置は、ＳＰＩＭの基本的な原理を開示したものである。この装置では、面状光を試料に照射し、試料の内部で発生した蛍光又は散乱光を結像面に結像させて試料内部の観察画像データを取得する。
　面状光を用いた他の試料観察装置としては、例えば特許文献２に記載のＳＰＩＭ顕微鏡が挙げられる。この従来のＳＰＩＭ顕微鏡では、試料の配置面に対して一定の傾斜角をもって面状光を照射し、面状光の照射面に対して直交する観察軸を有する観察光学系によって試料からの観察光を撮像する。
特開昭６２－１８０２４１号公報 特開２０１４－２０２９６７号公報
　しかしながら、上述した特許文献２のように、照射光学系と観察光学系とをそれぞれ試料の配置面に対して傾斜させつつ、照射光学系と観察光学系とを直交に維持する構成では、観察画像データの構成にあたって、得られた画像データを実空間上の３次元データに変換することが難しいという問題があった。
　本開示は、上記課題の解決のためになされたものであり、得られた画像データを実空間上の３次元データに容易に変換できる試料観察装置及び試料観察方法を提供することを目的とする。
　本開示の一側面に係る試料観察装置は、試料に面状光を照射する照射光学系と、面状光の照射面を通過するように試料を走査面内の一方向に走査する走査部と、面状光の照射によって試料で発生した観察光を結像する結像光学系と、二次元に配列された複数の画素を有し、結像光学系によって結像された観察光の光像に対応する画像データを複数取得する画像取得部と、画像取得部によって取得された複数の画像データに基づいて試料の観察画像データを生成する画像生成部と、を備え、照射光学系の光軸と走査面の法線とがなす角度をθ１とし、結像光学系の光軸と走査面の法線とがなす角度をθ２とした場合に、θ１及びθ２がいずれも８０°以下であり、かつθ１及びθ２の和が１００°以上であり、画像取得部において、第ｎ画素の画像取得領域に対し、第（ｎ＋１）画素の画像取得領域が１フレームの露光時間における試料の走査量に応じて試料の走査方向にずれている。
　この試料観察装置では、試料の走査面に対して結像光学系の光軸が傾斜している。このため、画像取得部では、面状光の光軸方向における断層面の画像データを順次取得することができ、高いスループットで画像データを得ることが可能となる。また、画像取得部では、隣り合う画素での画像取得領域が１フレームの露光時間における試料の走査量に応じてずれている。したがって、各画像データの位置関係の補正が簡単なものとなり、観察画像データの構成にあたって、各画像データを実空間上の３次元データに容易に変換することが可能となる。
　試料観察装置では、θ１及びθ２がいずれも７０°以下であり、かつθ１及びθ２の和が１１０°以上であってもよい。この範囲では、デフォーカスの影響を一層好適に低減することができる。
　試料観察装置は、面状光の入力面及び観察光の出力面となる面を走査面として有する試料容器を更に備えていてもよい。このような試料容器を用いることにより、複数の試料を安定して走査することが可能となる。
　試料観察装置は、観察画像データを解析し、解析結果を生成する解析部を更に備えていてもよい。この場合、画像生成部によって生成された観察画像データを解析部で解析するため、解析のスループットも向上させることができる。
　また、本開示の一側面に係る試料観察方法は、照射光学系を用いて試料に面状光を照射する照射ステップと、面状光の照射面を通過するように試料を走査面内の一方向に走査する走査ステップと、結像光学系を用いて面状光の照射によって試料で発生した観察光を結像する結像ステップと、二次元に配列された複数の画素を有するイメージセンサを用いて、結像ステップによって結像された観察光の光像に対応する画像データを複数取得する画像取得ステップと、複数の画像データに基づいて試料の観察画像データを生成する画像生成ステップと、を備え、照射光学系の光軸と走査面の法線とがなす角度をθ１とし、結像光学系の光軸と走査面の法線とがなす角度をθ２とした場合に、θ１及びθ２をいずれも８０°以下とし、かつθ１及びθ２の和を１００°以上とし、画像取得ステップにおいて、第ｎ画素の画像取得領域に対し、第（ｎ＋１）画素の画像取得領域を１フレームの露光時間における試料の走査量に応じて試料の走査方向にずらす。
　この試料観察方法では、試料の走査面に対して結像光学系の光軸を傾斜させる。このため、画像取得ステップでは、面状光の光軸方向における断層面の画像データを順次取得することができ、高いスループットで画像データを得ることが可能となる。また、画像取得ステップでは、隣り合う画素での画像取得領域を１フレームの露光時間における試料の走査量に応じてずらす。したがって、各画像データの位置関係の補正が簡単なものとなり、観察画像データの構成にあたって、各画像データを実空間上の３次元データに容易に変換することが可能となる。
　この試料観察装置及び試料観察方法によれば、得られた画像データを実空間上の３次元データに容易に変換できる。
試料観察装置の一実施形態を示す概略構成図である。 試料の近傍を示す要部拡大図である。 画像生成部による観察画像データの生成の一例を示す図である。 試料観察装置を用いた試料観察方法の一例を示すフローチャートである。 走査面に対する面状光の傾斜角度及び観察光の傾斜角度の範囲を示す図である。 傾斜角度と透過率との関係を示す図である。 画像取得部での画像取得の様子を示す概略図である。 画像データの位置補正の様子を示す概略図である。 一の画素の画像取得領域と視野の関係を示す図である。 面状光及び観察光の傾斜角度と視野の関係を示す図である。
　以下、図面を参照しながら、本開示の一側面に係る試料観察装置の好適な実施形態について詳細に説明する。
　図１は、試料観察装置の一実施形態を示す概略構成図である。この試料観察装置１は、面状光Ｌ２を試料Ｓに照射し、試料Ｓの内部で発生した観察光（例えば蛍光又は散乱光など）を結像面に結像させて試料Ｓ内部の観察画像データを取得する装置である。この種の試料観察装置１としては、スライドガラスに保持される試料Ｓの画像を取得し表示するスライドスキャナ、あるいはマイクロプレートに保持される試料Ｓの画像データを取得し、画像データを解析するプレートリーダなどがある。試料観察装置１は、図１に示すように、光源２と、照射光学系３と、走査部４と、結像光学系５と、画像取得部６と、コンピュータ７とを備えて構成されている。
　観察対象となる試料Ｓとしては、例えばヒト或いは動物の細胞、組織、臓器、動物或いは植物自体、植物の細胞、組織などが挙げられる。試料Ｓは、溶液、ゲル、或いは試料Ｓとは屈折率の異なる物質に含まれていてもよい。
　光源２は、試料Ｓに照射される光Ｌ１を出力する光源である。光源２としては、例えばレーザダイオード、固体レーザ光源といったレーザ光源が挙げられる。また、光源２は、発光ダイオード、スーパールミネッセントダイオード、ランプ系光源であってもよい。光源２から出力された光Ｌ１は、照射光学系３に導光される。
　照射光学系３は、光源２から出力された光Ｌ１を面状光Ｌ２に整形し、整形された面状光Ｌ２を光軸Ｐ１に沿って試料Ｓに照射する光学系である。本実施形態では、照射光学系３の光軸Ｐ１は、面状光Ｌ２の光軸と一致している。照射光学系３は、例えばシリンドリカルレンズ、アキシコンレンズ、或いは空間光変調器などの光整形素子を含んで構成され、光源２に対して光学的に結合されている。照射光学系３は、対物レンズを含んで構成されていてもよい。照射光学系３によって形成された面状光Ｌ２は、試料Ｓに照射される。収差の低減のため、照射光学系３は、プリズムなどの光学素子を含んでいてもよい。面状光Ｌ２が照射された試料Ｓでは、面状光Ｌ２の照射面Ｒにおいて観察光Ｌ３が発生する。観察光Ｌ３は、例えば面状光Ｌ２によって励起された蛍光、面状光Ｌ２の散乱光、或いは面状光Ｌ２の拡散反射光である。
　試料Ｓの厚さ方向に観察を行う場合、分解能を考慮して、面状光Ｌ２は、厚さ２ｍｍ以下の薄い面状光であることが好ましい。また、試料Ｓの厚さが非常に小さい場合、すなわち、後述するＺ軸方向の解像度以下の厚さの試料Ｓを観察する場合には、面状光Ｌ２の厚さは分解能に影響しない。したがって、この場合には厚さ２ｍｍを超える面状光Ｌ２を用いてもよい。
　走査部４は、面状光Ｌ２の照射面Ｒに対して試料Ｓを走査する機構である。本実施形態では、走査部４は、試料Ｓを保持する試料容器１１を移動させる移動ステージ１２によって構成されている。試料容器１１は、例えばマイクロプレート、スライドガラス、シャーレ等であり、面状光Ｌ２及び観察光Ｌ３に対して透明性を有している。本実施形態では、マイクロプレートを例示する。試料容器１１は、図２に示すように、試料Ｓが配置される複数のウェル１３が一直線状（或いはマトリクス状）に配列された板状の本体部１４と、本体部１４の一面側においてウェル１３の一端側を塞ぐように設けられた板状の透明部材１５とを有している。
　ウェル１３内への試料Ｓの配置にあたっては、ウェル１３内が水などの媒体で充填されていてもよい。透明部材１５は、ウェル１３内に配置された試料Ｓに対する面状光Ｌ２の入力面、及び面状光Ｌ２の照射によって試料Ｓで発生した観察光Ｌ３の出力面となる底面１５ａを有している。この底面１５ａは、試料Ｓが走査部４で走査される際の走査面Ｋを構成している。本実施形態では、走査面Ｋの法線Ｐ３に対し、照射光学系３の光軸Ｐ１が角度θ１をもって傾斜している。透明部材１５の材質は、面状光Ｌ２に対する透明性を有する部材であれば特に限定はされないが、例えばガラス、石英、或いは合成樹脂である。なお、ウェル１３の他端側は、外部に開放された状態となっている。試料容器１１は、移動ステージ１２に対して固定されていてもよい。
　移動ステージ１２は、図１に示すように、コンピュータ７からの制御信号に従い、予め設定された方向に試料容器１１を走査する。移動ステージ１２は、照射光学系３の光軸Ｐ１と交差する平面内の一方向に試料容器１１を走査する。以下の説明では、移動ステージ１２による試料Ｓの走査方向をＹ軸、透明部材１５上の試料Ｓの幅方向をＸ軸、透明部材１５上の試料Ｓの深さ方向をＺ軸と称する。また、照射光学系３の光軸Ｐ１に沿う方向をＺ’軸と称する。Ｘ軸は、照射光学系３の光軸Ｐ１と直交する平面内においてＹ軸に直交する軸である。Ｚ軸は、走査面Ｋの法線Ｐ３方向と一致する軸である。試料Ｓに対する面状光Ｌ２の照射面Ｒは、ＸＺ’平面内の面となる。
　結像光学系５は、面状光Ｌ２の照射によって試料Ｓで発生した観察光Ｌ３を結像する光学系である。結像光学系５は、図２に示すように、例えば対物レンズ１６及び結像レンズ等を含んで構成されている。結像光学系５の光軸Ｐ２は、観察光Ｌ３の観察軸となっている。本実施形態では、走査面Ｋの法線Ｐ３に対し、結像光学系５の光軸Ｐ２が角度θ２をもって傾斜している。
　画像取得部６は、図１に示すように、結像光学系５によって結像された観察光Ｌ３による光像に対応する画像データを複数取得する。画像取得部６は、例えば観察光Ｌ３による光像を撮像する撮像装置を含んで構成されている。撮像装置としては、例えばＣＭＯＳイメージセンサ、ＣＣＤイメージセンサといったエリアイメージセンサが挙げられる。これらのエリアイメージセンサは、結像光学系５による結像面に配置され、例えばグローバルシャッタ或いはローリングシャッタによって光像を撮像し、二次元画像のデータをコンピュータ７に出力する。
　コンピュータ７は、物理的には、ＲＡＭ、ＲＯＭ等のメモリ、及びＣＰＵ等のプロセッサ（演算回路）、通信インターフェイス、ハードディスク等の格納部、ディスプレイ等の表示部を備えて構成されている。かかるコンピュータ７としては、例えばパーソナルコンピュータ、クラウドサーバ、スマートデバイス（スマートフォン、タブレット端末など）などが挙げられる。コンピュータ７は、メモリに格納されるプログラムをコンピュータシステムのＣＰＵで実行することにより、光源２及び移動ステージ１２の動作を制御するコントローラ、試料Ｓの観察画像データを生成する画像生成部８、及び観察画像データを解析する解析部１０として機能する。
　コントローラとしてのコンピュータ７は、ユーザによる測定開始の操作の入力を受け、光源２、移動ステージ１２、及び画像取得部６を同期させて駆動する。この場合、コンピュータ７は、移動ステージ１２による試料Ｓの移動中、光源２が光Ｌ１を連続的に出力するように光源２を制御してもよく、画像取得部６による撮像に合わせて光源２による光Ｌ１の出力のＯＮ／ＯＦＦを制御してもよい。また、照射光学系３が光シャッタ（不図示）を備えている場合、コンピュータ７は、当該光シャッタの制御によって試料Ｓへの面状光Ｌ２の照射をＯＮ／ＯＦＦさせてもよい。
　また、画像生成部８としてのコンピュータ７は、画像取得部６によって生成された複数の画像データに基づいて試料Ｓの観察画像データを生成する。画像生成部８は、例えば画像取得部６から出力された複数の画像データに基づいて試料Ｓの３次元データを構成し、観察画像データを生成する。画像生成部８は、ユーザによる所定の操作に従って、生成した観察画像データの格納、モニタ等への表示等を実行する。
　図１及び図２に示したように、試料Ｓに対する面状光の照射面Ｒは、ＸＺ’平面内の面であり、試料Ｓに対して照射面ＲがＹ軸方向に走査される。したがって、図３（ａ）に示すように、画像生成部８には、試料ＳのＸＺ’断面に相当する画像データ３１がＹ軸方向に複数取得されることにより、試料Ｓの３次元情報が蓄積される。画像生成部８では、これらの画像データ３１を用いてデータが再構成され、例えば図３（ｂ）に示すように、試料ＳにおけるＺ軸方向の任意の位置において任意の厚さを持ったＸＹ断面画像が、バックグラウンドを抑えた観察画像データ３２として生成される。なお、画像生成部８は、画像データ３１を用いてデータの再構成を行うにあたり、ＸＹＺの３次元画像データを観察画像データ３２として生成してもよい。
　解析部１０としてのコンピュータ７は、画像生成部８によって生成された観察画像データ３２に基づいて解析を実行し、解析結果を生成する。解析部１０は、ユーザによる所定の操作に従って、生成した解析結果の格納、モニタ等への表示等を実行する。なお、画像生成部８によって生成された観察画像データ３２のモニタ等への表示は行わず、解析部１０によって生成された解析結果のみをモニタ等に表示してもよい。
　図４は、試料観察装置１を用いた試料観察方法の一例を示すフローチャートである。同図に示すように、この試料観察方法は、照射ステップ（ステップＳ０１）、走査ステップ（ステップＳ０２）、結像ステップ（ステップＳ０３）、画像取得ステップ（ステップＳ０４）、画像生成ステップ（ステップＳ０５）、及び解析ステップ（ステップＳ０６）を備えている。
　照射ステップＳ０１では、試料Ｓに面状光Ｌ２を照射する。ユーザによって測定開始の操作が入力されると、コンピュータ７からの制御信号に基づいて光源２が駆動し、光源２から光Ｌ１が出力される。光源２から出力された光Ｌ１は、照射光学系３によって整形されて面状光Ｌ２となり、試料Ｓに照射される。
　走査ステップＳ０２では、面状光Ｌ２の照射面Ｒに対して試料Ｓを走査する。ユーザによって測定開始の操作が入力されると、コンピュータ７からの制御信号に基づいて、光源２の駆動と同期して移動ステージ１２が駆動する。これにより、試料容器１１がＹ軸方向に一定の速度で直線的に駆動し、面状光Ｌ２の照射面Ｒに対してウェル１３内の試料Ｓが走査される。
　結像ステップＳ０３では、照射面Ｒに対して傾斜する観察軸Ｐ２を有する結像光学系５を用い、面状光Ｌ２の照射によって試料Ｓで発生した観察光Ｌ３を画像取得部６の結像面に対して結像する。画像取得ステップＳ０４では、結像光学系５によって結像された観察光Ｌ３による光像に対応する画像データを複数取得する。画像データは、画像取得部６から画像生成部８に順次出力される。
　画像生成ステップＳ０５では、複数の画像データに基づいて試料Ｓの観察画像データを生成する。本実施形態では、図１及び図２に示したように、照射光学系３の光軸は、走査面Ｋの法線に対して角度θ１だけ傾いており、試料Ｓに対して照射面ＲがＹ軸方向に走査される。したがって、画像生成部８には、図３（ａ）に示したように、画像データ３１をＹ軸方向に複数取得することによって、試料Ｓの３次元情報が蓄積される。画像生成部８では、複数の画像データ３１を用いてデータが再構成され、例えば図３（ｂ）に示すように、試料ＳにおけるＺ軸方向の任意の位置において任意の厚さを持ったＸＹ画像データ或いはＸＹＺの３次元画像データが試料Ｓの観察画像データ３２として生成される。
　解析ステップＳ０６では、解析部１０によって観察画像データ３２を解析し、解析結果を生成する。例えば創薬スクリーニングでは、試料容器１１に試料Ｓ及び試薬を入れ、観察画像データ３２を取得する。そして、解析部１０は、観察画像データ３２に基づいて試薬を評価し、評価データを解析結果として生成する。
　次に、上述した試料観察装置１の光学系の構成及び観察画像データ３２の生成について、更に詳細に説明する。
　試料観察装置１では、図２に示したように、走査面Ｋの法線Ｐ３に対し、照射光学系３の光軸Ｐ１が角度θ１をもって傾斜しており、結像光学系５の光軸Ｐ２が角度θ２をもって傾斜している。試料観察装置１では、１）θ１及びθ２がいずれも８０°以下となっており、かつθ１及びθ２の和が１００°以上となっている。また、２）θ１及びθ２がいずれも７０°以下となっており、かつθ１及びθ２の和が１１０°以上となっていてもよい。１）及び２）を満たす範囲を図５に示す。同図では、１）を満たす範囲が領域Ａで示され、２）を満たす範囲が領域Ｂで示されている。
　θ１及びθ２の上限値は、例えば試料容器１１の透明部材１５に対する面状光Ｌ２及び観察光Ｌ３の透過率に基づいて決定されている。図６は、傾斜角度と透過率との関係を示す図である。同図では、横軸を傾斜角度θとし、縦軸を透過率としている。この図６では、試料容器１１における試料Ｓの具体的な保持状態を考慮し、媒質Ａの屈折率ｎ１を１（空気）、媒質Ｂの屈折率ｎ２を１．５３（ガラス）、媒質Ｃの屈折率ｎ３を１．３３（水）としている。また、試料容器１１の透明部材１５に対する面状光Ｌ２及び観察光Ｌ３の透過率の値を、媒質Ｂ，Ｃの界面及び媒質Ａ，Ｂの界面の透過率の積により算出している。図６には、Ｐ波の透過率、Ｓ波の透過率、及びこれらの平均値の角度依存性がプロットされている。
　図６に示す結果から、傾斜角度θを変化させることで、試料容器１１での面状光Ｌ２及び観察光Ｌ３の透過率が可変となることが分かる。傾斜角度θが８０°以下の範囲では、少なくとも５０％以上の透過率が得られることが分かる。また、傾斜角度θが７０°以下の範囲では、少なくとも６０％以上の透過率が得られることが分かる。したがって、上記θ１及びθ２の上限値を８０°以下、好ましくは７０°以下とすることが好適である。
　また、図７は、画像取得部６での画像取得の様子を示す概略図である。同図の例では、画像取得部６における第ｎ画素、第（ｎ＋１）画素、第（ｎ＋２）画素の３つの画素が、第ｍフレーム、第（ｍ＋１）フレーム、第（ｍ＋２）フレームの３つの期間にわたって撮像する様子を示している。各画素は、走査部４によってＹ軸方向に走査される試料ＳのＸＺ’断面の一部の光像を各フレームにおいて順次撮像する。
　画像取得部６では、図７のハッチング表記部分に示すように、第ｍフレームにおいて、第ｎ画素の画像取得領域Ｆｎ，ｍに対し、第（ｎ＋１）画素の画像取得領域Ｆｎ＋１，ｍが１フレームの露光時間における試料Ｓの走査量Ｖに応じて試料Ｓの走査方向（Ｙ軸方向）にずれている。同様に、第ｍフレームにおいて、第（ｎ＋１）画素の画像取得領域Ｆｎ＋１，ｍに対し、第（ｎ＋２）画素の画像取得領域Ｆｎ＋２，ｍが１フレームの露光時間における試料Ｓの走査量Ｖに応じて試料Ｓの走査方向（Ｙ軸方向）にずれている。このような関係を満たすためには、照射光学系３の光軸Ｐ１と走査面Ｋの法線Ｐ３とがなす角度θ１及び結像光学系５の光軸Ｐ２と走査面Ｋの法線Ｐ３とがなす角度θ２に応じて、１フレームの露光時間における試料Ｓの走査量Ｖを設定すればよい。また、１フレームの露光時間における試料Ｓの走査量Ｖに応じて、角度θ１及び角度θ２の少なくとも一方を設定してもよい。
　上記関係を満たす場合、図７のドット表記部分に示すように、第ｍフレームの第（ｎ＋２）画素での画像取得領域Ｆｎ，ｍ＋２、第（ｍ＋１）フレームの第（ｎ＋１）画素での画像取得領域Ｆｎ＋１，ｍ＋１、及び第（ｍ＋２）フレームの第ｎ画素での画像取得領域Ｆｎ，ｍ＋２は、Ｚ軸方向に隣り合うこととなる。このため、画像生成部８においてデータを再構成せずに観察画像データ３２を生成すると、図８（ａ）に示すように、各画像データ３１が実空間上のＸＹＺ’画像データとなり、観察しにくい画像データが生成されることとなる。そこで、画像生成部８において各画素の画像データ３１を用いてデータを再構成する際、図８（ｂ）に示すように、画像生成部８においてＺ軸方向にｎピクセル離れた画像データ３１をＹ軸方向についてもｎピクセル離れた画像データ３１として補正を実行する。これにより、各画像データ３１が実空間上のＸＹＺ画像データとなり、各画像データ３１を実空間上の３次元データに容易に変換することが可能となる。
　図９は、一の画素の画像取得領域と視野の関係を示す図である。図９に示すように、一の画素におけるＺ軸方向の解像度Ｚｒｅｓｏは、下記式（１）で表される。式（１）中のＶ’と走査量Ｖとの間には、式（２）の関係が成り立つ。
Figure JPOXMLDOC01-appb-M000001
Figure JPOXMLDOC01-appb-M000002
　また、図１０は、面状光及び観察光の傾斜角度と視野の関係を示す図である。同図に示す例では、結像光学系５が屈折率ｎ１の媒質Ａ中に位置し、面状光Ｌ２の照射面Ｒが屈折率ｎ２の媒質Ｂ中に位置するものとする。ここでは、結像光学系５の視野Ｖを上述した１フレームの露光時間における試料Ｓの走査量Ｖと一致させている。結像光学系５の視野Ｖは、画素サイズと結像倍率によって定まる。これに合致するように１フレームの露光時間と走査部４による試料容器１１の走査速度とを調整することにより、視野Ｖを１フレームの露光時間における試料Ｓの走査量Ｖと一致させることができる。視野Ｖの媒質Ａと媒質Ｂの界面での距離をＬとした場合、以下の式（３）～（８）の関係が成り立つ。
Figure JPOXMLDOC01-appb-M000003
Figure JPOXMLDOC01-appb-M000004
Figure JPOXMLDOC01-appb-M000005
Figure JPOXMLDOC01-appb-M000006
Figure JPOXMLDOC01-appb-M000007
Figure JPOXMLDOC01-appb-M000008
　図２に示したθ１及びθ２の範囲の中からθ１及びθ２の組み合わせを選択する場合には、例えば以下の３つの条件を考慮する。
１）θｄｉｆｆの値が小さい程、デフォーカスの影響が低減される。
２）Ｚｒｅｓоの値が小さい程、観察画像データにおけるＺ軸方向の解像度が向上する。
３）Ｖ’のＹ軸方向の成分がＶと一致すると、Ｚ軸方向に隣り合う画素の画像取得領域がＹ軸方向についても隣り合い、各画像データの位置関係の補正が簡単となる。
　以上説明したように、試料観察装置１では、試料Ｓの走査面Ｋに対して結像光学系５の光軸Ｐ２が傾斜している。このため、画像取得部６では、面状光Ｌ２の光軸Ｐ１方向における断層面の画像データ３１を順次取得することができ、高いスループットで画像データ３１を得ることが可能となる。また、画像取得部６では、隣り合う画素での画像取得領域Ｆが１フレームの露光時間における試料Ｓの走査量Ｖに応じてずれている。したがって、各画像データ３１の位置関係の補正が簡単なものとなり、観察画像データ３２の構成にあたって、各画像データ３１を実空間上の３次元データに容易に変換することが可能となる。
　さらに、試料観察装置１では、走査面Ｋに対する照射光学系３の光軸Ｐ１が上記θ１，θ２の条件を満たす範囲で傾斜することで、デフォーカスの影響の低減が図られ、観察画像データ３２の深さ方向の解像度を十分に向上できる。θ１及びθ２がいずれも７０°以下であり、かつθ１及びθ２の和が１１０°以上である場合には、デフォーカスの影響を一層好適に低減することができる。
　また、試料観察装置１は、面状光Ｌ２の入力面及び観察光Ｌ３の出力面となる面を走査面Ｋとして有する試料容器１１を備えている。このような試料容器１１を用いることにより、複数の試料Ｓを安定して走査することが可能となる。
　また、試料観察装置１は、観察画像データ３２を解析し、解析結果を生成する解析部１０を備えている。これにより、画像生成部８によって生成された観察画像データ３２を解析部１０で解析できるため、解析のスループットも向上させることができる。
　本開示は、上記実施形態に限られるものではない。例えば上記実施形態では、試料容器１１においてウェル１３の一端側を塞ぐように透明部材１５が設けられているが、試料容器１１に代えて、ゲル等の固形物に試料Ｓを保持してもよい。また、フローサイトメーターのように、透明容器内に水等の流体を流して試料Ｓを移動させるようにしてもよい。
　また、結像光学系５及び画像取得部６を複数対配置してもよい。この場合、観察範囲を拡大できるほか、複数の異なる波長の観察光Ｌ３を観察することが可能となる。また、結像光学系５に対して複数の画像取得部６を配置してもよく、複数の結像光学系５に対して画像取得部６を配置してもよい。複数の画像取得部６は、異なる種類の光検出器あるいは撮像装置を組み合わせてもよい。光源２は、波長の異なる光を出力する複数の光源によって構成されてもよい。この場合、波長の異なる励起光を試料Ｓに照射することができる。
　また、非点収差の緩和のため、結像光学系５にプリズムを配置してもよい。この場合、例えば対物レンズ１６の後段側（対物レンズ１６と画像取得部６との間）にプリズムを配置してもよい。デフォーカス対策のため、結像光学系５の光軸Ｐ２に対して画像取得部６における撮像装置の撮像面を傾斜させてもよい。この他、例えば結像光学系５と画像取得部６との間にダイクロイックミラー或いはプリズムを配置して観察光Ｌ３の波長分離を行う構成としてもよい。
　１…試料観察装置、３…照射光学系、５…結像光学系、６…画像取得部、８…画像生成部、１０…解析部、１１…試料容器、３１…画像データ、３２…観察画像データ、Ｆ…画像取得領域、Ｋ…走査面、Ｌ２…面状光、Ｌ３…観察光、Ｒ…照射面、Ｐ１…照射光学系の光軸、Ｐ２…結像光学系の光軸、Ｐ３…走査面の法線、Ｓ…試料、Ｖ…走査量。

Claims (5)

  1. 　試料に面状光を照射する照射光学系と、
    　前記面状光の照射面を通過するように前記試料を走査面内の一方向に走査する走査部と、
    　前記面状光の照射によって前記試料で発生した観察光を結像する結像光学系と、
    　二次元に配列された複数の画素を有し、前記結像光学系によって結像された前記観察光の光像に対応する画像データを複数取得する画像取得部と、
    　前記画像取得部によって取得された複数の前記画像データに基づいて前記試料の観察画像データを生成する画像生成部と、を備え、
    　前記照射光学系の光軸と前記走査面の法線とがなす角度をθ１とし、前記結像光学系の光軸と前記走査面の法線とがなす角度をθ２とした場合に、θ１及びθ２がいずれも８０°以下であり、かつθ１及びθ２の和が１００°以上であり、
    　前記画像取得部において、第ｎ画素の画像取得領域に対し、第（ｎ＋１）画素の画像取得領域が１フレームの露光時間における前記試料の走査量に応じて前記試料の走査方向にずれている試料観察装置。
  2. 　θ１及びθ２がいずれも７０°以下であり、かつθ１及びθ２の和が１１０°以上である請求項１記載の試料観察装置。
  3. 　前記面状光の入力面及び前記観察光の出力面となる面を前記走査面として有する試料容器を更に備えた請求項１又は記載の試料観察装置。
  4. 　前記観察画像データを解析し、解析結果を生成する解析部を更に備えた請求項１～３のいずれか一項記載の試料観察装置。
  5. 　照射光学系を用いて試料に面状光を照射する照射ステップと、
    　前記面状光の照射面を通過するように前記試料を走査面内の一方向に走査する走査ステップと、
    　結像光学系を用いて前記面状光の照射によって前記試料で発生した観察光を結像する結像ステップと、
    　二次元に配列された複数の画素を有するイメージセンサを用いて、前記結像ステップによって結像された前記観察光の光像に対応する画像データを複数取得する画像取得ステップと、
    　前記複数の画像データに基づいて前記試料の観察画像データを生成する画像生成ステップと、を備え、
    　前記照射光学系の光軸と前記走査面の法線とがなす角度をθ１とし、前記結像光学系の光軸と前記走査面の法線とがなす角度をθ２とした場合に、θ１及びθ２をいずれも８０°以下とし、かつθ１及びθ２の和を１００°以上とし、
    　前記画像取得ステップにおいて、第ｎ画素の画像取得領域に対し、第（ｎ＋１）画素の画像取得領域を１フレームの露光時間における前記試料の走査量に応じて前記試料の走査方向にずらす試料観察方法。
PCT/JP2019/003233 2018-04-09 2019-01-30 試料観察装置及び試料観察方法 WO2019198309A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US16/981,564 US11391935B2 (en) 2018-04-09 2019-01-30 Sample observation device and sample observation method
CN201980021112.6A CN111902711B (zh) 2018-04-09 2019-01-30 试样观察装置和试样观察方法
EP19785613.1A EP3779411B1 (en) 2018-04-09 2019-01-30 Sample observation device and sample observation method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-074868 2018-04-09
JP2018074868A JP7007227B2 (ja) 2018-04-09 2018-04-09 試料観察装置及び試料観察方法

Publications (1)

Publication Number Publication Date
WO2019198309A1 true WO2019198309A1 (ja) 2019-10-17

Family

ID=68163985

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/003233 WO2019198309A1 (ja) 2018-04-09 2019-01-30 試料観察装置及び試料観察方法

Country Status (5)

Country Link
US (1) US11391935B2 (ja)
EP (1) EP3779411B1 (ja)
JP (1) JP7007227B2 (ja)
CN (1) CN111902711B (ja)
WO (1) WO2019198309A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021246021A1 (ja) * 2020-06-01 2021-12-09 浜松ホトニクス株式会社 試料観察装置及び試料観察方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62180241A (ja) 1986-02-04 1987-08-07 Hamamatsu Photonics Kk 断層像観察装置
JPH08161530A (ja) * 1994-12-09 1996-06-21 Olympus Optical Co Ltd アイコン作成方法及び動画用のコマ作成方法
JP2014202967A (ja) 2013-04-05 2014-10-27 独立行政法人理化学研究所 顕微鏡、焦準器具、流体保持器具、及び光学ユニット
WO2016189013A1 (de) * 2015-05-28 2016-12-01 Carl Zeiss Microscopy Gmbh Anordnung und verfahren zur strahlformung und zur lichtblattmikroskopie
JP2017058352A (ja) * 2015-09-18 2017-03-23 シスメックス株式会社 粒子撮像装置および粒子撮像方法
JP2017173820A (ja) * 2016-03-21 2017-09-28 カール ツァイス マイクロスコピー ゲーエムベーハーＣａｒｌ Ｚｅｉｓｓ Ｍｉｃｒｏｓｃｏｐｙ Ｇｍｂｈ 光シート顕微鏡および光シート顕微鏡を作動するための方法
JP2017187532A (ja) * 2016-04-01 2017-10-12 国立大学法人浜松医科大学 画像取得装置および画像取得方法
JP2017223706A (ja) * 2017-08-22 2017-12-21 浜松ホトニクス株式会社 蛍光観察装置及び蛍光観察方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7375826B1 (en) * 2004-09-23 2008-05-20 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration (Nasa) High speed three-dimensional laser scanner with real time processing
WO2008137746A1 (en) * 2007-05-04 2008-11-13 Aperio Technologies, Inc. Rapid microscope scanner for volume image acquisition
JP2011017620A (ja) * 2009-07-09 2011-01-27 Nikon Corp 形状測定方法、画像処理プログラム及び観察装置
CA2774422C (en) * 2009-10-12 2017-08-29 Ventana Medical Systems, Inc. Multi-modality contrast and brightfield context rendering for enhanced pathology determination and multi-analyte detection in tissue
JP5673679B2 (ja) * 2010-07-01 2015-02-18 株式会社ニコン 顕微鏡
KR20140039151A (ko) * 2011-01-06 2014-04-01 더 리전트 오브 더 유니버시티 오브 캘리포니아 무렌즈 단층 촬영 이미징 장치들 및 방법들
US9030548B2 (en) * 2012-03-16 2015-05-12 Dmetrix, Inc. Correction of a field-of-view overlay in a multi-axis projection imaging system
CA2793840A1 (en) * 2012-10-02 2014-04-02 The Royal Institution For The Advancement Of Learning/Mcgill University Method and system for optical microscopy
RU2678505C2 (ru) * 2014-12-22 2019-01-29 Конинклейке Филипс Н.В. Способ одновременного захвата данных изображений при многочисленных глубинах образца
JP6503221B2 (ja) * 2015-05-13 2019-04-17 オリンパス株式会社 ３次元情報取得装置、及び、３次元情報取得方法
US10409052B2 (en) * 2016-09-28 2019-09-10 University Of Washington Inverted light-sheet microscope

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62180241A (ja) 1986-02-04 1987-08-07 Hamamatsu Photonics Kk 断層像観察装置
JPH08161530A (ja) * 1994-12-09 1996-06-21 Olympus Optical Co Ltd アイコン作成方法及び動画用のコマ作成方法
JP2014202967A (ja) 2013-04-05 2014-10-27 独立行政法人理化学研究所 顕微鏡、焦準器具、流体保持器具、及び光学ユニット
WO2016189013A1 (de) * 2015-05-28 2016-12-01 Carl Zeiss Microscopy Gmbh Anordnung und verfahren zur strahlformung und zur lichtblattmikroskopie
JP2017058352A (ja) * 2015-09-18 2017-03-23 シスメックス株式会社 粒子撮像装置および粒子撮像方法
JP2017173820A (ja) * 2016-03-21 2017-09-28 カール ツァイス マイクロスコピー ゲーエムベーハーＣａｒｌ Ｚｅｉｓｓ Ｍｉｃｒｏｓｃｏｐｙ Ｇｍｂｈ 光シート顕微鏡および光シート顕微鏡を作動するための方法
JP2017187532A (ja) * 2016-04-01 2017-10-12 国立大学法人浜松医科大学 画像取得装置および画像取得方法
JP2017223706A (ja) * 2017-08-22 2017-12-21 浜松ホトニクス株式会社 蛍光観察装置及び蛍光観察方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3779411A4

Also Published As

Publication number Publication date
US11391935B2 (en) 2022-07-19
JP7007227B2 (ja) 2022-01-24
CN111902711A (zh) 2020-11-06
JP2019184403A (ja) 2019-10-24
EP3779411B1 (en) 2024-04-03
EP3779411A1 (en) 2021-02-17
EP3779411A4 (en) 2021-12-22
CN111902711B (zh) 2023-07-18
US20210018735A1 (en) 2021-01-21

Similar Documents

Publication Publication Date Title
JP6423841B2 (ja) 試料観察装置及び試料観察方法
CN111902761B (zh) 试样观察装置和试样观察方法
CN111971607B (zh) 试样观察装置
WO2019198309A1 (ja) 試料観察装置及び試料観察方法
JP6978562B2 (ja) 試料観察装置及び試料観察方法
JP6754408B2 (ja) 試料観察装置及び試料観察方法
JP7329113B2 (ja) 試料観察装置
EP4321917A1 (en) Sample observation device and sample observation method
JP7520976B2 (ja) 試料観察装置及び試料観察方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19785613

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019785613

Country of ref document: EP

Effective date: 20201109