WO2024106237A1 - 検体観察システム、検体観察装置及び検体観察方法 - Google Patents

検体観察システム、検体観察装置及び検体観察方法 Download PDF

Info

Publication number
WO2024106237A1
WO2024106237A1 PCT/JP2023/039820 JP2023039820W WO2024106237A1 WO 2024106237 A1 WO2024106237 A1 WO 2024106237A1 JP 2023039820 W JP2023039820 W JP 2023039820W WO 2024106237 A1 WO2024106237 A1 WO 2024106237A1
Authority
WO
WIPO (PCT)
Prior art keywords
optical axis
unit
light
amount
specimen
Prior art date
Application number
PCT/JP2023/039820
Other languages
English (en)
French (fr)
Inventor
健 松井
成司 和田
哲朗 桑山
寛和 辰田
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Publication of WO2024106237A1 publication Critical patent/WO2024106237A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/06Means for illuminating specimens
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/24Base structure
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals

Definitions

  • This disclosure relates to a specimen observation system, a specimen observation device, and a specimen observation method.
  • AF autofocus
  • the sensitivity to the focus is uniquely determined according to the distance between the observed object and the objective lens.
  • the AF does not function beyond the detection range of the sensor, causing focus shifts and blurring of the captured fluorescent image.
  • technologies such as those described in Patent Document 1 have been proposed.
  • this disclosure proposes a specimen observation system, specimen observation device, and specimen observation method that are capable of adjusting the focus sensitivity.
  • a specimen observation system includes a light emitting unit that emits irradiation light, an optical axis adjustment unit that shifts the optical axis of the irradiation light in a predetermined direction and is capable of changing the amount of shift of the optical axis, an objective lens that focuses the irradiation light with the shifted optical axis on an object to be observed, a movement drive unit that moves at least one of the objective lens and the object to be observed, a detection unit that detects the intensity value of the fluorescence emitted from the object to be observed by the irradiation light focused by the objective lens, and a control unit that controls the movement drive unit to maintain a predetermined distance between the objective lens and the object to be observed based on the intensity value detected by the detection unit.
  • a specimen observation device includes a light emitting unit that emits irradiation light, an optical axis adjustment unit that shifts the optical axis of the irradiation light in a predetermined direction and is capable of changing the amount of shift of the optical axis, and an objective lens that focuses the irradiation light with the shifted optical axis on an object to be observed.
  • a specimen observation method includes a specimen observation device emitting irradiation light, shifting the optical axis of the irradiation light in a predetermined direction, and focusing the irradiation light with the shifted optical axis on an object to be observed, and when shifting the optical axis in the predetermined direction, the optical axis is shifted based on a preset amount and direction of shift of the optical axis.
  • FIG. 1 is a diagram illustrating an example of the configuration of a microscope system according to a first embodiment.
  • 4 is a diagram illustrating an example of the configuration of an optical axis adjustment unit according to the first embodiment
  • FIG. 4 is a diagram illustrating an example of the configuration of an optical axis adjustment unit according to the first embodiment
  • FIG. 2 is a diagram illustrating an example of the configuration of a control device according to the first embodiment.
  • FIG. 4 is a diagram showing sensitivity adjustment information according to the first embodiment
  • 4A to 4C are diagrams for explaining the light intensity of irradiation light according to the first embodiment
  • 4A and 4B are diagrams for explaining the relationship between the focus position of the objective lens and the position of an image on the first image sensor according to the first embodiment.
  • 5A and 5B are diagrams illustrating changes in the amount of focus deviation and the position of the image on the first image sensor according to the amount of deviation of the optical axis according to the first embodiment.
  • 5A to 5C are diagrams for explaining a state in which an image is misaligned on the first detection sensor according to the first embodiment.
  • 11A and 11B are diagrams for explaining how a difference is obtained by using the center of gravity of light quantity from an image obtained by the first detection sensor according to the first embodiment.
  • 3 is a diagram for explaining the positional relationship between an objective lens and an observation object according to the first embodiment.
  • FIG. FIG. 13 is a diagram showing a case where the tilt (focus sensitivity) according to the first embodiment is appropriate.
  • FIG. 13 is a diagram showing a case where the inclination according to the first embodiment is smaller (the focus sensitivity is low) than that in FIG. 12 .
  • 13 is a diagram showing a case where the inclination according to the first embodiment is larger (higher focus sensitivity) than in FIG. 12 .
  • 5 is a flowchart showing an example of a flow of information processing according to the first embodiment.
  • FIG. 13 is a diagram illustrating an example of the configuration of a microscope system according to a second embodiment.
  • 13 is a diagram illustrating an example of the configuration of an optical axis adjustment unit according to a second embodiment.
  • FIG. 13 is a diagram illustrating an example of the configuration of an optical axis adjustment unit according to a second embodiment.
  • FIG. 13 is a diagram illustrating an example of the configuration of a microscope system according to a third embodiment.
  • 13 is a diagram illustrating an example of the configuration of an optical axis adjustment unit according to a third embodiment.
  • FIG. 13 is a diagram illustrating an example of the configuration of an optical axis adjustment unit according to a third embodiment.
  • FIG. 13 is a graph showing the relationship between the rotation angle and the wavelength reflectance (% R) when glass having a thickness of 12 mm is used as the refractive portion according to the third embodiment.
  • 13 is a diagram for explaining the relationship between the rotation angle and the beam shift amount in the case where quartz glass is used as the refracting portion according to the third embodiment.
  • FIG. FIG. 2 is a diagram showing an example of an image of a subject to be photographed;
  • FIG. 25 is a diagram showing an example in which the center of gravity of the object shown in FIG. 24 is obtained by imaging the object with line illumination;
  • FIG. 13 is a diagram for explaining the center of gravity position in the aperture method.
  • FIG. 13 is a diagram for explaining the center of gravity position in the beam shift method.
  • FIG. 13 is a diagram for explaining the position of the center of gravity of the aperture method when there is a brightness saturation area.
  • FIG. 13 is a diagram for explaining the center position of the beam shift method when there is a brightness saturation area.
  • FIG. 11 is a schematic block diagram of a microscope system according to an application example.
  • FIG. 13 is a diagram illustrating an example of an optical system in a microscope system according to an application example.
  • FIG. 2 is a diagram illustrating an example of a schematic configuration of hardware.
  • each embodiment may contribute to solving a different purpose or problem, and may provide different effects. Note that the effects in each embodiment are merely examples and are not limiting, and other effects may also be provided.
  • First embodiment 1-1 Example of the configuration of a microscope system 1-2.
  • Second embodiment 2-1 Example of the configuration of a microscope system 3.
  • Third embodiment 3-1 Example of the configuration of a microscope system 4. Comparison between the aperture method and the beam shift method 5. Functions and effects according to each embodiment 6.
  • Other embodiments 7.
  • Application example 8. Example of the hardware configuration 9. Supplementary notes
  • FIG. 1 is a diagram showing a configuration example of the microscope system 1 according to the first embodiment.
  • Fig. 2 and Fig. 3 are each a diagram showing a configuration example of an optical axis adjustment unit 13 according to the first embodiment.
  • the microscope system 1 is an example of a specimen observation system.
  • the microscope system 1 is a system that irradiates a specimen Sa with excitation light La and receives fluorescence emitted from the specimen Sa.
  • This microscope system 1 includes an imaging device 2, a control device 3, and a server device 4.
  • the imaging device 2 is communicatively connected to the control device 3, for example, via a wired or wireless connection.
  • the control device 3 is communicatively connected to the server device 4 via a network, such as a wired or wireless communication network.
  • the imaging device 2 includes an irradiation unit 10, an optical system 20, a stage unit 30, a detection unit 40, and an image detection unit 50.
  • the imaging device 2 functions as an optical microscope having an optical mechanism for measuring the fluorescence emitted from the specimen Sa.
  • the imaging device 2 is an example of a specimen observation device.
  • the irradiation unit 10 irradiates excitation light La.
  • the excitation light La is light that has an asymmetric shape with respect to the optical axis.
  • the optical axis is the optical axis from the irradiation unit 10 to the observation object S.
  • a shape that is asymmetric with respect to the optical axis means that the shape of the light beam in an orthogonal cross section perpendicular to the optical axis is asymmetric with the optical axis as the center.
  • the wavelength range of the excitation light La may be any wavelength range that includes the wavelength range in which the specimen Sa emits fluorescence.
  • the irradiation unit 10 has a light emitting unit 11, a collimator lens 12, and an optical axis adjustment unit 13.
  • the light-emitting unit 11 emits irradiation light L that includes at least the wavelength range in which the specimen Sa emits fluorescence.
  • the light-emitting unit 11 may be a light source that emits spot-shaped (point-shaped) light, a light source that emits line-shaped light, or a light source that emits line-shaped light through a slit or the like.
  • spot-shaped and line-shaped refer to the shape of a cross section perpendicular to the optical axis of the irradiation light L emitted from the light-emitting unit 11. This optical axis is the optical axis of the irradiation light L that has passed through the collimating lens 12.
  • the light-emitting unit 11 is a light source that emits linear irradiation light L.
  • the longitudinal direction of the linear irradiation light L coincides with the X-axis direction in FIG. 1. Details of the X-axis direction will be described later.
  • the collimator lens 12 converts the irradiation light L emitted from the light-emitting unit 11 into approximately parallel light.
  • the irradiation light L emitted from the light-emitting unit 11 is converted into approximately parallel light by the collimator lens 12 and then reaches the optical axis adjustment unit 13.
  • the optical axis adjustment unit 13 has a light blocking unit 14 and a first movement drive unit 15.
  • the first movement drive unit 15 functions as a light blocking movement drive unit.
  • the light shielding section 14 shields a portion of the irradiation light L.
  • This light shielding section 14 may be any member that shields a portion of the irradiation light L.
  • the light shielding section 14 is a plate-shaped member (light shielding plate) that is not transparent to the irradiation light L, and has an opening 14a through which a portion of the irradiation light L passes.
  • the opening 14a is formed, for example, in a rectangular shape.
  • the irradiation light L emitted from the light-emitting section 11 is converted into approximately parallel light by the collimating lens 12 before reaching the light shielding section 14.
  • the light shielding section 14 shields a portion of the irradiation light L, and emits it as excitation light La that is asymmetric in shape with respect to the optical axis.
  • the light shielding portion 14 shields one end of the line-shaped irradiation light L in a direction intersecting the longitudinal direction (the X-axis direction in the figure) (the Z-axis direction in the figure).
  • the light shielding range of the light shielding portion 14 is not limited.
  • the light shielding portion 14 may be positioned so as to shield the range from one end to the center in the Z-axis direction in a cross section perpendicular to the optical axis of the irradiation light L.
  • the irradiation light L becomes excitation light La that is asymmetric in shape with respect to the optical axis by being partially shielded by the light shielding portion 14.
  • the first movement drive unit 15 moves the light blocking unit 14 in a direction along a cross section perpendicular to the optical axis of the irradiation light L.
  • the first movement drive unit 15 moves the light blocking unit 14 in a direction (Z-axis direction in the figure) intersecting the longitudinal direction (X-axis direction in the figure) of the line-shaped irradiation light L.
  • the first movement drive unit 15 is, for example, a movement mechanism such as a single-axis motorized stage. This movement mechanism includes, for example, a motor such as a stepping motor or a servo motor.
  • the optical system 20 has a dichroic mirror 21, an objective lens 22, a second movement drive unit 23, and a dichroic mirror 24.
  • the dichroic mirror 21 reflects the excitation light La and transmits light in wavelength regions other than the excitation light La. In this embodiment, the dichroic mirror 21 transmits fluorescent light. Note that a half mirror may be used instead of the dichroic mirror 21.
  • the objective lens 22 focuses the excitation light La on the observation object S.
  • the objective lens 22 is a lens for focusing the excitation light La on the observation object S and irradiating the excitation light La on the specimen Sa.
  • the second movement drive unit 23 moves the objective lens 22 in a direction toward or away from the observation object S.
  • the second movement drive unit 23 moves the objective lens 22 in the Z-axis direction in FIG. 1.
  • the focus of the objective lens 22 is adjusted by adjusting the distance between the objective lens 22 and the observation object S (described in detail below).
  • the second movement drive unit 23 is, for example, a movement mechanism such as a single-axis motorized stage. This movement mechanism includes, for example, a motor such as a stepping motor or a servo motor.
  • the dichroic mirror 24 distributes a portion of the fluorescence to the detection unit 40 and the remainder to the image detection unit 50.
  • the distribution ratio of the fluorescence by the dichroic mirror 24 to the detection unit 40 and the image detection unit 50 may be different ratios or the same ratio (e.g., 50%, 50%).
  • a half mirror may be used instead of the dichroic mirror 24.
  • the direction along which the objective lens 22 and the observation object S approach and move away from each other is referred to as the Z-axis direction.
  • the Z-axis direction is described as coinciding with the thickness direction of the specimen Sa.
  • the two-dimensional plane that is the light receiving surface of the observation object S for the excitation light La is a plane represented by two axes perpendicular to the Z-axis direction (the X-axis direction and the Y-axis direction perpendicular to the X-axis direction).
  • the longitudinal direction of the linear irradiation light L coincides with the X-axis direction.
  • the longitudinal direction of the irradiation light L i.e., the longitudinal direction of the excitation light La, may not coincide with the X-axis direction.
  • an excitation filter may be provided between the light-shielding unit 14 and the dichroic mirror 21.
  • the excitation filter selectively transmits light in a wavelength range in which the specimen Sa to be measured emits fluorescence.
  • the excitation light La is narrowed in band by passing through the excitation filter, and is then reflected by the dichroic mirror 21 and reaches the objective lens 22.
  • the objective lens 22 moves relative to the observation object S, but this is not limited to this.
  • either or both of the objective lens 22 and the observation object S may move in the Z-axis direction.
  • the stage unit 30 has a stage 31 and a third movement drive unit 32.
  • the stage 31 is a stage that holds the observation object S. This stage 31 is formed so that it can move in the X-axis direction and the Y-axis direction. However, it is sufficient that the stage 31 is formed so that it can move at least in the Y-axis direction.
  • the third movement drive unit 32 moves the stage 31 in the X-axis direction and the Y-axis direction. However, it is sufficient that the third movement drive unit 32 is configured to move the stage 31 at least in the Y-axis direction. As the stage 31 moves, the observation object S placed on the stage 31 moves in the Y-axis direction relative to the objective lens 22.
  • the third movement drive unit 32 is, for example, a movement mechanism such as a two-axis electric stage. This movement mechanism includes, for example, a motor such as a stepping motor or a servo motor.
  • the observation object S includes a specimen Sa.
  • the specimen Sa is an example of a measurement object in the microscope system 1, and is placed on the stage 31. That is, the specimen Sa can be an object for which an image is obtained by the microscope system 1. In this embodiment, the specimen Sa will be described as emitting fluorescence when irradiated with excitation light La.
  • the specimen Sa may include a biological sample. Examples of biological samples include microorganisms, cells, liposomes, red blood cells, white blood cells, platelets, vascular endothelial cells, tiny cell fragments of epithelial tissue, and pathological tissue slices of various organs.
  • the specimen Sa may be, for example, a biological sample placed between a pair of glass members.
  • the specimen Sa may also be, for example, a biological sample placed on a glass member.
  • the glass member is, for example, a slide glass.
  • the glass member may also be called a cover glass.
  • the glass member may be any member on which a biological sample can be placed, and is not limited to a member made of glass.
  • the glass member may be any member that transmits light such as the excitation light La and light emitted from the specimen Sa.
  • the specimen Sa may be, for example, a biological sample encapsulated in an encapsulant.
  • the encapsulant may be any material that transmits light such as the excitation light La and light emitted from the specimen Sa.
  • the encapsulant may be either a liquid or a solid.
  • the biological sample that may be contained in the specimen Sa may have been subjected to a process such as staining or labeling.
  • the process may be staining to show the morphology of the biological component or to show a substance (such as a surface antigen) contained in the biological component, and may be, for example, HE (Hematoxylin-Eosin) staining or immunohistochemistry staining.
  • the biological sample may have been subjected to the above process using one or more reagents, and the reagents may be fluorescent dyes, color-developing reagents, fluorescent proteins, or fluorescently labeled antibodies.
  • the specimen Sa may be prepared from a specimen or tissue sample taken from the human body for the purpose of pathological diagnosis or clinical testing. Furthermore, the specimen Sa is not limited to being derived from the human body, but may also be derived from animals, plants, or other materials. The characteristics of the specimen Sa vary depending on the type of tissue (e.g., organs or cells) used, the type of disease being treated, the attributes of the subject (e.g., age, sex, blood type, or race), or the lifestyle of the subject (e.g., diet, exercise habits, or smoking habits).
  • the specimens may be managed with identification information (e.g., barcode information or QR code (registered trademark) information) that can identify each specimen.
  • the light emitted from the specimen Sa may be, for example, fluorescence emitted from a fluorescent dye in a biological sample when irradiated with the excitation light La. Furthermore, the light emitted from the specimen Sa may be, for example, light that emits light in a wavelength range other than fluorescence when irradiated with the excitation light La, or, more specifically, light that scatters or reflects the illumination light. In the following, the fluorescence emitted by the specimen Sa when irradiated with the excitation light La may be referred to simply as "light.”
  • the specimen Sa When the specimen Sa is irradiated with the excitation light La, it emits fluorescence.
  • the fluorescence emitted from the specimen Sa by irradiation with the excitation light La passes through the objective lens 22 and the dichroic mirror 21 and reaches the dichroic mirror 24.
  • the dichroic mirror 24 distributes a portion of the fluorescence to the detection unit 40 and the remainder to the image detection unit 50.
  • the imaging device 2 irradiates the excitation light La onto the observation object S by scanning the irradiation light L along a direction (Y-axis direction) perpendicular to the longitudinal direction (X-axis direction) of the irradiation light L.
  • the method of scanning the excitation light La is not limited. Examples of the scanning method include a method of moving the stage 31 in the Y-axis direction by the third movement drive unit 32, and a method of moving a part of the imaging device 2 other than the stage 31 in the Y-axis direction relative to the observation object S.
  • a polarizing mirror may be disposed between the dichroic mirror 21 and the objective lens 22, and the excitation light La may be scanned by the polarizing mirror.
  • the light-emitting unit 11 of the irradiation unit 10 and the object of observation S are in an optically conjugate relationship. Also, it is assumed that the light-emitting unit 11, the object of observation S, the detection unit 40, and the image detection unit 50 are in an optically conjugate relationship. In other words, it is assumed that the imaging device 2 is a microscope optical system of a coaxial epi-illumination type.
  • the detection unit 40 has a first imaging sensor 41 and a first imaging lens 42.
  • the first imaging sensor 41 is, for example, an area sensor or a line sensor.
  • the first imaging lens 42 focuses the fluorescence reflected by the dichroic mirror 24 onto the first imaging sensor 41.
  • Such a detection unit 40 receives the fluorescence emitted from the specimen Sa and outputs a fluorescence signal.
  • This detection unit 40 functions as an imaging camera for autofocus.
  • the image detection unit 50 has a second imaging sensor 51 and a second imaging lens 52.
  • the second imaging sensor 51 is, for example, an area sensor or a line sensor.
  • the second imaging lens 52 focuses the fluorescence that has passed through the dichroic mirror 24 onto the second imaging sensor 51.
  • Such an image detection unit 50 receives the fluorescence and outputs a fluorescence image indicating the received fluorescence.
  • the image detection unit 50 outputs the fluorescence image to, for example, the server device 4 or an analysis device that analyzes the fluorescence image.
  • the fluorescence image is used to analyze the type of sample Sa, etc.
  • Each of the first imaging sensor 41 and the second imaging sensor 51 includes, for example, a plurality of light receiving sections (not shown).
  • the light receiving sections are elements that convert the received fluorescence into an electric charge.
  • the light receiving sections are, for example, photodiodes.
  • a sensor in which a plurality of light receiving sections are arranged two-dimensionally along a light receiving surface that receives the fluorescence may be used, or a sensor in which a plurality of light receiving sections are arranged one-dimensionally may be used.
  • This sensor may be, for example, a CMOS (Complementary Metal-Oxide Semiconductor) image sensor or a CCD (Charge Coupled Device) image sensor.
  • CMOS Complementary Metal-Oxide Semiconductor
  • CCD Charge Coupled Device
  • the first image sensor 41 has a configuration in which multiple light receiving elements are arranged two-dimensionally along the light receiving surface will be described as an example. Also, in this embodiment, a case where the gains and charge accumulation times of the multiple light receiving elements included in the first image sensor 41 are the same as each other will be described as an example.
  • the first imaging sensor 41 receives the fluorescence and outputs a fluorescence signal.
  • the fluorescence signal output from the first imaging sensor 41 is a signal indicating the intensity value (e.g., light intensity) of the fluorescence received by each of the multiple light receiving sections.
  • the fluorescence signal is a signal that specifies the fluorescence intensity value for each light receiving section.
  • the fluorescence intensity value may be referred to as the fluorescence intensity value.
  • the fluorescence intensity value is a value that indicates the intensity of the received fluorescence.
  • the first imaging sensor 41 outputs the fluorescence signal to the control device 3.
  • the fluorescent signal is a fluorescent image in which a fluorescent intensity value is defined for each pixel corresponding to each of the multiple light receiving units.
  • the fluorescent intensity value corresponds to the pixel value.
  • FIG. 4 is a diagram showing a configuration example of the control device 3 according to the first embodiment.
  • Fig. 5 is a diagram showing sensitivity adjustment information T1 according to the first embodiment.
  • control device 3 As shown in FIG. 4, the control device 3 according to the first embodiment has a control unit 3a, a processing unit 3b, a memory unit 3c, and an input unit 3d.
  • the control unit 3a controls each unit.
  • the control unit 3a controls the light-emitting unit 11, the first movement drive unit 15, the second movement drive unit 23, the third movement drive unit 32, the first image sensor 41, the second image sensor 51, and the like.
  • the control unit 3a controls the light-emitting unit 11 by adjusting the amount of light emitted by the light-emitting unit 11.
  • the control unit 3a also controls the first movement drive unit 15 by adjusting the amount of movement and the direction of movement of the light-shielding unit 14.
  • the control unit 3a controls the second movement drive unit 23 by adjusting the amount of movement and the direction of movement of the objective lens 22.
  • the control unit 3a controls the third movement drive unit 32 by adjusting the amount of movement and the direction of movement of the stage 31.
  • the control unit 3a controls the first image sensor 41 to obtain a fluorescent signal. This control unit 3a receives the fluorescent signal from the first image sensor 41.
  • the control unit 3a controls the second image sensor 51 to obtain a fluorescent image. This control unit 3a receives the fluorescent image from the second image sensor 51.
  • the processing unit 3b executes various processes. For example, the processing unit 3b executes various processes in response to an input operation by an operator on the input unit 3d.
  • the memory unit 3c stores various information.
  • the input unit 3d accepts an input operation from the operator.
  • This input unit 3d may be configured with an input device such as a keyboard or a mouse.
  • the input unit 3d may be an input device other than a keyboard or a mouse.
  • the control unit 3a and processing unit 3b may be realized, for example, by having a processing device such as a CPU (Central Processing Unit) execute a program, i.e., by software, or may be realized by hardware such as an IC (Integrated Circuit), or may be realized by a combination of software and hardware.
  • a processing device such as a CPU (Central Processing Unit) execute a program, i.e., by software, or may be realized by hardware such as an IC (Integrated Circuit), or may be realized by a combination of software and hardware.
  • a processing device such as a CPU (Central Processing Unit) execute a program, i.e., by software, or may be realized by hardware such as an IC (Integrated Circuit), or may be realized by a combination of software and hardware.
  • IC Integrated Circuit
  • the operator may operate the input unit 3d according to the type of observation object S (e.g., the type of specimen Sa) based on experience or statistics to adjust the amount of light blocking of the irradiated light L by the light blocking unit 14.
  • the control unit 3a controls the first movement drive unit 15 to move the light blocking unit 14 according to the input operation of the operator on the input unit 3d.
  • a part of the irradiated light L is blocked by the light blocking unit 14, but the optical axis of the irradiated light L changes as the amount of light blocking of the irradiated light L by the light blocking unit 14 changes.
  • the amount of deviation of the optical axis of the irradiated light L is determined by the amount of light blocking that blocks the irradiated light L.
  • the change in the amount of deviation of the optical axis changes the focus sensitivity (described in detail below).
  • the memory unit 3c may store sensitivity adjustment information T1, for example, as shown in FIG. 5.
  • the sensitivity adjustment information T1 is information indicating the focus sensitivity (amount of deviation of the optical axis) for each type of observation object S (for example, type of specimen Sa). This sensitivity adjustment information T1 is, for example, experimentally or theoretically obtained in advance and stored in the memory unit 3c.
  • the numerical values of the focus sensitivity (amount of deviation of the optical axis) in FIG. 5 are merely examples.
  • the types of measurement object S are SA, SB, and SC, and the focus sensitivity is set to -0.5 mm, -0.3 mm, and -0.7 mm for each type. These numerical values are the amount of deviation from the reference position of the optical axis.
  • the operator operates the input unit 3d to input or select the type of observation object S.
  • the processing unit 3b selects the amount of optical axis shift from the sensitivity adjustment information T1 according to the type of specimen Sa input or selected, and sets the selected amount of optical axis shift as a set value.
  • the control unit 3a controls the first movement drive unit 15 based on the set value of the amount of optical axis shift to move the light shielding unit 14. As a result, the light shielding unit 14 reaches a position based on the set value of the amount of optical axis shift.
  • Information such as sensitivity adjustment information T1 may be obtained in advance by using techniques such as AI (Artificial Intelligence) or machine learning to determine the correspondence between the type (e.g., morphology) of specimen Sa and focus sensitivity.
  • AI Artificial Intelligence
  • the focus sensitivity is determined when the observation object S is set, and the optical axis deviation is automatically adjusted to achieve the determined focus sensitivity.
  • a provisional photographing (thumbnail photographing) step is included in the photographing step to determine the location of specimen Sa of observation object S in advance, the resolution during the provisional photographing needs to be set to an appropriate level.
  • FIG. 6 is a diagram for explaining the light intensity of the irradiation light L according to the first embodiment.
  • the irradiation light L emitted from the light-emitting unit 11 is collimated by the collimator lens 12, and the waveform A1 of the light intensity of the collimated light has a convex shape with a peak.
  • FIG. 7 is a diagram for explaining the relationship between the focus position of the objective lens 22 and the position of the image (e.g., a line image) on the first image sensor 41 according to the positional relationship (image) between the light-shielding portion 14 having the opening 14a and the light intensity in the first embodiment.
  • the image e.g., a line image
  • Each graph in FIG. 7 plots the focus position of the objective lens 22 and the position of the image on the first image sensor 41 when the light shielding portion 14 is moved a specified amount, based on the case where the light amount is cut in half by the light shielding portion 14.
  • the horizontal axis represents the focus position (in-focus position) of the observed object S and the objective lens 22, and the vertical axis represents the position of the image on the first image sensor 41 (the distance from the reference position of the image).
  • the specified amount for moving the light shielding portion 14 is +0.5 mm, -0.5 mm, and -1.0 mm from the reference position.
  • the positive movement direction of the light shielding portion 14 is upward, and the negative movement direction of the light shielding portion 14 is downward.
  • FIG. 8 is a diagram showing how the amount of focus shift and the position of the image on the first image sensor 41 change according to the amount of shift in the optical axis in the first embodiment.
  • the horizontal axis represents the focus position of the observation object S and the objective lens 22, and the vertical axis represents the position of the image on the first image sensor 41.
  • the processing unit 3b first determines the focus position of the observation object S and the objective lens 22, and sets the position of the image on the first image sensor 41 at that time as the reference focus position. After that, if the position of the image on the first image sensor 41 changes from the reference focus position, the control unit 3a can always maintain the focus position by moving the objective lens 22 with the second movement drive unit 23 so as to cancel out the amount of change (phase difference method). In other words, the control unit 3a moves the objective lens 22 with the second movement drive unit 23 so as to maintain the separation distance between the observation object S and the objective lens 22 at a predetermined distance, which is the initial value.
  • the amount of focus movement and the amount of movement of the image on the first image sensor 41 are determined by the optical design (e.g., the amount of deviation from the optical axis).
  • the optical design e.g., the amount of deviation from the optical axis.
  • the amount of deviation from the optical axis can be easily controlled. In other words, by changing the slope of the graph shown in Figure 8, it is possible to adjust the focus sensitivity.
  • the focus sensitivity By adjusting the focus sensitivity, it is possible to adjust the focus to suit the shape of the specimen Sa of the observation object S, for example.
  • the focus sensitivity can be set low (low slope of the graph shown in FIG. 8), and if a sharper focus characteristic is desired, the focus sensitivity can be set high (high slope of the graph shown in FIG. 8), thereby obtaining AF characteristics that suit the shape of the specimen Sa.
  • FIG. 9 is a diagram for explaining the state in which an image (optical axis) is misaligned on the first image sensor 41 according to the first embodiment.
  • the state in which the line image G1, which is the image, is misaligned on the first image sensor 41 is displayed in black and white inversion.
  • FIG. 10 is a diagram for explaining how the difference (amount of deviation) is calculated using the center of gravity of light quantity from the image obtained by the first image sensor 41 according to the first embodiment.
  • the processing unit 3b determines the most frequent value from the full screen histogram as the brightness threshold value (step S1).
  • the processing unit 3b calculates the X average light amount for each X position in the direction perpendicular to the line image G2 and plots it as the vertical axis (step S2), and the Y position in the direction perpendicular to the line image G2 as the horizontal axis (step S3).
  • the processing unit 3b determines the threshold value as the black level, subtracts the black level from the light amount value of the X average light amount, calculates the center of gravity position of the light amount, and obtains the difference (deviation amount) between the calculated center of gravity position and the reference position (step S4).
  • this predetermined value is set to 25, which is a value that is less than 10% of the maximum brightness value of 255 in the case of 8 bits.
  • the most frequent value depends on the noise characteristics of the first image sensor 41, but is, for example, about 8.
  • FIG. 11 is a diagram for explaining the positional relationship between the objective lens 22 and the observation object S according to the first embodiment.
  • the position of the objective lens 22 moves in the Z-axis direction relative to the unevenness of the specimen Sa of the observation object S.
  • the objective lens 22 moves in a direction toward or away from the observation object S.
  • the objective lens 22 moves by the second movement drive unit 23 under the control of the control unit 3a to maintain focus, for example, to eliminate the difference (deviation) between the center of gravity position and the reference position described above.
  • FIG. 12 is a diagram showing a case where the tilt (focus sensitivity) according to the first embodiment is appropriate.
  • FIG. 13 is a diagram showing a case where the tilt according to the first embodiment is smaller than that of FIG. 12 (low focus sensitivity).
  • FIG. 14 is a diagram showing a case where the tilt according to the first embodiment is larger than that of FIG. 12 (high focus sensitivity).
  • B1a is the lower movement limit
  • B1b is the upper movement limit.
  • B2 is the detection range of the first image sensor 41.
  • B2a is the lower detection limit
  • B2b is the upper detection limit.
  • the slope (sensitivity) of the solid line B11 is appropriately set.
  • the actual focus range is narrow and the sensitivity to the unevenness of the observation object S is low, making detection difficult. For this reason, it is necessary to increase the sensitivity, and the slope of the dashed line B12a is set.
  • the actual focus range is wide, and the detection range B2 of the first image sensor 41 exceeds the range of the detection lower limit value B2a and the detection upper limit value B2b.
  • the focus if the focus remains at the end of the movable range of the objective lens 22, the focus will be lost, that is, the image will be blurred. For this reason, it is necessary to decrease the sensitivity, and the slope of the dashed line B13a is set. Note that the line will be blurred at the upper and lower limits of the detection range B2 of the first image sensor 41. For example, the signal may widen or the peak brightness may decrease. It is desirable for the detection range B2 of the first image sensor 41 to be a range in which linearity can be maintained.
  • the focus sensitivity (focus adjustment sensitivity) of the observation object S and the objective lens 22 is usually determined by the optical design, but by using the optical axis adjustment unit 13, it is possible to easily and freely adjust the focus sensitivity. Adjustment according to the observation object S is possible; for example, if the observation object S is rough (large unevenness), the focus sensitivity can be lowered, and if the observation object S is fine (small unevenness), the focus sensitivity can be raised, thereby improving the focusing performance for the observation object S.
  • Fig. 15 is a flowchart showing an example of the flow of information processing according to the first embodiment. This information processing is executed by the control device 3.
  • the observation object S is placed on the stage 31.
  • the observation object S may be placed on the stage 31 manually, or may be placed automatically using a loader or a manipulator.
  • the control unit 3a controls the irradiation unit 10 to turn on the illumination (step S100).
  • illumination excitation light La
  • the illumination light here may be line illumination, or may be light that is irradiated over a wider area in the Y-axis direction than line illumination.
  • the control unit 3a adjusts the focus sensitivity (step S102). For example, the operator operates the input unit 3d according to the type of observation object S (e.g., type of specimen Sa) based on experience or statistics. In response to the operator's input operation on the input unit 3d, the control unit 3a controls the first movement drive unit 15 to move the light shielding unit 14 and stop it at the desired position. This sets the amount of light shielding of the irradiated light L by the light shielding unit 14, and determines the focus sensitivity. It is possible to change the amount of light shielding of the irradiated light L by the light shielding unit 14 according to the type of observation object S, and the focus sensitivity can also be changed according to the type of observation object S.
  • the type of observation object S e.g., type of specimen Sa
  • the processing unit 3b acquires an image of the light from the observation object S from the image detection unit 50 (step S104).
  • the light from the observation object S is light emitted from the specimen Sa illuminated with light.
  • the processing unit 3b functions as an image acquisition unit.
  • the processing unit 3b executes a reference focus process using the captured image acquired in step S104 (step S106).
  • the initial relative position between the objective lens 22 and the object to be observed S is adjusted to a position where the contrast ratio is maximized.
  • the processing unit 3b calculates the contrast ratio of the captured image acquired in step S104.
  • the processing unit 3b repeats the movement of the objective lens 22 in the Z-axis direction under the control of the control unit 3a and the calculation of the contrast ratio of the captured image acquired from the image detection unit 50. Through this repeated process, the processing unit 3b adjusts the initial relative position between the objective lens 22 and the object to be observed S to a position where the contrast ratio is maximized.
  • the processing unit 3b functions as a reference focus unit.
  • the control unit 3a turns off the illumination that was turned on in the previous step S100 (step S108), and controls the irradiation unit 10 to turn on the line illumination (step S110).
  • the line illumination (excitation light La) from the irradiation unit 10 is irradiated onto the observation object S.
  • the processing unit 3b acquires a focus image from the detection unit 40 (step S112). That is, the processing unit 3b acquires a focus image, which is an image of fluorescence from the observation object S irradiated with line illumination (excitation light La).
  • the processing unit 3b functions as a focus image acquisition unit.
  • the processing unit 3b selects a unit area corresponding to a specific light sensitivity from among the multiple types of unit areas (step S114). For example, the processing unit 3b selects a unit area corresponding to a light intensity value within a predetermined range of gradation values (for example, a range of gradation values from 10 to 250) in the focused image acquired in step S112.
  • the processing unit 3b functions as a selection unit.
  • the processing unit 3b identifies the center of gravity of the image of the unit area in the focus image acquired in step S112 (step S116).
  • This center of gravity is the reference position (target center of gravity position).
  • the reference position is the center of gravity of the fluorescence intensity value when the focus of the objective lens 22 is on the specimen Sa of the observation object S.
  • the reference position corresponds to the position where the difference between adjacent pixel values (brightness values) is the largest in the focus image (captured image) of the observation object S irradiated with the excitation light La.
  • This position is, for example, a position in the Y-axis direction.
  • the processing unit 3b identifies the center of gravity position (reference position) using a known contrast method.
  • the processing unit 3b may identify the eye reference position by receiving or reading a reference position identified by an external device or the like using the contrast method.
  • the processing unit 3b functions as a center of gravity identification unit.
  • control unit 3a controls the third movement drive unit 32 so that the irradiation position of the line illumination (excitation light La) is the initial position in the scanning direction (Y-axis direction) of the measurement target area (step S118).
  • the processing unit 3b acquires a focus image from the detection unit 40 (step S120). That is, the processing unit 3b acquires a focus image, which is an image of fluorescence from the observation object S irradiated with line illumination (excitation light La).
  • the processing unit 3b selects a unit area corresponding to a specific light sensitivity from among the multiple types of unit areas (step S122). For example, the processing unit 3b selects a unit area corresponding to a light intensity value within a predetermined range of gradation values (for example, a range of gradation values from 10 to 250) in the focused image acquired in step S120.
  • a predetermined range of gradation values for example, a range of gradation values from 10 to 250
  • the processing unit 3b identifies the center of gravity of the image of the unit area in the focus image acquired in step S120 (step S124). For example, the processing unit 3b identifies the center of gravity position using a known contrast method.
  • the processing unit 3b calculates the difference between the center of gravity position (reference position) calculated in step S116 and the center of gravity position calculated in step S124 (step S126).
  • the processing unit 3b functions as a relative distance derivation unit.
  • the processing unit 3b calculates the amount of displacement in the Z-axis direction from the difference calculated in step S126, thereby calculating relative position information indicating the relative position between the objective lens 22 and the observation object S (step S128).
  • the processing unit 3b functions as a relative position derivation unit.
  • the control unit 3a controls the second movement drive unit 23 to move the objective lens 22 in the Z-axis direction (step S130).
  • the control unit 3a moves the objective lens 22 in a relative movement direction according to the relative movement amount represented by the displacement amount derived as the relative position in step S128 and the positive or negative value of that displacement amount.
  • the control unit 3a moves the objective lens 22 so as to eliminate the difference calculated in step S126.
  • step S130 the objective lens 22 and the object to be observed S move toward or away from each other along the Z axis direction.
  • the relative positions in the Z axis direction between the objective lens 22 and the object to be observed S are adjusted to the relative positions calculated in step S128, and the focus is adjusted so that the object to be observed S is in focus.
  • the processing unit 3b acquires an image of the fluorescence from the observation object S from the image detection unit 50 (step S132).
  • the image acquired in step S132 is, for example, an image acquired at a certain position in the scanning direction (Y-axis direction) of the measurement target area.
  • the control unit 3a judges whether or not to end the acquisition of the captured image (step S134).
  • the control unit 3a makes the judgment in step S134 by determining whether or not the line illumination (excitation light La) has been scanned from one end to the other end in the scanning direction of the measurement target area. If the control unit 3a judges negative in step S134 (No in step S134), the process proceeds to step S136.
  • the control unit 3a controls the third movement drive unit 32 to move the stage 31 in the scanning direction (Y-axis direction) by the width of the line illumination (excitation light La) (step S136).
  • step S136 the irradiation position of the line illumination in the scanning direction (Y-axis direction) of the measurement target area moves in the scanning direction by the width of the line illumination. Then, the processing returns to the above step S120.
  • step S134 judges the result in step S134 to be positive (Yes in step S134)
  • the process proceeds to step S138.
  • the control unit 3a stores the captured image from one end to the other end of the measurement target area in the scanning direction as a captured image of the observation target S included in the measurement target area in the storage unit 3c or the server device 4 (step S138). This ends the routine.
  • control unit 3a may make the judgment in step S134 by determining whether the line illumination (excitation light La) has been scanned from one end to the other end in the scanning direction of the measurement target area, and whether the line illumination has been scanned from one end to the other end in the X-axis direction of the measurement target area. In this case, in step S136, the control unit 3a may shift the irradiation position of the line illumination in the X-axis direction each time scanning of the line illumination from one end to the other end in the scanning direction of the measurement target area is completed, and then return the process to step S120.
  • the line illumination may be turned off. Then, when the movement of the stage 31 stops, the line illumination may be turned on again, and the process may return to step S120.
  • This type of processing makes it possible to freely move the light blocking portion 14 in a direction perpendicular to the optical axis (for example, in the Z-axis direction) and control the amount of deviation of the optical axis.
  • By controlling the amount of deviation of the optical axis it is possible to adjust the sensitivity of the observation object S and the objective lens 22 to focus adjustment, i.e., the focus sensitivity.
  • Second embodiment 2-1 Example of microscope system configuration A configuration example of a microscope system 1 according to the second embodiment will be described with reference to Fig. 16 to Fig. 18.
  • the second embodiment is basically the same as the first embodiment, but the difference therebetween (optical axis adjustment unit 13) will be described.
  • FIG. 16 is a diagram showing an example of the configuration of a microscope system 1 according to the second embodiment.
  • FIGS. 17 and 18 are each a diagram showing an example of the configuration of an optical axis adjustment unit 13 according to the second embodiment.
  • the first movement drive unit 15 of the optical axis adjustment unit 13 moves the light emitting unit 11 and the collimating lens 12 in a direction perpendicular to the optical axis, rather than the light blocking unit 14.
  • the first movement drive unit 15 moves the light emitting unit 11 and the collimating lens 12, for example, in the Z-axis direction in the figure.
  • the light blocking unit 14 is fixed, and the light emitting unit 11 and the collimating lens 12 move relative to the light blocking unit 14. The positional relationship between the light emitting unit 11 and the collimating lens 12 is maintained.
  • the first movement drive unit 15 holds the light emitting unit 11 and the collimating lens 12, and moves the light emitting unit 11 and the collimating lens 12 in the Z-axis direction.
  • the collimating lens 12 is provided in an opening in a case (not shown) that covers the light emitting unit 11, through which the irradiation light L emitted from the light emitting unit 11 passes.
  • the first movement drive unit 15 is provided with a heat sink 16 that dissipates heat.
  • movement of the light emitting unit 11 usually requires precision, since the optical axis after movement must remain parallel to the original optical axis before the movement. If this is a problem, it is desirable to use the optical axis adjustment unit 13 according to the first embodiment.
  • the third embodiment is basically the same as the first embodiment, but the difference therebetween (optical axis adjustment unit 13) will be described.
  • FIG. 19 is a diagram showing an example of the configuration of a microscope system 1 according to the third embodiment.
  • FIGS. 20 and 21 are each a diagram showing an example of the configuration of an optical axis adjustment unit 13 according to the third embodiment.
  • the optical axis adjustment unit 13 has a refraction unit 17 and a rotation drive unit 18.
  • the refraction unit 17 refracts the incident light, which is the irradiation light L, twice and emits the incident light with the optical axis shifted in parallel by a desired amount.
  • the refraction unit 17 is configured to be rotatable in a plane parallel to the Z-axis direction in the figure by the rotation drive unit 18.
  • the refraction unit 17 is provided with an axis parallel to the X-axis direction in the figure and passing through the center of the refraction unit 17 as the rotation axis.
  • the optical axis of the incident light and the optical axis of the emitted light are parallel and shifted by a desired amount. This shift amount changes according to the rotation amount (rotation angle) of the refraction unit 17.
  • the refraction unit 17 is configured, for example, by an optical plate such as a parallel plate or an optical cube. Note that the number of times the irradiation light L is refracted by the refraction unit 17 is not limited to two times.
  • the rotation drive unit 18 holds the refraction unit 17 rotatably within a plane parallel to the Z-axis direction in the figure, and rotates the refraction unit 17.
  • This rotation drive unit 18 is controlled by the control unit 3a.
  • the control unit 3a controls the rotation drive unit 18 by adjusting the amount of rotation and direction of rotation of the refraction unit 17. This adjusts the amount and direction of deviation of the optical axis of the irradiation light L.
  • the rotation drive unit 18 is, for example, a rotation mechanism.
  • This rotation mechanism includes, for example, a motor such as a stepping motor or a servo motor. Because rotation control is used, the structure is simplified and reliability can be increased.
  • optical glass is used as the refracting section 17 to utilize refraction, but there is a loss of light intensity as the light passes through the optical glass.
  • the loss of light intensity can be reduced by applying an AR coating (anti-reflective coating) to the glass for the specific wavelengths used for AF (autofocus). In other words, light can be used more effectively.
  • FIG. 22 is a graph showing the relationship between the rotation angle and the wavelength reflectance (%R) when glass with a thickness of 12 mm is used as the refractive section 17 according to the third embodiment.
  • %R wavelength reflectance
  • FIG. 23 is a diagram for explaining the relationship between the rotation angle and the amount of beam shift when quartz glass is used as the refracting portion 17 according to the third embodiment.
  • n1 is the refractive index of air, which is 1.
  • n2 is the refractive index of quartz glass, which is 1.47.
  • the amount of beam shift changes in proportion to the rotation angle ⁇ 1. This shows that the desired amount of beam shift can be obtained by rotating the refraction section 17 by the rotation drive section 18 based on the rotation angle ⁇ 1.
  • a refraction section 17 is provided between the light-emitting section 11 and the objective lens 22, and by angling the refraction section 17, a shift in the optical axis (beam shift) is generated, making it possible to control the amount of shift in the optical axis.
  • a shift in the optical axis beam shift
  • the optical axis adjustment method by the optical axis adjustment unit 13 (light blocking unit 14) according to the first or second embodiment will be described as the aperture method
  • the optical axis adjustment method by the optical axis adjustment unit 13 (refracting unit 17) according to the third embodiment will be described as the beam shift method.
  • FIG. 24 is a diagram showing an example of an image to be captured.
  • Tissue which is an example of a specimen Sa
  • HE hematoxylin and eosin
  • FIG. 25 is a diagram showing an example in which the subject shown in FIG. 24 is imaged using line illumination to determine the center of gravity.
  • area C2 (frame) is the area in which the center of gravity is determined.
  • the light amount center of gravity within the range of area C2 is calculated.
  • the white line C3 is the center of gravity line obtained by calculating the light amount center of gravity.
  • Part C4 indicated by the white arrow is a red blood cell, which appears to be brighter than the rest and wider in the Y direction. This part protrudes above and below the center of gravity area of normal tissue.
  • FIG. 26 is a diagram explaining the center position of the aperture method.
  • FIG. 27 is a diagram explaining the center position of the beam shift method.
  • the horizontal axis is the line position (line number) and the vertical axis is the line average pixel value.
  • the center of gravity position D1 of the light amount is on the non-shaded side (right side) of the line average pixel value peak.
  • the center position D2 of the light amount is located closer to the line average pixel value peak than when the optical axis adjustment method is the aperture method.
  • FIG. 28 is a diagram explaining the position of the center of gravity of the aperture method when there is a brightness saturated area.
  • FIG. 29 is a diagram explaining the position of the center of gravity of the beam shift method when there is a brightness saturated area.
  • the horizontal axis is the line position (line number) and the vertical axis is the line average pixel value.
  • the optical axis adjustment method is the beam shift method
  • the width of the line with a high line average pixel value will also increase, but because the increase is uniform, there will be little change in the center of gravity position D2 of the light amount. In this case, the deviation between the center of gravity position D2 of the light amount and the peak of the line average pixel value is small.
  • the beam shift method has an advantage over the aperture method because the amount of change in the center of gravity position (center of gravity line) of the light amount is smaller than in the aperture method.
  • the beam shift method uses optical elements with different refractive indices to shift the beam, and the cross-sectional shape of the beam is symmetrical from top to bottom.
  • the aperture method shifts the beam for center of gravity AF by blocking light, and although it is simple, the cross-sectional shape of the beam is asymmetrical from top to bottom.
  • the beam is irradiation light L
  • the cross-sectional shape of the beam is the shape of an orthogonal cross section perpendicular to the optical axis of the beam.
  • the beam shift method spreads the lines evenly, the detection depth fluctuation range is small for saturated pixel elements such as red blood cells. Because the beam shift method distributes the amount of light linearly for saturated pixel elements such as red blood cells (see Figure 29), the sensitivity of the first image sensor 41, for example, AF error based on the focus adjustment signal, is reduced. The beam shift method makes more effective use of the amount of light than the aperture method, and can suppress focus deviation.
  • the beam shift method in either the beam shift method or the aperture method, in the simplified phase difference AF method (center of gravity AF method), it is possible to obtain a focus sensitivity (e.g., focus resolution) suitable for the type of the observation object S, for example, its shape (irregularity).
  • the beam shift method makes it possible to avoid the possibility that saturated pixel elements such as red blood cells may cause fluctuations in the detection depth.
  • increasing the focus sensitivity for the observation object S means using a large first image sensor 41 to increase the position information in the first image sensor 41. If a small first image sensor 41 is used to reduce costs, if the specimen Sa has unevenness or steps that are larger than expected, the image may fall outside the detection range of the first image sensor 41 and become undetectable. In this case, the focus sensitivity is adjusted by the optical axis adjustment unit 13, for example by lowering the focus sensitivity, making it possible to track the specimen Sa of the observation object S.
  • the magnitude of the focus adjustment signal which changes depending on the unevenness of the observation object S, variable according to the size of the first image sensor 41, it is possible to avoid increased costs, such as by installing a larger sensor. For example, if the magnitude of the focus adjustment signal exceeds the upper limit, the focus sensitivity can be lowered to deal with the situation.
  • the optical system is complex and it is difficult to easily change the optical axis position, but in the simplified phase-difference AF method of this embodiment, the focus sensitivity can be easily changed by simply generating a shift in the optical axis.
  • the microscope system 1 which is an example of a specimen observation system, includes a light emitting unit 11 that emits irradiation light L, an optical axis adjustment unit 13 that can shift the optical axis of the irradiation light L in a predetermined direction and change the amount of shift of the optical axis, an objective lens 22 that focuses the irradiation light (excitation light La) whose optical axis has been shifted on the observation object S, a second movement drive unit 23 that moves at least one of the objective lens 22 and the observation object S, a detection unit 40 that detects the intensity value of the fluorescence emitted from the observation object S by the irradiation light (excitation light La) focused by the objective lens 22, and a control unit 3a that controls the second movement drive unit 23 so as to maintain the separation distance between the objective lens 22 and the observation object S at a predetermined distance based on the intensity value detected by the detection unit 40.
  • the optical axis adjustment unit 13 may also emit irradiation light (excitation light La) that is asymmetric with respect to the optical axis. Even in this case, it is possible to change the amount of deviation of the optical axis, and adjust the focus sensitivity.
  • the optical axis adjustment unit 13 may also have a light shielding unit 14 that blocks a portion of the irradiation light L, and a first movement drive unit 15 (light shielding movement drive unit) that moves at least one of the light emitting unit 11 and the light shielding unit 14 in a direction perpendicular to the optical axis. This allows the optical axis adjustment unit 13 to be realized with a simple configuration.
  • the optical axis adjustment unit 13 may also emit irradiation light (excitation light La) that is symmetrical with respect to the optical axis. Even in this case, it is possible to change the amount of deviation of the optical axis, and the focus sensitivity can be adjusted. Furthermore, the optical axis adjustment unit 13 can use light more effectively than when it emits irradiation light (excitation light La) that is asymmetrical with respect to the optical axis.
  • the optical axis adjustment unit 13 may also have a refracting unit 17 that refracts the irradiated light L, and a rotation drive unit 18 that rotates the refracting unit 17. This allows the optical axis adjustment unit 13 to be realized with a simple configuration. Furthermore, because rotation control is easy, the amount of deviation of the optical axis can be easily controlled, and can be done with high precision.
  • the refraction unit 17 may refract the irradiated light L so that the incident light and the outgoing light travel in the same direction, and the rotation drive unit 18 may rotate the refraction unit 17 in a plane parallel to the optical axis. This allows the optical axis adjustment unit 13 to be realized with a simple configuration.
  • the optical axis adjustment unit 13 may also adjust the amount of deviation of the optical axis depending on the type of observation object S. This makes it possible to adjust the focus sensitivity depending on the type of observation object S.
  • the microscope system 1 may further include an input unit 3d that receives input operations from an operator, and the optical axis adjustment unit 13 may adjust the amount of deviation of the optical axis in response to the input operation of the operator on the input unit 3d. This makes it possible to easily adjust the amount of deviation of the optical axis, and therefore to easily adjust the focus sensitivity.
  • the microscope system 1 may further include a storage unit 3c that stores sensitivity adjustment information T1 indicating the amount of optical axis deviation for each type of observation object S, and the optical axis adjustment unit 13 may adjust the amount of optical axis deviation based on the sensitivity adjustment information T1. This makes it possible to easily adjust the amount of optical axis deviation, and therefore to easily adjust the focus sensitivity.
  • the microscope system 1 may further include an input unit 3d that receives input operations from an operator, and the optical axis adjustment unit 13 may adjust the amount of optical axis deviation based on the amount of optical axis deviation selected from the sensitivity adjustment information T1 in response to the operator's input operations on the input unit 3d. This makes it possible to easily adjust the amount of optical axis deviation, and therefore to easily adjust the focus sensitivity.
  • the optical axis adjustment unit 13 may also adjust the amount of deviation of the optical axis according to the unevenness of the observation object S. This makes it possible to adjust the focus sensitivity according to the unevenness of the observation object S.
  • the optical axis adjustment unit 13 may also adjust the amount of deviation of the optical axis in response to changes in the objective lens 22. This makes it possible to adjust the focus sensitivity in response to changes in the objective lens 22.
  • the optical axis adjustment unit 13 may also adjust the amount of deviation of the optical axis according to the magnification of the objective lens 22. This makes it possible to adjust the focus sensitivity according to the magnification of the objective lens 22.
  • the microscope system 1 further includes a processing unit 3b that determines the center of gravity of the irradiated light (excitation light La) whose optical axis has been shifted based on the intensity value detected by the detection unit 40, and the control unit 3a may control the second movement drive unit 23 based on the center of gravity (e.g., the center of gravity of the light amount) so as to maintain the distance between the objective lens 22 and the observation object S at a predetermined distance. This makes it possible to reliably maintain the distance between the objective lens 22 and the observation object S at a predetermined distance.
  • the center of gravity e.g., the center of gravity of the light amount
  • the first movement drive unit 15, the second movement drive unit 23, or the third movement drive unit 32 is not limited to a stepping motor or a servo motor, and actuators such as a linear actuator, an ultrasonic actuator, a piezoelectric element, or an acousto-optical element may also be used.
  • directly moving elements such as the light-shielding unit 14, the light-emitting unit 11, or the refraction unit 17, they may be moved indirectly using a link mechanism or the like.
  • a configuration may be used in which an external magnetic field is applied to move elements such as the light-shielding unit 14, the light-emitting unit 11, or the refraction unit 17.
  • optical axis deviation does not have to be changed steplessly, but may be changed in two or more steps.
  • the amount of deviation of the optical axis may be changed depending on the coarse and fine parts of the object S to be observed, thereby changing the focus sensitivity.
  • the optical axis may be automatically shifted to adjust the focus sensitivity in response to changes in the objective lens 22 (e.g., magnification). For example, the focus sensitivity is lowered when the magnification of the objective lens 22 is low, and the focus sensitivity is increased when the magnification of the objective lens 22 is high.
  • changes in the objective lens 22 e.g., magnification
  • FIG. 30 is a schematic block diagram of a microscope system 1000 according to an application example.
  • FIG. 31 is a diagram showing an example of an optical system in a microscope system 1000 according to an application example.
  • a microscope system 1000 includes an observation unit 1001.
  • the observation unit 1001 includes an excitation unit 1010 that irradiates a pathological specimen (pathological sample) with a plurality of line lights having different wavelengths arranged in parallel with different axes, a stage 1020 that supports the pathological specimen, and a spectral imaging unit 1030 that acquires a fluorescence spectrum (spectral data) of the linearly excited pathological specimen.
  • different axes but parallel means that the multiple line lights are on different axes and parallel.
  • “Different axes” means that they are not on the same axis, and there is no particular restriction on the distance between the axes.
  • "Parallel” is not limited to “parallel” in the strict sense, but also includes a state where the lights are nearly parallel. For example, there may be deviations from the parallel state due to distortion from the optical system such as lenses, or manufacturing tolerances, and in this case they are still considered to be parallel.
  • the microscope system 1000 further includes a processing unit 1002. Based on the fluorescence spectrum of a pathological specimen (hereinafter also referred to as sample S) acquired by the observation unit 1001, the processing unit 1002 typically forms an image of the pathological specimen or outputs a distribution of the fluorescence spectrum.
  • the image referred to here refers to the composition ratio of the pigments that make up the spectrum and the autofluorescence derived from the sample, the waveform converted into RGB (red, green, blue) colors, the luminance distribution of a specific wavelength band, etc.
  • the excitation section 1010 and the spectroscopic imaging section 1030 are connected to the stage 1020 via an observation optical system 1040 such as an objective lens 1044.
  • the observation optical system 1040 has a function of tracking the optimal focus using a focus mechanism 1060.
  • a non-fluorescence observation section 1070 such as dark-field observation or bright-field observation may be connected to the observation optical system 1040.
  • the microscope system 1000 may be connected to a control unit 1080 that controls the excitation unit (control of the LD and shutter), the XY stage which is the scanning mechanism, the spectroscopic imaging unit (camera), the focus mechanism (detector and Z stage), the non-fluorescence observation unit (camera), etc.
  • a control unit 1080 controls the excitation unit (control of the LD and shutter), the XY stage which is the scanning mechanism, the spectroscopic imaging unit (camera), the focus mechanism (detector and Z stage), the non-fluorescence observation unit (camera), etc.
  • the excitation unit 1010 includes a plurality of excitation light sources L1, L2, ... capable of outputting light of a plurality of excitation wavelengths Ex1, Ex2, ....
  • the plurality of excitation light sources are typically constituted by light-emitting diodes (LEDs), laser diodes (LDs), mercury lamps, etc., and each light is converted into a line illumination and irradiated onto the sample S on the stage 1020.
  • the sample S (corresponding to the specimen Sa) is typically composed of a slide containing an observation target such as a tissue slice, but of course it can be something else.
  • the sample S (observation target) is stained with multiple fluorescent dyes.
  • the observation unit 1001 observes the sample S by magnifying it to a desired magnification.
  • the excitation section 1010 has multiple line lights (e.g., line lights LA and LB) arranged, and the shooting area of the spectral imaging section 1030 is arranged so as to overlap with each illumination area.
  • the two line lights LA and LB are each parallel to the Z-axis direction and are arranged a predetermined distance ( ⁇ y) apart in the Y-axis direction.
  • the shooting areas correspond to each slit section of the observation slit 1031 ( Figure 31) in the spectral imaging section 1030.
  • the illumination line width and the slit width can be larger, whichever is larger. If the illumination line width is larger than the slit width, the alignment margin of the excitation section 1010 with respect to the spectral imaging section 1030 can be increased.
  • the wavelengths constituting the first line illumination Ex1 and the second line illumination Ex2 are different from each other.
  • the line-shaped fluorescence excited by these line illuminations Ex1 and Ex2 is observed in the spectral imaging unit 1030 via the observation optical system 1040.
  • the spectral imaging unit 1030 has an observation slit 1031 with multiple slit sections through which the fluorescence excited by the multiple line illuminations can pass, and at least one image sensor 1032 that can individually receive the fluorescence that has passed through the observation slit 1031.
  • a two-dimensional imager such as a CCD or CMOS is used for the image sensor 1032.
  • the spectral imaging section 1030 acquires fluorescence spectral data (x, ⁇ ) from each of the line illuminators Ex1 and Ex2, using the pixel array in one direction (e.g., the vertical direction) of the image sensor 1032 as a wavelength channel.
  • the acquired spectral data (x, ⁇ ) is recorded in the processing unit 1002 with a link to which excitation wavelength each piece of spectral data was excited from.
  • the processing unit 1002 can be realized by hardware elements used in a computer, such as a CPU, RAM, ROM, etc., and the necessary software.
  • a PLD Programmable Logic Device
  • FPGA Field Programmable Gate Array
  • DSP Digital Signal Processor
  • ASIC Application Specific Integrated Circuits
  • the processing unit 1002 has a memory 1021 that stores spectroscopic data that indicates the correlation between the wavelengths of the multiple line lights Ex1 and Ex2 and the fluorescence received by the image sensor 1032.
  • the memory 1021 uses a storage device such as a non-volatile semiconductor memory or a hard disk drive, and stores in advance a standard spectrum of the autofluorescence of the sample S and a standard spectrum of the dye alone that stains the sample S.
  • the spectroscopic data (x, ⁇ ) received by the image sensor 1032 is stored in the memory 1021.
  • the memory that stores the autofluorescence and standard spectrum of the dye alone of the sample S and the memory that stores the spectroscopic data (measured spectrum) of the sample S acquired by the image sensor 1032 are configured in a common memory 1021, but this is not limited to the above and may be configured in separate memory units.
  • a dichroic mirror 1042 and a bandpass filter 1045 are inserted in the optical path to prevent the excitation light (Ex1, Ex2) from reaching the image sensor 1032.
  • intermittent parts are generated in the fluorescence spectrum imaged on the image sensor 1032.
  • the image sensor 1032 may include a plurality of image sensors 1032a and 1032b each capable of receiving the fluorescence that has passed through the observation slit 1031.
  • the fluorescence spectrum excited by each of the line lights Ex1 and Ex2 is acquired on the image sensors 1032a and 1032b and stored in the memory unit 1021 in association with the excitation light.
  • the line illuminations Ex1 and Ex2 are not limited to being composed of a single wavelength, and each may be composed of multiple wavelengths.
  • the fluorescence excited by these also contains multiple spectra.
  • the spectral imaging unit 1030 has a wavelength dispersion element for separating the fluorescence into spectra derived from the excitation wavelengths.
  • the wavelength dispersion element is composed of a diffraction grating, a prism, or the like, and is typically placed on the optical path between the observation slit 1031 and the image sensor 1032.
  • the observation unit 1001 further includes a scanning mechanism 1050 that scans the stage 1020 with a plurality of line illuminators Ex1 and Ex2 in the Y-axis direction, that is, in the arrangement direction of the line illuminators Ex1 and Ex2.
  • a scanning mechanism 1050 that scans the stage 1020 with a plurality of line illuminators Ex1 and Ex2 in the Y-axis direction, that is, in the arrangement direction of the line illuminators Ex1 and Ex2.
  • the photographing area is divided into a plurality of areas in the X-axis direction, and the sample S is scanned in the Y-axis direction, and then the area is moved in the X-axis direction and further scanned in the Y-axis direction. This operation is repeated.
  • Spectral images derived from a sample excited by several types of excitation wavelengths can be photographed in one scan.
  • the scanning mechanism 1050 typically scans the stage 1020 in the Y-axis direction, but multiple line lights Ex1, Ex2 may also be scanned in the Y-axis direction by a galvanometer mirror placed midway through the optical system. Finally, three-dimensional data of (X, Y, ⁇ ) is acquired for each of the multiple line lights Ex1, Ex2.
  • the three-dimensional data derived from each of the line lights Ex1, Ex2 is data whose coordinates are shifted by ⁇ y along the Y-axis, and is therefore corrected and output based on the ⁇ y recorded in advance or the value of ⁇ y calculated from the output of the image sensor 1032.
  • each line light may also include multiple excitation wavelengths selected so as to minimize degradation of color separation performance. Even if there is only one line light, if the excitation light source is composed of multiple excitation wavelengths and each excitation wavelength is linked to and recorded with the row data acquired by the image sensor, a multi-color spectrum can be obtained, although the separation ability is not as good as with parallel axes.
  • observation unit 1001 Next, the observation unit 1001 will be described in detail with reference to FIG.
  • the excitation unit 1010 has multiple (four in this example) excitation light sources L1, L2, L3, and L4.
  • Each of the excitation light sources L1 to L4 is composed of a laser light source that outputs laser light with wavelengths of 405 nm, 488 nm, 561 nm, and 645 nm, respectively.
  • the excitation section 1010 further includes a plurality of collimator lenses 1011 and laser line filters 1012 corresponding to the excitation light sources L1 to L4, dichroic mirrors 1013a, 1013b, and 1013c, a homogenizer 1014, a condenser lens 1015, and an entrance slit 1016.
  • the laser light emitted from excitation light source L1 and the laser light emitted from excitation light source L3 are each collimated by collimator lens 1011, then pass through laser line filter 1012 to cut the base of each wavelength band, and are made coaxial by dichroic mirror 1013a.
  • the two coaxial laser lights are further beam-shaped by homogenizer 1014, such as a fly-eye lens, and condenser lens 1015 to become line illumination Ex1.
  • the laser light emitted from excitation light source L2 and the laser light emitted from excitation light source L4 are similarly made coaxial by dichroic mirrors 1013b and 1013c, and are converted into line illumination to become line illumination Ex2 having a different axis from line illumination Ex1.
  • Line illuminations Ex1 and Ex2 form different-axis line illuminations (primary images) separated by ⁇ y at entrance slit 1016 (slit conjugate) having multiple slit sections through which each of the line illuminations can pass.
  • the observation optical system 1040 has a condenser lens 1041, dichroic mirrors 1042 and 1043, an objective lens 1044, a bandpass filter 1045, and a condenser lens 1046.
  • the line illuminations Ex1 and Ex2 are collimated by the condenser lens 1041 paired with the objective lens 1044, reflected by the dichroic mirrors 1042 and 1043, transmitted through the objective lens 1044, and irradiated onto the sample S.
  • the fluorescence excited on the sample S surface is collected by the objective lens 1044, reflected by the dichroic mirror 1043, transmitted through the dichroic mirror 1042 and the bandpass filter 1045 that cuts the excitation light, collected again by the condenser lens 1046, and enters the spectroscopic imaging section 1030.
  • the spectral imaging section 1030 has an observation slit 1031, an image sensor 1032 (1032a, 1032b), a first prism 1033, a mirror 1034, a diffraction grating 1035 (wavelength dispersion element), and a second prism 1036.
  • the observation slit 1031 is placed at the focal point of the condenser lens 1046, and has the same number of slits as the number of excitation lines.
  • the fluorescence spectra from the two excitation lines that pass through the observation slit 1031 are separated by the first prism 1033, and are further separated into fluorescence spectra of each excitation wavelength by being reflected by the grating surface of the diffraction grating 1035 via the mirror 1034.
  • the four fluorescence spectra separated in this way are incident on the image sensors 1032a and 1032b via the mirror 1034 and the second prism 1036, and are expanded into (x, ⁇ ) information as spectral data.
  • the pixel size (nm/Pixel) of the image sensors 1032a and 1032b is not particularly limited, and is set to, for example, 2 nm or more and 20 nm or less.
  • This dispersion value may be realized optically by the pitch of the diffraction grating 1035, or may be realized by using hardware binning of the image sensors 1032a and 1032b.
  • the stage 1020 and the scanning mechanism 1050 form an XY stage, and the sample S is moved in the X-axis direction and the Y-axis direction to acquire a fluorescent image of the sample S.
  • WSI Whole Slide Imaging
  • the sample S is scanned in the Y-axis direction, then moved in the X-axis direction, and then scanned again in the Y-axis direction, and this operation is repeated.
  • the non-fluorescence observation section 1070 is composed of a light source 1071, a dichroic mirror 1043, an objective lens 1044, a condenser lens 1072, an image sensor 1073, etc.
  • FIG. 31 shows an observation system using dark-field illumination.
  • the light source 1071 is disposed below the stage 1020, and irradiates the sample S on the stage 1020 with illumination light from the side opposite the line illuminations Ex1 and Ex2.
  • the light source 1071 illuminates from outside the NA (numerical aperture) of the objective lens 1044, and the light diffracted by the sample S (dark-field image) is captured by the image sensor 1073 via the objective lens 1044, dichroic mirror 1043, and condenser lens 1072.
  • dark-field illumination even seemingly transparent samples such as fluorescently stained samples can be observed with contrast.
  • the dark-field image may be observed simultaneously with the fluorescence and used for real-time focusing.
  • the illumination wavelength may be selected so that it does not affect the fluorescence observation.
  • the non-fluorescence observation unit 1070 is not limited to an observation system that acquires a dark-field image, but may be configured with an observation system that can acquire non-fluorescence images such as bright-field images, phase-contrast images, phase images, and in-line hologram images.
  • various observation methods such as the Schlieren method, phase-contrast method, polarized observation method, and epi-illumination method can be used as a method for acquiring non-fluorescence images.
  • the position of the illumination light source is not limited to below the stage, but may be above the stage or around the objective lens.
  • other methods such as a pre-focus map method in which the focus coordinate (Z coordinate) is recorded in advance may also be used.
  • the observation unit 1001 may correspond to the imaging device 2 according to each of the above-mentioned embodiments
  • the control unit 1080 and part of the processing unit 1002 may correspond to the control device 3 according to each of the above-mentioned embodiments.
  • the excitation unit 1010 may correspond to the irradiation unit 10, the stage 1020 to the stage 31, the spectral imaging unit 1030 to the detection unit 40 and the image detection unit 50, the observation optical system 1040 to the optical system 20, the scanning mechanism 1050 to the third movement drive unit 32, and the focus mechanism 1060 to the second movement drive unit 23.
  • an optical axis adjustment unit 13 according to any of the embodiments is provided for each of the excitation light sources L1 to L4, but is not limited to this.
  • FIG. 32 is a diagram showing an example of a schematic configuration of hardware that realizes the functions of the information device.
  • the computer 2000 has a CPU 2100, a RAM 2200, a ROM (Read Only Memory) 2300, a HDD (Hard Disk Drive) 2400, a communication interface 2500, and an input/output interface 2600. Each part of the computer 2000 is connected by a bus 2050.
  • the CPU 2100 operates based on the programs stored in the ROM 2300 or the HDD 2400, and controls each component. For example, the CPU 2100 loads the programs stored in the ROM 2300 or the HDD 2400 into the RAM 2200, and executes processes corresponding to the various programs.
  • the ROM 2300 stores boot programs such as the Basic Input Output System (BIOS) executed by the CPU 2100 when the computer 2000 starts up, as well as programs that depend on the hardware of the computer 2000.
  • BIOS Basic Input Output System
  • HDD 2400 is a recording medium readable by computer 2000 that non-temporarily records programs executed by CPU 2100 and data used by such programs. Specifically, HDD 2400 is a recording medium that records program data 2450.
  • the communication interface 2500 is an interface for connecting the computer 2000 to an external network 2550 (the Internet as an example).
  • the CPU 2100 receives data from other devices and transmits data generated by the CPU 2100 to other devices via the communication interface 2500.
  • the input/output interface 2600 is an interface for connecting the input/output device 2650 and the computer 2000.
  • the CPU 2100 receives data from an input device such as a keyboard or a mouse via the input/output interface 2600.
  • the CPU 2100 also transmits data to an output device such as a display, speaker, or printer via the input/output interface 2600.
  • the input/output interface 2600 may also function as a media interface that reads programs and the like recorded on a specific recording medium.
  • media that can be used include optical recording media such as DVDs (Digital Versatile Discs) and PDs (Phase change rewritable Disks), magneto-optical recording media such as MOs (Magneto-Optical disks), tape media, magnetic recording media, and semiconductor memories.
  • CPU 2100 of computer 2000 executes an information processing program loaded onto RAM 2200 to realize all or part of the functions of each unit according to each embodiment (or modified example). Also, information processing programs and data according to each embodiment are stored in HDD 2400. Note that CPU 2100 reads and executes program data 2450 from HDD 2400, but as another example, these programs may be obtained from other devices via external network 2550.
  • the present technology can also be configured as follows.
  • a light emitting unit that emits irradiation light; an optical axis adjustment unit that is capable of shifting an optical axis of the irradiation light in a predetermined direction and changing an amount of shift of the optical axis; an objective lens that focuses the illumination light, the optical axis of which is shifted, onto an observation object; a movement drive unit that moves at least one of the objective lens and the observation object; a detection unit that detects an intensity value of the fluorescence emitted from the observation object by the irradiation light focused by the objective lens; a control unit that controls the movement drive unit so as to maintain a predetermined distance between the objective lens and the observation object based on the intensity value detected by the detection unit;
  • a specimen observation system comprising: (2) The optical axis adjustment unit emits the irradiation light having an asymmetric shape with respect to the optical axis.
  • the specimen observation system described in (1) (3)
  • the optical axis adjustment unit is a light blocking portion that blocks a portion of the irradiated light; a light blocking movement drive unit that moves at least one of the light emitting unit and the light blocking unit in a direction perpendicular to the optical axis; having The specimen observation system described in (2).
  • the optical axis adjustment unit emits the irradiation light having a shape symmetrical with respect to the optical axis.
  • the optical axis adjustment unit is A refracting portion that refracts the irradiation light; A rotation drive unit that rotates the bending unit; having The specimen observation system described in (4).
  • the rotation drive unit rotates the refracting unit within a plane parallel to the optical axis.
  • the specimen observation system according to (5) above.
  • the optical axis adjustment unit adjusts the amount of deviation of the optical axis depending on the type of the observation object.
  • An input unit that receives an input operation from an operator is further provided, The optical axis adjustment unit adjusts a deviation amount of the optical axis in response to an input operation by the operator on the input unit.
  • a storage unit is further provided for storing sensitivity adjustment information indicating the amount of deviation of the optical axis for each type of the observation object, The optical axis adjustment unit adjusts the amount of deviation of the optical axis based on the sensitivity adjustment information.
  • the specimen observation system according to (7) above.
  • An input unit that receives an input operation from an operator is further provided, the optical axis adjustment unit adjusts the amount of deviation of the optical axis based on the amount of deviation of the optical axis selected from the sensitivity adjustment information in response to an input operation of the operator on the input unit.
  • the specimen observation system according to (9) above.
  • the optical axis adjustment unit adjusts the amount of deviation of the optical axis in accordance with unevenness of the observation object.
  • a specimen observation system according to any one of (1) to (10).
  • (12) The optical axis adjustment unit adjusts the amount of deviation of the optical axis in response to a change in the objective lens.
  • a specimen observation system according to any one of (1) to (11).
  • the optical axis adjustment unit adjusts the amount of deviation of the optical axis in accordance with the magnification of the objective lens.
  • the specimen observation system according to (12) above.
  • a specimen observation system according to any one of (1) to (13).
  • a light emitting unit that emits irradiation light; an optical axis adjustment unit that is capable of shifting an optical axis of the irradiation light in a predetermined direction and changing an amount of shift of the optical axis; an objective lens that focuses the illumination light, the optical axis of which is shifted, onto an observation object;
  • a specimen observation device comprising: (16) The specimen observation device is Emitting radiation; and shifting the optical axis of the irradiated light in a predetermined direction; Concentrating the illumination light having the shifted optical axis on an object to be observed; Including, When shifting the optical axis in the predetermined direction, the optical axis is shifted based on a preset amount and direction of shift of the optical axis. Specimen observation method.
  • a specimen observation device comprising components related to the specimen observation system described in any one of (1) to (14).

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Optics & Photonics (AREA)
  • Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

本開示の一形態に係る検体観察システムは、照射光を発する発光部と、前記照射光の光軸を所定方向にずらし、前記光軸のずれ量を変更可能である光軸調整部と、前記光軸がずらされた前記照射光を観察対象物に集光する対物レンズと、前記対物レンズおよび前記観察対象物の少なくとも一方を移動させる移動駆動部と、前記対物レンズにより集光された前記照射光によって前記観察対象物から発せられた蛍光の強度値を検出する検出部と、前記検出部により検出された前記強度値に基づいて、前記対物レンズと前記観察対象物との離間距離を所定距離に維持するように前記移動駆動部を制御する制御部と、を備える。

Description

検体観察システム、検体観察装置及び検体観察方法
 本開示は、検体観察システム、検体観察装置及び検体観察方法に関する。
 生体蛍光イメージングでは、例えば、マルチプレックス蛍光イメージング技術が用いられている。このマルチプレックス蛍光イメージング技術においては、鮮明な画像を得るためにオートフォーカス(AF)は必要な技術である。通常、顕微鏡におけるAFの光学構成が決められると、観察対象物と対物レンズとの離間距離に応じて、焦点に対する感度(焦点感度)は一義的に決定される。ところが、細胞の凸凹や段差が大きいと、センサの検出範囲を超えてAFが機能せず、焦点ずれを起こし、撮像された蛍光画像がぼけることがある。焦点ずれを抑えるため、例えば、特許文献1のような技術が提案されている。
国際公開第2021/171173号
 しかしながら、前述の技術では、赤血球などの飽和画素要素が検出深度の変動をもたらし、焦点ずれが起きる可能性がある。このため、焦点ずれを回避する技術が求められている。前述のような観察対象物の凸凹に追従するためには、できるだけ焦点感度(焦点の分解能)が大きい方が望ましい。ところが、通常、レンズなどの構成要素を設計値通りに配置することが求められるので、センサの検出範囲に余裕を持つ光学設計が行われており、例えば、観察対象物などに応じて、焦点感度を変更することは考慮されていない。
 そこで、本開示では、焦点感度を調整することが可能な検体観察システム、検体観察装置及び検体観察方法を提案する。
 本開示の一形態に係る検体観察システムは、照射光を発する発光部と、前記照射光の光軸を所定方向にずらし、前記光軸のずれ量を変更可能である光軸調整部と、前記光軸がずらされた前記照射光を観察対象物に集光する対物レンズと、前記対物レンズおよび前記観察対象物の少なくとも一方を移動させる移動駆動部と、前記対物レンズにより集光された前記照射光によって前記観察対象物から発せられた蛍光の強度値を検出する検出部と、前記検出部により検出された前記強度値に基づいて、前記対物レンズと前記観察対象物との離間距離を所定距離に維持するように前記移動駆動部を制御する制御部とを備える。
 本開示の一形態に係る検体観察装置は、照射光を発する発光部と、前記照射光の光軸を所定方向にずらし、前記光軸のずれ量を変更可能である光軸調整部と、前記光軸がずらされた前記照射光を観察対象物に集光する対物レンズとを備える。
 本開示の一形態に係る検体観察方法は、検体観察装置が、照射光を発することと、前記照射光の光軸を所定方向にずらすことと、前記光軸がずらされた前記照射光を観察対象物に集光することとを含み、前記光軸を前記所定方向にずらす場合、予め設定された前記光軸のずれ量及びずれ方向に基づいて前記光軸をずらす。
第1の実施形態に係る顕微鏡システムの構成例を示す図である。 第1の実施形態に係る光軸調整部の構成例を示す図である。 第1の実施形態に係る光軸調整部の構成例を示す図である。 第1の実施形態に係る制御装置の構成例を示す図である。 第1の実施形態に係る感度調整情報を示す図である。 第1の実施形態に係る照射光の光量強度を説明するための図である。 第1の実施形態に係る対物レンズのフォーカス位置と第1撮像センサ上の像の位置との関係を説明するための図である。 第1の実施形態に係る光軸のずれ量に応じてフォーカスずれ量と第1撮像センサ上の像の位置が変わる様子を示す図である。 第1の実施形態に係る第1検出センサ上で像がずれている様子を説明するための図である。 第1の実施形態に係る第1検出センサにより得られる像から光量重心を利用して差分を求めることを説明するための図である。 第1の実施形態に係る対物レンズと観察対象物との位置関係を説明するための図である。 第1の実施形態に係る傾き(焦点感度)が適切な場合を示す図である。 第1の実施形態に係る傾きが図12に比べて小さい(焦点感度が低い)場合を示す図である。 第1の実施形態に係る傾きが図12に比べて大きい(焦点感度が高い)場合を示す図である。 第1の実施形態に係る情報処理の流れの一例を示すフローチャートである。 第2の実施形態に係る顕微鏡システムの構成例を示す図である。 第2の実施形態に係る光軸調整部の構成例を示す図である。 第2の実施形態に係る光軸調整部の構成例を示す図である。 第3の実施形態に係る顕微鏡システムの構成例を示す図である。 第3の実施形態に係る光軸調整部の構成例を示す図である。 第3の実施形態に係る光軸調整部の構成例を示す図である。 第3の実施形態に係る屈折部として厚さが12mmであるガラスを用いた場合の回転角度と波長の反射率(%R)との関係を示すグラフである。 第3の実施形態に係る屈折部として石英ガラスを用いた場合の回転角度とビームシフト量との関係を説明するための図である。 撮影対象画像の例を示す図である。 図24に示す撮影対象をライン照明により撮像して重心を求めている例を示す図である。 アパーチャ法の重心位置を説明する図である。 ビームシフト法の重心位置を説明する図である。 輝度飽和エリアがある場合のアパーチャ法の重心位置を説明する図である。 輝度飽和エリアがある場合のビームシフト法の重心位置を説明する図である。 適用例に係る顕微鏡システムの概略ブロック図である。 適用例に係る顕微鏡システムにおける光学系の一例を示す図である。 ハードウェアの概略構成の一例を示す図である。
 以下に本開示の実施形態について図面に基づいて詳細に説明する。実施形態は、実施例や変形例なども含む。なお、実施形態により本開示に係るシステムや装置、方法などが限定されるものではない。また、以下の各実施形態において、基本的に同一の部位には同一の符号を付することにより重複する説明を省略する。
 以下の1または複数の実施形態は、各々が独立に実施されることが可能である。一方で、以下の複数の実施形態は少なくとも一部が他の実施形態の少なくとも一部と適宜組み合わされて実施されてもよい。これら複数の実施形態は、互いに異なる新規な特徴を含み得る。したがって、各実施形態は、互いに異なる目的または課題を解決することに寄与し得、互いに異なる効果を奏し得る。なお、各実施形態における効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
 以下に示す項目順序に従って本開示を説明する。
 1.第1の実施形態
 1-1.顕微鏡システムの構成例
 1-2.制御装置の構成例
 1-3.焦点感度設定及びオートフォーカスの一例
 1-4.情報処理の流れの一例
 2.第2の実施形態
 2-1.顕微鏡システムの構成例
 3.第3の実施形態
 3-1.顕微鏡システムの構成例
 4.アパーチャ法とビームシフト法との比較
 5.各実施形態に係る作用・効果
 6.他の実施形態
 7.適用例
 8.ハードウェアの構成例
 9.付記
 <1.第1の実施形態>
 <1-1.顕微鏡システムの構成例>
 第1の実施形態に係る顕微鏡システム1の構成例について図1から図3を参照して説明する。図1は、第1の実施形態に係る顕微鏡システム1の構成例を示す図である。図2及び図3は、それぞれ第1の実施形態に係る光軸調整部13の構成例を示す図である。顕微鏡システム1は、検体観察システムの一例である。
 図1に示すように、第1の実施形態に係る顕微鏡システム1は、検体Saへ励起光Laを照射し、検体Saから発せられた蛍光を受光するシステムである。この顕微鏡システム1は、撮像装置2と、制御装置3と、サーバ装置4とを備える。撮像装置2は、例えば、有線又は無線で制御装置3に通信可能に接続されている。また、制御装置3は、例えば、有線通信網又は無線通信網などのネットワークを介してサーバ装置4に通信可能に接続されている。
 撮像装置2は、照射部10と、光学系20と、ステージ部30と、検出部40と、画像検出部50とを備える。この撮像装置2は、検体Saから発せられた蛍光を測定する光学機構を有する光学顕微鏡として機能する。撮像装置2は、検体観察装置の一例である。
 照射部10は、励起光Laを照射する。励起光Laは、光軸に対して非対称の形状の光である。光軸とは、照射部10から観察対象物Sに到るまでの光軸である。光軸に対して非対称な形状とは、光軸に対して直交する直交断面の光束の形状が、光軸を中心として非対称な形状であることを示す。なお、励起光Laの波長領域は、検体Saが蛍光を発する波長領域を含む波長領域であればよい。
 照射部10は、発光部11と、コリメートレンズ12と、光軸調整部13とを有する。
 発光部11は、検体Saが蛍光を発する波長領域を少なくとも含む照射光Lを発光する。発光部11は、スポット状(点状)の光を発光する光源、ライン状の形状の光を発光する光源、スリット等を介してライン状の形状の光を発光する光源、のいずれであってもよい。なお、スポット状およびライン状とは、発光部11から照射された照射光Lの光軸に対する直交断面の形状を示す。この光軸は、コリメートレンズ12を通過した照射光Lの光軸である。
 本実施形態では、発光部11が、ライン状の形状の照射光Lを発光する光源である場合を想定して説明する。また、本実施形態では、ライン状の形状の照射光Lの長手方向が、図1中のX軸方向に一致する場合を一例として説明する。X軸方向の詳細は後述する。
 コリメートレンズ12は、発光部11から出射された照射光Lを略平行光とする。発光部11から照射された照射光Lは、コリメートレンズ12によって略平行光とされた後に、光軸調整部13に到る。
 光軸調整部13は、図1から図3に示すように、遮光部14と、第1移動駆動部15とを有する。第1移動駆動部15は、遮光移動駆動部として機能する。
 遮光部14は、照射光Lの一部を遮光する。この遮光部14は、照射光Lの一部を遮光する部材であればよい。例えば、遮光部14は、照射光Lを非透過な板状部材(遮光板)であり、照射光Lの一部が通過する開口部14aを有する。開口部14aは、例えば、長方形状に形成されている。発光部11から出射された照射光Lは、コリメートレンズ12によって略平行光とされた後に、遮光部14に到る。遮光部14は、照射光Lの一部を遮光し、光軸に対して非対称の形状の励起光Laとして出射する。
 詳細には、遮光部14は、ライン状の照射光Lの長手方向(図中のX軸方向)に対して交差する方向(図中のZ軸方向)の一端部を遮光する。なお、遮光部14による遮光範囲は限定されるものではない。例えば、遮光部14は、照射光Lの光軸に対する直交断面における、Z軸方向の一端部から中央部までの範囲を遮光するように、配置されていればよい。照射光Lは、遮光部14によって一部が遮光されることで、光軸に対して非対称の形状とされた励起光Laとなる。
 第1移動駆動部15は、照射光Lの光軸に対する直交断面に沿う方向に遮光部14を移動させる。例えば、第1移動駆動部15は、ライン状の照射光Lの長手方向(図中のX軸方向)に対して交差する方向(図中のZ軸方向)に遮光部14を移動させる。照射光Lの一部が遮光部14によって遮光される遮光量が調整されることで、励起光Laの形状や光軸のずれ量が調整される(詳細後述)。第1移動駆動部15は、例えば、一軸電動ステージなどの移動機構である。この移動機構は、例えば、ステッピングモータあるいはサーボモータなどのモータを含む。
 図1に戻り、光学系20は、ダイクロイックミラー21と、対物レンズ22と、第2移動駆動部23と、ダイクロイックミラー24と、を有する。
 ダイクロイックミラー21は、励起光Laを反射し、励起光La以外の波長領域の光を透過する。本実施形態では、ダイクロイックミラー21は、蛍光を透過する。なお、ダイクロイックミラー21にかえて、ハーフミラーが用いられてもよい。
 対物レンズ22は、観察対象物Sに励起光Laを集光する。詳細には、対物レンズ22は、観察対象物Sへ励起光Laを集光して、検体Saへ励起光Laを照射するためのレンズである。
 第2移動駆動部23は、観察対象物Sに近づく方向または離れる方向に対物レンズ22を移動させる。例えば、第2移動駆動部23は、図1中のZ軸方向に対物レンズ22を移動させる。対物レンズ22と観察対象物Sとの間隔が調整されることで、対物レンズ22の焦点が調整される(詳細後述)。第2移動駆動部23は、例えば、一軸電動ステージなどの移動機構である。この移動機構は、例えば、ステッピングモータあるいはサーボモータなどのモータを含む。
 ダイクロイックミラー24は、蛍光の一部を検出部40へ振り分け、残りを画像検出部50へ振り分ける。このダイクロイックミラー24による検出部40および画像検出部50への蛍光の分配率は、異なる割合であってもよいし、同じ割合(例えば、50%、50%)であってもよい。ダイクロイックミラー24にかえて、ハーフミラーが用いられてもよい。
 本実施形態では、対物レンズ22と観察対象物Sとが互いに近づく方向および離れる方向に沿った方向を、Z軸方向と称して説明する。Z軸方向は、検体Saの厚み方向に一致するものとして説明する。また、本実施形態では、Z軸方向と対物レンズ22の光軸とが平行である場合を想定して説明する。観察対象物Sにおける励起光Laの受光面である二次元平面は、Z軸方向に直交する二軸(X軸方向およびX軸方向に直交するY軸方向)によって表される平面であるものとする。また、上記では、ライン状の照射光Lの長手方向が、X軸方向に一致すると説明した。しかし、照射光Lの長手方向、すなわち励起光Laの長手方向は、X軸方向と不一致であってもよい。
 なお、発光部11として、検体Saが蛍光を発する波長領域の照射光Lを発光するレーザ光源が用いられない場合、励起フィルタが遮光部14とダイクロイックミラー21の間に設けられてもよい。励起フィルタは、測定対象の検体Saが蛍光を発する波長領域の光を選択的に透過させる。励起光Laは、励起フィルタを透過することで狭帯域化された後に、ダイクロイックミラー21によって反射され、対物レンズ22へ到る。
 また、対物レンズ22が観察対象物Sに対して移動しているが、これに限定されるものではなく、例えば、対物レンズ22および観察対象物Sのどちらか一方あるいは両方がZ軸方向に移動してもよい。
 ステージ部30は、ステージ31と、第3移動駆動部32とを有する。
 ステージ31は、観察対象物Sを保持するステージである。このステージ31は、X軸方向およびY軸方向に移動可能に形成されている。ただし、ステージ31は、少なくともY軸方向に移動可能に形成されていればよい。
 第3移動駆動部32は、ステージ31をX軸方向およびY軸方向に移動させる。ただし、第3移動駆動部32は、ステージ31を少なくともY軸方向に移動させるように形成されていればよい。ステージ31の移動に伴い、ステージ31上に載置された観察対象物Sが対物レンズ22に対してY軸方向に相対的に移動する。第3移動駆動部32は、例えば、二軸電動ステージなどの移動機構である。この移動機構は、例えば、ステッピングモータあるいはサーボモータなどのモータを含む。
 観察対象物Sは、検体Saを含む。検体Saは、顕微鏡システム1における測定対象の一例であり、ステージ31に載置される。すなわち、検体Saは、顕微鏡システム1で撮像画像を得る対象の物であり得る。本実施形態では、検体Saは、励起光Laの照射により蛍光を発する形態を一例として説明する。検体Saは、生体由来試料(生体試料)を含んでいてもよい。生体由来試料は、例えば、微生物、細胞、リポソーム、血液中の赤血球、白血球、血小板、血管内皮細胞、上皮組織の微小細胞片、および、各種臓器の病理組織切片、等である。
 検体Saは、例えば、一対のガラス部材の間に載置された生体由来試料であってもよい。また、検体Saは、例えば、ガラス部材上に載置された生体由来試料であってもよい。ガラス部材は、例えば、スライドガラスである。ガラス部材は、カバーガラスと称される場合がある。ガラス部材は、生体由来試料を載置可能な部材であればよく、ガラスによって構成された部材に限定されない。ガラス部材は、励起光Laなどの光や検体Saから発せられる光を透過する部材であればよい。
 検体Saは、例えば、封入材によって封入された状態の生体由来試料が載置されていてもよい。封入材には、励起光Laなどの光や検体Saから発せられる光を透過する材料であればよい。封入材は、液体および固体のいずれであってもよい。
 検体Saに含まれ得る生体由来試料は、染色又は標識などの処理が施されたものであってよい。当該処理は、生体成分の形態を示すための又は生体成分が有する物質(表面抗原など)を示すための染色であってよく、例えば、HE(Hematoxylin-Eosin)染色、免疫組織化学(Immunohistochemistry)染色であってもよい。生体由来試料は、1又は2以上の試薬により上記の処理が施されたものであってよく、当該試薬は、蛍光色素、発色試薬、蛍光タンパク質または蛍光標識抗体であってもよい。
 検体Saは、人体から採取された検体または組織サンプルから病理診断または臨床検査などを目的に作製されたものであってよい。また、検体Saは、人体に限らず、動物、植物、又は他の材料に由来するものであってもよい。検体Saは、使用される組織(例えば臓器または細胞など)の種類、対象となる疾病の種類、対象者の属性(例えば、年齢、性別、血液型、または人種など)、または対象者の生活習慣(例えば、食生活、運動習慣、または喫煙習慣など)などにより性質が異なる。標本は、各標本それぞれ識別可能な識別情報(バーコード情報又はQRコード(登録商標)情報等)を付されて管理されてよい。
 検体Saから発せられた光は、例えば、励起光Laの照射により生体由来試料内の蛍光色素から発せたれた蛍光であってもよい。更には、検体Saから発せられた光は、例えば、励起光Laの照射により、蛍光以外の波長領域の光を発する物であってもよいし、具体的には、照明光を散乱、反射するものであってもよい。なお、以下では、励起光Laの照射により検体Saが発する蛍光を、単に、光、と称して説明する場合がある。
 励起光Laを照射された検体Saは、蛍光を発する。励起光Laの照射により検体Saから発せられた蛍光は、対物レンズ22およびダイクロイックミラー21を透過してダイクロイックミラー24へ到る。ダイクロイックミラー24は、蛍光の一部を検出部40へ振り分け、残りを画像検出部50へ振り分ける。
 本実施形態では、撮像装置2は、照射光Lの長手方向(X軸方向)に直交する方向(Y軸方向)に沿って照射光Lを走査することで、励起光Laを観察対象物Sへ照射する。ただし、励起光Laの走査方法は限定されるものではない。走査方法は、例えば、第3移動駆動部32によってステージ31をY軸方向へ移動させる方法、撮像装置2におけるステージ31以外の部分を観察対象物Sに対してY軸方向へ移動させる方法、などがある。また、ダイクロイックミラー21と対物レンズ22との間に偏向ミラーを配置し、偏光ミラーによって励起光Laを走査してもよい。
 なお、照射部10の発光部11と観察対象物Sとは光学的に共役関係にあるものとする。また、発光部11と、観察対象物Sと、検出部40と、画像検出部50とは光学的に共役関係にあるものとする。すなわち、撮像装置2は、同軸落射照明型の顕微鏡光学系であるものとする。
 検出部40は、第1撮像センサ41と、第1結像レンズ42とを有する。第1撮像センサ41は、例えば、エリアセンサまたはラインセンサである。第1結像レンズ42は、ダイクロイックミラー24によって反射された蛍光を第1撮像センサ41に集光する。このような検出部40は、検体Saから発せられた蛍光を受光し、蛍光信号を出力する。この検出部40は、オートフォーカス用の撮像カメラとして機能する。
 画像検出部50は、第2撮像センサ51と、第2結像レンズ52とを有する。第2撮像センサ51は、例えば、エリアセンサまたはラインセンサである。第2結像レンズ52は、ダイクロイックミラー24を透過した蛍光を第2撮像センサ51に集光する。このような画像検出部50は、蛍光を受光し、受光した蛍光を示す蛍光画像を出力する。画像検出部50は、例えば、サーバ装置4、あるいは、蛍光画像を解析する解析装置などに蛍光画像を出力する。蛍光画像は、検体Saの種類などの解析に用いられる。
 第1撮像センサ41及び第2撮像センサ51のそれぞれは、例えば、複数の受光部(不図示)を備える。受光部は、受光した蛍光を電荷に変換する素子である。受光部は、例えば、フォトダイオードである。蛍光を受光する受光面に沿って、複数の受光部を二次元配列したセンサが用いられても、複数の受光部が一次元配列したセンサが用いられてもよい。このセンサは、例えば、CMOS(Complementary Metal-Oxide Semiconductor)イメージセンサ、または、CCD(Charge Coupled Device)イメージセンサ、などである。
 本実施形態では、第1撮像センサ41が、複数の受光部を受光面に沿って二次元配列した形態である場合を一例として説明する。また、本実施形態では、第1撮像センサ41に含まれる複数の受光部のゲインおよび電荷蓄積時間が、互いに同じである場合を一例として説明する。
 第1撮像センサ41は、蛍光を受光し、蛍光信号を出力する。第1撮像センサ41から出力される蛍光信号は、複数の受光部の各々で受光した蛍光の強度値(例えば、光量強度)を示す信号である。言い換えると、蛍光信号は、受光部ごとの蛍光の強度値を規定した信号である。以下では、蛍光の強度値を、蛍光強度値と称して説明する場合がある。蛍光強度値とは、受光した蛍光の強度を示す値である。第1撮像センサ41は、蛍光信号を制御装置3へ出力する。
 なお、受光部は、1または複数の画素ごとに設けられていると想定する。この場合、蛍光信号は、複数の受光部の各々に対応する画素ごとに蛍光強度値を規定した蛍光画像である。この場合、蛍光強度値は、画素値に相当する。
 <1-2.制御装置の構成例>
 第1の実施形態に係る制御装置3の構成例について図4及び図5を参照して説明する。図4は、第1の実施形態に係る制御装置3の構成例を示す図である。図5は、第1の実施形態に係る感度調整情報T1を示す図である。
 図4に示すように、第1の実施形態に係る制御装置3は、制御部3aと、処理部3bと、記憶部3cと、入力部3dとを有する。
 制御部3aは、各部を制御する。例えば、制御部3aは、発光部11、第1移動駆動部15、第2移動駆動部23、第3移動駆動部32、第1撮像センサ41、第2撮像センサ51などを制御する。制御部3aは、発光部11の発光量を調整して発光部11を制御する。また、制御部3aは、遮光部14の移動量および移動方向を調整して第1移動駆動部15を制御する。制御部3aは、対物レンズ22の移動量および移動方向を調整して第2移動駆動部23を制御する。制御部3aは、ステージ31の移動量および移動方向を調整して第3移動駆動部32を制御する。制御部3aは、蛍光信号を得るように第1撮像センサ41を制御する。この制御部3aは、第1撮像センサ41から蛍光信号を受信する。制御部3aは、蛍光画像を得るように第2撮像センサ51を制御する。この制御部3aは、第2撮像センサ51から蛍光画像を受信する。
 処理部3bは、各種処理を実行する。例えば、処理部3bは、入力部3dに対する操作者の入力操作に応じて各種処理を実行する。記憶部3cは、各種情報を記憶する。入力部3dは、操作者からの入力操作を受け付ける。この入力部3dは、例えば、キーボードやマウスなどの入力デバイスにより構成されてもよい。入力部3dは、キーボードやマウス以外の他の入力デバイスであってもよい。
 制御部3aや処理部3bなどは、例えば、CPU(Central Processing Unit)などの処理装置にプログラムを実行させること、すなわち、ソフトウェアにより実現されてもよいし、IC(Integrated Circuit)などのハードウェアにより実現されてもよいし、ソフトウェアおよびハードウェアを併用して実現されてもよい。
 例えば、操作者は、経験則や統計などに基づき、観察対象物Sの種類(例えば、検体Saの種類)に応じて入力部3dを操作し、遮光部14による照射光Lの遮光量を調整してもよい。この場合、制御部3aは、入力部3dに対する操作者の入力操作に応じて、第1移動駆動部15を制御して遮光部14を移動させる。照射光Lの一部は遮光部14により遮られるが、その遮光部14による照射光Lの遮光量が変わることで、照射光Lの光軸は変化する。つまり、照射光Lの光軸のずれ量は、照射光Lを遮光する遮光量によって決定される。光軸のずれ量の変化は、焦点感度を変えるものである(詳細後述)。
 ここで、記憶部3cは、例えば、図5に示すように、感度調整情報T1を記憶してもよい。感度調整情報T1は、観察対象物Sの種類(例えば、検体Saの種類)ごとに焦点感度(光軸のずれ量)を示す情報である。この感度調整情報T1は、例えば、実験的にあるいは理論的に予め求められ、記憶部3cに保存されている。図5中の焦点感度(光軸のずれ量)の数値はあくまでも例示である。図5中では、測定対象物Sの種類がSA、SB、SCであり、その種類ごとに焦点感度が-0.5mm、-0.3mm、-0.7mmに設定されている。これらの数値は、光軸の基準位置からのずれ量である。
 例えば、操作者は入力部3dを操作して観察対象物Sの種類を入力又は選択する。処理部3bは、入力又は選択された検体Saの種類に応じて感度調整情報T1から光軸のずれ量を選択し、選択した光軸のずれ量を設定値として設定する。制御部3aは、光軸のずれ量の設定値に基づいて第1移動駆動部15を制御して遮光部14を移動させる。これにより、遮光部14が、光軸のずれ量の設定値に基づく位置に到達する。
 感度調整情報T1などの情報は、例えば、検体Saの種類(例えば、形態)と焦点感度との対応を予めAI(Artificial Intelligence)や機械学習などの手法によって予め求められもよい。例えば、観察対象物Sをセットした段階で焦点感度が決定され、決定された焦点感度になるように自動で光軸のずれが調整される。例えば、事前に観察対象物Sの検体Saの場所を決めるための仮撮影(サムネイル撮影)ステップが撮影時に存在する場合、その仮撮影時の解像度を適切な高さにする必要がある。
 <1-3.焦点感度設定及びオートフォーカスの一例>
 第1の実施形態に係る焦点感度設定及びオートフォーカスの一例について図6から図14を参照して説明する。
 図6は、第1の実施形態に係る照射光Lの光量強度を説明するための図である。図6に示すように、発光部11から出射された照射光Lは、コリメートレンズ12により平行光とされるが、その平行光の光量強度の波形A1は、ピークを有する凸形状となる。
 図7は、第1の実施形態に係る、開口部14aを有する遮光部14と光量強度との位置関係(イメージ)に応じた、対物レンズ22のフォーカス位置と第1撮像センサ41上の像(例えば、ライン画像)の位置との関係を説明するための図である。
 図7中の各グラフのそれぞれは、遮光部14で光量を半分にカットした場合を基準として、遮光部14を所定量動かした際、対物レンズ22のフォーカス位置と第1撮像センサ41上の像の位置をプロットしたものである。図7の各グラフでは、観察対象物Sと対物レンズ22のフォーカス位置(合焦位置)を横軸に、第1撮像センサ41上の像の位置(像の基準位置からの距離)を縦軸として図示したものである。遮光部14を動かす所定量は、基準位置から+0.5mm、-0.5mm、-1.0mmである。図7の例では、遮光部14のプラスの移動方向は上方向であり、遮光部14のマイナスの移動方向は下方向である。
 図7に示すように、遮光部14の移動方向がマイナスである場合、光軸のずれ量が大きくなると、第1撮像センサ41上の像の位置変化が大きく、つまり直線の傾きが大きくなる。これは、光軸のずれ量が大きくなると、焦点感度が高くなることを示している。一方、遮光部14の移動方向がプラスである場合、光軸のずれ量が大きくなると、第1撮像センサ41上の像の位置変化が小さく、つまり直線の傾きが小さくなる。これは、光軸のずれ量が小さくなると、焦点感度が低くなることを示している。
 図8は、第1の実施形態に係る光軸のずれ量に応じてフォーカスずれ量と第1撮像センサ41上の像の位置が変わる様子を示す図である。この図8は、観察対象物Sと対物レンズ22のフォーカス位置を横軸に、第1撮像センサ41上の像の位置を縦軸として図示したものである。
 図8に示すように、遮光部14で光量を半分にカットした場合を基準とし、上側+0.5mm、下側-0.5mmおよび-1.0mmにずらした場合、観察対象物Sの動き、すなわち、対物レンズ22と観察対象物Sとの間の距離(=フォーカスのずれ量)により、第1撮像センサ41上の像の位置が変動する。これは、フォーカスのずれ量が検出部40で検出できることを示している。
 処理部3bは、最初に、観察対象物Sと対物レンズ22のフォーカス位置を決め、その場合の第1撮像センサ41上の像の位置をフォーカスの基準位置とする。その後、制御部3aは、第1撮像センサ41上の像の位置がフォーカスの基準位置より変化した場合、その変化量を打ち消すように対物レンズ22を第2移動駆動部23により動かすことで、常にフォーカスの位置を維持することができる(位相差法)。つまり、制御部3aは、観察対象物Sと対物レンズ22との離間距離を初期値である所定距離に維持するよう、対物レンズ22を第2移動駆動部23により動かす。
 通常、フォーカスの移動量と第1撮像センサ41上の像の移動量は、光学設計(例えば、光軸からのずれ量)で決まる。しかし、例えば、光軸のずれ量を変動させる手法を用いることにより、光軸からのずれ量を容易に制御することができる。すなわち、図8に示すグラフの傾きを変更することによって、焦点感度を調整することが可能となる。
 この焦点感度の調整により、例えば、観察対象物Sの検体Saの形態に適したフォーカス調整が可能となる。つまり、検体Sa(例えば、組織)の形態が粗いので、フォーカス特性を粗く(にぶく)してもよい場合には、焦点感度を低く(図8に示すグラフの傾きの低い状態)とし、フォーカス特性を鋭くしたい場合には、焦点感度を高く(図8に示すグラフの傾きを高くする)ことによって、検体Saの形態に応じたAF特性を得ることができる。
 図9は、第1の実施形態に係る第1撮像センサ41上で像(光軸)がずれている様子を説明するための図である。図9の例では、第1撮像センサ41上で像であるライン像G1がずれている様子が白黒反転して表示されている。
 図9に示すように、合焦位置をゼロ位置として、-30μmから+30μmに焦点を5μm毎にずらした場合に、第1撮像センサ41上に表示されるライン像G1(図中の黒ライン)は、-30μmの位置から徐々に上方に動いている。このように焦点をずらすことで、第1撮像センサ41上でライン像G1がずれていることがわかる。
 図10は、第1の実施形態に係る第1撮像センサ41により得られる像から光量重心を利用して差分(ずれ量)を求めることを説明するための図である。
 図10に示すように、処理部3bは、全画面ヒストグラムより最頻値を輝度の閾値とする(ステップS1)。処理部3bは、ライン像G2と垂直な方向でXの位置毎にX平均光量を算出して縦軸とし(ステップS2)、ライン像G2に垂直な方向であるYの位置を横軸とし(ステップS3)、プロットを行う。そして、処理部3bは、閾値を黒レベルとし、X平均光量の光量値から黒レベルを引き、光量の重心位置を計算し、計算した重心位置と基準位置との差分(ずれ量)を得る(ステップS4)。
 なお、閾値として最頻値が用いられているが、適当な所定値でもよい。この所定値は、例えば、8ビットの場合のMAX輝度値255に対し10%より小さい値として25とされる。最頻値は、第1撮像センサ41のノイズ特性によるが、例えば、8程度である。
 図11は、第1の実施形態に係る対物レンズ22と観察対象物Sとの位置関係を説明するための図である。
 図11に示すように、観察対象物Sの検体Saの凹凸に対して対物レンズ22の位置がZ軸方向に動く。対物レンズ22は、観察対象物Sに近づく方向または離れる方向に移動する。図11の例では、「合焦=0」は焦点が検体Saに合っていることを示し、「合焦=+(プラス)」は検体Saが対物レンズ22(合焦=0)から遠いことを示し、「合焦=-(マイナス)」は検体Saが対物レンズ22(合焦=0)から近いことを示す。オートフォーカスでは、合焦を維持するよう、例えば、上述した重心位置と基準位置との差分(ずれ量)が無くなるように対物レンズ22が制御部3aの制御に応じて第2移動駆動部23により移動する。
 図12は、第1の実施形態に係る傾き(焦点感度)が適切な場合を示す図である。図13は、第1の実施形態に係る傾きが図12に比べて小さい(焦点感度が低い)場合を示す図である。図14は、第1の実施形態に係る傾きが図12に比べて大きい(焦点感度が高い)場合を示す図である。図12から図14では、B1は対物レンズ22の移動範囲=観察対象物S(検体Sa)の凹凸である。B1aは移動下限値であり、B1bは移動上限値である。B2は第1撮像センサ41の検出範囲である。B2aは検出下限値であり、B2bは検出上限値である。
 観察対象物Sの凹凸に焦点を追随させるため、適当な感度(傾き)を選ぶ必要がある。例えば、図12に示すように、実線の直線B11の傾き(感度)が適切に設定される。一方、図13に示すように、実線の直線B12の初期設定では、実際のフォーカス範囲が狭く、観察対象物Sの凹凸に対して感度が低いため、検出が困難となる。このため、感度を上げる必要があり、一点鎖線の直線B12aの傾きが設定される。また、図14に示すように、実線の直線B13の初期設定では、実際のフォーカス範囲が広く、第1撮像センサ41の検出範囲B2が検出下限値B2aと検出上限値B2bの範囲をオーバーしている。この場合、焦点が対物レンズ22の可動範囲の端にとどまると、合焦からはずれる、すなわち画像がぼける。このため、感度を下げる必要があり、一点鎖線の直線B13aの傾きが設定される。なお、第1撮像センサ41の検出範囲B2の上限や下限の位置では、ラインがぼける。例えば、信号が広がったり、ピーク輝度が下がったりする。第1撮像センサ41の検出範囲B2としては、リニアリティを維持できる範囲が望ましい。
 なお、観察対象物Sと対物レンズ22の焦点感度(焦点調節の感度)は、通常、光学設計により決まるが、光軸調整部13を用いることにより、焦点感度を容易に自在に調整することが可能になる。観察対象物Sに応じた調節が可能となり、例えば、観察対象物Sが粗い(でこぼこが大きい)場合には焦点感度を低くして、観察対象物Sが細かい(でこぼこが小さい)場合には焦点感度を高くすることにより、観察対象物Sに対する合焦の性能を向上させることができる。
 <1-4.情報処理の流れの一例>
 第1の実施形態に係る情報処理の流れの一例について図15を参照して説明する。図15は、第1の実施形態に係る情報処理の流れの一例を示すフローチャートである。この情報処理は、制御装置3により実行される。
 ステージ31上には、観察対象物Sが載置されているものとする。ステージ31上への観察対象物Sの載置は、手動で行われてもよく、あるいは、ローダまたはマニピュレータなどが用いられて自動で行われてもよい。
 図15に示すように、制御部3aが、照明をオンとするように照射部10を制御する(ステップS100)。ステップS100の制御によって、照射部10からの照明(励起光La)が観察対象物Sに照射される。ここでの照明光は、ライン照明であってもよいし、ライン照明よりY軸方向の広い領域に照射される光であってもよい。
 制御部3aは、焦点感度を調整する(ステップS102)。例えば、操作者は、経験則や統計などに基づき、観察対象物Sの種類(例えば、検体Saの種類)に応じて入力部3dを操作する。制御部3aは、その入力部3dに対する操作者の入力操作に応じて、第1移動駆動部15を制御して遮光部14を移動させ、所望位置に停止させる。これにより、遮光部14による照射光Lの遮光量が設定され、焦点感度が決定される。観察対象物Sの種類に応じて遮光部14による照射光Lの遮光量を変えることが可能であり、観察対象物Sの種類に応じて焦点感度も変更することができる。
 処理部3bは、観察対象物Sからの光の撮像画像を画像検出部50から取得する(ステップS104)。観察対象物Sからの光は、照明が照射された検体Saから発せられた光である。処理部3bは、撮像画像取得部として機能する。
 処理部3bは、ステップS104で取得した撮像画像を用いて、基準フォーカス処理を実行する(ステップS106)。対物レンズ22と観察対象物Sとの初期の相対位置が、コントラスト比が最大となる位置に調整される。例えば、ステップS106では、処理部3bは、ステップS104で取得した撮像画像のコントラスト比を算出する。処理部3bは、制御部3aの制御による対物レンズ22のZ軸方向の移動と画像検出部50から取得した撮像画像のコントラスト比の算出を繰返す。この繰返処理により、処理部3bは、対物レンズ22と観察対象物Sとの初期の相対位置を、コントラスト比が最大となる位置に調整する。処理部3bは、基準フォーカス部として機能する。
 制御部3aは、先のステップS100でオンにした照明をオフとし(ステップS108)、ライン照明をオンとするように照射部10を制御する(ステップS110)。ステップS110の制御によって、照射部10からのライン照明(励起光La)が観察対象物Sに照射される。
 処理部3bは、検出部40からフォーカス像を取得する(ステップS112)。つまり、処理部3bは、ライン照明(励起光La)が照射された観察対象物Sからの蛍光の像であるフォーカス像を取得する。処理部3bは、フォーカス像取得部として機能する。
 処理部3bは、複数種類の単位領域のうち、特定の光感度に対応する単位領域を選択する(ステップS114)。例えば、処理部3bは、ステップS112で取得したフォーカス像における、予め定めた階調値の範囲(例えば、階調値が10以上250以下の範囲)内の光強度値に対応する単位領域を選択する。処理部3bは、選択部として機能する。
 処理部3bは、ステップS112で取得したフォーカス画像における単位領域の像の重心位置を特定する(ステップS116)。この重心位置は、基準位置(目標重心位置)である。基準位置は、対物レンズ22の焦点が観察対象物Sの検体Saに合っているときの、蛍光強度値の重心位置である。具体的には、基準位置は、励起光Laが照射された観察対象物Sのフォーカス像(撮影画像)における、隣接する画素値(輝度値)の差が最も大きい位置に相当する。この位置は、例えば、Y軸方向における位置である。例えば、処理部3bは、公知のコントラスト法を用いて重心位置(基準位置)を特定する。なお、処理部3bは、コントラスト法を用いて外部装置などで特定された基準位置を受信または読み取ることで、目基準位置を特定してもよい。処理部3bは、重心特定部として機能する。
 ステップS100~ステップS116の処理によって、焦点感度が調整され、基準フォーカス処理が実行され、重心位置(基準位置)が特定される。
 次に、制御部3aは、ライン照明(励起光La)の照射位置が測定対象領域の走査方向(Y軸方向)における初期位置となるように、第3移動駆動部32を制御する(ステップS118)。
 処理部3bは、検出部40からフォーカス像を取得する(ステップS120)。つまり、処理部3bは、ライン照明(励起光La)が照射された観察対象物Sからの蛍光の像であるフォーカス像を取得する。
 処理部3bは、複数種類の単位領域のうち、特定の光感度に対応する単位領域を選択する(ステップS122)。例えば、処理部3bは、ステップS120で取得したフォーカス像における、予め定めた階調値の範囲(例えば、階調値が10以上250以下の範囲)内の光強度値に対応する単位領域を選択する。
 処理部3bは、ステップS120で取得したフォーカス像における単位領域の像の重心を特定する(ステップS124)。例えば、処理部3bは、公知のコントラスト法を用いて重心位置を特定する。
 処理部3bは、ステップS116で算出した重心位置(基準位置)と、ステップS124で算出した重心位置との差を算出する(ステップS126)。処理部3bは、相対距離導出部として機能する。
 処理部3bは、ステップS126で算出した差から、Z軸方向の変位量を逆算することで、対物レンズ22と観察対象物Sとの相対位置を示す相対位置情報を算出する(ステップS128)。処理部3bは、相対位置導出部として機能する。
 制御部3aは、第2移動駆動部23を制御することで、対物レンズ22をZ軸方向に移動させる(ステップS130)。詳細には、制御部3aは、ステップS128で相対位置として導出された変位量によって表される相対移動量、その変位量の正負の値に応じた相対移動方向に、対物レンズ22を移動させる。すなわち、制御部3aは、ステップS126で算出した差を無くすように対物レンズ22を移動させる。
 ステップS130の制御によって、対物レンズ22と観察対象物SとがZ軸方向に沿って互いに近づく方向又は離れる方向に移動する。すなわち、対物レンズ22と観察対象物SとのZ軸方向の相対位置が、ステップS128で算出された相対位置となるように調整され、観察対象物Sに焦点が合うようにフォーカス調整された状態となる。
 処理部3bは、観察対象物Sからの蛍光の撮像画像を画像検出部50から取得する(ステップS132)。ステップS132で取得される撮像画像は、例えば、測定対象領域の走査方向(Y軸方向)のある位置における撮像画像である。
 制御部3aは、撮像画像の取得を終了するか否かを判断する(ステップS134)。制御部3aは、測定対象領域における走査方向の一端部から他端部までライン照明(励起光La)が走査されたか否かを判別することで、ステップS134の判断を行う。制御部3aは、ステップS134で否定を判断すると(ステップS134のNo)、処理をステップS136へ進める。
 制御部3aは、ステージ31をライン照明(励起光La)の幅分、走査方向(Y軸方向)へ移動させるように、第3移動駆動部32を制御する(ステップS136)。ステップS136の処理によって、測定対象領域の走査方向(Y軸方向)におけるライン照明の照射位置が、そのライン照明の幅分、走査方向へ移動する。そして、処理は上記ステップS120へ戻る。
 一方、制御部3aは、ステップS134で肯定を判断すると(ステップS134のYes)、ステップS138へ進む。制御部3aが、測定対象領域の走査方向の一端から他端までの撮像画像を、その測定対象領域に含まれる観察対象物Sの撮像画像として記憶部3c又はサーバ装置4へ記憶する(ステップS138)。これにより、本ルーチンが終了する。
 なお、ステップS134において、制御部3aは、測定対象領域における走査方向の一端部から他端部までライン照明(励起光La)が走査され、且つ、測定対象領域におけるX軸方向の一端側から他端側までライン照明が走査されたか否かを判別することで、ステップS134の判断を行ってもよい。この場合、ステップS136では、制御部3aは、測定対象領域の走査方向の一端から他端までライン照明の走査が終了するごとに、ライン照明の照射位置をX軸方向にずらした後に、処理を上記ステップS120へ戻せばよい。
 また、ステップS136の処理によるステージ31の移動中には、ライン照明の照射をオフとしてもよい。そして、ステージ31の移動が停止したときに、ライン照明を再度オンとし、処理を上記ステップS120へ戻してもよい。
 このような処理によれば、遮光部14を光軸に対して垂直方向(例えば、Z軸方向)に自在に動かし、光軸のずれ量を制御することが可能になる。光軸のずれ量を制御することにより、観察対象物Sと対物レンズ22の焦点調節に対する感度、すなわち焦点感度を調整することができる。
 <2.第2の実施形態>
 <2-1.顕微鏡システムの構成例>
 第2の実施形態に係る顕微鏡システム1の構成例について図16から図18を参照して説明する。第2の実施形態は基本的に第1の実施形態と同じであるが、その相違点(光軸調整部13)について説明する。
 図16は、第2の実施形態に係る顕微鏡システム1の構成例を示す図である。図17及び図18は、それぞれ第2の実施形態に係る光軸調整部13の構成例を示す図である。
 図16に示すように、第2の実施形態に係る光軸調整部13の第1移動駆動部15は、遮光部14ではなく、発光部11及びコリメートレンズ12を光軸の直交方向に移動させる。第1移動駆動部15は、例えば、図中のZ軸方向に発光部11及びコリメートレンズ12を移動させる。遮光部14は固定されており、その遮光部14に対して発光部11及びコリメートレンズ12が移動することになる。発光部11及びコリメートレンズ12の位置関係は維持されている。
 図17及び図18に示すように、第1移動駆動部15は、発光部11及びコリメートレンズ12を保持しており、その発光部11及びコリメートレンズ12をZ軸方向に移動させる。詳細には、コリメートレンズ12は、発光部11を覆うケース(不図示)における、発光部11から照射される照射光Lが通過する開口部分に設けられている。第1移動駆動部15には、熱を放散するヒートシンク16が設けられている。
 このような構成によれば、発光部11を光軸に対して垂直方向(例えば、Z軸方向)に自在に動かし、光軸のずれ量を制御することが可能になる。光軸のずれ量を制御することにより、観察対象物Sと対物レンズ22の焦点調節に対する感度、すなわち焦点感度を調整することができる。
 なお、通常、発光部11の移動には、移動後の光軸が移動前の元の光軸に対して平行を保つ必要があるため、精度が求められることがある。この点が問題となる場合には、第1の実施形態に係る光軸調整部13を用いることが望ましい。
 <3.第3の実施形態>
 <3-1.顕微鏡システムの構成例>
 第3の実施形態に係る顕微鏡システム1の構成例について図19から図23を参照して説明する。第3の実施形態は基本的に第1の実施形態と同じであるが、その相違点(光軸調整部13)について説明する。
 図19は、第3の実施形態に係る顕微鏡システム1の構成例を示す図である。図20及び図21は、それぞれ第3の実施形態に係る光軸調整部13の構成例を示す図である。
 図19から図21に示すように、第3の実施形態に係る光軸調整部13は、屈折部17と、回転駆動部18とを有する。
 屈折部17は、照射光Lである入射光を二度屈折させて入射光の光軸を所望量だけ平行にずらして出射する。この屈折部17は、回転駆動部18により図中のZ軸方向に平行な平面内で回転可能に構成されている。詳細には、屈折部17は、例えば、図中のX軸方向に平行で屈折部17の中心を通る軸が回転軸として設けられている。入射光の光軸と出射光の光軸とは平行であり、所望量だけずれている。このずれ量は、屈折部17の回転量(回転角度)に応じて変化するものである。屈折部17は、例えば、平行平板などの光学プレートあるいは光学キューブなどにより構成されている。なお、屈折部17による照射光Lの屈折回数は、二度に限られるものではない。
 回転駆動部18は、屈折部17を図中のZ軸方向に平行な平面内で回転可能に保持し、屈折部17を回転させる。この回転駆動部18は制御部3aにより制御される。制御部3aは、屈折部17の回転量および回転方向を調整して回転駆動部18を制御する。これにより、照射光Lの光軸のずれ量やずれ方向が調整される。回転駆動部18は、例えば、回転機構である。この回転機構は、例えば、ステッピングモータあるいはサーボモータなどのモータを含む。回転制御が用いられるので、構造が簡素になり、信頼性を高くすることができる。
 例えば、屈折部17として、屈折を利用するために光学ガラスを使用するが、光が光学ガラスを透過することにより光量の損失がある。この場合には、AF(オートフォーカス)に使う特定の波長に対するARコート(反射防止膜)をガラスに施すことで、光量の損失を抑えることができる。つまり、光の有効利用が可能である。
 ここで、図22は、第3の実施形態に係る屈折部17として厚さが12mmであるガラスを用いた場合の回転角度と波長の反射率(%R)との関係を示すグラフである。図22に示すように、発光部11である光源として405nmのレーザ光を用いると、0.5%程度の反射率で使うことができる。
 図23は、第3の実施形態に係る屈折部17として石英ガラスを用いた場合の回転角度とビームシフト量との関係を説明するための図である。石英ガラスの屈折率は1.47(波長405nm)であり、その厚さが10mmである場合と12mmである場合のビームシフト量を示す。スネルの法則から、n1×sinθ1=n2×sinθ2(sinθ2=sinθ1×n1/n2)である。n1は、空気の屈折率であって1である。n2は、石英ガラスの屈折率であって1.47である。
 図23に示すように、屈折部17である石英ガラスの厚さが10mmである場合と12mmである場合のどちらでも、ビームシフト量は回転角度θ1に比例して変化する。これにより、回転角度θ1に基づいて屈折部17が回転駆動部18により回転することで、所望のビームシフト量が得られることがわかる。
 このような構成によれば、発光部11と対物レンズ22との間に屈折部17を設け、屈折部17に角度をつけることにより、光軸のずれ(ビームシフト)を発生させて、光軸のずれ量を制御することが可能になる。光軸のずれ量を制御することにより、観察対象物Sと対物レンズ22の焦点調節に対する感度、すなわち焦点感度を調整することができる。
 以下では、第1の実施形態または第2の実施形態に係る光軸調整部13(遮光部14)による光軸調整方法をアパーチャ法とし、第3の実施形態に係る光軸調整部13(屈折部17)による光軸調整方法をビームシフト法として説明する。
 <4.アパーチャ法とビームシフト法との比較>
 各実施形態に係るアパーチャ法とビームシフト法との比較について図24から図29を参照して説明する。図24から図29の例では、具体的な撮影対象画像を例とし、アパーチャ法とビームシフト法の比較を説明する。
 図24は、撮影対象画像の例を示す図である。検体Saの一例である組織はヘマトキシリン・エオジン(HE)染色されている。赤血球に露出を合わせると全体が暗くなって、AFに必要な光量が確保できず、適切に撮像ができなくなるので、組織に露出を合わせる必要がある。組織に露光を合わせると、赤血球の部分C1は、輝度が飽和する(輝度値の上限に達する)。赤血球などは、輝度が大きくなり画素値が上限に達する画素飽和要素である。
 図25は、図24に示す撮影対象をライン照明により撮像して重心を求めている例を示す図である。検出部40と重心を求める演算とにおいて、エリアC2(枠)が重心を求めるエリアである。このエリアC2の範囲の光量重心が計算によって算出される。白線C3が光量の重心計算により得られた重心ラインとなっている。白矢印の部分C4が赤血球であり、他より明るくY方向に幅広になっているように見えている。この部分は、通常組織の重心エリアより上下にはみ出でている。
 図26は、アパーチャ法の重心位置を説明する図である。図27は、ビームシフト法の重心位置を説明する図である。図26及び図27では、横軸がライン位置(ライン番号)であり、縦軸がライン平均画素値である。
 図26に示すように、光軸調整方法がアパーチャ法である場合、光量の重心位置D1は、ライン平均画素値ピークより遮光していない側(右側)にある。
 図27に示すように、光軸調整方法がビームシフト法である場合、光量の重心位置D2は、光軸調整方法がアパーチャ法である場合に比べて、ライン平均画素値ピークに近い場所に位置している。
 図28は、輝度飽和エリアがある場合のアパーチャ法の重心位置を説明する図である。図29は、輝度飽和エリアがある場合のビームシフト法の重心位置を説明する図である。図28及び図29では、横軸がライン位置(ライン番号)であり、縦軸がライン平均画素値である。
 図24および図25に示す赤血球の各部分C1、C4のような輝度が飽和しているエリア(輝度飽和エリア)があると、図28に示すように、ライン平均画素値が高いラインの幅が広がり、光量の重心位置D1がライン平均画素値ピークに近づく。このとき、光量の重心位置D1とライン平均画素値ピークとのずれ量は大きい。
 図29に示すように、光軸調整方法がビームシフト法である場合、同じく輝度飽和エリアがあると、同じようにライン平均画素値が高いラインの幅は広がるが、広がり方が均等となるため、光量の重心位置D2の変化は少ない。このとき、光量の重心位置D2とライン平均画素値ピークとのずれ量は小さい。
 つまり、ビームシフト法は、アパーチャ法に比べて光量の重心位置(重心ライン)の変化量が小さいので、アパーチャ法に比べて有利である。また、ビームシフト法は、屈折率の異なる光学素子を用いてビームシフトを行い、ビームの断面形状は上下対称となる。一方、アパーチャ法は、遮光により重心AF用のビームシフトを行い、簡易であるがビームの断面形状が上下非対称になる。なお、ビームは照射光Lであり、ビームの断面形状はビームの光軸に直交する直交断面の形状である。
 ビームシフト法はラインの広がりが均等であるため、赤血球などの飽和画素要素に対して、検出深度変動幅が小さい。ビームシフト法は、赤血球などの飽和画素要素に対して、光量の分布が線対象となるので(図29参照)、第1撮像センサ41の感度、例えば、焦点調節信号に基づくAFの誤差が小さくなる。ビームシフト法を用いると、アパーチャ法より光量を有効に使え、焦点ずれを抑えることができる。
 このようなビームシフト法及びアパーチャ法のいずれでも、簡易位相差AF法(重心AF法)において、観察対象物Sの種類、例えば、形態(凹凸)に適した焦点感度(例えば、焦点の分解能)を得ることができる。また、ビームシフト法によれば、赤血球などの飽和画素要素が検出深度の変動をもたらす可能性を回避することができる。
 オートフォーカスにおいては、観察対象物Sに追随させるために、できるだけ焦点感度を上げた方が望ましい。一方、重心AF法においては、第1撮像センサ41のサイズを大きくするとコストが高くなるなどの制約がある。このため、光軸のずれを可変とすることによって、焦点感度を変えることが可能になるので、観察対象物Sの凹凸に応じて第1撮像センサ41の感度、例えば、焦点調節信号の大きさを可変とすることが可能となり、観察対象物Sに応じた光学特性を得ることができる。
 ここで、観察対象物Sに対して焦点感度を大きくするということは、大きい第1撮像センサ41を用いて第1撮像センサ41における位置情報を大きくするということである。コストを下げるために小さい第1撮像センサ41を用いると、検体Saに想定以上に大きい凸凹、あるいは、想定以上に大きい段差があった場合、第1撮像センサ41の検出範囲から像が外れて検出できないことがある。このとき、光軸調整部13により焦点感度の調整を行う、例えば、焦点感度を下げることで、観察対象物Sの検体Saに追従することが可能となる。
 つまり、観察対象物Sの凹凸によって変わる焦点調節信号の大きさを第1撮像センサ41のサイズに応じて可変とすることで、大きなセンサを搭載するなどのコストアップを避けることができる。例えば、焦点調節信号の大きさが仮に上限を超えた場合には、焦点感度を下げて対応できる。従来型の二眼式位相差AF法では、光学系が複雑であり、簡単に光軸位置を変更することは難しいが、本実施形態に係る簡易位相差AF法では、光軸のずれを簡便に発生させることで、焦点感度を容易に変更することができる。
 <5.各実施形態に係る作用・効果>
 以上説明したように、本実施形態によれば、検体観察システムの一例である顕微鏡システム1は、照射光Lを発する発光部11と、照射光Lの光軸を所定方向にずらし、光軸のずれ量を変更可能である光軸調整部13と、光軸がずらされた照射光(励起光La)を観察対象物Sに集光する対物レンズ22と、対物レンズ22および観察対象物Sの少なくとも一方を移動させる第2移動駆動部23と、対物レンズ22により集光された照射光(励起光La)によって観察対象物Sから発せられた蛍光の強度値を検出する検出部40と、検出部40により検出された強度値に基づいて、対物レンズ22と観察対象物Sとの離間距離を所定距離に維持するように第2移動駆動部23を制御する制御部3aとを備える。これにより、光軸のずれ量を変更することで、焦点感度を調整することができる。
 また、光軸調整部13は、光軸に対して非対称な形状の照射光(励起光La)を出射してもよい。この場合でも、光軸のずれ量を変更することが可能であり、焦点感度を調整することができる。
 また、光軸調整部13は、照射光Lの一部を遮る遮光部14と、発光部11および遮光部14の少なくとも一方を光軸に直交する方向に移動させる第1移動駆動部15(遮光移動駆動部)とを有してもよい。これにより、簡単な構成で光軸調整部13を実現することができる。
 また、光軸調整部13は、光軸に対して対称な形状の照射光(励起光La)を出射してもよい。この場合でも、光軸のずれ量を変更することが可能であり、焦点感度を調整することができる。また、光軸調整部13は、光軸に対して非対称な形状の照射光(励起光La)を出射する場合に比べ、光を有効に使うことができる。
 また、光軸調整部13は、照射光Lを屈折させる屈折部17と、屈折部17を回転させる回転駆動部18とを有してもよい。これにより、簡単な構成で光軸調整部13を実現することができる。また、回転制御は容易であるので、光軸のずれ量の制御を容易に行うことができ、さらに、精度良く行うことができる。
 また、屈折部17は、入射光と出射光との進行方向が同じになるように照射光Lを屈折させ、回転駆動部18は、光軸に平行な平面内で屈折部17を回転させてもよい。これにより、簡単な構成で光軸調整部13を実現することができる。
 また、光軸調整部13は、観察対象物Sの種類に応じて光軸のずれ量を調整してもよい。これにより、観察対象物Sの種類に応じて焦点感度を調整することができる。
 また、顕微鏡システム1は、操作者の入力操作を受け付ける入力部3dをさらに備え、光軸調整部13は、入力部3dに対する操作者の入力操作に応じて光軸のずれ量を調整してもよい。これにより、容易に光軸のずれ量を調整することが可能になるので、容易に焦点感度を調整することができる。
 また、顕微鏡システム1は、観察対象物Sの種類ごとに光軸のずれ量を示す感度調整情報T1を記憶する記憶部3cをさらに備え、光軸調整部13は、感度調整情報T1に基づいて光軸のずれ量を調整してもよい。これにより、容易に光軸のずれ量を調整することが可能になるので、容易に焦点感度を調整することができる。
 また、顕微鏡システム1は、操作者の入力操作を受け付ける入力部3dをさらに備え、光軸調整部13は、入力部3dに対する操作者の入力操作に応じて感度調整情報T1から選択された光軸のずれ量に基づいて光軸のずれ量を調整してもよい。これにより、容易に光軸のずれ量を調整することが可能になるので、容易に焦点感度を調整することができる。
 また、光軸調整部13は、観察対象物Sの凹凸に応じて光軸のずれ量を調整してもよい。これにより、観察対象物Sの凹凸に応じて焦点感度を調整することができる。
 また、光軸調整部13は、対物レンズ22の変更に応じて光軸のずれ量を調整してもよい。これにより、対物レンズ22の変更に応じて焦点感度を調整することができる。
 また、光軸調整部13は、対物レンズ22の倍率に応じて光軸のずれ量を調整してもよい。これにより、対物レンズ22の倍率に応じて焦点感度を調整することができる。
 また、顕微鏡システム1は、検出部40により検出された強度値に基づいて、光軸がずらされた照射光(励起光La)の重心を求める処理部3bをさらに備え、制御部3aは、重心(例えば、光量重心)に基づいて、対物レンズ22と観察対象物Sとの離間距離を所定距離に維持するように第2移動駆動部23を制御してもよい。これにより、対物レンズ22と観察対象物Sとの離間距離を確実に所定距離に維持することができる。
 <6.他の実施形態>
 上述した各実施形態(実施例、変形例)に係る構成や処理などは、上記の実施形態以外にも種々の異なる形態にて実施されてもよい。例えば、構成や処理などは、上述した例に限らず、種々の態様であってもよい。例えば、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した構成、処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
 また、上述した実施形態(実施例、変形例)に係る構成や処理などは、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。
 また、上述した実施形態(実施例、変形例)に係る構成や処理などは、適宜組み合わせされてもよい。また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
 例えば、第1移動駆動部15、第2移動駆動部23又は第3移動駆動部32としては、ステッピングモータやサーボモータに限るものではなく、リニアアクチュエータ、超音波アクチュエータ、ピエゾ素子、音響光学素子などのアクチュエータを用いてもよい。
 また、遮光部14、発光部11又は屈折部17などの素子を直接動かすだけでなく、リンク機構などにより間接的に動かしてもよい。あるいは、外部より磁界をかけて、遮光部14、発光部11又は屈折部17などの素子を動かす構成を用いてもよい。
 また、光軸のずれを無段階で変化させるものではなく、二段階以上のステップで変化させてもよい。
 また、観察する観察対象物Sの中で、粗い部分と細かい部分に応じて光軸のずれ量を変化させ、焦点感度を変えてもよい。
 また、対物レンズ22の変更(例えば、倍率)に応じて、焦点感度を調節するように自動で光軸のずれを発生させてもよい。例えば、対物レンズ22の倍率が低い場合には焦点感度を下げ、対物レンズ22の倍率が高い場合には焦点感度を上げる。
 <7.適用例>
 また、上述した各実施形態などに係る技術は、異軸平行に配置された波長の異なる複数のライン照明を病理標本(検体Saに相当)に照射する、いわゆる異軸励起スキャナ型の顕微鏡システムに対しても適用することができる。
 図30は、適用例に係る顕微鏡システム1000の概略ブロック図である。図31は、適用例に係る顕微鏡システム1000における光学系の一例を示す図である。
 (全体構成)
 図30に示すように、適用例に係る顕微鏡システム1000は、観察ユニット1001を備える。観察ユニット1001は、異軸平行に配置された波長の異なる複数のライン照明を病理標本(病理サンプル)に照射する励起部1010と、病理標本を支持するステージ1020と、ライン状に励起された病理標本の蛍光スペクトル(分光データ)を取得する分光イメージング部1030とを有する。
 ここで、異軸平行とは、複数のライン照明が異軸かつ平行であることをいう。異軸とは、同軸上にないことをいい、軸間の距離は特に限定されない。平行とは、厳密な意味での平行に限られず、ほぼ平行である状態も含む。例えば、レンズ等の光学系由来のディストーションや製造公差による平行状態からの逸脱があってもよく、この場合も平行とみなす。
 顕微鏡システム1000は、処理ユニット1002をさらに備える。処理ユニット1002は、観察ユニット1001によって取得された病理標本(以下、サンプルSともいう)の蛍光スペクトルに基づいて、典型的には、病理標本の画像を形成し、あるいは蛍光スペクトルの分布を出力する。ここでいう画像とは、そのスペクトルを構成する色素やサンプル由来の自家蛍光などの構成比率、波形からRGB(赤緑青)カラーに変換されたもの、特定の波長帯の輝度分布などをいう。
 ステージ1020に対して、対物レンズ1044などの観察光学系1040を介して、励起部1010と分光イメージング部1030が接続されている。観察光学系1040はフォーカス機構1060によって最適な焦点に追従する機能を持っている。観察光学系1040には、暗視野観察、明視野観察などの非蛍光観察部1070が接続されてもよい。
 顕微鏡システム1000は、励起部(LDやシャッターの制御)、走査機構であるXYステージ、分光イメージング部(カメラ)、フォーカス機構(検出器とZステージ)、非蛍光観察部(カメラ)などを制御する制御部1080と接続されていてもよい。
 励起部1010は複数の励起波長Ex1,Ex2,・・・の光を出力することができる複数の励起光源L1,L2,・・・を備える。複数の励起光源は、典型的には、発光ダイオード(LED)、レーザダイオード(LD)、水銀ランプなどで構成され、それぞれの光がライン照明化され、ステージ1020のサンプルSに照射される。
 サンプルS(検体Saに相当)は、典型的には、組織切片等の観察対象を含むスライドで構成されるが、勿論それ以外であってもよい。サンプルS(観察対象)は、複数の蛍光色素によって染色されている。観察ユニット1001は、サンプルSを所望の倍率に拡大して観察する。励起部1010は、複数のライン照明(例えば、ライン照明LA及びLB)が配置されており、それぞれの照明エリアに重なるように分光イメージング部1030の撮影エリアが配置される。2つのライン照明LA及びLBはそれぞれZ軸方向に平行であり、Y軸方向に所定の距離(Δy)離れて配置される。
 撮影エリアは、分光イメージング部1030における観測スリット1031(図31)の各スリット部にそれぞれ対応する。つまり、分光イメージング部1030のスリット部もライン照明と同数配置される。照明のライン幅とスリット幅との大小関係は、どちらが大きくてもよい。照明のライン幅がスリット幅よりも大きい場合、分光イメージング部1030に対する励起部1010の位置合わせマージンを大きくすることができる。
 1つめのライン照明Ex1を構成する波長と、2つめのライン照明Ex2を構成する波長は相互に異なっている。これらライン照明Ex1,Ex2により励起されるライン状の蛍光は、観察光学系1040を介して分光イメージング部1030において観測される。
 分光イメージング部1030は、複数のライン照明によって励起された蛍光がそれぞれ通過可能な複数のスリット部を有する観測スリット1031と、観測スリット1031を通過した蛍光を個々に受光可能な少なくとも1つの撮像素子1032とを有する。撮像素子1032には、CCD、CMOSなどの2次元イメージャが採用される。観測スリット1031を光路上に配置することで、それぞれのラインで励起された蛍光スペクトルを重なりなく検出することができる。
 分光イメージング部1030は、それぞれのライン照明Ex1,Ex2から、撮像素子1032の1方向(例えば垂直方向)の画素アレイを波長のチャンネルとして利用した蛍光の分光データ(x、λ)を取得する。得られた分光データ(x、λ)は、それぞれどの励起波長から励起された分光データであるかが紐づけられた状態で処理ユニット1002に記録される。
 処理ユニット1002は、CPU、RAM、ROM等のコンピュータに用いられるハードウェア要素および必要なソフトウェアにより実現され得る。CPUに代えて、またはこれに加えて、FPGA(Field Programmable Gate Array)等のPLD(Programmable Logic Device)、あるいは、DSP(Digital Signal Processor)、その他ASIC(Application Specific Integrated Circuit)等が用いられてもよい。
 処理ユニット1002は、複数のライン照明Ex1,Ex2の波長と撮像素子1032で受光された蛍光との相関を表す分光データを記憶する記憶部1021を有する。記憶部1021には、不揮発性半導体メモリ、ハードディスクドライブ等の記憶装置が用いられ、サンプルSに関する自家蛍光の標準スペクトル、サンプルSを染色する色素単体の標準スペクトルがあらかじめ格納されている。撮像素子1032で受光した分光データ(x、λ)は、記憶部1021に記憶される。本変形例では、サンプルSの自家蛍光及び色素単体の標準スペクトルを記憶する記憶部と撮像素子1032で取得されるサンプルSの分光データ(測定スペクトル)を記憶する記憶部とが共通の記憶部1021で構成されるが、これに限られず、別々の記憶部で構成されてもよい。
 図31に示すように、光路の途中にダイクロイックミラー1042やバンドパスフィルタ1045が挿入され、励起光(Ex1,Ex2)が撮像素子1032に到達しないようにする。この場合、撮像素子1032上に結像する蛍光スペクトルには間欠部が生じる。このような間欠部も読出し領域から除外することによって、さらにフレームレートを向上させることができる。
 撮像素子1032は、図31に示すように、観測スリット1031を通過した蛍光をそれぞれ受光可能な複数の撮像素子1032a,1032bを含んでもよい。この場合、各ライン照明Ex1,Ex2によって励起される蛍光スペクトルは、撮像素子1032a,1032b上に取得され、記憶部1021に励起光と紐づけて記憶される。
 ライン照明Ex1,Ex2は単一の波長で構成される場合に限られず、それぞれが複数の波長で構成されてもよい。ライン照明Ex1,Ex2がそれぞれ複数の波長で構成される場合、これらで励起される蛍光もそれぞれ複数のスペクトルを含む。この場合、分光イメージング部1030は、当該蛍光を励起波長に由来するスペクトルに分離するための波長分散素子を有する。波長分散素子は、回折格子やプリズムなどで構成され、典型的には、観測スリット1031と撮像素子1032との間の光路上に配置される。
 観察ユニット1001はさらに、ステージ1020に対して複数のライン照明Ex1,Ex2をY軸方向、つまり、各ライン照明Ex1,Ex2の配列方向に走査する走査機構1050を備える。走査機構1050を用いることで、サンプルS(観察対象)上において空間的にΔyだけ離れた、それぞれ異なる励起波長で励起された色素スペクトル(蛍光スペクトル)をY軸方向に連続的に記録することができる。この場合、例えば撮影領域がX軸方向に複数に分割され、Y軸方向にサンプルSをスキャンし、その後、X軸方向に移動し、さらにY軸方向へのスキャンを行うといった動作が繰り返される。1回のスキャンで数種の励起波長によって励起されたサンプル由来の分光スペクトルイメージを撮影することができる。
 走査機構1050は、典型的には、ステージ1020がY軸方向に走査されるが、光学系の途中に配置されたガルバノミラーによって複数のライン照明Ex1,Ex2がY軸方向に走査されてもよい。最終的に、(X、Y、λ)の3次元データが複数のライン照明Ex1、Ex2についてそれぞれ取得される。各ライン照明Ex1,Ex2由来の3次元データはY軸についてΔyだけ座標がシフトしたデータになるので、あらかじめ記録されたΔy、または撮像素子1032の出力から計算されるΔyの値に基づいて、補正され出力される。
 ここまでの例では励起光としてのライン照明は2本で構成されたが、これに限定されず、3本、4本あるいは5本以上であってもよい。またそれぞれのライン照明は、色分離性能がなるべく劣化しないように選択された複数の励起波長を含んでもよい。またライン照明が1本であっても、複数の励起波長から構成される励起光源で、かつそれぞれの励起波長と、撮像素子で所得されるRowデータとを紐づけて記録すれば、異軸平行ほどの分離能は得られないが、多色スペクトルを得ることができる。
 (観測ユニット)
 続いて、図31を参照して観察ユニット1001の詳細について説明する。
 励起部1010は、複数(本例では4つ)の励起光源L1,L2,L3,L4を有する。各励起光源L1~L4は、波長がそれぞれ405nm、488nm、561nm及び645nmのレーザ光を出力するレーザ光源で構成される。
 励起部1010は、各励起光源L1~L4に対応するように複数のコリメータレンズ1011及びレーザラインフィルタ1012と、ダイクロイックミラー1013a,1013b,1013cと、ホモジナイザ1014と、コンデンサレンズ1015と、入射スリット1016とをさらに有する。
 励起光源L1から出射されるレーザ光と励起光源L3から出射されるレーザ光は、それぞれコリメータレンズ1011によって平行光になった後、各々の波長帯域の裾野をカットするためのレーザラインフィルタ1012を透過し、ダイクロイックミラー1013aによって同軸にされる。同軸化された2つのレーザ光は、さらに、ライン照明Ex1となるべくフライアイレンズなどのホモジナイザ1014とコンデンサレンズ1015によってビーム成形される。
 励起光源L2から出射されるレーザ光と励起光源L4から出射されるレーザ光も同様にダイクロイックミラー1013b,1013cによって同軸化され、ライン照明Ex1とは異軸のライン照明Ex2となるようにライン照明化される。ライン照明Ex1,Ex2は、各々が通過可能な複数のスリット部を有する入射スリット1016(スリット共役)においてΔyだけ離れた異軸ライン照明(1次像)を形成する。
 この1次像は、観察光学系1040を介してステージ1020上のサンプルSに照射される。観察光学系1040は、コンデンサレンズ1041と、ダイクロイックミラー1042,1043と、対物レンズ1044と、バンドパスフィルタ1045と、コンデンサレンズ1046とを有する。ライン照明Ex1,Ex2は、対物レンズ1044と対になったコンデンサレンズ1041で平行光にされ、ダイクロイックミラー1042,1043を反射して対物レンズ1044を透過し、サンプルSに照射される。
 サンプルS面において励起された蛍光は、対物レンズ1044によって集光され、ダイクロイックミラー1043を反射し、ダイクロイックミラー1042及び励起光をカットするバンドパスフィルタ1045を透過し、コンデンサレンズ1046で再び集光されて、分光イメージング部1030へ入射する。
 分光イメージング部1030は、観測スリット1031と、撮像素子1032(1032a,1032b)と、第1プリズム1033と、ミラー1034と、回折格子1035(波長分散素子)と、第2プリズム1036とを有する。
 観測スリット1031は、コンデンサレンズ1046の集光点に配置され、励起ライン数と同じ数のスリット部を有する。観測スリット1031を通過した2つの励起ライン由来の蛍光スペクトルは、第1プリズム1033で分離され、それぞれミラー1034を介して回折格子1035の格子面で反射することにより、励起波長各々の蛍光スペクトルにさらに分離される。このようにして分離された4つの蛍光スペクトルは、ミラー1034及び第2プリズム1036を介して撮像素子1032a,1032bに入射し、分光データとして(x、λ)情報に展開される。
 撮像素子1032a,1032bの画素サイズ(nm/Pixel)は特に限定されず、例えば、2nm以上20nm以下に設定される。この分散値は、回折格子1035のピッチや光学的に実現しても良いし、撮像素子1032a,1032bのハードウェアビニングをつかって実現しても良い。
 ステージ1020及び走査機構1050は、X-Yステージを構成し、サンプルSの蛍光画像を取得するため、サンプルSをX軸方向及びY軸方向へ移動させる。WSI(Whole slide imaging)では、Y軸方向にサンプルSをスキャンし、その後、X軸方向に移動し、さらにY軸方向へのスキャンを行うといった動作が繰り返される。
 非蛍光観察部1070は、光源1071、ダイクロイックミラー1043、対物レンズ1044、コンデンサレンズ1072、撮像素子1073などにより構成される。非蛍光観察系においては、図31では、暗視野照明による観察系を示している。
 光源1071は、ステージ1020の下方に配置され、ステージ1020上のサンプルSに対して、ライン照明Ex1,Ex2とは反対側から照明光を照射する。暗視野照明の場合、光源1071は、対物レンズ1044のNA(開口数)の外側から照明し、サンプルSで回折した光(暗視野像)を対物レンズ1044、ダイクロイックミラー1043及びコンデンサレンズ1072を介して撮像素子1073で撮影する。暗視野照明を用いることで、蛍光染色サンプルのような一見透明なサンプルであってもコントラストを付けて観察することができる。
 なお、この暗視野像を蛍光と同時に観察して、リアルタイムのフォーカスに使ってもよい。この場合、照明波長は、蛍光観察に影響のない波長を選択すればよい。非蛍光観察部1070は、暗視野画像を取得する観察系に限られず、明視野画像、位相差画像、位相像、インラインホログラム(In-line hologram)画像などの非蛍光画像を取得可能な観察系で構成されてもよい。例えば、非蛍光画像の取得方法として、シュリーレン法、位相差コントラスト法、偏光観察法、落射照明法などの種々の観察法が採用可能である。照明用光源の位置もステージの下方に限られず、ステージの上方や対物レンズの周りにあってもよい。また、リアルタイムでフォーカス制御を行う方式だけでなく、あらかじめフォーカス座標(Z座標)を記録しておくプレフォーカスマップ方式等の他の方式が採用されてもよい。
 以上のような構成において、観察ユニット1001は、上述した各実施形態に係る撮像装置2に、制御部1080や処理ユニット1002の一部などは、上述した各実施形態に係る制御装置3に、それぞれ相当し得る。また、励起部1010は照射部10に、ステージ1020はステージ31に、分光イメージング部1030は検出部40及び画像検出部50に、観察光学系1040は光学系20に、走査機構1050は第3移動駆動部32に、フォーカス機構1060は第2移動駆動部23に、それぞれ相当し得る。励起部1010では、例えば、励起光源L1~L4ごとに各実施形態のいずれかに係る光軸調整部13が設けられるが、これに限定されるものではない。
 <8.ハードウェアの構成例>
 上述した各実施形態に係る顕微鏡システム1の制御装置3などの情報機器の具体的なハードウェア構成例について説明する。各実施形態(又は変形例)に係る制御装置3などの情報機器は、例えば、図32に示すような構成のコンピュータ2000によって実現されてもよい。図32は、情報機器の機能を実現するハードウェアの概略構成の一例を示す図である。
 図32に示すように、コンピュータ2000は、CPU2100、RAM2200、ROM(Read Only Memory)2300、HDD(Hard Disk Drive)2400、通信インタフェース2500及び入出力インタフェース2600を有する。コンピュータ2000の各部は、バス2050によって接続される。
 CPU2100は、ROM2300又はHDD2400に格納されたプログラムに基づいて動作し、各部の制御を行う。例えば、CPU2100は、ROM2300又はHDD2400に格納されたプログラムをRAM2200に展開し、各種プログラムに対応した処理を実行する。
 ROM2300は、コンピュータ2000の起動時にCPU2100によって実行されるBIOS(Basic Input Output System)などのブートプログラムや、コンピュータ2000のハードウェアに依存するプログラムなどを格納する。
 HDD2400は、CPU2100によって実行されるプログラム、及び、かかるプログラムによって使用されるデータなどを非一時的に記録する、コンピュータ2000が読み取り可能な記録媒体である。具体的には、HDD2400は、プログラムデータ2450を記録する記録媒体である。
 通信インタフェース2500は、コンピュータ2000が外部ネットワーク2550(一例としてインターネット)と接続するためのインタフェースである。例えば、CPU2100は、通信インタフェース2500を介して、他の機器からデータを受信したり、CPU2100が生成したデータを他の機器へ送信したりする。
 入出力インタフェース2600は、入出力デバイス2650とコンピュータ2000とを接続するためのインタフェースである。例えば、CPU2100は、入出力インタフェース2600を介して、キーボードやマウスなどの入力デバイスからデータを受信する。また、CPU2100は、入出力インタフェース2600を介して、ディスプレイやスピーカ、プリンタなどの出力デバイスにデータを送信する。
 なお、入出力インタフェース2600は、所定の記録媒体(メディア)に記録されたプログラムなどを読み取るメディアインタフェースとして機能してもよい。メディアとしては、例えば、DVD(Digital Versatile Disc)、PD(Phase change rewritable Disk)などの光学記録媒体、MO(Magneto-Optical disk)などの光磁気記録媒体、テープ媒体、磁気記録媒体、又は、半導体メモリなどが用いられる。
 ここで、例えば、コンピュータ2000が各実施形態(又は変形例)に係る制御装置3などの情報機器として機能する場合、コンピュータ2000のCPU2100は、RAM2200上にロードされた情報処理プログラムを実行することにより、各実施形態(又は変形例)に係る各部の機能の全てや一部を実現する。また、HDD2400には、各実施形態に係る情報処理プログラムやデータが格納される。なお、CPU2100は、プログラムデータ2450をHDD2400から読み取って実行するが、他の例として、外部ネットワーク2550を介して、他の装置からこれらのプログラムを取得するようにしてもよい。
 <9.付記>
 なお、本技術は以下のような構成も取ることができる。
(1)
 照射光を発する発光部と、
 前記照射光の光軸を所定方向にずらし、前記光軸のずれ量を変更可能である光軸調整部と、
 前記光軸がずらされた前記照射光を観察対象物に集光する対物レンズと、
 前記対物レンズおよび前記観察対象物の少なくとも一方を移動させる移動駆動部と、
 前記対物レンズにより集光された前記照射光によって前記観察対象物から発せられた蛍光の強度値を検出する検出部と、
 前記検出部により検出された前記強度値に基づいて、前記対物レンズと前記観察対象物との離間距離を所定距離に維持するように前記移動駆動部を制御する制御部と、
 を備える、検体観察システム。
(2)
 前記光軸調整部は、前記光軸に対して非対称な形状の前記照射光を出射する、
 前記(1)に記載の検体観察システム。
(3)
 前記光軸調整部は、
 前記照射光の一部を遮る遮光部と、
 前記発光部および前記遮光部の少なくとも一方を前記光軸に直交する方向に移動させる遮光移動駆動部と、
 を有する、
 前記(2)に記載の検体観察システム。
(4)
 前記光軸調整部は、前記光軸に対して対称な形状の前記照射光を出射する、
 前記(1)に記載の検体観察システム。
(5)
 前記光軸調整部は、
 前記照射光を屈折させる屈折部と、
 前記屈折部を回転させる回転駆動部と、
 を有する、
 前記(4)に記載の検体観察システム。
(6)
 前記屈折部は、入射光と出射光との進行方向が同じになるように前記照射光を屈折させ、
 前記回転駆動部は、前記光軸に平行な平面内で前記屈折部を回転させる、
 前記(5)に記載の検体観察システム。
(7)
 前記光軸調整部は、前記観察対象物の種類に応じて前記光軸のずれ量を調整する、
 前記(1)から(6)のいずれか一つに記載の検体観察システム。
(8)
 操作者の入力操作を受け付ける入力部をさらに備え、
 前記光軸調整部は、前記入力部に対する前記操作者の入力操作に応じて前記光軸のずれ量を調整する、
 前記(7)に記載の検体観察システム。
(9)
 前記観察対象物の種類ごとに前記光軸のずれ量を示す感度調整情報を記憶する記憶部をさらに備え、
 前記光軸調整部は、前記感度調整情報に基づいて前記光軸のずれ量を調整する、
 前記(7)に記載の検体観察システム。
(10)
 操作者の入力操作を受け付ける入力部をさらに備え、
 前記光軸調整部は、前記入力部に対する前記操作者の入力操作に応じて前記感度調整情報から選択された前記光軸のずれ量に基づいて前記光軸のずれ量を調整する、
 前記(9)に記載の検体観察システム。
(11)
 前記光軸調整部は、前記観察対象物の凹凸に応じて前記光軸のずれ量を調整する、
 前記(1)から(10)のいずれか一つに記載の検体観察システム。
(12)
 前記光軸調整部は、前記対物レンズの変更に応じて前記光軸のずれ量を調整する、
 前記(1)から(11)のいずれか一つに記載の検体観察システム。
(13)
 前記光軸調整部は、前記対物レンズの倍率に応じて前記光軸のずれ量を調整する、
 前記(12)に記載の検体観察システム。
(14)
 前記検出部により検出された前記強度値に基づいて、前記光軸がずらされた前記照射光の重心を求める処理部をさらに備え、
 前記制御部は、前記重心に基づいて、前記対物レンズと前記観察対象物との離間距離を所定距離に維持するように前記移動駆動部を制御する、
 前記(1)から(13)のいずれか一つに記載の検体観察システム。
(15)
 照射光を発する発光部と、
 前記照射光の光軸を所定方向にずらし、前記光軸のずれ量を変更可能である光軸調整部と、
 前記光軸がずらされた前記照射光を観察対象物に集光する対物レンズと、
 を備える、検体観察装置。
(16)
 検体観察装置が、
 照射光を発することと、
 前記照射光の光軸を所定方向にずらすことと、
 前記光軸がずらされた前記照射光を観察対象物に集光することと、
 を含み、
 前記光軸を前記所定方向にずらす場合、予め設定された前記光軸のずれ量及びずれ方向に基づいて前記光軸をずらす、
 検体観察方法。
(17)
 前記(1)から(14)のいずれか一つに記載の検体観察システムに係る構成要素を備える検体観察装置。
(18)
 前記(1)から(14)のいずれか一つに記載の検体観察システムを用いる検体観察方法。
 1    顕微鏡システム
 2    撮像装置
 3    制御装置
 3a   制御部
 3b   処理部
 3c   記憶部
 3d   入力部
 4    サーバ装置
 10   照射部
 11   発光部
 12   コリメートレンズ
 13   光軸調整部
 14   遮光部
 14a  開口部
 15   第1移動駆動部
 16   ヒートシンク
 17   屈折部
 18   回転駆動部
 20   光学系
 21   ダイクロイックミラー
 22   対物レンズ
 23   第2移動駆動部
 24   ダイクロイックミラー
 30   ステージ部
 31   ステージ
 32   第3移動駆動部
 40   検出部
 41   第1撮像センサ
 42   第1結像レンズ
 50   画像検出部
 51   第2撮像センサ
 52   第2結像レンズ
 1000 顕微鏡システム
 2000 コンピュータ
 L    照射光
 La   励起光
 S    観察対象物
 Sa   検体
 T1   感度調整情報

Claims (16)

  1.  照射光を発する発光部と、
     前記照射光の光軸を所定方向にずらし、前記光軸のずれ量を変更可能である光軸調整部と、
     前記光軸がずらされた前記照射光を観察対象物に集光する対物レンズと、
     前記対物レンズおよび前記観察対象物の少なくとも一方を移動させる移動駆動部と、
     前記対物レンズにより集光された前記照射光によって前記観察対象物から発せられた蛍光の強度値を検出する検出部と、
     前記検出部により検出された前記強度値に基づいて、前記対物レンズと前記観察対象物との離間距離を所定距離に維持するように前記移動駆動部を制御する制御部と、
     を備える、検体観察システム。
  2.  前記光軸調整部は、前記光軸に対して非対称な形状の前記照射光を出射する、
     請求項1に記載の検体観察システム。
  3.  前記光軸調整部は、
     前記照射光の一部を遮る遮光部と、
     前記発光部および前記遮光部の少なくとも一方を前記光軸に直交する方向に移動させる遮光移動駆動部と、
     を有する、
     請求項2に記載の検体観察システム。
  4.  前記光軸調整部は、前記光軸に対して対称な形状の前記照射光を出射する、
     請求項1に記載の検体観察システム。
  5.  前記光軸調整部は、
     前記照射光を屈折させる屈折部と、
     前記屈折部を回転させる回転駆動部と、
     を有する、
     請求項4に記載の検体観察システム。
  6.  前記屈折部は、入射光と出射光との進行方向が同じになるように前記照射光を屈折させ、
     前記回転駆動部は、前記光軸に平行な平面内で前記屈折部を回転させる、
     請求項5に記載の検体観察システム。
  7.  前記光軸調整部は、前記観察対象物の種類に応じて前記光軸のずれ量を調整する、
     請求項1に記載の検体観察システム。
  8.  操作者の入力操作を受け付ける入力部をさらに備え、
     前記光軸調整部は、前記入力部に対する前記操作者の入力操作に応じて前記光軸のずれ量を調整する、
     請求項7に記載の検体観察システム。
  9.  前記観察対象物の種類ごとに前記光軸のずれ量を示す感度調整情報を記憶する記憶部をさらに備え、
     前記光軸調整部は、前記感度調整情報に基づいて前記光軸のずれ量を調整する、
     請求項7に記載の検体観察システム。
  10.  操作者の入力操作を受け付ける入力部をさらに備え、
     前記光軸調整部は、前記入力部に対する前記操作者の入力操作に応じて前記感度調整情報から選択された前記光軸のずれ量に基づいて前記光軸のずれ量を調整する、
     請求項9に記載の検体観察システム。
  11.  前記光軸調整部は、前記観察対象物の凹凸に応じて前記光軸のずれ量を調整する、
     請求項1に記載の検体観察システム。
  12.  前記光軸調整部は、前記対物レンズの変更に応じて前記光軸のずれ量を調整する、
     請求項1に記載の検体観察システム。
  13.  前記光軸調整部は、前記対物レンズの倍率に応じて前記光軸のずれ量を調整する、
     請求項12に記載の検体観察システム。
  14.  前記検出部により検出された前記強度値に基づいて、前記光軸がずらされた前記照射光の重心を求める処理部をさらに備え、
     前記制御部は、前記重心に基づいて、前記対物レンズと前記観察対象物との離間距離を所定距離に維持するように前記移動駆動部を制御する、
     請求項1に記載の検体観察システム。
  15.  照射光を発する発光部と、
     前記照射光の光軸を所定方向にずらし、前記光軸のずれ量を変更可能である光軸調整部と、
     前記光軸がずらされた前記照射光を観察対象物に集光する対物レンズと、
     を備える、検体観察装置。
  16.  検体観察装置が、
     照射光を発することと、
     前記照射光の光軸を所定方向にずらすことと、
     前記光軸がずらされた前記照射光を観察対象物に集光することと、
     を含み、
     前記光軸を前記所定方向にずらす場合、予め設定された前記光軸のずれ量及びずれ方向に基づいて前記光軸をずらす、
     検体観察方法。
PCT/JP2023/039820 2022-11-15 2023-11-06 検体観察システム、検体観察装置及び検体観察方法 WO2024106237A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-182845 2022-11-15
JP2022182845 2022-11-15

Publications (1)

Publication Number Publication Date
WO2024106237A1 true WO2024106237A1 (ja) 2024-05-23

Family

ID=91084575

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/039820 WO2024106237A1 (ja) 2022-11-15 2023-11-06 検体観察システム、検体観察装置及び検体観察方法

Country Status (1)

Country Link
WO (1) WO2024106237A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1152224A (ja) * 1997-06-04 1999-02-26 Hitachi Ltd 自動焦点検出方法およびその装置並びに検査装置
JP2012008566A (ja) * 2010-06-23 2012-01-12 Leica Microsystems Cms Gmbh 顕微鏡用の自動合焦装置および適切な自動焦点開口絞り
WO2020054043A1 (ja) * 2018-09-13 2020-03-19 株式会社ニコン 光学装置および顕微鏡

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1152224A (ja) * 1997-06-04 1999-02-26 Hitachi Ltd 自動焦点検出方法およびその装置並びに検査装置
JP2012008566A (ja) * 2010-06-23 2012-01-12 Leica Microsystems Cms Gmbh 顕微鏡用の自動合焦装置および適切な自動焦点開口絞り
WO2020054043A1 (ja) * 2018-09-13 2020-03-19 株式会社ニコン 光学装置および顕微鏡

Similar Documents

Publication Publication Date Title
US10365468B2 (en) Autofocus imaging
US7813579B2 (en) Microscope system
JP7424286B2 (ja) 蛍光観察装置及び蛍光観察方法
US20180307005A1 (en) Multifunction Autofocus System and Method for Automated Microscopy
US7335898B2 (en) Method and apparatus for fluorescent confocal microscopy
US20140125776A1 (en) 3d pathology slide scanner
US20140231638A1 (en) Slide Scanner with a Tilted Image
US11106026B2 (en) Scanning microscope for 3D imaging using MSIA
WO2021167044A1 (ja) 顕微鏡システム、撮像方法、および撮像装置
US10697884B2 (en) Image cytometer implementation
JP5070995B2 (ja) 共焦点顕微鏡装置
WO2024106237A1 (ja) 検体観察システム、検体観察装置及び検体観察方法
CN114460020B (zh) 一种基于数字微反射镜的高光谱扫描系统及方法
EP2390706A1 (en) Autofocus imaging.
JP2012141452A (ja) 自動合焦機構および顕微鏡装置
WO2021193325A1 (ja) 顕微鏡システム、撮像方法、および撮像装置
JP2018161081A (ja) 細胞観察装置および細胞観察方法
WO2022049097A1 (en) Device, method and use for optically determining at least one property of a sample positioned on a sample stage