WO2020138279A1 - 顕微鏡システム - Google Patents

顕微鏡システム Download PDF

Info

Publication number
WO2020138279A1
WO2020138279A1 PCT/JP2019/051101 JP2019051101W WO2020138279A1 WO 2020138279 A1 WO2020138279 A1 WO 2020138279A1 JP 2019051101 W JP2019051101 W JP 2019051101W WO 2020138279 A1 WO2020138279 A1 WO 2020138279A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
microscope system
projection
projection image
auxiliary
Prior art date
Application number
PCT/JP2019/051101
Other languages
English (en)
French (fr)
Inventor
勇大 尾原
敏征 服部
雅善 唐澤
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to JP2020562401A priority Critical patent/JP7214753B2/ja
Priority to CN201980087302.8A priority patent/CN113260894B/zh
Priority to EP19906490.8A priority patent/EP3904937A4/en
Publication of WO2020138279A1 publication Critical patent/WO2020138279A1/ja
Priority to US17/357,357 priority patent/US11861921B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/693—Acquisition
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/0088—Inverse microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/06—Means for illuminating specimens
    • G02B21/08—Condensers
    • G02B21/086—Condensers for transillumination only
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/32—Micromanipulators structurally combined with microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/368—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements details of associated display arrangements, e.g. mounting of LCD monitor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Definitions

  • the disclosure of the present specification relates to a microscope system.
  • Microinsemination is known as one of the markets for inverted microscopes. Microinsemination is a type of in vitro fertilization and is a method of fertilizing sperms and eggs under a microscope. Microinsemination is generally carried out by intracytoplasmic sperm injection (ICSI), in which sperm is directly injected into an egg by piercing an egg fixed with a holding pipette with an injection pipette containing sperm.
  • ICSI intracytoplasmic sperm injection
  • Patent Document 1 describes an observation apparatus that switches observations by polarization observation, differential interference observation, and relief contrast observation during microinsemination.
  • an object of one aspect of the present invention is to provide a technique for assisting microinsemination.
  • the microscope system is a microscope system including a transillumination system that illuminates a sample.
  • the microscope system includes an eyepiece lens, an objective lens that guides transmitted light that has passed through the sample to the eyepiece lens, and is arranged between the eyepiece lens and the objective lens, and an optical image of the sample is generated based on the transmitted light.
  • the imaging device Based on the imaging lens to be formed, the imaging device that acquires the digital image data of the sample based on the transmitted light, and the projection image data corresponding to the projection image based on at least the digital image data acquired by the imaging device.
  • a processing device for generating the projection image, wherein the projection image includes an auxiliary image for assisting microinsemination using the sample, and an image plane on which the optical image is formed.
  • a projection device that projects the projection image based on the first projection element, a first modulation element that is included in the transmissive illumination system and that modulates the illumination light that illuminates the sample, and is disposed between the objective lens and the imaging lens. And a second modulation element that modulates the transmitted light.
  • microinsemination can be assisted.
  • FIG. 3 is a diagram illustrating a configuration of an inverted microscope 100.
  • FIG. 6 is a diagram illustrating a configuration of an operation unit of the input device 50.
  • 3 is a diagram exemplifying a functional configuration of a processing device 20.
  • FIG. 3 is a diagram exemplifying a hardware configuration of a processing device 20.
  • FIG. It is a flowchart which shows an example of the procedure of ICSI.
  • FIG. 3 is a diagram exemplifying a configuration of drops formed as a sample 200 in a petri dish 210. It is a flowchart which shows an example of a sperm selection procedure.
  • FIG. 6 is a flowchart of an image projection process performed by the microscope system 1.
  • FIG. 6 is a diagram for explaining an image processing method performed by the analysis unit 22.
  • FIG. 3 is a diagram showing an example of an image viewed from the eyepiece lens 101.
  • FIG. 8 is a diagram showing another example of an image viewed from the eyepiece lens 101.
  • FIG. 8 is a diagram showing still another example of an image viewed from the eyepiece lens 101.
  • FIG. 8 is a diagram showing still another example of an image viewed from the eyepiece lens 101.
  • FIG. 8 is a diagram showing still another example of an image viewed from the eyepiece lens 101.
  • It is a figure showing composition of a neural network.
  • It is a flowchart which shows an example of a learning procedure.
  • FIG. 8 is a diagram showing still another example of an image viewed from the eyepiece lens 101.
  • FIG. 8 is a diagram showing still another example of an image viewed from the eyepiece lens 101. It is a flowchart which shows another example of a sperm selection procedure.
  • FIG. 8 is a diagram showing still another example of an image viewed from the eyepiece lens 101.
  • FIG. 8 is a diagram showing still another example of an image viewed from the eyepiece lens 101.
  • FIG. 8 is a diagram showing still another example of an image viewed from the eyepiece lens 101.
  • FIG. 3 is a diagram illustrating a configuration of an inverted microscope 300.
  • FIG. 6 is a diagram illustrating a configuration of an inverted microscope 400.
  • FIG. 1 is a diagram illustrating a configuration of a microscope system 1 according to this embodiment.
  • FIG. 2 is a diagram illustrating the configuration of the inverted microscope 100.
  • FIG. 3 is a diagram illustrating the configuration of the operation unit of the input device 50.
  • FIG. 4 is a diagram illustrating a functional configuration of the processing device 20.
  • FIG. 5 is a diagram illustrating the hardware configuration of the processing device 20.
  • the microscope system 1 shown in FIG. 1 is an inverted microscope system that is used for microinsemination and that includes a transmitted illumination system 120, and is used by, for example, an embryo cultivator who performs microinsemination.
  • the microscope system 1 includes at least an eyepiece lens 101, an objective lens 102, an imaging lens 103, an image pickup unit 140, a processing device 20, and a projection device 153.
  • the microscope system 1 further includes a modulation element for visualizing an unstained sample used for microinsemination in each of the illumination optical path and the observation optical path.
  • the microscope system 1 projects the projection image using the projection device 153 on the image plane where the optical image of the sample is formed by the objective lens 102 and the imaging lens 103.
  • the user of the microscope system 1 will see the image in which the projection image is superimposed on the optical image.
  • the microscope system 1 assists the user in observing the sample through the eyepiece 101 for the work of microinsemination. It is possible to provide various information to be superimposed on the optical image.
  • the microscope system 1 includes an inverted microscope 100, a microscope controller 10, a processing device 20, a display device 30, and a plurality of input devices (an input device 40, an input device 50, an input device 60, an input device). Device 70) and identification device 80. Further, the microscope system 1 is connected to a database server 2 that stores various data.
  • the inverted microscope 100 includes a microscope main body 110, a plurality of objective lenses 102 attached to the microscope main body 110, a stage 111, a transmitted illumination system 120, and an eyepiece tube 170.
  • the user uses the inverted microscope 100 to observe the sample with four microscope methods: bright field (BF) observation, polarized light (PO) observation, differential interference (DIC) observation, and modulation contrast (MC) observation.
  • BF bright field
  • PO polarized light
  • DIC differential interference
  • MC modulation contrast
  • the plurality of objective lenses 102 are mounted on the revolver 112. As shown in FIG. 2, the plurality of objective lenses 102 include an objective lens 102a for BF observation, an objective lens 102b for PO observation and DIC observation, and an objective lens 102c for MC observation. In addition, the objective lens 102c includes a modulator 104.
  • the modulator 104 includes three regions having different transmittances (for example, a region having a transmittance of about 100%, a region having a transmittance of about 5%, and a region having a transmittance of about 0%).
  • FIG. 2 illustrates three objective lenses according to a microscope method
  • the plurality of objective lenses 102 may include a plurality of objective lenses having different magnifications for each microscope method.
  • a 4 ⁇ objective lens for BF observation 10 ⁇ , 20 ⁇ , 40 ⁇ objective lens for MC observation, 20 ⁇ objective lens for PO observation, and 60 ⁇ objective lens for DIC observation are included. Will be described as an example.
  • the revolver 112 is a switching device that switches the objective lenses arranged on the optical path between the plurality of objective lenses 102.
  • the revolver 112 switches the objective lens arranged on the optical path according to the microscope method and the observation magnification.
  • the objective lens arranged on the optical path by the revolver 112 guides the transmitted light transmitted through the sample to the eyepiece lens 101.
  • the sample contained in the container is placed on the stage 111.
  • the container is, for example, a petri dish, and the sample contains germ cells.
  • the stage 111 moves in the optical axis direction of the objective lens 102 arranged on the optical path and in the direction orthogonal to the optical axis of the objective lens 102.
  • the stage 111 may be a manual stage or an electric stage.
  • the transillumination system 120 illuminates a sample placed on the stage 111 from above the stage 111.
  • the transillumination system 120 includes a light source 121 and a universal capacitor 122, as shown in FIGS. 1 and 2.
  • the light source 121 may be, for example, an LED (Light Emitting Diode) light source or a halogen lamp light source.
  • the universal condenser 122 includes a polarizer 123 (first polarizing plate), a plurality of optical elements housed in the turret 124, and a condenser lens 128.
  • the polarizer 123 is used for MC observation, PO observation, and DIC observation.
  • the turret 124 accommodates a plurality of optical elements that are switched and used according to a microscope method.
  • the DIC prism 125 is used for DIC observation.
  • the aperture plate 126 is used for BF observation and PO observation.
  • the optical element 127 is a combination of a slit plate 127a, which is a light-shielding plate in which a slit is formed, and a polarizing plate 127b (second polarizing plate) arranged so as to cover a part of the slit. used.
  • the eyepiece cylinder 170 includes the eyepiece 101.
  • the imaging lens 103 is arranged between the eyepiece lens 101 and the objective lens 102.
  • the imaging lens 103 forms an optical image of the sample on the image plane IP between the eyepiece lens 101 and the imaging lens 103 based on the transmitted light.
  • a projection image described later is also formed on the image plane IP based on the light from the projection device 153.
  • the projection image is superimposed on the optical image on the image plane IP.
  • the user of the microscope system 1 observes a virtual image of an image in which the projection image is superimposed on the optical image formed on the image plane IP using the eyepiece lens 101.
  • the microscope body 110 includes a laser assisted hatching unit 130, an imaging unit 140, and a projection unit 150. Further, the microscope body 110 includes an intermediate magnification changing unit 160, as shown in FIG. Further, the microscope body 110 includes a DIC prism 105 and an analyzer 106 so that they can be inserted into and removed from the optical path.
  • the laser assisted hatching unit 130 is a laser unit arranged between the objective lens 102 and the imaging lens 103, as shown in FIG.
  • the laser assisted hatching unit 130 irradiates the sample with the laser light by introducing the laser light from between the objective lens 102 and the imaging lens 103. More specifically, the laser assisted hatching unit 130 irradiates a transparent band surrounding an embryo grown from a fertilized egg with laser light, for example.
  • the laser assisted hatching unit 130 includes a splitter 131, a scanner 133, a lens 134, and a laser 135.
  • the splitter 131 is, for example, a dichroic mirror.
  • the scanner 133 is, for example, a galvano scanner, and adjusts the irradiation position of the laser light in the direction orthogonal to the optical axis of the objective lens 102.
  • the lens 134 converts the laser light into a parallel light flux. Thereby, the laser light is focused on the sample by the objective lens 102.
  • the imaging unit 140 is an imaging device that acquires digital image data of a sample based on transmitted light.
  • the imaging unit 140 is arranged between the imaging lens 103 and the eyepiece lens 101.
  • the image pickup unit 140 includes a splitter 141 and an image pickup element 143.
  • the splitter 141 is, for example, a half mirror.
  • the imaging lens 103 forms an optical image of the sample on the light receiving surface of the image sensor 143.
  • the image sensor 143 is, for example, a CCD (Charge Coupled Device) image sensor, a CMOS (Complementary Metal-Oxide-Semiconductor) image sensor, or the like, detects light from a sample, and converts the detected light into an electrical signal by photoelectric conversion. To do.
  • the image pickup unit 140 generates digital image data of the sample based on the electric signal obtained by the image pickup element 143.
  • the microscope system 1 described later is used for observing sperm and the like, but the details of the sperm, for example, the tail portion is about ⁇ 0.5 ⁇ m.
  • the total magnification is 10 ⁇ .
  • the pitch of the pixel projection image on the object plane is 0.345 ⁇ m, and the tail portion of sperm can be identified.
  • the area including the effective pixels has a size that fills the entire visual field.
  • the projection unit 150 is arranged between the imaging lens 103 and the eyepiece lens 101. As shown in FIG. 2, the projection unit 150 includes a splitter 151, a lens 152, and a projection device 153.
  • the splitter 151 is, for example, a half mirror.
  • the projection device 153 projects a projection image based on the projection image data generated by the processing device 20.
  • the lens 152 projects the projection image by condensing the light from the projection device 153 at the same position as the image plane of the imaging lens 103, that is, the image plane IP on which the optical image is formed.
  • the size from the head to the tail of sperm is about 60 ⁇ m, and the short side of the head size is about 3 ⁇ m.
  • the image of sperm becomes 1.2 mm ⁇ 0.06 mm.
  • the projection image data that surrounds this is created, it becomes a rectangle with a minimum size of 1.5 mm x 0.1 mm.
  • the projection magnification of the lens 152 is 1, it is composed of light emitting elements (in the case of a single color) of 0.05 mm pitch or less.
  • the projection device 153 may be used. As a result, it is possible to display a projected image in which the above-mentioned 0.1 mm gap can be recognized.
  • the projection device 153 not only fills the field of view ⁇ 22 of the eyepiece lens, but also projects the projected image onto a field of view ⁇ 23 or larger, which is slightly larger than that.
  • the projection magnification of the lens 152 is 1, the projection device 153 having an effective light emitting area of ⁇ 23 or more is used.
  • the data of the sperm in the peripheral part of the visual field which comes into the visual field from outside the visual field of the eyepiece, is also included in the projection image data. Therefore, it becomes possible to recognize good sperm from all the sperm in the visual field including the peripheral portion of the visual field of the eyepiece lens.
  • the effective pixel area of the image pickup device 143 also needs to satisfy the size of ⁇ 23 or more in the eyepiece lens portion.
  • the intermediate variable power unit 160 is arranged between the objective lens 102 and the imaging lens 103. As shown in FIG. 2, the intermediate variable power unit 160 includes a plurality of lenses (lens 161, lens 162, lens 163), and switches between the lenses arranged on the optical path to form an image on the image plane. Change the magnification of the optical image. By using the intermediate variable power unit 160, the magnification of the optical image can be changed without switching the objective lens 102 located near the sample.
  • the DIC prism 105 and the analyzer 106 are arranged between the objective lens 102 and the imaging lens 103.
  • the DIC prism 105 is used for DIC observation.
  • the analyzer 106 is used for PO observation and DIC observation.
  • the polarizer 123 and the optical element 127 are arranged on the illumination optical path as the first modulator that modulates the illumination light with which the sample is irradiated, and the second modulator that modulates the transmitted light is provided.
  • the modulator 104 is arranged on the observation optical path.
  • the polarizer 123 is arranged as the first modulation element on the illumination optical path
  • the analyzer 106 is arranged as the second modulation element on the observation optical path.
  • the polarizer 123 and the DIC prism 125 are arranged on the illumination light path as the first modulation element, and the analyzer 106 and the DIC prism 105 are arranged on the observation light path as the second modulation element. .. As a result, an unstained sample can be visualized.
  • the microscope controller 10 is a device that controls the inverted microscope 100.
  • the microscope controller 10 is connected to the processing device 20, the input device 50, and the inverted microscope 100, and controls the inverted microscope 100 according to a command from the processing device 20 or the input device 50.
  • the display device 30 is, for example, a liquid crystal display, an organic EL (OLED) display, a CRT (Cathode Ray Tube) display, or the like.
  • OLED organic EL
  • CRT Cathode Ray Tube
  • the input device 40 includes a handle 41 and a handle 42. By operating the handle 41 and the handle 42, the operation of a micromanipulator (not shown) that moves the pipette 43 and the pipette 44 is controlled.
  • the pipette 43 and the pipette 44 are used for manipulating the sample in the work of microinsemination.
  • the pipette 43 is, for example, a holding pipette
  • the pipette 44 is, for example, an injection pipette.
  • the input device 50 is a hand switch device for changing the setting of the inverted microscope 100. As shown in FIG. 3, the input device 50 has, for example, six buttons (buttons 51 to 56), and the user can quickly switch the settings of the inverted microscope 100 by simply pressing these buttons. be able to.
  • the setting of the inverted microscope 100 is switched to the setting of BF observation (hereinafter referred to as BF4 ⁇ observation) with an observation magnification of 4 times.
  • the setting of the inverted microscope 100 is switched to the setting of MC observation with an observation magnification of 10 times (hereinafter, referred to as MC10 ⁇ observation).
  • the setting of the inverted microscope 100 is switched to the setting of MC observation with an observation magnification of 20 times (hereinafter referred to as MC20 ⁇ observation).
  • the setting of the inverted microscope 100 is switched to the setting of MC observation with an observation magnification of 40 times (hereinafter, referred to as MC40 ⁇ observation).
  • the setting of the inverted microscope 100 is switched to the setting of PO observation with an observation magnification of 20 times (hereinafter, referred to as PO20 ⁇ observation).
  • the setting of the inverted microscope 100 is switched to the setting of DIC observation with an observation magnification of 60 times (hereinafter referred to as DIC60 ⁇ observation).
  • the input device 60 is a keyboard.
  • the input device 70 is a mouse.
  • the input device 60 and the input device 70 are each connected to the processing device 20.
  • the identification device 80 is a device that acquires the identification information added to the sample. It should be noted that being added to the sample includes, for example, the case where the identification information is attached to the container that stores the sample.
  • the identification information is information that identifies the sample, and more specifically, information that identifies the patient who provided the sample.
  • the identification device 80 is, for example, a barcode reader, an RFID (registered trademark) reader, a QR code (registered trademark) reader, or the like.
  • the processing device 20 is a device that controls the entire microscope system 1. As shown in FIG. 1, the processing device 20 is connected to the inverted microscope 100, the microscope controller 10, the display device 30, the input device 60, the input device 70, and the identification device 80. The processing device 20 is also connected to the database server 2.
  • the processing device 20 generates projection image data corresponding to the projection image based on at least the digital image data acquired by the imaging unit 140.
  • the projected image includes an auxiliary image that assists microinsemination.
  • the processing device 20 controls the projection device 153 by outputting the projection image data to the projection device 153.
  • the processing device 20 includes a camera control unit 21, an analysis unit 22, a projection image generation unit 23, and a projection control unit 24, as shown in FIG. 4, as components mainly related to the control of the projection device 153. There is.
  • the camera control unit 21 controls the image pickup unit 140 to acquire digital image data of the sample.
  • the digital image data acquired by the camera control unit 21 is output to the analysis unit 22.
  • the analysis unit 22 analyzes at least the digital image data acquired by the camera control unit 21 and outputs the analysis result to the projection image generation unit 23.
  • the projection image generation unit 23 generates projection image data corresponding to a projection image including an auxiliary image for assisting microinsemination based on the analysis result generated by the analysis unit 22, and outputs the projection image data to the projection control unit 24.
  • the analysis unit 22 determines that the germ cells contained in the sample fertilize based on, for example, at least the digital image data. Analysis results may be generated that identify candidate cells that are suitable germ cells.
  • the projection image generation unit 23 may generate the projection image data corresponding to the projection image including the image (first auxiliary image) that identifies the candidate cells as the auxiliary image.
  • the projection control unit 24 controls the projection device 153 to control the projection of the projection image on the image plane. More specifically, the projection control unit 24 outputs the projection image data to the projection device 153, so that the projection device 153 can project the projection image on the image plane based on the projection image data acquired from the projection control unit 24. To project.
  • the microscope system 1 configured as described above can superimpose a projection image including an auxiliary image for assisting microinsemination on an optical image. Therefore, the user can obtain information necessary for microinsemination while observing the sample. Therefore, the microscope system 1 can assist the micro insemination performed by the user. As a result, it is possible to suppress the variation in the fertilization success rate among the embryo incubators who perform microinsemination, and it is expected that the fertilization success rate will be improved.
  • the projection image is projected on the optical plane on the image plane between the eyepiece lens 101 and the imaging lens 103. For this reason, the user can obtain various information for assisting microinsemination while looking through the eyepiece lens 101. Compared with the case where an auxiliary image is displayed on the monitor or the like, the user can see between the monitor and the eyepiece lens 101. It is possible to avoid the movement of the line of sight such as going back and forth. Therefore, according to the microscope system 1, the user can obtain the information necessary for microinsemination by the projection image only by observing the sample using the optical image without taking the eye away from the eyepiece lens 101.
  • the microscope system 1 can assist the work of microinsemination with the auxiliary image without changing the work flow of the user, and can reduce the work load on the user in microinsemination. Further, the working time of the user is shortened, and as a result, the time during which the sample is exposed to the outside air under the microscope is also shortened, so that damage to the sample can be reduced.
  • the processing device 20 included in the microscope system 1 may be a general-purpose device or a dedicated device.
  • the processing device 20 is not particularly limited to this configuration, but may have a physical configuration as shown in FIG. 5, for example.
  • the processing device 20 may include a processor 20a, a memory 20b, an auxiliary storage device 20c, an input/output interface 20d, a medium driving device 20e, and a communication control device 20f, which are mutually connected by a bus 20g. Good.
  • the processor 20a is, for example, an arbitrary processing circuit including a CPU (Central Processing Unit).
  • the processor 20a executes the programs stored in the memory 20b, the auxiliary storage device 20c, and the storage medium 20h to perform the programmed processing, so that the components related to the control of the projection device 153 described above (camera control unit). 21, the analysis unit 22, the projection image generation unit 23, the projection control unit 24) may be realized.
  • the processor 20a may be configured using a dedicated processor such as an ASIC (Application Specific Integrated Circuit), an FPGA (Field-Programmable Gate Array), or a GPU (Graphics Processing Unit).
  • ASIC Application Specific Integrated Circuit
  • FPGA Field-Programmable Gate Array
  • GPU Graphics Processing Unit
  • the memory 20b is a working memory of the processor 20a.
  • the memory 20b is, for example, an arbitrary semiconductor memory such as a RAM (Random Access Memory).
  • the auxiliary storage device 20c is a non-volatile memory such as an EPROM (Erasable Programmable ROM), a hard disk drive (Hard Disc Drive), and a solid state drive (Solid State Drive).
  • the input/output interface 20d exchanges information with external devices (inverted microscope 100, microscope controller 10, display device 30, input device 60, input device 70, identification device 80).
  • the medium driving device 20e can output the data stored in the memory 20b and the auxiliary storage device 20c to the storage medium 20h, and can read the programs, data, and the like from the storage medium 20h.
  • the storage medium 20h is any portable recording medium that can be carried.
  • the storage medium 20h includes, for example, an SD card, a USB (Universal Serial Bus) flash memory, a CD (Compact Disc), a DVD (Digital Versatile Disc), and the like.
  • the communication control device 20f inputs/outputs information to/from the network.
  • a NIC Network Interface Card
  • Wi-Fi registered trademark
  • Bluetooth registered trademark
  • BLE BLE
  • the bus 20g connects the processor 20a, the memory 20b, the auxiliary storage device 20c, and the like so that data can be exchanged between them.
  • FIG. 6 is a flowchart showing an example of the ICSI procedure.
  • FIG. 7 is a diagram exemplifying the configuration of drops formed as the sample 200 in the petri dish 210.
  • FIG. 8 is a flowchart showing an example of a sperm selection procedure.
  • FIG. 9 is a flowchart of the image projection process performed by the microscope system 1.
  • FIG. 10 is a diagram for explaining the image processing method performed by the analysis unit 22.
  • FIG. 11 is a diagram showing an example of an image viewed from the eyepiece lens 101.
  • the procedure of the ICSI performed by the user using the microscope system 1 will be specifically described with reference to FIGS. 6 to 11.
  • the user prepares a sample (step S1).
  • a sample 200 including a plurality of drops in a petri dish 210 and arranges it on the stage 111.
  • the drop 201 is a cleaning drop and is used for cleaning the pipette.
  • the drop 202 is a sperm suspension drop, for example, a sperm suspension dropped on a PVP solution.
  • the drop 203 is an egg operation drop, and is, for example, an egg put in a m-HTF solution.
  • the m-HTF solution is a Hepps-containing HTF solution added with 10% serum.
  • the user sets up the microscope system 1 (step S2).
  • the user for example, presses the button 51 of the input device 50 to switch the setting of the microscope system 1 to BF4 ⁇ observation.
  • the input device 40 is operated to adjust the positions of the pipette 43 and the pipette 44, and the pipette 43 and the pipette 44 are brought into focus.
  • the stage 111 is moved to wash the pipette 43 and the pipette 44 with the drop 201 (washing drop).
  • the user confirms the growth state of the egg (egg cell) in the drop 203 (drop for egg operation) (step S3).
  • the user presses the button 53 of the input device 50 to switch the setting of the microscope system 1 to MC20 ⁇ observation.
  • Eggs are selected by observing the morphology of the eggs with MC20 ⁇ observation.
  • the button 55 of the input device 50 may be pressed to switch the setting of the microscope system 1 to PO20 ⁇ observation.
  • the degree of maturity of the egg may be determined, and the egg may be further selected.
  • step S4 When the selection of eggs is completed, the user selects sperm according to the procedure shown in FIG. 8 (step S4). First, the user presses the button 53 of the input device 50 to switch the setting of the microscope system 1 to MC20 ⁇ observation. Then, the stage 111 is moved to move the observation position to the drop 202 (sperm floating drop), and the sperm is focused by MC20 ⁇ observation (step S11).
  • the user selects sperm by observing MC20 ⁇ and selects good sperm suitable for fertilization (step S12).
  • the criteria for judging whether the sperm are good or not are generally judged by the morphology and motility of sperm, but there is no definite criterion. Therefore, the selection is often made based on the experience and intuition of the embryonician who is the user of the microscope system 1, and the judgment differs depending on the embryonician. This causes a difference in the fertilization success rate depending on the embryo culture person.
  • the microscope system 1 presumes that the spermatozoa that will be selected by a skilled embryo cultivator with a high fertilization success rate are good sperms suitable for fertilization, and the estimated spermatozoa are candidates for the user of the microscope system 1. Notify as a cell (candidate sperm).
  • step S12 the microscope system 1 notifies the candidate cells by performing the image projection processing shown in FIG.
  • the microscope system 1 projects the optical image O1 of the sample on the image plane (step S21).
  • the image pickup unit 140 acquires digital image data of the sample (step S22).
  • the digital image data acquired by the imaging unit 140 is output to the processing device 20, and the analysis unit 22 of the processing device 20 generates an analysis result that specifies a candidate cell (candidate sperm) based on the digital image data (step S23). ).
  • the analysis algorithm for identifying the candidate cells is not particularly limited, but it is desirable that it reproduces the selection of a skilled embryo cultivator with a high fertilization success rate. More specifically, the analysis unit 22 analyzes the sperm based on at least the morphology of sperm that are germ cells and the motility of sperm, thereby reproducing the selection of a skilled embryo cultivator with a high success rate of fertilization. Is desirable.
  • the digital image data used for analysis may be still image data or moving image data.
  • the analysis unit 22 temporarily processes the still image data of the still image M1 to determine the motility as shown in FIG.
  • Still image data of the still image M2 may be generated by synthesizing the image shown (the image of the arrow).
  • the image showing the motility is, for example, an image showing the locus of movement of sperm from the time traced back by a predetermined time to the current time, based on a plurality of image data acquired during the corresponding period. May be generated. Then, the morphology and motility of the sperm may be analyzed on the basis of the still image data of the still image M2 in which the images showing the motility are synthesized, and the analysis result for specifying the candidate sperm may be generated.
  • the analysis unit 22 may employ an algorithm that reproduces the selection of a skilled embryo cultivator on a rule basis.
  • An algorithm (model) for estimating good spermatozoa may be constructed by learning the selection of a skilled embryo-cultivator by machine learning, and even if the learned model is adopted in the analysis unit 22. Good.
  • the machine learning may be conventional machine learning in which features required for estimation are given in advance by humans, or deep learning in which the features are extracted by the machine itself.
  • the projection image generation unit 23 of the processing device 20 When the analysis result is generated, the projection image generation unit 23 of the processing device 20 generates projection image data corresponding to the projection image P1 including the auxiliary image A1 that identifies the candidate cell based on the analysis result (step S24). ), and output to the projection device 153. Then, the projection device 153 projects the projection image P1 on the image plane based on the projection image data (step S25).
  • an image V1 in which the projection image P1 including the auxiliary image A1 is superimposed on the optical image O1 is formed on the image plane.
  • the auxiliary image A1 shown in FIG. 11 is an image surrounding the image of the candidate cells.
  • the projected image P1 includes the auxiliary image A1 at a position that does not overlap with the image of the candidate cell when projected on the image plane.
  • step S12 the user pays attention to the candidate cells (candidate sperm) identified by the auxiliary image A1 and spermatozoa.
  • Good sperm can be sorted out by selection. Therefore, the sperm selection work becomes easy, and the burden of the selection work is greatly reduced.
  • the user immobilizes the good sperm by observing RC20 ⁇ and damaging the tail of the good sperm (step S13).
  • the user immobilizes the good sperm by rubbing the tail of the good sperm on the bottom surface of the dish 210 with a pipette.
  • step S14 the user observes the morphology of the immobilized good sperm in more detail and further selects the good sperm.
  • the user presses the button 54 of the input device 50 to switch the setting of the microscope system 1 to MC40 ⁇ observation. After that, the user selects good sperm by observing MC40 ⁇ .
  • the microscope system 1 estimates the good spermatozoa that a skilled embryo cultivator with a high fertilization success rate will select, and the estimated good spermatozoa of the microscope system 1 in step S14 as well.
  • the user may be notified as a candidate cell (candidate sperm).
  • the analysis unit 22 analyzes the sperm based on at least the morphology of the sperm, which is different from step S12.
  • step S15 When the selection of good sperm by MC40 ⁇ observation is completed, the user further observes the head of the good sperm in detail, and further selects good sperm according to the size of the empty packet present in the head (step S15). ).
  • step S15 may be performed under MC40 ⁇ observation. In this case, the user selects the good sperm by recognizing the bright spot generated on the head as an empty envelope.
  • the user takes in the selected good sperm into the pipette 44 which is an injection pipette, moves the observation position to the drop 203 (drop for egg operation) (step S16), and performs a series of sperm selection shown in FIG. End the procedure of.
  • the user Upon completion of sperm selection, the user confirms the position of the spindle in preparation for injection of good sperm (step S5).
  • the user observes the egg selected in step S3 existing in the drop 203 and confirms the position of the spindle of the egg.
  • the user presses the button 55 of the input device 50 to switch the setting of the microscope system 1 to PO20 ⁇ observation.
  • the user changes the orientation of the spindle by operating the pipette 43, which is a holding pipette, so that the spindle of the ovum visualized by PO20 ⁇ observation is located at the 12 o'clock or 6 o'clock direction. This is to prevent the spindle from being damaged by the pipette that is pushed against the egg from the direction of 3 o'clock or 9 o'clock in step S6 described later.
  • the user injects sperm into the egg (step S6) and terminates the ICSI.
  • the user presses the button 53 of the input device 50 to switch the setting of the microscope system 1 to MC20 ⁇ observation.
  • the user fixes the ovum whose orientation has been adjusted in step S5 with the pipette 43, which is a holding pipette, and pierces the pipette 44, which is an injection pipette, by observing MC20 ⁇ . Then, a good sperm is injected into the egg from the pipette 44.
  • the user When the ICSI sequence shown in FIG. 6 is completed, the user returns the sperm-injected egg to the incubator and cultures it. Further, the user may operate the processing device 20 using the input device 60 and the input device 70 to store the information obtained by the ICSI in the database server 2. For example, sperm-injected egg image data, selected good sperm image data, ICSI work time, sperm and egg patient information (maternal clinical data, test results of semen containing sperm, etc.), Data on the culture fluid of sperm and egg (eg, type, concentration, PH, etc.) may be associated and stored in the database server 2. These pieces of information may be used for analysis in the analysis unit 22 used in steps S12 and S14 of FIG.
  • the processing device 20 may generate the projection image data corresponding to the projection image including the auxiliary image based on the digital image data and other data stored in the database server 2. In this way, it is expected that a higher fertilization success rate will be realized by estimating various types of information, including not only image data, but also various information.
  • the projection image including the auxiliary image for identifying the candidate sperm is projected on the image plane in the ICSI.
  • the sperm size is about 60 ⁇ m, and at least a 20 ⁇ objective lens is used to distinguish good sperm.
  • the actual field of view is about ⁇ 1 mm.
  • the task of selecting spermatozoa that freely move within this real field of view ⁇ 1 mm is a very difficult task.
  • sperm presumed to be good sperm have high motility, and since ICSI work needs to be performed in a short time, in sperm selection work, the morphology of relatively fast moving sperm should be observed quickly. You must judge pass/fail.
  • step S12 the microscope system 1 may superimpose the projection image P5 from the projection images P2 shown in FIGS. 12 to 15 on the optical image O1, instead of the projection image P1 shown in FIG. 11.
  • the image V2 shown in FIG. 12 is an image in which the projection image P2 is superimposed on the optical image O1.
  • FIG. 11 shows an example in which the projection image P1 includes the auxiliary image A1 having a shape surrounding the image of the candidate sperm
  • the projection image may include other images.
  • the projection image P2 includes, in addition to the auxiliary image A1 that identifies the candidate sperm, an auxiliary image A2 that shows the locus of movement of the candidate sperm.
  • the auxiliary image A2 represents the motility of the candidate sperm by the locus of movement.
  • the image V3 shown in FIG. 13 is an image in which the projection image P3 is superimposed on the optical image O1.
  • FIG. 11 shows an example in which the candidate sperm is specified by one type of image (auxiliary image A1)
  • the candidate sperm may be specified by a plurality of types of images.
  • the projection image P3 includes two types of images (auxiliary image A1 and auxiliary image A3) that identify candidate sperm.
  • the auxiliary image A3 is an image that identifies candidate sperm having a lower recommendation degree than the auxiliary image A1, and the color of the auxiliary image A3 (for example, light blue) is different from the color of the auxiliary image A1 (for example, blue). ing.
  • each of the auxiliary image A1 and the auxiliary image A3 has a color according to the recommended degree of the candidate sperm specified by the auxiliary image.
  • the sperm recommendation level may be absolute or relative. In fact, some patients may only have sperm that are totally inactive, but in such a case, the sperm that are relatively energetic will be selected from the limited options. In this case, even if the recommendation degree is absolute, if it is set to project a plurality of images showing a plurality of types of recommendation degrees, an image showing a relatively low recommendation degree is not displayed.
  • the image V4 shown in FIG. 14 is an image in which the projection image P4 is superimposed on the optical image O1.
  • the auxiliary image having a color corresponding to the recommended degree of the candidate sperm is illustrated, but the auxiliary image may have different modes depending on the recommended degree of the candidate sperm specified by the auxiliary image.
  • the projection image P4 includes four types of images (auxiliary image A1, auxiliary image A4, auxiliary image A5, and auxiliary image A6) that identify candidate sperm. These auxiliary images have different line types or shapes from each other, and the degree of recommendation of the candidate sperm is represented by the difference in line type or shape.
  • the image V5 shown in FIG. 15 is an image in which the projection image P5 is superimposed on the optical image O1.
  • the projection image P1 includes the auxiliary image A1 having a shape surrounding the image of the candidate sperm in FIG. 11, the projection image may include the image that identifies the candidate sperm.
  • the projection image P5 shown in FIG. 15 includes an auxiliary image A7 having a shape indicating the image of the candidate sperm.
  • FIG. 16 is a diagram showing the configuration of the neural network.
  • FIG. 17 is a flowchart showing an example of the learning procedure.
  • FIG. 18 is a diagram for explaining a method of labeling a teacher image.
  • the model learned by machine learning may be adopted in the analysis unit 22, and for example, the neural network learned by deep learning may be adopted. That is, the analysis unit 22 may analyze at least the digital image data by using the learned neural network.
  • the procedure for learning the neural network NN shown in FIG. 16 so as to recognize a good sperm will be described below with reference to FIGS. 16 to 18.
  • the microscope system 1 records the sperm selection work performed under the MC20 ⁇ observation as a moving image or a still image (step S31).
  • the imaging unit 140 acquires image data and the processing device 20 stores the image data during the sperm selection operation.
  • the microscope system 1 cuts out the images of the sperm portion from the recorded images and displays them side by side (step S32).
  • the processing device 20 reads out the moving image data or the still image data stored in step S31, cuts out the image of the sperm portion from the moving image or the still image as a teacher image, and displays the teacher images side by side on the display device 30.
  • the teacher images displayed side by side are evaluated by a skilled embryo cultivator who has a high fertilization success rate.
  • the microscope system 1 labels the teacher images based on the evaluation by the skilled embryonician (step S33).
  • the evaluation result (label) by the skilled embryo cultivator is stored in association with the teacher image.
  • teacher data the data in which the teacher image and the label are combined.
  • the teacher images (T1, T10, T14,%) Clicked while the button B1 on the window W1 is selected are stored in association with the grade A label.
  • the teacher images (T2, T3, T6, T8, T9, T11, T15%) Clicked while the button B2 is selected are stored in association with the grade B label.
  • the teacher images (T4, T5, T13, T16,...) Clicked while the button B3 is selected are stored in association with the grade C label.
  • the teacher images (T7, T128) Clicked while the button B4 is selected are stored in association with the grade D label.
  • grades A, B, C, and D indicate that the degree of recommendation decreases in this order.
  • the microscope system 1 trains the neural network using the large amount of created teacher data (step S34).
  • the microscope system 1 also performs the same processing as in step S31 to step S33 for the selection work under the observation of MC40 ⁇ and learns the neural network (step S35). Thereby, the microscope system 1 obtains the learned neural network. That is, the learned neural network of the microscope system 1 is a neural network learned by using the image data corresponding to the image of the sperm labeled as to whether or not fertilization is appropriate as the teacher data.
  • the microscope system 1 verifies the learned neural network (step S36).
  • the microscope system 1 verifies whether or not the neural network appropriately recognizes a good sperm with respect to a sperm different from the learning stage.
  • the learned neural network obtained in step S35 is adopted in the analysis unit 22.
  • a neural network may be trained in each hospital, or additional learning may be performed in each hospital, and a different model may be adopted in the analysis unit 22 for each hospital. This makes it possible to easily deal with the selection of good sperm according to the policy of each hospital.
  • FIG. 17 shows an example in which the teacher data is generated and the neural network is learned by using the microscope system 1, the teacher data generation and the neural network learning are performed by a system different from the microscope system 1.
  • the learned neural network constructed by another system may be applied to the microscope system 1.
  • FIG. 19 is a diagram for explaining a method of creating teacher data.
  • FIG. 18 shows an example in which the embryonician evaluates the teacher image displayed on the display device 30 to perform labeling by the microscope system 1, but the embryonician viewed using the eyepiece lens 101. The image may be labeled.
  • the processing device 20 responds to a mouse moving operation (first input operation) by the embryo cultivator.
  • the pointer image data corresponding to the pointer image PP indicating the position is generated, and the projection device 153 projects the pointer image PP on the image plane based on the pointer image data, as shown in FIG.
  • the image V6 shown in FIG. 19 is an image in which the projection image P6 is superimposed on the optical image O1.
  • the projection image P6 includes a pointer image PP that points to a position corresponding to the mouse movement operation.
  • the processing device 20 causes the sperm selected by the embryonician based on the position of the pointer image PP when the mouse click operation is detected. Specify. Then, the identified sperm image T1 is recorded as a teacher image. At this time, the image T1 may be labeled according to the content of the second input operation. For example, the mouse click operation may be labeled as grade A if left click, grade B if left double click, and grade C if right click. This makes it possible to generate teacher data by simultaneously acquiring and labeling the teacher image.
  • the embryo cultivator Since the image quality of the image displayed on the display device 30 is inferior to the image quality of the image observed using the eyepiece 101, it is difficult to distinguish a subtle individual difference in sperm from the image displayed on the display device 30. difficult.
  • the embryo cultivator generates teacher data while observing sperm using the eyepiece lens 101, so that subtle individual differences in sperm may occur in the same environment as during ICSI work.
  • Teacher data can be created by selecting sperm while recognizing. Therefore, the knowledge of a skilled embryo cultivator having a high fertilization success rate can be more accurately converted into teaching data.
  • FIGS. 20 and 21 are diagrams showing still another example of the image viewed from the eyepiece lens 101.
  • the projection image includes the auxiliary image that identifies the candidate sperm has been shown, but the projection image may include other auxiliary images that assist microinsemination in addition to the auxiliary image that identifies the candidate sperm. ..
  • the image V7 shown in FIG. 20 is an image in which the projection image P7 is superimposed on the optical image O1.
  • the projection image P7 includes an auxiliary image A9 (an example of a seventh auxiliary image) indicating patient information, in addition to the auxiliary image A1 that identifies the candidate sperm.
  • the identification device 80 acquires the identification information added to the sample.
  • the processing device 20 acquires the information of the patient who provided the sample based on the identification information acquired by the identification device 80. Specifically, the processing device 20 acquires the information of the patient who provided the sample by extracting the information of the patient corresponding to the identification information from the database server 2, for example.
  • the patient information includes, for example, the patient's name and ID.
  • the processing device 20 generates projection image data corresponding to the projection image P7 including the auxiliary image A1 and the auxiliary image A9 based on at least the digital image data acquired by the imaging unit 140 and the patient information.
  • the projection device 153 projects the projection image P7 on the image plane based on the projection image data, so that the image V7 is formed on the image plane. As shown in FIG. 20, by projecting the auxiliary image A9 indicating the patient information on the image plane, the user can perform ICSI while always confirming the patient who is the sperm donor.
  • the image V8 shown in FIG. 21 is an image in which the projection image P8 is superimposed on the optical image O1.
  • the projection image P8 includes, in addition to the auxiliary image A1 for identifying the candidate sperm, an auxiliary image A10 (an example of an eighth auxiliary image) indicating the elapsed time after the processing device 20 detects a predetermined operation. ..
  • the predetermined operation is, for example, an operation of placing the sample on the stage 111. In the microscope system 1, the processing device 20 acquires the elapsed time since the sample was placed on the stage 111.
  • the processing device 20 generates projection image data corresponding to the projection image P8 including the auxiliary image A1 and the auxiliary image A10 based on at least the digital image data acquired by the imaging unit 140 and the elapsed time.
  • the projection device 153 projects the projection image P8 on the image plane based on the projection image data, so that the image V8 is formed on the image plane. As shown in FIG. 21, by projecting the auxiliary image A10 indicating the elapsed time on the image plane, the user can perform ICSI while confirming the elapsed time.
  • FIG. 22 is a flowchart showing another example of the sperm selection procedure.
  • FIG. 23 is a diagram showing still another example of the image viewed from the eyepiece lens 101.
  • the configuration of the microscope system according to the present embodiment is the same as the configuration of the microscope system 1, and therefore the components of the microscope system according to the present embodiment are referred to by the same reference numerals as the components of the microscope system 1.
  • the present embodiment differs from the first embodiment in that the sperm selection work in ICSI is performed by the procedure shown in FIG. 22 instead of the procedure shown in FIG. Specifically, first, for example, the user presses the button 52 of the input device 50 to switch the setting of the microscope system to MC10 ⁇ observation. Then, the stage 111 is moved to move the observation position to the drop 202 (sperm floating drop), and the drop 202 is focused by MC10 ⁇ observation (step S41).
  • the user observes the drop 202 by observing with MC10 ⁇ , moves the stage 111, and moves the observation position to a region where the presence of good sperm is expected (step S42).
  • the microscope system assists the user's work by estimating a region in which the presence of good sperm is expected and notifying the estimated region to the user as a candidate region.
  • the image V9 shown in FIG. 23 is an optical image O2 in MC10 ⁇ observation.
  • the MC10 ⁇ observation does not confirm the detailed morphology of the sperm in the drop 202, but the presence of sperm can be confirmed. Therefore, in step S42, first, the analysis unit 22 divides the sample into a plurality of regions based on the digital image data, and determines a region in which the amount of sperm migration is greater than the amount of sperm migration in another region as a candidate region. And an analysis result (second analysis result) for identifying the candidate region is generated.
  • the projection image generation unit 23 generates the projection image data corresponding to the projection image including the auxiliary image (second auxiliary image) that specifies the candidate area based on the analysis result generated by the analysis unit 22.
  • the projection device 153 projects the projection image on the image plane based on the projection image data to notify the user of the candidate area.
  • the image V10 shown in FIG. 23 is an image in which the projection image P10 is superimposed on the optical image O2.
  • the projection image P10 includes the auxiliary image A11 that specifies the candidate region.
  • the projection image P10 also includes an auxiliary image A12 that identifies a region in which the amount of sperm movement is small.
  • the image V10 in which the projection image P10 is superimposed on the optical image O2 is formed on the image plane, so that in step S42, the user refers to the auxiliary image A11 to identify a region in which good sperm are expected to exist. Then, the observation position can be moved to the specified region. Therefore, it is possible to avoid wasting time by moving the observation position to a region where good sperm do not exist.
  • step S43 to step S47 is the same as the procedure from step S12 to step S16 shown in FIG.
  • the auxiliary image that identifies the candidate sperm estimated to be good sperm is superimposed on the optical image, so that sperm It is possible to reduce the burden of the sorting work, and like the microscope system 1, it is possible to assist microinsemination. Furthermore, according to the microscope system of the present embodiment, it is possible to avoid moving the observation position to a region where good sperm do not exist. Therefore, it is possible to avoid a situation in which the sperm is searched for and the movement of the stage 111 is repeated.
  • an example in which an auxiliary image that specifies a candidate region is projected by MC10 ⁇ observation and an auxiliary image that specifies a candidate sperm by MC20 ⁇ observation is projected is shown, but these magnifications are merely examples. .. It is only necessary to project the auxiliary image that specifies the candidate area when the magnification is less than the predetermined magnification, and to project the auxiliary image that specifies the candidate image when the magnification is greater than the predetermined magnification.
  • the analysis unit 22 when the revolver 112, in combination with the imaging lens 103, arranges an objective lens having a magnification greater than or equal to a predetermined magnification on the optical path, the analysis unit 22 generates an analysis result that identifies a candidate cell, and a projection image is generated.
  • the generation unit 23 may generate the projection image data corresponding to the projection image including the auxiliary image that identifies the candidate cell based on the analysis result.
  • the analysis unit 22 when the revolver 112, in combination with the imaging lens 103, arranges an objective lens having a magnification smaller than a predetermined magnification on the optical path, the analysis unit 22 generates an analysis result for specifying the candidate area and projects the projection result.
  • the image generation unit 23 may generate the projection image data corresponding to the projection image including the auxiliary image that specifies the candidate region based on the analysis result.
  • FIG. 24 is a diagram showing still another example of the image viewed from the eyepiece lens 101.
  • the configuration of the microscope system according to the present embodiment is the same as the configuration of the microscope system 1, and thus the components of the microscope system according to the present embodiment are referred to by the same reference numerals as the components of the microscope system 1.
  • the microscope system according to the present embodiment is the microscope according to the first embodiment in that it is used for TSE (intratesticular sperm collection). Different from system 1.
  • the image V11 shown in FIG. 24 is an image in which the projection image P11 is superimposed on the optical image O3.
  • the optical image O3 is an image of the seminiferous tubule in the testis collected by cutting the scrotum.
  • the optical image O3 includes images of various tissues including red blood cells and white blood cells.
  • the projection image P11 includes an auxiliary image (fourth auxiliary image) that identifies sperm that are germ cells.
  • the analysis unit 22 generates an analysis result that identifies sperm contained in the sample based on at least the digital image data.
  • the projection image generation unit 23 generates projection image data including an auxiliary image that identifies sperm as an auxiliary image, based on the analysis result generated by the analysis unit 22.
  • the projection device 153 projects the projection image on the image plane based on the projection image data. Thereby, as shown in FIG. 24, the projection image P11 including the auxiliary image A13 is superimposed on the optical image O3.
  • the microscope system of the present embodiment it is possible to easily identify the sperm existing in various tissues in TSE. Therefore, it is possible to significantly reduce the load of the sperm search work, and it is possible to assist microinsemination, as in the microscope system 1.
  • FIG. 25 is a flowchart which shows an example of the procedure of the diagnosis before implantation.
  • FIG. 26 is a diagram showing still another example of an image viewed from the eyepiece lens 101.
  • the configuration of the microscope system according to the present embodiment is the same as the configuration of the microscope system 1, and therefore the components of the microscope system according to the present embodiment are referred to by the same reference numerals as the components of the microscope system 1.
  • the microscope system according to the present embodiment is laser assisted hatching for assisting implantation of an embryo (blastocyst) grown from a fertilized egg. , And that it is used for collecting extravegetative cells for preimplantation diagnosis, which is different from the microscope system 1 according to the first embodiment.
  • the sample contains an embryo grown from a fertilized egg and a zona pellucida surrounding the embryo.
  • the user presses the button 53 or the button 54 of the input device 50 to switch the setting of the microscope system to MC20 ⁇ observation or MC40 ⁇ observation. Then, the stage 111 is moved to focus on the transparent band surrounding the embryo (step S51).
  • step S52 the user observes the transparent band and determines the laser irradiation position by the laser assisted hatching unit 130 (step S52). If there are qualitative abnormalities, such as thick or rigid zona pellucida, the embryo cannot penetrate the zona pellucida and implant in the endometrium.
  • the laser assisted hatching removes the transparent zone and assists in landing for the purpose of avoiding such a situation.
  • step S52 it is necessary to properly determine the irradiation position of the laser light in order to remove the zona pellucida without damaging the embryo.
  • the microscope system calculates an appropriate irradiation position by image analysis and notifies the user.
  • the analysis unit 22 generates an analysis result that specifies a candidate site suitable for laser light irradiation in the transparent band based on at least the digital image data acquired by the imaging unit 140.
  • the projection image generation unit 23 creates a projection image including the auxiliary image (fifth auxiliary image) that identifies the candidate site as the auxiliary image for generating the projection image data based on the analysis result generated by the analysis unit 22. Generate corresponding projection image data.
  • the projection device 153 projects the projection image on the image plane based on the projection image data generated by the projection image generation unit 23, and superimposes it on the optical image of the sample.
  • the image V12 shown in FIG. 26 is an image in which the projection image P12 is superimposed on the optical image O4.
  • the optical image O4 includes an image of the embryo (inner cell mass O41, blastocoel O42, trophectoderm O43) and an image of a transparent zone O44 surrounding the embryo.
  • the projection image P12 includes an auxiliary image A14 that identifies a candidate portion suitable for laser light irradiation.
  • step S52 the user determines the laser irradiation position by referring to the position of the auxiliary image A14, and laser assisted. It can be set in the hatching unit 130. Therefore, it is possible to easily set an appropriate laser irradiation position.
  • An image V13 shown in FIG. 26 is an optical image O5 of the sample after being irradiated with the laser light, and shows that the aperture AP is formed in the transparent band O44 by the irradiation of the laser light.
  • the microscope system identifies the position of the trophectoderm O43 by image analysis and notifies the user.
  • the analysis unit 22 generates an analysis result that identifies the trophectoderm O43 in the embryo based on at least the digital image data acquired by the imaging unit 140.
  • the projection image generation unit 23 based on the analysis result generated by the analysis unit 22, projection image data corresponding to the projection image including the auxiliary image (sixth auxiliary image) that identifies the trophectoderm as the auxiliary image. To generate.
  • the projection device 153 projects the projection image on the image plane based on the projection image data generated by the projection image generation unit 23, and superimposes it on the optical image of the sample.
  • the image V14 shown in FIG. 26 is an image in which the projection image P14 is superimposed on the optical image O5.
  • the projection image P15 includes the auxiliary image A15 that identifies the trophectoderm O43.
  • the user can easily confirm the position of the trophectoderm by the auxiliary image A15 in step S54.
  • step S55 the user inserts a pipette into the opening AP and collects trophectoderm O43 (step S55).
  • a negative pressure is applied to the inserted pipette to suck the trophectoderm O43 whose position is confirmed in step S54.
  • trophectoderm Since the trophectoderm has high adhesiveness, trophectoderm protrudes from the embryo after the pipette is pulled out from the opening AP. Therefore, the user again uses the laser assisted hatching unit 130 to cut off the vegetative ectoderm protruding by irradiating the laser light between the pipette and the embryo (step S56).
  • step S57 the user inspects the nutritional ectoderm collected in the pipette.
  • preimplantation diagnosis is performed using several collected ectodermal cells.
  • the microscope system according to the present embodiment in which laser assisted hatching and collection of trophectoderm are performed according to the procedure shown in FIG. 25 can also assist the work of the embryo cultivator for microinsemination. .. Therefore, similar to the microscope system according to the above-described embodiment, microinsemination can be assisted.
  • analysis unit 22 may also adopt an algorithm that reproduces on a rule basis, or a learned model constructed by machine learning, as in the other embodiments. ..
  • FIG. 12 illustrates an example in which the auxiliary image A2 indicating the trajectory of movement of the candidate sperm is projected together with the auxiliary image A1 for identifying the candidate sperm
  • the auxiliary image showing the trajectory of movement of the candidate sperm (the third auxiliary Only the image) may be superimposed on the optical image.
  • the analysis unit 22 identifies the moving path of the germ cells contained in the sample based on the digital image data
  • the projection image generating unit 23 includes the auxiliary image indicating the moving path of the germ cells as the auxiliary image based on the analysis result.
  • Projection image data corresponding to the projection image may be generated. That is, in addition to the auxiliary image showing the locus of movement of the candidate sperm, an auxiliary image showing the locus of movement of sperm other than the candidate sperm may be projected.
  • a microscope system for observing a sample by four microscope methods of bright field (BF) observation, polarized light (PO) observation, differential interference (DIC) observation, and modulation contrast (MC) observation is exemplified.
  • the microscope system may observe the sample by another microscope method such as phase contrast (PC) observation.
  • PC phase contrast
  • a phase contrast objective lens is included.
  • FIG. 27 is a diagram illustrating the configuration of the inverted microscope 300.
  • the microscope system 1 may include an inverted microscope 300 instead of the inverted microscope 100.
  • the inverted microscope 300 is different from the inverted microscope 100 in that the inverted microscope 300 includes an image pickup unit 144 instead of the image pickup unit 140, and that the imaging lens 103 is located between the image pickup unit 144 and the eyepiece lens 101.
  • the image pickup unit 144 includes a lens 145 for condensing the light incident on the image pickup element 143 without passing through the imaging lens 103. Even when the microscope system 1 includes the inverted microscope 300, the same effect as when the inverted microscope 100 is included can be obtained.
  • FIG. 28 is a diagram illustrating the configuration of the inverted microscope 400.
  • the microscope system 1 may include an inverted microscope 400 instead of the inverted microscope 100.
  • the inverted microscope 400 includes an imaging unit 144 instead of the imaging unit 140, a projection unit 154 instead of the projection unit 150, and an imaging lens 103 between the projection unit 154 and the eyepiece 101. The position is different from that of the inverted microscope 100.
  • the image pickup unit 144 includes a lens 145 for condensing the light incident on the image pickup element 143 without passing through the imaging lens 103.
  • the projection unit 154 includes a lens 155 having a focal length different from that of the lens 152 so as to focus light on the image plane IP via the imaging lens 103. Even when the microscope system 1 includes the inverted microscope 400, the same effect as when the inverted microscope 100 is included can be obtained.
  • Microscope System 2 Database Server 10
  • Microscope Controller 20 Processing Device 20a Processor 20b Memory 20c Auxiliary Storage Device 20d Input/Output Interface 20e Medium Drive Device 20f Communication Control Device 20g Bus 20h Storage Medium 21 Camera Control Unit 22 Analysis Unit 23 Projection Image Generation Unit 24
  • Identification devices 100, 300, 400 Inverted microscope 101 Eyepieces 102, 102a, 102b, 102c Objective lens 103 Imaging lens 104 Modulator 105, 125 DIC prism 106 Analyzer 110
  • Microscope body 111 Stage 112 Revolver 120 Transmitted illumination system 121
  • Light source 122 Universal condenser 123
  • Polarizing plate 128 Condenser Lens 130

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Analytical Chemistry (AREA)
  • Optics & Photonics (AREA)
  • Chemical & Material Sciences (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Microscoopes, Condenser (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)
  • Image Input (AREA)
  • Image Analysis (AREA)

Abstract

顕微鏡システム１は、試料を照明する透過照明系を備えた顕微鏡システムである。顕微鏡システム１は、接眼レンズ１０１と、対物レンズ１０２と、結像レンズ１０３と、撮像ユニット１４０と、処理装置２０と、投影装置１５３と、試料を可視化する第１の変調素子尾及び第２の変調素子を備えている。撮像ユニット１４０は、透過光に基づいて試料のデジタル画像データを取得する。処理装置２０は、少なくともデジタル画像データに基づいて、投影画像に対応する投影画像データを生成する。その投影画像は、試料を用いた顕微授精を補助する補助画像を含んでいる。投影装置１５３は、光学画像が形成されている像面へ、投影画像データに基づいて投影画像を投影する。

Description

顕微鏡システム
　本明細書の開示は、顕微鏡システムに関する。
　倒立顕微鏡の市場の一つとして、顕微授精が知られている。顕微授精は、体外受精の一種であり、顕微鏡下で精子と卵子を受精させる方法である。顕微授精は、一般に、ホールディングピペットで固定した卵子に精子が納められたインジェクションピペットを突き刺すことで卵子内に精子を直接注入する、卵細胞質内精子注入法（ＩＣＳＩ：Intracytoplasmic sperm injection）によって行われる。
　このような顕微授精に関連する技術は、例えば、特許文献１に記載されている。特許文献１には、顕微授精において偏光観察法、微分干渉観察法、レリーフコントラスト観察法を切り替えて観察を行う観察装置が記載されている。
国際公開第２０１２／１５０６８９号
　ところで、ＩＣＳＩの成功率を高めるためには、精子を選別して受精に適した良好な精子を卵子に注入することが重要である。しかしながら、選別作業によって得られる精子が良好か否かは、作業者である胚培養士の経験によるところが大きく、胚培養士間で受精成功率に格差が生じやすい。
　以上のような実情から、本発明の一側面に係る目的は、顕微授精を補助する技術を提供することである。
　本発明の一態様に係る顕微鏡システムは、試料を照明する透過照明系を備えた顕微鏡システムである。顕微鏡システムは、接眼レンズと、前記試料を透過した透過光を前記接眼レンズへ導く対物レンズと、前記接眼レンズと前記対物レンズの間に配置され、前記透過光に基づいて前記試料の光学画像を形成する結像レンズと、前記透過光に基づいて前記試料のデジタル画像データを取得する撮像装置と、少なくとも前記撮像装置で取得した前記デジタル画像データに基づいて、投影画像に対応する投影画像データを生成する処理装置であって、前記投影画像は、前記試料を用いた顕微授精を補助する補助画像を含む、という処理装置と、前記光学画像が形成されている像面へ、前記投影画像データに基づいて前記投影画像を投影する投影装置と、前記透過照明系に含まれ、前記試料に照射される照明光を変調する第１の変調素子と、前記対物レンズと前記結像レンズの間に配置され、前記透過光を変調する第２の変調素子と、を備える。
　上記の態様によれば、顕微授精を補助することができる。
第１の実施形態に係る顕微鏡システム１の構成を例示した図である。 倒立顕微鏡１００の構成を例示した図である。 入力装置５０の操作部の構成を例示した図である。 処理装置２０の機能的構成を例示した図である。 処理装置２０のハードウェア構成を例示した図である。 ＩＣＳＩの手順の一例を示すフローチャートである。 シャーレ２１０内に試料２００として形成されるドロップの構成を例示した図である。 精子選別手順の一例を示すフローチャートである。 顕微鏡システム１が行う画像投影処理のフローチャートである。 解析部２２が行う画像処理方法について説明するための図である。 接眼レンズ１０１から見える画像の一例を示した図である。 接眼レンズ１０１から見える画像の別の例を示した図である。 接眼レンズ１０１から見える画像の更に別の例を示した図である。 接眼レンズ１０１から見える画像の更に別の例を示した図である。 接眼レンズ１０１から見える画像の更に別の例を示した図である。 ニューラルネットワークの構成を示した図である。 学習手順の一例を示すフローチャートである。 教師画像のラベル付け方法について説明するための図である。 教師データの作成方法について説明するための図である。 接眼レンズ１０１から見える画像の更に別の例を示した図である。 接眼レンズ１０１から見える画像の更に別の例を示した図である。 精子選別手順の別の例を示すフローチャートである。 接眼レンズ１０１から見える画像の更に別の例を示した図である。 接眼レンズ１０１から見える画像の更に別の例を示した図である。 着床前診断の手順の一例を示すフローチャートである。 接眼レンズ１０１から見える画像の更に別の例を示した図である。 倒立顕微鏡３００の構成を例示した図である。 倒立顕微鏡４００の構成を例示した図である。
［第１の実施形態］
　図１は、本実施形態に係る顕微鏡システム１の構成を例示した図である。図２は、倒立顕微鏡１００の構成を例示した図である。図３は、入力装置５０の操作部の構成を例示した図である。図４は、処理装置２０の機能的構成を例示した図である。図５は、処理装置２０のハードウェア構成を例示した図である。図１に示す顕微鏡システム１は、顕微授精に用いられる、透過照明系１２０を備えた倒立型の顕微鏡システムであり、例えば、顕微授精を行う胚培養士によって利用される。
　顕微鏡システム１は、少なくとも、接眼レンズ１０１、対物レンズ１０２、結像レンズ１０３、撮像ユニット１４０、処理装置２０、及び、投影装置１５３を備える。顕微鏡システム１は、さらに、顕微授精に用いられる無染色の試料を可視化するための変調素子を、照明光路と観察光路のそれぞれに備えている。
　顕微鏡システム１は、対物レンズ１０２と結像レンズ１０３によって試料の光学画像が形成されている像面に、投影装置１５３を用いて投影画像を投影する。これにより、顕微鏡システム１の利用者は、光学画像に投影画像が重畳した画像を見ることになる。特に、投影画像に、顕微授精を補助する補助画像を含めることで、顕微鏡システム１は、顕微授精の作業のために接眼レンズ１０１を覗いて試料を観察している利用者に、顕微授精を補助する種々の情報を光学画像に重ねて提供することができる。
　以下、図１から図４を参照しながら、顕微鏡システム１の構成の具体例について詳細に説明する。顕微鏡システム１は、図１に示すように、倒立顕微鏡１００と、顕微鏡コントローラ１０と、処理装置２０と、表示装置３０と、複数の入力装置（入力装置４０、入力装置５０、入力装置６０、入力装置７０）と、識別装置８０を備えている。さらに、顕微鏡システム１は、種々のデータが格納されているデータベースサーバ２と接続されている。
　倒立顕微鏡１００は、図１に示すように、顕微鏡本体１１０と、顕微鏡本体１１０に取り付けられた、複数の対物レンズ１０２、ステージ１１１、透過照明系１２０、及び接眼鏡筒１７０を備えている。利用者は、倒立顕微鏡１００を用いて、明視野（ＢＦ）観察、偏光（ＰＯ）観察、微分干渉（ＤＩＣ）観察、及び変調コントラスト（ＭＣ）観察の４つの顕微鏡法で、試料を観察することができる。なお、変調コントラスト観察は、レリーフコントラスト（ＲＣ）観察とも称される。
　複数の対物レンズ１０２は、レボルバ１１２に装着されている。複数の対物レンズ１０２には、図２に示すように、ＢＦ観察用の対物レンズ１０２ａ、ＰＯ観察及びＤＩＣ観察用の対物レンズ１０２ｂ、ＭＣ観察用の対物レンズ１０２ｃが含まれている。また、対物レンズ１０２ｃには、モジュレータ１０４が含まれている。モジュレータ１０４は、透過率の異なる３つ領域（例えば、透過率１００％程度の領域、５％程度の領域、０％程度の領域）を含んでいる。
　図２には、顕微鏡法に応じた３本の対物レンズが例示されているが、複数の対物レンズ１０２には、顕微鏡法毎に複数の倍率の異なる対物レンズが含まれてもよい。以降では、ＢＦ観察用の４倍対物レンズ、ＭＣ観察用の１０倍、２０倍、４０倍対物レンズ、ＰＯ観察用の２０倍対物レンズ、ＤＩＣ観察用の６０倍対物レンズが含まれている場合を例にして説明する。
　レボルバ１１２は、複数の対物レンズ１０２の間で光路上に配置する対物レンズを切り替える切替装置である。レボルバ１１２は、顕微鏡法及び観察倍率に応じて光路上に配置する対物レンズを切り替える。レボルバ１１２によって光路上に配置された対物レンズは、試料を透過した透過光を接眼レンズ１０１へ導く。
　ステージ１１１には、容器に入れられた試料が載置される。容器は、例えばシャーレであり、試料には、生殖細胞が含まれている。ステージ１１１は、光路上に配置された対物レンズ１０２の光軸方向、及び、対物レンズ１０２の光軸と直交する方向に移動する。なお、ステージ１１１は、手動ステージであっても、電動ステージであってもよい。
　透過照明系１２０は、ステージ１１１に載置された試料を、ステージ１１１の上方から照明する。透過照明系１２０は、図１及び図２に示すように、光源１２１と、ユニバーサルコンデンサ１２２を含んでいる。光源１２１は、例えば、ＬＥＤ（Light Emitting Diode）光源であってもよく、ハロゲンランプ光源であってもよい。
　ユニバーサルコンデンサ１２２には、図２に示すように、ポラライザ１２３（第１の偏光板）と、ターレット１２４に収容された複数の光学素子と、コンデンサレンズ１２８が含まれている。ポラライザ１２３は、ＭＣ観察、ＰＯ観察及びＤＩＣ観察で使用される。ターレット１２４には、顕微鏡法に応じて切り替えて使用される複数の光学素子が収容されている。ＤＩＣプリズム１２５は、ＤＩＣ観察で使用される。開口板１２６は、ＢＦ観察及びＰＯ観察で使用される。光学素子１２７は、スリットが形成された遮光板であるスリット板１２７ａと、スリットの一部を覆うように配置された偏光板１２７ｂ（第２の偏光板）と、の組み合わせであり、ＭＣ観察で使用される。
　接眼鏡筒１７０には、接眼レンズ１０１が含まれている。結像レンズ１０３は、接眼レンズ１０１と対物レンズ１０２の間に配置されている。結像レンズ１０３は、接眼レンズ１０１と結像レンズ１０３の間の像面ＩＰに、透過光に基づいて試料の光学画像を形成する。また、像面ＩＰには、投影装置１５３からの光に基づいて後述する投影画像も形成される。これにより、像面ＩＰにおいて光学画像に投影画像が重畳される。顕微鏡システム１の利用者は、像面ＩＰに形成されている光学画像に投影画像が重畳した画像の虚像を、接眼レンズ１０１を用いて観察する。
　顕微鏡本体１１０は、図１に示すように、レーザアシステッドハッチングユニット１３０と、撮像ユニット１４０と、投影ユニット１５０を含んでいる。また、顕微鏡本体１１０は、図２に示すように、中間変倍ユニット１６０と、を含んでいる。さらに、顕微鏡本体１１０は、ＤＩＣプリズム１０５と、アナライザ１０６を、光路に対して挿脱可能に含んでいる。
　レーザアシステッドハッチングユニット１３０は、図２に示すように、対物レンズ１０２と結像レンズ１０３の間に配置されたレーザユニットである。レーザアシステッドハッチングユニット１３０は、対物レンズ１０２と結像レンズ１０３の間からレーザ光を導入することによって、試料にレーザ光を照射する。より具体的には、レーザアシステッドハッチングユニット１３０は、例えば、受精卵から成長した胚を取り囲む透明帯に、レーザ光を照射する。レーザアシステッドハッチングユニット１３０は、スプリッタ１３１と、スキャナ１３３と、レンズ１３４と、レーザ１３５を含んでいる。スプリッタ１３１は、例えば、ダイクロイックミラーである。スキャナ１３３は、例えば、ガルバノスキャナであり、レーザ光の照射位置を対物レンズ１０２の光軸と直交する方向に調整する。レンズ１３４は、レーザ光を平行光束に変換する。これにより、レーザ光は、対物レンズ１０２によって試料上に集光する。
　撮像ユニット１４０は、透過光に基づいて試料のデジタル画像データを取得する撮像装置である。撮像ユニット１４０は、結像レンズ１０３と接眼レンズ１０１の間に配置されている。撮像ユニット１４０は、図２に示すように、スプリッタ１４１と、撮像素子１４３を含んでいる。スプリッタ１４１は、例えば、ハーフミラーである。結像レンズ１０３は、試料の光学画像を撮像素子１４３の受光面に形成する。撮像素子１４３は、例えば、ＣＣＤ（Charge Coupled Device）イメージセンサ、ＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）イメージセンサなどであり、試料からの光を検出し、検出した光を光電変換によって電気信号へ変換する。撮像ユニット１４０は、撮像素子１４３で得られた電気信号に基づいて、試料のデジタル画像データを生成する。
　なお、後述する顕微鏡システム１は、精子等の観察に用いられるが、精子の細部、例えば、尻尾の部分はΦ０．５μm程度である。これを画像上で識別するためには、物体面に投影されたときにΦ０．５μm以下となる画素ピッチが要求される。つまり、総合倍率（＝対物レンズの倍率×中間変倍ユニットの倍率×図示しないカメラアダプタの倍率）で画素ピッチを割ることで算出される物体面における画素投影像のピッチがΦ０．５μｍ以下であることが要求される。例えば、２０倍の対物レンズ、２倍の中間変倍レンズ、０．２５倍のカメラアダプタの組み合わせであれば総合倍率は１０倍である。この場合、画素ピッチ３．４５μｍの顕微鏡用デジタルカメラを用いることで、物体面での画素投影像のピッチは０．３４５μｍとなり、精子の尻尾部分も判別可能である。なお、実際のデジタルカメラの選択においては、さらに、有効画素からなる領域が視野全体を満たすサイズを有することにも留意する。
　投影ユニット１５０は、結像レンズ１０３と接眼レンズ１０１の間に配置されている。投影ユニット１５０は、図２に示すように、スプリッタ１５１と、レンズ１５２と、投影装置１５３を含んでいる。スプリッタ１５１は、例えば、ハーフミラーである。投影装置１５３は、処理装置２０が生成した投影画像データに基づいて、投影画像を投影する。レンズ１５２は、結像レンズ１０３の像面、即ち、光学画像が形成されている像面ＩＰと同じ位置に、投影装置１５３からの光を集光することによって投影画像を投影する。
　例えば、精子の頭部から尾部までの大きさはおおよそ６０μm、頭部の大きさの短辺は３μm程度である。これをＭＣ観察用の２０倍の対物レンズと１倍の中間変倍レンズの組み合わせで、接眼レンズ前の像面ＩＰに投影すると、精子の像は、1.2mm×0.06mmの大きさになる。これを囲うような投影画像データを作ると最小で1.5mm×0.1mm程度の長方形になる。この最小0.1mmの隙間を接眼レンズの視野内に認識できるように投影するためには、レンズ１５２の投影倍率が１倍の場合、0.05ｍｍピッチ以下の発光素子(単色の場合)で構成された投影装置１５３を用いればよい。これにより、上記の0.1mmの隙間を認識可能な投影画像を表示することが可能である。
　さらに、投影装置１５３は、接眼レンズの視野数Φ２２を満たすだけでなく、それより一回り大きいΦ２３以上の視野に投影画像を投影する。具体的には、レンズ１５２の投影倍率が１倍の場合、Φ２３以上の有効発光領域を有する投影装置１５３が用いられる。これにより、接眼レンズ視野外から視野内に入ってきた視野周辺部の精子のデータも投影画像データに含まれることになる。このため、接眼レンズ視野周辺部を含む視野内の全精子から、余すことなく良好精子を認識することが可能となる。なお、この場合、撮像装置１４３の有効画素領域も接眼レンズ部においてΦ２３以上のサイズを満たす必要がある事はいうまでもない。
　中間変倍ユニット１６０は、対物レンズ１０２と結像レンズ１０３の間に配置されている。中間変倍ユニット１６０は、図２に示すように、複数のレンズ（レンズ１６１、レンズ１６２、レンズ１６３）を含み、これらの間で光路上に配置されるレンズを切り替えることで、像面に形成される光学画像の倍率を変更する。中間変倍ユニット１６０を用いることで、試料の近くに位置する対物レンズ１０２を切り替えることなく光学画像の倍率を変更することができる。
　ＤＩＣプリズム１０５とアナライザ１０６は、対物レンズ１０２と結像レンズ１０３の間に配置されている。ＤＩＣプリズム１０５は、ＤＩＣ観察で使用される。アナライザ１０６は、ＰＯ観察及びＤＩＣ観察で使用される。
　倒立顕微鏡１００では、ＭＣ観察を行うときには、試料に照射される照明光を変調する第１の変調素子として、照明光路上にポラライザ１２３と光学素子１２７が配置され、透過光を変調する第２の変調素子として、観察光路上にモジュレータ１０４が配置される。また、ＰＯ観察を行うときには、第１の変調素子として、照明光路上にポラライザ１２３が配置され、第２の変調素子として、観察光路上にアナライザ１０６が配置される。また、ＤＩＣ観察を行うときには、第１の変調素子として、照明光路上にポラライザ１２３とＤＩＣプリズム１２５が配置され、第２の変調素子として、観察光路上にアナライザ１０６とＤＩＣプリズム１０５が配置される。これにより、無染色の試料を可視化することができる。
　顕微鏡コントローラ１０は、倒立顕微鏡１００を制御する装置である。顕微鏡コントローラ１０は、処理装置２０と入力装置５０と倒立顕微鏡１００に接続されていて、処理装置２０又は入力装置５０からの命令に応じて倒立顕微鏡１００を制御する。
　表示装置３０は、例えば、液晶ディスプレイ、有機ＥＬ（OLED）ディスプレイ、ＣＲＴ（Cathode Ray Tube）ディスプレイなどである。
　入力装置４０は、ハンドル４１とハンドル４２を含んでいる。ハンドル４１及びハンドル４２を操作することで、ピペット４３及びピペット４４を動かす図示しないマイクロマニュピレータの動作を制御する。ピペット４３及びピペット４４は、顕微授精の作業において試料を操作するために用いられる。ピペット４３は、例えば、ホールディングピペットであり、ピペット４４は、例えば、インジェクションピペットである。
　入力装置５０は、倒立顕微鏡１００の設定を変更するためのハンドスイッチ装置である。入力装置５０は、図３に示すように、例えば、６つのボタン（ボタン５１～ボタン５６）を有していて、利用者はこれらのボタンを押下するだけで、倒立顕微鏡１００の設定を素早く切り替えることができる。
　利用者がボタン５１を押下することで、倒立顕微鏡１００の設定は、観察倍率４倍のＢＦ観察（以降、ＢＦ４×観察と記す。）の設定に切り替わる。利用者がボタン５２を押下することで、倒立顕微鏡１００の設定は、観察倍率１０倍のＭＣ観察（以降、ＭＣ１０×観察と記す。）の設定に切り替わる。利用者がボタン５３を押下することで、倒立顕微鏡１００の設定は、観察倍率２０倍のＭＣ観察（以降、ＭＣ２０×観察と記す。）の設定に切り替わる。利用者がボタン５４を押下することで、倒立顕微鏡１００の設定は、観察倍率４０倍のＭＣ観察（以降、ＭＣ４０×観察と記す。）の設定に切り替わる。利用者がボタン５５を押下することで、倒立顕微鏡１００の設定は、観察倍率２０倍のＰＯ観察（以降、ＰＯ２０×観察と記す。）の設定に切り替わる。利用者がボタン５６を押下することで、倒立顕微鏡１００の設定は、観察倍率６０倍のＤＩＣ観察（以降、ＤＩＣ６０×観察と記す。）の設定に切り替わる。
　入力装置６０は、キーボードである。入力装置７０は、マウスである。入力装置６０及び入力装置７０は、それぞれ処理装置２０に接続されている。
　識別装置８０は、試料に付加された識別情報を取得する装置である。なお、試料に付加されたとは、例えば、識別情報が試料を収容する容器に貼付されている場合を含む。識別情報は、試料を識別する情報であり、より具体的には、試料を提供した患者を特定する情報である。識別装置８０は、例えば、バーコードリーダ、ＲＦＩＤ（登録商標）リーダ、ＱＲコード（登録商標）リーダなどである。
　処理装置２０は、顕微鏡システム１全体を制御する装置である。処理装置２０は、図１に示すように、倒立顕微鏡１００、顕微鏡コントローラ１０、表示装置３０、入力装置６０、入力装置７０、及び、識別装置８０に接続されている。また、処理装置２０は、データベースサーバ２にも接続されている。
　処理装置２０は、少なくとも撮像ユニット１４０で取得したデジタル画像データに基づいて、投影画像に対応する投影画像データを生成する。投影画像は、顕微授精を補助する補助画像を含んでいる。そして、処理装置２０は、投影画像データを投影装置１５３へ出力することで、投影装置１５３を制御する。処理装置２０は、主に投影装置１５３の制御に関連する構成要素として、図４に示すように、カメラ制御部２１、解析部２２、投影画像生成部２３、及び、投影制御部２４を備えている。
　カメラ制御部２１は、撮像ユニット１４０を制御することで、試料のデジタル画像データを取得する。カメラ制御部２１が取得したデジタル画像データは、解析部２２へ出力される。
　解析部２２は、少なくともカメラ制御部２１が取得したデジタル画像データを解析し、解析結果を投影画像生成部２３へ出力する。投影画像生成部２３は、解析部２２で生成された解析結果に基づいて、顕微授精を補助する補助画像を含む投影画像に対応する投影画像データを生成し、投影制御部２４へ出力する。
　より具体的には、例えば、利用者が顕微鏡システム１を用いてＩＣＳＩを実施する場合であれば、解析部２２は、例えば、少なくともデジタル画像データに基づいて、試料に含まれる生殖細胞から受精に適した生殖細胞である候補細胞を特定する解析結果を生成してもよい。この場合、投影画像生成部２３は、補助画像として候補細胞を特定する画像（第１の補助画像）を含む投影画像に対応する投影画像データを生成してもよい。
　投影制御部２４は、投影装置１５３を制御することで、像面への投影画像の投影を制御する。より具体的には、投影制御部２４は、投影画像データを投影装置１５３へ出力し、これにより、投影装置１５３は、投影制御部２４から取得した投影画像データに基づいて、像面に投影画像を投影する。
　以上のように構成された顕微鏡システム１は、顕微授精を補助する補助画像を含む投影画像を光学画像に重畳することができる。このため、利用者は、試料を観察しながら顕微授精に必要な情報を得ることが可能である。従って、顕微鏡システム１によれば、利用者が行う顕微授精を補助することができる。これにより、顕微授精を行う胚培養士間での受精成功率のばらつきを抑えることが可能であり、受精成功率の向上も期待できる。
　さらに、顕微鏡システム１では、接眼レンズ１０１と結像レンズ１０３の間の像面に投影画像が光学画像に重ねて投影される。このため、利用者は、接眼レンズ１０１を覗きながら顕微授精を補助する種々の情報を得ることが可能であり、モニタ等に補助画像が表示される場合と比較すると、モニタと接眼レンズ１０１の間で視線を行き来するなどの視線の移動を回避することができる。従って、顕微鏡システム１によれば、利用者は、接眼レンズ１０１から眼を離すことなく光学画像を用いて試料を観察するだけで、投影画像によって顕微授精に必要な情報を得ることができる。これにより、顕微鏡システム１は、利用者の作業フローを変えることなく、補助画像によって顕微授精の作業を補助することが可能であり、顕微授精における利用者の作業負担を軽減することができる。また、利用者の作業時間が短縮され、その結果、試料が顕微鏡下で外気に晒されている時間も短縮されることになるため、試料が受けるダメージを軽減することもできる。
　なお、顕微鏡システム１に含まれる処理装置２０は、汎用装置であっても、専用装置であってもよい。処理装置２０は、特にこの構成に限定されるものではないが、例えば、図５に示すような物理構成を有してもよい。具体的には、処理装置２０は、プロセッサ２０ａ、メモリ２０ｂ、補助記憶装置２０ｃ、入出力インタフェース２０ｄ、媒体駆動装置２０ｅ、通信制御装置２０ｆを備えてもよく、それらが互いにバス２０ｇによって接続されてもよい。
　プロセッサ２０ａは、例えば、ＣＰＵ（Central Processing Unit）を含む、任意の処理回路である。プロセッサ２０ａは、メモリ２０ｂ、補助記憶装置２０ｃ、記憶媒体２０ｈに格納されているプログラムを実行してプログラムされた処理を行うことで、上述した投影装置１５３の制御に関連する構成要素（カメラ制御部２１、解析部２２、投影画像生成部２３、投影制御部２４）を実現しても良い。また、プロセッサ２０ａは、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）等の専用プロセッサを用いて構成されてもよく、ＧＰＵ（Graphics Processing Unit）を用いて構成されてもよい。
　メモリ２０ｂは、プロセッサ２０ａのワーキングメモリである。メモリ２０ｂは、たとえば、ＲＡＭ（Random Access Memory）等の任意の半導体メモリである。補助記憶装置２０ｃは、ＥＰＲＯＭ（Erasable Programmable ROM）、ハードディスクドライブ（Hard Disc Drive）、ソリッドステートドライブ（Solid State Drive）等の不揮発性のメモリである。入出力インタフェース２０ｄは、外部装置（倒立顕微鏡１００、顕微鏡コントローラ１０、表示装置３０、入力装置６０、入力装置７０、識別装置８０）と情報をやり取りする。
　媒体駆動装置２０ｅは、メモリ２０ｂ及び補助記憶装置２０ｃに格納されているデータを記憶媒体２０ｈに出力することができ、また、記憶媒体２０ｈからプログラム及びデータ等を読み出すことができる。記憶媒体２０ｈは、持ち運びが可能な任意の記録媒体である。記憶媒体２０ｈには、例えば、ＳＤカード、ＵＳＢ（Universal Serial Bus）フラッシュメモリ、ＣＤ（Compact Disc）、ＤＶＤ(Digital Versatile Disc)などが含まれる。
　通信制御装置２０ｆは、ネットワークへの情報の入出力を行う。通信制御装置２０ｆとしては、例えば、ＮＩＣ（Network Interface Card）、Ｗｉ－Ｆｉ（登録商標）モジュール、Ｂｌｕｅｔｏｏｔｈ（登録商標）モジュール、ＢＬＥモジュール等が採用され得る。バス２０ｇは、プロセッサ２０ａ、メモリ２０ｂ、補助記憶装置２０ｃ等を、相互にデータの授受可能に接続する。
　図６は、ＩＣＳＩの手順の一例を示すフローチャートである。図７は、シャーレ２１０内に試料２００として形成されるドロップの構成を例示した図である。図８は、精子選別手順の一例を示すフローチャートである。図９は、顕微鏡システム１が行う画像投影処理のフローチャートである。図１０は、解析部２２が行う画像処理方法について説明するための図である。図１１は、接眼レンズ１０１から見える画像の一例を示した図である。以下、図６から図１１を参照しながら、利用者が顕微鏡システム１を用いて行うＩＣＳＩの手順について具体的に説明する。
　まず、利用者は、試料を準備する（ステップＳ１）。ここでは、利用者は、例えば、図７に示すように、シャーレ２１０内に複数のドロップを含む試料２００を作成し、ステージ１１１上に配置する。
　ドロップ２０１は、洗浄用のドロップであり、ピペットの洗浄に使用される。ドロップ２０２は、精子浮遊ドロップであり、例えば、ＰＶＰ溶液に精子懸濁液を滴下したものである。ドロップ２０３は、卵子操作用ドロップであり、例えば、ｍ－ＨＴＦ溶液に卵子を入れたものである。なお、ｍ－ＨＴＦ溶液は、１０％血清を添加したＨｅｐｐｓ含有ＨＴＦ溶液である。これらのドロップは、ミネラルオイルで覆われている。
　次に、利用者は、顕微鏡システム１をセットアップする（ステップＳ２）。ここでは、利用者は、例えば、入力装置５０のボタン５１を押下して、顕微鏡システム１の設定をＢＦ４×観察に切り替える。その後、入力装置４０を操作してピペット４３及びピペット４４の位置を調整し、ピペット４３及びピペット４４にピントを合わせる。さらに、ステージ１１１を動かして、ピペット４３及びピペット４４をドロップ２０１（洗浄用ドロップ）で洗浄する。
　セットアップが完了すると、利用者は、ドロップ２０３（卵子操作用ドロップ）内の卵子(卵細胞)の生育状態を確認する（ステップＳ３）。ここでは、利用者は、例えば、入力装置５０のボタン５３を押下して、顕微鏡システム１の設定をＭＣ２０×観察に切り替える。ＭＣ２０×観察で卵子の形態を観察して、卵子を選別する。さらに、例えば、入力装置５０のボタン５５を押下して、顕微鏡システム１の設定をＰＯ２０×観察に切り替えてもよい。ＰＯ２０×観察で卵子の紡錘体を観察することで、卵子の成熟度を判定し、更に卵子を選別してもよい。
　卵子の選別が終了すると、利用者は、図８に示す手順で精子の選別を行う（ステップＳ４）。まず、利用者は、例えば、入力装置５０のボタン５３を押下して、顕微鏡システム１の設定をＭＣ２０×観察に切り替える。そして、ステージ１１１を動かしてドロップ２０２（精子浮遊ドロップ）に観察位置を移動し、ＭＣ２０×観察で精子にピントを合わせる（ステップＳ１１）。
　次に、利用者は、ＭＣ２０×観察で精子を選別し、受精に適した良好精子を選り分ける（ステップＳ１２）。良好精子か否かの判断基準は、一般に、精子の形態と運動性によって判断されるが、明確な基準は存在しない。このため、顕微鏡システム１の利用者である胚培養士の経験及び勘によって選択されることが多く、胚培養士によって判断が異なっている。このことは、胚培養士によって受精成功率に差が生じる原因となっている。そこで、顕微鏡システム１は、受精成功率の高い熟練の胚培養士が選択するであろう精子を受精に適した良好精子であると推定し、その推定した精子を顕微鏡システム１の利用者に候補細胞（候補精子）として通知する。
　具体的には、ステップＳ１２では、顕微鏡システム１が図９に示す画像投影処理を行うことによって候補細胞を通知する。まず、顕微鏡システム１は、試料の光学画像Ｏ１を像面に投影する（ステップＳ２１）。同時に、顕微鏡システム１では、撮像ユニット１４０が試料のデジタル画像データを取得する（ステップＳ２２）。
　撮像ユニット１４０で取得したデジタル画像データは、処理装置２０に出力され、処理装置２０の解析部２２は、デジタル画像データに基づいて候補細胞（候補精子）を特定する解析結果を生成する（ステップＳ２３）。候補細胞を特定する解析アルゴリズムは、特に限定しないが、受精成功率の高い熟練の胚培養士の選択を再現するものであることが望ましい。より具体的には、解析部２２は、少なくとも生殖細胞である精子の形態と精子の運動性に基づいて精子を解析し、それによって、受精成功率の高い熟練の胚培養士の選択を再現することが望ましい。また、解析に使用されるデジタル画像データは、静止画像データであっても動画像データであってもよい。ただし、静止画像データに基づいて精子の運動性を解析することは困難であるため、解析部２２は、図１０に示すように、一旦、静止画Ｍ１の静止画像データを加工して運動性を示す画像（矢印の画像）を合成した静止画Ｍ２の静止画像データを生成してもよい。運動性を示す画像は、例えば、予め決められた時間だけ遡った時刻から現在時刻までの間の精子の移動の軌跡を示す画像であり、該当する期間内に取得した複数の画像データに基づいて生成してもよい。そして、運動性を示す画像を合成した静止画Ｍ２の静止画像データに基づいて、精子の形態と運動性を解析し、候補精子を特定する解析結果を生成してもよい。
　なお、解析部２２には、熟練の胚培養士の選択をルールベースで再現するアルゴリズムが採用されてもよい。また、熟練の胚培養士の選択を機械学習によって学習することで、良好精子を推定するアルゴリズム（モデル）を構築してもよく、解析部２２には、その学習済みのモデルが採用されてもよい。なお、機械学習は、推定に必要な特徴を人間によって予め与られた上で学習する従来型の機械学習であってもよく、特徴を機械自らが抽出するディープラーニングであってもよい。
　解析結果が生成されると、処理装置２０の投影画像生成部２３は、解析結果に基づいて、候補細胞を特定する補助画像Ａ１を含む投影画像Ｐ１に対応する投影画像データを生成し（ステップＳ２４）、投影装置１５３へ出力する。そして、投影装置１５３が投影画像データに基づいて投影画像Ｐ１を像面に投影する（ステップＳ２５）。
　これにより、例えば、図１１に示すような、光学画像Ｏ１に、補助画像Ａ１を含む投影画像Ｐ１が重畳した画像Ｖ１が像面に形成される。図１１に示す補助画像Ａ１は、候補細胞の画像を取り囲む画像である。投影画像Ｐ１は、像面に投影されたときに、候補細胞の画像と重ならない位置に補助画像Ａ１を含んでいる。これにより、顕微鏡システム１は、候補細胞の観察を妨げることなく、利用者に候補細胞を通知することができる。
　投影画像Ｐ１が光学画像Ｏ１に重畳された画像Ｖ１が像面に形成されることで、ステップＳ１２では、利用者は、補助画像Ａ１によって特定される候補細胞（候補精子）に注目しながら精子を選別して、良好精子を選り分けることができる。このため、精子選別作業が容易となり、選別作業の負担が大幅に軽減される。
　良好精子が選り分けられると、利用者は、ＲＣ２０×観察で良好精子の尾部を傷つけて良好精子を不動化する（ステップＳ１３）。ここでは、利用者は、良好精子の尾部をピペットでシャーレ２１０の底面に擦り付けることで、良好精子を不動化する。
　その後、利用者は、不動化した良好精子の形態を更に詳細に観察し、良好精子を更に選別する（ステップＳ１４）。ここでは、利用者は、例えば、入力装置５０のボタン５４を押下して、顕微鏡システム１の設定をＭＣ４０×観察に切り替える。その後、利用者は、ＭＣ４０×観察で良好精子を選り分ける。なお、顕微鏡システム１は、ステップＳ１４においても、ステップＳ１２と同様に、受精成功率の高い熟練の胚培養士が選択するであろう良好精子を推定し、その推定した良好精子を顕微鏡システム１の利用者に候補細胞（候補精子）として通知してもよい。ただし、ステップＳ１４では、精子は不動化しているため、解析部２２は、少なくとも精子の形態に基づいて精子を解析する点が、ステップＳ１２とは異なる。
　ＭＣ４０×観察での良好精子の選別が完了すると、利用者は、さらに、良好精子の頭部を詳細に観察し、頭部に存在する空包の大きさによって良好精子を更に選別する（ステップＳ１５）。ここでは、利用者は、例えば、入力装置５０のボタン５６を押下して、顕微鏡システム１の設定をＤＩＣ６０×観察に切り替える。その後、利用者は、ＤＩＣ６０×観察で空包が小さな良好精子を選り分ける。なお、ステップＳ１５は、ＭＣ４０×観察下で行われてもよい。この場合、利用者は、頭部に生じる輝点を空包として認識することで、良好精子を選り分ける。
　その後、利用者は、選ばれた良好精子をインジェクションピペットであるピペット４４中に取り込んで、観察位置をドロップ２０３（卵子操作用ドロップ）へ移動し（ステップＳ１６）、図８に示す精子選別の一連の手順を終了する。
　精子選別が完了すると、利用者は、良好精子の注入準備のために、紡錘体の位置を確認する（ステップＳ５）。ここでは、利用者は、ドロップ２０３内に存在するステップＳ３で選ばれた卵子を観察し、その卵子の紡錘体の位置を確認する。具体的には、利用者は、例えば、入力装置５０のボタン５５を押下して、顕微鏡システム１の設定をＰＯ２０×観察に切り替える。その後、利用者は、ＰＯ２０×観察で可視化された卵子の紡錘体が１２時又は６時の方向に位置するように、ホールディングピペットであるピペット４３を操作することで紡錘体の向きを変える。これは、後述するステップＳ６において、３時又は９時の方向から卵子に突き立てられるピペットによって、紡錘体が傷つくことを避けるためである。
　最後に、利用者は、精子を卵子に注入し（ステップＳ６）、ＩＣＳＩを終了する。ここでは、利用者は、例えば、入力装置５０のボタン５３を押下して、顕微鏡システム１の設定をＭＣ２０×観察に切り替える。その後、利用者は、ＭＣ２０×観察で、ステップＳ５で向きを調整した卵子をホールディングピペットであるピペット４３で固定し、インジェクションピペットであるピペット４４を突き刺す。その後、ピペット４４から卵子内部に良好精子を注入する。
　図６に示すＩＣＳＩの一連の手順が終了すると、利用者は、精子が注入された卵子をインキュベータに戻し、培養する。また、利用者は、入力装置６０及び入力装置７０を用いて処理装置２０を操作して、ＩＣＳＩで得られた情報をデータベースサーバ２に保存してもよい。例えば、精子が注入された卵子の画像データ、選り分けられた良好精子の画像データ、ＩＣＳＩの作業時間などに、精子と卵子の患者情報（母体の臨床データ、精子を含む精液の検査結果など）、精子と卵子の培養液のデータ（例えば、種類、濃度、ＰＨなど）を関連付けて、データベースサーバ２に保存してもよい。これらの情報は、図８のステップＳ１２、ステップＳ１４で使用される解析部２２での解析に使用されてもよい。即ち、処理装置２０は、デジタル画像データに加えて、データベースサーバ２に保存されているその他のデータに基づいて、補助画像を含む投影画像に対応する投影画像データを生成してもよい。このように、画像データに限らず様々な情報を総合して良好精子を推定することで、より高い受精成功率の実現が期待できる。
　以上のように、顕微鏡システム１では、ＩＣＳＩにおいて、候補精子を特定する補助画像を含む投影画像が像面に投影される。精子の大きさは６０μｍ程度であり、良好精子を見分けるためには最低でも２０倍の対物レンズが用いられる。一般に倒立顕微鏡の視野数は２２程度であるので、実視野はΦ１ｍｍ程度である。この実視野Φ１ｍｍの領域内において、自由に動き回る精子を選別する作業は、非常に困難な作業である。一般に、良好精子と推定される精子は運動性が高いこと、及び、ＩＣＳＩ作業は短時間で行われる必要があることから、精子選別作業では、比較的速く移動する精子の形態を素早く観察して良否を判断しなければならない。このような厳しい制約が課された作業環境において、良好精子として推定される候補精子を特定する補助画像が光学画像に重畳されることは、精子選別作業の負担軽減に大きく寄与する。また、候補精子を特定するための解析に熟練の胚培養士の知見を活用して、解析アルゴリズムとして組み込むことで、受精成功率の向上、及び、胚培養士間での受精成功率のバラつきの抑制も同時に達成することができる。従って、顕微鏡システム１によれば、利用者による精子選別を効果的に補助することができる。
　図１２から図１５は、接眼レンズ１０１から見える画像の別の例を示した図である。顕微鏡システム１は、ステップＳ１２において、光学画像Ｏ１に、図１１に示す投影画像Ｐ１の代わりに、図１２から図１５に示す投影画像Ｐ２から投影画像Ｐ５を重畳してもよい。
　図１２に示す画像Ｖ２は、光学画像Ｏ１上に投影画像Ｐ２が重畳した画像である。図１１では、投影画像Ｐ１が候補精子の画像を取り囲む形状を有する補助画像Ａ１を含む例を示したが、投影画像は、他の画像を含んでもよい。投影画像Ｐ２は、候補精子を特定する補助画像Ａ１に加えて、候補精子の移動の軌跡を示す補助画像Ａ２を含んでいる。補助画像Ａ２は、移動の軌跡によって候補精子の運動性を表している。図１２に示す投影画像Ｐ２が像面に投影されることで、利用者による精子選別が更に容易になる。なお、補助画像Ａ２も補助画像Ａ１と同様に、候補精子の観察を妨げることを回避するため、投影画像Ｐ２の中の候補精子の画像と重ならない位置に含まれることが望ましい。
　図１３に示す画像Ｖ３は、光学画像Ｏ１上に投影画像Ｐ３が重畳した画像である。図１１では、候補精子を一種類の画像（補助画像Ａ１）で特定する例を示したが、候補精子は、複数種類の画像で特定されてもよい。投影画像Ｐ３は、候補精子を特定する２種類の画像（補助画像Ａ１と補助画像Ａ３）を含んでいる。補助画像Ａ３は、補助画像Ａ１と比較して推奨度合いの低い候補精子を特定する画像であり、補助画像Ａ３の色（例えば、水色）は、補助画像Ａ１の色（例えば、青）とは異なっている。即ち、補助画像Ａ１、補助画像Ａ３の各々は、その補助画像が特定する候補精子の推奨度合いに応じた色を有している。図１３に示す投影画像Ｐ３が像面に投影されることで、利用者は優先して注目すべき候補精子を把握することができるため、精子選別作業を更に容易に行うことが可能となる。又、精子の推奨度合いは絶対的なものであっても相対的なものであってもよい。実際に、患者によっては全体的に元気のない精子しか居ないこともあるが、そのような場合には、限られた選択肢の中から比較的元気のよい精子を選択することになる。この場合、仮に、推奨度合いが絶対的なものであっても、複数種類の推奨度合いを示す複数の画像を投影するように設定されている場合であれば、比較的低い推奨度合いを示す画像は少なくとも投影されることになる。上記の例で言えば、青色の補助画像Ａ１は投影されなくても水色の補助画像Ａ３だけは投影されることになる。従って、補助画像が全く投影されないといった可能性を大幅に低下させることができる。なお、異なる推奨度合いを示す複数種類の画像が投影されていればよく、異なる推奨度合いを示す３種類以上の画像が投影されていてもよい。また、推奨度合いが高いものに限らず、推奨度合いが特に低いものを示す画像が投影されてもよい。
　図１４に示す画像Ｖ４は、光学画像Ｏ１上に投影画像Ｐ４が重畳した画像である。図１３では、候補精子の推奨度合いに応じた色を有する補助画像を例示したが、補助画像は、その補助画像が特定する候補精子の推奨度合いによって異なる態様を有していればよい。投影画像Ｐ４は、候補精子を特定する４種類の画像（補助画像Ａ１、補助画像Ａ４、補助画像Ａ５及び補助画像Ａ６）を含んでいる。これらの補助画像は、互いに線種又は形状が異なっていて、線種又は形状の違いによって候補精子の推奨度合いを表している。図１４に示す投影画像Ｐ４が像面に投影されることで、図１３に示す投影画像Ｐ３が投影される場合と同様に、利用者は優先して注目すべき候補精子を把握することができるため、精子選別作業を更に容易に行うことが可能となる。
　図１５に示す画像Ｖ５は、光学画像Ｏ１上に投影画像Ｐ５が重畳した画像である。図１１では、投影画像Ｐ１が候補精子の画像を取り囲む形状を有する補助画像Ａ１を含む例を示したが、投影画像は、候補精子を特定する画像を含んでいればよい。図１５に示す投影画像Ｐ５は、候補精子の画像を指し示す形状を有する補助画像Ａ７を含んでいる。投影画像Ｐ５が像面に投影されることで、図１１に示す投影画像Ｐ１が投影される場合と同様に、利用者は候補精子を容易に把握することができるため、精子選別作業の負担を大幅に軽減することができる。
　図１６は、ニューラルネットワークの構成を示した図である。図１７は、学習手順の一例を示すフローチャートである。図１８は、教師画像のラベル付け方法について説明するための図である。上述したように、解析部２２には、機械学習によって学習済みのモデルが採用されてもよく、例えば、ディープラーニングなどによって学習済みのニューラルネットワークが採用されてもよい。即ち、解析部２２は、学習済みのニューラルネットワークを用いて、少なくともデジタル画像データを解析してもよい。以下、図１６から図１８を参照しながら、良好精子を認識するように、図１６に示すニューラルネットワークＮＮを学習させる手順について説明する。
　まず、顕微鏡システム１は、ＭＣ２０×観察下で行われる精子の選別作業を動画又は静止画で記録する（ステップＳ３１）。ここでは、精子の選別作業中に、撮像ユニット１４０が画像データを取得し、処理装置２０が画像データを保存する。
　次に、顕微鏡システム１は、記録した画像から精子部分の画像を切り出して並べて表示する（ステップＳ３２）。ここでは、処理装置２０は、ステップＳ３１で保存した動画データ又は静止画データを読み出して、動画又は静止画から精子部分の画像を教師画像として切り出し、教師画像を表示装置３０に並べて表示する。並べて表示された教師画像は、受精成功率の高い熟練の胚培養士によって評価される。
　図１８に示すように、胚培養士によって教師画像の各々が評価されると、顕微鏡システム１は、熟練の胚培養士による評価に基づいて教師画像にラベル付けを行う（ステップＳ３３）。ここでは、熟練胚培養士による評価結果（ラベル）を、教師画像と関連付けて保存する。以降では、教師画像とラベルを組み合わせたデータを教師データと記す。
　なお、図１８の例では、ウィンドウＷ１上のボタンＢ１が選択された状態でクリックされた教師画像（Ｔ１、Ｔ１０、Ｔ１４、・・・）は、グレードＡのラベルと関連付けて保存される。また、ボタンＢ２が選択された状態でクリックされた教師画像（Ｔ２、Ｔ３、Ｔ６、Ｔ８、Ｔ９、Ｔ１１、Ｔ１５・・・）は、グレードＢのラベルと関連付けて保存される。また、ボタンＢ３が選択された状態でクリックされた教師画像（Ｔ４、Ｔ５、Ｔ１３、Ｔ１６・・・）は、グレードＣのラベルと関連付けて保存される。また、ボタンＢ４が選択された状態でクリックされた教師画像（Ｔ７、Ｔ１２・・・）は、グレードＤのラベルと関連付けて保存される。なお、グレードＡ、Ｂ、Ｃ、Ｄは、この順番に推奨度合いが低下することを示している。
　ステップＳ３３により教師データが作成されると、顕微鏡システム１は、作成された大量の教師データを用いてニューラルネットワークを学習させる（ステップＳ３４）。
　その後、顕微鏡システム１は、ＭＣ４０×観察下における選別作業についてもステップＳ３１からステップＳ３３と同様の処理を行ってニューラルネットワークを学習させる（ステップＳ３５）。これにより、顕微鏡システム１は、学習済みのニューラルネットワークを得る。即ち、顕微鏡システム１の学習済みのニューラルネットワークは、受精の適否についてラベル付けされた精子の画像に対応する画像データを教師データとして用いて学習したニューラルネットワークである。
　最後に、顕微鏡システム１は、学習済みのニューラルネットワークを検証する（ステップＳ３６）。ここでは、顕微鏡システム１は、例えば、学習段階とは異なる精子に対して、ニューラルネットワークが良好精子を適切に認識するか否かを検証する。検証の結果、適切に認識できることが確認されると、ステップＳ３５で得られた学習済みのニューラルネットワークを解析部２２に採用する。
　以上のように、図１７に示す手順で教師データを生成しニューラルネットワークを学習させることで、熟練の胚培養士の知見を活用した精子選別のための解析アルゴリズムを容易に構築することができる。このため、例えば、病院単位でニューラルネットワークを学習させて、又は、病院単位で追加で学習させて、病院毎に解析部２２に異なるモデルを採用してもよい。これにより、各病院の方針に従った良好精子の選択に容易に対応することが可能である。
　なお、図１７では、顕微鏡システム１を用いて、教師データの生成とニューラルネットワークの学習を行う例を示したが、教師データの生成とニューラルネットワークの学習は、顕微鏡システム１とは異なるシステムで行われてもよく、他のシステムで構築された学習済みのニューラルネットワークが顕微鏡システム１に適用されてもよい。
　図１９は、教師データの作成方法について説明するための図である。図１８では、胚培養士が表示装置３０に表示された教師画像を評価することで、顕微鏡システム１がラベル付けを行う例を示したが、胚培養士は、接眼レンズ１０１を用いて見た画像に対してラベル付けを行ってもよい。
　例えば、熟練の胚培養士がＭＣ２０×観察下で接眼レンズ１０１を用いて精子を観察しているときに、処理装置２０が、胚培養士によるマウス移動操作（第１の入力操作）に応じた位置を指し示すポインタ画像ＰＰに対応するポインタ画像データを生成し、投影装置１５３が、図１９に示すように、ポインタ画像データに基づいてポインタ画像ＰＰを像面に投影する。図１９に示す画像Ｖ６は、光学画像Ｏ１上に投影画像Ｐ６が重畳した画像である。投影画像Ｐ６は、マウス移動操作に応じた位置を指し示すポインタ画像ＰＰを含んでいる。
　その後、胚培養士によるマウスクリック操作（第２の入力操作）を検出すると、処理装置２０は、そのマウスクリック操作を検出したときのポインタ画像ＰＰの位置に基づいて、胚培養士が選択した精子を特定する。そして、特定された精子の画像Ｔ１を教師画像として記録する。なお、このとき、第２の入力操作の内容に応じて画像Ｔ１にラベル付けを行ってもよい。例えば、マウスクリック操作が左クリックであればグレードＡ、左ダブルクリックであればグレードＢ、右クリックであればグレードＣなどと、ラベル付けを行ってもよい。これにより、教師画像の取得とラベル付けを同時に行って、教師データを生成することができる。
　表示装置３０に表示される画像の画質は、接眼レンズ１０１を用いて観察する画像の画質に比べて劣っているため、表示装置３０に表示される画像から精子の微妙な個体差を見分けることは難しい。これに対して、図１９に示すように、胚培養士が接眼レンズ１０１を用いて精子を観察しながら教師データを生成することで、ＩＣＳＩ作業時と同じ環境下で、精子の微妙な個体差を認識しながら精子を選別して、教師データを作成することができる。このため、高い受精成功率を有する熟練した胚培養士の知見を教師データとしてより正しくデータ化することが可能となる。
　図２０及び図２１は、接眼レンズ１０１から見える画像の更に別の例を示した図である。以上では、投影画像が、候補精子を特定する補助画像を含む例を示したが、投影画像は、候補精子を特定する補助画像に加えて、顕微授精を補助するその他の補助画像を含んでもよい。
　図２０に示す画像Ｖ７は、光学画像Ｏ１上に投影画像Ｐ７が重畳した画像である。投影画像Ｐ７は、候補精子を特定する補助画像Ａ１に加えて、患者の情報を示す補助画像Ａ９（第７の補助画像の一例）を含んでいる。顕微鏡システム１では、識別装置８０が試料に付加された識別情報を取得する。処理装置２０が識別装置８０で取得した識別情報に基づいて試料を提供した患者の情報を取得する。具体的には、処理装置２０は、例えば、データベースサーバ２から識別情報に対応する患者の情報を抽出することで、試料を提供した患者の情報を取得する。なお、患者の情報には、例えば、患者の氏名、ＩＤなどが含まれている。さらに、処理装置２０は、少なくとも、撮像ユニット１４０が取得したデジタル画像データと患者の情報とに基づいて、補助画像Ａ１と補助画像Ａ９を含む投影画像Ｐ７に対応する投影画像データを生成する。最後に、投影装置１５３が投影画像データに基づいて投影画像Ｐ７を像面に投影することで、画像Ｖ７が像面に形成される。図２０に示すように、患者の情報を示す補助画像Ａ９が像面に投影されることで、利用者は、精子提供者である患者を常に確認しながら、ＩＣＳＩを行うことができる。
　図２１に示す画像Ｖ８は、光学画像Ｏ１上に投影画像Ｐ８が重畳した画像である。投影画像Ｐ８は、候補精子を特定する補助画像Ａ１に加えて、処理装置２０が所定の操作を検知してからの経過時間を示す補助画像Ａ１０（第８の補助画像の一例）を含んでいる。所定の操作は、例えば、試料をステージ１１１上に置く操作である。顕微鏡システム１では、処理装置２０は、試料がステージ１１１に置かれてからの経過時間を取得する。さらに、処理装置２０は、少なくとも、撮像ユニット１４０が取得したデジタル画像データと経過時間とに基づいて、補助画像Ａ１と補助画像Ａ１０を含む投影画像Ｐ８に対応する投影画像データを生成する。最後に、投影装置１５３が投影画像データに基づいて投影画像Ｐ８を像面に投影することで、画像Ｖ８が像面に形成される。図２１に示すように、経過時間を示す補助画像Ａ１０が像面に投影されることで、利用者は、経過時間を確認しながら、ＩＣＳＩを行うことができる。
［第２の実施形態］
　図２２は、精子選別手順の別の例を示すフローチャートである。図２３は、接眼レンズ１０１から見える画像の更に別の例を示した図である。本実施形態に係る顕微鏡システムの構成は、顕微鏡システム１の構成と同様であるので、本実施形態に係る顕微鏡システムの構成要素については、顕微鏡システム１の構成要素と同じ符号で参照する。
　本実施形態では、ＩＣＳＩにおける精子選別作業が、図８に示す手順の代わりに、図２２に示す手順で行われる点が、第１の実施形態とは異なる。具体的には、まず、利用者は、例えば、入力装置５０のボタン５２を押下して、顕微鏡システムの設定をＭＣ１０×観察に切り替える。そして、ステージ１１１を動かしてドロップ２０２（精子浮遊ドロップ）に観察位置を移動し、ＭＣ１０×観察でドロップ２０２にピントを合わせる（ステップＳ４１）。
　次に、利用者は、ＭＣ１０×観察でドロップ２０２を観察し、ステージ１１１を動かして良好精子の存在が予想される領域に観察位置を移動する（ステップＳ４２）。ここでは、顕微鏡システムは、良好精子の存在が予想される領域を推定し、その推定した領域を候補領域として利用者に通知することで、利用者の作業を補助する。
　図２３に示す画像Ｖ９は、ＭＣ１０×観察での光学画像Ｏ２である。画像Ｖ９で示されるように、ＭＣ１０×観察では、ドロップ２０２内の精子の詳細な形態は確認できないが、精子の存在は確認できる。そこで、ステップＳ４２では、まず、解析部２２は、デジタル画像データに基づいて、試料を複数の領域に分割し、精子の移動量が他の領域内の精子の移動量よりも大きい領域を候補領域とみなして、候補領域を特定する解析結果（第２の解析結果）を生成する。そして、投影画像生成部２３は、解析部２２が生成した解析結果に基づいて、候補領域を特定する補助画像（第２の補助画像）を含む投影画像に対応する投影画像データを生成する。最後に、投影装置１５３が、投影画像データに基づいて投影画像を像面に投影することで、利用者に候補領域を通知する。図２３に示す画像Ｖ１０は、光学画像Ｏ２上に投影画像Ｐ１０が重畳した画像である。投影画像Ｐ１０は、候補領域を特定する補助画像Ａ１１を含んでいる。また、投影画像Ｐ１０は、精子の移動量の小さい領域を特定する補助画像Ａ１２も含んでいる。
　投影画像Ｐ１０が光学画像Ｏ２に重畳された画像Ｖ１０が像面に形成されることで、ステップＳ４２では、利用者は、補助画像Ａ１１を参考にして良好精子の存在が予想される領域を特定して、特定した領域に観察位置を移動することができる。このため、良好精子が存在しない領域に観察位置を移動して時間を無駄にすることを回避することができる。
　その後、利用者は、ステップＳ４３からステップＳ４７の手順で作業を行うことで、精子の選別を行うことができる。なお、ステップＳ４３からステップＳ４７の手順は、図８に示すステップＳ１２からステップＳ１６の手順と同様である。
　以上のように、図２２に示す手順で精子選別が行われる本実施形態に係る顕微鏡システムによっても、良好精子として推定される候補精子を特定する補助画像が光学画像に重畳されることで、精子選別作業の負担を軽減することが可能であり、顕微鏡システム１と同様に、顕微授精を補助することができる。さらに、本実施形態に係る顕微鏡システムによれば、観察位置を良好精子が存在しない領域に移動してしまうことを回避することができる。このため、良好精子を探してステージ１１１の移動を繰り返すといった事態を回避することができる。
　なお、本実施形態では、ＭＣ１０×観察で候補領域を特定する補助画像を投影し、ＭＣ２０×観察で候補精子を特定する補助画像を投影する例を示したが、これらの倍率はあくまで一例である。所定倍率未満のときに候補領域を特定する補助画像を投影し、所定倍率以上のときに候補画像を特定する補助画像を投影すればよい。
　例えば、レボルバ１１２が結像レンズ１０３との組み合わせで所定倍率以上の倍率を有する対物レンズを光路上に配置しているときに、解析部２２が候補細胞を特定する解析結果を生成し、投影画像生成部２３は、解析結果に基づいて、候補細胞を特定する補助画像を含む投影画像に対応する投影画像データを生成してもよい。さらに、レボルバ１１２が結像レンズ１０３との組み合わせで所定倍率未満の倍率を有する対物レンズを光路上に配置しているときに、解析部２２は、候補領域を特定する解析結果を生成し、投影画像生成部２３は、解析結果に基づいて、候補領域を特定する補助画像を含む投影画像に対応する前記投影画像データを生成してもよい。
［第３の実施形態］
　図２４は、接眼レンズ１０１から見える画像の更に別の例を示した図である。本実施形態に係る顕微鏡システムの構成は、顕微鏡システム１の構成と同様であるので、本実施形態に係る顕微鏡システムの構成要素については、顕微鏡システム１の構成要素と同じ符号で参照する。
　顕微鏡システム１では、顕微鏡システムを用いてＩＣＳＩを行う例を示したが、本実施形態に係る顕微鏡システムは、ＴＥＳＥ（精巣内精子採取術）に用いられる点が、第１の実施形態に係る顕微鏡システム１とは異なっている。
　図２４に示す画像Ｖ１１は、光学画像Ｏ３上に投影画像Ｐ１１が重畳した画像である。光学画像Ｏ３は、陰嚢を切開することで採取した精巣内の精細管の画像である。光学画像Ｏ３には、赤血球、白血球を含む様々な組織の画像が含まれている。投影画像Ｐ１１は、生殖細胞である精子を特定する補助画像（第４の補助画像）を含んでいる。
　本実施形態に係る顕微鏡システムでは、解析部２２は、少なくともデジタル画像データに基づいて、試料に含まれる精子を特定する解析結果を生成する。また、投影画像生成部２３は、解析部２２で生成された解析結果に基づいて、補助画像として精子を特定する補助画像を含む投影画像データを生成する。さらに、投影装置１５３は、投影画像データに基づいて、投影画像を像面に投影する。これにより、図２４に示すように、光学画像Ｏ３上に補助画像Ａ１３を含む投影画像Ｐ１１が重畳される。
　従って、本実施形態に係る顕微鏡システムによれば、ＴＥＳＥにおいて、様々な組織に混じって存在する精子を容易に特定することが可能となる。従って、精子探索作業の負担を大幅に軽減することが可能であり、顕微鏡システム１と同様に、顕微授精を補助することができる。
［第４の実施形態］
　図２５は、着床前診断の手順の一例を示すフローチャートである。図２６は、接眼レンズ１０１から見える画像の更に別の例を示した図である。本実施形態に係る顕微鏡システムの構成は、顕微鏡システム１の構成と同様であるので、本実施形態に係る顕微鏡システムの構成要素については、顕微鏡システム１の構成要素と同じ符号で参照する。
　顕微鏡システム１では、顕微鏡システムを用いてＩＣＳＩを行う例を示したが、本実施形態に係る顕微鏡システムは、受精卵から成長した胚（胚盤胞）の着床を助けるためのレーザアシステッドハッチング、及び、着床前診断のための栄養外細胞の採取に用いられる点が、第１の実施形態に係る顕微鏡システム１とは異なっている。なお、この例では、試料は、受精卵から成長した胚と、胚を取り囲む透明帯を含んでいる。
　具体的には、まず、利用者は、例えば、入力装置５０のボタン５３又はボタン５４を押下して、顕微鏡システムの設定をＭＣ２０×観察又はＭＣ４０×観察に切り替える。そして、ステージ１１１を動かして胚を取り囲む透明帯にピントを合わせる（ステップＳ５１）。
　次に、利用者は、透明帯を観察して、レーザアシステッドハッチングユニット１３０によるレーザ照射位置を決定する（ステップＳ５２）。透明帯が厚い又は硬いなどの質的異常が有る場合、胚は透明帯を突き破って子宮内膜に着床することができない。レーザアシステッドハッチングは、このような事態を回避する目的で、透明帯を除去して着床を補助するものである。ステップＳ５２では、胚を傷つけずに透明帯を除去するために、レーザ光の照射位置を適切に決定する必要がある。
　そこで、顕微鏡システムは、ステップＳ５２において、画像解析により適切な照射位置を算出して、利用者に通知する。具体的には、解析部２２が、少なくとも撮像ユニット１４０で取得したデジタル画像データに基づいて、透明帯のうちのレーザ光の照射に適した候補部位を特定する解析結果を生成する。そして、投影画像生成部２３が、解析部２２で生成された解析結果に基づいて、投影画像データを生成する補助画像として候補部位を特定する補助画像（第５の補助画像）を含む投影画像に対応する投影画像データを生成する。さらに、投影装置１５３が投影画像生成部２３により生成された投影画像データに基づいて投影画像を像面に投影して、試料の光学画像に重畳する。図２６に示す画像Ｖ１２は、光学画像Ｏ４上に投影画像Ｐ１２が重畳した画像である。光学画像Ｏ４は、胚（内細胞塊Ｏ４１、胞胚腔Ｏ４２、栄養外胚葉Ｏ４３）の画像と、胚を取り囲む透明帯Ｏ４４の画像が含まれている。投影画像Ｐ１２は、レーザ光の照射に適した候補部位を特定する補助画像Ａ１４を含んでいる。
　投影画像Ｐ１２が光学画像Ｏ４に重畳された画像Ｖ１２が像面に形成されることで、ステップＳ５２では、利用者は、補助画像Ａ１４の位置を参考にしてレーザ照射位置に決定し、レーザアシステッドハッチングユニット１３０に設定することができる。このため、適切なレーザ照射位置を容易に設定することができる。
　レーザ照射位置が決定されると、利用者は、レーザアシステッドハッチングユニット１３０を用いて、透明帯のステップＳ５２で決定した位置にレーザ光を照射して、透明帯を開孔する（ステップＳ５３）。図２６に示す画像Ｖ１３は、レーザ光を照射した後における試料の光学画像Ｏ５であり、レーザ光の照射により透明帯Ｏ４４に開孔部ＡＰが形成されている様子が示されている。
　その後、利用者は、胚を観察して、栄養外胚葉の位置を確認する（ステップＳ５４）。ここでは、顕微鏡システムは、画像解析により栄養外胚葉Ｏ４３の位置を特定して、利用者に通知する。具体的には、解析部２２が、少なくとも撮像ユニット１４０で取得したデジタル画像データに基づいて、胚の中の栄養外胚葉Ｏ４３を特定する解析結果を生成する。そして、投影画像生成部２３が、解析部２２で生成された解析結果に基づいて、補助画像として栄養外胚葉を特定する補助画像（第６の補助画像）を含む投影画像に対応する投影画像データを生成する。さらに、投影装置１５３が投影画像生成部２３により生成された投影画像データに基づいて投影画像を像面に投影して、試料の光学画像に重畳する。図２６に示す画像Ｖ１４は、光学画像Ｏ５上に投影画像Ｐ１４が重畳した画像である。投影画像Ｐ１５は、栄養外胚葉Ｏ４３を特定する補助画像Ａ１５を含んでいる。
　投影画像Ｐ１４が光学画像Ｏ５に重畳された画像Ｖ１４が像面に形成されることで、ステップＳ５４では、利用者は、補助画像Ａ１５によって栄養外胚葉の位置を容易に確認することができる。
　その後、利用者は、開口部ＡＰにピペットを挿入し、栄養外胚葉Ｏ４３を採取する（ステップＳ５５）。ここでは、挿入したピペットに陰圧をかけて、ステップＳ５４で位置を確認した栄養外胚葉Ｏ４３を吸引する。
　栄養外胚葉は高い粘着性を有しているため、ピペットを開口部ＡＰから抜き出したのちに、栄養外胚葉が胚からはみ出してしまう。このため、利用者は、再び、レーザアシステッドハッチングユニット１３０を用いて、ピペットと胚の間にレーザ光を照射することではみ出している栄養外胚葉を切断する（ステップＳ５６）。
　その後、利用者は、ピペット内に採取した栄養外胚葉を検査する（ステップＳ５７）。ここでは、採取した栄養外胚葉の細胞数個を用いて、着床前診断を行う。
　以上のように、図２５に示す手順でレーザアシステッドハッチング及び栄養外胚葉の採取が行われる本実施形態に係る顕微鏡システムによっても、顕微授精のための胚培養士の作業を補助することができる。従って、上述した実施形態に係る顕微鏡システムと同様に、顕微授精を補助することができる。
　なお、本実施形態に係る解析部２２にも、他の実施形態と同様に、ルールベースで再現するアルゴリズムが採用されてもよく、機械学習によって構築された学習済みのモデルが採用されてもよい。
　上述した実施形態は、発明の理解を容易にするための具体例を示したものであり、本発明の実施形態はこれらに限定されるものではない。顕微鏡システムは、特許請求の範囲の記載を逸脱しない範囲において、さまざまな変形、変更が可能である。
　例えば、図１２では、候補精子を特定する補助画像Ａ１とともに候補精子の移動の軌跡を示す補助画像Ａ２を投影する例を示したが、候補精子の移動の軌跡を示す補助画像（第３の補助画像）のみを光学画像に重畳してもよい。また、解析部２２がデジタル画像データに基づいて試料に含まれる生殖細胞の移動軌跡を特定し、投影画像生成部２３が解析結果に基づいて補助画像として生殖細胞の移動軌跡を示す補助画像を含む投影画像に対応する投影画像データを生成してもよい。即ち、候補精子の移動の軌跡を示す補助画像に加えて、候補精子以外の精子の移動の軌跡を示す補助画像を投影してもよい。
　また、上述した実施形態では、明視野（ＢＦ）観察、偏光（ＰＯ）観察、微分干渉（ＤＩＣ）観察、及び変調コントラスト（ＭＣ）観察の４つの顕微鏡法で、試料を観察する顕微鏡システムを例示したが、顕微鏡システムは、これらに加えて、位相差（ＰＣ）観察などの他の顕微鏡法で試料を観察してもよい。顕微鏡システムが位相差観察を行う場合には、位相差対物レンズが含まれる。
　図２７は、倒立顕微鏡３００の構成を例示した図である。顕微鏡システム１は、倒立顕微鏡１００の代わりに、倒立顕微鏡３００を含んでもよい。倒立顕微鏡３００は、撮像ユニット１４０の代わりに撮像ユニット１４４を含んでいる点、撮像ユニット１４４と接眼レンズ１０１の間に結像レンズ１０３が位置する点が、倒立顕微鏡１００とは異なる。なお、撮像ユニット１４４は、結像レンズ１０３を通過することなく入射する光を撮像素子１４３に集光するためにレンズ１４５を含んでいる。顕微鏡システム１は、倒立顕微鏡３００を含む場合であっても、倒立顕微鏡１００を含む場合と同様の効果を得ることができる。
　図２８は、倒立顕微鏡４００の構成を例示した図である。顕微鏡システム１は、倒立顕微鏡１００の代わりに、倒立顕微鏡４００を含んでもよい。倒立顕微鏡４００は、撮像ユニット１４０の代わりに撮像ユニット１４４を含んでいる点、投影ユニット１５０の代わりに投影ユニット１５４を含んでいる点、投影ユニット１５４と接眼レンズ１０１の間に結像レンズ１０３が位置する点が、倒立顕微鏡１００とは異なる。なお、撮像ユニット１４４は、結像レンズ１０３を通過することなく入射する光を撮像素子１４３に集光するためにレンズ１４５を含んでいる。投影ユニット１５４は、結像レンズ１０３を経由して光を像面ＩＰに集光するように、レンズ１５２とは異なる焦点距離のレンズ１５５を含んでいる。顕微鏡システム１は、倒立顕微鏡４００を含む場合であっても、倒立顕微鏡１００を含む場合と同様の効果を得ることができる。
１　顕微鏡システム
２　データベースサーバ
１０　顕微鏡コントローラ
２０　処理装置
２０ａ　プロセッサ
２０ｂ　メモリ
２０ｃ　補助記憶装置
２０ｄ　入出力インタフェース
２０ｅ　媒体駆動装置
２０ｆ　通信制御装置
２０ｇ　バス
２０ｈ　記憶媒体
２１　カメラ制御部
２２　解析部
２３　投影画像生成部
２４　投影制御部
３０　表示装置
４０、５０、６０、７０　入力装置
４１、４２　ハンドル
４３、４４　ピペット
５１～５６、Ｂ１～Ｂ４　ボタン
８０　識別装置
１００、３００、４００　倒立顕微鏡
１０１　接眼レンズ
１０２、１０２ａ、１０２ｂ、１０２ｃ　対物レンズ
１０３　結像レンズ
１０４　モジュレータ
１０５、１２５　ＤＩＣプリズム
１０６　アナライザ
１１０　顕微鏡本体
１１１　ステージ
１１２　レボルバ
１２０　透過照明系
１２１　光源
１２２　ユニバーサルコンデンサ
１２３　ポラライザ
１２４　ターレット
１２６　開口板
１２７　光学素子
１２７ａ　スリット板
１２７ｂ　偏光板
１２８　コンデンサレンズ
１３０　レーザアシステッドハッチングユニット
１３１、１４１、１５１　スプリッタ
１３４、１４５、１５２、１５５、１６１～１６３　レンズ
１３３　スキャナ
１３５　レーザ
１４０、１４４　撮像ユニット
１４３　撮像素子
１５０、１５４　投影ユニット
１５３　投影装置
１６０　中間変倍ユニット
１７０　接眼鏡筒
２００　試料
２０１～２０３　ドロップ
２１０　シャーレ
Ａ１～Ａ７、Ａ９～Ａ１５　補助画像
ＰＰ　ポインタ画像
ＡＰ　開孔部
Ｏ１～Ｏ４５　光学画像
Ｏ４１　内細胞塊
Ｏ４２　胞胚腔
Ｏ４３　栄養外胚葉
Ｏ４４　透明帯
Ｐ１～Ｐ１２、Ｐ１４　投影画像
Ｖ１～Ｖ１４　画像
Ｔ１～Ｔ２０　教師画像
Ｗ１　ウィンドウ

Claims (22)

  1. 　試料を照明する透過照明系を備えた顕微鏡システムであって、
    　接眼レンズと、
    　前記試料を透過した透過光を前記接眼レンズへ導く対物レンズと、
    　前記接眼レンズと前記対物レンズの間に配置され、前記透過光に基づいて前記試料の光学画像を形成する結像レンズと、
    　前記透過光に基づいて前記試料のデジタル画像データを取得する撮像装置と、
    　少なくとも前記撮像装置で取得した前記デジタル画像データに基づいて、投影画像に対応する投影画像データを生成する処理装置であって、前記投影画像は、前記試料を用いた顕微授精を補助する補助画像を含む、という処理装置と、
    　前記光学画像が形成されている像面へ、前記投影画像データに基づいて前記投影画像を投影する投影装置と、
    　前記透過照明系に含まれ、前記試料に照射される照明光を変調する第１の変調素子と、
    　前記対物レンズと前記結像レンズの間に配置され、前記透過光を変調する第２の変調素子と、を備える
    ことを特徴とする顕微鏡システム。
  2. 　請求項１に記載の顕微鏡システムにおいて、
    　前記処理装置は、
    　　少なくとも前記デジタル画像データに基づいて、前記試料に含まれる生殖細胞から受精に適した生殖細胞である候補細胞を特定する解析結果を生成する解析部と、
    　　前記解析部で生成された前記解析結果に基づいて、前記投影画像データを生成する投影画像生成部であって、前記投影画像は、前記補助画像として、前記候補細胞を特定する第１の補助画像を含む、という投影画像生成部と、を備える
    ことを特徴とする顕微鏡システム。
  3. 　請求項２に記載の顕微鏡システムにおいて、
    　前記投影画像は、前記投影画像中の位置であって、前記投影画像を前記像面に投影したときに前記光学画像に含まれる前記候補細胞の画像と重ならない位置に、前記第１の補助画像を含む
    ことを特徴とする顕微鏡システム。
  4. 　請求項２又は請求項３に記載の顕微鏡システムにおいて、
    　前記第１の補助画像は、前記候補細胞の画像を囲う形状、又は、前記候補細胞の画像を指し示す形状を有する
    ことを特徴とする顕微鏡システム。
  5. 　請求項２又は請求項３に記載の顕微鏡システムにおいて、
    　前記第１の補助画像は、当該第１の補助画像が特定する前記候補細胞の推奨度合いに応じた態様を有する
    ことを特徴とする顕微鏡システム。
  6. 　請求項５に記載の顕微鏡システムにおいて、
    　前記第１の補助画像は、当該第１の補助画像が特定する前記候補細胞の推奨度合いに応じた色を有する
    ことを特徴とする顕微鏡システム。
  7. 　請求項２又は請求項３に記載の顕微鏡システムにおいて、
    　前記解析部は、少なくとも前記生殖細胞の形態と前記生殖細胞の運動性の一方に基づいて、前記生殖細胞を解析する
    ことを特徴とする顕微鏡システム。
  8. 　請求項２又は請求項３に記載の顕微鏡システムにおいて、さらに、
    　前記対物レンズを含む複数の対物レンズが装着された切替装置であって、前記複数の対物レンズの間で光路上に配置する対物レンズを切り替える切替装置を備え、
    　前記切替装置が前記結像レンズとの組み合わせで所定倍率以上の倍率を有する対物レンズを前記光路上に配置しているときに、
    　　前記解析部は、前記候補細胞を特定する前記解析結果を生成し、
    　　前記投影画像生成部は、前記解析結果に基づいて、前記補助画像として前記第１の補助画像を含む前記投影画像に対応する前記投影画像データを生成し、
    　前記切替装置が前記結像レンズとの組み合わせで前記所定倍率未満の倍率を有する対物レンズを前記光路上に配置しているときに、
    　　前記解析部は、候補領域を特定する第２の解析結果を生成し、ここで、前記候補領域は、前記試料の領域であって、前記候補領域内の生殖細胞の移動量が前記試料の他の領域内の生殖細胞の移動量よりも大きい領域であり、
    　　前記投影画像生成部は、前記第２の解析結果に基づいて、前記補助画像として第２の補助画像を含む前記投影画像に対応する前記投影画像データを生成し、ここで、前記第２の補助画像は、前記候補領域を特定する画像である
    ことを特徴とする顕微鏡システム。
  9. 　請求項２又は請求項３に記載の顕微鏡システムにおいて、
    　前記解析部は、学習済みのニューラルネットワークを用いて、少なくとも前記デジタル画像データを解析し、
    　前記学習済みのニューラルネットワークは、受精の適否についてラベル付けされた生殖細胞の画像に対応する画像データを教師データとして用いて学習したニューラルネットワークである
    ことを特徴とする顕微鏡システム。
  10. 　請求項２又は請求項３に記載の顕微鏡システムにおいて、
    　前記処理装置は、
    　　利用者による第１の入力操作に応じた位置を指し示すポインタ画像に対応するポインタ画像データを生成し、
    　　前記試料に含まれる対象物であって、前記利用者による第２の入力操作を検出したときの前記ポインタ画像の位置に基づいて特定された対象物の画像を教師画像として記録し、
    　前記投影装置は、前記像面へ、前記ポインタ画像データに基づいて前記ポインタ画像を投影する
    ことを特徴とする顕微鏡システム。
  11. 　請求項１乃至請求項３のいずれか１項に記載の顕微鏡システムにおいて、
    　前記試料は、精子を含み、
    　前記処理装置は、前記デジタル画像データと、その他のデータと、に基づいて、前記投影画像データを生成し、
    　前記その他のデータは、前記試料を培養した培養液のデータ、母体の臨床データ、又は、前記精子を含む精液の検査結果、の少なくとも１つを含む
    ことを特徴とする顕微鏡システム。
  12. 　請求項１に記載の顕微鏡システムにおいて、
    　前記処理装置は、
    　　少なくとも前記デジタル画像データに基づいて、前記試料に含まれる生殖細胞の移動軌跡を特定する解析結果を生成する解析部と、
    　　前記解析部で生成された前記解析結果に基づいて、前記投影画像データを生成する投影画像生成部であって、前記投影画像は、前記補助画像として、前記生殖細胞の移動軌跡を示す第３の補助画像を含む、という投影画像生成部と、を備える
    ことを特徴とする顕微鏡システム。
  13. 　請求項１に記載の顕微鏡システムにおいて、
    　前記処理装置は、
    　　少なくとも前記デジタル画像データに基づいて、前記試料に含まれる生殖細胞を特定する解析結果を生成する解析部と、
    　　前記解析部で生成された前記解析結果に基づいて、前記投影画像データを生成する投影画像生成部であって、前記投影画像は、前記補助画像として、前記生殖細胞を特定する第４の補助画像を含む、という投影画像生成部と、を備える
    ことを特徴とする顕微鏡システム。
  14. 　請求項１に記載の顕微鏡システムにおいて、
    　前記試料は、受精卵から成長した胚を取り囲む透明帯と、を含み、
    　前記顕微鏡システムは、さらに、前記対物レンズと前記結像レンズの間に配置された、前記透明帯にレーザ光を照射するレーザユニットを備え、
    　前記処理装置は、
    　　少なくとも前記デジタル画像データに基づいて、前記透明帯のうちの前記レーザ光の照射に適した候補部位を特定する解析結果を生成する解析部と、
    　　前記解析部で生成された前記解析結果に基づいて、前記投影画像データを生成する投影画像生成部であって、前記投影画像は、前記補助画像として、前記候補部位を特定する第５の補助画像を含む、という投影画像生成部と、を備える
    ことを特徴とする顕微鏡システム。
  15. 　請求項１に記載の顕微鏡システムにおいて、
    　前記試料は、受精卵から成長した胚を含み、
    　前記処理装置は、
    　　少なくとも前記デジタル画像データに基づいて、前記胚の中の栄養外胚葉を特定する解析結果を生成する解析部と、
    　　前記解析部で生成された前記解析結果に基づいて、前記投影画像データを生成する投影画像生成部であって、前記投影画像は、前記補助画像として、前記栄養外胚葉を特定する第６の補助画像を含む、という投影画像生成部と、を備える
    ことを特徴とする顕微鏡システム。
  16. 　請求項１乃至請求項３のいずれか１項に記載の顕微鏡システムにおいて、さらに、
    　前記試料に付加された識別情報を取得する識別装置を備え、
    　前記処理装置は、
    　　前記識別装置で取得した識別情報に基づいて、前記試料を提供した患者の情報を取得し、
    　　少なくとも前記デジタル画像データと前記患者の情報とに基づいて、前記投影画像データを生成し、ここで、前記投影画像は、前記補助画像として、前記患者の情報を示す第７の補助画像を含む
    ことを特徴とする顕微鏡システム。
  17. 　請求項１乃至請求項３のいずれか１項に記載の顕微鏡システムにおいて、
    　前記処理装置は、
    　　所定の操作を検知してからの経過時間を取得し、
    　　少なくとも前記デジタル画像データと前記経過時間とに基づいて、前記投影画像データを生成し、ここで、前記投影画像は、前記補助画像として、前記経過時間を示す第８の補助画像を含む
    ことを特徴とする顕微鏡システム。
  18. 　請求項１乃至請求項３のいずれか１項に記載の顕微鏡システムにおいて、さらに、
    　前記対物レンズと前記結像レンズの間に配置された、前記光学画像の倍率を変更する中間変倍ユニットを備える
    ことを特徴とする顕微鏡システム。
  19. 　請求項１乃至請求項３のいずれか１項に記載の顕微鏡システムにおいて、
    　前記第１の変調素子は、第１の偏光板と、スリットが形成された遮光板と、前記スリットの一部を覆う第２の偏光板と、を含み、
    　前記第２の変調素子は、透過率の異なる３つ領域を含むモジュレータを含む
    ことを特徴とする顕微鏡システム。
  20. 　請求項１乃至請求項３のいずれか１項に記載の顕微鏡システムにおいて、
    　前記第１の変調素子は、ポラライザを含み、
    　前記第２の変調素子は、アナライザを含む
    ことを特徴とする顕微鏡システム。
  21. 　請求項１乃至請求項３のいずれか１項に記載の顕微鏡システムにおいて、
    　前記顕微鏡システムは、倒立型の顕微鏡システムである
    ことを特徴とする顕微鏡システム。
  22. 　請求項１乃至請求項３のいずれか１項に記載の顕微鏡システムにおいて、
    　前記像面は、前記結像レンズと前記接眼レンズの間に形成される
    ことを特徴とする顕微鏡システム。
PCT/JP2019/051101 2018-12-28 2019-12-26 顕微鏡システム WO2020138279A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2020562401A JP7214753B2 (ja) 2018-12-28 2019-12-26 顕微鏡システム
CN201980087302.8A CN113260894B (zh) 2018-12-28 2019-12-26 显微镜系统
EP19906490.8A EP3904937A4 (en) 2018-12-28 2019-12-26 MICROSCOPE SYSTEM
US17/357,357 US11861921B2 (en) 2018-12-28 2021-06-24 Microscope system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018247359 2018-12-28
JP2018-247359 2018-12-28

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/357,357 Continuation US11861921B2 (en) 2018-12-28 2021-06-24 Microscope system

Publications (1)

Publication Number Publication Date
WO2020138279A1 true WO2020138279A1 (ja) 2020-07-02

Family

ID=71128709

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/051101 WO2020138279A1 (ja) 2018-12-28 2019-12-26 顕微鏡システム

Country Status (5)

Country Link
US (1) US11861921B2 (ja)
EP (1) EP3904937A4 (ja)
JP (1) JP7214753B2 (ja)
CN (1) CN113260894B (ja)
WO (1) WO2020138279A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021200002A1 (ja) * 2020-03-31 2021-10-07 オリンパス株式会社 顕微鏡システム、投影ユニット、及び、検卵支援方法
WO2021200003A1 (ja) * 2020-03-31 2021-10-07 オリンパス株式会社 顕微鏡システム、投影ユニット、及び、精子選別支援方法
WO2022056370A1 (en) * 2020-09-11 2022-03-17 The Brigham And Women's Hospital, Inc. Determining locations in reproductive cellular structures

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4345776A2 (en) 2018-09-28 2024-04-03 Evident Corporation Microscope system, projection unit, and image projection method
EP3988988A4 (en) 2018-09-28 2023-09-13 Evident Corporation MICROSCOPE SYSTEM, PROJECTION UNIT AND IMAGE PROJECTION METHOD
EP3988987A4 (en) * 2018-09-28 2023-09-20 Evident Corporation MICROSCOPE SYSTEM, PROJECTION UNIT AND IMAGE PROJECTION METHOD
US11481900B2 (en) 2021-03-09 2022-10-25 Thread Robotics Inc. System and method for automated gamete selection
US11694344B2 (en) * 2021-11-05 2023-07-04 Thread Robotics Inc. System and method for automated cell positioning
JP2023096267A (ja) * 2021-12-27 2023-07-07 株式会社エビデント 顕微鏡システム、投影ユニット、及び、選別支援方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0829694A (ja) * 1994-07-20 1996-02-02 Nikon Corp 画像処理装置付き顕微鏡
WO2010128670A1 (ja) * 2009-05-08 2010-11-11 株式会社ニコン フォーカス制御装置および培養観察装置
JP2011004638A (ja) * 2009-06-24 2011-01-13 Nikon Corp 受精卵観察の画像処理方法、画像処理プログラム及び画像処理装置
WO2012150689A1 (ja) 2011-05-02 2012-11-08 オリンパス株式会社 顕微鏡、及び、顕微鏡を用いた顕微授精方法
CN103389369A (zh) * 2013-07-31 2013-11-13 中国人民解放军军事医学科学院基础医学研究所 一种快速简便判定精液粘稠度的方法
JP2014504849A (ja) * 2010-09-27 2014-02-27 オクソジン， インコーポレイテッド 胚、卵母細胞および幹細胞の自動撮像および評価のための装置、手段およびシステム
JP2016509845A (ja) * 2013-02-28 2016-04-04 プロジェニー， インコーポレイテッド 画像ベースのヒト胚細胞分類のための装置、方法、およびシステム
JP2017092730A (ja) * 2015-11-11 2017-05-25 ソニー株式会社 情報処理装置、情報処理方法、プログラム及び情報処理システム
US20170205390A1 (en) * 2015-05-07 2017-07-20 Technology Innovation Momentum Fund (Israel) Limited Partnership Interferometric system and method for use with biological cells and organisms including sperm
WO2017184757A1 (en) * 2016-04-20 2017-10-26 Coopersurgical, Inc. Beam steering for laser systems and related methods
JP2018022216A (ja) * 2016-08-01 2018-02-08 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010021392A1 (ja) * 2008-08-21 2010-02-25 独立行政法人理化学研究所 哺乳動物胚のインビトロ蛍光観察方法及び着床不全又は流産のリスクの低い哺乳動物胚の選択方法
JP5581752B2 (ja) * 2010-03-16 2014-09-03 株式会社ニコン オートフォーカス光学装置、顕微鏡
WO2012096153A1 (ja) * 2011-01-12 2012-07-19 株式会社ニコン 顕微鏡システム
US8928973B2 (en) * 2011-12-16 2015-01-06 Taiwan Semiconductor Manufacturing Company, Ltd. Microscope apparatus for phase image acquisition
JP6076042B2 (ja) 2012-11-01 2017-02-08 オリンパス株式会社 顕微鏡および制御方法
JP6192335B2 (ja) 2013-03-29 2017-09-06 オリンパス株式会社 顕微鏡
JP6150586B2 (ja) 2013-03-29 2017-06-21 オリンパス株式会社 顕微鏡
CN105209956B (zh) * 2013-04-30 2017-10-24 奥林巴斯株式会社 标本观察装置和标本观察方法
CN117025364A (zh) * 2013-11-20 2023-11-10 布里格姆女子医院有限公司 用于精子分选的系统和方法
EP3164483B1 (en) * 2014-07-01 2020-01-08 Institut National de la Sante et de la Recherche Medicale (INSERM) Methods for three dimensional reconstruction and determining the quality of an embryo
CN110431463A (zh) 2016-08-28 2019-11-08 奥格蒙特奇思医药有限公司 组织样本的组织学检查系统
US11125686B2 (en) * 2017-07-06 2021-09-21 Ramot At Tel-Aviv University Ltd. System and method for three-dimensional label-free optical imaging of a biological cell sample in an environmental chamber
WO2020059522A1 (ja) * 2018-09-21 2020-03-26 公立大学法人横浜市立大学 生殖医療支援システム
EP3988988A4 (en) 2018-09-28 2023-09-13 Evident Corporation MICROSCOPE SYSTEM, PROJECTION UNIT AND IMAGE PROJECTION METHOD
EP4345776A2 (en) 2018-09-28 2024-04-03 Evident Corporation Microscope system, projection unit, and image projection method
EP3988986A4 (en) 2018-09-28 2023-09-06 Evident Corporation MICROSCOPE SYSTEM
EP3988987A4 (en) 2018-09-28 2023-09-20 Evident Corporation MICROSCOPE SYSTEM, PROJECTION UNIT AND IMAGE PROJECTION METHOD

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0829694A (ja) * 1994-07-20 1996-02-02 Nikon Corp 画像処理装置付き顕微鏡
WO2010128670A1 (ja) * 2009-05-08 2010-11-11 株式会社ニコン フォーカス制御装置および培養観察装置
JP2011004638A (ja) * 2009-06-24 2011-01-13 Nikon Corp 受精卵観察の画像処理方法、画像処理プログラム及び画像処理装置
JP2014504849A (ja) * 2010-09-27 2014-02-27 オクソジン， インコーポレイテッド 胚、卵母細胞および幹細胞の自動撮像および評価のための装置、手段およびシステム
WO2012150689A1 (ja) 2011-05-02 2012-11-08 オリンパス株式会社 顕微鏡、及び、顕微鏡を用いた顕微授精方法
JP2016509845A (ja) * 2013-02-28 2016-04-04 プロジェニー， インコーポレイテッド 画像ベースのヒト胚細胞分類のための装置、方法、およびシステム
CN103389369A (zh) * 2013-07-31 2013-11-13 中国人民解放军军事医学科学院基础医学研究所 一种快速简便判定精液粘稠度的方法
US20170205390A1 (en) * 2015-05-07 2017-07-20 Technology Innovation Momentum Fund (Israel) Limited Partnership Interferometric system and method for use with biological cells and organisms including sperm
JP2017092730A (ja) * 2015-11-11 2017-05-25 ソニー株式会社 情報処理装置、情報処理方法、プログラム及び情報処理システム
WO2017184757A1 (en) * 2016-04-20 2017-10-26 Coopersurgical, Inc. Beam steering for laser systems and related methods
JP2018022216A (ja) * 2016-08-01 2018-02-08 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3904937A4

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021200002A1 (ja) * 2020-03-31 2021-10-07 オリンパス株式会社 顕微鏡システム、投影ユニット、及び、検卵支援方法
WO2021200003A1 (ja) * 2020-03-31 2021-10-07 オリンパス株式会社 顕微鏡システム、投影ユニット、及び、精子選別支援方法
WO2022056370A1 (en) * 2020-09-11 2022-03-17 The Brigham And Women's Hospital, Inc. Determining locations in reproductive cellular structures

Also Published As

Publication number Publication date
EP3904937A1 (en) 2021-11-03
CN113260894A (zh) 2021-08-13
JPWO2020138279A1 (ja) 2021-10-28
US11861921B2 (en) 2024-01-02
EP3904937A4 (en) 2022-09-21
CN113260894B (zh) 2023-04-04
US20210319208A1 (en) 2021-10-14
JP7214753B2 (ja) 2023-01-30

Similar Documents

Publication Publication Date Title
WO2020138279A1 (ja) 顕微鏡システム
EP4130843A1 (en) Microscope system, projection unit, and sperm sorting assistance method
US10843190B2 (en) Apparatus and method for analyzing a bodily sample
JP6007182B2 (ja) 胚、卵母細胞および幹細胞の自動撮像および評価のための装置、手段およびシステム
JP4911172B2 (ja) 分析装置及びその利用
WO2013132998A1 (ja) 画像処理装置、顕微鏡システム、及び画像処理方法
US20140268320A1 (en) Image processing apparatus, microscope system, image processing method, and computer-readable recording medium
JP7253273B2 (ja) 生殖医療支援システム
IL254325B1 (en) Method and device for microscopy
Sidhu Automated Blastomere Segmentation for Visual Servo on Early-stage Embryo
WO2023248958A1 (ja) 顕微鏡システム、投影ユニット、選別支援方法、及び、記録媒体
WO2023127001A1 (ja) 顕微鏡システム、投影ユニット、及び、選別支援方法
US10690902B2 (en) Image processing device and microscope system
EP4209820A1 (en) Microscope system and sorting support method
US10417482B2 (en) Observation system
Kanaan et al. Live imaging of phagoptosis in ex vivo Drosophila testis
JP2021196182A (ja) 解析装置
Trexler et al. Two-color total internal reflection fluorescence microscopy of exocytosis in endocrine cells
CN113166701A (zh) 用于细胞培养监测的紧凑型光学成像系统
JP2024059329A (ja) 顕微鏡システム
JP6313978B2 (ja) 表示方法
CN211979318U (zh) 一种用于显微镜的增强现实模块及包含该模块的显微镜
WO2023189236A1 (ja) 撮影方法および撮影装置
WO2007115297A2 (en) Assessing oocyte quality using birefringence imaging
WO2023042198A1 (en) System and method for oocyte retrieval

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19906490

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020562401

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019906490

Country of ref document: EP

Effective date: 20210728