WO2021200002A1 - 顕微鏡システム、投影ユニット、及び、検卵支援方法 - Google Patents

顕微鏡システム、投影ユニット、及び、検卵支援方法 Download PDF

Info

Publication number
WO2021200002A1
WO2021200002A1 PCT/JP2021/009684 JP2021009684W WO2021200002A1 WO 2021200002 A1 WO2021200002 A1 WO 2021200002A1 JP 2021009684 W JP2021009684 W JP 2021009684W WO 2021200002 A1 WO2021200002 A1 WO 2021200002A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
egg
microscope system
microscope
auxiliary
Prior art date
Application number
PCT/JP2021/009684
Other languages
English (en)
French (fr)
Inventor
拓人 山根
敏征 服部
伸介 金木
勇大 尾原
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to CN202180025339.5A priority Critical patent/CN115552309A/zh
Priority to JP2022511750A priority patent/JPWO2021200002A1/ja
Priority to EP21779247.2A priority patent/EP4130842A4/en
Publication of WO2021200002A1 publication Critical patent/WO2021200002A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/18—Arrangements with more than one light path, e.g. for comparing two specimens
    • G02B21/20—Binocular arrangements
    • G02B21/22—Stereoscopic arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes

Definitions

  • the disclosure of this specification relates to a microscope system, a projection unit, and an egg inspection support method.
  • ART is a general term for techniques for in vitro fertilization of eggs and sperms taken out from humans, such as in vitro fertilization (IVF: In vitro fertilization) and microfertilization represented by intraesophageal sperm injection (ICSI). It is distinguished from general artificial fertilization in which the collected sperm is injected into the uterus and fertilized with an egg in the body.
  • IVF In vitro fertilization
  • ICSI intraesophageal sperm injection
  • Patent Document 1 describes a microscope suitable for microinsemination, which is a kind of ART.
  • the follicular fluid containing eggs is taken out of the incubator during egg inspection and exposed in an indoor atmosphere. The shorter the period of exposure of the egg, the better, so the embryo cultivator is required to perform the egg inspection as quickly and reliably as possible.
  • an object of one aspect of the present invention is to provide a technique for supporting the search for an egg in egg inspection.
  • the microscope system includes a microscope, a photographing device that acquires a photographed image of follicle fluid contained in a container placed on the stage of the microscope, and the photographed image acquired by the photographing device. Based on this image, on an image processing device that generates an auxiliary image containing information that identifies a region where the presence of an egg is presumed, and on an optical image of the follicular fluid formed on the image plane on the optical path of the microscope.
  • a superimposing device for superimposing the auxiliary image generated by the processing device is provided.
  • the projection unit is a projection unit used by being mounted on a microscope, and is based on a photographed image of follicular fluid contained in a container placed on the stage of the microscope.
  • An image processing device that generates an auxiliary image containing information that identifies a region where the presence is presumed, and an optical image of the follicular fluid formed on the image plane on the optical path of the microscope, which is generated by the image processing device.
  • a superimposing device for superimposing the auxiliary image is provided.
  • the egg inspection support method acquires a photographed image of follicular fluid contained in a container placed on a stage of a microscope, and based on the photographed image acquired by the photographing apparatus, of an egg.
  • To generate an auxiliary image containing information that identifies a region where the presence is presumed, and to superimpose the generated auxiliary image on an optical image of the follicular fluid formed on an image plane on the optical path of the microscope. include.
  • FIG. 1 is a diagram showing the configuration of the microscope system 1.
  • FIG. 2 is a diagram illustrating the configuration of the image processing device 100.
  • FIG. 3 is a diagram illustrating the configuration of the optical system of the microscope 10.
  • the microscope system 1 is a system for observing a sample by looking through the eyepiece lens 19.
  • the sample to be observed by the microscope system 1 is, for example, the follicular fluid 50 contained in the container 40, and the microscope system 1 is used, for example, for egg inspection, which is one step of fertility treatment.
  • the microscope system 1 includes at least a microscope 10, a photographing device 15, a projection device 17, which is an example of a superimposing device, and an image processing device 100.
  • the microscope system 1 superimposes an auxiliary image on the optical image by projecting the auxiliary image on the image plane on which the optical image of the follicular fluid 50 is formed by the optical system of the microscope 10 using the projection device 17.
  • the auxiliary image contains information that identifies the region where the presence of the egg is presumed (hereinafter referred to as the presumed region).
  • the auxiliary image is created by the image processing device 100 based on the captured image of the follicular fluid captured by the imaging device 15.
  • the user of the microscope system 1 observing the follicular fluid by looking through the eyepiece 19 can obtain information on the estimated region without taking his eyes off the eyepiece 19, so that the eggs can be compared in a short time. It becomes possible to find out easily. Therefore, according to the microscope system 1, it is possible to support the work of searching for an egg in the user's egg inspection.
  • the microscope system 1 includes a microscope 10 including a photographing device 15 and a projection device 17, and an image processing device 100.
  • the microscope 10 includes a stage 11 on which a container 40 containing a follicular fluid 50 is placed, an objective lens 12 mounted on a revolver 13, an imaging lens 18, and an eyepiece lens 19.
  • the objective lens 12 and the imaging lens 18 form an optical image of the follicular fluid 50 on the image plane.
  • the eyepiece 19 further magnifies the optical image formed on the image plane.
  • the user of the microscope system 1 observes a virtual image in which the optical image is magnified by using the eyepiece lens 19.
  • the microscope 10 also includes a splitter 14 arranged on the optical path between the objective lens 12 and the imaging lens 18, and a photographing device 15 arranged on the optical path branched by the splitter 14.
  • the splitter 14 is, for example, a half mirror, but a variable beam splitter that varies the transmittance and the reflectance may be used.
  • the photographing device 15 is, for example, a digital camera provided with an image pickup device, and acquires a photographed image of the follicular fluid 50.
  • the image sensor is, for example, a two-dimensional image sensor such as a CCD image sensor or a CMOS image sensor.
  • the microscope 10 further includes a splitter 16 arranged on the optical path between the objective lens 12 and the imaging lens 18, and a projection device 17 arranged on the optical path branched by the splitter 16.
  • the splitter 16 is, for example, a half mirror, but a variable beam splitter that changes the transmittance and the reflectance may be used.
  • the projection device 17 is, for example, a projector using a reflective liquid crystal device, a projector using a transmissive liquid crystal device, a projector using a digital mirror device, and the like.
  • the projection device 17 projects an auxiliary image generated by the image processing device 100 on the image plane on the optical path of the microscope 10.
  • the projection device 17 is an example of a superimposition device that superimposes an auxiliary image on an optical image of the follicular fluid 50 formed on the image plane by projecting the auxiliary image on the image plane.
  • the image processing device 100 generates an auxiliary image based on the captured image acquired by the photographing device 15.
  • the image processing device 100 includes an image analysis unit 110, an image generation unit 120, and a storage unit 130 as functional components related to the generation of an auxiliary image.
  • the image analysis unit 110 performs image analysis including detection of an object targeting an egg on a captured image. Specifically, the image analysis unit 110 detects an object using, for example, a learned model stored in the storage unit 130.
  • the algorithm of the trained model is not particularly limited, but may be, for example, a deep learning model such as SSD, YOLO, or FasterR-CNN.
  • the image generation unit 120 generates an auxiliary image including information for specifying a region (estimated region) where the presence of an egg is estimated based on the result of image analysis of the image analysis unit 110. Specifically, the image generation unit 120 generates an image having a bounding box in the estimation region as an auxiliary image.
  • the storage unit 130 stores a learned model that has learned the position of the egg with respect to the input image. That is, the trained model detects the target classified as an egg and outputs at least the position information of the egg. More specifically, the trained model outputs the position information of the egg and the probability of classification (classification confidence) indicating the certainty of the egg.
  • the image processing device 100 may be a general-purpose computer or a dedicated computer.
  • the image processing device 100 is not particularly limited to this configuration, but may have, for example, a physical configuration as shown in FIG.
  • the image processing device 100 may include a processor 101, a storage device 102, an input device 103, an output device 104, and a communication device 105, which are connected to each other by a bus 106. May be good.
  • the processor 101 may include hardware, which may include, for example, at least one of a circuit for processing digital signals and a circuit for processing analog signals.
  • the processor 101 can include, for example, one or more circuit devices (eg, ICs) or one or more circuit elements (eg, resistors, capacitors) on a circuit board.
  • the processor 101 may be a CPU (central processing unit). Further, various types of processors including GPU (Graphics processing unit) and DSP (Digital Signal Processor) may be used for the processor 101.
  • the processor 101 may be a hardware circuit having an ASIC (Application Specific Integrated Circuit) or an FPGA (Field-Programmable Gate Array).
  • the processor 101 can include an amplifier circuit, a filter circuit, and the like for processing an analog signal.
  • the processor 101 functions as the image analysis unit 110 and the image generation unit 120 described above by executing the program stored in the storage device 102.
  • the storage device 102 may include a memory and / or other storage device.
  • the memory may be, for example, a random access memory (RAM).
  • the memory may be a semiconductor memory such as SRAM (Static Random Access Memory) or DRAM (Dynamic Random Access Memory).
  • the storage device 102 may include, for example, a register, a magnetic storage device such as a hard disk device, an optical storage device such as an optical disk device, an internal or external hard disk drive, a solid state storage device, a CD-ROM, a DVD, or other optical or magnetic. It may be a disk storage device or another storage device.
  • the storage device 102 stores programs, trained models, and other data executed by the processor 101, and functions as the storage unit 130 described above.
  • the storage device 102 is an example of a non-temporary computer-readable storage medium.
  • the input device 103 is a device operated by a user of the microscope system 1 (for example, an embryo culture person).
  • the input device 103 is, for example, a keyboard, a mouse, a touch panel, a voice input device, a foot pedal, or the like, and outputs an operation signal corresponding to an operation on the input device 103 to the processor 101.
  • the output device 104 is, for example, a display device such as a liquid crystal display, a plasma display, an organic EL display, a CRT display, or an LED matrix panel.
  • the output device 104 may further include an audio output device such as a speaker that outputs audio, a light emitting device such as a lamp or a light that outputs light, and a vibration device such as a vibrator that outputs vibration.
  • the communication device 105 is a device that exchanges data with the microscope 10 and other devices.
  • the communication device 105 may be a communication device that exchanges data by wire, or may be a communication device that exchanges data wirelessly.
  • the program or learned model stored in the storage device 102 may be acquired by the communication device 105 from another device via the Internet.
  • the egg inspection performed using the microscope 10 is a work performed by an embryo culture person while looking into the eyepiece lens 19 at a relatively low observation magnification. Therefore, it is desirable that the microscope 10 is a stereomicroscope capable of observing an object three-dimensionally at a low magnification. More specifically, for example, as shown in FIG. 3, the left eye system including the splitter 14a, the photographing device 15a, the splitter 16a, the projection device 17a, the imaging lens 18a, and the eyepiece 19a, the splitter 14b, and the photographing device 15b. It is desirable to have a binocular stereomicroscope having a splitter 16b, a projection device 17b, an imaging lens 18b, and a right eye system including an eyepiece 19b.
  • FIG. 4 is a flowchart showing an example of the learning process according to the present embodiment.
  • FIG. 5 is a diagram showing an example of a screen for creating a learning data set.
  • FIG. 6 is a diagram illustrating an image included in the learning data set.
  • the learning process shown in FIG. 4 may be performed by a computer different from the image processing device 100, and the image processing device 100 may acquire the completed trained model via a network or a recording medium. ..
  • the window W1 shown in FIG. 5 is displayed.
  • the window W1 shown in FIG. 5 is a screen for creating a learning data set, and the window W1 has an area R1 for selecting an image file of the follicular fluid and an image of the follicular fluid corresponding to the image file selected in the area R1.
  • the area R2 for displaying the above is included.
  • Step S1 When the worker building the trained model selects one image file from the plurality of image files listed in the area R1, the computer displays the still image of the follicular fluid corresponding to the selected image file in the area R2.
  • the worker is, for example, an experienced embryo incubator. After that, the operator finds the egg from the still image displayed in the area R2, attaches a rectangular box B to the area containing the egg, and saves the file as shown in FIG.
  • the computer creates a learning data set (step S2). Specifically, the computer cuts out the area surrounded by the rectangular box B from the image displayed in the area R2 and adds it to the learning data set. By repeating step S1 and step S2 on a plurality of still images, a sufficient amount of training data set is prepared.
  • the cumulus cells may come off during egg collection when the egg is sucked from the follicle. Therefore, some of the eggs found at the time of egg inspection are surrounded by cumulus cells, while others have the cumulus cells peeled off and the corona radiata surrounding the egg is exposed. Therefore, it is desirable that the images included in the training data set include both an image of an egg surrounded by cumulus cells and an image of an egg detached from the cumulus cells.
  • the data D1 included in the data set DS shown in FIG. 6 is an example of an image of an egg from which cumulus cells have been peeled off.
  • a zona pellucida E2 and a corona radiata E3 surround the egg E1.
  • data D2 is an example of an image of an egg surrounded by cumulus cells. It shows that the egg E1 (zona pellucida E2, corona radiata E3) is surrounded by cumulus cells E4.
  • the computer trains the model that performs object detection on the egg using the training data set (step S3). That is, train, validate, and test the model.
  • the data set created in step S2 may be divided into training data / verification data and test data. In that case, it is desirable that the training and validation data be used for both training and validation using cross-validation.
  • the training data is data used for training the model
  • the verification data is data used for verifying the model.
  • the test data is data used for testing the model.
  • the computer repeats the above processing until the model clears the test, and when it clears, that is, when learning is completed, the processing in FIG. 4 ends.
  • the obtained trained model is stored in the storage unit 130 of the image processing device 100.
  • FIG. 7 is a flowchart showing an example of the egg inspection support process according to the present embodiment.
  • FIG. 8 is a flowchart showing an example of the auxiliary image generation process according to the present embodiment.
  • FIG. 9 is an example of an image seen from the eyepiece lens 19.
  • the egg inspection support method performed by the microscope system 1 will be described with reference to FIGS. 7 to 9.
  • the egg inspection support process shown in FIG. 7 is started when the user of the microscope system 1 places a container 40 containing the follicular fluid 50 in the stage 11 and starts egg inspection.
  • the microscope system 1 first projects an optical image onto the image plane (step S11).
  • the optical system including the objective lens 12 and the imaging lens 18 is placed on the optical path of the microscope 10 based on the light from the follicular fluid 50, for example, the optical image O1 of the follicular fluid 50 as shown in FIG. To form.
  • the microscope system 1 acquires a captured image at the same time as step S11 (step S12).
  • the photographing device 15 acquires a photographed image of the follicular fluid based on the light from the follicular fluid 50, and outputs the photographed image to the image processing device 100.
  • the microscope system 1 performs the auxiliary image generation process shown in FIG. 8 (step S13).
  • the image processing device 100 first detects an egg from the captured image (step S21).
  • the image analysis unit 110 detects an object targeting an egg by inputting a captured image as an input image into the trained model.
  • the image processing device 100 After that, the image processing device 100 generates an image having a bounding box in the region where the egg is detected as an auxiliary image (step S22), and ends the auxiliary image generation process.
  • the image generation unit 120 generates the auxiliary image A1 based on the object detection result by the image analysis unit 110. More specifically, the image generation unit 120 may determine only an object whose classification probability output from the image analysis unit 110 together with the position information of the object in object detection is equal to or greater than the threshold value, and classifies the object above the threshold value.
  • Auxiliary image A1 having a bounding box in an area where an object having a probability of is present may be generated.
  • the auxiliary image A1 shown in FIG. 9 shows a state in which a bounding box is formed in two regions where an egg is presumed to be present by object detection.
  • the microscope system 1 When the auxiliary image generation process is completed, the microscope system 1 superimposes the auxiliary image on the optical image (step S14), and ends the process shown in FIG. 7.
  • the projection device 17 projects the auxiliary image A1 generated in step S13 on the image plane on which the optical image O1 is formed, thereby superimposing the auxiliary image A1 on the optical image O1.
  • the embryo culture person who is the user of the microscope system 1 searches for the egg while looking into the eyepiece lens 19 and looking at the image in which the optical image O1 and the auxiliary image A1 are superimposed as shown in FIG. be able to. Therefore, even an inexperienced embryo culture person can surely find an egg that is often overlooked, such as an egg isolated from the cumulus cells. Therefore, according to the microscope system 1, it is possible to support the search for an egg in egg inspection.
  • FIG. 9 illustrates an auxiliary image A1 having a bounding box in an estimated region where an egg is estimated to be present by object detection, but the auxiliary image may include information for specifying the estimated region. Therefore, instead of the rectangular bounding box, the estimated area may be surrounded by an arbitrary shape such as a circle. Further, instead of surrounding the estimated region, the region where the egg exists may be specified by another method such as pointing to the estimated region with an arrow or the like.
  • FIG. 10 is another example of the image seen from the eyepiece lens 19.
  • the auxiliary image A1 including only the information for specifying the estimation area is illustrated, but the information output from the image analysis unit 110 usually includes the probability of classification in addition to the position information of the target. Is. Therefore, the image generation unit 120 may generate an auxiliary image by using the probability of classification in addition to the position information of the target, and the auxiliary image is information that specifies an estimated region, for example, as shown in FIG. In addition to the (bounding box), information on the probability of being classified as an egg may be included.
  • the egg in the first bounding box was classified as an egg with a 95% probability
  • the egg in the second bounding box was classified as an egg with an 80% probability. It is shown that it was done.
  • the embryo cultivator makes a final decision as to whether or not the egg is an egg based on his or her initial opinion and the probability of classification when searching for an egg. You can make a good decision.
  • the egg inspection time will be shortened by prioritizing the confirmation from the one with the highest classification probability.
  • FIG. 11 is a flowchart showing an example of the auxiliary image generation process according to the present embodiment.
  • FIG. 12 is yet another example of the image seen from the eyepiece lens 19.
  • the image analysis unit 110 detects an egg in another captured image acquired before the captured image. It differs from the microscope system 1 shown in FIG. 1 in that the object tracking for estimating the current position of the image is performed. That is, in the present embodiment, the image analysis unit 110 performs image analysis including object detection and object tracking.
  • the egg inspection support process according to the present embodiment is the same as the egg inspection support process shown in FIG.
  • step S12 the microscope system performs the auxiliary image generation process shown in FIG.
  • the image processing device 100 first detects an egg from the captured image (step S31). This process is the same as in step S21 of FIG.
  • the image processing device 100 estimates the current position of the previously detected egg (step 32).
  • the image analysis unit 110 tracks an object targeting an egg. Specifically, the image analysis unit 110 estimates the current position of the egg based on a plurality of frames of captured images including the latest captured image. Further, the image analysis unit 110 may determine only the target whose classification probability output in the object detection is equal to or greater than the threshold value as an egg, or may set only the target determined to be an egg as the object tracking target.
  • the specific method of object tracking is not particularly limited, but it is desirable to adopt a robust method for occlusion in which the tracking target is hidden behind other objects.
  • the current position of the egg may be estimated using a Kalman filter, a particle filter, or the like.
  • the optical flow of the container may be calculated, and the current position of the egg may be estimated from the calculated optical flow.
  • the image processing apparatus 100 After that, the image processing apparatus 100 generates an image having a bounding box in the region where the egg is detected and a second bounding box in the region including the estimated current position as an auxiliary image (step S33).
  • the auxiliary image generation process is terminated.
  • the image generation unit 120 generates an auxiliary image based on the object detection result and the object tracking result by the image analysis unit 110. Specifically, as shown in FIG.
  • the image generation unit 120 has an auxiliary image having only a rectangular bounding box while all the eggs in the visual field are detected by object detection (auxiliary image A11, Auxiliary image A12) is generated, and if some eggs are hidden behind other cells, even if an auxiliary image (auxiliary image A13) having a rectangular bounding box and a fan-shaped bounding box is generated. good.
  • the rectangular bounding box indicates the estimated region estimated by the object detection
  • the fan-shaped bounding box indicates the region including the current position of the egg estimated by the object tracking.
  • the microscope system When the auxiliary image generation process is completed, the microscope system superimposes the auxiliary image on the optical image (step S14), and ends the process shown in FIG. 7.
  • the auxiliary image projected on the image plane is the auxiliary image. It shows how the image has changed as A11, the auxiliary image A12, and the auxiliary image A13.
  • the microscope system according to the present embodiment can also support the search for an egg in egg inspection, as in the case of the microscope system 1.
  • the embryo cultivator may move the container to move the field of view to another place, shake the container to move the egg hidden behind other cells, and so on. While such work may allow the egg to move in the container and detect a new egg by object detection, the previously detected egg is hidden behind other cells and disappears. It may end up.
  • the microscope system according to the present embodiment since the object tracking is performed on the egg, the existence of the hidden egg can also be notified to the user. Therefore, according to the microscope system according to the present embodiment, it is possible to more strongly support the search for an egg in egg inspection.
  • FIG. 13 is a flowchart showing an example of the auxiliary image generation process according to the present embodiment.
  • FIG. 14 is yet another example of the image seen from the eyepiece lens 19.
  • the microscope system according to the present embodiment (hereinafter, simply referred to as a microscope system) is similar to the microscope system according to the second actual embodiment in that the image analysis unit 110 performs object tracking in addition to object detection. ..
  • the microscope system differs from the microscope system according to the second embodiment in that it notifies the user of the presence of eggs that have moved out of the field of view in addition to the presence of eggs in the field of view. More specifically, the microscope system performs egg inspection support processing including the auxiliary image generation processing shown in FIG. 13 instead of the auxiliary image generation processing shown in FIG.
  • the egg inspection support method performed by the microscope system according to the present embodiment will be described with reference to FIGS. 13 and 14, focusing on the auxiliary image generation process.
  • the microscope system performs the auxiliary image generation process shown in FIG.
  • the image processing apparatus 100 first detects an egg from the captured image (step S41) and estimates the current position of the previously detected egg (step 42).
  • the image processing apparatus 100 has a bounding box in the region where the egg is detected, has a second bounding box in the region including the estimated current position in the field of view, and has an estimated current position outside the field of view.
  • An image having information indicating the direction of is generated as an auxiliary image (step S43), and the auxiliary image generation process is completed.
  • the image generation unit 120 generates an auxiliary image based on the object detection result and the object tracking result by the image analysis unit 110. Specifically, as shown in FIG. 14, the image generation unit 120 has an auxiliary image (auxiliary image A21, auxiliary image A22) having only a rectangular bounding box while all the eggs are detected by object detection.
  • auxiliary image A23 having a rectangular bounding box and a fan-shaped bounding box is generated, and some eggs are generated.
  • an auxiliary image (auxiliary image A24) having a rectangular bounding box and an arrow mark is generated. Note that.
  • the arrow mark is an example of information indicating the direction of the current position outside the field of view estimated by object tracking, and is an example of information indicating the direction in which the egg outside the field of view exists.
  • FIG. 14 shows an auxiliary projected on the image plane when the optical image formed on the image plane by moving the container changes like the optical image O21, the optical image O22, the optical image O23, and the optical image O24. It shows how the image has changed like the auxiliary image A21, the auxiliary image A22, the auxiliary image A23, and the auxiliary image A24.
  • the embryo cultivator can surely find the egg that is often overlooked. Further, according to the microscope system according to the present embodiment, since the object tracking is performed on the egg, it is possible to notify the user of the existence of the hidden egg or the existence of the egg that has moved out of the field of view. Therefore, according to the microscope system according to the present embodiment, it is possible to more strongly support the search for an egg in egg inspection.
  • FIG. 15 is a diagram showing another example of the screen for creating the learning data set.
  • FIG. 16 is a diagram showing still another example of the screen for creating the learning data set.
  • FIG. 17 is a flowchart showing an example of the auxiliary image generation process according to the present embodiment.
  • FIG. 18 is yet another example of the image seen through the eyepiece 19.
  • the image analysis unit 110 detects eggs by dividing them into a plurality of classes having different recommendations as collection targets in egg inspection by object detection. This is different from the microscope system 1 shown in FIG.
  • the egg inspection support process according to the present embodiment is the same as the egg inspection support process shown in FIG. 7, except that the auxiliary image generation process shown in FIG. 8 is included instead of the auxiliary image generation process shown in FIG. be.
  • the operator finds an egg from the still image displayed in the area R2 on the window W2 shown in FIG. 15, attaches a rectangular box B to the area containing the egg, and then further examines the egg. Judge the recommendation level as a collection target in the above and enter the recommendation level information in the input field C. Then, when the save operation of the worker is detected, the computer cuts out the area surrounded by the rectangular box B from the image displayed in the area R2 and learns it as an image of the class according to the input recommendation degree information. Add to the dataset for.
  • the recommendation level information input by the worker may be egg maturity information, for example, "GV” indicating a degenerated egg which is a GV stage egg and "GV” indicating an immature egg which is an MI stage egg. MI ",” MII "indicating a mature egg which is a MII stage egg may be included. Further, the operator may input the recommendation degree information by distinguishing, for example, overripe eggs, moderately mature eggs, abnormal eggs and the like.
  • the storage device 102 stores a trained model that has learned at least the position of the egg and the plurality of classes of the egg with respect to the input image.
  • a sample image of the egg having a different maturity is displayed on the learning data set creation screen (window W2).
  • the region R3 including the above may be displayed.
  • step S12 the microscope system performs the auxiliary image generation process shown in FIG.
  • the image processing device 100 first detects an egg from the captured image (step S51). This process is the same as the process of step S21 of FIG.
  • the image processing device 100 After that, the image processing device 100 generates an image having a bounding box with an egg class in the estimation area as an auxiliary image (step S52), and ends the auxiliary image generation process.
  • the image generation unit 120 generates an auxiliary image based on the object detection result by the image analysis unit 110. Specifically, the image generation unit 120 generates an auxiliary image A31 having information (GV, MI, MII) for identifying an egg class near a rectangular bounding box, for example, as shown in FIG.
  • the microscope system When the auxiliary image generation process is completed, the microscope system superimposes the auxiliary image on the optical image (step S14), and ends the process shown in FIG. 7.
  • the projection device 17 superimposes the auxiliary image A31 on the optical image O31, for example, as shown in FIG.
  • the user can be notified of the recommendation level of the egg existing in the estimated region as well as the estimated region. Therefore, for example, when it is not necessary to collect all the eggs, it is possible to easily select the eggs to be collected.
  • an example of notifying the user of the recommendation level by displaying character information that identifies the egg class is shown.
  • a bounding box is created with a color corresponding to the egg class. You may notify the user of the recommendation level with.
  • the recommendation level may be notified to the user by creating a bounding box having a shape corresponding to the egg class.
  • FIG. 19 is a flowchart showing an example of the auxiliary image generation process according to the present embodiment.
  • FIG. 20 is yet another example of the image seen through the eyepiece 19.
  • the microscope system according to the fourth embodiment is different from the microscope system according to the fourth embodiment in that the image analysis unit 110 calculates the size of the egg detected by the object detection in the microscope system (hereinafter, simply referred to as a microscope system) according to the present embodiment. Is different. Further, the microscope system performs egg inspection support processing including the auxiliary image generation processing shown in FIG. 19 instead of the auxiliary image generation processing shown in FIG.
  • the egg inspection support method performed by the microscope system according to the present embodiment will be described with reference to FIGS. 19 and 20, paying attention to the auxiliary image generation process.
  • step S12 the microscope system performs the auxiliary image generation process shown in FIG.
  • the image processing device 100 first detects an egg from the captured image (step S61). This process is the same as the process of step S21 of FIG.
  • the image processing device 100 calculates the size of the egg (step S62).
  • the image analysis unit 110 may calculate the size of the egg from the area of the recommended region detected by the object detection, for example.
  • the size of the egg may be calculated from the size of the bounding box surrounding the recommended area. The size may be calculated in units of length such as diameter, or in units of area.
  • the image processing device 100 After that, the image processing device 100 generates an image having a bounding box with an egg class and size in the estimated region as an auxiliary image (step S63), and ends the auxiliary image generation process.
  • the image generation unit 120 has information for specifying the egg class (GV, MI, MII) and information for specifying the egg size (90 ⁇ m) near the rectangular bounding box. , 100 ⁇ m, 120 ⁇ m) to generate an auxiliary image A41.
  • the microscope system When the auxiliary image generation process is completed, the microscope system superimposes the auxiliary image on the optical image (step S14), and ends the process shown in FIG. 7.
  • the projection device 17 superimposes the auxiliary image A41 on the optical image O41, for example, as shown in FIG.
  • the microscope system it is possible to notify the user of the recommended degree and size of the egg existing in the estimated region as well as the estimated region. Therefore, for example, when it is not necessary to collect all the eggs, it is possible to easily select the eggs to be collected.
  • the microscope system may further perform object tracking.
  • the display mode may be different between the egg detected by the object detection and the egg whose current position is estimated by the object tracking.
  • the recommendation level information (class) and size may be displayed for the egg detected by the object detection, and the recommendation level for the egg whose current position is estimated by the object tracking. Only information (class) may be displayed.
  • FIG. 21 shows a state in which the auxiliary image A51 is superimposed on the optical image O51. Further, in the auxiliary image A51, an egg detected by object detection is assigned a class and a size, and an egg whose existence is presumed by object tracking is assigned only a class.
  • FIG. 22 is a diagram showing the configuration of the microscope system 2.
  • FIG. 23 is a flowchart showing an example of the egg inspection support process according to the present embodiment.
  • the microscope system 2 is different from the microscope system 1 in that it includes a notification device 200 for notifying the detection of an egg in object detection.
  • the notification device 200 is, for example, an audio output device such as a speaker that outputs audio, a light emitting device such as a lamp or a light that outputs light, or a vibration device such as a vibrator that outputs vibration.
  • the microscope system 2 performs the egg inspection support process shown in FIG. 23 instead of the egg inspection support process shown in FIG. 7.
  • the egg inspection support method performed by the microscope system 2 will be described with reference to FIGS. 22 and 23.
  • steps S71 to S74 shown in FIG. 23 is the same as the processing of steps S11 to S14 shown in FIG.
  • the image processing apparatus 100 determines whether or not an egg is detected in the object detection in step S73 (step S75), and if it is determined that the egg is detected (step S75YES). ),
  • the notification device 200 notifies the detection of the egg in the object detection (step S76).
  • the notification method is not particularly limited, but the notification device 200 may, for example, emit a warning sound or the like to call attention, or may emit light to call attention. In addition, the detection of the egg may be notified by voice.
  • the output device 104 of the image processing device 100 may also serve as the notification device 200.
  • the microscope system 2 according to the present embodiment can also support the search for an egg in egg inspection, similarly to the microscope system 1 according to the first embodiment. Further, in addition to visually notifying the user of the existence of the egg by projecting an auxiliary image, the notification device 200 notifies the user of the existence of the egg more reliably. Can be done.
  • FIG. 24 is a diagram showing the configuration of the microscope system 3.
  • FIG. 25 is a flowchart showing an example of the egg inspection support process according to the present embodiment.
  • FIG. 26 is yet another example of the image seen through the eyepiece 19.
  • the microscope system 3 differs from the microscope system 1 in that the microscope 20 is provided instead of the microscope 10. Further, the microscope 20 is different from the microscope 10 in that the imaging device 21 is provided.
  • the photographing device 21 is a device for acquiring and recording a moving image of a photographed image (second photographed image) of the space above the stage 11 including the container 40, and is a second photographing device.
  • the imaging device 21 is installed mainly for the purpose of photographing the work of the embryo incubator on the stage 11.
  • the microscope system 3 performs the egg inspection support process shown in FIG. 25 instead of the egg inspection support process shown in FIG. 7.
  • the egg inspection support method performed by the microscope system 3 according to the present embodiment will be described with reference to FIGS. 24 to 26.
  • steps S81, S82, and S84 shown in FIG. 25 is the same as the processing of steps S11 to S13 shown in FIG.
  • step S83 the microscope system 3 acquires a second captured image of the space above the stage 11 with the photographing device 21. Here, a moving image is taken instead of a still image.
  • the image processing apparatus 100 determines whether or not an egg is detected in the object detection in step S84 (step S85), and determines that no egg is detected. (Step S85NO), the projection device 17 is controlled, and the projection device 17 superimposes an auxiliary image on the optical image (step S86).
  • the process of step S86 is the same as the process of step S14 shown in FIG.
  • the image processing device 100 controls the projection device 17, and the projection device 17 superimposes the auxiliary image and the moving image of the second captured image on the optical image.
  • Step S87 That is, under the control of the image processing device 100, the photographing device 21 records a moving image of the second captured image including the frame at the time when the egg is detected by the object detection, and the projection device 17 records the moving image as shown in FIG.
  • the recorded moving image A62 is superimposed on the optical image O62 together with the auxiliary image A61.
  • the work of the embryo cultivator immediately before the egg detection was recorded when the optical image formed on the image plane changed from the optical image O61 in which the egg was not detected to the optical image O62 in which the egg was detected. It shows how the moving image A62 is displayed together with the auxiliary image A61.
  • the microscope system 3 according to the present embodiment can also support the search for an egg in egg inspection, similarly to the microscope system 1 according to the first embodiment. Further, in the microscope system 3, details of the work performed by the embryo cultivator to detect the egg, for example, information such as how to tilt and move the container are provided to the embryo cultivator using a moving image. Therefore, according to the microscope system 3, it is possible to provide an embryo cultivator with an opportunity to learn a desirable work procedure for discovering an egg.
  • FIG. 27 is a flowchart showing an example of the auxiliary image generation process according to the present embodiment.
  • FIG. 28 is yet another example of the image seen through the eyepiece 19.
  • the image analysis unit 110 performs a process of recognizing that an egg has been collected from the follicular fluid 50 in addition to object detection and object tracking. The point is different from the microscope system according to the third actual form. Further, the microscope system performs egg inspection support processing including the auxiliary image generation processing shown in FIG. 27 instead of the auxiliary image generation processing shown in FIG.
  • the egg inspection support method performed by the microscope system according to the present embodiment will be described with reference to FIGS. 27 and 28, focusing on the auxiliary image generation process.
  • step S91 shown in FIG. 27 is the same as the process of step S41 shown in FIG.
  • the image processing device 100 detects the collection of eggs (step S92). Specifically, the image analysis unit 110 performs a process of recognizing that an egg has been collected from the follicular fluid 50 based on a moving image of a captured image captured by the imaging device 15. Further, the image processing apparatus 100 estimates the current position of the previously detected egg (step S93).
  • the process of step S93 is the same as the process of step S42 shown in FIG. 13, except that the egg collected in step S92 is excluded from the tracking target.
  • the image processing apparatus 100 has a bounding box in the region where the egg is detected, has a second bounding box in the region including the estimated current position in the visual field, and has an estimated direction of the current position outside the visual field.
  • An image having an arrow mark pointing to and containing information indicating the egg inspection status is generated as an auxiliary image (step S94), and the auxiliary image generation process is completed. It is desirable that the information indicating the egg inspection status included in the auxiliary image includes, for example, the number of detected eggs and the number of collected eggs, as shown in FIG. 28.
  • FIG. 28 shows the state before and after collecting the egg with a pipette.
  • the optical image O71 before egg collection is superposed with the auxiliary image A71 showing the number of detected eggs 4 and the number of collected eggs 0, whereas the optical image O72 after egg collection has 3 detected eggs.
  • An auxiliary image A72 showing the number of collected eggs 1 is superimposed.
  • FIG. 29 is a diagram showing the configuration of the microscope system 4.
  • FIG. 30 is a flowchart showing an example of the egg inspection support process according to the present embodiment.
  • FIG. 31 is yet another example of the image seen from the eyepiece lens 19.
  • the microscope system 4 is different from the microscope system 1 in that the identification device 300 is provided. Further, the identification device 300 is, for example, a QR code (registered trademark) reader or the like, and is a device for acquiring identification information added to the container 40.
  • the microscope system 4 performs the egg inspection support process shown in FIG. 30 instead of the egg inspection support process shown in FIG. 7.
  • the egg inspection support method performed by the microscope system 4 according to the present embodiment will be described with reference to FIGS. 29 to 31.
  • the microscope system 4 first acquires identification information (step S101).
  • the embryo cultivator brings the identification label (QR code) attached to the container 40 closer to the identification device 300 before arranging the container 40 on the stage 11.
  • the identification device 300 reads the identification label and acquires the identification information.
  • the identification information includes information on the provider of the follicular fluid 50 in the container 40, or link information indicating a place where the information on the donor is stored.
  • the acquired identification information is output from the identification device 300 to the image processing device 100.
  • the microscope system 4 performs the processes from step S102 to step S104.
  • the processing of steps S102 to S104 is the same as the processing of steps S11 to S13 shown in FIG.
  • the microscope system 4 generates a second auxiliary image (step S105).
  • the image generation unit 120 generates a second auxiliary image A82 including information on the donor of the follicular fluid 50, as shown in FIG. 31, for example, based on the identification information acquired in step S101.
  • the second auxiliary image A82 is different from the auxiliary image generated based on the captured image in that it is generated based on the identification information.
  • the second auxiliary image A82 includes information such as the ID and name of the provider of the follicular fluid 50, the position of the follicle (ovary) from which the follicular fluid 50 was collected, the order of collecting the follicular fluid 50, and the amount of collection. There is.
  • FIG. 31 shows a state in which the optical image O81, the auxiliary image A81, and the second auxiliary image A82 are superimposed.
  • FIG. 32 is a diagram showing the configuration of the microscope system 5.
  • FIG. 33 is a flowchart showing an example of the egg inspection support process according to the present embodiment.
  • FIG. 34 is yet another example of the image seen from the eyepiece lens 19.
  • the microscope system 5 is different from the microscope system 1 in that it includes a detection device 400.
  • the detection device 400 is, for example, a sensor that detects that the container 40 is placed on the stage 11, and is a device that detects the start of egg inspection.
  • the microscope system 5 performs the egg inspection support process shown in FIG. 33 instead of the egg inspection support process shown in FIG. 7.
  • the egg inspection support method performed by the microscope system 5 according to the present embodiment will be described with reference to FIGS. 32 to 34.
  • the microscope system 5 starts the measurement with the timer (step S111).
  • the timer may be included in the processor 101, for example, and measures the elapsed time after detecting a predetermined event. In this example, the timer measures the elapsed time after detecting the detection signal from the detection device 400.
  • step S112 performs the processes from step S112 to step S114.
  • the processing of steps S112 and S113 is the same as the processing of steps S11 and S12 shown in FIG.
  • step S114 is the same as the auxiliary image generation process shown in FIG. 27.
  • the microscope system 5 generates a third auxiliary image (step S115).
  • the image generation unit 120 generates, for example, a third auxiliary image A92 including the elapsed time measured by the timer, as shown in FIG. 34.
  • the third auxiliary image A92 is different from the auxiliary image generated based on the captured image in that it is generated based on the measurement result of the timer.
  • the microscope system 5 (projection device 17) superimposes the auxiliary image and the third auxiliary image on the optical image (step S116), and ends the process shown in FIG. 33.
  • FIG. 34 shows a state in which the optical image O91, the auxiliary image A91, and the third auxiliary image A92 are superimposed.
  • the user can perform the egg inspection work while constantly checking the elapsed time from the start of the egg inspection.
  • the start of egg inspection may be detected based on, for example, an operation signal from the input device 103. .. That is, the input device 103 may function as the detection device 400.
  • FIG. 35 is a diagram showing the configuration of the microscope system 6.
  • FIG. 36 is a flowchart showing an example of the auxiliary image generation process according to the present embodiment.
  • Each of FIGS. 37 to 39 is yet another example of the image seen through the eyepiece 19.
  • the microscope system 6 includes a notification device 200 (first notification device) for notifying the detection of eggs and a second notification device 500 for notifying the recommended operation, and the image analysis unit 110 adds to the object detection. It differs from the microscope system 2 in that the process of estimating the recommended operation is performed.
  • the second notification device 500 is, for example, an audio output device such as a speaker that outputs audio.
  • the microscope system 6 is different from the microscope system 2 in that the auxiliary image generation process shown in FIG. 36 is performed in the egg inspection support process shown in FIG. 23.
  • the egg inspection support method performed by the microscope system 6 will be described with reference to FIGS. 35 to 39.
  • the microscope system 6 performs the auxiliary image generation process shown in FIG. 36.
  • the image processing device 100 first detects an egg from the captured image (step S121). This process is the same as the process of step S21 of FIG.
  • the image processing device 100 estimates the recommended operation from the captured image (step S122).
  • the image analysis unit 110 estimates a recommended operation to be performed during egg inspection based on the captured image. This process may be implemented, for example, by a trained model. For example, in a situation where the optical image O101 as shown in FIG. 37 can be obtained, it is difficult to find an egg because there are many bubbles. Therefore, the image analysis unit 110 may estimate the operation of shaking the container 40 as a recommended operation. Further, for example, in a situation where the optical image O111 as shown in FIG. 38 can be obtained, the contrast of the image is low and it is difficult to find the egg. Therefore, the image analysis unit 110 may estimate the operation of operating the focusing unit to adjust the focus as a recommended operation.
  • the image analysis unit 110 recommends stopping the egg inspection with the current follicular fluid 50. You may estimate.
  • step S123 the image processing device 100 determines whether or not the recommended operation is estimated in step S122 (step S123). If the recommended operation was not estimated, that is, if there was no recommended operation (step S123NO), the image processing apparatus 100 generated an image having a bounding box in the region where the egg was detected as an auxiliary image (step S124). , Ends the auxiliary image generation process.
  • step S124 is the same as the process of step S22 of FIG.
  • the image processing apparatus 100 When the recommended operation is estimated, that is, when there is a recommended operation (step S123YES), the image processing apparatus 100 has a bounding box in the region where the egg is detected, and the image contains information representing the recommended operation. Is generated as an auxiliary image (step S125), and the auxiliary image generation process is completed.
  • the image generation unit 120 if the operation of shaking the container 40 is estimated as a recommended operation, the image generation unit 120 generates, for example, the auxiliary image A101 shown in FIG. 37. Further, if the operation of adjusting the focus is estimated as a recommended operation, the image generation unit 120 generates, for example, the auxiliary image A111 shown in FIG. 38. Further, if the operation of stopping the egg inspection is estimated as a recommended operation, the image generation unit 120 generates, for example, the auxiliary image A122 shown in FIG. 39.
  • the microscope system 6 (projection device 17) superimposes an auxiliary image on the optical image.
  • the microscope system 6 notifies the detection of the egg by using the notification device 200 when the egg is detected, and notifies the recommended operation by using the second notification device 500 when the recommended operation is estimated. do. As a result, the user can more reliably recognize the recommended operation.
  • FIG. 40 is a diagram showing the configuration of the microscope system 7.
  • the projection device 17 arranged on the optical path branched from the optical path between the objective lens 12 and the eyepiece lens 19 is illustrated, but the device for superimposing the auxiliary image is an objective as shown in FIG. 40. It may be arranged on the optical path between the lens 12 and the eyepiece 19.
  • the microscope system 7 includes a microscope 30 including a display device 31 on an image plane on which an optical image is formed, and an image processing device 100.
  • the display device 31 is a transmissive image display device, and is an example of a superimposition device that superimposes an auxiliary image on an optical image by displaying the auxiliary image directly on the image plane. Similar to the microscope system 1, the microscope system 7 can also support the user's search for eggs in egg inspection.
  • FIG. 41 is a diagram showing the configuration of the microscope system 8.
  • the photographing device 15 and the projection device 17 are provided in the microscope 10, and the image processing device 100 independent of the microscope 10 exchanges data between the photographing device 15 and the projection device 17, thereby forming an auxiliary image as an optical image.
  • the photographing device, the projection device, and the image processing device may be integrally configured as shown in FIG. 41.
  • the projection unit 600 mounted between the microscope main body 70 and the lens barrel 80 of the microscope 60 includes an imaging device 15, a projection device 17, and an image processing device (image analysis unit 110, image generation unit 120, A storage unit 130) may be provided.
  • an image processing device image analysis unit 110, image generation unit 120, A storage unit 130
  • Microscope system 10, 20, 30, 60 ... Microscope, 11 ... Stage, 12 ... Objective lens, 15, 15a, 15b, 21 ... Imaging device, 17, 17a , 17b ... Projection device, 18, 18a, 18b ... Imaging lens, 19 ... Eyepiece, 31 ... Display device, 40 ... Container, 50 ... Follicle fluid, 70 ... Microscope body, 80 ... lens barrel, 100 ... image processing device, 101 ... processor, 102 ... storage device, 110 ... image analysis unit, 120 ... image generation unit, 130. .. Storage unit, 200 ... Notification device, 300 ... Identification device, 400 ... Detection device, 500 ... Second notification device, 600 ... Projection unit

Landscapes

  • Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

顕微鏡システム１は、顕微鏡１０と、ステージ１１に置かれた容器４０内に収容された卵胞液５０の撮影画像を取得する撮影装置１５と、撮影装置１５で取得した撮影画像に基づいて、卵子の存在が推定される領域を特定する情報を含む補助画像を生成する画像処理装置１００と、顕微鏡１０の光路上の像面に形成される卵胞液５０の光学画像上に、画像処理装置１００で生成された補助画像を重畳する重畳装置である投影装置１７と、を備える。

Description

顕微鏡システム、投影ユニット、及び、検卵支援方法
　本明細書の開示は、顕微鏡システム、投影ユニット、及び、検卵支援方法に関する。
　晩婚化・晩産化が進む現在、不妊治療を受ける患者の数は年々増加しており、生殖補助医療（ＡＲＴ：Ａｓｓｉｓｔｅｄ　Ｒｅｐｒｏｄｕｃｔｉｖｅ　Ｔｅｃｈｎｏｌｏｇｙ）の需要もますます高まっている。
　ＡＲＴは、体外受精（ＩＶＦ：Ｉｎ　ｖｉｔｒｏ　ｆｅｒｔｉｌｉｚａｔｉｏｎ）や、卵細胞質内精子注入法（ＩＣＳＩ：Ｉｎｔｒａｃｙｔｏｐｌａｓｍｉｃ　ｓｐｅｒｍ　ｉｎｊｅｃｔｉｏｎ）に代表される顕微授精など、ヒトから取り出した卵子と精子を体外で受精させる技術の総称であり、採取した精子を子宮に注入し体内で卵子と受精させる一般的な人工授精とは区別される。
　ＡＲＴに関連する技術は、例えば、特許文献１に記載されている。特許文献１には、ＡＲＴの一種である顕微授精に好適な顕微鏡が記載されている。
国際公開第２０１２／１５０６８９号
　ところで、卵子と精子を体外で受精させるＡＲＴでは、予め母体から卵子を取り出す必要がある。このため、医師が卵巣内の卵胞から卵胞液を採取し（これを採卵という。）、胚培養士が採取された卵胞液から卵子を見つけ出して回収する（これを検卵という）、といった作業が行われる。
　採卵のためには、患者は医療機関へ通院しなければならない。さらに、医療機関では、膣から卵巣に採卵針が穿刺され、それによって卵巣から卵胞液が採取される。このように、採卵は、患者に肉体的にも精神的にも大きな負担を強いることになる。また、一回当たりの採卵で採取可能な卵子数も限られている。このため、不妊治療患者にとって卵子は貴重であり、医療機関には、採卵において採取された卵胞液から卵子を見逃すことなく回収することが求められる。
　その一方で、採卵において採取された卵胞液中の卵子を見逃すことなく見つけ出して回収することは容易ではない。これは、卵胞から採取された卵胞液には卵子以外にも様々な細胞が含まれているためである。このため、卵子を正しく認識して回収することは熟練者であっても必ずしも容易ではなく、経験の浅い胚培養士にとっては困難な作業である。
　また、検卵には実体顕微鏡が用いられるため、卵子を含む卵胞液は、検卵中インキュベータから取り出されて室内の雰囲気下で暴露される。卵子が暴露される期間は短ければ短いほどよいため、胚培養士には、検卵を可能な限り素早く、且つ、確実に行うことが求められる。
　以上のような実情を踏まえ、本発明の一側面に係る目的は、検卵における卵子の探索を支援する技術を提供することである。
　本発明の一態様に係る顕微鏡システムは、顕微鏡と、前記顕微鏡のステージに置かれた容器内に収容された卵胞液の撮影画像を取得する撮影装置と、前記撮影装置で取得した前記撮影画像に基づいて、卵子の存在が推定される領域を特定する情報を含む補助画像を生成する画像処理装置と、前記顕微鏡の光路上の像面に形成される前記卵胞液の光学画像上に、前記画像処理装置で生成された前記補助画像を重畳する重畳装置と、を備える。
　本発明の一態様に係る投影ユニットは、顕微鏡に装着して使用される投影ユニットであって、前記顕微鏡のステージに置かれた容器内に収容された卵胞液の撮影画像に基づいて、卵子の存在が推定される領域を特定する情報を含む補助画像を生成する画像処理装置と、前記顕微鏡の光路上の像面に形成される前記卵胞液の光学画像上に、前記画像処理装置で生成された前記補助画像を重畳する重畳装置と、を備える。
　本発明の一態様に係る検卵支援方法は、顕微鏡のステージに置かれた容器内に収容された卵胞液の撮影画像を取得し、前記撮影装置で取得した前記撮影画像に基づいて、卵子の存在が推定される領域を特定する情報を含む補助画像を生成し、前記顕微鏡の光路上の像面に形成される前記卵胞液の光学画像上に、生成された前記補助画像を重畳することを含む。
　上記の態様によれば、検卵における卵子の探索を支援することができる。
顕微鏡システム１の構成を示した図である。 画像処理装置１００の構成を例示した図である。 顕微鏡１０の光学系の構成を例示した図である。 第１の実施形態に係る学習処理の一例を示したフローチャートである。 学習用データセットの作成画面の一例を示した図である。 学習用データセットに含まれる画像を例示した図である。 第１の実施形態に係る検卵支援処理の一例を示したフローチャートである。 第１の実施形態に係る補助画像生成処理の一例を示したフローチャートである。 接眼レンズ１９から見える画像の一例である。 接眼レンズ１９から見える画像の別の例である。 第２の実施形態に係る補助画像生成処理の一例を示したフローチャートである。 接眼レンズ１９から見える画像の更に別の例である。 第３の実施形態に係る補助画像生成処理の一例を示したフローチャートである。 接眼レンズ１９から見える画像の更に別の例である。 学習用データセットの作成画面の別の例を示した図である。 学習用データセットの作成画面の更に別の例を示した図である。 第４の実施形態に係る補助画像生成処理の一例を示したフローチャートである。 接眼レンズ１９から見える画像の更に別の例である。 第５の実施形態に係る補助画像生成処理の一例を示したフローチャートである。 接眼レンズ１９から見える画像の更に別の例である。 接眼レンズ１９から見える画像の更に別の例である。 顕微鏡システム２の構成を示した図である。 第６の実施形態に係る検卵支援処理の一例を示したフローチャートである。 顕微鏡システム３の構成を示した図である。 第７の実施形態に係る検卵支援処理の一例を示したフローチャートである。 接眼レンズ１９から見える画像の更に別の例である。 第８の実施形態に係る補助画像生成処理の一例を示したフローチャートである。 接眼レンズ１９から見える画像の更に別の例である。 顕微鏡システム４の構成を示した図である。 第９の実施形態に係る検卵支援処理の一例を示したフローチャートである。 接眼レンズ１９から見える画像の更に別の例である。 顕微鏡システム５の構成を示した図である。 第１０の実施形態に係る検卵支援処理の一例を示したフローチャートである。 接眼レンズ１９から見える画像の更に別の例である。 顕微鏡システム６の構成を示した図である。 第１１の実施形態に係る補助画像生成処理の一例を示したフローチャートである。 接眼レンズ１９から見える画像の更に別の例である。 接眼レンズ１９から見える画像の更に別の例である。 接眼レンズ１９から見える画像の更に別の例である。 顕微鏡システム７の構成を示した図である。 顕微鏡システム８の構成を示した図である。
［第１の実施形態］
　図１は、顕微鏡システム１の構成を示した図である。図２は、画像処理装置１００の構成を例示した図である。図３は、顕微鏡１０の光学系の構成を例示した図である。顕微鏡システム１は、接眼レンズ１９を覗いて試料を観察するためのシステムである。顕微鏡システム１が観察対象とする試料は、例えば、容器４０に収容された卵胞液５０であり、顕微鏡システム１は、例えば、不妊治療の一工程である検卵に用いられる。
　顕微鏡システム１は、少なくとも、顕微鏡１０と、撮影装置１５と、重畳装置の一例である投影装置１７と、画像処理装置１００と、を備えている。顕微鏡システム１は、顕微鏡１０の光学系によって卵胞液５０の光学画像が形成されている像面に、投影装置１７を用いて補助画像を投影することによって、光学画像上に補助画像を重畳する。補助画像には、卵子の存在が推定される領域（以降、推定領域と記す。）を特定する情報が含まれている。なお、補助画像は、撮影装置１５が撮影した卵胞液の撮影画像に基づいて画像処理装置１００によって作成される。
　これにより、接眼レンズ１９を覗いて卵胞液を観察している顕微鏡システム１の利用者は、接眼レンズ１９から目を離すことなく推定領域の情報を得ることができるため、卵子を短時間で比較的容易に探し出すことが可能となる。従って、顕微鏡システム１によれば、利用者の検卵における卵子を探索する作業を支援することができる。
　以下、図１から図３を参照しながら、顕微鏡システム１の構成の具体例について詳細に説明する。顕微鏡システム１は、図１に示すように、撮影装置１５と投影装置１７とを備える顕微鏡１０と、画像処理装置１００と、を備えている。
　顕微鏡１０は、卵胞液５０が収容された容器４０が載置されるステージ１１と、レボルバ１３に装着された対物レンズ１２と、結像レンズ１８と、接眼レンズ１９を備えている。対物レンズ１２と結像レンズ１８は、卵胞液５０の光学画像を像面に形成する。接眼レンズ１９は、像面に形成された光学画像をさらに拡大する。顕微鏡システム１の利用者は、接眼レンズ１９を用いることで光学画像が拡大された虚像を観察する。
　顕微鏡１０は、また、対物レンズ１２と結像レンズ１８の間の光路上に配置されたスプリッタ１４と、スプリッタ１４で分岐した光路上に配置された撮影装置１５と、を備えている。スプリッタ１４は、例えば、ハーフミラーなどであるが、透過率と反射率を可変する可変ビームスプリッタが用いられても良い。撮影装置１５は、例えば、撮像素子を備えるデジタルカメラであり、卵胞液５０の撮影画像を取得する。撮像素子は、例えば、ＣＣＤイメージセンサ、ＣＭＯＳイメージセンサなどの二次元イメージセンサである。
　顕微鏡１０は、さらに、対物レンズ１２と結像レンズ１８の間の光路上に配置されたスプリッタ１６と、スプリッタ１６で分岐した光路上に配置された投影装置１７と、を備えている。スプリッタ１６は、例えば、ハーフミラーなどであるが、透過率と反射率を可変する可変ビームスプリッタが用いられても良い。投影装置１７は、例えば、反射型の液晶デバイスを用いたプロジェクタ、透過型の液晶デバイスを用いたプロジェクタ、デジタルミラーデバイスを用いたプロジェクタなどである。投影装置１７は、顕微鏡１０の光路上の像面に画像処理装置１００で生成された補助画像を投影する。なお、投影装置１７は、像面に補助画像を投影することで、像面に形成される卵胞液５０の光学画像上に補助画像を重畳する重畳装置の一例である。
　画像処理装置１００は、撮影装置１５で取得した撮影画像に基づいて補助画像を生成する。画像処理装置１００は、補助画像の生成に関連する機能的構成要素として、画像解析部１１０と、画像生成部１２０と、記憶部１３０を備えている。
　画像解析部１１０は、撮影画像に対して卵子を対象とする物体検出を含む画像解析を行う。具体的には、画像解析部１１０は、例えば、記憶部１３０に記憶されている学習済みモデルを用いて物体検出を行う。学習済みモデルのアルゴリズムは、特に限定しないが、例えば、ＳＳＤ、ＹＯＬＯ、ＦａｓｔｅｒＲ－ＣＮＮなどの深層学習モデルであってもよい。
　画像生成部１２０は、画像解析部１１０の画像解析の結果に基づいて、卵子の存在が推定される領域（推定領域）を特定する情報を含む補助画像を生成する。具体的には、画像生成部１２０は、推定領域にバウンディングボックスを有する画像を補助画像として生成する。
　記憶部１３０は、入力画像に対する卵子の位置を学習した学習済みモデルを記憶する。即ち、学習済みモデルは、卵子に分類された対象を検出し、少なくとも卵子の位置情報を出力する。より具体的には、学習済みモデルは、卵子の位置情報と、卵子の確からしさを示す分類の確率（ｃｌａｓｓｉｆｉｃａｔｉｏｎ　ｃｏｎｆｉｄｅｎｃｅ）と、を出力する。
　画像処理装置１００は、汎用のコンピュータであっても、専用のコンピュータであってもよい。画像処理装置１００は、特にこの構成に限定されるものではないが、例えば、図２に示すような物理構成を有してもよい。具体的には、画像処理装置１００は、プロセッサ１０１と、記憶装置１０２と、入力装置１０３と、出力装置１０４と、通信装置１０５と、を備えてもよく、それらが互いにバス１０６によって接続されてもよい。
　プロセッサ１０１は、ハードウェアを含んでもよく、ハードウェアは例えば、デジタル信号を処理するための回路およびアナログ信号を処理するための回路のうちの少なくとも１つを含んでもよい。プロセッサ１０１は、例えば、回路基板上に、１つまたは複数の回路デバイス（例えば、ＩＣ）または１つまたは複数の回路素子（例えば、抵抗器、コンデンサ）を含むことができる。プロセッサ１０１は、ＣＰＵ（ｃｅｎｔｒａｌ　ｐｒｏｃｅｓｓｉｎｇ　ｕｎｉｔ）であってもよい。また、プロセッサ１０１には、ＧＰＵ（Ｇｒａｐｈｉｃｓ　ｐｒｏｃｅｓｓｉｎｇ　ｕｎｉｔ）及びＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）を含む様々なタイプのプロセッサが使用されてもよい。プロセッサ１０１は、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）またはＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）を有するハードウェア回路であってもよい。プロセッサ１０１は、アナログ信号を処理するための増幅回路、フィルタ回路などを含むことができる。プロセッサ１０１は、記憶装置１０２に記憶されているプログラムを実行することで、上述した画像解析部１１０及び画像生成部１２０として機能する。
　記憶装置１０２は、メモリ及び／又はその他の記憶装置を含んでもよい。メモリは、例えば、ランダムアクセスメモリ（ＲＡＭ）であってもよい。メモリは、ＳＲＡＭ（Ｓｔａｔｉｃ　Ｒａｎｄａｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）やＤＲＡＭ（Ｄｙｎａｍｉｃ　Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）などの半導体メモリであってもよい。記憶装置１０２は、例えば、レジスタ、ハードディスク装置のような磁気記憶装置、光学ディスク装置のような光学記憶装置、内部または外部ハードディスクドライブ、ソリッドステート記憶装置、ＣＤ－ＲＯＭ、ＤＶＤ、他の光学または磁気ディスク記憶装置、または、他の記憶装置であってもよい。記憶装置１０２は、プロセッサ１０１によって実行されるプログラム、学習済みモデル、その他のデータを記憶し、上述した記憶部１３０として機能する。なお、記憶装置１０２は、非一時的なコンピュータ可読記憶媒体の一例である。
　入力装置１０３は、顕微鏡システム１の利用者（例えば、胚培養士）が操作する装置である。入力装置１０３は、例えば、キーボード、マウス、タッチパネル、音声入力装置、フットペダルなどであり、入力装置１０３に対する操作に応じた操作信号をプロセッサ１０１へ出力する。
　出力装置１０４は、例えば、液晶ディスプレイ、プラズマディスプレイ、有機ＥＬディスプレイ、ＣＲＴディスプレイ、ＬＥＤマトリクスパネルなどの表示装置である。出力装置１０４は、さらに、音声を出力するスピーカーなどの音声出力装置、光を出力するランプやライトなどの発光装置、振動を出力するバイブレータなどの振動装置などを含んでもよい。
　通信装置１０５は、顕微鏡１０やその他の装置とデータをやり取りする装置である。通信装置１０５は、有線でデータをやり取りする通信装置であってもよく、無線でデータをやり取りする通信装置であってもよい。記憶装置１０２に記憶されるプログラムや学習済みモデルは、通信装置１０５がインターネット経由で他の装置から取得したものであってもよい。
　なお、顕微鏡１０を用いて行う検卵は、比較的低い観察倍率で胚培養士が接眼レンズ１９を覗き込みながら行う作業である。このため、顕微鏡１０は、低倍率下で対象を立体的に観察可能な実体顕微鏡であることが望ましい。より具体的には、例えば、図３に示すように、スプリッタ１４ａと撮影装置１５ａとスプリッタ１６ａと投影装置１７ａと結像レンズ１８ａと接眼レンズ１９ａを含む左目系と、スプリッタ１４ｂと撮影装置１５ｂとスプリッタ１６ｂと投影装置１７ｂと結像レンズ１８ｂと接眼レンズ１９ｂを含む右目系と、を有する双眼実体顕微鏡であることが望ましい。
　図４は、本実施形態に係る学習処理の一例を示したフローチャートである。図５は、学習用データセットの作成画面の一例を示した図である。図６は、学習用データセットに含まれる画像を例示した図である。以下、図４から図６を参照しながら、記憶部１３０に記憶されている学習済みモデルを構築するための学習処理について説明する。なお、図４に示す学習処理は、画像処理装置１００とは別のコンピュータで行われてもよく、画像処理装置１００は、完成した学習済みモデルをネットワーク経由や記録媒体経由で取得してもよい。
　図４に示す処理が開始されると、図５に示すウィンドウＷ１が表示される。図５に示すウィンドウＷ１は、学習用データセットの作成画面であり、ウィンドウＷ１には、卵胞液の画像ファイルを選択する領域Ｒ１と、領域Ｒ１で選択された画像ファイルに対応する卵胞液の画像を表示する領域Ｒ２と、が含まれている。
　学習済みモデルを構築する作業者が領域Ｒ１にリストされている複数の画像ファイルから１つの画像ファイルを選択すると、コンピュータは、選択した画像ファイルに対応する卵胞液の静止画を領域Ｒ２に表示する（ステップＳ１）。なお、作業者は、例えば、経験豊富な胚培養士などである。その後、作業者は、領域Ｒ２に表示されている静止画から卵子を見つけ出して、図５に示すように、卵子を含む領域に矩形のボックスＢを付して、ファイルを保存する操作を行う。作業者の保存操作を検出すると、コンピュータは、学習用データセットを作成する（ステップＳ２）。具体的には、コンピュータは、領域Ｒ２に表示されている画像から矩形のボックスＢで囲まれた領域を切り出して、学習用データセットに追加する。ステップＳ１とステップＳ２が複数の静止画に対して繰り返し行われることで、十分な量の学習用データセットが準備される。
　なお、卵子は卵胞内では卵丘細胞に取り囲まれているが、卵胞内から吸引される採卵時などに卵丘細胞が剥がれ落ちてしまうことがある。従って、検卵時に見つかる卵子は、卵丘細胞に取り囲まれているものもあれば、卵丘細胞が剥がれ落ち卵子を取り囲む放射冠がむき出しになっているものもある。このため、学習用データセットに含まれる画像には、卵丘細胞に取り囲まれた卵子の画像と、卵丘細胞から剥がれた卵子の画像と、の両方が含まれていることが望ましい。
　なお、図６に示すデータセットＤＳに含まれるデータＤ１は、卵丘細胞が剥がれた卵子の画像の一例である。卵子Ｅ１の周りを透明帯Ｅ２と放射冠Ｅ３が取り囲んでいる様子が写っている。一方、データＤ２は、卵丘細胞に取り囲まれた卵子の画像の一例である。卵子Ｅ１（透明帯Ｅ２、放射冠Ｅ３）が卵丘細胞Ｅ４に取り囲まれている様子が写っている。
　十分な量の学習用データセットが準備されると、コンピュータは、学習用データセットを用いて、卵子を対象として物体検出を行うモデルに学習させる（ステップＳ３）。つまり、モデルを訓練し、検証し、テストする。なお、ステップＳ２で作成されたデータセットは、訓練データ兼検証データと、テストデータと、に分けてもよい。その場合、訓練データ兼検証データを、クロスバリデーション（交差検証）を用いて訓練と検証の両方に使用されることが望ましい。なお、訓練データとは、モデルの訓練に使用されるデータであり、検証データとは、モデルの検証に使用されるデータである。また、テストデータとは、モデルのテストに使用されるデータである。
　コンピュータは、以上の処理をモデルがテストをクリアするまで繰り返し、クリアすると、つまり、学習が終了すると、図４の処理を終了する。図４の処理が行われることで、十分に訓練され、一定の性能が保証された学習済みモデルを得ることができる。得られた学習済みモデルは、画像処理装置１００の記憶部１３０に記憶される。
　図７は、本実施形態に係る検卵支援処理の一例を示したフローチャートである。図８は、本実施形態に係る補助画像生成処理の一例を示したフローチャートである。図９は、接眼レンズ１９から見える画像の一例である。以下、図７から図９を参照しながら、顕微鏡システム１で行われる検卵支援方法について説明する。
　図７に示す検卵支援処理は、顕微鏡システム１の利用者が、ステージ１１に卵胞液５０が収容された容器４０を配置し、検卵を開始することによって開始される。
　図７に示す検卵支援処理が開始されると、顕微鏡システム１は、まず、光学画像を像面に投影する（ステップＳ１１）。ここでは、対物レンズ１２と結像レンズ１８を含む光学系が、卵胞液５０からの光に基づいて、顕微鏡１０の光路上に、例えば、図９に示すような、卵胞液５０の光学画像Ｏ１を形成する。
　顕微鏡システム１は、ステップＳ１１と同時に、撮影画像を取得する（ステップＳ１２）。ここでは、撮影装置１５は、卵胞液５０からの光に基づいて卵胞液の撮影画像を取得し、撮影画像を画像処理装置１００へ出力する。
　その後、顕微鏡システム１は、図８に示す補助画像生成処理を行う（ステップＳ１３）。補助画像生成処理では、画像処理装置１００は、まず、撮影画像から卵子を検出する（ステップＳ２１）。ここでは、画像解析部１１０が、撮影画像を入力画像として学習済みモデルに入力することで、卵子を対象とする物体検出を行う。
　その後、画像処理装置１００は、卵子が検出された領域にバウンディングボックスを有する画像を補助画像として生成し（ステップＳ２２）、補助画像生成処理を終了する。ここでは、画像生成部１２０は、画像解析部１１０による物体検出結果に基づいて、補助画像Ａ１を生成する。より具体的には、画像生成部１２０は、物体検出において対象の位置情報とともに画像解析部１１０から出力される分類の確率が閾値以上の対象のみを卵子と判断してもよく、閾値以上の分類の確率を有する対象が存在する領域にバウンディングボックスを有する補助画像Ａ１を生成してもよい。図９に示す補助画像Ａ１には、物体検出による卵子が存在すると推定された２つの領域にバウンディングボックスが形成された様子が示されている。
　補助画像生成処理を終了すると、顕微鏡システム１は、光学画像上に補助画像を重畳し（ステップＳ１４）、図７に示す処理を終了する。ここでは、投影装置１７は、光学画像Ｏ１が形成された像面にステップＳ１３で生成された補助画像Ａ１を投影し、それによって、光学画像Ｏ１上に補助画像Ａ１を重畳する。
　これにより、顕微鏡システム１の利用者である胚培養士は、接眼レンズ１９を覗くことで、図９に示すような、光学画像Ｏ１と補助画像Ａ１が重畳した画像を見ながら、卵子を探索することができる。このため、経験の浅い胚培養士であっても、卵丘細胞から離れて孤立した卵子など、見落としがちな卵子を確実に発見することができる。従って、顕微鏡システム１によれば、検卵における卵子の探索を支援することができる。
　なお、図９では、物体検出により卵子が存在すると推定された推定領域にバウンディングボックスを有する補助画像Ａ１を例示したが、補助画像は、推定領域を特定する情報を含んでいればよい。そのため、矩形のバウンディングボックスの代わりに、推定領域を、例えば丸など任意の形状で囲んでもよい。また、推定領域を囲む代わりに、矢印などで推定領域を指し示すなど、その他の方法で、卵子が存在する領域を特定してもよい。
　図１０は、接眼レンズ１９から見える画像の別の例である。図９では、推定領域を特定する情報のみを含む補助画像Ａ１を例示したが、画像解析部１１０から出力される情報には、対象の位置情報に加えて、分類の確率が含まれるのが通常である。このため、画像生成部１２０は、対象の位置情報に加えて分類の確率を用いて補助画像を生成してもよく、補助画像は、例えば、図１０に示すように、推定領域を特定する情報（バウンディングボックス）に加えて、卵子として分類された確率の情報を含んでもよい。図１０に示す補助画像Ａ２の場合、１つ目のバウンディングボックス内の卵子は９５％の確率で卵子に分類されたこと、２つ目のバウンディングボックス内の卵子は８０％の確率で卵子に分類されたことが示されている。図１０に示すように、分類の確率が表示されることで、胚培養士は、卵子を探索するときに、自身の初期の見解と分類の確率とを踏まえて卵子か否かについての最終的な判断を下すことができる。また、分類の確率の高いものから優先して確認することで、検卵時間の短縮も期待できる。
［第２の実施形態］
　図１１は、本実施形態に係る補助画像生成処理の一例を示したフローチャートである。図１２は、接眼レンズ１９から見える画像の更に別の例である。本実施形態に係る顕微鏡システム（以降、単に顕微鏡システムと記す。）は、画像解析部１１０が、物体検出に加えて、撮影画像よりも前に取得された別の撮像画像内で検出された卵子の現在位置を推定する物体追跡を行う点が、図１に示す顕微鏡システム１とは異なっている。即ち、本実施形態では、画像解析部１１０は、物体検出と物体追跡とを含む画像解析を行う。また、本実施形態に係る検卵支援処理は、図８に示す補助画像生成処理の代わりに、図１１に示す補助画像生成処理を含む点を除き、図７に示す検卵支援処理と同様である。以下、図１１及び図１２を参照しながら、本実施形態に係る顕微鏡システムで行われる検卵支援方法について、補助画像生成処理に注目して説明する。
　顕微鏡システムは、図７に示すステップＳ１２の処理を終了すると、図１１に示す補助画像生成処理を行う。補助画像生成処理では、画像処理装置１００は、まず、撮影画像から卵子を検出する（ステップＳ３１）。この処理は、図８のステップＳ２１と同様である。
　次に、画像処理装置１００は、以前に検出された卵子の現在位置を推定する（ステップ３２）。ここでは、画像解析部１１０は、卵子を対象とする物体追跡を行う。具体的には、画像解析部１１０は、最新の撮影画像を含む複数フレームの撮影画像に基づいて、卵子の現在位置を推定する。また、画像解析部１１０は、物体検出において出力された分類の確率が閾値以上の対象のみを卵子と判断してもよく、卵子と判断された対象のみを物体追跡の対象としてもよい。なお、物体追跡の具体的方法は特に限定しないが、追跡対象が他の物体の背後に隠れてしまうオクルージョンに対してロバストな方法が採用されることが望ましい。例えば、カルマンフィルタやパーティクルフィルタなどを用いて卵子の現在位置を推定してもよい。また、容器のオプティカルフローを算出し、算出したオプティカルフローから卵子の現在位置を推定してもよい。
　その後、画像処理装置１００は、卵子が検出された領域にバウンディングボックスを有し、且つ、推定した現在位置を含む領域に第２のバウンディングボックスを有する画像を補助画像として生成し（ステップＳ３３）、補助画像生成処理を終了する。ここでは、画像生成部１２０は、画像解析部１１０による物体検出結果と物体追跡結果とに基づいて、補助画像を生成する。具体的には、画像生成部１２０は、例えば、図１２に示すように、視野内の卵子が全て物体検出で検出されている間は、矩形のバウンディングボックスのみを有する補助画像（補助画像Ａ１１、補助画像Ａ１２）を生成し、一部の卵子が他の細胞の背後に隠れてしまった場合には、矩形のバウンディングボックスと扇形のバウンディングボックスを有する補助画像（補助画像Ａ１３）を生成してもよい。なお、矩形のバウンディングボックスは、物体検出で推定された推定領域を示し、扇形のバウンディングボックスは、物体追跡で推定された卵子の現在位置を含む領域を示している。
　補助画像生成処理を終了すると、顕微鏡システムは、光学画像上に補助画像を重畳し（ステップＳ１４）、図７に示す処理を終了する。これにより、利用者が容器を動かした結果、一部の卵子が他の細胞の背後に隠れてしまった場合であっても、例えば、図１２に示すように、隠れた卵子の存在を見逃すことなく利用者に通知することができる。なお、図１２は、容器を動かすことで像面に形成される光学画像が光学画像Ｏ１１、光学画像Ｏ１２、光学画像Ｏ１３のように変化したときに、像面に投影される補助画像が補助画像Ａ１１、補助画像Ａ１２、補助画像Ａ１３のように変化した様子を示している。
　本実施形態においても、補助画像が投影されるため、胚培養士は、見落としがちな卵子を確実に発見することができる。従って、本実施形態に係る顕微鏡システムによっても、顕微鏡システム１と同様に、検卵における卵子の探索を支援することができる。
　また、検卵中、胚培養士は、容器を動かして視野を別の場所へ移動する、容器を振って他の細胞の背後に隠れた卵子を動かす、などの作業を行うことがある。このような作業によって卵子が容器内で移動することで新たに卵子を物体検出によって検出することができる場合がある一方で、これまで検出されていた卵子が他の細胞の背後に隠れて見えなくなってしまうこともある。本実施形態に係る顕微鏡システムによれば、卵子を対象とした物体追跡が行われるため、隠れた卵子の存在も利用者に通知することができる。このため、本実施形態に係る顕微鏡システムによれば、検卵における卵子の探索をさらに強力に支援することができる。
［第３の実施形態］
　図１３は、本実施形態に係る補助画像生成処理の一例を示したフローチャートである。図１４は、接眼レンズ１９から見える画像の更に別の例である。本実施形態に係る顕微鏡システム（以降、単に顕微鏡システムと記す。）は、画像解析部１１０が、物体検出に加えて物体追跡を行う点は、第２の実態形態に係る顕微鏡システムと同様である。顕微鏡システムは、視野内の卵子の存在に加えて、視野外に移動した卵子の存在も利用者に通知する点が、第２の実施形態に係る顕微鏡システムとは異なっている。より具体的には、顕微鏡システムは、図１１に示す補助画像生成処理の代わりに、図１３に示す補助画像生成処理を含む検卵支援処理を行う。以下、図１３及び図１４を参照しながら、本実施形態に係る顕微鏡システムで行われる検卵支援方法について、補助画像生成処理に注目して説明する。
　顕微鏡システムは、図７に示すステップＳ１２の処理を終了すると、図１３に示す補助画像生成処理を行う。補助画像生成処理では、画像処理装置１００は、まず、撮影画像から卵子を検出し（ステップＳ４１）、以前に検出された卵子の現在位置を推定する（ステップ４２）。これらの処理は、図１１のステップＳ３１とステップＳ３２の処理と同様である。
　その後、画像処理装置１００は、卵子が検出された領域にバウンディングボックスを有し、推定した視野内の現在位置を含む領域に第２のバウンディングボックスを有し、且つ、推定した視野外の現在位置の方向を指す情報を有する画像を補助画像として生成し（ステップＳ４３）、補助画像生成処理を終了する。ここでは、画像生成部１２０は、画像解析部１１０による物体検出結果と物体追跡結果とに基づいて、補助画像を生成する。具体的には、画像生成部１２０は、例えば、図１４に示すように、卵子が全て物体検出で検出されている間は、矩形のバウンディングボックスのみを有する補助画像（補助画像Ａ２１、補助画像Ａ２２）を生成し、一部の卵子が他の細胞の背後に隠れてしまった場合には、矩形のバウンディングボックスと扇形のバウンディングボックスを有する補助画像（補助画像Ａ２３）を生成し、一部の卵子が視野外へ移動してしまった場合には、矩形のバウンディングボックスと矢印マークを有する補助画像（補助画像Ａ２４）を生成する。なお。矢印マークは、物体追跡で推定された視野外の現在位置の方向を指す情報の一例であり、視野外の卵子が存在する方向を表す情報の一例である。
　補助画像生成処理を終了すると、顕微鏡システムは、光学画像上に補助画像を重畳し（ステップＳ１４）、図７に示す処理を終了する。これにより、利用者が容器を動かした結果、一部の卵子が他の細胞の背後に隠れてしまった場合や視野外に移動してしまった場合であっても、例えば、図１４に示すように、隠れた卵子や視野外の卵子の存在を見逃すことなく利用者に通知することができる。なお、図１４は、容器を動かすことで像面に形成される光学画像が光学画像Ｏ２１、光学画像Ｏ２２、光学画像Ｏ２３、光学画像Ｏ２４のように変化したときに、像面に投影される補助画像が補助画像Ａ２１、補助画像Ａ２２、補助画像Ａ２３、補助画像Ａ２４のように変化した様子を示している。
　本実施形態においても、補助画像が投影されるため、胚培養士は、見落としがちな卵子を確実に発見することができる。また、本実施形態に係る顕微鏡システムによれば、卵子を対象とした物体追跡が行われるため、隠れた卵子の存在や視野外へ移動した卵子の存在も利用者に通知することができる。このため、本実施形態に係る顕微鏡システムによれば、検卵における卵子の探索をさらに強力に支援することができる。
［第４の実施形態］
　図１５は、学習用データセットの作成画面の別の例を示した図である。図１６は、学習用データセットの作成画面の更に別の例を示した図である。図１７は、本実施形態に係る補助画像生成処理の一例を示したフローチャートである。図１８は、接眼レンズ１９から見える画像の更に別の例である。本実施形態に係る顕微鏡システム（以降、単に顕微鏡システムと記す。）は、画像解析部１１０が、物体検出によって、卵子を、検卵における採取対象としての推奨度が異なる複数のクラスに分けて検出する点が、図１に示す顕微鏡システム１とは異なっている。また、本実施形態に係る検卵支援処理は、図８に示す補助画像生成処理の代わりに、図１７に示す補助画像生成処理を含む点を除き、図７に示す検卵支援処理と同様である。
　まず、図１５及び図１６を参照しながら、本実施形態に係る顕微鏡システムの記憶部１３０に記憶されている学習済みモデルを構築するための学習処理について説明する。学習処理の手順は、基本的には、図４に示す手順と同様である。このため、図４に示す手順との相違点に注目して学習処理について説明する。
　本実施形態では、作業者は、図１５に示すウィンドウＷ２上で、領域Ｒ２に表示されている静止画から卵子を見つけ出して卵子を含む領域に矩形のボックスＢを付した後に、さらに、検卵における採取対象としての推奨度を判断して推奨度情報を入力欄Ｃに入力する。そして、作業者の保存操作を検出すると、コンピュータは、領域Ｒ２に表示されている画像から矩形のボックスＢで囲まれた領域を切り出し、入力された推奨度情報に応じたクラスの画像として、学習用データセットに追加する。なお、作業者によって入力される推奨度情報は、卵子の成熟度情報であってもよく、例えば、ＧＶ期卵である変性卵を示す“ＧＶ”、ＭＩ期卵である未成熟卵を示す“ＭＩ”、ＭＩＩ期卵である成熟卵を示す“ＭＩＩ”を含んでもよい。さらに、作業者は、例えば、過熟卵、中等度成熟卵、異常卵などを区別して、推奨度情報を入力してもよい。
　このようにして得られたデータセットを用いて学習することで、卵子を、検卵における採取対象としての推奨度が異なる複数のクラスに分けて検出する学習済みモデルを構築することができる。これにより、記憶装置１０２には、入力画像に対する少なくとも卵子の位置と卵子の複数のクラスとを学習した学習済みモデルが記憶される。なお、図１６に示すように、卵子を含む領域に矩形のボックスＢを付したことが検出されると、学習用データセットの作成画面（ウィンドウＷ２）上に、成熟度の異なる卵子のサンプル画像を含む領域Ｒ３が表示されてもよい。このようなサンプル画像を表示することで、作業者による卵子の推奨度の判断を支援してもよい。
　次に、図１７及び図１８を参照しながら、本実施形態に係る顕微鏡システムで行われる検卵支援方法について、補助画像生成処理に注目して説明する。
　顕微鏡システムは、図７に示すステップＳ１２の処理を終了すると、図１７に示す補助画像生成処理を行う。補助画像生成処理では、画像処理装置１００は、まず、撮影画像から卵子を検出する（ステップＳ５１）。この処理は、図８のステップＳ２１の処理と同様である。
　その後、画像処理装置１００は、推定領域に卵子のクラスが付されたバウンディングボックスを有する画像を補助画像として生成し（ステップＳ５２）、補助画像生成処理を終了する。ここでは、画像生成部１２０は、画像解析部１１０による物体検出結果に基づいて、補助画像を生成する。具体的には、画像生成部１２０は、例えば、図１８に示すように、矩形のバウンディングボックスの近くに卵子のクラスを特定する情報（ＧＶ、ＭＩ、ＭＩＩ）を有する補助画像Ａ３１を生成する。
　補助画像生成処理を終了すると、顕微鏡システムは、光学画像上に補助画像を重畳し（ステップＳ１４）、図７に示す処理を終了する。ここでは、投影装置１７は、例えば、図１８に示すように、光学画像Ｏ３１上に補助画像Ａ３１を重畳する。これにより、顕微鏡システムによれば、推定領域とともにその領域に存在する卵子の推奨度も利用者に通知することができる。このため、例えば、全ての卵子を採取する必要がない場合などに、採取すべき卵子の選別を容易に行うことが可能となる。
　なお、本実施形態では、卵子のクラスを特定する文字情報を表示することで推奨度を利用者に通知する例を示したが、例えば、卵子のクラスに応じた色でバウンディングボックスを作成することで推奨度を利用者に通知してもよい。また、卵子のクラスに応じた形状でバウンディングボックスを作成することで推奨度を利用者に通知してもよい。
［第５の実施形態］
　図１９は、本実施形態に係る補助画像生成処理の一例を示したフローチャートである。図２０は、接眼レンズ１９から見える画像の更に別の例である。本実施形態に係る顕微鏡システム（以降、単に顕微鏡システムと記す。）は、画像解析部１１０が物体検出で検出された卵子の大きさを算出する点が、第４の実施形態に係る顕微鏡システムとは異なる。また、顕微鏡システムは、図１７に示す補助画像生成処理の代わりに、図１９に示す補助画像生成処理を含む検卵支援処理を行う。以下、図１９及び図２０を参照しながら、本実施形態に係る顕微鏡システムで行われる検卵支援方法について、補助画像生成処理に注目して説明する。
　顕微鏡システムは、図７に示すステップＳ１２の処理を終了すると、図１９に示す補助画像生成処理を行う。補助画像生成処理では、画像処理装置１００は、まず、撮影画像から卵子を検出する（ステップＳ６１）。この処理は、図８のステップＳ２１の処理と同様である。
　次に、画像処理装置１００は、卵子の大きさを算出する（ステップＳ６２）。ここでは、画像解析部１１０は、例えば、物体検出で検出した推奨領域の面積から卵子の大きさを算出してもよい。また、推奨領域を取り囲むバウンディングボックスの大きさから卵子の大きさを算出してもよい。なお、大きさは、直径など長さの単位で算出されてもよく、面積の単位で算出されてもよい。
　その後、画像処理装置１００は、推定領域に卵子のクラスと大きさが付されたバウンディングボックスを有する画像を補助画像として生成し（ステップＳ６３）、補助画像生成処理を終了する。ここでは、画像生成部１２０は、例えば、図２０に示すように、矩形のバウンディングボックスの近くに卵子のクラスを特定する情報（ＧＶ、ＭＩ、ＭＩＩ）と卵子の大きさを特定する情報（９０μｍ、１００μｍ、１２０μｍ）を有する補助画像Ａ４１を生成する。
　補助画像生成処理を終了すると、顕微鏡システムは、光学画像上に補助画像を重畳し（ステップＳ１４）、図７に示す処理を終了する。ここでは、投影装置１７は、例えば、図２０に示すように、光学画像Ｏ４１上に補助画像Ａ４１を重畳する。これにより、顕微鏡システムによれば、推定領域とともにその領域に存在する卵子の推奨度と大きさを利用者に通知することができる。このため、例えば、全ての卵子を採取する必要がない場合などに、採取すべき卵子の選別を容易に行うことが可能となる。
　なお、本実施形態に係る顕微鏡システムは、さらに、物体追跡を行ってもよい。その場合、物体検出で検出された卵子と物体追跡で現在位置が推定された卵子で表示態様を異ならせてもよい。例えば、図２１に示すように、物体検出で検出された卵子については、推奨度情報（クラス）と大きさを表示してもよく、物体追跡によって現在位置が推定された卵子については、推奨度情報（クラス）のみを表示してもよい。なお、図２１には、光学画像Ｏ５１上に補助画像Ａ５１が重畳された様子が示されている。また、補助画像Ａ５１には、物体検出で検出された卵子にはクラスと大きさが付され、物体追跡で存在が推定された卵子にはクラスのみが付されている。
［第６の実施形態］
　図２２は、顕微鏡システム２の構成を示した図である。図２３は、本実施形態に係る検卵支援処理の一例を示したフローチャートである。顕微鏡システム２は、物体検出での卵子の検出を報知する報知装置２００を備える点が、顕微鏡システム１とは異なっている。報知装置２００は、例えば、音声を出力するスピーカーなどの音声出力装置、光を出力するランプやライトなどの発光装置、振動を出力するバイブレータなどの振動装置などである。また、顕微鏡システム２は、図７に示す検卵支援処理の代わりに、図２３に示す検卵支援処理を行う。以下、図２２及び図２３を参照しながら、顕微鏡システム２で行われる検卵支援方法について説明する。
　図２３に示すステップＳ７１からステップＳ７４の処理は、図７に示すステップＳ１１からステップＳ１４の処理と同様である。ステップＳ７４で補助画像が重畳されると、画像処理装置１００は、ステップＳ７３の物体検出において卵子が検出されたか否かを判定し（ステップＳ７５）、卵子が検出されたと判定されると（ステップＳ７５ＹＥＳ）、報知装置２００が物体検出での卵子の検出を報知する（ステップＳ７６）。報知方法は、特に限定しないが、報知装置２００は、例えば、注意を喚起するために警告音などを発してもよく、注意を喚起するために光を発光してもよい。また、音声で卵子の検出を報知してもよい。なお、画像処理装置１００の出力装置１０４が報知装置２００を兼ねてもよい。
　本実施形態に係る顕微鏡システム２によっても、第１の実施形態に係る顕微鏡システム１と同様に、検卵における卵子の探索を支援することができる。また、補助画像を投影することによって利用者へ視覚的に卵子の存在を報知することに加えて、報知装置２００で卵子検出を報知することで、より確実に利用者に卵子の存在を知らせることができる。
［第７の実施形態］
　図２４は、顕微鏡システム３の構成を示した図である。図２５は、本実施形態に係る検卵支援処理の一例を示したフローチャートである。図２６は、接眼レンズ１９から見える画像の更に別の例である。顕微鏡システム３は、顕微鏡１０の代わりに顕微鏡２０を備える点が顕微鏡システム１とは異なっている。また、顕微鏡２０は、撮影装置２１を備える点が顕微鏡１０とは異なっている。なお、撮影装置２１は、容器４０を含むステージ１１上方の空間の撮影画像（第２の撮影画像）の動画を取得し録画する装置であり、第２の撮影装置である。撮影装置２１は、主に胚培養士のステージ１１上での作業を撮影する目的で設置されている。顕微鏡システム３は、図７に示す検卵支援処理の代わりに、図２５に示す検卵支援処理を行う。以下、図２４から図２６を参照しながら、本実施形態に係る顕微鏡システム３で行われる検卵支援方法について説明する。
　図２５に示すステップＳ８１、ステップＳ８２、ステップＳ８４の処理は、図７に示すステップＳ１１からステップＳ１３の処理と同様である。顕微鏡システム３は、ステップＳ８３において、撮影装置２１でステージ１１上方の空間の第２の撮影画像を取得する。なお、ここでは、静止画ではなく動画を撮影する。ステップＳ８４で補助画像が生成されると、画像処理装置１００は、ステップＳ８４での物体検出において卵子が検出されたか否かを判定し（ステップＳ８５）、卵子が検出されていないと判定されると（ステップＳ８５ＮＯ）、投影装置１７を制御して、投影装置１７が光学画像上に補助画像を重畳する（ステップＳ８６）。なお、ステップＳ８６の処理は、図７に示すステップＳ１４の処理と同様である。一方、画像処理装置１００は、卵子が検出されたと判定されると（ステップＳ８５ＹＥＳ）、投影装置１７を制御して、投影装置１７が光学画像上に補助画像と第２の撮影画像の動画を重畳する（ステップＳ８７）。つまり、画像処理装置１００の制御下で、撮影装置２１が、物体検出で卵子が検出された時刻のフレームを含む第２の撮影画像の動画を録画し、投影装置１７が、図２６に示すように、録画した動画Ａ６２を補助画像Ａ６１とともに光学画像Ｏ６２に重畳する。なお、図２６は、卵子が検出されない光学画像Ｏ６１から卵子が検出された光学画像Ｏ６２に像面に形成される光学画像が変化したときに、卵子検出直前の胚培養士の作業が記録された動画Ａ６２が補助画像Ａ６１とともに表示されている様子を示している。
　本実施形態に係る顕微鏡システム３によっても、第１の実施形態に係る顕微鏡システム１と同様に、検卵における卵子の探索を支援することができる。また、顕微鏡システム３では、卵子を検出するために胚培養士が行った作業の詳細、例えば、容器の傾け方や動かし方などの情報が動画を用いて胚培養士に提供される。このため、顕微鏡システム３によれば、胚培養士に卵子を発見するための望ましい作業手順などを学ぶ機会を提供することができる。
［第８の実施形態］
　図２７は、本実施形態に係る補助画像生成処理の一例を示したフローチャートである。図２８は、接眼レンズ１９から見える画像の更に別の例である。本実施形態に係る顕微鏡システム（以降、単に顕微鏡システムと記す。）は、画像解析部１１０が、物体検出と物体追跡に加えて、卵胞液５０から卵子が採取されたことを認識する処理を行う点が、第３の実態形態に係る顕微鏡システムと異なっている。また、顕微鏡システムは、図１３に示す補助画像生成処理の代わりに、図２７に示す補助画像生成処理を含む検卵支援処理を行う。以下、図２７及び図２８を参照しながら、本実施形態に係る顕微鏡システムで行われる検卵支援方法について、補助画像生成処理に注目して説明する。
　図２７に示すステップＳ９１の処理は、図１３に示すステップＳ４１の処理と同様である。次に、画像処理装置１００は、卵子の採取を検出する（ステップＳ９２）。具体的には、画像解析部１１０は、撮影装置１５で撮影された撮影画像の動画に基づいて、卵胞液５０から卵子が採取されたことを認識する処理を行う。さらに、画像処理装置１００は、以前に検出された卵子の現在位置を推定する（ステップＳ９３）。ステップＳ９３の処理は、ステップＳ９２で採取された卵子を追跡対象から除外する点を除き、図１３に示すステップＳ４２の処理と同様である。
　その後、画像処理装置１００は、卵子が検出された領域にバウンディングボックスを有し、推定した視野内の現在位置を含む領域に第２のバウンディングボックスを有し、推定した視野外の現在位置の方向を指す矢印マークを有し、且つ、検卵状況を表す情報を含む画像を補助画像として生成し（ステップＳ９４）、補助画像生成処理を終了する。補助画像に含まれる検卵状況を表す情報は、例えば、図２８に示すように、検出された卵子数と採取済み卵子数を含むことが望ましい。
　補助画像生成処理を終了すると、顕微鏡システムは、光学画像上に補助画像を重畳し（ステップＳ１４）、図７に示す処理を終了する。なお、図２８には、ピペットで卵子を採取する前後の様子が示されている。卵子採取前の光学画像Ｏ７１には、検出卵子数４、採取済み卵子数０を示す補助画像Ａ７１が重畳されているのに対して、卵子採取後の光学画像Ｏ７２には、検出卵子数３、採取済み卵子数１を示す補助画像Ａ７２が重畳されている。このように、顕微鏡システムによれば、採取された卵子数が自動的にカウントされて検卵状況が補助画像を用いて利用者の視野内に提供される。このため、利用者は、採取すべき卵子数（つまり、検出された卵子数）と現在までに採取済みの卵子数とを、常に確認しながら検卵作業を行うことができる。
［第９の実施形態］
　図２９は、顕微鏡システム４の構成を示した図である。図３０は、本実施形態に係る検卵支援処理の一例を示したフローチャートである。図３１は、接眼レンズ１９から見える画像の更に別の例である。顕微鏡システム４は、識別装置３００を備える点が顕微鏡システム１とは異なっている。また、識別装置３００は、例えば、ＱＲコード（登録商標）リーダーなどであり、容器４０に付加された識別情報を取得する装置である。顕微鏡システム４は、図７に示す検卵支援処理の代わりに、図３０に示す検卵支援処理を行う。以下、図２９から図３１を参照しながら、本実施形態に係る顕微鏡システム４で行われる検卵支援方法について説明する。
　顕微鏡システム４は、まず、識別情報を取得する（ステップＳ１０１）。ここでは、胚培養士は例えば、容器４０をステージ１１に配置する前に、容器４０に付された識別ラベル（ＱＲコード）を識別装置３００に近づける。これにより、識別装置３００が識別ラベルを読み取って、識別情報を取得する。なお、識別情報には、容器４０内の卵胞液５０の提供者の情報、又は、提供者の情報が格納されている場所を示すリンク情報が含まれている。取得した識別情報は、識別装置３００から画像処理装置１００へ出力される。
　次に、顕微鏡システム４は、ステップＳ１０２からステップＳ１０４の処理を行う。なお、ステップＳ１０２からステップＳ１０４の処理は、図７に示すステップＳ１１からステップＳ１３の処理と同様である。
　さらに、顕微鏡システム４は、第２の補助画像を生成する（ステップＳ１０５）。ここでは、画像生成部１２０は、ステップＳ１０１で取得した識別情報に基づいて、例えば、図３１に示すような、卵胞液５０の提供者の情報を含む第２の補助画像Ａ８２を生成する。なお、第２の補助画像Ａ８２は、識別情報に基づいて生成される点が、撮影画像に基づいて生成される補助画像とは異なっている。第２の補助画像Ａ８２には、卵胞液５０の提供者のＩＤ、氏名、卵胞液５０を採取した卵胞（卵巣）の位置、卵胞液５０の採取の順番、採取量などの情報が含まれている。
　最後に、顕微鏡システム４は、光学画像上に補助画像と第２の補助画像を重畳し（ステップＳ１０６）、図３０に示す処理を終了する。なお、図３１には、光学画像Ｏ８１と補助画像Ａ８１と第２の補助画像Ａ８２が重畳した様子が示されている。このように、顕微鏡システム４によれば、検卵中に患者情報を確認することができるため、試料の取り違えなどを未然に防止することができる。
［第１０の実施形態］
　図３２は、顕微鏡システム５の構成を示した図である。図３３は、本実施形態に係る検卵支援処理の一例を示したフローチャートである。図３４は、接眼レンズ１９から見える画像の更に別の例である。顕微鏡システム５は、検出装置４００を備える点が顕微鏡システム１とは異なっている。また、検出装置４００は、例えば、容器４０がステージ１１に置かれたことを検出するセンサなどであり、検卵の開始を検出する装置である。顕微鏡システム５は、図７に示す検卵支援処理の代わりに、図３３に示す検卵支援処理を行う。以下、図３２から図３４を参照しながら、本実施形態に係る顕微鏡システム５で行われる検卵支援方法について説明する。
　まず、容器４０がステージ１１に置かれたことを検出装置４００が検出すると、顕微鏡システム５は、タイマでの測定を開始する（ステップＳ１１１）。なお、タイマは、例えば、プロセッサ１０１に含まれていてもよく、所定のイベントを検知してからの経過時間を計測する。この例では、タイマは、検出装置４００からの検出信号を検知してからの経過時間を計測する。
　次に、顕微鏡システム５は、ステップＳ１１２からステップＳ１１４の処理を行う。なお、ステップＳ１１２及びステップＳ１１３の処理は、図７に示すステップＳ１１及びステップＳ１２の処理と同様である。また、ステップＳ１１４の処理は、図２７に示す補助画像生成処理と同様である。
　さらに、顕微鏡システム５は、第３の補助画像を生成する（ステップＳ１１５）。ここでは、画像生成部１２０は、例えば、図３４に示すような、タイマで計測された経過時間を含む第３の補助画像Ａ９２を生成する。なお、第３の補助画像Ａ９２は、タイマでの計測結果に基づいて生成される点が、撮影画像に基づいて生成される補助画像とは異なっている。
　最後に、顕微鏡システム５（投影装置１７）は、光学画像上に補助画像と第３の補助画像を重畳し（ステップＳ１１６）、図３３に示す処理を終了する。なお、図３４には、光学画像Ｏ９１と補助画像Ａ９１と第３の補助画像Ａ９２が重畳した様子が示されている。このように、顕微鏡システムによれば、利用者は、検卵開始からの経過時間を常に確認しながら検卵作業を行うことができる。
　なお、本実施形態では、検卵の開始を検出装置４００で自動的に検出する例を示したが、検卵の開始は、例えば、入力装置１０３からの操作信号に基づいて検出されてもよい。即ち、入力装置１０３が検出装置４００として機能としてもよい。
［第１１の実施形態］
　図３５は、顕微鏡システム６の構成を示した図である。図３６は、本実施形態に係る補助画像生成処理の一例を示したフローチャートである。図３７から図３９のそれぞれは、接眼レンズ１９から見える画像の更に別の例である。顕微鏡システム６は、卵子の検出を報知する報知装置２００（第１の報知装置）に加えて推奨操作を報知する第２の報知装置５００を備える点と、画像解析部１１０が物体検出に加えて推奨操作を推定する処理を行う点が顕微鏡システム２とは異なっている。第２の報知装置５００は、例えば、音声を出力するスピーカーなどの音声出力装置である。また、顕微鏡システム６は、図２３に示す検卵支援処理において、図３６に示す補助画像生成処理を行う点が、顕微鏡システム２とは異なる。以下、図３５から図３９を参照しながら、顕微鏡システム６で行われる検卵支援方法について説明する。
　顕微鏡システム６は、図２３に示すステップＳ７２の処理を終了すると、図３６に示す補助画像生成処理を行う。補助画像生成処理では、画像処理装置１００は、まず、撮影画像から卵子を検出する（ステップＳ１２１）。この処理は、図８のステップＳ２１の処理と同様である。
　次に、画像処理装置１００は、撮影画像から推奨操作を推定する（ステップＳ１２２）。ここでは、画像解析部１１０が、撮影画像に基づいて検卵中に行うべき推奨操作を推定する。この処理は、例えば、学習済みモデルによって実現されてもよい。例えば、図３７に示すような光学画像Ｏ１０１が得られる状況では、泡が多く卵子を見つけ出すことが難しい。このため、画像解析部１１０は、容器４０を振る操作を推奨操作として推定してもよい。また、例えば、図３８に示すような光学画像Ｏ１１１が得られる状況では、画像のコントラストが低く卵子を見つけ出すことが難しい。このため、画像解析部１１０は、焦準部を操作してフォーカスを調整する操作を推奨操作として推定してもよい。また、例えば、検卵開始から所定時間以上経過している状況では、許容される検卵時間を超えているため、画像解析部１１０は、現在の卵胞液５０での検卵中止を推奨操作として推定してもよい。
　その後、画像処理装置１００は、ステップＳ１２２で推奨操作が推定されたか否かを判定する（ステップＳ１２３）。推奨操作が推定されなかった、つまり、推奨操作がない場合には（ステップＳ１２３ＮＯ）、画像処理装置１００は、卵子が検出された領域にバウンディングボックスを有する画像を補助画像として生成し（ステップＳ１２４）、補助画像生成処理を終了する。なお、ステップＳ１２４の処理は、図８のステップＳ２２の処理と同様である。
　推奨操作が推定された、つまり、推奨操作がある場合には（ステップＳ１２３ＹＥＳ）、画像処理装置１００は、卵子が検出された領域にバウンディングボックスを有し、且つ、推奨操作を表す情報を含む画像を補助画像として生成し（ステップＳ１２５）、補助画像生成処理を終了する。ここでは、画像生成部１２０は、容器４０を振る操作が推奨操作として推定されている場合であれば、例えば、図３７に示す補助画像Ａ１０１を生成する。また、画像生成部１２０は、フォーカスを調整する操作が推奨操作として推定されている場合であれば、例えば、図３８に示す補助画像Ａ１１１を生成する。また、画像生成部１２０は、検卵を中止する操作が推奨操作として推定されている場合であれば、例えば、図３９に示す補助画像Ａ１２２を生成する。
　その後、顕微鏡システム６（投影装置１７）は、光学画像上に補助画像を重畳する。これにより、図３７から図３９に示すように、推奨操作が利用者に通知される。さらに、顕微鏡システム６は、卵子が検出された場合には報知装置２００を用いて卵子の検出を報知し、推奨操作が推定された場合には第２の報知装置５００を用いて推奨操作を報知する。これにより、利用者は、より確実に推奨操作を認識することができる。
　上述した実施形態は、発明の理解を容易にするための具体例を示したものであり、本発明の実施形態はこれらに限定されるものではない。顕微鏡システム、投影ユニット、及び、検卵支援方法は、特許請求の範囲の記載を逸脱しない範囲において、さまざまな変形、変更が可能である。
　図４０は、顕微鏡システム７の構成を示した図である。上述した実施形態では、対物レンズ１２と接眼レンズ１９の間の光路から分岐した光路上に配置された投影装置１７を例示したが、補助画像を重畳する装置は、図４０に示すように、対物レンズ１２と接眼レンズ１９の間の光路上に配置されてもよい。顕微鏡システム７は、光学画像が形成される像面上に表示装置３１を含む顕微鏡３０と、画像処理装置１００と、を備えている。表示装置３１は、透過型の画像表示装置であり、像面上に直接補助画像を表示することで、光学画像上に補助画像を重畳する重畳装置の一例である。顕微鏡システム７によっても、顕微鏡システム１と同様に、検卵における利用者による卵子の探索を支援することができる。
　図４１は、顕微鏡システム８の構成を示した図である。上述した実施形態では、撮影装置１５と投影装置１７が顕微鏡１０に設けられ、顕微鏡１０から独立した画像処理装置１００が撮影装置１５と投影装置１７とデータをやり取りすることで、補助画像を光学画像上に重畳する例を示したが、撮影装置と投影装置と画像処理装置は、図４１に示すように、一体に構成されてもよい。
　図４１に示すように、顕微鏡６０の顕微鏡本体７０と鏡筒８０との間に装着される投影ユニット６００が撮影装置１５と投影装置１７と画像処理装置（画像解析部１１０、画像生成部１２０、記憶部１３０）を備えてもよい。このような投影ユニット６００を用いることで、既存の顕微鏡に補助画像を重畳する機能を容易に追加することが可能となる。
１～８・・・顕微鏡システム、１０、２０、３０、６０・・・顕微鏡、１１・・・ステージ
、１２・・・対物レンズ、１５、１５ａ、１５ｂ、２１・・・撮影装置、１７、１７ａ、１７ｂ・・・投影装置、１８、１８ａ、１８ｂ・・・結像レンズ、１９・・・接眼レンズ、３１・・・表示装置、４０・・・容器、５０・・・卵胞液、７０・・・顕微鏡本体、８０・・・鏡筒、１００・・・画像処理装置、１０１・・・プロセッサ、１０２・・・記憶装置、１１０・・・画像解析部、１２０・・・画像生成部、１３０・・・記憶部、２００・・・報知装置、３００・・・識別装置、４００・・・検出装置、５００・・・第２の報知装置、６００・・・投影ユニット

Claims (20)

  1. 　顕微鏡と、
    　前記顕微鏡のステージに置かれた容器内に収容された卵胞液の撮影画像を取得する撮影装置と、
    　前記撮影装置で取得した前記撮影画像に基づいて、卵子の存在が推定される領域を特定する情報を含む補助画像を生成する画像処理装置と、
    　前記顕微鏡の光路上の像面に形成される前記卵胞液の光学画像上に、前記画像処理装置で生成された前記補助画像を重畳する重畳装置と、を備える
    ことを特徴とする顕微鏡システム。
  2. 　請求項１に記載の顕微鏡システムにおいて、
    　前記画像処理装置は、
    　　前記撮影画像に対して卵子を対象とする物体検出を含む画像解析を行う画像解析部と、
    　　前記画像解析の結果に基づいて、前記補助画像を生成する画像生成部と、を備える
    ことを特徴とする顕微鏡システム。
  3. 　請求項１に記載の顕微鏡システムにおいて、
    　前記画像処理装置は、
    　　前記撮影画像に対して卵子を対象とする物体検出と、前記撮影画像よりも前に取得された別の撮像画像内で検出された卵子の現在位置を推定する物体追跡と、を含む画像解析を行う画像解析部と、
    　　前記画像解析の結果に基づいて、前記補助画像を生成する画像生成部と、を備える
    ことを特徴とする顕微鏡システム。
  4. 　請求項３に記載の顕微鏡システムにおいて、
    　前記補助画像は、前記物体追跡で推定された卵子の現在位置が前記顕微鏡の視野外にあるとき、さらに、前記視野外の卵子の存在を表す情報を含む
    ことを特徴とする顕微鏡システム。
  5. 　請求項４に記載の顕微鏡システムにおいて、
    　前記視野外の卵子の存在を表す情報は、前記視野外の卵子が存在する方向を表す情報を含む
    ことを特徴とする顕微鏡システム。
  6. 　請求項２乃至請求項５のいずれか１項に記載の顕微鏡システムにおいて、
    　前記画像解析部は、前記物体検出によって、卵子を、検卵における採取対象としての推奨度が異なる複数のクラスに分けて検出し、
    　前記補助画像は、さらに、前記存在が推定される卵子のクラスを特定する情報を含む
    ことを特徴とする顕微鏡システム。
  7. 　請求項６に記載の顕微鏡システムにおいて、
    　前記複数のクラスは、成熟卵を示すクラスと、未成熟卵を示すクラスと、変性卵を示すクラスを含む
    ことを特徴とする顕微鏡システム。
  8. 　請求項２乃至請求項７のいずれか１項に記載の顕微鏡システムにおいて、さらに、
    　前記物体検出での卵子の検出を報知する第１の報知装置を備える
    ことを特徴とする顕微鏡システム。
  9. 　請求項２乃至請求項８のいずれか１項に記載の顕微鏡システムにおいて、
    　前記画像解析は、さらに、前記撮影画像に基づいて検卵中に行うべき推奨操作を推定する処理を含み、
    　前記顕微鏡システムは、さらに、推定された推奨操作を報知する第２の報知装置を備える
    ことを特徴とする顕微鏡システム。
  10. 　請求項２乃至請求項９のいずれか１項に記載の顕微鏡システムにおいて、
    　前記画像解析は、さらに、前記撮影装置で撮影された撮影画像の動画に基づいて、前記卵胞液から卵子が採取されたことを認識する処理を含む
    ことを特徴とする顕微鏡システム。
  11. 　請求項１０に記載の顕微鏡システムにおいて、
    　前記補助画像は、さらに、検出された卵子数と、採取済み卵子数と、を含む検卵状況を表す情報を含む
    ことを特徴とする顕微鏡システム。
  12. 　請求項２乃至請求項１１のいずれか１項に記載の顕微鏡システムにおいて、さらに、
    　前記容器を含む前記ステージ上方の空間の第２の撮影画像の動画であって、前記物体検出で卵子が検出された時刻のフレームを含む第２の撮影画像の動画を録画する第２の撮影装置を備える
    ことを特徴とする顕微鏡システム。
  13. 　請求項１２に記載の顕微鏡システムにおいて、　
    　前記重畳装置は、前記光学画像上に前記補助画像と前記第２の撮影画像の動画とを重畳する
    ことを特徴とする顕微鏡システム。
  14. 　請求項２乃至請求項１３のいずれか１項に記載の顕微鏡システムにおいて、さらに、
    　前記容器に付加された識別情報を取得する識別装置と、を備え、
    　前記画像生成部は、前記識別情報に基づいて前記卵胞液の提供者の情報を含む第２の補助画像を生成し、
    　前記重畳装置は、前記光学画像上に前記補助画像と前記第２の補助画像とを重畳する
    ことを特徴とする顕微鏡システム。
  15. 　請求項２乃至請求項１４のいずれか１項に記載の顕微鏡システムにおいて、さらに、
    　所定のイベントを検知してからの経過時間を計測するタイマを備え、
    　前記画像生成部は、前記タイマで計測された経過時間を含む第３の補助画像を生成し、
    　前記重畳装置は、前記光学画像上に前記補助画像と前記第３の補助画像とを重畳する
    ことを特徴とする顕微鏡システム。
  16. 　請求項２乃至請求項１５のいずれか１項に記載の顕微鏡システムにおいて、
    　前記画像処理装置は、さらに、入力画像に対する少なくとも卵子の位置を学習した学習済みモデルを記憶する記憶部を備え、
    　前記画像解析部は、前記記憶部に記憶されている前記学習済みモデルを用いて前記物体検出を行う
    ことを特徴とする顕微鏡システム。
  17. 　請求項２乃至請求項１５のいずれか１項に記載の顕微鏡システムにおいて、
    　前記画像処理装置は、さらに、入力画像に対する少なくとも卵子の位置と前記卵子の複数のクラスとを学習した学習済みモデルを記憶する記憶部を備え、
    　前記画像解析部は、前記記憶部に記憶されている前記学習済みモデルを用いて前記物体検出を行う
    ことを特徴とする顕微鏡システム。
  18. 　請求項１乃至請求項１７のいずれか１項に記載の顕微鏡システムにおいて、
    　前記顕微鏡は、接眼レンズを備える実体顕微鏡である　　
    ことを特徴とする顕微鏡システム。
  19. 　顕微鏡に装着して使用される投影ユニットであって、
    　前記顕微鏡のステージに置かれた容器内に収容された卵胞液の撮影画像に基づいて、卵子の存在が推定される領域を特定する情報を含む補助画像を生成する画像処理装置と、
    　前記顕微鏡の光路上の像面に形成される前記卵胞液の光学画像上に、前記画像処理装置で生成された前記補助画像を重畳する重畳装置と、を備える
    ことを特徴とする投影ユニット。
  20. 　顕微鏡のステージに置かれた容器内に収容された卵胞液の撮影画像を取得し、
    　取得した前記撮影画像に基づいて、卵子の存在が推定される領域を特定する情報を含む補助画像を生成し、
    　前記顕微鏡の光路上の像面に形成される前記卵胞液の光学画像上に、生成された前記補助画像を重畳する
    ことを特徴とする検卵支援方法。
     
PCT/JP2021/009684 2020-03-31 2021-03-10 顕微鏡システム、投影ユニット、及び、検卵支援方法 WO2021200002A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202180025339.5A CN115552309A (zh) 2020-03-31 2021-03-10 显微镜系统、投影单元以及检卵辅助方法
JP2022511750A JPWO2021200002A1 (ja) 2020-03-31 2021-03-10
EP21779247.2A EP4130842A4 (en) 2020-03-31 2021-03-10 MICROSCOPE SYSTEM, PROJECTION UNIT AND METHOD FOR ASSISTING AN EGG TEST

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-063283 2020-03-31
JP2020063283 2020-03-31

Publications (1)

Publication Number Publication Date
WO2021200002A1 true WO2021200002A1 (ja) 2021-10-07

Family

ID=77928713

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/009684 WO2021200002A1 (ja) 2020-03-31 2021-03-10 顕微鏡システム、投影ユニット、及び、検卵支援方法

Country Status (4)

Country Link
EP (1) EP4130842A4 (ja)
JP (1) JPWO2021200002A1 (ja)
CN (1) CN115552309A (ja)
WO (1) WO2021200002A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117982214B (zh) * 2024-04-07 2024-07-23 安徽医科大学第一附属医院 一种快速捡卵用辅助识别方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008109552A (ja) * 2006-10-27 2008-05-08 Sanyo Electric Co Ltd 追跡機能付き撮像装置
WO2012150689A1 (ja) 2011-05-02 2012-11-08 オリンパス株式会社 顕微鏡、及び、顕微鏡を用いた顕微授精方法
JP2016526949A (ja) * 2013-05-31 2016-09-08 ラブマン オートメーション リミテッドＬａｂｍａｎ Ａｕｔｏｍａｔｉｏｎ Ｌｉｍｉｔｅｄ 体外受精採卵チャンバ
WO2018231204A1 (en) * 2017-06-13 2018-12-20 Google Llc Augmented reality microscope for pathology
JP2019533847A (ja) * 2016-08-12 2019-11-21 ヴェリリー ライフ サイエンシズ エルエルシー 高度な病理診断
WO2020138279A1 (ja) * 2018-12-28 2020-07-02 オリンパス株式会社 顕微鏡システム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL251134B (en) * 2016-05-17 2018-03-29 Sheena Haim A system and method for monitoring and managing laboratory procedures
JP2021515240A (ja) * 2018-04-12 2021-06-17 グーグル エルエルシーＧｏｏｇｌｅ ＬＬＣ 定量的バイオマーカデータのオーバレイを有する病理学用拡張現実顕微鏡

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008109552A (ja) * 2006-10-27 2008-05-08 Sanyo Electric Co Ltd 追跡機能付き撮像装置
WO2012150689A1 (ja) 2011-05-02 2012-11-08 オリンパス株式会社 顕微鏡、及び、顕微鏡を用いた顕微授精方法
JP2016526949A (ja) * 2013-05-31 2016-09-08 ラブマン オートメーション リミテッドＬａｂｍａｎ Ａｕｔｏｍａｔｉｏｎ Ｌｉｍｉｔｅｄ 体外受精採卵チャンバ
JP2019533847A (ja) * 2016-08-12 2019-11-21 ヴェリリー ライフ サイエンシズ エルエルシー 高度な病理診断
WO2018231204A1 (en) * 2017-06-13 2018-12-20 Google Llc Augmented reality microscope for pathology
WO2020138279A1 (ja) * 2018-12-28 2020-07-02 オリンパス株式会社 顕微鏡システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4130842A4

Also Published As

Publication number Publication date
EP4130842A4 (en) 2024-05-15
JPWO2021200002A1 (ja) 2021-10-07
EP4130842A1 (en) 2023-02-08
CN115552309A (zh) 2022-12-30

Similar Documents

Publication Publication Date Title
JP2021047911A (ja) 高度な病理診断
US20210236227A1 (en) Instrument tracking machine
JP2019532352A (ja) 組織標本の組織学的検査のためのシステム
US11594051B2 (en) Microscope system and projection unit
CN112784672B (zh) 基于计算机视觉的手术场景评估
WO2021200003A1 (ja) 顕微鏡システム、投影ユニット、及び、精子選別支援方法
JP2008064534A (ja) 細胞画像処理装置および細胞画像処理方法
JP2018000048A (ja) 多能性幹細胞の無染色評価支援方法、プログラム、演算装置
WO2021200002A1 (ja) 顕微鏡システム、投影ユニット、及び、検卵支援方法
US20200074647A1 (en) Smart glasses and method of selectively tracking target of visual cognition
US11169079B2 (en) Captured image evaluation apparatus, captured image evaluation method, and captured image evaluation program
WO2014210121A2 (en) Digital microscope and image recognition method
US11961230B2 (en) Discerning device, cell mass discerning method, and computer program
US20230266819A1 (en) Annotation data collection using gaze-based tracking
CN112543940A (zh) 针对外科手术视频的主导工具检测系统
WO2019239243A1 (en) Tool handedness determination for surgical videos
JPWO2018003063A1 (ja) 画像選択装置、画像選択方法、画像選択プログラム、表示装置、演算装置
US20200074628A1 (en) Image processing apparatus, imaging system, image processing method and computer readable recoding medium
JP6790734B2 (ja) 装置、方法、およびプログラム
Kauppi et al. A framework for constructing benchmark databases and protocols for retinopathy in medical image analysis
JP2019180264A (ja) 細菌検査装置および細菌検査方法
Thompson et al. On pattern selection for laparoscope calibration
JP2024059329A (ja) 顕微鏡システム
Mukherjee et al. Drusen segmentation in color fundus photographs for drusenoid pigment epithelial detachment patients based on ground-truth derived from SD-OCTs
CN118692078A (zh) 一种基于多阶段迁移学习的耳显微手术中标志识别方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21779247

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022511750

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021779247

Country of ref document: EP

Effective date: 20221031