WO2018230178A1 - 情報処理装置、情報処理システム、情報処理方法及びプログラム - Google Patents

情報処理装置、情報処理システム、情報処理方法及びプログラム Download PDF

Info

Publication number
WO2018230178A1
WO2018230178A1 PCT/JP2018/017004 JP2018017004W WO2018230178A1 WO 2018230178 A1 WO2018230178 A1 WO 2018230178A1 JP 2018017004 W JP2018017004 W JP 2018017004W WO 2018230178 A1 WO2018230178 A1 WO 2018230178A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
fertilized egg
unit
evaluation
information processing
Prior art date
Application number
PCT/JP2018/017004
Other languages
English (en)
French (fr)
Inventor
篠田　昌孝
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to EP18816577.3A priority Critical patent/EP3640319A4/en
Priority to BR112019025849-3A priority patent/BR112019025849A2/pt
Priority to JP2019525186A priority patent/JP7215416B2/ja
Priority to US16/619,988 priority patent/US20200110922A1/en
Publication of WO2018230178A1 publication Critical patent/WO2018230178A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/693—Acquisition
    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M21/00—Bioreactors or fermenters specially adapted for specific uses
    • C12M21/06—Bioreactors or fermenters specially adapted for specific uses for in vitro fertilization
    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M41/00—Means for regulation, monitoring, measurement or control, e.g. flow regulation
    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M41/00—Means for regulation, monitoring, measurement or control, e.g. flow regulation
    • C12M41/30—Means for regulation, monitoring, measurement or control, e.g. flow regulation of concentration
    • C12M41/36—Means for regulation, monitoring, measurement or control, e.g. flow regulation of concentration of biomass, e.g. colony counters or by turbidity measurements
    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M41/00—Means for regulation, monitoring, measurement or control, e.g. flow regulation
    • C12M41/46—Means for regulation, monitoring, measurement or control, e.g. flow regulation of cellular or enzymatic activity or functionality, e.g. cell viability
    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12N—MICROORGANISMS OR ENZYMES; COMPOSITIONS THEREOF; PROPAGATING, PRESERVING, OR MAINTAINING MICROORGANISMS; MUTATION OR GENETIC ENGINEERING; CULTURE MEDIA
    • C12N5/00—Undifferentiated human, animal or plant cells, e.g. cell lines; Tissues; Cultivation or maintenance thereof; Culture media therefor
    • C12N5/06—Animal cells or tissues; Human cells or tissues
    • C12N5/0602—Vertebrate cells
    • C12N5/0681—Cells of the genital tract; Non-germinal cells from gonads
    • C12N5/0682—Cells of the female genital tract, e.g. endometrium; Non-germinal cells from ovaries, e.g. ovarian follicle cells
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30044—Fetus; Embryo

Definitions

  • the present technology relates to an information processing apparatus, an information processing system, an information processing method, and a program used for observing cultured cells.
  • the shape of the fertilized egg after the blastocyst is structurally asymmetric, and the appearance of the fertilized egg varies greatly depending on the observation angle. Therefore, sufficient evaluation cannot be performed only with images taken from one observation angle.
  • An object of the present technology is to provide an information processing apparatus, an information processing system, an information processing method, and a program suitable for evaluating a fertilized egg with high accuracy.
  • an information processing apparatus includes a storage unit, an image acquisition unit, and an evaluation unit.
  • the storage unit stores in advance a plurality of first images obtained by rotating and imaging comparative cells.
  • the image acquisition unit acquires a plurality of second images obtained by rotating and imaging the cells to be evaluated.
  • the evaluation unit evaluates the cell to be evaluated based on a comparison result between the first image and the second image.
  • the comparative cells are rotated and imaged, a plurality of fertilized egg images (first images) captured from different observation angles are stored in the storage unit.
  • a plurality of fertilized egg images (second images) captured from different observation angles can be obtained. Since a plurality of first images and second images captured from all these observation angles are compared to evaluate cells to be evaluated, highly accurate evaluation can be performed.
  • the evaluation unit evaluates the cell to be evaluated based on a comparison result between the first feature amount extracted from the first image and the second feature amount extracted from the second image. Also good.
  • the feature amount is information of a characteristic part of the image. For example, the size, shape, sphericity, blast number (rate) of the fertilized egg, the shape and balance of each blastomere, fragmentation, the size and shape of the ICM ICM cell number, cell density, etc.
  • the storage unit stores an evaluation result for the first image associated with the first image, compares the first image with the second image, and compares the first image with the first image.
  • a determination unit that determines whether or not the second image matches, and the determination unit determines that the first image and the second image match each other when the first image and the second image match.
  • a granting unit that gives the evaluation result associated with the first image determined to be coincident to the second image, and the evaluation unit gives each of the plurality of second images.
  • the evaluation result that is given the most may be used as the evaluation for the cells to be evaluated.
  • the evaluation result associated with the first image that matches the second image is set as the evaluation result of the second image, and the largest number of evaluation results given to each of the plurality of second images is given.
  • the evaluated result can be used as an evaluation for the cell to be evaluated.
  • the evaluation result for the first image which is an image of a fertilized egg for comparison, is a finding by an evaluator such as a culture person, for example, and is an evaluation result of the growth stage or quality evaluation result of the fertilized egg determined by the evaluator. is there. Therefore, the evaluation of the fertilized egg to be evaluated can be performed accurately and easily without the presence of an evaluator. Moreover, since evaluation can be performed without the presence of an evaluator, it is effective for evaluating a large amount of fertilized eggs.
  • a calculation unit that calculates a ratio of an evaluation result that is given most among evaluation results given to each of the plurality of second images, and whether or not the numerical value of the ratio calculated by the calculation unit is stable
  • a determination control unit that controls the determination unit to compare the first image and the second image until it is determined that the numerical value of the ratio is stable.
  • the comparison process of the first image and the second image is performed until the numerical value of the ratio of the most frequently given evaluation result among the evaluation results given to each of the plurality of second images is stabilized. Highly accurate evaluation can be performed.
  • a rotation control unit that controls a rotation mechanism that rotates the cells may be further included.
  • the rotation control unit may control the rotation mechanism so as to rotate the evaluation target cell when the determination control unit determines that the numerical value of the ratio is stable.
  • the evaluation unit may evaluate the growth stage of the cell to be evaluated.
  • the evaluation unit may evaluate the quality of the cell to be evaluated. In this way, the cell growth stage and quality can be evaluated.
  • An information processing system includes a culture vessel, an imaging unit, an image acquisition unit, a rotation mechanism, a storage unit, an image acquisition unit, and an evaluation unit.
  • the culture container has a plurality of accommodating portions in which cells are accommodated.
  • the imaging unit images the cell.
  • the said image acquisition part acquires the image of the said cell imaged by the said imaging part.
  • the rotation mechanism rotates the cells in the accommodating portion.
  • storage part preserve
  • the image acquisition unit acquires a plurality of second images obtained by imaging the cells to be evaluated rotated by the rotation mechanism by the imaging unit.
  • the evaluation unit evaluates the cell to be evaluated based on a comparison result between the first image and the second image.
  • An information processing method rotates and images a cell to be evaluated to acquire a plurality of second images, rotates and images a comparative cell, and acquires a plurality of first images acquired in advance.
  • the second images are compared, and the cells to be evaluated are evaluated based on the comparison result.
  • the program according to the present technology includes a step of rotating and imaging a cell to be evaluated to obtain a plurality of second images, a plurality of first images obtained by rotating and imaging a comparative cell and acquired in advance,
  • the computer is caused to execute a step of comparing the second image and a step of evaluating the cell to be evaluated based on the comparison result.
  • FIG. 5 is a schematic diagram showing a configuration of an observation system according to first to fourth embodiments. It is a block diagram which shows the observation system shown in FIG.
  • FIG. 6 is a schematic plan view of a rotating device that constitutes a part of the observation system shown in FIG. 5.
  • FIG. 6 is a schematic view of the vicinity of a rotating device that constitutes a part of the observation system shown in FIG. 5.
  • FIG. 6 is a diagram for explaining the drive timing of the vibration element provided in the rotating device when creating the learning database of the observation system shown in FIG. 5 and when evaluating the fertilized egg. It is a figure explaining an example of the rotation pattern of the fertilized egg rotated by the rotation apparatus of the observation system shown in FIG. FIG.
  • FIG. 6 is a diagram for explaining another example of driving timings of the observation illumination device, the camera, and the rotation device when acquiring an image of a fertilized egg when creating the learning database of the observation system shown in FIG. 5. It is a flowchart explaining the evaluation method of the fertilized egg of evaluation object using the observation system shown in FIG. It is a figure explaining the drive timing of the observation illumination apparatus at the time of image acquisition of the fertilized egg of the evaluation object using the observation system shown in FIG. 5, a camera, and a rotation apparatus. It is a flowchart explaining the detail of the step of the comparison in the flowchart of FIG. 14, determination, and provision.
  • FIG. 1 is a plan view of a culture vessel (dish).
  • FIG. 2 is a partially enlarged plan view of the culture vessel.
  • FIG. 5 is a schematic diagram illustrating a state in which the culture container is accommodated in the observation apparatus.
  • the culture vessel 1 is configured to be able to accommodate the culture solution 18 and the cells 16 and is light-transmitting to the extent that the cells 16 can be imaged from the outside.
  • the number of culture vessels 1 and cells 16 that can be imaged simultaneously is not limited.
  • the cell 16 to be cultured will be described by taking a living organism in the field of animal husbandry and the like, for example, a fertilized egg of a cow as an example (hereinafter referred to as a fertilized egg 16 using the same reference numerals).
  • the cells to be cultured include biological samples taken from living organisms such as stem cells, immune cells, cancer cells, etc. in the field of regenerative medicine, etc., and a growth stage having a shape with high structural asymmetry This technique is effective for cells that require three-dimensional images.
  • the “cell” at least conceptually includes a single cell and an aggregate of a plurality of cells.
  • a single cell or a collection of cells can be an oocyte, egg (egg or ovum), fertilized egg (fertile ovum or zygote), undifferentiated germ cell (blastocyst), embryo (embryo) ) Including (but not limited to) cells observed at one or more stages of the fertilized egg growth process.
  • the culture vessel 1 has a bottom portion 19, an outer wall 11, an inner wall 12, a storage portion 15, and a cell placement convex portion 13.
  • inorganic materials such as metal, glass, silicon, polystyrene resin, polyethylene resin, polypropylene resin, ABS resin, nylon, acrylic resin, fluororesin, polycarbonate resin, polyurethane resin, methylpentene resin, phenol resin
  • organic material such as a melamine resin, an epoxy resin, or a vinyl chloride resin.
  • a transparent culture vessel 1 made of polystyrene resin is used.
  • the case where 36 accommodating portions 15 are arranged in one culture vessel 1 is illustrated as an example, but the number of accommodating portions 15 is not limited thereto. In FIG. 5, the number of accommodating portions 15 of the culture vessel 1 is different from the number of accommodating portions 15 of the culture vessel 1 in FIG.
  • a plurality of storage units 15 are provided, and each storage unit 15 can hold a single cell, here a fertilized egg 16, while being held in a fixed position.
  • liquid is stored in each storage unit 15.
  • “Liquid” is typically a culture solution suitable for culturing cells, and will be described below as a culture solution.
  • a culture solution 18 for culturing the fertilized egg 16 is injected into a region surrounded by the accommodating portion 15 and the inner wall 12. Further, in order to prevent the culture solution 18 from evaporating, oil 17 is injected into the region surrounded by the inner wall 12 so as to cover the culture solution 18.
  • the bottom portion 19 has a circular planar shape, for example.
  • the outer wall 11 and the inner wall 12 are formed concentrically, and the height of the inner wall 12 is lower than the height of the outer wall 11.
  • the cell placement convex portion 13 is disposed at the center of the bottom portion 19 in a region surrounded by the inner wall 12 with a gap from the inner wall 12.
  • the cell placement convex portion 13 has a rectangular planar shape.
  • 36 accommodating portions 15 are arranged in a matrix.
  • the planar shape of the accommodating part 15 has a rectangle, it is not limited to this and may be a circle.
  • FIG. 3 shows the general growth stage of the fertilized egg 16 from day 1 to day 10 after fertilization.
  • FIG. 3A shows a 1-cell fertilized egg 1601 on the first day on which fertilization is confirmed.
  • a two-cell fertilized egg 1602 is obtained by dividing into two as shown in FIG.
  • the fertilized egg 16 becomes a 4-cell stage fertilized egg 1603 in order on the third day of fertilization, as shown in FIGS. 3 (c), 3 (d), and 3 (e).
  • the number of cells increases, such as a fertilized egg 1604 at the 8-cell stage on the fourth day of fertilization and a fertilized egg 1605 at the 16-cell stage on the fifth day of fertilization.
  • the cells are brought into close contact with each other, becoming an early morula 1606 on the 5th to 6th days of fertilization as shown in FIG. 3 (f), and as shown in FIG. 3 (g) on the 6th day of fertilization with the morula embryo 1607.
  • a gap is formed in the cytoplasm, forming a blastocoel, and becomes an early blastocyst 1608 as shown in FIG. 3 (h) on the seventh day of fertilization.
  • a complete blastocyst 1609 is obtained as shown in FIG. 3 (i).
  • the inner cell mass 161 Inner Cell Mass, hereinafter referred to as ICM
  • the trophectoderm 162 Trophectoderm, hereinafter referred to as TE
  • the transparent body 163 that forms the outline of the fertilized egg is recognized.
  • the transparent body 163 is thinned, and the fertilized egg becomes an expanded blastocyst 1610 on the 8th to 9th days of fertilization, and on the 9th day of fertilization, the blastocyst escapes from the transparent body and the blastocyst 1611 is fertilized. On day 9-10, the expanded escape blastocyst 1612 is obtained.
  • the fertilized egg 16 has relatively high structural symmetry from fertilization to the growth stage of the morula 1607, and its appearance does not change greatly depending on the observation angle.
  • the fertilized egg 16 in the growth stage of the 2-cell stage and the 4-cell stage differs in appearance depending on the observation angle, but in these cell stages, the number of blastomeres is small. The state of is relatively easy to understand.
  • FIG. 4 is a schematic view of an image obtained by imaging the fertilized egg 16 in the growth stage after the complete blastocyst 1609 from a plurality of angles.
  • FIG. 4A shows an image obtained by imaging the fertilized egg 16 from the front or the back surface when the ICM 161 is located at the front center of the fertilized egg 16. As shown in FIG. 4A, an image in which a substantially circular ICM 161 is located at the center of the fertilized egg 16 is obtained.
  • FIG. 4D shows an image obtained by imaging the fertilized egg 16 from the lateral direction. As shown in FIG. 4D, an image in which an ICM 161 having a substantially inferior arc shape is located at the end in the fertilized egg 16 is obtained.
  • the ICM 161 is an image located in the shape of a substantially ellipse at the end in the fertilized egg 16.
  • the information processing system of the present technology is particularly effective for evaluating a fertilized egg at a growth stage in which the appearance of the fertilized egg varies greatly depending on the observation direction, and can perform highly accurate evaluation.
  • an observation system as an information processing system of the present technology will be described.
  • observation system as an information processing system according to the present technology
  • data of a plurality of first images picked up by rotating fertilized eggs for comparison at all growth stages are stored in advance in a learning database as a storage unit as learning data.
  • a plurality of second images obtained by rotating the fertilized egg to be evaluated using the observation system in which the learning database is created are acquired.
  • the information on the second image and the information on the first image stored in the learning database are compared, and the fertilized egg to be evaluated is evaluated.
  • an image of a fertilized egg for comparison, which is learning data is referred to as a first image
  • an image of a fertilized egg to be evaluated is referred to as a second image
  • a feature amount extracted from the first image is referred to as a first feature amount
  • a feature amount extracted from the second image is referred to as a second feature amount.
  • an observation system having a learning database in which learning data is stored is referred to as an observation system at the time of evaluation as necessary, and is distinguished from an observation system at the time of creating a learning database.
  • the observation system includes a rotation mechanism that rotates a fertilized egg for comparison and a fertilized egg to be evaluated.
  • image data obtained by rotating the fertilized egg at each growth stage is acquired as learning data and stored in the learning database.
  • the learning data stored in the learning database is data for comparison when evaluating a fertilized egg to be evaluated.
  • the image of the fertilized egg (first image) serving as learning data can be obtained by rotating the fertilized egg by a rotation mechanism and being imaged by a camera as an imaging unit.
  • An image of a fertilized egg imaged from a plurality of observation directions is acquired by rotating and imaging the fertilized egg.
  • the learning data includes a first image of a plurality of fertilized eggs acquired by imaging from a plurality of observation directions within a certain image acquisition period, a first feature amount, a growth stage code, and a quality of the fertilized egg. It is configured by associating ranks and the like.
  • the feature amount is information of a characteristic part of the image. For example, the size, shape, sphericity, blast number (rate) of the fertilized egg, the shape and balance of each blastomere, fragmentation, the size and shape of the ICM ICM cell number, cell density, etc.
  • the growth stage code and the quality rank are observations made by an evaluator, such as a culture technician, on an image of a fertilized egg and performed on the fertilized egg, and are an evaluation result given to the fertilized egg to be observed by the evaluator.
  • the growth stage code represents the growth stage of the fertilized egg
  • the quality rank represents the quality of the fertilized egg.
  • the growth stage refers to the 1-cell stage, 2-cell stage, 4-cell stage, 8-cell stage, 16-cell stage, early morula, morula, early blastocyst, complete blastocyst, Extended blastocyst, escaped blastocyst, and extended escape blastocyst.
  • the growth stage of the 1 cell stage 1601 is the growth stage code 1
  • the growth stage from the 1 cell stage 1602 to the 16 cell stage 1605 is the growth stage code 2
  • the growth stage of the early morula 1606 is the growth stage code 3
  • the morula is 1607 is the growth stage code 4
  • the growth stage code 5 is the growth stage of the initial blastocyst 1608
  • the growth stage code 6 is the growth stage of the complete blastocyst 1609
  • the growth stage code is the growth stage of the expanded blastocyst 1610 7.
  • the growth stage code 8 is the growth stage of the escaped blastocyst 1611
  • the growth stage code 9 is the growth stage of the extended escape blastocyst 1612.
  • the growth stage is expressed and stored as a growth stage code.
  • Quality rank is the quality evaluation result of the fertilized egg made by the evaluator.
  • the evaluation criteria for quality evaluation differ depending on the stage of growth of the fertilized egg. For example, in the 4-8 cell stage, it is classified into three ranks A to C based on evaluation criteria such as the number of splits (rate) of fertilized eggs, the shape and balance of blastomeres, and the ratio of fragmentation. In the blastocyst stage, the number of ICM cells, the cell density of ICM, etc. are classified into three ranks A to C based on evaluation criteria. In the learning database, the quality is expressed and stored in quality ranks A to C.
  • Evaluation of fertilized eggs to be evaluated is performed using learning data stored in the learning database of the observation system at the time of evaluation.
  • the observation system a plurality of fertilized egg images (second images) obtained by rotating the fertilized egg to be evaluated and picked up from a plurality of observation directions are acquired.
  • the acquired second image is compared with the first image.
  • the evaluation result associated with the first image determined to match the second image is the match determination. It is given to the used second image.
  • the evaluation results include a growth stage code (growth stage) and a quality rank (quality).
  • the evaluation result given most among the evaluation results assigned to each of the plurality of second images is the evaluation for the fertilized egg to be evaluated.
  • Images of a plurality of fertilized eggs to be evaluated (second images) imaged from a plurality of observation directions within a certain image acquisition period, position information of a storage unit in which the fertilized eggs are stored, imaging date and time, The imaging conditions, the second feature amount, the evaluation result of the fertilized egg to be evaluated, and the like are associated with each other and stored in an analysis result database as a storage unit of the observation system.
  • FIG. 5 is a schematic diagram showing an observation system.
  • FIG. 6 is a block diagram showing the configuration of the observation system.
  • the observation system includes one or a plurality of culture containers 1 placed on a dish holder. It may be configured to be able to observe a large number of fertilized eggs at a time by placing them individually in an observation system.
  • the observation system 2 includes an observation device 21, an information processing device 22, a display device 23, an input device 29, and a rotation device 340.
  • the rotation device 340 as a rotation mechanism includes an eccentric rotation motor (reference numerals 311 to 313 and 321 to 323 shown in FIG. 7) and a control device 341 as a plurality of vibrators.
  • the control device 341 receives a signal from a rotation control unit 228, which will be described later, and controls the driving of each eccentric rotation motor.
  • Rotating device 340 emits vibration and applies vibration to culture vessel 1.
  • the rotation device 340 is disposed in the observation device 21. Details of the rotating device 340 will be described later.
  • the observation device 21 accommodates the culture container 1 in which the fertilized egg 16 is accommodated, and observes the fertilized egg 16.
  • the culture container 1 is held horizontally in the observation apparatus 21, and each fertilized egg 16 is accommodated in each accommodation portion 15 of the culture container 1.
  • an observation illumination apparatus 24, a camera 25, a temperature / humidity / gas control unit 26, and a stage 27 are arranged.
  • the observation illumination device 24 emits light that irradiates the culture container 1 when the fertilized egg 16 in the culture container 1 is imaged by the camera 25.
  • the timing of lighting (on) and non-lighting (off) of the light of the observation illumination device 24 is controlled based on an imaging trigger signal from an imaging control unit 226 of the information processing device 22 described later.
  • a camera 25 (hereinafter referred to as the camera 25 using the same reference numeral) as an imaging unit is a visible light camera including an image sensor such as a CMOS (Complementary Metal-Oxide Semiconductor) sensor or a CCD (Charge Coupled Device) sensor. Consists of. An infrared (IR) camera, a change camera, or the like may be used instead of or in addition to the visible light camera.
  • CMOS Complementary Metal-Oxide Semiconductor
  • CCD Charge Coupled Device
  • the camera 25 images the fertilized egg 16 in the culture vessel 1 and is arranged in the observation device 21.
  • the camera 25 includes a lens barrel including a lens group movable in the optical axis direction (Z-axis direction), a CMOS (Complementary Metal Oxide Semiconductor), a CCD (Charge Coupled Device), and the like that captures subject light passing through the lens barrel. It has a solid-state image sensor as an image sensor and a drive circuit for driving them.
  • the camera 25 may be installed in the culture vessel 1 so as to be movable in the Z-axis direction and the horizontal plane direction (XY plane direction) in the drawing.
  • the camera 25 may be configured to capture not only a still image but also a continuous image (video).
  • the number of times of imaging, the timing of imaging, and the like are controlled by an imaging control unit 226 of the information processing apparatus 22 described later.
  • the temperature / humidity / gas control unit 26 controls the temperature / humidity / gas in the observation apparatus 21 and creates an environment suitable for culturing the fertilized egg 16.
  • the gas include nitrogen, oxygen, and carbon dioxide.
  • the input device 29 is connected to the information processing device 22 and is an operation device for inputting a user operation.
  • the input device 29 for example, a trackball, a touch pad, a mouse, a keyboard, or the like can be used.
  • the display device 23 outputs an image like a display.
  • the display device 23 displays information such as an image of the fertilized egg 16, position information of the storage unit in which the fertilized egg 16 is stored, imaging date and time, growth stage (growth stage code), quality (quality rank), and the like. is there.
  • the information processing apparatus 22 includes an image acquisition unit 222, a feature amount extraction unit 230, a determination unit 231, a grant unit 232, an evaluation unit 223, a storage unit 224, and a display control unit 225.
  • the information processing device 22 controls the operation of each block in the observation system 2.
  • the information processing apparatus 22 has hardware necessary for the configuration of the computer, such as a CPU (Central Processing Unit), ROM (Read Only Memory), RAM (Random Access Memory), HDD (Hard Disk Drive), and the like.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • HDD Hard Disk Drive
  • PC Personal Computer
  • any other computer may be used.
  • the unit 226, the calculation unit 227, the rotation control unit 228, and the determination control unit 229 load a program stored in a ROM, which is an example of a non-transitory computer-readable recording medium, into the RAM. It is realized by executing. And the image acquisition method which concerns on this technique is performed by these functional blocks.
  • the program is installed in the information processing apparatus 22 via various storage media, for example. Alternatively, the program may be installed via the Internet or the like.
  • the image acquisition unit 222 acquires image information of a fertilized egg imaged by the camera 25 from the camera 25. By fixing the imaging angle and imaging a plurality of times while rotating the fertilized egg 16, images of the fertilized egg 16 captured from a plurality of different angles can be acquired.
  • a plurality of images are acquired while the fertilized egg 16 is rotated, but the rotated fertilized eggs 16 may be acquired as a moving image, and an arbitrary plurality of images may be extracted from the acquired moving image. .
  • Both the first image and the second image are acquired by imaging the fertilized egg 16 rotated by the rotating device 340 with the camera 25.
  • the feature amount extraction unit 230 extracts the feature amount of the fertilized egg based on the fertilized egg image acquired by the image acquisition unit 222.
  • the feature amount is information of a characteristic part of the image. For example, the size, shape, sphericity, blast number (rate) of the fertilized egg, the shape and balance of each blastomere, fragmentation, the size and shape of the ICM ICM cell number, cell density, etc.
  • the storage unit 224 includes a learning database 2241 and an analysis result database 2242.
  • the learning database 2241 stores various data such as a first image of a fertilized egg for comparison and a first feature amount as learning data.
  • the analysis result database 2242 stores various data such as the second image and the second feature amount of the fertilized egg to be evaluated.
  • a fertilized egg to be evaluated is evaluated using learning data stored in the learning database 2241.
  • the learning database 2241 as a storage unit extracts the first image obtained by rotating one fertilized egg imaged within a certain image acquisition period and the feature amount extraction. Data in which the first feature value extracted by the unit 230 is associated with the quality rank, the growth stage code, and the like is stored.
  • the learning database 2241 stores fertilized egg data at any growth stage from the 1-cell stage to the expanded escape blastocyst.
  • the analysis result database 2242 as a storage unit includes a plurality of second images obtained by rotating and imaging one fertilized egg to be evaluated within a certain image acquisition period.
  • the evaluation unit 223 evaluates the position information of the storage unit 15 in which the fertilized egg 16 to be evaluated, the imaging date and time, the imaging condition, the second feature amount extracted by the feature amount extraction unit 230, and the evaluation unit 223. Data associated with the growth stage code and quality rank. These data are stored in the analysis result database 2242 in time series for each storage unit 15.
  • the determination unit 231 compares the first image stored in advance in the learning database 2241 of the storage unit 224 with the second image of the fertilized egg to be evaluated. It is determined whether the image and the second image match.
  • the determination unit 231 compares the first feature amount extracted based on the first image with the second feature amount extracted based on the second image, and performs evaluation. It is determined whether or not the second image that is the image of the target fertilized egg 16 matches the first image. The determination result is input to the assigning unit 232.
  • the granting unit 232 gives a growth stage code and a quality rank to the fertilized egg 16 for evaluation based on the determination result of the determining unit 231 in the observation system 2 at the time of evaluation.
  • the adding unit 232 corresponds to the first image determined to match the second image with respect to the second image.
  • a growth stage code (growth stage) and a quality rank (quality evaluation result), which are attached evaluation results, are assigned to the second image.
  • One growth stage code and one quality rank are assigned to one second image.
  • the result given by the grant unit 232 is output to the calculation unit 227.
  • the calculation unit 227 selects each growth stage code from among all the growth stage codes assigned to each of the plurality of second images based on the result given by the grant unit 232. Calculate the share.
  • the calculation result calculated by the calculation unit 227 is output to the evaluation unit 223.
  • the calculation unit 227 calculates the ratio of each quality rank among the quality ranks assigned to each of the plurality of second images based on the result given by the grant unit 232 in the observation system 2 at the time of evaluation. Is calculated.
  • the calculation result calculated by the calculation unit 227 is output to the evaluation unit 223.
  • the evaluation unit 223 uses the growth stage code (growth stage) assigned to each of the plurality of second images of the fertilized egg 16 to be evaluated based on the input calculation result in the observation system 2 at the time of evaluation. It is evaluated that the growth stage code (growth stage) given the most is the growth stage code (growth stage) of the fertilized egg 16 for evaluation.
  • the evaluation unit 223 assigns the highest quality rank among the quality ranks assigned to each of the plurality of second images of the fertilized egg 16 to be evaluated based on the input calculation result in the observation system 2 at the time of evaluation.
  • the determined quality rank is evaluated as the quality rank of the fertilized egg 16 for evaluation.
  • the evaluation unit 223 uses either the growth stage or quality of the fertilized egg 16. It is good also as a structure which evaluates one side.
  • the display control unit 225 causes the display device 23 to display the first image of the fertilized egg 16, an evaluation input field that can be input by the evaluator, and the like.
  • the display control unit 225 acquires the display device 23 by rotating the position information of the storage unit in which the fertilized egg 16 to be evaluated is stored and the fertilized egg 16 to be evaluated.
  • a plurality of second images and a growth stage code (growth stage) or a quality rank (quality evaluation result) evaluated by the evaluation unit 223 are displayed.
  • the imaging control unit 226 outputs a control signal for controlling the number of times of imaging of the fertilized egg 16 and the timing of imaging to the camera 25.
  • the imaging control unit 226 generates an imaging trigger signal that performs imaging at predetermined time intervals. It may be controlled such that the number of images of a fertilized egg at a growth stage with high structural symmetry is reduced and the number of images of a fertilized egg at a growth stage with high structural asymmetry is increased.
  • the rotation control unit 228 outputs a control signal for controlling the drive / stop timing and applied voltage of each of the plurality of eccentric rotation motors provided in the rotation device 340 to be described later to the control device 341. Thereby, the presence / absence and timing of vibration applied to the culture vessel 1 and the direction and intensity of vibration are controlled.
  • Vibration is applied to the culture vessel 1 by driving an eccentric rotation motor provided in the rotation device 340. By applying this vibration, the fertilized egg 16 accommodated in the culture vessel 1 rotates.
  • the fertilized egg 16 can be rotated in a desired direction and rotation amount by adjusting the drive / stop timing and applied voltage of each eccentric rotation motor.
  • the rotation control unit 228 controls the drive / stop timing of the rotation device 340 based on the imaging trigger signal from the imaging control unit 226.
  • the rotation control unit 228 can control the rotation direction and the rotation amount of the fertilized egg 16 by controlling the drive / stop timing of each eccentric rotation motor and the applied voltage.
  • the shape and position of the ICM in the fertilized egg 16 differ depending on the observation angle.
  • the rotation direction and amount of the fertilized egg are controlled so that the position and shape of the ICM become a desired position and shape by adjusting the drive / stop timing of each eccentric rotation motor and the applied voltage. can do. Control of the direction and amount of rotation of the fertilized egg is performed as follows.
  • the rotation control unit 228 detects the shape and position of the ICM 161 by image recognition such as edge detection based on the image of the fertilized egg 16 taken immediately before the fertilized egg 16 is rotated. Based on this, the rotation control unit 228 calculates the rotation direction and the rotation amount of the fertilized egg 16 so that, for example, the ICM 161 shown in FIG. 4A can acquire an image located at the center of the fertilized egg 16.
  • the rotation control unit 228 generates a control signal based on the calculation result and transmits the control signal to the control device 341.
  • the controller 341 controls the driving of each eccentric rotation motor of the rotating device 340, and the fertilized egg 16 rotates. Thereby, an image in which the ICM is located in the center can be acquired.
  • the rotation direction and amount of rotation of the fertilized egg 16 are calculated so that an image of the fertilized egg having the desired ICM shape and position is obtained.
  • a desired image can be acquired by rotating the fertilized egg 16 based on this.
  • the determination control unit 229 determines the end of the comparison process between the first image and the second image.
  • the determination of the end of the comparison process may be arbitrarily set by the user. For example, the user sets the time, the number of comparisons between the first image and the second image, and the like. Alternatively, the time for determining the end of comparison, the number of comparison sheets, and the like may be set in advance.
  • FIG. 7 is a schematic plan view of the rotating device 340
  • FIG. 8 is a partial schematic diagram of the observation system 2 in the vicinity of the rotating device 340.
  • the rotating device 340 includes eccentric rotating motors 311 to 313 and 321 to 323 as six vibration elements and a control device 341.
  • the vibration element in addition to the eccentric rotation motor, a piezoelectric element or the like may be used.
  • the three eccentric rotation motors 321 to 323 are arranged on the outer bottom surface of the culture vessel 1 at positions where the outer periphery of the culture vessel 1 having a circular outer shape is divided into three equal parts.
  • the three eccentric rotation motors 311 to 313 are arranged on the outer surface of the culture vessel 1 at a position where the outer periphery is divided into three equal parts.
  • the eccentric rotation motor 321 is at an intermediate position between the eccentric rotation motor 311 and the eccentric rotation motor 313, and the eccentric rotation motor 322 is intermediate between the eccentric rotation motor 311 and the eccentric rotation motor 312.
  • the eccentric rotation motor 323 is positioned at an intermediate position between the eccentric rotation motor 312 and the eccentric rotation motor 313.
  • the culture vessel 1 vibrates by controlling the driving of the eccentric rotation motors 311 to 313 and 321 to 323, respectively. By this vibration, the fertilized egg 16 accommodated in the culture vessel 1 rotates.
  • the vibration frequency (the number of rotations of the motor) is controlled, and the strength of the vibration is controlled.
  • the six eccentric rotation motors 311 to 313 and 321 to 32 at different positions, it is possible to give vibration in a desired direction to the culture vessel 1.
  • the culture vessel 1 can be vibrated in desired strength and direction. Thereby, the rotation direction and rotation amount of the fertilized egg 16 are controlled.
  • the culture vessel 1 provided with the rotating device 340 is placed on the stage 27.
  • the fertilized egg 16 accommodated in the culture vessel 1 can be imaged by a camera 25 arranged on the upper part of the stage 27.
  • an observation illumination device 24 is disposed below the stage 27. The observation illumination device 24 irradiates the fertilized egg 16 in the culture container 1 with light.
  • FIG. 9 is a flowchart for creating the learning database 2241.
  • FIG. 10 is a diagram for explaining the driving timings of the observation illumination device, the camera, and the rotation device when an image of a fertilized egg is acquired when creating a learning database.
  • FIG. 11 is a diagram illustrating the drive timing of the eccentric rotation motors 311 to 313 and 321 to 323 provided in the rotation device 340.
  • FIG. 12 is a schematic diagram illustrating how the fertilized egg 16 rotates by driving the rotating device 340.
  • Image acquisition of the fertilized egg 16 for comparison is performed in a state where the culture container 1 containing the fertilized egg 16 is held in the observation device 21.
  • the image acquisition process of the fertilized egg 16 is sequentially performed for each fertilized egg 16 accommodated in each of the plurality of accommodating units 15 of the culture container 1.
  • the image acquisition process for example, 15 minutes is set as one image acquisition period, and data related to a plurality of first images acquired by imaging one fertilized egg 16 in one image acquisition period is stored as one learning data in the database. Saved.
  • the learning data includes the first characteristic amount of the fertilized egg, the growth stage code and the quality rank, which are the findings of the cultivator, etc., and the fertilized egg imaged from a plurality of observation angles acquired within one image acquisition period.
  • the first image is associated with the data.
  • the image acquisition of the fertilized egg 16 is performed continuously for n periods, with one image acquisition period being 15 minutes.
  • one image acquisition period light irradiation by the observation illumination device 24 is repeatedly turned on and off, and light irradiation is intermittently performed on the fertilized egg 16.
  • the time for one image acquisition period is not limited to 15 minutes, and can be set arbitrarily.
  • imaging of the fertilized egg 16 by the camera 25 is performed within a period of light irradiation by the observation illumination device 24.
  • the rotating device 340 is driven when both the observation illumination device 24 and the camera 25 are on. That is, the fertilized egg 16 in a rotating state is imaged by the camera 25.
  • the fertilized eggs 16 can be imaged from a plurality of different observation angles.
  • the timing of driving the eccentric rotation motors 311 to 313 and 321 to 323 of the rotating device 340 that rotates the fertilized egg 16 will be described. As shown in FIG. 11, in the present embodiment, driving of the eccentric rotation motors 311 to 313 arranged on the side surface of the culture vessel 1 and driving of the eccentric rotation motors 321 to 323 arranged on the bottom surface of the culture vessel 1 are alternately performed. To do.
  • the timing of driving the eccentric rotation motors 311 to 313 and the driving of the eccentric rotation motors 321 to 323 are not limited to this.
  • An example of driving conditions of the rotating device 340 and the number of times of imaging by the camera 25 will be given.
  • An eccentric rotation motor having a rated rotation speed of about 4000 rpm is used, only the eccentric rotation motors 321 to 323 are driven, and a DC voltage of 1 V is applied to the eccentric rotation motors 321 to 323.
  • the fertilized egg 16 in the container 15 rotates once in about 1 second.
  • the fertilized egg 16 that rotates once per second is imaged by a camera 25 that can image 30 frames per second. Thereby, the rotation image of 60 pieces of fertilized eggs 16 can be acquired in 2 seconds.
  • this driving condition for example, as shown in FIG. 12 (A), the fertilized eggs 16 in the accommodating portion 15 rotate in substantially the same rotation direction and rotation amount.
  • an eccentric rotation motor having a rated rotation speed of about 4000 rpm is used, only the eccentric rotation motors 311 to 313 are driven, and a DC voltage of 1 V is applied to the eccentric rotation motors 311 to 313.
  • the fertilized egg 16 in the container 15 rotates once in about 1 second.
  • the fertilized eggs 16 in the storage unit 15 rotate in substantially the same rotation direction and rotation amount.
  • the fertilized egg 16 that rotates once per second can be imaged by the camera 25 that can capture 30 frames per second in the same manner as described above to obtain 60 rotated images of the fertilized egg 16 per second. it can.
  • the state which the fertilized egg 16 is rotating is imaged with the camera 25 here, it is not limited to this.
  • the fertilized egg 16 in a stationary state after rotation may be imaged.
  • the image acquisition of the fertilized egg 16 is performed continuously for n periods, with one image acquisition period being 15 minutes.
  • Light irradiation by the observation illumination device 24 is performed repeatedly on and off, and light irradiation is performed intermittently. By intermittently irradiating light in this way, damage to the fertilized egg due to light irradiation can be reduced.
  • the imaging of the fertilized egg 16 by the camera 25 is performed within the period of light irradiation by the observation illumination device 24.
  • the rotating device 340 is driven when both the observation illumination device 24 and the camera 25 are off. That is, after imaging the stationary fertilized egg 16 with the camera 25, the rotation device 340 is driven to rotate the fertilized egg 16, and the stationary fertilized egg 16 after rotation is imaged and rotated. Repeat.
  • FIG. 9 shows processing performed within one image acquisition period.
  • the fertilized eggs 16 for comparison that have been confirmed to be fertilized are placed one by one in the accommodating portion 15 of the culture container 1, and then the culture solution 18 is pipetted into the region surrounded by the accommodating portion 15 and the inner wall 12. To do. Thereafter, oil 17 is injected into a region surrounded by the inner wall 12 so as to cover the culture solution 18.
  • the culture vessel 1 is placed horizontally on the stage 27 in the observation device 21 as shown in FIG.
  • a transparent lid made of the same material as that of the culture vessel 1 may be placed on the culture vessel 1 as necessary.
  • an observation trigger signal is output from the image capturing control unit 226 (S102). Based on the observation trigger signal, the illumination of the observation illumination device 24 is turned on at the timing shown in FIG. 10 (S103), the rotation device 340 is driven (S104), and imaging by the camera 25 is performed (S105).
  • the image acquisition unit 222 acquires the first image of the fertilized egg 16 captured by the camera 25, and the learning database 2241 stores the acquired first image (S106).
  • the image acquisition unit 222 performs image preprocessing on the acquired image of the fertilized egg 16, such as image normalization, adjustment of the position of the fertilized egg 16, shape enhancement filter, and the like, and a recording unit 224 may store the first image on which this preprocessing has been performed.
  • the imaging control unit 226 determines whether or not to end imaging (S107). In the present embodiment, 15 minutes is set as one image acquisition period, and data for the one image acquisition period is stored as one data. Therefore, when 15 minutes have elapsed from the start of image shooting, imaging for one image acquisition period is performed. Is determined to end.
  • the imaging control unit 226 determines no in S107, returns to S103, and repeats steps S103 to S106. If 15 minutes have passed and imaging for one image acquisition period has ended, the imaging control unit 226 determines yes in S107, and proceeds to S108.
  • the feature amount extraction unit 230 acquires the first feature amount of the fertilized egg 16 based on the plurality of first images of the fertilized egg 16 for one image acquisition period acquired by the image acquisition unit 222 and subjected to preprocessing. Is extracted (S108).
  • An evaluator such as a culture person looks at the first image of the plurality of fertilized eggs 16 imaged within one image acquisition period, evaluates the growth stage of the fertilized egg 16, and assigns a growth stage code to the fertilized egg 16. . Furthermore, the evaluator evaluates the quality of the fertilized egg 16 based on the evaluation conditions determined in advance for each growth stage, and assigns a quality rank to the fertilized egg 16. In this manner, the evaluator evaluates the fertilized egg 16 and assigns a growth stage code and a quality rank as findings (S109).
  • the learning database 2241 associates the image of one fertilized egg 16 captured within one image acquisition period, the first feature amount of the fertilized egg 16, the growth stage code, and the quality rank.
  • the learned data is stored (S110).
  • the above steps S101 to S110 are repeated, and images of the fertilized egg 16 for comparison for n periods are acquired with 15 minutes as one image acquisition period. Thereby, an image (first image) obtained from a plurality of observation angles of the fertilized egg 16 for comparison at any growth stage is acquired.
  • the first image of the fertilized egg for comparison captured from a plurality of observation angles captured during each image acquisition period is associated with the feature amount (first feature amount), the growth stage code, and the quality rank of the image.
  • it is stored in the learning database 2241 as learning data.
  • FIG. 14 is a flowchart of an evaluation method using the observation system 2 having the learning database 2241 in which learning data is stored.
  • FIG. 15 is a diagram for explaining the drive timing of the observation illumination device, the camera, and the rotation device when acquiring an image of a fertilized egg using the observation system 2.
  • FIG. 16 is a flowchart showing details of the steps of comparing, determining, and giving a fertilized egg image in the flowchart shown in FIG.
  • the fertilized egg 16 is rotated by rotating the fertilized egg 16 using the rotating device 340 in the same manner as the image acquisition performed at the time of creating the learning database described above.
  • the rotating device 340 By picking up images, images picked up from a plurality of observation angles are acquired.
  • the image acquisition process is performed continuously for n periods, for example, with 15 minutes as one image acquisition period, as in the case of creating the learning database.
  • Light irradiation by the observation illumination device 24 is performed by alternately repeating lighting (on) and non-lighting (off), and light irradiation is performed intermittently.
  • the imaging by the camera 25 and the driving of the rotating device 340 are also alternately turned on and off in accordance with the lighting and non-lighting by the observation illumination device 24.
  • the imaging of the fertilized egg 16 by the camera 25 is performed within the period of light irradiation by the observation illumination device 24.
  • the rotating device 340 is driven when both the observation illumination device 24 and the camera 25 are on. That is, the fertilized egg 16 in a rotating state is imaged by the camera 25.
  • Deep learning analysis of the second image of the fertilized egg 16 to be evaluated acquired by the camera 25 is performed when all of the observation illumination device 24, the camera 25, and the rotation device 340 are off.
  • the deep learning analysis is performed every time the image is captured by the camera 25 and is performed a plurality of times within one image acquisition period.
  • the timing of driving the eccentric rotation motors 311 to 313 and 321 to 323 of the rotating device 340 that rotates the fertilized egg 16 is the same as the driving of the rotating device 340 at the time of creating the learning database described above.
  • the rotating device 340 may be driven when both the observation illumination device 24 and the camera 25 are in an off state, and the fertilized egg 16 in a stationary state after rotation may be photographed.
  • the image acquisition of the fertilized egg 16 is performed continuously for n periods, with one image acquisition period being 15 minutes.
  • Light irradiation by the observation illumination device 24 is performed repeatedly on and off, and light irradiation is performed intermittently.
  • the imaging of the fertilized egg 16 by the camera 25 is performed within the period of light irradiation by the observation illumination device 24.
  • the rotating device 340 is driven when both the observation illumination device 24 and the camera 25 are off. That is, after imaging the stationary fertilized egg 16 with the camera 25, the rotation device 340 is driven to rotate the fertilized egg 16, and the stationary fertilized egg 16 after rotation is imaged and rotated. Repeat.
  • the deep learning analysis is performed after the rotation of the rotation device 340 is stopped and when the observation illumination device 24 and the camera 25 are both in the off state.
  • FIG. 14 shows processing performed within one image acquisition period.
  • fertilized eggs 16 that have been confirmed to be fertilized are placed one by one in the accommodating portion 15 of the culture container 1, and then the culture solution 18 is pipetted into the accommodating portion 15 and the region surrounded by the inner wall 12. Thereafter, oil 17 is injected into a region surrounded by the inner wall 12 so as to cover the culture solution 18.
  • the culture vessel 1 is placed horizontally on the stage 27 in the observation device 21 as shown in FIG.
  • a transparent lid made of the same material as that of the culture vessel 1 may be placed on the culture vessel 1 as necessary.
  • an observation trigger signal is output from the image capturing control unit 226 (S202). Based on the observation trigger signal, the illumination of the observation illumination device 24 is turned on at the timing shown in FIG. 15 (S203), the rotation device 340 is driven (S204), and imaging by the camera 25 is performed (S205).
  • the image acquisition unit 222 acquires the second image of the fertilized egg 16 captured by the camera 25.
  • the acquired second image is stored in the analysis result database 2242 as a storage unit (S206).
  • the image acquisition unit 222 performs image preprocessing on the acquired second image of the fertilized egg 16, such as image normalization, position adjustment of the fertilized egg 16, and shape enhancement filter.
  • the analysis result database 2242 may store the second image on which the preprocessing has been performed.
  • the feature amount extraction unit 230 extracts the second feature amount of the second image based on the second image of the fertilized egg 16 to be evaluated, which is acquired by the image acquisition unit 222 and subjected to preprocessing ( S207).
  • the determination unit 231 compares the first image stored in the learning database 2241 with the second image stored in the analysis result database 2242, and the two match. It is determined whether or not. More specifically, the determination unit 231 compares the first feature amount and the second feature amount, and determines whether or not the first image and the second image match (S301).
  • the assigning unit 232 assigns the growth stage code and the quality rank to the second image based on the determination result by the determining unit 231 (S302). Specifically, when the determination unit 231 determines that the first image and the second image match, the assigning unit 232 is associated with the first image determined to match the second image. The growth stage code and the quality rank that are being assigned are assigned to the second image. Such comparison, determination, and assignment are performed for each second image, and a growth stage code and a quality rank are assigned to each of the plurality of second images.
  • the calculation unit 227 calculates the proportion of each growth stage code among the growth stage codes assigned to each of the plurality of second images by the grant unit 232 (S303).
  • the calculation result calculated by the calculation unit 227 is output to the evaluation unit 223.
  • the determination control unit 229 determines whether or not to end the comparison process between the first image and the second image (S209).
  • 15 minutes is set as one image acquisition period, and data for the one image acquisition period is stored as one data. Therefore, imaging for one image acquisition period is performed when 15 minutes have passed since the start of image shooting. A determination is made to end, in other words, to end the comparison process.
  • the determination control unit 229 determines to continue the comparison process, and determines “no” in S209. If the determination of no is made in S209, the process returns to S203, and steps S203 to S208 are repeated.
  • the determination control unit 229 determines yes in S209, and proceeds to S210.
  • the end of the comparison process is determined based on the time of one image acquisition period.
  • the comparison process is based on the number of comparisons between the first image and the second image. You may go to In this case, when the set comparison number is reached when 15 minutes of the 1/15 image acquisition period has not elapsed, imaging of the fertilized egg to be evaluated within the image acquisition period is stopped halfway. You may do it. When the imaging is stopped, the irradiation of light by the observation illumination device is also stopped. Thereby, the irradiation time of the light to the fertilized egg 16 can be shortened, and the influence of the light on the fertilized egg can be suppressed.
  • the evaluation unit 223 is provided with the largest number of growth stage codes assigned to each of the plurality of second images based on the calculation result calculated by the calculation unit 227.
  • the growth stage code is evaluated as the growth stage code of the fertilized egg 16 to be evaluated in one image acquisition period (S210).
  • the evaluated growth stage code is given to the fertilized egg 16 to be evaluated.
  • the calculation unit 227 targets the second image to which the same growth stage code as the growth stage code given to the fertilized egg 16 to be evaluated is targeted, and the second image to be the target.
  • the ratio of the quality rank associated with the first image determined to match is calculated (S211).
  • the calculation result calculated by the calculation unit 227 is output to the evaluation unit 223.
  • the evaluation unit 223 determines the quality rank assigned most among the quality ranks assigned to each of the plurality of target second images as the quality of the fertilized egg 16 for evaluation.
  • the rank is evaluated (S212).
  • the evaluated quality rank is given to the fertilized egg 16 to be evaluated.
  • the second image of the fertilized egg 16 to be evaluated which is imaged within one image acquisition period in S208 to S212, is subjected to deep learning analysis.
  • the analysis result database 2242 stores the positional information, the imaging date and time, the imaging condition of the storage unit 15 in which the fertilized egg 16 to be evaluated is stored, The second feature amount extracted by the feature amount extraction unit 230, a plurality of fertilized egg images (second images) captured from the plurality of observation directions acquired by the image acquisition unit 222, and an evaluation by the evaluation unit 223
  • the growth stage codes, quality ranks, and the like are associated with each other and stored for each storage unit 15 (S213).
  • the above S201 to S213 are repeated, and the data of the fertilized egg 16 to be evaluated for n periods is acquired with 15 minutes as one image acquisition period.
  • the second image acquired in each image acquisition period is associated with the second feature value, the position information of the storage unit 15, the imaging date and time, the imaging condition, the growth stage code, the quality rank, etc. Are stored in the analysis result database 2242 in time series.
  • the observation system 2 it is possible to grow the fertilized egg 16 to be evaluated on the basis of the learning data stored in the learning database 2241 without the need for observation by the evaluator.
  • the stage and quality can be accurately evaluated, and a highly accurate evaluation is possible.
  • the evaluation of the fertilized egg 16 to be evaluated can be performed without observation by the evaluator, which is effective for evaluating a large number of fertilized eggs.
  • the calculation unit 227 determines that the ratio of the second image determined as the growth stage code 4 is 3%, the ratio of the second image determined as the growth stage code 5 is 95%, and the growth stage code.
  • the proportion of the second image determined to be 6 is calculated as 2%.
  • the evaluation unit 223 evaluates, based on the calculation result, the growth stage code 5 that is given most among the growth stages assigned to the second images of the plurality of fertilized eggs 16 to be evaluated. It is assumed that the fertilized egg 16 is growing.
  • the calculation unit 227 targets these 950 second images to which the same growth stage code 5 as the evaluation result given to the fertilized egg 16 to be evaluated is assigned.
  • the ratio of each quality rank is calculated. Assuming that among 950 second images to which the growth stage code 5 is assigned, assuming that 893 are A rank, 38 are B rank, and 19 are C rank, the calculation unit 227 calculates the ratio of A rank Is 94%, B rank is 4%, and C rank is 2%.
  • the evaluation unit 223 is provided with the largest number of the growth stages given to the second image to which the growth stage code 5 of the fertilized egg 16 to be evaluated is given based on the calculation result. It is assumed that the quality rank A is the quality of the fertilized egg 16 for evaluation.
  • the fertilized egg image data is acquired by rotating the comparative fertilized egg at the time of creating the learning database. It can be acquired as data.
  • the fertilized egg image is acquired by rotating the fertilized egg for evaluation, so the data of the fertilized egg to be evaluated viewed from any observation angle is acquired as the evaluation data. can do.
  • the evaluation of the fertilized egg to be evaluated can be performed with high accuracy. Can be.
  • the fertilized egg to be evaluated is a fertilized egg after the growth stage of a blastocyst with high structural asymmetry, and is a fertilized egg that looks significantly different depending on the observation angle, by using the observation system according to the present technology, The growth stage and quality of the fertilized egg to be evaluated can be more accurately evaluated, and the evaluation accuracy is increased.
  • the deep learning analysis is performed for each imaging by the camera, but the present invention is not limited to this.
  • one deep learning analysis may be performed after imaging by a plurality of cameras within one image acquisition period.
  • the image acquisition of the fertilized egg 16 is performed continuously for n periods, with one image acquisition period being 15 minutes.
  • Light irradiation by the observation illumination device 24 is performed by alternately turning on and off, and light irradiation is performed intermittently.
  • the imaging by the camera 25 and the driving of the rotating device 340 are also alternately turned on and off in accordance with the lighting and non-lighting by the observation illumination device 24.
  • the imaging of the fertilized egg 16 by the camera 25 is performed within the period of light irradiation by the observation illumination device 24.
  • the rotating device 340 is driven when both the observation illumination device 24 and the camera 25 are on. That is, the fertilized egg 16 in a rotating state can be imaged by the camera 25.
  • Deep learning analysis of the second image of the fertilized egg 16 to be evaluated acquired by the camera 25 is performed when all of the observation illumination device 24, the camera 25, and the rotation device 340 are off.
  • the second images acquired by imaging with a plurality of cameras within one image acquisition period are collectively analyzed by one deep learning analysis.
  • the end of the comparison process between the first image and the second image is determined based on, for example, the time set in advance by the user, the number of images to be compared, or the like.
  • the present invention is not limited to this.
  • FIGS. 6 and 19 to 21 Another example of determination of the end of the comparison process will be described with reference to FIGS. 6 and 19 to 21.
  • FIG. The same reference numerals are given to the same configurations as those in the above-described embodiment, and the description will be omitted.
  • an example in which a fertilized egg in a rotating state is imaged will be described.
  • FIG. 6 is a block diagram showing the configuration of the observation system in the present embodiment.
  • FIG. 19 is a flowchart illustrating a method for evaluating a fertilized egg using the observation system during evaluation in the present embodiment.
  • FIG. 20 is a diagram for explaining the end of the comparison process.
  • FIG. 21 is a flowchart illustrating details of image acquisition, comparison, determination, and assignment steps in the flowchart of FIG.
  • the information processing apparatus 1022 of the observation system 1002 includes an image acquisition unit 222, a feature amount extraction unit 230, a determination unit 231, a grant unit 232, an evaluation unit 223, a storage unit 224, A display control unit 225, an imaging control unit 226, a calculation unit 227, a rotation control unit 228, and a determination control unit 1229 are provided.
  • the determination control unit 1229 determines the end of the comparison process between the first image and the second image.
  • the determination control unit 1229 determines whether or not the numerical value of the ratio of the growth stage most frequently assigned among the growth stages assigned to each of the second images calculated by the calculation unit 227 is stable.
  • the determination unit 231 is controlled to compare the first image and the second image until it is determined that the numerical value of is stable.
  • the determination control unit 1229 determines that the numerical value of the ratio is stable, the determination control unit 1229 controls the determination unit 231 to end the comparison process. If the determination control unit 1229 determines that the numerical value of the ratio is fluctuating and is not stable, the determination control unit 1229 controls the determination unit 231 to continue the comparison process.
  • FIG. 20 The evaluation method of the fertilized egg 16 in this embodiment will be described with reference to FIG.
  • the horizontal axis indicates the number of sheets to be compared between the first image and the second image
  • the vertical axis indicates the ratio of the growth stage that is given most.
  • FIG. 19 shows processing performed within one image acquisition period.
  • image acquisition, comparison, determination, and provision are performed (S401). Specifically, as shown in FIG. 21, the rotating device 340 is driven (S501), and the fertilized egg 16 to be evaluated rotates.
  • the rotating fertilized egg 16 is imaged by the camera 25 (S502).
  • the imaged second image of the fertilized egg 16 is stored in the analysis result database 2242 (S503).
  • Feature amount extraction unit 230 extracts a second feature amount based on the captured second image of fertilized egg 16 (S504).
  • the determination unit 231 is extracted based on the first feature amount extracted based on the first image stored in the learning database 2241 and the second image stored in the analysis result database 2242.
  • the second feature amount is compared.
  • the determination unit 231 compares the first feature value and the second feature value, and determines whether the first image and the second image match (S505).
  • the assigning unit 232 assigns the growth stage code and the quality rank to the second image based on the determination result by the determining unit 231 (S506). Specifically, when the determination unit 231 determines that the first image and the second image match, the assigning unit 232 is associated with the first image determined to match the second image. The growth stage code and the quality rank that are being assigned are assigned to the second image. Thereby, the growth stage code and the quality rank are assigned to each of the plurality of second images.
  • the calculation unit 227 calculates the proportion of each growth stage code among the growth stage codes assigned to each of the plurality of second images by the grant unit 232 (S507).
  • the calculation result calculated by the calculation unit 227 is output to the determination control unit 1229.
  • the determination control unit 1229 determines whether or not the numerical value of the ratio occupied by the growth stage most frequently assigned among the growth stages assigned to each second image is stable (S ⁇ b> 402). .
  • determination control determines that the numerical value is not stable and the comparison process is continued (no). If NO is determined in S402, the process returns to S401, and steps S501 to S507 are repeated, and image acquisition, comparison, determination, and assignment are repeated.
  • the determination control unit 1229 makes a determination that the numerical value is stable and ends the comparison process (yes). If it is determined Yes in S402, the comparison process ends, and the process proceeds to S403.
  • the fertilized egg to be evaluated within the image acquisition period is determined. Imaging is stopped halfway. At the same time as the imaging is stopped, the irradiation of light by the observation illumination device is also stopped. Thereby, the irradiation time of the light to the fertilized egg 16 can be shortened, and the influence of the light on the fertilized egg can be suppressed.
  • the evaluation unit 223 uses the growth stage code assigned most to each of the plurality of second images as the evaluation target fertilized egg 16. (S403).
  • the evaluated growth stage code is given to the fertilized egg 16 to be evaluated.
  • the calculation unit 227 targets the second image to which the same growth stage code as the determined growth stage code is assigned, and sets the first image determined to match the target second image.
  • the ratio of the associated quality rank is calculated (S404).
  • the calculation result calculated by the calculation unit 227 is output to the evaluation unit 223.
  • the evaluation unit 223 uses the highest quality rank assigned to each of the plurality of second images of the fertilized egg 16 to be evaluated as the fertilization for evaluation. It is assumed that the quality rank is the egg 16 (S405). The evaluated quality rank is given to the fertilized egg 16 to be evaluated.
  • the second image of the fertilized egg 16 to be evaluated is subjected to deep learning analysis in S401 to S405.
  • the analysis result database 2242 stores the positional information, the imaging date and time, the imaging condition of the storage unit 15 in which the fertilized egg 16 to be evaluated is stored, Second feature amount extracted by the feature amount extraction unit 230, images of a plurality of fertilized eggs captured from a plurality of observation directions acquired by the image acquisition unit 222 within one image acquisition period, and evaluation by the evaluation unit 223
  • the growth stage codes, quality ranks, and the like are associated with each other and stored for each storage unit 15 (S406).
  • the comparison process may be terminated when the numerical value of the ratio of the growth stage most frequently assigned among the growth stages assigned to each second image is stable. Thereby, evaluation with higher accuracy can be performed.
  • the end of the comparison process is determined based on, for example, the time set in advance by the user, the number of images to be compared, and the like, but is not limited thereto.
  • still another example of the determination of the end of the comparison process will be described with reference to FIGS. 6 and 21 to 23.
  • FIG. The same reference numerals are given to the same configurations as those in the above-described embodiment, and the description will be omitted.
  • an example in which a fertilized egg in a rotating state is imaged will be described.
  • FIG. 6 is a block diagram showing the configuration of the observation system in the present embodiment.
  • FIG. 22 is a flowchart illustrating a method for evaluating a fertilized egg using the observation system according to this embodiment.
  • FIG. 23 is a diagram for explaining the end of the comparison process.
  • FIG. 21 is a flowchart for explaining details of image acquisition, comparison, determination, and assignment steps in the flowchart of FIG.
  • the information processing apparatus 2022 of the observation system 2002 includes an image acquisition unit 222, a feature amount extraction unit 230, a determination unit 231, a grant unit 232, an evaluation unit 223, a storage unit 224, A display control unit 225, an imaging control unit 226, a calculation unit 227, a rotation control unit 2228, and a determination control unit 2229 are provided.
  • the determination control unit 2229 determines the end of the comparison process between the second image acquired by imaging the fertilized egg rotated under a certain rotation condition and the first image.
  • the determination control unit 2229 determines whether or not the numerical value of the ratio of the growth stage assigned most among the growth stages assigned to each of the second images calculated by the calculation unit 227 is stable.
  • the determination unit 231 is controlled to compare the first image and the second image until it is determined that the numerical value of is stable.
  • the determination unit 231 ends the comparison process between the second image acquired by imaging the fertilized egg rotated under a certain rotation condition and the first image. To control.
  • the determination control unit 2229 determines that the numerical value of the ratio is fluctuating and is not stable, the determination control unit 2229 determines to continue the comparison process.
  • the determination control unit 2229 determines to end the comparison process between the second image acquired by imaging the fertilized egg rotated under a certain rotation condition and the first image, the fertilized egg 16 is detected under a different rotation condition.
  • a control signal is output to the rotation control unit 2228 so as to rotate.
  • the rotation control unit 2228 receives the control signal from the determination control unit 2229, and outputs a control signal for controlling the drive / stop timing and applied voltage of each of the plurality of eccentric rotation motors provided in the rotation device 340 to the control device 341. .
  • the rotation control unit 2228 can control the rotation direction and the rotation amount of the fertilized egg 16.
  • the rotating device 340 is sequentially driven under three types of driving conditions, and the fertilized egg 16 to be evaluated is rotated under three different types of rotating conditions. A plurality of images of the fertilized egg 16 rotated under different rotation conditions are acquired.
  • the horizontal axis indicates the number of sheets to be compared between the first image and the second image
  • the vertical axis indicates the ratio of the growth stage that is given most.
  • image acquisition, comparison, determination, and provision are performed (S601). Specifically, as shown in FIG. 21, the rotating device 340 is driven under the first driving condition (S501), and the fertilized egg 16 to be evaluated rotates under the first rotating condition.
  • the rotating fertilized egg 16 is imaged by the camera 25 (S502).
  • the imaged second image of the fertilized egg 16 is stored in the analysis result database 2242 (S503).
  • Feature amount extraction unit 230 extracts a second feature amount based on the captured second image of fertilized egg 16 (S504).
  • the determination unit 231 is extracted based on the first feature amount extracted based on the first image stored in the learning database 2241 and the second image stored in the analysis result database 2242.
  • the second feature amount is compared.
  • the determination unit 231 compares the first feature value and the second feature value, and determines whether the first image and the second image match (S505).
  • the assigning unit 232 assigns the growth stage code and the quality rank to the second image based on the determination result by the determining unit 231 (S506). Specifically, when the determination unit 231 determines that the first image and the second image match, the assigning unit 232 is associated with the first image determined to match the second image. The growth stage code and the quality rank that are being assigned are assigned to the second image. Thereby, the growth stage code and the quality rank are assigned to each of the plurality of second images.
  • the calculation unit 227 calculates the proportion of each growth stage code among the growth stage codes assigned to each of the plurality of second images by the grant unit 232 (S507).
  • the calculation result calculated by the calculation unit 227 is output to the determination control unit 2229.
  • the determination control unit 2229 determines whether or not the numerical value of the ratio occupied by the growth stage most frequently assigned among the growth stages assigned to each second image is stable (S ⁇ b> 602). .
  • the unit 2229 determines that the numerical value is not stable and the comparison process is continued (no). If it is determined to be no in S602, the process returns to S601, and steps S501 to S507 are repeated, and image acquisition, comparison, determination, and assignment are repeated.
  • the determination control unit 2229 determines that the numerical value is stable and ends the comparison process (yes). If it is determined Yes in S602, the comparison process ends, and the process proceeds to S603.
  • the rotating device 340 is driven under the second driving condition (S501), and the fertilized egg 16 to be evaluated rotates under the second rotating condition.
  • the second driving condition is different from the first driving condition.
  • the second rotation condition is different from the first rotation condition.
  • the determination control unit 2229 determines whether or not the numerical value of the ratio occupied by the growth stage most frequently assigned among the growth stages assigned to each second image is stable (S ⁇ b> 604). .
  • determination control The unit 2229 determines that the numerical value is not stable and the comparison process is continued (no). If it is determined to be no in S604, the process returns to S603, and steps S501 to S507 are repeated, and image acquisition, comparison, determination, and assignment are repeated.
  • the determination control unit 2229 determines that the numerical value is stable and ends the comparison process (yes). If it is determined “yes” in S604, the comparison process ends, and the process proceeds to S605.
  • the rotating device 340 is driven under the third driving condition (S501), and the fertilized egg 16 to be evaluated rotates under the third rotating condition.
  • the third driving condition is different from the first and second driving conditions.
  • the third rotation condition is different from the first and second rotation conditions.
  • the determination control unit 2229 determines whether or not the numerical value of the ratio occupied by the growth stage most frequently assigned to the second images is stable (S ⁇ b> 606). .
  • the unit 2229 determines that the numerical value is not stable and the comparison process is continued (no). If it is determined to be no in S606, the process returns to S605, and steps S501 to S507 are repeated, and image acquisition, comparison, determination, and assignment are repeated.
  • the determination control unit 2229 determines that the numerical value is stable and ends the comparison process (yes). If it is determined “yes” in S606, the comparison process ends, and the process proceeds to S607.
  • the types of rotation conditions are not limited to three, and can be arbitrarily set.
  • the evaluation unit 223 uses the growth stage code assigned most to each of the plurality of second images as the evaluation target fertilized egg 16. (S607).
  • the evaluated growth stage code is given to the fertilized egg 16 to be evaluated.
  • the calculation unit 227 targets the second image to which the same growth stage code as the determined growth stage code is assigned, and sets the first image determined to match the target second image.
  • the ratio of the quality rank associated is calculated (S608).
  • the calculation result calculated by the calculation unit 227 is output to the evaluation unit 223.
  • the evaluation unit 223 uses the highest quality rank assigned to each of the plurality of second images of the fertilized egg 16 to be evaluated as the fertilization for evaluation. It is assumed that the quality rank is the egg 16 (S609). The evaluated quality rank is given to the fertilized egg 16 to be evaluated.
  • the second image of the fertilized egg 16 to be evaluated is subjected to deep learning analysis in S601 to S609.
  • the analysis result database 2242 stores the positional information, the imaging date and time, the imaging condition of the storage unit 15 in which the fertilized egg 16 to be evaluated is stored, Second feature amount extracted by the feature amount extraction unit 230, images of a plurality of fertilized eggs captured from a plurality of observation directions acquired by the image acquisition unit 222 within one image acquisition period, and evaluation by the evaluation unit 223
  • the growth stage codes, quality ranks, and the like are associated with each other and stored for each storage unit 15 (S610).
  • the second image of the fertilized egg that has been rotated under different rotation conditions is acquired, and the growth stage that has been given the most among the growth stages that have been assigned to the second image acquired under each rotation condition.
  • the comparison process may be terminated. Thereby, evaluation with higher accuracy can be performed.
  • the fertilized egg 16 is rotated using a rotating device that uses vibration.
  • the fertilized egg 16 is rotated using a rotating device that uses a water flow.
  • injecting (injecting) a fluid into the culture solution in the storage unit of the culture container a flow is generated in the culture solution in the storage unit, and the fertilized egg 16 is rotated.
  • This embodiment is mainly different from the above-described embodiment in that a culture vessel having a rotation mechanism for rotating a fertilized egg by generating a flow in a culture solution is used instead of a vibration device.
  • a configuration different from the above-described embodiment will be mainly described, and the same configuration as the above-described embodiment may be denoted by the same reference numeral and description thereof may be omitted.
  • FIG. 24 is a schematic diagram showing the configuration of the observation system.
  • FIG. 25 is a block diagram illustrating a configuration of the observation system.
  • FIG. 26 is a partially enlarged view of the vicinity of the accommodating portion of the culture vessel.
  • FIG. 27 is a diagram illustrating a configuration in the vicinity of the rotation unit of the observation system.
  • the observation system 3002 includes an observation device 3021, an information processing device 3022, a display device 23, and an input device 29.
  • an observation illumination apparatus 24, a camera 25 as an imaging unit, a temperature / humidity / gas control unit 26, a stage 27, and a culture vessel 3040 having a rotation mechanism are arranged.
  • the culture vessel 3040 having a rotation mechanism includes a rotation unit 30401 as a rotation mechanism, a storage unit 3015 for storing the fertilized egg 16, and a micro flow channel (water flow channel) 30403.
  • the rotation unit 30401 is controlled by the micro flow path control unit 30402.
  • the rotating unit 30401 rotates the fertilized egg 16 by generating a flow in the culture solution 18 in the storage unit 3015 that stores the fertilized egg 16.
  • the micro flow path control unit 30402 controls the ejection of the fluid into the storage unit 3015, and generates a flow in the culture solution 18 by ejecting the fluid.
  • the water flow channel 30403 is a channel that is connected to each storage unit 3015 and through which the fluid for supplying the fluid into each storage unit 3015 passes.
  • the storage unit 3015 can store a liquid and can be held at a fixed position while storing one cell in the liquid, like the storage unit 15 of the culture container 1 of the above-described embodiment.
  • “Liquid” is typically a culture solution suitable for culturing cells, and is described herein as a culture solution.
  • the rotating unit 30401 includes a pump P, an X-axis rotation valve Vx, a Y-axis rotation valve Vy, a Z-axis rotation valve Vz, a first X-axis outlet X1 (first output port), A second X-axis outlet X2 (second output port), a first Y-axis outlet Y1 (first output port), a second Y-axis outlet Y2 (second output port), and The first Z-axis outlet Z1 (first output port) and the second Z-axis outlet Z2 (second output port).
  • the X axis, the Y axis, and the Z axis mean three orthogonal axes, and do not mean the horizontal direction and the vertical direction.
  • a first X-axis jet port X1, a second X-axis jet port X2, a first Y-axis jet port Y1, a second Y-axis jet port Y2, and a first X-axis jet port X1, Z-axis outlet Z1 and second Z-axis outlet Z2 are formed (when there are a plurality of accommodating portions 3015, each of the ejecting ports is formed uniquely for each of the accommodating portions 3015).
  • the second Z-axis outlet Z2 generates a flow in the culture solution in the storage unit 3015 by ejecting (injecting) fluid into the culture solution in the storage unit 3015.
  • the “fluid” is typically the same liquid as the culture solution in the storage unit 3015, but may be a liquid or gas different from the culture solution in the storage unit 3015.
  • the pump P includes a first X-axis outlet X1, a second X-axis outlet X2, a first Y-axis outlet Y1, a second Y-axis outlet Y2, and a first Z-axis outlet.
  • the outlet Z1 and the second Z-axis outlet Z2 are connected to each other through a flow path, and the culture solution is supplied to these outlets.
  • a part of each flow path (portion side, not pump side) is formed in the wall surface of the accommodating portion 3015 (if there are a plurality of accommodating portions 3015, each of the accommodating portions 3015 has its own characteristic. , Each flow path is formed).
  • An X-axis rotation valve Vx is provided in a flow path that connects the pump P to the first X-axis outlet X1 and the second X-axis outlet X2.
  • a Y-axis rotation valve Vy is provided in a flow path that connects the pump P to the first Y-axis outlet Y1 and the second Y-axis outlet Y2.
  • a Z-axis rotation valve Vz is provided in a flow path that connects the pump P to the first Z-axis nozzle Z1 and the second Z-axis nozzle Z2.
  • the microchannel control unit 30402 controls the ejection speed and the ejection amount of the culture solution ejected from each ejection port of the rotation unit 30401 based on a control signal transmitted from the rotation control unit 3228 described later.
  • the information processing apparatus 3022 includes an image acquisition unit 222, a feature amount extraction unit 230, a determination unit 231, a grant unit 232, an evaluation unit 223, a storage unit 224, a display control unit 225, and an imaging control unit 226. , A calculation unit 227, a rotation control unit 3228, and a determination control unit 2229.
  • the information processing apparatus 3022 controls the operation of each block in the observation system 3002.
  • the unit 226, the calculation unit 227, the rotation control unit 3228, and the determination control unit 2229 cause the CPU to load a program stored in the ROM, which is an example of a non-transitory computer-readable recording medium, into the RAM. It is realized by executing. And the image acquisition method and evaluation method which concern on this technique are performed by these functional blocks.
  • the rotation control unit 3228 receives the drive signal from the determination control unit 2229 and transmits a control signal to the rotation device 340 so as to operate the rotation unit 30401 when the fertilized egg 16 is photographed.
  • the rotation control unit 3228 can control the rotation direction and the rotation amount of the fertilized egg 16 so that a desired image of the fertilized egg 16 can be obtained.
  • the rotation control unit 3228 receives a drive signal from the determination control unit 2229, and transmits a control signal to the micro-channel control unit 30402 so as to operate the rotation unit 30401.
  • the rotation control unit 3228 can control the rotation direction and the rotation amount of the fertilized egg 16 so that a desired image of the fertilized egg 16 can be obtained.
  • the shape and position of the ICM 161 in the fertilized egg 16 of the fertilized egg 16 in the growth stage after the complete blastocyst 1609 differ depending on the observation direction.
  • the ICM 161 wants to obtain an image located at the center of the fertilized egg 16
  • the fertilized egg 16 can be rotated as follows to obtain an image of the fertilized egg 16 located at the center of the ICM 161.
  • the rotation control unit 3228 detects the shape and position of the ICM 161 by image recognition such as edge detection based on the image of the fertilized egg 16 taken immediately before the fertilized egg 16 is rotated. Based on this, the rotation control unit 3228 calculates the rotation direction and amount of rotation of the fertilized egg 16 so that the ICM 161 is positioned at the center of the fertilized egg 16.
  • the fertilized egg 16 may be rotated by the rotation unit 20401 according to the calculated rotation direction and rotation amount.
  • the micro flow path control unit 30402 Based on the control signal from the rotation control unit 3228, the micro flow path control unit 30402 individually controls the flow of the culture solution generated at each of the ejection ports X1, X2, Y1, Y2, Z1, and Z2 of the rotation unit 30401. Thus, the direction and amount of rotation of the fertilized egg 16 are controlled. Specifically, the micro-channel control unit 30402 controls the opening and closing of the X-axis rotation valve Vx on the basis of a control signal from the rotation control unit 3228, whereby the first X-axis outlet X1 and the second X-axis outlet X1. The ejection speed and ejection amount of the culture solution ejected from the X-axis ejection port X2 are controlled.
  • the micro flow path control unit 30402 controls the opening and closing of the Y-axis rotation valve Vy based on the control signal from the rotation control unit 3228, so that the first Y-axis outlet Y1 and the second Y-axis outlet Y2 are controlled.
  • the ejection speed and ejection volume of the ejected culture solution are controlled.
  • the micro-channel control unit 30402 controls the opening and closing of the Z-axis rotation valve Vz based on the control signal from the rotation control unit 3228, so that the first Z-axis outlet Z1 and the second Z-axis outlet Z2 are controlled.
  • the ejection speed and ejection volume of the ejected culture solution are controlled.
  • the fertilized egg 16 may be rotated by generating a flow in the culture solution in the storage unit by ejecting (injecting) the fluid into the culture solution in the storage unit of the culture vessel.
  • the observation container 21 for observing a fertilized egg has the culture container 1 and the camera 25 installed therein, and the information processing apparatus 22 is installed outside the observation apparatus 21, but is not limited thereto.
  • an information processing apparatus 5022 may be installed in the observation apparatus 5021.
  • FIG. 28 shows a configuration of an observation system 5002 according to the sixth embodiment.
  • the observation system 5002 includes an observation device 5021, and the observation device 5021 can be connected to the cloud server 5037 via a network. Further, the portable terminal 5038 and the personal computer 5039 serving as display devices can be connected to the cloud server 5037 via a network.
  • a camera / information processing apparatus integrated unit 5032 and a temperature / humidity / gas control unit 5036 are installed, and the culture vessel 1 is accommodated.
  • the camera / information processing device integrated unit 5032 includes a camera 5025 as an imaging unit, an observation illumination device 5024, an information processing device 5022, and a communication unit 5023.
  • the observation illumination device 5024 for irradiating the fertilized egg 16 is arranged above the culture vessel 1 instead of below it.
  • the observation illumination device 5024 emits light that irradiates the culture vessel 1 when the fertilized egg 16 in the culture vessel 1 is imaged by the camera 5025.
  • the camera 5025 images the fertilized egg 16 in the culture container 1.
  • the information processing apparatus described in the above embodiments can be applied to the information processing apparatus 5022.
  • the information processing apparatus 5022 acquires an image of the fertilized egg 16 at each growth stage. Further, for the fertilized egg 16 at the growth stage after the complete blastocyst, for example, the fertilized egg is rotated while the fertilized egg 16 is rotated. The image of the fertilized egg 16 captured from a plurality of angles is acquired by imaging 16.
  • the information processing apparatus 5022 transmits the image of the fertilized egg 16 to the cloud server 5037 via the communication unit 5023 and the network, the positional information on the storage unit in which the fertilized egg 16 is stored, the imaging date and time, Data signals (hereinafter referred to as data signals related to the fertilized egg 16) such as the imaging conditions, the second feature amount of the fertilized egg, the growth stage code, and the observation direction classification code are output.
  • data signals related to the fertilized egg 16 such as the imaging conditions, the second feature amount of the fertilized egg, the growth stage code, and the observation direction classification code are output.
  • the temperature / humidity / gas control unit 5036 controls the temperature / humidity / gas in the observation apparatus 5021 and creates an environment suitable for culturing the fertilized egg 16.
  • the communication unit 5023 receives a data signal related to the fertilized egg 16 from the information processing apparatus 5022 and outputs it to the cloud server 5037 via the network.
  • the cloud server 5037 stores a data signal related to the fertilized egg 16.
  • a personal computer 5039 and a portable terminal 5038 each including the display unit 5039a and the information processing unit 5039b receive and display a data signal related to the fertilized egg 16 from the cloud server 5037 through a network by an operation of a user who operates them.
  • this technique can also take the following structures.
  • a storage unit for preliminarily storing a plurality of first images obtained by rotating and imaging comparative cells;
  • An image acquisition unit that acquires a plurality of second images obtained by rotating and imaging the cells to be evaluated;
  • An information processing apparatus comprising: an evaluation unit that evaluates the cell to be evaluated based on a comparison result between the first image and the second image.
  • the evaluation unit evaluates the cell to be evaluated based on a comparison result between a first feature amount extracted from the first image and a second feature amount extracted from the second image. Processing equipment.
  • the storage unit stores an evaluation result for the first image associated with the first image, A determination unit that compares the first image with the second image and determines whether the first image and the second image match; The evaluation result associated with the first image determined to match the second image when the determination unit determines that the first image and the second image match.
  • a calculation unit that calculates a ratio of an evaluation result that is given most among evaluation results given to each of the plurality of second images; It is determined whether or not the numerical value of the ratio calculated by the calculation unit is stable, and the determination is performed so that the first image and the second image are compared until it is determined that the numerical value of the ratio is stable.
  • An information processing apparatus further comprising: a determination control unit that controls the unit.
  • An information processing apparatus further comprising: a rotation control unit that controls a rotation mechanism that rotates the cell.
  • the rotation control unit controls the rotation mechanism to rotate the evaluation target cell when the determination control unit determines that the numerical value of the ratio is stable.
  • the information processing apparatus is an information processing apparatus that evaluates a growth stage of the cell to be evaluated.
  • the information processing apparatus is information processing apparatus which evaluates the quality of the cell of the said evaluation object.
  • a culture vessel having a plurality of accommodating portions in which cells are accommodated;
  • An imaging unit for imaging the cells;
  • An image acquisition unit for acquiring an image of the cell imaged by the imaging unit;
  • a rotation mechanism for rotating the cells in the accommodating portion;
  • a storage unit for preliminarily storing a first image obtained by imaging the cell for comparison rotated by the rotation mechanism by the imaging unit;
  • An image acquisition unit for acquiring a plurality of second images obtained by imaging the cells to be evaluated rotated by the rotation mechanism by the imaging unit;
  • An information processing system comprising: an evaluation unit that evaluates the cell to be evaluated based on a comparison result between the first image and the second image.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Biomedical Technology (AREA)
  • Wood Science & Technology (AREA)
  • Organic Chemistry (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Zoology (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Genetics & Genomics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biotechnology (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • General Engineering & Computer Science (AREA)
  • Biochemistry (AREA)
  • Microbiology (AREA)
  • Sustainable Development (AREA)
  • Theoretical Computer Science (AREA)
  • Analytical Chemistry (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Cell Biology (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Reproductive Health (AREA)
  • Multimedia (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

【課題】受精卵を高い精度で評価するのに適した情報処理装置、情報処理システム、情報処理方法及びプログラムを提供することにある。 【解決手段】本技術の一形態に係る情報処理装置は、記憶部と、画像取得部と、評価部とを具備する。上記記憶部は、比較用の細胞を回転させ撮像して得られた複数の第１の画像を予め保存する。上記画像取得部は、評価対象の細胞を回転させ撮像して得られた複数の第２の画像を取得する。上記評価部は、上記第１の画像と上記第２の画像との比較結果を基に上記評価対象の細胞を評価する。

Description

情報処理装置、情報処理システム、情報処理方法及びプログラム
　本技術は、培養細胞の観察に用いられる情報処理装置、情報処理システム、情報処理方法及びプログラムに関する。
　近年、不妊治療や家畜の繁殖等の細胞培養分野において研究が行われている。
　例えば体外受精による受精卵の成長を観察する場合、受精卵を保持する収容部を備えた培養容器に受精卵を収容し、成長を観察する。受精卵の成長の経時変化を観察する際、受精卵をカメラにより撮像して画像を取得する（例えば、特許文献１参照）。受精卵の観察においては、受精卵を高い精度で評価することが求められている。
特開２０１１－１９２１０９号公報
　受精卵の撮像画像を用いて受精卵を評価する際、例えば胚盤胞以降の受精卵の形状は構造的に非対称性が高く、観察角度によって受精卵の見え方が大きく異なる。そのため、１つの観察角度から撮像した画像だけでは、十分な評価を行うことができない。
　本技術の目的は、受精卵を高い精度で評価するのに適した情報処理装置、情報処理システム、情報処理方法及びプログラムを提供することにある。
　上記目的を達成するため、本技術の一形態に係る情報処理装置は、記憶部と、画像取得部と、評価部とを具備する。
　上記記憶部は、比較用の細胞を回転させ撮像して得られた複数の第１の画像を予め保存する。
　上記画像取得部は、評価対象の細胞を回転させ撮像して得られた複数の第２の画像を取得する。
　上記評価部は、上記第１の画像と上記第２の画像との比較結果を基に上記評価対象の細胞を評価する。
　このような構成によれば、比較用の細胞を回転させて撮像するので、記憶部には、異なる観察角度から撮像した受精卵の画像（第１の画像）が複数保存される。また評価対象の細胞を回転させて撮像するので、異なる観察角度から撮像した受精卵の画像（第２の画像）を複数得ることができる。これらあらゆる観察角度から撮像した複数の第１の画像と第２の画像を比較して、評価対象の細胞を評価するので、精度の高い評価を行うことができる。
　上記評価部は、上記第１の画像より抽出された第１の特徴量と上記第２の画像より抽出された第２の特徴量との比較結果を基に上記評価対象の細胞を評価してもよい。
　このように画像を基に抽出した特徴量を用いて比較を行うことができる。特徴量は、画像の特徴的な部位の情報であり、例えば受精卵のサイズ、形状、真球度、卵割数（率）、各割球の形態及びそのバランス、フラグメンテーション、ＩＣＭのサイズや形状、ＩＣＭの細胞数や細胞密度等である。
　上記記憶部には、上記第１の画像に対応づけられた上記第１の画像に対する評価結果が保存され、上記第１の画像と上記第２の画像とを比較し、上記第１の画像と上記第２の画像とが一致するか否かを判定する判定部と、上記判定部により上記第１の画像と上記第２の画像とが一致すると判定されたときに、上記第２の画像に一致すると判定された上記第１の画像に対応づけられた上記評価結果を上記第２の画像に付与する付与部とを更に具備し、上記評価部は、複数の上記第２の画像それぞれに付与された評価結果のうち最も多く付与された評価結果を、上記評価対象の細胞に対する評価としてもよい。
　このように第２の画像と一致した第１の画像に対応づけられている評価結果を第２の画像の評価結果とし、複数の第２の画像それぞれに付与された評価結果のうち最も多く付与された評価結果を評価対象の細胞に対する評価とすることができる。
　比較用の受精卵の画像である第１の画像に対する評価結果は、例えば培養士等の評価者による所見であり、評価者により判定された受精卵の成長段階の評価結果や品質の評価結果である。したがって、評価対象の受精卵に対する評価を、評価者の存在がなくとも正確かつ容易に行うことができる。また、評価者の存在がなくとも評価を行うことができるので、大量の受精卵を評価するのに有効である。
　複数の上記第２の画像それぞれに付与された評価結果のうち最も多く付与された評価結果が占める割合を算出する算出部と、上記算出部により算出された上記割合の数値が安定したか否かを判定し、上記割合の数値が安定したと判定するまで上記第１の画像と上記第２の画像の比較を行うよう上記判定部を制御する判定制御部とを更に具備してもよい。
　このように、複数の第２の画像それぞれに付与された評価結果のうち最も多く付与された評価結果の割合の数値が安定するまで第１の画像と第２の画像の比較処理が行われるので、精度の高い評価を行うことができる。
　上記細胞を回転させる回転機構を制御する回転制御部を更に具備してもよい。
　上記回転制御部は、上記判定制御部により上記割合の数値が安定したと判定されると、上記評価対象の細胞を回転させるよう上記回転機構を制御してもよい。
　これにより、異なる回転条件下で回転させた受精卵の画像を取得することができ、更に精度の高い評価を行うことができる。
　上記評価部は、上記評価対象の細胞の成長段階を評価してもよい。
　上記評価部は、上記評価対象の細胞の品質を評価してもよい。
　このように、細胞の成長段階や品質を評価することができる。
　本技術に係る情報処理システムは、培養容器と、撮像部と、画像取得部と、回転機構と、記憶部と、画像取得部と、評価部とを具備する。
　上記培養容器は、細胞が収容された収容部を複数有する。
　上記撮像部は、上記細胞を撮像する。
　上記画像取得部は、上記撮像部で撮像された上記細胞の画像を取得する。
　上記回転機構は、上記細胞を上記収容部内で回転させる。
　上記記憶部は、上記回転機構により回転させた比較用の上記細胞を上記撮像部により撮像して取得した第１の画像を予め保存する。
　上記画像取得部は、上記回転機構により回転させた評価対象の上記細胞を上記撮像部により撮像し得られた複数の第２の画像を取得する。
　上記評価部は、上記第１の画像と上記第２の画像との比較結果を基に上記評価対象の細胞を評価する。
　本技術に係る情報処理方法は、評価対象の細胞を回転させ撮像して複数の第２の画像を取得し、比較用の細胞を回転させ撮像して予め取得した複数の第１の画像と、上記第２の画像を比較し、上記比較結果を基に上記評価対象の細胞を評価する。
　本技術に係るプログラムは、評価対象の細胞を回転させ撮像して複数の第２の画像を取得するステップと、比較用の細胞を回転させ撮像して予め取得した複数の第１の画像と、上記第２の画像を比較するステップと、上記比較結果を基に上記評価対象の細胞を評価するステップとをコンピュータに実行させる。
　以上のように、本技術によれば、評価対象の受精卵を精度よく評価することができる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
各実施形態に係る培養容器の平面図である。 図１の培養容器の部分拡大平面図である。 受精卵の成長による形状変化を説明する図である。 完全胚盤胞以降の成長段階の受精卵の画像の概略図である。 第１～第４の実施形態に係る観察システムの構成を示す概略図である。 図５に示す観察システムを示すブロック図である。 図５に示す観察システムの一部を構成する回転装置の模式平面図である。 図５に示す観察システムの一部を構成する回転装置付近の模式図である。 図５に示す観察システムの学習用データベース作成時のフローチャートである。 図５に示す観察システムの学習用データベース作成時における受精卵の画像取得時の観察照明装置、カメラ、回転装置の駆動のタイミングを説明するための図である。 図５に示す観察システムの学習用データベース作成時及び受精卵の評価時における、回転装置に備えられる振動素子の駆動のタイミングを説明するための図である。 図５に示す観察システムの回転装置により回転された受精卵の回転パターンの一例を説明する図である。 図５に示す観察システムの学習用データベース作成時における受精卵の画像取得時の観察照明装置、カメラ、回転装置の駆動のタイミングの他の例を説明するための図である。 図５に示す観察システムを用いた評価対象の受精卵の評価方法を説明するフローチャートである。 図５に示す観察システムを用いた評価対象の受精卵の画像取得時の観察照明装置、カメラ、回転装置の駆動のタイミングを説明する図である。 図１４のフローチャートにおける比較、判定、付与のステップの詳細を説明するフローチャートである。 図５に示す観察システムを用いた評価対象の受精卵の画像取得時の観察照明装置、カメラ、回転装置の駆動のタイミングの他の例を説明する図である。 第２の実施形態における図５に示す観察システムを用いた評価対象の受精卵の画像取得時の観察照明装置、カメラ、回転装置の駆動のタイミングを説明する図である。 第３の実施形態における図５に示す観察システムを用いた受精卵の評価方法を説明するフローチャートである。 第３の実施形態における比較処理の終了の判定を説明する図である。 図１９及び図２２のフローチャートにおける画像取得、比較、判定、付与のステップの詳細を説明するフローチャートである。 第４の実施形態における図５に示す観察システムを用いた受精卵の評価方法を説明するフローチャートである。 第４の実施形態における比較処理の終了の判定を説明する図である。 第５の実施形態の観察システムの構成を示す概略図である。 第５の実施形態に係る観察システムを示すブロック図である。 第５の実施形態に係る培養容器の部分拡大図である。 第５の実施形態に係る観察システムの回転部付近の構成を示す図である。 第６の実施形態の観察システムの構成を示す概略図である。
　以下、本技術に係る実施形態を、図面を参照しながら説明する。
＜培養容器の構成＞
　図１は培養容器（ディッシュ）の平面図である。図２は培養容器の部分拡大平面図である。図５は培養容器を観察装置内に収容した状態を説明する概略図である。
　培養容器１は、培養液１８及び細胞１６を収容可能に構成され、外部より細胞１６を撮像可能な程度に透光性を有する。尚、同時に撮像可能な培養容器１及び細胞１６の数は限定されない。
　本実施形態では、培養される細胞１６として、畜産分野等における生物、例えばウシの受精卵を例にあげて説明する（以下、同じ符号を用いて受精卵１６と記載する）。これに限定されず、例えば培養される細胞として、再生医療等の分野における、幹細胞、免疫細胞、癌細胞等の生体から取り出された生体試料等があげられ、構造非対称性が高い形状の成長段階を経る、三次元の画像が必要な細胞に対して本技術は有効である。
　また本明細書において、「細胞」は、単一の細胞と、複数の細胞の集合体とを少なくとも概念的に含む。ここで、単一の細胞または複数の細胞の集合体は、卵母細胞（oocyte）、卵子（eggまたはovum）、受精卵（fertile ovumまたはzygote）、未分化胚芽細胞（blastocyst）、胚（embryo）を含む（ただし限定はされない）受精卵の成長過程の一または複数のステージで観察される細胞に関連するものである。
　図１に示すように、培養容器１は、底部１９と、外壁１１と、内壁１２と、収容部１５と、細胞配置用凸部１３とを有する。
　培養容器１には、例えば金属、ガラス、シリコン等の無機材料や、ポリスチレン樹脂、ポリエチレン樹脂、ポリプロピレン樹脂、ＡＢＳ樹脂、ナイロン、アクリル樹脂、フッ素樹脂、ポリカーボネート樹脂、ポリウレタン樹脂、メチルペンテン樹脂、フェノール樹脂、メラミン樹脂、エポキシ樹脂、塩化ビニル樹脂等の有機材料を用いて形成することができる。本実施形態においては、ポリスチレン樹脂からなる透明の培養容器１を用いている。本実施形態においては、１つの培養容器１に３６の収容部１５を配置した場合を例にあげ図示しているが収容部１５の数はこれに限定されない。尚、図５において培養容器１の収容部１５の数は、図面を見やすくするために、図１の培養容器１の収容部１５の数と異ならせている。
　収容部１５は複数設けられており、各収容部１５は、１個の細胞、ここでは受精卵１６を収容しつつ一定の位置に留めることが可能である。また、各収容部１５には、受精卵１６以外に液体が収容される。「液体」は、典型的には、細胞を培養するのに適した培養液であり、以下、培養液として説明する。図５に示すように、収容部１５内及び内壁１２に囲まれた領域には、受精卵１６を培養するための培養液１８が注入されている。更に、この培養液１８の蒸発を防止するために、内壁１２に囲まれた領域には、培養液１８を覆うようにオイル１７が注入されている。
　底部１９は平面形状が例えば円形を有している。外壁１１と内壁１２は同心円状に形成されており、内壁１２の高さは外壁１１の高さよりも低く形成されている。細胞配置用凸部１３は、底部１９の中央部に、内壁１２に囲まれた領域に内壁１２と間隙をおいて配置される。細胞配置用凸部１３は平面形状が矩形を有している。収容部１５は、マトリクス状に、例えば３６個配置される。収容部１５の平面形状は矩形を有するが、これに限定されず円形でもよい。
＜受精卵の成長による形状変化＞
　図３を用いて受精卵の成長による形状変化について説明する。
　図３は、受精後１日から１０日までの受精卵１６の一般的な成長段階を示す。図３（ａ）は受精が確認された１日目の１細胞期の受精卵１６０１である。受精２日目になると、図３（ｂ）に示すように２分割して２細胞期の受精卵１６０２となる。その後、順調に成長していくと、受精卵１６は、図３（ｃ）、図３（ｄ）、図３（ｅ）と示すように、順に受精３日目に４細胞期の受精卵１６０３、受精４日目に８細胞期の受精卵１６０４、受精５日目に１６細胞期の受精卵１６０５というように細胞数が増えていく。
　その後、細胞同士が密着し、図３（ｆ）に示すように受精５～６日目に初期桑実胚１６０６となり、受精６日目に図３（ｇ）に示すように桑実胚１６０７となる。更に成長し続けると細胞質内に隙間ができて胞胚腔を形成し、受精７日目に図３（ｈ）に示すように初期胚盤胞１６０８となる。胞胚腔が拡大すると、受精７～８日目には、図３（ｉ）に示すように完全胚盤胞１６０９となる。胚盤胞の成長段階（１６０８以降）となると、将来胎児となる内部細胞塊１６１（Inner Cell Mass、以下ＩＣＭと称す。）と栄養外胚葉１６２（Trophectoderm、以下ＴＥと称す。）の識別が可能となってくる。初期胚盤胞１６０８及び完全胚盤胞１６０９の成長段階では、受精卵の外形を形成する透明体１６３が認識される。更に、透明体１６３が薄くなって、受精卵は受精８～９日目には拡張胚盤胞１６１０となり、受精９日目には透明体から胚盤胞が脱出する脱出胚盤胞１６１１、受精９～１０日目には拡張脱出胚盤胞１６１２となる。
　受精卵１６は、受精から桑実胚１６０７の成長段階までは比較的構造対称性が高く、観察角度によって見え方がさほど大きく変化しない。例えば、２細胞期、４細胞期の成長段階の受精卵１６は観察角度によって見え方が異なりはするが、これらの細胞期では割球数が少なく、例えば１つの観察角度からの観察でも卵割の状態が比較的わかりやすい。
　これに対し、胞胚空が形成されて受精卵１６が胚盤胞の成長段階（１６０８～１６１２）となると、構造非対称性が高くなり、受精卵１６を見る角度によって見え方が大きく異なる。図３（ｉ）（ｊ）（ｋ）（ｌ）に示すように、完全胚盤胞１６０９以降の成長段階の受精卵１６は、受精卵１６内における胞胚空の占める割合が大きくなり、ＩＣＭ１６１は球状の受精卵１６内に偏って存在する。
　受精卵１６は、成長段階によっては、観察角度により見え方が大きく異なる。図４は、完全胚盤胞１６０９以降の成長段階の受精卵１６を複数の角度から撮像した画像の概略図である。
　図４（ａ）は、ＩＣＭ１６１が受精卵１６の手前側中央に位置した状態を正面としたとき、受精卵１６を正面又は裏面から撮像した画像を示す。図４（ａ）に示すように、受精卵１６の中央部に略円形のＩＣＭ１６１が位置する画像となる。
　図４（ｄ）は、受精卵１６を真横方向から撮像した画像を示す。図４（ｄ）に示すように、受精卵１６内の端に略劣弧状のＩＣＭ１６１が位置する画像となる。
　図４（ｂ）及び（ｃ）は、真横及び裏面以外の斜めの方向から撮像した場合の画像の一例である。図４（ｂ）及び（ｃ）に示すように、ＩＣＭ１６１は受精卵１６内の端に略楕円の形状で位置する画像となる。
　このように、成長段階によっては、観察方向によって受精卵１６の見え方が大きく異なる。本技術の情報処理システムは、このような観察方向によって受精卵の見え方が大きく異なる成長段階の受精卵の評価に特に有効であり、精度の高い評価を行うことができる。
　以下、本技術の情報処理システムとしての観察システムについて説明する。
＜観察システムの概要＞
　本技術の情報処理システムとしての観察システムでは、あらゆる成長段階の比較用の受精卵を回転させて撮像した複数の第１の画像のデータが学習用データとして予め記憶部としての学習用データベースに保存されている。この学習用データベースが作成された観察システムを用いて評価対象の受精卵を回転させて撮像した複数の第２の画像が取得される。観察システムでは、この第２の画像の情報と学習用データベースに保存されている第１の画像の情報が比較されて、評価対象の受精卵が評価される。
　ここでは、学習用データである比較用の受精卵の画像を第１の画像と称し、評価対象の受精卵の画像を第２の画像と称す。第１の画像から抽出される特徴量を第１の特徴量と称し、第２の画像から抽出される特徴量を第２の特徴量と称す。
　また、学習用データが保存された学習用データベースを有する観察システムを、必要に応じて、評価時の観察システムと称し、学習用データベース作成時の観察システムと区別する。
　観察システムは、比較用の受精卵及び評価対象の受精卵を回転させる回転機構を備える。
　学習用データベース作成時に、各成長段階の受精卵を回転させ撮像した画像のデータが学習用データとして取得されて、学習用データベースに保存される。この学習用データベースに保存される学習用データは、評価対象の受精卵を評価する際の比較用のデータとなる。
　学習用データとなる受精卵の画像（第１の画像）は、回転機構により受精卵を回転させて撮像部としてのカメラにより撮像され得られる。受精卵を回転させて撮像することにより複数の観察方向から撮像した受精卵の画像が取得される。学習用データは、ある１つの画像取得期間内で複数の観察方向から撮像して取得された複数の受精卵の第１の画像と、その受精卵の第１の特徴量、成長ステージコード、品質ランク等が対応づけられて構成される。
　特徴量は、画像の特徴的な部位の情報であり、例えば受精卵のサイズ、形状、真球度、卵割数（率）、各割球の形態及びそのバランス、フラグメンテーション、ＩＣＭのサイズや形状、ＩＣＭの細胞数や細胞密度等である。
　成長ステージコード及び品質ランクは、培養士等の評価者が受精卵の画像を観察し、その受精卵に対して行った所見であり、評価者が観察対象の受精卵に付与した評価結果である。成長ステージコードは受精卵の成長段階を表し、品質ランクは受精卵の品質を表す。
　ここで、成長段階とは、上述した、１細胞期、２細胞期、４細胞期、８細胞期、１６細胞期、初期桑実胚、桑実胚、初期胚盤胞、完全胚盤胞、拡張胚盤胞、脱出胚盤胞、拡張脱出胚盤胞である。
　例えば１細胞期１６０１の成長段階を成長ステージコード１、２細胞期１６０２から１６細胞期１６０５までの成長段階を成長ステージコード２、初期桑実胚１６０６の成長段階を成長ステージコード３、桑実胚１６０７の成長段階を成長ステージコード４、初期胚盤胞１６０８の成長段階を成長ステージコード５、完全胚盤胞１６０９の成長段階を成長ステージコード６、拡張胚盤胞１６１０の成長段階を成長ステージコード７、脱出胚盤胞１６１１の成長段階を成長ステージコード８、拡張脱出胚盤胞１６１２の成長段階を成長ステージコード９とする。学習用データベースには、成長段階は成長ステージコードで表現されて保存される。
　品質ランクは、評価者によりなされた受精卵の品質評価結果である。品質評価は、受精卵の成長段階により評価基準が異なる。例えば、４～８細胞期においては、受精卵の卵割数（率）、割球の形態及びそのバランス、フラグメンテーションの割合等を評価基準として３つのランクＡ～Ｃに分類される。胚盤胞期においては、ＩＣＭの細胞数、ＩＣＭの細胞密度等を評価基準として３つのランクＡ～Ｃに分類される。学習用データベースには、品質は品質ランクＡ～Ｃで表現されて保存される。
　評価対象の受精卵の評価は、評価時の観察システムの学習用データベースに保存されている学習用データを用いて行われる。観察システムでは、評価対象の受精卵を回転させて複数の観察方向から撮像した受精卵の画像（第２の画像）が複数取得される。
　取得された第２の画像は、第１の画像と比較される。この比較処理により第２の画像と第１の画像とが一致したと判定されたとき、第２の画像に一致したと判定された第１の画像に対応づけられた評価結果が、一致判定に用いられた第２の画像に付与される。評価結果は、成長ステージコード(成長段階）や品質ランク（品質）等である。
　そして、複数の第２の画像それぞれに付与された評価結果のうち最も多く付与された評価結果が、評価対象の受精卵に対する評価であると判定される。
　ある1つ画像取得期間内で複数の観察方向から撮像した複数の評価対象の受精卵の画像（第２の画像）と、該受精卵が収容されている収容部の位置情報と、撮像日時と、撮像条件と、第２の特徴量と、評価対象の受精卵の評価結果等が対応づけされて、観察システムの記憶部としての解析結果のデータベースに保存される。
（第１の実施形態）
＜観察システムの構成＞
　以下に、上述の観察システムの一例について説明する。
　上述の培養容器１内に収容される受精卵１６を観察する観察システムについて説明する。尚、本実施形態においては、ウシの受精卵を培養するインキュベータと受精卵の観察を行う観察装置は別の装置となっているが、インキュベータ内に受精卵１６を観察するために用いるカメラを配置し、インキュベータ内で受精卵を観察できるように構成しても良い。
　図５は、観察システムを示す概略図である。図６は、観察システムの構成を示すブロック図である。本実施形態及びそれ以降に説明する実施形態において、１つの培養容器を観察する例をあげて説明するが、観察システムは、複数の培養容器１をディッシュホルダに載置したものを１個又は複数個、観察システム内に載置し、一度に多数の受精卵を観察することが可能に構成されていてもよい。
　図５に示すように、観察システム２は、観察装置２１と、情報処理装置２２と、表示装置２３と、入力装置２９と、回転装置３４０を有する。
　回転機構としての回転装置３４０は、複数の振動子としての偏心回転モータ（図７に示す符号３１１～３１３、３２１～３２３）と、制御装置３４１とを具備する。制御装置３４１は、後述する回転制御部２２８からの信号を受け、各偏心回転モータの駆動を制御する。
　回転装置３４０は振動を発すものであり、培養容器１に振動を与える。培養容器１が振動することにより、培養容器１の収容部１５内に収容される受精卵１６は回転する。回転装置３４０は、観察装置２１内に配置される。回転装置３４０の詳細については後述する。
　観察装置２１は、受精卵１６が収容された培養容器１を収容し、受精卵１６を観察するものである。培養容器１は観察装置２１内で水平に保持され、培養容器１の各収容部１５には１つずつ受精卵１６が収容されている。観察装置２１内には、観察照明装置２４と、カメラ２５と、温度・湿度・ガス制御部２６と、ステージ２７が配置される。
　観察照明装置２４は、培養容器１内の受精卵１６をカメラ２５により撮像する際に、培養容器１に対して照射する光を発する。観察照明装置２４の光の点灯（オン）、非点灯（オフ）のタイミングは、後述する情報処理装置２２の撮像制御部２２６からの撮像トリガー信号を基に制御される。
　撮像部としてのカメラ２５（以下、同じ符号を用いてカメラ２５と記載する。）は、例えばＣＭＯＳ（Complementary Metal-Oxide Semiconductor）センサやＣＣＤ（Charge Coupled Device）センサ等のイメージセンサを備える可視光カメラにより構成される。可視光カメラに代えて、又はこれに加えて、赤外線（ＩＲ）カメラや変更カメラ等が用いられてもよい。
　カメラ２５は、培養容器１内の受精卵１６を撮像するものであり、観察装置２１内に配置される。カメラ２５は、光軸方向（Ｚ軸方向）に移動可能なレンズ群を含む鏡筒と、鏡筒を通過する被写体光を撮像するＣＭＯＳ（Complementary Metal Oxide Semiconductor）、ＣＣＤ（Charge Coupled Device）等の撮像素子としての固体撮像素子と、これらを駆動する駆動回路等を有する。なおカメラ２５は、図上Ｚ軸方向および水平面方向（ＸＹ平面方向）に移動可能に培養容器１内に設置されてもよい。また、カメラ２５は、静止画像だけでなく、連続画像（ビデオ）を撮像することが可能に構成されてもよい。
　カメラ２５は、後述する情報処理装置２２の撮像制御部２２６により撮像回数、撮像のタイミング等が制御される。
　温度・湿度・ガス制御部２６は、観察装置２１内の温度・湿度・ガスを制御するものであり、受精卵１６の培養に適した環境をつくる。ガスの種類としては、窒素、酸素、二酸化炭素等がある。
　入力装置２９は情報処理装置２２に接続され、ユーザの操作を入力するめの操作デバイスである。入力装置２９としては、例えば、トラックボール、タッチパッド、マウス、キーボード等を利用可能である。
　表示装置２３は、ディスプレイのように画像を出力するものである。表示装置２３は、受精卵１６の画像、その受精卵１６が収容されている収容部の位置情報、撮像日時、成長段階（成長ステージコード）、品質（品質ランク）等の情報を表示するものである。
　図６に示すように、情報処理装置２２は、画像取得部２２２と、特徴量抽出部２３０と、判定部２３１と、付与部２３２と、評価部２２３と、記憶部２２４と、表示制御部２２５と、撮像制御部２２６と、算出部２２７と、回転制御部２２８と、判定制御部２２９とを具備する。情報処理装置２２は、観察システム２内の各ブロックの動作を制御する。
　情報処理装置２２は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）等のコンピュータの構成に必要なハードウェアを有する。情報処理装置２２として、例えばＰＣ（Personal Computer）が用いられるが、他の任意のコンピュータが用いられてもよい。
　情報処理装置２２の機能ブロックである画像取得部２２２と、特徴量抽出部２３０と、判定部２３１と、付与部２３２と、評価部２２３と、記憶部２２４と、表示制御部２２５と、撮像制御部２２６と、算出部２２７と、回転制御部２２８と、判定制御部２２９は、ＣＰＵが、非一過性のコンピュータ読み取り可能な記録媒体の一例であるＲＯＭに保存されたプログラムをＲＡＭにロードして実行することにより実現される。そしてこれらの機能ブロックにより、本技術に係る画像取得方法が実行される。プログラムは、例えば種々の記憶媒体を介して情報処理装置２２にインストールされる。又はインターネット等を介してプログラムのインストールが実行されてもよい。
　画像取得部２２２は、カメラ２５によって撮像された受精卵の画像情報をカメラ２５から取得する。撮像角度を固定し、受精卵１６を回転させながら複数回撮像することにより、異なる複数の角度から撮像した受精卵１６の画像を取得することができる。尚、ここでは、受精卵１６を回転させながら複数枚の画像を取得したが、回転させた受精卵１６を動画像で取得し、取得した動画から任意の複数枚の画像を抽出してもよい。
　第１の画像及び第２の画像は、いずれも回転装置３４０により回転させた受精卵１６をカメラ２５により撮像することにより取得される。
　特徴量抽出部２３０は、画像取得部２２２により取得された受精卵の画像を基に、その受精卵の特徴量を抽出する。
　特徴量は、画像の特徴的な部位の情報であり、例えば受精卵のサイズ、形状、真球度、卵割数（率）、各割球の形態及びそのバランス、フラグメンテーション、ＩＣＭのサイズや形状、ＩＣＭの細胞数や細胞密度等である。
　記憶部２２４は、学習用データベース２２４１と解析結果のデータベース２２４２を有する。学習用データベース２２４１は、学習用データとして比較用の受精卵の第１の画像や第１の特徴量等の各種データを保存する。解析結果のデータベース２２４２は、評価対象の受精卵の第２の画像や第２の特徴量等の各種データを保存する。
　評価時の観察システム２において、評価対象の受精卵は、学習用データベース２２４１に保存されている学習用データを用いて評価される。
　学習用データベース作成時の観察システム２において、記憶部としての学習用データベース２２４１は、ある１つの画像取得期間内で撮像した１つの受精卵を回転させて撮像した第１の画像と、特徴量抽出部２３０により抽出された第１の特徴量と、品質ランク及び成長ステージコード等が対応づけられたデータを保存する。学習用データベース２２４１には、１細胞期から拡張脱出胚盤胞までのあらゆる成長段階の受精卵のデータが保存される。
　評価時の観察システム２において、記憶部としての解析結果のデータベース２２４２は、ある１つの画像取得期間内で１つの評価対象の受精卵を回転させて撮像して得られる複数の第２の画像と、評価対象の受精卵１６が収容されている収容部１５の位置情報と、撮像日時と、撮像条件と、特徴量抽出部２３０により抽出された第２の特徴量と、評価部２２３によって評価された成長ステージコードや品質ランク等が対応づけられたデータを保存する。これらデータは、収容部１５毎に時系列に解析結果のデータベース２２４２に保存される。
　判定部２３１は、評価時の観察システム２において、記憶部２２４の学習用データベース２２４１に予め保存されている第１の画像と、評価対象の受精卵の第２の画像を比較し、第１の画像と第２の画像が一致するかを判定する。
　より具体的には、判定部２３１は、第１の画像を基に抽出された第１の特徴量と、第２の画像を基に抽出された第２の特徴量とを比較して、評価対象の受精卵１６の画像である第２の画像と第１の画像が一致するか否かを判定する。判定結果は付与部２３２に入力される。
　付与部２３２は、評価時の観察システム２において、判定部２３１の判定結果に基づき、評価用の受精卵１６に対して成長ステージコード及び品質ランクを付与する。
　付与部２３２は、判定部２３１により第１の画像と第２の画像が一致すると判定されると、第２の画像に対して、第２の画像と一致すると判定された第１の画像に対応づけられている評価結果である成長ステージコード（成長段階）及び品質ランク（品質評価結果）を、第２の画像に付与する。１つの第２の画像に対して１つの成長ステージコード及び１つの品質ランクが付与される。
　付与部２３２により付与された結果は算出部２２７へ出力される。
　算出部２２７は、評価時の観察システム２において、付与部２３２により付与された結果を基に、複数の第２の画像それぞれに対し付与された全ての成長ステージコードのうち、各成長ステージコードが占める割合を算出する。算出部２２７により算出された算出結果は、評価部２２３へ出力される。
　また、算出部２２７は、評価時の観察システム２において、付与部２３２により付与された結果を基に、複数の第２の画像それぞれに対し付与された品質ランクのうち、各品質ランクが占める割合を算出する。算出部２２７により算出された算出結果は、評価部２２３へ出力される。
　評価部２２３は、評価時の観察システム２において、入力された算出結果を基に、評価対象の受精卵１６の複数の第２の画像それぞれに対し付与された成長ステージコード（成長段階）のうち最も多く付与された成長ステージコード（成長段階）を、評価用の受精卵１６の成長ステージコード（成長段階）であると評価する。
　また、評価部２２３は、評価時の観察システム２において、入力された算出結果を基に、評価対象の受精卵１６の複数の第２の画像それぞれに対し付与された品質ランクのうち最も多く付与された品質ランクを、評価用の受精卵１６の品質ランクであると評価する。
　尚、本実施形態においては、評価対象の受精卵１６の成長段階及び品質の双方の評価を行う場合を例にあげて説明するが、評価部２２３により受精卵１６の成長段階又は品質のいずれか一方を評価する構成としてもよい。
　学習用データベース作成時の観察システム２において、表示制御部２２５は、表示装置２３に、受精卵１６の第１の画像や評価者によって入力が可能な評価入力欄などを表示させる。
　評価時の観察システム２において、表示制御部２２５は、表示装置２３に、評価対象の受精卵１６が収容されている収容部の位置情報と、その評価対象の受精卵１６を回転させて取得した複数の第２の画像と、評価部２２３により評価された成長ステージコード（成長段階）又は品質ランク（品質評価結果）等を表示させる。
　撮像制御部２２６は、受精卵１６の撮像回数及び撮像のタイミングを制御する制御信号をカメラ２５に出力する。撮像制御部２２６は、所定の時間間隔で撮像を行う撮像トリガー信号を生成する。尚、構造対称性の高い成長段階の受精卵の撮像数を少なくし、構造非対称性の高い成長段階の受精卵の撮像数を多くするなど制御してもよい。
　回転制御部２２８は、後述する回転装置３４０に備えられる複数の偏心回転モータそれぞれの駆動・停止のタイミング、印加電圧を制御する制御信号を制御装置３４１に出力する。これにより培養容器１への振動付与の有無及びタイミング、振動の方向及び強さが制御される。
　回転装置３４０に備えられる偏心回転モータの駆動により、培養容器１に振動が付与される。この振動の付与により、培養容器１内に収容される受精卵１６は回転する。各偏心回転モータの駆動・停止のタイミング、印加電圧を調整することにより、受精卵１６を所望の方向及び回転量で回転させることができる。
　回転制御部２２８は、撮像制御部２２６からの撮像トリガー信号を基に、回転装置３４０の駆動・停止のタイミングを制御する。
　また、回転制御部２２８は、各偏心回転モータの駆動・停止のタイミング、印加電圧を制御して受精卵１６の回転方向及び回転量を制御することができる。
　例えば完全胚盤胞以降の成長段階の受精卵においては、図４（ａ）～（ｄ）に示すように、観察角度によって受精卵１６内のＩＣＭの形状や位置が異なる。本実施形態においては、各偏心回転モータの駆動・停止のタイミング、印加電圧を調整することにより、ＩＣＭの位置や形状が所望の位置や形状となるように受精卵の回転方向及び回転量を制御することができる。受精卵の回転方向及び回転量の制御は次のように行なわれる。
　回転制御部２２８は、受精卵１６を回転させる直前に撮像した受精卵１６の画像に基づき、エッジ検出等の画像認識により、ＩＣＭ１６１の形状及び位置を検出する。これを基に、回転制御部２２８は、例えば図４（ａ）に示すＩＣＭ１６１が受精卵１６の中央部に位置する画像が取得できるように、受精卵１６の回転方向及び回転量を算出する。回転制御部２２８は、この算出結果を基に制御信号を生成して制御装置３４１に送信する。制御装置３４１により回転装置３４０の各偏心回転モータの駆動が制御され、受精卵１６が回転する。これにより、ＩＣＭが中央部に位置する画像を取得することができる。
　このように、画像認識によるＩＣＭの形状及び位置の検出結果に基づいて、所望のＩＣＭの形状及び位置となる受精卵の画像が取得されるように受精卵１６の回転方向及び回転量を算出し、これに基づいて受精卵１６を回転させることにより、所望の画像を取得することができる。
　評価時の観察システム２において、判定制御部２２９は、第１の画像と第２の画像の比較処理の終了の判定を行う。比較処理の終了の判定は、ユーザにより任意に設定可能としてもよく、例えば、時間や第１の画像と第２の画像との比較枚数等をユーザが設定する。或いは、比較終了の判定となる時間や比較枚数等が予め設定されていてもよい。
　図７は回転装置３４０の平面模式図、図８は回転装置３４０付近の観察システム２の部分模式図である。
　図７及び図８に示すように、回転装置３４０は、６つの振動素子としての偏心回転モータ３１１～３１３、３２１～３２３と制御装置３４１とを有する。振動素子としては、偏心回転モータの他、圧電素子などを用いてもよい。
　３つの偏心回転モータ３２１～３２３は、培養容器１の外底面に、外形平面形状が円状の培養容器１の外周を三等分する位置に配置される。３つの偏心回転モータ３１１～３１３は、培養容器１の外側面に、外周を三等分する位置に配置される。培養容器１の平面図において、外周に沿って、偏心回転モータ３２１は偏心回転モータ３１１と偏心回転モータ３１３との中間位置に、偏心回転モータ３２２は偏心回転モータ３１１と偏心回転モータ３１２との中間位置に、偏心回転モータ３２３は偏心回転モータ３１２と偏心回転モータ３１３との中間位置に位置する。
　培養容器１は、偏心回転モータ３１１～３１３及び３２１～３２３それぞれの駆動が制御されることにより振動する。この振動により、培養容器１に収容される受精卵１６は回転する。
　偏心回転モータ３１１～３１３及び３２１～３２３それぞれに印可する電圧を制御することにより振動の周波数（モータの回転数）は制御され、振動の強弱が制御される。また、それぞれ異なる位置に６つの偏心回転モータ３１１～３１３及び３２１～３２を配置することにより、培養容器１に対して所望の方向の振動を与えることができる。
　このように、各偏心回転モータの駆動の有無及び駆動電圧を制御することにより、培養容器１に対して所望の強弱及び方向の振動を与えることができる。これにより、受精卵１６の回転方向及び回転量が制御される。
　回転装置３４０が備えられた培養容器１は、ステージ２７上に配置される。培養容器１に収容される受精卵１６は、ステージ２７の上部に配置されるカメラ２５により撮像可能となっている。また、ステージ２７の下部には観察照明装置２４が配置される。観察照明装置２４は、培養容器１内の受精卵１６に光を照射する。
＜観察システムの学習用データベース作成＞
　次に、上述の観察システム２を用いた学習用データベース２２４１の作成について図９～図１２を用いて説明する。学習用データベース２２４１の作成時、あらゆる成長段階の受精卵を回転させて撮像することにより、複数の角度から撮像した受精卵の画像を学習用データとして取得する。
　図９は、学習用データベース２２４１の作成のフローチャートである。図１０は、学習用データベースの作成時における受精卵の画像取得時の観察照明装置、カメラ、回転装置の駆動のタイミングを説明するための図である。図１１は、回転装置３４０に備えられる偏心回転モータ３１１～３１３、３２１～３２３の駆動のタイミングを説明する図である。図１２は、回転装置３４０の駆動により受精卵１６が回転する様子を説明する模式図である。
　比較用の受精卵１６の画像取得は、受精卵１６を収容した培養容器１を観察装置２１内に保持した状態で行われる。受精卵１６の画像取得処理は、培養容器１の複数の収容部１５にそれぞれ収容された受精卵１６毎に順に行われる。
　画像取得処理は例えば１５分を１画像取得期間とし、１つの受精卵１６を１画像取得期間で撮像して取得される複数の第１の画像に係るデータが、１つの学習用データとしてデータベースに保存される。学習用データは、受精卵の第１の特徴量、受精卵に対する培養士等の所見である成長ステージコード及び品質ランク、１画像取得期間内で取得された複数の観察角度から撮像された受精卵の第１の画像が対応づけされたデータである。
　図１０に示すように、受精卵１６の画像取得は、１画像取得期間を１５分とし、ｎ期間連続して行われる。１画像取得期間内で、観察照明装置２４による光の照射はオン、オフが繰り返されて行われており、断続的に受精卵１６に対して光の照射が行われる。このように断続的に光が照射されることにより、光照射による受精卵のダメージを減少させることができる。尚、１画像取得期間の時間は１５分に限定されず、任意に設定することができる。
　図１０に示すように、受精卵１６のカメラ２５による撮像は、観察照明装置２４による光の照射の期間内に行われる。また、回転装置３４０は、観察照明装置２４及びカメラ２５のいずれもがオンの状態の時に駆動する。すなわち、回転している状態の受精卵１６をカメラ２５により撮像する。カメラ２５の位置を固定して回転している受精卵１６を複数枚撮像することにより、複数の異なる観察角度から受精卵１６を撮像することができる。
　受精卵１６を回転させる回転装置３４０の偏心回転モータ３１１～３１３、３２１～３２３の駆動のタイミングについて説明する。図１１に示すように、本実施形態では、培養容器１の側面に配置される偏心回転モータ３１１～３１３の駆動と、培養容器１の底面に配置される偏心回転モータ３２１～３２３の駆動を交互に行う。尚、偏心回転モータ３１１～３１３の駆動と偏心回転モータ３２１～３２３の駆動のタイミングはこれに限定されない。
　回転装置３４０の駆動条件及びカメラ２５による撮像回数の一例をあげる。
　定格回転数が約４０００ｒｐｍの偏心回転モータを使用し、偏心回転モータ３２１～３２３のみを駆動して偏心回転モータ３２１～３２３に直流電圧１Ｖを印加する。このような駆動条件では、収容部１５内の受精卵１６は、約１秒で１回転する。この１秒間で１回転する受精卵１６を、１秒間に３０フレーム撮像可能なカメラ２５で撮像する。これにより、２秒間で６０枚の受精卵１６の回転画像を取得することができる。この駆動条件により、例えば図１２（Ａ）に示すように、収容部１５内の受精卵１６は、いずれもほぼ同じ回転方向及び回転量で回転する。
　次に、定格回転数が約４０００ｒｐｍの偏心回転モータを使用し、偏心回転モータ３１１～３１３のみを駆動して偏心回転モータ３１１～３１３に直流電圧１Ｖを印加する。このような駆動条件では、収容部１５内の受精卵１６は、約１秒で１回転する。この駆動条件により、例えば図１２（Ｂ）に示すように、収容部１５内の受精卵１６は、いずれもほぼ同じ回転方向及び回転量で回転する。この１秒間で１回転する受精卵１６を、上記と同様に、１秒間に３０フレーム撮像可能なカメラ２５で撮像することにより、２秒間で６０枚の受精卵１６の回転画像を取得することができる。
　尚、ここでは、受精卵１６が回転している状態をカメラ２５によって撮像するが、これに限定されない。他の例として図１３に示すように、回転後の静止状態の受精卵１６を撮像してもよい。
　図１３に示すように、受精卵１６の画像取得は、１画像取得期間を１５分とし、ｎ期間連続して行われる。観察照明装置２４による光の照射はオン、オフが繰り返されて行われており、断続的に光の照射が行われる。このように断続的に光が照射されることにより、光照射による受精卵のダメージを減少させることができる。
　受精卵１６のカメラ２５による撮像は、観察照明装置２４による光の照射の期間内に行われる。また、回転装置３４０は、観察照明装置２４及びカメラ２５のいずれもがオフの状態の時に駆動する。すなわち、静止状態の受精卵１６をカメラ２５により撮像した後、回転装置３４０を駆動させて受精卵１６を回転させ、回転後の静止状態の受精卵１６を撮像する、というように、撮像と回転を繰り返し行う。
　以下、図９に従って学習用データベースの作成方法について説明する。
　図９は１画像取得期間内に行われる処理を示す。
　まず、受精が確認された比較用の受精卵１６を１つずつ培養容器１の収容部１５にいれた後、培養液１８を収容部１５内及び内壁１２に囲まれた領域内にピペットで注入する。その後、培養液１８を覆うように内壁１２に囲まれた領域内にオイル１７を注入する。
　次に、培養容器１を図５に示すように観察装置２１内のステージ２７に水平に載置する。このとき必要に応じて、培養容器１に、図示しない培養容器１と同様の材質でできた透明の蓋が載せられてもよい。
　次に、所定時間間隔での画像撮影が開始されると（Ｓ１０１）、撮像制御部２２６から観察トリガー信号が出力される（Ｓ１０２）。観察トリガー信号に基づき、図１０に示すタイミングで、観察照明装置２４の照明が点灯し（Ｓ１０３）、回転装置３４０が駆動し（Ｓ１０４）、カメラ２５による撮像が行われる（Ｓ１０５）。
　画像取得部２２２は、カメラ２５により撮像された受精卵１６の第１の画像を取得し、学習用データベース２２４１は、取得された第１の画像を保存する（Ｓ１０６）。ここで、画像取得部２２２は、取得された受精卵１６の画像に対して、画像の正規化、受精卵１６の位置の調整、形状の強調フィルタ等の画像の前処理を実行し、記録部２２４は、この前処理が行われた第１の画像を保存してもよい。
　撮像制御部２２６は、撮像を終了するか否かを判定する（Ｓ１０７）。本実施形態においては、１５分を１画像取得期間とし、この１画像取得期間分のデータを１つのデータとして保存するので、画像撮影開始から１５分経過した時点で、１画像取得期間分の撮像を終了する判定がなされる。
　１５分が経過せず、１画像取得期間分の撮像が終了していない場合、撮像制御部２２６はＳ１０７でｎｏの判定をし、Ｓ１０３に戻り、Ｓ１０３～Ｓ１０６のステップが繰り返される。
　１５分経過し、１画像取得期間分の撮像が終了している場合、撮像制御部２２６はＳ１０７でｙｅｓの判定をし、Ｓ１０８に進む。
　特徴量抽出部２３０は、画像取得部２２２により取得され、前処理が行われた１画像取得期間分の受精卵１６の複数の第１の画像に基づいて、受精卵１６の第１の特徴量を抽出する（Ｓ１０８）。
　培養士等の評価者は、１画像取得期間内に撮像された複数の受精卵１６の第１の画像をみて、受精卵１６の成長段階を評価し、受精卵１６に成長ステージコードを付与する。更に、評価者は、成長段階毎に予め決められている評価条件を基に受精卵１６の品質を評価し、受精卵１６に品質ランクを付与する。
　このように評価者により受精卵１６の評価が行われ、所見として成長ステージコード及び品質ランクの付与が行われる（Ｓ１０９）。
　次に、学習用データベース２２４１に、１画像取得期間内に撮像された１つの受精卵１６の画像と、その受精卵１６の第１の特徴量と、成長ステージコードと、品質ランクとが対応づけされた学習用データが保存される（Ｓ１１０）。
　以上のＳ１０１～Ｓ１１０が繰り返され、１５分を１画像取得期間として、ｎ期間分の比較用の受精卵１６の画像が取得される。これにより、あらゆる成長段階の比較用の受精卵１６の複数の観察角度から撮像した画像（第１の画像）が取得される。各画像取得期間で撮像された複数の観察角度から撮像した比較用の受精卵の第１の画像は、その画像の特徴量（第１の特徴量）、成長ステージコード、品質ランクが紐づけされて、学習用データとして、学習用データベース２２４１に保存される。
＜観察システムを用いた受精卵の評価方法＞
　次に、上述のように学習用データベースが作成された観察システム２を用いた、評価対象の受精卵の情報処理方法としての評価方法について説明する。
　以下、図１４～図１６を用いて評価方法について説明する。
　図１４は、学習用データが保存された学習用データベース２２４１を有する観察システム２を用いた評価方法のフローチャートである。
　図１５は、同観察システム２を用いた受精卵の画像取得時の観察照明装置、カメラ、回転装置の駆動のタイミングを説明するための図である。図１６は、図１４に示すフローチャートの受精卵画像の比較、判定、付与のステップの詳細を示すフローチャートである。
　評価対象の受精卵１６の画像取得では、上述した学習用データベース作成時に行われた画像取得と同様に、回転装置３４０を用いて受精卵１６を回転させて、回転している状態の受精卵１６を撮像することにより、複数の観察角度から撮像した画像を取得する。
　本実施形態においては、図１５に示すように、画像取得処理は学習用データベース作成時と同様に、例えば１５分を１画像取得期間とし、ｎ期間連続して行われる。観察照明装置２４による光の照射は点灯（オン）、非点灯（オフ）が交互に繰り返されて行われており、断続的に光の照射が行われる。カメラ２５による撮像及び回転装置３４０の駆動も、観察照明装置２４による点灯、非点灯にあわせて、オン、オフが交互に繰り返される。
　受精卵１６のカメラ２５による撮像は、観察照明装置２４による光の照射の期間内に行われる。また、回転装置３４０は、観察照明装置２４及びカメラ２５のいずれもがオンの状態の時に駆動する。すなわち、回転している状態の受精卵１６がカメラ２５により撮像される。
　カメラ２５により取得した評価対象の受精卵１６の第２の画像のディープラーニング解析は、観察照明装置２４、カメラ２５及び回転装置３４０のいずれもがオフのときに行われる。ディープラーニング解析は、カメラ２５による撮像毎に行われ、１画像取得期間内に複数回行われる。
　受精卵１６を回転させる回転装置３４０の偏心回転モータ３１１～３１３、３２１～３２３の駆動のタイミングは、上述した学習用データベース作成時での回転装置３４０の駆動と同様である。
　尚、ここでは、受精卵１６が回転している状態をカメラ２５によって撮像するが、これに限定されない。図１７に示すように、観察照明装置２４及びカメラ２５のいずれもがオフの状態のときに回転装置３４０を駆動させ、回転後の静止状態の受精卵１６を撮影するようにしてもよい。
　図１７に示すように、受精卵１６の画像取得は、１画像取得期間を１５分とし、ｎ期間連続して行われる。観察照明装置２４による光の照射はオン、オフが繰り返されて行われており、断続的に光の照射が行われる。
　図１７に示すように、受精卵１６のカメラ２５による撮像は、観察照明装置２４による光の照射の期間内に行われる。また、回転装置３４０は、観察照明装置２４及びカメラ２５のいずれもがオフの状態の時に駆動する。すなわち、静止状態の受精卵１６をカメラ２５により撮像した後、回転装置３４０を駆動させて受精卵１６を回転させ、回転後の静止状態の受精卵１６を撮像する、というように、撮像と回転を繰り返し行う。
　また、ディープラーニング解析は、回転装置３４０の駆動が停止した後であって、観察照明装置２４及びカメラ２５がいずれもオフの状態のときに行われる。
　次に、図１４に従って、評価時の観察システム２における受精卵の評価方法について説明する。
　図１４は１画像取得期間内に行われる処理を示す。
　まず、受精が確認された受精卵１６を１つずつ培養容器１の収容部１５にいれた後、培養液１８を収容部１５内及び内壁１２に囲まれた領域内にピペットで注入する。その後、培養液１８を覆うように内壁１２に囲まれた領域内にオイル１７を注入する。
　次に、培養容器１を図５に示すように観察装置２１内のステージ２７に水平に載置する。このとき必要に応じて、培養容器１に、図示しない培養容器１と同様の材質でできた透明の蓋が載せられてもよい。
　次に、所定時間間隔での画像撮影が開始されると（Ｓ２０１）、撮像制御部２２６から観察トリガー信号が出力される（Ｓ２０２）。観察トリガー信号に基づき、図１５に示すタイミングで、観察照明装置２４の照明が点灯し（Ｓ２０３）、回転装置３４０が駆動し（Ｓ２０４）、カメラ２５による撮像が行われる（Ｓ２０５）。
　画像取得部２２２は、カメラ２５により撮像された受精卵１６の第２の画像を取得する。取得された第２の画像は、記憶部としての解析結果のデータベース２２４２に保存される（Ｓ２０６）。ここで、画像取得部２２２は、取得された受精卵１６の第２の画像に対して、画像の正規化、受精卵１６の位置の調整、形状の強調フィルタ等の画像の前処理を実行し、解析結果のデータベース２２４２は、この前処理が行われた第２の画像を保存してもよい。
　特徴量抽出部２３０は、画像取得部２２２により取得され、前処理が行われた評価対象の受精卵１６の第２の画像に基づいて、第２の画像の第２の特徴量を抽出する（Ｓ２０７）。
　次に、評価対象の受精卵１６の第２の画像と第１の画像の比較、判定、評価の付与が行われる（Ｓ２０８）。図１６を用いて、比較、判定、評価の付与のステップについて説明する。
　図１６に示すように、判定部２３１は、学習用データベース２２４１に保存されている第１の画像と、解析結果のデータベース２２４２に保存されている第２の画像とを比較し、両者が一致するか否かを判定する。より具体的には、判定部２３１は、第１の特徴量と第２の特徴量とを比較し、第１の画像と第２の画像とが一致するか否かを判定する（Ｓ３０１）。
　付与部２３２は、判定部２３１による判定結果を基に、第２の画像に対して成長ステージコード及び品質ランクを付与する（Ｓ３０２）。具体的には、判定部２３１により第１の画像と第２の画像とが一致すると判定された場合、付与部２３２は、第２の画像に一致すると判定された第１の画像に対応づけられている成長ステージコード及び品質ランクを、第２の画像に対し付与する。
　このような比較、判定、付与が第２の画像毎に行なわれ、複数の第２の画像それぞれに成長ステージコード及び品質ランクが付与される。
　次に、算出部２２７は、付与部２３２により複数の第２の画像それぞれに付与された成長ステージコードのうち、各成長ステージコードの占める割合を算出する（Ｓ３０３）。算出部２２７により算出された算出結果は、評価部２２３へ出力される。
　図１４に戻って、判定制御部２２９により、第１の画像と第２の画像との比較処理を終了するか否かが判定される（Ｓ２０９）。本実施形態においては、１５分を１画像取得期間とし、この１画像取得期間分のデータを１つのデータとして保存するので、画像撮影開始から１５分経過した時点で１画像取得期間分の撮像を終了する、換言すると、比較処理を終了する判定がなされる。
　１５分が経過せず、１画像取得期間分の撮像が終了していない場合、判定制御部２２９は、比較処理を続行すると判定し、Ｓ２０９でｎｏの判定をする。Ｓ２０９でｎｏの判定がなされると、Ｓ２０３に戻り、Ｓ２０３～Ｓ２０８のステップが繰り返される。
　１５分経過し、１画像取得期間分の撮像が終了している場合、判定制御部２２９はＳ２０９でｙｅｓの判定をし、Ｓ２１０に進む。
　尚、本実施形態においては、比較処理の終了の判定を１画像取得期間の時間を基に行っているが、これに限定されず、例えば第１の画像と第２の画像の比較枚数を基に行っても良い。この場合、１５分の１画像取得期間の１５分を経過しない時点で、設定された比較枚数に達した場合は、その画像取得期間内での評価対象の受精卵の撮像が途中で停止されるようにしてもよい。撮像の停止とともに観察照明装置による光の照射も停止される。これにより、受精卵１６への光の照射時間を短縮することができ、受精卵に対する光の影響を抑制することができる。
　Ｓ２０９で比較処理を終了すると判定されると、評価部２２３は、算出部２２７により算出された算出結果を基に、複数の第２の画像それぞれに付与された成長ステージコードのうち最も多く付与された成長ステージコードを１画像取得期間における評価対象の受精卵１６の成長ステージコードであると評価する（Ｓ２１０）。評価対象の受精卵１６には、その評価された成長ステージコードが付与される。
　次に、算出部２２７は、評価対象の受精卵１６に対して付与された成長ステージコードと同じ成長ステージコードが付与されている第２の画像を対象にして、この対象とする第２の画像と一致すると判定された第１の画像に対応づけられている品質ランクの割合を算出する（Ｓ２１１）。算出部２２７により算出された算出結果は、評価部２２３へ出力される。
　評価部２２３は、入力された算出結果を基に、対象とする複数の第２の画像それぞれに対し付与された品質ランクのうち最も多く付与された品質ランクを、評価用の受精卵１６の品質ランクであると評価する（Ｓ２１２）。評価対象の受精卵１６には、その評価された品質ランクが付与される。
　このように、Ｓ２０８～Ｓ２１２により１画像取得期間内で撮像された評価対象の受精卵１６の第２の画像がディープラーニング解析される。
　評価対象の受精卵１６の第２の画像のディープラーニング解析が終了すると、解析結果のデータベース２２４２に、評価対象の受精卵１６が収容されている収容部１５の位置情報、撮像日時、撮像条件、特徴量抽出部２３０により抽出された第２の特徴量、画像取得部２２２により取得された複数の観察方向から撮像した複数の受精卵の画像（第２の画像）、及び、評価部２２３によって評価された成長ステージコード及び品質ランク等が対応づけられて、収容部１５毎に保存される（Ｓ２１３）。
　以上のＳ２０１～Ｓ２１３が繰り返され、１５分を１画像取得期間として、ｎ期間分の評価対象の受精卵１６のデータが取得される。各画像取得期間で取得された第２の画像は、第２の特徴量、収容部１５の位置情報、撮像日時、撮像条件、成長ステージコード、品質ランク等が対応づけられて、受精卵１６毎に時系列に解析結果のデータベース２２４２に保存される。
　以上のように、観察システム２を用いることにより、学習用データベース２２４１に保存されている学習用データを基に、評価者による観察を必要とせずに、評価対象の受精卵１６に対してその成長段階及び品質を正確に評価することができ、精度の高い評価が可能となる。また、観察システム２を用いることにより、評価者による観察なく評価対象の受精卵１６の評価を行うことができるので、大量の受精卵の評価に有効である。
　評価対象の受精卵１６の評価方法の具体的な例をあげる。
　Ｓ３０２で、付与部２３２により１０００枚の第２の画像それぞれに成長ステージコード及び品質ランクが付与されたとする。
　例えば成長ステージコード４と付与された第２の画像が３０枚、成長ステージコード５と付与された第２の画像が９５０枚、成長ステージコード６と付与された第２の画像が２０枚とすると、Ｓ３０３で、算出部２２７は、成長ステージコード４と判定された第２の画像の占める割合を３％、成長ステージコード５と判定された第２の画像の占める割合を９５％、成長ステージコード６と判定された第２の画像の占める割合を２％と算出する。
　Ｓ２１０で、評価部２２３は、この算出結果を基に、複数の評価対象の受精卵１６の第２の画像に対し付与された成長段階のうち最も多く付与された成長ステージコード５を、評価用の受精卵１６の成長段階であるとする。
　次に、Ｓ２１１で、算出部２２７は、評価対象の受精卵１６に付与された評価結果と同じ成長ステージコード５が付与された９５０枚の第２の画像を対象にして、これらの第２の画像それぞれに対し付与された品質ランクのうち、各品質ランクが占める割合を算出する。仮に、成長ステージコード５が付与された９５０枚の第２の画像のうち、８９３枚がＡランク、３８枚がＢランク、１９枚がＣランクとすると、算出部２２７は、Ａランクの占める割合が９４％、Ｂランクの占める割合が４％、Ｃランクの占める割合が２％と算出する。
　これにより、Ｓ２１２で、評価部２２３は、この算出結果を基に、評価対象の受精卵１６の成長ステージコード５が付与された第２の画像に対し付与された成長段階のうち最も多く付与された品質ランクＡを、評価用の受精卵１６の品質であるとする。
　以上のように、本技術においては、学習用データベース作成時に、比較用の受精卵を回転させて受精卵の画像データを取得しているので、あらゆる観察角度から見た受精卵のデータを学習用データとして取得することができる。
　更に、評価時の観察システム２において、評価用の受精卵を回転させて受精卵の画像データを取得しているので、あらゆる観察角度から見た評価対象の受精卵のデータを評価用データとして取得することができる。
　そして、あらゆる観察角度から見た受精卵の画像データを有する学習用データを用いて、同じくあらゆる観察角度から見た受精卵の画像データを評価するので、評価対象の受精卵の評価を高精度のものとすることができる。
　例えば、評価対象の受精卵が構造非対称性の高い胚盤胞の成長段階以降の受精卵で、観察角度によって見え方が著しく異なる受精卵である場合、本技術に係る観察システムを用いることにより、評価対象の受精卵の成長段階や品質の評価をより正確に行うことができ評価精度が高くなる。
（第２の実施形態）
　第１の実施形態では、評価時の観察システムにおいて、カメラによる撮像毎にディープラーニング解析を行っていたが、これに限定されない。例えば、図１８に示すように、１画像取得期間内で、複数回のカメラによる撮像が行われた後に、１回ディープラーニング解析を行うようにしてもよい。
　図１８に示すように、受精卵１６の画像取得は、１画像取得期間を１５分とし、ｎ期間連続して行われる。観察照明装置２４による光の照射は点灯、非点灯が交互に繰り返されて行われており、断続的に光の照射が行われる。カメラ２５による撮像及び回転装置３４０の駆動も、観察照明装置２４による点灯、非点灯にあわせて、オン、オフが交互に繰り返される。
　受精卵１６のカメラ２５による撮像は、観察照明装置２４による光の照射の期間内に行われる。また、回転装置３４０は、観察照明装置２４及びカメラ２５のいずれもがオンの状態の時に駆動する。すなわち、回転している状態の受精卵１６をカメラ２５により撮像することができる。
　カメラ２５により取得した評価対象の受精卵１６の第２の画像のディープラーニング解析は、観察照明装置２４、カメラ２５及び回転装置３４０のいずれもがオフのときに行われる。本実施形態では、１画像取得期間内で、複数回のカメラによる撮像で取得された第２の画像をまとめて、１回のディープラーニング解析で解析する。
（第３の実施形態）
　第１の実施形態においては、第１の画像と第２の画像との比較処理の終了の判定は、例えば、ユーザによって予め設定された時間や画像の比較枚数等を基に行われていたが、これに限定されない。以下、比較処理の終了の判定の他の例について図６、図１９～図２１を用いて説明する。上述の実施形態と同様の構成については同様の符号を付し、説明を省略する。また、ここでは、回転している状態の受精卵を撮像する例をあげて説明する。
　図６は、本実施形態における観察システムの構成を示すブロック図である。図１９は、本実施形態における評価時の観察システムを用いた受精卵の評価方法を説明するフローチャートである。図２０は、比較処理の終了の判定を説明する図である。図２１は、図１９のフローチャートにおける画像取得、比較、判定、付与のステップの詳細を説明するフローチャートである。
　図６に示すように、観察システム１００２の情報処理装置１０２２は、画像取得部２２２と、特徴量抽出部２３０と、判定部２３１と、付与部２３２と、評価部２２３と、記憶部２２４と、表示制御部２２５と、撮像制御部２２６と、算出部２２７と、回転制御部２２８と、判定制御部１２２９とを具備する。
　判定制御部１２２９は、第１の画像と第２の画像の比較処理の終了の判定を行う。判定制御部１２２９は、算出部２２７により算出された、第２の画像それぞれに付与された成長段階のうち最も多く付与された成長段階が占める割合の数値が安定したか否かを判定し、割合の数値が安定したと判定するまで第１の画像と第２の画像の比較を行うよう判定部２３１を制御する。
　判定制御部１２２９は、割合の数値が安定したと判定すると、比較処理を終了するように判定部２３１を制御する。
　判定制御部１２２９は、割合の数値が変動しており安定していないと判定すると、比較処理を続行するように判定部２３１を制御する。
　図１９に従って、本実施形態における受精卵１６の評価方法について説明する。図２０において、横軸は第１の画像と第２の画像とを比較する枚数を示し、縦軸は最も多く付与される成長段階が占める割合を示す。
　図１９は１画像取得期間内に行われる処理を示す。
　ディープラーニング解析において、第１の画像と第２の画像との比較枚数が多いほど、解析精度が高くなっていく。
　まず、図１９に示すように、画像取得、比較、判定、付与が行われる（Ｓ４０１）。詳細には、図２１に示すように、回転装置３４０が駆動し（Ｓ５０１）、評価対象の受精卵１６が回転する。回転する受精卵１６はカメラ２５により撮像される（Ｓ５０２）。撮像された受精卵１６の第２の画像は、解析結果のデータベース２２４２に保存される（Ｓ５０３）。
　特徴量抽出部２３０は、撮像された受精卵１６の第２の画像を基に第２の特徴量を抽出する（Ｓ５０４）。判定部２３１は、学習用データベース２２４１に保存されている第１の画像に基づいて抽出された第１の特徴量と、解析結果のデータベース２２４２に保存されている第２の画像に基づいて抽出された第２の特徴量とを比較する。判定部２３１は、第１の特徴量と第２の特徴量とを比較し、第１の画像と第２の画像とが一致するかを判定する（Ｓ５０５）。
　付与部２３２は、判定部２３１による判定結果を基に、第２の画像に対して成長ステージコード及び品質ランクを付与する（Ｓ５０６）。具体的には、判定部２３１により第１の画像と第２の画像とが一致すると判定された場合、付与部２３２は、第２の画像に一致すると判定された第１の画像に対応づけられている成長ステージコード及び品質ランクを、第２の画像に対し付与する。これにより、複数の第２の画像それぞれに成長ステージコード及び品質ランクが付与される。
　次に、算出部２２７は、付与部２３２により複数の第２の画像それぞれに付与された成長ステージコードのうち、各成長ステージコードの占める割合を算出する（Ｓ５０７）。算出部２２７により算出された算出結果は、判定制御部１２２９へ出力される。
　図１９に戻って、判定制御部１２２９は、各第２の画像に付与された成長段階のうち最も多く付与された成長段階が占める割合の数値が安定しているか否かを判定する（Ｓ４０２）。
　図２０の領域Ａに示すように、算出部２２７により算出された、各第２の画像に付与された成長段階のうち最も多く付与された成長段階が占める割合の数値が変動する場合、判定制御部１２２９は、数値は安定していない、比較処理を続行する判定をする（ｎｏ）。Ｓ４０２でｎｏと判定されると、Ｓ４０１に戻って、Ｓ５０１～Ｓ５０７のステップが繰り返され、画像取得、比較、判定、付与が繰り返される。
　他方、図２０の領域Ｂに示すように、算出部２２７により算出された、各第２の画像に付与された成長段階のうち最も多く付与された成長段階が占める割合の数値が安定した場合、判定制御部１２２９は、数値は安定している、比較処理を終了する判定をする（ｙｅｓ）。Ｓ４０２でＹｅｓと判定されると、比較処理が終了し、Ｓ４０３に進む。
　本実施形態において、１５分の１画像取得期間の１５分を経過しない時点で、Ｓ４０２で数値は安定しているという判定がされた場合は、その画像取得期間内での評価対象の受精卵の撮像が途中で停止される。この撮像の停止とともに観察照明装置による光の照射も停止される。これにより、受精卵１６への光の照射時間を短縮することができ、受精卵に対する光の影響を抑制することができる。
　評価部２２３は、算出部２２７により算出された算出結果を基に、複数の第２の画像それぞれに付与された成長ステージコードのうち最も多く付与された成長ステージコードを、評価対象の受精卵１６の成長ステージコードであるとする（Ｓ４０３）。評価対象の受精卵１６には、その評価された成長ステージコードが付与される。
　次に、算出部２２７は、判定された成長ステージコードと同じ成長ステージコードが付与された第２の画像を対象にして、この対象の第２の画像と一致すると判定された第１の画像に対応づけられている品質ランクの割合を算出する（Ｓ４０４）。算出部２２７により算出された算出結果は、評価部２２３へ出力される。
　評価部２２３は、入力された算出結果を基に、評価対象の受精卵１６の複数の第２の画像それぞれに対し付与された品質ランクのうち最も多く付与された品質ランクを、評価用の受精卵１６の品質ランクであるとする（Ｓ４０５）。評価対象の受精卵１６には、その評価された品質ランクが付与される。
　以上のように、Ｓ４０１～Ｓ４０５により評価対象の受精卵１６の第２の画像がディープラーニング解析される。
　評価対象の受精卵１６の第２の画像のディープラーニング解析が終了すると、解析結果のデータベース２２４２に、評価対象の受精卵１６が収容されている収容部１５の位置情報、撮像日時、撮像条件、特徴量抽出部２３０により抽出された第２の特徴量、１画像取得期間内に画像取得部２２２により取得された複数の観察方向から撮像した複数の受精卵の画像、及び、評価部２２３によって評価された成長ステージコード及び品質ランク等が互いに対応づけられて、収容部１５毎に保存される（Ｓ４０６）。
　このように、各第２の画像に付与された成長段階のうち最も多く付与された成長段階が占める割合の数値が安定した場合、比較処理を終了するように構成してもよい。これにより、より精度の高い評価を行うことができる。
（第４の実施形態）
　第１の実施形態においては、比較処理の終了の判定は、例えば、ユーザによって予め設定された時間や画像の比較枚数等を基に行われていたが、これに限定されない。以下、比較処理の終了の判定の更に他の例について図６、図２１～図２３を用いて説明する。上述の実施形態と同様の構成については同様の符号を付し、説明を省略する。また、ここでは、回転している状態の受精卵を撮像する例をあげて説明する。
　図６は、本実施形態における観察システムの構成を示すブロック図である。図２２は、本実施形態における観察システムを用いた受精卵の評価方法を説明するフローチャートである。図２３は、比較処理の終了の判定を説明する図である。図２１は、図２２のフローチャートにおける画像取得、比較、判定、付与のステップの詳細を説明するフローチャートである。
　図６に示すように、観察システム２００２の情報処理装置２０２２は、画像取得部２２２と、特徴量抽出部２３０と、判定部２３１と、付与部２３２と、評価部２２３と、記憶部２２４と、表示制御部２２５と、撮像制御部２２６と、算出部２２７と、回転制御部２２２８と、判定制御部２２２９とを具備する。
　判定制御部２２２９は、ある回転条件で回転させた受精卵を撮像して取得した第２の画像と第１の画像の比較処理の終了の判定を行う。判定制御部２２２９は、算出部２２７により算出された、第２の画像それぞれに付与された成長段階のうち最も多く付与された成長段階が占める割合の数値が安定したか否かを判定し、割合の数値が安定したと判定するまで第１の画像と第２の画像の比較を行うよう判定部２３１を制御する。
　判定制御部２２２９は、割合の数値が安定したと判定すると、ある回転条件で回転させた受精卵を撮像して取得した第２の画像と第１の画像の比較処理を終了するよう判定部２３１を制御する。
　判定制御部２２２９は、割合の数値が変動しており安定していないと判定すると、比較処理を続行するように判定する。
　更に、判定制御部２２２９は、ある回転条件で回転させた受精卵を撮像して取得した第２の画像と第１の画像の比較処理を終了する判定をすると、異なる回転条件で受精卵１６を回転させるよう回転制御部２２２８に対して制御信号を出力する。
　回転制御部２２２８は、判定制御部２２２９からの制御信号をうけ、回転装置３４０に備えられる複数の偏心回転モータそれぞれの駆動・停止のタイミング、印加電圧を制御する制御信号を制御装置３４１に出力する。
　回転制御部２２２８は、第１の実施形態の回転制御部２２８と同様に、受精卵１６の回転方向及び回転量が制御可能となっている。
　本実施形態においては、図２３に示すように、回転装置３４０を３種類の駆動条件下で順番に駆動し、評価対象の受精卵１６を３種類の異なる回転条件で回転させている。異なる回転条件それぞれで回転させた受精卵１６の画像を複数枚取得する。
　図２２に従って、本実施形態における受精卵１６の評価方法について説明する。図２３において、横軸は第１の画像と第２の画像とを比較する枚数を示し、縦軸は最も多く付与される成長段階が占める割合を示す。
　まず、図２２に示すように、画像取得、比較、判定、付与が行われる（Ｓ６０１）。詳細には、図２１に示すように、回転装置３４０が第１の駆動条件で駆動し（Ｓ５０１）、評価対象の受精卵１６が第１の回転条件で回転する。回転する受精卵１６はカメラ２５により撮像される（Ｓ５０２）。撮像された受精卵１６の第２の画像は、解析結果のデータベース２２４２に保存される（Ｓ５０３）。
　特徴量抽出部２３０は、撮像された受精卵１６の第２の画像を基に第２の特徴量を抽出する（Ｓ５０４）。判定部２３１は、学習用データベース２２４１に保存されている第１の画像に基づいて抽出された第１の特徴量と、解析結果のデータベース２２４２に保存されている第２の画像に基づいて抽出された第２の特徴量とを比較する。判定部２３１は、第１の特徴量と第２の特徴量とを比較し、第１の画像と第２の画像とが一致するかを判定する（Ｓ５０５）。
　付与部２３２は、判定部２３１による判定結果を基に、第２の画像に対して成長ステージコード及び品質ランクを付与する（Ｓ５０６）。具体的には、判定部２３１により第１の画像と第２の画像とが一致すると判定された場合、付与部２３２は、第２の画像に一致すると判定された第１の画像に対応づけられている成長ステージコード及び品質ランクを、第２の画像に対し付与する。これにより、複数の第２の画像それぞれに成長ステージコード及び品質ランクが付与される。
　次に、算出部２２７は、付与部２３２により複数の第２の画像それぞれに付与された成長ステージコードのうち、各成長ステージコードの占める割合を算出する（Ｓ５０７）。算出部２２７により算出された算出結果は、判定制御部２２２９へ出力される。
　図２２に戻って、判定制御部２２２９は、各第２の画像に付与された成長段階のうち最も多く付与された成長段階が占める割合の数値が安定しているか否かを判定する（Ｓ６０２）。
　図２３の領域Ａ１に示すように、算出部２２７により算出された、各第２の画像に付与された成長段階のうち最も多く付与された成長段階が占める割合の数値が変動する場合、判定制御部２２２９は、数値は安定していない、比較処理を続行する判定をする（ｎｏ）。Ｓ６０２でｎｏと判定されると、Ｓ６０１に戻って、Ｓ５０１～Ｓ５０７のステップが繰り返され、画像取得、比較、判定、付与が繰り返される。
　他方、図２３の領域Ｂ１に示すように、算出部２２７により算出された、各第２の画像に付与された成長段階のうち最も多く付与された成長段階が占める割合の数値が安定した場合、判定制御部２２２９は、数値は安定している、比較処理を終了する判定をする（ｙｅｓ）。Ｓ６０２でＹｅｓと判定されると、比較処理が終了し、Ｓ６０３に進む。
　Ｓ６０３では、画像取得、比較、判定、付与が行われる。詳細には、図２１に示すように、回転装置３４０が第２の駆動条件で駆動し（Ｓ５０１）、評価対象の受精卵１６が第２の回転条件で回転する。第２の駆動条件は第１の駆動条件とは異なる。第２の回転条件は第１の回転条件とは異なる。
　以下、上述と同様に、Ｓ５０２～Ｓ５０７が行われる。
　図２２に戻って、判定制御部２２２９は、各第２の画像に付与された成長段階のうち最も多く付与された成長段階が占める割合の数値が安定しているか否かを判定する（Ｓ６０４）。
　図２３の領域Ａ２に示すように、算出部２２７により算出された、各第２の画像に付与された成長段階のうち最も多く付与された成長段階が占める割合の数値が変動する場合、判定制御部２２２９は、数値は安定していない、比較処理を続行する判定をする（ｎｏ）。Ｓ６０４でｎｏと判定されると、Ｓ６０３に戻って、Ｓ５０１～Ｓ５０７のステップが繰り返され、画像取得、比較、判定、付与が繰り返される。
　他方、図２３の領域Ｂ２に示すように、算出部２２７により算出された、各第２の画像に付与された成長段階のうち最も多く付与された成長段階が占める割合の数値が安定した場合、判定制御部２２２９は、数値は安定している、比較処理を終了する判定をする（ｙｅｓ）。Ｓ６０４でｙｅｓと判定されると、比較処理が終了し、Ｓ６０５に進む。
　Ｓ６０５では、画像取得、比較、判定、付与が行われる。詳細には、図２１に示すように、回転装置３４０が第３の駆動条件で駆動し（Ｓ５０１）、評価対象の受精卵１６が第３の回転条件で回転する。第３の駆動条件は第１及び第２の駆動条件とは異なる。第３の回転条件は第１及び第２の回転条件とは異なる。
　以下、上述と同様に、Ｓ５０２～Ｓ５０７が行われる。
　図２２に戻って、判定制御部２２２９は、各第２の画像に付与された成長段階のうち最も多く付与された成長段階が占める割合の数値が安定しているか否かを判定する（Ｓ６０６）。
　図２３の領域Ａ３に示すように、算出部２２７により算出された、各第２の画像に付与された成長段階のうち最も多く付与された成長段階が占める割合の数値が変動する場合、判定制御部２２２９は、数値は安定していない、比較処理を続行する判定をする（ｎｏ）。Ｓ６０６でｎｏと判定されると、Ｓ６０５に戻って、Ｓ５０１～Ｓ５０７のステップが繰り返され、画像取得、比較、判定、付与が繰り返される。
　他方、図２３の領域Ｂ３に示すように、算出部２２７により算出された、各第２の画像に付与された成長段階のうち最も多く付与された成長段階が占める割合の数値が安定した場合、判定制御部２２２９は、数値は安定している、比較処理を終了する判定をする（ｙｅｓ）。Ｓ６０６でｙｅｓと判定されると、比較処理が終了し、Ｓ６０７に進む。
　尚、本実施形態においては、３種類の回転条件で受精卵１６を回転させる例をあげたが、回転条件の種類は３種類に限定されず、任意に設定可能である。
　また、本実施形態において、１５分の１画像取得期間の１５分を経過しない時点で、Ｓ６０６で数値は安定しているという判定がされた場合は、その画像取得期間内での評価対象の受精卵の撮像が途中で停止される。この撮像の停止とともに観察照明装置による光の照射も停止される。これにより、受精卵１６への光の照射時間を短縮することができ、受精卵に対する光の影響を抑制することができる。
　評価部２２３は、算出部２２７により算出された算出結果を基に、複数の第２の画像それぞれに付与された成長ステージコードのうち最も多く付与された成長ステージコードを、評価対象の受精卵１６の成長ステージコードであるとする（Ｓ６０７）。評価対象の受精卵１６には、その評価された成長ステージコードが付与される。
　次に、算出部２２７は、判定された成長ステージコードと同じ成長ステージコードが付与された第２の画像を対象にして、この対象の第２の画像と一致すると判定された第１の画像に対応づけられている品質ランクの割合を算出する（Ｓ６０８）。算出部２２７により算出された算出結果は、評価部２２３へ出力される。
　評価部２２３は、入力された算出結果を基に、評価対象の受精卵１６の複数の第２の画像それぞれに対し付与された品質ランクのうち最も多く付与された品質ランクを、評価用の受精卵１６の品質ランクであるとする（Ｓ６０９）。評価対象の受精卵１６には、その評価された品質ランクが付与される。
　以上のように、Ｓ６０１～Ｓ６０９により評価対象の受精卵１６の第２の画像がディープラーニング解析される。
　評価対象の受精卵１６の第２の画像のディープラーニング解析が終了すると、解析結果のデータベース２２４２に、評価対象の受精卵１６が収容されている収容部１５の位置情報、撮像日時、撮像条件、特徴量抽出部２３０により抽出された第２の特徴量、１画像取得期間内に画像取得部２２２により取得された複数の観察方向から撮像した複数の受精卵の画像、及び、評価部２２３によって評価された成長ステージコード及び品質ランク等が対応づけられて、収容部１５毎に保存される（Ｓ６１０）。
　このように、回転条件をかえて回転させた受精卵の第２の画像を取得し、それぞれの回転条件下で取得した第２の画像に付与された成長段階のうち最も多く付与された成長段階が占める割合の数値が安定した場合、比較処理を終了するように構成してもよい。これにより、より精度の高い評価を行うことができる。
（第５の実施形態）
　上述の実施形態では、振動を利用した回転装置を用いて受精卵１６を回転させたが、本実施形態では、水流を利用した回転装置を用いて受精卵１６を回転させている。本実施形態においては、培養容器の収容部の培養液に流体を噴出（注入）することで、収容部内の培養液に流れを発生させて、受精卵１６を回転させる。
　本実施形態は、上述の実施形態と比較して、振動装置ではなく培養液に流れを発生させて受精卵を回転させる回転機構を具備する培養容器を用いる点が主に相違する。上述の実施形態と異なる構成について主に説明し、上述の実施形態と同様の構成については同様の符号を付し、説明を省略する場合がある。
　第５の実施形態における観察システムについて図２４～２７を用いて説明する。図２４は、観察システムの構成を示す概略図である。図２５は、観察システムの構成を示すブロック図である。図２６は培養容器の収容部付近の部分拡大図である。図２７は、観察システムの回転部付近の構成を示す図である。
　観察システム３００２は、観察装置３０２１と、情報処理装置３０２２と、表示装置２３と、入力装置２９とを有する。観察装置３０２１内には、観察照明装置２４と、撮像部としてのカメラ２５と、温度・湿度・ガス制御部２６と、ステージ２７と、回転機構を有する培養容器３０４０が配置される。
　回転機構を有する培養容器３０４０は、回転機構としての回転部３０４０１と、受精卵１６を収容する収容部３０１５と、マイクロ流路（水流流路）３０４０３を具備する。回転部３０４０１は、マイクロ流路制御部３０４０２によって制御される。回転部３０４０１は、受精卵１６を収容する収容部３０１５内の培養液１８に流れを発生させて、受精卵１６を回転させるものである。マイクロ流路制御部３０４０２は、収容部３０１５内への流体の噴出を制御するものであり、流体を噴出させることにより培養液１８に流れを発生させる。水流流路３０４０３は、各収容部３０１５に接続され、流体を各収容部３０１５内に供給するための流体が通る流路である。
　収容部３０１５は、上述の実施形態の培養容器１の収容部１５と同様に、液体を収容し、液体内に１個の細胞を収容しつつ一定の位置に留めることが可能である。「液体」は、典型的には、細胞を培養するのに適した培養液であり、ここでは、培養液として説明する。
　回転部３０４０１は、ポンプＰと、Ｘ軸回転用バルブＶｘと、Ｙ軸回転用バルブＶｙと、Ｚ軸回転用バルブＶｚと、第１のＸ軸噴出口Ｘ１（第１の出力口）と、第２のＸ軸噴出口Ｘ２（第２の出力口）と、第１のＹ軸噴出口Ｙ１（第１の出力口）と、第２のＹ軸噴出口Ｙ２（第２の出力口）と、第１のＺ軸噴出口Ｚ１（第１の出力口）と、第２のＺ軸噴出口Ｚ２（第２の出力口）とを有する。ここでは、Ｘ軸、Ｙ軸及びＺ軸は直交する３軸を意味し、水平方向及び垂直方向を意味するものでは無い。
　収容部３０１５の内壁面に、第１のＸ軸噴出口Ｘ１と、第２のＸ軸噴出口Ｘ２と、第１のＹ軸噴出口Ｙ１と、第２のＹ軸噴出口Ｙ２と、第１のＺ軸噴出口Ｚ１と、第２のＺ軸噴出口Ｚ２とが形成される（収容部３０１５が複数の場合、全ての収容部３０１５それぞれに対して、固有に、各噴出口が形成される）。第１のＸ軸噴出口Ｘ１と、第２のＸ軸噴出口Ｘ２と、第１のＹ軸噴出口Ｙ１と、第２のＹ軸噴出口Ｙ２と、第１のＺ軸噴出口Ｚ１と、第２のＺ軸噴出口Ｚ２とは、それぞれ、収容部３０１５内の培養液に流体を噴出（注入）することで、収容部３０１５内の培養液に流れを発生させる。「流体」は、典型的には、収容部３０１５内の培養液と同じ液体であるが、収容部３０１５内の培養液と異なる液体又は気体でもよい。
　ポンプＰは、第１のＸ軸噴出口Ｘ１と、第２のＸ軸噴出口Ｘ２と、第１のＹ軸噴出口Ｙ１と、第２のＹ軸噴出口Ｙ２と、第１のＺ軸噴出口Ｚ１と、第２のＺ軸噴出口Ｚ２とにそれぞれ流路を介して接続し、これら噴出口に培養液を供給する。各流路の一部（ポンプ側ではなく噴出口側の部分）は、収容部３０１５の壁面内に形成される（収容部３０１５が複数の場合、全ての収容部３０１５それぞれに対して、固有に、各流路が形成される）。
　ポンプＰと、第１のＸ軸噴出口Ｘ１及び第２のＸ軸噴出口Ｘ２とを接続する流路には、Ｘ軸回転用バルブＶｘが設けられる。ポンプＰと、第１のＹ軸噴出口Ｙ１及び第２のＹ軸噴出口Ｙ２とを接続する流路には、Ｙ軸回転用バルブＶｙが設けられる。ポンプＰと、第１のＺ軸噴出口Ｚ１及び第２のＺ軸噴出口Ｚ２とを接続する流路には、Ｚ軸回転用バルブＶｚが設けられる。
　マイクロ流路制御部３０４０２は、後述する回転制御部３２２８から送信される制御信号を基に、回転部３０４０１の各噴出口から噴出される培養液の噴出速度及び噴出量を制御する。
　情報処理装置３０２２は、画像取得部２２２と、特徴量抽出部２３０と、判定部２３１と、付与部２３２と、評価部２２３と、記憶部２２４と、表示制御部２２５と、撮像制御部２２６と、算出部２２７と、回転制御部３２２８と、判定制御部２２２９とを具備する。
　情報処理装置３０２２は、観察システム３００２内の各ブロックの動作を制御する。情報処理装置３０２２の機能ブロックである画像取得部２２２と、特徴量抽出部２３０と、判定部２３１と、付与部２３２と、評価部２２３と、記憶部２２４と、表示制御部２２５と、撮像制御部２２６と、算出部２２７と、回転制御部３２２８と、判定制御部２２２９は、ＣＰＵが、非一過性のコンピュータ読み取り可能な記録媒体の一例であるＲＯＭに保存されたプログラムをＲＡＭにロードして実行することにより実現される。そしてこれらの機能ブロックにより、本技術に係る画像取得方法及び評価方法が実行される。
　回転制御部３２２８は、判定制御部２２２９からの駆動信号をうけ、受精卵１６の撮影時に回転部３０４０１を作動させるように、回転装置３４０に制御信号を送信する。回転制御部３２２８は、所望の受精卵１６の画像が得られるように、受精卵１６の回転方向及び回転量を制御可能である。
　回転制御部３２２８は、判定制御部２２２９からの駆動信号をうけ、回転部３０４０１を作動させるように、マイクロ流路制御部３０４０２に制御信号を送信する。
　回転制御部３２２８からマイクロ流路制御部３０４０２に送信された制御信号を基に、回転部３０４０１の作動が開始されると、収容部３０１５内に流体が噴出され、収容部２０１５内の培養液１８に流れが発生して、受精卵１６が回転する。
　回転制御部３２２８は、所望の受精卵１６の画像が得られるように、受精卵１６の回転方向及び回転量を制御可能である。
　ここで、完全胚盤胞１６０９以降の成長段階の受精卵１６は、観察方向によって受精卵１６内のＩＣＭ１６１の形状や位置が異なる。例えば、ＩＣＭ１６１が受精卵１６の中央に位置する画像を取得したい場合、次のようにして受精卵１６を回転させてＩＣＭ１６１が中央に位置する受精卵１６の画像を取得することができる。
　回転制御部３２２８は、受精卵１６を回転させる直前に撮像した受精卵１６の画像に基づき、エッジ検出等の画像認識により、ＩＣＭ１６１の形状及び位置を検出する。これを基に、回転制御部３２２８は、ＩＣＭ１６１が受精卵１６の中央部に位置するようにするために、受精卵１６の回転方向及び回転量を算出する。この算出された回転方向及び回転量に従って回転部２０４０１により受精卵１６を回転させればよい。
　マイクロ流路制御部３０４０２は、回転制御部３２２８からの制御信号に基づいて、回転部３０４０１の各噴出口Ｘ１、Ｘ２、Ｙ１、Ｙ２、Ｚ１、Ｚ２が発生する培養液の流れを個別に制御して、受精卵１６の回転方向及び回転量を制御する。具体的には、マイクロ流路制御部３０４０２は、回転制御部３２２８からの制御信号を基に、Ｘ軸回転用バルブＶｘを開閉制御することで、第１のＸ軸噴出口Ｘ１及び第２のＸ軸噴出口Ｘ２が噴出する培養液の噴出速度及び噴出量を制御する。マイクロ流路制御部３０４０２は、回転制御部３２２８からの制御信号を基にＹ軸回転用バルブＶｙを開閉制御することで、第１のＹ軸噴出口Ｙ１及び第２のＹ軸噴出口Ｙ２が噴出する培養液の噴出速度及び噴出量を制御する。マイクロ流路制御部３０４０２は、回転制御部３２２８からの制御信号を基にＺ軸回転用バルブＶｚを開閉制御することで、第１のＺ軸噴出口Ｚ１及び第２のＺ軸噴出口Ｚ２が噴出する培養液の噴出速度及び噴出量を制御する。
　以上のように、培養容器の収容部の培養液に流体を噴出（注入）することで、収容部内の培養液に流れを発生させて、受精卵１６を回転させてもよい。
（第６の実施形態）
　次に、第６の実施形態として、上述の各実施形態における観察システムとは異なる構成の観察システムについて説明する。尚、観察システムの構成はこれらに限定されるものではない。
　上述の実施形態において、受精卵を観察する観察装置２１には内部に培養容器１とカメラ２５が設置され、情報処理装置２２は観察装置２１の外に設置されているが、これに限定されない。例えば、図２８に示すように、観察装置５０２１内に、情報処理装置５０２２を設置してもよい。
　図２８は、第６の実施形態に係る観察システム５００２の構成を示す。図２８に示すように、観察システム５００２は観察装置５０２１を有し、観察装置５０２１はネットワークを介してクラウドサーバ５０３７と接続可能となっている。更に、表示装置となる携帯端末５０３８及びパソコン５０３９はそれぞれネットワークを介してクラウドサーバ５０３７と接続可能となっている。観察装置５０２１内には、カメラ・情報処理装置一体型ユニット５０３２と、温度・湿度・ガス制御部５０３６とが設置され、培養容器１が収容される。
　カメラ・情報処理装置一体型ユニット５０３２は、撮像部としてのカメラ５０２５と、観察照明装置５０２４と、情報処理装置５０２２と、通信部５０２３とを有する。本実施形態では、受精卵１６に照射する光の観察照明装置５０２４を培養容器１の下部ではなく上部に配置している。
　観察照明装置５０２４は、培養容器１内の受精卵１６をカメラ５０２５により撮像する際に、培養容器１に対して照射する光を発する。カメラ５０２５は、培養容器１内の受精卵１６を撮像するものである。
　情報処理装置５０２２には、上述の各実施形態に記載する情報処理装置が適用可能である。情報処理装置５０２２は、各成長段階の受精卵１６の画像を取得し、更に、完全胚盤胞以降の成長段階の受精卵１６に対しては、例えば受精卵１６を回転させた状態で受精卵１６を撮像することにより複数の角度から撮像した受精卵１６の画像を取得する。情報処理装置５０２２は、通信部５０２３及びネットワークを介して、クラウドサーバ５０３７に受精卵１６の画像、この画像に対応づけられた、受精卵１６が収容されている収容部の位置情報、撮像日時、撮像条件、受精卵の第２の特徴量、成長ステージコード、観察方向分類コード等のデータ信号（以下、受精卵１６に係るデータ信号と称す。）を出力する。
　温度・湿度・ガス制御部５０３６は、観察装置５０２１内の温度・湿度・ガスを制御するものであり、受精卵１６の培養に適した環境をつくる。
　通信部５０２３は、受精卵１６に係るデータ信号を情報処理装置５０２２から受け取り、ネットワークを介してクラウドサーバ５０３７に対して出力する。
　クラウドサーバ５０３７は、受精卵１６に係るデータ信号を記憶する。表示部５０３９aと情報処理部５０３９ｂとからなるパソコン５０３９、携帯端末５０３８は、それらを操作するユーザの操作によって、ネットワークを介してクラウドサーバ５０３７から受精卵１６に係るデータ信号を受け取り表示する。
　以上、本技術の各実施形態について説明したが、本技術は上述の実施形態にのみ限定されるものではなく、本技術の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。
　なお、本技術は以下のような構成もとることができる。
（１）　比較用の細胞を回転させ撮像して得られた複数の第１の画像を予め保存する記憶部と、
　評価対象の細胞を回転させ撮像して得られた複数の第２の画像を取得する画像取得部と、
　前記第１の画像と前記第２の画像との比較結果を基に前記評価対象の細胞を評価する評価部と
　を具備する情報処理装置。
（２）　前記（１）に記載の情報処理装置であって、
　前記評価部は、前記第１の画像より抽出された第１の特徴量と前記第２の画像より抽出された第２の特徴量との比較結果を基に前記評価対象の細胞を評価する
　情報処理装置。
（３）　前記（１）又は（２）に記載の情報処理装置であって、
　前記記憶部には、前記第１の画像に対応づけられた前記第１の画像に対する評価結果が保存され、
　前記第１の画像と前記第２の画像とを比較し、前記第１の画像と前記第２の画像とが一致するか否かを判定する判定部と、
　前記判定部により前記第１の画像と前記第２の画像とが一致すると判定されたときに、前記第２の画像に一致すると判定された前記第１の画像に対応づけられた前記評価結果を前記第２の画像に付与する付与部と
　を更に具備し、
　前記評価部は、複数の前記第２の画像それぞれに付与された評価結果のうち最も多く付与された評価結果を、前記評価対象の細胞に対する評価とする
　情報処理装置。
（４）　前記（３）に記載の情報処理装置であって、
　複数の前記第２の画像それぞれに付与された評価結果のうち最も多く付与された評価結果が占める割合を算出する算出部と、
　前記算出部により算出された前記割合の数値が安定したか否かを判定し、前記割合の数値が安定したと判定するまで前記第１の画像と前記第２の画像の比較を行うよう前記判定部を制御する判定制御部と
　を更に具備する
　情報処理装置。
（５）　前記（４）に記載の情報処理装置であって、
　前記細胞を回転させる回転機構を制御する回転制御部
　を更に具備する情報処理装置。
（６）　前記（５）に記載の情報処理装置であって、
　前記回転制御部は、前記判定制御部により前記割合の数値が安定したと判定されると、前記評価対象の細胞を回転させるよう前記回転機構を制御する
　情報処理装置。
（７）　前記（１）から（６）いずれか１つに記載の情報処理装置であって、
　前記評価部は、前記評価対象の細胞の成長段階を評価する
　情報処理装置。
（８）　前記（１）から（７）いずれか１つに記載の情報処理装置であって、
　前記評価部は、前記評価対象の細胞の品質を評価する
　情報処理装置。
（９）　細胞が収容された収容部を複数有する培養容器と、
　前記細胞を撮像する撮像部と、
　前記撮像部で撮像された前記細胞の画像を取得する画像取得部と、
　前記細胞を前記収容部内で回転させる回転機構と、
　前記回転機構により回転させた比較用の前記細胞を前記撮像部により撮像して取得した第１の画像を予め保存する記憶部と、
　前記回転機構により回転させた評価対象の前記細胞を前記撮像部により撮像し得られた複数の第２の画像を取得する画像取得部と、
　前記第１の画像と前記第２の画像との比較結果を基に前記評価対象の細胞を評価する評価部と
　を具備する情報処理システム。
（１０）　評価対象の細胞を回転させ撮像して複数の第２の画像を取得し、
　比較用の細胞を回転させ撮像して予め取得した複数の第１の画像と、前記第２の画像を比較し、
　前記比較結果を基に前記評価対象の細胞を評価する
　情報処理方法。
（１１）　評価対象の細胞を回転させ撮像して複数の第２の画像を取得するステップと、
　比較用の細胞を回転させ撮像して予め取得した複数の第１の画像と、前記第２の画像を比較するステップと、
　前記比較結果を基に前記評価対象の細胞を評価するステップと
　をコンピュータに実行させるプログラム。
１、３０４０…培養容器
２、１００２、２００２、３００２、５００２…観察システム（情報処理システム）
１５、３０１５…収容部
１６…受精卵（細胞）
２２、１０２２、２０２２、３０２２、５０２２…情報処理装置
２５、５０２５…カメラ（撮像部）
２２２…画像取得部
２２３…評価部
２２４…記憶部
２２４１…学習用データベース
２２４２…解析結果のデータベース
２２７…算出部
２２８、２２２８、３２２８…回転制御部
２２９、１２２９、２２２９…判定制御部
２３１…判定部
３４０…回転装置（回転機構）
３０４０１…回転部（回転機構）

Claims (11)

  1. 　比較用の細胞を回転させ撮像して得られた複数の第１の画像を予め保存する記憶部と、
    　評価対象の細胞を回転させ撮像して得られた複数の第２の画像を取得する画像取得部と、
    　前記第１の画像と前記第２の画像との比較結果を基に前記評価対象の細胞を評価する評価部と
    　を具備する情報処理装置。
  2. 　請求項１に記載の情報処理装置であって、
    　前記評価部は、前記第１の画像より抽出された第１の特徴量と前記第２の画像より抽出された第２の特徴量との比較結果を基に前記評価対象の細胞を評価する
    　情報処理装置。
  3. 　請求項２に記載の情報処理装置であって、
    　前記記憶部には、前記第１の画像に対応づけられた前記第１の画像に対する評価結果が保存され、
    　前記第１の画像と前記第２の画像とを比較し、前記第１の画像と前記第２の画像とが一致するか否かを判定する判定部と、
    　前記判定部により前記第１の画像と前記第２の画像とが一致すると判定されたときに、前記第２の画像に一致すると判定された前記第１の画像に対応づけられた前記評価結果を前記第２の画像に付与する付与部と
    　を更に具備し、
    　前記評価部は、複数の前記第２の画像それぞれに付与された評価結果のうち最も多く付与された評価結果を、前記評価対象の細胞に対する評価とする
    　情報処理装置。
  4. 　請求項３に記載の情報処理装置であって、
    　複数の前記第２の画像それぞれに付与された評価結果のうち最も多く付与された評価結果が占める割合を算出する算出部と、
    　前記算出部により算出された前記割合の数値が安定したか否かを判定し、前記割合の数値が安定したと判定するまで前記第１の画像と前記第２の画像の比較を行うよう前記判定部を制御する判定制御部と
    　を更に具備する
    　情報処理装置。
  5. 　請求項４に記載の情報処理装置であって、
    　前記細胞を回転させる回転機構を制御する回転制御部
    　を更に具備する情報処理装置。
  6. 　請求項５に記載の情報処理装置であって、
    　前記回転制御部は、前記判定制御部により前記割合の数値が安定したと判定されると、前記評価対象の細胞を回転させるよう前記回転機構を制御する
    　情報処理装置。
  7. 　請求項６に記載の情報処理装置であって、
    　前記評価部は、前記評価対象の細胞の成長段階を評価する
    　情報処理装置。
  8. 　請求項７に記載の情報処理装置であって、
    　前記評価部は、前記評価対象の細胞の品質を評価する
    　情報処理装置。
  9. 　細胞が収容された収容部を複数有する培養容器と、
    　前記細胞を撮像する撮像部と、
    　前記撮像部で撮像された前記細胞の画像を取得する画像取得部と、
    　前記細胞を前記収容部内で回転させる回転機構と、
    　前記回転機構により回転させた比較用の前記細胞を前記撮像部により撮像して取得した第１の画像を予め保存する記憶部と、
    　前記回転機構により回転させた評価対象の前記細胞を前記撮像部により撮像し得られた複数の第２の画像を取得する画像取得部と、
    　前記第１の画像と前記第２の画像との比較結果を基に前記評価対象の細胞を評価する評価部と
    　を具備する情報処理システム。
  10. 　評価対象の細胞を回転させ撮像して複数の第２の画像を取得し、
    　比較用の細胞を回転させ撮像して予め取得した複数の第１の画像と、前記第２の画像を比較し、
    　前記比較結果を基に前記評価対象の細胞を評価する
    　情報処理方法。
  11. 　評価対象の細胞を回転させ撮像して複数の第２の画像を取得するステップと、
    　比較用の細胞を回転させ撮像して予め取得した複数の第１の画像と、前記第２の画像を比較するステップと、
    　前記比較結果を基に前記評価対象の細胞を評価するステップと
    　をコンピュータに実行させるプログラム。
PCT/JP2018/017004 2017-06-13 2018-04-26 情報処理装置、情報処理システム、情報処理方法及びプログラム WO2018230178A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP18816577.3A EP3640319A4 (en) 2017-06-13 2018-04-26 INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING SYSTEM, INFORMATION PROCESSING PROCESS AND PROGRAM
BR112019025849-3A BR112019025849A2 (pt) 2017-06-13 2018-04-26 aparelho, sistema e método de processamento de informação, e, programa.
JP2019525186A JP7215416B2 (ja) 2017-06-13 2018-04-26 情報処理装置、情報処理システム、情報処理方法及びプログラム
US16/619,988 US20200110922A1 (en) 2017-06-13 2018-04-26 Information processing apparatus, information processing system, information processing method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017115759 2017-06-13
JP2017-115759 2017-06-13

Publications (1)

Publication Number Publication Date
WO2018230178A1 true WO2018230178A1 (ja) 2018-12-20

Family

ID=64659657

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/017004 WO2018230178A1 (ja) 2017-06-13 2018-04-26 情報処理装置、情報処理システム、情報処理方法及びプログラム

Country Status (5)

Country Link
US (1) US20200110922A1 (ja)
EP (1) EP3640319A4 (ja)
JP (1) JP7215416B2 (ja)
BR (1) BR112019025849A2 (ja)
WO (1) WO2018230178A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021132185A1 (en) * 2019-12-24 2021-07-01 Nihon Kohden Corporation Cell culture evaluation system

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7296878B2 (ja) * 2017-06-26 2023-06-23 株式会社エビデント 細胞観察システム
JP6928653B2 (ja) 2017-06-26 2021-09-01 オリンパス株式会社 細胞観察システム
CN116416249B (zh) * 2023-06-08 2023-09-05 张家港市民华塑胶有限公司 一种人造运动草丝的质量检测评估方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010181402A (ja) * 2009-01-09 2010-08-19 Dainippon Printing Co Ltd 受精卵品質評価支援システム、受精卵品質評価支援装置および受精卵品質評価支援方法
JP2011192109A (ja) 2010-03-16 2011-09-29 Dainippon Printing Co Ltd 画像処理装置、画像処理方法、プログラムおよび記憶媒体
JP2013502233A (ja) * 2009-08-22 2013-01-24 ザ ボード オブ トラスティーズ オブ ザ リーランド スタンフォード ジュニア ユニバーシティ 胚、卵母細胞、および幹細胞の撮像および評価
JP2013243968A (ja) * 2012-05-25 2013-12-09 Nagoya Univ 細胞操作装置
JP2015022042A (ja) * 2013-07-17 2015-02-02 国立大学法人 東京大学 単一細胞を解析するための顕微鏡システム、単一細胞の解析方法及び解析用キット
JP2017092730A (ja) * 2015-11-11 2017-05-25 ソニー株式会社 情報処理装置、情報処理方法、プログラム及び情報処理システム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020068358A1 (en) * 1998-04-28 2002-06-06 Campbell Michael J. In vitro embryo culture device
WO2010151221A1 (en) * 2009-06-25 2010-12-29 Phase Holographic Imaging Phi Ab Analysis of ova or embryos with digital holographic imaging
JP6303347B2 (ja) * 2013-09-11 2018-04-04 大日本印刷株式会社 検体画像管理システム及び検体画像管理プログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010181402A (ja) * 2009-01-09 2010-08-19 Dainippon Printing Co Ltd 受精卵品質評価支援システム、受精卵品質評価支援装置および受精卵品質評価支援方法
JP2013502233A (ja) * 2009-08-22 2013-01-24 ザ ボード オブ トラスティーズ オブ ザ リーランド スタンフォード ジュニア ユニバーシティ 胚、卵母細胞、および幹細胞の撮像および評価
JP2011192109A (ja) 2010-03-16 2011-09-29 Dainippon Printing Co Ltd 画像処理装置、画像処理方法、プログラムおよび記憶媒体
JP2013243968A (ja) * 2012-05-25 2013-12-09 Nagoya Univ 細胞操作装置
JP2015022042A (ja) * 2013-07-17 2015-02-02 国立大学法人 東京大学 単一細胞を解析するための顕微鏡システム、単一細胞の解析方法及び解析用キット
JP2017092730A (ja) * 2015-11-11 2017-05-25 ソニー株式会社 情報処理装置、情報処理方法、プログラム及び情報処理システム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
See also references of EP3640319A4
TESHIMA, T. ET AL.: "High-Resolution Vertical Observation of Intracellular Structure Using Magnetically Responsive Microplates", SMALL, vol. 12, no. 25, 12 July 2016 (2016-07-12), pages 3366 - 3373, XP055561290, Retrieved from the Internet <URL:https://doi.org/10.1002/smll.201600339> *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021132185A1 (en) * 2019-12-24 2021-07-01 Nihon Kohden Corporation Cell culture evaluation system
JP2021100401A (ja) * 2019-12-24 2021-07-08 日本光電工業株式会社 細胞培養評価システム

Also Published As

Publication number Publication date
US20200110922A1 (en) 2020-04-09
EP3640319A4 (en) 2020-06-03
EP3640319A1 (en) 2020-04-22
BR112019025849A2 (pt) 2020-07-07
JP7215416B2 (ja) 2023-01-31
JPWO2018230178A1 (ja) 2020-04-16

Similar Documents

Publication Publication Date Title
WO2018230178A1 (ja) 情報処理装置、情報処理システム、情報処理方法及びプログラム
US9482659B2 (en) Apparatus, method, and system for the automated imaging and evaluation of embryos, oocytes and stem cells
WO2018100917A1 (ja) 情報処理装置、観察システム、情報処理方法及びプログラム
EP2995676A1 (en) Device for analyzing cells and monitoring cell culturing and method for analyzing cells and monitoring cell culturing using same
JP2022188054A (ja) 生物学的試料を動的に培養するための方法および装置
AU2017287141B2 (en) Image acquisition method, image acquisition device, program and culture container
JP6977293B2 (ja) 情報処理装置、情報処理方法、プログラム及び観察システム
JPWO2019082617A1 (ja) 情報処理装置、情報処理方法、プログラム及び観察システム
JP7001060B2 (ja) 情報処理装置、情報処理方法及び情報処理システム
EP3144379A1 (en) Culture observation apparatus
WO2009039433A1 (en) Analytical microfluidic culture system
JPWO2018179971A1 (ja) 情報処理装置、情報処理方法、プログラム及び観察システム
EP1588160A2 (en) Method and apparatus for following cells
US11334988B2 (en) Information processing apparatus, information processing method, program, and observation system for cell image capture
JP2024503530A (ja) インキュベータ及び方法
EP3553497A1 (en) Information processing device, information processing method and information processing system
US20170146460A1 (en) Controlled environment observation device
TWI579588B (zh) 顯微鏡監控裝置及其系統
KR101772151B1 (ko) 타임랩스 세포배양기
EP3739036B1 (en) Biological subject transfer device
JP2023108459A (ja) 処理装置および処理方法
CN111763624A (zh) 一种高内涵细胞观测培养装置
Fischer Retro Reproduction: An old imaging technology rewrites the rules of modern embryology
JP2019141090A (ja) 胚選抜システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18816577

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019525186

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112019025849

Country of ref document: BR

ENP Entry into the national phase

Ref document number: 2018816577

Country of ref document: EP

Effective date: 20200113

ENP Entry into the national phase

Ref document number: 112019025849

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20191206