WO2021177142A1 - 生殖補助医療を支援するための、システム、情報処理装置、サーバ、端末、プログラム、又は方法 - Google Patents

生殖補助医療を支援するための、システム、情報処理装置、サーバ、端末、プログラム、又は方法 Download PDF

Info

Publication number
WO2021177142A1
WO2021177142A1 PCT/JP2021/007196 JP2021007196W WO2021177142A1 WO 2021177142 A1 WO2021177142 A1 WO 2021177142A1 JP 2021007196 W JP2021007196 W JP 2021007196W WO 2021177142 A1 WO2021177142 A1 WO 2021177142A1
Authority
WO
WIPO (PCT)
Prior art keywords
fertilized egg
information
image
machine learning
male
Prior art date
Application number
PCT/JP2021/007196
Other languages
English (en)
French (fr)
Inventor
功 宮塚
マイ アン リー
慶 清水
Original Assignee
ネクスジェン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ネクスジェン株式会社 filed Critical ネクスジェン株式会社
Priority to JP2022505160A priority Critical patent/JPWO2021177142A1/ja
Publication of WO2021177142A1 publication Critical patent/WO2021177142A1/ja

Links

Images

Classifications

    • CCHEMISTRY; METALLURGY
    • C12BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12MAPPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M1/00Apparatus for enzymology or microbiology
    • C12M1/34Measuring or testing with condition measuring or sensing means, e.g. colony counters
    • CCHEMISTRY; METALLURGY
    • C12BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12QMEASURING OR TESTING PROCESSES INVOLVING ENZYMES, NUCLEIC ACIDS OR MICROORGANISMS; COMPOSITIONS OR TEST PAPERS THEREFOR; PROCESSES OF PREPARING SUCH COMPOSITIONS; CONDITION-RESPONSIVE CONTROL IN MICROBIOLOGICAL OR ENZYMOLOGICAL PROCESSES
    • C12Q1/00Measuring or testing processes involving enzymes, nucleic acids or microorganisms; Compositions therefor; Processes of preparing such compositions
    • C12Q1/02Measuring or testing processes involving enzymes, nucleic acids or microorganisms; Compositions therefor; Processes of preparing such compositions involving viable microorganisms
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning

Definitions

  • the technology disclosed in this application relates to systems, devices, servers, terminals, programs, and methods.
  • Patent Document 1 Japanese Patent Application Laid-Open No. 2010-181402
  • Patent Document 2 Japanese Patent Application Laid-Open No. 2002-230518
  • the first system is The acquisition department that acquires information related to the target fertilized egg, The relationship between the information related to the image of the fertilized egg, the information related to the male and / or female related to the fertilized egg, the information measured about the fertilized egg, and the information related to the growth based on the fertilized egg.
  • Machine learning department including machine learning device that has been machine-learned, A generation unit that applies the acquired information related to the target fertilized egg to a machine learning device in the machine learning unit to generate information related to growth corresponding to the target fertilized egg, and a generation unit.
  • the second system is The information measured for the fertilized egg includes information measured at the time of egg collection of the fertilized egg and / or information measured at the time of transplantation of the fertilized egg.
  • the machine learning unit includes functions related to deep learning. The first system.
  • the third system is The information relating to the male and / or female includes information relating to the blood test value of the female, information relating to the hormone level of the female, and / or information relating to the sperm of the male.
  • First or second system the information relating to male sperm may include motile sperm count, immobile sperm count, sperm concentration, linear velocity, curved velocity, head amplitude, and / or head frequency and the like.
  • the fourth system is The information related to the captured image related to the target fertilized egg and the information related to the growth corresponding to the target fertilized egg are stored in association with each other. Any one of the first to third systems.
  • the fifth system is The information on the male and / or female related to the target fertilized egg and the information on the male and / or female having a pregnancy and birth probability of fetal sac formation with a heart rate higher than a predetermined value are stored in association with each other. do, Any one of the first to fourth systems.
  • the sixth system is A transmission unit for transmitting the associated and stored information to the information processing device so that the information can be displayed on a display in the information processing device is provided. Any one of the 4th or 5th system.
  • the seventh system is Each of the plurality of images captured for the target fertilized egg is stored in association with a predetermined event determined for the image and / or the elapsed time for which the image was captured. Any one of the first to sixth systems.
  • the eighth system is The relationship between the number of cells due to cell division of the target fertilized egg and the elapsed time at the time of such cell division in each of the plurality of images captured for the target fertilized egg can be displayed on the display in the information processing apparatus.
  • the information processing apparatus is provided with a transmission unit that transmits information relating the number of cells to the elapsed time. Any one of the first to seventh systems.
  • the ninth system is The growth information includes the possibility of pregnancy, the possibility of giving birth, the information on biological test values, and / or the possibility of chromosomal abnormalities, which are fetal sac formation with heart rate. Any one of the first to eighth systems.
  • the tenth system is The information relating to the target fertilized egg includes information relating to an image obtained by imaging the target fertilized egg, information relating to a man and / or a woman relating to the target fertilized egg, and information measured regarding the target fertilized egg. include, Any one of the first to ninth systems.
  • the eleventh system is Acquisition unit of information related to the image of the fertilized egg, information related to the male and / or female related to the fertilized egg, information measured about the fertilized egg, and information related to growth based on the fertilized egg.
  • the machine learning department that machine-learns the relationship between A generator that generates weights related to machine learning obtained by the machine learning, A transmission unit that transmits the generated weight to another information processing device, and A system according to any one of 1 to 10.
  • the twelfth system is The relationship between the information related to the image of the fertilized egg, the information related to the male and / or female related to the fertilized egg, the information measured about the fertilized egg, and the information related to the growth based on the fertilized egg.
  • the acquisition unit that acquires the first weight generated by the first machine learning unit that performs machine learning, and the acquisition unit.
  • a generation unit that integrates the first weight and the second weight to generate a third weight that can be used by the first machine learning unit and the second machine learning unit.
  • the thirteenth method is The computer Acquisition step to acquire information related to the target fertilized egg, The acquired information on the target fertilized egg, information on an image of the fertilized egg, information on a man and / or a woman related to the fertilized egg, information measured on the fertilized egg, and the fertilized egg.
  • the 14th program is Computer, Acquisition method for acquiring information related to the target fertilized egg, The acquired information on the target fertilized egg, information on an image of the fertilized egg, information on a man and / or a woman related to the fertilized egg, information measured on the fertilized egg, and the fertilized egg.
  • a generation means for generating information related to growth corresponding to the target fertilized egg by applying the relationship with the information related to growth based on the above to the machine learning unit that has already been machine-learned.
  • a program that operates as.
  • the fifteenth system is The information relating to the target fertilized egg includes a time-lapse image group and includes.
  • the time-lapse image group includes images in which tSC, tSB, and tB morphologies are captured.
  • the images in which the tSC, tSB, and tB morphologies are captured are identified by applying a machine-learned model to the relationship between the image and the growth time corresponding to the image. Any one of the first to ten systems.
  • the sixteenth system is The information relating to the image of the fertilized egg includes the area of the pronucleus of both sexes. For the area of the male and female pronucleus region, a machine-learned model is applied to the relationship between the image of the fertilized egg and the image in which the male and female pronucleus region is identified by a predetermined method in the image of the fertilized egg. Is used and calculated, The system of any one of the first to tenth and fifteenth.
  • the seventeenth system is The information relating to the image obtained by capturing the fertilized egg includes an image including male and female pronuclei.
  • a machine-learned model in which the relationship between the image and the male-female pronucleus region in the image is machine-learned is applied to the image including the male-female pronucleus, and the predicted reliability score related to the machine-learned model is used. Identified by The system of any one of the first to tenth, fifteenth, and sixteenth.
  • the eighteenth program according to one aspect of the present invention is A program that operates a computer as any one of the first to tenth and fifteenth to seventeenth systems.
  • FIG. 1 is a block diagram showing a configuration example of an information processing device according to an embodiment of the present invention.
  • FIG. 2 is a block diagram showing a configuration example of a system according to an embodiment of the present invention.
  • FIG. 3 is a block diagram showing a configuration example of a system according to an embodiment of the present invention.
  • FIG. 4A is a block diagram showing a configuration example of a system according to an embodiment of the present invention.
  • FIG. 4B is a block diagram showing a configuration example of a system according to an embodiment of the present invention.
  • FIG. 5 is a block diagram showing a configuration example of a system according to an embodiment of the present invention.
  • FIG. 6 is a block diagram showing a functional example of the system according to the embodiment of the present invention.
  • FIG. 1 is a block diagram showing a configuration example of an information processing device according to an embodiment of the present invention.
  • FIG. 2 is a block diagram showing a configuration example of a system according to an embodiment of the present invention.
  • FIG. 7 is an example of machine learning parameters of the system according to the embodiment of the present invention.
  • FIG. 8 is an example of machine learning parameters of the system according to the embodiment of the present invention.
  • FIG. 9 is an example of machine learning parameters of the system according to the embodiment of the present invention.
  • FIG. 10 is an example of machine learning parameters of the system according to the embodiment of the present invention.
  • FIG. 11 is an example of machine learning parameters of the system according to the embodiment of the present invention.
  • FIG. 12 is a block diagram showing a configuration example of a system according to an embodiment of the present invention.
  • FIG. 13 is a block diagram showing a configuration example of a system according to an embodiment of the present invention.
  • FIG. 14 is a screen example of the system according to the embodiment of the present invention.
  • FIG. 15 is a screen example of the system according to the embodiment of the present invention.
  • FIG. 16 is a screen example of the system according to the embodiment of the present invention.
  • FIG. 17 is a screen example of the system according to the embodiment of the present invention.
  • FIG. 18 is a screen example of the system according to the embodiment of the present invention.
  • FIG. 19 is a screen example of the system according to the embodiment of the present invention.
  • FIG. 20 is a screen example of the system according to the embodiment of the present invention.
  • FIG. 21 is a screen example of the system according to the embodiment of the present invention.
  • FIG. 22 is a screen example of the system according to the embodiment of the present invention.
  • FIG. 23 is a screen example of the system according to the embodiment of the present invention.
  • FIG. 24 is a screen example of the system according to the embodiment of the present invention.
  • FIG. 25 is a screen example of the system according to the embodiment of the present invention.
  • FIG. 26 is a screen example of the system according to the embodiment of the present invention.
  • FIG. 27 is a screen example of the system according to the embodiment of the present invention.
  • FIG. 28 is a screen example of the system according to the embodiment of the present invention.
  • FIG. 29 is a screen example of the system according to the embodiment of the present invention.
  • FIG. 30 is a screen example of the system according to the embodiment of the present invention.
  • FIG. 31 is a screen example of the system according to the embodiment of the present invention.
  • FIG. 32 is a screen example of the system according to the embodiment of the present invention.
  • FIG. 33 is a screen example of the system according to the embodiment of the present invention.
  • FIG. 34 is a screen example of the system according to the embodiment of the present invention.
  • FIG. 35 is a screen example of the system according to the embodiment of the present invention.
  • FIG. 36 is a screen example of the system according to the embodiment of the present invention.
  • FIG. 37 is a screen example of the system according to the embodiment of the present invention.
  • FIG. 38 is a screen example of the system according to the embodiment of the present invention.
  • FIG. 39 is a screen example of the system according to the embodiment of the present invention.
  • FIG. 40 is a screen example of the system according to the embodiment of the present invention.
  • FIG. 41 is an explanatory example of a region containing male and female pronuclei in the system according to the embodiment of the present invention.
  • FIG. 1 shows the configuration of the information processing device 10, and the information processing device 10 can include a bus 11, a calculation unit 12, and a storage unit 13. Further, it may have an input unit 14, a display unit 15, and a communication IF 16.
  • the system of one embodiment according to the present invention may be composed of one or a plurality of information processing devices 10.
  • the bus 11 has a function of transmitting information between the calculation unit 12 and the storage unit 13. It may have a function of transmitting information between the input unit 14, the display unit 15, and the communication IF 16.
  • the arithmetic unit 12 includes, for example, a processor. This may be a CPU or an MPU. In short, the arithmetic unit 12 may have a function of executing a program instruction. Further, the arithmetic unit 12 that executes the function of the machine learning unit may be a processing device suitable for machine learning, and the arithmetic unit 12 that executes database management and other management functions has a normal arithmetic function. good.
  • the storage unit 13 has a function of recording information. This may be either an external memory or an internal memory, and may be either a main storage device or an auxiliary storage device. Further, a magnetic disk (hard disk), an optical disk, a magnetic tape, a semiconductor memory, or the like may be used. Further, a storage device via a network, a storage device on the cloud, or the like may be used. In the schematic diagram of FIG. 1, a register, an L1 cache, an L2 cache, etc., which store information at a position close to the arithmetic unit, may be included in the arithmetic unit 12 at a point not via a bus. In the design of the computer architecture, the storage unit 13 may include these as a device for recording information.
  • the storage unit 13, and the bus 11 can cooperate with each other to execute information processing. Further, the above describes the case where the arithmetic unit 12 is executed based on the program provided in the storage unit 13, but it is one of the forms in which the bus 11, the arithmetic unit 12 and the storage unit 13 are combined.
  • the information processing related to the system may be realized by a programmable logic device capable of changing the hardware circuit itself or a dedicated circuit in which the information processing to be executed is determined.
  • the input unit 14 has a function of inputting information. Instruction devices such as a mouse, a touch panel, and a pen-type instruction device can be mentioned.
  • the display unit 15 has, for example, a display. Further, a liquid crystal display, a plasma display, an organic EL display, or the like may be used. In short, any device that can display information is sufficient. Further, the input unit 14 may be partially provided like a touch panel.
  • Configuration example 2 of FIG. 2 is a configuration in which the server 202 and the database 203 can be connected via a network.
  • the system of one embodiment according to the present invention may be composed of a plurality of information processing devices according to the configuration example 2, a part of the information processing devices, or one of the information processing devices.
  • the user terminal 01 is configured to be able to connect to the server 202.
  • the administrator terminal 02 is configured to be able to connect to the server 2-2.
  • the user terminal 01 illustrates two examples of the user terminal 01a and the user terminal 01b, but may be one or more user terminals. The number of user terminals is the same in each of the following configuration examples.
  • the administrator terminal may also have two or more configurations.
  • Each user terminal may have the function of the information processing device 10, or may have a configuration lacking a part thereof.
  • the administrator terminal may also have the function of the information processing device 10, or may have a configuration lacking a part thereof.
  • the server 202 which is the system of this example, may have a function similar to that of the information processing device 10, or may have a configuration lacking a part thereof, or may have a function of a part thereof. May be enhanced.
  • a storage device, an arithmetic unit, or the like may be configured to be capable of performing information processing related to machine learning.
  • the person who uses the administrator terminal may be referred to as an "administrator" in the documents of the present application, and the person who uses the user terminal may be referred to as a "user” or a “medical person”.
  • the server may have an acquisition unit, a machine learning unit, a control unit, and / or a storage unit, which will be described later.
  • the server may also have a collaborative machine learning unit.
  • the database may store the data used by the server. For example, in the case of machine learning, information used in such machine learning, for example, information used to show a relationship between an input and an output may be stored. More specifically, when the server performs machine learning, the database measures information on the image of the fertilized egg, information on the male and / or female on the fertilized egg, and the fertilized egg. It may have information indicating the relationship between the above-mentioned information and the information related to the growth based on the fertilized egg.
  • Configuration example 3 in FIG. 3 is a configuration example in which the server 302 is on the cloud.
  • the system of one embodiment according to the present invention may be composed of a plurality of information processing devices according to the configuration example 3, a part of the information processing devices, or one of the information processing devices.
  • Database 303 is also a configuration example on the cloud.
  • the server 302 and the database 303 may use the same cloud or different clouds.
  • the user terminal 01 may be configured to be able to connect to the server 302 via a network.
  • the server 302 may be configured to be able to connect to the database 303.
  • the administrator terminal 02 may be configured to be able to connect to the server. Others may be the same as in Configuration Example 2.
  • Configuration example 4A of FIG. 4A is an example in which a machine learning unit is provided for each user terminal 01a and 01b based on configuration example 2.
  • the system of one embodiment according to the present invention may be composed of a plurality of information processing devices according to the configuration example 4A, a part of the information processing devices, or one of the information processing devices.
  • the machine learning unit 404a can be connected to the user terminal 01a, and the machine learning unit 404b can be connected to the user terminal 01b.
  • the server 402 may have a machine learning unit, a cooperative machine learning unit, or both.
  • the machine learning unit 404 is a configuration example on the cloud.
  • the system of one embodiment according to the present invention may be composed of a plurality of information processing devices according to the configuration example 4B, a part of the information processing devices, or one of the information processing devices.
  • the user terminal 01a can be connected to the machine learning unit 404, and the user terminal 01b can be connected to the machine learning unit 404.
  • Other configurations may be the same as those of the configuration example 4 (A).
  • Configuration example 5 of FIG. 5 is a configuration example in which the server 502 and the database 503 are on the cloud in the configuration example 4B.
  • the system of one embodiment according to the present invention may be composed of a plurality of information processing devices according to the configuration example 5, a part of the information processing devices, or one of the information processing devices.
  • the server 502 may have a collaborative machine learning unit.
  • the cooperative machine learning unit may be connectable to one or more machine learning units 504.
  • the acquisition unit has a function of acquiring information.
  • the acquisition unit may have a function of acquiring information used by the machine learning unit. Further, the acquisition unit may have a function of acquiring information used by the cooperative machine learning unit.
  • the information acquired by the acquisition unit may include an image of the fertilized egg, male information related to the fertilized egg, and female information related to the fertilized egg.
  • the acquisition means may be in various forms. For example, in the information processing device provided with the acquisition unit, information may be acquired from the storage unit, or information may be acquired from another information processing device different from the information processing device provided with the acquisition unit via a network or the like. You may. Further, the acquisition timing may be various.
  • the machine learning unit includes a machine learning device having a function related to machine learning.
  • the machine learning device may have a machine learning function.
  • the machine learning function may be a function for machine learning the relationship between input and output.
  • the machine learning unit has information on images of fertilized eggs, information on men and / or women related to the fertilized eggs, information measured on the fertilized eggs, and information on growth based on the fertilized eggs. You may have a machine learner that has machine-learned the relationship between and.
  • the input may include information relating to an image obtained by capturing an image of the fertilized egg, information relating to a man and / or a woman relating to the fertilized egg, and information measured with respect to the fertilized egg.
  • the output may include information related to growth.
  • the information measured about the fertilized egg may include, as a subordinate concept, the information measured at the time of collecting the fertilized egg and / or the information measured at the time of transplanting the fertilized egg. Further, the information measured about the fertilized egg does not have to include the information related to the image obtained by capturing the fertilized egg.
  • the data to be machine-learned and / or the data applied to the machine-learned function not only the image about the fertilized egg but also the information about the male and / or the female related to the fertilized egg.
  • various causes of infertility for example, ovarian factors such as ovulation disorder and decreased ovarian reserve, uterine factors such as uterine myoma and intrauterine adhesion, male factors such as hypospermosis, and tubal blockage
  • Ovarian factors such as ovarian adhesions and tubal adhesions and predictors that will be discovered in future clinical studies
  • uterine factors such as implantation disorders due to abnormalities in the endometrium and the intrauterine environment may also be used for embryo selection. ..
  • fertilized eggs such as quality of fertilized eggs and chromosomal abnormalities such as non-disjunction of chromosomes during meiosis
  • chromosomal abnormalities such as non-disjunction of chromosomes during meiosis
  • the factor there is a possibility that it can be used for embryo selection as a factor by utilizing the image of the fertilized egg.
  • the machine learning device may have a machine-learned function.
  • the machine-learned function relates to information related to an image obtained by capturing an image of a fertilized egg, information related to a man and / or a woman related to the fertilized egg, information measured about the fertilized egg, and growth based on the fertilized egg. It may be a learning of the relationship between information and.
  • a machine learning device having a machine-learned function or a machine learning unit provided with such a machine learning device is a function of the information processing device itself or a program (that is, a function of the machine learning unit when executed on the information processing device).
  • the learned function may be introduced into a machine learning device capable of machine learning.
  • Such weights are transmitted via a network between a plurality of machine learning devices that adopt the same machine learning model, so that the result of machine learning in one machine learning device is completely machine-learned.
  • the same machine-learned function may be realized by using it as a weight.
  • Communication via such a network is performed by transmitting and copying data indicating weights between a plurality of machine learning devices adopting the same machine learning model by a general Internet or information communication means. It may be realized.
  • the machine learning unit may have a function of transmitting the weight in order to transmit the weight. Further, the weight may be generated by machine learning the relationship between the input and the output in the machine learning unit.
  • the weight may be one or more.
  • the weight has a function of being associated with information for identifying which layer in one machine learning device is a parameter and transmitted to the cooperative machine learning unit to be described later. You can do it.
  • a plurality of machine learning devices that adopt the same machine learning model may have the same program, or even if they are not the same program, weights indicating the same input-output relationship are applied. Anything that can be done will do.
  • FIG. 7 to 11 are examples of specific parameters, it is not always necessary to use all of them, and some of them may be used, or all of them may be used.
  • the machine learning unit is applied to the input in which some or all of the specific parameters shown in FIGS. 7 to 10 are used, and some or all of the specific parameters shown in FIG. 11 are output. It's okay.
  • the machine learning unit may be machine-learned using some or all of the specific parameters of FIGS. 7 to 11.
  • the above-mentioned machine learning may use various methods. For example, it may be a neural network using deep learning, a support vector machine, a Bayesian network, clustering, or the like.
  • the trained model in machine learning is for operating a computer and may be a program.
  • the machine learning unit may be provided with one or more machine learning devices.
  • the plurality of machine learning devices may all use the same machine learning method, or may use different machine learning methods.
  • the plurality of machine learning devices may be used by connecting the plurality of machine learning devices in parallel, in series, or in a combination thereof.
  • one input information may be the input of one or more machine learning devices.
  • Series may be to use the output of one machine learning device for the input of another machine learning device.
  • one machine learning function is applied to one specific specific parameter, and another machine learning function is applied to another specific specific parameter. good.
  • FIG. 12 is an example of using a plurality of machine learning devices.
  • the machine learning device has been machine-learned.
  • the input 120a and the input 120b are input to the machine learning device a121 and the machine learning device b122, respectively, their outputs 120d and 120e are input to the machine learning device c123, and the output 120c is output. ..
  • the input 120a and the input 120b may be input information for one or a plurality of parameters, respectively, and may or may not be duplicated for a part or all.
  • the outputs of the machine learning device a121 and the machine learning device b122 may be input to the machine learning device c123 as they are, or may be partially processed and input to the machine learning device c123. You may.
  • the input information 120a may be information related to an image obtained by capturing an image of a fertilized egg, for example, an image
  • the machine learning device a121 may be a neural network using deep learning.
  • the input information 12b may be information relating to a male and / or female relating to the fertilized egg and information measured about the fertilized egg
  • the machine learning device b122 may be a support vector machine or the like. However, it is not limited to the support vector machine, and other machine learning methods may be used.
  • the output 120c may be information related to growth based on the fertilized egg. With this configuration, by applying a machine learning device that matches the characteristics of each input using a neural network that uses deep learning specialized for images and a machine learning device that uses other information, more machines can be used. It has the advantage of improving the efficiency and accuracy of learning.
  • the machine learning unit may have a function of machine learning about embryos. Specifically, it may have a function capable of machine learning the relationship between the embryo image and the information related to the embryo image. In addition, it has a function that has been machine-learned about the relationship between the embryo image and the information related to the embryo image, and has a function that can generate information related to the embryo image for the embryo image obtained from the obtained embryo image. You can do it.
  • the function of the embryo in the machine learning unit will be described separately below.
  • the cooperative machine learning unit may have a function of managing weights in the machine learning unit. Such weights may be managed using those transmitted from the machine learning unit that has already been machine-learned. That is, the cooperative machine learning unit may have a function of generating weights in the cooperative machine learning unit by using the weights transmitted from one or more machine learning units. Such generated weights (sometimes referred to as "integrated weights" in the documents of the present application) may be transmitted to the machine learning unit.
  • FIG. 13 is an example showing the relationship between the collaborative machine learning unit and the machine learning unit.
  • the machine learning unit a131 and the machine learning unit b132 may be connectable to the cooperative machine learning unit 133, respectively. Further, the machine learning unit a, the machine learning unit b, and the cooperative machine learning unit may be connected via a network. Further, the machine learning unit a, the machine learning unit b, and the collaborative machine learning unit may be owned, used, and managed by different medical institutions.
  • the machine learning unit a performs machine learning using the data A.
  • the data A may be one or more data.
  • the machine learning unit a has already been machine-learned by machine learning, and the weight A can be generated in response to such machine learning.
  • the machine learning unit a may transmit the weight A to the cooperative machine learning unit.
  • the cooperative machine learning unit may transmit such a weight A or a processed product of the weight A so that it can be applied to the machine learning unit b to the machine learning unit b.
  • the machine learning unit b may apply the subsequent machine learning function by using the weight A or a processed weight A that can be applied to the machine learning unit b.
  • the machine learning unit b has an advantage that it is not necessary to perform learning in the machine learning unit a. That is, in the machine learning unit b, the function obtained by the learning by the machine learning unit a can be applied to the machine learning unit b or the weight A can be applied to the machine learning unit b without using the data used in the learning in the machine learning unit a. There is an advantage that can be obtained by transmitting what has been processed into. This is because when the data used by the machine learning unit a for machine learning includes personal information such as medical information, the machine learning unit a does not have to transmit the personal information to the collaborative machine learning unit. In the learning unit b, there is an advantage that machine learning can be performed.
  • the machine learning unit b may further perform machine learning in the machine learning unit b.
  • the machine learning unit b has already been machine-learned by machine learning, and the weight B can be generated in response to such machine learning.
  • the machine learning unit b may transmit the weight B to the cooperative machine learning unit.
  • the cooperative machine learning unit may transmit the weight B or a processed weight B applicable to the machine learning unit a to the machine learning unit a.
  • the machine learning unit a may apply the subsequent machine learning function by using the weight B or a processed weight B that can be applied to the machine learning unit a. In this case, the machine learning unit a has an advantage that it is not necessary to perform learning in the machine learning unit b.
  • the function obtained by the learning by the machine learning unit b can be applied to the machine learning unit a by applying the weight B or the weight B to the machine learning unit a without using the data used in the learning in the machine learning unit b.
  • the learning unit a there is an advantage that machine learning can be performed.
  • the cooperative machine learning unit processes the machine learning unit c so that the above-mentioned weight B or the weight B can be applied to the machine learning unit c. You may communicate.
  • the machine learning unit c does not perform the highly accurate functions machine-learned by the machine learning unit a and the machine learning b without processing these machine learning, even if the machine learning unit c does not perform machine learning at all.
  • personal information is included in medical information, there is an advantage that it can be realized without receiving such personal information.
  • the integrated machine learning unit may have a function of integrating each weight acquired from a plurality of machine learning units and generating weights that can be used in these a plurality of machine learning units.
  • a known technique may be used for the function itself of integrating the respective weights to generate the weights.
  • the system equipped with the integrated machine learning department The relationship between the information related to the image of the fertilized egg, the information related to the male and / or female related to the fertilized egg, the information measured about the fertilized egg, and the information related to the growth based on the fertilized egg.
  • An acquisition unit that acquires the first weight generated by the first machine learning unit that performs machine learning, The relationship between the information related to the image of the fertilized egg, the information related to the male and / or female related to the fertilized egg, the information measured about the fertilized egg, and the information related to the growth based on the fertilized egg.
  • the acquisition unit that acquires the second weight generated by the second machine learning unit that performs machine learning
  • a generation unit that integrates the first weight and the second weight to generate a third weight that can be used by the first machine learning unit and the second machine learning unit. It may be a system including.
  • Control unit has a function of supporting the function of the machine learning unit.
  • control unit may have other functions. Other functions may include, for example, a function of processing an embryo image and generating information used for a screen for selecting an embryo image, which will be described later.
  • Storage unit has a function of storing information necessary for realizing each of the above-mentioned functions.
  • the storage unit may have a function of storing a program for each of the above-mentioned functions, and may also have a function of storing information used in each program.
  • the system of one embodiment according to the present invention relates to a system that supports infertility treatment by using information about infertility treatment.
  • infertility treatment ART Assisted Reproductive Technology
  • fertilized eggs obtained by fertilizing an egg obtained from a woman and a sperm obtained from a man in vitro (referred to as "embryo" in the present document).
  • embryo obtained from a man in vitro
  • the system of this example may have a function of predicting the growth of fertilized eggs by using the information obtained in each of these steps for men and women who are scheduled to undergo ART.
  • the system of this example has an aspect of collecting and organizing patient information (sometimes simply referred to as "patient” in the documents of the present application) regarding such ART. That is, if the actual result of such a patient can be stored in the system of this example while predicting one patient, the information is used, machine-learned and used to describe future ART. It can be used for prediction. In this case, there is an advantage that the prediction accuracy is further improved. Therefore, in the following, the system of this example will be described from the viewpoint of medical personnel who are users as a system for memorizing and supporting aspects of patients undergoing ART. In the following, each screen may be displayed on the user terminal, and for this purpose, the management system may transmit information that can be displayed on the screen to the user terminal.
  • patient information sometimes simply referred to as "patient” in the documents of the present application
  • the system of this example may have the following three functions. That is, it is a function of managing information about the patient himself, a function of managing information about the patient's ART, and a function of managing information about the fertilized egg related to the patient.
  • FIG. 14 is a diagram showing a menu structure for these three functions. From the top page, move to the login page, and when logging in, enter the ID and password to move to the menu screen. Since it handles sensitive information including patient information that has been anonymized, it may have a function that allows users to be strictly managed by authentication information such as passwords. Such a function has an advantage that the security of information is improved.
  • the menu is broadly divided into patient information, embryo search, and IVF (strictly speaking, it refers to "ART transplantation” because it includes IVF and ICSI, and will be referred to as "IVF” hereafter). It is classified as search.
  • IVF data search IVF data can be introduced and edited.
  • IVF data search IVF data can be searched, inquired, edited, and the like.
  • FIG. 15 is an example of a search screen for a patient.
  • Patient information may be registered, searched, edited, and the like.
  • the information to be registered may be the information in the information relating to the male and / or female relating to the fertilized egg described above.
  • the search may be possible from various points of view. On this screen, the date of birth, the scheduled date of consultation, and the like may be used.
  • the patient information does not have to be configured so that it can be deleted according to the result of the growth status of the fertilized egg. Even if the growth status of the fertilized egg is negative, the configuration is such that it is not deleted, so that it becomes a learning target including negative information, and has an advantage of helping to improve the prediction accuracy. Note that logical deletion may be possible.
  • FIG. 16 is a screen of a patient list.
  • embryo registration and IVF data registration may be possible.
  • a patient may perform a plurality of egg collections and a plurality of transplants, it is preferable to be able to manage a plurality of egg collections and a plurality of transplants individually for one patient. Therefore, there may be a function of controlling which egg collection cycle the embryo used for transplantation was obtained. More specifically, for example, when the number of embryo data is clicked, there may be a function of being able to see a list of embryo information in which a patient ID is specified. In addition, when the number of IVF data is clicked, there may be a function that allows a list of IVF IDs for which patient IDs are specified. The information of each patient may be modified for each item except for the patient ID.
  • FIG. 17 is an example of registering patient information in a CSV file import format.
  • Having a function of importing a predetermined information format such as a CSV file has an advantage that patient information can be easily registered when this system is introduced into a new medical institution. Since the explanation about the designated format can be displayed, the user has an advantage that the risk of making a mistake in the input format is reduced.
  • the designated format may be a format other than the CSV format. If the number of patients is large, it may take time to register. Therefore, the file registration function may have a function of displaying the estimated completion time of the import. In this case, the number of patients in the file may be calculated first, the expected time required for enrollment may be calculated from such number of patients, and the expected time required may be displayed.
  • the file registration function may have a function of notifying a predetermined e-mail address that the import is completed after the import is completed.
  • the user has the advantage of knowing by email that the time-consuming import has been completed.
  • data normalization processing may be performed, such as minimizing the influence between parameters, adjusting the data range, converting continuous values into discrete values, and layering them.
  • FIG. 18 is an example of a screen for registering IVF information. Since IVF data is performed for a particular patient, information about the patient is displayed. In this figure, as the patient ID, each age, the number of egg collections, and the number of ETs are displayed for a specific female (wife) and a specific male (husband). As described above, for ART and fertilized eggs, one patient ID may be designated for two persons, a specific woman and a specific man. Regarding IVF in this system, information may be input in four stages: 1) IVF information input, 2) embryo selection, 3) embryo transfer, and 4) result input.
  • the system of this example is configured to handle both fresh embryo transfer and frozen embryo transfer, but only one of them may be used.
  • fresh embryo transfer check "Egg collection”.
  • frozen embryo transfer the IVF ID at the time of egg collection is searched and the frozen embryo is specified without checking "Egg collection”.
  • IVF information For each embryo, information about each embryo may be input as a fresh embryo or a frozen embryo.
  • FIG. 19 is an example of a screen showing that information about the five embryos collected has been registered.
  • FIG. 20 is a screen for selecting an embryo for an embryo including a frozen embryo.
  • information that can be used as a reference for selecting an embryo such as an embryo image, an embryo grade, a pregnancy probability, a birth probability, and a LOSS rate, may be displayed.
  • an embryo image an embryo image
  • an embryo grade a pregnancy probability
  • a birth probability a birth probability
  • LOSS rate a LOSS rate
  • the embryo grade may or may not be manually evaluated and stored as information, or may be automatically evaluated and stored as information. Since the embryo grade is familiar to medical personnel as a method of evaluating embryos, such information is displayed on the same screen as the image, so that the medical personnel can select an embryo when selecting an embryo. There is an advantage that you can choose with confidence.
  • the pregnancy probability and / or the birth probability may be generated by using the machine-learned function in the machine learning unit described above. That is, the information relating to the image obtained by capturing the fertilized egg, the information relating to the male and / or the female relating to the fertilized egg, the information measured about the fertilized egg, and the information relating to the growth based on the fertilized egg.
  • the machine-learned relationship it is possible to generate information on the growth of the fertilized egg in the target patient based on the fertilized egg. Therefore, the pregnancy probability and / or the birth probability may be generated as a subordinate concept of the information relating to such a growth aspect.
  • the user is most likely to transplant which embryo by generating and displaying the pregnancy probability and / or the birth probability in a specific case when each embryo is transplanted to a patient. It has the advantage of being able to numerically understand whether the probability of pregnancy and / or the probability of childbirth can be improved.
  • the embryo grade there is an advantage that not only the numerical information of the machine learning method that can be a black box but also the embryo grade, which is the conventional medical knowledge, can be used.
  • the embryo image there is an advantage that the embryo can be selected by taking into account not only the numerical information of the machine learning method that can be a black box but also the knowledge and experience of the medical personnel regarding ART. ..
  • the LOSS rate is obtained by subtracting the birth probability from the pregnancy probability, and such information also has an advantage that information when each embryo is transplanted can be collected. When these information are displayed on the same screen, the medical personnel can understand the information at a glance, which has an advantage of improving convenience.
  • the embryo to be adopted may be determined, and "adopted" or “not adopted” may be selected so that the embryo can be input and stored as information.
  • the pregnancy probability and / or the birth probability may be displayed in descending order.
  • they are displayed in descending order of probability, so that there is an advantage that examination can be performed in descending order of probability.
  • FIG. 21 is an example of a screen for inputting information when embryo transfer is actually performed.
  • the date of transplantation, the presence or absence of LAH, the number of transplants, and the like can be input, and such information may be stored.
  • FIG. 22 is an example of a screen for inputting the result regarding transplantation.
  • a pregnancy positive an HCG value
  • the presence or absence of GS confirmation the number of implantation GS, the date of pregnancy, and the like
  • such input information may be stored.
  • information such as childbirth or miscarriage, number of offspring, ectopic pregnancy, etc. can be input, and such input information may be stored.
  • the date of birth, the number of weeks, the number of days, the birth weight, the gender, the delivery method, etc. can be input, and the input information may be stored.
  • information about a large number of patients may be stored, and it may be possible to search as appropriate.
  • searching the actual data the user has the advantage of being able to compare with the actual information in the past.
  • FIG. 23 may be searchable for various aspects of IVF.
  • the transplantation method is fresh embryo transfer, frozen embryo transfer, single embryo transfer, multiple embryo transfer, two-stage transfer, or the like.
  • the stage of information to be searched whether the target is the stage where the information is input, only the selected embryos, or the transplanted ones, the result is Whether to target only the ones that came out, or to target all of them.
  • the result it may be possible to select one having pregnancy, one having childbirth, or all of them, and it may be possible to search for one that meets these search conditions.
  • FIG. 24 is an example of the search result screen.
  • the patient ID, transplant date, fresh or frozen embryo, transplant method, and current input information may be displayed, and by clicking and selecting "Edit IVF", the page to each IVF will be displayed. It may be movable.
  • the current input information is displayed by four arrows, but for these, information is input up to which stage of the four stages of this system: IVF information input, embryo selection, embryo transfer, and result input. It may indicate whether or not it is.
  • FIG. 25 is an example of a screen for performing an embryo search.
  • the embryo may be searched by information such as the patient ID and the egg collection date.
  • information such as the patient ID and the egg collection date.
  • embryo information can be easily input, which will be described later.
  • FIG. 26 is an example showing the results of the searched embryos.
  • FIG. 27 is an example of a screen in which the culture results for embryos can be imported in the form of a CSV file. Such a screen has an advantage that the embryo culture result can be input efficiently and without burden.
  • the specified format, file format, etc. are the same as for importing a file in patient information.
  • FIG. 28 is an example of a screen for registering an image of an embryo.
  • An image file may be uploaded by such a screen.
  • the embryo image By storing the embryo image, there is an advantage that more information about the embryo can be collected and organized.
  • the embryo images are stored in a specific one or more folders in advance, and by designating the one or more folders, the embryo images contained in the folders can be stored. May be good.
  • FIG. 29 is an example of a screen displaying the result of inputting the embryo culture result information.
  • Statistical information about embryos, captured images arranged in chronological order, etc. are displayed.
  • abbreviation in the center, there is one listed in FIG. 30.
  • These pieces of information may be generated as statistical information or may be manually input.
  • the embryo for performing ART grows peculiar to the embryo with the passage of time.
  • the inventor of the present application has focused on the fact that the information in this process can be used to make predictions about ART, and as described above, examined a machine learning unit that utilizes at least a part of it.
  • the work load is reduced by the technique of supporting the collection of information related to the growth process of the embryo (sometimes referred to as "embryo information collection system" in the documents of the present application).
  • the embryo information collection system uses images captured by an imaging device that continuously images the embryo culture process.
  • a device capable of continuously imaging the embryo culture process capable of collecting such images may be a known technique.
  • the embryo information collection system has a machine learning function.
  • the embryo information collection system may have a machine learning function for machine learning the relationship between an image group constituting a moving image of a continuously imaged embryo culture process and information related to the embryo image.
  • the embryo information collection system has a machine learning unit in which the relationship between an image group constituting a moving image of a continuously imaged embryo culture process and information related to the embryo image has been machine-learned.
  • the machine-learned machine learning unit may be a trained model.
  • the embryo information collection system acquires an image of the target embryo, applies the machine-learned function to the image of the embryo, and generates information related to the embryo image of the image of the target embryo. Has a function.
  • the information related to the embryo image may include the presence / absence of a predetermined event and / or the information related to the occurrence time of the predetermined event.
  • the predetermined event may be an event peculiar to the embryonic growth process, and may include, for example, male-female pronucleation, male-female pronucleation disappearance, cell division, blastocyst formation, and the like.
  • the predetermined event may be an increase in the number of cells due to cell division.
  • the information related to the occurrence time of the predetermined event may be the elapsed time from the time of fertilization of the embryo, the elapsed time from the predetermined event, and the like.
  • the embryo information collection system may have a function of detecting polar bodies and male and female pronuclei in an embryo image by using a machine-learned function.
  • the information regarding the stop of the egg collection is input and stored as shown in FIG. 31.
  • FIG. 32 is an example of displaying a graph showing the mode of embryonic cell division.
  • a graph may be associated with each of the plurality of embryos associated with one patient and displayed as a mode of cell division for each embryo on a screen for selecting embryos, for example, as in FIG.
  • FIG. 32 is a plot of the elapsed time at the time of cell division, and shows the relationship between the number of cells due to cell division of the embryo and the elapsed time.
  • the elapsed time may be the time when the fertilized egg is produced, the time when a predetermined event occurs from the fertilized egg, or the elapsed time from the start time appropriately determined by the medical personnel.
  • the relationship between the number of cells and the elapsed time has the advantage that the growth process of the embryo can be understood by graph display.
  • the graph may be a detailed graph or an image showing a tendency of the graph.
  • a screen is displayed or can be displayed in association with the embryo to be selected, there is an advantage that it becomes valuable information when selecting an embryo.
  • the display may be made possible by a mode such as a pop-up or another screen transition.
  • FIG. 33 is an example of another screen displaying information about the embryo.
  • Such an example is an example of a configuration in which such information is displayed when information about an embryo is collected by the embryo information collection system described above.
  • This example is an example in which the above-mentioned various events that have occurred, the elapsed time that the event has occurred, and the image of the embryo in which the event has occurred are displayed in association with each other.
  • By displaying the list in this way there is an advantage that it is possible to easily understand how the embryos are grown and various information in each growth process.
  • a screen is displayed or can be displayed in association with the embryo to be selected, there is an advantage that it becomes valuable information when selecting an embryo.
  • the display may be made possible by a mode such as a pop-up or another screen transition.
  • FIG. 34 is an example of a screen for displaying information about the target patient. This screen shows the relationship when the information related to the target patient is compared with the group actually pregnant in the same age group and the same age group.
  • Each vertical item may have test data for the patient, such as blood data and hormone levels. Then, for each test item, the range of test values of people who actually became pregnant and / or gave birth may be displayed with diagonal lines.
  • the test data for the target patient is indicated by an elliptical ⁇ .
  • the blood data is an example showing that the test values range of those who actually became pregnant and / or gave birth, but the hormone levels are outside the test value range.
  • Such display examples display information as to whether the patient in question is within the range of test values for those who became pregnant and / or gave birth, and medical personnel collect information about pregnancy and / or childbirth.
  • Such a screen example may be associated with one patient and displayed as information relating to the patient on the screen for selecting an embryo as shown in FIG. 20.
  • information about the target patient can be collected and understood together with information about the embryo.
  • the machine-learned model in the documents of the present application may be expected to be used as a program module that is a part of artificial intelligence software.
  • the trained model of the present invention may be used in a computer equipped with a CPU and memory. Specifically, the CPU of the computer receives input data (for example, information related to an image of a fertilized egg) input to the input layer of the neural network according to a command from the trained model stored in the memory, and the fertilization.
  • the information on the male and / or female related to the egg and the information measured on the fertilized egg are calculated using the above weights in the neural network, and the result (based on the fertilized egg) is obtained from the output layer of the neural network. It may operate to output information related to growth).
  • the machine-learned model according to the present invention may include a Deep Learning model.
  • the image used in the machine-learned model in the present document may be a time-lapse image group.
  • the time-lapse image group may be an image group captured at predetermined time intervals. For example, when one fertilized egg is imaged, it may be imaged every 15 minutes, but such an interval is an example and may be a short interval such as every 1 minute or every 2 minutes. However, it may be a long interval such as every 30 minutes or every hour.
  • the target period of the time-lapse image group may be, for example, 5 days, but may be shorter or longer than this.
  • the entire time-lapse image group for one fertilized egg may be used, or a part of the time-lapse image group may be used. May be good.
  • the image input for the machine-learned function may be a specific plurality of images in the time-lapse image group for one fertilized egg.
  • the specific plurality of images input to the machine learning unit that has been machine-learned may correspond to a specific growth time point in the growth process of the fertilized egg.
  • specific growth time points in the growth process of a fertilized egg include tSC, tSB, tB, and the like. That is, any of t2, t3, t4, t5, t6, t7, t8, (t9 +), tM, tSB, tB, tEB, tHB, tSC, etc. that can appear in the growth process of one fertilized egg. It was also found that the growth time points of tSC, tSB, and tB have an influence on the above-mentioned information related to growth.
  • the image used for input to the machine-learned model that outputs the above-mentioned information related to growth may be an image including an image corresponding to the growth time of tSC, tSB, and tB.
  • the image used for input to the machine-learned model that outputs the above-mentioned information related to growth may be an image including an image corresponding to the growth time of tSC, tSB, and tB.
  • a machine-learned model that specifies the growth process may be used. That is, the machine-learned model that identifies the growth process is the image and the growth time point corresponding to the image (eg, t2, t3, t4, t5, t6, t7, t8, (t9 +), tM, tSB, tB, tEB. , THB, tSC, etc.) and may have been machine-learned.
  • the machine-learned model that identifies such a growth process may input an image captured for one growth time point of the fertilized egg growth process and output the growth time point corresponding to the captured image.
  • the growth process corresponding to each image may be specified. .. Then, as described above, it may be possible to identify a specific plurality of images among the plurality of images of the time-lapse image group for one fertilized egg corresponding to tSC, tSB, tB, which are the specific growth time points. .. Since the growth process of each fertilized egg can be different for each fertilized egg, the growth process of the fertilized egg can be changed only by time, t2, t3, t4, t5, t6, t7, t8, (t9 +), tM, tSB.
  • the growth time points of tSC, tSB, tB, etc. can be specified from the image of the fertilized egg based on the growth rate of each fertilized egg. ..
  • the growth time points of the above-mentioned tSC, tSB, tB, etc. are, for example, 82 hours, 97 hours, 108 hours, etc. from the fertilization of the fertilized egg, but these times follow a normal distribution with respect to the elapsed time. Often, these times may be the times corresponding to the vertices of the normal distribution.
  • Step 1 acquire a time-lapse image group for one fertilized egg (step 1).
  • step 2 using a machine-learned model that specifies the growth process, in which the relationship between the image and a specific breeding time of the fertilized egg has been machine-learned, growth corresponding to a plurality of images constituting the time-lapse image group is used. Specify the time point (step 2).
  • the image corresponding to a specific growth time point (tSC, tSB, tB) is specified by using the information of the growth time point corresponding to the time-lapse image group (step 3).
  • the information related to the image of the fertilized egg including the image corresponding to the specific growth time the information related to the image of the fertilized egg and the male and / or female related to the fertilized egg.
  • the relationship between the information, the information measured about the fertilized egg, and the information related to the growth based on the fertilized egg is applied to the machine learner of the machine learning unit including the machine learner which has been machine-learned.
  • Generate information related to growth corresponding to the target fertilized egg (step 4).
  • the image including the fertilized egg in the information related to the image obtained by capturing the fertilized egg only the image corresponding to the above-mentioned specific growth time point (tSC, tSB, tB) may be used.
  • the machine-learned model that machine-learns the relationship between the image and the male and female pronucleus region is an image of the fertilized egg and an image in which the male and female pronucleus region in the image of the fertilized egg is identified by a predetermined method.
  • the relationship between and may be machine-learned.
  • the predetermined method may be such that the region of the male and female pronuclei in the image can be identified at the time of machine learning.
  • the male and female pronucleus region in the image may be annotated with annotator.
  • the mode of annotation may be a predetermined color, a predetermined pattern, or the like.
  • FIG. 41 is an image of male and female pronuclei annotated by a predetermined method.
  • the female pronucleus is set to blue (411) and the male pronucleus is set to red (412).
  • the output is the input image when the image of the fertilized egg is input. An image in which the male and female pronuclei are identified by a predetermined method is obtained.
  • the annotation during machine learning directly identifies the region of the male and female pronuclei by a predetermined method, there is an advantage that the region of the male and female pronuclei can be specified on a pixel-by-pixel basis. There is an advantage that the area of can be calculated more precisely.
  • the area of the region of the male and female pronuclei may be a subordinate concept of the information relating to the image obtained by capturing the fertilized egg.
  • Male and female pronuclei in fertilized eggs may be present at various locations within the three-dimensional fertilized egg. Therefore, for example, when a fertilized egg is imaged on a plane on a round slice without destroying the fertilized egg itself by a time-lapse incubator or the like, there is no male or female pronucleus on such a plane, or the male and female pronuclei are imaged. May be inadequate. In that case, there is a problem that the information about the male and female pronuclei is insufficient.
  • a machine-learned model was used at the stage of identifying an image containing male and female pronuclei in a fertilized egg. That is, it is a machine-learned model in which the relationship between the image and the male and female pronucleus region in the image is machine-learned, and the predicted reliability score when the region of the male and female pronucleus corresponding to the input image is output.
  • a machine-learned model which can output the
  • An example of processing when identifying an image containing male and female pronuclei in a fertilized egg is as follows.
  • a plurality of images having different values in the three-dimensional Z-axis direction imaged by the time-lapse incubator device are acquired (step 1).
  • a time-lapse incubator acquires 7 or 11 images for a fertilized egg with different values in the Z-axis direction in three dimensions.
  • step 2 apply a plurality of images to the machine-learned model and calculate the predicted reliability score for each image (step 2). For example, a machine-learned model is applied to the 7 or 11 images described above to calculate the corresponding predictive confidence score.
  • the image with the highest predicted reliability score is selected from the plurality of images at the specific time point (step 3). For example, among the predicted reliability scores of 7 or 11 obtained corresponding to the above-mentioned 7 or 11 images, the image corresponding to the highest predicted reliability score is specified.
  • 7 or 11 of the number of images that can be captured by the time-lapse incubator is an example, and may be another number.
  • the application of the machine-learned model described above may be applied to the time-lapse image of one fertilized egg in the above flow at different time points of the time-lapse image.
  • the male and female pronuclei may be imaged in one particular plane of the fertilized egg at some point due to embryonic motility and focus, but at other times in the same particular plane of the same fertilized egg. This is because it is not always preferable to take an image. Therefore, the image used for one fertilized egg has an advantage that a larger amount of information can be used because one of a plurality of images can be selected at each time point of the time lapse.
  • one fertilized egg contains more appropriate male and female pronuclei by using the predicted reliability score of the machine-learned model among a plurality of images taken by the time-lapse incubator at a specific time point. It has the advantage of being able to identify the image.
  • the image containing the identified male and female pronuclei may be used in the system as part of the information relating to the above-mentioned target fertilized egg.
  • a plurality of fertilized eggs may be included as long as the fertilized egg is imaged.
  • the system of this example may be able to output one or more images and / or numerical values corresponding to various set conditions for the time-lapse image group.
  • This function may function independently of the function of generating information related to growth, or may be an image of a fertilized egg associated with the case where the above-mentioned information related to growth is generated. It may be a subordinate concept of the information.
  • Various conditions may include information related to time, information related to items, comparison between items, numerical comparison of specific items, comprehensive judgment, and the like.
  • the time-related information may include, for example, the number of frames specified, the number of frames (relative value), the time specified, the time specified (relative value), and the information related when a predetermined morphological feature occurs.
  • the frame may identify one of a plurality of images in the above-mentioned time-lapse image group.
  • the information related to the occurrence of a predetermined morphological feature is, for example, the one without a pronucleus, the one with a pronucleus, the time when the pronucleus occurs, the time when the pronucleus disappears, the time when the number of cells becomes 2, and the number of cells.
  • the intracellular state changes to a predetermined state
  • the state of the cell membrane changes to a predetermined state
  • the polar body It may be when the number of bodies becomes one and / or when the number of polar bodies becomes two.
  • the information related to these times may be the one in which a predetermined time point has occurred, or may be a period in which the predetermined state is satisfied.
  • FIG. 35 shows an example of a screen for setting information related to time.
  • various information related to the time can be set.
  • the time point of pronuclear disappearance can be set as the information related to the time when the image is searched or the numerical value is calculated (3501), or the relative number of frames is +2.
  • Can be set (3502), or -450 may be set as a relative value for specifying the time (3503).
  • the target for image search or numerical calculation is the frame +2 and -480 hours from the time of pronuclear disappearance. In this way, by setting one or a plurality of search conditions, there is an advantage that a target for searching a desired image or calculating a numerical value can be specified.
  • a name may be set for what is set by a plurality of search conditions in this way (3504), and a search condition may be called by the name set in this way.
  • search condition since the search condition can be easily called by the name, there is an advantage that convenience is improved.
  • FIG. 36 is a screen after setting the information related to the time, and further, the information related to the time may be set (3601), and may be added to or added to the information related to the time. Alternatively, the item may be set (3602).
  • the items are the number of cells, the area of the entire cell, the area of the individual cell, the radius of the entire cell, the radius of the individual cell, the center coordinate of the entire cell, the center coordinate of the individual cell, the area of the female pronucleus, and the male pronucleus. It may include the area, the coordinates of the female pronucleus, the coordinates of the male pronucleus, and / or the central coordinates of the polar body, and the like.
  • one or a plurality of items may be set as the items, and addition, subtraction, multiplication, division, and remainder between the plurality of items may be set.
  • FIG. 37 is an example of a screen for setting items.
  • the item may be set by one or more items (3701). In the case of one item, such item may be set directly.
  • This figure shows a screen for setting a plurality of items. As the calculation using a plurality of items, for example, the calculation of subtracting the area of the male pronucleus (3703) from the area of the female pronucleus (3702) is shown.
  • comparison operations such as between items, greater than or less than, greater than or equal to, less than or equal to, and / or equal can be set, and the judgment value of the item-to-item comparison ( TRUE / False), binary calculation results (number of frames, etc.) may be generated and displayed.
  • FIG. 38 is an example of a screen for setting an item-to-item comparison.
  • the setting of the first inter-item comparison (3801) is that the area of the female pronucleus without specifying the time point is larger than the area of the male pronucleus immediately before the disappearance of the pronucleus.
  • the second inter-item comparison (3802) the male pronucleus area in the early pronucleation stage (8 hours or more) is larger than the female pronucleation area in the early pronucleation stage (8 hours or more). ..
  • the difference in pronuclear area 8 hours before the disappearance of the pronucleus is larger than the difference in the area of the pronucleus one frame before the disappearance of the pronuclear 8 hours. Then, the number of frames (3804) that matches the comparison between these three items is calculated.
  • FIG. 39 is a setting in which a time point is not defined, a cell radius larger than the numerical value 40 is set (3901), and the number of frames matching the condition is output (3902).
  • the presence or absence of an output location satisfying such a condition may be displayed as a determination value (YES / NO).
  • FIG. 40 shows a Venn diagram of the relationship between the judgment value A (4001) of JE001, the judgment value B (4002) of JE002, and the judgment value C (4003) of JE003, and the relationship of (A OR B) AND C. May be judged by. Further, in addition to or in place of the Venn diagram, item comparison, numerical comparison, and the like may be possible.
  • the motility of the male and female pronuclei and pregnancy / childbirth are obtained from the transition of these center coordinates.
  • the user can obtain reference information for investigating the relationship with clinical results such as.
  • the transition of the number of cell divisions can be found.
  • the system of this example learns the relationship between an image and information about cells in the image in order to identify an image that satisfies various conditions and / or to calculate a numerical value that satisfies various conditions.
  • the machine-learned functions that have been used may be used.
  • the information relating to the cells in the image may be, for example, the position / area of the male and female pronuclei, the position / area of the cell membrane, the number of cells, and / or the position / area / radius of the polar body in the image. .. That is, the machine learning unit may have machine-learned the relationship between the image and the position and / or area of the male and female pronuclei in the image.
  • the machine learning unit may have machine-learned the relationship between the image and the position and / or area of the cell membrane in the image. Further, the machine learning unit may have machine-learned the relationship between the image and the number of cells in the image. Further, the machine learning unit may have machine-learned the relationship between the image and the position, area, and / or radius of the polar body in the image. By machine learning these relationships, the system of this example applies these machine-learned machine learning units to the acquired time-lapse images, generates the corresponding numerical values, etc., and generates these. It may be used to generate images and / or numerical values that satisfy the above-mentioned predetermined conditions.
  • the system of this example includes a machine-learned model that learns the relationship between an image and information about cells in the image, and the machine-learned for each image in a time-lapse image group for one fertilized egg.
  • the completed model is applied to associate and store the image and the information related to the cells in the image corresponding to the image, and sometimes the information related to the item, the information related to the item, the comparison between items, the numerical comparison of a specific item, and / or the synthesis.
  • It has an acquisition unit for acquiring various conditions including a determination, a generation unit for generating an image and / or a numerical value satisfying the various conditions, and a display unit for displaying the satisfied image and / or a numerical value. It's okay.
  • male and female pronucleus may include a female pronucleus and / or a male pronucleus. Therefore, for example, the region of the male and female pronucleus may be understood to include the region of the female pronucleus and / or the region of the female pronucleus.
  • the image used in the machine learning function in the document of the present application may be an image included in the above-mentioned time-lapse image group, or may be a simple image that is not a time-lapse image.
  • the processes and procedures described herein are feasible not only by those explicitly described in the embodiments, but also by software, hardware or a combination thereof. Further, the processes and procedures described in the present specification can be implemented by various computers by implementing the processes and procedures as a computer program.
  • the program may be recorded on a recording medium. Also, the program may be recorded on a non-transient recording medium. Further, the recording medium may be non-temporary.

Landscapes

  • Chemical & Material Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Organic Chemistry (AREA)
  • Wood Science & Technology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Zoology (AREA)
  • Biotechnology (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Microbiology (AREA)
  • Biochemistry (AREA)
  • Proteomics, Peptides & Aminoacids (AREA)
  • General Health & Medical Sciences (AREA)
  • Genetics & Genomics (AREA)
  • Theoretical Computer Science (AREA)
  • Analytical Chemistry (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Sustainable Development (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Medicinal Chemistry (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Immunology (AREA)
  • Molecular Biology (AREA)
  • Image Analysis (AREA)

Abstract

【課題】 本発明の一実施形態により、ARTを支援する情報を提供すること。 【解決手段】 対象受精卵に係る情報を取得する取得部と、受精卵を撮像した画像に係る情報と、前記受精卵に係る男性及び/又は女性に係る情報と、前記受精卵について測定された情報と、前記受精卵に基づく生育に係る情報と、の関係を機械学習済みの機械学習部と、取得した前記対象受精卵に係る情報を、前記機械学習部に適用して、前記対象受精卵に対応する生育に係る情報を生成する生成部と、を備えるシステムであって、前記受精卵について測定された情報は、前記受精卵の採卵時に測定された情報と、前記受精卵の移植時に測定された情報と、を含む、システム。

Description

生殖補助医療を支援するための、システム、情報処理装置、サーバ、端末、プログラム、又は方法
 本出願において開示された技術は、システム、装置、サーバ、端末、プログラム、方法に関する。
 近年、画像を用いて、生物に関連する情報を取得する研究がされている。例えば、以下の特開2010-181402号公報(特許文献1)、特開2002-230518号公報(特許文献2)などは、画像を用いた技術に関する。
特開2010-181402号公報 特開2002-230518号公報
 しかしながら、画像から得られる情報に一定の価値があるとしても、画像から得られる情報のみでは限界があり、適切な情報を提供できるものではない。特にART(生殖補助医療技術、assisted reproductive technology)を支援する技術として、画像から得られる情報を、関連する周辺の情報と調和させて初めて実用的な情報を提供できることに、発明者らは気づいた。そこで、本発明の様々な実施形態により、ARTを支援する情報を提供可能なシステム、装置、サーバ、方法、プログラム又は方法を提供する。
 本願発明の一態様に係る第1システムは、
 対象受精卵に係る情報を取得する取得部と、
 受精卵を撮像した画像に係る情報と、前記受精卵に係る男性及び/又は女性に係る情報と、前記受精卵について測定された情報と、前記受精卵に基づく生育に係る情報と、の関係を機械学習済みである機械学習器を含む機械学習部と、
 取得した前記対象受精卵に係る情報を、前記機械学習部内の機械学習器に適用して、前記対象受精卵に対応する生育に係る情報を生成する生成部と、
を備えるシステム。
 本願発明の一態様に係る第2システムは、
 前記受精卵について測定された情報は、前記受精卵の採卵時に測定された情報と、及び/又は、前記受精卵の移植時に測定された情報と、を含み、
 前記機械学習部は、深層学習に係る機能を含む、
第1のシステム。
 本願発明の一態様に係る第3システムは、
 前記男性及び/又は女性に係る情報は、前記女性の血液の検査値に係る情報、前記女性のホルモン値に係る情報、及び/又は、前記男性の精子に係る情報を含む、
第1又は2のシステム。ここで、男性の精子に係る情報は、運動精子数、不動精子数、精子濃度、直線速度、曲線速度、頭部振幅、及び/又は、頭部振動数などを含んでよい。
 本願発明の一態様に係る第4システムは、
 前記対象受精卵に係る撮像された画像に係る情報と、前記対象受精卵に対応する生育に係る情報と、を関連付けて記憶する、
第1乃至3のいずれか一のシステム。
 本願発明の一態様に係る第5システムは、
前記対象受精卵に係る男性及び/又は女性に係る情報と、心拍数を伴う胎嚢形成である妊娠および出産する確率が所定の値よりも高い男性及び/又は女性に係る情報と、を関連付けて記憶する、
第1乃至4のいずれか一のシステム。
 本願発明の一態様に係る第6システムは、
 前記関連付けて記憶された情報を、情報処理装置内のディスプレイに表示可能とさせるよう、前記情報処理装置に伝達する伝達部を備える、
第4又は5のいずれか一のシステム。
 本願発明の一態様に係る第7システムは、
 前記対象受精卵について撮像された複数の画像の各々を、前記画像について判定された所定のイベント、及び/又は、前記画像が撮像された経過時間、を関連付けて記憶する、
第1乃至6のいずれか一のシステム。
 本願発明の一態様に係る第8システムは、
 前記対象受精卵について撮像された複数の画像の各々における前記対象受精卵の細胞分裂による細胞数と、かかる細胞分裂時の経過時間と、の関係を情報処理装置内のディスプレイに表示可能とさせるよう、前記細胞数と前記経過時間とを関連付けた情報を、前記情報処理装置に伝達する伝達部を備える、
第1乃至7のいずれか一のシステム。
 本願発明の一態様に係る第9システムは、
前記生育に係る情報は、心拍数を伴う胎嚢形成である妊娠の可能性、出産される可能性、生物学的検査値に係る情報、及び/又は、染色体異常の可能性、を含む、
第1乃至8のいずれか一のシステム。
 本願発明の一態様に係る第10システムは、
 前記対象受精卵に係る情報は、前記対象受精卵を撮像した画像に係る情報と、前記対象受精卵に係る男性及び/又は女性に係る情報と、前記対象受精卵について測定された情報と、を含む、
第1乃至9のいずれか一のシステム。
 本願発明の一態様に係る第11システムは、
 受精卵を撮像した画像に係る情報と、前記受精卵に係る男性及び/又は女性に係る情報と、前記受精卵について測定された情報と、前記受精卵に基づく生育に係る情報と、を取得部と、
前記取得した、 受精卵を撮像した画像に係る情報と、前記受精卵に係る男性及び/又は女性に係る情報と、前記受精卵について測定された情報と、前記受精卵に基づく生育に係る情報と、の関係を機械学習する機械学習部と、
 前記機械学習によって得られた機械学習に係る重みを生成する生成部と、
 前記生成された重みを、他の情報処理装置に伝達する伝達部と、
を備える第1乃至10のいずれか一のシステム。
 本願発明の一態様に係る第12システムは、
受精卵を撮像した画像に係る情報と、前記受精卵に係る男性及び/又は女性に係る情報と、前記受精卵について測定された情報と、前記受精卵に基づく生育に係る情報と、の関係を機械学習する第1機械学習部によって生成された第1重みを取得する取得部と、
 受精卵を撮像した画像に係る情報と、前記受精卵に係る男性及び/又は女性に係る情報と、前記受精卵について測定された情報と、前記受精卵に基づく生育に係る情報と、の関係を機械学習する第2機械学習部によって生成された第2重みを取得する取得部と、
 前記第1重みと第2重みとを統合し、前記第1機械学習部及び前記第2機械学習部によって利用可能な第3重みを生成する生成部と、
を備えるシステム。
 本願発明の一態様に係る第13方法は、
 コンピュータが、
 対象受精卵に係る情報を取得する取得ステップ、
 取得した前記対象受精卵に係る情報を、受精卵を撮像した画像に係る情報と、前記受精卵に係る男性及び/又は女性に係る情報と、前記受精卵について測定された情報と、前記受精卵に基づく生育に係る情報と、の関係を機械学習済みの機械学習部に適用して、前記対象受精卵に対応する生育に係る情報を生成する生成ステップ、
を実行する方法。
 本願発明の一態様に係る第14プログラムは、
 コンピュータを、
 対象受精卵に係る情報を取得する取得手段、
 取得した前記対象受精卵に係る情報を、受精卵を撮像した画像に係る情報と、前記受精卵に係る男性及び/又は女性に係る情報と、前記受精卵について測定された情報と、前記受精卵に基づく生育に係る情報と、の関係を機械学習済みの機械学習部に適用して、前記対象受精卵に対応する生育に係る情報を生成する生成手段、
として動作させるプログラム。
 本願発明の一態様に係る第15のシステムは、
 前記対象受精卵に係る情報は、タイムラプス画像群を含み、
 前記タイムラプス画像群は、tSC、tSB、及び、tBの形態が撮像された画像を含み、
 前記tSC、tSB、及び、tBの形態が撮像された画像は、画像と、画像に対応する生育時点との関係を機械学習済みモデルが適用されることによって、特定される、
第1乃至10のいずれか一のシステム。
 本願発明の一態様に係る第16のシステムは、
 前記受精卵を撮像した画像に係る情報は、雌雄前核の領域の面積を含み、
 前記雌雄前核の領域の面積は、精卵についての画像と、前記受精卵についての画像内の雌雄前核領域が所定の手法により特定された画像と、の関係を機械学習済みモデルが適用されることが用いられて、計算される、
第1乃至10及び15のいずれか一のシステム。
 本願発明の一態様に係る第17のシステムは、
 前記受精卵を撮像した画像に係る情報は、雌雄前核を含む画像を含み、
 前記雌雄前核を含む画像は、画像と、かかる画像内の雌雄前核領域と、の関係を機械学習した機械学習済みモデルが適用され、前記機械学習済みモデルに係る予測信頼度スコアが使用されて特定される、
第1乃至10、15、及び16のいずれか一のシステム。
 本願発明の一態様に係る第18プログラムは、
 コンピュータを、第1乃至10及び第15乃至17のいずれか一のシステムとして動作させるプログラム。
 本発明の一実施形態により、ART(生殖補助医療技術、Assisted Reproducted Technology)を支援する情報を提供できる。
図1は、本発明の一実施形態に係る情報処理装置の構成例を示すブロック図である。 図2は、本発明の一実施形態に係るシステムの構成例を示すブロック図である。 図3は、本発明の一実施形態に係るシステムの構成例を示すブロック図である。 図4(A)は、本発明の一実施形態に係るシステムの構成例を示すブロック図である。 図4(B)は、本発明の一実施形態に係るシステムの構成例を示すブロック図である。 図5は、本発明の一実施形態に係るシステムの構成例を示すブロック図である。 図6は、本発明の一実施形態に係るシステムの機能例を示すブロック図である。 図7は、本発明の一実施形態に係るシステムの機械学習のパラメータ例である。 図8は、本発明の一実施形態に係るシステムの機械学習のパラメータ例である。 図9は、本発明の一実施形態に係るシステムの機械学習のパラメータ例である。 図10は、本発明の一実施形態に係るシステムの機械学習のパラメータ例である。 図11は、本発明の一実施形態に係るシステムの機械学習のパラメータ例である。 図12は、本発明の一実施形態に係るシステムの構成例を示すブロック図である。 図13は、本発明の一実施形態に係るシステムの構成例を示すブロック図である。 図14は、本発明の一実施形態に係るシステムの画面例である。 図15は、本発明の一実施形態に係るシステムの画面例である。 図16は、本発明の一実施形態に係るシステムの画面例である。 図17は、本発明の一実施形態に係るシステムの画面例である。 図18は、本発明の一実施形態に係るシステムの画面例である。 図19は、本発明の一実施形態に係るシステムの画面例である。 図20は、本発明の一実施形態に係るシステムの画面例である。 図21は、本発明の一実施形態に係るシステムの画面例である。 図22は、本発明の一実施形態に係るシステムの画面例である。 図23は、本発明の一実施形態に係るシステムの画面例である。 図24は、本発明の一実施形態に係るシステムの画面例である。 図25は、本発明の一実施形態に係るシステムの画面例である。 図26は、本発明の一実施形態に係るシステムの画面例である。 図27は、本発明の一実施形態に係るシステムの画面例である。 図28は、本発明の一実施形態に係るシステムの画面例である。 図29は、本発明の一実施形態に係るシステムの画面例である。 図30は、本発明の一実施形態に係るシステムの画面例である。 図31は、本発明の一実施形態に係るシステムの画面例である。 図32は、本発明の一実施形態に係るシステムの画面例である。 図33は、本発明の一実施形態に係るシステムの画面例である。 図34は、本発明の一実施形態に係るシステムの画面例である。 図35は、本発明の一実施形態に係るシステムの画面例である。 図36は、本発明の一実施形態に係るシステムの画面例である。 図37は、本発明の一実施形態に係るシステムの画面例である。 図38は、本発明の一実施形態に係るシステムの画面例である。 図39は、本発明の一実施形態に係るシステムの画面例である。 図40は、本発明の一実施形態に係るシステムの画面例である。 図41は、本発明の一実施形態に係るシステムにおける雌雄前核を含む領域の説明例である。
 以下、添付図面を参照して本発明の様々な実施形態を説明する。
1.システムの構成例
1.1.構成例1
 図1は、情報処理装置10の構成を示すものであり、情報処理装置10は、バス11、演算部12、記憶部13を有することができる。また、入力部14、表示部15、通信IF16を有してよい。本願発明に係る一実施形態のシステムは、一又は複数の情報処理装置10から構成されてよい。
 バス11は、演算部12、記憶部13の間の情報を伝達する機能を有する。入力部14、表示部15、通信IF16の間の情報を伝達する機能を有してよい。
 演算部12は、例えばプロセッサが挙げられる。これは、CPUであってもよいし、MPUであってもよい。要するに、演算部12は、プログラムの命令を実行できる機能を有すればよい。また、機械学習部の機能を実施する演算部12は、機械学習に適した処理装置であってよく、データベースの管理やその他の管理機能を実施する演算部12は通常の演算機能を有すればよい。
 記憶部13は、情報を記録する機能を有する。これは、外部メモリと内部メモリのいずれでもよく、主記憶装置と補助記憶装置のいずれでもよい。また、磁気ディスク(ハードディスク)、光ディスク、磁気テープ、半導体メモリなどでもよい。また、ネットワークを介した記憶装置、クラウド上の記憶装置などでもよい。なお、演算装置に近い位置で情報を記憶する、レジスタ、L1キャッシュ、L2キャッシュなどは、図1の模式図においては、バスを介していない点で演算部12内に含まれる場合もあるが、計算機アーキテクチャのデザインにおいて、情報を記録する装置としては、記憶部13がこれらを含んでもよい。要するに、演算部12と、記憶部13及びバス11が協調して、情報処理を実行できればよい。また、上記は、演算部12が、記憶部13に備えられたプログラムに基づいて実行される場合を記載したが、上記のバス11、演算部12と記憶部13が組み合わされた形式の一つとして、本件システムに係る情報処理を、ハードウェア回路自体を変更することができるプログラマブルロジックデバイス又は実行する情報処理が決まっている専用回路で実現されてもよい。
 入力部14は、情報を入力する機能を有する。マウス、タッチパネル、ペン型の指示装置などの指示装置が挙げられる。表示部15は、例えば、ディスプレイがある。また、液晶ディスプレイ、プラズマディスプレイ、有機ELディスプレイなどでもよい。要するに、情報を表示できる装置であればよい。また、タッチパネルのように入力部14を一部に備えてもよい。
 以下では、上述の情報処理装置10を用いて、種々の組み合わせの例を説明する。以下で説明される個々の例は、ネットワーク上における構成例の一例にすぎず、明示的に示されたもの以外にも、以下の個々の情報処理装置の組み合わせ例の他の組み合わせ例があってもよい。これらの組み合わせは、技術常識を踏まえて、多様な組み合わせがあってよい。
1.2.構成例2
 図2の構成例2は、ネットワークを介して、サーバ202とデータベー203が接続可能な構成である。本願発明に係る一実施形態のシステムは、構成例2に係る複数の情報処理装置、その一部の情報処理装置、又は、その一の情報処理装置から構成されてよい。利用者端末01は、サーバ202に対して、接続可能な構成である。また、管理者端末02は、サーバ2-2と接続可能な構成である。ここで利用者端末01は、利用者端末01aと利用者端末01bの2つの例を図示しているが、1以上のいくつの利用者端末であってもよい。利用者端末の数について、以下の各構成例において、同様である。また、管理者端末が、本例では一つの例を示しているが、管理者端末も2以上の構成であってよい。各利用者端末は、情報処理装置10の機能を有するものであってもよいし、その一部について欠けた構成とされていてもよい。また、管理者端末も、情報処理装置10の機能を有するものであってもよいし、その一部について欠けた構成とされていてもよい。また、本例のシステムであるサーバ202は、情報処理装置10と類似の機能を有するものであってもよいし、その一部について欠けた構成とされていてもよいし、その一部について機能が強化されたものであってもよい。例えば、記憶装置や演算装置などは、機械学習に関する情報処理を実施できる構成とされていてよい。なお、管理者端末を利用する者を、本願書類において、「管理者」ということがあり、利用者端末を利用する者を「利用者」又は「医療関係者」ということがある。サーバは、後述する、取得部、機械学習部、制御部、及び/又は、記憶部を有してよい。サーバは、また、協調機械学習部を有してよい。データベースは、サーバにおいて利用されるデータを記憶してよい。例えば、機械学習をする場合には、かかる機械学習の際に利用される情報、例えば、入力と出力の関係を示すために利用される情報、を記憶してよい。より具体的には、サーバが機械学習する場合には、データベースは、受精卵を撮像した画像に係る情報と、前記受精卵に係る男性及び/又は女性に係る情報と、前記受精卵について測定された情報と、前記受精卵に基づく生育に係る情報と、の関係を示す情報を有してよい。
1.3.構成例3
 図3の構成例3は、サーバ302が、クラウド上である構成例である。本願発明に係る一実施形態のシステムは、構成例3に係る複数の情報処理装置、その一部の情報処理装置、又は、その一の情報処理装置から構成されてよい。データベース303もクラウド上である構成例である。サーバ302とデータベース303は、同一のクラウドを利用してもよいし、異なるクラウドを利用してもよい。利用者端末01は、ネットワークを介して、サーバ302と接続可能な構成であってよい。また、サーバ302は、データベース303に接続可能な構成であってよい。また、管理者端末02は、サーバと接続可能な構成であって良い。その他については、構成例2と同様であってよい。
1.4.構成例4A
 図4(A)の構成例4Aは、構成例2を基として、各利用者端末01a及び01bに対し、機械学習部が備えられている例である。本願発明に係る一実施形態のシステムは、構成例4Aに係る複数の情報処理装置、その一部の情報処理装置、又は、その一の情報処理装置から構成されてよい。利用者端末01aに対しては、機械学習部404aが接続可能な構成とされており、利用者端末01bに対しては、機械学習部404bが接続可能な構成とされている。サーバ402は、機械学習部を有してもよいし、協調機械学習部を有してもよいし、両方を有してもよい。
1.5.構成例4B
 図4(B)の構成例4Bにおいて、機械学習部404はクラウド上にある構成例である。本願発明に係る一実施形態のシステムは、構成例4Bに係る複数の情報処理装置、その一部の情報処理装置、又は、その一の情報処理装置から構成されてよい。利用者端末01aは機械学習部404と接続可能であり、利用者端末01bは機械学習部404と接続可能である。その他の構成は構成例4(A)と同様であってよい。
1.6.構成例5
 図5の構成例5は、構成例4Bにおいて、サーバ502及びデータベース503が、クラウド上にある構成例である。本願発明に係る一実施形態のシステムは、構成例5に係る複数の情報処理装置、その一部の情報処理装置、又は、その一の情報処理装置から構成されてよい。サーバ502は、協調機械学習部を有してよい。協調機械学習部は、一又は複数の機械学習部504と接続可能であってよい。
2.システム内の機能例
 次に、一例のシステムにおける機能例について説明する。各機能は、上述のシステムの各ハードウェアに適宜割り当てられるものである。本システムは、必ずしも以下で述べる全ての機能が実装される必要はないが、システムの一例は、図6のように、取得部、機械学習部、協調機械学習部、制御部、記憶部、の一部又は全部を有してよい。
2.1.取得部
 取得部は、情報を取得する機能を有する。取得部は、機械学習部に使用される情報を取得する機能を有してよい。また、取得部は、協調機械学習部に使用される情報を取得する機能を有してよい。取得部が取得する情報は、受精卵を撮像した画像、前記受精卵に係る男性情報、前記受精卵に係る女性情報、を含んでよい。
 取得の手段は、種々の態様であってよい。例えば、取得部が備わる情報処理装置内において、記憶部から情報を取得してもよいし、取得部が備わる情報処理装置とは異なる他の情報処理装置から、ネットワーク等を介して、情報を取得してもよい。また、取得のタイミングは、種々のものでよい。
2.2.機械学習部
 機械学習部は、機械学習に係る機能を有する機械学習器を備える。機械学習器は、機械学習機能を有してよい。機械学習機能は、入力と出力の関係を機械学習する機能であってよい。機械学習部は、受精卵を撮像した画像に係る情報と、前記受精卵に係る男性及び/又は女性に係る情報と、前記受精卵について測定された情報と、前記受精卵に基づく生育に係る情報と、の関係を機械学習済みの機械学習器を有してよい。ここで、入力は、受精卵を撮像した画像に係る情報と、前記受精卵に係る男性及び/又は女性に係る情報と、前記受精卵について測定された情報と、を含んでよい。また、出力は、生育に係る情報、を含んでよい。また、前記受精卵について測定された情報は、下位概念として、前記受精卵の採卵時に測定された情報、及び/又は、前記受精卵の移植時に測定された情報、を含んでよい。また、受精卵について測定された情報は、受精卵を撮像した画像に係る情報を含まなくてよい。このように、機械学習の対象となるデータ及び/又は機械学習済み機能に対して適用されるデータとして、受精卵についての画像にとどまらず、前記受精卵に係る男性及び/又は女性に係る情報、を含めることにより、種々の不妊症の原因(例えば、排卵障害や卵巣予備能低下などの卵巣因子や、子宮筋腫や子宮腔内癒着などの子宮因子、乏精子症などの男性因子、卵管閉塞や卵管癒着などの卵管因子および今後臨床研究において発見されるであろう予測因子)についても胚の選定に利用できる可能性がある。また、同様に、機械学習の対象となるデータ及び/又は機械学習済み機能に対して適用されるデータとして、受精卵についての画像にとどまらず、前記受精卵の採卵時に測定された情報、及び/又は、前記受精卵の移植時に測定された情報、を含めることにより、子宮内膜や子宮内環境の異常による着床障害などの子宮側の要因についても、胚の選定に利用できる可能性がある。また、機械学習の対象となるデータ及び/又は機械学習済み機能に対して適用されるデータとして、受精卵のクオリティや、減数分裂時の染色体不分離などの染色体異常というような、受精卵についての要因についても、受精卵についての画像を活用することにより因子として、胚の選定に利用できる可能性がある。
 機械学習器は、機械学習済み機能を有してよい。機械学習済み機能は、受精卵を撮像した画像に係る情報と、前記受精卵に係る男性及び/又は女性に係る情報と、前記受精卵について測定された情報と、前記受精卵に基づく生育に係る情報と、の関係を学習したものであってよい。なお、機械学習済み機能を有する機械学習器あるいはかかる機械学習器を備える機械学習部は、情報処理装置自体、又は、プログラム(すなわち、情報処理装置上で実行された場合に、機械学習部の機能を実現できるプログラム)自体、が受精卵を撮像した画像に係る情報と、前記受精卵に係る男性及び/又は女性に係る情報と、前記受精卵について測定された情報と、前記受精卵に基づく生育に係る情報と、の関係を学習してもよいし、かかる関係を学習しなくともよい。後者の場合、入力から出力までの各層において、入力値をどの程度出力値に反映させるかというパラメータに対する重み(本願書類において、簡単に「重み」ということがある。)、を用いることにより、機械学習済み機能が、機械学習可能な機械学習器に導入されるものであってもよい。
 かかる重みは、同一の機械学習モデルを採用する複数の機械学習器の間において、ネットワークを介して伝達されることにより、一の機械学習器において機械学習された結果について、機械学習を全くしていない又は同一のデータに基づく機械学習をしていない他の機械学習器において、重みとして使用することにより、同一の機械学習済み機能を実現できるものであってよい。かかるネットワークを介した伝達は、一般的なインターネットや情報通信手段により、重み、を示すデータを、同一の機械学習モデルを採用する複数の機械学習器の間において、伝達し、コピーすることにより、実現されてよい。機械学習部は、かかる重みの伝達のため、重みを伝達できる機能を有してよい。また、重みは、機械学習部において、入力と出力の関係を、機械学習することにより、生成できてよい。重みは、一又は複数のものであってよい。重みを伝達するために、重みは、一の機械学習器におけるどの層についてのパラメータであるかを特定するための情報と、関連付けられて、後述数する協調機械学習部に伝達する機能を有してよい。なお、ここで、同一の機械学習モデルを採用する複数の機械学習器は、同一のプログラムであってもよいし、同一のプログラムでなくとも、同一の入力と出力の関係、を示す重みが適用できるものであればよい。
 これらの、前記受精卵に係る男性及び/又は女性に係る情報の下位概念としての具体的なパラメータの一例は、図7であってよい。また、前記受精卵の採卵時に測定された情報の下位概念としての具体的なパラメータの一例は、図8であってよい。前記受精卵の移植時に測定された情報の下位概念としての具体的なパラメータの一例は、図9であってよい。また、受精卵を撮像した画像に係る情報の下位概念としての具体的なパラメータの一例は、図10であってよい。また、前記受精卵に基づく生育に係る情報の下位概念としての具体的なパラメータの一例は、図11であってよい。これらの図7乃至図11は、具体的なパラメータの一例ではあるものの、これら全てを常に使用する必要はなく、その一部であってもよいし、全てを使用してもよい。
 図7乃至図10に記載の具体的なパラメータの一部又は全部が使用された入力に対して、機械学習部が適用され、図11に記載の具体的なパラメータの一部又は全部について出力されてよい。また、図7乃至図11の具体的なパラメータの一部又は全部を使用して、機械学習部は、機械学習されてよい。
 上述の機械学習は、種々の手法を用いてよい。例えば、ディープラーニングを用いたニューラルネットワーク、サポートベクターマシーン、ベイジアンネットワーク、クラスタリング、などであってよい。なお、機械学習における学習済みモデルは、コンピュータを機能させるためのものであり、プログラムであってよい。
 また、機械学習部は、一又は複数の機械学習器を備えてよい。複数の機械学習器は、全て同一の機械学習手法を用いてもよいし、異なる機械学習手法を用いてもよい。また、複数の機械学習器は、複数の機械学習器を並列、直列、又はこれらの組み合わせの態様で接続して利用してよい。並列は、一の入力情報を、一又は複数の機械学習器の入力としてよい。直列は、一の機械学習器の出力を、他の機械学習器の入力に使用することであってよい。また、複数の機械学習機能を用いる場合は、一の特定の具体的なパラメータについては一の機械学習機能が適用され、他の特定の具体的なパラメータについては他の機械学習機能が適用されてよい。
 図12は、複数の機械学習器を使用する一例である。本例では、機械学習器が、機械学習済みであるとする。入力120aと入力120bが、それぞれ、機械学習器a121、機械学習器b122、に入力され、それらの出力120d、120eが、機械学習器c123に入力され、出力120cが出力される状態を示している。ここで、入力120a及び入力120bは、各々、一又は複数のパラメータに対する入力情報であってよく、一部又は全部について重複してもよいし、重複しなくてもよい。また、出力120d、120eは、各々、機械学習器a121、機械学習器b122の出力が、そのまま、機械学習器c123に入力されてもよいし、一部加工されて、機械学習器c123に入力されてもよい。
 本例において、例えば、入力情報120aが、受精卵を撮像した画像に係る情報、例えば、画像であり、機械学習器a121がディープラーニングを用いたニューラルネットワークであってよい。また、入力情報12bが、受精卵に係る男性及び/又は女性に係る情報と、受精卵について測定された情報であってよく、機械学習器b122が、サポートベクターマシーンなどであってよい。ただし、サポートベクターマシーンに限らず、他の機械学習手法を用いてもよい。また、出力120cは、受精卵に基づく生育に係る情報であってよい。かかる構成により、画像に特化したディープラーニングを用いたニューラルネットワークと、他の情報を用いた機械学習器とを用いて、各入力の特性に合わせた機械学習器を適用することにより、より機械学習の効率と精度を向上できる利点がある。
 また、機械学習部は、胚について機械学習する機能を有してもよい。具体的には、胚画像と、胚画像に係る情報と、の関係を機械学習可能な機能を有してよい。また、胚画像と、胚画像に係る情報と、の関係について機械学習済みの機能を有し、得られた胚画像に対して、かかる胚画像についての胚画像に係る情報を生成できる機能を有してよい。機械学習部における胚についての機能は、以下で別途説明する。
2.3.協調機械学習部
 協調機械学習部は、機械学習部における重みを管理する機能を有してよい。かかる重みは、機械学習済みの機械学習部から、伝達されたものを用いて管理してよい。すなわち、協調機械学習部は、一又は複数の機械学習部から伝達された重みを用いて、協調機械学習部における重みを生成する機能を有してよい。かかる生成された重み(本願書類において、「統合済み重み」ということがある)は、機械学習部に伝達されてよい。
 図13は、協調機械学習部と機械学習部との関係を示す一例である。機械学習部a131と機械学習部b132と、は各々協調機械学習部133と接続可能であってよい。また、機械学習部a、機械学習部b、協調機械学習部は、ネットワークを介して接続可能であってよい。また、機械学習部aと、機械学習部bと、協調機械学習部と、は異なる医療関係機関において所有、利用、管理、されるものであってよい。
 かかる構成が使用される一例としては、以下が考えられる。まず、機械学習部aにおいて、データAを用いて機械学習がされるとする。データAは、一又は複数のデータであってよい。機械学習部aは機械学習により、機械学習済みとなり、かかる機械学習に対応して重みAを生成できる。機械学習部aは、かかる重みAを、協調機械学習部に伝達してよい。協調機械学習部は、かかる重みA又はかかる重みAを機械学習部bに適用可能に加工したものを、機械学習部bに伝達してよい。機械学習部bは、かかる重みA又はかかる重みAを機械学習部bに適用可能に加工したものを用いて、以後の機械学習機能を適用してよい。この場合、機械学習部bにおいては、機械学習部aにおける学習をする必要がない利点がある。すなわち、機械学習部bにおいては、機械学習部aにおける学習で使用したデータを用いることなく、機械学習部aが学習によって得た機能を、重みA又はかかる重みAを機械学習部bに適用可能に加工したものの伝達により、得ることができる利点がある。これは、機械学習部aが機械学習にあたり利用したデータが、医療用情報などの個人情報を含む場合において、かかる個人情報を、機械学習部aから、協調機械学習部に伝達しなくとも、機械学習部bにおいて、機械学習できる利点がある。
 機械学習部bは、更に機械学習部bにおいて、機械学習してよい。機械学習部bは機械学習により、機械学習済みとなり、かかる機械学習に対応して重みBを生成できる。機械学習部bは、かかる重みBを、協調機械学習部に伝達してよい。協調機械学習部は、かかる重みB又はかかる重みBを機械学習部aに適用可能に加工したものを、機械学習部aに伝達してよい。機械学習部aは、かかる重みB又はかかる重みBを機械学習部aに適用可能に加工したものを用いて、以後の機械学習機能を適用してよい。この場合、機械学習部aにおいては、機械学習部bにおける学習をする必要がない利点がある。すなわち、機械学習部aにおいては、機械学習部bにおける学習で使用したデータを用いることなく、機械学習部bが学習によって得た機能を、重みB又はかかる重みBを機械学習部aに適用可能に加工したものの伝達により、得ることができる利点がある。これは、機械学習部bが機械学習にあたり利用したデータが、医療用情報などの個人情報を含む場合において、かかる個人情報を、機械学習部bから、機械学習部aに伝達しなくとも、機械学習部aにおいて、機械学習できる利点がある。
 なお、図示しない新たに機械学習部cがある場合、協調機械学習部は、かかる機械学習部cに対して、上述の重みB又はかかる重みBを機械学習部cに適用可能に加工したものを伝達してよい。この場合、機械学習部cは、まったく機械学習していない場合であっても、機械学習部a及び機械学習bにおいて機械学習された精度の高い機能を、これらの機械学習の処理せずに、かつ、医療情報内に個人情報が含まれている場合においてもかかる個人情報を受領せずに、実現できる利点がある。
 また、統括機械学習部は、複数の機械学習部から取得した各重みを統合して、これらの複数の機械学習部において利用可能な重みを生成する機能を有してよい。かかる各重みを統合して重みを生成する機能自体は、公知の技術が使用されてよい。
 すなわち、統括機械学習部を備えるシステムは、
 受精卵を撮像した画像に係る情報と、前記受精卵に係る男性及び/又は女性に係る情報と、前記受精卵について測定された情報と、前記受精卵に基づく生育に係る情報と、の関係を機械学習する第1機械学習部によって生成された第1重みを取得する取得部と、
 受精卵を撮像した画像に係る情報と、前記受精卵に係る男性及び/又は女性に係る情報と、前記受精卵について測定された情報と、前記受精卵に基づく生育に係る情報と、の関係を機械学習する第2機械学習部によって生成された第2重みを取得する取得部と、
 前記第1重みと第2重みとを統合し、前記第1機械学習部及び前記第2機械学習部によって利用可能な第3重みを生成する生成部と、
を備えるシステムであってよい。
2.4.制御部
 制御部は、機械学習部の機能を支援する機能を有する。また、制御部は、その他の機能を有してよい。その他の機能としては、例えば、後述する、胚画像についての処理や、胚画像を選択する画面に利用される情報を生成する機能を有してよい。
2.5.記憶部
 記憶部は、上述の各機能を実現するために必要な情報を記憶する機能を有する。記憶部は、上述の各機能についてのプログラムを記憶する機能を有してよく、また、各プログラムにおいて使用される情報を記憶する機能を有してよい。
3.実施形態
 本願発明に係る一実施例のシステムは、不妊治療についての情報を用いて、不妊治療を支援するシステムに係る。不妊治療のART(生殖補助医療技術、Assisted Reproducted Technology)においては、女性から取得した卵子と、男性から取得した精子を、体外で受精させて得られた受精卵(本願書類において「胚」ということもある)を一定程度培養し、女性の体内に戻す。そこで、本例のシステムは、ARTを受ける予定の男性・女性について、これらの各ステップで得られる情報を用いて、受精卵の生育について予想する機能を有してよい。また、本例のシステムには、かかるARTについての患者(本願書類において、単に「患者」ということもある)の情報を収集し、整理する側面がある。すなわち、一の患者について予想しつつ、かかる一の患者についての実際の結果も本例のシステムに記憶できる場合、その情報が用いられて、機械学習されて利用することで、将来のARTについての予測に利用できることとなる。この場合、更に予測精度が向上する利点がある。そこで、以降では、本例のシステムは、ARTを受ける患者についての側面を記憶し、支援していくシステムとして、利用者である医療関係者の観点で説明する。以下において各画面は、利用者端末上において表示されてよく、そのために、管理システムは、画面に表示されうる情報を、利用者端末に対して送信してよい。
 本例のシステムは、次の3つの機能を有してよい。すなわち、患者自身に関する情報の管理機能、患者のARTに関する情報の管理機能、そして、患者に係る受精卵に関する情報の管理機能である。
 図14は、かかる3つの機能についてのメニュー構成を示す図である。トップページから、ログイン頁に移り、ログインにおいて、IDとパスワードなどを入力することで、メニュー画面に移る。匿名化加工済の患者情報を含むセンシティブな情報を扱うことから、パスワードなどの認証情報によって、利用者を厳格に管理できる機能を有してよい。かかる機能により、情報の安全性が向上する利点がある。
 メニューは、大きく分けて、患者情報、胚検索、IVF (厳密には、IVFとICSIを含むため、”ART移植“を指すものであり、以後もその意味として「IVF」と記述する。) データ検索、に分類されている。患者情報では、患者情報についての登録、編集、検索、確認、などが可能である。胚検索では、胚の検索、編集、登録、選択、などが可能である。IVFデータ検索では、IVFデータの紹介や編集が可能である。IVFデータ検索では、IVFデータの検索、照会、編集などが可能である。
 図15は、患者に関する検索画面の一例である。患者情報について、登録、検索、編集などが可能であってよい。登録される情報は、上述の受精卵に係る男性及び/又は女性に係る情報内の情報であってよい。検索では、種々の観点で可能であってよい。本画面では、生年月日、受診予定日、などであってよい。なお、患者情報は、受精卵の生育状況についての結果に応じて削除できる構成としなくてよい。受精卵の生育状況が否定的な場合であっても、削除されない構成とすることにより、否定的な情報も含めて、学習対象となり、予測精度の向上に役立つ利点がある。なお、論理削除はできてよい。
 図16は、患者一覧の画面である。各患者について、胚登録と、IVFデータの登録が、可能であってよい。また、患者は複数回の採卵および複数回の移植を行う可能性があることから、一の患者に対して、複数の採卵と、複数回の移植を個別に管理できることが好ましい。そこで、移植に使った胚がどの採卵周期で得られたものかを管理する機能があってよい。より具体的には、例えば、胚データ数をクリックした場合、患者IDを指定した胚情報一覧を見ることができる機能があってよい。また、IVFデータ数をクリックした場合、患者IDを指定したIVFのIDの一覧を見ることができる機能があってよい。なお、各患者の情報は、患者IDを除き、各項目について、修正が可能であって良い。
 図17は、患者の情報を、CSVファイルのインポート形式によって、登録する例である。かかるCSVファイルなどの所定の情報形式をインポートできる機能を有することにより、新たな医療機関に本システムが導入された場合、患者情報の登録が容易である利点がある。なお、指定フォーマットに関する説明が表示可能であることにより、利用者は、入力フォーマットを間違える恐れが低下する利点がある。指定フォーマットは、CSVフォーマット以外のフォーマットでもよいことは当然である。なお、患者数が多い場合、登録に時間が必要な場合がある。そのため、ファイルによる登録機能は、インポートの完了見込み時間を表示する機能を有してよい。この場合、ファイル内の患者数を先に計算し、かかる患者数から登録に必要と予想される時間を計算し、かかる必要と予想される時間を表示してよい。また、ファイルによる登録機能は、インポートの完了後、所定のメールアドレスに、インポートが完了した旨を連絡する機能を有してよい。この場合、利用者は、メールによって時間の必要なインポートが完了したことが分かる利点がある。なお、ファイルのインポートにおいては、パラメータ間の影響を最小化したり、データレンジの調整や、連続値を離算値に変換したり階層化するなど、データの正規化の処理を行ってよい。これらの技術が適用されることにより、各医療機関において、従来取得されていた情報を再活用できる利点がある。特に、機械学習される情報は、一定の精度があれば、多い方が有益であることから、機械学習可能なように情報を正規化できる技術的価値は高い。
 次に、IVFデータについての説明を行う。図18は、IVF情報を登録する画面の一例である。IVFデータは、特定の患者について、行われるものであるため、患者についての情報が表示される。本図において、患者IDは、特定の女性(妻)と特定の男性(夫)について、各年齢、採卵回数、ET回数、が表示されている。このように、ARTや受精卵は、特定の女性と特定の男性という2人に対して、一の患者IDが指定されていてよい。本システムにおけるIVFについては、1)IVF情報入力、2)胚選択、3)胚移植、4)結果入力、の4つのステージで情報を入力できてよい。
 本例のシステムは、新鮮胚移植と、凍結胚移植と、の両方を扱うことができる構成としているが、いずれか一方のみであってもよい。本図において、新鮮胚移植の場合は、「採卵実施」にチェックを入れる。他方、凍結胚移植の場合は、「採卵実施」にチェックを入れずに、採卵時のIVFのIDを検索し、凍結胚を特定する。本図においては、IVF情報として、HCGに関する情報などを入力可能としている。各胚について、新鮮胚又は凍結胚として、各胚についての情報が入力可能であって良い。
 図19は、採卵した5つの胚についての情報が登録された旨を示す画面例である。
 図20は、凍結胚を含む胚について、胚を選択する画面である。胚選択の画面においては、選択可能な各胚について、胚画像、胚グレード、妊娠確率、出産確率、LOSS率、など、胚を選択するのに参考となる情報が表示されてよい。ここで、胚画像は、本図においては、一つのみであるが、一の胚は、時間の経過に伴い成熟するものである。そのため、一の胚について、複数の画像があり得る。かかる複数の画像は、手動で撮像されたものでもよいし、自動的に撮像されたものでもよい。自動的な撮像については、後述する。また、本画面において、表示されうる表示例についても、後述する。
 胚グレードは、手動で評価されて情報として記憶されたものが表示されてもよいし、自動的に評価されて情報として記憶されたものが表示されてもよいし、表示されなくともよい。胚グレードは、胚の評価の手法として、医療関係者に親しまれているものであることから、かかる情報が画像と同一画面上に表示されることにより、胚の選択時に、医療関係者が、安心して選択できる利点がある。
 妊娠確率、及び/又は、出産確率は、上述の機械学習部における機械学習済み機能が用いられて、生成されたものであって良い。すなわち、受精卵を撮像した画像に係る情報と、前記受精卵に係る男性及び/又は女性に係る情報と、前記受精卵について測定された情報と、前記受精卵に基づく生育に係る情報と、の関係について、機械学習されたものを使用することによって、対象となる患者における受精卵についての、受精卵に基づく生育に係る情報が生成できる。そのため、かかる生育様相に係る情報の下位概念として、妊娠確率、及び/又は、出産確率、を生成できてよい。これにより、利用者は、各胚を患者に対して移植した場合という特定の場合における妊娠確率、及び/又は、出産確率、が生成され、表示されることによって、どの胚を移植するのが最も妊娠確率、及び/又は、出産確率を向上できるか、を数値的に理解できる利点がある。また、胚グレードが表示されることにより、ブラックボックスになりうる機械学習手法の数値情報のみでなく、従来の医療知識である胚グレードを利用できる利点がある。また、胚画像が表示されることにより、同様に、ブラックボックスになりうる機械学習手法の数値情報のみでなく、医療関係者の有するARTに関する知識経験も加味して、胚を選択できる利点がある。なお、LOSS率は、妊娠確率から、出産確率を減じたものであり、かかる情報も、同様に、各胚が移植された場合における情報を収集できる利点がある。なお、これらの情報が、同一画面上に表示される場合、医療関係者は、一目で、これらの情報を理解することができるため、利便性が向上する利点がある。なお、本図において、採用する胚を判断し、「採用」又は「不採用」を選択して、入力可能とされ、情報として記憶できてよい。
 なお、妊娠確率、及び/又は、出産確率は、降順に表示されてよい。かかる構成の場合、多数の胚がある場合においても、確率の高い順に表示されることから、確率の高い順に検討できる利点がある。
 図21は、実際に胚移植を行った場合における情報を入力する画面の一例である。移植日、LAH施行の有無、移植数、などを入力でき、かかる情報が記憶されてよい。
 図22は、移植に関する結果を入力する画面の一例である。移植の結果として、妊娠陽性、HCG値、GS確認の有無、着床GS数、妊娠日、などを入力可能とされ、かかる入力された情報は、記憶されてよい。また、出産についても、出産又は流産、産子数、子宮外妊娠等の情報が、入力可能とされ、かかる入力された情報は、記憶されてよい。また、出産された出産日、週数、日数、出生体重、性別、分娩方法、なども入力可能とされ、かかる入力された情報は、記憶されてよい。
 上述のように多数の患者に関する情報が記憶されたものについては、適宜、検索が可能であって良い。利用者は、実際のデータを検索することにより、過去の実際の情報と比較可能となる利点がある。
 例えば、図23は、IVFの種々の観点について、検索が可能であって良い。例えば、移植方法が、新鮮胚移植や凍結胚移植、又は、単一胚移植や複数胚移植や二段階移植、などである。また、検索される情報の段階として、情報が入力された段階のものを対象とするのか、胚が選択されたもののみを対象とするのか、移植済みのものみを対象とするのか、結果が出たもののみを対象とするのか、それとも全てを対象とするか、などである。同様に、結果についても、妊娠があるもの、出産があるもの、又は、全てを対象とする、などが選択可能であって良く、これらの検索条件に合うものを検索可能とされてよい。
 図24は、検索結果の画面の一例である。各IVFについて、患者ID、移植日、新鮮胚又は凍結胚、移植方法、そして、現在の入力情報が表示されてよく、「IVF編集」をクリックして選択することにより、各IVFへの頁に移動可能であって良い。また、現在の入力情報は、4つの矢印で表示されているが、これらは、IVF情報入力、胚選択、胚移植、結果入力、という本システムの4ステージのうち、どのステージまで情報が入力されているか、を示すものであってよい。
 図25は、胚検索を行う画面の一例である。ここでは、患者ID、採卵日などの情報によって、胚の検索が可能であって良い。かかる検索された胚について、後述する、胚情報の入力が容易となる利点がある。
 図26は、検索した胚の結果を示す一例である。
 図27は、胚についての培養結果を、CSVファイルの形式でインポート可能な画面の一例である。かかる画面により、胚の培養結果を、効率的かつ負担なく、入力できる利点がある。指定フォーマットや、ファイル形式などは、患者情報におけるファイルのインポートと同様である。
 図28は、胚についての画像を登録する画面の一例である。かかる画面により、画像ファイルをアップロード可能であって良い。胚画像が記憶されることにより、より胚に関する情報を収集し、整理できる利点がある。なお、この場合、特定の一又は複数のフォルダに予め胚画像を格納しておき、かかる一又は複数のフォルダを指定することにより、かかるフォルダ内に含まれる胚画像を記憶できるような構成にしてもよい。
 図29は、胚培養結果の情報を入力した結果を表示する画面の一例である。胚についての統計情報、撮像された画像を時系列に配置したもの、などが表示されている。ここで、中央の「略」とされたものの一例としては、図30のリストに挙げられたものがある。これらの情報は、統計情報として、生成されたものでもよいし、手入力で入力されたものでもよい。
 また、ここで、胚の画像の自動的な撮像及び、かかる胚(受精卵)を撮像した画像に係る情報の収集について、説明する。
 ARTを行うための胚は、時間の経過とともに、胚特有の生育が行われる。本願発明者は、この過程の情報が、ARTについての予測を行うのに利用できることに着目し、上述の通り、少なくとも一部を利用した機械学習部を検討した。他方で、かかる胚の生育過程に関する情報を手作業で収集する場合、非効率的であることにも着目した。そこで、胚の生育過程に係る情報の収集を支援する技術について、以下に説明する。かかる胚の生育過程に係る情報の収集を支援する技術(本願書類において、「胚情報収集システム」ということがある)により、作業負担が減少する利点がある。
 胚情報収集システムは、胚の培養過程を継続的に撮像する撮像装置によって撮像された画像を用いる。かかる画像を収集可能な、胚の培養過程を継続的に撮像する装置は、公知の技術であってもよい。
 胚情報収集システムは、機械学習機能を有する。胚情報収集システムは、胚の培養過程を継続的に撮像された動画を構成する画像群と、胚画像に係る情報と、の関係を機械学習する機械学習する機能を有してよい。胚情報収集システムは、胚の培養過程を継続的に撮像された動画を構成する画像群と、胚画像に係る情報と、の関係を機械学習済みの機械学習部を有する。かかる機械学習済みの機械学習部は、学習済みモデルであってもよい。胚情報収集システムは、対象となる胚の画像を取得し、かかる胚の画像に対して、かかる機械学習済み機能を適用し、対象となる胚の画像についての、胚画像に係る情報を生成する機能を有する。
 胚画像に係る情報は、所定のイベントの有無、及び/又は、所定のイベントの発生時間に係る情報、を含んでよい。所定のイベントは、胚の生育過程特有のイベントであって良く、たとえば、雌雄前核形成、雌雄前核消失、細胞分裂、胚盤胞形成、などが挙げられてよい。また、所定のイベントは、細胞分裂による細胞の数の増加、であってもよい。また、所定のイベントの発生時間に係る情報は、胚の受精時からの経過時間や、所定のイベントからの経過時間、などであってよい。
 例えば、胚情報収集システムは、機械学習済み機能を用いて、胚画像内の極体と雌雄前核を検出する機能を有してもよい。
 なお、採卵を中止した場合、図31のように採卵の中止に関する情報を入力し、記憶させる。
 次に、本願に係るシステムの画面の一例として、他の例を説明する。一例のシステムが胚についての関連する情報を記憶し表示することによって、医療関係者は、患者に関する胚を選択するにあたり、より精緻に胚の選択の検討が可能となる利点がある。
 図32は、胚の細胞分裂の態様を示すグラフを、表示する一例である。かかるグラフは、例えば、図20のような、胚を選択する画面において、一の患者と関連付けられる複数の各胚と関連付けられて、各胚についての細胞分裂の態様として、表示されてよい。図32は、細胞分裂が生じた時点における経過時間がプロットされているものであり、胚の細胞分裂による細胞数と経過時間との関係を示すものである。経過時間は、受精卵を生成した時点でもよいし、受精卵から所定の事象が生じた時点でもよく、医療関係者が適宜決定した開始時間からの経過時間としてよい。かかる細胞数と経過時間の関係により、胚が、どのような生育過程を経ているかを、グラフ表示により理解できる利点がある。なお、かかるグラフは、詳細なグラフであってもよいし、グラフの傾向を示すイメージを示すものであってもよい。また、かかる画面が、選択対象の胚と関連付けられて表示される又は表示可能とされることにより、胚を選択する際の貴重な情報になる利点がある。表示可能とするための態様としては、例えば、選択対象の胚と関連付けられたボタンなどが選択されることにより、ポップアップや他の画面遷移等の態様によって、表示可能とされてよい。
 図33は、胚についての情報を表示する他の画面の一例である。かかる一例は、上述の胚情報収集システムによって、胚についての情報が収集された場合において、かかる情報を表示される構成の一例である。本例は、上述の種々の発生したイベントと、そのイベントが発生した経過時間と、そのイベントが発生した胚の画像と、が関連付けられて表示されている一例である。このように一覧表示されることで、胚がどのように生育されているのか、また、各生育過程における種々の情報を容易に理解できる利点がある。また、かかる画面が、選択対象の胚と関連付けられて表示される又は表示可能とされることにより、胚を選択する際の貴重な情報になる利点がある。表示可能とするための態様としては、例えば、選択対象の胚と関連付けられたボタンなどが選択されることにより、ポップアップや他の画面遷移等の態様によって、表示可能とされてよい。
 図34は、対象となる患者についての情報を表示する画面例の一例である。本画面においては、対象患者に係る情報が、同一年齢群及び同一年齢群で実際に妊娠した群と比較した場合の関係を示すものである。縦の各項目は、血液データ、ホルモン値など、患者についての検査データがあってよい。そして、各検査項目について、実際に妊娠及び/又は出産した人々の検査値の範囲が斜線で表示されてよい。また、対象となる患者についての検査データが、楕円の●にて表示されている。ここでは、血液データは、実際に妊娠及び/又は出産した人々の検査値範囲内であるが、ホルモン値はかかる検査値範囲外であることを示している例である。かかる表示例により、対象となる患者が、妊娠及び/又は出産した人々の検査値の範囲内に含まれているかどうかという情報が表示され、医療関係者は、妊娠及び/出産についての情報を収集できる利点がある。なお、かかる画面例は、上記と同様に、図20のような胚を選択する画面において、一の患者と関連付けられて、患者に係る情報として、表示されてよい。この場合、胚に関する情報と合わせて、対象となる患者についての情報を収集し、理解できる利点がある。
 本願書類における機械学習済みモデルは、人工知能ソフトウェアの一部であるプログラムモジュールとしての利用が想定されてよい。本願発明の学習済みモデルは、CPU及びメモリを備えるコンピュータにて用いられてよい。具体的には、コンピュータのCPUが、メモリに記憶された学習済みモデルからの指令に従って、ニューラルネットワークの入力層に入力された入力データ(例えば、受精卵を撮像した画像に係る情報と、前記受精卵に係る男性及び/又は女性に係る情報と、前記受精卵について測定された情報)に対し、ニューラルネットワークにおける上述重みを用いた演算を行い、ニューラルネットワークの出力層から結果(前記受精卵に基づく生育に係る情報)を出力するよう動作してよい。特に、本願発明に係る機械学習済みモデルは、DeepLearning(深層学習)モデルを含んでよい。
4.更なる実施形態例
 次に、上述の実施形態に対する更なる追加の機能態様を説明する。以下で述べる構成や機能は、個々が独立して、上述の実施形態に追加されてよいし、上述の実施形態とは独立の発明であってもよい。
 4.1.タイムラプス画像群
 本願書類における機械学習済みモデルにおいて利用される画像は、タイムラプス画像群であってよい。かかるタイムラプス画像群は、所定の時間間隔毎に撮像された画像群であってよい。例えば、一つの受精卵を撮像する場合において、15分間隔毎に撮像される、などであってよいが、かかる間隔は一例であり、1分間隔毎や2分間隔毎などの短い間隔でもよいし、30分間隔毎や1時間間隔毎などの長い間隔でもよい。また、タイムラプス画像群の対象期間としては、例えば、5日間などであってよいが、これよりも短くてもよいし、長くてもよい。このように、一つの受精卵の生育過程を、タイムラプス画像群を用いることにより、生育過程を踏まえた画像の変化の情報を利用できる利点がある。
 また、本願書類における機械学習済み機能において利用される上述のタイムラプス画像群は、一の受精卵についてのタイムラプス画像群の全部を用いてもよいし、かかるタイムラプス画像群の一部の画像を用いてもよい。後者の例としては、例えば、機械学習済み機能に対して入力される画像は、一の受精卵についてのタイムラプス画像群のうちの特定の複数の画像であってもよい。
 機械学習済みの機械学習部に入力される特定の複数の画像は、受精卵の生育過程のうちの特定の生育時点に対応するものであってよい。例えば、受精卵の生育過程のうちの特定の生育時点としては、tSC、tSB、tB、などが挙げられる。すなわち、発明者らは、一の受精卵の生育過程において現れうる、t2、t3、t4、t5、t6、t7、t8、(t9+)、tM、tSB、tB、tEB、tHB、tSC等のいずれも各固有の情報を有するところ、特に、tSC、tSB、tBの生育時点が、上述の生育に係る情報について、影響を与えることを発見した。そのため、上述の生育に係る情報を出力とする機械学習済みモデルへの入力に使用される画像は、tSC、tSB、tBの生育時点に対応する画像を含む画像であってよい。この場合、影響を与える画像を利用することで、より精度高く情報を生成できる利点がある。
 また、受精卵の生育過程のうちの特定の生育時点に対応する画像を特定する際、生育過程を特定する機械学習済みモデルが用いられてもよい。すなわち、生育過程を特定する機械学習済みモデルは、画像と、画像に対応する生育時点(例えば、t2、t3、t4、t5、t6、t7、t8、(t9+)、tM、tSB、tB、tEB、tHB、tSC等)と、の関係を機械学習済みであってよい。かかる生育過程を特定する機械学習済みモデルは、受精卵の生育過程の一の生育時点について撮像された画像を入力とし、かかる撮像された画像に対応する生育時点を出力としてよい。かかる生育過程を特定する機械学習済みモデルが利用されることにより、一の受精卵についてのタイムラプス画像群を構成する複数の画像が入力された場合、各画像に対応する生育過程が特定できてよい。そして、上述のように、特定の生育時点であるtSC、tSB、tB、に対応する、一の受精卵についてのタイムラプス画像群の複数の画像のうちの、特定の複数の画像を特定できてよい。各受精卵の生育過程は、個々の受精卵毎に異なりうることから、受精卵の生育過程を時間のみで、t2、t3、t4、t5、t6、t7、t8、(t9+)、tM、tSB、tB、tEB、tHB、tSC等を特定することは難しい。しかし、かかる生育過程を特定する機械学習済みモデルが用いられることにより、個々の受精卵の成長速度を踏まえて、受精卵の画像から、tSC、tSB、tB等の生育時点を特定できる利点がある。なお、上述のtSC、tSB、tB等の生育時点は、例えば、受精卵の受精から、82時間、97時間、108時間などが一例であるが、これらの時間は経過時間についての正規分布にしたがってよく、これらの時間は、正規分布の頂点に対応する個所の時間であってよい。
 次に、タイムラプス画像群及び特定の生育過程に対応する画像を用いた処理の流れの一例を説明する。
 まず、一の受精卵についてのタイムラプス画像群を取得する(ステップ1)。
 次に、画像と、受精卵の特定の育成時点と、の関係を機械学習済みである、生育過程を特定する機械学習済みモデルを用いて、タイムラプス画像群を構成する複数の画像に対応する生育時点を特定する(ステップ2)。
 次に、タイムラプス画像群と対応する生育時点の情報を用いて、特定の生育時点(tSC、tSB、tB)に対応する画像を特定する(ステップ3)。
 特定の生育時点に対応する画像を含む受精卵を撮像した画像に係る情報を用いて、上述のとおり、受精卵を撮像した画像に係る情報と、前記受精卵に係る男性及び/又は女性に係る情報と、前記受精卵について測定された情報と、前記受精卵に基づく生育に係る情報と、の関係を機械学習済みである機械学習器を含む機械学習部の機械学習器に適用して、前記対象受精卵に対応する生育に係る情報を生成する(ステップ4)。なお、受精卵を撮像した画像に係る情報における受精卵を含む画像は、上述の特定の生育時点(tSC、tSB、tB)に対応する画像のみが用いられてもよい。
 4.2.雌雄前核領域の特定
 次に、本願書類に係る機械学習済みモデルにおいて、雌雄前核の領域をピクセル単位で特定する手法について、説明する。雌雄前核の領域を、ピクセル単位で計算することにより、より精緻に雌雄前核の領域の面積を計算できる利点がある。
 画像と、雌雄前核の領域と、の関係を機械学習する機械学習済みモデルは、受精卵についての画像と、前記受精卵についての画像内の雌雄前核領域が所定の手法により特定された画像と、の関係を機械学習してよい。所定の方法は、画像内の雌雄前核の領域を、機械学習時に特定できるものであればよい。例えば、画像内の雌雄前核領域が、アノテータがアノテーションされたものでよい。アノテーションの態様は、所定の色や所定の模様などであってよい。
 例えば、図41は、雌雄前核に対して所定の方法でアノテーションされた画像である。本図では、雌雄前核のうち、雌性前核を青(411)、雄性前核を赤(412)に設定した例である。このように所定の方法で雌雄前核が特定されてアノテーションされた画像が用いられて機械学習がされた機械学習済みモデルは、受精卵についての画像を入力とすると、出力は、入力された画像に対して所定の方法で雌雄前核が特定された画像となる。特に機械学習時のアノテーションが、雌雄前核の領域を直接所定の方法で特定していることから、かかる雌雄前核の領域をピクセル単位で特定できる利点があり、これにより、雌雄前核の領域の面積を、より精緻に計算できる利点がある。かかる雌雄前核の領域の面積は、受精卵を撮像した画像に係る情報の下位概念であってよい。
 4.3.雌雄前核を含む画像の特定
 次に、受精卵内の雌雄前核を含む画像の特定方法について、説明する。
 受精卵における雌雄前核は、3次元の受精卵内の種々の場所に存在する可能性がある。そのため、例えば、受精卵を、タイムラプスインキュベータなどによって受精卵自体を破壊せずに受精卵を輪切り上の平面で撮像する場合において、かかる平面上に雌雄前核が存在しない場合や雌雄前核の撮像が不十分な場合がある。その場合、雌雄前核に関する情報が不十分となる問題が生じる。
 そこで、受精卵内の雌雄前核を含む画像を特定する段階において、発明者は、機械学習済みモデルを利用することを見出した。すなわち、画像と、かかる画像内の雌雄前核領域と、の関係を機械学習した機械学習済みモデルであって、入力された画像に対応する雌雄前核の領域を出力した場合における予測信頼度スコアを出力可能な機械学習済みモデル、が用いられて、かかる予測信頼度スコアが用いられて、受精卵内の雌雄前核を含む画像を特定してよい。
 受精卵内の雌雄前核を含む画像を特定する場合における一例の処理は、次のようなものである。
 まず、一の受精卵についての特定の時点において、タイムラプスインキュベータ装置において撮像される3次元のZ軸方向の値が異なる複数の画像を取得する(ステップ1)。一の受精卵についての特定の時点において、例えば、タイムラプスインキュベータが、3次元におけるZ軸方向の値が異なる、一の受精卵に対する、7つの画像や、11つの画像を取得する。
 次に、複数の画像を、機械学習済みモデルに適用して、各画像に対する予測信頼度スコアを計算する(ステップ2)。例えば、上述の7又は11の画像に対して、機械学習済みモデルを適用して、対応する、予測信頼度スコアを計算する。
 次に、かかる特定の時点における複数の画像のうち、予測信頼度スコアの最も高い画像を選択する(ステップ3)。例えば、上述の7又は11の画像に対応して得られた、7又は11の予測信頼度スコアのうち、最も高い予測信頼度スコアに対応する画像を特定する。なお、以上の流れにおいて、タイムラプスインキュベータが撮像可能な画像の枚数の7又は11は一例であり、他の枚数であってもよい。
 また、以上の流れにおける、一の受精卵のタイムラプス画像に対し、上述の機械学習済みモデルの適用は、タイムラプス画像の異なる時点毎に適用されてよい。雌雄前核は、胚の運動や焦点の関係で、ある時点においては受精卵のある特定の平面で撮像することが好ましいとしても、同一の受精卵についての他の時刻において同一の特定の平面で撮像することが好ましいとは限らないためである。したがって、一の受精卵に対して利用される画像が、タイムラプスの各時点において、複数の画像のうちの一の画像を選択できることにより、より情報量の多い画像を利用できる利点がある。
 以上のとおり、一の受精卵について、タイムラプスインキュベータによって撮像された、特定の時点における複数の画像のうち、機械学習済みモデルの予測信頼度スコアを利用することにより、より適切な雌雄前核を含む画像を特定できる利点がある。
 かかる特定された雌雄前核を含む画像は、上述の対象受精卵に係る情報の一部として、システムにおいて、利用されてよい。
 なお、上述において、一の受精卵と説明したが、受精卵を撮像したものであれば、複数の受精卵が含まれるものであってもよい。
 4.4.画像情報の分析
 次に、撮像画像に関する情報を提供支援する技術を説明する。
 一例のシステムが本機能を備える場合、本例のシステムは、タイムラプス画像群に対し、設定された種々の条件に対応する一又は複数の画像及び/又は数値を出力可能であってよい。本機能は、生育に係る情報を生成する機能とは、別途独立に機能するものであってもよいし、上述の生育に係る情報が生成された場合と関連付けられた受精卵を撮像した画像に係る情報の下位概念であってもよい。
 種々の条件は、時に係る情報、項目に係る情報、項目間比較、特定項目の数値比較、総合判定、などを含んでよい。
 時に係る情報は、例えば、フレーム数指定、フレーム数(相対値)、時間指定、時間指定(相対値)、所定の形態的特徴が生じる時に係る情報、などを含んでよい。フレームは、上述のタイムラプス画像群における複数の画像の一を特定するものであってよい。所定の形態的特徴が生じる時に係る情報は、例えば、前核がないもの、前核があるもの、前核が発生した時点、前核消失時点、細胞数が2となった時点、細胞数が4となった時点、細胞数が8となった時点、細胞数が16となった時点、細胞内の状態が所定の変化を生じた時点、細胞膜の状態が所定の状態に変化した時点、極体が1個になった時点、及び/又は、極体が2個になった時点、などであってよい。また、これらのかかる時に係る情報は、所定の時点が生じたものであってもよいし、所定の状態が充足される期間であってもよい。
 例えば、図35は、時に係る情報を設定する画面の一例を示す。表示画面内において、時に係る情報を種々設定可能であり、例えば、画像の検索や数値を計算する対象としての時に係る情報として、前核消失時点を設定したり(3501)、フレーム相対数として+2を設定したり(3502)、時間指定の相対値として-450を設定する(3503)ことができてよい。なお、この場合、画像の検索又は数値を計算する対象となるのは、前核消失時点からフレーム+2かつ-480時間とされたものである。このように、検索条件を一又は複数設定することにより、所望の画像の検索又は数値の計算の対象を特定できる利点がある。また、このように複数の検索条件で設定されるものに対して、名称を設定できてよく(3504)、また、このように設定された名称によって検索条件を呼び出すことができてよい。この場合、検索条件を名称により簡単に呼び出せるため、便宜が向上する利点がある。
 また、図36は、時に係る情報を設定した後の画面であり、更に、他の時に係る情報の設定が可能であってもよく(3601)、また、時に係る情報に追加して、又は、代えて、項目の設定をしてもよい(3602)。
 また、項目は、細胞数、細胞全体の面積、個別細胞の面積、細胞全体の半径、個別細胞の半径、細胞全体の中心座標、個別細胞の中心座標、雌性前核の面積、雄性前核の面積、雌性前核の座標、雄性前核の座標、及び/又は、極体の中心座標、などを含んでよい。また、項目は、一又は複数の項目が設定されてよく、また複数の項目間の加減乗除、剰余を設定可能であってよい。
 例えば、図37は、項目を設定する画面の一例である。項目は、一又は複数のもので設定してよい(3701)。一の項目の場合は、かかる項目を直接設定してよい。本図では、複数の項目を設定する画面を示している。複数の項目を用いた演算としては、例えば、雌性前核の面積(3702)から、雄性前核の面積(3703)を、減算する演算を示している。
 また、項目間比較は、項目間の、大なり、小なり、大なりイコール、小なりイコール、及び/又は、イコール、などの比較演算が設定可能であってよく、項目間比較の判定値(TRUE・False)、二値計算結果(フレーム数など)を生成し、表示できてよい。
 図38は、項目間比較を設定するための画面の一例である。一つ目の項目間比較(3801)の設定は、時点を特定しない雌性前核の面積が、前核消失直前時点の雄性前核の面積よりも大きいものである。二つ目の項目間比較(3802)は、前核形成初期(8時間以上前)における雄性前核面積が、前核形成初期(8時間以上前)の雌性前核面積よりも大きいものである。三つ目の項目間比較(3803)は、前核消失8時間前における前核面積差が、前核消失8時間前より1フレーム前の時点における前核面積差よりも大きいものである。こそして、これら3つの項目間比較に合致するフレーム数(3804)が算出される。
 また、上述の種々の所定の条件に基づく特定項目と数値との比較もできてよい。例えば、図39は、時点を定義せず、細胞の半径が、数値40よりも大きいものを設定(3901)し、その条件に合致するフレーム数を出力とする(3902)設定である。なお、出力地として、フレーム数に代えて、そのような条件を充足するものの有無を判定値として(YES/NO)で表示してもよい。
 また、上述の判定値又はフレーム数に基づいて、一例のシステムは総合判定機能を有してよい。例えば、図40は、JE001の判定値A(4001)と、JE002の判定値B(4002)と、JE003の判定値C(4003)との関係について、(A OR B)AND Cの関係をベン図で判定してよい。また、ベン図に加えて又は代えて、項目比較や数値比較などが可能であってよい。
 以上の種々の所定の条件が設定されることにより、所望の画像及び/又は画像内の数値の計算が可能であってよい。
 例えば、本例のシステムを用いて、複数の異なる時点時点における受精卵の雌雄前核の各中心座標が生成された場合、これらの中心座標の推移から、雌雄前核の運動性と妊娠・出産などの臨床結果との関連性を調査するための参考情報を、利用者は取得できる利点がある。
 また、他の例においては、本例のシステムを用いて、時系列上の複数の異なる時点における細胞の分割数が生成された場合、細胞の分割数の推移が判明することから、生育過程と妊娠・出産などの臨床結果との関連性を調査するための参考情報を、利用者は取得できる利点がある。
 更に、他の例においては、本例のシステムを用いて、時系列上の複数の異なる受精卵の細胞数が生成された場合、受精卵の細胞数の推移が判明することから、細胞数と妊娠・出産などの臨床結果との関連性を調査するための参考情報を、利用者は取得できる利点がある。
 また、本例のシステムは、種々の条件を充足する画像を特定する及び/又は種々の条件を充足する数値を計算するために、画像と、画像内の細胞に係る情報と、の関係を学習した機械学習済み機能が使用されてよい。画像内の細胞に係る情報は、例えば、画像内における、雌雄前核の位置・面積、細胞膜の位置・面積、細胞数、及び/又は、極体の位置・面積・半径、などであってよい。すなわち、機械学習部は、画像と画像内の雌雄前核の位置及び/又は面積との関係を機械学習済みであってよい。また、機械学習部は、画像と画像内の細胞膜の位置及び/又は面積との関係を機械学習済みであってよい。また、機械学習部は、画像と画像内の細胞数との関係を機械学習済みであってよい。また、機械学習部は、画像と、画像内の極体の位置、面積、及び/又は半径との関係を機械学習済みであってよい。これらの関係を機械学習されていることにより、本例のシステムは、取得したタイムラプス画像群に対して、これらの機械学習済み機械学習部が適用されて、対応する数値などを生成し、これらを用いて、上述の所定の条件を充足する画像及び/又は数値を生成してよい。
 例えば、本例のシステムは、画像と、画像内の細胞に係る情報と、の関係を学習した機械学習済みモデルを備え、一の受精卵についてのタイムラプス画像群における個々の画像について、前記機械学習済みモデルが適用されて、画像と画像に対応する画像内の細胞に係る情報を関連付けて記憶し、時に係る情報、項目に係る情報、項目間比較、特定項目の数値比較、及び/又は、総合判定を含む種々の条件を取得する取得部と、前記種々の条件を充足する画像及び/又は数値を生成する生成部と、充足した前記画像及び/又は数値を表示する表示部と、を有してよい。
 本願書類において、「雌雄前核」という用語は、雌性前核、及び/又は、雄性前核、を含んでよい。そのため、例えば、雌雄前核の領域は、雌性前核の領域、及び/又は、雌性前核の領域、を含むものとして理解されてよい。また、本願書類における機械学習機能において利用される画像は、上述のタイムラプス画像群に含まれる画像であってもよいし、タイムラプスではない単なる画像であってもよい。
 本明細書で説明される処理及び手順は、実施形態において明示的に説明されたものによってのみならず、ソフトウェア、ハードウェア又はこれらの組み合わせによっても実現可能なものである。また、本明細書で説明される処理及び手順は、それらの処理・手順をコンピュータプログラムとして実装し、各種のコンピュータに実行させることが可能である。また、プログラムは、記録媒体に記録されてよい。また、プログラムは、非一過性の記録媒体に記録されてよい。また、記録媒体は、一時的でないものであってよい。
10 情報処理装置
11 バス
12 演算部
13 記憶部
14 入力部
15 表示部
16 通信IF
19 00 ネットワーク
01a、01b 利用者端末
02 管理者端末
202、302、402、502 サーバ
203、303、403、503 データベース
404、504 機械学習部
61 取得部
62 機械学習部
63 協調機械学習部
64 制御部
65 記憶部
121、122、123 機械学習器
131、132 機械学習部
133 協調機械学習部

Claims (18)

  1.  対象受精卵に係る情報を取得する取得部と、
     受精卵を撮像した画像に係る情報と、前記受精卵に係る男性及び/又は女性に係る情報と、前記受精卵について測定された情報と、前記受精卵に基づく生育に係る情報と、の関係を機械学習済みである機械学習器を含む機械学習部と、
     取得した前記対象受精卵に係る情報を、前記機械学習部内の機械学習器に適用して、前記対象受精卵に対応する生育に係る情報を生成する生成部と、
    を備えるシステム。
  2.  前記受精卵について測定された情報は、前記受精卵の採卵時に測定された情報と、及び/又は、前記受精卵の移植時に測定された情報と、を含み、
     前記機械学習部は、深層学習に係る機能を含む、
    請求項1に記載のシステム。
  3.  前記男性及び/又は女性に係る情報は、前記女性の血液の検査値に係る情報、前記女性のホルモン値に係る情報、及び/又は、前記男性の精子に係る情報を含む、
    請求項1又は2に記載のシステム。
  4.  前記対象受精卵に係る撮像された画像に係る情報と、前記対象受精卵に対応する生育に係る情報と、を関連付けて記憶する、
    請求項1乃至3のいずれか1項に記載のシステム。
  5.  前記対象受精卵に係る男性及び/又は女性に係る情報と、心拍数を伴う胎嚢形成である妊娠および出産する確率が所定の値よりも高い男性及び/又は女性に係る情報と、を関連付けて記憶する、
    請求項1乃至4のいずれか1項に記載のシステム。
  6.  前記関連付けて記憶された情報を、情報処理装置内のディスプレイに表示可能とさせるよう、前記情報処理装置に伝達する伝達部、
    を備える請求項4又は5のいずれか1項に記載のシステム。
  7.  前記対象受精卵について撮像された複数の画像の各々を、前記画像について判定された所定のイベント、及び/又は、前記画像が撮像された経過時間、を関連付けて記憶する、
    請求項1乃至6のいずれか1項に記載のシステム。
  8.  前記対象受精卵について撮像された複数の画像の各々における前記対象受精卵の細胞分裂による細胞数と、かかる細胞分裂時の経過時間と、の関係を情報処理装置内のディスプレイに表示可能とさせるよう、前記細胞数と前記経過時間とを関連付けた情報を、前記情報処理装置に伝達する伝達部、
    を備える請求項1乃至7のいずれか1項に記載のシステム。
  9. 前記生育に係る情報は、心拍数を伴う胎嚢形成である妊娠の可能性、出産される可能性、生物学的検査値に係る情報、及び/又は、染色体異常の可能性、を含む、
    請求項1乃至8のいずれか1項に記載のシステム。
  10.  前記対象受精卵に係る情報は、前記対象受精卵を撮像した画像に係る情報と、前記対象受精卵に係る男性及び/又は女性に係る情報と、前記対象受精卵について測定された情報と、を含む、
    請求項1乃至9のいずれか1項に記載のシステム。
  11.  受精卵を撮像した画像に係る情報と、前記受精卵に係る男性及び/又は女性に係る情報と、前記受精卵について測定された情報と、前記受精卵に基づく生育に係る情報と、を取得部と、
     前記取得した、受精卵を撮像した画像に係る情報と、前記受精卵に係る男性及び/又は女性に係る情報と、前記受精卵について測定された情報と、前記受精卵に基づく生育に係る情報と、の関係を機械学習する機械学習部と、
     前記機械学習によって得られた機械学習に係る重みを生成する生成部と、
     前記生成された重みを、他の情報処理装置に伝達する伝達部と、
    を備える請求項1乃至10のいずれか1項に記載のシステム。
  12.  受精卵を撮像した画像に係る情報と、前記受精卵に係る男性及び/又は女性に係る情報と、前記受精卵について測定された情報と、前記受精卵に基づく生育に係る情報と、の関係を機械学習する第1機械学習部によって生成された第1重みを取得する取得部と、
     受精卵を撮像した画像に係る情報と、前記受精卵に係る男性及び/又は女性に係る情報と、前記受精卵について測定された情報と、前記受精卵に基づく生育に係る情報と、の関係を機械学習する第2機械学習部によって生成された第2重みを取得する取得部と、
     前記第1重みと第2重みとを統合し、前記第1機械学習部及び前記第2機械学習部によって利用可能な第3重みを生成する生成部と、
    を備えるシステム。
  13.  コンピュータが、
     対象受精卵に係る情報を取得する取得ステップ、
     取得した前記対象受精卵に係る情報を、受精卵を撮像した画像に係る情報と、前記受精卵に係る男性及び/又は女性に係る情報と、前記受精卵について測定された情報と、前記受精卵に基づく生育に係る情報と、の関係を機械学習済みの機械学習部に適用して、前記対象受精卵に対応する生育に係る情報を生成する生成ステップ、
    を実行する方法。
  14.  コンピュータを、
     対象受精卵に係る情報を取得する取得手段、
     取得した前記対象受精卵に係る情報を、受精卵を撮像した画像に係る情報と、前記受精卵に係る男性及び/又は女性に係る情報と、前記受精卵について測定された情報と、前記受精卵に基づく生育に係る情報と、の関係を機械学習済みの機械学習部に適用して、前記対象受精卵に対応する生育に係る情報を生成する生成手段、
    として動作させるプログラム。
  15.  前記対象受精卵に係る情報は、タイムラプス画像群を含み、
     前記タイムラプス画像群は、tSC、tSB、及び、tBの形態が撮像された画像を含み、
     前記tSC、tSB、及び、tBの形態が撮像された画像は、画像と、画像に対応する生育時点との関係を機械学習済みモデルが適用されることによって、特定される、
    請求項1乃至10のいずれか1項に記載のシステム。
  16.  前記受精卵を撮像した画像に係る情報は、雌雄前核の領域の面積を含み、
     前記雌雄前核の領域の面積は、精卵についての画像と、前記受精卵についての画像内の雌雄前核領域が所定の手法により特定された画像と、の関係を機械学習済みモデルが適用されることが用いられて、計算される、
    請求項1乃至10及び15のいずれか1項に記載のシステム。
  17.  前記受精卵を撮像した画像に係る情報は、雌雄前核を含む画像を含み、
     前記雌雄前核を含む画像は、画像と、かかる画像内の雌雄前核領域と、の関係を機械学習した機械学習済みモデルが適用され、前記機械学習済みモデルに係る予測信頼度スコアが使用されて特定される、
    請求項1乃至10、15、及び16のいずれか1項に記載のシステム。
  18.  コンピュータを、請求項1乃至10及び15乃至17のいずれか一項に記載のシステムとして動作させるプログラム。
PCT/JP2021/007196 2020-03-05 2021-02-25 生殖補助医療を支援するための、システム、情報処理装置、サーバ、端末、プログラム、又は方法 WO2021177142A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022505160A JPWO2021177142A1 (ja) 2020-03-05 2021-02-25

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-037435 2020-03-05
JP2020037435 2020-03-05

Publications (1)

Publication Number Publication Date
WO2021177142A1 true WO2021177142A1 (ja) 2021-09-10

Family

ID=77614281

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/007196 WO2021177142A1 (ja) 2020-03-05 2021-02-25 生殖補助医療を支援するための、システム、情報処理装置、サーバ、端末、プログラム、又は方法

Country Status (2)

Country Link
JP (1) JPWO2021177142A1 (ja)
WO (1) WO2021177142A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023189194A1 (ja) * 2022-03-31 2023-10-05 ソニーグループ株式会社 情報処理装置、情報処理方法およびプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016509845A (ja) * 2013-02-28 2016-04-04 プロジェニー, インコーポレイテッド 画像ベースのヒト胚細胞分類のための装置、方法、およびシステム
JP2019509057A (ja) * 2016-01-28 2019-04-04 レタリー, ジェラルドLETTERIE, Gerard ヒト卵母細胞及び前核期胚の生殖能力評価のための自動画像解析
JP2019076058A (ja) * 2017-10-26 2019-05-23 ソニー株式会社 受精卵品質評価方法、プログラム及び情報処理装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016509845A (ja) * 2013-02-28 2016-04-04 プロジェニー, インコーポレイテッド 画像ベースのヒト胚細胞分類のための装置、方法、およびシステム
JP2019509057A (ja) * 2016-01-28 2019-04-04 レタリー, ジェラルドLETTERIE, Gerard ヒト卵母細胞及び前核期胚の生殖能力評価のための自動画像解析
JP2019076058A (ja) * 2017-10-26 2019-05-23 ソニー株式会社 受精卵品質評価方法、プログラム及び情報処理装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ASAKURA, HIROYUKI ET AL.: "Prediction accuracy of results of transplanting Timelabs observation embryos using artificial intelligence (AI) and machine learning algorithm s", JOURNAL OF JAPAN SOCIETY FOR REPRODUCTIVE MEDICINE, vol. 64, no. 4, 1 October 2019 (2019-10-01), pages 305 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023189194A1 (ja) * 2022-03-31 2023-10-05 ソニーグループ株式会社 情報処理装置、情報処理方法およびプログラム

Also Published As

Publication number Publication date
JPWO2021177142A1 (ja) 2021-09-10

Similar Documents

Publication Publication Date Title
CN108784655B (zh) 针对医疗患者的快速评估和后果分析
CN109564680B (zh) 信息处理方法和系统
Dixit Predicting Fetal Health using Cardiotocograms: A Machine Learning Approach
JP5181385B2 (ja) 細胞の品質を予測する予測モデルの構築法、予測モデルの構築用ブログラム、該プログラムを記録した記録媒体、予測モデルの構築用装置
Swain et al. AI in the treatment of fertility: key considerations
JP2021507367A (ja) 胚の生存率を推定するためのシステムおよび方法
US20230018456A1 (en) Methods and systems for determining optimal decision time related to embryonic implantation
US11335000B2 (en) Fertile ovum quality evaluation method, fertile ovum quality evaluation system, program, and information processing apparatus
CN110115563A (zh) 一种中医证型预测系统
CN106104571B (zh) 用于分析胚胎发育的方法和设备
JPWO2020090947A1 (ja) プログラム、学習モデル、情報処理装置、情報処理方法、情報表示方法および学習モデルの製造方法
CN114420278A (zh) 一种基于规则算法的智能检查预约方法及系统
CN110085314A (zh) 医学检验数据的智能分析方法、系统以及设备
CN103299339A (zh) 诊疗支援系统
WO2021177142A1 (ja) 生殖補助医療を支援するための、システム、情報処理装置、サーバ、端末、プログラム、又は方法
Greatbatch et al. The impact of artificial intelligence on the current and future practice of clinical cancer genomics
Letort et al. An interpretable and versatile machine learning approach for oocyte phenotyping
CN110766665A (zh) 基于强监督算法和深度学习网络的舌象数据分析方法
Ranjini et al. Machine learning techniques for assisted reproductive technology: A review
JP6234138B2 (ja) 細胞観察情報処理システム、細胞観察情報処理方法、細胞観察情報処理プログラム、細胞観察情報処理システムに備わる記録部、細胞観察情報処理システムに備わる装置
IVSHIN et al. ARTIFICIAL INTELLIGENCE ON GUARD OF REPRODUCTIVE HEALTH.
WO2023151578A1 (en) Embryo selection process
US20240249142A1 (en) Methods and systems for embryo classificiation
Einy et al. Local Binary Convolutional Neural Networks′ Long Short‐Term Memory Model for Human Embryos′ Anomaly Detection
Feng et al. A hybrid stacked ensemble and Kernel SHAP-based model for intelligent cardiotocography classification and interpretability

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21764397

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022505160

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21764397

Country of ref document: EP

Kind code of ref document: A1