JP2024005549A - Time lapse image discriminator, learning method of time lapse image discriminator, and embryo discrimination device and embryo discrimination method - Google Patents
Time lapse image discriminator, learning method of time lapse image discriminator, and embryo discrimination device and embryo discrimination method Download PDFInfo
- Publication number
- JP2024005549A JP2024005549A JP2022105764A JP2022105764A JP2024005549A JP 2024005549 A JP2024005549 A JP 2024005549A JP 2022105764 A JP2022105764 A JP 2022105764A JP 2022105764 A JP2022105764 A JP 2022105764A JP 2024005549 A JP2024005549 A JP 2024005549A
- Authority
- JP
- Japan
- Prior art keywords
- learning
- embryo
- time
- lapse image
- patient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 210000001161 mammalian embryo Anatomy 0.000 title claims abstract description 111
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000012850 discrimination method Methods 0.000 title claims abstract description 7
- 238000013528 artificial neural network Methods 0.000 claims abstract description 14
- 230000008774 maternal effect Effects 0.000 claims description 55
- 238000012549 training Methods 0.000 claims description 8
- 238000003384 imaging method Methods 0.000 abstract description 5
- 210000002257 embryonic structure Anatomy 0.000 description 23
- 210000002569 neuron Anatomy 0.000 description 20
- 238000003062 neural network model Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 12
- 208000031404 Chromosome Aberrations Diseases 0.000 description 10
- 239000011159 matrix material Substances 0.000 description 9
- 238000012360 testing method Methods 0.000 description 9
- 206010008805 Chromosomal abnormalities Diseases 0.000 description 6
- 230000010365 information processing Effects 0.000 description 6
- 206010000234 Abortion spontaneous Diseases 0.000 description 5
- 210000002459 blastocyst Anatomy 0.000 description 5
- 208000015994 miscarriage Diseases 0.000 description 5
- 208000000995 spontaneous abortion Diseases 0.000 description 5
- 208000035752 Live birth Diseases 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 230000004720 fertilization Effects 0.000 description 4
- 235000013601 eggs Nutrition 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 210000004291 uterus Anatomy 0.000 description 3
- 210000000349 chromosome Anatomy 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000032692 embryo implantation Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000002513 implantation Methods 0.000 description 2
- 230000035935 pregnancy Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000001850 reproductive effect Effects 0.000 description 2
- 238000012384 transportation and delivery Methods 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 208000036878 aneuploidy Diseases 0.000 description 1
- 231100001075 aneuploidy Toxicity 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000012258 culturing Methods 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 210000002458 fetal heart Anatomy 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 230000002650 habitual effect Effects 0.000 description 1
- 238000000338 in vitro Methods 0.000 description 1
- 238000011534 incubation Methods 0.000 description 1
- 208000000509 infertility Diseases 0.000 description 1
- 230000036512 infertility Effects 0.000 description 1
- 231100000535 infertility Toxicity 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Landscapes
- Apparatus Associated With Microorganisms And Enzymes (AREA)
- Image Analysis (AREA)
- Medical Treatment And Welfare Office Work (AREA)
Abstract
Description
本発明は、タイムラプス画像判別器と、タイムラプス画像判別器の学習方法と、胚判別装置と、胚判別方法と、に関する。 The present invention relates to a time-lapse image discriminator, a learning method for a time-lapse image discriminator, an embryo discrimination device, and an embryo discrimination method.
我が国の生殖補助医療(Assisted Reproductive Technology:ART)による妊娠の分娩数は、近年増加している。2019年のARTによる分娩数は、年間分娩数の約7%に相当する6万件を超過している。ARTは、採卵された複数の卵を胚培養装置(インキュベータ)で胚盤胞まで培養して、培養された複数の胚(受精卵)の中から良好胚として選別された胚を子宮に移植する不妊症治療法である。 The number of pregnancies delivered using assisted reproductive technology (ART) in Japan has been increasing in recent years. In 2019, the number of deliveries using ART exceeded 60,000, which is approximately 7% of the annual number of deliveries. In ART, multiple collected eggs are cultured until they become blastocysts in an embryo culture device (incubator), and the embryos selected as good embryos from among the cultured multiple embryos (fertilized eggs) are implanted into the uterus. It is a treatment for infertility.
良好胚の選別は、胚培養士が受精直後(初期胚)と受精5日後(胚盤胞)それぞれの胚を目視により観察して、行われる。胚培養士の目視による胚の選別の評価精度は、胚培養士の知識や経験に依存する。そのため、画一的で高精度な胚の評価法が求められている。 Selection of good embryos is carried out by an embryo cultivator who visually observes the embryos immediately after fertilization (early embryos) and 5 days after fertilization (blastocysts). The accuracy of evaluation of embryo selection by the embryologist's visual inspection depends on the embryologist's knowledge and experience. Therefore, a uniform and highly accurate embryo evaluation method is required.
一方、子宮に移植されて着床した良好胚が流産に至ることは、少なくない。流産の原因の多くは、染色体異常(核型異常)である。染色体異常の確率は、患者の年齢と共に高くなることが知られている。そのため、一定の年齢に達した患者に関しては、胚の質の評価(良好胚か否か)よりも、染色体異常を評価することが、胚の移植から生児獲得の成否に重要である。そこで、近年、習慣流産や反復ART不成功例を対象として、子宮に移植される前の胚の染色体数を調べる着床前遺伝学的検査(Preimplantation Genetic Testing for Aneuploidy:PGT-A)が行われている。ただし、PGT-Aは、胚への侵襲性や高額な検査費用などの課題を抱える。 On the other hand, it is not uncommon for good embryos that are implanted in the uterus to end up in miscarriage. Many of the causes of miscarriage are chromosomal abnormalities (karyotype abnormalities). It is known that the probability of chromosomal abnormalities increases with the age of the patient. Therefore, for patients who have reached a certain age, evaluating chromosomal abnormalities is more important than evaluating the quality of the embryo (whether it is a good embryo or not) in determining the success or failure of obtaining a live birth from embryo transfer. Therefore, in recent years, Preimplantation Genetic Testing for Aneuploidy (PGT-A), which examines the number of chromosomes in the embryo before it is transferred to the uterus, has been conducted for cases of habitual miscarriage and repeated ART failures. ing. However, PGT-A has issues such as invasiveness to embryos and high testing costs.
これまでにも、培養中の胚を所定間隔で撮像してタイムラプス画像を生成する胚培養装置(タイムラプスインキュベータ)に関する発明や、タイムラプス画像を用いて機械学習されたモデルによる胚の評価に関する発明が、提案されている(例えば、特許文献1,2、非特許文献1-3参照)。 Until now, inventions related to embryo culture devices (time-lapse incubators) that image embryos being cultured at predetermined intervals to generate time-lapse images, and inventions related to embryo evaluation using machine-learning models using time-lapse images have been made. have been proposed (for example, see Patent Documents 1 and 2, and Non-Patent Documents 1-3).
本発明は、胚の判別精度(予測精度)を高める、タイムラプス画像判別器とタイムラプス画像判別器の学習方法と胚判別装置と胚判別方法とを提供することを目的とする。 An object of the present invention is to provide a time-lapse image discriminator, a learning method for a time-lapse image discriminator, an embryo discrimination device, and an embryo discrimination method that improve embryo discrimination accuracy (prediction accuracy).
本発明に係るタイムラプス画像判別器は、判別対象の患者の胚が撮像されたタイムラプス画像が入力される入力層と、胚の判別結果が出力される出力層と、入力層に入力されたタイムラプス画像と、患者の母体に関連する母体情報と、を用いて、出力層に出力される判別結果を算出する中間層と、で構成されるタイムラプス画像判別器であって、中間層は、ニューラルネットワークで学習されていて、中間層の学習において、学習用患者の学習用胚の学習用タイムラプス画像が、入力層に入力されて、学習用患者の母体に関連する学習用母体情報が、中間層に入力される、ことを特徴とする。 The time-lapse image discriminator according to the present invention includes an input layer into which a time-lapse image of an embryo of a patient to be discriminated is input, an output layer to which a discrimination result of the embryo is output, and a time-lapse image input into the input layer. and maternal information related to the patient's mother, and an intermediate layer that calculates a discrimination result to be output to the output layer, the intermediate layer is a neural network. In the learning of the middle layer, the learning time-lapse image of the learning embryo of the learning patient is input to the input layer, and the learning maternal information related to the mother of the learning patient is input to the middle layer. characterized by being done.
本発明は、胚の判別精度を高める。 The present invention improves the accuracy of embryo discrimination.
本発明に係る、タイムラプス画像判別器と、タイムラプス画像判別器の学習方法と、胚判別装置と、胚判別方法と、の実施の形態は、以下に図面と共に説明される。 Embodiments of a time-lapse image classifier, a learning method for a time-lapse image classifier, an embryo classifier, and an embryo classifier method according to the present invention will be described below with reference to the drawings.
●胚判別装置の構成●
図1は、本発明に係る胚判別装置(以下「本装置」という。)の実施の形態を示す機能ブロック図である。
●Configuration of embryo discrimination device●
FIG. 1 is a functional block diagram showing an embodiment of an embryo discrimination device (hereinafter referred to as "this device") according to the present invention.
本装置1は、判別対象の患者の胚を培養しながら、胚のタイムラプス画像を撮像する胚培養装置(タイムラプスインキュベータ)である。本装置1は、本発明に係るタイムラプス画像判別器(以下「本判別器」という。)が動作するタイムラプス画像判別装置としても機能する。 The present device 1 is an embryo culturing device (time-lapse incubator) that captures a time-lapse image of an embryo while cultivating an embryo of a patient to be determined. The present device 1 also functions as a time-lapse image discriminator in which a time-lapse image discriminator (hereinafter referred to as "main discriminator") according to the present invention operates.
本判別器は、あらかじめ、本発明に係るタイムラプス画像判別器の学習方法(以下「本学習方法」という。)により、教師ありの学習用データを用いて機械学習された学習済みのニューラルネットワークのモデルである。本学習方法の詳細は、後述される。ニューラルネットワークは、例えば、画像の判別精度が高いとされる、畳み込みニューラルネットワークである。学習用データは、学習用患者ごとの胚のタイムラプス画像と母体情報、並びに、学習用患者ごとの胚の経過情報である。胚の経過情報は、本判別器の判別(予測)の対象となる情報であって、例えば、胚の着床の成否、染色体異常の有無(正倍数性胚か否か)、である。 This discriminator is a model of a trained neural network that has been machine learned using supervised learning data using the learning method for a time-lapse image discriminator according to the present invention (hereinafter referred to as "this learning method"). It is. Details of this learning method will be described later. The neural network is, for example, a convolutional neural network, which is said to have high image discrimination accuracy. The learning data includes time-lapse images and maternal information of embryos for each learning patient, and progress information of embryos for each learning patient. The embryo progress information is information that is to be discriminated (predicted) by this discriminator, and includes, for example, whether the embryo has implanted successfully or not, and the presence or absence of chromosomal abnormalities (whether or not it is a euploid embryo).
本判別器は、判別対象の患者、つまり、生殖補助医療を受けて出産を希望する患者の胚(受精卵)のタイムラプス画像と母体情報と、に基づいて、着床率の高い良好胚であるか否か、あるいは、流産率の高い染色体異常であるか否か、を判別する。 This discriminator identifies good embryos with a high implantation rate based on time-lapse images and maternal information of embryos (fertilized eggs) of patients to be discriminated, that is, patients who wish to give birth through assisted reproductive technology. or whether it is a chromosomal abnormality with a high miscarriage rate.
以下の説明において、本判別器の判別の対象は、胚が良好胚であるか否かとする。 In the following description, it is assumed that the object of discrimination by this discriminator is whether the embryo is a good embryo or not.
なお、本判別器は、タイムラプスインキュベータで動作するのに代えて、パーソナルコンピュータなどの情報処理装置で動作してもよい。本判別器が動作する情報処理装置は、タイムラプス画像判別装置として機能する。本判別器は、本判別器が動作する情報処理装置のハードウェア資源と協働して、患者の胚を判別(胚の経過を予測)する。 Note that, instead of operating in a time-lapse incubator, this discriminator may operate in an information processing device such as a personal computer. The information processing device on which this discriminator operates functions as a time-lapse image discriminator. The present discriminator discriminates the patient's embryo (predicts the progress of the embryo) in cooperation with the hardware resources of the information processing device in which the present discriminator operates.
ここで、本判別器が動作する情報処理装置のハードウェア資源は、例えば、CPU(Central Processing Unit)、MPU(Micro Processing Unit)、DSP(Digital Signal Processor)などのプロセッサや記憶媒体である。この記憶媒体は、本判別器や、判別対象の患者のタイムラプス画像や母体情報などが記憶される。本判別器が動作するプロセッサは、本判別器が動作する情報処理装置が備える記憶媒体に記憶されている情報を用いて、本装置が備える後述の各手段(入力部、取得部、判別部、出力部)を実現する。 Here, the hardware resources of the information processing device on which this discriminator operates are, for example, processors such as a CPU (Central Processing Unit), MPU (Micro Processing Unit), and DSP (Digital Signal Processor), and storage media. This storage medium stores the main discriminator, a time-lapse image of the patient to be discriminated, maternal information, and the like. The processor on which this discriminator operates uses information stored in a storage medium included in the information processing device on which this discriminator operates, using each of the below-mentioned means (input section, acquisition section, discriminating section, output section).
本装置1は、記憶部2と、撮像部3と、入力部4と、取得部5と、判別部6と、出力部7と、を有してなる。 The device 1 includes a storage section 2, an imaging section 3, an input section 4, an acquisition section 5, a discrimination section 6, and an output section 7.
記憶部2は、本判別器と、本装置1が本発明に係る胚判別方法(以下「本方法」という。)を実現するために用いる情報などを記憶する。本装置1が本方法を実現するために用いる情報の詳細は、後述される。 The storage unit 2 stores information and the like used by the present discriminator and the present apparatus 1 to realize the embryo discrimination method (hereinafter referred to as "the present method") according to the present invention. Details of the information used by this device 1 to implement this method will be described later.
本装置1の記憶部は、例えば、HDD(Hard Disk Drive)やSSD(Solid State Drive)やフラッシュメモリなどの可搬記憶媒体その他の非一時的な記録媒体や、RAM(Random Access Memory)その他の一時的な記録媒体、などである。 The storage unit of the device 1 may be, for example, a portable storage medium such as an HDD (Hard Disk Drive), an SSD (Solid State Drive), or a flash memory, or other non-temporary storage media, or a RAM (Random Access Memory) or other non-transitory storage medium. Temporary recording media, etc.
撮像部3は、本装置1で培養されている胚(受精後から胚盤胞に至るまでの培養胚)のタイムラプス画像を撮像する。撮像部3は、所定の時間間隔(例えば、10分ごと)に、タイムラプス画像を撮像する。撮像されたタイムラプス画像は、記憶部2に記憶される。記憶部2に記憶された複数のタイムラプス画像は、本装置1のディスプレイ(不図示)に撮像順にあたかも動画のように表示される。本装置1の操作者(例えば、胚培養士)は、表示されたタイムラプス画像の経時変化を確認できる。 The imaging unit 3 captures a time-lapse image of an embryo (cultivated embryo from fertilization to blastocyst) that is being cultured in the device 1. The imaging unit 3 captures time-lapse images at predetermined time intervals (for example, every 10 minutes). The captured time-lapse image is stored in the storage unit 2. The plurality of time-lapse images stored in the storage unit 2 are displayed on the display (not shown) of the device 1 in the order in which they were captured, as if they were a moving image. The operator of the device 1 (for example, an embryo cultivator) can check the changes over time in the displayed time-lapse image.
入力部4は、判別対象の患者の母体情報を入力する。入力部4は、本装置1が備える情報入力手段であって、例えば、キーボードやマウスやタッチパネルなどである。入力部4は、本装置1の操作者に操作される。患者の母体情報は、例えば、患者の年齢に関する情報(年齢や年代を示す情報)や、患者の身体に関する情報(例えば、既往歴)である。入力部4から入力された母体情報は、記憶部2に記憶される。 The input unit 4 inputs maternal information of the patient to be determined. The input unit 4 is information input means included in the device 1, and is, for example, a keyboard, a mouse, a touch panel, or the like. The input unit 4 is operated by the operator of the device 1 . The patient's maternal information is, for example, information regarding the patient's age (information indicating age or age) or information regarding the patient's body (for example, medical history). The maternal information input from the input section 4 is stored in the storage section 2.
取得部5は、記憶部2に記憶されている、患者の胚のタイムラプス画像と、母体情報と、を取得する。 The acquisition unit 5 acquires a time-lapse image of the patient's embryo and maternal information stored in the storage unit 2.
判別部6は、取得部5が記憶部2から取得した患者の胚のタイムラプス画像と母体情報と、記憶部2に記憶されている判別器と、に基づいて、患者の胚を判別する。 The discrimination unit 6 discriminates the patient's embryo based on the time-lapse image and maternal information of the patient's embryo that the acquisition unit 5 acquired from the storage unit 2 and the discriminator stored in the storage unit 2.
出力部7は、判別部6に判別された判別結果を出力する。出力部7による判別結果の出力の態様は、例えば、記憶部2に判別結果を記憶する、本装置1のディスプレイ(不図示)に判別結果を表示する、本装置1と通信ネットワークを介して接続する情報処理装置(不図示)に判別結果を送信する、などである。 The output unit 7 outputs the determination result determined by the determination unit 6. The output unit 7 outputs the determination results, for example, by storing the determination results in the storage unit 2, displaying the determination results on a display (not shown) of the device 1, or connecting to the device 1 via a communication network. For example, the determination result is transmitted to an information processing device (not shown) that is to be used.
●従来のニューラルネットワークのモデル●
図2は、従来のニューラルネットワークのモデルの例を示す模式図である。
●Traditional neural network model●
FIG. 2 is a schematic diagram showing an example of a conventional neural network model.
ニューラルネットワークは、入力層と、中間層(隠れ層)と、出力層と、で構成される。ここでのニューラルネットワークは、判別対象の患者の胚のタイムラプス画像を用いて、胚が良好胚であるか否かを判別する判別器とする。すなわち、入力層は、タイムラプス画像が入力される層である。出力層は、判別結果(胚が良好胚であるか否か)が出力される層である。中間層は、入力層と出力層とを繋ぐ層である。中間層は、複数の個別中間層の集合である。個別中間層は、入力層から出力層に向けて、第1個別中間層,第2個別中間層,第3個別中間層,・・・,第n-1個別中間層,第n個別中間層のn個の個別中間層を含む。 A neural network is composed of an input layer, an intermediate layer (hidden layer), and an output layer. The neural network here is a discriminator that uses time-lapse images of embryos of patients to be discriminated to determine whether or not the embryos are good embryos. That is, the input layer is a layer into which a time-lapse image is input. The output layer is a layer in which the determination result (whether the embryo is a good embryo or not) is output. The intermediate layer is a layer that connects the input layer and the output layer. A middle layer is a collection of multiple individual middle layers. The individual intermediate layer includes, from the input layer to the output layer, a first individual intermediate layer, a second individual intermediate layer, a third individual intermediate layer, ..., an (n-1) individual intermediate layer, an n-th individual intermediate layer. Contains n individual intermediate layers.
同図は、入力層を構成するニューロン(ユニット)を黒丸、中間層を構成するニューロンを白丸(実線)、出力層を構成するニューロンを白丸(破線)で示す。 In the figure, neurons (units) that make up the input layer are shown as black circles, neurons that make up the intermediate layer are shown as white circles (solid lines), and neurons that make up the output layer are shown as white circles (dashed lines).
入力層を構成するニューロンの数は、タイムラプス画像の解像度に応じた数である。タイムラプス画像の解像度が1280×1024pxの場合、入力層を構成するニューロンの数は、1,310,720(=1280×1024)である。すなわち、入力層を構成するニューロンそれぞれは、タイムラプス画像を構成するピクセルごとの輝度値やRGBに関する情報を備える。 The number of neurons constituting the input layer depends on the resolution of the time-lapse image. When the resolution of the time-lapse image is 1280×1024 px, the number of neurons forming the input layer is 1,310,720 (=1280×1024). That is, each neuron forming the input layer is provided with information regarding the brightness value and RGB for each pixel forming the time-lapse image.
なお、入力層を構成するニューロンは、いわゆるバイアスに対応するニューロンを含んでもよい。この場合、入力層を構成するニューロンの数は、タイムラプス画像の解像度に応じた数にバイアスの数を加算した数である。 Note that the neurons forming the input layer may include neurons corresponding to so-called bias. In this case, the number of neurons forming the input layer is the number corresponding to the resolution of the time-lapse image plus the number of biases.
出力層のニューロンの数は、判別結果の数に対応する。ここでの判別結果は、良好胚であるか否かである。すなわち、出力層のニューロンの数は、2(「良好胚である」「良好胚でない」)である。 The number of neurons in the output layer corresponds to the number of discrimination results. The determination result here is whether the embryo is a good embryo or not. That is, the number of neurons in the output layer is 2 (“good embryo”, “not good embryo”).
中間層を構成する個別中間層の数、各個別中間層を構成するニューロンの数、あるいは、入力層から出力層までの各ニューロン間のエッジごとの重み、さらには、バイアスの値は、ニューラルネットワークの学習過程において、AUC(Area Under the Curve)などの評価値に基づいて、適宜設定される。 Neural network In the learning process, it is set as appropriate based on evaluation values such as AUC (Area Under the Curve).
図3は、従来のニューラルネットワークのモデルの別の例を示す模式図である。
同図は、図2に示されたモデルの入力層に、黒四角で示されるニューロンが追加されていることを示す。黒四角のニューロンは、判別対象の患者の母体情報を備える。すなわち、図3に示されたモデルと図2に示されたモデルとの相違は、入力層に母体情報が含まれる(図3のモデル)か、否(図2のモデル)か、である。つまり、図2に示されたモデルは、患者の胚が良好胚であるか否かを、患者の胚のタイムラプス画像のみで判別する。一方、図3に示されたモデルは、患者の胚が良好胚であるか否かの判別を、患者の胚のタイムラプス画像と母体情報とで判別する。
FIG. 3 is a schematic diagram showing another example of a conventional neural network model.
This figure shows that neurons indicated by black squares have been added to the input layer of the model shown in FIG. 2. The black square neurons include maternal information of the patient to be determined. That is, the difference between the model shown in FIG. 3 and the model shown in FIG. 2 is whether parent information is included in the input layer (model in FIG. 3) or not (model in FIG. 2). In other words, the model shown in FIG. 2 determines whether a patient's embryo is a good embryo or not based only on the time-lapse image of the patient's embryo. On the other hand, the model shown in FIG. 3 determines whether a patient's embryo is a good embryo or not based on a time-lapse image of the patient's embryo and maternal information.
図3に示されたモデルの入力層を構成するニューロンの数は、(バイアスを考慮しなければ、)タイムラプス画像の解像度に応じた数(黒丸の数)と、母体情報を備える1(黒四角の数)と、の総和である。ここで、前述のとおり、タイムラプス画像の解像度が1280×1024pxの場合、黒丸の数は、1,310,720である。一方、黒四角の数は、1である。 The number of neurons constituting the input layer of the model shown in Figure 3 is (without considering bias) the number depending on the resolution of the time-lapse image (the number of black circles), and the number of neurons containing the parent information (the number of black squares). ) and the sum of . Here, as described above, when the resolution of the time-lapse image is 1280×1024 px, the number of black circles is 1,310,720. On the other hand, the number of black squares is 1.
このように、タイムラプス画像と母体情報とが入力層に入力されて判別が行われる場合、タイムラプス画像の情報量に比べて、母体情報の情報量は、圧倒的に少ない。そのため、ニューラルネットワークの学習過程において、母体情報は学習結果に反映されにくい。同様に、学習済みのニューラルネットワークを用いた判別過程において、母体情報は判別結果に反映されにくい。 In this way, when the time-lapse image and maternal information are input to the input layer and discrimination is performed, the amount of maternal information is overwhelmingly smaller than the amount of information of the time-lapse image. Therefore, in the learning process of the neural network, the matrix information is difficult to be reflected in the learning results. Similarly, in the discrimination process using a trained neural network, maternal information is unlikely to be reflected in the discrimination results.
一方、胚の移植から生児獲得の成否において、胚の質(良好胚か否か)と共に、染色体異常の有無が重要である。胚の質や染色体異常の有無は、患者の年齢や既往歴など母体の状態の影響を受け得る。そのため、ニューラルネットワークを用いた胚の判別において、患者の母体に関連する情報は、加味されることが望ましい。 On the other hand, the quality of the embryo (whether it is a good embryo or not) and the presence or absence of chromosomal abnormalities are important in determining the success or failure of obtaining a live birth from embryo transfer. The quality of the embryo and the presence or absence of chromosomal abnormalities can be influenced by the mother's condition, such as the patient's age and medical history. Therefore, when identifying embryos using a neural network, it is desirable to take into account information related to the patient's mother.
●タイムラプス画像判別器の構成●
本判別器は、以下の説明のとおり、タイムラプス画像と共に、タイムラプス画像に比べて圧倒的に情報量の少ない母体情報を、学習結果や判別結果に反映させて、判別の精度を高める。
●Configuration of time-lapse image classifier●
As explained below, this classifier improves the accuracy of discrimination by reflecting mother information, which has an overwhelmingly smaller amount of information than the time-lapse image, in the learning results and discrimination results together with the time-lapse image.
図4は、本判別器として用いられるニューラルネットワークのモデルの例を示す模式図である。
同図は、図2に示されたモデルの中間層の一部の個別中間層(第n-1個別中間層)に、黒四角で示されるニューロンが追加されていることを示す。黒四角のニューロンは、図3に示された黒四角のニューロンと同じで、判別対象の患者の母体情報を備える。すなわち、図4に示されたモデルと図3に示されたモデルとの相違は、母体情報を備えるニューロンが入力層に含まれる(図3のモデル)か、中間層に含まれるか(図4のモデル)か、である。つまり、図3に示されたモデルは、患者の胚が良好胚であるか否かを、入力層に入力される患者の胚のタイムラプス画像と母体情報とで判別する。一方、図4に示されたモデルは、患者の胚が良好胚であるか否かを、入力層に入力される患者の胚のタイムラプス画像と、中間層(第n-1個別中間層)に入力される患者の母体情報と、で判別する。
FIG. 4 is a schematic diagram showing an example of a neural network model used as the main discriminator.
This figure shows that neurons indicated by black squares are added to a part of the individual intermediate layer (n-1th individual intermediate layer) of the intermediate layer of the model shown in FIG. The black square neurons are the same as the black square neurons shown in FIG. 3, and include maternal information of the patient to be discriminated. In other words, the difference between the model shown in FIG. 4 and the model shown in FIG. model) or is. That is, the model shown in FIG. 3 determines whether a patient's embryo is a good embryo or not based on the time-lapse image of the patient's embryo and maternal information input to the input layer. On the other hand, the model shown in Figure 4 determines whether or not a patient's embryo is a good embryo using a time-lapse image of the patient's embryo that is input to the input layer and an intermediate layer (n-1 individual intermediate layer). It is determined based on the patient's maternal information that is input.
ここで、図4の本判別器として用いられるニューラルネットワークのモデルは、学習用データを用いた学習過程において、学習用患者ごとの胚のタイムラプス画像は入力層に入力されて、学習用患者ごとの母体情報は第n-1個別中間層に入力されて、学習される。
同様に、図4の本判別器として用いられるニューラルネットワークのモデルは、判別対象の患者のデータを用いた判別過程において、患者の胚のタイムラプス画像は入力層に入力されて、患者の母体情報は第n-1個別中間層に入力されて、判別される。
Here, in the neural network model used as the main discriminator in Figure 4, during the learning process using training data, time-lapse images of embryos for each training patient are input to the input layer, and The parent information is input to the (n-1)th individual hidden layer and learned.
Similarly, in the neural network model used as the main discriminator in Figure 4, during the discrimination process using the data of the patient to be discriminated, the time-lapse image of the patient's embryo is input to the input layer, and the patient's maternal information is input to the input layer. It is input to the (n-1)th individual intermediate layer and discriminated.
このように、本判別器として用いられるニューラルネットワークのモデルの学習過程および判別過程において、タイムラプス画像に比べて圧倒的に情報量の少ない母体情報を、中間層に入力させることで、タイムラプス画像と共に母体情報を入力層に入力させる場合(図3のモデル)と比べて、母体情報は学習結果や判別結果に反映されやすい。これは、タイムラプス画像と共に母体情報を入力層に入力させる場合、母体情報の内容がタイムラプス画像の1ピクセル分と同程度に取り扱われてしまうためである。一方、本判別器のように、母体情報を中間層を構成する個別中間層、特に、入力層に入力されたタイムラプス画像の情報が集約される出力層に近い個別中間層に入力させる場合、母体情報の内容が強調されて学習結果や判別結果に反映される。すなわち、本判別器は、胚の移植から生児獲得の成否に影響を与える母体情報を反映した学習結果や判別結果を得る。つまり、本判別器は、胚の判別精度を高めることができる。 In this way, in the learning process and discrimination process of the neural network model used as the main classifier, by inputting the matrix information, which has an overwhelmingly smaller amount of information compared to the time-lapse image, into the intermediate layer, the matrix information can be used together with the time-lapse image. Compared to the case where information is input to the input layer (the model in FIG. 3), the matrix information is more likely to be reflected in the learning results and discrimination results. This is because, when the maternal information is input to the input layer together with the time-lapse image, the contents of the maternal information are treated to the same extent as one pixel of the time-lapse image. On the other hand, as in this discriminator, when inputting the matrix information to the individual intermediate layers constituting the intermediate layer, especially to the individual intermediate layer close to the output layer where the information of the time-lapse image input to the input layer is aggregated, the matrix The content of the information is emphasized and reflected in learning results and discrimination results. In other words, this discriminator obtains learning results and discrimination results that reflect maternal information that influences the success or failure of obtaining a live birth from embryo implantation. In other words, the present discriminator can improve the accuracy of embryo discrimination.
なお、本判別器として用いられるニューラルネットワークのモデルにおいて、母体情報が入力されるのは、中間層を構成する複数の個別中間層のうちの少なくとも1の個別中間層である。 Note that in the neural network model used as the present discriminator, the matrix information is input to at least one individual intermediate layer among the plurality of individual intermediate layers forming the intermediate layer.
図5-7は、本判別器として用いられるニューラルネットワークのモデルの別の例を示す模式図である。 FIG. 5-7 is a schematic diagram showing another example of a neural network model used as the main classifier.
図5は、学習過程や判別過程において、2つの個別中間層(第n-1個別中間層、第n個別中間層)に、共通の母体情報が入力されることを示す。共通の母体情報が入力される複数の個別中間層や、母体情報が入力される個別中間層内の位置(個別中間層を構成するタイムラプス画像のニューロンと母体情報のニューロンとの配列:同図は、母体情報が各個別中間層の先頭(紙面上側)に入力されることを示す)は、学習過程において、適宜設定される。 FIG. 5 shows that common base information is input to two individual intermediate layers (the (n-1) individual intermediate layer and the n-th individual intermediate layer) in the learning process and the discrimination process. Multiple individual intermediate layers into which common mother information is input, and positions within the individual intermediate layer where mother information is input (arrangement of time-lapse image neurons and mother information neurons composing the individual intermediate layer: the figure shows , which indicates that the base information is input at the beginning of each individual intermediate layer (at the top of the page) is appropriately set during the learning process.
図6は、学習過程や判別過程において、共通の母体情報が、1つの個別中間層(第n-1個別中間層)の2箇所に入力されることを示す。1つの個別中間層に入力される母体情報の数や、母体情報が入力される個別中間層内の位置は、学習過程において、適宜設定される。 FIG. 6 shows that common base information is input to two locations in one individual intermediate layer (n-1th individual intermediate layer) in the learning process and the discrimination process. The number of pieces of matrix information input into one individual intermediate layer and the position within the individual intermediate layer at which the matrix information is input are appropriately set during the learning process.
図7は、学習過程や判別過程において、共通の母体情報が、中間層を構成するすべての個別中間層と、入力層と、に入力されることを示す。各個別中間層に入力される母体情報の数や、母体情報が入力される個別中間層内の位置は、学習過程において、適宜設定される。 FIG. 7 shows that common base information is input to all the individual intermediate layers constituting the intermediate layer and the input layer in the learning process and the discrimination process. The number of base information input to each individual intermediate layer and the position within the individual intermediate layer at which the base information is input are appropriately set in the learning process.
なお、本判別器として用いられるニューラルネットワークのモデルにおいて、中間層を構成する個別中間層のうち、母体情報が入力される個別中間層は、判別対象の患者のタイムラプス画像や母体情報に基づいて、本判別器に選択されてもよい。母体情報が入力される個別中間層の選択の方法は、学習用データを用いた学習過程で、適宜設定される。すなわち、例えば、学習過程において、若年者の場合には年齢が判別結果に対する影響は小さく、中高年者の場合には年齢が判別結果に対する影響は大きい、と評価されたとき、患者の年齢に応じて母体情報が入力される個別中間層が選択されてもよい。つまり、例えば、母体情報が入力される個別中間層は、患者の年齢が高くなるにつれて、より出力層に近い位置の個別中間層が選択されてもよい。 In addition, in the neural network model used as this discriminator, among the individual intermediate layers that constitute the intermediate layer, the individual intermediate layer into which maternal information is input is based on the time-lapse image and maternal information of the patient to be discriminated. It may be selected as the main discriminator. The method of selecting the individual intermediate layer into which the parent information is input is appropriately set during the learning process using the learning data. That is, for example, in the learning process, when it is evaluated that age has a small effect on the discrimination result in the case of a young person, and that age has a large effect on the discrimination result in the case of a middle-aged and elderly person, the An individual intermediate layer into which parent information is input may be selected. That is, for example, as the patient's age increases, the individual intermediate layer into which maternal information is input may be selected to be located closer to the output layer.
●まとめ●
以上説明された実施の形態によれば、本判別器として用いられるニューラルネットワークのモデルの学習過程において、入力データである学習用患者ごとのタイムラプス画像と母体情報とのうち、タイムラプス画像に比べて情報量が圧倒的に少ない母体情報が、中間層を構成する複数の個別中間層のうちのいずれか1の個別中間層に入力される。そのため、タイムラプス画像と共に母体情報が入力層に入力される場合に比べて、母体情報は、学習結果や判別結果に反映されやすい。すなわち、本判別器や本装置は、胚の移植から生児獲得の成否に影響を与える母体情報を反映した学習結果や判別結果を得る。つまり、本判別器や本装置は、胚の判別精度(予測精度)を高めることができる。
●Summary●
According to the embodiment described above, in the learning process of the neural network model used as the main discriminator, among the time-lapse images of each patient for learning as input data and maternal information, information is compared to the time-lapse images. The amount of base information that is overwhelmingly small is input to any one of the plurality of individual intermediate layers that constitute the intermediate layer. Therefore, compared to the case where the maternal information is input to the input layer together with the time-lapse image, the maternal information is more likely to be reflected in the learning results and the discrimination results. That is, the present discriminator and the present device obtain learning results and discrimination results that reflect maternal information that influences the success or failure of obtaining a live birth from embryo implantation. In other words, the present discriminator and the present device can improve the embryo discrimination accuracy (prediction accuracy).
なお、本判別器や本装置は、前述のとおり、患者の胚のタイムラプス画像と母体情報とに基づいて、着床率の高い良好胚であるか否か、あるいは、流産率の高い染色体異常であるか否か、を判別(予測)することができる。特に、染色体異常であるか否かを判別できる本判別器や本装置は、これまで唯一の検査方法であったPGT-Aの代替手段となり得る。前述のとおり、PGT-Aは、胚への侵襲性や高額な検査費用などの課題を抱える。このようなPGT-Aの代替手段として本判別器や本装置による判別が用いられることで、PGT-Aに至る症例は、減少し得る。 As mentioned above, this discriminator and this device determine whether the embryo is a good embryo with a high implantation rate or whether it is a chromosomal abnormality with a high miscarriage rate based on the time-lapse image of the patient's embryo and maternal information. It is possible to determine (predict) whether or not there is. In particular, the present discriminator and present device that can determine whether or not there is a chromosomal abnormality can serve as an alternative to PGT-A, which has been the only testing method up until now. As mentioned above, PGT-A has issues such as invasiveness to embryos and high testing costs. By using the present discriminator or the present device for discrimination as an alternative to PGT-A, the number of cases leading to PGT-A can be reduced.
また、以上説明された実施の形態は、本判別器の学習用データとして、学習用患者ごとの胚のタイムラプス画像と母体情報、並びに、学習用患者ごとの胚の経過情報、が用いられた。これに代えて、本判別器の学習用データは、学習用患者ごとの胚のPGT-Aの検査結果(胚の染色体数)を含んでもよい。すなわち、本判別器は、学習用患者ごとの胚のタイムラプス画像と母体情報とPGT-Aの検査結果、並びに、学習用患者ごとの胚の経過情報、により学習されてもよい。この場合、本判別器は、判別対象の患者の胚のタイムラプス画像と母体情報とPGT-Aの検査結果と、に基づいて、良好胚であるか否か、あるいは、染色体異常であるか否か、を判別する。ここで、本判別器の学習過程あるいは判別過程において、PGT-Aの検査結果が入力される層は、母体情報が入力される中間層と同じ中間層(図7の入力層も含む)、あるいは、母体情報が入力される中間層とは別の中間層(図7の入力層も含む)である。PGT-Aの検査結果が入力される個別中間層内の位置は、前述の母体情報が入力される個別中間層内の位置の決定と同様、本判別器の学習過程において、適宜設定される。 Furthermore, in the embodiment described above, time-lapse images and maternal information of embryos for each patient for learning, as well as progress information of embryos for each patient for learning, were used as learning data for the present discriminator. Alternatively, the learning data of the present discriminator may include the PGT-A test results (embryo chromosome number) of the embryo for each learning patient. That is, the present discriminator may be trained using time-lapse images of embryos, maternal information, PGT-A test results, and progress information of embryos for each learning patient. In this case, this discriminator determines whether the embryo is good or not, or whether it has chromosomal abnormality, based on the time-lapse image of the patient's embryo, maternal information, and PGT-A test results. , is determined. Here, in the learning process or discrimination process of this discriminator, the layer into which the test results of PGT-A are input is the same intermediate layer as the intermediate layer into which the mother information is input (including the input layer in FIG. 7), or , is an intermediate layer (including the input layer in FIG. 7) that is different from the intermediate layer into which the parent information is input. The position in the individual intermediate layer to which the PGT-A test result is input is set as appropriate in the learning process of this discriminator, similar to the determination of the position in the individual intermediate layer to which the parent information is input described above.
●本判別器と本学習方法と本装置と本方法との特徴●
これまでに説明された本判別器と本学習方法と本装置と本方法との特徴は、以下にまとめて記載される。
●Characteristics of this discriminator, this learning method, this device, and this method●
The features of the present discriminator, the present learning method, the present device, and the present method described so far will be summarized below.
●本判別器の特徴
本判別器は、
判別対象の患者の胚が撮像されたタイムラプス画像が入力される入力層と、
前記胚の判別結果が出力される出力層と、
前記入力層に入力された前記タイムラプス画像と、前記患者の母体に関連する母体情報と、を用いて、前記出力層に出力される前記判別結果を算出する中間層と、
で構成されるタイムラプス画像判別器であって、
前記中間層は、ニューラルネットワークで学習されていて、
前記中間層の学習において、
学習用患者の学習用胚の学習用タイムラプス画像が、前記入力層に入力されて、
前記学習用患者の母体に関連する学習用母体情報が、前記中間層に入力される、
ことを特徴とする。
●Characteristics of this classifier This classifier is
an input layer into which a time-lapse image of an embryo of a patient to be determined is input;
an output layer in which the embryo discrimination results are output;
an intermediate layer that calculates the discrimination result to be output to the output layer using the time-lapse image input to the input layer and maternal information related to the patient's mother;
A time-lapse image classifier comprising:
The intermediate layer is trained by a neural network,
In learning the intermediate layer,
A learning time-lapse image of a learning embryo of a learning patient is input to the input layer,
Learning maternal information related to the learning patient's mother is input to the intermediate layer;
It is characterized by
本判別器において、
前記母体情報は、前記患者の年齢に関する情報、
でもよい。
In this classifier,
The maternal information includes information regarding the age of the patient;
But that's fine.
本判別器において、
前記中間層は、複数の個別中間層、を含み、
前記中間層の学習において、前記学習用母体情報は、複数の前記個別中間層のうちの少なくとも1の前記個別中間層に入力される、
ものでもよい。
In this classifier,
The intermediate layer includes a plurality of individual intermediate layers,
In learning the intermediate layer, the learning base information is input to at least one of the plurality of individual intermediate layers,
It can be anything.
本判別器において、
複数の前記個別中間層のうち、前記判別対象の患者の前記母体情報が入力される前記個別中間層は、前記判別対象の前記患者の前記タイムラプス画像または前記母体情報に基づいて、選択される、
ものでもよい。
In this classifier,
Among the plurality of individual intermediate layers, the individual intermediate layer into which the maternal information of the patient to be determined is input is selected based on the time-lapse image or the maternal information of the patient to be determined;
It can be anything.
本判別器において、
前記中間層の学習において、前記学習用母体情報は、前記入力層に入力される、
ものでもよい。
In this classifier,
In learning the intermediate layer, the learning base information is input to the input layer,
It can be anything.
●本学習方法の特徴
本学習方法は、
判別対象の患者の胚が撮像されたタイムラプス画像が入力される入力層と、
前記胚の判別結果が出力される出力層と、
前記入力層に入力された前記タイムラプス画像と、前記患者の母体に関連する母体情報と、を用いて、前記出力層に出力される前記判別結果を算出する中間層と、
で構成されるタイムラプス画像判別器の学習方法であって、
前記中間層は、ニューラルネットワークで学習されていて、
前記中間層の学習において、
学習用患者の学習用胚の学習用タイムラプス画像が、前記入力層に入力されるステップと、
前記学習用患者の母体に関連する学習用母体情報が、前記中間層に入力されるステップと、
を有してなる、
ことを特徴とする。
●Characteristics of this learning method This learning method is
an input layer into which a time-lapse image of an embryo of a patient to be determined is input;
an output layer in which the embryo discrimination results are output;
an intermediate layer that calculates the discrimination result to be output to the output layer using the time-lapse image input to the input layer and maternal information related to the patient's mother;
A learning method for a time-lapse image classifier comprising:
The intermediate layer is trained by a neural network,
In learning the intermediate layer,
inputting a training time-lapse image of a training embryo of a training patient into the input layer;
inputting learning maternal information related to the learning patient's mother into the intermediate layer;
consisting of
It is characterized by
●本装置の特徴
本装置は、
学習用患者ごとの学習用タイムラプス画像と、前記学習用患者ごとの母体に関連する学習用母体情報と、に基づいて学習された判別器を記憶する記憶部と、
判別対象の患者の胚のタイムラプス画像と、前記患者の母体に関連する母体情報と、を取得する取得部と、
前記取得部に取得された前記タイムラプス画像と前記母体情報と、前記判別器と、に基づいて、前記胚を判別する判別部と、
前記判別部に判別された判別結果を出力する出力部と、
を有してなり、
前記判別器は、本判別器である、
ことを特徴とする。
●Features of this device This device has the following features:
a storage unit that stores a discriminator learned based on a learning time-lapse image for each learning patient and learning mother information related to the mother for each learning patient;
an acquisition unit that acquires a time-lapse image of an embryo of a patient to be identified and maternal information related to the patient's mother;
a discrimination unit that discriminates the embryo based on the time-lapse image acquired by the acquisition unit, the maternal information, and the discriminator;
an output unit that outputs the discrimination result determined by the discrimination unit;
It has
The discriminator is a main discriminator,
It is characterized by
●本方法の特徴
本方法は、
学習用患者ごとの学習用タイムラプス画像と、前記学習用患者ごとの母体に関連する学習用母体情報と、に基づいて学習された判別器を記憶する記憶部、
を備えた胚判別装置に実行される胚判別方法であって、
前記胚判別装置が、
判別対象の患者の胚のタイムラプス画像と、前記患者の母体に関連する母体情報と、を取得する取得ステップと、
前記取得ステップで取得された前記タイムラプス画像と前記母体情報と、前記判別器と、に基づいて、前記胚を判別する判別ステップと、
前記判別ステップで判別された判別結果を出力する出力ステップと、
を有してなり、
前記判別器は、本判別器である、
ことを特徴とする。
●Characteristics of this method This method:
a storage unit that stores a discriminator trained based on a learning time-lapse image for each learning patient and learning mother information related to the mother for each learning patient;
An embryo discrimination method carried out on an embryo discrimination device comprising:
The embryo discrimination device includes:
an acquisition step of acquiring a time-lapse image of an embryo of a patient to be identified and maternal information related to the patient's mother;
a discrimination step of discriminating the embryo based on the time-lapse image acquired in the acquisition step, the maternal information, and the discriminator;
an output step for outputting the discrimination result determined in the discrimination step;
It has
The discriminator is a main discriminator,
It is characterized by
1 胚判別装置
2 記憶部
3 撮像部
4 入力部
5 取得部
6 判別部
7 出力部
1 Embryo discrimination device 2 Storage unit 3 Imaging unit 4 Input unit 5 Acquisition unit 6 Discrimination unit 7 Output unit
Claims (8)
前記胚の判別結果が出力される出力層と、
前記入力層に入力された前記タイムラプス画像と、前記患者の母体に関連する母体情報と、を用いて、前記出力層に出力される前記判別結果を算出する中間層と、
で構成されるタイムラプス画像判別器であって、
前記中間層は、ニューラルネットワークで学習されていて、
前記中間層の学習において、
学習用患者の学習用胚の学習用タイムラプス画像が、前記入力層に入力されて、
前記学習用患者の母体に関連する学習用母体情報が、前記中間層に入力される、
ことを特徴とするタイムラプス画像判別器。 an input layer into which a time-lapse image of an embryo of a patient to be determined is input;
an output layer in which the embryo discrimination results are output;
an intermediate layer that calculates the discrimination result to be output to the output layer using the time-lapse image input to the input layer and maternal information related to the patient's mother;
A time-lapse image classifier comprising:
The intermediate layer is trained by a neural network,
In learning the intermediate layer,
A learning time-lapse image of a learning embryo of a learning patient is input to the input layer,
Learning maternal information related to the learning patient's mother is input to the intermediate layer;
A time-lapse image discriminator characterized by:
請求項1記載のタイムラプス画像判別器。 The maternal information is information regarding the age of the patient.
The time-lapse image discriminator according to claim 1.
前記中間層の学習において、前記学習用母体情報は、複数の前記個別中間層のうちの少なくとも1の前記個別中間層に入力される、
請求項1記載のタイムラプス画像判別器。 The intermediate layer includes a plurality of individual intermediate layers,
In learning the intermediate layer, the learning base information is input to at least one of the plurality of individual intermediate layers,
The time-lapse image discriminator according to claim 1.
請求項3記載のタイムラプス画像判別器。 Among the plurality of individual intermediate layers, the individual intermediate layer into which the maternal information of the patient to be determined is input is selected based on the time-lapse image or the maternal information of the patient to be determined;
The time-lapse image discriminator according to claim 3.
請求項3記載のタイムラプス画像判別器。 In learning the intermediate layer, the learning base information is input to the input layer,
The time-lapse image discriminator according to claim 3.
前記胚の判別結果が出力される出力層と、
前記入力層に入力された前記タイムラプス画像と、前記患者の母体に関連する母体情報と、を用いて、前記出力層に出力される前記判別結果を算出する中間層と、
で構成されるタイムラプス画像判別器の学習方法であって、
前記中間層は、ニューラルネットワークで学習されていて、
前記中間層の学習において、
学習用患者の学習用胚の学習用タイムラプス画像が、前記入力層に入力されるステップと、
前記学習用患者の母体に関連する学習用母体情報が、前記中間層に入力されるステップと、
を有してなる、
ことを特徴とするタイムラプス画像判別器の学習方法。 an input layer into which a time-lapse image of an embryo of a patient to be determined is input;
an output layer in which the embryo discrimination results are output;
an intermediate layer that calculates the discrimination result to be output to the output layer using the time-lapse image input to the input layer and maternal information related to the patient's mother;
A learning method for a time-lapse image classifier comprising:
The intermediate layer is trained by a neural network,
In learning the intermediate layer,
inputting a training time-lapse image of a training embryo of a training patient into the input layer;
inputting learning maternal information related to the learning patient's mother into the intermediate layer;
consisting of
A learning method for a time-lapse image classifier characterized by the following.
判別対象の患者の胚のタイムラプス画像と、前記患者の母体に関連する母体情報と、を取得する取得部と、
前記取得部に取得された前記タイムラプス画像と前記母体情報と、前記判別器と、に基づいて、前記胚を判別する判別部と、
前記判別部に判別された判別結果を出力する出力部と、
を有してなり、
前記判別器は、請求項1記載のタイムラプス画像判別器である、
ことを特徴とする胚判別装置。 a storage unit that stores a discriminator learned based on a learning time-lapse image for each learning patient and learning mother information related to the mother for each learning patient;
an acquisition unit that acquires a time-lapse image of an embryo of a patient to be identified and maternal information related to the patient's mother;
a discrimination unit that discriminates the embryo based on the time-lapse image acquired by the acquisition unit, the maternal information, and the discriminator;
an output unit that outputs the discrimination result determined by the discrimination unit;
It has
The discriminator is a time-lapse image discriminator according to claim 1,
An embryo discrimination device characterized by:
を備えた胚判別装置に実行される胚判別方法であって、
前記胚判別装置が、
判別対象の患者の胚のタイムラプス画像と、前記患者の母体に関連する母体情報と、を取得する取得ステップと、
前記取得ステップで取得された前記タイムラプス画像と前記母体情報と、前記判別器と、に基づいて、前記胚を判別する判別ステップと、
前記判別ステップで判別された判別結果を出力する出力ステップと、
を有してなり、
前記判別器は、請求項1記載のタイムラプス画像判別器である、
ことを特徴とする胚判別方法。 a storage unit that stores a discriminator trained based on a learning time-lapse image for each learning patient and learning mother information related to the mother for each learning patient;
An embryo discrimination method carried out on an embryo discrimination device comprising:
The embryo discrimination device includes:
an acquisition step of acquiring a time-lapse image of an embryo of a patient to be identified and maternal information related to the patient's mother;
a discrimination step of discriminating the embryo based on the time-lapse image acquired in the acquisition step, the maternal information, and the discriminator;
an output step for outputting the discrimination result determined in the discrimination step;
It has
The discriminator is a time-lapse image discriminator according to claim 1,
An embryo identification method characterized by the following.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022105764A JP2024005549A (en) | 2022-06-30 | 2022-06-30 | Time lapse image discriminator, learning method of time lapse image discriminator, and embryo discrimination device and embryo discrimination method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022105764A JP2024005549A (en) | 2022-06-30 | 2022-06-30 | Time lapse image discriminator, learning method of time lapse image discriminator, and embryo discrimination device and embryo discrimination method |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024005549A true JP2024005549A (en) | 2024-01-17 |
Family
ID=89540794
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022105764A Pending JP2024005549A (en) | 2022-06-30 | 2022-06-30 | Time lapse image discriminator, learning method of time lapse image discriminator, and embryo discrimination device and embryo discrimination method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2024005549A (en) |
-
2022
- 2022-06-30 JP JP2022105764A patent/JP2024005549A/en active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
VerMilyea et al. | Development of an artificial intelligence-based assessment model for prediction of embryo viability using static images captured by optical light microscopy during IVF | |
JP7072067B2 (en) | Systems and methods for estimating embryo viability | |
Liao et al. | Development of deep learning algorithms for predicting blastocyst formation and quality by time-lapse monitoring | |
Dixit | Predicting Fetal Health using Cardiotocograms: A Machine Learning Approach | |
Simopoulou et al. | Are computational applications the “crystal ball” in the IVF laboratory? The evolution from mathematics to artificial intelligence | |
Barnes et al. | A non-invasive artificial intelligence approach for the prediction of human blastocyst ploidy: a retrospective model development and validation study | |
CN111279421A (en) | Automated evaluation of human embryos | |
Fordham et al. | Embryologist agreement when assessing blastocyst implantation probability: is data-driven prediction the solution to embryo assessment subjectivity? | |
EP3812448A1 (en) | Information processing device, information processing method, program, and information processing system | |
Zhao et al. | Application of convolutional neural network on early human embryo segmentation during in vitro fertilization | |
Khosravi et al. | Robust automated assessment of human blastocyst quality using deep learning | |
Neocleous et al. | Two‐stage approach for risk estimation of fetal trisomy 21 and other aneuploidies using computational intelligence systems | |
Matos et al. | A method using artificial neural networks to morphologically assess mouse blastocyst quality | |
JP6468576B1 (en) | Image diagnostic system for fertilized egg, image diagnostic program for fertilized egg, and method for creating classifier for image diagnosis of fertilized egg. | |
JP7535572B2 (en) | Automated evaluation of quality assurance metrics used in assisted reproductive procedures | |
Zieliński et al. | Evaluating the risk of endometriosis based on patients’ self-assessment questionnaires | |
Himel et al. | Utilizing EfficientNet for sheep breed identification in low-resolution images | |
JP2024005549A (en) | Time lapse image discriminator, learning method of time lapse image discriminator, and embryo discrimination device and embryo discrimination method | |
WO2023154851A1 (en) | Integrated framework for human embryo ploidy prediction using artificial intelligence | |
JP6422142B1 (en) | Image diagnostic system for fertilized egg, image diagnostic program for fertilized egg, and image diagnostic method for fertilized egg. | |
Kanakasabapathy et al. | Deep learning mediated single time-point image-based prediction of embryo developmental outcome at the cleavage stage | |
Chen et al. | Automating blastocyst formation and quality prediction in time-lapse imaging with adaptive key frame selection | |
WO2022009186A1 (en) | Predicting embryo implantation probability | |
Rajendran et al. | Automatic ploidy prediction and quality assessment of human blastocysts using time-lapse imaging | |
RU2810125C1 (en) | Automated assessment of quality assurance indicators for assisted reproduction procedures |