JP7072067B2 - 胚の生存率を推定するためのシステムおよび方法 - Google Patents

Description

（関連出願）
これは、２０１７年１２月１５日に出願され、「Ｓｙｓｔｅｍｓ ａｎｄ ｍｅｔｈｏｄｓ ｆｏｒ ｄｅｔｅｒｍｉｎｉｎｇ ｅｍｂｒｙｏ ｖｉａｂｉｌｉｔｙ」と題された、豪州仮特許出願第２０１７９０５０１７号、および２０１８年５月１８日に出願され、「Ｓｙｓｔｅｍｓ ａｎｄ ｍｅｔｈｏｄｓ ｆｏｒ ｅｓｔｉｍａｔｉｎｇ ｅｍｂｒｙｏ ｖｉａｂｉｌｉｔｙ」と題された、第２０１８９０１７５４号に関連する出願である。これらの関連出願は、参照することによって本明細書に組み込まれ、本願の一部を成す。

本開示は、ヒトの胚の生存率を推定するためのシステムおよび方法に関する。

体外受精（ＩＶＦ）は、女性の卵子が体外で受精される、プロセス／技法を指す。ＩＶＦは、典型的には、女性に排卵誘発剤を投与し、通常周期における単一の卵胞とは対照的に、複数の卵胞の成熟を刺激するステップを伴う。これらの卵子は、次いで、外科手術的に回収され、それらが男性パートナーの精子または提供された精子と受精される、作業所に移送される。受精された卵子は、次いで、専門的な培養環境、典型的には、インキュベータの中で胚として成熟することを可能にされる。本時間の間、発達中の胚の顕微鏡画像が、インキュベータ（Ｅｍｂｒｙｏｓｃｏｐｅ（Ｒ）インキュベータ等）内の撮像技術を使用して取得され、発達中の胚の継続的な低速度撮影ビデオを生産することができる。

従来から、複数の胚が、女性の子宮に着床され、全体的な成功率を向上させている。本アプローチの欠点は、多胎妊娠の確率の増加であり、これは、出産前合併症のより高いリスクと関連付けられる。結果として、ＩＶＦの改良の１つの目標は、妊娠毎に単一の胚移植を実施することが可能になることである。用語「移植」は、胚が妊娠を確立させる目的で女性の子宮の中に設置される、生殖補助医療のプロセスにおけるステップを指す。

これを達成するために、最も高い妊娠潜在性に従って、複数の発達した胚から単一の胚を選択することが可能でなければならない。本選択プロセスは、現在、その外観および重要な発達チェックポイントのタイミングに基づいて、各胚を手動でグレード付けする、胚培養士（ｅｍｂｒｙｏｌｏｇｉｓｔ）によって実施されている。

現在、各胚の質は、いくつかのグレード付けスキームを使用して決定されている。これらのスキームは、各胚の画像または低速度撮影ビデオの手動の注釈付けを伴う。これらのグレード付けシステムにおいて考慮される特徴は、胚の形態学的外観および重要な発達チェックポイントの精密なタイミングを含む。現在、全ての解決策は、胚培養士のためのワークフローツールのみである。それらは、各胚に注釈付けを行う胚培養士の主観的判断に完全に依存する。いくつかの一般的に使用されるグレード付けシステムは、Ｇａｒｄｎｅｒ胚盤胞グレード付けシステム（ｈｔｔｐｓ：／／ｗｗｗ．ａｄｖａｎｃｅｄｆｅｒｔｉｌｉｔｙ．ｃｏｍ／ｂｌａｓｔｏｃｙｓｔｉｍａｇｅｓ．ｈｔｍ）およびＫＩＤＳｃｏｒｅ（ｈｔｔｐ：／／ｗｗｗ．ｖｉｔｒｏｌｉｆｅ．ｃｏｍ／ｓｖ／Ｐｒｏｄｕｃｔｓ／ＥｍｂｒｙｏＳｃｏｐｅ－Ｔｉｍｅ－Ｌａｐｓｅ－Ｓｙｓｔｅｍ／ＫＩＤＳｃｏｒｅ－ｄｅｃｉｓｉｏｎ－ｓｕｐｐｏｒｔ－ｔｏｏｌ－／）である。

しかしながら、選択プロセスは、不正確な科学であり、各胚培養士に応じて非常に変動し易い。胚培養士は、ある発達チェックポイントの厳密なタイミング、および対称性、サイズ、および均一性に関して主観的な判断を行うように要求されている。これは、オペレータの経験および個人的意見に非常に左右される。これは、胚培養士が、多くの場合、どの胚が、移植のための最も高い可能性を有するかに関して、他の胚培養士、またはさらに（同一の胚を再び示されるとき）自己に対しても意見が合わないことを意味する。したがって、胚培養士間に、不十分な再現性および高い読取者間および読取者内変動性が存在する。各低速度撮影ビデオに標識することは、時間がかかり、かつ多くの労力を要するプロセスである。手動の胚グレード付けは、典型的には、患者あたり最大１時間を要求する。どの特徴または特徴の組み合わせが、各胚の妊娠の可能性に対して最終的に予測的であるかは不明瞭である。現行のグレード付け方法は、典型的には、独立してより高い妊娠率に至ることが示されている、２～４つの隔離された時間枠のみを分析する。さらに、Ｅｍｂｒｙｏｓｃｏｐｅ（Ｒ）のような現行のシステムは、複数の注釈付け／分析パラメータの変動しやすい選択／選択解除を可能にし、これは、これらの側面が相互作用する様子の分析を妨げ得る。

先行技術と関連付けられる、１つ以上の欠点または限界に対処する、またはそれを改善する、または少なくとも有用な代替物を提供することが、所望される。

本明細書に提供されるものは、コンピュータ実装方法であって、
ヒトの胚のビデオデータを受信するステップであって、ビデオデータは、ヒトの胚の時系列の画像のシーケンスを表す、ステップと、
ビデオデータに少なくとも１つの３次元（３Ｄ）人工ニューラルネットワーク（ＡＮＮ）を適用し、ヒトの胚に関する生存率スコアを決定するステップであって、生存率スコアは、ヒトの胚が、生存可能な胚または生存可能な胎児に至るであろう尤度を表す、ステップと、
生存率スコアを出力するステップと、
を含む、方法である。

本明細書に提供されるものは、システムであって、
少なくとも１つのプロセッサであって、
ヒトの胚のビデオデータを受信することであって、ビデオデータは、ヒトの胚の時系列の画像のシーケンスを含む、ことと、
ビデオデータに少なくとも１つの３次元（３Ｄ）人工ニューラルネットワークを適用し、ヒトの胚に関する生存率スコアを決定することであって、該生存率スコアは、ヒトの胚が、生存可能な胚または生存可能な胎児に至るであろう尤度を表すことと、
生存率スコアを出力することと
を行うように構成される、少なくとも１つのプロセッサ
を含む、システムである。

本明細書に提供されるものは、方法であって、
人工ニューラルネットワーク（ＡＮＮ）を用いてヒトの胚のビデオを表すデータを確率的に分類することによって、ヒトの胚に関する生存率スコアを生成するステップ、または
人工ニューラルネットワーク（ＡＮＮ）を訓練し、ヒトの胚のビデオを表すデータを確率的に分類し、ヒトの胚に関する生存率スコアを生成するステップ、
を含む、方法である。

本明細書に提供されるものは、システムであって、
少なくとも１つのプロセッサであって、
人工ニューラルネットワーク（ＡＮＮ）を用いてヒトの胚のビデオを表すデータを確率的に分類することによって、ヒトの胚に関する生存率スコアを生成すること、または
人工ニューラルネットワーク（ＡＮＮ）を訓練し、ヒトの胚のビデオを表すデータを確率的に分類し、ヒトの胚に関する生存率スコアを生成すること
を行うように構成される、少なくとも１つのプロセッサ
を含む、システムである。
本発明は、例えば、以下の項目を提供する。
（項目１）
コンピュータ実装方法であって、
ヒトの胚のビデオデータを受信するステップであって、前記ビデオデータは、前記ヒトの胚の時系列の画像のシーケンスを表す、ステップと、
前記ビデオデータに少なくとも１つの３次元（３Ｄ）人工ニューラルネットワーク（ＡＮＮ）を適用し、前記ヒトの胚に関する生存率スコアを決定するステップであって、前記生存率スコアは、前記ヒトの胚が生存可能な胚または生存可能な胎児に至るであろう尤度を表す、ステップと、
前記生存率スコアを出力するステップと
を含む、方法。
（項目２）
前記３Ｄ人工ニューラルネットワークは、３Ｄ畳み込みニューラルネットワーク（ＣＮＮ）を含む、項目１に記載の方法。
（項目３）
前記生存率スコアは、前記ヒトの胚を移植することが、生存可能な胎児に至るであろう確率を表す、項目１または２に記載の方法。
（項目４）
前記生存率スコアは、前記ヒトの胚を移植することが、
胚移植後の所定の期間内に検出される生存可能な胎児の心臓と、
尿検査または血液検査に基づいて検出される生化学的妊娠と、
胚移植後の所定の時間において超音波上で検出される生存可能な胎嚢または生存可能な卵黄嚢と、
妊娠の終了時の出生と
のうちのいずれか１つ以上のものに至るであろう確率を表す、項目１に記載の方法。
（項目５）
前記３Ｄ ＡＮＮは、
複数のヒトの胚の複数の画像のシーケンスを表すビデオデータと、
前記複数のヒトの胚のそれぞれが生存可能な胚または生存可能な胎児に至ったかどうかを示す妊娠転帰データと
を使用することによって訓練される、前述の項目のいずれか１項に記載の方法。
（項目６）
前記３Ｄ ＡＮＮの訓練は、特徴の手動の選択または抽出、または重要な発達事象の人間による注釈付けを伴わずに実施される、項目５に記載の方法。
（項目７）
前記３Ｄ ＣＮＮは、それぞれが３Ｄ畳み込みカーネルを使用する複数の畳み込み層と、それぞれが３Ｄプーリングカーネルを使用する複数のプーリング層とを含む、項目２に記載の方法。
（項目８）
全てのビデオが、所定の期間にわたるように、前記受信されたビデオデータを標準化するステップと、
前記ビデオデータをトリミングし、前記デ－タの所定の面積を保持するステップと、
前記ビデオデータ内の前記画像のコントラストを調節するステップと、
前記ビデオデータ内の前記画像を、所定の画像サイズにサイズ変更するステップと
のうちの１つ以上のものをさらに含む、前述の項目のいずれか１項に記載の方法。
（項目９）
前記ビデオデータの少なくともいくつかの画像に視覚オーバーレイを追加することによって、前記ビデオデータを処理するステップであって、前記視覚オーバーレイは、前記生存率スコアへの前記画像の個別の部分の寄与を示す、ステップと、
前記視覚オーバーレイを伴う前記画像を出力するステップと
をさらに含む、前述の項目のいずれか１項に記載の方法。
（項目１０）
前記視覚オーバーレイは、ヒートマップである、項目９に記載の方法。
（項目１１）
前記視覚オーバーレイは、
前記ビデオデータ内の前記画像または画像のシーケンスの一部を閉塞させることによって引き起こされる前記生存率スコア出力の変化を決定すること
によって生成される、項目９または１０に記載の方法。
（項目１２）
前記ビデオデータ内の前記画像の一部を閉塞させるステップは、前記ビデオデータに３次元閉塞ウィンドウを適用するステップを含む、項目１１に記載の方法。
（項目１３）
複数のヒトの胚の等級付けを、それらの生存率スコアに基づいて決定するステップをさらに含む、前述の項目のいずれか１項に記載の方法。
（項目１４）
前記等級付けに基づいて、単一胚移植のための前記複数のヒトの胚のうちの１つまたは複数の胚が移植されるべき順序を選択するステップをさらに含む、項目１３に記載の方法。
（項目１５）
システムであって、
少なくとも１つのプロセッサであって、
ヒトの胚のビデオデータを受信することであって、前記ビデオデータは、前記ヒトの胚の時系列の画像のシーケンスを含む、ことと、
前記ビデオデータに少なくとも１つの３次元（３Ｄ）人工ニューラルネットワークを適用し、前記ヒトの胚に関する生存率スコアを決定することであって、前記生存率スコアは、前記ヒトの胚が生存可能な胚または生存可能な胎児に至るであろう尤度を表す、ことと、
前記生存率スコアを出力することと
を行うように構成される、少なくとも１つのプロセッサ
を含む、システム。
（項目１６）
前記３Ｄ人工ニューラルネットワークは、３Ｄ畳み込みニューラルネットワーク（ＣＮＮ）を含む、項目１５に記載のシステム。
（項目１７）
前記生存率スコアは、前記ヒトの胚を移植することが、生存可能な胎児に至るであろう確率を表す、項目１５または１６に記載のシステム。
（項目１８）
前記生存率スコアは、前記ヒトの胚を移植することが、
胚移植後の所定の期間内に検出される生存可能な胎児の心臓と、
尿検査または血液検査に基づいて検出される生化学的妊娠と、
胚移植後の所定の時間において超音波上で検出される生存可能な胎嚢または生存可能な卵黄嚢と、
妊娠の終了時の出生と
のうちのいずれか１つ以上のものに至るであろう確率を表す、項目１５に記載のシステム。
（項目１９）
前記３Ｄ ＡＮＮは、
複数のヒトの胚の複数の画像のシーケンスを表すビデオデータと、
前記複数のヒトの胚のそれぞれが生存可能な胚または生存可能な胎児に至ったかどうかを示す妊娠転帰データと
を使用することによって訓練される、項目１５－１８のいずれか１項に記載のシステム。
（項目２０）
前記３Ｄ ＡＮＮの訓練は、特徴の手動の選択または抽出、または重要な発達事象の人間による注釈付けを伴わずに実施される、項目１９に記載のシステム。
（項目２１）
前記３Ｄ ＣＮＮは、それぞれが３Ｄ畳み込みカーネルを使用する複数の畳み込み層と、それぞれが３Ｄプーリングカーネルを使用する複数のプーリング層とを含む、項目１６に記載のシステム。
（項目２２）
前記少なくとも１つのプロセッサはさらに、
全てのビデオが、所定の期間にわたるように、前記受信されたビデオデータを標準化するステップと、
前記ビデオデータをトリミングし、前記デ－タの所定の面積を保持するステップと、
前記ビデオデータ内の前記画像のコントラストを調節するステップと、
前記ビデオデータ内の前記画像を、所定の画像サイズにサイズ変更するステップと
のうちの１つ以上のものを実行するように構成される、項目１５－２１のいずれか１項に記載のシステム。
（項目２３）
前記少なくとも１つのプロセッサはさらに、
前記ビデオデータの少なくともいくつかの画像に、視覚オーバーレイを追加することによって、前記ビデオデータを処理することであって、前記視覚オーバーレイは、前記生存率スコアへの前記画像の個別の部分の寄与を示す、ことと、
前記視覚オーバーレイを伴う前記画像を出力することと
を行うように構成される、項目１５－２２のいずれか１項に記載のシステム。
（項目２４）
前記視覚オーバーレイは、ヒートマップである、項目１５－２３のいずれか１項に記載のシステム。
（項目２５）
前記視覚オーバーレイは、
前記ビデオデータ内の前記画像または画像のシーケンスの一部を閉塞させることによって引き起こされる前記生存率スコア出力の変化を決定すること
によって生成される、項目２３または２４に記載のシステム。
（項目２６）
前記ビデオデータ内の前記画像の一部を閉塞させるステップは、前記ビデオデータに３次元閉塞ウィンドウを適用するステップを含む、項目２５に記載のシステム。
（項目２７）
前記少なくとも１つのプロセッサはさらに、
複数のヒトの胚の等級付けを、それらの生存率スコアに基づいて決定する
ように構成される、項目１５－２６のいずれか１項に記載のシステム。
（項目２８）
前記少なくとも１つのプロセッサはさらに、
前記等級付けに基づいて、単一胚移植のための前記複数のヒトの胚のうちの１つを選択する
ように構成される、項目２７に記載のシステム。
（項目２９）
前記システムは、
前記ヒトの胚のビデオデータを捕捉するための画像センサ
を含み、
前記プロセッサは、前記画像センサから前記捕捉されたビデオデータを受信するように構成される、項目１５から２８のいずれか１項に記載のシステム。
（項目３０）
前記システムは、低速度撮影インキュベータを含む、項目１５から２９のいずれか１項に記載のシステム。
（項目３１）
方法であって、
人工ニューラルネットワーク（ＡＮＮ）を用いてヒトの胚のビデオを表すデータを確率的に分類することによって、ヒトの胚に関する生存率スコアを生成するステップ、または
人工ニューラルネットワーク（ＡＮＮ）を訓練し、ヒトの胚のビデオを表すデータを確率的に分類し、前記ヒトの胚に関する生存率スコアを生成するステップ
を含む、方法。
（項目３２）
前記生存率スコアは、前記ヒトの胚が生存可能な胚または生存可能な胎児に至るであろう尤度を表す、項目３１に記載の方法。
（項目３３）
前記ビデオは、随意に予め選択された期間にわたるインキュベータ内の前記ヒトの胚のものである、および／または前記ビデオは、随意に低速度撮影画像を含む一連の画像を含む、項目３１または３２に記載の方法。
（項目３４）
前記ＡＮＮは、３次元（３Ｄ）ＡＮＮおよび／または畳み込みニューラルネットワーク（ＣＮＮ）である、項目３１－３３のいずれか１項に記載の方法。
（項目３５）
前記ＡＮＮは、
ヒトの胚の複数のビデオを表すデータと、
前記ヒトの胚が個別の生存可能な胚または生存可能な胎児に至ったかどうかを表すデータと
を使用して訓練される、項目３１－３４のいずれか１項に記載の方法。
（項目３６）
システムであって、
少なくとも１つのプロセッサであって、
人工ニューラルネットワーク（ＡＮＮ）を用いてヒトの胚のビデオを表すデータを確率的に分類することによって、ヒトの胚に関する生存率スコアを生成すること、または
人工ニューラルネットワーク（ＡＮＮ）を訓練し、ヒトの胚のビデオを表すデータを確率的に分類し、前記ヒトの胚に関する生存率スコアを生成すること
を行うように構成される、少なくとも１つのプロセッサ
を含む、システム。
（項目３７）
前記生存率スコアは、前記ヒトの胚が生存可能な胚または生存可能な胎児に至るであろう尤度を表す、項目３６に記載のシステム。
（項目３８）
前記ビデオは、随意に予め選択された期間にわたるインキュベータ内の前記ヒトの胚のものである、および／または前記ビデオは、随意に低速度撮影画像を含む一連の画像を含む、項目３６または３７に記載のシステム。
（項目３９）
前記ＡＮＮは、３次元（３Ｄ）ＡＮＮおよび／または畳み込みニューラルネットワーク（ＣＮＮ）である、項目３６－３８のいずれか１項に記載のシステム。
（項目４０）
前記ＡＮＮは、
ヒトの胚の複数のビデオを表すデータと、
前記ヒトの胚が個別の生存可能な胚または生存可能な胎児に至ったかどうかを表すデータと
を使用して訓練される、項目３６－３９のいずれか１項に記載のシステム。

本発明のいくつかの実施形態が、付随の図面を参照して、実施例としてのみ、以下に説明される。

図１は、胚の生存率を推定するための例示的システムの一般的構造を示す。

図２は、一実施例において使用される３Ｄ畳み込みニューラルネットワークの例示的アーキテクチャを示す。

図３Ａおよび３Ｂは、別の実施例において使用される３Ｄ畳み込みニューラルネットワーク概略の例示的アーキテクチャを示す。

図４は、本システムによって生産される、ヒートマップの一実施例を示す。

図５Ａは、低速度撮影ビデオデータのある実施例を示す。

図５Ｂは、低速度撮影ビデオデータのために生成される、３Ｄ閉塞ウィンドウおよびヒートマップの適用を図示する。

図６は、ヒートマップを生成するための方法／処理ステップを示す。

図７は、胚の生存率を推定するための方法／処理ステップを示す。

図８は、深層学習モデルを訓練するためのコンピュータのある実施例を示す。

図９は、一実施例による、複数のニューラルネットワークの組み合わせを図示する。

図１０は、一実施例による、深層学習モデルの性能を示すグラフである。

図１１は、出力された生存率スコアと実際の妊娠転帰との間の例示的相関を示すグラフである。

図１２は、本システムのソフトウェアインターフェースの一実施例である。

図１３は、本システム／方法に関する分類モデルの実装／訓練の一実施例の概略の概要図である。

図１４は、ヒートマップの別の実施例を示す。

図１５は、深層学習モデルを訓練するために使用される、低速度撮影ビデオの標識付けを示す。

図１６は完全なデータセットの訓練セットと試験セットとへの分割を示す。

図１７Ａおよび１７Ｂは、それぞれ、事前処理の前後の低速度撮影胚ビデオにおける、わずかに異なる時点における画像のある実施例を示す。

図１８は、複数のニューラルネットワークを組み合わせるときのデータセットの区分を示す。

図１９は、生存率スコアを表示する、ソフトウェアパッケージの例示的ユーザインターフェースを示す。

本発明の実施形態は、胚の生存率を推定するための処理システムを提供する。本システムは、ヒトの胚のビデオデータを受信し、受信されたビデオデータを処理し、胚に関する生存率スコアを決定するように構成される。ビデオデータは、時系列の画像のシーケンスを含み、そのため、これは、「低速度撮影ビデオデータ」とも称される。

用語「胚」は、受精卵または受精卵、およびそこから発達する胚を含むことが意図されることを理解されたい。

概して、生存率スコアは、子宮内への着床の後、胚が成功した妊娠につながる尤度の予測を提供する、確率である、またはそれを含む。より高いスコアを伴う胚は、生存可能な胚または生存可能なヒトの胎児に至る、より高い確率を有する。

生存率スコアは、患者のためにインキュベートされる複数の胚の中から、女性の子宮の中に移植されるべき単一の胚を決定するために使用され得る。例えば、より高いスコアを伴う胚が、選択され、子宮の中に着床され得る。これは、複数の胚を移植することに起因する複数の胚と関連付けられる、出産前合併症のリスクを防止し得る。生存可能な胚または生存可能な胎児に至る最も高い確率を伴う胚を決定することはまた、最良な胚が、最初に移植され、後続の胚移植を余儀なくさせる、失敗した移植を回避するため、妊娠までの時間を減少させる。

代替として、（凍結胚を使用した後続の治療周期の間に）複数の胚が移植されるべきとき、生存率スコアは、胚が患者の子宮の中に移植されるであろう順序を決定するために使用され得る。

いくつかの既存の胚査定方法またはグレード付けシステム（例えば、Ｇａｒｄｎｅｒ胚盤胞グレード付けシステムおよびＫＩＤスコア）が、胚を限定された数のグレード、例えば、１～５のグレードに分類し得る。

対照的に、本開示は、胚が生存可能な胚または生存可能な胎児に至る確率を推定することによって、よりきめ細かい分類を提供する。本開示において使用される分類方法は、「確率的な分類」方法とも称され得る。本確率的分類は、確率値、例えば、胚毎の割合を提供し、従って、胚間のより微細な差異を識別する。故に、さらに既存のグレード付けシステムによる同一のグレードを伴う胚も、生存率スコアによって等級付けされることができる。これは、それらの生存率に基づく、複数の胚の等級付けの自動生成、および等級付けに基づく、複数の胚からの移植のための単一胚の自動選択を可能にする。

生存可能な胚は、
（例えば、β－ＨＣＧに関する）尿検査または血液検査に基づいて検出される、生化学的妊娠、または
胚移植後の所定の時間（例えば、６～７週間）において超音波上で検出される、生存可能な胎嚢または生存可能な卵黄嚢を伴う臨床的妊娠、
を有する、胚として定義され得る。

生存可能な胎児は、
胚移植後の選択された時間（例えば、６週間以上の時間）に母体超音波上で検出される、生存可能な胎児の心臓、または
妊娠終了時の出生、
を有するものとして定義され得る。

胚の質のいくつかの公知の測定、例えば、「胚が良好に見える程度」に基づいた既存のグレード付けスキームを使用して、胚培養士によって主観的に決定される胚グレード、または母親が、胚移植後に陽性の妊娠検査を有するであろう尤度を表す、着床の可能性と比較されると、胚移植６週間後の超音波胎児心臓検出結果を使用することは、より客観的、かつより信頼性のある胚の生存率の推定を提供する。

用語「処理システム」は、任意の電子処理デバイスまたはシステム、またはコンピューティングデバイスまたはシステム、またはそれらの組み合わせ（例えば、コンピュータ、ウェブサーバ、スマートフォン、ラップトップ、マイクロコントローラ等）を指し得ることを理解されたい。処理システムはまた、分散型システムであってもよい。一般的に、処理／コンピューティングシステムは、少なくとも１つのバスによって接続される、１つ以上のプロセッサ（例えば、ＣＰＵ、ＧＰＵ）、メモリ構成要素、および入力／出力インターフェースを含んでもよい。それらはさらに、入力／出力デバイス（例えば、キーボード、ディスプレイ等）を含んでもよい。また、処理／コンピューティングシステムは、典型的には、命令を実行し、メモリの中に記憶されるデータを処理するように構成される（すなわち、ソフトウェアを介してデータ上で動作を実施するようにプログラム可能である）ことを理解されたい。

図１は、胚の生存率を推定するための例示的システム１００の一般的構造を図示する。システム１００は、処理システムのある実施例である。

示されるように、システム１００は、胚１０４を含有し、かつ胚１０４が生存するために好適な環境条件を維持するための、インキュベータ１０２を含む。インキュベータ１０２は、胚１０４の低速度撮影ビデオデータを捕捉するための、画像センサ１０６を含む。

画像センサ１０６によって捕捉された低速度撮影ビデオデータは、低速度撮影ビデオデータに深層学習モデルを適用し、胚１０４に関する生存率スコアを決定する、プロセッサ１０８に送信される。

プロセッサ１０８によって決定された生存率スコアは、その後、胚培養士等の人間スタッフによる使用のための、ディスプレイ１１０または他の好適な出力デバイスに出力されてもよい。

手動の特徴抽出またはビデオデータの人間による注釈付けは、要求されず、深層学習モデルは、未処理のビデオデータのみを受信し、生存率スコアを出力する、エンドツーエンドモデルであることを理解されたい。

生存率スコアを決定するために、深層学習モデルは、低速度撮影ビデオデータに適用される。深層学習モジュールは少なくとも、３Ｄ畳み込みニューラルネットワーク（３Ｄ ＣＮＮ）等の３次元（３Ｄ）人工ニューラルネットワーク（ＡＮＮ）を含む。

３Ｄ ＣＮＮが、３Ｄ畳み込みを実施することによって空間および時間次元の両方から特徴を抽出し、それによって、ビデオ内の各単一の画像フレーム内に含有される情報だけではなく、隣接する画像フレームを含む、複数の時系列に分離された画像フレーム内に含有される運動情報も捕捉する。

これは、各静的画像の中に含有される情報のみを考慮する、胚の静的画像のみに機械学習モデルを適用することによって胚の質を分析することとは対照的である。

これはまた、人間が手動で形態学的にグレード付けを行う等、特徴を抽出する、または発達マイルストーンの厳密なタイミングに注釈付けを行うことが要求される、システムとも対照的である。そのようなシステムは、機械学習を適用し得るが、これらの抽出された特徴および／または注釈付けのみに対してであり、かつ胚のグレード付けを予測するためにすぎない。故に、そのようなシステムを使用した胚低速度撮影ビデオの分析は、特徴に手動で、または半自動的に注釈付けを行う（例えば、形態学的なグレード付け）、または重要な発達マイルストーンのタイミングを抽出する、胚培養士の経験に依拠し得る。本プロセスは、時間がかかり、かつ不正確であり得る。例えば、各患者は、治療周期あたり最大３０～２０個の胚を有し得、各胚は、完全に注釈付けを行うために最大５分を要し得る。故に、これは、胚の多数の低速度撮影ビデオを分析するための拡張可能な解決策ではない。対照的に、３Ｄ ＡＮＮを使用する、低速度撮影胚ビデオを分析するための完全にエンドツーエンドである方法は、例えば、典型的なラップトップ上で１秒あたり１０個の胚を分析し得、これは、既存の方法より効率的であり、したがって、胚の低速度撮影ビデオ分析を拡張可能にすることができる。

本明細書に説明されるシステムは、低速度撮影ビデオデータのフレーム内特徴だけではなく、フレーム間特徴も抽出し、したがって、胚の空間的および時間的特徴の両方を捕捉する。このように、説明されるシステムは、既存の方法と比較されると、胚の生存率のより包括的、かつより正確な分析を提供し得る。

図２は、３Ｄ ＣＮＮの例示的アーキテクチャを図示する。本実施例では、３Ｄ ＣＮＮは、一連の畳み込みおよびプーリング層を含有する。より具体的には、ＣＮＮは、２つの３×３×３畳み込みの繰り返される適用を含み、プーリング動作が後に続く。３Ｄ ＣＮＮの最後の層は、生存率スコアを出力する、予測層である。

図３Ａおよび３Ｂは、３Ｄ ＣＮＮの別の例示的アーキテクチャを図示する。本実施例では、３Ｄ ＣＮＮは、Ｊ Ｃａｒｒｅｉｒａ， Ａ Ｚｉｓｓｅｒｍａｎ （２０１７）， Ｑｕｏ ｖａｄｉｓ， ａｃｔｉｏｎ ｒｅｃｏｇｎｉｔｉｏｎ？ ａ ｎｅｗ ｍｏｄｅｌ ａｎｄ ｔｈｅ ｋｉｎｅｔｉｃｓ ｄａｔａｓｅｔ， ２０１７ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ （ＣＶＰＲ）， ４７２４ － ４７３３に説明されるような、２次元（２Ｄ）フィルタをインフレートさせ、２Ｄ ＣＮＮのカーネルを３Ｄにプーリングすることによって生成される、既存のインフレートされた３Ｄ ＣＮＮである。故に、Ｎ×Ｎフィルタが、インフレーションの後、Ｎ×Ｎ×Ｎフィルタになる。図３Ａに示されるように、インフレートされた３Ｄ ＣＮＮは、複数の畳み込みおよびプーリング層と、複数の開始モジュール（「開始」）とを有する。図３Ｂは、開始モジュールのアーキテクチャを図示する。

図３Ａに示される３Ｄ ＣＮＮの最後の層は、線形分類層であり、これは、胚の生存率スコアを出力する。

図２、および図３Ａおよび３Ｂに示されるように、３Ｄ ＣＮＮの両方の例示的アーキテクチャが、３Ｄ畳み込みカーネルおよびプーリングカーネルを利用し、これは、３Ｄ ＣＮＮが低速度撮影ビデオデータから胚の時空間特徴を捕捉することを可能にする。

胚のビデオデータは、例えば、時系列の静止画像のシーケンス、または低速度撮影ビデオデータドキュメント等の種々のフォーマットから導出され得ることを理解されたい。一実施例では、低速度撮影ビデオデータは、７２０個の低速度撮影画像フレームを含む、低速度撮影ビデオドキュメントである。

３Ｄ ＣＮＮは、
複数のヒトの胚の複数の画像のシーケンスを表す、ビデオデータと、
複数のヒトの胚がそれぞれ、生存可能な胚または生存可能な胎児に至ったかどうかを示す、妊娠転帰データと、
を使用することによって訓練される。

前述に説明されるように、生存可能な胚は、
（例えば、β－ＨＣＧに関する）尿検査または血液検査に基づいて検出される、生化学的妊娠、または
胚移植後の所定の時間（例えば、６～７週間）において超音波上で検出される、生存可能な胎嚢または生存可能な卵黄嚢を伴う臨床的妊娠、
を有する、胚として定義され得る。

生存可能な胎児は、
胚移植後の選択された時間（例えば、６週間、７週間、８週間、９週間、１０週間、１１週間、１２週間、３ヶ月、４ヶ月、５ヶ月、６ヶ月、８ヶ月、９ヶ月）に母体超音波上で検出される、生存可能な胎児の心臓、または
妊娠終了時の出生、
を有するものとして定義され得る。

いくつかの既存の機械学習ベースの胚査定方法は、胚の発達における重要な事象（例えば、神経ニューロン形成、筋骨格の体節形成、および／または心臓発生）を抽出および分析する、またはその人間による注釈付けを行うための、胚の特徴（例えば、割球の対称性、細胞質の外観、および／または断片化の量）を手動で決定するための事前分析を要求し得る。対照的に、本明細書に説明される３Ｄ ＣＮＮは、胚の特性／特徴の手動選択または抽出、または重要な発達事象の人間による注釈付けを伴わずに訓練および使用されることができる。言い換えると、本明細書に説明される深層学習モデルは、エンドツーエンド胚査定プロセスを提供する。これは、医療従事者が、現在、ヒトの胚の質を査定するステップにおいて、何の特性／特徴が最も有用な特性／特徴であるかに関連する完全な理解を有していないため、有利であり得る。したがって、エンドツーエンド胚査定プロセスを提供することによって、本明細書に説明される深層学習モデルは、システムが、どの特性／特徴が使用されるべきであるかを学習および自動的に決定することを可能にし、したがって、既存の胚査定方法およびシステムより正確な結果を提供することができる。さらに、細胞の対称性、数、断片化の程度、および重要な事象の厳密なタイミング等の特徴を抽出するための事前分析は、主観的かつ繰り返し不可能なプロセスであり、胚培養士間で非常に変動し易い。これらのデータに適用される深層学習モデルは、性能の観点から同一の障害を受けるであろう。

３Ｄ ＣＮＮは、プロセッサ１０８と異なる、１つ以上のデバイス上で訓練され得る。例えば、３Ｄ ＣＮＮは、１つ以上のグラフィッカル処理ユニット（ＧＰＵ）および／または１つ以上の中央処理ユニット（ＣＰＵ）を含む、デバイスを使用することによって訓練され得る。

図１に戻って参照すると、いくつかの実施形態では、プロセッサ１０８は、深層学習モジュールを適用する、または訓練するステップの前に、低速度撮影ビデオデータを事前処理してもよい。

例えば、プロセッサ１０８は、全てのビデオが所定の期間にわたるように、受信された低速度撮影ビデオデータを標準化してもよい。

プロセッサ１０８はまた、トリミングするステップを実施し、低速度撮影ビデオデータ内の所定の面積、例えば、胚を含む面積を保持してもよい。

プロセッサ１０８はさらに、例えば、コントラスト制限適応ヒストグラム均等化（ＣＬＡＨＥ）を適用することによって、低速度撮影ビデオデータ内の画像のコントラストを調節し、ビデオの質を向上させてもよい。

最後に、プロセッサは、低速度撮影ビデオデータ内の画像を所定の画像サイズにサイズ変更してもよい。

いくつかの形態で、システム１００はさらに、低速度撮影ビデオデータの少なくともいくつかの画像にわたって表示するための、視覚オーバーレイを生産するように構成される。視覚オーバーレイは、生存率スコアに対する、画像の一部の寄与を示す。

一実施例では、視覚オーバーレイは、その実施例が図４に示される、ヒートマップ（寄与マップとも称される）である。

ヒートマップは、低速度撮影ビデオデータ内の画像の一部を閉塞させると、深層学習モデルによって出力される、生存率スコアの変化を分析することによって生成され得る。例えば、３Ｄ閉塞ウィンドウが、ビデオに適用され、ビデオの異なる部分を閉塞させることができる。

図５Ａは、ヒートマップを追加する前の低速度撮影ビデオデータのある実施例を示す。図５Ｂは、３Ｄ閉塞ウィンドウの適用と、生成されたヒートマップとを図示する。

図５Ｂに示されるように、異なる強度または色が、各時空間領域の胚の生存率への寄与のレベルを表すために使用され得る。例えば、青色は、胚の生存率への低レベルの寄与を有する時空間領域（そのような領域は、「好ましくない時空間領域」とも称され得る）を示し得る一方、赤色は、胚の生存率への高レベルの寄与を有する時空間領域（そのような領域は、「好ましい時空間領域」とも称され得る）を示し得る。

図６は、ヒートマップを生成するステップにおいてプロセッサ１０８によって実施される、例示的処理フローを図示する。

ステップ６１０において、プロセッサ１０８は、３Ｄ ＣＮＮモデルを使用し、低速度撮影ビデオデータに基づいて原生存率スコアを予測する。

ステップ６２０において、プロセッサ１０８は、ビデオデータの対応する３Ｄ部分に３Ｄ閉塞ウィンドウを適用し、黒色のピクセルでビデオデータの３Ｄ領域を閉塞させる。

ステップ６３０において、プロセッサ１０８は、同一の３Ｄ ＣＮＮモデルを使用し、部分的に閉塞された低速度撮影ビデオに基づいて、新しい生存率スコアを予測する。

ステップ６４０において、プロセッサ１０８は、３Ｄ閉塞ウィンドウの現在の位置に関する、新しい生存率スコアと原生存率スコアとの間の差異を決定する。

ステップ６５０において、プロセッサ１０８は、ビデオ全体が処理されたかどうかを決定する。

該当しない場合、プロセッサ１０８は、ステップ６６０において、３Ｄ閉塞ウィンドウを次の３Ｄ領域に移動させ、次いで、ステップ６２０に一巡して戻る。

ビデオ全体が処理された場合、プロセッサ１０８は、ステップ６７０に進み、各時空間領域の胚の生存率への寄与の程度を表す、３Ｄヒートマップを生成する。

最後に、ステップ６８０において、プロセッサ１０８は、生成された３Ｄヒートマップを出力する。

生成された３Ｄヒートマップは、その後、ディスプレイ１１０等の表示デバイスに送信され得、そこで、３Ｄヒートマップは、人間スタッフ、例えば、胚培養士にもたらされ得る。これは、胚培養士が機械学習モデルの意思決定プロセスを精査および／または分析し、機械学習モデルによって使用される胚ビデオ内の特性／特徴を学習し、胚の生存率を精査することを可能にする。このように、ヒートマップは、人間医療従事者の胚の生存率の理解を改良し、システムによるいかなる異常挙動も診断することに役立ち得る。

本明細書に説明されるプロセッサ１０８は、例えば、着床に先立って、胚を保管および／または発達させるために使用される、インキュベータ１０２等の他の装置およびシステムの中に統合され得ることを理解されたい。故に、インキュベータは、本明細書に説明されるプロセッサ１０８等の処理システムを組み込むことができる。代替として、プロセッサ１０８は、図１に示されるように、インキュベータ１０２と別個の装置、例えば、クラウドサーバとして提供されてもよい。

さらに、図１に示される実施例では、プロセッサ１０８は、インキュベータ１０２とデータ通信し、画像センサ１０６によってインキュベータ１０２から直接捕捉される低速度撮影ビデオデータを受信しているが、いくつかの実施形態では、低速度撮影ビデオデータは、その後、プロセッサ１０８によってアクセスされる、または読み取られ得る、データストアまたはサーバ上に記憶されてもよい。

いくつかの実施形態では、プロセッサ１０８は、１つ以上の有線および／または無線ネットワークを介して低速度撮影ビデオデータを記憶する、インキュベータ１０２またはデータストアに通信可能に接続されてもよい。胚の生存率の決定は、ウェブ／クラウドベースのサービス／アプリケーションとして提供される、すなわち、インターネットを介してアクセスされてもよい。

独立型システムとして具現化される、または別の装置またはシステム（例えば、インキュベータ）の一部として組み込まれることに加えて、本発明の実施形態は、コンピュータ（または他の好適な電子的処理デバイス）によって実施されるべき方法を含み得ることを理解されたい。

そのような形態では、実施形態は、着床のためのヒトの胚の生存率を推定する、コンピュータ実装方法を提供する。図７に示されるように、本方法は、
ヒトの胚のビデオデータを受信するステップであって、ビデオデータは、ヒトの胚の時系列の画像のシーケンスを含む、ステップ（ステップ７１０）と、
ビデオデータに少なくとも１つの３次元（３Ｄ）人工ニューラルネットワーク（ＡＮＮ）を適用し、ヒトの胚に関する生存率スコアを決定するステップであって、生存率スコアは、ヒトの胚が、進行中の妊娠を生成させるであろう尤度を表す、ステップ（ステップ７２０）と、
生存率スコアを出力するステップ（ステップ７３０）と、
を含む。

いくつかの実施形態では、本方法はさらに、
図７のステップ７４０によって示されるように、複数のヒトの胚の等級付けを、それらの生存率スコアに基づいて決定するステップを含んでもよい。

いくつかの実施形態では、本方法はさらに、
図７のステップ７５０によって示されるように、等級付けに基づいて、単一胚移植のための複数のヒトの胚のうちの１つ、または複数の胚が移植されるべき順序を選択するステップを含んでもよい。

選択された胚は、その後、患者の子宮の中に移植されてもよい。

また、本明細書に提供されるものは、コンピュータを本明細書に説明されるような方法を実施するように構成する命令を含む、コンピュータプログラムであり、これは、コンピュータ可読媒体上に提供されてもよい。一実施例では、本方法は、通信ネットワーク（例えば、インターネット）を介してアクセスされるべき、遠隔サーバ（例えば、クラウドベースのサーバ）上に実装される。

また、本明細書に提供されるものは、
人工ニューラルネットワーク（ＡＮＮ）を用いてヒトの胚のビデオを表すデータを確率的に分類することによって、ヒトの胚に関する生存率スコアを生成するステップ、または
人工ニューラルネットワーク（ＡＮＮ）を訓練し、ヒトの胚のビデオを表すデータを確率的に分類し、ヒトの胚に関する生存率スコアを生成するステップ、
を含む、方法である。

さらに、本明細書に提供されるものは、
少なくとも１つのプロセッサであって、
人工ニューラルネットワーク（ＡＮＮ）を用いてヒトの胚のビデオを表すデータを確率的に分類することによって、ヒトの胚に関する生存率スコアを生成すること、または
人工ニューラルネットワーク（ＡＮＮ）を訓練し、ヒトの胚のビデオを表すデータを確率的に分類し、ヒトの胚に関する生存率スコアを生成すること
を行うように構成される、少なくとも１つのプロセッサ
を含む、システムである。

本説明されるシステムおよび方法は、胚の生存率を推定／予測するための従来の方法に優る、いくつかの利点を提供し得る。

例えば、システム／方法を実装するステップにおいて、人的過誤が、胚の質を査定するプロセスにおいて低減／除去され得る。本システムは、客観的であり、疲労、感情バイアス、または未経験によって影響を受けるものではない。各胚に提供される生存率スコアはまた、再現可能であり、読取者または作業所間の変動性は存在しない。

本明細書に説明される、深層学習モデルの訓練は、胚の特性／特徴の手動の、人間による標識付け／注釈付けを要求しない。本明細書に説明されるシステム／方法は、エンドツーエンド胚査定ソリューションを提供する。前述に説明されるように、医療従事者が、現在、胚の質を査定するために好適な特性／特徴の包括的な理解を有していないことを前提として、エンドツーエンドプロセスは、胚の特性／特徴の手動の選択／注釈付けに依拠するシステム／方法より正確な結果を提供することができる。さらに、注釈付けおよび特徴抽出のステップは、非常に多くの労力を要し、典型的には、胚あたり、５～１０分を要する。各治療周期は、最高５０個の胚を有することができる。

本システム／方法は、人間胚培養士よりはるかに迅速に低速度撮影ビデオを解釈し得る。典型的なパーソナルコンピュータ上に実装されると、本システム／方法は、１秒あたり約１０個の胚を解釈することができる。これは、したがって、大量採用のために非常に拡張可能である。いくつかの実施例では、速度は、胚が、要求に応じて、ほぼ瞬時に解釈されることを可能にし、患者の予定決めをより柔軟にするようなものであり得る。

本システム／方法を実装する運用費用は、非常に訓練された胚培養士のものよりはるかに安価であり得る。結果として、ＩＶＦ作業所は、それらの高給の人的資源をＩＶＦの他の側面に配分することができる。

加えて、閉塞ウィンドウを使用して生成されるヒートマップ等の視覚オーバーレイは、胚培養士が、機械学習モデルから学習することを可能にする。ヒートマップを使用することによって、本明細書に説明されるシステム／方法は、胚培養士の能力を強化することができ、胚の生存率に関する未知のマーカを識別するためのツールとして使用されることができる。

（実施例１）
インキュベータ（例えば、Ｅｍｂｒｙｏｓｃｏｐｅ（Ｒ））からの低速度撮影ビデオを分析することによって妊娠の可能性／胚の生存率を予測するためのソフトウェアルーツ／アプリケーションが、処理／コンピュータシステム上での実装のために開発された。ソフトウェアは、３Ｄ ＣＮＮネットワークを伴う深層学習モデルを実装した。

既知の妊娠転帰を伴う胚の低速度撮影ビデオの訓練データセットが、３Ｄ ＣＮＮ深層学習モデルを訓練するために使用された。訓練データセットは、９０３個の低速度撮影ビデオを含み、６５７個は、陰性の妊娠転帰であり、２４６個は、陽性の妊娠転帰であった。ビデオは、訓練後の検証のために、訓練セット（７５％）と、試験セット（２５％）とに無作為に分けられた。

処理／コンピュータシステムは、図８に示されるように、４つのグラフィカル処理ユニット（ＧＰＵ）と、１２個のコア中央処理ユニット（ＣＰＵ）とを伴う、パーソナルコンピュータを含んだ。システムは、過熱を防止するための１２個の高性能ファンに加えて、２つの別個のウォータループによって冷却された。

図９に示されるように、本実施例において使用された３Ｄ ＣＮＮ深層学習モデルは、３つの別個のニューラルネットワークを含んだ。生存率スコアを決定するために、各胚の低速度撮影ビデオは、３つのニューラルネットワークのそれぞれによって独立して分析され、それらの予測の平均が、最終出力として報告された。モデルは、所与の胚が、続いて臨床的妊娠を生じさせるであろう確率（生存率）スコア（０％～１００％）を返した。

訓練プロセスの後、モデルは、試験セットからの胚の１８０をスコア付けした。図１０に示されるように、深層学習モデルは、０．７８の曲線下面積（ＡＵＣ）を達成し、人間評価者（ＡＵＣ＝０．５５～０．７５）より優れていた。２０％のカットオフ閾値において、モデルは、９５％の感度、４３％の特異度、１．６５の陽性の尤度比、および０．１３陰性の尤度比を有した。

返された生存率スコアもまた、実際の妊娠率と良好に相関していた。図１１は、それらの胚のために生産された生存率スコアと比較されたときの胚の妊娠率を示す。モデルは、高い妊娠可能性を伴う胚対低い妊娠可能性を伴う胚を明確に区別し得ることが示されている。加えて、その予測された妊娠の確率は、実際の妊娠率に非常に類似していた。

ソフトウェアツールは、ユーザが、モデルによって提供された予測に対して最も寄与した時点（すなわち、胚発達の間）および空間内の場所（すなわち、ビデオ画像の一部）を強調した、（図４に示されるような）ヒートマップをオーバーレイすることを可能にした。ヒートマップは、モデルの意思決定プロセスに関して、胚培養士に見識を提供した。生存率スコアに加えて、本ヒートマップは、患者の治療記録の一部となり得る。

本特定の実施例では、入力形式は、ＩＣＳＩまたはＩＶＦ胚を含む、ＥｍｂｒｙｏＳｃｏｐｅ（Ｒ）ソフトウェアからエクスポートされた、任意の低速度撮影ビデオ（例えば、．ａｖｉファイル）であった。ビデオは、胚の発達周期内の異なる開始時間（例えば、Ｄ５－Ｄ６胚盤胞段階、Ｄ２－３卵割段階）を有し得ることを理解されたい。

複数の胚／ビデオが、同時に査定され得る。そのような事例では、ソフトウェア／システムは、それらの生存率スコアに従って胚を等級付けし、最も高いスコアを伴う胚が、単一胚移植のために推奨されるであろう。図１２に示される実施例では、「胚１」が、推奨された胚であった。胚の残りは、次いで、凍結され、その後、患者に成功した妊娠転帰の最も高い可能性を与えるように、生存率スコアが高い順に移植され得る。さらに、具体的なカットオフ閾値が、各ＩＶＦ診療所によって決定され得、本閾値未満にスコア付けされたいかなる胚も、「生存不可能である」ものとして見なされ、凍結または胚移植用として考慮されなくなり得る。

本実施例では、ソフトウェアツール／アプリケーションは、Ｌｉｎｕｘ（登録商標）オペレーティングシステム上で起動した。他のバージョンも、異なるオペレーティングシステム上で動作するように容易に生産され得ることを理解されたい。ソフトウェア／システムは、ウェブ／クラウドベースのサービス／アプリケーションとして展開される、すなわち、インターネットを介してアクセスされ得ることを理解されたい。モデルは、訓練プロセスの中にさらなるデータを追加することによって改良され得ることを理解されたい。図１３は、深層学習モデルの訓練、実装、および再訓練の一実施例の概要を示す。

（実施例２）
インキュベータ（例えば、Ｅｍｂｒｙｏｓｃｏｐｅ（Ｒ）またはＥｍｂｒｙｏＳｃｏｐｅ＋（Ｒ））からの低速度撮影ビデオを分析することによって妊娠の可能性／胚の生存率を予測するためのソフトウェアルーツ／アプリケーションが、処理／コンピュータシステム上での実装のために開発された。ソフトウェアは、図３Ａおよび３Ｂに示されるような３Ｄ ＣＮＮを含む深層学習モデルを実装した。

データ収集
ＥｍｂｒｙｏＳｃｏｐｅ（Ｒ）またはＥｍｂｒｙｏＳｃｏｐｅ＋（Ｒ）等の商業的に利用可能な低速度撮影インキュベータからエクスポートされた胚の低速度撮影ビデオが、ＩＶＦ作業所から収集され、深層学習モデルを訓練するために使用された。

各胚の転帰は、患者管理システムから得られ、図１５に示される概略図を使用してこれらの低速度撮影ビデオを標識するために使用された。

特に、患者に移植され、胚移植後６週間において母体超音波上で検出可能な胎児心臓に至った胚が、陽性を表す「１」と標識された。胚培養士によって破棄されたか、または胎児心臓に至らなかったかのいずれかであった胚は、陰性を表す「０」と標識された。不明または未決定の転帰を伴う全ての胚は、訓練のために使用されなかった。

データ分割
ＥｍｂｒｙｏＳｃｏｐｅ（Ｒ）またはＥｍｂｒｙｏＳｃｏｐｅ＋（Ｒ）等の商業的に利用可能な低速度撮影インキュベータからエクスポートされた胚の低速度撮影ビデオが、ＩＶＦ作業所から収集され、深層学習モデルを訓練するために使用された。

全体で、完全なデータセットは、１，２８１個の低速度撮影ビデオを含んだ。

図１６に示されるように、完全なデータセットは、訓練セット（８０％）と、試験セット（２０％）とに無作為に分割された。ニューラルネットワークは、訓練セット上でのみ訓練された。いったん訓練が、完了すると、モデルは、試験セットで試験され、性能特性メトリックを得た。

訓練セットは、１，０２５個の低速度撮影ビデオを含み、７８９個は、陰性の妊娠転帰であり、２３６個は、陽性の妊娠転帰であった。試験セットは、２５６個の低速度撮影ビデオを含み、１９７個は、陰性の妊娠転帰であり、５９個は、陽性の妊娠転帰であった。

訓練のためのデータ調製
訓練データセット内の低速度撮影ビデオは、深層学習モデルを訓練するために使用される前に、事前処理された。初めに、低速度撮影ビデオは、全ての胚のビデオが５日間にわたることを確実にするような時間に標準化された。円形のトリミング機能が、次いで、各ビデオに適用され、胚を中心合わせし、不要な面積を除外し、ニューラルネットワークがその学習を胚に向かって集束させることを可能にした。コントラスト制限適応ヒストグラム均等化（ＣＬＡＨＥ）が、次いで、胚ビデオ内の全ての画像に適用され、画像の質を向上させた。最後に、全ての胚ビデオが、１２８×１２８×１２８×１（１２８×１２８個のピクセルの１２８個のフレームと、白黒色の１つのチャネルとの積）の固定された形状にサイズ変更された。

図１７Ａおよび１７Ｂは、それぞれ、事前処理の前後の低速度撮影胚ビデオにおける、わずかに異なる時点における画像のある実施例を示す。

データ拡張
原データセットのサイズを増加させるために、種々の変換が、各低速度撮影ビデオに無作為に適用され、原ビデオと視覚的に異なる新しいビデオを作成した。これは、ニューラルネットワークが、未観察の実施例をより良好に一般化し、それによって、ニューラルネットワークの性能をさらに改良することを可能にする。

これらの拡張方法は、
無作為の３６０度回転と、
無作為の水平および垂直な反転と、
ビデオサイズの無作為の再拡張（１．２倍～０．８倍）と、
無作為の再生速度調節（１．２倍～０．８倍）と、
集束効果を模倣するための、ガウスぼかしと、
ビデオの一部の無作為の塗潰しと、
を含んだ。

訓練プロセスのステップの間、ビデオのあるバッチが、データセットから無作為に選択され、拡張動作の無作為のセットが、本バッチに適用され、訓練のビデオのわずかに異なるセットを作成した。本プロセスは、データセット全体が、複数回にわたって一巡されるにつれて、繰り返された。

深層学習モデルの訓練
図３Ａおよび３Ｂに示されるような３Ｄ ＣＮＮ深層学習モデルが、本実施例において使用された。

３Ｄ ＣＮＮは、確率的勾配降下法を使用して、低速度撮影ビデオデータセットを用いて訓練された。訓練するために使用された損失関数は、カテゴリカル交差エントロピーであった。ＣＮＮは、１０２，４００個のステップにわたって、０．００００１の学習率および０．９の運動量を使用して訓練された。学習率は、次いで、０．０００００１に低下され、ネットワークは、さらに１０２，４００個のステップにわたって訓練された。

訓練は、ＮＶＩＤＩＡ １０８０ Ｔｉ等の４つのグラフィカル処理ユニット（ＧＰＵ）と、Ｉｎｔｅｌ ｉ７－６８５０Ｋ等の６つのコア中央処理ユニット（ＣＰＵ）と、６４ＧｂのＲＡＭとを伴う、パーソナルコンピュータを使用して実施された。

モデルを組み合わせるステップ
本実施例では、複数の３Ｄ ＣＮＮが、組み合わせられ、さらに、ＣＮＮの性能を改良した。

選択肢を組み合わせる方法は、５分割交差検証およびモデルのバギングであった。図１８に示されるように、完全なデータセットは、５つの等しい部分に分割された。これらの部分のうちの１つは、試験のために連続的に差し出され、モデルは、他の４つの部分を使用して訓練された。最終結果は、わずかに異なるデータセット上で訓練され、異なるバイアスを帯びた５つの一意のニューラルネットワークであった。新しい胚に関する予測を行うとき、５つのニューラルネットワーク全てが、使用され、独立して胚にスコア付けし、それらのスコアは、最終スコアを得るように平均化された。これは、いかなる個々のモデル単独よりロバストである、統一モデルをもたらした。

展開ソフトウェア
新しい低速度撮影ビデオにニューラルネットワークを提供するためのソフトウェアパッケージが、開発された。ソフトウェアは、胚毎に低速度撮影シーケンスのビデオファイルを受け取り、生存率スコア（「ＥＢ．スコア」とも称され得る）を出力するように構成された。生存率スコアは、所与の胚が、胚が移植された６週間後に超音波上に胎児心臓をもたらすであろう尤度を表した。

人間胚培養士は、その後、生存率スコアに基づいて、移植されるべき最良な胚に関する決定を行い得る。

図１９は、いくつかの胚に関して生成された、（割合の形態の）生存率スコアを表示する、ソフトウェアパッケージの例示的ユーザインターフェースを図示する。ソフトウェアパッケージは、ＩＶＦ作業所において使用される、ラップトップ等の好適なコンピュータデバイス上で展開され得る。示されるように、緑色のバー（または薄灰色）は、最も高い生存率スコア（３８．９２％）を伴う胚を表し、青色のバー（または濃灰色）は、容認可能な生存率スコアを有する胚を表し、白色のバーは、低生存率スコア（すなわち、生存不可能な胚）を有する胚を表す。

代替として、本方法は、任意の他の好適なコンピューティングデバイスによって実装される、またはインターネット等のネットワークを介してアクセスされ得る、ウェブベースまたはクラウドベースのサービスとして提供され得る。

深層学習モデルは、訓練プロセスの中にさらなるデータを追加することによって改良され得ることを理解されたい。言い換えると、深層学習モデルは、自己改良型および自己調整型モデルである。モデルの性能およびロバストネスは、さらに、ＣＮＮを再訓練することによって経時的に改良されることができる一方、より多くの胚が、深層学習モデルによってアクセスされる。

ヒートマップを生成するステップ
ビデオのどの面積が返された生存率スコア内に有意な変化をもたらしたかの視覚表現を提供するために、ヒートマップが、ビデオの一部を連続的に閉塞させ、スコア付けプロセスを繰り返すことによって生成された。

胚のビデオのために生成されたヒートマップが、ＣＮＮがその最終決定を行うステップにおいて注意を払っていたビデオの面積を示した。

図１４は、生成されたヒートマップの実施例を示し、（左から第４および第５の画像の中心面積内の）青色の領域は、胚の生存率への低レベルの寄与を有する領域（そのような領域は、「好ましくない領域」とも称され得る）を表す一方、（左から第６および第７の画像の中心細胞面積内の）赤色の領域は、胚の生存率への高レベルの寄与を有する領域（そのような領域は、「好ましい領域」とも称され得る）を示す。

ヒートマップは、ニューラルネットワークが、その意思決定プロセスを人間が読取可能である方法で通信することを可能にし、したがって、ニューラルネットワークと人間胚培養士との間の協業を改良する。

解釈
本明細書におけるいかなる以前の刊行物（またはそれから導出される情報）、または既知である任意の事項に対する言及は、以前の刊行物（またはそれから導出される情報）または既知の事項が、本明細書が関連する取り組みの分野における共通の一般的知識の一部をなすことの承認、または許可、またはいかなる形態の示唆として捉えられるものではなく、かつそのようにとらえられるべきではない。

多くの修正が、本発明の範囲から逸脱することなく、当業者に明白となるであろう。

Claims (30)

1. コンピュータ実装方法であって、
   ヒトの胚のビデオデータを受信するステップであって、前記ビデオデータは、前記ヒトの胚の時系列の画像のシーケンスを表す、ステップと、
   前記ビデオデータに少なくとも１つの３次元（３Ｄ）人工ニューラルネットワーク（ＡＮＮ）を適用し、前記ヒトの胚に関する生存率スコアを決定するステップであって、前記生存率スコアは、前記ヒトの胚が生存可能な胚または生存可能な胎児に至るであろう尤度を表す、ステップと、
   前記生存率スコアを出力するステップと
   を含む、方法。
2. 前記３Ｄ人工ニューラルネットワークは、３Ｄ畳み込みニューラルネットワーク（ＣＮＮ）を含む、請求項１に記載の方法。
3. 前記生存率スコアは、前記ヒトの胚を移植することが、生存可能な胎児に至るであろう確率を表す、請求項１または２に記載の方法。
4. 前記生存率スコアは、前記ヒトの胚を移植することが、
   胚移植後の所定の期間内に検出される生存可能な胎児の心臓と、
   尿検査または血液検査に基づいて検出される生化学的妊娠と、
   胚移植後の所定の時間において超音波上で検出される生存可能な胎嚢または生存可能な卵黄嚢と、
   妊娠の終了時の出生と
   のうちのいずれか１つ以上のものに至るであろう確率を表す、請求項１に記載の方法。
5. 前記３Ｄ ＡＮＮは、
   複数のヒトの胚の複数の画像のシーケンスを表すビデオデータと、
   前記複数のヒトの胚のそれぞれが生存可能な胚または生存可能な胎児に至ったかどうかを示す妊娠転帰データと
   を使用することによって訓練される、請求項１～４のいずれか１項に記載の方法。
6. 前記３Ｄ ＡＮＮの訓練は、特徴の手動の選択または抽出、または重要な発達事象の人間による注釈付けを伴わずに実施される、請求項５に記載の方法。
7. 前記３Ｄ ＣＮＮは、それぞれが３Ｄ畳み込みカーネルを使用する複数の畳み込み層と、それぞれが３Ｄプーリングカーネルを使用する複数のプーリング層とを含む、請求項２に記載の方法。
8. 全てのビデオが、所定の期間にわたるように、前記受信されたビデオデータを標準化するステップと、
   前記ビデオデータをトリミングし、前記デ－タの所定の面積を保持するステップと、
   前記ビデオデータ内の前記画像のコントラストを調節するステップと、
   前記ビデオデータ内の前記画像を、所定の画像サイズにサイズ変更するステップと
   のうちの１つ以上のものをさらに含む、請求項１～７のいずれか１項に記載の方法。
9. 前記ビデオデータの少なくともいくつかの画像に視覚オーバーレイを追加することによって、前記ビデオデータを処理するステップであって、前記視覚オーバーレイは、前記生存率スコアへの前記画像の個別の部分の寄与を示す、ステップと、
   前記視覚オーバーレイを伴う前記画像を出力するステップと
   をさらに含む、請求項１～８のいずれか１項に記載の方法。
10. 前記視覚オーバーレイは、ヒートマップである、請求項９に記載の方法。
11. 前記視覚オーバーレイは、
    前記ビデオデータ内の前記画像または画像のシーケンスの一部を閉塞させることによって引き起こされる前記生存率スコア出力の変化を決定すること
    によって生成される、請求項９または１０に記載の方法。
12. 前記ビデオデータ内の前記画像の一部を閉塞させるステップは、前記ビデオデータに３次元閉塞ウィンドウを適用するステップを含む、請求項１１に記載の方法。
13. 複数のヒトの胚の等級付けを、それらの生存率スコアに基づいて決定するステップをさらに含む、請求項１～１２のいずれか１項に記載の方法。
14. 前記等級付けに基づいて、単一胚移植のための前記複数のヒトの胚のうちの１つ、または、複数の胚が移植されるべき順序を選択するステップをさらに含む、請求項１３に記載の方法。
15. システムであって、
    少なくとも１つのプロセッサであって、
    ヒトの胚のビデオデータを受信することであって、前記ビデオデータは、前記ヒトの胚の時系列の画像のシーケンスを含む、ことと、
    前記ビデオデータに少なくとも１つの３次元（３Ｄ）人工ニューラルネットワークを適用し、前記ヒトの胚に関する生存率スコアを決定することであって、前記生存率スコアは、前記ヒトの胚が生存可能な胚または生存可能な胎児に至るであろう尤度を表す、ことと、
    前記生存率スコアを出力することと
    を行うように構成される、少なくとも１つのプロセッサ
    を含む、システム。
16. 前記３Ｄ人工ニューラルネットワークは、３Ｄ畳み込みニューラルネットワーク（ＣＮＮ）を含む、請求項１５に記載のシステム。
17. 前記生存率スコアは、前記ヒトの胚を移植することが、生存可能な胎児に至るであろう確率を表す、請求項１５または１６に記載のシステム。
18. 前記生存率スコアは、前記ヒトの胚を移植することが、
    胚移植後の所定の期間内に検出される生存可能な胎児の心臓と、
    尿検査または血液検査に基づいて検出される生化学的妊娠と、
    胚移植後の所定の時間において超音波上で検出される生存可能な胎嚢または生存可能な卵黄嚢と、
    妊娠の終了時の出生と
    のうちのいずれか１つ以上のものに至るであろう確率を表す、請求項１５に記載のシステム。
19. 前記３Ｄ ＡＮＮは、
    複数のヒトの胚の複数の画像のシーケンスを表すビデオデータと、
    前記複数のヒトの胚のそれぞれが生存可能な胚または生存可能な胎児に至ったかどうかを示す妊娠転帰データと
    を使用することによって訓練される、請求項１５－１８のいずれか１項に記載のシステム。
20. 前記３Ｄ ＡＮＮの訓練は、特徴の手動の選択または抽出、または重要な発達事象の人間による注釈付けを伴わずに実施される、請求項１９に記載のシステム。
21. 前記３Ｄ ＣＮＮは、それぞれが３Ｄ畳み込みカーネルを使用する複数の畳み込み層と、それぞれが３Ｄプーリングカーネルを使用する複数のプーリング層とを含む、請求項１６に記載のシステム。
22. 前記少なくとも１つのプロセッサはさらに、
    全てのビデオが、所定の期間にわたるように、前記受信されたビデオデータを標準化するステップと、
    前記ビデオデータをトリミングし、前記デ－タの所定の面積を保持するステップと、
    前記ビデオデータ内の前記画像のコントラストを調節するステップと、
    前記ビデオデータ内の前記画像を、所定の画像サイズにサイズ変更するステップと
    のうちの１つ以上のものを実行するように構成される、請求項１５－２１のいずれか１項に記載のシステム。
23. 前記少なくとも１つのプロセッサはさらに、
    前記ビデオデータの少なくともいくつかの画像に、視覚オーバーレイを追加することによって、前記ビデオデータを処理することであって、前記視覚オーバーレイは、前記生存率スコアへの前記画像の個別の部分の寄与を示す、ことと、
    前記視覚オーバーレイを伴う前記画像を出力することと
    を行うように構成される、請求項１５－２２のいずれか１項に記載のシステム。
24. 前記視覚オーバーレイは、ヒートマップである、請求項１５－２３のいずれか１項に記載のシステム。
25. 前記視覚オーバーレイは、
    前記ビデオデータ内の前記画像または画像のシーケンスの一部を閉塞させることによって引き起こされる前記生存率スコア出力の変化を決定すること
    によって生成される、請求項２３または２４に記載のシステム。
26. 前記ビデオデータ内の前記画像の一部を閉塞させるステップは、前記ビデオデータに３次元閉塞ウィンドウを適用するステップを含む、請求項２５に記載のシステム。
27. 前記少なくとも１つのプロセッサはさらに、
    複数のヒトの胚の等級付けを、それらの生存率スコアに基づいて決定する
    ように構成される、請求項１５－２６のいずれか１項に記載のシステム。
28. 前記少なくとも１つのプロセッサはさらに、
    前記等級付けに基づいて、単一胚移植のための前記複数のヒトの胚のうちの１つを選択する
    ように構成される、請求項２７に記載のシステム。
29. 前記システムは、
    前記ヒトの胚のビデオデータを捕捉するための画像センサ
    を含み、
    前記プロセッサは、前記画像センサから前記捕捉されたビデオデータを受信するように構成される、請求項１５から２８のいずれか１項に記載のシステム。
30. 前記システムは、低速度撮影インキュベータを含む、請求項１５から２９のいずれか１項に記載のシステム。

Images