JP7489920B2 - プログラム、学習モデル、情報処理装置、情報処理方法、情報表示方法および学習モデルの製造方法 - Google Patents

プログラム、学習モデル、情報処理装置、情報処理方法、情報表示方法および学習モデルの製造方法 Download PDF

Info

Publication number
JP7489920B2
JP7489920B2 JP2020554016A JP2020554016A JP7489920B2 JP 7489920 B2 JP7489920 B2 JP 7489920B2 JP 2020554016 A JP2020554016 A JP 2020554016A JP 2020554016 A JP2020554016 A JP 2020554016A JP 7489920 B2 JP7489920 B2 JP 7489920B2
Authority
JP
Japan
Prior art keywords
sperm
icsi
learning model
image
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020554016A
Other languages
English (en)
Other versions
JPWO2020090947A1 (ja
Inventor
英俊 山下
佑季 川▲崎▼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HU Group Research Institute GK
Original Assignee
HU Group Research Institute GK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by HU Group Research Institute GK filed Critical HU Group Research Institute GK
Publication of JPWO2020090947A1 publication Critical patent/JPWO2020090947A1/ja
Application granted granted Critical
Publication of JP7489920B2 publication Critical patent/JP7489920B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/50Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Software Systems (AREA)
  • Public Health (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Hematology (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Urology & Nephrology (AREA)
  • Microbiology (AREA)
  • Artificial Intelligence (AREA)
  • Medicinal Chemistry (AREA)
  • Epidemiology (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Databases & Information Systems (AREA)
  • Cell Biology (AREA)
  • Biotechnology (AREA)
  • Food Science & Technology (AREA)
  • Evolutionary Computation (AREA)
  • Primary Health Care (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Image Analysis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Image Processing (AREA)

Description

本発明は、プログラム、学習モデル、情報処理装置、情報処理方法、情報表示方法および学習モデルの製造方法に関する。
不妊治療方法の一つとして、生殖補助医療(Assisted Reproductive Technology)が行なわれる。臨床的に実施される生殖補助医療の一つに、顕微鏡観察下で精子を卵子に注入して授精させる顕微授精がある。
顕微授精では、顕微鏡観察により生殖補助医療胚培養士または臨床エンブリオロジスト等(以下、培養士と呼ぶ)が、目視で選択した精子を顕微鏡観察下で卵子に注入して授精させる。この際にICSI(Intracytoplasmic Sperm Injection)またはIMSI(Intracytoplasmic Morphologically selected Sperm Injection)が行なわれる場合がある。
ICSIにおいては、培養士は200倍から400倍の倍率の顕微鏡を用いて精子の観察および採取を行なう。IMSIにおいては、培養士は1000倍以上の高倍率の顕微鏡を用いて、精子の詳細な観察および採取を行なう。
顕微授精では1個の精子と1個の卵子から受精卵を得られる可能性があることから、特に乏精子症、無精子症、および、精子無力症等の男性不妊症に有効な治療法として期待されている。しかしながら、顕微授精により正常な受精卵を確実に得る方法、さらには受精後の正常な胚成長を確実に得る方法は確立されていない。
顕微授精を行なう培養士によっては、体外受精よりも高効率に受精卵を得ることができ、さらには自然妊娠および人工授精に比べて、高効率な着床率もしくは妊娠率、または、低い流産率を得ることができる場合がある(非特許文献1)。そのため、男性不妊に限定しない不妊治療法として顕微授精が活用されている。
形態または運動性に異常がある精子には、精子の成熟性やDNA(Deoxyribonucleic Acid)断片化などの遺伝学的な課題等があるために授精に適さないこと、および、受精後の胚成長に問題があることが知られている。そして精子の形態異常を検出する方法が提案されている(特許文献1)。
またWHO(World Health Organization)が公表している、精子の評価方法に関する実験室マニュアル(非特許文献2)には、精子提供者の精液に含まれる複数の精子を統計的に評価した指標が紹介されている。この指標によると、形態が正常である精子の割合が4%未満である場合、生殖補助医療の成功率(ここでは成功確率または予測成功確率とも呼ぶ)が低下する。
このような背景から、顕微授精等の不妊治療を実施する際に実施する精液の簡易な品質評価法の1つとして、精液中の複数の精子を低解像度で簡易評価し、そのうち異常を検知できなかった精子の割合を数値評価する(例:正常形状の精子の割合が4%未満かどうかを確認する)装置が多数市販されている。また精子の形状をルールベースで評価することにより、精子の選択を客観的に行なう技術が提案されている(非特許文献3)。
韓国公開特許第2011-0049606号公報
A. Hazout et al, "High-magnification ICSI overcomes paternal effect resistant to conventional ICSI", Reproductive Biomedicine Online, VOL. 12, NO. 1, pp19-25, 2006 World Health Organization, Department of Reproductive Health and Research, "WHO laboratory manual for the examination and processing of human semen Fifth edition", 2010 V. Chang et al, "Automatic classification of human sperm head morphology", Computers in Biology and Medicine, VOL. 84, pp205-216, 2017.
しかしながら、特許文献1および非特許文献1から3に開示された方法は、精子1つ1つを区別して評価することが必要な顕微授精にそのままでは技術応用できない。仮に技術応用できた場合であっても、精子の評価に長い時間と手間がかかり、その間に精子および卵子に対する侵襲が大きくなることから、実用性がない。さらに形態異常および運動性の異常が見られない精子の中から、顕微授精後、および、受精後の胚成長等が正常に経過する可能性の高い精子を選択することの支援はできない。
一つの側面では、顕微授精の成功可能性が高い精子の選択、または、授精後の胚発生等が正常に経過する可能性の高い精子の選択を支援する情報処理装置等を提供することを目的とする。
プログラムは、顕微授精に使用する候補精子が撮影された撮影画像を取得し、過去に顕微授精に使用された精子が撮影された撮影画像と、前記過去に使用された精子を用いて顕微授精を行なった後の各段階まで正常に成長するか否かとを関連づけて記録した教師データを用いて機械学習させた、精子が撮影された撮影画像を受け付けて前記精子を用いた顕微授精の成否に関する予測を出力する学習モデルに、取得した前記撮影画像を入力し、入力された前記撮影画像に基づいて前記学習モデルから出力された予測を出力する処理をコンピュータに実行させる。
一つの側面では、顕微授精の成功可能性が高い精子の選択、または、授精後の胚発生等が正常に経過する可能性の高い精子の選択、を支援する情報処理装置等を提供できる。
情報処理システムを用いた処理の流れを説明する説明図である。 情報処理システムの構成を説明する説明図である。 出産までの経過を説明する説明図である。 成功確率の頻度分布を説明する説明図である。 精子を撮影した静止画から、画像特徴量を抽出する画像エンコーダの作成方法を説明する説明図である。 動画ファイルからの画像特徴量の抽出を説明する説明図である。 経過学習モデルを説明する説明図である。 教師データDBのレコードレイアウトを説明する説明図である。 予備撮影DBのレコードレイアウトを説明する説明図である。 情報処理システムが表示する画面を示す説明図である。 情報処理システムが表示する画面を示す説明図である。 情報処理システムが表示する画面を示す説明図である。 第1準備段階で使用されるプログラムの処理の流れを示すフローチャートである。 第2準備段階および精子選択段階で使用されるプログラムの処理の流れを示すフローチャートである。 サンプル分布算出のサブルーチンの処理の流れを示すフローチャートである。 実施の形態2の予備撮影DBのレコードレイアウトを説明する説明図である。 実施の形態2のサンプル分布算出のサブルーチンの処理の流れを示すフローチャートである。 実施の形態3の情報処理装置が表示する画面を示す説明図である。 実施の形態4の情報処理システムの構成を説明する説明図である。 正常精子判定DBのレコードレイアウトを説明する説明図である。 正常精子判定モデルの構成を示す説明図である。 実施の形態4の情報処理装置が表示する画面を示す説明図である。 実施の形態4の情報処理装置が表示する画面を示す説明図である。 実施の形態4の情報処理装置が表示する画面を示す説明図である。 実施の形態4のプログラムの処理の流れを示すフローチャートである。 精子画像取得のサブルーチンの処理の流れを示すフローチャートである。 実施の形態5の情報処理装置が表示する画面を示す説明図である。 実施の形態6の情報処理装置の機能ブロック図である。 実施の形態7の情報処理システムの構成を示す説明図である。 伴性劣性(潜性)遺伝疾患の発症率および保因率を示す表である。 伴性優性(顕性)遺伝疾患の発症率および保因率を示す表である。 Y染色体を介して遺伝する伴性遺伝疾患の発症率および保因率を示す表である。 性別教師データDBのレコードレイアウトを説明する説明図である。 性別判定学習モデルを説明する説明図である。 実施の形態8の情報処理装置が表示する画面を示す説明図である。 実施の形態8のプログラムの処理の流れを示すフローチャートである。 実施の形態9の情報処理装置が表示する画面を示す説明図である。 実施の形態9の情報処理装置が表示する画面を示す説明図である。 実施の形態9のプログラムの処理の流れを示すフローチャートである。 発症率と保因率算出のサブルーチンの処理の流れを示すフローチャートである。
[実施の形態1]
図1は、情報処理システム10を用いた処理の流れを説明する説明図である。図1Aは、過去の顕微授精にかかる情報を処理する第1準備段階を示す。
顕微授精の概要を説明する。前述のとおり、顕微授精においては、光学倍率として200倍から400倍、または、1000倍以上の高倍率の顕微鏡41(図2参照)を用いて培養士が精液中の精子を観察する。培養士は、形状が正常で、かつ、正常な運動を行なう精子を、卵子1個当たり、1個選択する。なおカメラ48、撮影I/F28または表示I/F25において、デジタルズームを用いて顕微鏡画像をさらに数倍に拡大し、表示装置15に表示した画像を、培養士が観察してもよい。
培養士は、動画または静止画等により選択した精子を含む顕微鏡画像を撮影する。顕微鏡画像は、精子が写っている部分が画像処理等により切り出されても良い。以下の説明では、撮影された顕微鏡画像を撮影画像と記載する場合がある。培養士は、マイクロピペットを用いて選択した精子を採取する。
培養士は、卵子にマイクロピペットの先端を差し込んで選択した精子を注入する。以上により、顕微授精が行なわれる。その後、培養士は所定の条件で卵子を培養する。受精が成立して成長を開始した卵子は、胚と呼ばれる。たとえば4分割胚または胚盤胞等の、所定の段階まで成長した胚を、産科医が母体に移植する。胚が子宮に着床した場合に、妊娠が成立する。以後は、通常の自然妊娠と同様に子宮内で胎児が成長し、正常であれば出産に至る。
受精の成立の有無、4分割胚、桑実胚、胚盤胞等の各成長段階までの正常な成長の成否、妊娠の成立有無、妊婦検診での異常の有無、出産の成否等の、顕微授精後の胚成長に関する時間経過が、撮影画像と関連づけて記録される。
精子を選択した際に撮影した画像から抽出された画像特徴量および運動特徴量(以下、合わせて特徴量と呼ぶ)、精子提供者の臨床プロファイル(年齢、既往歴、現病歴、治療歴、および、遺伝子変異等のゲノム情報等)と、顕微授精後の受精卵または胚の成長経過とが関連づけられて教師データDB51に記録される。教師データDB51の詳細については後述する。
教師データDB51に基づいて教師あり機械学習を行ない、受精卵または胚の成長経過を予測する機械学習モデル(以下、“経過学習モデル”と呼ぶ)53が作成される。経過学習モデル53は、精子を撮影した撮影画像の特徴量が入力された場合に、受精から出産までの経過における各段階まで正常に成長する成功確率を出力する学習済モデルである。特徴量および経過学習モデル53の詳細については後述する。
なお成功確率を1から減算することで、不成功確率を容易に算出できる。したがって、上記の成功確率は不成功確率と言い換えることもできる。このことは後出のすべての成功確率について当てはまる。
受精から出産までの各段階の成否にかかるデータの頻度分布、および、頻度分布の正規化等の統計処理に基づいて、図1の右下および図4のグラフに実線で示す第1分布f(X)が作成される。なお、図1の右下および図4に示すグラフは、各段階についてそれぞれ1枚作成される。第1分布f(X)は、各段階まで正常に成長する成功確率の確率密度分布を示し、ベイズ推定におけるいわゆる事前分布に相当する。第1分布f(X)の詳細については後述する。
図1Aに示す第1準備段階においては、複数の症例で撮影された精子の撮影画像、および、受精卵または胚の成長経過のデータが使用される。第1準備段階で作成された経過学習モデル53および第1分布f(X)が、以後に実施される症例で使用される。
図1Bおよび図1Cは、新たに顕微授精を行なう症例ごとに実施される、第2準備段階および精子選択段階をそれぞれ示す。培養士は、精子提供者から採取された精液を受け取った後に、第2準備段階と精子選択段階とを連続して実施することが望ましい。
図1Bに示す第2準備段階においては、精子提供者から採取された精液に含まれる精子の特性に基づくサンプル分布g(X)が作成される。培養士は、精液の洗浄および希釈等の前処理を行なった後に、精子の予備撮影を行なう。撮影画像から抽出された特徴量が、受精卵または胚の成長経過を予測する経過学習モデル53に入力されることにより、その精子に関する受精から出産までの各段階に正常に成長する確率(以下、“予測成功確率”と呼ぶ)が取得される。
複数の精子について取得された予測成功確率に基づいて、図1の右下および図4のグラフに破線で示すサンプル分布g(X)が作成される。サンプル分布g(X)は、精子提供者個人の精液に含まれる精子をサンプリングして評価した予測成功確率の分布を示し、ベイズ推定におけるいわゆる尤度分布に相当する。サンプル分布g(X)の詳細については後述する。
第1分布f(X)とサンプル分布g(X)とに基づき、第2分布h(X)が生成される。第2分布h(X)は、ベイズ推定におけるいわゆる事後分布に相当する。第2分布h(X)の詳細については後述する。
図1Cに示す精子選択段階においては、精子提供者の精液から、顕微授精に使用する精子が選択される。培養士は、候補精子の画像を撮影する。撮影画像から抽出された特徴量が経過学習モデル53に入力されることにより、候補精子に関する受精から出産までの各段階まで正常に成長する予測成功確率が取得される。
予測成功確率の、第2分布h(X)内での位置づけは、たとえば偏差値等の評価指標により表示される。培養士は、表示された評価指標を、候補精子を顕微授精に使用するか否かの判断に用いることができる。顕微授精に使用すると判断した場合、培養士は顕微鏡観察下で候補精子を採取し、卵子に注入する。顕微授精に使用しないと判断した場合、培養士は他の候補精子を評価する。
以上により、培養士は、採取した精液の中から顕微授精の成功可能性が高い精子を選択できる。以下の説明では、各段階における評価指標が所定の基準を満たす精子、すなわち、顕微授精が成功して正常な出産に至る可能性が十分に高いと期待される精子を、「品質の優れた精子」と記載する。
正常な精子は鞭毛運動により溶液中を短時間で高速に移動する。顕微授精を行なう際には、溶液の粘性、および、溶液中の精子濃度等の観察条件を工夫して、精子の動きを緩慢にする。これにより、培養士は精子を十分に観察できる。しかしながら、精子が顕微鏡41の視野外に移動した場合には、同一の精子を追跡または発見することは難しい。
したがって、培養士が顕微鏡観察により精子の良否を判断する従来の方法では、培養士が複数の精子を比較検討した場合であっても、顕微授精に使用する精子として同一精子を確保することは困難である。本実施の形態では、個々の候補精子の評価をリアルタイムで表示できるため、培養士は候補精子を使用するか否かを容易に判断すると同時に、対象となる候補精子を採取できる。
精子の選別において、精液中に品質の優れた精子を多数含まれる場合には、そのような精子が得られた時点、または第2の分布h(X)でより優れた指標が得られた時点で精子を採取し、顕微授精に移行する。これにより、培養士の作業効率を高められると同時に、精子および卵子へのダメージを最小限に抑えられる。
精液中含まれる顕微授精に適した精子が少ない場合であっても、限られた時間内で可能な範囲で最も品質が優れた精子を選別することが望ましい。たとえば、評価結果が比較的優れた精子を発見する都度捕捉して、別途に取り置き、最終段階で取り置いた精子のうち最も品質の優れた精子を使用する方法が考えられる。取り置き方としては、特定の精子をキャピラリーで吸引してマイクロウェルに移し替える方法、および、スライドガラス上で溶液の無い領域に特定の精子を含んだ液滴を独立して保持する方法がある。
一方、時間的制約および労力的な制約があることから、品質が最も優れた精子を選ぶことを断念した上で、品質が最も優れた精子を選択できる可能性を最も高くする方法を採用することも望ましい。
他分野において、候補を一個ずつ評価して、良好な候補が見付かった場合に評価を終了する場合の数学的な最適解が知られている。これは最適停止問題の1種である秘書問題と呼ばれている。秘書問題の最適解の算出プロセスについて説明する。全候補数(精液中の全精子数)nが十分に大きい値である場合、最初のn/e個(eはネイピア数)の候補については、評価を行なうのみで選択は行なわない。それ以降に評価した候補(候補精子)が、それまでに評価したどの候補よりも良好であると判断した場合に、その候補が最も優れた候補であると判定する。
より具体的には、1/eが約37%に相当することから、精液中に含まれる全精子のうちの約37%の精子の評価値を確認した上で不採用とする。残りの精子のうち、評価済のどの精子よりも良好な評価値を持つ精子が得られ次第、その精子を採用する。
この秘書問題の最適解を用いる場合には、精子の取り置きは不要であり、かつ、統計的に最も品質が優れた作業効率を期待できる。一方、秘書問題の最適解によっても、常に精液中に含まれる最高の評価値の精子を選択できるとは限らない。たとえば次の2種類の場合が考えられる。1つは最初の約37%の候補の中に最も優れた候補が含まれていた場合である。もう1つは、最初の約37%の候補の品質が非常に低く、その後の候補に品質が高い候補を発見したものの、未評価の候補の中にもっと品質が良い候補が含まれる場合である。
いずれも統計的な発生頻度は低いと考えられるが、これらの事象は回避することが望ましい。そのために、第2の分布h(X)に基づいて得られた偏差値、信頼度等の指標を基準として精子を選択することが望ましい。この場合、秘書問題の最適解よりも統計的には作業効率が低下することになるが、優れた品質の候補を選択することができる。
また精液中の精子の数が非常に多い場合は、約37%の精子を観察することが現実的では無い。したがって、第2の分布h(X)に基づき、候補を選択することが現実的な方法である。なお作業効率を完全に無視する場合、より優れた品質を持つ精子が得られ次第、別途に取り置き、全精子を評価した後に、取り置いた中から最も優れた品質を持つ精子を採用することができる。
同一の精子提供者であっても、精液を採取した時期によって含まれる精子の数や特徴量等の特性が異なることが知られている。したがって、図1Bを使用して説明した第2準備段階と、図1Cを使用して説明した精子選択段階とは、同一の精液を使用して、連続して実施することが望ましい。しかしながら、たとえば乏精子症等により精子の数が極度に少ない等の事情がある場合には、第2準備段階と精子選択段階とで、同一の精子提供者において異なる時期に採取した精液を使用しても良い。
なお、精液に精子が含まれない無精子症等の症状を有する精子提供者である場合には、精液を採取する代わりに、精巣上体精子回収法または精巣内精子回収法等の手術により精子を採取する。採取できた精子が少ない場合には、第2準備段階と精子選択段階との両方の実施が困難な場合がある。このような場合には、第2準備段階を省略し、類似する症状を有する精子提供者のサンプル分布g(X)を流用して、精子選択段階を実施しても良い。
図2は、情報処理システム10の構成を説明する説明図である。情報処理システム10は、情報処理装置20、表示装置15および顕微鏡41を備える。
情報処理装置20は、制御部21、主記憶装置22、補助記憶装置23、通信部24、表示I/F(Interface)25、撮影I/F28およびバスを備える。制御部21は、本実施の形態のプログラムを実行する演算制御装置である。制御部21は、一もしくは複数のCPU(Central Processing Unit)、マルチコアCPUまたはGPU(Graphics Processing Unit)等により構成される。制御部21は、バスを介して情報処理装置20を構成するハードウェア各部と接続されている。
主記憶装置22は、SRAM(Static Random Access Memory)、DRAM(Dynamic Random Access Memory)、フラッシュメモリ等の記憶装置である。主記憶装置22には、制御部21が行なう処理の途中で必要な情報および制御部21で実行中のプログラムが一時的に保存される。
補助記憶装置23は、SRAM、フラッシュメモリまたはハードディスク等の記憶装置である。補助記憶装置23には、教師データDB51、予備撮影DB52、経過学習モデル53、画像エンコーダ546、制御部21に実行させるプログラム、およびプログラムの実行に必要な各種データが保存される。
なお、教師データDB51、予備撮影DB52、経過学習モデル53および画像エンコーダ546は、情報処理装置20に接続された外部の大容量記憶装置等に保存されていても良い。
通信部24は、情報処理装置20とネットワークとの間の通信を行なうインターフェイスである。表示I/F25は、液晶表示装置または有機EL(Electro Luminescence)表示装置等の表示装置15と、情報処理装置20とを接続するインターフェイスである。撮影I/F28は、後述するカメラ48と、情報処理装置20とを接続するインターフェイスである。
表示I/F25は、たとえば、VGA端子、DVI(Digital Visual Interface)端子、HDMI(登録商標)(High-Definition Multimedia Interface)端子、または、USB(Universal Serial Bus)端子等である。撮影I/F28は、たとえばUSB端子である。表示I/F25と表示装置15との間、および、撮影I/F28とカメラ48との間は、それぞれ無線で接続されていても良い。
顕微鏡41は、たとえば微分干渉顕微鏡、明視野顕微鏡、偏光顕微鏡、位相差顕微鏡または倒立顕微鏡等である。顕微鏡41は、ステージ42、接眼レンズ43、対物レンズ47および照明部44を備える。ステージ42には、洗浄および希釈等の前処理を行なった精液を入れた観察容器421が載置される。観察容器421は、たとえばシャーレ、ウェル、またはスライドガラス等である。
観察容器421は、照明部44から照射された照明光により照明される。ユーザである培養士は、対物レンズ47および接眼レンズ43を介して、観察容器421内の精子を観察する。
対物レンズ47と接眼レンズ43との間に、光路分割部45が配置されている。光路分割部45に接続されたカメラ48により、培養士が観察中の精子を動画または静止画により撮影できる。撮影された画像は、撮影I/F28を介して補助記憶装置23に記録されるとともに、表示I/F25を介して表示装置15にリアルタイムで表示される。
たとえば候補精子を捜して、評価を確認する際には、培養士は表示装置15に表示された精子を見る。候補精子をマイクロピペットに採取する際には、培養士は接眼レンズ43を使用して、候補精子およびマイクロピペットの先端を目視確認する。このように、培養士が表示装置15と接眼レンズ43とを適宜使い分けられるため、培養士の疲労が少なく、精子を正確に採取できる情報処理システム10を提供できる。
本実施の形態の情報処理装置20は、汎用のパソコン、タブレット、大型計算機、または、大型計算機上で動作する仮想マシンである。情報処理装置20は、複数のパソコン、タブレットまたは大型計算機等のハードウェアにより構成されても良い。情報処理装置20は、量子コンピュータにより構成されても良い。情報処理装置20は、顕微鏡41に内蔵されていても良い。情報処理装置20は、図示を省略する病院内ネットワークシステムを介してネットワークに接続されても良い。
図3は、出産までの経過を説明する説明図である。卵子提供者から数個から十数個程度の卵子が採取される。採取された卵子のうち、変形等の異常がある卵子、および、受精可能な段階まで成熟していない卵子は破棄される。精子提供者から数万個から数千万個の精子が採取される。精子を選択して、卵子に注入する顕微授精が行なわれる。所定の条件で、卵子が培養される。
受精が成立した後、胚は細胞分裂を開始し、2分割胚、4分割胚等を経て、桑実胚、胚盤胞と成長する。胚の成長経過は適宜観察されて、それぞれの成長段階まで正常に成長したか否かが記録される。観察により異常が発見された胚は破棄される。
所定の段階まで成長した胚が母体に移植され、残りの胚は凍結保存される。なお、すべての胚をいったん凍結保存し、母体の状態が整った時期に胚移植を行なう、凍結胚移植が行なわれる場合もある。
胚が子宮に着床して妊娠が成立した後は、自然妊娠と同様に胎児が成長する。妊婦検診が行なわれて、胎児の成長経過が記録される。経過が正常であれば、出産に至り、新生児が誕生する。
胚が子宮に着床しない場合、流産した場合、または、2人目以降の出産を希望する場合等には、凍結保存された胚を用いて、再度の胚移植が行なわれる。不妊治療を終了する場合等には、凍結保存された胚は破棄される。
図4は、成功確率の分布を説明する説明図である。横軸Xは確率変数として成功確率を、縦軸Yは確率変数Xに対応する確率を示す。成功確率が0である場合は成功するケースがないことを、成功確率が1である場合はすべてのケースが成功することを示す。
なお、図1の右下に示すグラフも図4と同一の分布を表示するが、縦軸Xが確率変数として成功確率を、横軸Yが確率変数Xに対応する確率を示す。
成功確率は、受精、胚盤胞形成、着床、および出産等の種々の発生段階ごとに算出する。たとえば受精および胚盤胞形成の成功確率は、顕微授精を行なった卵子の数に対する受精および胚盤胞形成にそれぞれ正常に成長した卵子の数により算出する。着床および出産の成功確率は、母体への移植を行なった胚の数に対する着床および出産にそれぞれに成功した胚の数により算出する。
2分割胚、4分割胚、桑実胚、妊娠初期、妊娠中期等の種々の発生段階に対する成功確率を算出しても良い。出産後の乳幼児の種々の成長段階まで正常に成長する成功確率を算出しても良い。
それぞれの段階については、正常に成長したか否かの2択による評価を行なう。実線で示す第1分布f(X)は、記録をとった全ケースについての成否を、ベータ分布で表現した確率密度分布である。第1分布f(X)は、(1)式により表される。
Figure 0007489920000001
pは各成長段階まで正常に成長したケースの数である。
qは各成長段階まで正常に成長しなかったケースの数である。
1は正規化定数である。
破線で示すサンプル分布g(X)は、図1Bを使用して説明した第2準備段階において、予備撮影した画像から予測した成功確率の分布を示す。たとえば、予備撮影した画像に基づいて各成長段階まで正常に成長できるか否かの2択による予測を行なう場合、サンプル分布g(X)は二項分布に基づいて(2)式により表される。
Figure 0007489920000002
aは各成長段階まで正常に成長すると予測した予備撮影画像の数である。
bは各成長段階まで正常に成長しないと予測した予備撮影画像の数である。
2は正規化定数である。
一点鎖線で示す第2分布h(X)は、第1分布f(X)を事前分布に、サンプル分布g(X)を尤度分布にそれぞれ使用したベイズ推定により求めた事後分布であり、精子提供者により提供された精子の成功確率の確率密度分布を予測した結果を意味する。第2分布h(X)は(3)式により表される。
Figure 0007489920000003
3は正規化定数である。
個々の候補精子について経過学習モデル53を用いて算出した成功確率が第2分布h(X)の右端に近いほど、提供された精子の中で成功確率が高い精子であることを意味する。たとえば、図4においてAで示す成功確率0.55程度の精子は、第1分布f(X)で示す全データの中では比較的成功確率が低い精子であるが、第2分布h(X)で示す提供された精子の中では比較的成功確率が高い精子である。この情報に基づいて、培養士は観察中の精子を顕微授精に使用するか、成功確率がさらに高い精子を探すかを判断する。
図5は、精子を撮影した静止画から、画像特徴量を抽出する画像エンコーダ546の作成方法を説明する説明図である。
図5を使用して、オートエンコーダを用いた画像特徴量の抽出方法を説明する。画像特徴量モデル54は、入力層541、中間層542および出力層543を備えるCNN(Convolution Neural Network:畳み込みニューラルネットワーク)である。
CNNは、活性化関数にReLU(Rectified Linear Unit)関数またはソフトマックス関数等を用いて、畳み込み層とプーリング層とを反復した後、全結合層を複数回繰り返したニューラルネットワークである。なお、畳み込み層およびプーリング層については、図示を省略する。
入力層541および出力層543は、教師データである撮影画像の画素数と同じ数のニューロンを有する。中間層542のニューロン数は、中央層545で最小である。入力層541には、撮影画像の静止画が入力される。具体的には、入力層541の各ニューロンに、撮影画像の各画素の画素値が入力される。
制御部21は、出力層543から入力層541と同じ撮影画像が出力されるように、誤差逆伝播法等を用いて中間層542のパラメータを演算する教師あり機械学習を行なう。教師あり機械学習が終了した後の中央層545の各ニューロンは、撮影画像の画像特徴量を示す。
制御部21は、教師あり機械学習を行なう前に、教師データである撮影画像を訓練データと検証データとに分ける。制御部21は、訓練データを用いて教師あり機械学習を行なった画像特徴量モデル54の精度を、検証データを用いて検証する。以上により、画像特徴量モデル54に過学習等の問題が生じていないことが確認される。学習および検証のプロセスは、教師あり機械学習において一般的に行なわれるプロセスであるため、以後に説明する教師あり機械学習においては説明を省略する。
学習済の画像特徴量モデル54のうち、入力層541から中央層545までの部分が、撮影画像から画像特徴量を抽出する画像エンコーダ546に使用される。制御部21は、画像特徴量モデル54から画像エンコーダ546を切り出して、補助記憶装置23に記録する。以上により、精子を撮影した撮影画像が入力された場合に、画像特徴量を出力する画像エンコーダ546が完成する。
なお、画像エンコーダ546を作成する際の教師データには、熟練した培養士等の専門家が正常であると判断した精子を撮影した画像を使用することが望ましい。このようにすることにより、正常な精子間の相違点を示す特徴量を抽出する画像エンコーダ546を実現できる。
画像エンコーダ546を作成する際の教師データには、精子が1個だけ写っていることが望ましい。仮に複数の精子または異物等が写っている画像を使用する場合には、画像のクリッピング処理等を行なって、目的の精子以外の部分が含まれないように加工した画像を教師データに使用する。
画像エンコーダ546は任意のコンピュータを用いて作成されても良い。作成された画像エンコーダ546は、ネットワーク等を介して顕微授精実施機関が使用する情報処理装置20に送信されて、補助記憶装置23に記録される。このようにする場合には、画像エンコーダ546を作成する情報処理システム10と、画像エンコーダ546を使用する情報処理システム10とで、同一仕様または類似仕様の顕微鏡41を使用することが望ましい。
図6は、動画ファイルからの画像特徴量の抽出を説明する説明図である。図6を使用して、顕微授精時の撮影画像が動画で記録されている場合の画像特徴量の抽出について説明する。
時刻t1から時刻t5までの時間の動画が、動画ファイルに記録されている場合を例にして説明する。動画ファイルをフレーム分割することにより、複数の静止画が作成される。それぞれの静止画が、あらかじめ用意された判定用のCNNに入力されて、精子全体が撮影されているか否かが判定される。判定用のCNNにより、複数のフレームに精子全体が撮影されていると判定された場合には、任意の手法により1つのフレームが選択される。
図6に示す例においては、時刻t3のフレームに精子全体が撮影されていると判定される。精子全体が撮影されていると判定された静止画が、図5を使用して説明した画像エンコーダ546に入力されて、静止画の特徴量が抽出される。
動画ファイルから、精子の移動速度、直線移動距離、尾部の鞭毛運動周期等の、動画特徴量が抽出される。動画特徴量は、たとえば撮影画像上に定義した複数の特徴点の、フレーム間における移動量に基づいて算出する。動画特徴量は、RNN(Recurrent Neural Network:再起型ニューラルネットワーク)を用いて抽出されても良い。その他、既存の任意の動画解析手法を用いて、動画特徴量を抽出しても良い。静止画の特徴量および動画の特徴量は、顕微授精後の経過と関連づけて教師データDB51に記録される。
なお、顕微授精時の撮影画像が、動画と静止画との両方で記録されている場合には、制御部21は、動画ファイルからフレームを切り出す代わりに、静止画を使用して画像特徴量を抽出する。
図7は、経過学習モデル53を説明する説明図である。経過学習モデル53は、入力層531、中間層532および出力層533を備えるニューラルネットワークである。図7においては、経過学習モデル53はCNNである場合を例示する。なお、畳み込み層およびプーリング層については、図示を省略する。
経過学習モデル53は、受精、胚盤胞形成、着床、および出産等の種々の発生段階ごとに作成される。経過学習モデル53の入力は、撮影画像の画像特徴量、すなわち、図5を使用して説明した静止画の画像特徴量、および、図6を使用して説明した動画の画像特徴量である。経過学習モデル53の出力は、それぞれの段階まで正常に成長した確率(成功確率)および正常には成長しなかった確率(不成功確率)である。
経過学習モデル53は、入力層531に静止画および動画の特徴量が入力された場合に、出力層533に成功および不成功の確率を出力する。学習段階においては、制御部21は、静止画および動画の特徴量と、顕微授精後の経過とを関連づけて記録した教師データDB51を用いて、誤差逆伝播法等を用いて中間層532のパラメータを演算することにより、教師あり機械学習を行なう。
教師あり機械学習は、たとえばロジスティック回帰、SVM(Support Vector Machine)、ランダムフォレスト、CNN、RNNまたは、XGBoost(eXtreme Gradient Boosting)等の任意の手法により行なえる。
入力層531には、静止画特徴量または動画特徴量のいずれか一方のみが入力されても良い。入力層531には、精子提供者および卵子提供者の年齢、既往歴、健康状態を含む現病歴、家族歴、過去の不妊治療履歴等、画像特徴量以外の項目が追加で入力されても良い。入力層531には、低倍率の顕微鏡観察または市販の精子評価装置等により取得した、精子濃度、総精子数、精子運動率、運動精子濃度、直線速度、曲線速度、平均速度、直線性、直進性、頭部振幅および頭部振動数等の、精子の質に関する項目が入力されても良い。
制御部21は、たとえば受精の成否を判定する経過学習モデル53の学習を終了した後に、完成した経過学習モデル53を利用した転移学習により、胚盤胞段階等の後の段階の成否を判定する経過学習モデル53を作成しても良い。受精から出産に到るまで、後の段階になるほど教師データの数は減少する。しかし、転移学習を利用することにより、後の段階についても適切な経過学習モデル53を作成できる。
経過学習モデル53は任意のコンピュータを用いて作成されても良い。作成された経過学習モデル53は、ネットワーク等を介して顕微授精実施機関が使用する情報処理装置20に送信されて、補助記憶装置23に記録される。このようにする場合には、画像エンコーダ546および経過学習モデル53を作成する情報処理システム10と、画像エンコーダ546および経過学習モデル53を使用する情報処理システム10とで、同一仕様または類似仕様の顕微鏡41を使用することが望ましい。
図8は、教師データDB51のレコードレイアウトを説明する説明図である。教師データDB51は、顕微授精に使用した精子を撮影した撮影画像と、顕微授精後の経過とを関連づけて記録するDBである。教師データDB51は、精子IDフィールド、画像データフィールド、精子画像特徴量フィールドおよび経過情報フィールドを有する。
精子画像特徴量フィールドは、静止画フィールドおよび動画フィールドを有する。静止画フィールドおよび動画フィールドは、それぞれ第1特徴量フィールド、第2特徴量フィールド等を有する。経過情報フィールドは、受精フィールド、胚盤胞形成フィールド、着床フィールド、出産フィールドおよび健康状態フィールドを有する。教師データDB51は、顕微授精に使用された精子1個について、1つのレコードを有する。
精子IDフィールドには、精子に固有に付与された精子IDが記録されている。画像データフィールドには、精子を撮影した画像データが記録されている。図8には拡張子が「mpg」である動画ファイルが記録された例を示すが、画像データの形式は任意である。画像データフィールドには、動画ファイルと静止画ファイル等、複数のファイルが記録されていても良い。
静止画フィールドの各サブフィールドには、画像データを画像エンコーダ546に入力して得た静止画の特徴量が記録されている。動画フィールドの各サブフィールドには、画像データを解析して得た動画の特徴量が記録されている。
受精フィールドには受精の成否が、胚盤胞形成フィールドには胚盤胞形成の成否が、着床フィールドには着床の成否が、出産フィールドには出産の成否がそれぞれ記録されている。「OK」はそれぞれの段階に正常に達したことを、「NG」はそれぞれの段階に正常に達しなかったことを示す。「-」はそれぞれの段階の成否が判定できないことを示す。
健康状態フィールドは、新生児の健康状態を示す。「OK」は、新生児が健康であることを示す。「NG」はたとえば超未熟児等で、健康に問題を抱えた新生児であることを示す。
経過情報フィールドは、たとえば2分割胚フィールド、4分割胚フィールド、桑実胚フィールド等、胚の任意の成長段階を記録するフィールドを有しても良い。経過情報フィールドは、たとえば妊娠第20週フィールド等の、妊婦検診結果を記録するフィールドを有しても良い。経過情報フィールドは、羊水検査またはNIPT(Non-Invasive Prenatal Genetic Testing:母体血胎児染色体検査)等の出生前診断の結果を記録するフィールドを有しても良い。
経過情報フィールドの各サブフィールドに記録される情報は、精子IDフィールドに記録された精子ID等に基づいて、電子カルテ等から取得されても良い。
図9は、予備撮影DB52のレコードレイアウトを説明する説明図である。予備撮影DB52は、図1Bを使用して説明した第2準備段階において、経過学習モデル53を用いた予測結果を記録するDBである。予備撮影DB52は、患者IDフィールド、撮影日フィールドおよび予測結果フィールドを有する。予測結果フィールドは、受精フィールド、胚盤胞形成フィールド、着床フィールド、出産フィールドおよび健康状態フィールドを有する。予備撮影DB52は1回の予備撮影について1つのフィールドを有する。
患者IDフィールドには、精子提供者に固有に付与された患者IDが記録されている。撮影日フィールドには、撮影画像を撮影した撮影日が記録されている。予測結果フィールドの各サブフィールドには、各段階に正常に達するか否かの予測結果が記録されている。「OK」はそれぞれの段階に正常に達すると予測したことを、「NG」はそれぞれの段階に正常に達しないと予測したことを示す。
制御部21は、カメラ48により撮影された撮影画像から精子画像特徴量を抽出し、各段階について作成した経過学習モデル53に入力して、成功確率を取得する。制御部21は、成功確率が所定の閾値以上である場合に「OK」を、所定の閾値未満である場合に「NG」を記録する。
図10から図12は、情報処理システム10が表示する画面を示す説明図である。図10は、図1Bを使用して説明した第2準備段階で、精子提供者から提供された精液に含まれる精子の予備撮影を行なう際に、制御部21が表示装置15に表示する画面の例を示す。
画面には、画像欄61、目標数欄62、撮影済数欄63、撮影ボタン66および終了ボタン67が表示されている。画像欄61には、カメラ48により撮影された顕微鏡画像がリアルタイムで表示される。目標数欄62には、予備撮影の目標数が表示される。前述の秘書問題に最適解によると、予備撮影の目標数は採取された精子数の約37%に相当する数である。しかしながら、この数は通常非現実的な大きな値となるため、作業可能な値に設定する。撮影済数欄63に予備撮影済の精子の数が表示される。
ユーザが撮影ボタン66を選択した場合、制御部21は画像欄61に表示中の画像の静止画特徴量および動画特徴量を抽出する。制御部21は、抽出した特徴量を各段階について作成した経過学習モデル53に入力して、成功確率を取得する。制御部21は、所定の閾値に基づいて各段階まで正常に成長するか否かの予測結果を定める。制御部21は、予備撮影DB52に新規レコードを作成し、予測結果を記録する。
ユーザは、目標数欄62、撮影済数欄63および観察中の精液に含まれる精子の状態に基づいて、図1Cを使用して説明した精子選択段階に移行するか否かを判定する。ユーザが終了ボタン67を選択した場合、制御部21は予備撮影を終了して、精子選択段階に移行する。制御部21は、予備撮影した精子の数が目標数に達した場合に、自動的に精子選択段階に移行しても良い。
図11は、図1Cを使用して説明した精子選択段階で、制御部21が表示装置15に表示する画面の例を示す。画面には、画像欄61、判定ボタン68および終了ボタン67が表示されている。画像欄61には、カメラ48により撮影された顕微鏡画像がリアルタイムで表示される。
ユーザが判定ボタン68を選択した場合、制御部21は画像欄61に表示中の画像の静止画特徴量および動画特徴量を抽出する。制御部21は、特徴量を経過学習モデル53に入力し、受精から出産までの各段階の予測成功確率を取得する。ユーザが終了ボタン67を選択した場合、制御部21は処理を終了する。
図12は、判定ボタン68の選択を受け付けた場合に、制御部21が表示装置15に表示する画面の例を示す。画面には、画像欄61、評価欄65および次ボタン69が表示されている。評価欄65は、第1評価欄651、第2評価欄652、第3評価欄653、第4評価欄654および総合評価欄659を含む。
画像欄61には、図11を使用して説明した画面で判定ボタン68を受け付けた時に画像欄61に表示されていた顕微鏡画像が静止した状態で表示されている。ユーザは、画像欄61により判定中の候補精子を確認できる。
制御部21は、判定中の候補精子の画像特徴量を受精の成否にかかる経過学習モデル53に入力して取得した成功確率の評価を第1評価欄651に表示する。評価は、図4を使用して説明した第2分布h(X)内における偏差値により表されている。
同様に、制御部21は、候補精子の画像特徴量を胚盤胞形成の成否にかかる経過学習モデル53に入力して得た成功確率の評価を第2評価欄652に表示する。制御部21は、候補精子の画像特徴量を着床の成否にかかる経過学習モデル53に入力して得た成功確率の評価を第3評価欄653に表示する。制御部21は、候補精子の画像特徴量を出産の成否にかかる経過学習モデル53に入力して得た成功確率の評価を第4評価欄654に表示する。
制御部21は、第1評価欄651から第4評価欄654までに表示した評価を総合した候補精子の総合評価を総合評価欄659に表示する。総合評価は、たとえば第1評価欄651から第4評価欄654までに表示した評価の平均値または最小値等に基づいて、候補精子を「良好」、「普通」、「不良」等に分類した結果である。
制御部21は、総合評価が所定の閾値以上である場合に、音を鳴らす等の任意の方法によりユーザの注意を促してもよい。
ユーザは、候補精子を顕微授精に使用するか否かを判断する。使用すると判断した場合、ユーザは接眼レンズ43で候補精子を確認しながらマイクロピペットに採取する。使用しないと判断した場合、または、採取を終了した場合、ユーザは次ボタン69を選択する。
ユーザが次ボタン69を選択した場合、制御部21は表示装置15に表示する画面を、図11を使用して説明した画面に戻す。ユーザは、新たな候補精子を選択できる。
制御部21は、画像欄61にリアルタイムの顕微鏡画像を表示しても良い。ユーザは、候補精子の運動状態と、評価欄65とを同時に見て、候補精子を使用するか否かを判断できる。また、候補精子が顕微鏡視野外に移動しそうな場合には、ユーザはステージ42を適宜操作することにより、候補精子を顕微鏡視野内に留められる。
画面分割または子画面表示等を用いて、画像欄61に、候補精子の静止画と、リアルタイムの顕微鏡画像の両方を表示しても良い。
図13は、第1準備段階で使用されるプログラムの処理の流れを示すフローチャートである。図13を使用して、図1Aを使用して説明した第1準備段階で行なわれる処理の流れを説明する。なお、教師データDB51は、初期状態においては、精子IDフィールド、画像データフィールドおよび経過情報フィールドに過去の顕微授精にかかる撮影画像および経過情報が記録されており、精子画像特徴量フィールドは空欄である。
制御部21は、教師データDB51から1つの処理対象レコードを抽出する。制御部21は、画像データフィールドから画像を取得する(ステップS501)。制御部21は、画像特徴量を抽出する(ステップS502)。具体的には、制御部21はたとえば図6を使用して説明したように、画像から静止画を切り出すととともに、動画特徴量を抽出する。制御部21は、切り出した静止画を画像エンコーダ546に入力して、静止画特徴量を取得する。
制御部21は、画像特徴量を処理対象レコードの精子画像特徴量フィールドの各サブフィールドに記録する(ステップS503)。制御部21は、教師データDB51に記録された撮影画像の処理を終了したか否かを判定する(ステップS504)。処理を終了していないと判定した場合(ステップS504でNO)、制御部21はステップS501に戻る。
処理を終了したと判定した場合(ステップS504でYES)、制御部21は、精子画像特徴量フィールドおよび経過情報フィールドの一つのサブフィールドに記録されたデータを教師データに用いて、教師あり機械学習を行ない、受精から出産までの経過のうちの1つの段階についての経過学習モデル53を作成する(ステップS511)。
図7を使用して、説明を続ける。制御部21は、精子画像特徴量等の入力データを入力層531に入力した場合に、出力層533に所定の値が出力されるように、誤差逆伝播法等を用いて中間層532のパラメータを演算する。所定の値は、経過サブフィールドに「OK」が記録されている場合には、「成功」のニューロンに「1」、「不成功」のニューロンに「0」であり、経過サブフィールドに「NG」が記録されている場合には、「成功」のニューロンに「0」、「不成功」のニューロンに「1」である。
制御部21は、作成した経過学習モデル53を、補助記憶装置23に保存する(ステップS512)。制御部21は、処理中の経過情報サブフィールドについて、「OK」の数と「NG」の数とをそれぞれ取得する(ステップS513)。
(1)式のpに「OK」の数を、qに「NG」の数を代入することにより、図4を使用して説明した第1分布f(X)が得られる。制御部21は、「OK」の数および「NG」の数を、処理中の経過情報サブフィールドと関連づけて補助記憶装置23に記録する(ステップS514)。
制御部21は、経過情報フィールドのすべてのサブフィールドの処理、すなわち、受精から出産までのすべての段階についての処理を終了したか否かを判定する(ステップS515)。
終了していないと判定した場合(ステップS515でNO)、制御部21はステップS511に戻る。なお、前述のとおり2回目以降のステップS511においては、制御部21は作成済の経過学習モデル53を用いた転移学習を行なっても良い。終了したと判定した場合(ステップS515でYES)、制御部21は処理を終了する。
図14は、第2準備段階および精子選択段階で使用されるプログラムの処理の流れを示すフローチャートである。図14を使用して、図1Bを使用して説明した第2準備段階、および、図1Cを使用して説明した精子選択段階で行なわれる処理の流れを説明する。
制御部21は、サンプル分布算出のサブルーチンを起動する(ステップS521)。サンプル分布算出のサブルーチンは、精子提供者から提供された精液に含まれる精子の予備撮影を行ない、サンプル分布g(X)を算出するサブルーチンである。サンプル分布算出のサブルーチンの処理の流れは後述する。
制御部21は、受精から出産までのそれぞれの段階について、図13のステップS514で記録したOK数およびNG数を取得する(ステップS522)。制御部21は、(1)式のpに「OK」の数を、qに「NG」の数を代入して得た第1分布f(X)と、サンプル分布算出のサブルーチンで算出したサンプル分布g(X)とを(3)式に代入して得られる第2分布h(X)を算出する(ステップS523)。
制御部21は、図11を使用して説明した画面を表示装置15に表示する。ユーザは、ステージ42を動かして顕微授精に使用する精子の候補を探す。ユーザは、図11を使用して説明したように正常精子が1個だけ画像欄61に表示された状態で、判定ボタン68を選択する。
判定ボタン68の選択を受け付けた場合、制御部21はカメラ48を介して精子が撮影された撮影画像を取得する(ステップS524)。制御部21は、精子画像特徴量を抽出する(ステップS525)。制御部21は、精子画像特徴量を受精から出産までのそれぞれの段階の経過学習モデル53に入力して、それぞれの段階に正常に成長する予測成功確率を算出する(ステップS526)。
制御部21は、ステップS523で算出した第2分布h(X)内における、ステップS526で算出した予測成功確率に対する評価指標を算出する(ステップS527)。評価指標は、たとえば予測成功確率の偏差値である。
制御部21は、受精から出産までのそれぞれの段階に対する評価指標に基づいて、候補精子に対する総合評価を判定する(ステップS528)。たとえば、制御部21は、それぞれの段階についての予測成功確率の偏差値の平均値または最小値等に基づいて、候補精子を「良好」、「普通」、「不良」のいずれかであると判定する。制御部21は、表示装置15に図12を使用して説明した画面を表示する(ステップS529)。
制御部21は、次ボタン69の選択を受け付けたか否かを判定する(ステップS530)。次ボタン69の選択を受け付けたと判定した場合(ステップS530でYES)、制御部21は表示装置15に図11を使用して説明した画面を表示するとともに、ステップS524に戻る。
所定の時間が経過しても次ボタン69の選択を受け付けないと判定した場合、または、終了の指示を受け付けたと判定した場合(ステップS530でNO)、制御部21は処理を終了する。
図15は、サンプル分布算出のサブルーチンの処理の流れを示すフローチャートである。サンプル分布算出のサブルーチンは、精子提供者から提供された精液に含まれる精子の予備撮影を行ない、サンプル分布g(X)を算出するサブルーチンである。
制御部21は、図10を使用して説明した画面を表示装置15に表示する。なお、制御部21は、図11を使用して説明した画面を表示装置15に表示する。ユーザは、ステージ42を動かして顕微授精に使用できる正常な精子を探す。ユーザは、図10を使用して説明したように正常精子が1個だけ画像欄61に表示された状態で、撮影ボタン66を選択する。
撮影ボタン66の選択を受け付けた場合、制御部21はカメラ48を介して精子が撮影された撮影画像を取得する(ステップS541)。制御部21は、精子画像特徴量を抽出する(ステップS542)。制御部21は、予備撮影DB52に新規レコードを作成する(ステップS543)。
制御部21は、精子画像特徴量を受精から出産までの段階のうちの一つの段階の経過学習モデル53に入力して、予測成功確率を取得する(ステップS544)。制御部21は、予測成功確率が所定の閾値以上であるか否かを判定する(ステップS545)。
閾値以上であると判定した場合(ステップS545でYES)、制御部21はステップS543で作成したレコードの処理中の段階に対応するフィールドに、「OK」を記録する(ステップS546)。閾値未満であると判定した場合(ステップS545でNO)、制御部21はステップS543で作成したレコードの処理中の段階に対応するフィールドに、「NG」を記録する(ステップS547)。
制御部21は、受精から出産までのすべての段階についての処理を終了したか否かを判定する(ステップS548)。終了していないと判定した場合(ステップS548でNO)、制御部21はステップS544に戻る。
終了したと判定した場合(ステップS548でYES)、制御部21は、予備撮影を終了するか否かを判定する(ステップS549)。たとえば、図10を使用して説明した画面において終了ボタン67の選択を受け付けた場合、制御部21は予備撮影を終了すると判定する。
予備撮影を終了しないと判定した場合(ステップS549でNO)、制御部21はステップS541に戻る。予備撮影を終了すると判定した場合(ステップS549でYES)、制御部21は、予測結果フィールドの処理中のサブフィールドについて、「OK」の数と「NG」の数とを取得する(ステップS550)。
(2)式のaに「OK」の数を、bに「NG」の数を代入することにより、図4を使用して説明したサンプル分布g(X)が得られる。制御部21は、「OK」の数および「NG」の数を、処理中の予測結果サブフィールドに関連づけて補助記憶装置23に記録する(ステップS551)。
制御部21は、予測結果フィールドのすべてのサブフィールドの処理、すなわち、受精から出産までのすべての段階についての処理を終了したか否かを判定する(ステップS552)。終了していないと判定した場合(ステップS552でNO)、制御部21はステップS550に戻る。終了したと判定した場合(ステップS552でYES)、制御部21は処理を終了する。
本実施の形態によると、顕微授精の成功可能性が高い精子の選択を支援する情報処理システム10を提供できる。
本実施の形態によると、過去にIMSIを用いた顕微授精を行ない、経過を記録したデータに基づく第1分布f(X)を事前分布に、精液中の精子をサンプリングして予測した成功確率を尤度分布にそれぞれ使用するベイズ推定を用いることにより、精液中に含まれる精子に関する受精の成立の有無、4分割胚、桑実胚、胚盤胞等の各段階まで正常な成長の成否、妊娠の成立有無、妊婦検診での異常の有無、出産の成否等の、顕微授精後の胚が正常に成長する確率(成功確率)の事後分布を精度良く予測できる。
本実施の形態によると、精液中に含まれる精子に関する各種成功確率の分布内での、個々の精子の評価をリアルタイムで表示するため、観察中の精子を顕微授精に使用するか否かについての培養士の判断を支援できる。そのため、比較的経験の少ない培養士であっても、ベテランの培養士と同様に的確に精子を選択できる。
本実施の形態によると、受精段階、胚盤胞形成段階等の、それぞれの段階ごとの成功確率を評価するため、培養士は患者の臨床的な特徴や状態を考慮して精子を選択できる。たとえば、採取できた卵子の数が多い場合には、培養士は、受精の成功確率は低めであっても、着床以降の成功確率が高い精子を選択できる。
画像エンコーダ546を使用して撮影画像の特徴量を抽出することにより、経過学習モデル53の入力次元数を削減できる。これにより、精子の評価をリアルタイムで行なう情報処理システム10を提供できる。画像エンコーダ546により高い精度で撮影画像を分類できるため、精子を精度良く評価する情報処理システム10を提供できる。
経過学習モデル53に、画像エンコーダ546が一体化されていても良い。一体化した経過学習モデル53は、画像エンコーダ546の出力を、経過学習モデル53の入力層531に連結して生成される。
画像エンコーダ546と一体化することにより、精子を撮影した撮影画像が入力された場合に、受精から出産までの経過における各段階の成功確率を出力する経過学習モデル53を実現できる。なお、経過学習モデル53に画像エンコーダが一体化される場合には、図8を使用して説明した教師データDB51において、静止画の特徴量を記録するサブフィールドの代わりに、動画ファイルから抽出した精子画像を記録するフィールドを設けることが望ましい。
経過学習モデル53に、画像エンコーダ546および動画ファイルから精子全体が含まれる静止画を抽出する際に使用する判定用のCNNが一体化されていても良い。このようにする場合には、図8を使用して説明した教師データDB51において、静止画の特徴量を記録するサブフィールドは不要である。
精子選択段階で撮影した撮影画像の画像特徴量と、その後の経緯とを関連づけて記録した追加データを教師データに加えることが望ましい。新たな教師データを用いて再学習を行なうことにより、経過学習モデル53の精度を向上させられる。再学習により更新された経過学習モデル53は、ネットワークを介して他の顕微授精実施機関に配信されても良い。
たとえば新生児の健康状態等の項目は、成否の二択による評価の代わりに0パーセントから100パーセントまでの点数による評価を行なっても良い。点数による評価を行なう項目の第1分布f(X)は、記録をとった全ケースの点数をベータ分布により近似して得た確率密度分布である。点数の頻度分布の平均Eおよび分散Vを用いてpおよびqを算出することで、この場合の第1分布f(X)を(4)式により表せる。
Figure 0007489920000004
Eは、点数の平均である。
Vは、点数の分散である。
4は正規化定数である。
第1分布f(X)は、たとえば一様分布の任意の分布を事前分布とし、1件の教師データごとにベイズ更新を行なって算出しても良い。サンプル分布g(X)は、たとえば一様分布または第1分布f(X)と同一の分布等の任意の分布を事前分布とし、予備撮影した精子1個ごとにベイズ更新を行なって算出しても良い。
サンプル分布g(X)に、ベータ分布を使用しても良い。具体的には前述の(2)式の代わりに、ベータ分布を示す(5)式を使用する。
Figure 0007489920000005
aは各成長段階まで正常に成長すると推定した予備撮影画像の数である。
bは各成長段階まで正常に成長しないと推定した予備撮影画像の数である。
5は正規化定数である。
第1分布f(X)、および、サンプル分布g(X)の両方、または、いずれか一方に、ガウス分布を使用しても良い。
図7を使用して説明したように、経過学習モデル53の入力層531に、精子提供者および卵子提供者の年齢、健康状態、過去の不妊治療履歴、または、遺伝子変異等のゲノム情報等の、精子提供者および卵子提供者に関する情報等を加えてもよい。このようにすることにより、加齢等による影響を踏まえて成功確率を予測する経過学習モデル53を実現できる。
精子の静止画を撮影する際に、照明部44から放射される照明光の光量を増やし、短い露光時間で撮影しても良い。動きの活発な精子であっても、鮮明な静止画を撮影できる。鮮明な静止画を使用することにより、成功可能性の高い精子と低い精子とを明確に識別できる経過学習モデル53を作成し、候補精子を高い精度で評価できる。
カメラ48は、高解像度であることが望ましい。高解像度で精子を撮影することにより、鮮明な動画および静止画で画像を撮影できる。したがって、成功可能性の高い精子と低い精子とを明確に識別できる経過学習モデル53を作成し、候補精子を高い精度で評価できる。実用的な精度を得るには、1個の精子を少なくとも32画素×32画素以上の解像度で撮影することが望ましい。
カメラ48は、高コントラストの画像を撮影できることが望ましい。高コントラストの画像を用いることにより、精子の個体差を明確に識別可能である。したがって、成功可能性の高い精子と低い精子とを明確に識別できる経過学習モデル53を作成し、候補精子を高い精度で評価できる。
[実施の形態2]
本実施の形態は、経過学習モデル53から取得した成功確率に基づいてサンプル分布g(X)を算出する情報処理システム10に関する。実施の形態1と共通する部分については、説明を省略する。
図16は、実施の形態2の予備撮影DB52のレコードレイアウトを説明する説明図である。予備撮影DB52は、図1Bを使用して説明した第2準備段階において、経過学習モデル53を用いた予測結果を記録するDBである。予備撮影DB52は、患者IDフィールド、撮影日フィールドおよび予測結果フィールドを有する。予測結果フィールドは、受精フィールド、胚盤胞形成フィールド、着床フィールド、出産フィールドおよび健康状態フィールドを有する。予備撮影DB52は1回の予備撮影について1つのフィールドを有する。
患者IDフィールドには、精子提供者に固有に付与された患者IDが記録されている。撮影日フィールドには、撮影画像を撮影した撮影日が記録されている。予測結果フィールドの各サブフィールドには、各段階に正常に達する確率の予測値がパーセント単位で記録されている。
制御部21は、カメラ48により撮影された撮影画像から精子画像特徴量を抽出し、各段階について作成した経過学習モデル53に入力して、成功確率を取得する。制御部21は、取得した確率を、予備撮影DB52の各フィールドに記録する。
本実施の形態においては、これらの成功確率を(6)式で表されるベータ分布g(X)により近似する。近似式において変数p、qを決定するには、成功確率に関する頻度分布から平均および分散を算出し、それぞれEとVに代入することで得る。
Figure 0007489920000006
Eは、各段階まで正常に成長する予測成功確率の分布の平均(期待値)である。
Vは、各段階まで正常に成長する予測成功確率の分布の分散である。
6は正規化定数である。
図17は、実施の形態2のサンプル分布算出のサブルーチンの処理の流れを示すフローチャートである。図17に示すサンプル分布算出のサブルーチンは、図15を使用して説明したサンプル分布算出のサブルーチンの代わりに使用するサブルーチンである。ステップS544までの処理の流れは、図15を使用して説明したサンプル分布算出のサブルーチンの処理と同一であるため、説明を省略する。
制御部21は、ステップS543で作成したレコードの処理中の段階に対応するフィールドに、ステップS544で取得した予測成功確率を記録する(ステップS561)。制御部21は、受精から出産までのすべての段階についての処理を終了したか否かを判定する(ステップS562)。終了していないと判定した場合(ステップS562でNO)、制御部21はステップS544に戻る。
終了したと判定した場合(ステップS562でYES)、制御部21は、予備撮影を終了するか否かを判定する(ステップS563)。予備撮影を終了しないと判定した場合(ステップS563でNO)、制御部21はステップS541に戻る。
予備撮影を終了すると判定した場合(ステップS563でYES)、制御部21は、予備撮影DB52の予測結果フィールドの一つのサブフィールドについて、平均値Eおよび分散Vを算出する。制御部21は、(6)式に基づいて変数p、qおよびC6を算出する(ステップS564)。制御部21は、変数p、qおよびC6を、処理中の予測結果サブフィールドに関連づけて補助記憶装置23に記録する(ステップS565)。
制御部21は、予測結果フィールドのすべてのサブフィールドの処理、すなわち、受精から出産までのすべての段階についての処理を終了したか否かを判定する(ステップS566)。終了していないと判定した場合(ステップS566でNO)、制御部21はステップS564に戻る。終了したと判定した場合(ステップS566でYES)、制御部21は処理を終了する。
本実施の形態によると、予備撮影DB52を作成する際に、「OK」および「NG」を判定する閾値を定める必要がない。そのため、閾値の設定の影響を受けずに、候補精子を評価する情報処理システム10を提供できる。
本実施の形態によると、予測成功確率が50パーセント前後の精子が多い場合に、少ない予備撮影数でサンプル分布g(X)が安定する情報処理システム10を提供できる。
[実施の形態3]
本実施の形態は、候補精子の予測成功確率の評価指数とともに、予測成功確率の評価指数の信頼度を表示する情報処理システム10に関する。実施の形態1と共通する部分については、説明を省略する。
図18は、実施の形態3の情報処理装置20が表示する画面を示す説明図である。図18に示す画面は、精子選択段階において図12に示す画面の代わりに、表示装置15に表示される画面の例である。画面には、画像欄61、評価欄65および次ボタン69が表示されている。評価欄65は、第1評価欄651、第2評価欄652、第3評価欄653および第4評価欄654を含む。
第1評価欄651から第4評価欄654には、それぞれ評価指標である偏差値と、評価指標の信頼度とが表示されている。信頼度は、たとえばデータの不均一性に基づく偶発的な不確かさの逆数である。ガウス分布に従う偶発的な不確かさでは、分散σ2=Σ(X-Xm)2/N(ただしNはサンプル数、XmはXの平均値)の逆数である精度β=1/σ2が信頼度となる。
また信頼度は、教師あり機械学習を行なったモデルの不確かさ、もしくは、パラメータの不確かさ、または、完全性の不確かさ等の、認識の不確かさの逆数である。機械学習モデルのパラメータをベルヌーイ分布に置き換えたMonte Carlo Dropout Sampling等を用いて認識の不確かさを算出できる。なお培養士が信頼度の高低を直観的に理解できるように、算出した信頼度に適当な定数を加えて、さらに別の適当な定数を乗算することで、たとえば0から100までの値に変換した値を信頼度として表示しても良い。
培養士は、たとえば、候補精子の偏差値が高くても、信頼度が低い場合にはその候補精子の選択を避けるなど、偏差値と信頼度の双方を考慮して顕微授精に使用する精子を決定できる。
[実施の形態4]
本実施の形態は、候補精子を自動的に判定する情報処理システム10に関する。実施の形態1と共通する部分については、説明を省略する。
図19は、実施の形態4の情報処理システム10の構成を説明する説明図である。情報処理装置20は、ステージI/F26を有する。ステージI/F26は、たとえばUSB端子である。顕微鏡41は、ステージ42を動作させるステージ移動部46を有する。ステージ移動部46は、ステージI/F26に接続されている。
制御部21は、ステージI/F26を介してステージ移動部46を制御する。制御部21は、たとえば顕微鏡41の視野が観察容器421全体を走査するようにステージ移動部46を制御する。制御部21は、ユーザによる指示に基づいてステージ移動部46を制御しても良い。
図20は、正常精子判定DBのレコードレイアウトを説明する説明図である。正常精子判定DBは、正常精子とそれ以外とを判別する教師有り機械学習に使用する教師データである。正常精子判定DBは、画像フィールドおよび判定フィールドを有する。画像フィールドには、正常精子、異常精子、または、異物等を撮影した画像が記録されている。判定フィールドには、画像が「正常精子」、「異常精子」および「異物」のいずれであるかを培養士が判定した結果が記録されている。正常精子判定DBは、1つの画像について1つのレコードを有する。
図21は、正常精子判定モデル57の構成を示す説明図である。正常精子判定モデル57は、入力層571、中間層572および出力層573を備えるニューラルネットワークである。図21においては、正常精子判定モデル57はCNNである場合を例示する。
入力層571には、正常精子判定DBの画像フィールドに記録された画像が入力される。具体的には、入力層571は画像の画素数と同じ数のニューロンを有し、各ニューロンに、画像の各画素の画素値が入力される。出力層573は、判定が「正常精子」である確率、「異常精子」である確率、および「異物」である確率をそれぞれ出力する、合計3個のニューロンを有する。
制御部21は、出力層543から正常精子判定DBの判定フィールドに記録された判定結果が出力されるように、誤差逆伝播法等を用いて中間層572のパラメータを演算する教師あり機械学習が行なう。たとえば、判定フィールドに「正常精子」が記録されている場合には、制御部21は、「正常精子」である確率が1であり、「異常精子」である確率および「異物」である確率が0になるように、中間層572のパラメータを演算する。
学習済の正常精子判定モデル57にカメラ48により撮影した画像を入力することにより、制御部21は、正常精子、異常精子または異物のいずれが撮影されているかを判定できる。
正常精子判定モデル57は、たとえばVGG(Visual Geometry Group)-16、ResNET(Residual Network)-50またはXception等の既存の公開モデルに、正常精子判定DBを追加学習させる転移学習を用いて作成してもよい。公開モデルを利用することにより、少ない教師データで正確な正常精子判定モデル57を作成できる。
図22から図24は、実施の形態4の情報処理装置20が表示する画面を示す説明図である。図22から図24に示す画面は、精子選択段階において図12に示す画面の代わりに、表示装置15に表示される画面の例である。画面には、画像欄61および評価欄65が表示されている。
画像欄61には、カメラ48により撮影された画像がリアルタイムで表示される。制御部21は公知の画像認識技術により、視野内に評価対象が含まれているか否かを判定する。制御部21は、画像をあらかじめ用意された判定用のCNNに入力して、視野内に評価対象が含まれているか否かを判定しても良い。
評価欄65には、画像欄61に表示された画像をリアルタイムで評価した評価結果が表示される。図22に示す例においては、視野内に正常精子が含まれており、図12と同様の評価結果が表示されている。
図23に示す例においては、視野内に異常精子が含まれており、総合評価欄659には「異常精子」が表示されている。異常精子については、経過学習モデル53を用いた予測成功確率の取得は行なわれず、第1評価欄651から第4評価欄654には「-」が表示される。
図24に示す例においては、視野内に評価対象が含まれておらず、総合評価欄659には「判定不能」が表示されている。評価対象が含まれていないため、経過学習モデル53を用いた予測成功確率の取得は行なわれず、第1評価欄651から第4評価欄654には「-」が表示される。
図25は、実施の形態4のプログラムの処理の流れを示すフローチャートである。本実施の形態においては、ステージ42は自動で、または、ユーザによる指示に基づいて前後左右に動作し、顕微鏡視野を走査する。
制御部21は、サンプル分布算出のサブルーチンを起動する(ステップS601)。サンプル分布算出のサブルーチンは、図15または図17を使用して説明したサンプル分布算出のサブルーチンと同様の処理を行ない、サンプル分布g(X)を算出するサブルーチンである。
ただし、ステップS601で起動するサブルーチンにおいては、図15または図17を使用して説明したサブルーチンのステップS541の代わりに、制御部21は精子画像取得のサブルーチンを起動する。精子画像取得のサブルーチンは、顕微鏡41から正常な精子の画像を自動的に取得するサブルーチンである。精子画像取得のサブルーチンの処理の流れは後述する。
制御部21は、受精から出産までのそれぞれの段階について、図13のステップS514で記録したOK数およびNG数を取得する(ステップS602)。制御部21は、(1)式から(3)式に基づいて第2分布h(X)を算出する(ステップS603)。
制御部21は、公知の画像解析技術を用いてカメラ48により撮影された視野中に被写体があることを検出する(ステップS604)。制御部21は、図21を使用して説明した正常精子判定モデル57に被写体を含む画像を入力し、判定結果を取得する(ステップS605)。
制御部21は、被写体が正常精子である確率が所定の閾値以上であるか否かを判定する(ステップS606)。閾値以上であると判定した場合(ステップS606でYES)、制御部21は、精子画像特徴量を抽出する(ステップS525)。以後、ステップS528までの処理は、図14を使用して説明したプログラムの処理と同一であるため説明を省略する。制御部21は、表示装置15に図22を使用して説明した画面を表示する(ステップS607)。
閾値未満であると判定した場合(ステップS606でNO)、制御部21は被写体が異常精子である確率が所定の閾値以上であるか否かを判定する(ステップS611)。閾値以上であると判定した場合(ステップS611でYES)、制御部21は、表示装置15に図23を使用して説明した異常精子である旨を示す画面を表示する(ステップS612)。閾値未満であると判定した場合(ステップS611でNO)、制御部21は、表示装置15に図24を使用して説明した判定不能である旨を示す画面を表示する(ステップS613)。
ステップS607、ステップS612またはステップS613の終了後、制御部21は、次ボタン69の選択を受け付けたか否かを判定する(ステップS614)。次ボタン69の選択を受け付けたと判定した場合(ステップS614でYES)、制御部21はステップS604に戻る。
所定の時間が経過しても次ボタン69の選択を受け付けないと判定した場合、または、終了の指示を受け付けたと判定した場合(ステップS514でNO)、制御部21は処理を終了する。
図26は、精子画像取得のサブルーチンの処理の流れを示すフローチャートである。精子画像取得のサブルーチンは、顕微鏡41から正常な精子の画像を自動的に取得するサブルーチンである。精子撮影のサブルーチンは、図15および図17を使用して説明したサンプル分布算出のサブルーチンのステップS541の代わりに使用される。
制御部21は、公知の画像解析技術を用いて視野中に被写体があることを検出する(ステップS571)。制御部21は、被写体を含む画像を正常精子判定モデル57に入力し、被写体が正常精子である確率を取得する(ステップS572)。
制御部21は、被写体が正常精子である確率が所定の閾値異常であるか否かを判定する(ステップS573)。閾値未満であると判定した場合(ステップS573でNO)、制御部21はステップS571に戻る。閾値以上であると判定した場合(ステップS573でYES)、制御部21は処理を終了する。
本実施の形態によると、正常精子を自動的に抽出して判定する情報処理システム10を提供できる。たとえば、正常精子が極端に少ない場合であっても、培養士の負担が少ない情報処理システム10を提供できる。
正常精子を抽出する正常精子判定モデル57と、正常精子を評価する経過学習モデル53とを分離することにより、精度の高い判定を行なう情報処理システム10を提供できる。
[実施の形態5]
本実施の形態は、グラフを用いて候補精子の評価結果を表示する情報処理システム10に関する。実施の形態3と共通する部分については、説明を省略する。
図27は、実施の形態5の情報処理装置20が表示する画面を示す説明図である。図27に示す画面は、精子選択段階において図18に示す画面の代わりに、表示装置15に表示される画面の例である。画面には、画像欄61、評価欄65および患者情報欄64が表示されている。評価欄65は、第1評価欄651、第2評価欄652、第3評価欄653、第4評価欄654および第5評価欄655を含む。
患者情報欄64には、精子提供者および卵子提供者それぞれの年齢、既往歴、および現病歴と、不妊治療歴とが表示されている。患者情報欄において「M」は精子提供者を、「F」は卵子提供者を示す。
画像欄61には、評価中の候補精子が静止画で表示されている。画像欄61には、カメラ48により撮影された顕微鏡画像がリアルタイムで表示されても良い。
第1評価欄651から第4評価欄654には、それぞれの段階における第2分布Y=h(X)のグラフが表示されている。グラフの縦軸は確率変数Xとして成功確率を、横軸は確率変数Xに対応する確率Yを示す。それぞれのグラフには、候補精子の成功確率が指標線81により表示されている。
それぞれのグラフの下に、候補精子について算出した成功率と、第2分布中における当該成功率の偏差値および信頼度とが表示されている。候補精子の成功率が、同一の精液中に含まれる過去に評価した精子の成功率の最大値以上である場合には、信頼度の下に「Best」の文字が表示される。
第5評価欄655には、精子の異常度の分布を示すグラフが表示されている。グラフの縦軸は確率変数Xとして精子の異常度を、横軸は確率変数Xに対応する確率Yを示す。グラフには、候補精子の異常度が指標線81により表示されている。
グラフの下に、候補精子について算出した異常度と、異常度の分布中における当該異常度の偏差値および信頼度とが表示されている。候補精子の異常度が、同一の精液中に含まれる過去に評価した精子の異常度の最小値以下である場合には、信頼度の下に「Best」の文字が表示される。
精子の異常度は、たとえば図21を使用して説明した正常精子判定モデル57を用いて取得する、精子が異常精子である確率である。精子の異常度は、「正常」とされる精子の形状と候補精子の形状との類似度に基づいて算出されても良い。第5評価欄655のグラフは、たとえば精子提供者と同年代の男性の精子の、異常度の分布である。
同年代の男性の精子の異常度の分布を第1分布に、予備撮影で撮影した精子の異常度の分布をサンプル分布にそれぞれ使用して算出した、第2分布を第5評価欄655のグラフに使用してもよい。このようにする場合には、まず実施の形態4と同様に自動で予備撮影を行なって精液中に含まれる精子全体の異常度のサンプル分布を作成する。その後、形状が正常であると判定された候補精子について、受精から出産までの各段階のサンプル分布を作成する。
本実施の形態によると、培養士は指標線81に基づいて分布中の候補精子の位置づけを直感的に把握できる。そのため、培養士は、候補精子を顕微授精に使用するか否かを速やかに判定できる。
候補精子を数秒間撮影した動画ファイルを補助記憶装置23に一時的に保存して、画像欄61に繰り返し再生表示しても良い。培養士は、動画により候補精子の動きを十分に観察して、顕微授精に使用するか否かを判断できる。繰り返し再生する動画の早送り、逆送り、一時停止、スロー再生、または、高速再生等を指示するボタンが、画像欄61の周囲または内部に表示されても良い。
制御部21は、動画ファイルの繰り返し再生中に、静止画像特徴量を抽出するフレームの指定を受け付け、候補精子の評価を再度実施しても良い。培養士は、所望のフレームに基づいて、候補精子を評価できる。
過去に撮影した動画ファイルが画像欄61に表示されても良い。たとえば、医療施設内のカンファレンス、培養士の研修、他施設との情報交換等に使用する情報処理システム10を提供できる。過去に撮影した動画ファイルを用いて、経過学習モデル53または画像エンコーダ546を更新した後の動作確認を行なうこともできる。
カメラ48は、高速度撮影が可能であっても良い。高速度撮影により候補精子を撮影した動画ファイルを画像欄61にスロー再生により表示することにより、培養士は候補精子の動きを観察できる。このようにすることにより、培養士は、高粘性溶液を使用することなく、精子の自然な動きおよび顕微鏡画像の焦点のズレ等を正確に確認できる。培養士が対物レンズの位置の調整等を行なうことにより、評価に適した候補精子の画像を取得できる。さらに顕微授精の際に、精子と共に高粘性溶液が卵子に注入されることを回避できる。
[実施の形態6]
図28は、実施の形態6の情報処理装置20の機能ブロック図である。情報処理装置20は、撮影画像取得部71と、入力部72と、出力部73とを有する。撮影画像取得部71は、顕微授精に使用する候補精子が撮影された撮影画像を取得する。
入力部72は、精子が撮影された撮影画像を受け付けて、その精子を用いた顕微授精の成否に関する予測を出力する学習モデル53に、取得した撮影画像を入力する。出力部73は、入力された撮影画像に基づいて学習モデル53から出力された予測を出力する。
学習モデル53は、入力層571と、画像エンコーダ546と、中間層572と、出力層573とを有する。入力層571には、精子が撮影された撮影画像が入力される。出力層573は、精子を用いて顕微授精を行なった後の各段階まで正常に成長する予測成功確率を出力する。
中間層572は、過去に顕微授精に使用された精子が撮影された撮影画像と、その精子を用いて顕微授精を行なった後の各段階まで正常に成長するか否かとを関連づけて記録した教師データを用いてパラメータが学習されている。
学習モデル53は、顕微授精に使用する候補精子が撮影された撮影画像が入力層571に入力された場合に、中間層572による演算を経て候補精子を用いて顕微授精を行なった場合の各段階まで正常に成長するか否かに関する予測を出力層573から出力するようにコンピュータを機能させる。
学習モデル53は、入力層571と中間層572との間に設けられ、撮影画像から画像特徴量を抽出する画像エンコーダ546をさらに備え、画像エンコーダ546により抽出された画像特徴量を中間層572に出力する。
[実施の形態7]
本実施の形態は、汎用のコンピュータ90とプログラム97とを組み合わせて動作させることにより、本実施の形態の情報処理システム10を実現する形態に関する。図29は、実施の形態7の情報処理システム10の構成を示す説明図である。実施の形態1と共通する部分については、説明を省略する。
本実施の形態の情報処理システム10は、コンピュータ90と、顕微鏡41とを含む。
コンピュータ90は、制御部21、主記憶装置22、補助記憶装置23、通信部24、表示I/F25、撮影I/F28、読取部29およびバスを備える。コンピュータ90は、汎用のパーソナルコンピュータ、タブレットまたはサーバコンピュータ等の情報機器である。
プログラム97は、可搬型記録媒体96に記録されている。制御部21は、読取部29を介してプログラム97を読み込み、補助記憶装置23に保存する。また制御部21は、コンピュータ90内に実装されたフラッシュメモリ等の半導体メモリ98に記憶されたプログラム97を読出しても良い。さらに、制御部21は、通信部24および図示しないネットワークを介して接続される図示しない他のサーバコンピュータからプログラム97をダウンロードして補助記憶装置23に保存しても良い。
プログラム97は、コンピュータ90の制御プログラムとしてインストールされ、主記憶装置22にロードして実行される。これにより、コンピュータ90は上述した情報処理装置20として機能する。
[実施の形態8]
本実施の形態は、観察中の精子がX染色体を有するX精子と、Y染色体を有するY精子とのいずれであるかを判定する情報処理システム10に関する。実施の形態1と共通する部分については、説明を省略する。なお、以下の説明においては性染色体に生じる突然変異の影響については考慮しない。
たとえば、赤緑色覚異常、血友病、および、アルポート症候群等のさまざまな伴性遺伝疾患が知られている。伴性遺伝疾患は、性染色体の異常に由来する遺伝疾患である。伴性遺伝疾患を有する親から生まれた子供が伴性遺伝疾患を発症する発症率、および、子供本人は発症しないが子孫に伴性遺伝疾患を伝える遺伝因子を有する保因率は、伴性遺伝疾患の種類および子供の性別によって異なる。
図30は、伴性劣性(潜性)遺伝疾患の発症率および保因率を示す表である(以下の説明では、「劣性」と「潜性」とを同義で使用する)。伴性劣性遺伝疾患は、X染色体を介して遺伝する疾患のうち、正常なX染色体を1本持っていれば発症しない疾患である。男性はX染色体が1本であるため、異常があれば発症する。女性は、2本のX染色体のうち片方だけが異常であれば発症せず、両方が異常であれば発症する。たとえば赤緑色覚異常および血友病等の伴性劣性遺伝疾患が知られている。
図30の左端の列は、精子提供者の性染色体が正常であるか、異常であるかを示す。異常である場合には、精子提供者のX染色体に異常があり、疾患が発症する。図30の左から2列目は、X精子を使用する場合と、Y精子を使用する場合との場合分けを示す。X精子を使用した場合には、子供の性別は女子になる。Y精子を使用した場合には、子供の性別は男子になる。以下の説明において、精子がX精子であるか、Y精子であるかの区別を、精子の性別と記載する場合がある。
図30の右側の3列は、卵子提供者の性染色体が正常であるか、異常であるかを示す。異常である場合には、1本のX染色体が異常であり、他方のX染色体が正常であるヘテロ接合と、両方のX染色体が異常であるホモ接合との2通りが存在する。ヘテロ接合である場合には、発症はしないが遺伝因子を有する保因者である。ホモ接合である場合には、発症する。
発症率は、子供が伴性遺伝疾患を発症する確率を示す。保因率は、子供の性染色体が伴性遺伝疾患を伝える遺伝因子を有する確率、すなわち、子供が遺伝子の異常を有する確率を示す。
たとえば、卵子提供者の性染色体が正常で、精子提供者の性染色体が異常である場合には、子供の性別にかかわらず発症率は0パーセントであり、女子の保因率は100パーセント、男子の保因率は0パーセントである。図30において、角丸四角形で囲んだ部分については、子供の性別により発症率または保因率に差異が生じる。
図31は、伴性優性(顕性)遺伝疾患の発症率および保因率を示す表である(以下の説明では、「優性」と「顕性」とを同義で使用する)。伴性優性遺伝疾患は、X染色体を介して遺伝する疾患のうち、異常なX染色体が1本でも持っていれば発症する疾患である。男性はX染色体が1本であるため、異常があれば発症する。女性は、2本のX染色体のうち片方または両方が異常であれば発症する。たとえばレット症候群およびアルポート症候群等の伴性優性遺伝疾患が知られている。
図31に示す表の構成は図30で説明した表と同様であるため、説明を省略する。図31においても、角丸四角形で囲んだ部分については、子供の性別により発症率または保因率に差異が生じる。
図32は、Y染色体を介して遺伝する伴性遺伝疾患の発症率および保因率を示す表である。女性はY染色体を持たないため、このような疾患に関連する遺伝子に関しては必ず正常である。男性不妊の一部に、Y染色体微小欠失等の、Y染色体を介して遺伝する疾患が含まれていると考えられている。
図32の左端は、図30と同様に精子提供者の性染色体が正常であるか、異常であるかを示す。卵子提供者は必ず正常である。図32において、角丸四角形で囲んだ部分については、子供の性別により発症率または保因率に差異が生じる。
精子提供者および卵子提供者の性染色体に異常がある場合には、精子の性別を判定して子供の性別を選択することにより、出生した子供の発症率および保因率を低下させられる。
疾患によっては、性染色体に異常を有する胚は着床から出生までの成功確率が低く、流産しやすいことが知られている。精子の性別を判定して子供の性別を選択することにより、顕微授精の成功率を上昇させることもできる。
ヒトの遺伝子では、X精子が有するゲノム量は、Y精子が有するゲノム量よりも約3パーセント多いことが知られている。ゲノム量の相違に伴い、X精子の頭部長および周囲長等の寸法はY精子の対応する部分の寸法よりも約5パーセント大きく、X精子の質量はY精子の質量よりも約2.8パーセント重いことも知られている。X精子の方が重いため、移動速度はY精子の方が早い。
このように、X精子とY精子との間には外観上の相違がある。しかしながら、培養士が瞬時に識別して、必要な精子を採取することは難しい。本実施の形態においては、機械学習により生成した性別判定学習モデル56(図34参照)を使用して、観察中の精子がX精子であるか、Y精子であるかを判定する情報処理システム10を提供する。
図33は、性別教師データDB58のレコードレイアウトを説明する説明図である。性別教師データDB58は、顕微授精に使用した精子を撮影した撮影画像と、顕微授精により出生した子供の性別とを関連づけて記録するDBである。性別教師データDB58は、精子IDフィールド、画像データフィールド、精子画像特徴量フィールドおよび性別フィールドを有する。精子IDフィールド、画像データフィールドおよび精子画像特徴量フィールドは、図8を使用して説明した教師データDB51の各フィールドと同様であるため、説明を省略する。
性別フィールドには、顕微授精により出生した子供の性別が記録されている。性別フィールドには、たとえばNIPT(Non-Invasive Prenatal genetic Testing)等の出生前診断により判定された胚または胎児の性別が記録されても良い。性別教師データDB58は、顕微授精に使用された精子1個について、1つのレコードを有する。
図34は、性別判定学習モデル56を説明する説明図である。性別判定学習モデル56は、入力層561、中間層562および出力層563を備えるニューラルネットワークである。図7においては、性別判定学習モデル56はCNNである場合を例示する。なお、畳み込み層およびプーリング層については、図示を省略する。
性別判定学習モデル56は、入力層561に静止画および動画の特徴量が入力された場合に、X精子である確率およびY精子である確率を出力層563に出力する。入力層561に入力される情報は、図34を使用して説明した経過学習モデル53への入力と同様であるため、説明を省略する。
性別判定学習モデル56は、入力層561に静止画および動画の特徴量等が入力された場合に、出力層563に観察中の精子がX精子である確率およびY精子である確率を出力する。学習段階においては、制御部21は、図33を使用して説明した性別教師データDB58を用いて、誤差逆伝播法等を用いて中間層562のパラメータを演算することにより、教師あり機械学習を行なう。
教師あり機械学習は、たとえばロジスティック回帰、SVM、ランダムフォレスト、CNN、RNNまたは、XGBoost等の任意の手法により行なえる。
性別判定学習モデル56は任意のコンピュータを用いて作成されても良い。作成された性別判定学習モデル56は、ネットワーク等を介して顕微授精実施機関が使用する情報処理装置20に送信されて、補助記憶装置23に記録される。
性別判定学習モデル56は、図7を使用して説明した経過学習モデル53のいずれかと一体に構成されても良い。そのようにする場合には、性別判定学習モデル56の出力層563は、成功である確率を出力する成功ノードと、不成功である確率を出力する不成功ノードとを有する。
図35は、実施の形態8の情報処理装置20が表示する画面を示す説明図である。産科医から特定の性別の精子を顕微授精に使用するように指示を受けた場合、ユーザである培養士は図35を使用して説明する画面を表示装置15に表示させる。画面には、画像欄61、判定ボタン68および終了ボタン67が表示されている。画像欄61には、カメラ48により撮影された顕微鏡画像がリアルタイムで表示される。
ユーザが判定ボタン68を選択した場合、制御部21は画像欄61に表示中の画像の静止画特徴量および動画特徴量を抽出する。制御部21は、特徴量を性別判定学習モデル56に入力し、X精子である確率およびY精子である確率を取得する。制御部21は、画面右上の性別欄82に、X精子である確率およびY精子である確率を表示する。
ユーザが判定ボタン68を再度選択した場合、制御部21は画像欄61にリアルタイムで表示されている画像を用いて、X精子である確率およびY精子である確率を更新する。ユーザが終了ボタン67を選択した場合、制御部21は処理を終了する。
たとえば、性別判定学習モデル56にCNNの一種であるYOLOv3(You Only Look Once version 3)を使用することで、制御部21はX精子である確率およびY精子である確率を高速に取得できる。十分に高速にX精子である確率およびY精子である確率を取得できる場合、制御部21は性別欄82をリアルタイムで更新しても良い。リアルタイムで性別欄82を更新する場合には、判定ボタン68は不要である。
ユーザは、図12を使用して説明した画面等を用いて顕微授精の成功確率が高い精子を発見した後に、図35を使用して説明した画面を用いて精子の性別を判定する。ユーザは、図35を使用して説明した画面を用いて産科医から指定された性別の精子を発見した後に、図12を使用して説明した画面等を用いて顕微授精の成功確率を判定しても良い。
本実施の形態の情報処理システム10は、実施の形態1等で説明した顕微授精の成功確率を判定する情報処理システム10とは独立したシステムであっても良い。
制御部21は、図12を使用して説明した評価欄65と、図35を使用して説明した性別欄82とを、一つの画面に並べて表示しても良い。
図36は、実施の形態8のプログラムの処理の流れを示すフローチャートである。制御部21は、図35に示すように候補精子が1個だけ画像欄61に表示された状態で、判定ボタン68を選択する。
制御部21は、判定ボタン68の選択を受け付けたか否かを判定する(ステップS701)。判定ボタン68の選択を受け付けたと判定した場合(ステップS701でYES)、制御部21はカメラ48を介して精子が撮影された撮影画像を取得する(ステップS702)。
制御部21は、精子画像特徴量を抽出する(ステップS703)。制御部21は、精子画像特徴量を性別判定学習モデル56に入力して、観察中の精子がX精子である確率およびY精子である確率を取得する(ステップS704)。制御部21は、性別欄82に取得した確率を表示する(ステップS705)。
判定ボタン68の選択を受け付けていないと判定した場合(ステップS701でNO)、またはステップS705の終了後、制御部21は、終了ボタン67の選択を受け付けたか否かを判定する(ステップS706)。終了ボタン67の選択を受け付けていないと判定した場合(ステップS706でNO)、制御部21は、ステップS701に戻る。終了ボタン67の選択を受け付けたと判定した場合(ステップS706でYES)、制御部21は処理を終了する。
本実施の形態によると、精子の性別を判定して表示する情報処理システム10を提供できる。培養士は、産科医から指示された性別である可能性が高い精子を選択して顕微授精を行なえる。これにより、顕微授精により出生する子供が伴性遺伝疾患を発症する可能性、および、伴性遺伝疾患の因子を保有する可能性を低減できる。また、伴性遺伝疾患に関連する遺伝子異常による流産等を予防して、顕微授精後による出産の成功確率を高めることもできる。
[実施の形態9]
本実施の形態は、観察中の精子がX精子とY精子とのいずれであるかを判定した結果に基づいて、子供が伴性遺伝疾患を発症する確率および因子を保有する確率を表示する情報処理システム10に関する。実施の形態8と共通する部分については、説明を省略する。
図37は、実施の形態9の情報処理装置20が表示する画面を示す説明図である。図37に示す画面には、疾患設定欄830、卵子提供者欄832および精子提供者欄833が表示されている。疾患設定欄830は、疾患名欄831、XY欄834および優性劣性欄835を含む。卵子提供者欄832は、卵子確定情報欄836および卵子推定情報欄837を含む。精子提供者欄833は、精子確定情報欄838および精子推定情報欄839を含む。図37に示す画面は、伴性遺伝疾患に関する設定を入力する設定入力画面である。
疾患名欄831には、判定するべき伴性遺伝疾患名を選択するボタンが表示されている。XY欄834および優性劣性欄835には、疾患名欄831で選択を受け付けた伴性遺伝疾患に対応する遺伝形式が黒丸により表示されている。
図37においては、疾患名欄831に設定された「血友病」がX染色体を介して遺伝する疾患であることが、XY欄834に表示されている。同様に「血友病」が伴性劣性遺伝疾患であることが、優性劣性欄835に表示されている。
ユーザは、カルテ等に基づいて判定するべき伴性遺伝疾患名を疾患名欄831に設定する。制御部21は、疾患名と遺伝形式とを関連づけて記録したデータベースに基づいて、XY欄834および優性劣性欄835を表示する。
カルテ等に、伴性遺伝疾患名が明示されず、遺伝形式だけが示されている場合には、ユーザは疾患名欄831を使用する代わりに、XY欄834および優性劣性欄835に判定するべき伴性遺伝疾患の遺伝形式を入力する。ユーザが遺伝形式を入力する場合には、XY欄834および優性劣性欄835の左端にそれぞれ表示された白丸および黒丸は、ユーザによる入力を受け付ける入力ボタンの機能を果たす。
卵子提供者欄832は、卵子提供者の性染色体に関する情報の入力を受け付ける。ユーザは、カルテ等に基づいて卵子提供者の性染色体異常の有無が確定しているか否かを確認する。
確定している場合には、ユーザは卵子確定情報欄836の左上に配置されたチェックボックスを選択して、チェックマークを表示させる。ユーザは、カルテ等に基づいて卵子提供者が有する2本のX染色体のそれぞれが正常であるか、異常であるかを卵子確定情報欄836の下部に表示されたボタンを用いて入力する。図37においては、2本のX染色体がどちらも「異常」である旨が入力されている。
確定していない場合には、ユーザは卵子推定情報欄837の左上に配置されたチェックボックスを選択して、チェックマークを表示させる。卵子推定情報欄837には、卵子提供者の性染色体が正常である推定確率、ヘテロ型の異常である推定確率、およびホモ型の異常である推定確率を百分率で入力する欄が表示されている。
卵子提供者の性染色体異常の有無が確定していない場合、産科医等の専門家が家族歴等に基づいて卵子提供者の性染色体異常の有無に関する確率を推定して、カルテ等に記載する。ユーザは、カルテ等に基づいて、卵子推定情報欄837の各欄に推定確率を入力する。
精子提供者欄833は、精子提供者の性染色体に関する情報の入力を受け付ける。ユーザは、カルテ等に基づいて精子提供者の性染色体異常の有無が確定しているか否かを確認する。
確定している場合には、ユーザは精子確定情報欄838の左上に配置されたチェックボックスを選択して、チェックマークを表示させる。ユーザは、カルテ等に基づいて精子提供者が有するX染色体およびY染色体のそれぞれが正常であるか、異常であるかを精子確定情報欄838の下部に表示されたボタンを用いて入力する。図37においては、X染色体およびY染色体のいずれも「正常」である旨が入力されている。
確定していない場合には、ユーザは精子推定情報欄839の左上に配置されたチェックボックスを選択して、チェックマークを表示させる。精子推定情報欄839には、精子提供者のX染色体およびY染色体のそれぞれが正常である推定確率および異常である推定確率を百分率で入力する欄が表示されている。
精子提供者の性染色体異常の有無が確定していない場合、産科医等の専門家が家族歴等に基づいて精子提供者の性染色体異常の有無に関する確率を推定して、カルテ等に記載する。ユーザは、カルテ等に基づいて、精子推定情報欄839の各欄に推定確率を入力する。
具体的には、XY欄834にX染色体を介して遺伝する疾患に関する判定を行なう旨が表示されている場合には、ユーザはカルテ等に基づいてX染色体が正常である推定確率および異常である推定確率を精子推定情報欄839に入力する。XY欄834にY染色体を介して遺伝する疾患に関する判定を行なう旨が表示されている場合には、ユーザはカルテ等に基づいてY染色体が正常である推定確率および異常である推定確率を精子推定情報欄839に入力する。
なお、制御部21は、卵子推定情報欄837に含まれる3個の欄のうち、2個に数字が入力された場合、合計確率が1になるように残りの1個を算出して、表示しても良い。同様に制御部21は精子推定情報欄839に含まれる2個の欄のうち、一方に数字が入力された場合、合計確率が1になるように他方を算出して、表示しても良い。制御部21は、卵子推定情報欄837の合計確率、および、精子推定情報欄839の合計確率がそれぞれ1ではない場合に、エラーメッセージを表示して、ユーザに修正を促しても良い。
図38は、実施の形態9の情報処理装置20が表示する画面を示す説明図である。図38に示す画面は、図35を使用して説明した画面の代わりに表示される。図38に示す画面では、性別欄82と判定ボタン68との間に発症率欄841および保因率欄842が表示されている。
発症率欄841には顕微授精により出生した子供が伴性遺伝子疾患を発症する確率が表示されている。保因率欄842には、顕微授精により出生した子供が伴性遺伝子疾患の保因者である確率が表示されている。
「X劣性遺伝疾患」の判定をする場合を例にして、発症率および保因率の算出方法の概要を説明する。卵子提供者および精子提供者の遺伝子異常の有無と、子供の発症率および保因率は、図30に示す関係である。
図37に示す例では、卵子提供者のX染色体の異常遺伝子同士がホモ接合しており、精子提供者のX染色体は正常である。図30の右上の角丸四角形で囲んだように、子供が女子であれば発症率は0パーセント、保因率は100パーセントであり、子供が男子であれば発症率、保因率とも100パーセントである。
図30から図32に示す表は、データベースまたは所定の条件を入力した場合に発症率および保因率を出力するプログラムの形式で、補助記憶装置23に記録されている。制御部21は、ユーザの入力に基づいて、子供が男子である場合と女子である場合の発症率および保因率をそれぞれ取得する。
X精子である確率が10パーセント、Y精子である確率が90パーセントである精子を顕微授精に使用した場合、受精卵が男性である確率、すなわち男子が生まれる確率は90パーセントであり、受精卵が女性である確率、すなわち女子が生まれる確率は10パーセントである。
制御部21は、男子が生まれる確率と、男子の発症率との積、および、女子が生まれる確率と、女子の発症率との積とを加算することにより、顕微授精により出生する子供の発症率を算出する。同様に制御部21は、男子が生まれる確率と、男子の保因率との積、および、女子が生まれる確率と、女子の保因率との積とを加算することにより、顕微授精により出生する子供の保因率を算出する。
図37に示す例では、顕微授精により出生する子供の発症率は90パーセント、保因率は100パーセントである。
卵子提供者のX染色体の異常遺伝子同士がヘテロ接合しており、精子提供者の遺伝子が正常である場合の例を説明する。図30の上側中央部の角丸四角形で囲んだように、子供が女子であれば発症率は0パーセント、保因率は50パーセントであり、子供が男子であれば発症率、保因率とも50パーセントである。
X精子である確率が10パーセント、Y精子である確率が90パーセントである精子を顕微授精に使用した場合、男子が生まれる確率は90パーセント、女子が生まれる確率は10パーセントである。
制御部21は、男子の発症率である50パーセントと、男子が生まれる確率である90パーセントとの積と、女子の発症率である0パーセントと、女子が生まれる確率である10パーセントとの積とを加算することにより、疾患の発症率は45パーセントであると算出する。同様に制御部21は、疾患の保因率は50パーセントであると算出する。
図37を使用して説明した画面で、卵子推定情報欄837または精子推定情報欄839に推定確率が0パーセントまたは100パーセント以外の数値で入力された場合には、制御部21は、それぞれのケースの組み合わせを加重平均することにより、疾患の発症率および保因率を算出する。
図39は、実施の形態9のプログラムの処理の流れを示すフローチャートである。制御部21は、図37を使用して説明した設定入力画面を表示する(ステップS711)。制御部21は、ユーザにより入力された設定を取得する(ステップS712)。
制御部21は、発症率と保因率算出のサブルーチンを起動する(ステップS713)。発症率と保因率算出のサブルーチンは、X精子を使用した場合とY精子を使用した場合の、伴性遺伝疾患の発症率および保因率をそれぞれ算出するサブルーチンである。発症率と保因率算出のサブルーチンの処理の流れは後述する。
制御部21は、判定ボタン68の選択を受け付けたか否かを判定する(ステップS701)。判定ボタン68の選択を受け付けたと判定した場合(ステップS701でYES)、制御部21はカメラ48を介して精子が撮影された撮影画像を取得する(ステップS702)。
制御部21は、精子画像特徴量を抽出する(ステップS703)。制御部21は、精子画像特徴量を性別判定学習モデル56に入力して、観察中の精子がX精子である確率およびY精子である確率を取得する(ステップS704)。
制御部21は、ステップS713で取得した精子の性別ごとの発症率と、精子の性別ごとの確率とに基づいて、観察中の精子を使用した場合の発症率を算出する(ステップS721)。具体的には、制御部21は(7)式により発症率を算出する。
発症率=X精子を用いた場合の発症率×X精子である確率
+Y精子を用いた場合の発症率×Y精子である確率 ‥‥‥(7)
制御部21は、ステップS713で取得した精子の性別ごとの発症率と、精子の性別ごとの確率とに基づいて、観察中の精子を使用した場合の保因率を算出する(ステップS722)。具体的には、制御部21は(8)式により保因率を算出する。
発症率=X精子を用いた場合の保因率×X精子である確率
+Y精子を用いた場合の保因率×Y精子である確率 ‥‥‥(8)
制御部21は、発症率欄841にステップS721で算出した発症率を、保因率欄842にステップS722で算出した保因率を、それぞれ表示する(ステップS723)。
判定ボタン68の選択を受け付けていないと判定した場合(ステップS701でNO)、またはステップS723の終了後、制御部21は、終了ボタン67の選択を受け付けたか否かを判定する(ステップS706)。終了ボタン67の選択を受け付けていないと判定した場合(ステップS706でNO)、制御部21は、ステップS701に戻る。終了ボタン67の選択を受け付けたと判定した場合(ステップS706でYES)、制御部21は処理を終了する。
図40は、発症率と保因率算出のサブルーチンの処理の流れを示すフローチャートである。発症率と保因率算出のサブルーチンは、X精子を使用した場合とY精子を使用した場合の、伴性遺伝疾患の発症率および保因率をそれぞれ算出するサブルーチンである。
なお、以下の説明においては、図37の卵子提供者欄832を介して入力を受け付けた、卵子提供者の遺伝子が正常である確率をPxn、ヘテロ型の異常である確率をPxt、ホモ型の異常である確率をPxmと記載する。同様に、図37の精子提供者欄833を介して入力を受け付けた、精子提供者の遺伝子が正常である確率をPyn、異常である確率をPyaと記載する。
なお、卵子確定情報欄836が使用された場合には、Pxn、PxtおよびPxmのいずれか一つが100パーセントであり、残りは0パーセントである。精子確定情報欄838が使用された場合には、PynおよびPyaのいずれか一方が100パーセントであり、他方が0パーセントである。
制御部21は疾患設定欄830を介して入力を受け付けた伴性遺伝疾患がY遺伝疾患であるか否かを判定する(ステップS731)。Y遺伝疾患であると判定した場合(ステップS731でYES)、制御部21はX精子を使用した場合、および、Y精子を使用した場合の、受精卵すなわち新生児における伴性遺伝疾患の発症率および保因率を算出する(ステップS732)。
具体的には、X精子を使用した場合の発症率および保因率は0パーセントである。Y精子を使用した場合の発症率および保因率は精子提供者の性染色体が異常である確率Pyaに等しい値である。その後、制御部21は処理を終了する。
Y遺伝疾患ではないと判定した場合(ステップS731でNO)、制御部21は、疾患設定欄830を介して入力を受け付けた伴性遺伝疾患の遺伝形式に関する発症率行列Mpを取得する(ステップS733)。発症率行列Mpは、図30および図31を使用して説明した伴性遺伝疾患の発症率および保因率を示す表中の発症率に基づいて、遺伝形式および精子の性別ごとに作成され、補助記憶装置23に記録されている。発症率行列Mpは(9)式で示される
Figure 0007489920000007
Mp11は、精子提供者、卵子提供者共に性染色体が正常である場合の発症率を示す。
Mp12は、精子提供者の性染色体が正常で、卵子提供者の性染色体異常がヘテロ接合である場合の発症率を示す。
Mp13は、精子提供者の性染色体が正常で、卵子提供者の性染色体異常がホモ接合である場合の発症率を示す。
Mp21は、精子提供者の性染色体が異常で、卵子提供者の性染色体が正常である場合の発症率を示す。
Mp22は、精子提供者の性染色体が異常で、卵子提供者の性染色体異常がヘテロ接合である場合の発症率を示す。
Mp21は、精子提供者の性染色体が異常で、卵子提供者の性染色体異常がホモ接合である場合の発症率を示す。
たとえば、図30を使用して説明した伴性劣性遺伝疾患について、X精子を用いた場合の発症率行列Mpを(10)式に、Y精子を用いた場合の発症率行列Mpを(11)式にそれぞれ示す。
Figure 0007489920000008
制御部21は、(12)式に基づいてX精子、Y精子それぞれに関する発症率Ppを算出する(ステップS734)。
Figure 0007489920000009
制御部21は、疾患設定欄830を介して入力を受け付けた伴性遺伝疾患の遺伝形式に関する保因率行列Mcを取得する(ステップS735)。保因率行列Mcは、図30および図31を使用して説明した伴性遺伝疾患の発症率および保因率を示す表中の保因率に基づいて、遺伝形式および精子の性別ごとに作成され、補助記憶装置23に記録されている。保因率行列Mcは(13)式で示される
Figure 0007489920000010
Mc11は、精子提供者、卵子提供者共に性染色体が正常である場合の保因率を示す。
Mc12は、精子提供者の性染色体が正常で、卵子提供者の性染色体異常がヘテロ接合である場合の保因率を示す。
Mc13は、精子提供者の性染色体が正常で、卵子提供者の性染色体異常がホモ接合である場合の保因率を示す。
Mc21は、精子提供者の性染色体が異常で、卵子提供者の性染色体が正常である場合の保因率を示す。
Mc22は、精子提供者の性染色体が異常で、卵子提供者の性染色体異常がヘテロ接合である場合の保因率を示す。
Mc21は、精子提供者の性染色体が異常で、卵子提供者の性染色体異常がホモ接合である場合の保因率を示す。
制御部21は、(14)式に基づいてX精子、Y精子それぞれに関する保因率Pcを算出する(ステップS736)。その後、制御部21は処理を終了する。
Figure 0007489920000011
本実施の形態によると、精子の性別に加えて伴性遺伝子疾患の発症率および保因率を表示する情報処理システム10を提供できる。
培養士は、産科医から提示された情報に基づいて、伴性遺伝子疾患の発症率および保因率が低いと予測される精子を選択して顕微授精を行なえる。これにより、顕微授精により出生する子供が伴性遺伝疾患を発症する可能性、および、伴性遺伝疾患の因子を保有する可能性を低減できる。また、伴性遺伝疾患に関連する遺伝子異常による流産等を予防して、顕微授精後による出産の成功確率を高めることもできる。
複数の伴性遺伝子疾患のそれぞれについて、発症率および保因率を算出して、一覧表示しても良い。卵子提供者と精子提供者のそれぞれが異なる伴性遺伝子疾患に関する遺伝子異常を有する場合等に、伴性遺伝子疾患の発症率および保因率が低いと予測される精子を選択して顕微授精を行なえる。
各実施例で記載されている技術的特徴(構成要件)はお互いに組合せ可能であり、組み合わせすることにより、新しい技術的特徴を形成することができる。
今回開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、請求の範囲によって示され、請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
10 情報処理システム
15 表示装置
20 情報処理装置
21 制御部
22 主記憶装置
23 補助記憶装置
24 通信部
25 表示I/F
26 ステージI/F
28 撮影I/F
29 読取部
41 顕微鏡
42 ステージ
421 観察容器
43 接眼レンズ
44 照明部
45 光路分割部
46 ステージ移動部
47 対物レンズ
48 カメラ
51 教師データDB
52 予備撮影DB
53 経過学習モデル(学習モデル)
531 入力層
532 中間層
533 出力層
54 画像特徴量モデル
541 入力層
542 中間層
543 出力層
545 中央層
546 画像エンコーダ
56 性別判定学習モデル
561 入力層
562 中間層
563 出力層
57 正常精子判定モデル
571 入力層
572 中間層
573 出力層
58 性別教師データDB
61 画像欄
62 目標数欄
63 撮影済数欄
64 患者情報欄
65 評価欄
651 第1評価欄
652 第2評価欄
653 第3評価欄
654 第4評価欄
655 第5評価欄
659 総合評価欄
66 撮影ボタン
67 終了ボタン
68 判定ボタン
69 次ボタン
71 撮影画像取得部
72 入力部
73 出力部
81 指標線
82 性別欄
830 疾患設定欄
831 疾患名欄
832 卵子提供者欄
833 精子提供者欄
834 XY欄
835 優性劣性欄
836 卵子確定情報欄
837 卵子推定情報欄
838 精子確定情報欄
839 精子推定情報欄
841 発症率欄
842 保因率欄
90 コンピュータ
96 可搬型記録媒体
97 プログラム
98 半導体メモリ

Claims (21)

  1. 顕微授精に使用する候補精子が撮影された撮影画像を取得し、
    過去に顕微授精に使用された精子が撮影された撮影画像と、前記過去に使用された精子を用いて顕微授精を行なった後の各段階まで正常に成長するか否かとを関連づけて記録した教師データを用いて機械学習させた、精子が撮影された撮影画像を受け付けて前記精子を用いた顕微授精の成否に関する予測を出力する学習モデルに、取得した前記撮影画像を入力し、
    入力された前記撮影画像に基づいて前記学習モデルから出力された予測を出力する
    処理をコンピュータに実行させるプログラム。
  2. 前記学習モデルは、入力された前記撮影画像から画像特徴量を抽出する画像エンコーダを備え、
    前記画像エンコーダにより抽出された画像特徴量に基づいて前記予測を出力する
    請求項1に記載のプログラム。
  3. 前記予測は、顕微授精を行なった後の各段階まで正常に成長する予測成功確率である
    請求項1または請求項2に記載のプログラム。
  4. 顕微授精を希望する一人の精子提供者から採取された精液に含まれる精子が撮影された複数の撮影画像をそれぞれ前記学習モデルに入力し、
    前記学習モデルから出力されたそれぞれの予測を取得し、
    取得した前記予測に基づいて各段階の成否にかかるサンプル分布を生成する
    請求項1から請求項3のいずれか一つに記載のプログラム。
  5. 過去に行なわれた複数の顕微授精の症例における、顕微授精後の各段階まで正常に成長するか否かにかかる第1分布を取得し、
    前記第1分布と前記サンプル分布とに基づいて第2分布を生成する
    請求項4に記載のプログラム。
  6. 前記精子提供者から採取された精液に含まれる精子が撮影された撮影画像を取得し、
    前記学習モデルに前記撮影画像を入力して出力された予測を取得し、
    前記第2分布における、前記予測に対応する評価を出力する
    請求項5に記載のプログラム。
  7. 前記評価の信頼度を出力する
    請求項6に記載のプログラム。
  8. 顕微授精が行なわれた後の各段階における成否を取得し、
    前記顕微授精に使用された精子が撮影された撮影画像と、取得した各段階における成否とを関連づけた追加データを記録する
    請求項4から請求項7のいずれか一つに記載のプログラム。
  9. 前記追加データを用いて前記学習モデルを更新する
    請求項8に記載のプログラム。
  10. 更新した前記学習モデルを顕微授精実施機関に配信する
    請求項9に記載のプログラム。
  11. 顕微鏡を介して撮影された顕微鏡画像を取得し、
    取得した前記顕微鏡画像に候補精子が含まれているか否かを判定し、
    候補精子が含まれていると判定した場合に、前記顕微鏡画像を前記撮影画像に使用する
    請求項1から請求項10のいずれか一つに記載のプログラム。
  12. 前記顕微鏡画像のうち、前記候補精子が含まれている部分を選択して前記撮影画像に使用する
    請求項11に記載のプログラム。
  13. 精子が撮影された撮影画像を受け付けて前記精子に含まれる性染色体に関する予測を出力する性別判定学習モデルに、取得した前記撮影画像を入力し、
    入力された前記撮影画像に基づいて前記性別判定学習モデルから出力された予測を出力する
    請求項1から請求項12のいずれか一つに記載のプログラム。
  14. 卵子提供者および精子提供者の伴性遺伝疾患に関する第1情報を取得し、
    前記伴性遺伝疾患の遺伝形式に関する第2情報を取得し、
    取得した前記第1情報および前記第2情報により得られる伴性遺伝疾患の発症率と、前記性別判定学習モデルから取得した予測とに基づいて、顕微授精により出生する子供が伴性遺伝疾患を発症する確率を出力する
    請求項13に記載のプログラム。
  15. 卵子提供者および精子提供者の伴性遺伝疾患に関する第1情報を取得し、
    前記伴性遺伝疾患の遺伝形式に関する第2情報を取得し、
    取得した前記第1情報および前記第2情報により得られる伴性遺伝疾患の保因率と、前記性別判定学習モデルから取得した予測とに基づいて、顕微授精により出生する子供が伴性遺伝疾患の因子を有する確率を出力する
    請求項13に記載のプログラム。
  16. 精子が撮影された撮影画像が入力される入力層と、
    前記精子を用いて顕微授精を行なった後の各段階における成否に関する予測を出力する出力層と、
    過去に顕微授精に使用された精子が撮影された撮影画像と、前記過去に使用された精子を用いて顕微授精を行なった後の各段階における成否とを関連づけて記録した教師データを用いてパラメータが学習された中間層とを備え、
    顕微授精に使用する候補精子が撮影された撮影画像が前記入力層に入力された場合に、前記中間層による演算を経て前記候補精子を用いて顕微授精を行なった場合の各段階まで正常に成長できる予測成功確率を前記出力層から出力するように
    コンピュータを機能させる学習モデル。
  17. 前記入力層と前記中間層との間に設けられ、撮影画像から画像特徴量を抽出する画像エンコーダを備え、
    前記画像エンコーダにより抽出された画像特徴量を前記中間層に出力する
    請求項16に記載の学習モデル。
  18. 顕微授精に使用する候補精子が撮影された撮影画像を取得する撮影画像取得部と、
    過去に顕微授精に使用された精子が撮影された撮影画像と、前記過去に使用された精子を用いて顕微授精を行なった後の各段階まで正常に成長するか否かとを関連づけて記録した教師データを用いて機械学習させた、精子が撮影された撮影画像を受け付けて前記精子を用いた顕微授精の成否に関する予測を出力する学習モデルに、取得した前記撮影画像を入力する入力部と、
    入力された前記撮影画像に基づいて前記学習モデルから出力された予測を出力する出力部と
    を備える情報処理装置。
  19. 顕微授精に使用する候補精子が撮影された撮影画像を取得し、
    過去に顕微授精に使用された精子が撮影された撮影画像と、前記過去に使用された精子を用いて顕微授精を行なった後の各段階まで正常に成長するか否かとを関連づけて記録した教師データを用いて機械学習させた、精子が撮影された撮影画像を受け付けて前記精子を用いた顕微授精の成否に関する予測を出力する学習モデルに、取得した前記撮影画像を入力し、
    入力された前記撮影画像に基づいて前記学習モデルから出力された予測を出力する
    処理をコンピュータに実行させる情報処理方法。
  20. 顕微授精に使用する候補精子を撮影し、
    撮影した画像をコンピュータに入力し、
    前記コンピュータに、
    過去に顕微授精に使用された精子が撮影された撮影画像と、前記過去に使用された精子を用いて顕微授精を行なった後の各段階まで正常に成長するか否かとを関連づけて記録した教師データを用いて機械学習させた、精子が撮影された撮影画像を受け付けて前記精子を用いた顕微授精の成否に関する予測を出力する学習モデルに、前記画像を入力し、
    入力された前記画像に基づいて前記学習モデルから出力された顕微授精の成否に関する予測に基づく情報を表示する
    処理を実行させる情報表示方法。
  21. 過去に行なわれた複数の顕微授精の症例について、顕微授精に使用された精子が撮影された撮影画像と、前記精子を用いて顕微授精を行なった後の各段階まで正常に成長できるか否かとを関連づけて記録した教師データを取得し、
    前記教師データに含まれる前記撮影画像を説明変数に、前記説明変数に関連づけて記録された顕微授精を行なった後の各段階まで正常に成長できるか否かを目的変数として、顕微授精に使用する候補精子が撮影された撮影画像が入力された場合に、前記候補精子を用いて顕微授精を行なった場合の各段階まで正常に成長できるか否かに関する予測を出力する学習モデルを機械学習により生成する
    処理をコンピュータが実行する学習モデルの製造方法。
JP2020554016A 2018-10-31 2019-10-31 プログラム、学習モデル、情報処理装置、情報処理方法、情報表示方法および学習モデルの製造方法 Active JP7489920B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018206090 2018-10-31
JP2018206090 2018-10-31
PCT/JP2019/042705 WO2020090947A1 (ja) 2018-10-31 2019-10-31 プログラム、学習モデル、情報処理装置、情報処理方法、情報表示方法および学習モデルの製造方法

Publications (2)

Publication Number Publication Date
JPWO2020090947A1 JPWO2020090947A1 (ja) 2021-10-07
JP7489920B2 true JP7489920B2 (ja) 2024-05-24

Family

ID=70462483

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020554016A Active JP7489920B2 (ja) 2018-10-31 2019-10-31 プログラム、学習モデル、情報処理装置、情報処理方法、情報表示方法および学習モデルの製造方法

Country Status (3)

Country Link
JP (1) JP7489920B2 (ja)
CN (1) CN112889088A (ja)
WO (1) WO2020090947A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230061402A1 (en) * 2020-01-16 2023-03-02 Baibys Fertility Ltd Automated spermatozoa candidate identification
US20230242862A1 (en) * 2020-06-22 2023-08-03 Kataoka Corporation Cell treatment device, learning device, and learned model proposal device
US20220012309A1 (en) * 2020-07-10 2022-01-13 Nice Ltd. Systems and methods for applying semi-discrete calculus to meta machine learning
CN112200803B (zh) * 2020-11-04 2023-10-10 成都朴华科技有限公司 精子核蛋白成熟度检测方法及装置
US11481900B2 (en) 2021-03-09 2022-10-25 Thread Robotics Inc. System and method for automated gamete selection
WO2023081446A1 (en) 2021-11-05 2023-05-11 Thread Robotics Inc. System and method for automated cell positioning
WO2024101463A1 (ko) * 2022-11-07 2024-05-16 고큐바테크놀로지 주식회사 남성 난임 자동진단 서버 및 이를 이용한 남성 난임 진단 방법
TWI845274B (zh) * 2023-04-24 2024-06-11 國立臺灣海洋大學 細胞品質預測系統、方法及其異常數據自動偵測方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014507134A (ja) 2011-01-05 2014-03-27 ザ・チャイニーズ・ユニバーシティー・オブ・ホンコン 胎児の性染色体遺伝子型の非侵襲的出生前同定
JP2016509845A (ja) 2013-02-28 2016-04-04 プロジェニー, インコーポレイテッド 画像ベースのヒト胚細胞分類のための装置、方法、およびシステム
CN105809682A (zh) 2016-03-07 2016-07-27 清华大学深圳研究生院 精子分析装置
JP2017507137A (ja) 2014-02-19 2017-03-16 ユニヴァーシティ オブ テネシー リサーチ ファウンデーションUniversity Of Tennessee Research Foundation 性比スキューイング用抗体およびこの抗体の使用方法
WO2020066043A1 (ja) 2018-09-28 2020-04-02 オリンパス株式会社 顕微鏡システム、投影ユニット、及び、画像投影方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2668016A1 (en) * 2006-10-30 2008-05-08 Mt. Sinai Hospital Detection of viable sperm using high frequency ultrasonic imaging
WO2017201540A1 (en) * 2016-05-20 2017-11-23 Techcyte, Inc. Machine learning classification of particles or substances in digital microscopy images

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014507134A (ja) 2011-01-05 2014-03-27 ザ・チャイニーズ・ユニバーシティー・オブ・ホンコン 胎児の性染色体遺伝子型の非侵襲的出生前同定
JP2016509845A (ja) 2013-02-28 2016-04-04 プロジェニー, インコーポレイテッド 画像ベースのヒト胚細胞分類のための装置、方法、およびシステム
JP2017507137A (ja) 2014-02-19 2017-03-16 ユニヴァーシティ オブ テネシー リサーチ ファウンデーションUniversity Of Tennessee Research Foundation 性比スキューイング用抗体およびこの抗体の使用方法
CN105809682A (zh) 2016-03-07 2016-07-27 清华大学深圳研究生院 精子分析装置
WO2020066043A1 (ja) 2018-09-28 2020-04-02 オリンパス株式会社 顕微鏡システム、投影ユニット、及び、画像投影方法

Also Published As

Publication number Publication date
WO2020090947A1 (ja) 2020-05-07
JPWO2020090947A1 (ja) 2021-10-07
CN112889088A (zh) 2021-06-01

Similar Documents

Publication Publication Date Title
JP7489920B2 (ja) プログラム、学習モデル、情報処理装置、情報処理方法、情報表示方法および学習モデルの製造方法
Dimitriadis et al. Artificial intelligence in the embryology laboratory: a review
US20200364869A1 (en) Information processing apparatus, information processing method, and program
US11335000B2 (en) Fertile ovum quality evaluation method, fertile ovum quality evaluation system, program, and information processing apparatus
EA025172B1 (ru) Способ оценки способности достижения одним или более эмбрионами человека стадии бластоцисты
US20230018456A1 (en) Methods and systems for determining optimal decision time related to embryonic implantation
US20220392062A1 (en) Method based on image conditioning and preprocessing for human embryo classification
CN117836820A (zh) 用于人ivf衍生胚胎的结果评价的系统和方法
Zhao et al. Application of convolutional neural network on early human embryo segmentation during in vitro fertilization
Uyar et al. Handling the imbalance problem of IVF implantation prediction
Jiang et al. Artificial intelligence in the in vitro fertilization laboratory: a review of advancements over the last decade
Erlich et al. Pseudo contrastive labeling for predicting IVF embryo developmental potential
US20210241855A1 (en) Methods and test kits for determining male fertility status
Ranjini et al. Machine learning techniques for assisted reproductive technology: A review
WO2023151578A1 (en) Embryo selection process
WO2022259028A1 (en) Methods and systems for embryo classification
US11592436B2 (en) System and method for non-invasive embryo sexing
Uyar et al. 3P: Personalized pregnancy prediction in IVF treatment process
Allahbadia et al. In Contemporary Reproductive Medicine Human Beings are Not Yet Dispensable
Canga et al. Detection of correct pregnancy status in lactating dairy cattle using MARS data mining algorithm
Jhala et al. Predicting embryo viability to improve the success rate of implantation in IVF procedure: an AI-based prospective cohort study
Ramanathan A Comparison Study between Machine Learning and Conventional Methods in Successful Embryo Identification Used in Assisted Reproductive Technologies: A Systematic Review and Meta-analysis
Gökhan et al. Basics of Artificial Intelligence for Assisted Reproductive Technologies
Kim et al. Accurate system for assessment and selection of human embryo after in vitro fertilization
Allahbadia Embryo Transfer is the last Frontier for Deep Machine Learning & Artificial Intelligence in Medically Assisted Reproduction (MAR)

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221028

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231031

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231214

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240213

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240403

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240507

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240514

R150 Certificate of patent or registration of utility model

Ref document number: 7489920

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150