JPWO2020012616A1 - 情報処理装置、情報処理方法、プログラム、及び情報処理システム - Google Patents

情報処理装置、情報処理方法、プログラム、及び情報処理システム Download PDF

Info

Publication number
JPWO2020012616A1
JPWO2020012616A1 JP2020529927A JP2020529927A JPWO2020012616A1 JP WO2020012616 A1 JPWO2020012616 A1 JP WO2020012616A1 JP 2020529927 A JP2020529927 A JP 2020529927A JP 2020529927 A JP2020529927 A JP 2020529927A JP WO2020012616 A1 JPWO2020012616 A1 JP WO2020012616A1
Authority
JP
Japan
Prior art keywords
fertilized egg
analysis
information processing
control unit
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
JP2020529927A
Other languages
English (en)
Inventor
篠田 昌孝
昌孝 篠田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2020012616A1 publication Critical patent/JPWO2020012616A1/ja
Ceased legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • G06T7/0016Biomedical image inspection using an image reference approach involving temporal comparison
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695Preprocessing, e.g. image segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698Matching; Classification
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • CCHEMISTRY; METALLURGY
    • C12BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12MAPPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M41/00Means for regulation, monitoring, measurement or control, e.g. flow regulation
    • C12M41/30Means for regulation, monitoring, measurement or control, e.g. flow regulation of concentration
    • C12M41/36Means for regulation, monitoring, measurement or control, e.g. flow regulation of concentration of biomass, e.g. colony counters or by turbidity measurements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20036Morphological image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

【課題】分裂能を有する細胞が撮像された画像の解析にかかるコストをより低減しながら、分裂能を有する細胞をより適切に取り扱うことを可能とする。【解決手段】分裂能を有する細胞を含む観察対象物が時系列で撮像された複数の画像を解析して、前記細胞の状態を表す特徴量を算出する解析部と、算出された前記特徴量に基づいて前記解析の実施条件を動的に制御する制御部と、を備える、情報処理装置が提供される。【選択図】図4

Description

本開示は、情報処理装置、情報処理方法、プログラム、及び情報処理システムに関する。
従来、細胞のような検体を測定することで得られた検体画像を用いて、検体の状態を評価する技術が知られている。しかし、検体の中には測定に不適当な状態になっているものが存在する場合がある。以下の特許文献1には、検体画像を解析することで、測定に不適当な状態となっている検体を特定し、測定に不適当な状態となっている検体に対しては、今後、検体の測定を実施しないという技術が開示されている。
特開2017−62497号公報
細胞が撮像された画像をコンピュータにより解析するためには、コンピュータが画像を解析するための解析時間に伴って発生する、コンピュータの計算機(GPU(Graphics Processing Unit)・CPU(Central Processing Unit)など)のランニングコストをはじめとする様々なコストがかかる。
上記特許文献1に記載の技術では、測定に不適当な状態になっていると特定された検体については、今後測定されないため、測定時間が短縮される。しかしながら、特許文献1に記載の技術では、測定対象でない検体については、今後一切測定が行われなくなるため、検体画像が得られない検体が生じてしまう。検体によっては、一時的に状態が良くなかったが、以後は状態が向上するというものも存在し得る。このため、特許文献1に記載の技術では、本来評価が行われるべき検体について、評価が行われなくなってしまう可能性がある。
そこで、本開示では、分裂能を有する細胞が撮像された画像の解析にかかるコストをより低減しながら、分裂能を有する細胞をより適切に取り扱うことが可能な、新規かつ改良された情報処理装置、情報処理方法、プログラム及び情報処理システムを提案する。
本開示によれば、分裂能を有する細胞を含む観察対象物が時系列で撮像された複数の画像を解析して、前記細胞の状態を表す特徴量を算出する解析部と、算出された前記特徴量に基づいて前記解析の実施条件を動的に制御する制御部と、を備える、情報処理装置が提供される。
また、本開示によれば、計算機が備えるプロセッサが、分裂能を有する細胞を含む観察対象物が時系列で撮像された複数の画像を解析して、前記細胞の状態を表す特徴量を算出することと、算出された前記特徴量に基づいて前記解析の実施条件を動的に制御することと、を含む情報処理方法が提供される。
また、本開示によれば、コンピュータに、分裂能を有する細胞を含む観察対象物が時系列で撮像された複数の画像を解析して、前記細胞の状態を表す特徴量を算出することと、算出された前記特徴量に基づいて前記解析の実施条件を動的に制御することと、を実行させる、プログラムが提供される。
また、分裂能を有する細胞を含む観察対象物を時系列で撮像することにより、当該観察対象物に関する複数の画像を生成する撮像部を少なくとも備える撮像装置と、前記撮像された複数の画像を解析して、前記細胞の状態を表す特徴量を算出する解析部と、算出された前記特徴量に基づいて前記解析の実施条件を動的に制御する制御部と、を備える情報処理装置と、を有する情報処理システムが提供される。
本開示によれば、情報処理装置が備える制御部は、分裂能を有する細胞の特徴量に基づいて画像解析の実施条件を動的に制御することが可能である。また、情報処理装置が備える解析部は、制御部に制御される解析の実施条件に基づき、分裂能を有する細胞が撮像された画像の解析を実施することが可能である。
また、本開示によれば、制御部は、ある着目した分裂能を有する細胞について、画像解析の対象から外し得る。しかし、画像解析の対象から外れた細胞であっても、当該細胞についての撮像は継続される。このため、一度画像解析の対象から外れた細胞であっても、制御部の制御に応じて、解析部は当該細胞を画像解析対象に戻すことが可能になる。
以上説明したように本開示によれば、分裂能を有する細胞が撮像された画像の解析にかかるコストをより低減しながら、分裂能を有する細胞をより適切に取り扱うことが可能となる。
本開示の一実施形態に係る情報処理システムの構成の概略を示す図である。 複数の受精卵が培養されている培地の一例である。 本開示の一実施形態に係る情報処理装置の機能構成例を示す機能ブロック図である。 本開示の一実施形態に係る情報処理装置が実施する処理の一例を示すフローチャートである。 認識解析処理の流れについて説明するためのフローチャートである。 動き解析処理の流れについて説明するためのフローチャートである。 形態解析処理の流れについて説明するためのフローチャートである。 数値解析処理の流れについて説明するためのフローチャートである。 画像解析の実施状況を示す情報が表示された表示装置の画面の一例である。 品質の良い受精卵の面積と培養時間の関係の一例を示すグラフである。 第1の具体例の情報処理装置が、品質の悪い受精卵について、受精卵の面積を算出した結果の一例を示すグラフである。 品質の良い受精卵の受精卵全体の動き量と培養時間の関係の一例を示すグラフである。 第2の具体例の情報処理装置が、品質の悪い受精卵について、受精卵全体の動き量を算出した結果の一例を示すグラフである。 品質の良い受精卵の発育段階と培養時間の関係の一例を示すグラフである。 第3の具体例の情報処理装置が、品質の悪い受精卵について、発育段階を算出した結果の一例を示すグラフである。 第4の具体例の情報処理装置が、受精卵の特徴量についての算出を段階的に停止することを説明するためのグラフである。 第5の具体例の情報処理装置が、受精卵についての画像解析に用いられる解析手法を段階的に停止することを説明するためのグラフである。 第6の具体例の情報処理装置が品質の悪い受精卵について、所定の培養時間間隔で画像解析を断続させることを説明するためのグラフである。 第7の具体例の情報処理装置が品質の悪い受精卵について、時間の経過とともに画像解析を実施しない時間を長くするように画像解析を断続することを説明するためのグラフである。 本開示の一実施形態の情報処理装置により、画像解析するためのコストが低減されることを説明するためのグラフである。 本開示の一実施形態の情報処理装置のハードウェア構成例を示すブロック図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
1.情報処理システムの概要
2.情報処理装置
2.1.構成例
2.2.処理例
2.3.効果
3.ハードウェア構成例
4.まとめ
<<1.情報処理システムの概要>>
図1は、本開示の一実施形態に係る情報処理システム1の構成の概略を示す図である。図1に示すように、情報処理システム1は、撮像装置10、情報処理装置20、及び表示装置30を備える。撮像装置10、情報処理装置20、及び表示装置30は、互いに有線又は無線の各種ネットワークにより接続される。また、情報処理装置20は、インターネット回線に接続され、その情報処理及び解析処理をクラウドで実施することが可能である。また、撮像装置10、情報処理装置20、及び表示装置30は、所定の接続端子を介して、互いに直接接続されていてもよい。
なお、本開示の一実施形態の情報処理システム1において、撮像対象となる細胞は、分裂能を有する細胞であれば特に限定されるものではなく、公知の各種の細胞を撮像対象とすることができる。このような分裂能を有る細胞として、例えば、各種の生物の受精卵、がん細胞、ES細胞、又はiPS細胞などを挙げることができる。以下では、分裂能を有する細胞の具体例として生物の受精卵を取り上げ、説明を行う。
なお、本明細書において、「受精卵」とは、単一の細胞と、複数の細胞の集合体とを少なくとも概念的に含む。ここで、単一の細胞または複数の細胞の集合体は、卵母細胞(oocyte)、卵子(eggまたはovum)、受精卵(fertile ovumまたはzygote)、未分化胚芽細胞(blastocyst)、胚(embryo)を含む受精卵の成長過程の一または複数のステージで観察される細胞に関連するものである。
(撮像装置)
撮像装置10は、被写体を時系列で撮像することで、被写体に関する画像を生成する装置である。撮像装置10は、少なくともCCD(Charge Coupled Device)又はCMOS(Complementary Metal Oxide Semiconductor)センサ等の公知の各種の撮像素子を有する。撮像装置10は、これらの撮像素子に加えて、被写体像を撮像素子に結像させるレンズ、及び被写体に照明光を照射するための光源等といった各種の部材を有してもよい。
図1に示すように、本開示の一実施形態に係る撮像装置10は、例えば、培養用のインキュベータI1の内側において、観察対象物である受精卵が培養されている培地M1を有するディッシュD1の上方に設けられる。そして、撮像装置10は、培地M1において培養されている受精卵を所定の時間間隔で撮像することにより、受精卵を撮像することで得られた受精卵に関する撮像画像である受精卵画像を生成する。撮像される受精卵画像の枚数や撮像間隔、撮像時間、又はピント位置等は任意に設定されてもよい。例えば培養期間が8日間である場合、撮像間隔を20分とすると、1つの受精卵について、全部で約600枚の受精卵画像が撮像される。
図2は、複数の受精卵が培養されている培地M1の一例を模式的に示したものである。培地M1には、複数のウェルW1が設けられている。各々のウェルW1には、一つの受精卵E1が培養されている。なお、図2では、培地M1内に7×6=42個のウェルW1がマトリクス状に配置されている場合を図示しているが、培地M1内におけるウェルW1の個数及び配置状態は、特に限定されるものではない。
撮像装置10は、複数の受精卵が培養されている培地M1を時系列で撮像することで、複数の受精卵画像を生成する。撮像装置10が一回の撮像で生成する受精卵画像中には、培地M1で培養される全ての受精卵が含まれていてもよいし、一部の受精卵が含まれていてもよい。例えば、撮像装置10は、大量の受精卵を1回で撮像できるように撮像視野を調整し、1回又は複数回の撮像により、培地M1に含まれるすべての受精卵を撮像してもよい。図2に示した例の場合、撮像装置10は、例えば一回当たり6個の受精卵を撮像できるように撮像視野を調整することで、培地M1に含まれるすべての受精卵を7回の撮像処理で撮像することができる。撮像装置10は、上記のようにして受精卵に関する受精卵画像を生成すると、生成した受精卵画像を情報処理装置20に出力する。
(情報処理装置)
情報処理装置20は、撮像装置10が時系列で撮像した受精卵画像を解析し、解析した結果に基づき、次回以降実施される画像解析の実施条件を動的に制御する装置である。また、情報処理装置20は、画像解析の結果得られる受精卵の特徴量である受精卵特徴量に基づき受精卵の状態を判定する機能をさらに有していることが好ましい。さらに、情報処理装置20は、撮像装置10が撮像した受精卵画像の解析結果や受精卵の状態に関する判定結果などを表示装置30に表示して、ユーザーに提示することが可能である。情報処理装置20は、PC(Personal Computer)や、インターネットに接続されたクラウト上での大規模コンピュータ等の画像解析を実施する機能を有する装置で構成される。
情報処理装置20は、撮像された受精卵画像を撮像装置10から取得する。情報処理装置20は、取得した複数の受精卵画像の各々を解析することで、かかる複数の受精卵画像の各々から、受精卵の状態を表す情報である受精卵特徴量を算出する。また、情報処理装置20は、画像解析の結果得られる受精卵特徴量に基づき、受精卵の状態を判定することが好ましい。撮像装置10が撮像した受精卵画像や情報処理装置20による画像解析の結果や受精卵の状態の判定結果等は、表示装置30に送信されて、ユーザーに提示される。
(表示装置)
表示装置30は、撮像装置10が撮像した受精卵画像や情報処理装置20が画像解析した結果等を表示する装置である。表示装置30は、液晶ディスプレイ等の画像表示装置で構成される。表示装置30は、情報処理装置20による画像解析の実施状況を示す各種の情報を表示してもよい。
以上、本開示の一実施形態に係る情報処理システム1の概要について説明した。本開示の一実施形態に係る情報処理システム1に含まれる情報処理装置20は、以下の実施形態において実現される。以下、情報処理装置20の具体的な構成例および処理例について説明する。
<<2.情報処理装置>>
以下、本開示の一実施形態に係る情報処理装置20について説明する。
<2.1.構成例>
図3は、本開示の一実施形態に係る情報処理装置20の機能構成例を示す機能ブロック図である。図3に示すように、情報処理装置20は、解析部200、判定部210、制御部220、及び記憶部230を備える。解析部200、判定部210、及び制御部220の機能は、例えば、情報処理装置20が備えるCPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)等を有する処理回路により実現される。また、記憶部230の機能は、情報処理装置20が備えるRAMやストレージ等の記憶装置により実現される。なお、これら解析部200、判定部210、制御部220、又は記憶部230は、インターネットに接続されたクラウド上の大規模コンピュータ上に配置されていてもよい。以下、各機能部が有する機能について説明する。
(解析部)
解析部200は、撮像装置10が時系列で撮像した受精卵画像を解析して、受精卵の状態を表す受精卵特徴量を算出する機能を有する。なお、解析部200は、後述する解析制御部221が決定した画像解析の実施条件に基づいて、画像解析を実施する。
解析部200が画像解析した結果は、判定部210及び制御部220に伝達される。また、解析部200が画像解析した結果は、記憶部230に記録されてもよい。さらに、解析部200が画像解析した結果は、記憶部230を介して判定部210及び制御部220に伝達されてもよい。
解析部200は、ID付与部201と、受精卵画像の解析を実施する機能部としての認識解析部202、動き解析部203、形態解析部204、及び数値解析部205と、を含む。解析部200に含まれる各機能部は、受精卵画像に含まれる受精卵の各々について、識別番号の付与又は受精卵特徴量の算出等の各種画像解析処理を実施する。解析部200に含まれる各機能部による処理により生成された情報は、解析部200に含まれる各機能部の相互で共有されてもよい。解析部200に含まれる各機能部が有する機能については後述する。
(判定部)
判定部210は、解析部200が受精卵画像を解析することで算出された受精卵特徴量に基づいて、受精卵の状態を判定する機能を有する。
判定部210は、受精卵特徴量と、例えば受精卵特徴量のそれぞれに対して設定された所定の閾値と、を比較することにより、又は、受精卵特徴量と、受精卵特徴量の時間的な変化量を比較することにより、総合的に受精卵の状態を判定してもよい。また、判定部210は、それぞれの受精卵特徴量の経時的な変化に基づいて、総合的に受精卵の状態を判定してもよい。
また、判定部210は、予め構築された分類器により、受精卵の状態を判定してもよい。分類器は、分類器に入力される受精卵に関する情報である入力データに基づいて、受精卵の状態を分類し、分類された結果を出力データとして出力する機能を有する。例えば、分類器は、受精卵特徴量を入力データとして、当該入力データに基づいて受精卵の発育状態や品質を分類し、分類の結果を出力データと出力してもよい。判定部210は、予め構築された分類器に解析部200により算出された受精卵特徴量を入力し、当該分類器の出力データを受精卵の状態として判定し得る。また、分類器は、受精卵特徴量を入力データとし、受精卵の状態を出力データとする所定の機械学習アルゴリズムにより作成された学習済みモデルとして予め構築され得る。機械学習アルゴリズムのうち、教師あり学習法における、教師(胚培養士)による分類器に入力される受精卵に関する情報である入力データとしては、受精卵の発育段階(例えば、1細胞、2細胞、3細胞、4細胞、8細胞、桑実胚、初期胚盤胞、胚盤胞、拡張胚盤胞、脱出胚盤胞、脱出拡張胚盤胞、う化などの各発育段階)や、品質状態、例えば、割球数、割球の対称性、形状、面積、正常卵割、異常卵割(リバースクリアベージ、ダイレクトクリアベージ)、フラグメンテーションの有無、フラグメンテーションの数、フラグメンテーションの割合、栄養外胚葉(TE:trophectoderm)の厚さ、割合、密集度、内細胞塊(ICM:Inner Cell Mass)の有無、大きさ、割合、密集度、透明帯の厚さ、真円度、直径、Veeck分類、Gardner分類など)や、第1卵割時間、第2卵割時間、コンパクション時間、ハッチング時間や、前核の数、極体の数、死細胞の有無、死細胞の数、死細胞の割合などである。なお、教師(胚培養士)による分類器に入力される受精卵に関する情報である入力データは、撮影された時系列の受精卵の画像や、その画像を画像処理した受精卵の画像などに対して、入力データが付与されるものである。所定の機械学習アルゴリズムには、例えば、RNN(Recurrent Neural Network:再帰型ニューラルネットワーク)、CNN(Convolutional Neural Network:畳み込みニューラルネットワーク)等のニューラルネットワークを用いた各種公知のDNN(Deep Neural Network:深層ニューラルネットワーク)が用いられてもよい。さらに、その他の機械学習アルゴリズムとして、教師あり学習法、教師なし学習法、半教師あり学習法、又は強化学習法等を実行する任意の各種の機械学習アルゴリズムが用いられてもよい。
判定部210によって判定される受精卵の状態には、例えば、受精卵の発育状態や、品質の良し悪しや受精卵の生死等の状態が含まれる。判定部210により判定された受精卵の状態に関する結果は、制御部220に伝達される。また、判定部210により判定された受精卵の状態に関する結果は、記憶部230に記録されてもよい。さらに、判定部210により判定された受精卵の状態に関する結果は、記憶部230を介して制御部220に伝達されてもよい。
(制御部)
制御部220は、情報処理装置20が実施する各種の処理を制御する機能を有する。例えば、制御部220は、画像解析の実施条件、外部装置との通信、及び画像解析の実施状況を示す情報の表示を制御する。これらの制御は、それぞれ、制御部220が備える解析制御部221、表示制御部222、及び通信制御部223の各機能部により実施される。制御部220に含まれる各機能部の処理により生成される情報は、解析部200へ伝達される。また、これらの生成された情報は、記憶部に230に記録され、記憶部230を介して解析部200へ伝達されてもよい。また、制御部220に含まれる各機能部の処理により生成される情報は、制御部220に含まれる各機能部の相互で共有されてもよい。制御部220に含まれる各機能部の有する機能については後述する。
(記憶部)
記憶部230は、情報処理装置20に送信された情報及び情報処理装置20で生成された情報を記録する機能を有する。より具体的には、記憶部230は撮像装置10が撮像した受精卵画像を取得して記憶し得る。また、記憶部230は、解析部200が算出した受精卵特徴量、判定部210が判定した結果、又は制御部220が制御する内容を表す情報等の各種の画像解析に関する情報を記憶してもよい。記憶部230は、解析部200、判定部210、及び制御部220の各種機能部からの要求に応じて情報を出力する。
また、記憶部230は、受精卵情報データベース231を含む。受精卵情報データベース231には、解析部200により算出された受精卵特徴量等の各種の受精卵に関する情報が記録されている。また、この記憶部230には、本開示の情報処理システム1の使用者の受精卵の評価結果などが記録されていてもよい。
以上、本開示の一実施形態の情報処理装置20が有する解析部200、判定部210、制御部220、及び記憶部230についての概要を説明した。次に、解析部200及び制御部220のそれぞれが備える各機能部が有する機能について説明する。
まず、解析部200が備える各機能部について説明する。
(ID付与部)
ID付与部201は、撮像装置10から情報処理装置20へ送信された受精卵画像に含まれる受精卵の各々に対して、固有の識別番号を付与する機能を有する。識別番号は、付与された受精卵についての受精卵特徴量等の各種情報に対応付けられる。これにより、着目する受精卵特徴量等の各種情報が、識別番号で紐づけられて一纏めに管理可能となり、情報管理の利便性が向上する。
(認識解析部)
認識解析部202は、受精卵が撮像された複数の受精卵画像の各々を解析して、受精卵画像内における受精卵に関する領域を認識することにより、当該複数の受精卵画像の各々から受精卵の外形、形状、直径、面積、又は位置などに関する情報である認識特徴量を算出する機能を有する。認識解析部202が受精卵画像を解析し、受精卵に関する特定領域を認識して当該受精卵の認識特徴量を算出することを、以下では認識解析という。
認識解析部202は、受精卵画像を解析して、受精卵画像に含まれる受精卵の特定領域を認識する。認識解析部202は、画像認識ディープラーニング技術や画像解析技術により、受精卵、受精卵の内部細胞塊、又は受精卵の透明体等の各種の受精卵に関する特定領域を認識することができる。例えば、認識解析部202は、受精卵が含まれる受精卵画像から、受精卵の領域を認識し、受精卵画像の背景画像を輝度に依らず受精卵の形状や直径、面積などを認識することができる。より具体的には、認識解析部202は、受精卵画像に含まれる情報から受精卵等の輪郭等の特徴を抽出し、予め用意した対象の特徴とマッチングするパターンマッチング技術を用いてこれらの受精卵に関する領域を認識し得る。また、認識解析部202は、深層ニューラルネットワークを用いた機械学習等の公知の各種のアルゴリズムによる画像解析手法により、これらの受精卵に関する領域を認識してもよい。
さらに、認識解析部202は、認識された各種の受精卵の領域に基づいて、各種の認識特徴量を算出する。
認識特徴量には、例えば、受精卵の面積、受精卵の直径、受精卵の真円度、受精卵の楕円率、受精卵の重心位置、受精卵の中心位置、受精卵の内部細胞塊の面積、受精卵の内部細胞塊の直径、受精卵の内部細胞塊の真円度、受精卵の内部細胞塊の楕円率、受精卵の内部細胞塊の重心位置、受精卵の内部細胞塊の中心位置、受精卵の透明帯の面積、受精卵の透明帯の直径、受精卵の透明帯の真円度、受精卵の透明帯の楕円率、受精卵の透明帯の重心位置、受精卵の透明帯の中心位置、受精卵の前核の数、受精卵の前核の面積、受精卵の極体の数、受精卵の極体の面積、受精卵のフラグメンテーションの数、又は受精卵のフラグメンテーションの面積等が含まれる。
(動き解析部)
動き解析部203は、受精卵が時系列で撮像された複数の受精卵画像を解析して、当該複数の受精卵画像の各々から受精卵の動きに関する情報である動き特徴量を算出する機能を有する。動き解析部203が受精卵画像を解析して動き特徴量を算出することを、以下では動き解析という。
動き特徴量には、例えば、受精卵全体の動き量、受精卵全体の動き方向、受精卵内部の割球の動き量、受精卵内部の割球の動き量、受精卵内部の胚盤胞の細胞内細胞塊(ICM:Inner Cell Mass)の動き量、又は受精卵内部の胚盤胞の細胞内細胞塊の動き方向等が含まれる。ここで、動き量とは、単位時間(単位フレーム)あたりの動きの大きさを意味する。また、動き方向とは、単位時間(単位フレーム)あたりの動きの向きを意味する。これらの動き量及び動き方向は、例えば、特定された動きベクトルの大きさ及び方向に相当するものであってもよい。
動きベクトルは、例えば、ブロックマッチング法により特定され得る。ブロックマッチング法とは、画像を例えばN×N画素からなる複数のブロックに分割し、関心領域内のブロックと最も近似しているブロックを前後フレームから探し、その差分に基づいて動きベクトルを算出する方法である。
各種の動き特徴量は、動きベクトルに基づいて算出され得る。より具体的には、動き解析部203は、受精卵の領域において特定された複数の動きベクトルの平均値を動き特徴量として算出してもよい。例えば、動き解析部203は、受精卵全体の動き量を、受精卵全体の領域において特定された複数の動きベクトルの大きさの平均値として算出し得る。
なお、上記の動きベクトルは、上述したブロックマッチング法に限られず、各種の公知のアルゴリズムにより特定されてもよい。
(形態解析部)
形態解析部204は、受精卵が撮像された複数の受精卵画像の各々を解析して、当該複数の受精卵画像の各々から受精卵の形態に関する特徴を表す情報である形態特徴量を算出する機能を有する。形態解析部204が受精卵画像を解析し、形態特徴量を算出することを、以下では形態解析という。
形態解析部204は、ディープラーニングを用いた機械学習等の公知のアルゴリズムによる任意の画像解析手法を用いて形態特徴量を算出してもよい。形態解析部204は、各種の公知の画像解析技術により、受精卵の形態特徴量を算出することができる。例えば、形態解析部204は、胚培養士による受精卵の所見評価の教師データを基にした、教師あり学習法を実行するアルゴリズムにより、形態特徴量を算出してもよい。胚培養士による所見評価には、受精卵の発育段階及び品質状態が含まれてもよい。また、形態解析部204は、受精卵画像から受精卵の輪郭等の特徴を抽出し、予め用意した対象の特徴とマッチングする、パターンマッチング技術を用いることもできる。
形態特徴量には、例えば、受精卵の発育の段階を表す発育状態又は受精卵の品質を表す品質状態がある。受精卵の発育状態には、1細胞・2細胞・4細胞・8細胞等の初期受精卵、桑実胚、初期胚盤胞、胚盤胞、拡張胚盤胞等の状態が含まれる。また、受精卵の品質状態には、受精卵の割球数、フラグメント数、極体数、前核数、脂質顆粒数、Veeck分類、Gardner分類、受精卵のダイレクトクリベージの有無、受精卵のリバースクリベージの有無等が含まれる。
ここで、上記のダイレクトクリベージとは、受精卵が、例えば、1細胞から3細胞、あるいは2細胞から6細胞などの非等倍分割を行う異常卵割の一種である。また、上記のリバースクリベージとは、受精卵が、例えば3細胞から2細胞、あるいは8細胞から6細胞のように、卵割段階を遡る異常卵割の一種である。
(数値解析部)
数値解析部205は、受精卵が撮像された複数の受精卵画像の各々を解析して、当該複数の受精卵画像の各々から受精卵の状態を表す数値である数値特徴量を算出する機能を有する。数値解析部205が受精卵画像を解析し、認識特徴量を算出することを、以下では数値解析という。
数値特徴量には、例えば、受精卵の面積の収縮量、受精卵の面積の収縮率、受精卵の面積の収縮速度、受精卵の面積の収縮時間、受精卵の累積移動量、受精卵の全面積の収縮回数、受精卵の内部細胞の面積の収縮量、受精卵の内部細胞の面積の収縮率、受精卵の内部細胞の面積の収縮速度、受精卵の内部細胞の面積の収縮時間、受精卵の内部細胞の面積の収縮回数、卵割時間、異常卵割、又はコンパクション時間等が含まれる。これらの数値特徴量については、数値解析部205が、認識解析部202、動き解析部203、及び形態解析部204が算出した形態特徴量、動き特徴量、及び認識特徴量に基づいて算出してもよい。
以上、解析部200が備える各機能部について説明した。次に、制御部220が備える各機能部が有する機能について説明する。
(解析制御部)
解析制御部221は、解析部200により算出された受精卵特徴量に基づいて解析部200による画像解析の実施条件を動的に制御する機能を有する。解析制御部221は、受精卵特徴量の経時的な変化に基づいて画像解析の実施条件を動的に制御してもよい。さらに、解析制御部221は、判定部210が判定した受精卵の発育や品質に基づいて解析部200による画像解析の実施条件を決定してもよい。
例えば、解析制御部221は、ある着目している受精卵の受精卵特徴量に基づいて、当該受精卵について、次回以降の解析部200による画像解析を継続、停止、断続又は再開等をすることを決定し得る。ここで、画像解析を継続するとは、以後、画像解析を途切れることなく各フレームについて実施することを意味する。また、画像解析を停止するとは、以後、画像解析を実施しないことを意味する。なお、画像解析を停止された受精卵であっても、解析制御部221により画像解析が再開等されることにより、画像解析が実施され得る。また、画像解析を断続するとは、画像解析を実施しない所定の時間間隔を時折設けて、画像解析を実施することを意味する。なお、当該所定の時間間隔は時間に依らず一定の時間間隔であってもよいし、時間の経過とともに長くなってもよい。さらに、画像解析を再開することは、画像解析を停止されている受精卵について、画像解析を再度実施することを意味する。
解析制御部221は、解析制御部221が決定した画像解析の実施条件を解析部200に伝達する。解析部200は、解析制御部221が決定した画像解析の実施条件に応じて画像解析を実施する。このようにして、解析制御部221は、解析部200によって実施される次回以降の画像解析の実施条件を制御する。また、このような解析制御部221による制御は、所定の時間(フレーム)毎に実施されるため、画像解析の実施条件は動的に制御される。このように各種コストの要する処理である画像解析の条件が適切に制御されることで、画像解析に要するコストが低減される。
解析制御部221は、ある着目している受精卵について、複数の受精卵特徴量のうちの一部についての解析部200による算出を継続、停止、断続又は再開等の各種実施条件を決定してもよい。また、解析制御部221は、ある着目している受精卵について、時間の経過とともに解析部200により算出される受精卵特徴量の数を低減することを決定してもよい。これにより、解析部200は、当該受精卵について、時間の経過とともに、算出する受精卵特徴量の数を減らす。解析部200により受精卵特徴量を算出するためには、解析部200を構成するコンピュータによる計算等のコストがかかる。一般的には、当該コンピュータによる計算等のコストは、算出される受精卵特徴量の数が多いほど高くなる。つまり、解析部200により算出される受精卵特徴量の数が少ないほど、画像解析にかかるコストは低い。従って、時間の経過とともに解析部200により算出される受精卵特徴量が減ることにより、画像解析にかかるコストは段々と低くなっていく。
解析制御部221は、ある注目している受精卵について、画像解析をするための手法の一部を継続、停止、断続又は再開等の各種画像解析の実施条件を決定してもよい。また、解析制御部221は、ある注目している受精卵について、時間の経過とともに画像解析に用いられる解析手法の数を低減するようにしてもよい。なお、ここでいう解析手法には、認識解析、動き解析、形態解析、及び数値解析が含まれる。
また、解析制御部221は、ある注目している受精卵について、算出される受精卵特徴量の数が低減された後に、画像解析に用いられる解析手法の数を低減することを決定してもよい。例えば、解析制御部221は、ある注目している受精卵について、解析手法の1つである動き解析により算出される動き特徴量の数を低減する。次に、解析制御部221は、当該受精卵について、算出される動き特徴量の数が所定の数を下回ったときに、動き解析を停止又は断続等することを決定し得る。
なお、解析制御部221は、ある注目している受精卵について、所定の受精卵特徴量の算出が停止された場合に、画像解析に用いられる解析手法の数を低減することを決定してもよい。
また、解析制御部221は、一度決定した画像解析の実施条件を、受精卵特徴量に基づいて、フレーム毎に変更することも可能である。例えば、解析制御部221が、ある注目している受精卵について、複数の受精卵特徴量の一部の算出を停止することを決定している場合、算出が継続されている受精卵特徴量に基づいて、算出を停止されていた受精卵特徴量の算出を再開することを決定することができる。これにより、算出を停止されていた受精卵特徴量が解析部200により算出されるようになる。
解析制御部221が決定した画像解析の実施条件は、記憶部230に記録されてもよい。記憶部230に記録された画像解析の実施条件は、解析部200の要求に応じて記憶部230から解析部200へ出力され得る。
(表示制御部)
表示制御部222は、情報処理装置20が取得した情報の表示装置30への表示を制御する機能を有する。例えば、表示制御部222は、解析部200が算出した受精卵特徴量又は解析制御部221が決定した画像解析の実施条件を示す情報等の各種画像解析に関する情報を表示装置30へ表示するように、後述の通信制御部223を制御する。
(通信制御部)
通信制御部223は、情報処理装置20から各種の外部装置への通信を制御する機能を有する。通信制御部223が外部装置と無線又は有線により通信する機能を有する通信装置(図2に図示しない)を制御することにより、情報処理装置20から各種の外部装置への通信が実施される。当該通信装置は、情報処理装置20に含まれてもよい。また、通信制御部223は、通信回線、例えばインターネット接続により外部のクラウドなどの大規模コンピュータに接続されていても良い。
例えば、通信制御部223は、撮像装置10と通信するように通信装置を制御する。より具体的には、通信制御部223は、撮像装置10が撮像した受精卵画像を取得するように通信装置を制御する。また、通信制御部223は、表示装置30と通信するように通信装置を制御する。例えば、通信制御部223は、表示制御部222の制御により、表示装置30に解析部200が算出した受精卵特徴量又は解析制御部221が決定した画像解析の実施条件を示す情報等の各種画像解析に関する情報を送信するように通信装置を制御する。これにより、各種画像解析に関する情報が通信装置から表示装置30に送信され、表示装置に各種画像解析に関する情報が表示される。
<2.2.処理例>
以上、本開示の一実施形態に係る情報処理装置20の構成及び機能について説明した。次に、本開示の一実施形態に係る情報処理装置20による処理の一例について、図4〜図8を用いて説明する。
図4は、本開示の一実施形態に係る情報処理装置20が実施する処理の一例を示すフローチャートである。図4に示すフローチャートは、情報処理装置20が、受精卵画像を撮像装置10から取得し、受精卵画像から受精卵特徴量を算出し、算出した受精卵特徴量に基づいて次回以降の画像解析の実施条件を決定し、画像解析の実施状況を示す情報を表示装置30に送信するまでの処理の流れを示す一例である。
まず、記憶部230は、受精卵が撮像された複数の受精卵画像を撮像装置10から取得する(ステップS401)。取得された受精卵画像は、記憶部230に記録され、さらに解析部200に伝達される。
次に、ID付与部201は、取得された受精卵画像に含まれる受精卵の各々に対して固有の識別番号を付与する(ステップS403)。
次に、認識解析部202、動き解析部203、形態解析部204、又は数値解析部205が、取得された受精卵画像の各々について、それぞれ認識解析処理、動き解析処理、形態解析処理、又は数値解析処理を並列的に実施する(ステップS405、S407、S409、又はS411)。これらの解析処理は、受精卵画像に含まれる受精卵毎に実施される。すなわち、撮像された受精卵の数がN個である場合、これらの解析処理はN回ずつ実施される。これらの認識解析処理、動き解析処理、形態解析処理、及び数値解析処理の詳細については後述する。
次に、判定部210が、認識解析処理、動き解析処理、形態解析処理、又は数値解析処理により算出された受精卵特徴量に基づいて、各々の受精卵の発育や品質の良し悪しを判定する(ステップS413)。
解析制御部221は、判定部210が判定した受精卵の発育や品質に基づいて、解析部200による画像解析の実施条件を決定する(ステップS415)。例えば、解析制御部221は、判定部210により品質が良いことが判定された受精卵について、解析部200による画像解析を継続することを決定し得る。また、解析制御部221は、判定部210により品質が悪いことを判定された受精卵について、画像解析を停止又は断続することを決定してもよい。
解析制御部221が決定した解析部200による画像解析の実施条件は、解析部200に伝達される。なお、解析制御部221が決定した解析部200による画像解析の実施条件は、記憶部230に記録されてもよい。
次に、表示制御部222は、画像解析により算出された受精卵特徴量や画像解析の実施状況を示す情報等の各種画像解析に関する情報が表示装置30に表示されるように、通信制御部223を制御する(ステップS417)。表示装置30には、各種画像解析に関する情報が表示される。
次に、解析制御部221は、解析部200による画像解析を終了するか否かを判定する(ステップS419)。解析制御部221は、例えば、所定の期間が経過し、受精卵の培養が終了するときに、画像解析を終了することを判定してもよい。解析制御部221が画像解析を終了することを判定する場合(ステップS419:YES)、図4の制御フローは終了する。解析制御部221が画像解析を終了しないことを判定する場合(ステップS419:NO)、ステップS401に戻る。以下、解析制御部221がステップS419において画像解析を終了することを判定するまで、ステップS401〜ステップS419の処理が繰り返し実施される。
以上、本開示の一実施形態の情報処理装置20が実施する処理の概要にについて説明した。以下では、ここで説明した処理の一部である認識解析処理(ステップS405)、動き解析処理(ステップS407)、形態解析処理(ステップS409)、及び数値解析処理(ステップS411)についてより詳細に説明する。
[認識解析処理]
まず、ステップS405において実施される認識解析処理について説明する。図5は認識解析処理の流れについて説明するためのフローチャートである。
まず、認識解析部202は、解析制御部221が決定した画像解析の実施条件に基づいて、認識解析が必要であるか否かを判定する(ステップS501)。例えば、解析制御部221が認識解析を継続することを決定している受精卵については、認識解析部202は認識解析が必要であることを判定し得る。一方、解析制御部221が認識解析を停止することを決定している受精卵については、認識解析部202は認識解析が必要でないことを判定し得る。認識解析が必要であることが判定された場合(ステップS501:YES)、ステップS503に進む。一方、認識解析が必要でないことが判定された場合(ステップS501:NO)、認識解析処理は終了する。
次に、認識解析部202は、解析制御部221が決定した画像解析の実施条件に基づいて、受精卵画像に含まれる受精卵の認識解析を実施する(ステップS503)。例えば、認識解析部202は、認識特徴量の一部を算出することが決定されている受精卵については、当該一部の認識特徴量を算出する。あるいは、認識解析部202は、認識特徴量を算出せずに受精卵全体の領域の認識のみを実施することを決定されている受精卵については、当該受精卵全体の領域の認識のみを実施する。
次に、認識解析部202は、認識解析部202が算出した認識特徴量を出力する(ステップS505)。出力された認識特徴量は、判定部210及び制御部220へ伝達される。また、出力された認識特徴量は、記憶部230に記憶されてもよい。
以上、認識解析処理について説明した。次に、動き解析処理について説明する。
[動き解析処理]
まず、ステップS407において実施される動き解析処理について説明する。図6は動き解析処理の流れについて説明するためのフローチャートである。
まず、動き解析部203は、解析制御部221が決定した画像解析の実施条件に基づいて、動き解析が必要であるか否かを判定する(ステップS601)。例えば、解析制御部221が動き解析を継続することを決定している受精卵については、動き解析部203は動き解析が必要であることを判定し得る。一方、解析制御部221が動き解析を停止することを決定している受精卵については、動き解析部203は動き解析が必要でないことを判定し得る。動き解析が必要であることが判定された場合(ステップS601:YES)、ステップS603に進む。一方、動き解析が必要でないことが判定された場合(ステップS601:NO)、動き解析処理は終了する。
次に、動き解析部203は、解析制御部221が決定した画像解析の実施条件に基づいて、受精卵画像に含まれる受精卵の動き解析を実施する(ステップS603)。例えば、動き特徴量の一部を算出することが決定されている受精卵については、動き解析部203は、当該一部の動き特徴量を算出する。
次に、動き解析部203は、動き解析部203が算出した動き特徴量を出力する(ステップS605)。出力された動き特徴量は、判定部210又は制御部220へ伝達される。出力された動き特徴量は、記憶部230に記憶されてもよい。
以上、動き解析処理について説明した。次に、形態解析処理について説明する。
[形態解析処理]
まず、ステップS409において実施される形態解析処理について説明する。図7は形態解析処理の流れについて説明するためのフローチャートである。
まず、形態解析部204は、解析制御部221が決定した画像解析の実施条件に基づいて、形態解析が必要であるか否かを判定する(ステップS701)。例えば、解析制御部221が形態解析を継続することを決定している受精卵については、形態解析部204は形態解析が必要であることを判定し得る。一方、解析制御部221が形態解析を停止することを決定している受精卵については、形態解析部204は形態解析が必要でないことを判定し得る。形態解析が必要であることが判定された場合(ステップS701:YES)、ステップS703に進む。一方、形態解析が必要でないことが判定された場合(ステップS701:NO)、形態解析処理は終了する。
次に、形態解析部204は、解析制御部221が決定した画像解析の実施条件に基づいて、受精卵画像に含まれる受精卵の形態解析を実施する(ステップS703)。例えば、形態特徴量の一部を算出することが決定されている受精卵については、形態解析部204は、当該一部の形態特徴量を算出する。
次に、形態解析部204は、算出した形態特徴量を出力する(ステップS705)。出力された形態特徴量は、判定部210又は制御部220へ伝達される。また、出力された形態特徴量は、記憶部230に記憶されてもよい。
以上、形態解析処理について説明した。次に、数値解析処理について説明する。
[数値解析処理]
まず、ステップS411において実施される数値解析処理について説明する。図8は数値解析処理の流れについて説明するためのフローチャートである。
まず、数値解析部205は、解析制御部221が決定した画像解析の実施条件に基づいて、数値解析が必要であるか否かを判定する(ステップS801)。例えば、解析制御部221が数値解析を継続することを決定している受精卵については、数値解析部205は数値解析が必要であることを判定し得る。一方、解析制御部221が数値解析を停止することを決定している受精卵については、数値解析部205は数値解析が必要でないことを判定し得る。数値解析が必要であることが判定された場合(ステップS801:YES)、ステップS803に進む。一方、数値解析が必要でないことが判定された場合(ステップS801:NO)、数値解析処理は終了する。
次に、数値解析部205は、解析制御部221が決定した画像解析の実施条件に基づいて、受精卵画像に含まれる受精卵の数値解析を実施する(ステップS803)。例えば、数値特徴量の一部を算出することが決定されている受精卵については、数値解析部205は、当該一部の数値特徴量を算出する。
次に、数値解析部205は、数値解析部205が算出した数値特徴量を出力する(ステップS805)。出力された数値特徴量は、判定部210又は制御部220へ伝達される。また、出力された数値特徴量は、記憶部230に記憶されてもよい。
以上、数値解析処理について説明した。
以上、ステップS405〜S411において実施される各解析処理について説明した。次に、ステップS417における解析状況の表示処理において、画像解析の実施状況を示す情報が表示装置30に表示される例について説明する。
[解析状況の表示]
図9は、画像解析の実施状況を示す情報が表示された表示装置30の画面の一例である。表示装置30には、画面302が表示されている。画面302には、受精卵の画像解析の実施状況を示す表示部304が含まれている。図9に示すように、表示部304はA行〜H行、1列〜9列に仕切られた区画に分割されている。それぞれの区画は、図2の培地M1におけるウェルW1に対応する。また、それぞれのウェルW1には、1つの受精卵が対応している。従って、それぞれの区画には、それぞれ1つの受精卵が対応している。なお、受精卵の画像解析の実施状況を示す情報の表示方法は図9の例に限られない。
例えば、D行8列の区画306には、画像解析が実施されている受精卵308が表示されている。一方、本開示の一実施形態では、表示装置30には、画像解析が実施されていない受精卵は表示されない。例えば、G行8列の区画310に対応する受精卵の画像解析が停止している場合について説明する。本開示の一実施形態では、画像解析が実施されない受精卵に対応する区画は、例えば灰色で塗りつぶされる。ここでは、品質の悪い受精卵については、画像解析がされない。従って、胚培養士等のユーザーが画面302に表示されている表示部304を参照し、表示部304の灰色に塗りつぶされている受精卵を確認することで、品質の悪い受精卵を見分けることができる。あるいは、品質の悪い受精卵を確認する時間が短縮される。
ここでは、画像解析が停止されている受精卵に対応する区画を灰色で塗りつぶす例を示した。他には、画像解析が断続されている受精卵に対応する区画が点滅するようにしてもよい。また、受精卵特徴量の一部について算出が停止又は断続されている場合には、算出が停止されている受精卵特徴量に対応するマークが表示部304に表示されてもよい。さらに、画像解析に用いられる解析手法の一部が停止又は断続されている場合には、停止又は断続されている解析手法に対応するマークが表示部304に表示されてもよい。
以上、本開示の一実施形態の情報処理装置20が実施する画像解析の実施状況の表示方法について説明した。
以上、本開示の一実施形態の情報処理装置20が実施する処理の概要について説明した。
なお、本明細書の情報処理装置20の処理における各ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、情報処理装置20の処理における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。例えば、本開示の一実施形態では、認識解析処理(ステップS405)、動き解析処理(ステップS407)、形態解析処理(ステップS407)、及び数値解析処理(ステップS409)は並列的に処理されたが、これらの解析処理が全て直列的に実施されてもよいし、これらの解析処理の一部が直列的に実施されてもよい。また、本開示の一実施形態では、判定部210による受精卵の発育や品質の判定(ステップS413)及び解析制御部221による画像解析の実施条件の決定(ステップS415)が直列的に実施されたが、これらの処理は並列的に実施されてもよい。
以上、本開示の一実施形態の情報処理装置20の構成例及び処理例について説明した。
以上のように、本開示の一実施形態の情報処理装置20は、分裂能を有する細胞を含む観察対象物が時系列で撮像された複数の画像を解析して前記細胞の状態を表す特徴量を算出する解析部200と、算出された特徴量に基づいて前記解析の実施条件を動的に制御する制御部220を備える。なお、「分裂能を有する細胞を含む観察対象物」とは、例えば、培地M1に設けられたウェルに収容される受精卵であってよい。また、「解析の実施条件を動的に制御する」とは、例えば図4に示した制御フローが繰り返し実施される度に、解析制御部221が解析部200による画像解析の実施条件を決定することであってよい。これにより、解析制御部221は、解析部200による画像解析の実施条件を動的に制御することができる。以下、具体例を用いて詳細に説明する。
以下、より具体的に情報処理装置20が実施する処理について、第1〜第7の具体例を用いて説明する。特に、ステップS413において判定部210が受精卵の発育や品質を判定する方法と、ステップS415において解析制御部221が決定する画像解析の実施条件の内容について具体的に説明する。
<2.2.1.第1の具体例>
第1の具体例では、ステップS413において、判定部210が、認識特徴量の一つである受精卵の面積に基づいて受精卵の発育や品質を判定する。より具体的には、判定部210は、受精卵の面積の経時的な変化が小さい受精卵について、品質が悪いことを判定する。また、第1の具体例では、ステップS415において、解析制御部221が、受精卵の発育や品質が悪いことを判定された受精卵について、解析部200の各機能部による画像解析を停止することを決定する。以下、図4のフローチャートを用いて第1の具体例の情報処理装置20が実施する処理を説明する。
まず、記憶部230が、受精卵が時系列で撮像された複数の受精卵画像を撮像装置10から取得する(ステップS401)。記憶部230が取得した受精卵画像は解析部200に伝達される。
次に、ID付与部201は、受精卵画像に含まれる受精卵の各々に対して固有の識別番号を付与する(ステップS403)。
次に、認識解析処理(ステップS405)、動き解析処理(ステップS407)、形態解析処理(ステップS409)、及び数値解析処理(処理ステップS411)が並列的に実施される。これらの解析処理が実施されることにより、受精卵画像に含まれる各々の受精卵の認識特徴量、動き特徴量、形態特徴量、及び数値特徴量が解析部200により算出される。
次に、判定部210が、認識解析部202により算出された認識特徴量の一つである受精卵の面積に基づいて、受精卵の各々の発育や品質を判定する(ステップS413)。
ここで、発育や品質の良い受精卵と品質の悪い受精卵の面積の経時的な変化の違いを説明する。図10Aは、品質の良い受精卵の面積と培養時間の関係の一例を示すグラフである。図10Aに示すように、品質の良い受精卵の面積は、培養時間の経過とともに変動する。例えば、培養時間T101の受精卵が胚盤胞以降のように、受精卵の面積が大きく増加する。
図10Bは、第1の具体例の情報処理装置20が、品質の悪い受精卵について、受精卵の面積を算出した結果の一例を示すグラフである。なお、培養時間T103より後においてプロットされていないのは、培養時間T103より後では解析部200による画像解析が停止され、認識特徴量の一つである受精卵の面積の算出が停止されていることを示している。品質の悪い受精卵では、受精卵の面積に経時的な変化が小さくなる場合がある。例えば図10Bの例では、培養時間T102から培養時間T103では、受精卵の面積の経時的な変化が小さい。
第1の具体例では、判定部210は、受精卵の面積の経時的な変化が小さい受精卵について、発育や品質が悪いことを判定する。図10Bに示す例では、培養時間T102から培養時間T103において受精卵の面積の経時的な変化が小さい。このような面積の経時変化を示す受精卵について、判定部210は、培養時間T103において発育や品質が悪いことを判定する。このとき、判定部210は、当該品質が悪いことを判定された受精卵の情報を制御部220に伝達する。さらに、判定部210は、品質が悪いことを判定された受精卵の情報を記憶部230に記録する。
次に、解析制御部221は、判定部210が判定した受精卵の発育や品質に基づいて、解析部200による画像解析の実施条件を決定する(ステップS415)。ここでは、上記のようにして培養時間T103に品質が悪いことを判定された受精卵である第1の受精卵に着目して説明する。第1の具体例では、解析制御部221は、発育や品質が悪いことを判定された受精卵について、解析部200の各機能部による画像解析を停止することを決定する。なお、解析制御部221は、品質が悪いことを判定されなかった受精卵について、解析部200の各機能部による画像解析を継続することを決定し得る。ここで、判定部210は、第1の受精卵について、培養時間T103において発育や品質が悪いことを判定している。このため、解析制御部221は、第1の受精卵について、解析部200の各機能部による画像解析を停止することを決定する。これにより、図10Bに示すように、培養時間T103より後において、第1の受精卵についての受精卵の面積の算出が停止される。
次に、表示制御部222は、画像解析の実施状況を示す情報を表示装置30に送信するように制御する(ステップS417)。これにより、表示装置30に画像解析の実施状況を示す情報が表示される。
なお、第1の具体例では、表示装置30には、第1の受精卵の画像解析が停止されている情報が表示される。例えば、表示装置30には、図9で示した例のように、第1の受精卵に対応する区画が灰色に表示され得る。これにより、胚培養士等のユーザーは、第1の受精卵が発育や品質の悪い受精卵であることを知ることができる。
次に、解析制御部221は、受精卵の画像解析を終了するか否かについて判定する(ステップS419)。解析制御部221が受精卵の画像解析することを終了することを判定した場合(S419:YES)、制御フローは終了する。解析制御部221が受精卵の画像解析を終了しないことを判定した場合(S419:NO)、再度、制御フローのステップS401〜ステップS419の処理が繰り返し実施される。
以上、第1の具体例の情報処理装置20が実施する処理について説明した。第1の具体例では、発育や品質が悪いことを判定された受精卵について、解析部200の各機能部による画像解析が停止された。このため、第1の具体例では、発育や品質が悪いことが判定される受精卵について解析部200の各機能部により画像解析が実施される場合よりも、解析部200による画像解析のためのコストが低減される。すなわち、情報処理装置20による画像解析のコストが低減される。また、第1の具体例では、発育や品質が悪いことを判定された受精卵についても、撮像装置10は引き続き受精卵画像を生成する。このため、品質が悪いことが判定された後に、当該発育や品質が悪いことが判定された受精卵の品質が良くなるような場合には、解析部200は当該受精卵について画像解析を再開することが可能である。
<2.2.2.第2の具体例>
次に、第2の具体例の情報処理装置20が実施する処理について説明する。第2の具体例では、ステップS413において、判定部210は、動き特徴量の一つである受精卵全体の動き量に基づいて受精卵の品質を判定する。より具体的には、判定部210は、受精卵の受精卵全体の動き量が所定時間の間小さい受精卵について、品質が悪いことを判定する。また、第2の具体例では、ステップS415において、解析制御部221は、品質が悪いことを判定された受精卵について、解析部200の各機能部による画像解析を停止することを決定する。以下、図4のフローチャートを用いて第2の具体例の情報処理装置20が実施する処理を説明する。
ステップS401〜ステップS411の処理は、第1の具体例と同様に実施される。
次に、判定部210が、動き解析部203により算出された動き特徴量の一つである受精卵全体の動き量に基づいて、受精卵の各々の品質を判定する(ステップS413)。
ここで、品質の良い受精卵及び品質の悪い受精卵の受精卵全体の動き量の経時的な変化の違いを説明する。図11Aは、品質の良い受精卵の受精卵全体の動き量と培養時間の関係の一例を示すグラフである。図11Aに示すように、品質の良い受精卵の受精卵全体の動き量は培養時間によらず変動している。
図11Bは、第2の具体例の情報処理装置20が、品質の悪い受精卵について、受精卵全体の動き量を算出した結果の一例を示すグラフである。培養時間T112より後でプロットされていないのは、培養時間T112より後では解析部200による画像解析が停止され、動き特徴量の一つである受精卵全体の動き量の算出が停止されていることを示している。品質の悪い受精卵では、受精卵全体の動き量の所定時間の間小さくなる場合がある。例えば、図11Bの例では、培養時間T111から培養時間T112において、受精卵全体の動き量が小さく、受精卵全体の動き量が小さくなっている。
第2の具体例では、判定部210は、受精卵全体の動き量が所定時間の間小さい場合には、当該受精卵の品質が悪いことを判定する。図11Bに示す例では、培養時間T111から培養時間T112において受精卵全体の動き量が小さい。このような受精卵全体の動き量の経時変化を示す受精卵について、判定部210は、培養時間T112において品質が悪いことを判定する。このとき、判定部210は、品質が悪いことを判定された受精卵の情報を制御部220に伝達する。さらに、判定部210は、品質が悪いことを判定された受精卵の情報を記憶部230に記録する。
次に、解析制御部221は、判定部210が判定した受精卵の品質に基づいて、解析部200による画像解析の実施条件を決定する(ステップS415)。ここでは、上記のようにして培養時間T112において品質が悪いことを判定された受精卵である第2の受精卵に着目して説明する。第2の具体例では、解析制御部221は、品質が悪いことを判定された受精卵について、解析部200の各機能部による画像解析を停止することを決定する。なお、解析制御部221は、品質が悪いことを判定されなかった受精卵について、解析部200の各機能部による画像解析を継続することを決定し得る。ここで、判定部210は、第2の受精卵について、培養時間T112において品質が悪いことを判定している。このため、解析制御部221は、第2の受精卵について、解析部200の各機能部による画像解析を停止することを決定する。これにより、図11Bに示すように、培養時間T112より後において、第2の受精卵についての受精卵全体の動き量の算出が停止される。
次に、ステップS417において、第1の具体例と同様の処理が実施される。なお、第2の具体例では、表示装置30には、第2の受精卵の解析部200の各機能部による画像解析が停止されている情報が表示されてもよい。例えば、表示装置30には、図9で示した例のように、第1の受精卵に対応する区画が灰色に表示され得る。これにより、胚培養士等のユーザーは、第2の受精卵が品質の悪い受精卵であることを知ることができる。
次に、ステップS419において、第1の具体例と同様の処理が実施される。
以上、第2の具体例の情報処理装置20が実施する処理について説明した。第2の具体例では、品質が悪いことを判定された受精卵について、解析部200の各機能部による画像解析が停止された。このため、第2の具体例では、品質が悪いことが判定される受精卵について解析部200による画像解析が実施される場合よりも、画像解析のためのコストが低減される。すなわち、情報処理装置20による画像解析のコストが低減される。また、第2の具体例では、品質が悪いことを判定された受精卵についても、撮像装置10は引き続き受精卵画像を生成する。このため、品質が悪いことが判定された後において当該品質が悪いことを判定された受精卵の品質が良くなるような場合には、解析部200は当該受精卵について画像解析を再開することが可能である。
<2.2.3.第3の具体例>
次に、第3の具体例の情報処理装置20が実施する処理について説明する。第3の具体例では、ステップS413において、判定部210が、形態特徴量の一つである発育段階に基づいて受精卵の品質を判定する。より具体的には、判定部210は、所定時間の間、発育段階に変化がない受精卵について、その受精卵の品質が悪いことを判定する。また、第3の具体例では、ステップS415において、解析制御部221が、品質が悪いことを判定された受精卵について、解析部200の各機能部による画像解析を停止することを決定する。以下、図4のフローチャートを用いて第3の具体例の情報処理装置20が実施する処理を説明する。
ステップS401〜ステップS411の処理は、第1の具体例と同様に実施される。
次に、判定部210は、形態解析部204により算出された認識特徴量の一つである受精卵の発育段階に基づいて、受精卵の品質を判定する(ステップS413)。
ここで、品質の良い受精卵と品質の悪い受精卵の発育段階の経時的な変化の違いを説明する。図12Aは、品質の良い受精卵の発育段階と培養時間の関係の一例を示すグラフである。図12Aに示すように、品質の良い受精卵の発育段階は、培養時間の経過とともに、1細胞から、2細胞、4細胞、桑実胚、胚盤胞、拡張胚盤胞へと変化する。
図12Bは、第3の具体例の情報処理装置20が、品質の悪い受精卵について、発育段階を算出した結果の一例を示すグラフである。培養時間T122より後でプロットされていないのは、培養時間T122より後では解析部200による画像解析が停止され、形態特徴量の一つである発育段階の算出が停止されていることを示している。品質の悪い受精卵では、所定時間の間、発育段階が変化しない場合がある。例えば図12Bの例では、培養時間T121から培養時間T122において、発育段階が2細胞のままである。
第3の具体例では、判定部210は、所定時間の間に受精卵の発育段階の変化がない受精卵について、品質が悪いことを判定する。図12Bに示す例では、培養時間T121から培養時間T122において受精卵の発育段階の変化がない。このような発育段階の経時変化を示す受精卵について、判定部210は、培養時間T122において品質が悪いことを判定する。このとき、判定部210は、品質が悪いことを判定された受精卵の情報を制御部220に伝達する。さらに、判定部210は、品質が悪いことを判定された受精卵の情報を記憶部230に記録する。
次に、解析制御部221は、判定部210が判定した受精卵の品質に基づいて、解析部200による画像解析の実施条件を決定する(ステップS415)。ここでは、上記のようにして培養時間T122において品質が悪いことを判定された受精卵である第3の受精卵に着目して説明する。第3の具体例では、解析制御部221は、受精卵の品質が悪いことを判定された受精卵について、解析部200の各機能部による画像解析を停止することを決定する。なお、解析制御部221は、品質が悪いことを判定されなかった受精卵について、解析部200の各機能部による画像解析を継続することを決定し得る。ここで、判定部210は、第3の受精卵について、培養時間T122において品質が悪いことを判定している。このため、解析制御部221は、第3の受精卵について、解析部200の各機能部による画像解析を停止することを決定する。これにより、図12Bに示すように、培養時間T122より後において、第3の受精卵についての画像解析が停止される。
次に、ステップS417において、第1の具体例と同様の処理が実施される。なお、第3の具体例では、表示装置30には、第3の受精卵の画像解析が停止されている情報が表示されてもよい。例えば、表示装置30には、図9で示した例のように、第3の受精卵に対応する区画が灰色に表示される。これにより、胚培養士等のユーザーは、第3の受精卵が品質の悪い受精卵であることを知ることができる。
次に、ステップS419において、第1の具体例と同様の処理が実施される。
以上、第3の具体例の情報処理装置20が実施する処理について説明した。第3の具体例では、品質が悪いことを判定された受精卵について、解析部200の各機能部による画像解析が停止された。このため、第3の具体例では、品質が悪いことが判定される受精卵について解析部200による画像解析が実施される場合よりも、画像解析のコストが低減される。すなわち、情報処理装置20による画像解析のコストが低減される。また、第3の具体例では、品質が悪いことを判定された受精卵についても、撮像装置10は引き続き受精卵画像を生成する。このため、品質が悪いことが判定された後において当該品質が悪いことを判定された受精卵の品質が良くなるような場合には、解析部200はその受精卵について画像解析を再開することが可能である。
<2.2.4.第4の具体例>
第4の具体例では、解析部200は、各々の受精卵の受精卵特徴量A、受精卵特徴量B、受精卵特徴量C及び受精卵特徴量Dの4つの受精卵特徴量を算出する。これらの受精卵特徴量は、認識特徴量、動き特徴量、形態特徴量、又は数値特徴量のいずれでもよいし、これらの組み合わせであってもよい。また、第4の具体例では、ステップS415において、解析制御部221が、品質が悪いことを判定された受精卵について、これらの受精卵特徴量の算出を段階的に停止することを決定する。以下、図4のフローチャートを用いて第4の具体例の情報処理装置20が実施する処理を説明する。
ステップS401〜ステップS411の処理は、第1の具体例と同様に実施される。
次に、判定部210が、算出された受精卵特徴量に基づいて、受精卵の品質を判定する(ステップS413)。第4の具体例において、判定部210が受精卵の品質を判定するために用いられる受精卵特徴量は、受精卵特徴量A、受精卵特徴量B、受精卵特徴量C、又は受精卵特徴量Dの少なくともいずれかを含む。第4の具体例では、判定部210は、培養時間T131において第4の受精卵の品質が悪いことを判定する。
次に、解析制御部221が、判定部210が判定した受精卵の品質に基づいて、解析部200が実施する画像解析の実施条件を決定する(ステップS415)。ここでは、判定部210により培養時間T131において品質が悪いことが判定された第4の受精卵に着目して説明する。第4の具体例では、解析制御部221は第4の受精卵について、まず、培養時間T131より後において、解析部200による受精卵特徴量Aの算出を停止することを決定する。さらに、解析制御部221は第4の受精卵について、培養時間T131から更に時間が経過した培養時間T132以降において、受精卵特徴量Aに加えて受精卵特徴量B及び受精卵特徴量Cの算出を停止することを決定する。このように、第4の具体例では、解析制御部221は、解析部200による受精卵の受精卵特徴量の算出を段階的に停止することを決定する。
図13は、第4の具体例の情報処理装置20が、受精卵の受精卵特徴量についての算出を段階的に停止することを説明するためのグラフである。図13において、各受精卵特徴量A、受精卵特徴量B、受精卵特徴量C、及び受精卵特徴量Dについて培養時間に対してプロットされている間は、解析部200により各受精卵特徴量が算出されていることを示す。第4の具体例では、解析制御部221は、受精卵の受精卵特徴量の算出を段階的に停止することを決定する。これにより、解析部200が実施する受精卵特徴量の算出が段階的に停止される。具体的には、培養時間T131以降の第4の受精卵について、解析部200は受精卵特徴量Aを算出しない。さらに、培養時間T132以降の第4の受精卵について、解析部200は受精卵特徴量Aに加えて受精卵特徴量B及び受精卵特徴量Cを算出しない。なお、受精卵特徴量Dは、培養時間T132以降の第4の受精卵についても引き続き算出される。このように、第4の具体例では、解析部200による受精卵の複数の受精卵特徴量の算出が段階的に停止される。
次に、ステップS417において、第1の具体例と同様の処理により、表示装置30に、画像解析の実施状況を示す情報が表示される。なお、第4の具体例では、表示制御部222は、培養時間T131以降において、第4の受精卵について解析部200により特徴量Aが算出されない情報を表示装置30に表示するように通信制御部223を制御してもよい。また、表示制御部222は、培養時間T132以降において、第4の受精卵について受精卵特徴量Aに加えて受精卵特徴量B及び受精卵特徴量Cが算出されない情報を表示装置30に表示するように通信制御部223を制御してもよい。
次に、ステップS419が第1の具体例と同様に処理される。
以上、第4の具体例の情報処理装置20が実施する処理フローを説明した。以上のように、品質が悪いことを判定された受精卵について、受精卵特徴量の算出が段階的に停止されることにより、受精卵の画像解析にかかるコストが段階的に低減される。従って、培養時間の経過とともに、画像解析にかかるコストが低減する。また、解析制御部221は、算出が継続されている受精卵特徴量の経時変化によっては、算出を停止された受精卵特徴量について、算出を再開することを決定することができる。これにより、一度算出を停止された受精卵特徴量についての算出が再開されるようになる。
<2.3.5.第5の具体例>
第5の具体例では、ステップS415において、解析制御部221が、品質が悪いことを判定された受精卵について、受精卵特徴量の算出に用いられる解析手法の数を段階的に減少させることを決定する。以下、図4のフローチャートを用いて第5の具体例の情報処理装置20が実施する処理を説明する。
ステップS401〜ステップS411は、第1の具体例と同様に処理される。
次に、判定部210は、解析部200により算出された特徴量に基づいて、受精卵の品質を判定する(ステップS413)。第5の具体例では、受精卵の品質を判定するために用いられる特徴量は、認識特徴量、動き特徴量、形態特徴量、又は数値特徴量のいずれでもよいし、これらの組み合わせであってもよい。第5の実施形態では、判定部210は、培養時間T141において第5の受精卵の品質が悪いことを判定する。
次に、解析制御部221は、判定部210の判定結果に基づいて、解析部200が実施する画像解析の実施条件を決定する(ステップS415)。ここでは、培養時間T141に品質が悪いことを判定された受精卵である第5の受精卵に着目して説明する。第5の具体例では、解析制御部221は、品質が悪いことを判定された受精卵について、画像解析に用いられる解析手法の数を段階的に減少させることを決定する。ここで、判定部210は第5の受精卵について、培養時間T141において品質が悪いことを判定している。このため、解析制御部221は、この判定結果に基づいて、第5の受精卵の受精卵特徴量の算出に用いられる解析手法の数を段階的に減少させることを決定する。
まず、解析制御部221は、第5の受精卵について、画像解析の解析手法の一つである動き解析を停止することを決定する。さらに、解析制御部221は、培養時間T141から更に時間が経過した培養時間T142以降の第5の受精卵について、画像解析に用いられる解析手法の一つである形態解析を停止することを決定する。このように、第5の具体例では、解析制御部221は、品質が悪いことを判定された受精卵について、画像解析に用いられる解析手法を段階的に停止することを決定する。
なお、各種の解析手法が停止される順番は予め決定されてもよい。また、受精卵特徴量の経時変化に応じて、各種の解析手法が停止される順番が決定されてもよい。
図14は、第5の具体例の情報処理装置20が、受精卵についての画像解析に用いられる解析手法を段階的に停止することを説明するためのグラフである。図14に示すように、第5の具体例では、品質が悪いことを判定された受精卵についての画像解析に用いられる解析手法が段階的に停止される。第5の具体例では、解析部200は、培養時間T141以降の第5の受精卵について動き解析を停止する。さらに、解析部200は、培養時間T142以降の第5の受精卵について、動き解析に加えて形態解析を停止する。このように、第5の具体例では、受精卵についての画像解析に用いられる解析手法が段階的に低減される。
次に、ステップS417において、第1の具体例と同様の処理が実施されることにより、表示装置30に、画像解析の実施状況を示す情報が表示される。なお、第5の具体例では、表示制御部222は、培養時間T141以降において、第5の受精卵について動き解析が実施されていない情報が表示装置30に表示されるように通信制御部223を制御してもよい。また、表示制御部222は、培養時間T142以降の第5の受精卵について、動き解析に加えて形態解析が実施されていない情報が表示装置30に表示されるように通信制御部223を制御してもよい。
次に、ステップS419が、第1の具体例と同様に処理される。
以上、第5の具体例の情報処理装置20が実施する処理フローを説明した。上記のように、品質が悪いことを判定された受精卵について、画像解析に用いられる解析手法が段階的に停止されることにより、受精卵の画像解析にかかるコストが段階的に低減される。従って、培養時間の経過とともに、画像解析にかかるコストが減少する。また、解析制御部221は、停止されていない解析手法により算出される受精卵特徴量の経時変化によっては、停止された解析手法を再開することを決定することができる。これにより、一度停止された解析手法が再開され得る。
なお、解析制御部221は、具体例1のように受精卵の認識特徴量の一つである受精卵の面積の経時的な変化が小さく、品質が悪いことを判定された受精卵について、画像解析を停止する代わりに、具体例5のように画像解析に用いられる解析手法の数を段階的に低減してもよい。また、解析制御部221は、具体例2のように受精卵の動き特徴量の一つである受精卵全体の動き量が所定時間の間小さく、品質が悪いことを判定された受精卵について、画像解析を停止する代わりに、具体例5のように画像解析に用いられる解析手法の数を段階的に低減してもよい。さらに、解析制御部221は、具体例3のように形態特徴量の一つである発育段階に変化がなく、品質が悪いことを判定された受精卵について、画像解析を停止する代わりに、具体例5のように画像解析に用いられる解析手法の数を段階的に低減してもよい。あるいは、解析制御部221は、具体例1〜3のように品質が悪いことを判定された受精卵について、画像解析に用いられる解析手法の数を段階的に低減した後に、画像解析を停止してもよい。
また、解析制御部221は、品質が悪いことを判定された受精卵について、具体例4のように算出される受精卵特徴量の数を段階的に低減させた後に、画像解析に用いられる解析手法の数を段階的に低減してもよい。あるいは、解析制御部221は、品質が悪いことを判定された受精卵について、画像解析に用いられる解析手法の数を段階的に低減した後に(又は同時に)、具体例4のように算出される受精卵特徴量の数を段階的に低減させてもよい。
<2.2.6.第6の具体例>
第6の具体例では、ステップS415において、解析制御部221が、品質が悪いことを判定された受精卵について、解析部200による画像解析を実施しない期間が経過時間に依らず一定となるように断続するように制御する。つまり、解析制御部221が、品質が悪いことを判定された受精卵について、解析部200により画像解析が実施されない期間を所定の培養時間間隔として、画像解析を断続するように制御する。以下、図4のフローチャートを用いて第6の具体例の情報処理装置20が実施する処理を説明する。
ステップS401〜S411の処理は、第1の具体例と同様の処理が実施される。
次に、判定部210が、解析部200により解析された特徴量に基づいて、受精卵の品質を判定する(ステップS413)。第6の具体例では、受精卵の品質を判定するために用いられる特徴量は、認識特徴量、動き特徴量、形態特徴量、又は数値特徴量のいずれであってもよいし、これらの組み合わせであってもよい。第6の実施形態では、判定部210は、培養時間T151において、第6の受精卵について品質が悪いことを判定する。
次に、解析制御部221は、判定部210の判定結果に基づいて、解析部200による画像解析の実施条件を決定する(ステップS415)。ここでは、判定部210により培養時間T151において品質が悪いことを判定された受精卵である第6の受精卵に着目して説明する。第6の具体例では、解析制御部221は、品質が悪いことを判定された受精卵について、画像解析を所定の培養時間間隔Δtで断続することを決定する。第6の具体例では、判定部210が培養時間T151の第6の受精卵の品質が悪いことを判定しているため、解析制御部221は培養時間T151以降の第6の受精卵についての画像解析を所定の培養時間間隔Δtで断続することを決定する。なお、培養時間間隔Δtは培養時間に依らず一定の時間間隔である。なお、画像解析が実施される培養時間間隔も培養時間に依らず一定の時間間隔であってよい。
図15は、第6の具体例の情報処理装置20が品質の悪い受精卵について、所定の培養時間間隔Δtで画像解析を断続させることを説明するためのグラフである。図15のグラフの縦軸には、画像解析が断続される受精卵特徴量の一例として、受精卵の面積が示されている。図15に示すように、判定部210が第6の受精卵の品質が悪いことを判定した培養時間T151以降において、認識解析部202による第6の受精卵の面積の算出が培養時間間隔Δtで断続されている。
次に、ステップS417において、第1の具体例と同様の処理が実施されることにより、表示装置30に画像解析の実施状況を示す情報が表示される。なお、表示制御部222は、培養時間T151以降における第6の受精卵について画像解析が断続されている情報を表示装置30に表示するように通信制御部223を制御してもよい。
次に、ステップS419において、第1の具体例と同様の処理が実施される。
以上、第6の具体例の情報処理装置20が実施する処理フローを説明した。このように、受精卵についての画像解析が所定の培養時間間隔Δtで断続されることにより、受精卵の画像解析にかかるコストが低減される。また、画像解析が断続されている間にも、画像解析が実施されている時間が存在する。このため、解析制御部221は、当該画像解析が実施されている間に算出された受精卵特徴量に基づいて、画像解析を途切れなく実施するように解析部200を制御できる。従って、一度画像解析を断続された受精卵についても、再度画像解析が途切れなく実施されるようになり得る。
なお、解析制御部221は、品質が悪いことを判定された受精卵について、算出される受精卵特徴量の一部についての算出を所定の培養時間間隔で断続してもよい。さらに、解析制御部221は、品質が悪いことを判定された受精卵について、画像解析に用いられる解析手法の一部を所定の培養時間間隔で断続してもよい。
なお、解析制御部221は、具体例1のように受精卵の認識特徴量の一つである受精卵の面積の経時的な変化が小さく、品質が悪いことを判定された受精卵について、画像解析を停止する代わりに、具体例6のように画像解析を所定の培養時間間隔で断続してもよい。また、解析制御部221は、具体例2のように受精卵の動き特徴量の一つである受精卵全体の動き量が所定時間の間小さく、品質が悪いことを判定された受精卵について、画像解析を停止する代わりに、具体例6のように画像解析を所定の培養時間間隔で断続してもよい。さらに、解析制御部221は、具体例3のように形態特徴量の一つである発育段階に変化がなく、品質が悪いことを判定された受精卵について、画像解析を停止する代わりに、具体例6のように画像解析を所定の培養時間間隔で断続してもよい。あるいは、解析制御部221は、具体例1〜3のように品質が悪いことを判定された受精卵について、画像解析を所定の培養時間間隔で断続した後に、画像解析を停止してもよい。
また、解析制御部221は、品質が悪いことを判定された受精卵について、具体例4のように算出される受精卵特徴量の数を段階的に低減させた後に、画像解析を所定の培養時間間隔で断続してもよい。あるいは、解析制御部221は、品質が悪いことを判定された受精卵について、画像解析を所定の培養時間間隔で断続した後に(又は同時に)、具体例4のように算出される受精卵特徴量の数を段階的に低減させてもよい。
さらに、解析制御部221は、品質が悪いことを判定された受精卵について、画像解析を所定の培養時間間隔で断続した後に、具体例5のように画像解析に用いられる解析手法の数を減少させてもよい。あるいは、解析制御部221は、具体例5のように画像解析に用いられる解析手法の数を減少させた後(又は同時)に、画像解析を所定の培養時間間隔で断続してもよい。
<2.2.7.第7の具体例>
第7の具体例では、ステップS415において、解析制御部221が、品質が悪いことを判定された受精卵について、培養時間の経過とともに画像解析しない時間が長くなるように画像解析を断続することを決定する。以下、図4のフローチャートを用いて第7の具体例の情報処理装置20が実施する処理を説明する。
まず、ステップS401〜ステップS411において、第1の具体例と同様の処理が実施される。
次に、判定部210は、解析部200により算出された特徴量に基づいて、受精卵の品質を判定する(ステップS413)。第7の具体例では、受精卵の品質を判定するために用いられる受精卵特徴量は、認識特徴量、動き特徴量、形態特徴量、又は数値特徴量のいずれであってもよいし、これらの組み合わせであってもよい。第7の具体例では、判定部210は、培養時間T161における第7の受精卵の品質が悪いことを判定する。
次に、解析制御部221は、判定部210による判定結果に基づいて、解析部200による画像解析の実施条件を決定する(ステップS415)。ここでは、培養時間T161において品質が悪いことが判定された第7の受精卵に着目して説明する。第7の具体例では、解析制御部221は、品質が悪いことを判定された受精卵について、培養時間の経過とともに画像解析しない時間が長くなるように画像解析を断続することを決定する。第7の具体例では、判定部210は、培養時間T161における第7の受精卵の品質が悪いことを判定しているため、解析制御部221は第7の受精卵について、培養時間の経過とともに画像解析しない時間が長くなるように画像解析を断続することを決定する。
図16は、第7の具体例の情報処理装置20が品質の悪い受精卵について、時間の経過とともに画像解析を実施しない時間を長くするように画像解析を断続することを説明するためのグラフである。
図16に示すように、培養時間T161以降において、認識解析部202による第7の受精卵の面積の算出が断続されている。図16に示すように、受精卵の面積の算出が停止される培養時間間隔Δt、Δt、及びΔtは、培養時間の経過とともに長くなる。このように、第7の具体例では、培養時間の経過とともに解析部200が画像解析を実施しない時間間隔が長くなるように、画像解析が断続される。
次に、ステップS417において、第1の具体例と同様の処理が実施されることにより、表示装置30に画像解析の実施状況を示す情報が表示される。なお、表示制御部222は、培養時間T161以降における第7の受精卵について画像解析が断続されている情報を表示装置30に表示するように通信制御部223を制御してもよい。
次に、ステップS419において、第1の具体例と同様に処理が実施される。
以上のように、第7の具体例では、培養時間の経過とともに、受精卵の画像解析を実施されない時間間隔が長くなるように、画像解析が断続される。これにより、情報処理装置20が画像解析するためのコストが低減される。第7の具体例では、画像解析が実施されない時間が培養時間の経過とともに長くなるため、画像解析のためのコストが培養時間の経過とともに減少する。また、画像解析が断続されている間にも、画像解析が実施されている時間が存在する。このため、解析制御部221は、当該画像解析が実施されている間に算出された受精卵特徴量に基づいて、画像解析を途切れなく実施するように解析部200を制御できる。従って、一度画像解析を断続された受精卵についても、再度画像解析が途切れなく実施されるようになり得る。
なお、解析制御部221は、品質が悪いことを判定された受精卵について、算出される受精卵特徴量の一部についての算出を、培養時間の経過とともに算出されない期間が長くなるように断続してもよい。さらに、解析制御部221は、品質が悪いことを判定された受精卵について、画像解析に用いられる解析手法の一部を、培養時間の経過とともに実施
されない期間が長くなるように断続してもよい。
なお、解析制御部221は、具体例1のように受精卵の認識特徴量の一つである受精卵の面積の経時的な変化が小さく、品質が悪いことを判定された受精卵について、画像解析を停止する代わりに、具体例7のように培養時間の経過とともに画像解析を実施しない期間が長くなるように断続してもよい。また、解析制御部221は、具体例2のように受精卵の動き特徴量の一つである受精卵全体の動き量が所定時間の間小さく、品質が悪いことを判定された受精卵について、画像解析を停止する代わりに、具体例7のように培養時間の経過とともに画像解析を実施しない期間が長くなるように断続してもよい。さらに、解析制御部221は、具体例3のように形態特徴量の一つである発育段階に変化がなく、品質が悪いことを判定された受精卵について、画像解析を停止する代わりに、具体例7のように培養時間の経過とともに画像解析を実施しない期間が長くなるように断続してもよい。あるいは、解析制御部221は、具体例1〜3のように品質が悪いことを判定された受精卵について、培養時間の経過とともに画像解析を実施しない期間が長くなるように断続した後に、画像解析を停止してもよい。
また、解析制御部221は、品質が悪いことを判定された受精卵について、具体例4のように算出される受精卵特徴量の数を段階的に低減させた後に、培養時間の経過とともに画像解析を実施しない期間が長くなるように断続してもよい。あるいは、解析制御部221は、品質が悪いことを判定された受精卵について、培養時間の経過とともに画像解析を実施しない期間が長くなるように断続した後に(又は同時に)、具体例4のように算出される受精卵特徴量の数を段階的に低減させてもよい。
また、解析制御部221は、品質が悪いことを判定された受精卵について、培養時間の経過とともに画像解析を実施しない期間が長くなるように断続した後に、具体例5のように画像解析に用いられる解析手法の数を減少させてもよい。あるいは、解析制御部221は、具体例5のように画像解析に用いられる解析手法の数を減少させた後(又は同時)に、培養時間の経過とともに画像解析を実施しない期間が長くなるように断続してもよい。
さらに、解析制御部221は、品質が悪いことを判定された受精卵について、培養時間の経過とともに画像解析を実施しない期間が長くなるように断続した後に、具体例6のように所定の培養時間間隔で画像解析を断続させてもよい。あるいは、解析制御部221は、培養時間の経過とともに画像解析を実施しない期間が長くなるように断続した後(又は同時)に、具体例6のように画像解析を所定の培養時間間隔で断続してもよい。
以上、本開示の一実施形態の情報処理装置20が実施する処理の具体例について説明した。なお、具体例1〜7で実施される判定部210による判定、又は、解析制御部221による実施条件の制御は、論理的な矛盾が無い限り、2つ又は3つ以上の具体例のいかなる組み合わせの判定、又は制御が実施されてもよい。
<2.3.効果>
以上、本開示の一実施形態の情報処理装置20が複数の受精卵が撮像された画像から受精卵の特徴量を画像解析する処理例について説明した。次に、本開示の一実施形態の情報処理装置20の効果について説明する。
特許文献1に記載の技術では、測定に不適当な状態となっている検体は撮像されない。一方、本開示の一実施形態の情報処理システム1では、算出された受精卵特徴量に関わらず、培地M1で培養されるすべての受精卵が撮像装置10により撮像される。その後、情報処理装置20は、算出された受精卵特徴量に応じて、受精卵の画像解析の実施条件を制御する。
ここで、撮像装置10が受精卵を撮像するためには、赤色波長や近赤外波長等の光を受精卵に照射する必要がある。一般的に受精卵は光に弱く、長時間光を受け続けると受精卵の品質が低下する場合がある。特に、大量の受精卵が撮像される場合には、特許文献1に記載の技術のように、1つ1つの検体を撮像してそれぞれの検体の撮像の要否を判定すると、撮像するために時間がかかり、撮像されている間に受精卵の品質が低下してしまう恐れがある。一方、本実施形態の情報処理システム1では、撮像装置10が一旦すべての受精卵を撮像すればよいため、撮像装置10が一度に大量の受精卵を撮像すれば、より少ない回数の撮像ですべての受精卵についての画像を生成できる。これにより、受精卵が光を受ける時間が短縮され、受精卵の品質の低下が防止される。
また、本開示の一実施形態の情報処理システム1では、解析部200が培地M1で培養される大量の受精卵が含まれる画像に対して解析をすることができる。このため、受精卵の数が大量であっても、少数の画像についての解析により、すべての受精卵についての画像解析が可能であるため、効率の良い画像解析が可能となる。
図17は、本開示の一実施形態の情報処理装置20により、画像解析するためのコストが低減されることを説明するためのグラフである。縦軸には単位時間(フレーム)当たりの解析コスト、横軸には培養時間を示している。解析コストは、受精卵画像を解析するためにかかるコストである。また、図17の縦軸に記載の最大コストとは、情報処理装置20が認識解析、動き解析、形態解析、及び数値解析の全ての画像解析を開始した時点における単位時間あたりの解析コストである。曲線L1は、本開示の一実施形態の情報処理装置20による単位時間当たりの解析コストと培養時間の関係を示す曲線である。
情報処理装置20が、受精卵の品質に関わらず画像解析する特徴量の数や画像解析に用いられる解析手法の数を変化させない場合には、直線L2のように単位時間当たりの解析コストは最大コストで一定である。
一方、本開示の一実施形態の情報処理装置20では、解析制御部221が、受精卵特徴量に基づいて、解析部200による画像解析の実施条件を制御する。より具体的には、解析制御部221は、品質が悪いことを判定された受精卵についての画像解析を停止又は断続等することを決定する。この決定に基づいて、解析部200は、品質が悪いことを判定された受精卵についての画像解析を停止又は断続等する。本開示の一実施形態の情報処理装置20により受精卵の画像解析が停止又は断続等されると、受精卵を画像解析するために用いられる計算機の解析時間及び費用又は解析結果を保存するための費用等が低減される。この結果、単位時間当たりの解析コストが低減される。
また、培養時間の経過とともに画像解析が停止又は断続等される受精卵の個数が増加する場合、培養時間の経過とともに情報処理装置20による単位時間当たりの解析コストが減少する。一例として、解析部200が、品質の悪い受精卵についての画像解析を停止する場合について説明する。この場合、培養時間の経過とともに品質の悪い受精卵についての画像解析が停止され、画像解析される受精卵の個数が減少する。仮に受精卵全体のうちの80%の受精卵が品質の悪い受精卵であるとすると、すべての品質の悪い受精卵についての画像解析が停止されたとき、受精卵の全体から品質が悪い受精卵を除いた20%の受精卵が画像解析される。すると、単位時間当たりのコストは、受精卵の全体の20%を画像解析するために必要なコストまで低減されることになる。
また、第4の実施形態のように算出が停止される受精卵特徴量の数が段階的に増加する場合には、算出が停止される受精卵特徴量の数が増加する毎に単位時間当たりの解析コストは低減される。さらに、第5の実施形態のように画像解析に用いられる解析手法が段階的に低減される場合には、画像解析に用いられる解析手法が低減される毎に単位時間当たりの解析コストが低減される。
以上のように、本開示の一実施形態の情報処理装置20では、培養時間の経過とともに、単位時間当たりの解析コストが低減される。すると、単位時間(単位フレーム)当たりにかかる解析コストは、曲線L1のように培養時間の経過とともに低減される。図17に示すように、受精卵の培養が開始されてから培養時間T171までの間で受精卵を画像解析するためのコストは、本開示の一実施形態の情報処理装置20により、曲線L1と直線L2と培養時間T171の破線で囲まれた面積S1に相当する分だけ低減される。つまり、本開示の一実施形態の情報処理装置20が受精卵を画像解析すると、受精卵を画像解析するためのコストは面積S1に相当するコストの分だけ低減される。
さらに、本開示の一実施形態の情報処理装置20では、画像解析を停止された受精卵についても撮像装置10によって受精卵画像が生成され続ける。このため、情報処理装置20は、画像解析を停止された受精卵についても、当該受精卵の受精卵特徴量に基づいて、画像解析を再開することが可能である。例えば、情報処理装置20は、一度品質が悪いことを判定されて画像解析を停止された受精卵についても、その後に当該受精卵の品質が良いことが判定される場合には、画像解析を再開し得る。このようにして、情報処理装置20は、適切に受精卵画像を解析することができ、解析対象である受精卵をより適切に扱うことができる。
以上、本開示の一実施形態の情報処理装置20の効果を説明した。
<<3.ハードウェア構成例>>
次に、図18を参照して、本開示の一実施形態に係る情報処理装置のハードウェア構成について説明する。図18は、本開示の一実施形態の情報処理装置のハードウェア構成例を示すブロック図である。図示された情報処理装置20は、例えば、上記の実施形態における情報処理装置20を実現しうる。
情報処理装置20は、CPU901、ROM903、およびRAM905を含む。また、情報処理装置20は、ホストバス907、ブリッジ909、外部バス911、インタフェース913、入力装置915、出力装置917、ストレージ装置919、ドライブ921、接続ポート925、通信装置929を含んでもよい。情報処理装置20は、CPU901に代えて、またはこれとともに、DSP(Digital Signal Processor)またはASIC(Application Specific Integrated Circuit)と呼ばれるような処理回路を有してもよい。
CPU901は、演算処理装置および制御装置として機能し、ROM903、RAM905、ストレージ装置919、またはリムーバブル記録媒体923に記録された各種プログラムに従って、情報処理装置20内の動作全般またはその一部を制御する。例えば、CPU901は、上記の実施形態における情報処理装置20に含まれる各機能部の動作全般を制御する。ROM903は、CPU901が使用するプログラムや演算パラメータ等を記憶する。RAM905は、CPU901の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一次記憶する。CPU901、ROM903、およびRAM905は、CPUバス等の内部バスにより構成されるホストバス907により相互に接続されている。さらに、ホストバス907は、ブリッジ909を介して、PCI(Peripheral Component Interconnect/Interface)バス等の外部バス911に接続されている。
入力装置915は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチおよびレバー等、ユーザーによって操作される装置である。入力装置915は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置20の操作に対応した携帯電話等の外部接続機器927であってもよい。入力装置915は、ユーザーが入力した情報に基づいて入力信号を生成してCPU901に出力する入力制御回路を含む。ユーザーは、この入力装置915を操作することによって、情報処理装置20に対して各種のデータを入力したり処理動作を指示したりする。
出力装置917は、取得した情報をユーザーに対して視覚的または聴覚的に通知することが可能な装置で構成される。出力装置917は、例えば、LCD、PDP、OELD等の表示装置、スピーカおよびヘッドホン等の音響出力装置、ならびにプリンタ装置等でありうる。出力装置917は、情報処理装置20の処理により得られた結果を、テキストまたは画像等の映像として出力したり、音響等の音として出力したりする。
ストレージ装置919は、情報処理装置20の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置919は、例えば、HDD(Hard Disk Drive)等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイス等により構成される。このストレージ装置919は、CPU901が実行するプログラムや各種データ、および外部から取得した各種のデータ等を格納する。
ドライブ921は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体923のためのリーダライタであり、情報処理装置20に内蔵、あるいは外付けされる。ドライブ921は、装着されているリムーバブル記録媒体923に記録されている情報を読み出して、RAM905に出力する。また、ドライブ921は、装着されているリムーバブル記録媒体923に記録を書き込む。
接続ポート925は、機器を情報処理装置20に直接接続するためのポートである。接続ポート925は、例えば、USB(Universal Serial Bus)ポート、IEEE1394ポート、SCSI(Small Computer System Interface)ポート等でありうる。また、接続ポート925は、RS−232Cポート、光オーディオ端子、HDMI(登録商標)(High-Definition Multimedia Interface)ポート等であってもよい。接続ポート925に外部接続機器927を接続することで、情報処理装置20と外部接続機器927との間で各種のデータが交換されうる。
通信装置929は、例えば、通信ネットワークNWに接続するための通信デバイス等で構成された通信インタフェースである。通信装置929は、例えば、有線または無線LAN(Local Area Network)、Bluetooth(登録商標)、またはWUSB(Wireless USB)用の通信カード等でありうる。また、通信装置929は、光通信用のルータ、ADSL(Asymmetric Digital Subscriber Line)用のルータ、または、各種通信用のモデム等であってもよい。通信装置929は、例えば、インターネットや他の通信機器との間で、TCP/IP等の所定のプロトコルを用いて信号等を送受信する。また、通信装置929に接続される通信ネットワークNWは、有線または無線によって接続されたネットワークであり、例えば、インターネット、家庭内LAN、赤外線通信、ラジオ波通信または衛星通信等である。
なお、CPU901、ROM903およびRAM905等は、上記実施形態に係る制御部220の機能を実現し得る。また、上記のストレージ装置919は、上記実施形態に係る記憶部230の機能を実現し得る。また、上記の接続ポート925または通信装置929の少なくともいずれかは、上記実施形態に係る通信制御部223により制御され得る。
以上、情報処理装置20のハードウェア構成の一例を示した。
<<4.まとめ>>
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、上記実施形態では、情報処理システム1は撮像装置10と情報処理装置20とを備える構成であるとしたが、本技術はかかる例に限定されない。例えば、撮像装置10が情報処理装置20の有する機能(例えば、画像解析する機能、細胞の状態を判定する機能、画像解析の実施条件の決定する機能)を備えてもよい。この場合、情報処理システム1は、撮像装置10により実現される。また、情報処理装置20が撮像装置10の有する機能(撮像機能)を備えてもよい。この場合、情報処理システム1は、情報処理装置20により実現される。また、情報処理装置20の有する機能の一部を撮像装置10が有してもよく、撮像装置10の有する機能の一部を情報処理装置20が有してもよい。
また、情報処理装置に内蔵されるCPU、ROMおよびRAM等のハードウェアに、上述した情報処理装置の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムが格納された読取可能な記録媒体も提供される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
分裂能を有する細胞を含む観察対象物が時系列で撮像された複数の画像を解析して、前記細胞の状態を表す特徴量を算出する解析部と、
算出された前記特徴量に基づいて前記解析の実施条件を動的に制御する制御部と、
を備える、情報処理装置。
(2)
前記特徴量に基づいて前記細胞の状態を判定する判定部を更に備える、前記(1)に記載の情報処理装置。
(3)
前記判定部は、所定の機械学習アルゴリズムにより前記細胞の状態を判定する、前記(2)に記載の情報処理装置。
(4)
前記制御部は、前記特徴量から判定される前記細胞の状態に基づいて前記解析の実施条件を動的に制御する、前記(2)又は(3)に記載の情報処理装置。
(5)
前記制御部は、前記特徴量の経時的な変化に基づいて前記解析の実施条件を動的に制御する、前記(1)〜(3)のいずれか1項に記載の情報処理装置。
(6)
前記制御部は、前記解析の実施タイミングを断続させるように制御する、前記(1)〜(5)のいずれか1項に記載の情報処理装置。
(7)
前記制御部は、前記解析を実施しない期間が経過時間に依らず一定となるように制御する、前記(6)に記載の情報処理装置。
(8)
前記制御部は、時間の経過とともに、前記解析を実施しない期間が長くなるように制御する、前記(6)に記載の情報処理装置。
(9)
前記制御部は、前記解析の実施を停止するように制御する、前記(1)〜(5)のいずれか1項に記載の情報処理装置。
(10)
前記制御部は、時間の経過とともに、前記算出される前記特徴量の数を減少させるように制御する、前記(1)〜(5)のいずれか1項に記載の情報処理装置。
(11)
前記制御部は、時間の経過とともに、前記解析に用いられる所定の解析手法の数を減少させるように制御する、前記(1)〜(5)のいずれか1項に記載の情報処理装置。
(12)
前記細胞の状態を表す特徴量は、細胞の形状に関する情報である認識特徴量、細胞の動きを特徴づける情報である動き特徴量、細胞の形態を特徴づける情報である形態特徴量、又は受精卵の状態を表す数値である数値特徴量の少なくともいずれか一つを含む、前記(1)〜(11)のいずれか1項に記載の情報処理装置。
(13)
前記細胞は受精卵であり、
前記認識特徴量は、受精卵の面積、受精卵の直径、受精卵の真円度、受精卵の楕円率、受精卵の重心位置、受精卵の中心位置、受精卵の内部細胞塊の面積、受精卵の内部細胞塊の直径、受精卵の内部細胞塊の真円度、受精卵の内部細胞塊の楕円率、受精卵の内部細胞塊の重心位置、受精卵の内部細胞塊の中心位置、受精卵の透明帯の面積、受精卵の透明帯の直径、受精卵の透明帯の真円度、受精卵の透明帯の楕円率、受精卵の透明帯の重心位置、受精卵の透明帯の中心位置、受精卵の前核の数、受精卵の前核の面積、受精卵の極体の数、受精卵の極体の面積、受精卵のフラグメンテーションの数、又は受精卵のフラグメンテーションの面積のうちの少なくとも一つを含む、前記(12)に記載の情報処理装置。
(14)
前記細胞は受精卵であり、
前記動き特徴量は、受精卵全体の動き量、受精卵全体の動き方向、受精卵内部の割球の動き量、受精卵内部の割球の動き量、受精卵内部の胚盤胞の細胞内細胞塊の動き量、又は受精卵内部の胚盤胞の細胞内細胞塊の動き方向のうちの少なくとも一つを含む、前記(12)に記載の情報処理装置。
(15)
前記細胞は受精卵であり、
前記形態特徴量は、受精卵の発育の状態を表す発育状態又は受精卵の品質を表す品質状態のうちの少なくともいずれかを含む、前記(12)に記載の情報処理装置。
(16)
前記細胞は受精卵であり、
前記数値特徴量は、受精卵の面積の収縮量、受精卵の面積の収縮率、受精卵の面積の収縮速度、受精卵の面積の収縮時間、受精卵の累積移動量、受精卵の全面積の収縮回数、受精卵の内部細胞の面積の収縮量、受精卵の内部細胞の面積の収縮率、受精卵の内部細胞の面積の収縮速度、受精卵の内部細胞の面積の収縮時間、受精卵の内部細胞の面積の収縮回数、卵割時間、異常卵割、コンパクション時間のうちの少なくとも一つを含む、前記(12)に記載の情報処理装置。
(17)
前記制御部は、さらに前記解析の実施状況を示す情報の表示を制御する、前記(1)〜(16)のいずれか1項に記載の情報処理装置。
(18)
計算機が備えるプロセッサが、
分裂能を有する細胞を含む観察対象物が時系列で撮像された複数の画像を解析して、前記細胞の状態を表す特徴量を算出することと、
算出された前記特徴量に基づいて前記解析の実施条件を動的に制御することと、
を含む情報処理方法。
(19)
コンピュータに、
分裂能を有する細胞を含む観察対象物が時系列で撮像された複数の画像を解析して、前記細胞の状態を表す特徴量を算出することと、
算出された前記特徴量に基づいて前記解析の実施条件を動的に制御することと、
を実行させる、プログラム。
(20)
分裂能を有する細胞を含む観察対象物を時系列で撮像することにより、当該観察対象物に関する複数の画像を生成する撮像部を少なくとも備える撮像装置と、
前記撮像された複数の画像を解析して、前記細胞の状態を表す特徴量を算出する解析部と、算出された前記特徴量に基づいて前記解析の実施条件を動的に制御する制御部と、を備える情報処理装置と、
を有する情報処理システム。
1 情報処理システム
10 撮像装置
20 情報処理装置
30 表示装置
200 解析部
202 認識解析部
203 動き解析部
204 形態解析部
205 数値解析部
210 判定部
220 制御部
221 解析制御部
222 表示制御部
230 記憶部

Claims (20)

  1. 分裂能を有する細胞を含む観察対象物が時系列で撮像された複数の画像を解析して、前記細胞の状態を表す特徴量を算出する解析部と、
    算出された前記特徴量に基づいて前記解析の実施条件を動的に制御する制御部と、
    を備える、情報処理装置。
  2. 前記特徴量に基づいて前記細胞の状態を判定する判定部を更に備える、請求項1に記載の情報処理装置。
  3. 前記判定部は、予め構築された分類器により前記細胞の状態を判定する、請求項2に記載の情報処理装置。
  4. 前記制御部は、前記特徴量から判定される前記細胞の状態に基づいて前記解析の実施条件を動的に制御する、請求項2に記載の情報処理装置。
  5. 前記制御部は、前記特徴量の経時的な変化に基づいて前記解析の実施条件を動的に制御する、請求項1に記載の情報処理装置。
  6. 前記制御部は、前記解析を断続させるように制御する、請求項1に記載の情報処理装置。
  7. 前記制御部は、前記解析を実施しない期間が経過時間に依らず一定となるように制御する、請求項6に記載の情報処理装置。
  8. 前記制御部は、時間の経過とともに、前記解析を実施しない期間が長くなるように制御する、請求項6に記載の情報処理装置。
  9. 前記制御部は、前記解析の実施を停止するように制御する、請求項1に記載の情報処理装置。
  10. 前記制御部は、時間の経過とともに、前記算出される前記特徴量の数を減少させるように制御する、請求項1に記載の情報処理装置。
  11. 前記制御部は、時間の経過とともに、前記解析に用いられる所定の解析手法の数を減少させるように制御する、請求項1に記載の情報処理装置。
  12. 前記細胞の状態を表す特徴量は、細胞の形状に関する情報である認識特徴量、細胞の動きを特徴づける情報である動き特徴量、細胞の形態を特徴づける情報である形態特徴量、又は受精卵の状態を表す数値である数値特徴量の少なくともいずれか一つを含む、請求項1に記載の情報処理装置。
  13. 前記細胞は受精卵であり、
    前記認識特徴量は、受精卵の面積、受精卵の直径、受精卵の真円度、受精卵の楕円率、受精卵の重心位置、受精卵の中心位置、受精卵の内部細胞塊の面積、受精卵の内部細胞塊の直径、受精卵の内部細胞塊の真円度、受精卵の内部細胞塊の楕円率、受精卵の内部細胞塊の重心位置、受精卵の内部細胞塊の中心位置、受精卵の透明帯の面積、受精卵の透明帯の直径、受精卵の透明帯の真円度、受精卵の透明帯の楕円率、受精卵の透明帯の重心位置、受精卵の透明帯の中心位置、受精卵の前核の数、受精卵の前核の面積、受精卵の極体の数、受精卵の極体の面積、受精卵のフラグメンテーションの数、又は受精卵のフラグメンテーションの面積のうちの少なくとも一つを含む、請求項12に記載の情報処理装置。
  14. 前記細胞は受精卵であり、
    前記動き特徴量は、受精卵全体の動き量、受精卵全体の動き方向、受精卵内部の割球の動き量、受精卵内部の割球の動き量、受精卵内部の胚盤胞の細胞内細胞塊の動き量、又は受精卵内部の胚盤胞の細胞内細胞塊の動き方向のうちの少なくとも一つを含む、請求項12に記載の情報処理装置。
  15. 前記細胞は受精卵であり、
    前記形態特徴量は、受精卵の発育の状態を表す発育状態又は受精卵の品質を表す品質状態のうちの少なくともいずれかを含む、請求項12に記載の情報処理装置。
  16. 前記細胞は受精卵であり、
    前記数値特徴量は、受精卵の面積の収縮量、受精卵の面積の収縮率、受精卵の面積の収縮速度、受精卵の面積の収縮時間、受精卵の累積移動量、受精卵の全面積の収縮回数、受精卵の内部細胞の面積の収縮量、受精卵の内部細胞の面積の収縮率、受精卵の内部細胞の面積の収縮速度、受精卵の内部細胞の面積の収縮時間、受精卵の内部細胞の面積の収縮回数、卵割時間、異常卵割、コンパクション時間のうちの少なくとも一つを含む、請求項12に記載の情報処理装置。
  17. 前記制御部は、さらに前記解析の実施状況を示す情報の表示を制御する、請求項1に記載の情報処理装置。
  18. 計算機が備えるプロセッサが、
    分裂能を有する細胞を含む観察対象物が時系列で撮像された複数の画像を解析して、前記細胞の状態を表す特徴量を算出することと、
    算出された前記特徴量に基づいて前記解析の実施条件を動的に制御することと、
    を含む情報処理方法。
  19. コンピュータに、
    分裂能を有する細胞を含む観察対象物が時系列で撮像された複数の画像を解析して、前記細胞の状態を表す特徴量を算出することと、
    算出された前記特徴量に基づいて前記解析の実施条件を動的に制御することと、
    を実行させる、プログラム。
  20. 分裂能を有する細胞を含む観察対象物を時系列で撮像することにより、当該観察対象物に関する複数の画像を生成する撮像部を少なくとも備える撮像装置と、
    前記撮像された複数の画像を解析して、前記細胞の状態を表す特徴量を算出する解析部と、算出された前記特徴量に基づいて前記解析の実施条件を動的に制御する制御部と、を備える情報処理装置と、
    を有する情報処理システム。
JP2020529927A 2018-07-12 2018-07-12 情報処理装置、情報処理方法、プログラム、及び情報処理システム Ceased JPWO2020012616A1 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/026390 WO2020012616A1 (ja) 2018-07-12 2018-07-12 情報処理装置、情報処理方法、プログラム、及び情報処理システム

Publications (1)

Publication Number Publication Date
JPWO2020012616A1 true JPWO2020012616A1 (ja) 2021-08-02

Family

ID=69141342

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020529927A Ceased JPWO2020012616A1 (ja) 2018-07-12 2018-07-12 情報処理装置、情報処理方法、プログラム、及び情報処理システム

Country Status (4)

Country Link
US (1) US20210287366A1 (ja)
EP (1) EP3812448A4 (ja)
JP (1) JPWO2020012616A1 (ja)
WO (1) WO2020012616A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201810634D0 (en) * 2018-06-28 2018-08-15 Vitrolife As Methods and apparatus for assessing embryo development
WO2020261555A1 (ja) * 2019-06-28 2020-12-30 オリンパス株式会社 画像生成システムおよび画像生成方法
KR20230018460A (ko) 2020-06-03 2023-02-07 나노트로닉스 이미징, 인코포레이티드 생물학적 제제를 위한 통제된 성장 시스템
JP2024046836A (ja) * 2022-09-26 2024-04-05 株式会社Screenホールディングス 分類方法およびコンピュータプログラム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012095627A (ja) * 2010-11-05 2012-05-24 Nikon Corp 細胞培養装置およびプログラム
JP2014089193A (ja) * 2007-04-04 2014-05-15 Olympus Corp 発光タンパクによる長期モニタリング方法および解析方法
JP2017062497A (ja) * 2016-12-05 2017-03-30 ソニー株式会社 測定装置、プログラム及び測定方法
JP2017205053A (ja) * 2016-05-18 2017-11-24 富士フイルム株式会社 撮像装置および方法
JP2018014991A (ja) * 2016-07-13 2018-02-01 ソニー株式会社 情報処理装置、情報処理方法及び情報処理システム
WO2018100917A1 (ja) * 2016-11-30 2018-06-07 ソニー株式会社 情報処理装置、観察システム、情報処理方法及びプログラム
WO2018105298A1 (ja) * 2016-12-09 2018-06-14 ソニー株式会社 情報処理装置、情報処理方法及び情報処理システム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005027015A2 (en) * 2003-09-10 2005-03-24 Bioimagene, Inc. Method and system for quantitatively analyzing biological samples
US20060127881A1 (en) * 2004-10-25 2006-06-15 Brigham And Women's Hospital Automated segmentation, classification, and tracking of cell nuclei in time-lapse microscopy
JP4968595B2 (ja) * 2008-07-23 2012-07-04 株式会社ニコン 細胞の状態判別手法及び細胞観察の画像処理装置
JP5376024B1 (ja) * 2012-08-23 2013-12-25 富士ゼロックス株式会社 画像処理装置、プログラム及び画像処理システム
EP2962101A4 (en) * 2013-02-28 2016-10-19 Progyny Inc APPARATUS, METHOD AND SYSTEM FOR CLASSIFYING HUMAN EMBRYONIC CELLS FROM IMAGES
WO2018100913A1 (ja) * 2016-11-29 2018-06-07 ソニー株式会社 情報処理装置、情報処理方法、プログラム及び観察システム
CN111787877A (zh) * 2017-12-15 2020-10-16 维特罗莱夫公司 用于估计胚胎活力的系统和方法
GB201810634D0 (en) * 2018-06-28 2018-08-15 Vitrolife As Methods and apparatus for assessing embryo development

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014089193A (ja) * 2007-04-04 2014-05-15 Olympus Corp 発光タンパクによる長期モニタリング方法および解析方法
JP2012095627A (ja) * 2010-11-05 2012-05-24 Nikon Corp 細胞培養装置およびプログラム
JP2017205053A (ja) * 2016-05-18 2017-11-24 富士フイルム株式会社 撮像装置および方法
JP2018014991A (ja) * 2016-07-13 2018-02-01 ソニー株式会社 情報処理装置、情報処理方法及び情報処理システム
WO2018100917A1 (ja) * 2016-11-30 2018-06-07 ソニー株式会社 情報処理装置、観察システム、情報処理方法及びプログラム
JP2017062497A (ja) * 2016-12-05 2017-03-30 ソニー株式会社 測定装置、プログラム及び測定方法
WO2018105298A1 (ja) * 2016-12-09 2018-06-14 ソニー株式会社 情報処理装置、情報処理方法及び情報処理システム

Also Published As

Publication number Publication date
EP3812448A1 (en) 2021-04-28
EP3812448A4 (en) 2021-06-16
US20210287366A1 (en) 2021-09-16
WO2020012616A1 (ja) 2020-01-16

Similar Documents

Publication Publication Date Title
AU2018384082B2 (en) Systems and methods for estimating embryo viability
JPWO2020012616A1 (ja) 情報処理装置、情報処理方法、プログラム、及び情報処理システム
US20200364869A1 (en) Information processing apparatus, information processing method, and program
JP7001060B2 (ja) 情報処理装置、情報処理方法及び情報処理システム
WO2018101004A1 (ja) 細胞画像評価装置および細胞画像評価制御プログラム
US20230028645A1 (en) Methods and systems for embryo classification using morpho-kinetic signatures
US11954926B2 (en) Image feature detection
EP3485458A1 (en) Information processing device, information processing method, and information processing system
US11302437B2 (en) Information processing device, information processing method and information processing system
US20180268557A1 (en) Information processing device, information processing method, and information processing system
CN106104571A (zh) 用于分析胚胎发育的方法和设备
WO2023154851A1 (en) Integrated framework for human embryo ploidy prediction using artificial intelligence
WO2023024524A1 (zh) 基于胎儿超声影像特征组学的染色体异常预测模型的构建方法及诊断设备
EP4352691A1 (en) Methods and systems for embryo classification
JP7420069B2 (ja) 制御装置、制御方法、およびプログラム
WO2021177142A1 (ja) 生殖補助医療を支援するための、システム、情報処理装置、サーバ、端末、プログラム、又は方法
CN113989538A (zh) 基于深度图像的鸡群均匀度估测方法、装置、系统及介质
RU2800079C2 (ru) Системы и способы оценки жизнеспособности эмбрионов
AU2019101174A4 (en) Systems and methods for estimating embryo viability
US20210200986A1 (en) Control device, control method, and program
WO2018012353A1 (en) Information processing device, information processing method, and information processing system
Einy et al. Local Binary Convolutional Neural Networks′ Long Short‐Term Memory Model for Human Embryos′ Anomaly Detection
JP2024005549A (ja) タイムラプス画像判別器とタイムラプス画像判別器の学習方法と胚判別装置と胚判別方法
Sharma et al. Exploring Embryo Development at the Morula Stage-an AI-based Approach to Determine Whether to Use or Discard an Embryo
WO2024003716A2 (en) Methods and systems for classification of eggs and embryos using morphological and morpho-kinetic signatures

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210630

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220524

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220629

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221011

A045 Written measure of dismissal of application [lapsed due to lack of payment]

Free format text: JAPANESE INTERMEDIATE CODE: A045

Effective date: 20230228