JP6801000B2 - 細胞画像評価装置および細胞画像評価制御プログラム - Google Patents

Description

本発明は、細胞画像を評価した結果に基づいて、細胞画像に含まれる細胞の将来の状態の予測結果を出力する細胞画像評価装置およびプログラムに関するものである。

ＥＳ（Embryonic Stem）細胞およびｉＰＳ（Induced Pluripotent Stem）細胞などの多能性幹細胞は、種々の組織の細胞に分化する能力を備えたものであり、再生医療、薬の開発、および病気の解明などにおいて応用が可能なものとして注目されている。

一方、従来、ＥＳ細胞およびｉＰＳ細胞などの多能性幹細胞や分化誘導された細胞などを顕微鏡などにより撮像し、その画像の特徴を捉えることによって細胞の分化状態などを判定する方法が提案されている。

たとえば特許文献１においては、培養された細胞の品質を非破壊に評価するため、細胞を異なる時点において撮影した画像を解析して取得された指標と実際の細胞の品質の実測データとを用いて、ファジーニューラルネットワーク解析を行って予測モデルを構築し、その予測モデルに対して、品質の評価対象の細胞の画像を入力することによって、その細胞の品質を評価することが提案されている。

また、特許文献２においては、培養容器内で培養される複数の細胞を時系列に撮像した複数の画像を取得し、その画像に含まれる細胞の形態的な特徴を示す特徴値を求め、各画像に対応する特徴値の度数分布をそれぞれ求め、画像間での度数分布の変化に基づいて、培養容器における細胞の培養状態を評価する方法が提案されている。

また、特許文献３においては、ＥＳ細胞とフィーダー細胞とが撮像された画像において、ＥＳ細胞が占める領域とフィーダー細胞が占める領域とを抽出し、ＥＳ細胞が占める領域に存在するフィーダー細胞の形態的特徴を示す特徴量を算出し、その特徴量と、ＥＳ細胞の状態との対応関係に基づいて、ファジーニューラルネットワークを用いてＥＳ細胞の状態を評価する方法が提案されている。

特開２００９−４４９７４号公報 国際公開第２０１０／０９８１０５号公報 特開２０１１−２２９４０９号公報

ここで、細胞を培養する過程において、培養対象の細胞が、今後どのように成長するのかを予測することは非常に重要である。このように細胞の将来の状態の予測することによって、継代のタイミングなどを前もって把握することができ、今後の培養計画を建て易くなる。

また、複数のウェルで同時に培養を行い、品質の高い細胞のウェルだけを継代し、残りのウェルの細胞は破棄する場合があるが、このような場合においても、各ウェル内の細胞の将来の状態を予測することができれば、必要のないウェルの細胞をタイミングよく破棄することができ、資源およびコストを削減することができる。

さらに、細胞の将来の状態の予測することができれば、細胞の出荷日時などのタイミングを把握することができる。細胞には個性があり、ドナーによっては培養が想定通りに進まないことがある。一方で、特に再生医療の場合、出荷日時（手術日）は決まっており、それまでに必要量を必ず用意しなければならない場合がある。このような場合、細胞の将来の状態の予測することができれば、その予測結果に基づいて、細胞の培養量を増やすなどの対策をとることが可能であり、細胞の出荷を安定させることができる。

しかしながら、たとえば現時点において細胞を撮影した画像のみの特徴量などを解析して、細胞の将来の状態を予測することは容易ではない。特に、培養対象の細胞が今後どのように成長するかは、その細胞のみで決まるものではなく、その細胞の周囲の状態も大きく影響する。特許文献１〜特許文献３においても、細胞を撮影した画像を用いて、細胞の将来の状態を予測する方法は何も提案されていない。

本発明は、上記の問題に鑑み、培養対象の細胞が、将来、どのように変化するかを把握することができ、たとえば継代および培地交換などの細胞に対する操作を適切なタイミングで行うことができる細胞画像評価装置および細胞画像評価プログラムを提供することを目的とする。

本発明の細胞画像評価装置は、細胞を撮影した細胞画像の各関心領域について、その各関心領域に含まれる細胞の状態を評価し、その評価結果を出力する評価器と、時系列に細胞を撮影した少なくとも２以上の細胞画像のうち、成長前段階の細胞を撮影した少なくとも１つの第１の細胞画像内における特定の関心領域の周辺領域の評価器による評価結果と、成長前段階よりも後の時点において第１の細胞画像と同じ撮影対象を撮影した第２の細胞画像内における特定の関心領域の細胞の状態との関係を予め機械学習させた予測器とを備え、予測器が、少なくとも１つの特定の時点に撮影した第３の細胞画像の評価器による評価結果のうちの特定の関心領域の周辺領域の評価結果に基づいて、特定の時点よりも後の時点の特定の関心領域の細胞の状態を予測して出力する。

また、上記本発明の細胞画像評価装置において、予測器は、細胞の状態の出力として、２以上の各状態への遷移確率を出力することができる。

また、上記本発明の細胞画像評価装置において、予測器は、細胞が収容された容器内を撮影した第３の細胞画像の評価結果の入力を受け付け、特定の時点よりも後の時点の容器内の複数の関心領域の細胞の状態をそれぞれ出力することができ、複数の関心領域の細胞の状態を統合して、容器全体の細胞の状態を取得する統合部を備えることができる。

また、上記本発明の細胞画像評価装置において、予測器は、細胞の状態の出力として、２以上の各状態への遷移確率をそれぞれ出力することができ、統合部は、各関心領域の２以上の各状態の遷移確率をその状態毎に統合して、容器全体の細胞の状態を取得することができる。

また、上記本発明の細胞画像評価装置において、予測器は、細胞の状態の出力として、２以上の各細胞の状態への遷移確率をそれぞれ出力することができ、統合部は、各関心領域の２以上の各状態の遷移確率のうち、最も大きい遷移確率の状態を統合して、容器全体の細胞の状態を取得することができる。

また、上記本発明の細胞画像評価装置において、予測器は、少なくとも１つの培養条件の入力を受け付けることができる。

また、上記本発明の細胞画像評価装置において、評価器は、少なくとも細胞が未分化状態であるか、または分化状態であるかを評価することができる。

また、上記本発明の細胞画像評価装置において、評価器は、少なくとも核小体の密度を評価することができる。

また、上記本発明の細胞画像評価装置において、評価器は、少なくとも白すじの密度を評価することができる。

また、上記本発明の細胞画像評価装置において、評価器は、少なくとも細胞が線維芽細胞であるか、またはフィーダー細胞であるかを評価することができる。

また、上記本発明の細胞画像評価装置において、評価器は、少なくとも細胞が多能性幹細胞であるか、またはフィーダー細胞であるかを評価することができる。

また、上記本発明の細胞画像評価装置において、評価器は、少なくとも細胞であるか、または非細胞であるかを評価することができる。

また、上記本発明の細胞画像評価装置において、評価器は、少なくとも細胞が生細胞であるか、または死細胞であるかを評価することができる。

また、上記本発明の細胞画像評価装置においては、予測器から出力された細胞の状態の情報を取得し、その細胞の状態の情報に基づいて、細胞に対する操作内容を決定する操作内容決定部を備えることができる。

また、上記本発明の細胞画像評価装置において、細胞に対する操作内容は、継代、培地交換、培地の変更、薬剤添加、ピッキングまたは遺伝子検査であることが好ましい。

本発明の細胞画像評価プログラムは、コンピュータを、細胞を撮影した細胞画像の各関心領域について、その各関心領域に含まれる細胞の状態を評価し、その評価結果を出力する評価器と、時系列に細胞を撮影した少なくとも２以上の細胞画像のうち、成長前段階の細胞を撮影した少なくとも１つの第１の細胞画像内における特定の関心領域の周辺領域の評価器による評価結果と、成長前段階よりも後の時点において第１の細胞画像と同じ撮影対象を撮影した第２の細胞画像内における特定の関心領域の細胞の状態との関係を予め機械学習させた予測器として機能させ、予測器が、少なくとも１つの特定の時点に撮影した第３の細胞画像の評価器による評価結果のうちの特定の関心領域の周辺領域の評価結果に基づいて、特定の時点よりも後の時点の特定の関心領域の細胞の状態を予測して出力することができる。

本発明の細胞画像評価装置および細胞画像評価プログラムによれば、細胞を撮影した細胞画像の各関心領域について、その細胞の状態の評価結果を出力する評価器と、成長前段階の細胞を撮影した第１の細胞画像内における特定の関心領域の周辺領域の評価器による評価結果と、成長前段階よりも後の時点において第１の細胞画像と同じ撮影対象を撮影した第２の細胞画像内における特定の関心領域の細胞の状態との関係を予め機械学習させた予測器とを備える。

そして、予測器が、特定の時点に撮影した第３の細胞画像の評価器による評価結果のうちの特定の関心領域の周辺領域の評価結果に基づいて、特定の時点よりも後の時点の特定の関心領域の細胞の状態を予測して出力するようにしたので、ユーザは、特定の関心領域の細胞の状態が、将来、どのように変化するかを把握することができ、たとえば継代および培地交換などの細胞に対する操作を適切なタイミングで行うことができる。

本発明の細胞画像評価装置の一実施形態を用いた細胞画像評価予測システムの概略構成を示すブロック図 評価器を説明するための説明図 細胞の種々の状態を撮影した細胞画像の一例を示す図 予測器を説明するための説明図 予測器の機械学習の方法の一例を説明するためのフローチャート 予測器の機械学習の方法の一例を説明するための説明図 予測器の機械学習の方法の一例を説明するための説明図 予測器の機械学習の方法の一例を説明するための説明図 機械学習された予測器を用いて、細胞の将来の状態を予測する方法を説明するためのフローチャート 本発明の細胞画像評価装置のその他の実施形態を用いた細胞画像評価予測システムの概略構成を示すブロック図 各関心領域の分化細胞への遷移確率および未分化細胞への遷移確率の一例を示す図 ウェル内における細胞コロニー領域毎に、その各状態の遷移確率を統合した例を示す図 異なる時点で撮影された複数の第３の細胞画像の評価結果を予測器に入力して、１つの予測結果を得る例を示す図 本発明の細胞画像評価装置のその他の実施形態を用いた細胞画像評価予測システムの概略構成を示すブロック図

以下、本発明の細胞画像評価装置および細胞画像評価プログラムの一実施形態を用いた細胞画像評価予測システムについて、図面を参照しながら詳細に説明する。図１は、本実施形態の細胞画像評価予測システムの概略構成を示すブロック図である。

本実施形態の細胞画像評価予測システムは、図１に示すように、顕微鏡装置１０と、細胞画像評価装置２０と、表示装置３０と、入力装置４０とを備えている。

顕微鏡装置１０は、培養容器内に収容された細胞を撮影し、細胞画像を出力するものである。本実施形態においては、具体的には、ＣＣＤ（Charge-Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサなどの撮像素子を備えた位相差顕微鏡装置を用いる。撮像素子としては、ＲＧＢ（Red Green Blue）のカラーフィルタが設けられた撮像素子を用いてもよいし、モノクロの撮像素子を用いるようにしてもよい。培養容器内に収容された細胞の位相差像が撮像素子に結像され、撮像素子から細胞画像として位相差画像が出力される。なお、顕微鏡装置１０としては、位相差顕微鏡装置に限らず、微分干渉顕微鏡装置および明視野顕微鏡装置などのその他の顕微鏡装置を用いるようにしてもよい。

細胞画像としては、複数の細胞が凝集した細胞コロニーを撮影した画像でもよいし、複数の細胞が分散して分布した画像でもよい。また、本実施形態においては、撮影対象として、ｉＰＳ細胞およびＥＳ細胞といった多能性幹細胞、並びに幹細胞から分化誘導された神経、皮膚、心筋および肝臓の細胞を撮影するものとする。

また、本実施形態においては、撮影対象の細胞は、複数のウェルを有するウェルプレートなどに収容される。そして、顕微鏡装置１０は、水平面内の直交するＸ方向およびＹ方向に移動するステージを備えており、そのステージ上にウェルプレートが設置される。ステージがＸ方向およびＹ方向に移動することによって、ウェルプレート内における各観察領域が走査され、観察領域毎の細胞画像が撮像される。観察領域毎の細胞画像は１枚の細胞画像として合成され、細胞画像評価装置２０に出力される。また、本実施形態においては、ウェルプレートを用いるようにしたが、細胞が収容される容器としてはこれに限らず、たとえばシャーレまたはディッシュなどその他の容器を用いるようにしてもよい。

細胞画像評価装置２０は、図１に示すように、評価器２１と、予測器２２と、制御部２３とを備えている。細胞画像評価装置２０は、中央処理装置（ＣＰＵ）、半導体メモリおよびハードディスクなどを備えたコンピュータから構成されるものであり、ハードディスク等の記録媒体に本発明の細胞画像評価プログラムの一実施形態がインストールされている。そして、この細胞画像評価プログラムが中央処理装置によって実行されることによって、図１に示す評価器２１、予測器２２および制御部２３が機能する。

評価器２１は、顕微鏡装置１０から出力された細胞画像を取得し、その取得した細胞画像に含まれる細胞の状態を評価するものである。具体的には、評価器２１は、図２に示すように、入力された細胞画像を複数の関心領域Ｒに分割し、その各関心領域Ｒの細胞画像に含まれる細胞の状態をそれぞれ評価して、各関心領域Ｒの評価結果を出力する。なお、図２において点線で示す矩形領域が関心領域Ｒである。また、本実施形態においては、顕微鏡装置１０の観察領域と上述した関心領域は同一の領域とするが、これに限らず、関心領域Ｒを観察領域よりも広く設定するようにしてもよいし、逆に、関心領域Ｒを観察領域よりも狭く設定するようにしてもよい。

本実施形態の評価器２１は、各関心領域Ｒの細胞画像に基づいて、細胞画像に含まれる細胞が分化細胞であるか、または未分化細胞であるかを評価する。さらに、評価器２１は、各関心領域Ｒの細胞画像が、細胞を含まない培地のみの画像であるか否かの評価と、細胞画像に含まれる白すじ（クラック）の密度の評価と、細胞画像に含まれる細胞が積層状態であるか否かの評価とを行う。そして、評価器２１は、各関心領域の評価結果として、「未分化細胞（未分化状態の細胞）の領域である」、「分化細胞（分化状態の細胞）の領域である」、「白すじが密に存在する領域である」、「細胞が積層状態の領域である」、および「培地領域である」のいずれかを出力する。なお、白すじ（クラック）とは、細胞と背景間に発生する回折光による光のにじみ（ハロ）のことである。

図３Iは、培地の画像の一例を示したものであり、図３IIは、分化細胞の細胞画像の一例を示したものであり、図３IIIは、白すじの密度が高い細胞画像の一例を示したものであり、図３IVは、未分化細胞の細胞画像の一例を示したものであり、図３Vは、積層状態の細胞画像の一例を示すものである。

細胞画像に含まれる細胞が分化細胞であるか、または未分化細胞であるかの評価については、たとえば細胞画像から１つ１つの細胞単体を抽出し、その細胞単体の円形度を評価することによって評価できる。具体的には、未分化細胞は円形度が相対的に高くなるが、分化細胞は細長い形状となり、円形度が相対的に低くなる。したがって、細胞単体の円形度を算出することによって分化細胞であるか、または未分化細胞であるかを評価することができる。なお、細胞画像から細胞単体を抽出する方法としては、エッジ検出処理など公知な画像処理方法を用いることができる。

また、分化細胞であるか、または未分化細胞であるかを評価する方法としては、上述した細胞単体の円形度に基づく評価に限らず、その他にも細胞単体の単位面積当たりの数（密度）、核小体の単位面積当たりの数（密度）、および細胞単体の平均面積などを用いて評価するようにしてもよい。細胞単体の密度は、分化細胞よりも未分化細胞の方が高くなる傾向があり、核小体の密度も、同様に、分化細胞よりも未分化細胞の方が高くなる傾向がある。また、細胞単体の平均面積については、未分化細胞よりも分化細胞の方が大きくなる傾向がある。なお、上記の評価方法に限らず、その他の公知な評価方法を用いるようにしてもよい。

関心領域が、培地領域であるか否かの評価については、たとえば各関心領域の細胞画像から細胞単体を抽出し、その細胞単体の数が予め設定された閾値以下である場合には、培地領域であると評価するようにすればよい。

関心領域の細胞画像に含まれる白すじの密度の評価については、たとえば細胞画像に対して２値化処理を施し、その2値化処理後の画像から白画素が細長く連続して存在する白画素領域を抽出し、その面積の密度を算出するようにすればよい。そして、その算出した白画素領域の密度が、予め設定された閾値以上である場合に、白すじが密に存在する領域であると評価するようにすればよい。

細胞画像に含まれる細胞が積層状態であるか否かの評価については、細胞が積層状態である場合には、細胞の密集度が高くなり、細胞画像の輝度が高くなる。したがって、細胞画像の輝度分布を取得し、輝度の平均値が、予め設定された閾値よりも高い場合には、細胞が積層状態であると評価するようにすればよい。または、細胞画像の輝度分布の空間周波数を解析することによって細胞が積層状態であるか否かを評価するようにしてもよい。なお、細胞が積層状態であるか否かの評価方法についても、その他の公知な方法を用いることができる。

次に、予測器２２は、特定の時点に撮影した細胞画像の評価器２１による評価結果の入力を受け付け、その細胞画像内における特定の関心領域の周辺領域の評価器２１による評価結果に基づいて、特定の時点よりも後の時点の特定の関心領域の細胞の状態を出力するものである。

特定の時点とは、たとえば現時点であり、特定の時点よりも後の時点とは、現時点よりも将来の時点である。すなわち、予測器２２は、たとえば特定の関心領域および特定の関心領域の周辺領域に含まれる現在の細胞の状態の評価結果に基づいて、上記特定の関心領域に含まれる細胞の将来の状態を予測して出力するものである。なお、細胞の将来の状態とは、細胞が時間の経過にともなって変化した結果を示す状態であり、たとえば未分化状態、分化状態、白すじが密に存在した状態、および積層状態などがある。ただし、これらの状態に限られず、適宜設定することが可能である。

具体的には、予測器２２は、図４に示すように、特定の時点に撮影した細胞画像の各関心領域Ｒの評価結果の入力を受け付ける。そして、予測器２２は、入力された細胞画像内の複数の関心領域Ｒのうちの特定の関心領域ＳＲおよび特定の関心領域ＳＲの周辺の関心領域Ｒの評価結果に基づいて、特定の関心領域ＳＲに含まれる細胞の将来の状態を予測して出力するものである。なお、図４においては、周辺の関心領域Ｒを斜線で示している。

予測器２２は、上述したように細胞の将来の状態を予測して出力するため、予め機械学習されたものである。具体的には、予測器２２は、時系列に細胞を撮影した少なくとも２以上の細胞画像のうち、成長前段階の細胞を撮影した第１の細胞画像内における特定の関心領域および特定の関心領域の周辺領域の評価結果と、成長前段階よりも後の時点において第１の細胞画像と同じ撮影対象を撮影した第２の細胞画像内における特定の関心領域の細胞の状態との関係を予め機械学習させたものである。以下、予測器２２の機械学習の方法の一例を、図５に示すフローチャートおよび図６〜図８を参照しながら説明する。

まず、成長段階前の細胞を撮影した第１の細胞画像と、成長前段階よりも後の時点の第２の細胞画像を取得し（Ｓ１０）、これらの画像を評価器２１に入力して、上述したような各関心領域Ｒの評価結果を取得する（Ｓ１２）。図６Iは、成長前段階の第１の細胞画像内における各関心領域Ｒの評価結果の一例を示す図である。また、図６IIは、第１の細胞画像が撮影された時点から２日後に撮影された第２の細胞画像内における各関心領域Ｒの評価結果の一例を示す図である。図６Iおよび図６IIにおいては、「培地領域である」
との評価結果を「１」、「分化細胞の領域である」との評価結果を「２」、「白すじが密に存在する領域である」との評価結果を「３」、「未分化細胞の領域である」との評価結果を「４」、および「細胞が積層状態の領域である」との評価結果を「５」として示している。

そして、図６Iに示す第１の細胞画像の評価結果と、図６IIに示す第２の細胞画像の評価結果との対応関係が取得され（Ｓ１４）、その関係が予測器２２によって機械学習される（Ｓ１６）。具体的には、たとえば図６Iに示す３×３の関心領域の領域ＥＲ１１と、
その領域ＥＲ１１に対応する第２の細胞画像における領域ＥＲ１２とが特定される。そして、図７Iに示すように、領域ＥＲ１１に含まれる関心領域Ｒのうち、中心に位置する特定の関心領域ＳＲ１１およびその周辺の関心領域Ｒ１１の評価結果と、領域ＥＲ１２の中心に位置する特定の関心領域ＳＲ１２の評価結果とが対応付けられ、この対応関係が予測器２２によって機械学習される。より具体的には、図８に示すように、領域ＥＲ１１の各関心領域Ｒの評価結果を左上の評価結果から右下の評価結果に向けて順に配列した学習特徴量が求められ、この学習特徴量に対応する学習クラスとして、領域ＥＲ１２の特定の関心領域ＳＲ１２の評価結果が求められる。そして、図８に示す学習特徴量と学習クラスとの関係が、予測器２２によって機械学習される。

同様に、図６Iに示す３×３の関心領域の領域ＥＲ２１と、その領域ＥＲ２１に対応する第２の細胞画像における領域ＥＲ２２とが特定される。そして、図７IIに示すように、領域ＥＲ２１に含まれる関心領域Ｒのうち、中心に位置する特定の関心領域ＳＲ２１およびその周辺の関心領域Ｒ２１の評価結果と、領域ＥＲ２２の中心に位置する特定の関心領域ＳＲ２２の評価結果とが対応付けられ、この対応関係が予測器２２によって機械学習される。具体的には、図８に示すように、領域ＥＲ２１の各関心領域Ｒの評価結果を左上の評価結果から右下の評価結果に向けて順に配列した学習特徴量が求められ、この学習特徴量に対応する学習クラスとして、領域ＥＲ２２の特定の関心領域ＳＲ２２の評価結果が求められる。そして、図８に示す学習特徴量と学習クラスとの関係が、予測器２２によって機械学習される。

また、同様に、図６Iに示す３×３の関心領域の領域ＥＲ３１と、その領域ＥＲ３１に対応する第２の細胞画像における領域ＥＲ３２とが特定される。そして、図７IIIに示すように、領域ＥＲ３１に含まれる関心領域Ｒのうち、中心に位置する特定の関心領域ＳＲ３１およびその周辺の関心領域Ｒ３１の評価結果と、領域ＥＲ３２の中心に位置する特定の関心領域ＳＲ３２の評価結果とが対応付けられ、この対応関係が予測器２２によって機械学習される。そして、図８に示すように、領域ＥＲ３１の学習特徴量とその学習特徴量に対応する学習クラスとして、領域ＥＲ３２の特定の関心領域ＳＲ３２の評価結果が求められる。そして、図８に示す学習特徴量と学習クラスとの関係が、予測器２２によって機械学習される。

なお、ここでは、３つの領域の評価結果の対応関係を機械学習する場合について説明したが、３つの領域だけでなく、その他の多数の領域の評価結果の対応関係が、予測器２２によって機械学習される。また、上記説明では、３×３の関心領域の評価結果の対応関係を用いるようにしたが、３×３に限るものではない。たとえば、５×５の関心領域の評価結果の対応関係を用いて機械学習するようにしてもよい。

なお、機械学習の手法としては、サポートベクタマシン（ＳＶＭ）、ディープニューラルネットワーク（ＤＮＮ）、畳み込みニューラルネットワーク（ＣＮＮ）、リカレントニューラルネットワーク（ＲＮＮ）、およびデノイジングスタックオートエンコーダ（ＤＳＡ）などを用いることができる。

また、予測器２２を機械学習させる際に用いる第１の細胞画像および第２の細胞画像は、必ずしも顕微鏡装置１０によって撮影されたものでなくてもよく、本実施形態の細胞画像評価予測システム以外の外部のサーバ装置になどに保存された細胞画像を用いるようにしてもよい。

図９は、上述したようにして機械学習された予測器を用いて、細胞の将来の状態を予測する方法を説明するためのフローチャートである。

図９に示すように、まず、顕微鏡装置１０によって特定の時点に撮影された第３の細胞画像が評価器２１に入力される（Ｓ２０）。そして、評価器２１によって第３の細胞画像の各関心領域Ｒの細胞の状態が評価される（Ｓ２２）。

次いで、第３の細胞画像の各関心領域Ｒの評価結果が予測器２２に入力される。予測器２２は、図４に示すように、第３の細胞画像内における特定の関心領域ＳＲの評価結果とその周辺の関心領域Ｒの評価結果に基づいて、特定の時点よりも後の時点の特定の関心領域ＳＲの細胞の状態を予測する（Ｓ２４）。

そして、本実施形態の予測器２２は、第３の細胞画像内の各関心領域Ｒを特定の関心領域ＳＲに設定して、上記と同様にして、細胞の状態を予測し、上述した学習クラスを評価結果とする予測マップを生成する（Ｓ２６）。

図１に戻り、制御部２３は、細胞画像評価装置２０全体を制御するものである。また、制御部２３は、予測器２２において生成された予測マップを表示装置３０に表示させるものである。本実施形態においては、ウェル毎の第３の細胞画像が評価器２１に入力され、その評価結果に基づいて、ウェル毎の予測マップが生成される。予測マップとしては、たとえば予測された評価結果に基づいて、それぞれ色分けされたカラーマップを生成して表示装置３０に表示するようにすればよい。

上記実施形態の細胞画像評価予測システムによれば、細胞を撮影した細胞画像を複数の領域に分割した各関心領域について、その細胞の状態の評価結果を出力する評価器２１と、成長前段階の細胞を撮影した第１の細胞画像内における特定の関心領域および特定の関心領域の周辺領域の評価器２１による評価結果と、成長前段階よりも後の時点において第１の細胞画像と同じ撮影対象を撮影した第２の細胞画像内における特定の関心領域の細胞の状態との関係を予め機械学習させた予測器２２とを備える。

そして、予測器２２が、特定の時点に撮影した第３の細胞画像の評価器２１による評価結果の入力を受け付け、第３の細胞画像内における特定の関心領域および特定の関心領域の周辺領域の評価器２１による評価結果に基づいて、特定の時点よりも後の時点の特定の関心領域の細胞の状態を出力するようにしたので、ユーザは、特定の関心領域の細胞の状態が、将来、どのように変化するかを把握することができ、たとえば継代などの細胞に対する操作を適切なタイミングで行うことができる。

なお、本実施形態においては、第１の細胞画像および第３の細胞画像の評価器２１による評価として、核小体の密度を含めるようにしてもよい。未分化細胞は、細胞が凝集してコロニーを形成するので核小体の密度が高く、分化細胞は、各細胞同士が離れて分布するため核小体の密度は低くなる。したがって、評価器２１による評価として核小体の密度を含めることによって、分化細胞であるか、または未分化細胞であるかの予測器２２の予測結果の精度を向上させることができる。

また、本実施形態においては、成長前段階の細胞を撮影した第１の細胞画像内における特定の関心領域および特定の関心領域の周辺領域の評価器２１による評価結果と、成長前段階よりも後の時点において第１の細胞画像と同じ撮影対象を撮影した第２の細胞画像内における特定の関心領域の細胞の状態との関係を予め機械学習させた予測器２２を設け、その予測器２２が、特定の時点に撮影した第３の細胞画像の評価器２１による評価結果の入力を受け付け、特定の時点に撮影した第３の細胞画像内における特定の関心領域および特定の関心領域の周辺領域の評価器２１による評価結果に基づいて、特定の時点よりも後の時点の特定の関心領域の細胞の状態を出力するようにしたが、すなわち、特定の関心領域の評価とその周辺領域の評価結果とを用いて予測器２２の機械学習を行い、特定の関心領域の評価とその周辺領域の評価結果とを用いて特定の関心領域の細胞の状態を予測して出力するようにしたが、予測器２２の機械学習を行う際、成長前段階の細胞の評価結果として、特定の関心領域の評価結果を用いることなく、特定の関心領域の周辺領域の評価結果のみを用いるようにしてもよい。また、予測器２２によって特定の関心領域の細胞の状態を予測して出力させる際、特定の関心領域の評価結果を用いることなく、特定の関心領域の周辺領域の評価結果のみを用いるようにしてもよい。

すなわち、成長前段階の細胞を撮影した第１の細胞画像内における特定の関心領域の周辺領域の評価器２１による評価結果と、成長前段階よりも後の時点において第１の細胞画像と同じ撮影対象を撮影した第２の細胞画像内における特定の関心領域の細胞の状態との関係を予め機械学習させた予測器２２を設け、特定の時点に撮影した第３の細胞画像内における特定の関心領域の周辺領域の評価器２１による評価結果に基づいて、特定の時点よりも後の時点の特定の関心領域の細胞の状態を出力するようにしてもよい。

また、上記実施形態においては、予測器２２によって生成された予測マップを表示装置３０に表示させるようにしたが、これに限らず、予測器２２から出力された各関心領域の予測結果を統合して、ウェル全体の細胞の状態を表す指標を表示装置３０に表示させるようにしてもよい。図１０は、上述したように各関心領域の予測結果を統合して、ウェル全体の細胞の状態を表す指標を取得する統合部２３ａを有する細胞画像評価予測システムの概略構成を示すブロック図である。

統合部２３ａは、たとえば分化細胞の領域および未分化細胞の領域に基づいて、ウェル全体における細胞のコンフルエンシーを算出し、その割合を予測マップとともに表示装置３０に表示させる。または、たとえばウェル全体の平均品質を算出し、予測マップとともに表示装置３０に表示させるようにしてもよい。ウェル全体の平均品質を算出する方法としては、たとえば細胞領域全体に占める分化細胞の領域または未分化細胞の領域の割合と、人間の目視による評価点（たとえば３段階の評価点）を元に回帰式を予め準備しておき、ウェル全体に占める分化細胞の領域または未分化細胞の領域の割合に対して、上述した回帰式を当てはめることによって、ウェル全体の平均品質を算出するようにすればよい。回帰の方法としては、これに限らず、重回帰でもよいし、ロジスティック回帰でもよい。

また、コンフルエンシーおよび平均品質に限らず、ウェル全体の細胞の状態を表す指標であれば、その他の指標を表示装置３０に表示させるようにしてもよい。また、ウェル全体の指標に限らず、ウェルプレート全体の指標を算出して表示させるようにしてもよい。

また、上記実施形態においては、分化細胞の領域であるか、または未分化細胞の領域であるかなど、関心領域がどの領域に属するかを予測器２２から出力させるようにしたが、これに限らず、関心領域内に含まれる細胞の２以上の各状態への遷移確率を予測器２２から出力させるようにしてもよい。具体的には、たとえば図１１に示すように、各関心領域Ｒについて分化細胞への遷移確率と未分化細胞への遷移確率とを出力するように予測器２２を構成してもよい。

そして、予測器２２から出力された各関心領域の２以上の遷移確率をマッピングして予測マップを生成し、表示装置３０に表示させるようにしてもよい。または、統合部２３ａが、各関心領域の２以上の遷移確率を統合して、ウェル全体の細胞の状態を取得するようにしてもよい。

統合部２３ａにおける各関心領域の２以上の遷移確率の統合方法としては、たとえば各関心領域の２以上の遷移確率のうちの、最も大きい遷移確率の細胞の状態を統合するようにしてもよい。具体的には、図１１に示すように、各関心領域Ｒについて、分化細胞への遷移確率と未分化細胞への遷移確率を予測器２２が出力する場合には、各関心領域Ｒの２つの遷移確率のうちの大きい方の遷移確率の細胞の状態を、その関心領域Ｒの細胞の状態として取得する。たとえば所定の関心領域Ｒの分化細胞への遷移確率が８０％であり、未分化細胞への遷移確率が２０％である場合には、その所定の関心領域Ｒの細胞の状態は分化細胞であるとする。そして、ウェル内のその他の関心領域Ｒについても、同様にして、分化細胞であるか、未分化細胞であるかを特定する。そして、ウェル全体の関心領域Ｒの数に対する分化細胞の関心領域Ｒの数の比率と、ウェル全体の関心領域Ｒの数に対する未分化細胞の関心領域Ｒの数の比率とを算出することによって、ウェル全体の細胞の状態を取得する。

または、上述したように各関心領域の２以上の遷移確率のうちの、最も大きい遷移確率を統合するのではなく、各関心領域の各遷移確率をウェル全体で統合するようにしてもよい。具体的には、ウェル内の各関心領域について、たとえば分化細胞への遷移確率と、未分化細胞への遷移確率と、積層状態への遷移確率と、培地への遷移確率とを予測器２２から出力する場合には、ウェル内の全ての関心領域の各状態の遷移確率を、状態毎にそれぞれ加算し、その加算した確率を関心領域の数で除算することによって、ウェル全体について、分化細胞への遷移確率と、未分化細胞への遷移確率と、積層状態への遷移確率と、培地への遷移確率とを取得するようにしてもよい。

また、ウェル全体について各状態への遷移確率を統合するのではなく、細胞コロニー単位で各状態への遷移確率を統合するようにしてもよい。図１２は、ウェルＷ内における細胞コロニー領域ＣＲ毎に、その各状態への遷移確率を統合した例を示したものである。図１２では、細胞コロニー領域ＣＲに含まれる各関心領域の分化状態への遷移確率と、未分化細胞への遷移確率と、積層状態への遷移確率とを統合した例を示している。図１２に示すような遷移確率マップを生成して表示装置３０に表示させるようにしてもよい。

また、上記実施形態においては、予測器２２に対して、１つの第３の細胞画像の評価結果を入力するようにしたが、これに限らず、複数の異なる時点で撮影された第３の細胞画像の評価結果を入力するようにしてもよい。図１３は、現時点において撮影された第３の細胞画像の評価結果と、１日前に撮影された第３の細胞画像の評価結果と、２日前に撮影された第３の細胞画像の評価結果とを予測器２２に入力して、１つの予測結果を得る例を示す図である。なお、この場合、予測器２２を機械学習させる際にも、複数の異なる時点で撮影された第１の細胞画像の評価結果が入力される。

また、上記実施形態においては、予測器２２に対して、第３の細胞画像の評価結果を入力するようにしたが、第３の細胞画像の評価結果に加えて、少なくとも１つの培養条件を入力するようにしてもよい。培養条件としては、培地の種類および量、培養における環境温度および湿度、並びに成長因子の有無などがある。なお、この場合、予測器２２を機械学習させる際にも、上述したような培養条件が予測器２２に入力される。培養条件については、たとえばユーザが入力装置４０を用いて設定入力すればよい。

また、上記実施形態においては、予測器２２が、たとえば１日後および２日後などの予測日時の入力を受け付けるようにし、その予測日時における細胞の状態を予測して出力するようにしてもよい。なお、この場合、予測器２２を機械学習させる際、第１の細胞画像と第２の細胞画像との間の時間情報も予測器２２に入力される。時間情報については、たとえばユーザが入力装置４０を用いて設定入力すればよい。

また、上記実施形態においては、図１４に示すように、予測器２２から出力された細胞の状態の情報を取得し、その細胞の状態の情報に基づいて、細胞に対する操作内容を決定する操作内容決定部２３ｂを設けるようにしてもよい。具体的には、上述したようにウェル内の細胞のコンフルエンシーを算出する場合には、操作内容決定部２３ｂが、コンフルエンシーの値に基づいて、継代、薬剤添加、およびピッキングなどの操作を決定するようにしてもよい。操作内容決定部２３ｂによって決定された操作内容は表示装置３０に表示され、ユーザに対してその操作を行うように促す。また、上述したようにウェル内の細胞の平均品質を算出する場合には、操作内容決定部２３ｂが、平均品質の値に基づいて、培地交換および培地変更などの操作を決定するようにしてもよい。操作内容決定部２３ｂによって決定された操作内容は表示装置３０に表示され、ユーザに対してその操作を行うように促す。また、操作内容決定部２３ｂにおいて決定する操作内容としては、上述した例に限らず、遺伝子検査を行うように表示装置３０に表示させるようにしてもよい。具体的には、たとえば細胞の品質が予め設定しておいた基準値を下回り、品質が悪い場合に、遺伝子検査を行うようユーザに促すようにしてもよい。また、細胞の状態の予測結果として、“不明”というクラスを設けておき、このクラスの出現数が多い場合に、遺伝子検査を行うよう促し、これにより細胞の状態を確定するようにしてもよい。

また、上記実施形態においては、評価器２１において未分化細胞であるか、または分化細胞であるかを評価するようにしたが、これに限られるものではない。たとえば評価器２１において、関心領域内の細胞が線維芽細胞であるか、フィーダー細胞であるかを評価するようにしてもよい。線維芽細胞は、皮膚を構成する細胞の１つである。評価器２１によって線維芽細胞であるか、またはフィーダー細胞であるかを評価し、上記実施形態と同様にして予測器２２に機械学習させ、予測器２２から各関心領域が線維芽細胞であるか、フィーダー細胞であるかを出力させることによって、線維芽細胞の成長度を知ることができる。

また、評価器２１において、関心領域内の細胞が多能性幹細胞であるか、フィーダー細胞であるかを評価するようにしてもよい。多能性幹細胞としては、ｉＰＳ細胞およびＥＳ細胞がある。評価器２１によって多能性幹細胞であるか、またはフィーダー細胞であるかを評価し、上記実施形態と同様にして予測器２２に機械学習させ、予測器２２から各関心領域内の細胞が多能性幹細胞であるか、またはフィーダー細胞であるかを出力させることによって、多能性幹細胞の成長度を知ることができる。

また、評価器２１において、関心領域が細胞の領域であるか、非細胞の領域であるかを評価するようにしてもよい。評価器２１によって細胞の領域であるか、または非細胞の領域であるかを評価し、上記実施形態と同様にして予測器２２に機械学習させ、予測器２２から各関心領域が細胞の領域であるか、または非細胞の領域であるかを出力させることによって、細胞の成長度および分布状態を知ることができる。

また、評価器２１において、関心領域内の細胞が生細胞であるか、死細胞であるかを評価するようにしてもよい。評価器２１によって細胞が生細胞であるか、または死細胞であるかを評価し、上記実施形態と同様にして予測器２２に機械学習させ、予測器２２から各関心領域が生細胞の領域であるか、死細胞の領域であるかを出力させることによって、細胞の成長度およびウェル内の細胞の培養状態を知ることができる。なお、生細胞であるか、死細胞であるかを評価する方法としては、たとえば細胞に含まれる核小体を抽出し、核小体が存在する細胞を生細胞として評価し、核小体が存在しない細胞を死細胞として評価するようにすればよい。

１０ 顕微鏡装置
２０ 細胞画像評価装置
２１ 評価器
２２ 予測器
２３ 制御部
２３ａ 統合部
２３ｂ 操作内容決定部
３０ 表示装置
４０ 入力装置
ＣＲ 細胞コロニー領域
ＥＲ１１ 領域
ＥＲ１２ 領域
ＥＲ２１ 領域
ＥＲ２２ 領域
ＥＲ３１ 領域
ＥＲ３２ 領域
Ｒ 関心領域
ＳＲ 特定の関心領域
Ｗ ウェル

Claims (15)

1. 細胞を撮影した細胞画像の各関心領域について、該各関心領域に含まれる細胞の状態を評価し、該評価結果を出力する評価器と、
   時系列に細胞を撮影した少なくとも２以上の細胞画像のうち、成長前段階の細胞を撮影した少なくとも１つの第１の細胞画像内における特定の前記関心領域の周辺領域の前記評価器による評価結果と、前記成長前段階よりも後の時点において前記第１の細胞画像と同じ撮影対象を撮影した第２の細胞画像内における前記特定の関心領域の細胞の状態との関係を予め機械学習させた予測器であって、細胞が収容された容器内を少なくとも１つの特定の時点に撮影した第３の細胞画像の前記評価器による評価結果のうちの複数の関心領域各々の周辺領域の評価結果に基づいて、前記特定の時点よりも後の時点の前記容器内の前記複数の関心領域の細胞の状態を予測して出力する予測器と、
   前記予測器により出力された前記複数の関心領域の細胞の状態を統合して、前記容器全体の細胞の状態を取得する統合部と、
   を備えた細胞画像評価装置。
2. 前記予測器が、前記細胞の状態の出力として、２以上の各状態への遷移確率を出力する請求項１記載の細胞画像評価装置。
3. 前記予測器が、前記細胞の状態の出力として、２以上の各状態への遷移確率をそれぞれ出力し、
   前記統合部が、前記各関心領域の２以上の各状態の遷移確率を該状態毎に統合して、前記容器全体の細胞の状態を取得する請求項１記載の細胞画像評価装置。
4. 前記予測器が、前記細胞の状態の出力として、２以上の各細胞の状態への遷移確率をそれぞれ出力し、
   前記統合部が、前記各関心領域の２以上の各状態の遷移確率のうち、最も大きい遷移確率の状態を統合して、前記容器全体の細胞の状態を取得する請求項１記載の細胞画像評価装置。
5. 前記予測器が、少なくとも１つの培養条件の入力を受け付ける請求項１から４いずれか１項記載の細胞画像評価装置。
6. 前記評価器が、少なくとも細胞が未分化状態であるか、または分化状態であるかを評価する請求項１から５いずれか１項記載の細胞画像評価装置。
7. 前記評価器が、少なくとも核小体の密度を評価する請求項１から５いずれか１項記載の細胞画像評価装置。
8. 前記評価器が、少なくとも白すじの密度を評価する請求項１から５いずれか１項記載の細胞画像評価装置。
9. 前記評価器が、少なくとも細胞が線維芽細胞であるか、またはフィーダー細胞であるかを評価する請求項１から５いずれか１項記載の細胞画像評価装置。
10. 前記評価器が、少なくとも細胞が多能性幹細胞であるか、またはフィーダー細胞であるかを評価する請求項１から５いずれか１項記載の細胞画像評価装置。
11. 前記評価器が、少なくとも細胞であるか、または非細胞であるかを評価する請求項１から５いずれか１項記載の細胞画像評価装置。
12. 前記評価器が、少なくとも細胞が生細胞であるか、または死細胞であるかを評価する請求項１から５いずれか１項記載の細胞画像評価装置。
13. 前記予測器から出力された細胞の状態の情報を取得し、該細胞の状態の情報に基づいて、前記細胞に対する操作内容を決定する操作内容決定部を備えた請求項１から１２いずれか１項記載の細胞画像評価装置。
14. 前記細胞に対する操作内容が、継代、培地交換、培地の変更、薬剤添加、ピッキングまたは遺伝子検査である請求項１３記載の細胞画像評価装置。
15. コンピュータを、
    細胞を撮影した細胞画像の各関心領域について、該各関心領域に含まれる細胞の状態を評価し、該評価結果を出力する評価器と、
    時系列に細胞を撮影した少なくとも２以上の細胞画像のうち、成長前段階の細胞を撮影した少なくとも１つの第１の細胞画像内における特定の前記関心領域の周辺領域の前記評価器による評価結果と、前記成長前段階よりも後の時点において前記第１の細胞画像と同じ撮影対象を撮影した第２の細胞画像内における前記特定の関心領域の細胞の状態との関係を予め機械学習させた予測器であって、細胞が収容された容器内を少なくとも１つの特定の時点に撮影した第３の細胞画像の前記評価器による評価結果のうちの複数の関心領域各々の周辺領域の評価結果に基づいて、前記特定の時点よりも後の時点の前記容器内の前記複数の関心領域の細胞の状態を予測して出力する予測器と、
    前記予測器により出力された前記複数の関心領域の細胞の状態を統合して、前記容器全体の細胞の状態を取得する統合部として機能させる細胞画像評価プログラム。