JP7248139B2 - 細胞画像解析方法及び細胞解析装置 - Google Patents

Description

本発明は、細胞について得られた観察画像を解析処理する細胞画像解析方法、及び該方法を用いた細胞解析装置に関する。

細胞核（以下、慣用に従い単に「核」ということがある）は細胞の遺伝情報を司るＤＮＡを含んでおり、細胞分裂や遺伝子発現制御などを担う、細胞で最も重要な器官の一つである。そのため、細胞の顕微鏡画像における核の観察は、細胞に関連した各種の研究や製品開発のうえで非常に重要である。

一般的に生細胞のままでの核の観察は難しいとされており、例えば特許文献１には、核を簡単な操作で以て染色したうえで形態観察を行うための技術が開示されている。また、病理画像解析の分野においても細胞核の観察は重要であり、例えば非特許文献１には、細胞核を染色した細胞について得られた画像（病理画像）において細胞核を抽出し細胞当たりのタンパク質を定量化する技術が開示されている。また、特許文献２、３には、細胞や細胞核を染色して顕微鏡で得られた画像を対象とした機械学習の学習モデルを利用して、細胞核の領域を検出する技術が開示されている。さらにまた、特許文献４には、細胞核を染色した細胞画像（病理画像）を用いて細胞核数を計測する技術が開示されている。

しかしながら、上述したように細胞や細胞核を染色する方法は侵襲的な手法であり、観察に使用した細胞の培養を継続したり、観察に使用した細胞をそのまま別の目的に使用したりする、例えば再生医療等製品として患者に投与する、といったことはできない。ｉＰＳ細胞やＥＳ細胞等の多能性幹細胞を利用した再生医療の研究・開発においては、多能性を維持した状態の未分化の細胞を大量に培養する必要がある。そのためには、培養中の細胞の状態を頻繁に確認する必要があるが、こうした分野では上述したような侵襲的な観察手法を用いることができない。そのため、非侵襲的で且つ非破壊的に細胞核の観察が行える手法の確立が強く要望されている。

一方、特許文献５には、ラマン散乱光を利用した顕微鏡を用い、非染色で、つまりは非侵襲的に細胞の生死判定を行う技術が開示されている。しかしながら、ラマンイメージングでは画像内の対応画素におけるスペクトル情報を得ることができるものの、生細胞において実施する判定に寄与するスペクトルを特定する必要があるなど、複雑な処理を要する。また、ラマン散乱光を利用した顕微鏡では染色を行わずに細胞核を観察することはできるものの、スペクトルの特定など煩雑な事前検討が必要であるだけでなく、短時間で以て撮影可能である観察領域が小さいという制約がある。そのため、細胞を培養しているウェル内全体に存在する生細胞の核を観察するには不向きである。また、細胞を培養しているウェル内全体の細胞核の数を計測することも不可能である。

国際特許公開第２０１２／０９５９３５号 特開２０１９－９５８５３号公報 特開２０１９－９１３０７号公報 特許第５９２４４０６号公報 国際特許公開第２０１４／１６２７４４号 国際特許公開第２０１６／１６２９４５号

三村勇介、ほか３名、「医用画像における細胞認識技術」、KONICA MINOLTA TECHNOLOGY REPORT、VOL. 13、2016年、［online］、［2019年9月10日検索］、インターネット＜URL: https://www.konicaminolta.jp/about/research/technology_report/2016/pdf/13_mimura.pdf＞

本発明は上記課題を解決するためになされたものであり、その主たる目的は、例えばウェル等の容器内の広い範囲に存在する細胞の核を、非侵襲的に良好に観察したり解析したりすることができる細胞画像解析方法及び細胞解析装置を提供することである。

上記課題を解決するためになされた本発明に係る細胞画像解析方法の一態様は、
ホログラフィック顕微鏡で取得されたホログラムデータに基づいて作成される細胞の位相画像を入力画像とし、これに対応する、細胞核を染色して得られた染色画像に基づく擬似的な核領域画像を正解画像とした学習データを用い、機械学習を行うことで核領域学習モデルを作成する第１の学習モデル作成ステップと、
前記細胞の位相画像を入力画像とし、これに対応する、細胞骨格を染色して得られた染色画像に基づく擬似的な細胞領域画像を正解画像とした学習データを用い、機械学習を行うことで細胞領域学習モデルを作成する第２の学習モデル作成ステップと、
前記核領域学習モデルを用い、解析対象の細胞についての位相画像を入力画像とし、細胞核の領域を示す核領域推定画像を出力画像として取得する核領域推定ステップと、
前記細胞領域学習モデルを用い、前記解析対象の細胞についての位相画像を入力画像とし、細胞領域を示す細胞領域推定画像を出力画像として取得する細胞領域推定ステップと、
前記核領域推定画像と前記細胞領域推定画像とを用い、細胞領域であると推定される範囲に存在する細胞核を抽出する核領域抽出ステップと、
を有するものである。

また上記課題を解決するためになされた本発明に係る細胞解析装置の一態様は、
ホログラフィック顕微鏡と、
前記ホログラフィック顕微鏡で細胞を観察することで取得されたホログラムデータに基づいて、前記細胞の位相画像を作成する画像作成部と、
ホログラムデータに基づいて作成される細胞の位相画像を入力画像とし、これに対応する、細胞核を染色して得られた染色画像に基づく擬似的な核領域画像を正解画像とした学習データを用い、機械学習を行うことで作成された核領域学習モデルが記憶される第１学習モデル記憶部と、
前記細胞の位相画像を入力画像とし、これに対応する細胞骨格を染色して得られた染色画像に基づく擬似的な細胞領域画像を正解画像とした学習データを用い、機械学習を行うことで作成された細胞領域学習モデルが記憶される第２学習モデル記憶部と、
前記第１学習モデル記憶部に記憶されている核領域学習モデルを用い、解析対象の細胞について前記画像作成部で作成された位相画像を入力画像とし、細胞核の領域を示す核領域推定画像を出力画像として取得する核領域推定部と、
前記第２学習モデル記憶部に記憶されている細胞領域学習モデルを用い、前記解析対象の細胞についての位相画像を入力画像とし、細胞領域を示す細胞領域推定画像を出力画像として取得する細胞領域推定部と、
前記核領域推定画像と前記細胞領域推定画像とを用い、細胞領域であると推定される範囲に存在する細胞核を抽出する核領域抽出部と、
を備えるものである。

上記ホログラフィック顕微鏡は典型的にはデジタルホログラフィック顕微鏡であり、上記位相画像は例えば、デジタルホログラフィック顕微鏡により得られるホログラムデータに基づく計算処理により求められた位相情報に基づいて再構成される画像である。

本発明の上記態様による細胞画像解析方法及び細胞解析装置では、適宜の細胞についての位相画像と、同じ細胞の細胞核を染色して蛍光顕微鏡等で観察することで得られた核染色画像とを用いて、細胞核の領域を特定するための核領域学習モデルをディープラーニング等の機械学習により作成する。しかしながら、測定の原理上、ホログラムデータに基づいて再構成された位相画像には干渉縞が現れる場合があり、上記核領域学習モデルを用いて核領域の検出を行うと、位相画像上の干渉縞の影響によって本来は細胞核でない部分を細胞核であると誤って検出してしまうことがある。また、培養容器内の培地上にゴミなどの異物が存在した場合にも、それを細胞核であると誤検出することがある。

これに対し本発明の上記態様による細胞画像解析方法及び細胞解析装置では、核領域学習モデルとは別に、アクチンフィラメント等の細胞骨格を染色した染色画像を用い、細胞骨格が分布する領域を特定するための細胞領域学習モデルを機械学習により作成する。細胞骨格は細胞質内全体に繊維状又は網状に存在する構造要素であり、細胞の形状・形態を決定するものである。したがって、細胞骨格の分布領域は概ね細胞形状を示しているものとみなせる。即ち、細胞領域推定ステップにおいて細胞領域学習モデルを用いて得られた細胞領域推定画像は、細胞領域と細胞外の領域（背景領域）との区分を示す。当然、細胞核は細胞領域に存在するから、同じ撮影範囲に対する核領域推定画像と細胞領域推定画像とを比較し、細胞以外の背景領域に存在している細胞核があれば、それは核の誤検出であると判断できる。核領域抽出ステップでは、こうした判断を行うことによって、誤検出された細胞核を排除し、より確度の高い細胞核のみを抽出することができる。

このようにして、本発明の上記態様による細胞画像解析方法及び細胞解析装置によれば、解析対象である細胞に対する染色等の侵襲的な処理を行うことなく、位相画像から細胞核を正確に抽出することができる。特に、位相画像に干渉縞が現れていたり異物による像等が現れていたりした場合でも、それらの影響を排除して又は軽減して、細胞核を正確に観察することができる。そして、例えば、その細胞核の数を計数することで、細胞数の情報を得ることができる。また、真の細胞核の形状や形態、或いは、細胞核内部の状態を観察することができる。また、解析対象である細胞の撮影（測定）は非侵襲的に行えるので、撮影後の細胞を引き続き培養したり、別の目的の分析や観察に供したりすることができる。

本発明に係る細胞画像解析方法を用いた細胞解析装置の一実施形態の概略構成図。 本実施形態の細胞解析装置で使用されている全層畳み込みニューラルネットワークの構造の概念図。 本実施形態の細胞解析装置における学習モデル作成時の処理の流れを示すフローチャート。 本実施形態の細胞解析装置における解析対象である細胞の撮影から細胞計数結果出力までの処理の流れを示すフローチャート。 本実施形態の細胞解析装置における学習モデル作成時に使用する正解画像の処理過程を示す図であり、核染色蛍光画像の元画像（ａ）、背景除去処理後の画像（ｂ）、及び二値化処理後の画像（ｃ）。 本実施形態の細胞解析装置で得られるＩＨＭ位相像の一例を示す図。 図６に示したＩＨＭ位相像を入力画像とし学習モデルを用いた推定により出力される核領域推定画像の一例を示す図。 図７に示した核領域推定画像の正解画像を示す図。 図６に示したＩＨＭ位相像に核位置候補点を重ね合わせた画像を示す図。 図６に示したＩＨＭ位相像に核領域の正解点を重ね合わせた画像を示す図。 アクチンフィラメント染色画像と明視野画像の一例を示す図。 図６に示したＩＨＭ位相像を入力画像とし学習モデルを用いた推定により出力される細胞領域推定画像（二値画像）を示す図。 図１２に示した細胞領域推定画像を用いたマスク処理を行った後の核領域推定画像を示す図。 図６に示したＩＨＭ位相像にマスク処理後の核位置候補点を重ね合わせた画像を示す図。

以下、本発明に係る細胞画像解析方法及び細胞解析装置の一実施形態について、添付図面を参照して説明する。
図１は、本発明に係る細胞画像解析方法を実施するための一実施形態である細胞解析装置の要部のブロック構成図である。

本実施形態の細胞解析装置１は、顕微観察部１０、制御・処理部２０、ユーザインターフェイスである入力部３０及び表示部４０、を備える。また、細胞解析装置１には、ＦＣＮモデル作成部５０、が付設されている。

顕微観察部１０はインライン型ホログラフィック顕微鏡（In-line Holographic Microscopy：ＩＨＭ）であり、レーザダイオードなどを含む光源部１１とイメージセンサ１２とを備え、光源部１１とイメージセンサ１２との間に、細胞１４を含む培養プレート１３が配置される。

制御・処理部２０は、顕微観察部１０の動作を制御するとともに顕微観察部１０で取得されたデータを処理するものであって、撮影制御部２１と、ホログラムデータ記憶部２２と、位相情報算出部２３と、画像作成部２４と、核領域推定部２５と、細胞領域推定部２６と、マスク処理部２７と、細胞計数部２８と、表示処理部２９と、を機能ブロックとして備える。核領域推定部２５は核領域学習モデル記憶部２５１を含み、細胞領域推定部２６は細胞領域学習モデル記憶部２６１を含む。

ＦＣＮモデル作成部５０は、学習画像データ入力部５１と、画像位置合わせ処理部５２と、染色画像前処理部５３と、染色画像二値化部５４と、学習実行部５５と、モデル構築部５６と、を機能ブロックとして含む。このＦＣＮモデル作成部５０において作成される学習済みの学習モデルが、制御・処理部２０における記憶部に格納され、核領域学習モデル記憶部２５１及び細胞領域学習モデル記憶部２６１として機能する。

通常、制御・処理部２０の実体は、所定のソフトウェアがインストールされたパーソナルコンピュータやより性能の高いワークステーション、或いは、そうしたコンピュータと通信回線を介して接続された高性能なコンピュータを含むコンピュータシステムである。即ち、制御・処理部２０に含まれる各ブロックの機能は、コンピュータ単体又は複数のコンピュータを含むコンピュータシステムに搭載されているソフトウェアを実行することで実施される、該コンピュータ又はコンピュータシステムに記憶されている各種データを用いた処理によって具現化されるものとすることができる。

また、ＦＣＮモデル作成部５０の実体も、所定のソフトウェアがインストールされたパーソナルコンピュータやより性能の高いワークステーションである。通常、このコンピュータは制御・処理部２０と異なるコンピュータであるが、同じコンピュータであってもよい。つまり、ＦＣＮモデル作成部５０の機能を制御・処理部２０に持たせることもできる。

本実施形態の細胞解析装置１において、細胞の観察画像であるＩＨＭ位相像を作成するまでの作業及び処理について説明する。
オペレータが細胞１４を含む培養プレート１３を所定位置にセットして入力部３０で所定の操作を行うと、撮影制御部２１は顕微観察部１０を制御し、以下のような手順でホログラムデータを取得する。

即ち、光源部１１は１０°程度の角度の広がりを持つコヒーレント光を培養プレート１３の所定の領域に照射する。培養プレート１３及び細胞１４を透過したコヒーレント光（物体光１６）は、培養プレート１３上で細胞１４に近接する領域を透過した光（参照光１５）と干渉しつつイメージセンサ１２に到達する。物体光１６は細胞１４を透過する際に位相が変化した光であり、他方、参照光１５は細胞１４を透過しないので細胞１４に起因する位相変化を受けない光である。したがって、イメージセンサ１２の検出面（像面）上には、細胞１４により位相が変化した物体光１６と位相が変化していない参照光１５との干渉縞による像つまりホログラムが形成される。

光源部１１及びイメージセンサ１２は、図示しない移動機構によって、連動してＸ軸方向及びＹ軸方向に順次移動される。これにより、光源部１１から発せられたコヒーレント光の照射領域（観察領域）を培養プレート１３上で移動させ、広い２次元領域に亘るホログラムデータ（イメージセンサ１２の検出面で形成されたホログラムの２次元的な光強度分布データ）を取得することができる。

上述したように顕微観察部１０で得られたホログラムデータは逐次、制御・処理部２０に送られ、ホログラムデータ記憶部２２に格納される。制御・処理部２０において、位相情報算出部２３は、ホログラムデータ記憶部２２からホログラムデータを読み出し、位相回復のための所定の演算処理を実行することで観察領域（撮影領域）全体の位相情報を算出する。画像作成部２４は、算出された位相情報に基づいてＩＨＭ位相像を作成する。こうした位相情報の算出やＩＨＭ位相像の作成の際には、特許文献６等に開示されている周知のアルゴリズムを用いることができる。

図６はＩＨＭ位相像の一例である。透明である細胞は一般的な光学顕微鏡では視認しにくいが、ＩＨＭ位相像では個々の細胞をかなり明瞭に観察できることが分かる。但し、このＩＨＭ位相像から各細胞の核を視認することは困難である。そこで、本実施形態の細胞解析装置１では、機械学習法の一つである全層畳み込みニューラルネットワーク（ＦＣＮ：Fully Convolutional Neural network）を利用して、各細胞において核が存在すると推定される領域を示す核領域推定画像を得る。

図２はＦＣＮの構造の概念図である。ＦＣＮの構造や処理の詳細は多くの文献に詳しく説明されている。また、米国マスワークス（MathWorks）社が提供している「MATLAB」などの市販の或いはフリーのソフトウェアを利用した実装も可能である。そのため、ここでは概略的に説明する。

図２に示すように、ＦＣＮは、例えば畳み込み層とプーリング層との繰り返しが多層化された多層ネットワーク６０と、畳み込みニューラルネットワークにおける全結合層に相当する畳み込み層６１と、を含む。この場合、多層ネットワーク６０では、所定のサイズのフィルタ（カーネル）を用いた畳み込み処理と、畳み込み結果を２次元的に縮小して有効値を抽出するプーリング処理とを繰り返す。但し、多層ネットワーク６０は、プーリング層がなく畳み込み層のみで構成されていてもよい。また、最終段の畳み込み層６１では、所定のサイズのフィルタを入力画像内でスライドさせつつ局所的な畳み込み及び逆畳み込みを行う。このＦＣＮでは、ＩＨＭ位相像などの入力画像６３に対してセマンティックセグメンテーションを行うことで、細胞核の領域を画素単位でラベル付けしたセグメンテーション画像６４を出力することができる。

ここでは、入力されるＩＨＭ位相像における画素単位でのラベル化を行うように多層ネットワーク６０及び畳み込み層６１を設計する。即ち、出力画像であるセグメンテーション画像６４においてラベル付けされる一つの領域の最小単位はＩＨＭ位相像上の一つの画素である。そのため、仮にＩＨＭ位相像上で細胞核のサイズが１画素程度であったとしても、セグメンテーション画像６４において細胞核は一つの領域として検出される。

ＦＣＮにより上記のようなセマンティックセグメンテーションを行うには、予め多数の学習用の画像データを用いて、多層ネットワーク６０に含まれる複数の畳み込み層や最終段の畳み込み層６１それぞれにおけるフィルタの係数（重み）を学習させ、学習モデルを構築しておく必要がある。

次に、図３に示すフローチャートに従って、ＦＣＮモデル作成部５０における学習処理の動作を説明する。なお、学習を行う際には例えば、一般的に機械学習（特にディープラーニング）でしばしば用いられている確率的勾配降下法を利用した学習を行うことができる。

ＦＣＮモデル作成部５０において学習画像データ入力部５１は、画像作成部２４で作成されたＩＨＭ位相像とそれに対応する正解画像とを一組とする学習データ（教師データ、訓練データとも呼ばれるが、ここでは学習データという）を予め多数組読み込む（ステップＳ１１）。ＩＨＭ位相像は、上述したように細胞解析装置１で実際に細胞を撮影したデータに基づいて作成されるものであるが、必ずしも特定の細胞解析装置に限らず、同様の構成の他の細胞解析装置で得られたものでよい。一方、正解画像は、ＩＨＭ位相像を作成したときの細胞の核のみを染色し、それを適宜の顕微鏡で撮影した蛍光画像（核染色蛍光画像）である。染色の手法は細胞核を染色可能であれば特に問わないが、例えば、ＤＡＰＩ（4',6-diamidino-2-phenylindole）、ヨウ化プロピジウム、ＳＹＴＯＸ（登録商標）、ＴＯ－ＰＲＯ（登録商標）－３などを用いることができる。

一組であるＩＨＭ位相像と核染色蛍光画像とでは細胞の位置や方向、大きさなどが全く同じであることが望ましいが、一般には、デジタルホログラフィック顕微鏡での撮影と並行して染色蛍光画像を取得することはできないため、得られるＩＨＭ位相像と核染色蛍光画像とで細胞の位置や方向、大きさなどが異なることは避けられない。そこで、画像位置合わせ処理部５２は、いずれか一方の画像に対して平行移動、回転、拡大・縮小などの画像処理を行うことで、両画像の位置合わせを実施する（ステップＳ１２）。一般的には、細胞がより明瞭に視認可能であるＩＨＭ位相像を基準として、核染色蛍光画像の位置を合わせるように画像処理を行うとよい。この位置合わせの作業は、例えばウェルの縁部や培養プレートに付加したマークなどを参照してオペレータが手作業で行ってもよいが、所定のアルゴリズムで自動的に実施するようにしてもよい。

次に、染色画像前処理部５３は核染色蛍光画像において細胞核の領域がより鮮明になるように、ノイズ除去処理、及び背景除去処理を実施する（ステップＳ１３、Ｓ１４）。ノイズ除去処理は各種のノイズを除去することを目的としており、例えば、線形フィルタ、メディアンフィルタなどの各種のフィルタを用いることができる。また、背景除去処理は、細胞核以外の背景部分にある強度ムラを除去することを主な目的としたものであり、背景減算処理として、平均値フィルタを利用した方法などが知られている。ノイズ除去処理、及び背景除去処理の手法自体は、従来の画像処理で利用されている様々な手法を利用することができる。また、ノイズの状況は顕微鏡の特性や対象サンプルの特性にも依存するので、場合によってはノイズ除去処理を省略することができる。

染色画像二値化部５４は上記のように前処理がなされた画像を二値化処理して、核の領域とそれ以外の領域とを明確化した二値画像を作成する（ステップＳ１５）。さらに染色画像二値化部５４は、二値化後の画像に対し、モルフォロジー変換処理として膨張処理と縮小処理とを組み合わせたクロージング処理を実施する（ステップＳ１６）。

図５（ａ）は核染色蛍光画像の元画像、図５（ｂ）は図５（ａ）に示した画像に対し背景除去処理を行った後の画像、図５（ｃ）は図５（ａ）に示した画像に対し二値化を行った後の二値画像の一例である。以下で説明する画像も同様であるが、ここでは、間葉系幹細胞（ＭＳＣ：Mesenchymal Stem Cells）を対象とし、核染色にはＤＡＰＩを用いた。

一般的に核染色蛍光画像では、核領域以外の背景部分における強度ムラが大きいので、背景除去処理を実施しないと核領域を抽出することが可能な二値化が行えない。それに対し、背景除去処理を事前に行うことで、図５（ｃ）に示したように、核領域が的確に抽出されている二値画像を得ることができる。この二値画像は、対応するＩＨＭ位相像上の各画素について、細胞核領域とそれ以外の領域とをセマンティックセグメンテーションした画像である。また、上述したように二値化後にクロージング処理を行うことで、主として輝点ノイズ等の蛍光画像上の小さなノイズを除去することができる。但し、ノイズの状況やステップＳ１３でのノイズ除去処理の性能によっては、クロージング処理は省略することもできる。

全ての学習データについてステップＳ１２～Ｓ１５の処理を行うことで、ＩＨＭ位相像と核染色蛍光画像の二値画像とを組とする多数の学習データが揃ったならば、学習実行部５５は、その多数の学習データを用いて、ＦＣＮの学習を実行する（ステップＳ１７）。即ち、ＦＣＮによるセマンティックセグメンテーションの結果が正解画像にできるだけ近くなるように、ＦＣＮのネットワークにおける複数の畳み込み層でのフィルタ係数を学習する。モデル構築部５６は、その学習の繰り返しの過程でモデルを構築し、所定の学習が終了すると、モデル構築部５６はその学習結果に基づく学習モデルを保存する（ステップＳ１８）。
このようにして作成された、核領域を示す学習モデルを構成するデータが核領域学習モデル記憶部２５１に格納される。

但し、ホログラフィック顕微鏡による測定の原理上、顕微観察部１０で得られるホログラムデータには少なからず干渉縞が現れ、これがＩＨＭ位相像にも現れることがある。図６に示したＩＨＭ位相像では、干渉縞に由来する略同心円状の像がかなり明瞭に現れている。ＩＨＭ位相像上で干渉縞が明瞭になると、核領域学習モデルを用いて核領域を推定する際に、干渉縞の一部を誤って細胞核であると誤検出することがある。

図７は、図６に示したＩＨＭ位相像を入力画像とし核領域学習モデルを用いた推定により得られる核領域推定画像の一例を示す図である。図８は、図７に示した核領域推定画像の正解画像、つまりは正確な核の領域を示す図である。図９は、図６に示したＩＨＭ位相像に核領域推定結果である点（核位置候補点）を重ね合わせた画像を示す図である。図１０は、図６に示したＩＨＭ位相像に核領域の正解な点を重ね合わせた画像を示す図である。なお、図９、図１０において核位置を示す点は矩形状であり、それらは、グレイスケールで表された核領域に対し、後述する極大値領域抽出処理及び二値化処理を行うことによって得られたものである。

図９と図１０とを比較すると、図９では細胞核が存在しない筈である干渉縞上において偽の核領域が多数検出されていることが分かる。これは、単に核位置学習モデルを用いて核領域を推定しただけでは、多数の誤検出が生じることを意味している。
そこで、本実施形態の細胞解析装置では、誤検出された偽の核領域を除外する処理を行うために、核領域を認識するための学習モデルとは別に、細胞領域を認識する学習モデルを作成する。

ここでは、細胞領域を示す正解画像を得るために、細胞の内部全体に繊維形状又は網目状に存在する細胞骨格を利用する。図１１（ａ）及び（ｂ）は、同じ観察領域におけるアクチンフィラメントの蛍光染色画像及び通常の顕微鏡による明視野画像である。アクチンフィラメントは細胞骨格の一種であり、細胞の内部全体に繊維形状に存在する。図１１（ｂ）に示すように、明視野画像では細胞領域を視認することが難しいが、図１１（ａ）に示すように、アクチンフィラメントは概ね細胞全体に存在しているため、アクチンフィラメントが分布している範囲は細胞領域であるとみなすことができる。そこで、本実施形態の細胞解析装置では、細胞骨格（ここではアクチンフィラメント）を染色した蛍光画像を正確画像として、細胞領域を抽出するための細胞領域学習モデルを作成する。

細胞領域学習モデルは上記核領域学習モデルと同様の手順、即ち図３に示した手順で作成することができる。

細胞骨格は細胞の内部に繊維状に張り巡らされているが、必ずしも均等に存在しているわけではなく、細胞内であっても細胞骨格が存在しない又はその密度が低いために二値化すると部分的に黒色になる画素が生じる。これに対し、二値化後にクロージング処理を行うことで、周囲が白色である画素については黒色であっても白色に変換される。これにより、細胞骨格が実際に存在している部分だけではなく、細胞骨格が分布している範囲つまりは細胞領域全体を示す画像を得ることができる。即ち、クロージング処理後の画像は、対応するＩＨＭ位相像上の各画素について、細胞領域とそれ以外の領域とを区分けした画像となる。

ＩＨＭ位相像とクロージング処理後の細胞骨格染色蛍光画像とを組とする多数の学習データが揃ったならば、学習実行部５５は、その多数の学習データを用いて、ＦＣＮの学習を実行する。モデル構築部５６は、その学習の繰り返しの過程でモデルを構築し、所定の学習が終了すると、モデル構築部５６はその学習結果に基づく細胞領域学習モデルを保存する。このようにして作成された細胞領域学習モデルを構成するデータが、細胞解析装置１における細胞領域学習モデル記憶部２６１に格納される。

次に、細胞解析装置１で行われる、解析対象である細胞についての核領域推定画像の作成処理及びそれに基づく細胞計数処理について、図４に示すフローチャートを参照して説明する。

オペレータは解析対象の細胞１４を含む培養プレート１３を顕微観察部１０の所定位置にセットし、入力部３０で所定の操作を行う。これにより、撮影制御部２１の制御の下で顕微観察部１０は、試料（培養プレート１３中の細胞１４）の撮影を実施する（ステップＳ２１）。位相情報算出部２３及び画像作成部２４は、その撮影により得られたホログラムデータに基づいて位相計算を実行し、ＩＨＭ位相像を形成する（ステップＳ２２）。

核領域推定部２５は、ステップＳ２２で得られたＩＨＭ位相像を入力画像として読み込み、核領域学習モデル記憶部２５１に格納されている核領域学習モデルを用いたＦＣＮによる処理を実施し、入力画像に対応したセグメンテーション画像を出力画像として取得する（ステップＳ２３）。このときのセグメンテーション画像は、入力画像であるＩＨＭ位相像と同じ観察範囲について、細胞核の領域と細胞核以外の領域とを区別して示す核領域推定画像である。

よく知られているように、上述したような機械学習を行うことで構築した学習モデルを利用したＦＣＮ処理では、画素毎にセマンティックセグメンテーションの確からしさの確率を示す数値が得られる。つまり、ここでは、核の領域であるとの推定の確からしさの確率が画素毎に得られる。そこで核領域推定部２５は、画素毎のその確率値に応じて白から黒までの階調を変えたグレイスケールの画像を出力する。即ち、核領域推定画像では、核領域であると高い確度で推定される部分は白又はそれに近い階調で表示され、核領域であるとの推定の確度が低い部分は相対的に黒に近い階調で表示される。

すでに説明したように、図６に示したＩＨＭ位相像に対しては図７に示した核領域推定画像が得られる。上述したように、入力されたＩＨＭ位相像上で干渉縞が或る程度明瞭に現れている場合や異物の像が現れている場合、実際には細胞核が存在しない部位に偽の核領域が現れる。

次に、細胞領域推定部２６は、ステップＳ２２で得られたＩＨＭ位相像を入力画像として読み込み、細胞領域学習モデル記憶部２６１に格納されている細胞領域学習モデルを用いたＦＣＮによる処理を実施し、入力画像に対応したセグメンテーション画像を出力画像として取得する（ステップＳ２４）。このときのセグメンテーション画像は、入力画像であるＩＨＭ位相像と同じ観察範囲について、細胞領域とそれ以外の領域とを区別して示す細胞領域推定画像である。図１２は、図６に示したＩＨＭ位相像を入力画像として得られる細胞領域推定画像の一例である。

核領域推定画像と同様に、このときにも、ＦＣＮ処理によって画素毎に得られるセグメンテーションの確からしさの確率を示す数値が得られる。そこで、細胞領域推定部２６は、各画素の確率値をそれぞれ所定の閾値と比較し、閾値以上の確率値を有する画素を白、それ以外を黒とした二値のセグメンテーション画像を出力する。

次いでマスク処理部２７は、ステップＳ２３で得られた核領域推定画像に対し、ステップＳ２４で得られた二値化された細胞領域推定画像を用いたマスク処理を行う（ステップＳ２５）。即ち、図１２に示した二値画像の白色の部分つまり細胞領域に存在する核領域のみを抽出し、それ以外の核領域を排除する。このときに排除された核領域は、干渉縞や異物の像などの影響によって誤って検出された核領域である。図１３は、マスク処理後の核領域推定画像であり、図７と比較すれば分かるように、核領域の数が大幅に減少している。

このマスク処理後の核領域推定画像はグレイスケール画像であり、核によって信号のピーク値が異なる。そのため、仮に単一の閾値を用いた判定処理を行っても、全ての核を検出できるとは限らない。また、隣接する複数の核が一つの領域として見える場合もあるため、隣接している複数の核を切り分ける処理を行うことが好ましい。そこで、マスク処理部２７は、マスク処理後の核領域推定画像に対して極大値領域抽出処理を行う。

具体的には、グレイスケール画像である核領域推定画像において、黒である領域（背景領域）以外の領域を空間的に膨張させる。次に、その膨張画像において、ノイズ許容値を予め考慮して定めたオフセット値を各画素の信号値（輝度値）から減算することで、輝度を全般的に低下させる。そして、膨張処理前の画像と輝度低下後の画像との間で、画素毎の輝度値の引き算処理を行う。このような引き算処理を行うと、元画像において輝度値がピークである付近の狭い範囲において、そのピークの値とは無関係に、輝度値が非ゼロとなり、それ以外の領域では輝度値がゼロになる。即ち、この処理によって、元画像の中でその周囲よりも輝度値が高い極大値の領域を抽出することができる。

なお、この極大値領域抽出処理のアルゴリズムは画像処理において一般的なものであるが、このアルゴリズムに限らず、極大値領域抽出処理には適宜の既知の手法を用いることができる。例えば、核領域推定画像を二値化したあとに、細胞核毎に重心位置を求めることで核位置候補点を得るようにしてもよい。

マスク処理部２７は、マスク処理後の核領域推定画像から極大値領域を抽出した画像を作成したあと、該画像を二値化することで核領域の候補点を示す核位置候補点画像を得る（ステップＳ２６）。図１４は、図６に示したＩＨＭ画像に、核位置候補点を重ね合わせた図である。この図１４と図１０とを比較すると、核位置候補点は正解である核位置にほぼ一致していることが分かる。即ち、細胞領域推定画像を利用したマスク処理を行うことで、偽の核領域を的確に排除し、真に細胞核である領域を抽出することができる。

細胞計数部２８は、ステップＳ２６で得られた核位置候補点画像上で核位置候補点を計数する（ステップＳ２７）。特殊な場合を除けば、一つの細胞は一つの細胞核を有する。したがって、細胞核の数は細胞数を表しているとみることができ、表示処理部２９は計数結果を細胞数として表示部４０に表示する（ステップＳ２８）。もちろん、ＩＨＭ位相像、核領域推定画像、核位置候補点画像、細胞領域推定画像などの一つ又は複数を併せて表示してもよい。

以上のようにして、本実施形態の細胞解析装置では、観察範囲内に存在する細胞の数を正確に算出してユーザに提供することができる。
また、本実施形態の細胞解析装置において、図１４に示したようなＩＨＭ位相像に核位置候補点を重ねた画像を表示部４０に表示すれば、ユーザは細胞内での細胞核の位置を容易に把握することができる。また、図１３に示したような核領域推定画像を表示部４０に表示すれば、ユーザは細胞核の形状や形態を容易に把握することができる。
上述したような生細胞の計数や細胞核の観察は非侵襲的に行われるので、その解析や観察に使用された細胞を引き続き培養したり別の目的に使用したりすることが可能である。

上記実施形態の細胞解析装置では、グレイスケールの核領域推定画像に対しマスク処理を行い、マスク処理後に極大値領域抽出処理及び二値化処理を行って各核領域に対する核位置候補点を求めていたが、グレイスケールの核領域推定画像から核位置候補点画像を求めた後に細胞領域推定画像を用いたマスク処理を行ってもよい。また、マスク処理として、グレイスケールである核領域推定画像を二値化したあとそれぞれの核領域について、一つの核領域と細胞領域推定画像上の細胞領域との一部又は全部が重複しない場合に、その核領域は誤検出であるとみなして排除するという処理を行ってもよい。このように、マスク処理の方法についても様々な方法を採用することができる。

また、上記実施形態では、細胞核のセマンティックセグメンテーションのための機械学習法としてＦＣＮを用いていたが、通常の畳み込みニューラルネットワーク（ＣＮＮ）でもよいことは明らかである。また、ニューラルネットワークを用いた機械学習法に限らず、画像についてのセマンティックセグメンテーションが可能な機械学習法であれば本発明を適用することが有効である。こうした機械学習法としては、例えばサポートベクターマシン（ＳＶＭ）、ランダムフォレスト、アダブーストなどがある。上述したように、ＦＣＮでは、入力された画像に対してセグメンテーション画像を出力する際にセグメンテーションの推定確率を出力できるが、ＣＮＮやＳＶＭ等の他の手法でも、パッチ画像（全体画像を細かく区切った小領域の画像）を走査させ、各パッチ画像の中心点における細胞核らしさの確率を出力することができる。

また、上記実施形態の細胞解析装置では、顕微観察部１０としてインライン型ホログラフィック顕微鏡を用いていたが、ホログラムが得られる顕微鏡であれば、オフアクシス（軸外し）型、位相シフト型などの他の方式のホログラフィック顕微鏡に置換え可能であることは当然である。

また、上記実施形態や各種の変形例はあくまでも本発明の一例であり、本発明の趣旨の範囲でさらに適宜変形、修正、追加を行っても本願特許請求の範囲に包含されることは明らかである。

［種々の態様］
上述した例示的な実施形態が以下の態様の具体例であることは、当業者には明らかである。

（第１項）本発明に係る細胞画像解析方法の一態様は、
ホログラフィック顕微鏡で取得されたホログラムデータに基づいて作成される細胞の位相画像を入力画像とし、これに対応する、細胞核を染色して得られた染色画像に基づく擬似的な核領域画像を正解画像とした学習データを用い、機械学習を行うことで核領域学習モデルを作成する第１の学習モデル作成ステップと、
前記細胞の位相画像を入力画像とし、これに対応する、細胞骨格を染色して得られた染色画像に基づく擬似的な細胞領域画像を正解画像とした学習データを用い、機械学習を行うことで細胞領域学習モデルを作成する第２の学習モデル作成ステップと、
前記核領域学習モデルを用い、解析対象の細胞についての位相画像を入力画像とし、細胞核の領域を示す核領域推定画像を出力画像として取得する核領域推定ステップと、
前記細胞領域学習モデルを用い、前記解析対象の細胞についての位相画像を入力画像とし、細胞領域を示す細胞領域推定画像を出力画像として取得する細胞領域推定ステップと、
前記核領域推定画像と前記細胞領域推定画像とを用い、細胞領域であると推定される範囲に存在する細胞核を抽出する核領域抽出ステップと、
を有するものである。

（第７項）また本発明に係る細胞解析装置の一態様は、
ホログラフィック顕微鏡と、
前記ホログラフィック顕微鏡で細胞を観察することで取得されたホログラムデータに基づいて、前記細胞の位相画像を作成する画像作成部と、
ホログラムデータに基づいて作成される細胞の位相画像を入力画像とし、これに対応する、細胞核を染色して得られた染色画像に基づく擬似的な核領域画像を正解画像とした学習データを用い、機械学習を行うことで作成された核領域学習モデルが記憶される第１学習モデル記憶部と、
前記細胞の位相画像を入力画像とし、これに対応する細胞骨格を染色して得られた染色画像に基づく擬似的な細胞領域画像を正解画像とした学習データを用い、機械学習を行うことで作成された細胞領域学習モデルが記憶される第２学習モデル記憶部と、
前記第１学習モデル記憶部に記憶されている核領域学習モデルを用い、解析対象の細胞について前記画像作成部で作成された位相画像を入力画像とし、細胞核の領域を示す核領域推定画像を出力画像として取得する核領域推定部と、
前記第２学習モデル記憶部に記憶されている細胞領域学習モデルを用い、前記解析対象の細胞についての位相画像を入力画像とし、細胞領域を示す細胞領域推定画像を出力画像として取得する細胞領域推定部と、
前記核領域推定画像と前記細胞領域推定画像とを用い、細胞領域であると推定される範囲に存在する細胞核を抽出する核領域抽出部と、
を備えるものである。

第１項に記載の細胞画像解析方法、及び第７項に記載の細胞解析装置によれば、解析対象である細胞に対する染色等の侵襲的な処理を行うことなく、ホログラムデータに基づいて作成された細胞の位相画像から細胞核を正確に抽出することができる。特に、位相画像に干渉縞が現れていたり異物による像等が現れていたりした場合でも、それらの影響を排除して又は軽減して、細胞核を正確に観察することができる。そして、例えば、その細胞核の数を計数することで、細胞数の情報を得ることができる。また、真の細胞核の形状や形態、或いは、細胞核内部の状態を観察することができる。また、解析対象である細胞の撮影（測定）は非侵襲的に行えるので、撮影後の細胞を引き続き培養したり、別の目的の分析や観察に供したりすることができる。

（第２項）第１項に記載の細胞画像解析方法では、前記核領域抽出ステップで抽出された細胞核の数を計数する細胞計数ステップ、をさらに有するものとすることができる。

（第８項）また第７項に記載の細胞解析装置では、前記核領域抽出部で抽出された細胞核の数を計数する細胞計数部、をさらに備えることができる。

特殊な場合を除けば、一つの細胞は一つの細胞核を有するから、細胞核の数は細胞数を表しているとみることができる。第２項に記載の細胞画像解析方法、及び第８項に記載の細胞解析装置によれば、的確に抽出された細胞核の数を計数することができるので、観察範囲に存在する細胞の数を正確に求めることができる。

（第３項）第１項又は第２項に記載の細胞画像解析方法では、前記核領域抽出ステップで抽出された細胞核が表示された核領域推定画像を表示する表示ステップ、をさらに有するものとすることができる。

（第９項）また第７項又は第８項に記載の細胞解析装置では、前記核領域抽出部で抽出された細胞核が表示された核領域推定画像を表示する表示処理部、をさらに備えるものとすることができる。

第３項に記載の細胞画像解析方法、及び第９項に記載の細胞解析装置によれば、ユーザは表示された画像に基づいて、的確に抽出された細胞核の形状や形態を観察することができる。

（第４項）第１項～第３項のいずれか１項に記載の細胞画像解析方法において、前記細胞領域推定画像は、細胞領域とそれ以外の領域とを区分けした二値画像であるものとすることができる。

（第１０項）第７項～第９項のいずれか１項に記載の細胞解析装置において、前記細胞領域推定画像は、細胞領域とそれ以外の領域とを区分けした二値画像であるものとすることができる。

第４項に記載の細胞画像解析方法、及び第１０項に記載の細胞解析装置によれば、細胞領域とそれ以外の領域とが明確化されているので、細胞核である可能性が高いものを的確に且つ簡単な処理によって抽出することができる。

（第５項）第１項～第４項のいずれか１項に記載の細胞画像解析方法において、前記機械学習は畳み込みニューラルネットワークを用いたものとすることができる。

（第６項）第５項に記載の細胞画像解析方法において、前記畳み込みニューラルネットワークは全畳み込みニューラルネットワークとすることができる。

（第１１項）第７項～第１０項のいずれか１項に記載の細胞解析装置において、前記機械学習は畳み込みニューラルネットワークを用いたものとすることができる。

（第１２項）また第１１項に記載の細胞解析装置において、前記畳み込みニューラルネットワークは全畳み込みニューラルネットワークとすることができる。

第５項及び第６項に記載の細胞画像解析方法、並びに、第１０項及び第１１項に記載の細胞解析装置によれば、細胞核である可能性が高い領域や細胞である可能性が高い領域をそれぞれ的確に推定することができる。

（第１３項）また第７項～第１２項のいずれか１項に記載の細胞解析装置において、
細胞の位相画像を入力画像とし、これに対応する染色画像に基づく擬似的な領域画像を正解画像とした学習データを用い、機械学習を行うことで学習モデルを作成する学習モデル作成部、をさらに備え、
該学習モデル作成部を用いて前記核領域学習モデル及び前記細胞領域学習モデルを作成するものとすることができる。

第７項に記載の細胞解析装置は、細胞の位相画像から細胞領域推定画像を求めるために利用される学習モデルを作成する機能を有することは必須ではないが、第１３項に記載の細胞解析装置はその機能を有する。したがって、第１３項に記載の細胞解析装置によれば、例えば、核領域推定部において解析対象の細胞の位相画像に対して得られた核領域推定画像を、学習データに加えて学習モデルを再構築する、といった学習モデルの改良を容易に行うことができる。

１…細胞解析装置
１０…顕微観察部
１１…光源部
１２…イメージセンサ
１３…培養プレート
１４…細胞
１５…参照光
１６…物体光
２０…制御・処理部
２１…撮影制御部
２２…ホログラムデータ記憶部
２３…位相情報算出部
２４…画像作成部
２５…核領域推定部
２５１…核領域学習モデル記憶部
２６…細胞領域推定部
２６１…細胞領域学習モデル記憶部
２７…マスク処理部
２８…細胞計数部
２９…表示処理部
３０…入力部
４０…表示部
５０…ＦＣＮモデル作成部
５１…学習画像データ入力部
５２…画像位置合わせ処理部
５３…染色画像前処理部
５４…染色画像二値化部
５５…学習実行部
５６…モデル構築部

Claims (13)

1. ホログラフィック顕微鏡で取得されたホログラムデータに基づいて作成される細胞の位相画像を入力画像とし、これに対応する、細胞核を染色して得られた染色画像に基づく擬似的な核領域画像を正解画像とした学習データを用い、機械学習を行うことで核領域学習モデルを作成する第１の学習モデル作成ステップと、
   前記細胞の位相画像を入力画像とし、これに対応する、細胞骨格を染色して得られた染色画像に基づく擬似的な細胞領域画像を正解画像とした学習データを用い、機械学習を行うことで細胞領域学習モデルを作成する第２の学習モデル作成ステップと、
   前記核領域学習モデルを用い、解析対象の細胞についての位相画像を入力画像とし、細胞核の領域を示す核領域推定画像を出力画像として取得する核領域推定ステップと、
   前記細胞領域学習モデルを用い、前記解析対象の細胞についての位相画像を入力画像とし、細胞領域を示す細胞領域推定画像を出力画像として取得する細胞領域推定ステップと、
   前記核領域推定画像と前記細胞領域推定画像とを用い、細胞領域であると推定される範囲に存在する細胞核を抽出する核領域抽出ステップと、
   を有する、細胞画像解析方法。
2. 前記核領域抽出ステップで抽出された細胞核の数を計数する細胞計数ステップ、をさらに有する請求項１に記載の細胞画像解析方法。
3. 前記核領域抽出ステップで抽出された細胞核が表示された核領域推定画像を表示する表示ステップ、をさらに有する請求項１に記載の細胞画像解析方法。
4. 前記細胞領域推定画像は、細胞領域とそれ以外の領域とを区分けした二値画像である、請求項１に記載の細胞画像解析方法。
5. 前記機械学習は畳み込みニューラルネットワークを用いたものである、請求項１に記載の細胞画像解析方法。
6. 前記畳み込みニューラルネットワークは全畳み込みニューラルネットワークである、請求項５に記載の細胞画像解析方法。
7. ホログラフィック顕微鏡と、
   前記ホログラフィック顕微鏡で細胞を観察することで取得されたホログラムデータに基づいて、前記細胞の位相画像を作成する画像作成部と、
   ホログラムデータに基づいて作成される細胞の位相画像を入力画像とし、これに対応する、細胞核を染色して得られた染色画像に基づく擬似的な核領域画像を正解画像とした学習データを用い、機械学習を行うことで作成された核領域学習モデルが記憶される第１学習モデル記憶部と、
   前記細胞の位相画像を入力画像とし、これに対応する細胞骨格を染色して得られた染色画像に基づく擬似的な細胞領域画像を正解画像とした学習データを用い、機械学習を行うことで作成された細胞領域学習モデルが記憶される第２学習モデル記憶部と、
   前記第１学習モデル記憶部に記憶されている核領域学習モデルを用い、解析対象の細胞について前記画像作成部で作成された位相画像を入力画像とし、細胞核の領域を示す核領域推定画像を出力画像として取得する核領域推定部と、
   前記第２学習モデル記憶部に記憶されている細胞領域学習モデルを用い、前記解析対象の細胞についての位相画像を入力画像とし、細胞領域を示す細胞領域推定画像を出力画像として取得する細胞領域推定部と、
   前記核領域推定画像と前記細胞領域推定画像とを用い、細胞領域であると推定される範囲に存在する細胞核を抽出する核領域抽出部と、
   を備える細胞解析装置。
8. 前記核領域抽出部で抽出された細胞核の数を計数する細胞計数部、をさらに備える、請求項７に記載の細胞解析装置。
9. 前記核領域抽出部で抽出された細胞核が表示された核領域推定画像を表示する表示処理部、をさらに備える請求項７に記載の細胞解析装置。
10. 前記細胞領域推定画像は、細胞領域とそれ以外の領域とを区分けした二値画像である、請求項７に記載の細胞解析装置。
11. 前記機械学習は畳み込みニューラルネットワークを用いたものである、請求項７に記載の細胞解析装置。
12. 前記畳み込みニューラルネットワークは全畳み込みニューラルネットワークである、請求項１１に記載の細胞解析装置。
13. 細胞の位相画像を入力画像とし、これに対応する染色画像に基づく擬似的な領域画像を正解画像とした学習データを用い、機械学習を行うことで学習モデルを作成する学習モデル作成部、をさらに備え、該学習モデル作成部を用いて前記核領域学習モデル及び前記細胞領域学習モデルを作成する、請求項７に記載の細胞解析装置。

Images