JP7070656B2 - 細胞画像解析方法、細胞画像解析装置、及び学習モデル作成方法 - Google Patents

Description

本発明は、細胞について得られた観察画像を解析処理する方法及び装置、並びに該解析のための学習モデル作成方法に関し、さらに詳しくは、多能性幹細胞（ＥＳ細胞やｉＰＳ細胞）を培養する過程等において細胞の状態を非侵襲で判定したり細胞の数等の細胞に関する情報を取得したりする際に好適な細胞画像解析方法、細胞画像解析装置、及び学習モデル作成方法に関する。

再生医療分野では、近年、ｉＰＳ細胞やＥＳ細胞等の多能性幹細胞を用いた研究が盛んに行われている。こうした多能性幹細胞を利用した再生医療の研究・開発においては、多能性を維持した状態の未分化の細胞を大量に培養する必要がある。そのため、適切な培養環境の選択と環境の安定的な制御が必要であるとともに、培養中の細胞の状態を高い頻度で確認する必要がある。例えば、細胞コロニー内の細胞が未分化状態から逸脱すると、この場合、細胞コロニー内にある全ての細胞は分化する能力を有しているために、最終的にはコロニー内の細胞全てが未分化逸脱状態に遷移してしまう。そのため、観察者は培養している細胞中に未分化状態を逸脱した細胞（すでに分化した細胞や分化しそうな細胞、以下「未分化逸脱細胞」という）が発生していないかを日々確認し、未分化逸脱細胞を見つけた場合にはこれを迅速に除去する必要がある。

多能性幹細胞が未分化状態を維持しているか否かの判定は、未分化マーカーによる染色を行うことで確実に行うことができる。しかしながら、染色を行った細胞は死滅するため、再生医療用の多能性幹細胞の判定には未分化マーカー染色を実施することができない。そこで、現在の再生医療用細胞培養の現場では、位相差顕微鏡を用いた細胞の形態的観察に基づいて、観察者が未分化細胞であるか否かを判定するようにしている。位相差顕微鏡を用いるのは、一般に細胞は透明であって通常の光学顕微鏡では観察しにくいためである。

また、非特許文献１に開示されているように、最近では、ホログラフィ技術を用いて細胞の観察画像を取得する装置も実用化されている。この装置は、特許文献１～４等に開示されているように、デジタルホログラフィック顕微鏡で得られたホログラムデータに対し位相回復や画像再構成等のデータ処理を行うことで、細胞が鮮明に観察し易い位相像（インライン型ホログラフィック顕微鏡（In-line Holographic Microscopy：ＩＨＭ）を用いていることから、以下「ＩＨＭ位相像」という）を作成するものである。デジタルホログラフィック顕微鏡では、ホログラムデータを取得したあとの演算処理の段階で任意の距離における位相情報を算出することができるため、撮影時にいちいち焦点合わせを行う必要がなく測定時間を短くすることができるという利点がある。

しかしながら、位相差顕微画像やＩＨＭ位相画像において細胞が或る程度鮮明に観察可能であるとしても、観察者が目視で未分化細胞等を正確に判定するには熟練が必要である。また、人間の判断に基づくために判定にばらつきが生じることは避けられない。そのため、こうした従来の手法は多能性幹細胞を工業的に大量生産するのには適さない。

上記課題に対し、細胞の観察画像を画像処理することで細胞の状態を評価する種々の技術が従来提案されている。
例えば特許文献１には、所定時間隔てて取得された複数の細胞観察画像からそれぞれ細胞内部構造のテクスチャ特徴量を算出し、その複数の細胞観察画像に対するテクスチャ特徴量の差分や相関値を計算してその時系列変化に基づいて細胞の活性度を判別する方法が記載されている。この方法では例えば、時間経過に伴うテクスチャ特徴量の差分値が減少傾向である場合に、その細胞の活性度は減少している等と判断することができる。

また特許文献２には、細胞観察画像から取得した複数の指標値を用いてファジィニューラルネットワーク（ＦＮＮ）解析を実施し、増殖率などの細胞の品質を予測する方法が記載されている。該文献には、細胞観察画像に対する画像処理により求まるテクスチャ特徴量を指標値として利用することも記載されている。

上述したような従来の細胞評価方法では、細胞の状態や品質の判定に予め決められた特徴量が利用されている。こうした判定に利用可能な特徴量には様々なものがあり、その中から予め適宜のものが選択されるわけであるが、観察対象である細胞種や培養条件などが異なると、細胞の状態等を判定するために最適な特徴量が変わる場合がある。そのため、常に高い精度で以て判定を行うには、観察対象である細胞種や培養条件などによって使用する特徴量を変更する必要があり、処理が非常に面倒である。また、それ以前とは異なる条件で培養した細胞についての判定を行う際には、その判定にどの特徴量が適切であるのかを検討する必要があり、細胞評価の効率が悪いという問題もある。

国際特許公開第２０１７／２０３７１８号パンフレット 国際特許公開第２０１７／２０４０１３号パンフレット 国際特許公開第２０１６／０８４４２０号パンフレット 特開平１０－２６８７４０号公報 特許第４９６８５９５号公報 特許第５１８１３８５号公報

「細胞培養解析装置 CultureScanner CS-1」、［online］、株式会社島津製作所、［平成２９年２月１４日検索］、インターネット＜URL: https://www.an.shimadzu.co.jp/bio/cell/cs1/index.htm＞ ジョナサン・ロング（Jonathan Long）、ほか２名、「フーリー・コンボリューショナル・ネットワークス・フォー・セマンティック・セグメンテーション（Fully Convolutional Networks for Semantic Segmentation）」、ザ・アイトリプルイー・カンファレンス・オン・コンピュータ・ビジョン・アンド・パターン・リコグニション（The IEEE Conference on Computer Vision and Pattern Recognition）、2015年、pp.3431-3440、（インターネット＜URL: https://people.eecs.berkeley.edu/~jonlong/long_shelhamer_fcn.pdf＞）

本発明はこうした課題を解決するためになされたものであり、その目的とするところは、細胞について得られた観察画像に基づいて細胞の状態や品質などを判定する際に、その判定に使用する特徴量などを選択したり検討したりする必要がない細胞画像解析方法及び細胞画像解析装置、さらには該解析に用いられる学習モデル作成方法を提供することである。

近年、多層のニューラルネットワークを利用した機械学習の一手法であるディープラーニング等を用いた画像処理の技術の進展は著しい。画像認識などの処理には、多くの場合、畳み込みニューラルネットワーク（Convolutional Neural Network：ＣＮＮ ）が利用されている。畳み込みニューラルネットワークは、通常、複数のフィルタによる畳み込み処理によって画像の特徴を抽出する畳み込み層と、一定領域の応答を集約するプーリング処理によって局所的なデータの位置不変性を与えるプーリング層と、畳み込み層及びプーリング層により特徴部分が抽出された画像データを一つのノードに結合し、活性化関数によって変換された値（特徴変数）を出力する全結合層と、を有する。

さらに、最近では、畳み込みニューラルネットワークを構成する全結合層を畳み込み層にする全層（又は完全）畳み込みニューラルネットワーク（Fully Convolutional Neural Network：ＦＣＮ ）が提案され（非特許文献２参照）、特にセマンティックセグメンテーションにおける応用が進んでいる。

全層畳み込みニューラルネットワークなどの機械学習を用いることで、特定の特徴量などを予め決めることなく、入力画像に対し特徴的な領域を識別したラベル画像を出力することができる。そこで本発明者は、細胞の観察画像内で未分化細胞、未分化逸脱細胞などの領域を識別するために全層畳み込みニューラルネットワークを代表とする機械学習の手法を利用することに想到し、さらに、ホログラフィック顕微鏡で取得されるホログラムデータの特徴を活かして画像の解析処理の高速化や高精度化を図ることにより、本発明を完成させるに至った。

上記課題を解決するために成された本発明に係る細胞画像解析方法は、コンピュータが、細胞を含む試料についてホログラフィック顕微鏡で取得されたホログラムデータに基づいて作成される細胞の観察画像を解析することで、細胞に関連するセグメンテーションを行う細胞画像解析方法であって、
観察画像の解析手法として機械学習を利用し、
コンピュータが、前記機械学習における学習処理時及び学習済みのモデルに基づく画像の推定処理時の処理対象画像として、有効範囲内であるホログラムデータに基づいて作成される観察画像の周囲に、有効範囲外のホログラムデータを含んだデータに基づいて作成される画像を追加した拡大観察画像を受領するステップ、を実行することを特徴としている。

また上記課題を解決するために成された本発明に係る細胞画像解析装置は上記細胞画像解析方法を実施するための装置であり、細胞を含む試料についてホログラフィック顕微鏡で取得されたホログラムデータに基づいて作成される細胞の観察画像を解析することで、細胞に関連するセグメンテーションを行う細胞画像解析装置であって、
a)有効範囲内であるホログラムデータに基づいて作成される観察画像の周囲に、有効範囲外のホログラムデータを含んだデータに基づいて作成される画像を追加した拡大観察画像を、後記解析処理部の処理対象画像として受領する拡大画像受領部と、
b)観察画像が正しくセグメンテーションされた情報が既知である拡大観察画像を処理対象とした機械学習によって予め構築された学習済みモデルを使用した演算処理により、前記拡大画像受領部で受領された目的とする観察画像に基づく拡大観察画像に対して細胞に関するセグメンテーションがなされたラベル画像を出力する解析処理部と、
を備えることを特徴としている。

また上記課題を解決するために成された本発明に係る学習モデル作成方法は、上記細胞解析方法において用いられる学習済みのモデルを作成するために好適な方法であり、コンピュータが、ホログラフィック顕微鏡で取得されたホログラムデータに基づいて作成される観察画像を機械学習を利用して解析することで前記観察画像のセグメンテーションを行う際に用いられる学習モデルを作成する学習モデル作成方法であって、
有効範囲内であるホログラムデータに基づいて作成される観察画像の周囲に、有効範囲外のホログラムデータを含んだデータに基づいて作成される画像を追加した拡大観察画像を処理対象画像として機械学習の学習を実行して学習モデルを作成することを特徴としている。

ここで、「有効範囲内であるホログラムデータ」とは典型的には干渉縞の欠損の影響が少ないホログラムデータであり、「有効範囲外のホログラムデータ」とは干渉縞の欠損の影響が大きいホログラムデータである。ただし、干渉縞の欠損の影響が小さい場合でも、ハレーションなどの影響によって画像周辺部の画質が低下する場合には、そうした領域も有効範囲外に含めることができる。

また本発明において画像解析に用いられる機械学習の手法は、セグメンテーションの対象である観察画像の枠の外側にデータがあるものとみなして、そのデータを含めて学習処理や画像の推定処理を実行するようなアルゴリズムの手法であれば、どのような機械学習でも適用可能である。こうした機械学習の手法としては、例えば、前述の全層畳み込みニューラルネットワークや畳み込みニューラルネットワークを含むディープラーニング（Deep Learning）のほか、サポートベクターマシン（Support Vector Machine：ＳＶＭ）、ランダムフォレスト（Random Forest）、アダブースト（AdaBoost）などが挙げられる。

ただし、本発明における機械学習法として実用的には、セマンティックセグメンテーションに頻用される畳み込みニューラルネットワーク、より好ましくは、全層畳み込みニューラルネットワークを用いるとよい。ここでいう、全層畳み込みニューラルネットワークは、非特許文献２で提案されている全層畳み込みニューラルネットワークの基本的なアルゴリズムのみならず、これから派生した又はこれを改良した種々の畳み込みニューラルネットワークの手法を含むものとする。

例えば畳み込みニューラルネットワークでは、一般的に、処理対象である入力画像の周囲のパディング領域にゼロ値を付加するゼロパディング処理を行うことで、畳み込み処理及びプーリング処理による画像サイズの縮小を補うとともに、画像端のデータに対する畳み込み回数が減るのを防止している。しかしながら、ゼロパディングを行うと、ゼロパディングの影響を受ける画像端部側とゼロパディングの影響を受けない画像の中心部側とで学習が別々に進んでしまい、その結果、全体として学習の収束性が悪化する。また、このことは学習モデルの精度、ひいては学習結果に基づく画像処理の精度の低下に繋がる。

一般的なカメラ等で撮影した画像について畳み込みニューラルネットワークでセグメンテーションを行う場合、その画像の周囲には画像データが存在しないわけであるからゼロパディングが行われる。これに対し、本発明において処理の対象であるホログラムデータに基づく位相像や強度像では、その位相像や強度像の周囲にも画像データが存在する。何故なら、ホログラフィック顕微鏡では原理的に画像（ホログラム画像）の周縁端で干渉縞の一部が欠損するため、ホログラムデータに基づく演算処理によって形成される位相像や強度像の周辺部は画質が劣化しており、この部分を有効範囲外として扱うからである。即ち、非特許文献１等に記載のホログラフィック技術を用いた細胞観察装置において表示される位相像や強度像の周囲には、表示には現れない画質の劣った位相像や強度像が有効範囲外の画像として存在している。そこで本発明では、ゼロパディングを行う代わりに、この有効範囲外の領域の全体又は一部をパディング領域とし、有効範囲外の領域に存在する画像の情報も学習処理や画像の推定処理に利用する。

上述したようにホログラムデータに基づく位相像や強度像等の観察画像において有効範囲外の領域に存在する画像の質は有効範囲内の領域に存在する画像に比べれば劣るものの、有効範囲の内外の境界を跨ぐ画像の連続性は高い。したがって、ゼロパディングの場合に生じるような、画像端部側と画像中心部側とで別々の学習の進行は起こりにくく、それ故に学習の収束性も良好である。そしてその結果として、精度の高いラベル画像を得ることができる。

なお、上述したように、本発明において細胞の観察画像はホログラムデータに基づく演算処理によって求まる位相像や強度像などであるが、一般的には、位相像は強度像などに比べて細胞の模様情報がより鮮明に現れているため、観察画像として位相像を用いることが好ましい。

また本発明において観察や評価の対象である細胞の種類等は特に問わないが、特に、ヒトｉＰＳ細胞を含む多能性幹細胞の観察や評価に好適である。この場合、前記セグメンテーションは少なくとも、未分化細胞と、未分化逸脱細胞又は分化細胞とを識別できるようにするとよい。

これによれば、培養中の多能性幹細胞中に未分化逸脱細胞や分化細胞が発生していないかどうかを、非侵襲で迅速且つ正確に判定することができる。

また本発明ではさらに、細胞の観察画像について細胞に関連するセグメンテーションを行った結果に基づいて、細胞領域の面積、細胞の数、又は細胞の密度の少なくともいずれかを推定する細胞情報算出ステップを有するものとするとよい。

細胞の種類によっておおよその細胞の大きさは知られている。そこで、細胞情報算出ステップでは、セグメンテーションがなされたラベル画像に基づいて細胞領域の面積を算出し、その細胞領域の面積と細胞の大きさとから細胞数を算出する。これにより、例えば培養中の多能性幹細胞の数を迅速に推定することができる。

また本発明ではさらに、細胞の観察画像について細胞に関連するセグメンテーションを行った結果又はそのセグメンテーションに基づく細胞状態の判定結果を、前記ホログラムデータの有効範囲内であるデータに基づいて作成される観察画像に重畳して表示部の表示画面上に表示する表示処理ステップを有するものとすることができる。なお、セグメンテーション結果は識別された各領域をそれぞれ異なる色で表せばよい。

これによれば、観察者は、細胞の外形や模様の情報とともに、例えば未分化細胞と未分化逸脱細胞との識別の結果等を一つの画像上で把握することができる。

本発明によれば、例えばｉＰＳ細胞やＥＳ細胞などの多能性幹細胞を培養する現場において、培養中の細胞が未分化状態を維持しているのか未分化逸脱状態であるのか、或いは、細胞コロニー中に未分化逸脱細胞が存在するか否か等を、非侵襲で迅速に、且つ高い精度で以て判定することができる。それにより、培養中の細胞の品質管理が容易になり、細胞培養における生産性の向上を図ることができる。

本発明に係る細胞画像解析装置を用いた細胞解析装置、及び該装置に用いられる学習済みモデルを作成する装置の概略構成図。 本実施例の細胞解析装置において使用される学習モデルを作成する際の学習処理の流れを示すフローチャート。 本実施例の細胞解析装置におけるセグメンテーション推定処理の流れを示すフローチャート。 本実施例の細胞解析装置で使用されている全層畳み込みニューラルネットワークの概念図。 ＩＨＭ位相像の一例（未分化逸脱細胞コロニー）を示す図。 ゼロパディングを行う場合と本発明による処理とでの画像情報の差異を説明するための概念図。 未分化逸脱細胞コロニーについてのＩＨＭ位相像（ａ）、学習処理時の正解画像（ｂ）、及びセグメンテーション結果である画像（ｃ）を示す図。

以下、本発明に係る細胞画像解析方法及び細胞画像解析装置の一実施例について、添付図面を参照して説明する。
図１は、本発明に係る細胞画像解析方法を実施するための細胞画像解析装置を用いた細胞解析装置、及び該装置に用いられる学習済みモデルを作成するための装置の概略構成図である。

本実施例の細胞解析装置１は、顕微観察部１０と、制御・処理部２０と、ユーザーインターフェイスである入力部３０及び表示部４０と、を備える。
顕微観察部１０はインライン型ホログラフィック顕微鏡（In-line Holographic Microscopy：ＩＨＭ）であり、レーザダイオードなどを含む光源部１１とイメージセンサ１２とを備え、光源部１１とイメージセンサ１２との間に、細胞コロニー（又は細胞単体）１４を含む培養プレート１３が配置される。

制御・処理部２０は、顕微観察部１０の動作を制御するとともに顕微観察部１０で取得されたデータを処理するものであって、撮影制御部２１と、ホログラムデータ記憶部２２と、位相情報算出部２３と、画像作成部２４と、細胞画像解析部２５と、を機能ブロックとして備える。また、細胞画像解析部２５は、パディング済み画像入力部２５１と、学習済みモデル記憶部２５２と、領域推定演算部２５３と、細胞情報算出部２５４と、表示処理部２５５と、を下位の機能ブロックとして含む。

また細胞解析装置１とは別に設けられているモデル作成部５０は、学習画像データ入力部５１、学習実行部５２、及びモデル構築部５３を機能ブロックとして含む。このモデル作成部５０において作成される学習済みモデルが、細胞解析装置１の制御・処理部２０における記憶部に格納されて学習済みモデル記憶部２５２として機能する。

通常、制御・処理部２０の実体は、所定のソフトウェアがインストールされたパーソナルコンピュータやより性能の高いワークステーション、或いは、そうしたコンピュータと通信回線を介して接続された高性能なコンピュータを含むコンピュータシステムである。即ち、制御・処理部２０に含まれる各ブロックの機能は、コンピュータ単体又は複数のコンピュータを含むコンピュータシステムに搭載されているソフトウェアを実行することで実施される、該コンピュータ又はコンピュータシステムに記憶されている各種データを用いた処理によって具現化されるものとすることができる。

また、モデル作成部５０の実体も、所定のソフトウェアがインストールされたパーソナルコンピュータやより性能の高いワークステーションである。通常のこのコンピュータは制御・処理部２０とは異なるコンピュータであるが、同じであってもよい。つまり、モデル作成部５０の機能を制御・処理部２０に持たせることもできる。

まず本実施例の細胞解析装置１において、細胞に関するセグメンテーションを実施する際に使用される観察画像であるＩＨＭ位相像を作成するまでの作業及び処理について述べる。
作業者が細胞コロニー１４を含む培養プレート１３を所定位置にセットして入力部３０で所定の操作を行うと、撮影制御部２１は顕微観察部１０を制御して以下のようにホログラムデータを取得する。

即ち、光源部１１は１０°程度の微小角度の広がりを持つコヒーレント光を培養プレート１３の所定の領域に照射する。培養プレート１３及び細胞コロニー１４を透過したコヒーレント光（物体光１６）は、培養プレート１３上で細胞コロニー１４に近接する領域を透過した光（参照光１５）と干渉しつつイメージセンサ１２に到達する。物体光１６は細胞コロニー１４を透過する際に位相が変化した光であり、他方、参照光１５は細胞コロニー１４を透過しないので該コロニー１４に起因する位相変化を受けない光である。したがって、イメージセンサ１２の検出面（像面）上には、細胞コロニー１４により位相が変化した物体光１６と位相が変化していない参照光１５との干渉縞による像が形成される。

なお、光源部１１及びイメージセンサ１２は図示しない移動機構によってＸ軸方向及びＹ軸方向に順次移動される。これにより、光源部１１から発せられたコヒーレント光の照射領域（観察領域）を培養プレート１３上で移動させ、広い２次元領域に亘るホログラムデータ（イメージセンサ１２の検出面で形成されたホログラムの２次元的な光強度分布データ）を取得することができる。

上述したように顕微観察部１０で得られたホログラムデータは逐次、制御・処理部２０に送られ、ホログラムデータ記憶部２２に格納される。制御・処理部２０において、位相情報算出部２３はホログラムデータ記憶部２２からホログラムデータを読み出し、位相回復のための所定の演算処理を実行することで観察領域（撮影領域）全体の位相情報を算出する。画像作成部２４は、算出された位相情報に基づいてＩＨＭ位相像を作成する。こうした位相情報の算出やＩＨＭ位相像の作成の際には、特許文献３、４等に開示されている周知のアルゴリズムを用いればよい。なお、ホログラムデータに基づいて位相情報のほかに、強度情報、擬似位相情報なども併せて算出し、画像作成部２４はこれらに基づく再生像を作成してもよい。

ここで、ホログラムデータから構成されるホログラム画像とこれに基づく演算処理等により形成されるＩＨＭ位相像との関係について、図６を参照して説明する。顕微観察部１０におけるイメージセンサ１２の受光面は平面視で矩形状であるため、イメージセンサ１２で取得されるホログラム画像の周縁端では干渉縞の一部は欠損する。そのため、干渉縞の欠損の影響が小さいのはホログラム画像の中央部側の所定の領域内であり、その領域よりも外側の領域では干渉縞の欠損の影響が大きい。図６（ａ１）、（ｂ１）に示すホログラム画像では、破線で示す矩形状の領域が干渉縞の欠損の影響が小さい領域である。

位相情報算出部２３では上述したホログラム画像を構成するデータに基づいて位相情報を算出するが、一部が欠損した干渉縞に対応するホログラムデータに基づいて算出された位相情報は精度が低くノイズも多い。そのため、ホログラム画像全体に対して得られた位相像の中でその画像の周縁端から内側に所定の範囲の画像は質が悪く、その範囲を除外して、つまりは中央部側の所定の矩形状の範囲内の画像のみを抽出してＩＨＭ位相像として表示等に利用している。図６（ａ２）、（ｂ２）に示すＩＨＭ位相計算結果では、実線で示す矩形状の領域が実質的なＩＨＭ位相像として利用される有効領域であり、その外側が画像情報は存在するもののＩＨＭ位相像には反映されない非有効領域である。画像作成部２４はＩＨＭ位相計算結果である画像の中から有効領域の画像を切り出し、これを表示部４０の画面上に表示する（図６（ａ３）、（ｂ３）参照）。

このように、実際に表示部４０の画面上に表示される画像の外側に、その表示には反映されない非有効領域の画像情報が存在するのがＩＨＭ位相像の一つの特徴である。なお、これはＩＨＭ位相像に限らず、ホログラムデータを用いた演算処理により形成される強度像や擬似位相像でも同様である。

ｉＰＳ細胞における未分化逸脱細胞コロニーを対象とするＩＨＭ位相像の一例を図５に示す。典型的な未分化逸脱細胞の特徴は「薄く広がる」ことであることが知られており、図５でもこの特徴から、未分化細胞の領域と未分化逸脱細胞の領域とを視認することができる。或る程度の経験を有する作業者であれば、こうした画像を見て未分化細胞の領域と未分化逸脱細胞の領域とを識別することができるものの、大量の画像について識別が必要になると作業はかなり負担である。また、より識別が難しい画像では作業者により識別結果が異なることになる。これに対し、本実施例の細胞解析装置１では、機械学習法の一つである全層畳み込みニューラルネットワークを用いてＩＨＭ位相像に対するセグメンテーションを行う。

図４は全層畳み込みニューラルネットワークの構造の概念図である。全層畳み込みニューラルネットワークの構造や処理の詳細は非特許文献２を始めとする多くの文献に詳しく説明されている。また、米国マスワークス（MathWorks）社が提供している「MATLAB」などの市販の或いはフリーのソフトウェアを利用した実装も可能である。そのため、ここでは概略的に説明する。

図４に示すように、全層畳み込みニューラルネットワークは、例えば畳み込み層とプーリング層との繰り返しが多層化された多層ネットワーク６０と、畳み込みニューラルネットワークにおける全結合層に相当する畳み込み層６１と、を含む。この場合、多層ネットワーク６０では、所定のサイズのフィルタ（カーネル）を用いた畳み込み処理と、畳み込み結果を２次元的に縮小して有効値を抽出するプーリング処理とを繰り返す。但し、多層ネットワーク６０は、プーリング層がなく畳み込み層のみで構成されていてもよい。また、最終段の畳み込み層６１では、所定のサイズのフィルタを入力画像内でスライドさせつつ局所的な畳み込み及び逆畳み込みを行う。この全層畳み込みニューラルネットワークでは、ＩＨＭ位相像などの入力画像６３に対してセグメンテーションを行うことで、未分化細胞領域、未分化逸脱領域、細胞が存在しない背景領域などをそれぞれラベル付けしたラベル画像６４を出力することができる。なお、ＩＨＭ位相像などの入力画像及びラベル画像である出力画像のサイズはそれぞれ、ニューラルネットワークの設計時に決められる。本発明では、この入力画像のサイズが非有効領域も含めた拡大観察画像のサイズに相当する。

全層畳み込みニューラルネットワークにより上記のようなセグメンテーションを行うには、予め多数の学習用画像データを用いて、多層ネットワーク６０に含まれる複数の畳み込み層や最終段の畳み込み層６１それぞれにおけるフィルタの係数（重み）を学習させ学習済みモデルを構築しておく必要がある。図２に示すフローチャートに従って、図１中のＦＣＮモデル作成部５０における学習処理時の動作を説明する。

学習処理時には、実測により得られたＩＨＭ位相像又は該ＩＨＭ位相像を加工することで得られた擬似ＩＨＭ位相像と、そのＩＨＭ位相像又は擬似ＩＨＭ位相像における未分化細胞領域、未分化逸脱領域（分化細胞の領域を含む）、及び背景領域を異なる表示色等で区分けして表した正解画像とを学習データとして用いる。ここで「加工」とは画像の回転、伸縮などの画像処理のことをいう。一般的には、図６（ａ３）、（ａ４）に示すように、表示等に用いられるＩＨＭ位相像又はそれを加工することで得られた擬似ＩＨＭ位相像を学習処理時の入力画像として用いる。即ち、有効領域に対応する範囲のＩＨＭ位相像が入力画像として用いられる。

畳み込みニューラルネットワークでは、画像の周縁部における畳み込み回数が少なくなることを回避するため、或いは、畳み込み及びプーリングの繰り返しによる画像の縮小分を補うために、通常、畳み込みの前にゼロパディングが行われる。ゼロパディングは、図６（ａ５）に示すように、入力画像や畳み込み及びプーリングを行う毎に求まる特徴マップ画像の枠の外側の所定範囲であるパディング領域をゼロ値で埋める処理である。しかしながら、ゼロパディングされた画像では元の画像の枠を挟んでその内側と外側とでデータ値が大きく変化することが多いため、ゼロパディングの影響を受ける部分とゼロパディングの影響を受けない部分とで学習の進み方に大きな差が生じ、これが学習の収束性を悪化させることになる。

それに対し、本発明に係る細胞画像解析方法における全層畳み込みニューラルネットワークでは、ゼロパディングを行う代わりに、図６（ｂ２）、（ｂ４）に示すように、表示等には反映されない非有効領域の画像情報をパディング領域の情報として使用する。即ち、有効領域に対応するＩＨＭ位相像に、その外側に存在する非有効領域に対応する画像情報を加えたＩＨＭ位相像（この画像を表示等に用いられる通常のＩＨＭ位相像と区別するために拡大位相像ということとする）を学習処理時の入力画像として用いる。

上述したように、非有効領域に対応するＩＨＭ位相像は有効領域に対応するＩＨＭ位相像に比べて画質が劣るとはいうものの、培養プレート１３を撮影した結果が反映されているから、有効領域に対応するＩＨＭ位相像の周縁部にほぼ連続する画像である。そのため、拡大位相像では、ゼロパディングされた画像とは異なり、有効領域を区画する枠を挟んでその内側と外側とでデータ値の不連続性は殆どない。その結果、セグメンテーションの対象であるＩＨＭ位相像の周縁部側と中央部側とでの学習の進み方に差異が生じず、良好に学習を行うことができる。それにより、精度の高いセグメンテーションが可能な学習モデルを構築することができる。

具体的には、図１に示したＦＣＮモデル作成部５０において、学習画像データ入力部５１は上述した拡大位相像又はそれを加工した画像とそれに対応する正解画像とを１組とする学習データを多数読み込む（ステップＳ１１）。正解画像の作成例は後述する。学習実行部５２は入力された多数の学習データに基づく全層畳み込みニューラルネットワークの学習を実行し、モデル構築部５３はその学習結果に基づいて学習モデルを構築する（ステップＳ１２）。そして、構築された学習モデルを細胞解析装置１の学習済みモデル記憶部２５２に保存させる（ステップＳ１３）。上述したように、非有効領域に対応する画像でパディング領域を埋めることで、構築される学習モデルは高精度なセグメンテーションが可能なモデルとなる。

なお、ここでは畳み込み処理毎のゼロパディングを行わないので、畳み込み及びプーリングの繰り返しによる画像の縮小を補い得るような大きさのパディング領域を予め、つまりは入力画像の段階で設定しておくことが望ましい。換言すれば、パディング領域の大きさと畳み込み及びプーリングにおけるパラメータとは関連する。したがって、図６（ｂ４）に示したように、ＩＨＭ位相計算によって得られた非有効領域に対応する位相像の全てをパディング領域に用いることもできるし、或いは、図６（ｂ４’）に示したように、ＩＨＭ位相計算によって得られた非有効領域に対応する位相像の一部分のみをパディング領域に用いることもできる。

次に、図３に示すフローチャートに従って、細胞解析装置１の細胞画像解析部２５で行われるセグメンテーションとそれを利用した処理動作を説明する。
上述したように顕微観察部１０は試料（培養プレート１３中の細胞コロニー１４など）の撮影を実施し（ステップＳ２１）、位相情報算出部２３及び画像作成部２４は、それにより得られたホログラムデータに基づいて位相計算を実行してＩＨＭ位相像を形成する（ステップＳ２２）。そのあと、パディング済み画像入力部２５１は、上述したような、有効領域に対応するＩＨＭ位相像の周りに非有効領域に対応する画像を加えた拡大位相像を読み込み、これを全層畳み込みニューラルネットワークを用いたセグメンテーションの対象の入力画像として設定する（ステップＳ２３）。

領域推定演算部２５３は学習済みモデル記憶部２５に格納されている学習モデルを用いて全層畳み込みニューラルネットワーク処理を行い、入力画像に対応したラベル画像を出力する（ステップＳ２４）。このラベル画像は、入力画像における未分化細胞領域、未分化逸脱細胞領域、及び背景領域がそれぞれ異なる表示色で区分けされた、つまりはセマンティックセグメンテーションされた画像である。上述したように、このときに使用される学習モデルは高い精度でセグメンテーションが可能なものであるので、観察対象である細胞についてのＩＨＭ位相像上の各領域を高い精度でセグメンテーションすることができる。

次に、細胞情報算出部２５４は、取得されたラベル画像において未分化細胞領域、及び、未分化逸脱細胞領域の面積をそれぞれ算出する。この面積の算出時には顕微観察部１０で試料を撮影する際の倍率の情報を用いればよい。そして、予め与えられていた１個の細胞の平均的な大きさの情報に基づいて、未分化細胞領域の面積から該領域に存在する細胞の数や細胞の密度を推算する（ステップＳ２５）。

表示処理部２５５は、画像作成部２４で作成されたＩＨＭ位相像に上記ラベル画像を重畳した画像、つまりは未分化細胞領域などの各領域が色分けされたＩＨＭ位相像を作成する。そして、この画像とステップＳ２５で求まった細胞面積、細胞数、細胞密度などの情報を表示部４０の画面上に表示する（ステップＳ２６）。
こうして、例えば、細胞コロニーの観察画像上で未分化細胞の領域と未分化逸脱細胞の領域とを容易に把握可能な画像を作業者に提供することができる。

次に、非特許文献１に記載の装置で実際に得られたＩＨＭ位相像について上述した画像解析を適用した実例について説明する。
学習処理の際に使用する正解画像は次の手順で作成した。
（１）目的とする細胞をアクチン（Actin）染色した細胞膜染色画像を取得し、該画像上で細胞領域を画定する。この細胞領域には未分化細胞、未分化逸脱細胞、分化細胞を含む。
（２）目的とする細胞中の未分化マーカー（Oct-3/4）の発現を検出する染色法を用いて未分化マーカー染色画像を取得し、該画像上で未分化細胞領域を画定する。
（３）（１）で画定した細胞領域、及び、（２）で画定した未分化細胞領域を組み合わせることで、未分化細胞領域、未分化逸脱細胞領域、及び、背景領域が区分された正解画像を作成する。

ＩＨＭ位相像（又はこの位相像を加工した画像）とこれに対応する正解画像との組を多数用い、３クラス分類（背景、未分化逸脱、未分化）の全層畳み込みニューラルネットワークの学習モデルを作成した。作成された学習モデルを用いた全層畳み込みニューラルネットワークでセグメンテーションを実施した例を図７に示す。図７（ａ）は処理対象のＩＨＭ位相像であり、細胞コロニーは図５と同じものである。図７（ｂ）は図７（ａ）に示したＩＨＭ位相像に対する正解画像である。図７（ｃ）は全層畳み込みニューラルネットワークによるセグメンテーション結果を示す画像である。図７（ｂ）と図７（ｃ）を比べると、ほぼ正確に識別されていることが分かる。

また、上記の全層畳み込みニューラルネットワークを用いて、フィーダーフリー（フィーダー細胞を使用しない培養方法）で培養したヒトｉＰＳ細胞のコロニーを撮影した１９２枚のＩＨＭ位相像について領域識別を試みたところ、交差検証による評価で感度、特異度ともに９０％以上の結果となった。これにより、この手法の有効性が確認できた。

なお、上記実施例では、セグメンテーションのための機械学習法として全層畳み込みニューラルネットワークを用いていたが、通常の畳み込みニューラルネットワークでもよいことは明らかである。また、ニューラルネットワークを用いた機械学習法に限らず、実際に処理したい画像の周囲にパディング領域を設定したうえでセグメンテーション処理を実施する機械学習法であれば、本発明を適用することが有効である。こうした機械学習法としては、例えばサポートベクターマシン、ランダムフォレスト、アダブーストなどがある。

また上記実施例では、細胞の観察画像を３クラスに分類していたが、例えば異物（ゴミ）などの細胞以外の領域も識別する等、識別する領域の数を増やしてもよい。

また上記実施例では、ホログラムデータを用いた演算処理により形成されるＩＨＭ位相像をセグメンテーション処理の対象としていたが、同じくホログラムデータを用いた演算処理により形成される強度像や擬似位相像をセグメンテーション処理の対象とすることもできる。

また、図１に示した細胞解析装置１では、制御・処理部２０において全ての処理を実施しているが、一般に、ホログラムデータに基づく位相情報の計算やその計算結果の画像化には膨大な量の計算が必要である。そのため、一般的に使用されているパーソナルコンピュータでは計算に多大な時間が掛かり効率的な解析作業は難しい。そこで、顕微観察部１０に接続されたパーソナルコンピュータを端末装置とし、この端末装置と高性能なコンピュータであるサーバとがインターネットやイントラネット等の通信ネットワークを介して接続されたコンピュータシステムを利用するとよい。

また、上記実施例の細胞解析装置では、顕微観察部１０としてインライン型ホログラフィック顕微鏡を用いていたが、ホログラムが得られる顕微鏡であれば、オフアクシス（軸外し）型、位相シフト型などの他の方式のホログラフィック顕微鏡に置換え可能であることは当然である。

また、上記実施例や上記の各種変形例も本発明の一例であり、本発明の趣旨の範囲でさらに適宜変形、修正、追加を行っても本願特許請求の範囲に包含されることは明らかである。

１…細胞解析装置
１０…顕微観察部
１１…光源部
１２…イメージセンサ
１３…培養プレート
１４…細胞コロニー
１５…参照光
１６…物体光
２０…制御・処理部
２１…撮影制御部
２２…ホログラムデータ記憶部
２３…位相情報算出部
２４…画像作成部
２５…細胞画像解析部
２５１…画像入力部
２５２…モデル記憶部
２５３…領域推定演算部
２５４…細胞情報算出部
２５５…表示処理部
３０…入力部
４０…表示部
５０…モデル作成部
５１…学習画像データ入力部
５２…学習実行部
５３…モデル構築部

Claims (9)

1. コンピュータが、細胞を含む試料についてホログラフィック顕微鏡で取得されたホログラムデータに基づいて作成される細胞の観察画像を解析することで、細胞に関連するセグメンテーションを行う細胞画像解析方法であって、
   観察画像の解析手法として機械学習を利用し、
   コンピュータが、前記機械学習における学習処理時及び学習済みのモデルに基づく画像の推定処理時の処理対象画像として、有効範囲内であるホログラムデータに基づいて作成される観察画像の周囲に、有効範囲外のホログラムデータを含んだデータに基づいて作成される画像を追加した拡大観察画像を受領するステップ、を実行することを特徴とする細胞画像解析方法。
2. 請求項１に記載の細胞画像解析方法であって、
   前記機械学習は畳み込みニューラルネットワークであることを特徴とする細胞画像解析方法。
3. 請求項２に記載の細胞画像解析方法であって、
   前記畳み込みニューラルネットワークは全層畳み込みニューラルネットワークであることを特徴とする細胞画像解析方法。
4. 請求項１に記載の細胞画像解析方法であって、
   前記観察画像はホログラムデータに基づく演算処理によって求まる位相画像であることを特徴とする細胞画像解析方法。
5. 請求項１に記載の細胞画像解析方法であって、
   試料に含まれる細胞はヒトｉＰＳ細胞を含む多能性幹細胞であり、前記セグメンテーションは少なくとも、未分化細胞と、未分化逸脱細胞又は分化細胞とを識別することを特徴とする細胞画像解析方法。
6. 請求項１に記載の細胞画像解析方法であって、
   コンピュータが、細胞の観察画像について細胞に関連するセグメンテーションを行った結果に基づいて、細胞領域の面積、細胞の数、又は細胞の密度の少なくともいずれかを推定する細胞情報算出ステップ、を実行することを特徴とする細胞画像解析方法。
7. 請求項１に記載の細胞画像解析方法であって、
   コンピュータが、細胞の観察画像について細胞に関連するセグメンテーションを行った結果又はそのセグメンテーションに基づく細胞状態の判定結果を、前記ホログラムデータの有効範囲内であるデータに基づいて作成される観察画像に重畳して表示部の表示画面上に表示する表示処理ステップ、を実行することを特徴とする細胞画像解析方法。
8. 細胞を含む試料についてホログラフィック顕微鏡で取得されたホログラムデータに基づいて作成される細胞の観察画像を解析することで、細胞に関連するセグメンテーションを行う細胞画像解析装置であって、
   a)有効範囲内であるホログラムデータに基づいて作成される観察画像の周囲に、有効範囲外のホログラムデータを含んだデータに基づいて作成される画像を追加した拡大観察画像を、後記解析処理部の処理対象画像として受領する拡大画像受領部と、
   b)観察画像が正しくセグメンテーションされた情報が既知である拡大観察画像を処理対象とした機械学習によって予め構築された学習済みモデルを使用した演算処理により、前記拡大画像受領部で受領された目的とする観察画像に基づく拡大観察画像に対して細胞に関するセグメンテーションがなされたラベル画像を出力する解析処理部と、
   を備えることを特徴とする細胞画像解析装置。
9. コンピュータが、ホログラフィック顕微鏡で取得されたホログラムデータに基づいて作成される観察画像を機械学習を利用して解析することで前記観察画像のセグメンテーションを行う際に用いられる学習モデルを作成する学習モデル作成方法であって、
   有効範囲内であるホログラムデータに基づいて作成される観察画像の周囲に、有効範囲外のホログラムデータを含んだデータに基づいて作成される画像を追加した拡大観察画像を処理対象画像として機械学習の学習を実行して学習モデルを作成することを特徴とする学習モデル作成方法。

Images