JP6981533B2 - 細胞画像解析装置、細胞画像解析システム、学習データの生成方法、学習モデルの生成方法、学習データの生成プログラム、および、学習データの製造方法 - Google Patents

Description

本開示は、機械学習に用いられる教師データを自動で生成するための技術に関する。

再生医療分野では、近年、ｉＰＳ（Induced Pluripotent Stem）細胞やＥＳ（Embryonic Stem）細胞等の多能性幹細胞を用いた研究が盛んに行われている。こうした多能性幹細胞を利用した再生医療の研究・開発においては、多能性を維持した状態の未分化の細胞を大量に培養する必要がある。そのため、適切な培養環境の選択と環境の安定的な制御が必要であるとともに、培養中の細胞の状態を高い頻度で確認する必要がある。たとえば、細胞コロニー内の細胞が未分化状態から逸脱すると、この場合、細胞コロニー内にある全ての細胞は分化する能力を有しているために、最終的にはコロニー内の細胞全てが未分化逸脱状態に遷移してしまう。そのため、観察者は培養している細胞中に未分化状態を逸脱した細胞（すでに分化した細胞や分化しそうな細胞、以下「未分化逸脱細胞」という）が発生していないかを日々確認し、未分化逸脱細胞を見つけた場合にはこれを迅速に除去する必要がある。

多能性幹細胞が未分化状態を維持しているか否かの判定は、未分化マーカーによる染色を行うことで確実に行うことができる。しかしながら、染色を行った細胞は死滅するため、再生医療用の多能性幹細胞の判定には未分化マーカー染色を実施することができない。そこで、現在の再生医療用細胞培養の現場では、位相差顕微鏡を用いた細胞の形態的観察に基づいて、観察者が未分化細胞であるか否かを判定するようにしている。位相差顕微鏡を用いるのは、一般に細胞は透明であって通常の光学顕微鏡では観察しにくいためである。

また、非特許文献１に開示されているように、最近では、ホログラフィ技術を用いて細胞の観察画像を取得する装置も実用化されている。この装置は、特許文献１〜４等に開示されているように、デジタルホログラフィック顕微鏡で得られたホログラムデータに対し位相回復や画像再構成等のデータ処理を行うことで、細胞が鮮明に観察し易い位相像（インライン型ホログラフィック顕微鏡（In-line Holographic Microscopy：ＩＨＭ）を用いていることから、以下「ＩＨＭ位相像」という）を作成するものである。デジタルホログラフィック顕微鏡では、ホログラムデータを取得したあとの演算処理の段階で任意の距離における位相情報を算出することができるため、撮影時にいちいち焦点合わせを行う必要がなく測定時間を短くすることができるという利点がある。

しかしながら、位相差顕微画像やＩＨＭ位相画像において細胞が或る程度鮮明に観察可能であるとしても、観察者が目視で未分化細胞等を正確に判定するには熟練が必要である。また、人間の判断に基づくために判定にばらつきが生じることは避けられない。そのため、こうした従来の手法は多能性幹細胞を工業的に大量生産するのには適さない。

上記課題に対し、細胞の観察画像を画像処理することで細胞の状態を評価する種々の技術が従来提案されている。

たとえば、特許文献５には、所定時間隔てて取得された複数の細胞観察画像からそれぞれ細胞内部構造のテクスチャ特徴量を算出し、その複数の細胞観察画像に対するテクスチャ特徴量の差分や相関値を計算してその時系列変化に基づいて細胞の活性度を判別する方法が記載されている。この方法ではたとえば、時間経過に伴うテクスチャ特徴量の差分値が減少傾向である場合に、その細胞の活性度は減少している等と判断することができる。

特許文献６には、細胞観察画像から取得した複数の指標値を用いてファジィニューラルネットワーク（ＦＮＮ）解析を実施し、増殖率などの細胞の品質を予測する方法が記載されている。該文献には、細胞観察画像に対する画像処理により求まるテクスチャ特徴量を指標値として利用することも記載されている。

ＦＮＮ解析の他にも、様々な学習手法を細胞生物学に応用することが提案されている。たとえば、非特許文献２は、全層畳み込みニューラルネットワークＦＣＮ（Fully Convolutional Networks）に関する学習手法を開示している。非特許文献３は、ＦＣＮを細胞生物学に応用するための手法を開示している。また、非特許文献４は、転移学習に関する学習手法を開示している。

国際特許公開第２０１７／２０３７１８号 国際特許公開第２０１７／２０４０１３号 国際特許公開第２０１６／０８４４２０号 特開平１０−２６８７４０号公報 特開２０１０−０２２３１８号公報 特開２００９−０４４９７４号公報

「細胞培養解析装置 CultureScanner CS-1」、［online］、株式会社島津製作所、［平成３０年３月１４日検索］、インターネット＜URL: https://www.an.shimadzu.co.jp/bio/cell/cs1/index.htm＞ ジョナサン・ロング（Jonathan Long）、ほか２名、「フーリー・コンボリューショナル・ネットワークス・フォー・セマンティック・セグメンテーション（Fully Convolutional Networks for Semantic Segmentation）」、ザ・アイトリプルイー・カンファレンス・オン・コンピュータ・ビジョン・アンド・パターン・リコグニション（The IEEE Conference on Computer Vision and Pattern Recognition）、2015年、pp.3431-3440、（インターネット＜URL: https://people.eecs.berkeley.edu/~jonlong/long_shelhamer_fcn.pdf＞） Olaf Ronneberger, Philipp Fischer, Thomas Brox、「Convolutional Networks for Biomedical Image Segmentation」、U-Net、［平成３０年３月１４日検索］、（インターネット＜URL: https://arxiv.org/abs/1505.04597＞） 神嶌 敏弘、「転移学習」、人工知能学会誌、２５巻４号、２０１０年７月（インターネット＜URL: https://jsai.ixsq.nii.ac.jp/ej/?action=repository_uri&item_id=7632&file_id=22&file_no=1＞）

観察者は、適切な培養環境を維持するために、未分化逸脱細胞や不純物などの除去対象物を観察対象から除去する必要がある。このような除去対象物を機械学習により学習し、顕微鏡が観察対象物を撮影して得られた画像（以下、「細胞画像」ともいう。）から除去対象物を自動で識別することが望まれている。この機械学習を実現するためには、設計者は、大量の細胞画像に対して除去対象物が写っている領域を手動でラベリングし、ラベリング結果を教師データとして準備する必要がある。大量の細胞画像に対するラベリングは大変手間であるため、ラベリングの手間を軽減することが望まれている。

本開示の一例では、機械学習に用いられる教師データを生成することが可能な細胞画像解析装置は、細胞を観察するための顕微鏡から得られた画像であって、除去対象物が写っている第１細胞画像を取得するための画像取得部と、予め定められた画像処理を実行することで、上記第１細胞画像内から上記除去対象物が写っている除去対象領域を特定し、上記第１細胞画像内の上記除去対象領域の場所を表したラベル画像を上記機械学習の教師データとして生成するための教師データ生成部と、上記第１細胞画像と上記ラベル画像とのセットを上記機械学習に用いる学習データセットとして生成するための学習データセット生成部とを備える。

この開示によれば、細胞画像解析装置は、教師データとしてのラベル画像と、当該ラベル画像の生成元の細胞画像との学習データセットを自動で生成する。このような仕組みが提供されることで、設計者は、学習データを収集する際に細胞画像に対するラベリングを行う必要がなくなる。

本開示の一例では、上記画像取得部は、上記除去対象物の除去後に上記顕微鏡から得られた第２細胞画像をさらに取得する。上記予め定められた画像処理は、上記第１細胞画像と上記第２細胞画像との比較結果から上記除去対象領域を特定することを含む。

この開示によれば、細胞画像解析装置は、除去対象物の除去前後の画像が比較されることで、除去対象物が写っている除去対象領域をより正確に特定することができる。

本開示の一例では、上記予め定められた画像処理は、上記第１細胞画像から上記第２細胞画像を差分した差分画像に基づいて、上記除去対象領域を特定することを含む。

この開示によれば、細胞画像解析装置は、除去対象物の除去前後の画像の差分画像が用いられることで、除去対象物が写っている除去対象領域をさらに正確に特定することができる。

本開示の一例では、上記細胞画像解析装置は、上記第１細胞画像内の予め定められた領域に写る物体を除去するように構成された除去機構をさらに含む。上記予め定められた画像処理は、上記第１細胞画像内の上記予め定められた領域を上記除去対象領域として特定することを含む。

この開示によれば、細胞画像解析装置は、より簡易な方法で、除去対象物が写っている除去対象領域を特定することができる。

本開示の一例では、上記細胞画像解析装置は、上記学習データセット生成部によって生成された複数の学習データセットを用いた機械学習を実行し、画像内から上記除去対象物を識別するための学習モデルを生成する学習モデル生成部と、上記学習モデルに基づいて、上記細胞画像解析装置に入力された入力画像から上記除去対象領域を検出するための検出部とを備える。

この開示によれば、収集された学習データセットから生成された学習モデルが用いられることで、入力画像から除去対象領域が自動で検出される。

本開示の一例では、上記学習モデル生成部によって実行される機械学習は、予め学習された学習モデルの一部または全部を初期モデルとして用いる転移学習を含む。

この開示によれば、細胞画像解析装置は、学習モデル内の各種パラメータを早期に収束させることができる。

本開示の一例では、上記細胞画像解析装置は、上記学習モデル生成部によって生成された複数の学習モデルを格納するための記憶装置と、上記複数の学習モデルから一の学習モデルの選択操作を受け付けるための入力部とをさらに備える。上記検出部は、上記選択操作によって選択された学習モデルに基づいて、上記入力画像から上記除去対象領域を検出する。

この開示によれば、観察者は、除去対象物の種類や用途に合わせて学習モデルを切り替えることができる。

本開示の一例では、上記細胞画像解析装置は、表示部と、上記検出部によって検出された上記除去対象領域を上記入力画像に重畳して上記表示部に表示させるための表示処理部とをさらに備える。

この開示によれば、観察者は、入力画像内における除去対象領域の場所を容易に確認することができる。

本開示の一例では、上記細胞画像解析装置は、上記検出部によって検出された上記除去対象領域の検出結果に基づいて、上記除去対象物を上記顕微鏡の除去機構に除去させるための除去機構制御部を備える。

この開示によれば、除去対象物を探す手間が省かれ、また、除去操作を行う必要がなくなる。

本開示の他の例では、機械学習に用いられる教師データを生成することが可能な細胞画像解析システムは、サーバと、上記サーバと通信可能に構成されている複数の細胞画像解析装置とを備える。上記複数の細胞画像解析装置は、それぞれ、細胞を観察するための顕微鏡から得られた画像であって、除去対象物が写っている細胞画像を取得するための画像取得部と、予め定められた画像処理を実行することで、上記細胞画像内から上記除去対象物が写っている除去対象領域を特定し、上記細胞画像内の上記除去対象領域の場所を表したラベル画像を上記機械学習の教師データとして生成するための教師データ生成部と、上記細胞画像と上記ラベル画像とのセットを上記機械学習に用いる学習データセットとして生成するための学習データセット生成部と、上記学習データセットを上記サーバに送信するための通信部とを含む。

この開示によれば、サーバは、教師データとしてのラベル画像と、当該ラベル画像の生成元の細胞画像との学習データセットを各細胞画像解析装置から収集することができる。このような仕組みが提供されることで、設計者は、容易かつ大量に学習データセットを収集することができる。

本開示の他の例では、方法は、細胞画像と上記細胞画像内の除去対象領域の場所を表したラベル画像とを受信するステップと、受信した上記細胞画像と上記ラベル画像とを用いて機械学習を行うことにより、細胞画像を入力画像とし、上記入力画像内の除去対象領域の場所を表す画像を出力画像とする学習モデルを生成するステップと、生成した学習モデルを送信するステップとを備える。

この開示によれば、入力画像から除去対象領域を自動で検出するための学習モデルが生成される。

本開示の他の例では、機械学習に用いられる教師データの生成方法は、細胞を観察するための顕微鏡から得られた画像であって、除去対象物が写っている細胞画像を取得するステップと、予め定められた画像処理を実行することで、上記細胞画像内から上記除去対象物が写っている除去対象領域を特定し、上記細胞画像内の上記除去対象領域の場所を表したラベル画像を上記機械学習の教師データとして生成するステップと、上記細胞画像と上記ラベル画像とのセットを上記機械学習に用いる学習データセットとして生成するステップとを備える。

この開示によれば、教師データとしてのラベル画像と、当該ラベル画像の生成元の細胞画像との学習データセットが自動で生成される。このような仕組みが提供されることで、設計者は、学習データを生成する際に細胞画像に対するラベリングを行う必要がなくなる。

本開示の他の例では、機械学習に用いられる教師データの生成プログラムは、コンピュータに、細胞を観察するための顕微鏡から得られた画像であって、除去対象物が写っている細胞画像を取得するステップと、予め定められた画像処理を実行することで、上記細胞画像内から上記除去対象物が写っている除去対象領域を特定し、上記細胞画像内の上記除去対象領域の場所を表したラベル画像を上記機械学習の教師データとして生成するステップと、上記細胞画像と上記ラベル画像とのセットを上記機械学習に用いる学習データセットとして生成するステップとを実行させる。

この開示によれば、教師データとしてのラベル画像と、当該ラベル画像の生成元の細胞画像との学習データセットが自動で生成される。このような仕組みが提供されることで、設計者は、学習データを生成する際に細胞画像に対するラベリングを行う必要がなくなる。

本開示の他の例では、機械学習に用いられる教師データの製造方法は、細胞を観察するための顕微鏡から得られた画像であって、除去対象物が写っている細胞画像を取得する工程と、予め定められた画像処理を実行することで、上記細胞画像内から上記除去対象物が写っている除去対象領域を特定し、上記細胞画像内の上記除去対象領域の場所を表したラベル画像を上記機械学習の教師データとして生成する工程と、上記細胞画像と上記ラベル画像とのセットを上記機械学習に用いる学習データセットとして生成する工程とを備える。

この開示によれば、教師データとしてのラベル画像と、当該ラベル画像の生成元の細胞画像との学習データセットが自動で生成される。このような仕組みが提供されることで、設計者は、学習データを生成する際に細胞画像に対するラベリングを行う必要がなくなる。

第１の実施の形態における学習データセットの生成過程を概略的に表した概念図である。 第１の実施の形態に従う細胞画像解析装置の概略構成を示す図である。 ＩＨＭ位相像の一例（未分化逸脱細胞コロニー）を示す図である。 第１の実施の形態における機械学習を実現するための機能構成の一例を示す図である。 第１の実施の形態における除去対象物の除去過程を表わす図である。 全層畳み込みニューラルネットワークの構造を表わす概念図である。 学習モデルのデーターベースのデータ構造の一例を示す図である。 表示処理部による表示結果の一例を示す図である。 第１の実施の形態に従う制御装置の主要なハードウェア構成を示すブロック図である。 第１の実施の形態に従うモデル生成装置の主要なハードウェア構成を示すブロック図である。 学習データセットの収集処理を表わすフローチャートである。 収集された学習データセットの学習処理を表わすフローチャートである。 入力画像から除去対象領域を検出する検出処理を表わすフローチャートである。 第２の実施の形態に従う細胞画像解析システムのシステム構成の一例を表わす図である。 第２の実施の形態に従う細胞画像解析システムの機能構成の一例を示す図である。 第２の実施の形態に従うサーバの主要なハードウェア構成を示すブロック図である。

以下、図面を参照しつつ、本発明に従う各実施の形態について説明する。以下の説明では、同一の部品および構成要素には同一の符号を付してある。それらの名称および機能も同じである。したがって、これらについての詳細な説明は繰り返さない。

なお、以下で説明される各実施の形態および各変形例は、適宜選択的に組み合わされてもよい。
［第１の実施の形態］
＜１．概要＞

観察者は、適切な培養環境を維持するために、未分化逸脱細胞や不純物などの除去対象物を観察対象から除去する必要がある。このような除去対象物を自動で識別するための学習モデルを生成するためには、設計者は、除去対象物が写っている大量の細胞画像を準備するとともに、各細胞画像内の除去対象領域をラベリングしたラベル画像を学習データとして準備する必要がある。本実施の形態に従う細胞画像解析装置１（図２参照）は、このようなラベル画像を教師データとして自動で生成し、当該ラベル画像と細胞画像との学習データセットを出力する。

より具体的には、細胞画像解析装置１は、除去対象領域を特定するための予め定められた画像処理を細胞画像（第１細胞画像）に対して実行することで、当該細胞画像内から除去対象領域を特定し、当該細胞画像内における除去対象領域の場所を表したラベル画像を生成する。その後、細胞画像解析装置１は、当該細胞画像と当該ラベル画像とのセットを機械学習に用いる学習データセットとして出力する。このようにラベル画像が自動で生成されることで、細胞画像に対してラベリングを手動で行う必要が無くなる。

以下では、図１を参照して、学習データセットの生成方法を具体的に説明する。図１は、学習データセットの生成過程を概略的に表した概念図である。

図１には、顕微鏡が細胞などの観察対象物を撮影して得られた細胞画像３０，３５が示されている。細胞画像３０（第１細胞画像）は、除去対象物３１の除去前に観察対象物を撮影して得られた画像である。細胞画像３５（第２細胞画像）は、除去対象物３１の除去後に観察対象物を撮影して得られた画像である。

細胞画像解析装置１は、細胞画像３０，３５に対して予め定められた画像処理を実行し、除去対象物３１を表わしている除去対象領域を特定する。除去対象領域を特定するための予め定められた画像処理は、除去対象物３１の除去前の細胞画像３０と除去対象物３１の除去後の細胞画像３５との比較結果から除去対象領域を特定することを含む。

一例として、細胞画像解析装置１は、細胞画像３０から細胞画像３５を差分した差分画像に基づいて、除去対象領域を特定する。より具体的には、細胞画像解析装置１は、細胞画像３０から細胞画像３５を差分し、差分画像３７を生成する。差分画像３７の各画素値は、細胞画像３０，３５の同一座標の画素値間の差分値に相当する。除去対象物３１の除去前の細胞画像３０から除去対象物３１の除去後の細胞画像３５を差分することで、除去対象物３１のみが差分画像３７において抽出される。

その後、細胞画像解析装置１は、予め定められた閾値に基づいて、差分画像３７を二値化処理する。一例として、細胞画像解析装置１は、画素値が予め定められた閾値を超える画素に対して第１値（たとえば、２５５）を割り当て、画素値が予め定められた閾値以下の画素に対して第２値（たとえば、０）を割り当てる。このような二値化処理により、除去対象領域４０Ａおよび非除去対象領域４０Ｂをラベリングしたラベル画像４０が生成される。典型的には、ラベル画像４０のサイズは、細胞画像３０のサイズと等しく、ラベル画像４０の各画素値は、細胞画像３０の対応画素（同一画素）が除去対象領域であるか否かを示す。

細胞画像解析装置１は、細胞画像３０内の除去対象物３１の場所を表したラベル画像４０と、ラベル画像４０の生成元の細胞画像３０とを関連付け、これらの画像を学習データセット４５として生成する。このような学習データセット４５が順次生成されることで、学習データセット４５が蓄積される。

以上のように、細胞画像解析装置１は、除去対象物３１の除去前の細胞画像３０と、除去対象物３１の除去後の細胞画像３５とに基づいて、除去対象領域４０Ａを特定し、除去対象領域４０Ａの場所を表したラベル画像４０を教師データとして生成する。このようなラベル画像４０が自動で生成されることで、設計者は、細胞画像に対するラベリングを行わずに教師データを大量に収集することができる。

なお、上述では、ラベル画像４０が二値化画像である前提で説明を行ったが、ラベル画像４０は、必ずしも二値化画像である必要はない。一例として、ラベル画像４０は、除去対象物の種類に応じてラベリングされてもよい。より具体的には、除去対象物の種類ごとに予め定められた画素値（番号）が割り当てられており、抽出された除去対象領域４０Ａに対して設計者が除去対象物の種類を指定することにより、当該指定された種類に応じた画素値が除去対象領域４０Ａに割り当てられる。このような場合には、ラベル画像４０の各画素値は、除去対象物３１の種別を示すこととなる。

また、上述では、除去対象物３１の除去前の細胞画像３０と、除去対象物３１の除去後の細胞画像３５との差分画像３７から除去対象領域４０Ａを特定する例について説明を行ったが、除去対象領域４０Ａの特定処理は、これに限定されない。一例として、除去対象領域４０Ａの特定処理は、除去対象物３１の除去前の細胞画像３０内の予め定められた領域を除去対象領域４０Ａとして特定してもよい。

より具体的には、顕微鏡の種類によっては、除去機構（たとえば、後述の除去機構１７）が設けられているものがある。除去機構の利用態様の一例として、観察者は、スルー画像として写る細胞画像を確認しながら観察対象から除去対象物を探す。観察者は、除去対象物を発見した場合、除去対象物が細胞画像の予め定められた領域（たとえば、真ん中）に写るように観察対象または撮影部を移動し、その上で、細胞画像解析装置１に対して除去操作を行う。除去機構は、除去操作を受け付けたことに基づいて、細胞画像の予め定められた領域に位置する物体を除去する。このような顕微鏡が用いられる場合、除去対象物が写っている場所は、画像ごとに変わらない。この点に着目して、細胞画像解析装置１は、除去操作の受け付けた時またはその直前において撮影された細胞画像３５を取得し、その細胞画像３５の予め定められた領域を除去対象領域４０Ａとして特定する。
＜２．細胞画像解析装置１の構成＞

図２を参照して、本実施の形態に従う細胞画像解析装置１の構成について説明する。図２は、本実施の形態に従う細胞画像解析装置１の概略構成を示す図である。

本実施例の細胞画像解析装置１は、顕微鏡１０、制御装置２０、ユーザーインターフェイスである入力部２５、表示部２６、およびモデル生成装置５０を備える。

顕微鏡１０は、インライン型ホログラフィック顕微鏡（In-line Holographic Microscopy：ＩＨＭ）であり、レーザダイオードなどを含む光源部１１とイメージセンサ１２と、除去機構１７とを備える。光源部１１とイメージセンサ１２との間に、細胞コロニー（又は細胞単体）１４を含む培養プレート１３が配置される。

制御装置２０は、顕微鏡１０の動作を制御するとともに顕微鏡１０で取得されたデータを処理するものであって、撮影制御部２１と、ホログラムデータ記憶部２２と、位相情報算出部２３と、画像作成部２４と、細胞画像解析部６０と、を機能ブロックとして備える。

通常、制御装置２０の実体は、所定のソフトウェアがインストールされたパーソナルコンピュータやより性能の高いワークステーション、あるいは、そうしたコンピュータと通信回線を介して接続された高性能なコンピュータを含むコンピュータシステムである。即ち、制御装置２０に含まれる各ブロックの機能は、コンピュータ単体又は複数のコンピュータを含むコンピュータシステムに搭載されているソフトウェアを実行することで実施される、該コンピュータ又はコンピュータシステムに記憶されている各種データを用いた処理によって具現化されるものとすることができる。

また、モデル生成装置５０の実体も、所定のソフトウェアがインストールされたパーソナルコンピュータやより性能の高いワークステーションである。通常のこのコンピュータは、制御装置２０とは異なるコンピュータであるが、同じであってもよい。つまり、モデル生成装置５０の機能を制御装置２０に持たせることもできる。

まず、本実施例の細胞画像解析装置１において、細胞に関するセグメンテーションを実施する際に使用される観察画像であるＩＨＭ位相像を作成するまでの作業及び処理について述べる。

作業者が細胞コロニー１４を含む培養プレート１３を所定位置にセットして入力部２５で所定の操作を行うと、撮影制御部２１は、顕微鏡１０を制御して以下のようにホログラムデータを取得する。

即ち、光源部１１は、１０°程度の微小角度の広がりを持つコヒーレント光を培養プレート１３の所定の領域に照射する。培養プレート１３及び細胞コロニー１４を透過したコヒーレント光（物体光１６）は、培養プレート１３上で細胞コロニー１４に近接する領域を透過した光（参照光１５）と干渉しつつイメージセンサ１２に到達する。物体光１６は、細胞コロニー１４を透過する際に位相が変化した光であり、他方、参照光１５は、細胞コロニー１４を透過しないので該コロニー１４に起因する位相変化を受けない光である。したがって、イメージセンサ１２の検出面（像面）上には、細胞コロニー１４により位相が変化した物体光１６と位相が変化していない参照光１５との干渉縞による像が形成される。

なお、光源部１１及びイメージセンサ１２は、図示しない移動機構によってＸ軸方向及びＹ軸方向に順次移動される。これにより、光源部１１から発せられたコヒーレント光の照射領域（観察領域）を培養プレート１３上で移動させ、広い２次元領域に亘るホログラムデータ（イメージセンサ１２の検出面で形成されたホログラムの２次元的な光強度分布データ）を取得することができる。

上述したように顕微鏡１０で得られたホログラムデータは、逐次、制御装置２０に送られ、ホログラムデータ記憶部２２に格納される。制御装置２０において、位相情報算出部２３は、ホログラムデータ記憶部２２からホログラムデータを読み出し、位相回復のための所定の演算処理を実行することで観察領域（撮影領域）全体の位相情報を算出する。画像作成部２４は、算出された位相情報に基づいてＩＨＭ位相像を作成する。こうした位相情報の算出やＩＨＭ位相像の作成の際には、特許文献３、４等に開示されている周知のアルゴリズムを用いればよい。なお、位相情報算出部２３は、ホログラムデータに基づいて位相情報のほかに、強度情報、擬似位相情報なども併せて算出し、画像作成部２４は、これら情報に基づく再生像、つまり強度像や擬似位相像を作成してもよい。

ｉＰＳ細胞における未分化逸脱細胞コロニーを対象とするＩＨＭ位相像の一例を図３に示す。典型的な未分化逸脱細胞の特徴は、「薄く広がる」ことであることが知られており、図３でもこの特徴から、未分化細胞の領域と未分化逸脱細胞の領域とを視認することができる。或る程度の経験を有する作業者であれば、こうした画像を見て未分化細胞の領域と未分化逸脱細胞の領域とを識別することができるものの、大量のＩＨＭ位相像について一つずつ目視で識別を行うと、その作業はかなり負担である。また、より識別が難しい画像では、作業者によって識別結果が異なる場合もよくある。これに対し、本実施の形態に従う細胞画像解析装置１では、機械学習法の一つである全層畳み込みニューラルネットワークを用いてＩＨＭ位相像に対するセグメンテーションを行うことで未分化細胞領域と未分化逸脱細胞領域との識別を自動的に行うことができる。全層畳み込みニューラルネットワークの詳細については後述する。

除去機構１７は、制御装置２０からの制御指示に従って、培養プレート１３上の予め定められた領域に位置する物体を除去する。除去機構１７は、レーザー照射により除去対象物を除去するレーザー機構であってもよいし、吸引により除去対象物を除去する吸引機構であってもよい。レーザー機構としての除去機構１７は、近赤外線レーザーを照射し、照射部分の細胞を剥離させることで除去対象物を除去する。吸引機構としての除去機構１７は、チップと称されるピペットを有する。顕微鏡１０の観察者は、イメージセンサ１２の中心上に除去対象物が位置するように培養プレート１３またはピペットを移動し、その上で除去対象物を吸引する。
＜３．機械学習を実現するための機能構成＞

図４〜図８を参照して、機械学習を実現するための主要な機能構成について説明する。図４は、機械学習を実現するための機能構成の一例を示す図である。

図４に示されるように、細胞画像解析装置１は、制御装置２０と、モデル生成装置５０とを含む。制御装置２０は、機能モジュールである細胞画像解析部６０と、ハードウェアである記憶装置１２０とを含む。モデル生成装置５０は、機能モジュールである学習処理部５１と、ハードウェアである記憶装置２２０とを含む。

学習処理部５１は、機能モジュールとして、画像取得部５１１と、教師データ生成部５１２と、学習データセット生成部５１３と、学習モデル生成部５１４とを含む。細胞画像解析部６０は、設定部６０１と、検出部６０２と、表示処理部６０３と、除去機構制御部６０４とを含む。

以下では、学習処理部５１および細胞画像解析部６０の各機能モジュールの機能について順に説明する。
（３．１．画像取得部５１１）
まず、画像取得部５１１の機能について説明する。

画像取得部５１１は、上述の画像作成部２４（図２参照）から、少なくとも除去対象物の除去前の細胞画像３０を取得する。好ましくは、画像取得部５１１は、さらに、除去対象物の除去後の細胞画像３５を取得する。

図５は、除去対象物の除去過程を表わす図である。より詳細には、図５には、除去対象物３１の除去前に得られた細胞画像３０と、除去機構１７による除去対象物３１の除去中に得られた細胞画像３３と、除去対象物３１の除去後に得られた細胞画像３５とが示されている。画像取得部５１１は、これらの画像の内の、除去対象物の除去前後の細胞画像３０，３５を取得する。

除去対象物３１の除去前であるか否かは、たとえば、観察者が上述の入力部２５に対して除去操作を行ったか否かに基づいて判断される。より具体的には、画像取得部５１１は、上述の入力部２５（図２参照）が除去操作を受け付けた時に得られる画像を除去前の細胞画像３０として取得する。あるいは、画像取得部５１１は、入力部２５が除去操作を受け付けた直前の所定時間（たとえば、１秒）内に得られる画像を除去前の細胞画像３０として取得する。

除去対象物３１の除去後であるか否かは、たとえば、除去機構１７による除去処理が完了したか否かに基づいて判断される。より具体的には、画像取得部５１１は、除去機構１７による除去処理が完了したことを示す信号を除去機構制御部６０４から受け付けた時に得られる画像を除去後の細胞画像３５として取得する。あるいは、画像取得部５１１は、除去機構１７による除去処理が完了したことを示す信号を除去機構制御部６０４から受け付けた直後の所定時間（たとえば、１秒）内に得られる画像を除去後の細胞画像３５として取得する。

画像取得部５１１は、除去対象物の除去前後の細胞画像３０，３５を教師データ生成部５１２に出力するとともに、除去対象物の除去前の細胞画像３０を学習データセット生成部５１３に出力する。

なお、除去対象物の除去前後の細胞画像３０，３５の取得方法は、上述の方法に限定されない。たとえば、除去対象物の除去前後の細胞画像３０，３５は、ユーザー操作によって選択されてもよい。この場合、時系列に並べて表示される細胞画像の中から２つの細胞画像が観察者によって選択されることで、除去対象物の除去前後の細胞画像３０，３５が取得される。
（３．２．教師データ生成部５１２）
次に、図４に示される教師データ生成部５１２の機能について説明する。

教師データ生成部５１２は、画像取得部５１１から受けた細胞画像３０に対して予め定められた画像処理を実行することで、細胞画像３０内から除去対象物が写っている除去対象領域を特定し、当該除去対象領域の位置を表したラベル画像４０を教師データとして生成する。ラベル画像４０の生成方法については図１で説明した通りであるので、その説明については繰り返さない。

ラベル画像４０においては、少なくとも、除去対象領域と、非除去対象領域とが区分される。一例として、除去対象領域を示す画素には、画素値として第１値（たとえば、１〜２５５のいずれか）が割り当てられる。非除去対象領域を示す画素には、画素値として第２値（たとえば、０）が割り当てられる。

好ましくは、除去対象領域を示す画素には、除去対象物の種類に応じた画素値が割り当てられる。より具体的には、除去対象物の種類ごとに予め定められた画素値（番号）が割り当てられており、設計者が除去対象領域に対して除去対象物の種類を指定することにより、当該指定された種類に応じた画素値が除去対象領域に割り当てられる。

これにより、除去対象物の種類を示した教師データが生成される。このような教師データが機械学習に用いられることにより、除去対象領域の場所を特定するだけでなく、除去対象物の種類を識別することが可能な学習モデルが生成され得る。

教師データ生成部５１２によって生成されたラベル画像４０は、学習データセット生成部５１３に出力される。
（３．３．学習データセット生成部５１３）
次に、図４に示される学習データセット生成部５１３の機能について説明する。

学習データセット生成部５１３は、画像取得部５１１によって取得された細胞画像３０と、当該細胞画像３０から生成された教師データとしてのラベル画像４０とを関連付け、これらを学習データセット４５として生成する。生成された学習データセット４５は、生成される度に記憶装置２２０に格納される。これにより、学習データセット４５が記憶装置２２０に蓄積される。

好ましくは、学習データセット生成部５１３は、学習データセット４５を記憶装置２２０に格納する前に、学習データセット４５を記憶装置２２０に格納するか否かを確認するための確認画面を表示する。学習データセット生成部５１３は、学習データセット４５を格納する指示を当該確認画面に対して行われたことに基づいて、学習データセット４５を記憶装置２２０に格納する。そうでない場合には、学習データセット生成部５１３は、学習データセット４５を破棄する。
（３．４．学習モデル生成部５１４)
次に、図４に示される学習モデル生成部５１４の機能について説明する。

学習モデル生成部５１４は、学習データセット生成部５１３によって生成された複数の学習データセット４５を用いた機械学習を実行し、細胞画像内から除去対象物を識別するための学習モデルを生成する。学習モデル生成部５１４に採用される学習手法は、特に限定されず、たとえば、全層畳み込みニューラルネットワーク（ＦＣＮ）を含むディープラーニング（深層学習）、サポートベクターマシンなどの種々の機械学習が採用され得る。

以下では、図６を参照して、学習手法の一例として、全層畳み込みニューラルネットワークについて説明する。図６は、全層畳み込みニューラルネットワークの構造の概念図である。全層畳み込みニューラルネットワークの構造や処理の詳細は、非特許文献２を始めとする多くの文献に詳しく説明されている。また、米国マスワークス（MathWorks）社が提供している「MATLAB」などの市販のあるいはフリーのソフトウェアを利用した実装も可能である。そのため、ここでは概略的に説明する。

図６に示すように、全層畳み込みニューラルネットワークは、たとえば畳み込み層とプーリング層との繰り返しが多層化された多層ネットワーク７０と、畳み込みニューラルネットワークにおける全結合層に相当する畳み込み層７１と、を含む。この場合、多層ネットワーク７０では、所定のサイズのフィルタ（カーネル）を用いた畳み込み処理と、畳み込み結果を２次元的に縮小して有効値を抽出するプーリング処理とを繰り返す。但し、多層ネットワーク７０は、プーリング層がなく畳み込み層のみで構成されていてもよい。また、最終段の畳み込み層７１では、所定のサイズのフィルタを入力画像内でスライドさせつつ局所的な畳み込みおよび逆畳み込みを行う。この全層畳み込みニューラルネットワークでは、ＩＨＭ位相像などの細胞画像３０に対してセグメンテーションを行うことで、除去対象領域および非除去対象領域などをそれぞれラベル付けしたラベル画像３９を出力することができる。

ここでは、細胞の培養中に混入する塵埃などのごく微小な異物を識別するために、入力されるＩＨＭ位相像の画素単位でのラベル化を行うように多層ネットワーク７０および畳み込み層７１を設計する。即ち、出力画像であるラベル画像３９においてラベル付けされる一つの領域の最小単位は、ＩＨＭ位相像上の一つの画素である。そのため、たとえばＩＨＭ位相像上で１画素程度の大きさの異物が観測された場合でも、ラベル画像３９においてその異物は一つの領域として検出され、どこに異物が存在するのかの情報を作業者に正確に提供することができる。

学習モデル生成部５１４は、学習データセット４５に含まれる細胞画像３０を全層畳み込みニューラルネットワークに入力し、その結果出力されるラベル画像３９を、細胞画像３０に関連付けられている教師データとしてのラベル画像４０と比較する。学習モデル生成部５１４は、出力結果としてのラベル画像３９が教師データとしてのラベル画像４０に近付くように、多層ネットワーク７０および畳み込み層７１内の各種パラメータを更新する。このような更新処理が全ての学習データセット４５について繰り返されることで、多層ネットワーク７０および畳み込み層７１内の各種パラメータが最適化される。当該最適化された各種パラメータは、学習モデル２８として制御装置２０に出力される。当該各種パラメータは、たとえば、多層ネットワーク７０の畳み込み層で適用される各フィルタの値や重みなどを含む。

生成された学習モデル２８は、制御装置２０の記憶装置１２０内のデーターベース２７に蓄積される。図７は、データーベース２７のデータ構造の一例を示す図である。

データーベース２７は、学習モデルを識別するための識別情報２７Ａと、学習モデルの作成日時情報２７Ｂと、学習モデルの生成元の学習データセットを識別するための識別情報２７Ｃと、学習モデルによる識別対象を規定する識別対象情報２７Ｄなどを含む。

学習モデルの識別情報２７Ａは、たとえば、学習モデル名やＩＤ（Identification）で規定される。学習データセットの識別情報２７Ｃは、たとえば、学習データセットの名前や、学習データセットが格納されているフォルダへのパスなどで規定される。識別対象情報２７Ｄは、細胞名、異物名などで規定される。

なお、学習モデル生成部５１４によって実行される機械学習には、別の環境で学習された他の学習モデルの一部または全部を初期モデルとして用いる転移学習が用いられてもよい。転移学習とは、ある環境で学習させた学習モデルを、別の環境に適応させるための技術である。

より具体的には、学習モデル生成部５１４は、別の環境で学習された他の学習モデルの一部または全部を多層ネットワーク７０および畳み込み層７１内の各種パラメータの初期値として適用し、その上で上述の機械学習を実行する。このような転移学習により、多層ネットワーク７０および畳み込み層７１内の各種パラメータが早期に収束する。また、学習データセット４５が少数である場合であっても、識別精度が高い学習モデルが生成される。
（３．５．設定部６０１）
次に、図４に示される設定部６０１の機能について説明する。

設定部６０１は、データーベース２７に規定される学習モデルの中から選択された一の学習モデルを検出部６０２に設定する。学習モデルの選択操作は、たとえば、上述の入力部２５を用いて行われる。

より具体的には、観察者は、学習モデルの設定画面を呼出し、当該設定画面を細胞画像解析装置１の表示部２６に表示させる。当該設定画面には、データーベース２７に含まれている学習モデルが一覧で表示される。このとき、データーベース２７に規定される各種情報が各学習モデルに並べて表示される。当該各種情報は、たとえば、学習モデルの識別情報２７Ａ（図７参照）、学習モデルの作成日時情報２７Ｂ（図７参照）、学習モデルの生成元の学習データセットの識別情報２７Ｃ（図７参照）と、学習モデルによる識別対象情報２７Ｄ（図７参照）とを含む。

設計者は、入力部２５を操作することにより、一覧表示されている学習モデルの中から一の学習モデルを選択する。設定部６０１は、学習モデルが選択されたことに基づいて、選択された学習モデルを検出部６０２に設定する。

このように、観察者は、データーベース２７に規定される任意の学習モデルを選択することができる。これにより、観察者は、除去対象物の種類や用途に合わせて学習モデルを切り替えることができる。
（３．６．検出部６０２）
次に、図４に示される検出部６０２の機能について説明する。

検出部６０２は、設定部６０１によって設定された学習モデル２８に基づいて、細胞画像解析装置１に新たに入力された入力画像から除去対象領域を検出する。検出部６０２は、画像作成部２４から順次得られる細胞画像に対して検出処理を都度行ってもよいし、入力画像を走査することで入力画像の各部分について検出処理を行ってもよい。

検出部６０２は、検出結果として、除去対象領域と非除去対象領域とを区別したラベル画像を出力する。検出結果としてのラベル画像の各画素値が示す意味合いは、設定される学習モデルに応じて変わる。

一例として、除去対象領域および非除去対象領域の２クラスを識別する学習モデルが設定されている場合、検出結果としてのラベル画像の各画素値は、二値で表される。一例として、画素値が「２５５（または１）」である画素は、除去対象領域としてみなされ、画素値が「０」である画素は、非除去対象領域としてみなされる。

他の例として、除去対象物の種別や非除去対象物の種別など３クラス以上を識別する学習モデルが設定されている場合、検出結果としてのラベル画像の各画素値は、識別されるクラス数に応じた値で表される。すなわち、検出結果としてのラベル画像の各画素値は、クラスの種別を示すこととなる。各クラスと画素値との関係は、予め規定されている。

検出部６０２による検出結果は、表示処理部６０３および除去機構制御部６０４にそれぞれ出力される。
（３．７．表示処理部６０３）
次に、図４に示される表示処理部６０３の機能について説明する。

表示処理部６０３は、検出部６０２によって検出された除去対象領域を細胞画像解析装置１の表示部２６に表示する。図８は、表示処理部６０３による表示結果の一例を示す図である。

図８（Ａ）には、除去対象領域、非除去対象領域を識別する２クラス分類の学習モデルを入力画像に適用した場合における表示結果８０が示されている。表示結果８０においては、検出された除去対象領域がマーカー８１によって示されている。このように、表示処理部６０３は、検出部６０２によって検出された除去対象領域を入力画像に重畳して表示部２６に表示させる。

図８（Ｂ）には、背景、未分化逸脱細胞、未分化細胞を識別する３クラス分類の学習モデルを入力画像に適用した場合におけるラベル画像８４が表示結果８５として示されている。表示結果８５においては、背景を表わす画像領域８６と、未分化逸脱細胞を表わす画像領域８７と、未分化細胞を表わす画像領域８８とが色分けされている。未分化逸脱細胞を表わす画像領域８７が除去対象領域として示され、背景および未分化細胞を表わす画像領域８６，８８が非除去対象領域として示される。

なお、表示処理部６０３による表示結果の表示態様は、図８の例に限定されない。たとえば、表示処理部６０３は、除去対象領域が存在することを示すメッセージを入力画像に重畳させて表示してもよい。
（３．８．除去機構制御部６０４）
次に、図４に示される除去機構制御部６０４の機能について説明する。

除去機構制御部６０４は、検出部６０２によって検出された除去対象領域の検出結果に基づいて、除去機構１７に除去対象物を除去させる。より具体的には、除去機構制御部６０４は、検出部６０２によって除去対象領域が検出されたことに基づいて、顕微鏡基準の座標系で示される除去対象領域を、ワールド座標系で示される座標に変換する。顕微鏡基準の座標系からワールド座標系への変換行列は、予め規定されている。除去機構制御部６０４は、ワールド座標系に変換された除去位置に移動するように除去機構１７を駆動し、その上で除去指示を除去機構１７に送る。除去機構１７は、除去指示を受け付けたことに基づいて、除去処理を開始する。

このように、除去機構制御部６０４は、検出部６０２によって検出された除去対象領域の検出結果に基づいて、除去機構１７に除去対象物を自動で除去させる。これにより、除去対象物を探す手間が省かれ、また、除去操作を行う必要がなくなる。さらに、このような自動除去の仕組みが提供されることで、細胞の培養時の品質管理を自動化することができる。
＜４．ハードウェア構成＞

図９および図１０を参照して、細胞画像解析装置１に構成する制御装置２０およびモデル生成装置５０のハードウェアについて順に説明する。
（４．１．制御装置２０のハードウェア構成）

まず、図９を参照して、制御装置２０のハードウェア構成の一例について説明する。図９は、制御装置２０の主要なハードウェア構成を示すブロック図である。

制御装置２０は、プロセッサ１０１と、ＲＯＭ（Read Only Memory）１０２と、ＲＡＭ（Random Access Memory）１０３と、通信インターフェイス１０４と、入力インターフェイス１０５と、表示インターフェイス１０６と、顕微鏡インターフェイス１０７と、記憶装置１２０とを含む。

プロセッサ１０１は、たとえば、少なくとも１つの集積回路によって構成される。集積回路は、たとえば、少なくとも１つのＣＰＵ（Central Processing Unit）、少なくとも１つのＡＳＩＣ（Application Specific Integrated Circuit）、少なくとも１つのＦＰＧＡ（Field Programmable Gate Array）、またはそれらの組み合わせなどによって構成される。

プロセッサ１０１は、顕微鏡１０の制御プログラム１２２など各種プログラムを実行することで制御装置２０の動作を制御する。プロセッサ１０１は、制御プログラム１２２の実行命令を受け付けたことに基づいて、記憶装置１２０からＲＯＭ１０２に制御プログラム１２２を読み出す。ＲＡＭ１０３は、ワーキングメモリとして機能し、制御プログラム１２２の実行に必要な各種データを一時的に格納する。

通信インターフェイス１０４には、ＬＡＮやアンテナなどが接続される。制御装置２０は、通信インターフェイス１０４を介して、外部の通信機器との間でデータをやり取りする。外部の通信機器は、たとえば、サーバ（たとえば、後述のサーバ３００）、その他の通信端末などを含む。制御装置２０は、サーバから制御プログラム１２２をダウンロードできるように構成されてもよい。

入力インターフェイス１０５は、たとえば、ＵＳＢ（Universal Serial Bus）端子であり、入力部２５に接続される。入力インターフェイス１０５は、入力部２５からのユーザー操作を示す信号を受け付ける。入力部２５は、たとえば、マウス、キーボード、タッチパネル、またはユーザーの操作を受け付けることが可能なその他の入力デバイスである。

表示インターフェイス１０６は、表示部２６と接続され、プロセッサ１０１などからの指令に従って、表示部２６に対して、画像を表示するための画像信号を送出する。表示部２６は、たとえば、液晶ディスプレイ、有機ＥＬディスプレイ、またはその他の表示機器である。表示部２６には、たとえば、細胞画像解析装置１の除去対象領域の検出結果、細胞画像解析装置１に対する各種設定画面などが表示される。

記憶装置１２０は、たとえば、ハードディスクやフラッシュメモリなどの記憶媒体である。記憶装置１２０は、モデル生成装置５０によって生成された学習モデル２８、顕微鏡１０の制御プログラム１２２などを格納する。なお、学習モデル２８および制御プログラム１２２の格納場所は、記憶装置１２０に限定されず、プロセッサ１０１の記憶領域（たとえば、キャッシュメモリなど）、ＲＯＭ１０２、ＲＡＭ１０３、外部機器（たとえば、サーバ）などに格納されていてもよい。
（４．２．モデル生成装置５０のハードウェア構成）

次に、図１０を参照して、モデル生成装置５０のハードウェア構成の一例について説明する。図１０は、モデル生成装置５０の主要なハードウェア構成を示すブロック図である。

モデル生成装置５０は、プロセッサ２０１と、ＲＯＭ２０２と、ＲＡＭ２０３と、通信インターフェイス２０４と、入力インターフェイス２０５と、表示インターフェイス２０６と、顕微鏡インターフェイス２０７と、記憶装置２２０とを含む。これらのハードウェアは、制御装置２０の各種ハードウェアと同じであり、上述の図９で説明した通りであるので、以下では、制御装置２０と異なる部分についてのみ説明を行う。

記憶装置２２０は、たとえば、ハードディスクやフラッシュメモリなどの記憶媒体である。記憶装置２２０は、学習モデル生成のために収集された学習データセット４５、学習処理に関する各種処理を実現するための画像解析プログラム２２２などを格納する。画像解析プログラム２２２は、学習データセットを生成するための生成プログラムなどを含む。学習データセット４５および画像解析プログラム２２２の格納場所は、記憶装置２２０に限定されず、プロセッサ２０１の記憶領域（たとえば、キャッシュメモリなど）、ＲＯＭ２０２、ＲＡＭ２０３、外部機器（たとえば、サーバ）などに格納されていてもよい。

なお、画像解析プログラム２２２は、単体のプログラムとしてではなく、任意のプログラムの一部に組み込まれて提供されてもよい。この場合、本実施の形態に従う処理は、任意のプログラムと協働して実現される。このような一部のモジュールを含まないプログラムであっても、本実施の形態に従う画像解析プログラム２２２の趣旨を逸脱するものではない。さらに、画像解析プログラム２２２によって提供される機能の一部または全部は、専用のハードウェアによって実現されてもよい。さらに、制御装置２０とモデル生成装置５０とが協働して、画像解析プログラム２２２を実行するように構成されてもよい。
＜５．制御構造＞

細胞画像解析装置１が実行する学習処理に関する主な処理は、（ａ）学習データセットの収集処理と、（ｂ）収集した学習データセットを用いた学習処理と、（ｃ）学習処理により生成された学習モデルに基づいて、入力画像から除去対象領域を検出する検出処理とを含む。

これらの処理（ａ）〜（ｃ）は、制御装置２０のプロセッサ１０１やモデル生成装置５０のプロセッサ２０１がプログラムを実行することにより実現される。他の局面において、処理の一部または全部が、回路素子またはその他のハードウェアによって実行されてもよい。

以下では、図１１〜図１３を参照して、上記処理（ａ）〜（ｃ）について順に説明する。
（５．１．学習データセットの収集処理）

まず、図１１を参照して、学習データセットの収集処理のフローについて説明する。図１１は、学習データセットの収集処理を表わすフローチャートである。図１１に示される収集処理は、たとえば、モデル生成装置５０のプロセッサ２０１によって実現される。

ステップＳ１１０において、プロセッサ２０１は、モデル生成装置５０の動作モードが学習データセットの自動収集モードに設定されたか否かを判断する。当該自動収集モードは、たとえば、ユーザー操作に応じて設定される。プロセッサ２０１は、モデル生成装置５０の動作モードが自動収集モードに設定されたと判断した場合（ステップＳ１１０においてＹＥＳ）、制御をステップＳ１２０に切り替える。そうでない場合には（ステップＳ１１０においてＮＯ）、プロセッサ２０１は、図１１に示される収取処理を終了する。

ステップＳ１２０において、プロセッサ２０１は、顕微鏡１０に対する除去操作を検知したか否かを判断する。当該除去操作は、上述の入力部２５（図２参照）に対するユーザ操作に基づいて判別される。プロセッサ２０１は、顕微鏡１０に対する除去操作を検知したと判断した場合（ステップＳ１２０においてＹＥＳ）、制御をステップＳ１２２に切り替える。そうでない場合には（ステップＳ１２０においてＮＯ）、プロセッサ２０１は、制御をステップＳ１１０に戻す。

ステップＳ１２２において、プロセッサ２０１は、上述の画像取得部５１１（図４参照）として、除去対象物の除去前の細胞画像３０と、除去対象物の除去後の細胞画像３５とを取得する。細胞画像３０，３５の取得方法については、上記「３．１．画像取得部５１１」で説明した通りであるので、その説明については繰り返さない。

ステップＳ１２４において、プロセッサ２０１は、上述の教師データ生成部５１２（図４参照）として、ステップＳ１２２で取得した細胞画像３０，３５から除去対象領域４０Ａを特定し、細胞画像内において除去対象領域４０Ａの場所を表したラベル画像４０を教師データとして生成する。ラベル画像４０の生成方法については、上記「３．２．教師データ生成部５１２」で説明した通りであるので、その説明については繰り返さない。

ステップＳ１２６において、プロセッサ２０１は、上述の学習データセット生成部５１３（図４参照）として、ステップＳ１２２で取得した細胞画像３０と、ステップＳ１２４で生成されたラベル画像４０とを機械学習に用いる学習データセット４５として生成する。学習データセット４５の生成方法については、上記「３．３．学習データセット生成部５１３」で説明した通りであるので、その説明については繰り返さない。

ステップＳ１２２で取得した細胞画像３０，３５から除去対象領域４０Ａを特定し、細胞画像内において除去対象領域４０Ａの場所を表したラベル画像４０を教師データとして生成する。ラベル画像４０の生成方法については、上記「３．２．教師データ生成部５１２」で説明した通りであるので、その説明については繰り返さない。

以上のように、図１１に示される各ステップの処理が繰り返されることで、学習データセットが蓄積される。
（５．２．学習処理）

次に、図１２を参照して、上述の収集処理により収集された学習データセットを学習する処理について説明する。図１２は、収集された学習データセットの学習処理を表わすフローチャートである。図１２に示される学習処理は、たとえば、モデル生成装置５０のプロセッサ２０１によって実現される。

ステップＳ２１０において、プロセッサ２０１は、学習処理が実行されたか否かを判断する。プロセッサ２０１は、学習処理が実行されたと判断した場合（ステップＳ２１０においてＹＥＳ）、制御をステップＳ２１２に切り替える。そうでない場合には（ステップＳ２１０においてＮＯ）、プロセッサ２０１は、ステップＳ２１０の処理を再び実行する。

ステップＳ２１２において、プロセッサ２０１は、記憶装置２２０に格納されている複数の学習データセットの内から、未学習の学習データセット４５を１つまたは複数取得する。

ステップＳ２１４において、プロセッサ２０１は、上述の学習モデル生成部５１４（図４参照）として、ステップＳ２１２で得られた学習データセット４５に含まれる細胞画像３０を現在の学習モデルに適用する。

ステップＳ２１６において、プロセッサ２０１は、上述の学習モデル生成部５１４として、ステップＳ２１４での適用結果として現在の学習モデルから得られたラベル画像３９と、ステップＳ２１２で得られた学習データセット４５に含まれる教師データとしてのラベル画像４０とを比較する。そして、プロセッサ２０１は、適用結果としてのラベル画像３９が教師データとしてのラベル画像４０に近付くように、現在の学習モデル内の各種パラメータを更新する。

ステップＳ２２０において、プロセッサ２０１は、記憶装置２２０に格納されている学習データセットの中に、未学習の学習データセットが存在するか否かについて判断する。プロセッサ２０１は、未学習の学習データセットが存在すると判断した場合（ステップＳ２２０においてＹＥＳ）、図１２に示される学習処理を終了する。そうでない場合には（ステップＳ２２０においてＮＯ）、プロセッサ２０１は、制御をステップＳ２１２に戻す。

以上のように、図１２に示されるステップＳ２１２，Ｓ２１４，Ｓ２１６，Ｓ２２０が繰り返されることで、学習モデルを規定する各種パラメータが教師データに合わせて逐次的に更新される。
（５．３．検出処理）

次に、図１３を参照して、上述の学習処理により生成された学習モデルに基づいて、入力画像から除去対象領域を検出する処理について説明する。図１３は、入力画像から除去対象領域を検出する検出処理を表わすフローチャートである。図１３に示される検出処理は、たとえば、制御装置２０のプロセッサ１０１によって実現される。

ステップＳ３１０において、プロセッサ１０１は、制御装置２０の動作モードが自動除去モードに設定されたか否かを判断する。当該自動除去モードは、たとえば、ユーザー操作に応じて設定される。プロセッサ１０１は、制御装置２０の動作モードが自動除去モードに設定されたと判断した場合（ステップＳ３１０においてＹＥＳ）、制御をステップＳ３１２に切り替える。そうでない場合には（ステップＳ３１０においてＮＯ）、プロセッサ１０１は、図１３に示される検出処理を終了する。

ステップＳ３１２において、プロセッサ１０１は、細胞などの検査対象の撮影を実行し、ＩＨＭ位相像としての入力画像を画像作成部２４（図２参照）から取得する。

ステップＳ３１４において、プロセッサ１０１は、ステップＳ３１２で得られた入力画像に対して、上述の図１２の学習処理により得られた学習モデルを適用し、検出結果としてのラベル画像８４を取得する。

ステップＳ３１６において、プロセッサ１０１は、上述の検出部６０２（図４参照）として、ステップＳ３１４で得られたラベル画像８４に基づいて、除去対象領域を特定する。一例として、プロセッサ１０１は、除去対象領域を示す画素値を有する画素の集合をグルーピングし、各グループについて面積（たとえば、画素数）を算出する。プロセッサ１０１は、当該面積が所定値以上であるグループが存在する場合、入力画像内に除去対象領域が存在すると判断する。

ステップＳ３２０において、プロセッサ１０１は、入力画像内において除去対象領域が存在すると判断した場合（ステップＳ３２０においてＹＥＳ）、制御をステップＳ３２２に切り替える。そうでない場合には（ステップＳ３２０においてＮＯ）、プロセッサ１０１は、制御をステップＳ３１０に戻す。

ステップＳ３２２において、プロセッサ１０１は、上述の表示処理部６０３（図４参照）として、ステップＳ３１６で検出された除去対象領域を入力画像に重畳させて表示部２６に表示する。除去対象領域の表示方法については、上記「３．７．表示処理部６０３」で説明した通りであるので、その説明については繰り返さない。

ステップＳ３３０において、プロセッサ１０１は、検出された除去対象領域について除去命令を受け付けたか否かを判断する。除去命令は、たとえば、上述の入力部２５に対するユーザー操作に基づいて発せられる。プロセッサ１０１は、検出された除去対象領域について除去命令を受け付けたと判断した場合（ステップＳ３３０においてＹＥＳ）、制御をステップＳ３３２に切り替える。そうでない場合には（ステップＳ３３０においてＮＯ）、プロセッサ１０１は、制御をステップＳ３１０に戻す。

ステップＳ３３２において、プロセッサ１０１は、上述の除去機構制御部６０４（図４参照）として、ステップＳ３１６で検出された除去対象領域の位置（座標値）に基づいて、顕微鏡１０の除去機構１７を駆動し、除去機構１７に除去対象物を除去させる。当該除去方法については、上記「３．８．除去機構制御部６０４」で説明した通りであるので、その説明については繰り返さない。
＜６．第１の実施の形態のまとめ＞

以上のようにして、本実施の形態に従う細胞画像解析装置１は、除去対象物が写っている細胞画像３０から除去対象領域４０Ａを特定し、細胞画像３０内において除去対象領域４０Ａの場所を表したラベル画像４０を教師データとして生成する。そして、細胞画像解析装置１は、生成したラベル画像４０と、生成元の細胞画像３０とを機械学習に用いる学習データセット４５として生成する。

このように、教師データとしてのラベル画像４０が自動で生成されることで、設計者は、細胞画像３０に対してラベリングを行う必要がなくなる。結果として、学習データを収集するための時間が大幅に削減される。また、このような学習データセットを自動生成するための仕組みが提供されることで、設計者は、学習データセットを容易かつ大量に収集することができる。
［第２の実施の形態］
＜７．概要＞

上述の第１の実施の形態においては、学習データセットの収集機能と、収集された学習データセットの学習機能とが細胞画像解析装置１に実装されていた。これに対して、第２の実施の形態においては、これらの機能がサーバ上に実装される。

細胞画像解析装置１のハードウェア構成などその他の点については上述の第１の実施の形態で説明した通りであるので、以下では、それらの説明については繰り返さない。
＜８．システム構成＞

図１４を参照して、第２の実施の形態に従う細胞画像解析システム５００のシステム構成について説明する。図１４は、第２の実施の形態に従う細胞画像解析システム５００のシステム構成の一例を表わす図である。

図１４に示されるように、細胞画像解析システム５００は、複数の細胞画像解析装置１と、１つ以上のサーバ３００とを含む。細胞画像解析装置１の各々と、サーバ３００とは、互いに通信可能に構成されている。

細胞画像解析装置１の各々は、「第１の実施の形態」で説明した上述の方法により学習データセット４５を生成する。生成された学習データセット４５は、サーバ３００に送信される。サーバ３００は、細胞画像解析装置１の各々から受信した学習データセット４５を蓄積する。そして、サーバ３００は、収集した学習データセット４５に対して上述の機械学習を実行し、学習モデルを生成する。生成された学習モデルは、細胞画像解析装置１の各々に配布される。

なお、図１４の例では、細胞画像解析システム５００が３つの細胞画像解析装置１で構成されている例が示されているが、細胞画像解析システム５００は、１つ以上の細胞画像解析装置１で構成さればよい。また、図１４の例では、細胞画像解析システム５００が１つのサーバ３００で構成されている例が示されているが、細胞画像解析システム５００は、複数のサーバ３００で構成されてもよい。
＜９．機能構成＞

図１５を参照して、細胞画像解析システム５００の機能構成について説明する。図１５は、細胞画像解析システム５００の機能構成の一例を示す図である。

図１５に示されるように、細胞画像解析システム５００は、複数の細胞画像解析装置１と、サーバ３００とを含む。

細胞画像解析装置１は、機能モジュールとして、画像取得部５１１と、教師データ生成部５１２と、学習データセット生成部５１３と、通信部５１５と、設定部６０１と、検出部６０２と、表示処理部６０３と、除去機構制御部６０４とを含む。サーバ３００は、機能モジュールとして、学習モデル生成部５１４と、通信部５１６とを含む。

通信部５１５，５１６以外の機能構成については図４で説明した通りであるので、以下ではそれらの説明については繰り返さない。

細胞画像解析装置１の通信部５１５は、上述の通信インターフェイス１０４（または通信インターフェイス２０４）を制御するための通信ドライバである。通信部５１５により、サーバ３００との通信が実現される。通信部５１５は、記憶装置２２０に蓄積された学習データセット４５をサーバ３００に送る。なお、学習データセット４５は、生成される度にサーバ３００に送信されてもよいし、所定数の学習データセット４５が蓄積されたことに基づいてサーバ３００に送信されてもよいし、ユーザ操作に基づいてサーバ３００に送信されてもよい。

好ましくは、学習データセット４５は、観察者によって選択された上でサーバ３００に送信される。より具体的には、細胞画像解析装置１は、収集した学習データセット４５を一覧表示する。観察者は、一覧表示された学習データセット４５を確認し、送信対象の学習データセット４５を選択し、その上で送信実行操作を行う。細胞画像解析装置１の通信部５１５は、送信実行操作を受け付けたことに基づいて、選択された学習データセット４５をサーバ３００に送信する。

サーバ３００の通信部５１６は、後述の通信インターフェイス３０４（図１６参照）を制御するための通信ドライバである。通信部５１６は、細胞画像解析装置１の各々から学習データセット４５を受信し、受信した学習データセット４５を記憶装置３２０に順次格納する。その後、学習モデル生成部５１４は、細胞画像解析装置１の各々から収集した学習データセット４５を用いて機械学習を実行する。生成された学習モデルは、記憶装置３２０内のデーターベース２７に保存される。

サーバ３００の通信部５１６は、細胞画像解析装置１から学習モデル２８のダウンロード命令を受信したことに基づいて、データーベース２７からダウンロード指定された学習モデル２８を取得する。その後、サーバ３００の通信部５１６は、取得した学習モデル２８をダウンロード命令の送信元の細胞画像解析装置１に送信する。

細胞画像解析装置１の通信部５１５は、サーバ３００から受信した学習モデル２８を記憶装置１２０に格納する。

なお、各機能モジュールの実装形態は、図１５に示される例に限定されない。一例として、教師データ生成部５１２および学習データセット生成部５１３は、細胞画像解析装置１ではなく、サーバ３００に実装されてもよい。
＜１０．サーバ３００のハードウェア構成＞

図１６を参照して、サーバ３００のハードウェア構成の一例について説明する。図１６は、サーバ３００の主要なハードウェア構成を示すブロック図である。

サーバ３００は、プロセッサ３０１と、ＲＯＭ３０２と、ＲＡＭ３０３と、通信インターフェイス３０４と、入力インターフェイス３０５と、表示インターフェイス３０６と、顕微鏡インターフェイス３０７と、記憶装置３２０とを含む。これらのハードウェアは、制御装置２０の各種ハードウェアと同じであり、上述の図９で説明した通りであるので、以下では、制御装置２０と異なる部分についてのみ説明を行う。

記憶装置３２０は、たとえば、ハードディスクやフラッシュメモリなどの記憶媒体である。記憶装置３２０は、細胞画像解析装置１から収集された学習データセット４５、学習データセット４５から生成された学習モデル２８、学習処理に関する各種処理を実現するための画像解析プログラム３２２などを格納する。画像解析プログラム３２２は、学習データセットを生成するための生成プログラムなどを含む。

画像解析プログラム３２２は、単体のプログラムとしてではなく、任意のプログラムの一部に組み込まれて提供されてもよい。この場合、本実施の形態に従う処理は、任意のプログラムと協働して実現される。このような一部のモジュールを含まないプログラムであっても、本実施の形態に従う画像解析プログラム３２２の趣旨を逸脱するものではない。さらに、画像解析プログラム３２２によって提供される機能の一部または全部は、専用のハードウェアによって実現されてもよい。さらに、細胞画像解析装置１とサーバ３００とが協働して、画像解析プログラム３２２を実行するように構成されてもよい。
＜１１．第２の実施の形態のまとめ＞

以上のようにして、第２の実施の形態においては、サーバ３００が細胞画像解析装置１の各々から学習データセット４５を収集し、収集した学習データセット４５を用いて学習モデルを生成する。サーバ３００が細胞画像解析装置１の各々から学習データセット４５を収集する仕組みが提供されることで、学習データセット４５が容易かつ大量に収集される。

また、通常、機械学習を行うためには高スペックのＰＣが必要であるが、機械学習を行う機能がサーバ３００に搭載されることで、ユーザサイドの細胞画像解析装置１を低コスト化することができる。

今回開示された実施の形態は全ての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて請求の範囲によって示され、請求の範囲と均等の意味および範囲内での全ての変更が含まれることが意図される。

１ 細胞画像解析装置、１０ 顕微鏡、１１ 光源部、１２ イメージセンサ、１３ 培養プレート、１４ 細胞コロニー、１５ 参照光、１６ 物体光、１７ 除去機構、２０ 制御装置、２１ 撮影制御部、２２ ホログラムデータ記憶部、２３ 位相情報算出部、２４ 画像作成部、２５ 入力部、２６ 表示部、２７ データーベース、２７Ａ，２７Ｃ 識別情報、２７Ｂ 作成日時情報、２７Ｄ 識別対象情報、２８ 学習モデル、３０，３３，３５ 細胞画像、３１ 除去対象物、３７ 差分画像、３９，４０，８４ ラベル画像、４０Ａ 除去対象領域、４０Ｂ 非除去対象領域、４５ 学習データセット、５０ モデル生成装置、５１ 学習処理部、６０ 細胞画像解析部、７０ 多層ネットワーク、７１ 畳み込み層層、８０，８５ 表示結果、８１ マーカー、８６，８７，８８ 画像領域、１０１，２０１，３０１ プロセッサ、１０２，２０２，３０２ ＲＯＭ、１０３，２０３，３０３ ＲＡＭ、１０４，２０４，３０４ 通信インターフェイス、１０５，２０５，３０５ 入力インターフェイス、１０６，２０６，３０６ 表示インターフェイス、１０７，２０７，３０７ 顕微鏡インターフェイス、１２０，２２０，３２０ 記憶装置、１２２ 制御プログラム、２２２，３２２ 画像解析プログラム、３００
サーバ、５００ 細胞画像解析システム、５１１ 画像取得部、５１２ 教師データ生成部、５１３ 学習データセット生成部、５１４ 学習モデル生成部、５１５，５１６ 通信部、６０１ 設定部、６０２ 検出部、６０３ 表示処理部、６０４ 除去機構制御部。

Claims (13)

1. 機械学習に用いられる教師データを生成することが可能な細胞画像解析装置であって、
   細胞を観察するための顕微鏡から得られた画像であって、除去対象物が写っている第１細胞画像を取得するための画像取得部と、
   予め定められた画像処理を実行することで、前記第１細胞画像内から前記除去対象物が写っている除去対象領域を特定し、前記第１細胞画像内の前記除去対象領域の場所を表したラベル画像を前記機械学習の教師データとして生成するための教師データ生成部と、
   前記第１細胞画像と前記ラベル画像とのセットを前記機械学習に用いる学習データセットとして生成するための学習データセット生成部とを備え、
   前記画像取得部は、前記除去対象物の除去後に前記顕微鏡から得られた第２細胞画像をさらに取得し、
   前記予め定められた画像処理は、前記第１細胞画像と前記第２細胞画像との比較結果から前記除去対象領域を特定することを含む、細胞画像解析装置。
2. 前記予め定められた画像処理は、前記第１細胞画像から前記第２細胞画像を差分した差分画像に基づいて、前記除去対象領域を特定することを含む、請求項１に記載の細胞画像解析装置。
3. 前記細胞画像解析装置は、前記第１細胞画像内の予め定められた領域に写る物体を除去するように構成された除去機構をさらに含み、
   前記予め定められた画像処理は、前記第１細胞画像内の前記予め定められた領域を前記除去対象領域として特定することを含む、請求項１に記載の細胞画像解析装置。
4. 前記細胞画像解析装置は、
   前記学習データセット生成部によって生成された複数の学習データセットを用いた機械学習を実行し、画像内から前記除去対象物を識別するための学習モデルを生成する学習モデル生成部と、
   前記学習モデルに基づいて、前記細胞画像解析装置に入力された入力画像から前記除去対象領域を検出するための検出部とを備える、請求項１〜３のいずれか１項に記載の細胞画像解析装置。
5. 前記学習モデル生成部によって実行される機械学習は、予め学習された学習モデルの一部または全部を初期モデルとして用いる転移学習を含む、請求項４に記載の細胞画像解析装置。
6. 前記細胞画像解析装置は、
   前記学習モデル生成部によって生成された複数の学習モデルを格納するための記憶装置と、
   前記複数の学習モデルから一の学習モデルの選択操作を受け付けるための入力部とをさらに備え、
   前記検出部は、前記選択操作によって選択された学習モデルに基づいて、前記入力画像から前記除去対象領域を検出する、請求項４または５に記載の細胞画像解析装置。
7. 前記細胞画像解析装置は、
   表示部と、
   前記検出部によって検出された前記除去対象領域を前記入力画像に重畳して前記表示部に表示させるための表示処理部とをさらに備える、請求項４〜６のいずれか１項に記載の細胞画像解析装置。
8. 前記細胞画像解析装置は、前記検出部によって検出された前記除去対象領域の検出結果に基づいて、前記除去対象物を前記顕微鏡の除去機構に除去させるための除去機構制御部を備える、請求項４〜７のいずれか１項に記載の細胞画像解析装置。
9. 機械学習に用いられる教師データを生成することが可能な細胞画像解析システムであって、
   サーバと、
   前記サーバと通信可能に構成されている複数の細胞画像解析装置とを備え、
   前記複数の細胞画像解析装置は、それぞれ、
   細胞を観察するための顕微鏡から得られた画像であって、除去対象物が写っている第１細胞画像を取得するための画像取得部と、
   予め定められた画像処理を実行することで、前記第１細胞画像内から前記除去対象物が写っている除去対象領域を特定し、前記第１細胞画像内の前記除去対象領域の場所を表したラベル画像を前記機械学習の教師データとして生成するための教師データ生成部と、
   前記第１細胞画像と前記ラベル画像とのセットを前記機械学習に用いる学習データセットとして生成するための学習データセット生成部と、
   前記学習データセットを前記サーバに送信するための通信部とを含み、
   前記画像取得部は、前記除去対象物の除去後に前記顕微鏡から得られた第２細胞画像をさらに取得し、
   前記予め定められた画像処理は、前記第１細胞画像と前記第２細胞画像との比較結果から前記除去対象領域を特定することを含む、細胞画像解析システム。
10. 顕微鏡から得られた、除去対象物が写っている第１細胞画像と、前記第１細胞画像内において前記除去対象物が写っている除去対象領域の場所を表したラベル画像とを受信するステップと、
    受信した前記第１細胞画像と前記ラベル画像とを用いて機械学習を行うことにより、細胞画像を入力画像とし、前記入力画像内の除去対象領域の場所を表す画像を出力画像とする学習モデルを生成するステップと、
    生成した学習モデルを送信するステップとを備え、
    前記第１細胞画像内の除去対象領域は、予め定められた画像処理によって特定され、
    前記予め定められた画像処理は、前記第１細胞画像と、前記第１細胞画像内の除去対象物の除去後に前記顕微鏡から得られた第２細胞画像との比較結果から前記除去対象領域を特定する、方法。
11. 機械学習に用いられる教師データの生成方法であって、
    細胞を観察するための顕微鏡から得られた画像であって、除去対象物が写っている第１細胞画像を取得するステップと、
    予め定められた画像処理を実行することで、前記第１細胞画像内から前記除去対象物が写っている除去対象領域を特定し、前記第１細胞画像内の前記除去対象領域の場所を表したラベル画像を前記機械学習の教師データとして生成するステップと、
    前記第１細胞画像と前記ラベル画像とのセットを前記機械学習に用いる学習データセットとして生成するステップとを備え、
    前記第１細胞画像を取得するステップは、前記除去対象物の除去後に前記顕微鏡から得られた第２細胞画像をさらに取得し、
    前記予め定められた画像処理は、前記第１細胞画像と前記第２細胞画像との比較結果から前記除去対象領域を特定することを含む、学習データの生成方法。
12. 機械学習に用いられる教師データの生成プログラムであって、
    前記生成プログラムは、コンピュータに、
    細胞を観察するための顕微鏡から得られた画像であって、除去対象物が写っている第１細胞画像を取得するステップと、
    予め定められた画像処理を実行することで、前記第１細胞画像内から前記除去対象物が写っている除去対象領域を特定し、前記第１細胞画像内の前記除去対象領域の場所を表したラベル画像を前記機械学習の教師データとして生成するステップと、
    前記第１細胞画像と前記ラベル画像とのセットを前記機械学習に用いる学習データセットとして生成するステップとを実行させ、
    前記第１細胞画像を取得するステップは、前記除去対象物の除去後に前記顕微鏡から得られた第２細胞画像をさらに取得し、
    前記予め定められた画像処理は、前記第１細胞画像と前記第２細胞画像との比較結果から前記除去対象領域を特定することを含む、学習データの生成プログラム。
13. 機械学習に用いられる教師データの製造方法であって、
    細胞を観察するための顕微鏡から得られた画像であって、除去対象物が写っている第１細胞画像を取得する工程と、
    予め定められた画像処理を実行することで、前記第１細胞画像内から前記除去対象物が写っている除去対象領域を特定し、前記第１細胞画像内の前記除去対象領域の場所を表したラベル画像を前記機械学習の教師データとして生成する工程と、
    前記第１細胞画像と前記ラベル画像とのセットを前記機械学習に用いる学習データセットとして生成する工程とを備え、
    前記第１細胞画像を取得する工程は、前記除去対象物の除去後に前記顕微鏡から得られた第２細胞画像をさらに取得し、
    前記予め定められた画像処理は、前記第１細胞画像と前記第２細胞画像との比較結果から前記除去対象領域を特定することを含む、学習データの製造方法。

Images