JP7342950B2 - 細胞画像解析方法および細胞画像解析装置 - Google Patents

Description

本発明は、細胞画像解析方法および細胞画像解析装置に関する。

従来、ｉＰＳ細胞（ｉｎｄｕｃｅｄ ｐｌｕｒｉｐｏｔｅｎｔ ｓｔｅｍ ｃｅｌｌｓ）などの多能性を有する細胞を培養することが知られている。

細胞培養に際しては、培養容器内から培養中の細胞を抽出して別の培養容器に移し替えて、次代の細胞株とする継代が行われる。この細胞の抽出は、ピッキングと呼ばれる。培養容器中には、既に分化を開始した細胞（多能性を喪失した細胞）などの継代に不適な細胞が存在するため、継代に際して、継代に適した細胞が作業者（ユーザ）によって選別される。

具体的には、作業者（ユーザ）が、顕微鏡で培養容器内の細胞コロニーを１つずつ確認することにより、培養容器内から継代に適した細胞を探索する。次に、作業者（ユーザ）は、継代に適した細胞がある位置にマーキングを行い、マーキングした位置の細胞コロニーをピペッタなどにより吸引する。また、培養初期などには、培養容器内から、既に分化を開始した細胞（多能性を喪失した細胞）や死細胞などを抽出して、除去する作業も行われる。このような除去作業も、継代と同様に顕微鏡を用いた除去対象の探索と、発見された除去対象のピッキングとにより行われる。

このような細胞の探索作業やピッキング作業は、繊細でユーザの負荷が大きいため、作業の一部を自動化する装置が提案されている（たとえば、非特許文献１参照）。非特許文献１では、培養容器内の細胞の顕微鏡画像を撮像し、ユーザが画像中からピッキング対象を決定した後、コントローラを操作することにより、ピペッタによる細胞のピッキング作業を自動的に行う装置が開示されている。

"細胞培養支援装置 ＣＥＬＬ ＰＩＣＫＥＲ"、［ｏｎｌｉｎｅ］、［令和１年６月１９日検索］、インターネット〈ＵＲＬ：ｈｔｔｐｓ：／／ｗｗｗ．ａｎ．ｓｈｉｍａｄｚｕ．ｃｏ．ｊｐ／ｂｉｏ／ｃｅｌｌ／ｃｅｌｌｐｉｃｋｅｒ／ｉｎｄｅｘ．ｈｔｍ〉

上記非特許文献１に開示された装置によっても、細胞の探索作業はユーザ自身が行う必要があるため、細胞の探索作業についてのユーザの作業負荷を軽減することが望まれる。

しかしながら、ピッキングの対象となる細胞は、ユーザが実施する細胞培養の目的、培養する細胞の種類、などによっても異なる。そのため、顕微鏡画像から観察される多数の細胞領域のうちから、どの細胞領域がピッキング対象に適しているかは、ユーザが主体的に判断する必要がある。その結果、従来、多能性を有する細胞の培養に際して、ピッキング対象の探索作業に伴うユーザの負荷を軽減することが困難であった。

この発明は、上記のような課題を解決するためになされたものであり、この発明の１つの目的は、細胞培養におけるピッキング対象となる細胞の探索作業に伴うユーザの負荷を、効果的に軽減することが可能な細胞画像解析方法および細胞画像解析装置を提供することである。

上記目的を達成するために、この発明の第１の局面における細胞画像解析方法は、分化能を有する細胞を含む細胞コロニーを撮像した第１画像を取得するステップと、第１画像中の細胞コロニーにおける、既に分化を開始した細胞のコロニー領域と、未分化細胞のコロニー領域とを特定するセグメンテーション処理を実施し、第１画像をラベル画像に変換するステップと、ラベル画像から細胞コロニーの形状特徴量を取得するステップと、コンピュータを用いて、ユーザから、探索対象のコロニー領域に関する入力を受け付けるステップと、ユーザの入力に基づいて形状特徴量の判定基準を設定するステップと、形状特徴量と判定基準とに基づいて、細胞コロニー毎に、探索対象の候補となるコロニー領域を含むか否かを判定するステップと、を備える。

この発明の第２の局面における細胞画像解析装置は、分化能を有する細胞を含む細胞コロニーを撮像した顕微鏡画像が入力される記憶部と、顕微鏡画像中の細胞コロニーにおける、既に分化を開始した細胞のコロニー領域と、未分化細胞のコロニー領域とを特定するセグメンテーション処理を実施し、第１画像をラベル画像に変換するセグメンテーション処理部と、探索対象のコロニー領域に関する入力を受け付ける入力部と、顕微鏡画像に含まれる細胞コロニー毎に、探索対象の候補となるコロニー領域を含むか否かを判定する判定処理部と、を備え、判定処理部は、ラベル画像から細胞コロニーの形状特徴量を取得し、形状特徴量と、ユーザの入力に基づいて設定された形状特徴量の判定基準とに基づいて、コロニー領域の判定を行うように構成されている。

この発明の第３の局面における細胞画像解析方法は、機械学習された判定用の学習済みモデルを作成するステップと、分化能を有する細胞を含む細胞コロニーを撮像した第１画像を取得するステップと、第１画像中の細胞コロニーにおける、既に分化を開始した細胞のコロニー領域と、未分化細胞のコロニー領域とを特定するセグメンテーション処理を実施し、第１画像をラベル画像に変換するステップと、第１画像のラベル画像を学習済みモデルに入力することにより、細胞コロニー毎に、探索対象の候補となるコロニー領域を含むか否かを判定するステップと、を備え、学習済みモデルを作成するステップは、予め取得された第２画像中の細胞コロニーについて、所望のコロニー領域を含むか否かの選択情報の入力を受け付けるステップと、第２画像をセグメンテーションしたラベル画像を入力データとし、選択情報を教師データとする機械学習により、学習済みモデルを作成するステップと、を含む。

本発明の第１～第３の局面によれば、上記のように、セグメンテーション処理によって、分化を開始した細胞のコロニー領域と、未分化細胞のコロニー領域とのうち、培養目的等に応じてピッキングの対象となり得るコロニー領域を画像中から特定できる。そして、第１および第２の局面では、形状特徴量と、ユーザの入力に基づいて設定された形状特徴量の判定基準とに基づいて、画像中の細胞コロニー毎に、探索対象の候補となるコロニー領域を含むか否かの判定結果を得ることができる。また、第３の局面では、所望のコロニー領域を含むか否かの選択情報を用いて機械学習させた学習済みモデルによって、画像中の細胞コロニー毎に、探索対象の候補となるコロニー領域を含むか否かの判定結果を得ることができる。これらの結果、本発明の第１～第３の局面によれば、ユーザがピッキング対象として判断する可能性の高いコロニー領域を含む細胞コロニーを判別してユーザに示すことが可能となるため、多数の細胞領域をユーザが１つ１つ観察して判断する必要がなくなる。これにより、細胞培養におけるピッキング対象となる細胞の探索作業に伴うユーザの負荷を、効果的に軽減することができる。

一実施形態による細胞画像解析方法の概要を示した図である。 細胞画像解析方法を説明するためのフロー図である。 一実施形態の細胞画像解析装置の概要を示したブロック図である。 第１学習済みモデルを説明するための図である。 第１学習済みモデルの作成処理を説明するためのフロー図である。 選択情報の入力方法を説明するための図である。 形状特徴量の例を示した図である。 形状特徴量を説明するためのラベル画像の模式図である。 第２学習済みモデルを説明するための図である。 機械学習における入力画像、教師ラベル画像およびセグメンテーション結果のラベル画像の例を示した図である。 細胞画像解析装置を備えたピッキングシステムの例を説明するための図である。 ピッキングシステムを説明するための斜視図である。 細胞画像解析処理およびピッキング処理を説明するためのフロー図である。 ピッキング対象の判断基準の例を示した図である。 変形例による判定用の学習済みモデルを説明するための図である。 変形例による細胞画像解析方法を説明するためのフロー図である。 セグメンテーション処理および判定処理をサーバ側で行う変形例を示した模式図である。 セグメンテーション処理をサーバ側で行う変形例を示した模式図である。

以下、本発明を具体化した実施形態を図面に基づいて説明する。

図１～図１４を参照して、本実施形態による細胞画像解析方法および細胞画像解析装置１００について説明する。

（細胞画像解析方法）
図１に示す細胞画像解析方法は、細胞培養における細胞のピッキング作業において、細胞コロニー１０を撮像した顕微鏡画像を取得し、顕微鏡画像中に写る細胞コロニー１０が、探索対象の候補となるコロニー領域を含むか否かを判定する方法である。

細胞コロニー１０とは、単一細胞に由来する細胞塊（多数の細胞の集合）のことである。コロニー領域とは、細胞コロニーのうちで、特定の細胞により構成された領域である。

細胞のピッキングとは、細胞の培養容器９０中から、ピッキング対象となる細胞または細胞塊を抽出することである。細胞のピッキングは、たとえばピペッタなどの器具を用いてピッキング対象を吸引することにより行われる。

本実施形態におけるピッキング対象となる細胞は、分化能を有する細胞である。分化能を有する細胞は、たとえばｉＰＳ細胞、ＥＳ細胞（胚性幹細胞）などである。これらの細胞は、様々な組織や臓器を構成する細胞に分化する分化多能性（分化能）を有する。このような細胞の培養では、多能性を維持した細胞である「未分化細胞」と、未分化状態を逸脱し既に分化を開始した細胞である「未分化逸脱細胞」と、が生じる。そのため、細胞コロニーには、未分化細胞のコロニー領域や未分化逸脱細胞のコロニー領域が形成される。細胞コロニーは、未分化細胞のコロニー領域または未分化逸脱細胞のコロニー領域のいずれかだけで構成される場合もあり、未分化細胞のコロニー領域と未分化逸脱細胞のコロニー領域とを含む場合もある。

多能性を維持した未分化細胞を増殖させるために、未分化細胞をピッキングして別の培養容器に移し替え、次代の細胞株として培養を行う継代と呼ばれる作業や、未分化逸脱細胞をピッキングして培養容器９０中から除去する作業が行われる。

たとえば継代に用いられる細胞は、未分化細胞であればどのような細胞でもよいという訳ではない。ピッキングを行う際には、培養作業を行うユーザの目的に応じた未分化細胞のコロニー領域が、ユーザによって探索され、ピッキングの対象として選別される。

本実施形態による細胞画像解析方法は、このような分化能を有する細胞の培養に際して、未分化細胞のコロニー領域１１と未分化逸脱細胞のコロニー領域１２とを区別する。そして、細胞画像解析方法は、培養作業を行うユーザの目的に応じて、ピッキングのために探索対象の候補となるコロニー領域を含んだ細胞コロニー１０を判別することにより、ピッキング対象となる細胞コロニー１０の探索作業を支援する。未分化逸脱細胞のコロニー領域１２は、請求の範囲の「既に分化を開始した細胞のコロニー領域」の一例である。

図１および図２に示すように、本実施形態による細胞画像解析方法は、少なくとも、下記のステップ７１～７６を備える。
（ステップ７１）分化能を有する細胞を含む細胞コロニー１０を撮像した第１画像２１を取得する。
（ステップ７２）第１画像２１中の細胞コロニー１０における、既に分化を開始した細胞（未分化逸脱細胞）のコロニー領域１２と、未分化細胞のコロニー領域１１とを特定するセグメンテーション処理を実施し、第１画像２１をラベル画像２１Ａに変換する。
（ステップ７３）ラベル画像２１Ａから細胞コロニー１０の形状特徴量２５を取得する。
（ステップ７４）コンピュータを用いて、ユーザから、探索対象のコロニー領域に関する入力を受け付ける。
（ステップ７５）ユーザの入力に基づいて形状特徴量２５の判定基準３０を設定する。
（ステップ７６）形状特徴量２５と判定基準３０とに基づいて、細胞コロニー１０毎に、探索対象の候補となるコロニー領域を含むか否かを判定する。

ステップ７１において、第１画像２１は、分化能を有する細胞を含む細胞コロニー１０を撮像した顕微鏡画像でありうる。顕微鏡画像は、たとえば透過観察型顕微鏡、位相差顕微鏡などの光学顕微鏡により取得される画像である。第１画像２１は、ホログラフィック顕微鏡画像であり得る。第１画像２１は、細胞コロニー１０の形状を観察可能な倍率で非破壊的に撮像可能な画像であれば、特に限定されない。

第１画像２１は、少なくとも１つの細胞コロニー１０を撮像した画像である。第１画像２１は、たとえば図１に示すように、培養容器９０中の細胞コロニー１０を、撮像装置２００によって撮像することにより取得される。培養容器９０は、いわゆるシャーレなどの透明な平皿状の培養皿、複数のウェルが形成されたマイクロプレート（ウェルプレート）などである。

図２のステップ７２において、取得された第１画像２１に対してセグメンテーション処理が実施される。本明細書において、「セグメンテーション処理」とは、画像を複数の領域に分割する処理であって、検出対象が写る領域にその検出対象を示すラベルを付与することにより、入力画像を複数のラベル領域に区分する処理である。ラベル領域とは、画像中で共通のラベルが付与された画素群によって構成される領域（画像の一部分）である。セグメンテーション処理は、コンピュータを用いた画像処理により実現される。

ラベルは、ラベル領域を構成する画像部分が示す意味を表す情報である。セグメンテーションは、画像中の１画素毎にラベルを付与することにより行われる。ラベルは、複数画素のまとまり（画素群）を単位として付与されてもよい。ラベルの種類のことを、クラスという。

図１に示したように、第１画像２１に対するセグメンテーション処理により、第１画像２１が、複数のラベル領域に分割されたラベル画像２１Ａが生成される。

ステップ７２におけるセグメンテーション処理は、第１画像２１を、少なくとも、分化を開始した細胞（未分化逸脱細胞）のコロニー領域１２のラベル領域と、未分化細胞のコロニー領域１１のラベル領域と、に領域分割する処理である。つまり、少なくとも２クラスの分類が行われる。これにより、生成されるラベル画像２１Ａは、未分化逸脱細胞のコロニー領域１２と、未分化細胞のコロニー領域１１と、の少なくとも２つのラベル領域を含む。ラベル画像２１Ａは、たとえば、未分化逸脱細胞のコロニー領域１２と、未分化細胞のコロニー領域１１と、コロニー領域以外の背景領域１３と、の３つ（３クラス）のラベル領域を含む。

ラベル画像２１Ａにおいて、同一のラベル領域内の各画素は、同一の画素値または同一の色で表現される。異なるラベル領域は、異なる画素値または異なる色で表現される。図１の例によるラベル画像２１Ａは、第１画像２１中の各画素が、３クラスのラベル（未分化逸脱細胞のコロニー領域、未分化細胞のコロニー領域、背景領域）に対応する３値の画素値のいずれかで区分された、３値化画像である。これにより、第１画像２１中に現われるコロニー領域の模様や明暗のグラデーションなどの、細胞コロニーの形状とは無関係の画像情報が除去され、各ラベル領域の形状だけを正確に抽出可能となる。

ステップ７３において、ラベル画像２１Ａから細胞コロニー１０の形状特徴量２５が取得される。形状特徴量２５は、ラベル画像２１Ａに含まれる細胞コロニー１０の形状を数値によって表現した情報である。形状特徴量２５は、細胞コロニー１０を示すラベル領域の大きさ、輪郭形状、幅や長さなどを示す量（数値）でありうる。細胞コロニー１０の形状特徴量２５は、細胞コロニー１０の全体領域に関する形状特徴量であってもよいし、細胞コロニー１０の一部である未分化細胞のコロニー領域１１や未分化逸脱細胞のコロニー領域１２に関する形状特徴量であってもよい。形状特徴量２５の具体的な内容については、後述する。

ステップ７４では、コンピュータが備える入力デバイスを介して、探索対象のコロニー領域に関する入力が受け付けられる。そして、ステップ７５において、コンピュータにより、入力された情報に基づいて形状特徴量２５の判定基準３０が設定される。

探索対象のコロニー領域に関する情報は、形状特徴量２５の判定基準３０を設定するための情報である。探索対象のコロニー領域に関する情報は、判定基準３０そのものであってもよい。探索対象のコロニー領域に関する情報は、ユーザがどのようなコロニー領域を探索対象として判定するかというユーザの傾向を表す情報であってもよい。より簡単に言えば、探索対象のコロニー領域に関する情報は、ユーザがどのようなコロニー領域を所望するかという、細胞コロニー１０に関するユーザの好みを表す情報でありうる。そのため、探索対象のコロニー領域に関する入力に基づいて、ユーザ自身の判断基準に沿った形状特徴量２５の判定基準３０が設定される。

ユーザの入力に基づいて設定される形状特徴量２５の判定基準３０は、たとえば、形状特徴量２５の閾値でありうる。複数の形状特徴量２５を用いて判定が行われる場合、判定基準３０は、判定に用いられる個々の形状特徴量２５に対する重みを含みうる。ユーザは、たとえば、形状特徴量２５の閾値や重みを、ピッキング対象にしたい細胞コロニー１０の特徴に合わせて入力し、設定させる。予めサンプルとなる顕微鏡画像を準備しておいて、顕微鏡画像中に写る個々の細胞コロニー１０について、探索対象の候補となるコロニー領域を含むか否かをユーザ自身が選択して入力（教示）することにより、判定基準３０が設定されてもよい。

ステップ７６では、第１画像２１（ラベル画像２１Ａ）中の個々の細胞コロニー１０が、探索対象の候補となるコロニー領域を含むか否かが、画像中に写る細胞コロニー１０毎に判定される。判定処理は、コンピュータを用いた画像処理により実現される。

探索対象の候補となるコロニー領域を含むか否かの判定処理は、判定対象となる細胞コロニー１０について取得された形状特徴量２５が、形状特徴量２５の判定基準３０に合致するか否かにより実施される。

ステップ７６の結果、第１画像２１（ラベル画像２１Ａ）中の個々の細胞コロニー１０について、探索対象の候補となるコロニー領域を含むか否かの判定結果３５が生成される。判定結果３５は、「探索対象の候補となるコロニー領域を含む（正例）」、「探索対象の候補となるコロニー領域を含まない（負例）」の２値情報でありうる。後述するように、判定結果３５は、「探索対象の候補となるコロニー領域を含む」ことの可能性の高さの度合いを示す情報でありうる。

ステップ７７において、判定結果３５が出力される。判定結果３５に基づいて、ユーザ自身により、または自動で、第１画像２１（ラベル画像２１Ａ）中の個々の細胞コロニー１０をピッキング対象とするか否かが判断できる。たとえば、ユーザは、個々の細胞コロニー１０の判定結果３５を考慮して、正例であると判定された細胞コロニー１０のうちから、目的に沿った細胞コロニー１０をピッキング対象として選択する。また、たとえば、正例であると判定された細胞コロニー１０のうちから、閾値処理などの自動的な処理により、いずれかの細胞コロニー１０がピッキング対象として選択される。このため、ユーザは、ピッキング作業において培養容器９０中の１つ１つの細胞コロニー１０の形態を詳細に確認するなどの探索作業を要することなく、ピッキング対象を決定できる。

（細胞画像解析装置）
図３を参照して、本実施形態の細胞画像解析装置１００の概要について説明する。細胞画像解析装置１００は、図１および図２に示した細胞画像解析方法を実行する装置である。

図３に示す細胞画像解析装置１００は、記憶部１１０と、セグメンテーション処理部１２１と、判定処理部１２２と、入力部１４０と、を備える。細胞画像解析装置１００は、信号の入出力、データ通信、または記録媒体を介したデータの移し替えにより、細胞撮像装置２００から顕微鏡画像を取得可能である。

記憶部１１０には、分化能を有する細胞を含む細胞コロニー１０を撮像した顕微鏡画像が入力される。顕微鏡画像は、図１に示した第１画像２１である。細胞画像解析装置１００は、細胞撮像装置２００から取得した第１画像２１の画像データを記憶部１１０に記憶させるように構成されている。これにより、図２のステップ７１が実施される。

セグメンテーション処理部１２１は、顕微鏡画像（第１画像２１）中の細胞コロニー１０における、既に分化を開始した細胞のコロニー領域１２と、未分化細胞のコロニー領域１１とを特定するセグメンテーション処理を実施する。すなわち、セグメンテーション処理部１２１は、図２のステップ７２を実施する。セグメンテーション処理部１２１は、第１画像２１に対するセグメンテーション処理により、第１画像２１をラベル画像２１Ａ（図１参照）に変換する。

判定処理部１２２は、顕微鏡画像に含まれる細胞コロニー１０毎に、探索対象の候補となるコロニー領域を含むか否かを判定する。

判定処理部１２２は、ラベル画像２１Ａから細胞コロニー１０の形状特徴量２５（図１参照）を取得し、形状特徴量２５と、形状特徴量２５の判定基準３０とに基づいて、コロニー領域の判定を行うように構成されている。すなわち、判定処理部１２２は、図２のステップ７３および７６を実行する。形状特徴量２５の判定基準３０は、判定処理（ステップ７６）に先立つステップ７４および７５において、入力部１４０を用いたユーザの入力に基づいて細胞画像解析装置１００に設定され、記憶部１１０に記憶される。

判定処理部１２２は、図２のステップ７７において、判定結果３５を出力する。判定結果３５に基づいて、ユーザにより、または自動で、第１画像２１（ラベル画像２１Ａ）中の個々の細胞コロニー１０をピッキング対象とするか否かが判断できる。

図３に示した例では、細胞画像解析装置１００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＦＰＧＡ（ｆｉｅｌｄ－ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）などの演算処理を行うプロセッサ１２０と、データを記憶する記憶部１１０と、入力部１４０とを備えたパーソナルコンピュータ（ＰＣ）により構成される。

図３の例では、プロセッサ１２０が、記憶部１１０に記憶されたプログラム１１１を実行することにより、セグメンテーション処理部１２１および判定処理部１２２として機能する。すなわち、図３の例では、セグメンテーション処理部１２１および判定処理部１２２がプロセッサ１２０の機能ブロックとして実現されている。セグメンテーション処理部１２１および判定処理部１２２が個別のハードウェアとして構成されていてもよい。

個別のハードウェアとは、セグメンテーション処理部１２１および判定処理部１２２が別々のプロセッサによって構成されることを含む。個別のハードウェアとは、細胞画像解析装置１００が複数台のコンピュータ（ＰＣ）を含み、セグメンテーション処理を行うコンピュータ（ＰＣ）と、判定処理を行うコンピュータ（ＰＣ）とが、別々に設けられることを含む。

記憶部１１０は、揮発性および／または不揮発性の記憶装置により構成されうる。たとえば記憶部１１０は、ハードディスクドライブまたはソリッドステートドライブを含む。記憶部１１０には、細胞画像解析装置１００のプログラム１１１が記憶されている。記憶部１１０は、取得された顕微鏡画像（第１画像２１）などの各種データを記憶する。

入力部１４０は、ユーザからの操作入力を受け付ける装置である。入力部１４０は、たとえばマウスやキーボードなどの入力デバイスを含む。これにより、入力部１４０は、探索対象のコロニー領域に関する入力を受け付けるように構成されている。また、細胞画像解析装置１００は、画像表示を行う表示部１３０に接続されている。表示部１３０は、液晶方式や有機／無機ＥＬ方式などのモニタを含む。入力部１４０が表示部１３０と一体化されたタッチパネルであってもよい。

細胞画像解析装置１００は、入力部１４０を介してユーザの操作入力を受け付けることにより、判定基準３０を設定可能に構成されている。細胞画像解析装置１００は、顕微鏡画像（第１画像２１）、ラベル画像２１Ａ、判定結果３５などを表示部１３０に表示させることができる。細胞画像解析装置１００は、たとえば、表示部１３０に表示させたラベル画像２１Ａに対する選択操作の入力を受け付ける。これにより、細胞画像解析装置１００は、ユーザがピッキング対象（探索対象の候補となるコロニー領域を含んだ細胞コロニー１０）を特定することができる。

（判定基準の設定）
次に、判定基準３０の設定方法の一例について説明する。判定基準３０は、ユーザから操作入力を受け付けることにより、入力された情報から自動的に設定することができる。

たとえば、探索対象のコロニー領域に関する入力を受け付けるステップ７４は、予め取得された第２画像２２中の細胞コロニー１０について、ユーザから所望のコロニー領域を含む否かの選択情報４０の入力を受け付けるステップを含む。そして、判定基準３０を設定するステップ７５では、受け付けた選択情報４０に基づいて、判定基準３０を設定する。

第２画像２２は、判定基準３０を設定するためのサンプルとして、予め取得される顕微鏡画像である。第２画像２２は、第１画像２１（図１参照）と同様、分化能を有する細胞を含む細胞コロニー１０を撮像した画像である。

選択情報４０は、第２画像２２中の細胞コロニー１０について、正例（所望のコロニー領域を含む）であるか、負例（所望のコロニー領域を含まない）であるかをユーザが選択した情報である。つまり、選択情報４０は、第２画像２２中の１つの細胞コロニー１０と一対一で紐付けられ、紐付けられた細胞コロニー１０が正例であるか負例であるかを示す情報である。選択情報４０は、正例（たとえば「１」）または負例（たとえば「０」）のいずれかを示す２値情報である。

選択情報４０は、たとえば表示部１３０に表示させた画像に対して、入力部１４０を介してユーザの選択を受け付けることにより、取得される。本実施形態では、選択情報４０の入力を受け付けるステップは、第２画像２２または第２画像２２のラベル画像２２Ａ中で、ユーザによるコロニー領域の指定を可能にすること、または、ユーザによるコロニー領域のピッキングを可能にすること、を含む。これにより、ユーザが実際にコロニー領域の指定し、または、ユーザが実際にコロニー領域をピッキングすることにより、選択情報４０が入力できる。

図６は、第２画像２２のラベル画像２２Ａに対する操作入力の例を示す。図６において、ラベル画像２２Ａと、説明用の模式図とを並べて図示している。ユーザは、第２画像２２または第２画像２２のラベル画像２２Ａ中で、入力部１４０（図３参照）を介して、正例となる細胞コロニー１０を選択する操作入力４１を行う。または、ユーザは、第２画像２２または第２画像２２のラベル画像２２Ａを表示させた状態で、正例となる細胞コロニー１０を実際にピッキングする。ピッキングの結果、画像中から細胞コロニー１０が除去されることにより、除去された細胞コロニー１０が正例であるとの選択情報４０を取得できる。入力が行われなかった細胞コロニー１０は、負例であるとの選択情報４０が付与される。ユーザが負例と判断する細胞コロニー１０について、負例であることの操作入力が行われてもよい。

適切な数の細胞コロニー１０について、ユーザの操作入力に基づいて選択情報４０が生成される。生成された複数の選択情報４０から、どのような細胞コロニー１０を正例として判定するかというユーザの傾向（すなわち、好み情報）を把握できる。その結果、受け付けた選択情報４０に基づいて判定基準３０が設定される。

〈第１学習済みモデル〉
本実施形態では、判定基準３０は、選択情報４０を用いた機械学習によって獲得されうる。すなわち、判定基準３０を設定するステップ７５は、図４に示すように、第２画像２２のラベル画像２２Ａから取得された形状特徴量２５を入力データとし、選択情報４０を教師データとする機械学習により、形状特徴量２５に対する判定基準３０を獲得した第１学習済みモデル５０を作成することを含む。そして、探索対象の候補となるコロニー領域を含むか否かを判定するステップ７６（図２参照）は、第１画像２１のラベル画像２１Ａから取得された形状特徴量２５を第１学習済みモデル５０に入力して判定結果３５を生成することを含む。

第２画像２２のラベル画像２２Ａは、図１に示した第１画像２１のラベル画像２１Ａと同様に、第２画像２２に対するセグメンテーション処理によって取得される。第２画像２２のラベル画像２２Ａは、第１画像２１のラベル画像２１Ａと同じように複数領域に分割される。つまり、第２画像２２のラベル画像２２Ａ（図６参照）は、少なくとも未分化逸脱細胞のコロニー領域１２と、未分化細胞のコロニー領域１１とを含む。

第２画像２２のラベル画像２２Ａから、細胞コロニー１０毎に、形状特徴量２５が算出される。第２画像２２中に写る個々の細胞コロニー１０について、その細胞コロニー１０の形状特徴量２５と、その細胞コロニー１０についての選択情報４０とが取得される。形状特徴量２５を入力データとし、選択情報４０を教師データとする機械学習により、着目する細胞コロニー１０の形状特徴量２５が与えられた時に、その細胞コロニー１０が正例（探索対象の候補となるコロニー領域を含む）であるか否かを判定することが学習される。すなわち、機械学習によって、形状特徴量２５の判定基準３０を獲得した第１学習済みモデル５０が生成される。

第１学習済みモデル５０（判定処理用の学習モデル）は、たとえばＳＶＭ（サポートベクターマシン）である。好ましくは、第１学習済みモデル５０は、非線形ＳＶＭである。第１学習済みモデル５０は、第１画像２１のラベル画像２１Ａに写る未知の細胞コロニー１０についての形状特徴量２５を入力として、その細胞コロニー１０が正例に該当するか否かの判定結果３５を生成する。第１学習済みモデル５０は、たとえば、判定結果３５として、着目する細胞コロニー１０が正例に該当する可能性の高さの度合いである確信度を、０（％）～１００（％）の範囲で生成するように構成されている。

図５に、第１学習済みモデル５０の作成処理を示す。第１学習済みモデル５０の作成は、たとえば図３に示した細胞画像解析装置１００により実施できる。

ステップ８１において、第２画像２２が細胞撮像装置２００から取得され、記憶部１１０に入力される。

ステップ８２において、セグメンテーション処理部１２１により、第２画像２２に対するセグメンテーション処理が行われる。セグメンテーション処理により、第２画像２２のラベル画像２２Ａが生成される。

ステップ８３において、ラベル画像２２Ａ中の細胞コロニー１０に対する選択情報４０の入力が、入力部１４０により受け付けられる。このステップ８３は、本実施形態の細胞画像解析方法における「選択情報の入力をユーザから受け付けるステップ」の一例である。また、ステップ８４において、判定処理部１２２により、選択情報４０が入力された細胞コロニー１０の形状特徴量２５が算出される。

ステップ８５において、判定処理部１２２により、形状特徴量２５を入力データとし、選択情報４０を教師データとする機械学習が行われる。ステップ８５が、本実施形態の細胞画像解析方法における「判定基準を設定するステップ」の一例である。

ステップ８６において、所定回数の学習が完了したか否かが判断される。所定回数の学習が完了しない場合、ステップ８１に戻り、判定処理部１２２により、次の細胞コロニー１０について学習が行われる。所定回数の学習が完了した場合、機械学習が完了する。ステップ８７において、作成された第１学習済みモデル５０が記憶部１１０に記憶される。

以上により、形状特徴量２５の判定基準３０を獲得した第１学習済みモデル５０の作成処理が行われる。これにより、図４に示したように、判定処理（図２のステップ７６）では、判定処理部１２２が、第１画像２１のラベル画像２１Ａから形状特徴量２５を算出して第１学習済みモデル５０に入力する。その結果、判定処理部１２２は、第１学習済みモデル５０により判定結果３５を生成する。このような形状特徴量２５を用いた機械学習および判定処理は、たとえば画像全体を入力データとする場合と比べて、入力データ量が小さくて済むため、処理負荷が小さく高速な処理が可能である。そのため、ユーザが関与する第１学習済みモデル５０の機械学習を短時間で完了させることができ、ピッキング作業の際に判定結果３５が出力されるまでの処理も速やかに行える。

（形状特徴量）
次に、形状特徴量２５について説明する。

図７に示すように、形状特徴量２５は、ｉ）ラベル画像２１Ａに含まれる細胞コロニー１０の全体領域、ｉｉ）細胞コロニー１０に含まれる未分化細胞のコロニー領域１１、ｉｉｉ）細胞コロニー１０に含まれる分化を開始した細胞（未分化逸脱細胞）のコロニー領域１２、のうち少なくとも１つに関する形状特徴量を含む。図７では、便宜的に、細胞コロニー１０の全体領域の形状特徴量２５Ａを「コロニー特徴量」と表記し、未分化細胞のコロニー領域１１の形状特徴量２５Ｂを「未分化領域特徴量」と表記し、未分化逸脱細胞のコロニー領域１２の形状特徴量２５Ｃを「逸脱領域特徴量」と表記している。

本実施形態では、第１画像２１（第２画像２２）は、未分化細胞のコロニー領域１１と、未分化逸脱細胞のコロニー領域１２と、背景領域１３と、の３クラスの各ラベルに領域分割される。そのため、図８に示すように、細胞コロニー１０の全体領域は、未分化細胞のコロニー領域１１と未分化逸脱細胞のコロニー領域１２とを合計した領域である。なお、図８は、コロニー領域１１およびコロニー領域１２を含む細胞コロニー１０を示しているが、未分化細胞のコロニー領域１１のみの細胞コロニー１０や、未分化逸脱細胞のコロニー領域１２のみの細胞コロニー１０もある。

図７に示すように、形状特徴量２５は、具体的には、ｉ）領域の面積、ｉｉ）領域の輪郭長さ、ｉｉｉ）領域の円形度、ｉｖ）領域の最小外接矩形のアスペクト比、およびｖ）細胞コロニー１０の全体領域に対するコロニー領域１１の面積比、のうち少なくとも１つを含む。ここでいう「領域」とは、細胞コロニー１０の全体領域、コロニー領域１１またはコロニー領域１２のうち、いずれかのことである。

「領域の面積」は、着目する領域に含まれる画素の数に相当する。「領域の輪郭長さ」は、着目する領域の輪郭９１を構成する画素の数に相当する。「領域の円形度」は、着目する領域の輪郭９１が円形に近いほど１に近い値となる特徴量である。着目する領域の面積をＳ、着目する領域の輪郭長さをＣとすると、領域の円形度ＲはＲ＝４π×（Ｓ／Ｃ²）で表される。

「領域の最小外接矩形のアスペクト比」は、着目する領域の最小外接矩形９２の（短辺／長辺）によって表される。最小外接矩形９２は、着目する領域を囲む矩形の中で最も面積が小さくなる矩形である。「細胞コロニー１０の全体領域に対するコロニー領域１１の面積比」は、細胞コロニー１０中の未分化細胞のコロニー領域１１が占める割合である。面積比は、（未分化細胞のコロニー領域１１の面積／細胞コロニー１０全体の面積）で表される。

図７は、継代の際に、未分化細胞のコロニー領域１１をピッキングする場合に採用されうる形状特徴量２５の例を示したものである。細胞コロニー１０の全体領域に関する形状特徴量２５Ａ（コロニー特徴量）としては、細胞コロニー１０の全体領域の面積、細胞コロニー１０の全体領域の輪郭長さ、細胞コロニー１０の全体領域の円形度、細胞コロニー１０の全体領域のアスペクト比が採用できる。

未分化細胞のコロニー領域１１に関する形状特徴量２５Ｂ（未分化領域特徴量）としては、未分化細胞のコロニー領域１１の面積、未分化細胞のコロニー領域１１の輪郭長さ、未分化細胞のコロニー領域１１の円形度、未分化細胞のコロニー領域１１のアスペクト比が採用できる。

未分化逸脱細胞のコロニー領域１２に関する形状特徴量２５Ｃ（逸脱領域特徴量）としては、未分化逸脱細胞のコロニー領域１２の面積、細胞コロニー１０の全体領域に対するコロニー領域１１の面積比が採用できる。なお、面積比は、値が大きいほど未分化逸脱細胞のコロニー領域１２が小さいことを表し、未分化細胞のコロニー領域１１をピッキングする場合には、未分化逸脱細胞の割合の少なさの尺度となる。

判定処理に用いられる形状特徴量２５は、以上の特徴量のうち１つまたは複数を含む。実際にユーザがピッキング対象とするか否かの判断材料としている細胞コロニー１０の特徴点は、単一ではないため、判定処理には、複数の形状特徴量２５を用いることが好ましい。たとえば、判定処理には、細胞コロニー１０の全体領域に関する形状特徴量２５Ａ、未分化細胞のコロニー領域１１に関する形状特徴量２５Ｂ、および、未分化逸脱細胞のコロニー領域１２に関する形状特徴量２５Ｃを、少なくとも１つずつ用いる。形状特徴量２５の数が多くなるほど、適切な判定基準３０を設定するのが難しくなる。図４に示した機械学習による第１学習済みモデル５０を用いることは、複数の形状特徴量２５を用いる場合でも、各形状特徴量２５についての適切な閾値を直接求める必要がなく、総合的な判定基準３０を獲得できるため好ましい。

（第２学習済みモデル）
本実施形態では、図２のステップ７２に示したセグメンテーション処理は、セグメンテーション処理を機械学習させた第２学習済みモデル６０（図９参照）によって実施されうる。すなわち、第１画像２１をラベル画像２１Ａに変換するステップ７２は、図９に示すように、第１画像２１を入力データとし、コロニー領域１１にセグメンテーション結果のラベルを付与する第２学習済みモデル６０により、ラベル画像２１Ａを生成することを含む。

第２学習済みモデル６０は、入力された画像（第１画像２１、第２画像２２）に対して、セグメンテーション処理を行い、複数のラベル領域に分割したラベル画像（ラベル画像２１Ａ、ラベル画像２２Ａ）を出力する。機械学習法として、全層畳み込みニューラルネットワーク（ＦｕｌｌｙＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｔｗｏｒｋｓ；ＦＣＮ）、ニューラルネットワーク、サポートベクターマシン（ＳＶＭ）、ブースティング等の任意の手法を用いることができる。本実施形態の第２学習済みモデル６０には、ラベル領域の識別性能の点から、好ましくは、セマンティックセグメンテーションに頻用される畳み込みニューラルネットワーク、より好ましくは、全層畳み込みニューラルネットワークを用いるとよい。そのような第２学習済みモデル６０は、画像が入力される入力層、畳み込み層、出力層を含んで構成される。

第２学習済みモデル６０を作成するためには、複数の学習データ６１を含んだ学習用データセットを用いた機械学習が行われる。図１０では、入力画像２３と、教師データとしての教師ラベル画像２４と、機械学習後の第２学習済みモデル６０により入力画像２３にセグメンテーション処理を実施した結果のラベル画像２３Ａと、を示す。教師ラベル画像２４およびラベル画像２３Ａについては、未分化細胞のコロニー領域１１と、未分化逸脱細胞のコロニー領域１２と、背景領域１３と、の３クラスでのラベル付与が行われている。各画像は実際にはカラー画像であり、ラベル画像は３色に色分けされた画像である。しかし、便宜的にグレースケール化しているため、説明のために細胞コロニー１０を示した模式図を各画像に並べて示している。

機械学習に用いる学習データ６１は、同一の細胞コロニー１０についての入力画像２３と教師ラベル画像２４とを含む。入力画像２３は、セグメンテーション処理が行われる前の元画像であり、第１画像２１および第２画像２２と同様の細胞コロニー１０が写る画像である。教師ラベル画像２４は、入力画像２３に対するセグメンテーション処理の結果として生成されるべき正解の画像として作成される。つまり、教師ラベル画像２４は、入力画像２３を複数のラベル領域に分割したラベル画像である。

教師ラベル画像２４は、機械学習を実行するための学習用画像の作成者によって作成される。たとえば、細胞コロニー１０について、染色剤により細胞領域を染色した細胞膜染色画像と、未分化細胞の核染色領域を未分化マーカーにより染色した核染色画像とを取得し、細胞膜染色画像と核染色画像とをそれぞれ閾値処理により２値化した上で両画像の差分を取得することにより、教師ラベル画像２４が作成される。

図９および図１０に示したように、第２学習済みモデル６０を作成する際には、入力画像２３から、正解である教師ラベル画像２４への変換処理（セグメンテーション処理）をセグメンテーション処理用の学習モデルに学習させる。機械学習の結果、作成された第２学習済みモデル６０に、処理対象となる第１画像２１や第２画像２２を入力することにより、セグメンテーション処理が行われたラベル画像２１Ａやラベル画像２２Ａが生成される。

以上のような判定処理用の第１学習済みモデル５０と、セグメンテーション処理用の第２学習済みモデル６０とは、たとえば図３のプロセッサ１２０が実行するプログラム１１１の一部として、記憶部１１０に記憶される。そして、プロセッサ１２０が判定処理部１２２として機能する場合に、第１学習済みモデル５０を用いて判定処理が行われる。プロセッサ１２０がセグメンテーション処理部１２１として機能する場合に、第２学習済みモデル６０を用いてセグメンテーション処理が行われる。

（セルピッキングシステム）
より具体的な構成例として、図１１を参照して、本実施形態の細胞画像解析装置１００と、細胞撮像装置２００と、セルピッキング装置３００とを備えたセルピッキングシステム５００について説明する。

セルピッキングシステム５００は、培養容器９０中の細胞コロニー１０（図１参照）を細胞撮像装置２００により撮像し、得られた第１画像２１に対してセグメンテーション処理および判定処理を行い、判定結果３５に基づいて自動的または半自動的にピッキング作業を実行可能に構成されている。セルピッキングシステム５００は、ピッキング動作を制御するための制御部４００を備える。セルピッキングシステム５００のうち、細胞撮像装置２００、セルピッキング装置３００および制御部４００を組み合わせた構成例を、図１２に示す。

図１１および図１２に示すように、細胞撮像装置２００は、培養容器９０中の細胞コロニー１０を撮像して、顕微鏡画像（第１画像２１、第２画像２２）を取得する。細胞撮像装置２００は、顕微鏡画像を制御部４００に出力するように構成されている。細胞撮像装置２００は、照明部２１０と、光学系２２０と、撮像部２３０とを備える。

照明部２１０は、ステージ４５０に載置された培養容器９０を介して光学系２２０へ照明光を照射する。照明部２１０は、可視波長領域の照明光を発生するＬＥＤなどの光源を含む。光学系２２０は、対物レンズなどのレンズ群を含み、培養容器９０を透過して入射した光を撮像部２３０へ送り、所望の倍率の像を形成する。撮像部２３０は、イメージセンサを含み、光学系２２０を介して受光した光を電気信号に変換して顕微鏡画像を生成する。イメージセンサとしては、たとえばＣＣＤ（Ｃｈａｒｇｅ－Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサ、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ ＭＯＳ）イメージセンサなどがある。

図１２は、倒立型の光学顕微鏡（位相差顕微鏡）に撮像部２３０を取り付けて細胞撮像装置２００とした構成例を示している。ユーザは光学顕微鏡の接眼レンズ２５０を通して、画像ではなく肉眼でも細胞コロニー１０を確認できる。

制御部４００は、図示しないプロセッサおよび記憶部を備えたコンピュータであり、記憶部に記憶されたプログラムを実行することにより、プロセッサが制御部として機能する。制御部４００は、細胞画像解析装置１００、細胞撮像装置２００、およびセルピッキング装置３００と通信可能に接続されている。図１２の例では、制御部４００は、タブレット端末であり、表示部４１０およびタッチパネル式の入力部４２０を備えている。入力部４２０は、ユーザが選択情報４０を入力するために用いることができる。

制御部４００は、細胞撮像装置２００から、撮像された顕微鏡画像（第１画像２１、第２画像２２）を取得して、表示部４１０に表示させる。制御部４００は、表示させた画像上で、入力部４２０を介してユーザの入力操作を受け付ける。制御部４００は、取得した顕微鏡画像（第１画像２１、第２画像２２）を細胞画像解析装置１００に送信するとともに、入力部４２０を介してユーザから受け付けた選択情報４０を細胞画像解析装置１００に送信する。制御部４００は、セルピッキング装置３００に座標情報を送信することにより、セルピッキング装置３００のピッキング動作を制御する。なお、制御部４００を設けずに、細胞画像解析装置１００を制御部４００として機能させてもよい。

セルピッキング装置３００は、ステージ４５０上に載置された培養容器９０内の細胞をピッキングするように構成されている。図１２の例では、セルピッキング装置３００は、ノズル部３１０と、吸引機構３２０と、ノズル移動機構３３０とを備える。

ノズル部３１０は、培養容器９０内にアクセスして細胞を吸引するように構成されている。ノズル部３１０は、たとえば使い捨てのピペットチップ３４０を着脱可能に構成されている。ノズル部３１０は、装着されたピペットチップ３４０の先端から細胞を吸引する。吸引機構３２０は、ノズル部３１０と流体的に接続され、ノズル部３１０に吸引力を付与するように構成されている。ノズル移動機構３３０は、ノズル部３１０を移動させるように構成されている。ノズル移動機構３３０は、モータなどの駆動源を有するロボット機構であり、ピッキング時にノズル部３１０の先端を培養容器９０内のピッキング座標へ移動させ、吸引後にノズル部３１０の先端を培養容器９０の外部まで退避させる。セルピッキング装置３００は、制御部４００によって、ピッキング動作の開始、終了が制御されるとともに、制御部４００からピッキング座標の入力を受け付ける。

ステージ４５０は、たとえば電動ステージである。この場合、制御部４００は、培養容器９０中の所定範囲の顕微鏡画像を順次取得するように、ステージ４５０を制御することができる。ステージ４５０は、電動ステージでなくてもよい。この場合、ピッキング作業において、ユーザは、たとえばステージ４５０上の培養容器９０を把持して移動させて、培養容器９０中の各撮像位置における複数の顕微鏡画像を順次取得させることができる。

図１１の例では、細胞画像解析装置１００のプロセッサ１２０が、セグメンテーション処理部１２１と、判定処理部１２２と、ピッキング処理部１２３とを機能ブロックとして含む。セグメンテーション処理部１２１は、記憶部１１０に記憶された第２学習済みモデル６０を用いて、顕微鏡画像（第１画像２１、第２画像２２）に対するセグメンテーション処理を行う。判定処理部１２２は、制御部４００を介して第２画像２２と選択情報４０とを取得して、第１学習済みモデル５０を作成し、記憶部１１０に記憶するように構成されている。判定処理部１２２は、記憶部１１０に記憶した第１学習済みモデル５０を用いて、第１画像２１中の細胞コロニー１０に対する判定処理を行う。ピッキング処理部１２３は、細胞コロニー１０がピッキング対象に該当するか否かを判断し、ピッキング対象に該当する細胞コロニー１０に対してピッキング座標２６（図８参照）を設定するように構成されている。

記憶部１１０は、第２学習済みモデル６０を予め記憶している。セグメンテーション処理は、ユーザの好み（どの細胞コロニー１０をピッキング対象として判定するかの傾向）に左右されないため、事前に機械学習を実行して作成された第２学習済みモデル６０を記憶しておくことが可能である。記憶部１１０には、第１画像２１、第２画像２２を含む画像データ、選択情報４０などが入力され、記憶される。

細胞画像解析装置１００において、第１画像２１を取得して判定処理およびピッキング処理を実行する前段階の、準備作業として、図５に示した第１学習済みモデル５０の作成処理が実行される。すなわち、サンプルとなる第２画像２２により第１学習済みモデル５０が予め作成され、記憶部１１０に記憶される。

まず、ユーザは、サンプルとなる培養細胞を収容した培養容器９０を用意して、ステージ４５０上に載置する。細胞撮像装置２００により、第２画像２２が撮像され、制御部４００を介して細胞画像解析装置１００に送信される（図５のステップ８１）。

セグメンテーション処理部１２１が、第２学習済みモデル６０により、セグメンテーション処理を実行し、第２画像２２のラベル画像２２Ａを生成する（図５のステップ８２）。制御部４００は、図６に示したように第２画像２２または生成されたラベル画像２２Ａを表示部４１０に表示させ、入力部４２０を介したユーザからの選択情報４０の入力を受け付ける（図５のステップ８３）。なお、画像表示および入力受け付けは、細胞画像解析装置１００が備える表示部１３０および入力部１４０（図１１参照）を用いても行うことができる。

選択情報４０の入力に際して、ユーザは、図６に示したように、表示された画像中に所望するコロニー領域を含む細胞コロニー１０が存在する場合に、その細胞コロニー１０の画像を画面上でタップすることにより、正例である選択情報４０を入力する。画像をタップせずに次の画像を表示させた場合、その細胞コロニー１０には負例である選択情報４０が付される。制御部４００は、選択情報４０を細胞撮像装置２００に送信する。

選択情報４０が取得されると、判定処理部１２２がラベル画像２２Ａから細胞コロニー１０の形状特徴量２５を算出する（図５のステップ８４）。判定処理部１２２は、図７に示した各種の形状特徴量のうちから、予め設定された１つまたは複数の形状特徴量２５を算出する。

判定処理部１２２は、細胞コロニー１０の形状特徴量２５と、その細胞コロニー１０に対する選択情報４０と、を用いて機械学習を行う（図５のステップ８５）。ユーザは、以上の作業を繰り返して、第１学習済みモデル５０の作成に必要な所定回数の機械学習を実行させる（図５のステップ８６）。これにより、準備作業としての第１学習済みモデル５０の作成が完了する。作成された第１学習済みモデル５０は、記憶部１１０に記憶される（図５のステップ８７）。

なお、この第１学習済みモデル５０の作成処理において、ピッキング作業を実際に行ってもよい。すなわち、表示された画像中の細胞コロニー１０をユーザがタップした場合、制御部４００は、タップされた位置をピッキング座標２６（図６参照）として取得する。制御部４００は、取得したピッキング座標２６およびピッキング動作の開始命令をセルピッキング装置３００に送信する。これにより、セルピッキング装置３００は、指定されたピッキング座標のコロニー領域１１のピッキングを行う。

この構成によれば、ユーザは継代などのピッキング作業を手動入力で実際に実行するだけで、準備作業である第１学習済みモデル５０の作成処理（機械学習）を行える。たとえばピッキング作業を行うべき培養容器９０が複数ある場合に、１つ目の培養容器９０に対しては、ユーザがセルピッキングシステム５００に手動入力でピッキング作業を実施させる。培養容器９０中には、判定対象となる多数の細胞コロニー１０が収容されているため、たとえば１つ目の培養容器９０に対するピッキング作業が完了すると、機械学習による第１学習済みモデル５０の作成処理も完了する。そして、２つ目以降の培養容器９０に対するピッキング作業は、後述するように、作成された第１学習済みモデル５０を用いて自動または半自動的に実行可能となる。

（画像解析処理およびピッキング処理）
次に、図１３を参照して、事前準備で作成された第１学習済みモデル５０を用いた、セルピッキングシステム５００による画像解析処理およびピッキング処理について説明する。

なお、図１３のステップ１５１が、図２に示した本実施形態の細胞画像解析方法のステップ７１に対応する。図１３のステップ１５２が、図２に示したステップ７２に対応する。図１３のステップ１５３は、図２に示したステップ７３に対応する。図１３のステップ１５４は、図２に示したステップ７６に対応する。また、図１３の例では、細胞画像解析方法を用いた細胞除去方法を示す。すなわち、本実施形態の細胞除去方法は、図２のステップ７１～７６を備え、探索対象の候補となるコロニー領域を含むか否かの判定結果３５を取得する。そして、細胞除去方法は、探索対象の候補となるコロニー領域を含むか否かの判定結果３５に基づいて、ユーザが所望すると判定されたコロニー領域１１のピッキング座標２６を設定するステップ１５６と、ピッキング座標２６の細胞を培養容器９０からピッキングするステップ１５７とをさらに備える。

ステップ１５１において、細胞撮像装置２００が、ステージ４５０上の培養容器９０中の細胞コロニー１０を撮像し、撮像視野内に含まれる細胞コロニー１０を写した第１画像２１を生成する。細胞画像解析装置１００のセグメンテーション処理部１２１は、制御部４００を介して第１画像２１を取得する。

ステップ１５２において、セグメンテーション処理部１２１は、取得した第１画像２１に対してセグメンテーション処理を実行する。すなわち、セグメンテーション処理部１２１は、第１画像２１を第２学習済みモデル６０に入力することにより、第１画像２１のラベル画像２１Ａを生成する。

ステップ１５３において、判定処理部１２２は、生成されたラベル画像２１Ａから細胞コロニー１０の形状特徴量２５を取得する。すなわち、判定処理部１２２は、図７に示した例のうちから、予め設定された１つまたは複数の形状特徴量２５を算出する。

ステップ１５４において、判定処理部１２２は、細胞コロニー１０毎に、探索対象の候補となるコロニー領域を含むか否かを判定する。すなわち、判定処理部１２２は、細胞コロニー１０毎の形状特徴量２５を第１学習済みモデル５０に入力することにより、それぞれの細胞コロニー１０が正例（探索対象の候補となるコロニー領域を含む）か否かの判定結果３５を出力する。判定結果３５は、０（％）～１００（％）までの確信度（数値）として出力される。

ステップ１５５において、細胞画像解析装置１００のピッキング処理部１２３は、判定結果３５が出力された細胞コロニー１０がピッキング対象に該当するか否かを判断する。ピッキング処理部１２３は、判定結果３５が出力された細胞コロニー１０がピッキング対象に該当しないと判断された場合、ステップ１５８に処理を進める。

ピッキング処理部１２３は、判定結果３５が出力された細胞コロニー１０がピッキング対象に該当すると判断した場合、ステップ１５６において、ユーザが所望すると判定されたコロニー領域１１のピッキング座標２６を設定する。

継代を行う例では、ピッキング対象に該当すると判断された細胞コロニー１０のうちで、未分化細胞のコロニー領域１１中の位置座標が、ピッキング座標２６に設定される。たとえばピッキング処理部１２３は、図８に例示したように、未分化細胞のコロニー領域１１中の幾何学的重心を算出し、算出した重心位置を、ピッキング座標２６に設定する。また、ピッキング処理部１２３は、セルピッキング装置３００により実際にピッキングされる領域の輪郭形状を予め取得し、ピッキングされる領域が未分化細胞のコロニー領域１１内に収まる位置として、ピッキング座標２６を設定する。ピッキング処理部１２３は、設定したピッキング座標２６を制御部４００に出力する。

ステップ１５７において、セルピッキング装置３００が、制御部４００の制御の下、ピッキング座標２６の細胞を培養容器９０からピッキングする。セルピッキング装置３００は、制御部４００から送信されたピッキング座標２６のノズル部３１０の先端を移動させて吸引させることにより、ピッキング座標２６の細胞（コロニー領域）をピペットチップ内に抽出する。セルピッキング装置３００は、ノズル部３１０の先端を培養容器９０の外部に退避させた後、抽出した細胞を所定位置の細胞容器へ吐出させる。ピッキングが終了すると、処理がステップ１５８に進む。

ステップ１５８において、制御部４００は、ピッキング作業を終了するか否かを判断する。制御部４００は、ピッキング作業を終了しないと判断した場合、処理をステップ１５１に戻して、次の第１画像２１を取得させる。たとえばユーザからピッキング作業を終了する旨の操作入力を受け付けた場合、所定数の細胞コロニー１０がピッキングされた場合、全ての細胞コロニー１０について上記の処理が実施された場合などに、制御部４００は、ピッキング作業を終了すると判断する。

以上で、第１学習済みモデル５０を用いた、画像解析処理およびピッキング処理が終了する。

図１３では、培養容器９０内の各撮像位置において、第１画像２１を取得する度に判定処理を行う（以下、逐次処理という）の例を示した。本実施形態では、これとは異なり、培養容器９０内の各撮像位置における複数枚の第１画像２１を予め撮像しておいて、撮像されたそれぞれの第１画像２１に写る細胞コロニー１０毎に判定処理をまとめて行ってもよい（以下、バッチ処理という）。バッチ処理の場合は、予め撮像された各細胞コロニー１０についての判定結果３５が得られた後で、それぞれの判定結果３５に基づいて、各細胞コロニー１０をピッキング対象とするか否かが判断される。

図１４は、ステップ１５５における、細胞コロニー１０がピッキング対象に該当するか否かの判断基準の例を示す。第１の判断基準として、ピッキング処理部１２３は、たとえば、判定結果３５の値（確信度）が、予め設定された閾値よりも大きい場合に、ピッキング対象に該当すると判断する。閾値は、ユーザにより予め入力される。ユーザは、ピッキング対象となる細胞コロニー１０を厳選したい場合に、相対的に高い閾値を設定し、なるべく多くの細胞コロニー１０をピッキングしたい場合に、相対的に低い閾値を設定する。第１の判断基準は、逐次処理およびバッチ処理のいずれの場合も適用できる。

第２の判断基準として、ピッキング処理部１２３は、複数の細胞コロニー１０の判定結果３５の値（確信度）の順位が、予め設定された順位の閾値よりも上位である場合に、ピッキング対象に該当すると判断する。第２の判断基準は、バッチ処理の場合に適用できる。つまり、バッチ処理により、複数の第１画像２１に写る複数の（全ての）細胞コロニー１０に対する判定処理を先に実行した後で、判定結果３５によって各細胞コロニー１０を順位付けし、判定結果３５の値が高い上位Ｎ個の細胞コロニー１０をピッキング対象として設定する。順位の閾値Ｎは、ユーザにより予め入力される。

第１の判断基準および第２の判断基準では、予め閾値を設定しておくことで、ピッキング処理を全自動で行うことが可能である。この他、第３の判断基準として、ピッキング処理部１２３は、ピッキング対象とする旨の入力操作を受け付けた場合に、ピッキング対象に該当すると判断する。たとえば判定結果３５の値（確信度）を細胞コロニー１０の画像とともに表示部４１０に表示させ、表示させた細胞コロニー１０をピッキング対象として選択するか否かを入力部４２０を介してユーザに入力させる。ユーザは、判定結果３５の数値を参考に、細胞コロニー１０を自分で確認した上でピッキング対象に設定するかどうかを決定できる。

（本実施形態の効果）
本実施形態では、以下のような効果を得ることができる。

本実施形態の細胞画像解析方法は、上記のように、分化能を有する細胞を含む細胞コロニー１０を撮像した第１画像２１を取得するステップ７１と、第１画像２１中の細胞コロニー１０における、既に分化を開始した細胞（未分化逸脱細胞）のコロニー領域１２と、未分化細胞のコロニー領域１１とを特定するセグメンテーション処理を実施し、第１画像２１をラベル画像２１Ａに変換するステップ７２と、ラベル画像２１Ａから細胞コロニー１０の形状特徴量２５を取得するステップ７３と、コンピュータを用いて、ユーザから、探索対象のコロニー領域に関する入力を受け付けるステップ７４と、ユーザの入力に基づいて形状特徴量２５の判定基準３０を設定するステップ７５と、形状特徴量２５と判定基準３０とに基づいて、細胞コロニー１０毎に、探索対象の候補となるコロニー領域を含むか否かを判定するステップ７６と、を備える。

また、本実施形態の細胞画像解析装置１００は、上記のように、分化能を有する細胞を含む細胞コロニー１０を撮像した顕微鏡画像（第１画像２１）が入力される記憶部１１０と、顕微鏡画像中の細胞コロニー１０における、既に分化を開始した細胞のコロニー領域１２と、未分化細胞のコロニー領域１１とを特定するセグメンテーション処理を実施し、顕微鏡画像（第１画像２１）をラベル画像２１Ａに変換するセグメンテーション処理部１２１と、探索対象のコロニー領域に関する入力を受け付ける入力部１４０と、顕微鏡画像に含まれる細胞コロニー１０毎に、探索対象の候補となるコロニー領域を含むか否かを判定する判定処理部１２２と、を備え、判定処理部１２２は、ラベル画像２１Ａから細胞コロニー１０の形状特徴量２５を取得し、形状特徴量２５と、ユーザの入力に基づいて設定された形状特徴量２５の判定基準３０とに基づいて、コロニー領域の判定を行うように構成されている。

上記構成によれば、セグメンテーション処理によって、分化を開始した細胞のコロニー領域１２と、未分化細胞のコロニー領域１１とのうち、培養目的等に応じてピッキングの対象となり得るコロニー領域を画像中から特定できる。そして、形状特徴量２５と、ユーザの入力に基づいて設定された形状特徴量２５の判定基準３０とに基づいて、画像中の細胞コロニー１０毎に、探索対象の候補となるコロニー領域を含むか否かの判定結果３５を得ることができる。これらの結果、本実施形態では、ユーザがピッキング対象として判断する可能性の高いコロニー領域を含む細胞コロニー１０を判定してユーザに示すことが可能となるため、顕微鏡画像中の多数の細胞領域をユーザが１つ１つ観察して判断する必要がなくなる。これにより、細胞培養におけるピッキング対象となる細胞の探索作業に伴うユーザの負荷を、効果的に軽減することができる。

また、上記実施形態の例では、以下のように構成したことによって、更なる効果が得られる。

すなわち、上記実施形態の細胞画像解析方法では、予め取得された第２画像２２中の細胞コロニー１０について、所望のコロニー領域を含む否かの選択情報４０の入力をユーザから受け付けるステップ８３と、受け付けた選択情報４０に基づいて、判定基準３０を設定するステップ８５と、を含む。このように構成すれば、サンプルとなる第２画像２２中の細胞コロニー１０に対するユーザ自身の判定結果をユーザが入力することによって、「探索対象の候補となるコロニー領域」を含むか否かの判定基準３０を設定することができる。この場合、判定基準３０となる形状特徴量２５の閾値や複数の形状特徴量２５の重みなどの最適値をユーザ自身が見出す必要がないため、判定基準３０を設定するためのユーザの作業負荷を軽減できる。

また、上記実施形態の細胞画像解析方法では、判定基準３０を設定するステップ８５は、第２画像２２のラベル画像２１Ａから取得された形状特徴量２５を入力データとし、選択情報４０を教師データとする機械学習により、形状特徴量２５に対する判定基準３０を獲得した第１学習済みモデル５０を作成することを含む。そして、探索対象の候補となるコロニー領域を含むか否かを判定するステップ７６は、第１画像２１のラベル画像２１Ａから取得された形状特徴量２５を第１学習済みモデル５０に入力して判定結果３５を生成することを含む。このように構成すれば、ユーザが選択情報４０を入力するだけで、機械学習によって、形状特徴量２５に対する判定基準３０を獲得した第１学習済みモデル５０を得ることができる。その結果、第１学習済みモデル５０によって生成された判定結果３５を、ユーザに提供できる。ここで、第１画像２１中に写るコロニー領域は、多様な形態を有しており、ユーザの好み（ピッキング対象の選択傾向）も多様である。そのため、実際上は、機械学習によらないルールベースの手法によって、ユーザの好みに沿った判定結果３５を生成する判定基準３０を構築することは難度が高い。これに対して、機械学習の手法を用いれば、複数の形状特徴量２５を組み合わせた判定基準３０の構築でも、ルールベースの手法と比べて容易に行える。ユーザが自ら判定した結果である選択情報４０を用いて学習することによって、ユーザの好みに沿った精度の高い判定結果３５を容易に提供することができる。

また、上記実施形態の細胞画像解析方法では、選択情報４０の入力を受け付けるステップ８３は、第２画像２２または第２画像２２のラベル画像２１Ａ中で、ユーザによるコロニー領域の指定を可能にすること、または、ユーザによるコロニー領域のピッキングを可能にすること、を含む。このように構成すれば、セルピッキング装置３００に対するピッキング対象の決定のためにユーザがコロニー領域を指定するだけで、判定基準３０を設定するためのサンプルとなる選択情報４０を入力できる。そのため、選択情報４０を入力するための特別な入力作業を行う必要がないため、判定基準３０を設定するためのユーザの作業負荷を軽減できる。

また、上記実施形態の細胞画像解析方法では、形状特徴量２５は、ｉ）ラベル画像２１Ａに含まれる細胞コロニー１０の全体領域、ｉｉ）細胞コロニー１０に含まれる未分化細胞のコロニー領域１１、ｉｉｉ）細胞コロニー１０に含まれる分化を開始した未分化逸脱細胞のコロニー領域１２、のうち少なくとも１つに関する形状特徴量２５を含む。ここで、本願発明者が鋭意検討した結果、ユーザ自身が顕微鏡画像からピッキング対象を判定する場合にも、細胞コロニー１０の全体の形状、未分化細胞のコロニー領域１１の形状、未分化逸脱細胞のコロニー領域１２の形状が、ユーザの判断に大きく影響するという知見が得られた。そこで、このような形状特徴量２５を用いることによって、探索対象の候補となるコロニー領域を含むか否かの判定を容易かつ精度良く行える。

また、上記実施形態の細胞画像解析方法では、形状特徴量２５は、ｉ）領域の面積、ｉｉ）領域の輪郭長さ、ｉｉｉ）領域の円形度、ｉｖ）領域の最小外接矩形のアスペクト比、およびｖ）細胞コロニー１０の全体領域に対するコロニー領域１１の面積比、のうち少なくとも１つを含む。このように構成すれば、探索対象の候補となるコロニー領域を含むか否かを判定するために、細胞コロニー１０全体やコロニー領域を特徴付ける有用な特徴量を得ることができる。

また、上記実施形態の細胞画像解析方法では、第１画像２１をラベル画像２１Ａに変換するステップ７２は、細胞コロニー１０を撮像した顕微鏡画像（入力画像２３）を入力データとし、コロニー領域（１１、１２）にセグメンテーション結果のラベルを付与する第２学習済みモデル６０により、ラベル画像２１Ａを生成することを含む。このように構成すれば、様々な細胞コロニー１０の形態を学習した第２学習済みモデル６０により、精度の高いセグメンテーション処理を行うことができる。上記の通り、顕微鏡画像中に写るコロニー領域１１は、多様な形態を有しており、機械学習によらないルールベースの手法によって、多様な形態のコロニー領域１１（未分化領域、逸脱領域）を精度良く特定可能なセグメンテーション処理を実現することは難度が高い。これに対して、機械学習の手法を用いれば、ルール化し難い形態的特徴でも学習モデルに学習させることが可能であり、精度の高いセグメンテーション処理を実現することができる。

また、上記実施形態の細胞除去方法では、ステップ７１～７６により得られた探索対象の候補となるコロニー領域を含むか否かの判定結果３５に基づいて、ユーザが所望すると判定されたコロニー領域１１のピッキング座標２６を設定するステップ１５６と、ピッキング座標２６の細胞を培養容器９０からピッキングするステップ１５７とをさらに備える。このように構成すれば、探索対象の候補となるコロニー領域を含むか否かの判定結果３５をユーザに提供するだけでなく、判定結果３５に基づいてピッキング対象と判断されるコロニー領域に対して、自動的なピッキング作業を行うことができる。この結果、すなわち、ピッキング対象の探索作業のみならず、探索後のピッキング作業までの自動化または半自動化を図ることができるので、細胞培養に関わるピッキング作業全体におけるユーザの作業負荷を効果的に軽減できる。

（変形例）
図１５および図１６を参照して、細胞画像解析方法の変形例について説明する。

上記実施形態では、セグメンテーション処理されたラベル画像２１Ａから細胞コロニー１０の形状特徴量２５を取得し、形状特徴量２５に基づいて判定処理を行う例を示したが、図１５および図１６に示す変形例では、細胞コロニー１０の形状特徴量２５を用いることなく判定処理を行う例を示す。なお、変形例による細胞画像解析方法は、上記実施形態と同様のハードウェア構成によって実施できるため、ハードウェアの説明は省略する。

この変形例による細胞画像解析方法は、機械学習された判定用の学習済みモデル５５を作成するステップ１６１と、分化能を有する細胞を含む細胞コロニー１０を撮像した第１画像２１を取得するステップ１６２と、第１画像２１中の細胞コロニー１０における、既に分化を開始した細胞のコロニー領域１２と、未分化細胞のコロニー領域１１とを特定するセグメンテーション処理を実施し、第１画像２１をラベル画像２１Ａに変換するステップ１６３と、第１画像２１のラベル画像２１Ａを学習済みモデル５５に入力することにより、細胞コロニー１０毎に、探索対象の候補となるコロニー領域を含むか否かを判定するステップ１６４と、を備える。

判定用の学習済みモデル５５を作成するステップ１６１は、予め取得された第２画像２２中の細胞コロニー１０について、所望のコロニー領域を含むか否かの選択情報４０の入力を受け付けるステップ１６７と、第２画像２２をセグメンテーションしたラベル画像２２Ａを入力データとし、選択情報４０を教師データとする機械学習により、学習済みモデル５５を作成するステップ１６８と、を含む。

このように、判定用の学習済みモデル５５の作成には、サンプルとなる第２画像２２を用いる。まず、ステップ１６５において、第２画像２２が取得される。ステップ１６６において、選択情報４０の入力が受け付けられる。また、ステップ１６７において、第２画像２２に対するセグメンテーション処理が実施される。ステップ１６５～ステップ１６７は、図５のステップ８１～８３と同様である。

変形例では、図５の例と異なり、形状特徴量２５が算出されない。変形例では、図１５に示すように、形状特徴量２５に代えて、第２画像２２のラベル画像２２Ａが入力データとされる。選択情報４０が教師データとされる。したがって、ステップ１６８において、学習モデルは、ラベル画像２１Ａを入力データとし、選択情報４０を教師データとする機械学習により、着目する細胞コロニー１０のラベル画像２１Ａが与えられた時に、その細胞コロニー１０が正例（探索対象の候補となるコロニー領域を含む）であるか否かを判別（推測）することを学習する。

機械学習法として、畳み込みニューラルネットワーク、ニューラルネットワーク、ＳＶＭ、ブースティング等の任意の手法を用いることができる。変形例による判定用の学習済みモデル５５には、ラベル領域の識別性能の点から、好ましくは、畳み込みニューラルネットワークを用いるとよい。

細胞画像から、探索対象の候補となるコロニー領域を含む細胞コロニー１０か否かを判定しようとする場合、画像に含まれる情報が多様になり過ぎて、判定結果３５が収束しにくい可能性がある。しかし、この変形例のように、セグメンテーション処理によるラベル画像２２Ａを入力画像とすれば、入力画像は３クラス（少なくとも２クラス）のラベル領域で区分された画像となり、たとえば細胞の表面のテクスチャ（模様）や照明光や外来光による画像中の輝度のばらつきなどの情報が除去される。つまり、ラベル画像２２Ａは、細胞コロニー１０の形状の情報だけを選択的に抽出した画像と言える。その結果、ラベル画像２２Ａを入力画像とする機械学習では、上記実施形態における形状特徴量２５と同様に、画像中の細胞コロニー１０の形状に基づいて、その細胞コロニー１０が正例であるか否かを判別することを、効果的に学習させることが可能となる。

第２画像２２を用いた機械学習により判定用の学習済みモデル５５が作成されると、第１画像２１に対する細胞画像解析の準備が完了する。

図１６に示すように、学習済みモデル５５を用いた細胞画像解析では、まず、ステップ１６２において、第１画像２１が取得され、ステップ１６３において、第１画像２１に対するセグメンテーション処理により、第１画像２１のラベル画像２１Ａが生成される。ステップ１６２およびステップ１６３は、図２に示したステップ７１および７２と同様である。

ステップ１６４において、生成された第１画像２１のラベル画像２１Ａを、判定用の学習済みモデル５５に入力することにより、細胞コロニー１０毎に、探索対象の候補となるコロニー領域を含むか否かの判定結果３５が生成される。ステップ１６９において、生成された判定結果３５が出力される。

（変形例による細胞画像解析方法の効果）
この変形例によれば、セグメンテーション処理によって、分化を開始した細胞のコロニー領域１２と、未分化細胞のコロニー領域１１とのうち、培養目的等に応じてピッキングの対象となり得るコロニー領域を画像中から特定できる。そして、所望のコロニー領域を含むか否かの選択情報４０を用いて機械学習させた学習済みモデル５５によって、画像中の細胞コロニー１０毎に、探索対象の候補となるコロニー領域を含むか否かの判定結果３５を得ることができる。この結果、変形例によれば、ユーザがピッキング対象として判断する可能性の高いコロニー領域を含む細胞コロニー１０を判定してユーザに示すことが可能となるため、顕微鏡画像中の多数の細胞領域をユーザが１つ１つ観察して判断する必要がなくなる。これにより、細胞培養におけるピッキング対象となる細胞の探索作業に伴うユーザの負荷を、効果的に軽減することができる。

（他の変形例）
なお、今回開示された実施形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した実施形態の説明ではなく、特許請求の範囲によって示され、さらに特許請求の範囲と均等の意味および範囲内でのすべての変更（変形例）が含まれる。

たとえば、上記実施形態では、細胞培養における継代のピッキング作業のために、未分化細胞のコロニー領域１１を含む細胞コロニー１０をピッキング対象として判定する例について示したが、本発明はこれに限られない。上記したように、未分化逸脱細胞のコロニー領域１２を含む細胞コロニー１０をピッキング対象として判定してもよい。つまり、未分化逸脱細胞のコロニー領域１２を探索対象の候補となるコロニー領域であるとして、判定処理を行ってもよい。未分化細胞のコロニー領域１１と、未分化逸脱細胞のコロニー領域１２とでは、判定基準３０が異なるため、判定基準３０は、ピッキングの目的に応じて別々に設定される。第１学習済みモデル５０（判定用の学習済みモデル５５）は、教師データとして入力する選択情報４０が未分化細胞のコロニー領域１１の場合とは異なるため、別々に作成される。図３に示した記憶部１１０に、継代用の第１学習済みモデル５０と、未分化逸脱細胞の除去用の第１学習済みモデル５０と、を別々に記憶させておき、ユーザの目的に応じて使用する学習済みモデルを切り替えるようにしてもよい。

また、上記実施形態では、未分化細胞と、未分化逸脱細胞と、背景と、の３クラスのセグメンテーション処理を行う例を示したが、本発明はこれに限られない。本発明では、たとえば生細胞と死細胞との２クラス分類を行うセグメンテーション処理をさらに行ってもよい。また、ウェルに接着している細胞と剥離している細胞との２クラス分類を行うセグメンテーション処理をさらに行ってもよい。これによれば、たとえば「生細胞」かつ「未分化細胞」のコロニー領域を含む細胞コロニー１０のうちから、探索対象の候補となるコロニー領域を含む細胞コロニー１０を判定したり、「接着」かつ「未分化細胞」のコロニー領域を含む細胞コロニー１０のうちから、探索対象の候補となるコロニー領域を含む細胞コロニー１０を判定したりすることができる。さらに別の例として、細胞以外の「異物」のクラスを追加して、培養容器９０に混入した異物を発見して除去作業を行えるようにしてもよい。

また、上記実施形態では、細胞画像解析装置１００が細胞撮像装置２００と通信可能に接続される例を示したが、本発明はこれに限られない。本発明では、細胞画像解析装置１００が実行する処理の一部または全部を、ネットワークを介して実行してもよい。

たとえば図１７に示す変形例では、遠隔地にある細胞画像解析装置１００が、細胞撮像装置２００とネットワーク６００を介して接続されたサーバ装置として構成されている。ユーザは、細胞撮像装置２００を使用して、第１画像２１、第２画像２２を撮像し、選択情報４０を入力する。細胞撮像装置２００は、ネットワーク６００を介して、細胞画像解析装置１００に第１画像２１、第２画像２２、および選択情報４０を送信する。細胞画像解析装置１００は、セグメンテーション処理を行って、ラベル画像２１Ａおよび２２Ａを生成する。細胞画像解析装置１００は、生成したラベル画像２２Ａと、受信した選択情報４０とを用いて、第１学習済みモデル５０を作成する。細胞画像解析装置１００は、第１画像２１のラベル画像２１Ａを第１学習済みモデル５０に入力して、判定処理を実行し、判定結果３５を細胞撮像装置２００へ送信する。これにより、ユーザは、第１画像２１に含まれる細胞コロニー１０毎の判定結果３５を取得し、判定結果３５を利用してピッキング作業を実行できる。

また、上記実施形態では、細胞画像解析装置１００がセグメンテーション処理、第１学習済みモデル５０の作成、および判定処理を行う例を示したが、本発明はこれに限られない。本発明では、細胞画像解析装置１００が実行する処理の一部を、別の装置によって実行してもよい。

たとえば図１８に示す変形例では、遠隔地にあるサーバ装置であるデータ処理装置６１０が、ネットワーク６００を介して判定処理装置６２０と通信可能に接続されている。データ処理装置６１０は、ユーザが使用するＰＣである判定処理装置６２０から顕微鏡画像（第１画像２１または第２画像２２）を受信して、セグメンテーション処理を行う。データ処理装置６１０は、たとえば第２学習済みモデル６０を用いてセグメンテーション処理を行い、生成したラベル画像（２１Ａ、２２Ａ）を判定処理装置６２０に送信する。判定処理装置６２０は、データ処理装置６１０から受信した第２画像２２のラベル画像２２Ａと、ユーザから受け付けた選択情報４０とを用いた機械学習により、第１学習済みモデル５０を作成する。判定処理装置６２０は、データ処理装置６１０から受信した第１画像２１のラベル画像２１Ａから細胞コロニー１０の形状特徴量２５を算出し、第１学習済みモデル５０を用いて判定処理を行う。判定処理装置６２０は、第１学習済みモデル５０に形状特徴量２５を入力することにより、判定結果３５を取得する。ユーザは、第１画像２１に含まれる細胞コロニー１０毎の判定結果３５を取得し、判定結果３５を利用してピッキング作業を実行できる。

このように、本発明の細胞画像解析方法は、いわゆるクラウドサービスなどの形態で、ネットワーク接続された複数のコンピュータの協働により、実施されてもよい。

また、上記実施形態では、着目する領域の面積、輪郭長さ、円形度、アスペクト比、細胞コロニー全体に対する面積比などを形状特徴量２５として用いる例を示したが、本発明はこれに限られない。本発明では、上記した以外の量を形状特徴量２５として用いてもよい。

また、上記実施形態では、第１学習済みモデル５０を用いて判定処理を行う例を示したが、本発明はこれに限られない。上記の通り、機械学習の手法を用いることなく、ユーザの好みに応じて設定された閾値や重みなどの判定基準３０に基づいて、ルールベースの手法を用いて判定処理を実行してもよい。

また、上記実施形態では、第２学習済みモデル６０を用いてセグメンテーション処理を行う例を示したが、本発明はこれに限られない。本発明では、たとえば画像に対する閾値処理や特徴抽出処理などを用いて、機械学習の手法を用いることなく、ルールベースの手法を用いてセグメンテーション処理を実行してもよい。

また、図１２に示した例では、細胞撮像装置２００を、光学顕微鏡に撮像部２３０を設けた構成とした例を示したが、本発明はこれに限られない。本発明では、細胞撮像装置２００は、細胞の顕微鏡画像の撮像専用の装置であってもよく、光学顕微鏡としての機能を有さなくてもよい。図１２に示した例では、細胞撮像装置２００が光学顕微鏡として機能するため、ステージ４５０を電動ステージとした例を示したが、細胞撮像装置２００は、固定のステージ４５０に対して移動可能な撮像部２３０を備えていてもよい。

［態様］
上記した例示的な実施形態は、以下の態様の具体例であることが当業者により理解される。
（項目１）
分化能を有する細胞を含む細胞コロニーを撮像した第１画像を取得するステップと、
前記第１画像中の前記細胞コロニーにおける、既に分化を開始した細胞のコロニー領域と、未分化細胞のコロニー領域とを特定するセグメンテーション処理を実施し、前記第１画像をラベル画像に変換するステップと、
前記ラベル画像から前記細胞コロニーの形状特徴量を取得するステップと、
コンピュータを用いて、ユーザから、探索対象のコロニー領域に関する入力を受け付けるステップと、
前記ユーザの入力に基づいて前記形状特徴量の判定基準を設定するステップと、
前記形状特徴量と前記判定基準とに基づいて、前記細胞コロニー毎に、前記探索対象の候補となる前記コロニー領域を含むか否かを判定するステップと、を備える、細胞画像解析方法。
（項目２）
探索対象のコロニー領域に関する入力を受け付けるステップは、予め取得された第２画像中の前記細胞コロニーについて、ユーザから所望の前記コロニー領域を含む否かの選択情報の入力を受け付けるステップを含み、
前記判定基準を設定するステップでは、受け付けた前記選択情報に基づいて、前記判定基準を設定する、項目１に記載の細胞画像解析方法。
（項目３）
前記判定基準を設定するステップは、前記第２画像のラベル画像から取得された前記形状特徴量を入力データとし、前記選択情報を教師データとする機械学習により、前記形状特徴量に対する前記判定基準を獲得した第１学習済みモデルを作成することを含み、
前記探索対象の候補となる前記コロニー領域を含むか否かを判定するステップは、前記第１画像のラベル画像から取得された前記形状特徴量を前記第１学習済みモデルに入力して判定結果を生成することを含む、項目２に記載の細胞画像解析方法。
（項目４）
前記選択情報の入力を受け付けるステップは、前記第２画像または前記第２画像のラベル画像中で、ユーザによる前記コロニー領域の指定を可能にすること、または、ユーザによる前記コロニー領域のピッキングを可能にすること、を含む、項目２に記載の細胞画像解析方法。
（項目５）
前記形状特徴量は、ｉ）前記ラベル画像に含まれる前記細胞コロニーの全体領域、ｉｉ）前記細胞コロニーに含まれる前記未分化細胞のコロニー領域、ｉｉｉ）前記細胞コロニーに含まれる前記分化を開始した細胞のコロニー領域、のうち少なくとも１つに関する前記形状特徴量を含む、項目１に記載の細胞画像解析方法。
（項目６）
前記形状特徴量は、ｉ）領域の面積、ｉｉ）領域の輪郭長さ、ｉｉｉ）領域の円形度、ｉｖ）領域の最小外接矩形のアスペクト比、およびｖ）前記細胞コロニーの全体領域に対するコロニー領域の面積比、のうち少なくとも１つを含む、項目５に記載の細胞画像解析方法。
（項目７）
前記第１画像をラベル画像に変換するステップは、前記細胞コロニーを撮像した顕微鏡画像を入力データとし、前記コロニー領域にセグメンテーション結果のラベルを付与する第２学習済みモデルにより、前記ラベル画像を生成することを含む、項目１に記載の細胞画像解析方法。
（項目８）
項目１に記載の細胞画像解析方法を用いた細胞除去方法であって、
前記探索対象の候補となる前記コロニー領域を含むか否かの判定結果に基づいて、ユーザが所望すると判定された前記コロニー領域のピッキング座標を設定するステップと、
前記ピッキング座標の細胞を培養容器からピッキングするステップとをさらに備える、細胞除去方法。
（項目９）
分化能を有する細胞を含む細胞コロニーを撮像した顕微鏡画像が入力される記憶部と、
前記顕微鏡画像中の前記細胞コロニーにおける、既に分化を開始した細胞のコロニー領域と、未分化細胞のコロニー領域とを特定するセグメンテーション処理を実施し、前記顕微鏡画像をラベル画像に変換するセグメンテーション処理部と、
探索対象のコロニー領域に関する入力を受け付ける入力部と、
前記顕微鏡画像に含まれる前記細胞コロニー毎に、前記探索対象の候補となる前記コロニー領域を含むか否かを判定する判定処理部と、を備え、
前記判定処理部は、前記ラベル画像から前記細胞コロニーの形状特徴量を取得し、前記形状特徴量と、前記ユーザの入力に基づいて設定された前記形状特徴量の判定基準とに基づいて、前記コロニー領域の判定を行うように構成されている、細胞画像解析装置。
（項目１０）
機械学習された判定用の学習済みモデルを作成するステップと、
分化能を有する細胞を含む細胞コロニーを撮像した第１画像を取得するステップと、
前記第１画像中の前記細胞コロニーにおける、既に分化を開始した細胞のコロニー領域と、未分化細胞のコロニー領域とを特定するセグメンテーション処理を実施し、前記第１画像をラベル画像に変換するステップと、
前記第１画像のラベル画像を前記学習済みモデルに入力することにより、前記細胞コロニー毎に、前記探索対象の候補となる前記コロニー領域を含むか否かを判定するステップと、を備え、
前記学習済みモデルを作成するステップは、
予め取得された第２画像中の前記細胞コロニーについて、所望の前記コロニー領域を含む否かの選択情報の入力を受け付けるステップと、
前記第２画像をセグメンテーションしたラベル画像を入力データとし、前記選択情報を教師データとする機械学習により、前記学習済みモデルを作成するステップと、を含む、細胞画像解析方法。

１０ 細胞コロニー
１１ コロニー領域（未分化細胞のコロニー領域）
１２ コロニー領域（既に分化を開始した細胞のコロニー領域）
２１ 第１画像
２１Ａ 第１画像のラベル画像
２２ 第２画像
２２Ａ 第２画像のラベル画像
２５ 形状特徴量
２６ ピッキング座標
３５ 判定結果
４０ 選択情報
５０ 第１学習済みモデル
５５ 学習済みモデル
６０ 第２学習済みモデル
９０ 培養容器
１００ 細胞画像解析装置
１１０ 記憶部
１２１ セグメンテーション処理部
１２２ 判定処理部

Claims (12)

1. 分化能を有する細胞を含む細胞コロニーを撮像した第１画像を取得するステップと、
   前記第１画像中の前記細胞コロニーにおける、既に分化を開始した細胞のコロニー領域と、未分化細胞のコロニー領域とを特定するセグメンテーション処理を実施し、前記第１画像をラベル画像に変換するステップと、
   前記ラベル画像から前記細胞コロニーの形状特徴量を取得するステップと、
   コンピュータを用いて、ユーザから、探索対象のコロニー領域に関する入力を受け付けるステップと、
   前記ユーザの入力に基づいて前記形状特徴量の判定基準を設定するステップと、
   前記形状特徴量と前記判定基準とに基づいて、前記細胞コロニー毎に、前記探索対象の候補となる前記コロニー領域を含むか否かを判定するステップと、を備える、細胞画像解析方法。
2. 探索対象のコロニー領域に関する入力を受け付けるステップは、予め取得された第２画像中の前記細胞コロニーについて、ユーザから所望の前記コロニー領域を含むか否かの選択情報の入力を受け付けるステップを含み、
   前記判定基準を設定するステップでは、受け付けた前記選択情報に基づいて、前記判定基準を設定する、請求項１に記載の細胞画像解析方法。
3. 前記判定基準を設定するステップは、前記第２画像のラベル画像から取得された前記形状特徴量を入力データとし、前記選択情報を教師データとする機械学習により、前記形状特徴量に対する前記判定基準を獲得した第１学習済みモデルを作成することを含み、
   前記探索対象の候補となる前記コロニー領域を含むか否かを判定するステップは、前記第１画像のラベル画像から取得された前記形状特徴量を前記第１学習済みモデルに入力して判定結果を生成することを含む、請求項２に記載の細胞画像解析方法。
4. 前記選択情報の入力を受け付けるステップは、前記第２画像または前記第２画像のラベル画像中で、ユーザによる前記コロニー領域の指定を可能にすること、または、ユーザによる前記コロニー領域のピッキングを可能にすること、を含む、請求項２に記載の細胞画像解析方法。
5. 前記形状特徴量は、ｉ）前記ラベル画像に含まれる前記細胞コロニーの全体領域、ｉｉ）前記細胞コロニーに含まれる前記未分化細胞のコロニー領域、ｉｉｉ）前記細胞コロニーに含まれる前記分化を開始した細胞のコロニー領域、のうち少なくとも１つに関する前記形状特徴量を含む、請求項１に記載の細胞画像解析方法。
6. 前記形状特徴量は、ｉ）領域の面積、ｉｉ）領域の輪郭長さ、ｉｉｉ）領域の円形度、ｉｖ）領域の最小外接矩形のアスペクト比、およびｖ）前記細胞コロニーの全体領域に対するコロニー領域の面積比、のうち少なくとも１つを含む、請求項５に記載の細胞画像解析方法。
7. 前記第１画像をラベル画像に変換するステップは、前記細胞コロニーを撮像した顕微鏡画像を入力データとし、前記コロニー領域にセグメンテーション結果のラベルを付与する第２学習済みモデルにより、前記ラベル画像を生成することを含む、請求項１に記載の細胞画像解析方法。
8. 請求項１に記載の細胞画像解析方法を用いた細胞除去方法であって、
   前記探索対象の候補となる前記コロニー領域を含むか否かの判定結果に基づいて、ユーザが所望すると判定された前記コロニー領域のピッキング座標を設定するステップと、
   前記ピッキング座標の細胞を培養容器からピッキングするステップとをさらに備える、細胞除去方法。
9. 前記第１画像を前記ラベル画像に変換するステップにおいて、前記第１画像を、前記分化を開始した細胞のコロニー領域と、前記未分化細胞のコロニー領域との少なくとも２つのラベル領域のうちの、特定された領域の前記ラベル領域を含む前記ラベル画像に変換し、
   前記探索対象の候補となる前記コロニー領域を含むか否かを判定するステップにおいて、コンピュータを用いて、前記ラベル画像から取得された前記ラベル領域の前記形状特徴量と、ユーザから入力された前記判定基準とに基づいて、前記第１画像中の前記細胞コロニー毎に、前記探索対象の候補となる前記コロニー領域を含むか否かを判定する、請求項１に記載の細胞画像解析方法。
10. 前記第１画像を前記ラベル画像に変換するステップにおいて、前記第１画像を、前記分化を開始した細胞のコロニー領域と、前記未分化細胞のコロニー領域との少なくとも２つのラベル領域のうちの、特定された領域の前記ラベル領域を含む前記ラベル画像に変換し、
    前記探索対象のコロニー領域に関する入力を受け付けるステップにおいて、コンピュータを用いて、ユーザから、探索対象のコロニー領域の選択に関する入力を受け付け、
    前記探索対象の候補となる前記コロニー領域を含むか否かを判定するステップにおいて、コンピュータを用いて、前記ラベル画像から取得された前記ラベル領域の前記形状特徴量と、ユーザから入力された前記判定基準とに基づいて、前記第１画像中の前記細胞コロニー毎に、前記探索対象の候補となる前記コロニー領域を含むか否かを判定する、請求項１に記載の細胞画像解析方法。
11. 分化能を有する細胞を含む細胞コロニーを撮像した顕微鏡画像が入力される記憶部と、
    前記顕微鏡画像中の前記細胞コロニーにおける、既に分化を開始した細胞のコロニー領域と、未分化細胞のコロニー領域とを特定するセグメンテーション処理を実施し、前記顕微鏡画像をラベル画像に変換するセグメンテーション処理部と、
    探索対象のコロニー領域に関する入力を受け付ける入力部と、
    前記顕微鏡画像に含まれる前記細胞コロニー毎に、前記探索対象の候補となる前記コロニー領域を含むか否かを判定する判定処理部と、を備え、
    前記判定処理部は、前記ラベル画像から前記細胞コロニーの形状特徴量を取得し、前記形状特徴量と、ユーザの入力に基づいて設定された前記形状特徴量の判定基準とに基づいて、前記コロニー領域の判定を行うように構成されている、細胞画像解析装置。
12. 機械学習された判定用の学習済みモデルを作成するステップと、
    分化能を有する細胞を含む細胞コロニーを撮像した第１画像を取得するステップと、
    前記第１画像中の前記細胞コロニーにおける、既に分化を開始した細胞のコロニー領域と、未分化細胞のコロニー領域とを特定するセグメンテーション処理を実施し、前記第１画像をラベル画像に変換するステップと、
    前記第１画像のラベル画像を前記学習済みモデルに入力することにより、前記細胞コロニー毎に、探索対象の候補となる前記コロニー領域を含むか否かを判定するステップと、を備え、
    前記学習済みモデルを作成するステップは、
    予め取得された第２画像中の前記細胞コロニーについて、所望の前記コロニー領域を含むか否かの選択情報の入力を受け付けるステップと、
    前記第２画像をセグメンテーションしたラベル画像を入力データとし、前記選択情報を教師データとする機械学習により、前記学習済みモデルを作成するステップと、を含む、細胞画像解析方法。
    

Images