JPWO2019106945A1 - 培養状態判定装置、培養状態判定方法及びプログラム - Google Patents

Abstract

本開示は、１つ以上のスフェロイド等の細胞塊の状態を評価することを可能する技術を提供する。本開示に係る培養状態判定装置では。複数の光源は順番に、イメージセンサに載置された複数の細胞塊を照明する。前記イメージセンサは、前記複数の光源が前記複数の細胞塊を照明する毎に、前記複数の細胞塊の撮像画像を取得する。少なくとも１つの制御回路は、前記撮像画像において細胞塊の画像を含む領域を抽出し、複数の前記撮像画像を用いて、前記領域について３次元画像情報を生成し、前記３次元画像情報において、前記細胞塊の外形と細胞塊内部の空洞部とを抽出し、前記３次元画像情報における前記細胞塊の外形及び前記空洞部に基づき、前記細胞塊の外形に基づく体積である第一体積と前記空洞部の体積である第二体積とを求め、前記第一体積と前記第二体積とを用いて前記細胞塊の培養状態を判定する。

Description

本開示は、任意の焦点面における対象物の画像を生成する技術に関する。

培養細胞を染色することなく連続的に観察したいという要求は、治療用の細胞の産生、薬効の試験等、培養細胞を医療、産業に用いる多くの分野にある。培養の方法として、スフェロイドと呼ばれる細胞塊として細胞を培養する方法がある。多数の培養細胞を含むスフェロイドの状態の良否を判断するために、顕微鏡を用いたスフェロイドの撮像画像を元に、培養細胞の状態を判定する技術が提案されてきた。

例えば、特許文献１〜３は、スフェロイドの状態の良否を判断する技術を開示している。特許文献１では、スフェロイドは顕微鏡を介して撮像され、さらに、取得された画像からスフェロイドの外形の円形度及び鮮明度が判定され、スフェロイドの画像の輝度分布からスフェロイドの崩壊の状態が判定される。また、特許文献２では、画像におけるスフェロイドの輪郭の円形度からスフェロイドの状態の良否が判定される。また、特許文献３では、スフェロイドに含まれる細胞の遺伝子を操作することによって、当該細胞が、発光タンパクを生成して無光源状態で光るように調整される。さらに、上記のような細胞を含むスフェロイドを、顕微鏡を用いて複数の焦点面で撮像した結果から、スフェロイドの３次元情報が合成される。

国際公開第２０１５／１４５８７２号 国際公開第２０１６／１５８７１９号 国際公開第２０１６／１１７０８９号 米国特許出願公開第２０１７／０１９２２１９号明細書

しかしながら、特許文献１及び２の技術は、スフェロイドの形状及びスフェロイド表面の輝度分布からスフェロイドの状態を評価するため、スフェロイドの内部の状態を評価することが困難である。特許文献３の技術は、スフェロイドの３次元情報に基づきスフェロイド内部の状態を評価することができるが、スフェロイドに含まれる細胞の遺伝子を操作するため、治療用の細胞に用いることは難しい。また、特許文献１〜３の技術は、個別のスフェロイドの培養状態の良否を判定することが可能であるが、医療用又は産業用に培養された大量のスフェロイドから、良好な培養状態であり且つ使用可能であるスフェロイドを選別するのは困難である。

そこで本開示は、１つ以上のスフェロイド等の細胞塊の状態を評価することを可能とする培養状態判定装置、培養状態判定方法及びプログラムを提供する。

本開示の一態様に係る培養状態判定装置は、複数の光源と、対象物である複数の細胞塊が載置されるイメージセンサと、少なくとも１つの制御回路と、を備え、前記複数の光源は順番に、前記複数の細胞塊を照明し、前記イメージセンサは、前記複数の光源が前記複数の細胞塊を照明する毎に、前記複数の細胞塊の撮像画像を取得し、前記少なくとも１つの制御回路は、前記撮像画像において細胞塊の画像を含む領域を抽出し、複数の前記撮像画像を用いて、前記領域について３次元画像情報を生成し、前記３次元画像情報において、前記細胞塊の外形と細胞塊内部の空洞部とを抽出し、前記３次元画像情報における前記細胞塊の外形及び前記空洞部に基づき、前記細胞塊の外形に基づく体積である第一体積と前記空洞部の体積である第二体積とを求め、前記第一体積と前記第二体積とを用いて前記細胞塊の培養状態を判定する。

本開示の一態様に係る培養状態判定方法は、イメージセンサ上に位置する対象物である複数の細胞塊の培養状態を判定する培養状態判定方法であって、複数の光源のそれぞれを照明する毎に、前記イメージセンサを用いて、前記複数の細胞塊の撮像画像を取得し、前記撮像画像において細胞塊の画像を含む領域を抽出し、複数の前記撮像画像を用いて、前記領域について３次元画像情報を生成し、前記３次元画像情報において、前記細胞塊の外形と細胞塊内部の空洞部とを抽出し、前記３次元画像情報における前記細胞塊の外形及び前記空洞部に基づき、前記細胞塊の外形に基づく体積である第一体積と前記空洞部の体積である第二体積とを求め、前記第一体積と前記第二体積とを用いて前記細胞塊の培養状態を判定し、上記処理の少なくとも１つは制御回路によって実行される。

本開示の一態様に係るプログラムは、イメージセンサ上に位置する対象物である複数の細胞塊の複数の撮像画像を取得し、ここで、前記複数の撮像画像は、複数の光源のそれぞれを照明する毎に、前記イメージセンサによって取得され、前記撮像画像において細胞塊の画像を含む領域を抽出し、前記複数の撮像画像を用いて、前記領域について３次元画像情報を生成し、前記３次元画像情報において、前記細胞塊の外形と細胞塊内部の空洞部とを抽出し、前記３次元画像情報における前記細胞塊の外形及び前記空洞部に基づき、前記細胞塊の外形に基づく体積である第一体積と前記空洞部の体積である第二体積とを求め、前記第一体積と前記第二体積とを用いて前記細胞塊の培養状態を判定することを、コンピュータに実行させる。

なお、上記の包括的又は具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム又はコンピュータ読取可能な記録ディスク等の記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。コンピュータ読み取り可能な記録媒体は、例えばＣＤ−ＲＯＭ（Compact Disc-Read Only Memory）等の不揮発性の記録媒体を含む。

本開示の培養状態判定装置等によれば、１つ以上の細胞塊の状態を評価することが可能になる。

図１は、実施の形態１に係る培養状態判定装置の機能的な構成の一例を示すブロック図である。 図２は、図１の撮像装置の機能的な構成の一例を示すブロック図である。 図３は、実施の形態１に係る培養状態判定装置における複数の照明器及びイメージセンサの関係の一例を模式的に示す側面図である。 図４は、実施の形態１に係る記憶部が記憶する内容の一例を示す図である。 図５は、実施の形態１に係る記憶部が記憶する内容の一例を示す図である。 図６は、実施の形態１に係る内部画像生成部の機能的な構成の一例を示すブロック図である。 図７は、実施の形態１に係る焦点面テーブルが記憶する内容の一例を示す図である。 図８は、実施の形態１に係る記憶部が記憶する内容の一例を示す図である。 図９Ａは、スフェロイドの領域の処理画像の一例を示す図である。 図９Ｂは、スフェロイドの領域の処理画像の一例を示す図である。 図９Ｃは、スフェロイドの領域の処理画像の一例を示す図である。 図９Ｄは、スフェロイドの領域の処理画像の一例を示す図である。 図１０は、実施の形態１に係る記憶部が記憶する内容の一例を示す図である。 図１１は、実施の形態１に係る培養状態判定装置の動作の一例を示すフローチャートである。 図１２は、スフェロイドの撮像状況の一例を示す模式的な斜視図である。 図１３は、スフェロイドの合焦画像を２値化した画像において空洞部の有無を判定する方法を模式的に示す図である。 図１４Ａは、図９Ａと同様のスフェロイドの領域の合焦画像と、当該領域上の画素値との関係の一例を模式的に示す図である。 図１４Ｂは、図９Ｂと同様のスフェロイドの領域の合焦画像と、当該領域上の画素値との関係の一例を模式的に示す図である。 図１４Ｃは、図９Ｃと同様のスフェロイドの領域の合焦画像と、当該領域上の画素値との関係の一例を模式的に示す図である。 図１４Ｄは、図９Ｄと同様のスフェロイドの領域の合焦画像と、当該領域上の画素値との関係の一例を模式的に示す図である。 図１５は、実施の形態１に係る撮像装置の動作の一例を示すフローチャートである。 図１６は、実施の形態１に係る内部画像生成部の動作の一例を示すフローチャートである。 図１７は、実施の形態１に係るリフォーカシング処理の具体例を説明する模式図である。 図１８は、実施の形態１に係るリフォーカシング処理の具体例を説明する模式図である。 図１９は、実施の形態１に係るリフォーカシング処理の具体例を説明する模式図である。 図２０は、実施の形態１に係るリフォーカシング処理の具体例を説明する模式図である。 図２１は、実施の形態２に係る培養状態判定装置の機能的な構成の一例を示すブロック図である。 図２２は、基準撮像画像から抽出されたスフェロイドの領域の一例を示す模式図である。 図２３は、スフェロイドの領域の情報について、実施の形態２に係る記憶部が記憶する内容の一例を示す図である。 図２４は、実施の形態２に係る培養状態判定装置の動作の一例を示すフローチャートである。 図２５Ａは、実施の形態２に係る表示部による表示の一例を示す図である。 図２５Ｂは、実施の形態２に係る表示部による表示の一例を示す図である。 図２５Ｃは、実施の形態２に係る表示部による表示の一例を示す図である。 図２５Ｄは、実施の形態２に係る表示部による表示の一例を示す図である。

本開示に関係する発明者ら、つまり、本発明者らは、以下の知見に至った。医療用又は産業用に細胞が培養される場合、大量のスフェロイドが同時に生成される。大量のスフェロイドは、同一のウェル等の培養容器内に入れられた状態で、状態の良否が判定される。「背景技術」の欄で記載したように、特許文献１〜３のような従来技術を用いる場合、各スフェロイドが個別に判定される。上記の従来技術では、全てのスフェロイドの良否を評価するために、多くの時間及び処理量を必要とする。このため、本発明者らは、１つ以上のスフェロイドの内部状態を一緒に評価することを可能にする技術を検討した。例えば、本発明者らは、同一の培養容器内の１つ以上のスフェロイド等の細胞塊を同時に撮像し、撮像画像から全ての細胞塊の内部状態を評価することを可能にする技術を検討した。そこで、本発明者らは、以下に示すような技術を考案した。

例えば、本開示の一態様に係る培養状態判定装置は、複数の光源と、対象物である複数の細胞塊が載置されるイメージセンサと、少なくとも１つの制御回路と、を備え、前記複数の光源は順番に、前記複数の細胞塊を照明し、前記イメージセンサは、前記複数の光源が前記複数の細胞塊を照明する毎に、前記複数の細胞塊の撮像画像を取得し、前記少なくとも１つの制御回路は、前記撮像画像において細胞塊の画像を含む領域を抽出し、複数の前記撮像画像を用いて、前記領域について３次元画像情報を生成し、前記３次元画像情報において、前記細胞塊の外形と細胞塊内部の空洞部とを抽出し、前記３次元画像情報における前記細胞塊の外形及び前記空洞部に基づき、前記細胞塊の外形に基づく体積である第一体積と前記空洞部の体積である第二体積とを求め、前記第一体積と前記第二体積とを用いて前記細胞塊の培養状態を判定する。

上記態様によると、培養状態判定装置は、細胞塊の画像を含む領域の３次元画像情報から抽出される細胞塊の外形及び空洞部に基づき、細胞塊の外形に基づく第一体積と空洞部の第二体積とを求める。上記の領域は、１つ以上の細胞塊を含む。このため、１つ以上の細胞塊について、第一体積及び第二体積が求められる。よって、培養状態判定装置は、１つ以上の細胞塊の培養状態を判定することができる。

本開示の一態様に係る培養状態判定装置において、前記少なくとも１つの制御回路は、前記細胞塊それぞれの前記第一体積の合計である第一総体積と、前記細胞塊それぞれの前記空洞部の前記第二体積の合計である第二総体積とを求め、前記第一総体積と前記第二総体積とを用いて前記複数の細胞塊全体の培養状態を判定してもよい。

上記態様によると、培養状態判定装置は、複数の細胞塊全体の培養状態を判定する。例えば、複数の細胞塊は、培養容器内で一緒に培養される。このような場合、培養状態判定装置は、培養容器内に含まれる複数の細胞塊全体の培養状態を判定することができる。つまり、培養容器毎での培養状態の判定が可能になる。通常、同一の培養容器内で培養される細胞塊の培養状態は、類似する。このため、培養容器毎に細胞塊の培養状態を判定することは、培養された細胞塊の取捨選択の処理を効率化する。

本開示の一態様に係る培養状態判定装置において、前記少なくとも１つの制御回路は、前記複数の撮像画像のうちの１つを用いて、前記領域を抽出してもよい。

上記態様によると、培養状態判定装置は、１つの撮像画像から抽出された細胞塊の画像を含む領域を、他の処理に用いる。これにより、細胞塊の画像を含む領域の抽出のための処理量が低減するため、培養状態判定装置は処理速度を向上することができる。

本開示の一態様に係る培養状態判定装置において、前記少なくとも１つの制御回路は、前記３次元画像情報として、前記複数の光源と前記イメージセンサとの間に位置する複数の仮想的な焦点面それぞれにおける前記領域の合焦画像を生成してもよい。

上記態様によると、培養状態判定装置は、細胞塊の画像を含む領域について、複数の仮想的な焦点面での複数の合焦画像を生成する。複数の合焦画像は、細胞塊の様々な位置での画像を示し得る。例えば、複数の合焦画像は、細胞塊の様々な断面画像を示し得る。複数の合焦画像から抽出される細胞塊の外形及び空洞部を用いることによって、第一体積及び第二体積の算出精度が向上し得る。

本開示の一態様に係る培養状態判定装置において、前記イメージセンサは、複数のセンサ画素を有し、前記合焦画像は、複数の合焦画素で構成されており、前記少なくとも１つの制御回路は、前記複数の撮像画像それぞれの撮像時に照明する前記光源の位置それぞれと、前記合焦画素の位置とに基づき、前記合焦画素に対応する前記センサ画素それぞれの輝度値を取得することによって、前記合焦画素を生成してもよい。

上記態様によると、合焦画素に、当該合焦画素に対応する複数の撮像画像の輝度値を反映することができるため、高画質な合焦画像の生成が可能になる。

本開示の一態様に係る培養状態判定装置において、前記少なくとも１つの制御回路は、前記合焦画像において、前記細胞塊の外形及び前記空洞部を抽出し、前記合焦画像において、前記細胞塊の外形に基づく面積である第一面積と前記空洞部の面積である第二面積とを求め、前記第一面積を用いて前記第一体積を求め、前記第二面積を用いて前記第二体積を求めてもよい。

上記態様によると、培養状態判定装置は、合焦画像毎に、細胞塊の外形に基づく第一面積と空洞部の第二面積とを求める。合焦画像における第一面積及び第二面積はそれぞれ、合焦画像に対応する焦点面での細胞塊及び空洞部の断面積を示し得る。このような複数の焦点面における第一面積及び第二面積を用いることによって、第一体積及び第二体積の算出が容易になる。

本開示の一態様に係る培養状態判定装置において、前記少なくとも１つの制御回路は、前記領域の大きさを求め、前記領域の大きさのばらつきに基づき、前記細胞塊の培養状態を判定してもよい。

上記態様によると、細胞塊の画像を含む領域の大きさのばらつきは、細胞塊の大きさのばらつきを示し得る。培養状態判定装置は、第一体積及び第二体積だけでなく、細胞塊の大きさのばらつきにも基づいて、細胞塊の培養状態を判定する。よって、判定精度の向上が可能になる。

本開示の一態様に係る培養状態判定装置において、前記少なくとも１つの制御回路は、前記領域の大きさのばらつきが、基準内に収まる場合、前記第一体積と前記第二体積とを用いて前記細胞塊の培養状態を判定してもよい。

上記態様によると、培養状態判定装置は、第一体積及び第二体積を用いた培養状態の判定を行う対象を限定することができる。通常、３次元画像情報を用いた第一体積及び第二体積の算出処理量は、細胞塊の画像を含む領域の大きさのばらつきの算出処理量よりも多い。培養状態判定装置は、処理量がより多い処理の頻度を低減することによって、処理速度を向上することができる。

また、本開示の一態様に係る培養状態判定方法は、イメージセンサ上に位置する対象物である複数の細胞塊の培養状態を判定する培養状態判定方法であって、複数の光源のそれぞれを照明する毎に、前記イメージセンサを用いて、前記複数の細胞塊の撮像画像を取得し、前記撮像画像において細胞塊の画像を含む領域を抽出し、複数の前記撮像画像を用いて、前記領域について３次元画像情報を生成し、前記３次元画像情報において、前記細胞塊の外形と細胞塊内部の空洞部とを抽出し、前記３次元画像情報における前記細胞塊の外形及び前記空洞部に基づき、前記細胞塊の外形に基づく体積である第一体積と前記空洞部の体積である第二体積とを求め、前記第一体積と前記第二体積とを用いて前記細胞塊の培養状態を判定し、上記処理の少なくとも１つは制御回路によって実行される。上記態様によると、本開示の一態様に係る培養状態判定装置と同様の効果が得られる。

また、本開示の一態様に係るプログラムは、イメージセンサ上に位置する対象物である複数の細胞塊の複数の撮像画像を取得し、ここで、前記複数の撮像画像は、複数の光源のそれぞれを照明する毎に、前記イメージセンサによって取得され、前記撮像画像において細胞塊の画像を含む領域を抽出し、前記複数の撮像画像を用いて、前記領域について３次元画像情報を生成し、前記３次元画像情報において、前記細胞塊の外形と細胞塊内部の空洞部とを抽出し、前記３次元画像情報における前記細胞塊の外形及び前記空洞部に基づき、前記細胞塊の外形に基づく体積である第一体積と前記空洞部の体積である第二体積とを求め、前記第一体積と前記第二体積とを用いて前記細胞塊の培養状態を判定することを、コンピュータに実行させる。上記態様によると、本開示の一態様に係る培養状態判定装置と同様の効果が得られる。

なお、上記の包括的又は具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム又はコンピュータ読取可能な記録ディスク等の記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラム又は記録媒体の任意な組み合わせで実現されてもよい。コンピュータ読み取り可能な記録媒体は、例えばＣＤ−ＲＯＭ等の不揮発性の記録媒体を含む。また、装置は、１つ以上の装置で構成されてもよい。装置が２つ以上の装置で構成される場合、当該２つ以上の装置は、１つの機器内に配置されてもよく、分離した２つ以上の機器内に分かれて配置されてもよい。本明細書及び特許請求の範囲では、「装置」とは、１つの装置を意味し得るだけでなく、複数の装置からなるシステムも意味し得る。

以下、本開示に係る培養状態判定装置について、図面を参照しながら具体的に説明する。なお、以下で説明する実施の形態は、いずれも包括的又は具体的な例を示すものである。以下の実施の形態で示される数値、形状、構成要素、構成要素の配置位置及び接続形態、ステップ（工程）、ステップの順序等は、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また、各図は模式図であり、必ずしも厳密に図示されたものではない。さらに、各図において、実質的に同一の構成要素に対しては同一の符号を付しており、重複する説明は省略又は簡略化される場合がある。

［実施の形態１］
実施の形態１に係る培養状態判定装置１０を説明する。図１は、実施の形態１に係る培養状態判定装置１０の機能的な構成の一例のブロック図を示す。図２は、図１の撮像装置１００の機能的な構成の一例のブロック図を示す。図１及び図２に示されるように、実施の形態１に係る培養状態判定装置１０は、イメージセンサ１０２上に位置する複数の対象物である複数のスフェロイドに、イメージセンサ１０２の上方に配置された複数の照明器１０１を用いて順に照明し、照明の毎にイメージセンサ１０２を用いて複数のスフェロイドを一緒に撮像し、複数の撮像画像を取得する。さらに、培養状態判定装置１０は、取得した複数の撮像画像を用いて、複数の照明器１０１とイメージセンサ１０２との間に位置する任意の仮想的な焦点面における複数のスフェロイドの画像を生成する。このように複数の撮像画像を用いて生成された任意の仮想的な焦点面における画像を「合焦画像」と呼ぶ。培養状態判定装置１０は、生成した合焦画像中で、スフェロイドの外形に基づくスフェロイドの体積とスフェロイド中の空洞部の体積とを求め、２つの体積比に基づいて、スフェロイドの培養の状態の良否を判定する。なお、スフェロイドの体積は、当該体積に相当する細胞数で置き換えることができ、空洞部の体積は、当該体積に相当する細胞数で置き換えることができる。このように置き換えられた細胞数を、「擬似細胞数」と呼ぶ。

［１−１．実施の形態１に係る培養状態判定装置の構成］
実施の形態１に係る培養状態判定装置１０の構成を説明する。図１に示されるように、培養状態判定装置１０は、撮像装置１００と、記憶部１１０と、画像処理部１２０と、計算部１３０と、状態判定部１４０と、表示部１５０とを備える。さらに、画像処理部１２０は、領域抽出部１２１と、内部画像生成部１２２と、判別部１２３とを備える。

まず、撮像装置１００の構成を説明する。図２に示されるように、撮像装置１００は、複数の照明器１０１と、イメージセンサ１０２と、撮像制御部１０３とを備える。撮像装置１００は、イメージセンサ１０２を用いて対象物の撮像画像（photographic image）を取得する。本実施の形態では、撮像装置１００は、フォーカスレンズを有さない。撮像装置１００は、１つの装置又はシステムによって形成されてもよく、複数の装置又はシステムによって形成されてもよく、培養状態判定装置１０の他の構成要素とは別の装置又はシステムに組み込まれてもよい。ここで、照明器１０１は、光源の一例である。

対象物は、例えば、イメージセンサ１０２上に載置される複数のスフェロイドである。各スフェロイドは、複数の半透明の細胞で構成された細胞塊であり、３次元的な構造を持つ。つまり、スフェロイドにおいて、複数の細胞は、３次元的に重なって位置することがある。このようなスフェロイドは、半透明であり、光を透過させることができる。例えば、スフェロイドは、球状又は楕円球状の外形を有しており、２００μｍ以下の最大径を有する。ここで、スフェロイドは、細胞塊の一例である。

複数の照明器１０１の各々は、拡散光を出力する。複数の照明器１０１は、ＬＥＤ（Light Emitting Diode）等の複数の照明装置であってもよく、複数の光源であってもよく、ディスプレイの複数の発光素子であってもよい。各照明器１０１は、交錯しない光を照射する。１つの照明器１０１から照射された光を表す複数の光線は、互いに交わらない。例えば、複数の照明器１０１のうちの第１の照明器及び第２の照明器に関して、第１の照明器及び第２の照明器のそれぞれは、交錯しない光を照射する。すなわち、第１の照明器から照射された第１の光を表す複数の第１の光線は、互いに交わらない。また、第２の照明器から照射された第２の光を表す複数の第２の光線も、互いに交わらない。したがって、第１の照明器及び第２の照明器のどちらか一方から光を照射した場合に、第１の照明器及び第２の照明器の当該一方からの光は、イメージセンサ１０２に含まれる１つのセンサ画素に単一の方向から到達する。つまり、各照明器１０１から照射された光は、イメージセンサ１０２の１つのセンサ画素に対して２つ以上の方向から入射しない。なお、イメージセンサ１０２は、その受光面に沿って配列された複数のセンサ画素を有する。

このような照明光は、点状の発光部を有する照明器１０１からの拡散光によって実現可能であり、平行光を発する照明器１０１からの光によっても実現可能である。例えば、点状の発光部を有する照明器１０１は、擬似点光源によって代用されてもよい。複数の擬似点光源の例は、１つの照明装置の近傍に複数のピンホールを有する遮光板を置くことで実現される構成である。当該照明装置から出射される光は、開放されたピンホールを通過してイメージセンサ１０２へ照射する。ピンホールから出射される光は、点光源から出射される光に擬似する。そして、開放するピンホールを変更することによって、擬似点光源の位置、つまり照明位置の変更が可能である。ピンホールの大きさは、イメージセンサ１０２のセンサ画素のピッチと、イメージセンサ１０２とピンホールとの距離と、合焦画像を生成する点のイメージセンサ１０２からの距離とによって制限される。

複数の照明器１０１は、イメージセンサ１０２の受光面の上方に配置され、上方から下方に向かって光を照射する。複数の照明器１０１は、面に沿って並んで配列され、順に、光を照射する。複数の照明器１０１は、イメージセンサ１０２から見たときに互いに異なる位置となるように配置され、互いに異なる方向からイメージセンサ１０２上の対象物へ光を照射する。例えば、複数の照明器１０１は、図３に示すような構成であってもよい。図３は、実施の形態１に係る撮像装置１００における複数の照明器１０１及びイメージセンサ１０２の関係の一例を模式的に示す側面図である。この場合、複数の照明器１０１は、イメージセンサ１０２の受光面である表面と平行な単一の平面１０１Ｈ上において、互いに異なる位置に、例えば格子状の配列で配置される。このような複数の照明器１０１は、互いに異なる方向からイメージセンサ１０２上の対象物へ光を照射する。例えば、複数の照明器１０１のうちの第１の照明器１０１ａ及び第２の照明器１０１ｂから照射される光は、イメージセンサ１０２上の対象物に対して異なる方向から入射する。また、第１の照明器１０１ａ及び第２の照明器１０１ｂから照射される光はそれぞれ、イメージセンサ１０２の１つのセンサ画素に単一の方向から到達する。

このように、イメージセンサ１０２の受光面に対して互いに異なる位置に配置された複数の照明器１０１から照射される光は、受光面に対して異なる入射角で入射する。さらに、イメージセンサ１０２の同一のセンサ画素に対する光の入射方向は、照明器１０１毎に異なる。ここで、照明器１０１は、光源の一例である。

なお、本実施の形態では、複数の照明器１０１は、平面１０１Ｈ上に配置された複数の点光源としたが、特許文献４に示されるように、球面上に配置され且つ平行光を出射する複数の光源で構成されてもよい。

イメージセンサ１０２は、複数のセンサ画素を有する。イメージセンサ１０２の各センサ画素は、受光面に配置され、複数の照明器１０１から照射された光の強度を取得する。イメージセンサ１０２は、各センサ画素により取得された光の強度に基づいて、撮像画像を取得する。なお、イメージセンサ１０２が撮像（「撮影」とも呼ばれる）するとは、イメージセンサ１０２が、そのセンサ画素毎に照射された光の強度を検知し記録することである。イメージセンサ１０２の受光面上に、対象物としてスフェロイドが載置される場合、イメージセンサ１０２は、スフェロイドを透過する光の強度を取得する。イメージセンサ１０２は、取得した撮像画像の情報を記憶部１１０に格納する。イメージセンサ１０２の例は、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサ又はＣＣＤ（Charge Coupled Device）イメージセンサである。

撮像制御部１０３は、複数の照明器１０１による光の照射及びイメージセンサ１０２による撮像を制御する。具体的には、撮像制御部１０３は、複数の照明器１０１が光を照射する順番、及び、複数の照明器１０１が光を照射する時間間隔等を制御する。撮像制御部１０３は、イメージセンサ１０２が撮像した撮像画像データに、ＩＤ（Identification）、撮像時刻、照明した照明器１０１等の撮像画像に関する情報を対応付けて、当該情報を記憶部１１０に格納する。

撮像制御部１０３は、ＣＰＵ（Central Processing Unit）又はＤＳＰ（Digital Signal Processor）等のプロセッサ、並びに、ＲＡＭ（Random Access Memory）及びＲＯＭ（Read-Only Memory）等のメモリなどからなるコンピュータシステム（図示せず）により構成されてもよい。撮像制御部１０３の構成要素の一部又は全部の機能は、ＣＰＵ又はＤＳＰがＲＡＭを作業用のメモリとして用いてＲＯＭに記録されたプログラムを実行することによって達成されてもよい。また、撮像制御部１０３の構成要素の一部又は全部の機能は、電子回路又は集積回路等の専用のハードウェア回路によって達成されてもよい。撮像制御部１０３の構成要素の一部又は全部の機能は、上記のソフトウェア機能とハードウェア回路との組み合わせによって構成されてもよい。プログラムは、アプリケーションとして、インターネット等の通信網を介した通信、モバイル通信規格による通信、その他の無線ネットワーク、有線ネットワーク、又は放送等で提供されるものであってもよい。ここで、撮像制御部１０３は、制御回路の一例である。

さらに、撮像装置１００以外の構成要素を説明する。記憶部１１０は、例えば、ＲＯＭ、ＲＡＭ、フラッシュメモリなどの半導体メモリ、ハードディスクドライブ、又は、ＳＳＤ（Solid State Drive）等の記憶装置によって実現される。記憶部１１０は、撮像装置１００が取得した複数の撮像画像等を格納する。記憶部１１０は、イメージセンサ１０２で撮像された画像を、当該撮像に用いられた照明器１０１の位置情報と共に記憶する。

例えば、図４には、上述のように記憶部１１０が記憶する内容の一例が示されている。撮像装置１００によって取得された撮像画像ファイル毎に、当該撮像画像ファイルの取得時に用いられた照明器１０１の位置情報つまり照明位置が記憶されている。図４の例では、照明位置は、イメージセンサ１０２に対する照明器１０１の相対的な位置を示す。以下において、この照明器１０１の位置情報を「照明位置情報」とも呼び、照明器１０１の位置を「照明位置」とも呼ぶ。照明位置情報は、撮像画像ファイルのファイルＩＤと共に又は対応付けられて記憶されており、撮像画像ファイルとファイルＩＤを介して結合されている。なお、照明位置情報は、撮像画像ファイルの一部（例えばヘッダ情報）に記録されてもよい。

また、画像処理部１２０は、少なくとも１つの制御回路によって実現される。図１に示すように、画像処理部１２０は、領域抽出部１２１と、内部画像生成部１２２と、判別部１２３とを備える。画像処理部１２０は、１つの装置又はシステムによって形成されてもよく、複数の装置又はシステムによって形成されてもよく、画像処理部１２０の他の構成要素とは別の装置又はシステムに組み込まれてもよい。

領域抽出部１２１は、撮像装置１００によって撮像され且つ記憶部１１０に記憶された複数の撮像画像のうち、少なくとも１つの撮像画像から、対象物であるスフェロイドの画像が存在する領域、つまりスフェロイドの領域を抽出する。本実施の形態では、領域抽出部１２１は、１つの撮像画像のみから当該領域を抽出するが、これに限定されない。当該領域が抽出される画像を、「基準撮像画像」と呼ぶ。

具体的には、本実施の形態では、領域抽出部１２１は、照明器１０１の位置毎に対応する撮像画像のうち、例えば、イメージセンサ１０２の受光面の中心位置の直上に位置する照明器１０１の照明の際に撮像された画像を基準撮像画像に決定する。さらに、領域抽出部１２１は、基準撮像画像に含まれるスフェロイドの領域を抽出する。当該領域の抽出方法は、例えば、公知の画像認識処理に基づく。領域抽出部１２１は、１つの基準撮像画像に対して、画像認識の結果に基づいて抽出した領域を、対象領域に決定する。スフェロイドの領域の認識処理は、例えば、予め定められた色及び輪郭等の特徴に基づいて行われる。スフェロイドの領域の認識処理によって複数の領域が抽出された場合には、領域抽出部１２１は、抽出された複数の領域の全てを対象領域に決定する。領域抽出部１２１は、決定した対象領域を、対象領域を抽出した基準撮像画像と対応付けて記憶部１１０に記憶する。なお、基準撮像画像は、イメージセンサ１０２の受光面の中心位置の直上に位置する照明器１０１の照明の際に撮像された画像に限定されず、いかなる照明器１０１の撮像画像であってもよい。例えば、基準撮像画像は、イメージセンサ１０２の受光面上において、スフェロイドの密度が高い領域の直上に位置する照明器１０１の照明の際に撮像された画像であってもよい。

例えば、図５には、上述のように記憶部１１０が記憶する内容の一例が示されている。領域抽出部１２１は、対象領域に決定した１つ以上のスフェロイドの領域それぞれに、例えば、領域ＩＤを付与する。さらに、領域抽出部１２１は、領域ＩＤに対応する領域それぞれに対して、基準撮像画像上での座標、例えば、画素座標を算出する。画素座標は、画像における画素を基準とした座標系である。領域抽出部１２１は、図５に示すように、各領域の座標と、各領域に対応する領域ＩＤとを対応付け、これらを記憶部１１０に記憶する。なお、スフェロイドの領域の座標の設定方法は、いかなる方法であってもよい。例えば、領域抽出部１２１は、基準撮像画像上において、スフェロイドの領域に外接する矩形形状等の枠を形成し、当該枠上の１つ以上の点の座標を、当該領域の座標としてもよい。この場合、領域抽出部１２１は、辺長等の枠の大きさの情報も、領域ＩＤと対応付けて記憶部１１０に記憶させてもよい。又は、領域抽出部１２１は、基準撮像画像上におけるスフェロイドの領域の重心の座標を、当該領域の座標としてもよい。なお、図５の例では、スフェロイドの領域の座標は、矩形枠の対角位置の２つの頂点の座標である。

内部画像生成部１２２は、１つ以上のスフェロイドの内部の画像を生成する。内部画像生成部１２２は、記憶部１１０に記憶された複数の撮像画像と照明位置情報とを用いて、予め定められた仮想的な焦点面の位置情報に従って、リフォーカシング処理を行い、当該焦点面におけるスフェロイドの合焦画像を生成する。内部画像生成部１２２は、仮想的な焦点面毎に、合焦画像を生成する。内部画像生成部１２２は、生成した合焦画像を、記憶部１１０に記憶する。なお、上記の合焦画像を生成する処理を「リフォーカシング処理」と呼び、リフォーカシング処理の詳細は後述する。

さらに、図６には、内部画像生成部１２２の詳細な構成が示されている。なお、図６は、実施の形態１に係る内部画像生成部１２２の機能的な構成の一例を示すブロック図である。図６に示されるように、内部画像生成部１２２は、リフォーカシング部１２２１と、焦点面テーブル１２２２と、画像生成部１２２３とを備える。

焦点面テーブル１２２２は、予め定められた仮想的な焦点面の位置を記憶する。焦点面テーブル１２２２は、記憶部１１０に関して上述した構成のうちのいずれかの構成を有してもよい。仮想的な焦点面は、複数の照明器１０１及びイメージセンサ１０２の間に位置する焦点面である。仮想的な焦点面は、本実施の形態では、イメージセンサ１０２の受光面に平行な面であるが、受光面と交差する方向の面であってもよい。例えば、図７には、焦点面テーブル１２２２が記憶する内容の一例が示されている。予め定められた複数の仮想的な焦点面について、各焦点面にＩＤが付与されている。そして、各焦点面とイメージセンサの表面つまり受光面との距離が、当該焦点面のＩＤと共に、焦点面テーブル１２２２に記憶されている。図７の例では、仮想的な焦点面は全て、イメージセンサ１０２の表面に平行な平面である。例えば、図７の例では、スフェロイド全体をカバーするように、２００の仮想的な焦点面が、１μｍの間隔で設定されている。焦点面の間隔は、上述のように等間隔であってよく、不等間隔であってもよい。

リフォーカシング部１２２１は、領域抽出部１２１が抽出した１つ以上のスフェロイドの領域全てについて、仮想的な焦点面上における合焦画像を構成する合焦画素を生成する。なお、本実施の形態では、合焦画像を構成する画素を「合焦画素」と呼ぶ。リフォーカシング部１２２１は、複数の撮像画像と、複数の照明器１０１の位置情報と、仮想的な焦点面の位置情報とから、当該焦点面における合焦画像の合焦画素を生成することができる。具体的には、リフォーカシング部１２２１は、複数の撮像画像と、複数の撮像画像それぞれの撮像時に照明した照明器１０１の位置情報とに基づき、合焦画像の合焦画素が映し出されている撮像画像内の画素を特定し、特定した画素の画素値を用いて、合焦画素の画素値を算出する。リフォーカシング部１２２１は、合焦画素毎に画素値を算出する。これにより、合焦画像の生成が可能になる。なお、画素値の例は、光の強度、及び輝度値である。

本実施の形態では、リフォーカシング部１２２１は、仮想的な焦点面の全ての画素位置での合焦画素を生成するわけではない。リフォーカシング部１２２１は、全てのスフェロイドの領域内の合焦画素のみを生成する。具体的には、リフォーカシング部１２２１は、図５に示されるような、領域抽出部１２１が抽出した全てのスフェロイドの領域の画素座標から、仮想的な焦点面の合焦画像上における全てのスフェロイドの領域の画素座標を算出する。さらに、リフォーカシング部１２２１は、合焦画像上において、各スフェロイドの領域に含まれる合焦画素のみを生成する。なお、本実施の形態では、領域抽出部１２１が抽出したスフェロイドの領域の画素座標系と、仮想的な焦点面の合焦画像の画素座標系とが、同一であり、それにより、合焦画素の生成処理は簡易になる。

仮想的な焦点面上の合焦画素を生成する場合、リフォーカシング部１２２１は、当該合焦画素の位置の合焦点と、各撮像画像に対応する照明位置情報とから、各照明器１０１から出射された光が合焦点を通過して到達するイメージセンサ１０２上の位置を計算する。上記合焦点は、仮想的な焦点面上の点である。さらに、リフォーカシング部１２２１は、各照明器１０１、つまり各照明位置に対応する撮像画像上において、当該合焦点を通過した照明器１０１の光がイメージセンサ１０２上に到達する位置に基づき、当該位置に対応する画素位置での画素値を抽出する。この画素値は、上記合焦点の画像を示す画素値である。そして、リフォーカシング部１２２１は、各照明位置に対応する撮像画像において抽出された、合焦点の画像を示す画素値の全てを加算する。これにより、入射方向が異なり且つ合焦点を通る全ての光の輝度を統合した画素値が得られ、この画素値は、合焦画素の画素値とされる。このように、リフォーカシング部１２２１は、合焦点の合焦画素情報を生成し、合焦画像上の各合焦画素に対して上述の処理を行う。これにより、スフェロイドの領域の合焦画像の生成が可能になる。上記方法は、特許文献４に記載されるリフォーカシング技術と同様である。特許文献４の技術は公知であるため、その詳細な説明を省略する。

画像生成部１２２３は、リフォーカシング部１２２１が生成した合焦点の合焦画素情報に基づき、焦点面上における全てのスフェロイドの領域それぞれの合焦画像を生成する。画像生成部１２２３は、生成した合焦画像を、焦点面の位置情報と、合焦画像に対応するスフェロイドの領域のＩＤとに対応付け、記憶部１１０へ記憶する。

例えば、図８には、上述のように記憶部１１０が記憶する内容の一例が示されている。内部画像生成部１２２は、スフェロイドの領域の合焦画像それぞれに、ＩＤを設定する。このＩＤは、合焦画像を含む焦点面にも対応付けられており、「焦点面画像ＩＤ」と呼ぶ。内部画像生成部１２２は、スフェロイドの領域それぞれについて、予め定められた複数の焦点面それぞれにおけるスフェロイドの領域の合焦画像のファイルと、当該ファイルに対応する焦点面画像ＩＤとを、当該合焦画像を含む焦点面の位置情報と、当該スフェロイドの領域のＩＤ及び座標とに対応付けて、記憶部１１０に記憶する。図８の例では、焦点面の位置情報は、イメージセンサ１０２の表面からの距離を示す。焦点面の位置情報は、合焦画像のファイルと焦点面画像ＩＤを介して結合されている。なお、焦点面の位置情報は、合焦画像のファイルの一部（例えばヘッダ情報）に記録されてもよい。

判別部１２３は、記憶部１１０に記憶された合焦画像それぞれについて、対象物であるスフェロイドの外形とスフェロイド内部の空洞部とを、画素値を基準に判別する。

例えば、図９Ａ〜図９Ｄには、同一のスフェロイドの領域について、異なる焦点面Ｆａ〜Ｆｄでの複数の合焦画像の例が模式的に示されている。なお、図９Ａ〜図９Ｄは、スフェロイドの領域の処理画像の一例を示す図である。合焦画像は、図９Ａ〜図９Ｄの上段の画像である。図９Ａから図９Ｄに進むに従って、焦点面Ｆａ〜Ｆｄとイメージセンサ１０２の表面との距離が大きくなる。つまり、図９Ａの焦点面Ｆａが、最もイメージセンサ１０２の表面に近い。図９Ａの合焦画像では、画像全体がぼけているが、周辺より暗い部分、つまり画素値が小さい部分を抽出することで、スフェロイドの外形を抽出することができる。図９Ｂの合焦画像では、周辺より暗い部分は、スフェロイドの外形として抽出され、スフェロイドの外形の内部で他の部分より暗い部分、つまり、画素値が小さい部分は、空洞部として抽出され得る。図９Ｃ及び図９Ｄの合焦画像でも、図９Ｂと同様に、スフェロイドの外形と、スフェロイド内部の空洞部とが、抽出され得る。

判別部１２３は、各合焦画像において、各スフェロイドの外形の内側に存在すると判別される画素である第一画素の数量と、当該スフェロイド内の空洞部内に存在すると判別される画素である第二画素の数量とを算出する。第一画素は、第二画素を含み得る。スフェロイドの１つの合焦画像において、第一画素の数量は、当該スフェロイドの外形の内側の面積に対応し、第二画素の数量は、当該スフェロイドの空洞部の面積に対応し得る。そして、１つのスフェロイドに対応する全ての合焦画像の第一画素の数量の和は、当該スフェロイドの外形の内側の体積に対応し、１つのスフェロイドに対応する全ての合焦画像の第二画素の数量の和は、当該スフェロイドの空洞部の体積に対応し得る。判別部１２３は、各合焦画像の第一画素及び第二画素の数量を、当該合焦画像の焦点面画像ＩＤと対応付けて、記憶部１１０に記憶する。ここで、第一画素の数量は、第一面積の一例であり、第二画素の数量は、第二面積の一例である。

例えば、図１０には、上述のように記憶部１１０が記憶する内容の一例が示されている。判別部１２３は、各スフェロイドの領域の複数の焦点面に対応する合焦画像それぞれについて、第一画素及び第二画素の数量を、当該スフェロイドの領域のＩＤ、当該合焦画像の焦点面画像ＩＤ、及び当該合焦画像の焦点面の位置情報と対応付けて、記憶部１１０に記憶する。これにより、例えば、イメージセンサ１０２の表面に沿うｘ軸及びｙ軸と、当該表面に直交するｚ軸とによって定義される３次元座標上で、スフェロイドの内部の第一画素の分布と、スフェロイド内の空洞部の第二画素の分布との算出が可能になる。

計算部１３０は、判別部１２３が判別した各スフェロイドの各焦点面での第一画素及び第二画素の数量から、全てのスフェロイドの全ての焦点面での第一画素の数量の合計である第一総数と、全てのスフェロイドの全ての焦点面での第二画素の数量の合計である第二総数とを算出する。さらに、計算部１３０は、第一総数と第二総数との比率である第一比率を計算する。第一比率は、第二総数／第一総数で示される。ここで、第一総数は、第一体積及び第一総体積の一例であり、第二総数は、第二体積及び第二総体積の一例である。

状態判定部１４０は、計算部１３０で計算された第一比率と、予め定められた判定基準値とを比較し、第一比率が判定基準値よりも低い場合はスフェロイドの培養状態が良好であると判定し、第一比率が判定基準値以上である場合はスフェロイドの培養状態が不良であると判定する。判定基準は、スフェロイドを構成する細胞の種類及び数量、スフェロイドの培養の経過時点、要求されるスフェロイドの培養状態の品質、並びにスフェロイドの用途等の条件に応じて、種々な値に決定され得る。このような判定基準は、培養状態判定装置１０の設計者、製造者又はユーザ等によって上記条件に応じて決定されてもよく、決定された判定基準は、図示しない入力装置を介して入力され、記憶部１１０に記憶されてもよい。本実施の形態では、後述するように、スフェロイドは、ウニの桑実胚であり、この場合の判定基準の例は、０．３である。

判別部１２３が判別したスフェロイド内部の第一画素の数量は、スフェロイド内部の細胞の量、つまり、細胞の体積を擬似的に示している。スフェロイドの空洞部は、スフェロイド内の細胞が壊死等により欠落した部分であり、空洞部の第二画素の数量は、壊死等により欠落した細胞の量、つまり、細胞の体積を擬似的に示している。１つのスフェロイドについて、全ての焦点面での第一画素の数量の合計と全ての焦点面での第二画素の数量の合計との比率である第二比率は、１つのスフェロイドにおける全細胞量に対して壊死等により欠落した細胞量の比率を示している。また、第一総数及び第二総数の第一比率は、撮像した複数のスフェロイド全体での、全細胞量に対して壊死等により欠落した細胞量の比率を示している。

なお、計算部１３０は、第一画素の数量と第二画素の数量との比率を計算したが、第一画素の数量から第二画素の数量を減じた差異を計算してもよい。この場合、状態判定部１４０は、予め定められた判定基準として、基準の画素数を保持している。状態判定部１４０は、計算部１３０の計算した差異が基準の画素数以下である場合には培養状態が不良であると判定し、差異が基準の画素数を上回る場合に培養状態が良好である判定する。第一画素の数量から第二画素の数量を減じた差異は、スフェロイドに含まれる壊死していない正常な細胞の量を擬似的に示している。この場合も、計算部１３０は、第一総数から第二総数を減じた差異を計算してもよい。状態判定部１４０は、第一画素の数量及び第二画素の数量の差異の場合と同様に、第一総数及び第二総数の差異に基づき、スフェロイド全体に対して、培養状態が良好か不良であるかを判定してもよい。このような場合、培養容器内全体のスフェロイドの状態が判定され、培養容器内のスフェロイドの使用の可否が判定され得る。上述のような差異に基づく判定は、培養容器内のスフェロイドの数量が既知である場合に、効果的である。なお、差異の基準は、第一比率の判定基準に準ずるものであってもよい。

表示部１５０は、状態判定部１４０で判定された結果を示す。表示部１５０の例は、ディスプレイ及びスピーカである。ディスプレイの例は、液晶パネル、及び、有機又は無機ＥＬ（Electroluminescence）である。表示部１５０がディスプレイである場合、結果は、文字、記号及び画像等により表示され得る。また、表示部１５０がスピーカである場合、結果は、音声及び音響信号により示され得る。表示部１５０は、ディスプレイ及びスピーカの一方又は両方を含んでもよい。なお、表示部１５０は、他の表示出力手段でもよい。例えば、表示部１５０は、壁面、ガラス面、空間等に投影する構成を有してもよい。

［１−２．実施の形態１に係る培養状態判定装置の動作］
図１１を参照しつつ、実施の形態１に係る培養状態判定装置１０の動作を説明する。なお、図１１は、実施の形態１に係る培養状態判定装置１０の動作の一例を示すフローチャートである。

まず、ステップＳ１１００において、撮像装置１００の撮像制御部１０３は、複数の照明器１０１を順に用いて、イメージセンサ１０２上の対象物である複数のスフェロイドを照明し、イメージセンサ１０２に複数のスフェロイドの複数の画像を撮像させる。例えば、複数のスフェロイドは、図１２に示すように、イメージセンサ１０２上に載置されたウェル等の培養容器１内の培養液２中に存在する。なお、図１２は、スフェロイドの撮像状況の一例を示す模式的な斜視図である。撮像制御部１０３は、複数の照明器１０１のそれぞれがスフェロイドを照明するたびに、イメージセンサ１０２にその受光面に到達した光の強度を記録させることにより、培養容器１内の複数のスフェロイド全体を写し出す複数の撮像画像を取得する。撮像制御部１０３は、撮像画像を、当該撮像画像の撮像時に照明した照明器１０１の位置情報と対応付けて、記憶部１１０に記憶する。本実施の形態では、複数の照明器１０１の位置は、イメージセンサ１０２に対して固定されており、複数の照明器１０１の各々の位置情報は予め定められて記憶部１１０に記憶されている。撮像処理の詳細は後述する。

次いで、ステップＳ１２００において、画像処理部１２０の領域抽出部１２１は、ステップＳ１１００で取得された撮像画像から、スフェロイドの画像が写っている領域、つまりスフェロイドの領域を抽出する。具体的には、領域抽出部１２１は、ステップＳ１１００で取得され且つ記憶部１１０に記憶された複数の撮像画像のうちから、１つの撮像画像を基準撮像画像として決定し、基準撮像画像と、基準撮像画像に対応する照明位置情報とを記憶部１１０から取得する。当該照明位置情報は、基準撮像画像の撮像の際に照明した照明器１０１の位置情報である。基準撮像画像は、例えば、イメージセンサ１０２の受光面の中心点の直上に位置する照明器１０１の照明の際の撮像画像である。領域抽出部１２１は、基準撮像画像中の各画素の画素値に基づき、１つ以上のスフェロイドの領域を抽出する。

抽出方法の例は、基準撮像画像の画素値の最大値と最小値との間で設定された第一閾値に基づき基準撮像画像を２値化し、それにより、照明器１０１から照射された光が直接イメージセンサ１０２の受光面に到達している領域と、光がスフェロイドを透過してイメージセンサ１０２の受光面に到達している領域とに分割する方法である。

第一閾値は、スフェロイドを写す領域とスフェロイドの背景を写す領域とを区分けするための閾値である。第一閾値は、スフェロイドを構成する細胞の種類及び数量、スフェロイドの培養の経過時点、並びに撮像時の環境等の条件に応じて、種々な値に決定され得る。このような第一閾値は、培養状態判定装置１０の設計者、製造者又はユーザ等によって上記条件に応じて決定されてもよく、決定された第一閾値は、図示しない入力装置を介して入力され、記憶部１１０に記憶されてもよい。例えば、第一閾値は、基準撮像画像の画素値の最小値から最大値までの間の５０％程度から７０％程度の間の画素値である。例えば、基準撮像画像に含まれる全ての画素に関して、（画素値の最大値）−（画素値の最小値）＝αであると、０．５α＋（画素値の最小値）≦（第一閾値）≦０．７α＋（画素値の最小値）の範囲内で、第一閾値は決定され得る。また、基準撮像画像中の画素値の分布を示す一例である画素の輝度値のヒストグラムにおいて、画素数が急峻に大きくなる輝度値の画素は、スフェロイドの背景を示し得る。第一閾値は、このような輝度値以下の値に決定されてもよい。また、第一閾値は、例えば、基準撮像画像の画素値の最大値に、予め定められた比率を乗じた値としてもよい。このような比率は、０超１未満の値であり、比率の例は、０．６であるが、これに限定されない。

画像がより明るい、すなわち画素値が第一閾値以上である領域は、照明器１０１から照射された光が直接イメージセンサ１０２の受光面に到達している領域である。画像がより暗い、すなわち画素値が第一閾値よりも小さい領域は、光がスフェロイドを透過してイメージセンサ１０２の受光面に到達している領域である。２値化された基準撮像画像中において、画素値が第一閾値よりも小さい画素が連続する領域は、スフェロイドが写っている領域と決定される。

領域抽出部１２１は、基準撮像画像中において、画素値が第一閾値よりも小さい画素が連続する領域を抽出し、当該領域を含む最小の矩形領域、例えば、当該領域に外接する矩形領域を、スフェロイドの領域を含む、画像処理を行う領域として決定する。さらに、領域抽出部１２１は、決定した矩形領域にＩＤを設定し、当該矩形領域の基準撮像画像上での画素座標を算出する。領域抽出部１２１は、矩形領域の画素座標と、当該矩形領域のＩＤとを、互いに対応付けて記憶部１１０に記憶する。なお、領域抽出部１２１は、矩形領域の画素座標として、矩形領域の少なくとも１つの頂点の画素座標を算出してもよい。さらに、領域抽出部１２１は、矩形領域の寸法として、矩形領域の辺の長さを、矩形領域の画素座標と共に、記憶部１１０に記憶させてもよい。培養容器１内には、１つ以上のスフェロイドが存在するため、基準撮像画像から、各スフェロイドの領域及びその矩形領域が抽出される、つまり、１つ以上のスフェロイドの領域及びその矩形領域が抽出される。

なお、ステップＳ１２００では、領域抽出部１２１は、２値化された基準撮像画像中において、画素値が第一閾値よりも小さい画素が連続する領域を、スフェロイドが写っている領域に決定したが、他の方法でスフェロイドが写っている領域を決定してもよい。例えば、領域抽出部１２１は、基準撮像画像中において、画素間の画素値の差異を用いて、エッジ抽出を行い、エッジによって囲まれた領域を、スフェロイドが写っている領域に決定してもよい。又は、領域抽出部１２１は、例えば、基準撮像画像中において、画素の画素値でクラスタリングすることで、画素値が類似する画素が連続する領域を抽出し、抽出した領域をスフェロイドが写っている領域に決定してもよい。

次いで、ステップＳ１３００において、画像処理部１２０の内部画像生成部１２２は、ステップＳ１２００で決定された１つ以上のスフェロイドの領域の全て、つまり矩形領域全てについて、ステップＳ１１００で取得された複数の撮像画像を使って、予め定められた複数の焦点面での合焦画像を生成する。つまり、各焦点面上での各矩形領域の合焦画像が生成される。このような内部画像生成部１２２は、矩形領域以外の領域の合焦画像を生成しないため、合焦画像生成のための処理速度を向上することができる。本実施の形態では、複数の焦点面の全ては、平面であり、各焦点面は他の焦点面と平行である。さらに、複数の焦点面は、イメージセンサ１０２の受光面と平行であるが、これに限定されない。複数の焦点面の位置は、例えば、イメージセンサ１０２の受光面からの距離等を用いて定義され、予め記憶部１１０に記憶されている。焦点面の合焦画像に含まれる複数の合焦画素は、当該焦点面上の複数の点に一対一で対応する。合焦画像の生成方法は後述する。

次いで、ステップＳ１４００において、画像処理部１２０の判別部１２３は、ステップＳ１３００で生成された全ての合焦画像それぞれについて、当該合焦画像の画素値に基づいて、スフェロイドの外形を抽出し、さらに、スフェロイドの外形の内側の空洞部を抽出する。判別部１２３は、スフェロイドの外形の内部において、他の画素と区別される画素の領域を空洞部として判別する。空洞部は、例えば、合焦画像中の画素値の分布によって判別することができる。

例えば、図９Ａ〜図９Ｄそれぞれには、スフェロイドの領域の一連の処理画像の例が示されている。図９Ａ〜図９Ｄそれぞれにおいて、上段には、スフェロイドの領域の合焦画像が示されている。中段には、上段の合焦画像を２値化した画像である２値化画像が示されている。２値化画像では、画素値が第二閾値以上の領域は、白塗り又は色無しの領域として示され、画素値が第二閾値未満の領域は、黒塗りの領域として示されている。

なお、第二閾値は、スフェロイド内において、細胞を写す領域と空洞部を写す領域とを区分けするための閾値である。図９Ａ〜図９Ｄの２値化画像において、黒塗り領域は、空洞部を示し、黒塗り領域で囲まれた白塗り又は色無し領域は、細胞を示し得る。白塗り又は色無しの領域は、細胞を示し、黒塗りの領域は、空洞部を示し得る。第二閾値は、スフェロイドを構成する細胞の種類及び数量、スフェロイドの培養の経過時点、並びに撮像時の環境等の条件に応じて、種々な値に決定され得る。このような第二閾値は、培養状態判定装置１０の設計者、製造者又はユーザ等によって上記条件に応じて決定されてもよく、決定された第二閾値は、図示しない入力装置を介して入力され、記憶部１１０に記憶されてもよい。例えば、第二閾値は、合焦画像の画素値の最小値から最大値までの間の５０％程度から７０％程度の間の画素値である。例えば、スフェロイドの領域の合焦画像に含まれる全ての画素に関して、（画素値の最大値）−（画素値の最小値）＝βであると、０．５β＋（画素値の最小値）≦（第二閾値）≦０．７β＋（画素値の最小値）の範囲内で、第二閾値は決定され得る。

下段には、中段の２値化画像において細胞の領域を抽出した画像である抽出画像が示されている。下段の画像は、２値化画像に対して、細胞に該当する画素値の画素が連続する領域それぞれを分離した画像を模式的に示す。上述したように、図９Ａ〜図９Ｄは、同一のスフェロイドの領域についての異なる焦点面Ｆａ〜Ｆｄに対応する画像である。図９Ａ〜図９Ｄのスフェロイドは、ウニの桑実胚である。桑実胚はほぼ同一の大きさの複数の細胞で構成された細胞塊であり、中心部に空洞を含む。

判別部１２３は、スフェロイド内の空洞部を判別する場合、例えば、図９Ａ〜図９Ｄの上段のような合焦画像を２値化し、中段の２値化画像を生成する。さらに、判別部１２３は、２値化画像に対して、画素値が第二閾値以上の領域をラベリング、つまりラベル付けして、下段の画像のような複数の細胞の領域を決定する。つまり、下段の画像は、細胞領域の抽出画像である。

ここで、図１３を参照して、図９Ａ〜図９Ｄのような２値化画像から空洞部の有無を判定する方法の一例を説明する。図１３は、スフェロイドの合焦画像の２値化画像において空洞部の有無を判定する方法を模式的に示す図である。判別部１２３は、スフェロイドＳｐの合焦画像の２値化画像において、画素値が第二閾値以上の領域をラベリングし、８つの領域である第一領域Ｌａ〜第八領域Ｌｇを決定する。さらに、判別部１２３は、第一領域Ｌａ〜第八領域Ｌｇ全てから計算される重心Ｇを求める。例えば、重心Ｇは、第一領域Ｌａ〜第八領域Ｌｇそれぞれの８つの重心の重心である。そして、判別部１２３は、重心Ｇを中心とする半径ｂの円Ｃｂを形成する。半径ｂは、例えば、第一領域Ｌａ〜第八領域Ｌｇそれぞれの外形を円で近似した場合での、近似する８つの円の半径の平均である。判別部１２３は、円Ｃｂの中に、ラベリングされた領域、つまり第一領域Ｌａ〜第八領域Ｌｇのいずれかが含まれている場合、空洞部が存在しないと判定し、円Ｃｂの中に、第一領域Ｌａ〜第八領域Ｌｇのいずれもが含まれていない場合、重心Ｇを含む、ラベルリングされていない領域を空洞部とする。なお、ラベルリングされていない領域は、重心Ｇを含み且つ第一領域Ｌａ〜第八領域Ｌｇ以外の領域、円Ｃｂ、又は、第一領域Ｌａ〜第八領域Ｌｇに内接し且つ重心Ｇを含む楕円のいずれかとしてもよい。本明細書及び特許請求の範囲において、「楕円」は、円、楕円及び長円を含む。また、円Ｃｂの中に、第一領域Ｌａ〜第八領域Ｌｇのいずれかが含まれているとは、円Ｃｂと第一領域Ｌａ〜第八領域Ｌｇのいずれかとが重複する領域を有することである。

なお、本実施の形態では、判別部１２３は、スフェロイドの合焦画像の２値化画像から、ラベリングされた領域を決定し、ラベリングされていない領域を空洞部に決定したが、他の方法により空洞部を決定してもよい。例えば、判別部１２３は、合焦画像中のスフェロイドを横断するライン上の画素値の変化に基づき、空洞部を決定してもよい。例えば、図１４Ａ〜図１４Ｄはそれぞれ、図９Ａ〜図９Ｄと同様に、焦点面Ｆａ〜Ｆｄにおける同一のスフェロイドの領域の合焦画像と、当該領域上の画素値との関係の一例を模式的に示す。具体的には、図１４Ａ〜図１４Ｄそれぞれの下段のグラフは、上段の合焦画像におけるスフェロイドの中心を通る直線Ｌ上における画素の画素値を模式的に示す。

判別部１２３は、空洞部の有無を判断する場合、例えば、図１４Ａ〜図１４Ｄの上段のような合焦画像それぞれに対して、スフェロイドの中心を通過する直線Ｌを決定し、下段のような直線Ｌに沿った画素の画素値の分布を求める。直線Ｌの位置は、空洞部が形成される可能性が高い領域を通るように決定されることが好ましい。桑実胚は中心部に空洞部を含むため、本実施の形態では、直線Ｌはスフェロイドの中心を通る。このように、直線Ｌの位置は、スフェロイドの対象細胞塊に応じて決定され得る。

判別部１２３は、図１４Ａ〜図１４Ｄの下段に示すような直線Ｌ上における画素値のグラフにおいて、グラフの山の頂点と谷の頂点との間隔、つまり画素値の山谷の間隔を算出する。なお、図１４Ａ〜図１４Ｄでは、グラフの谷の頂点の位置が、当該グラフから合焦画像に延びる破線で示され、グラフの山の頂点の位置が、当該グラフから合焦画像に延びる点線で示されている。当該破線は、グラフの谷の頂点と対応する合焦画像内の位置を示す。当該点線は、グラフの山の頂点と対応する合焦画像内の位置を示す。例えば、判別部１２３は、図１４Ａの例では、８の間隔を算出し、図１４Ｂの例では、８の間隔を算出し、図１４Ｃの例では、１２の間隔を算出し、図１４Ｄの例では、１２の間隔を算出する。さらに、判別部１２３は、各合焦画像について、画素値の山谷の間隔の分散を算出する。

判別部１２３は、画素値の山谷の間隔の分散が予め定められた第三閾値未満である場合には、空洞部が存在しないと判定し、山谷の間隔の分散が第三閾値以上である場合には、空洞部が存在すると判定する。さらに、判別部１２３は、空洞部が存在する場合、直線Ｌに沿い且つ山谷の間隔が最も大きい領域を、空洞部の領域に決定する。例えば、判別部１２３は、図１４Ｂ及び図１４Ｃでは、空洞部が存在すると判定する。そして、判別部１２３は、図１４Ｂでは、領域Ａｂを空洞部に決定し、図１４Ｃでは、領域Ａｃを空洞部に決定する。また、判別部１２３は、スフェロイドの中心を通過し且つ直線Ｌと異なる複数の直線をさらに決定し、各直線に沿った画素値の分布、つまり、画素値の山谷の間隔の分散に基づき、空洞部の有無を決定し、当該直線に沿う空洞部の領域を決定する。複数の直線は、直線Ｌと交差する直線であり、スフェロイドの中心で直線Ｌを回転した直線でもある。判別部１２３は、直線Ｌを含む複数の直線それぞれに沿う空洞部の一次元的な領域から、合焦画像に沿う空洞部の二次元的な領域を算出する。例えば、判別部１２３は、空洞部の一次元的な領域を積分することによって、空洞部の二次元的な領域を算出してもよい。

なお、第三閾値は、スフェロイド内において、空洞部の存在を判別するための閾値である。第三閾値は、スフェロイドを構成する細胞の種類及び数量、並びにスフェロイドの培養の経過時点等の条件に応じて、種々な値に決定され得る。このような第三閾値は、培養状態判定装置１０の設計者、製造者又はユーザ等によって上記条件に応じて決定されてもよく、決定された第三閾値は、図示しない入力装置を介して入力され、記憶部１１０に記憶されてもよい。例えば、細胞の大きさの２倍程度以上の大きさの空洞部が存在する場合の画素値の山谷の間隔の分散は、細胞の大きさ以上の空洞部が存在しない場合の画素値の山谷の間隔の分散の４倍以上となる。細胞の大きさの２倍程度以上の大きさの領域を空洞部であると見なす場合、第三閾値の例は、細胞の大きさ以上の空洞部が存在しない場合の画素値の山谷の間隔の分散の４倍以上のような値である。しかしながら、第三閾値は、このような値に限定されず、空洞部であると見なす領域の大きさと細胞の大きさとの関係に基づき、種々に決定され得る。

次いで、ステップＳ１５００において、計算部１３０は、ステップＳ１４００で判別された全てのスフェロイドの領域それぞれについての全ての焦点面でのスフェロイドの外形及び空洞部の領域について、スフェロイドの外形に囲まれた領域内の画素である第一画素の数量と、空洞部の領域内の画素である第二画素の数量とを求める。第一画素の数量は、スフェロイドの外形内に含まれる全ての画素の数量であり、第二画素の数量は、空洞部に含まれる全ての画素の数量である。さらに、計算部１３０は、全てのスフェロイドの領域の全ての焦点面でのスフェロイドの外形に囲まれた領域内の第一画素の数量の和である第一総数を求める。さらに、計算部１３０は、全てのスフェロイドの領域の全ての焦点面でのスフェロイドの空洞部の領域内の第二画素の数量の和である第二総数を求める。計算部１３０は、第一総数と第二総数との第一比率を求める。第一比率は、第二総数／第一総数で示される。画素の数量は、１つの画素の面積を１単位とする面積を示す。平行な複数の焦点面上における画素の数量が示す面積を足し合わせたものは、当該画素を含む三次元的な領域の体積を擬似的に示す。スフェロイドは細胞が密集した塊であるので、スフェロイドの外形の内側では、画素の数量の比は、細胞の量の比を擬似的に示す。細胞量は、細胞の体積又は細胞の数量を意味し得る。このように、計算部１３０は、スフェロイドの擬似細胞量を算出する。

次いで、ステップＳ１６００において、状態判定部１４０は、ステップＳ１５００で計算された第一比率に基づいて、培養された複数のスフェロイドの状態を判定する。全てのスフェロイドの外形それぞれに含まれる第一画素の数量の和である第一総数に対して、全てのスフェロイドの空洞部それぞれに含まれる第二画素の数量の和である第二総数が占める割合が大きい場合、培養状態が不良であると判定することができる。具体的には、状態判定部１４０は、第一比率が予め定められた判定基準よりも低い場合、培養状態が良好であると判定し、第一比率が判定基準以上である場合、培養状態が不良であると判定する。本実施の形態では、判定基準は、０．３である。状態判定部１４０は、第二総数が第一総数の３割以上である場合に、培養状態が不良であると判定し、培養容器１内の複数のスフェロイドの全てを廃棄することを決定する。状態判定部１４０は、第二総数が第一総数の３割未満である場合に、培養の状態が良好であると判定し、培養後の処理に供する決定をする。このように、状態判定部１４０は、複数のスフェロイドがより多くの細胞を含む状態を、良好な培養状態として判定する。つまり、良好な培養状態は、培養後の処理に使用可能な細胞がより多く、効率的な培養後の処理が可能である培養状態である。

次いで、ステップＳ１７００において、表示部１５０は、ステップＳ１６００の判定結果を、ユーザに示す。このとき、表示部１５０は、ディスプレイ及び／又はスピーカ等を介して、画像、文字、音声等の出力により示す。

［１−３．撮像処理］
また、図１５を参照しつつ、ステップＳ１１００における撮像装置１００の動作の詳細を説明する。なお、図１５は、撮像装置１００の動作の一例を示すフローチャートである。

ステップＳ１１１０において、撮像制御部１０３は、例えば、記憶部１１０等に記憶されている予め定められた複数の照明器１０１の位置のリスト、又は図示しない外部入力によって指定された複数の照明器１０１の位置のリスト（以下、いずれのリストも「照明位置リスト」という）を参照して、各照明器１０１の位置から照明された複数のスフェロイドの撮像が終了したか否かを判定する。

ここで、照明位置リストに含まれる全ての照明位置からの照明による撮像が終了している場合（ステップＳ１１１０においてＹｅｓ）、撮像制御部１０３はステップＳ１２００へ進む。一方、照明位置リスト内のいずれかの照明位置からの照明による撮像が終了していない場合（ステップＳ１１１０においてＮｏ）、撮像制御部１０３はステップＳ１１２０へ進む。

次いで、ステップＳ１１２０において、撮像制御部１０３は、照明位置リストに含まれる複数の照明位置の中から、まだ照明が行われていない照明位置を選択し、選択した照明位置の照明器１０１へ制御信号を出力する。照明位置リストにおいて、各照明位置は、例えば、照明位置毎に割り当てられた番号によって示される。又は、各照明位置は、例えば、イメージセンサ１０２の受光面に沿うｘ軸及びｙ軸と、受光面と直交するｚ軸とによって定義される３次元座標空間の座標値によって示される。照明位置の選択は、例えば、リストの昇順に行われる。

次いで、ステップＳ１１３０において、照明器１０１は、ステップＳ１１２０で撮像制御部１０３より出力された制御信号に従って、イメージセンサ１０２上の培養容器１内の複数のスフェロイドへの照明を開始する。つまり、ステップＳ１１２０で選択された照明位置にある照明器１０１が光の照射を開始する。

ついで、ステップＳ１１４０において、照明器１０１によって複数のスフェロイドが照明されている間、撮像制御部１０３は、イメージセンサ１０２に、当該照明器１０１から照射された光によって形成される撮像画像を取得させる。撮像画像は、スフェロイドを透過した光によって形成される像を含む。

次いで、ステップＳ１１５０において、撮像制御部１０３は、照明器１０１へ制御信号を出力して、スフェロイドへの照明を停止する。なお、照明の停止は、撮像制御部１０３からの制御信号に従って行われなくてもよい。例えば、照明器１０１は、照明を開始してからの時間長を計時して、計時した時間長が予め定められた時間長を超えたら照明を能動的に停止してもよい。又は、ステップＳ１１４０でイメージセンサ１０２が撮像画像の取得を終了した後に、イメージセンサ１０２は、照明を停止するための制御信号を照明器１０１に出力してもよい。

次いで、ステップＳ１１６０において、撮像制御部１０３は、ステップＳ１１４０で取得された撮像画像と、ステップＳ１１３０で用いられた照明器１０１の位置情報とを、互いに対応付けて記憶部１１０へ記憶する。撮像制御部１０３は、ステップＳ１１６０の処理後、ステップＳ１１１０へ戻る。

撮像制御部１０３は、ステップＳ１１１０からステップＳ１１６０までの処理を繰り返すことで、照明位置リストに含まれる全ての照明位置の照明器１０１から順次、スフェロイドに光を照射し、スフェロイドに光が照射されるたびに撮像画像を取得する。

［１−４．リフォーカシング処理］
また、図１６を参照しつつ、ステップＳ１３００でのリフォーカシング部１２２１の動作の詳細を説明する。なお、図１６は、実施の形態１に係るリフォーカシング部１２２１の動作の一例を示すフローチャートである。

ステップＳ１２００に続くステップＳ１３１０において、リフォーカシング部１２２１は、ステップＳ１２００で基準撮像画像を用いて決定された１つ以上の抽出領域、すなわちスフェロイドの画像を含む領域のリストを記憶部１１０から取得する。なお、以下の説明において、抽出領域、及び、スフェロイドの画像を含む領域を、「スフェロイドの領域」とも呼ぶ。上記リストは、例えば、図５に示すようなリストである。

次いで、ステップＳ１３２０において、リフォーカシング部１２２１は、ステップＳ１３１０で取得したスフェロイドの領域のリストを参照し、全てのスフェロイドの領域のリフォーカシング処理が終了したか否かを判定する。全てのスフェロイドの領域のリフォーカシング処理が終了するとは、ステップＳ１３２０〜Ｓ１３７０の一連の処理が終了することであり、各スフェロイドの領域について、複数の撮像画像を用いて、予め定められた全ての焦点面での合焦画像を生成する処理が終了することである。

スフェロイドの領域のリストに含まれる全てのスフェロイドの領域に対してリフォーカシング処理が終了している場合（ステップＳ１３２０においてＹｅｓ）、リフォーカシング部１２２１はステップＳ１４００へ進む。一方、スフェロイドの領域のリスト内のいずれかのスフェロイドの領域のリフォーカシング処理が終了していない場合（ステップＳ１３２０においてＮｏ）、リフォーカシング部１２２１はステップＳ１３３０へ進む。

次いで、ステップＳ１３３０において、リフォーカシング部１２２１は、ステップＳ１３１０で取得したスフェロイドの領域のリストのうちから、まだリフォーカシング処理が行われていない１つのスフェロイドの領域、つまり抽出領域を選択する。スフェロイドの領域のリフォーカシング処理は、ステップＳ１３４０〜Ｓ１３７０の一連の処理である。

次いで、ステップＳ１３４０において、リフォーカシング部１２２１は、予め定められた複数の焦点面の情報を記憶した焦点面テーブル１２２２と、ステップＳ１３１０で取得したスフェロイドの領域のリストとを参照して、選択されたスフェロイドの領域について、全ての焦点面での合焦画像の生成が終了したか否かを判定する。

焦点面テーブル１２２２に記憶された全ての焦点面での合焦画像の生成が終了している場合（ステップＳ１３４０においてＹｅｓ）、リフォーカシング部１２２１はステップＳ１３２０へ戻る。一方、焦点面テーブル１２２２に記憶された全ての焦点面での合焦画像の生成が終了していない場合（ステップＳ１３４０においてＮｏ）、リフォーカシング部１２２１はステップＳ１３５０へ進む。

次いで、ステップＳ１３５０において、リフォーカシング部１２２１は、焦点面テーブル１２２２に記憶された焦点面のうち、まだ対応する合焦画像を生成していない１つの焦点面を選択する。

次いで、ステップＳ１３６０において、リフォーカシング部１２２１は、ステップＳ１３３０で選択したスフェロイドの領域について、ステップＳ１１００で取得した複数の撮像画像を用いて、ステップＳ１３５０で選択した焦点面でリフォーカシング処理をし、当該焦点面での当該スフェロイドの領域の合焦画像を生成する。

リフォーカシング部１２２１は、例えば、特許文献４と同様の方式でリフォーカシング処理を行う。合焦画像は、複数の合焦画素を含む。合焦画像に含まれる複数の合焦画素は、焦点面上の複数の点に一対一で対応する。特許文献４と同様の方式によると、リフォーカシング部１２２１は、焦点面上において、スフェロイドの領域に対応する点を算出し、さらに、当該点に対応する合焦画素の画素座標を算出する。さらに、リフォーカシング部１２２１は、複数の異なる照明位置から照射された光が、上記合焦画素の位置を通過して、イメージセンサ１０２の受光面に到達する際の、イメージセンサ１０２の受光面上での光の到達位置を計算する。リフォーカシング部１２２１は、１つの合焦画素に対して、複数の異なる照明位置それぞれについて、当該合焦画素の位置を通過した照明光がイメージセンサ１０２上に到達する点の位置を計算し、各到達点の位置でイメージセンサ１０２が取得した画素値を、複数の撮像画像から取得する。具体的には、リフォーカシング部１２２１は、各照明位置に対応する撮像画像において、当該照明位置からの光の上記到達点の画素座標での画素値を取得する。さらに、リフォーカシング部１２２１は、当該合焦画素について、全ての照明位置に対して取得したイメージセンサ１０２上の到達点での画素値を加算することで、当該合焦画素の画素値を算出する。つまり、リフォーカシング部１２２１は、全ての照明位置に対応する撮像画像それぞれにおいて取得した、到達点の画素座標での画素値を加算することで、当該合焦画素の画素値を算出する。さらに、リフォーカシング部１２２１は、合焦画像を生成しようとする焦点面上の全合焦画素、つまり、スフェロイドの領域に対応する全合焦画素について、上記の計算を行う。

次いで、ステップＳ１３７０において、画像生成部１２２３は、ステップＳ１３６０で生成された合焦画像上の合焦画素毎の画素値に基づき、スフェロイドの領域の合焦画像データを生成する、つまり、合焦画像に対応する焦点面でのスフェロイドの領域の画像データを生成する。さらに、画像生成部１２２３は、スフェロイドの領域の合焦画像データを、スフェロイドの領域の情報と、合焦画像に対応する焦点面の位置情報とに対応付け、記憶部１１０に記憶する。画像生成部１２２３は、ステップＳ１３７０の終了後はステップＳ１３４０へ戻る。

上述のように、ステップＳ１３４０からステップＳ１３７０までの処理を繰り返すことによって、ステップＳ１３３０で選択されたスフェロイドの領域について、焦点面テーブル１２２２に記憶された全ての焦点面での合焦画像が生成される。

さらに、ステップＳ１３２０からステップＳ１３７０までの処理を繰り返すことで、ステップＳ１２００で抽出された全てのスフェロイドの領域について、焦点面テーブル１２２２に記憶された全ての焦点面での合焦画像が生成される。

ここで、図１７〜図２０を参照しつつ、リフォーカシング処理の計算方法の具体例を説明する。本実施の形態では、焦点面は、イメージセンサ１０２の受光面と平行な平面であるが、以下においては、焦点面がイメージセンサ１０２の受光面と交差するケースを説明する。具体的な計算方法は、いずれも同様である。例えば、図１７は、撮像装置１００の複数の照明器１０１、スフェロイド１０００及びイメージセンサ１０２の位置関係の一例を示す。なお、図１７は、イメージセンサ１０２及びスフェロイド１０００の、イメージセンサ１０２の受光面に垂直な平面における断面図の一例を示す。スフェロイド１０００は、照明器１０１ａ及び１０１ｂとイメージセンサ１０２との間に位置し、且つイメージセンサ１０２上に位置する。合焦画像を生成する焦点面１１００は、スフェロイド１０００を通り、イメージセンサ１０２の受光面と交差する。

図１８には、合焦画像に含まれる複数の合焦画素に対応する、焦点面１１００上の複数の点１１０２ａ〜１１０２ｅの一例が、図１７と同様に示されている。複数の点１１０２ａ〜１１０２ｅのうちの点１１０２ａに対応する合焦画素の生成方法を説明する。他の点に対応する合焦画素の生成方法は、点１１０２ａと同様であるため、その説明を省略する。そして、図１９は、照明器１０１ａ及び１０１ｂそれぞれから出射された光が、焦点面上の点１１０２ａを透過し、イメージセンサ１０２によって受光される例を示す。

照明器１０１ａから出射され且つ点１１０２ａを透過する光は、照明器１０１ａの位置と点１１０２ａとを通る直線１２００ａ上を進み、直線１２００ａとイメージセンサ１０２の受光面との交点１１０３ａに到達する。照明器１０１ａから交点１１０３ａに到達する光の輝度値は、照明器１０１ａの照明時のイメージセンサ１０２の撮像画像に含まれる。当該撮像画像において、交点１１０３ａに対応する位置の画素は、焦点面１１００上の点１１０２ａにおける画像、つまり輝度値を含む。交点１１０３ａの位置は、照明器１０１ａの位置及び点１１０２ａの位置から算出可能である。

照明器１０１ｂから出射され且つ点１１０２ａを透過する光は、照明器１０１ｂの位置と点１１０２ａとを通る直線１２００ｂ上を進み、直線１２００ｂとイメージセンサ１０２の受光面との交点１１０３ｂに到達する。照明器１０１ｂから交点１１０３ｂに到達する光の輝度値は、照明器１０１ｂの照明時のイメージセンサ１０２の撮像画像に含まれる。当該撮像画像において、交点１１０３ｂに対応する位置の画素は、焦点面１１００上の点１１０２ａにおける画像、つまり輝度値を含む。交点１１０３ｂの位置は、照明器１０１ｂの位置及び点１１０２ａの位置から算出可能である。

このような交点１１０３ａにおける画像の輝度値と、交点１１０３ｂにおける画像の輝度値とが加算されることにより、複数の方向からの光によって形成された複数の画像が、焦点面１１００上の点１１０２ａでの合焦画素に重ねられる。全ての照明器１０１から点１１０２ａを透過する光によって形成された複数の画像を重ねることによって、点１１０２ａでの合焦画素が生成される。このように、照明器１０１の位置と合焦画素の位置とイメージセンサ１０２のセンサ画素の位置とが直線上に並ぶ関係にあるセンサ画素それぞれの輝度値を用いることによって、合焦画素の輝度値が算出される。

なお、撮像画像における交点の位置が、撮像画像の画素の位置と合致する場合、当該画素の輝度値は、交点の輝度値を示し得る。撮像画像における交点の位置が、撮像画像の複数の画素の中間位置である場合、交点の位置に隣接する複数の画素の輝度値を用いて補間処理を行うことにより、撮像画像における交点の輝度値が計算されてもよい。具体的には、例えば、図２０及び下記の式１に示すように、交点に隣接する複数の画素（例えば４画素）について、各画素及び交点の間の距離と基準距離との比を各画素の輝度値に乗じて加算することで、撮像画像における交点の輝度値を求めることができる。図２０において、交点に隣接する４つの画素Ａ〜画素Ｄと交点との距離は、それぞれ、ａ、ｂ、ｃ及びｄと表されている。この場合、交点の輝度値Ｌｔは、以下の式１で求められる。

ここで、Ｌａ、Ｌｂ、Ｌｃ及びＬｄは、それぞれ、画素Ａ、画素Ｂ、画素Ｃ及び画素Ｄの輝度値を表し、Ｓは基準距離を表す。例えば、Ｓは以下の式２のように交点と各画素との距離の平均としてもよい。

［１−５．効果］
以上のように、実施の形態１に係る培養状態判定装置１０は、撮像時の照明位置が異なる複数の撮像画像を用いたリフォーカシング処理により、複数の平行な焦点面それぞれで、複数のスフェロイドの合焦画像を生成し、各合焦画像上で、スフェロイドの外形とスフェロイドの内部の空洞部とを判別する。さらに、培養状態判定装置１０は、全ての焦点面上で、各スフェロイドの外形の内側の領域を構成する第一画素の数量と、空洞部を構成する第二画素の数量とを求め、画素を単位としたスフェロイドの体積及び空洞部の体積を求める。これにより、スフェロイドを構成する細胞の量を擬似的に求めることができる。複数のスフェロイドを含む培養容器について、培養容器全体でのスフェロイドの体積に対する空洞部の体積の第一比率が小さい状態は、培養の結果得られる細胞の量が相対的に多い状態であり、培養状態が良好であると判定することができる。培養状態判定装置１０は、個々のスフェロイドの培養状態の良否でなく、培養容器全体での培養の効率に基づいて培養状態の良否を判定することできるため、培養後の処理に利用可能である細胞を取得する効率を向上し、得られる細胞量を増加することができる。このように、培養状態判定装置１０は、同一の培養容器内の複数のスフェロイドを同時に撮像し、全てのスフェロイドの内部の状態を評価することで、同一の培養容器に含まれるスフェロイド全体の培養状態の良否を判定して、使用可能なスフェロイドを選別することを可能にする。

なお、実施の形態１に係る培養状態判定装置１０では、ステップＳ１２００において領域抽出部１２１が、撮像画像からスフェロイドが写っている領域を抽出し、ステップＳ１３００において内部画像生成部１２２が、抽出された領域毎にリフォーカシング処理を行い各焦点面での合焦画像を生成したが、これに限定されない。培養状態判定装置１０は、ステップＳ１２００の領域抽出を行わず、内部画像生成部１２２は、ステップＳ１３００において、例えばイメージセンサ１０２の受光面の範囲をｘｙ平面方向の範囲とし、ｘｙ平面に直行する軸をｚ軸とする３次元空間内の全画素について、リフォーカシング処理を行ってもよい。この場合、判別部１２３は、その３次元空間中で複数のスフェロイドの外形を抽出し、スフェロイドの外形内の空洞を判別する。さらに、計算部１３０は、複数のスフェロイドの外形の内部に含まれる第一画素の数量と、スフェロイドの空洞部に含まれる第二画素の数量とを計算する。なお、３次元空間内の全画素のリフォーカシング処理において、内部画像生成部１２２は、全ての焦点面での合焦画像を生成してもよい。そして、判別部１２３は、各焦点面の合焦画像において、各スフェロイドの外形と、各スフェロイドの空洞部とを抽出してもよい。

［実施の形態２］
実施の形態２に係る培養状態判定装置２０を説明する。実施の形態２に係る培養状態判定装置２０は、基準撮像画像中において、複数のスフェロイドの領域の大きさを算出する。さらに、複数のスフェロイドの領域の大きさのばらつきが大きい場合、培養状態判定装置は、培養状態が不良であると判定する。以下に、実施の形態２について、実施の形態１と異なる点を中心に説明する。

［２−１．実施の形態２に係る培養状態判定装置の構成］
図２１は、実施の形態２に係る培養状態判定装置２０の機能的な構成の一例を示すブロック図を示す。図２１において、図１と実質的に同一の構成要素については、同一の符号を付し、適宜説明を省略する。図２１に示されるように、培養状態判定装置２０は、撮像装置１００と、記憶部１１０と、画像処理部２２０と、計算部２３０と、状態判定部２４０と、表示部１５０とを備える。さらに、画像処理部２２０は、領域抽出部２２１と、内部画像生成部１２２と、判別部１２３とを備える。撮像装置１００及び記憶部１１０の構成は、実施の形態１と同様である。

画像処理部２２０の領域抽出部２２１は、実施の形態１に係る領域抽出部２２１と同様に、複数の撮像画像から基準撮像画像を決定し、基準撮像画像からスフェロイドの画像が存在する領域、つまり、スフェロイドの領域を抽出する。さらに、領域抽出部２２１は、抽出したスフェロイドの領域それぞれに、ＩＤを付与する。領域抽出部２２１は、抽出したスフェロイドの領域それぞれのＩＤ及び位置等の情報を、当該スフェロイドの領域を抽出した基準撮像画像と対応付けて記憶部１１０に記憶する。

本実施の形態では、領域抽出部２２１は、スフェロイドの領域の情報として、基準撮像画像上においてスフェロイドの領域を構成する画素の画素座標を算出する。さらに、領域抽出部２２１は、算出した画素に、当該画素が構成するスフェロイドの領域と同じＩＤを付与する。例えば、図２２には、基準撮像画像から抽出されたスフェロイドの領域の一例が模式的に示されている。図２２のマス目は、基準撮像画像の画素の一部を模式的に示す。領域抽出部２２１は、図２２に示す基準撮像画像の一部において、５つのスフェロイドの領域Ａ１〜Ａ５を抽出し、５つのスフェロイドの領域Ａ１〜Ａ５それぞれに、ＩＤとして、００１〜００５を付与する。さらに、スフェロイドの領域Ａ１〜Ａ５それぞれに含まれる画素に、ラベルとして、スフェロイドの領域と同じＩＤ００１〜００５を付与する。領域抽出部２２１は、スフェロイドの領域Ａ１〜Ａ５それぞれに含まれる画素における基準撮像画像上での画素座標と、当該画素のＩＤ００１〜００５とを、互いに対応付けて記憶部１１０に記憶する。図２３の例では、基準撮像画像の頂点の１つである図面上で左上の頂点が、画素座標の原点と定義され、原点から左方向にｘ座標が定義され、原点から下方向にｙ座標が定義されている。

領域抽出部２２１は、図２２に示すような基準撮像画像のファイルに、スフェロイドの領域の画素座標及びＩＤの情報を組み入れてもよい。この場合、スフェロイドの領域の情報は、画像ファイルとして記憶部１１０に記憶される。又は、領域抽出部２２１は、図２３に示すようなテーブルを形成するように、スフェロイドの領域の画素座標及びＩＤのデータを生成し、記憶部１１０に記憶させてもよい。なお、図２３は、スフェロイドの領域の情報について、記憶部１１０が記憶する内容の一例を示す。

画像処理部２２０の内部画像生成部１２２及び判別部１２３の構成は、実施の形態１と同様である。

計算部２３０は、領域抽出部２２１が抽出し且つ記憶部１１０に記憶されたスフェロイドの領域の情報を取り出し、各スフェロイドの領域の大きさを計算する。具体的には、計算部２３０は、連続する画素の領域として記憶されている各スフェロイドの領域について、基準撮像画像の画像座標上で、当該スフェロイドの領域を含む最小の楕円を設定し、その楕円の長径及び短径を計算する。なお、楕円を設定する画像は、基準撮像画像以外の撮像画像であってもよい。例えば、図２２に示すように、計算部２３０は、スフェロイドの領域Ａ１〜Ａ５それぞれに外接する最小の楕円Ｃ１〜Ｃ５を設定し、楕円Ｃ１〜Ｃ５それぞれの長径及び短径を計算する。なお、楕円は、円及び長円も含み得る。さらに、計算部２３０は、各楕円の長径及び短径の長さの和を算出し、この和をスフェロイドの大きさに決定する。また、計算部２３０は、全てのスフェロイドの領域の楕円に基づく大きさの分布、例えば最大値、最小値、中央値、平均、分散等の統計量を計算してもよい。さらに、計算部２３０は、全てのスフェロイドの領域の大きさの分布を示すヒストグラムを作成してもよい。なお、スフェロイドの領域の大きさは、スフェロイドの領域を含む最小の楕円の長径及び短径の長さの和に限定されない。例えば、スフェロイドの領域の大きさは、当該領域の面積であってもよく、当該領域に含まれる画素の総面積、つまり画素数であってもよく、スフェロイドの領域を含む最小の多角形の面積又は対角線の長さの和であってもよい。

また、計算部２３０は、判別部１２３が判別した各スフェロイド内の第一画素の数量とスフェロイド内の空洞部内の第二画素の数量とから、スフェロイドの領域全体における第一画素の総数である第一総数と第二画素の総数である第二総数との第一比率を計算する。

状態判定部２４０は、計算部２３０で計算されたスフェロイドの大きさの分布の情報を用いて、培養状態の良否の判定を行う。状態判定部２４０は、スフェロイドの大きさのばらつきが大きい場合に培養状態が不良であると判定し、スフェロイドの大きさのばらつきが小さい場合に、培養状態が良好であると判定する。状態判定部２４０は、ばらつきの基準、例えば、スフェロイドの大きさの分散に対して予め定められた第四閾値を適用することでばらつきの判定を行う。

なお、第四閾値は、スフェロイドの大きさの分散が第四閾値以上である場合、培養状態が不良であり、当該分散が第四閾値未満である場合、培養状態が不良ではないことを示す閾値である。第四閾値は、スフェロイドを構成する細胞の種類及び数量、スフェロイドの培養の経過時点、要求されるスフェロイドの培養状態の品質、並びにスフェロイドの用途等の条件に応じて、種々な値に決定され得る。例えば、第四閾値は、実験等によって検出される複数のスフェロイドの大きさの分散と当該スフェロイドの培養状態との関係の統計的な結果に基づき、決定されてもよい。このような第四閾値は、培養状態判定装置１０の設計者、製造者又はユーザ等によって上記条件に応じて決定されてもよく、決定された第四閾値は、図示しない入力装置を介して入力され、記憶部１１０に記憶されてもよい。

さらに、状態判定部２４０は、第一総数と第二総数との第一比率と、予め定められた判定基準値とを比較し、第一比率が判定基準値よりも低い場合は培養状態が良好であると判定し、第一比率が判定基準値以上である場合は培養状態が不良であると判定する。

表示部１５０は、計算部２３０で計算されたスフェロイドの大きさのばらつきと、状態判定部２４０で判定された結果とを示す。表示部１５０は、表示内容を、ディスプレイにより、例えばグラフ、文字、記号、画像等で示してもよく、スピーカにより音声、音響信号で示してもよく、他の表示方法で示してもよい。

［２−２．実施の形態２に係る培養状態判定装置の動作］
図２４を参照しつつ、実施の形態２に係る培養状態判定装置２０の動作を説明する。なお、図２４は、実施の形態２に係る培養状態判定装置２０の動作の一例を示すフローチャートである。図２４において、図１１と実質的に同一のステップについては、同一の符号を付し、適宜説明を省略する。

まず、ステップＳ１１００において、撮像装置１００は、実施の形態１のステップＳ１１００と同様の処理を行う。次いで、ステップＳ２２００において、画像処理部２２０の領域抽出部２２１は、ステップＳ１１００で取得された撮像画像から、基準撮像画像を決定し、基準撮像画像からスフェロイドの領域を抽出する。領域抽出部２２１は、基準撮像画像から抽出される１つ以上のスフェロイドの領域それぞれについて、当該領域に含まれる画素の基準撮像画像上での画素座標と、当該画素のラベルである当該領域のＩＤとを、互いに対応付けて記憶部１１０に記憶する。

次いで、ステップＳ２３００において、計算部２３０は、ステップＳ２２００で抽出され且つ記憶部１１０に記憶されたスフェロイドの領域に含まれる画素の画素座標及びＩＤの情報に基づき、基準撮像画像上において、各スフェロイドの領域の大きさを求める。さらに、計算部２３０は、各スフェロイドの領域の大きさの情報を、当該領域のＩＤと対応付けて、記憶部１１０に記憶する。本実施の形態では、スフェロイドの領域の大きさは、例えば、当該領域を含む最小の楕円の長径及び短径の長さの和である。なお、本実施の形態では、スフェロイドの領域の大きさの指標は、楕円の長径及び短径の長さの和であるが、当該指標は、スフェロイドの領域を含む最小の長方形等の多角形における対角線の長さ若しくは対角線の長さの和、スフェロイドの領域に含まれる画素数又はその平方根等の他の指標であってもよい。なお、計算部２３０は、各スフェロイドの領域の大きさに基づき、全てのスフェロイドの領域の大きさの分布を示すヒストグラムを作成し、記憶部１１０に記憶してもよい。また、計算部２３０は、各スフェロイドの領域の大きさに基づき、スフェロイドの領域の大きさの統計量を算出し、記憶部１１０に記憶してもよい。

次いで、ステップＳ２４００において、状態判定部２４０は、ステップＳ２３００で計算されたスフェロイドの領域の大きさの指標、つまり、スフェロイドの領域を含む最小の楕円の長径及び短径の長さの和に基づき、ステップＳ２２００で抽出された全てのスフェロイドの領域の大きさのばらつきが大きいか否かを判定する。このとき、状態判定部２４０は、全てのスフェロイドの領域の大きさのばらつきが、予め定められたばらつきの基準よりも大きいか否かの判断をする。例えば、状態判定部２４０は、全てのスフェロイドの領域の大きさの分散を算出し、当該分散が第四閾値よりも大きいか否かを判定する。スフェロイドの領域の大きさのばらつきがばらつきの基準以上である場合、つまり、全てのスフェロイドの領域の大きさの分散が第四閾値以上である場合（ステップＳ２４００においてＹｅｓ）、状態判定部２４０はステップＳ２５００に進む。スフェロイドの領域の大きさのばらつきがばらつきの基準よりも小さい場合、つまり、全てのスフェロイドの領域の大きさの分散が第四閾値未満である場合（ステップＳ２４００においてＮｏ）、状態判定部２４０はステップＳ１３００に進む。

次いで、ステップＳ２５００において、状態判定部２４０は、ステップＳ２４００において大きさのばらつきが大きいと判断されたスフェロイドを含む培養容器について、培養状態が不良であると判定する。つまり、状態判定部２４０は、上記の１つの培養容器全体の培養状態が不良であると判定する。そして、状態判定部２４０は、当該培養容器の全てのスフェロイドを廃棄すると決定する。つまり、状態判定部２４０は、培養容器単位で、スフェロイドの廃棄を決定する。状態判定部２４０は、ステップＳ２５００の処理後、ステップＳ２７００に進む。

ステップＳ１３００〜ステップＳ１６００の処理は、実施の形態１と同様である。なお、ステップＳ１６００の処理後、状態判定部２４０は、ステップＳ２７００に進む。

ステップＳ２７００において、表示部１５０は、ステップＳ２３００で計算され且つステップＳ２４００で判定されたスフェロイドの大きさのばらつきを、ディスプレイに表示する。例えば、表示部１５０は、ステップＳ２３００で計算されたスフェロイドの領域の大きさを、スフェロイドの大きさとして表示する。さらに、表示部１５０は、複数のスフェロイドの領域の大きさの分布を示すヒストグラムを、スフェロイドの大きさのばらつきとして表示する。また、表示部１５０は、複数のスフェロイドの領域の大きさの最小値、最大値、分散及び標準偏差等の統計量をディスプレイに表示してもよい。さらに、表示部１５０は、ステップＳ１６００の判定結果も表示する。表示部１５０は、スフェロイドの大きさのばらつきの表示と、培養状態の判定結果の表示とを、同時に表示してもよく、いずれか一方を切り替えて表示してもよい。なお、表示部１５０は、音声信号を出力することにより、上記の情報を、画像による表示と併用して、又は、画像による表示とは別に、表示してもよい。

例えば、図２５Ａ〜図２５Ｄには、表示部１５０による表示の一例が示されている。本例では、表示部１５０は画像を表示するディスプレイであり、図２５Ａ〜図２５Ｄは、表示部１５０のディスプレイ上の表示画面の例を模式的に示す。

図２５Ａは、表示部１５０の表示画面１５０ａの１つの状態を示す。図２５Ａは、培養状態判定装置２０が、スフェロイドの大きさのばらつきに基づきスフェロイドの培養状態を不良であると判定したケースを示す。表示画面１５０ａ内において、左側の領域には、培養容器全体の画像１５０ｂが表示されている。画像１５０ｂでは、ステップＳ２２００でスフェロイドの領域として抽出されたスフェロイドが表示されている。スフェロイドは、スフェロイドの領域の輪郭線を強調したライン、スフェロイドの領域を囲む円又は楕円等で示されている。画像１５０ｂは、ステップＳ１１００で取得された複数の撮像画像のうちの選択された１つであり、基準撮像画像であってもよい。例えば、当該基準撮像画像は、イメージセンサ１０２の中心点の直上に位置する照明器１０１の照明の際に撮像された画像である。

表示画面１５０ａ内において、右側上段の領域には、ステップＳ２３００で計算されたスフェロイドの大きさの分布を示すヒストグラム１５０ｃが、表示されている。さらに、表示画面１５０ａ内において、右側下段の領域には、スフェロイドに関する統計的な情報１５０ｄが表示されている。統計的な情報１５０ｄは、抽出されたスフェロイドの領域の数量、すなわちスフェロイド数と、スフェロイドの大きさに関する情報とを含む。本例では、スフェロイドの大きさに関する情報は、スフェロイドの大きさの平均、最大値、最小値及び分散であるが、これらに限定されない。さらに、統計的な情報１５０ｄでは、分散と第四閾値ｙｙとの関係が示されている。本例では、分散が第四閾値よりも大きい、つまり分散が第四閾値以上であることが示されている。これにより、情報１５０ｄを見たユーザは、スフェロイドの大きさのばらつきが大きく、スフェロイドが培養以降の処理に適さないことを認識することができる。本ケースでは、培養状態判定装置２０は、ステップＳ２４００においてスフェロイドの大きさのばらつきが大きいと判断し、ステップＳ１３００からステップＳ１６００の処理を行っていない。そのため、図２５Ａに表示される情報以外の情報が存在しないため、表示画面１５０ａには、他の情報の呼び出し及び表示画面の切り替え等を提示する表示はない。

図２５Ｂは、表示部１５０の表示画面１５０ａの別の状態を示す。図２５Ｂは、培養状態判定装置２０が、スフェロイドの大きさのばらつきに基づきスフェロイドの培養状態を不良でないと判定したケースを示す。表示画面１５０ａ内において、図２５Ａのケースと同様に、培養容器全体の画像１５０ｂと、スフェロイドの大きさの分布を示すヒストグラム１５０ｃと、スフェロイドに関する統計的な情報１５０ｄとが、表示されている。本ケースでは、表示画面１５０ａ内の左下の領域、つまり、画像１５０ｂの下方に、他の情報を表示するための「細胞量表示」アイコン１５０ｅが表示されている。さらに、統計的な情報１５０ｄにおいて、スフェロイドの大きさの分散が第四閾値以上であることを示す表示がない。本ケースでは、培養状態判定装置２０は、ステップＳ２４００においてスフェロイドの大きさのばらつきが基準内にあると判断し、ステップＳ１３００からステップＳ１６００の処理を通じてリフォーカシング処理を行い、各スフェロイドの領域の合焦画像を生成する。そして、培養状態判定装置２０は、スフェロイドの外形内の第一画素の総数と空洞部内の第二画素の総数との第一比率を算出する。

図２５Ｃは、表示部１５０の表示画面１５０ａにおける図２５Ｂの別の状態を示す。図２５Ｃの表示画面１５０ａは、図２５Ｂの「細胞量表示」アイコン１５０ｅへクリック等の入力操作がされた後に表示される画面の一例である。表示画面１５０ａ内において、図２５Ｂと同様に、培養容器全体の画像１５０ｂと、スフェロイドの大きさの分布を示すヒストグラム１５０ｃと、スフェロイドに関する統計的な情報１５０ｄとが、表示されている。さらに、画像１５０ｂに隣接して、画像１５０ｂに表示する焦点面を指定する入力手段１５０ｆが表示されている。本例では、入力手段１５０ｆは、スライダである。ユーザが、表示画面１５０ａ上において、入力手段１５０ｆのスライダを移動すると、表示部１５０は、スライダの位置に対応する位置の焦点面における各スフェロイドの合焦画像を、画像１５０ｂとして表示する。つまり、表示部１５０は、任意の焦点面における各スフェロイドの断面画像を表示し得る。スライダの移動方向は、イメージセンサ１０２の受光面に対して接近する及び離れる方向に対応し、スライダの位置は、イメージセンサ１０２の受光面からの距離に対応する。

さらに、表示画面１５０ａ内の左下の領域、つまり、画像１５０ｂの下方に、スフェロイドの空洞部に関する情報１５０ｇが表示される。情報１５０ｇは、スフェロイドの外形内の第一画素の総数と、スフェロイドの空洞部内の第二画素の総数と、空洞比率とを含む。空洞比率は、第一比率である。本例では、空洞比率が判定基準値を超えていることが表示されている。これにより、情報１５０ｇを見たユーザは、スフェロイドの空洞部の比率が大きく、スフェロイドが、培養以降の処理に適さないことを認識することができる。

また、入力手段１５０ｆは、焦点面を選択することができれば、スライダ以外のいかなる構成であってもよい。例えば、入力手段１５０ｆは、焦点面の位置を示す数値等のパラメータの入力を受け付けるキー、画像１５０ｂ上でスライド等の入力を受け付けることによって表示する焦点面を変更するタッチパネル、又は、焦点面を選択可能なポインティングデバイス等であってもよい。

図２５Ｄは、表示部１５０の表示画面１５０ａにおける図２５Ｃの別の状態を示す。図２５Ｄの表示画面１５０ａは、図２５Ｃの表示画面１５０ａにおいて、特定のスフェロイドの画像が指定された場合に、当該のスフェロイドの拡大画像１５０ｈを表示する画面の一例である。特定のスフェロイドの画像の指定は、表示画面１５０ａ内のカーソル、ポインタ等のポインティングデバイスを用いて行われてもよい。拡大画像１５０ｈは、スフェロイドの合焦画像を表示する焦点面を選択するための入力手段１５０ｈａを含んでもよい。入力手段１５０ｈａは、入力手段１５０ｆと同様の構成を有してもよく、本例では、スライダである。これにより、ユーザは、選択したスフェロイドの任意の断面画像を、拡大画像１５０ｈに表示させて視認することができる。

このように、培養状態判定装置２０は、図２５Ａ〜図２５Ｄに示したような表示画面１５０ａにより、スフェロイドの大きさのばらつき及びスフェロイドにおける細胞の量に基づく培養容器単位での培養状態の判定結果に加えて、個別のスフェロイドの３次元画像を表示し、スフェロイドに関する詳細な情報をユーザに提供することができる。

［２−３．効果］
以上のように、実施の形態２に係る培養状態判定装置２０は、培養容器内で培養されている複数のスフェロイドについて、まず、複数のスフェロイドの大きさのばらつきを判断する。培養状態判定装置２０は、ばらつきが基準以上の大きい場合、培養容器内の全てのスフェロイドの廃棄を決定し、ばらつきが基準未満の小さい場合、培養状態をさらに判断する。これにより、分化処理等の培養後の処理によって所望の細胞を取得する際、効率が良い培養容器を簡単に選別することが可能になる。培養状態のさらなる判断では、培養状態判定装置２０は、ばらつきが原因で廃棄されなかった培養容器の複数のスフェロイドに対して、実施の形態１と同様に、培養容器全体でのスフェロイドの体積に対する空洞部の体積の第一比率に基づき、培養容器全体での培養状態の良否を判定する。

リフォーカシング処理を伴う第一比率を算出するための処理量は比較的多い。一方、培養容器内の複数のスフェロイドの大きさのばらつきを判断するための処理量は、第一比率を算出するための処理量と比べて、大幅に少ない。培養状態判定装置２０は、スフェロイドの大きさのばらつきに基づき、第一比率の算出対象の培養容器の数量を絞ることによって、複数の培養容器のスフェロイドの培養状態を判定する処理速度を向上することができる。このように、培養状態判定装置２０は、培養中のスフェロイドの培養状態を培養の容器単位で判定し、分化処理に適した状態のよい培養細胞を効率よく抽出することを可能にする。

［他の実施の形態］
以上、１つ又は複数の態様に係る培養状態判定装置について、実施の形態に基づいて説明したが、本開示は、これらの実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、１つ又は複数の態様の範囲内に含まれてもよい。

実施の形態に係る培養状態判定装置は、各スフェロイドについて、各焦点面の合焦画像上において、スフェロイドの外形内の第一画素の数量と、スフェロイドの空洞部内の第二画素の数量とを算出した。さらに、培養状態判定装置は、全てのスフェロイドの全ての焦点面での第一画素の数量の総和を求めることによって、第一総数を算出し、全てのスフェロイドの全ての焦点面での第二画素の数量の総和を求めることによって、第二総数を算出した。しかしながら、第一総数及び第二総数の算出方法は、これに限定されない。例えば、培養状態判定装置は、各スフェロイドについて、全ての焦点面での第一画素の数量の和を求め、全てのスフェロイドの第一画素の数量の総和を求めることによって、第一総数を算出してもよい。同様に、培養状態判定装置は、各スフェロイドについて、全ての焦点面での第二画素の数量の和を求め、全てのスフェロイドの第二画素の数量の総和を求めることによって、第二総数を算出してもよい。この場合、各スフェロイドの体積と、各スフェロイドの空洞部の体積とを算出することによって、各スフェロイドの培養状態を判別することが可能になる。

また、上述したように、本開示の技術は、システム、装置、方法、集積回路、コンピュータプログラム又はコンピュータ読取可能な記録ディスク等の記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。コンピュータ読み取り可能な記録媒体は、例えばＣＤ−ＲＯＭ等の不揮発性の記録媒体を含む。

例えば、上記実施の形態に係る培養状態判定装置に含まれる各処理部は典型的には集積回路であるＬＳＩ（Large Scale Integration：大規模集積回路）として実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。

また、集積回路化はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）、又はＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

なお、上記実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵなどのプロセッサ等のプログラム実行部が、ハードディスク又は半導体メモリ等の記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。

また、上記構成要素の一部又は全部は、脱着可能なＩＣ（Integrated Circuit）カード又は単体のモジュールから構成されてもよい。ＩＣカード又はモジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭ等から構成されるコンピュータシステムである。ＩＣカード又はモジュールは、上記のＬＳＩ又はシステムＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、ＩＣカード又はモジュールは、その機能を達成する。これらＩＣカード及びモジュールは、耐タンパ性を有するとしてもよい。

本開示の培養状態判定方法は、ＭＰＵ（Micro Processing Unit）、ＣＰＵ、プロセッサ、ＬＳＩなどの回路、ＩＣカード又は単体のモジュール等によって、実現されてもよい。

さらに、本開示の技術は、ソフトウェアプログラム又はソフトウェアプログラムからなるデジタル信号によって実現されてもよく、プログラムが記録された非一時的なコンピュータ読み取り可能な記録媒体であってもよい。また、上記プログラムは、インターネット等の伝送媒体を介して流通させることができるのは言うまでもない。

また、上記で用いた序数、数量等の数字は全て、本開示の技術を具体的に説明するために例示するものであり、本開示は例示された数字に制限されない。また、構成要素間の接続関係は、本開示の技術を具体的に説明するために例示するものであり、本開示の機能を実現する接続関係はこれに限定されない。

また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを１つの機能ブロックとして実現したり、１つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。

本開示の技術は、培養中の組織幹細胞、ｉＰＳ細胞、ＥＳ細胞等の幹細胞あるいは胚等の細胞塊の培養状態を判定する技術に広く利用可能であり、幹細胞のような多能細胞のスフェロイドを培養して分化処理を行う際に、分化処理に適した培養状態であるかどうかを判定する際に有用である。

上記の開示内容から導出される技術が、以下、列記される。

（項目Ｄ１１）
培養状態判定装置であって、
複数の光源、
細胞塊を載置可能なイメージセンサ、および
制御回路、
を具備し、
ここで、前記制御回路は、動作中に、
（ａ）各々の前記複数の光源を順次用いて前記細胞塊を照明するときに前記イメージセンサを用いて前記細胞塊を含む撮像画像を取得することを繰り返すことにより、複数の撮像画像を取得し、
ここで、
各々の前記複数の撮像画像は、前記細胞塊を含み、
（ｂ） 各々の前記複数の撮像画像から、前記細胞塊を含む画像領域を抽出し、
（ｃ） 前記複数の撮像画像を用いて、前記画像領域について３次元画像情報を生成し、
（ｄ） 前記３次元画像情報から、第１体積および第２体積を計算し、
前記第１体積は、前記細胞塊の全体積であり、かつ
前記第２体積は、前記細胞塊の空洞部の体積であり、かつ
（ｅ） 前記第１体積および前記第２体積を用いて、前記細胞塊の培養状態を判定する、
培養状態判定装置。

（項目Ｄ１２）
項目Ｄ１１の培養状態判定装置であって、
さらに記憶部を具備し、
前記工程（ａ）において取得された前記複数の撮像画像は前記記憶部に記憶される、
培養状態判定装置。

（項目Ｄ１３）
項目Ｄ１１の培養状態判定装置であって、
前記工程（ｃ）において生成された３次元画像情報は前記記憶部に記憶される、
培養状態判定装置。

（項目Ｄ１４）
項目Ｄ１１の培養状態判定装置であって、
前記第１体積は、前記３次元画像情報から抽出された前記細胞塊の外形から計算され、かつ
前記第２体積は、前記３次元画像情報から抽出された前記空洞部の形状から計算される、
培養状態判定装置。

（項目Ｄ２１）
培養状態判定装置であって、
複数の光源、
複数の細胞塊を載置可能なイメージセンサ、および
制御回路、
を具備し、
ここで、前記制御回路は、動作中に、
（ａ）各々の前記複数の光源を順次用いて前記複数の細胞塊を照明するときに前記イメージセンサを用いて前記複数の細胞塊に含まれる少なくとも１つの細胞塊を含む撮像画像を取得することを繰り返すことにより、複数の撮像画像を取得し、
ここで、
各々の前記複数の撮像画像は、前記複数の細胞塊に含まれる少なくとも１つの細胞塊を含み、
（ｂ） 各々の前記複数の撮像画像から、１つの細胞塊を含む画像領域を抽出し、
（ｃ） 前記複数の撮像画像を用いて、前記画像領域について３次元画像情報を生成し、
（ｄ） 前記３次元画像情報から、第１体積および第２体積を計算し、
ここで、
前記第１体積は、前記１つの細胞塊の全体積であり、かつ
前記第２体積は、前記１つの細胞塊の空洞部の体積であり、かつ
（ｅ） 前記第１体積および前記第２体積を用いて、前記少なくとも１つの細胞塊の培養状態を判定する、
培養状態判定装置。

（項目Ｄ２２）
項目Ｄ２１の培養状態判定装置であって、
工程（ｂ）〜工程（ｄ）を繰り返し、２以上の細胞塊の培養状態を工程（ｅ）で判定する、
培養状態判定装置。

（項目Ｄ２３）
項目Ｄ２１の培養状態判定装置であって、
さらに記憶部を具備し、
前記工程（ａ）において取得された前記複数の撮像画像は前記記憶部に記憶される、
培養状態判定装置。

（項目Ｄ２４）
項目Ｄ２３の培養状態判定装置であって、
前記工程（ｃ）において生成された３次元画像情報は前記記憶部に記憶される、
培養状態判定装置。

（項目Ｄ２５）
項目Ｄ２１の培養状態判定装置であって、
前記第１体積は、前記３次元画像情報から抽出された前記１つの細胞塊の外形から計算され、かつ
前記第２体積は、前記３次元画像情報から抽出された前記１つの空洞部の形状から計算される、
培養状態判定装置。

（項目Ｍ１１）
培養状態を判定する方法であって、
（ａ）各々の前記複数の光源を順次用いて前記細胞塊を照明するときに前記イメージセンサを用いて前記細胞塊を含む撮像画像を取得することを繰り返すことにより、複数の撮像画像を取得し、
ここで、
各々の前記複数の撮像画像は、前記細胞塊を含み、
（ｂ） 各々の前記複数の撮像画像から、前記細胞塊を含む画像領域を抽出し、
（ｃ） 前記複数の撮像画像を用いて、前記画像領域について３次元画像情報を生成し、
（ｄ） 前記３次元画像情報から、第１体積および第２体積を計算し、
前記第１体積は、前記細胞塊の全体積であり、かつ
前記第２体積は、前記細胞塊の空洞部の体積であり、かつ
（ｅ） 前記第１体積および前記第２体積を用いて、前記細胞塊の培養状態を判定する、
方法。

（項目Ｍ１４）
項目Ｍ１１の方法であって、
前記第１体積は、前記３次元画像情報から抽出された前記細胞塊の外形から計算され、かつ
前記第２体積は、前記３次元画像情報から抽出された前記空洞部の形状から計算される、
方法。

（項目Ｍ２１）
培養状態を判定する方法であって、
（ａ）各々の前記複数の光源を順次用いて前記複数の細胞塊を照明するときに前記イメージセンサを用いて前記複数の細胞塊に含まれる少なくとも１つの細胞塊を含む撮像画像を取得することを繰り返すことにより、複数の撮像画像を取得し、
ここで、
各々の前記複数の撮像画像は、前記複数の細胞塊に含まれる少なくとも１つの細胞塊を含み、
（ｂ） 各々の前記複数の撮像画像から、１つの細胞塊を含む画像領域を抽出し、
（ｃ） 前記複数の撮像画像を用いて、前記画像領域について３次元画像情報を生成し、
（ｄ） 前記３次元画像情報から、第１体積および第２体積を計算し、
ここで、
前記第１体積は、前記１つの細胞塊の全体積であり、かつ
前記第２体積は、前記１つの細胞塊の空洞部の体積であり、かつ
（ｅ） 前記第１体積および前記第２体積を用いて、前記少なくとも１つの細胞塊の培養状態を判定する、
方法。

（項目Ｍ２２）
項目Ｍ２１の方法であって、
工程（ｂ）〜工程（ｄ）を繰り返し、２以上の細胞塊の培養状態を工程（ｅ）で判定する、
方法。

（項目Ｍ２６）
項目Ｍ２１の方法であって、
前記第１体積は、前記３次元画像情報から抽出された前記１つの細胞塊の外形から計算され、かつ
前記第２体積は、前記３次元画像情報から抽出された前記空洞部の形状から計算される、
方法。

１０、２０ 培養状態判定装置
１００ 撮像装置
１０１、１０１ａ、１０１ｂ 照明器
１０２ イメージセンサ
１０３ 撮像制御部
１１０ 記憶部
１２０、２２０ 画像処理部
１２１、２２１ 領域抽出部
１２２ 内部画像生成部
１２３ 判別部
１３０、２３０ 計算部
１４０、２４０ 状態判定部
１５０ 表示部
１２２１ リフォーカシング部
１２２２ 焦点面テーブル
１２２３ 画像生成部

Claims (10)

1. 複数の光源と、
   対象物である複数の細胞塊が載置されるイメージセンサと、
   少なくとも１つの制御回路と、を備え、
   前記複数の光源は順番に、前記複数の細胞塊を照明し、
   前記イメージセンサは、前記複数の光源が前記複数の細胞塊を照明する毎に、前記複数の細胞塊の撮像画像を取得し、
   前記少なくとも１つの制御回路は、
   前記撮像画像において細胞塊の画像を含む領域を抽出し、
   複数の前記撮像画像を用いて、前記領域について３次元画像情報を生成し、
   前記３次元画像情報において、前記細胞塊の外形と細胞塊内部の空洞部とを抽出し、
   前記３次元画像情報における前記細胞塊の外形及び前記空洞部に基づき、前記細胞塊の外形に基づく体積である第一体積と前記空洞部の体積である第二体積とを求め、
   前記第一体積と前記第二体積とを用いて前記細胞塊の培養状態を判定する
   培養状態判定装置。
2. 前記少なくとも１つの制御回路は、
   前記細胞塊それぞれの前記第一体積の合計である第一総体積と、前記細胞塊それぞれの前記空洞部の前記第二体積の合計である第二総体積とを求め、
   前記第一総体積と前記第二総体積とを用いて前記複数の細胞塊全体の培養状態を判定する
   請求項１に記載の培養状態判定装置。
3. 前記少なくとも１つの制御回路は、前記複数の撮像画像のうちの１つを用いて、前記領域を抽出する
   請求項１または２に記載の培養状態判定装置。
4. 前記少なくとも１つの制御回路は、前記３次元画像情報として、前記複数の光源と前記イメージセンサとの間に位置する複数の仮想的な焦点面それぞれにおける前記領域の合焦画像を生成する
   請求項１〜３のいずれか一項に記載の培養状態判定装置。
5. 前記イメージセンサは、複数のセンサ画素を有し、
   前記合焦画像は、複数の合焦画素で構成されており、
   前記少なくとも１つの制御回路は、前記複数の撮像画像それぞれの撮像時に照明する前記光源の位置それぞれと、前記合焦画素の位置とに基づき、前記合焦画素に対応する前記センサ画素それぞれの輝度値を取得することによって、前記合焦画素を生成する
   請求項４に記載の培養状態判定装置。
6. 前記少なくとも１つの制御回路は、
   前記合焦画像において、前記細胞塊の外形及び前記空洞部を抽出し、
   前記合焦画像において、前記細胞塊の外形に基づく面積である第一面積と前記空洞部の面積である第二面積とを求め、
   前記第一面積を用いて前記第一体積を求め、
   前記第二面積を用いて前記第二体積を求める
   請求項４または５に記載の培養状態判定装置。
7. 前記少なくとも１つの制御回路は、
   前記領域の大きさを求め、
   前記領域の大きさのばらつきに基づき、前記細胞塊の培養状態を判定する
   請求項１〜６のいずれか一項に記載の培養状態判定装置。
8. 前記少なくとも１つの制御回路は、
   前記領域の大きさのばらつきが、基準内に収まる場合、
   前記第一体積と前記第二体積とを用いて前記細胞塊の培養状態を判定する
   請求項７に記載の培養状態判定装置。
9. イメージセンサ上に位置する対象物である複数の細胞塊の培養状態を判定する培養状態判定方法であって、
   複数の光源のそれぞれを照明する毎に、前記イメージセンサを用いて、前記複数の細胞塊の撮像画像を取得し、
   前記撮像画像において細胞塊の画像を含む領域を抽出し、
   複数の前記撮像画像を用いて、前記領域について３次元画像情報を生成し、
   前記３次元画像情報において、前記細胞塊の外形と細胞塊内部の空洞部とを抽出し、
   前記３次元画像情報における前記細胞塊の外形及び前記空洞部に基づき、前記細胞塊の外形に基づく体積である第一体積と前記空洞部の体積である第二体積とを求め、
   前記第一体積と前記第二体積とを用いて前記細胞塊の培養状態を判定し、
   上記処理の少なくとも１つは制御回路によって実行される
   培養状態判定方法。
10. イメージセンサ上に位置する対象物である複数の細胞塊の複数の撮像画像を取得し、ここで、前記複数の撮像画像は、複数の光源のそれぞれを照明する毎に、前記イメージセンサによって取得され、
    前記撮像画像において細胞塊の画像を含む領域を抽出し、
    前記複数の撮像画像を用いて、前記領域について３次元画像情報を生成し、
    前記３次元画像情報において、前記細胞塊の外形と細胞塊内部の空洞部とを抽出し、
    前記３次元画像情報における前記細胞塊の外形及び前記空洞部に基づき、前記細胞塊の外形に基づく体積である第一体積と前記空洞部の体積である第二体積とを求め、
    前記第一体積と前記第二体積とを用いて前記細胞塊の培養状態を判定する
    ことを、コンピュータに実行させる
    プログラム。