JPWO2010146802A1

JPWO2010146802A1 - 細胞塊の状態判別方法、この方法を用いた画像処理プログラム及び画像処理装置、並びに細胞塊の製造方法

Info

Publication number: JPWO2010146802A1
Application number: JP2011519523A
Authority: JP
Inventors: 三村　正文; 正文三村; 和弘矢野; 啓伊藤; 秀貴佐々木
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2009-06-19
Filing date: 2010-06-09
Publication date: 2012-11-29
Also published as: WO2010146802A1; TW201100860A; EP2444479A1; US20120106822A1

Abstract

所定時刻を隔てた二枚の観察画像から細胞塊の複層化の状態を判断可能な手段を提供する。画像処理プログラム（ＧＰ）は、撮像装置により所定時間を隔てて撮影された第１画像及び第２画像を取得するステップ（Ｓ１０）と、第１画像の局所領域の輝度分布を基準とし、第２画像の対応位置を含む近傍でブロックマッチングを行って、最もマッチングの高い領域の近似度を代表近似度とし、局所領域を順次移動させて細胞塊各部の代表近似度を算出するステップ（Ｓ４０）と、算出された代表近似度に応じた複層化情報を出力するステップ（Ｓ５０）とを備え、第１、第２画像から細胞塊の複層化の状態を判断可能な複層化情報を出力するように構成される。

Description

本発明は、細胞観察において取得された時系列画像から細胞塊の複層化の状態を判別する状態判別手法に関するものである。

細胞を培養しながら観察する装置の一例として培養顕微鏡が挙げられる。培養顕微鏡は、細胞の培養に好適な環境を形成する培養装置と、培養容器内の細胞を顕微観察する顕微観察系とを備え、生きた細胞を培養しながら、細胞の変化や分裂などを観察できるように構成される（例えば特許文献１を参照）。生細胞の培養過程では、細胞分裂の進行により細胞塊が形成される。細胞分裂の初期過程では、分裂した細胞が単層状態で培地内を水平方向に広がるが、細胞分裂が活発化して細胞塊が成熟してくると、細胞が泡立つように上下方向にも広がり、いわゆる複層化が進行する。

培養顕微鏡を用いた従来の細胞観察手法では、細胞塊の複層化の状態判定を、顕微観察画像を目視観察して判別する目視判定や、試薬を投与して着色状態等から判別する試薬判定により行っていた。

特開２００４−２２９６１９号公報

しかしながら、従来行われてきた目視判定の手法では、多数の時系列画像から細胞塊を抽出し複層化された状態を判別するのに、一定の経験を有する知見者が時間をかけて判別する必要があった。特に、各時刻の観察画像に多数の細胞塊が含まれる場合に、個々の細胞塊を識別しながら複層化の状態判別を行うことは大変煩雑な作業であった。また、目視判定では細胞塊において複層化された部位の位置や大きさ（面積や細胞塊に占める比率等）を定量的に捉えることが困難であるという課題があった。さらに、試薬判定の手法では、試薬の投与により細胞に与える化学的・物理的影響や、培養された細胞を利用する際の制約が大きいという課題があった。

本発明は、このような課題に鑑みてなされたものであり、細胞に試薬投与によるダメージを与えることなく、撮像装置により撮影された少数の画像から細胞塊の複層化の状態を判別可能な手段を提供することを目的とする。

本発明を例示する第１の態様に従えば、撮像装置により所定時間を隔てて細胞塊が撮影された第１画像及び第２画像を取得し、第１画像の細胞塊における局所領域の輝度分布を基準とし、第２画像の細胞塊における対応位置を含む近傍部で輝度分布のブロックマッチングを行って、最もマッチングの高い領域の近似度を当該位置領域の代表近似度とし、第１画像における局所領域を移動させて細胞塊各部の代表近似度を算出し、算出された細胞塊各部の代表近似度に応じて細胞塊の複層化の状態を判断することを特徴とする細胞塊の状態判別手法が提供される。

本発明を例示する第２の態様に従えば、コンピュータにより読み取り可能であり、撮像装置により撮影された画像を取得して画像処理する画像処理装置としてコンピュータを機能させるための画像処理プログラムであって、撮像装置により所定時間を隔てて細胞塊が撮影された第１画像及び第２画像を取得するステップと、第１画像の細胞塊における局所領域の輝度分布を基準とし、第２画像の細胞塊における対応位置を含む近傍で輝度分布のブロックマッチングを行って、最もマッチングの高い領域の近似度を当該位置領域の代表近似度とし、第１画像における局所領域を移動させて細胞塊各部の代表近似度を算出するステップと、算出された代表近似度に応じた複層化情報を出力するステップとを備え、取得した第１、第２画像から細胞塊の複層化の状態を判断可能な複層化情報を出力するようにコンピュータを機能させるための画像処理プログラムが提供される。

本発明を例示する第３の態様に従えば、撮像装置により所定時間を隔てて細胞塊が撮影された第１画像及び第２画像を取得して画像を解析する画像解析部と、画像解析部による解析結果を出力する出力部とを備えて画像処理装置が構成される。この画像処理装置において、前記画像解析部は、第１画像の細胞塊における局所領域の輝度分布を基準とし、第２画像の細胞塊における対応位置を含む近傍で輝度分布のブロックマッチングを行って、最もマッチングの高い領域の近似度を当該位置領域の代表近似度とし、第１画像における局所領域を移動させて細胞塊各部の代表近似度を算出し、算出された細胞塊各部の代表近似度に応じた複層化情報を生成して、前記出力部が、画像解析部により生成された細胞塊の複層化情報を出力するように構成される。

なお、以上の本発明において、前記近似度は相関値であり、代表近似度の相関値が閾値以下である場合に、当該部位は複層化されていると判断することが好ましい。また、前記近似度は差分であり、代表近似度の差分が閾値以上である場合に、当該部位は複層化されていると判断することも好ましい。

また、本発明の画像処理プログラムまたは画像処理装置において、複層化されていると判断された部位の細胞塊における位置情報を出力するように構成することが好ましく、複層化されていると判断された部位の細胞塊に占める大きさの情報（面積、体積、これらの比率等）を出力するように構成することが好ましい。また、画像中に複数の細胞塊が含まれる場合において、細胞塊ごとに複層化の状態を判別するとともに、複層化部位を持つ細胞塊と複層化部位をもたない細胞塊とに分別し、分別結果を出力するように構成されることが望ましい。

また、本発明を例示する第４の態様に従えば、細胞を培養する培養ステップと、前記培養ステップにおいて培養される細胞を、上述の画像処理装置を用いて観察し、培養により変化する前記細胞における細胞塊の複層化の状態を判別する判別ステップと、を備えて細胞塊の製造方法が提供される。

また、本発明を例示する第５の態様に従えば、細胞を培養する培養ステップと、前記培養ステップにおいて培養される細胞を、撮像装置により撮影して所定時間を隔てて撮影された第１画像および第２画像を取得する取得ステップと、前記第１画像の細胞塊における局所領域の輝度分布を基準とし、前記第２画像の細胞塊における前記局所領域に対応する位置を含む近傍部で輝度分布のブロックマッチングを行って、最もマッチングの高い領域の近似度を当該局所領域の代表近似度とする近似度設定ステップと、前記第１画像における前記局所領域を移動させて細胞塊各部の代表近似度を算出する算出ステップと、前記算出ステップにおいて算出された前記細胞塊各部の代表近似度に応じて細胞塊の複層化の状態を判別する判別ステップと、を備えて細胞塊の製造方法が提供される。

本発明の細胞塊の状態判別手法、画像処理プログラム及び画像処理装置おいては、撮像装置により所定時間を隔てて細胞塊が撮影された第１画像及び第２画像について、第１画像の局所領域の輝度分布を基準としたブロックマッチングを行い、算出された細胞塊各部の代表近似度に基づいて細胞塊の複層化の状態が判別される。従って、本発明によれば、試薬の投与によって細胞にダメージを与えるようなことがなく、撮像装置により撮影された少数の画像から細胞塊の複層化の状態を判別可能な手段を提供することができる。

画像処理プログラムの概要構成を例示するフローチャートである。本発明の適用例として示す培養観察システムの概要構成図である。上記培養観察システムのブロック図である。画像処理装置の概要構成を例示するブロック図である。所定時間を隔てて撮影された細胞塊の第１画像(ａ)及び第２画像(ｂ)である。セグメンテーション、ラベリングされた細胞塊の状況を例示する模式図である。第１画像において設定される局所領域の構成例(ａ)と、第２画像において対応位置を含む近傍部についてブロックマッチングを実行する状況を説明するための説明図(ｂ)である。細胞塊に対する局所領域の大きさを例示する説明図(ａ)と、画像解析により算出された複層化情報の表示構成例(ｂ)である。細胞塊の製造方法を示すフローチャートである。

以下、本発明を実施するための形態について、図面を参照しながら説明する。本発明の画像処理装置を適用したシステムの一例として、培養観察システムの概要構成図及びブロック図を図２及び図３に示しており、まず培養観察システムＢＳの全体構成について概要説明する。

培養観察システムＢＳは、大別的には、筐体１の上部に設けられた培養室２、複数の培養容器１０を収容保持するストッカー３、培養容器１０内の試料を観察する観察ユニット５、培養容器１０を搬送する搬送ユニット４、システムの作動を制御する制御ユニット６、及び画像表示装置を備えた操作盤７などから構成される。

培養室２は、培養環境を形成する部屋であり、この培養室２に付随して温度調整装置２１、加湿器２２、ＣＯ₂ガスやＮ₂ガス等のガスを供給するガス供給装置２３、循環ファン２４、培養室２の温度や湿度等を検出する環境センサ２５などが設けられている。ストッカー３は、前後及び上下に仕切られた棚状に形成され各棚に固有の番地が設定される。培養容器１０は、培養する細胞の種別や目的に応じて適宜選択され、例えばディッシュタイプの培養容器に細胞試料が液体培地とともに注入保持される。各培養容器１０にはコード番号が付与され、ストッカー３の指定番地に対応づけて収容される。搬送ユニット４は、培養室２の内部に設けられて上下移動可能なＺステージ４１、前後移動可能なＹステージ４２、左右移動可能なＸステージ４３などからなり、Ｘステージ４３の先端側に培養容器１０を持ちあげ支持する支持アーム４５が設けられている。

観察ユニット５は、試料台１５の下側から試料を照明する第１照明部５１、顕微観察系５５の光軸に沿って試料台１５の上方から試料を照明する第２照明部５２及び下方から試料を照明する第３照明部５３、試料のマクロ観察を行うマクロ観察系５４、試料のミクロ観察を行う顕微観察系５５、及び画像処理装置１００などから構成される。試料台１５には顕微観察系５５の観察領域に透明な窓部１６が設けられている。

マクロ観察系５４は、観察光学系５４ａと、観察光学系により結像された試料の像を撮影するＣＣＤカメラ等の撮像装置５４ｃとを有して構成され、第１照明部５１によりバックライト照明された培養容器１０の上方からの全体観察画像（マクロ像）が取得される。顕微観察系５５は、対物レンズや中間変倍レンズ、蛍光フィルタ等からなる観察光学系５５ａと、観察光学系５５ａにより結像された試料の像を撮影する冷却ＣＣＤカメラ等の撮像装置５５ｃとを有して構成される。対物レンズ及び中間変倍レンズは各々複数設けられ、レンズの組み合わせを変化させることにより任意の観察倍率に設定可能に構成される。顕微観察系５５では、第２照明部５２により照明された細胞の透過像、第３照明部５３により照明された細胞の反射像、第３照明部５３により照明された細胞の蛍光像など、培養容器１０内の細胞を顕微鏡観察した顕微観察像（ミクロ像）が取得される。

画像処理装置１００は、マクロ観察系５４の撮像装置５４ｃ、顕微観察系５５の撮像装置５５ｃにより撮影され、これらの撮像装置から入力された信号を処理して全体観察画像や顕微観察画像などの画像を生成する。また、画像処理装置１００は、これらの観察画像（画像データ）に画像解析を施し、タイムラプス画像の生成、細胞の移動方向予測、細胞の運動状態の解析、細胞塊の複層化の状態の解析などを行う。なお、画像処理装置１００については、後に詳述する。

制御ユニット６は、処理を実行するＣＰＵ６１、培養観察システムＢＳの制御プログラムや制御データ等が設定記憶されたＲＯＭ６２、ハードディスクやＤＶＤ等の補助記憶装置を含み観察条件や画像データ等を一時記憶するＲＡＭ６３などを有し、培養観察システムＢＳの作動を制御する。そのため、図３に示すように、培養室２、搬送ユニット４、観察ユニット５、操作盤７の各構成機器が制御ユニット６に接続されている。ＲＡＭ６３には、観察プログラムに応じた培養室２の環境条件や、観察スケジュール、観察ユニット５における観察種別や観察位置、観察倍率等が設定され記憶される。また、ＲＡＭ６３には、観察ユニット５により撮影された画像データを記録する画像データ記憶領域が設けられ、培養容器１０のコード番号や撮影日時等を含むインデックス・データと画像データとが対応付けて記録される。

操作盤７には、キーボードやスイッチ等の入出力機器が設けられた操作パネル７１、操作画面や観察画像、解析結果等を表示する表示パネル７２が設けられ、操作パネル７１において観察プログラムの設定や条件選択、動作指令等の入力が行われる。通信部６５は有線または無線の通信規格に準拠して構成されており、この通信部６５に外部接続されるコンピュータ等との間でデータの送受信が可能になっている。

このように概要構成される培養観察システムＢＳは、操作盤７において設定された観察プログラムに従ってＣＰＵ６１が各部の作動を制御し、培養容器１０内の試料の撮影を自動的に実行する。観察プログラムがスタートされると、ＣＰＵ６１はＲＡＭ６３に記憶された環境条件に基づいて温度調整装置２１、加湿器２２等の作動を制御する。また、ＲＡＭ６３に記憶された観察条件を読み込み、観察スケジュールに基づいてＸ，Ｙ，Ｚステージ４３，４２，４１を作動させてストッカー３から観察対象の培養容器１０を試料台１５に搬送し、観察ユニット５による観察を開始させる。例えば、観察プログラムにおいて設定された観察が細胞のミクロ観察である場合には、該当する培養容器１０を顕微観察系５５の光軸上に位置決めし、第２照明部５２または第３照明部５３の光源を点灯させて、顕微観察像を撮像装置５５ｃに撮影させる。

以上のように構成される培養観察システムＢＳにおいて、画像処理装置１００は、撮像装置（５４ｃ、５５ｃ）により所定時間を隔てて撮影された複数の画像を取得し、画像に含まれる細胞塊の複層化の状態を判別する機能を有しており、例えば、ｉＰＳ細胞やＥＳ細胞等の解析に好適に利用される。

画像処理装置１００では、所定時間を隔てて撮影された２枚の細胞塊の観察画像を用い、前時刻の細胞塊の一部領域(局所領域)の輝度分布を基準として、次時刻のその位置を含む周辺部に対してブロックマッチングを行い、最もマッチングの高い領域（領域内の輝度分布の変化が最も少ない位置領域）の近似度を当該位置領域の代表近似度として、複層化の状態を評価判断する。この手法は、細胞が複層化していない部位(単層領域)と、複層化した部位の画像が、以下の特徴をもつことを利用する。

細胞塊は複数の細胞が寄せ集まったものであるが、単純に寄せ集まって水平方向に広がる単層の細胞塊は、元の細胞個々の形状は多少の移動や回転が起きることがあっても、細胞の大きさ及び細胞同士の境界を観察することができ、構造は保たれていると考えられる。一方、細胞が複層化される場合には、細胞塊内部において上下方向に分裂や移動が行われて泡立つように変化するため、画像の空間的な構造や明るさが大きく変化する。

このように、単層領域では細胞塊内部の変化が空間的な移動を主体とするため、２画像の対応位置周辺でブロックマッチングを行うことによりマッチングの度合いが高くなるのに対し、複層化領域では、細胞塊内部での変化が空間的な移動だけでなく構造的な変化を伴うため、周辺探索を行ってもマッチングの度合いが低くなる。例えば、近似度として相関値を用いた場合に、単層領域では代表近似度が高いのに対し、細胞が泡立つように変化する複層化領域では代表近似度が低くなり、代表近似値の大きさにより複層化の状態を判断することができる。

本発明は、このような単層領域と複層化領域の画像上の特徴に着目し、所定時間を隔てた２枚の細胞塊の観察画像を画像処理することにより複層化の状態を判別する。画像処理装置１００は、前時刻の観察画像（説明では第１画像とする）の細胞塊における局所領域の輝度分布を基準とし、次時刻の観察画像（同様、第２画像とする）の細胞塊における対応位置を含む近傍部で輝度分布のブロックマッチングを行い、最もマッチングの高い領域の近似度を当該位置領域の代表近似度とし、第１画像における局所領域を画像内で順次移動させて細胞塊各部の代表近似度を算出し、算出された細胞塊各部の代表近似度に基づいて細胞塊の複層化の状態を判断可能に出力する。

図４に画像処理装置１００のブロック図を示し、図１に上記のような複層化状態の判別処理を行う画像処理プログラムＧＰのフローチャートを示す。

画像処理装置１００は、撮像装置（５５ｃ，５４ｃ）により撮影された細胞塊の画像を取得して画像を解析する画像解析部１２０と、画像解析部１２０により解析された解析結果を出力する出力部１３０とを備えて構成され、画像解析部１２０による解析結果、例えば複層化が進んでいると推定される部位の位置や大きさの情報（面積、体積、比率等）、複層化の推定度、複層化された部位を含む細胞塊と含まない細胞塊との判別などが出力部１３０から出力され表示パネル７２等に表示されるように構成される。

画像処理装置１００は、ＲＯＭ６２に設定記憶された画像処理プログラムＧＰがＣＰＵ６１に読み込まれ、ＣＰＵ６１によって画像処理プログラムＧＰに基づく処理が順次実行されることによって構成される。換言すれば、画像処理プログラムＧＰはハードウェア資源であるＣＰＵ６１（コンピュータ）を画像処理装置１００として機能させるためのソフトウェアである。

画像解析部１２０は、画像処理プログラムＧＰに基づき、撮像装置（説明ではミクロ系の撮像装置５５ｃとする）により撮影され、ＲＡＭ６３に記録された細胞塊の画像を以下のように画像処理する。なお、撮像装置５５ｃにより第２画像が撮影されたときに、ＲＡＭ６３に記録された第１画像と新たに取得された第２画像とから、現時点の細胞塊の複層化状態をリアルタイムで画像処理し出力するようにしてもよい。

画像解析部１２０は、ステップＳ１０においてＲＡＭ６３に記憶された時刻ｔの細胞観察画像（図５(ａ)に示す第１画像）と、所定時間を隔てた次時刻ｔ＋１の細胞観察画像（図５(ｂ)に示す第２画像）とを取得し、ステップＳ２０において各画像に対してレベルセット（Level Set）及び分散フィルタによって細胞塊ＭＣのセグメンテーションを行う。このとき、図６に示すように、画像中にセグメント化された細胞塊ＭＣが複数含まれるような場合には、各細胞塊ＭＣに対してラベリングを行い、第１画像と第２画像との間で細胞塊の対応をとる。例えば、それぞれの画像でラベリング１，２，３…を施した細胞塊ＭＣについて、像が重なるラベル同士を同じ細胞塊として対応づける。なお、上記所定時間は、観察する細胞の種別や活動状況に応じて適宜選択されるものであるが、細胞の活動が活発な場合には１０分〜１時間程度、低調な場合には３０分〜２時間程度の時間間隔を隔てた画像が選択される。

次いで、第１画像→第２画像画での細胞塊の移動による効果を小さくするため、細胞塊ＭＣの位置合わせを行う（不図示）。位置合わせは、細胞塊の重心位置や外接矩形の頂点位置などを基準として行うことができ、図形モーメントの相関が最大（差分が最小）となるように細胞塊の角度を揃えることにより回転の効果を小さくすることができる。なお、各細胞塊の輪郭形状や輝度分布の差分が最小（相関値が最大）となる位置及び角度で位置合わせを行うようにしてもよい。

ステップＳ３０では、第１画像の細胞塊ＭＣにおいて、画像を形成する画素を中心とする局所領域Ａを設定する。「局所領域」Ａは、図７(ａ)に白抜きの枠で囲んで示すように、細胞塊の大きさに比べて十分に小さく設定され、例えば、５×５〜１５×１５画素程度（細胞数個程度の大きさ）に設定される。なお、局所領域の位置設定は、ステップＳ２０においてセグメント化された細胞塊の輪郭端部を起点として自動設定されるように構成できるほか、例えば、細胞塊の特定部分（着目部分）について、オペレータがマウス等により解析範囲を指定して解析を実行するような場合に、設定された解析範囲の端部や中央を起点として設定されるように構成してもよい。

こうして設定された局所領域について、ステップＳ４０においてブロックマッチングが行われる。ブロックマッチングは、第１画像において設定された局所領域（ブロック）Ａの輝度分布を基準とし（図７(ａ)を参照）、第２画像における対応位置領域を含む周辺に対し、図７(ｂ)に示すように、局所領域Ａの輝度分布をスキャンして各位置での近似度を算出し、最もマッチングの高い位置を探索する。

近似度の評価指標として、輝度分布の相関値や差分、あるいは乗算値などを用いることができ、例えば、相関値を用いる場合には相関値が最も大きい（１に近い）位置、評価指標として差分を用いる場合には差分が最も小さい（０に近い）位置を探索する。そして、最もマッチングの高い位置の近似度を当該位置の代表近似度としてＲＡＭ６３に記録する。以降では近似度として相関値を用いた場合について説明を続ける。

局所領域が単層構造の場合には、時間経過による細胞塊の変化が細胞の移動を主体とするため、対応位置を含む周辺部でブロックマッチングを行うことによって代表近似度の相関値は大きな値をとる。一方、局所領域が複層化された部位である場合には、時間経過による細胞塊の変化が空間的な構造の変形や輝度変動を伴うため、周辺探索を行っても代表近似度の相関値は小さな値となる。

ステップＳ４０では、比較基準である第１画像の局所領域を、画像内で所定画素（単位画素または複数画素）移動させてブロックマッチングを順次行い、細胞塊全域（解析範囲が指定されている場合には観察範囲全域）について各部の代表近似度を算出する。ステップＳ５０では、ステップＳ４０で得られた細胞塊各部の代表近似度を、細胞塊の複層化の状態として判断可能な複層化情報に変換して出力部１３０から出力し、表示パネル７２等に表示させる。

図８は、(ａ)に局所領域の大きさを点線で例示するとともに、同図(ｂ)において複層化情報の出力例を示すものである。この複層化情報の出力例では、第２画像の細胞塊の外形輪郭線Ｌとともに、代表近似度の相関値が高い部位を暗く、相関値が低い部位を明るく、相関値に応じた多段階のグラデーション表示として表示させている。近似度として差分等を用いた場合も同様に多段階のグラデーション表示させることができる。

この複層化情報の表示画像から、外形輪郭線で囲まれた細胞塊の内部において、明度が高いほど（グレースケールでは白に近いほど）複層化が進んでいると判断でき、細胞塊のどの部位で、どの程度複層化が進行しているかを視覚的に判断することができる。

複層化情報の他の出力例として、代表近似度の相関値が、所定の閾値以下である領域を複層化されていると判断し、図５(ｂ)に示した第２画像中に複層化された部位を白抜きの枠により囲んで識別表示する態様や、複層化領域と単層領域とを色分け等により識別表示する態様などが例示される。

なお、ブロックマッチングにより代表近似度となった位置領域について、その位置領域の輝度分布から空間的な輝度変化（ばらつき）を算出し、代表近似度の相関値が所定の閾値以下であり、かつ少なくとも第２画像における空間的な輝度変化が所定の閾値以上のときに、当該位置領域は複層化されていると判断して、第２画像中に白抜き枠などにより複層化領域を囲んで識別表示するように構成してもよい。空間的な輝度変化の指標として、輝度値の分散や、空間方向に対する輝度値の微分の総和などが例示される。これは、単層状態の部位は空間的な輝度変化が小さいのに対して、複層化された部位は空間的な輝度変化が比較的大きいことを利用するものである。

このような構成によれば、第１画像において局所領域が既に複層化されており、ブロックマッチングにより算出された代表近似度が中程度の相関値（グレースケールにおける中間色）となるような部位について、当該部位が複層化されているのか否かを、より的確に識別判断することができる。なお、空間的な輝度変化が大きな位置領域は、複層化された部位のほか、細胞塊内外の境界の部分があるが、境界部分はブロックマッチングによって算出される代表近似度の相関値が大きく（１に近く）なるため、上記複層化状態の識別判断で省かれる。

このように、複層化された領域を判別して表示する場合の複層化情報として、細胞塊における複層化領域の位置情報（例えばＸ−Ｙ座標位置）や、細胞塊に占める複層化領域の大きさの情報（面積、体積、これらの比率等）があり、これらの数値データを出力して表示パネル７２等に表示させることも、複層化状態を定量的に判断する上で好ましい態様である。

以上では、観察画像から特定の細胞塊を選択し拡大表示した状態での解析事例を示したが、図６のように画像中に複数の細胞塊が含まれており、解析範囲を特に指定しないような場合には、観察画像に含まれる各細胞塊について同様の複層化解析が実行される。この場合、表示画面を切り換えることにより、各個別の細胞塊について複層化の状態を表示させ、あるいは観察画像中に、複層化された部位を含む細胞塊と含まない細胞塊とに識別して表示させることができる。

例えば、複層化された部位を有する細胞塊を黄色、複層化部位の無い内細胞塊を青色のように分別表示し、または、各細胞塊に占める複層化部位の面積比に応じて、面積比が高い細胞塊ほど赤く、面積比が低くなるにつれて黄色〜緑〜青のように識別表示する表示形態が例示される。なお、解析結果をプリンタやＲＡＭ６３、磁気記録媒体等に出力して記録させ、あるいは通信部６５を介してシステム外部に出力するように構成してもよい。

これにより、観察者は画像に含まれる細胞塊の複層化の状態を定量的に目視判断することができる。このように、画像処理装置１００においては、撮像装置により所定時間を隔てて細胞塊が撮影された第１画像及び第２画像について、第１画像の局所領域の輝度分布を基準としたブロックマッチングを行い、最も近似する代表近似度に基づいて細胞塊の複層化状態が判別される。従って、画像処理装置１００による細胞塊の状態判別手法によれば、試薬の投与によって細胞にダメージを与えるようなことがなく、撮像装置により撮影された少数の画像から細胞塊の複層化の状態を判別可能な手段を提供することができる。

なお、以上説明した実施形態では、培養観察システムＢＳにおいて撮像装置に撮影され、ＲＡＭ６３に記憶された時系列画像（画像データ）を読み出して複層化状態を解析する構成を例示したが、撮像装置により撮影された画像を逐次第１、第２画像としてリアルタイムで解析するように構成してもよく、また、他の観察システムにおいて撮影され磁気記憶媒体等に記録された画像を読み出して複層化状態を解析するように構成してもよい。また、オペレータが第１画像の所定範囲（例えば、特定の細胞塊や、細胞塊における特定部位）をマウス等により解析範囲として設定し、設定された解析範囲について画像処理装置が複層化状態の解析を実行するように構成してもよい。

次に、本発明の実施形態に係る細胞塊の製造方法について、図９を参照して説明する。この製造方法は、基本的には、細胞を培養する培養ステップ（Ｓ１１０）と、この培養ステップにおいて培養される細胞を、前述した画像処理装置を用いて観察し、培養により変化する細胞における細胞塊の複層化の状態を判別する判別ステップ（Ｓ１２０−Ｓ１４０）とを備える。

より具体的には、細胞を培養する培養ステップ（Ｓ１１０）と、この培養ステップにおいて培養される細胞を、撮像装置により撮影して所定時間を隔てて撮影された第１画像および第２画像を取得する取得ステップ（Ｓ１２０）と、第１画像の細胞塊における局所領域の輝度分布を基準とし、第２画像の細胞塊における上記局所領域に対応する位置を含む近傍部で輝度分布のブロックマッチングを行って、最もマッチングの高い領域の近似度を当該局所領域の代表近似度とする近似度設定ステップ（Ｓ１３０）と、第１画像における局所領域を移動させて細胞塊各部の代表近似度を算出する算出ステップ（Ｓ１４０）と、前記算出ステップにおいて算出された前記細胞塊各部の代表近似度に応じて細胞塊の複層化の状態を判別する判別ステップ（Ｓ１５０）と、所定の基準に基づいて、細胞塊を選別する選別ステップ（Ｓ１６０）と、選別した細胞塊を採取、保存する採取保存ステップ（Ｓ１７０）とを備えて、製造方法が構成される。なお、培養される細胞は、ヒト、ウシ、ウマ、ブタ、マウス等の動物由来の細胞であってもよいし、植物由来の細胞であってもよい。また、細胞塊の保存は凍結保存であってもよい。

Ａ局所領域ＢＳ培養観察システム
ＧＰ画像処理プログラムＭＣ細胞塊
５観察ユニット６制御ユニット
５４マクロ観察系５４ｃ撮像装置
５５顕微観察系５５ｃ撮像装置
６１ＣＰＵ（コンピュータ）６２ＲＯＭ
６３ＲＡＭ１００画像処理装置
１２０画像解析部１３０出力部

本発明は、細胞観察において取得された時系列画像から細胞塊の状態を判別する状態判別手段に関するものである。

培養顕微鏡を用いた従来の細胞観察方法では、細胞塊の複層化の状態判定を、顕微観察画像を目視観察して判別する目視判定や、試薬を投与して着色状態等から判別する試薬判定により行っていた。

しかしながら、従来行われてきた目視判定の方法では、多数の時系列画像から細胞塊を抽出し複層化された状態を判別するのに、一定の経験を有する知見者が時間をかけて判別する必要があった。特に、各時刻の観察画像に多数の細胞塊が含まれる場合に、個々の細胞塊を識別しながら複層化の状態判別を行うことは大変煩雑な作業であった。また、目視判定では細胞塊において複層化された部位の位置や大きさ（面積や細胞塊に占める比率等）を定量的に捉えることが困難であるという課題があった。さらに、試薬判定の方法では、試薬の投与により細胞に与える化学的・物理的影響や、培養された細胞を利用する際の制約が大きいという課題があった。

本発明は、このような課題に鑑みてなされたものであり、細胞に試薬投与によるダメージを与えることなく、撮像装置により撮影された少数の画像から細胞塊の状態を判別可能な手段を提供することを目的とする。

本発明を例示する第１の態様に従えば、撮像装置により所定時間を隔てて細胞塊が撮影された第１画像及び第２画像を取得する手順と、第１画像の細胞塊における局所領域の輝度分布を基準とし、第２画像の細胞塊における対応位置を含む近傍部で輝度分布のブロックマッチングを行う手順と、ブロックマッチングに基づき、最もマッチングの高い領域の近似度を当該位置領域の代表近似度として割り当てる手順と、局所領域を移動させて上記手順を繰り返し、第１画像における移動後の局所領域ごとの代表近似度を算出する手順と、算出された細胞塊の各局所領域の代表近似度に応じて細胞塊の状態を判断する手順と、を含む細胞塊の状態判別方法が提供される。

本発明を例示する第２の態様に従えば、コンピュータにより読み取り可能であり、撮像装置により撮影された画像を取得して画像処理する画像処理装置としてコンピュータを機能させるための画像処理プログラムであって、撮像装置により所定時間を隔てて細胞塊が撮影された第１画像及び第２画像を取得するステップと、第１画像の細胞塊における局所領域の輝度分布を基準とし、第２画像の細胞塊における対応位置を含む近傍で輝度分布のブロックマッチングを行うステップと、ブロックマッチングに基づき、最もマッチングの高い領域の近似度を当該位置領域の代表近似度として割り当てるステップと、局所領域を移動させて上記手順を繰り返し、第１画像における移動後の局所領域ごとの代表近似度を算出するステップと、算出された細胞塊の各局所領域の代表近似度に応じて細胞塊の状態情報を出力するステップとを備え、取得した第１、第２画像から細胞塊の状態を判断可能な状態情報を出力するようにコンピュータを機能させるための画像処理プログラムが提供される。

本発明を例示する第３の態様に従えば、所定時間を隔てて細胞塊を撮影し、第１画像及び第２画像を取得する撮像装置と、撮像装置から第１画像および第２画像を入力し、第１画像の細胞塊における局所領域の輝度分布を基準とし、第２画像の細胞塊における対応位置を含む近傍で輝度分布のブロックマッチングを行うブロックマッチング部と、ブロックマッチング部のブロックマッチングに基づいて、最もマッチングの高い領域の近似度を当該位置領域の代表近似度とし、局所領域を移動させてブロックマッチングを繰り返させ、第１画像における移動後の局所領域ごとの代表近似度を算出し、算出された細胞塊の各局所領域の代表近似度に応じた状態情報を生成する画像解析部と、画像解析部により生成された細胞塊の状態情報を出力する出力部と、を備えたことを特徴とする画像処理装置が提供される。

また、本発明を例示する第４の態様に従えば、細胞を培養する培養ステップと、前記培養ステップにおいて培養される細胞を、上述の画像処理装置を用いて観察し、培養により変化する前記細胞における細胞塊の状態を判別する判別ステップと、を備えて細胞塊の製造方法が提供される。

また、本発明を例示する第５の態様に従えば、細胞を培養する培養ステップと、前記培養ステップにおいて培養される細胞を、撮像装置により撮影して所定時間を隔てて撮影された第１画像および第２画像を取得する取得ステップと、前記第１画像の細胞塊における局所領域の輝度分布を基準とし、前記第２画像の細胞塊における前記局所領域に対応する位置を含む近傍部で輝度分布のブロックマッチングを行って、最もマッチングの高い領域の近似度を当該局所領域の代表近似度とする近似度設定ステップと、前記第１画像における前記局所領域を移動させて細胞塊各部の代表近似度を算出する算出ステップと、前記算出ステップにおいて算出された前記細胞塊各部の代表近似度に応じて細胞塊の状態を判別する判別ステップと、を備えて細胞塊の製造方法が提供される。

本発明の細胞塊の状態判別方法、画像処理プログラム及び画像処理装置、並びに細胞塊の製造方法においては、撮像装置により所定時間を隔てて細胞塊が撮影された第１画像及び第２画像について、第１画像の局所領域の輝度分布を基準としたブロックマッチングを行い、算出された細胞塊各部の代表近似度に基づいて細胞塊の状態が判別される。従って、本発明によれば、試薬の投与によって細胞にダメージを与えるようなことがなく、撮像装置により撮影された少数の画像から細胞塊の状態を判別可能な手段を提供することができる。

画像処理装置１００では、所定時間を隔てて撮影された２枚の細胞塊の観察画像を用い、前時刻の細胞塊の一部領域(局所領域)の輝度分布を基準として、次時刻のその位置を含む周辺部に対してブロックマッチングを行い、最もマッチングの高い領域（領域内の輝度分布の変化が最も少ない位置領域）の近似度を当該位置領域の代表近似度として、複層化の状態を評価判断する。この方法は、細胞が複層化していない部位(単層領域)と、複層化した部位の画像が、以下の特徴をもつことを利用する。

これにより、観察者は画像に含まれる細胞塊の複層化の状態を定量的に目視判断することができる。このように、画像処理装置１００においては、撮像装置により所定時間を隔てて細胞塊が撮影された第１画像及び第２画像について、第１画像の局所領域の輝度分布を基準としたブロックマッチングを行い、最も近似する代表近似度に基づいて細胞塊の複層化状態が判別される。従って、画像処理装置１００による細胞塊の状態判別方法によれば、試薬の投与によって細胞にダメージを与えるようなことがなく、撮像装置により撮影された少数の画像から細胞塊の複層化の状態を判別可能な手段を提供することができる。

Claims

撮像装置により所定時間を隔てて細胞塊が撮影された第１画像及び第２画像を取得し、
前記第１画像の細胞塊における局所領域の輝度分布を基準とし、前記第２画像の細胞塊における対応位置を含む近傍部で輝度分布のブロックマッチングを行って、最もマッチングの高い領域の近似度を当該位置領域の代表近似度とし、
前記第１画像における前記局所領域を移動させて細胞塊各部の代表近似度を算出し、
算出された前記細胞塊各部の代表近似度に応じて細胞塊の複層化の状態を判断することを特徴とする細胞塊の状態判別手法。
前記近似度は相関値であり、前記代表近似度の相関値が閾値以下である場合に、当該部位は複層化されていると判断することを特徴とする請求項１に記載の細胞塊の状態判別手法。
前記近似度は差分であり、前記代表近似度の差分が閾値以上である場合に、当該部位は複層化されていると判断することを特徴とする請求項１に記載の細胞塊の状態判別手法。
コンピュータにより読み取り可能であり、撮像装置により撮影された画像を取得して画像処理する画像処理装置としてコンピュータを機能させるための画像処理プログラムであって、
撮像装置により所定時間を隔てて細胞塊が撮影された第１画像及び第２画像を取得するステップと、
前記第１画像の細胞塊における局所領域の輝度分布を基準とし、前記第２画像の細胞塊における対応位置を含む近傍で輝度分布のブロックマッチングを行って、最もマッチングの高い領域の近似度を当該位置領域の代表近似度とし、前記第１画像における前記局所領域を移動させて細胞塊各部の代表近似度を算出するステップと、
算出された前記代表近似度に応じた複層化情報を出力するステップとを備え、
取得した前記第１、第２画像から細胞塊の複層化の状態を判断可能な複層化情報を出力するようにコンピュータを機能させるための画像処理プログラム。
前記近似度は相関値であり、前記複層化情報を出力するステップは、前記代表近似度の相関値が閾値以下である場合に、当該部位は複層化されていると判断した複層化情報を出力するように構成されることを特徴とする請求項４に記載の画像処理プログラム。
前記近似度は差分であり、前記複層化情報を出力するステップは、前記代表近似度の差分が閾値以上である場合に、当該部位は複層化されていると判断した複層化情報を出力するように構成されることを特徴とする請求項４に記載の画像処理プログラム。
前記複層化情報を出力するステップは、前記複層化されていると判断された部位の前記細胞塊における位置情報を出力するように構成されることを特徴とする請求項５または６に記載の画像処理プログラム。
前記複層化情報を出力するステップは、前記複層化されていると判断された部位の前記細胞塊に占める大きさの情報を出力するように構成されることを特徴とする請求項５〜７のいずれかに記載の画像処理プログラム。
前記第１画像及び前記第２画像に複数の細胞塊が含まれる場合において、
前記複層化情報を出力するステップは、細胞塊ごとに複層化の状態を判別するとともに、複層化部位を持つ細胞塊と複層化部位をもたない細胞塊とに分別し、分別結果を出力するように構成されることを特徴とする請求項５〜８のいずれかに記載の画像処理プログラム。
撮像装置により所定時間を隔てて細胞塊が撮影された第１画像及び第２画像を取得して画像を解析する画像解析部と、前記画像解析部による解析結果を出力する出力部とを備えた画像処理装置であって、
前記画像解析部は、前記第１画像の細胞塊における局所領域の輝度分布を基準とし、前記第２画像の細胞塊における対応位置を含む近傍で輝度分布のブロックマッチングを行って、最もマッチングの高い領域の近似度を当該位置領域の代表近似度とし、前記第１画像における前記局所領域を移動させて細胞塊各部の代表近似度を算出し、算出された前記細胞塊各部の代表近似度に応じた複層化情報を生成して、
前記出力部が、前記画像解析部により生成された細胞塊の複層化情報を出力するように構成したことを特徴とする画像処理装置。
前記近似度は相関値であり、前記画像解析部は前記代表近似度の相関値が閾値以下である場合に、当該部位は複層化されていると判断した複層化情報を生成するように構成されることを特徴とする請求項１０に記載の画像処理装置。
前記近似度は差分であり、前記画像解析部は前記代表近似度の差分が閾値以上である場合に、当該部位は複層化されていると判断した複層化情報を出力するように構成されることを特徴とする請求項１０に記載の画像処理装置。
前記画像解析部は、複層化されていると判断された部位の前記細胞塊における位置を算出し、前記出力部は、前記画像解析部により算出された複層化の位置情報を出力するように構成されることを特徴とする請求項１１または１２に記載の画像処理装置。
前記画像解析部は、複層化されていると判断された部位の前記細胞塊に占める大きさの情報を算出し、前記出力部は、画像解析部により算出された複層化の大きさの情報を出力するように構成されることを特徴とする請求項１１〜１３のいずれかに記載の画像処理装置。
前記第１画像及び前記第２画像に複数の細胞塊が含まれる場合において、
前記画像解析部は、細胞塊ごとに複層化の状態を判別するとともに、複層化部位を持つ細胞塊と複層化部位をもたない細胞塊とに分別し、
前記出力部は、分別結果を出力するように構成されることを特徴とする請求項１１〜１４のいずれかに記載の画像処理装置。
細胞を培養する培養ステップと、
前記培養ステップにおいて培養される細胞を、請求項１０〜１５のいずれかに記載の画像処理装置を用いて観察し、培養により変化する前記細胞における細胞塊の複層化の状態を判別する判別ステップと、
を備えることを特徴とする細胞塊の製造方法。
細胞を培養する培養ステップと、
前記培養ステップにおいて培養される細胞を、撮像装置により撮影して所定時間を隔てて撮影された第１画像および第２画像を取得する取得ステップと、
前記第１画像の細胞塊における局所領域の輝度分布を基準とし、前記第２画像の細胞塊における前記局所領域に対応する位置を含む近傍部で輝度分布のブロックマッチングを行って、最もマッチングの高い領域の近似度を当該局所領域の代表近似度とする近似度設定ステップと、
前記第１画像における前記局所領域を移動させて細胞塊各部の代表近似度を算出する算出ステップと、
前記算出ステップにおいて算出された前記細胞塊各部の代表近似度に応じて細胞塊の複層化の状態を判別する判別ステップと、
を備えることを特徴とする細胞塊の製造方法。