JP4496860B2 - 細胞識別装置、細胞識別方法、細胞識別用プログラム、および細胞解析装置 - Google Patents

Description

本発明は、撮像した細胞の画像から細胞の輪郭を抽出して細胞を識別する細胞識別装置、細胞識別方法、細胞識別用プログラム、および識別した細胞の画像を撮像し、撮像した画像を画像処理して解析する細胞解析装置に関する。

細胞を撮像した画像を２値化することによって、細胞の輪郭を抽出する細胞画像処理方法が特許文献１によって知られている。

特開平５−２７４４２２号公報

しかしながら、特許文献１に記載の細胞画像処理方法においては、画像上で隣同士つながった２つ以上の細胞は、１つの細胞として誤って抽出されてしまう可能性があるという問題が生じていた。

請求項１に記載の細胞識別装置は、第１の撮像光学系で撮像した位相差画像から一つの細胞として識別する細胞輪郭候補を抽出するとともに、第２の撮像光学系で撮像した蛍光画像から核を抽出する輪郭抽出手段と、輪郭抽出手段で抽出した細胞輪郭候補と核とに基づいて、一つの核が存在する細胞輪郭候補を一つの細胞として識別する識別手段と、輪郭抽出手段で抽出した細胞輪郭候補と核とを重畳する画像重畳手段とを備え、識別手段は、画像重畳手段で重畳された画像に基づいて、一つの細胞輪郭候補内に核が一つだけ存在するか、複数個存在するかを判断する判断手段と、判断手段により一つの細胞輪郭候補内に核が複数個存在すると判断された場合、一つの細胞輪郭候補内に一つの核が存在するように該当する細胞輪郭候補を分割する分割手段とを含み、識別手段は、分割手段によって分割された一つの核を取り囲む一つの細胞輪郭候補を一つの細胞として識別することを特徴とする。
請求項２に記載の細胞識別装置は、請求項１に記載の細胞識別装置において、分割手段は、判断手段により一つの細胞輪郭候補内に核が複数個存在すると判断された場合には、一つの細胞輪郭候補に含まれる核の重心同士を結ぶ直線の垂直二等分線により、一つの細胞輪郭候補の中に一つの核を含むように分割することを特徴とする。
請求項３に記載の細胞識別装置は、請求項１に記載の細胞識別装置において、輪郭抽出手段で抽出した細胞輪郭候補および核を表示する表示手段と、判断手段により一つの細胞輪郭候補内に核が複数個存在すると判断された場合に、使用者が細胞輪郭候補を分割するための分割線を入力する入力手段とをさらに有し、表示手段は、判断手段により一つの細胞輪郭候補内に核が複数個存在すると判断された場合には、当該細胞輪郭候補を表示し、分割手段は、使用者によって入力手段を介して入力された分割線と細胞輪郭候補の輪郭線とで囲まれた核を一つ含む領域を細胞輪郭候補として分割することを特徴とする。
請求項４に記載の細胞識別装置は、請求項３に記載の細胞識別装置において、表示手段は、判断手段により核が複数存在すると判断された細胞輪郭候補を拡大して表示することを特徴とする。
請求項５に記載の細胞識別用プログラムは、第１の撮像光学系で撮像した位相差画像から一つの細胞として識別する細胞輪郭候補を抽出するとともに、第２の撮像光学系で撮像した蛍光画像から核を抽出する輪郭抽出処理と、輪郭抽出処理で抽出した細胞輪郭候補と核とに基づいて、一つの核が存在する細胞輪郭候補を一つの細胞として識別する識別処理と、輪郭抽出処理で抽出した細胞輪郭候補と核とを重畳する画像重畳処理とを有し、識別処理は、画像重畳処理で重畳された画像に基づいて、一つの細胞輪郭候補内に核が一つだけ存在するか、複数個存在するかを判断する判断処理と、判断処理で一つの細胞輪郭候補内に核が複数個存在すると判断した場合、一つの細胞輪郭候補内に一つの核が存在するように該当する細胞輪郭候補を分割する分割処理とを含み、識別処理は、分割処理で分割した一つの核を取り囲む一つの細胞輪郭候補を一つの細胞として識別することを特徴とする。
請求項６に記載の細胞識別用プログラムは、請求項５に記載の細胞識別用プログラムにおいて、分割処理は、判断処理で一つの細胞輪郭候補内に核が複数個存在すると判断した場合には、表示手段に表示されている当該細胞輪郭候補に対して使用者が入力手段を介して入力した分割線と細胞輪郭候補の輪郭線とで囲まれた核を一つ含む領域を細胞輪郭候補として分割することを特徴とする。

本発明によれば、隣接する２つの細胞を個々の２つの細胞として識別することができる。

図１は、本発明による細胞識別装置の一実施の形態の構成を示すブロック図である。細胞識別装置１００は、入力装置１１０と、制御装置１２０と、モニタ１３０と、画像メモリ１４０とを備えている。また、細胞識別装置１００には細胞の拡大画像を撮像するカメラ付き顕微鏡２００が接続されており、使用者によって観察され、顕微鏡２００で撮像された細胞の画像は、制御装置１２０へ転送され、画像メモリ１４０に格納されるとともにモニタ１３０に表示される。

顕微鏡２００は、ＣＣＤ２１０を撮像素子とし、透過光による位相差観察光学系と、落射蛍光による蛍光観察光学系とを有する。本実施の形態では、位相差観察光学系で撮像した位相差画像と、蛍光観察光学系で撮像した核の蛍光画像とに基づいて細胞を識別し、識別した細胞を蛍光観察光学系で観察する。

本実施の形態における細胞識別装置１００は、顕微鏡２００で撮像した細胞の画像内に含まれる個々の細胞を識別する。顕微鏡２００で細胞を撮像するに当たっては、あらかじめ細胞の核を蛍光染色するための蛍光色素、例えばＨｏｅｃｈｓｔと、細胞を蛍光染色するため蛍光色素、例えばＤｉＢＡＣで細胞を染色しておく。そして、これらの色素で染色した細胞の拡大画像を顕微鏡２００で撮像する。このとき、照明光学系や細胞に照射する励起光の波長を変化させることによって、位相差画像、あらかじめ加えた蛍光色素により細胞を蛍光染色した蛍光画像、および核を蛍光染色した蛍光画像のいずれかを撮像することができる。

本実施の形態では、顕微鏡２００として倒立顕微鏡を使用し、上部の照明系から所定波長の光を照射し、図２に示すように細胞の位相差画像を撮像する。その後、照明を落射蛍光照明に変更して細胞の核を蛍光染色している色素を励起する波長の光を照射し、図３に示す細胞の核の蛍光画像を撮像する。このとき、図２に示す細胞の位相差画像と、図３に示す核の蛍光画像とは、その視野が同一になるように撮像する。

顕微鏡２００で撮像した細胞の位相差画像、および核の蛍光画像の画像データは、制御装置１２０へ転送され、画像メモリ１４０へ格納される。制御装置１２０においては、細胞の位相差画像、および核の蛍光画像を画像処理して、以下に説明するように画像内に存在する個々の細胞を識別する。細胞の位相差画像に対してエッジ抽出処理を行い、抽出したエッジの隣り合うもの同士を直線で結ぶことによって細胞の輪郭を抽出する。ここで抽出した細胞の輪郭を１つの細胞の輪郭候補として、後述するように個々の細胞を識別する。

図４は、エッジ抽出処理を行った結果に基づいて、細胞の輪郭を抽出するアルゴリズムの具体例を図示したものである。図４における各点は、エッジ抽出処理によって抽出されたエッジを表している。図４（ａ）において、任意の２つのエッジＡおよびＢを直線４ａで結び、直線４ａから垂直方向に最も離れたエッジＣと、直線４ａの端点、すなわちエッジＡおよびＢとをそれぞれ直線４ｂおよび４ｃで結ぶ。

次に、図４（ｂ）に示すように、直線４ｂと直線４ｃのそれぞれから垂直方向に最も離れたエッジＤおよびＥと、直線４ｂと直線４ｃのそれぞれの端点とを直線で結ぶ。これによって、エッジＡ，Ｄ，Ｃ、ＥおよびＢが直線で結ばれ、その輪郭が抽出されていく。そして、図４（ｃ）において、上述した図４（ｂ）で示したのと同じ処理を行い、その後、全ての点が直線で結ばれるまで処理を繰り返すことによって、細胞の輪郭を抽出することができる。

次に、核の蛍光画像に対して行う画像処理について説明する。まず、核の蛍光画像を２値化する。そして、２値化した核の蛍光画像に対して、細胞の位相差画像に対して行ったのと同様にエッジ抽出を行い、核の輪郭を得る。

その後、抽出した細胞の輪郭に、抽出した核の輪郭を重ねあわせて（重畳して）、図５に示す細胞の輪郭５ａおよび核の輪郭５ｂを表示した画像を生成する。そして、生成した画像内において、１つの細胞の輪郭５ａ内に核の輪郭５ｂが２つ以上存在している細胞の輪郭５ａを抽出する。１つの細胞の輪郭５ａ内に核の輪郭５ｂが２つ以上存在している場合、２つの細胞が隣接した状態で細胞の位相差画像が撮像されており、エッジ抽出した結果、１つの細胞として輪郭が抽出されてしまったと考えられる。よって、１つの細胞の輪郭５ａ内に核の輪郭５ｂが２つ以上存在している場合には、１つの細胞の輪郭５ａ内に１つの核の輪郭５ｂが存在するように、細胞の輪郭５ａを分割する。

細胞の輪郭５ａを分割するに当たっては、例えば図６に示すように、１つの細胞の輪郭５ａ内に含まれる核の輪郭５ｂの重心同士を直線６ａで結び、その直線の垂直二等分線６ｂにより細胞の輪郭５ａを分割する。図５に示した細胞の輪郭５ａおよび核の輪郭５ｂを表示した画像に対して、細胞の輪郭５ａの分割処理を行った結果を図７に示す。これにより、1つの細胞の輪郭５ａ内に１つの核の輪郭５ｂが存在するよう細胞の輪郭５ａを分割することができる。そして、分割処理を行った結果得られた画像において、核の輪郭５ｂを１つ含む細胞の輪郭５ａを１つの細胞と認識して、個々の細胞を識別する。

すなわち、垂直二等分線（分割線）６ｂで分割した１つの核輪郭候補を取り囲む１つの細胞輪郭候補を１つの細胞として識別することによって、１つの核輪郭候補が存在する細胞輪郭候補を１つの細胞として識別する。なお、識別した個々の細胞には、個々の細胞を一意に識別するためのＩＤ（識別符号）が付与され、付与されたＩＤは、識別した細胞の輪郭、すなわち形状、および画像内における細胞の位置、例えば画像内をＸＹ座標系としたときの核の重心の座標値とともに個々の細胞の識別データとして不図示のメモリに格納される。そして識別した個々の細胞の観察画像は、細胞の識別データに基づいて細胞単位に画像処理することができる。

本実施の形態においては、例えば図８および図９に示すように、顕微鏡２００を使用して個々の細胞の観察画像に対して画像処理を行い、その観察結果を得る。すなわち、顕微鏡２００において、細胞に照射する励起光の波長を、細胞を蛍光染色している色素（例えばＤｉＢＡＣ）を励起する波長に変化させ、図８に示す細胞の蛍光画像を所定の時間間隔で撮像する。そして、蛍光画像における各細胞の蛍光強度を計測して、図９に示すようにその時系列変化を示すグラフをモニタ１３０に表示する。

なお、図９は、図８で識別した２つの細胞８ａおよび８ｂの輪郭内における蛍光強度の平均値の時系列変化を示すグラフを示す図である。図９においては、時点ｔ１で試薬を添加すると、細胞８ａおよび８ｂの輪郭内における蛍光強度の平均値が増加していることがわかる。例えば細胞を蛍光染色している色素がＤｉＢＡＣの場合には、細胞の膜電位が変化していることがわかる。

図１０は、本実施の形態における細胞識別装置１００の動作を示すフローチャートである。顕微鏡２００を使用して細胞の観察を開始するにあたり、使用者は観察対象の細胞に上述した蛍光色素を加えて予め蛍光染色した細胞を含むシャーレを顕微鏡２００にセットし、観察倍率の設定などの前準備を行う。図１０に示す処理は、これらの前準備が完了し、使用者によって細胞識別処理の実行が指示されると起動するプログラムとして制御装置１２０により実行される。

ステップＳ１０において、顕微鏡２００で拡大撮像された画像を画像メモリ１４０に格納するとともにモニタ１３０に表示する。その後、ステップＳ１１へ進み、顕微鏡２００で撮像された画像が細胞の位相差画像であるか、あるいは核の蛍光画像であるかを判断する。顕微鏡２００で撮像された画像が細胞の位相差画像である場合には、ステップＳ２０へ進む。ステップＳ２０では、細胞の位相差画像に対してエッジ抽出処理を行う。その後、ステップＳ３０へ進み、抽出したエッジをつなぎ合わせて細胞の輪郭５ａを得る。その後、ステップＳ６１へ進む。

一方、顕微鏡２００で撮像された画像が核の蛍光画像であると判断した場合には、ステップＳ４０へ進む。ステップＳ４０では、核の蛍光画像を２値化した後、ステップＳ５０へ進み、２値化した結果得られた画像に対してエッジ抽出処理を行い核のエッジを抽出する。その後、ステップＳ６０へ進み、抽出したエッジをつなぎ合わせて核の輪郭５ｂを得る。その後、ステップＳ６１へ進む。

ステップＳ６１では、撮像された細胞の位相差画像、および核の蛍光画像に対する画像処理が完了したか否かを判断する。画像処理が完了したと判断した場合には、ステップＳ７０へ進む。ステップＳ７０では、細胞の位相差画像から抽出した細胞の輪郭５ａと、核の蛍光画像から抽出した核の輪郭５ｂとを重畳して、図５に示したように細胞および核の輪郭を表示した画像を生成して、ステップＳ７１へ進み、生成した画像をモニタ１３０に表示する。

その後、ステップＳ８０へ進み、１つの細胞の輪郭５ａ内に核の輪郭５ｂが２つ以上存在している細胞の輪郭５ａを抽出して、ステップＳ９０へ進む。ステップＳ９０では、１つの細胞内に核が２つ以上存在している細胞の輪郭５ａを上述したように１つの輪郭の輪郭５ａ内に含まれる核の輪郭５ｂの重心同士を直線で結び、その直線の垂直二等分線６ｂにより、１つの細胞の輪郭５ａ内に１つの核の輪郭５ｂが含まれるように分割する。

その後、ステップＳ１００へ進み、抽出した１つの細胞の輪郭５ａ内に核の輪郭５ｂが２つ以上存在している全ての細胞の輪郭５ａに対して分割処理が完了したか否かを判断する。抽出した全ての細胞の輪郭５ａに対して分割処理が完了していないと判断した場合には、全て完了するまで分割処理を繰り返す。抽出した全ての細胞の輪郭５ａに対して分割処理が完了したと判断した場合には、ステップＳ１１０へ進む。ステップＳ１１０では、核の輪郭を１つ含む細胞の輪郭５ａを１つの細胞と認識して、認識した個々の細胞にＩＤ番号を付与して、上述した細胞の識別データをメモリに記憶する。その後、処理を終了する。

以上説明した本実施の形態によれば、以下のような作用効果が得られる。
（１）抽出した細胞の輪郭と抽出した核の輪郭とを重畳して、細胞および核の輪郭を表示した画像を生成し、生成した画像内から１つの細胞の輪郭内に核の輪郭が２つ以上存在している細胞の輪郭を抽出して分割することとした。これによって、抽出した１つの細胞の輪郭が、実際には複数の細胞により構成されていることを正確に判定することができ、細胞の輪郭の分割を適切に行うことができる。
（２）１つの細胞内に核が２つ以上存在している場合には、１つの輪郭内に含まれる核の重心同士を直線で結び、その直線の垂直２等分線により、１つの細胞の輪郭内に１つの核が含まれるように分割して、核の輪郭を１つ含む細胞の輪郭を１つの細胞と認識することとした。これによって、同一視野で撮像した細胞の位相差画像、および核の蛍光画像内に存在する個々の細胞を的確に認識することができる。

なお、上述した本実施の形態においては、抽出した細胞の輪郭と核の輪郭とを重畳して生成した画像に基づいて、１つの細胞の輪郭内に核の輪郭が２つ以上存在している細胞の輪郭を抽出し、制御装置１２０が抽出した細胞の輪郭を核の輪郭の重心同士を結ぶ直線の垂直二等分線により分割することとした。しかし、抽出した１つの細胞の輪郭内に核の輪郭が２つ以上存在している細胞をモニタ１４０に拡大表示し、入力装置１１０を使用して使用者が細胞の分割線を例えばドラッグ操作によって入力できるようにしてもよい。この場合、制御装置１２０は、使用者によって入力された分割線と細胞の輪郭線とで囲まれた核を１つ含む領域を１つの細胞として識別する。

上述した実施の形態では、エッジ抽出処理によって抽出したエッジを図４にて説明したアルゴリズムによってつなぎ合わせて、細胞、および核の輪郭を得ることとしたが、これに限定されず、その他のアルゴリズムによってエッジをつなぎ合わせてもよい。

上述した実施の形態では、顕微鏡２００で撮像した拡大画像を細胞識別装置１００へ取り込んで画像処理を行い、画像内に存在する個々の細胞を識別することとしたが、顕微鏡２００で撮像した拡大画像を細胞識別プログラムを備えた汎用ＰＣへ取り込んで、汎用ＰＣ上で画像内に存在する個々の細胞を識別してもよい。

上述した実施の形態では、顕微鏡２００で撮像した細胞の位相差画像に基づいて細胞の輪郭を抽出することとした。しかし、顕微鏡２００によって細胞の微分干渉画像を撮像し、撮像した細胞の微分干渉画像に基づいて細胞の輪郭を抽出してもよい。

上述した実施の形態では、細胞の位相差画像から抽出した細胞の輪郭に、核の蛍光画像から抽出した核の輪郭を重ねあわせて生成した画像に基づいて個々の細胞を識別することとした。しかし、画像の重ねあわせをせずに、例えば、画像内をＸＹ座標系としたときの細胞の輪郭を構成する各点の座標値と、核の重心の座標値とに基づいて、細胞の輪郭内に核が１つ存在する細胞の輪郭を判別し、当該核を１つ含む細胞の輪郭を１つの細胞として識別してもよい。また、その他のアルゴリズムにより個々の細胞を識別してもよい。

特許請求の範囲の構成要素と実施の形態との対応関係について説明する。制御装置１２０は輪郭抽出手段、画像重畳手段、識別手段、判断手段、および分割手段に相当する。入力装置１１０は入力手段に、モニタ１３０は表示手段に相当する。なお、本発明の特徴的な機能を損なわない限り、本発明は、上述した実施の形態における構成に何ら限定されない。

本発明による細胞識別装置の一実施の形態の構成を示すブロック図である。 細胞の位相差画像を示す図である。 細胞の核の蛍光画像を示す図である。 エッジ抽出処理を行った結果に基づいて、細胞の輪郭を抽出するアルゴリズムの具体例を図示したものである。 細胞および核の輪郭を表示した位相差画像を示す図である。 １つの細胞内に核が２つ以上存在している場合に、細胞の輪郭を分割する具体例を示す図である。 細胞の輪郭の分割処理を行った結果を示す図である。 細胞の観察方法の具体例を示す第１の図である。 細胞の観察方法の具体例を示す第２の図である。 本実施の形態における細胞識別装置１００の動作を示すフローチャート図である。

符号の説明

１００ 細胞識別装置
１１０ 入力装置
１２０ 制御装置
１３０ モニタ
１４０ 画像メモリ
２００ 顕微鏡
２１０ ＣＣＤ

Claims (6)

1. 第１の撮像光学系で撮像した位相差画像から一つの細胞として識別する細胞輪郭候補を抽出するとともに、第２の撮像光学系で撮像した蛍光画像から核を抽出する輪郭抽出手段と、
   前記輪郭抽出手段で抽出した細胞輪郭候補と核とに基づいて、一つの核が存在する細胞輪郭候補を一つの細胞として識別する識別手段と、
   前記輪郭抽出手段で抽出した細胞輪郭候補と核とを重畳する画像重畳手段とを備え、
   前記識別手段は、
   前記画像重畳手段で重畳された画像に基づいて、一つの細胞輪郭候補内に核が一つだけ存在するか、複数個存在するかを判断する判断手段と、
   前記判断手段により一つの細胞輪郭候補内に核が複数個存在すると判断された場合、一つの細胞輪郭候補内に一つの核が存在するように該当する細胞輪郭候補を分割する分割手段とを含み、
   前記識別手段は、前記分割手段によって分割された一つの核を取り囲む一つの細胞輪郭候補を一つの細胞として識別することを特徴とする細胞識別装置。
2. 請求項１に記載の細胞識別装置において、
   前記分割手段は、前記判断手段により一つの細胞輪郭候補内に核が複数個存在すると判断された場合には、一つの細胞輪郭候補に含まれる核の重心同士を結ぶ直線の垂直二等分線により、一つの細胞輪郭候補の中に一つの核を含むように分割することを特徴とする細胞識別装置。
3. 請求項１に記載の細胞識別装置において、
   前記輪郭抽出手段で抽出した細胞輪郭候補および核を表示する表示手段と、
   前記判断手段により一つの細胞輪郭候補内に核が複数個存在すると判断された場合に、使用者が細胞輪郭候補を分割するための分割線を入力する入力手段とをさらに有し、
   前記表示手段は、前記判断手段により一つの細胞輪郭候補内に核が複数個存在すると判断された場合には、当該細胞輪郭候補を表示し、
   前記分割手段は、使用者によって前記入力手段を介して入力された分割線と細胞輪郭候補の輪郭線とで囲まれた核を一つ含む領域を細胞輪郭候補として分割することを特徴とする細胞識別装置。
4. 請求項３に記載の細胞識別装置において、
   前記表示手段は、前記判断手段により核が複数存在すると判断された細胞輪郭候補を拡大して表示することを特徴とする細胞識別装置。
5. 第１の撮像光学系で撮像した位相差画像から一つの細胞として識別する細胞輪郭候補を抽出するとともに、第２の撮像光学系で撮像した蛍光画像から核を抽出する輪郭抽出処理と、
   前記輪郭抽出処理で抽出した細胞輪郭候補と核とに基づいて、一つの核が存在する細胞輪郭候補を一つの細胞として識別する識別処理と、
   前記輪郭抽出処理で抽出した細胞輪郭候補と核とを重畳する画像重畳処理とを有し、
   前記識別処理は、
   前記画像重畳処理で重畳された画像に基づいて、一つの細胞輪郭候補内に核が一つだけ存在するか、複数個存在するかを判断する判断処理と、
   前記判断処理で一つの細胞輪郭候補内に核が複数個存在すると判断した場合、一つの細胞輪郭候補内に一つの核が存在するように該当する細胞輪郭候補を分割する分割処理とを含み、
   前記識別処理は、前記分割処理で分割した一つの核を取り囲む一つの細胞輪郭候補を一つの細胞として識別することを特徴とする細胞識別用プログラム。
6. 請求項５に記載の細胞識別用プログラムにおいて、
   前記分割処理は、前記判断処理で一つの細胞輪郭候補内に核が複数個存在すると判断した場合には、表示手段に表示されている当該細胞輪郭候補に対して使用者が入力手段を介して入力した分割線と細胞輪郭候補の輪郭線とで囲まれた核を一つ含む領域を細胞輪郭候補として分割することを特徴とする細胞識別用プログラム。

Images