JP3921182B2 - Method for cutting the bond nucleus region in nuclear region recognition - Google Patents
Method for cutting the bond nucleus region in nuclear region recognition Download PDFInfo
- Publication number
- JP3921182B2 JP3921182B2 JP2003148603A JP2003148603A JP3921182B2 JP 3921182 B2 JP3921182 B2 JP 3921182B2 JP 2003148603 A JP2003148603 A JP 2003148603A JP 2003148603 A JP2003148603 A JP 2003148603A JP 3921182 B2 JP3921182 B2 JP 3921182B2
- Authority
- JP
- Japan
- Prior art keywords
- nucleus
- region
- nucleus region
- elite
- nuclear
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Analysis (AREA)
- Investigating Or Analysing Biological Materials (AREA)
- Measuring Or Testing Involving Enzymes Or Micro-Organisms (AREA)
- Image Processing (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は観察対象の４次元顕微鏡画像から細胞核を抽出するための画像処理に関するものである。好適には、本発明を用いて得られた細胞核領域は細胞系譜作成に用いられる。
【０００２】
【従来の技術】
【特許文献１】
特開２００１−２５８５９９号公報
【特許文献２】
特開２００１−３１１７３０号公報
【特許文献３】
国際公報番号ＷＯ０２／４５０１８
【特許文献４】
国際公報番号ＷＯ０２／４５０２１
【０００３】
線虫（Ｃ．ｅｌｅｇａｎｓ）は１９６５年にＳｉｄｎｅｙ Ｂｒｅｎｎｅｒによって見出された実験生物で、現在の分子生物学で特に詳しく解析されている実験生物（大腸菌、酵母、線虫、ハエ、アフリカツメガエル、セブラフィッシュ、ネズミ等）の一つである。線虫は、これらの実験生物の中では多細胞生物の最も単純な生物として位置付けられている。
【０００４】
多細胞生物は基本的に一つの受精卵（単細胞）が秩序正しく分裂を繰り返して多数の細胞からなる成虫を形成する。受精卵からの分裂の秩序を樹形図的に記述したものを細胞系譜と呼ぶ。線虫は多細胞生物の中で唯一受精卵から成虫までの細胞系譜が明らかにされている。この細胞系譜は１９８３年にＳｕｌｓｔｏｎ等によって決定された。
【０００５】
正常な線虫（ｗｉｌｄ ｔｙｐｅ）は全ての個体でその受精卵から成虫になるまでの細胞系譜が一定である。特定の遺伝子に突然変異が起きるとその遺伝子の機能に変化が生じ、細胞分裂のパターン、すなわち細胞系譜がｗｉｌｄ ｔｙｐｅのものと比べて変化する。この細胞系譜の変化から突然変異した遺伝子の機能を推定し、その推定を出発点にした研究の進展により大量の遺伝子が急速に同定され、また、突然変異体動物が大量生産され始めてきている。これらの資源を有効活用することを考えると、遺伝子、突然変異体解析の出発点である細胞系譜解析の自動化は必要不可欠な技術である。
【０００６】
通常、細胞系譜の作成には、ノマルスキー型透過型微分干渉顕微鏡（以下「ノマルスキー顕微鏡」という）が用いられる。ノマルスキー顕微鏡によれば、透明な観察対象の内容物の分布や外形状を明暗像で捉えることができる。最近では、ノマルスキー顕微鏡を用いた４Ｄ顕微鏡画像を用いて作成するのが一般的である。特定の焦点で観察される顕微鏡画像は観察対象を特定の位置で水平に切断して得られる２次元（ｘ−ｙ軸）断面像と考えられる。すなわち、焦点を上下に動かす（ｚ軸方向に動かす）ことで観察対象をｚ軸方向の様々な位置で切断した断面像が得られる。これらの画像を統合すると観察対象の３次元の形を捉えることができる（３次元画像）。さらに、このような３次元画像の撮影を時間を追って撮影していくことで観察対象の時間変化を捉えることができる。このようにして撮影したものを４Ｄ（４次元）顕微鏡画像と呼ぶ。
【０００７】
４Ｄ顕微鏡画像を用いる作業はＳｕｌｓｔｏｎ当時と比較して楽になったものと考えられるが、撮影した画像から細胞核、細胞膜を人間が判断しているため、やはりかなりの労力と時間を要する。受精卵から１６細胞くらいまでの作成であっても、１日以上はかかる。
【０００８】
そこで、本出願の発明者等は細胞系譜を計算機で構築することにより、細胞系譜を省力でかつ短時間で構築することを目的として細胞系譜構築法を提案している。しかしながら、細胞系譜構築法における核領域の認識の処理では、近傍の複数の核を、一つの核として認識してしまうことがある。このように複数の核領域が結合している箇所があると、細胞系譜構築の際に、そこから時間的に上流の細胞系譜は一つであると判断するため、正しく細胞系譜を構築することができない（図１参照）。
【０００９】
【発明が解決しようとする課題】
本発明は、かかる従来の細胞系譜の作成に係る課題を解決するべく創案されたものであって、複数の核を誤って一つの核として認識した核領域を検出し、誤認識された領域を別々の核の領域とすることを目的とするものである。
【００１０】
【課題を解決するための手段】
かかる課題を解決するために本発明が採用した技術手段は、細胞の４次元顕微鏡画像から抽出した複数の核領域から、２以上の核領域が１つの核領域として認識された結合核領域を検出する第１工程と、検出された該結合核領域を切断する第２工程とを有する結合核領域の切断方法である。該４次元顕微鏡画像は、観察対象の細胞について焦点面を変化させて２次元画像を複数撮影し、かつ、該２次元画像を時系列に複数撮影することで焦点面、時点で異なる複数の２次元画像である。したがって、ある時点における核領域は、同時点においてｚ軸方向の座標が異なる複数の２次元核領域から構成されたユニットである。
【００１１】
第１工程は、１つの核を正確に認識している核領域をエリート核として選出する工程と、該エリート核から時間的に下流に辿った時に、複数のエリート核から複数の経路を通って辿り着くことができる核領域を結合核領域として検出する工程とを有する。エリート核の選出工程は、好ましくは、真球に近い核領域をエリート核として選出する工程である。
【００１２】
好ましくは、該エリート核の判定（あるユニットが真球に近いか否かの判定）は、ユニットを構成する複数の２次元核領域のｚ軸方向の中間の２次元核領域に基づいて理想核を想定し、該ユニットと該理想核との重なりの程度から判定するものである。より具体的には、理想核の中心は選択された中間の２次元核領域の重心であり、理想核の径は選択された中間の２次元核領域の最小包含円の半径から求める。
【００１３】
好ましくは、該重なりの程度からの判定は、該理想核の体積と、該ユニットの体積とを比較することで行う。該ユニットを構成する複数の２次元核領域の各面積に各２次元核領域間のｚ軸方向の寸法（距離ないし高さ）を積算することで該ユニットの仮想体積を算出する。さらに好ましくは、該重なりの程度は、該ユニットと該理想核との重なり率（含有率）及びはみ出し率から判定する。
【００１４】
エリート核に基づいて結合領域を特定する好適な方法について説明する。エリート核をeとし、最も大きい時間のエリート核から時間をさかのぼるように並べたときのx番目のエリート核をe(x)とする。あるエリート核e(k)から時間的に上流へ辿ることで到達することのできるエリート核の順列をP(e(k))とする。後述する式（２）が成立しない場合に、e(k+1)とe(k+2)から下流に辿って行く過程において、初めてe(k+1)とe(k+2)がともに辿り着くことができる核領域を結合核領域として検出する。
【００１５】
第２工程は、前の時点（T＝ｔ-１）で離れていた核領域に基づいてくびれ探索範囲を設定し、該くびれ探索範囲において核領域の断面積を最も小さくする時の平面を切断面とし、該平面で該結合核領域を切断することを特徴とする。前の時点で離れていた核領域の重心を結ぶ線分が該平面の法線を構成する。該くびれ探索範囲は、該線分内で設定される。
【００１６】
該切断面と該線分との交点を中心として遊び探索範囲を設定し、次の時点（T＝ｔ+１）の核領域において、該遊び探索範囲内に核領域ではない空間がある場合には切断作業を終了し、該遊び探索範囲内に空間がない場合には切断作業を行う。該遊び探索範囲内に空間がない場合には、該交点を中心としてくびれ検索範囲を設定し、該くびれ探索範囲において核領域の断面積を最も小さくする時の平面を切断面とし、該平面で該結合核領域を切断する。
【００１７】
【発明の実施の形態】
本発明に係る結合した核領域の切断方法は好適には細胞系譜作成作業に用いられる。細胞系譜作成作業は、［１］線虫初期胚のノマルスキー型顕微鏡４Ｄ画像を撮影する工程、［２］個々の２次元画像において細胞核の位置を抽出する工程、［３］結合した核領域を切断する工程、［４］細胞系譜構築工程とを有する。結合核領域を切断する工程［３］は、［Ａ］結合した核領域を検出する工程、［Ｂ］検出された結合核領域を切断する工程とを有する。
【００１８】
［１］４次元顕微鏡画像の撮影
線虫初期胚のノマルスキー型顕微鏡による４Ｄ画像の撮影について説明する。４Ｄ画像が意味することころは、従来技術の欄に記載したとおりであって、焦点を異ならしめて撮影した複数の２次元画像と、該複数の２次元画像を時系列に撮影してなる複数の２次元画像を言う。すなわち、焦点面、時点が異なる複数の２次元画像を統合した画像を４Ｄ画像と言う。ある時点における焦点面の異なる複数の２次画像における２次元核領域を統合することである時点における核領域（ｚ軸方向の座標が異なる複数の２次元核領域から構成されたユニット）が構成される。本実施の形態で処理対象とする線虫の初期胚の画像は、焦点面を上下に変えて３０〜９０枚の１セットとし、３０秒〜５分毎に撮影する。実験では、８９の焦点面、２０の時系列点について、合計１７８０枚の２次元画像を撮影した。細胞の長尺方向の半径は約６０μｍ、短尺方向の半径は約３０μｍである。撮影は９０秒毎に行った。処理対象の顕微鏡画像の例を図２に示す。横軸が時間軸（時点）、縦軸が焦点軸（焦点面）である。４次元画像は、最も好ましくは、ノマルスキー型透過型微分干渉顕微鏡で撮影したものであるが、４次元画像はこれに限定されるものではない。
【００１９】
［２］核候補の抽出
個々の２次元画像における細胞核の位置の抽出について説明する。個々の２次元画像における細胞核の位置の抽出について、エントロピーフィルタを用いた核領域の抽出に基づいて説明する。本発明が採用したエントロピーフィルタは、注目画素（ｘ，ｙ）を含む小区画のエントロピーを計算し、得られたエントロピー値を該注目画素（ｘ，ｙ）の新しい値とするものであり、画像から平坦な部分あるいは粗い部分を効率的に抽出するフィルタである。これは、細胞質の画質がザラザラしているのに対して、核領域の画質が比較的平坦であることを利用したものである。
【００２０】
図３に示すように、大きさＭ×Ｎ画素の元画像の中に始点（ｘ，ｙ）を決定する。ｘ：０〜（画像幅−ウィンドウ幅）；ｙ：０〜（画像の高さ−ウィンドウの高さ）である。
【００２１】
次いで、始点として選択した注目画素から（幅、高さ）＝（Ａ，Ｂ）の大きさのウィンドウで画像を区画する。区画されたウィンドウのエントロピーを計算し、得られたエントロピー値を、新しい画素値として、処理画像の座標（ｘ，ｙ）に保存する。図示のものでは、ｘ：０〜（Ｍ−１−Ａ）、ｙ：０〜（Ｎ−１−Ｂ）である。
【００２２】
エントロピー計算は式（１）に基づいて行なわれる。
【数２】
【００２３】
小区画のエントロピー計算を行いながら元画像を走査することで、効率良く核の位置を抽出することができる。エントロピーウィンドウサイズについては、顕微鏡の種類や倍率等に依存するものであるが、６[pixel]×６[pixel]〜２０[pixel]×２０[pixel]（好ましくは、１０[pixel]×１０[pixel]、または、１２[pixel]×１２[pixel]）の画像領域ウィンドウを用いることで良好な結果を得た。この場合、核領域のピクセルは細胞分裂等の要因によって幅があるが、だいたい１０００ピクセルから１００００ピクセルである。もちろん、前述したウィンドウサイズや核領域のピクセル数は単なる例に過ぎない。
【００２４】
エントロピーフィルタによる処理画像について図４乃至図６に基づいて説明する。図４はある細胞の顕微鏡画像であり、図５は、図４の画像のエントロピーフィルタによる処理後の細胞の画像（フィルタリング画像）である。図６は、エントロピーフィルタによる処理後の画像（図５）を閾値を用いて２値化処理したものを、図４の顕微鏡画像に重ね合わせたものである。このようにして４Ｄ画像を構成する複数の２Ｄ画像から核候補が抽出される。好ましくは、計算されたエントロピー値がα〜β（α：最小値、β：最大値）を取る場合に、α〜βが２５５〜０となるようにエントロピー値を変換したものを濃度値として用いる。元来平坦な部分で値が小さくなるエントロピー値を変換することで、平坦な部分ほど濃度値が大きく出るようにした。一例を挙げると、１０×１０のウィンドウの場合、通常、エントロピー値に基づく核部分の画素値は１００〜１６０であり、エントロピー値に基づく細胞質部分の画素値は２０〜７０である。閾値としては８０を用いて、濃度値が８０以上の領域を核領域として抽出する。
【００２５】
上述のように、エントロピーフィルタを用いた細胞核領域の抽出は、エントロピーフィルタを用いて画像を変換し、変換された画像を２値化することで行なわれていたが、従来の手法では、２値化の際に単一の閾値を用いていた。しかしながら、細胞核の存在位置、大きさ、隣り合う細胞核との位置関係等に依存して、その細胞核の認識に適した閾値が大きく異なるため、存在する全ての細胞核を認識し得る単一の閾値を設定することはできなかった。そのため、単一の閾値だけによる２値化では、細胞核の認識に失敗する恐れがあるという不具合があった。従来は２値化の際に単一の閾値（好適な例では８０）を用いていたが、この単一の閾値では、本来の核を核領域として認識しないことがあった。例えば、核領域が細胞の周縁に近接した部位に位置していると、細胞のバックグランドと核領域とを区別することが困難であった。
【００２６】
そこで、核領域の認識に関して、複数の閾値を用いて核領域の抽出を段階的に行い、従来の手法だけでは認識できなかった核領域を他の閾値の処理結果を用いて補填することで、核領域の認識率を高めるようにした。
【００２７】
ここで注意しなければならないことは、閾値を大きくしたような場合には、認識される核領域の面積が小さくなってしまうということである。例えば、閾値より大きい濃度値を有する領域を抽出する場合に、閾値８０の時に認識された核領域は、閾値９５では、閾値８０で認識されたものよりも小さい領域として認識される場合が多いと考えられる。核領域として認識される面積が小さいと、細胞系譜作成作業の精度に影響を与えるおそれがある。したがって、複数の閾値を用いる場合にはその点も解決する必要がある。
【００２８】
改良されたエントロピーフィルタを用いた認識法について説明する。一つの好適な具体例として、３種類（８０（従来の値）、９５，１０５）の閾値を用いる。３種類の閾値を用いて、核領域をそれぞれ抽出する（図７参照）。はじめに、８０の値で取得された核領域と９５の値で処理された核領域とを比較して、９５の値のときに増えている核領域だけを８０の核領域に追加する。閾値８０と閾値９５の両方で検出され、かつ閾値８０の場合の方が大きい領域である場合には、その核領域としては閾値８０のものが有効となる。次に、８０と９５の値で作成された核領域と１０５の値で処理された核領域とを比較して、１０５の値のときに増えている核領域だけをさらに追加する。閾値８０と閾値９５と閾値１０５と全てで検出され、かつ閾値８０の場合の方が大きい領域である場合には、その核領域としては閾値８０のものが有効となる。９５の値のときに増えている核領域が同時に閾値１０５で検出され、かつ閾値９５の場合の方が大きい領域である場合には、その核領域としては閾値９５のものが有効となる。この結果、従来の手法（単一の閾値）で認識できる核領域に影響を与えることなく、従来の手法（単一の閾値）で認識できなかった核領域を追加することができ、核領域の認識率を高めることができる。複数の閾値を用いたエントロピーフィルタによる抽出法は、結合核領域の検出・切断とは独立して、核領域の認識全般に広く適用され得る手法である。
【００２９】
核候補データを抽出する手段は、エントロピーフィルタに限定されるものではなく、他の手段であってもよい。細胞核を抽出する工程は、画像の明暗の細かい変化が少ない領域を核として検出する手法、あるいは、光の角度に沿って広い範囲で明暗の変化の大きい部分を核として抽出する手法を含む。前者の例としては、Kirschフィルタ、Preｗittフィルタ、ＦＦＴフィルタを用いるものが挙げられる。Kirschフィルタは好ましくは、Kirschテンプレート型エッジ検出オペレータと移動平均法を組み合わせたフィルタである。Preｗittフィルタは好ましくは、Prewittテンプレート型エッジ検出オペレータの出力を２値化し、さらに距離変換を適用するフィルタである。後者の例としては、見た目の光の角度に沿って上下所定ピクセル分の輝度値の合計の差分を取るフィルタが採用される。
【００３０】
[３]結合している核領域の検出
細胞系譜構築法における核領域の認識の処理では、近傍の複数の核を、一つの核として認識してしまうことがある（図１６A,a参照）。従来の細胞系譜構築法では、このように複数の核領域が結合している箇所があると、細胞系譜構築の際に、そこから時間的に上流の細胞系譜は一つであると判断するため、正しく細胞系譜を構築することができない（図１）。よって、結合している核領域を特定して、これを本来の核領域に修正することが必要となる。ここで、核領域が結合しているということは次のような場合を意味する。核領域は同時刻におけるｚ軸方向の座標が異なる複数の２次元画像の集合体である。複数の核領域がある場合に、それぞれの核領域を構成するいずれかの２次元核領域（ｚ軸座標が異なる２次元画像同士も含む）がｘ−ｙ平面視でオーバーラップしている場合には、核領域が結合していると判断される。
【００３１】
[Ａ]結合した核領域の検出
ある時間の１つの核領域は、３次元的に数個の切断面の核領域で構成される（以後、ある時間においてｚ軸座標が異なる複数の２次元核領域から構成される核領域をユニットと表現する）。あるユニット（３次元核領域）が真球に近い場合に、それを単一の核（エリート核）であると判定する（図８参照）。今、核は時間経過に沿って分裂することはあっても融合することがないと仮定すると、エリート核と判断された領域から時間的に下流へ辿っていき、複数のエリート核から辿り着くことのできる１つのユニットは複数の核が結合して認識された領域であることがわかる（図９参照）。
【００３２】
エリート核の判定方法について説明する。エリート核は、各ユニットに対して判定されるものである。今あるユニットがN個の２次元核領域で構成されているとする。
【００３３】
先ず基準核領域を決定する。基準核領域は以下の手順で決定する。ユニットを構成する各２次元の核領域のうち、z軸において中間にある核領域を選択する。ｚ軸において中間にある核領域は次のように決定する。ユニットの高さが奇数枚で構成される場合には、中間の高さの核領域（複数個もあり得る）を候補とする。例えば、ユニットが５つの２次元核領域から構成される場合には、ｚ軸方向に上方あるいは下方から３番目の２次元核領域が中間核領域候補として選択される。ユニットの高さが偶数枚で構成される場合には、ユニットの中間の高さを挟む２つの高さの核領域を候補とする。例えば、ユニットが４つの２次元核領域から構成される場合には、ｚ軸方向に２番目と３番目の２次元核領域を候補とする。次いで、候補の核領域の最小包含円(A)を求める。最小包含円(A)の半径rが最大になる核領域を基準核領域(B)として選択する。
【００３４】
基準核領域(B)の重心座標を中心として半径rの真球を理想核とする。ユニットと理想核とを比較することでエリート核の判定を行う。先ず、真球の体積Vを算出する。真球の体積は、V=4πr3/3で求められる。
【００３５】
次に、真球に対する含有率・はみ出し率の計算を行う。ユニットを構成するある２次元核領域kについて、真球に包含される部分の面積をSin(k)とする。今、核領域計測における高さの幅をH（４次元画像撮像時に予め決定されている。例えば、０．５μｍである。）とすると含有率は以下の式で計算する。
【数３】
ユニットを構成するある２次元核領域kについて、真球に包含されない部分の面積をSout(k)とする。
【数４】
そして、（i）（含有率）＞37%、（ii）（はみ出し率）＜5%の両方の条件を共に満たすユニットをエリート核とする。エリート核の選出について、好適な実施形態に基づいて説明したが、他の方法を用いて真球に近いユニットをエリート核を選出してもよい。
【００３８】
エリート核と判断された領域から時間的に下流へ辿っていき、複数の経路から辿り着くことのできる核領域が結合した核領域であると検出できる。この核領域を時間的に辿る作業には、国際公開ＷＯ０２／４５０１８に開示されているリンク判定を用いる。本明細書において、リンクするとは、リンク元とリンク対象の核候補が、特定の条件を満たす時に、リンクしていると判断する。リンクには、図１０に示すように、ｚ軸方向のリンクと、時間軸方向のリンクがある。
［ｚ軸方向のリンク］
Ｚ＝ｚとＺ＝ｚ＋ａとのリンクを有効とする（ａは任意）
Ｚ＝ｚとＺ＝ｚ−ｂとのリンクを有効とする（ｂは任意）
［時間軸方向のリンク］
Ｔ＝ｔとＴ＝ｔ−ｃとのリンクを有効とする（ｃは任意）
Ｔ＝ｔとＴ＝ｔ＋ｄとのリンクを有効とする（ｄは任意）
一つの好ましい態様では、ａ，ｂ，ｃ，ｄは１（すなわち、ｚ軸方向あるいは時間軸方向に隣位の画像）である。しかしながら、ａ，ｂ，ｃ，ｄはかならずしも１である必要はなく、ｚ軸方向あるいは時間軸方向に隣位の画像を飛び越えて、他の画像にリンクしてもよい。
【００３９】
リンクの条件について説明する。リンクするための条件は、好適な例では、図１１中央に示すように、二つの核領域がｘ−ｙ平面でオーバーラップしていることである。好ましくは、１ピクセルでも重なればリンクしていると判定する。もっとも、オーバーラップ領域に閾値を設けることも可能である。また、図１１下方に示すように、リンク元とリンク対象の核領域の位置が指定した距離よりも小さいことを条件とすることも可能である。後者の条件における距離は、ｘ―ｙ−ｚ空間における３次元空間における距離を意味している。したがって、図１１下方におけるＡ−Ｂ間の距離は３次元距離である。距離を算出する際には、各核候補には設定されている重心座標（ｘ、ｙ）を用いる。また、４次元顕微鏡画像は、撮影時において、各々の画像がｚ軸において何マイクロメートルの高さの写真であるか厳密に決められている。
【００４０】
結合した核領域の検出方法について説明する。エリート核と判断された領域から時間的に下流へ辿っていき、複数のエリート核から辿り着くことのできる１つのユニットは複数の核が結合して認識された領域であることは既に述べた。ここでは、結合した核領域を検出するより具体的な手段について説明する。
【００４１】
エリート核をeとし、最も大きい時間のエリート核から時間をさかのぼるように並べたときのx番目のエリート核をe(x)とする（ただし、同じ時間に複数のエリートに到達する場合、画像のy座標においてより小さいものを若い順番にする。同じyの座標に複数存在する場合には、x座標においてより小さいものを若い順番にする。）。
【００４２】
あるエリート核e(k)から時間的に上流へ辿ることで到達することのできるエリート核の順列をP(e(k))とする。 今、結合領域が存在しない場合、以下の等式が成り立つ。
【数５】
【００４３】
式(２)が成り立たない場合、e(k+1)とe(k+2)から下流に辿って行く過程において、初めてe(k+1)とe(k+2)がともに辿り着くことができる核領域が、e(k+1)とe(k+2)で検出することのできる最も時間的に若い結合領域である。図１３は、結合箇所がある場合の結合箇所検出を示す図である。ｅ１から時間的に上流へ辿るとｅ２、ｅ３、ｅ４を経てｅ５に到達する。ｅ２から時間的に上流へ辿るとｅ３、ｅ４を経てｅ５に到達する。ｅ３から時間的に上流へ辿るとｅ４を経ずにｅ５に到達する。すなわち、ｋ＝２の時に、式（２）は成立しない。ｅ（２＋１）とｅ（２＋２）から下流に辿っていく過程において、ｅ３、ｅ４が共に辿り着くことができる核領域が結合領域である。結合領域ｘはｅ２の上流、かつ、ｅ３とｅ４の下流であることがわかる。
【００４４】
［B］結合した核領域の切断
結合した核領域の切断とは、結合している核領域に対して切断面を決定し別々の核領域として再構築する処理である。図１４、図１５は、結合した核領域の切断を説明する図であって、Ｔ＝ｔ+０が検出された結合核領域であり、Ｔ＝ｔ−１が一つ前の時間で、核領域が離れているものを示している。先ず、結合していると検出された核領域に対して、そこに辿り着くことのできる核領域を時間的に一つ上流から取り出す。結合している核領域を切断するための切断面の位置を、取り出した一つ前の時間の領域によって決定する。一つ前の時間に離れていた核の領域が次の時間に結合したとみなして、離れていた核領域同士の間（くびれ探索範囲）から、結合している核領域のもっとも細いところを計算して切断面を決定する。そして、複数の核を誤って一つの核として認識した核領域を検出し、誤認識された領域を別々の核の領域とする（図１６B,b参照）。
【００４５】
Ｔ＝ｔ+１、Ｔ＝ｔ+２は、さらに切断を進めるか否かの判定を説明する図である。Ｔ＝ｔ+０における切断面に基づいて、さらに遊び探索範囲と、くびれ探索範囲を設定する。遊び探索範囲とは、その範囲内に空間があれば（図１４参照）、もう結合していないと判断し、切断作業を終了させるための範囲である。遊び探索範囲に空間がない場合（図１５）には、Ｔ＝ｔ+１の時間にもまだ結合が続いていると判断し、切断作業を行う。切断作業を行なう場合には、くびれ探索範囲内でもっとも細い部分を探索して、その部位を切断する。Ｔ＝ｔ+２は、切断作業の終了条件を満たしている状態を示している。このものでは、遊び探索範囲の中に空間を検出しているので、切断作業は行わず、ここまで続いていたある結合領域に対する切断処理を終了する。以降、結合した核領域がなくなるまで繰り返し切断処理を行うことで、データに含まれる結合した核領域の除去を行う。以下、結合領域の切断の具体的手法について詳細に説明する。
【００４６】
［T=t-1］
まず、結合していると検出された核領域に対して、そこに辿り着くことのできる核領域を時間的に１つ上流から取り出す。そして、１つ前の時間の離れている核領域同士の間からくびれ探索範囲1(A)を決定する。くびれ探索範囲1(A)は以下のように求められる。図１４、図１５において、ｇ１、ｇ２は二つの核領域の重心であり、位置ベクトルで表される。くびれ探索範囲（A）を決定する二つの点P１、P２は位置ベクトルを用いて以下のとおり表される。
【数６】
【００４７】
[T=t]
線分P１P２を法線とする平面を用いて、くびれ探索範囲(A)の範囲で核領域の断面積を最も小さくするときの平面と線分P１P２の交点をC1とする。くびれ検索範囲(A)の範囲で核領域の断面積を最も小さくするときの平面が切断面となり、該平面で結合領域を切断する。線分P１P２において、C1を中心として40pixelの範囲をあそび探索範囲(B)とする。
【００４８】
[T=t+1]
線分P１P２を法線とする平面を用いてあそび探索範囲(B)の範囲で核領域ではないところが存在する場合、T=t+1では核領域は結合していないと判断し、この結合領域に関する処理を終了する（図１４参照）。この場合には、改めて他の結合領域の検出を行う。
【００４９】
線分P１P２を法線とする平面を用いてあそび探索範囲(B)の範囲すべてに核領域が存在する場合、T=t+1の時間も結合領域が存在していると判断し、この結合領域に関する処理を継続する（図１５、T=t+1参照）。
【００５０】
線分P１P２において、C1を中心として20pixelの範囲をくびれ探索範囲２(C)とする。線分P１P２を法線とする平面を用いてくびれ探索範囲２(C)の範囲で核領域の断面積を最も小さくするときの平面と線分P１P２の交点をC2とする。くびれ探索範囲(C)の範囲で核領域の断面積を最も小さくするときの平面で結合領域を切断する。
【００５１】
[T=t+2]
次いで、C2をC1とみなしてあそび探索範囲を設定し、T=t+2における処理をT=t+1の時と同様に行う。図１５、T=t+2の例は、T=t+2においてあそび探索範囲に核領域ではないところがあるので、T=t+２では核領域は結合していないと判断し、この結合領域に関する処理を終了する。この場合には、改めて他の結合領域の検出を行う。
【００５２】
［４］細胞系譜構築
核領域の認識過程において、複数の核を一つであると誤認識した箇所を特定し、その箇所を正しく別々の領域になるように修正することにより、極めて精度の高い核領域データが得られる。したがって、より正確な細胞系譜を自動構築することができる。細胞系譜構築の具体的手法としては、好ましい例としては、特開２００１−２５８５９９号公報、特開２００１−３１１７３０号公報、国際公報番号ＷＯ０２／４５０１８に開示された手法が用いられる。尚、本発明に係る結合領域の特定・切断は、好適には細胞系譜構築に適用されるものであるが、必ずしも細胞系譜構築に限定されるものではなく、より正確な核領域の認識手段として、その他の用途にも用いられるものである。
【図面の簡単な説明】
【図１】結合した核領域が存在する場合の従来手法による細胞系譜構築を示す図である。
【図２】処理対象の顕微鏡画像の例を示す図である。
【図３】エントロピーフィルタの説明図である。
【図４】細胞の顕微鏡画像である。
【図５】エントロピーフィルタによる処理後の画像である。
【図６】 エントロピーフィルタによる処理後の画像を閾値処理したものを、顕微鏡画像に重ね合わせたものである。
【図７】３種類の閾値によって抽出された核領域を示す図であって、左から順に、閾値８０、閾値９５、閾値１０５を用いて２値化した画像を示している。
【図８】エリート核の判定の説明図である。
【図９】結合した核領域検出の概略図である。
【図１０】ｚ軸方向および時間軸方向のリンクを説明する図である。
【図１１】リンク条件を説明する図である。
【図１２】 結合箇所がない場合の結合箇所検出を説明する図である。
【図１３】結合箇所がある場合の結合箇所検出を説明する図である。
【図１４】結合した核領域の切断を説明する図であって、結合領域が一つの時間だけ場合を示している。
【図１５】結合した核領域の切断を説明する図であって、結合領域が連続する場合を示している。
【図１６】切断前後の核領域を示す図であり、A、aは処理前、B、bは処理後、白線は認識された核領域、矢頭は結合領域、矢は切断箇所を示している。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to image processing for extracting cell nuclei from a four-dimensional microscope image to be observed. Preferably, the cell nucleus region obtained using the present invention is used for cell lineage generation.
[0002]
[Prior art]
[Patent Document 1]
JP 2001-258599 A
[Patent Document 2]
JP 2001-31730 A
[Patent Document 3]
International Publication Number WO02 / 45018
[Patent Document 4]
International Publication Number WO02 / 45021
[0003]
C. elegans is an experimental organism found by Sidney Brenner in 1965, which has been analyzed in detail in current molecular biology (E. coli, yeast, nematode, fly, Xenopus, sebra) Fish, mice, etc.). Nematodes are positioned as the simplest of multicellular organisms among these experimental organisms.
[0004]
In multicellular organisms, one fertilized egg (single cell) basically repeats orderly and forms an adult consisting of a large number of cells. A tree lineage description of the order of division from a fertilized egg is called a cell lineage. Nematodes are the only multicellular organisms whose cell lineages from fertilized eggs to adults have been clarified. This cell lineage was determined in 1983 by Sulston et al.
[0005]
A normal nematode (wild type) has a constant cell lineage from its fertilized egg to adulthood in all individuals. When a mutation occurs in a particular gene, the function of that gene changes, and the cell division pattern, ie, the cell lineage, changes compared to that of the wild type. The function of the mutated gene is estimated from the changes in the cell lineage, and a large number of genes are rapidly identified by the progress of research based on the estimation, and mutant animals are starting to be mass-produced. . Considering the effective use of these resources, automation of cell lineage analysis, which is the starting point for gene and mutant analysis, is an indispensable technique.
[0006]
Usually, a Nomarski-type transmission differential interference microscope (hereinafter referred to as “Nomarski microscope”) is used to create a cell lineage. According to the Nomarski microscope, the distribution and outer shape of the transparent contents to be observed can be captured by a bright and dark image. Recently, it is common to create a 4D microscope image using a Nomarski microscope. A microscope image observed at a specific focal point is considered to be a two-dimensional (xy axis) cross-sectional image obtained by horizontally cutting an observation target at a specific position. That is, by moving the focal point up and down (moving in the z-axis direction), cross-sectional images obtained by cutting the observation target at various positions in the z-axis direction are obtained. When these images are integrated, the three-dimensional shape of the observation target can be captured (three-dimensional image). Furthermore, the time change of the observation target can be captured by photographing such a three-dimensional image with time. An image taken in this way is called a 4D (four-dimensional) microscope image.
[0007]
Although the work using 4D microscope images is considered to be easier than Sulston's time, it requires considerable labor and time because humans judge cell nuclei and cell membranes from the captured images. It takes more than a day to make up to 16 cells from a fertilized egg.
[0008]
Accordingly, the inventors of the present application have proposed a cell lineage construction method for the purpose of constructing a cell lineage in a short time by building a cell lineage with a computer. However, in the process of recognizing a nuclear region in the cell lineage construction method, a plurality of neighboring nuclei may be recognized as one nucleus. If there is a place where multiple nuclear regions are connected in this way, when constructing the cell lineage, it is judged that there is only one cell lineage upstream from there, so the cell lineage must be constructed correctly. Cannot be performed (see FIG. 1).
[0009]
[Problems to be solved by the invention]
The present invention has been devised to solve the problems related to the creation of such a conventional cell lineage, and detects a nuclear region in which a plurality of nuclei are mistakenly recognized as one nucleus, and the erroneously recognized region is detected. It is intended to be a separate nuclear domain.
[0010]
[Means for Solving the Problems]
The technical means employed by the present invention to solve this problem is to detect a combined nucleus region in which two or more nucleus regions are recognized as one nucleus region from a plurality of nucleus regions extracted from a four-dimensional microscopic image of a cell. This is a method for cleaving a bond nucleus region, which has a first step of cutting and a second step of cutting the detected bond nucleus region. The four-dimensional microscopic image is obtained by taking a plurality of two-dimensional images by changing the focal plane of a cell to be observed, and by taking a plurality of the two-dimensional images in time series to obtain a plurality of different 2 at the focal plane and time. It is a dimensional image. Therefore, the nucleus region at a certain point in time is a unit composed of a plurality of two-dimensional nucleus regions having different coordinates in the z-axis direction at the same point.
[0011]
The first step is a step of selecting a nucleus region that accurately recognizes one nucleus as an elite nucleus, and a plurality of routes from a plurality of elite nuclei through a plurality of routes when traced downstream from the elite nucleus. Detecting a nuclear region that can be reached as a binding nucleus region. The elite nucleus selection step is preferably a step of selecting a nuclear region close to a true sphere as an elite nucleus.
[0012]
Preferably, the determination of the elite nucleus (determination of whether or not a certain unit is close to a true sphere) is based on an ideal nucleus based on a two-dimensional nucleus region in the z-axis direction between a plurality of two-dimensional nucleus regions constituting the unit. Is determined from the degree of overlap between the unit and the ideal nucleus. More specifically, the center of the ideal nucleus is the center of gravity of the selected intermediate two-dimensional nucleus region, and the diameter of the ideal nucleus is obtained from the radius of the minimum inclusion circle of the selected intermediate two-dimensional nucleus region.
[0013]
Preferably, the determination from the degree of overlap is performed by comparing the volume of the ideal nucleus with the volume of the unit. The virtual volume of the unit is calculated by adding the dimension (distance or height) in the z-axis direction between each two-dimensional nucleus region to each area of a plurality of two-dimensional nucleus regions constituting the unit. More preferably, the degree of the overlap is determined from the overlap ratio (content ratio) and the protrusion ratio between the unit and the ideal nucleus.
[0014]
A preferred method for identifying the binding region based on the elite nucleus will be described. Let e be the elite nucleus, and let e (x) be the x-th elite nucleus when time is arranged back in time from the elite nucleus with the longest time. Let P (e (k)) be the permutation of elite nuclei that can be reached by tracing upstream from a certain elite nuclei e (k). When equation (2), which will be described later, does not hold, both e (k + 1) and e (k + 2) are the first to follow downstream from e (k + 1) and e (k + 2). A nuclear region that can be reached is detected as a binding nucleus region.
[0015]
In the second step, a constriction search range is set based on the nuclear region separated at the previous time point (T = t−1), and the plane when the cross-sectional area of the nuclear region is minimized in the constriction search range is cut. The bonding nucleus region is cut along the plane. A line segment connecting the centroids of the nuclear regions separated at the previous time point constitutes a normal line of the plane. The constriction search range is set within the line segment.
[0016]
When a play search range is set around the intersection of the cut surface and the line segment, and there is a space that is not a nuclear region in the play search range at the next time point (T = t + 1) Terminates the cutting operation and performs the cutting operation when there is no space in the play search range. When there is no space in the play search range, a constriction search range is set with the intersection as the center, and a plane when the cross-sectional area of the nucleus region is minimized in the constriction search range is defined as a cutting plane. The binding nucleus region is cleaved.
[0017]
DETAILED DESCRIPTION OF THE INVENTION
The coupled nuclear region cutting method according to the present invention is preferably used for cell lineage creation work. Cell lineage creation work includes: [1] a step of photographing a 4D image of a nematode early embryo, [2] a step of extracting the position of a cell nucleus in each two-dimensional image, [3] cutting of the combined nuclear region And [4] a cell lineage construction step. The step [3] of cutting the binding nucleus region includes [A] a step of detecting the binding core region, and [B] a step of cutting the detected binding core region.
[0018]
[1] Taking a four-dimensional microscope image
Taking a 4D image of a nematode early embryo using a Nomarski microscope will be described. The meaning of the 4D image is as described in the column of the prior art, and a plurality of two-dimensional images photographed with different focal points, and a plurality of two-dimensional images photographed in time series. Say a two-dimensional image. That is, an image obtained by integrating a plurality of two-dimensional images having different focal planes and time points is referred to as a 4D image. A nuclear region (unit composed of a plurality of two-dimensional nuclear regions having different coordinates in the z-axis direction) is configured by integrating two-dimensional nuclear regions in a plurality of secondary images having different focal planes at a certain point in time. The The images of the nematode early embryos to be processed in the present embodiment are taken every 30 seconds to 5 minutes, with the focal plane being changed up and down to one set of 30 to 90 sheets. In the experiment, a total of 1780 two-dimensional images were taken for 89 focal planes and 20 time series points. The long-side radius of the cell is about 60 μm, and the short-side radius is about 30 μm. Photographing was performed every 90 seconds. An example of a microscope image to be processed is shown in FIG. The horizontal axis is the time axis (time point), and the vertical axis is the focal axis (focal plane). The four-dimensional image is most preferably taken with a Nomarski-type transmission differential interference microscope, but the four-dimensional image is not limited to this.
[0019]
[2] Extraction of nuclear candidates
The extraction of the position of the cell nucleus in each two-dimensional image will be described. Extraction of the position of the cell nucleus in each two-dimensional image will be described based on extraction of a nucleus region using an entropy filter. The entropy filter adopted by the present invention calculates the entropy of a small section including the target pixel (x, y), and sets the obtained entropy value as a new value of the target pixel (x, y). It is a filter that efficiently extracts a flat part or a rough part from the image. This utilizes the fact that the image quality of the nucleus region is relatively flat while the image quality of the cytoplasm is rough.
[0020]
As shown in FIG. 3, a starting point (x, y) is determined in an original image having a size of M × N pixels. x: 0 to (image width-window width); y: 0 to (image height-window height).
[0021]
Next, the image is partitioned by a window having a size of (width, height) = (A, B) from the target pixel selected as the start point. The entropy of the partitioned window is calculated, and the obtained entropy value is stored as the new pixel value in the coordinates (x, y) of the processed image. In the illustrated example, x is 0 to (M-1-A), and y is 0 to (N-1-B).
[0022]
The entropy calculation is performed based on Equation (1).
[Expression 2]
[0023]
By scanning the original image while performing entropy calculation of small sections, the position of the nucleus can be extracted efficiently. The entropy window size depends on the type and magnification of the microscope, but is 6 [pixel] × 6 [pixel] to 20 [pixel] × 20 [pixel] (preferably 10 [pixel] × 10 [ Pixel] or 12 [pixel] × 12 [pixel]) image area windows were used to obtain good results. In this case, the number of pixels in the nucleus region varies depending on factors such as cell division, but is approximately 1000 to 10,000 pixels. Of course, the window size and the number of pixels in the core area described above are merely examples.
[0024]
A processed image by the entropy filter will be described with reference to FIGS. FIG. 4 is a microscopic image of a certain cell, and FIG. 5 is an image (filtering image) of the cell after processing by the entropy filter of the image of FIG. FIG. 6 is an image obtained by binarizing the image after processing by the entropy filter (FIG. 5) using a threshold value and superposing it on the microscope image of FIG. 4. In this way, nuclear candidates are extracted from a plurality of 2D images constituting the 4D image. Preferably, when the calculated entropy value is α to β (α: minimum value, β: maximum value), the entropy value converted so that α to β is 255 to 0 is used as the concentration value. . By converting the entropy value, the value of which was originally flat in the flat part, the density value was increased in the flat part. For example, in the case of a 10 × 10 window, the pixel value of the nucleus portion based on the entropy value is normally 100 to 160, and the pixel value of the cytoplasm portion based on the entropy value is 20 to 70. Using 80 as a threshold value, an area having a density value of 80 or more is extracted as a nucleus area.
[0025]
As described above, the extraction of the cell nucleus region using the entropy filter has been performed by converting the image using the entropy filter and binarizing the converted image. A single threshold was used during conversion. However, depending on the location and size of cell nuclei, the positional relationship with neighboring cell nuclei, etc., the threshold suitable for recognizing the cell nuclei varies greatly, so a single threshold that can recognize all existing cell nuclei is set. It could not be set. For this reason, binarization using only a single threshold has a problem that cell nucleus recognition may fail. Conventionally, a single threshold value (80 in the preferred example) is used for binarization. However, with this single threshold value, the original nucleus may not be recognized as a nucleus region. For example, when the nucleus region is located at a position close to the periphery of the cell, it is difficult to distinguish the cell background from the nucleus region.
[0026]
Therefore, with regard to the recognition of the nuclear region, the extraction of the nuclear region is performed in stages using a plurality of thresholds, and the nuclear region that could not be recognized only by the conventional method is compensated by using the processing results of other thresholds, The recognition rate of the nuclear area was increased.
[0027]
It should be noted here that when the threshold value is increased, the area of the recognized nuclear region is reduced. For example, when extracting a region having a density value greater than the threshold value, the nucleus region recognized at the threshold value 80 is often recognized as a region smaller than that recognized at the threshold value 80 at the threshold value 95. Conceivable. If the area recognized as the nucleus region is small, the accuracy of the cell lineage creation work may be affected. Therefore, when using a plurality of threshold values, it is necessary to solve this point.
[0028]
A recognition method using an improved entropy filter will be described. As one preferred specific example, three types of threshold values (80 (conventional values), 95, 105) are used. Each of the nuclear regions is extracted using three types of threshold values (see FIG. 7). First, the nucleus region acquired at the value of 80 is compared with the nucleus region processed at the value of 95, and only the nucleus region that has increased at the value of 95 is added to the 80 nucleus region. In the case where the threshold value 80 and the threshold value 95 are both detected and the threshold value 80 is a larger region, the nucleus region having the threshold value 80 is effective. Next, the nucleus region created with the values of 80 and 95 is compared with the nucleus region processed with the value of 105, and only the nucleus region that has increased at the value of 105 is further added. When the threshold 80, the threshold 95, and the threshold 105 are all detected and the threshold 80 is a larger area, the nucleus area with the threshold 80 is effective. When a nuclear region increasing at a value of 95 is simultaneously detected by the threshold value 105 and the threshold value 95 is a larger region, the nucleus region having the threshold value 95 is effective. As a result, a nuclear region that could not be recognized by the conventional method (single threshold value) can be added without affecting the nuclear region that can be recognized by the conventional method (single threshold value). The recognition rate can be increased. The extraction method using an entropy filter using a plurality of thresholds is a method that can be widely applied to the overall recognition of nuclear regions independently of the detection and cutting of the bonded nuclear regions.
[0029]
The means for extracting the nuclear candidate data is not limited to the entropy filter, and may be other means. The step of extracting cell nuclei includes a method of detecting a region having a small change in light and darkness of an image as a nucleus, or a method of extracting a portion having a large change in light and dark as a nucleus in a wide range along the angle of light. Examples of the former include those using a Kirsch filter, a Prewitt filter, and an FFT filter. The Kirsch filter is preferably a filter that combines a Kirsch template type edge detection operator and a moving average method. The Prewitt filter is preferably a filter that binarizes the output of the Prewitt template type edge detection operator and further applies a distance transformation. As an example of the latter, a filter that takes the difference of the sum of luminance values for predetermined upper and lower pixels along the apparent light angle is employed.
[0030]
[3] Detection of bound nuclear regions
In the process of recognizing a nuclear region in the cell lineage construction method, a plurality of neighboring nuclei may be recognized as one nucleus (see FIG. 16A, a). In the conventional cell lineage construction method, if there is a place where multiple nuclear regions are connected in this way, it is judged that there is only one cell lineage upstream in time when constructing the cell lineage. The cell lineage cannot be constructed correctly (FIG. 1). Therefore, it is necessary to identify the bonded nuclear region and correct it to the original nuclear region. Here, the fact that the nuclear regions are connected means the following case. The nucleus region is an aggregate of a plurality of two-dimensional images with different coordinates in the z-axis direction at the same time. When there are a plurality of nucleus regions, and any two-dimensional nucleus regions (including two-dimensional images having different z-axis coordinates) constituting each nucleus region overlap in an xy plan view Is determined to be associated with the nuclear region.
[0031]
[A] Detection of bound nuclear region
One nuclear region at a certain time is composed of several cut-surface nuclear regions in a three-dimensional manner (hereinafter, a unit of a nuclear region composed of a plurality of two-dimensional nuclear regions having different z-axis coordinates at a certain time) Expressed). When a certain unit (three-dimensional nucleus region) is close to a true sphere, it is determined that it is a single nucleus (elite nucleus) (see FIG. 8). Assuming that nuclei may split along the passage of time but do not fuse together, now the nuclei will follow the elite nuclei downstream in time and arrive from multiple elite nuclei. It can be seen that one unit that can be recognized is a region recognized by combining a plurality of nuclei (see FIG. 9).
[0032]
A method for determining an elite nucleus will be described. The elite kernel is determined for each unit. Suppose that an existing unit consists of N two-dimensional nuclear regions.
[0033]
First, a reference nucleus region is determined. The reference nucleus region is determined by the following procedure. Of the two-dimensional nuclear regions constituting the unit, the intermediate nuclear region in the z-axis is selected. The nucleus region in the middle of the z axis is determined as follows. If the unit height is composed of an odd number, the nucleus region (which may be plural) having an intermediate height is used as a candidate. For example, when the unit is composed of five two-dimensional nucleus regions, the third two-dimensional nucleus region from the upper side or the lower side in the z-axis direction is selected as the intermediate nucleus region candidate. When the height of the unit is an even number, the nucleus region having two heights sandwiching the middle height of the unit is set as a candidate. For example, when the unit is composed of four two-dimensional nucleus regions, the second and third two-dimensional nucleus regions in the z-axis direction are candidates. Next, the minimum inclusion circle (A) of the candidate nucleus region is obtained. A nucleus region in which the radius r of the minimum inclusion circle (A) is maximized is selected as the reference nucleus region (B).
[0034]
A true sphere having a radius r centered on the barycentric coordinates of the reference nucleus region (B) is defined as an ideal nucleus. Elite nuclei are judged by comparing units with ideal nuclei. First, the volume V of the true sphere is calculated. The volume of the true sphere is V = 4πr Three Required by / 3.
[0035]
Next, the content ratio and the protrusion ratio with respect to the true sphere are calculated. For a two-dimensional nuclear region k that constitutes a unit, the area of the part contained in the true sphere is S in (k). Now, assuming that the height width in the nuclear region measurement is H (predetermined at the time of capturing a four-dimensional image. For example, 0.5 μm), the content rate is calculated by the following equation.
[Equation 3]
For a certain two-dimensional nuclear region k constituting a unit, the area of the part not included in the true sphere is S out (k).
[Expression 4]
A unit that satisfies both the conditions (i) (content rate)> 37% and (ii) (projection rate) <5% is defined as an elite nucleus. Although the selection of elite nuclei has been described based on the preferred embodiment, other methods may be used to select elite nuclei for units close to a true sphere.
[0038]
It can be detected that it is a nuclear region in which the nuclear regions that can be reached from a plurality of paths are traced downstream from the region determined to be an elite nucleus in time. The link determination disclosed in International Publication No. WO02 / 45018 is used for the operation of tracing the nuclear region in time. In this specification, linking is determined as linking when the link source and the target candidate for linking satisfy a specific condition. As shown in FIG. 10, there are links in the z-axis direction and links in the time axis direction.
[Link in the z-axis direction]
Validate the link between Z = z and Z = z + a (a is optional)
The link between Z = z and Z = z−b is valid (b is optional)
[Link in time axis direction]
The link between T = t and T = t−c is valid (c is arbitrary)
Validate the link between T = t and T = t + d (d is optional)
In one preferred embodiment, a, b, c, and d are 1 (that is, adjacent images in the z-axis direction or the time-axis direction). However, a, b, c, and d are not necessarily 1 and may be linked to other images by jumping over adjacent images in the z-axis direction or the time-axis direction.
[0039]
The link conditions will be described. In the preferred example, the condition for linking is that the two nuclear regions overlap in the xy plane, as shown in the center of FIG. Preferably, even if one pixel overlaps, it is determined that they are linked. However, it is also possible to provide a threshold value in the overlap region. Further, as shown in the lower part of FIG. 11, it is also possible to make it a condition that the position of the link source and the core region to be linked is smaller than the specified distance. The distance in the latter condition means a distance in a three-dimensional space in the xyz space. Therefore, the distance between A and B in the lower part of FIG. 11 is a three-dimensional distance. When calculating the distance, the center-of-gravity coordinates (x, y) set for each nucleus candidate are used. In addition, the four-dimensional microscopic image is strictly determined at the time of photographing how many micrometers each image is on the z axis.
[0040]
A method for detecting the combined nuclear region will be described. It has already been described that one unit that can be traced downstream from a region determined to be an elite nucleus and that can be reached from a plurality of elite nuclei is a region recognized by a combination of a plurality of nuclei. Here, more specific means for detecting the combined nuclear region will be described.
[0041]
Let e (x) be the elite nucleus and e (x) is the xth elite nucleus when time goes back from the elite nucleus of the longest time. (However, if multiple elite are reached at the same time, The smaller one in the y-coordinate is in the younger order, and if there are multiple items in the same y-coordinate, the smaller one in the x-coordinate is in the younger order.
[0042]
Let P (e (k)) be the permutation of elite nuclei that can be reached by tracing upstream from a certain elite nuclei e (k). If there is no coupled region now, the following equation holds:
[Equation 5]
[0043]
If equation (2) does not hold, e (k + 1) and e (k + 2) will arrive together for the first time in the process of going downstream from e (k + 1) and e (k + 2) The nuclear region that can be detected is the youngest combined region that can be detected by e (k + 1) and e (k + 2). FIG. 13 is a diagram illustrating the joint location detection when there is a joint location. Tracing upstream from e1, e5 is reached via e2, e3, e4. When e2 is traced upstream from e2, it reaches e5 via e3 and e4. When e3 is traced upstream from e3, e5 is reached without passing through e4. That is, equation (2) does not hold when k = 2. In the process of going downstream from e (2 + 1) and e (2 + 2), the nucleus region where both e3 and e4 can reach is the binding region. It can be seen that the coupling region x is upstream of e2 and downstream of e3 and e4.
[0044]
[B] Cutting the bound nuclear region
The cutting of bonded nuclear regions is a process of determining a cutting plane for the bonded nuclear regions and reconstructing them as separate nuclear regions. FIG. 14 and FIG. 15 are diagrams for explaining the cutting of the bonded nuclear region, where T = t + 0 is the detected nuclear region, and T = t−1 is the previous time, Shows areas that are separated. First, a nuclear region that can reach the nuclear region detected to be coupled is extracted from one upstream in time. The position of the cutting plane for cutting the bonded nuclear region is determined by the region of the previous time taken out. Assuming that the area of the nucleus that was distant from the previous time was combined at the next time, the narrowest part of the connected nuclear area was calculated from between the distant nuclear areas (constriction search range) To determine the cutting plane. Then, a nucleus region in which a plurality of nuclei are mistakenly recognized as one nucleus is detected, and the misrecognized region is set as a separate nucleus region (see FIGS. 16B and 16B).
[0045]
T = t + 1 and T = t + 2 are diagrams for explaining determination as to whether or not to proceed with further cutting. Based on the cut surface at T = t + 0, a play search range and a constriction search range are further set. The play search range is a range for ending the cutting operation when it is determined that there is no space in the range (see FIG. 14) and that the connection is no longer combined. If there is no space in the play search range (FIG. 15), it is determined that the connection is still continued at the time of T = t + 1, and the cutting operation is performed. When performing the cutting operation, the narrowest part is searched within the constriction search range, and the part is cut. T = t + 2 indicates a state where the cutting work end condition is satisfied. In this case, since the space is detected in the play search range, the cutting process is not performed, and the cutting process for a certain connected region that has been continued is terminated. Thereafter, the combined nucleus region included in the data is removed by repeatedly performing the cutting process until there is no more bound nucleus region. Hereinafter, a specific method for cutting the bonding region will be described in detail.
[0046]
[T = t-1]
First, with respect to a nuclear region detected to be bonded, a nuclear region that can reach the nuclear region is extracted from one upstream in time. Then, the constriction search range 1 (A) is determined from between the nuclear regions separated by the previous time. The constriction search range 1 (A) is obtained as follows. 14 and 15, g1 and g2 are the centroids of the two nucleus regions, and are represented by position vectors. The two points P1 and P2 that determine the constriction search range (A) are expressed as follows using position vectors.
[Formula 6]
[0047]
[T = t]
The intersection point between the plane and the line segment P1P2 when the cross-sectional area of the nucleus region is minimized within the range of the constriction search range (A) using the plane having the normal line segment P1P2 as C1. The plane when the cross-sectional area of the nucleus region is minimized within the range of the constriction search range (A) is the cut surface, and the coupling region is cut at the plane. In line segment P1P2, a range of 40 pixels centering on C1 is designated as a play search range (B).
[0048]
[T = t + 1]
If there is a place that is not a nuclear region in the play search range (B) using a plane whose normal is the line segment P1P2, it is determined that the nuclear region is not connected at T =
[0049]
If there is a nucleus region in the play search range (B) using a plane whose normal is the line segment P1P2, it is determined that there is a coupled region at time T =
[0050]
In the line segment P1P2, a range of 20 pixels centering on C1 is defined as a constriction search range 2 (C). Let C2 be the intersection of the plane and the line segment P1P2 when the cross-sectional area of the core region is minimized within the range of the constriction search range 2 (C) using the plane whose normal is the line segment P1P2. The coupling region is cut along the plane where the cross-sectional area of the nucleus region is minimized within the constriction search range (C).
[0051]
[T = t + 2]
Next, C2 is regarded as C1, the play search range is set, and the process at T = t + 2 is performed in the same manner as when T =
[0052]
[4] Cell lineage construction
In the process of recognizing the nuclear region, by identifying the location where multiple nuclei were mistakenly recognized as one, and correcting the location so that it becomes a separate region correctly, extremely accurate nuclear region data can be obtained. . Therefore, a more accurate cell lineage can be automatically constructed. As a specific method for constructing the cell lineage, as a preferable example, the methods disclosed in JP-A No. 2001-258599, JP-A No. 2001-31730, and International Publication No. WO02 / 45018 are used. Note that the identification / cutting of the binding region according to the present invention is preferably applied to the construction of the cell lineage, but is not necessarily limited to the construction of the cell lineage, and as a more accurate nuclear region recognition means. It is also used for other purposes.
[Brief description of the drawings]
FIG. 1 is a diagram showing the construction of a cell lineage by a conventional method when a combined nuclear region is present.
FIG. 2 is a diagram illustrating an example of a microscope image to be processed.
FIG. 3 is an explanatory diagram of an entropy filter.
FIG. 4 is a microscopic image of a cell.
FIG. 5 is an image after processing by an entropy filter.
FIG. 6 is an image obtained by performing threshold processing on an image after processing by an entropy filter and superimposed on a microscope image.
FIG. 7 is a diagram showing nucleus regions extracted by three types of threshold values, and shows an image binarized using a threshold value 80, a threshold value 95, and a threshold value 105 in order from the left.
FIG. 8 is an explanatory diagram of determination of elite nuclei.
FIG. 9 is a schematic diagram of bound nuclear region detection.
FIG. 10 is a diagram illustrating links in the z-axis direction and the time-axis direction.
FIG. 11 is a diagram illustrating link conditions.
FIG. 12 is a diagram for explaining detection of a connected portion when there is no connected portion.
FIG. 13 is a diagram for explaining detection of a connection location when there is a connection location.
FIG. 14 is a diagram for explaining cutting of a bonded nuclear region, and shows a case where the bonded region is only for one time.
FIG. 15 is a diagram for explaining cutting of bonded nuclear regions, and shows a case where bonded regions are continuous.
FIG. 16 is a diagram showing a nuclear region before and after cutting, A and a are before processing, B and b are after processing, a white line indicates a recognized nuclear region, an arrowhead indicates a binding region, and an arrow indicates a cutting position. .
Claims (7)
検出された該結合核領域を切断する第２工程と、
を有する結合核領域の切断方法であって、
前記核領域は、同時点においてｚ軸方向の座標が異なる複数の２次元核領域から構成されたユニットであり、
前記第１工程は、
１つの核を正確に認識している核領域をエリート核として選出する工程と、
該エリート核から、リンク判定を用いて、リンクする２次元核領域を時間的に下流に辿った時に、複数のエリート核から複数の経路を通って辿り着くことができる核領域を結合核領域として検出する工程と、
を有し、
前記第２工程は、
結合核領域が検出された時点の前の時点で離れていた核領域に基づいてくびれ探索範囲を設定し、該くびれ探索範囲において核領域の断面積を最も小さくする時の平面を切断面とし、該平面で該結合核領域を切断する、
ことを特徴とする結合核領域の切断方法。
ここで、前記リンク判定は、リンク元の２次元核領域とリンク対象の２次元核領域がｘ−ｙ平面でオーバーラップしている、あるいは、リンク元の２次元核領域の位置とリンク対象の２次元核領域の位置が指定した距離よりも小さい、という条件を満たす時にリンクしていると判断するものであり、
前記平面の法線は、前記前の時点で離れていた核領域の重心を結ぶ線分である。 A first step of detecting a combined nucleus region in which two or more nucleus regions are recognized as one nucleus region from a plurality of nucleus regions extracted from a four-dimensional microscopic image of a cell;
A second step of cleaving the detected binding nucleus region;
A method for cutting a binding nucleus region having
The nuclear region is a unit composed of a plurality of two-dimensional nuclear regions having different z-axis direction coordinates at the same point,
The first step includes
Selecting a nuclear region that accurately recognizes one nucleus as an elite nucleus;
When a linked two-dimensional nucleus region is traced downstream in time from the elite nucleus using a link determination, a nucleus region that can be reached from a plurality of elite nuclei through a plurality of paths is defined as a coupled nucleus region. Detecting step;
I have a,
The second step includes
A constriction search range is set based on a nuclear region that is separated at a time point before the time when the bound nucleus region is detected, and a plane when the cross-sectional area of the nucleus region is minimized in the constriction search range is a cutting plane, Cutting the bond nucleus region in the plane;
A method for cutting a binding nucleus region.
Here, in the link determination, the link source two-dimensional nucleus region and the link target two-dimensional nucleus region overlap in the xy plane, or the position of the link source two-dimensional nucleus region and the link target It is determined that the link is made when the condition that the position of the two-dimensional nucleus region is smaller than the specified distance is satisfied,
The normal line of the plane is a line segment that connects the centroids of the nuclear regions that were separated at the previous time point.
前記方法は、細胞の４次元顕微鏡画像から抽出した複数の核領域から、２以上の核領域が１つの核領域として認識された結合核領域を検出する方法であって、The method is a method for detecting a combined nucleus region in which two or more nucleus regions are recognized as one nucleus region from a plurality of nucleus regions extracted from a four-dimensional microscopic image of a cell,
前記核領域は、同時点においてｚ軸方向の座標が異なる複数の２次元核領域から構成されたユニットであり、The nucleus region is a unit composed of a plurality of two-dimensional nucleus regions having different z-axis direction coordinates at the same point,
１つの核を正確に認識している核領域をエリート核として選出する工程と、Selecting a nuclear region that accurately recognizes one nucleus as an elite nucleus;
該エリート核から、リンク判定を用いて、リンクする２次元核領域を時間的に下流に辿った時に、複数のエリート核から複数の経路を通って辿り着くことができる核領域を結合核領域として検出する工程と、When a linked two-dimensional nucleus region is traced downstream in time using link determination from the elite nucleus, a nucleus region that can be reached from a plurality of elite nuclei through a plurality of paths is defined as a coupled nucleus region. Detecting step;
を有する、結合核領域切断のための結合核領域検出方法。A method for detecting a binding nucleus region for cutting the binding nucleus region.
ここで、前記リンク判定は、リンク元の２次元核領域とリンク対象の２次元核領域がｘ−ｙ平面でオーバーラップしている、あるいは、リンク元の２次元核領域の位置とリンク対象の２次元核領域の位置が指定した距離よりも小さい、という条件を満たす時にリンクしていると判断するものである。Here, in the link determination, the link source two-dimensional nucleus region and the link target two-dimensional nucleus region overlap in the xy plane, or the position of the link source two-dimensional nucleus region and the link target When the condition that the position of the two-dimensional nucleus region is smaller than the specified distance is satisfied, it is determined that the link is made.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003148603A JP3921182B2 (en) | 2003-05-27 | 2003-05-27 | Method for cutting the bond nucleus region in nuclear region recognition |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003148603A JP3921182B2 (en) | 2003-05-27 | 2003-05-27 | Method for cutting the bond nucleus region in nuclear region recognition |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004350508A JP2004350508A (en) | 2004-12-16 |
| JP3921182B2 true JP3921182B2 (en) | 2007-05-30 |
Family
ID=34044920
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003148603A Expired - Fee Related JP3921182B2 (en) | 2003-05-27 | 2003-05-27 | Method for cutting the bond nucleus region in nuclear region recognition |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3921182B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014157158A (en) * | 2014-04-17 | 2014-08-28 | Olympus Corp | Cell observation method, three-dimensional cell image analysis system, and three-dimensional cell image analyzer used therefor |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPWO2006095896A1 (en) * | 2005-03-08 | 2008-08-21 | 学校法人日本大学 | Cultured cell monitoring system |
| GB2430026A (en) * | 2005-09-09 | 2007-03-14 | Qinetiq Ltd | Automated selection of image regions |
| JP5062209B2 (en) * | 2009-03-24 | 2012-10-31 | 日本電気株式会社 | Image analysis apparatus, image analysis system, image analysis program, and image analysis method |
| JP6090770B2 (en) * | 2012-10-25 | 2017-03-08 | 大日本印刷株式会社 | Cell behavior analysis apparatus, cell behavior analysis method, and program |
| CN106558060A (en) * | 2015-09-24 | 2017-04-05 | 阿里巴巴集团控股有限公司 | Image processing method and device |
| JP6866629B2 (en) * | 2016-12-16 | 2021-04-28 | 大日本印刷株式会社 | Image analyzer, image analysis method and program |
| JP2018153697A (en) * | 2018-06-11 | 2018-10-04 | 株式会社ユニバーサルエンターテインメント | Game machine |
| CN114252653B (en) * | 2021-01-06 | 2023-12-12 | 中国科学院物理研究所 | Ultrafast imaging device and method thereof |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001059842A (en) * | 1999-08-25 | 2001-03-06 | Nec Corp | Pathological diagnostic apparatus |
| JP3431883B2 (en) * | 2000-04-27 | 2003-07-28 | 科学技術振興事業団 | Cell lineage extraction method |
| JP3679680B2 (en) * | 2000-03-23 | 2005-08-03 | 独立行政法人科学技術振興機構 | Cell lineage extraction method |
| US7327867B2 (en) * | 2000-12-01 | 2008-02-05 | Japan Science And Technology Corporation | Methods for recognizing nucleus area and constructing cell lineage |
| US7460702B2 (en) * | 2000-12-01 | 2008-12-02 | Japan Science And Technology Corporation | Entropy filter, and area extracting method using the filter |
| JP4749637B2 (en) * | 2001-09-28 | 2011-08-17 | オリンパス株式会社 | Image analysis method, apparatus, and recording medium |
-
2003
- 2003-05-27 JP JP2003148603A patent/JP3921182B2/en not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014157158A (en) * | 2014-04-17 | 2014-08-28 | Olympus Corp | Cell observation method, three-dimensional cell image analysis system, and three-dimensional cell image analyzer used therefor |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004350508A (en) | 2004-12-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110378879B (en) | Bridge crack detection method | |
| US10571454B2 (en) | Method of board lumber grading using deep learning techniques | |
| US6941016B1 (en) | Method for finding contours in an image of an object | |
| JP5351673B2 (en) | Appearance inspection device, appearance inspection method | |
| EP2101296B1 (en) | Eye detecting device, eye detecting method, and program | |
| US9075026B2 (en) | Defect inspection device and defect inspection method | |
| CN103827919B (en) | For the method providing the image of tissue slice | |
| JP4964171B2 (en) | Target region extraction method, apparatus, and program | |
| CN107452035B (en) | Method and apparatus for analyzing lane line image and computer readable medium thereof | |
| JP3921182B2 (en) | Method for cutting the bond nucleus region in nuclear region recognition | |
| CN109241929A (en) | Method for detecting lane lines, device and the automatic driving vehicle of automatic driving vehicle | |
| JP6844564B2 (en) | Inspection system, identification system, and learning data generator | |
| JP3889361B2 (en) | Nuclear region recognition method and cell lineage generation method | |
| JP2005275500A (en) | Vanishing point decision method | |
| US20030108230A1 (en) | Cell lineage extracting method | |
| JP5531643B2 (en) | Passage detection method, apparatus, and program | |
| JP3431883B2 (en) | Cell lineage extraction method | |
| CN115115939B (en) | Remote sensing image target fine-grained identification method based on characteristic attention mechanism | |
| Topal et al. | Real-time edge segment detection with edge drawing algorithm | |
| JP3679680B2 (en) | Cell lineage extraction method | |
| CN106023191A (en) | Optical drawing character edge extraction and edge fitting method based on structure features | |
| JP2005250786A (en) | Image recognition method | |
| KR20110012302A (en) | Automatic method for discriminating harmful image | |
| JP2008117126A (en) | Character recognition device and method | |
| JP2022091453A (en) | Detection device, detection method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060425 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20060427 |
|
| A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20060621 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060704 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060822 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061017 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061215 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070206 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070216 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |