JP3946590B2 - 画像処理方法、画像処理プログラムおよび画像処理装置 - Google Patents
画像処理方法、画像処理プログラムおよび画像処理装置 Download PDFInfo
- Publication number
- JP3946590B2 JP3946590B2 JP2002207146A JP2002207146A JP3946590B2 JP 3946590 B2 JP3946590 B2 JP 3946590B2 JP 2002207146 A JP2002207146 A JP 2002207146A JP 2002207146 A JP2002207146 A JP 2002207146A JP 3946590 B2 JP3946590 B2 JP 3946590B2
- Authority
- JP
- Japan
- Prior art keywords
- contour
- image
- image processing
- information
- phase difference
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
- Investigating Or Analysing Biological Materials (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、光学顕微鏡などで撮影した細胞の画像においてその細胞の輪郭を抽出する画像処理方法、画像処理プログラム、画像処理装置に関する。
【０００２】
【従来の技術】
近年、ヒトの遺伝情報の概要が解読され、つぎの段階として医療・創薬分野などへの応用のためにＤＮＡの機能解析が注目されている。その一つの手段として、細胞内にｃＤＮＡを注入したときに引き起こされる形態変化を定量的に解析することによって、ＤＮＡの機能を明らかにしようとする試みがある。従来、その解析には目視により形態変化をスクリーニングする方法が用いられていた。
【０００３】
【発明が解決しようとする課題】
しかしながら、上記の従来技術にあっては、解析処理に多大な時間と費用を必要とするという問題点があった。特に、創薬分野などへ応用するためには大量の形態変化を解析する必要があり（たとえば、１日１万検体以上）、そこで、画像処理により自動的に形態変化を検出し解析することが求められている。
【０００４】
また、解析には生きている細胞を扱う必要があるため、従来のように細胞を染色し鮮明な画像を得るという方法をとることができない。さらにまた、位相差画像を用いる場合には、細胞の輪郭が不鮮明なものやノイズが含まれているものが多く、従来のエッジ抽出による方法では輪郭抽出は困難であるという問題点があった。
【０００５】
この発明は上記問題を解決するため、細胞の輪郭を迅速にかつ効率的に抽出することにより、形態変化の検出を自動的にかつ所定期間で大量におこなうことが可能な画像処理方法、画像処理プログラム、画像処理装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】
上述した課題を解決し、目的を達成するため、この発明にかかる画像処理方法、画像処理プログラムおよび画像処理装置は、同一視野における細胞の位相差画像に関する情報および蛍光画像に関する情報を入力し、入力された位相差画像に関する情報および蛍光画像に関する情報に基づいて前記細胞の輪郭を抽出し、抽出された輪郭に関する情報を出力することを特徴とする。
【０００７】
これらの発明によれば、目視に頼ることなく、迅速にかつ効率的に細胞輪郭を抽出することができる。
【０００８】
さらに、入力された位相差画像に関する情報に対して、抽出された細胞辺縁のハローを用いて細胞輪郭のエッジを算出し、算出されたエッジを用いてＧＶＦ（ｇｒａｄｉｅｎｔ ｖｅｃｔｏｒ ｆｌｏｗ）を作成し、入力された蛍光画像に関する情報に対して、モルフォロジを利用して核の輪郭を抽出し、作成されたＧＶＦと抽出された核の輪郭に基づいて細胞の輪郭を抽出することもできる。さらにまた、蛍光画像を注目細胞のマーカーとして用いることもできる。
【０００９】
【発明の実施の形態】
以下に添付図面を参照して、この発明にかかる画像処理方法、画像処理プログラムおよび画像処理装置の好適な実施の形態を詳細に説明する。
【００１０】
（細胞輪郭抽出処理の概要）
まず、この発明の本実施の形態にかかる画像処理方法における細胞輪郭抽出処理の概要について説明する。図１は、この発明の本実施の形態にかかる画像処理方法における細胞輪郭抽出の概要を示す説明図である。
【００１１】
図１において、本実施の形態にかかる画像処理方法は、同一視野の位相差画像と蛍光画像のそれぞれの処理からなる。位相差画像の処理としては、まず、位相差画像のエッジの抽出をおこない（ステップＳ１０１）、抽出されたエッジに基づいてＧＶＦの作成をおこなう（ステップＳ１０２）。また、蛍光画像の処理としては、初期輪郭の作成をおこなう（ステップＳ１０３）。これらの位相差画像の処理と蛍光画像の処理は平行しておこなうことができる。そして、両処理から得られた結果に基づいて、ＧＶＦ Ｓｎａｋｅｓによって細胞輪郭を抽出する（ステップＳ１０４）。
【００１２】
このように、位相差画像の特徴を利用してエッジを抽出し、そのエッジを用いて画像処理技術のＧＶＦ Ｓｎａｋｅｓにより細胞の輪郭抽出をおこなう。また、蛍光画像は注目細胞のマーカーとして利用し、Ｓｎａｋｅｓの初期輪郭作成に用いる。これによって、画像から正確に細胞輪郭を抽出することができる。
【００１３】
（画像処理装置のハードウエア構成）
つぎに、この発明の本実施の形態にかかる画像処理装置のハードウエア構成について説明する。図２は、この発明の本実施の形態にかかる画像処理装置のハードウエア構成の一例を示すブロック図である。
【００１４】
図２において、画像処理装置は、ＣＰＵ２０１と、ＲＯＭ２０２と、ＲＡＭ２０３と、ＨＤＤ２０４と、ＨＤ２０５と、ＦＤＤ（フレキシブルディスクドライブ）２０６と、着脱可能な記録媒体の一例としてのＦＤ（フレキシブルディスク）２０７と、ディスプレイ２０８と、Ｉ／Ｆ（インタフェース）２０９と、キーボード２１１と、マウス２１２と、スキャナ２１３と、プリンタ２１４と、を備えている。また、各構成部はバス２００によってそれぞれ接続されている。
【００１５】
ここで、ＣＰＵ２０１は、画像処理装置の全体の制御を司る。ＲＯＭ２０２は、ブートプログラムなどのプログラムを記憶している。ＲＡＭ２０３は、ＣＰＵ２０１のワークエリアとして使用される。ＨＤＤ２０４は、ＣＰＵ２０１の制御にしたがってＨＤ２０５に対するデータのリード／ライトを制御する。ＨＤ２０５は、ＨＤＤ２０４の制御で書き込まれたデータを記憶する。
【００１６】
ＦＤＤ２０６は、ＣＰＵ２０１の制御にしたがってＦＤ２０７に対するデータのリード／ライトを制御する。ＦＤ２０７は、ＦＤＤ２０６の制御で書き込まれたデータを記憶したり、ＦＤ２０７に記録されたデータを情報処理装置へ読み取らせたりする。着脱可能な記録媒体として、ＦＤ２０７のほか、ＣＤ−ＲＯＭ（ＣＤ−Ｒ、ＣＤ−ＲＷ）、ＭＯ、ＤＶＤ（Ｄｉｇｉｔａｌ ＶｅｒｓａｔｉｌｅＤｉｓｋ）、メモリーカードなどであってもよい。ディスプレイ２０８は、カーソル、アイコンあるいはツールボックスをはじめ、文書、画像、機能情報などのデータを表示する。たとえば、ＣＲＴ、ＴＦＴ液晶ディスプレイ、プラズマディスプレイなどである。
【００１７】
Ｉ／Ｆ（インタフェース）２０９は、通信回線を通じてＬＡＮやインターネットなどのネットワークに接続され、ネットワークを介して、他のサーバーや情報処理装置に接続される。そして、Ｉ／Ｆ２０９は、ネットワークと内部とのインタフェースを司り、他のサーバーや情報端末装置からのデータの入出力を制御する。Ｉ／Ｆ２０９は、たとえばモデムなどである。
【００１８】
キーボード２１１は、文字、数字、各種指示などの入力のためのキーを備え、データの入力をおこなう。タッチパネル式の入力パッドやテンキーなどであってもよい。マウス２１２は、カーソルの移動や範囲選択、あるいはウインドウの移動やサイズの変更などをおこなう。ポインティングデバイスとして同様の機能を備えるものであれば、トラックボール、ジョイスティックなどであってもよい。
【００１９】
スキャナ２１３は、ドライバ画像などの画像を光学的に読み取り、情報処理装置内に画像データを取り込む。さらにＯＣＲ機能も備えており、ＯＣＲ機能によって、印刷された情報を読み取ってデータ化することもできる。また、プリンタ２１４は、輪郭画像情報などの画像データや文書データを印刷する。たとえば、レーザプリンタ、インクジェットプリンタなどである。
【００２０】
（画像処理装置の機能的構成）
つぎに、画像処理装置の機能的構成について説明する。図３は、この発明の本実施の形態にかかる画像処理装置の機能的構成の一例を示すブロック図である。図３において、画像処理装置は、制御部３００と、画像外部入力部３０１と、位相差画像処理部３０２と、蛍光画像処理部３０３と、輪郭抽出処理部３０４と、記憶部３１０と、を含んでいる。また、記憶部３１０は、画像情報記憶部３１１と、エッジ情報記憶部３１２と、初期輪郭情報記憶部３１３と、輪郭画像情報記憶部３１４と、からなる。
【００２１】
ここで、制御部３００は、上記各構成部３０１〜３１４の制御を司るとともに装置全体の制御を司る。また、画像外部入力部３０１は、光学顕微鏡３５０からの同一視野の位相差画像情報および蛍光画像情報の入力を受け付け、画像情報記憶部３１１に記憶する。
【００２２】
また、位相差画像処理部３０２は、画像情報記憶部３１１に記憶された位相差画像情報に対して、細胞輪郭のエッジを抽出し、そのエッジ情報をエッジ情報記憶部３１２に記憶する。より具体的には、画像情報記憶部３１１に記憶された位相差画像情報から細胞辺縁のハローを抽出し、抽出されたハローを用いて細胞輪郭のエッジを算出し、算出されたエッジ情報をエッジ情報記憶部３１２に記憶する。なお、ハローの抽出処理の内容およびエッジ情報の算出処理についての詳細は後述する。
【００２３】
また、蛍光画像処理部３０３は、画像情報記憶部３１１に記憶された蛍光画像情報に対して、モルフォロジを利用して核の輪郭を抽出し、抽出された輪郭情報を初期輪郭情報記憶部３１３に記憶する。
【００２４】
また、輪郭抽出処理部３０４は、エッジ情報記憶部３１２に記憶された細胞輪郭のエッジ情報および初期輪郭情報記憶部３１３に記憶された輪郭情報に基づいて細胞の輪郭を抽出し、その情報を含む輪郭画像情報を輪郭画像情報記憶部３１４に記憶する。輪郭画像情報記憶部３１４に記憶された輪郭画像情報は、モニタ３５１（たとえば図２に示したディスプレイ２０８）へ出力することができる。
【００２５】
さらに、図示は省略するが、輪郭画像情報記憶部３１４に記憶された輪郭画像情報に基づいて、特徴量（たとえば、細胞の円形度や不整度など）の抽出や形態変化の検出をすることもできる。また、輪郭画像情報記憶部３１４に記憶された輪郭画像情報は、たとえば図２に示したＦＤ２０７およびＦＤＤ２０６、Ｉ／Ｆ２０９、プリンタ２１４などによって外部へ出力することができる。
【００２６】
上記制御部３００、位相差画像処理部３０２、蛍光画像処理部３０３、輪郭抽出処理部３０４は、ＲＯＭ２０２、ＲＡＭ２０３、ＨＤ２０５あるいはＦＤ２０７に記憶されたプログラムをＣＰＵ２０１が実行することによってそれらの機能を実現する。
【００２７】
また、記憶部３１０（画像情報記憶部３１１、エッジ情報記憶部３１２、初期輪郭情報記憶部３１３、輪郭画像情報記憶部３１４）は、ＲＡＭ２０３、ＨＤ２０５およびＨＤＤ２０４、あるいはＦＤ２０７およびＦＤＤ２０６によってその機能を実現する。
【００２８】
（画像処理装置の処理手順）
つぎに、画像処理装置の処理の手順について説明する。図４は、この発明の本実施の形態にかかる画像処理装置の処理の手順を示すフローチャートである。図４のフローチャートにおいて、まず、位相差画像４１１を読み込む（ステップＳ４０１）。図５は位相差画像４１１の一例を示す説明図である。図５に示すように、位相差画像４１１は、細胞の輪郭が不鮮明なものやノイズが含まれているものが多い。
【００２９】
輪郭抽出の有効な手法として、Ｓｎａｋｅｓという画像処理技術がある。これは、画像のエッジをとることである程度の輪郭を抽出し、途切れた部分をこのＳｎａｋｅｓの処理によって補完することができる。しかし、今回使用する位相差画像４１１には細胞内にもエッジがありノイズとなってしまう。そこで、位相差画像４１１の特徴であるハローのみを抽出することによって、ノイズの少ない細胞輪郭の一部を取り出すことができる。
【００３０】
図５に示すように、位相差画像４１１には細胞の縁に明るい縁取りがある。ここでモルフォロジのｃｌｏｓｅ−ｏｐｅｎｉｎｇフィルタを利用することによって、この明るい部分を抽出することができる。
【００３１】
具体的には、まず、位相差画像４１１にｃｌｏｓｅ−ｏｐｅｎｉｎｇフィルタを適用する。つぎにフィルタを適用した画像と元画像の輝度差をとることによって、ハローを抽出する（ステップＳ４０２）。その後に二値化、細線化処理をおこない細胞輪郭のエッジ４１２とする（ステップＳ４０３）。図６は図５の位相差画像の処理結果である。ここで、使用する構造要素は大きくなるとノイズが増えてしまうので、ハローの部分を抽出する程度の小さい構造要素を選ぶ。この処理によってある程度のエッジを抽出することができる。
【００３２】
このハローを抽出して途切れている部分をＳｎａｋｅｓによって補う。ただし、一般的なＳｎａｋｅｓでは細胞の角や細長い部分の輪郭を正確にとることが困難なので、エッジに引き付けられる力が広範囲におよぶＧＶＦを加えたＧＶＦ Ｓｎａｋｅｓによって、細胞の輪郭抽出をおこなう。
【００３３】
ステップＳ４０３において抽出された画像のエッジ４１２（図６）を利用してＧＶＦ ｆｉｅｌｄ４１３を算出する（ステップＳ４０４）。具体的には、
【数１】
を最小にするｕ（ｘ，ｙ），ｖ（ｘ，ｙ）と定義する。
【００３４】
エッジ付近では、
【数２】
そして、エッジから離れた場所では、
【数３】
の項の影響が大きくなるのでｕ，ｖがゆっくり変化する。したがって、広範囲に力がおよびエッジ付近ではエッジに引き付けられる力が強いので、正確に目的とするエッジを抽出することができる。また、パラメータμの値を大きくするとＧＶＦ Ｓｎａｋｅｓの処理の際に輪郭の収束は遅くなるが、ノイズの影響を受け難くなる。図７は、図６のエッジより求めたＧＶＦを画像化したものである。
【００３５】
つぎに、蛍光画像４２１を読み込む（ステップＳ４０５）。従来のように細胞を染色し鮮明な画像を得るという方法をとることができないため、解析に使用する画像を得るために、９６穴プレート内の細胞に蛍光マーカーを付与したｃＤＮＡを注入・培養し、光学顕微鏡３５０によって撮影した蛍光画像４２１を読み込む。ｃＤＮＡを注入してもすべての細胞にｃＤＮＡが入り込むわけではない。図８に示すように、注入に成功した細胞の核のみが光っている。
【００３６】
蛍光画像４２１を注目細胞（ｃＤＮＡの注入に成功した細胞）のマーカーとして利用すると同時に、Ｓｎａｋｅｓの初期輪郭に利用する。蛍光画像４２１を二値化することによって核の輪郭を抽出し、Ｓｎａｋｅｓの初期輪郭とする（ステップＳ４０６）。画像の二値化はヒストグラムによるものが一般的であるが、９６穴プレートで撮影した画像は背景部分の輝度が画像内の場所に依存してゆるやかに変化することがあるので、望ましい結果を得ることは難しい。
【００３７】
図９は、蛍光画像のある位置の水平方向の輝度分布を示す説明図である。このように輝度分布に勾配がある場合が多い。そこで、ここでは前処理としてモルフォロジを利用することによって、安定して二値化画像を得られるようにした。
【００３８】
まず、蛍光画像を核より小さい構造要素でｃｌｏｓｉｎｇ処理をおこない、その後大きい構造要素（ここでは核と同程度の大きさのものを使用）でｏｐｅｎｉｎｇ処理をおこなう。これによって、図１０に示すように背景画像を得ることができる。図１０は、図９と同じ場所における輝度分布を示す説明図である。
【００３９】
ここで、ｏｐｅｎｉｎｇ処理のみでも背景画像を得られるが、ｃｌｏｓｉｎｇ処理をおこなうことによってノイズを減らすことができる。つぎに、図１１に示すように、元画像からこの背景画像を引くことによって発光部分の輝度だけが残り、背景部分の輝度は０以下となるので閾値は簡単に決めることができる。図１１は図９と同じ場所の輝度分布を示す説明図であり、この処理で値が０以下になる場合は輝度を０にしている。
【００４０】
このように画像を二値化することにより核の型が得られる。この核の輪郭をＳｎａｋｅｓの初期輪郭４２２とする。図１２は、図８の蛍光画像の処理結果を示す説明図である。また、この方法で二値化すると密集している細胞の核どうしが繋がってしまう場合がある。そこで、図１３に示すように、モルフォロジを利用た分水嶺アルゴリズムにより、繋がっている核を分離する処理を加える。
【００４１】
つぎに、ＧＶＦ Ｓｎａｋｅｓによって細胞の輪郭の抽出処理をおこなう（ステップＳ４０７）。ＧＶＦ Ｓｎａｋｅｓは、
輪郭点を、
【数４】
ＧＶＦを、
【数５】
とするとき、以下の式を繰り返し計算して目的の輪郭に収束させる。
【数６】
（α：張力パラメータ、β：平滑パラメータ、γ：ＧＶＦのパラメータ、ｔ：時間）
【００４２】
ただし、初期輪郭は核の輪郭であり、目的とする輪郭の内側にある。そこで、輪郭を膨らませる力が必要なので、
【数７】
を（２）式に加えた以下の式を利用する。
【数８】
【００４３】
上記ステップＳ４０６における初期輪郭をこの式によって、輪郭の変化がある程度小さくなるまで計算し、細胞の輪郭を抽出する。図１４は図５、図８の画像より細胞の輪郭抽出をおこなった結果を示す説明図である。ここで、実線は初期輪郭を示しており、点線は処理後の輪郭を示している。
【００４４】
なお、ステップＳ４０１の位相差画像４１１の読み込みと、ステップＳ４０５の蛍光画像４２１の読み込みは、いずれかが先であってもよく、また、同時であってもよい。したがって、図４に示した順序で位相差画像４１１の処理が終了した後、蛍光画像４２１の処理をおこなってもよく、その逆であってもよい。さらに、両者を同時並行でおこなってもよい。
【００４５】
（具体的実験例）
つぎに、発明者が実際におこなった具体的な実験例について説明する。この実験例で、使用した画像（６９６×５２０Ｐｉｘｅｌ、対物２０倍）は、Ｈｅｌａ細胞という癌細胞である。この細胞の平均的なサイズは７０×５０Ｐｉｘｅｌ程度である。この細胞画像１６０枚（１９６３個の細胞）について、輪郭抽出をおこない評価をおこなった。蛍光画像はｃＤＮＡの注入が成功し、核が発光しているものを使用した。
【００４６】
また、つぎのようにパラメータを設定して実験をおこなった。まず、エッジの抽出処理については、使用したモルフォロジの構造要素は３×３、５×５、７×７、９×９Ｐｉｘｅｌの４種類であり、それぞれの構造要素でエッジを抽出しその結果をマージした。ここで大きさの異なる構造要素を複数使うことによって、より正確にエッジの抽出をすることができた。
【００４７】
また、核の輪郭抽出処理については、使用したモルフォロジの構造要素はｃｌｏｓｉｎｇに１１×１１Ｐｉｘｅｌ、ｏｐｅｎｉｎｇに３１×３１Ｐｉｘｅｌの構造要素を使用した。二値化は、輝度（２５６階調）が０を背景、１以上を核の領域としておこなった。また、ＧＶＦ Ｓｎａｋｅｓについては、０α＝０．６、β＝ ０．０、γ＝２．０、κ＝１．８、μ＝ ０．１５とした。
【００４８】
評価方法は位相差画像と輪郭抽出をおこなった処理画像を重ねあわせ、目視により評価した。結果として約６６％（１９６３個のうち１２９４個）の細胞の輪郭抽出に成功した。抽出できていないものは位相差画像においてハローがはっきりと出ておらず、細胞と培地の境界が不鮮明なものである。図１５〜図１７に結果例を示す。図１５〜図１７において、初期輪郭は処理結果の実線で示されており、処理後の輪郭は点線で示されている。
【００４９】
図１５は、画像中央にある細胞の下部分のハローが不鮮明なので輪郭を抽出できなかった例である。図１６に示すようにハローが出ている細胞に関しては正確に細胞の輪郭を抽出できている。図１７は、図１３（ｄ）を初期輪郭として処理したもので、右から二番目の細胞はノイズにより上部の輪郭抽出ができなかったが、それ以外は比較的きれいに輪郭を抽出できた。
【００５０】
以上説明したように、本実施の形態によれば、細胞にｃＤＮＡを注入したときに引き起こされる形態変化を検出するために、画像処理のＧＶＦ Ｓｎａｋｅｓにより細胞の輪郭抽出を試みた。まず、蛍光画像を用いてＧＶＦ Ｓｎａｋｅｓの初期輪郭を作成した。ここでモルフォロジを利用した二値化により撮影条件の影響を受けずに安定して初期輪郭を作成できた。つぎに、位相差画像のハローを抽出してＧＶＦ Ｓｎａｋｅｓのエッジ情報としたことで、正確に細胞輪郭を抽出することに成功した。このように蛍光画像と位相差画像を利用することによって、注目細胞の輪郭抽出を自動的におこなうことに成功した。
【００５１】
また、本実施の形態における画像処理方法は、あらかじめ用意されたコンピュータ読み取り可能なプログラムであってもよく、またそのプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現される。このプログラムは、ＨＤ、ＦＤ、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤなどのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。また、このプログラムは、インターネットなどのネットワークを介して配布することが可能な伝送媒体であってもよい。
【００５２】
（付記１）同一視野における細胞の位相差画像に関する情報および蛍光画像に関する情報の入力を受け付ける画像情報入力工程と、
前記画像情報入力工程によって入力が受け付けられた位相差画像に関する情報および蛍光画像に関する情報に基づいて前記細胞の輪郭を抽出する輪郭抽出工程と、
前記輪郭抽出工程によって抽出された輪郭に関する情報を出力する出力工程と、
を含んだことを特徴とする画像処理方法。
【００５３】
（付記２）前記画像情報入力工程によって入力が受け付けられた位相差画像に関する情報に対して、細胞輪郭のエッジを抽出する位相差画像処理工程を含み、
前記輪郭抽出工程は、前記位相差画像処理工程によって抽出された細胞輪郭のエッジに基づいて前記細胞の輪郭を抽出することを特徴とする付記１に記載の画像処理方法。
【００５４】
（付記３）前記位相差画像処理工程は、抽出された細胞辺縁のハローを用いて細胞輪郭のエッジを算出し、算出されたエッジを用いてＧＶＦ（ｇｒａｄｉｅｎｔｖｅｃｔｏｒ ｆｌｏｗ）を作成し、
前記輪郭抽出工程は、前記位相差画像処理工程によって作成されたＧＶＦに基づいて前記細胞の輪郭を抽出することを特徴とする付記２に記載の画像処理方法。
【００５５】
（付記４）前記画像情報入力工程によって入力が受け付けられた蛍光画像に関する情報に対して、モルフォロジを利用して核の輪郭を抽出する蛍光画像処理工程を含み、
前記輪郭抽出工程は、前記蛍光画像処理工程によって抽出された核の輪郭に基づいて前記細胞の輪郭を抽出することを特徴とする付記１〜３のいずれか一つに記載の画像処理方法。
【００５６】
（付記５）前記蛍光画像は、蛍光マーカーを付与したｃＤＮＡを注入した細胞に関する画像であることを特徴とする付記１〜４のいずれか一つに記載の画像処理方法。
【００５７】
（付記６）前記蛍光画像を注目細胞のマーカーとして用いることを特徴とする付記５に記載の画像処理方法。
【００５８】
（付記７）同一視野における細胞の位相差画像に関する情報および蛍光画像に関する情報の入力を受け付けさせる画像情報入力工程と、
前記画像情報入力工程によって入力が受け付けられた位相差画像に関する情報および蛍光画像に関する情報に基づいて前記細胞の輪郭を抽出させる輪郭抽出工程と、
前記輪郭抽出工程によって抽出された輪郭に関する情報を出力させる出力工程と、
をコンピュータに実行させることを特徴とする画像処理プログラム。
【００５９】
（付記８）同一視野における細胞の位相差画像に関する情報および蛍光画像に関する情報を入力する画像情報入力手段と、
前記画像情報入力手段によって入力された位相差画像に関する情報および蛍光画像に関する情報に基づいて前記細胞の輪郭を抽出する輪郭抽出手段と、
前記輪郭抽出手段によって抽出された輪郭に関する情報を出力する出力手段と、
を備えたことを特徴とする画像処理装置。
【００６０】
【発明の効果】
以上説明したように、この発明によれば、目視に頼ることなく、迅速にかつ効率的に細胞輪郭を抽出することができ、これによって、形態変化の検出を自動的にかつ所定期間で大量におこなうことが可能な画像処理方法、画像処理プログラム、画像処理装置が得られるという効果を奏する。
【図面の簡単な説明】
【図１】この発明の本実施の形態にかかる画像処理方法における細胞輪郭抽出の概要を示す説明図である。
【図２】この発明の本実施の形態にかかる画像処理装置のハードウエア構成の一例を示すブロック図である。
【図３】この発明の本実施の形態にかかる画像処理装置の機能的構成の一例を示すブロック図である。
【図４】この発明の本実施の形態にかかる画像処理装置の処理の内容を示すフローチャートである。
【図５】位相差画像の一例を示す説明図である。
【図６】図５の位相差画像の処理結果を示す説明図である。
【図７】図６のエッジより求めたＧＶＦを画像化したものを示す説明図である。
【図８】蛍光画像の一例を示す説明図である。
【図９】蛍光画像のある位置の水平方向の輝度分布を示す説明図である。
【図１０】図９と同じ場所における輝度分布を示す説明図である。
【図１１】図９と同じ場所の輝度分布を示す説明図である。
【図１２】図８の蛍光画像の処理結果を示す説明図である。
【図１３】繋がっている核を分離する処理を示す説明図である。
【図１４】図５、図８の画像より細胞の輪郭抽出をおこなった結果を示す説明図である。
【図１５】細胞の輪郭抽出の処理（抽出失敗）を示す説明図である。
【図１６】別の細胞の輪郭抽出の処理（抽出成功）を示す説明図である。
【図１７】別の細胞の輪郭抽出の処理（抽出成功）を示す説明図である。
【符号の説明】
３００ 制御部
３０１ 画像外部入力部
３０２ 位相差画像処理部
３０３ 蛍光画像処理部
３０４ 輪郭抽出処理部
３１０ 記憶部
３１１ 画像情報記憶部
３１２ エッジ情報記憶部
３１３ 初期輪郭情報記憶部
３１４ 輪郭画像情報記憶部
３５０ 光学顕微鏡
３５１ モニタ
４１１ 位相差画像
４１２ 画像のエッジ
４１３ ＧＶＦ ｆｉｅｌｄ
４２１ 蛍光画像
４２２ 核の輪郭（ＧＶＦ Ｓｎａｋｅｓの初期輪郭）
【発明の属する技術分野】
この発明は、光学顕微鏡などで撮影した細胞の画像においてその細胞の輪郭を抽出する画像処理方法、画像処理プログラム、画像処理装置に関する。
【０００２】
【従来の技術】
近年、ヒトの遺伝情報の概要が解読され、つぎの段階として医療・創薬分野などへの応用のためにＤＮＡの機能解析が注目されている。その一つの手段として、細胞内にｃＤＮＡを注入したときに引き起こされる形態変化を定量的に解析することによって、ＤＮＡの機能を明らかにしようとする試みがある。従来、その解析には目視により形態変化をスクリーニングする方法が用いられていた。
【０００３】
【発明が解決しようとする課題】
しかしながら、上記の従来技術にあっては、解析処理に多大な時間と費用を必要とするという問題点があった。特に、創薬分野などへ応用するためには大量の形態変化を解析する必要があり（たとえば、１日１万検体以上）、そこで、画像処理により自動的に形態変化を検出し解析することが求められている。
【０００４】
また、解析には生きている細胞を扱う必要があるため、従来のように細胞を染色し鮮明な画像を得るという方法をとることができない。さらにまた、位相差画像を用いる場合には、細胞の輪郭が不鮮明なものやノイズが含まれているものが多く、従来のエッジ抽出による方法では輪郭抽出は困難であるという問題点があった。
【０００５】
この発明は上記問題を解決するため、細胞の輪郭を迅速にかつ効率的に抽出することにより、形態変化の検出を自動的にかつ所定期間で大量におこなうことが可能な画像処理方法、画像処理プログラム、画像処理装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】
上述した課題を解決し、目的を達成するため、この発明にかかる画像処理方法、画像処理プログラムおよび画像処理装置は、同一視野における細胞の位相差画像に関する情報および蛍光画像に関する情報を入力し、入力された位相差画像に関する情報および蛍光画像に関する情報に基づいて前記細胞の輪郭を抽出し、抽出された輪郭に関する情報を出力することを特徴とする。
【０００７】
これらの発明によれば、目視に頼ることなく、迅速にかつ効率的に細胞輪郭を抽出することができる。
【０００８】
さらに、入力された位相差画像に関する情報に対して、抽出された細胞辺縁のハローを用いて細胞輪郭のエッジを算出し、算出されたエッジを用いてＧＶＦ（ｇｒａｄｉｅｎｔ ｖｅｃｔｏｒ ｆｌｏｗ）を作成し、入力された蛍光画像に関する情報に対して、モルフォロジを利用して核の輪郭を抽出し、作成されたＧＶＦと抽出された核の輪郭に基づいて細胞の輪郭を抽出することもできる。さらにまた、蛍光画像を注目細胞のマーカーとして用いることもできる。
【０００９】
【発明の実施の形態】
以下に添付図面を参照して、この発明にかかる画像処理方法、画像処理プログラムおよび画像処理装置の好適な実施の形態を詳細に説明する。
【００１０】
（細胞輪郭抽出処理の概要）
まず、この発明の本実施の形態にかかる画像処理方法における細胞輪郭抽出処理の概要について説明する。図１は、この発明の本実施の形態にかかる画像処理方法における細胞輪郭抽出の概要を示す説明図である。
【００１１】
図１において、本実施の形態にかかる画像処理方法は、同一視野の位相差画像と蛍光画像のそれぞれの処理からなる。位相差画像の処理としては、まず、位相差画像のエッジの抽出をおこない（ステップＳ１０１）、抽出されたエッジに基づいてＧＶＦの作成をおこなう（ステップＳ１０２）。また、蛍光画像の処理としては、初期輪郭の作成をおこなう（ステップＳ１０３）。これらの位相差画像の処理と蛍光画像の処理は平行しておこなうことができる。そして、両処理から得られた結果に基づいて、ＧＶＦ Ｓｎａｋｅｓによって細胞輪郭を抽出する（ステップＳ１０４）。
【００１２】
このように、位相差画像の特徴を利用してエッジを抽出し、そのエッジを用いて画像処理技術のＧＶＦ Ｓｎａｋｅｓにより細胞の輪郭抽出をおこなう。また、蛍光画像は注目細胞のマーカーとして利用し、Ｓｎａｋｅｓの初期輪郭作成に用いる。これによって、画像から正確に細胞輪郭を抽出することができる。
【００１３】
（画像処理装置のハードウエア構成）
つぎに、この発明の本実施の形態にかかる画像処理装置のハードウエア構成について説明する。図２は、この発明の本実施の形態にかかる画像処理装置のハードウエア構成の一例を示すブロック図である。
【００１４】
図２において、画像処理装置は、ＣＰＵ２０１と、ＲＯＭ２０２と、ＲＡＭ２０３と、ＨＤＤ２０４と、ＨＤ２０５と、ＦＤＤ（フレキシブルディスクドライブ）２０６と、着脱可能な記録媒体の一例としてのＦＤ（フレキシブルディスク）２０７と、ディスプレイ２０８と、Ｉ／Ｆ（インタフェース）２０９と、キーボード２１１と、マウス２１２と、スキャナ２１３と、プリンタ２１４と、を備えている。また、各構成部はバス２００によってそれぞれ接続されている。
【００１５】
ここで、ＣＰＵ２０１は、画像処理装置の全体の制御を司る。ＲＯＭ２０２は、ブートプログラムなどのプログラムを記憶している。ＲＡＭ２０３は、ＣＰＵ２０１のワークエリアとして使用される。ＨＤＤ２０４は、ＣＰＵ２０１の制御にしたがってＨＤ２０５に対するデータのリード／ライトを制御する。ＨＤ２０５は、ＨＤＤ２０４の制御で書き込まれたデータを記憶する。
【００１６】
ＦＤＤ２０６は、ＣＰＵ２０１の制御にしたがってＦＤ２０７に対するデータのリード／ライトを制御する。ＦＤ２０７は、ＦＤＤ２０６の制御で書き込まれたデータを記憶したり、ＦＤ２０７に記録されたデータを情報処理装置へ読み取らせたりする。着脱可能な記録媒体として、ＦＤ２０７のほか、ＣＤ−ＲＯＭ（ＣＤ−Ｒ、ＣＤ−ＲＷ）、ＭＯ、ＤＶＤ（Ｄｉｇｉｔａｌ ＶｅｒｓａｔｉｌｅＤｉｓｋ）、メモリーカードなどであってもよい。ディスプレイ２０８は、カーソル、アイコンあるいはツールボックスをはじめ、文書、画像、機能情報などのデータを表示する。たとえば、ＣＲＴ、ＴＦＴ液晶ディスプレイ、プラズマディスプレイなどである。
【００１７】
Ｉ／Ｆ（インタフェース）２０９は、通信回線を通じてＬＡＮやインターネットなどのネットワークに接続され、ネットワークを介して、他のサーバーや情報処理装置に接続される。そして、Ｉ／Ｆ２０９は、ネットワークと内部とのインタフェースを司り、他のサーバーや情報端末装置からのデータの入出力を制御する。Ｉ／Ｆ２０９は、たとえばモデムなどである。
【００１８】
キーボード２１１は、文字、数字、各種指示などの入力のためのキーを備え、データの入力をおこなう。タッチパネル式の入力パッドやテンキーなどであってもよい。マウス２１２は、カーソルの移動や範囲選択、あるいはウインドウの移動やサイズの変更などをおこなう。ポインティングデバイスとして同様の機能を備えるものであれば、トラックボール、ジョイスティックなどであってもよい。
【００１９】
スキャナ２１３は、ドライバ画像などの画像を光学的に読み取り、情報処理装置内に画像データを取り込む。さらにＯＣＲ機能も備えており、ＯＣＲ機能によって、印刷された情報を読み取ってデータ化することもできる。また、プリンタ２１４は、輪郭画像情報などの画像データや文書データを印刷する。たとえば、レーザプリンタ、インクジェットプリンタなどである。
【００２０】
（画像処理装置の機能的構成）
つぎに、画像処理装置の機能的構成について説明する。図３は、この発明の本実施の形態にかかる画像処理装置の機能的構成の一例を示すブロック図である。図３において、画像処理装置は、制御部３００と、画像外部入力部３０１と、位相差画像処理部３０２と、蛍光画像処理部３０３と、輪郭抽出処理部３０４と、記憶部３１０と、を含んでいる。また、記憶部３１０は、画像情報記憶部３１１と、エッジ情報記憶部３１２と、初期輪郭情報記憶部３１３と、輪郭画像情報記憶部３１４と、からなる。
【００２１】
ここで、制御部３００は、上記各構成部３０１〜３１４の制御を司るとともに装置全体の制御を司る。また、画像外部入力部３０１は、光学顕微鏡３５０からの同一視野の位相差画像情報および蛍光画像情報の入力を受け付け、画像情報記憶部３１１に記憶する。
【００２２】
また、位相差画像処理部３０２は、画像情報記憶部３１１に記憶された位相差画像情報に対して、細胞輪郭のエッジを抽出し、そのエッジ情報をエッジ情報記憶部３１２に記憶する。より具体的には、画像情報記憶部３１１に記憶された位相差画像情報から細胞辺縁のハローを抽出し、抽出されたハローを用いて細胞輪郭のエッジを算出し、算出されたエッジ情報をエッジ情報記憶部３１２に記憶する。なお、ハローの抽出処理の内容およびエッジ情報の算出処理についての詳細は後述する。
【００２３】
また、蛍光画像処理部３０３は、画像情報記憶部３１１に記憶された蛍光画像情報に対して、モルフォロジを利用して核の輪郭を抽出し、抽出された輪郭情報を初期輪郭情報記憶部３１３に記憶する。
【００２４】
また、輪郭抽出処理部３０４は、エッジ情報記憶部３１２に記憶された細胞輪郭のエッジ情報および初期輪郭情報記憶部３１３に記憶された輪郭情報に基づいて細胞の輪郭を抽出し、その情報を含む輪郭画像情報を輪郭画像情報記憶部３１４に記憶する。輪郭画像情報記憶部３１４に記憶された輪郭画像情報は、モニタ３５１（たとえば図２に示したディスプレイ２０８）へ出力することができる。
【００２５】
さらに、図示は省略するが、輪郭画像情報記憶部３１４に記憶された輪郭画像情報に基づいて、特徴量（たとえば、細胞の円形度や不整度など）の抽出や形態変化の検出をすることもできる。また、輪郭画像情報記憶部３１４に記憶された輪郭画像情報は、たとえば図２に示したＦＤ２０７およびＦＤＤ２０６、Ｉ／Ｆ２０９、プリンタ２１４などによって外部へ出力することができる。
【００２６】
上記制御部３００、位相差画像処理部３０２、蛍光画像処理部３０３、輪郭抽出処理部３０４は、ＲＯＭ２０２、ＲＡＭ２０３、ＨＤ２０５あるいはＦＤ２０７に記憶されたプログラムをＣＰＵ２０１が実行することによってそれらの機能を実現する。
【００２７】
また、記憶部３１０（画像情報記憶部３１１、エッジ情報記憶部３１２、初期輪郭情報記憶部３１３、輪郭画像情報記憶部３１４）は、ＲＡＭ２０３、ＨＤ２０５およびＨＤＤ２０４、あるいはＦＤ２０７およびＦＤＤ２０６によってその機能を実現する。
【００２８】
（画像処理装置の処理手順）
つぎに、画像処理装置の処理の手順について説明する。図４は、この発明の本実施の形態にかかる画像処理装置の処理の手順を示すフローチャートである。図４のフローチャートにおいて、まず、位相差画像４１１を読み込む（ステップＳ４０１）。図５は位相差画像４１１の一例を示す説明図である。図５に示すように、位相差画像４１１は、細胞の輪郭が不鮮明なものやノイズが含まれているものが多い。
【００２９】
輪郭抽出の有効な手法として、Ｓｎａｋｅｓという画像処理技術がある。これは、画像のエッジをとることである程度の輪郭を抽出し、途切れた部分をこのＳｎａｋｅｓの処理によって補完することができる。しかし、今回使用する位相差画像４１１には細胞内にもエッジがありノイズとなってしまう。そこで、位相差画像４１１の特徴であるハローのみを抽出することによって、ノイズの少ない細胞輪郭の一部を取り出すことができる。
【００３０】
図５に示すように、位相差画像４１１には細胞の縁に明るい縁取りがある。ここでモルフォロジのｃｌｏｓｅ−ｏｐｅｎｉｎｇフィルタを利用することによって、この明るい部分を抽出することができる。
【００３１】
具体的には、まず、位相差画像４１１にｃｌｏｓｅ−ｏｐｅｎｉｎｇフィルタを適用する。つぎにフィルタを適用した画像と元画像の輝度差をとることによって、ハローを抽出する（ステップＳ４０２）。その後に二値化、細線化処理をおこない細胞輪郭のエッジ４１２とする（ステップＳ４０３）。図６は図５の位相差画像の処理結果である。ここで、使用する構造要素は大きくなるとノイズが増えてしまうので、ハローの部分を抽出する程度の小さい構造要素を選ぶ。この処理によってある程度のエッジを抽出することができる。
【００３２】
このハローを抽出して途切れている部分をＳｎａｋｅｓによって補う。ただし、一般的なＳｎａｋｅｓでは細胞の角や細長い部分の輪郭を正確にとることが困難なので、エッジに引き付けられる力が広範囲におよぶＧＶＦを加えたＧＶＦ Ｓｎａｋｅｓによって、細胞の輪郭抽出をおこなう。
【００３３】
ステップＳ４０３において抽出された画像のエッジ４１２（図６）を利用してＧＶＦ ｆｉｅｌｄ４１３を算出する（ステップＳ４０４）。具体的には、
【数１】
【００３４】
エッジ付近では、
【数２】
【数３】
【００３５】
つぎに、蛍光画像４２１を読み込む（ステップＳ４０５）。従来のように細胞を染色し鮮明な画像を得るという方法をとることができないため、解析に使用する画像を得るために、９６穴プレート内の細胞に蛍光マーカーを付与したｃＤＮＡを注入・培養し、光学顕微鏡３５０によって撮影した蛍光画像４２１を読み込む。ｃＤＮＡを注入してもすべての細胞にｃＤＮＡが入り込むわけではない。図８に示すように、注入に成功した細胞の核のみが光っている。
【００３６】
蛍光画像４２１を注目細胞（ｃＤＮＡの注入に成功した細胞）のマーカーとして利用すると同時に、Ｓｎａｋｅｓの初期輪郭に利用する。蛍光画像４２１を二値化することによって核の輪郭を抽出し、Ｓｎａｋｅｓの初期輪郭とする（ステップＳ４０６）。画像の二値化はヒストグラムによるものが一般的であるが、９６穴プレートで撮影した画像は背景部分の輝度が画像内の場所に依存してゆるやかに変化することがあるので、望ましい結果を得ることは難しい。
【００３７】
図９は、蛍光画像のある位置の水平方向の輝度分布を示す説明図である。このように輝度分布に勾配がある場合が多い。そこで、ここでは前処理としてモルフォロジを利用することによって、安定して二値化画像を得られるようにした。
【００３８】
まず、蛍光画像を核より小さい構造要素でｃｌｏｓｉｎｇ処理をおこない、その後大きい構造要素（ここでは核と同程度の大きさのものを使用）でｏｐｅｎｉｎｇ処理をおこなう。これによって、図１０に示すように背景画像を得ることができる。図１０は、図９と同じ場所における輝度分布を示す説明図である。
【００３９】
ここで、ｏｐｅｎｉｎｇ処理のみでも背景画像を得られるが、ｃｌｏｓｉｎｇ処理をおこなうことによってノイズを減らすことができる。つぎに、図１１に示すように、元画像からこの背景画像を引くことによって発光部分の輝度だけが残り、背景部分の輝度は０以下となるので閾値は簡単に決めることができる。図１１は図９と同じ場所の輝度分布を示す説明図であり、この処理で値が０以下になる場合は輝度を０にしている。
【００４０】
このように画像を二値化することにより核の型が得られる。この核の輪郭をＳｎａｋｅｓの初期輪郭４２２とする。図１２は、図８の蛍光画像の処理結果を示す説明図である。また、この方法で二値化すると密集している細胞の核どうしが繋がってしまう場合がある。そこで、図１３に示すように、モルフォロジを利用た分水嶺アルゴリズムにより、繋がっている核を分離する処理を加える。
【００４１】
つぎに、ＧＶＦ Ｓｎａｋｅｓによって細胞の輪郭の抽出処理をおこなう（ステップＳ４０７）。ＧＶＦ Ｓｎａｋｅｓは、
輪郭点を、
【数４】
【数５】
【数６】
【００４２】
ただし、初期輪郭は核の輪郭であり、目的とする輪郭の内側にある。そこで、輪郭を膨らませる力が必要なので、
【数７】
【数８】
上記ステップＳ４０６における初期輪郭をこの式によって、輪郭の変化がある程度小さくなるまで計算し、細胞の輪郭を抽出する。図１４は図５、図８の画像より細胞の輪郭抽出をおこなった結果を示す説明図である。ここで、実線は初期輪郭を示しており、点線は処理後の輪郭を示している。
【００４４】
なお、ステップＳ４０１の位相差画像４１１の読み込みと、ステップＳ４０５の蛍光画像４２１の読み込みは、いずれかが先であってもよく、また、同時であってもよい。したがって、図４に示した順序で位相差画像４１１の処理が終了した後、蛍光画像４２１の処理をおこなってもよく、その逆であってもよい。さらに、両者を同時並行でおこなってもよい。
【００４５】
（具体的実験例）
つぎに、発明者が実際におこなった具体的な実験例について説明する。この実験例で、使用した画像（６９６×５２０Ｐｉｘｅｌ、対物２０倍）は、Ｈｅｌａ細胞という癌細胞である。この細胞の平均的なサイズは７０×５０Ｐｉｘｅｌ程度である。この細胞画像１６０枚（１９６３個の細胞）について、輪郭抽出をおこない評価をおこなった。蛍光画像はｃＤＮＡの注入が成功し、核が発光しているものを使用した。
【００４６】
また、つぎのようにパラメータを設定して実験をおこなった。まず、エッジの抽出処理については、使用したモルフォロジの構造要素は３×３、５×５、７×７、９×９Ｐｉｘｅｌの４種類であり、それぞれの構造要素でエッジを抽出しその結果をマージした。ここで大きさの異なる構造要素を複数使うことによって、より正確にエッジの抽出をすることができた。
【００４７】
また、核の輪郭抽出処理については、使用したモルフォロジの構造要素はｃｌｏｓｉｎｇに１１×１１Ｐｉｘｅｌ、ｏｐｅｎｉｎｇに３１×３１Ｐｉｘｅｌの構造要素を使用した。二値化は、輝度（２５６階調）が０を背景、１以上を核の領域としておこなった。また、ＧＶＦ Ｓｎａｋｅｓについては、０α＝０．６、β＝ ０．０、γ＝２．０、κ＝１．８、μ＝ ０．１５とした。
【００４８】
評価方法は位相差画像と輪郭抽出をおこなった処理画像を重ねあわせ、目視により評価した。結果として約６６％（１９６３個のうち１２９４個）の細胞の輪郭抽出に成功した。抽出できていないものは位相差画像においてハローがはっきりと出ておらず、細胞と培地の境界が不鮮明なものである。図１５〜図１７に結果例を示す。図１５〜図１７において、初期輪郭は処理結果の実線で示されており、処理後の輪郭は点線で示されている。
【００４９】
図１５は、画像中央にある細胞の下部分のハローが不鮮明なので輪郭を抽出できなかった例である。図１６に示すようにハローが出ている細胞に関しては正確に細胞の輪郭を抽出できている。図１７は、図１３（ｄ）を初期輪郭として処理したもので、右から二番目の細胞はノイズにより上部の輪郭抽出ができなかったが、それ以外は比較的きれいに輪郭を抽出できた。
【００５０】
以上説明したように、本実施の形態によれば、細胞にｃＤＮＡを注入したときに引き起こされる形態変化を検出するために、画像処理のＧＶＦ Ｓｎａｋｅｓにより細胞の輪郭抽出を試みた。まず、蛍光画像を用いてＧＶＦ Ｓｎａｋｅｓの初期輪郭を作成した。ここでモルフォロジを利用した二値化により撮影条件の影響を受けずに安定して初期輪郭を作成できた。つぎに、位相差画像のハローを抽出してＧＶＦ Ｓｎａｋｅｓのエッジ情報としたことで、正確に細胞輪郭を抽出することに成功した。このように蛍光画像と位相差画像を利用することによって、注目細胞の輪郭抽出を自動的におこなうことに成功した。
【００５１】
また、本実施の形態における画像処理方法は、あらかじめ用意されたコンピュータ読み取り可能なプログラムであってもよく、またそのプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現される。このプログラムは、ＨＤ、ＦＤ、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤなどのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。また、このプログラムは、インターネットなどのネットワークを介して配布することが可能な伝送媒体であってもよい。
【００５２】
（付記１）同一視野における細胞の位相差画像に関する情報および蛍光画像に関する情報の入力を受け付ける画像情報入力工程と、
前記画像情報入力工程によって入力が受け付けられた位相差画像に関する情報および蛍光画像に関する情報に基づいて前記細胞の輪郭を抽出する輪郭抽出工程と、
前記輪郭抽出工程によって抽出された輪郭に関する情報を出力する出力工程と、
を含んだことを特徴とする画像処理方法。
【００５３】
（付記２）前記画像情報入力工程によって入力が受け付けられた位相差画像に関する情報に対して、細胞輪郭のエッジを抽出する位相差画像処理工程を含み、
前記輪郭抽出工程は、前記位相差画像処理工程によって抽出された細胞輪郭のエッジに基づいて前記細胞の輪郭を抽出することを特徴とする付記１に記載の画像処理方法。
【００５４】
（付記３）前記位相差画像処理工程は、抽出された細胞辺縁のハローを用いて細胞輪郭のエッジを算出し、算出されたエッジを用いてＧＶＦ（ｇｒａｄｉｅｎｔｖｅｃｔｏｒ ｆｌｏｗ）を作成し、
前記輪郭抽出工程は、前記位相差画像処理工程によって作成されたＧＶＦに基づいて前記細胞の輪郭を抽出することを特徴とする付記２に記載の画像処理方法。
【００５５】
（付記４）前記画像情報入力工程によって入力が受け付けられた蛍光画像に関する情報に対して、モルフォロジを利用して核の輪郭を抽出する蛍光画像処理工程を含み、
前記輪郭抽出工程は、前記蛍光画像処理工程によって抽出された核の輪郭に基づいて前記細胞の輪郭を抽出することを特徴とする付記１〜３のいずれか一つに記載の画像処理方法。
【００５６】
（付記５）前記蛍光画像は、蛍光マーカーを付与したｃＤＮＡを注入した細胞に関する画像であることを特徴とする付記１〜４のいずれか一つに記載の画像処理方法。
【００５７】
（付記６）前記蛍光画像を注目細胞のマーカーとして用いることを特徴とする付記５に記載の画像処理方法。
【００５８】
（付記７）同一視野における細胞の位相差画像に関する情報および蛍光画像に関する情報の入力を受け付けさせる画像情報入力工程と、
前記画像情報入力工程によって入力が受け付けられた位相差画像に関する情報および蛍光画像に関する情報に基づいて前記細胞の輪郭を抽出させる輪郭抽出工程と、
前記輪郭抽出工程によって抽出された輪郭に関する情報を出力させる出力工程と、
をコンピュータに実行させることを特徴とする画像処理プログラム。
【００５９】
（付記８）同一視野における細胞の位相差画像に関する情報および蛍光画像に関する情報を入力する画像情報入力手段と、
前記画像情報入力手段によって入力された位相差画像に関する情報および蛍光画像に関する情報に基づいて前記細胞の輪郭を抽出する輪郭抽出手段と、
前記輪郭抽出手段によって抽出された輪郭に関する情報を出力する出力手段と、
を備えたことを特徴とする画像処理装置。
【００６０】
【発明の効果】
以上説明したように、この発明によれば、目視に頼ることなく、迅速にかつ効率的に細胞輪郭を抽出することができ、これによって、形態変化の検出を自動的にかつ所定期間で大量におこなうことが可能な画像処理方法、画像処理プログラム、画像処理装置が得られるという効果を奏する。
【図面の簡単な説明】
【図１】この発明の本実施の形態にかかる画像処理方法における細胞輪郭抽出の概要を示す説明図である。
【図２】この発明の本実施の形態にかかる画像処理装置のハードウエア構成の一例を示すブロック図である。
【図３】この発明の本実施の形態にかかる画像処理装置の機能的構成の一例を示すブロック図である。
【図４】この発明の本実施の形態にかかる画像処理装置の処理の内容を示すフローチャートである。
【図５】位相差画像の一例を示す説明図である。
【図６】図５の位相差画像の処理結果を示す説明図である。
【図７】図６のエッジより求めたＧＶＦを画像化したものを示す説明図である。
【図８】蛍光画像の一例を示す説明図である。
【図９】蛍光画像のある位置の水平方向の輝度分布を示す説明図である。
【図１０】図９と同じ場所における輝度分布を示す説明図である。
【図１１】図９と同じ場所の輝度分布を示す説明図である。
【図１２】図８の蛍光画像の処理結果を示す説明図である。
【図１３】繋がっている核を分離する処理を示す説明図である。
【図１４】図５、図８の画像より細胞の輪郭抽出をおこなった結果を示す説明図である。
【図１５】細胞の輪郭抽出の処理（抽出失敗）を示す説明図である。
【図１６】別の細胞の輪郭抽出の処理（抽出成功）を示す説明図である。
【図１７】別の細胞の輪郭抽出の処理（抽出成功）を示す説明図である。
【符号の説明】
３００ 制御部
３０１ 画像外部入力部
３０２ 位相差画像処理部
３０３ 蛍光画像処理部
３０４ 輪郭抽出処理部
３１０ 記憶部
３１１ 画像情報記憶部
３１２ エッジ情報記憶部
３１３ 初期輪郭情報記憶部
３１４ 輪郭画像情報記憶部
３５０ 光学顕微鏡
３５１ モニタ
４１１ 位相差画像
４１２ 画像のエッジ
４１３ ＧＶＦ ｆｉｅｌｄ
４２１ 蛍光画像
４２２ 核の輪郭（ＧＶＦ Ｓｎａｋｅｓの初期輪郭）
Claims (6)
- 画像情報入力手段と、蛍光画像処理手段と、輪郭抽出手段と、出力手段を備えたコンピュータによる画像処理方法であって、
前記画像情報入力手段が、同一視野における細胞の位相差画像に関する情報および蛍光画像に関する情報の入力を受け付ける画像情報入力工程と、
前記蛍光画像処理手段が、前記画像情報入力工程によって入力が受け付けられた蛍光画像に関する情報に対して、モルフォロジを利用して核の輪郭を抽出する蛍光画像処理工程と、
前記輪郭抽出手段が、前記画像情報入力工程によって入力が受け付けられた位相差画像に関する情報と、前記蛍光画像処理工程によって抽出された核の輪郭に基づいて前記細胞の輪郭を抽出する輪郭抽出工程と、
前記出力手段が、前記輪郭抽出工程によって抽出された輪郭に関する情報を出力する出力工程と、
を含んだことを特徴とする画像処理方法。 - 前記コンピュータは位相差画像処理手段をさらに備え、
前記画像処理方法は、前記位相差画像処理手段が前記画像情報入力工程によって入力が受け付けられた位相差画像に関する情報に対して、細胞輪郭のエッジを抽出する位相差画像処理工程を含み、
前記輪郭抽出工程は、前記位相差画像処理工程によって抽出された細胞輪郭のエッジに基づいて前記細胞の輪郭を抽出することを特徴とする請求項１に記載の画像処理方法。 - 前記位相差画像処理工程は、抽出された細胞辺縁のハローを用いて細胞輪郭のエッジを算出し、算出されたエッジを用いてＧＶＦ（ｇｒａｄｉｅｎｔ ｖｅｃｔｏｒ ｆｌｏｗ）を作成し、
前記輪郭抽出工程は、前記位相差画像処理工程によって作成されたＧＶＦに基づいて前記細胞の輪郭を抽出することを特徴とする請求項２に記載の画像処理方法。 - 前記蛍光画像は、蛍光マーカーを付与したｃＤＮＡを注入した細胞に関する画像であることを特徴とする請求項１〜３のいずれか一つに記載の画像処理方法。
- 画像情報入力手段と、蛍光画像処理手段と、輪郭抽出手段と、出力手段を備えたコンピュータに実行させる画像処理プログラムであって、
前記画像情報入力手段に、同一視野における細胞の位相差画像に関する情報および蛍光画像に関する情報の入力を受け付けさせる画像情報入力工程と、
前記蛍光画像処理手段に、前記画像情報入力工程によって入力が受け付けられた蛍光画像に関する情報に対して、モルフォロジを利用して核の輪郭を抽出する蛍光画像処理工程と、
前記輪郭抽出手段に、前記画像情報入力工程によって入力が受け付けられた位相差画像に関する情報と、前記蛍光画像処理工程によって抽出された核の輪郭に基づいて前記細胞の輪郭を抽出させる輪郭抽出工程と、
前記出力手段に、前記輪郭抽出工程によって抽出された輪郭に関する情報を出力させる出力工程と、
をコンピュータに実行させることを特徴とする画像処理プログラム。 - 同一視野における細胞の位相差画像に関する情報および蛍光画像に関する情報を入力する画像情報入力手段と、
前記画像情報入力手段によって入力が受け付けられた蛍光画像に関する情報に対して、モルフォロジを利用して核の輪郭を抽出する蛍光画像処理手段と、
前記画像情報入力手段によって入力された位相差画像に関する情報と、前記蛍光画像処理手段によって抽出された核の輪郭に基づいて前記細胞の輪郭を抽出する輪郭抽出手段と、
前記輪郭抽出手段によって抽出された輪郭に関する情報を出力する出力手段と、
を備えたことを特徴とする画像処理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002207146A JP3946590B2 (ja) | 2002-07-16 | 2002-07-16 | 画像処理方法、画像処理プログラムおよび画像処理装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002207146A JP3946590B2 (ja) | 2002-07-16 | 2002-07-16 | 画像処理方法、画像処理プログラムおよび画像処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004054347A JP2004054347A (ja) | 2004-02-19 |
| JP3946590B2 true JP3946590B2 (ja) | 2007-07-18 |
Family
ID=31931685
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002207146A Expired - Lifetime JP3946590B2 (ja) | 2002-07-16 | 2002-07-16 | 画像処理方法、画像処理プログラムおよび画像処理装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3946590B2 (ja) |
Families Citing this family (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060258018A1 (en) * | 2003-09-23 | 2006-11-16 | Curl Claire L | Method and apparatus for determining the area or confluency of a sample |
| JP4496860B2 (ja) * | 2004-06-30 | 2010-07-07 | 株式会社ニコン | 細胞識別装置、細胞識別方法、細胞識別用プログラム、および細胞解析装置 |
| EP1794717B1 (en) * | 2004-09-22 | 2008-03-12 | Koninklijke Philips Electronics N.V. | Conformal segmentation of organs in medical images |
| JP4868207B2 (ja) * | 2005-07-14 | 2012-02-01 | オリンパス株式会社 | スクリーニング方法およびスクリーニング装置 |
| JP2007207009A (ja) * | 2006-02-02 | 2007-08-16 | Fujitsu Ltd | 画像処理方法及び画像処理装置 |
| JP5446868B2 (ja) | 2007-10-19 | 2014-03-19 | 株式会社ニコン | プログラム、コンピュータおよび培養状態解析方法 |
| JP5259207B2 (ja) | 2008-02-05 | 2013-08-07 | オリンパス株式会社 | 細胞画像解析装置及びその方法並びにそのソフトウェア |
| JPWO2009142333A1 (ja) * | 2008-05-22 | 2011-09-29 | 国立大学法人 東京大学 | 画像処理方法、画像処理装置及び画像処理プログラム並びに記憶媒体 |
| JP5052451B2 (ja) * | 2008-07-30 | 2012-10-17 | オリンパス株式会社 | 細胞測定装置および細胞測定方法 |
| JP5058962B2 (ja) | 2008-12-22 | 2012-10-24 | オリンパス株式会社 | 細胞画像解析装置、細胞画像解析方法、及びプログラム |
| WO2010098211A1 (ja) * | 2009-02-24 | 2010-09-02 | 独立行政法人理化学研究所 | 輪郭抽出装置および輪郭抽出方法、並びにプログラム |
| JP5818080B2 (ja) * | 2011-08-31 | 2015-11-18 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びに、プログラム |
| JP5941674B2 (ja) | 2011-12-28 | 2016-06-29 | オリンパス株式会社 | 細胞輪郭線形成装置及びその方法、細胞輪郭線形成プログラム |
| US10509023B2 (en) | 2014-12-09 | 2019-12-17 | Konica Minolta, Inc. | Image processing apparatus and computer readable medium for image processing |
| KR101928209B1 (ko) * | 2017-08-22 | 2019-02-26 | 세종대학교산학협력단 | 3차원으로 배치된 세포의 영상을 복원하는 단말 장치, 방법 및 기록 매체 |
| CN116739949B (zh) * | 2023-08-15 | 2023-11-03 | 武汉互创联合科技有限公司 | 一种胚胎图像的卵裂球边缘增强处理方法 |
-
2002
- 2002-07-16 JP JP2002207146A patent/JP3946590B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004054347A (ja) | 2004-02-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3946590B2 (ja) | 画像処理方法、画像処理プログラムおよび画像処理装置 | |
| CN109791693B (zh) | 用于提供可视化全切片图像分析的数字病理学系统及相关工作流程 | |
| US6973213B2 (en) | Background-based image segmentation | |
| Kanwal et al. | The devil is in the details: Whole slide image acquisition and processing for artifacts detection, color variation, and data augmentation: A review | |
| US8064678B2 (en) | Automated detection of cell colonies and coverslip detection using hough transforms | |
| Roeder et al. | A computational image analysis glossary for biologists | |
| CN117456023A (zh) | 对组织切片图像的虚拟染色 | |
| JP6791245B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
| EP3752952B1 (en) | Pathology predictions on unstained tissue | |
| CN111602136A (zh) | 使用载玻片重新染色创建组织病理学基准真值掩膜的方法 | |
| EP2199776B1 (en) | Cell image analysis apparatus, cell image analysis method, and program | |
| Oger et al. | A general framework for the segmentation of follicular lymphoma virtual slides | |
| US20220262145A1 (en) | Image-processing-based object classification bootstrapping of region-level annotations | |
| EP1309944B1 (en) | Unsupervised scene segmentation | |
| Adiga et al. | Particle picking by segmentation: a comparative study with SPIDER-based manual particle picking | |
| Nellros et al. | Automated image analysis of iron-ore pellet structure using optical microscopy | |
| WO2013148485A2 (en) | Detection of tissue regions in microscope slide images | |
| Kindle et al. | A semiautomated approach for artefact removal in serial tissue cryosections | |
| Dong et al. | Pavement crack detection based on point cloud data and data fusion | |
| Bindhu et al. | Analytical study on digital image processing applications | |
| Nowinski et al. | Dorsoventral extension of the Talairach transformation and its automatic calculation for magnetic resonance neuroimages | |
| Salvi et al. | cyto‐Knet: An instance segmentation approach for multiple myeloma plasma cells using conditional kernels | |
| Ko et al. | Image resizing using saliency strength map and seam carving for white blood cell analysis | |
| Yan et al. | An automatic counting algorithm for chromosomes | |
| US11983912B2 (en) | Pathology predictions on unstained tissue |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050620 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070116 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070315 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070410 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070411 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 3946590 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110420 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110420 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120420 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130420 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140420 Year of fee payment: 7 |
|
| EXPY | Cancellation because of completion of term |