JP7079631B2 - 画像処理方法、コンピュータプログラムおよび記録媒体 - Google Patents

Description

この発明は、培養環境下で撮像された細胞とその背景とを含む画像から、細胞の領域とそれ以外の領域とを分割する画像処理技術に関するものである。

培養環境下で細胞を含んで撮像された画像においては、本来の撮像対象物である細胞の領域とその背景に当たる領域とが画像内で区別して扱われる場合がある。例えば細胞の大きさを求めるために、細胞と背景との境界を画定させる必要がある。従来、例えば細胞を所定の薬剤で染色したり蛍光試薬を投入したりすることで細胞の領域を特定することが行われてきた。しかしながら、例えば細胞の変化を経時的に観察する等の目的で、撮像対象である細胞を改変するような処理を用いずに細胞領域を特定することが求められる場合がある。

培地中の細胞は透明に近く屈折率も水とあまり違わないため、撮像された画像においては細胞と背景との境界が不明瞭であることも多い。この問題に対応するため、本願出願人はこれまでに、特に細胞の輪郭が明瞭に現れた画像を得ることのできる明視野撮像技術を提案している（例えば、特許文献１参照）。画像における細胞と背景との区別には、例えば細胞と背景との輝度の差を利用した２値化処理、細胞輪郭を抽出するためのエッジ検出などの画像処理が利用可能である。

特開２０１６－０７１５８８号公報

培養環境下の細胞を経時的に観察する場合、培養の初期段階では撮像された画像に含まれるのは細胞と概ね一様な背景たる培地とである。このため細胞と背景との識別は比較的容易である。しかしながら、培養が進むにつれて、細胞から排出される老廃物や死んだ細胞の残骸など（以下、「デブリ」と総称する）が撮像対象である細胞の周りに現れ、画像に含まれるようになってくる。このため、２値化や輪郭抽出などの単純な処理では細胞とデブリとを適切に識別することが困難である。

この発明は上記課題に鑑みなされたものであり、細胞と背景とを含む画像から細胞の領域とそれ以外の領域とを適切に分割することのできる技術を提供することを目的とする。

この発明に係る画像処理方法の第１の態様は、上記目的を達成するため、培養された細胞が背景と共に含まれる原画像を取得する工程と、前記原画像を所定数の画素からなるブロックに分割し、各ブロック内の画像が有する空間周波数成分を求める工程と、予め定められた周波数以下の低周波数成分の強度の合計と、前記低周波成分よりも高い周波数の高周波数成分の強度の合計とをそれぞれ特徴量とする二次元特徴量空間において、前記ブロックの各々を、前記細胞に対応する細胞クラスタに属するブロックとそれ以外のブロックとに分類する工程と、前記原画像のうち、前記細胞クラスタに分類された前記ブロックが占める領域を前記細胞の領域として、前記原画像を前記細胞の領域とそれ以外の領域とに分割する工程とを備え、前記空間周波数成分のうち直流成分の強度と、全ての交流成分の強度の合計とをそれぞれ前記特徴量とする。また、この発明に係る画像処理方法の第２の態様は、上記目的を達成するため、培養された細胞が背景と共に含まれる原画像を取得する工程と、前記原画像の画素サイズを、取得したときの原画素サイズから、前記原画素サイズと異なるブロック分割用の画素サイズに変換する工程と、前記変換後の前記原画像を所定数の画素からなるブロックに分割し、各ブロック内の画像が有する空間周波数成分を求める工程と、予め定められた周波数以下の低周波数成分の強度の合計と、前記低周波数成分より高い周波数の高周波数成分の強度の合計とをそれぞれ特徴量とする二次元特徴量空間において、前記ブロックの各々を、前記細胞に対応する細胞クラスタに属するブロックとそれ以外のブロックとに分類する工程と、前記原画像を、前記細胞クラスタに分類された前記ブロックが占める領域とそれ以外の領域とに分割する工程とを備え、前記ブロックのサイズは、前記細胞１つのサイズに相当するように選ばれている。

このように構成された発明では、画像内における局所的な空間周波数成分の分布に基づいて画像が分割される。すなわち、画像がブロックに分割され、ブロックごとの空間周波数成分が求められる。空間周波数成分のうち低周波成分は当該ブロックにおける緩やかな輝度変化を、高周波成分はより細かな輝度変化の状態をそれぞれ表す。なお低周波成分の中でも直流成分は当該ブロック全体の平均的な輝度を表す。したがって、このようにブロックを空間周波成分ごとの強度で表現した場合、低周波成分は当該ブロックの明るさを、また高周波成分はブロック内のテクスチャをそれぞれ反映したものとなる。

これらを当該ブロックの特徴量として扱ったとき、二次元特徴量空間内で占める位置を考えると、細胞の領域に該当するブロックと背景に該当するブロックとではその分布に有意な差が現れ、互いに独立したクラスタを形成する。画像にデブリが含まれる場合には、これに該当するブロックは細胞、背景のいずれとも異なるクラスタを形成する。このことを利用し、特徴量空間において細胞クラスタに属するブロックが原画像において占める位置を細胞の領域とみなすこととすれば、デブリの影響を受けることなく原画像から細胞の領域を的確に抽出することが可能となる。

本発明に係る画像処理方法は、コンピュータをその実行主体とすることが可能なものである。この意味において、本発明は、コンピュータに上記処理を実行させるためのコンピュータプログラムとして実現することが可能である。また、当該コンピュータプログラムを記録した記録媒体として実現することも可能である。

上記のように、本発明の画像処理方法によれば、原画像を分割したブロックの各々について、当該ブロック内の画像が有する空間周波数成分の特徴に基づき、当該ブロックが細胞に相当するものか否かが評価される。このため、細胞と背景とを含む画像から、細胞の領域とそれ以外の領域とを適切に分離することが可能である。

本実施形態の領域分割処理を示すフローチャートである。 この実施形態の領域分割処理を実行するコンピュータ装置の構成例である。 原画像の例を示す図である。 ＤＣＴ演算の概念を示す図である。 判定基準を策定するための処理を示すフローチャートである。 処理過程における指示入力態様を例示する図である。 特徴量空間における境界特定方法の例を示す図である。

以下、本発明に係る画像処理方法の一実施形態について説明する。この実施形態における画像処理は、培地中で培養された細胞または細胞の集合体を撮像した画像から、細胞の領域を抽出する領域分割処理である。この画像処理は、細胞を含む試料を撮像する撮像機能を備えた撮像装置によって撮像された未加工の原画像に対してなされる。撮像装置が撮像後の画像データに対する後処理の１つとして本画像処理を実行してもよく、また撮像装置あるいは適宜の記憶手段から画像データを受け取ったコンピュータ装置が、本画像処理を実行してもよい。

ここでは、既に実行された撮像により生成された原画像データに対し、汎用のコンピュータ装置が本実施形態の画像処理を実行する態様を例示して説明する。撮像装置の構成については特に限定されず、培養された細胞を含む試料を培地とともに撮像し、デジタル画像データとして出力する機能を有するものであればよい。また画像は明視野撮像画像であることが好ましい。また、コンピュータ装置についても、例えばパーソナルコンピュータとして製品化されている一般的なハードウェア構成を有するものを利用可能である。以下ではこれらのハードウェアについての詳しい説明を省略する。

図１は本実施形態の領域分割処理を示すフローチャートである。まず、図１を参照してこの実施形態における領域分割処理の概略について説明し、その後で処理の具体的内容について詳しく説明する。コンピュータ装置は、培地中で培養された細胞を含む試料を適宜の撮像装置および撮像条件で明視野撮像することにより得られる原画像を取得する（ステップＳ１０１）。原画像は少なくとも１つの細胞の全体を含むものとする。したがって、原画像は細胞と細胞以外のデブリや背景等とを含み得る。

取得された原画像については、解像度変換が必要であるか否かが判断される（ステップＳ１０２）。解像度変換は、撮像時の原画像の画素サイズを領域分割処理に適した画素サイズに変換する処理である。必要と判断された場合には解像度変換が実行される（ステップＳ１０３）。

以下の説明において特に断りなく単に「画素」というとき、ステップＳ１０４以降の処理に供される原画像の画素を指すものとする。解像度変換が実行されていれば変換後の画素が、また解像度変換が実行されていなければ撮像時の画素が、ここでいう「画素」である。なお特に区別する必要があるとき、変換前の（つまり撮像時の）画素を「原画素」と称することがある。すなわち、「原画素」は、解像度変換が実行されたか否かに関わらず撮像時の画素を意味するものとする。

原画像は複数のブロックに分割される（ステップＳ１０４）。この実施形態では、原画像における４画素×４画素の正方形が１つのブロックとされる。解像度変換が行われたときには、上記した通り、ここでいう画素は変換後の画素である。１ライン分の画素数が１ブロックの１辺の画素数４で割り切れない場合には、原画像の端部において処理に算入されない画素が生じてもよい。また、このような端数が出ないように原画像の端部を予め切除しておいてもよい。

次に、各画素の画素値から、原画像全体における平均画素値がオフセット値として減算される（ステップＳ１０５）。画素値が例えば８ビットデータとして表されている場合、各画素は０から２５５までの２５６段階の値を取り得るが、平均画素値を減算することにより、画素値として負の値を取る画素も出現することになる。この処理は、後の演算の便宜のためのレベルシフトのためのものである。

こうして分割されたブロックごとに、空間周波数成分が求められる。この目的のために、本実施形態では二次元の離散コサイン変換（Discrete Cosine Transform；以下「ＤＣＴ」と略称する）演算が利用される（ステップＳ１０６）。例えばＪＰＥＧ（Joint Photographic Experts Group）画像圧縮技術でも用いられているように、二次元ＤＣＴ演算により各ブロックの画像内容が二次元の空間周波数成分に分解される。

当該ブロックの画像内容は、各周波数成分を合成することによって再現することが可能である。画像の内容により、周波数成分ごとの強度が異なる。ＪＰＥＧ方式の画像圧縮理論において知られているように、各周波数成分の強度は、ＤＣＴ演算により得られるＤＣＴ係数として求められる。

空間周波数成分のうち低周波成分は、ブロック内の画像における緩やかな明るさの変化を表す。このうち直流成分は、当該ブロックの明るさの平均値に相当する。一方、高周波成分はより細かい明るさの変化を表しており、ブロック内の画像のテクスチャに関する情報を持つ。そこで、求められたＤＣＴ係数に基づき、ある空間周波数より低い周波数成分の合計値を、当該ブロックの明るさに対応する特徴量として、またこれより高い周波数成分の合計値を、当該ブロックのテクスチャに対応する特徴量としてそれぞれ算出する（ステップＳ１０７）。

こうすることで、１つのブロックを、明るさを示す低周波特徴量とテクスチャを示す高周波特徴量とによって表現することができる。一例として、画像の空間周波数成分を直流成分と交流成分とに分け、直流成分をブロックの明るさを表す特徴量として、また交流成分をブロック内のテクスチャを表す特徴量とすることができる。

こうして各ブロックの画像の特徴が、明るさを表す低周波特徴量とテクスチャを表す高周波特徴量とにより表現される。これらの特徴量で表されるブロックが、細胞内領域の特徴と、それ以外の領域の特徴とのいずれを強く有しているかによって、当該ブロックが細胞に対応するものかそれ以外の非細胞に対応するかを判定することができる（ステップＳ１０８）。ブロックごとに当該ブロックが細胞に相当するか非細胞に相当するかが判定されれば、その結果に基づき、原画像が細胞の領域と非細胞の領域とに分割される（ステップＳ１０９）。以上が本実施形態の領域分割処理の概要である。

図２はこの実施形態の領域分割処理を実行するコンピュータ装置の構成例である。コンピュータ装置１は例えばパーソナルコンピュータとして一般的な構成を有するものであり、ＣＰＵ（Central Processing Unit）１０、メモリ１４、ストレージ１５、入力デバイス１６、表示部１７、インターフェース１８およびディスクドライブ１９などを備えている。

ＣＰＵ１０は、予め用意された制御プログラムを実行することで、領域分割処理を実行するための各機能ブロック、すなわち画像加工部１１、ＤＣＴ演算部１２および分類部１３などの機能ブロックをソフトウェア的に実現する。なお、これらが専用ハードウェアにより構成されてもよい。メモリ１４はＣＰＵ１０の演算過程で生成される各種データを一時的に記憶する。ストレージ１５は、ＣＰＵ１０が実行すべき制御プログラムのほか、原画像の画像データや処理後の画像データ等を長期的に記憶する。

入力デバイス１６は、オペレータからの指示入力を受け付けるためのものであり、例えばマウス、キーボードなどを含む。また、表示部１７は画像を表示する機能を有する例えば液晶ディスプレイであり、原画像や処理後の画像、オペレータへのメッセージ等種々の情報を表示する。なお、入力デバイスと表示部とが一体化されたタッチパネルが設けられてもよい。

インターフェース１８は、電気通信回線を介して外部装置との間で各種データ交換を行う。ディスクドライブ１９は、画像データや制御プログラム等各種のデータを記録した外部の記録ディスク２を受け入れる。記録ディスク２に記憶された画像データや制御プログラム等は、ディスクドライブ１９により読み出され、ストレージ１６に記憶される。ディスクドライブ１９はコンピュータ装置１内で生成されたデータを記録ディスク２に書き込む機能を備えていてもよい。

本実施形態の領域分割処理をコンピュータ装置１に実行させるための制御プログラムについては、これを記録した記録ディスク２にディスクドライブ１９がアクセスして読み出される態様であってもよく、インターフェース１８を介して外部装置から与えられる態様であってもよい。原画像データについても同様である。

画像加工部１１は、原画像の解像度変換、ブロック分割および最終的な画像の領域分割等を実行する。また、ＤＣＴ演算部１２は上記したＤＣＴ演算をブロックごとに実行して空間周波数成分を求める。分類部１３は、ブロックごとに求められた特徴量に基づき、各ブロックを細胞に対応するものとそれ以外とに分類する。

図３は原画像の例を示す図である。図３（ａ）に示すように、ステップＳ１０１において取得された原画像Ｉａが、画像オブジェクトとして細胞Ｃと、その周囲に分布するデブリＤと、培地に対応する背景Ｂとを含むものであったとする。図において画像の横方向座標をＸ座標、縦方向座標をＹ座標とする。これらの画像オブジェクトの形状および濃淡は単に一例を示したものであり、実際に得られる画像では種々の形状および濃淡を取り得る。なおデブリは常に存在するとは限らず、細胞Ｃと背景Ｂとで原画像が構成される場合もあり得る。また、画像が細胞Ｃと、これを取り巻くデブリＤとで占められ、培地に対応する背景が含まれない場合もあり得る。また、培地の量や撮像時の照明条件等により、背景Ｂの明るさも常に同じとは限らない。

これらのことから、画像の中での細胞の領域とそれ以外の領域との配置や濃淡等の関係は、原画像ごとに異なっていると考えるべきである。ここに説明する画像処理は、これらの関係によらず成立するものである。この実施形態における領域分割処理の基本的な考え方は、原画像Ｉａを小さなブロックに分割し、各ブロックが有する空間周波数成分によって、当該ブロックが細胞Ｃの画像特徴を強く有しているか、それ以外の特徴を強く有しているかを判定するというものである。

この領域分割処理では、原画像Ｉａが所定サイズを有する正方形のブロックに分割されて処理される。図３（ｂ）に示すように、１つのブロックＢＬはＸ方向およびＹ方向に４画素ずつ、計１６の画素Ｐからなる正方形の領域である。ブロックＢＬの大きさは、画像中の抽出対象となる細胞Ｃの大きさに応じて設定されることが望ましい。

ブロックサイズが小さすぎると、１つのブロックは細胞のごく一部のみを含むこととなり、画像において細胞が有する特徴的な性質を十分に処理に反映させることができず、領域分割の精度低下を招く。また、ブロックサイズが大きすぎると、１つのブロックに細胞の特徴とそれ以外のオブジェクトの特徴とが混在することになり、やはり精度低下の原因となる。本願発明者の知見では、ブロックＢＬの大きさは、画像中の抽出対象となる細胞Ｃの内部に概ね１つのブロックが入る程度に選ばれるのが好ましい。

細胞Ｃが例えばヒトの体細胞である場合、その直径は概ね１０μｍ～２０μｍ程度である。したがって、ブロックＢＬの大きさも、試料サイズに換算したときの１辺の長さがこれと同程度か少し小さいことが好ましい。このことから１つの画素Ｐのサイズは、１辺が２．５μｍ～５μｍまたはこれより少し小さいことが好ましい。

撮像における解像度を例えば６４００ｄｐｉ（dots per inch）とすると、画素サイズは約４μｍである。また、解像度を１６０００ｄｐｉとすると、画素サイズは約１．６μｍである。このことから、上記した画素Ｐのサイズを得るために必要な解像度としては６４００ｄｐｉないし１６０００ｄｐｉが好適である。ただし、これらは本実施形態の領域分割処理を行うのに適した値であって、撮像時にはこれに制約されずできるだけ高い解像度で撮像を行うことが基本である。

例えば３２０００ｄｐｉ（画素サイズ０．８μｍ）の解像度で原画像の撮像が可能であるとき、領域分割処理の都合のために敢えて解像度を低下させる必然性はない。この場合、図３（ｃ）に示すように、撮像時の原画像Ｉａにおける４画素を擬似的に１つの画素Ｐとみなし、それらの平均画素値を当該画素Ｐの画素値とする。こうすることで、撮像時の解像度を低下させることなく、かつ領域分割処理に適した画素サイズ（１．６μｍ）を得ることができる。本実施形態ではこのような処理を「解像度変換」と称している。

解像度変換が必要であるか否かは、撮像時の画素サイズと処理対象である細胞Ｃのサイズとの関係によって決まる。これらの関係が予めわかっている場合には、その既知の関係から解像度変換が必要であるか否かを判断することができる。また、解像度変換を行うかどうかをユーザからの指示入力に基づいて決定するようにしてもよい。必要と判断された場合には解像度変換が実行される（ステップＳ１０３）。

解像度変換が行われたとき、ステップＳ１０４では、変換後の画像における４画素×４画素の正方形が１つのブロックＢＬとされる。解像度変換が行われていなければ、原画像Ｉａの撮像時の画像における４画素×４画素の正方形が１つのブロックＢＬとされる。Ｘ方向およびＹ方向の少なくとも一方において、１ライン分の画素数が１ブロックの１辺の画素数４で割り切れない場合には、原画像の端部において処理に算入されない画素が生じてもよい。また、このような端数が出ないように原画像の端部を予め切除しておいてもよい。

次に、各画素の画素値から、原画像Ｉａ全体における平均画素値がオフセット値として減算される（ステップＳ１０５）。画素値が例えば８ビットデータとして表されている場合、各画素は０から２５５までの２５６段階の値を取り得るが、平均画素値を減算することにより、画素値として負の値を取る画素も出現することになる。本願発明者の知見では、画像における最大画素値と最小画素値との差が比較的小さい細胞画像では、各画素から画像全体の平均画素値を差し引くことで、各画素値の正負のバランスが良好なものとなる。各画素Ｐの画素値をｐ（Ｘ，Ｙ）、平均画素値をｐ_avとするとき、減算後の画素Ｐの画素値ｇ（Ｘ，Ｙ）は次式（式１）で表される。

こうして分割されたブロックごとに、ＤＣＴ演算が実行される（ステップＳ１０６）。ＤＣＴ演算により、各ブロックの画像内容が、Ｘ方向およびＹ方向それぞれについて２次元の空間周波数成分に分解される。ＤＣＴ演算処理はＪＰＥＧ方式の画像圧縮処理でも利用されているように広く知られたものであるため、以下ではＪＰＥＧ画像圧縮処理と同じ考え方を適用することができる事項については説明を省略する。

図４はＤＣＴ演算の概念を示す図である。図左は、原画像の一部であって（４×４）画素からなる、１つのブロックＢＬを表している。原画像での座標位置と区別してブロック内での各画素の位置を表すために小文字を用い、横方向座標をｘ座標、縦方向座標をｙ座標とする。ＤＣＴ演算は、ブロックＢＬ内の各画素の画素値ｇ（ｘ，ｙ）から、図右に示す４行×４列のＤＣＴ係数テーブルＴを求める演算と考えることができる。

ＤＣＴ係数テーブルＴにおける行位置ｕ（ｕ＝０，１，２，３）はｘ方向における空間周波数成分を表し、具体的には、ｕ＝０は直流成分を、ｕ＝１は基本周波数成分を、ｕ＝２，３はそれぞれ基本周波数の２倍、３倍の成分を表す。同様に、列位置ｖ（ｖ＝０，１，２，３）はｙ方向における空間周波数成分を示しており、ｖ＝０は直流成分を、ｖ＝１は基本周波数成分を、ｖ＝２，３はそれぞれ基本周波数の２倍、３倍の成分を表す。

各周波数成分の強度を表すＤＣＴ係数Ｃ（ｕ，ｖ）は、次式（式２）により表される。

ここで、定数Ｎはブロックサイズであり、ＪＰＥＧ方式では、Ｎ＝８、すなわち（８×８）画素が１ブロックとされるが、前述したように、この実施形態では（４×４）画素を１ブロックとしているので、Ｎ＝４である。本願発明者の知見では、画像の圧縮・復元を目的とせずＤＣＴ係数を特徴量として利用する本処理方法では、ブロックサイズを（４×４）画素とした方が良好な結果が得られている。またこうすることで演算量も削減することができ高速化にも適している。

ＤＣＴ係数テーブルＴを構成するＤＣＴ係数Ｃ（ｕ，ｖ）のうち、予め定められた周波数以下の低周波の成分、例えば直流成分を表す係数Ｃ（０，０）が低周波特徴量とされる。また、それ以外の係数の合計が高周波特徴量とされる。なお、ＤＣＴ係数は正負いずれの値も取り得る。合計時にそれらの値が相殺されることを回避するためには、例えばＤＣＴ係数の合計をそれぞれの絶対値の和とすることができる。

このようにして求められた低周波特徴量と高周波特徴量とに基づき、各ブロックが「細胞」に相当するか「非細胞」に相当するかが判定される（ステップＳ１０８）。この判定は、低周波特徴量と高周波特徴量とで構成される二次元特徴量空間において当該ブロックが占める位置に基づいてなされる。判定を行うためには、その判定基準、具体的には二次元特徴量空間において「細胞」の特徴が占める範囲を特定しておく必要がある。

複数の撮像の間で、撮像される細胞の種類、培地の種類および量、撮像条件（撮像倍率や照明強度など）等が固定されている場合には、同じ条件で撮像された典型的な細胞の画像を事例として多数収集し、適宜の機械学習アルゴリズムを用いることで、二次元特徴量空間において細胞クラスタが占める範囲を予め特定しておくことができる。この場合、未知の原画像から選出されたブロックの特徴量が細胞クラスタに属するか否かによって、当該ブロックが細胞に対応するか非細胞に対応するかを判定することが可能である。

ただし、一般的には撮像条件等は原画像ごとに異なる。このため、より精度の高い判定を行うためには、処理対象である原画像から読み取れる情報から判定基準を策定することができると便宜である。以下、その方法の一例について説明する。

図５は判定基準を策定するための処理を示すフローチャートである。また、図６は処理過程における指示入力態様を例示する図である。この処理は、取得された原画像Ｉａのうち細胞および非細胞それぞれの特徴を強く有する典型例についてオペレータから教示を受け、その情報から二次元特徴量空間における細胞と非細胞との境界を特定するものである。この処理は、コンピュータ装置１が原画像Ｉａを取得した時（ステップＳ１０１）以降、ブロックの分類（ステップＳ１０８）を開始するまでの任意のタイミングで実行することができる。処理は、ＣＰＵ１０がストレージ１５に記憶されている制御プログラムを実行することにより実現される。

最初に、取得された原画像Ｉａが表示部１７に表示されオペレータに提示される（ステップＳ２０１）。そして、表示された原画像Ｉａの中で、細胞の領域に属する代表点と、非細胞の領域に対応する代表点とを指定するオペレータからの教示入力を受け付ける（ステップＳ２０２）。なお、細胞の領域と非細胞の領域とがはっきりした外見上の差異を有している場合には、細胞の領域に属する代表点のみが指定されてもよい。

精度向上のために、代表点は複数指定されることが望ましい。そこで、図６（ａ）に示すように、例えば、マウス操作あるいはタッチペン入力等により細胞Ｃの領域内で連続的にポインタを動かす動作をオペレータに実行させることで、その軌跡上の複数の点を細胞Ｃの代表点として取得収集することができる。図における白抜き矢印は、ユーザによるマウス等の操作に連動して画面上で移動するポインタを表している。

また、図６（ｂ）に点線で示すように、細胞Ｃ内に属する矩形領域、細胞外の矩形領域等を二次元の領域として指定させてもよい。画像内にデブリＤと背景Ｂとが存在する場合、細胞外の領域の指定においてはデブリＤの領域と背景Ｂの領域との両方を含ませることが望ましい。こうすることにより、細胞外の領域から抽出される代表点にはデブリＤの特徴を有するものと背景Ｂの特徴を有するものとがともに含まれることとなる。そのため、特徴量空間における細胞の領域と非細胞の領域との境界を決めるに当たり、非細胞に関する情報をより強く反映させることができる。

また、図６（ｃ）に点線で示すように、細胞Ｃの領域、デブリＤの領域、背景Ｂの領域それぞれを個別に指定させるようにしてもよい。こうして指定された範囲から選出される代表点は、特徴量空間において細胞クラスタ、デブリクラスタおよび背景クラスタをそれぞれ形成することとなるので、細胞と非細胞とを分割するだけでなく、例えば背景とデブリとの間で領域分割を行うことも可能となる。

こうしていくつかの代表点が指定されると、上記した領域分割処理と同様に、各画素の画素値から原画像Ｉａ全体における平均画素値が減算され（ステップＳ２０３）、代表点を含む（４×４）画素サイズの仮想的なブロックにつきＤＣＴ演算が実行され（ステップＳ２０４）、ＤＣＴ係数から低周波特徴量および高周波特徴量が算出される（ステップＳ２０５）。これにより、代表点を含むブロックを典型例としたときの二次元特徴量空間における分布が明らかになり、その結果から、二次元特徴量空間における「細胞」の領域と「非細胞」の領域との境界を特定することができる（ステップＳ２０６）。

境界の特定には、特徴量の値に基づく特徴量空間におけるクラスタリング技術として知られている種々の方法を適宜選択して使用することができる。ただし、典型例の数があまり多くないことから複雑な学習アルゴリズムを適用する利点は少なく、以下に説明するようなより簡易な方法を用いることも可能である。

図７は特徴量空間における境界特定方法の例を示す図である。図６（ａ）または図６（ｂ）に示した方法を用いて、ユーザにより細胞領域と非細胞領域とが指定されると、それらの領域内の代表点を含むいくつかのブロックにつき低周波特徴量および高周波特徴量が求められる。各ブロックを二次元特徴量空間にプロットすると、図７（ａ）に示すように、細胞および非細胞それぞれの画像特徴の差異に起因して、細胞Ｃに対応するクラスタ（細胞クラスタ）Ｃ１と、それ以外の非細胞、すなわち背景ＢおよびデブリＤに対応するクラスタ（非細胞クラスタ）Ｃ２との２つのクラスタが形成されると考えられる。

これらのクラスタＣ１、Ｃ２の重心点Ｇ１、Ｇ２をそれぞれ特定し、これらの重心点Ｇ１、Ｇ２を結ぶ線分Ｌ１の垂直二等分線Ｌ２を、特徴量空間において細胞と非細胞とを区分する境界とすることができる。領域分割処理におけるブロックごとの判定（ステップＳ１０８）においては、各ブロックの画像特徴を表す低周波特徴量と高周波特徴量との組が境界線Ｌ２に対し細胞クラスタＣ１に近い点として表される場合には当該ブロックは細胞Ｃに対応すると判定される。一方、特徴量が非細胞クラスタＣ２に近い点として表される場合には、当該ブロックは非細胞に対応すると判定される。

図６（ｃ）に示すように、細胞Ｃに対応する領域、背景Ｂに対応する領域およびデブリＤに対応する領域がそれぞれ指定されるケースでは、図７（ｂ）に示すように、特徴量空間では細胞Ｃに対応するクラスタＣ１、背景Ｂに対応するクラスタＣ３およびデブリＤに対応するクラスタＣ４が形成される。細胞クラスタＣ１を他のクラスタから明確に分離することのできる適宜の直線または曲線Ｌ３を特定することで、当該曲線Ｌ３を細胞と非細胞とを区分する境界とすることができる。

以上のように、この実施形態の領域分割処理では、細胞を含む原画像を複数の小ブロックに分割し、ブロックごとの空間周波数成分を求める。そして、低周波成分の強度に基づく低周波特徴量と、高周波成分の強度に基づく高周波特徴量との組が二次元特徴量空間において占める位置が、細胞クラスタに属するものであるか否かによって、当該ブロックの画像が細胞に対応するものかそれ以外の非細胞に対応するものであるかが判定される。

低周波特徴量はブロックの明るさおよび比較的単純な構造を、また高周波特徴量はブロック内の細かいテクスチャをそれぞれ表す特徴量である。このように明るさとテクスチャとを総合的に評価することで、単なる２値化処理や輪郭抽出処理による領域分割よりも優れた精度で、画像内の細胞と非細胞とを区分することができる。

なお、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能である。例えば、上記実施形態における原画像の領域分割（ステップＳ１０９）では、原画像がブロック単位で細胞と非細胞とに分割されることになる。しかしながら、ブロック境界は自動的に策定されたものであり、原画像における細胞と非細胞との境界に一致するとは限らない。このことに鑑み、例えば公知の輪郭抽出処理と組み合わせて原画像の分割が行われてもよい。すなわち、上記のようにしてブロック単位で特定された細胞領域と非細胞領域との境界の位置を、輪郭抽出処理の結果によって修正するようにしてもよい。

また、上記実施形態における二次元特徴量空間での細胞クラスタの境界を特定する処理は単なる例示であり、これ以外にも各種のクラスタリング方法を適用することが可能である。また、細胞および非細胞の典型例を収集する方法についても、上記に限定されるものではない。

また、上記実施形態では、低周波特徴量についてはＤＣＴ係数の直流成分Ｃ（０，０）を、高周波特徴量についてはそれ以外のＤＣＴ係数の絶対値の和を用いている。しかしながら、低周波特徴量と高周波特徴量とを区別する周波数はこれに限定されず、比較的低い交流周波数であってもよい。また、ＤＣＴ演算以外にも適宜の空間周波数成分を求める方法があれば、それが利用されてもよい。

また、上記実施形態では、汎用のコンピュータ装置１によって領域分割処理が実行されているが、前述したように例えば撮像装置にこの処理機能が組み込まれていてもよい。また、既存の撮像装置に本実施形態の領域分割処理を実行するためのプログラムを追加的に実装して機能拡張を行うことも可能である。

また、上記説明では画素のサイズやブロックサイズの具体的数値を例示しているが、本実施形態の領域分割処理は、これらの数値範囲外の条件であっても実行することが可能である。

以上、具体的な実施形態を例示して説明してきたように、本発明においては、空間周波数成分のうち直流成分の強度と、交流成分の強度の合計とをそれぞれ特徴量とするように構成されてもよい。空間周波数成分のうち直流成分はブロックの平均的な明るさを表し、交流成分はブロック内での明るさの変化態様、すなわちテクスチャを表す。したがって、ブロック内の明るさとテクスチャとを指標する特徴量に基づき画像を領域分割することとなり、単なる２値化処理や輪郭抽出処理よりも精度の高い領域分割が可能となる。

また、ブロックごとに、当該ブロックに含まれる画素の画素値に基づく二次元離散コサイン変換を実行し、各周波数成分の強度が当該周波数成分の離散コサイン変換係数として求められてもよい。このような処理はＪＰＥＧ方式の画像圧縮処理にも利用されており、演算アルゴリズムが既に確立されているため、本発明にもこれを適用することができる。

この場合、画素それぞれの画素値から原画像全体の平均画素値を減じた値に基づき二次元離散コサイン変換が実行されてもよい。透明に近い細胞を撮像した画像では画素値の分布幅が小さいため、離散コサイン変換演算のためのレベルシフトは、原画像全体の平均画素値を用いて行われるのが好ましい。

また、複数の周波数成分の強度の合計は、各周波数成分の離散コサイン変換係数の絶対値の和として求められてもよい。離散コサイン変換係数は正負いずれの値をを取り得るため、単純な合計では各周波数成分が相殺されて良好な結果を得られないおそれがある。絶対値の和を取ることにより、この問題を解消することができる。

また、各ブロックは、１辺が４画素に相当するブロックサイズの正方形であってもよい。ＪＰＥＧ方式の画像圧縮ではブロックサイズは８画素とされているが、本願発明者の知見では、画像の圧縮・復元を目的としない本発明においてはブロックサイズを４画素とした方が良好な結果が得られる。

また、原画像をブロックに分割するのに先立って、原画像の画素サイズを、取得したときの原画素サイズから、原画素サイズと異なるブロック分割用の画素サイズに変換する工程がさらに設けられてもよい。細胞とそれ以外の非細胞との間における明るさやテクスチャの違いを利用して領域分割を行う本発明では、演算時の好ましい画素サイズが例えば細胞等、画像中のオブジェクトのサイズに依存する。このための画素サイズは撮像時の好ましい画素サイズとは必ずしも一致しないが、画素サイズの変換を行うことにより、それぞれ個別に画素サイズの最適化を図ることができる。

また、分類に先立って、原画像中で細胞に属する点と背景に属する点とに関するユーザからの教示入力を受け付ける工程と、教示入力の結果に基づき、細胞に属する点を含む少なくとも１つのブロックと、背景に属する点を含む少なくとも１つのブロックとのそれぞれについて特徴量を求め、その結果に基づき二次元特徴量空間における細胞クラスタの範囲を特定する工程とがさらに設けられてもよい。このような構成によれば、細胞の種類や撮像条件が一定でない場合でも、細胞とそれ以外との領域の分割を安定的に行うことが可能である。

また、原画像は細胞を明視野撮像することで得られた画像であってもよい。一般に細胞は透明に近く、また培地との屈折率の差も小さいため、明視野撮像画像では目視による細胞と非細胞との区別がつきにくい。このような画像に本発明を適用することで、画像中の細胞の領域とそれ以外の領域とを良好にかつ安定的に分割することが可能となる。

本発明は、細胞を撮像し画像を評価する生化学や医療の分野に適用可能であり、特に培養されている細胞にダメージを与えるような加工を行うことのない撮像が必要とされる技術分野に好適なものである。

１ コンピュータ装置
２ 記録ディスク（記録媒体）
Ｂ 背景
ＢＬ ブロック
Ｃ 細胞
Ｄ デブリ
Ｉａ 原画像

Claims (12)

1. 培養された細胞が背景と共に含まれる原画像を取得する工程と、
   前記原画像を所定数の画素からなるブロックに分割し、各ブロック内の画像が有する空間周波数成分を求める工程と、
   予め定められた周波数以下の低周波数成分の強度の合計と、前記低周波数成分より高い周波数の高周波数成分の強度の合計とをそれぞれ特徴量とする二次元特徴量空間において、前記ブロックの各々を、前記細胞に対応する細胞クラスタに属するブロックとそれ以外のブロックとに分類する工程と、
   前記原画像を、前記細胞クラスタに分類された前記ブロックが占める領域とそれ以外の領域とに分割する工程と
   を備え、
   前記空間周波数成分のうち直流成分の強度と、全ての交流成分の強度の合計とをそれぞれ前記特徴量とする画像処理方法。
2. 培養された細胞が背景と共に含まれる原画像を取得する工程と、
   前記原画像の画素サイズを、取得したときの原画素サイズから、前記原画素サイズと異なるブロック分割用の画素サイズに変換する工程と、
   前記変換後の前記原画像を所定数の画素からなるブロックに分割し、各ブロック内の画像が有する空間周波数成分を求める工程と、
   予め定められた周波数以下の低周波数成分の強度の合計と、前記低周波数成分より高い周波数の高周波数成分の強度の合計とをそれぞれ特徴量とする二次元特徴量空間において、前記ブロックの各々を、前記細胞に対応する細胞クラスタに属するブロックとそれ以外のブロックとに分類する工程と、
   前記原画像を、前記細胞クラスタに分類された前記ブロックが占める領域とそれ以外の領域とに分割する工程と
   を備え、
   前記ブロックのサイズは、前記細胞１つのサイズに相当するように選ばれた画像処理方法。
3. 前記空間周波数成分のうち直流成分の強度と、交流成分の強度の合計とをそれぞれ前記特徴量とする請求項２に記載の画像処理方法。
4. 前記原画像を前記ブロックに分割するのに先立って、前記原画像の画素サイズを、取得したときの原画素サイズから、前記原画素サイズと異なるブロック分割用の画素サイズに変換する工程を備える請求項１に記載の画像処理方法。
5. 前記ブロックごとに、当該ブロックに含まれる前記画素の画素値に基づく二次元離散コサイン変換を実行し、各周波数成分の強度が当該周波数成分の離散コサイン変換係数として求められる請求項１ないし４のいずれかに記載の画像処理方法。
6. 前記画素それぞれの画素値から前記原画像全体の平均画素値を減じた値に基づき前記二次元離散コサイン変換を実行する請求項５に記載の画像処理方法。
7. 複数の周波数成分の強度の合計は、各周波数成分の前記離散コサイン変換係数の絶対値の和として求められる請求項５または６に記載の画像処理方法。
8. 前記ブロックは、１辺が４画素に相当するブロックサイズの正方形である請求項５ないし７のいずれかに記載の画像処理方法。
9. 前記分類に先立って、
   前記原画像中で前記細胞に属する点と前記背景に属する点とに関するユーザからの教示入力を受け付ける工程と、
   前記教示入力の結果に基づき、前記細胞に属する点を含む少なくとも１つの前記ブロックと、前記背景に属する点を含む少なくとも１つの前記ブロックとのそれぞれについて前記特徴量を求め、その結果に基づき前記二次元特徴量空間における前記細胞クラスタの範囲を特定する工程と
   を備える請求項１ないし８のいずれかに記載の画像処理方法。
10. 前記原画像は、前記細胞を明視野撮像することで得られた画像である請求項１ないし９のいずれかに記載の画像処理方法。
11. コンピュータに、請求項１ないし９のいずれかに記載の画像処理方法の各工程を実行させるためのコンピュータプログラム。
12. 請求項１１に記載のコンピュータプログラムを記録した、コンピュータ読み取り可能な記録媒体。

Images