JPWO2004042392A1 - 画像解析支援方法、画像解析支援プログラムおよび画像解析支援装置 - Google Patents

Abstract

蛍光画像および明視野画像または位相差画像の撮影をおこない（ステップＳ４０１）。つぎに、撮影された蛍光画像から、細胞位置を検出する（ステップＳ４０２）。つぎに、ステップＳ４０１において撮影された明視野画像または位相差画像を用いて、明視野でステップＳ４０２において位置が検出された細胞の細胞領域を求める（ステップＳ４０３）。それによって、細胞領域以外の蛍光部分を除外する（ステップＳ４０４）。そして、ステップＳ４０４によって除外されて残った細胞領域によって特定される注目細胞のクラスを判定し、それによって当該注目細胞のクラス分けをおこなう（ステップＳ４０５）。その後、上記結果に基づいて、レポートを作成する（ステップＳ４０６）。

Description

本発明は、バイオ研究・開発、創薬などのゲノム解析技術の分野において、顕微鏡などで撮影した細胞画像の解析の支援をおこなう画像解析支援方法、画像解析支援プログラムおよび画像解析支援装置に関する。

近年、ゲノムサイエンスの進展にともない、ｃＤＮＡを細胞に注入した細胞に対して、タンパク質の局在パターンの識別や、細胞の形態変化を観察する研究、すなわち、細胞内にｃＤＮＡを注入したときに引き起こされる形態変化を定量的に解析することによって、ＤＮＡの機能を明らかにしようとすることがおこなわれるようになってきた。たとえば、薬物効果の確認のために、遺伝子の発現を判定し、タンパク質局在パターンを類別し、遺伝子注入により細胞がどのように変化するかをスクリーニングしたいというニーズがある。
そこで、顕微鏡で染色や蛍光発色させた細胞の変化を観察することがおこなわれてきた。その際に、画像を自動で取り込むシステムは従来技術として製品化されている。それらの従来技術は、細胞培養用の多数のウェル（穴）を配置したプレートを利用して、大量に画像を培養し、顕微鏡で観察・スクリーニングができるようになっている。
また、製品化されている具体例として、たとえば、松下電器株式会社の顕微鏡画像取り込み装置ＨＴＳ−５０では、細胞画像から定量的な数値を出す機能を備えている。例として、細胞の偏平度、神経突起の長さ、染色した核の解析などである。ここでは、個々の細胞を切り出して解析しているわけではなく、画像全体のテクスチャや細長い構造の総延長を算出している。また、システム全体は、実験者がすべての生画像を目視確認することを前提に作られている。また、米国のベックマン社が顕微鏡画像を用いた装置・アプリケーションを製品化しているが、ＨＴＳ−５０と同様に、実験者が画像を目視確認することが前提となっている。
また、従来技術の特許文献としては、たとえば特開平５−２４９１０２号公報などが存在する。
しかしながら、上記の従来技術にあっては、スクリーニングにおいて、画像を一枚ごとに人手により目視検査する必要があった。このように、実験結果を目視検査で確認し、手作業で個々の細胞領域を抽出する方法では、多種のｃＤＮＡに対する実験において発生する大量の画像を処理するのはきわめて困難であるという問題点があった。
具体的には、一つのウェルから一つの結果を得られればよいにもかかわらず実際は、画像が一つのウェルから数枚から十数枚生じることになる。一回の実験でウェルは１００個程度あるので、数百枚から数千枚の画像が生じる。しかも、画像を縮小表示しても必要な細胞の領域は画面内のわずかな面積（例えば１／４００）しか占めないので、そのまま一覧表示することはできない。ｃＤＮＡの注入の成功率は、対象細胞の種類、ｃＤＮＡの種類、培地の性質に依存して変化するが、１００細胞に１個程度しか発見できない場合もある。このように、ｃＤＮＡが注入された興味ある細胞はまばらにしか存在しないため、それらの細胞を発見し、さらにタンパク質局在パターンの名称や細胞形態の名前を人手で付与するのに多大な時間と労力を要するという問題点があった。
また、画像の解析および結果表示において、従来の技術では画像全体に対する一様な処理が使われており、結果表示は１枚の画像単位でおこなわれている場合もあった。しかし、ｃＤＮＡに対する実験では、注入が成功する確率が低く、注入された細胞とされていない細胞を区別する必要があった。さらに、蛍光パターンが多種類あり、背景の中にもノイズのような微弱なパターンが存在するので、背景と細胞パターンを区別するのが難しいという問題点があった。細胞全体が蛍光する場合もあれば、細胞の一部が粒状に蛍光する場合もある。隣接細胞どうしの細胞全体が蛍光している場合は分離する必要がある。粒状に蛍光している場合は、粒間の暗い部分を背景としないように認識する必要がある。このように、目視でおこなう場合にも判断が困難な場合もあり、全体として実験・解析の効率化を図ることができないという問題点があった。
この発明は上記問題を解決するため、顕微鏡で撮影された画像の細胞位置およびその種類を迅速にかつ効率的に抽出し、各画像の細胞領域ごとの抽出結果を自動的に一覧表示することにより、実験・解析の効率化を図ることが可能な画像解析支援方法、画像解析支援プログラム、画像解析支援装置を提供することを目的とする。

上述した課題を解決し、目的を達成するため、本発明にかかる画像解析支援方法、画像解析支援プログラムおよび画像解析支援装置は、複数のウェルに付着する細胞を撮影した蛍光画像に関する情報、および前記蛍光画像と同一視野における明視野画像および位相差画像の少なくともいずれか一方に関する情報の入力を受け付け、入力が受け付けられた蛍光画像に関する情報に基づいて、前記蛍光画像における細胞の存在位置を検出し、検出された存在位置に存在する細胞のクラスを判定し、判定されたクラスに関する情報、および検出された存在位置に基づいて抽出された細胞の前記明視野画像および位相差画像の少なくともいずれか一方の画像情報を一覧表示可能に出力することを特徴とする。
また、本発明において、前記判定されたクラスに基づいて、前記画像ごとまたは前記ウェルごとの認識結果を判定し、判定された認識結果に関する情報を一覧表示可能に出力するようにしてもよい。また、判定された認識結果を変更することもできる。
また、本発明において、前記蛍光画像の細胞候補に関する情報と、平均的な細胞モデルに関する情報および平均的な背景モデルに関する情報の少なくともいずれか一つとを比較し、両者の類似性を評価することによって、前記蛍光画像における細胞の存在位置を検出するようにしてもよい。その際、前記平均的な細胞モデルおよび平均的な背景モデルの少なくともいずれか一つの主成分ベクトルと、前記蛍光画像の細胞候補の特徴ベクトルとの内積をとることによって射影量を算出し、算出された射影量を正規化して評価値を算出し、算出された評価値に基づいて前記蛍光画像における細胞の存在位置を検出することもできる。
また、本発明において、各タンパク質局在クラスのモデルの主成分ベクトルと、前記位置検出工程によって存在位置に存在する細胞の特徴ベクトルとの内積をとることによって射影量を算出し、算出された射影量を正規化して評価値を算出し、算出された評価値に基づいて前記細胞のクラスを判定するようにしてもよい。
これらの発明によれば、目視に頼ることなく、迅速にかつ効率的に画像上の細胞位置およびその細胞の種類を抽出することができる。

第１図は、この発明の本実施の形態にかかる画像解析支援装置のハードウエア構成の一例を示す説明図であり、第２図は、画像蓄積用ＰＣまたは画像処理用ＰＣのハードウエア構成の一例を示すブロック図であり、第３図は、この発明の本実施の形態にかかる画像解析支援装置の機能的構成を示す説明図であり、第４図は、この発明の本実施の形態にかかる画像解析支援装置の処理の内容を示すフローチャートであり、第５図は、蛍光画像の一例を示す説明図であり、第６図は、明視野画像の一例を示す説明図であり、第７図は、位相差画像の一例を示す説明図であり、第８図は、細胞を培養するプレートの一例を示す説明図であり、第９図は、一つのウェルから複数枚の画像を得る際の撮影領域の一例を示す説明図であり、第１０図は、画像取得の処理の内容を示すフローチャートであり、第１１図は、細胞位置の検出処理の内容を示す説明図であり、第１２図は、細胞位置の検出処理の内容を示す別の説明図であり、第１３図は、細胞位置の検出処理の内容を示す別の説明図であり、第１４図は、細胞位置を検出した一例を示す説明図であり、第１５図は、クラス判定処理の内容を示す説明図であり、第１６図は、クラス判定処理の結果の一例を示す説明図であり、第１７図は、認識結果判定処理の内容を示すフローチャートであり、第１８図は、レポート画面の一例を示す説明図であり、第１９図は、レポート画面の別の一例を示す説明図であり、第２０図は、細胞内のタンパク質局在クラスの画像例を示す説明図である。

以下に添付図面を参照して、この発明にかかる画像解析支援方法、画像解析支援プログラムおよび画像解析支援装置の好適な実施の形態を詳細に説明する。
（画像処理装置のハードウエア構成）
まず、この発明の本実施の形態にかかる画像解析支援装置のハードウエア構成について説明する。第１図は、この発明の本実施の形態にかかる画像処理装置のハードウエア構成の一例を示す説明図である。第１図において、１００は光学顕微鏡であり、１０１は顕微鏡制御モジュールであり、１０２は画像蓄積用パーソナルコンピュータ（ＰＣ）であり、１０３は画像処理用パーソナルコンピュータ（ＰＣ）であり、１０４はモニタであり、１０５はプリンタである。
ここで、顕微鏡制御モジュール１０１は、光学顕微鏡１００を制御し、蛍光画像、明視野画像および位相差画像を撮影するためのモジュールであり、ｃＤＮＡに蛍光マーカーを付与し、注入に成功した細胞が蛍光に反応するようにセットする。光学顕微鏡１００は、同一視野で蛍光・明視野・位相差の画像が撮影できるようにセットする。顕微鏡制御モジュール１０１は、ｘｙｚステージ、蛍光（水銀光）シャッター、ハロゲン光シャッターなどを備え、蛍光フィルタ交換や、露光時間を決めるためのＣＣＤカメラ制御などの機能を有する。
また、画像蓄積用ＰＣ１０２および画像処理用ＰＣ１０３は、情報処理装置の一例としてのパーソナルコンピュータである。これらは、サーバーあるいはワークステーションであってもよい。特に、画像処理用ＰＣ１０３は高速な処理能力を有するスーパーコンピュータなどが好ましい。第２図は、画像蓄積用ＰＣ１０２および画像処理用ＰＣ１０３のハードウエア構成の一例を示すブロック図である。第２図において、画像蓄積用ＰＣ１０２および画像処理用ＰＣ１０３は、ＣＰＵ２０１と、ＲＯＭ２０２と、ＲＡＭ２０３と、ＨＤＤ２０４と、ＨＤ２０５と、ＦＤＤ（フレキシブルディスクドライブ）２０６と、着脱可能な記録媒体の一例としてのＦＤ（フレキシブルディスク）２０７と、Ｉ／Ｆ（インタフェース）２０８と、キーボード２１０と、マウス２１１と、スキャナ２１２と、を備えている。また、各構成部はバス２００によってそれぞれ接続されている。さらに、ディスプレイ（モニタ）１０４と、プリンタ１０５とが接続されている。
ここで、ＣＰＵ２０１は、画像解析支援装置の全体の制御を司る。ＲＯＭ２０２は、ブートプログラムなどのプログラムを記憶している。ＲＡＭ２０３は、ＣＰＵ２０１のワークエリアとして使用される。ＨＤＤ２０４は、ＣＰＵ２０１の制御にしたがってＨＤ２０５に対するデータのリード／ライトを制御する。ＨＤ２０５は、ＨＤＤ２０４の制御で書き込まれたデータを記憶する。
ＦＤＤ２０６は、ＣＰＵ２０１の制御にしたがってＦＤ２０７に対するデータのリード／ライトを制御する。ＦＤ２０７は、ＦＤＤ２０６の制御で書き込まれたデータを記憶したり、ＦＤ２０７に記録されたデータを情報処理装置へ読み取らせたりする。着脱可能な記録媒体として、ＦＤ２０７のほか、ＣＤ−ＲＯＭ（ＣＤ−Ｒ、ＣＤ−ＲＷ）、ＭＯ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）、メモリーカードなどであってもよい。ディスプレイ１０４は、カーソル、アイコンあるいはツールボックスをはじめ、文書、画像、機能情報などのデータを表示する。たとえば、ＣＲＴ、ＴＦＴ液晶ディスプレイ、プラズマディスプレイなどである。
Ｉ／Ｆ（インタフェース）２０８は、通信回線を通じてＬＡＮやインターネットなどのネットワーク２０９に接続され、ネットワーク２０９を介して、他のサーバーや情報処理装置に接続される。そして、Ｉ／Ｆ２０８は、ネットワークと内部とのインタフェースを司り、他のサーバーや情報端末装置からのデータの入出力を制御する。画像蓄積用ＰＣ１０２と画像処理用ＰＣ１０３も、このＩ／Ｆ２０８によって接続される。Ｉ／Ｆ２０８は、たとえばモデムなどである。
キーボード２１０は、文字、数字、各種指示などの入力のためのキーを備え、データの入力をおこなう。タッチパネル式の入力パッドやテンキーなどであってもよい。マウス２１１は、カーソルの移動や範囲選択、あるいはウインドウの移動やサイズの変更などをおこなう。ポインティングデバイスとして同様の機能を備えるものであれば、トラックボール、ジョイスティックなどであってもよい。
スキャナ２１２は、ドライバ画像などの画像を光学的に読み取り、情報処理装置内に画像データを取り込む。さらにＯＣＲ機能も備えており、ＯＣＲ機能によって、印刷された情報を読み取ってデータ化することもできる。また、プリンタ１０５は、輪郭画像情報などの画像データや文書データを印刷する。たとえば、レーザプリンタ、インクジェットプリンタなどである。
（画像解析支援装置の機能的構成）
つぎに、画像解析支援装置の機能的構成について説明する。第３図は、この発明の本実施の形態にかかる画像解析支援装置の機能的構成の一例を示すブロック図である。第３図において、画像解析支援装置は、蛍光画像情報入力部３０１と、蛍光画像情報蓄積部３０２と、明視野画像情報・位相差画像情報入力部３０３と、明視野画像情報・位相差画像情報蓄積部３０４と、細胞位置検出部３０５と、クラス判定部３０６と、認識結果判定部３０７と、レポート作成部３０８と、レポート情報蓄積部３０９と、表示制御部３１０と、出力制御部３１１と、からなる。
画像蓄積用ＰＣ１０２の機能的構成としては、蛍光画像情報入力部３０１と、蛍光画像情報蓄積部３０２と、明視野画像情報・位相差画像情報入力部３０３と、明視野画像情報・位相差画像情報蓄積部３０４と、レポート情報蓄積部３０９と、からなり、画像処理用ＰＣ１０３の機能的構成としては、細胞位置検出部３０５と、クラス判定部３０６と、認識結果判定部３０７と、レポート作成部３０８と、表示制御部３１０と、出力制御部３１１と、からなる。ただし、画像蓄積用ＰＣ１０２と、画像処理用ＰＣ１０３とは、１台のＰＣによって上記両方のＰＣの機能を実現するようにしてもよい。
ここで、蛍光画像情報入力部３０１は、後述する複数のウェルに付着する細胞を撮影した蛍光画像に関する情報の入力を受け付ける。また、蛍光画像情報蓄積部３０２は、蛍光画像情報入力部３０１によって入力が受け付けられた蛍光画像に関する情報を蓄積する。
また、明視野画像情報・位相差画像情報入力部３０３は、蛍光画像情報入力部３０１によって入力された蛍光画像と同一視野における明視野画像に関する情報の入力を受け付けるか、または位相差画像に関する情報の入力を受け付ける。あるいは、明視野画像に関する情報および位相差画像に関する情報の両方を受け付けるようにしてもよい。明視野画像と位相差画像に関する情報のいずれを入力するかは、撮影される細胞の状態などによって選択するようにするとよい。また、明視野画像情報・位相差画像情報蓄積部３０４は、明視野画像情報・位相差画像情報入力部３０３によって入力が受け付けられた明視野画像または位相差画像に関する情報を蓄積する。
また、細胞位置検出部３０５は、蛍光画像情報蓄積部３０２によって入力が受け付けられ、蛍光画像情報蓄積部３０２によって蓄積された蛍光画像に関する情報に基づいて蛍光画像における細胞の存在位置を検出する。すなわち、蛍光画像の細胞候補に関する情報と、後述する平均的な細胞モデルに関する情報および平均的な背景モデルに関する情報の少なくともいずれか一つとを比較し、両者の類似性を評価することによって、蛍光画像における細胞の存在位置を検出する。具体的には、細胞位置検出部３０５は、上記平均的な細胞モデルおよび平均的な背景モデルの少なくともいずれか一つの主成分ベクトルと、前記蛍光画像の細胞候補の特徴ベクトルとの内積をとることによって射影量を算出し、算出された射影量を正規化して評価値を算出し、算出された評価値に基づいて前記蛍光画像における細胞の存在位置を検出する。ここで、平均的な細胞モデルに関する情報は、サンプル画像の細胞クラスの主成分ベクトルと、前記細胞クラスの分散値および平均値とを含んでいる。また、平均的な背景モデルに関する情報も同様に、サンプル画像の背景クラスの主成分ベクトルと、前記背景クラスの分散値および平均値とを含んでいる。細胞位置検出処理の詳細な内容については後述する。
また、クラス判定部３０６は、細胞位置検出部３０５によって検出された存在位置に存在する細胞のクラスを判定する。クラス判定部３０６は、各タンパク質局在クラスのモデルの主成分ベクトルと、細胞位置検出部３０５によって存在位置に存在する細胞の特徴ベクトルとの内積をとることによって射影量を算出し、算出された射影量を正規化して評価値を算出し、算出された評価値に基づいて細胞のクラスを判定する。クラス判定処理の詳細な内容については後述する。
また、認識結果判定部３０７は、クラス判定部３０６によって判定されたクラスに基づいて、画像ごとまたはウェルごとの認識結果を判定する。認識結果判定処理の詳細な内容についても後述する。
また、レポート作成部３０８は、クラス判定部３０６によって判定されたクラスに関する情報、および細胞位置検出部３０５によって検出された存在位置に基づいて抽出された細胞の、明視野画像情報・位相差画像情報入力部３０３によって入力が受け付けられ、明視野画像情報・位相差画像情報蓄積部３０４によって蓄積された明視野画像および位相差画像の少なくともいずれか一方の画像情報に基づいて、たとえば後述する第１８図または第１９図に示すようなレポート情報を作成する。レポート作成部３０８は、認識結果判定部３０７によって判定された認識結果に関する情報をレポート情報に含めて作成することができる。さらに、操作者からの指示の入力に基づいて、認識結果判定部３０７によって判定された認識結果を変更することもできる。
レポート情報蓄積部３０９は、レポート作成部３０８によって作成されたレポート情報を蓄積する。また、表示制御部３１０は、モニタ１０４を制御して、レポート作成部３０８によって作成されたレポート情報あるいはレポート情報蓄積部３０９によって蓄積されたレポート情報を表示する。また、出力制御部３１１は、プリンタ１０５を制御して、レポート作成部３０８によって作成されたレポート情報あるいはレポート情報蓄積部３０９によって蓄積されたレポート情報を印刷する。あるいは、出力制御部３１１は、Ｉ／Ｆ２０８によってネットワーク２０９を介して接続された他の情報処理装置へレポート情報を送信する。
上記蛍光画像情報入力部３０１および蛍光画像情報蓄積部３０２は、具体的には、たとえば、キーボード２１０、マウス２１１、スキャナ２１２あるいはＩ／Ｆ２０８によってそれらの機能を実現する。また、上記細胞位置検出部３０５、クラス判定部３０６、認識結果判定部３０７、レポート作成部３０８、表示制御部３１０および出力制御部３１１は、具体的には、たとえばＲＯＭ２０２、ＲＡＭ２０３、ＨＤ２０５あるいはＦＤ２０７に記憶されたプログラムをＣＰＵ２０１が実行することによってそれらの機能を実現する。また、上記蛍光画像情報蓄積部３０３、明視野画像情報・位相差画像情報蓄積部３０４およびレポート情報蓄積部３０９は、具体的には、たとえばＲＡＭ２０３、ＨＤ２０５およびＨＤＤ２０４、あるいはＦＤ２０７およびＦＤＤ２０６によってそれらの機能を実現する。
（画像解析支援装置の処理手順）
つぎに、画像解析支援装置の処理の手順について説明する。第４図は、この発明の本実施の形態にかかる画像解析支援装置の処理の手順を示すフローチャートである。第４図のフローチャートにおいて、まず、後述する第１０図の手順によって、蛍光画像および明視野画像または位相差画像の撮影をおこなう（ステップＳ４０１）。第５図が撮影された蛍光画像の一例である。蛍光画像は、ｃＤＮＡに蛍光マーカーを付与して細胞内で蛍光物質が発光することによって遺伝子が発現した細胞を特定することができる。ｃＤＮＡを注入してもすべての細胞にｃＤＮＡが入り込むわけではない。第５図に示すように、注入に成功した細胞の核のみが光っている。
また、第６図が撮影された明視野画像の一例である。明視野画像は、通常のレンズを用いて撮影された画像であり、細胞の形（輪郭）を認識することができる。第７図が撮影された位相差画像の一例である。位相差画像は、レンズの屈折率を利用して撮影された画像であり、細胞の中身まで認識することができる。したがって、明視野画像はピント合わせをおこない易いというメリットがあり、一方、位相差画像は、ピント合わせに時間を要するが、細胞の輪郭をより明確に表示することができるというメリットがある。いずれの画像を用いるか、あるいは両方を同時に用いるかは、実験・解析の状況に応じて適宜選択することができる。たとえば、一例として、明視野画像でピント合わせをした後、蛍光画像を撮影し、その後、同一のピントでレンズを変更して位相差画像を撮影し、上記蛍光画像と位相差画像のみを画像蓄積用ＰＣ１０２に蓄積するという方法が考えられる。
つぎに、ステップＳ４０１において撮影された蛍光画像（後述する第１１図に示す認識サンプル（未知クラス）１１１１）から、細胞位置を検出する（ステップＳ４０２）。つぎに、ステップＳ４０１において撮影された明視野画像または位相差画像を用いて、明視野でステップＳ４０２において位置が検出された細胞の細胞領域を求める（ステップＳ４０３）。それによって、細胞領域以外の蛍光部分を除外する（ステップＳ４０４）。そして、ステップＳ４０４によって除外されて残った細胞領域によって特定される注目細胞のクラスを判定し、それによって当該注目細胞のクラス分けをおこなう（ステップＳ４０５）。その後、上記結果に基づいて、レポートを作成し（ステップＳ４０６）、一連の処理を終了する。
（ウェルの内容）
第８図は、細胞を培養するプレートの一例である９６ウェルプレートを示す説明図である。第８図において、９６ウェルプレートは、格子状にウェルが配置されている。それぞれのウェルには、縦方向のＡ〜Ｈの符号と、横方向の０１〜１２の番号とが付されており、たとえば、一番左上のウェルは「Ａ０１」、一番右下のウェルは「Ｈ１２」となる。したがって、一つのプレートに対して、「Ａ０１〜Ａ１２」、「Ｂ０１〜Ｂ１２」、・・・「Ｈ０１〜Ｈ１２」までの、縦８×横１２＝９６個のウェルが存在することになる。
第９図は、一つのウェル（「Ｇ１２」）から複数枚の画像を得る際の撮影領域の一例を示す説明図であり、ウェルプレートの一つのウェル（「Ｇ１２ウェル」）を拡大して示したものである。第９図において、Ｇ１２ウェルにおいて、蛍光画像、明視野画像、位相差画像を複数の位置（０１〜０８）で撮影する。この際、同心円状に位置を変えて、すなわち、０１→０２→・・・→０８の順序で画像の撮影をおこなう。また、同心円上に限らず、螺旋状に位置を変えて撮影するようにしてもよい。
第１０図は、９６ウェルプレートを用いた画像取得の処理の内容を示すフローチャートである。第１０図において、まず、最初のウェル（Ａ０１）へ移動し、最初のウェルを撮影可能な状態にする（ステップＳ１００１）。つぎに、ＭカウンターおよびＮカウンターをリセットする（ステップＳ１００２）。そして、最初のウェルにおいて、１枚目の画像を撮影することで取得し（ステップＳ１００３）、Ｎカウンターを一つアップする（ステップＳ１００４）。
つぎに、Ｎカウンターがあらかじめ設定された値、たとえば「８」になったか否かを判断する（ステップＳ１００５）。ここで、未だ「８」になっていない場合（ステップＳ１００５：Ｎｏ）は、ステップＳ１００３において撮影した画像内に遺伝子発現細胞が存在するか否かを判断する（ステップＳ１００６）。遺伝子発現細胞が存在するか否かは、たとえば、蛍光画像において蛍光部分が存在するか否かで判断することができる。ここで、遺伝子発現細胞が存在すると判断された場合（ステップＳ１００６：Ｙｅｓ）は、同一視野の明視野画像または位相差画像、あるいは明視野画像および位相差画像の双方を撮影・取得し、その後、Ｍカウンターを一つアップする（ステップＳ１００７）。一方、遺伝子発現細胞が存在しないと判断された場合（ステップＳ１００６：Ｎｏ）は、何もせずに、ステップＳ１００９へ移行する。
そして、Ｍカウンターがあらかじめ設定された値、たとえば「３」になったか否かを判断し（ステップＳ１００８）、未だ「３」になっていない場合（ステップＳ１００８：Ｎｏ）は、つぎの位置での画像を撮影し、取得する（ステップＳ１００９）。その後、ステップＳ１００４へ戻り、ステップＳ１００４〜Ｓ１００９の各処理を繰り返しおこなう。そして、ステップＳ１００５においてＮカウンターが「８」になった場合（ステップＳ１００５：Ｙｅｓ）、あるいは、ステップＳ１００８においてＭカウンターが「３」になった場合（ステップＳ１００８：Ｙｅｓ）は、ステップＳ１０１０へ移行する。
ステップＳ１０１０において、最後のウェルか否かを判断し、最後のウェルでない場合（ステップＳ１０１０：Ｎｏ）は、つぎのウェルへ移動し（ステップＳ１０１１）、ステップＳ１００２へ戻り、新たなウェルにおいて、ステップＳ１００２〜ステップＳ１００９の各ステップの処理を繰り返しおこなう。そして、ステップＳ１０１０において、最後のウェルである場合（ステップＳ１０１０：Ｙｅｓ）は、一連の処理を終了する。
以上の処理をおこなうことによって、たとえば、各ウェルから遺伝子発現細胞を撮影することができた画像を３枚取得した場合には、それ以上の撮影はおこなわないようにすることができる。これによって、不要な画像の撮影・取得を抑制することができ、処理時間、記憶容量などを節約することができる。そして、遺伝子発現細胞が撮影できない場合でも上限枚数の８枚の画像を撮影した後、つぎのウェルへ移動する。なお、上記Ｍカウンター、Ｎカウンターの設定は適宜変更することができる。
（細胞位置の検出処理の内容）
つぎに、第１１図は、細胞位置の検出処理の内容を示す説明図である。第１１図において、あらかじめ用意された大量の学習サンプル１１０１を入力する。学習サンプル１１０１は、背景学習画像と、細胞学習画像の両方が含まれる。それぞれ画像分割し（ステップＳ１１０２）、画像分割された画像情報から特徴抽出をおこない（ステップＳ１１０３）、特徴抽出された情報を正規化することで特徴ベクトルを生成する（ステップＳ１１０４）。さらに、生成された特徴ベクトルに基づいて、学習処理をおこなう（ステップＳ１１０５）ことによって、平均細胞モデル１１００を作成する。
一方、撮影された蛍光画像の認識サンプル１１１１は、未だクラスが判定されておらず未知クラスの細胞に関するものである。この認識サンプル１１１１を、学習サンプルと同様の手順で入力し、それぞれ画像分割し（ステップＳ１１１２）、画像分割された画像情報から特徴抽出をおこない（ステップＳ１１１３）、特徴抽出された情報を正規化することで特徴ベクトルを生成する（ステップＳ１１１４）。そして、上記平均細胞モデル１１１０を用いて、識別処理をおこない（ステップＳ１１１５）、上記蛍光画像において存在する細胞の位置を抽出する。
第１２図は、細胞位置の検出処理の内容を示す説明図であり、具体的には、平均細胞モデルの生成処理を示す。第１２図において、対象となる学習サンプルの細胞学習画像１１０１をあらかじめ定められた所定数に分割する（ステップＳ１１０２）。たとえば４＊４画素領域に分割する場合には、前処理として、４＊４画素の最大値を１画素に置き換える最大値フィルタ１２０２と、４＊４画素の最小値を１画素に置き換える最小値フィルタ１２０１によって画像分割された学習サンプル画像情報（原画像）１１０１の処理をおこなう。これによって、１／４＊１／４の大きさの最大値画像と最小値画像にデータ圧縮をおこなう。原画像の９６＊９６画素領域はこれによってｎ＝２４＊２４（＝１１５２）個の濃度値を特徴量とする１１５２次元の特徴ベクトルで表すことができる。
そして、平均細胞モデル作成のための学習サンプルｊの正規化（全サンプル間の各特徴量間で平均０、分散１となるようにする）後の特徴ベクトルをｘ_ｊ＝（ｘ_ｊ，０，ｘ_ｊ，１，ｘ_ｊ，２，．．．，ｘ_{ｊ，１１５１}）とする。このようにして、特徴ベクトルを生成する（ステップＳ１１０４）。
また、このとき全学習サンプルの共分散行列Ｒを、

とする。この固有値問題である、

λ_ｋ＞λ_ｋ＋１）を算出する（ステップＳ１２０３）。最大固有値であるλ_１に対する固有ベクトルψ_１が第一主成分（主成分ベクトル）である。
また、細胞クラス（サンプル数：ｍ_１）の平均ベクトルをｍ^（ｃ）、背景クラス（サンプル数：ｍ_２）の平均ベクトルをｍ^（ｂ）とすると、細胞クラスの学習サンプ

細胞クラス全学習サンプルの射影の分散は、

であり（ステップＳ１２０４）、背景クラスの全学習サンプルの射影の分散も同様である（ステップＳ１２０５）。
第１３図は、細胞位置の検出処理の内容を示す説明図であり、具体的には、平均細胞モデルの生成処理を示す。第１３図において、対象となる認識サンプルの検出画像１１１１を、学習サンプルの画像１１０１と同様に、あらかじめ定められた所定数に分割し（ステップＳ１１１２）、前処理として、４＊４画素の最大値を１画素に置き換える最大値フィルタ１３０２と、４＊４画素の最小値を１画素に置き換える最小値フィルタ１３０１によって画像分割された検出画像１１１１の処理をおこない、１／４＊１／４の大きさの最大値画像と最小値画像にデータ圧縮をおこなう。検出画像の９６＊９６画素領域はこれによってｎ＝２４＊２４（＝１１５２）個の濃度値を特徴量とする１１５２次元の特徴ベクトルで表すことができる。
そして、平均細胞モデル作成のための学習サンプルｊの正規化（全サンプル間の各特徴量間で平均０、分散１となるようにする）後の特徴ベクトルをｘ_ｊ＝（ｘ_ｊ，０，ｘ_ｊ，１，ｘ_ｊ，２，．．．，ｘ_{ｊ，１１５１}）とする。このようにして、特徴ベクトルを生成する（ステップＳ１１１４）。ここまでは、学習サンプル１１０１の処理と同様である。
つぎに、前処理後の画像の座標（ｉ，ｊ）の点に注目したとき、この点を中心点とする２４＊２４画素領域の特徴ベクトルをｘ_ｉ，ｊとすると、ｘ_ｉ，ｊを第一主成分（主成分ベクトル）に射影した射影（量）を算出する（ステップＳ１３０３）。そして、正規化して類似性を評価する、すなわち、その射影（量）と細胞クラスの平均ベクトルｍ^（ｃ）の射影^１ｍ^（ｃ）との距離を細胞クラスの分散σ^（ｃ）２で割った値を座標点（ｉ，ｊ）の細胞クラスの評価値とする（ステップＳ１３０４）。
そして、

の場合に、座標（ｉ，ｊ）の点は細胞クラスに属する点であると判断する。
さらに、あらかじめ定めておいて平均細胞径に基づいて、局所領域内最小値を検出し（ステップＳ１３０５）、その結果、細胞位置を検出することができる。第１４図には、蛍光画像において細胞位置を特定し、その状態を表示していることが示されている。第１４図において、「＋」が付されている位置が細胞位置である。
（クラス判定処理の内容）
第１５図は、クラス判定処理の結果の一例を示す説明図である。第１５図において、１５００は、各クラス、すなわちタンパク質局在の細胞モデルであり、クラスごとの平均的な細胞のモデル情報からなる。タンパク質局在の種類としては、たとえば、第２０図に示すものがある。細胞モデルの生成方法は、平均細胞モデルの生成方法と同様である。
処理の手順として、まず、クラス判定の対象となる認識サンプルの特徴ベクトルを生成する（ステップＳ１５０１）。特徴ベクトルの生成には、各種特徴量、たとえば、濃度統計量に関するもの、エッジ要素特徴に関するもの、形状特徴に関するもの、テクスチャ特徴に関するもの、ランレングス統計量に関するものなどの全部または一部を用いておこなう。
ここで、各特徴量のうち、濃度統計量に関するものとしては、具体的には、画像全体の輝度平均、画像全体の輝度分散、非背景矩形ブロック部内平均の全体分散、非背景矩形ブロック部内分散の全体平均、２次微分画像の輝度平均、２次微分画像の輝度分散、非背景矩形ブロック部内平均の全体平均などがある。
また、エッジ要素特徴に関するものとしては、具体的には、近傍濃度差の平均、近傍濃度差の分散、位相差エッジ画像の輝度平均、位相差エッジ画像の横方向暗部ランレングス平均、位相差エッジ画像の横方向明部ランレングス平均、位相差エッジ画像の縦方向暗部ランレングス平均、位相差エッジ画像の縦方向明部ランレングス平均、位相差エッジ画像の濃度共起行列の共分散、位相差エッジ画像の濃度共起行列の水平方向の標準偏差、位相差エッジ画像の濃度共起行列の垂直方向の標準偏差、位相差エッジ画像の濃度共起行列の標本相関係数、位相差エッジ画像の濃度共起行列の水平方向および垂直方向の標準偏差比などがある。
また、形状特徴に関するものとしては、具体的には、ラベル数、ラベリング項目の面積合計、ラベリング項目の周囲長合計、画像全体と非背景部の平均輝度比、ラベリング項目の面積平均、ラベリング項目の周囲長平均、ラベリング項目の円形度平均、ラベリング項目の複雑度平均などがある。
また、テクスチャ特徴に関するものとしては、濃度共起行列の水平方向の平均、濃度共起行列の垂直方向の平均、濃度共起行列のコントラスト、濃度共起行列の共分散、濃度共起行列の水平方向の標準偏差、濃度共起行列の垂直方向の標準偏差、濃度共起行列のパワー、濃度共起行列の標本相関係数、濃度共起行列の水平方向および垂直方向の平均比などがある。
また、ランレングス統計量に関するものとしては、縦および横方向暗部ランレングス平均、縦および横方向明部ランレングス平均、ランレングス平均の暗部明部比などがある。
つぎに、各クラスの細胞モデル１５００の固有ベクトルとステップＳ１５０１において生成された特徴ベクトルの内積をとることで射影量の算出をおこない（ステップＳ１５０２）、さらに、分散／平均値を用いて正規化して類似性評価をおこなう（ステップＳ１５０３）。これらの処理は、第１３図のステップＳ１３０３および１３０４と同様であり、その詳細な説明については省略する。ここで、主成分ベクトルではなく、学習パターンをよりよく分類できるような上位ｎ個（ｎは自然数）の固有ベクトルを用いる。そして、類似性評価の結果、認識結果を得る。認識結果とは、クラス判定の対象となる認識サンプルがタンパク質局在のどのクラスに該当するかに関する結果である。このように、クラス判定の対象となる認識サンプルの細胞がどのクラスに属するかがわかり、これによってクラス分けがおこなわれる。第１６図には、蛍光画像において細胞位置が特定された各細胞の認識結果であるクラスを略称で表示していることが示されている。第１６図において、「ＭＥＭ」はこの細胞が細胞膜であることを示している。
（認識結果判定処理の内容）
第１７図は、認識結果判定処理の内容を示すフローチャートであり、個々の細胞の認識結果から、画像単位、検査単位の認識結果を判定する。第１７図のフローチャートにおいて、まず、細胞単位の認識結果を画像単位で集める（ステップＳ１７０１）。そして、集められた画像単位の認識結果を、認識アルゴリズムから得られた確信度と各クラスの重要度（因果関係）を考慮して求める（ステップＳ１７０２）。
たとえば、４種類のクラスＡ，Ｂ，Ｃ，Ｄがあるとして、各々の確信度しきい値をＴＡ，ＴＢ，ＴＣ，ＴＤとする。各々に対する確信度がｘＡ，ｘＢ，ｘＣ，ｘＤのように得られたとする。さらに、クラスＢ，Ｃ，Ｄには従属関係があり、時間とともにＢからＣへ、そしてＣからＤへ（Ｂ→Ｃ→Ｄ）というように変化する関係があるとする。そして、どの確信度も各々のしきい値よりも小さければ、未知パターンとして結果を出力する。また、クラスＡとＢの確信度がともにしきい値以上であれば、確信度の大きい方のクラスを結果とする。また、クラスＢ，Ｃ，Ｄの確信度がともにしきい値以上であれば、従属関係の主になるクラスＢを結果とする。
上記の内容をタンパク質局在のパターンの例で当てはめると、小胞体への局在は時間とともにゴルジへの局在、細胞膜への局在と変化するので、それぞれクラスＢ，Ｃ，Ｄに当てはまる。クラスＡにはたとえばミトコンドリアへの局在が該当する。
このようにして、画像単位の結果を検査単位で集める（ステップＳ１７０３）。そして、検査単位の結果を多数決で決定し（ステップＳ１７０４）、一連の処理を終了する。以上説明したように、１枚の画像または１検査ごとに単一の正解が含まれているという先見を利用することで、画像単位または検査単位の認識結果（遺伝子機能）を推定することができる。
（レポート画面の一例）
つぎに、レポート画面の一例について説明する。第１８図、第１９図は、レポート画面の一例を示す説明図である。また、第２０図は、細胞内のタンパク質局在の画像例を示しており、画像例に対応するクラスの名称およびクラスの略称の一覧を示している。第１８図は、第１５図において説明したクラス判定処理によって得られた認識結果に基づいて作成されたレポート画面である。「視野画像名」の『Ａ０１ ０１ ＦＡ』は、ウェル『Ａ０１』と、撮影位置『０１』を示しており、この蛍光画像からは１５個の遺伝子発現細胞が存在することを示している。そして、それらの切り出された明視野画像または位相差画像の各イメージが張り付けられ、さらには、判定されたクラスの略称が表示されている。
また、第１９図は、第１７図において説明した認識結果判定処理によって得られた結果に基づいて作成されたレポート画面である。１９００はウェルごとの代表画像である。そして、一つのウェルにおいて撮影した蛍光画像全体に対する蛍光部分の割合を示す「蛍光部の割合」１９０１、一つのウェルにおいて撮影した蛍光画像における「細胞の個数」１９０２、「露光状態」１９０３、認識結果判定処理によって得られたクラスを示す「自動分類種別」１９０４、モデルとの「類似度」１９０５、「手動分類種別」１９０６の各項目について一覧表示されている。各項目１９０１〜１９０６ごとにそれぞれソートして表示することができる。
また、手動分類種別表示欄１９０７の表示を変更することによって、「手動分類種別」を変更することができる。これによって、目視した結果、自動的に判断された認識結果と異なる場合に、正しいと判断された内容を容易に選択することができる。また、画像表示ボタン１９０８が押下されることによって、代表画像を所望の画像に変更することができる。さらに、「レポート印刷」ボタン１９０９を押下することによって、表示されている内容が印刷されることになる。また、「ＯＫ」ボタン１９１０が押下されると、内容を表示されているとおりに確定し、レポート情報蓄積部３０９に蓄積される。また、すでに蓄積されたレポートをレポート情報蓄積部３０９から読み出して、内容を変更し、再度レポート情報蓄積部３０９に蓄積させることもできる。
以上説明したように、本実施の形態によれば、遺伝子が発現した（ｃＤＮＡが注入された）注目すべき細胞を検出し、その部分だけを切り出した蛍光・位相差・明視野の画像と、それらの画像からタンパク質局在や形態変化などを認識させ、認識結果の確信度などの情報をもとに選択・配列して表示・印刷・保存することができ、画像取り込みからこのレポート作成までがすべて自動的に動作させることができる。すなわち、遺伝子が発現した（ｃＤＮＡが注入された）注目すべき細胞を自動的に検出し、その部分だけを切り出した蛍光・位相差・明視野の画像と、それらの画像からタンパク質局在や形態変化などを認識させ、認識結果の確信度などの情報をもとに選択・配列したレポートを自動的に作成することができる。各々の画像は画面上で確認しやすいように輝度レンジが調整されているので、これを画面上で表示・印刷・保存することによって、実験の効率が顕著に向上する。
また、本実施の形態によれば、蛍光画像から細胞１個分ずつの領域の蛍光部分を取り出す。そのために、蛍光パターンと背景パターンを学習させておく。そして、対象が細胞であるという情報を利用した「平均細胞モデル」を作成し、正規化した類似性評価法によって細胞１個分の推定領域を取り出す。さらに、同じ位置の明視野画像または位相差画像を参照して細胞１個分の輪郭を抽出することができる。このように、画像全体ではなく個々の細胞の領域を切り出して解析および結果表示することができる。
また、本実施の形態によれば、個々の細胞に対して、蛍光のパターンや形態パターンを認識させるための学習・認識処理を用いることができる。また、固有空間法・部分空間法、ニューラルネットワークなどの方法が使える。このように、コンピュータに学習機能を持たせることで、自動的に判定結果を出力することができる。
出願人は、実際にレポートを試作した。その結果、従来のままでは、１プレートあたり約７００ＭＢの画像データが発生し、目視するたびに輝度レンジなども調整するので、一通り見るだけでも数時間（３時間以上）かかった（判定結果は付ける暇がなかった）。一方、作成されたカタログの容量は１プレート当たり約６ＭＢになり、一通り見るには数分間で済み、判定結果まで付けることができた。
また、本実施の形態における画像解析支援方法は、あらかじめ用意されたコンピュータ読み取り可能なプログラムであってもよく、またそのプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現される。このプログラムは、ＨＤ、ＦＤ、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤなどのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。また、このプログラムは、インターネットなどのネットワークを介して配布することが可能な伝送媒体であってもよい。

以上のように本発明にかかる画像解析支援方法、画像解析支援プログラム、画像解析支援装置は、顕微鏡で撮影された画像の細胞位置およびその種類を迅速にかつ効率的に抽出し、各画像の細胞領域ごとの抽出結果を自動的に一覧表示することにより、実験・解析の効率化を図ることに適している。

Claims (12)

1. 複数のウェルに付着する細胞を撮影した蛍光画像に関する情報、および前記蛍光画像と同一視野における明視野画像および位相差画像の少なくともいずれか一方に関する情報の入力を受け付ける画像情報入力工程と、
   前記画像情報入力工程によって入力が受け付けられた蛍光画像に関する情報に基づいて、前記蛍光画像における細胞の存在位置を検出する位置検出工程と、
   前記位置検出工程によって検出された存在位置に存在する細胞のクラスを判定するクラス判定工程と、
   前記クラス判定工程によって判定されたクラスに関する情報、および前記位置検出工程によって検出された存在位置に基づいて抽出された細胞の前記明視野画像および位相差画像の少なくともいずれか一方の画像情報を一覧表示可能に出力する出力工程と、
   を含むことを特徴とする画像解析支援方法。
2. 前記クラス判定工程によって判定されたクラスに基づいて、前記画像ごとまたは前記ウェルごとの認識結果を判定する認識結果判定工程を含み、
   前記出力工程は、前記認識結果判定工程によって判定された認識結果に関する情報を一覧表示可能に出力することを特徴とする請求の範囲第１項に記載の画像解析支援方法。
3. 前記認識結果判定工程によって判定された認識結果を変更する認識結果変更工程を含むことを特徴とする請求の範囲第２項に記載の画像解析支援方法。
4. 前記位置検出工程は、前記蛍光画像の細胞候補に関する情報と、平均的な細胞モデルに関する情報および平均的な背景モデルに関する情報の少なくともいずれか一つとを比較し、両者の類似性を評価することによって、前記蛍光画像における細胞の存在位置を検出することを特徴とする請求の範囲第１項〜請求の範囲第３項のいずれか一つに記載の画像解析支援方法。
5. 前記位置検出工程は、前記平均的な細胞モデルおよび平均的な背景モデルの少なくともいずれか一つの主成分ベクトルと、前記蛍光画像の細胞候補の特徴ベクトルとの内積をとることによって射影量を算出し、算出された射影量を正規化して評価値を算出し、算出された評価値に基づいて前記蛍光画像における細胞の存在位置を検出することを特徴とする請求の範囲第４項に記載の画像解析支援方法。
6. 前記平均的な細胞モデルに関する情報は、サンプル画像の細胞クラスの主成分ベクトルと、前記細胞クラスの分散値および平均値とを含むことを特徴とする請求の範囲第４項または請求の範囲第５項に記載の画像解析支援方法。
7. 前記平均的な背景モデルに関する情報は、サンプル画像の背景クラスの主成分ベクトルと、前記背景クラスの分散値および平均値とを含むことを特徴とする請求の範囲第４項〜請求の範囲第６項のいずれか一つに記載の画像解析支援方法。
8. 前記クラス判定工程は、各タンパク質局在クラスのモデルの固有ベクトルと、前記位置検出工程によって存在位置に存在する細胞の特徴ベクトルとの内積をとることによって射影量を算出し、算出された射影量を正規化して評価値を算出し、算出された評価値に基づいて前記細胞のクラスを判定することを特徴とする請求の範囲第１項〜請求の範囲第７項のいずれか一つに記載の画像解析支援方法。
9. 複数のウェルに付着する細胞を撮影した蛍光画像に関する情報、および前記蛍光画像と同一視野における明視野画像および位相差画像の少なくともいずれか一方に関する情報の入力を受け付けさせる画像情報入力工程と、
   前記画像情報入力工程によって入力が受け付けられた蛍光画像に関する情報に基づいて、前記蛍光画像における細胞の存在位置を検出させる位置検出工程と、
   前記位置検出工程によって検出された存在位置に存在する細胞のクラスを判定させるクラス判定工程と、
   前記クラス判定工程によって判定されたクラスに関する情報、および前記位置検出工程によって検出された存在位置に基づいて抽出された細胞の前記明視野画像および位相差画像の少なくともいずれか一方の画像情報を一覧表示可能に出力させる出力工程と、
   をコンピュータに実行させることを特徴とする画像解析支援プログラム。
10. 前記クラス判定工程によって判定されたクラスに基づいて、前記画像ごとまたは前記ウェルごとの認識結果を判定させる認識結果判定工程をコンピュータに実行させ、
    前記出力工程は、前記認識結果判定工程によって判定された認識結果に関する情報を一覧表示可能に出力させることを特徴とする請求の範囲第９項に記載の画像解析支援プログラム。
11. 複数のウェルに付着する細胞を撮影した蛍光画像に関する情報、および前記蛍光画像と同一視野における明視野画像および位相差画像の少なくともいずれか一方に関する情報の入力を受け付ける画像情報入力手段と、
    前記画像情報入力手段によって入力が受け付けられた蛍光画像に関する情報に基づいて、前記蛍光画像における細胞の存在位置を検出する位置検出手段と、
    前記位置検出手段によって検出された存在位置に存在する細胞のクラスを判定するクラス判定手段と、
    前記クラス判定手段によって判定されたクラスに関する情報、および前記位置検出手段によって検出された存在位置に基づいて抽出された細胞の前記明視野画像および位相差画像の少なくともいずれか一方の画像情報を一覧表示可能に出力する出力手段と、
    を備えたことを特徴とする画像解析支援装置。
12. 前記クラス判定手段によって判定されたクラスに基づいて、前記画像ごとまたは前記ウェルごとの認識結果を判定する認識結果判定手段を備え、
    前記出力手段は、前記認識結果判定手段によって判定された認識結果に関する情報を一覧表示可能に出力することを特徴とする請求の範囲第１１項に記載の画像解析支援装置。

Images