JP4098644B2 - 画像収集／分析システム - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、電子顕微鏡による試料画像の収集、及び収集した画像の分析を自動的に、同時並行して行う画像収集／分析システムに関する。
【０００２】
【従来の技術】
透過型電子顕微鏡（ＴＥＭ）で試料の種々の位置の拡大画像を取得し、その取得した画像を分析することは広く行われている。例えば、特開平１−９７３５９号公報には、試料のある視野の画像を所定の倍率で取得し、次に試料を移動して、直前に取得した画像の視野に隣接する視野の画像を前記所定の倍率で取得する動作を繰り返して、試料の種々の視野の画像を連続的に次々と取得することが開示されている。また、取得した画像に対して適宜な画像処理を施して分析を行うことも行われている。
【０００３】
【特許文献１】
特開平１−９７３５９号公報
【０００４】
【発明が解決しようとする課題】
ところで、互いに異なる視野の試料画像を多数収集して分析を行う場合、従来では試料画像の分析は試料画像の収集が全て終了してから行うのが通常であったが、これでは試料画像の取得を開始してから、全ての試料画像の分析が終了するまで非常な長時間を要し、望ましいものではないものであった。
【０００５】
例えば、今、試料の大きさが直径２ｍｍとし、この試料の全面について隙間無く画像を取得しようとした場合には、画像の枚数は膨大な数となり、画像を取得するだけでも長時間を要する。これは、ＴＥＭの倍率を高くする程顕著であり、また、試料の数が多い程顕著である。そして、従来においては、それに加えて、取得した画像の分析のための時間がかかるので、分析が終了するまで非常な時間を要していたのである。
【０００６】
また、取得した画像の分析についても、試料が半導体や金属等の定形の構造を有しているものであればパターン認識も比較的容易に行うことができので、試料画像中に特定の構造があるか否かの分析の処理も比較的容易に行うことが可能であるが、試料が生物試料であり、その試料画像の中に目的とする構造があるか否かの分析を行う場合には、その目的とする構造が不定形のために、分析も難しく、時間も要するものである。このような分析の例としては、例えば、試料画像中にウィルスがあるか否かの分析、あるいは試料画像中にリポソーム（脂質二重膜）があるか否かの分析等がある。
【０００７】
そこで、本発明は、互いに異なる視野で試料から多数の画像を自動的に取得すると共に、取得した画像に対しては、画像の取得と同時並行して、画像中に目的とする構造があるか否かを判別する所定の画像処理を施すことができる画像収集／分析システムを提供することを目的とするものである。
【０００８】
【課題を解決するための手段】
上記の目的を達成するために、請求項１記載の画像収集／分析システムは、透過型電子顕微鏡と、透過型電子顕微鏡で拡大投影された試料の画像を撮像するカメラと、制御手段と、入力手段と、記憶手段とを少なくとも備え、前記制御手段は、カメラで撮像された試料の画像の分析の処理においては、画像中に目的とする構造が写っている確からしさを表す指標として、画像の輝度に基づいて輝度得点を付ける処理、画像中の閉領域の外形の形状に基づいて形状得点を付ける処理、前記閉領域内の模様をエッジとして抽出し、前記閉領域の面積に対する前記エッジの面積の比を求めることによってエッジ得点を付ける処理、及びこれら輝度得点、形状得点、エッジ得点に基づいて総合得点を付ける処理を行い、更に、前記制御手段は、入力手段によりデータを保存する条件として、前記総合得点の値が設定された場合には、前記処理により付けられた総合得点が当該設定された得点の値以上となった画像についてのみ、その画像データ及び当該画像に関する所定のデータを前記記憶手段に保存することを特徴とする。
請求項２記載の画像収集／分析システムは、請求項１記載の画像収集／分析システムにおいて、制御手段は、前記試料の画像の取得は、入力手段で試料の検査範囲と取得画像枚数が設定された場合には、当該設定された検査範囲内で設定された枚数の画像を取得することを特徴とする。
請求項３記載の画像収集／分析システムは、請求項１または２に記載の画像収集／分析システムにおいて、更にモニタを備え、制御手段は、取得した全ての画像について分析が終了した場合には、分析結果をモニタに表示することを特徴とする。
【０００９】
【発明の実施の形態】
以下、図面を参照しつつ発明の実施の形態について説明する。
図１は本発明に係る画像収集／分析システムの一実施形態を示す図であり、図中、１はＴＥＭ、２は試料ステージ、３はカメラ、４は制御手段、５は記憶手段、６は入力手段、７はモニタを示す。
【００１０】
ＴＥＭ１は周知の構成であるが、少なくとも、その倍率は制御手段４により制御可能となされている。このようなことは周知であるので詳細な説明は省略する。また、ＴＥＭ１の試料ステージ２は、複数の試料を載置することができる試料ホルダを備えているものとする。また、試料ステージ２の電子ビームに対する位置、即ち、試料ホルダの何番目の試料のどの位置に電子ビームを照射するかは制御手段４により制御可能となされている。このような試料ステージは周知であるので、その構成の詳細については説明を省略する。
【００１１】
カメラ３は、試料の拡大画像を取得するためのものであり、ここではＴＶカメラを用いるものとする。従って、以下ではＴＶカメラ３と記すことにする。
記憶手段５は、取得した画像、それらの画像の分析結果等の所定の情報を保存するためのものであり、ハードディスク装置等の大容量の記憶装置を用いるのがよい。
入力手段６は、キーボード、マウス等の周知の入力装置で構成される。なお、ここでは、マウスは左クリックと右クリックが可能なものとする。
モニタ７は、カラーＣＲＴ、カラー液晶表示装置等の画像表示が可能な表示装置で構成される。
そして、制御手段４、入力手段６、及びモニタ７はグラフィカル・ユーザ・インターフェース（ＧＵＩ）を構成しており、後述するような種々のメニューを備えている。
【００１２】
制御手段４は、当該画像収集／分析システムの各部の動作を統括して管理するものであり、ＴＥＭ１の倍率や試料ステージ２の位置の制御、あるいは電源の制御を行うためのＴＥＭ制御用ソフトウェアモジュール（以下、ソフトウェアモジュールを単にモジュールと称す）、ＴＶカメラ３からの画像データを取り込むためのビデオキャプチャ用モジュール、取得した画像データに対して所定の画像処理を施して分析、及びデータ保存を行うための画像処理用モジュール、画像取得中や画像処理中に設定された項目をモニタ７に表示するための検査中表示用モジュール、分析の結果をモニタ７に表示するための分析結果表示用モジュール等の種々のモジュールを搭載している。
【００１３】
なお、この制御手段４は、コンピュータシステム１台だけで構成することも可能であるが、例えば、パーソナルコンピュータを２台用い、一つはビデオキャプチャ、及びＴＥＭ１の制御用のために用い、もう一つはそれ以外の画像処理及びその結果の表示のために用いるようにすることも可能である。
【００１４】
従って、例えば、画像処理用モジュールとして、種々の画像分析を行うモジュールを用意しておけば、分析の目的に応じたモジュールを搭載することによって様々な分析に対応することができる。また、分析結果表示用モジュールとしても、種々の表示の態様としたものを用意しておけば、ユーザが所望する態様で分析結果の表示を行わせることも可能である。
このように、この画像収集／分析システムでは、モジュールを入れ替えることによって、種々の画像処理、種々の結果の表示を行うことが可能となされているのである。
【００１５】
以下、動作について説明するが、ここでは、試料は生物試料とし、画像処理用モジュールとしては、取得した画像の中にリポソームが写っている可能性を判定する画像処理を行うモジュールを用いるものとする。
【００１６】
動作の説明の前に、先ず、上記の、取得した画像の中にリポソームが写っている可能性を判定する画像処理を行う妥当性について概略説明しておく。
生物の細胞膜に存在する膜蛋白は、生物の活動において様々な役割を担っており、膜蛋白の構造を決定することは、生物学や医学、薬学において大きな意味を持つが、膜蛋白はそれぞれが単独の大きな分子であるので、その構造の高精度な決定のためには、まず結晶化する必要がある。
【００１７】
しかし、膜蛋白は、その種類毎に結晶化させることのできる試料作成条件が異なり、結晶化させるためには様々な条件で膨大な試料を作成し、個々の試料について結晶の有無を確認しなければならない。
【００１８】
試料中に膜蛋白の結晶があるか否かの判定方法としては、膜蛋白の三次元結晶を作成し、Ｘ線で結晶の有無を判定する方法が一般的であるが、三次元結晶では膜蛋白の構造の全てが必ずしも再現されず、より正確な調査のためには二次元結晶を作成する必要がある。
【００１９】
しかし、二次元結晶の有無はＸ線では確認できない。そこで、膜蛋白の構造を二次元結晶を用いて解析する場合にはＴＥＭを用いて試料の画像を取得し、画像中にリポソームがあるか否か、あるいはリポソームがあるらしいか否かを判定することを行うのである。これは、試料中に膜蛋白の結晶ができているとすれば、それは必ずリポソームの上にできているので、画像中にリポソームがある、あるいはリポソームがある可能性が高ければ、その試料の中には膜蛋白の結晶ができている可能性があるということに基づいたものである。
【００２０】
即ち、この画像処理では、直接的に膜蛋白の結晶の有無を判定するものではないが、リポソームがあると判定された試料、あるいはリポソームがある可能性が高い試料、及びその試料中の位置を求めることができれば、その箇所を適宜な手法により、より詳細に検査することによって膜蛋白の結晶の有無を判定することができ、以て、膜蛋白の結晶を作成する条件を決定することができるのである。
【００２１】
以下、動作について、図２に示す動作の流れを示すフローチャートを参照して説明する。なお、後述するところから明らかなように、図２において、ステップＳ１の下の２本の横線、及びステップＳ８の上の２本の横線は、これらの横線の間の２系列の処理、即ち、ステップＳ２〜Ｓ５の処理と、ステップＳ６、Ｓ７の処理が同時並行して行われることを示している。
【００２２】
まず、オペレータは、ＴＶカメラ３のゲインやフォーカスの調整を行い、ＧＵＩにより、当該分析に必要な所定のパラメータを入力する（ステップＳ１）。ここで入力するパラメータとしては、例えば、画像を取得する試料の指定、試料の画像の取得範囲の設定、倍率の設定、各試料について何枚の画像を取得するか、その枚数の設定、保存するデータの条件等があるが、以下詳述する。なお、ＴＶカメラ３のゲインやフォーカスの調整はＴＶカメラにより画像を取得する場合に通常行われる事項である。
【００２３】
図３はパラメータ入力を行う際に表示されるウインドウの例を示す図である。なお、図３では当該ウインドウのタイトルバー等は図示を省略している。この点については以下、同様である。
検査試料の欄１０は、画像を取得する試料を指定する欄であり、試料ステージ２の全ての試料ホルダに試料を載置し、それら全ての試料の画像を取得する場合には「全て」の項目を選択すればよく、試料ステージ２の試料ホルダの中の特定のホルダに載置されているのみの画像を取得する場合には「ホルダ指定」の項目を選択して、そのホルダの番号を入力する。図では「ホルダ指定」が選択され、「２，３」と入力されているが、これは、試料ホルダの２番目と、３番目のホルダに載置されている試料のみから画像を取得することを示している。
【００２４】
検査範囲の欄１１は、試料のどの範囲から画像を取得するかを設定する欄であり、「全て」の項目は、試料の全面に渡って画像を取得する場合に選択する項目であり、試料の中の所望の範囲からのみ画像を取得する場合には「範囲指定」の項目を選択して、その範囲の中心座標（ｘ，ｙ）と、中心座標からの半径を入力する。図では半径はｍｍの単位となされている。図では、座標（0,0）を中心として、その中心から半径が 0.1ｍｍの範囲内で画像を取得するように設定されている。そして、この検査範囲の欄１１で設定された事項は、その右側の１２で示された円に反映される。外側の円は試料の全視野を示し、内側の円は、検査範囲の欄１１の「範囲指定」の項目で設定された範囲を表示している。
【００２５】
検査中の表示項目の欄１３は、画像取得の動作を行っている最中、及び取得した画像の分析を行っている最中にどのような項目を表示するかを設定する欄であり、オペレータは検査中に表示したい項目を選択することができるようになされている。
現画像番号の項目は、現在画像取得の対象となっている試料について、現在取り込んでいる画像が何番目の画像であるかを表示するための項目である。
トータル画像枚数は、当該試料について取得する画像のトータル枚数を表示するための項目である。
試料番号は、現在画像取り込みの対象となっている試料の番号、即ち、当該試料が載置されている試料ホルダの番号を表示するための項目である。
座標は、現在取り込んでいる画像が当該試料中のどの位置にあるか、その座標を表示するための項目である。
保存得点は、取得した画像データ及び分析結果等のデータを保存する条件として得点が設定された場合に、その設定された得点を表示するための項目である。得点については後述する。
ライブ画像は、現在ＴＶカメラ３で撮像している画像を表示するための項目である。
【００２６】
データ保存条件の欄１４は、取得した画像に対して後述する画像処理を行って分析を行った結果、当該画像、及びその分析結果等のデータを保存するか否か、保存する場合にはどのような条件を設けるかを設定する欄である。
以下に説明するように、画像処理では、取得した画像毎に、輝度得点、形状得点、エッジ得点という３つの得点を付け、更に、それら３つの得点の線形和を取って総合得点を付けるのであるが、総合得点が何点以上の場合に上記データを保存するという設定を行う場合には、「総合得点」を選択して、右側の矩形欄にその閾値となる得点値を入力するようになされている。「輝度得点」、「形状得点」、「エッジ得点」の項目についても同様である。「全て」の項目は、上記得点の如何に関わらず、取得した画像、及びその分析結果等のデータを全て保存することを設定する項目である。図では「総合得点」が選択され、「0.45」という得点が入力されており、この場合には、画像の分析の結果得られた総合得点が 0.45点以上の画像データが、その分析結果等と共に保存されることになる。
【００２７】
倍率の欄１５は、ＴＥＭ１の倍率を設定するための欄であり、オペレータは所望の倍率を入力することができる。
取得画像枚数の欄１６は、検査試料の欄１０で設定された各試料について、何枚の画像を取得するかを設定するための欄であり、各試料について、検査範囲の欄１１で設定した範囲内の全領域の画像を隙間無く取得したい場合には「自動」の項目を選択すればよく、検査範囲の欄１１で設定した範囲内において所望の枚数だけ取得したい場合には、「枚数設定」の項目を選択して、その下の矩形欄に取得枚数を数値入力すればよい。
【００２８】
高圧設定の欄１７は、図２のステップＳ３の画像取り込みの処理が終了した場合に、ＴＥＭ１への高電圧の供給を停止するか、それとも供給した状態のままとするかを設定する欄であり、ＯＦＦを選択するとＴＥＭ１への高電圧の供給は停止され、ＯＮを選択すると高電圧が供給され続ける。
【００２９】
ＯＫボタン１８は入力したパラメータを確定するためのボタンであり、登録ボタン１９は、入力したパラメータ値を登録するためのボタンであり、読み込みボタン２０は、これまで登録したパラメータ値を用いる場合に操作するボタンであり、キャンセルボタン２１は、入力したパラメータ値を取り消すためのボタンである。
【００３０】
これらのパラメータを入力し、ＯＫボタン１８で確定すると、各パラメータ値は対応するモジュールに反映される。例えば、図３に示すパラメータ入力のウインドウにおいて、検査試料の欄１０、検査範囲の欄１１、倍率１５の欄、取得画像枚数の欄１６、及び高圧設定の欄１７で設定された各パラメータ値はＴＥＭ制御用モジュールに反映され、データ保存条件の欄１４で設定されたパラメータは画像処理用モジュールに反映され、検査中の表示項目の欄１３、データ保存条件の欄１４、及び取得画像枚数の欄１６で設定された各パラメータ値は検査中表示用モジュールに反映される。
【００３１】
さて、所定のパラメータの入力が終了し、図３のＯＫボタン１８が操作されて各パラメータ値が確定すると、制御手段４は全てのモジュールを起動する。そして、ＴＥＭ制御用モジュールにより、ＴＥＭ１の倍率を設定倍率に制御すると共に、試料ステージ２を制御して試料の移動を行い（ステップＳ２）、まず、電子ビームの光軸上に最初の試料の最初の画像取得位置を移動する。そして、制御手段４は、ビデオキャプチャ用モジュールによりＴＶカメラ３からの画像信号を取り込み、デジタル化して画像データとして記憶手段５に保存する（ステップＳ３）。なお、画像データの保存に際しては、当該試料の試料番号、画像番号、当該画像を取得した座標、当該画像を取得した日時等のデータを付して保存するようにする。なお、画像番号は、例えば、各試料毎に１からの通し番号を付すようにすればよい。
【００３２】
ところで、試料ホルダには、試料を載置するために、銅の薄板に矩形状の開口が格子状に規則正しく開けられた銅グリッドが設けられており、試料の画像を取得しようとする場合、電子ビームが丁度銅グリッドの開口と開口の間の銅の部分に照射されることもあり、その場合には画像は真っ黒になり、無意味な画像となる。このように銅グリッドの開口部分以外の銅の部分を無意味な領域と称することにすると、一つの試料ホルダについての無意味な領域は８０％以上であることが知られている。言い換えれば、銅グリッドにおいて、開口部分の面積は銅グリッド全体の面積の２０％弱程度に過ぎないのである。
【００３３】
そこで、図２には示していないが、ステップＳ２の直前において、図３に示すパラメータ入力のウインドウの検査試料の欄１０で設定された試料ホルダの、検査範囲の欄１１で設定された範囲について、どの領域が無意味な領域であるか、あるいは、どの領域が無意味でない領域であるかを調べ、図２のステップＳ３の画像の取り込みは無意味でない領域、即ち銅グリッドの開口部分について行うようにする。
【００３４】
試料ホルダにおける無意味な領域、あるいは、無意味でない領域を調べるのは、自動で行うこともでき、オペレータが手動で行うこともできる。
無意味な領域を自動で調べる手法としては、銅グリッドの開口は規則正しく配列されているから、例えば、図３に示すパラメータ入力のウインドウの検査範囲の欄１１で設定された範囲について、画像を制御手段４に取り込ませ、パターン認識により画像中の黒の部分のパターンを認識を行わせる手法がある。これによって、制御手段４は当該設定された検査範囲における無意味でない領域を認識することができる。
【００３５】
また、手動で行う場合は、試料ホルダの無意味でない領域を指定する手法を用いる。例えば、パラメータ入力のウインドウの検査範囲の欄１１で設定された範囲について画像を取り込んでモニタ７に表示し、オペレータがその画面を観察しながら、入力手段６により、オペレータが当該試料ホルダの銅グリッドの開口部分を指定する手法がある。これにより、制御手段４に対して、当該検査範囲における無意味でない領域以外の領域を認識させることができる。
【００３６】
さて、設定された試料ホルダについて無意味な領域、または無意味でない領域を認識すると、制御手段４は図２のステップＳ２以降の処理を実行するのであるが、まず、電子ビームの光軸上に最初の試料の最初の画像取得位置を移動する。ここで、最初の試料とは、検査試料の欄１０で設定された試料ホルダの番号の最小のものとすればよい。
【００３７】
そして、制御手段４は、パラメータ入力のウインドウの検査範囲の欄１１で設定された範囲であって、且つ当該試料ホルダの無意味でない領域について、次々と画像の取得を行っていく（ステップＳ３）のであるが、ここでステップＳ２の試料の移動について説明すると、概略次のようである。
【００３８】
今、図３のパラメータ入力のウインドウの取得画像枚数の欄１６で自動が選択されたとし、パラメータ入力のウインドウの検査範囲の欄１１で設定された範囲内の、一つの無意味でない領域が図４（ａ）の太い実線で示す矩形のようであったとすると、制御手段４は、当該無意味でない領域内での画像取り込み位置を定める。図４（ａ）にその例を示している。図４（ａ）において、細い実線の矩形は、一つ一つの画像の取り込み範囲を示している。
【００３９】
なお、制御手段４、具体的にはＴＥＭ制御用モジュールは、設定された検査範囲、及び当該無意味でない領域を認識しており、設定倍率における視野のサイズは定まっているから、ＴＥＭ制御用モジュールは、図４（ａ）に示すように、当該無意味でない領域内で視野を隙間無く埋めるような画像取り込み位置を定めることができ、また、このとき、当該無意味でない領域についてトータルで何枚の画像を取得すべきかも求めることができるものである。
【００４０】
従って、図４（ａ）に示す場合には、制御手段４は、試料の移動を行いながら、図４（ａ）の各画像取り込み位置で画像の取り込みを所定の順序で行うのであるが、この際の移動には、試料ステージ２を制御して実際に試料の移動を行う動作と、試料ステージ２は動かさずに、ＴＥＭ１の偏向コイルを制御して電子ビームの照射位置を次の画像取り込み位置に変更する動作がある。
【００４１】
即ち、試料ステージ２を制御して、実際に試料を動かすのは動作も遅く、精度が悪いので、偏向コイルにより電子ビームの照射位置を動かせる範囲内では、偏向コイルにより電子ビームの照射位置を変更して画像を取り込む位置を変更するようにし、偏向コイルによる電子ビームの一つの偏向可能範囲内について画像の取り込みが終了すると、試料ステージ２を制御して、実際に試料を、次の電子ビームの偏向可能範囲へ移動させ、その偏向可能範囲内において、偏向コイルにより電子ビームの照射位置を順次所定の順序で変更して、画像の取り込みを行うという動作を繰り返すのである。
このように、図２のステップＳ２の試料移動の動作には上記の２つの移動の動作を含んでいるのである。
【００４２】
これを図４（ａ）に示す場合について説明すると次のようである。いま、例えば、図４（ａ）に示す無意味でない領域における偏向コイルによる電子ビームの偏向可能範囲が図４（ｂ）の破線の矩形で示すようであったとする。図４（ｂ）では、電子ビームの偏向可能範囲が６つ示されている。この場合には、制御手段４は、例えば、先ず、試料ステージ２を制御して、試料の位置を図４（ｂ）の左下の電子ビームの偏向可能範囲の中心位置に移動させ、この電子ビームの偏向可能範囲内で電子ビームの照射位置を変更することによって、所定の順序で画像の取り込みを行う。図４（ｂ）の場合には、当該電子ビームの偏向可能範囲内では３４枚の画像が取り込まれる。
【００４３】
そして、当該電子ビームの偏向可能範囲内での画像の取り込みが終了すると、制御手段４は、試料ステージ２を制御して、試料の位置を、次の電子ビームの偏向可能範囲、例えば右下の電子ビームの偏向可能範囲の中心位置に移動させ、この電子ビームの偏向可能範囲内で電子ビームの照射位置を変更することによって、所定の順序で画像の取り込みを行う。
【００４４】
そして、当該電子ビームの偏向可能範囲内での画像の取り込みが終了すると、制御手段４は、試料ステージ２を制御して、試料の位置を、次の電子ビームの偏向可能範囲、例えば中段の左側の電子ビームの偏向可能範囲の中心位置に移動させ、この電子ビームの偏向可能範囲内で電子ビームの照射位置を変更することによって、所定の順序で画像の取り込みを行う。
以上の動作を繰り返すことにより、当該無意味でない領域内において隙間無く画像を取得することができる。
【００４５】
なお、一つの電子ビームの偏向可能範囲内において、画像の取得をどのような順序で行うかは任意に定めることができる。図４（ｂ）に示す場合について説明すると、例えば、電子ビームの偏向可能範囲の左下端から順次右側に画像を取得していき、当該電子ビームの偏向可能範囲の右端になったら、上の段の左端から右側へ、というように画像を取得していくことができる。
【００４６】
以上が図２のステップＳ２の試料移動の動作の説明である。
なお、上記の説明ではパラメータ入力のウインドウの取得画像枚数の欄１６で自動が選択された場合としたが、パラメータ入力のウインドウの取得画像枚数の欄１６において取得枚数が設定された場合には、乱数を発生させる等して、検査範囲の欄１１で設定された範囲内で設定枚数の数だけの座標を定め、それら定められた座標の位置を順次移動させて、それぞれの座標位置で画像を取得すればよい。なお、定められた座標が無意味な領域であった場合には、座標を定める処理を繰り返せばよい。また、座標の移動の動作には、上述した通りの２つの動作があることは当然である。
【００４７】
そして、一つの試料について、設定された検査範囲の画像の取得が完了すると、制御手段４は、試料ステージ２を制御して、次の試料ホルダの試料を光軸上に移動させ、上記の動作を繰り返す（ステップＳ４）。以上の動作により、設定された試料について、設定された検査範囲の画像を所定枚数取得することができる。
【００４８】
さて、画像の全ての取り込みが終了すると、制御手段４は、ＴＥＭ制御用モジュールによりＴＥＭ１の高電圧の制御を行う（ステップＳ５）。即ち、制御手段４は、パラメータ入力のウインドウにおいて、高圧設定の欄１７でＯＮが設定されている場合には高圧をそのままの状態に保ち、ＯＦＦが設定されている場合には高圧を停止する。
【００４９】
制御手段４は、一つの画像を取得すると、その画像に対して画像処理用モジュールにより所定の画像処理を施し、分析及び保存の処理を行う（ステップＳ６）。従って、このステップＳ６の処理は、ステップＳ２〜Ｓ５の動作と同時並行して実行されるのである。
【００５０】
画像分析の処理は次のようである。
この実施形態では、上述したように、リポソームが写っている可能性のある画像を見出すようにするのであるが、試料の画像中には種々の構造が写っている。そのような画像の例を図５に示す。特許出願の図面の制約のため、分かり難くなっているが、図中、Ａはリポソーム、Ｂは支持膜、Ｃは支持膜が破れて穴があいている部分、Ｄは銅グリッド、Ｅは薬品の析出物、Ｆはアグリゲートを示している。銅グリッドは試料を載置するための構造であり、支持膜は銅グリッドに試料を載置する際に銅グリッド上に貼る有機物質からなる薄膜であり、アグリゲートは蛋白質分子が無秩序に固まったものであり、何れも周知のものである。
【００５１】
このような画像の中にリポソームがあるか否か、あるいは、ありそうか否かを判定しようとするのであるが、リポソームは不定形であり決まった形を持たず、また、決まった模様はないため、パターンマッチングによる識別は不可能である。しかし、本発明者は、リポソームという構造は画像中において次のような特徴を持つことを見出した。
（イ）輝度について：背景となる支持膜より黒っぽいが、アグリゲートや銅グリッドほど黒くはない。
（ロ）形について：形は不定形だが、丸っこくて縁はぎざぎざしていない。即ち、輪郭の凹凸は少ない。
（ハ）模様について：決まった模様はないが、大抵は内部に長い筋のような模様がある。
【００５２】
そこで、上記の特徴を利用して、このような画像の中にリポソームがあるか否か、あるいは、ありそうか否かを判定するようにするのであり、そのために画像処理用モジュールでは、取得した画像に対して以下の順の処理を行う。
（１）画像中の黒い部分を分析範囲から除外する。
（２）残った範囲から、白い部分を除外する。
（３）残った領域の平均輝度、輝度の分散に基づいて輝度得点を計算する。
（４）画像中の閉領域の外形の形状に基づいて形状得点を計算する。
（５）その閉領域内の模様に基づいてエッジ得点を計算する。
（６）輝度得点、形状得点、エッジ得点を線形結合して、総合得点を計算する。
（７）上で得た４つの得点の情報を、画像に付して保存する。
【００５３】
［黒い部分と白い部分を除外する処理］
本発明者の研究によると、リポソームが写っている画像、あるいは写っている可能性の高い画像について輝度のヒストグラムを作成すると、殆どの場合図６に示すように、２つのピークを有するものとなることが分かった。なお、ここでは画像の階調は 0〜 255の 256階調であり、全黒が階調 0、全白が階調 255とする。
【００５４】
そして、図６のＡで示す階調、即ち２つのピークの間の画素数が極小となる階調より階調が小さい部分はアグリゲートや銅グリッド等の黒の部分であり、画像分析の対象から除外してもよいことが分かった。このことから、輝度のヒストグラムを作成して、２つのピークの間の画素数が極小となる階調以下の画素を黒い部分として除外すればよいことが分かる。
【００５５】
次に、画像中の白い部分、即ち、背景となる支持膜や支持膜が破れている部分等を分析対象から除外する方法については、例えば、予めある階調を閾値として定めておき、その閾値以上の階調を有する画素を白い部分とすることも可能であるが、研究によると、図６のＣで示す階調、即ち階調の高い方のピークの位置は画像の内容によって異なっており、予め閾値を固定的に定めておくことは妥当ではないことが判明した。
【００５６】
そこで、種々の研究の結果、画素数が 0となる最大の階調をＢ（図６）とし、その階調Ｂと、階調の高い方のピークの階調Ｃとの階調差ｄを求め、階調の高い方のピークの階調Ｃから、その階調差ｄだけ階調が低い側の階調Ｄを求め、この階調Ｄより階調が高い部分を白い部分と定義するのがよいことが判明した。
【００５７】
そこで、制御手段４は、画像処理用モジュールにより、上記の処理を行って、画像の黒い部分と白い部分を分析対象から除外する。従って、図６のヒストグラムのＡとＤの間の階調を有するグレーの領域が残ることになる。このようにして得られたグレーの領域をブロブと称する。
【００５８】
［輝度得点計算の処理］
以上のようにして得られたブロブには、リポソームか、アグリゲートのうちの色の薄いものが写っている可能性が高いが、支持膜上の何等かのシミである可能性もあり得る。そこで、ブロブの輝度、及び輝度の分散に基づいて、ブロブにリポソームが写っている確からしさを得点付けする。これが輝度得点である。
【００５９】
さて、上述したように、リポソームは、一般にアグリゲートより色が白っぽく、支持膜より黒い。そして、本発明者の研究によると、支持膜の平均輝度は画像によって変化するが、リポソームの平均輝度と支持膜の平均輝度の比率はあまり変化しないことが判明した。ここで、支持膜の平均輝度としては、上記の白い部分を除外する処理で求めた白い部分の平均輝度を用いればよい。
【００６０】
また、上述したように、リポソームは決まった模様はないが、大抵は内部に長い筋のような模様があるので輝度にバラツキがあり、リポソームの部分の輝度分布、即ちヒストグラムをとると、図７（ａ）に示すように、幅の広いピークが現れるのに対して、アグリゲートのうちの色の薄いものや、支持膜上の何等かのシミの輝度のヒストグラムは図７（ｂ）に示すように幅の狭いピークとなることが研究の結果判明した。
【００６１】
以上のことから、ブロブの平均輝度に基づいて得点付けを行うことでリポソームが写っている確からしさを判定することができ、更に、ブロブの輝度の分散に基づいて得点付けを行うことでリポソームが写っている確からしさ判定することができることが分かる。
【００６２】
ブロブの平均輝度に基づく得点付けは、例えば、ブロブの平均輝度と、支持膜の平均輝度、即ち画像の白い部分の平均輝度を求め、その両者の比と、リポソームの平均輝度と支持膜の平均輝度の比率との差が小さいほど高得点、当該差が大きいほど低得点とすればよい。具体的には、ブロブの平均輝度をＢ、支持膜の平均輝度をＨ、リポソームの平均輝度と支持膜の平均輝度の比率をＲとするとき、例えば、
１／｜（Ｂ／Ｈ）−Ｒ｜
の演算を行い、その値をそのままブロブの平均輝度に基づく得点とすることができる。なお、このＲの値は、リポソームの平均輝度と支持膜の平均輝度の比率を実験により求め、その値を画像処理用モジュールに予め登録しておいて用いればよい。
【００６３】
ブロブの輝度の分散に基づく得点付けは、ブロブの輝度のヒストグラムを作成して、そのピークの幅、例えばピークの半値幅が広いほど高得点とすればよい。どのようなピーク幅に対してどのような得点を付けるかは任意である。
【００６４】
以上のようにして、ブロブの輝度に基づく２つの得点が得られるが、制御手段４は、その２つの得点の合計を当該画像の輝度得点とする。そして、輝度得点が高い程リポソームが写っている可能性が高いことになる。つまり、輝度得点は、画像中に、目的とするリポソームという構造が写っている確からしさを表す指標の一つなのである。
【００６５】
［形状得点計算の処理］
上述したように、リポソームの形状は不定形だが、丸っこくて縁はぎざぎざしておらず、輪郭の凹凸は少ない。そこで、ブロブ中に閉領域を形成している構造があった場合、その閉領域の輪郭の凹凸の程度によって、ブロブにリポソームが写っている確からしさを判定することができる。即ち、ブロブ内の閉領域の輪郭の凹凸の程度に応じて得点付けを行うことによって、リポソームが写っている確からしさを判定することができるのであり、これが形状得点である。
【００６６】
形状得点の計算の手法としては種々考えられるが、その一例を説明する。
まず、ブロブ内の画像について閉領域抽出の処理を施す。この処理は周知の手法を用いればよい。そして、抽出された閉領域について、凹んでいる部分が無く、その周長が最小となる外接図形を作る。このような外接図形は凸包外接図形として知られているものである。例えば、今、図８の実線で示す閉領域Ｌが抽出されたとすると、凹んでいる部分の両端を図の破線で示すように直線で結ぶ。これによって、閉領域Ｌに輪ゴムを掛けたような図形が得られる。これが凸包外接図形Ｌ’である。なお、凸包外接図形を得るための処理は周知であるので、詳細な説明は省略する。
【００６７】
そして、抽出された閉領域Ｌの周長と、凸包外接図形Ｌ’の周長の比を求め、この比に応じて得点付けを行い、形状得点とする。この場合には、当該比が１に近い程高得点とする。リポソームの輪郭は凹凸が少ないので、輪郭の周長と、その輪郭の凸包外接図形の周長との比は１に近いと考えてよいからである。この際、閉領域の周長と、凸包外接図形の周長の比がどの程度の場合にどのような得点とするかは任意に定めることができる。
【００６８】
以上のようにして、ブロブの閉領域の形状に基づく形状得点が得られる。従って、形状得点が高い程リポソームが写っている可能性が高いことになる。つまり、形状得点は、画像中に、目的とするリポソームという構造が写っている確からしさを表す指標の一つなのである。
【００６９】
［エッジ得点計算の処理］
上述したように、リポソームの内部には決まった模様はないが、大抵は内部に長い筋のような模様がある。この長い筋のような模様、即ち線状の図形のうち、所定の長さ以上の長さを有するものを本明細書ではエッジと称する。このことから、ブロブの線状の図形の長さに応じた得点付けを行えば、この得点によってリポソームが写っている確からしさを判定することができる。これがエッジ得点である。
【００７０】
エッジ得点の計算の手法としては種々考えられるが、その一例を説明する。
まず、ブロブ内の画像について閉領域抽出の処理を施し、更に、その抽出された閉領域内で線状図形を抽出の処理を施す。このよう閉領域を抽出する処理、及び線状図形を抽出する処理は周知であるので、詳細な説明は省略する。
【００７１】
ところで、本発明者の研究では、抽出された線状図形の長さは種々であり、リポソームであれば比較的長いが、アグリゲートや支持膜のシミ、ノイズ等に基づく線状図形は一般に短く曲がっていることが確認されている。そこで、抽出した線状図形の長さが閾値以上のものだけをエッジとする。この閾値は実験に基づいて定め、その値を画像処理用モジュールに予め登録しておいて用いればよい。
【００７２】
そして、閉領域内の全てのエッジの面積を求める。エッジの面積は、各エッジについて、エッジを構成する画素数を求め、その画素数の総和を全エッジの面積とすればよい。そして、抽出された閉領域の面積に対するエッジ面積の比を求め、この比が高い高得点となるように得点付けを行う。この際、どのような比に対してどのような得点を与えるかは任意に定めることができる。
【００７３】
以上のようにして、ブロブの閉領域内のエッジに基づくエッジ得点が得られる。そして、エッジ得点が高い程リポソームが写っている可能性が高いことになる。つまり、エッジ得点は、画像中に、目的とするリポソームという構造が写っている確からしさを表す指標の一つなのである。
【００７４】
［総合得点計算の処理］
以上のようにして、制御手段４は、取得した画像について、輝度得点、形状得点、エッジ得点という３種類の得点を求める。そして、次に、これら３種類の得点に基づいて総合得点を求める。この総合得点は、３種類の得点の線形和で定義することができ、輝度得点をＩ、形状得点をＳ、エッジ得点をＥとし、α、β、γを係数として、例えば
Ａ＝α×Ｉ＋β×Ｓ＋γ×Ｅ …(1)
により、総合得点Ａを求める。ここで、係数α、β、γをどのような値とするかは任意に定めることができ、重要視したい得点があれば、その得点の係数を大きな値とすればよい。これらの係数α、β、γの値は予め定めておき、制御手段４、より具体的には画像処理用モジュールに登録しておけばよい。この総合得点も画像中に、目的とするリポソームという構造が写っている確からしさを表す指標の一つとなる。
【００７５】
［データ保存の処理］
以上のようにして、取得された画像のそれぞれに対して、輝度得点、形状得点、エッジ得点、及び総合得点が与えられる。そして、制御手段４は、一つの画像に対して、これら４種類の得点付けを行うと、パラメータ入力のウインドウのデータ保存条件の欄１４で設定された条件に基づいて、当該画像の保存の要否を判定し、データ保存条件を満足する画像のみを保存する。データ保存条件を満足しない画像については、記憶手段５から削除する。
【００７６】
例えば、ウインドウのデータ保存条件の欄１４において、図３に示すように、総合得点が 0.45点以上のものを保存すると設定されている場合には、いま得点付けを行った画像の総合得点が 0.45点未満であれば保存を行わず、これまで記憶手段５に保存されていた当該画像に関するデータを削除するが、0.45点以上である場合には、これまで記憶手段５に保存されていた当該画像に関するデータに、４種類の得点値を付加して保存する。画像を取得した時点では、画像データ、当該試料の試料番号、画像番号、当該画像を取得した座標、当該画像を取得した日時等のデータが付されているので、これに更に上記の４種類の得点が付されて保存されることになる。
【００７７】
しかし、データ保存条件の欄１４で全ての画像の保存が設定されている場合には、上記４種類の得点の如何に関わらず、全ての画像が保存されることになる。このとき、上記４種類の得点も付加されることは当然である。
【００７８】
以上のような保存の処理によれば、リポソームが写っている可能性が高い画像のみを保存し、その可能性の低い画像は記憶手段５から削除されるので、記憶手段５の有効利用を図ることができる。
【００７９】
［検査中表示の処理］
制御手段４は、取得した全ての画像について、上述した図２のステップＳ６の処理を実行するのである（ステップＳ６、Ｓ７）が、ここで、画像の取得と画像分析を同時並行して行っているときに表示されるウインドウについて説明する。
【００８０】
画像の取得と画像分析を同時並行して行っている時、制御手段４は検査中表示用モジュールにより、パラメータ入力の検査中の表示項目の欄１３で選択された項目についてウインドウ表示を行う。そのウインドウ表示の例を図９に示す。図９に示す各項目については上述した通りである。なお、図９では座標はアスタリスクで示しているが、実際には数値が表示されることは当然である。また、保存得点は、パラメータ入力のウインドウのデータ保存条件の欄１４で設定された得点である。データ保存条件の欄１４で「全て」が選択された場合には、保存得点の項目には「All」と表示される。図９の右下の停止ボタンは、このウインドウ表示を終了させるためのボタンである。
【００８１】
また、図９において、左側の円は、パラメータ入力の検査範囲の欄１１で設定された視野範囲を示しており、これまで画像取得を行った位置には点が表示されている。
更に、検査中の表示項目の欄１３でライブ画像が選択された場合には、制御手段４は、図９に示すウインドウ表示とは別にウインドウを表示し、そこに現在ＴＶカメラ３から取り込んでいる画像を表示するようになされている。
【００８２】
［結果表示の処理］
次に、制御手段４は、分析結果表示用モジュールにより分析結果を一覧表示する（ステップＳ８）。その一覧表示のウインドウの例を図１０に示す。
【００８３】
図１０に示すウインドウは、分析番号表示欄３０、データ表示欄３１、画像表示欄３２、及び視野表示欄３３の４つの領域に分割されている。図１１は分析番号表示欄３０の例を示した図であり、図では、現時点で記憶手段５に保存されている分析の分析番号が表示され、今回終了した分析については試料番号が表示されている。図１１では、これまで２回の分析が行われ、今回の分析が３回目の分析であり、今回の分析では試料番号が２と３の２つの試料について分析したことが示されている。
【００８４】
ここで、１回の分析とは、図２のステップＳ１のパラメータ入力から、ステップＳ８の結果表示までの一連の動作を指すものとする。従って、今回が３回目の分析であり、パラメータ入力のウインドウの検査試料の欄１０で図３に示すように設定した場合には、図１１のような表示となる。
【００８５】
図１１において、各分析番号の項目、及び試料番号の項目は、入力手段６のマウスによる左クリックにより選択可能となされており、図１０に示す一覧表示のウインドウが表示された時には、今回の分析の試料番号の最小のもの、図１１の場合は「試料番号２」が自動的に選択されている。従って、図１１において、分析番号２の分析結果を表示したい場合には、「分析２」を選択すれば、「分析２」の下に、当該分析２で分析した試料番号がツリー状に表示され、その中の試料番号が最小のものが自動的に選択されることになる。
【００８６】
データ表示欄３１には、分析番号表示欄３０で選択された試料番号について取得し、画像処理用モジュールによる分析の結果保存された画像に関する種々のデータが一覧表示される。図１２はデータ表示欄３１の例を示す図であり、図１２では、分析の結果保存された画像の画像番号、その画像の取得日時、その画像を取得した試料上の座標、その画像の輝度得点、その画像の形状得点、その画像のエッジ得点、及びその画像の総合得点が表示されるようになされている。このように、一つの画像に関するデータは１行に表示されるのである。そして、このデータ表示欄３１は上下にスクロール可能となされている。
【００８７】
画像表示欄３２には、分析番号表示欄３０で選択された試料番号について取得し、画像処理用モジュールによる分析の結果保存された画像がサムネイルとして表示される。この画像表示欄３２は、上下左右にスクロール可能となされている。
【００８８】
視野表示欄３３には、分析番号表示欄３０で選択された試料番号の視野が円で表示され、その中に、画像取得を行った位置が点で示される。
【００８９】
以上のようであるので、この結果表示により、どの試料のどの位置からどのような画像が得られ、各得点がいくらであるかを知ることができる。
【００９０】
そして、画像表示欄３２に表示された一つ一つのサムネイル画像は、入力手段６のマウスによる左クリックにより選択可能となされており、あるサムネイル画像をマウスの左クリックにより選択すると、制御手段４は、視野表示欄３３において、当該画像を取得した位置に十字マークを表示する。従って、当該選択した画像が試料中のどの位置で取得したものであるかを確認することができる。
【００９１】
また、画像表示欄３２において、マウスの左クリックによって、あるサムネイル画像を選択して、次いでマウスを右クリックすることにより、当該画像に関するデータの表示、あるいは当該画像に対して所望の操作を行うようになされている。
【００９２】
その例を説明すると次のようである。
画像表示欄３２の中の、あるサムネイル画像を選択して、マウスを右クリックすると、例えば、図１３に示されるようなメニューウインドウが表示され、原画像を選択すると、当該画像の原画像がウインドウ表示される。視野再現を選択すると、制御手段４は、当該画像を取得した試料番号、及びその座標を認識し、試料ステージ２を制御して、当該座標がＴＥＭ１の光軸上に位置するように移動させる。ライブ画像は、現在ＴＶカメラ３から取り込んでいる画像を表示するためのメニューである。なお、ライブ画像を観察するに際して、ステップＳ５の処理により高圧が停止されている場合にはＴＥＭ１に高圧を供給する必要があることは当然である。
【００９３】
図１３のメニューウインドウにおいて、プロパティを選択すると、当該画像を取得した座標、取得日時、倍率、上記の４種類の得点等、データ表示欄３１に表示されているデータが表示される。
【００９４】
図１３のメニューウインドウのＦＦＴは、当該画像に対して高速フーリエ変換を施すためのメニューである。これは、取得した画像中に膜蛋白の結晶があるか否かを判定するために用いることができるように用意されているメニューであり、ＦＦＴで得られるパワースペクトルによって膜蛋白の結晶の有無を判定することができる。
【００９５】
ただし、ＦＦＴを行う場合、ＦＦＴの対象とする領域のサイズは２のべき乗の画素数でなければならないので、ＦＦＴの対象とする領域を設定する必要がある。また、当該画像の取得倍率が低い場合には、例え当該画像中に膜蛋白の結晶があったとしても、結晶があることを示すパワースペクトルが得られない。そこで、取得倍率が低い場合には、例えば、視野再現を選択して、倍率を高倍率に設定してライブ画像を取り込み、そのライブ画像中でＦＦＴを施す領域設定を行って、ＦＦＴを実行するようにすればよい。
以上のようにしてステップＳ８の結果表示を行うと分析の完了となる。
【００９６】
以上、本発明の一実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、種々の変形が可能である。例えば、上記実施形態では、取得した画像中にリポソームが写っている確からしさを分析する場合について説明したが、本発明は、例えば試料中にウィルスがあるか否かの判定、あるいは試料中に蛋白質の分子があるか否かの判定等、生物試料中に目的とする構造があるか否かの判定に適用することができるものである。
また、上記実施形態ではＴＶカメラを用いるものとしたが、ＴＶカメラに代えて、例えばスロースキャンカメラ等を用いてもよい。
【００９７】
以上のようであるので、この画像収集／分析システムによれば、画像の取得と、取得した画像の分析が同時並行して実行されるので、１回当たりの分析の時間は従来より短縮することができる。
【００９８】
また、画像の輝度、輝度の分散に応じて輝度得点を付け、また、画像中の構造の形状に応じて形状得点を付け、更に画像中の模様に応じてエッジ得点を付け、そして、これらの得点の線形和として総合得点を付けるので、リポソーム等の不定形の構造が取得画像中にあるか否かの判定を確実に行うことができる。
【００９９】
また更に、画像及びその画像に関する所定のデータの保存は、取得した全ての画像について行うことができることは勿論であるが、得点の種類、その得点の値を満足するものだけを保存することも可能であるので、記憶手段を効率よく、有効利用することができる。
【０１００】
また、分析を行うについては、オペレータはパラメータ入力の操作を行うだけでよく、その後、画像の取得、取得画像の分析、及び分析結果の表示は自動的に行われるので、オペレータの負担は軽減される。
【図面の簡単な説明】
【図１】本発明に係る画像収集／分析システムの一実施形態を示す図である。
【図２】動作の流れを示すフローチャートである。
【図３】図２のステップＳ１のパラメータ入力を行う際に表示されるウインドウの例を示す図である。
【図４】図２のステップＳ２の試料移動を説明するための図である。
【図５】取得画像中に写る種々の構造を説明するための図である。
【図６】図２のステップＳ６の画像分析の処理において行う、画像から黒い部分と白い部分を除外する処理を説明するための図である。
【図７】図２のステップＳ６の画像分析の処理において行う輝度得点の計算の処理を説明するための図である。
【図８】図２のステップＳ６の画像分析の処理において行う形状得点の計算の処理を説明するための図である。
【図９】画像の取得と画像分析を同時並行して行っているときに表示されるウインドウの例を示す図である。
【図１０】分析結果を表示するウインドウの例を示す図である。
【図１１】図１０に示すウインドウの分析番号表示欄３０の表示例を示す図である。
【図１２】図１０に示すウインドウのデータ表示欄３１の表示例を示す図である。
【図１３】図１０に示すウインドウの画像表示欄３２の中の、一つのサムネイル画像を選択した場合に表示されるメニューウインドウの例を示す図である。
【符号の説明】
１…ＴＥＭ、２…試料ステージ、３…ＴＶカメラ、４…制御手段、５…記憶手段、６…入力手段、７…モニタ。

Claims (3)

1. 透過型電子顕微鏡と、
   透過型電子顕微鏡で拡大投影された試料の画像を撮像するカメラと、
   制御手段と、
   入力手段と、
   記憶手段と
   を少なくとも備え、
   前記制御手段は、カメラで撮像された試料の画像の分析の処理においては、画像中に目的とする構造が写っている確からしさを表す指標として、画像の輝度に基づいて輝度得点を付ける処理、画像中の閉領域の外形の形状に基づいて形状得点を付ける処理、前記閉領域内の模様をエッジとして抽出し、前記閉領域の面積に対する前記エッジの面積の比を求めることによってエッジ得点を付ける処理、及びこれら輝度得点、形状得点、エッジ得点に基づいて総合得点を付ける処理を行い、
   更に、前記制御手段は、入力手段によりデータを保存する条件として、前記総合得点の値が設定された場合には、前記処理により付けられた総合得点が当該設定された得点の値以上となった画像についてのみ、その画像データ及び当該画像に関する所定のデータを前記記憶手段に保存する
   ことを特徴とする画像収集／分析システム。
2. 請求項１記載の画像収集／分析システムにおいて、制御手段は、前記試料の画像の取得は、入力手段で試料の検査範囲と取得画像枚数が設定された場合には、当該設定された検査範囲内で設定された枚数の画像を取得することを特徴とする画像収集／分析システム。
3. 請求項１または２に記載の画像収集／分析システムにおいて、
   更にモニタを備え、
   制御手段は、取得した全ての画像について分析が終了した場合には、分析結果をモニタに表示することを特徴とする画像収集／分析システム。

Images