JP4300327B2

JP4300327B2 - Protein crystallization state determination method and system

Info

Publication number: JP4300327B2
Application number: JP2003172898A
Authority: JP
Inventors: 邦明川端; 一淺間; 佳奈子齊藤; 智國光; 健稔三島
Original assignee: RIKEN Institute of Physical and Chemical Research
Current assignee: RIKEN Institute of Physical and Chemical Research
Priority date: 2003-06-18
Filing date: 2003-06-18
Publication date: 2009-07-22
Anticipated expiration: 2023-06-18
Also published as: WO2005022166A1; JP2005009949A

Description

【０００１】
【発明が属する技術分野】
本発明は、タンパク質溶液におけるタンパク質結晶生成を自動化するためのタンパク質結晶状態を判定する方法およびそのシステムに関する。
【０００２】
【従来の技術】
従来より、タンパク質の結晶構造を解析するためにＸ線結晶構造解析法が用いられている。かかる構造解析法においては、構造解析対象のサンプルとなるタンパク質の良質な結晶を得るために、構造解析サンプル作成の準備として、タンパク質の溶液（水溶液）から水分を蒸発させて結晶を生成する方法（結晶化法）が用いられる。この際、構造や性質が未知であるタンパク質溶液から結晶が得られるかどうかを選別するスクリーニング作業が行なわれている。
【０００３】
従来のこのスクリーニング作業では、結晶状態を顕微鏡画像から人の目で逐次検討し、そのサンプルの結晶生成の様子を判定している。この判定においては、サンプルのタンパク質溶液が、溶液のままであるか、沈殿を起こしているか、微結晶が得られているか、あるいは、結晶が得られるかが判定される。表１に、このスクリーニングにおいて用いられる判定基準を示す。
【表１】

【０００４】
表１において、「透明」とは、タンパク質溶液が何らの結晶も生成しない様子を表わしている。また、「沈殿」は、４つに分類される。即ち、粒が見られず黒ずんでいたり褐色を示すもの（沈殿（ｉ））、点状の組織が観察されるもので白色にみえ、少し点々があるもの（沈殿（ｉｉ））、アモルファス様の組織で透明に見えることがあるもの（沈殿（ｉｉｉ））、大きなアモルファス様の組織で粒子が見えることがあるもの（沈殿（ｉｖ））に分類される。また、結晶が生成されているものは、５つに分類される。即ち、５０μｍ程度以下の結晶で頂点が観察されるもの（微結晶）、針状結晶が観察されるもの（結晶（ｉ））、板状結晶が観察されるもの（結晶（ｉｉ））、重なり合った結晶が観察されるもの（結晶（ｉｉｉ））、良質な結晶が観察されるもの（結晶（ｉｖ））というように分類される。便宜的に、各分類に対してスコアとなる数字が割り当てられて分類されることもある。ただし、タンパク質の結晶の成長過程に従ってこのスコアが順次増してゆくように変化するものとは限らない。このように分類される画像の模式図を、スコアごとに図７に示す。特に、未知タンパク質溶液の結晶化実験においてこれらに分類されるサンプルの数が多数であるため、大変有用な手段となる。
【０００５】
従来の人の観察を基礎とするスクリーニング作業では、観察者はトレーニングによって養成されて、経験的にこのような分類を行なうことができるようになる。養成された観察者が多数のサンプルについて得た顕微鏡画像を観察して選別を行なう。このときに判定された分類は、それ自体も、Ｘ線構造解析向けのサンプルについての有用な情報であり、タンパク質の構造解析や性質の決定に際して重要な指標となっている。
【０００６】
この結晶を得るための手法においては、大別すると、タンパク質溶液をカバーガラスの下面に下垂させて蒸発を行なう手法（ハンギングドロップ蒸気拡散法）と、タンパク質溶液を蒸発容器の上に載置させて蒸発を行なう手法（シッティングドロップ蒸気拡散法）とが用いられる。多数のタンパク質溶液の顕微鏡画像を得るには、自動的に顕微鏡画像を記録することが有効であり、機械化の容易なシッティングドロップ蒸気拡散法が望ましい。
【０００７】
特に、表１に示した透明、沈殿（ｉ）、沈殿（ｉｉ）、沈殿（ｉｉｉ）に未知タンパク質溶液のサンプルが分類されることが多いが、これ等に分類されるサンプルは、いまだ結晶が生成されておらず、観察者がこれらを全て観察するのは、効率が悪い。
【０００８】
また、従来のテクスチャ解析手法の例が、非特許文献１に記載されている。
【０００９】
【非特許文献１】
R. M. Haralick, K. Shanmugam and I. Dinstein, "Texture features for image classification" IEEE Trans. Syst., Man, Cybern., vol.SMC-3, no6, pp.610-621, 1973
【００１０】
【発明が解決しようとする課題】
上記従来のタンパク質溶液の結晶化状態判定方法では、人の目による分類が欠かせず、スクリーニング作業で処理できるサンプルの数に限界がある。また、その分類基準についても、観察者ごとに判定が異なる場合があり、さらに、同じ観察者であっても繰り返し同じ判定が行なえない場合がある。
多数のサンプルの判定を行なうためには、シッティングドロップ蒸気拡散法による機械化が望ましいが、結晶化状態の判定は、ハンギングドロップ蒸気拡散法の顕微鏡画像に比べて判定が難しい傾向がある。
【００１１】
本発明は、かかる従来のタンパク質溶液の結晶化状態判定方法を、顕微鏡画像に対してテクスチャ解析の手法を用いて機械化することを課題とする。また、機械化されて自動撮影される顕微鏡画像おいても良好に判定が行なえる判定方法を提供し、撮影から判定までを機械化することができるような効率の高い安定したタンパク質の結晶化状態の判定を可能にする方法やシステムを提供することを課題とする。さらに、表１に示した透明、沈殿（ｉ）、沈殿（ｉｉ）、沈殿（ｉｉｉ）を適切に分類する方法を確立することも課題とする。
【００１２】
【課題を解決するための手段】
本発明では、タンパク質溶液の電子画像を取得して原画像とする原画像取得ステップと、該原画像の少なくとも一部分について第１の同時生成行列を算出する原画像行列算出ステップと、該第１の同時生成行列から第１組の画像統計量を算出する原画像統計量算出ステップと、該原画像に微分処理を行なって微分画像を得る画像微分ステップと、該微分画像の少なくとも一部分について第２の同時生成行列を算出する微分画像行列算出ステップと、該第２の同時生成行列から第２組の画像統計量を算出する微分画像統計量算出ステップと、該第２組の画像統計量を用いて、タンパク質溶液の電子画像を少なくとも２種に分類する第１の判定ステップと、前記第１の判定ステップで分類された結果、前記２種のうちの第１種に属すると判定されたタンパク質溶液の電子画像をさらに前記第１組の画像統計量を用いて少なくとも２種に分類する第２の判定ステップとを含む、タンパク質溶液の結晶化状態の判定方法が提供される。
【００１３】
画像の解析は、一般にテクスチャ解析と呼ばれる手法を用いることができる。この解析対象に、タンパク質溶液の原画像（電子的に取得して明るさや領域の切り出し等の予備的な調整をしたのみの画像で、微分していない画像）と、その原画像を微分した微分画像を共に用いることにより、未知タンパク質の溶液における結晶化の状態を良好に判定できる。
また、判定を２段階に行なうことにより、タンパク質溶液の結晶化状態を判定する作業の機械化が容易となる。本方法によれば、表１に示した透明と沈殿（ｉ）とを他のものから適切に分類することが可能となる。
【００１４】
また、本発明においては、前記第１の判定ステップで分類された結果、前記第１種以外の種に分類されたタンパク質溶液の電子画像を、前記第２組の画像統計量を用いてさらに少なくとも２種に分類する第３の判定ステップをさらに含む方法が提供される。
第３の判定ステップにより、透明と沈殿（ｉ）との分類に加えて、沈殿（ｉｉ）と沈殿（ｉｉｉ）とを他のものから分類することができる。
【００１５】
さらに、本発明においては、上記方法において、予め判定されているタンパク質の結晶状態の電子画像を用いて、前記第１の判定ステップにおいて用いる第１の判定基準と第２の判定基準とを、前記第２組の画像統計量に基づく線形判別法により確立するステップと、前記予め判定されているタンパク質の結晶状態の電子画像を用いて、前記第２の判定ステップにおいて用いる第３の判定基準を、前記第１組の画像統計量に基づく線形判別法により確立するステップと、前記予め判定されているタンパク質の結晶状態の電子画像を用いて、前記第３の判定ステップにおいて用いる第４の判定基準を、前記第２組の画像統計量に基づく線形判別法により確立するステップとをさらに含む方法が提供される。ここで、前記第１の判定ステップは、前記第１の判定基準と前記第２の判定基準とにより、前記第２組の画像統計量を用いて電子画像を３種に分類するものであり、前記第２の判定ステップは、前記第３の判定基準により、該第１組の画像統計量を用いて前記３種のうちの第１種に属する電子画像をさらに２種に分類するものであり、前記第３の判定ステップは、前記第４の判定基準により、該第２組の画像統計量を用いて前記第１種以外のいずれかの種に属する電子画像をさらに２種に分類するものである。
【００１６】
判定ステップを適切に選択された４つの基準を適切な順序で用いるものとして構築すれば、判定の際のエラーが低減され、人による判定を十分に再現できる良好な判定が人による分類を経ずとも行なえる。
【００１７】
本発明においては、上記方法において、透明状態、第１〜第４の沈殿状態、微結晶状態、および結晶状態を要素として構成される複数の状態のいずれかにタンパク質溶液の電子画像を分類する方法が提供される。ここで、前記第１の判定基準は、タンパク質溶液が、透明状態と第１〜第３の沈殿状態とからなる状態のいずれか、あるいは、第４の沈殿状態と微結晶状態と結晶状態とからなる状態のいずれかのどちらにあるかを判定するものであり、前記第２の判定基準は、タンパク質溶液が、透明状態と第１の沈殿状態とからなる状態のいずれか、あるいは、第２〜第４の沈殿状態と微結晶状態と結晶状態とからなる状態のいずれかのどちらにあるかを判定するものであり、前記第３の判定基準は、タンパク質溶液が、透明状態、あるいは、第１の沈殿状態のどちらにあるかを判定するものであり、前記第４の判定基準は、タンパク質溶液が、第２の沈殿状態、あるいは、第３の沈殿状態のどちらにあるかを判定するものであり、前記第１の判定ステップは、前記第１の判定基準と前記第２の判定基準とにより、タンパク質溶液が、透明状態と第１の沈殿状態からなる状態のいずれか、第２〜第３の沈殿状態からなる状態のいずれか、あるいは、第４の沈殿状態と微結晶状態と結晶状態とからなる状態のいずれかのいずれにあるかを判定するステップであり、前記第２の判定ステップは、前記第３の判定基準により、透明状態と第１の沈殿状態からなる状態のいずれかにあるタンパク質溶液が、透明状態、あるいは、第１の沈殿状態のどちらにあるかを判定するステップであり、前記第３の判定ステップは、前記第４の判定基準により、第２〜第３の沈殿状態からなる状態のいずれかにあるタンパク質溶液が、第２の沈殿状態、あるいは、第３の沈殿状態のどちらにあるかを判定するステップである。
【００１８】
テクスチャ解析においては、判定基準は一般には様々な画像に基づいて確立することができるが、本発明においては、原画像と微分画像を用い、それぞれの基準が判定する特徴に適した画像の種類をこのように選択することが出来る。これにより、判定のエラーが低減され、人による判定を十分に再現可能な良好な判定の機械化が可能となる。
【００１９】
本発明では、さらに、タンパク質溶液について観察された画像を解析することによって該タンパク質溶液における結晶化状態を判定する結晶化状態判定システムが提供される。このシステムは、タンパク質溶液の電子画像を取得して原画像とする原画像取得手段と、該原画像の少なくとも一部分について第１の同時生成行列を算出する原画像行列算出手段と、該第１の同時生成行列から第１組の画像統計量を算出する原画像統計量算出手段と、該原画像に微分処理を行ない、微分画像を得る画像微分手段と、該微分画像の少なくとも一部分について第２の同時生成行列を算出する微分画像行列算出手段と、該第２の同時生成行列から第２組の画像統計量を算出する微分画像統計量算出手段と、該第２組の画像統計量を用いて、タンパク質溶液の電子画像を少なくとも２種に分類する第１の判定手段と、前記第１の判定手段で分類された結果、前記２種のうちの第１種に属すると判定されたタンパク質溶液の電子画像をさらに前記第１組の画像統計量を用いて少なくとも２種に分類する第２の判定手段とを含んで構成される。
【００２０】
本発明の解析システムは、タンパク質溶液の結晶化を判定するサンプルについて電子画像を用いて結晶化状態の判定を行なうことが出来る。これにより、従来は観察者に頼っていた結晶化状態の判定作業の機械化が可能となる。
さらに本発明の解析システムに、タンパク質の溶液の結晶化サンプルの自動観察手段を組合わせれば、未知タンパク質の観察とその未知タンパク質の結晶化状態の判定とを連続して自動で行なうタンパク質結晶化状態観察解析システムが構築できる。
【００２１】
【発明の実施の形態】
本発明は、コンピュータ装置を用いて実施される。このコンピュータには、適当な画像入力手段が接続されている。その画像入力手段は、例えば顕微鏡に備えられたＣＣＤ（電荷結合デバイス）などの撮像装置、Ａ／Ｄコンバータ、適当なメモリなどによって電子的な画像を取得し、コンピュータに入力する。また、コンピュータには、演算装置、記憶装置、表示装置、通信装置などの通常の装置が備えられる。本発明の各ステップや各手段は、演算装置に実現された機能ブロックとして処理が行なわれ、機能が実現される。例えば、判定ステップや判定手段は、演算装置において、記憶装置から読み込まれたプログラムが必要なレジスタやメモリによって構成される記憶動作と演算処理動作によって判定を行なう機能として実現される。本発明は、このようなコンピュータを用いて、画像処理および画像の分類を用いて、タンパク質溶液の結晶化状態を判定するための方法や手段を提供するものである。
【００２２】
以下、図面を参照して、本発明の実施の形態について説明する。
図１は、本発明において観察対象の溶液においてタンパク質の結晶化（析出）をさせるために製作されるサンプルの準備された様子を表わす断面図である。本発明の観察対象は、タンパク質溶液１を観察する光学顕微鏡の観察像である。タンパク質溶液１は、水分を含んだ溶液である。このタンパク質溶液１は、容器３内に配置された滴下ステージ５に滴下して準備される。容器３の開口部は、カバースリップ２によって覆われ、容器３とカバースリップ２の接触部はシールされて、以後気密が保たれる。容器３には、予め沈殿材４が配置されており、容器内の水分を吸収してゆく。
【００２３】
このようなサンプルでは、数日から数年の時間をかけて、溶液中の水分が減少してゆき、タンパク質の飽和溶解度に達すると、徐々にタンパク質の結晶が成長してゆくことがある。タンパク質の種類によっては、全く結晶を生成しない場合や、沈殿を生じる場合もある。
【００２４】
図２は、本実施形態の結晶化状態判定システム１００の構成を説明する構成図である。本システムには、原画像取得手段１２、原画像行列算出手段１４、原画像統計量算出手段２０、画像微分手段２２、微分画像行列算出手段２４、微分画像統計量算出手段２６、判定基準設定手段２８、判定基準格納手段３２、判定手段３４が備えられている。なお、判定手段３４には、図示しないが、第１〜第３の判定手段が含まれているものとしてもよい。また、本システムにおいては、判定基準を確立するために、予め結晶化状態が分類されたタンパク質の画像について、外部にある撮像装置１６からの電子画像のデータ１８を取得し、結晶状態データ３０を取得するものであってもよい。本システムは、未知タンパク質溶液の画像について、外部にある撮像装置１６からの電子画像のデータ１８を取得し、その未知タンパク質溶液の結晶化状態を判定して、その結晶状態のデータ３６を出力する。
【００２５】
原画像取得手段１２は、例えば顕微鏡に備えられた撮像装置１６によって撮影され、デジタル化された電子画像のデータ１８を取得して、その電子画像を調整して原画像のデータ１２２とする。調整は、デジタル化されたデータの明度等を適切な範囲に調整したり、計算に十分な範囲で階調の削減を行ったり、必要な領域を切り出す処理などの一般的な処理である。
【００２６】
原画像行列算出手段１４は、その調整された原画像のデータ１２２の少なくとも一部分の各画素を走査して、該原画像のデータ１２２に基づいて第１の同時生成行列１４２を算出する。
【００２７】
ここで、同時生成行列とは、画像の濃度（画素値）ｉの点から一定の変位δ＝（ｒ、θ）（図３ａ参照）だけ離れた点の濃度がｊとなる確率を要素として持つような行列である。例えば、図３ｂのような画像については、（ｒ、θ）毎に次式のような同時生成行列が計算される。
【数１】

ここでは、処理対象の範囲の画素が走査されて、同時生成行列の行列要素に加算されている。
【００２８】
この各行列に現われる要素は、その（ｒ、θ）と（ｉ、ｊ）の組合わせごとの画素の出現頻度を表わしている。この画素の出現頻度を確率に換算するために正規化処理を行なう。この確率を要素とする同時生成行列の行列要素を以後Ｅ（ｉ，ｊ）とする。なお、（ｒ、θ）毎にこの要素が計算されているが、記載を省略する。原画像行列算出手段１４はこのような確率を求める機能を有しており、適当なメモリーを用いて頻度を計算し、その頻度を正規化して確率を要素とする同時生成行列を出力する機能を有している。
【００２９】
このようにして定められる同時生成行列Ｅ（ｉ，ｊ）に基づいて、原画像統計量算出手段２０は、第１組の画像統計量２０２を算出する。この画像統計量の組は、次式で表わされる。
【数２】

ここで、この各画像統計量の計算には、次の関係式が用いられている。
【数３】

なお、これらの画像統計量は、非特許文献１によって上記と同様に導入されている。
【００３０】
画像微分手段２２は、原画像取得手段１２の出力する原画像１２２に微分処理を行なう。この微分処理は、本実施の形態においては、一次微分フィルタとして知られるＳｏｂｅｌフィルタ（水平微分フィルタ：図４ａ参照、垂直微分フィルタ：図４ｂ参照）を適用する。この際、図４では、注目画素である中央の画素に対して、周囲の画素を図示する各重みを考慮して加算する処理が、注目画素を順次走査して行なわれる。これにより、画像微分手段２２によって微分画像２２２が得られる。
【００３１】
微分画像行列算出手段２４は、原画像行列算出手段１４が原画像１２２に行なった処理と同様の処理により、微分画像２２２に基づいて第２の同時生成行列２４２を算出する。また、微分画像統計量算出手段２６は、原画像統計量算出手段２０と同様の処理により、第２の同時生成行列２４２から第２組の画像統計量２６２を算出する。
【００３２】
判定基準設定手段２８は、原画像１２２が表１の結晶状態のいずれのものあるかを結晶状態データ３０として受け付ける。この結晶状態データ３０は、表１のスコア０〜９の１０段階のいずれであるかを示すデータである。また、判定基準設定手段２８は、前記第１組の画像統計量２０２と、前記第２組の画像統計量２６２とを受け付ける。
【００３３】
判定基準設定手段２８は、これらの受け付けたデータから、４種の判定基準を線形判別法により確立する。線形判別法は、統計標本が持ついくつかの特性から、統計標本がどの群（クラス）に属するかを識別する手法である。このとき、統計標本としては、結晶状態データ３０を用い、その識別が行なわれる空間（特徴空間）として、微分を用いない原画像に基づいている第１の画像統計量の１４次元空間、あるいは、微分画像に基づいている第２の画像統計量の１４次元空間が選択される。
【００３４】
判定基準は、線形識別関数という関数として表現され、一つの線形識別関数で判定対象を２つに分類するような基準である。この線形識別関数は、１４次元空間内の超平面（１４次元空間を２つの半空間に仕切る１３次元の自由度を有する面）として決定される。つまり、線形識別関数は、１４次元空間に散布されたデータ（各々が、予め判定されているタンパク質の結晶状態のいずれかの情報によって分類可能であり、第１の画像統計量または第２の画像統計量のデータを座標値としてプロットされている点）を２つに仕切る際の超平面として定義される。
【００３５】
線形識別関数を決定するための指標は、直感的には、予め分類されている各データを出来るだけ分離させるような仕切り方となる超平面（線形識別関数）を定めることである。具体的には、第１の画像統計量または第２組の画像統計量を要素とするデータｕ＝（ｕ1、・・・、ｕ14）Tと、係数行列（係数ベクトル）Ａとの内積をとって、スカラー量ｚを算出する（式（１５））。なお、ここでは、係数行列Ａは、後にフィッティングされる未知パラメータを要素としている。また、データｕは、多数のデータが用いられるが、各々が、予め結晶状態が判定されていて結晶状態データ３０が得られ、第１の画像統計量および第２画像統計量が算出される複数のデータである。
【数４】

【００３６】
次に、クラス内共分散行列ΣZ、クラス間共分散行列ΣBが、式（１６）、（１７）により求められる。
【数５】

ここで、Ｐ（ωi）は２つに分類された分類の各クラスωiの事前確率、Σiはクラスωiの共分散行列、ｍiはクラスωiの特徴データ（１４次元の座標値）の単純平均によって作られるベクトル、ｍは全パターンにおける同様の平均のベクトルを表わす。
【００３７】
データｕを係数行列Ａで変換したことに対応させて、スカラー量ｚのクラス内およびクラス間の分散Σ〜Z、Σ〜Bを求めると、
【数６】

のようになる。これを用いて、評価関数ＪΣ（Ａ）を式（２０）のように定める。
【数７】

この評価関数は、分類されるクラス間の分離度を表わしている。従って、最適となる係数行列Ａは、この評価関数ＪΣの最大値を与えるものである。
【００３８】
評価関数ＪΣの最大値を与えるＡを算出するには、式（２１）によって与えられる行列の最大の固有値を与える固有ベクトルを求めればよい。
【数８】

【００３９】
このようにして求められた最適なＡは、式（２２）に定義される識別関数の超平面の法線ベクトルを与えるものである。
【数９】

なお、式２２のｕ0は、１４元のベクトルｕにｍを代入した場合にｇ（ｍ）＝０が成立するように定められる。
【００４０】
以上のような処理を、判定基準設定手段２８が実行する。このために、判定基準設定手段２８には、図示はしないが、行列演算を適切に行なうための手段が備えられる。具体的には、内積計算（式１５、１７等）、積和演算（式１６、１７）、固有値演算（固有値の算出、固有ベクトルの決定）が処理できる演算機能を有する。上記の式の説明では、式変形の順を追って説明しているが、判定基準設定手段２８は式１８〜２０については特段計算する必要がない。
【００４１】
本実施形態の結晶化状態判定システム１００の機能としての判定基準設定手段２８の具体的な処理を、図５を用いて説明する。判定基準設定手段２８は、まず、予め結晶状態が判定されている観察画像（教示用の観察画像）について、結晶状態データ３０の入力（図５、Ｓ２）と、その画像について計算された第１組の画像統計量および第２組の画像統計量の入力（Ｓ４）を受け付ける。次に、確立する判定基準を選択する（Ｓ６）。そして、処理に用いる画像統計量の組が判定基準に依存するので、確立する判定基準を選択し、予め判定された結晶状態のデータによって各画像を分類する（Ｓ８）。この分類は、表１に示した各分類を要素とし、その要素の組合わせによってそれぞれが構成された２つの分類である。この分類は、以下に説明するように、そのとき確立しようとする判定基準によって定まる。
【００４２】
本実施の形態では、判定基準ｇ1〜ｇ4を確立し、これを判定に用いる。ｇ1は、タンパク質溶液が、透明状態と第１〜第３の沈殿状態とからなる状態にあるか、または、第４の沈殿状態と微結晶状態と結晶状態とからなる状態にあるかを判定する（第１の判定基準）。ｇ2は、タンパク質溶液が、透明状態と第１の沈殿状態とからなる状態にあるか、または、第２〜第４の沈殿状態と微結晶状態と結晶状態とからなる状態にあるかを判定する（第２の判定基準）。ｇ3は、タンパク質溶液が、透明状態にあるか、または、第１の沈殿状態にあるかを判定する（第３の判定基準）。ｇ4は、タンパク質溶液が、第２の沈殿状態にあるか、または、第３の沈殿状態にあるかを判定する（第４の判定基準）。なお、各判定基準は式２２の多項式の係数を定めるものであり、判定されるべき画像についての画像統計量（１４個の統計量）ｕによって各判定基準の多項式の値を計算し、その正負によって分類がなされる。判定基準ｇ1〜ｇ4の正負をどのように定めるかについては、上述した最大固有値の固有ベクトルが、反転されても同様に同じ固有値の固有ベクトルとなる任意性を利用して、任意に定め得る。本実施の形態では、表１のスコアが小さい側の分類が、各判定基準の多項式の評価値が正となるように定める。
【００４３】
例えば判定基準ｇ1による判定においては、透明状態と第１の沈殿状態とからなる状態（第１の状態）と、第２〜第４の沈殿状態と微結晶状態と結晶状態とからなる状態（第２の状態）とのいずれにあるかを、分類することに相当する。このように、各判定基準によって異なる分け方で分類が行なわれる。
【００４４】
そして、ステップＳ８において判定基準に合わせて分類された分類を用いて、クラス内共分散行列とクラス間共分散行列を、式１６および１７に従って算出する（Ｓ１０）。そして、式２１の行列を算出して（Ｓ１２）、その行列の最大固有値に対応する固有ベクトルを算出する（Ｓ１４）。この計算には、行列の固有値や固有ベクトルを数値的に算出する任意の計算方法を用いることが出来る。固有ベクトルが求まると、その固有ベクトルを係数とする多項式（式２２）が、ベクトルｕにｍ（ｍは全パターンにおける特徴データの平均のベクトル）を代入した場合にｇ（ｍ）＝０が成立するように、ｕ0を定める（Ｓ１６）。
【００４５】
これにより、式２２の全ての係数が算出されて、その判定基準が確立する。
判定基準ｇ1〜ｇ4の全てについてこのような過程を繰り返すことにより（Ｓ１８）、判定基準が全て確立することとなる。なお、ｇ3、ｇ4は、既にｇ1、ｇ2によって分類されたあと判定にのみ用いるため、ステップＳ８における判定基準に合わせた分類は、確立したｇ1、確立したｇ2によって分類されたものについて判定を行なえばよい。以上のようにして、判定基準設定手段２８が判定基準を確立する。
【００４６】
判定基準設定手段２８は、判定基準ｇ1〜ｇ4を判定基準格納手段３２に格納する。このような判定基準ｇ1〜ｇ4によって表１の右端の列に示す計算による分類Ａ〜Ｅが分類される。また、いずれの分類にも入らないものがＦとして分類される。
【００４７】
本実施の形態では、実際にスコア０〜９に分類される画像を用いて判定基準ｇ1〜ｇ4を確立している。判定基準の確立に用いた画像は、スコア０〜９の各分類について、予め熟練した観察者によって分類されている２０枚から６０枚程度の画像である。
【００４８】
続けて、本実施の形態のシステム１００によって未知タンパク質溶液のサンプルについて判定を行なう方法について説明する。この判定に際しては、判定手段３４が判定基準格納手段３２から判定基準ｇ1〜ｇ4を読み込むことにより行なう。
【００４９】
未知タンパク質溶液についても、図１に示したようにサンプルが準備される。そして、光学像として観察画像を取得し、判定基準を確立する際と同一の手段（原画像取得手段、原画像行列算出手段、原画像統計量算出手段、画像微分手段、微分画像行列算出手段、微分画像統計量算出手段）によって同一の処理がなされる。これにより、該未知タンパク質溶液のサンプルについての第１組の画像統計量と第２組の画像統計量が得られる。
【００５０】
第１組の画像統計量と第２組の画像統計量は、各々１４次元の数値データからなるベクトルであるので、これらに、判定基準設定手段２８によって確立された４種の判定基準ｇ1〜ｇ4を適用して判定を行なう。つまり、判定基準を示す多項式にこの未知タンパク質溶液から得られた画像統計量のベクトルを代入して、値の正負を評価することにより、判定を行なう。判定結果のデータ３６は、判定基準設定手段２８から出力され、適当な表示手段に表示されたり、記憶手段に格納される。
【００５１】
次に、図６に従って、第１〜第４の判定基準（ｇ1〜ｇ4）を適用する具体的なステップについて説明する。
判定手段は、まず、第１の判定基準ｇ1と第２の判定基準ｇ2とを用いて、判定を行なう（図６、Ｓ２０）。ここで、ｇ1が正であることは、透明状態と第１〜第３の沈殿状態とからなる状態にあることに対応し、ｇ1が負であることは、第４の沈殿状態と微結晶状態と結晶状態とからなる状態にあることに対応する。同様に、ｇ2の正と負は、それぞれ、透明状態と第１の沈殿状態とからなる状態にあること、第２〜第４の沈殿状態と微結晶状態と結晶状態とからなる状態にあることに対応する。したがって、ｇ1とｇ2が共に正のときは、未知タンパク質溶液が透明状態と第１の沈殿状態からなる状態（図６、分枝２０２；表１、ＡまたはＢ）にある。また、ｇ1が正、ｇ2が負のときは、第２〜第３の沈殿状態からなる状態（分枝２０４；表１、ＣまたはＤ）にあり、ｇ1とｇ2が共に負のときは、第４の沈殿状態と微結晶状態と結晶状態とからなる状態（分枝２０６；表１、Ｅ）にある。なお、判定基準において、ｇ1が負、ｇ2が正という組合わせについて、実際のタンパク質溶液の結晶化状態を示す画像がこのようになることはほとんどなく、この場合はエラーとして図示しない処理がなされ、表１のＦに分類される。
【００５２】
次に、画像が透明状態と第１の沈殿状態からなる状態（分枝２０２；表１、ＡまたはＢ）に判定されると、第３の判定基準ｇ3を用いて判定を行なう（Ｓ２２）。ｇ3の正負は、それぞれ、未知タンパク質溶液が、透明状態（分枝２２２；表１、Ａ）にあるか、第１の沈殿状態（分枝２２４；表１、Ｂ）にあるかに対応する。
【００５３】
また、画像が、第２〜第３の沈殿状態からなる状態（分枝２０４；表１、ＣまたはＤ）に判定されると、第４の判定基準ｇ4を用いて判定を行なう（Ｓ２４）。ｇ4の正負は、それぞれ、未知タンパク質溶液が、第２の沈殿状態（分枝２４２；表１、Ｃ）にあるか、第３の沈殿状態（分枝２４４；表１、Ｄ）にあるかに対応する。
以上のようにして、表１のＡ〜Ｅのいずれであるかが判定された後、各判定結果に応じて、判定結果を保持する変数Ｘにその結果を格納する（Ｓ２６ａ〜Ｓ２６ｅ）。そして、その判定結果を出力する（Ｓ２８）。
【００５４】
表２に、本実施の形態において得られた未知タンパク質の画像の各分類の結果を示す。表の各行には、同じ画像を人により分類した結晶化状態であり、各列には、本実施の形態のシステムによって処理をして求められた分類である。各データは、人による分類と計算による分類とに当てはまる画像の実際の枚数である。「結果」の列には、人により分類されている画像が、計算によって適切に分類されている割合を示している。
【表２】

このように、人によって分類されていた分類のうち、透明（表１、Ａ）、沈殿（ｉ）（Ｂ）、沈殿（ｉｉ）（Ｃ）、沈殿（ｉｉｉ）（Ｄ）が、これらの相互からも、そして、残りの分類（Ｅ）からも良好に分類されている。
【００５５】
本実施の形態の構成から、本発明によって提供されるタンパク質溶液の結晶化状態の判定方法をまとめると図８のようになる。
即ち、タンパク質溶液の電子画像を取得して原画像とする（原画像取得ステップ、Ｓ４２）。そして、該原画像の少なくとも一部分について第１の同時生成行列を算出する（原画像行列算出ステップ、Ｓ４４）。さらに、該第１の同時生成行列から第１組の画像統計量を算出する（原画像統計量算出ステップ、Ｓ４６）。
原画像には、微分処理を行なって微分画像が求められる（画像微分ステップ、Ｓ４８）。微分画像の少なくとも一部分について第２の同時生成行列が算出される（微分画像行列算出ステップ、Ｓ５０）。この第２の同時生成行列から第２組の画像統計量が算出される（微分画像統計量算出ステップ、Ｓ５２）。第２組の画像統計量は、タンパク質溶液の電子画像を少なくとも２種に分類するのに用いられる（第１の判定ステップ、Ｓ５４）。第１の判定ステップで分類された結果、前記２種のうちの第１種に属すると判定されたタンパク質溶液の電子画像は、さらに前記第１組の画像統計量を用いて少なくとも２種に分類される（第２の判定ステップ、Ｓ５６）。ここで、第１の判定ステップは、図６においてステップＳ２０として表わされ、第２の判定ステップは、図６においてステップＳ２２として表わされている。この処理は、第１の判定ステップおよび第２の判定ステップに本実施の形態のようにして確立した判定基準を用いてコンピュータの動作により実行される。
【００５６】
【発明の効果】
タンパク質溶液の電子画像の原画像と微分画像を共に用いることにより、タンパク質の溶液における結晶化の状態を良好に判定できる。また、判定ステップを２段階とすることにより、タンパク質溶液の結晶化状態を判定する作業の機械化が容易となり、判定のエラーが低減される。また、透明、沈殿（ｉ）、沈殿（ｉｉ）、沈殿（ｉｉｉ）を適切に分類することが可能となる。判定基準とその順序を適切に構築することにより、判定の際のエラーが低減され、人による判定が良好に再現されて機械化が可能となる。さらに本発明の解析システムに、タンパク質の溶液の結晶化サンプルの自動観察手段を組合わせれば、未知タンパク質の観察とその未知タンパク質の結晶化状態の判定とを連続して自動で行なうタンパク質結晶化状態観察解析システムが構築できる。
【図面の簡単な説明】
【図１】本発明の実施の形態におけるサンプルの構成を示すサンプル容器の断面図である。
【図２】本発明の実施の形態における結晶化状態判定システムの構成サンプルの構成を示す構成図である。
【図３】本発明の実施の形態におけるテクスチャ解析の手法を説明する説明図である。
【図４】本発明の実施の形態におけるテクスチャ解析における微分方法を説明する説明図である。
【図５】本発明の実施の形態における判定基準の確立の方法を示すフローチャートである。
【図６】本発明の実施の形態における判定方法を示すフローチャートである。
【図７】タンパク質溶液の結晶状態の画像による分類を模式的に示す説明図である。
【図８】本発明により提供されるタンパク質溶液の結晶状態の判定方法を表すフローチャートである。
【符号の説明】
１タンパク質溶液
２カバースリップ
３容器
４沈殿材
５滴下ステージ
１００結晶化状態判定システム
１２原画像取得手段
１４原画像行列算出手段
１６撮像装置
２０原画像統計量算出手段
２２画像微分手段
２４微分画像行列算出手段
２６微分画像統計量算出手段
２８判定基準設定手段
３２判定基準格納手段
３４判定手段[0001]
[Technical field to which the invention belongs]
The present invention relates to a method and system for determining a protein crystal state for automating protein crystal formation in a protein solution.
[0002]
[Prior art]
Conventionally, X-ray crystal structure analysis methods have been used to analyze protein crystal structures. In such a structural analysis method, in order to obtain a high-quality crystal of a protein to be a structural analysis target sample, as a preparation for the preparation of a structural analysis sample, a method of generating crystals by evaporating water from a protein solution (aqueous solution) ( Crystallization method) is used. At this time, a screening operation is performed to select whether crystals can be obtained from a protein solution whose structure and properties are unknown.
[0003]
In this conventional screening operation, the crystal state is sequentially examined from the microscope image with the human eye, and the state of crystal generation of the sample is determined. In this determination, it is determined whether the protein solution of the sample remains as a solution, precipitates, microcrystals are obtained, or crystals are obtained. Table 1 shows the criteria used in this screening.
[Table 1]

[0004]
In Table 1, “transparent” means that the protein solution does not produce any crystals. Further, “precipitation” is classified into four. That is, those that are not seen in the grain and are dark or brown (precipitation (i)), those in which a point-like structure is observed and appearing white, with some dots (precipitation (ii)), amorphous-like It is classified into one that may appear transparent in tissue (precipitation (iii)) and one that may show particles in large amorphous-like tissue (precipitation (iv)). Moreover, what has produced | generated the crystal | crystallization is classified into five. That is, crystals with a peak of about 50 μm or less (microcrystals), needle-like crystals (crystal (i)), plate-like crystals (crystal (ii)), overlapping Are observed (crystal (iii)), and good quality crystals are observed (crystal (iv)). For convenience, a score number may be assigned to each classification. However, this score does not necessarily change so as to increase sequentially according to the growth process of the protein crystal. A schematic diagram of images classified in this way is shown in FIG. 7 for each score. Particularly, since the number of samples classified into these in a crystallization experiment of an unknown protein solution is large, it is a very useful means.
[0005]
In the conventional screening work based on human observation, the observer is trained by training and can perform such classification empirically. A trained observer observes the microscopic images obtained for a number of samples and selects them. The classification determined at this time itself is useful information about the sample for X-ray structural analysis, and is an important index for structural analysis and property determination of proteins.
[0006]
The methods for obtaining this crystal can be broadly divided into a method in which a protein solution is dropped on the lower surface of a cover glass to evaporate (hanging drop vapor diffusion method), and a protein solution is placed on an evaporation vessel. An evaporation method (sitting drop vapor diffusion method) is used. In order to obtain microscopic images of a large number of protein solutions, it is effective to automatically record microscopic images, and a sitting drop vapor diffusion method that is easy to mechanize is desirable.
[0007]
In particular, samples of unknown protein solutions are often classified into transparent, precipitate (i), precipitate (ii), and precipitate (iii) shown in Table 1, but samples classified into these still have crystals. It is not efficient that an observer observes all of them because they are not generated.
[0008]
Non-Patent Document 1 describes an example of a conventional texture analysis method.
[0009]
[Non-Patent Document 1]
RM Haralick, K. Shanmugam and I. Dinstein, "Texture features for image classification" IEEE Trans. Syst., Man, Cybern., Vol.SMC-3, no6, pp.610-621, 1973
[0010]
[Problems to be solved by the invention]
In the conventional method for determining the crystallization state of a protein solution, classification by human eyes is indispensable, and the number of samples that can be processed in a screening operation is limited. Also, the classification criteria may be determined differently for each observer, and even the same observer may not be able to make the same determination repeatedly.
In order to determine a large number of samples, mechanization by a sitting drop vapor diffusion method is desirable, but the determination of the crystallization state tends to be difficult compared with a microscope image of the hanging drop vapor diffusion method.
[0011]
An object of the present invention is to mechanize such a conventional method for determining the crystallization state of a protein solution using a texture analysis technique for a microscopic image. In addition, it provides a determination method that can perform good determination even in microscopic images that are mechanized and automatically photographed, and it is possible to determine the crystallization state of a highly efficient and stable protein that can be mechanized from photographing to determination. It is an object of the present invention to provide a method and a system that enable this. Furthermore, it is also an object to establish a method for appropriately classifying the transparency, precipitation (i), precipitation (ii), and precipitation (iii) shown in Table 1.
[0012]
[Means for Solving the Problems]
In the present invention, an original image acquisition step of acquiring an electronic image of a protein solution as an original image, an original image matrix calculation step of calculating a first simultaneous generation matrix for at least a part of the original image, and the first An original image statistic calculating step for calculating a first set of image statistics from the simultaneous generation matrix; an image differentiating step for performing differential processing on the original image to obtain a differential image; and a second step for at least a part of the differential image. A differential image matrix calculation step for calculating a simultaneous generation matrix, a differential image statistic calculation step for calculating a second set of image statistics from the second simultaneous generation matrix, and the second set of image statistics As a result of the classification in the first determination step for classifying the electronic image of the protein solution into at least two types and the first determination step, the electronic image of the protein solution is determined to belong to the first type of the two types. An electronic image of the protein solution further by using the first set of image statistics and a second determination step of classifying the at least two determination methods of the crystallization state of the protein solution is provided.
[0013]
For image analysis, a technique generally called texture analysis can be used. This analysis target includes an original image of the protein solution (an image that has been electronically acquired and preliminarily adjusted for brightness, region extraction, etc., and an image that has not been differentiated) and a derivative that is obtained by differentiating the original image. By using the images together, it is possible to satisfactorily determine the state of crystallization in the unknown protein solution.
Further, by performing the determination in two stages, it becomes easy to mechanize the operation of determining the crystallization state of the protein solution. According to this method, the transparency and precipitation (i) shown in Table 1 can be appropriately classified from others.
[0014]
Further, in the present invention, as a result of the classification in the first determination step, an electronic image of the protein solution classified into a species other than the first species is further obtained using at least the second set of image statistics. There is provided a method further comprising a third determination step for classifying into two types.
According to the third determination step, in addition to the classification of transparency and precipitation (i), precipitation (ii) and precipitation (iii) can be classified from other things.
[0015]
Furthermore, in the present invention, in the above method, the first determination criterion and the second determination criterion used in the first determination step are obtained using an electronic image of a crystal state of a protein determined in advance. A step of establishing by a linear discriminant method based on a second set of image statistics, and a third determination criterion used in the second determination step using an electronic image of the crystal state of the protein determined in advance, The step of establishing by the linear discriminant method based on the first set of image statistics and the fourth determination criterion used in the third determination step using the electronic image of the crystal state of the protein determined in advance. And establishing by a linear discriminant method based on the second set of image statistics. Here, the first determination step classifies the electronic image into three types by using the second set of image statistics according to the first determination criterion and the second determination criterion. In the second determination step, electronic images belonging to the first type of the three types are further classified into two types using the first set of image statistics according to the third determination criterion. The third determination step further classifies the electronic images belonging to any of the species other than the first type into two types using the second set of image statistics according to the fourth determination criterion. It is.
[0016]
If the decision step is constructed so that four appropriately selected criteria are used in an appropriate order, errors in the decision can be reduced, and a good decision that can sufficiently reproduce the decision made by a person does not go through classification by a person. You can do it too.
[0017]
In the present invention, in the above method, a method of classifying an electronic image of a protein solution into any one of a plurality of states constituted by a transparent state, first to fourth precipitation states, a microcrystalline state, and a crystalline state as elements. Is provided. Here, the first determination criterion is that the protein solution is based on any one of the transparent state and the first to third precipitated states, or the fourth precipitated state, the microcrystalline state, and the crystalline state. The second determination criterion is that the protein solution is either a transparent state or a first precipitated state, or the second to second determination criteria. Whether to be in a fourth precipitation state, a microcrystalline state, or a crystalline state is determined. The third criterion is that the protein solution is in a transparent state or the first The fourth determination criterion is to determine whether the protein solution is in the second precipitation state or the third precipitation state. Yes, the first determination step According to the first determination criterion and the second determination criterion, the protein solution is either one of the transparent state and the first precipitation state, or the second to third precipitation state. Or a step of determining which of the fourth precipitation state, the microcrystalline state, and the crystalline state is present, wherein the second determination step is based on the third determination criterion. , A step of determining whether the protein solution in either the transparent state or the first precipitated state is in the transparent state or the first precipitated state, and the third determining step is Based on the fourth determination criterion, it is determined whether the protein solution in any of the second to third precipitation states is in the second precipitation state or the third precipitation state. Step A.
[0018]
In texture analysis, judgment criteria can generally be established based on various images. However, in the present invention, an original image and a differential image are used, and an image type suitable for the feature judged by each criterion is selected. This can be selected. As a result, determination errors are reduced, and good determination mechanization capable of sufficiently reproducing human determination is possible.
[0019]
The present invention further provides a crystallization state determination system for determining a crystallization state in a protein solution by analyzing an image observed for the protein solution. The system includes an original image acquisition unit that acquires an electronic image of a protein solution to obtain an original image, an original image matrix calculation unit that calculates a first simultaneous generation matrix for at least a part of the original image, and the first image generation unit. An original image statistic calculating means for calculating a first set of image statistics from the simultaneous generation matrix; an image differentiating means for performing differential processing on the original image to obtain a differential image; and at least a part of the differential image. Using the differential image matrix calculation means for calculating the simultaneous generation matrix, the differential image statistic calculation means for calculating the second set of image statistics from the second simultaneous generation matrix, and the second set of image statistics A first determination unit that classifies electronic images of the protein solution into at least two types, and a result of the classification by the first determination unit, as a result of the determination of the protein solution belonging to the first type of the two types Electronic image Configured to include a second judging means for classifying the at least two with the first set of image statistics to al.
[0020]
The analysis system of the present invention can determine the crystallization state of a sample for determining crystallization of a protein solution using an electronic image. As a result, it is possible to mechanize the determination work of the crystallization state that has been conventionally dependent on the observer.
Furthermore, if the analysis system of the present invention is combined with an automatic observation means for a crystallized sample of a protein solution, the protein crystallization state in which the unknown protein is observed and the crystallization state of the unknown protein is automatically and continuously detected. An observation analysis system can be constructed.
[0021]
DETAILED DESCRIPTION OF THE INVENTION
The present invention is implemented using a computer device. An appropriate image input means is connected to this computer. The image input means acquires an electronic image by an imaging device such as a CCD (Charge Coupled Device) provided in the microscope, an A / D converter, an appropriate memory, etc., and inputs it to a computer. Further, the computer is provided with ordinary devices such as an arithmetic device, a storage device, a display device, and a communication device. Each step or each means of the present invention is processed as a functional block implemented in the arithmetic unit, thereby realizing a function. For example, the determination step and the determination means are realized as a function of performing a determination by a storage operation and an arithmetic processing operation constituted by a register or a memory that requires a program read from the storage device in the arithmetic device. The present invention provides a method and means for determining the crystallization state of a protein solution using such a computer and using image processing and image classification.
[0022]
Embodiments of the present invention will be described below with reference to the drawings.
FIG. 1 is a cross-sectional view showing a prepared state of a sample manufactured for crystallizing (depositing) a protein in a solution to be observed in the present invention. The observation object of the present invention is an observation image of an optical microscope that observes the protein solution 1. The protein solution 1 is a solution containing moisture. The protein solution 1 is prepared by being dropped onto a dropping stage 5 disposed in the container 3. The opening of the container 3 is covered with the cover slip 2, and the contact portion between the container 3 and the cover slip 2 is sealed, so that airtightness is maintained thereafter. A precipitating material 4 is disposed in the container 3 in advance and absorbs moisture in the container.
[0023]
In such a sample, the water content in the solution decreases over a period of several days to several years, and when the saturation solubility of the protein is reached, protein crystals may gradually grow. Depending on the type of protein, no crystal may be formed or precipitation may occur.
[0024]
FIG. 2 is a configuration diagram illustrating the configuration of the crystallization state determination system 100 of the present embodiment. The system includes an original image acquisition unit 12, an original image matrix calculation unit 14, an original image statistic calculation unit 20, an image differentiation unit 22, a differential image matrix calculation unit 24, a differential image statistic calculation unit 26, and a determination criterion setting unit. 28, determination criterion storage means 32 and determination means 34 are provided. Although not shown, the determination unit 34 may include first to third determination units. Further, in this system, in order to establish a determination criterion, electronic image data 18 from an external imaging device 16 is acquired for a protein image in which the crystallization state is classified in advance, and the crystal state data 30 is obtained. You may acquire. This system acquires electronic image data 18 from an imaging device 16 external to an unknown protein solution image, determines the crystallization state of the unknown protein solution, and outputs the crystal state data 36. .
[0025]
The original image acquisition means 12 acquires electronic image data 18 photographed and digitized by, for example, the imaging device 16 provided in the microscope, and adjusts the electronic image to obtain the original image data 122. The adjustment is a general process such as a process of adjusting the brightness of the digitized data to an appropriate range, reducing a gradation within a range sufficient for calculation, and cutting out a necessary area.
[0026]
The original image matrix calculating unit 14 scans each pixel of at least a part of the adjusted original image data 122 and calculates a first simultaneous generation matrix 142 based on the original image data 122.
[0027]
Here, the simultaneous generation matrix has, as an element, the probability that the density at a point separated by a certain displacement δ = (r, θ) (see FIG. 3a) from the point of image density (pixel value) i is j. It is a matrix like this. For example, for an image as shown in FIG. 3b, a simultaneous generation matrix such as the following equation is calculated for each (r, θ).
[Expression 1]

Here, the pixels in the range to be processed are scanned and added to the matrix elements of the simultaneous generation matrix.
[0028]
The element appearing in each matrix represents the appearance frequency of the pixel for each combination of (r, θ) and (i, j). Normalization processing is performed to convert the appearance frequency of this pixel into a probability. The matrix element of the simultaneous generation matrix having this probability as an element is hereinafter referred to as E (i, j). In addition, although this element is calculated for every (r, θ), the description is omitted. The original image matrix calculation means 14 has a function of obtaining such a probability, and calculates a frequency using an appropriate memory, and a function of normalizing the frequency and outputting a simultaneous generation matrix having the probability as an element. Have.
[0029]
Based on the simultaneous generation matrix E (i, j) determined in this way, the original image statistic calculation means 20 calculates a first set of image statistic 202. This set of image statistics is expressed by the following equation.
[Expression 2]

Here, the following relational expressions are used for the calculation of each image statistic.
[Equation 3]

Note that these image statistics are introduced by Non-Patent Document 1 in the same manner as described above.
[0030]
The image differentiation means 22 performs a differentiation process on the original image 122 output from the original image acquisition means 12. In this embodiment, a Sobel filter (horizontal differential filter: see FIG. 4a, vertical differential filter: see FIG. 4b) known as a primary differential filter is applied to the differential processing. At this time, in FIG. 4, the process of adding the surrounding pixels in consideration of the weights shown in the drawing to the central pixel as the target pixel is performed by sequentially scanning the target pixel. Thereby, the differential image 222 is obtained by the image differential means 22.
[0031]
The differential image matrix calculation unit 24 calculates the second simultaneous generation matrix 242 based on the differential image 222 by the same process as the process performed on the original image 122 by the original image matrix calculation unit 14. Further, the differential image statistic calculating unit 26 calculates the second set of image statistic 262 from the second simultaneous generation matrix 242 by the same processing as the original image statistic calculating unit 20.
[0032]
The criterion setting means 28 accepts the crystal state data 30 as to which of the crystal states in Table 1 the original image 122 has. This crystal state data 30 is data indicating which of 10 levels of scores 0 to 9 in Table 1. In addition, the determination criterion setting unit 28 receives the first set of image statistics 202 and the second set of image statistics 262.
[0033]
The determination criterion setting means 28 establishes four types of determination criteria from these received data by a linear discrimination method. The linear discriminant method is a method for identifying to which group (class) a statistical sample belongs from several characteristics of the statistical sample. At this time, as the statistical sample, the crystal state data 30 is used, and the space (characteristic space) in which the identification is performed is the 14-dimensional space of the first image statistic based on the original image that does not use differentiation, or A 14-dimensional space of second image statistics based on the differential image is selected.
[0034]
The determination criterion is expressed as a function called a linear discriminant function, and is a criterion for classifying a determination target into two by one linear discriminant function. This linear discriminant function is determined as a hyperplane in the 14-dimensional space (a surface having a 13-dimensional degree of freedom that partitions the 14-dimensional space into two half-spaces). That is, the linear discriminant function can be classified according to data dispersed in the 14-dimensional space (each of which is information on the crystal state of the protein determined in advance, the first image statistic or the second image It is defined as the hyperplane when dividing the statistical data into coordinate values.
[0035]
The index for determining the linear discriminant function is to intuitively determine a hyperplane (linear discriminant function) that is a partitioning method that separates the data classified in advance as much as possible. Specifically, the inner product of data u = (u1,..., U14) T having the first image statistic or the second set of image statistics as an element and a coefficient matrix (coefficient vector) A is taken. Thus, the scalar quantity z is calculated (formula (15)). Here, the coefficient matrix A includes unknown parameters to be fitted later as elements. In addition, a large number of data u are used as the data u, each of which has a crystal state determined in advance and crystal state data 30 is obtained, and a plurality of data for calculating the first image statistic and the second image statistic. It is data of.
[Expression 4]

[0036]
Next, an intra-class covariance matrix ΣZ and an inter-class covariance matrix ΣB are obtained by equations (16) and (17).
[Equation 5]

Here, P (ωi) is a prior probability of each class ωi of the two classifications, Σi is a covariance matrix of class ωi, mi is a simple average of feature data (14-dimensional coordinate values) of class ωi. The generated vector, m, represents the same average vector in all patterns.
[0037]
Corresponding to the transformation of the data u with the coefficient matrix A, the variances Σ to Z and Σ to B within and between classes of the scalar quantity z are obtained.
[Formula 6]

become that way. Using this, the evaluation function JΣ (A) is defined as in Expression (20).
[Expression 7]

This evaluation function represents the degree of separation between classes to be classified. Therefore, the optimum coefficient matrix A gives the maximum value of the evaluation function JΣ.
[0038]
In order to calculate A that gives the maximum value of the evaluation function JΣ, an eigenvector that gives the maximum eigenvalue of the matrix given by equation (21) may be obtained.
[Equation 8]

[0039]
The optimum A obtained in this way gives the hyperplane normal vector of the discriminant function defined in equation (22).
[Equation 9]

Note that u0 in Expression 22 is determined so that g (m) = 0 holds when m is substituted into the 14-element vector u.
[0040]
The determination criterion setting unit 28 executes the processing as described above. For this purpose, the determination criterion setting means 28 is provided with means (not shown) for appropriately performing matrix operations. Specifically, it has a calculation function capable of processing inner product calculation (Equations 15 and 17, etc.), product-sum operation (Equations 16 and 17), and eigenvalue calculation (eigenvalue calculation and eigenvector determination). In the description of the above formulas, the order of formula transformation is described. However, the determination criterion setting unit 28 does not need to perform special calculations for the formulas 18 to 20.
[0041]
Specific processing of the determination criterion setting unit 28 as a function of the crystallization state determination system 100 of the present embodiment will be described with reference to FIG. The criterion setting means 28 first inputs the crystal state data 30 (FIG. 5, S2) for the observation image (the teaching observation image) whose crystal state has been determined in advance, and the first calculated for the image. The input of the set of image statistics and the second set of image statistics is accepted (S4). Next, a determination criterion to be established is selected (S6). Since the set of image statistics used for processing depends on the determination criterion, the determination criterion to be established is selected, and each image is classified based on the crystal state data determined in advance (S8). This classification includes two classifications each having the classification shown in Table 1 as an element, each configured by a combination of the elements. This classification is determined by the determination criteria to be established at that time, as will be described below.
[0042]
In this embodiment, determination criteria g1 to g4 are established and used for determination. g1 determines whether the protein solution is in a state consisting of a transparent state and first to third precipitation states, or a state consisting of a fourth precipitation state, a microcrystalline state, and a crystalline state. (First criterion). g2 determines whether the protein solution is in a state consisting of a transparent state and a first precipitation state, or a state consisting of a second to fourth precipitation state, a microcrystalline state and a crystalline state. (Second criterion). g3 determines whether the protein solution is in a transparent state or in a first precipitation state (third determination criterion). g4 determines whether the protein solution is in the second precipitation state or the third precipitation state (fourth criterion). Note that each criterion determines the coefficient of the polynomial in Equation 22, and calculates the value of the polynomial for each criterion based on the image statistics (14 statistics) u for the image to be determined. Classification is done by As to how to determine the positive / negative of the determination criteria g1 to g4, the eigenvector of the maximum eigenvalue described above can be arbitrarily determined by utilizing the arbitrary property that becomes the eigenvector of the same eigenvalue even if it is inverted. In the present embodiment, the classification on the side with the smaller score in Table 1 is determined so that the evaluation value of the polynomial of each criterion is positive.
[0043]
For example, in the determination based on the determination criterion g1, a state (first state) composed of a transparent state and a first precipitation state, a state composed of second to fourth precipitation states, a microcrystalline state, and a crystalline state (first state) This corresponds to the classification of the state (2). In this way, classification is performed in different ways depending on each criterion.
[0044]
Then, using the classification classified in accordance with the determination criterion in step S8, the intra-class covariance matrix and the inter-class covariance matrix are calculated according to equations 16 and 17 (S10). Then, the matrix of Expression 21 is calculated (S12), and the eigenvector corresponding to the maximum eigenvalue of the matrix is calculated (S14). For this calculation, any calculation method for numerically calculating eigenvalues and eigenvectors of a matrix can be used. When the eigenvector is obtained, a polynomial (equation 22) using the eigenvector as a coefficient substitutes m (m is an average vector of feature data in all patterns) for the vector u so that g (m) = 0 holds. Then, u0 is determined (S16).
[0045]
Thereby, all the coefficients of Formula 22 are calculated, and the criterion is established.
By repeating this process for all the determination criteria g1 to g4 (S18), all the determination criteria are established. Note that g3 and g4 are used only for determination after being already classified by g1 and g2, so that the classification in accordance with the determination criteria in step S8 can be performed for those classified by established g1 and established g2. Good. As described above, the determination criterion setting means 28 establishes the determination criterion.
[0046]
The determination criterion setting means 28 stores the determination criteria g 1 to g 4 in the determination criterion storage means 32. The classifications A to E based on the calculation shown in the rightmost column of Table 1 are classified based on the determination criteria g1 to g4. Also, those that do not fall into any classification are classified as F.
[0047]
In the present embodiment, the determination criteria g1 to g4 are established using images that are actually classified into scores 0 to 9. The images used for establishing the determination criteria are about 20 to 60 images classified in advance by a skilled observer for each of the scores 0 to 9.
[0048]
Next, a method for determining a sample of an unknown protein solution by the system 100 of the present embodiment will be described. In this determination, the determination unit 34 reads the determination criteria g1 to g4 from the determination criterion storage unit 32.
[0049]
For the unknown protein solution, a sample is prepared as shown in FIG. Then, an observation image is acquired as an optical image, and the same means (original image acquisition means, original image matrix calculation means, original image statistic calculation means, image differentiation means, differential image matrix calculation means, The same processing is performed by the differential image statistic calculation means). This provides a first set of image statistics and a second set of image statistics for the sample of unknown protein solution.
[0050]
Since the first set of image statistics and the second set of image statistics are each a vector composed of 14-dimensional numerical data, the four types of determination criteria g1 to g4 established by the determination criterion setting means 28 are included in these. Apply to determine. That is, the determination is performed by substituting the image statistic vector obtained from the unknown protein solution into the polynomial indicating the determination criterion, and evaluating the value. The determination result data 36 is output from the determination criterion setting means 28 and displayed on an appropriate display means or stored in a storage means.
[0051]
Next, specific steps for applying the first to fourth determination criteria (g1 to g4) will be described with reference to FIG.
The determination means first makes a determination using the first determination criterion g1 and the second determination criterion g2 (S20 in FIG. 6). Here, the fact that g1 is positive corresponds to the state consisting of the transparent state and the first to third precipitation states, and that g1 is negative means that the fourth precipitation state and the microcrystalline state. This corresponds to a state consisting of a crystalline state. Similarly, the positive and negative values of g2 are in a state consisting of a transparent state and a first precipitation state, and are in a state consisting of second to fourth precipitation states, a microcrystalline state and a crystalline state, respectively. Corresponding to Therefore, when both g1 and g2 are positive, the unknown protein solution is in a state consisting of a transparent state and a first precipitation state (FIG. 6, branch 202; Table 1, A or B). When g1 is positive and g2 is negative, it is in a state consisting of the second to third precipitation states (branch 204; Table 1, C or D), and when g1 and g2 are both negative, 4 is a state consisting of a precipitation state, a microcrystalline state, and a crystalline state (branch 206; Table 1, E). It should be noted that for the combination of g1 negative and g2 positive in the judgment criteria, an image showing the actual crystallization state of the protein solution is hardly like this. In this case, processing not shown as an error is performed. It is classified as F in Table 1.
[0052]
Next, when it is determined that the image is in a transparent state and a first precipitation state (branch 202; Table 1, A or B), a determination is made using the third determination criterion g3 (S22). The sign of g3 corresponds to whether the unknown protein solution is in a clear state (branch 222; Table 1, A) or a first precipitation state (branch 224; Table 1, B), respectively.
[0053]
If the image is determined to be in the state of the second to third precipitation states (branch 204; Table 1, C or D), determination is performed using the fourth determination criterion g4 (S24). The sign of g4 indicates whether the unknown protein solution is in the second precipitation state (branch 242; Table 1, C) or the third precipitation state (branch 244; Table 1, D), respectively. Correspond.
As described above, after it is determined which of A to E in Table 1, the result is stored in the variable X holding the determination result according to each determination result (S26a to S26e). Then, the determination result is output (S28).
[0054]
Table 2 shows the result of each classification of the image of the unknown protein obtained in the present embodiment. Each row of the table is a crystallization state in which the same image is classified by a person, and each column is a classification obtained by processing by the system of the present embodiment. Each data is the actual number of images that apply to human classification and calculation classification. The “result” column indicates the ratio at which images classified by people are appropriately classified by calculation.
[Table 2]

Thus, among the classifications classified by humans, transparent (Table 1, A), precipitation (i) (B), precipitation (ii) (C), precipitation (iii) (D), And from the remaining classification (E).
[0055]
From the configuration of the present embodiment, the determination method of the crystallization state of the protein solution provided by the present invention is summarized as shown in FIG.
That is, an electronic image of the protein solution is acquired and used as an original image (original image acquisition step, S42). Then, a first simultaneous generation matrix is calculated for at least a part of the original image (original image matrix calculation step, S44). Further, a first set of image statistics is calculated from the first simultaneous generation matrix (original image statistics calculation step, S46).
The original image is subjected to differentiation processing to obtain a differential image (image differentiation step, S48). A second simultaneous generation matrix is calculated for at least a part of the differential image (differential image matrix calculation step, S50). A second set of image statistics is calculated from the second simultaneous generation matrix (differential image statistics calculation step, S52). The second set of image statistics is used to classify the electronic images of the protein solution into at least two types (first determination step, S54). As a result of the classification in the first determination step, the electronic images of the protein solutions determined to belong to the first type of the two types are further classified into at least two types using the first set of image statistics. (Second determination step, S56). Here, the first determination step is represented as step S20 in FIG. 6, and the second determination step is represented as step S22 in FIG. This process is executed by the operation of the computer using the determination criteria established as in the present embodiment in the first determination step and the second determination step.
[0056]
【The invention's effect】
By using both the original image and the differential image of the electronic image of the protein solution, the state of crystallization in the protein solution can be determined well. In addition, by making the determination step two steps, mechanization of the operation for determining the crystallization state of the protein solution is facilitated, and determination errors are reduced. Moreover, it becomes possible to appropriately classify transparency, precipitation (i), precipitation (ii), and precipitation (iii). By appropriately constructing the determination criteria and their order, errors in the determination are reduced, and the determination by humans is reproduced well and mechanization is possible. Furthermore, if the analysis system of the present invention is combined with an automatic observation means for a crystallized sample of a protein solution, the protein crystallization state in which the unknown protein is observed and the crystallization state of the unknown protein is automatically and continuously detected. An observation analysis system can be constructed.
[Brief description of the drawings]
FIG. 1 is a cross-sectional view of a sample container showing a configuration of a sample according to an embodiment of the present invention.
FIG. 2 is a configuration diagram showing a configuration of a configuration sample of a crystallization state determination system according to an embodiment of the present invention.
FIG. 3 is an explanatory diagram illustrating a texture analysis technique according to the embodiment of the present invention.
FIG. 4 is an explanatory diagram for explaining a differentiation method in texture analysis according to the embodiment of the present invention.
FIG. 5 is a flowchart showing a method for establishing a criterion in the embodiment of the present invention.
FIG. 6 is a flowchart showing a determination method according to the embodiment of the present invention.
FIG. 7 is an explanatory view schematically showing classification by an image of a crystal state of a protein solution.
FIG. 8 is a flowchart showing a method for determining the crystal state of a protein solution provided by the present invention.
[Explanation of symbols]
1 Protein solution
2 Cover slip
3 containers
4 Precipitating material
5 Dripping stage
100 Crystallization state judgment system
12 Original image acquisition means
14 Original image matrix calculation means
16 Imaging device
20 Original image statistics calculation means
22 Image differentiation means
24 Differential image matrix calculation means
26 Differential image statistic calculation means
28 Criteria setting means
32 Criteria storage means
34 judgment means

Claims

An original image acquisition step of acquiring an electronic image of the protein solution and using it as an original image;
An original image matrix calculating step of calculating a first simultaneous generation matrix for at least a part of the original image;
An original image statistic calculating step of calculating a first set of image statistic from the first simultaneous generation matrix;
An image differentiation step of performing a differentiation process on the original image to obtain a differential image;
A differential image matrix calculating step of calculating a second simultaneous generation matrix for at least a part of the differential image;
A differential image statistic calculating step of calculating a second set of image statistics from the second simultaneous generation matrix;
A first determination step for classifying electronic images of protein solutions into at least two types using the second set of image statistics;
As a result of the classification in the first determination step, an electronic image of the protein solution determined to belong to the first type of the two types is further classified into at least two types using the first set of image statistics. A method for determining the crystallization state of a protein solution, comprising: a second determination step.

As a result of the classification in the first determination step, the electronic image of the protein solution classified into the species other than the first type is further classified into at least two types using the second set of image statistics. The method according to claim 1, further comprising:

Using the electronic image of the crystal state of the protein determined in advance, the first determination criterion and the second determination criterion used in the first determination step are linearly determined based on the second set of image statistics. Steps established by law;
Establishing a third criterion used in the second determination step by the linear discrimination method based on the first set of image statistics using the electronic image of the crystal state of the protein determined in advance. ,
Establishing a fourth criterion used in the third determination step by a linear discrimination method based on the second set of image statistics, using the electronic image of the crystal state of the protein determined in advance. Further including
In the first determination step, the electronic image is classified into three types using the second set of image statistics, based on the first determination criterion and the second determination criterion.
In the second determination step, electronic images belonging to the first type of the three types are further classified into two types using the first set of image statistics according to the third determination criterion. ,
In the third determination step, electronic images belonging to any species other than the first type are further classified into two types by using the second set of image statistics according to the fourth determination criterion. The method of claim 2, wherein:

The method according to claim 3, wherein the electronic image of the protein solution is classified into any one of a transparent state, first to fourth precipitation states, a microcrystalline state, and a plurality of states having the crystalline state as an element. Because
The first determination criterion is that the protein solution is one of a transparent state and a state of first to third precipitation states, or a state of a fourth precipitation state, a microcrystalline state, and a crystalline state. To determine which one of them,
The second determination criterion is that the protein solution is in a state consisting of a transparent state and a first precipitation state, or a state consisting of a second to fourth precipitation state, a microcrystalline state, and a crystalline state. To determine which one of them,
The third determination criterion is to determine whether the protein solution is in a transparent state or a first precipitation state,
The fourth criterion is to determine whether the protein solution is in the second precipitation state or the third precipitation state,
In the first determination step, according to the first determination criterion and the second determination criterion, the protein solution is either a transparent state or a first precipitation state, or second to third precipitations. Determining whether one of the states consisting of the state or any of the state consisting of the fourth precipitation state, the microcrystalline state, and the crystalline state,
In the second determination step, the protein solution in either the transparent state or the first precipitation state is in the transparent state or the first precipitation state according to the third determination criterion. Is a step of determining whether
In the third determination step, the protein solution in any one of the second to third precipitation states is in the second precipitation state or the third precipitation state according to the fourth determination criterion. A method, which is a step of determining where it is.

An original image acquisition means for acquiring an electronic image of a protein solution and using it as an original image;
Original image matrix calculation means for calculating a first simultaneous generation matrix for at least a part of the original image;
Original image statistic calculating means for calculating a first set of image statistics from the first simultaneous generation matrix;
Image differentiation means for performing a differentiation process on the original image to obtain a differential image;
Differential image matrix calculation means for calculating a second simultaneous generation matrix for at least a part of the differential image;
Differential image statistic calculation means for calculating a second set of image statistics from the second simultaneous generation matrix;
First determination means for classifying electronic images of protein solutions into at least two types using the second set of image statistics;
As a result of the classification by the first determination means, the electronic image of the protein solution determined to belong to the first type of the two types is further classified into at least two types using the first set of image statistics A determination system for determining the crystallization state of the protein solution.

As a result of the classification by the first determination means, the electronic image of the protein solution classified into the species other than the first type is further classified into at least two types using the second set of image statistics. The system according to claim 5, further comprising:

A judgment criterion setting means;
The determination criterion setting means includes:
Using the electronic image of the crystal state of the protein determined in advance, the first determination criterion and the second determination criterion used in the first determination means are linearly determined based on the second set of image statistics. Established by law,
Using the electronic image of the crystal state of the protein determined in advance, a third criterion used in the second determining means is established by a linear discriminant method based on the first set of image statistics,
Using the electronic image of the crystal state of the protein determined in advance, a fourth determination criterion used in the third determination unit is established by a linear determination method based on the second set of image statistics. Yes,
The first determination means classifies electronic images into three types using the second set of image statistics, based on the first determination criterion and the second determination criterion.
The second determination means further classifies the electronic images belonging to the first type out of the three types into two types by using the first set of image statistics according to the third determination criterion. ,
The third determination means further classifies electronic images belonging to any species other than the first type into two types by using the second set of image statistics according to the fourth determination criterion. The system of claim 6, wherein:

The system according to claim 7, wherein the electronic image of the protein solution is classified into any one of a plurality of states constituted by a transparent state, first to fourth precipitation states, a microcrystalline state, and a crystalline state. Because
The first determination criterion is that the protein solution is one of a transparent state and a state of first to third precipitation states, or a state of a fourth precipitation state, a microcrystalline state, and a crystalline state. To determine which one of them,
The second determination criterion is that the protein solution is in a state consisting of a transparent state and a first precipitation state, or a state consisting of a second to fourth precipitation state, a microcrystalline state, and a crystalline state. To determine which one of them,
The third determination criterion is to determine whether the protein solution is in a transparent state or a first precipitation state,
The fourth criterion is to determine whether the protein solution is in the second precipitation state or the third precipitation state,
According to the first determination criterion and the second determination criterion, the first determination means may be one of a state in which the protein solution has a transparent state and a first precipitation state. One of the states consisting of the state, or one of the state consisting of the fourth precipitation state, the microcrystalline state and the crystalline state,
According to the third determination criterion, the second determination means has the protein solution in either the transparent state or the first precipitated state in either the transparent state or the first precipitated state according to the third determination criterion. Is to determine whether
According to the fourth determination criterion, the third determination unit is configured such that the protein solution in any of the second to third precipitation states is in the second precipitation state or the third precipitation state. A system that determines where it is.