JP6479676B2 - 流体サンプル中の粒子の分類のためのシステム及び方法 - Google Patents

Description

本発明は、液体サンプル中の粒子の分類に適した粒子分類器システム、人工知能処理システムを有する粒子分類器システムを訓練する方法、目標粒子の存在に関して検査液体サンプルを分析する方法、及び液体サンプル中の粒子の分類のための方法に関する。上記粒子分類器システム及び方法は、水、血液、尿、乳汁及び同様の流体等の流体中の粒子の自動的分類に利用することができる。

米国特許出願公開第2006/0249082号において、Holmertz他は、乳汁中の体細胞及び脂肪滴を計数する方法及び装置を開示している。該装置は、チューブ内をカメラを越えて流れる生の乳汁の画像を取得する。該画像は、脂肪滴、体細胞及び該乳汁の他の部分の粒子を含む。これら粒子は、高空間分解能で焦点を合わせて撮像され、該画像の取得後、デジタル的に、好ましくはニューラルネットワークを使用することにより処理される。当該装置からの出力は脂肪滴のカウント又は体細胞のカウントであり、該カウントから濃度が測定チェンバの寸法に関する推定値を用いて計算される。該装置は濃度の十分に高い精度を得るには多数の（数千の）画像を必要とする。

１９９８年の米国特許第5,715,182号において、Asai他は流体内の粒子の分類及び検査のための装置を開示している。提示された装置では、尿等の流体がフローセル内を、カメラを越えて流れ下り、カメラは焦点の合った尿の画像を取得する。一時には１つの粒子のみが撮像され、取得の後において、ユニットが、焦点が合わされて撮像された粒子の特徴を抽出する。次いで、該特徴は、当該粒子の間の区別するように訓練されたニューラルネットワークに供給される。

上述した従来の分類装置において、流体内の粒子はカメラを一度に１つが通過しなければならない。このことは、結果的な分類の合理的に良好な統計のためには、多くの画像が取得されねばならないので、非常に時間が掛かる。更に、各粒子に関して１つのみの画像（焦点の合った）が取得されるが、幾つかの異なる粒子が非常に等しく見え得るので、これら粒子を正確に分類することが困難となり得る。

２００８年のRamm他による米国特許第7,469,056号は、創薬において自動細胞選別を実行するシステムを開示しており、該システムは自動化顕微鏡、高速焦点装置及びデジタル撮像システムを含んでいる。処理はソフトウェアで実施され、該処理により関連する細胞物質は最小限のユーザ対話により区分化され、定量化される。

Lindberg他による国際特許出願公開第2009/091318号は、液体サンプル中の粒子の分析のための方法及び装置を開示している。開示された該装置は、粒子を含む液体サンプルから多数の画像を取得するのに適している。開示された該方法は、最良に焦点の合った粒子の画像を識別するステップと、該粒子に関する該最良合焦状態の画像を、粒子のタイプを識別するために使用するステップとを有している。

本発明の目的は、液体サンプル中の粒子の分類に適した粒子分類器システム及び液体サンプル中の粒子の分類のための方法であって、簡単で且つ信頼のおけるシステム及び方法を提供することであり、上記粒子分類器システムは高速且つ簡単な方法で訓練することができるようにする。

本発明の他の目的は、人工知能処理システムを有する粒子分類器システムを訓練する方法であって、相対的に高速で簡単な方法を提供することである。

更なる目的は、目標粒子の存在に関して検査液体サンプルを分析する方法であって、信頼性があり且つ高速な方法を提供することである。

上記及び他の目的は、請求項に記載され本明細書で後述される本発明により達成される。

本発明及び本発明の実施態様は、後述する説明から当業者により明らかとなる多数の付加的な利点を有することが分かっている。

本発明による液体サンプル中の粒子の分類に適した粒子分類器システムは、
− 光軸を持つ少なくとも１つの画像収集装置を有し、該画像収集装置が前記光軸に垂直な画像取得領域の画像を収集するように構成された光学検出アセンブリと、
− 液状のサンプルを保持するのに適した少なくとも１つのサンプル容器を有するサンプル装置と、
− 前記サンプル容器の少なくとも一部を介して前記画像取得領域を平行移動させるように構成された平行移動装置と、
− 複数の画像取得領域の画像を収集するために前記光学検出アセンブリ及び前記平行移動装置を制御する制御システムと、
− 前記収集された画像を、
・前記収集された画像により捕捉された個々の粒子のオブジェクト（副画像）を生成するステップと、
・個々の粒子のオブジェクトのスタックを生成するステップと、
・完全なオブジェクトのスタックを識別するステップであって、該完全なオブジェクトのスタックが、
＊前記粒子が合焦状態である少なくとも１つのオブジェクト、及び
＊前記粒子が非合焦状態（焦点外れ状態）である少なくとも２つのオブジェクト、を有するステップと、
・前記完全なオブジェクトのスタックの各々に対して、少なくともＮ個の特徴からなる一群の特徴に関する一群の値を決定するステップであって、Ｎは１以上であり、前記一群の特徴の前記値の決定が、前記粒子が合焦状態である前記少なくとも１つのオブジェクトから得られたデータ及び／又は前記粒子が焦点外れ状態である前記少なくとも２つのオブジェクトから得られたデータを含むステップと、
を有する方法により解析するようプログラムされた画像解析処理システムと、
− 個々の粒子に対する前記決定された一群のフィーチャに関する前記一群の値を、１つの粒子分類に関連付けるようプログラムされた人工知能処理システムと、
を有する。

“液体サンプル”及び“流体サンプル”なる用語は、入れ換え可能に使用されている。

“副画像”は取得された画像の或る部分（区画）である一方、“オブジェクト”なる用語は更なる目的のために選択された副画像を指す。有利には、オブジェクトは単一の粒子の画像を含む副画像であり、好ましくは、該オブジェクトは単一の粒子を含むという予備テストを合格したものとする。

一実施態様において、結果の改善のために、副画像は単一の粒子を有する場合にオブジェクトであると承認される。

一実施態様において、１以上のオブジェクトは、当該オブジェクトの一部がぼけている、当該オブジェクトが完全には示されていない、及び／又は幾つかの粒子が塊になっている等の、エラーを有する副画像の形態のエラーを伴うオブジェクトにより提供される。このようなエラーを伴う１以上のオブジェクトは、好ましくは、単一の粒子の十分な数の承認されたオブジェクトが利用可能な場合にのみ使用されるものとする。

オブジェクトの“スタック（堆積群）”は、同一の粒子のオブジェクトの集まりである。１つのスタックは、通常、１つの焦点の合った（合焦状態の）オブジェクト及び複数の焦点の外れたオブジェクトを有する。一実施態様において、オブジェクトのスタックは、単一の粒子の複数の承認されたオブジェクトを有する。有利には、当該スタックにおける全てのオブジェクトは、単一の粒子の承認されたオブジェクトの形態である。しかしながら、一実施態様において、オブジェクトのスタックは単一の粒子の複数の承認されたオブジェクト及びエラーを伴う１以上のオブジェクトを有する。

“特徴（フィーチャ）”は、スタックに関する寸法、外周、色等の特性である。特徴値は、所与の特徴に関して決定される（例えば、計算される）値であり、有利には数（１７、９又は０.２３等）の形態である。一実施態様において、特徴の値はコード（例えば、カラーコード）の形態である。全ての特徴は、粒子の収集された画像から決定されるべきであり、有利にはオブジェクトから決定される。特徴の抽出及び／又は特徴値の決定は、有利には、データマイニングにより得られる。

一実施態様において、寸法又は形状等の複数の特徴のタイプが予め選択される。前記光学検出アセンブリ、サンプル装置、平行移動装置及び制御システムは、個々に又は組み合わせで、例えば国際特許出願公開第2010/063293号、米国特許出願公開第2011/0261164号、ヨーロッパ特許出願公開第EP2031428号及び米国特許出願公開第2009/0295963号等に記載されている従来技術から既知のものであり得る。これらのエレメントは、当業技術において良く知られている。これらの構成部品の組み合わせでの要件は、これらが、液体サンプルを保持することができると共に、固定された液体サンプル内の複数の画像取得領域の画像を収集するように構成されるということである。好ましい例を、以下に説明する。

一実施態様において、当該画像収集装置はサンプル容器内の液体の少なくとも一部を介して走査するように構成された走査カメラであり、該画像収集装置は、好ましくは、サンプル容器内の液体の少なくとも一部を介して当該光軸とは異なる走査方向に走査するよう構成される。

前記サンプル装置は、有利には、複数の同一の又は異なるサンプル容器を有する。

前記平行移動装置は、有利には、前記画像取得領域を、取得される各画像の間のステップ長で平行移動させるように構成される。該ステップ長は、好ましくは、予め選択されたステップ長とする。該ステップ長は、オブジェクトのスタックにおけるオブジェクトの間の距離を決定する場合に利用される。

一実施態様において、該平行移動装置はサンプル装置及び光学検出アセンブリを相対的に移動させ、これにより、画像取得領域をサンプル容器の少なくとも一部を介して平行移動させるように構成される。

前記画像解析処理システムは、前記収集された画像を解析するようにプログラムされる。該画像解析処理システム（解析装置とも称する）は、有利には、収集された画像が記憶されるメモリを有する。有利には、収集された画像の位置に関するデータも記憶され、オブジェクト及びオプションとして他の副画像の位置に関するデータ（当該オブジェクトと共に、例えばオリジナル画像（即ち、取得された画像）における当該副画像の位置と一緒に記憶されるべき）を取り出すことができるようにする。寸法及び他の関連するデータは、例えば、当該副画像におけるメタデータとして記憶することができる。

収集された画像により捕捉された個々の粒子のオブジェクトは、単一の粒子のみを含むと思われる画像領域を識別することにより得られる。該領域分割（セグメント化）は、有利には、デジタル画像を複数のセグメント（スーパーピクセルとしても知られている、ピクセルの群）に分割する処理を有する。領域分割の目標は、画像の表現を、解析することが一層有意及び容易である何かに簡素化及び／又は変化させることである。画像領域分割は、典型的には、画像内のオブジェクト及び境界（線、曲線等）を突き止めるために使用される。一実施態様において、当該画像領域分割処理は、画像内の全ピクセルにラベルを、同一のラベルを持つピクセルが特定の視覚的特徴を共有するように、割り付ける処理を有する。

有利には、前記取得された画像は、先ず、劣った光レベルの領域、当該サンプル容器外の品目が当該画像を不明瞭にしている可能性のある領域、当該画像取得の間における流れの兆しを持つ領域等の不良領域を探すために走査される。これらの領域は、次いで、当該処理の残部から破棄される。続いて、当該取得された画像の残部において粒子の領域分割が実行される。

当該領域分割処理は、有利には、当該画像における粒子の画像であると思われる各セグメントを識別する処理を有する。好ましくは、識別された各セグメントは、当該画像の残部からコピーされる一方、この副画像には、有利には、形状フィルタ、寸法フィルタ、コントラストフィルタ、輝度フィルタ等の複数のフィルタが適用される。

副画像が粒子の画像（焦点の合った又は外れた）を有することが認められた（承認された）場合、該副画像は“オブジェクト”と呼ばれる。オリジナル画像における全ての可能性のあるオブジェクトが識別され、記録された場合、該オリジナル画像は後の使用のために記憶することができる。

一実施態様において、副画像は、該副画像が１以上のフィルタを通過した場合に粒子の画像を有するものとして承認され、次いで、該副画像は粒子の画像を有する候補となり、従って、記録されると共に記憶される。副画像が承認された場合、該副画像はオブジェクトとなるように昇格される。

個々の粒子のオブジェクトのスタックの作成は、当該液体サンプル中のオブジェクトの他のオブジェクトの位置に対する位置に関するデータを用いることによりもたらされる。これにより、何のオブジェクトが、焦点が合った又は外れた同一の粒子を示すかを決定することができる。

オブジェクトの各々は、各々が同一の粒子のオブジェクトを有する複数のスタックのうちの１つに追加される。有利には、各スタックは該スタックが当該液体サンプルにおける見付かった位置に関する情報を有し、及び／又は各オブジェクトは、該オブジェクトが当該液体サンプルにおいて見付かった位置に関する情報を有する。斯かる位置情報を用いて、更なるオブジェクトを、同一の粒子を有する以前に作成されたスタックに接続することができる。オブジェクトが、以前に作成されたスタックに関係付けることができない場合、有利には新たなスタックが作成される。

一実施態様においては、ブラインド領域分割法が利用される。ブラインド領域分割法では、粒子が合焦状態で撮像されたオブジェクトが見付かった場合、新たなスタックが作成される。更なる副画像は以前に又は後に取得された画像における位置を計算することによりスタックに追加され、これらの位置において同様の寸法の副画像を切り取る。このようにして、副画像が粒子の画像を有するという保証は存在しないが、確率は高く、幾つかの粒子のタイプ（特には、相対的に大きな粒子）の場合、及び／又は幾つかの粒子分類器システムの場合（特には、取得される画像の間の距離が相対的に小さい場合）、この処理は良好に働く。ブラインド領域分割により見付けられる斯様な副画像は、“ブラインドオブジェクト”と称される。１つのスタック内のブラインドオブジェクトの数は、例えば３以上、５以上、又は７以上でさえあり得る。ブラインドオブジェクトは、オブジェクトであると見なされ、当該画像解析処理において、そのように扱われる。

１つのスタックは、所望なだけ多くのオブジェクトを有することができる。前記平行移動装置がステップモータ又は同様のステップ的に平行移動させる装置を有する場合、スタックにおけるオブジェクトの数はステップ寸法に依存する。当然のことに、粒子の寸法もオブジェクトスタックにおけるオブジェクトの数に関係がある。更に、焦点深度も関係する。一実施態様において、各スタックは３〜１００のオブジェクトを有する。有利には、各スタックは５〜５０のオブジェクトを有する。

一実施態様において、前記画像解析処理システムは、収集された画像を、該収集された画像により捕捉された個々の粒子の副画像（オブジェクト）を生成するステップを有する方法により解析するようにプログラムされ、各オブジェクトは前記個々の粒子を取り囲む副画像外周線内の全ピクセルをコピーすると共に、該コピーされたピクセルに、形状フィルタ、寸法フィルタ、コントラストフィルタ又は輝度フィルタを好ましくは有する少なくとも１つのフィルタにおいてフィルタ処理を施すことにより生成される。

前記個々の粒子を取り囲むオブジェクト外周線は、原理的に、如何なる形状を有することもできる。一実施態様において、個々の粒子を取り囲む該オブジェクト外周線は、好ましくは、長方形、正方形、円形、又は多角形の形状である。

一実施態様において、当該画像解析処理システムは、前記収集された画像を、該収集された画像により捕捉された個々の粒子のオブジェクト（副画像）を生成すると共に、該個々の粒子のオブジェクトのスタックを供給するステップを有する方法により解析するようにプログラムされ、上記オブジェクトは、各々、１つの粒子のみを有する。

一実施態様において、該画像解析処理システムは、前記収集された画像を、該収集された画像により捕捉された個々の粒子のオブジェクトを生成すると共に該個々の粒子のオブジェクトのスタックを供給するステップを有する方法により解析するようにプログラムされ、上記オブジェクトは当該粒子を取り囲む無粒子領域を有する。好ましくは、上記無粒子領域は当該画像解析処理システムにより検出可能であるものとする。

一実施態様において、当該画像解析処理システムはオブジェクトの完全なスタックを識別するようプログラムされ、該オブジェクトの完全なスタックは、合焦状態のオブジェクトの何れかの側で取得された少なくとも１つの焦点外れ状態のオブジェクトを有する。この構成は、当該システムの信頼性の向上をもたらす。

一実施態様において、当該画像解析処理システムはオブジェクトの完全なスタックを識別するようプログラムされ、該オブジェクトの完全なスタックは、少なくとも９つのオブジェクト、少なくとも１５のオブジェクト、少なくとも２５のオブジェクト又は少なくとも４９のオブジェクト等の、少なくとも５つのオブジェクトを有する。

一実施態様において、当該画像解析処理システムは、上記オブジェクトの完全なスタックの各々に対して、少なくともＮ個の特徴という所定の群の特徴に関する値を決定するようにプログラムされ、ここで、Ｎは、４以上又は約１００まで等の、３以上である。

幾つかの粒子は、合焦状態で撮像された場合に光学顕微鏡にとり透明であるが、焦点が外れて撮像された場合に部分的に不透明であり得る。従って、これらの粒子は、焦点の外れた位置ではオブジェクトとして検出されるが、合焦状態の場合、当該スタックに“ホール（穴）”を残存させる。合焦状態のオブジェクトに対しては、有利には、当該画像からの“人工的”オブジェクトを適用することができる。

スタックに更なるオブジェクトが追加されない場合、該スタックは閉じられると共に、当該スタックが完全であるかが、該スタックが焦点の合った粒子の少なくとも１つのオブジェクト及び焦点の外れた粒子の少なくとも２つの画像を有するかが判断されることにより、評価される。

スタック内の各オブジェクトに関して、有利には、焦点性能指数又は焦点値が計算される。焦点値は、オブジェクトがどの程度合焦状態に近く撮像されているかの定量化である。焦点値が高いほど、当該オブジェクトは最良合焦状態に近い。スタックに関する焦点値は、プロットすることができる。一実施態様において、スタックに関する焦点値は、分類処理において、より高い焦点値を持つスタックからの特徴値が、より低い焦点値を持つスタックからの特徴値より高く重み付けされるように使用される。

有利には、焦点の合った粒子のオブジェクトの何れかの側に少なくとも１つのオブジェクトが存在する。当該スタックが完全である場合、該スタックは受け入れられた（承認された）ものと見なされ、処理中の状態を得る。それ以外の場合、当該オブジェクトのスタックは破棄される。

スタックが処理された場合、特徴の抽出のための準備が整う。多数の特徴を定義及び計算することができ、上記完全なオブジェクトのスタックの各々に対して、少なくともＮ個の特徴からなる一群の特徴に関する一群の値が決定され、ここで、Ｎは少なくとも１であり、上記一群の特徴の値の決定は、前記粒子が合焦状態である前記少なくとも１つのオブジェクトから得られたデータ及び／又は前記粒子が焦点外れ状態である前記少なくとも２つのオブジェクトから得られたデータを含む。

上記の得られた一群の値は、個々の粒子に対して決定された前記一群の特徴に関する該一群の値を、粒子の分類に関連付けるようにプログラムされた前記人工知能処理システムにおいて処理される。

上記人工知能処理システムは、一実施態様では、前記画像解析処理システムと統合され、オプションとしてメモリを共有する。

一実施態様において、上記人工知能処理システム及び画像解析処理システムは、デジタル接続状態となるように（例えば、無線及び／又はインターネットを介して）構成された別個のエレメントである。

一実施態様において、当該粒子分類器システムは訓練モード及び分類モードを含む２つの動作モードを有する。当該粒子分類器システムを分類のために使用するために、該粒子分類器システムは、後に更に詳細に説明するように訓練されねばならない。オブジェクトのスタック化及びスタックに関する一群の値の発生により、当該粒子分類器システムは相対的に簡単となり、訓練するのが高速であることが分かった。少ない訓練処理により、当該粒子分類器システムは選択された粒子タイプを分類することができる。更に、当該粒子分類器システムは、僅かな教育を受けた後にユーザにより実行することができる非常に簡単な方法を用いて訓練することができる。

一実施態様において、当該粒子分類器システムは、自身の訓練モードにおいて、前記一群の特徴の値を該粒子分類器システムのユーザにより供給される分類に関連付けるようプログラムされる。１つの分類に関連付けられる特徴の各群は、有利には、メモリに記憶される。

一実施態様において、当該粒子分類器システムは、自身の分類モードにおいて、粒子を、該粒子のオブジェクトからの一群の特徴に基づくと共に、メモリ上に記憶された各分類に関連付けられた複数の群の特徴を有する前記人工知能処理システムを使用して分類するようプログラムされる。

上記人工知能処理システムは、粒子を分類するのに適した如何なる人工知能処理システムとすることもできる。該人工知能処理システムは、有利には、分類アルゴリズムを有するようにプログラムされる。一実施態様において、該人工知能処理システムは統計的平衡アルゴリズムを適用するようにプログラムされる。これにより、該人工知能処理システムは粒子を、学習された値の群との正確な一致及び該一致の統計的変動の両方を用いて分類することができる。

有利には、該人工知能処理システムは、複数層のノードを有するフィードフォワード人工ニューラルネットワーク等のニューラルネットワークを有する。

本発明によれば、前記画像解析処理システムは、完全なオブジェクトのスタックの各々に対して、少なくともＮ個の特徴からなる一群の特徴に関する一群の値を決定するようにプログラムされる。当該粒子分類器システムの該画像解析処理システムは、有利には、分類されるべき粒子のタイプに依存して選択し又は選択を解除することができる多数の特徴に関して値の群を決定するようにプログラムされる。

上記特徴は、或るタイプの粒子を他のタイプの粒子から区別するために、単独で又は他の特徴との組み合わせで使用することが可能な如何なる特徴とすることもできる。

多数の異なる特徴を定義し、実施化することができる。多数の特徴の各々は、各オブジェクトスタックに対して決定（例えば、計算）することができるが、通常は特徴の部分群が選択される。斯かる部分群における特徴は、異なる種類の粒子の間の違いに関する可能な限り多くの情報を提供するように選択されねばならない。

１つの特徴は、オブジェクトの外周であり得る。外周は粒子のタイプに関する有用な情報を提供するので、この特徴は、有利には、粒子が異なる寸法を有する場合に選択されねばならない。しかしながら、粒子が略同一の寸法のものである場合、この特徴は選択されるべきでないか、又は単独で適用されるべきでない。

例えば細菌、結晶及び白血球等を探したい場合における、尿等の流体に含まれる粒子を特徴付ける場合、或る群の特徴が最適であり得るが、同じ群の特徴は当該流体が乳汁である場合には十分な情報を提供するとは限らない。乳汁においては、脂肪滴及び体細胞（乳腺炎の場合）等の粒子を特徴付けるために別の部分組を使用することができる。

一実施態様において、当該分類器システムは、生物学的又は非生物学的起源の粒子又はこれらの組み合わせの粒子の分類に適している。上記生物学的粒子は、細菌、古細菌、イースト、菌類、花粉、ウイルス、白血球、赤血球及び血小板等の血球、卵母細胞、精子、接合子、幹細胞、体細胞、結晶、脂肪滴、及びこれらの混合物の群から選択することができる。

当該特徴は、
・面積、周囲長、包囲円の面積等の空間的記述子、
・凸性、偏心性、形状係数等の形態的記述子、及び／又は
・二分モーメント（binary moments）、
等の、閾処理された合焦状態オブジェクトに基づく特徴を有することができる。

当該特徴は、
・コントラスト、光散乱特性、吸収性等、
・種々のタイプのグレイスケールモーメント、
・焦点の合わされたグレイスケール画像のフーリエ空間において抽出された特徴、及び／又は
・粒度、
等の、合焦状態オブジェクトのグレイスケール版に基づく特徴を有することもできる。

当該特徴は、例えば、
・優勢なカラーパターン、及び／又は
・色調（hue）、
等の、合焦状態オブジェクトのカラー版に基づく特徴を有することもできる。

更に、当該特徴は、
・ＦＷＨＭ、ＡＵＣ、当該曲線と平滑化曲線との間の相違、等の当該オブジェクトの種々の焦点曲線の署名（signature）／記述子、
・ＦＷＨＭ、ＡＵＣ、当該曲線と平滑化曲線との間の相違、等の当該オブジェクトの種々の輝度曲線の署名／記述子、
・グレイスケール／二値特徴を当該オブジェクトスタックの個々のオブジェクトに適用することにより発生される曲線の署名／記述子、
・当該スタックの時間的パラメータの評価、
・位相及び吸収マップ、ブラウン運動並びに自己推進特性、及び／又は
・流動特性、
等の、オブジェクトスタック（即ち、複数の合焦状態及び非合焦状態オブジェクト）からの情報に基づく特徴を有することができる。

一実施態様において、前記画像解析処理システムは、
・非合焦状態（焦点外れ状態）のオブジェクトに関する特徴、
・合焦状態オブジェクトのグレイスケール版に関する特徴、
・合焦状態オブジェクトのカラー版に関する特徴、合焦状態オブジェクトの閾処理版に関する特徴、及び
・合焦状態及び非合焦状態の両方のオブジェクトに関する特徴、
のうちの少なくとも１つを含む一群の特徴に関する値を決定するようにプログラムされる。

一実施態様において、非合焦状態オブジェクトに関する特徴は、
・当該粒子の外周（形状）、
・当該粒子の寸法（断面積）、
・最大及び最小直径間の比、
・色変化（色変化の程度）、及び
・優勢なカラーパターン、
のうちの１つを有することができる。

一実施態様において、合焦状態オブジェクトに関する特徴は、
・当該粒子の外周（形状）、
・当該粒子の寸法（断面積）、
・最大及び最小直径間の比、
・色変化（色変化の程度）、
・優勢なカラーパターン、及び
・当該粒子の外周の内側の副粒子の数、
のうちの少なくとも１つを有することができる。

一実施態様において、非合焦状態及び合焦状態の両方のオブジェクトに関する特徴は、
・或るオブジェクトから他のオブジェクトへの粒子の外周（形状）の差（又は複数の差）、
・或るオブジェクトから他のオブジェクトへの粒子の寸法（断面積）の差（又は複数の差）、
・或るオブジェクトから他のオブジェクトへの最大及び最小直径の間の比の差（又は複数の差）、
・或るオブジェクトから他のオブジェクトへの色変化（色変化の程度）の差（又は複数の差）、
・或るオブジェクトから他のオブジェクトへの優勢なカラーパターンの差（又は複数の差）、
・或るオブジェクトから他のオブジェクトへの色の差（又は複数の差）、及び
・各オブジェクト間の距離、
のうちの少なくとも１つを有する。

オブジェクトスタックに対して、選択された特徴の群が決定された場合、特徴値が当該手順における次のステップ、即ち最終的分類処理に受け渡される。一実施態様において、特徴の群は有利には（１７，３，１９９，…，０.１１）等の値のリストであり、各値は特定の特徴に関して決定された（例えば、計算された）値である。一実施態様において、特徴の群は、二進パターンの形態である。

一実施態様において、特徴の選択は、２次元以上での異なる種類の散布図（scatter plots）を使用することにより簡素化される。

一実施態様において、特徴の選択は、或る粒子タイプから他の粒子タイプへ著しく相違する特徴等の、重要な特徴を見付けるためのデータマイニングを有する。

有利には、前記人工知能処理システムは、粒子のオブジェクトの完全なスタックから取得された一群の特徴を特定の類の粒子に関連付ける能力があり、該特定の類の粒子に対する前記一群の特徴の関連付けは、前記類の粒子に関連付けられる複数の群の特徴及び少なくとも１つの他の類の粒子に関連付けられる複数の群の特徴の統計的平衡及び処理に基づくものである。

一実施態様において、一群の特徴における各特徴の値は、各スタックに対して計算されるが、粒子は分類されないままである。次いで、各群の特徴は、特徴の集合に組み込まれる。この集合は、当該流体サンプル内の全ての粒子をカバーするものであり、この集合に対して特徴の群を決定及び割り当てることができる。集合の特徴の一例は、粒子の平均寸法であり得るが、スタックに対して決定された如何なる特徴でもあり得る。更に、当該集合のための特徴は、特徴のプロットの形状又は密度に関する特徴を有する。当該集合のための特徴の群は、該集合に対して個々の粒子を分類するための情報として使用することができる。その結果は一群の粒子の特徴であり、これらは当該集合に対して定義される。

一実施態様において、当該粒子分類器システムは画像の群を順次取得すると共に、第１群の画像により捕捉された粒子及び少なくとも第２群の画像により捕捉された粒子を分類し、且つ、前記第１群の画像からオブジェクトのスタックの第１集合を生成すると共に前記第２群の画像からオブジェクトのスタックの第２集合を生成するよう構成される。

画像の群の数は、所望なだけ大きくすることができる。有利には、画像の各群は当該サンプル又は該サンプルの一部を介しての各走査により得られ、各走査の間には時間遅延が設けられる。これにより、各粒子の変化を観察することができる。この実施態様は、生物学的粒子（例えば、生きている粒子）を分析するために非常に適している。このようにして、成長を分析することができる。この方法は、粒子の崩壊を分析するために適用することもできる。各走査の間の時間遅延は、起こりそうである変化の予測される率に依存して選択することができる。

スタックの集合は、少なくとも１つのスタックを、有利には複数のスタックを有する。

一実施態様において、当該システムは、前記第１集合の個々の粒子のオブジェクトのスタック及び前記第２集合の個々の粒子のオブジェクトのスタックを識別すると共に、前記第１集合の前記オブジェクトのスタックと前記第２集合の個々の粒子のオブジェクトのスタックとの間の変化を検出するように構成される。上記変化の検出は、有利には、走査の直後に実行することができ、後続の走査までの時間遅延は所望の変化の程度を得るために調整することができる。これにより、１以上の粒子の発展時間を決定することができる。一実施態様において、当該システムは、スタック内のオブジェクトからの粒子のブラウン運動を決定するように構成される。

有利には、少なくともＮ個の特徴の一群の特徴が前記集合におけるオブジェクトのスタックに対して決定され、ここで、上記Ｎ個の特徴は前述したようなものであり得る。一実施態様において、粒子は前記オブジェクトのスタックの集合からの特徴を用いて再分類される。例えば、個々の粒子の第１集合のオブジェクトのスタックの結果としては第１分類となり得、個々の粒子の第２又は他の集合のオブジェクトのスタックの結果として、更なるデータが得られるので、再分類（例えば、一層細かい分類）が生じ得る。

一実施態様において、前記画像解析処理システムは、未だ分類されていない粒子（未分類粒子）のオブジェクトの各スタックに対して一群の特徴に関する値を決定すると共に特徴の群の集合を作成するように構成され、該画像解析処理システムは、これらの以前に分類されていない粒子を上記特徴の群の集合を用いて分類するように構成される。

粒子分類器システムを訓練する場合、従うことができる幾つかの手順が存在する。１つの方法は、当該粒子分類器システムに、１つのタイプのみの粒子を含む液体サンプルを供給することである。これらの粒子は、次いで、同一の類に分類され、当該粒子を最良に表す一群の特徴を選択することができる。このことを、サンプル中の異なるタイプの粒子を用いて、同一のタイプの粒子を含む幾つかのサンプルに関して数回実行することができる。このようにして、各タイプの粒子が多数のスタックのオブジェクトにより表された、スタックのライブラリを作成することができる。或るタイプの粒子にとり最適な群の特徴は、他のタイプの粒子にとっては最適な群とは限らない。１つの液体サンプル中に２以上の異なるタイプの粒子が存在する場合、全ての群の特徴のうちで、当該粒子の可能な最良の分類を生じる、特徴の組み合わせ群を選択することができる。

従って、本発明は、粒子分類器システムを訓練する方法にも関するものである。該方法は、液体サンプル中の少なくとも１つの個別の粒子を分類するための人工知能処理システムを使用するもので、
− 少なくとも１つの第１タイプの粒子及び少なくとも１つの第２タイプの粒子を一緒に有する１以上の液体サンプルを供給する（準備する）ステップと、
− 前記液体サンプルにおける複数の前記第１タイプの粒子及び複数の前記第２タイプの粒子の少なくとも３つの画像を収集するステップであって、前記個々の第１タイプ及び第２タイプの粒子が、各々、合焦状態又は焦点外れ状態であるステップと、
− 前記収集された画像により捕捉された前記個々の粒子のオブジェクト（副画像）を作成すると共に各第１タイプの粒子及び各第２タイプの粒子に関するオブジェクトのスタックを供給し、且つ、前記粒子が合焦状態である少なくとも１つのオブジェクト及び前記粒子が焦点外れ状態である少なくとも２つのオブジェクトを有する完全なオブジェクトのスタックを識別するステップと、
− 前記オブジェクトのスタックの各々に対して、少なくともＮ個の特徴からなる一群の特徴を決定するステップであって、Ｎは１以上であり、該特徴の決定が、前記粒子が合焦状態である前記少なくとも１つのオブジェクト及び前記粒子が焦点外れ状態である前記少なくとも２つのオブジェクトから得られたデータを含むステップと、
− 前記人工知能処理システムを、該人工知能処理システムに第１タイプの粒子類に関連付けられる第１タイプのデータ群及び第２タイプの粒子類に関連付けられる第２タイプのデータ群を有するデータを供給することにより訓練するステップと、
を有する。

該訓練する方法は、粒子を分類するための前述したシステムと同様の粒子分類器システムを利用することができる。

一実施態様において、当該方法は、複数の第１タイプの粒子及び複数の第２タイプの粒子を含む液体サンプルを供給する（準備する）ステップ、並びに前記人工知能処理システムを該供給された（準備された）液体サンプルにおける粒子から得られるデータの群を使用して訓練するステップを有する。この方法は、好ましくは第１タイプ及び第２タイプの粒子の異なる濃度を持つ幾つかの液体サンプルに対して実行することができる。

より簡単な方法は、１つのタイプのみの粒子が液体サンプル中に存在する場合の訓練方法を用いるというものである。この方法は、同一の粒子の幾つかの異なる液体サンプルを用いて実行される。即ち、該方法は、１つのタイプの粒子を排他的に含む少なくとも１つの液体サンプルを供給するステップ、及び前記人工知能処理システムを該供給された液体サンプルにおける粒子から得られるデータの群を使用して訓練するステップを有する。

幾つかの場合において、１つのタイプのみのサンプルを含む液体サンプルを得ることは非常に困難であるか又は不可能であり得る。このような状況では、粒子の特定のパーセンテージが１つのタイプのみのものであることが分かるだけで十分である。当該粒子の残りは、幾つかの異なるタイプのものであり得る。訓練の間において、当該分類器システムには、有利には、当該粒子の或るパーセンテージ（例えば、７５％）は１つのタイプのものであり、当該粒子の残りは１以上の異なるタイプのものであるという情報が供給される。この場合、該分類器システムは、この求められる結果に出力が等しくなるように調整することができる。

一実施態様において、当該訓練する方法は、支配的な量の１つのタイプの粒子を含む少なくとも１つの液体サンプルを供給するステップであって、前記粒子の少なくとも約８０％、前記粒子の少なくとも約８５％、前記粒子の少なくとも約９０％又は前記粒子の少なくとも約９５％等の、前記粒子の少なくとも約７５％が好ましくは同一のタイプの粒子であるステップと；前記人工知能処理システムを該供給された液体サンプルにおける粒子から得られるデータの群を使用して訓練するステップと；を有する。

一実施態様において、当該方法は、第１タイプの粒子のみを含む少なくとも１つの液体サンプルを供給すると共に第２タイプの粒子のみを含む少なくとも１つの液体サンプルを供給するステップ、並びに前記人工知能処理システムを該供給された液体サンプルにおける粒子から得られるデータの群を使用して訓練するステップを有する。

一実施態様において、当該分類器システムを訓練する方法は、教師あり学習法（supervised learning）又は半教師あり学習法を用いるステップを有する。

教師あり学習法において、当業者は複数の粒子を分類し、結果を当該分類器システムに供給する。好ましいほど多数の粒子が手動で分類され、当該分類器システムに供給されたなら、一群の特徴を、該分類器システムに手動で得られたのと同じ結果を生じさせるように選択することができる。半教師あり学習法を利用する場合、当業者は複数の粒子を分類し、その結果を当該分類器システムに供給する。該分類器システムは、連続的に学習し、新たな粒子の正しい分類の実行が一層良くなるようにする。新たな粒子に対して、該分類器システムは分類を提案し、当業者は該提案された分類を承認又は拒否する。拒否の場合、当業者は当該分類を訂正することができ、これにより、該分類器システムに一層多くの“知識”又は経験を与える。

一実施態様において、当該分類器システムを訓練する方法は、Ｔ個の異なるタイプの粒子を一緒に含む１以上の液体サンプルを供給するステップであって、Ｔが３以上であるステップと、前記粒子の完全なスタックを供給するステップと、前記スタックから特徴を決定するステップと、前記人工知能処理システムを各タイプの粒子類に関連付けられた前記特徴の群を用いて訓練するステップと、を有する。

幾つかの状況では、特定のタイプの粒子のための流体サンプルの選別（スクリーニング）が必要となる。これらの場合において、流体サンプルは目標のタイプの粒子及び特別に関心がない粒子を含むと考えることができる。

分類器システムを訓練する当該方法の一実施態様において、第１のタイプの粒子は目標のタイプのものであり、第２タイプの粒子は目標のタイプのものではない。

分類器システムを訓練する当該方法の一実施態様において、上記目標のタイプは、細菌；古細菌；イースト；菌類；花粉；ウイルス；顆粒球、単球等の白血球；赤血球；血小板；卵母細胞；精子；接合子；幹細胞；体細胞；結晶；脂肪滴；及びこれらの混合物の群から選択される粒子である。

システムが一群の目標粒子を有する流体サンプルにより訓練された場合、該システムは、検査流体を目標粒子の１以上の存在に関して選別するために使用することができる。

前記人工知能処理システムは、有利には、分類アルゴリズムを用いて処理を実行する。該分類アルゴリズムに対する入力は特徴の部分群に関する値を含み、出力は細菌、脂肪滴、白血球、赤血球、結晶等の粒子のタイプ（又は斯様な粒子のコード）である。一実施態様において、予想される粒子のタイプの各々に対してカウンタが割り当てられ、粒子が識別される毎に、該識別された特定のタイプの粒子のためのカウンタが１だけ増加される。

該人工知能処理システムが分類アルゴリズムを用いて処理を実行する場合、該システムは例えば前述したように訓練することができる。

一実施態様において、上記分類アルゴリズムが全ての処理されるスタックに適用され、粒子のタイプが決定された場合、当該液体の体積（ボリューム）を決定することができる。該ボリュームは、収集された完全な画像の数、前記平行移動装置のステップ寸法及び当該画像の破棄された部分の情報を用いて決定することができる。

上記ボリュームが決定された場合、全体の粒子の濃度及び各タイプの粒子の粒子濃度を容易に計算することができる。最後に、粒子の全体の数及び異なる粒子の濃度が信頼性のある測定結果にとり十分であるか、又は新たな画像の収集が開始され、当該結果に追加されるべきかを、判断することができる。当該測定の全体としての結果が十分に正確であると判定された場合、当該測定手順は停止される。

液体サンプルを分析する当該方法の一実施態様において、該方法は、好ましくは前記システムで説明したように、画像の群を順次取得すると共に、第１群の画像により捕捉された粒子及び少なくとも１つの第２群の画像により捕捉された粒子を分類し、且つ、前記第１群の画像からオブジェクトのスタックの第１集合を生成すると共に前記第２群の画像からオブジェクトのスタックの第２集合を生成するステップを有する。

一実施態様において、全体のサンプル又は該サンプルの一部の特徴付けは、オブジェクトのスタックの集合に関する特徴の群を決定すると共に、特徴クラウドとも称される集合の特徴アレイを決定することにより得られ、該集合の特徴アレイは、例えば、粒子レベルでの特徴からは直接評価することはできないが、集合からのオブジェクトの複数のスタックからは検出することができるクラウドレベルでの情報を提供することができる。

この方法によれば、スタックの特徴の群は、各ポイントが粒子を表す特徴空間におけるデータポイントとして使用することができ、これにより、特徴クラウドを決定することができる。

クラウド特徴（又は複数のクラウド特徴）により決定することができる特徴付けの例は、クラウドモーメント、クラウド形状パラメータ、クラスタの数及びクラウド密度等である。

一実施態様において、上記クラウド特徴は、サンプルにおける粒子の全体的出現により、温度、圧力、エントロピ等に関する情報を提供することができる。

一実施態様において、当該方法は、決定されたクラウド特徴を、既知のサンプルに対してなされた決定と相関又は比較し、これにより、当該サンプルの状態又は特性を評価するステップを有する。

例えば細菌又はイースト等の同一の試料が導入され、等しい条件で成長されたサンプルは、特徴空間において同一のクラウド密度／分布を有すると予測される。このことは、如何なるクラウド特徴も統計的に等しいことが予測されることを意味する。内部的又は外部的影響によって生じる当該サンプルの如何なる変化も、クラウド密度／分布を変化させる、従って対応するクラウド特徴を変化させると予想され、かくして、これを上記サンプルにおける当該集団の状態を特徴付けるために使用することができる。

例えばクラウド相関等のクラウド特徴の使用により検出することができる影響の例は、
・栄養、
・温度、ｐＨ、抗生物質等の環境、
・汚染（サンプルは、時間にわたり検出可能なレベルにまで発展する二次集団により汚染される）、
・繁殖（濃度が増加し、副次的影響が進展しつつあり得る、寸法の分布）、
・活動、
・突然変異（当該クラウドにおける粒子特徴の新たな値の出現により、クラウドの形態を変化させ得る）、
・構造的形態／進展（クラスタ形成、試料の異なるライフサイクル、老化、生／死）、
等である。

例えばクラウド相関等のクラウド特徴を用いた集団の状態の評価は、サンプルの特徴付け及びサンプル中の粒子の時間的進化に分けることができる。一実施態様においては、訓練された粒子分類器システムを用いて、検査液体サンプルを目標粒子の存在に関して分析する方法が利用され、前記粒子分類器システムは前記目標粒子を分類するために訓練され、当該方法は、
− 前記試験液体サンプルを供給する（準備する）ステップと、
− 前記液体サンプル中の個々の粒子の少なくとも３つの画像を収集するステップであって、前記粒子が、各々、合焦状態又は焦点外れ状態であるステップと、
− 前記収集された画像により捕捉された前記個々の粒子の副画像（オブジェクト）を作成すると共に、個々の粒子に関するオブジェクトのスタックを供給し、且つ、前記粒子が合焦状態である少なくとも１つのオブジェクト及び前記粒子が焦点外れ状態である少なくとも２つのオブジェクトを含むオブジェクトの完全なスタックを識別するステップと、
− 前記オブジェクトのスタックの各々に対して、少なくともＮ個の特徴からなる一群の特徴を決定するステップであって、Ｎが１以上であるステップと、
− 前記人工知能処理システムが、個々の粒子に対する前記決定された一群の特徴に関する前記一群の値を、前記粒子を分類すると共に少なくとも１つの目標粒子が分類されたかを決定するために関連付けることを可能にするステップと、
を有する。

幾つかの状況においては、流体サンプル中に目標粒子が存在するかを検出するだけ以上のことを行うことが望ましい。当該流体サンプルの所与の体積内に存在する目標粒子の数（即ち、濃度）を知ることが望ましいかも知れない。２種類以上の目標粒子が存在するので、他のタイプの粒子と比較した相対濃度を知ることが望ましい場合もある。これは、測定のために血液を用いる場合に当てはまる。一実施態様において、所謂3 parts diff又は5 parts diffを決定する場合、異なる白血球（好中球、リンパ球、単球、好酸球及び好塩基球）の各々の数が決定され、有利には、これらの相対濃度が計算される。

検査液体を分析する方法の一実施態様において、該方法は、前記試験液体サンプル中の目標粒子の数を決定する定量的分析を実行するステップを有する。
一実施態様において、液体サンプル中の粒子を訓練された粒子分類器システムを用いて分類する当該方法は、
− 前記液体サンプル中の個々の粒子の少なくとも３つの画像を収集するステップであって、前記個々の粒子が合焦状態又は焦点外れ状態であるステップと、
− 前記個々の粒子の副画像（オブジェクト）を作成すると共に、前記オブジェクトの各々を前記個々の粒子の異なる画像を有するオブジェクトのスタックに割り当てて、前記オブジェクトのスタックが、前記粒子が合焦状態である少なくとも１つのオブジェクト及び前記粒子が焦点外れ状態である少なくとも２つのオブジェクトを含むようにするステップと、
− 前記オブジェクトのスタックに関して、少なくともＮ個の特徴からなる一群の特徴を決定するステップであって、Ｎが１以上であり、前記一群の特徴の決定が、前記粒子が合焦状態である前記少なくとも１つのオブジェクト及び前記粒子が焦点外れ状態である前記少なくとも２つのオブジェクトから得られたデータを含むステップと、
− 前記個々の粒子を分類するために、前記一群の特徴を訓練された粒子分類器システムの人工知能処理システムに供給するステップと、
− 前記人工知能処理システムが、個々の粒子に対する前記決定された一群の特徴に関する前記一群の値を、前記粒子を分類するために関連付けることを可能にするステップと、
を有する。

範囲及び好ましい範囲を含む本発明の全てのフィーチャは、斯様なフィーチャを組み合わせない特別な理由が存在しない限り、本発明の範囲内において種々の態様で組み合わせることができる。

図１は、光学検出アセンブリ及び粒子を含む液体のサンプルを有するサンプルホルダの一例を示す。 図２は、多数の粒子を含む流体サンプルの２つの画像の一例を示す。 図３は、本発明によるシステムの概略図を示す。 図４は、オブジェクトのスタックに関して計算された焦点曲線の一例を示す。 図５ａは、実施例１において得られたオブジェクトのスタックにおけるオブジェクトを示す。 図５ｂは、実施例１において得られたオブジェクトのスタックに関する焦点曲線を示す。 図６ａは、実施例１において得られた他のオブジェクトのスタックにおけるオブジェクトを示す。 図６ｂは、実施例１において得られた他のオブジェクトのスタックに関する焦点曲線を示す。

以下、本発明の好ましい実施態様を、添付図面を参照して、例示として説明する。尚、これらの好ましい実施態様の説明は本発明の範囲を限定するものとみなされるべきでないと理解されたい。

また、各図は概略的なもので、明瞭化のために簡略化され得るものである。全体を通して、同一の符号は、同一又は対応する部分のために使用されている。

本発明のシステムは、光学検出アセンブリを有する。該光学検出アセンブリは、好ましい実施態様では、ＣＣＤカメラ又はＣＭＯＳカメラを含む少なくとも１つの画像収集装置を有する。該光学検出アセンブリは、更に、レンズ、プリズム、絞り（irises）、開口（apertures）及び顕微鏡で使用される他の通常の光学部品を含む。該光学検出アセンブリは、個々の生物学的有機体を識別することができる画像を収集するように構成される。光学検出アセンブリの一実施態様が米国予備特許出願第61/146,850号に記載されており、該出願においては、サンプル装置に対して配置されたサンプルの複数の画像を取得するための装置が提供されている。該装置は、少なくとも第１画像収集装置を有する少なくとも第１光学検出アセンブリを有する。該第１光学検出アセンブリは光軸及び対物面を有する。上記対物面は、前記第１画像収集装置により電磁波を画像として検出することができる画像収集領域を有する。該装置は、更に、前記サンプル装置及び第１光学検出アセンブリを互いに移動させるように構成された少なくとも１つの平行移動装置と、上記第１光学検出アセンブリ及び上記平行移動装置を支持するように構成されたハウジングとを有し、該第１光学検出アセンブリ及び平行移動装置は、前記サンプル装置の少なくとも一部が上記画像収集領域により横切られるように配置される。上記サンプル装置及び第１光学検出アセンブリの互いに対する動きは走査経路に沿ったものであり、該走査経路は前記光軸に対して角度θを定める（θは零より大きい）。

米国予備特許出願第61/146,850号は、サンプルの複数の画像を取得する方法も開示している。この方法は、当該サンプルをサンプル装置に対して配置するステップ、及び該サンプル装置を複数の画像を取得する装置に対して配置するステップを有する。該装置は、少なくとも第１画像収集装置を有する少なくとも第１光学検出アセンブリを有する。第１光学検出アセンブリは光軸及び対物面を有し、該対物面は上記第１画像収集装置により電磁波を画像として検出することができる画像収集領域を有する。

上記画像収集領域はサンプルの少なくとも一部と交差する。上記サンプル装置及び第１検出アセンブリは、第１走査経路に沿い走査長にわたって相対的に移動される。上記走査経路及び光軸は、一緒に、零より大きな角度θを定める。該方法は、上記複数の画像を取得するステップを更に有する。

米国予備特許出願第61/146,850号には、更に、サンプルの複数の画像を取得するためのシステムが開示されている。該システムは、サンプル装置、及び少なくとも第１画像収集装置を有する少なくとも第１光学検出アセンブリを備えた装置を有している。該装置の第１光学検出アセンブリは光軸及び対物面を有する。この対物面は、前記第１画像収集装置により電磁波を画像として検出することができる画像収集領域を有する。このシステムの該装置は、更に、前記サンプル装置及び第１光学検出アセンブリを互いに対して移動させるように構成された少なくとも１つの平行移動装置と、上記第１光学検出アセンブリ及び上記平行移動装置を支持するように構成されたハウジングとを有し、該第１光学検出アセンブリ及び平行移動装置は、前記サンプル装置の少なくとも一部が上記画像収集領域により横切られるように配置される。上記サンプル装置及び第１光学検出アセンブリの互いに対する動きは走査経路に沿ったものであり、該走査経路は前記光軸に対して零より大きい角度θを定める。原理的に、米国予備特許出願第61/146,850号の走査経路は上記対物面とサンプルとの互いに対する如何なる移動も有し得る。特に、該走査経路は、走査軸に沿って配置された実質的に真っ直ぐな走査ラインを含み得る。該走査経路は実質的に回転的な動きによっても定めることができ、その場合、θは前記光軸と該回転運動の局部的接線との間の角度である。一実施態様において、走査経路は、直線、円運動、螺旋運動又は何らかの他の適切な経路等の面に限定される。

本発明による光学検出アセンブリの好ましい実施態様が図１のａ）に示されており、該図には、複数の粒子２，２’，２”，２’”，２””を含む流体サンプル４を有するサンプル装置３２が示されている。サンプル装置３２は、長手方向の平行移動軸Ｚを有している。当該サンプルホルダの一方の側には光源２４が設けられ、該サンプルホルダの他方の側には対物レンズ２６及び画像センサ８が設けられている。光源２４は流体サンプル４を介して光３０を画像センサ８に向かって透過させ、該流体サンプル４内の粒子２，２’，２”，２’”，２””の画像は、これら粒子が上記画像センサの視野内に入る場合に取得される。平行移動装置（図示略）はサンプル装置３２を画像センサ８に対して小さなステップで平行移動させることができ、ステップ毎に新たな画像が取得される。

図１のｂ）においては、前記画像センサ、レンズ２６及び光源２４を有する光学検出アセンブリが、走査方向Ａに４つのステップで移動されている。粒子２，２’，２”，２’”，２””は上記画像センサにより位置２８，２８’，２８”，２８’”，２８””において撮像されている。粒子２，２’，２”，２’”，２””の幾つかは５つの全位置２８，２８’，２８”，２８’”，２８””において撮像されたかも知れず、粒子２，２’，２”，２’”，２””の幾つかは位置２８，２８’，２８”，２８’”，２８””のうちの１又は２カ所においてのみ撮像されているかも知れない。画像位置２８，２８’，２８”，２８’”，２８””の近くに位置する粒子２，２’，２”，２’”，２””は焦点が合った状態（合焦状態）で撮像される一方、遠くに離れて位置するが、それでも上記画像センサの視野内に入る粒子２，２’，２”，２’”，２””は焦点が外れて撮像されるであろう。

上記平行移動装置のステップ寸法に関係する当該システムの被写界深度は、所与の粒子は或る画像では焦点が合った状態で撮像されるが、当該画像が焦点の合っている画像の各側における少なくとも１つの画像では焦点が外れて撮像されることを保証するように構成することができる。即ち、粒子２”が画像２８”において焦点が合った状態で撮像される場合、該粒子は画像２８’及び２８’”では焦点が外れて撮像される。該粒子は、画像２８及び２８””においても焦点が外れて撮像されるが、その画像品質は使用されるには劣悪過ぎるであろう。他の例において、粒子２”は画像２８’、２８”及び２８’”では焦点が合って撮像されるが、画像２８及び２８””は焦点が外れる。

図２のａ）には、サンプルホルダ内の流体から取得された画像２８が示され、該流体は多数の粒子を含んでいる。２つの粒子２及び２’がマークを付けられている。図２のｂ）には、画像２８’が示され、該画像２８’は画像を収集する際の列において次のものである。図２のｂ）でも、２つの粒子２及び２’がマークを付けられている。理解されるように、粒子２は画像２８では焦点が合って撮像されるが画像２８’では焦点が外れて撮像される一方、粒子２’に関しては反対のことが当てはまる。

図３には、本発明によるシステムの概略図が示されている。該システムは、画像収集装置４１及びレンズ４１ａを備える光学検出アセンブリ４０を有している。該光学検出システムは、カメラが組み込まれた標準的光学顕微鏡とすることができる。図３には、斜視（傾斜観察）の光学顕微鏡が示されている。照明装置４３は、レーザ光又はＬＥＤからの光等の光を、サンプル装置４２を介して光学検出アセンブリ４０に向かって透過させる。撮像されるべき粒子を含む流体は、サンプル装置４２内に含まれている。該システムは、平行移動装置４４を有している。サンプル装置４２は該平行移動装置４４を使用して光学検出アセンブリ４０に対しＺ軸に沿って平行移動することができ、これにより、当該流体内の粒子を、画像取得区域を越えて移動させる。この動きのステップ長は上記平行移動装置４４により制御されて、複数で有利には全ての粒子が少なくとも３回（１回は焦点が合った状態で、少なくとも２回は焦点が外れて）撮像されることが確実となるようにする。

最適なステップ長は、当該光学系により、即ち被写界深度及び光学解像度に対する要件により決定され得る。当該系が大きな焦点深度を有する場合、ステップ長は増加され得る一方、小さな焦点深度は小さなステップを必要とし得る。より小さな焦点深度は、より大きな視角をもたらし得、より多数の粒子が同時に走査されることを可能にするが、撮像される粒子の一層劣った光学解像度ももたらす。

当該システムは、更に、光学検出アセンブリ４０に対する平行移動装置４４の動きを制御すると共に、前記カメラからの画像取得を制御するように構成された制御システム４６を有している。当該方法は、例えば、サンプル装置４２を１ステップ平行移動させるステップ、カメラから画像を取得するステップ、及び該画像を当該システムの画像解析装置４８に伝送するステップを有する。画像解析装置４８が画像を解析している間に、制御システム４６は取得されるべき新たな画像のために平行移動を開始させる。

画像が解析装置４８に到達した場合、該画像はメモリに記憶される。当該画像は、先ず、高い／低い光レベルの領域、及び当該サンプル容器の外側の物体が該画像を不明瞭にしている可能性のある領域等の不良な領域を求めて走査される。これらの領域は、次いで、当該手順の残部から破棄される。次いで、当該画像の残部において粒子の区分が実行される。区分は、当該画像内の粒子の画像であると思われる各セグメントの識別を含む。識別された各セグメントは、当該画像の上記残部からコピーされ、この副画像には形状フィルタ（shape-filter）、サイズフィルタ（size-filter）、コントラストフィルタ、輝度フィルタ等の複数のフィルタが適用される。これらのフィルタを当該副画像が通過した場合、該副画像は粒子の画像を含む候補であり、従って記録されると共に記憶される。オリジナル画像における該副画像の位置、寸法に関するデータ、及び他の関連するデータは、該副画像にメタデータとして記憶される。通常、副画像は長方形であるが、当該形状が上記メタデータに記述される限り、原理的に如何なる形状とすることもできる。

副画像が粒子の画像（焦点の合った又は外れた）を含むと認められた場合、該副画像は“オブジェクト”と称される。オリジナル画像における全ての可能性のあるオブジェクトが識別されて記録された場合、該オリジナル画像は後の使用のために記憶することができる。

上記オブジェクトの各々は、次いで、オブジェクトの複数の堆積群（スタック）のうちの１つに追加される。１つのオブジェクトスタックは、前の画像で識別されたオブジェクトを含む。各スタックは当該画像で見付けられた位置に関する情報を有し、この情報を用いて、新たなオブジェクトは同一の粒子のオブジェクトを有する以前に作成されたオブジェクトスタックに接続することができる。当該オブジェクトが前に作成されたスタックに関係付けることができない場合は、オブジェクトの新たなスタックが作成される。

オブジェクトのスタックは、新たなオブジェクトが該スタックに追加される限り開状態である。スタックは、平行移動装置のステップ寸法及び焦点深度に依存して多数のオブジェクトを有することができる。通常、スタックは１から２０〜２５のオブジェクトを有するが、４５〜５０もの又はそれ以上の多くのオブジェクトを有することもできる。新たな画像取得が特定のスタックに新たなオブジェクトを追加することにならなかった場合、該スタックは閉ざされ得る。このようなことは、平行移動装置４４が前記カメラを粒子の範囲外に移動させた場合に生じ得る。

スタック内の各オブジェクトに対して、焦点性能指数、即ち焦点値が計算される。焦点値は、オブジェクトが何の程度近く焦点が合った状態で撮像されるべきかについての定量化である。焦点値が大きいほど、オブジェクトは焦点が合った状態に近い。オブジェクトのスタック６０に関する焦点値は図４に示されるようにプロットすることができる。該図は焦点値をＩＤの関数として示しており、ここで、ＩＤは当該スタックのオブジェクトの識別された順番である。理解されるように、当該曲線は頂点を有し、該頂点に最も近いオブジェクトが、焦点が合った状態で撮像されたオブジェクトであることを示している。該曲線上の他のオブジェクトは、多かれ少なかれ焦点が外れて撮像されている。

当該システムは、更に、粒子を分類するための人工知能処理システム５０を有する。該人工知能処理システムは前述したように訓練される。有利には、該人工知能処理システム５０及び前記画像解析処理システムは共通のユニット内に統合される。

図４から理解されるように、オブジェクト６１からの焦点値Ｆのうちの２つは、存在すると期待される場所に点線の方形により欠けているように示されている。時には、画像の収集の間において、画像の或る領域は破棄され、該破棄された領域が開状態のオブジェクトスタックに属するオブジェクトを有する場合、該オブジェクトは欠けたものとなり、焦点曲線に“ホール（孔）”を残す。従って、オブジェクトのスタックは、該スタックに新たなオブジェクトが追加されないとしても、開状態のままにしておくことが有利であり得る。

幾つかの粒子は、合焦状態で撮像された場合に光学顕微鏡にとり透明であるが、焦点が外れて撮像された場合は部分的に不透明であり得る。従って、これらの粒子は、焦点が外れた位置でオブジェクトとして検出され、合焦状態では当該スタックに“ホール”を残すことになるであろう。この“ホール”は、ステップ寸法及び焦点深度に依存して、１、２、５又はそれ以上もの位置であり得る。

従って、上記オブジェクトスタックにおけるホールを充填するために、当該画像から“人工”オブジェクトを切り取り、焦点が外れたオブジェクトが現れるまで、又は当該オブジェクトが不良な領域により破棄されなくなるまで、複数の位置に関してスタックに追加することが有利であり得る。複数の画像収集の後に、当該スタックに新たな実際のオブジェクトが追加されない場合、上記人工オブジェクトは当該スタックから削除することができ、該スタックは閉じることができる。

オブジェクトのスタックが閉じられた場合、該スタックは次のレベルに受け渡される。このレベルにおいては、当該スタックが合焦状態の粒子の少なくとも１つのオブジェクト、及び焦点が外れているかも知れない粒子の少なくとも２つの画像を有するかが判定される。合焦状態の粒子のオブジェクトの各側に少なくとも１つのオブジェクトが存在する場合、該スタックは承認されたと見なされ、処理中の状態を得る。それ以外の場合、当該オブジェクトのスタックは破棄される。

スタックが処理された場合、特徴（フィーチャ）の抽出のための準備が整う。多数の特徴を定義及び計算することができるが、ここでは、少しのみに言及する。当業者であれば、もっと多くの異なる特徴を定義及び計算することができることが分かるであろう。

当該特徴は、有利には前述したようなものであり得ると共に、好ましくは、
・面積、周囲長、取り囲む円の面積等の空間的記述子；
・凸状性、偏心性、形状因子等の形態的記述子；
・二分モーメント（binary moment）；
等の、閾処理された合焦状態オブジェクトに基づく特徴を有する。当該特徴は、
・コントラスト、光散乱特性、吸収度等；
・種々のタイプのグレイスケールモーメント；
・焦点を合わされたグレイスケール画像のフーリエパワースペクトルにおいて抽出された特徴；
等の合焦状態のオブジェクトのグレイスケール版に基づく特徴も有することができる。

更に、当該特徴は、
・ＦＷＨＭ、ＡＵＣ、当該曲線と平滑化曲線との間の相違等の、当該オブジェクトの種々の焦点曲線の署名（signature）／記述子；
・ＦＷＨＭ、ＡＵＣ、当該曲線と平滑化曲線との間の相違等の、当該オブジェクトの種々の輝度曲線の署名／記述子；
・当該オブジェクトスタックにおける個々のオブジェクトに対してグレイスケール／二値特徴を適用することにより発生される曲線の署名／記述子；
等の、オブジェクトスタック（即ち、複数の合焦状態及び焦点の外れたオブジェクト）からの情報に基づく特徴を有することができる。

現在のところ、約８０の異なる特徴が定義されており、当該システムには新たな特徴が定期的に定義及び実施化されている。上記の多数の特徴の各々は全てのオブジェクトスタックに対して計算することができるが、通常は、特徴の部分群が選択される。該部分群における特徴は、異なる種類の粒子の間の違いに関するできる限り多くの情報を提供するよう選択されるべきである。

１つの特徴は、当該オブジェクトの円周であり得る。この特徴は、当該粒子が異なる寸法を有するなら、粒子のタイプに関する有用な情報を提供することになるので選択されるべきであるが、当該粒子が概ね同一の寸法のものであるなら、この特徴は選択されるべきでない。

尿等の流体に含まれる粒子を特徴付ける場合であって、例えば細菌、結晶及び白血球等を探したい場合、或る群の特徴が最適であり得るが、同一の群は当該流体が乳汁である場合には十分な情報を提供するとは限らない。乳汁においては、脂肪滴及び体細胞（乳腺炎の場合）等の粒子を特徴付けるために異なる部分群を使用することができる。

選択された群の特徴が或るオブジェクトスタックに対して計算される場合、該特徴値は当該手順における次のステップ（最終的分類）に受け渡される。当該特徴の群は（１７，３，１９９，…，１１）等の値のリストであり得、その場合、各値は特定の特徴に関する計算された値である。

上記群の特徴は、粒子を分類するために、人工知能処理システム５０に伝送される。

実施例：イースト菌の生存性
この実施例では、上述した粒子分類器システムを用いてイースト菌を分類する方法を説明する。イースト菌は“死んでいる”又は“生きている”の何れかとして分類される。

複数のイースト菌を含む液体サンプルが上述した粒子分類器を用いて分析され、各スタックが少なくとも１つの合焦状態のオブジェクト及び２つの焦点の外れたオブジェクトを含む複数のスタックのオブジェクトが取得された。

図５には、或るスタックのオブジェクトが示されている。左上の隅において、オブジェクトは負方向に焦点が外れている。当該オブジェクトは左から右、行から行への順番で整列されている。該オブジェクトの順番を辿ると、焦点Ｆは徐々に増加し、最終的に矢印で示され、太線で囲まれた完全な焦点（合焦状態オブジェクト）に到達することが分かる。続くオブジェクトは徐々に焦点が外れる（正方向に焦点が外れる）。このようにして、単一のイースト菌の完全な焦点挙動を、図５ａに示されたような１つの複合画像で見ることができる。図５ｂは、図５ａのスタックに関する焦点曲線を示す。

図６ａは、図５ａのスタックのオブジェクトに対応する順序で整列されたオブジェクトの他のスタックのオブジェクトを示す。図６ｂは図６ａのスタックに関する焦点曲線を示す。

当該粒子分類器システムは、図５ａに見られるイースト菌を死んだイースト菌として分類し、図６ａのイースト菌を生きたイースト菌として分類する。

合焦状態のオブジェクトのみを見ると（即ち、矢印により示されるように）、外観には明確な差は存在せず、細胞の生存性（“死んでいる”又は“生きている”）を判断することは非常に困難であり、時には不可能でさえある。形態的又はテクスチャ的特徴は、当該細胞が死んでいるか又は生きているかを明らかにすることはない。

しかしながら、イースト菌の焦点が外れた情報を用いると、生存性を判断することが大幅に簡単になることが分かる。例えば、図６ａの焦点が外れたオブジェクトの幾つかは、生きているイースト菌の中心に明るいスポットを示している。図５ａの焦点が外れたオブジェクトは、このような特徴は有していない。

更に、図５ｂ及び６ｂに示された焦点曲線は互いに著しく相違していることが分かる。死んだ細胞に対して、焦点曲線は単峰型ガウス状曲線として現れる（即ち、該焦点曲線は単一の極大を有する）。生きた細胞に対して、焦点曲線は二峰型ガウス状曲線として現れる（即ち、２つの極大を伴う）。

粒子を分類するための集合的特徴の使用
未知の寸法又は形状の単一栽培イースト菌のサンプルにおいて、各細胞（菌体）を増殖（spawning）段階に従って分類したい。全ての細胞は増殖段階にあり、細胞は単独であるか（増殖していない）、２つの細胞が繋がっているか（一代目で増殖している）、又は複数のオブジェクトが繋がっている（一層高いレベルの増殖）と仮定する。区分化、スタックの生成及び特徴の計算の後、当該粒子の寸法分布は単一細胞寸法の倍数の付近でピークを示す（即ち、１単位寸法、２単位寸法、等々の付近でピークを示す）。最も低い側のピークが、この時点まで未知であった単一細胞の寸法に対応することは明らかである。かくして、当該集合内の全ての粒子は上記分布における最も近いピークに従って分類することができる。即ち、最も低い側のピークに最も近い粒子は増殖しておらず、２番目のピークに近い粒子は一代目で増殖している細胞として分類される。

Claims (14)

1. 液体サンプル中の粒子を分類するためのシステムであって、該システムは、
   − 少なくとも１つの画像収集装置、及び光軸を持つ対応するレンズを有し、該画像収集装置が前記光軸に垂直な画像取得領域の画像を収集する光学検出アセンブリと、
   − 粒子を含む液状のサンプルを保持するのに適した少なくとも１つのサンプル容器を有するサンプル装置と、
   − 前記サンプル容器の少なくとも一部を介して前記画像取得領域を、収集される各画像の間のステップ長で平行移動させる平行移動装置と、
   − 複数の画像取得領域の画像を収集するために前記光学検出アセンブリ及び前記平行移動装置を制御するコントローラと、
   − 収集された前記画像により捕捉された個々の粒子のオブジェクトを生成すると共に、前記オブジェクトの各々を前記個々の粒子の異なる画像を有する対応するオブジェクトのスタックに割り当てることによって、前記収集された画像を分析し、前記個々の粒子に対して一群の特徴を決定するようプログラムされた画像プロセッサと、
   − 前記個々の粒子に対する前記一群の特徴を、粒子についての粒子分類に関連付けるようプログラムされた人工知能プロセッサと、
   を有し、
   − 前記画像収集装置が、前記個々の粒子の少なくとも３つの画像を収集し、前記個々の粒子は合焦状態又は焦点外れ状態であり、
   − 前記画像プロセッサが、収集された前記少なくとも３つの画像によって捕捉された前記個々の粒子のオブジェクトを生成し、前記オブジェクトのスタックは、前記個々の粒子が合焦状態である少なくとも１つのオブジェクト及び前記個々の粒子が焦点外れ状態である２つのオブジェクトを含むようにされる、
   システム。
2. 訓練モード及び分類モードを含む２つの動作モードを有する、請求項１に記載のシステム。
3. − 前記画像プロセッサが更に、少なくともＮ個の特徴の前記一群の特徴に関する一群の値を決定し、Ｎが１以上であり、前記一群の特徴の前記一群の値の決定は、前記個々の粒子が合焦状態である前記少なくとも１つのオブジェクト及び／又は前記個々の粒子が焦点外れ状態である少なくとも前記２つのオブジェクトから得られたデータを含む、請求項１に記載のシステム。
4. 前記平行移動装置が、前記サンプル装置及び前記光学検出アセンブリを相対的に移動させる、請求項１に記載のシステム。
5. サンプル容器内に保持されるサンプル中の個々の粒子のオブジェクトを生成する方法であって、該方法は、
   − 画像収集装置及び対応するレンズによって前記サンプル容器内に形成された前記レンズの光軸に垂直な画像取得領域を、前記サンプル容器内の複数の位置に平行移動させるステップと、
   − 前記サンプル容器内の前記複数の位置において前記画像取得領域の画像を収集するステップと、
   − 収集された前記画像により捕捉された前記サンプル中の個々の粒子のオブジェクトを生成するステップによって、前記個々の粒子に対して一群の特徴を決定するステップと、
   を有し、前記個々の粒子のオブジェクトを生成するステップは、
   − 前記個々の粒子を取り囲むオブジェクト外周線内の全ピクセルをコピーするステップと、
   − コピーされた前記ピクセルに、形状フィルタ、寸法フィルタ、コントラストフィルタ又は輝度フィルタを含む少なくとも１つのフィルタにおいてフィルタ処理を施すステップと、を有し、
   前記個々の粒子のオブジェクトを生成するステップは、更に、
   − 収集された前記少なくとも３つの画像によって捕捉された前記個々の粒子のオブジェクトを生成し、前記個々の粒子が合焦状態である少なくとも１つのオブジェクト及び前記個々の粒子が焦点外れ状態である２つのオブジェクトを含むように前記オブジェクトのスタックを生成するステップ、
   を有する、方法。
6. 前記個々の粒子を取り囲む前記オブジェクト外周線が多角形又は円の形状である、請求項５に記載の方法。
7. 前記画像プロセッサが、オブジェクトの完全なスタックを識別するようプログラムされ、前記オブジェクトの完全なスタックは、（ｉ）少なくとも５つのオブジェクト、（ｉｉ）少なくとも９つのオブジェクト、（ｉｉｉ）少なくとも１５のオブジェクト、（ｉｖ）少なくとも２５のオブジェクト、及び（ｖ）少なくとも４９のオブジェクトの少なくとも１つを有する、請求項１に記載のシステム。
8. 前記画像プロセッサが、焦点が外れたオブジェクトに関する特徴、焦点が合ったオブジェクトのグレイスケール版に関する特徴、焦点が合ったオブジェクトの閾処理版に関する特徴、並びに焦点が合ったオブジェクト及び焦点が外れたオブジェクトの両方に関係する特徴、の少なくとも１つを含む一群の特徴に関する値を決定するようにプログラムされる、請求項１に記載のシステム。
9. 前記粒子についての粒子分類が、細菌、古細菌、イースト、菌類、花粉、ウイルス、顆粒球、白血球、単球、赤血球、血小板、卵母細胞、精子、接合子、幹細胞、体細胞、結晶、脂肪滴、及びこれらの混合物からなる群から選択される、請求項１に記載のシステム。
10. 前記少なくとも１つの画像収集装置が画像の群を順次収集し、前記人工知能プロセッサが第１群の画像により捕捉された粒子及び少なくとも第２群の画像により捕捉された粒子を分類し、且つ、前記第１群の画像からオブジェクトのスタックの第１集合を生成すると共に前記第２群の画像からオブジェクトのスタックの第２集合を生成する、請求項１に記載のシステム。
11. 前記第１集合の個々の粒子のオブジェクトのスタック及び前記第２集合の個々の粒子のオブジェクトのスタックを識別すると共に、前記第１集合の前記オブジェクトのスタックと前記第２集合の個々の粒子のオブジェクトのスタックとの間の変化を検出する、請求項１０に記載のシステム。
12. 前記画像プロセッサが分類されていない粒子に対して一群の特徴に関する値を決定すると共に特徴の群の集合を作成し、前記分類されていない粒子が前記特徴の群の集合を用いて分類される、請求項１に記載のシステム。
13. サンプル容器内に保持される試験液体サンプルを目標粒子の存在に関して分析する方法であって、
    − 前記試験液体サンプルを供給するステップと、
    − 画像収集装置及び対応するレンズによって前記サンプル容器内に形成される画像取得領域を、前記サンプル容器内の複数の位置に平行移動させるステップと、
    − 前記サンプル容器内の前記複数の位置において、前記試験液体サンプル中の個々の粒子の少なくとも３つの画像をそれぞれ収集するステップであって、前記個々の粒子がそれぞれ、合焦状態又は焦点外れ状態であるステップと、
    − 収集された前記画像により捕捉された前記個々の粒子のオブジェクトをそれぞれ生成すると共に、個々の粒子の各々に関するオブジェクトのスタックを供給するステップと、
    − オブジェクトの完全なスタックを識別するステップであって、識別された前記オブジェクトの完全なスタックの各々は、対応する前記個々の粒子が合焦状態であるオブジェクト及び対応する前記個々の粒子が焦点外れ状態である２つのオブジェクトを少なくとも含むステップと、
    − 前記識別されたオブジェクトの完全なスタックの各々に対して、少なくともＮ個の特徴の一群の特徴を決定するステップであって、Ｎが１以上であるステップと、
    − 個々の粒子の各々に対する決定された前記一群の特徴に関する前記一群の値を、前記個々の粒子を分類すると共に前記個々の粒子の中から少なくとも１つの目標粒子が分類されたかを決定するように関連付けるステップと、
    を有する、方法。
14. 前記試験液体サンプル中の前記目標粒子の数を決定するために定量的な分析を実行するステップを更に有する、請求項１３に記載の方法。
    

Images