JP7465914B2 - 生体粒子の分類のシステム及び方法 - Google Patents

Description

血液学的条件の検出を含む多くの研究及び臨床用途において有用な細胞及び粒子を含む、生体粒子の同定及び列挙。

自動化された生体粒子の認識は、複雑な動作が時間に敏感な様式で、しばしば限られた計算資源を有するハードウェア上で、実行されることを要求するタスクである。したがって、システムの各フェーズが効率的であることが重要である。特に血球については、自動化された生体粒子認識は、従来、高度な前処理を必要とする技術を使用して行われてきた。これは、計算効率と記述力の間の妥協の必要性をもたらす。更に、このような複雑な演算に必要とされる要因が多いため、従来システムの分析及び故障診断は、不可能ではないにせよ煩雑であり得る。

したがって、自動化された生体粒子分類の効率及び精度を増大させながら、計算要件を低下させる改善された方法に対するニーズが依然としてある。本開示の実施形態は、この問題及び他の問題に対処する。

本開示は、生体試料中の細胞及び他の粒子を含む生体粒子のリアルタイム分類に好適な、自動化された画像ベースの特徴抽出及び分類アーキテクチャを含むシステムに関する。このシステムは、医療診断ツールとして使用され得、細胞及び／又は粒子の同定及び定量を向上させ得る。開示される画像ベースの分類システムは、画像取得、特徴抽出、特徴選択、及びカスケード分類機アーキテクチャを使用した細胞又は粒子の分類の決定、という４つの主要なステップを含む。生体試料内に含まれる細胞及び／又は粒子を分析するために、細胞又は粒子の画像がまず収集又は取得されてもよい。次いでシステムは、これらの画像を使用して、「特徴」と呼ばれる特定の数値若しくはカテゴリ値又は特性を個々の画像から抽出し得る。次いでシステムは、抽出された特徴の分析において、階層的又はカスケード型分類アーキテクチャを使用し得る。様々な実施形態によれば、決定ステップで使用されるカスケード分類機アーキテクチャは、２つのレベルの分析を含み得る。第１のレベルの分析の結果が確定的ではない場合、生体試料（例えば血液試料）の抽出された特徴のうちの選択したものに対して、第２のレベルの分析を遂行してもよい。

例示的なアーキテクチャにおいて、生体試料の一組の選択された抽出された特徴は、既知の特性を有する細胞又は粒子から抽出された一組の選択された特徴と比較され得る。多くの場合、比較（「第１のレベルモデル」）は、細胞又は粒子の正確な同定を提供する。少数のケースにおいて、細胞又は粒子の分類は、細胞又は粒子を分類する更なるステップ（「第２のレベルモデル」）を必要とする。このステップは、第１のレベルの数値又はカテゴリ値を第２のレベルモデルと組み合わせて使用することを含んでもよい。この２レベル式アーキテクチャは、第１のレベルの後又は第２のレベルの後のいずれかに、システムが各画像を分類又はカテゴリに正確に割り振ることを可能にする。

本明細書で論じる血液粒子特徴選択及び画像分類アーキテクチャシステム並びに方法は、他の伝統的な手法と比較すると、様々な利益及び恩恵を提供することができる。例えば、本発明の実施形態は、特徴抽出計算量を最小値に保つことができるシステム及び方法を提供する。場合によっては、特定の特徴を必要とするアーキテクチャ内の特定の分類機に細胞イベントが到達するまで、複雑かつ高価な特徴計算を延期することができる。多くの場合には、特徴の大部分は計算する必要がないであろう。特徴抽出は、いずれの自動化された分類システムでも高価な段階であり得る。本明細書で開示されるアーキテクチャシステム及び方法は、複雑度と性能のバランスをとるための単純だが強力な手法を導入する。その上、カスケードアーキテクチャの分類機システムは、モジュール式で、スケーラブルであり、事後分析するのが簡単であり得る。システムの出力は、個々の分類機に容易にトレースバックすることができる。個々の分類機は、アーキテクチャの残部を手つかずの状態に維持しながら、容易に再訓練又はアップグレードすることができる。対照的に、多くの伝統的な手法は、多数の特徴を有する単一の分類機から構成され、これは、アーキテクチャの分析及び故障診断を不可能ではないにせよ煩雑にする。本明細書で開示される例示的なシステム及び方法は、特徴選択段階において定義されるカスケードアーキテクチャ内の処理順序を提供することができ、これは、訓練データ中の全てのカテゴリにおける分離性の測定値を使用する。分離性のメトリックは、分類ワークフローの最初にどのカテゴリが最も処理しやすいかを決定するために使用することができる。分離性が複雑なものは、カスケードの最後に残すことができる。例示的なシステム及び方法の実施形態によれば、分類機内の低レベル複雑度（レベル１）と高レベル複雑度（レベル２）との間の伝達関数の特徴は、両レベル間の滑らかな遷移を可能にする。これにより、特徴量の変化が少ない類似画像が処理される場合、２つのレベル間に確かな閾値が存在せず、むしろ連続的な遷移があることにより、システム応答のばらつきを低減することができる。

一態様では、生体試料中の粒子の分類を決定する方法が提供され、方法は、粒子の画像を取得することと、プロセッサシステムで粒子の画像を受信することと、非一時的なコンピュータ可読媒体上に記憶されたコンピュータ実行可能コードをプロセッサシステムを使用して実行することとを含み、コンピュータ実行可能コードは、プロセッサシステム上の命令を含む。いくつかの例では、プロセッサシステム上で実行されるとき、命令は、画像の画素の内容及び位置に基づいて画像から複数の特徴を抽出することを含み得る抽出ルーチンをプロセッサシステムに遂行させる。いくつかの例では、抽出することは、画像に第１のマスクを適用し、第１のマスクを適用することに基づいて画像から第１の組の画素を取得し、第１の組の画素から複数の特徴を決定することを含む。いくつかの例では、マッピングすることは、抽出された特徴のサブセットを分類機アーキテクチャにマッピングすることを含むマッピングルーチンを遂行することを含む。いくつかの例では、マッピングすることは、第１のレベルモデルを使用して、抽出された特徴のサブセットを以前記憶されたデータセットと比較し、抽出された特徴のサブセットと以前記憶されたデータセットとの比較に基づいて予備分類を同定することを含む。いくつかの例では、マッピングすることは、第１のレベルモデルを使用して予備分類が正しい確率値を算出することを含み、確率値が閾値以上であるとき、予備分類に基づいて分類を決定することも含み得る。

一態様では、生体試料中の粒子の分類を決定する方法が提供され、方法は、粒子の画像を取得することと、画像の画素の内容及び位置に基づいて画像から複数の特徴を抽出することと、抽出された特徴のサブセットを選択することと、抽出された特徴のサブセットをカスケード分類機アーキテクチャにマッピングすることと、第１のレベルモデルを使用して予備分類が正しい確率値を算出することと、確率値が閾値以上であるとき、予備分類に基づいて分類を決定することと、を含む。いくつかの例では、抽出することは、画像に第１のマスクを適用し、第１のマスクを適用することに基づいて画像から第１の組の画素を取得し、第１の組の画素から複数の特徴を決定することを含む。いくつかの例では、マッピングすることは、第１のレベルモデルを使用して、抽出された特徴のサブセットを以前記憶されたデータセットと比較し、抽出された特徴のサブセットと以前記憶されたデータセットとの比較に基づいて予備分類を同定することを含む。いくつかの例では、マッピングすることは、第１のレベルモデルを使用して予備分類が正しい確率値を算出することを含み、確率値が閾値以上であるとき、予備分類に基づいて分類を決定することも含み得る。

いくつかの例では、抽出方法は、第２の組の画素を取得するために第２のマスクを画像に適用することを含む。いくつかの例では、第１のマスク及び第２のマスクは、円形又はリング形状であってよい。いくつかの例では、異なるマスクの適用は、異なる画素を明らかにする。いくつかの例では、第１のマスク及び第２のマスクは、所定の順序で適用してもよい。

いくつかの例では、抽出方法は、第１の組の画素を群へとクラスタ化することを含む。

いくつかの例では、抽出方法は、クラスタ化された画素群からカラーパレットを作成することを含む。

いくつかの例では、抽出方法は、カラーパレットに部分的に基づいて画像のラベルを決定することを含む。

いくつかの例では、抽出方法は、画像をマスクサイズに正規化することを含む。

いくつかの例では、抽出方法は、第１のマスクを単位大きさに正規化することを含む。

いくつかの例では、抽出方法は、赤色緑色青色（red－green－blue、ＲＧＢ）色相彩度値（hue－saturation－value、ＨＳＶ）、色相彩度明度（hue－saturation－lightness、ＨＳＬ）、又は色相彩度明度（hue－saturation－brightness、ＨＳＢ）を含む選択され
た色空間を使用することを含む。

いくつかの例では、抽出された特徴の選択されたサブセットは、訓練特徴、検証特徴、又はテスト特徴を含む。いくつかの例では、抽出された特徴のサブセットは、カスケード分類機アーキテクチャにマッピングされる。

いくつかの例では、第１のレベルモデルは機械学習モデルである。

いくつかの例では、マッピング方法は、確率値が閾値未満であるとき、細胞又は粒子分類を決定するために第２のレベルモデルを使用することを含む。いくつかの例では、第２のレベルモデルは機械学習モデルである。

いくつかの例では、粒子は、好中球、リンパ球、単球、好酸球、好塩基球、未成熟白血球、網状赤血球、有核赤血球、赤血球、上皮細胞、細菌、酵母、又は寄生虫であってもよい。

別の態様では、生体試料中の粒子の分類を決定する方法が提供され、この方法は、第２のレベルモデルを含む。いくつかの例では、第２のレベルモデルは、確率値を第２のレベルモデルで受信することと、粒子カテゴリに関する分類性能に従ってソートされた値のリストを作成することと、第２のレベルの確率値を作成するために確率値とソートされたリストとを組み合わせることと、細胞又は粒子分類を決定するために第１のレベルモデルで決定された確率値と第２のレベルモデルで決定された確率値とを使用することと、を含む。

別の態様では、生体試料中の粒子の分類を決定するシステムが提供され、システムは、プロセッサ及びプロセッサに連結されたコンピュータ可読記憶媒体を含み、コンピュータ可読記憶媒体は、方法を実装するためにプロセッサによって実行可能なコードを含み、方法は、粒子の画像を取得することと、画像の画素の内容及び位置に基づいて画像から複数の特徴を抽出することと、抽出された特徴のサブセットを選択することと、抽出された特徴のサブセットをカスケード分類機アーキテクチャにマッピングすることと、を含む。いくつかの例では、抽出することは、画像に第１のマスクを適用し、第１のマスクを適用することに基づいて画像から第１の組の画素を取得し、第１の組の画素から複数の特徴を決定することを含む。いくつかの例では、マッピングすることは、抽出された特徴のサブセットを以前記憶されたデータセットと比較するために第１のレベルモデルを使用することと、抽出された特徴のサブセットと以前記憶されたデータセットとの比較に基づいて予備分類を同定することと、第１のレベルモデルを使用して予備分類が正しい確率値を算出することと、確率値が閾値以上であるとき、予備分類に基づいて分類を決定することと、を含む。場合によっては、コンピュータ可読記憶媒体は、本明細書で開示される方法のいずれかを実装するためのプロセッサによって実行可能なコードを含む。いくつかの例では、システムは、デジタル顕微鏡カメラを使用する。本発明の実施形態はまた、１つ以上のプロセッサによって実行可能なプログラム命令を含む非一時的コンピュータ可読記憶媒体であって、プログラム命令は、実行されると、１つ以上のプロセッサに動作を遂行させ、動作は、本明細書で開示される方法のいずれかを含む、非一時的コンピュータ可読記憶媒体、を包含する。

別の態様では、抽出された特徴のサブセットを分類機アーキテクチャにマッピングすることによって生体試料中の粒子の分類を決定する方法であって、マッピングすることは、抽出された特徴のサブセットを以前記憶されたデータセットと比較するために第１のレベルの機械学習モデルを使用することであって、抽出された特徴は画像から抽出される、使用することと、第１のレベルの機械学習モデルを使用して確率値を算出することと、確率値を所定の比較表と比較することと、確率値が閾値以上である場合、粒子分類を決定することと、確率値が当該閾値未満である場合、第２のレベルの機械学習モデルを使用することと、第２のレベルの機械学習モデルを使用して細胞又は粒子カテゴリに関する分類性能に従って昇順にソートされた値のリストを作成することと、第２のレベルのスコアを作成するために確率値とソートされた値のリストとを組み合わせることと、粒子分類を決定するために第２のレベルのスコアを使用することと、を含む、方法、が提供される。

上述のことは、他の特徴及び実施形態と共に、以下の明細書、特許請求の範囲、及び図面を参照するとより明らかになるであろう。
本発明は、例えば、以下を提供する。
（項目１）
生体試料中の粒子の分類を決定する方法であって、前記方法は、
前記粒子の画像を取得することと、
プロセッサシステムにおいて前記粒子の前記画像を受信することと、
非一時的なコンピュータ可読媒体上に記憶されたコンピュータ実行可能コードを前記プロセッサシステムを使用して実行することと
を含み、
前記コンピュータ実行可能コードは、命令を含み、前記命令は、前記プロセッサシステム上で実行されると、
抽出ルーチンを遂行することであって、前記抽出ルーチンは、前記画像の画素の内容及び位置に基づいて前記画像から複数の特徴を抽出することを含み、前記抽出することは、
第１のマスクを前記画像に適用すること、
前記第１のマスクを適用することに基づいて前記画像から第１の組の画素を取得すること、及び
前記第１の組の画素から前記複数の特徴を決定すること
を含む、ことと、
前記抽出された特徴のサブセットを選択することと、
マッピングルーチンを遂行することであって、前記マッピングルーチンは、前記抽出された特徴の前記サブセットを分類機アーキテクチャにマッピングすることを含み、前記マッピングすることは、
前記抽出された特徴の前記サブセットを以前記憶されたデータセットと比較するために第１のレベルモデルを使用すること、
前記抽出された特徴の前記サブセットと前記以前記憶されたデータセットとの前記比較に基づいて予備分類を同定すること、
前記第１のレベルモデルを使用して前記予備分類が正しい確率値を算出すること、及び
前記確率値が閾値以上であるとき、前記予備分類に基づいて前記分類を決定すること
を含む、ことと
を前記プロセッサシステムに行わせる、方法。
（項目２）
前記抽出することは、第２の組の画素を取得するために第２のマスクを前記画像に適用することを含む、項目１に記載の方法。
（項目３）
前記第１のマスク及び前記第２のマスクは、円形又はリング形状である、項目２に記載の方法。
（項目４）
前記異なるマスクの適用は、異なる画素を明らかにする、項目２又は３に記載の方法。
（項目５）
前記第１のマスク及び前記第２のマスクは、所定の順序で適用される、項目２～４のいずれか一項に記載の方法。
（項目６）
前記抽出することは、前記第１の組の画素を群へとクラスタ化することを含む、項目１～５のいずれか一項に記載の方法。
（項目７）
前記抽出することは、前記クラスタ化された画素群からカラーパレットを作成することを含む、項目６に記載の方法。
（項目８）
前記抽出することは、前記カラーパレットに部分的に基づいて前記画像のラベルを決定することを含む、項目７に記載の方法。
（項目９）
前記抽出することは、前記画像をマスクサイズに正規化することを含む、項目１～８のいずれか一項に記載の方法。
（項目１０）
前記抽出することは、前記第１のマスクを単位大きさに正規化することを含む、項目１～９のいずれか一項に記載の方法。
（項目１１）
前記抽出することは、赤色緑色青色（ＲＧＢ）色相彩度値（ＨＳＶ）、色相彩度明度（ＨＳＬ）、又は色相彩度明度（ＨＳＢ）を含む選択された色空間を使用することを含む、項目１～１０のいずれか一項に記載の方法。
（項目１２）
前記抽出された特徴の前記選択されたサブセットは、訓練特徴、検証特徴、又はテスト特徴を含む、項目１～１１のいずれか一項に記載の方法。
（項目１３）
前記抽出された特徴の前記サブセットは、カスケード分類機アーキテクチャにマッピングされる、項目１～１２のいずれか一項に記載の方法。
（項目１４）
前記第１のレベルモデルは、機械学習モデルである、項目１～１３のいずれか一項に記載の方法。
（項目１５）
前記マッピングすることは更に、
前記確率値が前記閾値未満であるとき、前記粒子分類を決定するために第２のレベルモデルを使用することを含む、項目１～１４のいずれか一項に記載の方法。
（項目１６）
前記第２のレベルモデルは、機械学習モデルである、項目１５に記載の方法。
（項目１７）
前記第２のレベルモデルを使用することは、
前記確率値を前記第２のレベルモデルで受信することと、
粒子カテゴリに関する分類性能に従ってソートされた値のリストを作成することと、
第２のレベルの確率値を作成するために前記確率値と前記ソートされたリストとを組み合わせることと、
前記粒子分類を決定するために前記第１のレベルの確率値と前記第２のレベルの確率値とを使用することとを更に含む、項目１５又は１６に記載の方法。
（項目１８）
前記粒子は、好中球、リンパ球、単球、好酸球、好塩基球、未成熟白血球、網状赤血球、有核赤血球、赤血球、上皮細胞、細菌、酵母、又は寄生虫からなる群から選択されるメンバーを含む、項目１～１７のいずれか一項に記載の方法。
（項目１９）
生体試料中の粒子の分類を決定するシステムであって、前記システムは、
プロセッサ及び前記プロセッサに連結されたコンピュータ可読記憶媒体を含み、前記コンピュータ可読記憶媒体は、
前記粒子の画像を取得することと、
前記画像の画素の内容及び位置に基づいて前記画像から複数の特徴を抽出することであって、前記抽出することは、
第１のマスクを前記画像に適用すること、
前記第１のマスクを適用することに基づいて前記画像から第１の組の画素を取得すること、及び
前記第１の組の画素から前記複数の特徴を決定すること
を含む、ことと、
前記抽出された特徴のサブセットを選択することと、
前記抽出された特徴の前記サブセットを分類機アーキテクチャにマッピングすることであって、前記マッピングすることは、
前記抽出された特徴の前記サブセットを以前記憶されたデータセットと比較するために第１のレベルモデルを使用すること、
前記抽出された特徴の前記サブセットと前記以前記憶されたデータセットとの前記比較に基づいて予備分類を同定すること、
前記第１のレベルモデルを使用して前記予備分類が正しい確率値を算出すること、及び
前記確率値が閾値以上であるとき、前記予備分類に基づいて前記分類を決定すること
を含む、ことと
を含む方法を実装するための前記プロセッサによって実行可能なコードを含む、システム。
（項目２０）
前記システムは、デジタル顕微鏡カメラを使用する、項目１９に記載のシステム。
（項目２１）
抽出された特徴のサブセットを分類機アーキテクチャにマッピングすることによって生体試料中の粒子の分類を決定する方法であって、前記マッピングすることは、
前記抽出された特徴のサブセットを以前記憶されたデータセットと比較するために第１のレベルの機械学習モデルを使用することであって、前記抽出された特徴は画像から抽出される、使用することと、
前記第１のレベルの機械学習モデルを使用して確率値を算出することと、
前記確率値を所定の比較表と比較することと、
前記確率値が閾値以上である場合、粒子分類を決定することと、
前記確率値が前記閾値未満である場合、第２のレベルの機械学習モデルを使用することと、
前記第２のレベルの機械学習モデルを使用して粒子カテゴリに関する分類性能に従って昇順にソートされた値のリストを作成することと、
第２のレベルのスコアを作成するために前記確率値と前記ソートされた値のリストとを組み合わせることと、
粒子分類を決定するために前記第２のレベルのスコアを使用することと、を含む、方法。
（項目２２）
生体試料中の粒子の分類を決定する方法であって、前記方法は、
前記粒子の画像を取得することと、
前記画像の画素の内容及び位置に基づいて前記画像から複数の特徴を抽出することであって、前記抽出することは、
第１のマスクを前記画像に適用すること、
前記第１のマスクを適用することに基づいて前記画像から第１の組の画素を取得すること、及び
前記第１の組の画素から前記複数の特徴を決定すること
を含む、ことと、
前記抽出された特徴のサブセットを選択することと、
前記抽出された特徴の前記サブセットを分類機アーキテクチャにマッピングすることであって、前記マッピングすることは、
前記抽出された特徴の前記サブセットを以前記憶されたデータセットと比較するために第１のレベルモデルを使用すること、
前記抽出された特徴の前記サブセットと前記以前記憶されたデータセットとの前記比較に基づいて予備分類を同定すること、
前記第１のレベルモデルを使用して前記予備分類が正しい確率値を算出すること、及び
前記確率値が閾値以上であるとき、前記予備分類に基づいて前記分類を決定すること
を含む、ことと
を含む、方法。
（項目２３）
前記抽出することは、第２の組の画素を取得するために第２のマスクを前記画像に適用することを含む、項目２２に記載の方法。
（項目２４）
前記第１のマスク及び前記第２のマスクは、円形又はリング形状である、項目２３に記載の方法。
（項目２５）
前記異なるマスクの適用は、異なる画素を明らかにする、項目２３又は２４に記載の方法。
（項目２６）
前記第１のマスク及び前記第２のマスクは、所定の順序で適用される、項目２３～２５のいずれか一項に記載の方法。
（項目２７）
前記抽出することは、前記第１の組の画素を群へとクラスタ化することを含む、項目２２～２６のいずれか一項に記載の方法。
（項目２８）
前記抽出することは、前記クラスタ化された画素群からカラーパレットを作成することを含む、項目２７に記載の方法。
（項目２９）
前記抽出することは、前記カラーパレットに部分的に基づいて前記画像のラベルを決定することを含む、項目２８に記載の方法。
（項目３０）
前記抽出することは、前記画像をマスクサイズに正規化することを含む、項目２２～２９のいずれか一項に記載の方法。
（項目３１）
前記抽出することは、前記第１のマスクを単位大きさに正規化することを含む、項目２２～３０のいずれか一項に記載の方法。
（項目３２）
前記抽出することは、赤色緑色青色（ＲＧＢ）色相彩度値（ＨＳＶ）、色相彩度明度（ＨＳＬ）、又は色相彩度明度（ＨＳＢ）を含む選択された色空間を使用することを含む、項目２２～３１のいずれか一項に記載の方法。
（項目３３）
前記抽出された特徴の前記選択されたサブセットは、訓練特徴、検証特徴、又はテスト特徴を含む、項目２２～３２のいずれか一項に記載の方法。
（項目３４）
前記抽出された特徴の前記サブセットは、カスケード分類機アーキテクチャにマッピングされる、項目２２～３３のいずれか一項に記載の方法。
（項目３５）
前記第１のレベルモデルは、機械学習モデルである、項目２２～３４のいずれか一項に記載の方法。
（項目３６）
前記マッピングすることは、
前記確率値が前記閾値未満であるとき、前記粒子分類を決定するために第２のレベルモデルを使用することを更に含む、項目２２～３５のいずれか一項に記載の方法。
（項目３７）
前記第２のレベルモデルは、機械学習モデルである、項目３６に記載の方法。
（項目３８）
前記第２のレベルモデルを使用することは、
前記確率値を前記第２のレベルモデルで受信することと、
粒子カテゴリに関する分類性能に従ってソートされた値のリストを作成することと、
第２のレベルの確率値を作成するために前記確率値と前記ソートされたリストとを組み合わせることと、
前記粒子分類を決定するために前記第１のレベルの確率値と前記第２のレベルの確率値とを使用することと
を更に含む、項目３６又は３７に記載の方法。
（項目３９）
前記粒子は、好中球、リンパ球、単球、好酸球、好塩基球、未成熟白血球、網状赤血球、有核赤血球、赤血球、上皮細胞、細菌、酵母、又は寄生虫からなる群から選択されるメンバーを含む、項目２２～３８のいずれか一項に記載の方法。
（項目４０）
前記コンピュータ可読記憶媒体は、項目１～１８のいずれか１つの方法を実装するための前記プロセッサによって実行可能なコードを含む、項目１９又は２０に記載のシステム。
（項目４１）
１つ以上のプロセッサによって実行可能なプログラム命令を含む非一時的コンピュータ可読記憶媒体であって、前記プログラム命令は、実行されると、前記１つ以上のプロセッサに動作を遂行させ、前記動作は、項目１～１８のいずれか一項に記載の方法を含む、非一時的コンピュータ可読記憶媒体。

本明細書で開示される実施形態を実装するために使用され得る例示的なシステム及びアーキテクチャのブロック図を図示する。 本明細書で開示される実施形態を実装するために使用され得る例示的なシステム及びアーキテクチャのブロック図を図示する。

本発明のいくつかの実施形態による例示的な血球画像を図示する。

本発明のいくつかの実施形態による例示的な一組の二値同心リングマスクを図示する。

本発明のいくつかの実施形態による単一の二値リングマスクのための例示的なクラスタ化を図示する。

本発明のいくつかの実施形態による白血球型塩基球及び好酸球の例示的な特徴ヒストグラムを図示する。

本発明のいくつかの実施形態による細胞分類システムの例示的なアーキテクチャモデルを図示する。 本発明のいくつかの実施形態による細胞分類システムの例示的なアーキテクチャモデルを図示する。

本発明のいくつかの実施形態による生体試料中の粒子の分類を決定する方法の一例を図示するフローチャートである。

本発明のいくつかの実施形態による血液粒子画像、血液粒子カテゴリ、及び抽出した特徴の態様を図示する。

本発明のいくつかの実施形態によるカスケードモデル分類機アーキテクチャを図示する。

本発明の実施形態による分類機Ｃｌｊのための提案された内部構造を図示する。

本発明の実施形態による２つの特徴Ｆ_１及びＦ_２が付与された例示的なレベル１分類機を図示する。

本発明の実施形態によるレベル１分類機出力とレベル２分類機出力の間の例示的な遷移関数を例示する。

以下の記載においては、説明の適用上、具体的詳細が本発明の実施形態の完全な理解を提供するために示される。しかしながら、様々な実施形態は、これらの具体的詳細なしに実施されてもよいことが明らかである。例えば、回路、システム、アルゴリズム、構造、技術、ネットワーク、プロセス、及び他のコンポーネントは、非必要な詳細さで実施形態を不明瞭にしないために、ブロック図の構成要素として示されてもよい。

本発明の実施形態は、個別に図に示されるよりも多い又は少ない構成要素を含んでもよいことが理解されるべきである。図面及び説明は、限定することを意図していない。

なお、個々の実施形態は、流れ図、フロー図、データフロー図、構造図、又はブロック図として記述されていてもよい。フローチャートは、動作を逐次プロセスとして記述してもよいが、動作の多くは、並行して又は同時に遂行してもよい。加えて、操作順で再配置にしてもよい。プロセスは、その動作が完了したとき終了するが、図に含まれていない追加のステップを有し得る。プロセスは、方法、機能、手順、サブルーチン、及びサブプログラムなどに対応し得る。プロセスが機能に対応するとき、その終了は、呼び出し機能又は主要機能への機能の戻りに対応する。

本開示は、生体試料中の細胞及び／又は粒子のリアルタイム分類に好適な、自動化された画像ベースの特徴抽出及び分類アーキテクチャを含むシステムに関する。

自動化された粒子分類システムは、生体試料を分析して試料に含まれる１タイプ以上の細胞及び／又は粒子の組成及び／又は数を決定するために使用されてもよい。これらのシステムは、一般的に血液分析装置及びフローサイトメーターを含む。例えば、末梢血中の細胞集団の分析は、好中球、リンパ球、単核球、好酸球、及び好塩基球を含む白血球（white blood cell、ＷＢＣ）の５つの主要なサブタイプを検出及び列挙する能力を含む。例えば、末梢血液中の主な赤血球（red blood cell、ＲＢＣ）は、網状赤血球及び有核赤血球である。これらの細胞集団は、異なる形状及び機能を有し、試料中のこれらの集団の数及び存在は、病理学的状態、細胞成熟度、及び他の要因によって異なってもよい。細胞分類システムは、１つ以上の器具によって監視される小開口又は測定領域を細胞が通過するときに生成される信号を収集及び分析することによって様々なタイプの細胞を弁別することができる。自動化された細胞分類システムの有利な態様としては、複数のタイプの細胞をそれらのアーキテクチャに基づいて同定し、また細胞プロセス又は画像取得プロセスに起因するアーチファクト（例えば、古い又は損傷した細胞を描いた画像及びピンぼけの画像）を同定する能力が挙げられる。
血液学

血球分析は、患者の健康状態の概観を提供するために最も一般的に行われる医療検査の１つである。血液試料は、患者の体内から抜き出し、凝固を防止する抗凝固剤を含有した試験管に格納することができる。全血試料は、通常、赤血球（red blood cells、erythrocytes）、白血球（white blood cells、leukocytes）、及び血小板（platelets、thrombocytes）を含む、３つの主要な分類の血球を含む。各分類は、下位分類の構成物に更に分けることができる。例えば、白血球（ＷＢＣ）の５つの主要なタイプ又は下位分類は、異なる形状及び機能を有する。白血球は、好中球、リンパ球、単球、好酸球、及び好塩基球を含み得る。また、赤血球タイプの下位分類も存在する。試料内の粒子の外観は、病態、細胞成熟度、及び他の要因によって異なり得る。赤血球の下位分類は、網赤血球及び有核赤血球を含み得る。

いくつかの実施形態では、粒子は、好中球、リンパ球、単球、好酸球、好塩基球、血小板、網赤血球、有核赤血球（ＲＢＣ）、芽球、前骨髄球、骨髄球、後骨髄球、赤血球（ＲＢＣ）、血小板、細胞、細菌、粒子状物質、細胞凝集、又は細胞破片若しくは成分の少なくとも１つから選択される。

明示的に別段の定めをした場合を除き、本開示でなされる「粒子」又は「複数の粒子」への言及は、流体中に分散された任意の離散した、又は形成された物体を包含することを理解する。本明細書で用いるとき、「粒子」は、生体液中の全ての測定可能で検出可能な（例えば、画像及び／又は他の測定可能パラメータにより）構成要素を含むことができる。粒子は、任意の物質、任意の形状、及び任意のサイズのものである。特定の実施形態では、粒子は、細胞を含むことができる。粒子の例は、限定するものではないが、血球、胎児細胞、上皮細胞、幹細胞、腫瘍細胞を含む細胞、又は細菌、寄生虫、又は先述のいずれかの破片若しくは生体液中の別の破片を含む。血球は、潜在的に生体液中に存在する任意の正常又は異常、成熟又は未熟細胞を含む任意の血球、例えば赤血球（ＲＢＣ）、白血球（ＷＢＣ）、血小板（ＰＬＴ）、及び他の細胞であってもよい。構成物は、更に未熟又は異常細胞を含む。未熟ＷＢＣとしては、後骨髄球、骨髄球、前骨髄球、及び芽球が挙げられる。成熟ＲＢＣに加えて、ＲＢＣの構成物としては、有核ＲＢＣ（ＮＲＢＣ）及び網赤血球が挙げられる。ＰＬＴは、「巨大」ＰＬＴ及びＰＬＴ凝集を含んでもよい。本明細書を通して、画像は細胞又は粒子の画像であるものとして記載される。多くの場合、細胞として参照されるが、画像は任意の粒子のものであり得る。

例示的な粒子は、例えば球状粒子及び非球状粒子を含む、生体液試料中で形成された要素を含み得る。特定の実施形態では、粒子は、非球状成分を含んでもよい。いくつかの実施形態では、血小板、網赤血球、有核ＲＢＣ、並びに好中球、リンパ球、単球、好酸球、好塩基球を含むＷＢＣ、及び、芽球、前骨髄球、骨髄球又は後骨髄球を含む未熟ＷＢＣは、粒子として計数されて分析される。
尿検査

例示的な尿粒子は、尿沈渣粒子を含み得る。例示的な尿沈渣粒子は、赤血球（ＲＢＣ）、変形赤血球、白血球（ＷＢＣ）、好中球、リンパ球、食細胞、好酸球、好塩基球、扁平上皮細胞、移行上皮細胞、デコイ細胞、腎尿細管上皮細胞、円柱、結晶、細菌、酵母、寄生虫、卵円形脂肪体、脂肪小滴、精子、粘液、トリコモナス、細胞凝集及び細胞破片を含み得る。例示的な細胞は、赤血球、白血球及び上皮を含み得る。例示的な円柱は、無細胞色素円柱、分類不能円柱（例えば、顆粒円柱）を含み得る。例示的な無細胞円柱は、例えば、ろう様円柱、幅広円柱、脂肪円柱及び結晶円柱を含み得る。例示的な細胞性円柱は、例えば、ＲＢＣ円柱、ＷＢＣ円柱及び細胞性円柱を含み得る。例示的な結晶は、例えば、シュウ酸カルシウム、トリプルリン酸、カルシウムリン酸、尿酸、炭酸カルシウム、ロイシン、シスチン、チロシン及び無晶性結晶を含み得る。例示的な非扁平上皮細胞は、例えば、腎上皮及び移行上皮を含み得る。例示的な酵母は、例えば、出芽酵母及び仮性菌糸を有する酵母を含み得る。例示的な尿沈渣粒子はまた、ＲＢＣ凝集、脂肪、卵円形脂肪体及びトリコモナスを含み得る。

システムは、例えば、赤血球（ＲＢＣ）、変形赤血球、白血球（ＷＢＣ）、好中球、リンパ球、食細胞、好酸球、好塩基球、扁平上皮細胞、移行上皮細胞、デコイ細胞、腎尿細管上皮細胞、円柱、結晶、細菌、酵母、寄生虫、卵円形脂肪体、脂肪小滴、精子、粘液、トリコモナス、細胞凝集及び細胞破片の検出と定量化のような生体液中の粒子の特徴付け、分類と下位分類、計数と分析に有用であり得る。

異なる分類又はカテゴリへの細胞及び／又は粒子画像の割り振りは、複雑な計算タスクであり得る。いくらかの分析及び比較は、自動化されたシステムを通して行うことができるが、自動化が適切若しくは効果的に機能するように細胞及び／又は粒子の全ての画像が十分に鮮明であるとは限らず、又は既知の特徴及び／若しくは特性を有する細胞及び／若しくは粒子の画像に十分に類似しているとは限らない。抽出された特徴は、異なる程度の計算量を有し得る。多くの場合、細胞及び／又は粒子は、例えば色ベースの特徴を使用して、抽出された特徴の少ない数又は複雑度を用いて分類されてもよい。典型的には、色ベースの特徴は高速な計算タスクである一方、テクスチャ及び形状の特徴は低速な計算タスクであり、リアルタイム分類に対して制約を課し得る。リアルタイム分析の制約は、取得システムが予め定義されたスループット要件を満たすために、粒子のストリームの処理が一定の予想時間内に終わる必要があり得ることに関係する。しかしながら、一定の疾患状態又はシステム関連の変化（汚れ、フォーカス、細胞老化、その他）の下では、適切な細胞及び／又は粒子カテゴリを正しく同定するために、より高い複雑度を有する追加の特徴、したがってより大きな計算タスクを必要とする特徴が必要とされることがある。同定を必要とする全ての粒子に対して高い複雑度の特徴を使用することは、時間及び／又は計算上の制約のため、必ずしも常に実行可能ではない。本明細書の実施形態は、細胞及び／又は粒子、例えば血球及び／又は粒子のリアルタイム分類に好適であり得る分類アーキテクチャを提供する。

より具体的には、実施形態は、医療診断ツールとして使用され得、細胞及び／又は粒子の同定及び定量を向上させ得るシステムを提供し得る。開示される画像ベースの分類システムは、画像取得、特徴抽出、特徴選択、及びカスケード分類機アーキテクチャを使用した細胞又は粒子の分類の決定、という４つの主要なステップを含む。生体試料内に含まれる細胞及び／又は粒子を分析するために、細胞及び／又は粒子の画像がまず収集又は取得されてもよい。次いでシステムは、これらの画像を使用して、「特徴」と呼ばれる特定の数値若しくはカテゴリ値又は特性を個々の画像から抽出し得る。次いでシステムは、抽出された特徴の分析において、階層的又はカスケード型分類アーキテクチャを使用し得る。様々な実施形態によれば、決定ステップで使用されるカスケード分類機アーキテクチャは、２つのレベルの分析を含み得る。第１のレベルモデルの結果が確定的ではない場合、生体試料（例えば血液試料）の抽出された特徴のうちの選択したものに対して、第２のレベルの分析を遂行してもよい。

例示的なアーキテクチャにおいて、生体試料の一組の選択された抽出された特徴は、既知の特性を有する細胞又は粒子から抽出された一組の選択された特徴と比較され得る。多くの場合、比較（「第１のレベルモデル」）は、細胞又は粒子の正確な同定を提供する。少数のケースにおいて、細胞又は粒子の分類は、細胞又は粒子を分類する更なるステップ（「第２のレベルモデル」）を必要とする。このステップは、第１のレベルの数値又はカテゴリ値を第２のレベルモデルと組み合わせて使用することを含んでもよい。この２レベル式アーキテクチャは、第１のレベルの後又は第２のレベルの後のいずれかに、システムが各画像を分類又はカテゴリに正確に割り振ることを可能にする。
画像取得

いくつかの実施形態では、システムは、粒子の画像を収集又は取得するための分析装置を含み得る。いくつかの実施形態では、分析装置は、視覚的分析装置であってよい。一態様では、本開示は、高光学解像度撮像装置が画像を取り込むビューポートを有するフローセルに関心粒子を含む液体試料を流す、自動化された粒子イメージングシステムに関する。いくつかの態様では、高光学解像度撮像装置は、デジタルカメラなどのカメラを含む。一態様では、高光学解像度撮像装置は、対物レンズを含む。高レベルの解像度を有する画像の取り込みを容易にする例示的な画像取得技術は、２０１４年３月１７日に出願された特許出願第１４／２１６，８１１号、名称「ＡＮＡＬＹＳＩＳ ＯＦ ＰＡＲＴＩＣＬＥＳ ＩＮ ＦＬＵＩＤ ＳＡＭＰＬＥＳ」及び２０１５年９月１１日に出願された特許出願第１４／７７５，４４８号、名称「ＨＥＭＡＴＯＬＯＧＹ ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ」を含む他の出願に記載されており、その全体が参照により組み込まれる。画像取得の追加の態様としては、ノイズを除去及び／又は照明の変化を補償するための画像の前処理が挙げられるが、限定されない。

図１Ａは、本発明の実施形態による自動化された細胞又は粒子認識を遂行するために使用可能な例示的なシステム１００のブロック図を図示する。システム１００は、コンピューティングデバイス１１０及び分析装置１１５を含む様々な構成要素を含んでもよい。分析装置１１５は、例えば、２０１５年９月１１日に出願された特許出願第１４／７７５，４４８号、名称「ＨＥＭＡＴＯＬＯＧＹ ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ」に詳細に記載されているように、体液細胞の画像を取り込む体液システムを通して、生体粒子及び／又は細胞の画像を収集し得る。システム１００は、カスケード分類機アーキテクチャを介して特徴抽出、特徴選択、及び分類を遂行し、この分析において決定された情報を使用して細胞及び／又は粒子を分類することができる。分類のための画像は、記憶装置１８０に記憶されてもよく、かつ／又は外部装置又はデータベースからコンピュータによって受信されてもよい。例えば、分析装置１１５は、画像を収集してそれらを記憶装置１８０に記憶してもよい。基準画像を、比較のために、分析装置１１５を通じて、かつ／又は他の取り込み方法を通じて収集してもよく、記憶装置１８０に記憶してもよい。システム１００は、例えば、デスクトップコンピュータ、ラップトップコンピュータ、タブレット、ｅリーダー、スマートフォン若しくはモバイルデバイス、スマートウォッチ、携帯情報端末（personal data assistant、ＰＤＡ）、又は他の電子機器であり得るコンピュ
ーティングデバイス１１０を含み得る。コンピューティングデバイス１１０は、クラウドコンピューティング環境内にあってもよい。コンピューティングデバイス１１０は、ユーザにより利用されてもよい。コンピューティングデバイス１１０は、バス１３０を介して他のハードウェアとインターフェース接続されたプロセッサ１２０を含み得る。システム１００は、好ましくは、コンピューティングデバイス１１０のメモリ１４０上に記憶された１つ以上のソフトウェアプログラム又は命令１４５を含む。命令１４５は、図１Ｂに図示するカスケード分類機アーキテクチャ１８５などのカスケード分類機アーキテクチャを遂行するように動作可能であり得る。ソフトウェアプログラムは、システム１００の機械可読メモリ１４０内に記憶されてもよい。「メモリ」という用語は、本明細書において、インストール媒体、例えばＣＤ－ＲＯＭ若しくはフロッピー（登録商標）ディスク、ＤＲＡＭ、ＳＲＡＭ、ＥＤＯ ＲＡＭ、Ｒａｍｂｕｓ ＲＡＭなどのコンピュータシステムメモリ、又は磁気媒体、例えばハードドライブ、若しくは光記憶装置などの不揮発性メモリ、を含む様々なタイプのメモリを含むことを意図する。メモリ１４０は、他のタイプのメモリ又はそれらの組み合わせも含んでもよい。メモリ１４０は、コンピューティングデバイス１１０の動作を構成するプログラムコンポーネント（例えば、命令１４５及び／又はカスケード分類機アーキテクチャ１８５）を具現化し得る。いくつかの例では、コンピューティングデバイス１１０は、入力／出力（「Ｉ／Ｏ」）インターフェース構成要素１５０（例えば、ディスプレイ１６０、キーボード１７０、モニタ１６５、又はキーボード１７０、若しくはマウスとのインターフェース接続用）、及び記憶装置１８０を含み得る。記憶装置１８０は、カメラ入力からの試料画像及び分析用の基準画像を記憶してもよい。いくつかの実施形態では、基準画像は、カスケード分類機アーキテクチャのニューラルネットワーク実装のための訓練データとして使用され得る。記憶装置１８０は、例えば、Ｍｉｃｒｏｓｏｆｔ（登録商標）ＳＱＬ Ｓｅｒｖｅｒ（登録商標）データベース、Ｏｒａｃｌｅ（登録商標）データベース、又はＭｉｃｒｏｓｏｆｔ（登録商標）Ｅｘｃｅｌ（登録商標）スプレッドシートを含む、任意の好適なデータベースであり得る。

コンピューティングデバイス１１０は、ネットワーク構成要素１９０を更に含み得る。ネットワーク構成要素１９０は、ネットワーク接続を容易にする任意の構成要素のうちの１つ以上を表し得る。いくつかの例では、ネットワーク構成要素１９０は、無線接続を容易にし得、ＩＥＥＥ８０２．１１、Ｂｌｕｅｔｏｏｔｈ（登録商標）のような無線インターフェース、又は携帯電話ネットワークにアクセスするための無線インターフェース（例えば、ＣＤＭＡ、ＧＳＭ（登録商標）、ＵＭＴＳ、若しくは他のモバイル通信ネットワークにアクセスするためのトランシーバ／アンテナ）を含み得る。別の例では、ネットワーク構成要素１９０は、有線であり得、Ｅｔｈｅｒｎｅｔ（登録商標）、ＵＳＢ、又はＩＥＥＥ１３９４のようなインターフェースを含み得る。
また、記憶媒体１８０は、プログラムが実行され得る第１のコンピュータに位置してもよく、又はネットワーク１９０を通じて第１のコンピュータに接続する第２の異なるコンピュータに位置してもよい。ネットワーク１９０の例では、第２のコンピュータは、プログラム命令１４５を実行のために第１のコンピュータに提供してもよい。図１Ａは、単一のプロセッサ１２０を有する単一のコンピューティングデバイス１１０を示しているが、システム１００は、任意の数のコンピューティングデバイス１１０及び任意の数のプロセッサ１２０を含み得る。例えば、複数のコンピューティングデバイス１１０又は複数のプロセッサ１２０が、有線又は無線ネットワーク（例えば、広域ネットワーク、ローカルエリアネットワーク、又はインターネット）上に分散され得る。複数のコンピューティングデバイス１１０又は複数のプロセッサ１２０は、本開示の任意のステップを個別に、又は互いに連携して遂行し得る。

図１Ｂは、例示的なカスケード分類機アーキテクチャ１８５を図示している。カスケード分類機アーキテクチャは、２つのレベルモデルを含み得、２つのレベルの分析を遂行し得る。一例では、第１のレベルモデル１８７が細胞若しくは粒子の正確な同定を提供し得るか、又はカスケード分類機アーキテクチャ１８５が第２のレベルのモデル１８９を更に使用して細胞又は粒子の正確な同定を提供し得る。第２のレベルモデル１８９は、第１のレベルモデル１８７の数値又はカテゴリ値を第２のレベルモデル１８９と組み合わせて使用することを含んでもよい。第１のレベルモデル１８７の出力が不明瞭又は不確定である場合、第２のレベルモデル１８９を使用してもよい。カスケード分類機アーキテクチャ１８５での分析用の画像は、記憶装置１８０から来てもよく、又は分析装置１１５から第１のレベルモデル１８７に直接入力されてもよい。必要に応じて、同じものが第２のレベルモデルに入力されてもよい。第１のレベルモデル１８７の出力は、第２のレベルモデル１８９に入力されてもよい。

図２は、本明細書で開示されるシステム及び方法で使用され得る試料血球画像２００～２７０を図示する。本明細書で用いるとき、ｎは、対応するカテゴリの各粒子を同定する対応するターゲットラベルＴを有する第１の列２０５に図示される血液粒子画像Ｐのデータセットを指す。本明細書で用いるとき、ｍは、画像Ｐ_ｉが割り振られ得る第２の列２１５に図示される異なる血液粒子カテゴリＣ（すなわち、ＮＲＢＣ、リンパ球、ＲＢＣ、好中球など）を指し、１≦ｉ≦ｎである。本明細書で用いるとき、文字「ｋ」は、「ｍ」の利用可能なカテゴリの集合に属する単一のカテゴリを指すために使用される。
特徴抽出

特徴抽出は、一組のカテゴリの中で分析及び識別するために必要とされるデータ量を低減することを意図する。このプロセスは、大量の情報を、後で決定を下すために使用され得る値として解釈又は要約し得る。抽出された特徴は、データの特定の特性に相関する数値を含み得る。例えば、画像中において、全ての色をカスケード分類機アーキテクチャへの入力として使用する代わりに、全ての色に沿った平均及び標準偏差を、特徴として抽出してもよい。画像処理において、特徴抽出は、異なる程度の計算量を有し得る。高度に複雑な抽出手順は、関心領域を分離し、依然として意味のある情報を抽出しながらその区域における長い計算動作を防止するための画像のセグメント化を伴い得る。簡単な抽出手順は、面積、周囲長、真円度などを含むがこれらに限定されない形状特徴を含み得る。抽出手順は、縁部を検出するための勾配プロファイルを含み得る。抽出プロファイルは、色強度、ヒストグラム色平均、モード、標準偏差、又は色閾値化を伴ってもよい。抽出手順は、ヒストグラムの差、又はチャネル赤色とチャネル緑色、チャネル赤色とチャネル青色、及び／又はチャネル緑色とチャネル青色の間の比率を意味し得る。

いくつかの例では、画像は、数千個の情報（例えば、データ点）を有してもよく、これらは特徴として抽出されてもよい。いくつかの例では、画像は、１つが赤色、１つが緑色、及び１つが青色の、３つの着色画像から構成されてもよい。

生体試料中の細胞又は粒子の分類を決定するためのシステム１００において、本明細書に記載のように、画像の特徴は、抽出されてコンピューティングデバイスのメモリ１４０に記憶されてもよく、ゆえに元画像は、分析装置１１５内に長期間記憶される必要はない。したがって、細胞又は粒子タイプの決定が行われるとき、画像は、を抽出された特徴のみによって表され得る。本明細書に記載の特徴抽出方法によれば、色空間量子化方法を使用して一組の固有の色特徴を画像から抽出してもよい。この方法は、計算の大部分を非リアルタイムで行ってもよく、オフライン段階としても知られている。オフライン段階では、画像は、画像が取得されたときよりも後の時間に記憶され分析され得る。これは、オフライン処理は計算タスクエネルギーを使用せず、より高速なオンライン処理時間をもたらすので、他の特徴抽出方法よりも有利である。オフライン処理は時間によって大きく制約されないので、計算的に高価な複雑な数学的変換の計算及び抽出は、より良好な識別特徴をもたらし得る。いくつかの例では、特徴抽出は、一部又は全部がオフラインで行われ得る。いくつかの例では、特徴抽出は、一部又は全部がオンラインで行われ得る。

特徴抽出方法は、画像内の色の位置及び値に基づいて「色特徴署名」を作成し得る。色特徴署名は、パレット色の各々に属する画素の数を累積することによって得られたヒストグラムを含み得る。各生体粒子の色特徴署名を抽出するために、異なる生体粒子タイプの画像の選択された領域内の最も代表的な色に対応する色のパレットを構築してもよい。
いくつかの例では、特徴抽出は、一組の画素を群へとクラスタ化することを含み得る。各画素は、パレット内の最も近い色に割り振ってもよい。得られた色特徴シグネチャは、パレット内の各色の振幅値を有するヒストグラムであってもよい。

一実施形態では、位置及び色情報の両方を組み込むために、色空間量子化手法は、個々の同心円リングから構成される一組のＲ二値マスクを作成してもよい。図３は、Ｒ３６０の一例を示す。同心円リングマスク３００～３５０を使用するとき、細胞の得られる画像の平面投影は、一般的に円形になる。リングマスク３００～３５０は等方性であってもよく、したがって、リングを使用して導出された特徴署名は回転不変であってもよい。撮像システムでは、撮像される細胞及び／又は粒子への距離が固定である場合、スケール不変性は、持ち前のものであり得る。各リングマスク１００～１５０の重心は、動的であってもよく、強度又はエントロピーなどの画像内の特徴によって決定されてもよい。最も単純な場合、位置は、画像１００の中心として固定され、定義されてもよい。これにより、特徴署名の翻訳不変が可能となる。

Ｒ３６０におけるリングマスク３００～３５０の幅及び数ｒは、最終分類性能に基づいてヒューリスティックに選択されてもよい。各リングマスク３００～３５０は、元細胞画像から画素をフィルタリングするために使用してもよい。セット３６０中のマスクは任意の順序で適用されてもよい。セット３６０についてマスクの順序が選択されると、同じ所定の順序が使用され画像分析に適用され得る。セット３６０中のマスクは、必ずしも画像の隣接する領域を明らかにしないが、画像の隣接する区域を明らかにすることがある。リングマスク３００～３５０を細胞画像に適用するために、細胞画像は、まずリングマスク３００～３５０の大きさに正規化され得る。次いで、各リングマスク３００～３５０に属する画素が、抽出されてよく、選択された色空間（すなわち、赤色緑色青色（「ＲＧＢ」）色相彩度値（「ＨＳＶ」）、色相彩度明度（「ＨＳＬ」）など）で分析される。

一実施形態では、ＲＧＢ色空間は、マスクされた細胞画像の分析空間として選択されてもよい。このような実施形態では、一組のリングマスク３００～３５０を与えられたカラーパレットを抽出するプロセスは、マスクの細胞画像への適用を可能にするために、全ての細胞画像Ｐ_ｉをリングマスクＲ_ｌのサイズに正規化することによって始まる。この正規化において、Ｐ^Ｃｊは、全ての正規化された細胞画像Ｐ_ｉの集合を表し、訓練セット中の対応するターゲットラベルＴ_ｉは、血球カテゴリＣ_ｊ、１≦ｊ≦ｍに等しい。

各血球カテゴリＣ_ｊについて、各Ｐ^Ｃｊ中の細胞画像の可変カウントによるバイアスを回避するために、細胞画像のランダムなサブセットがＰ^Ｃｊ、

において選択され得、式中、サブセットｎ_γのサイズは、全Ｐ^Ｃｊにわたって最小数の細胞画像に等しい。

各リングマスクＲ_ｌについて、１≦ｌ≦ｒである。
γ^Ｃｊ中の全ての細胞をリングマスクＲ^ｌでマスクする。
マスクされた細胞画像内の保持された画素から一組のＲＧＢ画素Ｖ^ｌを形成する。

各リングマスクＲ_ｌについて、１≦ｌ≦ｒである。
Ｒ_ｌ中の各組の画素Ｖ^ｌについて
Ｖ^ｌをｈグループにクラスタ化すると、一組のｈクラスタセンタ

が得られる
リングカラーパレットを作成する

最終パレットを作成するＰＬＴ＝｛ＰＬＴ_１，ＰＬＴ_２，．．．，ＰＬＴ_ｒ｝

図４は、ＨＳＶ色空間における所与のリングマスクに対するクラスタ化処理の例を示し、チャート内のＸ ４００はクラスタの中心を表し、各色は細胞カテゴリに属する画素に関連付けられ、ｓ軸４１０は彩度成分を表し、ｈ軸４２０は色相成分を表し、ｖ軸４３０は明度又は明度を表す。所与のカテゴリに属する画素は更に、色などの他の視覚的合図を使用することによって同定されてもよい。各細胞カテゴリは、訓練セット中の異なる数の画像（例えば、基準画像）によって表され得る。訓練セット中により多く含まれる特定の細胞タイプに偏るバイアスを低減するために、クラスタ化に使用される色サンプルは、細胞カテゴリにわたって等しい数の訓練セット画像から採取されてもよい。この例では、異なる細胞カテゴリ（異なる色により同定される）は色空間において他の細胞カテゴリとは異なる位置を占め、更に各細胞カテゴリは、チャート内で異なる分布を有する。

訓練セット又は訓練特徴は、各画像について対応する色ヒストグラムを作成するように、カラーパレットに照らして評価され得る。訓練データ又は基準画像は、以前記憶されたデータセットであってもよい。図５は、白血球型塩基球５００及び好酸球５１０についての特徴ヒストグラムの例を示している。データは、ビンと呼ばれる間隔に分割されてもよく、これは、ヒストグラム上の棒グラフで表され得る。各組のクラスタセンタ

に対応するヒストグラム中の各ビンは、カスケード分類機アーキテクチャ１８５の入力特徴となり得る（例えば図６Ａの入力特徴６１０）。オンライン（リアルタイム処理としても知られる）特徴抽出プロセス中、ルックアップテーブル又は他の索引付け方法（例えば、ｋ次元木）を使用して色空間と生成されたパレットとの間のマッピングを記憶することによって、色量子化は加速され得る。いくつかの例では、マスク３００～３５０内のリングが大径になるにつれて、より多くの画素が保持され、対応するヒストグラムに寄与し得る。この結果、リングマスク３００～３５０は、異なる試料カウントを有するヒストグラムを生み出し得る。このようなヒストグラムを分流のために使用することは、これらのリングマスク３００～３５０の試料カウントがより大きいことがあるので、
より大径を有するリングマスク３００～３５０に向かってバイアスを導入し得る。この問題に対処するために、各ヒストグラムベクトルは単位大きさに正規化されてもよい。

特徴正規化

特徴ベクトル正規化スキームの例としては、Ｌ２－ノルム、Ｌ１－ノルム、クリッピングが後に続くＬ２－ノルム、及び平方根が後に続くＬ１－ノルムなどが挙げられる。アウト実施では、ヒストグラムベクトル正規化のためにＬ２－ノルムスキームが選択される。ｈを非正規化ヒストグラムベクトルとすると、正規化ヒストグラムベクトルは

として定義され、式中、

は、ベクトルｈのＬ２－ノルムである。

画像を共通のマスクサイズに正規化することは、画像間の相対的サイズ情報を破棄し得る。細胞又は粒子サイズ情報を保存するために、画像の幅が、最終特徴として特徴ベクトルに付加されてもよい。抽出された特徴は、色空間内で入手可能な抽出された情報を補完するために、勾配、エントロピーなどの追加の形態特徴で拡張されてもよい。
特徴選択

サブセット選択又は変数選択としても知られる特徴選択は、データセット内で入手可能な全ての特徴から特徴のサブセットを選択するために機械学習で使用される方法である。これは、データセット内の全ての入手可能な特徴を使用することが計算上不可能であるために、学習アルゴリズムを適用する前に機械学習に利用される。特徴選択は、データセットが多数の特徴を含む限られたデータサンプルを含む場合に、推定及び過剰適合の問題を最小化し得る。例えば、細胞画像は数千の特徴を含み得るが、これは分析のために全て良好であるとは限らない。特定の特徴の選択は、システムの仕様に依存してもよい。特定の特徴の選択は、特定のシステム内での抽出の速度要件に依存してもよい。抽出された特徴は、訓練、検証、及び／又は試験のために使用される特徴（すなわち、「訓練特徴、検証特徴、又は試験特徴」）を含んでもよい。
分類機アーキテクチャ

分類機アーキテクチャは、分類状態間の遷移を支配する一組の規則である。いくつかの例では、分類機は、第１のレベルモデル及び第２のレベルモデルなどの評価又は処理段階のカスケードを含み得る。例示的な実施形態では、第１のレベルモデルは、ゼロ～１の信頼水準の形で意見を生成してもよい。信頼水準が一定の閾値以上であれば、撮像された粒子又は細胞の同一性に関して判定がなされ得る。例示的な実施形態では、信頼水準が一定の閾値未満であれば、情報が第２のレベルモデルに送信されてもよい。第２のレベルモデルは、第１のレベルモデルからの信頼水準と組み合わせて、いくつかの場合には決定木のランダムフォレストを含む、第１のレベルモデルより複雑なレベルの特徴を使用して、撮像された粒子又は細胞の同一性に関する判定を行ってもよい。第１のレベルモデル６００及び第２のレベルモデル６４０を含む例示的なカスケード分類機アーキテクチャ６５０が、図６Ａに図示されている。

分類機アーキテクチャ（例えば例示的なカスケード分類機アーキテクチャ６５０）では、抽出された特徴のサブセットが、適切な分離性手段を使用して選択されてもよく、最終データセットが構築されてもよい。例示的な表１に示すように、データは、各行が特定の細胞（及びしたがって細胞画像）に対応する表に統合されてもよく、特徴列は、対応する細胞カテゴリに関連付けられた独特の特徴に対応する。表１において、カテゴリ列は、各細胞の「真」ラベル又は分類を定義する目的を果たす。

例示的な実施形態では、データセットは、訓練セット、検証セット、及び試験セットの３つのサブセットに分離してもよい。訓練セットは、１人以上の人間の専門家によって分類され符号化された画像からの訓練特徴を含んでもよい。この符号化（人間参照符号化と称する）は、分類機（訓練データセット）を訓練するために利用されてもよく、かつ／又は検証データセットとして使用されてもよい。第１のレベルモデル６００を訓練した後、訓練及び検証の特徴又はデータを使用して、ＣＬ第１のレベルモデル６００の性能を評価してもよい。試験セットは、特徴づけられていない細胞及び／又は粒子の画像を含んでもよい。

図６Ａに図示するアーキテクチャモデル６５０の例示的な実施形態では、データは、その複雑度に基づいてアーキテクチャの構成要素を定義するので、中核的な役割を果たす。図６Ａに図示する例示的な実施形態では、アーキテクチャは、２つのレベルの分析構成要素から構成されている。第１のレベルモデル６００では、一般的な分類機を、訓練データに一致するように訓練する。第２のレベルモデル６４０では、特化型分類機が、第１のレベルモデルの検証中に特定された分類するのが困難な試料６３０についてセカンドオピニオンを提供する。
分類機アーキテクチャの第１のレベルモデル

例示的な実施形態では、アーキテクチャの第１のレベル（Ｌ１）モデル６００は、分類機モデルＣＬから構成され得る。分類機ＣＬは、訓練データセットによって定義される既知の分類ラベルに一組の入力特徴６１０をマッピングすることができる任意の機械学習モデルであってもよい。このアーキテクチャに好適な機械学習モデルの例は、ランダムフォレスト、マルチクラスサポートベクトルマシン（Support Vector Machine、ＳＶＭ）、フィードフォワードニューラルネットワーク（Feedforward Neural Network、ＦＮＮ）などであり得る。

例示的な実施形態では、ランダムフォレスト機械学習モデルが、入力特徴ベクトルを訓練データセット内で定義された血球カテゴリの１つＣ_ｊ、１≦ｊ≦ｍにマッピングするために選択され得る。いくつかの例では、ランダムフォレストは、訓練セットの異なる部分上でそれぞれ訓練され得る多数の決定木から構成されるアンサンブル分類機であってよい。ランダムフォレストの最終的な分類決定は、個々の樹木の分類決定のモードであってもよい。単一決定木分類機に対するランダムフォレストの利点は、ランダムフォレスト分類決定は複数の独立して訓練された決定木の集合的応答であるので、ランダムフォレストが訓練セットに対する過剰適合に陥りにくいことである。いくつかの例では、ランダムフォレストマシンの木は、データの８０％を使用して訓練され得る。いくつかの例では、ランダムフォレストは、６４本の木を含む。

いくつかの例では、ランダムフォレストは、ブートストラップ集計（バギング）技術図６Ｂを使用して訓練されてもよい。細胞画像Ｐ_ｉ及び対応するターゲットラベルＴ_ｉの訓練セットが与えられると、バギング技術は、Ｂ回の繰り返しにわたって、ランダムな試料を繰り返し選択し、訓練セットを置換する。結果として得られるＢ試料セットは、Ｂ決定木を訓練してランダムフォレストＣＬを形成するために使用され得る。置換を伴うサンプリングにより、いくつかの訓練試料が試料セットにわたって繰り返され得る。このサンプリング戦略は、ブートストラップサンプリングとして知られ、偏りを増大させることなく、訓練された分類機の分散（すなわち、過剰適合への陥りやすさ）を低減する。いくつかの例では、ＣＬの出力は、一組のスコアＭ＝｛μ_１，μ_２，．．．，μ_ｊ．．．，μ_ｍ｝６２５、カテゴリごと１つであり、式中、μ_ｊは実数である。大きな値のμ_ｊは、特定の細胞分類への帰属を示す。この文脈では、スコアμ_ｊが高いほど、入力特徴６１０が細胞カテゴリｊに属する可能性が高く、この評価に関する不確実性が低い。したがって、入力特徴６１０の予備カテゴリラベルは、Ｍ６２５における最大値μ_ｊに対応するカテゴリによって当初与えられてもよい。

第１のレベルモデル６００を訓練した後、訓練データ及び検証データの両方を使用して、ＣＬ第１のレベルモデル６００の性能を評価してもよい。所与の入力特徴ベクトルＦ_ｉについて、各入力細胞画像Ｐ_ｉの予想される分類ラベルＬ_ｉ及び対応するＭスコアが取得され得る。この情報は、次いで、第２のレベルモデル６４０の設計プロセスへの入力として使用され得る。
分類機アーキテクチャの第２のレベルモデル

一組のＭ_ｉスコア６２５を分析して、第１のレベルモデル６００による正しい予備分類の確率を確立してもよい。正しい予備分類の確率は、レベル１の予想される分類ラベルＬ_ｉ、人間の専門家の目標ラベルＴ_ｉ、及びレベル１のＭ_ｉスコア６２５を使用することによって推定してもよい。最大μ_ｊが０．５に近いＭ_ｉスコア６２５はレベル１において正しい予備分類の低確率に関連付けられるであろうと期待される。

下記の式を適用して一対のカテゴリ｛Ｃ_ｊ，Ｃ_ｋ｝の正しい予備分類確率Ｐｒの行列を算出し得る。
一対のカテゴリ｛Ｃ_ｊ，Ｃ_ｋ｝、１≦ｊ≦ｍ，１≦ｋ≦ｍ，ｊ≠ｋが与えられる。
正しい分類の確率は以下のように計算され得る。

低ΣＰｏｓ_ｉ値における結果の偏りを回避するためにΣＰｏｓ_ｉの最小値を採用してもよい。表２は、所与の訓練及び検証データセットにおける２つの細胞カテゴリ（すなわち、好中球及び好酸球）のＰｒ_{｛Ｃｊ，Ｃｋ｝}の計算の例を提供する。データの全ての正の好中球及び好酸球のサブセットのサブセットが、対応する予想される分類ラベルＬ_ｉ、そのサブセットの標的ラベルＴ_ｉ及びＭスコアと共に入手可能であると想定すると、ΣＴＰ
ｏｓ_ｉ及びΣＰｏｓ_ｉの行列を構築してＰｒ_{｛Ｎｅｕｔｒｏｐｈｉｌ，Ｅｏｓｉｎｏｐｈｉｌ｝}を見出してもよい。

表２の例では、確率が９８％以上である場合にＭ個のスコア６２５を生成する細胞、第２のレベルモデル６４０を使用する必要はない。更に、０．５に近いＭ個のスコア６２５を生成する細胞は、第１のレベルモデルにおいて正しい予備分類を生成させにくい。レベル１のＣＬ分類機６００によって提供される好中球スコア＝０．５及び好酸球スコア＝０．４は、感度率４０．６％での判定において最高レベルの不確実性を生成する。好中球及び好酸球のスコアは、ビニングのために丸められている。

表２に例示される確率マトリクスＰｒ_{｛Ｃｊ，Ｃｋ｝}は、少なくとも２つの主目的を有する。第一に、行列を使用して、一対のカテゴリ_{｛Ｃｊ，Ｃｋ｝}の不確実性の全体的な測定を確立することができる。第二に、Ｐｒ_{｛Ｃｊ，Ｃｋ｝}における低又は高確率値に関連付けられた訓練及び検証データセット中の細胞画像が、カスケード分類機アーキテクチャの第２のレベルコンポーネント６４０を訓練するための候補として選択されてもよい。不確実性の総合的な測定を確立するために、各Ｐｒ_{｛Ｃｊ，Ｃｋ｝}について全ての確率値の和を算出することが可能である。和値がより大きいカテゴリのペアは、その識別に関する不確実性がより少ない。より詳細には、各カテゴリＣ_ｊについて、ΣＰｒ_{｛Ｃｊ，Ｃｋ｝}値の昇順にソートされたリストＤ_Ｃｊが、１≦ｋ≦ｍ，ｊ≠ｋについて作成される。ソートされたリストの一番上のカテゴリは、カテゴリＣ_ｊに関して最低の分類性能を有するものに対応する。場合によっては、特定の組み合わせのペアが容易に識別され、訓練又は検証データセットに分類エラーが見られない場合、空のリストを有することが可能である。ソートされたリストＤ_Ｃｊの例を表３に示す。

表３の例では、レベル１の分類機は、好中球と核濃縮（加齢）細胞とを識別しようとするとより高いエラー率を生成し、単球又は好酸球に対するより少ない予備分類エラーを生成する。

Ｐｒ_{｛Ｃｊ，Ｃｋ｝}及びＤ_Ｃｊによって提供される情報を使用すると、第２のレベルモデル６４０を定義することが可能になる。各非空リストＤ_Ｃｊについては、データの利用可能性に応じて第２のレベルモデル６４０が作成される。各特化型分類機は、Ｐｒ_{｛Ｃｊ，Ｃｋ｝}に定義される低分類レートに関連するデータのみで訓練される。訓練に先立ち、選択された訓練データのサブセットを用いて新たな特徴選択プロセスが実行される。第２のレベルモデル６４０で使用される特徴は、第１のレベルモデル６００で使用される特徴とは異なり得る。それらの複雑度及び計算コストは、ほとんどの場合、より詳細に画像を取り込むためにより高いことがある。この複雑度の増加は、第１のレベルモデル６００を大部分の細胞を取り扱うことができるようにし、第２のレベルモデル６４０を最も困難だが希少な場合のためにとっておくことにより、相殺される。実務において、これらの場合のために利用可能なデータは十分ではないことがあり、第２のレベルモデル６４０の性能は第１のレベルモデル６００の性能を改善しないことがあるので、全てのカテゴリが第２のレベルモデル６４０特化型分類機を有するわけではない。

訓練が完了した後に、特化型第２のレベルモデル６４０は、最終分類ラベル６７０を提供するために第１のレベルモデル６００の予備分類スコア６２５と６６０を組み合わせ得る第２のスコアＭ_２，ｋを提供してもよい。図６Ｂは、例示的なカスケード分類機のアーキテクチャを示す。

例示的なアーキテクチャでは、各レベルの２つの分類機は、第２のレベルモデル６４０と関連付けられたＣＬ_２，ｊ６４５及び伝達関数ｆ６６０から構成され得る。分類機ＣＬ_２，ｊ６４５は、新たな入力特徴セットを既知の分類ラベルにマッピングすることができる任意の機械学習モデルであってよい。このアーキテクチャの下で好適な機械学習モデルの例は、サポートベクトルマシン（ＳＶＭ）、フィードフォワードニューラルネットワーク（ＦＮＮ）、ランダムフォレストなどであり得る。分球機ＣＬ_２，ｊ６４５は、入力特徴ベクトルをＤ_Ｃｊ細胞カテゴリのうちのいずれかに割り振るように訓練され得る。ＣＬ_２，ｊ６４５の出力は、各分類機の伝達関数ｆ６６０の値によって決定され得る。

伝達関数ｆ６６０は、第１のレベルモデル６００からのＭスコア６２５、Ｐｒ_{｛Ｃｊ，Ｃｋ｝}確率値、及びＣＬ_２，ｊ６４５出力スコアを組み合わせるという目的を果たし得る。関数ｆ６６０は、第１のレベルモデル６００と第２のレベルモデル６４０の両方からの分類スコアを考慮に入れる連続的な実数値を提供するように設計されてもよい。関数ｆ６６０の高い値は、最終分類ラベル６７０としての予備カテゴリラベルｊの確認として解釈され得る。以下は、レベル１分類機とレベル２分類機との間の伝達関数の例である。
ｆ＝（Ｐｒ_{｛Ｃｊ，Ｃｋ｝}（Ｍ）×ｍａｘ（Ｍ１））＋（（１－Ｐｒ_{｛Ｃｊ，Ｃｋ｝}（Ｍ））×ｍａｘ（Ｍ_２））

本開示の方法及びシステムを更に説明するために、システム１００上で遂行される例示的な方法が、図７に図表で描かれている。図７では、画像が取得され７１０、抽出された特徴７２０のサブセットが選択され７５０、第１のレベルモデルアーキテクチャ７６０にマッピングされる。第１のレベルモデルアーキテクチャ７６０は、確率値を所定の比較値と比較し、確率値が閾値以上である場合、細胞分類７７０を決定し、又は確率値が閾値未満である場合、第２のレベルモデルアーキテクチャ７８０を使用する。第２のレベルモデルアーキテクチャは、血球カテゴリに関する分類性能に従ってソートされた値のリストを組み合わせ作成し、確率値とソートされたリストを組み合わせて第２のレベルの確率値を作成し、第１のレベルの確率値及び第２のレベルの確率値を使用して細胞分類７９０を決定し得る。図７の特徴抽出７２０は、図３～６に描かれているか、又はそれらを参照して記載されたものを含む、本開示で上記した方法のいずれであってもよい。同様に、図７の第１の７６０、及び第２の７８０レベル分類機は、図６Ａ～６Ｂに描かれているか、又はそれらを参照して記載されたものを含む、本開示で上記した分類機のいずれであってもよい。

場合によっては、本発明のシステム及び方法の実施形態は、本明細書の他所に記載されているものなどの粒子画像分類技術を包含する。

本開示の階層的又はカスケード型モデルの利点は、分析をより小さい特徴のサブセットに限定するという恩恵を含む。これは、より少ない特徴抽出を必要とし得、誤分類の理由をより容易に特定することを可能にし得る。本開示では、低次元（すなわち少数の入力特徴）分類機から構成されるアーキテクチャの観点から分類問題を解くことは、２Ｄ又は３Ｄプロットにおける特徴値の相互作用の視覚化（すなわち、描画）を潜在的に可能にし得、これはまた、分類機設計者がＳＶＭ及びＦＮＮを含むがこれらに限定されない訓練アルゴリズムから得られる決定機能をよりよく理解し把握するのを助ける。２ステップ型アーキテクチャのシステムは、より重点的な、より高速な処理を可能にし、更にシステムが他の動作のために処理リソースを予約することを可能にする。

本開示の別の利点は、アーキテクチャの複雑性をより良好に制御し得ることである。アーキテクチャの複雑度は、分類タスクの早期段階又は後期段階において導入されてもよい。ほとんどの場合、画像の特徴の大部分が抽出又は決定される必要はないであろう。ほとんどの場合、特徴選択は、カスケード型アーキテクチャ内で後に延期されてもよい。分類問題を正確に解くために、単一の複雑な分類機は、単一のステップ又はパスに識別特徴の全てを含めるか、又は使用しなければならないことがある。分類機モデルのその後の組み合わせ及び／又はそれらの特徴の最適な方法での使用は、したがって必然的に複雑になり得、線形ではないことがある。この手法では、大きな割合の生体粒子を分類するために、計算的に安価な（単純又は廉価とも呼ばれる）特徴が使用されてもよい。場合によっては、計算的に安価な特徴を使用することが、粒子を分類するために必要な全てであり得る。一部の生体粒子について分類誤差が存在する場合、計算的に安価な特徴を同定することができないものについては、より洗練された（複雑とも呼ばれる）特徴（これは、「より容易な」大きなグループに対して実際は有用ではない可能性がある）が選択され抽出されてもよい。一般に、これはまた、理解するのがより容易なアーキテクチャを可能にする。モデルは、複雑度を更に低減するために、分類機にわたって共通又は共有の特徴を使用してもよい。

本開示の別の利点は、カスケード型アーキテクチャの分類機システムがモジュール式で、スケーラブルであり、事後分析するのが簡単であり得ることである。システムの出力は、個々の分類機にトレースバックされてもよい。個々の分類機は、アーキテクチャの残部を手つかずの状態に維持しながら、再訓練又はアップグレードされ得る。専用の分類モジュールを有することにより、必要に応じて、一度に１つの特定のモデルずつ、再訓練することが可能である。例えば、特定の細胞状態に関連する新たなデータを収集する場合（すなわち、核濃縮好中球）、核濃縮好中球－好酸球レベル２分類機は、アーキテクチャ内の他のモジュールに影響を及ぼすことなく、再訓練され得る。

本開示の別の利点は、第１のレベルの分類機と第２のレベルの分類機の間の伝達関数の概念が両レベル間の滑らかな遷移を可能にすることである。これにより、特徴量の変化が少ない類似画像が処理される場合、２つのレベル間に確かな閾値が存在せず、むしろ連続的な遷移があることにより、システム応答のばらつきが低減される。

更なる及び関連の例示的な実施形態

血液粒子画像は、デジタル顕微鏡カメラを用いて取り込まれ、更に分類目的のために分析され得る。異なる分類又はカテゴリへの血液粒子画像の割り振りは、コストの高い計算タスクであり得る。血液粒子画像から特徴として知られている数値又はカテゴリ値を抽出することを含み得る。これらの特徴は、異なる程度の計算量を有し得る。典型的には、色ベースの特徴は計算するのが高速である一方、テクスチャ及び形状の特徴は低速であり、リアルタイム分類に対して制約を課し得る。リアルタイム分析の制約は、取得システムが予め定義されたスループット要件を満たすために、血球粒子のストリームの処理がしばしば一定の予想時間内に終わらなければならないことに関係し得る。

多くの場合には、色ベースの特徴のような低複雑度情報を使用して、血球粒子を正確に分類することができる。しかしながら、特定の疾患状態又はシステム関連の変化（汚れ、フォーカス、細胞老化、その他）の下では、適切な細胞カテゴリを正確に同定するためにより高い複雑度を有する追加の特徴を含めることが有用であり得る。しかしながら、全ての粒子について高い複雑度の特徴を計算し適用することは、時間及び計算上の制約のため実行可能ではないことがある。

本発明の実施形態は、血液粒子画像のリアルタイム分類に好適な分類アーキテクチャを包含する。

血球認識は、時間に敏感な様式で、しばしば計算資源が限られたハードウェア上で実行されるセグメント化、特徴抽出、及び分類フェーズを含む複雑なタスクであり得る。したがって、システム内の各フェーズが効率的であると、助けになる。特徴抽出コンポーネントは、典型的には最も影響を受け、しばしば特徴の複雑度及び記述力と計算効率との間で妥協する。

本発明の実施形態は、より容易かつより一般的な分類イベントのためにより単純かつ効率的な特徴の使用を活用し、より困難かつより希少なイベントのためにより複雑かつより高価な特徴の使用を活用する階層的分類モデルを用いる。また、本発明の実施形態は、分類信頼性及びイベントの難易度の確率を考慮することを含み、これにより計算効率を改善することができる。

本発明の実施形態は、訓練された分類機の潜在的な誤分類及び欠点を故障診断及び調査する能力を拡張するモジュール性を提供する。本発明の実施形態は、入力特徴空間を可視化し、潜在的な誤分類の理由を認識することも可能にする。ここで開示されるアーキテクチャなどのカスケード型モデルは、分類問題を、より低次元の、視覚的に検査可能な入力特徴空間を有する分類機のアンサンブルへとモジュール化する利点を有する。このようなモデルでは、誤分類の理由を特定することを容易に遂行することができる。

本開示のモジュール性の別の利点は、アンサンブル中の各低次元分類機をより簡単にすることができることである。例えば、単一の高次元分類機を用いる場合、各細胞画像は典型的には分類ラベルを生み出すように全ての入力にわたってその分類機により処理される。カスケード型モデルでは、細胞画像はアンサンブルのサブセットのみによって処理され、各分類機は比較的低い入力次元を有し、画像当たりの計算動作は少なくなる。更に、特徴計算は、その特定の特徴を必要とする細胞イベントがカスケード内の特定の分類機に到達するまで延期することができる。ほとんどの場合、特徴の大部分は計算する必要がないであろう。モデルは、分類機にわたって共有の特徴を活用することもでき、更に複雑度を低減する。

いくつかの実施形態では、本開示は、血液粒子画像のリアルタイム分類に好適な分類アーキテクチャを提供する。典型的な画像ベースの分類は、４つの主要ステップ、画像取得、特徴抽出、特徴選択、及び分類機アーキテクチャから構成され得る。本開示の全体にわたって、技術的説明は、特徴選択及び分類機アーキテクチャに焦点を当てていることが多い。場合によっては、血液粒子画像を取り込むための画像取得が適所にあることが想定されている。異なる程度の識別特徴及び異なるレベルの計算量を有する特徴のプールが、提案されるアーキテクチャ内の個々の分類機を設計及び訓練するために利用可能であることも想定されてもよい。特徴は、画像から直接得られてもよいし、主成分分析などの追加の次元低減技術の副生成物であってもよい。

この文脈において、特徴選択は、大きな特徴のプールから１つ以上の血液粒子間の最大の識別力を提供するものを選択するプロセスとして理解することができる。伝統的な画像ベースの分類システムでは、特徴選択及び分類機アーキテクチャ設計は、一般的に、２つの独立したプロセスである。特徴は、予め定義された性能基準に基づいて選択され、分類機アーキテクチャは、選択された特徴を用いて設計及び訓練される。しかしながら、本発明の実施例では、特徴選択プロセスとアーキテクチャとを密に結合することができる。特徴選択プロセスは、分類機アーキテクチャ設計を先導することができる。図８は、本発明の実施形態による血液粒子画像、血液粒子カテゴリ、及び抽出した特徴の態様を描いている。

１つの単純な形態では、特徴選択プロセスは、特徴ごとに以下の方法で行うことができる。より複雑な形態では、２つ以上の特徴の組み合わせを選択してその識別力を評価することができる。特徴の組み合わせが評価されると、それらの特徴を最終的に使用する分類方法を訓練することができ、その出力を、選択された識別係数を計算するために使用することができる。

血液カテゴリＣ_ｊ、１≦ｊ≦ｍについて
Ｇ_ｊを、血液カテゴリＣ_ｊに一致するラベルＴ_ｉ、１≦ｉ≦ｎを有する画像Ｐ_ｉのサブセットとして定義する
全ての特徴Ｆ_ｓ、１≦ｓ≦ｍについて
Ｇ_ｊとデータセット内の残りの粒子画像との間の特徴Ｆ_ｓの識別係数Ｄ_ｓ，ｊを計算する。
計数Ｄ_ｓは、受信機動作曲線（Receiver Operating Curve、ＲＯＣ）の曲線下面積（Area Under the Curve、ＡＵＣ）、情報エントロピー、又は他の利用可能な方法などの様々な方法によって計算することができる。
終了
終了

最高のＤ_ｓ，ｊを有するカテゴリＣ_ｊを、ｊ＝１に始まる分類機Ｃｌ_ｊ，１≦ｊ≦ｍのラベルとして別個のリストにログ記録し、残りのカテゴリの識別において複雑度を低減するために分析から除去する。カテゴリラベルＣｌ_１が最終的に提案されるアーキテクチャ内の第１の分類機となる一方、Ｃｌ_ｍは最後の分類機となる。全てのカテゴリＣ_ｊが分析されＣｌ_ｊ集合に入るまで、上記のプロセスが繰り返される。

一般に、開示される方法の一実施形態は、カテゴリの残りからの分離性に関して各カテゴリＣ_ｊをランク付けすることを可能にする。このソートされたリストは、分類機のアーキテクチャ足場を定義するために使用される。最高レベルの分離性を有するカテゴリ（すなわち、残りから分類することがより容易である）が、分類機アーキテクチャによって最初に評価されることになる。識別係数Ｄ_ｓ，ｊ及び複雑度指数Ｏ_ｓが、更なる分類機特徴割り振りのために記憶される。

一実施形態では、分類機アーキテクチャは、図９に示すように、カスケードモデルに従ってもよい。入力画像が与えられると、分類機Ｃｌ_１は、画像が分類機に関連付けられたカテゴリに属するかどうか同定しようと試みる。分類機Ｃｌ_１の出力がそのカテゴリに対して好意的である場合、入力画像はＣｌ_１として分類され、分類は終了する。そうでない場合には、全ての分類機が尽きるまで、画像はＣｌ_２などに渡される。

各分類機Ｃｌ_ｊの内部構造は、複雑度と性能との間のバランスを提供するので独特である。この手法は、他の代替的手法には見られなかった。図１０は、本発明の実施形態による分類機Ｃｌ_ｊの提案された内部構造を描いている。一実施形態では、分類機Ｃｌ_ｊは２つの分類機から構成される。レベル１分類機として知られる第１のものは、一般的に、少数の特徴（特徴空間の容易な視覚化を可能にするために通常３つ以下）を使用する単純線形分類機モデルである。このレベル１分類機の特徴選択は、上記で得られたＤ_ｓ，ｊ特徴識別係数と、各特徴に関連付けられた計算量のレベルＯ_ｓとの重み付き組み合わせによって与えられる。高い識別係数と低い計算量を有する無相関の特徴が、レベル１のための理想的な候補である。サポートベクトルマシン、パーセプトロン、又は他の単純なモデルなどの機械学習分類機モデルを、レベル１分類機を自動的に訓練するために使用することができる。

一実施形態では、レベル２分類機は、より複雑な分類機モデルである。一般的に、複雑な構造を有する非線形モデルに基づいて、特徴間の非顕在関係を取り扱う。このレベル２分類機の特徴選択は、上記で得られたＤ_ｓ，ｊ特徴識別係数と、各特徴に関連付けられた計算量のレベルＯ_ｓとの重み付き組み合わせによって与えられる。高い識別係数と高い計算量を有する特徴が、レベル２のための理想的な候補である。特徴の数は一般的に４つ以上であるため、特徴空間の視覚化は、もはや可能ではない。多層フィードフォワードニューラルネットワーク、ブートストラップ、又は他の任意の複雑なモデルなどの機械学習分類機モデルを、モデルパラメータを自動的に推定するために使用することができる。

提案されるアーキテクチャの一実施形態では、レベル１分類機が大多数の入力画像を取り扱い、このようにして計算時間を低下させ、分類フローの分析を簡略化する。レベル２分類機は、レベル１分類機の決定が不確実であり、信頼できない場合にのみ従事する。レベル１分類機の不確実性を評価し、レベル１及びレベル２分類機のＣｌ_ｊの最終結果に対する寄与を制御するために、次の手法が提案される。

一例では、図１１に示すように、２つの与えられた特徴Ｆ_１及びＦ_２が、カテゴリＣｌ_９の同定を担当する分類機１への入力として使用される。レベル１分類機モデル出力

は、特徴Ｆ_１及びＦ_２と、モデル係数α，β及びバイアス項γとの線形結合として定義される。入力特徴の数が増加するにつれて、より多くの数のモデル係数が存在することになる。モデル係数は、線形識別分析、サポートベクトルマシン、又は他の任意の好適な手法などの機械学習アルゴリズムによって得ることができる。

ゼロに等しい線形結合値（すなわち、

）は、Ｃｌ_９を血液粒子カテゴリの残り（すなわち、「その他」）から分離する境界の正確な位置に対応する。線形結合値

は、

への垂直距離に比例して増加又は減少する。図の左上隅付近のＣｌ_９中の血液粒子は、境界付近のものよりも大きい正の

値を有することになる。一方、図の右下隅付近の「その他」領域内の血中粒子は、大きい負の

値を有することになる。

上記のように、

により定義される線は、Ｃｌ_９を残りの血液粒子カテゴリから分離する境界に対応するが、それに加えて、これは、分類機決定に関する不確実性が最高レベルにある点に対応する。特徴Ｆ_１値及びＦ_２値の小さな変化は、この区域の周囲で何らかの形で分類機決定を変更し得る。レベル１分類機モデル、特徴値Ｆ_１及びＦ_２、並びに対応する目標ラベルＴ_ｉ，１≦ｉ≦ｎを使用すると、境界

の周囲の不確実性領域を画定して、分類機から高度に不確実な応答を生み出す特徴値Ｆ_１及びＦ_２の組み合わせを同定することが可能である。

この例では、不確実性領域は、境界の周囲にオフセット

を設定することによって画定することができる。最も単純な実施では、オフセットは同じ値を有し得る。オフセットの実際の値は、レベル１分類機の任意の性能メトリックを設定することによって定義することができる。例えば、非不確実性領域では高い特異度を有することが望ましいことがあるが、これは、不確定領域の外側で血液粒子が検出された場合、血液粒子が正しく分類されるという高い信頼性があることを意味する。

一実施形態では、血液粒子の特徴の特定の組み合わせ（例ではＦ_１及びＦ_２）がレベル１不確実性領域の内側にあるとき、レベル２分類機のみが呼び出され、それに対応する入力特徴（一般的にレベル１特徴とは異なる）が計算される。この独特の設計は、分類システム全体が、分類するのが容易な血液粒子に対しては単純かつ高速であるが、必要に応じてより複雑なシナリオを取り扱うのに十分に柔軟であり続けることを可能にする。

一実施形態では、レベル２不確定性領域を作成するための同じ手法をレベル２分類機に適用して、そのオフセットを画定することができる。オフセット

が決定されると、一対の遷移関数

を図１２に描かれるように定義することができ、式中、

である。この一組の関数は、各分類機の不確実性値に従ってそれらの応答を線形結合することによって、レベル１分類機出力とレベル２分類機出力との間の円滑な遷移を可能にする。なお、関数

は、レベル２分類機の複雑な性質のため、一般的に不確実性領域において非線形の挙動を有する。以下の式は、最終分類機Ｃｌ_ｊ出力がどのように生成されるかを記述している。

以下のワークフローは、リアルタイム処理のための提案される分類機アーキテクチャによる単一画像Ｐ_ｉの処理を要約している（リコールフェーズ）。
入力画像Ｐ_ｉが与えられる
全ての分類機Ｃｌ_ｊについて
画像Ｐ_ｉを分析して、Ｃｌ_ｊレベル１分類機に必要な特徴Ｆを抽出する
特徴Ｆをレベル１分類機に入力して

（レベル１出力）を計算する

である場合、入力画像Ｐ_ｉを血液粒子カテゴリＣｌ_ｊとして分類し、入力画像Ｐ_ｉの分類タスクを完了する

である場合、入力画像Ｐ_ｉを血液粒子カテゴリ「その他」として分類し、分類機Ｃｌ_ｊ＋１へと続ける。

である場合、
レベル１分類機の遷移関数

を計算する
画像Ｐ_ｉを分析して、Ｃｌ_ｊレベル２分類機に必要な特徴Ｆを抽出する
特徴Ｆをレベル２分類機に入力して

（レベル２出力）を計算する

である場合、入力画像Ｐ_ｉを血液粒子カテゴリＣｌ_ｊとして分類し、入力画像Ｐ_ｉの分類タスクを完了する

である場合、入力画像Ｐ_ｉを血液粒子カテゴリ「その他」として分類し、分類機Ｃｌ_ｊ＋１へと続ける。

である場合、
レベル２分類機の遷移関数

を計算する
上記の

の線形結合を使用して最終Ｃｌ_ｊ分類機応答を計算する
Ｃｌ_ｊ分類機応答＞０である場合、入力画像Ｐ_ｉを血液粒子カテゴリＣｌ_ｊとして分類し、入力画像Ｐ_ｉの分類タスクを完了する
Ｃｌ_ｊ分類機応答＜０である場合、入力画像Ｐ_ｉを血液粒子カテゴリ「その他」として分類し、分類機Ｃｌ_ｊ＋１へと続ける。
終了
終了
終了
入力画像Ｐ_ｉがいずれのＣｌ_ｊ分類機によっても分類されなかった場合、画像Ｐ_ｉに不明とラベル付けする。

記載されたシステムの全ての特徴は、記載されたシステムに変更を加えて適用可能であり、またその逆も適用可能である。

本明細書に示される実施例は、本発明の潜在的かつ特定の実施例を例示することを意図している。当業者には、実施例は、主に説明を目的としていると理解され得る。本発明の趣旨から逸脱することなく、本明細書に記載されるこれらの図又は操作に対して変更があってもよい。例えば、特定の場合では、方法工程又は操作が異なる順序で実施、つまり実行されてよく、あるいは、操作を追加、削除、又は変更してもよい。

本開示で論じた全ての特許、特許公開、特許出願、雑誌論文、書籍、技術文献などは、それらの全体があらゆる目的で参照により本明細書に組み込まれる。

当然のことながら、本開示の図及び説明を簡略化して、本開示の明確な理解に関連する要素を説明している。当然のことながら、図は、組立図としてではなく、例示目的で示されている。省略された詳細点及び変更点、又は別の実施形態は、当業者の専門範囲内である。更に、本発明の特定の態様では、ある要素若しくは構造を提供するため、又は、ある機能を遂行するために、単一の構成要素を複数の構成要素と置き換えてよく、複数の構成要素を単一の構成要素と置き換えてよいことが理解され得る。かかる置換が特定の実施形態の実行に有効でない場合を除き、かかる置換は本開示の範囲内であると見なされる。

図に描写する又は上述する構成要素の異なる配置は、示していない又は記載していない構成要素及び工程と同様に可能である。同様に、いくつかの特徴及び部分的組み合わせが有益であり、他の特徴及び部分的組み合わせへの参照なしに用いられてもよい。本発明の態様及び実施形態は、限定目的ではなく例示目的で説明しており、本特許の読者には、代替的な実施形態が明らかになるであろう。したがって、本発明は上記又は図に描写の実施形態に制限されず、下記の特許請求の範囲から逸脱することなく様々な実施形態及び修正がなされ得る。

例示的な実施形態が例及び明快な理解のためにいく分詳細に記載されてきた一方で、当業者は様々な修正、応用、及び変化が用いられてもよいということを認識するだろう。したがって、本発明の範囲は、請求項によってのみ制限されるべきである。

Claims (16)

1. 生体試料中の粒子の分類を決定する方法であって、前記方法は、
   デジタルカメラを用いて前記粒子の画像を取得することと、
   プロセッサシステムにおいて前記粒子の前記画像を受信することと、
   前記プロセッサシステムを利用して、非一時的なコンピュータ可読媒体上に記憶されたコンピュータ実行可能コードを実行することと
   を含み、
   前記コンピュータ実行可能コードは、命令を含み、前記命令は、前記プロセッサシステム上で実行されると、
   第１のマスクを前記画像に適用することと、
   前記第１のマスクを適用することに基づいて前記画像から第１の組の画素を取得することと、
   第２のマスクを前記画像に適用することであって、前記第２のマスクを適用することは、前記第１のマスクとは異なる画素を明らかにする、ことと、
   前記第２のマスクを適用することに基づいて第２の組の画素を取得することと、
   前記第１の組の画素および前記第２の組の画素から複数の特徴を抽出することと、
   少なくとも前記抽出された特徴のサブセットに基づいて前記分類を決定することと
   を前記プロセッサシステムに行わせ、
   各マスクの適用は、異なる画素を、前記画像の中心の外側で同心円状に明らかにする、方法。
2. 生体試料中の粒子の分類を決定する方法であって、前記方法は、
   デジタルカメラを用いて前記粒子の画像を取得することと、
   プロセッサシステムにおいて前記粒子の前記画像を受信することと、
   前記プロセッサシステムを利用して、非一時的なコンピュータ可読媒体上に記憶されたコンピュータ実行可能コードを実行することと
   を含み、
   前記コンピュータ実行可能コードは、命令を含み、前記命令は、前記プロセッサシステム上で実行されると、
   第１のマスクを前記画像に適用することと、
   前記第１のマスクを適用することに基づいて前記画像から第１の組の画素を取得することと、
   第２のマスクを前記画像に適用することであって、前記第２のマスクを適用することは、前記第１のマスクとは異なる画素を明らかにする、ことと、
   前記第２のマスクを適用することに基づいて第２の組の画素を取得することと、
   前記第１の組の画素および前記第２の組の画素から複数の特徴を抽出することと、
   少なくとも前記抽出された特徴のサブセットに基づいて前記分類を決定することと
   を前記プロセッサシステムに行わせ、
   前記方法は、
   前記画像の中心を定義することを更に含む、方法。
3. 前記画像を前記第１のマスクのサイズに正規化することを更に含む、請求項１に記載の方法。
4. 生体試料中の粒子の分類を決定する方法であって、前記方法は、
   デジタルカメラを用いて前記粒子の画像を取得することと、
   プロセッサシステムにおいて前記粒子の前記画像を受信することと、
   前記プロセッサシステムを利用して、非一時的なコンピュータ可読媒体上に記憶されたコンピュータ実行可能コードを実行することと
   を含み、
   前記コンピュータ実行可能コードは、命令を含み、前記命令は、前記プロセッサシステム上で実行されると、
   第１のマスクを、実質的に、前記画像の中心に適用することであって、前記画像は、前記第１のマスクのサイズに正規化される、ことと、
   前記第１のマスクを適用することに基づいて前記画像から第１の組の画素を取得することと、
   第２のマスクを前記画像に適用することであって、前記第２のマスクを適用することは、前記第１のマスクとは異なる画素を明らかにする、ことと、
   前記第２のマスクを適用することに基づいて第２の組の画素を取得することと、
   前記第１の組の画素および前記第２の組の画素から複数の特徴を抽出することと、
   少なくとも前記抽出された特徴のサブセットに基づいて前記分類を決定することと
   を前記プロセッサシステムに行わせる、方法。
5. 前記第１のマスクおよび前記第２のマスクは、円形またはリング形状である、請求項１に記載の方法。
6. 前記抽出することは、前記第１の組の画素を群へとクラスタ化すること、前記クラスタ化された画素の群からカラーパレットを作成すること、前記カラーパレットに部分的に基づいて前記画像のラベルを決定すること、またはその任意の組み合わせを含む、請求項１に記載の方法。
7. 生体試料中の粒子の分類を決定する方法であって、前記方法は、
   デジタルカメラを用いて前記粒子の画像を取得することと、
   プロセッサシステムにおいて前記粒子の前記画像を受信することと、
   前記プロセッサシステムを利用して、非一時的なコンピュータ可読媒体上に記憶されたコンピュータ実行可能コードを実行することと
   を含み、
   前記コンピュータ実行可能コードは、命令を含み、前記命令は、前記プロセッサシステム上で実行されると、
   第１のマスクを前記画像に適用することと、
   前記第１のマスクを適用することに基づいて前記画像から第１の組の画素を取得することと、
   第２のマスクを前記画像に適用することであって、前記第２のマスクを適用することは、前記第１のマスクとは異なる画素を明らかにする、ことと、
   前記第２のマスクを適用することに基づいて第２の組の画素を取得することと、
   前記第１の組の画素および前記第２の組の画素から複数の特徴を抽出することと、
   少なくとも前記抽出された特徴のサブセットに基づいて前記分類を決定することと
   を前記プロセッサシステムに行わせ、
   前記抽出することは、前記第１のマスクを単位大きさに正規化すること、赤色緑色青色（ＲＧＢ）色相彩度値（ＨＳＶ）、色相彩度明度（ＨＳＬ）、または色相彩度明度（ＨＳＢ）を含む選択された色空間を使用すること、またはその任意の組み合わせを含む、方法。
8. 前記抽出された特徴の前記サブセットを以前記憶されたデータセットと比較するために第１のレベルモデルを使用することと、前記抽出された特徴の前記サブセットと前記以前記憶されたデータセットとの前記比較に基づいて予備分類を同定することと、第１のレベルモデルを使用して前記予備分類が正しい確率値を算出することと、前記確率値が閾値以上であるとき、前記予備分類に基づいて前記分類を決定することとを更に含む、請求項１に記載の方法。
9. 前記第１のレベルモデルは、機械学習モデルである、請求項８に記載の方法。
10. 前記確率値が前記閾値未満であるとき、前記粒子分類を決定するために第２のレベルモデルを使用することを更に含む、請求項８に記載の方法。
11. 前記第２のレベルモデルは、機械学習モデルである、請求項１０に記載の方法。
12. 前記第２のレベルモデルは、
    前記確率値を前記第２のレベルモデルで受信することと、
    粒子カテゴリに関する分類性能に従ってソートされた値のリストを作成することと、
    第２のレベルの確率値を作成するために前記確率値と前記ソートされたリストとを組み合わせることと、
    前記粒子分類を決定するために前記第１のレベルの確率値と前記第２のレベルの確率値とを使用することと
    を更に含む、請求項１１に記載の方法。
13. 前記抽出された特徴の前記サブセットは、訓練特徴、検証特徴、またはテスト特徴を含む、請求項１に記載の方法。
14. 前記抽出された特徴の前記サブセットは、カスケード分類機アーキテクチャにマッピングされる、請求項１に記載の方法。
15. 前記粒子は、好中球、リンパ球、単球、好酸球、好塩基球、未成熟白血球、網状赤血球、有核赤血球、赤血球、上皮細胞、細菌、酵母、または寄生虫からなる群から選択されるメンバーを含む、請求項１に記載の方法。
16. 抽出ルーチンおよびマッピングルーチンを更に含み、前記抽出ルーチンおよび前記マッピングルーチンの両方は、前記プロセッサシステムによって実行され、前記第１の組の画素および前記第２の組の画素から前記複数の特徴を抽出することは、前記抽出ルーチンの一部であり、少なくとも前記抽出された特徴の前記サブセットを分類機にマッピングすることにより、前記分類を決定することは、前記マッピングルーチンの一部である、請求項１に記載の方法。