JP2023513022A - 生体試料中のオブジェクトの体系的特性評価 - Google Patents

Abstract

本発明は、スライド上に処理された尿試料から回収可能なオブジェクトを分類及び計数するための方法であって、以下の工程：スライド全体の少なくとも１つのデジタル化画像を受信する工程；スライド全体の画像のセグメンテーションによって結合成分を検出する工程；検出された結合成分を、分類器を用いて可算結合成分及び不可算結合成分に分類する工程；可算結合成分の場合には、オブジェクト検出モデルを用いて、各クラスのオブジェクト数を得る工程；不可算成分の場合には、セマンティックセグメンテーションモデルを用いて、各クラスのオブジェクト数を得る工程；セマンティックセグメンテーションモデル及びオブジェクト検出モデルから得られた各クラスのオブジェクト数を合計し、各クラスのオブジェクト数を出力する工程を含む方法に関する。【選択図】図１

Description

発明の分野
本発明は、特に泌尿器病態の検出のための生物学的分析の分野に関する。より特には、本発明は、対象の体液試料、特に尿試料中に見出すことができる少なくとも１つ、好ましくは複数のオブジェクトの特性評価に関する正確な情報を提供する方法に関する。

この発明は、好ましくは尿試料である体液試料中の関連オブジェクトを分析するための方法及びシステムに関する。本発明の方法及びシステムは、例えば、細胞又は細菌を含む少なくとも１つの試料中のオブジェクトを検出、識別及び／又は計数するのに有用であり得る。

この発明はまた、生体試料、特に尿試料中のオブジェクトの体系的な調査及び特性評価から生じる信頼できる情報の提示に関する。

発明の背景
試料分析は、対象の健康状態の概要を提供するための最も一般的な試験の１つである。試料中のある特徴的なオブジェクトの出現は、臨床的に有意であり、かつ／又は対象における病理学的状態を示すものであり得る。

尿試料は、細胞の集塊、凝集塊又はシート；血液細胞、例えば、赤血球（ｅｒｙｔｈｒｏｃｙｔｅ）又は赤血球（ｒｅｄ ｂｌｏｏｄ ｃｅｌｌ（ＲＢＣ））；尿路上皮細胞、特に、非定型尿路上皮細胞；結晶；リンパ球、白血球（ｌｅｕｋｏｃｙｔｅ）又は白血球（ｗｈｉｔｅ ｂｌｏｏｄ ｃｅｌｌ（ＷＢＣ））；好中球、単球、好酸球；又は微生物、例えば、細菌などの様々なオブジェクトを含み得る。

尿沈渣分析を行う一般的な方法は、明視野光学技術を使用して、試料に存在する尿細胞を顕微鏡スライド上に堆積させ、次いで、スライドをデジタル化することである。しかし、スライド上に細胞を堆積させる際に注意を払ったにもかかわらず、細胞、集塊及び他の細胞スタックの不規則な層がスライド上に現れることがある。

この問題は従来技術で既に提起された。

従来技術の試料中の細胞分析の一例として、ＦＲ２９９６０３６は、生体組織中の細胞を同定する方法であって、各細胞が細胞膜で区切られた細胞質を含み、以下の工程：ａ）異なる強度の値の複数の画素を含む、同定される細胞を含む生体組織の切片の生デジタル画像を取得する工程；ｂ）少なくとも１つの閾値画像を自動的に生成する工程；ｃ）閾値画像において、同じ定義済みの強度値を有する複数の連続した画素から形成された表面を自動的に検索し、このように見出された細胞表面が細胞候補を構成する工程、を含む方法を報告している。本発明によれば、定義済みの強度値は、細胞質に対応する第１及び第２の強度値のことである。

しかしながら、この方法は、細胞の重なり合い、スタック、堆積及び／又は集塊を有する試料では正確ではない。

ＷＯ２０１５１０２９４８は、周囲光及びデフォーカスノイズの影響を除去した後、周辺領域の平均画素値と中央領域の平均画素値との差を計算することにより、尿形成要素の分類精度を向上させることを目的としている。

しかし、この技術は細胞集塊の処理には役立たない。

ＷＯ２０１５１６８３６５は、尿沈渣画像の処理対象のブロックを処理する方法であって、以下の工程：
－処理対象のブロック内の画素の色を、コードブック内のｋｃ色の１つに近似させる工程（コードブックは、尿試料ブロックのセットで生成されたｋｃ色のセットである）；
－ｋｃ色の各色に当たる色近似結果の画素数の分布ヒストグラムを得る工程；
－出現頻度補正係数を用いて、分布ヒストグラムの各色に当たる色近似結果の画素数を補正する工程；
－分布ヒストグラムの各色に当たる色近似結果の補正された画素数を標準化する工程；及び標準化分布ヒストグラムをブロック処理の特徴セットの特徴として得て、処理対象のブロックを処理する工程
を含む方法を説明している。

この手法は、ブロックが十分に定義されている場合に特に有用であるが、画像がぼやけている場合、又は問題のブロックに完全に焦点が合っていない場合には、正確な結果が得られない場合がある。

さらに、この方法は、回転、スケーリング、平行移動、トリミング、ミラーリング、弾性変形のうちの少なくとも１つを含むデータ強化及び前処理の工程を必要とする。

結果的に、大規模な集団、特に年齢、喫煙習慣又は産業物質の曝露に関連する泌尿器病態を発症するリスクのある集団をスクリーニングするのに適する尿試料スクリーニングの方法を提案するために、明視野イメージングによって取得された重い画像に対処できる費用対効果が高く、単純で信頼性が高く、再現可能な方法及びシステムを見つける必要がある。

これは、本発明が尿試料のオブジェクトを特定して計数し、かつ瞬時に前記数を表示するために、デジタル化画像を計算するための費用対効果が高く、再現性があり、正確な手段を用いて、上記の満たされていないニーズを満たす方法に関する理由である。本発明はまた、多数の試料を次々に迅速に操作するプロセスも含む。

この発明は、スライド上に処理された尿試料から回収可能なオブジェクトを分類及び計数するための方法であって、以下の工程：
－スライド全体の少なくとも１つのデジタル化画像を受信する工程；
－スライド全体の画像のセグメンテーションによって結合成分を検出する工程；
－検出された結合成分を、分類器を用いて可算結合成分及び不可算結合成分に分類する工程；
－可算結合成分の場合：
・オブジェクトを検出し、検出された各オブジェクトの境界ボックス及び関連するクラスを含む出力を得るために、オブジェクト検出モデルに各可算結合成分を入力する工程；
・各クラスに関連する境界ボックスを計数し、各クラスのオブジェクト数を得る工程；
－不可算成分の場合：
・各不可算結合成分をセマンティックセグメンテーションモデルに入力し、全ての画素が定義済みの利用可能なクラスの中の１つのクラスに分類されるセグメンテーションマスクを出力として得る工程；
・各オブジェクトクラスについて、前記クラスに関連するセグメンテーションマスクの画素数として得られた、該クラスの総画素面積と、前記クラスのオブジェクトの平均面積との比率としてオブジェクト数を計数する工程；
その際、該セマンティックセグメンテーションモデル及び該オブジェクト検出モデルの前記クラスが同じであり、
－セマンティックセグメンテーションモデル及びオブジェクト検出モデルから得られた各クラスのオブジェクト数を合計する工程；
－各クラスのオブジェクト数を出力する工程
を含む方法に関する。

都合の良いことに、本発明の方法は、焦点の合っていない画像又はスライド上のオブジェクトの厚さのために、オブジェクトの境界が検出しにくい場合オブジェクト、実際、単一のオブジェクト又は重なり合ったオブジェクトが顕著な厚さを有する場合に、オブジェクトのいくつかの部分は、焦点が合わずに、画像がぼやける／ノイジーになり得る場合であっても、オブジェクトの正確な計数を可能にする。この方法は、不正確なセグメンテーションによる不正確さを大幅に低減する。

一実施形態では、セマンティックセグメンテーションモデルは、Ｕ－Ｎｅｔである。

一実施形態によれば、オブジェクト検出ニューラルネットワークは、Ｆａｓｔｅｒ－ＲＣＮＮ、ＣｅｎｔｅｒＮｅｔ、ＳＯＬＯ又はＹＯＬＯである。

一実施形態によれば、受信されたデジタル化画像は、明視野光学システムから生じる。

一実施形態によれば、該モデルは、ラベルされたデジタル化画像のデータセットを用いて訓練される。

一実施形態では、セマンティックセグメンテーションモデル及びオブジェクト検出モデルは、臨床医によってラベルされたデジタル化画像のデータセットを用いて訓練される。

一実施形態では、セマンティックセグメンテーションモデル及びオブジェクト検出モデルは、確率論的勾配降下訓練方法を用いて訓練される。確率論的勾配降下最適化法は、都合の良いことに、あらゆる最適化工程で計算時間を節約することを可能にする。

これは、実際の勾配（訓練データセット全体から計算される）を推定値（データのランダムに選択されたサブセットから計算される）に置き換えることからなる。これは、本発明におけるもののような大規模な機械学習問題の場合に非常に有効である。

一実施形態では、各クラスは、以下のリスト：
－白血球：好塩基球、好中球、マクロファージ、単球及び好酸球；
－赤血球；
－細菌；
－尿結晶；
－円柱類；
－健康で非定型の尿路上皮細胞；
－扁平上皮細胞；
－反応性尿路上皮細胞
－酵母
の中のオブジェクトの少なくとも１つに関連する。

一実施形態によれば、本方法はさらに、スライド全体の少なくとも１つの部分のデジタル化画像に沿った各クラスのオブジェクトの総数を表示する工程を含む。

一実施形態によれば、本方法はさらに、デジタル化画像の中のクラス内のオブジェクトの有無に関する情報を提供する少なくとも１つの文字列を表示する工程を含む。

一実施形態では、試料は、パパニコロウ（又はＰａｐ）染色剤又は当業者に公知の任意の他の多色性細胞学的染色剤によって着色される。

本発明はまた、スライド上に処理された尿試料から回収可能なオブジェクトを分類及び計数するためのシステムであって、
－複数のオブジェクトを含むスライド全体の少なくとも１つのデジタル化画像を受信するように適合させた少なくとも１つの入力；
－以下のように構成された少なくとも１つのプロセッサ：
・スライド全体の画像のセグメンテーションによって結合成分を検出する；
・検出された結合成分を、分類器を用いて可算結合成分と不可算結合成分に分類する；
・可算結合成分の場合：
ｉ．オブジェクトを検出し、各オブジェクトについて１つの境界ボックス及び関連するクラスを出力するように構成されたオブジェクト検出モデルに各可算結合成分を入力する；
ｉｉ．各クラスに関連する境界ボックスを計数し、各クラスのオブジェクト数を得る；
・不可算成分の場合：
ｉ．各不可算結合成分をセマンティックセグメンテーションモデルに入力し、全ての画素が定義済みの利用可能なクラスのうちの１つのクラスに分類されるセグメンテーションマスクを出力として得る；
ｉｉ．各クラスについて、前記クラスに関連するセグメンテーションマスクの画素数として得られた該クラスの総画素面積と、前記クラスのオブジェクトの平均面積との比率としてオブジェクト数を計数する；
・セマンティックセグメンテーションモデル及びオブジェクト検出モデルから得られた各クラスのオブジェクト数を合計する；
その際、前記セマンティックセグメンテーションモデルとオブジェクト検出モデルの前記クラスは同じである、
－各クラスのオブジェクト数を提供するように適合させた少なくとも１つの出力、
を含むシステムにも関する。

同等の方法で、該システムは、
－複数のオブジェクトを含むスライド全体の少なくとも１つのデジタル化画像を受信するように構成された取得モジュール；
－以下のように構成された計算モジュール：
・スライド全体の画像のセグメンテーションによって結合成分を検出する；
・検出された結合成分を、分類器を用いて可算結合成分と不可算結合成分に分類する；
・可算結合成分の場合：
■オブジェクトを検出し、各オブジェクトについて１つの境界ボックス及び関連するクラスを出力するように構成されたオブジェクト検出モデルに各可算結合成分を入力する；
■各クラスに関連する境界ボックスを計数し、各クラスのオブジェクト数を得る
・不可算結合成分の場合：
■各不可算結合成分をセマンティックセグメンテーションモデルに入力し、全ての画素が、定義済みの利用可能なクラスのうちの１つのクラスに分類されているセグメンテーションマスクを出力として得る；
■各クラスについて、前記クラスに関連するセグメンテーションマスクの画素数として得られた、該クラスの総画素面積と前記クラスのオブジェクトの平均面積との比率としてオブジェクト数を計数する；
その際、前記セマンティックセグメンテーションモデルと前記オブジェクト検出モデルの前記クラスが同じである、
－セマンティックセグメンテーションモデル及びオブジェクト検出モデルから得られた各クラスのオブジェクト数を合計する；
－各クラスのオブジェクト数を出力するように構成された出力モジュール、
を含み得る。

本発明はまた、尿試料から回収可能なオブジェクトを分類及び計数するためのコンピュータプログラム製品であって、プログラムがコンピュータによって実行されるときに、上記の実施形態のいずれか１つによる方法の工程をコンピュータに実行させる命令を含むコンピュータプログラム製品に関する。

本発明はまた、プログラムがコンピュータによって実行されるときに、上記の実施形態のいずれか１つによる方法の工程をコンピュータに実行させる命令を含むコンピュータ可読記憶媒体にも関する。

定義
本発明において、以下の用語は、以下の意味を有する：
・細胞についての「非定型」は、非病理学的状況において報告されていない細胞の少なくとも１つの特徴を有することを意味する。
・「非定型尿路上皮細胞」（ＡＵＣ）は、尿細胞診報告様式パリシステム（ＴＰＳＲＵＣ）を参照して本明細書で定義される。
・「明視野光学システム」は、試料全体を均一に照らすことによって画像が生成され、その結果、明るく照らされた背景に対して、検体が暗い画像として見えるイメージング技術を指す。明視野イメージングは、試料の観察及び検査のための一般的なイメージング技術として使用される。
・「分類する」は、対象の試料中のオブジェクトを、例えば赤血球などの目的の異なるクラスに分類することを指す。
・「結合成分」は、全ての画素が類似の画素強度値を共有し、何らかの形で互いに結合されている１つのオブジェクト又はオブジェクトのグループを指す。結合成分の例を図２に示す。
・「計数する」とは、対象の試料中の関心のある各クラスのオブジェクト数を列挙することを指す。
・「可算結合成分」は、本発明の場合、成分のグループを指し、これらの成分は、訓練を受けた医師が各単一オブジェクトを識別することができ、したがって彼／彼女がグループに含まれるオブジェクト数を計数することができるグループとして識別するオブジェクト（すなわち、白血球、細胞、細菌など）と呼ばれる。一方、「不可算結合成分」は、訓練を受けた医師がオブジェクトのグループを識別するが、グループ内の単一のオブジェクトを識別することができない、可算結合成分に関して反対の状況を指す。可算成分と不可算成分の例を図２に提供する。結合成分の客観的尺度は、典型的には、訓練を受けた医師のパネルによって定義され、この尺度は、標準に類似しており、細胞学的画像分析の当業者によって受け入れられる。
・「データセット」は、データ駆動型の予測又は決定を行うために、機械学習（ＭＬ）の数学的モデルを構築するために使用されるデータの集合を指す。教師あり学習（すなわち、ラベルされた訓練データの形態で既知の入出力例から関数を推論する）では、３つのタイプのＭＬデータセット（ＭＬセットとしても指定される）は、典型的には、３つのそれぞれの種類のタスク、すなわち訓練、すなわちパラメータのフィッティング、検証、すなわち、ＭＬハイパーパラメータ（学習プロセスを制御するために使用されるパラメータである）のチューニング、及び試験、すなわち、数学的モデルを構築するために利用される訓練データセットとは無関係に、後者のモデルが満足のいく結果を提供することを確認することの専用である。
・「ニューラルネットワーク又は人工ニューラルネットワーク（ＡＮＮ）」は、ノード（ニューロンと呼ばれる）と、重みによってモデル化されたニューロン間の結合を含むＭＬのカテゴリを指定する。各ニューロンについて、出力は、入力の関数又は活性化関数による入力のセットで与えられる。ニューロンは一般に、複数の層に組織化されるため、１層のニューロンは直前及び直後の層のニューロンにのみ結合する。
・「ＹＯＬＯ」すなわち「Ｙｏｕ Ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅ」は、そのアーキテクチャが特にオブジェクト検出用に構成されている単一の畳み込みネットワークを指す。
・「ＳＯＬＯ」（場所によるオブジェクトのセグメント化（Ｓｅｇｍｅｎｔｉｎｇ Ｏｂｊｅｃｔｓ ｂｙ Ｌｏｃａｔｉｏｎｓ））は、自己組織化特徴マップ（ＳＯＦＭ）、主成分分析、及び多変量線形回帰を組み合わせて、堅牢で、安定であり、高品質の予測を与えるネットワークアーキテクチャを生成する人工ニューラルネットワーク（ＡＮＮ）の一種を指す。
・「Ｆａｓｔｅｒ Ｒ－ＣＮＮ」：２段階のオブジェクト検出器のファミリーに属するオブジェクト検出モデルを指す。Ｆａｓｔｅｒ Ｒ－ＣＮＮの２つの段階は、それぞれ２つのニューラルネットワークに対応する。第１のものは、領域提案ネットワーク（ＲＰＮ）と呼ばれ、境界ボックス候補のセットを出力する。第２のものは、境界ボックスの座標を絞り込み、境界ボックスを定義済みのクラスに分類する。
・用語「プロセッサ」は、ソフトウェアを実行することができるハードウェアに限定されると解釈されるべきではなく、一般的な方法で、例えば、コンピュータ、マイクロプロセッサ、集積回路、又はプログラマブルロジックデバイス（ＰＬＤ）を含むことができる処理デバイスを指す。プロセッサはまた、コンピュータグラフィックス及び画像処理又は他の機能のために利用されるかどうかにかかわらず、１以上のグラフィックス処理ユニット（ＧＰＵ）を包含し得る。さらに、関連する機能及び／又は結果として生じる機能を実行することを可能にする命令及び／又はデータは、例えば、集積回路、ハードディスク、ＣＤ（コンパクトディスク）、ＤＶＤ（デジタル汎用ディスク）などの光ディスク、ＲＡＭ（ランダムアクセスメモリ）又はＲＯＭ（読み取り専用メモリ）などの任意のプロセッサ可読媒体に格納され得る。命令は、特にハードウェア、ソフトウェア、ファームウェア、又はそれらの任意の組み合わせに格納され得る。
・「セマンティックセグメンテーション」：画像の各画素を定義済みのクラスに個別に分類するように構成されたアルゴリズムを指す。
・用語「適合された」及び「構成された」は、材料又はソフトウェア手段（ファームウェアを含む）を介してもたらされるかどうかにかかわらず、本装置の初期構成、後の適応若しくは補完、又はそれらの任意の組み合わせを同様に広く包含するとして本開示で使用される。

図面の簡単な説明
本発明の特徴及び利点は、以下の説明に現れる。本発明に関して、装置及び方法の実現のいくつかの様式について説明する。

図１は、一実施形態による本発明の方法の工程を表すブロック図である。 図２は、結合成分を含むデジタルスライド画像全体の図と、結合成分が可算結合成分と不可算結合成分の間でどのように分類されるかの例示的な例を提供する。

詳細な説明
本発明は、生体試料、特にスライドに処理された尿試料をスクリーニングするための費用対効果の高いハイスループット方法に関する。より正確には、本発明の方法は、対象の生体試料中に存在するオブジェクトを識別及び計数することを目的とする。

尿試料は対象から得られる。試料はまた、血液、血漿、血清、リンパ液、腹水（ａｓｃｅｔｉｃ ｆｌｕｉｄ）、嚢胞液、尿、胆汁、乳頭滲出液、滑液、気管支肺胞洗浄液、喀痰、羊水、腹膜水、脳脊髄液、胸水、心膜液、精液、唾液、汗、糞便、便、及び肺胞マクロファージなどの別の体液であってよい。試料は、濃縮又は濃化されてよい。

一実施形態では、本発明の方法は、対象から試料を得ることを含まない。一実施形態では、対象の試料は、対象から予め得られた試料である。前記試料は、本発明の方法に従って使用される前に適切な条件で保存されてよい。

試料は、腫瘍様細胞を提示するか、若しくは尿路病態を発症するリスクのある健康な対象又は不健康な対象から収集され得る。本発明の方法は、多数の対象に適用されるように設計されている。

一実施形態では、試料をホモジナイズし、フィルター上に堆積させ、次いで、その中に細胞を沈着させるためにスライドガラスに接触させる。スライドの材料はガラスであることが好ましいが、例えばポリカーボネートなどの他の材料でもあり得る。材料は、単回使用材料であってよい。

スライド堆積物を、癌リスクの指標である細胞の形態学的変化を検出するためにパパニコロウ染色プロトコルに従って染色する。あるいは、異なる着色手段を一緒に使用してよい。

染色後、スライドを覆う。スライドは、例えばカバーガラス又はプラスチックフィルムで覆ってよい。

一実施形態によれば、尿試料のスライドの画像を、全スライドスキャナなどの明視野光学システムから得る。

走査工程については、取り付けたスライドを、例えば、Ｈａｍａｍａｔｓｕ Ｎａｎｏｚｏｏｍｅｒ－Ｓ６０スライドスキャナなどの任意の適切な明視野光学システムを用いてデジタル化してよい。データ取得は、Ｈａｍａｍａｔｓｕ Ｎａｎｏｚｏｏｍｅｒ－Ｓ３６０スライドスキャナ又は３ＤＨｉｓｔｅｃｈのＰ２５０又はＰ１０００でも実現できる。

スライドのデジタル化画像は長方形であってよい。解析対象のデジタル化画像をトリミングして、各標的領域が解析に供される標的領域を定義してよい。感度の高い領域は、分析の精度を高めるために、標的領域内で分割することができる。

本明細書に開示される実施形態は、この明細書に記載されている様々な動作を含む。動作は、ハードウェア構成要素によって実行されてもよく、かつ／又は機械実行可能命令で具現化されてもよく、これは、命令でプログラムされた汎用又は特殊用途プロセッサに動作を実行させるために使用され得る。あるいは、動作は、ハードウェア、ソフトウェア、及び／又はファームウェアの組み合わせによって実行され得る。

本明細書に記載の１以上の動作の性能は、１以上のプロセッサ間で分散されてもよく、単一の機械内に存在するだけでなく、多数の機械に配置されてよい。場合によって、１以上のプロセッサ又はプロセッサ実装モジュールは、単一の地理的位置（例えば、家庭環境、オフィス環境、又はサーバファーム内）に配置され得る。他の実施形態では、１以上のプロセッサ又はプロセッサ実装モジュールは、多数の地理的位置に分散されてよい。

図１に示すように、一実施形態によれば、方法１００の第１工程１１０は、スライド全体又はスライド全体の少なくとも１つの部分の少なくとも１つのデジタル化画像を受信することからなる。

一実施形態では、本方法はさらに、スライド全体又はスライド全体の少なくとも１つの部分の画像のセグメンテーションによる工程１２０結合成分で構成される。セグメンテーション法は、前景を背景から分離することを可能にする閾値ベースの方法であり得る。最前面の結合成分をセグメンテーションマスクから回収してよい。結合成分は、１つのオブジェクト又はオブジェクトのグループで構成される。

一実施形態では、検出された結合成分は、例えば、畳み込みニューラルネットワークなどの分類器を用いて、可算結合成分及び不可算結合成分に分類される（工程１３０）。可算結合成分は、それに含まれる各オブジェクトを人間が視覚的に特定できる結合成分である。逆に、不可算結合成分は、人間が視覚的に特定できないオブジェクトである。これらの可算及び不可算結合成分の例を図２に提供する。

一実施形態によれば、本発明の方法は、可算結合成分の場合、各可算結合成分をオブジェクト検出モデルに入力する工程１４０を含む。オブジェクト検出モデルは、可算結合成分で構成されるオブジェクトを検出し、各検出されたオブジェクトについて１つの境界ボックス及び関連するクラスを出力として得るように構成され、定義済みの利用可能なクラスの中からクラスが選択される。したがって、この工程は、オブジェクト検出モデルから検出された各オブジェクトについて境界ボックス及び１つの関連するクラスを出力することを含む。

一実施形態によれば、オブジェクト検出モデルは、Ｆａｓｔｅｒ－ＲＣＮＮ、ＣｅｎｔｅｒＮｅｔ、ＳＯＬＯ又はＹＯＬＯである。

Ｆａｓｔｅｒ Ｒ－ＣＮＮでは、画像は畳み込みフィーチャマップを提供する畳み込みネットワークへの入力として提供される。Ｆａｓｔｅｒ Ｒ－ＣＮＮは、２つのモジュールで構成されている。第１のモジュールは、領域を提案する深い完全畳み込みネットワークであり、第２のモジュールは、提案された領域を使用するＦａｓｔｅｒ Ｒ－ＣＮＮ検出器である。システム全体は、オブジェクト検出のための単一の統一されたネットワークである。「注意」メカニズムを有するニューラルネットワーク、領域提案を生成するためのＲＰＮモジュール。Ｆａｓｔｅｒ Ｒ－ＣＮＮとの主な違いは、後者が選択的検索を用いて領域提案を生成することである。ＲＰＮでは、領域提案を生成するための時間コストは、ＲＰＮがオブジェクト検出ネットワークと最も多くの計算を共有する場合、選択的検索よりもはるかに小さくなる。簡単に説明すると、ＲＰＮは領域ボックス（アンカーと呼ばれる）をランク付けし、オブジェクトを含む可能性が最も高いボックスを提案する。

他の２つのオブジェクト検出モデル（ＣｅｎｔｅｒＮｅｔ、ＹＯＬＯ）とは異なり、Ｆａｓｔｅｒ Ｒ－ＣＮＮは、境界ボックスが最初に提案され、次に精密化されることを意味する２段階のオブジェクト検出器である。１段階検出器では、境界ボックスは精密化されない。したがって、このモデルの性能は、通常、単段階オブジェクト検出器よりも優れている。

ＣｅｎｔｅｒＮｅｔは、各オブジェクトをキーポイントのペアではなくトリプレットとして検出するため、精度と再現率の両方が向上する。ＣｅｎｔｅｒＮｅｔは、提案の中央部分、すなわち、幾何学的中心に近い領域を１つの追加キーポイントで探索する。ＣｅｎｔｅｒＮｅｔのアーキテクチャは、カスケードコーナープーリング及びセンタープーリングを、それぞれ２つのコーナーヒートマップ及びセンターキーポイントヒートマップに適用する畳み込みバックボーンネットワークを含む。ＣｏｒｎｅｒＮｅｔと同様に、検出されたコーナーのペアと類似の埋め込みを用いて、潜在的な境界ボックスを検出する。次に、検出された中心キーポイントを用いて、最終的な境界ボックスを決定する。他のモデルに対するＣｅｎｔｅｒＮｅｔの利点は、通常、実装が容易で、訓練が速く、推論時間中に高速であることである。

ＹＯＬＯは、回帰及び分類を行うために、より少ないアンカーボックスを使用する（入力画像をＳ×Ｓグリッドに分割する）。より詳細には、ＹＯＬＯはＧｏｏｇｌｅＮｅｔに「触発された」ネットワークである。それは、特徴抽出器として機能する２４の畳み込み層、及び予測を行うための２つの完全結合層を有する。特徴抽出器のアーキテクチャをダークネットと呼ぶ。要約すると、入力画像は、形状Ｓ×Ｓの特徴マップを出力する特徴抽出器（ダークネット）に供給される。そのため、画像はＳ×Ｓセルのグリッドに分割される。特徴マップの各セルは、Ｋクラスに対する信頼度スコアとクラス確率でＢ境界ボックスを予測する２つの連続した完全結合層のブロックに供給される。信頼度スコアは、基本的に検出されたオブジェクトがグランドトゥルースオブジェクトとどの程度重複しているかを測定するＩＯＵ（ｉｎｔｅｒｓｅｃｔｉｏｎ ｏｖｅｒ ｕｎｉｏｎ）メトリックの観点から与えられる。アルゴリズムが最小化する損失は、境界ボックスの位置（ｘ、ｙ）の予測、それらのサイズ（ｈ、ｗ）、前記予測の信頼度スコア（ｏｂｊスコア）及び予測クラス（クラス確率）を考慮に入れる。

一方、ＳＯＬＯは、インスタンスの位置とサイズに応じてインスタンス内の各画素にカテゴリを割り当てる「インスタンスカテゴリ」を用いるため、インスタンスのセグメンテーションをシングルショット分類可解問題（ｓｉｎｇｌｅ－ｓｈｏｔ ｃｌａｓｓｉｆｉｃａｔｉｏｎ－ｓｏｌｖａｂｌｅ ｐｒｏｂｌｅｍ）に変換する。都合の良いことに、ＳＯＬＯは、強力な性能を備えたはるかにシンプルで柔軟なインスタンスセグメンテーションフレームワークを提供し、Ｍａｓｋ Ｒ－ＣＮＮと同等の精度を達成し、精度は近のシングルショットインスタンスセグメンターを上回る。

ＹＯＬＯとＳＯＬＯのよりシンプルなアーキテクチャは、訓練データセットに少量のデータしか利用できず、さらに、分析する各単一スライド上に数千のセルル（ｃｅｌｌｕｌｅ）が存在する場合に重要なより速い推論を提供する医療分野での実装に特に都合がよい。

一実施形態によれば、本方法はさらに、各クラスのオブジェクトの総数を得るために、オブジェクト検出モデルの出力として得られた各クラスに関連する境界ボックスを計数する工程１５０を含む。

一実施形態によれば、本方法は、各不可算結合成分をセマンティックセグメンテーションモデルに入力し、全ての画素が定義済み利用可能なクラスのうちの１つのクラスに分類されるセグメンテーションマスクを出力として得る工程１６０を含む。場合によっては、オブジェクト間に深刻な重複がある場合、人間はオブジェクトを個別に識別できない。それゆえ、このような場合には、オブジェクト検出モデルは各個々のオブジェクトを検出できない。したがって、セグメンテーションモデルは、都合の良いことに、オブジェクトのおおよその数を計算することを可能にする。

一実施形態によれば、セマンティックセグメンテーションモデルはＵ－Ｎｅｔである。Ｕ－Ｎｅｔのアーキテクチャは、その名前を正当化する「Ｕ」のように見える。このアーキテクチャは、（１）収縮セクション、（２）ボトルネックセクション及び（３）拡張セクションの３つのセクションからなる。

収縮セクションは、いくつかの収縮ブロックで構成されている。各ブロックは、入力を受け取り、２つの３×３畳み込み層を適用し、その後に２×２マックスプーリングを適用する。各ブロックの後のカーネル又は特徴マップの数は２倍になり、その結果、アーキテクチャは複雑な構造を効果的に学習することができる。

ボトルネックは、収縮セクションと拡張セクションの間を仲介する。２つの３×３畳み込み層に続いて２×２アップサンプリング層を使用する。

収縮セクションと同様に、拡張セクションはいくつかの拡張ブロックからなる。各拡張ブロックの先頭で、対応する収縮ブロックの出力特徴マップと前の拡張ブロックの出力を結び付ける。次に、この結び付けられたブロックを、２つの３×３畳み込み層及び１つの２×２アップサンプリング層の中に通過させる。各拡大ブロックについて、第１の３×３畳み込み層の後に、特徴マップの数を２で除算する。

最後に、得られた特徴マップを、得られた特徴マップの数がクラスの数と等しい最後の１×１畳み込み層の中に通過させる。

一実施形態によれば、本方法は、セマンティックセグメンテーションモデルの各クラスについて、前記クラスに関連するセグメンテーションマスクの画素数として得られるクラスの総画素面積と、前記クラスのオブジェクトの平均面積との比率としてオブジェクト数を計数する工程１７０を含む。

一実施形態によれば、セマンティックセグメンテーションモデル及びオブジェクト検出モデルの定義済みクラスは同じである。

一実施形態によれば、セマンティックセグメンテーションモデル及びオブジェクト検出モデルは、ラベルされたデジタル化画像のデータセットを用いて訓練される。

一実施形態によれば、セマンティックセグメンテーションモデル及びオブジェクト検出モデルは、確率論的勾配降下訓練方法を用いて訓練される。

一実施形態によれば、各クラスは、以下のリスト：
－白血球：好塩基球、好中球、マクロファージ、単球及び好酸球；
－赤血球；
－細菌；
－尿結晶；
－円柱類；
－健康で非定型の尿路上皮細胞；
－扁平上皮細胞；
－反応性尿路上皮細胞、及び／又は
－酵母
の中のオブジェクトの少なくとも１つに関連する。

一実施形態によれば、本方法はさらに、スライド全体の少なくとも１つの部分のデジタル化画像に沿った各クラスのオブジェクトの総数を表示する工程を含む。この中で、ユーザは、都合の良いことに、本方法を用いて得られたオブジェクト数の結果並びにデジタル化画像を視覚化することができる。

一実施形態によれば、本方法はさらに、デジタル化画像の中のクラス内のオブジェクトの有無に関する情報を提供する少なくとも１つの文字列を表示する工程を含む。文字列は、デジタル化画像に沿った表示されてよい。

本発明はさらに、スライド上に処理された尿試料から回収可能なオブジェクトを分類及び計数するためのシステムに関する。以下では、モジュールは、材料、物理的に異なる成分ではなく、機能的な実体として理解されるべきである。その結果、それらは、同じ有形かつ具体的な成分にグループ化されるか、又はいくつかのそのような成分に分配されるものとして具現化することができる。また、これらの各モジュールはそれ自体、おそらく少なくとも２つの物理的成分間で共有されている。加えて、モジュールは、ハードウェア、ソフトウェア、ファームウェア、又はそれらの混合形態でも実装される。それらは、好ましくは、システムの少なくとも１つのプロセッサ内で具現化される。

本発明のシステムは、複数のオブジェクトを含むスライド全体の少なくとも１つのデジタル化画像を受信するように構成された取得モジュールを備えてもよい。取得モジュールは、スライド全体の少なくとも１つの画像を取得するように構成された明視野光学システムに接続されてよい。

一実施形態では、該システムは、
－スライド全体の画像のセグメンテーションによって結合成分を検出する；
－検出された結合成分を、分類器を用いて可算結合成分と不可算結合成分に分類する；
－可算結合成分の場合：
・オブジェクトを検出し、各オブジェクトについて１つの境界ボックス及び関連するクラスを出力するように構成されたオブジェクト検出モデルに各可算結合成分を入力する；
・各クラスに関連する境界ボックスを計数し、各クラスのオブジェクト数を得る；
－不可算成分の場合：
・各不可算結合成分をセマンティックセグメンテーションモデルに入力し、全ての画素が定義済みの利用可能なクラスのうちの１つのクラスに分類されるセグメンテーションマスクを出力として得る；
・各クラスについて、前記クラスに関連するセグメンテーションマスクの画素数として得られた該クラスの総画素面積と、前記クラスのオブジェクトの平均面積との比率としてオブジェクト数を計数する；
その際、セマンティックセグメンテーションモデルとオブジェクト検出モデルの定義済みクラスは同じである、
－セマンティックセグメンテーションモデル及びオブジェクト検出モデルから取得した各クラスのオブジェクト数を合計する
ように構成された計算モジュールを備える。

一実施形態によれば、該システムは、各クラスについてオブジェクト数を出力するように構成された出力モジュールを備える。

本発明はさらに、尿試料から回収可能なオブジェクトを分類及び計数するためのコンピュータプログラム製品を含み、該コンピュータプログラム製品は、プログラムがコンピュータによって実行されるときに、本明細書に記載の実施形態のいずれか１つによる方法の工程をコンピュータに実行させる命令を含む。

上記の方法を実行するコンピュータプログラム製品は、ハードウェア構成要素によって実行される動作を実行するための機械又は特殊目的コンピュータとして動作するようにプロセッサ又はコンピュータを個々に若しくは集合的に指示するか又は構成するための、コンピュータプログラム、コードセグメント、命令、又はそれらの任意の組み合わせとして記述され得る。一例では、該コンピュータプログラム製品は、コンパイラによって生成されるマシンコードなどの、プロセッサ又はコンピュータによって直接実行されるマシンコードを含む。別の例では、該コンピュータプログラム製品は、インタプリタを用いてプロセッサ又はコンピュータによって実行される高レベルのコードを含む。当業者プログラマは、図面に例示されるブロック図及びフローチャート、並びに上記の方法の動作を実行するためのアルゴリズムを開示する本明細書中の対応する説明に基づいて命令又はソフトウェアを容易に書くことができる。

本発明はさらに、プログラムがコンピュータによって実行されるときに、上記の実施形態のいずれか１つによる方法の工程をコンピュータに実行させる命令を含むコンピュータ可読可能記憶媒体を含む。

一実施形態によれば、コンピュータ可読記憶媒体は、非一時的コンピュータ可読記憶媒体である。

本実施形態の方法を実装するコンピュータプログラムは、一般に、限定されないが、ＳＤカード、外部記憶装置、マイクロチップ、フラッシュメモリ装置、ポータブルハードドライブ及びソフトウェアウェブサイトなどの配布コンピュータ可読記憶媒体上でユーザに配布することができる。分配媒体から、コンピュータプログラムは、ハードディスク又は類似の中間記憶媒体にコピーされ得る。コンピュータプログラムは、それらの分配媒体又はそれらの中間記憶媒体のいずれかからコンピュータの実行メモリにコンピュータ命令をロードすることによって実行することができ、この発明の方法に従って作用するようにコンピュータを構成する。これらの動作は全て、コンピュータシステムの当業者に周知である。

ハードウェア構成要素を実装し、上記の方法を実行するプロセッサ若しくはコンピュータを制御する命令又はソフトウェア、並びに任意の関連データ、データファイル、及びデータ構造は、１以上の非一時的なコンピュータ可読記憶媒体の中若しくは上に記録、保存、又は固定される。非一時的コンピュータ可読可能記憶媒体の例には、プロセッサ又はコンピュータが命令を実行できるように、命令又はソフトウェア及び任意の関連データ、データファイル、及びデータ構造を非一時的方法で格納し、命令又はソフトウェア及び任意の関連データ、データファイル、及びデータ構造をプロセッサ又はコンピュータに提供することができる読み取り専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、フラッシュメモリ、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＣＤ＋Ｒ、ＣＤ－ＲＷ、ＣＤ＋ＲＷ、ＤＶＤ－ＲＯＭ、ＤＶＤ－Ｒ、ＤＶＤ＋Ｒ、ＤＶＤ－ＲＷ、ＤＶＤ＋ＲＷ、ＤＶＤ－ＲＡＭ、ＢＤ－ＲＯＭ、ＢＤ－Ｒ、ＢＤ－Ｒ ＬＴＨ、ＢＤ－ＲＥ、磁気テープ、フロッピーディスク、光磁気データ記憶装置、光データ記憶装置、ハードディスク、ソリッドステートディスク、及び当業者に公知の任意のデバイスが含まれる。一例では、命令及びソフトウェア及び任意の関連データ、データファイル、及びデータ構造がプロセッサ又はコンピュータによって分散形式で格納、アクセス、及び実行されるように、命令又はソフトウェア及び任意の関連データ、データファイル、及びデータ構造はネットワーク接続コンピュータシステム上に分散される。

Claims (15)

1. スライド上に処理された尿試料から回収可能なオブジェクトを分類及び計数するための方法（１００）であって、
   －前記スライド全体の少なくとも１つのデジタル化画像を受信する工程（１１０）；
   －前記スライド全体の画像のセグメンテーションによって結合成分を検出する工程（１２０）；
   －検出された結合成分を、分類器を用いて可算結合成分及び不可算結合成分に分類する工程（１３０）；
   －可算結合成分の場合：
   ・オブジェクトを検出し、検出された各オブジェクトの境界ボックス及び関連するクラスを含む出力を得るために、オブジェクト検出モデルに各可算結合成分を入力する工程（１４０）；
   ・各クラスに関連する境界ボックスを計数し、各クラスのオブジェクト数を得る工程（１５０）；
   －不可算成分の場合：
   ・各不可算結合成分をセマンティックセグメンテーションモデルに入力し、全ての画素が定義済みの利用可能なクラスの中の１つのクラスに分類されるセグメンテーションマスクを出力として得る工程（１６０）；
   ・各クラスについて、前記クラスに関連するセグメンテーションマスクの画素数として得られた前記クラスの総画素面積と、前記クラスのオブジェクトの平均面積との比率としてオブジェクト数を計数する工程（１７０）；
   －前記セマンティックセグメンテーションモデル及び前記オブジェクト検出モデルから得られた各クラスのオブジェクト数を合計する工程；
   －各クラスのオブジェクト数を出力する工程
   を含み、前記セマンティックセグメンテーションモデル及び前記オブジェクト検出モデルの前記クラスが同じである方法。
2. 前記セマンティックセグメンテーションモデルがＵ－Ｎｅｔである、請求項１に記載の方法。
3. 前記オブジェクト検出モデルが、Ｆａｓｔｅｒ Ｒ－ＣＮＮ、ＣｅｎｔｅｒＮｅｔ、ＳＯＬＯ又はＹＯＬＯである、請求項１又は２のいずれか一項に記載の方法。
4. 前記受信されたデジタル化画像が明視野光学システムから生じる、請求項１～３のいずれか一項に記載の方法。
5. 前記セマンティックセグメンテーションモデル及び前記オブジェクト検出モデルが、ラベルされたデジタル化画像のデータセットを用いて訓練される、請求項１～４のいずれか一項に記載の方法。
6. 前記セマンティックセグメンテーションモデル及び前記オブジェクト検出モデルが確率論的勾配降下訓練方法を用いて訓練される、請求項１～５のいずれか一項に記載の方法。
7. 前記セマンティックセグメンテーションモデル及び前記オブジェクト検出モデルの各クラスが、以下のリスト：
   －白血球：好塩基球、好中球、マクロファージ、単球及び好酸球；
   －赤血球；
   －細菌；
   －尿結晶；
   －円柱類；
   －健康で非定型の尿路上皮細胞；
   －扁平上皮細胞；
   －反応性尿路上皮細胞、及び／又は
   －酵母
   の中のオブジェクトの少なくとも１つに関連する、請求項１～６のいずれか一項に記載の方法。
8. 前記スライド全体の少なくとも１つの部分のデジタル化画像に沿った各クラスのオブジェクトの総数を表示することをさらに含む、請求項１～７のいずれか一項に記載の方法。
9. 前記デジタル化画像にクラス内のオブジェクトの有無に関する情報を提供する少なくとも１つの文字列を表示することをさらに含む、請求項１～８のいずれか一項に記載の方法。
10. 前記試料がＰａｐ染色剤により着色されている、請求項１～９のいずれか一項に記載の方法。
11. スライド上に処理された尿試料から回収可能なオブジェクトを分類及び計数するためのシステムであって、
    －複数のオブジェクトを含むスライド全体の少なくとも１つのデジタル化画像を受信するように適合させた少なくとも１つの入力；
    －以下のように構成された少なくとも１つのプロセッサ：
    ・前記スライド全体の画像のセグメンテーションによって結合成分を検出する；
    ・前記検出された結合成分を、分類器を用いて可算結合成分と不可算結合成分に分類する；
    ・可算結合成分の場合：
    ｉ．オブジェクトを検出し、各オブジェクトについて１つの境界ボックス及び関連するクラスを出力するように構成されたオブジェクト検出モデルに各可算結合成分を入力する；
    ｉｉ．各クラスに関連する境界ボックスを計数し、各クラスのオブジェクト数を得る；
    ・不可算成分の場合：
    ｉ．各不可算結合成分をセマンティックセグメンテーションモデルに入力し、全ての画素が定義済みの利用可能なクラスのうちの１つのクラスに分類されるセグメンテーションマスクを出力として得る；
    ｉｉ．各クラスについて、前記クラスに関連するセグメンテーションマスクの画素数として得られた前記クラスの総画素面積と、前記クラスのオブジェクトの平均面積との比率としてオブジェクト数を計数する；
    ・前記セマンティックセグメンテーションモデル及び前記オブジェクト検出モデルから得られた各クラスのオブジェクト数を合計する；
    その際、前記セマンティックセグメンテーションモデルと前記オブジェクト検出モデルの前記クラスは同じである、
    －各クラスにオブジェクト数を提供するように適合させた少なくとも１つの出力、
    を含むシステム。
12. 前記オブジェクト検出モデルが、Ｆａｓｔｅｒ Ｒ－ＣＮＮ 、ＣｅｎｔｅｒＮｅｔ、ＳＯＬＯ又はＹＯＬＯである、請求項１１に記載のシステム。
13. 前記セマンティックセグメンテーションモデル及び前記オブジェクト検出モデルが、ラベルされたデジタル化画像のデータセットを用いて訓練される、請求項１１又は１２のいずれかに記載のシステム。
14. 尿試料から回収可能なオブジェクトを分類及び計数するためのコンピュータプログラム製品であって、前記プログラムがコンピュータによって実行されるときに、請求項１～１０のいずれか一項に記載の方法を前記コンピュータに実行させる命令を含むコンピュータプログラム製品。
15. 前記プログラムがコンピュータによって実行されるときに、請求項１～１０のいずれか一項に記載の方法を前記コンピュータに実行させる命令を含むコンピュータ可読可能記憶媒体。

Images