JP6941123B2

JP6941123B2 - 適応型追加学習を用いた細胞のアノテーション法及びアノテーションシステム

Info

Publication number: JP6941123B2
Application number: JP2018568681A
Authority: JP
Inventors: ヨンミャンチャン，; ジンウェンズー，
Original assignee: コニカミノルタラボラトリーユー．エス．エー．，インコーポレイテッド
Priority date: 2016-06-30
Filing date: 2017-06-27
Publication date: 2021-09-29
Anticipated expiration: 2037-06-27
Also published as: US20190180147A1; WO2018005413A1; EP3478728A4; EP3478728A1; US10853695B2; JP2019521443A

Description

本出願は、２０１６年６月３０日に出願されたアメリカ特許仮出願第６２／３５６８８３号及び２０１６年６月３０日に出願されたアメリカ特許仮出願第６２／３５６９１６号の優先権を主張するものであり、それらの全内容を参照により本出願に援用する。

本開示は、新たなクラスの細胞画像を受け取りつつ連続的に学習プロセスを行い、時間と共に細胞画像の新たなクラスの数を増加して予想する能力を徐々に拡張することができ、例えば、病理分析において細胞画像への自動的なアノテーションに適用することができる方法及びシステムに関する。

細胞の本体を正確に抽出することは、がん細胞の更なる病理分析のための細胞特性の定量化に大いに役立つ。実際には、細胞画像データには以下の問題がある：組織の種類、ブロックのカット、染色方法、設備及び病院の違いに起因して外観が多種多様である；細胞画像データは時間を掛けて徐々に収集されており、収集されたデータは通常均一化されていないので、例えば、ある種の細胞画像は、他の種の細胞画像よりも大きい。

画像の分類作業には、教師付き機械学習アルゴリズムがしばしば用いられる。しかし、機械学習アルゴリズムには、未解決の問題が残されている。その１つが、そのような固定されたモデルは静的なスナップショットのデータを用いて訓練されるので、新たなクラス及びクラス内のデータが利用可能となるような前述の状況に適合させることができない、という問題である。

したがって、新たなクラスの細胞画像が到着したとき及び／または新たなクラスの細胞画像を受け取ったときに連続的に学習プロセスを行い、新たなクラスの細胞画像に対する予測能力を徐々に拡張する細胞検出システムがあれば望ましい。

細胞のアノテーション法が開示され、前記方法は、細胞の検出に供する少なくとも１枚の新たな細胞画像を受け取ることと、前記少なくとも１枚の新たな細胞画像から細胞特徴を抽出することと、前記抽出した細胞特徴を各クラスの細胞特徴のマトリクスと比較して、最も近いクラスを予測することであって、前記細胞特徴のマトリクスは、少なくとも、細胞画像を少なくとも１枚有する初期訓練データから生成されている、と、前記少なくとも１枚の新たな細胞画像の抽出した細胞特徴から、前記予測した最も近いクラスに対応する分類器を用いて細胞ピクセルを検出し、尤度マップを生成することと、前記尤度マップから個々の細胞を区分けすることによって前記少なくとも１枚の細胞画像から個々の細胞を抽出することと、前記少なくとも１枚の新たな細胞画像から抽出した個々の細胞に機械アノテーションを行って、細胞、非細胞ピクセル及び／または細胞境界を識別することと、前記少なくとも１枚の新たな細胞画像から抽出した個々の細胞に付した前記機械アノテーションの信頼度レベルを算出することと、前記信頼度レベルが所定の閾値よりも低い場合は、前記機械アノテーションを修正することと、を有する。

細胞アノテーションのためのコンピューター読み取り可能なコードを記憶するコンピュータープログラムが開示され、前記プログラムはコンピューターにより実行可能であり、コンピューターに以下を有するプロセスを実行させる：細胞の検出に供する少なくとも１枚の新たな細胞画像を受け取ることと、前記少なくとも１枚の新たな細胞画像から細胞特徴を抽出することと、前記抽出した細胞特徴を各クラスの細胞特徴のマトリクスと比較して、最も近いクラスを予測することであって、前記細胞特徴のマトリクスは、少なくとも、細胞画像を少なくとも１枚有する初期訓練データから生成されている、と、前記少なくとも１枚の新たな細胞画像の抽出した細胞特徴から、前記予測した最も近いクラスに対応する分類器を用いて細胞ピクセルを検出し、尤度マップを生成することと、前記尤度マップから個々の細胞を区分けすることによって前記少なくとも１枚の細胞画像から個々の細胞を抽出することと、前記少なくとも１枚の新たな細胞画像から抽出した個々の細胞に機械アノテーションを行って、細胞、非細胞ピクセル及び／または細胞境界を識別することと、前記少なくとも１枚の新たな細胞画像から抽出した個々の細胞に付した前記機械アノテーションの信頼度レベルを算出することと、前記信頼度レベルが所定の閾値よりも低い場合は、前記機械アノテーションを修正すること。

細胞アノテーションシステムが開示され、前記システムは、以下を行うよう構成された少なくとも１つのプロセッサーを有する：細胞の検出に供する少なくとも１枚の新たな細胞画像を受け取り、前記少なくとも１枚の新たな細胞画像から細胞特徴を抽出し、前記抽出した細胞特徴を各クラスの細胞特徴のマトリクスと比較して、最も近いクラスを予測し、前記細胞特徴のマトリクスは、少なくとも、細胞画像を少なくとも１枚有する初期訓練データから生成されており、前記少なくとも１枚の新たな細胞画像の抽出した細胞特徴から、前記予測した最も近いクラスに対応する分類器を用いて細胞ピクセルを検出し、尤度マップを生成し、前記尤度マップから個々の細胞を区分けすることによって前記少なくとも１枚の細胞画像から個々の細胞を抽出し、前記少なくとも１枚の新たな細胞画像から抽出した個々の細胞に機械アノテーションを行って、細胞、非細胞ピクセル及び／または細胞境界を識別し、前記少なくとも１枚の新たな細胞画像から抽出した個々の細胞に付した前記機械アノテーションの信頼度レベルを算出し、前記信頼度レベルが所定の閾値よりも低い場合は、前記機械アノテーションを修正する。

細胞アノテーションのための適応型追加学習法が開示され、前記方法は、細胞画像の複数のクラスのそれぞれについて、細胞特徴のマトリクスを生成することと、細胞画像の前記複数のクラスのそれぞれの細胞特徴の１つ以上を同定することと、追加の細胞画像を受け取ると、細胞画像の前記複数のクラスのそれぞれについての前記１つ以上の細胞特徴を更新することと、細胞画像の前記複数のクラスのそれぞれについて、複数の分類器を構築することであって、前記複数の分類器のそれぞれが１つ以上の細胞特徴に対応している、と、細胞画像の前記複数のクラスのそれぞれについての前記複数の分類器のそれぞれを重み付けすることと、新たな細胞画像を取得することと、前記複数のクラスから、前記細胞画像が属するクラスを同定し、いずれのクラスも同定されない場合は、新たなクラスを作成することと、前記細胞画像が前記複数のクラスから同定されたクラスに属する場合は、細胞画像から特徴を抽出して、分類誤り率が所定の閾値よりも小さい場合は、前記抽出した特徴を用いて前記複数のクラスから同定されたクラス用の新たな分類器を生成し、前記分類誤り率が前記閾値よりも大きい場合は、前記抽出した特徴を前記新たなクラスに分類することと、前記新たな分類器を生成する場合は、前記新たな分類器を前記複数のクラスから同定されたクラス用の前記複数の分類器の一つに付け加えることと、を有する。

細胞アノテーションのための適応型追加学習のためのコンピューター読み取り可能なコードを記憶するコンピュータープログラムを含む非一時的なコンピューター読み取り可能な媒体が開示され、前記プログラムはコンピューターにより実行可能であり、コンピューターに以下を有するプロセスを実行させる：細胞画像の複数のクラスのそれぞれについて、細胞特徴のマトリクスを生成することと、細胞画像の前記複数のクラスのそれぞれの細胞特徴の１つ以上を同定することと、追加の細胞画像を受け取ると、細胞画像の前記複数のクラスのそれぞれについての前記１つ以上の細胞特徴を更新することと、細胞画像の前記複数のクラスのそれぞれについて、複数の分類器を構築することであって、前記複数の分類器のそれぞれが１つ以上の細胞特徴に対応している、と、細胞画像の前記複数のクラスのそれぞれについての前記複数の分類器のそれぞれを重み付けすることと、新たな細胞画像を取得することと、前記複数のクラスから、前記細胞画像が属するクラスを同定し、いずれのクラスも同定されない場合は、新たなクラスを作成することと、前記細胞画像が前記複数のクラスから同定されたクラスに属する場合は、細胞画像から特徴を抽出して、分類誤り率が所定の閾値よりも小さい場合は、前記抽出した特徴を用いて前記複数のクラスから同定されたクラス用の新たな分類器を生成し、前記分類誤り率が前記閾値よりも大きい場合は、前記抽出した特徴を前記新たなクラスに分類することと、前記新たな分類器を生成する場合は、前記新たな分類器を前記複数のクラスから同定されたクラス用の前記複数の分類器の一つに付け加えること。

細胞アノテーションのための適応型追加学習システムが開示され、前記システムは、以下を行うよう構成された少なくとも１つのプロセッサーを有する：細胞画像の複数のクラスのそれぞれについて、細胞特徴のマトリクスを生成し、細胞画像の前記複数のクラスのそれぞれの細胞特徴の１つ以上を同定し、追加の細胞画像を受け取ると、細胞画像の前記複数のクラスのそれぞれについての前記１つ以上の細胞特徴を更新し、細胞画像の前記複数のクラスのそれぞれについて、複数の分類器を構築し、前記複数の分類器のそれぞれが１つ以上の細胞特徴に対応しており、細胞画像の前記複数のクラスのそれぞれについての前記複数の分類器のそれぞれを重み付けし、新たな細胞画像を取得し、前記複数のクラスから、前記細胞画像が属するクラスを同定し、いずれのクラスも同定されない場合は、新たなクラスを作成し、前記細胞画像が前記複数のクラスから同定されたクラスに属する場合は、細胞画像から特徴を抽出して、分類誤り率が所定の閾値よりも小さい場合は、前記抽出した特徴を用いて前記複数のクラスから同定されたクラス用の新たな分類器を生成し、前記分類誤り率が前記閾値よりも大きい場合は、前記抽出した特徴を前記新たなクラスに分類し、前記新たな分類器を生成する場合は、前記新たな分類器を前記複数のクラスから同定されたクラス用の前記複数の分類器の一つに付け加える。

上記の概括的な記載及び以下の詳細な記載は、どちらも例示及び説明のためのものであり、請求項に記載の発明についてさらなる説明の提供を目的としたものであると理解すべきである。

添付の図面は、本発明のさらなる理解のために含められたものであり、本明細書に組み込まれ、その一部を構成する。図面は、本発明の実施形態を説明するものであり、明細書と共に本発明の原理を説明する役割を果たす。
例示的実施形態に係る適応型追加学習を用いた細胞アノテーションシステムを示すフローチャートである。例示的実施形態に係る連続学習中に、オンラインで種々のクラスにグループ分けされた細胞画像を示す図である。例示的実施形態に係る連続学習プロセス中に、どのようにして細胞画像が種々のクラスにグループ分けされるのかを示す線図である。例示的実施形態に従って得られた細胞画像の尤度マップを示す図である。例示的実施形態に係る後処理の後にラベル付けされた細胞を示す図である。あるクラスの細胞画像の細胞検出に適用した場合の追加学習の性能を示す実験結果であり、例示的実施形態に従って訓練画像を追加していくにつれ、検出の正確度が徐々に改善することが示されている。細胞画像の到着または細胞画像を受け取りによりシステムが学習していくにつれて、システムの総合性能が徐々に改善することを示す実験結果であり、最初は、初期訓練用として画像が１枚のみ与えられ、その後、システムは平均で８５％の正確度を達成することができた。連続学習の過程で性能が徐々に改善している。破線は、正確度の改善についての統計的な傾向であり、実線は、システムにより達成された正確度の平均である。例示的実施形態に係る細胞画像の機械アノテーションの結果の例であり、輪郭は、機械により自動的にアノテーションされた細胞の境界である。

ここで、本発明の好ましい実施形態について詳細に述べ、その例を添付の図面に示す。図面及び明細書において、同一または類似の部材の参照には、可能な限り同一の参照番号を用いる。

例示的実施形態によれば、教師なし学習を用いて画像の特徴の類似度に従った細胞画像のクラスを学習することができるシステム及び方法が開示され、到着または受け取った新たな細胞画像は、種々のクラスモデルに自己体系化される。

例示的実施形態によれば、他の既知のシステムとは大きく異なるデータマッピング機能が開示される。例えば、実施形態によれば、他の既知のシステムではニューラルネットワークを用いた非線形マッピングを用いられるのに対して、本システムでは、細胞検出性能を大幅に強化することが可能なデータ相違度を尺度に用いることができる。

例示的実施形態によれば、細胞画像データは、種々のモダリティや種々の身体の部位から、画像染色やバックグラウンドノイズ、細胞のサイズや形に大きなばらつきがあるものを徐々に収集することができる。また、データのクラスは、しばしば均一化されていない。既知の機械学習アルゴリズムの多くは、例えば、学習データが一度に利用できることを想定しており、これは上述の状況には適さない。

例示的実施形態によれば、本開示は、到着したデータから学習していくことにより細胞アノテーションの実際の状況に適合するインテリジェントなシステムを提供するものであり、セルアノテーションに関していくつかの利点をもたらすが、それには以下が含まれる：（１）機械によるラベル付けの結果の信頼度を測定するので、エンドユーザーが手作業による修正の要否を決定する手助けとなる；（２）データの相違分布によって前回まで未知だった特徴の尤度が評価され、これは、学習プロセスを徐々に該未知の特徴に注目するように仕向けるのに効果的である；（３）予測応答の尤度を測定が、重なった細胞の区分けに効果的に役立つ；（４）分類器の数が所定の閾値に達したときは、弱い分類器を自動的に取り除く；（５）画像ノイズおよび異常な値の影響がオフセットされる方法で、細胞画像のクラスタリングにおいて２枚の画像間の類似度が測定される；（６）細胞画像を自動的に種々の細胞クラスにグループ分けするので、エンドユーザーは、細胞画像の細胞種及びモダリティを知る必要が無い；（７）システムは、初期学習には１枚のラベル付き画像しか必要とせず、連続的な学習プロセスの過程で性能が徐々に改善される；（８）到着した画像が未知のクラスに属している場合でも、システムは、例えば本明細書に示す統計的に８５％を超えるような高い正確度で細胞のラベルを予測することができるので、人によるラベル付け作業が大幅に削減される。

（オンラインでのクラスクラスタリング）
図１は、例示的実施形態に係る、適応型追加学習を用いたセルアノテーションシステム１００を示すフローチャートである。例示的実施形態によれば、例えば、システム１００は、種々のブロックまたはモジュールで構成することができる。例えば、システム１００は、特徴抽出モジュール１１０と、クラス同定モジュール１２０と、学習予測モジュール１３０と、予測モジュール１４０と、学習モジュール１５０とを有しうる。これらのシステム及び／またはモジュール１００、１１０、１２０、１３０、１４０及び１５０は、メモリー、プロセッサー、オペレーティングシステム及び／またはソフトウェア、並びに／または任意のグラフィカルインターフェイス（ＧＵＩ）及び／またはディスプレイを備えるコンピューターまたは処理装置を１つ以上有しうる。例示的実施形態によれば、例えば、各モジュール１１０、１２０、１３０、１４０、１５０は、例えばスタンドアローンのコンピューター装置等の１台のコンピューター装置に集約したり、１台以上のコンピューター装置に含めたりすることができ、これら１台以上のコンピューター装置は、それぞれメモリー、プロセッサー、オペレーティングシステム及び／またはソフトウェア、並びにグラフィカルインターフェイス（ＧＵＩ）またはディスプレイを備える。

例示的実施形態によれば、システム１００は以下のように構成される。ステップ１では、抽出モジュール１１０において初期訓練データを受け取る。例えば、例示的実施形態によれば、システム１００は、まず、２〜３個程度のラベル付きサンプルを用いて事前モデルを学習する。これを追加学習の出発点として、訓練プロセスが実行されるたびに当該モデルが更新される。ステップ２では、初期訓練データ（原細胞画像）の特徴抽出を行う。ステップ２では、この機能により細胞画像の特徴が抽出され、当該特徴は、予測モジュール１３０及び／または学習モジュール１５０の両方において用いることができる。

例示的実施形態によれば、オンラインクラスタリングモジュール１２０は、ステップ３では、クラスの同定を行うが、これには、到着した細胞画像が、未知のクラスに属するのか既存（または既知）のクラスに属するのかの判定が含まれうる。ステップ４では、クラス中心的特徴（ｃｌａｓｓｐｉｖｏｔｆｅａｔｕｒｅ）のモジュールまたはデータベースが提供されるが、これは、細胞画像の各クラスの中心的特徴を保持するマトリクスであってよく、入力画像のクラスの同定に用いることができる。ステップ５では、クラスの同定が行われるが、これには、到着した細胞画像が、未知のクラスに属するのか既存（または既知）のクラスに属するのかの判定が含まれうる。

例示的実施形態によれば、ステップ６では、システム１００が、検出に供する細胞画像のストリームを受け取る。ステップ７では、特徴抽出が行われ、細胞の特徴が抽出されるが、抽出された特徴は、学習モジュール１５０及び予測モジュール１３０の両方において用いることができる。

ステップ８では、クラス中心的特徴が生成され、各クラスの細胞画像の特徴が抽出されて、クラス中心的特徴モジュールまたはデータベース（ステップ４）である「クラス中心的特徴」に特徴ベクトルが保存される。ステップ９では、クラスモデルの選択が行われるが、これには、特徴類似度マッチングにより所与の細胞画像に最も近いクラスを見つけ出すことが含まれうる。ステップ１０では、訓練済み分類器を用いて所与の細胞画像から細胞ピクセルを検出する予測が行われ、例えば尤度マップとして出力されうる。ステップ１１では、処理後抽出が行われ、予測ステップで出力された尤度マップから細胞を区分けすることにより、所与の細胞画像から個々の細胞が抽出される。

例示的実施形態によれば、ステップ１２では、ステップ１１の出力を用いて機械アノテーション（または後処理）を行うことができ、細胞及び非細胞ピクセル並びに細胞輪郭をマークすることができる。ステップ１３では、予測の信頼度を算出することができ、機械による検出の結果について信頼度レベル（パーセント）が得られる。ステップ１４では、ラベルの修正を行うことができ、これには、信頼度レベルが一定の閾値またはレベルよりも低い場合や、画像が未知のクラスに属する場合に、手作業の介入により機械によるラベル付けの結果を修正することが含まれうる。ステップ１５では、最終アノテーションが行われ、これには、病理分析やさらなる学習のためのフィードバックに用いることのできるアノテーションの結果が含まれうる。ステップ１６では、クラス中心的特徴が更新され、これには、あるクラスに属する追加画像が訓練に関与している場合に、当該クラスの中心的特徴を更新することが含まれうる。

例示的実施形態によれば、ステップ１７では、クラスが同定され、そのクラスの弱い分類器を訓練することができる。このクラスのデータが連続的に到着することで、各クラスのデータについての学習能力を表す一連の重み分布関数を作り出すことができる。ステップ１８では、学習プロセスの過程で新たなモデルが学習されて、分類器の数が閾値を超えた場合に、過度の執着（ｏｖｅｒｏｂｓｅｓｓｉｖｅ）を防ぎ、到着する新たな画像に徐々に適応するように、使われなくなった分類器を取り除く。ステップ１９では、クラスモデルが作成され、すべての弱分類器を含むデータ構造が、クラスに従って索引付けされる。

例示的実施形態によれば、システム１００には、追加学習の仕組みを持つ既知のシステムとは異なる以下のような特徴がある：
（１）機械によるラベル付けの結果についての信頼度の測定；
（２）データ相違度の分布により、未知の特徴の尤度が測定される；
（３）細胞画像のクラスタリングにおける２枚の画像間の類似度の測定；
（４）予測応答の尤度の測定；及び
（５）細胞画像が種々のクラスに自動的にグループ分けされる。

例示的実施形態によれば、例えば、ここに開示される方法及びシステムは、細胞画像のアノテーションに関していくつかの利点をもたらすが、それには以下が含まれる：
（１）細胞画像が自動的に種々のクラスにグループ分けされるので、エンドユーザーは、細胞画像の細胞種及びモダリティを知る必要が無い；
（２）システムは、初期学習に１枚のラベル付き画像しか必要とせず、その性能は連続的な学習プロセスの過程で徐々に改善される；
（３）到着した画像が未知のクラスに属する場合でも、システムは高い正確度で細胞のラベルを予測することができるので、人によるラベル付け作業が大幅に削減される。
（４）機械によるラベル付けの結果の信頼度を測定するので、エンドユーザーが手作業による修正の要否を決定する手助けとなる；
（５）データの相違分布によって前回まで未知だった特徴の尤度が評価され、これは、学習プロセスを徐々に該未知の特徴に注目するように仕向けるのに効果的である；
（６）予測応答の尤度の測定が、重なった細胞の区分けに効果的に役立つ；
（７）分類器の数が所定の閾値に達したときに、弱い分類器が自動的に取り除かれる；
（８）細胞画像のクラスタリングにおいて２枚の画像間の類似度を測定するので、画像ノイズおよび異常な値の影響がオフセットされる。

例示的実施形態によれば、図２に示すように、連続的な学習プロセスの過程で、入力された細胞画像は、オンラインクラスクラスタリングにより、画像類似度に従って種々のクラス２００にグループ分けされる。これは、細胞画像の多種多様な外観に対応するためである。例示的実施形態によれば、各クラスは分類器を伴い、これは新たな細胞画像の到着によって追加的に構築されて行き、徐々に更新される。

例示的実施形態によれば、本明細書に開示するシステム及び方法では、画像のグループ分けに以下のような色分布に基づく方法を用いることができる。例えば、Ｈ（ａ）をｋ個のヒストグラムビンを持つ画像ａのヒストグラム、Ｈ（ｂ）を画像ｂのヒストグラムとすると、画像中の色は、ｋ個の色を含む個別の色空間にマッピングすることができ、色ヒストグラムＨ（ａ）は、ベクトル［ｈ_１（ａ）・・・ｈ_ｋ（ａ）］、Ｈ（ｂ）はベクトル［ｈ_１（ｂ）・・・ｈ_ｋ（ｂ）］となる。

例示的実施形態によれば、２枚の画像の類似度は、２つのヒストグラム間のユークリッド距離により測定（または算出）することができる。ユークリッド距離は、小さな変形であっても感度に問題が生じることに注意すべきである。例えば、ベクトルの１つの１つの値に異常がある場合、これが結果の距離に反映されうる。したがって、ヒストグラムによる２枚の画像間の類似度を測定には、以下の測定法を用いることができる。

例示的実施形態によれば、オンラインクラスクラスタリングは、２つのモジュール：クラスの同定と新たなクラスの生成、からなるものであってよい。新たなデータが到着すると、クラス同定モジュール（ステップ５）は、式（１）を用いて、新たに到着したデータが既存のクラスに属するかどうかを検証する。Ｄ（Ｈ（ａ），Ｈ（ｂ））が予め定められた閾値よりも大きい場合、到着したデータは未知のクラスに属するので、ステップ８で抽出したクラス中心的特徴を用いて新たなクラスが作られる。

（細胞画像の追加学習）
例示的実施形態によれば、細胞画像は種々のクラスにグループ分けされるものの、連続的な学習プロセスの過程でデータが徐々に収集されていくにつれ、時間と共にクラス内での画像のばらつきが発生する。例示的実施形態によれば、このような動的な問題を解決するには、図３に示すように、適応型の追加学習３００を用いることができる。適応型の追加学習３００は、各クラスについて分類器のセットを構築することによるアンサンブル法を用いることができ、これは、あるクラスについての分類誤りの総数が最小化するように、αと、ｈ中の各分類器毎のスカラー定数とを選択するものである：

式中、

であり、
Ｔは、時間ｔにおいて集まる分類器の数であり、

は、それぞれデータＸ_ｔの特徴及びラベルである。αは、分類器ｈ_ｔにどの程度の信頼を置くことできるかの重みを付ける。

本明細書に開示する方法及びシステムと一般的なアンサンブル法（例えば、エイダブーストまたは「適応型ブースト」）との違いは、新たなデータ（細胞画像）が到着するたびに分類器を訓練するためのサンプルを描くことである。ｔ＋１におけるデータを学習する場合、ｔにおけるデータから学習した知識をｔ＋１における学習プロセスに転移することができる。例えば、２つのデータセットが、

であるとすると、この２つのデータセット間の相違は、距離を尺度として、例えば以下のようなユークリッド距離を用いて測定することができる。

式中、Ｋは特徴の数であり、２つのデータセットで、特徴ベクトルの長さは等しいものとする。参照データセットに対する相違が大きいデータセットは、参照データセットからの未知のサンプルとして存在することが多い。したがって、サイズｎの参照データセットに対するサイズｍのデータセットの相違は、以下のように定義することができる。

式中、ｏ_ｉは、参照データセットにおけるｄ_ｉのインデックスである。時間ｔにおける訓練データに対する時間ｔ＋１における訓練データの相違の分布は、以下のように再帰的に推定することができる。

例示的実施形態によれば、式（５）の相違分布は、新たなデータが到着する度に繰り返し改変される。相違が大きいほど、分布が高くなる。相違分布値が大きいデータサンプルは、未知のサンプル（または新たな画像）であることが多い。未知のサンプルは、ｔ−１におけるサンプルに対して相違が大きいので、ｔにおいて探索される可能性がより高い。

例示的実施形態によれば、追加学習は、分類器の訓練とモデルの更新からなる。訓練される分類器は、上記の理論に基づく学習済み分類器である。例えば、あるクラス用の分類器の数が予め定めた閾値を超える場合、弱い分類器を取り除く（または削除する）ことができる。これは、例えば、モデル更新ステップ（ステップ１８）において行うことができる。例示的実施形態によれば、学習アルゴリズムは、以下のように記述することができる。
１．現在時間ｔにおける細胞画像Ｉ_ｔを取得する。
２．式（１）を用いてＩ_ｔが属するクラスを同定する；Ｉ_ｔが未知のクラスに属する場合は、クラスインデックスｃの新たなクラスを作成する。
３．Ｉ_ｔからｎ例の特徴セット：Ｘ_ｔ＝（ｘ_ｊ，ｙ_ｊ）、ｊ＝１〜ｎを抽出する。
４．式（５）により、Ｘ_ｔ−１、Ｘ_ｔ及びＰ_ｔ−１を用いてＰ_ｔを得る。
５．Ｘ_ｔを用いて分類器ｈ_ｔを訓練し、分類の誤り率を得る。

６．式（２）を用いて信頼度ファクターα_ｔを算出する。
７．線形結合により時間ｔにおけるクラスｃ用の分類器を形成する。

８．分類誤りをまとめる（ｉｎｔｅｇｒａｔｅ）ことによりデータ相違分布を調整する。

９．

の大きさが予め設定した閾値に達した場合は、

からα_ｉが最小となるｈ_ｉを削除することにより分類器を取り除く。
１０．ｔをｔ＋１に増加する。
１１．新たな画像Ｉ_ｔ＋１を取得した場合は、ステップ１に戻る。

（予測）
例示的実施形態によれば、予測とは、学習済みモデルを用いて機械による検出の結果を得ることである。入力画像Ｉ_ｔを取得し、特徴セットＸ_ｔを用いてＩ_ｔから特徴を抽出し、Ｉ_ｔが属する最も近いクラス、例えばクラスｃを見つけ出し、クラスｃに紐づけされた弱分類器のセット、例えば｛α_ｔｈ_ｔ＞０、ｔ＝１〜Ｔ｝を見つけ出し、以下のような多数決スキームにより予測応答を取得する。

式中、Ｎは計数演算子である。分類器｛α_ｔｈ_ｔ、ｔ＝１〜Ｔ｝は、上記のような追加学習アプローチにより学習することができる。

例示的実施形態によれば、新たに到着したデータを評価する場合、ステップ９において、クラスモデルの選択により、当該到着したデータに最も適合する既存のクラスが見つけ出される。予測モジュール１３０は、式（９）を用いた図４Ａに示すような尤度マップ４００と、到着したデータが新たなクラスに属するのか既存のクラスに属するのかを示す情報とを出力する。後処理モジュール（ステップ１１）は、図４Ｂに示すような機械によるラベル付けの結果４１０を生成する。

（対話型ラベリング）
前節で説明したように、上記のような予測に供する細胞画像の入力があれば、システム１００は、それに適応するのに最も適したクラスの分類器を見つけ出し、当該分類器により、以下により算出される信頼度スコアＳとともに細胞検出の結果（図１のステップ１２）を生成する。

式中、Ｍはピクセル総数、

は、ピクセルｘ_ｉが細胞ピクセルに分類される確率であって、

は、ピクセルｘ_ｉが（細胞ピクセルでは無い）背景ピクセルに分類される確率であり、Ｃは、入力画像が新たなクラスに属するのか既存のクラスに属するのかを示す情報により求められる係数である。この情報は、図１のステップ１０の出力の１つである。Ｓが予め定めた閾値よりも大きい場合、最新の学習済みモデルを用いた機械によるラベルは信頼できるものである。そうでない場合は、細胞によってはラベルを決定できる程度に信頼できるものではない。この場合、図１のステップ１４に示すように、人及び／または手作業の介入によって、ソフトウェアユーザーインターフェースを介して機械によるラベル付けの結果を対話形式で修正することができる。最終的なラベル付けの結果は、さらなる病理分析に用いることができる。同時に、ステップ６において抽出された細胞画像及びステップ１５で得られた結果は、細胞画像が属するクラス（ステップ５及び８において同定または生成されたもの）用の分類器を作成及び更新する追加学習（ステップ１７）へのフィードバックとすることができる。

例示的実施形態によれば、あるクラスの細胞の学習に使われた細胞画像の数が増えるにつれ、システムは、長期に渡る学習の過程で、徐々にクラス内の画像のばらつきに適応していく。その結果、検出の正確度も徐々に改善される。図１のステップ１６に示されるクラス中心的特徴の更新は、以下のように移動平均により更新されうる。

式中、

は、それぞれ時間ｔ及びｔ＋１におけるクラスｃの特徴ベクトルである。

図５は、あるクラスの細胞画像の細胞検出に適用した場合の追加学習の性能を示す実験結果５００であり、例示的実施形態に従って訓練画像が追加されるにつれて、検出の正確度が徐々に改善されることが示されている。

図６は、細胞画像の到着または受け取りによって、システムが学習を行うにつれてシステムの総合的な性能が改善されることを示す実験結果６００であり、最初は、初期訓練用として画像が１枚のみ与えられ、その後、システムは平均で８５％の正確度を達成することができた。連続学習の過程で性能が徐々に改善されている。破線は、正確度の改善についての統計的な傾向であり、実線は、システムにより達成された正確度の平均である。

図７は、例示的実施形態に係る細胞画像の機械によるアノテーションの結果７００の例であり、輪郭は、機械により自動的にアノテーションされた細胞の境界である。

例示的実施形態によれば、細胞アノテーションのためのコンピューター読み取り可能なコードを記憶するコンピュータープログラムを含む非一時的なコンピューター読み取り可能な媒体が開示され、当該プログラムはコンピューターにより実行可能であり、コンピューターに以下を有するプロセスを実行させる：細胞の検出に供する少なくとも１枚の新たな細胞画像を受け取ることと；前記少なくとも１枚の新たな細胞画像から細胞特徴を抽出することと；前記抽出した細胞特徴を各クラスの細胞特徴のマトリクスと比較して、最も近いクラスを予測することであって、前記細胞特徴のマトリクスは、少なくとも、細胞画像を少なくとも１枚有する初期訓練データから生成されている、と；前記少なくとも１枚の新たな細胞画像の抽出した細胞特徴から、前記予測した最も近いクラスを用いて細胞ピクセルを検出し、尤度マップを生成することと；前記尤度マップから個々の細胞を区分けすることによって前記少なくとも１枚の細胞画像から個々の細胞を抽出することと；前記少なくとも１枚の新たな細胞画像から抽出した個々の細胞に機械アノテーションを行って、細胞、非細胞ピクセル及び／または細胞境界を識別することと、前記少なくとも１枚の新たな細胞画像から抽出した個々の細胞に付した前記機械アノテーションの信頼度レベルを算出することと；前記信頼度レベルが所定の閾値よりも低い場合は、前記機械アノテーションを修正すること。

例示的実施形態によれば、細胞アノテーションのためのコンピューター読み取り可能なコードを記憶するコンピュータープログラムを含む非一時的なコンピューター読み取り可能な媒体が開示され、当該プログラムはコンピューターにより実行可能であり、コンピューターに以下を有するプロセスを実行させる：細胞画像の複数のクラスのそれぞれについて、細胞特徴のマトリクスを生成することと；細胞画像の前記複数のクラスのそれぞれの細胞特徴の１つ以上を同定することと；追加の細胞画像を受け取ると、細胞画像の前記複数のクラスのそれぞれについての前記１つ以上の細胞特徴を更新することと；細胞画像の前記複数のクラスのそれぞれについて、複数の分類器を構築することであって、前記複数の分類器のそれぞれが１つ以上の細胞特徴に対応している、と；細胞画像の前記複数のクラスのそれぞれについての前記複数の分類器のそれぞれを重み付けすることと；新たな細胞画像を取得することと；前記複数のクラスから、前記細胞画像が属するクラスを同定し、いずれのクラスも同定されない場合は、新たなクラスを作成することと；前記細胞画像が前記複数のクラスから同定されたクラスに属する場合は、細胞画像から特徴を抽出して、分類誤り率が所定の閾値よりも小さい場合は、前記抽出した特徴を用いて前記複数のクラスから同定されたクラス用の新たな分類器を生成し、前記分類エラー率が前記閾値よりも大きい場合は、前記抽出した特徴を前記新たなクラスに分類することと；前記新たな分類器を生成する場合は、前記新たな分類器を前記複数のクラスから同定されたクラス用の前記複数の分類器の一つに付け加えること。

コンピューター読み取り可能な記録媒体は、磁気記録媒体、光磁気記録媒体または将来開発されるであろうその他のあらゆる記録媒体であってよく、これらはすべて全く同様に本発明に適用可能であるとみなされる。一次複製品や二次複製品その他を含めたこのような媒体の複製は、紛れもなく上記の媒体と同等であるとみなされる。また、本発明の一実施形態がソフトウェアとハードウェアの組み合わせであった場合でも、それは本発明のコンセプトから逸脱するものでは全く無い。本発明は、そのソフトウェア部分が記録媒体に予め書き込まれており、動作中に必要に応じて読み出される形で実施されうる。

本発明の範囲及び精神から逸脱しない限り、本発明の構造に様々な改良や変形を加えうることは、当業者にとって明白であろう。以上より、本発明は、以下のクレーム及びその均等の範囲内である限り、本発明の改良例や変形例も包含するものとされる。

Claims

細胞のアノテーション法であって、
細胞の検出に供する少なくとも１枚の新たな細胞画像を受け取ることと、
前記少なくとも１枚の新たな細胞画像から細胞特徴を抽出することと、
前記抽出した細胞特徴を各クラスの細胞特徴のマトリクスと比較して、最も近いクラスを予測することであって、前記細胞特徴のマトリクスは、少なくとも、細胞画像を少なくとも１枚有する初期訓練データから生成されている、と、
前記少なくとも１枚の新たな細胞画像の抽出した細胞特徴から、前記予測した最も近いクラスに対応する分類器を用いて細胞ピクセルを検出し、尤度マップを生成することと、
前記尤度マップから個々の細胞を区分けすることによって前記少なくとも１枚の細胞画像から個々の細胞を抽出することと、
前記少なくとも１枚の新たな細胞画像から抽出した個々の細胞に機械アノテーションを行って、細胞、非細胞ピクセル及び／または細胞境界を識別することと、
前記少なくとも１枚の新たな細胞画像から抽出した個々の細胞に付した前記機械アノテーションの信頼度レベルを算出することと、
前記信頼度レベルが所定の閾値よりも低い場合は、前記機械アノテーションを修正することと、
を有する方法。
前記信頼度レベルに基づいて、病理分析またはさらなる学習用フィードバックのための最終アノテーションを生成することであって、信頼度レベルが前記所定の閾値よりも低い場合は、前記機械アノテーションを手作業で修正すること、
を有する、請求項１に記載の方法。
前記最終アノテーションに基づいて、各クラスの細胞画像についての細胞特徴のマトリクスを更新すること、
を有する、請求項２に記載の方法。
前記少なくとも１枚の新たな細胞画像の抽出した細胞特徴の前記細胞特徴のマトリクスとの比較は、類似度マッチングにより行い、前記類似度マッチングは、
以下を用いてヒストグラム間のユークリッド距離を求めることと、

（式中、Ｈ（ａ）は、画像ａのヒストグラム、Ｈ（ｂ）は、画像ｂのヒストグラムであり、ｋ個のヒストグラムビンを持つ。）
画像中の色をｋ個の色を含む個別の色空間にマッピングすることであって、色ヒストグラムＨ（ａ）は、ベクトル［ｈ_１（ａ）・・・ｈ_ｋ（ａ）］、Ｈ（ｂ）はベクトル［ｈ_１（ｂ）・・・ｈ_ｋ（ｂ）］となる、とを有し、
Ｄ（Ｈ（ａ），Ｈ（ｂ））が予め定められた閾値よりも大きい場合、画像は未知のクラスに属し、前記予め定められた閾値よりも小さい場合、画像は既知のクラスに属する、
請求項１から３のいずれか一項に記載の方法。
前記信頼度レベルの算出は、
以下の信頼度スコアＳを算出すること、

（式中、Ｍは、ピクセル総数、

は、ピクセルｘ_ｉが細胞ピクセルに分類される確率であって、

は、ピクセルｘ_ｉが（細胞ピクセルでは無い）背景ピクセルに分類される確率であり、
Ｃは、前記少なくとも１枚の画像が新たなクラスに属するのか既存のクラスに属するのかを示す情報により求められる係数である。）
を有する、請求項１から４のいずれか一項に記載の方法。
Ｓが予め定めた閾値よりも大きい場合、前記機械アノテーションは、最新の学習済みモデルを用いて信頼できるものであり、Ｓが前記予め定めた閾値よりも小さい場合、前記最新の学習済みモデルは、前記少なくとも１枚の新たな細胞画像の細胞のラベルを決定できる程度に信頼できるものではない、請求項５に記載の方法。
細胞アノテーションのためのコンピューター読み取り可能なコードを記憶するコンピュータープログラムであって、前記プログラムはコンピューターにより実行可能であり、コンピューターに以下を有するプロセスを実行させる：
細胞の検出に供する少なくとも１枚の新たな細胞画像を受け取ることと、
前記少なくとも１枚の新たな細胞画像から細胞特徴を抽出することと、
前記抽出した細胞特徴を各クラスの細胞特徴のマトリクスと比較して、最も近いクラスを予測することであって、前記細胞特徴のマトリクスは、少なくとも、細胞画像を少なくとも１枚有する初期訓練データから生成されている、と、
前記少なくとも１枚の新たな細胞画像の抽出した細胞特徴から、前記予測した最も近いクラスに対応する分類器を用いて細胞ピクセルを検出し、尤度マップを生成することと、
前記尤度マップから個々の細胞を区分けすることによって前記少なくとも１枚の細胞画像から個々の細胞を抽出することと、
前記少なくとも１枚の新たな細胞画像から抽出した個々の細胞に機械アノテーションを行って、細胞、非細胞ピクセル及び／または細胞境界を識別することと、
前記少なくとも１枚の新たな細胞画像から抽出した個々の細胞に付した前記機械アノテーションの信頼度レベルを算出することと、
前記信頼度レベルが所定の閾値よりも低い場合は、前記機械アノテーションを修正すること。
前記信頼度レベルに基づいて、病理分析またはさらなる学習用フィードバックのための最終アノテーションを生成することであって、信頼度レベルが前記所定の閾値よりも低い場合は、前記機械アノテーションを手作業で修正すること、
を有する、請求項７に記載のプログラム。
前記最終アノテーションに基づいて、各クラスの細胞画像についての細胞特徴のマトリクスを更新すること、
を有する、請求項８に記載のプログラム。
前記少なくとも１枚の新たな細胞画像の抽出した細胞特徴の前記細胞特徴のマトリクスとの比較は、類似度マッチングにより行い、前記類似度マッチングは、
以下を用いてヒストグラム間のユークリッド距離を求めることと、

（式中、Ｈ（ａ）は、画像ａのヒストグラム、Ｈ（ｂ）は、画像ｂのヒストグラムであり、ｋ個のヒストグラムビンを持つ。）
画像中の色をｋ個の色を含む個別の色空間にマッピングすることであって、色ヒストグラムＨ（ａ）は、ベクトル［ｈ_１（ａ）・・・ｈ_ｋ（ａ）］、Ｈ（ｂ）はベクトル［ｈ_１（ｂ）・・・ｈ_ｋ（ｂ）］となる、とを有し、
Ｄ（Ｈ（ａ），Ｈ（ｂ））が予め定められた閾値よりも大きい場合、画像は未知のクラスに属し、前記予め定められた閾値よりも小さい場合、画像は既知のクラスに属する、
請求項７から９のいずれか一項に記載のプログラム。
前記信頼度レベルの算出は、
以下の信頼度スコアＳを算出すること、

（式中、Ｍは、ピクセル総数、

は、ピクセルｘ_ｉが細胞ピクセルに分類される確率であって、

は、ピクセルｘ_ｉが（細胞ピクセルでは無い）背景ピクセルに分類される確率であり、
Ｃは、前記少なくとも１枚の画像が新たなクラスに属するのか既存のクラスに属するのかを示す情報により求められる係数である。）
を有する、請求項７から１０のいずれか一項に記載のプログラム。
Ｓが予め定めた閾値よりも大きい場合、前記機械アノテーションは、最新の学習済みモデルを用いて信頼できるものであり、Ｓが前記予め定めた閾値よりも小さい場合、前記最新の学習済みモデルは、前記少なくとも１枚の新たな細胞画像の細胞のラベルを決定できる程度に信頼できるものではない、請求項１１に記載のプログラム。
細胞アノテーションシステムであって、
以下を行うよう構成された少なくとも１つのプロセッサーを有する：
細胞の検出に供する少なくとも１枚の新たな細胞画像を受け取り、
前記少なくとも１枚の新たな細胞画像から細胞特徴を抽出し、
前記抽出した細胞特徴を各クラスの細胞特徴のマトリクスと比較して、最も近いクラスを予測し、前記細胞特徴のマトリクスは、少なくとも、細胞画像を少なくとも１枚有する初期訓練データから生成されており、
前記少なくとも１枚の新たな細胞画像の抽出した細胞特徴から、前記予測した最も近いクラスに対応する分類器を用いて細胞ピクセルを検出し、尤度マップを生成し、
前記尤度マップから個々の細胞を区分けすることによって前記少なくとも１枚の細胞画像から個々の細胞を抽出し、
前記少なくとも１枚の新たな細胞画像から抽出した個々の細胞に機械アノテーションを行って、細胞、非細胞ピクセル及び／または細胞境界を識別し、
前記少なくとも１枚の新たな細胞画像から抽出した個々の細胞に付した前記機械アノテーションの信頼度レベルを算出し、
前記信頼度レベルが所定の閾値よりも低い場合は、前記機械アノテーションを修正する。
前記信頼度レベルに基づいて、病理分析またはさらなる学習用フィードバックのための最終アノテーションを生成し、信頼度レベルが前記所定の閾値よりも低い場合は、前記機械アノテーションを手作業で修正し、
前記最終アノテーションに基づいて、各クラスの細胞画像についての細胞特徴のマトリクスを更新する、
ように構成された少なくとも１つのプロセッサーを有する、請求項１３に記載のシステム。
前記少なくとも１枚の新たな細胞画像の抽出した細胞特徴の前記細胞特徴のマトリクスとの比較は、類似度マッチングにより行い、前記類似度マッチングは、
以下を用いてヒストグラム間のユークリッド距離を求めることと、

（式中、Ｈ（ａ）は、画像ａのヒストグラム、Ｈ（ｂ）は、画像ｂのヒストグラムであり、ｋ個のヒストグラムビンを持つ。）
画像中の色をｋ個の色を含む個別の色空間にマッピングすることであって、色ヒストグラムＨ（ａ）は、ベクトル［ｈ_１（ａ）・・・ｈ_ｋ（ａ）］、Ｈ（ｂ）はベクトル［ｈ_１（ｂ）・・・ｈ_ｋ（ｂ）］となる、とを有し、
Ｄ（Ｈ（ａ），Ｈ（ｂ））が予め定められた閾値よりも大きい場合、画像は未知のクラスに属し、前記予め定められた閾値よりも小さい場合、画像は既知のクラスに属する、
請求項１３又は１４に記載のシステム。
前記信頼度レベルの算出は、
以下の信頼度スコアＳを算出すること、

（式中、Ｍは、ピクセル総数、

は、ピクセルｘ_ｉが細胞ピクセルに分類される確率であって、

は、ピクセルｘ_ｉが（細胞ピクセルでは無い）背景ピクセルに分類される確率であり、
Ｃは、前記少なくとも１枚の画像が新たなクラスに属するのか既存のクラスに属するのかを示す情報により求められる係数である。）
を有する、請求項１３から１５のいずれか一項に記載のシステム。
Ｓが予め定めた閾値よりも大きい場合、前記機械アノテーションは、最新の学習済みモデルを用いて信頼できるものであり、Ｓが前記予め定めた閾値よりも小さい場合、前記最新の学習済みモデルは、前記少なくとも１枚の新たな細胞画像の細胞のラベルを決定できる程度に信頼できるものではない、請求項１６に記載のシステム。