JP7312510B1 - 腫瘍微小環境を考慮した全スライド病理画像分類システム及び構築方法 - Google Patents

Abstract

【課題】腫瘍微小環境を考慮した全スライド病理画像分類システム及び構築方法を提供する。【解決手段】全スライド病理画像分類システムは、まず、特徴抽出モジュールで、全スライド病理画像の特徴抽出を行い、続いて、腫瘍微小環境認識モジュール、深層ゲーテッドアテンションモジュール、類似度認識アテンションモジュール及び分類層からなるマルチインスタンス分類ネットワークで、全スライド病理画像に対する分類及び病巣検出を行う。腫瘍微小環境認識モジュールは、腫瘍微小環境中のトポロジー構造情報をモデル化し、よりロバスト性の高い特徴をネットワークに学習させ、深層ゲーテッドアテンションモジュールと類似度認識アテンションモジュールとの組み合わせにより、各画像ブロックに対応する重みをより正確に与えて、病巣領域に対するより精確な検出を行う。また、画像拡張方法の自己教師あり対照学習タスクを適用する。【選択図】図１

Description

本発明は、医用画像処理技術の分野及び人工知能の分野に関し、より具体的には、腫瘍微小環境を考慮した全スライド病理画像分類システム及び構築方法に関する。

現在、がんは人間の身体的健康と生命の安全にとって最も脅威が大きい疾患の一種である。がんの有病率及び死亡率は、地域及び国によって異なるが、がんの複雑さにより、現在、がんの治療費は非常に高く、先進国と発展途上国の両方に膨大な負担がかかっている。統計によると、２０２０年には、世界中で新たに発生したがんが２０００万例に近く、がんによる死亡者は１０００万人を超えたが、このデータはまだ増え続けている。世界人口の増加と、高齢化が進むのに伴って、がんは、人の平均余命の短縮、さらに早死にの重要な原因になっている。ほとんどのがんは早期に診断された場合、抗がん剤を経口投与するか、又は外科手術で腫瘍を除去することができ、この時の治療効果が顕著で、人体への負担が軽い。がんが中・末期になってから診断された場合、放射線療法又は化学療法による治療しかできず、このような治療手段は、体に対する有害な副作用が極めて強く、効果がほとんどない。そのため、がんの早期診断は、人間ががんに対処する最も重要な武器であり、がんの組織型は、病因、臨床治療、術後症状と密接に関連し、早期発見、早期治療により、患者の生存率を大幅に向上させ、がんが体に与える脅威を軽減することができる。

現在、医師が一般的に使用しているがん検診手段は多く、１つは、予備的評価しか提供できないコンピュータ断層撮影であり、もう１つの方法は、がん診断の「ゴールドスタンダード」と公認されている病理診断である。医師が、人体から採取した組織切片をデジタル顕微鏡及びコンピュータ技術により全スライド病理画像に作成し、全スライド病理画像から病巣領域を特定して、細胞と、細胞間の形態とを分析することにより診断意見を得る。しかし、全スライド病理画像に含まれる病巣領域が非常に小さく、さらには、一部の切片には複数のがん転移が含まれることがあるため、医師が確かな専門知識を持っていることが必要である。しかしながら、このような人工診断は主観や認識の違いによって制限され、経験の豊富な病理学者も誤診や見落としを起こしやすく、治療のゴールデンタイムを遅らせてしまい、また、全スライド病理画像に対する人工的な分析にも複写の不可性、再現性の悪さ、効率の低さという欠点がある。

ビッグデータ時代、医用イメージング技術及び情報技術の急速な発展、グラフィックプロセッサのバージョンアップの繰り返し及び医療データベースの構築により、コンピュータによる病理診断の解決に伴う障害がクリアされ、医療分野と人工知能技術との融合はすでに時代の流れとなっている。深層学習では、全スライド病理画像のより深い特徴情報をマイニングし、定量分析を行って、エンドツーエンドの診断及び予測を実現することができる。人工知能技術を利用してコンピュータ支援診断システムを構築して、全スライド病理画像の診断及び病巣領域検出の自動化を実現し、医師を支援して診断の効率及び精度を向上させる。訓練後のニューラルネットワークモデルは、統一された標準を用いて全スライド病理画像を検出し、病理学者らの診断分岐を減らす。

現在、深層学習に基づく医用全スライド病理画像分類方法には、教師あり学習、弱教師あり学習、自己教師あり学習が含まれる。教師あり学習方法において、画像は、病理学者によって病巣領域にラベルを付けられた後、当該領域を抽出してニューラルネットワークに送り込んで訓練する必要があるが、現在開示されている医療画像データベースにおける病理画像は病巣領域のラベルが含まれておらず、当該方法は、膨大なラベル付けコストがかかる。病巣領域にラベル付けされていないデータで訓練する学者もいるが、このような方法は、正確な特徴を抽出することができないため、精度が低く、診断支援の役割を果たせない。また、この２つの方法は、両方とも全スライド病理画像を固定サイズの小さい画像ブロックに分割して特徴を抽出するが、単一の小さい画像ブロックには、腫瘍微小環境情報が組み込まれていないため、十分な特徴情報が足りない場合が多く、その結果、分類性能が良くない。そのため、腫瘍微小環境の認識を考慮した、大規模な病巣領域にラベル付けされたデータセットを必要としないが、分類精度が高い全スライド病理画像分類と病巣領域検出方法が切望されている。

本発明は、既存の深層学習に基づく全スライド病理画像分類方法は、いずれも人工的に細かくラベル付けされた大量のデータセットを必要とすることと、小さい画像ブロックに腫瘍微小環境情報が欠けていることとに制限されているという問題を解決するために、腫瘍微小環境を考慮した弱教師あり全スライド病理画像分類及び病巣検出方法を提供し、データセット量を大幅に削減した上で、高い分類精度及び病巣領域の正確な検出を実現する。

上記の技術的問題を解決するために、本発明が採用した技術案は以下の通りである。
腫瘍微小環境を考慮した全スライド病理画像分類システムであって、
得られた全スライド病理画像を複数の小さい画像ブロックに分割するためのデータ前処理モジュールと、
各小さい画像ブロックに対応する特徴マップｍ_ｋを抽出するための特徴抽出モジュールであって、ｋ＝１、…、Ｋであり、Ｋは、１枚の全スライド病理画像を分割して得られた小さい画像ブロックの数を表す特徴抽出モジュールと、
各小さい画像ブロックの特徴マップｍ_ｋと当該小さい画像ブロックに隣接するｃ周の小さい画像ブロックに対応する特徴マップとを融合して、腫瘍微小環境情報を融合した特徴ベクトルｇ_ｋを得るための腫瘍微小環境認識モジュールと、
各小さい画像ブロックのアテンションスコアａ_ｋを算出してキーインスタンスｇ_ｍを決定するための深層ゲーテッドアテンションモジュールであって、キーインスタンスｇ_ｍは、アテンションスコアの降順で上位ｍ個の小さい画像ブロックに対応する特徴ベクトルの平均値である深層ゲーテッドアテンションモジュールと、
各小さい画像ブロックの特徴ベクトルｇ_ｋとキーインスタンスｇ_ｍとの類似度スコアを算出し、類似度スコアに基づいてすべての小さい画像ブロックに対応する特徴ベクトルを集約してｓｌｉｄｅレベルの特徴ｇ_{ｓｌｉｄｅ}を生成するための類似度認識アテンションモジュールと、
特徴ｇ_{ｓｌｉｄｅ}に基づいて分類して、分類結果を得るための分類モジュールと、を含む。

さらに、前記腫瘍微小環境認識モジュールは、入力された特徴マップｍ_ｋ及び当該画像ブロック周囲の特徴マップに従って、次元調整を行った後に、３Ｄ畳み込み操作を使用して、隣接する特徴間のトポロジー構造関係をモデル化し、ｓｉｇｍｏｉｄ活性化関数を使用して再度次元調整を行い、ｓｈｏｒｔｃｕｔの方式を使用して、元の特徴マップｍ_ｋと加算し、最後に、全結合層により特徴ベクトルに変換し、腫瘍微小環境情報を融合した特徴ベクトルｇ_ｋを得る。具体的には、
当該小さい画像ブロックに隣接するｃ周の小さい画像ブロックに対応する特徴マップに対して３Ｄ畳み込み融合を行って、第１の融合特徴を得るための３Ｄ畳み込み層と、
第１の融合特徴と当該小さい画像ブロックに対応する特徴マップｍ_ｋとを加算して融合した後の特徴マップを特徴ベクトルに変換して、腫瘍微小環境情報を融合した特徴ベクトルｇ_ｋを得るための全結合層と、を含む。

さらに、前記深層ゲーテッドアテンションモジュールは、入力された各腫瘍微小環境情報を融合した小さい画像ブロックに対応する特徴ベクトルｇ_ｋに従って各小さい画像ブロックのアテンションスコアを算出し、そのうちのスコアの高い上位ｍ個の特徴ベクトルを選択して合計を求めた後に、平均値をとって特徴ベクトルｇ_ｍを得、キーインスタンスベクトルとして設定する。各小さい画像ブロックのアテンションスコアａ_ｋを算出することは、具体的に、
となり、
ただし、Ｗ_ａ，１、…、Ｗ_ａ，４、Ｐ_ａは調整可能重み行列であり、σ（・）はｓｉｇｍｏｉｄ活性化関数を表し、ｔａｎｈ（・）は双曲線正接活性化関数であり、
は２つの行列の要素ごとの乗算を表す。

さらに、前記類似度認識アテンションモジュールは、入力された各腫瘍微小環境情報を融合した小さい画像ブロックに対応する特徴ベクトルｇ_ｋを検索ベクトルｑ_ｋ及び情報ベクトルｉ_ｋに変換し、各小さい画像ブロックの検索ベクトルとキーインスタンスの検索ベクトルとの類似度スコアを算出して各小さい画像ブロックの最終アテンションスコアとする。すべての小さい画像ブロックの最終アテンションスコアを重みとして、情報ベクトルの重み付き和を求めると、ｓｌｉｄｅレベルの特徴を得ることができる。各小さい画像ブロックの特徴ベクトルｇ_ｋとキーインスタンスｇ_ｍとの類似度スコアを算出することは、具体的に、
となり、
ただし、ｑ_ｋ、ｉ_ｋは、腫瘍微小環境情報を融合した特徴ベクトルｇ_ｋを変換して得られた検索ベクトル及び情報ベクトルであり、
ｑ_ｋ＝Ｗ_ｑ（ｇ_ｋ）、ｉ_ｋ＝Ｗ_ｉ（ｇ_ｋ）となり、
ただし、Ｗ_ｑ及びＷ_ｉは、いずれも重み行列であり、＜＊＞は２つのベクトルの内積を表し、
ｓｌｉｄｅレベルの特徴ｇ_{ｓｌｉｄｅ}は、
と表される。
さらに、前記特徴抽出モジュールは、訓練済みの自己教師あり対照学習ネットワークの特徴抽出部分であり、前記自己教師あり対照学習ネットワークは、いかなるラベルも必要とせず、入力された小さい画像ブロックの深層特徴情報を抽出する。

さらに、すべての小さい画像ブロックの類似度認識アテンションモジュールによって生成されたアテンションスコアを抽出して、対応する色のカラーブロックを生成し、元の全スライド病理画像の同じ位置を一定の透明度で覆い、病巣領域検出のヒートマップを得るための可視化モジュールを含む。

さらに、前記全スライド病理画像は医用全スライド病理画像である。

上記のシステムの構築方法であって、
全スライド病理画像を収集して、各全スライド病理画像を複数の小さい画像ブロックに分割するステップと、
データ前処理モジュールと特徴抽出モジュールとを構築し、特徴抽出モジュールを利用して、各小さい画像ブロックに対応する特徴マップｍ_ｋを抽出するステップと、
腫瘍微小環境認識モジュールと、深層ゲーテッドアテンションモジュールと、類似度認識アテンションモジュールと、分類モジュールとを統合してマルチインスタンス分類ネットワークを形成し、前記マルチインスタンス分類ネットワークを、各全スライド病理画像を分割して得られた複数の小さい画像ブロックに対応する特徴マップを入力とし、各全スライド病理画像の分類結果を出力とし、出力と各全スライド病理画像の実際のラベルとの損失を最小にすることにより訓練し、訓練が完了した後、パラメータを固定し、データ前処理モジュールと、特徴抽出モジュールと、腫瘍微小環境認識モジュールと、深層ゲーテッドアテンションモジュールと、類似度認識アテンションモジュールとを組み合わせて、腫瘍微小環境を考慮した全スライド病理画像分類システムを得るステップと、を含む。

さらに、前記特徴抽出モジュールは、訓練済みの自己教師あり対照学習ネットワークの特徴抽出部分であり、
全スライド病理画像を収集して、各全スライド病理画像を複数の小さい画像ブロックに分割するステップと、
各小さい画像ブロックに対して、ランダムクトリミング、ランダム色歪み及び／又はランダムガウシアンぼかし変換を行って、拡張画像を得るステップと、
自己教師あり対照学習ネットワークを構築し、前記自己教師あり対照学習ネットワークを、各小さい画像ブロックに対応する拡張画像を入力とし、特徴マップを出力とし、各小さい画像ブロックに対応する任意の２枚の拡張画像の特徴マップの対照損失関数を最小にすることにより訓練し、訓練済みの自己教師あり対照学習ネットワークを得、訓練済みの自己教師あり対照学習ネットワークの特徴抽出部分を保ち、即ち、特徴抽出モジュールを得るステップと、を含む方法により構築される。

さらに、前記自己教師あり対照学習ネットワークの構造は、ＲｅｓＮｅｔ、ＤｅｎｓｅＮｅｔ、ＡｌｅｘＮｅｔ又はＧｏｏｇＬｅＮｅｔである。

さらに、前記対照損失関数は、
となり、
ただし、
であり、ｚは、自己教師あり対照学習ネットワークによって出力される特徴マップであり、τは、調節可能パラメータである。

既存の技術と比較して、本発明の有益な効果は下記のとおりである。
（１）本発明では、自己教師あり対照学習を使用して、画像ブロックから深層特徴を抽出し、当該方法は、いかなる追加のラベル情報を必要とせずに効果的な深層特徴を学習することができ、データセットに対する要求を大幅に低減して、データセットの欠如によるネットワーク学習の制限を減らす。自己教師あり対照学習ネットワークの訓練用のデータは、特定の疾患種類又は器官により制限されず、すべての疾患種類の全スライド病理画像は、いずれもデータセットとして訓練に参加することができ、これに基づき、より膨大なデータセットを採用し、ネットワーク構造がより複雑で、層数がより深いネットワークを選択して自己教師あり対照学習ネットワークのスケルトンネットワークとすることができ、ネットワークに、より強い汎化能力を持たせる。また、当該方法は、ニューラルネットワークの「怠惰思考」が直接色特徴で分類・診断を行うことを回避することにより、より十分な訓練を実現して、より深層レベルの組織構造及び形態学的特徴を学習し、全スライド病理画像分類の正確性を向上させる。

（２）本発明は、腫瘍微小環境認識モジュールを設計し、当該モジュールは、腫瘍微小環境中のトポロジー構造情報をモデル化することができ、各小さい画像ブロックの特徴には、それ自体の特徴情報が含まれるだけではなく、分類結果に対して重要な意義を持つ腫瘍微小環境情報を捕獲することもできるようにし、インスタンス情報と組織タイプとの重要な形態学的特徴の相互作用を実現し、微小環境中の粗粒度と細粒度との構造関係を学習する。当該モジュールは、よりロバスト性の高い特徴ベクトルをネットワークに学習させる。

（３）本発明の分類ネットワークには、深層ゲーテッドアテンションモジュール及び類似度認識アテンションモジュールが含まれる。深層ゲーテッドアテンションモジュールは、キーインスタンスを見つけるために用いられ、ここで、ｔａｎｈを活性化関数とした全結合層は、重みの正負の予備判定を実現するために用い、正負の予備判定に加え、ｓｉｇｍｏｉｄを活性化関数とした全結合層を積み重ねることにより深度を深めることにより、重みの最終採点を実現する。当該構造は、多重判定に類似し、判定構造の積み重ねは、データセット内のデータの不確定性を緩和することができ、多すぎる判定構造の積み重ねによる数値冗長性により、不要な情報の偏りが生じることを考慮して、本発明の深層ゲーテッドアテンションモジュールは、適切な数の判定構造を積み重ねることで出力を最適化する目的を達成するため、大量の比較実験・検証が行われた。類似度認識アテンションモジュールは、任意のインスタンスとキーインスタンスとの類似度指標を使用してアテンション採点を行うことにより、最終的なアテンションスコアはより高いロバスト性及び正確性を有する。デュアルアテンションメカニズムの下で、分類器の有効性が顕著に向上し、より高い適用価値を持つ。

（４）本発明の分類ネットワークは、マルチインスタンス学習により全スライド病理画像の分類を行い、分類器は、ブロックレベル又はピクセルレベルのラベルを必要とせず、画像レベルの疾患種類のラベルのみを必要とし、データ収集及びラベル付けを行う時の作業量を減らし、迅速性と利便性を実現し、一定の臨床価値を有する。

（５）本発明は、新たな弱教師あり学習全スライド病理画像分類及び病巣領域検出フレームワークを提出し、自己教師あり対照学習ネットワークを通じて全スライド病理画像の深層特徴情報を抽出し、細かいラベル付けする（画素レベルラベル、インスタンスレベルラベル）必要がない。腫瘍微小環境認識モジュールを設計し、各インスタンスの腫瘍微小環境情報をモデル化して融合し、微小環境における粗粒度と細粒度との関係の認識学習を実現する。深層ゲーテッドアテンションモジュール及び類似度認識アテンションモジュールを設計し、自己適応的なインスタンス特徴集約を行い、分類層により全スライド病理画像の分類を実現する。また、本発明は、類似度認識アテンションモジュールによって出力されるインスタンスレベルのアテンションスコアを利用して、病巣領域の可視化を実現し、ユーザが迅速に病巣領域を特定することをサポートする。当該発明において、訓練済みのモデルは大規模に柔軟に展開されることができ、大量の候補画像を入力とし、自動的に分析して結果を出力する。

（６）本発明は、特徴抽出操作と分類モデルの分類操作とを分離して、ネットワークの柔軟性と汎用性を向上させるとともに、エンドツーエンド訓練の大量のコンピュータリソースの浪費を回避し、訓練時間を大幅に短縮する。

本発明の腫瘍微小環境を考慮した弱教師あり全スライド病理画像分類システムの構造図である。 本発明の腫瘍微小環境認識モジュールのネットワーク構造図である。 腫瘍微小環境を考慮した全スライド病理画像分類システムの構築方法のフローチャートである。 本発明の自己教師あり対照学習ネットワークの訓練のフローチャートである。

図１は、本発明の腫瘍微小環境を考慮した弱教師あり全スライド病理画像分類システムの構造図である。図１を参照すると、具体的には、以下を含む。
（１）データ前処理モジュールであって、得られた全スライド病理画像を複数の小さい画像ブロックに分割するために用いられ、
ここで、得られた全スライド病理画像から、空白の背景及び天然の空洞をフィルタして、分類の妨げを除去するべきである。画像の分割は、スライディングウィンドウを用いて、得られた全スライド病理画像をｎ×ｎサイズの小さい画像ブロックに分割し、各小さい画像ブロックの座標を保存し、ここで、ｎは、小さい画像ブロックの長さ及び幅を表す。

（２）特徴抽出モジュールであって、各小さい画像ブロックに対応する特徴マップｍ_ｋを抽出するために用いられ、ｋ＝１、…、Ｋであり、Ｋは、１枚の全スライド病理画像を分割して得られた小さい画像ブロックの数を表す。
（３）腫瘍微小環境認識モジュールであって、各小さい画像ブロックの特徴マップｍ_ｋと当該小さい画像ブロックに隣接するｃ周の小さい画像ブロックに対応する特徴マップとを融合して、腫瘍微小環境情報を融合した特徴ベクトルｇ_ｋを得るために用いられる。
図２は、例示的な腫瘍微小環境認識モジュールの構造であり、主に、３Ｄ畳み込み層及び全結合層を含み、ここで、
３Ｄ畳み込み層は、各小さい画像ブロックと当該小さい画像ブロックに隣接するｃ周の小さい画像ブロックとに対応する合計（２ｃ＋１）^２個の特徴マップに対して３Ｄ畳み込み融合を行って、第１の融合特徴を得るために用いられ、
全結合層は、第１の融合特徴と当該小さい画像ブロックに対応する特徴マップｍ_ｋとを加算して融合した後の特徴マップを特徴ベクトルに変換して、腫瘍微小環境情報を融合した特徴ベクトルｇ_ｋを得るために用いられる。

なお、当該小さい画像ブロックに対応する特徴マップｍ_ｋの支配的な地位を強調するために、全結合層の前にｓｈｏｒｔｃｕｔの方法で元の特徴マップを加え直す必要があり、第１の融合特徴は、特徴マップｍ_ｋと同じ次元を有するべきであるため、畳み込みの前に、（２ｃ＋１）^２個の特徴マップに対して次元調整を行い、（（２ｃ＋１）^２、Ｃ、Ｈ、Ｗ）から（Ｃ、（２ｃ＋１）^２、Ｈ、Ｗ）に調整され、畳み込みの後、畳み込みの出力（次元は（Ｃ、１、Ｈ、Ｗ）である）に対してｓｉｇｍｏｉｄ活性化関数を使用して、再度次元調整を行い、それにより、最後に得られた第１の融合特徴の次元は（Ｃ、Ｈ、Ｗ）で、特徴マップｍ_ｋに対応するようになり、ただし、Ｃ、Ｈ、Ｗは、それぞれチャネル、高さ、幅を表す。

（４）深層ゲーテッドアテンションモジュールであって、各小さい画像ブロックのアテンションスコアａ_ｋを算出してキーインスタンスｇ_ｍを決定するために用いられ、キーインスタンスｇ_ｍは、アテンションスコアの降順で上位ｍ個の小さい画像ブロックに対応する特徴ベクトルの平均値である。
各小さい画像ブロックのアテンションスコアａ_ｋは、
により算出される。
ここで、Ｗ_ａ，１、…、Ｗ_ａ，４∈Ｒ^{２５６×５１２}、Ｐ_ａ∈Ｒ^{１×２５６}は全結合層の重み行列であり、σ（・）はｓｉｇｍｏｉｄ活性化関数を表し、ｔａｎｈ（・）は双曲線正接活性化関数であり、
は２つの行列の要素ごとの乗算を表す。

（５）類似度認識アテンションモジュールであって、各小さい画像ブロックの特徴ベクトルｇ_ｋとキーインスタンスｇ_ｍとの類似度スコアを算出し、類似度スコアに基づいてすべての小さい画像ブロックに対応する特徴ベクトルを集約してｓｌｉｄｅレベルの特徴ｇ_{ｓｌｉｄｅ}を生成するために用いられる。
具体的には、まず、腫瘍微小環境情報を融合した特徴ベクトルｇ_ｋを検索ベクトルｑ_ｋ及び情報ベクトルｉ_ｋに変換し、
ｑ_ｋ＝Ｗ_ｑ（ｇ_ｋ）、
ｉ_ｋ＝Ｗ_ｉ（ｇ_ｋ）、
となり、
ここで、Ｗ_ｑ及びＷ_ｉは、いずれも重み行列である。

次に、各小さい画像ブロックの検索ベクトルとキーインスタンスの検索ベクトルとの類似度スコアＵを算出して類似度認識アテンションモジュールのアテンションスコアとし、
＜＊＞は、２つのベクトルの内積を表し、ｑ_ｍは、キーインスタンスｇ_ｍの検索ベクトルであり、
最後に、アテンションスコアを対応する重みとし、すべての情報ベクトルの重み付け和を算出し、集約してｓｌｉｄｅレベルの特徴ｇ_{ｓｌｉｄｅ}を生成する。
（６）分類モジュールであって、特徴ｇ_{ｓｌｉｄｅ}に基づいて分類して、分類結果を得るために用いられる。
ただし、ｓｏｆｔｍａｘ（＊）は、ｓｏｆｔｍａｘ関数を表し、Ｗは調整可能重み行列である。

さらに、すべての小さい画像ブロックの類似度認識アテンションモジュールによって生成されたアテンションスコアを抽出して、対応する色のカラーブロックを生成し、元の全スライド病理画像の同じ位置を一定の透明度で覆い、ぼかしや平滑化操作を行い、病巣領域検出のヒートマップを得るための可視化モジュールをさらに含む。

好ましい実施案として、前記特徴抽出モジュールは、訓練済みの自己教師あり対照学習（Ｃｏｎｔｒａｓｔｉｖｅ Ｌｅａｒｎｉｎｇ）ネットワークの特徴抽出部分を使用してもよい。前記自己教師あり対照学習ネットワークは、いかなるラベルを必要とせずに、効果的な深層特徴を学習することができ、データセットに対する要求を大幅に低減して、データセットの欠如によるネットワーク学習の制限を減らす。具体的には、収集された全スライド病理画像を利用して自己教師あり対照学習ネットワークを訓練して、訓練済みの自己教師あり対照学習ネットワークを得るステップは、具体的に、小さい画像ブロックｘを１つ取り出して、ランダムトリミング、ランダム色歪み、ランダムガウシアンぼかしなどの変換を行って、拡張画像
及び

を得るステップと、
拡張画像
及び
から、重みを共有する２つの特徴抽出ネットワークにより画像特徴ｈ_ｉ及びｈ_ｊを抽出するステップと、画像特徴ｈ_ｉ及びｈ_ｊは２層の多層パーセプトロンにより１２８次元の潜在空間にマッピングされ、新しい特徴表現、即ち特徴マップｚ_ｉ及びｚ_ｊを得るステップと、特徴表現ｚ_ｉ及びｚ_ｊのコサイン類似度ｓ_ｉ，ｊを算出し、さらに、その対照損失関数ｌ_ｉ，ｊを算出するステップと、確率的勾配降下アルゴリズムを使用して、損失関数を最小にすることを目標としてネットワークパラメータを最適化し、訓練済みの自己教師あり対照学習ネットワークを得るステップと、を含む。

前記コサイン類似度ｓ_ｉ，ｊ及び損失関数ｌ_ｉ，ｊは、
により算出される。
ただし、τは、調節可能パラメータであり、コサイン類似度の範囲を調節するために用いられ、｜｜＊｜｜は、ベクトルの長さの計算を表す。

本発明の分類システムには、深層ゲーテッドアテンションモジュール及び類似度認識アテンションモジュールが含まれる。深層ゲーテッドアテンションモジュールは、キーインスタンスを見つけるために用いられ、ここで、ｔａｎｈを活性化関数とした全結合層は、重みの正負の予備判定を実現するために用い、正負の予備判定に加え、ｓｉｇｍｏｉｄを活性化関数とした全結合層を積み重ねることにより深度を深めることにより、重みの最終採点を実現する。当該構造は、多重判定に類似し、判定構造の積み重ねは、データセット内のデータの不確定性を緩和することができ、多すぎる判定構造の積み重ねによる数値冗長性により、不要な情報の偏りが生じることを考慮して、本発明の深層ゲーテッドアテンションモジュールは、適切な数の判定構造を積み重ねることで出力を最適化する目的を達成するため、大量の比較実験・検証が行われた。類似度認識アテンションモジュールは、任意のインスタンスとキーインスタンスとの類似度指標を使用してアテンション採点を行うことにより、最終的なアテンションスコアはより高いロバスト性及び正確性を有する。デュアルアテンションメカニズムの下で、分類器の有効性が顕著に向上し、より高い適用価値を持つ。

本発明は、前述の腫瘍微小環境を考慮した全スライド病理画像分類システムの実施例に対応して、腫瘍微小環境を考慮した全スライド病理画像分類システムの構築方法の実施例をさらに提供する。

図３に示すように、当該方法は、
全スライド病理画像を収集して、各全スライド病理画像を複数の小さい画像ブロックに分割するステップと、
データ前処理モジュールと特徴抽出モジュールとを構築し、腫瘍微小環境認識モジュールと、深層ゲーテッドアテンションモジュールと、類似度認識アテンションモジュール及び分類モデルとを統合してマルチインスタンス分類ネットワークを形成して訓練し、訓練済みの分類ネットワークを得るステップは、具体的に、各全スライド病理画像から生成されたＫ枚の小さい画像ブロックの特徴ベクトルｍ_ｋを分類ネットワークに入力して、確率的勾配降下アルゴリズムを使用して、損失関数を最小にすることを目標としてネットワークパラメータを最適化し、訓練済みのマルチインスタンス分類ネットワークを得るステップを含む。前記損失関数は、マルチインスタンス分類ネットワークによって出力される予測結果とサンプルの実際のラベルとのバイナリクロスエントロピー損失関数である。

本発明は、各タイプの全スライド病理画像の分類及び病巣領域検出タスクに適用でき、特に、様々な医用全スライド病理画像分類のがん診断及び病巣検出タスクに適用でき、病理科の医師にとって、本発明は、医師が病理画像全体の所属するがん種類及び病巣領域の位置を判定するのに効果的に支援することができる。

以下、肺がんサブタイプ診断（肺腺がん、肺扁平上皮がんの診断）を目的とする全スライド病理画像分類と病巣検出を例として、具体的な実施方法と組み合わせて、本発明にて提案される、環境認識を考慮した弱教師あり全スライド病理画像分類システム及びその具体的な病巣領域検出方法について詳細に説明する。

本発明の実施例は訓練段階と、適用段階とを含む。
訓練段階において、
ステップＳ１において、肺がんの全スライド病理画像データセットを構築し、オープンソースデータセットＴＣＧＡ及びＴＣＩＡから３４３１枚の肺がん全スライド病理画像を収集し、そのうち、肺腺がんが１６７７枚で、肺扁平上皮がんが１７５４枚であり、２つのカテゴリのデータ量は全体的に近く、バランスよく分布している。そのうちから１０％を取って、がんサブタイプのラベル付けを行い、肺腺がんを０とラベル付けし、肺扁平上皮がんを１とラベル付けし、２つのカテゴリのラベル付け数は同じに維持される。なお、すべての画像は、いずれもｓｖｓフォーマットであり、且ついかなる画素、パッチ又はＲＯＩレベルのラベルを含まない。
ステップＳ２において、すべての分類対象である全スライド病理画像に対して前処理を行い、具体的には、
すべての全スライド病理画像に対して自動分割を行い、空白の背景及び天然の空洞をフィルタするステップＳ２１と、
スライディングウィンドウを使用して、分割後の部分を２５６×２５６サイズの小さい画像ブロックに分割して、各小さい画像ブロックの座標を保存するステップＳ２２とを含む。
ステップＳ３において、小さい画像ブロックを使用して、自己教師あり対照学習ネットワークを訓練し、図４は、自己教師あり対照学習ネットワークの訓練のフローチャートを示し、図４を参照すると、具体的には、
小さい画像ブロックｘを順番に取り出してランダム変換を行い、ここでは、ランダムトリミング、ランダム色歪み、ランダムガウシアンぼかしを使用して、拡張画像を得るステップＳ３１と、
拡張画像から、重みを共有する２つの特徴抽出ネットワークにより、本実施例では、ＲｅｓＮｅｔ－５０を特徴抽出ネットワークのスケルトンネットワークとして使用して、拡張画像ブロックの深層特徴ｈ_ｉ及びｈ_ｊを得るステップＳ３２と、
拡張画像ブロックの深層特徴ｈ_ｉ及びｈ_ｊを１つの多層パーセプトロンに送り込んで、さらに新しい特徴表示ｚ_ｉ及びｚ_ｊを得るステップＳ３３と、
特徴ｚ_ｉ及びｚ_ｊにより、コサイン類似度ｓ_ｉ，ｊを算出するステップＳ３４であって、
となり、ただし、τは、調節可能パラメータであり、コサイン類似度の範囲を調節するために用いられるステップＳ３４と、
コサイン類似度で対照損失関数ｌ_ｉ，ｊをさらに算出するステップＳ３５であって、
となるステップＳ３５と、
確率的勾配降下アルゴリズムを使用して、勾配の逆伝播を行い、損失関数を最小にすることを目標としてネットワークパラメータを最適化し、損失が減少しなくなったら訓練を停止してパラメータを保存し、ＲｅｓＮｅｔ－５０の全結合層及び多層パーセプトロンを捨て、特徴抽出モジュールを得るステップＳ３６とを含む。
ステップＳ４において、腫瘍微小環境認識モジュール、深層ゲーテッドアテンションモジュール、類似度認識アテンションモジュール及び分類層からなるマルチインスタンス分類ネットワークを訓練し、具体的に、
肺がんサブタイプのラベル付けを行われた全スライド病理画像から生成された小さい画像ブロックを訓練済みの自己教師あり対照学習ネットワークに送り込んで、最後の全結合層の前に、対応する特徴マップｍ_ｋを抽出するステップＳ４１であって、ｋ＝１、…、Ｋであり、Ｋは、全スライド病理画像から生成された小さい画像ブロックの数を表すステップＳ４１と、
各小さい画像ブロックと当該小さい画像ブロックに隣接する一周の小さい画像ブロックとに対応する合計９個の特徴マップを取り出して、腫瘍微小環境認識モジュールに送り込んで、腫瘍微小環境情報を融合した特徴ベクトルｇ_ｋを得るステップＳ４２と、
腫瘍微小環境情報を融合した特徴ベクトルｇ_ｋを深層ゲーテッドアテンションモジュールに送り込み、各小さい画像ブロックのアテンションスコアａ_ｋを算出し、スコアの高い上位８個の特徴ベクトルを選択して合計を求めた後に、平均値をとって特徴ベクトルｇ_ｍを得、ｇ_ｍをキーインスタンスベクトルとして設定するステップＳ４３と、
腫瘍微小環境情報を融合した特徴ベクトルｇ_ｋを類似度認識アテンションモジュールに送り込んで、小さい画像ブロックの最終的なアテンションスコアを得、それを重みとしてｓｌｉｄｅレベルの特徴ｇ_{ｓｌｉｄｅ}に集約し、最後に、分類層により最後の分類結果ｐｒｏｂを得るステップＳ４４と、
分類層によって出力される予測分類結果及び実際のラベルによりバイナリクロスエントロピー損失関数を計算するステップＳ４５であって、
となり、ただし、ｙ∈｛０，１｝は、患者の実際のタイプを表し、本実施例において、０は、肺腺がんを表し、１は肺扁平上皮がんを表すステップＳ４５と、
確率的勾配降下アルゴリズムを使用して、勾配の逆伝播を行い、損失関数を最小にすることを目標としてネットワークパラメータを最適化し、本例示では、Ａｄａｍオプティマイザを用い、初期学習率を０．０００１に設定し、早期停止方法を使用して、パラメータを適時に更新及び保存し、１０倍交差検証（１０－ｆｏｌｄ ｃｒｏｓｓ ｖａｌｉｄａｔｉｏｎ）を使用して最適モデルを決定して、最終の訓練済みの、腫瘍微小環境認識モジュール、深層ゲーテッドアテンションモジュール、類似度認識アテンションモジュール及び分類層からなるマルチインスタンス分類ネットワークとするステップＳ４６とを含む。

適用段階において、
ステップＳ１において、患者の肺部の全スライド病理画像を得る。
ステップＳ２において、訓練時に全スライド病理画像に対して前処理を行う方法を使用して、前処理を行ってＫ枚の小さい画像ブロックを得る。
ステップＳ３において、訓練済みの、ＲｅｓＮｅｔ－５０をスケルトンとする自己教師あり対照学習ネットワークを使用して、各小さい画像ブロックの深層特徴ｍ_ｋを抽出し、最後に、訓練済みの、腫瘍微小環境認識モジュール、深層ゲーテッドアテンションモジュール、類似度認識アテンションモジュール及び分類層からなるマルチインスタンス分類ネットワークに入力すると、分類結果を得る。
ステップＳ４において、さらに、可視化モジュールを利用して、類似度認識アテンションモジュールのアテンションスコアを抽出して、対応する色のカラーブロックを生成し、元の全スライド病理画像の同じ位置を一定の透明度で覆い、ぼかしや平滑化操作を行い、病巣検出のヒートマップを得る。

なお、本発明に記載されている実施例は、本発明の実施形態に対する限定ではなく、本発明を明瞭に説明するために挙げた例に過ぎない。当業者は、上記の説明を踏まえて他の様々な形式の修正又は変更を行うことができる。ここでは全ての実施形態を挙げる必要はなく、そうすることもできない。本発明の趣旨と原則内の修正、同等な置換、改良など、いずれも本発明の特許請求の範囲に含まれる。本発明で主張する保護範囲は、特許請求の範囲の内容に従うものとし、明細書の発明を実施するための形態などの記載は特許請求の範囲の内容を解釈するために用いてもよい。そこから生まれる自明な変化又は変更は依然として本発明の保護範囲に含まれる。

Claims (9)

1. 得られた全スライド病理画像を複数の小さい画像ブロックに分割するためのデータ前処理モジュールと、
   各小さい画像ブロックに対応する特徴マップｍ_ｋを抽出するための特徴抽出モジュールであって、ｋ＝１、…、Ｋであり、Ｋは、１枚の全スライド病理画像を分割して得られた小さい画像ブロックの数を表す特徴抽出モジュールと、
   各小さい画像ブロックの特徴マップｍ_ｋと当該小さい画像ブロックの（２ｃ＋１） ^２ －１近傍に位置するすべての小さい画像ブロックの特徴マップとを融合して、腫瘍微小環境情報を融合した特徴ベクトルｇ_ｋを得るための腫瘍微小環境認識モジュールであって、ｃは任意の正の整数である腫瘍微小環境認識モジュールと、
   各小さい画像ブロックのアテンションスコアａ_ｋを算出してキーインスタンスｇ_ｍを決定するための深層ゲーテッドアテンションモジュールであって、キーインスタンスｇ_ｍは、アテンションスコアの降順で上位ｍ個の小さい画像ブロックに対応する特徴ベクトルの平均値である深層ゲーテッドアテンションモジュールと、
   各小さい画像ブロックの特徴ベクトルｇ_ｋとキーインスタンスｇ_ｍとの類似度スコアを算出し、類似度スコアに基づいてすべての小さい画像ブロックに対応する特徴ベクトルを集約してｓｌｉｄｅレベルの特徴ｇ_{ｓｌｉｄｅ}を生成するための類似度認識アテンションモジュールであって、
   各小さい画像ブロックの特徴ベクトルｇ_ｋとキーインスタンスｇ_ｍとの類似度スコアを算出することは、具体的に、
   となり、
   ただし、ｑ_ｋは、腫瘍微小環境情報を融合した特徴ベクトルｇ_ｋを変換して得られた検索ベクトルであり、
   ｑ_ｋ＝Ｗ_ｑ（ｇ_ｋ）となり、
   ただし、Ｗ_ｑ及びＷ_ｉは、いずれも重み行列であり、＜＊＞は２つのベクトルの内積を表し、
   ｓｌｉｄｅレベルの特徴ｇ_{ｓｌｉｄｅ}は、
   と表され、
   ただし、ｉ_ｋは、腫瘍微小環境情報を融合した特徴ベクトルｇ _ｋ を変換して得られた情報ベクトルであり、
   ｉ_ｋ＝Ｗ_ｉ（ｇ_ｋ）となる、類似度認識アテンションモジュールと、
   特徴ｇ_{ｓｌｉｄｅ}に基づいて分類して、分類結果を得るための分類モジュールと、を含む、
   ことを特徴とする腫瘍微小環境を考慮した全スライド病理画像分類システム。
2. 前記腫瘍微小環境認識モジュールは、
   各小さい画像ブロックと当該小さい画像ブロックの（２ｃ＋１） ^２ －１近傍に位置するすべての小さい画像ブロックとの特徴マップに対して３Ｄ畳み込み融合を行って、第１の融合特徴を得るための３Ｄ畳み込み層と、
   第１の融合特徴と当該小さい画像ブロックに対応する特徴マップｍ_ｋとを加算して融合した後の特徴マップを特徴ベクトルに変換して、腫瘍微小環境情報を融合した特徴ベクトルｇ_ｋを得るための全結合層と、を含む、
   ことを特徴とする請求項１に記載のシステム。
3. 各小さい画像ブロックのアテンションスコアａ_ｋを算出することは、具体的に、
   となり、
   ただし、Ｗ_ａ，１、…、Ｗ_ａ，４、Ｐ_ａは調整可能重み行列であり、σ（・）はｓｉｇｍｏｉｄ活性化関数を表し、ｔａｎｈ（・）は双曲線正接活性化関数であり、
   は２つの行列の要素ごとの乗算を表す、
   ことを特徴とする請求項１に記載のシステム。
4. 前記特徴抽出モジュールは、訓練済みの自己教師あり対照学習ネットワークの特徴抽出部分である、
   ことを特徴とする請求項１に記載のシステム。
5. すべての小さい画像ブロックの類似度認識アテンションモジュールによって生成されたアテンションスコアを抽出して、対応する色のカラーブロックを生成し、元の全スライド病理画像の同じ位置を一定の透明度で覆い、病巣領域検出のヒートマップを得るための可視化モジュールをさらに含む、
   ことを特徴とする請求項１に記載のシステム。
6. 全スライド病理画像を収集して、各全スライド病理画像を複数の小さい画像ブロックに分割するステップと、
   データ前処理モジュールと特徴抽出モジュールとを構築し、特徴抽出モジュールを利用して、各小さい画像ブロックに対応する特徴マップｍ_ｋを抽出するステップと、
   腫瘍微小環境認識モジュールと、深層ゲーテッドアテンションモジュールと、類似度認識アテンションモジュールと、分類モジュールとを統合してマルチインスタンス分類ネットワークを形成し、前記マルチインスタンス分類ネットワークを、各全スライド病理画像を分割して得られた複数の小さい画像ブロックに対応する特徴マップを入力とし、各全スライド病理画像の分類結果を出力とし、出力と各全スライド病理画像の実際のラベルとの損失を最小にすることにより訓練し、訓練が完了した後、パラメータを固定し、データ前処理モジュールと、特徴抽出モジュールと、腫瘍微小環境認識モジュールと、深層ゲーテッドアテンションモジュールと、類似度認識アテンションモジュールとを組み合わせて、腫瘍微小環境を考慮した全スライド病理画像分類システムを得るステップと、を含む、
   ことを特徴とする請求項１～５のいずれか１項に記載のシステムの構築方法。
7. 前記特徴抽出モジュールは、訓練済みの自己教師あり対照学習ネットワークの特徴抽出部分であり、
   全スライド病理画像を収集して、各全スライド病理画像を複数の小さい画像ブロックに分割するステップと、
   各小さい画像ブロックに対して、ランダムトリミング、ランダム色歪み及び／又はランダムガウシアンぼかし変換を行って、拡張画像を得るステップと、
   自己教師あり対照学習ネットワークを構築し、前記自己教師あり対照学習ネットワークを、各小さい画像ブロックに対応する拡張画像を入力とし、特徴マップを出力とし、各小さい画像ブロックに対応する任意の２枚の拡張画像の特徴マップの対照損失関数を最小にすることにより訓練し、訓練済みの自己教師あり対照学習ネットワークの特徴抽出部分を保ち、特徴抽出モジュールを得るステップと、を含む方法により構築される、
   ことを特徴とする請求項６に記載の構築方法。
8. 前記自己教師あり対照学習ネットワークの構造は、ＲｅｓＮｅｔ、ＤｅｎｓｅＮｅｔ、ＡｌｅｘＮｅｔ又はＧｏｏｇＬｅＮｅｔである、
   ことを特徴とする請求項７に記載の構築方法。
9. 前記対照損失関数は、
   となり、
   ただし、
   であり、ｚ _ｉ 及びｚ _ｊ は、自己教師あり対照学習ネットワークによって出力される、当該小さい画像ブロックに対応する任意の２枚の拡張画像の特徴マップであり、τは、調節可能パラメータであり、Ｔは行列の転置を表し、ｓ _ｉ，ｊ は特徴マップｚ _ｉ と特徴マップｚ _ｊ とのコサイン類似度であり、ｓ _ｉ，ｋ は特徴マップｚ _ｉ と、２Ｋ個の拡張画像のｋ番目の特徴マップｚ _ｋ とのコサイン類似度である、
   ことを特徴とする請求項７に記載の構築方法。