本書では、マンモグラフィ・データ及びトモシンセシス・データを処理する際に、速度と性能との間のトレードオフを伴わずに畳み込みニューラル・ネットワーク(CNN)の計算時間を短縮する方法及びシステムが提供される。典型的な応用としては、高分解能マンモグラム画像がCNNへの入力として与えられるような癌性/非癌性乳房分類(ネガティブ・トリアージ)、自動病変検出(CAD)、及びAI式画像処理等がある。
計算時間を短縮する一つの方法は、非関連ピクセル・データを排除することである。乳房ピクセルは典型的には、検出器表面の3分の1を占めており、計算時間は画像の背景ピクセルを処理しないことにより短縮され得る。一つのアプローチは、乳房境界枠(バウンディング・ボックス)までに切り取られた畳み込みニューラル・ネットワーク(CNN)画像を供給することを含む。しかしながら、CNNの入力層の寸法は典型的には固定されている一方で、検出器における乳房の占有面積は患者毎に、また取得毎に区々であり得るので、境界枠の寸法は区々になり得る。結果として、ネットワークの入力寸法に合わせるために、例えば入力画像をズーム拡大又は縮小することにより、切り取られた入力画像を寸法変更(リサイズ)しなければならない場合がある。また、境界枠は正方形でないので、大半の乳房について非等方性の拡縮率が適用され得る。非等方性の拡大縮小によって、結果として生ずる画像分解能の変化及び歪みは、特に分解能が検出器分解能に近い微小石灰化のような極く小さい対象を扱うときに、CNNの性能に影響を及ぼし得る。
もう一つのアプローチは、マスクを用いて、当該マスクの境界の外部のピクセル・データを排除するものである。例えば、画像のピクセルに対応する1及び0の配列をCNNの追加入力として画像と共に含めることができ、ここで乳房を含むピクセルに1を割り当て、乳房を含まないピクセル(例えば背景)に0を割り当てる。入力層の畳み込み演算時には、入力層のニューロンが、乳房を含むピクセルについてのみ活性化されて、乳房を含まないピクセルについては活性化されないようにすることができる。しかしながら、CNNの入力層においてマスクを含めても、CNNの訓練時及び/又は展開(デプロイ)時に計算時間を十分に短縮することができず、FFDMデータ及びDBTデータのためのAIモデルの幅広い採用を促すに到らない場合がある。
本書に記載されるように、CNNの各々の層において乳房域の事前知識を活用することにより、訓練段階及び推論段階の両方で計算時間をさらに短縮することができる。換言すると、CNNの入力層においてマスクを適用することに加えて、畳み込み層及び全結合層を含む隠れ層の幾つか又は全てにおいてもマスクを適用することができる。さらに、これらのマスクをCNNの1又は複数のプーリング層においてダウンサンプリングして、マスクの寸法と1又は複数のプーリング層の出力の寸法との間の対応を保つことができる。複数の畳み込み層での畳み込み演算を背景域からの入力ではなく乳房域のみからの入力に限定し、且つ1又は複数の全結合層での計算を背景域からの入力ではなく乳房域のみからの入力に限定することにより、計算時間を短縮することができる。加えて、入力画像のうち非乳房データは臨床的関連性を有しないので、CNNの性能を高めることができる。
図1の画像処理システム102のような画像処理システムによって、マンモグラフィ画像又はトモシンセシス画像において病変、異常、及び他の特徴を検出することができる。この画像処理システムはCNNを含むことができ、CNNは被検体の乳房での病変、異常、及び他の特徴を検出するように訓練され得る。2D FFDM画像については、CNNは図2(A)のニューラル・ネットワーク訓練システム200のようなニューラル・ネットワーク訓練システムを用いて訓練され得る。図2(A)のCNN202のようなアーキテクチャを有し得るCNNの各々の畳み込み層において、2D乳房マスクが用いられ得る。2Dバイオプシ画像については、CNNは、図2(B)に示すようなニューラル・ネットワーク訓練システム200の第二の実施形態250を用いて訓練されることができ、ここでは2Dバイオプシ・ウィンドウ・マスクがCNNの各々の畳み込み層において用いられ得る。三次元(3D)DBT画像については、CNNは、図4(A)に示すようなニューラル・ネットワーク訓練システム200の第三の実施形態400を用いて訓練されることができ、ここでは3D乳房マスクがCNNの各々の畳み込み層において用いられる。3D DBTバイオプシ画像については、CNNは、図4(B)に示すようなニューラル・ネットワーク訓練システム200の第四の実施形態450を用いて訓練されることができ、ここでは3Dバイオプシ・ウィンドウ・マスクがCNNの各々の畳み込み層において用いられる。CNNの訓練時間をさらに短くするために、CNNは、図5に示すようなニューラル・ネットワーク訓練システム200の第五の実施形態500を用いて訓練されることができ、ここではCNNは2Dパッチ又は3Dパッチを用いて訓練され得る。2DのFFDM画像及び/若しくはバイオプシ画像、又は3DのDBT画像及び/若しくはDBTバイオプシ画像において病変を分類し、且つ/又は検出するように学習するためのCNN訓練は、図3(A)の方法300のような方法の1又は複数の動作を実行することにより行なわれ得る。またCNNは、図3(B)の方法350に従って、2DのFFDM及び/若しくはバイオプシ画像、又は3DのDBT及び/若しくはDBTバイオプシ画像において病変を分類し、且つ/又は検出するように展開され得る。
図1には、一実施形態による医用イメージング・システム100の画像処理システム102が示されている。幾つかの実施形態では、画像処理102の少なくとも一部が、有線接続及び/又は無線接続を介して医用イメージング・システム100に連絡可能に結合された装置(例えば末端装置及びサーバ等)に配設される。幾つかの実施形態では、画像処理システム102の少なくとも一部が、医用イメージング・システム100から、又は医用イメージング・システム100によって生成される画像/データを記憶する記憶装置から画像を受け取ることができる別個の装置(例えばワークステーション)に配設される。
画像処理システム102は、非一過性メモリ106に記憶されている機械可読の命令を実行するように構成されているプロセッサ104を含んでいる。プロセッサ104は、シングル・コアであってもマルチ・コアであってもよく、ここで実行されるプログラムは、並行処理用にも分散処理用にも構成され得る。幾つかの実施形態では、プロセッサ104は選択随意で、遠隔配置され且つ/又は協働型処理用に構成され得る2以上の装置にわたり分散された個別の構成要素を含み得る。幾つかの実施形態では、プロセッサ104の1又は複数の観点は、クラウド・コンピューティング構成として構成された遠隔利用可能な網接続された計算装置によって仮想化されて実行されてもよい。
非一過性メモリ106は、ニューラル・ネットワーク・モジュール108、ネットワーク訓練モジュール110、推論モジュール112、及び医用画像データ114を記憶し得る。ニューラル・ネットワーク・モジュール108は、後に詳述されるように、入力画像において乳房を分類するための深層学習モデルを実装するための深層学習モデル及び命令を含み得る。ニューラル・ネットワーク・モジュール108は、1又は複数の訓練済みニューラル・ネットワーク及び/又は訓練前ニューラル・ネットワークを含むことができ、さらに、ここに記憶された1又は複数のニューラル・ネットワークに関連する様々なデータ又はメタデータを含み得る。
非一過性メモリ106はさらに、ニューラル・ネットワーク・モジュール108に記憶された深層学習モデルを実装するニューラル・ネットワークの1又は複数を訓練するための命令を含む訓練モジュール110を記憶し得る。訓練モジュール110は、プロセッサ104によって実行されると1又は複数のニューラル・ネットワークを訓練するための方法300及び/又は350のステップの1又は複数を実行することを画像処理システム102に行なわせる命令を含み得る。このことについては、図3(A)及び図3(B)にそれぞれ関連して後にあらためて詳述する。幾つかの実施形態では、訓練モジュール110は、1又は複数の最急降下アルゴリズムを実装する命令を含んでおり、ニューラル・ネットワーク・モジュール108の1又は複数のニューラル・ネットワークのパラメータを調節するのに用いるために1又は複数の損失関数及び/又は訓練ルーチンを適用する。非一過性メモリ106はまた、訓練済み深層学習モデルによって新たな画像データを処理し且つ/又は分類するための命令を含む推論モジュール112を記憶し得る。幾つかの実施形態では、訓練モジュール110、ニューラル・ネットワーク・モジュール108、及び推論モジュール112が別々の装置に記憶され且つ/又は別々の装置で実行されてもよい。
非一過性メモリ106はさらに、医用画像データ114を記憶している。医用画像データ114は、例えば計算機式断層写真法(CT)スキャナ、X線機械、超音波プローブ、又は異なる撮像モダリティを介して取得された医用画像を含み得る。例えば、医用画像データ114は、患者の乳房から取得されたマンモグラム画像又はトモシンセシス・データを記憶し得る。幾つかの実施形態では、医用画像データ114は複数の訓練セットを含み得る。
幾つかの実施形態では、非一過性メモリ106は、遠隔配置され且つ/又は協働型処理用に構成され得る2以上の装置に配設された構成要素を含み得る。幾つかの実施形態では、非一過性メモリ106の1又は複数の観点は、クラウド・コンピューティング構成として構成された遠隔利用可能なネットワーク型計算装置を含み得る。
画像処理システム102は、利用者入力装置132及び表示装置134に動作可能且つ連絡可能に結合され得る。利用者入力装置132は、タッチスクリーン、キーボード、マウス、トラックパッド、運動検知カメラ、又は利用者が画像処理システム102の内部のデータと対話し該データを操作することを可能にするように構成されている他の装置の1又は複数を含み得る。表示装置134は、実質的に任意の形式の技術を用いた1又は複数の表示装置を含み得る。幾つかの実施形態では、表示装置134は、コンピュータ・モニタを含むことができ、また医用画像を表示し得る。表示装置134は、共通の筐体内でプロセッサ104、非一過性メモリ106、及び/又は利用者入力装置132と組み合わされていてもよいし、周辺表示装置であってもよく、モニタ、タッチスクリーン、プロジェクタ、又は当技術分野で公知の他の表示装置を含むことができ、これにより利用者が医用イメージング・システムによって形成される医用画像を観察したり、非一過性メモリ106に記憶されている様々なデータと対話したりすることを可能にし得る。
図1に示す画像処理システム102は説明のためのものであって、制限のためのものではないことを理解されたい。他の適当な画像処理システムは、より多い構成要素、より少ない構成要素、又は異なる構成要素を有し得る。
図2(A)には、ニューラル・ネットワーク訓練システム200がCNN202について示されており、ここではCNN202は、人間の乳房のFFDM画像(例えばマンモグラム)における異常を検出するように訓練され得る。ニューラル・ネットワーク訓練システム200は、図1の画像処理システム100のような画像処理システムの一部として(例えばニューラル・ネットワーク・モジュール108の内部で)実装され得る。CNN202は、図3(A)の方法300のような方法の1又は複数の動作に従って訓練され得る。CNN202は、図1の画像処理システムの医用画像データ114のような画像処理システムのデータベースに記憶され得るFFDM画像について訓練され得る。訓練が完了した後には、訓練済みCNN202が、図1の画像処理システム102の推論モジュール112のような画像処理システムの推論モジュールに展開され得る。
CNN202は、複数の入力/目標訓練対を含み得る訓練データセット234について訓練され得る。幾つかの実施形態では、CNN202は分類ネットワークであってよく、ここでは画像/目標訓練対は、CNN202への入力として乳房を有するFFDM画像204と、目標として乳房の画像分類236とを含み得る。例えば、第一の入力/目標訓練対は、第一のFFDM画像204と、乳房に異常が検出されなかったことを示す0の対応する分類とを含み得る。第二の入力/目標訓練対は、第二のFFDM画像204と、乳房に異常(例えば病変及び腫瘍等)が検出されたことを示す1の対応する分類とを含み得る。他の実施形態では、付加的な分類が含まれてもよい。例えば一実施形態では、第一の分類は乳房に異常がないことを示し、第二の分類は乳房に悪性でない腫瘍があることを示し、第三の分類は悪性腫瘍を示し得る。他の実施形態では、正常、良性、非浸潤性(in situ)、及び浸潤性のように他の組織学分類を用いてもよい。目標画像分類236は、CNN202を訓練するという目的のために対応するFFDM画像204に関連付けられた正解値(ground truth)と見做され得る。
さらに他の実施形態では、CNN202は分類ネットワークでなくてもよく、CNN202は、乳房のFFDM画像において病変の存在又は位置を検出してもよい。例えば、画像/目標訓練対は、CNN202への入力として乳房を有するFFDM画像204と、目標として正解値病変情報とを含み得る。正解値病変情報は、FFDM画像204に病変が存在するか否かの指標と、病変の位置情報とを含み得る。ここに掲げられる例は、説明の目的のためのものであって、本開示の範囲から逸脱することなく異なる例も含まれ得ることを認められたい。
ニューラル・ネットワーク訓練システム200は、訓練データセットの入力/目標訓練対を生成し得るデータセット生成器228を含み得る。幾つかの実施形態では、データセット生成器228は、画像データベース224からFFDM画像204を受け取ることができる。画像データベース224に記憶されているFFDM画像204は、FFDM走査装置226(例えばX線装置)によって生成され得る。各々のFFDM画像204に関連付けられる分類は、正解値割り当て工程232によって割り当てられ得る。分類の割り当てについては、図3(A)に関して後にあらためて詳述する。
データセット生成器228はまた、FFDM画像204のためのマスクを生成し得るマスク生成器230を含み得る。具体的には、訓練データセット234の各々の入力/目標訓練対のFFDM画像204に、対応する2D乳房マスク218が割り当てられ得る。2D乳房マスク218は、対応するFFDM画像204の寸法を有する値の二次元(2D)配列であってよく、2D乳房マスク218の各々の値と、FFDM画像204の各々のピクセルとの間に1対1の対応関係がある。例えば、2D乳房マスク218の左上角の最上部左方値が、対応するFFDM画像204の左上角の最上部左方ピクセルに関連付けられ、2D乳房マスク218の最上横列に沿った隣接値が、対応するFFDM画像204の最上横列に沿った隣接ピクセルに関連付けられ得る等、以下同様である。
2D乳房マスク218は、対応するFFDM画像204の各々のピクセルについて第一の値又は第二の値の何れかを含み得る。例えば、第一の値は1であってよく、第二の値は0であってよい。2D乳房マスク218の値が第一の値又は第二の値の何れを割り当てられているかは、FFDM画像204の対応するピクセルが乳房データ又は背景データの何れを含んでいるかに依存し得る。対応するピクセルが乳房データを含んでいる(例えば対応するピクセルがFFDM画像204の乳房部分の内部に位置する)場合には、対応する値に第一の値(例えば1)を割り当てることができる。代替的には、対応するピクセルが乳房データを含んでいない(例えば対応するピクセルが、FFDM画像204の背景部分のように乳房部分の外部に位置する)場合には、対応する値に第二の値(例えば0)を割り当てることができる。このように、2D乳房マスク218は、FFDM画像204の背景部分に対してのFFDM画像204の乳房部分のようなFFDM画像204の予め画定された領域を確立することができる。2D乳房マスク218の生成については、図3(A)に関して後にあらためて詳述する。
CNN202は、第一の畳み込み層206及び第二の畳み込み層210のような複数の畳み込み層を含み得る。第一の畳み込み層206及び第二の畳み込み層210は各々、一定数のフィルタ又はカーネルを含むことができ、等しい数の特徴マップを生成し得る。特徴マップは、CNN202がFFDM画像204の特徴を検出するのを助けることができる。例えば、第一の畳み込み層206は、5つのフィルタに対応して5つの特徴マップ205を含むことができ、特徴マップ205は、CNN202がFFDM画像204のより低レベルの特徴(例えば線、角、及び辺等)を検出するのを助けることができる。第二の畳み込み層210は、10のフィルタに対応して10の特徴マップ209を含むことができ、特徴マップ209は、CNN202がFFDM画像204のより高レベルの特徴を検出するのを助けることができる。より高レベルの特徴は、より低レベルの特徴同士の間の関係の抽象概念を含むことができ、人間による解釈が可能な場合も可能でない場合もある。特徴マップ205の数は特徴マップ209の数とは異なっていてよく、特徴マップ205及び209の数は、CNN202のアーキテクチャの実装形態に依存する。
複数の畳み込み層の各々の後に、CNN202は、第一のプーリング層208及び第二のプーリング層212のようなプーリング層を含み得る。CNN202はまた全結合層214を含むことができ、直前の層(例えばプーリング層212)のあらゆる特徴が、全結合層214のあらゆる入力ニューロンと結合される。全結合層214での膨大になる可能性のある計算数を回避するために、プーリング層208及び212は、CNN202の特徴の数を小さくするためにそれぞれ直前の畳み込み層206及び210の出力をプールすることができる。
第一のプーリング層208及び第二のプーリング層212は各々、一組のプールされた特徴マップを生成し得る。例えば、第一のプーリング層208は、5つの特徴マップ205に対応して5つのプールされた特徴マップ207を含むことができ、プールされた特徴マップ207は、特徴マップ205をダウンサンプリングしたものであってよい。同様に、第二のプーリング層212は、10の特徴マップ209に対応して10のプールされた特徴マップ211を含むことができ、プールされた特徴マップ211は特徴マップ209をダウンサンプリングしたものであってよい。プールされた特徴マップ207の数はプールされた特徴マップ211の数と異なっていてよく、プールされた特徴マップ207及び211の数は、CNN202のアーキテクチャの実装形態に依存する。
例えば、各々のFFDM画像204は、2394×2850ピクセルの分解能に基づいて6百万超のピクセルを含む場合があり、これら6百万超のピクセルの各々が第一の畳み込み層206に入力され得る。第一の畳み込み層206は、CNN202のハイパーパラメータ(例えばフィルタ寸法、ストライド)に依存して6百万超のピクセルと殆ど同じ大きさの数の特徴を出力し得る。幾つかの実施形態では、CNN202の各々の層、特に全結合層214においてかかる多数の特徴を乗算することにより必要とされるニューラル・ネットワーク訓練システム200のメモリについての要求を低下させるために、プーリング層208は第一の畳み込み層206の出力を2D小領域の内部で結合して、ニューラル・ネットワーク訓練システム200のメモリに保たれる特徴の全体数を減少させることができる。幾つかの実施形態では、出力の結合は、2D小領域の出力値を平均して単一の値を生成することを含み得る(例えば平均プーリング)。他の実施形態では、出力の結合は、2D小領域の出力値を代表する最高値のような単一の値を選択することを含み得る(例えば最大プーリング)。同様に、プーリング層212は、全結合層214の計算を行なうのに先立って第二の畳み込み層によって生成される特徴の数をさらに小さくするように第二の畳み込み層210の出力を結合することができる。図2(A)には二つの畳み込み層が示されているが、他の各実施形態は、本開示の範囲から逸脱することなく、より多い又はより少ない数の畳み込み層、プーリング層、及び/又は全結合層を含み得ることを認められたい。ハイパーパラメータ及びプーリング戦略を調節することによりCNNのパラメータを小さくする利点は当技術分野で周知であり、本開示の範囲外である。
FFDM画像204がCNN202の第一の畳み込み層206に入力されるときに、対応する2D乳房マスク218も第一の畳み込み層206に入力され得る。2D乳房マスク218は、前述のようにFFDM画像204の背景域(例えば人間の乳房を含まない区域)からのCNN202への入力を選択的に阻止し得る。もう一つの実施形態では、2D乳房マスク218は、1及び0を含む値の配列としてCNN202に入力されることができ、値の配列の各々の値に、各々の特徴マップ206の対応するピクセル及び/又は各々の入力262の対応するピクセルを乗算する。
加えて、2D乳房マスク218をダウンサンプリングしたものである第二の2D乳房マスク220が、第二の畳み込み層210に入力され得る。幾つかの実施形態では、1又は複数のダウンサンプリング演算は、第一の畳み込み層206によって生成される特徴の数についての1又は複数のダウンサンプリング演算の実行と並行して2D乳房マスク218について実行され、2D乳房マスク218をダウンサンプリングして第二の2D乳房マスク220を生成するためには、ここでも第一のプーリング層208において特徴をダウンサンプリングする又は小さくするのに用いられた手順に従う。例えば、2Dの3×3の群を成す第一の畳み込み層206の出力値が第一のプーリング層208にプールされて単一の出力値を生成する場合には、対応する2Dの3×3の群を成す2D乳房マスク218の出力値が第一のプーリング層208にプールされて第二の2D乳房マスク220に対応する単一の出力値を生成することができる。幾つかの実施形態では、2D乳房マスク218はCNN202の内部でダウンサンプリングされ得るが、他の実施形態では、2D乳房マスク218は、入力画像データのダウンサンプリング演算と並行して、別個の手順に従ってCNN202の外部でダウンサンプリングされてもよい。この別個の手順は、入力画像と同じダウンサンプリング演算を含んでいてもよいし、異なるダウンサンプリング演算を含んでいてもよい。別個の手順のダウンサンプリング演算はCNN202のプーリング戦略に依存し得る。このようにして、第二の2D乳房マスク220は、2D乳房マスク218のFFDM画像204との空間的関係、及び特徴マップ207との1対1の対応関係を保存し得る。同じようにして、第三のダウンサンプリングされた2D乳房マスク222を、第二のプーリング層212の出力と共に全結合層214に入力することができ、ここで第三のダウンサンプリングされた2D乳房マスク222は、第二のダウンサンプリングされた2D乳房マスク220をプールしたものである。全結合層は、入力としてマスクの内部に位置する特徴マップ211の特徴を受け取り、マスクの外部に位置する特徴マップ211の特徴は受け取らないようにすることができる。代替的には、2D乳房マスク222が1及び0を含む値の配列として符号化されているときに、値の配列の各々の値に、各々の特徴マップ212の対応するピクセルを乗算することができる。
CNN202は、全結合層214の出力に基づいて出力層216において最終的な出力を生成し得る。幾つかの実施形態では、出力216は、FFDM画像204の乳房の分類であり得る。例えば、CNN202は、1又は複数の病変及び/又は異常がCNN202によって検出され得たことを示す1の分類値を出力してもよいし、病変及び/又は異常検出がCNN202によって検出されなかったことを示す0の分類値を出力してもよい。他の実施形態は、付加的な出力値又は異なる出力値を含み得る。例えば、付加的な出力値又は異なる出力値を用いて、幾つかの形式の病変又は異常の間を識別したり、検出された病変又は腫瘍の重症度を示したりすることができる。もう一つの実施形態では、CNN202は、病変若しくは異常又は他の何らかの位置を示すマップを出力し得る。
図3(A)に関して後にあらためて詳述するように、出力216と目標分類236との間の差が、損失関数に従ってCNN202を通して逆伝播されてCNN202のパラメータを調節することができ、これによりCNN202は、新たなFFDM画像を分類する又は新たなFFDM画像において病変を検出するように学習することができる。
図2(B)には、ニューラル・ネットワーク訓練システム200の第二の実施形態250が示されており、ここではCNN202は、乳房の一組の2Dバイオプシ画像を用いて乳房において異常を検出するように訓練され得る。バイオプシの際には、1又は複数の組織標本が、後の分析のために生検針を用いて乳房から抽出される。2Dバイオプシ画像を用いて、医師が微小であり得る病変の正確な位置まで生検針を誘導するのを支援することができる。2Dバイオプシ画像の集合がバイオプシを行なう一部として定型的に生成され得るので、これらの2Dバイオプシ画像の集合は、CNN202を訓練するのに有利に用いられ得る病変を含む大量の訓練データに相当し得る。例えば、CNN202を訓練するために病変を含む2D FFDM画像を得ることが2Dバイオプシ画像を得るよりも容易でない場合には、CNN202は、2Dバイオプシ画像と2D FFDM画像との組み合わせについて訓練され得る。代替的には、CNN202は、第一の訓練段階で2Dバイオプシ画像について訓練され第二の訓練段階で2D FFDM画像について訓練されてもよいし、第一の訓練段階で2D FFDM画像について訓練され第二の訓練段階で2Dバイオプシ画像について訓練されてもよく、すなわちCNN202は、2D FFDM画像及び/又は2Dバイオプシ画像を含む複数の訓練段階にわたって訓練され得る。CNN202が訓練された後に、CNN202は、新たな2D FFDM画像又は新たな2Dバイオプシ画像の何れかにおいて乳房異常を検出し且つ/又は分類するように展開され得る。
幾つかの実施形態では、CNN202は、病変が位置し得る関心走査領域であるバイオプシ・ウィンドウの内部で病変を検出するように訓練され得る。この場合には、CNN202がバイオプシ・ウィンドウの内部でのみ畳み込みを行ないバイオプシ・ウィンドウの外部では畳み込みを行なわないようにするために、乳房マスクはバイオプシ・ウィンドウに限定され得る。幾つかの実施形態では、バイオプシ・ウィンドウは、バイオプシに用いられる圧迫板の形状によって画定される単純な幾何学的形状(例えば四辺形)であってよい。
訓練相においてバイオプシ・ウィンドウを考慮に入れることにより、バイオプシ・ウィンドウの外部の無関係なデータ(圧迫板の境界でのデータのような)が無視されるので、訓練時のCNN202の計算時間を短縮し、性能を改善することができる。バイオプシ・ウィンドウの外部で畳み込みを行なわないことにより、推論時のCNN202の計算時間も短縮することができる。CNN202の展開時には、医師は、生検針を誘導しながら表示画面で2Dバイオプシ画像を観察しつつ生検針の先端の配置を監視することができる。医師が生検針を調節しているときに実時間で病変を検出して特定することにより、訓練済みCNN202によって表示画面上で誘導の合図(キュー)又は指示を医師に与えることができる。乳房マスク及びバイオプシ・ウィンドウ・マスクをそれぞれ追加入力として用いて、ネットワークをFFDMデータ及びバイオプシ・データの両方について訓練することにより、病変を含む標本数を増大させることが期待される。加えて、CNN202が新たなFFDM画像について適用されるときに、全体的な検出性能を高めることができる。
ニューラル・ネットワーク訓練システム200の第二の実施形態250では、CNN202は、図3(A)の方法300のような方法の1又は複数の動作に従って訓練され、図3(B)の方法350のような方法の1又は複数の動作に従って展開され得る。CNN202は、画像処理システムのデータベースに記憶され得る図1の画像処理システムの医用画像データ114のような2Dバイオプシ画像について訓練され得る。訓練が完了した後に、訓練済みCNN202を、図1の画像処理システム102の推論モジュール112のような画像処理システムの推論モジュールに展開することができる。
第二の実施形態250では、CNN202は、複数の入力/目標訓練対を含み得る訓練データセット254について訓練され得る。複数の画像/目標訓練対は、CNN202への入力として2Dバイオプシ画像262を含み、目標データとして正解値病変情報260を含み得る。正解値病変情報260は、病変が2Dバイオプシ画像262において検出されるか否かの指標を含むことができ、また病変の位置情報を含み得る。例えば、位置情報は、病変のXY座標と、病変の境界情報と、1又は複数の方向での病変の範囲等とを含み得る。
画像データベース224に記憶されている2Dバイオプシ画像262は、走査装置226(例えばX線機械)によって形成され得る。各々の2Dバイオプシ画像262に関連付けられる正解値は、データセット生成器228の正解値割り当て工程232によって割り当てられ得る。正解値の割り当てについては、図3(A)に関して後にあらためて詳述する。
図2(A)のFFDM画像204の場合と同様に、マスク生成器230は、実施形態250において2Dバイオプシ画像262のためのマスクを生成し得る。具体的には、訓練データセット254の各々の入力/目標訓練対の2Dバイオプシ画像262が、対応する2Dバイオプシ・ウィンドウ・マスク264に関連付けられ得る。2Dバイオプシ・ウィンドウ・マスク264は、対応する2Dバイオプシ画像262の寸法を有する値の二次元配列であってよく、2Dバイオプシ・ウィンドウ・マスク264の各々の値と2Dバイオプシ画像262の各々のピクセルとの間に1対1の対応関係がある。
2Dバイオプシ・ウィンドウ・マスク264は、対応する2Dバイオプシ画像262の各々のピクセルについて第一の値(例えば1)又は第二の値(例えば0)を含み得る。2Dバイオプシ・ウィンドウ・マスク264の値に第一の値又は第二の値の何れが割り当てられているかは、2Dバイオプシ画像262の対応するピクセルが2Dバイオプシ画像262の2Dバイオプシ・ウィンドウの内部に位置しているか否かに依存し得る。対応するピクセルが2Dバイオプシ画像262の2Dバイオプシ・ウィンドウの内部に位置している場合には、対応する値に第一の値(例えば1)を割り当てることができる。代替的には、対応するピクセルが2Dバイオプシ・ウィンドウの内部に位置していない場合には、対応するビットに第二の値(例えば0)を割り当てることができる。このように、2Dバイオプシ・ウィンドウ・マスク264は、2Dバイオプシ・ウィンドウが位置している2Dバイオプシ画像262の内部の予め画定された領域を確立し得る。2Dバイオプシ・ウィンドウ・マスク264の生成については、図3(A)に関して後にあらためて詳述する。
図2(A)に関して上で述べたように、プーリング層208及び212は、平均プーリング、最大プーリング、又は異なるプーリング手法に従って、それぞれ第一の畳み込み層206及び第二の畳み込み層210の出力を結合することができる。
2Dバイオプシ画像262がCNN202の第一の畳み込み層206に入力されるときに、対応する2Dバイオプシ・ウィンドウ・マスク264もまた第一の畳み込み層206に入力され得る。2Dバイオプシ・ウィンドウ・マスク264は、図2(A)に関して上で述べたように、2Dバイオプシ・ウィンドウの外部に位置する2Dバイオプシ画像262の区域からのCNN202への入力を選択的に阻止し得る。各々の2Dバイオプシ・ウィンドウ・マスク264が、1及び0を含む値の配列としてCNN202に入力されることができ、ここで幾つかの実施形態では、値の配列の各々の値に、2Dバイオプシ画像262の対応するピクセル入力及び/又は第一の畳み込み層206の対応するピクセル出力を乗算する。他の実施形態では、異なるアルゴリズムを用いて、2Dバイオプシ・ウィンドウ・マスク264に基づいてCNN202の幾つかの部分を選択的に阻止してもよい。例えば、2D乳房マスク264は、1及び0を含む値の配列としてCNN202に入力されることができ、値の配列の各々の値に、各々の特徴マップ205の対応するピクセルを乗算する。
加えて、図2(A)の第二の2D乳房マスク220及び第三の2D乳房マスク222に関して上で述べたように、実施形態250では、第二の2Dバイオプシ・ウィンドウ・マスク266が第二の畳み込み層210に入力され得る。2Dバイオプシ・ウィンドウ・マスク266は、2Dバイオプシ・ウィンドウ・マスク264をダウンサンプリングしたものであってよい。同様に、2Dバイオプシ・ウィンドウ・マスク266をダウンサンプリングしたものであってよい第三の2Dバイオプシ・ウィンドウ・マスク268が、第二のプーリング層212の出力と共に全結合層214に入力され得る。全結合層は、マスクの内部に位置する特徴マップ211の特徴を入力として受け取ることができ、マスクの外部に位置する特徴マップ211の特徴を入力として受け取らない。代替的には、2D乳房マスク268が1及び0を含む値の配列として符号化されているときに、値の配列の各々の値に、各々の特徴マップ211の対応するピクセルを乗算してもよい。
図2(A)と同様に、CNN202は、全結合層214の出力に基づいて出力216を生成し得る。出力216は、病変が2Dバイオプシ画像262に存在するか否かの指標、及び病変の位置情報を含めた2Dバイオプシ画像262の乳房の病変検出情報を含み得る。図3(A)に関して後にあらためて詳述するように、出力216と正解値病変情報260との間の差異又は誤差はCNN202を通して逆伝播されてCNN202のパラメータを調節することができ、これによりCNN202は、新たな2Dバイオプシ画像において病変を検出して位置決定するように学習することができる。
図3(A)には、高分解能2D FFDM画像及び/又は2Dバイオプシ画像において病変又は他の異常を検出し、位置決定し、且つ/又は分類するように図2(A)及び図2(B)のCNN202のようなCNNを訓練するための例示的な方法300の流れ図が示されている。方法300は、図2(A)及び図2(B)のニューラル・ネットワーク訓練システム200の一部として実装され得る。一実施形態では、方法300の1又は複数の動作は非一過性メモリに記憶されて、図1の画像処理システム102の非一過性メモリ106及びプロセッサ104のようなプロセッサによって実行され得る。
CNNは、入力/目標訓練対の組を含む訓練データセット(例えば図2(A)の訓練データセット234及び/又は図2(B)の訓練データセット254)を用いて訓練され得る。これらの入力/目標訓練対の各々の訓練対が、入力画像と、入力画像の目標(例えば正解値)データとを含み得る。幾つかの実施形態では、目標データは入力画像の乳房の分類であってよい。分類は、二項分類であってよく、ここでは0の分類が、例えば入力画像の乳房に異常が検出されなかったことを示し、1の分類が、例えば入力画像の乳房に異常(例えば腫瘍及び病変等)が検出されたことを示し得る。他の実施形態では、分類は二項分類でなくてもよく、目標分類が複数の分類の一分類であってもよい。幾つかの実施形態では、目標分類は、異常のない乳房を示す第一の二値符号(例えば一定数の1及び0)、悪性でない腫瘍のある乳房を示す第二の二値符号、及び悪性腫瘍のある乳房を示す第三の二値符号等を含み得る。腫瘍の浸潤度のような付加的な情報を二値符号に含めてもよい。さらに他の実施形態では、目標データは、入力画像の内部での異常の位置についての付加的な符号化を含んでいてもよい(例えばバイオプシ医師に誘導の合図を与えるために用いられる)。
幾つかの実施形態では、CNNはFFDM画像分類ネットワークであってよく、ここでは入力画像は2D FFDM画像(例えば図2(A)のFFDM画像204)であってよい。他の実施形態では、CNNは2Dバイオプシ画像検出及び/又は位置決定ネットワークであってよく、ここでは入力画像は2Dバイオプシ画像(例えば2Dバイオプシ画像252)であってよい。加えて、方法300は、異なる形式の画像を訓練するために同じCNNについて複数回適用され得る。例えば、CNNは第一の訓練段階で2D FFDM画像(例えばマンモグラム)を分類するように訓練され、第二の訓練段階で2Dバイオプシ画像を分類し且つ/又は位置決定するように訓練されてもよいし、或いはCNNは第一の訓練段階で2Dバイオプシ画像を分類し且つ/又は位置決定するように訓練され、第二の訓練段階で2D FFDM画像を分類するように訓練されてもよい。
方法300は動作302で開始し、ここでは方法300は、訓練セットから入力画像と目標の正解値分類とを含む訓練対を受け取ることを含んでいる。一実施形態では、訓練セットは、図1の画像処理システム102の訓練モジュール110のような画像処理システムの訓練モジュールに記憶され得る。
動作304では、方法300は、入力画像用のマスクを生成することを含んでいる。入力画像がFFDM画像である実施形態では、マスクは前述の図2(A)の2D乳房マスク218のような2D乳房マスクであってよい。入力画像が2Dバイオプシ画像である実施形態では、マスクは前述の図2(B)の2Dバイオプシ・ウィンドウ・マスク218のような2Dバイオプシ・ウィンドウ・マスクであってよい。様々な実施形態において、マスクは、図2(A)及び図2(B)のマスク生成器230のようなマスク生成器によって生成され得る。
マスクを生成するためには、当技術分野で公知の任意のマスク生成手順を用いてよい。2D乳房マスクについては、幾つかの実施形態では、マスク生成器は、入力画像の乳房を検出し且つ/又はセグメント分割するために、事前訓練済みニューラル・ネットワーク及び/又は機械学習アルゴリズムのような物理的又は統計学的モデルを用いることができる(例えば乳房セグメント分割モデル)。他の実施形態では、入力画像の乳房の境界を他の方法で検出してもよい。マスク生成器は続いて、入力画像の寸法を有する値の配列を生成することができ、ここでは第一の値(例えば1)又は第二の値(例えば0)が入力画像の各々のピクセルに割り当てられる。入力画像の或るピクセルが乳房の境界の範囲内(又は境界の上)に含まれる場合には、当該ピクセルに対応する位置の値の配列に第一の値を割り当てることができる。代替的には、ピクセルが乳房の境界の範囲内(又は境界の上)に含まれない場合には、当該ピクセルに対応する位置の値の配列に第二の値を割り当てることができる。
幾つかの実施形態では、例えばトモシンセシス取得を扱うときには、CNNを訓練するのに先立って複数の乳房マスクを生成することができ、ここでは各々の入力投影画像が複数の乳房マスクのうち一つの乳房マスクに関連付けられ得る。例えば、第一のマスク生成段階では訓練セットの複数の入力画像が事前訓練済みニューラル・ネットワークに入力されて、対応する複数の乳房マスクを生成することができ、第二のマスク割り当て段階では複数の入力画像の各々の入力画像が、対応する複数の乳房マスクのうち一つの対応する乳房マスクに関連付けられ得る。
図2(B)の2Dバイオプシ画像262のような2D乳房バイオプシ画像を扱うときには、マスクは乳房マスクではなく、2Dバイオプシ・ウィンドウ・マスク(例えば図2(B)の2Dバイオプシ・ウィンドウ・マスク264)であってよい。CNNによって処理される画像データは、図2(B)に示すように2Dバイオプシ・ウィンドウ・マスクを用いてバイオプシ・ウィンドウに限定され得る。バイオプシ・ウィンドウは固定寸法を有して、2Dバイオプシ画像の固定位置に配置されることができ、ここでは2Dバイオプシ・ウィンドウ・マスクは固定寸法及び固定位置のマスク配列であってよい。マスク配列は、バイオプシ・ウィンドウの領域の内部に位置するピクセルについては第一の値(例えば1)を含み、バイオプシ・ウィンドウの領域の外部に位置するピクセルについては第二の値(例えば0)を含み得る。このように、2Dバイオプシ・ウィンドウ・マスクはバイオプシ・ウィンドウの寸法及び位置に合わせて入力画像を実効的に切り取ることができる。訓練時及び展開時にこのバイオプシ・ウィンドウ・マスクを適用することにより、バイオプシ・ウィンドウの配置を考慮に入れて、これによりバイオプシ・ウィンドウの外部の区域を無視することにより、CNNの計算時間を短縮することができる。
動作306では、方法300は、訓練対の入力画像及び該入力画像に割り当てられたマスクをCNNの第一の畳み込み層(例えば図2(A)及び図2(B)のCNN202の第一の畳み込み層206)に入力することを含んでいる。前述のように、マスクは、同様の寸法を有する1及び0のようなマスク値の配列であってよい。幾つかの実施形態では、入力画像及びマスクをCNNの第一の畳み込み層に入力する動作は、各々のピクセルのピクセル強度値にマスク配列の対応する値(例えば入力画像でのピクセルの位置に対応する値)を乗算することを含み得る。各々のピクセルのピクセル強度値にマスク配列の対応する値を乗算する結果として、入力値の新たな調節済み配列を生成することができ、この配列では入力画像の乳房の境界の内部のピクセル強度値は保存され、乳房の境界の外部のピクセル強度値は0へ変換される。入力値の新たな調節済み配列に、関連する畳み込みカーネルの重みを乗算することによりCNNの入力ノードが活性化されるときには、入力値が0である入力ノードの部分(例えば乳房の境界の外部)は活性化されずに済む。このようにして、入力画像の乳房ピクセル・データ又はバイオプシ・ウィンドウのピクセル・データがCNNの畳み込み及び活性化に用いられ、乳房に関連しないピクセル・データ又はバイオプシ・ウィンドウの内部にないピクセル・データはCNNの畳み込み及び活性化に用いられないようにすることができる。
例えば、入力画像の第一の無作為ピクセルが入力画像の乳房の境界の内部に位置し、入力画像の第二の無作為ピクセルが入力画像の乳房の境界の外部(例えば入力画像の背景)に位置し得る。第一の無作為ピクセルは、当該第一の無作為ピクセルが画像の相対的に明るい区域に位置することを示す「.8」のピクセル強度値を有し、第二の無作為ピクセルは、当該第二の無作為ピクセルが画像の相対的に暗い区域に位置することを示す「.3」のピクセル強度値を有し得る。入力画像のピクセル強度値の配列が1及び0のマスク配列と共にCNNに入力されるときに、第一の無作為ピクセルの「.8」のピクセル強度値に、乳房の境界の内部に位置する結果としてマスク配列の対応する1が乗算され、入力値の新たな調節済み配列において「.8」のピクセル強度値を生成し得る。代替的には、第二の無作為ピクセルの「.3」のピクセル強度値に、乳房の境界の外部に位置する結果としてマスク配列の対応する0が乗算され、入力値の新たな調節済み配列において0のピクセル強度値を生成し得る。このように、入力値の新たな調節済み配列は、乳房に対応する入力画像の区域(例えば注目ピクセル)の元のピクセル強度値を含むと共に、乳房に対応しない入力画像の区域については0の入力値を含み得る。第一の畳み込み層での畳み込み及びドット積の計算時に、0の入力値に第一の畳み込み層のカーネル重みを乗算すると、結果として得られる値も0となる。乳房の外部の関連しないピクセルは畳み込み工程では意図的に考慮されないので、乳房の境界でよりよい品質の結果を得ることができる。
動作308では、方法300は、入力画像の入力値を、CNNの入力層から1又は複数の隠れ層を通して出力層に到達するまでネットワークの各層を通して伝播させることを含んでいる。CNNはダウンサンプリングされた特徴についての畳み込みの連続した層で構成されているので、乳房域情報又はバイオプシ・ウィンドウ情報(例えばマスク)は、畳み込みが生ずる度毎に、畳み込みをそれぞれ乳房域又はバイオプシ・ウィンドウに限定するようにネットワークの各層にわたり伝播されダウンサンプリングされ得る。
動作310では、入力画像の入力値をネットワークの各層を通して伝播させる動作は、画像データ及びマスク・データについて畳み込み演算及び/又はプーリング演算を行ない、マスクをCNNの畳み込み層及び全結合層に適用することを含み得る。画像データは、CNNのアーキテクチャに従って入力画像の元のピクセル強度値の配列とマスク配列264との乗算から得られる入力値から導かれ得る。例えば、図2(A)及び図2(B)のCNN202に関連して述べると、CNN202の第一の畳み込み層206において入力値について畳み込みが行なわれて、特徴マップ205を得ることができる。第一の畳み込み層206によって出力される特徴マップ205は、第一のプーリング層208においてプールされて、プールされた特徴マップ207を得ることができる。第一のプーリング層208によって出力されマスク266を乗算されたプールされた特徴マップ205のダウンサンプリングされた画像データが第二の畳み込み層210に入力されることができ、ここでダウンサンプリングされた画像について畳み込みが行なわれて、特徴マップ209を得ることができる。第二の畳み込み層210によって出力された特徴マップ209は、第二のプーリング層212においてプールされて、プールされた特徴マップ211を得ることができる。第二のプーリング層211によって出力されマスク268を乗算されたプールされた特徴マップ211のダウンサンプリングされた画像データが全結合層214に入力されることができ、これにより出力層216においてCNNの出力を生成することができる。
幾つかの実施形態では、第一の畳み込み層206、第二の畳み込み層210、及び全結合層214の出力は、それぞれ第一のプーリング層208、第二のプーリング層212、及び出力層216に入力されるのに先立って活性化関数によって改変され得る。様々な実施形態において、活性化関数は正規化線形活性化関数(ReLU)であってよい。
CNNの入力層から出力層まで入力画像の入力値を伝播させる動作は、マスク配列のマスク・データ(例えば1及び0のような値)についてダウンサンプリングを行なって、マスクを畳み込み層及び全結合層に適用することを含み得る。幾つかの実施形態では、マスク・データについて行なわれるダウンサンプリングは、入力画像の入力値及び結果として得られる特徴マップについて行なわれるプーリングと同じであってよい。
このようにして、CNNによって訓練セットの各々の入力画像が処理されてダウンサンプリングされ得ると共に、対応するマスクもCNNによって同じく処理されてダウンサンプリングされ得る。各々の畳み込み層において、適当に拡縮された(例えば入力画像の拡縮に一致する)マスクを用いて、図2(A)に関して上で述べたように入力画像の乳房に関係しないデータを除外する。加えて、畳み込みを行なうときに、バイアス値を加えてもよく、バイアス値は入力画像の乳房に関係するデータについての乗算を実行するときに含まれ、入力画像の乳房に関係しないデータについての乗算を実行するときにはこのバイアス値を含めないようにすることができる。
幾つかの実施形態では、畳み込み演算及びプーリング演算はマスクについてはCNNによって行なわれなくてもよく、マスクはCNNの外部でダウンサンプリングされて、ダウンサンプリングされたマスクがCNNのそれぞれの畳み込み層及び/又は全結合層に戻して入力されてもよい。マスクは、入力画像データについて行なわれるプーリング演算と同じ又は類似した演算を介してダウンサンプリングされてもよいし、入力画像データについて行なわれるプーリング演算とは異なる演算を介してダウンサンプリングされてもよい。例えば、CNNのプーリング層では最大プーリング戦略を用いているが、マスクはCNNの外部でプーリング層の出力の寸法に一致するように異なるダウンサンプリング戦略を介してダウンサンプリングされ得る。
動作312では、方法300は、CNNの出力を生成することを含んでいる。出力は、CNNの出力層(例えば図2(A)及び図2(B)の出力層216)の活性化であってよい。幾つかの実施形態では、出力は、図2(A)及び図2(B)に関して上で述べたように入力画像の乳房の分類であってよい。出力は、乳房検査に関連付けられる1又は複数の物理的パラメータに基づき得る。幾つかの実施形態では、1又は複数の物理的パラメータは、乳房撮像報告及びデータ・システム(BI-RAD)の規準、又は悪性度に基づいてマンモグラフィ画像又は画像容積を等級評価する類似の体系を含み得る。例えば、乳房分類は、悪性腫瘍の可能性を示すBI-RADS評価カテゴリ(例えばBI-RADS0からBI-RADS6)の二値符号であってよい。他の実施形態では(例えばバイオプシ画像又は画像容積について用いられるときに)、CNNの出力は異なる情報を含み得る。例えば、1又は複数の物理的パラメータは、乳房の腫瘍又は病変の位置決定情報を含むことができ、これによりこの位置決定情報を用いてバイオプシ時に医師に誘導の合図を与えることができる。
動作314では、方法300は、逆伝播を介してCNNの複数の重み及びバイアスを調節することを含んでいる。様々な実施形態において、CNNの複数の重み及びバイアスを調節する動作は、CNNの出力と、動作302で受け取られて入力画像と共にCNNに入力される入力画像の目標正解値(例えば図2(A)の目標分類236又は図2(B)の正解値病変情報260)との間の差を算出することを含み得る。CNNの複数の重み及びバイアスは、出力と、関連のある訓練対からの目標正解値との間の差に基づいて調節され得る。損失関数によって決定された差(又は損失)がCNNを通して逆伝播されて、畳み込み層の重み(及びバイアス)を更新することができる。幾つかの実施形態では、損失の逆伝播は最急降下アルゴリズムに従って生ずることができ、ここでCNNの各々の重み及びバイアスについて損失関数の勾配(一階導関数又は一階導関数の近似)が決定される。CNNの各々の重み(及びバイアス)は、予め決められた刻み幅で重み(又はバイアス)について決定された(又は近似された)勾配の積の負値を加算することにより更新され得る。逆伝播は、最後の層から第一の層まで後ろ向きに繰り返して一度に層一つずつ勾配を算出することを含み得る。方法300は、CNNの重み及びバイアスが収束するまで、又は方法300の各々の繰り返しについてCNNの重み及び/又はバイアスの変化率が変化率閾値を下回るまで繰り返され得ることを特記しておく。
方法300には記載していないが、過剰適合を回避するために、CNNの訓練は周期的に中断されて試験訓練対を含む試験セットについてCNNの性能を確認し得ることを認められたい。一例では、訓練セットの訓練対及び試験セットの試験訓練対の両方をより大きい訓練データセットから無作為に選択することができる。幾つかの実施形態では、CNNの訓練は、試験訓練対についてのCNNの性能が収束したとき(例えば試験セットについての誤り率が最小値に収束したとき)に完了し得る。
動作316では、逆伝播を介してCNNの複数の重み及びバイアスを調節する動作は、各々の畳み込み層及び1又は複数の全結合層での逆伝播時に、適当にダウンサンプリングされたマスクを適用することを含み得る。例えば、図2(A)のニューラル・ネットワーク訓練システム200の実施形態250の下での2Dバイオプシ画像についての逆伝播時には、全結合層214では第三の2Dバイオプシ・ウィンドウ・マスク268が適用され、第二の畳み込み層210では第二の2Dバイオプシ・ウィンドウ・マスク266が適用され、第一の畳み込み層206では元の2Dバイオプシ・ウィンドウ・マスク264が適用され得る。
損失がネットワークを通して逆伝播されるときには、CNNの全結合層214の各々のノードが第二のプーリング層212のプールされた特徴マップ211のノードに接続され得る。プールされた特徴マップ211のノードは、第二の畳み込み層210の3×3のピクセル群からの入力を受け取ることができる。逆伝播時には、第二の畳み込み層210のフィルタの9つのノードに関連付けられている9つの重みが、逆伝播アルゴリズムに従って調節され得る。9つのノードの9つの重みを調節するのに先立って、損失は、順通過時に第二の畳み込み層210において用いられた第二の2Dバイオプシ・ウィンドウ・マスク266によって示される予め画定された領域の内部で逆伝播され、且つ予め画定された領域の外部では逆伝播されず、ここでは対応する値は、第二の畳み込み層210の関連ノードの位置と対応した第二の2Dバイオプシ・ウィンドウ・マスク266の位置での値である。
同様に、CNNの第二の畳み込み層210の各々のノードが第一のプーリング層206のプールされた特徴マップ207のノードに接続され得る。プールされた特徴マップ207のノードは、第一の畳み込み層206の3×3ピクセル群からの入力を受け取ることができる。逆伝播時には、第一の畳み込み層206のフィルタの9つのノードに関連付けられている9つの重みが、逆伝播アルゴリズムに従って調節され得る。9つのノードの9つの重みを調節するのに先立って、損失は、順通過時に第一の畳み込み層206において用いられた元の2Dバイオプシ・ウィンドウ・マスク264によって示される予め画定された領域の内部で逆伝播され、且つ予め画定された領域の外部では逆伝播されず、ここでは対応する値は、第一の畳み込み層206に入力された入力画像の位置と対応した第一のダウンサンプリングされたマスクの値の配列の内部の位置での値である。
幾つかの実施形態では、マスクはあらゆる畳み込み層毎に適用されなくてもよく、又は逆伝播時に用いられなくてもよい(例えば学習時)。例えば、順通過時に元の2D乳房マスク又は2Dバイオプシ・ウィンドウ・マスクが入力層においてのみ適用されてもよいし、或いは畳み込み層及び/又は全結合層を通した伝播時に元の2D乳房マスク又は2Dバイオプシ・ウィンドウ・マスク、及びダウンサンプリングされた2D乳房マスク又は2Dバイオプシ・ウィンドウ・マスクが適用され得るが、これらのマスクが逆伝播時には適用されなくてもよい。乳房情報は、訓練時に幾つかの畳み込み層において用いられなかったり逆伝播に用いられなかったりすると、後の推論段階時に乳房分類、病変検出、及び/又は病変位置決定を行なうために訓練済みCNNが後に用いられるときにCNNの性能が負の影響を蒙り得る。
一実施形態では、既存の機械学習ライブラリを活用するために、一旦訓練されたら、0のみの2D全背景画像をCNNに入力して、最後の畳み込み層212において出力される一組の背景特徴を収集することができる。続いて訓練済みCNNが患者の乳房の新たな2D入力画像について展開されて、計算時間を短縮するように2D乳房マスク又は2Dバイオプシ・ウィンドウ・マスクを適用するときには、最後の畳み込み層で得られる一組の出力特徴のうち乳房域の外部(例えばマスクの外部)の区域に対応する部分を、一組の背景特徴のうち乳房域の外部の区域に対応する部分で置き換えることができる。一組の出力特徴の部分を一組の背景特徴の対応する部分で置き換えることにより、マスクありで訓練されたCNNの出力と、なしで訓練されたCNNの出力との間での齟齬を減少させことができる。このようにして、マスクの利用を許可しない場合もある入手可能な機械学習ライブラリを訓練目的に用いることができる一方で、性能及び/又は精度に対する影響を限定しつつマスクを推論段階時の速度向上に用いることができる。幾つかのシナリオでは、畳み込みが幾分かの乳房データ及び幾分かの背景データに関わり得るような乳房の境界の問題に対処するために、付加的な処理を用いることができる。
図3(B)には、高分解能2D FFDM画像及び/又は2Dバイオプシ画像において検出、位置決定、及び/又は分類を行なうように図2(A)及び図2(B)のCNN202のようなCNNを展開する例示的な方法350の流れ図が示されている。方法350は、図1の画像処理システム102の推論モジュール112のような画像処理システムの推論モジュールの内部で実装され得る。一実施形態では、方法350の1又は複数の動作は、図1の画像処理システム102の非一過性メモリ106のような非一過性メモリに記憶されて、図1の画像処理システム102のプロセッサ104のようなプロセッサによって実行され得る。
幾つかの実施形態では、CNNはFFDM画像分類ネットワークであってよく、ここでは入力画像は2D FFDM画像(例えば図2(A)のFFDM画像204)であってよい。他の実施形態では、CNNは2Dバイオプシ画像病変検出及び/又は位置決定ネットワークであってよく、ここでは入力画像は2Dバイオプシ画像(例えば2Dバイオプシ画像252)であってよい。
方法350は動作352で開始し、ここでは方法350は患者から新たな入力画像を受け取ることを含んでいる。様々な実施形態において、新たな入力画像は、診療所において診断又は解析のためにX線機械によって走査され得る。様々な実施形態において、新たな入力画像は、実時間でX線機械によって走査された複数の新たな入力画像のうち一つの画像である。
動作354では、方法350は、新たな入力画像用のマスクを生成することを含んでいる。新たな入力画像がFFDM画像であるような実施形態では、マスクは前述の図2(A)の2D乳房マスク218のような2D乳房マスクであってよい。新たな入力画像が2Dバイオプシ画像であるような実施形態では、マスクは前述の図2(B)の2Dバイオプシ・ウィンドウ・マスク218のような2Dバイオプシ・ウィンドウ・マスクであってよい。様々な実施形態において、マスクは、図2(A)及び図2(B)のマスク生成器235のようなマスク生成器によって生成され得る。マスクを生成するために、図3(A)に関して上で述べたようなCNNの訓練時に用いられたものと同様の手順を用いてもよいし、異なる手順を用いてもよい。例えば、マスク生成器は、事前訓練済みニューラル・ネットワーク及び/又は機械学習アルゴリズムを用いて、新たな入力画像の乳房を検出し且つ/又はセグメント分割してもよいし(例えば乳房セグメント分割モデル)、マスク生成器は、現場固有(ローカル)のバイオプシ手順又は設備に従って2Dバイオプシ・ウィンドウ・マスクを生成してもよい。続いて、マスク生成器は新たな入力画像の寸法を有する1及び0の配列を生成することができ、ここでは新たな入力画像の各々のピクセルに1又は0の何れかが割り当てられる。新たな入力画像のピクセルが乳房又はバイオプシ・ウィンドウの境界の内部に含まれている場合には、対応する位置にある1及び0の配列のピクセルに1を割り当てることができる。代替的には、ピクセルが乳房又はバイオプシ・ウィンドウの境界の内部に含まれていない場合には、対応する位置にある1及び0の配列のピクセルに0を割り当てることができる。ピクセルが乳房又はバイオプシ・ウィンドウの境界の上に含まれる場合には、マスクを膨張させても収縮させてもよいし、特定の実装形態に依存して異なる態様で調節してもよい。
動作356では、方法350は、訓練対の新たな入力画像及び該新たな入力画像に割り当てられたマスクをCNNの第一の畳み込み層(例えば図2(A)及び図2(B)のCNN202の第一の畳み込み層206)に入力することを含んでいる。図3(A)に関して上で述べたように、新たな入力画像は、当該新たな入力画像の各々のピクセルのピクセル強度値の配列へ変換されることができ、マスクは同様の寸法を有する1及び0のマスク配列であり得る。新たな入力画像及びマスクをCNNの第一の畳み込み層に入力する動作は、各々のピクセルのピクセル強度値にマスク配列の対応する値(例えば新たな入力画像でのピクセルの位置に対応する値)を乗算することを含み得る。各々のピクセルのピクセル強度値にマスク配列の対応する値を乗算する結果として、入力値の新たな調節済み配列を生成することができ、この配列では新たな入力画像の乳房の境界の内部のピクセル強度値は保存され、乳房の境界の外部のピクセル強度値は0へ変換される。幾つかの実施形態では、ノードが新たな入力画像の背景域を指示するマスク値に関連付けられた入力データを受け取ったとき(例えば入力データが乳房情報を含んでいない場合)に、ノードの活性化を選択的に阻止するために異なるアルゴリズムを用いてもよい。このようにして、新たな入力画像の乳房ピクセル・データ又はバイオプシ・ウィンドウのピクセル・データがCNNの畳み込み及び活性化に用いられ、乳房に関連しないピクセル・データ又はバイオプシ・ウィンドウの内部に位置しないピクセル・データはCNNの畳み込み及び活性化に用いられないようにすることができる。
動作358では、方法350は、新たな入力画像の入力値を、CNNの入力層から1又は複数の隠れ層を通して出力層に到達するまでネットワークの各層を通して伝播させることを含んでいる。CNNはダウンサンプリングされた特徴についての畳み込みの連続した層で構成されているので、乳房域情報又はバイオプシ・ウィンドウ情報は、畳み込みが生ずる度毎に、畳み込みをそれぞれ乳房域又はバイオプシ・ウィンドウに限定するようにネットワークの各層にわたり伝播されダウンサンプリングされ得る。
動作360では、図3(A)に関して上で述べたように、新たな入力画像の入力値をネットワークの各層を通して伝播させる動作は、画像データ及びマスク・データについてプーリング演算を行ない、マスクをCNNの畳み込み層及び全結合層に適用することを含み得る。
幾つかの実施形態では、CNNの各層(例えば図2(A)及び図2(B)の第一の畳み込み層206、第二の畳み込み層210、及び全結合層214)の出力は、CNNのプーリング層及び出力層(例えば図2(A)及び図2(B)の第一のプーリング層208、第二のプーリング層212、及び出力層216)への入力に先立って活性化関数によって改変され得る。
CNNの入力層から出力層まで新たな入力画像の入力値を伝播させる動作は、マスク・データ(例えば1及び0のような値)についてプーリングを行なって、マスクを畳み込み層及び全結合層に適用することを含み得る。マスク・データについて行なわれるプーリングは、新たな入力画像の入力値及び結果として得られるダウンサンプリングされた画像データについて行なわれるプーリングと同じであってよく、ここでは訓練時に、各々の新たな入力画像がCNNによって処理されダウンサンプリングされるのに伴って、マスクもCNNによって同じく処理されダウンサンプリングされ得る。代替的には、異なる動作を用いてマスク・データをダウンサンプリングすることもでき、ダウンサンプリングはCNNの処理の部分として行なわれてもCNNの外部で行なわれてもよく、ダウンサンプリングされたマスクは前述のように関連のある畳み込み層においてCNNに入力される。結果として、本書に記載されているように、各々の畳み込み層において、適当に拡縮された(例えば新たな入力画像の拡縮に一致する)マスクを用いて、新たな入力画像の乳房に関連しないデータを除外することができる。
動作362では、方法350は、CNNの出力を生成することを含んでいる。出力は、CNNの出力層(例えば図2(A)及び図2(B)の出力層216)の活性化であってよい。出力は、乳房の二項分類(例えば悪性対悪性でない)であってもよいし、腫瘍/病変の存在若しくは不在、寸法、位置、浸潤性、悪性か悪性でないか、及び/又は他のデータのような乳房の様々なデータを含む二値符号であってよい。
動作364では、方法350は、画像処理システムの表示装置にCNNの出力を表示し、且つ/又は後の利用及び/若しくは解析のために出力を記憶することを含んでいる。様々な実施形態において、出力は画像処理システムのデータベース(例えば図2の画像処理システム202の医用画像データ114)に記憶され得る。前述のように、新たな入力画像が2Dバイオプシ画像であるような実施形態では、バイオプシ手順時に分類の位置情報を用いて生検針の誘導を支援することができる。
このように、CNNの推論段階での展開時に行なわれる全演算数が、乳房又はバイオプシ・ウィンドウに関連のある画像データを保存しつつ乳房又はバイオプシ・ウィンドウに関連しない画像データを阻止することにより著しく減少し得る。乳房又はバイオプシ・ウィンドウに関連しない画像データを阻止すると、診療所設定での検査又はバイオプシでの利用時に計算時間を短縮して、結果としてより高速の検査時間及び改善された患者経験価値を得ることができる。また、乳房又はバイオプシ・ウィンドウに関連しない画像データを阻止すると、CNN全寸画像を供給することに比較してCNNの性能を改善して、改善された転帰を得ることができる。
ニューラル・ネットワーク訓練システム200はまた、図4(A)及び図4(B)に示すようなDBT画像容積及び/又はDBTバイオプシ画像容積のような3D画像容積を分類するようにCNN202を訓練することにも用いられ得る。
図4(A)には、ニューラル・ネットワーク訓練システム200の第三の実施形態400が示されており、CNN202は人間の乳房の3D DBT画像容積(例えばマンモグラム)において異常を検出するように訓練され得る。CNN202は、図3(A)の方法300のような方法の1又は複数の動作に従って訓練され得る。CNN202は、DBT走査装置402(例えばX線装置)によって形成されてニューラル・ネットワーク訓練システム200の画像データベース224に記憶され得る3D DBT画像容積について訓練され得る。
CNN202は、複数の入力/目標訓練対を含み得る訓練データセット404について訓練され得る。複数の入力/目標訓練対は、図3(A)に関して上で述べたようにデータセット生成器228によって生成され得る。入力/目標訓練対は、CNN202への入力として乳房のDBT画像容積412と、目標として乳房の画像容積分類又は病変位置決定410とを含み得る。図4(A)ではDBT画像容積412は一組の3Dスライス又はスラブ411として図示されており、ここではDBT画像容積412の各々の3Dスライス411が1又は複数のボクセルに対応する奥行きを有する。
例えば、第一の入力/目標訓練対は、第一のDBT画像容積412と、乳房に異常が検出されなかったことを示す0の対応する画像容積分類とを含み得る。第二の入力/目標訓練対は、第二のDBT画像容積412と、乳房に異常(例えば病変及び腫瘍等)が検出されたことを示す1の対応する画像容積分類とを含み得る。他の実施形態では、図2(A)に関して上で述べたような付加的な分類を含めてもよい。さらに他の実施形態では、CNN202は分類タスクを行なわなくてもよく、異なる及び/又は付加的な情報を、CNN202の訓練時に正解値の目標データとして用いてもよい。
マスク生成器230は、DBT画像容積412用のマスクを生成し得る。具体的には、訓練データセット234の各々の入力/目標訓練対のDBT画像容積412に、対応する3D乳房マスク414を割り当てることができる。3D乳房マスク414は、対応するDBT画像容積412の寸法及び奥行きを有するビット(1及び0によって表わされる)の三次元(3D)配列であってよく、ここで3D乳房マスク414は、対応するDBT画像容積412の各々のボクセルについて1又は0を含んでいる。このように、3D乳房マスク414の各々のビットと、DBT画像容積412の各々のボクセルとの間に1対1の対応関係が存在し得る。前述のように、3D乳房マスク414の各々のビットについての1又は0の選択は、DBT画像容積412の対応するボクセルが乳房データを含んでいるか背景データを含んでいるかに依存し得る。3D DBT画像容積412の場合と同様に、3D乳房マスク414は、一連の3D乳房マスク・スライス又はスラブ413を含み得る。各々の3D乳房マスク・スライス413がビットの2D配列として表わされることができ、この配列の各々のビットを用いてDBT画像容積412の対応する3Dスライス411の対応するボクセル強度値をマスクすることができる。
様々な実施形態において、3D乳房マスク414は、DBT画像容積412の画像再構成時に生成され得る。例えば、画像再構成時には、2D投影データが取得され逆投影されて、3D DBT画像容積412を形成し得る。同時に、2D投影データの各々の投影について、投影の乳房域を算出して(例えばセグメント分割モデルを介して)、当該投影用の対応する2D乳房マスクを生成することができる。DBT画像容積412が2D投影データを逆伝播させることにより再構成されるときに、対応する2D乳房マスクが逆投影されて対応する3D乳房マスク414を生成することができる。
ニューラル・ネットワーク訓練システム200の実施形態400は、図3(A)の方法300によって記載されたような2D FFDM画像についてのニューラル・ネットワーク訓練システム200の訓練と実質的に同様の態様で訓練され得る。実施形態400のCNN202の訓練時に、DBT画像容積412は一度に一つずつの3Dスライス411としてCNN202に入力され得る。例えば、DBT画像容積412の第一の3Dスライス411のボクセル強度値の2D配列は、上で図2(A)に関して2D乳房画像について記載された態様でCNN202に入力され得る。続いて、DBT画像容積412の第二の3Dスライス411のボクセル強度値の2D配列がCNN202に入力されることができ、続いて第三の3Dスライス411等、DBT画像容積412の3Dスライス411の全て(又は十分な数)がCNN202に入力されるまで以下同様である。
換言すると、3D画像容積はCNN202によって一連の2D画像として処理されることができ、ここではボクセル強度値がピクセル強度値の代わりに置き換えられる。このように、順通過でのCNN202を通した画像容積データの伝播、及び重み調節(例えば学習)相での損失データの逆伝播が、図3(A)の方法300に記載したようにして行なわれ得る。もう一つの実施形態では、CNN202は、入力として3D容積を3Dマスクと共に受け取って306、3D畳み込み演算及び3Dプーリング演算が、隣り合ったスライス又はスラブからの情報を相関付けるのを可能にすることができる。DBT画像容積412がCNN202の第一の畳み込み層206に入力されるときに、対応する3D乳房マスク414も第一の畳み込み層206に入力され得る。3D乳房マスク414は、前述のようにDBT画像容積412の背景域(例えば人間の乳房を含まない区域)からのCNN202への入力を選択的に阻止し得る。各々の3D乳房マスク414は、1及び0を含む値の配列としてCNN202に入力されることができ、ここで値の配列の各々の値にDBT画像容積412の対応するボクセル入力を乗算する。加えて、入力画像及びマスクをCNNの第一の畳み込み層に入力する動作は、各々のボクセルにおいてマスクを用いて、着目ボクセルにおいて畳み込みを実行すべきか否かを決定することを含み得る。
図2(A)に関して上で述べた態様で、一連の3D画像データ・スライス415を含む第二の3D乳房マスク416が第二の畳み込み層210に入力されることができ、ここで第二の3D乳房マスク416は3D乳房マスク414をダウンサンプリングしたものであり、また一連の3D画像データ・スライス415を含む第三のダウンサンプリングされた3D乳房マスク418が第二のプーリング層212の出力と共に全結合層214に入力され得る。畳み込み時に3D乳房マスク414、416、及び418を適用する結果として、訓練時に実行される計算の総数のうちかなりの百分率を回避するか又は実行されるときには0との乗算を含むことができ、これにより訓練時のCNN202の計算時間及び性能を削減することができる。
訓練の後に、CNNは図3(B)の方法350に記載されたようにして展開されることができ、ここでは2D FFDM画像又は2Dバイオプシ画像とは異なり、入力されるDBT画像容積が受け取られる。3D乳房マスクは、図2(A)に関して上で述べた態様で患者について生成され又は選択されることができ(例えばマスク生成器230を用いて)、またマスクされたボクセル強度値を訓練済みCNN202を通して伝播させて出力分類を生成することができる。患者についてのCNN202の展開時に掛かる計算時間も同様に短縮され得る。
図4(B)には、ニューラル・ネットワーク訓練システム200の第四の実施形態450が示されており、CNN202は乳房の3D DBTバイオプシ画像容積において異常を検出するように訓練され得る。CNN202は、バイオプシ・ウィンドウの内部で病変を検出するように訓練されることができ、ここでバイオプシ・ウィンドウは、病変が位置決定され得る関心走査領域であり、バイオプシ・ウィンドウの外部の画像データは無視され得る。バイオプシ・ウィンドウの外部で畳み込みを実行しないことにより、前述のように、訓練時及び推論時のCNN202の計算時間を短縮することができる。CNN202の展開時には、生検針を誘導しているときに(例えば組織標本を抽出するために)、訓練済みCNN202によって表示画面(例えば図1の画像処理システム102のような画像処理システムの表示画面)上で誘導の合図又は指示を医師に与えることができる。
ここでもやはりCNN202は図3(A)の方法300の1又は複数の動作に従って訓練され、また図3(B)の方法350の1又は複数の動作に従って展開され得る。CNN202は、画像DB224に記憶され得る3Dバイオプシ画像容積について訓練され得る。訓練が完了した後に、訓練済みCNN202は、図1の画像処理システム102の推論モジュール112のような画像処理システムの推論モジュールに展開され得る。
ニューラル・ネットワーク訓練システム200の第四の実施形態450では、CNN202は、複数の入力/目標訓練対を含み得る訓練データセット454について訓練され得る。複数の入力/目標訓練対は、図3(A)に関して上で述べたようにデータセット生成器228によって生成され得る。入力/目標訓練対は、CNN202への入力として乳房の3Dバイオプシ画像容積462と、目標データとして乳房の画像容積正解値データ460とを含み得る。図4(B)では、3Dバイオプシ画像容積462は一組の3Dスライス461として図示されており、ここで3Dバイオプシ画像容積462の各々の3Dスライス461が1ボクセルの奥行きを有する。
画像データベース224に記憶される3Dバイオプシ画像容積462は、DBTバイオプシ走査装置452(例えばX線機械)によって生成され得る。各々の3Dバイオプシ画像容積462に関連付けられる正解値データが、図3(A)に関して上で述べたようにデータセット生成器228の正解値割り当て工程232によって割り当てられ得る。
図4(A)のDBT画像容積412の場合と同様に、マスク生成器230は3Dバイオプシ画像容積462用のマスクを生成し得る。具体的には、訓練データセット454の各々の入力/目標訓練対の3Dバイオプシ画像容積462は、一連の3Dバイオプシ・ウィンドウ・マスク・スライス463を含む対応する3Dバイオプシ・ウィンドウ・マスク464に関連付けられることができ、3Dバイオプシ・ウィンドウ・マスク464の各々のビットと3Dバイオプシ画像容積462の各々のボクセルとの間に1対1の対応関係が存在する。3Dバイオプシ・ウィンドウ・マスク464の各々のビットについての1又は0の選択は、3Dバイオプシ画像容積462の対応するボクセルが3Dバイオプシ画像容積462の3Dバイオプシ・ウィンドウの内部に位置しているか否かに依存し得る。
ニューラル・ネットワーク訓練システム200の実施形態450は、図3(A)の方法300によって上で記載されたような3D DBT画像についてのニューラル・ネットワーク訓練システム200の訓練と実質的に同様の態様で訓練され得る。実施形態450でのCNN202の訓練時に、3Dバイオプシ画像容積462は一度に一つずつの3Dスライス461としてCNN202に入力され得る。
3Dバイオプシ画像容積462がCNN202の第一の畳み込み層206に入力されるときに、対応する3Dバイオプシ・ウィンドウ・マスク464も第一の畳み込み層206に入力され得る。3Dバイオプシ・ウィンドウ・マスク464は、図2(B)に関して上で述べたように、バイオプシ・ウィンドウの外部の3Dバイオプシ画像容積462の区域からのCNN202への入力を選択的に阻止し得る。各々の3Dバイオプシ・ウィンドウ・マスク464は、1及び0を含む値の配列としてCNN202に入力されることができ、ここで値の配列の各々の値に3Dバイオプシ画像容積462の対応するボクセル入力を乗算する。加えて、入力画像及びマスクをCNNの第一の畳み込み層に入力する動作は、各々のボクセルにおいてマスクを用いて、着目ボクセルにおいて畳み込みを実行すべきか否かを決定することを含み得る。
図2(A)に関して上で述べた態様で、一連の3Dバイオプシ・ウィンドウ・マスク・スライス465を含む第二の3Dバイオプシ・ウィンドウ・マスク466が第二の畳み込み層210に入力されることができ、ここで第二の3Dバイオプシ・ウィンドウ・マスク466は3Dバイオプシ・ウィンドウ・マスク464をダウンサンプリングしたものである。また、一連の3Dバイオプシ・ウィンドウ・マスク・スライス467を含む第三のダウンサンプリングされた3Dバイオプシ・ウィンドウ・マスク468が、第二のプーリング層212の出力と共に全結合層214に入力され得る。畳み込み時に3Dバイオプシ・ウィンドウ・マスク464、466、及び468を適用する結果として、訓練時に実行される計算の総数のうちかなりの百分率を回避するか又は0の乗算を含むことができ、これにより訓練時及び展開時のCNN202の計算時間を短縮することができる。さらに、図3(B)の方法350に関して記載されるように、訓練済みCNN202を用いて、画像処理システム(例えば図1の画像処理システム102)の表示画面に医師のための誘導の合図を生成することができる。
図5へ移ると、ニューラル・ネットワーク訓練システム200の第五の実施形態500が示されており、同図ではパッチ方式訓練を用いて3D画像容積502についてCNN202を訓練している。3D画像容積502は図500では4つのスライス又はスラブ503の組として表わされている。幾つかの実施形態では、パッチ方式訓練を用いると、マスクを用いてネットワーク性能を高めると共に計算時間を短縮することができ、CNNは、全画像ではなく入力画像のうち一組のパッチからの画像データの部分集合を用いて訓練される。この一組のパッチは、健常なROI及び異常のあるROIの両方を含む乳房のROIに対応し得る。図5は、3D画像容積502の乳房514の一例の3Dパッチ510及び一例の3Dパッチ512を示している。
典型的な実装形態では、この一組のパッチは固定寸法を有することができ、画像入力はパッチ寸法に合わせて設計され得る。CNNは、パッチについて訓練された後に、全寸画像に合わせて寸法変更され得る。しかしながら、パッチ寸法と病変寸法とが十分に一致しない場合もある。小さいパッチは、スピキュラを伴う腫瘤のような大きい病変の全範囲を捉えることができない場合がある。一方、大きいパッチについては、石灰化の小さいクラスタを表わすピクセルが少なめに表現される場合もある。典型的なアプローチは、パッチ寸法に合わせて病変区域を歪ませる(warp)ものである。しかしながら、病変区域を歪ませると画像分解能の変化を招く場合があり、特に検出器分解能に近い病変の特徴を扱うときにネットワーク性能に負の影響を及ぼし得る。
本書に開示されるように、マスクを用いて、パッチ寸法に合わせて病変区域を歪ませることにより生ずる問題を回避することができる。CNN202は全寸の画像又は画像容積を扱うように寸法設定され得るが、学習工程は、3Dパッチ・マスク504を用いることにより、パッチに含まれるボクセル(又は2D画像による実施形態ではピクセル)に限定され得る。3Dパッチ・マスク504を図5には一組の3Dスライス505として示しており、同図ではスライス505は各々、3D画像容積502のスライス503に対応し得る。パッチ・マスク504の各々のスライス505が1及び0の配列を含むことができ、0は3Dパッチ510及び512の外部のボクセルに割り当てられ、1は3Dパッチ510及び512の内部のボクセルに割り当てられる。このアプローチを用いて、パッチ寸法を各々の病変寸法に最適に適合するように変化させることができる。幾つかの実施形態では、病変パッチとは重ならないようにした非病変パッチ・マスク504をコンピュータによって生成することができる。
2D及び3Dの乳房マスク及びバイオプシ・ウィンドウ・マスクに関して上で述べたように、パッチの位置において画像データを伝播させ、ダウンサンプリングし、逆伝播させることにより、計算時間をさらに短縮させつつCNNの性能を高めることができる。例えば、パッチ・マスク504はダウンサンプリングされて第一のダウンサンプリングされたパッチ・マスク506を生成することができ、このパッチ・マスク506を第二の畳み込み層210に入力することができる。第一のダウンサンプリングされたパッチ・マスク506はさらにダウンサンプリングされて、第二のダウンサンプリングされたパッチ・マスク508を生成することができ、このパッチ・マスク508を全結合層210に入力することができる。パッチ・マスク504、506、及び508はまた、3D乳房マスクに関して上で述べたように、逆伝播時の重み調節のためにも適用され得る。
このように、CNN202の全ての層において適用されるマスクを用いて、乳房又はバイオプシ・ウィンドウに関連のある画像データを保存しつつ、バイオプシ・ウィンドウの外部の乳房又は画像データに関連しない画像データを阻止することにより、CNN202の訓練時及び展開時に行なわれる演算の総数及び計算の複雑さを著しく減少させることができる。マスクは伝播時には、マスクと入力画像との間の1対1の対応関係を保存するように入力画像と共にダウンサンプリングされ得る。提案したアプローチは計算時間の短縮を容易にするばかりでなく、背景データは臨床情報を担っていない場合があるためCNN202に全寸画像を供給することに比較して乳房について分類タスク又は病変検出タスクを上首尾に行なうことができる点で、CNN202の性能を高め得る。加えて、マスクをパッチによる訓練段階でも用いて、計算時間を短縮することができる。計算時間を短縮することにより、深層学習モデルをより速やかに作成、更新、及び洗練化することができ、よりよい患者転帰に繋がる。さらに、検査の持続時間を短縮することができ、改善された顧客の経験価値に繋がる。
CNNのあらゆる畳み込み層においてCNNの訓練時に乳房に関係しない画像データ又はバイオプシ・ウィンドウの外部の画像データを阻止するようにマスクを適用する技術的効果は、訓練時及び展開時のCNNの計算時間を短縮し得ることである。
本開示はまた、画像処理システムのための方法の根拠を提供し、この方法は、入力画像に基づいて画像処理システムの訓練済み畳み込みニューラル・ネットワーク(CNN)の出力を生成するステップと、計算を入力画像の予め画定された領域の内部の入力画像データに限定するように、CNNの畳み込み層及び全結合層の少なくとも一方への追加入力として入力画像の予め画定された領域を含めるステップと、出力を記憶し且つ/又は出力を表示装置に表示するステップとを含んでいる。この方法の第一の例では、CNNの畳み込み層及び全結合層の少なくとも一方への追加入力として入力画像の予め画定された領域を含めるステップはさらに、マスクをCNNの少なくとも一つの畳み込み層に関連付けるステップと、マスクを少なくとも一つの畳み込み層の入力にマッピングするステップと、予め画定された領域の内部の入力データについて畳み込みを行なうステップと、予め画定された領域の外部の入力画像データについて畳み込みを行なわないステップとを含んでいる。方法の第二の例では、選択随意で第一の例を含み、CNNの畳み込み層及び全結合層の少なくとも一方への追加入力として入力画像の予め画定された領域を含めるステップはさらに、マスクをCNNの少なくとも一つの全結合層に関連付けるステップと、マスクを少なくとも一つの全結合層の入力にマッピングするステップと、予め画定された領域の内部の入力データに基づき、且つ予め画定された領域の外部の入力データには基づかずに、少なくとも一つの全結合層の出力を算出するステップとを含んでいる。方法の第三の例では、選択随意で第一及び第二の例の一方又は両方を含み、マスクを少なくとも一つの畳み込み層の特徴入力にマッピングするステップはさらに、CNNの前段の層に関連付けられたマスクをダウンサンプリングし且つ/又は寸法変更することを含んでいる。方法の第四の例では、選択随意で第一から第三の例の1若しくは複数又は各々を含み、マスクは、少なくとも一つの畳み込み層への入力と同じ一組の寸法を有する値の配列であり、値の配列の各々の値が、入力のそれぞれのピクセル又は特徴に対応しており、それぞれのピクセル又は特徴が予め画定された領域の内部に位置する場合には、第一の値が配列に割り当てられ、それぞれのピクセル又は特徴が予め画定された領域の外部に位置する場合には、第二の値が配列に割り当てられる。方法の第五の例では、選択随意で第一から第四の例の1若しくは複数又は各々を含み、方法はさらに、少なくとも一つの畳み込み層の入力及び/又は出力に、マスクの対応する空間的位置における値を乗算するステップを含んでいる。方法の第六の例では、選択随意で第一から第五の例の1若しくは複数又は各々を含み、方法はさらに、CNNの訓練段階時に、予め画定された領域の内部の入力画像データについて畳み込みを行ない、且つ予め画定された領域の外部の入力画像データについて畳み込みを行なわないように、CNNの少なくとも一つの畳み込み層への追加入力としてマスクを含めるステップと、予め画定された領域の内部の入力画像データに基づいてノードを活性化し、且つ予め画定された領域の外部の入力画像データに基づいてノードを活性化しないように、CNNの少なくとも一つの全結合層への追加入力としてマスクを含めるステップとの少なくとも一方を含んでいる。方法の第七の例では、選択随意で第一から第六の例の1若しくは複数又は各々を含み、方法はさらに、訓練段階時に、予め画定された領域の内部では損失逆伝播に基づき、且つ予め画定された領域の外部では基づかずにCNNの重みを調節するようにCNNの少なくとも一つの畳み込み層においてマスクを用いて、CNNの各ノードを通して損失関数の結果を逆伝播させるステップを含んでいる。方法の第八の例では、選択随意で第一から第七の例の1若しくは複数又は各々を含み、方法はさらに、CNNの訓練段階時に、予め画定された領域の外部の入力画像のピクセルに第二の値を割り当てるように、CNNの入力層においてのみマスクを適用するステップと、CNNの推論段階時に、背景入力画像をCNNに入力するステップであって、背景入力画像の全てのピクセル強度値が第二の値に等しい、入力するステップと、一組の背景特徴をCNNの最後の畳み込み層の出力として得るステップと、CNNに新たな入力画像を入力するステップと、予め画定された領域の外部で最後の畳み込み層の出力として得られる特徴を、一組の背景特徴の対応する特徴により置き換えるステップと、置き換えられた重みを用いてCNNの出力を生成するステップとを含んでいる。方法の第九の例では、選択随意で第一から第八の例の1若しくは複数又は各々を含み、予め画定された領域は、乳房の正常区域及び異常区域を含む乳房の1又は複数の区域で構成されている。方法の第十の例では、選択随意で第一から第九の例の1若しくは複数又は各々を含み、マスクは、圧迫板の形状又はバイオプシ・ウィンドウの形状の一方により境界を定められた予め画定された領域に基づいている。
本開示はまた、画像処理システムの根拠を提供し、この画像処理システムは、畳み込みニューラル・ネットワーク(CNN)と、画像の訓練データセットであって、複数の訓練対を含んでおり、各々の訓練対が乳房の入力画像と乳房の正解値データとを含んでいる、訓練データセットと、CNNを記憶しており命令を含んでいる非一過性メモリに連絡可能に結合されているプロセッサとを備えており、命令は実行されると、各々の訓練対の各々の入力画像の乳房の領域を画定するステップであって、領域の画像データは乳房情報を含んでおり領域にない画像データは乳房情報を含まない、画定するステップと、CNNの訓練時に、伝播時及び逆伝播時に乳房情報をCNNの各々の層に入力するステップと、出力を生成するようにCNNを展開して、出力を表示装置に表示し且つ/又は出力を当該画像処理システムのデータベースに記憶するステップとをプロセッサに行なわせる。システムの第一の例では、伝播時及び逆伝播時に乳房情報をCNNの各々の層に入力するステップは、伝播時には、CNNの各々の層において、予め画定された領域の内部の入力データについて畳み込みを行ない、且つ予め画定された領域の外部の入力画像データについて畳み込みを行なわないようにマスクを適用し、逆伝播時には、CNNの各々の層において、最急降下アルゴリズムを用いるときにマスクを適用し、ここで重みが、CNNのノードにおいて予め画定された領域の内部では損失逆伝播に基づき、且つ予め画定された領域の外部では基づかずに調節される。システムの第二の例では、選択随意で第一の例を含み、CNNの各々の層においてマスクを適用するステップはさらに、CNNの各々のプーリング層においてマスクについてダウンサンプリング演算を行なうステップと、各々のプーリング層に続く層において、ダウンサンプリングされたマスクを適用するステップとを含んでいる。システムの第三の例では、選択随意で第一及び第二の例の一方又は両方を含み、出力は、乳房の病変の存在の指標及び病変の位置情報の少なくとも一方を含んでいる。システムの第四の例では、選択随意で第一から第三の例の1若しくは複数又は各々を含み、CNNはパッチ方式訓練を用いて訓練されており、予め画定された領域はパッチ方式訓練時に用いられる2Dパッチ又は3Dパッチである。
本開示はまた、畳み込みニューラル・ネットワーク(CNN)のための方法の根拠を提供し、この方法は、推論段階時に入力画像において異常を検出するように当該CNNを展開するステップと、入力画像の第一の領域に当該CNNの畳み込みフィルタを適用し、且つ入力画像の第二の領域に畳み込みフィルタを適用しないステップであって、第一の領域及び第二の領域はマスクにより指定される、適用するステップとを含んでいる。この方法の第一の例では、第一の領域は第二の領域と交差せず、入力画像の合計面積は、第一の領域の合計面積に第二の領域の合計面積を加えたものに等しい。方法の第二の例では、選択随意で第一の例を含み、マスクは二値の配列であり、第一の領域に対応する配列の値は1と指定され、第一の領域に対応しない配列の値は0と指定される。方法の第三の例では、選択随意で第一及び第二の例の一方又は両方を含み、マスクは、CNNの各層を通してダウンサンプリングされて伝播される。
本開示の様々な実施形態の要素について述べるに当たり、単数不定冠詞、定冠詞、「該」及び「前記」等の用語は、当該要素の1又は複数が存在することを意味するものとする。「第一」及び「第二」等の用語は、如何なる序列、量、又は重要性を表わすものでもなく、一つの要素を他の要素から区別するために用いられている。また「備えている(comprising)」、「含んでいる(including)」及び「有している(having)」の各用語は包括的であるものとし、所載の要素以外に付加的な要素が存在し得ることを意味する。「に接続されている」及び「に結合されている」等の用語が本書で用いられているときには、一方の対象(例えば材料、要素、構造、及び部材等)が他方の対象に接続又は結合されることができ、一方の対象が他方の対象に直接接続又は結合されているか、或いは一方の対象と他方の対象との間に1又は複数の介在対象が存在しているかを問わない。加えて、本開示の「一つの実施形態」又は「一実施形態」に対する参照は、所載の特徴を同様に組み入れている追加の実施形態の存在を排除すると解釈されるものではないことを理解されたい。
以上に示した任意の改変に加えて、本記載の主旨及び範囲から逸脱することなく多くの他の変形及び代替的な構成が当業者によって考案されることができ、また以下の特許請求の範囲はかかる改変及び構成を網羅するものとする。このように、最も実用的で好ましい観点と現状で見做されるものに関連して特定的且つ詳細に情報を上で記載したが、当業者には、限定しないが形態、機能、動作の態様、及び用法を含めた多くの改変が、本書に記載された原理及び概念から逸脱することなく行なわれ得ることが明らかとなろう。また、本書で用いられる場合に、実例及び実施形態は説明のみのためのものであって、如何なる態様でも限定するものと解釈されるべきではない。