JP7395668B2 - 高速マンモグラフィ・データ・ハンドリングのためのシステム及び方法 - Google Patents

Description

本書に開示される主題の実施形態は、医用撮像に関し、さらに具体的には、深層学習ニューラル・ネットワークを用いて医用画像を分類するシステム及び方法に関する。

深層学習手法は、多くの視覚業務（ビジョン・タスク）における視覚的認識について際立った性能を示す。ニューラル・ネットワークは、イメージネット（ＩｍａｇｅＮｅｔ）データベースのような大規模データセットについて予め訓練されることができ、深層特徴量（ＤＦ）と呼ばれる強力な視覚的記述子を開発することができる。ＤＦは、視覚業務について改善された性能を達成するために後の訓練に用いられ得るコア・ビルディング・ブロックを構成し得る。しかしながら、ＩｍａｇｅＮｅｔの画像は典型的には、相対的に低い分解能（例えば２２４×２２４ピクセル）画像であるが、全視野ディジタル・マンモグラフィ（ＦＦＤＭ）画像は相対的にかなり高い分解能（例えば２３９４×２８５０ピクセル）を有する場合があり、またディジタル乳房トモシンセシス（ＤＢＴ）画像容積は５０倍までの多さのデータを含み得る。ＦＦＤＭ画像及びＤＢＴ画像での遥かに多いデータ量の結果として、高分解能画像については訓練時及び推論時の計算時間が長く、実行不可能となる場合もある。

本開示は、画像処理システムのための方法によって、上で特定された問題の１又は複数に少なくとも部分的に取り組む。この方法は、入力画像に基づいて当該画像処理システムの訓練済み畳み込みニューラル・ネットワーク（ＣＮＮ）の出力を生成するステップと、計算を入力画像の予め画定された領域の内部の入力画像データに限定するように、ＣＮＮの畳み込み層及び全結合層の少なくとも一方への追加入力として入力画像の予め画定された領域を含めるステップと、出力を記憶し且つ／又は出力を表示装置に表示するステップとを含んでいる。上述の予め画定された領域は１又は複数のマスクを用いて画定されることができ、これらのマスクもＣＮＮの訓練時に訓練サイクルの１回目の順通過（フォワード・パス）において用いられて、予め画定された領域の内部の画像データに基づき且つ予め画定された領域の外部の画像データにはよらずに、ＣＮＮの各々の層においてニューロンを活性化することができる。さらに、１又は複数のマスクは逆伝播時にも用いられることができ、ここでは出力と目標との間の差がＣＮＮの各々の層を通して逆伝播されることができ、またＣＮＮの各々の層の各々のニューロンに関連付けられる重みが、予め画定された領域のデータに基づき且つ背景データには基づかずに調節され得る。誤差逆伝播及び重み調節を、予め画定された領域の外部の区域からのデータではなく予め画定された領域からのデータまでに制限することにより、ＣＮＮに全寸（フル・サイズ）画像を入力するのに比較してＣＮＮの性能が改善され、訓練の計算時間が短縮され得る。後の推論段階時に１又は複数のマスクを用いることにより、性能のトレードオフを伴うことなくＣＮＮの実行時間を短縮することができ、診断の高速化及び患者転帰の改善に繋がる。本記載の上述の利点及び他の利点、並びに特徴は、単独で又は添付図面と共に参照すれば以下の詳細な説明から直ちに明らかとなろう。上述の概要は、詳細な説明においてさらに記載される様々な概念を単純化された形態で提起するために掲げられていることを理解されたい。かかる記載は、請求される主題の主要な又は本質的な特徴を特定するためのものではなく、請求される主題の範囲は、詳細な説明の後の特許請求の範囲によって一意に画定される。さらに、請求される主題は、上に記載される又は本開示の何れの部分に記載される何れの短所を解決する実施形態にも限定されない。

本開示の様々な観点は、以下の詳細な説明を添付図面に関連させて読むとさらに十分に理解されよう。

画像処理システムの実施形態の一例のブロック図である。 ＦＦＤＭ画像において病変を検出し且つ／又はＦＦＤＭ画像を分類するようにＣＮＮを訓練するニューラル・ネットワーク訓練システムの実施形態の一例のブロック図である。 二次元（２Ｄ）バイオプシ画像において病変を検出し且つ／又は２Ｄバイオプシ画像を分類するようにＣＮＮを訓練するニューラル・ネットワーク訓練システムの実施形態の一例のブロック図である。 ＦＦＤＭ画像若しくは２Ｄバイオプシ画像において病変を検出し且つ／又はＦＦＤＭ画像若しくは２Ｄバイオプシ画像を分類するようにＣＮＮを訓練する例示的な方法を示す流れ図である。 ＦＦＤＭ画像若しくは２Ｄバイオプシ画像において病変を検出し且つ／又はＦＦＤＭ画像若しくは２Ｄバイオプシ画像を分類するように訓練済みＣＮＮを展開する例示的な方法を示す流れ図である。 三次元（３Ｄ）ＤＢＴ画像容積において病変を検出し且つ／又は３Ｄ ＤＢＴ画像容積を分類するようにＣＮＮを訓練するニューラル・ネットワーク訓練システムの実施形態の一例のブロック図である。 ＤＢＴバイオプシ画像容積において病変を検出し且つ／又はＤＢＴバイオプシ画像容積を分類するようにＣＮＮを訓練するニューラル・ネットワーク訓練システムの実施形態の一例のブロック図である。 パッチ方式訓練を用いてＤＢＴ画像容積において病変を検出し且つ／又はＤＢＴ画像容積を分類するようにＣＮＮを訓練するニューラル・ネットワーク訓練システムの実施形態の一例のブロック図である。

図面は、生成ニューラル・ネットワークを用いて第一の分解能の１又は複数の医用画像を目標分解能の１又は複数の対応する医用画像へマッピングするための所載のシステム及び方法の特定の観点を示す。以下の記載と併せて、図面は本書に記載される構造、方法、及び原理を明らかにし、また説明する。図面では、構成要素の寸法は、明瞭にするために誇張されたり、他の場合には改変されたりする場合がある。周知の構造、材料、又は動作は、所載の構成要素、システム及び方法の観点の不明確化を避けるために詳細な図示又は記載を省いている。

本書では、マンモグラフィ・データ及びトモシンセシス・データを処理する際に、速度と性能との間のトレードオフを伴わずに畳み込みニューラル・ネットワーク（ＣＮＮ）の計算時間を短縮する方法及びシステムが提供される。典型的な応用としては、高分解能マンモグラム画像がＣＮＮへの入力として与えられるような癌性／非癌性乳房分類（ネガティブ・トリアージ）、自動病変検出（ＣＡＤ）、及びＡＩ式画像処理等がある。

計算時間を短縮する一つの方法は、非関連ピクセル・データを排除することである。乳房ピクセルは典型的には、検出器表面の３分の１を占めており、計算時間は画像の背景ピクセルを処理しないことにより短縮され得る。一つのアプローチは、乳房境界枠（バウンディング・ボックス）までに切り取られた畳み込みニューラル・ネットワーク（ＣＮＮ）画像を供給することを含む。しかしながら、ＣＮＮの入力層の寸法は典型的には固定されている一方で、検出器における乳房の占有面積は患者毎に、また取得毎に区々であり得るので、境界枠の寸法は区々になり得る。結果として、ネットワークの入力寸法に合わせるために、例えば入力画像をズーム拡大又は縮小することにより、切り取られた入力画像を寸法変更（リサイズ）しなければならない場合がある。また、境界枠は正方形でないので、大半の乳房について非等方性の拡縮率が適用され得る。非等方性の拡大縮小によって、結果として生ずる画像分解能の変化及び歪みは、特に分解能が検出器分解能に近い微小石灰化のような極く小さい対象を扱うときに、ＣＮＮの性能に影響を及ぼし得る。

もう一つのアプローチは、マスクを用いて、当該マスクの境界の外部のピクセル・データを排除するものである。例えば、画像のピクセルに対応する１及び０の配列をＣＮＮの追加入力として画像と共に含めることができ、ここで乳房を含むピクセルに１を割り当て、乳房を含まないピクセル（例えば背景）に０を割り当てる。入力層の畳み込み演算時には、入力層のニューロンが、乳房を含むピクセルについてのみ活性化されて、乳房を含まないピクセルについては活性化されないようにすることができる。しかしながら、ＣＮＮの入力層においてマスクを含めても、ＣＮＮの訓練時及び／又は展開（デプロイ）時に計算時間を十分に短縮することができず、ＦＦＤＭデータ及びＤＢＴデータのためのＡＩモデルの幅広い採用を促すに到らない場合がある。

本書に記載されるように、ＣＮＮの各々の層において乳房域の事前知識を活用することにより、訓練段階及び推論段階の両方で計算時間をさらに短縮することができる。換言すると、ＣＮＮの入力層においてマスクを適用することに加えて、畳み込み層及び全結合層を含む隠れ層の幾つか又は全てにおいてもマスクを適用することができる。さらに、これらのマスクをＣＮＮの１又は複数のプーリング層においてダウンサンプリングして、マスクの寸法と１又は複数のプーリング層の出力の寸法との間の対応を保つことができる。複数の畳み込み層での畳み込み演算を背景域からの入力ではなく乳房域のみからの入力に限定し、且つ１又は複数の全結合層での計算を背景域からの入力ではなく乳房域のみからの入力に限定することにより、計算時間を短縮することができる。加えて、入力画像のうち非乳房データは臨床的関連性を有しないので、ＣＮＮの性能を高めることができる。

図１の画像処理システム１０２のような画像処理システムによって、マンモグラフィ画像又はトモシンセシス画像において病変、異常、及び他の特徴を検出することができる。この画像処理システムはＣＮＮを含むことができ、ＣＮＮは被検体の乳房での病変、異常、及び他の特徴を検出するように訓練され得る。２Ｄ ＦＦＤＭ画像については、ＣＮＮは図２（Ａ）のニューラル・ネットワーク訓練システム２００のようなニューラル・ネットワーク訓練システムを用いて訓練され得る。図２（Ａ）のＣＮＮ２０２のようなアーキテクチャを有し得るＣＮＮの各々の畳み込み層において、２Ｄ乳房マスクが用いられ得る。２Ｄバイオプシ画像については、ＣＮＮは、図２（Ｂ）に示すようなニューラル・ネットワーク訓練システム２００の第二の実施形態２５０を用いて訓練されることができ、ここでは２Ｄバイオプシ・ウィンドウ・マスクがＣＮＮの各々の畳み込み層において用いられ得る。三次元（３Ｄ）ＤＢＴ画像については、ＣＮＮは、図４（Ａ）に示すようなニューラル・ネットワーク訓練システム２００の第三の実施形態４００を用いて訓練されることができ、ここでは３Ｄ乳房マスクがＣＮＮの各々の畳み込み層において用いられる。３Ｄ ＤＢＴバイオプシ画像については、ＣＮＮは、図４（Ｂ）に示すようなニューラル・ネットワーク訓練システム２００の第四の実施形態４５０を用いて訓練されることができ、ここでは３Ｄバイオプシ・ウィンドウ・マスクがＣＮＮの各々の畳み込み層において用いられる。ＣＮＮの訓練時間をさらに短くするために、ＣＮＮは、図５に示すようなニューラル・ネットワーク訓練システム２００の第五の実施形態５００を用いて訓練されることができ、ここではＣＮＮは２Ｄパッチ又は３Ｄパッチを用いて訓練され得る。２ＤのＦＦＤＭ画像及び／若しくはバイオプシ画像、又は３ＤのＤＢＴ画像及び／若しくはＤＢＴバイオプシ画像において病変を分類し、且つ／又は検出するように学習するためのＣＮＮ訓練は、図３（Ａ）の方法３００のような方法の１又は複数の動作を実行することにより行なわれ得る。またＣＮＮは、図３（Ｂ）の方法３５０に従って、２ＤのＦＦＤＭ及び／若しくはバイオプシ画像、又は３ＤのＤＢＴ及び／若しくはＤＢＴバイオプシ画像において病変を分類し、且つ／又は検出するように展開され得る。

図１には、一実施形態による医用イメージング・システム１００の画像処理システム１０２が示されている。幾つかの実施形態では、画像処理１０２の少なくとも一部が、有線接続及び／又は無線接続を介して医用イメージング・システム１００に連絡可能に結合された装置（例えば末端装置及びサーバ等）に配設される。幾つかの実施形態では、画像処理システム１０２の少なくとも一部が、医用イメージング・システム１００から、又は医用イメージング・システム１００によって生成される画像／データを記憶する記憶装置から画像を受け取ることができる別個の装置（例えばワークステーション）に配設される。

画像処理システム１０２は、非一過性メモリ１０６に記憶されている機械可読の命令を実行するように構成されているプロセッサ１０４を含んでいる。プロセッサ１０４は、シングル・コアであってもマルチ・コアであってもよく、ここで実行されるプログラムは、並行処理用にも分散処理用にも構成され得る。幾つかの実施形態では、プロセッサ１０４は選択随意で、遠隔配置され且つ／又は協働型処理用に構成され得る２以上の装置にわたり分散された個別の構成要素を含み得る。幾つかの実施形態では、プロセッサ１０４の１又は複数の観点は、クラウド・コンピューティング構成として構成された遠隔利用可能な網接続された計算装置によって仮想化されて実行されてもよい。

非一過性メモリ１０６は、ニューラル・ネットワーク・モジュール１０８、ネットワーク訓練モジュール１１０、推論モジュール１１２、及び医用画像データ１１４を記憶し得る。ニューラル・ネットワーク・モジュール１０８は、後に詳述されるように、入力画像において乳房を分類するための深層学習モデルを実装するための深層学習モデル及び命令を含み得る。ニューラル・ネットワーク・モジュール１０８は、１又は複数の訓練済みニューラル・ネットワーク及び／又は訓練前ニューラル・ネットワークを含むことができ、さらに、ここに記憶された１又は複数のニューラル・ネットワークに関連する様々なデータ又はメタデータを含み得る。

非一過性メモリ１０６はさらに、ニューラル・ネットワーク・モジュール１０８に記憶された深層学習モデルを実装するニューラル・ネットワークの１又は複数を訓練するための命令を含む訓練モジュール１１０を記憶し得る。訓練モジュール１１０は、プロセッサ１０４によって実行されると１又は複数のニューラル・ネットワークを訓練するための方法３００及び／又は３５０のステップの１又は複数を実行することを画像処理システム１０２に行なわせる命令を含み得る。このことについては、図３（Ａ）及び図３（Ｂ）にそれぞれ関連して後にあらためて詳述する。幾つかの実施形態では、訓練モジュール１１０は、１又は複数の最急降下アルゴリズムを実装する命令を含んでおり、ニューラル・ネットワーク・モジュール１０８の１又は複数のニューラル・ネットワークのパラメータを調節するのに用いるために１又は複数の損失関数及び／又は訓練ルーチンを適用する。非一過性メモリ１０６はまた、訓練済み深層学習モデルによって新たな画像データを処理し且つ／又は分類するための命令を含む推論モジュール１１２を記憶し得る。幾つかの実施形態では、訓練モジュール１１０、ニューラル・ネットワーク・モジュール１０８、及び推論モジュール１１２が別々の装置に記憶され且つ／又は別々の装置で実行されてもよい。

非一過性メモリ１０６はさらに、医用画像データ１１４を記憶している。医用画像データ１１４は、例えば計算機式断層写真法（ＣＴ）スキャナ、Ｘ線機械、超音波プローブ、又は異なる撮像モダリティを介して取得された医用画像を含み得る。例えば、医用画像データ１１４は、患者の乳房から取得されたマンモグラム画像又はトモシンセシス・データを記憶し得る。幾つかの実施形態では、医用画像データ１１４は複数の訓練セットを含み得る。

幾つかの実施形態では、非一過性メモリ１０６は、遠隔配置され且つ／又は協働型処理用に構成され得る２以上の装置に配設された構成要素を含み得る。幾つかの実施形態では、非一過性メモリ１０６の１又は複数の観点は、クラウド・コンピューティング構成として構成された遠隔利用可能なネットワーク型計算装置を含み得る。

画像処理システム１０２は、利用者入力装置１３２及び表示装置１３４に動作可能且つ連絡可能に結合され得る。利用者入力装置１３２は、タッチスクリーン、キーボード、マウス、トラックパッド、運動検知カメラ、又は利用者が画像処理システム１０２の内部のデータと対話し該データを操作することを可能にするように構成されている他の装置の１又は複数を含み得る。表示装置１３４は、実質的に任意の形式の技術を用いた１又は複数の表示装置を含み得る。幾つかの実施形態では、表示装置１３４は、コンピュータ・モニタを含むことができ、また医用画像を表示し得る。表示装置１３４は、共通の筐体内でプロセッサ１０４、非一過性メモリ１０６、及び／又は利用者入力装置１３２と組み合わされていてもよいし、周辺表示装置であってもよく、モニタ、タッチスクリーン、プロジェクタ、又は当技術分野で公知の他の表示装置を含むことができ、これにより利用者が医用イメージング・システムによって形成される医用画像を観察したり、非一過性メモリ１０６に記憶されている様々なデータと対話したりすることを可能にし得る。

図１に示す画像処理システム１０２は説明のためのものであって、制限のためのものではないことを理解されたい。他の適当な画像処理システムは、より多い構成要素、より少ない構成要素、又は異なる構成要素を有し得る。

図２（Ａ）には、ニューラル・ネットワーク訓練システム２００がＣＮＮ２０２について示されており、ここではＣＮＮ２０２は、人間の乳房のＦＦＤＭ画像（例えばマンモグラム）における異常を検出するように訓練され得る。ニューラル・ネットワーク訓練システム２００は、図１の画像処理システム１００のような画像処理システムの一部として（例えばニューラル・ネットワーク・モジュール１０８の内部で）実装され得る。ＣＮＮ２０２は、図３（Ａ）の方法３００のような方法の１又は複数の動作に従って訓練され得る。ＣＮＮ２０２は、図１の画像処理システムの医用画像データ１１４のような画像処理システムのデータベースに記憶され得るＦＦＤＭ画像について訓練され得る。訓練が完了した後には、訓練済みＣＮＮ２０２が、図１の画像処理システム１０２の推論モジュール１１２のような画像処理システムの推論モジュールに展開され得る。

ＣＮＮ２０２は、複数の入力／目標訓練対を含み得る訓練データセット２３４について訓練され得る。幾つかの実施形態では、ＣＮＮ２０２は分類ネットワークであってよく、ここでは画像／目標訓練対は、ＣＮＮ２０２への入力として乳房を有するＦＦＤＭ画像２０４と、目標として乳房の画像分類２３６とを含み得る。例えば、第一の入力／目標訓練対は、第一のＦＦＤＭ画像２０４と、乳房に異常が検出されなかったことを示す０の対応する分類とを含み得る。第二の入力／目標訓練対は、第二のＦＦＤＭ画像２０４と、乳房に異常（例えば病変及び腫瘍等）が検出されたことを示す１の対応する分類とを含み得る。他の実施形態では、付加的な分類が含まれてもよい。例えば一実施形態では、第一の分類は乳房に異常がないことを示し、第二の分類は乳房に悪性でない腫瘍があることを示し、第三の分類は悪性腫瘍を示し得る。他の実施形態では、正常、良性、非浸潤性（in situ)、及び浸潤性のように他の組織学分類を用いてもよい。目標画像分類２３６は、ＣＮＮ２０２を訓練するという目的のために対応するＦＦＤＭ画像２０４に関連付けられた正解値（ground truth）と見做され得る。

さらに他の実施形態では、ＣＮＮ２０２は分類ネットワークでなくてもよく、ＣＮＮ２０２は、乳房のＦＦＤＭ画像において病変の存在又は位置を検出してもよい。例えば、画像／目標訓練対は、ＣＮＮ２０２への入力として乳房を有するＦＦＤＭ画像２０４と、目標として正解値病変情報とを含み得る。正解値病変情報は、ＦＦＤＭ画像２０４に病変が存在するか否かの指標と、病変の位置情報とを含み得る。ここに掲げられる例は、説明の目的のためのものであって、本開示の範囲から逸脱することなく異なる例も含まれ得ることを認められたい。

ニューラル・ネットワーク訓練システム２００は、訓練データセットの入力／目標訓練対を生成し得るデータセット生成器２２８を含み得る。幾つかの実施形態では、データセット生成器２２８は、画像データベース２２４からＦＦＤＭ画像２０４を受け取ることができる。画像データベース２２４に記憶されているＦＦＤＭ画像２０４は、ＦＦＤＭ走査装置２２６（例えばＸ線装置）によって生成され得る。各々のＦＦＤＭ画像２０４に関連付けられる分類は、正解値割り当て工程２３２によって割り当てられ得る。分類の割り当てについては、図３（Ａ）に関して後にあらためて詳述する。

データセット生成器２２８はまた、ＦＦＤＭ画像２０４のためのマスクを生成し得るマスク生成器２３０を含み得る。具体的には、訓練データセット２３４の各々の入力／目標訓練対のＦＦＤＭ画像２０４に、対応する２Ｄ乳房マスク２１８が割り当てられ得る。２Ｄ乳房マスク２１８は、対応するＦＦＤＭ画像２０４の寸法を有する値の二次元（２Ｄ）配列であってよく、２Ｄ乳房マスク２１８の各々の値と、ＦＦＤＭ画像２０４の各々のピクセルとの間に１対１の対応関係がある。例えば、２Ｄ乳房マスク２１８の左上角の最上部左方値が、対応するＦＦＤＭ画像２０４の左上角の最上部左方ピクセルに関連付けられ、２Ｄ乳房マスク２１８の最上横列に沿った隣接値が、対応するＦＦＤＭ画像２０４の最上横列に沿った隣接ピクセルに関連付けられ得る等、以下同様である。

２Ｄ乳房マスク２１８は、対応するＦＦＤＭ画像２０４の各々のピクセルについて第一の値又は第二の値の何れかを含み得る。例えば、第一の値は１であってよく、第二の値は０であってよい。２Ｄ乳房マスク２１８の値が第一の値又は第二の値の何れを割り当てられているかは、ＦＦＤＭ画像２０４の対応するピクセルが乳房データ又は背景データの何れを含んでいるかに依存し得る。対応するピクセルが乳房データを含んでいる（例えば対応するピクセルがＦＦＤＭ画像２０４の乳房部分の内部に位置する）場合には、対応する値に第一の値（例えば１）を割り当てることができる。代替的には、対応するピクセルが乳房データを含んでいない（例えば対応するピクセルが、ＦＦＤＭ画像２０４の背景部分のように乳房部分の外部に位置する）場合には、対応する値に第二の値（例えば０）を割り当てることができる。このように、２Ｄ乳房マスク２１８は、ＦＦＤＭ画像２０４の背景部分に対してのＦＦＤＭ画像２０４の乳房部分のようなＦＦＤＭ画像２０４の予め画定された領域を確立することができる。２Ｄ乳房マスク２１８の生成については、図３（Ａ）に関して後にあらためて詳述する。

ＣＮＮ２０２は、第一の畳み込み層２０６及び第二の畳み込み層２１０のような複数の畳み込み層を含み得る。第一の畳み込み層２０６及び第二の畳み込み層２１０は各々、一定数のフィルタ又はカーネルを含むことができ、等しい数の特徴マップを生成し得る。特徴マップは、ＣＮＮ２０２がＦＦＤＭ画像２０４の特徴を検出するのを助けることができる。例えば、第一の畳み込み層２０６は、５つのフィルタに対応して５つの特徴マップ２０５を含むことができ、特徴マップ２０５は、ＣＮＮ２０２がＦＦＤＭ画像２０４のより低レベルの特徴（例えば線、角、及び辺等）を検出するのを助けることができる。第二の畳み込み層２１０は、１０のフィルタに対応して１０の特徴マップ２０９を含むことができ、特徴マップ２０９は、ＣＮＮ２０２がＦＦＤＭ画像２０４のより高レベルの特徴を検出するのを助けることができる。より高レベルの特徴は、より低レベルの特徴同士の間の関係の抽象概念を含むことができ、人間による解釈が可能な場合も可能でない場合もある。特徴マップ２０５の数は特徴マップ２０９の数とは異なっていてよく、特徴マップ２０５及び２０９の数は、ＣＮＮ２０２のアーキテクチャの実装形態に依存する。

複数の畳み込み層の各々の後に、ＣＮＮ２０２は、第一のプーリング層２０８及び第二のプーリング層２１２のようなプーリング層を含み得る。ＣＮＮ２０２はまた全結合層２１４を含むことができ、直前の層（例えばプーリング層２１２）のあらゆる特徴が、全結合層２１４のあらゆる入力ニューロンと結合される。全結合層２１４での膨大になる可能性のある計算数を回避するために、プーリング層２０８及び２１２は、ＣＮＮ２０２の特徴の数を小さくするためにそれぞれ直前の畳み込み層２０６及び２１０の出力をプールすることができる。

第一のプーリング層２０８及び第二のプーリング層２１２は各々、一組のプールされた特徴マップを生成し得る。例えば、第一のプーリング層２０８は、５つの特徴マップ２０５に対応して５つのプールされた特徴マップ２０７を含むことができ、プールされた特徴マップ２０７は、特徴マップ２０５をダウンサンプリングしたものであってよい。同様に、第二のプーリング層２１２は、１０の特徴マップ２０９に対応して１０のプールされた特徴マップ２１１を含むことができ、プールされた特徴マップ２１１は特徴マップ２０９をダウンサンプリングしたものであってよい。プールされた特徴マップ２０７の数はプールされた特徴マップ２１１の数と異なっていてよく、プールされた特徴マップ２０７及び２１１の数は、ＣＮＮ２０２のアーキテクチャの実装形態に依存する。

例えば、各々のＦＦＤＭ画像２０４は、２３９４×２８５０ピクセルの分解能に基づいて６百万超のピクセルを含む場合があり、これら６百万超のピクセルの各々が第一の畳み込み層２０６に入力され得る。第一の畳み込み層２０６は、ＣＮＮ２０２のハイパーパラメータ（例えばフィルタ寸法、ストライド）に依存して６百万超のピクセルと殆ど同じ大きさの数の特徴を出力し得る。幾つかの実施形態では、ＣＮＮ２０２の各々の層、特に全結合層２１４においてかかる多数の特徴を乗算することにより必要とされるニューラル・ネットワーク訓練システム２００のメモリについての要求を低下させるために、プーリング層２０８は第一の畳み込み層２０６の出力を２Ｄ小領域の内部で結合して、ニューラル・ネットワーク訓練システム２００のメモリに保たれる特徴の全体数を減少させることができる。幾つかの実施形態では、出力の結合は、２Ｄ小領域の出力値を平均して単一の値を生成することを含み得る（例えば平均プーリング）。他の実施形態では、出力の結合は、２Ｄ小領域の出力値を代表する最高値のような単一の値を選択することを含み得る（例えば最大プーリング）。同様に、プーリング層２１２は、全結合層２１４の計算を行なうのに先立って第二の畳み込み層によって生成される特徴の数をさらに小さくするように第二の畳み込み層２１０の出力を結合することができる。図２（Ａ）には二つの畳み込み層が示されているが、他の各実施形態は、本開示の範囲から逸脱することなく、より多い又はより少ない数の畳み込み層、プーリング層、及び／又は全結合層を含み得ることを認められたい。ハイパーパラメータ及びプーリング戦略を調節することによりＣＮＮのパラメータを小さくする利点は当技術分野で周知であり、本開示の範囲外である。

ＦＦＤＭ画像２０４がＣＮＮ２０２の第一の畳み込み層２０６に入力されるときに、対応する２Ｄ乳房マスク２１８も第一の畳み込み層２０６に入力され得る。２Ｄ乳房マスク２１８は、前述のようにＦＦＤＭ画像２０４の背景域（例えば人間の乳房を含まない区域）からのＣＮＮ２０２への入力を選択的に阻止し得る。もう一つの実施形態では、２Ｄ乳房マスク２１８は、１及び０を含む値の配列としてＣＮＮ２０２に入力されることができ、値の配列の各々の値に、各々の特徴マップ２０６の対応するピクセル及び／又は各々の入力２６２の対応するピクセルを乗算する。

加えて、２Ｄ乳房マスク２１８をダウンサンプリングしたものである第二の２Ｄ乳房マスク２２０が、第二の畳み込み層２１０に入力され得る。幾つかの実施形態では、１又は複数のダウンサンプリング演算は、第一の畳み込み層２０６によって生成される特徴の数についての１又は複数のダウンサンプリング演算の実行と並行して２Ｄ乳房マスク２１８について実行され、２Ｄ乳房マスク２１８をダウンサンプリングして第二の２Ｄ乳房マスク２２０を生成するためには、ここでも第一のプーリング層２０８において特徴をダウンサンプリングする又は小さくするのに用いられた手順に従う。例えば、２Ｄの３×３の群を成す第一の畳み込み層２０６の出力値が第一のプーリング層２０８にプールされて単一の出力値を生成する場合には、対応する２Ｄの３×３の群を成す２Ｄ乳房マスク２１８の出力値が第一のプーリング層２０８にプールされて第二の２Ｄ乳房マスク２２０に対応する単一の出力値を生成することができる。幾つかの実施形態では、２Ｄ乳房マスク２１８はＣＮＮ２０２の内部でダウンサンプリングされ得るが、他の実施形態では、２Ｄ乳房マスク２１８は、入力画像データのダウンサンプリング演算と並行して、別個の手順に従ってＣＮＮ２０２の外部でダウンサンプリングされてもよい。この別個の手順は、入力画像と同じダウンサンプリング演算を含んでいてもよいし、異なるダウンサンプリング演算を含んでいてもよい。別個の手順のダウンサンプリング演算はＣＮＮ２０２のプーリング戦略に依存し得る。このようにして、第二の２Ｄ乳房マスク２２０は、２Ｄ乳房マスク２１８のＦＦＤＭ画像２０４との空間的関係、及び特徴マップ２０７との１対１の対応関係を保存し得る。同じようにして、第三のダウンサンプリングされた２Ｄ乳房マスク２２２を、第二のプーリング層２１２の出力と共に全結合層２１４に入力することができ、ここで第三のダウンサンプリングされた２Ｄ乳房マスク２２２は、第二のダウンサンプリングされた２Ｄ乳房マスク２２０をプールしたものである。全結合層は、入力としてマスクの内部に位置する特徴マップ２１１の特徴を受け取り、マスクの外部に位置する特徴マップ２１１の特徴は受け取らないようにすることができる。代替的には、２Ｄ乳房マスク２２２が１及び０を含む値の配列として符号化されているときに、値の配列の各々の値に、各々の特徴マップ２１２の対応するピクセルを乗算することができる。

ＣＮＮ２０２は、全結合層２１４の出力に基づいて出力層２１６において最終的な出力を生成し得る。幾つかの実施形態では、出力２１６は、ＦＦＤＭ画像２０４の乳房の分類であり得る。例えば、ＣＮＮ２０２は、１又は複数の病変及び／又は異常がＣＮＮ２０２によって検出され得たことを示す１の分類値を出力してもよいし、病変及び／又は異常検出がＣＮＮ２０２によって検出されなかったことを示す０の分類値を出力してもよい。他の実施形態は、付加的な出力値又は異なる出力値を含み得る。例えば、付加的な出力値又は異なる出力値を用いて、幾つかの形式の病変又は異常の間を識別したり、検出された病変又は腫瘍の重症度を示したりすることができる。もう一つの実施形態では、ＣＮＮ２０２は、病変若しくは異常又は他の何らかの位置を示すマップを出力し得る。

図３（Ａ）に関して後にあらためて詳述するように、出力２１６と目標分類２３６との間の差が、損失関数に従ってＣＮＮ２０２を通して逆伝播されてＣＮＮ２０２のパラメータを調節することができ、これによりＣＮＮ２０２は、新たなＦＦＤＭ画像を分類する又は新たなＦＦＤＭ画像において病変を検出するように学習することができる。

図２（Ｂ）には、ニューラル・ネットワーク訓練システム２００の第二の実施形態２５０が示されており、ここではＣＮＮ２０２は、乳房の一組の２Ｄバイオプシ画像を用いて乳房において異常を検出するように訓練され得る。バイオプシの際には、１又は複数の組織標本が、後の分析のために生検針を用いて乳房から抽出される。２Ｄバイオプシ画像を用いて、医師が微小であり得る病変の正確な位置まで生検針を誘導するのを支援することができる。２Ｄバイオプシ画像の集合がバイオプシを行なう一部として定型的に生成され得るので、これらの２Ｄバイオプシ画像の集合は、ＣＮＮ２０２を訓練するのに有利に用いられ得る病変を含む大量の訓練データに相当し得る。例えば、ＣＮＮ２０２を訓練するために病変を含む２Ｄ ＦＦＤＭ画像を得ることが２Ｄバイオプシ画像を得るよりも容易でない場合には、ＣＮＮ２０２は、２Ｄバイオプシ画像と２Ｄ ＦＦＤＭ画像との組み合わせについて訓練され得る。代替的には、ＣＮＮ２０２は、第一の訓練段階で２Ｄバイオプシ画像について訓練され第二の訓練段階で２Ｄ ＦＦＤＭ画像について訓練されてもよいし、第一の訓練段階で２Ｄ ＦＦＤＭ画像について訓練され第二の訓練段階で２Ｄバイオプシ画像について訓練されてもよく、すなわちＣＮＮ２０２は、２Ｄ ＦＦＤＭ画像及び／又は２Ｄバイオプシ画像を含む複数の訓練段階にわたって訓練され得る。ＣＮＮ２０２が訓練された後に、ＣＮＮ２０２は、新たな２Ｄ ＦＦＤＭ画像又は新たな２Ｄバイオプシ画像の何れかにおいて乳房異常を検出し且つ／又は分類するように展開され得る。

幾つかの実施形態では、ＣＮＮ２０２は、病変が位置し得る関心走査領域であるバイオプシ・ウィンドウの内部で病変を検出するように訓練され得る。この場合には、ＣＮＮ２０２がバイオプシ・ウィンドウの内部でのみ畳み込みを行ないバイオプシ・ウィンドウの外部では畳み込みを行なわないようにするために、乳房マスクはバイオプシ・ウィンドウに限定され得る。幾つかの実施形態では、バイオプシ・ウィンドウは、バイオプシに用いられる圧迫板の形状によって画定される単純な幾何学的形状（例えば四辺形）であってよい。

訓練相においてバイオプシ・ウィンドウを考慮に入れることにより、バイオプシ・ウィンドウの外部の無関係なデータ（圧迫板の境界でのデータのような）が無視されるので、訓練時のＣＮＮ２０２の計算時間を短縮し、性能を改善することができる。バイオプシ・ウィンドウの外部で畳み込みを行なわないことにより、推論時のＣＮＮ２０２の計算時間も短縮することができる。ＣＮＮ２０２の展開時には、医師は、生検針を誘導しながら表示画面で２Ｄバイオプシ画像を観察しつつ生検針の先端の配置を監視することができる。医師が生検針を調節しているときに実時間で病変を検出して特定することにより、訓練済みＣＮＮ２０２によって表示画面上で誘導の合図（キュー）又は指示を医師に与えることができる。乳房マスク及びバイオプシ・ウィンドウ・マスクをそれぞれ追加入力として用いて、ネットワークをＦＦＤＭデータ及びバイオプシ・データの両方について訓練することにより、病変を含む標本数を増大させることが期待される。加えて、ＣＮＮ２０２が新たなＦＦＤＭ画像について適用されるときに、全体的な検出性能を高めることができる。

ニューラル・ネットワーク訓練システム２００の第二の実施形態２５０では、ＣＮＮ２０２は、図３（Ａ）の方法３００のような方法の１又は複数の動作に従って訓練され、図３（Ｂ）の方法３５０のような方法の１又は複数の動作に従って展開され得る。ＣＮＮ２０２は、画像処理システムのデータベースに記憶され得る図１の画像処理システムの医用画像データ１１４のような２Ｄバイオプシ画像について訓練され得る。訓練が完了した後に、訓練済みＣＮＮ２０２を、図１の画像処理システム１０２の推論モジュール１１２のような画像処理システムの推論モジュールに展開することができる。

第二の実施形態２５０では、ＣＮＮ２０２は、複数の入力／目標訓練対を含み得る訓練データセット２５４について訓練され得る。複数の画像／目標訓練対は、ＣＮＮ２０２への入力として２Ｄバイオプシ画像２６２を含み、目標データとして正解値病変情報２６０を含み得る。正解値病変情報２６０は、病変が２Ｄバイオプシ画像２６２において検出されるか否かの指標を含むことができ、また病変の位置情報を含み得る。例えば、位置情報は、病変のＸＹ座標と、病変の境界情報と、１又は複数の方向での病変の範囲等とを含み得る。

画像データベース２２４に記憶されている２Ｄバイオプシ画像２６２は、走査装置２２６（例えばＸ線機械）によって形成され得る。各々の２Ｄバイオプシ画像２６２に関連付けられる正解値は、データセット生成器２２８の正解値割り当て工程２３２によって割り当てられ得る。正解値の割り当てについては、図３（Ａ）に関して後にあらためて詳述する。

図２（Ａ）のＦＦＤＭ画像２０４の場合と同様に、マスク生成器２３０は、実施形態２５０において２Ｄバイオプシ画像２６２のためのマスクを生成し得る。具体的には、訓練データセット２５４の各々の入力／目標訓練対の２Ｄバイオプシ画像２６２が、対応する２Ｄバイオプシ・ウィンドウ・マスク２６４に関連付けられ得る。２Ｄバイオプシ・ウィンドウ・マスク２６４は、対応する２Ｄバイオプシ画像２６２の寸法を有する値の二次元配列であってよく、２Ｄバイオプシ・ウィンドウ・マスク２６４の各々の値と２Ｄバイオプシ画像２６２の各々のピクセルとの間に１対１の対応関係がある。

２Ｄバイオプシ・ウィンドウ・マスク２６４は、対応する２Ｄバイオプシ画像２６２の各々のピクセルについて第一の値（例えば１）又は第二の値（例えば０）を含み得る。２Ｄバイオプシ・ウィンドウ・マスク２６４の値に第一の値又は第二の値の何れが割り当てられているかは、２Ｄバイオプシ画像２６２の対応するピクセルが２Ｄバイオプシ画像２６２の２Ｄバイオプシ・ウィンドウの内部に位置しているか否かに依存し得る。対応するピクセルが２Ｄバイオプシ画像２６２の２Ｄバイオプシ・ウィンドウの内部に位置している場合には、対応する値に第一の値（例えば１）を割り当てることができる。代替的には、対応するピクセルが２Ｄバイオプシ・ウィンドウの内部に位置していない場合には、対応するビットに第二の値（例えば０）を割り当てることができる。このように、２Ｄバイオプシ・ウィンドウ・マスク２６４は、２Ｄバイオプシ・ウィンドウが位置している２Ｄバイオプシ画像２６２の内部の予め画定された領域を確立し得る。２Ｄバイオプシ・ウィンドウ・マスク２６４の生成については、図３（Ａ）に関して後にあらためて詳述する。

図２（Ａ）に関して上で述べたように、プーリング層２０８及び２１２は、平均プーリング、最大プーリング、又は異なるプーリング手法に従って、それぞれ第一の畳み込み層２０６及び第二の畳み込み層２１０の出力を結合することができる。

２Ｄバイオプシ画像２６２がＣＮＮ２０２の第一の畳み込み層２０６に入力されるときに、対応する２Ｄバイオプシ・ウィンドウ・マスク２６４もまた第一の畳み込み層２０６に入力され得る。２Ｄバイオプシ・ウィンドウ・マスク２６４は、図２（Ａ）に関して上で述べたように、２Ｄバイオプシ・ウィンドウの外部に位置する２Ｄバイオプシ画像２６２の区域からのＣＮＮ２０２への入力を選択的に阻止し得る。各々の２Ｄバイオプシ・ウィンドウ・マスク２６４が、１及び０を含む値の配列としてＣＮＮ２０２に入力されることができ、ここで幾つかの実施形態では、値の配列の各々の値に、２Ｄバイオプシ画像２６２の対応するピクセル入力及び／又は第一の畳み込み層２０６の対応するピクセル出力を乗算する。他の実施形態では、異なるアルゴリズムを用いて、２Ｄバイオプシ・ウィンドウ・マスク２６４に基づいてＣＮＮ２０２の幾つかの部分を選択的に阻止してもよい。例えば、２Ｄ乳房マスク２６４は、１及び０を含む値の配列としてＣＮＮ２０２に入力されることができ、値の配列の各々の値に、各々の特徴マップ２０５の対応するピクセルを乗算する。

加えて、図２（Ａ）の第二の２Ｄ乳房マスク２２０及び第三の２Ｄ乳房マスク２２２に関して上で述べたように、実施形態２５０では、第二の２Ｄバイオプシ・ウィンドウ・マスク２６６が第二の畳み込み層２１０に入力され得る。２Ｄバイオプシ・ウィンドウ・マスク２６６は、２Ｄバイオプシ・ウィンドウ・マスク２６４をダウンサンプリングしたものであってよい。同様に、２Ｄバイオプシ・ウィンドウ・マスク２６６をダウンサンプリングしたものであってよい第三の２Ｄバイオプシ・ウィンドウ・マスク２６８が、第二のプーリング層２１２の出力と共に全結合層２１４に入力され得る。全結合層は、マスクの内部に位置する特徴マップ２１１の特徴を入力として受け取ることができ、マスクの外部に位置する特徴マップ２１１の特徴を入力として受け取らない。代替的には、２Ｄ乳房マスク２６８が１及び０を含む値の配列として符号化されているときに、値の配列の各々の値に、各々の特徴マップ２１１の対応するピクセルを乗算してもよい。

図２（Ａ）と同様に、ＣＮＮ２０２は、全結合層２１４の出力に基づいて出力２１６を生成し得る。出力２１６は、病変が２Ｄバイオプシ画像２６２に存在するか否かの指標、及び病変の位置情報を含めた２Ｄバイオプシ画像２６２の乳房の病変検出情報を含み得る。図３（Ａ）に関して後にあらためて詳述するように、出力２１６と正解値病変情報２６０との間の差異又は誤差はＣＮＮ２０２を通して逆伝播されてＣＮＮ２０２のパラメータを調節することができ、これによりＣＮＮ２０２は、新たな２Ｄバイオプシ画像において病変を検出して位置決定するように学習することができる。

図３（Ａ）には、高分解能２Ｄ ＦＦＤＭ画像及び／又は２Ｄバイオプシ画像において病変又は他の異常を検出し、位置決定し、且つ／又は分類するように図２（Ａ）及び図２（Ｂ）のＣＮＮ２０２のようなＣＮＮを訓練するための例示的な方法３００の流れ図が示されている。方法３００は、図２（Ａ）及び図２（Ｂ）のニューラル・ネットワーク訓練システム２００の一部として実装され得る。一実施形態では、方法３００の１又は複数の動作は非一過性メモリに記憶されて、図１の画像処理システム１０２の非一過性メモリ１０６及びプロセッサ１０４のようなプロセッサによって実行され得る。

ＣＮＮは、入力／目標訓練対の組を含む訓練データセット（例えば図２（Ａ）の訓練データセット２３４及び／又は図２（Ｂ）の訓練データセット２５４）を用いて訓練され得る。これらの入力／目標訓練対の各々の訓練対が、入力画像と、入力画像の目標（例えば正解値）データとを含み得る。幾つかの実施形態では、目標データは入力画像の乳房の分類であってよい。分類は、二項分類であってよく、ここでは０の分類が、例えば入力画像の乳房に異常が検出されなかったことを示し、１の分類が、例えば入力画像の乳房に異常（例えば腫瘍及び病変等）が検出されたことを示し得る。他の実施形態では、分類は二項分類でなくてもよく、目標分類が複数の分類の一分類であってもよい。幾つかの実施形態では、目標分類は、異常のない乳房を示す第一の二値符号（例えば一定数の１及び０）、悪性でない腫瘍のある乳房を示す第二の二値符号、及び悪性腫瘍のある乳房を示す第三の二値符号等を含み得る。腫瘍の浸潤度のような付加的な情報を二値符号に含めてもよい。さらに他の実施形態では、目標データは、入力画像の内部での異常の位置についての付加的な符号化を含んでいてもよい（例えばバイオプシ医師に誘導の合図を与えるために用いられる）。

幾つかの実施形態では、ＣＮＮはＦＦＤＭ画像分類ネットワークであってよく、ここでは入力画像は２Ｄ ＦＦＤＭ画像（例えば図２（Ａ）のＦＦＤＭ画像２０４）であってよい。他の実施形態では、ＣＮＮは２Ｄバイオプシ画像検出及び／又は位置決定ネットワークであってよく、ここでは入力画像は２Ｄバイオプシ画像（例えば２Ｄバイオプシ画像２５２）であってよい。加えて、方法３００は、異なる形式の画像を訓練するために同じＣＮＮについて複数回適用され得る。例えば、ＣＮＮは第一の訓練段階で２Ｄ ＦＦＤＭ画像（例えばマンモグラム）を分類するように訓練され、第二の訓練段階で２Ｄバイオプシ画像を分類し且つ／又は位置決定するように訓練されてもよいし、或いはＣＮＮは第一の訓練段階で２Ｄバイオプシ画像を分類し且つ／又は位置決定するように訓練され、第二の訓練段階で２Ｄ ＦＦＤＭ画像を分類するように訓練されてもよい。

方法３００は動作３０２で開始し、ここでは方法３００は、訓練セットから入力画像と目標の正解値分類とを含む訓練対を受け取ることを含んでいる。一実施形態では、訓練セットは、図１の画像処理システム１０２の訓練モジュール１１０のような画像処理システムの訓練モジュールに記憶され得る。

動作３０４では、方法３００は、入力画像用のマスクを生成することを含んでいる。入力画像がＦＦＤＭ画像である実施形態では、マスクは前述の図２（Ａ）の２Ｄ乳房マスク２１８のような２Ｄ乳房マスクであってよい。入力画像が２Ｄバイオプシ画像である実施形態では、マスクは前述の図２（Ｂ）の２Ｄバイオプシ・ウィンドウ・マスク２１８のような２Ｄバイオプシ・ウィンドウ・マスクであってよい。様々な実施形態において、マスクは、図２（Ａ）及び図２（Ｂ）のマスク生成器２３０のようなマスク生成器によって生成され得る。

マスクを生成するためには、当技術分野で公知の任意のマスク生成手順を用いてよい。２Ｄ乳房マスクについては、幾つかの実施形態では、マスク生成器は、入力画像の乳房を検出し且つ／又はセグメント分割するために、事前訓練済みニューラル・ネットワーク及び／又は機械学習アルゴリズムのような物理的又は統計学的モデルを用いることができる（例えば乳房セグメント分割モデル）。他の実施形態では、入力画像の乳房の境界を他の方法で検出してもよい。マスク生成器は続いて、入力画像の寸法を有する値の配列を生成することができ、ここでは第一の値（例えば１）又は第二の値（例えば０）が入力画像の各々のピクセルに割り当てられる。入力画像の或るピクセルが乳房の境界の範囲内（又は境界の上）に含まれる場合には、当該ピクセルに対応する位置の値の配列に第一の値を割り当てることができる。代替的には、ピクセルが乳房の境界の範囲内（又は境界の上）に含まれない場合には、当該ピクセルに対応する位置の値の配列に第二の値を割り当てることができる。

幾つかの実施形態では、例えばトモシンセシス取得を扱うときには、ＣＮＮを訓練するのに先立って複数の乳房マスクを生成することができ、ここでは各々の入力投影画像が複数の乳房マスクのうち一つの乳房マスクに関連付けられ得る。例えば、第一のマスク生成段階では訓練セットの複数の入力画像が事前訓練済みニューラル・ネットワークに入力されて、対応する複数の乳房マスクを生成することができ、第二のマスク割り当て段階では複数の入力画像の各々の入力画像が、対応する複数の乳房マスクのうち一つの対応する乳房マスクに関連付けられ得る。

図２（Ｂ）の２Ｄバイオプシ画像２６２のような２Ｄ乳房バイオプシ画像を扱うときには、マスクは乳房マスクではなく、２Ｄバイオプシ・ウィンドウ・マスク（例えば図２（Ｂ）の２Ｄバイオプシ・ウィンドウ・マスク２６４）であってよい。ＣＮＮによって処理される画像データは、図２（Ｂ）に示すように２Ｄバイオプシ・ウィンドウ・マスクを用いてバイオプシ・ウィンドウに限定され得る。バイオプシ・ウィンドウは固定寸法を有して、２Ｄバイオプシ画像の固定位置に配置されることができ、ここでは２Ｄバイオプシ・ウィンドウ・マスクは固定寸法及び固定位置のマスク配列であってよい。マスク配列は、バイオプシ・ウィンドウの領域の内部に位置するピクセルについては第一の値（例えば１）を含み、バイオプシ・ウィンドウの領域の外部に位置するピクセルについては第二の値（例えば０）を含み得る。このように、２Ｄバイオプシ・ウィンドウ・マスクはバイオプシ・ウィンドウの寸法及び位置に合わせて入力画像を実効的に切り取ることができる。訓練時及び展開時にこのバイオプシ・ウィンドウ・マスクを適用することにより、バイオプシ・ウィンドウの配置を考慮に入れて、これによりバイオプシ・ウィンドウの外部の区域を無視することにより、ＣＮＮの計算時間を短縮することができる。

動作３０６では、方法３００は、訓練対の入力画像及び該入力画像に割り当てられたマスクをＣＮＮの第一の畳み込み層（例えば図２（Ａ）及び図２（Ｂ）のＣＮＮ２０２の第一の畳み込み層２０６）に入力することを含んでいる。前述のように、マスクは、同様の寸法を有する１及び０のようなマスク値の配列であってよい。幾つかの実施形態では、入力画像及びマスクをＣＮＮの第一の畳み込み層に入力する動作は、各々のピクセルのピクセル強度値にマスク配列の対応する値（例えば入力画像でのピクセルの位置に対応する値）を乗算することを含み得る。各々のピクセルのピクセル強度値にマスク配列の対応する値を乗算する結果として、入力値の新たな調節済み配列を生成することができ、この配列では入力画像の乳房の境界の内部のピクセル強度値は保存され、乳房の境界の外部のピクセル強度値は０へ変換される。入力値の新たな調節済み配列に、関連する畳み込みカーネルの重みを乗算することによりＣＮＮの入力ノードが活性化されるときには、入力値が０である入力ノードの部分（例えば乳房の境界の外部）は活性化されずに済む。このようにして、入力画像の乳房ピクセル・データ又はバイオプシ・ウィンドウのピクセル・データがＣＮＮの畳み込み及び活性化に用いられ、乳房に関連しないピクセル・データ又はバイオプシ・ウィンドウの内部にないピクセル・データはＣＮＮの畳み込み及び活性化に用いられないようにすることができる。

例えば、入力画像の第一の無作為ピクセルが入力画像の乳房の境界の内部に位置し、入力画像の第二の無作為ピクセルが入力画像の乳房の境界の外部（例えば入力画像の背景）に位置し得る。第一の無作為ピクセルは、当該第一の無作為ピクセルが画像の相対的に明るい区域に位置することを示す「．８」のピクセル強度値を有し、第二の無作為ピクセルは、当該第二の無作為ピクセルが画像の相対的に暗い区域に位置することを示す「．３」のピクセル強度値を有し得る。入力画像のピクセル強度値の配列が１及び０のマスク配列と共にＣＮＮに入力されるときに、第一の無作為ピクセルの「．８」のピクセル強度値に、乳房の境界の内部に位置する結果としてマスク配列の対応する１が乗算され、入力値の新たな調節済み配列において「．８」のピクセル強度値を生成し得る。代替的には、第二の無作為ピクセルの「．３」のピクセル強度値に、乳房の境界の外部に位置する結果としてマスク配列の対応する０が乗算され、入力値の新たな調節済み配列において０のピクセル強度値を生成し得る。このように、入力値の新たな調節済み配列は、乳房に対応する入力画像の区域（例えば注目ピクセル）の元のピクセル強度値を含むと共に、乳房に対応しない入力画像の区域については０の入力値を含み得る。第一の畳み込み層での畳み込み及びドット積の計算時に、０の入力値に第一の畳み込み層のカーネル重みを乗算すると、結果として得られる値も０となる。乳房の外部の関連しないピクセルは畳み込み工程では意図的に考慮されないので、乳房の境界でよりよい品質の結果を得ることができる。

動作３０８では、方法３００は、入力画像の入力値を、ＣＮＮの入力層から１又は複数の隠れ層を通して出力層に到達するまでネットワークの各層を通して伝播させることを含んでいる。ＣＮＮはダウンサンプリングされた特徴についての畳み込みの連続した層で構成されているので、乳房域情報又はバイオプシ・ウィンドウ情報（例えばマスク）は、畳み込みが生ずる度毎に、畳み込みをそれぞれ乳房域又はバイオプシ・ウィンドウに限定するようにネットワークの各層にわたり伝播されダウンサンプリングされ得る。

動作３１０では、入力画像の入力値をネットワークの各層を通して伝播させる動作は、画像データ及びマスク・データについて畳み込み演算及び／又はプーリング演算を行ない、マスクをＣＮＮの畳み込み層及び全結合層に適用することを含み得る。画像データは、ＣＮＮのアーキテクチャに従って入力画像の元のピクセル強度値の配列とマスク配列２６４との乗算から得られる入力値から導かれ得る。例えば、図２（Ａ）及び図２（Ｂ）のＣＮＮ２０２に関連して述べると、ＣＮＮ２０２の第一の畳み込み層２０６において入力値について畳み込みが行なわれて、特徴マップ２０５を得ることができる。第一の畳み込み層２０６によって出力される特徴マップ２０５は、第一のプーリング層２０８においてプールされて、プールされた特徴マップ２０７を得ることができる。第一のプーリング層２０８によって出力されマスク２６６を乗算されたプールされた特徴マップ２０５のダウンサンプリングされた画像データが第二の畳み込み層２１０に入力されることができ、ここでダウンサンプリングされた画像について畳み込みが行なわれて、特徴マップ２０９を得ることができる。第二の畳み込み層２１０によって出力された特徴マップ２０９は、第二のプーリング層２１２においてプールされて、プールされた特徴マップ２１１を得ることができる。第二のプーリング層２１１によって出力されマスク２６８を乗算されたプールされた特徴マップ２１１のダウンサンプリングされた画像データが全結合層２１４に入力されることができ、これにより出力層２１６においてＣＮＮの出力を生成することができる。

幾つかの実施形態では、第一の畳み込み層２０６、第二の畳み込み層２１０、及び全結合層２１４の出力は、それぞれ第一のプーリング層２０８、第二のプーリング層２１２、及び出力層２１６に入力されるのに先立って活性化関数によって改変され得る。様々な実施形態において、活性化関数は正規化線形活性化関数（ＲｅＬＵ）であってよい。

ＣＮＮの入力層から出力層まで入力画像の入力値を伝播させる動作は、マスク配列のマスク・データ（例えば１及び０のような値）についてダウンサンプリングを行なって、マスクを畳み込み層及び全結合層に適用することを含み得る。幾つかの実施形態では、マスク・データについて行なわれるダウンサンプリングは、入力画像の入力値及び結果として得られる特徴マップについて行なわれるプーリングと同じであってよい。

このようにして、ＣＮＮによって訓練セットの各々の入力画像が処理されてダウンサンプリングされ得ると共に、対応するマスクもＣＮＮによって同じく処理されてダウンサンプリングされ得る。各々の畳み込み層において、適当に拡縮された（例えば入力画像の拡縮に一致する）マスクを用いて、図２（Ａ）に関して上で述べたように入力画像の乳房に関係しないデータを除外する。加えて、畳み込みを行なうときに、バイアス値を加えてもよく、バイアス値は入力画像の乳房に関係するデータについての乗算を実行するときに含まれ、入力画像の乳房に関係しないデータについての乗算を実行するときにはこのバイアス値を含めないようにすることができる。

幾つかの実施形態では、畳み込み演算及びプーリング演算はマスクについてはＣＮＮによって行なわれなくてもよく、マスクはＣＮＮの外部でダウンサンプリングされて、ダウンサンプリングされたマスクがＣＮＮのそれぞれの畳み込み層及び／又は全結合層に戻して入力されてもよい。マスクは、入力画像データについて行なわれるプーリング演算と同じ又は類似した演算を介してダウンサンプリングされてもよいし、入力画像データについて行なわれるプーリング演算とは異なる演算を介してダウンサンプリングされてもよい。例えば、ＣＮＮのプーリング層では最大プーリング戦略を用いているが、マスクはＣＮＮの外部でプーリング層の出力の寸法に一致するように異なるダウンサンプリング戦略を介してダウンサンプリングされ得る。

動作３１２では、方法３００は、ＣＮＮの出力を生成することを含んでいる。出力は、ＣＮＮの出力層（例えば図２（Ａ）及び図２（Ｂ）の出力層２１６）の活性化であってよい。幾つかの実施形態では、出力は、図２（Ａ）及び図２（Ｂ）に関して上で述べたように入力画像の乳房の分類であってよい。出力は、乳房検査に関連付けられる１又は複数の物理的パラメータに基づき得る。幾つかの実施形態では、１又は複数の物理的パラメータは、乳房撮像報告及びデータ・システム（ＢＩ－ＲＡＤ）の規準、又は悪性度に基づいてマンモグラフィ画像又は画像容積を等級評価する類似の体系を含み得る。例えば、乳房分類は、悪性腫瘍の可能性を示すＢＩ－ＲＡＤＳ評価カテゴリ（例えばＢＩ－ＲＡＤＳ０からＢＩ－ＲＡＤＳ６）の二値符号であってよい。他の実施形態では（例えばバイオプシ画像又は画像容積について用いられるときに）、ＣＮＮの出力は異なる情報を含み得る。例えば、１又は複数の物理的パラメータは、乳房の腫瘍又は病変の位置決定情報を含むことができ、これによりこの位置決定情報を用いてバイオプシ時に医師に誘導の合図を与えることができる。

動作３１４では、方法３００は、逆伝播を介してＣＮＮの複数の重み及びバイアスを調節することを含んでいる。様々な実施形態において、ＣＮＮの複数の重み及びバイアスを調節する動作は、ＣＮＮの出力と、動作３０２で受け取られて入力画像と共にＣＮＮに入力される入力画像の目標正解値（例えば図２（Ａ）の目標分類２３６又は図２（Ｂ）の正解値病変情報２６０）との間の差を算出することを含み得る。ＣＮＮの複数の重み及びバイアスは、出力と、関連のある訓練対からの目標正解値との間の差に基づいて調節され得る。損失関数によって決定された差（又は損失）がＣＮＮを通して逆伝播されて、畳み込み層の重み（及びバイアス）を更新することができる。幾つかの実施形態では、損失の逆伝播は最急降下アルゴリズムに従って生ずることができ、ここでＣＮＮの各々の重み及びバイアスについて損失関数の勾配（一階導関数又は一階導関数の近似）が決定される。ＣＮＮの各々の重み（及びバイアス）は、予め決められた刻み幅で重み（又はバイアス）について決定された（又は近似された）勾配の積の負値を加算することにより更新され得る。逆伝播は、最後の層から第一の層まで後ろ向きに繰り返して一度に層一つずつ勾配を算出することを含み得る。方法３００は、ＣＮＮの重み及びバイアスが収束するまで、又は方法３００の各々の繰り返しについてＣＮＮの重み及び／又はバイアスの変化率が変化率閾値を下回るまで繰り返され得ることを特記しておく。

方法３００には記載していないが、過剰適合を回避するために、ＣＮＮの訓練は周期的に中断されて試験訓練対を含む試験セットについてＣＮＮの性能を確認し得ることを認められたい。一例では、訓練セットの訓練対及び試験セットの試験訓練対の両方をより大きい訓練データセットから無作為に選択することができる。幾つかの実施形態では、ＣＮＮの訓練は、試験訓練対についてのＣＮＮの性能が収束したとき（例えば試験セットについての誤り率が最小値に収束したとき）に完了し得る。

動作３１６では、逆伝播を介してＣＮＮの複数の重み及びバイアスを調節する動作は、各々の畳み込み層及び１又は複数の全結合層での逆伝播時に、適当にダウンサンプリングされたマスクを適用することを含み得る。例えば、図２（Ａ）のニューラル・ネットワーク訓練システム２００の実施形態２５０の下での２Ｄバイオプシ画像についての逆伝播時には、全結合層２１４では第三の２Ｄバイオプシ・ウィンドウ・マスク２６８が適用され、第二の畳み込み層２１０では第二の２Ｄバイオプシ・ウィンドウ・マスク２６６が適用され、第一の畳み込み層２０６では元の２Ｄバイオプシ・ウィンドウ・マスク２６４が適用され得る。

損失がネットワークを通して逆伝播されるときには、ＣＮＮの全結合層２１４の各々のノードが第二のプーリング層２１２のプールされた特徴マップ２１１のノードに接続され得る。プールされた特徴マップ２１１のノードは、第二の畳み込み層２１０の３×３のピクセル群からの入力を受け取ることができる。逆伝播時には、第二の畳み込み層２１０のフィルタの９つのノードに関連付けられている９つの重みが、逆伝播アルゴリズムに従って調節され得る。９つのノードの９つの重みを調節するのに先立って、損失は、順通過時に第二の畳み込み層２１０において用いられた第二の２Ｄバイオプシ・ウィンドウ・マスク２６６によって示される予め画定された領域の内部で逆伝播され、且つ予め画定された領域の外部では逆伝播されず、ここでは対応する値は、第二の畳み込み層２１０の関連ノードの位置と対応した第二の２Ｄバイオプシ・ウィンドウ・マスク２６６の位置での値である。

同様に、ＣＮＮの第二の畳み込み層２１０の各々のノードが第一のプーリング層２０６のプールされた特徴マップ２０７のノードに接続され得る。プールされた特徴マップ２０７のノードは、第一の畳み込み層２０６の３×３ピクセル群からの入力を受け取ることができる。逆伝播時には、第一の畳み込み層２０６のフィルタの９つのノードに関連付けられている９つの重みが、逆伝播アルゴリズムに従って調節され得る。９つのノードの９つの重みを調節するのに先立って、損失は、順通過時に第一の畳み込み層２０６において用いられた元の２Ｄバイオプシ・ウィンドウ・マスク２６４によって示される予め画定された領域の内部で逆伝播され、且つ予め画定された領域の外部では逆伝播されず、ここでは対応する値は、第一の畳み込み層２０６に入力された入力画像の位置と対応した第一のダウンサンプリングされたマスクの値の配列の内部の位置での値である。

幾つかの実施形態では、マスクはあらゆる畳み込み層毎に適用されなくてもよく、又は逆伝播時に用いられなくてもよい（例えば学習時）。例えば、順通過時に元の２Ｄ乳房マスク又は２Ｄバイオプシ・ウィンドウ・マスクが入力層においてのみ適用されてもよいし、或いは畳み込み層及び／又は全結合層を通した伝播時に元の２Ｄ乳房マスク又は２Ｄバイオプシ・ウィンドウ・マスク、及びダウンサンプリングされた２Ｄ乳房マスク又は２Ｄバイオプシ・ウィンドウ・マスクが適用され得るが、これらのマスクが逆伝播時には適用されなくてもよい。乳房情報は、訓練時に幾つかの畳み込み層において用いられなかったり逆伝播に用いられなかったりすると、後の推論段階時に乳房分類、病変検出、及び／又は病変位置決定を行なうために訓練済みＣＮＮが後に用いられるときにＣＮＮの性能が負の影響を蒙り得る。

一実施形態では、既存の機械学習ライブラリを活用するために、一旦訓練されたら、０のみの２Ｄ全背景画像をＣＮＮに入力して、最後の畳み込み層２１２において出力される一組の背景特徴を収集することができる。続いて訓練済みＣＮＮが患者の乳房の新たな２Ｄ入力画像について展開されて、計算時間を短縮するように２Ｄ乳房マスク又は２Ｄバイオプシ・ウィンドウ・マスクを適用するときには、最後の畳み込み層で得られる一組の出力特徴のうち乳房域の外部（例えばマスクの外部）の区域に対応する部分を、一組の背景特徴のうち乳房域の外部の区域に対応する部分で置き換えることができる。一組の出力特徴の部分を一組の背景特徴の対応する部分で置き換えることにより、マスクありで訓練されたＣＮＮの出力と、なしで訓練されたＣＮＮの出力との間での齟齬を減少させことができる。このようにして、マスクの利用を許可しない場合もある入手可能な機械学習ライブラリを訓練目的に用いることができる一方で、性能及び／又は精度に対する影響を限定しつつマスクを推論段階時の速度向上に用いることができる。幾つかのシナリオでは、畳み込みが幾分かの乳房データ及び幾分かの背景データに関わり得るような乳房の境界の問題に対処するために、付加的な処理を用いることができる。

図３（Ｂ）には、高分解能２Ｄ ＦＦＤＭ画像及び／又は２Ｄバイオプシ画像において検出、位置決定、及び／又は分類を行なうように図２（Ａ）及び図２（Ｂ）のＣＮＮ２０２のようなＣＮＮを展開する例示的な方法３５０の流れ図が示されている。方法３５０は、図１の画像処理システム１０２の推論モジュール１１２のような画像処理システムの推論モジュールの内部で実装され得る。一実施形態では、方法３５０の１又は複数の動作は、図１の画像処理システム１０２の非一過性メモリ１０６のような非一過性メモリに記憶されて、図１の画像処理システム１０２のプロセッサ１０４のようなプロセッサによって実行され得る。

幾つかの実施形態では、ＣＮＮはＦＦＤＭ画像分類ネットワークであってよく、ここでは入力画像は２Ｄ ＦＦＤＭ画像（例えば図２（Ａ）のＦＦＤＭ画像２０４）であってよい。他の実施形態では、ＣＮＮは２Ｄバイオプシ画像病変検出及び／又は位置決定ネットワークであってよく、ここでは入力画像は２Ｄバイオプシ画像（例えば２Ｄバイオプシ画像２５２）であってよい。

方法３５０は動作３５２で開始し、ここでは方法３５０は患者から新たな入力画像を受け取ることを含んでいる。様々な実施形態において、新たな入力画像は、診療所において診断又は解析のためにＸ線機械によって走査され得る。様々な実施形態において、新たな入力画像は、実時間でＸ線機械によって走査された複数の新たな入力画像のうち一つの画像である。

動作３５４では、方法３５０は、新たな入力画像用のマスクを生成することを含んでいる。新たな入力画像がＦＦＤＭ画像であるような実施形態では、マスクは前述の図２（Ａ）の２Ｄ乳房マスク２１８のような２Ｄ乳房マスクであってよい。新たな入力画像が２Ｄバイオプシ画像であるような実施形態では、マスクは前述の図２（Ｂ）の２Ｄバイオプシ・ウィンドウ・マスク２１８のような２Ｄバイオプシ・ウィンドウ・マスクであってよい。様々な実施形態において、マスクは、図２（Ａ）及び図２（Ｂ）のマスク生成器２３５のようなマスク生成器によって生成され得る。マスクを生成するために、図３（Ａ）に関して上で述べたようなＣＮＮの訓練時に用いられたものと同様の手順を用いてもよいし、異なる手順を用いてもよい。例えば、マスク生成器は、事前訓練済みニューラル・ネットワーク及び／又は機械学習アルゴリズムを用いて、新たな入力画像の乳房を検出し且つ／又はセグメント分割してもよいし（例えば乳房セグメント分割モデル）、マスク生成器は、現場固有（ローカル）のバイオプシ手順又は設備に従って２Ｄバイオプシ・ウィンドウ・マスクを生成してもよい。続いて、マスク生成器は新たな入力画像の寸法を有する１及び０の配列を生成することができ、ここでは新たな入力画像の各々のピクセルに１又は０の何れかが割り当てられる。新たな入力画像のピクセルが乳房又はバイオプシ・ウィンドウの境界の内部に含まれている場合には、対応する位置にある１及び０の配列のピクセルに１を割り当てることができる。代替的には、ピクセルが乳房又はバイオプシ・ウィンドウの境界の内部に含まれていない場合には、対応する位置にある１及び０の配列のピクセルに０を割り当てることができる。ピクセルが乳房又はバイオプシ・ウィンドウの境界の上に含まれる場合には、マスクを膨張させても収縮させてもよいし、特定の実装形態に依存して異なる態様で調節してもよい。

動作３５６では、方法３５０は、訓練対の新たな入力画像及び該新たな入力画像に割り当てられたマスクをＣＮＮの第一の畳み込み層（例えば図２（Ａ）及び図２（Ｂ）のＣＮＮ２０２の第一の畳み込み層２０６）に入力することを含んでいる。図３（Ａ）に関して上で述べたように、新たな入力画像は、当該新たな入力画像の各々のピクセルのピクセル強度値の配列へ変換されることができ、マスクは同様の寸法を有する１及び０のマスク配列であり得る。新たな入力画像及びマスクをＣＮＮの第一の畳み込み層に入力する動作は、各々のピクセルのピクセル強度値にマスク配列の対応する値（例えば新たな入力画像でのピクセルの位置に対応する値）を乗算することを含み得る。各々のピクセルのピクセル強度値にマスク配列の対応する値を乗算する結果として、入力値の新たな調節済み配列を生成することができ、この配列では新たな入力画像の乳房の境界の内部のピクセル強度値は保存され、乳房の境界の外部のピクセル強度値は０へ変換される。幾つかの実施形態では、ノードが新たな入力画像の背景域を指示するマスク値に関連付けられた入力データを受け取ったとき（例えば入力データが乳房情報を含んでいない場合）に、ノードの活性化を選択的に阻止するために異なるアルゴリズムを用いてもよい。このようにして、新たな入力画像の乳房ピクセル・データ又はバイオプシ・ウィンドウのピクセル・データがＣＮＮの畳み込み及び活性化に用いられ、乳房に関連しないピクセル・データ又はバイオプシ・ウィンドウの内部に位置しないピクセル・データはＣＮＮの畳み込み及び活性化に用いられないようにすることができる。

動作３５８では、方法３５０は、新たな入力画像の入力値を、ＣＮＮの入力層から１又は複数の隠れ層を通して出力層に到達するまでネットワークの各層を通して伝播させることを含んでいる。ＣＮＮはダウンサンプリングされた特徴についての畳み込みの連続した層で構成されているので、乳房域情報又はバイオプシ・ウィンドウ情報は、畳み込みが生ずる度毎に、畳み込みをそれぞれ乳房域又はバイオプシ・ウィンドウに限定するようにネットワークの各層にわたり伝播されダウンサンプリングされ得る。

動作３６０では、図３（Ａ）に関して上で述べたように、新たな入力画像の入力値をネットワークの各層を通して伝播させる動作は、画像データ及びマスク・データについてプーリング演算を行ない、マスクをＣＮＮの畳み込み層及び全結合層に適用することを含み得る。

幾つかの実施形態では、ＣＮＮの各層（例えば図２（Ａ）及び図２（Ｂ）の第一の畳み込み層２０６、第二の畳み込み層２１０、及び全結合層２１４）の出力は、ＣＮＮのプーリング層及び出力層（例えば図２（Ａ）及び図２（Ｂ）の第一のプーリング層２０８、第二のプーリング層２１２、及び出力層２１６）への入力に先立って活性化関数によって改変され得る。

ＣＮＮの入力層から出力層まで新たな入力画像の入力値を伝播させる動作は、マスク・データ（例えば１及び０のような値）についてプーリングを行なって、マスクを畳み込み層及び全結合層に適用することを含み得る。マスク・データについて行なわれるプーリングは、新たな入力画像の入力値及び結果として得られるダウンサンプリングされた画像データについて行なわれるプーリングと同じであってよく、ここでは訓練時に、各々の新たな入力画像がＣＮＮによって処理されダウンサンプリングされるのに伴って、マスクもＣＮＮによって同じく処理されダウンサンプリングされ得る。代替的には、異なる動作を用いてマスク・データをダウンサンプリングすることもでき、ダウンサンプリングはＣＮＮの処理の部分として行なわれてもＣＮＮの外部で行なわれてもよく、ダウンサンプリングされたマスクは前述のように関連のある畳み込み層においてＣＮＮに入力される。結果として、本書に記載されているように、各々の畳み込み層において、適当に拡縮された（例えば新たな入力画像の拡縮に一致する）マスクを用いて、新たな入力画像の乳房に関連しないデータを除外することができる。

動作３６２では、方法３５０は、ＣＮＮの出力を生成することを含んでいる。出力は、ＣＮＮの出力層（例えば図２（Ａ）及び図２（Ｂ）の出力層２１６）の活性化であってよい。出力は、乳房の二項分類（例えば悪性対悪性でない）であってもよいし、腫瘍／病変の存在若しくは不在、寸法、位置、浸潤性、悪性か悪性でないか、及び／又は他のデータのような乳房の様々なデータを含む二値符号であってよい。

動作３６４では、方法３５０は、画像処理システムの表示装置にＣＮＮの出力を表示し、且つ／又は後の利用及び／若しくは解析のために出力を記憶することを含んでいる。様々な実施形態において、出力は画像処理システムのデータベース（例えば図２の画像処理システム２０２の医用画像データ１１４）に記憶され得る。前述のように、新たな入力画像が２Ｄバイオプシ画像であるような実施形態では、バイオプシ手順時に分類の位置情報を用いて生検針の誘導を支援することができる。

このように、ＣＮＮの推論段階での展開時に行なわれる全演算数が、乳房又はバイオプシ・ウィンドウに関連のある画像データを保存しつつ乳房又はバイオプシ・ウィンドウに関連しない画像データを阻止することにより著しく減少し得る。乳房又はバイオプシ・ウィンドウに関連しない画像データを阻止すると、診療所設定での検査又はバイオプシでの利用時に計算時間を短縮して、結果としてより高速の検査時間及び改善された患者経験価値を得ることができる。また、乳房又はバイオプシ・ウィンドウに関連しない画像データを阻止すると、ＣＮＮ全寸画像を供給することに比較してＣＮＮの性能を改善して、改善された転帰を得ることができる。

ニューラル・ネットワーク訓練システム２００はまた、図４（Ａ）及び図４（Ｂ）に示すようなＤＢＴ画像容積及び／又はＤＢＴバイオプシ画像容積のような３Ｄ画像容積を分類するようにＣＮＮ２０２を訓練することにも用いられ得る。

図４（Ａ）には、ニューラル・ネットワーク訓練システム２００の第三の実施形態４００が示されており、ＣＮＮ２０２は人間の乳房の３Ｄ ＤＢＴ画像容積（例えばマンモグラム）において異常を検出するように訓練され得る。ＣＮＮ２０２は、図３（Ａ）の方法３００のような方法の１又は複数の動作に従って訓練され得る。ＣＮＮ２０２は、ＤＢＴ走査装置４０２（例えばＸ線装置）によって形成されてニューラル・ネットワーク訓練システム２００の画像データベース２２４に記憶され得る３Ｄ ＤＢＴ画像容積について訓練され得る。

ＣＮＮ２０２は、複数の入力／目標訓練対を含み得る訓練データセット４０４について訓練され得る。複数の入力／目標訓練対は、図３（Ａ）に関して上で述べたようにデータセット生成器２２８によって生成され得る。入力／目標訓練対は、ＣＮＮ２０２への入力として乳房のＤＢＴ画像容積４１２と、目標として乳房の画像容積分類又は病変位置決定４１０とを含み得る。図４（Ａ）ではＤＢＴ画像容積４１２は一組の３Ｄスライス又はスラブ４１１として図示されており、ここではＤＢＴ画像容積４１２の各々の３Ｄスライス４１１が１又は複数のボクセルに対応する奥行きを有する。

例えば、第一の入力／目標訓練対は、第一のＤＢＴ画像容積４１２と、乳房に異常が検出されなかったことを示す０の対応する画像容積分類とを含み得る。第二の入力／目標訓練対は、第二のＤＢＴ画像容積４１２と、乳房に異常（例えば病変及び腫瘍等）が検出されたことを示す１の対応する画像容積分類とを含み得る。他の実施形態では、図２（Ａ）に関して上で述べたような付加的な分類を含めてもよい。さらに他の実施形態では、ＣＮＮ２０２は分類タスクを行なわなくてもよく、異なる及び／又は付加的な情報を、ＣＮＮ２０２の訓練時に正解値の目標データとして用いてもよい。

マスク生成器２３０は、ＤＢＴ画像容積４１２用のマスクを生成し得る。具体的には、訓練データセット２３４の各々の入力／目標訓練対のＤＢＴ画像容積４１２に、対応する３Ｄ乳房マスク４１４を割り当てることができる。３Ｄ乳房マスク４１４は、対応するＤＢＴ画像容積４１２の寸法及び奥行きを有するビット（１及び０によって表わされる）の三次元（３Ｄ）配列であってよく、ここで３Ｄ乳房マスク４１４は、対応するＤＢＴ画像容積４１２の各々のボクセルについて１又は０を含んでいる。このように、３Ｄ乳房マスク４１４の各々のビットと、ＤＢＴ画像容積４１２の各々のボクセルとの間に１対１の対応関係が存在し得る。前述のように、３Ｄ乳房マスク４１４の各々のビットについての１又は０の選択は、ＤＢＴ画像容積４１２の対応するボクセルが乳房データを含んでいるか背景データを含んでいるかに依存し得る。３Ｄ ＤＢＴ画像容積４１２の場合と同様に、３Ｄ乳房マスク４１４は、一連の３Ｄ乳房マスク・スライス又はスラブ４１３を含み得る。各々の３Ｄ乳房マスク・スライス４１３がビットの２Ｄ配列として表わされることができ、この配列の各々のビットを用いてＤＢＴ画像容積４１２の対応する３Ｄスライス４１１の対応するボクセル強度値をマスクすることができる。

様々な実施形態において、３Ｄ乳房マスク４１４は、ＤＢＴ画像容積４１２の画像再構成時に生成され得る。例えば、画像再構成時には、２Ｄ投影データが取得され逆投影されて、３Ｄ ＤＢＴ画像容積４１２を形成し得る。同時に、２Ｄ投影データの各々の投影について、投影の乳房域を算出して（例えばセグメント分割モデルを介して）、当該投影用の対応する２Ｄ乳房マスクを生成することができる。ＤＢＴ画像容積４１２が２Ｄ投影データを逆伝播させることにより再構成されるときに、対応する２Ｄ乳房マスクが逆投影されて対応する３Ｄ乳房マスク４１４を生成することができる。

ニューラル・ネットワーク訓練システム２００の実施形態４００は、図３（Ａ）の方法３００によって記載されたような２Ｄ ＦＦＤＭ画像についてのニューラル・ネットワーク訓練システム２００の訓練と実質的に同様の態様で訓練され得る。実施形態４００のＣＮＮ２０２の訓練時に、ＤＢＴ画像容積４１２は一度に一つずつの３Ｄスライス４１１としてＣＮＮ２０２に入力され得る。例えば、ＤＢＴ画像容積４１２の第一の３Ｄスライス４１１のボクセル強度値の２Ｄ配列は、上で図２（Ａ）に関して２Ｄ乳房画像について記載された態様でＣＮＮ２０２に入力され得る。続いて、ＤＢＴ画像容積４１２の第二の３Ｄスライス４１１のボクセル強度値の２Ｄ配列がＣＮＮ２０２に入力されることができ、続いて第三の３Ｄスライス４１１等、ＤＢＴ画像容積４１２の３Ｄスライス４１１の全て（又は十分な数）がＣＮＮ２０２に入力されるまで以下同様である。

換言すると、３Ｄ画像容積はＣＮＮ２０２によって一連の２Ｄ画像として処理されることができ、ここではボクセル強度値がピクセル強度値の代わりに置き換えられる。このように、順通過でのＣＮＮ２０２を通した画像容積データの伝播、及び重み調節（例えば学習）相での損失データの逆伝播が、図３（Ａ）の方法３００に記載したようにして行なわれ得る。もう一つの実施形態では、ＣＮＮ２０２は、入力として３Ｄ容積を３Ｄマスクと共に受け取って３０６、３Ｄ畳み込み演算及び３Ｄプーリング演算が、隣り合ったスライス又はスラブからの情報を相関付けるのを可能にすることができる。ＤＢＴ画像容積４１２がＣＮＮ２０２の第一の畳み込み層２０６に入力されるときに、対応する３Ｄ乳房マスク４１４も第一の畳み込み層２０６に入力され得る。３Ｄ乳房マスク４１４は、前述のようにＤＢＴ画像容積４１２の背景域（例えば人間の乳房を含まない区域）からのＣＮＮ２０２への入力を選択的に阻止し得る。各々の３Ｄ乳房マスク４１４は、１及び０を含む値の配列としてＣＮＮ２０２に入力されることができ、ここで値の配列の各々の値にＤＢＴ画像容積４１２の対応するボクセル入力を乗算する。加えて、入力画像及びマスクをＣＮＮの第一の畳み込み層に入力する動作は、各々のボクセルにおいてマスクを用いて、着目ボクセルにおいて畳み込みを実行すべきか否かを決定することを含み得る。

図２（Ａ）に関して上で述べた態様で、一連の３Ｄ画像データ・スライス４１５を含む第二の３Ｄ乳房マスク４１６が第二の畳み込み層２１０に入力されることができ、ここで第二の３Ｄ乳房マスク４１６は３Ｄ乳房マスク４１４をダウンサンプリングしたものであり、また一連の３Ｄ画像データ・スライス４１５を含む第三のダウンサンプリングされた３Ｄ乳房マスク４１８が第二のプーリング層２１２の出力と共に全結合層２１４に入力され得る。畳み込み時に３Ｄ乳房マスク４１４、４１６、及び４１８を適用する結果として、訓練時に実行される計算の総数のうちかなりの百分率を回避するか又は実行されるときには０との乗算を含むことができ、これにより訓練時のＣＮＮ２０２の計算時間及び性能を削減することができる。

訓練の後に、ＣＮＮは図３（Ｂ）の方法３５０に記載されたようにして展開されることができ、ここでは２Ｄ ＦＦＤＭ画像又は２Ｄバイオプシ画像とは異なり、入力されるＤＢＴ画像容積が受け取られる。３Ｄ乳房マスクは、図２（Ａ）に関して上で述べた態様で患者について生成され又は選択されることができ（例えばマスク生成器２３０を用いて）、またマスクされたボクセル強度値を訓練済みＣＮＮ２０２を通して伝播させて出力分類を生成することができる。患者についてのＣＮＮ２０２の展開時に掛かる計算時間も同様に短縮され得る。

図４（Ｂ）には、ニューラル・ネットワーク訓練システム２００の第四の実施形態４５０が示されており、ＣＮＮ２０２は乳房の３Ｄ ＤＢＴバイオプシ画像容積において異常を検出するように訓練され得る。ＣＮＮ２０２は、バイオプシ・ウィンドウの内部で病変を検出するように訓練されることができ、ここでバイオプシ・ウィンドウは、病変が位置決定され得る関心走査領域であり、バイオプシ・ウィンドウの外部の画像データは無視され得る。バイオプシ・ウィンドウの外部で畳み込みを実行しないことにより、前述のように、訓練時及び推論時のＣＮＮ２０２の計算時間を短縮することができる。ＣＮＮ２０２の展開時には、生検針を誘導しているときに（例えば組織標本を抽出するために）、訓練済みＣＮＮ２０２によって表示画面（例えば図１の画像処理システム１０２のような画像処理システムの表示画面）上で誘導の合図又は指示を医師に与えることができる。

ここでもやはりＣＮＮ２０２は図３（Ａ）の方法３００の１又は複数の動作に従って訓練され、また図３（Ｂ）の方法３５０の１又は複数の動作に従って展開され得る。ＣＮＮ２０２は、画像ＤＢ２２４に記憶され得る３Ｄバイオプシ画像容積について訓練され得る。訓練が完了した後に、訓練済みＣＮＮ２０２は、図１の画像処理システム１０２の推論モジュール１１２のような画像処理システムの推論モジュールに展開され得る。

ニューラル・ネットワーク訓練システム２００の第四の実施形態４５０では、ＣＮＮ２０２は、複数の入力／目標訓練対を含み得る訓練データセット４５４について訓練され得る。複数の入力／目標訓練対は、図３（Ａ）に関して上で述べたようにデータセット生成器２２８によって生成され得る。入力／目標訓練対は、ＣＮＮ２０２への入力として乳房の３Ｄバイオプシ画像容積４６２と、目標データとして乳房の画像容積正解値データ４６０とを含み得る。図４（Ｂ）では、３Ｄバイオプシ画像容積４６２は一組の３Ｄスライス４６１として図示されており、ここで３Ｄバイオプシ画像容積４６２の各々の３Ｄスライス４６１が１ボクセルの奥行きを有する。

画像データベース２２４に記憶される３Ｄバイオプシ画像容積４６２は、ＤＢＴバイオプシ走査装置４５２（例えばＸ線機械）によって生成され得る。各々の３Ｄバイオプシ画像容積４６２に関連付けられる正解値データが、図３（Ａ）に関して上で述べたようにデータセット生成器２２８の正解値割り当て工程２３２によって割り当てられ得る。

図４（Ａ）のＤＢＴ画像容積４１２の場合と同様に、マスク生成器２３０は３Ｄバイオプシ画像容積４６２用のマスクを生成し得る。具体的には、訓練データセット４５４の各々の入力／目標訓練対の３Ｄバイオプシ画像容積４６２は、一連の３Ｄバイオプシ・ウィンドウ・マスク・スライス４６３を含む対応する３Ｄバイオプシ・ウィンドウ・マスク４６４に関連付けられることができ、３Ｄバイオプシ・ウィンドウ・マスク４６４の各々のビットと３Ｄバイオプシ画像容積４６２の各々のボクセルとの間に１対１の対応関係が存在する。３Ｄバイオプシ・ウィンドウ・マスク４６４の各々のビットについての１又は０の選択は、３Ｄバイオプシ画像容積４６２の対応するボクセルが３Ｄバイオプシ画像容積４６２の３Ｄバイオプシ・ウィンドウの内部に位置しているか否かに依存し得る。

ニューラル・ネットワーク訓練システム２００の実施形態４５０は、図３（Ａ）の方法３００によって上で記載されたような３Ｄ ＤＢＴ画像についてのニューラル・ネットワーク訓練システム２００の訓練と実質的に同様の態様で訓練され得る。実施形態４５０でのＣＮＮ２０２の訓練時に、３Ｄバイオプシ画像容積４６２は一度に一つずつの３Ｄスライス４６１としてＣＮＮ２０２に入力され得る。

３Ｄバイオプシ画像容積４６２がＣＮＮ２０２の第一の畳み込み層２０６に入力されるときに、対応する３Ｄバイオプシ・ウィンドウ・マスク４６４も第一の畳み込み層２０６に入力され得る。３Ｄバイオプシ・ウィンドウ・マスク４６４は、図２（Ｂ）に関して上で述べたように、バイオプシ・ウィンドウの外部の３Ｄバイオプシ画像容積４６２の区域からのＣＮＮ２０２への入力を選択的に阻止し得る。各々の３Ｄバイオプシ・ウィンドウ・マスク４６４は、１及び０を含む値の配列としてＣＮＮ２０２に入力されることができ、ここで値の配列の各々の値に３Ｄバイオプシ画像容積４６２の対応するボクセル入力を乗算する。加えて、入力画像及びマスクをＣＮＮの第一の畳み込み層に入力する動作は、各々のボクセルにおいてマスクを用いて、着目ボクセルにおいて畳み込みを実行すべきか否かを決定することを含み得る。

図２（Ａ）に関して上で述べた態様で、一連の３Ｄバイオプシ・ウィンドウ・マスク・スライス４６５を含む第二の３Ｄバイオプシ・ウィンドウ・マスク４６６が第二の畳み込み層２１０に入力されることができ、ここで第二の３Ｄバイオプシ・ウィンドウ・マスク４６６は３Ｄバイオプシ・ウィンドウ・マスク４６４をダウンサンプリングしたものである。また、一連の３Ｄバイオプシ・ウィンドウ・マスク・スライス４６７を含む第三のダウンサンプリングされた３Ｄバイオプシ・ウィンドウ・マスク４６８が、第二のプーリング層２１２の出力と共に全結合層２１４に入力され得る。畳み込み時に３Ｄバイオプシ・ウィンドウ・マスク４６４、４６６、及び４６８を適用する結果として、訓練時に実行される計算の総数のうちかなりの百分率を回避するか又は０の乗算を含むことができ、これにより訓練時及び展開時のＣＮＮ２０２の計算時間を短縮することができる。さらに、図３（Ｂ）の方法３５０に関して記載されるように、訓練済みＣＮＮ２０２を用いて、画像処理システム（例えば図１の画像処理システム１０２）の表示画面に医師のための誘導の合図を生成することができる。

図５へ移ると、ニューラル・ネットワーク訓練システム２００の第五の実施形態５００が示されており、同図ではパッチ方式訓練を用いて３Ｄ画像容積５０２についてＣＮＮ２０２を訓練している。３Ｄ画像容積５０２は図５００では４つのスライス又はスラブ５０３の組として表わされている。幾つかの実施形態では、パッチ方式訓練を用いると、マスクを用いてネットワーク性能を高めると共に計算時間を短縮することができ、ＣＮＮは、全画像ではなく入力画像のうち一組のパッチからの画像データの部分集合を用いて訓練される。この一組のパッチは、健常なＲＯＩ及び異常のあるＲＯＩの両方を含む乳房のＲＯＩに対応し得る。図５は、３Ｄ画像容積５０２の乳房５１４の一例の３Ｄパッチ５１０及び一例の３Ｄパッチ５１２を示している。

典型的な実装形態では、この一組のパッチは固定寸法を有することができ、画像入力はパッチ寸法に合わせて設計され得る。ＣＮＮは、パッチについて訓練された後に、全寸画像に合わせて寸法変更され得る。しかしながら、パッチ寸法と病変寸法とが十分に一致しない場合もある。小さいパッチは、スピキュラを伴う腫瘤のような大きい病変の全範囲を捉えることができない場合がある。一方、大きいパッチについては、石灰化の小さいクラスタを表わすピクセルが少なめに表現される場合もある。典型的なアプローチは、パッチ寸法に合わせて病変区域を歪ませる（warp）ものである。しかしながら、病変区域を歪ませると画像分解能の変化を招く場合があり、特に検出器分解能に近い病変の特徴を扱うときにネットワーク性能に負の影響を及ぼし得る。

本書に開示されるように、マスクを用いて、パッチ寸法に合わせて病変区域を歪ませることにより生ずる問題を回避することができる。ＣＮＮ２０２は全寸の画像又は画像容積を扱うように寸法設定され得るが、学習工程は、３Ｄパッチ・マスク５０４を用いることにより、パッチに含まれるボクセル（又は２Ｄ画像による実施形態ではピクセル）に限定され得る。３Ｄパッチ・マスク５０４を図５には一組の３Ｄスライス５０５として示しており、同図ではスライス５０５は各々、３Ｄ画像容積５０２のスライス５０３に対応し得る。パッチ・マスク５０４の各々のスライス５０５が１及び０の配列を含むことができ、０は３Ｄパッチ５１０及び５１２の外部のボクセルに割り当てられ、１は３Ｄパッチ５１０及び５１２の内部のボクセルに割り当てられる。このアプローチを用いて、パッチ寸法を各々の病変寸法に最適に適合するように変化させることができる。幾つかの実施形態では、病変パッチとは重ならないようにした非病変パッチ・マスク５０４をコンピュータによって生成することができる。

２Ｄ及び３Ｄの乳房マスク及びバイオプシ・ウィンドウ・マスクに関して上で述べたように、パッチの位置において画像データを伝播させ、ダウンサンプリングし、逆伝播させることにより、計算時間をさらに短縮させつつＣＮＮの性能を高めることができる。例えば、パッチ・マスク５０４はダウンサンプリングされて第一のダウンサンプリングされたパッチ・マスク５０６を生成することができ、このパッチ・マスク５０６を第二の畳み込み層２１０に入力することができる。第一のダウンサンプリングされたパッチ・マスク５０６はさらにダウンサンプリングされて、第二のダウンサンプリングされたパッチ・マスク５０８を生成することができ、このパッチ・マスク５０８を全結合層２１０に入力することができる。パッチ・マスク５０４、５０６、及び５０８はまた、３Ｄ乳房マスクに関して上で述べたように、逆伝播時の重み調節のためにも適用され得る。

このように、ＣＮＮ２０２の全ての層において適用されるマスクを用いて、乳房又はバイオプシ・ウィンドウに関連のある画像データを保存しつつ、バイオプシ・ウィンドウの外部の乳房又は画像データに関連しない画像データを阻止することにより、ＣＮＮ２０２の訓練時及び展開時に行なわれる演算の総数及び計算の複雑さを著しく減少させることができる。マスクは伝播時には、マスクと入力画像との間の１対１の対応関係を保存するように入力画像と共にダウンサンプリングされ得る。提案したアプローチは計算時間の短縮を容易にするばかりでなく、背景データは臨床情報を担っていない場合があるためＣＮＮ２０２に全寸画像を供給することに比較して乳房について分類タスク又は病変検出タスクを上首尾に行なうことができる点で、ＣＮＮ２０２の性能を高め得る。加えて、マスクをパッチによる訓練段階でも用いて、計算時間を短縮することができる。計算時間を短縮することにより、深層学習モデルをより速やかに作成、更新、及び洗練化することができ、よりよい患者転帰に繋がる。さらに、検査の持続時間を短縮することができ、改善された顧客の経験価値に繋がる。

ＣＮＮのあらゆる畳み込み層においてＣＮＮの訓練時に乳房に関係しない画像データ又はバイオプシ・ウィンドウの外部の画像データを阻止するようにマスクを適用する技術的効果は、訓練時及び展開時のＣＮＮの計算時間を短縮し得ることである。

本開示はまた、画像処理システムのための方法の根拠を提供し、この方法は、入力画像に基づいて画像処理システムの訓練済み畳み込みニューラル・ネットワーク（ＣＮＮ）の出力を生成するステップと、計算を入力画像の予め画定された領域の内部の入力画像データに限定するように、ＣＮＮの畳み込み層及び全結合層の少なくとも一方への追加入力として入力画像の予め画定された領域を含めるステップと、出力を記憶し且つ／又は出力を表示装置に表示するステップとを含んでいる。この方法の第一の例では、ＣＮＮの畳み込み層及び全結合層の少なくとも一方への追加入力として入力画像の予め画定された領域を含めるステップはさらに、マスクをＣＮＮの少なくとも一つの畳み込み層に関連付けるステップと、マスクを少なくとも一つの畳み込み層の入力にマッピングするステップと、予め画定された領域の内部の入力データについて畳み込みを行なうステップと、予め画定された領域の外部の入力画像データについて畳み込みを行なわないステップとを含んでいる。方法の第二の例では、選択随意で第一の例を含み、ＣＮＮの畳み込み層及び全結合層の少なくとも一方への追加入力として入力画像の予め画定された領域を含めるステップはさらに、マスクをＣＮＮの少なくとも一つの全結合層に関連付けるステップと、マスクを少なくとも一つの全結合層の入力にマッピングするステップと、予め画定された領域の内部の入力データに基づき、且つ予め画定された領域の外部の入力データには基づかずに、少なくとも一つの全結合層の出力を算出するステップとを含んでいる。方法の第三の例では、選択随意で第一及び第二の例の一方又は両方を含み、マスクを少なくとも一つの畳み込み層の特徴入力にマッピングするステップはさらに、ＣＮＮの前段の層に関連付けられたマスクをダウンサンプリングし且つ／又は寸法変更することを含んでいる。方法の第四の例では、選択随意で第一から第三の例の１若しくは複数又は各々を含み、マスクは、少なくとも一つの畳み込み層への入力と同じ一組の寸法を有する値の配列であり、値の配列の各々の値が、入力のそれぞれのピクセル又は特徴に対応しており、それぞれのピクセル又は特徴が予め画定された領域の内部に位置する場合には、第一の値が配列に割り当てられ、それぞれのピクセル又は特徴が予め画定された領域の外部に位置する場合には、第二の値が配列に割り当てられる。方法の第五の例では、選択随意で第一から第四の例の１若しくは複数又は各々を含み、方法はさらに、少なくとも一つの畳み込み層の入力及び／又は出力に、マスクの対応する空間的位置における値を乗算するステップを含んでいる。方法の第六の例では、選択随意で第一から第五の例の１若しくは複数又は各々を含み、方法はさらに、ＣＮＮの訓練段階時に、予め画定された領域の内部の入力画像データについて畳み込みを行ない、且つ予め画定された領域の外部の入力画像データについて畳み込みを行なわないように、ＣＮＮの少なくとも一つの畳み込み層への追加入力としてマスクを含めるステップと、予め画定された領域の内部の入力画像データに基づいてノードを活性化し、且つ予め画定された領域の外部の入力画像データに基づいてノードを活性化しないように、ＣＮＮの少なくとも一つの全結合層への追加入力としてマスクを含めるステップとの少なくとも一方を含んでいる。方法の第七の例では、選択随意で第一から第六の例の１若しくは複数又は各々を含み、方法はさらに、訓練段階時に、予め画定された領域の内部では損失逆伝播に基づき、且つ予め画定された領域の外部では基づかずにＣＮＮの重みを調節するようにＣＮＮの少なくとも一つの畳み込み層においてマスクを用いて、ＣＮＮの各ノードを通して損失関数の結果を逆伝播させるステップを含んでいる。方法の第八の例では、選択随意で第一から第七の例の１若しくは複数又は各々を含み、方法はさらに、ＣＮＮの訓練段階時に、予め画定された領域の外部の入力画像のピクセルに第二の値を割り当てるように、ＣＮＮの入力層においてのみマスクを適用するステップと、ＣＮＮの推論段階時に、背景入力画像をＣＮＮに入力するステップであって、背景入力画像の全てのピクセル強度値が第二の値に等しい、入力するステップと、一組の背景特徴をＣＮＮの最後の畳み込み層の出力として得るステップと、ＣＮＮに新たな入力画像を入力するステップと、予め画定された領域の外部で最後の畳み込み層の出力として得られる特徴を、一組の背景特徴の対応する特徴により置き換えるステップと、置き換えられた重みを用いてＣＮＮの出力を生成するステップとを含んでいる。方法の第九の例では、選択随意で第一から第八の例の１若しくは複数又は各々を含み、予め画定された領域は、乳房の正常区域及び異常区域を含む乳房の１又は複数の区域で構成されている。方法の第十の例では、選択随意で第一から第九の例の１若しくは複数又は各々を含み、マスクは、圧迫板の形状又はバイオプシ・ウィンドウの形状の一方により境界を定められた予め画定された領域に基づいている。

本開示はまた、画像処理システムの根拠を提供し、この画像処理システムは、畳み込みニューラル・ネットワーク（ＣＮＮ）と、画像の訓練データセットであって、複数の訓練対を含んでおり、各々の訓練対が乳房の入力画像と乳房の正解値データとを含んでいる、訓練データセットと、ＣＮＮを記憶しており命令を含んでいる非一過性メモリに連絡可能に結合されているプロセッサとを備えており、命令は実行されると、各々の訓練対の各々の入力画像の乳房の領域を画定するステップであって、領域の画像データは乳房情報を含んでおり領域にない画像データは乳房情報を含まない、画定するステップと、ＣＮＮの訓練時に、伝播時及び逆伝播時に乳房情報をＣＮＮの各々の層に入力するステップと、出力を生成するようにＣＮＮを展開して、出力を表示装置に表示し且つ／又は出力を当該画像処理システムのデータベースに記憶するステップとをプロセッサに行なわせる。システムの第一の例では、伝播時及び逆伝播時に乳房情報をＣＮＮの各々の層に入力するステップは、伝播時には、ＣＮＮの各々の層において、予め画定された領域の内部の入力データについて畳み込みを行ない、且つ予め画定された領域の外部の入力画像データについて畳み込みを行なわないようにマスクを適用し、逆伝播時には、ＣＮＮの各々の層において、最急降下アルゴリズムを用いるときにマスクを適用し、ここで重みが、ＣＮＮのノードにおいて予め画定された領域の内部では損失逆伝播に基づき、且つ予め画定された領域の外部では基づかずに調節される。システムの第二の例では、選択随意で第一の例を含み、ＣＮＮの各々の層においてマスクを適用するステップはさらに、ＣＮＮの各々のプーリング層においてマスクについてダウンサンプリング演算を行なうステップと、各々のプーリング層に続く層において、ダウンサンプリングされたマスクを適用するステップとを含んでいる。システムの第三の例では、選択随意で第一及び第二の例の一方又は両方を含み、出力は、乳房の病変の存在の指標及び病変の位置情報の少なくとも一方を含んでいる。システムの第四の例では、選択随意で第一から第三の例の１若しくは複数又は各々を含み、ＣＮＮはパッチ方式訓練を用いて訓練されており、予め画定された領域はパッチ方式訓練時に用いられる２Ｄパッチ又は３Ｄパッチである。

本開示はまた、畳み込みニューラル・ネットワーク（ＣＮＮ）のための方法の根拠を提供し、この方法は、推論段階時に入力画像において異常を検出するように当該ＣＮＮを展開するステップと、入力画像の第一の領域に当該ＣＮＮの畳み込みフィルタを適用し、且つ入力画像の第二の領域に畳み込みフィルタを適用しないステップであって、第一の領域及び第二の領域はマスクにより指定される、適用するステップとを含んでいる。この方法の第一の例では、第一の領域は第二の領域と交差せず、入力画像の合計面積は、第一の領域の合計面積に第二の領域の合計面積を加えたものに等しい。方法の第二の例では、選択随意で第一の例を含み、マスクは二値の配列であり、第一の領域に対応する配列の値は１と指定され、第一の領域に対応しない配列の値は０と指定される。方法の第三の例では、選択随意で第一及び第二の例の一方又は両方を含み、マスクは、ＣＮＮの各層を通してダウンサンプリングされて伝播される。

本開示の様々な実施形態の要素について述べるに当たり、単数不定冠詞、定冠詞、「該」及び「前記」等の用語は、当該要素の１又は複数が存在することを意味するものとする。「第一」及び「第二」等の用語は、如何なる序列、量、又は重要性を表わすものでもなく、一つの要素を他の要素から区別するために用いられている。また「備えている（comprising）」、「含んでいる（including）」及び「有している（having）」の各用語は包括的であるものとし、所載の要素以外に付加的な要素が存在し得ることを意味する。「に接続されている」及び「に結合されている」等の用語が本書で用いられているときには、一方の対象（例えば材料、要素、構造、及び部材等）が他方の対象に接続又は結合されることができ、一方の対象が他方の対象に直接接続又は結合されているか、或いは一方の対象と他方の対象との間に１又は複数の介在対象が存在しているかを問わない。加えて、本開示の「一つの実施形態」又は「一実施形態」に対する参照は、所載の特徴を同様に組み入れている追加の実施形態の存在を排除すると解釈されるものではないことを理解されたい。

以上に示した任意の改変に加えて、本記載の主旨及び範囲から逸脱することなく多くの他の変形及び代替的な構成が当業者によって考案されることができ、また以下の特許請求の範囲はかかる改変及び構成を網羅するものとする。このように、最も実用的で好ましい観点と現状で見做されるものに関連して特定的且つ詳細に情報を上で記載したが、当業者には、限定しないが形態、機能、動作の態様、及び用法を含めた多くの改変が、本書に記載された原理及び概念から逸脱することなく行なわれ得ることが明らかとなろう。また、本書で用いられる場合に、実例及び実施形態は説明のみのためのものであって、如何なる態様でも限定するものと解釈されるべきではない。

１００ 医用イメージング・システム
２００ ニューラル・ネットワーク訓練システム
２０４ 入力ＦＦＤＭ画像
２０５、２０９ 特徴マップ
２０６、２１０ 畳み込み層
２０７、２１１ プールされた特徴マップ
２０８、２１２ プーリング層
２１４ 全結合層
２１６ 出力層
２１８、２２０、２２２ ２Ｄ乳房マスク
２３６ 目標画像分類
２５０ ニューラル・ネットワーク訓練システムの第二の実施形態
２６０ 正解値病変情報
２６２ ２Ｄバイオプシ画像
２６４、２６６、２６８ ２Ｄバイオプシ・ウィンドウ・マスク
３００ ＣＮＮを訓練する方法
３５０ ＣＮＮを展開する方法
４００ ニューラル・ネットワーク訓練システム２００の第三の実施形態
４１０ 乳房の画像容積分類又は病変位置決定
４１１ ３Ｄスライス
４１２ ＤＢＴ画像容積
４１３、４１５、４１７ ３Ｄ乳房マスク・スライス又はスラブ
４１４、４１６、４１８ ３Ｄ乳房マスク
４５０ ニューラル・ネットワーク訓練システム２００の第四の実施形態
４６０ 画像容積正解値
４６１ ３Ｄスライス
４６２ ３Ｄバイオプシ画像容積
４６３、４６５、４６７ ３Ｄバイオプシ・ウィンドウ・マスク・スライス
４６４、４６６、４６８ ３Ｄバイオプシ・ウィンドウ・マスク
５００ ニューラル・ネットワーク訓練システム２００の第五の実施形態
５０２ ３Ｄ画像容積
５０３ スライス又はスラブ
５０４、５０６、５０８ ３Ｄパッチ・マスク
５０５ ３Ｄスライス
５１０、５１２ ３Ｄパッチ
５１４ 乳房

Claims (12)

1. 画像処理システムのための方法であって、
   入力画像に基づいて当該画像処理システムの訓練済み畳み込みニューラル・ネットワーク（ＣＮＮ）の出力を生成するステップと、
   計算を前記入力画像の予め画定された領域の内部の入力画像データに限定するように、前記ＣＮＮの畳み込み層及び全結合層の少なくとも一方への追加入力として前記入力画像の前記予め画定された領域を含めるステップと、
   前記出力を記憶し且つ／又は前記出力を表示装置に表示するステップと
   を備え、
   前記ＣＮＮの畳み込み層及び全結合層の前記少なくとも一方への追加入力として前記入力画像の前記予め画定された領域を含めるステップはさらに、
   マスクを前記ＣＮＮの少なくとも一つの畳み込み層に関連付けるステップと、
   前記マスクを前記少なくとも一つの畳み込み層の入力にマッピングするステップと、
   前記予め画定された領域の内部の入力データについて畳み込みを行なうステップと、
   前記予め画定された領域の外部の入力画像データについて畳み込みを行なわないステップと
   を含んでおり、
   前記マスクを前記少なくとも一つの畳み込み層の特徴入力にマッピングするステップはさらに、前記ＣＮＮの前段の層に関連付けられた前記マスクをダウンサンプリングし且つ／又は寸法変更することを含んでいる、方法。
2. 画像処理システムのための方法であって、
   入力画像に基づいて当該画像処理システムの訓練済み畳み込みニューラル・ネットワーク（ＣＮＮ）の出力を生成するステップと、
   計算を前記入力画像の予め画定された領域の内部の入力画像データに限定するように、前記ＣＮＮの畳み込み層及び全結合層の少なくとも一方への追加入力として前記入力画像の前記予め画定された領域を含めるステップと、
   前記出力を記憶し且つ／又は前記出力を表示装置に表示するステップと
   を備え、
   前記ＣＮＮの畳み込み層及び全結合層の前記少なくとも一方への追加入力として前記入力画像の前記予め画定された領域を含めるステップはさらに、
   マスクを前記ＣＮＮの少なくとも一つの畳み込み層に関連付けるステップと、
   前記マスクを前記少なくとも一つの畳み込み層の入力にマッピングするステップと、
   前記予め画定された領域の内部の入力データについて畳み込みを行なうステップと、
   前記予め画定された領域の外部の入力画像データについて畳み込みを行なわないステップと
   を含んでおり、
   前記ＣＮＮの訓練段階時に、
   前記予め画定された領域の内部の入力画像データについて畳み込みを行ない、且つ前記予め画定された領域の外部の入力画像データについて畳み込みを行なわないように、前記ＣＮＮの少なくとも一つの畳み込み層への追加入力として前記マスクを含めるステップと、
   前記予め画定された領域の内部の入力画像データに基づいてノードを活性化し、且つ前記予め画定された領域の外部の入力画像データに基づいてノードを活性化しないように、前記ＣＮＮの少なくとも一つの全結合層への追加入力として前記マスクを含めるステップと
   の少なくとも一方をさらに含んでおり、
   前記訓練段階時に、前記予め画定された領域の内部では損失逆伝播に基づき、且つ前記予め画定された領域の外部では基づかずに前記ＣＮＮの重みを調節するように前記ＣＮＮの前記少なくとも一つの畳み込み層において前記マスクを用いて、前記ＣＮＮの各ノードを通して損失関数の結果を逆伝播させるステップをさらに含んでいる、方法。
3. 前記ＣＮＮの畳み込み層及び全結合層の前記少なくとも一方への追加入力として前記入力画像の前記予め画定された領域を含めるステップはさらに、
   マスクを前記ＣＮＮの少なくとも一つの全結合層に関連付けるステップと、
   前記マスクを前記少なくとも一つの全結合層の入力にマッピングするステップと、
   前記予め画定された領域の内部の入力データに基づき、且つ前記予め画定された領域の外部の入力データには基づかずに、前記少なくとも一つの全結合層の出力を算出するステップと
   を含んでいる、請求項１または２に記載の方法。
4. 前記マスクは、圧迫板の形状又はバイオプシ・ウィンドウの形状の一方により境界を定められた予め画定された領域に基づいている、請求項１または２に記載の方法。
5. 前記マスクは、前記少なくとも一つの畳み込み層への入力と同じ一組の寸法を有する値の配列であり、前記値の配列の各々の値が、前記入力のそれぞれのピクセル又は特徴に対応しており、該それぞれのピクセル又は特徴が前記予め画定された領域の内部に位置する場合には、第一の値が前記配列に割り当てられ、前記それぞれのピクセル又は特徴が前記予め画定された領域の外部に位置する場合には、第二の値が前記配列に割り当てられる、請求項１または２に記載の方法。
6. 前記少なくとも一つの畳み込み層の入力及び／又は出力に、前記マスクの対応する空間的位置における値を乗算するステップ
   をさらに含んでいる 請求項５に記載の方法。
7. 前記ＣＮＮの訓練段階時に、前記予め画定された領域の外部の前記入力画像のピクセルに前記第二の値を割り当てるように、前記ＣＮＮの入力層においてのみ前記マスクを適用するステップと、
   前記ＣＮＮの推論段階時に、
   背景入力画像を前記ＣＮＮに入力するステップであって、前記背景入力画像の全てのピクセル強度値が前記第二の値に等しい、入力するステップと、
   一組の背景特徴を前記ＣＮＮの最後の畳み込み層の出力として得るステップと、
   前記ＣＮＮに新たな入力画像を入力するステップと、
   前記新たな入力画像の予め画定された領域の外部で前記最後の畳み込み層の出力として得られる特徴を、前記一組の背景特徴に置き換えるステップと、
   置き換えた前記一組の背景特徴を用いて前記ＣＮＮの出力を生成するステップと
   をさらに含んでいる請求項５に記載の方法。
8. 前記予め画定された領域は、乳房の正常区域及び異常区域を含む該乳房の１又は複数の区域で構成されている、請求項１または２に記載の方法。
9. 畳み込みニューラル・ネットワーク（ＣＮＮ）と、
   画像の訓練データセットであって、複数の訓練対を含んでおり、各々の訓練対が乳房の入力画像と前記乳房の正解値データとを含んでいる、訓練データセットと、
   前記ＣＮＮを記憶しており命令を含んでいる非一過性メモリに連絡可能に結合されているプロセッサと
   を備えた画像処理システムであって、前記命令は実行されると、
   各々の訓練対の各々の入力画像の前記乳房の領域を画定するステップであって、該領域の画像データは乳房情報を含んでおり前記領域にない画像データは前記乳房情報を含まない、画定するステップと、
   前記ＣＮＮの訓練時に、伝播時に前記乳房情報を前記ＣＮＮの各々の層に入力するステップと、
   出力を生成するように前記ＣＮＮを展開して、前記出力を表示装置に表示し且つ／又は前記出力を当該画像処理システムのデータベースに記憶するステップと
   を前記プロセッサに行なわせ、
   伝播時に前記乳房情報を前記ＣＮＮの各々の層に入力するステップは、
   伝播時には、前記ＣＮＮの各々の層において、前記領域の内部の入力データについて畳み込みを行ない、且つ前記領域の外部の入力画像データについて畳み込みを行なわないようにマスクを適用し、
   前記命令は実行されると、逆伝播時に、前記ＣＮＮの各々の層において、最急降下アルゴリズムを用いるときに前記マスクを適用し、ここで重みが、前記ＣＮＮのノードにおいて前記領域の内部では損失逆伝播に基づき、且つ前記領域の外部では基づかずに調節されるステップを前記プロセッサに行なわせる、システム。
10. 前記ＣＮＮの各々の層において前記マスクを適用するステップはさらに、
    前記ＣＮＮの各々のプーリング層において前記マスクについてダウンサンプリング演算を行なうステップと、
    各々のプーリング層に続く層において、ダウンサンプリングされたマスクを適用するステップと
    を含んでいる、請求項９に記載のシステム。
11. 前記出力は、前記乳房の病変の存在の指標及び前記病変の位置情報の少なくとも一方を含んでいる、請求項９に記載のシステム。
12. 前記ＣＮＮはパッチ方式訓練を用いて訓練されており、前記領域は前記パッチ方式訓練時に用いられる２Ｄパッチ又は３Ｄパッチである、請求項９に記載のシステム。