JP7433297B2 - 深層学習ベースのコレジストレーション - Google Patents

Description

本発明は深層学習ベースのコレジストレーションに関する。

最近、深層学習は様々な医用画像^1、2のセグメンテーションを自動化することにおいて有望な結果を示している。ただし、これらの深層学習アルゴリズムのトレーニングは、エキスパートアノテーターからのトレーニングデータの大規模なセットを必要とする。そのため、１つのアノテーション付きマスクまたはランドマークを画像セット全体に渡って転送するやり方としてコレジストレーション（空間アライメント）を使用することは、純粋な深層学習の設定において必要な手動ラベルの数を減らすための貴重なツールである。コレジストレーションを使用して、アノテーション付きのランドマークまたはマスクをある画像から別の画像に空間的に位置合わせし、画像を共通の参照フレームにワープして、手動または自動による比較を容易にすることもできる。

従来のコレジストレーション方法は目的関数を、同時登録される画像の新しいペアごとに繰り返し最適化し、これは、計算コストの高いプロセスであり、所定の画像ボリュームで完了するまでに数時間かかることができる。深層学習ベースのコレジストレーションは、目的関数を繰り返し最適化することなく、変形を計算することが可能である。処理装置としてグラフィックス処理装置（ＧＰＵ）と組み合わせる場合、これは登録を計算するための計算コストを大幅に削減する結果となる。

従来のコレジストレーション方法は、弾性タイプのモデリング³、統計的パラメトリックマッピング⁴、ｂ―スプラインを用いた自由形式変形⁵など、様々な反復方法を通して、すべての画像ペアリングに渡って変位ベクトル場を計算する。

深層畳み込みニューラルネットワーク（ＣＮＮ）を使用し医用画像上でコレジストレーションのバリアントを実行するフレームワークが現れ始めている。これらの方法の大部分は、画像のペア間の差異を最小化する変形フィールドの作成に焦点を合わせている。Ｈｕ ｅｔ ａｌ．は特に、術中の経直腸的超音波前立腺画像に磁気共鳴（ＭＲ）画像を登録するための僅かな教師あり方法⁶を提案した。これらの方法は、ある画像から別の画像へのグローバルアライメント、およびある画像から別の画像への高密度変形フィールド（ＤＤＦ）用のアフィン変換の両方を学習する。しかしながら、Ｈｕ ｅｔ ａｌ．に記載されている方法は、モデルをトレーニングするために解剖学的ランドマークポイントが必要であり、その収集には時間が掛かり高価である。Ｂａｌａｋｒｉｓｈｎａｎ ｅｔ ａｌ．は、損失関数が純粋に生の画像データに基づいている３ＤＭＲＩ脳データセットのコレジストレーション用の完全な教師なしＣＮＮ⁷、を提案した。Ｂａｌａｋｒｉｓｈｎａｎ ｅｔ ａｌ．のアプローチは２つの画像のＤＤＦのみを学習し、および、空間変換レイヤーを通してＤＤＦをフィードすることによりアフィン変換を説明している。

図１は、１つの非限定的な例示の実装形態による、畳み込みニューラルネットワーク（ＣＮＮ）のシステム（ここではＤｅｆｏｒｍａｔｉｏｎ Ｎｅｔと呼ばれる）をトレーニングして、コレジストレーション用の画像をワープするＤＤＦを作成する図である。 図２は、１つの非限定的な例示の実装形態による、トレーニングされたＤｅｆｏｒｍａｔｉｏｎ Ｎｅｔを使用して画像安定化を実行し得る手段の１つの実装形態を示す。 図３は、１つの非限定的な例示の実装形態による、トレーニングされたＤｅｆｏｒｍａｔｉｏｎ Ｎｅｔを使用して輪郭マスク転送を実行し得る手段の１つの実装形態を示す。 図４は、１つの非限定的な例示の実装形態による、Ｄｅｆｏｒｍａｔｉｏｎ Ｎｅｔを介し同時登録する輪郭マスクを選択し得る手段の２つの実装形態を示す。 図５は、１つの非限定的な例示の実装形態による、良セグメンテーション確率マップおよび品質スコアが導出されるスライスの例、並びに不良セグメンテーション確率マップおよび品質スコアが導出されるスライスの例を示す。 図６は、本開示の１つまたは複数の実装のための例示的なコンピューティング環境である。

［教師なし心臓深層学習ベースのコレジストレーション］
［システム概要］
本明細書で説明する実装は、ＣＮＮを使用した教師なしコレジストレーションの新規のフレームワークであり、本明細書ではＤｅｆｏｒｍａｔｉｏｎ Ｎｅｔと呼ばれる。Ｄｅｆｏｒｍａｔｉｏｎ Ｎｅｔは、画像コレジストレーションに対して、完全な教師なしアプローチを行う。有利には、Ｄｅｆｏｒｍａｔｉｏｎ Ｎｅｔはまた、明示的に画像を安定化する、または輪郭マスクを画像間で転送する。Ｄｅｆｏｒｍａｔｉｏｎ Ｎｅｔのアーキテクチャでは、グローバルアライメントが、ＤＤＦに加えてアフィン変形を介して学習され、教師なし損失関数が維持される。教師なし損失関数を使用することは、データ上に明示的な人間由来のアノテーションを付ける必要を無くし、これは、これらのアノテーションの取得が教師ありおよび半教師ありＣＮＮの主要な課題の１つであるため、有利である。Ｄｅｆｏｒｍａｔｉｏｎ Ｎｅｔはまた、少なくとも一部の実装形態では、各変換ステップの最後に追加の空間変換レイヤーを適用するという点で独特であり、これは、ネットワークが以前の変換エラーを修正し得るように、事前に予測された変換を「微調整」する能力を提供する。

［トレーニング］
Ｄｅｆｏｒｍａｔｉｏｎ Ｎｅｔシステムのトレーニングフェーズの１つの実装を図１に示す。少なくとも一部の実装形態では、Ｄｅｆｏｒｍａｔｉｏｎ Ｎｅｔのトレーニングは、以下の２つの主要なプロセスを有する。
１．グローバルネットワークをトレーニングし、入力されたターゲット画像を入力されたソース画像座標システム（１０２、１０３、および１０５）にワープするためのアフィン行列を介してグローバル画像のアライメントを学習する。
２．ローカルネットワークをトレーニングし、入力されたターゲット画像のローカライズされた特徴を入力されたソース画像（１０５および１０６）にワープするためのＤＤＦを学習する。

少なくとも一部の実装形態では、医用画像データベース（１０１）からのソース画像およびターゲット画像の各ペアは、同じ患者およびおそらく同じ研究からの２つの心臓ＭＲ画像を表す。これらの心臓ＭＲシリーズは、限定されないが、遅延増強短軸（ＳＡＸ）画像、灌流ＳＡＸ画像、ＳＳＦＰ ＳＡＸ画像、Ｔ１／Ｔ２／Ｔ２＊マッピングＳＡＸ画像などを含み得る。

［ターゲット画像の座標をソース画像の座標（１０２、１０３、および１０４）にマッピングするためのアフィン変換行列の作成］
Ｎ個（Ｎは０以上の整数）以上のアフィン変換パラメータを備えるアフィン変換行列は、入力がソース画像（１０３）およびターゲット画像（１０２）を含む画像のペアであるグローバルネットワーク（１０４）を介して学習される。学習されたアフィン変換パラメータは、ターゲット画像に適用された場合、ターゲット画像をソース画像に位置合わせするそれらのパラメータとして定義される。少なくとも一部の実装形態では、ターゲット画像は、アフィン行列が学習される前に、ソース画像のサイズに一致するようにサイズ変更される。

少なくとも一部の実装形態では、グローバルネットワーク（１０４）は回帰ネットワークである。グローバルネットワーク（１０４）のバージョンには、３２個の初期畳み込みフィルターが含まれる。少なくとも一部の実装は畳み込み層のストライドを使用してダウンサンプリングし、各ダウンサンプリング演算の前に、カーネルサイズ３を備えた２つの畳み込み層、運動量率のバッチ正規化層、ドロップアウト層、およびＲｅＬＵ非線形性層がある。少なくとも一部の実装形態では、グローバルネットワーク（１０４）の最後の層は、所望の数のアフィンパラメータにマッピングする高密度層である。

少なくとも一部の実装形態では、グローバルネットワーク（１０４）のアフィンパラメータ出力は、回転、スケーリング、およびズームのための異なるスケーリング係数によって制限される別のアフィン空間変換レイヤーへの入力として使用される。スケーリング要素は、ターゲット画像に対して行うことができるアフィン変形の量を制御する。少なくとも一部の実装形態では、アフィン空間変換レイヤーによって出力されるアフィン空間変換行列は、曲げエネルギー損失関数の形で実装される正則化演算を含む。例えば、アフィン空間変換行列の正則化のための勾配エネルギー損失関数も使用し得る。この正則化はさらに、学習されたアフィン空間変換行列を、非現実的に大きな変換を生成することから防ぐ。

［ソース画像と一致するように変換されたターゲット画像をワープするためのＤＤＦの作成（１０６）］
少なくとも一部の実装形態では、ＤＤＦはローカルネットワーク（１０６）を介して学習され、入力はソース画像（１０３）およびターゲット画像（１０２）を含むペアである。いくつかの実装形態では、ターゲット画像（１０２）は、最初に、グローバルネットワーク（１０４）で学習されたアフィン変換行列を介してソース画像座標にワープされ、ローカルネットワーク（１０６）に入力されるワープターゲット画像（１０５）が提供される。

少なくとも一部の実装形態では、ローカルネットワーク（１０６）は、ダウンサンプリングパスおよびアップサンプリングパスを含むニューラルネットワークアーキテクチャである。このようなローカルネットワークのバージョンには、３２個の初期畳み込みフィルターが含まれており、対応するダウンサンプリングレイヤーおよびアップサンプリングレイヤー間の接続をスキップする。少なくとも一部の実装は、畳み込み層のストライドを使用してダウンサンプリングし、各ダウンサンプリング演算またはアップサンプリング演算の前に、カーネルサイズ３を備えた２つの畳み込み層、運動量率のバッチ正規化層、ドロップアウト層、およびＲｅＬＵ非線形性層がある。このアップサンプリングにより、パディングを使用していた場合、入力されたソース画像およびターゲット画像とＤＤＦを同じサイズにすることが可能となる。

少なくとも一部の実装形態では、ローカルネットワーク（１０６）の学習されたＤＤＦ出力は、自由形式類似性空間変換レイヤーを通過する。例として、この自由形式類似性空間変換レイヤーには、アフィン変換または高密度自由形式変形フィールドワーピング５、またはその両方を含めることができる。アフィン変換を使用する場合は、これらをスケーリングしターゲット画像に加えることができる変形の量を制御し得る。少なくとも一部の実装形態では、ＤＤＦにはまた、曲げエネルギー損失関数５の形式で実装される正則化演算が含まれている。また勾配エネルギー損失関数を使用して、ＤＤＦを正則化し得る。この正則化は、学習されたＤＤＦを非現実的に大きな変形を生成することから防ぐ。

少なくとも一部の実装形態では、ＣＮＮモデルは、アダムオプティマイザを用いたバックプロパゲーション、およびソース画像とＤＤＦによってワープされたターゲット画像との間の相互情報損失関数（すなわち、ワープターゲット画像１０５）を介して更新され得る。アダムオプティマイザは、バックプロパゲーションされた勾配の第一のモーメントおよび第二のモーメントの両方を使用したトレーニングを通じて学習率を調整する。使用され得るオプティマイザの他の非限定的な例には、確率的勾配降下法、ミニバッチ勾配降下法、アダグラード、および二乗平均平方根プロパゲーションが含まれる。損失関数の他の非限定的な例には、二乗平均平方根誤差、Ｌ２損失、中心の重み付けによるＬ２損失、およびソース画像とターゲット画像に適用されたＤＤＦの間の相互相関損失７が含まれ得る。これらの損失関数は、生の入力データ、およびＤｅｆｏｒｍａｔｉｏｎ Ｎｅｔがその生データから何を学習するかにのみ依存する。有利には、明示的なハンドアノテーションに対する任意の依存の欠如により、このシステムを完全な教師なしにすることが可能である。

［トレーニングされたネットワークの重みの格納（１０８）］
トレーニングされたグローバルネットワーク（１０４）およびローカルネットワーク（１０６）の重みは、ハードディスクおよびソリッドステートドライブを含むストレージデバイスに格納して、後で画像安定化またはセグメンテーションマスク転送に使用できる。

［教師なし心臓深層学習ベースの画像安定化推論］
図２は、画像安定化のためにトレーニングされたＤｅｆｏｒｍａｔｉｏｎ Ｎｅｔ上で推論を実行する実装を示している。この実装では、Ｄｅｆｏｒｍａｔｉｏｎ Ｎｅｔへの入力は、ソース画像（２０２）、およびターゲット画像をソース画像上にワープすることによって安定化されるターゲット画像（２０３）を含む。これらの画像ペアリングは、医用画像（２０１）のデータベースから選択され得る。上で論じたトレーニングされたＤｅｆｏｒｍａｔｉｏｎ Ｎｅｔ（２０４）を使用して、ソース画像（２０２）に関するＤＤＦ（２０５）が推論される。このＤＤＦ（２０５）はターゲット画像（２０３）に適用され、ソース画像（２０２）に対して安定化されたワープターゲット画像（２０６）を作成する。新たに安定化されたターゲット画像（２０６）は、ディスプレイ（２０７）を介してユーザに表示され、ハードディスクおよびソリッドステートドライブを含むワープ画像データベース（２０９）に格納され得る。

画像安定化推論のために使用され得る画像ペアリングには、これらに限定されないが、心臓ＭＲ画像ボリュームの同じスライスからであるが異なる時点で取り込まれた画像、心臓ＭＲ画像ボリュームの同じ時点からであるが異なるスライスの画像、同じＭＲ画像ボリュームの任意の画像からの画像、異なるＭＲ画像ボリュームからの画像、乳房、肝臓、または前立腺のＤＣＥ－ＭＲＩ（動的コントラスト強調ＭＲＩ）などの時系列を含む他の医用画像からの画像、または透視画像からの画像、が含まれる。

［教師なし心臓深層学習ベースの輪郭マスクレジストレーション推論］
［推論ステップの概要］
図３は、セグメンテーションマスクをある画像から別の画像に転送するためにトレーニングされたＤｅｆｏｒｍａｔｉｏｎ Ｎｅｔを用いて推論を実行する１つの実装を示す。少なくとも一部の実装形態では、Ｄｅｆｏｒｍａｔｉｏｎ Ｎｅｔへの入力は、医用画像（３０１）のデータベースからの２Ｄ心臓ＳＡＸ ＭＲ画像（ソース画像３０２とターゲット画像３０３）のペアであり、例えば、画像の１つは、例えば、左心室心内膜（ＬＶエンド）、左心室心外膜（ＬＶエピ）、および／または右心室心内膜（ＲＶエンド）を含む心室輪郭の対応するセグメンテーションマスク（３０４）を有する。少なくとも一部の実装形態では、セグメンテーションマスク（３０４）は、ターゲット画像（３０３）に対応し得る。トレーニングされたＤｅｆｏｒｍａｔｉｏｎ Ｎｅｔ（３０５）を使用して、ソース画像に関するＤＤＦ（３０６）が推論される。このＤＤＦ（３０６）は、ターゲット画像（３０３）に対応するセグメンテーションマスク（３０４）に適用され、ソース画像上にワープされたワープセグメンテーションマスク（３０７）を作成する。新たなワープセグメンテーションマスク（３０７）は、ディスプレイ（３０８）を介してユーザに表示され、これらに限定されないがハードディスクおよびソリッドステートドライブを含むワープセグメンテーションマスクデータベース（３１０）に格納できる。

［セグメンテーションマスクの選択］
図３に示されるセグメンテーションマスク（３０４）を達成するための実装は、これらに限定されないが、ユーザにセグメンテーションマスクを手動で作成させること、および事前にトレーニングされたＣＮＮモデルを含むヒューリスティックを使用して、セグメンテーションマスクを自動的に作成すること、を含む。

図４は、ヒューリスティックおよび事前にトレーニングされたＣＮＮを使用して、他の画像に転送するセグメンテーションマスクを選択する１つの実装を示す。この実装では、セグメンテーションが必要な、２Ｄ心臓ＳＡＸ ＭＲ画像（４０１）のグループが選択される。これらの画像（４０１）は、前述のように、事前にトレーニングされたＣＮＮ（４０２）への入力として使用される。少なくとも一部の実装形態では、ＣＮＮ（４０２）は、２Ｄ ＳＳＦＰ ＭＲ画像内のＬＶエピ、ＬＶエンド、およびＲＶエンドのためにマスクをセグメント化するように事前にトレーニングされている。これらの実装では、ＣＮＮ（４０２）の出力は、各２Ｄ画像のピクセルごとの基準上のセグメンテーション確率マップ（４０３）である。

ＣＮＮ（４０２）は、すべての画像のセグメンテーションを正確に予測することが不可能であり得、そのため、（３０３）（図３）のためのターゲット画像として高品質のセグメンテーションマスクを備えた画像を選択することが重要であり得る。事前にトレーニングされたＣＮＮ（４０２）から出力されるセグメンテーション確率マップ（４０３）を使用して、所定の画像の前景マップスコア（４０４）および背景マップスコア（４０５）を計算する。マップスコア（４０４）および（４０５）はピクセルごとに計算される。前景マップスコア（４０４）は、画像ピクセルが心室マスクの１つに属する確率を表し、背景マップスコア（４０５）は、画像ピクセルが心室マスクの１つに属さない確率を表す。前景マップスコア（４０４）は、０．５を超えるすべての確率マップ値の平均をとることによって計算される。背景マップスコア（４０５）は０．５未満のすべての確率マップ値の１つからの距離をとることによって計算される。次に、その所定のスライス予測のためのマップ品質スコア（４０６）は、背景マップスコア（４０５）に前景マップスコア（４０４）を乗算することによって計算される。

上記の可能なヒューリスティック実装の一般的なアクションは、以下の例示の擬似コードで説明される。
１． ｆｏｒ ｉｍａｇｅ ｉｎ ｓｅｔ ｏｆ ２Ｄ ｉｍａｇｅｓ：
ａ． ｐｒｏｂａｂｉｌｉｔｙ＿ｍａｐ ＝ Ｐｒｅｖｉｏｕｓｌｙ＿Ｔｒａｉｎｅｄ＿ＣＮＮ＿Ｓｅｇｍｅｎｔｏｒ（ｉｍａｇｅ）
ｂ． ｆｏｒｅｇｒｏｕｎｄ＿ｍａｐ＿ｖａｌｕｅｓ ＝ ｖａｌｕｅｓ ｏｆ ｐｒｏｂａｂｉｌｉｔｙ＿ｍａｐ ＞ ０．５
ｃ． ｆｏｒｅｇｒｏｕｎｄ＿ｓｃｏｒｅ ＝ ｍｅａｎ（ｆｏｒｅｇｒｏｕｎｄ＿ｍａｐ＿ｖａｌｕｅｓ）
ｄ． ｂａｃｋｇｒｏｕｎｄ＿ｍａｐ＿ｖａｌｕｅｓ ＝ １ － （ｖａｌｕｅｓ ｏｆ ｐｒｏｂａｂｉｌｉｔｙ＿ｍａｐ ＜＝ ０．５）
ｅ． ｂａｃｋｇｒｏｕｎｄ＿ｓｃｏｒｅ ＝ ｍｅａｎ（ｂａｃｋｇｒｏｕｎｄ＿ｍａｐ＿ｖａｌｕｅｓ）
ｆ． ｑｕａｌｌｉｔｙ＿ｓｃｏｒｅ ＝ ｆｏｒｅｇｒｏｕｎｄ＿ｓｃｏｒｅ ＊ ｂａｃｋｇｒｏｕｎｄ＿ｓｃｏｒｅ
２． ｓｅｌｅｃｔ ｉｍａｇｅｓ ｗｉｔｈ ｂｅｓｔ ｑｕａｌｉｔｙ

少なくとも一部の実装形態では、２Ｄ画像のグループ全体で最高の品質スコアに対応するセグメンテーション確率マスクを備える画像が単一のターゲット画像（４０７）として扱われ、他の画像の一部またはすべてが、ターゲット画像のセグメンテーションマスク（３０４）がワープされるソース画像として扱われる。

図５は、上記のヒューリスティックが実際にどのように機能し得るかの例を示す。画像（５０２）および（５０８）は、ＣＮＮ（４０２）（図４）に供給される２Ｄ ＳＡＸ ＭＲ画像の例である。画像（５０４）および画像（５１０）は、それぞれ、輪郭図として表される、画像（５０２）および画像（５０８）のＬＶエピに対するＣＮＮ（４０２）の確率マップ出力である。画像（５０４）は、良確率マップを表す。それはＬＶエピの周囲に高い確率（０．８の黒い線で表される）の明確な境界を有し、確率はＬＶエピ領域の外側で急速に低下する。画像（５１０）は不良確率マップを表す。ＬＶエピの周りの輪郭は全体的にかなり低く、ＬＶエピのまさに中心でのみ高い確率がある。さらに、ＬＶエピ領域のはるか外側で確率に変化がある。画像（５０４）および画像（５１０）の前景および背景マップは、それぞれ、画像（５０６）および画像（５１２）の輪郭として表されている。黒い輪郭は上記の擬似コードのａｃｔ１．ｂによって計算された際の前景マップ値を表し、白い輪郭は擬似コードのａｃｔ１．ｄによって計算された際の背景マップ値を表す。画像（５０６）は前景マップと背景マップの高い確率を有し、高品質スコアを与えるであろう。画像（５１０）は背景マップでは高い確率であるが前景マップでは低い確率を有し、これは低品質スコアを与え、画像間を転送されるセグメンテーションマスクとして使用されない可能性があるであろう。

［例示のコンピューティング環境］
図６は、本明細書で説明される様々な機能を実装するのに適したプロセッサベースのデバイス６０４を示している。必須ではないが、実装のいくつかの部分は、１つまたは複数のプロセッサによって実行されるプログラムアプリケーションモジュール、オブジェクト、またはマクロなど、プロセッサ実行可能命令またはロジックの一般的なコンテキストで説明される。関連技術の当業者は、説明された実装ならびに他の実装が、スマートフォンおよびタブレットコンピュータなどのハンドヘルドデバイス、ウェアラブルデバイス、マルチプロセッサシステム、マイクロプロセッサベースまたはプログラム可能な消費者向け電子機器、パーソナルコンピュータ（「ＰＣ」）、ネットワークＰＣ、ミニコンピュータ、メインフレームコンピュータなど、を含む、様々なプロセッサベースのシステム構成で、実施できることを理解するであろう。

プロセッサベースのデバイス６０４は、１つまたは複数のプロセッサ６０６、システムメモリ６０８、およびシステムメモリ６０８を含む様々なシステムコンポーネントをプロセッサ６０６に結合するシステムバス６１０を含み得る。プロセッサベースのデバイス６０４は、本明細書では単数形で言及されることがあるが、特定の実装では複数のシステムまたは他のネットワーク化されたコンピューティングデバイスが関与するため、これは実装を単一のシステムに限定することを意図しない。市販のシステムの非限定的な例には、これらに限定されないが、様々な製造業者のＡＲＭプロセッサ、米国Ｉｎｔｅｌ ＣｏｒｐｏｒａｔｉｏｎのＣｏｒｅマイクロプロセッサ、ＩＢＭのＰｏｗｅｒＰＣマイクロプロセッサ、Ｓｕｎ Ｍｉｃｒｏｓｙｓｔｅｍｓ ＩｎｃのＳｐａｒｃマイクロプロセッサ、Ｈｅｗｌｅｔｔ－Ｐａｃｋａｒｄ ＣｏｍｐａｎｙのＰＡ－ＲＩＳＣシリーズマイクロプロセッサ、Ｍｏｔｏｒｏｌａ Ｃｏｒｐｏｒａｔｉｏｎの６８ｘｘｘシリーズマイクロプロセッサ、が含まれる。

プロセッサ６０６は、１つまたは複数の中央処理装置（ＣＰＵ）、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）などの任意の論理（ロジック）処理装置であり得る。特に明記しない限り、図６に示す様々なブロックの構造および演算は従来型の設計である。結果として、そのようなブロックは、関連技術の当業者によって理解されるので、本明細書でさらに詳細に説明する必要はない。

システムバス６１０は、メモリコントローラを備えたメモリバス、周辺バス、およびローカルバスを含む、任意の既知のバス構造またはアーキテクチャを採用できる。システムメモリ６０８は、読み取り専用メモリ（「ＲＯＭ」）６１２およびランダムアクセスメモリ（「ＲＡＭ」）６１４を含む。ＲＯＭ６１２の一部を形成できる基本的な入力／出力システム（「ＢＩＯＳ」）６１６は、起動中など、プロセッサベースのデバイス６０４内の構成部品の間で情報を転送するのを助ける基本的なルーチンを含む。一部の実装では、データ、命令、および電力用に分離したバスを採用し得る。

プロセッサベースのデバイス６０４はまた、１つまたは複数のソリッドステートメモリ、例えば、フラッシュメモリまたはソリッドステートドライブ（ＳＳＤ）６１８を含み得、これは、コンピュータ可読命令、データ構造、プログラムモジュール、およびプロセッサベースのデバイス６０４の他のデータの不揮発性ストレージを提供する。図示されていないが、プロセッサベースのデバイス６０４は、他の非一時的コンピュータまたはプロセッサ可読媒体、例えば、ハードディスクドライブ、光ディスクドライブ、またはメモリカードメディアドライブを採用できる。

プログラムモジュールは、オペレーティングシステム６３０、１つまたは複数のアプリケーションプログラム６３２、他のプログラムまたはモジュール６３４、ドライバ６３６、およびプログラムデータ６３８などのシステムメモリ６０８に格納できる。

アプリケーションプログラム６３２は、例えば、パン／スクロールロジック６３２ａを含み得る。そのようなパン／スクロールロジックは、これらに限定されないが、ポインタ（例えば、指、スタイラス、カーソル）が、中央部分および少なくとも１つのマージンを有する領域を含むユーザインターフェース要素にいつおよび／またはどこに入るかを決定するロジックを含み得る。そのようなパン／スクロールロジックは、これらに限定されないが、ユーザインターフェース要素の少なくとも１つの要素が移動しているように見えるべき方向および速度（ｒａｔｅ）を決定するロジックを含み、表示の更新をもたらし、少なくとも１つの要素に決定された速度で決定された方向に移動しているように見えるようにさせ得る。パン／スクロールロジック６３２ａは、例えば、１つまたは複数の実行可能命令として格納され得る。パン／スクロールロジック６３２ａは、ポインタの動きを特徴付けるデータ、例えば、タッチセンシティブディスプレイからの、またはコンピュータのマウスまたはトラックボール、または他のユーザインターフェイスデバイスからのデータ、を使用してユーザインターフェースオブジェクトを生成するための、プロセッサ、および／またはマシン実行可能ロジック、または命令を含み得る。

システムメモリ６０８はまた、通信プログラム６４０、例えば、プロセッサベースのデバイス６０４に、ユーザコンピューティングシステム、インターネット上のウェブサイト、企業イントラネット、または以下に説明するその他のネットワークなどの他のシステムにアクセスしてデータを交換することを可能にさせるためのサーバ、および／または、ウェブクライアント、またはブラウザを含み得る。図示の実装における通信プログラム６４０は、ハイパーテキストマークアップ言語（ＨＴＭＬ）、拡張可能マークアップ言語（ＸＭＬ）またはワイヤレスマークアップ言語（ＷＭＬ）などのマークアップ言語ベースであり、ドキュメントの構造を表すためのドキュメントのデータに追加された構文的に区切られた文字を使用するマークアップ言語で作動する。カリフォルニアのＭｏｚｉｌｌａＣｏｒｐｏｒａｔｉｏｎおよびワシントンのＭｉｃｒｏｓｏｆｔからのものなど、多くのサーバおよびＷｅｂクライアントまたはブラウザが市販されている。

システムメモリ６０８に格納されているものとして図６に示されているが、オペレーティングシステム６３０、アプリケーションプログラム６３２、他のプログラム／モジュール６３４、ドライバ６３６、プログラムデータ６３８、およびサーバおよび／またはブラウザ６４０は、他の任意の多種多様な非一時的なプロセッサ可読メディア（例えば、ハードディスクドライブ、光ディスクドライブ、ＳＳＤ、および／またはフラッシュメモリ）に格納できる。

ユーザは、ポインタを介して、例えば、指６４４ａ、スタイラス６４４ｂを介して、またはカーソルを制御するコンピュータマウスまたはトラックボール６４４ｃを介して、タッチスクリーン６４８などの入力デバイスを通して、コマンドおよび情報を入力できる。他の入力デバイスには、マイク、ジョイスティック、ゲームパッド、タブレット、スキャナー、生体測定スキャンデバイスなどが含まれる。これらおよび他の入力デバイス（すなわち、「Ｉ／Ｏデバイス」）は、タッチスクリーンコントローラなどのインターフェース６４６および／またはユーザの入力をシステムバス６１０へ結合するユニバーサルシリアルバス（「ＵＳＢ」）インターフェースを介してプロセッサ６０６に接続されるが、パラレルポート、ゲームポート、または、ワイヤレスインターフェースもしくはシリアルポートなどの他のインターフェースも使用し得る。タッチスクリーン６４８は、タッチスクリーン６４８を介して表示するための画像データまたは画像情報を受信するビデオアダプタなどのビデオインターフェース６５０を介してシステムバス６１０に結合できる。図示されていないが、プロセッサベースのデバイス６０４は、スピーカー、バイブレータ、触覚アクチュエータなどの他の出力デバイスを含むことができる。

プロセッサベースのデバイス６０４は、１つまたは複数の論理（ロジック）接続を使用するネットワーク環境で作動し、１つまたは複数の通信チャネル、例えば、１つまたは複数のネットワーク６１４ａ、６１４ｂを介して１つまたは複数のリモートコンピュータ、サーバ、および／またはデバイスと通信し得る。これらの論理（ロジック）接続は、インターネットなどの１つまたは複数のＬＡＮおよび／またはＷＡＮ、および／またはセルラー通信ネットワークを介するなど、コンピュータに通信を可能とさせる任意の既知の方法を容易にし得る。このようなネットワーク環境は、有線および無線の企業全体のコンピュータネットワーク、イントラネット、エクストラネット、インターネット、および通信ネットワーク、セルラーネットワーク、ページングネットワーク、その他のモバイルネットワークを含む他の種類の通信ネットワークにおいて周知である。

ネットワーク環境で使用される場合、プロセッサベースのデバイス６０４は、ネットワーク、例えば、インターネット６１４ａまたはセルラーネットワークを介した通信を確立するための、１つまたは複数の有線または無線通信インターフェース６１４ａ、６１４ｂ（例えば、セルラー無線、ＷＩ－ＦＩ無線、Ｂｌｕｅｔｏｏｔｈ無線）を含み得る。

ネットワーク化された環境では、プログラムモジュール、アプリケーションプログラム、若しくはデータ、またはそれらの一部を、サーバーコンピューティングシステム（不図示）に格納できる。関連技術の当業者は、図６に示されるネットワーク接続がコンピュータ間の通信を確立するやり方のほんの一例であり、無線を含む他の接続を使用し得ることを認識するであろう。

便宜上、プロセッサ６０６、システムメモリ６０８、ネットワークおよび通信インターフェース６１４ａ、６１４ｂは、システムバス６１０を介して互いに通信可能に結合され、それによって上記のコンポーネント間の接続を提供するものとして示されている。プロセッサベースのデバイス６０４の代替の実装形態では、上記のコンポーネントは、図６に示されているものとは異なるやり方で通信可能に結合され得る。例えば、上記のコンポーネントの１つまたは複数は、他のコンポーネントに直接結合され得る、または中間コンポーネント（不図示）を介して互いに結合され得る。いくつかの実装形態では、システムバス６１０は省略され、コンポーネントは適切な接続を使用し互いに直接結合される。

上記の様々な実装を組み合わせて、さらに実装を提供できる。本明細書の特定の教示および定義と矛盾しない限り、限定されないが、２０１１年７月７日に出願された米国仮特許出願第６１／５７１，９０８号、２０１６年１２月６日に発行された米国特許第９，５１３，３５７号、２０１６年１１月２９日に出願された米国特許出願第１５／３６３６８３号、２０１４年１月１７日に出願された米国仮特許出願第６１／９２８７０２号、２０１６年７月１５日に出願された米国特許出願第１５／１１２１３０号、２０１５年１１月２０日に出願された米国仮特許出願第６２／２６０５６５号、２０１６年１０月３１日に出願された米国仮特許出願第６２／４１５２０３号、２０１６年１１月１日に出願された米国仮特許出願第６２／４１５６６６号、２０１７年１月２７日に出願された米国仮特許出願第６２／４５１４８２号、２０１７年５月４日に出願された米国仮特許出願第６２／５０１６１３号、２０１７年５月３０日に出願された米国仮特許出願第６２／５１２６１０号、２０１８年１月２５日に出願された米国特許出願第１５／８７９７３２号、２０１８年１月２５日に出願された米国特許出願第１５／８７９７４２号、２０１７年１１月２２日に出願された米国仮特許出願第６２／５８９８２５号、２０１７年１１月２２日に出願された米国仮特許出願第６２／５８９８０５号、２０１７年１１月２２日に出願された米国仮特許出願第６２／５８９７７２号、２０１７年１１月２２日に出願された米国仮特許出願第６２／５８９８７２号、２０１７年１１月２２日に出願された米国仮特許出願第６２／５８９８７６号、２０１７年１１月２２日に出願された米国仮特許出願第６２／５８９７６６号、２０１７年１１月２２日に出願された米国仮特許出願第６２／５８９８３３号、２０１７年１１月２２日に出願された米国仮特許出願第６２／５８９８３８号、２０１８年１月２５日に出願されたＰＣＴ出願ＰＣＴ／ＵＳ２０１８／０１５２２２号、２０１８年５月３日に出願されたＰＣＴ出願ＰＣＴ／ＵＳ２０１８／０３０９６３号、２０１８年５月２５日に出願された米国特許出願第１５／７７９，４４５号、２０１８年５月２５日に出願された米国特許出願第１５／７７９，４４７号、２０１８年５月２５日に出願された米国特許出願第１５／７７９，４４８号、２０１８年５月３０日に出願されたＰＣＴ出願第ＰＣＴ／ＵＳ２０１８／０３５１９２号、２０１８年６月１１日に出願された米国仮特許出願第６２／６８３４６１号、を含む、全ての米国特許、米国特許出願公開、米国特許出願、外国特許、外国特許出願並びに本明細書で言及されるおよび／または出願データシートに記載されている非特許刊行物が、参照によりそのすべてが本明細書に組み込まれる。実装の様態を必要に応じて変更し、様々な特許、出願、および刊行物のシステム、回路、および概念を採用して、さらなる実装をさらに提供できる。

本出願は、２０１８年８月２４日に出願された米国仮出願第６２／７２２６６３号の優先権の利益を主張し、この出願は参照によりその全体が本明細書に組み込まれる。

これらおよびその他の変更を、上記の詳細な説明を参照して、実施形態に行うことができる。概して、以下の請求項において、使用する用語は、明細書および請求項で開示する特定の実施形態に請求項を限定するように解釈すべきではなく、請求項が権利を有する全ての範囲の相当物と共に、全ての可能な実施形態を含めるように解釈すべきである。したがって、請求項は本開示による限定を受けない。
［参照］
１． Ｎｏｒｍａｎ， Ｂ．， Ｐｅｄｏｉａ， Ｖ． ＆ Ｍａｊｕｍｄａｒ， Ｓ． Ｕｓｅ ｏｆ ２Ｄ Ｕ―Ｎｅｔ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ ｆｏｒ Ａｕｔｏｍａｔｅｄ Ｃａｒｔｉｌａｇｅ ａｎｄ Ｍｅｎｉｓｃｕｓ Ｓｅｇｍｅｎｔａｔｉｏｎ ｏｆ Ｋｎｅｅ ＭＲ Ｉｍａｇｉｎｇ Ｄａｔａ ｔｏ Ｄｅｔｅｒｍｉｎｅ Ｒｅｌａｘｏｍｅｔｒｙ ａｎｄ Ｍｏｒｐｈｏｍｅｔｒｙ． Ｒａｄｉｏｌｏｇｙ ２８８， １７７―１８５ （２０１８）．
２． Ｌｉｅｍａｎ―Ｓｉｆｒｙ， Ｊ．， Ｌｅ， Ｍ．， Ｌａｕ， Ｆ．， Ｓａｌｌ， Ｓ． ＆ Ｇｏｌｄｅｎ， Ｄ． ＦａｓｔＶｅｎｔｒｉｃｌｅ： Ｃａｒｄｉａｃ Ｓｅｇｍｅｎｔａｔｉｏｎ ｗｉｔｈ ＥＮｅｔ． ｉｎ Ｆｕｎｃｔｉｏｎａｌ Ｉｍａｇｉｎｇ ａｎｄ Ｍｏｄｅｌｌｉｎｇ ｏｆ ｔｈｅ Ｈｅａｒｔ １２７―１３８ （Ｓｐｒｉｎｇｅｒ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｐｕｂｌｉｓｈｉｎｇ， ２０１７）．
３． Ｓｈｅｎ， Ｄ． ＆ Ｄａｖａｔｚｉｋｏｓ， Ｃ． ＨＡＭＭＥＲ： ｈｉｅｒａｒｃｈｉｃａｌ ａｔｔｒｉｂｕｔｅ ｍａｔｃｈｉｎｇ ｍｅｃｈａｎｉｓｍ ｆｏｒ ｅｌａｓｔｉｃ ｒｅｇｉｓｔｒａｔｉｏｎ． ＩＥＥＥ Ｔｒａｎｓ． Ｍｅｄ． Ｉｍａｇｉｎｇ ２１， １４２１―１４３９ （２００２）．
４． Ａｓｈｂｕｒｎｅｒ， Ｊ． ＆ Ｆｒｉｓｔｏｎ， Ｋ． Ｊ． Ｖｏｘｅｌ―Ｂａｓｅｄ Ｍｏｒｐｈｏｍｅｔｒｙ－Ｔｈｅ Ｍｅｔｈｏｄｓ． Ｎｅｕｒｏｉｍａｇｅ １１， ８０５―８２１ （２０００）．
５． Ｒｕｅｃｋｅｒｔ， Ｄ． ｅｔ ａｌ． Ｎｏｎｒｉｇｉｄ ｒｅｇｉｓｔｒａｔｉｏｎ ｕｓｉｎｇ ｆｒｅｅ―ｆｏｒｍ ｄｅｆｏｒｍａｔｉｏｎｓ： ａｐｐｌｉｃａｔｉｏｎ ｔｏ ｂｒｅａｓｔ ＭＲ ｉｍａｇｅｓ． ＩＥＥＥ Ｔｒａｎｓ． Ｍｅｄ． Ｉｍａｇｉｎｇ １８， ７１２―７２１ （１９９９）．
６． Ｈｕ， Ｙ． ｅｔ ａｌ． Ｌａｂｅｌ―ｄｒｉｖｅｎ ｗｅａｋｌｙ―ｓｕｐｅｒｖｉｓｅｄ ｌｅａｒｎｉｎｇ ｆｏｒ ｍｕｌｔｉｍｏｄａｌ ｄｅｆｏｒｍａｒｌｅ ｉｍａｇｅ ｒｅｇｉｓｔｒａｔｉｏｎ． ｉｎ ２０１８ ＩＥＥＥ １５ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｂｉｏｍｅｄｉｃａｌ Ｉｍａｇｉｎｇ （ＩＳＢＩ ２０１８） １０７０―１０７４ （２０１８）．
７． Ｂａｌａｋｒｉｓｈｎａｎ， Ｇ．， Ｚｈａｏ， Ａ．， Ｓａｂｕｎｃｕ， Ｍ． Ｒ．， Ｇｕｔｔａｇ， Ｊ． ＆ Ｄａｌｃａ， Ａ． Ｖ． Ａｎ Ｕｎｓｕｐｅｒｖｉｓｅｄ Ｌｅａｒｎｉｎｇ Ｍｏｄｅｌ ｆｏｒ Ｄｅｆｏｒｍａｂｌｅ Ｍｅｄｉｃａｌ Ｉｍａｇｅ Ｒｅｇｉｓｔｒａｔｉｏｎ． ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ ９２５２―９２６０ （２０１８）．
８． Ｌｉｎ， Ｃ．―Ｈ． ＆ Ｌｕｃｅｙ， Ｓ． Ｉｎｖｅｒｓｅ Ｃｏｍｐｏｓｉｔｉｏｎａｌ Ｓｐａｔｉａｌ Ｔｒａｎｓｆｏｒｍｅｒ Ｎｅｔｗｏｒｋｓ． ａｒＸｉｖ ［ｃｓ．ＣＶ］ （２０１６）．

Claims (37)

1. プロセッサ実行可能命令またはデータの少なくとも１つを格納する、少なくとも１つの非一時的プロセッサ可読記憶媒体と、
   前記少なくとも１つの非一時的プロセッサ可読記憶媒体に通信可能に結合された少なくとも１つのプロセッサと、
   を備えた機械学習システムであって、
   前記少なくとも１つのプロセッサが、作動中、
   ラベルなし画像セットの複数のバッチを含む学習データを受信し、各画像セットが少なくとも１人の患者の医用画像スキャンをそれぞれ表すソース画像およびターゲット画像を含み、
   前記学習データに基づいて、１つまたは複数の畳み込みニューラルネットワーク（ＣＮＮ）モデルをトレーニングして、前記ターゲット画像の前記ソース画像へのコレジストレーションの１つまたは複数の変換関数を学習し、前記１つまたは複数のＣＮＮモデルは、アフィン変換行列を学習するグローバルネットワークコンポーネントと、高密度変形フィールドを学習するローカルネットワークコンポーネントとを含み、前記グローバルネットワークコンポーネントは、前記１つまたは複数のＣＮＮモデルにおいて前記ローカルネットワークコンポーネントに先行し、
   前記１つまたは複数のトレーニングされたＣＮＮモデルを、前記機械学習システムの前記少なくとも１つの非一時的プロセッサ可読記憶媒体に格納する、
   機械学習システム。
2. 前記少なくとも１つのプロセッサが教師なしトレーニングアルゴリズムを使用して前記１つまたは複数のＣＮＮモデルをトレーニングする、請求項１に記載の機械学習システム。
3. 前記教師なしトレーニングアルゴリズムが前記ソース画像および前記ターゲット画像のペアから計算され、前記画像上の任意の明示的な人間作成のアノテーションからは計算されない損失関数を含む、請求項２に記載の機械学習システム。
4. 前記損失関数が前記ソース画像および前記ターゲット画像間のピクセルごとの二乗平均平方根誤差を含む、請求項３に記載の機械学習システム。
5. 微分可能な目的関数が前記ソース画像および前記ターゲット画像間の相互情報損失を含む、請求項３に記載の機械学習システム。
6. 微分可能な目的関数が前記ソース画像および前記ターゲット画像間のＬ２損失を含む、請求項３に記載の機械学習システム。
7. 微分可能な目的関数が前記ソース画像および前記ターゲット画像間の中心加重Ｌ２損失関数を含む、請求項３に記載の機械学習システム。
8. 微分可能な目的関数が前記ソース画像および前記ターゲット画像間の正規化された相互相関損失関数を含む、請求項３に記載の機械学習システム。
9. 前記ラベルなし画像セットの複数のバッチが２Ｄまたは３Ｄ画像の一方または両方を含む、請求項１に記載の機械学習システム。
10. 前記変換関数がアフィン変換または高密度の非線形対応マップの一方または両方を含む、請求項１に記載の機械学習システム。
11. 前記変換関数が高密度変形フィールド（ＤＤＦ）を含む前記高密度の非線形対応マップを含む、請求項１０に記載の機械学習システム。
12. 前記１つまたは複数のＣＮＮモデルがグローバルネットワークモデルを含み、前記グローバルネットワークモデルが前記学習データを受信しアフィン変換行列を出力する、請求項１に記載の機械学習システム。
13. 前記アフィン変換行列が前記ソース画像に関して前記ターゲット画像上で計算される、請求項１２に記載の機械学習システム。
14. 前記ソース画像および前記ターゲット画像がすべての可能な画像ペアリングの組み合わせを含む、請求項１２に記載の機械学習システム。
15. 前記ソース画像および前記ターゲット画像が単一の心臓ＭＲスキャンにおけるすべての画像を含む、請求項１４に記載の機械学習システム。
16. 前記ソース画像および前記ターゲット画像が１つまたは複数の異種のＭＲスキャンボリュームからのすべての画像を含む、請求項１４に記載の機械学習システム。
17. 前記グローバルネットワークモデルが、少なくとも１つの畳み込み層、最大プーリング層、バッチ正規化層、およびドロップアウト層を含む少なくとも１つの層のグループを含む収縮経路を含む、請求項１２に記載の機械学習システム。
18. 前記グローバルネットワークモデルが前記収縮経路内の前記層のグループの前記少なくとも１つに続く整流器または漏出性整流器を含む、請求項１７に記載の機械学習システム。
19. 前記グローバルネットワークモデルによって出力された前記アフィン変換行列がアフィン空間変換レイヤーを含む、請求項１２に記載の機械学習システム。
20. 前記アフィン変換行列のアフィン変換がスケーリング係数によって制限される、請求項１２に記載の機械学習システム。
21. 前記アフィン変換行列が正則化演算を含む、請求項１２に記載の機械学習システム。
22. 前記正則化演算が曲げエネルギー損失を含む、請求項２１に記載の機械学習システム。
23. 前記正則化演算が勾配エネルギー損失を含む、請求項２１に記載の機械学習システム。
24. 前記１つまたは複数のＣＮＮモデルが前記学習データを受信し、ローカルネットワークの高密度変形フィールドを出力するローカルネットワークモデルを含む、請求項１に記載の機械学習システム。
25. 前記少なくとも１つのプロセッサが前記ターゲット画像をワープしワープターゲット画像を提供して、前記ワープターゲット画像が元のターゲット画像にアフィン変換フィールドを適用することによって取得される、請求項２４に記載の機械学習システム。
26. 前記ローカルネットワークモデルが収縮経路および拡張経路を含み、前記収縮経路が１つまたは複数の畳み込み層および１つまたは複数のプーリング層を含み、各プーリング層が少なくとも１つの畳み込み層に先行し、前記拡張経路がいくつかの畳み込み層およびいくつかのアップサンプリング層を含み，各アップサンプリング層が少なくとも１つの畳み込み層に先行し、各アップサンプリング層が、少なくとも１つのアップサンプリング演算および学習されたカーネルを備えた補間演算を実行する転置畳み込み演算、または前記補間演算の後に続くアップサンプリング演算を含む、請求項２４に記載の機械学習システム。
27. 前記ローカルネットワークの高密度変形フィールドの出力が、自由形式類似性空間変換器を含む、請求項２４に記載の機械学習システム。
28. 前記自由形式類似性空間変換器がアフィン変換を含む、請求項２７に記載の機械学習システム。
29. 前記自由形式類似性空間変換器が高密度自由形式変形フィールドワーピングを含む、請求項２７に記載の機械学習システム。
30. 前記ローカルネットワークの高密度変形フィールドの出力が正則化演算を含む、請求項２４に記載の機械学習システム。
31. 前記正則化演算が曲げエネルギー損失を含む、請求項３０に記載の機械学習システム。
32. 前記正則化演算が勾配エネルギー損失を含む、請求項３０に記載の機械学習システム。
33. 前記１つまたは複数のＣＮＮモデルが、グローバルネットワーク、ローカルネットワーク、および出力された高密度変形フィールドを含む、請求項１に記載の機械学習システム。
34. 前記少なくとも１つのプロセッサが教師なし微分可能損失関数を使用するアダムオプティマイザを使用して、前記１つまたは複数のＣＮＮモデルを最適化する、請求項１に記載の機械学習システム。
35. 前記少なくとも１つのプロセッサが前記ソース画像およびワープターゲット画像との間の前記教師なし損失関数を計算する、請求項３４に記載の機械学習システム。
36. 前記ワープターゲット画像が高密度変形フィールドを元のターゲット画像に適用することによって獲得される、請求項３５に記載の機械学習システム。
37. 前記画像セットが心臓短軸ＣＩＮＥ ＭＲシリーズを含む、請求項１に記載の機械学習システム。

Images