JP7325954B2 - 医用画像処理装置、医用画像処理プログラム、学習装置及び学習プログラム - Google Patents

Description

本実施形態は、医用画像処理装置、医用画像処理プログラム、学習装置及び学習プログラムに関する。

医用画像レジストレーションとは、２つの画像を共通の空間へと位置合わせ（アライメント）するものである。医用画像レジストレーションは、医用画像を表すボリュームデータ、又は医用画像を取得するために処理することができる様なボリュームデータ、について実行することができる。ボリュームデータは、共通する空間へとアライメントすることができる。

レジストレーションは、例えば１つの画像だけでは表れていない情報へと臨床医が容易にアクセスできるようにするために、利用される場合がある。一例で、画像は、異なる時間で収集された画像となることがあり、またレジストレーションによりもたらされる情報は、時間とともに腫瘍の進行となることがある。

レジストレーションは、収集の同じモダリティを使用して収集された画像（モノモダリティレジストレーション）に関して、又は収集の異なるモダリティを使用して収集された画像（マルチモダリティレジストレーション）に関して、実行することができる。マルチモダリティレジストレーションの場合に、柔組織の画像（例えば、磁気共鳴画像）及び硬組織の画像（例えばコンピュータ断層画像）のレジストレーションは、患者の生体構造のより広範囲にわたる描写を作り出すために、実行することがある。

画像をレジストレーションすることで、画像の直接比較が可能になる場合がある。例えば、解剖学的特徴は、画像が一度レジストレーションされている、各画像における対応する位置を占めることがある。状況次第で、レジストレーションされた画像について更なる画像処理を実行することができる（例えば、セグメンテーション、サブトラクション、又は画像フュージョン）。

２つの画像がレジストレーションされるレジストレーション処理において、画像のうちの一方は基準となる参照画像として、他方の画像は変換対象とされる変換画像（又は浮動画像：ｆｌｏａｔｉｎｇ ｉｍａｇｅ）として、それぞれ指定することができる。レジストレーション処理の目的は、変換画像の座標系を参照画像の座標系へと関連付ける変換を取得するため、という場合がある。変換画像を参照画像へと位置合わせするために、変換を変換画像へと適用することができる。

従来の画像レジストレーション処理は、２つの画像がどの程度上手くアライメントされたかの計測を使用し、且つ当該アライメントの計測を最適化するという目的で、１つの画像について変換を逐次的に適用することがある。例えば、アライメントの計測は、類似性計測を具備する場合がある。初期変換は、アライメントの計測に対する値を取得するために、変換画像へと適用することができる。初期変換は、その場合にアライメントの計測についての値が収束されるまで、アライメントの計測に対する値を改善するような方法で、逐次することができる。

レジストレーション法の中には、変換が、回転、並進、スケーリングによる剛体変換というものがある。

その他のレジストレーション法において、変換は、局所変形（ｌｏｃａｌ ｄｅｆｏｒｍａｔｉｏｎ）を含むことができ、変形処理を行う非剛体変換というものもある。

特表２０１５－５１４４４７号公報

一般的に、非剛体レジストレーションに対して、変換空間を制約するために、正則化が用いられる。その様な正則化は、例えば場（ｆｉｅｌｄ）の滑らかさや、変換の取り得る最大の絶対値の最大値ｍａｘｉｍｕｍ ｐｏｓｓｉｂｌｅ ａｂｓｏｌｕｔｅ ｍａｇｎｉｔｕｄｅ）を制約することがある。

もし正則化が用いられなかった場合には、非剛体レジストレーションが、例えば物理的に可能でない生体構造における変化を表す変換等、物理的な意味を成さない様な変換を出力する可能性がある。例えば、輝度主導のメトリックが使用された場合に、非剛体レジストレーションは、ピクセルがどの様な状態で生体構造を表すのか考慮することなく（例えば、隣り合うピクセルを一緒に維持することなく）、一つの画像及び別のものとの間のピクセルの輝度を単にマッチさせる出力を提供することがある。

すなわち、従来のレジストレーションによれば、正則化を用いる場合には演算上の制約が発生し、正則化を用いない場合には現実的な結果となる場合がある。

本実施形態は、上記事情に鑑み、新たな手法によるレジストレーションを実現する医用画像処理装置、医用画像処理プログラム、学習装置及び学習プログラムを提供することを目的とする。

本実施形態に係る医用画像処理装置は、第一の画像データと第二の画像データとを受け取る取得部と、前記第一の画像データと前記第二の画像データとの間のレジストレーション処理を実行するための予測変位を生成する生成部と、を具備し、前記生成部は、前記予測変位の生成と識別部を用いた訓練とを繰り返し実行することで訓練されており、前記識別部は、予め定めた変位と前記予測変位とを区別するように訓練されること、を特徴とする。

実施形態に係る装置の概略図。 生成器（ｒｅｇｒｅｓｓｏｒ）の訓練法の概要を描くフローチャート。 識別器の概略を描くフローチャート。 実施形態に係る生成器の訓練法の概要を描いているフローチャート。 実施形態に係る識別器の訓練法の概要を描いているフローチャート。 実施形態に係る訓練された生成器のデプロイメント（ｄｅｐｌｏｙｍｅｎｔ）の概要を描いているフローチャート。 変換画像を合成するために、予め定めた変位場の参照画像に対する適用を描いている概略図。 グラウンドトゥルース変位場（上段）、平均二乗誤差（ｍｅａｎ ｓｑｕａｒｅｄ ｅｒｒｏｒ：ＭＳＥ）のみを使って訓練されたシステムを使用して予測された変位場（中段）、平均二乗誤差及び識別器フィードバックを使って訓練されたシステムを使用して予測された変位場（下段）の一連の例の概略図。 実施形態に係る多重識別器を使用する訓練処理の概要を描いているフローチャート。

実施形態に係る画像データ処理装置１０が、図１に概略的に描かれている。図１の実施形態において、装置１０は、医用画像をレジストレーションするための生成器（生成部）を訓練し、且つ医用画像をレジストレーションするために訓練された生成器を使用する、よう構成されている。その他の実施形態において、第一の装置が生成器を訓練するために使用することができ、又第二の、異なる装置が医用画像をレジストレーションするために訓練された生成器を使用することができる。更なる実施形態では、任意の装置又は複数の装置の含み合わせを使用することができる。

画像データ処理装置１０は、この場合にはパーソナルコンピュータ（ｐｅｒｓｏｎａｌ ｃｏｍｐｕｔｅｒ：ＰＣ）又はワークステーション等の計算装置１２を具備し、計算装置１２は、スキャナ１４、１つ又は複数の表示スクリーン１６、そしてコンピュータキーボード、マウス又はトラックボール等の１つの入力デバイス又は複数の入力デバイス１８に接続されている。

スキャナ１４は、医用撮像を実行するよう構成された任意のスキャナとすることができる。係るスキャナ１４は、患者又はその他の被検体の少なくとも１つの解剖学的領域を表す撮像データを生成するよう構成されている。スキャナは、任意の撮像モダリティにおける、二次元又は三次元画像データを取得するよう構成することができる。例えば、スキャナ１４は、磁気共鳴（ｍａｇｎｅｔｉｃ ｒｅｓｏｎａｎｃｅ：ＭＲ）スキャナ、ＣＴ（ｃｏｍｐｕｔｅｄ ｔｏｍｏｇｒａｐｈｙ：コンピュータ断層撮像）スキャナ、コーンビームＣＴスキャナ、Ｘ線スキャナ、超音波スキャナ、ＰＥＴ（ｐｏｓｉｔｒｏｎ ｅｍｉｓｓｉｏｎ ｔｏｍｏｇｒａｐｈｙ：ポジトロン放出断層撮像）スキャナ、又はＳＰＥＣＴ（ｓｉｎｇｌｅ ｐｈｏｔｏｎ ｅｍｉｓｓｉｏｎ ｃｏｍｐｕｔｅｄ ｔｏｍｏｇｒａｐｈｙ：単光子放出コンピュータ断層撮像）スキャナを具備することができる。更なる実施形態において、スキャナは、任意のタイプの画像データを生成することができるが、係る画像データは医用撮像データではない場合がある。

本実施形態において、スキャナ１４によって取得された撮像データセットは、データストア２０に格納されて、その後計算装置１２に提供される。代替的な実施形態において、撮像データセットは、医用画像保管通信システム（Ｐｉｃｔｕｒｅ Ａｒｃｈｉｖｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｙｓｔｅｍ：ＰＡＣＳ）の一部を形成することができる遠隔データストア（図示せず）から供給される。データストア２０又は遠隔データストアは、メモリストレージの任意の適切な形状を具備することができる。なお、処理回路２２において実行される生成処理、識別処理に用いる撮像データセットは、二次元画像データのセットであってもよいし、三次元画像データのセットであってもよい。

計算装置１２は、画像データを含む、データ処理用の処理回路２２を具備する。処理回路２２は、中央処理装置（ＣＰＵ：ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）と図形処理ユニット（ＧＰＵ：Ｇｒａｐｈｉｃａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）とを具備する。

処理回路２２は、画像データセットを自動的に又は半自動的に処理する用の処理リソースを提供する。簡単にするため、下記では医用画像の処理と言うことにする。しかし、実際に、下記に説明される操作を、医用画像を表す画像データの任意の適切なセットに実行することができる。画像データは、対応する画像が何も表示されることなく、処理回路２２によって内部で処理されることもある。

処理回路２２は、医用画像をレジストレーションするために生成器を訓練するよう構成された訓練回路２４（学習装置）と、医用画像をレジストレーションするために訓練された生成器を使用するよう構成されたレジストレーション回路２６と、を含む。

本実施形態において、回路２４、２６は、実施形態の方法を実行することが実行可能なコンピュータ読み取り可能命令を有するコンピュータプログラムの方法で、ＣＰＵ、及び／又は、ＧＰＵでそれぞれ実行される。その他の実施形態において、様々な回路は、１つ以上のＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔｓ：特定用途向け集積回路）又はＦＰＧＡ（ｆｉｅｌｄ ｐｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙｓ：フィールドプログラマブルゲートアレイ）として実施することがある。

計算装置１２は、ハードドライブと、ＲＡＭ、ＲＯＭ、データバス等その他のＰＣの構成要素と、様々なデバイスドライバなどオペレーティングシステムと、グラフィックスカードなどハードウェアデバイスとも含む。このような構成要素は、図が見やすいように、図１には示されていない。

図２は、生成器３６を訓練する方法の概要を描くフローチャートである。

生成器３６は、２つの所定の画像をアライメントするための非剛体変換の予測を学習するよう構成されたニューラルネットワークである。非剛体変換は、変位場（例えば、スカラー場、ベクトル場、テンソル場等）によって表される。生成器は、変換を特徴付ける少なくとも１つのパラメータを最小化する又は低減する様な、変換によって関連付けられた２つのデータセット間の適合（ｆｉｔｔｉｎｇ）を提供する、任意の関数（例えば、任意の深層学習法）を具備することができる。

生成器３６を訓練するために、複数の訓練画像が使用される。

生成器３６は、グラウンドトゥルース変換について訓練される。グラウンドトゥルース変換は、既に知られた変換である。グラウンドトゥルース変換は、訓練変換又は予め定めた変換とも呼ぶことができる。

実際に、グラウンドトゥルースとして使用することが可能な、画像のリアルなペア（例えば、異なる時点で収集された同じ生体構造の画像）に対する変換を取得することは、難しい場合がある。

従って、図２の方法において、グラウンドトゥルース変換は、人工的に構築されている、予め定めた変換である。例えば、グラウンドトゥルース変換は、２Ｄガウスプロファイル関数をサンプリングすることにより、又はシヌソイド関数をサンプリングすることにより、取得することができる。これらのグラウンドトゥルース変換は、合成された変換画像を取得するために、訓練画像へと適用される。

図２のフローチャートへと戻って、参照画像３０が受け取られる。参照画像３０は、生成器が訓練されるべき訓練画像のうちの１つである。

図２のステージ３２で、予め定めた変位場が、参照画像３０へと適用される。予め定めた場は、人工的に構築された変位場である。例えば、予め定めた変位場は、２Ｄガウス関数をサンプリングすることにより、取得されている場合がある。予め定めた変位場は、例えば、レジストレーション処理を実行することで取得されているというよりも、人工的に構築されるので、合成変位場とも呼ばれることがある。

予め定めた変位場を、参照画像３０へと適用した結果が、変換画像３４である。変換画像３４は、スキャナから収集されているのではなく、（人工的に構築された）予め定めた変位場を使用して取得されているので、合成された変換画像（又は合成変換画像）と呼ぶことがある。

訓練回路は、参照画像３０及び合成変換画像３４（予め定めた変位場ではなく）生成器３６へと提供する。

生成器３６は、ディープニューラルネットワーク（ＤＮＮ）に代表されるニューラルネットワークである。しかしながら、生成器３６は、ディープニューラルネットワークに限定されず、一般的なニューラルネットワークであってもよい。生成器３６は、重さの初期のセットを用いて初期化することができる。生成器３６の訓練は、生成器３６の重みを調整することを具備することができる。

生成器３６は、参照画像３０と合成変換画像３４とを、そのニューラルレットワークに対する入力として使用する。ニューラルネットワークは、参照画像３０及び合成変換画像３４を処理する。例えば、ニューラルネットワークは、参照画像３０及び合成変換画像３４からの特徴を抽出し、且つ係る抽出された特徴を処理することができる。ニューラルネットワークは、参照画像３０と合成変換画像３４との間の変換を表す、変位場３８の予測を出力する。

訓練回路は、変換画像３４を合成するために、予測された変位場３８を、ステージ３２で使用された予め定めた変位場と比較する。

予め定めた変位場は、合成された変換画像３４を構築するために使用されたから、参照画像３０と合成された変換画像３４との間の正しい変換である、ということが知られている。予め定めた変位場は、従って、生成器の予測と比較される、グラウンドトゥルースを提供するのである。

予測された変位場３８と予め定めた変位場との間の差分の計測が、計算される。図２の方法において、差分の計測は、平均二乗誤差（ｍｅａｎ ｓｑｕａｒｅｄ ｅｒｒｏｒ：ＭＳＥ）である。方法のその他のバージョンでは、任意の適切な差分の計測を使用することができる。

生成器３６により提供される予測が良い場合は、予測された変位場３８は、予め定めた変位場と非常によく似ているということである。反対に生成器３６により提供される予測が悪い場合には、予測された変位場３８は、予め定めた変位場とは明らかに違うということである。

平均二乗誤差は、訓練フィードバック４０として、生成器３６へと与えられる（フィードされる）。訓練回路は、訓練フィードバック４０に応答して、生成器３６の重みを更新することができる。

図２の方法は、多くの異なる参照画像及び多くの予め定めた変位場に対して、何度も繰り返される。生成器３６は、その変位場についての予測を改善するために、訓練フィードバック４０の多くの事例から学習する。生成器３６は、予測変位場及びリアルな変位場の間の平均二乗誤差を最小化するために、逐次的に訓練される。

状況次第で、平均二乗誤差のみに基づき変位場を最適化すること（例えば、図２を参照に上記に説明された様に）は、不十分な予測された変位に繋がる場合があることが、発見されている。また状況により、小さく、僅かな変位は、画像のどこか他の場所にあるより大きな誤差により圧倒される場合もある。

平均二乗誤差だけを最小化する生成器３６を訓練する場合、生成器３６が予測する、変位場の形状の上に位置する境界が存在しない。生成器３６は、平均二乗誤差の観点では正確であると考えられるが、非現実的な、変位場を生成することがある。状況次第で、生成器３６により出力される予測された変位場は、レジストレーションをしようと試みる画像において表された生体構造に対して、物理的に可能でない変換を表すことがある。

平均二乗誤差だけを最小化する生成器３６を訓練すること（例えば、図２を参照に描かれる様に）でもたらされる解は、正則化が不十分だと考えられることがある。不十分な正則化を解消するために、生成器を訓練する処理に対して、識別器（識別部）を追加することが提案される。係る識別器は、間接的な正則化を提供すると考えることができる。

図３は、識別器５６により実行される処理の概要を描くフローチャートである。識別器は、リアルな変位場５０（例えば、上で説明された様な予め定めた変位場）及び、例えば生成器３６により予測された変位場等、予測された変位場５２を区別するよう訓練されている。

識別器５６は、２つの変位場５０及び５２を受け取る。２つの変位場のうちの一方は、参照画像及び変換画像との間の変換を表す、リアルな変位場５０である。例えば、リアルな変位場５０は、上で説明された様な予め定めた変位場とすることができる。２つの変位場のうちの他方は、上記と同じ参照画像及び変換画像に対する生成器により予測された、変位場５２（予測変位場５２）である。

識別器５６は、２つの変位場５０、５２のうちのどちらがリアルで、どちらが予測であるかについては、知らされていない。

図３の例において、識別器５６は、差分画像５４も受け取る。差分画像５４は、参照画像から変換画像を引くことで取得される。

識別器５６は、変位場及び差分画像を処理する。図３の例において、識別器５６は、生成器３６は、ディープニューラルネットワーク（ＤＮＮ）に代表されるニューラルネットワークである。しかしながら、識別器５６は、ディープニューラルネットワークに限定されず、一般的なニューラルネットワークであってもよい。また、識別器５６は、ニューラルネットワーク以外の構成であってもよい。識別器５６は、予め定めた変位場５０、予測された変位場５２、そして差分画像５４を入力として受け取る。識別器５６は、入力５０、５２、５４を処理する。例えば、識別器５６は、変位場及び差分画像からの特徴を抽出し、且つ抽出された特徴を処理することができる。

ニューラルネットワークは、２つの変位場５０、５２のうちのどちらがリアルであると判断し、またどちらが予測であると判断したのかに関する決定を出力する。係る決定は、リアルとしての変位場５０、５２のうちの一方の分類と、また予測としてのそれらのうちの他方の分類と、を具備する。決定は、各変位場５０、５２に対し、変位場がリアルであるという確率又は尤度を具備することがある。また決定は、各変位場５０、５２に対し、変位場５０、５２が予測であるという確率又は尤度を具備することがある。

図４ａ及び４ｂは、実施形態に従って生成器６６の訓練法の概要を描くフローチャートである。生成器６６の訓練は、図１の装置の訓練回路２４によって実行される。

生成器６６を訓練するために、訓練回路２４は、決定論的敵対的ネットワーク（ＤＡＮ：ｄｅｔｅｒｍｉｎｉｓｔｉｃ ａｄｖｅｒｓａｒｉａｌ ｎｅｔｗｏｒｋ）と呼ぶことができる、敵対的ネットワークを使用する。係る決定論的敵対的ネットワークは、２つの部分から成る。まず決定論的敵対的ネットワークの第一の部分は、生成器６６である。係る生成器６６は、第一の深層ニューラルネットワークを具備する。次に決定論的敵対的ネットワークの第二の部分は、識別器７６である。係る識別器７６は、第二の深層学習ネットワークを具備する。

深層ニューラルネットワークは、何層にも積み重なったニューロンを具備するニューラルネットワークとすることができる。何層にも積み重なったニューロンは、その後の層の入力として、１つ又は複数の手前の層の出力を使用する、非線形活性化機能を有することができる。深層ニューラルネットワークは、入力空間から出力空間までの非線形なマッピングを高度に構築することができ、それによりモデルとなるべき処理又はタスクの複雑な関係性を捉えることができる。

図４ａ及び４ｂの実施形態において、生成器６６及び識別器７６のそれぞれは、個別の畳み込みニューラルネットワークを具備する。その他の実施形態で、任意の適切なタイプの深層ニューラルネットワークを使用することができるが、例えば多層パーセプトロン、スキップ接続を伴う畳み込みニューラルネットワーク、リカレント（回帰性）ニューラルネットワーク等である。更なる実施形態において、識別器７６は、深層学習を具備しないアルゴリズムを具備する。

生成器６６と識別器７６とは、敵対的な手法で繰り返し訓練される。訓練回路２４は、生成器６６の訓練と識別器７６の訓練とを、バッチ方式ｂａｔｃｈ－ｗｉｓｅ ｂａｓｉｓ）で交互に実行される。敵対的な訓練は、生成器訓練ステージと、識別器訓練ステージとで交互に実行される。生成器訓練ステージは、図４ａを参考に下記に説明される。そして識別器訓練ステージは、図４ｂを参考に下記に説明される。

生成器訓練ステージにおいて、生成器６６が訓練され（例えば、生成器６６の重み更新を具備することがある）、識別器７６は一定が保たれる。

識別器７６は、予め定めた変位場と生成器により予測された変位場とを、識別をするよう訓練されている。生成器６６は、識別器７６を騙すのに十分な程予め定めた変位場に似た変位場を作り出すよう訓練される。生成器６６の最適化と識別器７６の最適化とを交互に実行することにより、生成器６６は、変位場を作り出すことが上達し、また識別器７６も、予め定めた変位場と予測された変位場とを区別することが上達する。生成器６６と識別器７６とを敵対的な手法で共に訓練することにより、生成器６６が単独で訓練された場合に比べ、より良い変位場を作り出すことができる。変位場は、非現実的な動作を示したり、また不連続を示したりすることが少なくなる可能性がある。

敵対的な手法での深層ニューラルネットワークの訓練については、次の文献で詳しく述べられているが、ここにはその文献名を記すことで係る文献全てを含むものとする。Ｇｏｏｄｆｅｌｌｏｗ ｅｔ ａｌ， Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｓ， ＮＩＰＳ’１４ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２７ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｎｅｕｒａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ Ｓｙｓｔｅｍｓ， ｐａｇｅｓ ２６７２―２６８０。

前訓練処理（図示せず）は、生成器６６及び／又は識別器７６の重みを初期化するために、訓練回路２４によって訓練することができる。例えば、生成器６６は、専ら平均二乗誤差を目的関数として使用する、図２の方法を使用して予め訓練することができ、また結果として生じる生成器６６は、敵対的な訓練に対する初期モデルとして使用することができる。

図４ａは、訓練回路２４が生成器６６を訓練する一方、識別器７６は一定が保たれる敵対的な訓練処理の部分である、生成器訓練ステージを描いている。

生成器訓練ステージは、本実施形態にでは畳み込みニューラルネットワークである、生成器６６の深層ニューラルネットワークに対する重みのセットを決定することを具備する。訓練処理は、識別器７６を使用して、生成器６６を訓練する。生成器６６の訓練の一方で、識別器７６の重みが固定（ｆｒｏｚｅｎ）されるので、生成器６６の重みだけが更新される。

図４ａに示された訓練処理は、参照画像６０で示される、訓練画像で開始となる。図４ａのフローチャートにおいて示されるのは１つの訓練画像（参照画像６０）のみであるが、実際に図４ａの訓練処理は、例えば何百又は何千もの訓練画像など、多数の訓練画像について実行される。訓練画像は、スキャナ１４を使用して収集された医用画像である。訓練画像は、任意の適切な撮像モダリティを使用して収集することができる。

参照画像６０は、データストア２０から訓練回路２４によって受け取られる。その他の実施形態において、参照画像６０は、任意の適切なデータストアから、又はスキャナから直接、受け取られる場合もある。

図４ａのステージ６２で、訓練回路２４は、予め定めた変位を参照画像へと適用する。本実施形態において、予め定めた変位は、非剛体変換を表す変位場７０である。その他の実施形態において、任意の変位を使用することができる。変位の任意の適切なフォーマット又は関数が、変換を表すために使用することができる。

本実施形態において、変換は、非パラメータ化される。その他の実施形態において、変換は、パラメータされていることがある。図４ａの実施形態において、予め定めた変位場は、２Ｄガウスプロファイルをサンプリングすることにより、取得されている。

図４ｂに示されているのは、１つの合成変位場７０のみであるが、実際には図４ａの訓練処理は、例えば、何百又は何千もの合成変位場など、多数の合成変位場について実行される。実施形態において、合成変位は、次の式（１）に示す２Ｄガウスプロファイル関数からサンプリングされている。

Ａは、Ｕ（－６．５，６．５）から均一に引き出された実数であり、Ｎは、ガウスがＵ（－５５，５５）から独立して引き出された実数であるｕ_ｘ及びｕ_ｙぶん、画像の中心からシフトされ、次の式（２）に示すような規格化定数である。

参照画像からの変換画像を合成するよう、変位場Ｄ＝｛Ｄ_ｘ，Ｄ_ｙ｝を構築するために、ガウスプロファイルは、Ｄ_ｘ及びＤ_ｙに対する上記方程式から独立してサンプルされる。

その他の実施形態において、予め定めた変位場７０の取得の任意の適切な方法を使用することができる。例えば、予め定めた変位場７０を、リアルな物理的歪みから生じる変位場に似せる様な、任意のモデルを使用することができる。

予め定めた変位場７０は、合成された変換画像６４を取得するために、参照画像６０を変形させる。

訓練回路２４は、差分画像７４を取得するために、参照画像６０から合成された変換画像６４を引く。

参照画像６０、変換画像６４、変位場７０、そして差分画像７４は、一緒になって生成器６６の訓練用の訓練データのセットを提供すると考えることができる。

その他の実施形態において、参照画像６０は、訓練処理を開始する前に、変換画像６４及び差分画像７４を取得するために、変位場７０を使用して、予め処理される。更なる実施形態において、参照画像、変換画像、変位場及び差分画像が、任意の適切な方法で取得することができる。例えば、実施形態の中には、予め定めた変位場７０が、任意の適切なレジストレーション処理を参照画像及び変換画像に適用することにより、取得できるものがある。

訓練回路２４は、参照画像６０及び変換画像６４を、生成器６６へと提供する。生成器６６は、参照画像６０及び変換画像６４を、それのニューラルネットワークに対する入力として使用する。参照画像６０及び変換画像６４が与えられて、生成器６６は、２つの所定の画像をアライメントするために、非パラメトリック定式化において、変位場を予測する。

生成器６６のニューラルネットワークは、予測された変位場７２を出力する。

本実施形態において、予測された変位場７２は、非パラメトリック変換（例えば、密なワープフィールド（ｄｅｎｓｅ ｗａｒｐ ｆｉｅｌｄ）を表す。その他の実施形態において、予測された変位場は、パラメトリック変換を表すものとすることがある。例えば、パラメトリック変換は、変換に対する制御点の単一のスケール又は多重のスケールのグリッドに対するスプライン係数を具備することができる。更なる実施形態において、変位は、任意の適切な表現によって表すことができる。例えば、変位は、場として又はパラメータ化された方程式として表すことができる。

訓練回路２４は、予め定めた変位場７０及び予測された変位場７２を、識別器７６へと提供する。訓練回路２４は、提供された変位場７０、７２のうちのどちらが予め定めたもので、どちらが予測されたものかを示さない。本実施形態において、訓練回路２４は、差分画像７４も識別器７６に提供する。その他の実施形態において、訓練回路２４は、識別器７６に、参照画像及び／又は変換画像を提供することができる。訓練回路２４は、参照画像６０及び／又は変換画像６４から導出された任意の画像又はデータを、識別器７６へと提供することができる。例えば、訓練回路２４は、参照画像６０及び変換画像６４から取得された距離関数を、識別器７６へと提供することがある。訓練回路２４は、参照画像６０及び変換画像６４から取得された類似性計測を、識別器７６へと提供することがある。更に訓練回路２４は、参照画像及び変換画像間の残差（ｒｅｓｉｄｕａｌ）画像の任意の形式を、例えば参照画像及び変換画像の勾配間のドット積の平方を、識別器７６へと提供することもある。

識別器７６は、予め定めた変位場７０及び予測された変位場７２を、自身のニューラルネットワークに対する入力として使用する。識別器７６のニューラルネットワークは、変位場のうちどちらを予め定めたものと判断し、またどちらを予測されたものであると判断したかの決定７８を出力する。決定７８は、変位場７０、７２のそれぞれの分類を具備する又は表す。本実施形態において、決定は、２つの供給された変位場が予め定めた変位場であるかに関連した可能性を具備する。

本実施形態において、決定は、任意の適切な分類を具備することができる。分類は、各変位場を予め定めた又は予測されたものとして、二値分類を具備することができる。分類は、各画像が予め定めた又は予測されたという確率又は尤度を具備する確率的分類を具備することができる。

訓練回路２４は、生成器６６に対してフィードバックを提供する。フィードバックは、生成器６６の出力に基づいた第一のコンポーネントと、識別器７６の出力に基づいた第二のコンポーネントとを具備する。図４ａには第一のコンポーネントが、ＭＳＥフィードバック８０として示されている。第二のコンポーネントは、識別器フィードバック８２として図４ａに示されている。

訓練回路２４は、フィードバックの２つのコンポーネント８０、８２に応答して、生成器６６の重みを調整する。

本実施形態において、ＭＳＥフィードバック８０は、損失関数又は従来的な損失関数と呼ばれることのある、目的関数に対する値である。目的関数は、予測された変位場７２及び予め定めた変位場７０の間の差の計測を提供する。

予め定めた変位場７０は、予め定めた変位場７０が変換画像６４を構築するために使用されたので、参照画像６０及び変換画像６４の間の変換を正確に表す、ということが知られている。従って、予め定めた変位場７０は、グラウンドトゥルースとしての役割を果たし、また予測された変位場７２は、予測された変位場７２を予め定めた変位場７０と比較することで、定量化される。

本実施形態において、目的関数は、平均二乗誤差を目的とする。その他の実施形態において、平均絶対誤差又はフーバー損失等、任意の目的関数を使用することができる。目的関数は、変位場の比較に、又は直接的な参照画像及び変換画像の比較に、それぞれ基づく場合がある。

本実施形態において、目的関数は、例えば画像間の平均二乗誤差等、同じモダリティの画像のレジストレーション（モノモダリティレジストレーション）に対して適切な、従来的な損失関数である。その他の実施形態において、生成器の使用目的（ｉｎｔｅｎｄｅｄ ｕｓｅ ｃａｓｅ）が、異なるモダリティの画像をレジストレーションする（マルチモダリティレジストレーション）ためである場合に、マルチモダリティレジストレーションに適切な損失関数を使用することができる。例えば、モダリティに依存しない、変位場間の平均二乗誤差の計算を使用することができる。幾つかの実施形態において、従来的な損失関数は、例えば正規化されたグラディエントフィールド等、マルチモダリティレジストレーションに対して適切な画像残差に基づく。

本実施形態において、目的関数は、Ｄ^ｐｒｅｄと示すことのできる予測された変位場と、Ｄ^{ｇｒｏｕｎｄｔｒｕｔｈ}と示すことのできる予め定めた変位場と、を直接的に計算する。例えば、計算された値は、（Ｄ^ｐｒｅｄ－Ｄ^{ｇｒｏｕｎｄｔｒｕｔｈ}）と書くことができる。

その他の実施形態において、任意の適切な方法で目的関数を計算することができる。幾つかの実施形態において、補正された変換画像とも呼ぶことのできる、変換された変換画像を取得するために、予測された変位場が変換画像へと適用される。目的関数は、参照画像と変換された変換画像との間で計算される。参照画像は、Ｒと示すことができる。変換された変換画像は、ＦｏＤ^ｐｒｅｄと書くことができ、ここでＦは変換画像、ｏは予測された変位場を使用する変換操作である。目的関数は、（Ｒ－ＦｏＤ^ｐｒｅｄ）として計算することができる。参照画像及び変換された変換画像を使用する目的関数が使用された場合に、グラウンドトゥルース変位が使用されない場合がある。その様な場合には、グラウンドトゥルース変位は、識別器へと提供することができる。

識別器フィードバック８２は、識別的な（ｄｉｓｃｒｉｍｉｎａｔｏｒｙ）損失関数として、説明することができる、更なる関数に対する値である。識別的な損失関数は、提供された変位場のうちのどちらが予め定めたものであり、またどちらが予測されたものであるかの検出の際に、識別器７６の誤差を表す。識別的な損失に対して、任意の適切な関数を使用することができる。例えば、識別的な損失関数は、二値相反エントロピー（ｂｉｎａｒｙ ｃｒｏｓｓ ｅｎｔｒｏｐｙ）を具備することがある。

訓練回路２４は、生成器と予め定めた変位場との出力間の平均二乗誤差を最小化し、且つ識別器７６の誤差を最大化するために、生成器６６の重みを調整する。生成器６６は、予測された変位場がリアルであると識別器７６を信じ込ませるように仕掛ける訓練を積極的に受けているので、生成器６６における重みは、識別器７６のエラー信号を最大化する訓練の一方で、調整される。

ＭＳＥフィードバック８０及び識別器フィードバック８２の相関的な寄与は、実施形態毎に違う場合がある。特に、識別器フィードバック８２の異なるレベル（強さ、と呼ばれることもある）を使用することができる。使用される識別器フィードバックのレベルは、結果として生じる変位場がどの程度正則化されるかに対して、影響を及ぼすことがある、と言うことができる。生成器を訓練するのに識別器のみが使用されたという仮定のシナリオにおいて、生成器により作り出された変位場は、高度にリアルである（例えば、高度に連続的である）が、参照画像及び変換画像に関連しない場合がある。ＭＳＥフィードバック８０及び識別器フィードバック８２を組み合わせて使用することで、変位場は、正則化もされている一方で、参照画像を変換画像へと関連付けることが分かる可能性がある。

ＭＳＥフィードバック８０及び識別器フィードバック８２間のバランスは、チューニングによって分かることがある。幾つかの実施形態において、チューニングは、予測された変換の手動での検査に基づく。また幾つかの実施形態において、チューニングは、変位場の１つ又は複数の特徴の計測に基づく。例えば、１つ又は複数の特徴は、予測された変位場が局所的に反転可能（ｉｎｖｅｒｔｉｂｌｅ）かどうか、を具備することができる。反転可能かは、予測された変位場のヤコビの決定因子（ｄｅｔｅｒｍｉｎａｎｔ）を計算することにより、計測することができる。

図４ａの処理は、生成器６６の重みを訓練するために、複数の訓練画像に対して繰り返すことができる。

図４ａを参照に上で説明された生成器訓練ステージは、識別器訓練ステージと交互に実行される。図４ｂは、識別器訓練ステージの概要を描くフローチャートである。

識別器訓練ステージにおいて、訓練回路２４は、複数の予め定めた変位場及び対応する複数の予測された変位場を使用して、識別器７６を訓練する。予測された変位場は、生成器６６により予測されている。訓練されるべき識別器について予測された変位場を作り出すために、生成器６６の重みが固定される。

図４ｂに戻って、訓練回路２４は、予め定めた変位場８４、予測された変位場８５、差分画像８６を受け取る。訓練回路２４は、予め定めた変位場８４、予測された変位場８５、そして差分画像８６を、識別器７６へと提供する。図４ｂにおいて描かれるのは、単一つの予め定めた変位場８４、予測された変位場８５、そして差分画像８６のみであるが、実際に図４ｂの訓練処理は、例えば何百又は何千ものペア等、多数の変位場のペアについて実行することができる。

差分画像８６は、予め定めた変位場８４により関連付けられる参照画像と変換画像との間の差分である。例えば、変換画像は、上述の通り、予め定めた変位場８４を使用する参照画像から作られたものの場合がある。予測された変位場８５は、同じ参照画像及び同じ変換画像から、生成器６６により予測されている。

識別器７６は、予め定めた変位場８４、予測された変位場８５、差分画像８６を、それのニューラルネットワークに対する入力として使用する。識別器７６は、変位場８４、８５のうちのどちらが予め定めた変位場で、どちらが予測された変位場であるかを決定する。本実施形態において、識別器７６は、二つの提供された変位場８４、８５のうちのどちらが予め定めた変位場に関連するかの可能性を生成する。

訓練回路２４は、識別器７６のエラー信号を計算する。識別器７６のエラー信号は、識別器が、予め定めた変位場８４と予測された変位場８５との識別の成功度を表す。

本実施形態において、識別器７６を訓練するために使用されたエラー信号は、図４ａに関連して上で説明されたものと、同じ識別的な損失関数である。その他の実施形態において、異なる関数を使用することができる。

訓練回路２４は、識別的な損失関数に対する値を、識別器フィードバック８８として識別器７６に提供する。訓練回路２４は、識別的な損失関数を最小化するために、識別器７６の重みを調整する。

識別器訓練ステージは、複数の予め定めた及び予測した変位場に対して、実行される。

生成器訓練ステージ及び識別器訓練ステージは、収束に達するまで、交互に実行される。

本実施形態において、各生成器訓練ステージにおいて使用される訓練例の数及び各識別器訓練ステージにおいて使用される訓練例の数は、固定された数である。生成器訓練と識別器訓練とを切り替える前に訓練例の固定された数を使用することにより、システムの安定した訓練という結果になる場合があることが分かっている。その他の実施形態において、訓練例の異なる数が、異なる訓練ステージにおいて使用することができる。

使用される訓練例の数が、スイッチレートと言われることもある。幾つかの実施形態において、スイッチレートのチューニングは、訓練を伴う損失の１つ又は複数の特徴のモニタリングに基づいて、自動化される。例えば、訓練回路２４は、識別器に対する損失値が一度所定値以下に下回ったら、識別器の訓練から生成器の訓練へと、切り替えることができる（逆もまた然り）。本実施形態において、システムの訓練は、生成器が訓練データに対して過学習し始めた場合に、停止する。これは、システムを訓練するためとしては使用されなかった、検証用データとして、データのサブセットを保有することで計測される。損失関数の値は、訓練が進むにつれて、検証用データに関し周期的に計算される。訓練が進むにつれて、損失関数の値がこれ以上減少しなくなった場合に、訓練は停止となる。

要約すると、生成器６６は、予め定めた変換を使用して訓練される。予め定めた変換は、非剛体変換であり、変位場を使用して説明される。生成器６６の訓練には、識別器７６を使用する。識別器７６は、リアルな変位場の特徴を認識するよう訓練された、深層ニューラルネットワークのタイプである。識別器７６は、生成器６６の訓練を助けるために、生成器６６に、依然として精確（ＭＳＥフィードバック）だが、より良く正則化されている（識別器フィードバック）、変位場を予測することを許可しながら、付加的なフィードバックを供給する。
訓練の後、識別器７６は、生成器６６を残しながらシステムから除去される。訓練された生成器６６は、その後、画像間の変換がまだ分かっていない新たな画像をレジストレーションするために、使用することができる。

図５は、訓練された生成器６６の使用の概要を描くフローチャートである。

レジストレーション回路２６は、互いにレジストレーションされるべき２つの医用画像９０、９２を受け取る。２つの医用画像は、参照画像９０及び変換画像９２と呼ぶことができる。幾つかの実施形態において、医用画像９０、９２は、例えば異なる時間で収集された同じ生体構造の画像等、同じ患者の同じ生体構造の画像とすることができる。また幾つかの実施形態において、医用画像９０、９２は、異なる被検体の画像とすることができる。更に、幾つかの実施形態において、医用画像９０のうちの１つは、解剖学的アトラスの部分を具備する又は形成することができる。

レジストレーション回路２６は、参照画像９０及び変換画像９２を、入力として生成器６６へと提供する。生成器６６のニューラルネットワークは、予測された変位場を出力するために訓練されている。訓練された生成器６６により実行される処理は、レジストレーション処理と呼ばれることがある。

生成器６６は、参照画像９０及び変換画像９２の間の変換を表す、予測された変位場９４を出力する。予測された変位場は、参照画像９０及び変換画像９２をアライメントするために、適用することができる。

処理回路２２は、更なる処理を実行するために、変位場９４及び／又はアライメントされた画像を利用することができる。更なる処理は、画像のレジストレーションが必須条件の任意の処理とすることができる。例えば、更なる処理は、更なるレジストレーションを具備する場合がある。更なる処理は、セグメンテーションを具備する場合もある。また処理は、画像における少なくとも１つの解剖学的特徴の検出を具備する場合もある。また更なる処理は、例えば画像における損傷の検出当、画像における少なくとも１つの病変の検出を具備する。幾つかの実施形態において、解剖学的特徴及び／又は病変の検出は、セグメンテーションを具備することがある。その他の実施形態において、解剖学的特徴及び／又は病変の検出は、それらの存在の検出を具備することがある。またその他の実施形態において、解剖学的特徴及び／又は病変の検出は、それらに関する位置（例えば、単一の座標）の決定を具備することもある。幾つかの実施形態において、生成器６６は、アトラスベースのセグメンテーション又は別のアトラスベースの処理を実行するために、画像をアトラスへとレジストレーションするために使用される。

更なる処理は、サブトラクション又はその他のプーリアン演算を具備することができる。更なる処理は、単一の画像を形成するために、アライメントされた画像の特徴が組み合わせられる、画像フュージョンを具備することもできる。

図４ａ、図４ｂ、そして図５を参照し上で説明された実施形態において、深層学習モデルは、２つの画像をアライメントする非剛体変換に回帰するために使用される。

生成器６６のニューラルネットワークは、変位場を作り出すよう訓練されているので、生成器６６は、１ステップで予測された変位場を作り出す。１ステップで予測された変位場を作り出すことは、レジストレーションを実行するために、レジストレーション処理の多くの逐次を使用する幾つかの既知のレジストレーション法と異なる。訓練されたニューラルネットワークを使用することにより、レジストレーションは、幾つかの既知のレジストレーション法を用いることに比べて、より素早く取得することができる。

生成器６６は、画像間の非剛体変位場を予測するよう構成された、単一パスの生成器である。訓練された生成器６６は、高速且つ非逐次であるレジストレーション法を提供することができる。

生成器６６は、訓練にわたり、平均二乗誤差を最小化するだけでなく、存在している識別器も騙す、変位場を作り出すように学習していることだろう。識別器を騙すよう、生成器６６は訓練されているので、訓練された生成器は、リアルな変位場（すなわち、リアルにほぼ近い変位場）を出力するだろう、ということが期待できる。

生成器を訓練するために、決定論的敵対的ネットワークを使用することは、生成器を訓練と同様に、解となる変位場の付加的な正則化であると考えることができる。識別器は、生成器の訓練の間において、付加的な正則化として考えることができる。それは、識別器が、生成器が偽物と予測した変位解に罰則を与えることで、生成器が予測する変位場を拘束するのと同様である。

敵対的な手法で生成器６６及び識別器７６を訓練することにより、生成器６６が識別器７６からの出力を使用することなく単独で訓練された場合に比べ、より良い生成器６６を作り出すことができる。

生成器６６により作り出された変位場は、より良く正則化する場合がある。識別器７６は、生成器６６によって学習された、予測された変換／変位場を間接的に正則化する。識別器７６は、生成器６６の訓練を助けるために、別の形式のフィードバックを提供する。識別器７６は、３つの入力を取る。即ち、真の変位場と予測された変位場、そして差分画像である。識別器７６は、２つの供給された場のうちのどちらが真の変位場であるかに関する可能性を生成する。生成器６６は、識別器７６を仕掛けることを目的に、加えてリアル及び予測された変位場間の差分を最小化することも目的に、訓練されている。

本実施形態において、生成器６６の敵対的な訓練は、画像全体を使用して訓練され、訓練された生成器６６は、画像全体をその入力として使用する。その他の実施形態において、生成器６６の訓練及び／又は使用は、画像全体のレベルでの代わりに、画像の部分に関してパッチワイズに実行することが出来る。パッチワイズ法において、画像又は画像ボリュームは、パッチと呼ぶことができる、サブ画像又はサブボリュームへと分割される。レジストレーションは、個別のパッチをアライメントするために実行される。個別のパッチの初期アライメントは、パッチのペアが、生成器６６が同じ情報を含むことを使用してアライメントされる予定となるようにすることができる。その様な初期的なアライメントは、例えば変換画像を作るため参照画像の制御された合成の歪み；画像をパッチへと分割する前に、剛体レジストレーション前処理ステップ；又はパッチが十分に大きい場合、を通して達成することができる。 状況次第で、パッチワイズレジストレーションは、フル画像レジストレーションに比べてコンピュータ的により実現可能な場合がある。パッチワイズレジストレーションは、より少ない計算リソースを必要とする場合がある。パッチワイズレジストレーション法において、フル変位場は、パッチレベル変位場の集約を通して、生成することができる。

幾つかの実施形態において、生成器６６の訓練は、特定の身体部分及び／又は特定の画像モダリティに特有である。例えば、一実施形態において、生成器６６を訓練するために使用される画像は、全て頭部スライスのＭＲ画像であり、生成器６６は従って、頭部スライスのＭＲ画像をレジストレーションするよう訓練される。その他の実施形態において、生成器６６は、任意の身体部分の画像について訓練することができ、例えば心臓画像又は任意の適切な臓器の画像について、訓練することができる。生成器６６は、任意のモダリティの２Ｄ又は３Ｄ画像について訓練されたものである。

ある例で、２つの生成器６６がＭＲ頭部画像スライスに関して訓練されている。
１． 平均二乗誤差のみを使用し訓練された生成器（図２を参照し上で説明されたものと同様）
２． 平均二乗誤差及び識別器を使用し訓練された生成器（図５を参照し上で説明されたものと同様）
生成器は、２つの入力画像（参照画像と変換画像）が与えられて変位場を出力するよう訓練されたものである。

図６は、変換画像１０８を合成するために、予め定めたガウス変位場１０４、１０６をＭＲ頭部画像スライス（参照画像１００）へと適用する処理のイラストである。

矢印１０２は、変換画像１０８を取得するために、変位場１０４、１０６を参照画像１００へと適用する処理を示す。プロット１０４、１０６は、Ｘ及びＹについての変位場をそれぞれ表す。プロット１０４、１０６において、色値（図では濃淡で示される）は、歪みの程度を表す。色は、適用されたワープフィールドの振幅を表す。プロット１０４における各ピクセルに対する色値（濃淡で示される）は、画像の対応するピクセルについてのＸ変位の量を表す。またプロット１０６における各ピクセルに対する色値（濃淡で示される）は、画像の対応するピクセルについてのＹ変位の量を表す。

２つの訓練された生成器の比較結果は次の通りである。

平均二乗誤差及び識別器の組み合わせを使用して訓練された生成器は、平均二乗誤差のみを使用して訓練された生成器により達成されたものに比べて、より高いピーク信号対ノイズ比を達成したということが実証されている。

図７生成器の訓練についての識別器フィードバックの効果を示す画像の表である。図７は、次を提供する。グラウンドトゥルース変位場の視覚的なデモンストレーション；平均二乗誤差だけを使用して訓練された生成器から予測された変位場；決定論的敵対的ネットワークにおいて訓練された生成器からの予測された変位場、である。結果は、３つの検証用例のそれぞれに対して示される（図１、図２、図３）。

合成の、グラウンドトゥルース変位場が表の上段に示される。Ｘ及びＹ変位は、３つの例のそれぞれに対して示される。変位の程度は、色（濃淡）として示される。示された変位場は、レジストレーションされるべき画像ペアを生み出すために、ＭＲ頭部画像スライスへと適用されたものである。

表の中段は、図２に関連して上で説明されたのと同じ方法に従って、平均二乗誤差のみを使って訓練されたシステムを使用し予測された、変位場を示す。

表の下段は、図４ａ及び４ｂに関連して上で説明されたのと同じ敵対的な方法に従って、平均二乗誤差及び識別器フィードバックを使って訓練されたシステムを使用し予測された、変位場を示す。

１１０から１１７までの円は、中段（平均二乗誤差のみ）及び下段（敵対的）間の変位場における改善を視覚的に目立たせている。

中段における変位場は、上段に示されるグラウンドトゥルース変位場とは異なる。中段における変位場は、円１１０、１１１、１１２、１１３で示されるノイジーな領域を示す。

下段における円１１４、１１５、１１６、１１７は、中段で円により示された対応する１１０、１１１、１１２、１１３をそれぞれ示す。これらのずれたエリア周辺のノイズに低減があることが見受けられる。また上段に示されたグラウンドトゥルース対象との類似性も増している。

２つの画像間の変位場に回帰するニューラルネットワークの訓練を拡張するための敵対的なコンポーネントを使用することにより、改善されたＰＳＮＲ統計という結果になる場合がある。敵対的なコンポーネントを使用することにより、より視覚的に満足のいく変位場という結果をもたらすこともある。

図７に示された視覚的な結果は、ＤＡＮフレームワーク（下段）において訓練されたモデルにより予測された変位が、変位場のｘ及びｙコンポーネント両方における真の変位の周りに、より少ない偽雑音（ｓｐｕｒｉｏｕｓ ｃｌｕｔｔｅｒ）を有するように見えることを実証している。

図４ａ及び４ｂに関連して上で説明された訓練法は、単一の識別器７６を使用する。更なる実施形態において、多重識別器が生成器の訓練に使用される。

状況次第で、分類器（ｃｌａｓｓｉｆｉｅｒ）のアンサンブルが、単一の分類器に比べより正確な予測を提供する場合があることが知られている。従って、多重識別器が敵対的なフィードバックを提供するために、単一の生成器に対して用いられる場合がある。

実施形態において、多重識別器は、予測された変位を受け取る各識別器と共に、使用される。

図８は、多重識別器が生成器１２４を訓練するために使用される、実施形態に係る方法の概要を描くフローチャートである。

訓練において、訓練回路２４は、生成器１２４への入力である参照画像１２０及び変換画像１２２を受け取る。生成器１２４は、予測された変位１２６を出力する。

予測された変位１２６は、複数の識別器１３０ａ、１３０ｂ、・・・１３０ｎへと提供される。各識別器１３０ａ、１３０ｂ、・・・１３０ｎは、それぞれへと提供された変位が、予め定めたものか又は予測されたものかの個別の決定を出力する。

幾つかの実施形態において、識別器のうちの幾つか又は全ては、参照画像及び変換画像、又は係る２つの間の計算された幾つかの残差画像、及び／又は利用可能な場合は、グラウンドトゥルース変位等、その他の入力を受け取る。

幾つかの実施形態において、各識別器は、個別の敵対的なフィードバックを提供する。その他の実施形態において、識別器のそれぞれからのクラス分類が集約され、そして敵対的なフィードバックが係る集約されたクラス分類から導出される。

多重識別器は、様々な形で互いに異なる場合がある。例えば、多重識別器のうちの異なるものについては、異なるデータについて訓練することができる。また多重識別器のうちの異なるものについては、異なる構造を有することができる。更に多重識別器のうちの異なるものについては、異なる重みを使用して初期化することができる。

多重識別器のうちの異なるものは、異なる入力を使うことがある。例えば、識別器の中には、参照画像及び変換画像（又は、参照画像及び／又は変換画像から導出された画像又はデータ）を受け取ることができる一方で、別のものは受け取らないことがある。

上で説明された実施形態において、識別器（又は、多重識別器のうちのそれぞれ）は、深層学習モデルを具備する。その他の実施形態において、識別器は、深層学習モデルを具備しないものが使用されることもある。識別器により提供されるエラー信号が、生成器の重みに対して弁別可能である限り、任意の適切な識別器を使用することができる。

上で説明された実施形態において、識別器は、予め定めた変位場及び生成器により予測された変位場を受け取り、係る受け取った変位場のうちのどちらが予め定めた変位場であり、どちらが予測された変位場であるかの決定を出力する、よう構成された２アーム識別器（又は複数の多重識別器のそれぞれ）である。識別器は、２つのチャンネルを有し、うち一方は生成器の出力を受け取り、他方はグラウンドトゥルース変位を受け取る。

その他の実施形態において、識別器（又は多重識別器のうちの少なくとも１つ）は、単一の変位場を受け取り、係る受け取った変位場が予め定めた変位場であるのか、又は生成器により予測された変位場であるのかどうかの決定を出力する、よう構成することができる。識別器は、変位の単一のセットを受け取る単一のチャンネルを有する。

状況によって、２アーム識別器は、１アーム識別器に比べて、生成器に対して、より安定した敵対的なフィードバックを提供する場合があることが分かっている。

上で説明された実施形態において、生成器は、医用画像に関して訓練される。生成器は、第一の医用画像データと、例えば、異なる時間で収集された、又は異なる撮像モダリティを使用し収集された、同じ生体構造の画像等、被検体の同じ解剖学的領域を表す第二の医用画像データと、について訓練される。その他の実施形態において、第一の医用画像データは、被検体の解剖学的領域を表し、且つ第二の医用画像データは、被検体の解剖学的領域を、又は被検体の若しくは更なる被検体の対応する解剖学的領域を表す。幾つかの実施形態において、医用画像データの１セットは、アトラスデータを具備する。

更なる実施形態において、生成器は、任意のタイプの画像（医用画像の場合もあるし、そうでない場合もある）に関して訓練することができる。生成器は、任意の画像タイプをレジストレーションするために使用することができる。画像は、任意の撮像法を使用して収集することができる。

その他の実施形態において、上で説明された方法と似た方法が、ステレオ画像のペアに対するデプスフィールド（ｄｅｐｔｈ ｆｉｅｌｄ）を推定するために、生成器を訓練するよう使用される。ステレオ撮像において、２つの画像は、２つの撮像デバイスを使用して異なる視点（パースペクティブ）から収集される。２つの画像間の差分は、２つの撮像デバイスから画像に表された物体までの距離の関数である。２つの画像における点間の距離を処理することにより、撮像デバイスから画像における物体までの距離を推定するデプスフィールドを、作り出すことができる。

幾つかの実施形態において、医用画像のペアは、第一の及び第二の画像がステレオ画像を形成するような位置においてオフセットされる、第一の及び第二の撮像デバイス（例えば、第一の及び第二のカメラ）により収集される。医用画像のペアは、生成器に対する入力であり、生成器は、医用画像のペアに対するデプスフィールドを出力するよう訓練される。生成器は、予測されたデプスフィールドがよりリアルになるように、識別器を用いて敵対的に訓練される。生成器がデプスフィールドを予測するよう訓練される生成器訓練処理と、識別器が予め定めたデプスフィールドと生成器により予測されたデプスフィールドとを区別するよう訓練される識別器訓練処理とは、繰り返し入れ替えられる。

幾つかの実施形態において、第二の撮像デバイスは、第一の撮像デバイスと同じデバイスの場合がある。例えば、撮像デバイスの位置は、第一の画像の収集と第二の画像の収集との間で動いている場合がある。幾つかの実施形態において、例えば単一のカメラの異なるセンサ等、第一の撮像デバイス及び第二の撮像デバイスは、単一の装置の異なる部分を具備することがある。

変位場を予測するために生成器の訓練及びその利用に関する上で説明された特徴は、ステレオ画像に対するデプスフィールドを予測するために、生成器の訓練及びその利用へと適用することもできる。

特定の実施形態は、２つ以上の画像を敵対的な手法でアライメントする非剛体変位場を推定するために、ニューラルネットワークの訓練に対する方法、ここでは生成器と呼ぶ、を提供する。上記敵対的な手法は、従来的な損失関数の最小化及び識別的な損失の最大化から成り立っている。

生成器は、２つ以上の画像をアライメントするために、パラメトリックか又は非パラメトリックな変換かの、どちらかを予測することができる。識別器により提供される敵対的な訓練は、画像全体のレベルで適用することができる。また識別器により提供される敵対的な訓練は、パッチワイズの原則へと適用することができる。

識別器は、変位の単一のセットを受け取る、単一のチャンネルを有することできる。識別器は、２つのチャンネルを有する場合もあり、一方のチャンネルが生成器の出力を受け取り、他方のチャンネルがグラウンドトゥルース変位を受け取る。

識別器は、残差画像、変位場に回帰するニューラルネットワークに対する画像入力間での、任意の距離関数／類似性メトリックを追加として受け取る場合もある。

多重識別器は、変位の単一の所定のセットに対する、敵対的／識別的損失コンポーネントを提供するために、用いることができる。

ニューラルネットワークに対する画像入力は、同じモダリティのものの場合がある。ニューラルネットワークに対する画像入力は、異なるモダリティの場合もある。

従来的な損失関数は、予測された及びグラウンドトゥルース変位間で評価することができる。従来的な変換関数は、参照画像と予測された変位で歪められたテンプレート画像との間で評価することができる。

予測された変位場は、更なるレジストレーション、セグメンテーション、又はアトラスベースのタスクに対して使用することができる。

生成器は、画像のステレオペアに対するデプスフィールドを推定することができる。

上で説明された方法は、任意の適当なヒト又は動物の生体構造に対して適用することができる。方法は、例えば任意の適当なモダリティ、シーケンス、収集タイプ又は処理技法等、任意の適当な撮像手順タイプを使用して取得された、画像データの処理へと適用することができる。

方法は、例えば参照画像、変換画像、及び差分画像等、画像に関連して上で説明された。画像に実行されているとして上で説明された操作は、これらの画像を表す画像データのセットに実際には実行することもある。例えば、ピクセル又はボクセル位置のセット及び関連した輝度を具備するデータに関し、操作を実行することができる。多くの場合、対応する画像が表示されることなく、操作が画像データに実行される。

本明細書では、特定の回路について説明してきた。いくつかの実施形態では、これらの回路のうち１つ又は複数の機能は単一の処理リソース又はその他の構成要素によって提供可能であり、又は、単一の回路によって提供される機能は、組み合わされた２つ以上の処理リソース又はその他構成要素によって提供可能である。単一のユニットへの言及は、その回路の機能を提供する複数の構成要素が互いに遠隔であるかどうかに関わりなく、そのような構成要素を包含し、複数の回路への言及は、それらの回路の機能を提供する単一の構成要素を包含する。

特定の実施形態について説明してきたが、これらの実施形態は、例として提示したにすぎず、本発明の範囲を限定することを意図したものではない。実際、本明細書で説明する新規な方法及びシステムはさまざまなその他の形態で実施することができる。そのうえ、本明細書で説明する方法及びシステムの形態におけるさまざまな省略、置き換え、及び変更は、本発明の趣旨から逸脱することなく行うことができる。添付の特許請求の範囲及びその等価物は、本発明の範囲に含まれるこのような形態又は変形形態を包含することを意図するものである。

１０…画像データ処理装置、１２…計算装置、１４…スキャナ、１６…表示スクリーン、１８…入力デバイス、２０…データストア、２２…処理回路、２２…処理装置、２４…訓練回路、２６…レジストレーション回路、３０…参照画像、３４…変換画像、３６…生成器、５６…識別器、６６…生成器、７６…識別器、１２４…生成器、１３０ａ…識別器、１３０ｂ…識別器

Claims (14)

1. 同一の生体構造に関する第一の画像データと第二の画像データとを受け取る取得部と、
   前記第一の画像データと前記第二の画像データとを入力して、前記第一の画像データと前記第二の画像データとの間のレジストレーション処理を実行するための、前記第一の画像データと前記第二の画像データとの間の変換の予測を表す第一の変位場を出力する第一のニューラルネットワークを有する生成部と、
   を具備し、
   前記生成部は、前記生成部による前記第一の変位場の生成と、識別部による第一の変位場と第二の変位場との区別とを用いた敵対的な訓練とを繰り返し実行することで訓練されており、
   前記第二の変位場は、前記第一の画像データ及び前記第二の画像データの間の変換のグラウンドトゥルースを表す変位場であり、
   前記識別部は、前記第一の変位場と前記第二の変位場とを入力して、前記第一の変位場及び／又は前記第二の変位場の分類に関する決定を出力する第二のニューラルネットワークを有する、
   を特徴とする医用画像処理装置。
2. 前記生成部は、前記第一の変位場に基づいて、更なるレジストレーション、サブトラクション、セグメンテーション、アトラスベースを用いた処理、画像フュージョン、生体構造検出、病変検出、のうちの少なくとも一つを実行することを特徴とする請求項１記載の医用画像処理装置。
3. 前記第一の画像データ及び前記第二の画像データは、二次元画像データ又は三次元画像データであることを特徴とする請求項１又は２記載の医用画像処理装置。
4. 同一の生体構造に関する第一の画像データと第二の画像データとを入力して、前記第一の画像データと前記第二の画像データとの間のレジストレーション処理を実行するための、前記第一の画像データと前記第二の画像データとの間の変換の予測を表す第一の変位場を出力する第一のニューラルネットワークを有する生成部と、前記第一の変位場と前記第一の画像データ及び前記第二の画像データの間の変換のグラウンドトゥルースを表す第二の変位場とを入力して、前記第一の変位場及び／又は前記第二の変位場の分類に関する決定を出力する第二のニューラルネットワークを有する識別部と、を学習させる学習装置であって、
   各々が前記第一の画像データを含む複数の訓練画像データセットと、前記複数の訓練画像データセットに対応する複数の第二の変位場と、を受け取る取得部と、
   前記生成部が前記複数の訓練画像データセット各々に基づいて前記第一の変位場を生成する生成処理と、前記識別部が前記第一の変位場と前記第二の変位場とを識別する識別処理と、を敵対的に繰り返し実行して前記生成部及び前記識別部を訓練する学習部と、
   を特徴とする学習装置。
5. 前記学習部は、前記生成部及び前記識別部の識別的損失を最大化する又は増加させ、前記複数の訓練画像データセットのレジストレーションに対する損失関数を最小化する又は減少させることを特徴とする請求項４記載の学習装置。
6. 前記生成処理は、
   前記複数の訓練画像データセットのそれぞれに対して、更なる画像データセットとの間の変換を表す前記第一の変位場を生成し、
   前記識別部は、
   前記第一の変位場が前記生成部により生成された前記第一の変位場か又は前記第二の変位場かの識別結果を出力すること、
   を特徴とする請求項５記載の学習装置。
7. 前記更なる画像データセットは、前記第二の変位場のうちの１つを使用する前記訓練画像データセットから合成されたものである請求項６記載の学習装置。
8. 前記学習部は、前記第一の変位場及び前記第二の変位場の識別において、前記識別部のエラーを最小化する又は減少させることを特徴とする請求項５又は６記載の学習装置。
9. 前記識別部は、前記第二の変位場と前記生成部からの前記第一の変位場とを受け取り、
   前記学習部は、前記第二の変位場と前記第一の変位場を識別するように前記識別部を訓練すること、を特徴とする請求項５乃至８のうちいずれか一項記載の学習装置。
10. 前記識別部は、前記第一の変位場と前記第二の変位場との識別において、残差画像データ、差分画像データ、類似性計測、距離関数、のうちの少なくとも一つを用いて前記識別処理を実行する請求項５乃至９のうちいずれか一項記載の学習装置。
11. 前記識別部は、多重識別部を有する請求項５乃至１０のうちいずれか一項記載の学習装置。
12. 前記複数の訓練画像データセットは、二次元画像データ又は三次元画像データであることを特徴とする請求項５乃至１１のうちいずれか一項記載の学習装置。
13. コンピュータに、
    同一の生体構造に関する第一の画像データと第二の画像データとを取得させる取得機能と、
    前記第一の画像データと前記第二の画像データとを入力して、前記第一の画像データと前記第二の画像データとの間のレジストレーション処理を実行するための、前記第一の画像データと前記第二の画像データとの間の変換の予測を表す第一の変位場を出力する第一のニューラルネットワークを利用させる生成機能と、
    を実現させ、
    前記生成機能は、前記生成機能による前記第一の変位場の生成と、識別機能による第一の変位場と第二の変位場との区別とを用いた敵対的な訓練とを繰り返し実行することで訓練されており、
    前記第二の変位場は、前記第一の画像データ及び前記第二の画像データの間の変換のグラウンドトゥルースを表す変位場であり、
    前記識別機能は、前記第一の変位場と前記第二の変位場とを入力して、前記第一の変位場及び／又は前記第二の変位場の分類に関する決定を出力する第二のニューラルネットワークを利用させる、
    ことを特徴とする医用画像処理プログラム。
14. 同一の生体構造に関する第一の画像データと第二の画像データとを入力して、前記第一の画像データと前記第二の画像データとの間のレジストレーション処理を実行するための、前記第一の画像データと前記第二の画像データとの間の変換の予測を表す第一の変位場を出力する第一のニューラルネットワークを有する生成部と、前記第一の変位場と前記第一の画像データ及び前記第二の画像データの間の変換のグラウンドトゥルースを表す第二の変位場とを入力して、前記第一の変位場及び／又は前記第二の変位場の分類に関する決定を出力する第二のニューラルネットワークを有する識別部と、を学習させる学習プログラムであって、
    コンピュータに、
    各々が前記第一の画像データを含む複数の訓練画像データセットと、前記複数の訓練画像データセットに対応する複数の第二の変位場と、を取得させる取得機能と、
    前記生成部が前記複数の訓練画像データセット各々に基づいて前記第一の変位場を生成する生成処理と、前記識別部が前記第一の変位場と前記第二の変位場とを識別する識別処理と、を敵対的に繰り返し実行させて前記生成部及び前記識別部を訓練する学習機能と、
    を実現させることを特徴とする学習プログラム。