JP7246866B2 - 医用画像処理装置 - Google Patents

Description

本実施形態は、医用画像処理装置に関する。

医用撮像において、異なる撮像モダリティは、臨床医に相補的な情報を提供するために使用することができる。係る相補的な情報とは、一つの取得には存在するものの、異なる取得には存在しない情報を指すことがある。異なるシーケンス（例えば、磁気共鳴撮像法でのＴ１－強調及びＴ２－強調シーケンス）、或いは異なる取得技法（例えば、コントラストと非コントラスト）も、相補的な情報を提供するために使用することができる。

相補的な情報例としては、異なる物理的パラメータ、解剖学的情報対機能的情報、フロー又はパフュージョン、又は軟組織対硬組織コントラストなどを含むことができる。

所定のモダリティ、シーケンス、又は、取得技法（撮影手法、画像処理方法等）は、異なるモダリティ、シーケンス、又は、取得技法の使用では収集が不可能な情報を提供することができる。

例えば、真のＴ２－磁気共鳴（ＭＲ）画像は、Ｔ１弛緩時間とＴ２弛緩時間とに単調な関係が存在しないので、Ｔ１－強調ＭＲ画像から収集することができない。ＭＲスタディは、Ｔ１－強調データにおいてのみ得られる情報と、Ｔ２－強調データにおいてのみ得られる相補的な情報とを取得するために、Ｔ１－強調データとＴ２－強調データとの両方の取得を含むことがある。

一つ以上のモダリティを使用するデータ収集に対して、同様の検討が適用できる。例えば、ＣＴデータからは硬組織に関する情報を、ＭＲデータからは相補的な柔組織に関する情報を収集するために、ＣＴデータ（コンピュータ断層撮影）とＭＲデータとの両方を取得することができる。

特表２０１５－５１４４４７号公報

例えば一つのモダリティ又は一つのシーケンスのデータと、異なるモダリティ又はシーケンスのデータとをシミュレートする深層学習ネットワークを使用する装置等を提供することができれば、従来には存在しない有益な医用画像を実現することができる。

本実施形態は、上記装置等を提供することを目的とする。

本実施形態に係る医用画像処理装置は、被検体の解剖学的領域について第一の撮像法を用いて撮像された第一の画像を取得する取得部と、前記第一の画像を用いて、前記第一の撮像法とは異なる第二の撮像法に対応するシミュレーション画像としての第二の画像を生成する生成部であって、前記第二の画像と前記第二の撮像法によって現実に取得された第三の画像とを区別する識別器を用いた敵対的な訓練処理を繰り返すことで訓練された生成部と、を具備する。

実施形態に係る装置の概略図。 シミュレーション処理の概要を描いているフローチャート。 二つのアーム識別器（ディスクリミネータ）を具備する敵対的なネットワークの概略図。 実施形態に係る訓練処理の概要を描いているフローチャート。 一つのアーム識別器を具備する敵対的なネットワークの概略図。 単一アーム識別器と二つのアーム識別器とについてのピーク信号対ノイズ比とエポック数との対比のプロット図。 実施形態に係るシミュレーションとレジストレーション処理の概要を描いているフローチャート。 正規化された勾配フィールドを使用するマルチモーダルレジストレーションについての既知の回転値に対する計算された回転値のプロット図。 正規化された勾配フィールドを使用するマルチモーダルレジストレーションについての既知のｘ並進値に対する計算されたｘ並進値のプロット図。 正規化された勾配フィールドを使用するマルチモーダルレジストレーションについての既知のｙ並進値に対する計算されたｙ並進値のプロット図。 差の二乗和の類似性指標を使用して、合成されたＴ―２強調画像をリアルＴ２－強調画像へのレジストレーションについての既知の回転値に対する計算された回転値のプロットである。 差の二乗和の類似性指標を使用して、合成されたＴ２－強調画像をリアルＴ２－強調画像へのレジストレーションについての既知のｘ並進値に対する計算されたｘ並進値のプロットである。 差の二乗和の類似性指標を使用して、合成されたＴ２－強調画像をリアルＴ２－強調画像へのレジストレーションについての既知のｙ並進値に対する計算されたｙ並進値のプロットである。

実施形態に係る画像処理装置（画像データ処理装置）１０は、図１に概略的に描かれている。図１の実施形態において、装置１０は、Ｔ１－強調撮像を使用して取得された画像からＴ２－強調ＭＲ撮像を使用して取得された画像をシミュレートするために訓練されたシミュレータを使用するよう構成されている。その他の実施形態において、第一の装置がシミュレータを訓練するために使用することができ、又第二の、異なる装置が画像をシミュレートするために訓練されたシミュレータを使用することができる。更なる実施形態では、任意の装置、又は、装置の含み合わせを使用することがある。

更なる実施形態で、装置１０は、シミュレータを訓練するために使用することができる。装置１０は、例えば任意の適切なモダリティ、シーケンス、取得技法、又は、処理技法を使用して収集されたデータなど、撮像手順の任意の適切なタイプを使用して収集されたデータをシミュレートする。装置１０は、任意の所定の第一のタイプの撮像手順（例えば、任意の所定のモダリティ、シーケンス、取得技法又は処理技法）を使用して取得された画像を受け取り、係る受け取った画像を任意の所定の第二のタイプの撮像手順（例えば、任意のその他のモダリティ、シーケンス、取得技法又は処理技法）を使用して取得されたように見える画像へと変換することができる。

画像処理装置１０は、この場合にはパーソナルコンピュータ（ＰＣ：ｐｅｒｓｏｎａｌ ｃｏｍｐｕｔｅｒ）、又は、ワークステーション等の計算装置１２を備え、計算装置１２は、磁気共鳴イメージング装置（磁気共鳴（ＭＲ）スキャナ）１４、一つ又は複数の表示スクリーン１６と、そしてコンピュータキーボード、マウス、又は、トラックボールなどの一つ又は複数の入力デバイス１８に接続されている。

磁気共鳴イメージング装置１４は、Ｔ１－強調撮像を実行するよう構成された任意の磁気共鳴イメージング装置とすることができる。磁気共鳴イメージング装置１４は、患者又はその他の被検体の少なくとも一つの解剖学的領域を表すＴ１－撮像データを生成するよう構成されている。本実施形態において、解剖学的領域は頭部である。その他の実施形態では、任意の解剖学的領域を画像化することができる。

更なる実施形態において、磁気共鳴イメージング装置は、例えばＴ２－強調撮像データ、又は、拡散強調撮像データなど、任意のＭＲデータを取得するよう構成することができる。

代替的な実施形態において、磁気共鳴イメージング装置１４は、任意のその他の撮像モダリティにおける、二次元又は三次元撮像データを取得するよう構成されたスキャナによって、置き換える、又は、補うことができる。係る任意のその他の撮像モダリティとは、例えばＣＴ（コンピュータ断層撮影）スキャナ、コーンビームＣＴスキャナ、Ｘ線スキャナ、超音波スキャナ、ＰＥＴ（ポジトロン放出断層撮影）スキャナ、又はＳＰＥＣＴ（単光子放出コンピュータ断層撮影）スキャナである。

本実施形態において、磁気共鳴イメージング装置１４によって収集された撮像データセットは、データストア２０に格納されて、その後計算装置１２に提供される。代替的な実施形態において、撮像データセットは、医用画像保管通信システム（ＰＡＣＳ）の一部を形成することができる遠隔データストア（図示せず）から供給される。データストア２０又は遠隔データストアは、メモリストレージの任意の適切な形を具備することができる。

計算装置１２は、画像データを含む、データの処理のための処理装置２２を具備する。処理装置２２は、撮像データセットを自動的に、又は、半自動的に処理するための処理リソースを提供する。処理装置２２は、中央処理装置（ＣＰＵ：ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）と図形処理ユニット（ＧＰＵ：Ｇｒａｐｈｉｃａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）とを具備する。

処理回路２２は、Ｔ１－強調画像からＴ２－強調画像をシミュレートするためにシミュレータを訓練するよう構成された訓練回路２４と、Ｔ１－強調画像からＴ２－強調画像をシミュレートするために訓練されたシミュレータを使用するよう構成されたシミュレーション回路２６（シミュレータ３２、画像生成部４２と対応）と、シミュレートＴ２－強調画像をリアルＴ２－強調画像にレジストレーションするよう構成されたレジストレーション回路２８と、を含む。本実施形態において、訓練回路２４は、ＧＰＵで実行され、シミュレーション回路２６とレジストレーション回路２８とは、ＣＰＵ又はＧＰＵのどちらかで実行することができる。その他の実施形態において、訓練回路２４、シミュレーション回路２６、そしてレジストレーション回路２８とは、ＣＰＵにおいて、ＧＰＵにおいて、又はＣＰＵとＧＰＵとの組み合わせでそれぞれ実行することができる。

本実施形態において、回路２４、２６、２８は、実施形態の方法を実行することが可能なコンピュータ読み取り可能命令を有するコンピュータプログラムの方法で、ＣＰＵ、及び／又は、ＧＰＵでそれぞれ実行される。その他の実施形態において、様々な回路は１つ以上のＡＳＩＣ（特定用途向け集積回路）又はＦＰＧＡ（フィールドプログラマブルゲートアレイ）として実施することがある。

計算装置１２は、ハードドライブと、ＲＡＭ、ＲＯＭ、データバス等その他のＰＣの構成要素と、様々なデバイスドライバなどオペレーティングシステムと、グラフィックスカードなどハードウェアデバイスとを含む。このような構成要素は、図が見やすいように、図１には示されていない。

図２は、シミュレーションプロセスを要約したフローチャートである。シミュレータ３２は、第一の画像３０を表す医用画像データの第一のセットを受け取る。係る医用画像データの第一のセットは、第一の画像モダリティＡを使用して、収集されたものである。画像データの第一のセットは、各ピクセルが第一の画像３０における対応する空間位置を表している状態で、輝度に関連付けられた複数のピクセルを具備することができる。

シミュレータ３２は、第二の画像３４を表す画像データの第二のセットを取得するために、第一の画像３０を表す画像データの第一のセットを処理する。画像データの第二のセットは、第一の画像モダリティＡを使用して収集された画像データを処理することにより取得されるが、画像データの第二のセットは、第二の画像モダリティＢを特徴付ける属性を有する。例えば、画像データの第二のセットは、第二の画像モダリティＢを特徴付ける、輝度値、コントラスト値、信号対ノイズ比、解像度、シャープネス又は特色の定義を有する。画像データの第二のセットの見た目は、第二の画像が、観察者にとってあたかも第二の画像モダリティＢを使用して収集されたかのように見せることができる。

画像データの第二のセットは、画像データの第一のセットと同じ空間（座標系）に存在する。画像データの第二のセットは、従って画像データの第一のセットと同じ解剖学的領域を示している。画像データの第二のセットは、第二の画像モダリティＢを使用して収集された解剖学的領域の画像をシミュレートすると考えることができ。画像データの第二のセットは、「シミュレートされた画像データ」と呼ばれることがある。

図３は、本実施形態のシミュレータ４０を表す概略図である。簡略化のために、以下の説明文において、シミュレータ４０は、第一の画像を受け取り、第二の、シミュレートされた画像を取得するために第一の画像を処理するものとして、言及されている。しかし、実際にシミュレータ４０は、第一の画像を表す画像データのセットを受け取り、且つ第二の、シミュレートされた画像を表す画像データのセットを出力する。実施形態の中には、対応する画像が表示されることなく、画像データが内部的に処理されるものがある。

更なる実施形態において、シミュレータは、画像を直接的に表すものでは無いことのある、任意の適切な撮像データを受け取ることができる。例えば、シミュレータは、任意の適切な医用撮像スキャンから取得された任意の二次元、又は、三次元撮像データを受け取ることができる。撮像データは、全体画像ボリューム、又は、部分的な（例えば、スラブ）画像ボリュームを表すことができる。撮像データは、シミュレータに提供される前に、前処理することができる。例えば、撮像データは、シミュレータに提供される前に、セグメントすることができる。係る撮像データは、例えばノイズレベルを下げるために、フィルタを掛けることができる。

シミュレータは、異なるタイプの撮像手順を使用して取得された撮像データをシミュレートする、撮像データを収集するために撮像データを処理することができる。状況次第で、シミュレートされた画像データはその後、シミュレートされた画像を取得するためにレンダリングすることもできる。

本実施形態において、シミュレータ４０は、決定論的敵対的ネットワーク（ＤＡＮ：ｄｅｔｅｒｍｉｎｉｓｔｉｃ ａｄｖｅｒｓａｒｉａｌ ｎｅｔｗｏｒｋ）と呼ぶことができる、敵対的ネットワークを具備する。係る決定論的敵対的ネットワークは、二つの部分から成る。まず決定論的敵対的ネットワークの第一の部分は、生成部（ジェネレータ）、モダリティ生成部、又はモダリティ変換器とも呼ばれることのある、画像生成部４２である。係る画像生成部４２は、第一の深層学習ネットワークを具備する。次に決定論的敵対的ネットワークの第二の部分は、識別器４６である。係る識別器４６は、第二の深層学習ネットワークを具備する。

深層学習ネットワークは、何層にも積み重なったニューロンを具備するニューラルネットワークとすることができる。何層にも積み重なったニューロンは、その後の層の入力として、一つ又は複数の手前の層の出力を使用する、非線形活性化機能を有することができる。深層学習モデルは、入力空間から出力空間までの非線形なマッピングを高度に構築することができ、それにより、モデルとなる予定の処理、又は、タスクの複雑な関係性を捉えることができる。

本実施形態において、各画像生成部４２と識別器４６とは、個別の畳み込みニューラルネットワークを具備する。その他の実施形態で、任意の適切なタイプの深層学習ネットワークを使用することができるが、例えば多層パーセプトロン、スキップ接続を伴う畳み込みニューラルネットワーク、回帰性ニューラルネットワーク等である。

画像生成部４２は、実世界画像（ｒｅａｌ ｗｏｒｌｄ ｉｍａｇｅ）４１を受け取り、且つシミュレートされた画像である出力４４を生み出すように構成されている。本実施形態において、実世界画像４１はリアルＴ１－強調画像で、出力４４はシミュレートされたＴ２－強調画像である。

識別器４６は、画像生成部４２からシミュレート画像４４と、リアル画像４５と、を受け取るよう構成されている。この識別器４６は、画像４４、４５のうちどちらがリアルであると判断し、且つそれらのうちどちらが偽者（シミュレートされた）であると判断したかという、決定４８を生み出すよう構成されている。識別器４６は、画像４４、４５のうちの一方がリアルで、且つそれらのうちの他方が偽物であるとして、常に区分する。識別器４６は、リアルＴ２－強調撮像スキャンから取得されたと判断した画像４４、４５のうちの一方をリアルとして区分する。識別器４６は、リアルＴ２－強調撮像スキャンから取得されなかったと判断した画像４４、４５のうちの一方を偽物として区分する。

本実施形態において、シミュレートされた画像は、画像生成部４２によって生成されたシミュレートされたＴ２－強調画像である。リアル画像は、リアルＴ２－強調画像である。識別器４６は二つの入力を有していることから、２アーム識別器と呼ぶことができる。

図４は、第一のタイプの撮像手順を使用して収集された画像から第二のタイプの撮像手順を使用して収集された画像をシミュレート（生成）するために、シミュレータの訓練方法の概要を描いているフローチャートである。図４の実施形態において、第一及び第二のタイプの撮像手順は、異なるＭＲシーケンスである。第一のタイプはＴ１－強調であり、第二のタイプはＴ２－強調である。シミュレータ４０は、図３を参考に上記で述べられた通りである。

その他の実施形態で、第一及び第二のタイプの撮像手順は、任意の適切なモダリティ、シーケンス、取得技法、又は処理技法とすることができる。

図４のステージ５０で、訓練回路２４は、データストア２０から訓練データを受け取る。本実施形態において、訓練データは、磁気共鳴イメージング装置１４によって以前に収集されたＭＲデータのセットを具備する、又はセットから取得される。その他の実施形態において、訓練データは、一つ又は複数の更なる磁気共鳴イメージング装置によって収集されたものとすることができる。

訓練データは、複数の訓練データのセットを具備する。各訓練データセットは、Ｔ１―強調画像と、それと同じ被検体の同じ解剖学的領域について対応するＴ２－強調画像とを具備する。例えば、各訓練データセットは、Ｔ１－強調データとＴ２－強調データとの両方が収集されたスタディに由来することがあり、例えば患者頭部のＭＲスキャンは、Ｔ１－強調とＴ２－強調撮像との両方を具備している。

本実施形態において、二〇〇〇個の訓練データセットがシミュレータ４０をトレーニングする際に使用される。その他の実施形態において、例えば何百個や何千個等、任意の適切な訓練データセット数を使用することがある。

図４のプロセスのステージ５１で、訓練回路４２は、画像生成部訓練処理を実行する。係る画像生成部訓練処理は、画像生成部４２の深層学習ネットワークに対する重みのセットを決定することを具備するが、本実施形態におけるネットワークは、畳み込みニューラルネットワークである。しかしながら、当該例に限定することなく、本実施形態におけるネットワークは、畳み込みニューラルネットワーク、スキップ接続を伴う畳み込みニューラルネットワーク、多層ニューラルネットワーク、再帰型ニューラルネットワークのうちの少なくとも一つを有する構成であってもよい。

画像生成部４２は、訓練データセットを使用して訓練される。各訓練データセットに対して、画像生成部４２は、Ｔ１－強調画像からシミュレートされたＴ２－強調画像を生成する。訓練回路２４は、シミュレートされたＴ２－強調画像をリアルＴ２－強調画像と比較する。

画像生成部４２の重みは、目的関数に従って調節される。目的関数は、シミュレートされたＴ２－強調画像とリアルＴ２－強調画像との間の指標（差に基づく物差し等）を提供する。本実施形態において、誤差の第一の要素の目的関数は、平均二乗誤差関数である。その他の実施形態において、例えば平均絶対誤差又はフーバー損失等、任意の適切な目的関数を使用することができる。

その他の実施形態で、画像生成部４２、及び／又は、識別器４６の任意の適切な前訓練を実行することができる。

図４のプロセスのステージ５２と５４とで、画像生成部４２と識別器４６とは、敵対的なやり方で繰り返し訓練される。識別器４６は、リアル強調画像Ｔ２－強調画像と、画像生成部４２によってシミュレートされたシミュレートされたＴ２－強調画像と、を区別するために訓練される。画像生成部４２は、識別器４６を誤魔化すのには十分なリアルＴ２－強調画像に似たＴ２－強調画像をシミュレートするよう訓練される。画像生成部４２の最適化と識別器４６の最適化とを交互に入れ替えることにより、画像生成部４２は現実的なシミュレートされた画像を生み出すことが上手くなり、且つ識別器４６はリアル画像とシミュレートされた画像とを区別することが上手くなる。画像生成部４２と識別器４６とを敵対的な機能で共に訓練することにより、画像生成部４２が単独で訓練されるよりも、より良いシミュレート画像を生み出すことができる。

敵対的なやり方での深層学習ネットワークの訓練は、次の文献において詳しく述べられているが、ここにはその文献名を記すことでその文献全てを含むものとする。Ｇｏｏｄｆｅｌｌｏｗ ｅｔ ａｌ， Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｓ， ＮＩＰＳ’１４ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２７ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｎｅｕｒａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ Ｓｙｓｔｅｍｓ， ｐａｇｅｓ ２６７２―２６８０。

シミュレーション回路２６は、識別器４６とバッチ式ベースで識別器４６にリンク付けられた画像生成部４２とを入れ替える。

図４のステージ５２及び５４の詳細に戻って、ステージ５２で訓練回路２４は、識別器訓練処理を実行する。識別器訓練処理は、識別器の深層学習ネットワークに対する重みのセットを決定することを具備するが、本実施形態におけるネットワークは、畳み込みニューラルネットワークである。しかしながら、当該例に限定することなく、本実施形態におけるネットワークは、畳み込みニューラルネットワーク、スキップ接続を伴う畳み込みニューラルネットワーク、多層ニューラルネットワーク、再帰型ニューラルネットワークのうちの少なくとも一つを有する構成であってもよい。

識別器４６の訓練は、実世界サンプルと画像生成部４２によって作り出されたサンプルとを使用することを含む。本実施形態において、実世界サンプルとは、訓練データセットからのＴ２－強調画像である。画像生成部４２によって作り出されたサンプルは、訓練データセットからのＴ１－強調画像からの画像生成部４２によってシミュレートされた、シミュレートされたＴ２－強調画像である。

複数の訓練データセットのそれぞれに対して、識別器は、係る訓練データセットに対するリアルＴ２－強調画像と、係る訓練データセットに対するＴ１－強調画像からシミュレートされたシミュレートされたＴ２－強調画像と、を受け取る。識別器は、二つの画像のうちのどちらがリアルでどちらがシミュレートされたものか、を決定するよう試みる。

識別器４６の訓練は、識別器４６のエラー信号を最小化することを含む。識別器４６のエラー信号は、識別器４６のリアルＴ２－強調画像とシミュレートされたＴ２－強調画像との区別の成功度を表す。識別器４６の重みは、識別器４６のエラー信号に応じて更新される。

本実施形態において、識別器４６のエラー機能は、二値相反エントロピー（ｂｉｎａｒｙ ｃｒｏｓｓ ｅｎｔｒｏｐｙ）である。係る二値相反エントロピーと、いくつかの変化のオートエンコーダによって使用することができる、平均二乗誤差とは別物である。

ステージ５４で、訓練回路２４は、画像生成部訓練処理を実行する。画像生成部訓練処理は、画像生成部４２の深層学習ネットワークに対する重みのセットを決定することを具備するが、本実施形態におけるネットワークは、畳み込みニューラルネットワークである。

識別器４６は、画像生成部４２の訓練において使用される。画像生成部４２を訓練する一方、識別器の重みは凍結（ｆｒｏｚｅｎ）され、画像生成部４２の重みだけが更新される。画像生成部４２の出力は、識別器４６のエラー信号の逆伝播を許可するために、識別器４６への入力として直接リンク付けされる。

画像生成部４２は、訓練データセットを使用しながら訓練される。複数の訓練データセットのそれぞれに対して、画像生成部４２は、Ｔ１－強調画像からシミュレートされたＴ２－強調画像を生成する。訓練回路２４は、シミュレートされたＴ２－強調画像をリアルＴ２－強調画像と比較する。

本実施形態において、画像生成部４２の訓練の際、エラー関数Ｅは二つの要素を具備する。

一つ目の要素は、画像生成部４２の出力の、予測値及び既知値との間で最小化される目的関数である。本実施形態において、出力の予測値は、シミュレートされたＴ２―強調画像である。また出力の既知値は、リアルＴ２－強調画像である。目的関数は、シミュレートされたＴ２－強調画像とリアルＴ２－強調画像との間の差の指標を提供する。

本実施形態において、エラーのこの第一の要素の目的関数は、平均二乗誤差関数である。その他の実施形態で、例えば平均絶対誤差関数又はフーバー損失等、任意の目的関数を使用することができる。任意の適当な処理が、目的関数を最小化、又は、減らすために使用することができる。本実施形態において、エラー関数の第一の要素として使用される目的関数は、前訓練ステージ５１で使用されたような目的関数と正に同じである。その他の実施形態において、異なる目的関数を使用することができる。

エラー関数Ｅの二つ目の要素は、所定の画像がリアルか偽物かを検出する、識別器４６のエラーである。画像生成部４２は、生成された画像が本物であると識別器４６を信じ込ませるよう騙すために積極的に訓練されているので、画像生成部４２における重みは、識別器４６のエラー信号を最大化するように訓練する一方で、調整される。

画像生成部４２を訓練する際、画像生成部４２の出力と既知の輝度値との間の平均二乗エラーを最小化し、且つ識別器４６のエラーの最大化もする。画像生成部４２の重みは、誤差関数の二つの要素に応答して調整される。

ステージ５４で画像生成部４２を訓練した後、フローチャートは識別器を再び訓練するためにステージ５２へと戻る。ステージ５２と５４とは、方法が収束するまで繰り返される。ステージ５２と５４との反復は、ステージ５２、又は、ステージ５４のどちらかで終了することがある。本実施形態は、識別器４６と画像生成部４２とを訓練する約一万回の交互の（ａｌｔｅｒｎａｔｉｎｇ）ステップを具備する。その他の実施形態で、任意の反復数を使用することができる。

つまり、シミュレータ４０を訓練するために、画像生成部４２及びリアル画像（Ｒｅａｌ Ｗｏｒｌｄ Ｉｍａｇｅｓ／Ｒｅａｌ Ｉｍａｇｅｓ）の出力についての識別器４６の訓練と、識別器の重み及びシミュレータ４０全体の訓練を凍結と、を切り換えることで、画像生成部４２の重みだけを更新する、ということである。

図４のステージ５６で、訓練回路２４は、訓練されたシミュレータ４０を出力する。本実施形態において、訓練回路２４は、訓練された画像生成部４２と訓練された識別器４６との両方を出力する。更なる実施形態で、訓練回路２４は、訓練された画像生成部４２のみを出力する。

訓練されたシミュレータ４０は、Ｔ１－強調画像を、Ｔ２－強調画像と同様の属性（例えば、輝度、コントラストや解像度）を有する画像へと、変換するように訓練されている。シミュレータ４０は、深層学習を使用しながら訓練される為、シミュレート画像をリアル画像に似させる属性は、訓練処理の開始前には知られていないだろう。シミュレータの訓練は、シミュレーションで使用された属性に対する値のみならず、属性そのものの特定も具備することができる。状況によっては、属性が明白に特定されることなくシミュレートする場合がある。

画像生成部４２と識別器４６とを敵対的なやり方で訓練することにより、画像生成部４２が識別器からの出力を使用することなく単独で訓練される場合よりも、より良いシミュレータ４０を生み出すことができる。決定論的敵対的ネットワークを使用することで、鮮明で詳細なシミュレートされた画像を提供することができる。ＤＡＮにより提供されたシャープネス、及び／又は、詳細は、例えば敵対的なやり方で訓練されていない画像生成部等、ある既知のシステムによって提供されたシャープネス、及び／又は、詳細に優ることもある。

上記で説明された実施形態で、識別器４６は２アーム識別器である。その他の実施形態で、識別器４６は１アーム識別器である。１アーム識別器でのシミュレータ例は、図５に示されている。

図５のシミュレータは、図３の画像生成部４２と似ている場合がある画像生成部、又は、生成部６２を具備する。例えば、図５の画像生成部６２は、畳み込みニューラルネットワークを具備することができる。画像生成部６２は、実世界画像６０を受け取り、異なるモダリティ、又は、異なるシーケンスのシミュレートされた画像を具備する出力６４を生み出すよう構成されている。

図５のシミュレータは、更に識別器６６を具備する。図５の識別器６６は、識別器が画像生成部６２（シミュレート画像を具備する）の出力６４のみを受け取り、リアル画像を受け取らないという点において、図３の識別器４６とは異なる。画像識別器６６は、受け取った一つの画像がリアル、又は、偽物を判定し、その決定６８を出力する。

２アーム識別器４６は、２チャンネル識別器と呼ぶこともできる。また、１アーム識別器６６は、１チャンネル識別とも呼べる。

状況次第で、２アーム識別器は、１アーム識別器よりも識別において優れている可能性がある。２アーム識別器は、一つの画像を演算する代わりに、二つの画像を直接比較しどちらがリアルでどちらが偽物かを予想する。

その他の実施形態で、例えば２アーム、３アーム、５アーム、１０アーム識別器など、任意の適切な多重ターム識別器を使用することができる（そして、多重チャンネル識別器とも呼ぶことができる）。各多重アーム識別器は、一つの偽物（シミュレートされた）画像を一つ又は複数のリアル画像と比較することができる。例えば、識別器が１０のアームを有し、九つの画像がリアルで一つが偽物の場合、どの一つが偽物かを識別器は推測しようとする。

図６は、図３の２アームと図５の１アームとを比較したものである。図６は、二つの識別器（単一アーム識別器、及び、この例では２アーム識別器の多重チャンネル識別器）のそれぞれがオートエンコーダを訓練するために使用された場合に、五〇〇の画像の試験セットに関する、平均ピーク信号対ノイズ比を示している。平均ピーク信号対ノイズ比は、識別器の訓練にわたるエポック数に対して描かれている。図６から見て分かる通り、多重チャンネル識別器法（図６に線８０として図示）は、平均ピーク信号対ノイズ比が訓練フェーズにわたって単調に増加する一方で、単一アーム識別器法（図６に線８２として図示）は、殆ど確率論的最適化と考えることができる。この例に関して、多重チャンネル識別器は、単一の識別器よりもかなり優れた収束特性を有する。

実施形態には、２アーム識別器４６を具備するシミュレータ４０は、１アーム識別器を具備するシミュレータよりも、より素早く収束することができる。実施形態には、２アーム識別器は、１アーム識別器を訓練するために使用された訓練データの量よりも、少ない量を使用して訓練できる。状況次第で、２アーム識別器は、１アーム識別器よりも良いパフォーマンスをすることがある。

図７は、シミュレータ４０がリアルＴ１－強調画像からシミュレートされたＴ２－強調画像を生成するために使用される、概要プロセスを描くフローチャートである。レジストレーションは、その後シミュレートされたＴ２－強調画像を使用しながら実行される。

図７のプロセスが始まる前に、シミュレータ４０は、図４を参照に上記で説明されたような訓練法を使用してＴ２－強調画像をシミュレートするために訓練される。

図７のステージ７０で、シミュレーション回路２６は、Ｔ１―強調画像を取得する。ステージ７２で、シミュレーション回路２６は、Ｔ１－強調画像からＴ２－強調画像をシミュレートするために、シミュレータ４０を使用する。シミュレーション回路２６は、シミュレートされたＴ２－強調画像をレジストレーション回路２８に渡す。

シミュレートＴ２－強調画像は、Ｔ２－強調画像を特徴付ける属性を有する。例えば、水の領域は、Ｔ１－強調画像では暗く見える一方、シミュレートされたＴ２－強調画像で明るく見えることがある。シミュレートされたＴ２－強調画像は、画像属性においてリアルＴ２－強調画像に似ていると思われる。例えば、シミュレートされたＴ２－強調画像は、リアルＴ２－強調画像と、輝度値、輝度幅範囲、コントラスト、解像度、シャープネス、特色の定義、及び／又は、信号対ノイズ比において、類似する。

例では、Ｔ１－強調画像入力画像からＴ２－強調画像を合成するシミュレータの能力を実証する、四つの画像のセットが生成される。この例では、第一の画像は、Ｔ１－強調ＭＲアキシャル頭部画像スライスの画像である。第二の画像は、Ｔ１－強調の第一画像と照合する、本物のＴ２－強調画像の画像である。例えば、Ｔ２－強調画像は、Ｔ１－強調の第一画像と同じスタディで収集されたＴ２－強調画像の場合がある。

第三の画像は、積み重ねられたオートエンコーダを具備する画像生成部を使用することで、Ｔ１－強調の第一画像から取得されたシミュレートされたＴ２－強調画像である。第四の画像は、図３を参考に上記で説明されたように訓練されたＤＡＮシミュレータを使用することで、Ｔ１－強調の第一画像から取得されたシミュレートされたＴ２－強調画像である。第三及び第四の画像を生み出すために使用された各方法において、画像生成部は、積み重ねられたオートエンコーダを具備する。第四の画像を生み出すために使用された方法のみ、識別器を使用する。この例において、第四の画像（ＤＡＮ法を使用）は第三の画像（積み重ねられたオートエンコーダを使用）よりも鮮明である。

Ｔ１―強調画像から取得されたシミュレートされたＴ２－強調画像は、Ｔ１－強調画像と同じスキャンで取得されたリアルＴ２－強調画像とは異なる場合があることに留意されたい。シミュレータ４０は、現実的なシミュレートされた画像を生み出すよう訓練されているが、上記で説明された通り、リアルＴ２－強調画像にはＴ１－強調画像で利用できない情報が恐らく存在する。それにもかかわらず、シミュレートされたＴ２－強調画像は、下記に説明されるように、多重シーケンスレジストレーションに対して、又は、下記で説明されるその他のアプリケーションに対しても、役立つツールになることがある。シミュレートされたＴ２－強調画像を使用することにより、シミュレートされたＴ２－強調画像が取得されたオリジナルＴ１－強調画像について、実行することが不可能な場合があった操作は、シミュレートされたＴ２－強調画像について、操作を実行することができる。

ステージ７４で、レジストレーション回路２８は、ステージ７０で受け取ったＴ１－強調画像がレジストレーションされるよう意図していたリアルＴ２－強調画像を受け取る。例えば、Ｔ１－強調画像及びＴ２－強調画像は、同じスキャンから取得されている場合があるが、所望のアプリケーションにおける使用に対しては十分満足にレジストレーションされない場合がある。別の例において、Ｔ１－強調画像とリアルＴ２－強調画像とは、異なる時間で収集された、同じ患者のスキャンからの画像の場合がある。Ｔ１－強調データのみが一回のスキャンで収集され（例えば、最初のスキャン）、Ｔ２－強調データのみが別のスキャンで収集され（例えば、後追い（フォローアップ）スキャン）する可能性があり、各スキャンから取得された画像をレジストレーションしようとすることもある。

ステージ７６で、レジストレーション回路２８は、ステージ７２で取得されたシミュレートされたＴ２－強調画像を、ステージ７４で受け取ったリアルＴ２－強調画像へとレジストレーションする。本実施形態において、レジストレーション回路２８は、類似性メトリックとして二乗差の和を使用して、シミュレートされたＴ２－強調画像をリアルＴ２－強調画像へとレジストレーションする。その他の実施形態で、任意の適切な類似性メトリックを使用することができる。レジストレーション法は、例えば同じモダリティ且つ同じシーケンスを使用して収集された画像など、同じ撮像手順を使用して取得された画像をレジストレーションするために使用することができる、任意のレジストレーション法とすることができる。

同じタイプの撮像手順を使用して収集されたデータをレジストレーションするために通常は使用することができるレジストレーション法を使用して、シミュレートされたＴ２－強調画像とリアルＴ２－強調画像とを、一緒にレジストレーションすることは可能である。何故ならば、シミュレートされたＴ２－強調画像は、リアルＴ２－強調画像の画像属性と同じような画像属性を有するからである。

ステージ７８で、レジストレーション回路２８は、シミュレートされたＴ２－強調画像とリアルＴ２－強調画像とのレジストレーションを使用して、Ｔ１－強調画像とリアルＴ２－強調画像とのレジストレーションを取得する。シミュレートされたＴ２－強調画像は、Ｔ１－強調画像と同じ座標空間に存在するため、シミュレートされたＴ２－強調画像とリアルＴ２－強調画像とのレジストレーションの結果を、Ｔ１－強調画像へと直接変換することができるのである。

つまり、リアルＴ１－強調画像からＴ２－強調画像をシミュレーションし、且つシミュレートされたＴ２－強調画像をリアルＴ２－強調画像へとレジストレーションすることにより、リアルＴ１－強調画像（ステージ７０）は、リアルＴ２－強調画像（ステージ７４）へとレジストレーションされる、ということである。

その他の実施形態で、図７を参考に上記で説明された方法は、任意のマルチモダリティ、又は、マルチシーケンス画像レジストレーションを支援するために使用される。例えば、Ｔ１－強調画像をＣＴ画像へとレジストレーションするためには、Ｔ１－強調画像に見えるようなＣＴ画像を、まず作る場合があるということだ。

第一のタイプの撮像手順を使用しながら収集された画像を、第二の、異なるタイプの撮像手順、例えば異なるモダリティ、シーケンス、取得技法又は処理技法を使用しながら収集された画像へと、直接レジストレーションする方法を使用することは、有名である。例えば、相互情報は、異なるタイプの撮像手順を使用しながら収集された画像を、レジストレーションするために使用することができる。

しかし、異なるタイプの撮像手順を使用して収集された画像をレジストレーションするために使用することができる利用可能なレジストレーション法の数は、同じ撮像手順を使用して収集された画像をレジストレーションするために使用することができるレジストレーション法の数よりも少ない可能性がある。状況次第で、同じ撮像手順を使用して収集された画像をレジストレーションするために使用されるレジストレーション法は、ある一つのタイプの撮像手順を使用して収集された画像を異なる撮像手順を使用して収集された画像に直接レジストレーションするために使用されるレジストレーション法に比べ、より精確な場合がある。また状況次第で、同じ撮像手順を使用して収集された画像をレジストレーションするために使用されたレジストレーション法は、より早く、及び／又は、コンピュータ的コストが低くなる場合もある。

Ｔ２－強調画像をシミュレーションすること、及び、シミュレートされたＴ２－強調画像をリアルＴ２－強調画像へとレジストレーションすることにより、Ｔ１－強調画像とリアルＴ２－強調画像とが直接レジストレーションされた場合に比べ、より良いレジストレーションを取得することができる。シミュレートされたＴ２－強調画像を生み出すことにより、同じモダリティ及びシーケンスであるように見える二つの画像（今回の場合、シミュレートされたＴ２－強調画像とリアルＴ２－強調画像）間に、レジストレーションが実行される。これにより、使用することができなかった使用すべきレジストレーション法で、異なるモダリティ、又は、シーケンスを有する画像をレジストレーションすることができる。

一実施形態において、Ｔ１－強調データとＴ２－強調データとが第一のスキャンで共に収集する試みが検討されたが、上手く収集されるのはＴ１－強調データのみである。別のスキャンからのＴ２－強調データを、第一のスキャンからのデータにレジストレーションする意図があったものの、利用可能なのは第一のスキャンからのＴ１－強調データのみである。図７の方法を使用することで、第一のスキャンからはＴ２－強調データが抜けているにも関わらず、レジストレーションを実行することが可能になる場合がある。

図７の方法は、マルチモダリティ、又は、マルチシーケンスの確度及びロバスト性を改善することができる。
ＤＡＮにより訓練されたモダリティ変換器（ＤＡＮ－ｔｒａｉｎｅｄ ｍｏｄａｌｉｔｙ ｃｏｎｖｅｒｔｅｒ）の有効性は、Ｔ１－強調対Ｔ２－強調剛体レジストレーション課題（マルチモダリティ剛体レジストレーション課題と呼ぶことができる）を、合成されたＴ２－強調対Ｔ２－強調剛体レジストレーション課題（単一モダリティタスクと呼ぶことができる）に変更することにより、実証することができ、それにより二乗差の和を使用することができるのである。

ある実験では、二次元マルチシーケンス剛体レジストレーションは、二つの異なる方法を使用して実行された。各方法を使用し、Ｔ２－強調画像のＴ１－強調画像への一五〇回のレジストレーションが実行された。係る強調画像は、ＭＲの２５６ボクセル×２５６ボクセルの頭部画像である。Ｔ２－強調スライスは、テストデータコーホートから選択され、対応するＴ１－強調スライスについて剛体的に曲げられている。スライスは、均一な分布からランダムにサンプルされた変換パラメータを使用し、剛体的に曲げられている。変換は、回転に対して（－４０°，４０°）とｘ及びｙ並進に対して（－２５，２５）ピクセルとの、一様にランダムな分布からランダムに抜き出されたものである。同じ一五〇回のレジストレーション例が、各方法に対して使用された。

第一の方法で、参照アルゴリズムは、参照アプローチを提供するために使用された。参照アプローチは、粒子群最適化（ｐａｒｔｉｃｌｅ ｓｗａｒｍ ｏｐｔｉｍｉｚｅｒ）で規格化勾配フィールド類似性メトリックを使用し、Ｔ１－強調及びＴ２－強調画像を直接レジストレーションすることを具備する。規格化勾配フィールドは、マルチモダリティ類似性メトリックとして使用されたものである。

図８ａは、既知の回転値に対する第一の方法を使用して計算された、回転に関する値を描いている。図８ａのプロット上の各点は、第一の方法を使用してＴ２－強調画像をＴ１－強調画像へレジストレーションに対する回転値を表している。ｘ軸上の値は、ランダムに生成され、且つＴ１－強調及びＴ２－強調画像をオフセットするために使用された回転に対する値である。ｙ軸上の値は、第一の方法を使用して、オフセットされたＴ２－強調画像及びＴ１－強調画像をレジストレーションすることで計算された、回転に対する値である。

図８ｂは、ｘにおける並進に関する既知の回転値に対する第一の方法を使用して計算された、ｘにおける並進に関する値を描いている。図８ｃは、ｙにおける並進に関する既知の値に対する第一の方法を使用して計算された、ｙにおける並進に対する値を描いている。

値が著しく広がっていることが、図８ａから８ｃで見て取れる。回転に対する計算された値、ｘの並進に対する計算された値、ｙの並進に対する計算された値の多くは、既知の値から大きくかけ離れている。

識別器で訓練された画像生成部４２を使用してＴ１－強調画像がシミュレートされたＴ２－強調画像へと変換された第二の方法は、図７の方法であった。これは、Ｔ１－強調対Ｔ２－強調マルチモダリティレジストレーションを、合成されたＴ２－強調対Ｔ２－強調単一モダリティ課題へと作り変え、単一モダリティレジストレーション法が使用できるようになる。実験で、シミュレートされたＴ２－強調画像をリアルＴ２－強調画像にレジストレーションは、二乗差の合計を類似性メトリックとして使用し、且つ粒子群最適化を使用し実行された。粒子群最適化は、方法の公平な比較を許可するために、各方法に対する変換モデルとして使用されたものである。

各方法に対し、レジストレーション法を使用して取得された回転、又は、並進に関する値は、既知の変換（既知の変換とは、ランダム変換であり、係るランダム変換によって、Ｔ２－強調スライスは、Ｔ１－強調スライスについて曲げられた）と比較された。

図９ａは、既知の回転値に対する第二の方法を使用して計算された、回転に関する値を描いている。図９ｂは、ｘにおける並進に関する既知の値に対する第一の方法を使用して計算された、ｘにおける並進に関する値を描いている。図９ｃは、ｙにおける並進に関する既知の値に対する第一の方法を使用して計算された、ｙにおける並進に対する値を描いている。

以下の表１は、図８ａから９ｃまでのプロットからのいくつかの結果を表にしたものである。使用された変換は既知である通り、誤差は変換基底ごとに分析される。

第二の方法を使用することにより、散らばり具合が抑えられ異常値も少なくなっていることが分かる。第二の方法は、第一の方法よりも中央絶対誤差がずっと低い。図８ａから９ｃまでで見て取れるように、モダリティ変換されたＴ２－強調対Ｔ２強調レジストレーションからのレジストレーション結果は、類似性メトリックとして規格化勾配フィールドを使用して解消されたマルチモダリティＴ１－強調対Ｔ２－強調レジストレーションに比べ、既知の変形をより精確に回復させるように見える。表１における結果は、単一モダリティアプローチが、マルチモダリティアプローチに比べ、明らかにより精確ということを裏付けている。

図７の実施形態において、Ｔ１－強調画像からシミュレートされたＴ２－強調画像を作り出すことにより、Ｔ１－強調画像は、Ｔ２－強調画像とレジストレーションされる。その他の実施形態において、任意のシーケンスをシミュレートすることができる。例えば、Ｔ１－強調画像は、Ｔ２－強調画像からシミュレートすることができる。更なる実施形態において、異なるモダリティをシミュレートすることがある。例えば、Ｔ１－強調ＭＲ画像をＣＴ画像へとレジストレーションするために、ＣＴ画像をＴ１－強調画像のように見えるようにさせるシミュレータを使用することがある。シミュレータは、マルチモダリティ、又は、マルチシーケンス画像レジストレーションを支援するために訓練することができる。

更なる実施形態において、セグメンテーションアルゴリズムは、一つのタイプの撮像手順を使用して収集されたデータに対して利用可能であるが、異なるタイプの撮像手順を使用しながら収集されたデータでは使用することができない。シミュレータは、セグメンテーションアルゴリズムを開発するためのデータタイプをシミュレートするように訓練される。例えば、ある実施形態においてセグメンテーションアルゴリズムは、ＣＴ画像に対して開発された。シミュレータは、ＣＴ画像をシミュレートするために、ＭＲ画像を処理するよう訓練される。セグメンテーションアルゴリズムは、その場合にＭＲ画像からＣＴ画像をシミュレーションし、且つセグメンテーションアルゴリズムをシミュレートされたＣＴ画像へと適用することで、ＭＲ画像について使用することができる。シミュレーション処理を上記で説明したように適用することにより、一つのモダリティに対して開発されたセグメンテーションアルゴリズムは、その他のモダリティについても使用することができる。

その他の実施形態において、二つの異なるタイプの撮像手順を使用して、データは収集される。例えば、Ｔ１－強調及びＴ２－強調データは、被検体の解剖学的領域の単一のスキャンで収集することができる。両方のタイプの撮像手順を使用して収集された画像が利用可能であるが、一つのタイプの撮像手順を使用して収集された画像は、その他のタイプの撮像手順を使用して収集された画像をシミュレートするために使用される。そしてシミュレートされた画像は、その後リアル画像を取得する際に用いた撮像手順を用いて取得されたそのリアル画像と比較される。

例えば、Ｔ１－強調及びＴ２－強調データ両方がＭＲ収集で取得された実施形態では、つまりリアルＴ１－強調画像とリアルＴ２－強調画像との両方が利用可能ということである。シミュレータは、Ｔ１―強調画像からＴ２―強調画像をシミュレートするために、図３を参考に上記で説明された通り、訓練される。シミュレートされたＴ２－強調画像は、その後リアルＴ２－強調画像と比較される。

シミュレートされたＴ２－強調画像をリアルＴ１－強調画像と同じ収集に対するリアルＴ２－強調画像と比較することについては、いくつかの動機付けが存在することがある。

実施形態の中には、シミュレートされたＴ２－強調画像をリアルＴ１－強調画像と同じ収集に対するリアルＴ２－強調画像と比較することは、リアルＴ２－強調画像における異常性を特定するために使用されるものがある。係る異常性とは、例えば画像により表された解剖学的領域に存在する病変の可能性がある。

シミュレータは、正常画像と呼ばれる場合のある、病変の無い（ｆｒｅｅ ｏｆ ｐａｔｈｏｌｏｇｙ）画像を具備する、訓練データを使用して典型的に訓練することができる。収集されたＴ１－強調画像に適用する場合に、シミュレータは、正常画像について訓練されてきたため、シミュレートされたＴ２－強調画像を病変が無いように見えるように生み出すことができる。病変が実際症状として見つかっている状態の場合に（ｉｎ ｆａｃｔ ｐｒｅｓｅｎｔ）、リアルＴ２－強調画像は、その病変に従ってシミュレートされたＴ２－強調画像と異なることがある。シミュレートされたＴ２－強調画像をリアルＴ２－強調画像と比較することにより、病変をリアルＴ２－強調画像において特定することができる。

実施形態の中には、シミュレートされたＴ２－強調画像をリアルＴ１－強調画像と同じ収集に対するリアルＴ２－強調画像と比較することは、脳病変の良性悪性を差別化するために、使用することができるものもある。実施形態には、シミュレートされたＴ２－強調画像をリアルＴ１－強調画像と同じ取得に対するリアルＴ２－強調画像と比較することは、脳卒中の早期検出において脳虚血のエリアを探し出すために使用することができるものもある。

その他の実施形態において、異常性の存在が既に分かっていることがある。例えば、異常性はＴ２－強調画像において見つかっている場合がある。シミュレータは、例えば正常Ｔ２－強調画像など、正常画像をシミュレートするために使用される。シミュレートされたＴ２－強調画像は、レジストレーションを助けるために使用される。

状況次第で、異常を含む画像よりも、正常に見える画像をレジストレーションすることの方が、簡単な場合がある。例えば、いくつかのレジストレーション法は、正常な生体構造に基づくものであっても良いし、これらのレジストレーション法を使用した画像が正常な生体構造を表すならば、より効果的だろう。

また状況次第で、異常性を示すＴ２－強調画像が、異常性の存在しないＴ２－強調画像へとレジストレーションされるべき場合があり得る。より良いレジストレーションは、異常性を有するＴ２－強調画像をレジストレーションするよう試みることで収集することができるというよりも、異常性の無いＴ２－強調画像をシミュレーションすること、且つ当該シミュレートされたＴ２－強調画像をレジストレーションすることにより、取得することができる。同様の判断が、その他のタイプの撮像手順を使用して収集された画像へと適用することができる。

患者が重い脳卒中に見舞われた場合に、脳は、卒中前の見た目と極めて異なって見えることがある。卒中後の画像を正常なように見える画像へと変換することにより、患者の卒中前後の画像でのレジストレーションを簡単にすることができる。状況によって、正常画像をシミュレーションすることは、正常アトラスへとレジストレーションすることを助けることができる。

更なる実施形態において、Ｔ１－強調及びＴ２－強調画像は、同じ収集法により収集されるものの、Ｔ２－強調画像は、ノイジーである、及び／又は、データが破損している。シミュレータは、Ｔ１－強調画像からＴ２－強調画像をシミュレーションするために使用される。リアルＴ２－強調画像をシミュレートされたＴ２－強調画像と比較することにより、リアルＴ２－強調画像の画質を推定する、又は、定量化することが可能な場合がある。例えば、ノイズレベルを定量化することができる。一つ又は複数のアーチファクトは、リアルＴ２－強調画像で特定することができる。

上記で説明されたような方法、例えば図４や図７を参考に説明されたような方法は、例えば違って見える画像を生成する任意の撮像変形例など、任意の適切なタイプの撮像手順に適用することができる。

実施形態において、図７と同様の方法は、前処理及び後処理でコントラスト化されたＣＴ画像に、また異なる手法でコントラスト化されたＣＴ画像に、適用される。コントラスト化された画像においても、画像が収集されたインジェクション後である画像は、画像の見た目が著しく変化する場合がある。

実施形態において、図７の方法と同様の方法は、画像の見た目を変える、異なる管電圧で収集されたＣＴ画像へと適用される。

いくつかの実施形態において、図７の方法と同様の方法は、外因的な造影剤を使用してＭＲシーケンスの任意の組み合わせ、及び／又は、ＭＲ画像に適用される。

また実施形態において、図７の方法と同様の方法は、超音波画像に適用される。超音波診断は、造影剤を使用することがあり、且つハーモニック撮像などの機能を有することもある。超音波診断は、例えばドプラフロー撮像やエラストグラフィなど機能的な計測法も有することがある。

いくつかの実施形態において、図７の方法と同様の方法は、核医学撮像（例えばＰＥＴ）によって収集された画像に適用される。核医学画像は、機能を計測することができる。核医学画像の見た目は、使用されている薬剤トレーサに依存する場合がある。図７の方法と同様の方法は、解剖学的画像（例えば、ＭＲ又はＣＴ）からの機能的な画像をシミュレートするために使用することができる。図７と同様の方法は、異なるトレーサを使用して収集された画像をシミュレートするために、一つのトレーサを使用して取得された画像を使用することができる。

またいくつかの実施形態において、異なるＭＲシーケンスは、立て続けに収集されることがあり、またかなり十分にアライメントされることがある（いくつかの解析に対し、初期設定のアライメント確度に比べ、より高い確度を達成するために、アライメント法を使用する場合があるけれども）。しかし、第一の画像が第一のモダリティ及びスキャナを使用して撮られ、且つ第二の画像が異なるモダリティ及びスキャナ（例えばＭＲ）を使用して撮られた場合に、また患者が複数のスキャナ間を移動しなければならない場合に、アライメントはより重要となるだろう。

実施形態の中には、図７の方法と同様の方法が、拡散強調ＭＲ画像（ＤＷＩ）の拡散補正で使用されるものがある。ＤＷＩ画像は、典型的に素早く収集することができ、非剛体変形に苦しむ場合がある。ＤＷＩ画像を補正する一つの方法として、ＤＷＩ収集を参照Ｔ１－強調画像へとレジストレーションすることがあり、これにより歪みが少なくなることがある。ＤＷＩ画像を参照Ｔ１－強調画像へとレジストレーションすることにより、図７の方法と同様の方法を使用して実行することができる。

実施形態の中には、図７の方法と同様の方法は、前コントラスト画像を後コントラスト画像にレジストレーションするために使用されるものもある。いくつかの既知のレジストレーション法は、後コントラスト画像を用いて類似度を最大化するために、コントラストエリアを縮小することがある。前コントラスト画像が後コントラスト画像からシミュレーションされる（またその逆も同様に）方法を使用することで、そのようなコントラストエリアの縮小を減らす、又は、除去することができる。

実施形態の中には、図７の方法と同様の方法は、画像をアトラスへ、例えば異なるモダリティ、又は、シーケンスを使用して収集されたデータから作られたアトラスへ、レジストレーションするために使用されるものがある。

更なる実施形態において、決定論的敵対的ネットワークは、画像をオートエンコード化するために、オートエンコーダを訓練するために使用される。本実施形態において、異なるモダリティを合成するよりも、２アームＤＡＮが従来的なオートエンコーダネットワークに適用される。図３の２アームＤＡＮの構成は、Ｔ１－強調矢状頭部画像をオートエンコード化するために使用される。その他の実施形態で、任意の適当なタイプの撮像手順を使用して収集された画像のオートエンコード化を、実行することができる。更なる実施形態において、ＤＡＮは、画像の任意の適当な代替バージョンを生み出すために、使用することができる。例えば、ＤＡＮは、画像の圧縮されたバージョンを生み出すために、使用できる。

識別器は、リアルＴ１－強調画像とオートエンコード化されたＴ１－強調画像とを区別するために、訓練される。画像生成部は、識別器にとってリアル画像に見える、オートエンコード化された画像を生み出すように訓練される。それは、オートエンコード化された画像は、リアルＴ１－強調画像を特徴付ける画像属性を有しているからである。オートエンコーダを訓練するための敵対的なネットワークを使用することにより、敵対的なネットワークが使用されないオートエンコーダと比較した場合よりも、シャープネスが増した画像を提供することができる。

ある例では、三つの画像が生成される。係る例において、第一の画像は、オートエンコーダに対する入力として使用される、リアルＴ１－強調画像である。第二の画像は、識別器を具備せず、且つ敵対的なやり方でも訓練されていない、従来的なオートエンコーダの結果を示している。第三の画像は、２アームＤＡＮフレームワークにおいて訓練された、オートエンコーダの結果を示している。係る例では、三つの画像が、単純なオートエンコーダと比較した場合に、画像のシャープネスを保持するＤＡＮの能力を実証している。

特定の実施形態は、生成部及び識別器の組み合わせを敵対的なやり方での組み合わせで訓練されたものを使用して、一つの医用撮像モダリティの存在が新たなモダリティの存在を授けるというシミュレーションのための方法を提供する。

識別器は、識別器がその入力を生成部から直接受け取る単一のチャンネルを有することがある。係る識別器は、二つのチャンネルを有することもあり、一方のチャンネルは生成部からの出力を受け取り、他方のチャンネルは真のその他のモダリティの画像を受け取る。

システムは、例えばＭＲバイアスフィールドやＣＴメタルアーチファクト等を除去するため、アーチファクトが無い画像を予測するために使用することができる。予測された画像には、疾病の有無を検出するために使用することが可能な、正常且つ病変の無い画像とすることができる。結果として生じる合成された画像は、マルチモダリティ、又は、マルチシーケンスレジストレーションを支援するために、使用することができる。また結果として生じる合成された画像は、画像セグメンテーションを支援するために、使用することもできる。

上記で説明された方法は、任意の適当なヒト又は動物の生体構造に適用することができる。方法は、例えば任意の適当なモダリティ、シーケンス、収集タイプ、又は、処理技法など、任意の適当なタイプの撮像手順を使用して取得された画像データの処理に適用することができる。一つの収集において収集された画像データは、別の収集で取得された画像データをシミュレートするために、処理することができる。方法は、例えば組織モーションや液体フローなど、機能を示す画像の解析に適用することができる。

本明細書では、特定の回路について説明してきた。いくつかの実施形態では、これらの回路のうち１つ又は複数の機能は単一の処理リソース又はその他の構成要素によって提供可能であり、又は、単一の回路によって提供される機能は、組み合わされた２つ以上の処理リソース又はその他構成要素によって提供可能である。単一のユニットへの言及は、その回路の機能を提供する複数の構成要素が互いに遠隔であるかどうかに関わりなく、そのような構成要素を包含し、複数の回路への言及は、それらの回路の機能を提供する単一の構成要素を包含する。

特定の実施形態について説明してきたが、これらの実施形態は、例として提示したにすぎず、本発明の範囲を限定することを意図したものではない。実際、本明細書で説明する新規な方法及びシステムはさまざまなその他の形態で実施することができる。そのうえ、本明細書で説明する方法及びシステムの形態におけるさまざまな省略、置き換え、及び変更は、本発明の趣旨から逸脱することなく行うことができる。添付の特許請求の範囲及びその等価物は、本発明の範囲に含まれるこのような形態又は変形形態を包含することを意図するものである。

１４…磁気共鳴イメージング装置、１６…表示スクリーン、１８…入力デバイス、２０…データストア、２２…処理回路、２４…訓練回路、２６…シミュレーション回路、２８…レジストレーション回路、６２…画像生成部、６６…アーム識別器

Claims (16)

1. 被検体の解剖学的領域について第一の撮像法を用いて撮像された第一の画像を取得する取得部と、
   前記第一の画像を用いて、前記第一の撮像法とは異なる第二の撮像法に対応するシミュレーション画像としての第二の画像を生成する生成部であって、前記第二の画像と前記第二の撮像法によって現実に取得された、病変のない第三の画像とを区別する識別器を用いた敵対的な訓練処理を繰り返すことで訓練された生成部と、
   前記第二の撮像法を用いて撮像された前記被検体に関する第四の画像と前記シミュレーション画像としての前記第二の画像とを比較し、前記被検体に関する異常部位の特定結果を出力する比較部と、
   を具備する医用画像処理装置。
2. 前記生成部及び前記識別器の少なくとも一方は、深層学習ネットワークである請求項１記載の医用画像処理装置。
3. 前記深層学習ネットワークは、畳み込みニューラルネットワーク、スキップ接続を伴う畳み込みニューラルネットワーク、多層ニューラルネットワーク、再帰型ニューラルネットワークのうちの少なくとも一つを具備する請求項２記載の医用画像処理装置。
4. 前記識別器は、入力した一つの画像が前記第二の画像又は前記第三の画像であるかを区別する一つのアームを有する請求項１乃至３のうちいずれか一項記載の医用画像処理装置。
5. 前記識別器は、入力した二つの画像のどちらが前記第二の画像でありどちらが前記第三の画像であるかを区別する二つのアームを有する請求項１乃至３のうちいずれか一項記載の医用画像処理装置。
6. 前記識別器は、複数の前記第二の画像及び複数の前記第三の画像を含む訓練データと、識別誤差関数とを用いた訓練により、重み調整されて生成されたものである請求項１乃至５のうちいずれか一項記載の医用画像処理装置。
7. 前記識別器は、前記識別誤差関数を最小にするように前記重みを調整する請求項６記載の医用画像処理装置。
8. 前記生成部は、前記第二の画像と前記第三の画像との差を指標として、前記識別器を用いた敵対的な訓練処理を繰り返すことで訓練されたものである請求項１乃至７のうちいずれか一項記載の医用画像処理装置。
9. 前記生成部は、前記第二の画像がシミュレーション画像であるのか前記第三の画像であるのかの識別誤差を指標として、前記識別器を用いた敵対的な訓練処理を繰り返すことで訓練されたものである請求項１乃至７のうちいずれか一項記載の医用画像処理装置。
10. 前記生成部は、前記第二の画像がシミュレーション画像であるのか前記第三の画像であるのかの識別誤差を増加させ、前記第二の画像と前記第三の画像との差を減少させるように重みを調整することで訓練されたものである請求項１乃至７のうちいずれか一項記載の医用画像処理装置。
11. 前記第一の撮像法は第一のモダリティを用いて実行され、前記第二の撮像法は前記第一のモダリティとは異なる第二のモダリティを用いて実行される請求項１乃至１０のうちいずれか一項記載の医用画像処理装置。
12. 前記第一の撮像法はＴ１－強調ＭＲ撮像とＴ２－強調ＭＲ撮像とのうちの一方を使用し、前記第二の撮像法はＴ１－強調ＭＲ撮像とＴ２－強調ＭＲ撮像とのうちの他方を使用する請求項１乃至１０のうちいずれか一項記載の医用画像処理装置。
13. 前記生成部は、前記第一の画像を用いて、輝度値、コントラスト値、画像解像度、シャープネス、特徴解像度、信号対ノイズレベルのうち少なくとも一つの属性を基準として前記第二の画像を生成する請求項１乃至１２のうちいずれか一項記載の医用画像処理装置。
14. 前記生成部は、前記第二の撮像法を用いて撮像された前記被検体に関する第四の画像と前記シミュレーション画像としての前記第二の画像とを用いた第一のレジストレーションを実行する請求項１乃至１３のうちいずれか一項記載の医用画像処理装置。
15. 前記生成部は、前記第一のレジストレーションの結果に基づいて、異なる撮像法を用いて撮像された異なる画像について第二のレジストレーションを実行する請求項１４記載の医用画像処理装置。
16. 前記生成部は、
    前記第二の画像をセグメンテーションし、
    前記セグメンテーションされた第二の画像に基づいて、前記第一の画像をセグメンテーションする、
    請求項１乃至１５のうちいずれか一項記載の医用画像処理装置。

Images