JP7795352B2 - 画像処理方法、画像処理装置およびプログラム - Google Patents

Description

本開示は画像処理方法、画像処理装置、プログラムおよび学習済みモデルに係り、特に、複数の画像間の位置合わせを行う画像処理技術に関する。

ＣＴ（Computed Tomography）装置またはＭＲＩ（Magnetic Resonance Imaging）装置を用いて行われる肝臓のダイナミック造影検査では、造影剤を注入しながら時相の異なる複数の画像を撮影し、病変部の濃染具合の変化を観察する。このような検査は、２～３分間の間に３～４時相の撮影を行うため、各時相の撮影の合間に呼吸状態が変動するなどして体動が生じる場合がある。体動があると、画像間で位置がずれるため、各時相の画像を対比しにくい。

画像間の位置合わせ方法には様々な方法が知られており、近年は深層学習を用いた方法も広く研究されている（非特許文献１、２）。非特許文献１は、深層学習を用いて２つの画像の入力に対して、これら画像間の変形ベクトル場を出力させる予測モデル（位置合わせモデル）を生成し、画像間の位置合わせを行う方法を提案している。非特許文献１では、学習の際に１画像と変形ベクトル場から人工的に生成した画像とを用いることで、２画像から正解を定義する手間を不要にしている。非特許文献１に記載の方法は、ネットワーク構造として３Ｄ Ｕ－ｎｅｔのアーキテクチャを採用し、位置合わせを行う２つの画像を２つのチャンネルとして入力する構造になっている。

K. A. J. Eppenhof and J. P.W. Pluim. "Pulmonary CT Registration through Supervised Learning with Convolutional Neural Networks." IEEE Transactions on Medical Imaging, 38(5):1097-1105, 2019.ISSN 0278-0062. doi: 10.1109/Tmi.2018.2878316. Yabo Fu, Tonghe Wang, Walte J.Curran, Tian Liu, Xiaofen Yang, "Deep Learning in Medical Image Registration: A Review"＜https://arxiv.org/pdf/1912.12318.pdf＞

ダイナミック造影検査は、ヨード造影剤を腕に静脈注入した後、同じ部位を繰り返し撮影し、経時的変化を観察する方法である。造影の時相とは、造影剤注入から特定の秒数の経った状態のことであり、肝臓のダイナミック造影検査では、動脈相、門脈相（肝実質相）、平衡相などがある。例えば、動脈相であれば動脈に造影剤が多く流れている状態となる。腫瘍の種類によってどの時相でどのように見えるかが異なる。なお、造影剤を注入する前の状態は非造影と呼ばれる。

一般に、肝臓のダイナミック造影検査は、非造影、動脈相、門脈相および平衡相の４回の撮影を行い、これら複数の時相間の画像変化を対比する必要がある。各時相間には時間差があるため、異なる時相の画像間に位置ずれが生じる。そのため、読影の際には、造影状態が異なる画像間で画像の位置合わせを行い、各時相の画像にて共通の関心領域を観察できるようにする必要がある。かかる位置合わせの処理を含む画像処理の即応性が要求される。

一方で、ＣＴ画像またはＭＲＩ画像のような３次元画像はデータ量が大きく、画像間の位置合わせを行う際に多くの計算リソースが必要になる。特に、ダイナミック造影検査のように複数の時相の画像の組み合わせが存在する場合、位置合わせの対象とする画像の組み合わせが増えるほど、その計算量も増大する。

位置合わせ処理並びにその後の性状分析の処理等の即応性を実現するために、例えば、以下の２つのアプローチが考えられる。

［第１のアプローチとその課題］
第１のアプローチとして、撮影された画像内における病変領域の付近など関心領域に絞って、入力する構成にすることによって計算量を削減することが考えられる。

しかし、Ｎ枚の画像のうちのどれか１枚を基準として他の画像の位置合わせをする場合、非特許文献１に記載の方法を採用すると、２チャンネルの入力画像の組み合わせに対して３Ｄ Ｕ－ｎｅｔの計算を（Ｎ－１）回行う必要がある。そのため、さらなる処理の効率化が要請される。

［第２のアプローチとその課題］
第２のアプローチとして、検査によって撮影された画像を保存する段階で、画像全体あるいは臓器全体の位置合わせを行い、その位置合わせの結果としての画像上の各画素間の対応関係を表す変形ベクトル場を保存しておくことが考えられる。この場合、読影の際は、その保存された結果を参照して位置ずれを補正する。

しかし、このような方法では、画像間の組み合わせごとに、予め位置合わせをした計算結果を保存しておく必要があり、計算結果を保存しておくために必要となる記憶容量が大きいという問題がある。

本開示はこのような事情に鑑みてなされたものであり、複数の画像間での位置合わせを行う際に必要になる計算リソースを抑制することができる画像処理方法、画像処理装置、プログラムおよび学習済みモデルを提供することを目的とする。

本開示の一態様に係る画像処理方法は、１つ以上のプロセッサが実行する画像処理方法であって、１つ以上のプロセッサが、複数の画像のそれぞれの特徴マップを取得することと、画像ごとの特徴マップの組み合わせから変形ベクトル場を算出することと、を含む。

「特徴マップを取得する」という記載は、１つ以上のプロセッサが外部から特徴マップを取得する場合に限らず、１つ以上のプロセッサが特徴マップを生成して取得することの概念を含む。

本態様によれば、画像ごとにそれぞれの特徴マップを取得しているため、位置合わせを行う画像の組み合わせが複数存在する場合であっても、画像間の変形ベクトル場を算出する際の計算リソースを抑制することができる。

本開示の他の態様に係る画像処理方法において、１つ以上のプロセッサが、第１のニューラルネットワークを用いて複数の画像のそれぞれから各画像の特徴マップを生成することと、第１のニューラルネットワークを用いて画像ごとに生成された特徴マップの組み合わせを第２のニューラルネットワークに入力することにより、第２のニューラルネットワークを用いて変形ベクトル場を算出する構成とすることができる。

本開示の他の態様に係る画像処理方法において、第１のニューラルネットワークは、１画像の入力を受け付け、入力された１画像に対する処理を行うことにより１つ以上の特徴マップを出力するネットワークであり、第２のニューラルネットワークは、異なる２つの画像のそれぞれから生成された各画像の特徴マップのペアの入力を受け付け、入力された特徴マップのペアに対する処理を行うことにより異なる２つの画像間の変形ベクトル場を出力するネットワークであってもよい。

本開示の他の態様に係る画像処理方法において、第１のニューラルネットワークと第２のニューラルネットワークとは、学習画像セットを用いて予め機械学習された学習済みモデルであり、機械学習の工程は、２画像をそれぞれ第１のニューラルネットワークに入力して得られる２画像のぞれぞれの特徴マップの組み合わせを第２のニューラルネットワークに入力して変形ベクトル場を出力させる構成で行われる構成であってもよい。

本開示の他の態様に係る画像処理方法において、学習画像セットは、複数の異なる画像を含み、機械学習の際に第１のニューラルネットワークに入力する２画像のうちの一方は、他方の画像を変形して生成した画像であってもよい。

本開示の他の態様に係る画像処理方法において、変形を規定する変形場は、予め定められた制約範囲内でランダムに生成され、変形の処理に適用した変形場を正解として、第２のニューラルネットワークの出力が正解に近づくように学習が行われる構成であってもよい。

本開示の他の態様に係る画像処理方法において、複数の画像のそれぞれは医用画像であってもよい。

本開示の他の態様に係る画像処理方法において、複数の画像は、造影状態が相異なる画像であってもよい。造影状態には、造影の有無および時相が含まれる。

本開示の他の態様に係る画像処理方法において、１つ以上のプロセッサが、さらに、変形ベクトル場を用いて位置を合わせた複数の画像を解析し、関心領域の造影効果を表す性状所見を出力することを含む構成であってもよい。

本開示の他の態様に係る画像処理方法において、複数の画像は、撮影された日が相異なる画像であってもよい。

本開示の他の態様に係る画像処理方法において、複数の画像は、モダリティが相異なる画像であってもよい。

本開示の他の態様に係る画像処理方法において、複数の画像は、３つ以上の画像であり、１つ以上のプロセッサが、複数の画像のうちの１つの基準画像と、基準画像以外の画像との２画像のそれぞれの特徴マップの組み合わせから、基準画像と基準画像以外の画像との組み合わせごとの変形ベクトル場を算出する構成であってもよい。

本開示の他の態様に係る画像処理方法において、１つ以上のプロセッサが、さらに、複数の画像のうちの１つの画像内における注目点の指定を受け付け、算出された変形ベクトル場に基づき、複数の画像のうちの他の画像内における注目点に対応する対応点を算出することと、注目点と対応点の位置を揃えて画像を表示させることと、を含む構成であってもよい。

本開示の他の態様に係る画像処理装置は、１つ以上のプロセッサと、１つ以上のプロセッサに実行させるプログラムが記憶される１つ以上のメモリと、を備え、１つ以上のプロセッサは、プログラムの命令を実行することにより、複数の画像のそれぞれの特徴マップを取得し、画像ごとの特徴マップの組み合わせから変形ベクトル場を算出する。

本開示の他の態様に係る画像処理装置において、１つ以上のプロセッサは、第１のニューラルネットワークを用いて複数の画像のそれぞれから各画像の特徴マップを生成し、第１のニューラルネットワークを用いて画像ごとに生成された特徴マップの組み合わせを第２のニューラルネットワークに入力することにより、第２のニューラルネットワークを用いて変形ベクトル場を算出する構成であってもよい。

本開示の他の態様に係るプログラムは、コンピュータに、複数の画像のそれぞれの特徴マップを取得する機能と、画像ごとの特徴マップの組み合わせから変形ベクトル場を算出する機能と、を実現させる。

本開示の他の態様に係るプログラムにおいて、第１のニューラルネットワークを用いて複数の画像のそれぞれから各画像の特徴マップを生成する機能と、第１のニューラルネットワークを用いて画像ごとに生成された特徴マップの組み合わせを第２のニューラルネットワークに入力することにより、第２のニューラルネットワークを用いて変形ベクトル場を算出する機能と、をコンピュータに実現させる構成であってもよい。

本開示の他の態様に係る学習済みモデルは、複数の画像から変形ベクトル場を算出する機能をコンピュータに実現させる学習済みモデルであって、学習済みモデルは、第１のニューラルネットワークと第２のニューラルネットワークとを含み、第１のニューラルネットワークは、１画像の入力を受け付け、入力された１画像に対する処理を行うことにより１つ以上の特徴マップを出力し、第２のニューラルネットワークは、異なる２つの画像のそれぞれから第１のニューラルネットワークを用いて生成された各画像の特徴マップのペアの入力を受け付け、入力された特徴マップのペアに対する処理を行うことにより異なる２つの画像間の変形ベクトル場を出力するように学習された学習済みモデルである。

本開示によれば、複数の画像間での位置合わせを行う際に必要になる計算リソースを抑制することができる。

図１は、２つの画像間の変形ベクトル場を求める位置合わせモデルの動作を示す概念図である。 図２は、第１実施形態に係る画像処理方法に用いられる位置合わせモデルのネットワーク構造を概略的に示すネットワーク構造図である。 図３は、画像Ａに対して画像Ｂと画像Ｃとをそれぞれ位置合わせする場合の処理の説明図である。 図４は、第２実施形態に係る位置合わせモデルのネットワーク構造図である。 図５は、第３実施形態に係る位置合わせモデルのネットワーク構造図である。 図６は、本開示の実施形態に係る画像処理装置が適用される医療情報システムの構成例を示すブロック図である。 図７は、画像処理装置のハードウェア構成例を概略的に示すブロック図である。 図８は、画像処理装置を用いた画像処理の適用例１の概要を示す説明図である。 図９は、図８に示す肝臓のダイナミック造影ＣＴ検査における関心領域の位置合わせ処理のフローチャートである。 図１０は、図９のステップＳ１０３に適用されるサブルーチンの例を示すフローチャートである。 図１１は、位置合わせモデルを生成するための機械学習装置による学習方法の概要を示す図であり、訓練用のデータを生成する処理部の構成を示す。 図１２は、位置合わせモデルを生成するための機械学習装置による学習方法の概要を示す図であり、訓練用のデータを用いて学習モデルを訓練する処理部の構成を示す。 図１３は、図８に示す位置合わせモデルの学習フェーズを概略的に示す説明図である。 図１４は、画像処理装置を用いた画像処理の適用例２の概要を示す説明図である。 図１５は、図１４に示す経時比較に適用される位置合わせ処理のフローチャートであり、画像保存時の処理の例を示す。 図１６は、図１４に示す経時比較に適用される位置合わせ処理のフローチャートであり、読影時の処理の例を示す。 図１７は、図１６に示す経時比較に適用される位置合わせモデルの学習フェーズを概略的に示す説明図である。 図１８は、画像処理装置を用いた画像処理の適用例３の概要を示す説明図である。 図１９は、図１８に示すモダリティ間の画像比較に適用される位置合わせモデルの学習フェーズを概略的に示す説明図である。

以下、添付図面に従って本発明の好ましい実施形態について説明する。

《第１実施形態に係る画像処理方法の概要》
２つの画像の位置合わせは、これら２つの画像間の変形ベクトル場を求めることによって実現される。変形ベクトル場は、被変形画像上の任意の点と目標画像上の対応する点を一致させるための変形ベクトルを並べた空間である。

図１は、２つの画像間の変形ベクトル場を求める位置合わせモデル１０の動作を示す概念図である。位置合わせモデル１０は、コンピュータソフトウェア（プログラム）として構成される機械学習モデルである。位置合わせモデル１０は、例えば、畳み込みニューラルネットワークを用いて構成され、位置合わせの対象とする２つの画像の入力に対して、変形ベクトル場を出力するように学習された学習済みモデルである。

本実施形態では、位置合わせモデル１０として、図２に示すようなネットワーク構造を持つニューラルネットワークを採用する。図２は、第１実施形態に係る画像処理方法に用いられる位置合わせモデル１０１のネットワーク構造を概略的に示すネットワーク構造図である。ここでは、画像Ａと画像Ｂとの２画像間の変形ベクトル場を求める場合の例が示されている。画像Ａおよび画像Ｂは、例えば、ＣＴ装置などを用いて撮影された３次元画像である。ここでの３次元画像とは、連続的に撮影された２次元スライス画像の集合体の概念を含む。画像Ａおよび画像Ｂは、２次元スライス断層画像を連続的に撮影して得られた３次元データから再構成された３次元画像であってよい。

比較のために、非特許文献１のＦＩＧ．２に記載されているニューラルネットワークの構造と対比して説明する。非特許文献１のＦＩＧ．２に記載されているニューラルネットワークは、２つの画像を２つのチャンネルとして入力を受け付ける３Ｄ Ｕ－ｎｅｔのアーキテクチャが採用されている。

これに対して、本実施形態に係る画像処理方法では、２つの画像から変形ベクトル場を求めるニューラルネットワークを、各画像に共通する部分と、個別部分とに分けて構成する。すなわち、本実施形態に係る位置合わせモデル１０１は、図２に示すように、位置合わせを行う各画像に対して共通に適用される第１のニューラルネットワークＮＮ１と、第１のニューラルネットワークＮＮ１の出力の組み合わせが入力される第２のニューラルネットワークＮＮ２とを含む。

第１のニューラルネットワークＮＮ１は、１つの画像の入力を受け付け、入力された画像の特徴マップを出力するネットワークである。第１のニューラルネットワークＮＮ１は、入力された画像から特徴を抽出する特徴抽出部として機能する。第２のニューラルネットワークＮＮ２は、第１のニューラルネットワークＮＮ１を用いて生成された２画像分の特徴マップの組み合わせの入力を受け付け、これらの入力に対して、２画像間の変形ベクトル場を出力するネットワークである。第２のニューラルネットワークＮＮ２は、入力された特徴マップの組み合わせから変形ベクトル場を算出する変形ベクトル場算出部として機能する。

図２に例示する第１のニューラルネットワークＮＮ１は、３Ｄ Ｕ－ｎｅｔ型のアーキテクチャを有する。図中における四角内の数字はチャンネル数を表している。第１のニューラルネットワークＮＮ１は、入力のチャンネル数は１であり、１つの画像が１つのチャンネルとして入力される点で、非特許文献１に記載の２チャンネル入力の構成とは異なる。

図中におけるチャンネル数を付した四角と四角との間に示す右向き実線矢印は、３×３×３のフィルタによる３次元畳み込み演算と活性化関数としてのＬＲｅＬＵ（Leaky Rectified Linear Unit）を用いた演算とを含む処理を表している。また、図中における下向き矢印は２×２×２のフィルタによるマックスプーリング（Max Pooling）の処理を表している。図中における右向き破線矢印の矢先に並ぶ２つの四角形はチャンネルの結合を表している。図中における上向き矢印は２×２×２のフィルタによるアップスケーリング（up-scaling）と、３×３×３のフィルタによる畳み込み演算とＬＲｅＬＵを用いた演算とを含む処理を表している。また、第２のニューラルネットワークＮＮ２の最終段における一点鎖線の右向き矢印（３２チャンネルを３チャンネルにする処理）は、１×１×１のフィルタによる畳み込み演算の処理を表している。第２のニューラルネットワークＮＮ２の出力として得られる３チャンネルは、変形ベクトル場のｘ,ｙ,ｚの各成分に相当する。

図２に示す位置合わせモデル１０１では、画像Ａの入力を受け付けて画像Ａの特徴マップＡを出力する第１のニューラルネットワークＮＮ１と、画像Ｂの入力を受け付けて画像Ｂの特徴マップＢを出力する第１のニューラルネットワークＮＮ１との２つのネットワークが図示されているが、これら２つの第１のニューラルネットワークＮＮ１は重み（ネットワークのパラメータ）が共有される同じ（共通の）ネットワークである。第１のニューラルネットワークＮＮ１を用いる画像ごとの処理は、並列処理または並行処理されてもよいし、順次処理されてもよい。

図２では、画像Ａを第１のニューラルネットワークＮＮ１に入力することによって第１のニューラルネットワークＮＮ１から出力された特徴マップＡと、画像Ｂを第１のニューラルネットワークＮＮ１に入力することによって第１のニューラルネットワークＮＮ１から出力された特徴マップＢとのペアが第２のニューラルネットワークＮＮ２に入力され、第２のニューラルネットワークＮＮ２から画像Ａと画像Ｂとの画像間の変形ベクトル場が出力される。

第１のニューラルネットワークＮＮ１に入力される画像のデータ表現は、空間Ｗ×Ｈ×Ｄの３次元データであってよい。ＷはＸ軸方向の画素数、ＨはＹ軸方向の画素数、ＤはＺ軸方向の画素数を表す。Ｗ、ＨおよびＤは、それぞれ任意の値に設定することができる。Ｗ×Ｈ×Ｄは、例えば、１２８×１２８×１２８であってもよいし、５１２×５１２×５１２などであってもよい。第２のニューラルネットワークＮＮ２から出力される変形ベクトル場の表現は、画像Ａおよび画像Ｂと同じ空間Ｗ×Ｈ×Ｄであってよい。

図２に示すように、位置合わせモデル１０１のネットワークは、位置合わせの対象とする２つの画像のそれぞれを１チャンネルの入力として受け付けて１画像単位で特徴抽出を行う第１のニューラルネットワークＮＮ１と、第１のニューラルネットワークＮＮ１を用いて各画像から抽出された特徴マップの組み合わせの入力を受け付けて、画像間の変形ベクトル場を求める第２のニューラルネットワークＮＮ２とに分かれたネットワーク構造となっており、第１のニューラルネットワークＮＮ１と、第２のニューラルネットワークＮＮ２と、を別々に計算することができる。

［画像Ｃを含む３つの画像間の位置合わせについて］
図１では、画像Ａと画像Ｂとの画像間の位置合わせを行う場合を説明したが、さらに、画像Ａと画像Ｃとの画像間の位置合わせを行う場合には、画像Ｂと同様に、画像Ｃを第１のニューラルネットワークＮＮ１に入力し、第１のニューラルネットワークＮＮ１から画像Ｃに対応する特徴マップＣを出力させる。そして、特徴マップＡと特徴マップＣと組み合わせを第２のニューラルネットワークＮＮ２に入力し、これら特徴マップＡおよび特徴マップＣの組み合わせの入力に対して第２のニューラルネットワークＮＮ２から変形ベクトル場を出力させる。

図３は、本実施形態に係る画像処理方法を用いて画像Ａに対して画像Ｂと画像Ｃとをそれぞれ位置合わせする場合の処理の概要を示す説明図である。図３に示す位置合わせ処理部１１０は、図２で説明した位置合わせモデル１０１が適用される画像処理部である。位置合わせ処理部１１０は、第１のニューラルネットワークＮＮ１を用いて構成される特徴抽出部１１１と、第２のニューラルネットワークＮＮ２を用いて構成される変形ベクトル場算出部１１２とを含む。

本実施形態の画像処理方法では、図３に示すように、画像Ａ、画像Ｂおよび画像Ｃのそれぞれの画像について、第１のニューラルネットワークＮＮ１を用いた特徴抽出の処理が行われ、画像ごとに特徴マップＡ、特徴マップＢおよび特徴マップＣが生成される。つまり、画像Ａ、画像Ｂおよび画像Ｃのそれぞれを第１のニューラルネットワークＮＮ１に入力して、画像ごとに、第１のニューラルネットワークＮＮ１を用いた演算を行う。その後、特徴マップＡと特徴マップＢとの組み合わせと、特徴マップＡと特徴マップＣとの組み合わせとのそれぞれを第２のニューラルネットワークＮＮ２に入力して、特徴マップの組み合わせで第２のニューラルネットワークＮＮ２を用いた演算を行う。

これにより、特徴マップＡと特徴マップＢとの組み合わせが入力された第２のニューラルネットワークＮＮ２から変形ベクトル場ＢＡが出力され、特徴マップＡと特徴マップＣとの組み合わせが入力された第２のニューラルネットワークＮＮ２から変形ベクトル場ＣＡが出力される。

画像Ａを基準画像として画像Ａに対して画像Ｂと画像Ｃとをそれぞれ位置合わせする場合、非特許文献１に記載の方法では、画像Ａと画像Ｂとの組み合わせ、および、画像Ａと画像Ｃとの組み合わせのそれぞれの画像ペアに対してネットワーク全体の計算をする必要がある。

これに対し、本実施形態によれば、位置合わせの基準となる画像Ａについての特徴マップＡの計算は１回実施することで、その計算結果（特徴マップＡ）を、特徴マップＢと特徴マップＣとのそれぞれと組み合わせて、第２のニューラルネットワークＮＮ２への入力とすることができ、変形ベクトル場ＢＡおよび変形ベクトル場ＣＡを求めることができる。これにより、非特許文献１に記載の方法に比べて、２画像のペアに対して計算する量を抑制することができる。

４つ以上の画像について位置合わせする場合も同様であり、本実施形態によれば、位置合わせの対象となる２画像のペアに対して必要な計算量を抑制できる。

《第２実施形態》
図４は、第２実施形態に係る位置合わせモデル１０２のネットワーク構造図である。図２で説明した構成に代えて、図４に示すネットワーク構造を採用してもよい。図４における図面の記載ルールは、図２と同様である。図４に示す位置合わせモデル１０２について、図２と異なる点を説明する。

位置合わせモデル１０２は、図２で説明したネットワーク構造を持つ第１のニューラルネットワークＮＮ１および第２のニューラルネットワークＮＮ２に代えて、図４に示すネットワーク構造を持つ第１のニューラルネットワークＮＮ１および第２のニューラルネットワークＮＮ２を備える。

図４に示す第１のニューラルネットワークＮＮ１は、図２で説明した３Ｄ Ｕ－ｎｅｔ型のネットワークにおける前半のエンコーダ部分（ダウンサンプリング部）に相当するネットワーク構造を有する。図４に示す第１のニューラルネットワークＮＮ１は、１つの画像の入力を受け付け、入力された画像から複数の特徴マップを出力する。図４に示する第１のニューラルネットワークＮＮ１から出力される特徴マップは、３２チャンネルの第１特徴マップと、６４チャンネルの第２特徴マップと、１２８チャンネルの第３特徴マップと、２５６チャンネルの第４特徴マップと、５１２チャンネルの第５特徴マップとを含む。すなわち、位置合わせモデル１０２における第１のニューラルネットワークＮＮ１は、画像Ａの入力を受けて、これら複数種類の特徴マップを含む特徴マップのセットを出力する。同様に、この第１のニューラルネットワークＮＮ１は、画像Ｂの入力を受けて、画像Ｂに対応する特徴マップのセットを出力する。

位置合わせモデル１０２における第２のニューラルネットワークＮＮ２は、非特許文献１のＦＩＧ.２に示されている３Ｄ Ｕ－ｎｅｔ型のネットワークにおける後半のデコータ部分（アップサンプリング部）に相当するネットワーク構造を有する。この第２のニューラルネットワークＮＮ２は、図４に示す第１のニューラルネットワークＮＮ１を用いて画像ごとに生成された特徴マップのセットの組み合わせの入力を受け付け、入力された特徴マップのセットの組み合わせから２画像間の変形ベクトル場を算出する。

図４に示す第２のニューラルネットワークＮＮ２は、画像Ａの特徴マップのセットと画像Ｂの特徴マップのセットとの組み合わせが入力されることにより、画像Ａと画像Ｂとの画像間の変形ベクトル場を出力する。

図示は省略するが、画像Ａに対して、画像Ｂと画像Ｃとをそれぞれ位置合わせする場合についても同様であり、画像Ｃを第１のニューラルネットワークＮＮ１に入力し、第１のニューラルネットワークＮＮ１から画像Ｃに対応する特徴マップのセットを出力させる。そして、画像Ａの特徴マップのセットと、画像Ｃの特徴マップのセットとの組み合わせを第２のニューラルネットワークＮＮ２に入力し、第２のニューラルネットワークＮＮ２から画像Ａと画像Ｃとの２画像間の変形ベクトル場を出力させる。４つ以上の画像について位置合わせする場合も同様であり、本実施形態によれば、位置合わせの対象となる複数の画像の組み合わせに対して、画像間の変形ベクトル場を求める際の計算量を抑制できる。

《第３実施形態》
図５は、第３実施形態に係る位置合わせモデル１０３のネットワーク構造図である。図２で説明した構成に代えて、図５に示すネットワーク構造を採用してもよい。図５における図面の記載ルールは図２と同様である。図５に示す位置合わせモデル１０３について、図２および図４に示す構成と異なる点を説明する。

位置合わせモデル１０３は、図２で説明したネットワーク構造を持つ第１のニューラルネットワークＮＮ１および第２のニューラルネットワークＮＮ２に代えて、図５に示すネットワーク構造を持つ第１のニューラルネットワークＮＮ１および第２のニューラルネットワークＮＮ２を備える。

図５に示す第１のニューラルネットワークＮＮ１は、図４に示す第１のニューラルネットワークＮＮ１と同様のネットワーク構造であってよい。図５に示す第１のニューラルネットワークＮＮ１は、１つの画像の入力を受け付け、入力された画像から５１２チャンネルの特徴マップを出力する。この第１のニューラルネットワークＮＮ１が出力する特徴マップの表現は、空間１×１×１である。

位置合わせモデル１０３の第１のニューラルネットワークＮＮ１は、画像Ａの入力に対して特徴マップＡを出力する。また、この第１のニューラルネットワークＮＮ１は、画像Ｂの入力に対して特徴マップＢを出力する。図５では、画像Ａを第１のニューラルネットワークＮＮ１に入力することにより第１のニューラルネットワークＮＮ１から出力される特徴マップＡと、画像Ｂを第１のニューラルネットワークＮＮ１に入力することにより第１のニューラルネットワークＮＮ１から出力される特徴マップＢとのペアが第２のニューラルネットワークＮＮ２に入力される例が示されている。

位置合わせモデル１０３における第２のニューラルネットワークＮＮ２は、入力として空間１×１×１の５１２チャンネルの特徴マップの組み合わせの入力を受け付け、これらの入力に基づき２画像間の変形ベクトル場を算出する。この第２のニューラルネットワークＮＮ２から出力される変形ベクトル場の表現は、入力と同じ空間１×１×１である。この場合の変形ベクトル場は、変形ベクトルに相当する。すなわち、特徴マップおよび変形ベクトル場の表現は、空間１×１×１の場合を含む。

図５に示す例では、特徴マップＡと特徴マップＢとの組み合わせが第２のニューラルネットワークＮＮ２に入力され、第２のニューラルネットワークＮＮ２から画像Ａと画像Ｂとの画像間の変形ベクトル場が出力される。図示は省略するが、画像Ｃを含む３つ以上の画像について位置合わせする場合も同様であり、本実施形態によれば、位置合わせの対象となる複数の画像の組み合わせに対して、画像間の変形ベクトル場を求める際の計算量を抑制できる。

《医療情報システムの構成例》
図６は、本開示の実施形態に係る画像処理装置２２０が適用される医療情報システム２００の構成例を示すブロック図である。第１実施形態から第３実施形態の各実施形態として説明した位置合わせモデル１０１、１０２または１０３は画像処理装置２２０に組み込まれる。

医療情報システム２００は、病院などの医療機関に構築されるコンピュータネットワークとして実現される。医療情報システム２００は、電子カルテシステム２０２と、ＣＴ装置２０４と、ＭＲＩ装置２０６と、画像保存サーバ２１０と、画像処理装置２２０と、ビューワ端末２３０とを含み、これらの要素は通信回線２４０を介して接続される。通信回線２４０は、医療機関内の構内通信回線であってよい。また通信回線２４０の一部は、広域通信回線を含んでもよい。医療情報システム２００の要素の一部はクラウドコンピューティングによって構成されてもよい。

図６では、モダリティの例としてＣＴ装置２０４とＭＲＩ装置２０６とを例示するが、医用画像を撮影する装置としては、ＣＴ装置２０４とＭＲＩ装置２０６とに限らず、不図示の超音波診断装置、ＰＥＴ（Positron Emission Tomography）装置、マンモグラフィ装置、Ｘ線診断装置、Ｘ線透視診断装置および内視鏡装置など様々な検査装置があり得る。通信回線２４０に接続されるモダリティの種類および台数は、医療機関ごとに様々な組み合わせがありうる。

画像保存サーバ２１０は、例えば、ＤＩＣＯＭ（Digital Imaging and Communications in Medicine）の仕様にて動作するＤＩＣＯＭサーバであってよい。画像保存サーバ２１０は、ＣＴ装置２０４およびＭＲＩ装置２０６などの各種モダリティを用いて撮影された画像を含む各種データを保存および管理するコンピュータであり、大容量外部記憶装置およびデータベース管理用プログラムを備えている。画像保存サーバ２１０は、通信回線２４０を介して他の装置と通信を行い、画像データを含む各種データを送受信する。画像保存サーバ２１０は、ＣＴ装置２０４などのモダリティによって生成された画像を含む各種データを通信回線２４０経由で受信し、大容量外部記憶装置等の記録媒体に保存して管理する。なお、画像データの格納形式および通信回線２４０経由での各装置間の通信は、ＤＩＣＯＭのプロトコルに基づいている。

例えば、ＣＴ装置２０４を用いて、ある患者について肝臓のダイナミック造影検査が行われると、撮影によって得られた非造影画像、動脈相画像、門脈相画像および平衡相画像を含む複数の画像が画像保存サーバ２１０の画像データベース２１２に保存される。

画像処理装置２２０は、通信回線２４０を介して画像保存サーバ２１０等からデータを取得することができる。画像処理装置２２０は、コンピュータのハードウェアとソフトウェアとを用いて実現できる。画像処理装置２２０の形態は特に限定されず、サーバコンピュータであってもよいし、ワークステーションであってもよく、パーソナルコンピュータあるいはタブレット端末などであってもよい。画像処理装置２２０は、入力装置２２２と表示装置２２４とを備えていてもよい。

入力装置２２２は、例えば、キーボード、マウス、マルチタッチパネル、もしくはその他のポインティングデバイス、もしくは、音声入力装置、またはこれらの適宜の組み合わせであってよい。表示装置２２４は、各種の情報が表示される出力インターフェースである。表示装置２２４は、例えば、液晶ディスプレイ、有機ＥＬ（organic electro-luminescence:ＯＥＬ）ディスプレイ、もしくは、プロジェクタ、またはこれらの適宜の組み合わせであってよい。なお、タッチパネルのように入力装置２２２と表示装置２２４とが一体的に構成されてもよい。入力装置２２２及び表示装置２２４は、画像処理装置２２０に含まれてもよく、画像処理装置２２０、入力装置２２２及び表示装置２２４が一体的に構成されてもよい。

画像処理装置２２０は、モダリティにより撮影された医用画像について画像解析その他の各種処理を行う。画像処理装置２２０は、画像間の位置合わせの処理機能の他、例えば、画像から病変領域などを認識する処理、病名などの分類を特定する処理、あるいは、臓器等の領域を認識するセグメンテーション処理など、様々なコンピュータ支援診断（Computer Aided Diagnosis, Computer Aided Detection ：ＣＡＤ）等の解析処理を行うように構成されてもよい。また、画像処理装置２２０は、読影レポートの作成を支援する処理モジュールを含んでもよい。画像処理装置２２０は、画像処理の処理結果を画像保存サーバ２１０およびビューワ端末２３０に送ることができる。なお、画像処理装置２２０の処理機能の一部または全部は、画像保存サーバ２１０に組み込まれてもよいし、ビューワ端末２３０に組み込まれてもよい。

画像保存サーバ２１０の画像データベース２１２に保存された各種データ、並びに画像処理装置２２０により生成された処理結果を含む様々な情報は、ビューワ端末２３０の表示装置２３４に表示させることができる。

ビューワ端末２３０は、ＰＡＣＳ（Picture Archiving and Communication Systems）ビューワ、あるいはＤＩＣＯＭビューワと呼ばれる画像閲覧用の端末であってよい。図６では１台のビューワ端末２３０を図示しているが、通信回線２４０には複数のビューワ端末２３０が接続され得る。ビューワ端末２３０の形態は特に限定されず、パーソナルコンピュータであってもよいし、ワークステーションであってもよく、また、タブレット端末などであってもよい。ビューワ端末２３０は、入力装置２３２と表示装置２３４とを備える。入力装置２３２および表示装置２３４は、画像処理装置２２０の入力装置２２２および表示装置２２４と同様の構成であってよい。

《画像処理装置２２０のハードウェア構成例》
図７は、画像処理装置２２０のハードウェア構成例を概略的に示すブロック図である。画像処理装置２２０は、１台または複数台のコンピュータを用いて構成されるコンピュータシステムによって実現することができる。ここでは、１台のコンピュータがプログラムを実行することにより、画像処理装置２２０の各種機能を実現する例を述べる。

画像処理装置２２０は、プロセッサ３０２と、非一時的な有体物であるコンピュータ可読媒体３０４と、通信インターフェース３０６と、入出力インターフェース３０８と、バス３１０とを含む。

プロセッサ３０２は、ＣＰＵ（Central Processing Unit）を含む。プロセッサ３０２はＧＰＵ（Graphics Processing Unit）を含んでもよい。プロセッサ３０２は、バス３１０を介してコンピュータ可読媒体３０４、通信インターフェース３０６および入出力インターフェース３０８と接続される。プロセッサ３０２は、コンピュータ可読媒体３０４に記憶された各種のプログラムおよびデータ等を読み出し、各種の処理を実行する。プログラムという用語は、プログラムモジュールの概念を含み、プログラムに準じる命令を含む。

コンピュータ可読媒体３０４は、例えば、主記憶装置であるメモリ３２２および補助記憶装置であるストレージ３２４を含む記憶装置である。ストレージ３２４は、例えば、ハードディスク（Hard Disk Drive：ＨＤＤ）装置、ソリッドステートドライブ（Solid State Drive：ＳＳＤ）装置、光ディスク、光磁気ディスク、もしくは半導体メモリ、またはこれらの適宜の組み合わせを用いて構成される。ストレージ３２４には、各種プログラムやデータ等が記憶される。

メモリ３２２は、プロセッサ３０２の作業領域として使用され、ストレージ３２４から読み出されたプログラムおよび各種のデータを一時的に記憶する記憶部として用いられる。ストレージ３２４に記憶されているプログラムがメモリ３２２にロードされ、プログラムの命令をプロセッサ３０２が実行することにより、プロセッサ３０２は、プログラムで規定される各種の処理を行う手段として機能する。メモリ３２２には、プロセッサ３０２によって実行される位置合わせ処理プログラム３３０、対応点算出プログラム３４０、性状解析プログラム３５０、表示制御プログラム３６０などのプログラムおよび各種のデータ等が記憶される。

位置合わせ処理プログラム３３０は、図２～図５を用いて説明した位置合わせモデル１０１、１０２または１０３を含む。プロセッサ３０２が位置合わせ処理プログラム３３０の命令を実行することにより、プロセッサ３０２は、特徴抽出部３３２および変形ベクトル場算出部３３４として機能する。対応点算出プログラム３４０は、変形ベクトル場算出部３３４によって算出された変形ベクトル場を用いて、対比される画像における対応点を求める処理を実行させるプログラムである。

性状解析プログラム３５０は、画像内から病変などの領域を検出して病変の性状分析を行うＣＡＤモジュールの一例である。性状解析プログラム３５０は、例えば、肝臓を撮影したダイナミック造影ＣＴ画像から肝腫瘍の性状分析を行うプログラムであってもよい。性状解析プログラム３５０は、入力された画像から目的とする性状分析の処理結果を出力するように、機械学習によって訓練された学習済みモデルを用いて構成されてよい。性状解析プログラム３５０は、変形ベクトル場算出部３３４によって算出された変形ベクトル場を用いて位置合わせされた複数時相の画像を解析し、関心領域の造影効果を表す性状所見を出力する。画像処理装置２２０は、性状解析プログラム３５０に限らず、不図示の臓器認識プログラムおよび病変検出プログラムなど、他のＣＡＤモジュールを備えていてもよい。

表示制御プログラム３６０は、表示装置２２４への表示出力に必要な表示用信号を生成し、表示装置２２４の表示制御を行う。

通信インターフェース３０６は、有線または無線により外部装置との通信処理を行い、外部装置との間で情報のやり取りを行う。画像処理装置２２０は、通信インターフェース３０６を介して通信回線２４０に接続され、画像保存サーバ２１０およびビューワ端末２３０等の装置との間でデータの受け渡しが可能である。通信インターフェース３０６は、画像等のデータの入力を受け付けるデータ取得部の役割を担うことができる。

入力装置２２２および表示装置２２４は入出力インターフェース３０８を介してバス３１０に接続される。

《適用例１》
図８は、画像処理装置２２０を用いた画像処理の適用例１の概要を示す説明図である。図８は、肝臓のダイナミック造影ＣＴ検査における関心領域（Region of Interest：ＲＯＩ）の位置合わせ処理の例を示す。ここでは、第３実施形態で説明したネットワーク構造（図５参照）を持つ位置合わせモデル１３０を用いる例を説明する。

ある患者について肝臓のダイナミック造影ＣＴ検査が行われると、ＣＴ装置２０４を用いて撮影された複数の時相の画像が画像保存サーバ２１０に保存される。読影を担当する医師は、ビューワ端末２３０を用いて各時相の画像を観察することができる。図８の最左に示す３つの画像Ａ、画像Ｂおよび画像Ｃは、造影状態が相異なるＣＴ画像の例である。画像Ａ、画像Ｂおよび画像Ｃは本開示における「医用画像」の一例である。図８では、３つの画像を示すが４つ以上の画像が存在してもよい。以下、画像処理装置２２０による処理の手順を具体例と共に説明する。

ステップ０では、いずれかの時相の画像上で注目点が指定される。医師は、ビューワ端末２３０の表示装置２３４に複数の時相の画像のうち１つ以上の画像を表示させた状態で画像を観察し、肝腫瘍などの病変の疑いのある領域を発見した場合に、その注目点を指定する入力を行うことができる。この注目点を指定する入力の操作は、入力装置２２２を用いて行うことができる。複数の時相の画像のうち、注目点が指定された画像が位置合わせの際の基準画像となる。図８では、画像Ａにおいて注目点が指定された例が示されており、画像Ａが基準画像となる。例えば、画像Ａは動脈相の画像、画像Ｂは門脈相の画像、画像Ｃは平衡相の画像であってもよい。なお、図８には示されていないが、さらに画像Ｄ（例えば、非造影画像）などが含まれていてもよい。

注目点が指定されると、画像処理装置２２０は、ステップ１として、各画像に仮の対応点を設定し、その周囲をＲＯＩ画像として切り出す処理を行う。注目点が指定された基準画像としての画像Ａについては、注目点に基づき、注目点を含むその周囲がＲＯＩ画像として切り出される。例えば、画像処理装置２２０は、注目点を中心としてその周囲の所定サイズの画像領域をＲＯＩ画像として切り出す。ＲＯＩ画像として切り出す画像サイズは、予め定められたサイズであってもよいし、任意に指定若しくは選択されるサイズであってもよい。画像Ａから切り出されたＲＯＩ画像をＲＯＩ（Ａ）と表記する。

基準画像以外の画像、例えば、画像Ｂおよび画像Ｃなどについては、画像処理装置２２０は、注目点のＤＩＣＯＭ座標を用いて、注目点に対応する仮の対応点を設定し、仮の対応点に基づき、仮の対応点を含むその周囲をＲＯＩ画像として切り出す。ここでＤＩＣＯＭ座標とは、ＤＩＣＯＭヘッダ情報に含まれるタグ番号（００２０，００３２）の「Image Position （Patient）」などから得られる位置情報を指す。画像Ｂから切り出されたＲＯＩ画像をＲＯＩ（Ｂ）と表記し、画像Ｃから切り出されたＲＯＩ画像をＲＯＩ（Ｃ）と表記する。

次に、画像処理装置２２０は、ステップ２として、ステップ１にて生成されたＲＯＩ画像の組み合わせから画像間のずれ量を算出する処理を行う。このステップ２の処理は、位置合わせモデル１３０を用いて実施される。ＲＯＩ（Ａ）を第１のニューラルネットワークＮＮ１に入力することにより、ＲＯＩ（Ａ）の特徴マップＦＭ（Ａ）が生成される。同様に、ＲＯＩ（Ｂ）とＲＯＩ（Ｃ）とのそれぞれを第１のニューラルネットワークＮＮ１に入力することにより、ＲＯＩ（Ｂ）の特徴マップＦＭ（Ｂ）とＲＯＩ（Ｃ）の特徴マップＦＭ（Ｃ）とが生成される。

第１のニューラルネットワークＮＮ１によって生成された特徴マップＦＭ（Ａ）と特徴マップＦＭ（Ｂ）との組み合わせを第２のニューラルネットワークＮＮ２に入力することにより、第２のニューラルネットワークＮＮ２の演算結果として、ＲＯＩ（Ａ）とＲＯＩ（Ｂ）との画像間の変形ベクトル場、ここでは、ずれ量を示す変形ベクトル（ｄｘＢ,ｄｙＢ,ｄｚＢ）が得られる。

同様に、第１のニューラルネットワークＮＮ１によって生成された特徴マップＦＭ（Ａ）と特徴マップＦＭ（Ｃ）との組み合わせを第２のニューラルネットワークＮＮ２に入力することにより、第２のニューラルネットワークＮＮ２の演算結果として、ＲＯＩ（Ａ）とＲＯＩ（Ｃ）との画像間のずれ量を示す変形ベクトル（ｄｘＣ,ｄｙＣ,ｄｚＣ）が得られる。このようにして、複数のＲＯＩ画像から画像間のずれ量を算出することができる。

画像処理装置２２０は、位置合わせモデル１０３を用いて算出されたずれ量を使って様々なオプション処理を行うことができる。例えば、図８に示すステップ３では、ずれ量を使って注目点に対応する対応点を求めて、注目点と対応点の位置を揃えて画像を表示する。表示の態様としては、例えば、各画像を表示しているウィンドウの中心に、各画像の注目点又は対応点が一致するように表示する。

画像処理装置２２０は、ＲＯＩ（Ａ）とＲＯＩ（Ｂ）との画像間のずれ量を示す変形ベクトルを基に、画像Ｂにおける注目点の対応点ＣＰ（Ｂ）を算出し、画像Ａの表示ウィンドウの中心に注目点が一致するように画像Ａを表示させ、画像Ｂの表示ウィンドウの中心に対応点ＣＰ（Ｂ）が一致するように画像Ｂを表示させることができる。同様に、画像処理装置２２０は、ＲＯＩ（Ａ）とＲＯＩ（Ｃ）との画像間のずれ量を示す変形ベクトルを基に、画像Ｃにおける注目点の対応点ＣＰ（Ｃ）を算出し、対応点ＣＰ（Ｃ）が画像Ｃの表示ウィンドウの中心に一致するように、画像Ｃを表示させることができる。

このように注目点と対応点の位置を揃えて画像を表示させる処理に限らず、画像処理装置２２０は、図８のように、各画像上に対応点の位置を示すアノテーションを表示させる処理を行ってもよい。

例えば、画像処理装置２２０は、ＲＯＩ（Ａ）とＲＯＩ（Ｂ）との画像間のずれ量を示す変形ベクトルを基に、画像Ｂにおける注目点の対応点ＣＰ（Ｂ）を算出し、画像Ｂの画像上に対応点ＣＰ（Ｂ）を示すマークなどの位置を示す情報を重畳表示させることができる。また、画像処理装置２２０は、ＲＯＩ（Ａ）とＲＯＩ（Ｃ）との画像間のずれ量を示す変形ベクトルを基に、画像Ｂにおける注目点の対応点ＣＰ（Ｃ）を算出し、画像Ｃの画像上に対応点ＣＰ（Ｃ）を示すマークなどの位置を示す情報を重畳表示させることができる。このような対応点の算出及び表示の処理は、対応点算出プログラム３４０を用いて実施される。

また、画像処理装置２２０は、ステップ３の処理に代えて、または、ステップ３の処理に追加して、ステップ４として、ずれ量を使って位置を揃えた複数の画像の関心領域（ＲＯＩ）を画像解析して、造影効果を表す性状所見を出力する処理を行ってもよい。性状所見には、例えば、早期濃染、ウォッシュアウト（washout）など複数の時相に関わる造影効果の分類が含まれてよい。画像処理装置２２０は、入力された複数時相の画像から性状所見の分類を出力するように機械学習によって訓練された学習済みモデルを用いて画像解析を行う構成であってもよい。このような性状分析の処理は、性状解析プログラム３５０を用いて実施される。

図９は、図８に示す肝臓のダイナミック造影ＣＴ検査におけるＲＯＩの位置合わせ処理のフローチャートである。ステップＳ１０１において、画像処理装置２２０のプロセッサ３０２は、複数時相の画像群のうち、いずれかの時相の画像内の注目点の指定を受け付ける。

注目点が指定されると、ステップＳ１０２において、プロセッサ３０２は、注目点が指定された基準画像以外の他の画像に仮の対応点を設定し、各画像から注目点または仮の対応点の周囲をＲＯＩ画像として切り出す。

次に、ステップＳ１０３において、プロセッサ３０２は、位置合わせモデル１０３を用いてＲＯＩ画像の組み合わせからずれ量を算出する。

そして、ステップＳ１０４において、プロセッサ３０２は、算出したずれ量を使って基準画像以外の画像について注目点に対応する対応点を求め、注目点と対応点の位置を揃えて画像を表示させる。また、プロセッサ３０２は、画像と共に対応点の位置を示す情報を表示させてもよい。ステップＳ１０４の後、プロセッサ３０２は、図９のフローチャートを終了する。なお、プロセッサ３０２は、ステップＳ１０４の後に、ステップＳ１０１に戻り、注目点の指定の入力に応じてステップＳ１０１～ステップＳ１０４を繰り返し実施してもよい。

図１０は、図９のステップＳ１０３に適用されるサブルーチンの例を示すフローチャートである。ステップＳ１１１において、プロセッサ３０２は、複数時相の各画像から切り出したＲＯＩ画像のそれぞれを第１のニューラルネットワークＮＮ１に入力し、各ＲＯＩ画像の特徴マップを生成する。

ステップＳ１１２において、プロセッサ３０２は、ＲＯＩ（Ａ）から生成された特徴マップＦＭ（Ａ）とＲＯＩ（Ｂ）から生成された特徴マップＦＭ（Ｂ）とのペアを第２のニューラルネットワークＮＮ２に入力し、ＲＯＩ（Ａ）とＲＯＩ（Ｂ）との画像間のずれ量ｄｆＢを算出する。

同様に、ステップＳ１１３において、プロセッサ３０２は、ＲＯＩ（Ａ）から生成された特徴マップＦＭ（Ａ）とＲＯＩ（Ｃ）から生成された特徴マップＦＭ（Ｃ）とのペアを第２のニューラルネットワークＮＮ２に入力し、ＲＯＩ（Ａ）とＲＯＩ（Ｃ）との画像間のずれ量ｄｆＣを算出する。図１０に示さないが、画像Ｄを含む場合は、同様に、プロセッサ３０２は、ＲＯＩ（Ａ）から生成された特徴マップＦＭ（Ａ）とＲＯＩ（Ｄ）から生成された特徴マップＦＭ（Ｄ）とのペアを第２のニューラルネットワークＮＮ２に入力し、ＲＯＩ（Ａ）とＲＯＩ（Ｄ）との画像間のずれ量ｄｆＤを算出する。

ステップＳ１１３の後、プロセッサ３０２は、図１０のフローチャートを終了し、図９のフローチャートに復帰する。

[肝腫瘍の性状分析と所見文生成]
画像処理装置２２０が実施し得るさらなるオプション処理（ステップ４）として、画像処理装置２２０は、関心領域について複数の画像を対比することによって造影効果の性状を解析し、解析結果を基に読影レポートに記載する所見文を生成して提示する処理を実施してもよい。関心領域の性状（特徴）を表す複数の所見から所見文を生成する技術は、例えば、国際公開ＷＯ２０２０／２０９３８２号に記載されている技術を適用できる。

画像処理装置２２０によれば、複数時相の画像のうち、例えば動脈相の画像上で腫瘍の位置が指定（クリック）されると、この指定された腫瘍の位置を基準にしてＲＯＩの切り出しと、各時相の画像の位置合わせが行われ、複数時相のＲＯＩ画像を基に、指定された腫瘍に対する性状分析が行われる。画像解析に基づく性状分析の結果、例えば、「境界：明瞭」、「辺縁：平滑」、「早期濃染：＋」、「washout：＋」、「造影効果：不均一」、「遅延性：－」、「辺縁部濃染：－」、「リング状：－」、「被膜形成：＋」、「脂肪変性：＋」、「場所：Ｓ８」、「大きさ：４２ｍｍ」などのような分析結果が得られる。

所見文生成プログラムは、性状分析によって得られた分析結果の情報の中から、読影レポートに記載すべき情報を取捨選択し、所見文の候補を自動生成する。所見文生成プログラムが組み込まれた画像処理装置２２０は、例えば、上記に例示の分析結果の情報を基に、「Ｓ８に４２ｍｍ大の辺縁平滑で明瞭な腫瘤を認めます。不均一な早期濃染を認め、washoutを伴います。被膜様構造も見られます。脂肪成分も認められます。」という所見文を生成し得る。このような所見文を生成する処理は、例えば、トランスフォーマ（Transformer）に代表されるニューラルネットワークのアーキテクチャを用いた機械学習モデルを用いて実現される。

［位置合わせモデルを生成するための学習方法の例］
ここで、位置合わせモデル１３２を生成するための学習方法の例を説明する。図１１および図１２に、本実施形態に適用される機械学習装置４００による学習方法の概要を示す。図１１は、訓練用のデータを生成する処理部（以下、訓練用データ生成部という。）の構成を示しており、図１２は、生成された訓練用のデータを用いて学習モデルを訓練する処理部（以下、学習処理部という。）の構成を示している。「訓練」は学習と同義である。

通常、ＣＴ装置２０４などのモダリティを用いて実際に撮影される複数時相の画像の場合、造影状態が相異なる２画像間の正解の変形ベクトル場は特定されておらず、対比される２画像間の正解の変形ベクトル場を求めることは難しい。このため、機械学習に必要な大量の訓練用のデータを実際の画像だけで用意することは困難である。

そこで、本実施形態の位置合わせモデル１３０の学習方法においては、実際に撮影された画像を基に、人工的に訓練用の画像のペアを生成し、そのペアの生成の際に用いた変形変換を規定する変形ベクトル場を正解の教師信号として利用する。このようなデータ拡張（Data Augmentation）の手法については、非特許文献１に記載されている方法と同様の方法を適用し得る。

図１１に示すように、機械学習装置４００における訓練用データ生成部は、クロップ処理部４０２と、データ拡張変換部４０４、４０５と、ランダム変形処理部４０６とを含む。機械学習装置４００は、コンピュータのハードウェアとソフトウェアとの組み合わせによって実現できる。

クロップ処理部４０２は、実際に撮影された３次元画像であるオリジナルの訓練画像ＴＩから一部の画像領域を切り出して所定のサイズにリサイズする処理を行う。クロップ処理部４０２による切り出し位置はランダムに変更されてよい。データ拡張変換部４０４は、クロップ処理部４０２によって切り出されたクロップ画像ＴＩ（ｘ）に対して、既知の変形変換を適用してデータ拡張の画像変換を行い、人工的な拡張訓練画像ＴＩａ（ｘ）を生成する。

データ拡張変換部４０５は、データ拡張変換部４０４と同じ変形関数を適用して画像変換を行う。図１１では、データ拡張変換部４０４とデータ拡張変換部４０５とを別々の処理部として図示しているが、両者は同じものであり、データ拡張変換部４０４によって生成された拡張訓練画像ＴＩａ（ｘ）をランダム変形処理部４０６に入力される構成であってもよい。

ランダム変形処理部４０６は、予め定められた制約範囲内でランダムに生成される変形ベクトル場Ｕ（ｘ）を用いて画像変形を行う。ここでの「制約範囲」には、例えば、変形に適用するアルゴリズムの種類、変形量、変形させる領域範囲などの各種変形パラメータの数値範囲などが含まれる。ランダム変形処理部４０６は、データ拡張変換部４０４によって生成される拡張訓練画像ＴＩａ（ｘ）に対して変形ベクトル場Ｕ（ｘ）を用い、人工的に変形させた拡張変形訓練画像ＴＩｄ（ｘ）を生成する。ランダム変形処理部４０６によって行われる３次元のランダム変形は、剛体変形と非剛体変形との組み合わせであってよい。ランダム変形処理部４０６における変形を規定する変形ベクトル場Ｕ（ｘ）は本開示における「変形場」の一例である。なお、図１１では、データ拡張変換部４０５とランダム変形処理部４０６とを分けて図示しているが、これらの処理をまとめてデータ拡張変換とランダム変形とを一括して行う変換処理部として構成してもよい。

こうして、１つの訓練画像ＴＩから拡張訓練画像ＴＩａ（ｘ）と拡張変形訓練画像ＴＩｄ（ｘ）とのペアと、これらの画像間の正解の変形ベクトル場Ｕ（ｘ）とを含む訓練用のデータを生成することができる。クロップ処理部４０２による切り出し位置、データ拡張変換部４０４、４０５に適用する変換関数、およびランダム変形処理部４０６に適用する変形ベクトル場Ｕ（ｘ）の組み合わせを異ならせることにより、１つの訓練画像ＴＩから複数の訓練用のデータを生成することができる。複数の訓練画像ＴＩを含む学習画像セットを用意して、それぞれの訓練画像ＴＩについて図１１に示す処理を適用することで、機械学習に必要な多数の訓練用のデータを含むデータセットを得ることができる。

なお、図１１に示すクロップ処理部４０２を省略する形態、もしくはデータ拡張変換部４０４、４０５を省略する形態、またはクロップ処理部４０２およびデータ拡張変換部４０４、４０５を省略する形態も可能であり、いずれの形態であっても、訓練画像ＴＩに対してランダム変形処理部４０６の処理を適用することにより、変形前の画像と変形後の画像とのペアを得ることができる。

機械学習装置４００は、学習処理中にオンザフライ方式で訓練用のデータを生成してもよいし、学習処理に先だって予め訓練用のデータを生成して、訓練に必要なデータセットを整えておいてもよい。

機械学習装置４００は、図１２に示すように、学習モデル４１０とオプティマイザ４２０とを含む。位置合わせモデル１３０を生成する場合、学習モデル４１０のネットワーク構造は、図５で説明したネットワーク構造と同様の構成である。

拡張訓練画像ＴＩａ（ｘ）と拡張変形訓練画像ＴＩｄ（ｘ）とのそれぞれは学習モデル４１０の第１のニューラルネットワークＮＮ１に入力され、それぞれの特徴マップが第２のニューラルネットワークＮＮ２に入力されることにより、第２のニューラルネットワークＮＮ２から変形ベクトル場ｕ（ｘ）が出力される。図５で説明したネットワーク構造を有する学習モデル４１０の場合、変形ベクトル場ｕ（ｘ）の表現は空間１×１×１である。

オプティマイザ４２０は、学習モデル４１０が出力する変形ベクトル場ｕ（ｘ）が正解の変形ベクトル場Ｕ（ｘ）に近づくように、学習モデル４１０の出力と、教師信号との誤差を示す損失の演算結果に基づき、学習モデル４１０のパラメータの更新量を決定し、学習モデル４１０のパラメータの更新処理を行う。オプティマイザ４２０は、勾配降下法などのアルゴリズムに基づきパラメータの更新を行う。なお、学習モデル４１０のパラメータは、ニューラルネットワークの各層の処理に用いるフィルタのフィルタ係数（ノード間の結合の重み）およびノードのバイアスなどを含む。機械学習装置４００は、複数の訓練用のデータをまとめたミニバッチの単位でデータの取得とパラメータの更新とを実施してもよい。

こうして、多数の訓練用のデータを用いて学習処理が行われることにより、学習モデル４１０のパラメータが最適化され、目的の性能を持つ位置合わせモデル１３０が生成される。

図１３は、位置合わせモデル１３０の学習フェーズを概略的に示す説明図である。図１３の左上段に示す画像ＩＭ１ｃと画像ＩＭ１ａは、訓練用の３次元画像である画像ＴＩ１の断面を表しており、画像ＩＭ１ｃはコロナル画像、画像ＩＭ１ａは画像ＩＭ１ｃのＡ－Ａ線における断面の画像（アキシャル画像）である。画像ＩＭ１ａおよび画像ＩＭ１ｃ内に示す矩形枠ＢＢ１は、訓練用の画像ＴＩ１からランダムに切り出されるＲＯＩを表している。画像ＩＭ１ａおよび画像ＩＭ１ｃ内に示す「×」印は、注目点に相当する位置を表している。

この訓練用の画像ＴＩ１に対して３次元のランダム変形を施すことにより、訓練の画像ＴＩ２が生成される。図１３の左下段に示す画像ＩＭ２ｃと画像ＩＭ２ａは、訓練用の画像ＴＩ２を表しており、画像ＩＭ２ｃはコロナル画像、画像ＩＭ２ａはアキシャル画像である。画像ＩＭ２ａは、画像ＩＭ２ｃのＡ－Ａ線における断面の画像である。画像ＩＭ２ａおよび画像ＩＭ２ｃ内に示す矩形枠ＢＢ２は、画像ＴＩ２から切り出されるＲＯＩを表している。矩形枠ＢＢ２の位置は、矩形枠ＢＢ１の位置に対応する位置である。

画像ＴＩ１および画像ＴＩ２のそれぞれからランダムに切り出されたＲＯＩは、学習モデル４１０の第１のニューラルネットワークＮＮ１に入力され、ＲＯＩごとに第１のニューラルネットワークＮＮ１の処理が実行される。各ＲＯＩを処理する第１のニューラルネットワークＮＮ１の出力は第２のニューラルネットワークＮＮ２の入力に接続されており、各ＲＯＩの特徴マップＦＭ１、ＦＭ２の組み合わせが第２のニューラルネットワークＮＮ２に入力されることにより、第２のニューラルネットワークＮＮ２からＲＯＩ間の３次元の変形量（ずれ量）を示すベクトル（ｄｘ,ｄｙ,ｄｚ）が出力される。

学習モデル４１０から出力される変形量と、教師信号である正解変形量（ｇｔ_ｄｘ，ｇｔ_ｄｙ，ｇｔ_ｄｙ）との差に基づいて、学習モデル４１０のパラメータが更新される。なお、正解変形量（ｇｔ_ｄｘ，ｇｔ_ｄｙ，ｇｔ_ｄｙ）は、３次元のランダム変形の処理に適用した変換関数に相当する変形ベクトル場から算出することができる。

《適用例２》
本開示の画像間の位置合わせ技術は、ダイナミック造影検査の複数時相の画像間の位置合わせに限らず、様々な用途に適用できる。

図１４は、画像処理装置２２０を用いた画像処理の適用例２の概要を示す説明図である。図１４は、肝臓検査画像の経時比較のための位置合わせ処理の例を示す。ここでは、第１実施形態で説明した位置合わせモデル１０１（図２参照）と同様のネットワーク構造を有する位置合わせモデル１３２を用いる例を説明するが、位置合わせモデル１３２は、第２実施形態で説明した位置合わせモデル１０２（図４参照）と同様のネットワーク構造であってもよい。

ある患者について肝臓のＣＴ検査が行われると、ＣＴ装置１０４を用いて撮影された画像が画像保存サーバ２１０に保存される。同じ患者について検査する日（時期）を変えて複数回の検査を行い、検査日の異なる複数の検査画像を比較することにより、状態の変化を観察する場合がある。このような経時比較に有益な方法の１つとして、検査画像を保存する際に、位置合わせモデル１３２の第１のニューラルネットワークＮＮ１を用いて、検査画像の特徴マップを生成し、検査画像と共にその特徴マップを画像保存サーバ２１０に保存してもよい。以下、画像処理装置２２０による処理の手順を具体例と共に説明する。

ステップ０として、画像処理装置２２０は、検査の実施によって得られた画像について、例えば、肝臓などの臓器やその他のランドマークを検出して、おおまかに画像の位置を揃える。図１４の最左に示す画像Ａは、今回の検査によって得られた最新の画像であり、患者の現在の状態を表すものである。本例においては、この最新の画像Ａが位置合わせの基準画像となる。画像Ａの下に示した画像Ｂと画像Ｃとのそれぞれは、同じ患者の過去に撮影された画像を表しており、それぞれの撮影時期（検査日）は異なる。図１４に示す画像Ａ、画像Ｂおよび画像Ｃは本開示における「撮影された日が相異なる画像」の一例である。なお、図１４には示されていないが、さらに、画像Ｄなど１つ以上の過去画像が含まれていてもよい。

ステップ０の処理は、次のステップ１の前処理として実施することが好ましい処理であるが、必須の処理というわけではなく、実施の有無を選択できるオプションの処理である。

画像処理装置２２０は、ステップ１として、検査の実施によって得られた各画像に第１のニューラルネットワークＮＮ１を適用して、第１のニューラルネットワークＮＮ１の処理結果としての特徴マップを生成し、画像と紐付けてそれぞれの特徴マップを画像保存サーバ２１０に保存する。図１４では、画像Ａ、画像Ｂ、画像Ｃの各画像について第１のニューラルネットワークＮＮ１を適用する処理が並列に図示されているが、これらの処理は、検査によって各画像が取得されたタイミングで行われ、処理の時期は異なる。

その後、読影の際に、画像処理装置２２０は、画像保存サーバ２１０から比較対象の画像と、その画像についての第１のニューラルネットワークＮＮ１の処理結果である特徴とを読み出し、比較対象の２画像の特徴マップのペアに第２のニューラルネットワークＮＮ２を適用する。画像Ａの特徴マップＦＭ（Ａ）と画像Ｂの特徴マップＦＭ（Ｂ）とのペアが第２のニューラルネットワークＮＮ２に入力されることにより、第２のニューラルネットワークＮＮ２から画像Ａと画像Ｂとの画像間のずれ量マップＢに相当する変形ベクトル場ＤＶｆ（Ｂ）が出力される。

また、画像Ａの特徴マップＦＭ（Ａ）と画像Ｃの特徴マップＦＭ（Ｃ）とのペアが第２のニューラルネットワークＮＮ２に入力されることにより、第２のニューラルネットワークＮＮ２から画像Ａと画像Ｃとの画像間のずれ量マップＣに相当する変形ベクトル場ＤＶｆ（Ｃ）が出力される。

画像処理装置２２０は、位置合わせモデル１３２を用いて算出されたずれ量マップを使って様々なオプション処理を行うことができる。例えば、図１４に示すように、ステップ３として、画像処理装置２２０は、読影の際に注目点の指定を受け付け、注目点が指定されると、ずれ量マップを参照して、過去の各画像について注目点に対応する対応点を求めて、注目点と対応点の位置を揃えて画像を表示させる処理を行う。例えば、現在画像と過去画像とのそれぞれの画像を表示しているウィンドウの中心に、各画像の注目点又は対応点が一致するように表示させる。また、図１４のように、過去画像と共に対応点の位置を示す情報（アノテーション）を表示させてもよい。

図１５および図１６は、図１４に示す経時比較に適用される位置合わせ処理のフローチャートである。図１５は画像保存時の処理の例を示すフローチャートであり、図１６は読影時の処理の例を示すフローチャートである。

図１５のステップＳ２０１において、画像処理装置２２０のプロセッサ３０２は、検査画像を取得する。プロセッサ３０２は、ＣＴ装置１０４などのモダリティから最新の検査画像を取得してもよいし、画像保存サーバ２１０から検査画像を取得してもよい。

ステップＳ２０２において、プロセッサ３０２は、取得した画像から肝臓などの臓器その他のランドマークを検出して、検出したランドマークの情報を基に観察対象の領域を含む関心領域のおおまかな位置を特定する。

次いで、ステップＳ２０３において、プロセッサ３０２は、取得した画像を第１のニューラルネットワークＮＮ１に入力し、特徴マップを生成する。そして、ステップＳ２０４において、プロセッサ３０２は、取得した画像と第１のニューラルネットワークＮＮ１の処理結果としての特徴マップとを紐付けて画像保存サーバ２１０に保存する。ステップＳ２０４の後、プロセッサ３０２は、図１５のフローチャートを終了する。

検査の実施によって新たな検査画像が撮影される都度、図１５のフローチャートが実施され、各検査画像について予め第１のニューラルネットワークＮＮ１の処理結果が検査画像と紐付けて保存される。

読影の際には、図１６のフローチャートが実施される。ステップＳ２１１において、画像処理装置２２０のプロセッサ３０２は、ビューワ端末２３０からの指示に従い、画像保存サーバ２１０から対象画像とその特徴マップとを読み出す。そして、ステップＳ２１２において、プロセッサ３０２は、比較する複数の画像の特徴マップの各ペアを第２のニューラルネットワークＮＮ２に入力する。

ステップＳ２１３において、プロセッサ３０２は、第２のニューラルネットワークＮＮ２を用いた処理を実行し、画像間のずれ量マップ（すなわち、変形ベクトル場）を生成する。生成された各画像間のずれ量マップは、画像処理装置２２０内に保存してもよいし、画像保存サーバ２１０に保存してもよい。

ステップＳ２１４において、プロセッサ３０２は、注目点の指定を受け付ける。ビューワ端末２３０から注目点の指定が入力されると、その指定情報がプロセッサ３０２に送られる。

注目点が指定されると、ステップＳ２１５において、プロセッサ３０２は、ずれ量マップを参照して、過去画像における注目点に対応する対応点を求め、注目点と対応点の位置を揃えて画像を表示させる。プロセッサ３０２は、過去画像と共に対応点の位置を示す情報を表示させてもよい。

ステップＳ２１５の後、プロセッサ３０２は、図１６のフローチャートを終了する。なお、プロセッサ３０２は、ステップＳ２１５の後に、ステップＳ２１１に戻り、注目点の指定の入力に応じてステップＳ２１１～ステップＳ２１５を繰り返し実施してもよい。

図１４～図１６で説明したように、位置合わせモデル１３２における第１のニューラルネットワークＮＮ１を用いる処理と、第２のニューラルネットワークＮＮ２を用いる処理とは、別々の時期に実施されてよい。第１のニューラルネットワークＮＮ１と第２のニューラルネットワークＮＮ２とのそれぞれは別々に演算可能な個別の処理モジュールとして構成し得る。第１のニューラルネットワークＮＮ１を用いた処理を行う装置と、第２のニューラルネットワークＮＮ２を用いた処理を行う装置とを別々の装置として構成するシステムの形態も可能である。

［位置合わせモデル１３２を生成するための学習方法の例］
図１７は、図１６に示す経時比較に適用される位置合わせモデル１３２の学習フェーズを概略的に示す説明図である。図１７において、図１３と共通する要素には同一の符号を付し、重複する説明は省略する。位置合わせモデル１３２を生成する場合の学習モデル４１２のネットワーク構造は、図２または図４に示すネットワーク構造となる。

訓練用の画像ＴＩ１に対して３次元のランダム変形を施すことにより、訓練の画像ＴＩ２が生成される。訓練用の画像ＴＩ１、ＴＩ２のそれぞれが学習モデル４１２の第１のニューラルネットワークＮＮ１に入力され、画像ごとに第１のニューラルネットワークＮＮ１の処理が実行される。各画像を処理する第１のニューラルネットワークＮＮ１の出力は第２のニューラルネットワークＮＮ２の入力に接続されており、各画像から生成された特徴マップＦＭ１、ＦＭ２の組み合わせが第２のニューラルネットワークＮＮ２に入力されることにより、第２のニューラルネットワークＮＮ２から画像間の変形ベクトル場が出力される。

学習モデル４１２から出力される変形ベクトル場と、教師信号である正解変形ベクトル場との差に基づいて、学習モデル４１２のパラメータが更新される。なお、正解変形ベクトル場は、３次元のランダム変形の処理に適用した変形変換の関数に相当する変形ベクトル場である。

《適用例３》
図１８は、画像処理装置２２０を用いた画像処理の適用例３の概要を示す説明図である。本開示の画像間の位置合わせ技術は、異なるモダリティの画像間の比較に応用することができる。図１８は、異種モダリティ間の画像比較のための位置合わせ処理の例を示す。ここでは、第１実施形態で説明した位置合わせモデル１０１（図２参照）と同様のネットワーク構造を持つ位置合わせモデル１３３を用いる例を説明するが、位置合わせモデル１３３は、第２実施形態で説明した位置合わせモデル１０２（図４参照）と同様のネットワーク構造であってもよい。図１８は、図１７で説明した経時比較の処理の仕組みを、異種モダリティの画像間の比較に適用したものである。

図１８に示す処理対象の画像Ａは、例えば、ＣＴ画像であり、画像ＢはＭＲＩ装置２０６を用いて撮影されたＴ１強調画像、画像ＣはＴ２強調画像などであってよい。異なるモダリティの画像Ａ、画像Ｂおよび画像Ｃのそれぞれは、同じ患者の画像であり、それぞれの画像の撮影時期（検査日）は同じ検査日であってもよいし、異なる検査日であってもよい。図１８に示す画像Ａ、画像Ｂおよび画像Ｃのそれぞれは本開示における「モダリティが相異なる画像」の一例である。図１８には示されていないが、さらに、画像Ｄなど１つ以上の他のモダリティ画像が含まれていてもよい。

ステップ０として、画像処理装置２２０は、検査の実施によって得られた画像について、例えば、肝臓などの臓器やその他のランドマークを検出して、おおまかに画像の位置を揃える。

画像処理装置２２０は、ステップ１として、各画像に位置合わせモデル１３３の第１のニューラルネットワークＮＮ１を適用して、第１のニューラルネットワークＮＮ１の処理結果としての特徴マップを生成する。

ステップ０およびステップ１の処理は、図１４の例と同様に、画像保存時に実施されてもよいし、読影時に実施されてもよい。

ステップ１の後、画像処理装置２２０は、比較対象の２画像の特徴マップの各ペアに第２のニューラルネットワークＮＮ２を適用する。画像Ａの特徴マップＦＭ（Ａ）と画像Ｂの特徴マップＦＭ（Ｂ）とのペアが第２のニューラルネットワークＮＮ２に入力されることにより、第２のニューラルネットワークＮＮ２から画像Ａと画像Ｂとの画像間のずれ量マップＢに相当する変形ベクトル場ＤＶｆ（Ｂ）が出力される。

また、画像Ａの特徴マップＦＭ（Ａ）と画像Ｃの特徴マップＦＭ（Ｃ）とのペアが第２のニューラルネットワークＮＮ２に入力されることにより、第２のニューラルネットワークＮＮ２から画像Ａと画像Ｃとの画像間のずれ量マップＣに相当する変形ベクトル場ＤＶｆ（Ｃ）が出力される。

画像処理装置２２０は、位置合わせモデル１３３を用いて算出されたずれ量マップを使って様々なオプション処理を行うことができる。例えば、図１８に示すように、ステップ３として、画像処理装置２２０は、読影の際に注目点の指定を受け付け、注目点が指定されると、ずれ量マップを参照して、異なるモダリティの各画像について注目点に対応する対応点を求めて、注目点と対応点の位置を揃えて画像を表示させる処理を行う。また、画像処理装置２２０は、各画像上に対応点の位置を示すアノテーションを表示させる処理を行ってもよい。

［位置合わせモデル１３３を生成するための学習方法の例］
図１９は、図１８に示すモダリティ間の画像比較に適用される位置合わせモデル１３３の学習フェーズを概略的に示す説明図である。位置合わせモデル１３３を生成する場合の学習モデル４１３のネットワーク構造は、図２または図４に示すネットワーク構造である。

学習に際しては、ＣＴ画像、ＭＲＩ（Ｔ１強調）画像およびＭＲＩ（Ｔ２強調）画像など、複数のモダリティの画像を混在させた学習画像セットを用いる。図１９に示す画像ＩＭ１は、学習画像セットの中から選択された画像であり、３次元のランダム変形を施す前の画像である。

この画像ＩＭ１に対して、３次元のランダム変形が施され、変形後の画像ＩＭ２が生成される。３次元のランダム変形は、剛体変形と非剛体変形とを組み合わせた変形の処理であってよい。

こうして得られた画像ＩＭ１、ＩＭ２のそれぞれが学習モデル４１３の第１のニューラルネットワークＮＮ１に入力され、画像ごとに第１のニューラルネットワークＮＮ１の処理が実行される。第１のニューラルネットワークＮＮ１によって各画像から生成された特徴マップＦＭ１、ＦＭ２の組み合わせが第２のニューラルネットワークＮＮ２に入力されることにより、第２のニューラルネットワークＮＮ２から画像間の変形ベクトル場が出力される。

学習モデル４１３から出力される変形ベクトル場と、教師信号である正解変形ベクトル場との差に基づいて、学習モデル４１３のパラメータが更新される。これにより、第１のニューラルネットワークＮＮ１は、画像種によらず、入力された画像から位置合わせに適した特徴を抽出するように学習がなされる。

《コンピュータを動作させるプログラムについて》
画像処理装置２２０における処理機能の一部または全部をコンピュータに実現させるプログラムを、光ディスク、磁気ディスク、もしくは、半導体メモリその他の有体物たる非一時的な情報記憶媒体であるコンピュータ可読媒体に記録し、この情報記憶媒体を通じてプログラムを提供することが可能である。

またこのような有体物たる非一時的なコンピュータ可読媒体にプログラムを記憶させて提供する態様に代えて、インターネットなどの電気通信回線を利用してプログラム信号をダウンロードサービスとして提供することも可能である。

さらに、画像処理装置２２０における処理機能の一部または全部をクラウドコンピューティングによって実現してもよく、また、ＳａａＳ（Software as a Service）サービスとして提供することも可能である。

《各処理部のハードウェア構成について》
画像処理装置２２０における位置合わせ処理部１１０、特徴抽出部１１１、３３２、変形ベクトル場算出部１１２、３３４、並びに機械学習装置４００におけるクロップ処理部４０２、データ拡張変換部４０４、４０５、およびランダム変形処理部４０６などの各種の処理を実行する処理部（processing unit）のハードウェア的な構造は、例えば、次に示すような各種のプロセッサ（processor）である。

各種のプロセッサには、プログラムを実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ、画像処理に特化したプロセッサであるＧＰＵ、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。

１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種または異種の２つ以上のプロセッサで構成されてもよい。例えば、１つの処理部は、複数のＦＰＧＡ、あるいは、ＣＰＵとＦＰＧＡの組み合わせ、またはＣＰＵとＧＰＵの組み合わせによって構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第一に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第二に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。

さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。

《本開示の実施形態による利点》
第１実施形態から第３実施形態の各実施形態および適用例１から適用例３の各適用例として説明した形態によれば、第１のニューラルネットワークＮＮ１を用いて１画像単位で特徴マップが生成され、異なる画像の特徴マップの組み合わせを第２のニューラルネットワークＮＮ２に入力して画像間の変形ベクトル場を算出する構成となっているため、画像間での位置合わせを行う際に必要になる計算リソース（計算量および／または記憶容量）を抑制することができる。特に、３つ以上の画像について、そのうちの１つを基準画像とし、他の画像との画像間の位置合わせを行う場合に、基準画像の特徴マップは、他の画像との組み合わせに対して共通に利用できるため、計算量の抑制効果が大きい。

《他の応用例》
上述の実施形態では、医用画像を例に説明したが、本開示の適用範囲は医用画像に限らず、用途を問わず、各種の画像に適用できる。また、上述の実施形態では、３次元画像を扱う例を説明したが、本開示の技術は２次元画像についても適用できる。扱う画像が２次元画像である場合、第１のニューラルネットワークＮＮ１及び第２のニューラルネットワークＮＮ２について２次元画像の処理を行うネットワーク構造を採用すればよい。

《その他》
本開示は上述した実施形態に限定されるものではなく、本開示の技術的思想の趣旨を逸脱しない範囲で種々の変形が可能である。

１０，１０１，１０２，１０３ 位置合わせモデル
１１０ 位置合わせ処理部
１１１ 特徴抽出部
１１２ 変形ベクトル場算出部
１３０，１３２，１３３ 位置合わせモデル
２００ 医療情報システム
２０２ 電子カルテシステム
２０４ ＣＴ装置
２０６ ＭＲＩ装置
２１０ 画像保存サーバ
２１２ 画像データベース
２２０ 画像処理装置
２２２ 入力装置
２２４ 表示装置
２３０ ビューワ端末
２３２ 入力装置
２３４ 表示装置
２４０ 通信回線
３０２ プロセッサ
３０４ コンピュータ可読媒体
３０６ 通信インターフェース
３０８ 入出力インターフェース
３１０ バス
３２２ メモリ
３２４ ストレージ
３３０ 位置合わせ処理プログラム
３３２ 特徴抽出部
３３４ 変形ベクトル場算出部
３４０ 対応点算出プログラム
３５０ 性状解析プログラム
３６０ 表示制御プログラム
４００ 機械学習装置
４０２ クロップ処理部
４０４，４０５ データ拡張変換部
４０６ ランダム変形処理部
４１０，４１２，４１３ 学習モデル
４２０ オプティマイザ
ＮＮ１ 第１のニューラルネットワーク
ＮＮ２ 第２のニューラルネットワーク
ＢＢ１，ＢＢ２ 矩形枠
ＲＯＩ（Ａ），ＲＯＩ（Ｂ），ＲＯＩ（Ｃ） ＲＯＩ画像
ＦＭ（Ａ），ＦＭ（Ｂ），ＦＭ（Ｃ） 特徴マップ
ＣＰ（Ｂ），ＣＰ（Ｃ） 対応点
ＴＩ 訓練画像
ＴＩ（ｘ） クロップ画像
ＴＩａ（ｘ） 拡張訓練画像
ＴＩｄ（ｘ） 拡張変形訓練画像
ＴＩ１，ＴＩ２ 画像
ＩＭ１，ＩＭ１ａ，ＩＭ１ｃ 画像
ＩＭ２，ＩＭ２ａ，ＩＭ２ｃ 画像
ＦＭ１，ＦＭ２ 特徴マップ
ＤＶｆ（Ｂ），ＤＶｆ（Ｃ） 変形ベクトル場
Ｓ１０１～Ｓ１０４ 関心領域の位置合わせ処理のステップ
Ｓ１１１～Ｓ１１３ ＲＯＩ画像間のずれ量を算出する処理のステップ
Ｓ２０１～Ｓ２０４ 画像保存時の処理のステップ
Ｓ２１１～Ｓ２１５ 読影時の処理のステップ

Claims (12)

1. １つ以上のプロセッサが実行する画像処理方法であって、
   前記１つ以上の前記プロセッサが、
   複数の画像のそれぞれの特徴マップを取得することと、
   前記画像ごとの前記特徴マップの組み合わせから変形ベクトル場を算出することと、
   を含み、
   前記複数の画像は、造影状態が相異なる画像であり、
   前記１つ以上のプロセッサが、
   前記変形ベクトル場を用いて位置を合わせた前記複数の画像を解析し、関心領域の造影効果を表す性状所見を出力することを含む、
   画像処理方法。
2. 前記１つ以上の前記プロセッサが、
   第１のニューラルネットワークを用いて前記複数の画像のそれぞれから各画像の前記特徴マップを生成し、
   前記第１のニューラルネットワークを用いて前記画像ごとに生成された前記特徴マップの組み合わせを第２のニューラルネットワークに入力することにより、前記第２のニューラルネットワークを用いて前記変形ベクトル場を算出する、
   請求項１に記載の画像処理方法。
3. 前記第１のニューラルネットワークは、１画像の入力を受け付け、入力された前記１画像に対する処理を行うことにより１つ以上の特徴マップを出力するネットワークであり、
   前記第２のニューラルネットワークは、異なる２つの画像のそれぞれから生成された各画像の特徴マップのペアの入力を受け付け、入力された前記特徴マップの前記ペアに対する処理を行うことにより前記異なる２つの画像間の前記変形ベクトル場を出力するネットワークである、
   請求項２に記載の画像処理方法。
4. 前記第１のニューラルネットワークと前記第２のニューラルネットワークとは、学習画像セットを用いて予め機械学習された学習済みモデルであり、
   前記機械学習の工程は、２画像をそれぞれ前記第１のニューラルネットワークに入力して得られる前記２画像のぞれぞれの特徴マップの組み合わせを前記第２のニューラルネットワークに入力して前記変形ベクトル場を出力させる構成で行われる、
   請求項２または３に記載の画像処理方法。
5. 前記学習画像セットは、複数の異なる画像を含み、
   前記機械学習の際に前記第１のニューラルネットワークに入力する前記２画像のうちの一方は、他方の画像を変形して生成した画像である、
   請求項４に記載の画像処理方法。
6. 前記変形を規定する変形場は、予め定められた制約範囲内でランダムに生成され、前記変形の処理に適用した前記変形場を正解として、前記第２のニューラルネットワークの出力が前記正解に近づくように学習が行われる、
   請求項５に記載の画像処理方法。
7. 前記複数の画像は、３つ以上の画像であり、
   前記１つ以上の前記プロセッサが、
   前記複数の画像のうちの１つの基準画像と、
   前記基準画像以外の画像との２画像のそれぞれの前記特徴マップの組み合わせから、前記基準画像と前記基準画像以外の画像との組み合わせごとの前記変形ベクトル場を算出する、
   請求項１から６のいずれか一項に記載の画像処理方法。
8. 前記１つ以上の前記プロセッサが、さらに、
   前記複数の画像のうちの１つの画像内における注目点の指定を受け付け、
   前記算出された前記変形ベクトル場に基づき、前記複数の画像のうちの他の画像内における前記注目点に対応する対応点を算出することと、
   前記注目点と前記対応点の位置を揃えて前記画像を表示させることと、
   を含む請求項１から７のいずれか一項に記載の画像処理方法。
9. １つ以上のプロセッサと、
   前記１つ以上の前記プロセッサに実行させるプログラムが記憶される１つ以上のメモリと、
   を備え、
   前記１つ以上のプロセッサは、前記プログラムの命令を実行することにより、
   複数の画像のそれぞれの特徴マップを取得し、
   前記画像ごとの前記特徴マップの組み合わせから変形ベクトル場を算出する画像処理装置であって、
   前記複数の画像は、造影状態が相異なる画像であり、
   前記１つ以上のプロセッサは、
   前記変形ベクトル場を用いて位置を合わせた前記複数の画像を解析し、関心領域の造影効果を表す性状所見を出力する、
   画像処理装置。
10. 前記１つ以上の前記プロセッサは、
    第１のニューラルネットワークを用いて前記複数の画像のそれぞれから各画像の前記特徴マップを生成し、
    前記第１のニューラルネットワークを用いて前記画像ごとに生成された前記特徴マップの組み合わせを第２のニューラルネットワークに入力することにより、前記第２のニューラルネットワークを用いて前記変形ベクトル場を算出する、
    請求項９に記載の画像処理装置。
11. コンピュータに、
    複数の画像のそれぞれの特徴マップを取得する機能と、
    前記画像ごとの前記特徴マップの組み合わせから変形ベクトル場を算出する機能と、
    を実現させ、
    前記複数の画像は、造影状態が相異なる画像であり、
    前記コンピュータに、
    前記変形ベクトル場を用いて位置を合わせた前記複数の画像を解析し、関心領域の造影効果を表す性状所見を出力する機能を実現させる、
    プログラム。
12. 第１のニューラルネットワークを用いて前記複数の画像のそれぞれから各画像の前記特徴マップを生成する機能と、
    前記第１のニューラルネットワークを用いて前記画像ごとに生成された前記特徴マップの組み合わせを第２のニューラルネットワークに入力することにより、前記第２のニューラルネットワークを用いて前記変形ベクトル場を算出する機能と、
    を前記コンピュータに実現させる、請求項１１に記載のプログラム。